.png){kind=icon}
返回
Scalable and Cost-Efficient ML Inference: Parallel Batch Processing with Serverless Functions
.png){kind=icon}
PRE
AI
DOI：10.1007/978-981-96-7423-7_27.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
随着数据密集型应用的增长，有限资源环境中的批处理面临可扩展性和资源管理挑战。无服务器计算提供了一种灵活的替代方案，实现动态资源分配和自动扩展。本文探讨了无服务器架构如何通过将单体进程分解为并行函数，使大规模机器学习推理任务更快且更具成本效益。通过使用DistilBERT模型和IMDb数据集进行情感分析的案例研究，我们证明了无服务器并行处理在相同成本下，可将执行时间减少95%以上，相比单体方法。
Keyword:
Serverless Computing
Function Decomposition
Batch Processing
Scalability
Cost Efficiency
期刊
机构
引用论文
.png){kind=icon}
SPIRT: A Fault-Tolerant and Reliable Peer-to-Peer Serverless ML Training ArchitectureSPIRT：一种容错且可靠的点对点无服务器机器学习训练架构
OAAI
OAAI分享收藏
查看更多内容