企业扩展其人工智能使用时遇到一个常见问题 - 传统静态推测器的限制。这些较小的人工智能模型在推断过程中与较大的语言模型一起工作,但难以有效地适应不断变化的工作负载。为了解决这一挑战,Together AI 推出了 ATLAS,一种自适应推测器,利用实时学习实现了推断过程的显著提速,高达400%。通过不断分析和调整工作负载动态,ATLAS 优化了推测解码,这是减少推断成本和延迟的关键技术。在 ATLAS