企业加速实施人工智能时，面临着一个挑战，即静态推测器难以适应不断变化的工作负载。Together AI 公司的自适应推测器 ATLAS 通过实时从工作负载中学习，实现了惊人的 400% 推理加速。推测器在推理过程中与大型语言模型一起使用，预测未来的标记以提高效率。这种创新方法被称为推测解码，在降低企业推理成本和延迟方面变得至关重要。通过利用实时学习能力，ATLAS 正在革新人工智能性能，