企业在加强其 AI 项目时遇到了性能瓶颈，这是由于传统的静态推测器难以适应不断变化的工作负载。推测器是较小的 AI 模型，在推理过程中协助更大的语言模型，旨在预测主模型需要同时验证的即将到来的标记。这种被称为推测解码的方法对于希望最小化推理成本和延迟的企业至关重要。通过引入 ATLAS 自适应推测器，AI 用户可以通过实时学习不同工作负载而实现推理过程的显著 400% 加速。这种创新技