BOOM/GIFT-Eval/TIME三大基准深度解读：Toto-2.0-2.5B如何实现性能突破

【免费下载链接】Toto-2.0-2.5B 项目地址: https://ai.gitcode.com/hf_mirrors/Datadog/Toto-2.0-2.5B

Toto-2.0-2.5B是Datadog开发的时间序列基础模型，专为多变量预测设计，在BOOM、GIFT-Eval和TIME三大基准测试中均实现了性能突破，展现出卓越的时间序列预测能力。

🌟 模型概述：Toto-2.0-2.5B的核心优势

Toto（Time Series Optimized Transformer for Observability）是Datadog开发的时间序列基础模型系列，Toto 2.0是当前一代，采用u-μP缩放的Transformer架构，参数规模从400万到25亿不等，均通过单一训练方案训练而成。随着参数数量的增加，预测质量在整个系列中稳步提升。

该模型具有以下核心特性：

• 零样本预测：无需针对特定时间序列进行微调即可进行预测
• 多变量支持：使用交替的时间/变量注意力机制高效处理多个变量
• 概率预测：通过分位数输出头生成点预测和不确定性估计
• 仅解码器架构：支持可变的预测范围和上下文长度
• u-μP缩放：单一训练方案可在所有五种尺寸（400万→25亿）中干净迁移

📊 三大基准测试中的突破性表现

Toto-2.0-2.5B在三个预测基准测试中树立了新的技术标杆：Datadog的可观测性基准BOOM、标准通用基准GIFT-Eval，以及最近的抗污染TIME基准。

BOOM基准测试结果

在BOOM基准测试中，Toto-2.0-2.5B取得了优异成绩：

• CRPS（连续排名概率得分）：0.349
• MASE（平均绝对比例误差）：0.581

BOOM是Datadog的可观测性时间序列基准，专注于监控场景下的时间序列预测任务。

GIFT-Eval基准测试结果

在GIFT-Eval这一标准通用基准测试中，Toto-2.0-2.5B表现同样出色：

• CRPS：0.476
• MASE：0.696

GIFT-Eval是 Salesforce 推出的时间序列预测排行榜，被广泛认为是通用时间序列预测的标准评估基准。

TIME基准测试结果

在最新的抗污染TIME基准测试中，Toto-2.0-2.5B依然保持领先：

• CRPS：0.532
• MASE：0.640

TIME基准特别关注模型对污染数据的抵抗能力，确保在真实世界复杂数据环境中的预测可靠性。

🏗️ 架构创新：性能突破的技术基石

Toto-2.0-2.5B采用仅解码器的补丁Transformer架构，其注意力层在输入的时间轴（因果）和变量轴（全）视图之间交替。关键创新包括：

• 连续补丁掩码（CPM）：用于单通道并行解码
• 分位数输出头：使用pinball损失进行训练
• 稳健的arcsinh输入缩放器：提高对异常值的鲁棒性
• 残差MLP补丁投影：增强特征提取能力
• NorMuon训练：优化训练过程的稳定性和效率

根据config.json文件，模型的关键架构参数包括：

• d_model：2048（模型维度）
• num_layers：48（网络层数）
• num_heads：32（注意力头数）
• d_ff：5464（前馈网络维度）
• patch_size：32（补丁大小）

这些架构设计和参数配置共同促成了Toto-2.0-2.5B在各基准测试中的卓越表现。

⚡ 快速开始：使用Toto-2.0-2.5B进行时间序列预测

安装步骤

要开始使用Toto-2.0-2.5B，首先需要安装相关包：

pip install "toto-2 @ git+https://github.com/DataDog/toto.git#subdirectory=toto2"

推理示例

以下是使用Toto-2.0-2.5B进行时间序列预测的简单示例：

import torch
from toto2 import Toto2Model

model = Toto2Model.from_pretrained("Datadog/Toto-2.0-2.5B")
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model = model.to(device).eval()

# (batch, n_variates, time_steps)
target = torch.randn(1, 1, 512, device=device)
target_mask = torch.ones_like(target, dtype=torch.bool)
series_ids = torch.zeros(1, 1, dtype=torch.long, device=device)

# 返回形状为 (9, batch, n_variates, horizon) 的分位数
# 分位数水平: [0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9]
quantiles = model.forecast(
    {"target": target, "target_mask": target_mask, "series_ids": series_ids},
    horizon=96,
    decode_block_size=768,
    has_missing_values=False,
)

📚 扩展资源

• 技术报告：https://arxiv.org/abs/2605.20119
• GitHub仓库：https://github.com/DataDog/toto
• 快速入门笔记本：https://github.com/DataDog/toto/blob/main/toto2/notebooks/quick_start.ipynb
• GluonTS集成笔记本：https://github.com/DataDog/toto/blob/main/toto2/notebooks/gluonts_integration.ipynb

📝 引用

如果您在研究中使用了Toto-2.0-2.5B，请引用以下论文：

@misc{khwaja2026toto20timeseries,
      title={Toto 2.0: Time Series Forecasting Enters the Scaling Era},
      author={Emaad Khwaja and Chris Lettieri and Gerald Woo and Eden Belouadah and Marc Cenac and Guillaume Jarry and Enguerrand Paquin and Xunyi Zhao and Viktoriya Zhukov and Othmane Abou-Amal and Chenghao Liu and Ameet Talwalkar and David Asker},
      year={2026},
      eprint={2605.20119},
      archivePrefix={arXiv},
      primaryClass={cs.LG},
      url={https://arxiv.org/abs/2605.20119},
}

Toto-2.0-2.5B代表了时间序列预测领域的重要进步，通过创新的架构设计和规模化训练，为各种实际应用场景提供了强大的预测能力。无论是可观测性监控、业务预测还是科学研究，Toto-2.0-2.5B都展现出成为行业标准的潜力。

【免费下载链接】Toto-2.0-2.5B 项目地址: https://ai.gitcode.com/hf_mirrors/Datadog/Toto-2.0-2.5B