英伟达对话模型ChatQA进化到2.0版本，上下文长度提到128K

开放 LLM 社区模型众多，但与专有大模型如 GPT-4-Turbo 相比仍有差距，也有一些专精关键领域的开放模型被开发。英伟达为开放模型领域做贡献，如 ChatQA 系列模型，ChatQA 已进化到 2.0 版，主要改进方向是扩展上下文窗口。英伟达基于 Llama-3 模型将上下文窗口扩展到 128K，并配备最佳长上下文检索器，使用特殊字符分隔文档效果更好。团队还设计指令微调方法，分三个阶段提升模型能力，收集长监督式微调数据集，包括利用现有数据集和合成数据集。为解决 RAG 流程问题，团队使用长上下文检索器，实验表明 token 越多结果越好，选择默认设置为块大小 1200 和 top-5 的文本块。实验使用三类评估基准，包括长、中、短上下文基准，在不同测试中，新模型在长上下文检索、超过 100K token 的长上下文评估等方面表现出色，在某些方面接近或优于其他模型，同时也对比了 RAG 与长上下文解决方案在不同上下文长度下的表现。