开放 LLM 社区模型众多,但与专有大模型如 GPT-4-Turbo 相比仍有差距,也有一些专精关键领域的开放模型被开发。英伟达为开放模型领域做贡献,如 ChatQA 系列模型,ChatQA 已进化到 2.0 版,主要改进方向是扩展上下文窗口。英伟达基于 Llama-3 模型将上下文窗口扩展到 128K,并配备最佳长上下文检索器,使用特殊字符分隔文档效果更好。团队还设计指令微调方法,分三个阶段提升模型能力,收集长监督式微调数据集,包括利用现有数据集和合成数据集。为解决 RAG 流程问题,团队使用长上下文检索器,实验表明 token 越多结果越好,选择默认设置为块大小 1200 和 top-5 的文本块。实验使用三类评估基准,包括长、中、短上下文基准,在不同测试中,新模型在长上下文检索、超过 100K token 的长上下文评估等方面表现出色,在某些方面接近或优于其他模型,同时也对比了 RAG 与长上下文解决方案在不同上下文长度下的表现。