上海交通大学生成式人工智能实验室（GAIR Lab）的研究团队专注于大模型训练、对齐与评估，推出了OlympicArena作为新的大模型认知推理能力评估基准，涵盖数学、物理、化学、生物、地理、天文、计算机等七大核心学科，包含11163道中英双语题目。该基准的目的是全面评估AI模型的能力，特别是在复杂推理能力上的表现。研究团队发现，即使是GPT-4o，其正确率也仅为39%，GPT-4V则为33%，表明AI在科学问题的求解上与人类还存在差距，其内在的推理能力仍需提高。OlympicArena的特点包括全面覆盖多个学科和题型、极具挑战性的题目设计、细粒度的评估方法等，使其成为一个理想的平台，用于评估AI模型在不同类型的推理能力上的表现。
