人们广泛使用大模型完成各类任务,但大模型偶尔会生成错误答案且信心偏差,致使用户对其信任存疑。麻省理工学院和 MIT – IBM Watson AI Lab 的研究人员提出名为“温度计”的校准方法,在大语言模型上构建辅助模型,计算能力需求少,能保持准确性,做出更好校准响应,帮助用户识别错误预测过于自信的情况,防止模型错误部署。研究人员还训练辅助模型预测校准新任务所需“温度”,未来希望支持更复杂任务并应用于更大模型。
人们广泛使用大模型完成各类任务,但大模型偶尔会生成错误答案且信心偏差,致使用户对其信任存疑。麻省理工学院和 MIT – IBM Watson AI Lab 的研究人员提出名为“温度计”的校准方法,在大语言模型上构建辅助模型,计算能力需求少,能保持准确性,做出更好校准响应,帮助用户识别错误预测过于自信的情况,防止模型错误部署。研究人员还训练辅助模型预测校准新任务所需“温度”,未来希望支持更复杂任务并应用于更大模型。