Meta 公司为解决 NLP 技术中评估 AI 模型依赖人类注释的问题，推出“自学评估器”，利用合成数据训练 AI。当前 NPU 技术面临评估模型严重依赖人工注释的挑战，人工数据收集费钱费时且效用有限，现有评估方法有局限性。“自学评估器”从种子模型生成对比鲜明的合成偏好对，模型评估并改进，利用自我生成和评估的数据形成自我完善循环。在 Llama – 3 – 70B – Instruct 模型测试中，其准确率大幅提高，性能超 GPT – 4 等常用大语言模型评审，多次迭代进一步完善了功能。
Meta 公司为解决 NLP 技术中评估 AI 模型依赖人类注释的问题，推出“自学评估器”，利用合成数据训练 AI。当前 NPU 技术面临评估模型严重依赖人工注释的挑战，人工数据收集费钱费时且效用有限，现有评估方法有局限性。“自学评估器”从种子模型生成对比鲜明的合成偏好对，模型评估并改进，利用自我生成和评估的数据形成自我完善循环。在 Llama – 3 – 70B – Instruct 模型测试中，其准确率大幅提高，性能超 GPT – 4 等常用大语言模型评审，多次迭代进一步完善了功能。