苹果智能背后模型公布:3B模型优于Gemma-7B,服务器模型媲美GPT-3.5-Turbo

苹果公司在其全球开发者大会上宣布了名为Apple Intelligence的新智能系统,该系统将深度集成于iOS 18、iPadOS 18和macOS Sequoia。Apple Intelligence包含多个高度智能的生成模型,专为用户的日常任务设计。其中两款模型被特别介绍:一个拥有约30亿参数的设备端语言模型,以及一个更大的基于服务器的语言模型。这些模型都经过了精心优化,以提供高性能、快速且节能的体验。苹果的基础模型在AXLearn框架上进行训练,该框架基于JAX和XLA,支持在多种硬件和云平台上高效且可扩展地训练模型。苹果使用数据并行、张量并行、序列并行和FSDP等技术来扩展训练。在训练过程中,苹果使用经过授权的数据,包括从公开网络上收集的数据,并采取多种措施保护隐私和数据质量,例如过滤个人可识别信息、粗俗语言和其他低质量内容。在后训练阶段,苹果开发了两种新算法,显著提高了模型的指令跟随质量。此外,他们还采用了多种创新技术,在设备端和私有云上对模型进行优化,以提升速度和效率。为了针对用户的日常活动微调模型,苹果使用了适配器技术。适配器是覆盖在公共基础模型上的小型神经网络模块,可以动态加载和交换,使基础模型能够动态地专门处理当前的任务。苹果在评估模型时,专注于人类评估,因为人类评估的结果与产品的用户体验高度相关。他们的模型在各种现实世界prompt中表现出色,并且在有害内容、敏感主题和事实方面的性能也优于同类模型。总的来说,Apple Intelligence是一个高度先进、定制化的智能系统,旨在为用户提供更加个性化和高效的支持。

Previous:

Next:

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信