苹果智能背后模型公布：3B模型优于Gemma-7B，服务器模型媲美GPT-3.5-Turbo

苹果公司在其全球开发者大会上宣布了名为Apple Intelligence的新智能系统，该系统将深度集成于iOS 18、iPadOS 18和macOS Sequoia。Apple Intelligence包含多个高度智能的生成模型，专为用户的日常任务设计。其中两款模型被特别介绍：一个拥有约30亿参数的设备端语言模型，以及一个更大的基于服务器的语言模型。这些模型都经过了精心优化，以提供高性能、快速且节能的体验。苹果的基础模型在AXLearn框架上进行训练，该框架基于JAX和XLA，支持在多种硬件和云平台上高效且可扩展地训练模型。苹果使用数据并行、张量并行、序列并行和FSDP等技术来扩展训练。在训练过程中，苹果使用经过授权的数据，包括从公开网络上收集的数据，并采取多种措施保护隐私和数据质量，例如过滤个人可识别信息、粗俗语言和其他低质量内容。在后训练阶段，苹果开发了两种新算法，显著提高了模型的指令跟随质量。此外，他们还采用了多种创新技术，在设备端和私有云上对模型进行优化，以提升速度和效率。为了针对用户的日常活动微调模型，苹果使用了适配器技术。适配器是覆盖在公共基础模型上的小型神经网络模块，可以动态加载和交换，使基础模型能够动态地专门处理当前的任务。苹果在评估模型时，专注于人类评估，因为人类评估的结果与产品的用户体验高度相关。他们的模型在各种现实世界prompt中表现出色，并且在有害内容、敏感主题和事实方面的性能也优于同类模型。总的来说，Apple Intelligence是一个高度先进、定制化的智能系统，旨在为用户提供更加个性化和高效的支持。