B站开源轻量级 Index-1.9B 系列模型：2.8T 训练数据，支持角色扮演

B站昨日开源了轻量级Index-1.9B系列模型，这一系列的模型涵盖了基座模型、对照组、对话模型以及角色扮演模型等多个版本，充分展现了其在人工智能领域的创新实力。Index-1.9B base作为基座模型，具有19亿非词嵌入参数量，基于2.8T规模的中英文语料进行预训练，其性能在多个评测基准上均表现出色，与同级别模型相比具有显著优势。Index-1.9B pure作为对照组，与基座模型拥有相同的参数和训练策略，但严格过滤了语料中所有指令相关的数据，用以深入探究指令对模型性能的具体影响。而Index-1.9B chat则通过引入更多的互联网社区语料进行预训练，打造出趣味性更强的对话模型，使得人机对话更加自然流畅。此外，Index-1.9B character更是引入了RAG技术，实现了fewshots角色扮演定制，内置了角色“三三”，并允许用户自定义角色，极大地增强了模型的实用性和趣味性。