自 2023 年 12 月推出以来,Mamba 成为 Transformer 的有力竞争对手,如今阿布扎比技术创新研究所(TII)发布新开源 Mamba 模型 Falcon Mamba 7B。它无需增加内存存储就能处理任意长度序列,能在单个 24GB A10 GPU 上运行,在 Hugging Face 上可查看使用,分为四个变体模型,采用 Apache 2.0 许可证。
自 2023 年 12 月推出以来,Mamba 成为 Transformer 的有力竞争对手,如今阿布扎比技术创新研究所(TII)发布新开源 Mamba 模型 Falcon Mamba 7B。它无需增加内存存储就能处理任意长度序列,能在单个 24GB A10 GPU 上运行,在 Hugging Face 上可查看使用,分为四个变体模型,采用 Apache 2.0 许可证。