非Transformer架构站起来了！首个纯无注意力大模型，超越开源巨头Llama 3.1

自 2023 年 12 月推出以来，Mamba 成为 Transformer 的有力竞争对手，如今阿布扎比技术创新研究所（TII）发布新开源 Mamba 模型 Falcon Mamba 7B。它无需增加内存存储就能处理任意长度序列，能在单个 24GB A10 GPU 上运行，在 Hugging Face 上可查看使用，分为四个变体模型，采用 Apache 2.0 许可证。