面壁智能结合清华开源BitCPM-CANN,让大模子在手机上流利运转成实际

面壁智能携手清华大学及OpenBMB开源社区，在华为昇腾平台上实现了一项重要技术突破——正式开源低比特大模型训练成果BitCPM-CANN。这一成果通过原生适配昇腾架构，为端侧AI大模型的轻量化部署开辟了新路径，显著降低了大模型在移动设备上的运行门槛。

该系列模型包含0.5B、1B、3B、8B四种参数规模，在保持性能的同时实现了显存效率的革命性提升。测试数据显示，相比传统BF16精度模型，BitCPM-CANN在推理阶段可节省约6倍显存空间。这项突破使得原本需要高端配置才能运行的8B参数大模型，如今能在主流旗舰手机上流畅运行，为端侧AI的商业化落地提供了关键技术支撑。

性能评测结果显示，BitCPM-CANN在压缩模型体积的同时，成功将能力保留率维持在90%-97.2%的高水平区间。其中1B、3B、8B三个尺寸的模型表现尤为突出，能力保留率均达到95.7%-97.2%，即便是参数规模最小的0.5B模型也突破了90%的保留率门槛。这些数据充分验证了低比特训练技术路线在工程实践中的可靠性和可扩展性。

技术团队基于昇腾平台构建了完整的低比特训练基础设施，涵盖硬件环境适配、32K长序列处理支持以及专用融合算子开发等关键组件。这套工程体系不仅为当前模型开发提供了坚实基础，更为后续面向昇腾架构的低比特训练研究建立了标准化技术框架，有望推动整个行业在端侧AI部署领域的技术进步。