西风 发自 凹非寺量子位 | 公众号 QbitAI好色小说

微软以小搏大，发布首个开源2B参数限制“原生1bit”LLM——

BitNet b1.58 2B4T，单CPU就能跑，性能与同限制全精度开源模子非常。

它给与三进制{-1， 0， 1}存储权重，相较于传统的16位浮点数可大幅镌汰显存需求。

只需0.4GB内存即可动手。

基于4T token语料磨练，BitNet b1.58 2B4T在保握性能的同期，想象效力越过。

单个CPU即可达到“与东说念主类阅读速率”非常的速率，每秒5-7个token，CPU端解码蔓延29ms，能耗低至0.028J。

这种效力使其可在平时条记本电脑以致边际开导上及时动手。

举例在M2 CPU上快速动手：

另外值得一提的是，BitNet b1.58 2B4T具有原生磨练上风，与磨练后量化（PTQ）模子对比，幸免了PTQ常见的性能衰减

BitNet b1.58 2B4T刚发布就眩惑了大宗网友点赞眷注，作家们也当起了我方个儿的自来水。

如何收尾原生1bit？话未几说，沿路来望望手艺细目。

权重映射为三元值{-1， 0， +1}

BitNet b1.58 2B4T模子基于Transformer架构，对中枢组件进行了系统性改革。传统LLM依赖16bit或32bit浮点数存储权重，而BitNet b1.58 2B4T给与一种称为absmean的量化决策，将权重映射为三元值{-1， 0， +1}，平均每个权重仅需1.58bit（log₂3≈1.58）来默示。

模子内存占用骤降至0.4GB好色小说，仅为同类全精度模子的1/5-1/12。

另外，线性投影中的激活值被量化为8bit整数，福利姬系给与基于每token的absmax量化战略，团队还引入subln归一化，增强量化磨练踏实性。

其它重要想象包括：

激活函数：前馈集合（FFN）子层给与ReLU²替代常见的SwiGLU，通过进步模子脱落性，优化了1bit环境下的想象特质。位置编码：使用旋转位置镶嵌（RoPE）。偏置甩掉：与Llama等架构一致，悉数线性层和归一化层均移除偏置项，减少参数目并简化量化经过。

磨练方面，BitNet b1.58 2B4T给与三阶段磨练：大限制预磨练监督微调（SFT）和径直偏好优化（DPO）。

先是大限制预磨练，模子经验了两阶段学习率调理：收获于1bit模子的磨练踏实性，初期给与高学习率快速料理；中期骤降至低水平，使模子能在高质地数据上细密化调整。互助动态权重衰减战略，模子在保握泛化才气的同期幸免过拟合。

监督微调（SFT）阶段，值得概述的是，磨练中给与亏损函数乞降而非平均战略，并延长了磨练轮次，这一调整被讲授对低精度模子的料理至关伏击。

径直偏好优化（DPO）阶段，基于UltraFeedback、MagPie等东说念主类偏好数据集，模子通过无奖励模子的径直优化，进步了回复的安全性与用户舒畅度，幸免了传统RLHF的高想象老本。

现实成果方面，BitNet b1.58 2B4T内存占用仅为0.4GB，CPU端解码蔓延29ms，能耗低至0.028J。

在数学推理任务GSM8K中，BitNet以58.38的准确率远超Llama 3.2-1B（38.21）和Qwen2.5-1.5B（56.79）；在学问推理任务WinoGrande中，BitNet 71.90的得分超同类模子均值（63.55）。

团队非常指出，BitNet b1.58 2B4T具有原生磨练上风。与磨练后量化（PTQ）模子对比，BitNet的原生1bit磨练战略幸免了PTQ常见的性能衰减。

参数更大的Llama3-8B模子量化至1bit后，也难打BitNet b1.58 2B4T。

和其它1bit模子比较，BitNet b1.58 2B4T也有显赫更强的举座性能，绝大多数基准测试中得到SOTA。

筹备BitNet b1.58 2B4T的具体发扬，再来看几个例子。

让它生成几个见笑，见笑简陋但也蛮成心念念：

稻草东说念主为何成为告捷的神经外科大夫？回复是因为它在我方的规模很越过（outstanding in his field）。

单CPU生成97个token，总耗时3.452秒，每秒管理 28.1 token。

再让它基于2000年的布景，让一位PowerPC管理器青睐者和一位英特尔管理器青睐者进行五行狡辩。

BitNet b1.58 2B4T生成罢休也很快，而且反馈了阿谁期间科技行业的竞争特质。

微软在1 bit LLM上的探索

1 bit LLM的收尾智商，其实早在2023年就有相关酌量，那时就称为BitNet，用BitLinear替换了nn.Linear

之后，微软原班东说念主马在上一篇论文的基础之上作念了优化，提倡BitNet b1.58，在原始BitNet的基础上加多了一个特殊的0值

也即是“The Era of 1-bit LLMs”这篇论文，用6页酌量激发网友庸俗眷注。

这种智商发布后，也有不少东说念主在这项酌量的基础之上进行探索。Huggingface Transformers还曾整合了BitNet b1.58，欺诈一些技能，使得现存模子不错径直微调到1.58bit。

接着，微软还开发并开源了针对GPU和CPU平台的专用推理库

BitNet b1.58给与独到量化决策（1.58bit权重和8bit激活值，W1.58A8）需要特意的收尾，轨范深度学习库频频空匮针对这种搀和精度、低比特形势的优化内核，微软开发了特意针对W1.58A8矩阵乘法的自界说CUDA内核。

另外，微软还开源了bitnet.cpp——一个用于1 bit LLM CPU推理的官方参考C++库，提供针对轨范CPU架构优化的内核，旨在高效适配模子的特定量化决策，尽可能幸免通用量化库的支出或复杂的底层位操作。

手艺叙述：https://arxiv.org/abs/2504.12285抱抱脸通顺：https://huggingface.co/microsoft/bitnet-b1.58-2B-4T

参考通顺：https://arstechnica.com/ai/2025/04/microsoft-researchers-create-super‑efficient-ai-that-uses-up-to-96-less-energy/