Top-K Difference Sparsification and Quantization for Communication-Efficient Model Aggregation in Wireless Ad Hoc Federated Learning

只传“正负号”，流量省掉 99.9%！东京大学如何让智能设备在无网荒野中“合力”练出 AI 大模型

想象一下这样一个场景： 在一次灾后搜救行动中，十只搜救犬背着智能相机，在没有任何蜂窝网络和互联网信号的废墟中穿行。每只搜救犬的相机都会在本地拍下不同的废墟画面，它们需要迅速学会识别新型的障碍物或幸存者姿态。

没有“云端服务器”可以上传数据，也没有宽带网络可以挥霍。这群智能相机只能在彼此擦肩而过、距离足够近时，通过微弱的蓝牙或无线局域网临时“聊上几句”。

它们该如何在不耗尽电池、不挤爆极窄带宽的前提下，像人类团队一样“共享知识”，合力训练出一个聪明的 AI 识别模型？

2025 年，来自东京大学（The University of Tokyo）的研究团队（Kaito Tsuchiya, Hiroshi Esaki, Hideya Ochiai）在 IEEE 级的人工智能大会（CAI）上发表了一项令人兴奋的突破。他们提出了一套巧妙的沟通策略，能将设备间协同训练的通信流量，疯狂砍掉 99.9% 以上（甚至只剩 1/3200 ），而 AI 的聪明程度（准确率）不仅没有下降，甚至还比以前更聪明了！

今天，我们就来拆解这个被赞为“用极简密码改变边缘 AI 游戏规则”的奇妙研究。

传统联邦学习的“老大难”：没有“群主”和“无限流量包”怎么办？

在传统的分布式 AI 训练中，我们常用一种叫联邦学习（Federated Learning）的技术。

它的工作原理就像一个“写书项目”：

1. 群主（中央服务器）*先发一本初稿给所有*写作者（手机、IoT设备）。
2. 大家根据自己手头的生活经历（本地数据）在家里闭门修改。
3. 改完后，大家把整本新书上传给群主。
4. 群主把大家的修改意见融合在一起，编成“第二版新书”，再发给大家。

这个方法很安全，因为大家不用把自己的私人生活日记（原始数据）传给群主。但它有两个致命的缺点：

• 必须有“群主”：如果没有中央服务器，大家就群龙无首了。
• 流量大得吓人：现代 AI 模型（比如视觉 Transformer，也就是 ViT）动辄包含数千万甚至数亿个参数。每次沟通都要把整本“巨著”传来传去，设备那点电量和窄窄的带宽，几分钟就会被榨干。

为了解决没有“群主”的问题，科学家们提出了无线自组织联邦学习（WAFL, Wireless Ad Hoc Federated Learning）。设备之间不找服务器，而是“碰巧遇到谁，就跟谁对对笔记（合并模型）”。

但“对笔记”的流量问题依然没有解决。即使两个设备相遇，要把几百兆的模型参数塞进微弱的蓝牙通道里，也会导致严重的延迟和丢包。

为了省流量，科学家们曾试过两种简单粗暴的方法：

• 稀疏化（Sparsification）：每次只挑整本书里最重要的 10% 章节发送，剩下的 90% 直接丢弃。

这就是前一篇对于 ASR 模型的思考，就是通过只传输编码曾

• 量化（Quantization）：把原本用 32 位高精度浮点数表示的参数，四舍五入简化成 8 位甚至 4 位的整数。这就像把一张超高清照片压缩成低像素的马赛克。

然而，这两种传统方法在“无服务器”的自组织网络里效果很差，因为大家没有一个统一的“标准版书稿”做参考。盲目地丢弃参数或把参数变成马赛克，会让模型迅速“退化”，最后练出来的 AI 错漏百出。

这不对吧，前一篇文章提到了通过

1. 梯度快速变化：当前参数重要
2. 结果的叉积：判断二者结果是否类似。

来得到一种取长补短

突破性思路：不寄整本书，只寄“修改草稿的增量信件”

东京大学的团队意识到：我们为什么每次都要大费周章地寄出整本书，或者寄出残缺的书章呢？我们为什么不只寄送“修改意见”呢？

他们将这种思路命名为 差分稀疏化（Difference Sparsification, 简称 DS）。

让我们回到那个“写书”的类比： 假设设备 A 和设备 B 上次见面时，双方保留了一份当时共同版本的“参考书稿”。 这一次，设备 A 在本地用自己的数据训练了一会儿，模型参数发生了变化。

1. 计算差值（Difference）：设备 A 不会把现在的新模型发给 B。它先把“现在的新模型”减去“上次见面的老模型”，得出一个差值（变动量）。这就像是一张“修改清单”：“第 3 页加了一个词，第 12 页删了一句话。”
2. Top-K 挑选（只挑大动作）：在修改清单中，有些修改只是微调（比如改了个标点），有些则是大改（比如推翻了一个段落）。设备 A 只挑出变化最剧烈的、前 $K\%$ 的关键修改（Top-K）。
3. 只发送差值：设备 A 把这个极度精简的“大改动清单”发送给设备 B。设备 B 收到后，在自己保存的老模型上加上这些差值，就成功还原了 A 的新模型！

这种方法巧妙极了！因为在训练后期，AI 模型的大部分参数其实已经稳定了，每次训练产生的“差值”大部分都接近于 $0$。只传变动，不传本尊，让数据传输量瞬间呈现断崖式下跌。

这种方式需要一开始都有一个统一的成熟模型

终极压缩：把修改意见变成一串“正负号极简密码”

如果说“只传差值”已经让流量省了一大半，那么东大团队提出的第二项技术——差分量化（Difference Quantization, 简称 DQ），则是直接把压缩艺术推向了极致。

当设备 A 挑出那最关键的 1% 差值后，这些差值依然是复杂的 32 位浮点数（比如 $+0.00245$, $-0.00112$）。

东大团队一拍脑门：既然这已经是一张“修改清单”了，我们干脆把精度丢得更彻底一点——我们只传“正负号”！

因为每次变动太小了，但是这真的有用吗。

这就是论文中惊艳全场的 1比特布尔量化（1-bit Boolean Quantization）：

• 如果一个参数的差值是正数（调大了），就记为 +。
• 如果一个参数的差值是负数（调小了），就记为 -。

发送的时候，设备 A 只给设备 B 发送一串由 + 和 - 组成的极简符号流，外加这批变动的平均大小（一个单一的数值 $d_{avg}$）。

设备 B 收到这串“正负密码”后，重建过程简单到令人发指：

• 凡是看到 + 的地方，就让对应的参数加上平均步长 $d_{avg}$；
• 凡是看到 - 的地方，就让对应的参数减去平均步长 $d_{avg}$。

这简直是通信界和 AI 界的“极简主义美学”。一个原本需要 32 位庞大空间的浮点参数，现在被压缩成了仅仅 1 位的“正负开关”！

再加上前面的 Top-1% 筛选，两者结合（Top-K DS + DQ），传输的总体积直接缩减到了原来的 $0.031\%$，也就是缩减了约 3200 倍！

在 FNN（前馈神经网络）的测试中，原本一轮沟通需要传输的大量数据，被压缩到了仅仅 1.5 KB。这个体积，即便是用二十年前的古董蓝牙，甚至是用功耗极低、传输极慢的 LoRa 无线电，也能在 0.1 秒内轻松传送完毕。

反直觉的奇迹：为什么“马赛克信息”反而让 AI 更聪明了？

看到这里，任何一个有常识的人都会产生怀疑： “把高精度的科学参数，活生生变成了一堆粗糙的‘正负号’和‘平均数’，这难道不会让 AI 彻底变笨吗？”

然而，东大团队的实验结果让所有人都惊掉了下巴。

他们用四种截然不同的 AI 模型（包括专门处理图像的重器——视觉 Transformer (ViT)）进行了严苛的测试。在模拟智能设备四处移动的复杂环境下：

• 基线组（老老实实、毫无保留地传输 100% 的 32 位浮点数）：准确率约为 $93.6\%$。
• 东大极简组（只保留 1% 的差值，且全部用 1 比特正负号量化，流量只有基线的万分之三）：准确率竟然达到了 $92.6\%$，几乎完全没有损失！
• 在部分模型（如 FNN 和 1D-CNN）中，采用这种“只传 10% 甚至 1% 正负号差值”的设备，最终训练出来的准确率，甚至超越了那个传输 100% 完整模型的基线组！

这怎么可能？为什么信息残缺了，AI 反而更聪明了？

这其实触及了机器学习中一个经典的奥秘：噪声与过拟合。

每个智能设备在自己本地训练时，接触到的数据都是局限的。如果完整无误地把所有细微改动都合并给邻居，很容易把本地的一些“偏见”和“噪音”也顺带传过去，导致模型发生“过拟合”（死记硬背局部规律，丧失了通用性）。

而东大提出的 Top-K 差分稀疏与量化，就像是一个天然的过滤器：

1. 只挑最大的变化（Top-K）：逼着设备只交流“最核心的领悟”，忽略那些鸡毛蒜皮的微小扰动。
2. 只传正负号（1-bit DQ）：抹平了过于极端的数值，给模型引入了适度的“模糊感”。

这种模糊感和过滤机制，在数学上起到了极佳的正则化（Regularization）作用。它逼着 AI 去学习那些最粗犷、最本质的规律，反而过滤掉了局部的杂质。

这就好比十个写小说的人，如果天天聚在一起咬文嚼字地改标点符号，最后反而会把小说改得不伦不类；但如果他们相遇时只交流“主角是要变好（+）还是变坏（-）”这样的大方向，反而能碰撞出一部结构宏大、逻辑严密的神作。

它的现实意义：让未来的万物互联，拥有真正的“群智”

这项研究的成功，为许多原本被认为“绝无可能”的边缘 AI 场景撕开了一道光明的裂缝：

• 绿色低碳的智能家居：家里的扫地机器人、智能门锁和智能音箱，可以无需连接外网，仅靠低功耗的 Zigbee 局域网，在深夜“悄悄”用极低的功耗交换学习心得，一天比一天更懂主人的习惯。
• 野外与极端环境搜救：就像开头的例子，废墟下的无人机群、搜救设备，可以在极度恶劣的无线环境下，用极窄的信道合力攻克复杂的识别任务。
• 隐私安全的自动驾驶：路上行驶的车辆，在没有 5G 信号的高速公路上擦肩而过的一瞬间，就能用 1-bit 极简信号完成一次碰撞规避算法或路况识别模型的安全协同进化。

东京大学的这项研究证明：在人工智能的合作中，滔滔不绝并不见得是好事；懂得如何用最简练的语言（哪怕只是打个手势、对个正负号）去交流最核心的改变，才是最高效、最优雅的智慧。

在这个连冰箱和手表都想拥有 AI 的时代，这项技术无疑为这些资源受限的“小家伙们”，搭建了一座通往协同智能的、无比轻盈的阶梯。

Section III.A “Preliminaries”（预备知识/准备工作）

在论文的 Section III.A “Preliminaries”（预备知识/准备工作） 部分，作者主要讨论了系统模型的基础设定、数学符号的定义，并画出了一条清晰的“路线分水岭”，为后面提出具体算法做铺垫。

具体来说，这个部分主要交代了以下四个核心要点：

1. 设备与邻居的关系设定（谁和谁通信？）

• 对称链路：定义设备为 $n$，其邻居设备为 $m$。作者做了一个合理的物理假设——通信是双向对称的。即：如果 $n$ 能连通 $m$，那么 $m$ 也能连通 $n$。
• 邻居集合：用 $nbr(n)$ 来表示设备 $n$ 周围所有能和它直接通信的“邻居们”的集合。

2. 模型参数的符号化（传输的是什么？）

• 本地权重：用 $w^n$ 表示设备 $n$ 内部当前的 AI 模型参数（权重）。
• 待发参数：用 $w_{send}^n$ 表示设备 $n$ 准备打包发送给邻居的模型参数。
• 终极目标：想方设法减少 $w_{send}^n$ 的数据大小（即减少“通信脚印”），或者用一种更高效、体积更小的“替代形式”来传输。

3. 传统方法 vs 论文新方法的“分水岭”（最关键的对比）

这是本节最重要的一句话，它把接下来要讨论的四种技术划分成了两个阵营：

• 传统阵营（传输“本尊”）：
  • 参数量化（PQ） 和 参数稀疏化（PS）：它们传输的依然是模型参数本尊 $w_{send}^n$，只不过是对“本尊”进行了压缩或丢弃。
• 论文新阵营（传输“变化量”）：
  • 差分稀疏化（DS） 和 差分量化（DQ）：它们不再传输参数本尊，而是传输一个叫 $d_{trans}^{n\rightarrow m}$ 的东西。这个 $d$ 代表的是差值（Difference）——即设备 $n$ 当前的参数，与上一次设备 $n$ 发给 $m$ 的参数之间的“变化量”。

---

总结成大白话：

“Preliminaries” 就像是游戏开始前的“规则介绍”和“装备登记”。它告诉读者：我们有一群连在一起的设备，它们原本要互相发送庞大的模型。接下来，我们要对比两种思路：思路 A（传统） 是把模型打包压缩后硬传过去；思路 B（本文创新） 是只把“这次和上次比，模型修改了哪些地方”的差值传过去。

Part BB “Parameter Quantization”（参数量化，简称 PQ）

在论文的 Section III.B “Parameter Quantization”（参数量化，简称 PQ） 部分，作者主要讨论了如何将传统的“均匀量化”技术套用到无服务器的自组织网络（WAFL）中，以及其具体的数学实现方法。

这个部分的核心内容可以拆解为以下三个关键点：

1. 为什么要重新定义“量化”？（背景差异）

• 在传统联邦学习（CFL）中：设备是将算好的“梯度（Gradients）”传给中央服务器，因此传统的量化方法是去压缩梯度。
• 在自组织联邦学习（WAFL）中：由于没有中央服务器，设备之间擦肩而过时必须直接交换模型参数本尊（Weights）。因此，作者必须把量化直接施加在模型参数上。

---

2. 具体是怎么压缩的？（量化过程）

为了把原本高精度、占空间（32位浮点数）的参数压缩成低精度（比如 $N=8$ 位或 $N=4$ 位）的整数，算法在模型的每一层（layer）中执行以下步骤：

1. 确定缩放范围：找出该层所有参数中的最大值 $w_{max}^n$ 和最小值 $w_{min}^n$。

2. 计算量化步长（Step Size）：

   $\Delta_{PQ} = \frac{w_{max}^n - w_{min}^n}{2^N - 1}$

   这相当于把最大值和最小值之间拉一条线，均匀地分成 $2^N - 1$ 个小格子。

3. 转换为整数（发送端）：通过以下公式，把每个高精度浮点参数 $w_{send}^n$ 塞进最近的格子编号中，转换成整数向量 $w_{qnt}^{n\rightarrow m}$ 并发送出去：

   $w_{qnt}^{n\rightarrow m} = Q\left(\frac{w_{send}^n - w_{min}^n}{\Delta_{PQ}}\right)$

   （其中 $Q$ 代表四舍五入取整函数）

   这里让我想到了数电中对于电压的量化方式

---

3. 接收端如何还原？（反量化/重建）

当邻居设备收到这串压缩后的“格子编号”（整数）后，会利用步长和最小值，将其还原重建（Reconstruct）为浮点数 $w_{recv}^n$：

$w_{recv}^n = w_{qnt}^{n\rightarrow m} \cdot \Delta_{PQ} + w_{min}^n$

---

大白话总结：

这一节讨论的就是“如何把高清照片（32位浮点数模型）压缩成马赛克照片（8位或4位整数模型）传给邻居，邻居收到后再把马赛克插值放大成普通照片”的数学公式和基本原理。

Part C “Parameter Sparsification”（参数稀疏化，简称 PS）

在论文的 Section III.C “Parameter Sparsification”（参数稀疏化，简称 PS） 部分，作者主要讨论了如何将“只传输部分重要信息”的稀疏化思想应用到无线自组织联邦学习（WAFL）中，并详细介绍了两种传统策略以及随之带来的“索引传输开销”问题。

以下是该部分的三个核心要点拆解：

1. 为什么要针对“参数”进行稀疏化？（背景转换）

• 在传统联邦学习（CFL）中：稀疏化通常作用于“梯度（Gradients）”，即设备只把那些计算出来的、最重要的梯度发送给中央服务器。
• 在无服务器的 WAFL 中：因为设备之间直接交换的是模型本身，没有梯度可传。因此，稀疏化的目标必须直接针对模型参数（Weights）。作者在这里定义了如何对“模型参数”进行稀疏化。

---

2. 两种经典的参数稀疏化策略

为了减少传输的数据量，设备每一层只选择 $k\%$ 的参数进行传输，模型聚合也只针对这选中的 $k\%$ 进行。论文对比了两种选择方法：

• ① 随机选择（Random-K Sparsification）：
  • 怎么选：每一层随机挑选 $k\%$ 的参数发送。
  • 开销极低：发送端和接收端可以使用同一个“伪随机数种子（Pseudo-random Seed）”。发送端只需要把这个极小的种子随参数一起发过去，接收端就能用它算出“哪些位置被选中了”。因此，Random-K 几乎不需要额外的索引传输开销。
• ② 强值选择（Top-K Sparsification）：
  • 怎么选：挑选那些绝对值最大（即最重要、影响最大）的前 $k\%$ 的参数进行传输。
  • 痛点（带来额外开销）：因为每个设备上哪些参数的绝对值最大是动态且不一样的，接收端无法像随机选择那样预先猜到。发送端必须明确告诉接收端：“我这次选了第 3、第 58、第 102 个参数……”，这就会产生额外的索引传输开销。

---

3. 如何解决 Top-K 的“索引开销”难题？

为了让 Top-K 策略在实际中可行，作者提出了两种压缩索引的方法：

• 方法一：增量编码（Delta Encoding）：
  • 不直接发送绝对的索引地址（如：3, 58, 102），而是计算它们之间的相对间距（如：3, 55, 44）。因为相对间距通常很小，可以用更少的比特（Bits）来表示，从而节省流量。
• 方法二：掩码压缩（Mask Compression）：
  • 用一串由 0 和 1 组成的掩码向量来表示哪些位置被选中（例如：00100...010）。当选择率 $k$ 很小（如 $1\%$ 或 $10\%$）时，这个向量会非常稀疏（绝大部分都是 0）。因此，使用 Deflate 算法 对这个稀疏的掩码向量进行压缩，能取得极好的无损压缩效果。

---

总结：它在整篇论文中的承上启下作用

这一节在技术路径上起到了承上启下的关键作用：

1. 承上：它定义了“参数稀疏化（PS）”的基准。
2. 启下：它指出了传统 Top-K 传输索引的痛点，并提供了“增量编码”和“掩码压缩”两个解法。这为后面作者提出核心创新点——“差分稀疏化（DS）”（不仅稀疏化，而且只针对新旧模型差值进行稀疏化）奠定了理论和技术基础。

Section III.D “Difference Sparsification”（差分稀疏化，简称 DS）

在论文的 Section III.D “Difference Sparsification”（差分稀疏化，简称 DS） 部分，作者详细讨论了本篇论文的核心创新点之一：如何通过“仅选择性传输自上次相遇以来的模型变化量（差分）”来极大降低设备间的通信流量。

这是论文从“传统参数压缩”迈向“新型差分压缩”的关键转折点。该部分主要讨论了以下核心内容：

1. 核心思想：从“传模型”到“传变化”

传统方法（如 PS 和 PQ）无论怎么压缩，传输的依然是模型参数的完整副本。而差分稀疏化（DS）*的思路是：如果设备 $n$ 和设备 $m$ 之前已经见过面，它们本地都会记录下“上次见面时对方的模型”。当它们再次相遇时，设备 $n$ 只需要计算*当前模型与上次相遇模型的差值，并且只把这个差值中最核心的 $k\%$ 的变化量（稀疏化之后）发给设备 $m$。

---

2. DS 算法的具体执行步骤

作者将这一过程形式化地拆解为两个阶段：

阶段 (a)：初始化（首次相遇）

当设备 $n$ 和设备 $m$ 第一次建立通信时：

• 此时由于没有历史对比，DS 算法还不能启动。
• 设备 $n$ 直接向 $m$ 发送其完整的初始模型参数 $w_{send}^n$。
• 关键准备：设备 $n$ 在本地开辟一块内存，将发送给 $m$ 的内容记录为 $w_{prev}^{n\rightarrow m}$。同时，它接收来自 $m$ 的模型，并在本地存为 $w_{prev}^{m\rightarrow n}$。这两个本地记录将作为后续对比的“锚点（基准线）”。

阶段 (b)：稀疏差分传输（再次相遇）

当设备 $n$ 和 $m$ 在未来再次相遇（哪怕中间隔了很久，设备 $n$ 已经经过了多次本地训练）时，执行以下对称的对等通信：

1. 计算并稀疏化差分：设备 $n$ 计算当前新模型 $w_{send}^n$ 与本地保存的历史基准 $w_{prev}^{n\rightarrow m}$ 的差值，并对其施加稀疏化函数 $S$（只保留 Top-K 或 Random-K 的元素，其余置为 $0$）：

   $d_{trans}^{n\rightarrow m} = S(w_{send}^n - w_{prev}^{n\rightarrow m})$

2. 传输与本地基准更新：设备 $n$ 将这个稀疏后的差分向量 $d_{trans}^{n\rightarrow m}$ 发送给 $m$。发送成功后，立即更新本地的基准线：

   $w_{prev}^{n\rightarrow m} \leftarrow w_{prev}^{n\rightarrow m} + d_{trans}^{n\rightarrow m}$

3. 接收与重建（Reconstruction）：与此同时，设备 $n$ 也会收到来自 $m$ 的差分数据 $d_{trans}^{m\rightarrow n}$。设备 $n$ 通过将该差分加到本地保存的 $m$ 的历史基准上，来重建出 $m$ 当前最新的完整模型 $w_{recv}^m$：

   $w_{recv}^m = w_{prev}^{m\rightarrow n} + d_{trans}^{m\rightarrow n}$

   随后，将本地存储的 $m$ 的基准线同步更新：

   $w_{prev}^{m\rightarrow n} \leftarrow w_{recv}^m$

---

3. 本地模型聚合（WAFL Aggregation）

在设备 $n$ 成功重建出周围所有邻居 $m \in nbr(n)$ 的最新模型 $w_{recv}^m$ 后，它会执行本地的自组织联邦学习聚合和调优，生成下一代本地模型 $w_{next}^n$：

$w_{next}^n = WAFL_e\left(w^n, \{w_{recv}^m \mid m \in nbr(n)\}\right)$

（其中 $e$ 代表 WAFL 的一个训练 epoch）

---

4. 算法的关键特性

• 完全去中心化和对称性（Symmetry & Peer-to-Peer）：整个过程不需要任何中央服务器参与。所有训练设备两两相遇时，都在以完全对等（P2P）的方式对称地执行这套计算和更新。
• 变体支持：DS 同样支持两种选择策略：Random-K DS 和 Top-K DS。
• 开销优化：对于性能更好的 Top-K DS，它产生的索引传输开销，同样可以使用前一节提到的“增量编码”或“掩码压缩”来大幅削减。

总结

这一节讨论的就是论文的核心数学框架。它定义了设备在没有服务器的情况下，如何通过“保存历史副本 $\to$ 计算当前与历史的差值 $\to$ 只发送大变动（其余清零） $\to$ 接收端累加还原”这一闭环流程，实现超低流量的对等协作学习。

Section III.E “Top-K Difference Sparsification + Difference Quantization”（Top-K 差分稀疏化 + 差分量化，简称 Top-K DS+DQ）

在论文的 Section III.E “Top-K Difference Sparsification + Difference Quantization”（Top-K 差分稀疏化 + 差分量化，简称 Top-K DS+DQ） 部分，作者讨论了整篇论文最核心、最惊艳的终极联合压缩算法。

这一节详细推导了如何将“只选重要变动（Top-K DS）”与“只传极简符号（DQ）”结合起来的数学实现。具体内容可以拆解为以下四个核心要点：

---

1. 核心思想：为什么叫“差分”量化（DQ）？

• 与传统参数量化（PQ）的区别：
  • PQ 量化的是模型参数本尊 $w$，数值分布范围广且不规则。
  • DQ 量化的是模型的更新差值 $d_{trans}$。因为绝大多数参数在训练后期几乎不怎么变，所以这些差值呈现出以 $0$ 为中心、高度对称的分布特征。
• 巧妙的设计：利用这种关于 $0$ 对称的特性，DQ 采用了一种“符号（Sign）+ 绝对值（Magnitude）”的量化策略——用 1 个比特专门表示正负号，其余比特表示大小。

---

2. 算法的数学实现：两种量化模式

设量化比特数为 $N$（传统高精度为 32 位浮点数）。算法首先提取出每个差值的正负符号 $s_i$（定义向量为 $s_{qnt}$）：

$s_{i}=\begin{cases}+1 & \text{if } d_{i} \ge 0\\ -1 & \text{if } d_{i} < 0\end{cases}$

随后，算法根据 $N$ 的取值，分成了两种工作模式：

模式一：多比特整数模式（$N \ge 2$，如 4-bit 或 2-bit）

在这种模式下，数据被拆分为“1 位符号 + $(N-1)$ 位绝对值”：

1. 计算绝对值的量化步长 $\Delta_{DQ}$（基于绝对值的最大值 $d_{max}$ 和最小值 $d_{min}$）：

   $\Delta_{DQ}=\frac{d_{max}-d_{min}}{2^{N-1}-1}$

2. 发送端量化：对差值的绝对值进行均匀量化，得到整数 $d_{qnt}$。

3. 接收端重建：接收端收到符号 $s_{qnt}$ 和量化后的整数 $d_{qnt}$ 后，通过下式还原：

   $d_{recv} = s_{qnt} \odot (d_{qnt} \cdot \Delta_{DQ} + d_{min})$

   （其中 $\odot$ 代表向量按元素相乘，恢复其原本的正负号和大小）

模式二：极简布尔模式（$1\text{-bit}$ 极简模式，$N = 1$）

这是论文最精彩的突破。当 $N=1$ 时，绝对值部分不占用任何传输比特，我们只传输符号位（Sign Bit）！

• 发送端：只发送每个参数变动的正负号 $s_{qnt}$（即 +1 或 -1，在计算机里就是 1 个布尔值位 0 或 1），另外附带发送一个标量：所有选中变动绝对值的平均数 $d_{avg}$。

• 接收端重建：接收端直接用正负号乘以这个平均数，一瞬间完成重建：

  $d_{recv} = s_{qnt} \cdot d_{avg}$

• 效果：传输主体只剩下一串由 0 和 1 组成的布尔符号流，每个参数的传输脚印被压缩到了极限的 1 个比特（原本是 32 位浮点数，直接缩减为 $\frac{1}{32}$）。

---

3. 双重暴击：Top-K DS + 1-bit DQ 的流量极限

当这两项技术结合时，流量被双重过滤：

1. 第一重过滤（Top-K DS）：比如 $k=1\%$，意味着我们直接丢弃了 99% 的参数，只发送最核心的 1% 的参数变动。
2. 第二重过滤（1-bit DQ）：对于这剩下的 1% 的变动参数，我们不传 32 位浮点数，只传 1 位的正负号。

最终效果：两者的组合将原本庞大的模型传输流量直接砍到了原本的：

$1\% \times \frac{1}{32} \approx 0.031\%$

整整缩减了约 3200 倍！

---

总结

这一节是整篇论文技术含量最高、最核心的数学推导。它不仅提出了一种基于零点对称的全新量化方法（DQ），而且给出了令人惊叹的 1-bit 极简传输方案，用严谨的数学公式论证了“如何只靠传输正负号（+ 或 -）和平均数，就能在对端完美复现 AI 模型的更新”。