Article

信息论-CH5-纠错编码

信息论-CH5-纠错编码,待补充摘要。

May 3, 2026 修考 8 min read

第五章 纠错编码 (Error-Correction Coding)

纠错编码的基本思想是在信息序列中引入冗余位(监督位),利用这些冗余位与信息位之间的代数关系来检测或纠正传输过程中的差错。

1. (n,k)(n, k) 分组码基础

1.1 基本定义

  • kk:信息位的位数。
  • nn:码字的总长度(信息位 + 监督位)。
  • r=nkr = n - k:监督位(校验位)的位数。
  • 码率 RRR=knR = \frac{k}{n},衡量编码效率。

1.2 线性分组码 (Linear Block Codes)

线性分组码的特点是:码字中的监督位是信息位的模-2 和(即异或 \oplus 运算)。

例:(7,3)(7, 3) 分组码 设信息位为 m={m1,m2,m3}m = \{m_1, m_2, m_3\},码字为 C={c1,c2,c3,c4,c5,c6,c7}C = \{c_1, c_2, c_3, c_4, c_5, c_6, c_7\}。 如果规定前 3 位为信息位(c1=m1,c2=m2,c3=m3c_1=m_1, c_2=m_2, c_3=m_3),后 4 位为监督位,且满足:

{c4=c1c3c5=c1c2c6=c1c2c3c7=c2c3\begin{cases} c_4 = c_1 \oplus c_3 \\ c_5 = c_1 \oplus c_2 \\ c_6 = c_1 \oplus c_2 \oplus c_3 \\ c_7 = c_2 \oplus c_3 \end{cases}

一部分是信息位一部分是校验位

Linear Block Code - Explanation of Encoding and Decoding with Example -  Electronics Desk

1.3 系统码 (Systematic Codes)

系统码是指码字可以明确划分为信息位校验位两个部分。

  • 形式 1:[信息位校验位][ \text{信息位} \mid \text{校验位} ]
  • 形式 2:[校验位信息位][ \text{校验位} \mid \text{信息位} ] (笔记中提到“一刀切”,前面校验,后面信息,这也是一种常见形式)

Systematic encoding non systematic encoding

2. 生成矩阵 GG (Generator Matrix)

生成矩阵的作用是:已知信息位 mm,通过 GG 生成码字 CC

C=mGC = m \cdot G

其中,mm1×k1 \times k 向量,GGk×nk \times n 矩阵。

如果我们需要编码,那么我们就需要求出生成多项式

2.1 典型形式(系统码)

G=[IkP]G = [I_k \mid P],其中 IkI_kk×kk \times k 单位阵,PPk×rk \times r 校验矩阵,则生成的码字是系统码。

  • :非系统码可以通过初等行变换转化为系统码。

例题 给定 G=[IP]=[100111001001110011101]G = [I \mid P] = \begin{bmatrix} 1 & 0 & 0 & 1 & 1 & 1 & 0 \\ 0 & 1 & 0 & 0 & 1 & 1 & 1 \\ 0 & 0 & 1 & 1 & 1 & 0 & 1 \end{bmatrix} 每一行都是一个合法的码字。

3. 校验矩阵 HH (Parity-Check Matrix)

image-20260503130907287

校验矩阵用于验证接收到的码字是否正确。 若 G=[IkP]G = [I_k \mid P],则对应的校验矩阵为 H=[PTIr]H = [P^T \mid I_r]。 满足关系:GHT=0G \cdot H^T = 0

3.1 伴随式 (Syndrome) SS

设接收到的码字为 YY,则伴随式为:

S=YHTS = Y \cdot H^T

  • S=0S = 0:接收无误(或发生了不可检测的差错)。
  • S0S \neq 0:接收有误。
  • 检错规律:若 SS 等于 HH 矩阵的第 ii 列,通常预示着第 ii 位发生了错误。

4. 纠错与检错能力

4.1 最小汉明距离 dmind_{min}

最小汉明距离是码组中任意两个码字之间对应位不同的最小个数。

  • 对于线性分组码,dmin=最小非零码字的汉明重量 wmind_{min} = \text{最小非零码字的汉明重量 } w_{min}
  • 在校验矩阵 HH 中,dmind_{min} 等于 HH 中线性相关的列向量的最少个数。

4.2 纠检错公式

  1. 检测 ee 个错dmine+1d_{min} \ge e + 1
  2. 纠正 tt 个错dmin2t+1d_{min} \ge 2t + 1
  3. 纠正 tt 个错且检测 ee 个错 (e>te > t)dmint+e+1d_{min} \ge t + e + 1

5. 汉明码 (Hamming Codes)

汉明码是一种能纠正单个随机错误的线性分组码。

  • 参数n=2m1,r=m,k=2m1mn = 2^m - 1, r = m, k = 2^m - 1 - m
  • 构造HH 矩阵的每一列由除全 0 外的所有 mm 位二进制向量组成。

6. 循环码 (Cyclic Codes)

6.1 特点

码字具有循环移位特性:若 CC 是一个码字,则其循环移位后的序列也是码字。

6.2 多项式表示

  • 码字多项式:C(x)=cn1xn1+cn2xn2++c1x+c0C(x) = c_{n-1}x^{n-1} + c_{n-2}x^{n-2} + \dots + c_1x + c_0
  • 生成多项式 g(x)g(x):阶数为 r=nkr = n - k。所有码字多项式都能被 g(x)g(x) 整除。

6.3 系统循环码的编码 (SOP)

  1. 将信息多项式 m(x)m(x) 左移 rr 位:m(x)xrm(x) \cdot x^r
  2. 求余数:r(x)=[m(x)xr]modg(x)r(x) = [m(x) \cdot x^r] \mod g(x)
  3. 合成码多项式:C(x)=m(x)xrr(x)C(x) = m(x) \cdot x^r \oplus r(x)

7. 综合例题

例 1:汉明距离与纠错能力

图片

已知一组码字,通过比较每两个码字之间的差异,找出最小距离 dmind_{min}。 若 dmin=3d_{min}=3,则:

  • 检测错误数 ee: 3e+1e=23 \ge e+1 \to e=2
  • 纠正错误数 tt: 32t+1t=13 \ge 2t+1 \to t=1

例 2:已知 HH 求参数

图片

已知 HH4×94 \times 9 矩阵。

  • n=9n = 9(列数),r=4r = 4(行数)。
  • k=nr=5k = n - r = 5
  • 编码率 R=k/n=5/9R = k/n = 5/9
  • 通过行变换观察 HH 的线性相关性,求得 dmin=4d_{min} = 4

例 3:汉明码编码过程

图片

已知校验矩阵 H=[111010001110101101001]H = \begin{bmatrix} 1 & 1 & 1 & 0 & 1 & 0 & 0 \\ 0 & 1 & 1 & 1 & 0 & 1 & 0 \\ 1 & 1 & 0 & 1 & 0 & 0 & 1 \end{bmatrix} 这是一个系统码形式 H=[PTI]H = [P^T \mid I]

  1. 写出 G=[IP]G = [I \mid P]
  2. 输入序列分段编码:1101,0110,0101101, 0110, 010 \dots
  3. 利用 C=mGC = m \cdot G 分段求出对应的码序列并拼接。

例4 循环码

**例题 **: 已知 g(x)=x3+x2+1g(x) = x^3 + x^2 + 1,输入信息 01100110

  1. k=4,r=3n=7k=4, r=3 \to n=7。信息位 0110m(x)=x2+x0110 \to m(x) = x^2 + x
  2. m(x)x3=x5+x4m(x) \cdot x^3 = x^5 + x^4
  3. (x5+x4)÷(x3+x2+1)(x^5 + x^4) \div (x^3 + x^2 + 1),余数为 x2x^2
  4. 码字多项式为 x5+x4+x2x^5 + x^4 + x^2,对应序列为 01101000110100

图片