笔趣阁

第27章（第1页）

我严重怀疑老爷子是穿越的（狗头）

2

我们现在很火的ai就用到了信息熵。

3，

香农在哈特莱的研究基础上完成公式，他把对数的底从10变成了2，以2为底，很符合他用0和1描述世界的逻辑，二进制从这里出现，然后苏联开始研究三进制

香农公式，一定存在某种方法使在发送速率小于信道极限传输速率的信道保证可靠传输。

信道容量就是最大互信息，互信息是一个测度，是一个随机变量包含另一个随机变量信息量的度量

4

什么是好的通信？

是接受到的信息和对方发送的一模一样，不会漏掉哪个词让你听不懂，

不确定自己听到的对不对，就叫疑义度，h(x丨y），是损失掉的，

散布度h(y丨x），是噪声引入的

损失的越少，听到的信息就越大，传输过程中，理论上能传输的最大互信息，就是channelcapacity，信道容量

降噪耳机也是一样的道理，噪声是可以被克服的

5

arikan首先解决的是bec信道，也叫二进制擦除信道，baryerasurechannel

erasure擦除，这是信号损失的形象说法，这个信道只有两种可能，要嘛擦除，接收端完全收不到信号，要嘛成功，完整传达，不存在传达部分

按照网上大佬的解释，我简单一点跟大家说一下，

假设有p的概率被擦除，那么成功传输的概率是1-p，前面我们讲过，信道容量的定义是最大互信息，他证明信道容量c就是1-p

1是必然事件，p是不确定因素

由于为p的信息在信道中损失，我们最多只能传输1-p，假设p是05，那就最多可以让一半的信息无疑义的传输成功

但能不能达成1-p就是香农所谓的极限？

我们来了解一个词，异或，

（异或是一种二进制数□□算，两个相同的数据异或，结果永远为0：不同得为1）

（异或就是信息内容的差别集合，通过这一步，信道带有全部信息。类似调制解调器）

（伽罗瓦二元域里加和减是一样的运算，这里的异或就是伽罗瓦域里的加法。）

arikan教授用两个bec信道进行一种操作，u2直接传输信道二，u1在传输信道一之前，与u2异或得到x1，

再传，

也就是u1异或u2得到x1，

u2=x2

这样做的目的是使信息传输最大化，把信息按照约定编码标记拆分传输再根据编码组合达到更低的丢失率，压缩数据通过不同信道传输提高抗干预和传输速率

异或有个很厉害的特性，a异或b后得到c，

假如再将c和b异或，就能还原a

我们靠这个公式进行解码