上一期给"不确定性"称了重量，也顺手把压缩的地板价摸清楚了——熵是下限，Huffman 把这块地板铺了出来。但那是个"安静房间"里的问题：没人撒谎，信道也不掉包比特。现实里你拿到的新闻、行情、链上数据，无时无刻不在穿过噪声。
这期要回答两件上一期没碰的事：一段带噪声的信道，最多还能保真地传多少信息？给定有限、且被噪声污染的信息，你怎么判断"真实世界到底是哪个"？前者是香农的信道容量，后者是假设检验——信息论真正伸出手去够"统计决策"的地方。把这两条啃完，信息论的骨架就齐了，下一期我们才能顺理成章地问：信息分布不均时，人会怎么行动。
第一期 0x4 把互信息写成 KL 散度检验独立性的化身。这里给它配一个同样干净、却常被低估的推论：数据处理不等式（Data Processing Inequality, DPI）。
若 X → Y → Z 构成马尔可夫链，则 I(X;Z) ≤ I(X;Y)。
直觉极其朴素：你拿到原始信号 Y，再怎么加工、过滤、摘要、喂给模型，都不会凭空得到关于 X 的"额外"信息，最多把 Y 里已有的信息不丢失地提取出来。MIT 6.441 把 data processing theorem 放在信息论基础部分，正是因为它把"信息守恒"这件事说死了。
落到 crypto 很应景：真实价格 → 新闻 → KOL 解读 → 交易员判断，是一条典型的 X→Y→Z 链。每一跳都在加工，每一跳都只能丢信息、不能造信息。所以"最后一个接到消息的人"，理论上永远握着最少的信息——除非他另有内幕渠道（那叫绕过了马尔可夫链，不算同一道题）。
退一步看，今天所有人都在问"LLM 是不是在创造知识"。DPI 给了一记冷静的回答：一个纯粹的 information processing channel，不可能从输入里榨出输入本身没有的东西。它能做的，只是把信息重新表示、放大你以为看见的部分。这点认知，后面讲信号和机制时会反复回来咬你。
上一期在信道容量那一节，我们已经见了 C 的定义，但没认真把"噪声"摊开。这一节补上。一条离散无记忆信道建模成
X → Channel → Y
输入端 X，输出端 Y，中间是噪声。两个最常被拿来开胃的模型：
BSC 上，已知输入 X，输出 Y 仍残留的不确定性就是
H(Y|X) = H₂(p) = −p log p − (1−p) log(1−p)
这就是"信道本身制造了多少雾"。而端到端的互信息
I(X;Y) = H(Y) − H(Y|X)
衡量的是：穿过噪声后，X 还有多少被 Y 救了回来。p 越大，雾越浓，I(X;Y) 越小——这是接下来容量那一节的直接原料。
把 0x2 的 I(X;Y) 对输入分布取最大，就得到香农在 1948 年给出的信道容量：
C = max_{p(x)} I(X;Y)
它回答的是一个反直觉的问题：在最优的输入策略下，这条带噪信道到底还能可靠地传多少比特？注意是"max over p(x)"——你可以聪明地选择怎么编码输入，但噪声的分布你改不了。
对 BSC 这种对称信道，最优输入是均匀撒（0、1 各半），于是
C = 1 − H₂(p)
带宽（每秒能发的符号数）和容量是两回事：你每秒发一万个符号，但如果信道翻脸概率 p 很高，每个符号携带的有效信息趋近于零，总容量依然塌掉。所以"带宽越大、信息量一定越大"是个错觉，真正卡上限的是 C。
香农最漂亮、也最气人的结论，是 noisy-channel coding theorem：
若传输速率 R < C，则存在一种编码，使误码概率随码长 n 趋于无穷而趋于 0；若 R > C，则无论如何都无法可靠传输。
这句话的野心不在"发明了一种更好的码"，而在于它证明了通信系统的信息论极限存在且可计算。它顺带导出 separation theorem：先把信源压到熵率，再用信道编码把比特送过噪声——两步分开做，互不影响最优性。
但定理只保证"存在"这样的编码，并不告诉你怎么造。于是从 1948 年到 turbo code、LDPC code 真正逼近容量，人类花了半个多世纪。这点和第一期的 Huffman 正好对照：Huffman 是可构造的最优前缀码，香农极限是可证明但长期不可构造的目标。懂了这个区别，你再看今天通信标准的演进，会少很多浪漫想象。
信息论到这儿，开始伸手去够"统计决策"。给定两条假设：
H₀：世界是 A
H₁：世界是 B
你只有一份被噪声污染的信号，怎么判？核心工具是似然比和奈曼-皮尔逊（Neyman-Pearson）引理：在给定"虚警率"（false positive）上限下，让"漏报率"（false negative）最小的检验，就是拿似然比 Λ = P(signal|H₁)/P(signal|H₀) 去和某个阈值比。
更有信息论味道的是：两类错误的代价，可以翻译成 KL 散度。Chernoff 界告诉我们，把判错概率压到 ε 所需的样本数，量级由 D(KL) 决定——KL 越大，两个分布越容易区分，越少样本就能下结论。这把第一期的 KL "说错话要付利息"彻底坐实了：信念离真相越远，你越需要更多信息才能纠正。
落到 crypto：H₀=项目不会跑路，H₁=会跑路，你手里只有钱包转账、社媒情绪、链上异动几路噪声信号。怎么设阈值、怎么在多源信号间分配信任，就是这道假设检验的实战版。
把本期和第一期拼起来，一条完整的信息流模型就立起来了：
真实世界 → Information → Observation（+Noise）→ Inference → Decision
信息论主要啃的是 Information → Representation → Transmission → Recovery 这一段——它精确、可计算、有硬极限。但 Recovery 之后，问题变了：谁拿到了信息？谁还蒙在鼓里？谁因此赚了钱？
这正是下一期的入口。信息论问"信息有多少"，信息经济学要问"信息在谁手里、他为什么告诉你"。这条裂缝一开，整个故事就从数学滑向了人性。
