信息论基础 原书第2版PDF|Epub|txt|kindle电子书版本网盘下载

信息论基础 原书第2版PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 绪论与概览1

第2章 熵、相对熵与互信息7

2.1 熵7

2.2 联合熵与条件熵9

2.3 相对熵与互信息10

2.4 熵与互信息的关系11

2.5 熵、相对熵与互信息的链式法则12

2.6 Jensen不等式及其结果13

2.7 对数和不等式及其应用17

2.8 数据处理不等式18

2.9 充分统计量19

2.10 费诺不等式20

要点23

习题24

历史回顾31

第3章 渐近均分性32

3.1 渐近均分性定理32

3.2 AEP的推论：数据压缩34

3.3 高概率集与典型集35

要点36

习题36

历史回顾40

第4章 随机过程的熵率41

4.1 马尔可夫链41

4.2 熵率42

4.3 例子：加权图上随机游动的熵率44

4.4 热力学第二定律46

4.5 马尔可夫链的函数48

要点49

习题50

历史回顾58

第5章 数据压缩59

5.1 有关编码的几个例子59

5.2 Kraft不等式61

5.3 最优码62

5.4 最优码长的界64

5.5 惟一可译码的Kraft不等式66

5.6 赫夫曼码67

5.7 有关赫夫曼码的评论68

5.8 赫夫曼码的最优性70

5.9 Shannon-Fano-Elias编码72

5.10 香农码的竞争最优性74

5.11 由均匀硬币投掷生成离散分布76

要点80

习题81

历史回顾90

第6章 博弈与数据压缩91

6.1 赛马91

6.2 博弈与边信息94

6.3 相依的赛马及其熵率95

6.4 英文的熵96

6.5 数据压缩与博弈98

6.6 英文的熵的博弈估计99

要点100

习题101

历史回顾105

第7章 信道容量106

7.1 信道容量的几个例子107

7.1.1 无噪声二元信道107

7.1.2 无重叠输出的有噪声信道107

7.1.3 有噪声的打字机信道107

7.1.4 二元对称信道108

7.1.5 二元擦除信道108

7.2 对称信道109

7.3 信道容量的性质110

7.4 信道编码定理预览110

7.5 定义111

7.6 联合典型序列112

7.7 信道编码定理114

7.8 零误差码118

7.9 费诺不等式与编码定理的逆定理118

7.10 信道编码定理的逆定理中的等式120

7.11 汉明码121

7.12 反馈容量124

7.13 信源信道分离定理125

要点128

习题128

历史回顾138

第8章 微分熵140

8.1 定义140

8.2 连续随机变量的AEP141

8.3 微分熵与离散熵的关系142

8.4 联合微分熵与条件微分熵143

8.5 相对熵与互信息144

8.6 微分熵、相对熵以及互信息的性质145

要点147

习题148

历史回顾149

第9章 高斯信道150

9.1 高斯信道：定义151

9.2 高斯信道编码定理的逆定理153

9.3 带宽有限信道155

9.4 并联高斯信道157

9.5 高斯彩色噪声信道158

9.6 带反馈的高斯信道160

要点165

习题165

历史回顾171

第10章 率失真理论172

10.1 量化172

10.2 定义173

10.3 率失真函数的计算175

10.3.1 二元信源175

10.3.2 高斯信源177

10.3.3 独立高斯随机变量的同步描述178

10.4 率失真定理的逆定理180

10.5 率失真函数的可达性182

10.6 强典型序列与率失真186

10.7 率失真函数的特征188

10.8 信道容量与率失真函数的计算189

要点191

习题191

历史回顾196

第11章 信息论与统计学198

11.1 型方法198

11.2 大数定律203

11.3 通用信源编码204

11.4 大偏差理论205

11.5 Sanov定理的几个例子207

11.6 条件极限定理209

11.7 假设检验213

11.8 Chernoff-Stein引理216

11.9 Chernoff信息218

11.10 费希尔信息与Cramér-Rao不等式222

要点225

习题227

历史回顾232

第12章 最大熵233

12.1 最大熵分布233

12.2 几个例子234

12.3 奇异最大熵问题236

12.4 谱估计236

12.5 高斯过程的熵率237

12.6 Burg最大熵定理238

要点240

习题240

历史回顾243

第13章 通用信源编码244

13.1 通用码与信道容量244

13.2 二元序列的通用编码247

13.3 算术编码249

13.4 Lempel-Ziv编码251

13.4.1 带滑动窗口的Lempel-Ziv算法252

13.4.2 树结构Lempel-Ziv算法252

13.5 Lempel-Ziv算法的最优性253

13.5.1 带滑动窗口的Lempel-Ziv算法253

13.5.2 树结构Lempel-Ziv压缩的最优性255

要点260

习题261

历史回顾263

第14章 科尔莫戈罗夫复杂度264

14.1 计算模型265

14.2 科尔莫戈罗夫复杂度：定义与几个例子265

14.3 科尔莫戈罗夫复杂度与熵269

14.4 整数的科尔莫戈罗夫复杂度271

14.5 算法随机序列与不可压缩序列271

14.6 普适概率273

14.7 科尔莫戈罗夫复杂度275

14.8 Ω276

14.9 万能博弈277

14.10 奥克姆剃刀278

14.11 科尔莫戈罗夫复杂度与普适概率279

14.12 科尔莫戈罗夫充分统计量283

14.13 最短描述长度准则285

要点286

习题287

历史回顾290

第15章 网络信息论291

15.1 高斯多用户信道292

15.1.1 单用户高斯信道293

15.1.2 m个用户的高斯多接入信道293

15.1.3 高斯广播信道294

15.1.4 高斯中继信道294

15.1.5 高斯干扰信道295

15.1.6 高斯双程信道296

15.2 联合典型序列296

15.3 多接入信道299

15.3.1 多接入信道容量区域的可达性301

15.3.2 对多接入信道容量区域的评述303

15.3.3 多接入信道容量区域的凸性304

15.3.4 多接入信道的逆定理306

15.3.5 m个用户的多接入信道309

15.3.6 高斯多接入信道309

15.4 相关信源的编码312

15.4.1 Slepian-Wolf定理的可达性313

15.4.2 Slepian-Wolf定理的逆定理316

15.4.3 多信源的Slepian-Wolf定理317

15.4.4 Slepian-Wolf编码定理的解释317

15.5 Slepian-Wolf编码与多接入信道之间的对偶性318

15.6 广播信道319

15.6.1 广播信道的定义320

15.6.2 退化广播信道321

15.6.3 退化广播信道的容量区域321

15.7 中继信道324

15.8 具有边信息的信源编码326

15.9 具有边信息的率失真329

15.10 一般多终端网络333

要点337

习题338

历史回顾345

第16章 信息论与投资组合理论347

16.1 股票市场：一些定义347

16.2 对数最优投资组合的库恩－塔克特征349

16.3 对数最优投资组合的渐近最优性350

16.4 边信息与增长率352

16.5 平稳市场中的投资353

16.6 对数最优投资组合的竞争最优性355

16.7 万能投资组合356

16.7.1 有限期万能投资组合357

16.7.2 无限期万能投资组合362

16.8 Shannon-McMillan-Breiman定理（广义渐近均分性质）366

要点369

习题371

历史回顾373

第17章 信息论中的不等式375

17.1 信息论中的基本不等式375

17.2 微分熵376

17.3 熵与相对熵的界378

17.4 关于型的不等式380

17.5 熵的组合界380

17.6 子集的熵率381

17.7 熵与费希尔信息383

17.8 熵幂不等式与布伦－闵可夫斯基不等式385

17.9 有关行列式的不等式388

17.10 关于行列式的比值的不等式390

要点392

习题393

历史回顾393

参考文献394

索引418