信息论基础及应用PDF|Epub|txt|kindle电子书版本网盘下载

信息论基础及应用PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 概论1

1.1 通信与信息的一般概念1

1.1.1 信息、消息和信号1

1.1.2 Shannon信息3

1.1.3 通信系统模型4

1.2 信息论研究的主要内容和意义7

1.3 Shannon信息论的观点与方法9

1.4 信息理论与信息科学的发展历程10

1.5 信息的再认识14

1.5.1 信息的特性14

1.5.2 信息的其他定义16

1.5.3 信息的分类17

科学家小传——C.E.Shannon18

思考题19

第2章 信源及其信息的统计度量20

2.1 信源的数学模型和分类20

2.1.1 概率论符号约定和概率知识基础20

2.1.2 信源的数学模型22

2.1.3 信源的分类23

2.2 随机事件的信息27

2.2.1 随机事件的自信息和条件自信息27

2.2.2 随机事件的互信息和条件互信息32

2.3 离散信源的熵36

2.3.1 信源熵36

2.3.2 条件熵38

2.3.3 联合熵（共熵）39

2.3.4 熵函数的性质40

2.3.5 加权熵的概念及基本性质46

2.4 离散信源的平均互信息48

2.4.1 平均互信息48

2.4.2 平均互信息的性质50

2.4.3 各类熵之间的关系53

2.5 离散序列信源的熵55

2.5.1 离散无记忆序列信源的熵55

2.5.2 离散有记忆序列信源的熵57

2.5.3 马尔可夫信源的熵62

2.6 连续信源熵和互信息69

2.6.1 连续信源的表述69

2.6.2 基本连续信源的熵70

2.6.3 多维连续信源和波形信源的熵72

2.6.4 连续信源熵的性质和最大熵定理74

2.7 冗余度和熵功率75

2.7.1 离散信源的冗余度和自然语言的熵75

2.7.2 连续信源的熵功率79

思考题80

习题80

第3章 信道及其容量86

3.1 信道的数学模型和分类86

3.1.1 信道的分类87

3.1.2 离散信道的数学模型90

3.1.3 连续信道的数学模型92

3.2 信息传输率与信道容量94

3.2.1 信道疑义度、噪声熵和信息传输率94

3.2.2 信道容量的定义96

3.3 离散信道的信道容量96

3.3.1 特殊离散信道的信道容量96

3.3.2 离散对称信道的信道容量99

3.3.3 离散准对称信道的信道容量101

3.3.4 一般离散信道的信道容量102

3.4 离散序列信道的数学模型及其信道容量107

3.4.1 离散序列信道的数学模型107

3.4.2 离散序列信道的信道容量109

3.5 组合信道的信道容量111

3.5.1 串联信道及其信道容量和数据处理定理112

3.5.2 并联信道及其信道容量115

3.6 连续信道及其信道容量116

3.6.1 单符号高斯加性信道117

3.6.2 限带高斯白噪声加性波形信道118

3.7 信源与信道的匹配121

思考题122

习题123

第4章 无失真信源编码127

4.1 信源编码的基本概念127

4.1.1 信源编码器127

4.1.2 信源编码的基本码型128

4.1.3 平均码长和编码效率131

4.1.4 信源编码的树图表示133

4.1.5 Kraft不等式135

4.1.6 唯一可译变长码的判定法137

4.2 等长编码和等长信源编码定理139

4.2.1 等长编码139

4.2.2 等长信源编码定理141

4.3 变长信源编码定理143

4.4 变长编码方法149

4.4.1 Shannon编码149

4.4.2 Fano编码150

4.4.3 Huffman编码152

4.4.4 游程编码158

4.4.5 数字传真编码160

4.4.6 算术编码164

4.5 字典码169

4.5.1 LZ-77编码算法170

4.5.2 LZ-78编码算法172

4.5.3 LZW编码算法174

科学家小传——R.M.Fano176

科学家小传——D.A.Huffman176

思考题177

习题177

第5章 信息率失真函数和限失真信源编码181

5.1 失真测度和信息率失真函数182

5.1.1 系统模型和失真测度182

5.1.2 信息率失真函数的定义186

5.1.3 信息率失真函数的性质187

5.2 离散信源的信息率失真函数的计算191

5.2.1 利用信源的对称性计算信息率失真函数192

5.2.2 离散信源信息率失真函数的参量表达式194

5.3 连续信源的信息率失真函数198

5.3.1 连续信源的信息率失真函数与性质198

5.3.2 高斯信源的信息率失真函数199

5.3.3 连续信源的信息率失真函数的界201

5.4 限失真信源编码定理202

5.5 限失真信源编码简介203

5.5.1 量化编码203

5.5.2 预测编码207

5.5.3 变换编码208

科学家小传——A.Lempel211

科学家小传——J.Ziv211

思考题212

习题212

第6章 信道编码214

6.1 译码规则和信道编码定理214

6.1.1 错误概率与译码规则214

6.1.2 有噪信道编码定理219

6.2 差错控制的基本形式和信道编码的分类220

6.2.1 差错控制的基本形式220

6.2.2 信道编码的分类222

6.3 信道编码的基本数学知识224

6.3.1 群、环和域的基本概念224

6.3.2 有限域上的多项式228

6.3.3 多项式同余类环229

6.3.4 有限域的结构230

6.3.5 线性空间234

6.4 线性分组码236

6.4.1 分组码的基本概念237

6.4.2 常用分组码介绍240

6.4.3 生成矩阵、一致校验矩阵和对偶码242

6.4.4 伴随式及标准阵列译码245

6.4.5 Hamming码248

6.4.6 由已知码构造新码的方法249

6.5 循环码251

6.5.1 循环码的基本概念252

6.5.2 循环码的生成多项式、生成矩阵和编码原理254

6.5.3 循环码的一致校验多项式和校验矩阵257

6.5.4 循环Hamming码和极长码259

6.5.5 用多项式的根定义循环码260

6.5.6 循环码的编码电路262

6.5.7 循环码的译码原理和译码电路265

6.5.8 BCH码和RS码269

6.6 卷积码275

6.6.1 卷积码的基本概念275

6.6.2 卷积码的描述方法278

6.6.3 卷积码的Viterbi译码284

科学家小传——R.W.Hamming289

思考题290

习题290

参考文献294