学术中国 云计算大数据处理PDF|Epub|txt|kindle电子书版本网盘下载

学术中国 云计算大数据处理PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 大数据挑战1

1.1 当前面临的大数据挑战1

1.1.1 大数据急剧膨胀1

1.1.2 大数据智能分析2

1.1.3 大数据深度挖掘4

1.1.4 业务与技术脱节5

1.2 大数据催生云计算5

1.2.1 云计算不是偶然6

1.2.2 云计算带来挑战与机遇10

1.2.3 云计算对大数据的意义12

1.2.4 云计算的未来展望13

1.3 大数据存储14

1.3.1 存储仅是第一步14

1.3.2 行存储和列存储16

1.3.3 PB级大数据存储19

1.3.4 大数据存储的未来22

1.4 大数据处理25

1.4.1 大数据处理的瓶颈25

1.4.2 大数据处理的需求29

1.4.3 大数据处理技术决定未来29

1.4.4 大数据处理解决方案32

参考文献33

第2章 当前的大数据处理系统35

2.1 开源大数据处理平台35

2.1.1 Hadoop35

2.1.2 MapReduce39

2.2 NoSQL数据库41

2.2.1 Google BigTable的开源Java实现：HBase41

2.2.2 纯分布式数据库：Cassandra44

2.2.3 NoSQL数据库的应用场景45

2.3 数据仓库平台46

2.3.1 Hive46

2.3.2 数据仓库平台架构46

2.3.3 数据仓库平台的实现47

参考文献47

第3章 数据立方简介49

3.1 数据立方的产生背景49

3.2 数据立方的相关技术49

3.2.1 云计算中的大数据处理技术——MapReduce49

3.2.2 并行数据库技术51

3.2.3 云计算与数据库相结合的技术51

3.3 数据立方的架构以及与Hadoop的关系53

3.3.1 数据立方的体系架构53

3.3.2 数据立方与Hadoop的关系59

参考文献60

第4章 数据立方及配套环境的安装61

4.1 安装流程61

4.2 操作系统的安装61

4.2.1 CentOS6.2的安装61

4.2.2 JDK的安装66

4.2.3 配置SSH66

4.2.4 配置/etc/hosts67

4.2.5 修改机器主机名67

4.2.6 配置NFS与NTP68

4.3 Hadoop的安装68

4.3.1 Hadoop的版本68

4.3.2 HDFS的配置安装69

4.3.3 MapReduce的配置安装72

4.4 数据立方的配置安装74

4.4.1 MySQL-Connector的安装74

4.4.2 编辑数据立方的配置文件74

4.4.3 数据立方的启动77

4.5 监控工具Ganglia的安装77

4.5.1 安装依赖77

4.5.2 安装Ganglia78

4.5.3 配置Ganglia78

4.6 数据导入工具Sqoop的安装80

4.6.1 安装前提80

4.6.2 安装步骤80

参考文献81

第5章 Hello World数据立方快速入门82

5.1 智慧交通数据处理实例82

5.1.1 实例背景82

5.1.2 建表83

5.1.3 数据入库84

5.1.4 数据查询85

5.2 编程实现85

第6章 数据立方开发87

6.1 数据立方的开发说明87

6.2 数据立方SQL规范87

6.2.1 数据定义与数据操作语言88

6.2.2 数据查询语言95

6.3 数据入库接口开发103

6.3.1 单条或多条记录入库Java开发包103

6.3.2 开发说明103

6.3.3 示例104

6.4 数据查询接口开发105

6.4.1 Java开发包105

6.4.2 接口介绍105

6.4.3 示例106

6.5 数据导入工具Sqoop命令及其使用106

6.5.1 Sqoop命令及通用函数107

6.5.2 Sqoop命令的使用108

第7章 数据立方的维护109

7.1 HDFS的维护109

7.1.1 HDFS的dfsadmin命令109

7.1.2 HDFS的Balancer工具111

7.2 Shell的使用113

7.2.1 数据立方Shell说明113

7.2.2 数据定义与数据操作的Shell113

7.2.3 数据查询的Shell114

7.3 数据立方的常见问题及其解决方法114

7.4 Sqoop的常见问题及其解决方法116

7.4.1 MySQL的用户问题116

7.4.2 MySQL的权限问题116

7.4.3 Sqoop的Path问题117

7.4.4 Sqoop的Import问题118

7.5 数据立方管理系统118

参考文献126

第8章 数据立方的可靠性127

8.1 Hadoop的可靠性127

8.1.1 HDFS中NameNode的单点问题127

8.1.2 HDFS数据块副本机制128

8.1.3 HDFS心跳机制129

8.1.4 HDFS负载均衡129

8.1.5 MapReduce容错130

8.2 Hadoop的SecondaryNameNode机制130

8.2.1 磁盘镜像与日志文件131

8.2.2 SecondaryNameNode更新镜像的流程131

8.3 Avatar机制133

8.3.1 Avatar系统架构134

8.3.2 Avatar元数据同步机制135

8.3.3 故障切换过程137

8.3.4 Avatar运行流程139

8.3.5 Avatar故障切换流程143

8.4 Avatar实战148

8.4.1 实验环境148

8.4.2 Avatar的编译148

8.4.3 Avatar的安装和配置150

8.4.4 Avatar启动运行与宕机切换157

8.5 数据立方的工作流程及可靠性160

8.5.1 数据立方的架构160

8.5.2 数据立方的工作流程161

8.5.3 数据立方的可靠性161

参考文献162

第9章 数据统计分析实例——供电信息采集系统163

9.1 客户需求分析163

9.1.1 测试过程及数据量描述163

9.1.2 测试过程分解及效率统计164

9.2 数据表设计167

9.3 查询语句设计与结果展现170

9.4 查询优化171

9.4.1 存储方面的优化171

9.4.2 内存方面的优化171

9.5 性能测试结果172

9.5.1 数据下载解压及标记172

9.5.2 数据解析入库173

9.5.3 数据计算流程174

9.5.4 数据导入Oracle数据库175

9.5.5 查询总时长统计176

第10章 在线数据检索实例——移动信令分析云平台177

10.1 需求分析177

10.2 数据表设计179

10.2.1 CDR数据文件的检测与索引创建任务调度179

10.2.2 从HDFS读取数据并创建索引181

10.2.3 查询CDR信息181

10.3 查询语句设计与结果展现182

10.3.1 CDR文件检测和索引创建任务调度程序182

10.3.2 读取CDR数据和索引创建处理185

10.3.3 CDR查询188

10.4 查询优化191

10.5 性能测试结果192

第11章 实时数据处理实例——地震数据194

11.1 需求分析194

11.2 数据表设计195

11.3 查询语句设计与结果展现196

11.4 查询优化197

11.4.1 存储方面的优化197

11.4.2 计算方面的优化198

11.5 性能测试结果198

11.5.1 单机模拟集群测试198

11.5.2 字段测试199

11.5.3 排序测试200

11.5.4 随机读写测试200

名词索引202