数据仓库生命周期工具箱PDF|Epub|txt|kindle电子书版本网盘下载

数据仓库生命周期工具箱PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章　Kimball生命周期导论1

1.1　生命周期的历史1

1.2　生命周期里程碑3

1.2.1　项目／项目群规划3

1.2.2　项目／项目群管理4

1.2.3　业务需求定义4

1.2.4　技术路线4

1.2.5　数据路线5

1.2.6　商业智能应用路线6

1.2.7　部署6

1.2.8　维护6

1.2.9　增长6

1.3　使用生命周期图7

1.4　生命周期导航帮助7

1.5　生命周期相关术语简介8

1.5.1　数据仓库与商业智能8

1.5.2 ETL系统9

1.5.3　业务过程维度模型9

1.5.4　商业智能应用程序10

1.6 小结11

第2章　项目／项目群的启动与管理13

2.1 确定项目14

2.1.1　评估DW/BI项目的准备就绪情况14

2.1.2　弥补不足并确定下步工作15

2.1.3　确定初步范围和章程18

2.1.4　建立商业报告和合理性证明22

2.2　项目规划26

2.2.1　确立项目标识26

2.2.2　项目人员配备26

2.2.3　制定项目计划32

2.2.4　制定沟通计划35

2.3 项目管理37

2.3.1 召开项目团队启动会议38

2.3.2　监控项目状态39

2.3.3　维护项目计划40

2.3.4　整理项目文档40

2.3.5　范围管理40

2.3.6　期望管理42

2.3.7　辨识项目陷入困境的征兆42

2.4　项目群管理43

2.4.1　确立管理职责和管理过程43

2.4.2　将数据管理员的地位提升到企业层44

2.4.3　利用高效的方法和架构最优方法45

2.4.4　进行定期评估45

2.4.5　沟通，沟通，沟通46

2.5 小结46

2.6　管理工作和降低风险46

2.7　质量保证46

2.8　关键角色47

2.9　关键提交内容47

2.10　作量估计47

2.11 站资源48

2.12　任务列表48

第3章　收集业务需求51

3.1　需求定义的各种方法53

3.1.1　个别访谈VS集体促谈会53

3.1.2　收集业务需求应避免使用的方法54

3.2　访谈准备55

3.2.1　确定访谈小组55

3.2.2　研究业务机构56

3.2.3　选择受访者57

3.2.4　设计访谈问卷58

3.2.5　确定访谈时间表60

3.2.6　通知受访者做好准备61

3.2.7　访谈中的基本规则综述63

3.3 进行访谈65

3.3.1　项目群层面的业务访谈66

3.3.2　项目群层面上的IT访谈67

3.3.3　项目群合规性／安全性访谈67

3.4　总结访谈67

3.4.1　确定项目群成功的标准67

3.4.2　致谢并告辞68

3.5　审查访谈结果69

3.6　准备和发布项目群需求文档70

3.6.1　访谈书面说明70

3.6.2　项目群需求调查结果文档71

3.7　区分业务优先次序和商定下步工作73

3.7.1 以优先级的审查和确定结束会议73

3.7.2　结束本轮访谈74

3.8　项目层需求的调整75

3.8.1　走近项目层75

3.8.2　为项目需求访谈做准备76

3.8.3　进行访谈77

3.8.4　深入调查数据79

3.8.5　审查访谈结果79

3.8.6　准备和发布项目提交材料80

3.8.7　协商下一步工作并结束本轮访谈80

3.9　应对富有挑战性的受访者80

3.9.1 受过打击的用户81

3.9.2　超负荷的用户／替换用户81

3.9.3 昏昏欲睡的用户81

3.9.4　过分热心的用户81

3.9.5 自以为无所不知的用户82

3.9.6　一窍不通的用户82

3.9.7　用户的缺位82

3.10 小结82

3.11　管理工作和降低风险83

3.12　保证质量83

3.13 关键角色83

3.14　关键提交内容84

3.15　工作量估计84

3.16　网站资源84

3.17　任务列表85

第4章　技术架构介绍87

4.1　架构的价值88

4.2　技术架构综述89

4.2.1　从源系统到用户桌面的流程91

4.2.2　常见架构特征91

4.2.3 DW/BI架构评估94

4.3　后台架构94

4.3.1 ETL一般性需求95

4.3.2　创建与购买95

4.3.3 后台ETL流程95

4.3.4　源系统97

4.3.5 抽取100

4.3.6　清洗和一致化100

4.3.7　提交101

4.3.8 ETL管理服务101

4.3.9　其他后台服务和趋势102

4.3.10 ETL数据存储102

4.3.11 ETL元数据103

4.3.12　后台总结104

4.4　呈现服务器架构105

4.4.1　信息方面的业务需求105

4.4.2　细节原子数据106

4.4.3 聚集106

4.4.4　呈现服务器设计规定108

4.4.5　调整呈现服务器架构109

4.4.6　机构考虑事项109

4.4.7　呈现服务器元数据110

4.4.8　呈现服务器总结110

4.5　前台架构111

4.5.1 BI应用程序类型112

4.5.2 BI管理服务112

4.5.3 BI数据存储118

4.5.4　桌面工具架构方法120

4.5.5 BI元数据120

4.5.6　前台总结121

4.6　底层设施121

4.6.1　底层设施驱动因素122

4.6.2　后台和呈现服务器底层设施因素122

4.6.3　并行处理硬件架构124

4.6.4　硬件性能推进器127

4.6.5　数据库平台因素128

4.6.6　前台底层设施要素130

4.6.7　底层设施总结132

4.8　元数据132

4.8.1　元数据集成的价值132

4.8.2　元数据集成的供选方案133

4.8.3　元数据总结134

4.9　安全性134

4.9.1　安全方面的弱点135

4.9.2　安全性总结137

4.10 小结137

第5章　创建架构计划和选择产品139

5.1 创建架构139

5.1.1　架构开发过程140

5.1.2　设计应用程序架构计划142

5.2　选择产品149

5.2.1　保留一个业务关注点149

5.2.2　主要DW/BI评估领域149

5.2.3　评估供选方案并挑选产品150

5.2.4　后台和呈现服务器方面的考虑事项158

5.2.5　前台考虑事项160

5.2.6　管理元数据161

5.2.7　任命元数据管理员162

5.2.8　创建元数据策略162

5.3　保护系统安全163

5.3.1　保护硬件和操作系统的安全164

5.3.2　保护开发环境的安全164

5.3.3　保护网络安全165

5.3.4　用户验证167

5.3.5　数据保护168

5.3.6　监视使用情况和保证合规性171

5.3.7　备份和恢复计划171

5.3.8　创建底层设施图172

5.4　安装硬件和软件174

5.5 小结175

5.6　管理工作和降低风险175

5.7　质量保证176

5.8　关键角色176

5.9　关键提交内容177

5.10　工作量估计177

5.10.1　创建架构计划177

5.10.2　选择产品177

5.10.3　元数据177

5.10.4　安全性178

5.11 网站资源178

5.12　任务列表178

第6章　维度建模介绍183

6.1　使用维度建模的场合184

6.1.1　什么是维度建模184

6.1.2　怎样进行规范化建模？185

6.1.3　维度建模的好处186

6.2　维度建模入门187

6.2.1 事实表187

6.2.2　维度表189

6.2.3　四步维度设计过程193

6.3 企业数据仓库总线架构194

6.3.1 规划危机194

6.3.2　总线架构195

6.3.3　价值链的意义196

6.3.4　通用矩阵的常见问题197

6.3.5　坚持使用一致性维度198

6.4　对维度的深入讨论198

6.4.1 日期和时间199

6.4.2　退化维201

6.4.3　缓慢变化维202

6.4.4　角色扮演维205

6.4.5　杂项维206

6.4.6　雪花型和支架208

6.4.7　处理层次结构211

6.4.8　使用桥接表的多值维212

6.5　更多关于事实的讨论214

6.5.1　三个基本粒度215

6.5.2　不同粒度的事实及其分配217

6.5.3　多种货币和度量单位219

6.5.4　无事实的事实表221

6.5.5　合并事实表221

6.6　有关维度建模的错觉和误区222

6.6.1 将关注点集中在部门报表上导致的错误观点222

6.6.2　提前汇总导致的错误观点223

6.6.3　过于重视规范化导致的错误观点224

6.7 小结225

第7章　维度模型设计227

7.1　建模过程综述227

7.2　组建团队229

7.2.1　确定参加设计的人员229

7.2.2　回顾需求231

7.2.3　使用建模工具231

7.2.4　确立命名约定233

7.2.5　为源数据调查和数据探查做准备234

7.2.6　获取场所和用品234

7.3　再论四步建模过程234

7.3.1　第1步：选择业务过程235

7.3.2　第2步：声明粒度235

7.3.3　第3步：识别维度236

7.3.4　第4步：识别事实237

7.4　设计维度模型237

7.4.1 建立高层维度模型238

7.4.2　开发详细的维度模型240

7.4.3　审查和验证模型250

7.4.4　设计文档定稿251

7.5　拥抱数据管理252

7.6 小结253

7.7　管理工作和降低风险253

7.8　保证质量254

7.9　关键角色254

7.10　关键提交内容254

7.11　工作量估计255

7.12　网站资源255

7.13　任务列表255

第8章 物理数据库设计与性能规划257

8.1 制定标准258

8.1.1　遵守命名约定259

8.1.2　为空还是不为空259

8.1.3　设置登台表259

8.1.4　制定文件位置标准260

8.1.5　对用户访问的表使用代用名或者视图260

8.1.6　主键261

8.1.7　外键262

8.2　设计物理数据模型263

8.2.1　设计物理数据结构263

8.2.2　确定源到目标的映射264

8.2.3　星型VS雪花型265

8.2.4　使用数据建模工具266

8.2.5　进行初步的规模估计267

8.3　创建开发数据库268

8.4　设计处理数据存储269

8.5　设计初始索引方案270

8.5.1　索引和查询策略综述270

8.5.2　为维度表建立索引272

8.5.3　为事实表建立索引272

8.5.4　为装载数据（loads）建立索引273

8.5.5 为OLAP建立索引273

8.5.6　在装载之后分析表和索引273

8.6 设计OLAP数据库274

8.6.1 OLAP数据粒度和深入钻取274

8.6.2　完善OLAP维度274

8.6.3 定义OLAP计算275

8.7　建立测试数据库276

8.8　设计聚集276

8.8.1　确定如何聚集276

8.8.2　确定聚集的内容277

8.8.3　维护聚集278

8.8.4　完成索引279

8.9　设计和构建数据库实例279

8.9.1 内存280

8.9.2　块大小280

8.9.3　保存数据库构建脚本和参数文件280

8.10　设计物理存储结构281

8.10.1　计算表和索引的大小281

8.10.2　设计分区方案281

8.10.3　设置存储282

8.11 小结284

8.12　管理工作和降低风险284

8.13　保证质量285

8.14　关键角色285

8.15　关键提交内容285

8.16　工作量估计285

8.17　网站资源286

8.18　任务列表286

第9　章抽取、转换和装载介绍289

9.1 归拢需求290

9.1.1　业务需求290

9.1.2　合规性290

9.1.3　数据质量291

9.1.4　安全性291

9.1.5　数据集成291

9.1.6　数据等待时间292

9.1.7　存档和沿袭292

9.1.8　用户提交界面292

9.1.9　可用的技能292

9.1.10　遗留许可证293

9.2 ETL系统的34个子系统293

9.3　抽取数据293

9.3.1　子系统1——数据探查294

9.3.2　子系统2——变化数据捕捉系统294

9.3.3　子系统3——抽取系统296

9.4　数据的清洗和一致化297

9.4.1 改进数据质量文化和过程297

9.4.2　子系统4——数据清洗系统298

9.4.3　子系统5——错误事件模式299

9.4.4　子系统6——审计维装配器300

9.4.5　子系统7——重复数据删除系统301

9.4.6　子系统8——一致化系统302

9.5 向呈现层交付数据303

9.5.1　子系统9——缓慢变化维管理器303

9.5.2 子系统10——代理键生成器306

9.5.3　子系统11——层次管理器306

9.5.4　子系统12——专用维度管理器307

9.5.5　子系统13——事实表构建器308

9.5.6　子系统14——代理键管道310

9.5.7　子系统15——多值维度桥接表构建器311

9.5.8　子系统16——延迟到达数据处理器312

9.5.9　子系统17——维度管理系统312

9.5.10　子系统18——事实提供系统313

9.5.11 子系统19——聚集构建器313

9.5.12　子系统20——OLAP多维数据集构建器314

9.5.13　子系统21——数据传播管理器314

9.6 管理ETL环境315

9.6.1　子系统22——作业调度器315

9.6.2　子系统23——备份系统316

9.6.3　子系统24——恢复和重启系统317

9.6.4　子系统25——版本控制系统318

9.6.5　子系统26——版本迁移系统318

9.6.6　子系统27——工作流监视器319

9.6.7　子系统28——排序系统320

9.6.8　子系统29——沿袭和依赖分析器320

9.6.9　子系统30——问题自动调整系统321

9.6.10　子系统31——并行／管道系统321

9.6.11　子系统32——安全系统322

9.6.12　子系统33——合规性管理器322

9.6.13　子系统34——元数据知识库管理器323

9.7　实时的意义323

9.7.1　实时的分类323

9.7.2　实时的权衡325

9.7.3　呈现服务器上的实时分区326

9.8 小结327

第10章　设计和开发ETL系统329

10.1 ETL过程综述329

10.2 启动330

10.3 设计ETL计划331

10.3.1　步骤1——制订高层计划331

10.3.2　步骤2——选择ETL工具332

10.3.3　步骤3——制定默认策略333

10.3.4　步骤4——由目标表向下钻取334

10.3.5　设计ETL说明文档336

10.3.6　开发沙盒源系统337

10.4　设计一次性的历史装载处理338

10.4.1　步骤5——使用历史数据填充维度表339

10.4.2　步骤6——执行事实表历史装载346

10.5 设计增量ETL处理过程352

10.5.1　步骤7——维度表增量处理352

10.5.2　步骤8——事实表增量处理355

10.5.3 步骤9——聚集表和OLAP装载359

10.5.4 步骤10——ETL系统操作和自动化360

10.6 小结362

10.7　管理工作和降低风险362

10.8　保证质量363

10.9　关键角色363

10.10　关键交付内容363

10.11　工作量估计363

10.12　网站资源364

10.13　任务列表364

第11章　商务智能应用程序介绍367

11.1　商业智能应用程序的重要性367

11.2　商业智能分析周期369

11.2.1　第一阶段：监视活动370

11.2.2　第二阶段：识别异常370

11.2.3 第三阶段：确定构成原因的因素370

11.2.4　第四阶段：模型供选方案371

11.2.5　第五阶段：采取行动并跟踪结果371

11.2.6　分析周期的更多意义371

11.3　商业智能应用程序的类型372

11.3.1　直接访问查询和报表工具372

11.3.2　标准报表377

11.3.3 分析性应用程序378

11.3.4　仪表板和记分卡379

11.3.5　运营商业智能381

11.3.6　数据挖掘382

11.4　通过BI门户导航应用程序385

11.4.1　考虑密度387

11.4.2　基于业务过程的导航结构387

11.4.3 附加门户功能388

11.4.4　应用程序界面供选方案389

11.5 小结389

第12章　设计和开发商务智能应用程序391

12.1 商业智能应用程序资源规划392

12.1.1 BI应用程序开发人员的角色392

12.1.2　谁来完成商业智能工作392

12.1.3　生命周期时间安排392

12.2 BI应用程序规范393

12.2.1　创建应用程序标准和模板393

12.2.2　确定初始应用程序集396

12.2.3　制定详细的应用程序规范398

12.2.4　设计导航框架和门户401

12.2.5　审查以及确认应用程序和模型402

12.2.6　与业务人士一同审查403

12.3 BI应用程序开发403

12.3.1　准备应用程序开发403

12.3.2　构建应用程序405

12.3.3　应用程序和数据的测试和验证411

12.3.4　完成文档412

12.3.5　部署计划412

12.4 BI应用程序维护412

12.5 小结413

12.6　管理工作并降低风险413

12.7　保证质量413

12.8　关键角色414

12.9　关键提交内容414

12.10　工作量估计414

12.10.1 BI应用程序规范415

12.10.2　开发415

12.11 网站资源415

12.12　任务列表415

第13章　DW/BI系统的部署和支持419

13.1 系统部署420

13.1.1　部署前测试420

13.1.2　部署428

13.2　文档和培训431

13.2.1　核心文档431

13.2.2　补充文档432

13.2.3　用户培训433

13.3　维护与支持435

13.3.1　管理前台436

13.3.2　管理后台439

13.4　小结443

13.5　管理工作和降低风险443

13.6　质量保证444

13.7　关键角色444

13.8　关键提交内容444

13.9　工作量估计444

13.10　任务列表445

第14章　扩展DW/BI系统449

14.1　对已有环境的管理449

14.1.1　赢得业务用户450

14.1.2 向上管理450

14.1.3　度量并推销您的成功451

14.1.4　经常进行沟通453

14.2　为增长与演化作准备454

14.2.1　评估当前环境454

14.2.2　优化增长时机455

14.2.3　管理迭代增长456

14.3 小结457

14.4　管理工作和降低风险457

14.5　保证质量458

14.6　关键角色458

14.7　关键提交内容458

14.8 工作量估计458

术语表459