第1篇 大数据技术原理与应用
第1章 大数据的来源、采集与基本概念 2
1.1 大数据的来源与发展 2
1.2 何为大数据 4
1.3 大数据的特点 9
1.4 大数据的分类和采集方法 12
1.5 大数据的基本概念 14
第2章 大数据处理构架Hadoop 19
2.1 Hadoop概述 19
2.2 数据仓库工具Hive 22
2.3 大数据仓库HBase 26
2.4 编程语言Pig 31
2.5 协管员ZooKeeper 34
2.6 Hadoop资源管理与调度 39
第3章 Hadoop分布式文件系统HDFS 43
3.1 HDFS的由来 43
3.2 HDFS的设计思想 45
3.3 HDFS的主要特性 47
3.4 HDFS的架构 49
3.5 HDFS的主要流程 53
3.6 HDFS异构存储 58
3.7 HDFS擦除码技术 59
第4章 MapReduce与Spark 62
4.1 MapReduce的设计思想 62
4.2 MapReduce的组成 65
4.3 MapReduce的工作流程 67
4.4 MapReduce的计算过程详解 73
4.5 MapReduce的使用案例 77
4.6 任务网络的通信开销 79
4.7 Spark概述 80
4.8 RDD概述 84
第5章 NoSQL数据库、分布式数据库HBase、云数据库 88
5.1 数据库 88
5.2 非关系型数据库(NoSQL) 89
5.3 NoSQL数据库的体系框架 92
5.4 NoSQL数据库的分类 93
5.5 分布式数据库HBase 97
5.6 HBase具体介绍 100
5.7 云数据库及其产品 103
第6章 大数据的应用与展望 109
6.1 大数据的应用方向 109
6.2 大数据的成功应用 110
6.3 大数据分析技术的应用 114
6.4 大数据挖掘技术的应用实例 115
6.5 大数据的展望 117
第2篇 人工智能基础与应用
第7章 人工智能的基本概念 120
7.1 什么是人工智能 120
7.2 人工智能的历史 123
7.3 图灵测试 125
7.4 中文屋理论 126
7.5 人工智能的未来 128
第8章 特征提取 134
8.1 特征提取基础 134
8.2 数学方法入门 137
8.3 特征选择方法的开放性问题 141
8.4 图像特征 145
第9章 机器学习 165
9.1 机器学习的基本概念 165
9.2 强化学习 170
9.3 推荐系统 171
9.4 神经网络 172
9.5 深度学习 175
第10章 自然语言理解 186
10.1 概述 186
10.2 语言认知模型 188
10.3 自然语言理解模型 190
10.4 语言及汉语的特点 191
10.5 思维及思维规律的特点 193
10.6 什么是自然语言理解 199
10.7 计算机识字和理解 202
第11章 人工智能方法在目标检测中的应用 209
11.1 智能视频监控系统 209
11.2 人脸识别系统 223
第3篇 大数据与人工智能的综合应用
第12章 云计算、大数据与人工智能 239
12.1 云计算的概念 239
12.2 云计算、物联网、大数据与人工智能的融合 240
第13章 基于大数据的人工智能应用 242
13.1 自动编码器 242
13.2 如何从全国天气推测局部地区天气 243
13.3 手写文字中的“信息量” 244
13.4 多层架构深层挖掘 245
13.5 Google的猫脸识别 247
13.6 飞速发展的关键——鲁棒性 248
13.7 有趣的对抗生成网络 250
13.8 大数据与人工智能的融合带给生活的改变 252
13.9 发展趋势 254
第14章 基于大数据的智能交通系统 256
14.1 智能交通系统的概念及发展历程 256
14.2 大数据与交通系统的结合 257
14.3 大数据技术在智能交通中的科学使用 257
第15章 大数据背景下机器学习算法实验 259
15.1 距离的度量方法 259
15.2 机器学习算法之聚类、回归、分类 260
15.3 机器学习算法之决策树 274
15.4 实践AI和机器学习示例 278
参考文献 282