新書推薦：
《
文化遗产管理规划：场所及其意义
》
售價：HK$
101.2
《
最后的奈良（一部日本土葬风俗消亡史，堪称日本土葬资源抢救工程的“世纪奇书”）
》
售價：HK$
98.9
《
古籍目录版本校勘文选（平装）
》
售價：HK$
89.7
《
巴比伦怪物：魏玛共和国犯罪鉴证实录（“火与风”丛书）
》
售價：HK$
101.2
《
启功谈国画（启功著，中华书局出版）
》
售價：HK$
64.4
《
中国书法的历程
》
售價：HK$
89.7
《
汉语修辞学（第四版）（中华当代学术著作辑要）
》
售價：HK$
158.7
《
中国近代画报大系·中国近代画报史稿
》
售價：HK$
181.7
|
| 編輯推薦： |
本书篇幅不长，内容易懂，有利于快速入门。
兼顾原理讲解和具体操作，实践性强，使读者兴趣盎然，更有成就感。
利用虚拟化技术，无须搭建物理集群，在一台计算机上完成分布式部署，万事不求人，玩转Hadoop和Spark。
|
| 內容簡介： |
|
本书为一本大数据技术的入门书籍，介绍Hadoop大数据平台和Spark大数据平台及相关工具的原理，以及如何进行部署和简单开发。 全书包含13章: 第1、2章介绍如何为深入学习Hadoop和Spark做环境准备，包括VMware虚拟机的创建和CentOS操作系统安装。第3～6章介绍Hadoop大数据平台的基本原理，包括HDFS、MapReduce计算模型、HBase数据库，以及Hive数据仓库的原理、部署方法和开发技术。第7～11章介绍Spark大数据平台的基本原理，包括弹性分布式数据集、转换与动作操作、宽依赖与窄依赖、有向无环图表达的作业及其处理过程等，并且介绍了Spark Core、Spark SQL、Spark MLlib、Spark GraphX的部署和开发技术。最后两章介绍了Flume（第12章）和Kafka（第13章）两个工具，Flume用于大量日志的收集和处理，Kafka用于对大量快速到达的数据进行及时、可靠、暂时的存储。 本书适合高等院校高年级本科生以及硕士研究生使用，也可以供非计算机专业学生及相关领域技术人员参考。
|
| 目錄：
|
第1章VMware与虚拟机1
1.1VMware简介1
1.2VMware的安装2
1.3VMware的网络配置2
1.3.1VMnet0网卡配置2
1.3.2VMnet1网卡配置3
1.3.3VMnet8网卡配置3
1.4Windows环境下对VMnet8的DNS进行配置6
1.5利用管理员权限编辑网卡7
1.6总结7
1.7思考题8
参考文献8
第2章CentOS操作系统安装9
2.1新建VMware虚拟机9
2.2安装CentOS14
2.3配置Yum18
2.4为CentOS安装图形用户界面20
2.5CentOS的网络配置20
2.5.1虚拟机的网络配置20
2.5.2在CentOS操作系统里对网卡进行设置21
2.6Samba配置23
2.7配置SSHD26
2.8重新启动虚拟机需要执行的命令27
2.9思考题28
第3章Hadoop入门29
3.1Hadoop简介29
3.2HDFS30
3.2.1写文件31
3.2.2读文件32
3.2.3Secondary NameNode介绍33
3.3MapReduce工作原理34
3.3.1MapReduce执行引擎35
3.3.2MapReduce计算模型37
3.3.3Hadoop 1.0的应用38
3.4Hadoop生态系统38
3.5Hadoop 2.040
3.5.1Hadoop 1.0的优势和局限40
3.5.2从Hadoop 1.0到Hadoop 2.041
3.5.3YARN原理41
3.5.4YARN的优势43
3.6思考题44
〖3〗Hadoop与Spark入门目录〖3〗第4章Hadoop安装与HDFS、MapReduce实验45
4.1安装JDK45
4.2新建虚拟机集群47
4.2.1网络配置小结47
4.2.2配置各个虚拟机别名48
4.2.3配置各个虚拟机的/etc/hosts文件48
4.3无密码SSH登录49
4.4Hadoop安装、配置和启动52
4.4.1coresite.xml配置文件54
4.4.2hdfssite.xml配置文件54
4.4.3mapredsite.xml配置文件55
4.4.4yarnsite.xml配置文件56
4.4.5配置hadoopenv.sh脚本文件59
4.4.6配置yarnenv.sh脚本文件59
4.4.7主机配置59
4.5格式化HDFS60
4.6启动Hadoop60
4.7报告HDFS的基本信息62
4.8使用日志62
4.9Hadoop管理界面63
4.10Hadoop测试63
4.10.1HDFS常用文件操作命令63
4.10.2测试WordCount程序64
4.11配置History Server64
4.12若干问题解决65
4.13HDFS Java程序分析69
4.14WordCount程序代码简单分析73
4.15MapReduce Sort76
4.16MapReduce Java开发环境配置76
4.17思考题79
参考文献80
第5章HBase简介、部署与开发81
5.1HBase简介81
5.2HBase访问接口81
5.3HBase的数据模型82
5.4HBase系统架构83
5.5HBase存储格式85
5.6在HBase系统上运行MapReduce87
5.7HBase安装、配置与运行87
5.8启动HBase并且测试90
5.9使用HBase Shell92
5.10HBase Java实例分析93
5.11若干问题解决97
5.12思考题99
参考文献99
第6章Hive数据仓库100
6.1Hive简介100
6.2Hive数据模型102
6.3Hive安装、配置和运行103
6.3.1使用MySQL进行元信息管理104
6.3.2安装和配置Hive105
6.3.3启动Hive108
6.4若干问题解决110
6.5hiveserver2与beeline112
6.6Hive安装问题115
6.7HWI服务115
6.8Metastore服务116
6.9Hive的Java开发116
6.10Tez简介119
6.10.1Hadoop 2.0上的交互式查询引擎Hive on Tez119
6.10.2把数据处理逻辑建模成一个DAG连接起来的任务121
6.11Hadoop平台上的列存储技术121
6.11.1列存储的优势121
6.11.2Parquet列存储格式121
6.12思考题126
参考文献126
第7章Spark及其生态系统127
7.1Spark简介127
7.1.1Spark软件架构127
7.1.2Spark的主要优势128
7.2Hadoop的局限和Spark的诞生129
7.3Spark的特性130
7.4Spark生态系统131
7.5RDD及其处理132
7.5.1DAG、宽依赖与窄依赖133
7.5.2DAG的调度执行134
7.6Spark的部署135
7.7Spark SQL136
7.8Spark的应用案例137
7.9总结138
7.10思考题138
参考文献138
第8章Spark的安装、部署与运行139
8.1Spark的安装、配置与运行139
8.2启动Spark142
8.2.1启动sparksql shell运行SQL144
8.2.2启动pyspark shell运行SQL144
8.2.3用pyspark shell进行数据处理145
8.2.4启动scala shell运行WordCount145
8.2.5启动scala shell运行SQL(本地文件)146
8.2.6启动scala shell运行SQL(HDFS文件)147
8.2.7配置和启动Thrift Server147
8.2.8错误分析150
8.3在Windows上用Eclipse调试Spark Java程序151
8.4在Windows上安装Maven和配置Eclipse157
8.5思考题160
参考文献160
第9章Spark SQL162
9.1Spark SQL简介162
9.2查询本地文件、HDFS文件以及HDFS Parquet列存储格式文件163
9.3内置实例分析与Java开发166
9.3.1通过SQL Explorer插件存取Spark SQL166
9.3.2JDBC Java编程167
9.4思考题170
参考文献170
第10章Spark MLlib171
10.1MLlib简介171
10.2启动平台软件172
10.3分类实例173
10.4聚类实例178
10.5线性回归180
10.6协同过滤推荐181
10.7思考题184
参考文献185
第11章Spark GraphX186
11.1GraphX简介186
11.2PageRank188
11.3思考题190
参考文献190
第12章Flume入门191
12.1Flume简介191
12.2Flume的特性192
12.3Flume的系统架构和运行机制192
12.4Flume的安装、配置和运行195
12.5使用netcat完成数据注入的实例197
12.6以HBase为目标数据库的实例198
12.7以Hive为目标数据库的实例200
12.8Java开发204
12.9如何安装netcat204
12.10思考题204
参考文献204
第13章Kafka入门206
13.1Kafka简介206
13.1.1话题和分区207
13.1.2数据分布与存储208
13.1.3代理209
13.1.4生产者209
13.1.5消费者209
13.1.6消息的顺序210
13.1.7Kafka的应用场景211
13.1.8小结213
13.2Zookeeper与Kafka213
13.3Kafka的流数据处理组件Kafka Streams214
13.4Kafka在系统中的位置214
13.5Kafka的安装、配置和运行215
13.5.1单Broker部署215
13.5.2多Broker部署217
13.5.3测试容错性219
13.6安装问题220
13.7Kafka的Java编程220
13.8Kafka的综合实例227
13.9Kafka与Flume的配合228
13.10流处理与批处理的结合231
13.11思考题232
参考文献232
|
| 內容試閱：
|
Hadoop和Spark是两大大数据处理平台，各自形成了完整的生态系统。在相当长的时间内，二者相互共存。
本书是一本Hadoop和Spark的入门介绍书籍。
针对Hadoop和Spark两个生态系统的主要工具，本书首先介绍其基本原理，然后给出安装部署的详细过程，并且通过对内置实例的分析，帮助读者掌握初步的大数据平台的编程技巧。
本书的读者为高等院校高年级本科生、硕士研究生和IT从业者，他们急需一本简洁的手册，帮助他们迅速入门Hadoop和Spark。
本书包括13章: 第1、2章介绍VMware与虚拟机、CentOS操作系统安装，第3～6章介绍Hadoop生态系统，第7～11章介绍Spark生态系统，第12、13章介绍两个工具Flume和Kafka。本书对Hadoop和Spark以及相关工具的原理、部署和开发做了详细介绍，使读者可以快速入门。
本书引导读者在3台VMware虚拟机上进行实验，虚拟机运行的操作系统是CentOS 7。一般在一台拥有8GB内存的i7笔记本计算机上就可以展开实验，不必依赖更多的硬件，也不用租用云平台上的虚拟机。
一生二，二生三，三生万物。在3台虚拟机上进行实验，有利于读者掌握大数据平台的分布式部署(本书不介绍伪分布式部署和单机部署模式)，以及把技能迁移到更大规模的集群上。
读者可以按照本书的各个章节，顺序地了解各个工具的基本原理、部署的方法，并且通过实例了解如何进行实际应用开发。
读者可以自行下载CentOS安装盘(ISO文件)以及相关软件包，一步步地建立实验环境，进行实验。
本书的编写因时间仓促，加之编者水平有限，书中难免有疏漏和不足之处，在此恳请专家和广大读者批评指正！
编者2022.9
|
|
購物車/收銀台(
0
) | 在線留言板
| 付款方式
| 運費計算
| 聯絡我們
| 幫助中心 |
加入書簽
HOME
新書上架
