论坛：
zookeeper : http://www.aboutyun.com/forum-149-1.html
hadoop : http://www.aboutyun.com/forum-143-1.html
http://www.aboutyun.com/forum-143-1.html
hive:http : //www.aboutyun.com/thread-7598-1-1.html
hbase : http://www.aboutyun.com/forum-142-1.html
spark : http://www.aboutyun.com/forum-146-1.html
文档：
spark : https://www.gitbook.com/book/aiyanbo/spark-programming-guide-zh-cn/details
scala : http://www.runoob.com/scala/scala-tutorial.html
hbase : http://abloz.com/hbase/book.html
http://hbase.apache.org/
hadoop : http://hadoop.apache.org/docs/r1.0.4/cn/
zookeeper : http://www.cnblogs.com/wuxl360/p/5817471.html
http://zookeeper.apache.org/
hadoop :http://hadoop.apache.org/
hive : https://hive.apache.org/
集群搭建文档1.0版本
1. 集群规划
所有需要用到的软件：
链接：http://pan.baidu.com/s/1jIlAz2Y
密码：kyxl
2. 前期准备
2.0 系统安装2.1 主机名配置 2.1.0 vi /etc/sysconfig/network NETWORKING=yes 2.1.1 vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=ys02 2.1.2 vi /etc/sysconfig/network NETWORKING=yes 2.1.3 vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=ys042.2 host文件修改 2.2.0 vi /etc/hosts 10.1.1.149 ys01 10.1.1.148 ys02 10.1.1.146 ys03 10.1.1.145 ys042.3 关闭防火墙(centos 7默认使用的是firewall，centos 6 默认是iptables) 2.3.0 systemctl stop firewalld.service （停止firewall） 2.3.1 systemctl disable firewalld.service （禁止firewall开机启动） 2.3.2 firewall-cmd --state （查看默认防火墙状态（关闭后显示notrunning，开启后显示running）2.4 免密登录(ys01 ->ys02,03,04) ssh-keygen -t rsa ssh-copy-id ys02(随后输入密码) ssh-copy-id ys03（随后输入密码） ssh-copy-id ys04（随后输入密码） ssh ys02(测试是否成功) ssh ys03(测试是否成功) ssh ys04(测试是否成功)2.5 系统时区与时间同步 tzselect（生成日期文件） cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime（将日期文件copy到本地时间中）
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
- 42
- 43
- 44
- 45
3. 软件安装
3.0 安装目录规划（软件为所有用户公用） 3.0.0所有软件的安装放到/usr/local/ys/soft目录下(mkdir /usr/local/ys/soft) 3.0.1所有软件安装到/usr/local/ys/app目录下(mkdir /usr/local/ys/app) 3.1 JDK（jdk1.7）安装 3.1.1 alt+p 后出现sftp窗口，cd /usr/local/ys/soft，使用sftp上传tar包到虚机ys01的/usr/local/ys/soft目录下 3.1.2解压jdk cd /usr/local/ys/soft #解压 tar -zxvf jdk-7u80-linux-x64.tar.gz -C /usr/local/ys/app 3.1.3将java添加到环境变量中 vim /etc/profile #在文件最后添加 export JAVA_HOME= /usr/local/ys/app/ jdk-7u80 export PATH=$PATH:$JAVA_HOME/bin 3.1.4 刷新配置 source /etc/profile3.2 Zookeeper安装 3.2.0解压 tar -zxvf zookeeper-3.4.5.tar.gz -C /usr/local/ys/app（解压） 3.2.1 重命名 mv zookeeper-3.4.5 zookeeper（重命名文件夹zookeeper-3.4.5为zookeeper） 3.2.2修改环境变量 vi /etc/profile(修改文件) 添加内容： export ZOOKEEPER_HOME=/usr/local/ys/app/zookeeper export PATH=$PATH:$ZOOKEEPER_HOME/bin 3.2.3 重新编译文件： source /etc/profile 注意：3台zookeeper都需要修改 3.2.4修改配置文件 cd zookeeper/conf cp zoo_sample.cfg zoo.cfg vi zoo.cfg 添加内容： dataDir=/usr/local/ys/app/zookeeper/data dataLogDir=/usr/local/ys/app/zookeeper/log server.1=ys01:2888:3888 (主机名, 心跳端口、数据端口) server.2=ys02:2888:3888 server.3=ys04:2888:3888 3.2.5 创建文件夹 cd /usr/local/ys/app/zookeeper/ mkdir -m 755 data mkdir -m 755 log 3.2.6 在data文件夹下新建myid文件，myid的文件内容为： cd data vi myid 添加内容： 1 将集群下发到其他机器上 scp -r /usr/local/ys/app/zookeeper ys02:/usr/local/ys/app/ scp -r /usr/local/ys/app/zookeeper ys04:/usr/local/ys/app/ 3.2.7修改其他机器的配置文件 到ys02上：修改myid为：2 到ys02上：修改myid为：3 3.2.8启动（每台机器） zkServer.sh start 查看集群状态 jps（查看进程） zkServer.sh status（查看集群状态，主从信息）3.3 Hadoop（HDFS+Yarn） 3.3.0 alt+p 后出现sftp窗口，使用sftp上传tar包到虚机ys01的/usr/local/ys/soft目录下 3.3.1 解压jdk cd /usr/local/ys/soft #解压 tar -zxvf cenos-7-hadoop-2.6.4.tar.gz -C /usr/local/ys/app 3.3.2 修改配置文件core-site.xml
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
- 42
- 43
- 44
- 45
- 46
- 47
- 48
- 49
- 50
- 51
- 52
- 53
- 54
- 55
- 56
- 57
- 58
- 59
- 60
- 61
- 62
- 63
- 64
- 65
- 66
- 67
- 68
- 69
- 70
- 71
- 72
- 73
- 74
- 75
- 76
- 77
- 78
- 79
- 80
- 81
- 82
- 83
- 84
- 85
- 86
- 87
- 88
- 89
- 90
hdfs-site.xml
yarn-sifite.xml
svalesys02ys03ys043.3.3集群启动（严格按照下面的步骤） 3.3.3.1启动zookeeper集群（分别在ys01、ys02、ys04上启动zk） cd /usr/local/ys/app/zookeeper-3.4.5/bin/ ./zkServer.sh start #查看状态：一个leader，两个follower ./zkServer.sh status 3.3.3.2启动journalnode（分别在在mini5、mini6、mini7上执行） cd /usr/local/ys/app/hadoop-2.6.4 sbin/hadoop-daemon.sh start journalnode #运行jps命令检验，ys02、ys03、ys04上多了JournalNode进程 3.3.3.3格式化HDFS #在ys01上执行命令: hdfs namenode -format #格式化后会在根据core-site.xml中的hadoop.tmp.dir配置生成个文件，这里我配置的是/usr/local/ys/app/hadoop-2.6.4/tmp，然后将/usr/local/ys/app/hadoop-2.6.4/tmp拷贝到ys02的/usr/local/ys/app/hadoop-2.6.4/下。 scp -r tmp/ ys02:/usr/local/ys /app/hadoop-2.6.4/ ##也可以这样，建议hdfs namenode -bootstrapStandby 3.3.3.4格式化ZKFC(在ys01上执行一次即可) hdfs zkfc -formatZK 3.3.3.5启动HDFS(在ys01上执行) sbin/start-dfs.sh 3.3.3.6启动YARN sbin/start-yarn.sh3.3MySQL-5.6安装 略过3.4 Hive 3.4.1 alt+p 后出现sftp窗口，cd /usr/local/ys/soft，使用sftp上传tar包到虚机ys01的/usr/local/ys/soft目录下 3.4.2解压 cd /usr/local/ys/softtar -zxvf hive-0.9.0.tar.gz -C /usr/local/ys/app 3.4.3 .配置hive 3.4.3.1配置HIVE_HOME环境变量 vi conf/hive-env.sh 配置其中的$hadoop_home 3.4.3.2配置元数据库信息 vi hive-site.xml
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
- 42
- 43
- 44
- 45
- 46
- 47
- 48
- 49
- 50
- 51
添加如下内容：
3.4.4 安装hive和mysq完成后，将mysql的连接jar包拷贝到$HIVE_HOME/lib目录下 如果出现没有权限的问题，在mysql授权(在安装mysql的机器上执行) mysql -uroot -p #(执行下面的语句 *.*:所有库下的所有表 %：任何IP地址或主机都可以连接) GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION; FLUSH PRIVILEGES; 3.4.5 Jline包版本不一致的问题，需要拷贝hive的lib目录中jline.2.12.jar的jar包替换掉hadoop中的 /usr/local/ys/app/hadoop-2.6.4/share/hadoop/yarn/lib/jline-0.9.94.jar 3.4.6启动hive bin/hive3.5 Kafka 3.5.1 下载安装包 http://kafka.apache.org/downloads.html 在linux中使用wget命令下载安装包 wget http://mirrors.hust.edu.cn/apache/kafka/0.8.2.2/kafka_2.11-0.8.2.2.tgz 3.5.2 解压安装包 tar -zxvf /usr/local/ys/soft/kafka_2.11-0.8.2.2.tgz -C /usr/local/ys/app/cd /usr/local/ys/app/ln -s kafka_2.11-0.8.2.2 kafka 3.5.3 修改配置文件 cp /usr/local/ys/app/kafka/config/server.properties /usr/local/ys/app/kafka/config/server.properties.bak vi /usr/local/ys/kafka/config/server.properties
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
输入以下内容：
3.5.4 分发安装包 scp -r /usr/local/ys/app/kafka_2.11-0.8.2.2 ys02: /usr/local/ys/app/ scp -r /usr/local/ys/app/kafka_2.11-0.8.2.2 ys03: /usr/local/ys/app/ scp -r /usr/local/ys/app/kafka_2.11-0.8.2.2 ys04: /usr/local/ys/app/ 然后分别在各机器上创建软连 cd /usr/local/ys/app/ ln -s kafka_2.11-0.8.2.2 kafka 3.5.5 再次修改配置文件（重要） 依次修改各服务器上配置文件的的broker.id，分别是0,1,2不得重复。 3.5.6 启动集群 依次在各节点上启动kafka bin/kafka-server-start.sh config/server.properties3.6 Spark 3.6.1 alt+p 后出现sftp窗口，cd /usr/local/ys/soft，使用sftp上传tar包到虚机ys01的/usr/local/ys/soft目录下 3.6.2 解压安装包tar -zxvf /usr/local/ys/soft/ spark-1.6.1-bin-hadoop2.6.tgz -C /usr/local/ys/app/ 3.6.3 修改Spark配置文件(两个配置文件spark-env.sh和slaves) cd /usr/local/ys/soft/spark-1.6.1-bin-hadoop2.6 进入conf目录并重命名并修改spark-env.sh.template文件 cd conf/ mv spark-env.sh.template spark-env.sh vi spark-env.sh 在该配置文件中添加如下配置 export JAVA_HOME=/usr/java/jdk1.7.0_45 export SPARK_MASTER_PORT=7077 export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=ys01,ys02,ys04 -Dspark.deploy.zookeeper.dir=/spark" 保存退出 重命名并修改slaves.template文件 mv slaves.template slaves vi slaves 在该文件中添加子节点所在的位置（Worker节点） Ys02 Ys03 Ys04 保存退出 3.6.4 将配置好的Spark拷贝到其他节点上 scp -r spark-1.6.1-in-hadoop2.6/ ys02:/usr/local/ys/app scp -r spark-1.6.1-bin-hadoop2.6/ ys03:/usr/local/ys/app scp -r spark-1.6.1-bin-hadoop2.6/ ys04:/usr/local/ys/app 3.6.5 集群启动 在ys01上执行sbin/start-all.sh脚本 然后在ys02上执行sbin/start-master.sh启动第二个Master3.7 Azkaban 3.7.1 azkaban web服务器安装 解压azkaban-web-server-2.5.0.tar.gz 命令: tar –zxvf /usr/local/ys/soft/azkaban-web-server-2.5.0.tar.gz -C /usr/local/ys/app/azkaban 将解压后的azkaban-web-server-2.5.0 移动到 azkaban目录中,并重新命名 webserver 命令: mv azkaban-web-server-2.5.0 ../azkaban cd ../azkaban mv azkaban-web-server-2.5.0 webserver 3.7.2 azkaban 执行服器安装 解压azkaban-executor-server-2.5.0.tar.gz 命令:tar –zxvf /usr/local/ys/soft/azkaban-executor-server-2.5.0.tar.gz -C /usr/local/ys/app/azkaban 将解压后的azkaban-executor-server-2.5.0 移动到 azkaban目录中,并重新命名 executor 命令:mv azkaban-executor-server-2.5.0 ../azkaban cd ../azkaban mv azkaban-executor-server-2.5.0 executor 3.7.3 azkaban脚本导入 解压: azkaban-sql-script-2.5.0.tar.gz 命令:tar –zxvf azkaban-sql-script-2.5.0.tar.gz 将解压后的mysql 脚本,导入到mysql中: 进入mysql mysql> create database azkaban; mysql> use azkaban; Database changed mysql> source /usr/local/ys/soft/azkaban-2.5.0/create-all-sql-2.5.0.sql; 3.7.4 创建SSL配置 参考地址: http://docs.codehaus.org/display/JETTY/How+to+configure+SSL 命令: keytool -keystore keystore -alias jetty -genkey -keyalg RSA 运行此命令后,会提示输入当前生成 keystor的密码及相应信息,输入的密码请劳记,信息如下(此处我输入的密码为：123456) 输入keystore密码： 再次输入新密码: 您的名字与姓氏是什么？ [Unknown]： 您的组织单位名称是什么？ [Unknown]： 您的组织名称是什么？ [Unknown]： 您所在的城市或区域名称是什么？ [Unknown]： 您所在的州或省份名称是什么？ [Unknown]： 该单位的两字母国家代码是什么 [Unknown]： CN CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=CN 正确吗？ [否]： y输入<jetty>的主密码（如果和 keystore 密码相同，按回车）： 再次输入新密码完成上述工作后,将在当前目录生成 keystore 证书文件,将keystore 考贝到 azkaban web服务器根目录中.如:cp keystore azkaban/webserver 3.7.5 配置文件 注：先配置好服务器节点上的时区 先生成时区配置文件Asia/Shanghai，用交互式命令 tzselect 即可 拷贝该时区文件，覆盖系统本地时区配置 cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime 3.7.6 azkaban web服务器配置 进入azkaban web服务器安装目录 conf目录 修改azkaban.properties文件 命令vi azkaban.properties
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
- 42
- 43
- 44
- 45
- 46
- 47
- 48
- 49
- 50
- 51
- 52
- 53
- 54
- 55
- 56
- 57
- 58
- 59
- 60
- 61
- 62
- 63
- 64
- 65
- 66
- 67
- 68
- 69
- 70
- 71
- 72
- 73
- 74
- 75
- 76
- 77
- 78
- 79
- 80
- 81
- 82
- 83
- 84
- 85
- 86
- 87
- 88
- 89
- 90
- 91
- 92
- 93
- 94
- 95
- 96
- 97
- 98
- 99
- 100
- 101
- 102
- 103
- 104
- 105
- 106
- 107
- 108
- 109
- 110
- 111
- 112
- 113
- 114
内容说明如下：
*Azkaban Personalization Settingsazkaban.name=Test #服务器UI名称,用于服务器上方显示的名字azkaban.label=My Local Azkaban #描述azkaban.color=#FF3601 #UI颜色azkaban.default.servlet.path=/index #web.resource.dir=web/ #默认根web目录default.timezone.id=Asia/Shanghai #默认时区,已改为亚洲/上海 默认为美国*Azkaban UserManager classuser.manager.class=azkaban.user.XmlUserManager #用户权限管理默认类user.manager.xml.file=conf/azkaban-users.xml #用户配置,具体配置参加下文*Loader for projectsexecutor.global.properties=conf/global.properties # global配置文件所在位置azkaban.project.dir=projects #database.type=mysql #数据库类型mysql.port=3306 #端口号mysql.host=localhost #数据库连接IPmysql.database=azkaban #数据库实例名mysql.user=root #数据库用户名mysql.password=Root123456 #数据库密码mysql.numconnections=100 #最大连接数* Velocity dev modevelocity.dev.mode=false* Jetty服务器属性.jetty.maxThreads=25 #最大线程数jetty.ssl.port=8443 #Jetty SSL端口jetty.port=8081 #Jetty端口jetty.keystore=keystore #SSL文件名jetty.password=123456 #SSL文件密码jetty.keypassword=123456 #Jetty主密码 与 keystore文件相同jetty.truststore=keystore #SSL文件名jetty.trustpassword=123456 # SSL文件密码* 执行服务器属性executor.port=12321 #执行服务器端*邮件设置mail.sender=xxxxxxxx@163.com #发送邮箱mail.host=smtp.163.com #发送邮箱smtp地址mail.user=xxxxxxxx #发送邮件时显示的名称mail.password=********** #邮箱密码job.failure.email=xxxxxxxx@163.com #任务失败时发送邮件的地址job.success.email=xxxxxxxx@163.com #任务成功时发送邮件的地址lockdown.create.projects=false #cache.directory=cache #缓存目录 3.7.7azkaban 执行服务器executor配置 进入执行服务器安装目录conf,修改azkaban.properties vi azkaban.properties*Azkabandefault.timezone.id=Asia/Shanghai #时区* Azkaban JobTypes 插件配置azkaban.jobtype.plugin.dir=plugins/jobtypes #jobtype 插件所在位置*Loader for projectsexecutor.global.properties=conf/global.propertiesazkaban.project.dir=projects*数据库设置database.type=mysql #数据库类型(目前只支持mysql)mysql.port=3306 #数据库端口号mysql.host=192.168.20.200 #数据库IP地址mysql.database=azkaban #数据库实例名mysql.user=root #数据库用户名mysql.password=Root23456 #数据库密码mysql.numconnections=100 #最大连接数*执行服务器配置executor.maxThreads=50 #最大线程数executor.port=12321 #端口号(如修改,请与web服务中一致)executor.flow.threads=30 #线程数
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
- 42
- 43
- 44
- 45
- 46
- 47
- 48
- 49
- 50
- 51
- 52
- 53
- 54
- 55
- 56
- 57
- 58
- 59
- 60
- 61
- 62
- 63
- 64
- 65
- 66
- 67
- 68
- 69
- 70
- 71
- 72
- 73
- 74
- 75
3.7.8用户配置 进入azkaban web服务器conf目录,修改azkaban-users.xml vi azkaban-users.xml 增加 管理员用户
3.7.9 web服务器启动 在azkaban web服务器目录下执行启动命令 bin/azkaban-web-start.sh 注:在web服务器根目录运行 或者启动到后台 nohup bin/azkaban-web-start.sh 1>/tmp/azstd.out 2>/tmp/azerr.out & 3.7.10执行服务器启动 在执行服务器目录下执行启动命令 bin/azkaban-executor-start.sh 注:只能要执行服务器根目录运行 启动完成后,在浏览器(建议使用谷歌浏览器)中输入https://服务器IP地址:8443 ,即可访问azkaban服务了.在登录中输入刚才新的户用名及密码,点击 login3.8 Zeppelin参照如下文件：http://blog.csdn.net/chengxuyuanyonghu/article/details/54915817http://blog.csdn.net/chengxuyuanyonghu/article/details/549159623.9 HBase 3.9.1解压 tar –zxvf /usr/local/ys/soft/hbase-0.99.2-bin.tar.gz -C /usr/local/ys/app 3.9.2重命名 cd /usr/local/ys/app mv hbase-0.99.2 hbase 3.9.3修改配置文件 每个文件的解释如下： hbase-env.sh export JAVA_HOME=/usr/local/ys/app/jdk1.7.0_80 //jdk安装目录 export HBASE_CLASSPATH=/usr/local/ys/app/hadoop-2.6.4/etc/hadoop //hadoop配置文件的位置 export HBASE_MANAGES_ZK=false #如果使用独立安装的zookeeper这个地方就是false（此处使用自己的zookeeper）hbase-site.xml
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
Regionservers //是从机器的域名Ys02ys03ys04注：此处HBase配置是针对HA模式的hdfs 3.9.4将Hadoop的配置文件hdfs-site.xml和core-site.xml拷贝到HBase配置文件中 cp /usr/local/ys/app/Hadoop-2.6.4/etc/hadoop/hdfs-site.xml /usr/local/ys/app/hbase/conf cp /usr/local/ys/app/hadoop-2.6.4/etc/hadoop/core-site.xml /usr/local/ys/app/hbase/conf 3.9.5发放到其他机器 scp –r /usr/local/ys/app/hbase ys02: /usr/local/ys/app scp –r /usr/local/ys/app/hbase ys03: /usr/local/ys/app scp –r /usr/local/ys/app/hbase ys04: /usr/local/ys/app 3.9.6启动 cd /usr/local/ys/app/hbase/bin ./ start-hbase.sh 3.9.7查看 进程：jps 进入hbase的shell：hbase shell 退出hbase的shell：quit 页面：http://master:60010/ 3.10KAfkaOffsetMonitor(Kafka集群的监控程序，本质就是一个jar包) 3.10.1上传jar包 略3.10.2 运行jar包nohup java -cp KafkaOffsetMonitor-assembly-0.2.1.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb --zk ys01,ys02,ys04 --refresh 5.minutes --retain 1.day --port 8089 $
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
4. 集群调优
4.1 辅助工具尽量不安装到数据或者运算节点，避免占用过多计算或内存资源。4.2 dataNode和spark的slave节点尽量在一起；这样运算的时候就可以避免通过网络拉取数据，加快运算速度。4.3 Hadoop集群机架感知配置，配置之后可以使得数据在同机架的不同机器2份，然后其他机架机器1份，可是两台机器四台虚机没有必要配感知个人感觉。4.4 配置参数调优可以参考http://blog.csdn.net/chndata/article/details/46003399
第三阶段（辅助工具工学习阶段）
11）Sqoop（CSDN，51CTO ，以及官网）—20小时
- 数据导出概念介绍
- Sqoop基础知识
- Sqoop原理及配置说明
- Sqoop数据导入实战
- Sqoop数据导出实战、
- Sqoop批量作业操作
推荐学习博客：http://student-lp.iteye.com/blog/2157983
官网：http://sqoop.apache.org/
12）Flume（CSDN，51CTO ，以及官网）—20小时
- FLUME日志采集框架介绍。
- FLUME工作机制。
- FLUME核心组件。
- FLUME参数配置说明。
- FLUME采集nginx日志案例（案例一定要实践一下）
推荐学习博客：http://www.aboutyun.com/thread-8917-1-1.html
官网：http://flume.apache.org
13）Oozie（CSDN，51CTO ，以及官网）–20小时
- 任务调度系统概念介绍。
- 常用任务调度工具比较。
- Oozie介绍。
- Oozie核心概念。
- Oozie的配置说明。
- Oozie实现mapreduce/hive等任务调度实战案例。
推荐学习博客：http://www.infoq.com/cn/articles/introductionOozie
官网：http://oozie.apache.org/
14）Hue（CSDN，51CTO ，以及官网）–20小时
推荐学习博客：http://ju.outofmemory.cn/entry/105162
官网：http://gethue.com/
第四阶段（不断学习阶段）
每天都会有新的东西出现，需要关注最新技术动态，不断学习。任何一般技术都是先学习理论，然后在实践中不断完善理论的过程。
备注
1）如果你觉得自己看书效率太慢，你可以网上搜集一些课程，跟着课程走也OK 。如果看书效率不高就很网课，相反的话就自己看书。
2）企业目前更倾向于使用Spark进行微批处理，Storm只有在对时效性要求极高的情况下，才会使用，所以可以做了解。重点学习Spark Streaming。
3）快速学习的能力、解决问题的能力、沟通能力**真的很重要。
4）要善于使用StackOverFlow和Google（遇到解决不了的问题，先Google，如果Google找不到解决方能就去StackOverFlow提问，一般印度三哥都会在2小时内回答你的问题）。
5）视频课程推荐：
可以去万能的淘宝购买一些视频课程，你输入“大数据视频课程”，会出现很多，多购买几份（100块以内可以搞定），然后选择一个适合自己的。个人认为小象学院的董西成和陈超的课程含金量会比较高。
四、持续学习资源推荐
- Apache 官网（http://apache.org/）
- Stackoverflow（https://stackoverflow.com/）
- Github(https://github.com/)
- Cloudra官网(https://www.cloudera.com/)
- Databrick官网(https://databricks.com/)
- About 云 ：http://www.aboutyun.com/
- CSDN，51CTO （http://www.csdn.net/，http://www.51cto.com/）
- 至于书籍当当一搜会有很多，其实内容都差不多。
五、项目案例分析
1）点击流日志项目分析（此处借鉴CSDN博主的文章，由于没有授权，所以就没有贴过来，下面附上链接）—-批处理
http://blog.csdn.net/u014033218/article/details/76847263
2）Spark Streaming在京东的项目实战（京东的实战案例值得好好研究一下，由于没有授权，所以就没有贴过来，下面附上链接）—实时处理
http://download.csdn.net/download/csdndataid_123/8079233
download centos:
https://www.centos.org/download/
