安装Tez 0.9.0
来源:互联网 发布:apm调参软件 编辑:程序博客网 时间:2024/05/22 00:31
安装Tez 0.9.0
安装这个东西,花了3天时间..............
网上找的资料大部分都是要么低版本的,要么写很乱,又不详细..........
走了许多弯路,最后在大神的帮助下,完成了tez0.9.0的安装。希望对大家有帮助!
一、首先到官网下载tez0.9.0-bin.tar.gz版本的压缩包
这里选择bin包的原因是不需要手动地去编译,节省时间
二、上传到master机器的安装位置,解压
解压后的文件夹名为:apache-tez-0.9.0-bin,在apache-tez-0.9.0-bin/share下有个tez.tar.gz 压缩包
把它put到hdfs上面
记得先启动hadoop
hadoop fs -mkdir -p /user/tez
hadoop fs -put tez.tar.gz /user/tez
三、在hadoop安装目录下的/etc/hadoop下,新建tez-site.xml文件
vi tez-site.xml<configuration> <property><name>tez.lib.uris</name><value>${fs.defaultFS}/user/tez/tez.tar.gz</value> <!-- 这里指向hdfs上的tez.tar.gz包 --></property><property><name>tez.container.max.java.heap.fraction</name> <!-- 这里是因为我机器内存不足,而添加的参数 --><value>0.2</value></property></configuration>
四、同上目录下,设置mapred-site.xml,把yarn修改为yarn-tez
<configuration><property> <name>mapreduce.framework.name</name> <!-- <value>yarn</value> --> <value>yarn-tez</value> <final>true</final></property><property> <name>mapreduce.jobtracker.http.address</name> <value>master.hadoop:50030</value></property><property> <name>mapreduce.jobhistory.address</name> <value>master.hadoop:10020</value></property><property></configuration>
五、同目录下,修改hadoop-env.sh ,在末尾添加
TEZ_CONF_DIR=hadoop安装位置/etc/hadoop/tez-site.xml
tez是我把apache-tez-0.9.0-bin重命名的名称,没有重命名的,下面配置注意下即可
TEZ_CONF_DIR=/usr/local/src/hadoop/etc/hadoop/tez-site.xmlTEZ_JARS=/usr/local/src/tezexport HADOOP_CLASSPATH=${HADOOP_CLASSPATH}:${TEZ_CONF_DIR}:${TEZ_JARS}/*:${TEZ_JARS}/lib/*
例如:
scp -r tez-site.xml root@192.168.202.129:/usr/local/src/hadoop/etc/hadoop/
七、重启hadoop
八、准备测试文件
在master非安装目录下,新建file01,file02 文件
echo "Hello World Hello Tez" > file01echo "Hello World Goodbye Tez" > file02
然后将它们put到hdfs中
hadoop fs -mkdir -p /user/ceshi/tez_inputhadoop fs -put file01 file02 /user/ceshi/tez_input
九、进行测试,看看是否安装成功
cd tez
hadoop jar tez-examples-0.9.0.jar orderedwordcount /user/ceshi/tez_input /user/ceshi/tez_output执行无误后,查看/user/ceshi/tez_output下的文件
在网页上输入http://192.168.202.128:8088/cluster 也可查看状态及运行计算类型(IP为master主机IP)
本次安装到此结束!
十、如果想让hive的计算引擎修改为tez,只需要在启动hadoop的情况下,启动hive,进行设置即可:
进入hive后
set hive.execution.engine=tez;然后执行sql语句即可进行测试,如下图
如果恢复使用mapreduce,输入set hive.execution.engine=mr;
安装过程其它错误:
1.把刚下载好的apache-tez-0.9.0-bin.tar.gz包,直接丢到hdfs上。是错误的做法!
运行报错说,找不到DAG那个类
应该先把它解压,然后把apache-tez-0.9.0-bin/share/目录下的 tez-tar.gz丢到hdfs上才对
2.机器内存不足问题,需要修改tez-site.xml文件,如不添加会出现如下错误:
<property><name>tez.container.max.java.heap.fraction</name> <value>0.2</value></property>具体值是多少,根据自己内存而定
3.不小心在配置hadoop-env.sh 时,把之前的HADOOP_CLASSPATH覆盖了,后面无法启动其它应用(hive,hbase等)
启动hive报错:
原来,当时配置hadoop-env.sh的时候,把以前的HADOOP_CLASSPATH覆盖了。添加上即可
淡腾的是,官网上写的步骤,真不详细,花了很多时间排错
- 安装Tez 0.9.0
- 安装Tez-0.9.0
- Tez安装
- Tez安装
- hive on tez安装
- tez-ui安装
- tez安装、配置
- tez编译安装测试
- Tez学习笔记@安装
- tez hive llap安装
- Tez在hadoop 2.2.0下的安装部署测试
- TEZ的安装以及测试
- tez on hive 安装部属
- hadoop2.4和tez的安装
- Tez-0.4.1编译和安装
- hive 使用TEZ的安装配置
- Tez学习笔记-UI安装部署
- Tez安装整体过程以及各节点的配置
- SQL 注入防御方法总结
- 上传单张/多张图片,删除图片
- cs224d 作业 problem set2 (二) TensorFlow 实现命名实体识别
- “Canvas: trying to draw too large bitmap” when Android N Display Size set larger than Small
- cs224d 作业 problem set2 (三) 用RNNLM模型实现Language Model,来预测下一个单词的出现
- 安装Tez 0.9.0
- JMeter java.net.URISyntaxException: Illegal character in query at index 60
- 最长公共子序列的问题
- Lavarel初识
- python3爬虫初探(八)requests
- pygame.key
- cs224d 作业 problem set3 (一) 实现Recursive Nerual Net Work 递归神经网络
- 《Spring 5 官方文档》5. 验证、数据绑定和类型转换
- MATLAB使用积累本