阿里云上部署java8和hadoop3.0、spark、hive及Mahout
来源:互联网 发布:苹果手机 解压软件 编辑:程序博客网 时间:2024/05/29 13:54
1.安装JDK1.8
到oracle官网:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
linux是64位的,安装jdk-8u131-linux-x64.tar.gz
安装及配置参考http://blog.csdn.net/rchm8519/article/details/48721913
/usr/jdk就是一个链接目录。实际的java目录为/usr/java
2.安装Hadoop3.0
到hadoop官网:http://hadoop.apache.org/releases.html
这里我选择的是最新版Hadoop3.0 alpha3 binary版本。注
意source版本是需要自己编译的,而binary是已经编译好,可以直接运行的。
下面是binary版本的下载地址:
http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.0.0-alpha3/hadoop-3.0.0-alpha3.tar.gz
tar -xzvf hadoop-3.0.0-alpha3.tar.gz将解压目录移动到/usr/local,并重命名:
mv /download/hadoop-3.0.0-alpha3 /usr/local/hadoop
接下来就修改hadoop配置文件:
http://www.cnblogs.com/hehaiyang/p/4477626.html#label_2
文件路径为/usr/local/hadoop/etc/hadoop/,配置hadoop-env.sh。
中间3行export是我添加的。
然后再次修改/etc/profile,
添加下面的两句。
OK。
然后设置免密登陆,生成ssh密钥。
ssh-keygen -t rsa
ssh-copy-id localhost输入密码,搞定。
最后测试一下是否安装成功,输入:
hadoop此时会显示hadoop文档
对于要伪分布式运行,要配置core-site.xml和hdfs-site.xml文件,参考:
core-site.xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://Master:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>file:/usr/local/hadoop/tmp</value> <description>Abase for other temporary directories.</description> </property></configuration>
hdfs-site.xml<configuration> <property> <name>dfs.namenode.secondary.http-address</name> <value>Master:50090</value> </property> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/local/hadoop/tmp/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/local/hadoop/tmp/dfs/data</value> </property></configuration>
尝试伪分布式运行,出错提示:
ERROR: Attempting to launch hdfs secondarynamenode as root
ERROR: but there is no HDFS_SECONDARYNAMENODE_USER defined. Aborting launch.
按如下网站方法解决:https://www.vastyun.com/bloger/179.html
成功运行。3.安装Spark
4.安装Hive
5.安装Mahout
阅读全文
0 0
- 阿里云上部署java8和hadoop3.0、spark、hive及Mahout
- Spark入门实战系列--5.Hive(上)--Hive介绍及部署
- Spark入门实战系列--5.Hive(上)--Hive介绍及部署
- Spark入门实战系列--5.Hive(上)--Hive介绍及部署
- Spark入门实战系列--5.Hive(上)--Hive介绍及部署
- Spark入门实战系列--5.Hive(上)--Hive介绍及部署
- Hive(上)--Hive介绍及部署
- Flask--阿里云上部署
- Hadoop3.0稳定版的安装部署
- Hive(上)-介绍及部署
- hive on spark部署
- 实战5.Hive(上)--Hive介绍及部署
- hadoop3.0高可用HA大数据平台架构硬件和部署方案(一)
- hadoop3.0高可用HA大数据平台架构软件和部署方案(二)
- [转]hadoop,spark,storm,pig,hive,mahout等到底有什么区别和联系?
- 【云星数据---大数据部集群署系列005】:hadoop3.0全分布部署方案
- hadoop3.0
- 阿里云上部署niginx+php+mysql
- JavaMail邮件发送解析
- android sdk manager 无法更新
- 伪静态与静态
- Apache Kudu:用于实时分析的最佳用例
- 微信小程序开发(四)获取用户openid
- 阿里云上部署java8和hadoop3.0、spark、hive及Mahout
- Python 对象知识实践
- 详解 ESLint 规则,规范你的代码
- 阅读XRecyclerView源码二
- 如何交换两个变量的值
- 多线程学习笔记
- 剑指Offer: (Java实现) 连续子数组的最大和
- HDU5696(分治)
- Performance Analyzer性能分析器