cdh hadoop2单机安装
来源:互联网 发布:github的源码怎么编译 编辑:程序博客网 时间:2024/05/18 03:57
cdh hadoop2单机安装 hdfs和yarn
tar安装
hadoop2软硬件准备
- 准备硬件(linux)(ssh免密码登录,只是在启动或关闭时才用到免密码登录)
- 准备软件安装包,并安装基础软件(主要jdk)
- 将hadoop安装包分发到各个节点的同一个目录下,并解压
- 修改配置文件
- 启动服务
- 验证是否启动成功
http://archive.cloudera.com/cdh5/cdh/5/
配置
etc/hadoop/hadoop-env.sh
export JAVA_HOME=/usr/local/jdk
etc/hadoop/mapred-site.xml
<configuration> <property> <name>mapred.job.tracker</name> <value>cdh1:9001</value> </property><!-- <property> <name>mapreduce.framework.name</name> <value>cdh1:9001</value> </property>--></configuration>
etc/hadoop/core-site.xml
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://cdh1:8020</value> </property></configuration>
etc/hadoop/hdfs-site.xml
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/usr/local/hadoop/weishanwei/hadoop/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/usr/local/hadoop/weishanwei/hadoop/dfs/data</value> </property></configuration>
etc/hadoop/yarn-site.xml
<configuration><!-- Site specific YARN configuration properties --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property></configuration>
etc/hadoop/slaves
localhost
hdfs启动
启动Namenode
- 在各个JournalNode节点上,输入以下命令启动journalnode
sbin/hadoop-daemon.sh start journalnode - 在[nn1]上对其进行格式化,并启动:
在 /usr/local/hadoop/weishanwei/hadoop/dfs/name中生成namenode第一次运行的准备文件
bin/hdfs namenode -format - 在[nn2],启动NameNode
sbin/hadoop-daemon.sh start namenode - 启动datanode
在 /usr/local/hadoop/weishanwei/hadoop/dfs/data中生成namenode第一次运行的准备文件
sbin/hadoop-daemons.sh start datanode
验证是否启动成功
jps
或
http://IP:50070
yarn启动
sbin/start-yarn.sh
0 0
- cdh hadoop2单机安装
- cdh hadoop2集群安装
- Hadoop2安装-单机模式
- 单机安装hadoop2.6.4
- centos单机安装Hadoop2.6
- centos单机安装Hadoop2.6
- centos单机安装Hadoop2.6
- centos单机安装Hadoop2.6
- centos单机安装Hadoop2.6
- ubuntu1404_64单机安装Hadoop2.7.3
- hadoop2.x单机环境安装
- Hadoop2安装——单机模式
- hadoop2.2.0单机安装(记录)
- Hadoop2.0单机环境安装部署
- Hadoop2.2.0单机伪分布式安装配置
- 单机/伪分布式Hadoop2.4.1安装文档
- hadoop2.5.1单机模式简易安装教程
- Ubuntu14.04安装Hadoop2.5.2(单机模式)
- 创业公司工程师应该掌握的可伸缩Web开发技术
- 不安装oracle客户端,用plsql连接oracle
- 用**画圆
- lintCode_两个字符串是变位词
- MFC 向指定窗口发送自定义消息
- cdh hadoop2单机安装
- 异步调用
- flex和js的调用,然后再调用iframe工程里的js
- Android中AIDL及其使用
- Spring之 集成Junit测试
- 简单却挺经典的递归题
- cdh hadoop2集群安装
- iOS开发10种数据传值方法
- solr 的edismax与dismax比较与分析