hadoop 伪分布式配置关键点
来源:互联网 发布:ubuntu服务器下载文件 编辑:程序博客网 时间:2024/05/22 06:25
su
vim /etc/profile
export HADOOP_INSTALL=/usr/opt/hadoop
export PATH=${HADOOP_INSTALL}/bin:${HADOOP_INSTALL}/sbin${PATH}
export HADOOP_MAPRED_HOME=${HADOOP_INSTALL}
export HADOOP_COMMON_HOME=${HADOOP_INSTALL}
export HADOOP_HDFS_HOME=${HADOOP_INSTALL}
export YARN_HOME=${HADOOP_INSTALLL}
export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_INSTALL}/lib/natvie
export HADOOP_OPTS="-Djava.library.path=${HADOOP_INSTALL}/lib:${HADOOP_INSTALL}/lib/native"
设置hadoop-env.sh中的java环境变量
cd /usr/opt/hadoop
vim ./etc/hadoop/hadoop-env.sh
[html] view plaincopyprint?在CODE上查看代码片派生到我的代码片
export JAVA_HOME= {你的java环境变量}
export HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib:$HADOOP_PREFIX/lib/native"
hadoop的配置文件主要有core-site.xml 、 hdfs-site.xml 、 yarn-site.xml 三个文件
core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/opt/hadoop/tmp</value> <!--一定要配置 系统默认的缓存文件夹在每次重启后会被删除-->
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
hdfs.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/opt/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/opt/hadoop/dfs/data</value>
</property>
<property> <!--这个属性节点是为了防止后面eclipse存在拒绝读写设置的 -->
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
yarn-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
创建需要的文件夹
cd /usr/local/hadoop
mkdir tmp dfs dfs/name dfs/data
配置都已经完成。
6.运行
首先格式化文件系统
.bin/hdfs namenode -format
启动
[html] view plaincopyprint?在CODE上查看代码片派生到我的代码片
./sbin/start-dfs.sh
./sbin/start-yarn.sh
纪念下吧。我的hadoop
- hadoop 伪分布式配置关键点
- hadoop伪分布式配置
- HADOOP伪分布式配置
- hadoop伪分布式配置
- hadoop伪分布式配置
- hadoop伪分布式配置
- Hadoop伪分布式配置
- Hadoop伪分布式配置
- Hadoop伪分布式配置
- Hadoop 伪分布式配置
- hadoop伪分布式配置
- Hadoop伪分布式配置
- Hadoop 伪分布式配置
- hadoop伪分布式配置
- 配置伪分布式Hadoop
- 配置 hadoop 伪分布式
- hadoop伪分布式配置
- Hadoop 伪分布式配置
- DialogInput 字体
- NS2节点通信半径修改
- Oracle层次查询
- WEUI与AngularJS 翻译
- 异常处理--使用try,catch
- hadoop 伪分布式配置关键点
- Kensho: 低增速经济下的“投资剧本”
- 网络请求封装
- mysql中limit与in不能同时使用的解决办法
- 上传漏洞
- RMAN-06172: no AUTOBACKUP found or specified handle is not a valid copy or piece
- 服务器维护系列——快速重启VNC
- 用puts和printf()输出字符串
- 避免dialog按下返回键消失