Hadoop 伪分布式配置
来源:互联网 发布:csol大刀优化软件 编辑:程序博客网 时间:2024/05/22 09:02
Hadoop 可以在单节点上以伪分布式的方式运行,Hadoop 进程以分离的 Java 进程来运行,节点既作为 NameNode 也作为 DataNode,同时,读取的是 HDFS 中的文件
Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中,伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式,每个配置以声明 property 的 name 和 value 的方式来实现
1,修改配置文件 core-site.xml:gedit ./etc/hadoop/core-site.xml
将其中的<configuration></configuration>修改为
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
2,修改配置文件 hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
</configuration>
3, 配置文件说明:
Hadoop 的运行方式是由配置文件决定的(运行 Hadoop 时会读取配置文件),因此如果需要从伪分布式模式切换回非分布式模式,需要删除 core-site.xml 中的配置项。
此外,伪分布式虽然只需要配置 fs.defaultFS 和 dfs.replication 就可以运行(官方教程如此),不过若没有配置 hadoop.tmp.dir 参数,则默认使用的临时目录为 /tmp/hadoo-hadoop,而这个目录在重启时有可能被系统清理掉,导致必须重新执行 format 才行。所以我们进行了设置,同时也指定 dfs.namenode.name.dir 和 dfs.datanode.data.dir,否则在接下来的步骤中可能会出错。
4,配置完成后,格式化namenode:./bin/hdfs namenode -format
5,开启namenode和datanode守护进程:./sbin/start-dfs.sh
启动完成后可通过jps命令来检查是否启动成功
6,启动成功后,可通过localhost:50070来查看namenode和datanode的信息,还可以在线查看hdfs的文件
0 0
- hadoop伪分布式配置
- HADOOP伪分布式配置
- hadoop伪分布式配置
- hadoop伪分布式配置
- hadoop伪分布式配置
- Hadoop伪分布式配置
- Hadoop伪分布式配置
- Hadoop伪分布式配置
- Hadoop 伪分布式配置
- hadoop伪分布式配置
- Hadoop伪分布式配置
- Hadoop 伪分布式配置
- hadoop伪分布式配置
- 配置伪分布式Hadoop
- 配置 hadoop 伪分布式
- hadoop伪分布式配置
- Hadoop 伪分布式配置
- Hadoop伪分布式配置
- Swift-内存管理(高级)
- 自定义控件之简易Tab结构
- 腾讯认证QQ空间秒升级为专业版方法!
- zoj1200
- bash环境GIT仓库基本操作(2)
- Hadoop 伪分布式配置
- ActiveMQ之HelloWorld
- Mybatis中通过generator生成mapper、Dao、mapper.xml
- spring核心框架体系结构
- 15. 3Sum
- 模板引擎:beetl+servlet
- ViewPager 详解(三)—PagerTabStrip与PagerTitleStrip添加标题栏的异同
- java中PO,VO,DTO,BO,DAO,POJO
- Makefile(1)