Hadoop配置启动
来源:互联网 发布:多目标粒子群算法程序 编辑:程序博客网 时间:2024/05/29 16:05
其实这不是首次触电hadoop,早在大学毕设中就已经采用hadoop开发了,当时开发的是一个hadoop为基础的搜索引擎,包括爬虫,倒排索引、查询都基于hadoop的分布式平台实现。但是当时还不懂什么叫集群,更不要说分布式了。现在工作已经一年了,对集群开发,分布式,大数据等知识都有了一定的理解和认识,所以现在准备重新拿起hadoop的书,进行一下二次学习,从中学习一些更深的知识,希望以后可以从事hadoop的开发甚至可以采用hadoop进行二次开发,下面先对基本的配置运行进行一下最基础的总结。
一、配置文件
首先要先编辑hadoop启动的配置文件
1.编辑conf/hadoop-env.sh
设置java路径,还可以配置python等语言;
2.编辑conf目录下得core-site.xml hdfs-site.xml mapred-site.xml
a.core-site.xml
指定namenode的ip地址和端口;
投入使用后localhost要是真实地址;
b.hdfs-site.xml
dfs.data.dir是数据存储的地方,要事先创建好;
dfs.replication控制最多备份多少份;
c.mapred-site.xml
设置他的job管理;
配置ssh,生成秘钥,使到可以免秘钥登陆
ssh-keygen -t rsacp id_dsa.pub authorized_keys
记得开启mac的远程登录
格式化HDFS
启动服务
jps查看启动的所有java进程 包括如下:
停止服务
到这里hadoop的基本配置就完成了,由于机器数量限制所以只是采用了单台的伪分布式模式。以后还会对其他hadoop的知识进行总结。
- eclipse配置hadoop 启动hadoop
- hadoop的启动配置
- Hadoop配置启动
- hadoop 安装配置启动
- hadoop配置启动historyserver
- 配置启动hadoop jobhistory
- hadoop配置及启动
- Hadoop配置启动SecondaryNameNode
- hadoop的配置和启动
- Hadoop中hdfs启动配置
- hadoop环境变量配置及启动
- Hadoop启动脚本与配置详解[转载]
- hadoop配置 - 启动backupNode和SecondaryNamenode
- hadoop 2.4.1 secondaryNameNode 配置及启动:
- hadoop集群配置启动及编程
- hadoop启动前配置(CentOS6.4)
- hadoop配置完成后datanode没有启动
- hadoop集群基本配置及启动
- 关于BackupManagerService
- sublime搭建java环境
- NGUI核心组件之UIAtlas
- 如何终止线程的运行(C/C++)
- 海量数据处理专题(五)——堆
- Hadoop配置启动
- NGUI核心组件之UICamera
- 互联网产品开发中的“快”字诀
- 支撑5亿用户、1.5亿活跃用户的Twitter最新架构详解及相关实现
- 日三省乎己
- 搭建Ubuntu12.04交叉编译服务器
- 入职前言
- C与指针学习笔记——可变参数和printf函数
- 从华为看企业高效产品的研发管理