linux单机上安装hadoop
来源:互联网 发布:sp版羽毛球拍淘宝店 编辑:程序博客网 时间:2024/06/04 14:41
1、安装JDK
jdk版本最好是1.6以上,可以使用执行命令java -version查看当前JAVA版本号,如果报命令不存在或版本比较低,则需要安装一个高版本的JDK,并在/etc/profile的文件末尾,根据本机JDK实际的安装位置加上以下几行:
export JAVA_HOME=/usr/java/jdk1.7.0_25
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre:$PATH
export CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar
2、下载hadoop并解压、移动
上http://www.apache.org/dyn/closer.cgi/hadoop/common/可以选择自己想要的版本,我是用wget命令直接将hadoop下载下来:
wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-1.1.2/hadoop-1.1.2.tar.gz
--解压文件,并将解压的文件夹重命名为/opt/hadoop,执行以下命令:
tar -xvf hadoop-1.1.2.tar.gz
mv hadoop-1.1.2 /opt/hadoop
3、修改/opt/hadoop/conf文件夹下的4个配置文件
a) hadoop-env.sh ,在该文件的末尾根据JDK安装目录增加以下几行:
export JAVA_HOME=/usr/java/jdk1.7.0_25
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:/opt/hadoop/bin
b)core-site.xml ,用以下配置替换文件内容
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/tmp/hadoop/hadoop-${user.name}</value>
</property>
</configuration>
c) hdfs-site.xml,用以下配置替换文件内容 ,因为单机,所以设置文件只要保存1份,系统默认是3份:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
d) mapred-site.xml,用以下配置替换文件内容
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
4、执行hadoop环境设置,并格式化hadoop文件系统,执行以下命令
cd /opt/hadoop
source conf/hadoop-env.sh
hadoop namenode -format
5、最后一步:设置ssh免密登陆本机,执行以下命令:
ssh-keygen -t rsa -P "" 输入这个命令后一直回车就可以了
cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
安全起见,你可以退出linux再以root登陆进来一下,我是没做这个步骤
6、启动hadoop,执行以下命令:
cd /opt/hadoop
./bin/start-all.sh
7、测试hadoop文件系统
在hadoop上创建文件夹,并上传一个文件,执行以下测试命令:
hadoop fs -mkdir testfolder 创建文件夹
hadoop fs -ls 列出hadoop文件列表
hadoop fs -put /opt/hadoop/*.txt /user/root/testfolder 我把hadoop目录下的所有txt文件上传到hadoop的文件系统里头去
hadoop fs -ls /user/root/testfolder 查看上传的文件列表
8、hadoop还有一个web管理控制台,可以通过http://liunxip地址:50030/来访问
9、我的下一篇博文将描述 hadoop的用户权限管理,网址见:http://my.oschina.net/hetiangui/blog/143364
- linux单机上安装hadoop
- linux hadoop 单机安装
- Centos上单机安装Hadoop
- Hadoop 在linux 单机上伪分布式 的安装
- Hadoop 在Linux 单机上伪分布式 的安装过程
- linux下单机安装hadoop
- linux安装Hadoop-单机环境
- RedHat6.5上安装Hadoop单机
- 【Hadoop系列】第二章:安装Hadoop(上)单机版Hadoop
- linux 下安装 单机模式 hadoop
- linux中安装单机版hadoop
- linux上安装storm单机模式
- Ubuntu上安装HADOOP单机伪分布式集群
- Hadoop单机版安装
- hadoop单机版安装
- ubnutu hadoop单机安装
- 单机版hadoop安装
- hadoop单机模式安装
- Linux 系统Trouble shouting及修复FATAL: NO bootale medium found! System halted
- string json 相互转换
- 服务器第三方ios推送方式
- 004_013 Python 获取一个字典的子集
- wustoj1284Gold Medal(三进制思想)
- linux单机上安装hadoop
- 【CQOI2014】危桥
- 只运行一个实例进程的方法
- 微软过桥问题与测试人员素养
- VB获取时间
- Web: html_entity_decode、空格 以及乱码
- iOS 正则表达式
- 算法 把一个字符串数组 按照从中间开始然后左侧一个右侧一个的方式输出
- 004_014 Python 反转字典 即key和val互换