(Hadoop学习笔记-1) Hadoop伪分布式安装
来源:互联网 发布:it教育培训 编辑:程序博客网 时间:2024/05/21 09:00
一、配置ssh服务
参考我这篇博客
二、安装JAVA环境
1.下载JDK-8
在/usr/下建个文件夹,取名为JDK-8(这个大家随意),将下载的jdk解压到此文件夹中
2.配置环境变量
sudo gedit /etc/profile
在文件末尾添加如下几行:(路径以你自己的为准)
export JAVA_HOME=/usr/jdk-8/jdk1.8.0_151export JRE_HOME=$JAVA_HOME/jreexport CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/libexport PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
然后
source /etc/profile #使环境变量生效
3.检查一下JAVA是否安装成功
java -version
三、安装hadoop
我下的是2.8.2 version
在/home/username/下建个文件夹,取名hadoop,将hadoop压缩包解压到此文件夹下
1.修改配置文件
(1) 修改hadoop-env.sh,更改这一行
export JAVA_HOME=/usr/jdk-8/jdk1.8.0_151
(2)修改core-site.xml
<configuration><property><name>fs.defaultFS</name><value>hdfs://mckee-Ubuntu:9000/</value></property><property><name>hadoop.tmp.dir</name><value>/home/mckee/hadoop/hadoop-2.8.2/data/</value></property></configuration>
(3)修改hdfs-site.xml
<configuration><property><name>dfs.replication</name><value>1</value></property></configuration>
(4)创建并修改mapred-site.xml
原本只有mapred-site.xml.template, 先创建
mv mapred-site.xml.template mapred-site.xml
然后修改
<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property></configuration>
(5)修改 yarn-site.xml
<configuration><!-- Site specific YARN configuration properties --><property><name>yarn.resourcemanager.hostname</name><value>mckee-Ubuntu</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property></configuration>
2.将hadoop添加到环境变量
sudo gedit /etc/profile
在末尾添加
export HADOOP_HOME=/home/mckee/hadoop/hadoop-2.8.2export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
使其生效
source /etc/profile
3. 格式化hadoop
hadoop namenode -format
发现之前上传的一张喜欢的照片没有了,是用opencv处理的。。。。唉
4.启动服务
在sbin里启动,打开终端
./start-dfs.sh #只启动hdfs./start-yarn.sh #启动yarn
如需启动所有服务,则
./start-all.sh
查看进程
jps
5.上传一个文件试试
hadoop fs -put <your file> hdfs://mckee-Ubuntu:9000/
文件已上传,接下来用client访问看看
四、访问hadoop-HDFS
1.在windows设备浏览器中,输入 mckee-Ubuntu:50070(名称代表的就是server的ip,以你自己改的为准)
2.在Utilities-> Browse the file system里查看:
可以看到刚才上传到的文件,点击即可下载。
阅读全文
0 0
- (Hadoop学习笔记-1) Hadoop伪分布式安装
- Hadoop学习笔记_伪分布式安装
- Hadoop伪分布式安装学习笔记一
- 1.hadoop伪分布式安装命令(hadoop学习笔记)
- 伪分布式安装Hadoop笔记
- hadoop 学习笔记1 —— ubuntu上构建伪分布式的hadoop安装
- Hadoop学习笔记_Ubuntu下伪分布式安装及配置
- hadoop学习笔记之二:安装伪分布式
- Hadoop 伪分布式安装
- hadoop 伪分布式安装
- Hadoop 伪分布式安装
- HADOOP伪分布式安装
- hadoop伪分布式安装
- Hadoop伪分布式安装
- Hadoop伪分布式安装
- hadoop伪分布式安装
- hadoop伪分布式安装
- 伪分布式Hadoop安装
- Google Guava学习计划第一章Guava Utilities—Preconditions_ComparisonChain_Strings_CharMatcher
- 决策树ID3算法(C++实现)
- hibernate子表继承父表,实体之间如何关联
- Thinking in java Chapter10
- es6的笔记
- (Hadoop学习笔记-1) Hadoop伪分布式安装
- tensorflow命令集合2
- 单链表的定义,插入,删除,读取(二级指针,一级指针的应用)
- 选择排序
- IF语句中并不能连续进行比较
- ssh整合后没有配置事务的报错信息
- 插入排序
- Vue.js
- 类