window与linux hdfs通讯环境搭建

来源:互联网 发布:罂粟壳在淘宝上叫什么 编辑:程序博客网 时间:2024/06/06 09:07

window为大家所熟悉常用的环境,今天我们来搭建window+linux(hdfs)环境。


该环境至少分两步:


1 windows下的开发


2 linux下hadoop的安装 ,先讲2吧。


我系统上搭建的是hadoop伪分布式,后续模拟出集群环境来,在分享出来。我使用的hadoop版本是 1.0.1,baidu下一堆一堆的。


使用的vm7,这个支持xp要好些,尽量不用10,这个对win7支持好些。安装的linux是redhat6,这个版本有点低,记事本还用的是vi,弱了点。


安装redhat的时,注意ssh那块,这个要装上,如果没有启动ssh服务,会影响hadoop安装的。


安装hadoop伪分布还是比较简单的:


1  先把hadoop tar包拷贝到home目录,解压后把目录该个名字(mv命令),我也不明白为啥还得改名。把hadoop的环境变量加到path中。


2 安装jdk1.6,注意添加path,classpath


3 redhat自带openssh,只需要配置个无密码登录就可以了。


4 配置三个hadoop/conf 三个文件,core-site mapred-site hdfs-site.xml文件


5 注意要重启linux,这个跟window习惯不一样,如果配置了啥东西,重启才会生效。


6 启动后,进入hadoop/bin目录 ./start-all.sh,启动hadoop服务,jps下看看重要的五个进程是不是起来了,namenode,datanode,jobtracker,tasktracker,secondeNameNode,如果起来就ok了。


7 配置window与linux的网络。


a  linux  ip设置为 etho  192.168.233.10,  还有关键一点: 虚拟机-设置-网络适配器,选择nat链接方式,这种方式用的vmnet8那块虚拟网卡。

b window vmnet8的ip设置为192.168.233.1作为网关,本机ip保证同一网段就ok了,102.168.233.88都可以了。


今天说的比较轻松,但是实际配置过程中会有很多麻烦的地方,时间有限先写到这里,后续我先把配置linux关键的贴图,命令行啊,jar包,都传上来,供大家参考。








0 0
原创粉丝点击