hadoop搭建环境(1)

来源:互联网 发布:超级基因优化液排雷 编辑:程序博客网 时间:2024/05/29 11:44

Linux的使用

搭建hadoop环境host网络模式,主机能上网,虚拟机也是不能上网的。net模式,桥接模式虚拟机安装。

在虚拟机中进行linux系统安装很简单。(下载虚拟机软件,安装分分钟的事-》只要下好了,下对了linux版本,安装linux系统,分分钟的事。)
ps:linux镜像文件.iso,有时候分为多个部分,所有要把所有部分下完。如:linux cento ***1of2,linux cento ***2of2,

配置hadoop环境也不是太难,问题是jdk的解压,路径啥的也写对,hadoop那个几个文件很容易修改。

伪单节点环境,

在安装linux的过程中,学习linux命令也挺好。

花费的时间:1:下载软件。能下载合适的软件也是个本事。很多下的都不能用

        2:一步步得按照那个博主的帖子安装即可。        3:注意 java下得是jdk而不是jre!!!!!!        4:配置hadoop的配置文件也不难。主要是出现问题是 要最好保证,几个有关host name的文件里的name要保持一致!(这个地方坑了好久)        5:有时候远程通过ssh操作Linux OS,还是没有直接通过root身份操作系统来得靠谱(这个地方也坑了好一会)        6:上网的问题。通过host方式搞的虚拟机里的linux,是别指望上网了。主机可以上网,虚拟机linux还是不能上网,不要傻傻的以为是自己哪个地方设置错了。(!!!这个地方,也坑了,好多帖子都没说,通过host方式,是不能上网的。)

收获:
1:搭建了hadoop的单机开发环境
2:迅速让我找到学习linux的状态。(嘿嘿,之前还苦于不知道如何开始学习linux呢)
3:克服了畏惧linux环境的心思。
4:练习了一些Linux命令

打算:
1:接下来,搭建伪集群hadoop开发环境(就是多建几个Linux的虚拟机系统,每个系统当做一个节点)
2:练习常用的linux 命令
3:搭建linux环境下java的开发环境
4:希望能开发一个hadoop高性能网络爬虫

参考网站:http://blog.csdn.net/shuaihj/article/details/41439671

0 0
原创粉丝点击