centOS6.3+cloudera hadoop(CDH4) 安装于问题
来源:互联网 发布:注册windows live ld 编辑:程序博客网 时间:2024/05/16 09:01
centOS 6.3 最新的系统,一切都是免费的, yum 是不受管理,大多数的软件已经装好了比如python python 2.6 。先说说系统安装环境:
centOS 5.* yum免费,python 2.4
其实他是需要python-libs-2.4.3-46.el5.x86_64.rpm这个包,下载地址我就不写了。redhat 5.6 这个是老的系统,yum需要注册,才能更好的使用。 python 应该是2.4的-------------------我们需要安装cloudera hadoop 是需要yum免费的除非你已经注册了redhat 有使用权,还有python需要2.4版本的。
-----
我使用的是centOS 6.3(64bit)系统,需要安装python-libs-2.4.3-46.el5.x86_64.rpm这个包的
命令:
rpm -ivhpython-libs-2.4.3-46.el5.x86_64.rpm --force --nodeps
cloudera manger 安装
1 先下载postgresql 数据库支持。
http://www.postgresql.org/download/linux/ 安装。
修改:
进入 /var/lib/pgsql/data 路径下找到postgresql.conf 修改问以下配置,这样你就可以使用psql命令链接数据库了:
1.1 修改配置修改前:#listen_addresses = '127.0.0.1' # what IP address(es) to listen on;# comma-separated list of addresses;# defaults to 'localhost', '*' = all#port = 5432修改后:listen_addresses = '*' # what IP address(es) to listen on;# comma-separated list of addresses;# defaults to 'localhost', '*' = allport = 5432
1.2重启服务 ;
命令:service postgresql restart--帮助:/etc/init.d/postgresql {start|stop|status|restart|condrestart|condstop|reload|force-reload}
2 关闭selinux
SELinux is enabled. It must be disabled to install and use this product
设置 /etc/selinux/config
配置 selinux=disabled
3 关闭防火墙
service iptables stop
4 下载cloudera manager 二进制安装包
https://ccp.cloudera.com/display/SUPPORT/Cloudera+Manager+Free+Edition+-+END+USER+LICENSE+TERMS+AND+CONDITIONS
文件名:cloudera-manager-installer.bin
然后在你的linux上就可以安装了 ./cloudera-manager-installer.bin 一路next/yes,让他连网络下载依赖包。
安装完毕
5 打开ip:7180 然后 用户名密码默认:admin/admin
安装hadoop 机器:
1 需要你的DNS 可以指向你的cloudera manager机他会用命令 host -t PTR (manager-IP) 去检测你的主机名。所以你需要修改你的所有机器的host文件
我在这里自己安装了个DNS服务器: 主要配置就是让所有的nodes 能使用 host -t PTR (manager-IP) 命令检测到我的manger主机名。
服务器使用bind9 https://www.isc.org/software/bind
安装教程:
http://www.centos.bz/2011/07/centos-install-bind-dns-server/我的配置: vi /etc/resolv.conf 添加 servername 10.1.15.74 到第一个
2 如果你自己做了源那么修改yum源
修改yum 新建 vi /etc/yum.repos.d/cloudera.repo
添加源配置:
[cloudera-cdh4]
name=Cloudera's Distribution for Hadoop, Version 4
baseurl=http://10.10.112.111:8080/cdh4local/CDH/4
gpgkey = http://10.10.112.111:8080/cdh4local/CDH/4/RPM-GPG-KEY-cloudera
gpgcheck = 0
enabled=1
[cloudera-cm4]
name=Cloudera's Distribution for Hadoop, Version 4
baseurl=http://10.10.112.111:8080/cdh4local/CM/4
gpgkey = http://10.10.112.111:8080/cdh4local/CM/4/RPM-GPG-KEY-cloudera
gpgcheck = 0
enabled=1
运行命令yum update
如何建源,官网说要安装一个源的软件,感觉有点麻烦,我的用的是笨办法直接起一个java-web工程将原网址的所有目录拷贝下来做成原始的文件结构,发布,经过测试是好的。
截图:
工程的名字可能起得不好。
在安装的时候需要设置本地源在哪里:
这样就可以使用你的源了。
3 next OK-> start ->OK
【遇到的问题】
可能需要安装这两个东西。
[问题]1:ERROR:Requires: redhat-lsb
[问题]2:ERROR: Reuires: nc
nc : 这个包名:nc-1.84-22.el6.x86_64.rpm
lsb: 这个没安装好,
上面两个centOS里边自带的。
[问题]3:如果遇到这个问题
BEGIN yum info bigtop-utils
Loaded plugins: rhnplugin, security
Repository cloudera-cdh4 is listed more than once in the configuration
This system is not registered with RHN.
RHN support will be disabled.
END (1)
remote package bigtop-utils is not available, giving up
这个是说你的源有问题,我遇到的问题是源包名写错了,他找不到。
[问题]4 安装manager的时候遇到要关闭selinux
SELinux is enabled. It must be disabled to install and use this product
设置 /etc/selinux/config
配置 selinux=disabled
[问题] 5
你一定用的是redhat系统,原因是因为你没有注册redhat 所以报错了,目前理解是这样(查看官方bug和国外解答)。
Total size: 7.4 k
Downloading Packages:
Running rpm_check_debug
ERROR with rpm_check_debug vs depsolve:
rpmlib(FileDigests) is needed by bigtop-utils-0.4+352-1.cdh4.1.0.p0.28.el6.noarch
rpmlib(PayloadIsXz) is needed by bigtop-utils-0.4+352-1.cdh4.1.0.p0.28.el6.noarch
Complete!
(1, [u'Please report this error in https://bugzilla.redhat.com/enter_bug.cgi?product=Red%20Hat%20Enterprise%20Linux%205&component=yum'])
END (1)
[问题]6 启动service cloudera-scm-agent start 失败
日志目录 /var/log/cloudera-scm-agent/cloudera-scm-agent.{log,out}
-------关于源的一些操作-----
1 修改 vi /etc/resolv.conf 添加 servername10.1.15.74
2 修改 vi /etc/hosts 添加hadoop10.1.15.71
3 修改yum 新建 vi/etc/yum.repos.d/cloudera.repo
添加源配置:
[cloudera-cdh4]
name=Cloudera's Distribution for Hadoop,Version 4
baseurl=http://10.10.112.111:8080/cdh4local/CDH/4
gpgkey =http://10.10.112.111:8080/cdh4local/CDH/4/RPM-GPG-KEY-cloudera
gpgcheck = 0
enabled=1
[cloudera-cm4]
name=Cloudera's Distribution for Hadoop,Version 4
baseurl=http://10.10.112.111:8080/cdh4local/CM/4
gpgkey = http://10.10.112.111:8080/cdh4local/CM/4/RPM-GPG-KEY-cloudera
gpgcheck = 0
enabled=1
运行命令yum update
参考: http://blog.csdn.net/zzhua100/article/details/7823971
- centOS6.3+cloudera hadoop(CDH4) 安装于问题
- cloudera cdh4 hue 安装
- Apache Hadoop(Cloudera CDH4)安装需要注意的几点
- Apache Hadoop(Cloudera CDH4)安装需要注意的几点
- 手动安装cloudera cdh4.2 hadoop + hbase + hive(一)
- 手动安装cloudera cdh4.2 hadoop + hbase + hive(二)
- 手动安装cloudera cdh4.2 hadoop + hbase + hive(三)
- cloudera hadoop 安装问题
- Cloudera Manager CDH4的安装
- OpenStack虚拟下的CentOS6.X中离线安装Cloudera Manager4.x 与 CDH4.X
- hadoop版本及cloudera的CDH3 CDH4
- hadoop版本及cloudera的CDH3 CDH4
- 手动装配Hadoop Cloudera CDH4.2版本
- Hadoop版本及cloudera的CDH3 CDH4
- Cloudera Manager和CDH4的安装
- 安装cdh4.5工具cloudera manager
- Cloudera Manager和CDH4.1的安装
- Hadoop CDH4伪分布式安装
- libxml的使用(1)--读取xml
- eclipse 添加第三方jar包/引入第三方类库/添加其他工程引用
- ZOJ 3659 Conquer a New Region(12年长春site E)
- 【js与jquery】www.zhen.com首页<li>标签的hover事件
- libxml的使用(2)--读取节点属性
- centOS6.3+cloudera hadoop(CDH4) 安装于问题
- ORACLE专用服务器与共享服务器的一点比较
- 基于Annotation的Struts2.0+Hibernate3.3+Spring2.5整合开发 (1)
- 3D手势控制测试中对于环境的考虑
- CSS opacity - 实现图片半透明效果
- 泛型编程:源起、实现与意义
- overridePendingTransition
- libxml的使用(3)--编辑节点
- 宁夏否认吴忠黄河大桥封路为收费新桥增流量-吴忠黄河大桥-封路