hadoop1.01+ hbase 0.92+chukwa0.5 安装配置 +问题
来源:互联网 发布:邓亚萍20个亿 知乎 编辑:程序博客网 时间:2024/06/08 13:18
首先看下官网的东西,大概有个轮廓见下图:
Chukwa0.5的安装
安装的前提条件:
1.使用的JDK的版本必须是1.6或者更高版本,本实例中使用的是JDK1.7
2.使用的hadoop的版本必须是Hadoop0.20.205.1及以上版本,本实例中使用的是Hadoop1.0.1版本。
3.为了运行HICC,需要使用HBase0.90.4版本,但是我们环境现在用的是0.92.0版本所以我们需要替换包
安装的步骤如下:
1.首先下载的chukwa的版本是0.5版本,需要在
http://labs.renren.com/apache-mirror/incubator/chukwa/chukwa-0.5.0/上(renren 网也加入apache了 O(∩_∩)O~)
下载如下的两个文件:
chukwa-incubating-0.5.0.tar.gz
//chukwa-incubating-src-0.5.0.tar.gz 可以不用下载
将如上的两个gz文件进行解压缩,
2.然后将chukwa-incubating-src-0.5.0下的conf目录和script目录拷贝到
chukwa-incubating-0.5.0目录下,并将chukwa-incubating-0.5.0重命名为chukwa
3.然后运行如下命令:
sudogedit /etc/profile 打开profile文件,然后加入以下的内容:
export CHUKWA_HOME=/opt/chukwa-incubating-0.5.0
export CHUKWA_CONF_DIR=$CHUKWA_HOME/conf
export CHUKWA_HOME=/opt/chukwa-incubating-0.5.0
export PATH=$PATH:$CHUKWA_HOME/bin
## 下面配置这个主要是因为0.5版本他把chukwa启动 shell单独放在sbin目录下了。 也可以直接cp /sbin/* ./bin
export PATH=$PATH:$CHUKWA_HOME/sbin
4.进行通用信息的配置:
修改etc/chukwa/chukwa-env.sh文件中的JAVA_HOME属性,使其指向正确的java安装目录 ,如:export JAVA_HOME=/opt/jdk/jdk1.7.0
修改etc/chukwa/chukwa-env.sh中的CHUKWA_LOG_DIR and CHUKWA_PID_DIR两个属性,这两个属性分别用于定义存放Chukwa的日志文件和pid文件的目录,默认的属性值如下:
# The directory where pid files are stored. CHUKWA_HOME/var/run by default.export CHUKWA_PID_DIR=/tmp/chukwa/pidDir# The location of chukwa logs, defaults to CHUKWA_HOME/logsexport CHUKWA_LOG_DIR=/tmp/chukwa/log需要注意的是 CHUKWA_PID_DIR目录不能被多个Chukwa实例来共享,而且它应该保存在本地磁盘中。 可以将这两个目录注释掉,他会保存在CHUKWA_HOME下的目录中、
5.Agent信息配置
必须进行配置的部分是修改$CHUKWA_HOME/etc/chukwa/collectors文件的内容,该文件保存了用于运行Chukwa collectors的主机列表。Agent从这些主机列表中随机的选择一个,然后将收集到的信息发送给它。
文件的内容格式如下:
http://<collector1HostName>:<collector1Port>/
http://<collector2HostName>:<collector2Port>/
http://<collector3HostName>:<collector3Port>/
默认文件的内容只有localhost编辑CHUKWA_HOME/etc/chukwa/initial_adaptors 配置文件,该文件保存了Chukwa默认的Adapter的类型,这个文暂时不用修改,文件的内容如下:
add sigar.SystemMetrics SystemMetrics 60 0
add SocketAdaptor HadoopMetrics 9095 0
add SocketAdaptor Hadoop 9096 0
add SocketAdaptor ChukwaMetrics 9097 0
add SocketAdaptor JobSummary 9098 0
修改$CHUKWA_HOME/etc/chukwa/chukwa-agent-conf.xml配置文件的内容,此配置文件中的内容默认都可以不需要修改就行,但是有一个属性很重要,它定义了Agent所在的集群的名称:
<property>
<name>chukwaAgent.tags</name>
<value>cluster="demo"</value>
<description>The cluster's name for this agent 貌似暂时没发现有什么用,</description>
</property>
启动Agent
可以使用bin/chukwa agent命令来启动,但是这里会出现两个问题:首先我如果直接进入到bin目录下,然后运行./chukwa agent命令,此时会出现路径错误的异常;
另外一个问题就是,当我不是以root的身份登录linux系统时,直接运行上面的命令会出现如下的异常情况:
java.io.FileNotFoundException: /agent.log (Permission denied)
atjava.io.FileOutputStream.openAppend(Native Method)
atjava.io.FileOutputStream.<init>(FileOutputStream.java:192)
atjava.io.FileOutputStream.<init>(FileOutputStream.java:116)
atorg.apache.log4j.FileAppender.setFile(FileAppender.java:294)
该异常表明当前的用户没有权限来打开agent.log文件,所以应该以如下的命令来运 行:sudo bin/chukwaagent
也可以使用sudo bin/start-agents.sh命令来使用SSH登录到 etc/chukwa/agents文件中列出的所有的agent所在的主机来启动Agent后台进程。
其实你可以简单命令:
>> cd $CHUKWA_HOME
>> start-agent.sh ## 前提是已经导入了PATH 信息。
为了检查Agent是否成功,可以运行telnetlocalhost 9093命令,然后再运行list
看能否可以在命令行看到一些提示信息。
6.修改被Chukwa监控的hadoop集群的配置信息:
将$CHUKWA_HOME/etc/chukwa/hadoop-metrics2.properties复制到hadoop的conf目录下,并保持原文件的名称
$CHUKWA_HOME/share/chukwa/chukwa-0.5.0-client.jar复制到hadoop的lib目录下面
将$CHUKWA_HOME/share/chukwa/lib/json-simple-1.1.jar复制到hadoop的lib目录下面
将$CHUKWA_HOME/share/chukwa/lib/chukwa-0.5.0.jar复制到hadoop的lib目录下面
首先将CHUKWA_HOME/etc/chukwa/hadoop-log4j.properties下的文件复制到hadoop的conf目录下,并重命名为log4j.properties
如果上面的jar包没在$CHUKWA_HOME/share/chukwa/lib目录下,那么需要到最先下载的chukwa-incubating-src-0.5.0.tar.gz文件夹下找到相应的jar包。
7.启动HBase,然后在HBase中创建相应的表,启动hadoop hdfs
/hbase shell < etc/chukwa/hbase.schema
8.配置Collector信息:
首先,编辑$CHUKWA_HOME/etc/chukwa/chukwa-env.sh,需要修改HADOOP_CONF_DIR and HBASE_CONF_DIR属性信息,这两个信息都是提前在/etc/profile中定义好的,也可以直接在文件中配置他们路径。
然后编辑$CHUKWA_HOME/etc/chukwa/chukwa-collector-conf.xml配置文件,我们直到Collector可以将收集到的信息保存在HBase中和HDFS中,所以相应的配置信息也会有两个,如下:使用HBase作为存储介质:
- hadoop1.01+ hbase 0.92+chukwa0.5 安装配置 +问题
- hadoop1.01+ hbase 0.92+chukwa0.5 安装配置 +问题
- hadoop1.2.1+zookeeper-3.4.5+hbase-0.94.1集群安装
- hadoop1.0.4+zookeeper-3.4.5+hbase-0.94.1集群安装
- hadoop1.2.1+zookeeper-3.4.5+hbase-0.94.1集群安装
- hadoop1.2.1安装配置
- 安装配置hadoop1.2.1
- hadoop1.2.1安装配置
- hadoop1.2.1安装配置
- hbase的安装与配置(zookeeper3.4.3,hbase0.94.1,hadoop1.03)
- titan-1.0.0-hadoop1 + Hbase 问题
- HBase安装与配置问题
- hadoop1.0安装配置详解
- CentOS6.5+hadoop1.2.1安装配置测试记录
- hadoop1.2.1+zk-3.4.5+hbase-0.94.1集群安装过程详解
- hadoop1.2.1+zk-3.4.5+hbase-0.94.1集群安装过程详解
- hadoop1.2.1+zk-3.4.5+hbase-0.94.1集群安装过程详解
- 集群环境下配置hadoop1.0,zookeeper,hbase
- 各种免费的网络接口
- 第5次实验任务
- 字符转义
- freeglut ERROR:Function <glutMainLoopEvent> called without first calling 'glutInit'
- 十分钟python入门教程
- hadoop1.01+ hbase 0.92+chukwa0.5 安装配置 +问题
- 关于QA的职责
- BBS的一种数据库表设计(转)
- netbeans安装后,乱码问题的解决
- 【ZJOI2008】【树形动态规划】骑士
- HUD 1358 Period
- WIN7下配置JDK并运行JAVA的过程
- HDU 1495 非常可乐(广搜)
- 项目2.