hadoop集群环境部署之chukwa客户端

1、 配置时间同步
/etc/crontab
00 07 * * * root  /usr/sbin/ntpdate 60.28.210.10
host映射配置
/etc/hosts
10.0.8.18 namenode-c2.hadoop.maxthon.cn #hadoop命名空间
10.0.8.38 sync-38.maxthon.cn #38服务器搜集客户端
10.0.8.39 sync-39.maxthon.cn #39服务器搜集客户端
10.0.8.40 sync-40.maxthon.cn #40测试搜集客户端
2、安装jdk
目前采用最新版本jdk1.7.0 
安装包为：jdk-7-linux-x64.rpm
安装路径为：/usr/java/java1.7.0
rpm -ivh jdk-7-linux-x64.rpm

添加环境变量
export JAVA_HOME=/usr/java/java1.7.0
source /etc/profile

3、安装chukwa
目前版本：chukwa-0.4.0
安装包为：chukwa-0.4.0.tar.gz
安装路径：/usr/local/cdh3u1/chukwa

tar -zxf chukwa-0.4.0.tar.gz
mv chukwa-0.4.0 /usr/local/cdh3u1/

添加环境变量
export CHUKWA_HOME=/usr/local/cdh3u1/chukwa-0.4.0

4、配置chukwa客户端
chukwa-env.sh 主要添加java_home环境变量
collectors 添加chukwa日志接受服务器
chukwa-agent-conf.xml主要配置chukwa agent信息

[#]直接登录10.0.8.18通过scp拷贝即可，注意需要拷贝hadoop目录

5、在chukwa服务器端添加agent列表
6、启动chukwa客户端
chukwa agent
telnet localhost 9093
list

add cn_sync.maxthon.cn_10.0.8.38_tail=filetailer.CharFileTailingAdaptorUTF8 cn_sync.maxthon.cn_10.0.8.38 /data/logs/xxx/chukwa.log 0
add cn_sync.maxthon.cn_10.0.8.38_recover=DirTailingAdaptor cn_sync.maxthon.cn_10.0.8.38 /data/logs/recover/ filetailer.CharFileTailingAdaptorUTF8 0

40上日志切割脚本
sudo /data/mx_dsync_serv/script/mx_log_turn.sh /data/logs/sync.maxthon.cn/ false 0 10 10.0.8.40

【注：如果不是系统用户，需要有sudo权限，用sudo安装】