hadoop_Hbase_pinpoint 环境搭建

**

hadoop_Hbase_pinpoint 环境搭建

一、简介
Pinpoint is an open source APM (Application Performance Management) tool for large-scale distributed systems written in Java.

Pinpoint 是一个用java编写的，针对大型分布式系统的开源应用性能管理工具。
github : https://github.com/naver/pinpoint

本次所用的环境为伪分布式，分布式的请参考网上的hadoop、hbase环境搭建。
二、hadoop环境搭建
1、修改hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/java-7-oracle
2、修改core-site.xml

<property>    <name>fs.defaultFS</name>    <value>hdfs://192.168.0.1:9000</value></property>

3、修改hdfs-site.xml

<property>    <name>dfs.replication</name>    <value>1</value></property>

4、修改mapred-site.xml

<property>    <name>mapreduce.framework.name</name>    <value>yarn</value></property>

5、修改yarn-site.xml

<property>    <name>yarn.nodemanager.aux-services</name>    <value>mapreduce_shuffle</value></property>

6、进入hadoop的bin目录执行
hdfs namenode -format 过程中出现的yes/no选择yes
7、启动hadoop
7.1、执行start-dfs.sh
7.2、执行start-yarn.sh
完成后如果没有错，利用jps命令查看，应该有以下几个进程。
28170 ResourceManager
25279 DataNode
25591 SecondaryNameNode
19826 Jps
24995 NameNode
28349 NodeManager
三、hbase 搭建
1、修改hbase-env.sh
export JAVA_HOME=/usr/lib/jvm/java-7-oracle
2、修改hbase-site.xml

<property> <name>hbase.cluster.distributed</name> <value>true</value></property><property> <name>hbase.rootdir</name> <value>hdfs://192.168.0.1:9000/hbase</value></property><property> <name>dfs.replication</name> <value>1</value></property><property>  <name>zookeeper.znode.parent</name> <value>/hbase</value>  </property><property> <name>hbase.zookeeper.quorum</name> <value>192.168.0.1</value></property>

3、启动hbase
进入到hbase得bin目录，执行start-hbase.sh
启动完成后利用jps查看hbase的进程，其中hbase的目录和hadoop的进程如下：
28170 ResourceManager
6313 HMaster
6241 HQuorumPeer
25279 DataNode
25591 SecondaryNameNode
19826 Jps
24995 NameNode
6444 HRegionServer
28349 NodeManager
四、在web container中部署pinpoint-collector 和 pinpoint-web，本此所用为tomcat。
4.1 部署pinpoint-collector
4.1.1 修改pinpoint-collector/WEB-INF/classes/hbase.properties 中得以下两个参数
hbase.client.host=192.168.0.1
hbase.client.port=2181
4.1.2 修改pinpoint-collector/WEB-INF/classes/pinpoint-collector.properties中与ip相关的参数
collector.tcpListenIp=192.168.0.1
collector.udpStatListenIp=192.168.0.1
collector.udpSpanListenIp=192.168.0.1
这里只修改了ip，如果这里修改了端口，那么在pinpoint-agent中也需要修改对应的端口。
4.2 部署pinpoint-web，注意这个一定要部署在webapps中得ROOT目录下，否则，最后前台的显示会有问题。
4.2.1、修改hbase.properties
hbase.client.host=192.168.0.1
hbase.client.port=2181
启动tomcat，即pinpoint收集器开始工作。
五、部署pinpoint-agent 这个东西其实就是追踪你应用的调用链的代理，所以它是和你的应用部署在一起的。
5.1 修改pinpoint-agent/pinpoint.config
profiler.collector.ip=192.168.0.1 如果你的collect中的端口有改动，那么这里对一个的端口也要做修改，如果采用默认设置的话就只用改ip即可
5.2 添加代理JVM参数
如果你的应用也是部署在tomcat底下的，那么只需要在tomcat/bin中得catalina.sh中添加以下参数
CATALINA_OPTS=”CATALINAOPTS−javaagent:/home/maxam0128/pinpoint−agent/pinpoint−bootstrap−1.1.1.jar”CATALINAOPTS=”CATALINA_OPTS -Dpinpoint.agentId=20151028”
CATALINA_OPTS=”$CATALINA_OPTS -Dpinpoint.applicationName=test”
注：/home/maxam0128/pinpoint-agent/pinpoint-bootstrap-1.1.1.jar 这个即为你的pinpoint-agent目录下的文件
启动 应用tomcat，agent会将追踪的数据发送给collector，collector会将收集的数据存入hbase，访问pinpoint-web即可看到调用链信息。
下面几张图为我所部署的pinpoint调用图：