storm-hbase集成:win7下用eclipse开发ubuntu上的storm-hbase程序

来源:互联网 发布:手机数据还可以找回吗 编辑:程序博客网 时间:2024/05/17 07:58

平时任务实在比较忙,只能先记录简单步骤,后续再写详细说明。

win7下eclipse中开发统一局域网内hbase程序简单操作步骤

win7下管理统一局域网内的集群

1.3台ubuntu服务器作为实验机器,一台win7作为管理机器,网线都在同一个交换机上。
2.3台主机关闭防火墙,并开通ssh服务。
3.在win7上安装xshell 用来进行命令操作3台主机。安装winscp来进行文件上传等操作。

ubuntu和win7安装配置

一、运行平台

hbase服务器端:Ubuntu 14.04 64位;Hadoop2.8.1;HBASE1.3.1;JAVA 1.8;
hbase客服端:windows64位;JAVA1.8;eclipse客户端 ;

二、linux服务器端环境配置

1、 安装java 1.8软件(略)

1)下载java软件
2)安装java 8
3)验证安装的java版本
java –version #执行后会输出java版本信息

3、 安装配置Hadoop

1)下载
2)安装和配置安装参考

3、 安装配置HBASE

1)下载hbase-1.3.1
2)解压
3)配置hbase分布式安装参考
到此,hbase服务器端的配置已完成。

三、windows客服端配置

1、下载安装java 1.8并且配置好环境变量。
2、下载安装eclipse,最好为最新版。
3、下载hbase-1.1.3-bin.tat.gz并解压。
4、客服端java程序设置
1)找到运行hbase程序所需要的jar包,这些文件都在hbase解压后的lib文件夹里面
2)将hbase文件下conf文件下的hbase-site.xml文件拷贝一份,放入为其单独建一个文件夹中。
3)打开eclipse软件,新建工程,在工程中导入外部依赖包(运行hbase所需的jar包),将单独放有hbase-site.xml文件的文件夹也导入java build path à Libraries中。
这里写图片描述

导入包

这里写图片描述

4)将hadoop和hbase下的配置文件复制到项目下自己建立的config文件里,并且导入。
这里写图片描述

这里写图片描述
5)Windows下hosts文件
在win7下C:\Windows\System32\drivers\etc中找到hosts文件,添加集群的hostname解析。其中,前半部分表示IP地址,后半部分表示机器名字,根据实际情况进行修改。
6)测试代码:首先通过hbase shell建立表和列族结构,然后运行程序,注意程序中的表名要和自己建立的表名一致。
这里写图片描述

在hbase shell中可以看到,程序计算结果已经写入。
这里写图片描述