STORM入门之（集成HDFS）

总体

Storm集成hdfs需要做前期工作

1.hadoop单机版安装

2.自己写hdfs demo 查看是否写入成功

首先让我们来安装hadoop 

版本：hadoop-2.6.5.tar

jdk：1.7

Hadoop部分

（1）hadoop配置文件修改

core-site.xml

<configuration> <property>             <name>hadoop.tmp.dir</name>             <value>file:/soc/hadoop/tmp</value>             <description>Abase for other temporary directories.</description>        </property>             <property>             <name>fs.defaultFS</name>             <value>hdfs://10.176.63.105:9000</value>        </property></configuration>

hdfs-site.xml

<configuration>        <property>             <name>dfs.replication</name>             <value>1</value>        </property>        <property>             <name>dfs.namenode.name.dir</name>             <value>file:/soc/hadoop/tmp/dfs/name</value>        </property>        <property>             <name>dfs.datanode.data.dir</name>             <value>file:/soc/hadoop/tmp/dfs/data</value>        </property><property><name>dfs.permissions.enabled</name>             <value>false</value></property></configuration>

（2）hadoop用户免密码操作：http://blog.csdn.net/yl3395017/article/details/78496979

（3）hadoop-native-64-2.6.0.tar增加解压后的文件放入到hadoop-2.6.5/lib

（4）如果在windows平台调用centos平台的hadoop ，需要在system32下加入hadoop2.6(x64)V0.2.zip中的hadoop.dll 否则会报错

（5）别忘记修改目录权限

（6）启动namenode datanode secondnamenode  脚本在hadoop-2.6.5/bin 或者是/sbin下

./start-dfs.sh

./stop-dfs.sh

（7）jps查看是否启动 namenode datanode secondnamenode 如果报错 需要查看hadoop日志

STROM部分

bolt构建

    private static HdfsBolt HdfsConfig(){        // 输出字段分隔符        RecordFormat format = new DelimitedRecordFormat().withFieldDelimiter("|");        // 每1000个tuple同步到HDFS一次        SyncPolicy syncPolicy = new CountSyncPolicy(1000);        // 每个写出文件的大小为100MB        FileRotationPolicy rotationPolicy = new FileSizeRotationPolicy(100.0f, FileSizeRotationPolicy.Units.MB);        // 设置输出目录        FileNameFormat fileNameFormat = new DefaultFileNameFormat().withPath("/soc/hadoop/tmp/dfs/data");        // 执行HDFS地址        HdfsBolt hdfsBolt = new HdfsBolt()                .withFsUrl("hdfs://10.176.63.105:9000")                .withFileNameFormat(fileNameFormat)                .withRecordFormat(format)                .withRotationPolicy(rotationPolicy)                .withSyncPolicy(syncPolicy);        return  hdfsBolt;    }

Toplogy构建方式

builder.setBolt("Hdfs", HdfsConfig())

查询hdfs javademo

    public static void ReadFile() throws Exception {        String uri = "hdfs://10.176.63.105:9000/soc/hadoop/tmp/dfs/data/Hdfs-1-0-1510634654752.txt";        Configuration conf = new Configuration();        FileSystem fs = FileSystem. get(URI.create (uri), conf);        InputStream in = null;        try {        in = fs.open( new Path(uri));        IOUtils.copyBytes(in, System.out, 4096, false);        } finally {        IOUtils.closeStream(in);        }     }

具体的hadoop详情可以在  http://localhost:50070 查看

注意 localhost改为你自己的hadoop服务器

结果

启动storm入库生成hdfs文件成功

通过demo查询 hdfs 成功