Hadoop MR 实现视频拉流框架

Hadoop 集群的搭建，相信大家在网上能够找到很多相关的资料，而我也是参照了好长一段的时间的资料才搞定Hadoop集群环境的安装。在这里贴几个网址，记录一下吧。

http://book.51cto.com/art/201110/298591.htm 

然后配合自己下载的一些资料和《Hadoop权威指南》，陆嘉恒的《Hadoop实战》这2本比较权威的书而安装的。

后来，公司引进了Intel的Hadoop版本，是安装更加的简单方便了。据说，功能也因此而变得更加的强大了。

下面来说一下自己在进行Hadoop MR框架下实现实时视频拉取和存储的基本思路吧。

大致的方向是  ：

1）由C编写底层视频拉取代码，编译成动态库，其中，包括了对视频服务器的协商，连接与收取等接口。

2）由JAVA中的JNA方法调用C库，首先在纯粹的JAVA程序中能够实现视频的拉取和存储。

3）然后，将其中的文件存储API切换成Hadoop HDFS Java API 进行文件的读写。其中涉及到HDFS的文件操作，可以查看资料得到。

4）对已经能够实现拉流存储的Java类，在MR Java代码中调用，实现多路拉流与存储。

这是现在已经完成的基本思路。哪里有不当之处，希望能够得到大牛们的指点。

PS：这种存储方式是在MR执行中间对文件进行了HDFS存储操作，曾在某次讨论中，有人指出不太可控。故在寻找另外的解决方案。

 有一中想法是，在MR中调用拉流，直接有MAP输出，不进行REDUCE程序，将文件存储于HDFS文件系统中。目前还未测试，目测可以实现。希望有关大牛们可以指点其中InputFormat 和 OutputFormat 中，相对于输入输出流操作的相关知识和操作。（由于本人是C++程序工作者，对于Java不是太明确。。。谢谢）