用docker搭建hadoop 总结

最近想用docker 搭建个hadoop环境玩玩。
最后找到个人家做好的，不过还是学习到了很多。
github：https://github.com/mua-haha/hadoop-cluster-docker
亲测能用，只不过 当时用的2.7，现在最新的是2.9
这里主要说下总结：

docker 总结

docker：-v 可以挂载宿主机目录
docker 批量操作：
批量stop正在运行的容器：docker stop $(docker ps -q)
批量删除容器：docker container rm $(docker container ls -a -q)
其他 照着这个来就行
创建 docker 网络，用于容器间通讯：

sudo docker network create –driver=bridge hadoop
启动时 加上参数 –net 指定 网络

hadoop总结

hadoop 安装使用启动啥的 参照 官网。
这里说下实际开发
1、在eclipse 中与hdfs交互
在eclipse 中与hdfs 交互，本来想着很简单的，网上随便找个例子，谁知竟然把文件新建到了本地··
这就尴尬了。什么鬼··搞了很久，百思不得七姐。对了，最开始是无法连接，因为 hadoop是在容器中的，启动时没有指定 9000 端口开放，所以才无法连接。后来是一直本地。知道今天早上又打开eclipse看，忽然想到看看源码。于是看到了这段代码

如果不指定fs.default.name 的话，默认是file:/// ，是本地的··· 这也可以··所以改成这··okay

对了，也要注意下 maven中hadoop的版本与 环境中的hadoop版本保持一致
一会儿去官网查查有没有解释啥的····