hadoop集群&docker 的一些坑

即使每次 stop-dfs.sh 也会出现 tmp 目录文件被删除的情况
tmp 目录不安全，Linux 每次重启，文件可能被删除

hregionserver 有时启动很慢，jps 多次后才看到进程

报错：

regionserver.HRegionServer: reportForDuty to master=localhost,16000,1442913779830 with port=16020, startcode=1442913776970
regionserver.HRegionServer: error telling master we are up
com.google.protobuf.ServiceException: java.net.ConnectException: Connection refused


# 主机名对应的 ip 地址必须是实际的 ip，不能是 127.0.0.1
vim /etc/hosts
将下面这句
127.0.0.1 localhost yourhost
改为：
127.0.0.1 localhost
192.168.1.1 yourhost


# 要确保使用 hostname，三者保持一致
sudo hostname nn1
# nn1
sudo vi /etc/hostname
# ip nn1
sudo vi /etc/hosts

主节点 10.0.3.242 换 ip
===================
将所有节点的 /etc/hosts 更换 ip，客户端 /etc/hosts 中的 ip 换掉，spark 配置文件中 master 的 ip 更换
总结，hadoop 依赖域名而非 ip，是有好处的，避免更换 ip，导致更改很多配置文件

hostname
===================
Hadoop 中，主机名不要包含下划线 “_”，但可有横线 “-”

hadoop 格式化 namenode 报错
===================
Re-format filesystem in Storage Directory /home/yuzx/data/hadoop/dfs/name ? (Y or N) Invalid input:


使用 docker exec 会无限提示，在终端中好着


解决方法：
docker exec nn1 hdfs namenode -format -force -nonInteractive

mysql data
===================
将 mysql 的数据挂在到 host 上，每次 build 的 image，mysql 的 uid 不同，导致数据的目录的 uid 不同，所以
构建时修改 mysql 用户的 uid


groupmod mysql -g 1201
usermod mysql -u 1201


apt-get -d install mysql-server


目前无解，因为 mysql 通过 apt-get 安装，mysql 组和 mysql 用户的 uid 和 gid 无法控制，所以，每次构建的镜像 uid 和 gid 可能不同


解决办法：主机的 yuzx 账号，yuzx 组 id = 1000
docker 中 mysql 的组 id 和 用户 id 都要为 1000