spark 学习笔记1

本人在虚拟机上搞的时候，没遇到过但是在实体机上整的时候，遇到了，jps的时候，每一台上都出现了worker的信息，master也出现了，但是不幸的是，8080页面显示：worker为0，页面上出现与预知情况不相符的时，第一件事就是关闭防火墙！！！解决方案：

1 确定SSH 好使，不要偷懒，一台一台的试试。

2 确定防火墙全部关闭不要偷懒，一个一个的都关闭了！！！ master worker都给关闭了！命令：service iptables stop

3 没有了！

1 首先你的文件配置spark worker memeory 的值多少 不要超过这个值

2 不要一下开两个终端，远程的也不行，最大开一个。若不知道自己开了几个应用，可以打开http://自己的主节点:8080 看看，若是两个，关闭其中一个，怎么关？直接关闭终端就ok

3 spark太吃能存，本人经验，虚拟机至少1g， spark worker memeory 的值最好比1g小一点，在提交程序时，指定executor-memory时,最好比spark worker memeory 设置的值更加要小一些。

4　一定弄清楚你的文件配置的参数，它在后面会影响你的程序各种运行和提交。