在ec2上部署spark-部署成功后无法启动

好不容易脚本运行成功，也能连接上去看到spark，然而，并没有ui可以显示，也没有启动。

鼓捣半天，首先，屌丝程序员用的1g内存的免费套餐，spark配置了master和worker都1g的虚拟机，其实我并不确定这个会不会导致启动失败，因为我启动失败的原因报错是因为连了鬼畜的机器。好吧，刚用aws，完全不知道那鬼畜的域名（或者是ip别名，还没有弄清那个主机名称是什么，就先叫域名吧）对应的机器是采用什么机制，反正那个域名不对。行吧，手动ssh过去，果然不通，那么问题来了，是不是那个脚本安装了spark但是配置不对呢。查看spark的配置文件，的确master和slaves都是写的连接不上的那些主机，于是尝试改了一下。。。很幸运，终于成功了。

看到了ui，看到了worker节点，表示很欣慰~

然而，在我尝试运行sparkshell后，发现一只连到其他鬼畜的域名上去，妹的，明明在conf文件夹下的spark-env.sh下把那些鬼畜的域名都改了，把变量名都打出来，发现，spark-env.sh中的export MASTER=${MASTER-`cat /root/spark-ec2/cluster-url`}将master变量又修改成了鬼畜域名，好吧，我手动跑到该文件下强制改成了我的master域名，虽然到目前为止所有的解决问题方案都很暴力，也不知道自己埋了多少坑，但是，总算可以用了。

然而，提交代码的时候再次出现那个鬼畜的域名，已经濒临奔溃。。。有时间得研究一下那些通信机制，但是目前，我先暴力将所有的鬼畜域名都改为我的master吧，使用命令为

sed -i "s/ec2-52-91-230-226.compute-1.amazonaws.com/ec2-54-146-181-205.compute-1.amazonaws.com/g" `grep -F 'ec2-52-91-230-226.compute-1.amazonaws.com' -rl ./`

然后，指向了我的master，但是依然不行，已经有种重搭建的冲动了！！

然后，我重新搭建了，发现没有问题==一切正常，我擦擦擦擦，我是奔溃的。。。有时间回来看看自己是不是哪一步搞错了，还是我一开始就错了。

先记录着，反正是用来学习的，以后有坑了还有个查的地方。