虚拟机安装spark2.2+hadoop2.7.3
来源:互联网 发布:unity3d 手游 案例 编辑:程序博客网 时间:2024/05/16 15:55
安装VisualBox和操作系统
- 官网下载VisualBox安装文件.并安装。
- ubuntu官网下载最新版本得ubuntu安装文件。
- visualBox新建64位ubuntu,并启动虚拟机。
- 跟着提示选择ubuntu安装文件,就可以很顺利的装好系统了。
一般个人电脑内存在8g以下,所以如果装3台虚拟机,每台最多分1.5g内存了,多了机器也跑不动,所以按照网上的很多文档,装好出现了nodemanager启动失败的问题,这边文章主要也就是想记录下这个问题的解决过程。
ubuntu基础配置
- ubuntu环境搭建
- 由于本机网络环境可能经常变,在默认网卡设置静态地址会导致无法上网,因此单机虚拟机安装的话可以使用第二网卡,比如vitrual box中可以现在全局网络中新建一个仅主机(Host-only)网络,然后第二网卡设置成这种网络,然后再改成静态地址。 然后hadoop使用静态地址,这样就不怕网络环境变化了。
# 安装完操作系统后添加新网卡,如果没有启动,就这样sudo ifconfig {eth1}(网卡名) upsudo dhclient# 改为静态地址sudo vim /etc/network/interfacesauto enp0s8iface enp0s8 inet staticaddress 192.168.56.101netmask 255.255.255.0gateway 192.168.56.100#然后重新启动网络服务sudo /etc/init.d/networking restart
- 修改3台虚拟机的hosts配置,先修改master机器
vim /etc/hosts127.0.0.1 localhost192.168.56.101 master-hadoop192.168.56.102 slave1-hadoop192.168.56.103 slave2-hadoop# 然后赋值到另外两台机器scp /etc/hosts root@slave1-hadoop:/etc/hostsscp /etc/hosts root@slave2-hadoop:/etc/hosts
hadoop安装
- hadoop安装配置全流程
- 上面的配置少了yarn-site.xml的配置,会造成nodemanager启动失败,原因还是按默认配置虚拟机内存不够,按照这个配置yarn集群配置
- 检查是否正常运行
(2)浏览器打开http://192.168.0.182:8088/
(3)浏览器打开http://192.168.0.182:50070/ - 测试运行mapreduce
./hadoop jar ../share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar pi 4 1000
spark安装
- 直接下载官网预编译版本官网预编译版本
- 修改配置文件spark-env.sh
sudo echo "export SPARK_HOME=/usr/local/spark" >> /etc/profilecd $SPARK_HOME/confcp spark-env.sh.template spark-env.shecho "export JAVA_HOME=/usr/local/lib/java/jdk" >> spark-env.shecho "export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop" >> spark-env.sh
- 修改spark-defaults.conf中的内存设置
cd $SPARK_HOME/confcp spark-defaults.conf.template spark-defaults.confecho "spark.driver.memory 512m" >> spark-defaults.confecho "spark.executor.memory 512m" >> spark-defaults.conf
- 启动saprk
cd $SPARK_HOME/sbin./start-all.sh
- 测试运行spark superPI, spark master默认端口是7077
spark-submit --driver-memory 512m --executor-memory 512m --executor-cores 1 --class org.apache.spark.examples.SparkPi --master spark://master-hadoop:7077 /usr/local/spark/examples/jars/spark-examples*.jar 10
可能遇到的坑
- nodemanager没有启动起来,造成运行hadoop官方例子和spark再yarn运行时都再job accept就卡住不动了。是因为虚拟机内存不够,默认yarn的nodemanager设置的8g内存才能启动,而且不能小雨1g,否则也无法启动。
阅读全文
0 0
- 虚拟机安装spark2.2+hadoop2.7.3
- 【Hadoop】Spark2.0.2在Hadoop2.7.3上的安装
- hadoop2.7.3下spark2.1.0安装_yarn作业提交
- 虚拟机安装hadoop2.7.3集群
- 在VM虚拟机上搭建Hadoop2.7.3+Spark2.1.0完全分布式集群
- 【Spark】Spark2.0.2在Hadoop2.7.3上的安装 二(集群安装)
- # hadoop2.7.3-spark2.0.2集群部署(备忘)
- Hadoop2.7.3+Spark2.1.0 完全分布式环境
- win10安装linux虚拟机+hadoop2.7.3
- Linux安装Spark集群(CentOS7+Spark2.1.1+Hadoop2.8.0)
- Linux安装Spark集群(CentOS7+Spark2.1.1+Hadoop2.8.0)
- 安装配置Hadoop2.7.5+Spark2.2.1伪分布式环境
- spark学习1--centOS7.2下基于hadoop2.7.3的spark2.0集群环境搭建
- CentOS7下 Hadoop2.7.3+Spark2.1.0 集群环境搭建(1NN+2DN)
- Hadoop2.7.3+Spark2.1.0 完全分布式环境 搭建全过程
- Hadoop2.7.3+Spark2.1.0完全分布式集群搭建过程
- Hadoop2.7.3+Spark2.1.0完全分布式集群搭建过程
- Hadoop2.7.3和Spark2.1.0集群详细搭建教程
- JS中的JSON及其操作
- 公共基础知识之软件工程基础
- HDU 2032 杨辉三角
- c++继承经典例子
- MFC自定义消息
- 虚拟机安装spark2.2+hadoop2.7.3
- getStringForUser原理和线程安全
- 对于多进程的复习
- 分页实现方式
- 4、ARP地址解析协议
- 插入排序算法
- PLSQL Developer 配置,在
- java中常见异常(1)
- 技术探讨