spark和zeppelin实践一:安装hadoop篇
来源:互联网 发布:pcb开料软件 编辑:程序博客网 时间:2024/05/29 18:39
一、安装JDK
1.7 JDK下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
下载后安装
设置JDK环境变量
二、安装Hadoop
1、DNS绑定
vi /etc/hosts,增加一行内容,如下(这里我的Master节点IP设置的为192.168.80.100):
2、SSH的免密码登录
3、安装Hadoop
#4、配置
1) 设置Hadoop环境变量
2)修改hadoop-env.sh
3)修改/etc/hosts4)修改core-site.xml
5)修改配置hdfs-site.xml6)修改mapred-site.xml7)修改yarn-site.xml
5、启动
1)格式化NameNode
cd $HADOOP_HOME/bin./hdfs namenode -format
#2)启动hdfs
/home/game/soft/hadoop/sbin/start-dfs.sh
jps查看是否启动成功
16704 DataNode
16545 NameNode
16925 SecondaryNameNode
hdfs dfs -ls hdfs://192.168.80.100:19001/
#3) 启动yarn
/home/game/hadoop-2.7.3/sbin/start-yarn.sh
[game@IM-SJ01-Server18 sbin]$ jps
17427 NodeManager
19668 ResourceManager
yarn node -list
yarn node -status
#4)页面显示
192.168.80.100:10070
192.168.80.100:18088
#6、上传测试
hadoop fs -mkdir -p hdfs://192.168.80.100:19001/test/
hadoop fs -copyFromLocal ./test.txt hdfs://192.168.80.100:19001/test/
hadoop fs -ls hdfs://192.168.80.100:19001/
hadoop fs -put /opt/program/userall20140828 hdfs://localhost:9000/tmp/tvbox/
0 0
- spark和zeppelin实践一:安装hadoop篇
- spark和zeppelin实践二:安装spark和zeppelin
- Hadoop+Spark+Scala+R+PostgreSQL+Zeppelin安装过程-SparkR安装配置和Zeppelin安装配置
- Hadoop+Spark+Scala+R+PostgreSQL+Zeppelin安装过程-SparkR安装配置和Zeppelin安装配置
- Hadoop+Spark+Scala+R+PostgreSQL+Zeppelin安装过程-Spark的安装配置测试和Scala的安装配置
- Hadoop+Spark+Scala+R+PostgreSQL+Zeppelin安装过程-Spark的安装配置测试和Scala的安装配置yuan
- Hadoop+Spark+Scala+R+PostgreSQL+Zeppelin 安装过程-环境准备
- Hadoop+Spark+Scala+R+PostgreSQL+Zeppelin 安装过程-环境准备
- Hadoop+Spark+Scala+R+PostgreSQL+Zeppelin安装过程-Hadoop安装及测试
- Hadoop+Spark+Scala+R+PostgreSQL+Zeppelin安装过程-Hadoop安装及测试
- spark standalone模式 zeppelin安装
- zeppelin安装-- Spark交互式平台
- zeppelin 安装使用,测试spark,spark sql
- zeppelin 下载和安装
- spark 2.0.1 和zeppelin 0.6.2 编译及与hadoop yarn关联
- 安装zeppelin安装spark ha集群
- Spark & Zeppelin
- Zeppelin&Spark Zeppelin开发spark
- 1020. Tree Traversals (25)
- Android手机系统开发中的AP和BP是什么
- 单一职责原则(Single Responsibility Principle ,SRP)
- task-DelayQueue-订单超时实例(task任务,DelayQueue阻塞队列)
- C语言实验——求阶乘(循环结构) (sdut oj)
- spark和zeppelin实践一:安装hadoop篇
- Android 注解
- AI 互联网就要到来
- Angular入门04: 指令
- Listener、Filter、Servlet 初始化
- spring boot data rest 3
- Failed to register in JMX: javax.naming.NamingException: Could not load resource factory class
- 用Python写一个简单的爬虫功能
- Handler实现Adapter和Activity之间的通信