Spark教程-构建Spark集群-配置Hadoop单机模式并运行Wordcount(1)
来源:互联网 发布:ysl口红数据 编辑:程序博客网 时间:2024/04/28 17:14
- 安装ssh
Hadoop是采用ssh进行通信的,此时我们要设置密码为空,即不需要密码登陆,这样免去每次通信时都输入秘密,安装如下:
输入“Y”进行安装并等待自动安装完成。
安装ssh完成后启动服务
以下命令验证服务是否正常启动:
可以看到ssh正常启动;
设置免密码登录,生成私钥和公钥:
在/root/.ssh中生成两个文件:id_rsa和id_rsa.pub,id_rsa为私钥,id_rsa.pub为公钥,我们将公钥id_rsa.pub追加到 authorized_keys中,因为authorized_keys用于保存所有允许以当前用户身份登录到ssh客户端用户的公钥内容:
看看现在能否免密码登录ssh:
输入“yes”继续登录:
表明我们成功登录;
使用以下命令可以退出localhost
再次登录进localhost的时候就不需要密码了,如下图所示:
0 0
- Spark教程-构建Spark集群-配置Hadoop单机模式并运行Wordcount(1)
- Spark教程-构建Spark集群-配置Hadoop单机模式并运行Wordcount(2)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群-配置Hadoop伪分布模式并运行Wordcount示例(1)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群-配置Hadoop-伪分布模式并运行Wordcount(2)
- spark学习1——配置hadoop 单机模式并运行WordCount实例(ubuntu14.04 & hadoop 2.6.0)
- 配置Hadoop单机模式并运行Wordcount
- IDEA【基本配置1】配置SBT 和 scala 并在spark环境中进行wordcount测试(spark集群运行模式)
- 安装Spark Standalone模式/Hadoop yarn模式并运行Wordcount
- Idea中编写并运行Spark集群(WordCount)
- spark 单机模式配置
- Spark API(1) 构建hadoop 集群
- Spark集群运行模式
- spark集群上运行helloworld程序--WordCount
- 下载Spark并在单机模式下运行它
- Hadoop单机模式,并执行WordCount
- Spark安装并运行WordCount示例
- Spark wordcount开发并提交到单机(伪分布式)运行
- spark 本地调试运行WordCount(java版local模式)
- Android EditText加入图片混编显示
- zoj 1136(同余+bfs)
- 设置环境变量永久生效和临时生效 export PS1(另外中有对source命令的解释)
- shell对文件状态的编程(比如判断文件或目录是否存在)
- linux nohup
- Spark教程-构建Spark集群-配置Hadoop单机模式并运行Wordcount(1)
- 一段代码的疑问(1)——unsigned与signed
- linux 设备驱动概述
- cocos2dx使用iconv 多国语言要用到开源字符转换
- Apache Thrift - 可伸缩的跨语言服务开发框架
- mybatis 映射一对多查询返回集合
- 归并排序(merge sort)
- cocos2dx 3.1.1官方demo阅读-ActionsTest【基础动作】
- POJ-3469- 一道标准的最小割问题