RHadoop搭建
来源:互联网 发布:淘宝不实名能买东西吗 编辑:程序博客网 时间:2024/06/05 08:04
1) RHadoop安装
下载RHadoop相关的2个程序包:
https://github.com/RevolutionAnalytics/RHadoop/wiki/Downloads
rmr-3.3.1
rhdfs-1.0.8
安装依赖库:
安装上面的两个库之前,我们需要先安装这两个库的依赖库。
首先是rJava,由于我们已经配置好JDK1.8的环境,运行R CMD javareconf命令,R的程序从系统变量中会读取Java配置。然后打开R程序,通过install.packages的方式,安装rJava。
然后,我们还要安装其他的几个依赖库,reshape2,Rcpp,iterators,itertools,digest,RJSONIO,functional,通过install.packages都直接安装。
命令行执行
[Command005]:
R CMD javareconf
[Command006]:
R
启动R程序
[Command007]:
install.packages(“rJava”)
[Command008]:
install.packages(“reshape2”)
[Command009]:
install.packages(“Rcpp”)
[Command010]:
install.packages(“iterators”)
[Command011]:
install.packages(“itertools”)
[Command012]:
install.packages(“digest”)
[Command013]:
install.packages(“RJSONIO”)
[Command014]:
install.packages(“functional”)
[Command015]:
install.packages(“caTools”)
配置rhdfs库:
hadoop-streaming-<version>.jar下载地址:
http://www.java2s.com/Code/Jar/h/Downloadhadoopstreaming210betajar.htm
然后在hadoop目录下建contrib文件夹,并在它文件夹下建立streaming文件夹,最后把hadoop-streaming-<version>.jar放在/contrib/streaming/
文件夹下。
例如我用的路径:
/home/hyxy/project/hadoop-2.7.3/contrib/streaming/hadoop-streaming-2.1.0-beta.jar
把HADOOP_CMD和HADOOP_STREAMING设置到环境变量
[Command016]:
vi ~/.bashrc
exportHADOOP_CMD=/home/hyxy/project/hadoop-2.7.3/bin/hadoop
exportHADOOP_STREAMING=/home/hyxy/project/hadoop-2.7.3/contrib/streaming/ hadoop-streaming-2.1.0-beta.jar
[Command017]:
source ~/.bashrc
修改/etc/Hadoop/yarn-site.xml
[Code001]:
<property>
<name>yarn.scheduler.maximum-allocation-mb </name>
<value>9216</value>
</property>
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>4000</value>
</property>
<property>
<name>yarn.nodemanager.vmem-pmem-ratio</name>
<value>4.1</value>
</property>
安装rmr库和rhdfs库:
[Command 018]:
R CMD INSTALL rmr2_3.3.1.tar.gz
[Command018]:
R CMD INSTALL rhdfs_1.0.8.tar.gz- RHadoop搭建
- RHadoop搭建(HDFS+MapReduce)
- RHadoop搭建(HBase)
- 搭建RHadoop环境
- RHadoop环境搭建
- Rhadoop集群搭建
- rhadoop
- RHADOOP
- rhadoop
- RHadoop
- RHadoop实践系列之一:Hadoop环境搭建
- RHadoop实践系列之一:Hadoop环境搭建
- RHadoop安装
- rhadoop安装
- RHadoop安装
- run rhadoop
- 安装RHadoop
- Rhadoop实战:协同过滤
- Git使用学习2:Git 工作区、暂存区和版本库
- Bootstrap(三十九)
- windows,linux 实战渗透 主机常见端口漏洞
- Using MVVM Light with your Xamarin Apps.pdf 2017 英文原版 免费下载
- 20171106_chr_downInterceptor 自定义拦截器实现下载前登陆拦截
- RHadoop搭建
- 十进制数转换为2进制、十进制数转换为8进制、十进制数转换为16进制
- STM32之SPI通信
- E
- BMX2WAV 软件汉化及部分参数说明
- mac安装python3.6
- 229. Majority Element II
- 过滤代码中的中文字符(C)
- Poj Tree Grafting 解题报告 (左儿子右兄弟)