Ubuntu 下安装sparklyr 并连接远程spark集群

安装sparklyr

1.通过devtools包实现sparklyr包的安装：

install.packages("devtools")devtools::install_github("rstudio/sparklyr")

出现问题：安装不上，因为Ubuntu中需要安装一些包

$ sudo apt-get install libcurl4-openssl-dev libssl-dev 

2.在本地安装spark

library(sparklyr)spark_install(version = "2.1.0"，hadoop_version="2.7")

3.设置JAVA，SPRK，SPRK_VERSION环境变量

Sys.setenv(JAVA_HOME='/home/haoyu/jdk1.7')Sys.setenv(SPARK_HOME='/home/haoyu/spark/spark-2.1.0-bin-hadoop2.7')Sys.setenv(SPARK_VERSION='2.1.0')

4.连接本地spark

install.packages("dplyr")library(dplyr)sc <- spark_connect(master = "local")

5.连接远程spark

sc <- spark_connect(master="spark://192.168.20.172:7077")

注意：之前如果设置了环境变量的话，就直接使用以上语句就行，否则的话得在函数里添加环境变量的参数。
6.读取HDFS文件，并放进spark集群中

ccf_online_stage1_train <- spark_read_csv(          sc, name="online_trian",        path="hdfs://192.168.20.172:900/haoyu_data/O2O/ccf_online_stage1_train.csv",        charset="utf-8")