【Spark】-- 交互式 shell

---

Spark 提供了基于 Scala、python 和 R 语言的 3 种交互式 Shell

使用的前提是系统中要装有对应的语言

---

Spark Scala Shell

• 使用命令 spark-shell可启动
  
  

• 统计 /etc/passwd 的行数
  
  

scala> val lines = sc.textFile("/etc/passwd")scala> lines.count

• 退出： Ctrl+D 或者 exit()

---

Spark Python Shell

• 使用命令 pyspark可启动
  
  
  
  

• 统计 /etc/passwd 的行数

>>> lines = sc.textFile("/etc/passwd")>>> lines.count()24

• 退出 : Ctrl+D 或者 exit()

---

Spark R Shell

• 使用命令 sparkR可启动
  
  

• 统计 /etc/passwd 的行数
  
  

> lines <- SparkR:::textFile(sc,"/etc/passwd")> count(lines)[1] 24

• 退出：Ctrl+D 或者 q()

---