Spark2 文件处理和jar包执行

上传数据文件

mkdir -p data/ml/

hadoop fs -mkdir -p /datafile/wangxiao/

hadoop fs -ls /

hadoop fs -put /home/wangxiao/data/ml/Affairs.txt /datafile/wangxiao/

hadoop fs -ls -R /datafile

hdfs://ns1/datafile/wangxiao/Affairs.txt

 

执行jar包  

　　mkdir -p jar/

　　$SPARK_HOME/bin/spark-submit \  

　　--class "ML2" \  

　　--master local[2] \  

　　/home/wangxiao/jar/test.jar

 

下载数据文件到本地

hadoop fs -get  /datafile/wangxiao/Affairs.txt  /home/wangxiao/data/ml/

 

删除HDFS上的文件

hadoop fs -rm -r -f /datafile/wangxiao/data*