win10 掿建python spark开发环境.和安装hadoop环境

来源:互联网 发布:用友软件怎么建账 编辑:程序博客网 时间:2024/06/05 15:50

先说下困绕我的两个问题好了

 windows 下运行spark-shell 
始终不行,什么鬼



找到原因拉
在spark-class2.cmd 中
把这句话的环境改下就能跑了
我就想在python中愉快的调试spark程序拉
set LAUNCHER_OUTPUT=%Temp%\spark-class-launcher-output-%RANDOM%.txt
set LAUNCHER_OUTPUT=e:\tmp\spark-class-launcher-output-%RANDOM%.txt 

还有解决Exception:org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z 等一系列问题,不用改hadoop源码
只要版本对应的 winutils.exe,hadoop.dll 复制到 hadoop_home/bin中
hadoop.dll 复制到 windows/system32中即可哈。


阅读全文
0 0