pyspark notebook中文显示问题的解决
来源:互联网 发布:技术入股 股份 知乎 编辑:程序博客网 时间:2024/06/05 08:24
上一篇文章在HDP2.5平台上使用Anaconda搭建了notebook环境,使用pyspark进行spark分析。在读取文本文件时发现存在无法显示中文的问题。尝试各种encoding方案未成功。
将python升级到python3,运行时提示python版本与executor的python版本不兼容:
Py4JJavaError: An error occurred while calling z:org.apache.spark.api.python.PythonRDD.runJob.: org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 1.0 failed 1 times, most recent failure: Lost task 0.0 in stage 1.0 (TID 1, localhost): org.apache.spark.api.python.PythonException: Traceback (most recent call last): File "/usr/hdp/2.5.3.0-37/spark/python/lib/pyspark.zip/pyspark/worker.py", line 64, in main ("%d.%d" % sys.version_info[:2], version))Exception: Python in worker has different version 2.7 than that in driver 3.5, PySpark cannot run with different minor versions
按照这篇文章的介绍http://blog.csdn.net/huobanjishijian/article/details/52538078,在每个spark集群节点上添加环境变量:
export PYSPARK_PYTHON=/root/anaconda3/bin/python
重启所有节点,重启大数据集群服务,中文文件能够正常读取和显示。
0 0
- pyspark notebook中文显示问题的解决
- pyspark notebook的使用
- 在notebook中使用pyspark遇到的问题
- pyspark调用jupyter notebook
- JCreator中文显示问题的解决
- struts中中文显示问题的解决。。
- 解决VirgorFtp的中文显示问题
- symbian中文字符串显示问题的解决
- microwindows 中文显示问题的解决
- symbian中文字符串显示问题的解决
- 解决Toad的中文显示乱码问题
- 解决TextMate中文显示的问题
- 解决servlet/jsp的中文显示问题
- 解决Xshell显示中文乱码的问题
- 解决jsp中文显示“问号”的问题
- 解决jsp中文显示“问号”的问题
- Eclipse中解决中文显示的问题
- 解决 HTMLTestRunner 中文显示乱码的问题
- Android的进程与生命周期
- [MTK录制GPS Debug Log]对于通常遇到的GPS问题,需要录制什么log,以及如何录制。
- centos6.8配置nginx
- 不要小瞧了sprintf函数
- Metricbeat 的使用
- pyspark notebook中文显示问题的解决
- android-Test
- windows 开机启动hexo server
- androoid framework学习之 - Telephony 流程
- JDK并发包---(3)重入锁ReentrantLock:锁申请等待限时
- 如何使用Revolution Slider
- CustomDialog(没有白色背景的弹窗)
- 二级联动
- surface shader相关参数,命令