Pydoop在AWS的Ubuntu上Segmentation fault 错误处理
来源:互联网 发布:居外网软件下载 编辑:程序博客网 时间:2024/05/17 22:15
问题描述
平台用Python开发,使用pydoop对HDFS文件进行操作,当迁移到AWS时,出现Segmentation Fault,
通过排查,确定问题是因为调用了Pydoop对hdfs的初始化过程中出现的问题。
相关代码如下:
from pydoop.hdfs import fs;print fs.hdfs()
通过gdb调试,错误信息如下:
问题原因
通过查阅资料,初步判断是由于堆栈溢出导致的异常,通过查看native_core_hdfs源码,发现该代码会从LIBHDFS_OPTS读取JVM配置信息,但是环境中缺少该变量的定义.通过添加该变量,问题得到解决
解决方案
1,在环境中增加下列变量的配置
export LIBHDFS_OPTS="-server -Xss2m -Xms2000m -Xmx2000m -Xmn800m -XX:PermSize=64m -XX:MaxPermSize=256m"
2,因为Spark中也有相关操作,所以还需要在spark/conf/spark-env.sh中增加该变量的配置:
export LIBHDFS_OPTS="-server -Xss2m -Xms2000m -Xmx2000m -Xmn800m -XX:PermSize=64m -XX:MaxPermSize=256m"
阅读全文
0 0
- Pydoop在AWS的Ubuntu上Segmentation fault 错误处理
- Linux C++程序Segmentation fault错误的处理方法。
- 关于linux的段错误(Segmentation fault)
- 关于Segmentation fault (core dumped)的错误
- 段错误的调试方法 Segmentation fault
- gcc编译出现segmentation fault的错误
- segmentation fault错误分析
- 段错误(segmentation fault)
- 关于Segmentation fault错误
- 段错误(segmentation fault)
- segmentation fault错误分析
- 调试Segmentation Fault错误
- linux下(ubuntu),段错误产生的原因Segmentation Fault
- Ubuntu--(8)段错误Segmentation fault (core dumped)
- C++中Segmentation fault(Core Dump)错误处理
- 在浙大ACM网站上做题出现Segmentation Fault错误
- segmentation fault的调试
- 总结段错误(Segmentation fault)
- 数据结构实验之图论六:村村通公路——最小生成树Kruskal算法
- VS2013中快捷键的使用
- 在Jmeter中使用Selenium WebDriver完成测试
- android 调用系统拍照、选择本地照片
- Java复习总结
- Pydoop在AWS的Ubuntu上Segmentation fault 错误处理
- 暑期集训test4
- linux的目录结构
- eclipse Package Explorer working sets
- 调用G2O,编译的时候提示:error C1083: 无法打开包括文件: “sys/time.h”
- NOR Flash,NAND Flash和SDRAM-嵌入式存储器
- idea开发环境
- 【BFS】hdu 1242 Rescue
- ImageView引用资源文件引起错误