hadoop2.x整合手册【4】---mahout0.9安装部署与测试
来源:互联网 发布:手提电脑屏幕录像软件 编辑:程序博客网 时间:2024/05/16 13:52
基本过程和0.8版本的安装http://blog.csdn.net/xqj198404/article/details/9619265的一致
需要在bin目录下的mahout文件的头部添加如下环境变量
HADOOP_CONF_DIR="hadoop的配置目录需要以/结尾"HADOOP_HOME="hadoop的安装目录需要以/结尾"MAHOUT_HEAPSIZE=2000 mahout可以调用的内存量,建议设的比较大
另外修改hadoop配置目录下的mapred-site.xml的文件,添加如下参数
<name>mapred.child.java.opts</name><value>-Xmx1024m</value></property>如果是算法计算密集型的,建议超过1024的进行设置,而hadoop默认的200m的设置是不够用mahout使用的
另外修改hadoop配置目录下的hadoop-env.sh的文件,将export HADOOP_HEAPSIZE的注释取消
export HADOOP_HEAPSIZE=2000
设置hadoop的可用内存为2000M
如果仍然在运行mahout中出现java heap space的错误,可以将以上的两项设置的参数依据实际硬件条件设置更大
mahout的验证方法与0.8版本方法相同
0 0
- hadoop2.x整合手册【4】---mahout0.9安装部署与测试
- hadoop2.x整合手册【1】--hadoop2.x安装与配置
- hadoop2.x整合手册【2】---sqoop1.9.x安装与部署
- mahout0.9 hadoop2.x 编译
- Mahout0.9安装(Hadoop2.6.0)
- Mahout0.9的安装与测试
- Mahout0.9 ——hadoop2.2.0编译与安装
- apche mahout0.8安装与测试
- hadoop2.2+mahout0.9实战
- hadoop2.2+mahout0.9实战
- hadoop2.2+mahout0.9问题
- mahout0.9 测试
- hadoop2.4安装部署——亲手测试通过
- hadoop2.x 伪分布安装部署
- Hadoop2.x分布式安装以及HA部署
- hadoop2.x 伪分布安装部署
- Hadoop2.x与Zookeeper安装
- hadoop2.5.2 mahout0.10.1 测试文本分类器
- [QTP]vbscript通过JMail组件发送电子邮件
- 磁盘SMART信息详解
- //tools/emulator" java.io.IOException: error=2, No such file or directory"
- pgsql依赖性追踪
- ARC实战中的具体应用
- hadoop2.x整合手册【4】---mahout0.9安装部署与测试
- 深入理解Java Class文件格式(七)
- 屏幕高度,宽度
- pgsql数据操作
- 经验总结09--jquery处理JSON
- Java集合框架官方教程(6):算法
- Rs.recordcount=-1的解决办法
- linux下安装python拓展包MySQLdb
- 设计模式之——代理模式