rhadoop linear regression 问题
来源:互联网 发布:北大软禁季羡林 知乎 编辑:程序博客网 时间:2024/06/05 02:19
library(rhdfs)
library(rmr2)
hdfs.init()
hdfs.delete("/user/output/lm.output")
map <- function(k,lines) {
lines<-unlist(strsplit(lines,'#'))
k<-lines[1]
x<-unlist(strsplit(lines[2],','))
y<-unlist(strsplit(lines[3],','))
x<-as.numeric(x)
y<-as.numeric(y)
lm <- lm(y ~ x)
return( keyval(k, lm$coefficients[[2]]) )
}
reduce <- function(key, lmres) {
# keyval(key, lmres)
return lmres
}
wordcount <- function (input, output=NULL) {
mapreduce(input=input, output=output, input.format="text",output.format = "text", map=map, reduce=reduce)
}
hdfs.root <- '/user'
hdfs.data <- file.path(hdfs.root, 'input/lm.input')
hdfs.out <- file.path(hdfs.root, 'output/lm.output')
out <- wordcount(hdfs.data, hdfs.out)
输入文件为:/user/input/lm.input
1#1,2,3,4#2,4,6,8
2#1,2,3,4#3,6,9,12
3#1,2,3,4#4,8,12,16
4#1,2,3,4#1.5,3,4.5,6
但是输出却只有2个结果:
1 2
4 1.5
0 0
- rhadoop linear regression 问题
- Linear Regression问题整理
- RHadoop实现logistic-regression
- Linear regression
- linear regression
- linear regression
- linear regression
- Linear Regression
- linear regression
- linear regression
- linear regression
- linear regression
- Linear Regression
- Linear Regression
- Linear Regression
- linear-regression
- Linear regression
- Linear Regression
- c语言中使用assert 提高调试效率
- Binary Tree Level Order Traversal
- 黑马程序员_java银行业务调度系统
- ZOJ 3499 Median
- 让Mac也能拥有apt-get类似的功能——Brew
- rhadoop linear regression 问题
- ZOJ 3479 Chinese Zodiac
- 线段树 区间更新
- 数据库三大范式最简单的解释
- 九度题目1073:杨辉三角形
- ZOJ 3486 Judge Internal Error
- 黑马程序员----------面向对象之封装继承多态
- 滑雪
- STL部分