虚拟机ODPS初体验
来源:互联网 发布:免费下载涂涂乐软件 编辑:程序博客网 时间:2024/06/05 16:25
大数据竞赛的第二阶段需要通过远程桌面的方式连接阿里提供的虚拟机, 所有操作都是在远程主机上进行, 在搞清楚文件回传方式之前真是各种麻烦(写博客都没有办法贴代码)。
用了两个上午初步上手, 希望接下来进展顺利, 不要第一个月就惨遭淘汰。
首先在cmd 通过mstsc 链接远程桌面, 远程桌面上只有一个我的电脑图标。 C盘目录下的TOOLS文件夹中有eclipse ,python,xlab 和odps客户端等工具。
这一阶段是把结果保存为odps中的一个指定名称的表, 所以直接在ODPS中 用sql操作训练集并生成结果表 比较简单(操作上), 但是仅仅用sql 很难实现比较复杂的模型,因为我sql是在太渣 。 xlab 中支持sql的批量提交。 登入时需要根据ODPS的配置文件中的信息来填写账户, 这样进入工作空间后就能看见训练集。 并且这个训练集是可以导出的,这也为通过其他方式生成结果表提供可能。
除了sql外, 也可以通过mr编程来实现分类。 但是要把分类模型写成符合mr的规范还是需要好好想想, 而且提供的框架里 mapper reducer 是分开的两个类文件,要通过某种方式实现全局变量的访问。
根据实例实现了Wordcount 程序, 但是在ide的目录下看不到运行的结果文件, 要到项目空间中自己去找。
这个mr框架貌似输入输出都是表类型, 直接打包后通过在命令行中调用的方式应该就可以生成结果了。 使用mr来实现这一阶段应该是初步方向。
下一次淘汰在半个月后, 祝好运。
0 0
- 虚拟机ODPS初体验
- 天池新人实战赛----阿里移动推荐算法大赛(御膳房、DTPAI----ODPS初体验)
- 零成本体验 ODPS 大数据分析
- XShell初体验—连接VMware虚拟机
- 初体验——使用虚拟机安装mac os
- ODPS Graph
- ODPS简介
- ODPS UploadSample
- ODPS DownloadSample
- ODPS FileUploadSample
- ODPS MapReduce
- R+ODPS
- odps命令
- odps是什么?
- qemu虚拟机的安装体验
- Ubuntu linux虚拟机安装体验
- VM虚拟机鼠标体验差
- 虚拟机体验之QEMU篇
- cocos2d-x移动淡出
- codeforces#244_div2_C Checkposts 强连通分量,Tarjan
- JBPM学习(六):详解流程图
- 今天开始,好好写博客,技术和生活
- POJ-3984-迷宫问题
- 虚拟机ODPS初体验
- Asp.NET MVC3 使用 SignalR 实现推送(接上)
- 如何在优酷评论中添加网页和视频时间点的超链接?
- 经典测试设计之方法脑图
- 最大公约数与最小公倍数
- nyoj_ones
- Linux——内核模块编程
- extract audio track/stream from mp4
- MySQL 错误1418 的原因分析及解决方法