H2O学习笔记(一)—— H2O概述
来源:互联网 发布:手机网游推荐 知乎 编辑:程序博客网 时间:2024/04/29 16:11
H2O框架简介
H2O是开源的,分布式的,基于内存的,可扩展的机器学习和预测分析框架,适合在企业环境中构建大规模机器学习模型。
H2O核心代码使用Java编写,数据和模型通过分布式 Key/Value 存储在各个集群节点的内存中。H2O的算法使用Map/Reduce框架实现,并使用了Java Fork/Join框架来实现多线程。
H2O目前支持的机器学习算法有DRF,GBM,GLM,GLRM,Kmeans,NB,PCA,Deep Learning,所以目前来看支持的模型还不是很多。
H2O软件栈:
架构图最上层表示与H2O通信的Rest API客户端,它们之间通过socket连接。最下层表示可以运行JVM 进程的基础架构。中间灰色部分是用户的一些算法。
H2O读取数据
1.R用户调用importFile()函数
2.R客户端告诉集群要读数据
3.以分布式H2O Frame的格式从HDFS返回数据
CPU管理
job:创建一个任务就是一个job
MRTask: H2O基于内存的Map/Reduce任务,与hadoop Map/Reduce任务稍有不同
Fork/Join:task执行框架
Memory管理
Fluid Vector Frame:暴露给用户的基本数据单元
Distributed K/V store:在集群中通过此种方式存储
Non-blocking Hash Map:在K/V实现中使用
0 0
- H2O学习笔记(一)—— H2O概述
- H2O学习笔记(二)——H2O Flow
- H2O学习笔记(二)——H2O Flow
- H2O学习笔记(三)—— Deep Learning
- H2O学习笔记(四)——Deep Learning 例子
- H2O学习笔记(五)——Deep Autoencoders
- H2O学习笔记(六)—— Steam
- H2O学习笔记(七)——Deep Water
- H2O学习笔记(八)——Sparkling Water
- H2O学习笔记(四)——Deep Learning 例子
- H2O学习笔记(六)—— Steam
- H2O学习笔记(七)——Deep Water
- H2O学习笔记(八)——Sparkling Water
- R语言︱H2o深度学习的一些R语言实践——H2o包
- Spark与深度学习框架——H2O、deeplearning4j、SparkNet
- 深度学习平台H2O简介
- 使用H2O进行集成学习
- h2o.ai源码解析(1)—项目简介
- Understanding Java Memory Model
- Menu菜单,MenuBar菜单栏,MenuItem菜单项
- 操作系统精髓与设计原理--内存(2)
- Codeforces 731C Socks By Assassin
- nginx.conf设置了什么
- H2O学习笔记(一)—— H2O概述
- Android Wear开发初始
- 提高AS编译速度
- 如何整治那些敢偷用你Wi-Fi的人
- java动态代理学习笔记
- 一锤定音:高通(Qualcomm)370亿美元收购NXP,成为全球第一大汽车芯片供应商
- 4 Values whose Sum is 0(二分法)
- C语言详解 - 枚举类型
- Android之事件传递机制