Husky简介及如何利用PyHusky进行数据分析计划
来源:互联网 发布:淘宝不给退款怎么投诉 编辑:程序博客网 时间:2024/05/16 06:24
介绍
Husky项目旨在建立一个更具有表达能力和更高效的分布式数据分析系统。
高效: 同等硬件资源下具有更优秀的性能
Husky设计并实现了一个高度优化的执行引擎,以求在有限计算资源之上取得更好的性能。
Husky的计算模型支持快速并高效地实现各类算法。如下图所示,经测试Husky在下面两种情况下计算时间都远远小于Spark或者Hadoop组合,可见Husky拥有超强的计算性能。
通用: 可于统一的平台上开发各类应用
Husky支持广泛的应用,其中包括MapReduce的ETL,文本数据挖掘,图数据分析,同步和异步的机器学习。
Husky具有良好的兼容性,支持连接不同的系统并能很好地与Hadoop生态系统共同协作。
简易: 学习曲线低并极易快速上手
Husky实现了各类简易的编程接口,有效地降低应用的开发复杂度,从而缩短开发周期。
Husky的Python和Scala前端支持现有的各类存储系统,并提供高级的编程接口,方便各类数据科学家们简单快速地使用Husky。
Husky以C++语言开发,其提供了友好并且高度优化的C++ APIs。利用这些APIs,你可以开发高效的分布式应用,包括机器学习,图分析等等。
另外,为了方便数据科学家使用极少的代码快速进行数据分析, 我们便有了能提供高级的Python前端的PyHusky。PyHusky在提供简易编程接口的同时,由C++的执行引擎保证高效的性能。要了解PyHusky,可以参考下面几点。
- 快速开始
- PyHusky 运算符
- 架构
- PyHusky编程接口使用功能及实例介绍
- 如何利用PyHusky提供的接口设计分布式爬虫框架实现批量的包括静态和动态网页的大数据集抓取。
- 如何利用PyHusky对爬取的大数据集进行快速的清理、整合和格式优化等。
- 如何利用PyHusky对大数据集进行高速计算并对结果进行可视化分析。
- 介绍几个不同领域的完整数据分析实例。
在这里将陆续推出博文对以上计划进行具体介绍,通过提供各步解决方案让你对数据分析全流程有个清晰的思路,同时也感受PyHusky在处理各类问题时的优秀性能。
3 0
- Husky简介及如何利用PyHusky进行数据分析计划
- Husky中文文档-PyHusky 架构
- Husky中文文档-PyHusky 运算符
- 如何进行大数据分析及处理?
- 如何进行大数据分析及处理?
- 如何进行大数据分析及处理?
- 如何进行大数据分析及处理?
- 翻译Husky文档-PyHusky的架构汉化版
- 利用Python对NBA SportUV数据进行可视化及分析
- Husky数据分析——全球航班信息的研究
- 利用Hive进行数据分析
- 利用Hive进行数据分析
- 如何利用数据日志进行数据还原
- Husky数据分析——关于最近房子在强力限购下的趋势分析
- 利用WireShark抓包进行数据分析
- 利用Python进行数据分析--时间序列
- 利用Python 的 Pandas进行数据分析
- 《利用python 进行数据分析》要点记录
- springboot入门
- Linux中TCP listen()的backlog参数详解
- Linux常用命令
- 是“再接再励”还是“再接再厉”?
- 电源并联均流--UC3907,UC3902
- Husky简介及如何利用PyHusky进行数据分析计划
- 开发自检测工具集合(持续更新)
- 文章标题
- Linux中TCP和UDP发送和接收缓冲区
- Hibernate中Configuration的作用
- 战胜拖延症
- 问题六十八:着色模型(shading model)(1)——反射模型(reflection model)(3.1)——辐射学(Radiometry)
- 导航跟随效果
- HAProxy1.4.6后端Keepalive配置