”微软开放技术、聚合数据、阿里 JStorm、开源社 – 大数据实时分析编程黑客松“圆满收官

发布于 2014-12-23 作者 刘 天栋

为了更好地支持本土的优质开源软件及开源社区，以及推动国内开源生态体系的持续发展，微软开放技术携手聚合数据、阿里 JStorm 团队以及开源社联合举办的大数据实时分析编程黑客松"，在12月17日圆满收官。

经过一整天充实而刺激的技术分享和编程之后，参加此次黑客松的队伍，认识了许多战友和高手，在微软公有云（Windows Azure）上实际地动手开发，优化，部署了大数据实时分析的应用或项目，最后精彩地呈现出了不同行业的各种实用场景。

 

微软开放技术的大数据技术专家商之狄，首先为大家介绍了微软开放技术为了这次黑客松所用到的虚拟仿真开发及部署环境：开放黑客松平台（Open Hackathon），微软公有云的优越资源，以及为大家准备好的6种不同场景的数据集。聚合数据的市场总监李少娜为大家介绍了聚合数据开发者支持计划。紧接着由阿里JStorm技术团队封仲淹（纪君祥）花了将近2小时深入浅出，无私无我地为大家介绍了JStorm与Storm的性能调优。

     

 

努力编程，中午午餐休息后，再奋战！

     

 

实时云监控和应用跟踪监控与告警系统

参与方：京东金融集团

数据源：京东金融集团

主要编程语言：Java

说明：京东金融集团运营着众多金融交易系统，每个系统对整体的正常运行都至关重要，因此，京东金融需要在第一时间收到异常通知。本系统用于收集各交易系统的全部实时日志和所有应用程序跟踪信息。系统通过 Storm/jStorm 监控输入信息，根据预定义的告警规则确定紧急级别，并通过电子邮件或手机短信实时发送告警。系统最初是针对 Storm 开发的，在后来的黑客松中，所有系统被移植到 jStorm 中。结果为，可清晰显示错误（鉴于数据保密性，活动中使用的是模拟数据），实时处理错误信息，并通过电子邮件或手机短信发送至预配置的接收者。

     

 

奇虎360

应用一：天猫日价格变动图表

数据源：聚合数据

主要编程语言：Python

说明：他们对中国双十一期间一周的天猫网店交易数据进行了研究，使用时间戳抽取交易数据，计算所有售出商品的平均价格，按时间（分钟）进行分组，然后标绘数据点。清晰的图像显示中午时段均价最高。

应用二：火车票余票监控

数据源：聚合数据

主要编程语言：Python

说明："聚合数据"维护着中国所有运营中火车的实时余票信息。这个项目利用该实时数据为购票者提供警告、报警及其它票况信息。

     

 

支付服务的实时监控和风险控制模型

参与方：ReaPal（融宝）

数据源：内部支付交易数据

主要编程语言：Java

说明：ReaPal（融宝）是一家中型支付服务提供商，每天处理大量 B2B 支付服务，他们需要监控内部实时操作和风险控制模型运算。风险控制部分包括在线和离线风险模型，结果规则需进行 jStorm 运算。所以，每项交易都根据规则进行实时检查。此系统是针对 jStorm 开发的，使用历史数据进行结果测试。

 

苏州市公共自行车租赁实时数据可视化

参与方：聚合数据

数据源：政府和其它多来源

主要编程语言：Python

说明：苏州市政府启动了一项全市范围的自行车租赁项目，在市区内设置了 1000 多个租赁点，实时发布各租赁点的存车量信息。通过 Web 发布的数据（数字）只是图像。该项目将实时数据输入 jStorm 进行图像处理，通过 OCR 技术解析数据，再利用来自其他来源的地点坐标数据源在地图上定位，最终在苏州地图上实时采用热图进行可视化。结果可以清晰显示自行车随时间的移动情况，并在地图中呈现自行车的使用状况。详实的数据为优化租赁点、存车量以及公共交通提供了有价值的参考。

     

 

享受了任性地开发，搜刮了大量技术干货的参加团队，在活动结束时的问卷调查中，提出了许多有用的反馈，同时也一致表示，以后如有类似活动，还会继续继续参加，令联合主办的所有单位感到振奋，下次一定会办得更赞。

如果您想了解更多。请关注精彩及时的微软开放技术官方网站 https://cn.msopentech.com/，以及微信公众号：微软开放技术（或扫描下列QR-Code)。

-      VM Depot上的 JStorm镜像以及安装指南

我们为参加本次黑客松的开发者团队提供所需要的所有软件环境（包含JStorm等)。如果您希望自行体验，欢迎用力点击VM Depot上的JStorm镜像及安装指南。

-      申请 Windows Azure 1元试用账号

我们为参加本次黑客松的开发者团队提供所需云资源。如果您希望进一步了解微软公有云Windows Azure，欢迎用力点击申请1元试用账号。