系统并行化设计的一次思考
来源:互联网 发布:用户行为分析python 编辑:程序博客网 时间:2024/06/13 02:10
前几天一朋友托我做一个小功能,因为工作量不大,而且这种功能我之前做过,所以就答应了。我先大概交代一下业务场景:朋友需要一些数据做数据挖掘的测试数据,然后他跟我说了一些网站的数据他比较感兴趣,让我写个小程序获取这些数据。下面我谈谈我在完成这个小功能上面的一些思考和实践:
第一阶段:完成功能:
先琢磨网站URL的组成规则,把自己的查询条件跟网站URL的参数对应上。然后写一个main方法,使用java里面的URL对象请求到数据。
第二阶段:使用多线程提高性能:
一个线程循环请求网络资源,然后再解析获取到的数据效率比较低。最先想到的办法就是使用多线程同时去请求。
第三阶段:根据功能不同解耦
仔细分析这个业务,其实主要分成两部分:网络请求、CPU解析。但是在以上的解决方案中,每个线程都承担了两种不同的职责,其主要缺点我觉得有如下几种:
1、因为网络请求和数据解析耦合,不便于扩展其中任何一个功能。
2、因为这两个业务需要的硬件资源不同,分开处理便于高效实用硬件资源。
分析了利弊之后,下面是我的整体思路:
因为网络请求主要消耗IO,所以这里可以适当多增加一些生产者。对于消费者,为了避免频繁的线程切换,这里把消费者数量设置跟物理主机CPU数据相同便可。
经过这么一番思考优化,对于1000条数据量性能提升了20多倍。在这个实践过程中,思考的过程每一步都让我兴奋。其实这个过程就跟平时大家干活一样,就拿卸货来说吧。有人得从车上把货物卸下来,有人就得及时把卸下来的货物运到目的地。
0 0
- 系统并行化设计的一次思考
- 异步并行批处理框架设计的一些思考
- 略论并行处理系统的日志设计
- 记一次支付系统的设计体验
- 对权限系统设计的再思考
- 对系统架构设计的思考
- 关于交通灯管理系统设计的思考:
- 关于系统异常设计的再思考
- 关于系统异常设计的再思考
- 12306铁路购票系统设计的思考
- 关于电磁隐身系统设计的思考
- 关于系统设计灵活性的思考
- 关于系统权限设计的思考
- 关于系统异常设计的再思考
- 系统设计典型问题的思考
- SAP系统设计的思考---开发环境
- 系统架构设计的些许思考
- 追踪(trace)系统框架设计的思考
- 阿里暑期实习电面经历
- memcached数据同步与保存
- 2017国家卫生计生委主任等谈“十三五”开局之年卫生计生改革发展
- Java 多线程:synchronized 关键字用法(修饰类,方法,静态方法,代码块)
- 输入一个奇数n,打印出一个n*n的矩阵,每个数字是从1到n*n的整数,要使每一行,每一列的数字之和都相等
- 系统并行化设计的一次思考
- 【Objective-C Runtime】类和对象的数据结构和消息传递机制
- 记一次SSH中文乱码解决方案
- 51Nod-算法马拉松23-B-谷歌的恐龙(数学期望)
- 程序设计模式(二)创建型模式
- SSH框架搭建电商系统之密码找回
- Java的synchronized关键字:同步机制总结
- 总结
- VirtualBox fedora系统安装增强工具