知道创宇笔试题
来源:互联网 发布:vscode js智能提示 编辑:程序博客网 时间:2024/04/29 12:04
以前学过python,最近有一朋友想跳槽,看了这个公司的,笔试题是这个,要求在投简历之前做好,随简历一起发过去,不限时间,感兴趣的同志们做一做啊。详细要求如下:
使用python编写一个网站爬虫程序,支持参数如下:
spider.py -u url -d deep -f logfile -l loglevel(1-5)
--testself -thread number --dbfile filepath --key=”HTML5”
参数说明:
-u 指定爬虫开始地址
-d 指定爬虫深度
--thread 指定线程池大小,多线程爬取页面,可选参数,默认10
--dbfile 存放结果数据到指定的数据库(sqlite)文件中
--key 页面内的关键词,获取满足该关键词的网页,可选参数,默认为所有页面
-l 日志记录文件记录详细程度,数字越大记录越详细,可选参数,默认spider.log
--testself 程序自测,可选参数
功能描述:
1、指定网站爬取指定深度的页面,将包含指定关键词的页面内容存放到sqlite3数据库文件中
2、程序每隔10秒在屏幕上打印进度信息
3、支持线程池机制,并发爬取网页
4、代码需要详尽的注释,自己需要深刻理解该程序所涉及到的各类知识点
5、需要自己实现线程池
提示1:使用re urllib/urllib2 beautifulsoaup/lxm2 threading optparse Queue sqlite3 logger testdoc等模块
提示2:注意是“线程池”而不仅仅是多线程
提示3:爬去sina.com.cn两级深度要能正常结束
建议程序可分阶段,逐步完成编写,例如:
版本1:Spider1.py -u url -d deep
版本2:Spider3.py -u url -d deep -f logfile -l loglevel(1-5) --testself
版本3:Spider3.py -u url -d deep -f logfile -l loglevel(1-5) --testself -thread number
版本4:剩下所有功能
以上题目事实上也是知道创宇技术岗位内部题目,入职第一周会再次考本题目,完不成将面临淘汰。
你可以通过看书、上网查资料、请教高人等任何方法完成,时间不限。
- 知道创宇笔试题
- 腾讯C++笔试题(不知道是哪年的)
- 大唐电信JAVA笔试题(不知道是哪一年滴)
- 笔试后才知道,自己太浮躁
- 【笔试&面试】列举你所知道的
- 华宇软件笔试题
- 知道创宇爬虫题--代码持续更新中
- 知道创宇爬虫题--代码持续更新中
- 中创软件笔试题
- 一道迅雷笔试题引发的..写给不知道c/c++序列点的人(转)
- 去蓝港在线面试Unity3D的笔试题。难吗?知道答案的在评论里写出来分享 ... ... ...
- 去蓝港在线面试Unity3D的笔试题。难吗?知道答案的在评论里写出来分享
- 今天的笔试,不知道数据库的ACID是神马。。
- 知道笔试结果,很伤心,却是意料之中
- 笔试题
- 笔试题
- 笔试题
- 笔试题
- Android SMS abort system default notify
- android 启动画面实现Frame动画
- C语言面试题
- 叠字
- Android Animation学习笔记
- 知道创宇笔试题
- eclipse多项目共享和同步java代码
- Wince 6.0 中Error: failed PB timebomb check解决方法!
- python自然语言处理第一章1.1
- 基于Web的实时通讯方案
- TP3.0调试模式总结
- CP1252 and ISO8859-1
- XElement 增删改查
- grep过滤日志技巧