scrapy指定item输出项顺序到csv
来源:互联网 发布:golang mgo.v2 编辑:程序博客网 时间:2024/06/06 12:05
scrapy指定输出项顺序到csv
scrapy -o csv格式输出的时候,发现字段/item/Field的顺序不是在items.py或者在scrapy中指定的顺序,如果后续有继续读取csv文件的时候,因为不是按指定顺序排列,很可能字段会搞错。 本文描述如何在输出csv的时候指定顺序字段。
- 在scrapy的spiders同层目录,新建my_project_csv_item_exporter.py文件内容如下(文件名可改,目录定死)
1234567891011
from scrapy.conf import settingsfrom scrapy.contrib.exporter import CsvItemExporterclass MyProjectCsvItemExporter(CsvItemExporter):def __init__(self, *args, **kwargs):delimiter = settings.get('CSV_DELIMITER', ',')kwargs['delimiter'] = delimiterfields_to_export = settings.get('FIELDS_TO_EXPORT', [])if fields_to_export :kwargs['fields_to_export'] = fields_to_exportsuper(MyProjectCsvItemExporter, self).__init__(*args, **kwargs)
- 在同层目录,settings.py文件新增如下内容(指定item,field顺序)
123456789
FEED_EXPORTERS = {'csv': 'my_project.my_project_csv_item_exporter.MyProjectCsvItemExporter',} #这里假设你的project名字为my_projectFIELDS_TO_EXPORT = ['id','name','email','address']
- 在同层目录,settings.py文件指定分隔符
1
CSV_DELIMITER = '\t'
全部设定完后,执行scrapy crawl spider -o spider.csv的时候,字段就按顺序来了。
原文链接:http://www.aisun.org/2017/10/python+scrapy+item/
阅读全文
0 0
- scrapy指定item输出项顺序到csv
- Scrapy输出CSV指定顺序的列表
- 线程按指定顺序输出字符到数组
- 下载输出到CSV文件
- csv 按指定列顺序写入
- Listview滚动到指定ITEM
- scrapy输出中文字符到文件
- tensorflow 输出权重 到csv或txt
- psql 输出结果导入到csv
- scrapy 将item存到mysql中(pymysql)
- log4j 指定类输出到指定位置
- log4j 指定类输出到指定位置
- log4j输出到指定文件
- makefile输出到指定目录
- 异常输出到指定文件
- Android ListView 滑动到指定item 定位 指定位置
- mysql实现按照指定顺序输出
- 值按照指定顺序输出来
- php作业01
- NYSQL 修改密码 方法
- 斐讯K2 刷华硕固件
- 【luoguP1337】[JSOI2004]平衡点
- ActiveX 相关总结(持续更新中...)
- scrapy指定item输出项顺序到csv
- POJ 1279 Art Gallery [半平面交]
- Oracle笔记三:Scott用户表结构
- 编译原理(二) NFA的确定化及DFA的最小化
- "Whoops, looks like something went wrong"如何解决?
- 编译原理 (预处理>编译>汇编>链接)(转)
- 将图片存储到mysql数据库
- C++中的this
- 显卡里的cuda真正做到并行运算的机制和线程个数,主要关于SM、warp等概念。