使用sublimeText开发python，使用lxml库部分要点

来源：互联网发布：声场测试软件下载编辑：程序博客网时间：2024/05/16 07:14

1、SublimeText中在控制台输出unicode字符串时会有问题

如：

import syss = u'中国'print s

会报错：

Traceback (most recent call last):
File "E:\PHPnow\htdocs\kidsview\build\test.py", line 7, in <module>
print s
UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)

这是因为ST3在输出编码未定义情况下，会默认使用系统的管道输出编码。而Windows下默认是ansii，而ST3的控制台是需要UTF8才能正确显示，所以报错。

可以通过下面代码查看当前管道输出编码

import sysprint  sys.stdout.encoding

可以看到输出为 None

解决方案：
在python的Python.sublime-build资源文件里，添加一行"env": {"PYTHONIOENCODING": "utf8"},

如下

{    "shell_cmd": "python -u \"$file\"",    "file_regex": "^[ ]*File \"(...*?)\", line ([0-9]*)",    "selector": "source.python",    "env": {"PYTHONIOENCODING": "utf8"},    "variants":    [        {            "name": "Syntax Check",            "shell_cmd": "python -m py_compile \"${file}\"",        }    ]}

可以在用上面的命令输出，看到当前的编码已经是utf8了

二、使用lxml解析网页

部分关键代码

<span style="font-weight: normal;">        req = urllib2.Request(url)        f = urllib2.urlopen(req)        data = f.read()        encoding = f.info().get("Content-Encoding")        if encoding in ('gzip', 'x-gzip', 'deflate'):            if encoding == "deflate":                data = StringIO.StringIO(zlib.decompress(data))            else:                data = gzip.GzipFile('', 'rb', 9, StringIO(data))        cl = clean.Cleaner()        data = cl.clean_html(data.decode("utf-8"))        parser = etree.HTMLParser()        tree = etree.parse(StringIO(data), parser)        nodelist = tree.xpath("//div[@class='xxx]/a")</span>

注意事项：

1、lxml里面的大部分的类，像parser,cleaner都要求传递的是unicode字符串，

2、网页获取下来的数据，一般是utf8或者gbk，需要先做解码。有的网站是压缩后的数据，需要先进行解压缩

0 0