爬虫初体验，解析网页Table

前言

闲来无事，学了点python，然后就开始想些点小爬虫，python这种语言喜欢轮子，来减少一些消耗，可是自己总是跨不过这个坎总觉得接受不了（总之就是有点菜），所以写来记录一下

爬取网站：http://www.cnyes.com/futures/basicmetal.aspx的table
工具：requests（用来请求，爬取网页），BeautifulSoup4（解析网页），pandas（数据处理）

程序

1、先将要使用得轮子导入：

import requestsfrom bs4 import BeautifulSoupfrom pandas import DataFrame

2、get_info()函数：

def get_info():    flag = list()    info = list()    url = "http://www.cnyes.com/futures/basicmetal.aspx"    r = requests.get(url)    #print(r.encoding)    soup = BeautifulSoup(r.text, 'html5lib')    for td in soup.select("tbody tr td"):        #print(td.text)        #因为爬下来最前面出现三个空字符串，清除        if len(td.text) != 0:            flag.append(td.text)        #如果list：flag有12个元素就清除        if len(flag) == 12:            #print(i)            #print(flag)            # df = DataFrame(flag)            # print(df)            info.append(flag[:])            del flag[:]    #将二维数组转化为DataFrame数据    df = DataFrame(info)    # print(df)    df.to_csv("df.csv")

问题分析

1、尝试获取某个网页使用requests.get()方法，会返回一个response对象, 通过r.text可以获取到网页，此外通过r.encoding获取网页的编码，这个是重点，因为编码 问题真的伤人，我所爬取的网页的编码为“utf-8”
2、

 soup = BeautifulSoup(r.text, 'html5lib')

html5lib是一种解析器，还有其他解析器详见BeautifulSoup文档
3、

for td in soup.select("tbody tr td"):        #print(td.text)        #因为爬下来最前面出现三个空字符串，清除        if len(td.text) != 0:            flag.append(td.text)        #如果list：flag有12个元素就清除        if len(flag) == 12:            #print(i)            #print(flag)            # df = DataFrame(flag)            # print(df)            info.append(flag[:])            del flag[:]

info.append(flag[:])这段代码是博主遇到的问题，刚刚开始写的是append(flag)，以为是将flag这个长度为12的list存入进去，却发现出来的结果info是错误的
类似下面问题：

>>> l = [1,2,3]>>> l2 = list()>>> for i in range(4):        print(l.append(4))        print(l2.append(l))NoneNoneNoneNoneNoneNoneNoneNone>>> for i in range(4):        l.append(4)        l2.append(l)>>> l2>>> [[1, 2, 3, 4, 4, 4, 4, 4, 4, 4, 4], [1, 2, 3, 4, 4, 4, 4, 4, 4, 4, 4], [1, 2, 3, 4, 4, 4, 4, 4, 4, 4, 4], [1, 2, 3, 4, 4, 4, 4, 4, 4, 4, 4], [1, 2, 3, 4, 4, 4, 4, 4, 4, 4, 4], [1, 2, 3, 4, 4, 4, 4, 4, 4, 4, 4], [1, 2, 3, 4, 4, 4, 4, 4, 4, 4, 4], [1, 2, 3, 4, 4, 4, 4, 4, 4, 4, 4]]

总结

记录一下过程，写这个程序功力不足，遇到了很多问题：编码，对for….in…循环的理解，以及list切片的理解，网页的解析，数据的处理