python爬虫学习第二十四天

今天的内容：MySQL里的“六度空间游戏”
这个内容今天可能做不完（今天有点累）

“维基百科六度分隔”问题，其目标是通过一些词条链接寻找两个 词条间的联系（即找出一条链接路径，只要点击链接就可以从一个维基词条到另一个维基 词条） 。 为了解决这个问题，我们不仅需要建立网络爬虫采集网页（之前我们已经做过） ，还要把之前采集的信息以某种形式存储起来，以便后续进行数据分析。

前面介绍过的自增的 id 字段、时间戳以及多份数据表在这里都要用到。为了确定最合理 的信息存储方式，你需要先想想游戏规则。一个链接可以轻易地把页面 A 连接到页面 B。 同样也可以轻易地把页面 B 连接到页面 A，不过这可能是另一条链接。我们可以这样识 别一个链接，即“页面 A 存在一个链接，可以连接到页面 B” 。也就是 INSERT INTO links (fromPageId, toPageId) VALUES (A, B);（其中， “A”和“B”分别表示页面的 ID 号

因此需要设计一个带有两张数据表的数据库来分别存储页面和链接，两张表都带有创建时 间和独立的 ID 号

创建页表
CREATE TABLE wikipediaPages(
id INT NOT NULL AUTO_INCREMENT,
url VARCHAR(255) NOT NULL,
created TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP,
PRIMARY KEY(id)
)

创建链接表
CREATE TABLE wikipediaLinks(
id INT NOT NULL,
fromPageId INT NULL,
toPageId INT NULL,
created TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP,
PRIMARY KEY(id)
)

练习 获取并存取贝肯数不超过 6 的词条
insertIfNotExist()函数用来向pages表中存放数据，存放前检查数据是否存在，存储完成后还返回了存储记录的id，设计很巧妙
insertLinks()啊还能输用来向links表中存放数据，一样存放前要检查
getLinks()函数作用是获取当前页面链接并建立路径信息

from urllib.request import urlopenfrom bs4 import BeautifulSoupimport reimport pymysqlconn = pymysql.connect(user='root',password='Gaoji1996',charset='utf8')cur = conn.cursor()cur.execute("USE scraping")pages = set()def insertIfNotExist(url):    cur.execute("SELECT* FROM wikipediaPages WHERE url = %s",(url))    if cur.rowcount ==0:        cur.execute("INSERT INTO wikipediaPages(url) VALUES(%s)",(url))        conn.commit()        return cur.lastrowid    else:        return cur.fetchone()[0]    passdef insertLinks(fromPageId,toPageId):    cur.execute("SELECT* FROM wikipediaLinks WHERE fromPageId=%s AND toPageId=%s",(fromPageId,toPageId))    if cur.rowcount ==0:        cur.execute("INSERT INTO wikipediaLinks(fromPageId,toPageId) VALUES(%s,%s)",(int(fromPageId),int(toPageId)))        conn.commit()    passdef getLinks(pageUrl,times):    global pages    if times>4:        return    html = urlopen("http://en.wikipedia.org"+pageUrl)    bsObj = BeautifulSoup(html)    currentPageId = insertIfNotExist(pageUrl)    for link in bsObj.findAll("a",href=re.compile("^(/wiki/)((?!:).)*$")):        print(link.attrs["href"])        insertLinks(currentPageId,insertIfNotExist(link.attrs["href"]))        if link.attrs["href"] not in pages:            newLink = link.attrs["href"]            pages.add(newLink)            getLinks(newLink,times+1)    passgetLinks("/wiki/Kevin_Bacon",0)cur.close()conn.close()

今天到这里啦，打卡~