搜索引擎工作原理

搜索引擎工作原理： 爬行和抓取------>预处理------>排名

爬行和抓取:

1，是通过蛛蛛程序来实现的,蛛蛛主要是通过链接来抓取所有页面的.

所以要想让蛛蛛尽量的抓取页面，必须要吸引蛛蛛（网站优化）。

2，为了避免重复爬行和抓取网址，搜索引擎建立了一个地址库用来保存已经抓取的页面

地址库中的url 大多数是蛛蛛获取到的，当然也有一些是通过提交网址的

（不过这样可能没什么用因为蛛蛛不抓取的，说明权重比较低）

3，文件存储，每个url 都有对应的文件id,该文件用于保存抓取到的内容

预处理:

1,提取文字，(html格式标签，js 这些是没法用于排名的内容的)

2，中文分词，有两种方法一种是基于词典匹配的，另一种是基于统计的（一般两种都是结合着用的）

比如 ：高效减肥 ，词典匹配高效   减肥 都可以，统计匹配就 高效减肥

3，去停止词: 什么 的 了 地 啊哈  这些搜索引擎在索引页面的时候是会去掉的

4，消除噪声：那些无关紧要的内容（排名是不会使用噪声内容的）

5，去重：搜索引擎很不喜欢同样的内容出现在两个不同的网站上

6，索引：经过上面的步骤后，搜索引擎程序就可以提取关键词了，按照分词程序分好的词

把页面转换为一个关键词组成的集合，同时记录每个关键词在页面上的出现频率，密度等

排名:

1 指令处理：查询词完成分词后，搜索引擎的默认处理方式是在关键词之间 先使用“与”逻辑 后使用“或”。

比如用户输入“减肥方法” 程序分为”减肥“和“方法”和“减肥方法”，那么有包含这两种的就优先匹配，其次在匹配单个的

2  相关性计算

词频及密度，关键词的位置及形式（title h1 黑体等）关键词距离（减肥和方法不要写的太远了，距离越近搜索引擎会认为关系更大的）

http://cd.51tie.com/yiyuan/f13656477.shtmlhttp://blog.cnfol.com/nnbdfyy/article/1379556019-89397019.htmlhttp://cd.51tie.com/yiyuan/f13656497.shtmlhttp://cd.51tie.com/yiyuan/f13656513.shtmlhttp://cd.51tie.com/yiyuan/f13656520.shtmlhttp://cd.51tie.com/yiyuan/f13656537.shtmlhttp://blog.cnfol.com/nnbdfyy/article/1379556321-89397079.htmlhttp://blog.cnfol.com/nnbdfyy/article/1379556366-89397085.htmlhttp://bbs.cnfol.com/thread-11317088-1-1.htmlhttp://bbs.cnfol.com/thread-11317094-1-1.htmlhttp://bbs.cnfol.com/thread-11317104-1-1.htmlhttp://bbs.cnfol.com/thread-11317107-1-1.htmlhttp://j.renren.com/album/1309191013192679489http://j.renren.com/album/1309191013405711230http://j.renren.com/album/1309191013567555710http://j.renren.com/album/1309191015279260077http://www.haolaba.com/shenzhen/nanke/30989463.htmlhttp://www.haolaba.com/shenzhen/nanke/30989475.htmlhttp://www.haolaba.com/shenzhen/nanke/30989485.htmlhttp://www.haolaba.com/shenzhen/nanke/30989499.htmlhttp://www.haolaba.com/shenzhen/nanke/30989604.htmlhttp://kan.weibo.com/con/3624190276711872http://www.esunny.com/20589306/1261885.htmlhttp://www.bibitie.com/nanning/nanke/x141x14742791.htmlhttp://www.bibitie.com/nanning/nanke/x141x14742806.htmlhttp://www.bibitie.com/fuzhou/nanke/x141x14742820.htmlhttp://event.weibo.com/1991374http://event.weibo.com/1991394http://event.weibo.com/1991454http://bbs.e23.cn/thread-175788141-1-1.htmlhttp://bbs.e23.cn/thread-175788142-1-1.htmlhttp://bbs.e23.cn/thread-175788146-1-1.htmlhttp://t.163.com/event/info/eventId/-5235393159414361242http://t.163.com/event/info/eventId/7977029904062110099http://t.163.com/event/info/eventId/1903238210327015216http://qing.blog.sina.com.cn/3234489520/c0ca64b033004ap1.htmlhttp://qing.blog.sina.com.cn/3234489520/c0ca64b033004ap4.htmlhttp://qing.blog.sina.com.cn/3234489520/c0ca64b033004ap5.htmlhttp://17startup.com/startuplist/view/701852http://17startup.com/startuplist/view/701853http://17startup.com/startuplist/view/701854http://17startup.com/startuplist/view/701855http://17startup.com/startuplist/view/701856http://www.blanca.com.cn/blog-632832-30700.htmlhttp://www.blanca.com.cn/blog-632832-30701.htmlhttp://www.blanca.com.cn/blog-632832-30702.htmlhttp://www.blanca.com.cn/blog-632832-30703.htmlhttp://www.blanca.com.cn/blog-632832-30704.htmlhttp://home.51.com/96575844/diary/item/10042628.htmlhttp://home.51.com/96575844/diary/item/10042629.htmlhttp://home.51.com/96575844/diary/item/10042630.htmlhttp://www.laiwu.net/blog-479021-1516528.htmlhttp://www.laiwu.net/blog-479021-1516544.htmlhttp://www.laiwu.net/blog-479021-1516561.htmlhttp://www.laiwu.net/blog-479021-1516574.htmlhttp://my.opera.com/nnbdfyy1/blog/show.dml/99128592http://my.opera.com/nnbdfyy1/blog/2013/09/19/191http://my.opera.com/nnbdfyy1/blog/show.dml/99129072http://my.opera.com/nnbdfyy1/blog/show.dml/99129252http://my.yxlady.com/home.php?mod=space&uid=313029&do=blog&id=238177http://my.yxlady.com/home.php?mod=space&uid=313029&do=blog&id=238178http://my.yxlady.com/home.php?mod=space&uid=313029&do=blog&id=238179http://my.yxlady.com/home.php?mod=space&uid=313029&do=blog&id=238180http://pan.baidu.com/share/link?shareid=1846461457&uk=288751353http://pan.baidu.com/share/link?shareid=1849472970&uk=288751353http://pan.baidu.com/share/link?shareid=1848514235&uk=288751353http://pan.baidu.com/share/link?shareid=1842953520&uk=288751353http://pan.baidu.com/share/link?shareid=1852273252&uk=288751353http://pan.baidu.com/share/link?shareid=1845650800&uk=288751353http://pan.baidu.com/share/link?shareid=1850616361&uk=288751353http://pan.baidu.com/share/link?shareid=1847403255&uk=288751353http://pan.baidu.com/share/link?shareid=1841341675&uk=288751353http://pan.baidu.com/share/link?shareid=1844378286&uk=288751353http://www.qilibali.com/read/590007.htmlhttp://www.huihui.cn/share/9607414http://www.qilibali.com/read/590010.htmlhttp://www.huihui.cn/share/9607464http://www.huihui.cn/share/9607481http://www.huihui.cn/share/9607501http://www.huihui.cn/share/9607524http://www.qilibali.com/read/590011.htmlhttp://bbs.otcms.com/thread-94699-1-1.htmlhttp://bbs.otcms.com/thread-94698-1-1.htmlhttp://bbs.otcms.com/thread-94700-1-1.htmlhttp://bbs.otcms.com/thread-94701-1-1.htmlhttp://pp.fengniao.com/photo_13618414.htmlhttp://pp.fengniao.com/photo_13618413.htmlhttp://pp.fengniao.com/photo_13618412.htmlhttp://pp.fengniao.com/photo_13618411.htmlhttp://pp.fengniao.com/photo_13618410.htmlhttp://xianguo.com/booklist/4029992http://xianguo.com/booklist/4029993http://xianguo.com/booklist/4029994http://xianguo.com/booklist/4029995http://kan.weibo.com/con/3624245578618835http://www.esunny.com/20589306/1261891.htmlhttp://club.xywy.com/static/20130919/27789658.htmhttp://event.weibo.com/1994684http://event.weibo.com/1994700http://event.weibo.com/1994706http://t.163.com/event/info/eventId/874384155973063460http://t.163.com/event/info/eventId/-3981709174127969825http://t.163.com/event/info/eventId/5839405366830428613http://www.bibitie.com/guangzhou/nanke/x141x14746114.htmlhttp://www.bibitie.com/guangzhou/nanke/x141x14746120.htmlhttp://www.bibitie.com/guangzhou/nanke/x141x14746126.htmlhttp://www.4shared.com/photo/IrLtQiqq/20130919.htmlhttp://www.4shared.com/photo/LVS6H6jU/20130919.htmlhttp://www.4shared.com/photo/4FqaDxl9/20130919.htmlhttp://www.4shared.com/photo/_NzaVvRH/20130919.htmlhttp://www.4shared.com/photo/btgZ6ayu/20130919.htmlhttp://www.4shared.com/photo/jwOHBPJC/20130919.htmlhttp://www.4shared.com/photo/efNnhPUx/20130919.htmlhttp://www.4shared.com/photo/QJC2E2yT/20130919.htmlhttp://www.4shared.com/photo/UwZOlCLi/20130919.htmlhttp://www.4shared.com/photo/6xf-RWQq/20130919.htmlhttp://wenwen.soso.com/z/q482631762.htmhttp://wenwen.soso.com/z/q482631781.htmhttp://wenwen.soso.com/z/q482631925.htmhttp://wenwen.soso.com/z/q482631941.htm