Crawljax性能问题之我见

如果将Crawljax作为爬虫来用的话，有严重的性能问题，其问题主要在于其state管理机制，如下图：

由于浏览器缺省情况下是不能保持ajax应用的状态的，因此也就无法利用浏览器的回退机制，从当前state回退到上一个state，这样就必须从最初始的index state开始一层层地往下走，直到目标state。如果是一个较大型的网站，或者是翻页较多的网站，其state的层次非常之深，那么就会出现一种情况，crawljax每次抓取某一层次/某一页的资源时，总是需要从首页开始一页一页/一个层次一个层次地向下翻，所以基本上时间都花在state backtracking上面了，真正获取目标资源的时间只占了非常小的比例，几乎可以忽略不计。即使使用了多线程的方式，你也会看到，程序运行到后来，基本上所有线程大部分时间都是在做同样的事情，也就是在不断地翻页。

Crawljax使用的是深度优先的爬行算法，也许改用广度优先算法会好点，尝试中。。。