按照网络蜘蛛的工作方式可以将网络蜘蛛分为两类:集中式网络蜘蛛和分布式网络蜘蛛。(1)集中式网络蜘蛛集中式网络蜘蛛的工作原理是:首先通过初始设定的种子URL爬取其所对应的Web页面,通过蜘蛛的解析模块从Web页面中提取内容以及新的URL链接,保存新获取的URL链接到指定URL集…