首先,搜索引擎会先在本地建立一个数据库,建立了数据库以后,这个数据从什么地方来呢?

它们会派出抓取机器人熟称蜘蛛,蜘蛛会在各个网站到处爬行。

蜘蛛爬行过的地方它会进行收集,搜集了这些网站上面的网页以后,蜘蛛就会放进搜索引擎的数据库里面,当数据库里面的网页越来越多的时候,蜘蛛在爬行抓取到时候不会全部进行收集,蜘蛛会根据多个方面来搜集网页,比如原创度,数据库中有没有相同的网页,如果有了不一定会搜集。

还有时效性,相关性,权重等都是搜集时候需要蜘蛛去考虑的。