蜘蛛爬取网站没有记录怎么回事？

典型小二货 · 发表于 2024-3-19 21:41:55

网站有蜘蛛爬取页面，反复多次的爬取页面，但是蜘蛛依然没有任何记录，奇怪为什么爬取页面都没有记录了呢？怎么更好的把网站蜘蛛爬取页面有记录，当爬取没有记录是不是假蜘蛛呢，这是什么原因导致的，为什么蜘蛛爬取页面没有记录呢？麻烦各位高手指点一下谢谢！

黑米哥哥的fans · 发表于 2024-3-19 21:42:08

不知道你是怎么确认蜘蛛反复爬取的，如果是第三方组件，比如宝塔的网站监控。不一定准，先核实蜘蛛是不是搜索引擎的
就是是搜索引擎的，蜘蛛在爬取的时候也会直接丢弃一些页面