设为首页收藏本站

切换到宽版

兜哪儿主机交流论坛»论坛 › 技术交流分享 › Web技术 › 百度爬虫一天来十万次是好还是坏?

会员请立即修改密码

12 3 / 3 页下一页

发新帖

查看: 5134|回复: 21

百度爬虫一天来十万次是好还是坏?

发表于 2018-4-1 19:34:14 来自手机 | 显示全部楼层 |阅读模式

流量没看增加，尽是爬虫来访。数据库经常被爬挂了。要不要限制频率呢？

回复

发表于 2018-4-1 19:36:45 | 显示全部楼层

看看是不是真蜘蛛

百度的真蜘蛛，80%都是集中爬网站20%的页面

回复支持 1 反对 0

发表于 2018-4-1 19:36:00 | 显示全部楼层

撸主. 换友链么

回复支持反对

发表于 2018-4-1 19:46:22 | 显示全部楼层

也可能是用的百度蜘蛛协议头的采集器哟！

回复支持反对

发表于 2018-4-1 19:53:54 | 显示全部楼层

去百度站长后台看看爬取数据

回复支持反对

发表于 2018-4-1 19:55:56 | 显示全部楼层

有多少数据啊，这么给力..

回复支持反对

发表于 2018-4-1 19:57:55 来自手机 | 显示全部楼层

三月份爬虫( ๑ŏ ﹏ ŏ๑ )

回复支持反对

发表于 2018-4-1 20:05:17 | 显示全部楼层

这样的明显不正常，不是采集就是测试采集。

回复支持反对

发表于 2018-4-1 20:15:44 | 显示全部楼层

感觉不是正常的采集

回复支持反对

发表于 2018-4-1 20:51:25 | 显示全部楼层

感情是一群人在采集

回复支持反对

12 3 / 3 页下一页

发新帖

Archiver|手机版|小黑屋|兜哪儿主机交流论坛

GMT+8, 2024-9-22 12:41 , Processed in 0.060424 second(s), 9 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表