被蜘蛛爬的CPU干到100%

aqinhai · 发表于 2024-6-20 15:22:44

有什么办法预防下吗
robots 他们也不是那么遵守

dzwangfei · 发表于 2024-6-20 15:23:33

上cloudflare

aqinhai · 发表于 2024-6-20 15:27:07

dzwangfei 发表于 2024-6-20 15:23
上cloudflare

上了

jqbaobao · 发表于 2024-6-20 15:23:00

上盾上缓存

klfvbfsui · 发表于 2024-6-20 15:32:30

aqinhai 发表于 2024-6-20 15:27
上了

上了cloudflare还爬的100%？你的站的数据价值这么高啊，那可能有些难了

txjcv · 发表于 2024-6-20 15:33:59

服务器买高配的

aqinhai · 发表于 2024-6-20 15:27:00

klfvbfsui 发表于 2024-6-20 15:33
上了cloudflare还爬的100%？你的站的数据价值这么高啊，那可能有些难了

就一个企业网站 10个IP

aqinhai · 发表于 2024-6-20 15:35:14

txjcv 发表于 2024-6-20 15:35
服务器买高配的

清凉云 4U4G

_leo · 发表于 2024-6-20 15:47:49

有时cloudflare也会不停请求你了，
所以无解~

huanfengaqinhai · 发表于 2024-6-20 15:33:00

4u4g 不应该被爬都满cpu吧检测看看是不是攻击，或者服务器商有问题

huanfeng 发表于 2024-6-20 16:28
4u4g 不应该被爬都满cpu吧检测看看是不是攻击，或者服务器商有问题

看日志就是蜘蛛
阿里云清凉

账号		自动登录	找回密码
密码			立即注册