httpd 发表于 2025-4-6 15:10:17

有無最安全的防止網站被網絡上所有爬蟲發現的辦法？

<i class="pstatus"> 本帖最后由 httpd 于 2025-4-6 15:12 编辑 </i><br />
<br />
我目前採用robots.txt+.htpasswd的辦法，直到有一天我在某搜索引擎site:發現居然被索引了HTTP驗證的字樣，正經的蜘蛛都這樣，不正規的不是和去他家客廳一樣簡單<img src="https://hostloc.com/static/image/smiley/yct/009.gif" smilieid="44" border="0" alt="" />

任播 发表于 2025-4-6 15:33:16

robots.txt 靠的是自觉

1121744186 发表于 2025-4-6 16:08:51

加人机验证码
页: [1]
查看完整版本: 有無最安全的防止網站被網絡上所有爬蟲發現的辦法？