现在蜘蛛抓取是不是基本都会执行网页的JS脚本了啊?

wawos

网上教程都说蜘蛛机器人抓取不会去执行网页的.js脚本,

但是现在很多站点的真实内容, 都是先加载一个主框架,

然后通过.js 代码再在页面后台获取的,搜索引擎抓取展示的内容根本不受影响,

是不是现在蜘蛛抓取是不是基本都会执行网页的JS脚本了?

wawos

如果蜘蛛会允许js代码, 是不是我现在用 判断访问是否含有某个cookie,

来判断是蜘蛛还是真实用户, 这个方法就不行了 (cookie是在js代码设置的) ?

如果蜘蛛会运行js, 那它肯定也会有这个cookie了啊

hins

有时候会执行js的

胖虎_

wawos 发表于 2025-2-13 15:50
如果蜘蛛会允许js代码, 是不是我现在用 判断访问是否含有某个cookie,

来判断是蜘蛛还是真实用户, 这个方 ...

蜘蛛请求头不是会带User Agent的嘛，把常用的UA收集一下。去拿他的User Agent。
百度ua：Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
谷歌ua：Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

wawos

胖虎_ 发表于 2025-2-13 20:12
蜘蛛请求头不是会带User Agent的嘛，把常用的UA收集一下。去拿他的User Agent。
百度ua：Mozilla/5.0 ( ...

标准的蜘蛛UA才会带这些spider信息,

蜘蛛会模仿普通浏览器来判断你网站内容有没有作弊的

胖虎_

wawos 发表于 2025-2-13 20:20
标准的蜘蛛UA才会带这些spider信息,

蜘蛛会模仿普通浏览器来判断你网站内容有没有作弊的 ...

那就不清楚咯，现在大部分蜘蛛都是可以执行js的。
问问ai看看，有哪些是浏览器特有的，蜘蛛无法模仿的。