求一个爬虫的解决方案。技术佬请进。

akatom

google的notebookml，没有api。这个notebookml主要作用就是读论文，返回一些文章的摘要。

试问各位大佬，我用python写个爬虫还是什么样子的自动化工具， 然后买一台服务器，我通过一些方式（服务器搭建一个Django或者springboot的接口）上传这个需要阅读的论文，然后获取到这个文件之后，python写一个自动化的脚本，例如使用selenium，或者drissionpage，进行提交到这个notebookml（是一个在线网址，需要国外的服务器），然后这个notebookml会生成一些内容，然后通过爬虫把这些内容获取到之后，再用Django写个api 暴露这些内容，传给一个自动化的平台（make or coze）这样是不是就可以发不到公众号上了？ 请问大佬这些步骤是不是有哪些是可以优化的？ 谢谢各位大佬。

悲伤的K

看起来好复杂

akatom

其实不复杂

千手如来

用高铁不是就行了 何必这么复杂 还去搞个爬虫

jep

论文不都是有现成的摘要吗

伊吹風子

思路可行，但逆向api得自己慢慢搞，并随时失效，碰到其他风控也无解，工程量比你想象的要大得多。

Ausxilia

感觉我一个外行都觉得你技术栈有点落后了

用playwright 代替selenium, 用fastapi代替Django

akatom

伊吹風子 发表于 2025-3-16 20:45
思路可行，但逆向api得自己慢慢搞，并随时失效，碰到其他风控也无解，工程量比你想象的要大得多。 ...

不逆向，直接使用selenium 这种解决方案

wg198300

去看看抓包吧，这个都没有任何加密，直接就能获取，简单到不能再简单

host0108akatom

我也觉得，搞这么复杂，对性能没要求，直接上webkit

host0108 发表于 2025-3-16 21:25
我也觉得，搞这么复杂，对性能没要求，直接上webkit

能解决上面的一套流程吗