mjj们 本地跑deepseek,开源最大杯， 你们跑起来了吗？

RuntoLoc

看你对性能要求有多高了
如果只是想跑起来开1t的swap也可以跑

kindlecon

放弃吧

狗狗币

肯定用内存跑啊，服务器CPU通道数越多越好，500多g内存就能跑了。

狗狗币

DogeLee2 发表于 2025-2-12 23:17
量化的啊
你仔细看下
你这不是要满血吗

嗯， 的确量化的了

想要最大杯的。

狗狗币

aceboy 发表于 2025-2-12 23:15
大内存500G以上也可以，KTransformers开源项目

？ 没有跟上。

奧巴马

qqlikeho 发表于 2025-2-12 23:27
看你对性能要求有多高了
如果只是想跑起来开1t的swap也可以跑

有推荐办法吗？
满血/最大杯， 本地，个人使用， 性能要求不高， 卡卡更健康，自己跟不上ai了

狗狗币

狗狗币 发表于 2025-2-13 00:10
有推荐办法吗？
满血/最大杯， 本地，个人使用， 性能要求不高， 卡卡更健康，自己跟不上ai了 ...

我跑起来了.
https://hostloc.com/thread-1386195-1-1.html

狗狗币奧巴马

奧巴马 发表于 2025-2-13 00:13
我跑起来了.
https://hostloc.com/thread-1386195-1-1.html

给力啊， 来个保姆级教程？

狗狗币

奧巴马 发表于 2025-2-13 00:13
我跑起来了.
https://hostloc.com/thread-1386195-1-1.html

是人工智能 还是人工智障？ 性能不强求， 就是逻辑和deepseek.com 有的比吗？

狗狗币 发表于 2025-2-13 00:18
是人工智能 还是人工智障？ 性能不强求， 就是逻辑和deepseek.com 有的比吗？ ...

没得比.智障
以下教程,一键安装的
https://github.com/open-webui/open-webui

欢迎新会员

奧巴马 发表于 2025-2-13 00:29
没得比.智障
以下教程,一键安装的
https://github.com/open-webui/open-webui

智障的话，就不折腾了