狗狗币 发表于 2025-2-12 22:56:57

mjj们 本地跑deepseek,开源最大杯， 你们跑起来了吗？

需要投资多少机机啊？

DogeLee2 发表于 2025-2-12 23:02:10

6张h100,而且80G版本

狗狗币 发表于 2025-2-12 23:06:05

<div class="quote"><blockquote><font size="2"><a href="https://hostloc.com/forum.php?mod=redirect&goto=findpost&pid=16230780&ptid=1388680" target="_blank"><font color="#999999">DogeLee2 发表于 2025-2-12 23:02</font></a></font><br />
6张h100,而且80G版本</blockquote></div><br />
不是 4090 显卡也可吗？

xiaolaohu 发表于 2025-2-12 23:02:00

4090带不动

狗狗币 发表于 2025-2-12 23:07:19

<div class="quote"><blockquote><font size="2"><a href="https://hostloc.com/forum.php?mod=redirect&goto=findpost&pid=16230792&ptid=1388680" target="_blank"><font color="#999999">xiaolaohu 发表于 2025-2-12 23:07</font></a></font><br />
4090带不动</blockquote></div><br />
<a href="https://snowkylin.github.io/blogs/a-note-on-deepseek-r1.html" target="_blank"><div class="quote"><blockquote>https://snowkylin.github.io/blogs/a-note-on-deepseek-r1.html</blockquote></div></a>

狗狗币 发表于 2025-2-12 23:08:52

<div class="quote"><blockquote><font size="2"><a href="https://hostloc.com/forum.php?mod=redirect&goto=findpost&pid=16230792&ptid=1388680" target="_blank"><font color="#999999">xiaolaohu 发表于 2025-2-12 23:07</font></a></font><br />
4090带不动</blockquote></div><br />
不是本地部署 万人使用， <br />
就是个人使用， 4090 带不动？

xiaolaohu 发表于 2025-2-12 23:07:00

<div class="quote"><blockquote><font size="2"><a href="https://hostloc.com/forum.php?mod=redirect&goto=findpost&pid=16230798&ptid=1388680" target="_blank"><font color="#999999">狗狗币 发表于 2025-2-12 23:09</font></a></font><br />
不是本地部署 万人使用， <br />
就是个人使用， 4090 带不动？</blockquote></div><br />
可以试下 应该能跑，体验好不好不好说

aceboy 发表于 2025-2-12 23:09:55

大内存500G以上也可以，KTransformers开源项目

DogeLee2 发表于 2025-2-12 23:07:00

<div class="quote"><blockquote><font size="2"><a href="https://hostloc.com/forum.php?mod=redirect&goto=findpost&pid=16230798&ptid=1388680" target="_blank"><font color="#999999">狗狗币 发表于 2025-2-12 23:09</font></a></font><br />
不是本地部署 万人使用， <br />
就是个人使用， 4090 带不动？</blockquote></div><br />
量化的啊<br />
你仔细看下<br />
你这不是要满血吗<br />

qqlikeho 发表于 2025-2-12 23:14:37

满血的最低都要700g左右显存吧 个人搞不动满血版本
页: [1] 2 3
查看完整版本: mjj们 本地跑deepseek,开源最大杯， 你们跑起来了吗？