吊打华伪 发表于 7 天前

hostloc首发？在自己机器上跑起来了英伟达Nemotron-Ultra-253B模型

众生平等，这个体积，除了英伟达专业显卡，其他所有卡包括4090都是废品，大家都要用cpu算<img src="https://hostloc.com/static/image/smiley/default/lol.gif" smilieid="12" border="0" alt="" /> <br />
<br />
非moe，用不了清华大学的推理构架。<br />
<br />
<br />
众生平等之下MJJ掌握优势：一般人没有4通道的内存， MJJ人手一个E5 ovh<img src="https://hostloc.com/static/image/smiley/default/lol.gif" smilieid="12" border="0" alt="" /> <img src="https://hostloc.com/static/image/smiley/default/lol.gif" smilieid="12" border="0" alt="" /> <br />
<br />
<br />
实测，E5 ovh不到0.3个token/s, 我去问个问题，吃完饭，回来再看！<br />
<br />
<br />
<br />
官网：https://build.nvidia.com/nvidia/llama-3_1-nemotron-ultra-253b-v1&nbsp; &nbsp;卡成狗了<br />
<br />
loc首发介绍：<a href="https://hostloc.com/thread-1402426-1-1.html" target="_blank">https://hostloc.com/thread-1402426-1-1.html</a>&nbsp; &nbsp;但是openrouter就没必要了，貌似时非推理的。<br />
<br />
<br />
<br />
<br />
英伟达整个模型比较强，可以时推理的模型，也可以关闭推理。<br />
<br />

我是老王 发表于 7 天前

免费的一大堆 干什么要这样折磨自己呢

坏鸡鸡 发表于 7 天前

钱多,,,,,,我们用不起

纵横天下 发表于 7 天前

<div class="quote"><blockquote><font size="2"><a href="https://hostloc.com/forum.php?mod=redirect&goto=findpost&pid=16328191&ptid=1402552" target="_blank"><font color="#999999">我是老王 发表于 2025-4-13 12:34</font></a></font><br />
免费的一大堆 干什么要这样折磨自己呢</blockquote></div><br />
这样可以显得自己相当的牛逼。就好像AI程序是他设计出来的一样
页: [1]
查看完整版本: hostloc首发？在自己机器上跑起来了英伟达Nemotron-Ultra-253B模型