推荐最新的开源大语言模型Llama-3_1-Nemotron-Ultra-253B-v1
前几天nvidia推出了新模型Llama-3_1-Nemotron-Ultra-253B-v1, 今天我试了一下, 感觉很好. 看测试数据的话, 比deepseek r1还高, 当然数字只能作为参考. <br /><br />
主要它是只有253B的参数, 不用太多的显存. deepseek r1是671B的参数, 本地跑的话要太多的显存了. nvidia的模型和deepseek的模型都是带思考的, 不过 nvidia的模型可以关掉, deepseek的模型不行. deepseek r1是MoE架构的, 这个不是. <br />
<br />
要是有条件的话, 可以试一试. 自己部署意义何在？ <i class="pstatus"> 本帖最后由 kindlecon 于 2025-4-12 19:04 编辑 </i><br />
<br />
253b就算就算4bit量化也要170g显存。<br />
如果用CPU和内存跑，那前提是你有多通道服务器主板，否则那速度谁受得了。 我昨天才听说整个，还没弄。 你实际测试了吗？ 有llama4 为啥用3.1,而且4需要的显存更少 <div class="quote"><blockquote><font size="2"><a href="https://hostloc.com/forum.php?mod=redirect&goto=findpost&pid=16327493&ptid=1402426" target="_blank"><font color="#999999">acm 发表于 2025-4-12 19:27</font></a></font><br />
有llama4 为啥用3.1,而且4需要的显存更少</blockquote></div><br />
llama 4 是个很失败的模型. <div class="quote"><blockquote><font size="2"><a href="https://hostloc.com/forum.php?mod=redirect&goto=findpost&pid=16327469&ptid=1402426" target="_blank"><font color="#999999">吊打华伪 发表于 2025-4-12 19:10</font></a></font><br />
我昨天才听说整个，还没弄。 你实际测试了吗？</blockquote></div><br />
我只是大概地试了一些问题, 感觉不错. 你如果不本地部署的话, 可以通过openrouter测试看看.
页:
[1]