在甲骨文首尔arm64上部署mistral-7b并用于生成网页description
<i class="pstatus"> 本帖最后由 jekyll 于 2025-3-12 17:13 编辑 </i><br /><br />
好几年没更新硬件了，手头只有一张2060。<br />
在我用过的所有能在6G显存上使用纯GPU运算的小模型里，mistral-7b算是一枝独秀。<br />
不涉及复杂推理，单纯进行自然语言理解和总结，mistral-7b已经可以很好的胜任，反倒很多14b、32b的模型没能让我明显感知到质量提升。<br />
最近为了省电，把2060的机器也关了，换成甲骨文arm64，照样能跑，就是速度只有原来的1/7。<br />
<img id="aimg_UfioZ" onclick="zoom(this, this.src, 0, 0, 0)" class="zoom" src="https://a1.boltp.com/2025/03/11/67d0514d24b97.png" onmouseover="img_onmouseoverfunc(this)" onload="thumbImg(this)" border="0" alt="" /><br />
cpu24小时拉满，希望不要被封号。<br />
<br />
效果预览，下面这个网页：<br />
<br />
https://zui6.de/d/341d0a3c6a045c77606a5672475f646a1b261c1f<br />
<br />
AI总结的description如下：<br />
在社区讨论中，多位用户需要一个可以对文本执行全部查找和替换操作的 iOS 应用。建议尝试 Code App（https://apps.apple.com/us/app/code-app/id1512938504）或 Bear App，前者是收费软件，后者免费版应该够用。另外，还有 Runestone 和 Dreamedit 等其他选项。<br />
<br />
还得继续微调，前面的“在社区讨论中”有点多余，这家伙目前特别喜欢在前面加上“在社区讨论中”。 甲骨文多少内存？<br />
<br />
这个不是超垃圾的欧洲之光 le chat么<img src="https://hostloc.com/static/image/smiley/default/lol.gif" smilieid="12" border="0" alt="" /> <div class="quote"><blockquote><font size="2"><a href="https://hostloc.com/forum.php?mod=redirect&goto=findpost&pid=16275715&ptid=1395270" target="_blank"><font color="#999999">吊打华伪 发表于 2025-3-11 23:27</font></a></font><br />
甲骨文多少内存？<br />
<br />
这个不是超垃圾的欧洲之光 le chat么</blockquote></div><br />
24GB内存，只需要6GB就够了 <div class="quote"><blockquote><font size="2"><a href="https://hostloc.com/forum.php?mod=redirect&goto=findpost&pid=16275724&ptid=1395270" target="_blank"><font color="#999999">jekyll 发表于 2025-3-11 23:31</font></a></font><br />
24GB内存，只需要6GB就够了</blockquote></div><br />
免费的居然这么大内存<img src="https://hostloc.com/static/image/smiley/default/lol.gif" smilieid="12" border="0" alt="" /> 可以理解并输出中文吗 <div class="quote"><blockquote><font size="2"><a href="https://hostloc.com/forum.php?mod=redirect&goto=findpost&pid=16276516&ptid=1395270" target="_blank"><font color="#999999">甜菜超人 发表于 2025-3-12 13:29</font></a></font><br />
可以理解并输出中文吗</blockquote></div><br />
“理解并输出”这是所有大模型最基本的功能，输出中文，需要添加提示词，比如“用中文回复”。<br />
但是每个模型调校的不一样，mistral比较听话、稳定。<br />
qwen就比较絮叨，容易循环和冒出英文。
页:
[1]