在1.25欧的机器上部署蒸馏的deepseek到底多弱智
含部署指北 原文：https://zhujisou.com/1278.html<br /><br />
1.5b参数是头两张没有标注的图<br />
7b、8b的也没好到哪去 哈哈哈<br />
个人认为，7b、8b的模型 在加上向量数据库后，可以对接微信或者QQ机器人，回答一些简答的客户问题，或者伪装在线客服，反正纯CPU推理速度也就在1token/s左右，挺像是人工客服打字慢慢回来着。<br />
<br />
如果正儿八经的需要生产力的臂助，可以考虑在scnet、autodl部署32b、70b的版本，或者使用目前成本相对较低、api可用性强于deepseek官方的硅基流动（这家也提供了很多公益的小模型api免费用）<br />
<br />
<img id="aimg_VT2SA" onclick="zoom(this, this.src, 0, 0, 0)" class="zoom" src="https://zhujisou.com/wp-content/uploads/2025/02/2025021206160530.png" onmouseover="img_onmouseoverfunc(this)" onload="thumbImg(this)" border="0" alt="" /><br />
<img id="aimg_l5G19" onclick="zoom(this, this.src, 0, 0, 0)" class="zoom" width="600" height="271" src="https://zhujisou.com/wp-content/uploads/2025/02/2025021206160742.png" onmouseover="img_onmouseoverfunc(this)" onclick="zoom(this)" style="cursor:pointer" border="0" alt="" /><br />
<img id="aimg_DTz9N" onclick="zoom(this, this.src, 0, 0, 0)" class="zoom" src="https://zhujisou.com/wp-content/uploads/2025/02/2025021206160772.png" onmouseover="img_onmouseoverfunc(this)" onload="thumbImg(this)" border="0" alt="" /><br />
<img id="aimg_J78wr" onclick="zoom(this, this.src, 0, 0, 0)" class="zoom" src="https://zhujisou.com/wp-content/uploads/2025/02/2025021206160692.png" onmouseover="img_onmouseoverfunc(this)" onload="thumbImg(this)" border="0" alt="" /> 这不是蒸馏deepseek，这是蒸馏大便。 <div class="quote"><blockquote><font size="2"><a href="https://hostloc.com/forum.php?mod=redirect&goto=findpost&pid=16229911&ptid=1388556" target="_blank"><font color="#999999">大爷 发表于 2025-2-12 14:41</font></a></font><br />
这不是蒸馏deepseek，这是蒸馏大便。</blockquote></div><br />
说真的 本身对1.5b的小参数模型没有抱期望，但是它思考出 兔子2条腿 2个头是真爆笑了 deepseek的模型32B起步才能算正常点，更低的模型连字数统计都完成不了，每次让他写1000字文章只给输出四五百字。
页:
[1]