在甲骨文首尔arm64上部署mistral
好几年没更新硬件了，手头只有一张2060。在我用过的所有能在6G显存上使用纯GPU运算的小模型里，mistral-7b算是一枝独秀。
不涉及复杂推理，单纯进行自然语言理解和总结，mistral-7b已经可以很好的胜任，反倒很多14b、32b的模型没能让我明显感知到质量提升。
最近为了省电，把2060的机器也关了，换成甲骨文arm64，照样能跑，就是速度只有原来的1/7。
https://a1.boltp.com/2025/03/11/67d0514d24b97.png
cpu24小时拉满，希望不要被封号。
效果预览，下面这个网页：
https://zui6.de/d/341d0a3c6a045c77606a5672475f646a1b261c1f
AI总结的description如下：
在社区讨论中，多位用户需要一个可以对文本执行全部查找和替换操作的 iOS 应用。建议尝试 Code App（https://apps.apple.com/us/app/code-app/id1512938504）或 Bear App，前者是收费软件，后者免费版应该够用。另外，还有 Runestone 和 Dreamedit 等其他选项。
还得继续微调，前面的“在社区讨论中”有点多余，这家伙目前特别喜欢在前面加上“在社区讨论中”。 甲骨文多少内存？
这个不是超垃圾的欧洲之光 le chat么
static/image/smiley/default/lol.gif
吊打华伪 发表于 2025-3-11 23:27
甲骨文多少内存？
这个不是超垃圾的欧洲之光 le chat么
24GB内存，只需要6GB就够了
jekyll 发表于 2025-3-11 23:31
24GB内存，只需要6GB就够了
免费的居然这么大内存
static/image/smiley/default/lol.gif
页:
[1]