本地部署ai小说软件
本帖最后由 15267158147 于 2024-3-30 11:15 编辑我内存不够了,我给你们一个启动器,你们下载之后它可以自己下载配置,记住不要更新,不然不能瑟瑟,还有里面的模型你们也自己下一下,把它放到一个空白的文件夹里再启动
大模型运行
本帖最后由 15267158147 于 2024-3-10 11:23 编辑大是因为里面模型大,21G的大模型,14G的大模型,这模型你下了才知道有多折磨人,我帮你们下完了,就能直接用
解决不能使用的办法
本帖最后由 15267158147 于 2024-3-14 09:24 编辑如果你的模型加载不出来,你可以看看左上角你的什么比较大,内存,显存还是gpu,然后你可以找到配置,找到模型参数的strategy选择不同的内存,显存还是gpu运行方式,然后点击转换,就可以转换成你可以用的模型,然后点击加载,等到加载完成,就可以对话,写小说了,如果以上方法都不能解决你的问题,那么可以去B站搜索akkv,有详细的教程 我看了一下,不能瑟瑟的原因可能是因为更新了版本,你们试试不要更新版本 15267158147 发表于 2024-3-10 17:55
你不带脑子怪谁,我都教你怎么降低内存使用了,再说里面还有小模型,你不会看吗
...
这么强的攻击性啊?你那几个模型我都试了,都是16G吃满然后加载极其缓慢,我放在M2的固态都要加载十几分钟,加载完之后,聊天模型也有问题,回答速度也极其缓慢
15267158147 发表于 2024-3-10 18:25
你不适合这个,别玩了
已经删了,解压完74G,太占地方了,5币就当支持你分享东西了 15267158147 发表于 2024-3-10 12:06
如果模型加载不出来,可以下载里面自带的小一点的模型
能加载出来,就是慢点,Python窗口开始动了就好了,楼主我这步没问题吧?你下载好的我可以不读直接用吗?我在右上角模型栏不知道那个是14或者21的模型。 如果模型加载不出来,可以下载里面自带的小一点的模型 感谢分享,下着玩玩 咋破限啊,有点色色就被限制了 yeyumao01 发表于 2024-3-10 11:11
老哥,怎么说?
等会儿,正在读模型,目前情况是,不吃gpu 不吃cpu 但是16g运存,两个ddr4的内存条直接拉爆,运存一直是拉满状态,这状态持续了10分钟左右了,如果是32或者64运存的可能会快点。目前是这样,还没读完, network error什么意思? 56g 怎么这么大 有用过的老哥说说嘛? 正在下载,等会儿回来反馈 wewewer 发表于 2024-3-10 11:03
正在下载,等会儿回来反馈
老哥,怎么说? 这个,0购买量。有人试用过了么 wewewer 发表于 2024-3-10 12:00
等会儿,正在读模型,目前情况是,不吃gpu 不吃cpu 但是16g运存,两个ddr4的内存条直接拉爆,运存一直是 ...
你把那个配置又下角有一个载入显存乘数,你把那个拉到0,还有下面运用使用自定义cuda加速关了
wewewer 发表于 2024-3-10 12:12
能加载出来,就是慢点,Python窗口开始动了就好了,楼主我这步没问题吧?你下载好的我可以不读直接用吗? ...
这个一定要读的,我给的都是21G,14G的大模型,所以加载可能会比较吃力,不读就用不了
好了,可用,很顺畅,刚开始加载时候可能会慢一点,你可以按照楼主在评论区的方法加载,加载之后就没什么问题了,很顺畅,结果秒出,可以玩玩。 15267158147 发表于 2024-3-10 12:13
这个一定要读的,我给的都是21G,14G的大模型,所以加载可能会比较吃力,不读就用不了
...
ok了,我去玩了,谢谢楼主! 15267158147 发表于 2024-3-10 12:13
这个一定要读的,我给的都是21G,14G的大模型,所以加载可能会比较吃力,不读就用不了
...
楼主,我有个问题,聊天或者续写右上角的模型选择栏只有3个绿✓,怎么才知道自己选的是你给的21 或者14啊? wewewer 发表于 2024-3-10 12:36
楼主,我有个问题,聊天或者续写右上角的模型选择栏只有3个绿✓,怎么才知道自己选的是你给的21 或者14啊 ...
你可以打开模型文件,看看多大的,你就知道了
13900K 24C24T 占用80%
DDR4 3600C14 32G 占用70%(22G左右)
ROG 3080 12G 使用 GPU 2G配置 显存占用4.5G左右
正在下载GPU 10G配置 看看能不能速度更快
先玩着 回头再来追评 我是16G内存,不够用,直接吃满了然后就卡死了,可惜