标签: 大语言模型

1 篇文章

大语言模型RWKV微调与效果
很早之前就想要自己想要的风格的大模型,现在算是实现了自己的心愿吧 目前效果 想法 为什么要有这个呢?还不是因为最近大模型实在是太火了(貌似已经火过了),然后就像在自己本队跑一个。 然而本地只有一个gtx1650 4g,其他大模型动不动就8g 16g显存起步,但是rwkv 2g显存都可以,但是效果实际上并不好,最后选择了1B6的rwkv6 微调 微调…