大语言模型RWKV微调与效果
内容目录

很早之前就想要自己想要的风格的大模型,现在算是实现了自己的心愿吧

目前效果

file

想法

为什么要有这个呢?还不是因为最近大模型实在是太火了(貌似已经火过了),然后就像在自己本队跑一个。

然而本地只有一个gtx1650 4g,其他大模型动不动就8g 16g显存起步,但是rwkv 2g显存都可以,但是效果实际上并不好,最后选择了1B6的rwkv6

微调

微调的过程是选择了淘宝租了个3090,其实rwkv微调起来很简单,只需要下载rwkv-runner,然后根据微调界面的设置,配置wsl就可以了

wsl和环境来说是比较简单的,除了wsl安装需要点技巧,如果c盘不够大还得换到d盘,现在网上有很多文章,就不多赘述了

主要就说下微调语料的格式。

如果主要是对话,就选择{"text": "User: Hello.\n\nAssistant: I'm here, meow~.\n\nUser: Can you tell some jokes?\n\nAssistant: Of course, master. What kind of jokes would you like to hear?"} 这种格式

{"text": "User: 问题\n\nAssistant: 回答\n\nUser: 问题\n\nAssistant: 回答"}
{"text": "User: 问题\n\nAssistant: 回答"}
{"text": "User: 问题\n\nAssistant: 回答"}

基地模型其实就是下载你想要用的 比如我是1B6我就下1B6,你想用3B就下载3B的

然后开始训练之后,选择lora微调后的合并模型,然后加载自己合并后的模型,就可以使用了

其实最大的问题就是语料,这个得自己处理,其他的参数搜索下就可以了。

结束

RWKV周边也算是很全的,很轻松就可以实现自己想要的东西,并不需要懂太多,hhh,这也算是记录一下我最近弄的东西吧。

实际上最近还有很多东西,但是网上都有的我就不想写,所以一直拖。

暂无评论

发送评论 编辑评论


				
|´・ω・)ノ
ヾ(≧∇≦*)ゝ
(☆ω☆)
(╯‵□′)╯︵┴─┴
 ̄﹃ ̄
(/ω\)
∠( ᐛ 」∠)_
(๑•̀ㅁ•́ฅ)
→_→
୧(๑•̀⌄•́๑)૭
٩(ˊᗜˋ*)و
(ノ°ο°)ノ
(´இ皿இ`)
⌇●﹏●⌇
(ฅ´ω`ฅ)
(╯°A°)╯︵○○○
φ( ̄∇ ̄o)
ヾ(´・ ・`。)ノ"
( ง ᵒ̌皿ᵒ̌)ง⁼³₌₃
(ó﹏ò。)
Σ(っ °Д °;)っ
( ,,´・ω・)ノ"(´っω・`。)
╮(╯▽╰)╭
o(*////▽////*)q
>﹏<
( ๑´•ω•) "(ㆆᴗㆆ)
😂
😀
😅
😊
🙂
🙃
😌
😍
😘
😜
😝
😏
😒
🙄
😳
😡
😔
😫
😱
😭
💩
👻
🙌
🖕
👍
👫
👬
👭
🌚
🌝
🙈
💊
😶
🙏
🍦
🍉
😣
Source: github.com/k4yt3x/flowerhd
颜文字
Emoji
小恐龙
花!
上一篇
下一篇