👀
RWKV-7 2.9B 模型正式发布 
2025 年 2 月 11 日，RWKV 基金会正式发布 RWKV-7-World-2.9B-V3 模型（以下简称 RWKV-7-2.9B）。
RWKV-7-2.9B 模型基于 RWKV World V3 数据集训练。无论是模型评测还是实际体验，RWKV-7-2.9B 都超越了上一代 RWKV-6-7B 模型。
英文和多语言测评
RWKV-7-2.9B 模型的英文和多语言能力，均显著超越所有同尺寸模型，包括 Llama 3.2 3B、Qwen2.5 3B 等知名优秀开源模型。
MMLU 测试
在选择题形式的 MMLU 测试上，RWKV-7-2.9B 模型得分为 54.56%。作为对比，上一版本的 RWKV-6-World-3B-V2.1 模型 MMLU 评分是 32.38%。
RWKV-7-2.9B 基底模型的性能提升完全通过常规训练实现，未针对任何测试进行“优化”，也没有采取退火或 post-training 等优化策略。
生成案例
以下是 RWKV-7-2.9B 的生成案例（使用 RWKV Runner 运行）：
代码任务
多语言任务
RWKV-7-2.9B 多语言写请假信：
以下是图中的原文和翻译：
Lieber Herr [先生的名字], Ich möchte Ihnen mitteilen, dass ich mich auf dem Weg zur Marsrakete befinde und morgen eine Woche lang fehlen werde. Ich habe diese Entscheidung getroffen, weil ich mein Leben erkunden möchte. Es war ein großer Genuss, von Ihnen unterrichtet worden zu sein und vieles zu lernen. Ich werde dieses Wissen nie vergessen. Ich hoffe, dass wir uns bald wiedersehen werden und danke Ihnen für alles! Mit freundlichen Grüßen [Ihr Name]
尊敬的[先生姓名]先生： 我在此通知您我正在前往火星火箭的途中，我将从明天起缺席一周。做出这个决定是因为我想探索我的生活。 能够接受您的教导并学习很多东西是一种极大的享受。我将永远不会忘记这些知识。 希望我们能很快再次见面并为一切向您致谢！
此致
敬礼 [您的姓名]
--------------------------------------------------------------------------------------
عزيزي السيد [اسم المعلم$$], أود أن أخبرك أنني أتجه حالياً إلى سفينة الغوص تحت الماء وأنا غائب ليوم واحد في الأسبوع. قررت هذا القرار لأنني أريد أن أكتشف العالم. لقد كان من الجيد التعلم منك واستلام معلومات عديدة. سأحافظ على هذه المعرفة دائمًا في ذاكرتي. آمل أن نلقى بعضًا مرة أخرى وأشكرك على كل شيء! باحترام، [اسم المطالب]
尊敬的[老师姓名]先生：
我谨此告知您：我将开始参与深海潜水艇的作业项目（每周将固定缺席一日）。作出这个决定是因为我想借此机会探索未知的世界。
能跟随您学习并收获丰富的知识是我的荣幸，这些宝贵的教导我将永远铭记于心。
期待未来能有重逢之日！衷心感谢您给予的一切！
此致 敬礼
[申请人姓名]
角色扮演
RWKV-7-2.9B 进行“八戒”角色扮演，未添加任何角色扮演提示词或者角色预设。
小说续写
RWKV-7-2.9B 续写小说（高亮板块为 deepseek-R1 生成的前文）：
模型下载
RWKV-7-2.9B 现已上传到各大模型平台，可以从以下仓库下载：
• HF 主站：
• HF 镜像站：
• ModelScope：
• WiseModel:
在线 Demo
可在 Hugging Face Demo 在线体验 RWKV-7-2.9B 模型：
在线 Demo 为续写模式，不支持直接对话。请使用以下两种格式输入 prompts :
User: (你的问题，比如“请为我推荐三本适合五岁小孩阅读的世界名著” ) Assistant:
Instruction: （你希望模型进行什么操作，比如“请将下列瑞典语翻译成中文”） Input:（输入给模型的内容，比如“hur l?ng tid tog det att bygga twin towers”） Response:
未来计划
RWKV-7-2.9B 模型的强大能力，得益于 RWKV-7 架构的精妙改进。在应用了“动态 State 演化机制”后，RWKV-7 拥有强大的 in-context-learning（上下文学习）能力，在推理过程中更好地学习上下文的关系，生成的内容生更精简、更合理。
RWKV-7 的架构思路和细节：
RWKV-7-7B 预计将使用新的 RWKV World V3.1 数据集训练。World V3.1 数据集将在 World V3 的基础上新增大量数学、代码和 reasoning 数据，进一步增强模型的代码、数学和推理能力。
请关注我们的公众号“RWKV元始智能”，第一时间获取 RWKV 动态！
加入 RWKV 社区
RWKV 是一种创新的深度学习网络架构，它结合了 Transformer 与 RNN 的优点，同时实现高度并行化训练与高效推理。
• RWKV 中文官网（包括大量RWKV多模态论文）：
• RWKV 英文官网：
• RWKV-5/6（Eagle & Finch）论文：
• RWKV-4 论文：
欢迎大家加入 RWKV 社区！您可从 RWKV 官网了解 RWKV 模型，也可加入我们的官方论坛、QQ 频道和群聊，一起探讨 RWKV 模型。
• RWKV 论坛：
• QQ 频道：
• QQ 交流群：224287095
- 下载图片
- 复制图片
2025-02-12
浏览475
🔥官方｜常见问题
登录后评论
4
5
分享