网络异常
请检查网络设置后重试
重新加载
登录后加入频道即可发帖
0/1000
不选择版块
发表
全部
漫卷
6天前
RWKV-8 系列之 DeepEmbedAttention：精简 KV 缓存，尤其适合混合模型
5 月 27 日，我们公开了
RWKV-8 首个新特性 DeepEmbed：对端侧友好的稀疏设计，解决 MoE 显存占用
。
今天，我们公开与其相关的另一个新特性：
DeepEmbedAttention（DEA）
，这是一种基于 RWKV-8 的 DeepEmbed 思路构建的注意力变体，拥有
极小的 KV 缓存
，尤其适合
混合模型
（例如后续的 RWKV-7s 混合模型），可将它们的长上下文性能提升到 Transformer 水准。
DEA 的结构定义例子：
# q: D => 256
# k: D => 32, k_up: 32 => 256, k_emb: V => 256
3
1
1
Chaotsing
06-23
什么时候出苹果 app
点赞
1
分享
漫卷
06-20
Ollama 已支持 RWKV-7 模型，可灵活开关思考模式
Ollama 最新版本已支持
RWKV7-G1[1]
和
RWKV-7-World[2]
系列模型。
3 月初，随着 RWKV 社区成员
@MollySophia[3]
的 PR 被合并，
llama.cpp
正式支持 RWKV-7 模型。Ollama 近期更新了最新版
llama.cpp
，因此同步支持 RWKV-7 架构和对应模型。
Ollama 官方模型仓库现已包含 RWKV-7 系列模型（
推荐使用 RWKV7-G1 系列模型
3
7
2
天启星辰
06-11
哪位大佬子能给讲解一下如何部署RWKV模型?
现在卡在了Python依赖上(已经有了本地模型)
点赞
19
分享
漫卷
05-30
RWKV 社区五月动态：多篇高质量论文、RWKV-8 第一个新特性公布！
欢迎大家收看《RWKV 社区最新动态》，本期内容收录了 RWKV 社区 2025 年 5 月的最新动态。
只需 3 分钟，快速了解 RWKV 社区 5 月都有哪些新鲜事！
5 月动态省流版（TL;DR）
1. RWKV 学术研究动态
• 新论文：Multi-View Learning with Context-Guided Receptance for Image Denoising（RWKV 图像去噪，已被
5
评论
分享
漫卷
05-28
RWKV-8 预览之 DeepEmbed：对端侧友好的稀疏设计，解决 MoE 显存占用
RWKV-8 "Heron" 是我们的下一代架构，具有多个全新技术。在此我们首先公布其中的 DeepEmbed 技术，
它可以实现类似 MoE 的优秀推理性能，同时无需占用显存，甚至无需占用内存，可以让稀疏的大模型真正部署到所有端侧设备。
• 推理代码：
https://github.com/BlinkDL/RWKV-LM/blob/main/RWKV-v7/rwkv_v8_rc00_demo.py
9
5
3
漫卷
05-21
RWKV7-G1 2.9B 推理模型开源发布，展示数学/代码/全球语言能力
2025 年 5 月 20 日，RWKV 基金会开源了
RWKV7-G1 2.9B 推理模型
（Reasoning Model）。
RWKV7-G1 2.9B 具备其它同尺寸模型不具备的
推理能力
和
任务能力
，同时还支持现实世界 100+ 种语言。在实际测试中，RWKV7-G1 2.9B 模型能够完成有难度的
多语言、数学和代码任务
。
💡Tips
RWKV7-G1 2.9B 推理模型基于 World v3.5 数据集训练，包含更多小说、网页、数学、代码和 reasoning 数据，总数据为 5.16T tokens。
4
评论
分享
漫卷
05-14
RWKV 2025 生态内容征集大赛 | 4 月投稿作品及评审结果
大家好，我们在 2024 年底推出了 “
RWKV 2025 生态内容征集大赛
”，公开征集 RWKV 相关的作品，包括但不限于 RWKV 相关的论文、讲解 RWKV 的教程，以及基于 RWKV 的应用等。
2025 年 4 月，活动共收到 RWKV 生态作品投稿
4 份
，包括
1 篇论文、2个教程、1 款应用
。
本文将公布 2025 年 4 月的活动投稿作品及评审结果。
评审结果
评审结果省流版
💡Tips
下面是“
RWKV 2025 生态内容征集大赛
” 4 月投稿获奖的作品介绍。
点赞
评论
1
漫卷
04-30
RWKV社区四月动态：大量学术研究、G1 1.5B发布
欢迎大家收看《RWKV 社区最新动态》，本期内容收录了 RWKV 社区 2025 年 4 月的最新动态。
只需 3 分钟，快速了解 RWKV 社区 4 月都有哪些新鲜事！
4 月动态省流版（TL;DR）
1. RWKV 学术研究动态
• 新论文：RSRWKV（RWKV 高分辨率遥感分析模型）
• 新论文：DREMnet（RWKV 电磁信号去噪模型）
• 新论文：Geometry-Aware RWKV（异构空间光场超分模型）
2
评论
2
漫卷
04-30
RWKV7-G1 1.5B 发布！全球语言推理模型，特别适合端侧手机运行
2025 年 4 月 29 日，RWKV 基金会开源发布了
RWKV7-G1 1.5B 推理模型
（Reasoning Model）。
RWKV7-G1 1.5B 具备其它同尺寸模型不具备的
推理能力
和
任务能力
，同时还支持现实世界 100+ 种语言。在实际测试中，RWKV7-G1 1.5B 模型的推理逻辑性较强，能够完成有难度的
多语言、数学和代码任务
。
💡Tips
RWKV7-G1 1.5B 推理模型基于 World v3.5 数据集训练，包含更多小说、网页、数学、代码和 reasoning 数据，总数据为 5.16T tokens。
4
评论
分享
公告
公告
RWKV-8 系列之 DeepEmbedAttention：精简 KV 缓存，尤其适合混合模型
公告
RWKV7-G1 2.9B 推理模型开源发布，展示数学/代码/全球语言能力
直播
暂无直播
