0/1000

全部

问个小白问题,rwkv对输入数据(特别是时序数据)是否要执行显示的类似transformer那样的位置编码机制?或者rwkv系列模型到底如何对数据进行显示或隐士的位置编码的?或者是否需要位置编码?
4
请问那个版本是win11才有rwkv相关文件？ 我是ai萌新这两天狂刷rwkv相关的知识,微软 Windows 和 Office 集成了国产开源大模型架构 RWKV，这意味着什么？ - 知乎 https://www.zhihu.com/question/666097016 可是我找了好几台电脑win11系统(其中一台是前两天618买的联想tb2025),没有找到rwkv开头的文件在目录:C:\Program Files\Microsoft Office\root\vfs\ProgramFilesCommonX64\Microsoft Shared\OFFICE16;
腾讯频道 - RWKV - 请问那个版本是win11才有rwkv相关文件？ 我...
3
hi，有没有对昇腾算子开发感兴趣的朋友，可以进群看看了解一下，简单任务，丰厚的奖励！
腾讯频道 - RWKV - hi，有没有对昇腾算子开发感兴趣的朋友，可以进群看...
评论
“size mismatch for blocks.23.ffn.value.weight: copying a param with shape torch.Size([1024, 4096]) from checkpoint, the shape in current model is torch.Size([1024, 3584]).”； 我使用Runner报这个问题咋办？
腾讯频道 - RWKV - “size mismatch for blocks...
5
RWKV 2025 生态内容征集大赛 | 6 月投稿作品及评审结果
大家好，我们在 2024 年底推出了 “RWKV 2025 生态内容征集大赛”，公开征集 RWKV 相关的作品，包括但不限于 RWKV 相关的论文、讲解 RWKV 的教程，以及基于 RWKV 的应用等。 2025 年 6 月，活动共收到 RWKV 生态作品投稿 3 篇高质量论文。 本文将公布 2025 年 6 月的活动投稿作品及评审结果。 评审结果 评审结果省流版 💡Tips下面是“RWKV 2025 生态内容征集大赛” 6 月投稿获奖的作品介绍。 论文类 • FEAT: Full-Dimensional Efficient Attention Transformer for Medical Video Generation
腾讯频道 - RWKV - RWKV 2025 生态内容征集大赛 | 6 月投...
评论
RWKV-8 系列之 DeepEmbedAttention：精简 KV 缓存，尤其适合混合模型
5 月 27 日，我们公开了 RWKV-8 首个新特性 DeepEmbed：对端侧友好的稀疏设计，解决 MoE 显存占用。 今天，我们公开与其相关的另一个新特性：DeepEmbedAttention（DEA），这是一种基于 RWKV-8 的 DeepEmbed 思路构建的注意力变体，拥有极小的 KV 缓存，尤其适合混合模型（例如后续的 RWKV-7s 混合模型），可将它们的长上下文性能提升到 Transformer 水准。 DEA 的结构定义例子：# q: D => 256# k: D => 32, k_up: 32 => 256, k_emb: V => 256
腾讯频道 - RWKV - RWKV-8 系列之 DeepEmbedAtten...
1
什么时候出苹果 app
2
哪位大佬子能给讲解一下如何部署RWKV模型? 现在卡在了Python依赖上(已经有了本地模型)
19
RWKV 社区五月动态：多篇高质量论文、RWKV-8 第一个新特性公布！
欢迎大家收看《RWKV 社区最新动态》，本期内容收录了 RWKV 社区 2025 年 5 月的最新动态。 只需 3 分钟，快速了解 RWKV 社区 5 月都有哪些新鲜事！ 5 月动态省流版（TL;DR） 1. RWKV 学术研究动态 • 新论文：Multi-View Learning with Context-Guided Receptance for Image Denoising（RWKV 图像去噪，已被 
腾讯频道 - RWKV - RWKV 社区五月动态：多篇高质量论文、RWKV-...
评论
RWKV-8 预览之 DeepEmbed：对端侧友好的稀疏设计，解决 MoE 显存占用
RWKV-8 "Heron" 是我们的下一代架构，具有多个全新技术。在此我们首先公布其中的 DeepEmbed 技术，它可以实现类似 MoE 的优秀推理性能，同时无需占用显存，甚至无需占用内存，可以让稀疏的大模型真正部署到所有端侧设备。 • 推理代码：https://github.com/BlinkDL/RWKV-LM/blob/main/RWKV-v7/rwkv_v8_rc00_demo.py
腾讯频道 - RWKV - RWKV-8 预览之 DeepEmbed：对端侧友...
5

公告

公告

hi，有没有对昇腾算子开发感兴趣的朋友，可以进群看看了解一下

公告

RWKV-8 系列之 DeepEmbedAttention：精简 KV 缓存，尤其适合混合模型

公告

RWKV7-G1 2.9B 推理模型开源发布，展示数学/代码/全球语言能力

直播

暂无直播