- 下载图片
- 复制图片
军喵
频道主
如何让AI进行一个mai谱的写？（奇思妙想）
⭐只作记录，暂时没有生产意义的思绪⭐
首先要让模型理解音乐，使用music2vec模型。
还需要要标注谱面特色和定数，这里直接用文字吧？
然后，任务就变成了：
一串vec+一串字符 => 一串字符（simai字符串）
显然根据任务，应该选择text2text模型。
那么最难的问题在于音乐的vec如何变成字符串……🤔
已知text2text模型存在超小且有效的翻译型模型byt5-small。
暂定：把音乐的vec进行无损的转变字符串，再对byt5-small进行finetune，权当火星文字翻译器就好了？
难点：将音乐的vec转为字符串。需要保持内容的形式和文意一致性，同时减少纯数字列表带来的超常文本问题。
解：
需要设计一种能表达超长数字列表的简单“语言”。
问：还需要通过该语言finetune一个tokenizer吗？
⭐只作记录，暂时没有生产意义的思绪⭐
首先要让模型理解音乐，使用music2vec模型。
还需要要标注谱面特色和定数，这里直接用文字吧？
然后，任务就变成了：
一串vec+一串字符 => 一串字符（simai字符串）
显然根据任务，应该选择text2text模型。
那么最难的问题在于音乐的vec如何变成字符串……🤔
已知text2text模型存在超小且有效的翻译型模型byt5-small。
暂定：把音乐的vec进行无损的转变字符串，再对byt5-small进行finetune，权当火星文字翻译器就好了？
难点：将音乐的vec转为字符串。需要保持内容的形式和文意一致性，同时减少纯数字列表带来的超常文本问题。
解：
需要设计一种能表达超长数字列表的简单“语言”。
问：还需要通过该语言finetune一个tokenizer吗？
2024-09-14
浏览87
暂无评论
登录后评论
1
2
1