陶亦非
← 作品

CircleMic

一个 VR 卡拉 OK 房间,你的对唱搭档是一个拥有克隆音色的 AI 伙伴。网页端负责创作,头显里负责唱。

一个永远有空、永远不跑调、音色由你决定的搭档。

这是什么

CircleMic 是一个做多声部演唱的 VR 卡拉 OK 平台。可以独唱、二重唱、三重唱,你没顾上的声部由一个 AI 伙伴接手,它以 3D 形象站在房间里和你一起唱。

产品跑在两个设备上。网页端 circlemic.com 负责把歌做出来,Quest 端负责把歌唱出来。

怎么运作

网页端上传歌曲,混音成品或者分轨都行,填好歌曲信息,选择是否生成 AI 和声。系统产出 SATB 四个声部,也就是女高、女低、男高、男低。处理完得到一个 .cmic 文件,落进你的曲库,和你的形象、场景、录音放在一起。

头显里用账号页面上的一串短接入码登录,不用输密码。进去之后打开曲库、选歌、选独唱还是和朋友一起,就可以开始。

CircleMic 设计规范,包含配色、字体、UI 组件、曲库导航、账号面板与网页界面
我为 CircleMic 做的视觉规范。

VR 里默认在 home 场景,可以进入 KTV、odeum 或者 livehouse。唱的时候音高实时可视化,歌词同步,K-Score 边唱边返回。还有一套鼓和一个键盘可以在演唱的同时实时演奏,整段表演能录下来分享。

那个伙伴

伙伴是一个 VRM 形象,有自己的 RVC 声音模型和行为 prompt。它站在提词器右侧,随音乐摇摆,随歌曲推进变换表情。你没唱的声部分配给它。

形象设计稿,包含品牌角色的三视图、配件、建模过程,以及其他伙伴角色
形象设计。品牌角色、她的配件,以及其他几位。

现在到哪了

内部 demo 阶段。已经有能跑的构建,目前能做到的是和克隆音色对唱、跟它和声、在歌与歌之间跟它聊天。

我负责 VR 端的开发,并且主导声音交互,也就是让伙伴从“一个在播放的文件”变成“一个你在跟它一起唱的对象”的那部分。

还没有答案的问题不是技术问题,是唱到第十首的时候,这个伙伴还像不像有人在陪着。