Dynpro 发表于 2020-9-30 15:03:46

浙大AI“余音”来了!它要为亚运会会歌作曲

如果在2022年第19届亚运会的现场, 你听到的会歌不仅传递着不同国家的民族特色,还带有一些智能科技的新元素,会不会突然充满 热血与 归属感?
多曲旋律结合并非易事,但作为浙江大学AI+艺术领域的一大成就——“余音” ,正努力实现这一目标,并跟一众参 赛创作人员一起参与着亚运会会歌征集活动。
“余音”目前还在积极导入相关民族、体育等元素扩充着音乐库,优化音乐算法,加紧创作“亚运会会歌”。在未来,它还可能应用到更多的音乐设计中。 这么有艺术感的人工智能,到底是如何为音乐赋能的呢?
https://pics1.baidu.com/feed/7aec54e736d12f2e044d707f30ab8e65843568d2.png?token=a3073b93b84de5f53462d3bc2e002f32
智能作曲过程展示
可实现多种国家风格会歌编排
针对APP、酒店进行个性化推荐
杭州2022年第19届亚运会音乐作品第一阶段征集通道在六月时已经向公众开放,浙江大学计算机科学与技术学院副教授张克俊和他的团队也将带“余音”参加此次征集活动。
“余音”,取自成语“余音绕梁”,由浙江大学人工智能省部共建协同创新中心、阿里巴巴-浙江大学前沿技术联合研究中心联合研发。它属于音乐创作人工智能,只需要导入视频、图片,便可以自动生成符合相关情境的音乐。
先前,“余音”团队曾导入亚运会“三宝”照片及视频进行配乐生成,两分钟后一段原创曲目诞生——曲目风格轻快明亮,和“三宝”青春洋溢的形象较为吻合。
“余音“团队负责人张克俊副教授说:“目前‘余音’主要通过识别视频中的情境相关属性,再根据现有系统数据里的音乐素材去创造符合视频情境的音乐,用音乐将先前无声视频文件合成为有声视频(vlog)。”
https://pics5.baidu.com/feed/2934349b033b5bb54301e66348ba8e3eb400bcce.png?token=283659933257a1835d06ebb58448a906
余音平台首页+余音功能展示
团队目前将智能音乐创作中用到的乐器限定在这五种——钢琴、吉他、低音贝斯、弦乐与鼓,这也是目前配乐中常见的乐器搭配,“大部分是三到五种组合在一起,但之后亚运会会歌的制作,会适当融入更多的民族乐器元素。”
五年前,团队就开始积累中国民乐数据,现在已有一个较为全面的“民族音乐库”。近期,“余音”团队正汇聚东南亚、韩国、日本等国的民族特色音乐。
“除了多乐器音乐生成外,我们还将尝试在创作中融入国家特色,并应用于亚运会相关App比如酒店、餐饮及运动场馆等相关的App中,提供个性化定制服务”,团队希望“余音”能让每一个国家的人即使身处异乡,也能在使用软件或进入房间时听到他们“专属的亚运音乐”,感受到自家风格的熟悉旋律。
除了民族音乐,该团队也会继续收集含体育竞赛元素的曲子比如奥运会《我和你》《Hand in hand(手拉手)》以及花样游泳、啦啦操等代表性运动的曲目,以实现会歌风格的融合。
团队期望,“‘余音’取得初步成果后,能和亚运会官方进一步沟通,进而做出让大家满意的作品。”
音乐生成“万花筒”
只需要一段视频、一张图片
目前“余音”还属于研究型产品,从数据库检索或生成音乐片段这一步非常迅速,只需要几秒;但是合成有声Vlog比较耗时,“如果导入Vlog有一分钟,那最终版有声Vlog导出也需要一分钟左右,系统合成速度与视频时长相关。”
“余音”识别应用情境分两步,首先是浅层理解,主要根据图片或视频包含的主要色彩及亮度进行配乐。“比如亚运会三宝‘江南忆’的颜色明亮度都较高,那它对应的音乐通常比较明快、活泼。”
接着,“余音”就需要去识别物体或人物的特点、状态等信息。团队希望系统会关注物体运动变化的关键帧,分析出一些关键属性(如节奏点)去驱动音乐检索或生成。
但是在真实场景中,“目前“余音”在第二步中的准确率和效率还有待提高。”不过,随着“余音”训练数据的不断积累和算法的优化,这些问题将有望逐步被解决。
此外,“余音”可以基于大数据,高效计算出如常用和弦、百搭和弦等,甚至发现潜在“乐理”, 促进乐理理论的发展和应用。
“目前,AI音乐生成的机制更像是一个万花筒,可以在短时间内生成数以万计的音乐,但可控性还较差。”团队提出,如果把曲子拆分成四段,即便每一段旋律单独听都不错,但合在一起也可能十分突兀。因此,在有声vlog生成后,有时还需要进行必要的人工润色。
https://pics4.baidu.com/feed/d788d43f8794a4c238d47db18c9d40d2ac6e3921.png?token=e9789e6ed2dd7d79e679925f5d45fdaf
“余音”参展第22届中国国际工业博览会院士专家创新成果展
“余音”团队功夫深
年底产品也将从实验室走出来
团队中不少学生都具有音乐相关的兴趣和特长,“‘余音’团队一共21人,其中大部分都来自于计算机科学与技术、数字媒体以及设计学相关专业。”
有趣的是,“团队大部分的成员也都有乐器、乐理相关基础,‘能说会唱’,甚至可以自己组建乐队!”
“近年来AI作曲逐渐进入大众视野,团队研究方向也从从情感分析拓展到音乐情感生成,于是2017年上半年后,‘余音’慢慢从实验室中研发出来。”
对于之后的发展,该团队也做了不少预期规划:“随着‘余音’的准确度、效率和稳定度的不断提升,应该在一年左右会走出实验室,推向市场。”
现阶段,“余音”的乐曲编排、音色混编、并轨导出等部分工作还需要借助人机交互完成。团队希望,在未来能够与视频制作公司、作曲家及相关工作者合作,获取更多的经验知识,进而逐步减少人工参与,提升AI作曲的“智能度”,他说。
在浙江大学人工智能省部共建协同创新中心、阿里巴巴-浙江大学前沿技术联合研究中心支持下,“余音“团队希望通过人工智能赋能音乐艺术,提升机械性工作的完成效率和准确性,进而与创作者一起专注于更有创造性的工作,并探索音乐艺术的更多可能性。”
来源:浙江大学


页: [1]
查看完整版本: 浙大AI“余音”来了!它要为亚运会会歌作曲