·我有时会悲观地想,在未来的某一天,我失去了我的声音,或者我的身体在现实世界消散了,我该如何留下我的音乐作品。现在,AI回答了我的疑虑。
·一个声音像孙燕姿,不一定就是孙燕姿的声音训练的,也可能是专门模仿孙燕姿的歌手的声音或者其他音色相似的AI。没有见到数据之前什么都无法判定。目前这个行业还刚刚起步,针对这类问题,需要更多的关注。
随着版权问题愈演愈烈,“AI翻唱”这一新形式饱受争议,负面评价也接连不断。但技术同样有好的一面,在罕见病患者、“蓝梅”阿卡贝拉乐团创始人隆琳眼中,AI翻唱带来的是希望。在接触到AI音乐制作、AI歌曲演唱、AI人声模仿等技术后,隆琳通过澎湃科技(www.thepaper.cn)已经与一位“AI翻唱”的作者取得了联系,希望通过人工智能留下她的声音。
“在某种意义上,我们的声音可以永久保存下来。”隆琳在接受澎湃科技采访时表示,“我可以采集一些过世已久的病友的录音,用AI将他‘重现’在我们面前,与乐团成员一起重新来一场音乐会。”
对于隆琳谈到的AI音乐相关技术,在音乐行业工作多年后转向AI音乐制作、AI歌曲演唱领域的杨杰告诉澎湃科技,在“AI翻唱”的影响下,作曲家、知名歌手受到的冲击较小,但一些以录制歌曲小样为主要方向的“Demo歌手”或将面临失业。
杨杰表示,人工智能已经极大地提高了音乐领域的工作效率,此前团队在10天内曾完成过用AI为一个客户写100首广告曲的“壮举”,如果没有人工智能,工作量将是一个天文数字。对于目前争议较大的版权问题,他表示,监管将是第一步,“我们也希望有政策尽快出台,而我们雇来录制人声素材的歌手,是支付费用后取得授权的,并非没有版权的声音。”
“蓝梅”阿卡贝拉乐团演出照。
口述者:罕见病患者、“蓝梅”阿卡贝拉乐团创始人隆琳
“ChatGPT作的歌词让我印象深刻”
当了解到现在的AI技术时,我第一时间想到的是AI会留下我的声音,说起来有些悲伤,但当我们谈论AI时,实际上是在谈我们这个特殊群体的希望。
我是一名淋巴管肌瘤病患者,同时也是“蓝梅”阿卡贝拉乐团的创始人,这种病会让患者的说话、呼吸越来越困难,行动也会越来越不便。创建乐团的初衷就是为了让大家更努力地去锻炼自己的肺活量,但随着病情的恶化,很多病友离开了,乐团里也不再能听到她们的声音。
最开始接触到AI是看到了很多AI翻唱的视频,效果非常好,我第一时间就想到,自己曾经面对的许多困难在未来都可以在AI的帮助下一一解决。后来我还尝试了用ChatGPT写歌词,用AI进行音乐制作。
作为罕见病患者,最直观的影响就是AI可以减少说话的负担。平时日常交流的时候,我说话可以有一些停顿,基本没有太大的影响,但由于长期投入公益,我会在一些正式场合发表演讲,面对这种大段大段的讲话,真的会感到力不从心。
在今年杭州阿里巴巴总部举办的“一切只为你 Sing For Rare”罕见病公益主题音乐会上,我作为发言人介绍乐团、讲述关于自己生病故事的心路历程,以及这个群体的故事。在这段五六分钟、两千字左右的演讲中,由于生病的原因,夹杂了大段喘气声和激动情绪,队里小伙伴还问我,“姐,你怎么喘成这样?”所以,当了解到AI有机会学习模仿我们的声音,通过面部识别,代替我们讲话,并且相似度十分高,我真切地认为这对我们来说十分有益,它可以模仿我的口型、我的表情,这也会对我们公共形象的维护有很大的帮助。
在病友中,有一部分人因为身体的痛苦,声音会控制不住地发抖。他们对音乐很有热情,过去我们会请专业的老师来带领这部分病友锻炼,提高肺功能,但有一些年老的患者,已经不具备锻炼的条件。有时候,听着他们痛苦的声音,又看着他们展现出来对音乐的激情,我十分揪心。有了AI,他们只需要跟唱一下,AI模仿他们的声音来完成高音、长音,既可以满足他们对音乐、对唱歌的热爱,而作为一个人声乐团,也可以在保证他们参与合唱的前提下,收获他们想要的效果。
我目前已经通过澎湃科技和一位制作AI翻唱的作者取得了联系,这位作者表示很乐意帮助我们。我已经开始录制素材了,只用了手机和麦克风就可以录制,提供了半个小时到一个小时纯净的人声给他,他会帮我先把声音用AI做出来,然后再去尝试歌曲的录制。
他们也觉得这件事很有意义。我一开始以为这些制作者是有资金支持,有资方投资的,接触后才知道,他们分散在全国各地,完全是为了一腔热情和抱负去做这个事。在接触的过程中,我感受到了开发者的力量,他们的项目因为版权等问题其实饱受非议。因此他们觉得帮助罕见病患者可以传达AI能带来的美好一面,我也觉得参与到这个事情当中很荣幸,我觉得我们公益乐团也可以在AI领域做一些正向的倡导。
在某种意义上,我们的声音可以永久保存下来。我有时会悲观地想,在未来的某一天,我失去了我的声音,或者我的身体在现实世界消散了,我该如何留下我的音乐作品。现在,AI回答了我的疑虑。即便我卧床不起,但是我也可以通过AI影像观赏到我曾经唱歌时的风华。又或者我可以采集一些过世已久的病友的录音,用AI将他“重现”在我们面前,与乐团成员一起重新来一场音乐会。
在创作方面,AI也让我十分惊喜。我们团内大多数患者在音乐方面都只是爱好者,有了AI,我们可以定一个主题,让AI进行创作,再辅以人工修改,这样,业余爱好者也可以完成一首精彩的歌曲制作。
但是,出于专业角度,AI根据既有歌词谱曲,跟预期差别还是比较大。主要是因为AI没有捕捉到歌词传递出的情绪基调,所以整个曲风就比较背离、比较奇怪。在我给出的主题中,歌词蕴含的情绪走向,从最开始的比较深沉、凝重,到后面的情绪释放、表达积极的人生态度,有一个先抑后扬的起伏,适合写成慢歌,但AI却写成了快歌,歌词做了二次简化加工,直接过滤了很多表达情绪的关键词。我觉得,音乐方面,情感对于AI还是一个壁垒。
相对来说,ChatGPT作的词总体还不错,我告诉ChatGPT我们的基本情况后,它根据输入的关于歌曲创作的描述,提炼概括了核心内容,比较准确地呈现出了我的创作诉求,ChatGPT的这几句歌词让我印象深刻:
“和声交错,音符飞扬
我们用声音,呼吸着生命
在彼此的慰藉中,寻找信心”
不过,在措辞、归韵等细节问题上,还有修改和润色的空间,创作者需要进行二次加工。AI作词虽然不能成为完全的“脑替”,但可以为创作者提供一个1.0版本,或者说为创作者提供一个完整的思路和参考,辅助提高音乐作品创作时效。
淋巴管肌瘤还只是罕见病的一种,在重症肌无力患者的日常生活中,与人的交流互动更多呈现出咬字不清晰。我们有一个一起做公益活动的小伙伴是重症肌无力患者,在与我们沟通时,简单的一句“今天晚上我吃的是宫保鸡丁盖饭”,被紧闭的双唇吞没了大部分的含义,令人很难辨别其中的意思。尽管目前的AI攻克这一障碍的发展前景尚未完全清晰,但是我认为可以期待这一天的到来,毕竟AI的发展速度非常快。
口述者:某AI音乐产品负责人杨杰
“用AI花10天写了100首广告营销歌曲”
面对AI的发展,我也曾有过焦虑心情。我以前从事的工作是“扒带”,简单说就是复录音乐作品,把音乐中的声部、乐器等,通过制作软件全部记录下来,再分离,以方便后续使用。
扒带的工作要求十分高,具体表现在精细度上,每个部分都需要“精修”,一首歌需要人工处理两天左右的时间。但AI进入音乐领域后,这个时间缩短到了半天左右,得到AI的粗略加工内容后再辅以人工修改,提高了四倍的工作效率。在这种环境下,我十分担心自己的工作职位会被AI取代。
2018年,我思考了AI的潜力后,以及想利用这几年在音乐数据领域的积淀去尝试新事物,“跳船”到了AI音乐领域。
对于AI,我能看到它的进步。AI在音乐数据领域除了发挥人声分离功能,还可以实现歌声合成技术,这可以协助我们在音乐生产环节中完成Demo的录制。
在我们以前传统的录制过程中,Demo一般是由专门的Demo歌手或者叫小样歌手来演唱,可能就是请音乐学院刚刚毕业的大学生、酒吧的驻唱歌手,这些技术水平上偏初级的歌手来做,录制小样也不需要顶级的技巧。面对一首新鲜出炉的音乐作品,Demo歌手需要学习消化,完成对歌曲、旋律的理解,这样一套流程下来,可能几天时间过去了,学习成本也比较高。这一类人群可能是受到AI冲击最大的。
尽管AI无法和歌唱家、专业歌手相媲美,无法达到人类情绪表达、情感宣发的高度,甚至在技巧上都还有很长一段路要走,但是它也确实发展到了可以代替一部分人的阶段。我们用AI将音乐策划人看好的歌曲小样进行深度包装,重新录制音频,然后找到适合这首歌的AI歌手。对于一些初级的商业歌曲,或者面对一些不识谱的大牌明星,AI的辅助导唱也可以发挥极大的积极作用并以此PK掉一部分人。
这样的环境下,小样歌手手中的单子就变少了,因为客户只在意效果的好与坏,不会在乎是不是真人演唱。毕竟小样歌手演唱只是提供一个演示,最后还是由专业歌手进行演唱。一般来说,有很多单子要求都不太高,无论这首歌是真人演唱还是AI演唱,只要AI歌手的演唱效果达到产品级别的要求,对于客户和我们都是更好的选择。AI解决了我们的初级问题和创意问题,即使它有诸多局限,也不能完全代替人类,但是它带来的影响不容小觑。
作为从业者,小样歌手也曾对我说过内心的焦虑。我曾经把我们公司旗下AI歌手演唱的歌曲作品发给一些小样歌手听,他们一听就认可“唱的不错”,而当我揭晓谜底,告诉他们这是AI演唱之后,他们又惊呼“AI还可以这样”,随后便是不断陷入“我们要失业了”的焦虑。尽管在目前的形势下,小样歌手好像落于下风,但是面对一些特殊曲风、特殊属性的音乐作品,比如具有民族特色的山歌,或者个性鲜明的说唱,AI还是比不过人类,它的表达不完整。
随着行业的发展,会出现AI代替小样歌手的情况,但AI同样也可以为这些歌手提供新的机遇。比如现在,我们会邀请小样歌手来录制人类原声,他们将自己的声音资源授权给我们,我们再以此为学习素材,采集后提供给AI进行模拟训练。在这个过程中,AI未必能做到百分百一样,它还需要一些技术手段去映射、潜移、融合这些素材,也需要后期过程中人为修正音高和进行标注,从而变成一个崭新的声音。
有时候,一个AI模型,可能需要多个人声素材进行训练。我们有时在训练时,不仅利用A歌手的数据,还加入B歌手的音色特征,例如活泼的萝莉音、成熟御姐音。我们之前打算塑造一个拥有活泼可爱音色的AI女歌手。为了达到这个目的,我们在成都利用自己的人脉进行反复的海选、筛选,最终邀请了一位心仪的小样歌手完成原声录制。
这是这个行业和职业的新发展,而我们也可以看到,所有的工作节点都有人的影子。现在的各大平台,比如哔哩哔哩上,会有很多用户呈现AI翻唱视频,这也是拿虚拟歌手引擎去创作自己的作品,但他们是应用层,我们是开发层加应用层。我们是制作工具的人。
有人说我们是让别人有“AI焦虑”的人,这可能有些夸张,但我自己现在不再焦虑了。你可以看到我们AI工作的一些资源、流程,都说明,我们得先是一个专业的音乐公司、音乐制作人或者说圈内人,然后才能用AI去“降本增效”。AI会来,但不会带着人脉和资源来取代我们。
AI可以在方方面面帮助音乐人、音乐制作家。这些技术和工具非常实用,比如我们可以利用AI把谱子上的音乐数据识别出来,只需要动动手指拍张照片,就可以将图像转化为波形,然后就可以听到音频文件,虽然有可能会很死板。在AI出现之前,这些都是人工完成的,因此制作人更像是一位编辑,将书上的谱子制作成声音影像。而AI更像一个数据库,调用已有的内容去解决细分领域的东西。它可以将我们想要的东西变成电子版,后面再人工交付一下就可以了。
还有一件事也很有趣,当我们需要大规模训练音乐相关AI的时候,我们发现给AI收集数据、“喂”数据,实际上也是一个庞大的工作量,而这个事情也只有其他类型的AI能够胜任。因此我发现,AI之所以发展如此之快,可能AI之间互相促进是一个原因。
AI现在可以制作一些简单的BGM(背景音乐),但是它生成出来的东西在质量上还不足以达到商用级别,需要人工再生成一个创意或Demo,这有时候可能涉及到版权问题。我常听到有人问我,“AI把歌手的二次创意拿来‘三创’到底算不算侵权?”因为AI的数据库非常庞大,通过不同的组合,很小概率上会出现“版权纠纷”。但我个人会建议从业者和使用者增强法律意识和专业意识,避免出现矛盾。
比如有人利用孙燕姿的声音训练AI并发布翻唱视频,但其中“利用孙燕姿声音数据”这件事却被隐瞒,很难考证,就会引发法律上的争议。说白了,一个声音像孙燕姿,不一定就是孙燕姿的声音训练的,也可能是专门模仿孙燕姿的歌手的声音或者其他音色相似的AI。没有见到数据之前什么都无法判定。目前这个行业还刚刚起步,针对这类问题,需要更多的关注,以及时填补AI版权限定的法律空白。至于我们邀请的Demo歌手,都是付费得到授权后再使用人声素材的。
我们的客户也知道我们在生产过程中使用了AI降低成本,目前已经有一部分客户对AI更加青睐,举个例子,之前费列罗找上我们,想按照“蜜雪冰城甜蜜蜜”那首歌写类似的广告曲。蜜雪冰城拿了一个工本音乐去改编,变成了一个广告营销歌,而且非常洗脑。费列罗希望用AI生成100首类似的10种场景下的营销音乐,这些场景有在电梯显示屏上放的、在电影院放的,等等。
这种营销歌曲如果交给传统音乐人来写的话,可能就正儿八经要写100首,而且作曲、混音、编曲、演唱的费用非常高昂,估计要好几千万。而我们则通过AI去生成,给它指定场景去生成一些营销歌词,把字数规定好,并用AI来沿着固定旋律演唱,在10天左右就把这个案子给做完了,成本比预期低了很多,对方也比较满意。只是这种广告营销歌曲对音乐的欣赏性要求就不太高了。
随着科学技术的发展,我们做研发工作的还是会有点担心,因为我们每天都在遇见新问题。大厂每天都在研发、训练、推出新模型,如果我不及时更新自己的所长,就会面临被淘汰的风险。好在,音乐在人工智能领域并不像ChatGPT那种文字类和图片类模型发展得那么迅猛,目前,我敢说全世界都没有一家公司做得特别好。
在艺术造诣角度,我对AI的角色和功能持中立态度。我还是想强调,我们开发AI的初衷是辅助音乐人生成更好更多的灵感,提高专业效率。一些音乐小白可能没有专业基础,不知道和声、曲调这种理论知识,但是又想利用音乐表达自己的感情,我们就可以推出AI来降低他的创作门槛。同理,在教育领域,AI也可以辅助编创,将作曲低龄化,小朋友可以从小就培养创作思维,通过AI作词作曲,并让它直观地演唱出来,有利于开发创造的土壤,培养更多的创作人才。
总之,AI技术是提高生产效率、降本增效、提供创意的一种工具,它有利于社会各个体系的建构,而不是所谓的“冲击市场的捣乱者”。