ACM通信
技术视角:小提琴协奏曲与马尔科夫模型
在让·西贝柳斯(Jean Sibelius)的《小提琴协奏曲》(Violin Concerto)的开场，这位年轻的独奏家演奏得微妙而近乎慵闲。管弦乐队也以同样的方式回应，将反复出现的弦乐主题变成耳语。随着乐曲的进行，独奏者和管弦乐队交替地演奏主要主题，增强力量和精湛的技巧，这不可避免地导致乐章的激动人心的解决。独奏者看起来如释重负，她穿过舞台与指挥握手。
这位小提琴家，像大多数在音乐教育中的其他人一样，可以极大地受益于与大型乐团的互动，以磨练她的表演技巧。然而，这种需求远远超过了现有管弦乐队的数量和能力，这确保了大多数学生无法获得这种体验。我们的独唱也不例外。前一段描述了她与克里斯·拉斐尔(Chris Raphael)的Music Plus One系统的互动:这是一个由机器学习驱动的系统，而不是与管弦乐队合作，它保留了大量的表现力和互动性，使协奏曲演奏成为一种有益和有教育意义的体验。下面的文章详细介绍了这个方法，可以看视频http://www.music.informatics.indiana.edu/papers/icml10/．
自20世纪80年代以来，人们对自动音乐伴奏进行了积极的研究，以Barry Vercoe和Roger Dannenberg等先行者的工作为开端。这个问题可以分成三个部分:1跟踪人类独奏者的演奏，将其与已知的乐谱匹配，并实时为独奏部分合成适当的伴奏。解决方案通常涉及巧妙的模式匹配机制，用于处理独奏者表演中富有表现力的、演奏错误的或缺失的音符，同时使用模式匹配的输出来驱动伴奏事件的调度。然而，正如拉斐尔所指出的，仅凭反应是不可能完成得分的。该系统必须包含一个预测组件，试图将即将到来的伴奏音与人类玩家即将到来的攻击相匹配。如果不能解决这个问题，可能会对性能造成潜在的灾难性后果。
该方法首先使用一个隐藏的基于马尔可夫模型的乐谱跟踪器，该跟踪器的任务是估计独奏者演奏的音符的开始时间，并将它们与乐谱中的位置匹配。该模型将描述音频输入上的瞬态和基音信息的帧级信号特征序列作为其输出，马尔可夫链的状态图作为建模独奏者表演的音符子图序列。在一个类似于回波抵消的过程中，伴奏者对音频信号的贡献是明确建模的，以避免系统跟随自己。
估计出的音符起始时间序列可用于自适应控制管弦乐录音的播放速度，并与演奏者在乐谱中的位置相匹配。但是，如果没有一定的延迟，就不可能准确地估计独奏者的时间，从而导致管弦乐队始终落后。作者的解决方案是使用高斯图形模型来预测下一个管弦乐队事件的时间，基于之前对独奏和管弦乐队的音符出现的观察。在这种情况下，乐团的重放率(使用成熟的相位声码器方法调制)在观察到新事件时被不断地重新估计，这一公式对缺失的音符是可靠的，因为待处理的乐团音符只取决于那些已观察到的事件。最关键的是，拉斐尔利用排演的信息来调整预测模型，以适应独奏者的演绎风格，从而模仿人类表演者通过练习学会预测彼此的动作的过程。
该系统的体系结构是使用机器学习文献中的常见元素构建的，如隐藏马尔可夫模型和高斯图形模型。然而，这些元素和其他元素都是通过合理的音乐洞察力结合在一起的，以及必要的工程智慧，以使系统实时稳健地工作，这在附带的视频中得到了强调。其结果是一个有效的、尽管有限的人类伴奏者模型，该模型已经在全国一流的音乐学院之一——印第安纳大学雅各布斯音乐学院的学生表演者中进行了广泛的测试。
该系统是迈向成功的重要里程碑机音乐才能。通过机器学习的使用，计算机正在获得曾经被认为是人类独有的新技能。如果音乐能传达人类的情感，那么教电脑播放音乐不是徒劳的吗?《Music Plus One》的美妙之处在于它遵循并放大了人类玩家的情感。从这个意义上说，它很像一种传统的乐器，尽管是一种高度复杂的乐器。《音乐加一》依赖于预先设定的乐谱。也许下一步是创造一个自动的节奏部分，就像爵士音乐家对彼此即兴演奏的即时反应一样，对独奏者做出反应。这将要求机器的音乐才能达到一个新的水平，也将对机器学习构成一个重大挑战，这将增加我们对人类思维创造和即兴创作能力的理解和欣赏。
©2011 acm 0001-0782/11/0300 $10.00
如果您不是为了盈利或商业利益而制作或分发本作品的部分或全部，并在第一页注明本通知和完整引用，则允许您免费制作本作品的部分或全部数字或纸质副本，供个人或课堂使用。本作品的组成部分必须由ACM以外的其他人享有版权。信用文摘是允许的。以其他方式复制、重新发布、在服务器上发布或重新分发到列表，需要事先获得特定的许可和/或费用。请求发布的权限permissions@acm.org或传真(212)869-0481。
数字图书馆是由计算机协会出版的。版权所有©2011 ACM股份有限公司