黑白键上的字节跳动：世界最大钢琴MIDI数据集背后的故事

黑白键上的字节跳动：世界最大钢琴MIDI数据集背后的故事

在纽约大学的 Music X Lab，一架自动演奏钢琴正在演奏古典钢琴独奏《贝尔》。 只有两个人的实验室里，随着钢琴声不断有人加入，大家静静地听着，直到一曲终了。

台下的孔秋强来自字节跳动。 作为-Piano（钢琴转换）研究项目的负责人，他的团队创造了这种可以通过录音转换并自动播放的MIDI音乐。 ‍‍‍‍‍‍‍

通过播放器钢琴转录 MIDI 播放

重构李云迪饰演的《钟声》

“以前从来没有想过星空钢琴曲视频独奏，弹了一会儿就能感受到钢琴家个人演奏带来的震撼，非常满足。”

不久之后，一则与“钢琴曲谱转换”相关的科技新闻引起了国内外的关注。

01

世界上最大的

古典钢琴数据集发布

10月，字节跳动发布了全球最大的古典钢琴数据集——Piano，并开发并开源了高精度钢琴乐谱转换系统。

该数据集筛选转录了2786位作曲家的10854首钢琴作品，不同曲目的总时长达到1237小时，是谷歌数据集的14倍，填补了计算机领域缺乏大规模钢琴MIDI数据的空白音乐。 组的空白。

-钢琴的用途包括但不限于音乐信息检索、自动作曲、智能音乐创作、计算机音乐学等。

简单来说，-Piano将所有能在国际音乐数字图书馆找到的和能在互联网上搜索到的古典钢琴曲都转换成MIDI文件，在数据规模和准确性上都达到了世界顶级水平。

“我们发表的第一篇论文介绍了钢琴记谱法，经上一任硅谷科技博主转发推广后，获得了很多好评。” 孔秋强注意到，很多人都非常喜欢这套钢琴记谱法。 以其精确和精确而令人钦佩。

团队发表的第一篇论文

紧接着，团队发表了第二篇论文《-Piano: A large-scale MIDI for piano music》，发布了数据集，将数据和代码开源，陆续在计算机音乐科学领域投下重磅惊喜。

这组数据集和相关论文一经发布，就得到了来自硅谷乃至全球的科技大V、音乐家、作曲家、研究学者和科技媒体的转发和好评。

很多音乐家和作曲家都试用过这个钢琴转录系统工具包，体验了1-2分钟搭建系统，将自己的音乐转成MIDI的过程，大大降低了使用门槛。 一些用户认为-Piano 比市场上现有的转录系统更流畅、更自然。

此外，他们发现乐谱转换系统包括钢琴键力和钢琴踏板等数据维度，这些维度非常复杂，对钢琴的表现力也很重要，整体上更加准确。

美国纽约著名钢琴家、作曲家Dan《Like》

使用此数据集，将钢琴乐谱转换为 MIDI 文件可能只需点击几下鼠标即可。 不少人表示“多年的梦想终于实现了！”、“这是电脑音乐史上一个重要的里程碑！”

02

不仅要赶上领导

也成为领导者

去年12月，获得英国萨里大学电子信息工程博士学位的孔秋强在实习半年后正式加入字节跳动音频与音乐（SAMI）团队。 中国、欧洲和中国的国际化团队致力于通过智能音频技术赋能内容交互和创作。

邱强与多位曾在行业顶级公司工作过的博士专家合作，专注于一般声音的识别、监测和分类。

除了支持集团的业务需求，团队还将围绕潜在的实际场景部署更长期的前沿研究工作。

做钢琴谱转换项目的动机是想通过基础研究，与这些行业顶尖公司一起，用技术解决本质问题，甚至在研究领域引领一些方向。 “我们不仅要跟着别人走，还要让别人跟着我们走。”

带着这样的想法，孔秋强将目光投向了他一直感兴趣的计算机音乐领域，并时刻关注着最新的研究动向。

“如果你稍微熟悉这个领域，你会发现图像和声音领域分别有和等大数据集，在行业内影响力很大。但在音乐领域，缺乏如此庞大的数据集。”

做-Piano是希望在未来10年甚至30年引领计算机音乐学的发展。 我们为大家准备了数据资料，方便后续研究者在该领域做更深入的研究。

除了数据集之外，在技术层面，最让业内专家惊喜的是——Piano的转换系统可以将琴键的时间精确到1毫秒量级，突破了以往32毫秒的识别精度限制算法。

“这是一个非常流畅的预测，能够以任意时间精度进行音符检测，因此我们称之为高精度预测。”

媒体报道后，孔秋强收到了数十人的邮件，祝贺他，希望交流分享等等。 很多朋友也表达了加入字节跳动的愿望。 一些在海外各大科技公司工作的博士生表示，“能做这么有趣的事情，影响未来的发展，真是了不起。”

机械之心海外报道

对于技术的未来前景，机器之心海外版引用了业内专家的分析——

“这项工作无疑是令人兴奋的，字节跳动可能会将这项技术应用到后疫情时代的在线音乐直播和智能音乐创作中。”

03

“可以做 - 钢琴

因为我们有领先的技术”

孔秋强坦言，他在读博时就有这个想法。 2018年，但由于当时的技术手段无法实现。

“很多人都意识到做一个大的MIDI数据库的必要性，但是由于技术的限制，他们做不到。要做到这一点需要技术积累。我们现在有领先的技术，充足的计算资源，以及顶尖的科学家团队。有能力制作-钢琴。”

从今年1月份开始，在团队的不断积累和支持下，他觉得技术手段允许，就开始准备Piano的工作。

- Piano项目涉及的技术问题非常复杂，最难的是如何组织所有的思路，做好顶层设计，将技术难点一一分解。

从上到下梳理后，团队列出了皮亚诺为了制作它必须克服的困难——

这些困难中的每一个都可以分解成无数个更小的点，需要一个一个地去解决。 比如“钢琴谱”这个项目，随便数一下，可能会有一系列的小挑战——

- 钢琴中排名前 100 位的不同作曲家的曲目数量分布

为了解决这些技术难点，实现高精度，-Piano的技术方案采用了多项领先技术。

第1-3行：前人提出的方法的训练目标

第 4 行：我们提出的方法的训练目标

04

低头的时候

别忘了仰望天空

团队认为，-Piano研究的意义在于，通过研究钢琴转录，可以反哺基础技术的研究。

比如在音乐信息检索的场景中，钢琴转换反馈的音频事件检测技术可以帮助识别歌曲的哪一部分是歌声。 此外，在短视频和特效领域也值得期待。

谈及-Piano未来可能的应用场景，孔秋强难掩兴奋之情星空钢琴曲视频独奏，并描述了通过转录的MIDI文件重构伟大钢琴家演奏场景的可能性。

传输乐谱后，将乐谱插入带有U盘的专用钢琴，即可现场聆听立体声环绕声。 以后大家不用再去买钢琴CD了，相当于把音乐家请到家里来了。

例如，今年是贝多芬诞辰250周年。 观众聚集在音乐厅。 舞台上放置一架可自动演奏的钢琴，插上U盘，观众身临其境，真实还原现场钢琴演奏之美。

转录的 MIDI 和通过播放器钢琴演奏的原始演奏之间的比较汇编

在研究过程中，他们发现古典钢琴曲的数据集只有 10000 首钢琴作品，这比之前想象的要少得多。

“通用的、大规模的、音乐领域的音频数据集，可以关注的方向和可能性有很多。这个项目叫-Piano，加一个Piano的后缀，其实就是给后面留空间，这个后缀也可能是交响乐。

此外，-Piano的研究也是学术界与产业界合作的典型案例。 “学术界的很多想法，因为缺乏企业合作渠道和实际场景，无法顺利落地。”

我们能做到这一点，是因为我们有足够的计算资源、优秀的人才、良好的机制和创新的氛围。 这些都是我们公司的优势。

未来是大数据时代，需要学术界和产业界的密切合作。

- 钢琴项目成果公布后，同事们对孔秋强和项目组表示祝贺。 他有些尴尬：

“团队中有很多博士，每个人都会发起科研项目，公司会提供空间，鼓励大家找到自己的研究领域。除了钢琴转录，SAMI团队在语音合成方面有很多专长，音频处理与识别、音乐理解与创作等方向都有很多积累和创新，其实大家都做得很好，很好。

但最让团队感动的是给予他们的鼓励——希望大家在低头做事的同时，也要仰望星空。