Songscription launches an AI-powered ‘Shazam for sheet music’ | TechCrunch
Songscriptionは、AIモデルを使って音楽の採譜を自動化するサービスを立ち上げました。
このサービスは楽曲のオーディオファイルを数分で楽譜に変換します。
フリーミアムモデルで運営されており、プロのミュージシャンと趣味のミュージシャンの両方を対象としています。
現在、Songscriptionは複数の楽器に対応しており、特にピアノのモデルが最も信頼性があります。
将来的には、ギタータブ譜などの異なる転写出力や、単一楽器だけでなくフルバンド用のアレンジも追加する計画です。
このサービスは、音楽家が自分の曲を録音し、その音声をアップロードすることで楽譜を得ることができるため、手作業で楽譜を書き写す作業を省くことができます。
また、楽譜の読み書きができない人のために、Songscriptionはピアノロールも生成します。ピアノロールは、仮想ピアノで演奏されている楽曲のデジタル表現です。
ユーザーはYouTubeのリンクから直接音楽の楽譜を自動作成することも可能ですが、ファイルをアップロードする際には、ファイルの楽譜作成の権利を確認するチェックボックスを選択する必要があります。
この点について、SongscriptionのCEOであり、スタンフォード大学MBA/MA教育プログラムの学生でもあるAndrew Carlins氏は、音楽を聴いて耳コピすることが許可されているため（演奏料を請求しない限り）、技術を利用して楽譜を得ることが法的にグレーゾーンに入る可能性があることは理解していますと述べています。
Songscriptionは、AIによる新しい音楽生成を行うのではなく、音楽家が自分の楽譜やギタータブを作成するプロセスを迅速化するためのツールを提供しています。
プラットフォームは、ユーザーが楽譜を編集できる機能を持ち、楽譜作成のプロセスを加速するための拡張楽譜作成ソフトウェアとして位置づけてるとCarlins氏は語った。
このサービスのAIモデルは、共同創設者のTim Beyer氏が研究者のAngela Dai氏と共同で発表した論文に基づいており、必要なトレーニングデータを得るために、ピアノ演奏と楽譜を共有または販売することに意欲的なミュージシャン数名と提携している。
Songscriptionは、同社はパブリックドメインの楽譜も利用しているが、学習データの大部分は合成データだとCarlins氏は語る。
Songscription AI
https://songscription.ai/
END-TO-END PIANO PERFORMANCE-MIDI TO SCORE CONVERSION WITH TRANSFORMERS
https://arxiv.org/pdf/2410.00210
