Jukeboxの基本理論となっているのはVQ-VAEモデル

以前もここで紹介した、OpenAIが発表した音楽自動生成AI「Jukebox」。

作曲・編曲のオープンソースＡＩ Jukebox が興味深い

芸術の世界にもテクノロジーの波が押し寄せている。もちろん今に始まったことではないけれど、今までは人の側にコントロールする「権限が自動的に付与されている」ものであった。例えばヴァイオリンにしても、弾きこなすためには大変な肉体的苦労と精神的な成...

www.attstry.com

2020.05.10

関連記事にもあるように、アーキテクチャの基盤となった理論を学術論文の形で公開しており、Jukeboxのページ右側にある「Paper」の文字をクリックするとPDF形式でがダウンロードできる。

OpenAI Jukebox Sample Explorer

Browse all samples

jukebox.openai.com

VQ-VAEモデルを使っているそうだが、初めてきくのでまったく理解できていない。。。ちょっとだけポイント絞ったサイトがあったので、とっかかりとして勉強している。

Now You Can Generate Music From Scratch With OpenAI's NN Model

OpenAI has introduced a new machine learning model known as Jukebox that generates music while singing in the raw audio ...

analyticsindiamag.com

しかし、かなり手強い。