こんにちは。FLINTERS エンジニアの服部です。
FLINTERSブログ祭りの記事ということで、#エンタメ #音楽 #映像 をテーマに記事を書きました。
はじめに
曲に合わせて歌詞が動く演出は好きですか？
好きな方にオススメなのがリリックアプリです。リリックアプリとは自由に歌詞の演出を行えるWebアプリケーションのことで、ここ数年注目を集めています。
今回はリリックアプリについて紹介したいと思います。
リリックアプリの特徴
動画（リリックビデオ）との大きな違いは以下の3つです。
- Webブラウザ上で動画を生成することで、再生の度に異なる映像を楽しめる
- ユーザーの操作によって映像に様々な演出を加えることができる
- Webサイトとして公開できる
開発方法
TextAlive App API という JavaScript のライブラリを使用します。このライブラリは登録されている楽曲の歌詞やタイミング、声量やビートなど様々な情報を取得し利用することができます。また、映像に限らず端末や機器と楽曲を連動させたアプリの作成も可能です。
JavaScriptの動く環境であれば開発できるので、ゲームエンジンと組み合わせることで簡単に3Dの動きも作ることができます。
実際の開発手順については公式サイトの説明がわかりやすいです。 developer.textalive.jp
なぜボカロ曲なのか？
リリックアプリとVOCALOID楽曲は相性が良く、キャラクターを活かしたアプリや拡張現実と組み合わせたアプリなど工夫次第で様々なリリックアプリを作ることができます。
また、VOCALOID楽曲を利用したリリックアプリのプログラミングコンテストが毎年開催されています。気になる方はチェックしてみてください。 magicalmirai.com
応募者向けサポートページに各機能のサンプルコードや作品のソースコードも上がっているので動かしてみると面白いかもしれません。 developer.textalive.jp
リリックアプリへの期待
作品制作のツールやインタラクティブなビデオといった用途以外にも、ゲームやAR・VRなど様々な使い方ができるため、10年後にはリリックアプリの使用が当たり前になっているかもしれません。
細かい技術の説明や活用例についてはこちらの論文が参考になると思います。 https://junkato.jp/publications/interaction2024-kato-lyric-apps.pdf
