本文とサイドメニューへジャンプするためのナビゲーションスキップです。

スタートアップガイド

J-Net21 中小企業ビジネス支援サイト

  • J-Net21とは
  • スタートアップガイド
中小機構
  • メルマガ登録
  • RSS一覧
  • お問い合わせ

HOME > 製品・技術を開発する > デジ・ステーション

デジ・ステーション


5分でわかる最新キーワード解説
動画の宇宙で宝探し!「Songrium」って何?

日々進歩するIT技術は、ともすると取り残されてしまいそうな勢いで進化の速度を高めています。そこでキーマンズネット編集部がお届けするのが「5分でわかる最新キーワード解説」。このコーナーを読めば、最新IT事情がスラスラ読み解けるようになることうけあい。忙しいアナタもサラっと読めてタメになる、そんなコーナーを目指します。今回のテーマは、Web上の音楽動画の関係性や類似性を直感的に把握して、コンテンツを「検索」というよりあちこち回って探し求めながら楽しめる音楽視聴支援システム「Songrium(こちらで無料公開中)」。独立行政法人産業技術総合研究所(産総研)が開発したこのシステムは、原曲の「歌ってみた」「踊ってみた」などの派生コンテンツや、時系列での作品派生過程、原曲間の類似度まで分かり、関連する多数の作品を「サビ」だけ視聴していくことも可能です。膨大なコンテンツの中に埋もれているかもしれない「お宝」を探しだせるこのシステムにはどんな技術が使われているのでしょうか?

1.音楽視聴支援システム「Songrium」とは

動画共有サイトで公開されている60万件以上の音楽動画コンテンツの関係性を自動抽出し、直感的に把握できるよう画面上に表現してくれるシステム。楽曲の関係性や類似度をPC画面上にグラフィカルに表示し、キーワードやタグの「検索」では不可能な楽曲との出会いや発見・気づきを与えてくれる。

図1 オリジナル楽曲と派生作品との関係が分かる「惑星ビュー」
図1 オリジナル楽曲と派生作品との関係が分かる「惑星ビュー」

資料提供:産総研

図2 楽曲の類似度を位置関係に置き換えた「音楽星座」ビュー
図2 楽曲の類似度を位置関係に置き換えた「音楽星座」ビュー

資料提供:産総研

1-1.「Songrium」の目的は?

インターネットが普及してこのかた、目的の情報にアクセスする近道を「検索」に求めることが多くなった。その一方、検索結果に情報の偏りが生じていないか不安になることがないだろうか。また複数の本や雑誌、あるいは百科事典などを並べてパラパラめくりながら拾い読みして得られたような、新しい知識との偶然の出会いや発見の喜びがネットでは体験しにくいと感じたことはないだろうか。
 いわば目的に沿って情報を絞り込む収束指向のキーワード検索と、情報を興味・関心に基づいてあちこち回って探し求めるように追跡していく、いわば発散指向の情報利用とは相当のギャップがあるようだ。
 そのギャップを埋めるように、例えば「ソーシャルグラフ」や「連想検索」、あるいはおススメコンテンツを自動抽出してリスト化する「レコメンド」などの技術が誕生してきた。しかしそんな技術も動画の領域には及んでいなかった。タイトルやタグなどのコンテンツの外側にあるデータは利用できても、音楽動画コンテンツを解析して出会いを支援する技術は一部の先端的な研究以外にはなかったのだ。
 ところが今年8月に一般公開されたWeb上の音楽視聴支援サービス「Songrium」は、音楽動画コンテンツ間の関係性を自動抽出し、内容を解析して類似性を導き出し、更に魅力的なユーザインターフェースを持つ、誰にでも使えるサービスとして登場した。音楽動画に限るとはいえ、マルチメディアコンテンツの解析と利用の分野の画期的な出来事だった。
 その目的は「より豊かな音楽鑑賞体験」を支援することだが、それにとどまらず、マルチメディアコンテンツを上手に利活用するための新しい手法を、目に見える形で具体的に提示してくれたことに意義がある。

1-2.Songriumが内包する3つの新技術

音楽動画の関係性を意識した鑑賞を実現する「関係性ブラウジング」
図3 矢印タグで関係性を表示
図3 矢印タグで関係性を表示

資料提供:産総研

(クリックすると大きな画像が表示されます。)

Songriumでは現在、動画共有サイトの「ニコニコ動画」から約10万件、同「YouTube」から約1万件のオリジナル楽曲の音楽動画が登録されている。ご承知の方も多いと思うが、前者のサイトでは「ボーカロイド」を利用したオリジナル楽曲がたくさん共有されている。その楽曲が人気を得ると、別の作者が「歌ってみた」「踊ってみた」「アレンジしてみた」「演奏してみた」「オリジナルPVを作ってみた」という形で改変した派生作品が作られるようになる。時には1曲から5000件以上もの派生作品が誕生するほどだ。

Songriumはそれらのコンテンツ自身に手を加えることなく、関係性を抽出してシステムに登録する。関係性といっても、原曲とアレンジ曲のような「派生関係」、曲調や演奏楽器が似ている「類似関係」、作者間の影響度合いや社会的つながりのような「人間関係」、次に聞きたくなるかどうかの「連想関係」などその種類は様々であるため、単一の技術で抽出するのは困難である。そこでSongriumはWebマイニング技術により「派生関係」を、後述する音楽理解技術により「類似関係」を自動抽出し、それぞれ図1、2のように可視化する。更にそれ以外の関係性のために独自に編み出されたのが図3の「矢印タグ」である。これは任意の作品間を矢印で結び、その矢印に関係性を表現したテキストを付与する仕組みである。
 矢印タグは自動的につけるものもあれば、ユーザが追加するもの(例えば「こちらも好きかも」)もある。いずれも固定されているわけではなく、ユーザがおかしいと思えば矢印タグを変更できるし、まったく新しい矢印タグを作り出すこともできる。この関係性抽出と可視化技術によって実現されるのが「関係性ブラウジング」だ。

図1の「惑星ビュー」では、注目する作品を中心にして様々な派生作品が同心円上に並ぶ。同心円は動画の登録時期を表し、最近の作品は外側に、オリジナルに近い時期の作品ほど内側に表示される。バブル(円形)は再生回数が多いほど大きく、色は「歌ってみた」「踊ってみた」などの種類を示す。画面の右側のペインにはサムネイル画像があり、バブルをクリックすることで注目する作品(画面の中央の作品)が替わり、サムネイルも切り替わる。サムネイルをクリックすれば、そのまま元サイトからストリーミング再生することができる。矢印タグをたどることで、関係性に基づいた作品再生が可能になる。

楽曲の中味を解析して類似度判定や「サビ出し」を行う「音楽理解」機能

もう1つの重要な技術が楽曲の自動解析技術だ。こちらは作品の中味を解析するもので、楽曲の中味を比較して類似度を可視化できる。図2に掲げたように、類似する楽曲が近くに配置されるような「音楽星図」が描ける。注目する作品を中心に全体を俯瞰することもできれば、人気作品(比較的大きなバブル:サムネイル入り)をズーミングして周辺の作品をチェックすることもできる。地図アプリのようにスクロールも自在だ。「最新作品」「ランキング入り作品」「任意のタグを持つ作品」などをフィルタしてハイライト表示することもできる。
 類似の判定では、各楽曲の曲調や雰囲気、音の激しさや周期性等の様々な要素を特徴ベクトルとして求める。そして楽曲の特徴ベクトル間の距離を計算して、距離が近い楽曲が類似していると判定している。
 更に、楽曲の構造も解析されていて、図4のような可視化表示で確認できる。横軸は時間で、横棒が繰り返し部分だ。たとえキー(調性)が違っていても、類似したコード進行やメロディなら同一の繰り返しと判定するところが大事なポイントだ。横棒の中でも一番上のオレンジ色の部分が「サビ」(楽曲の一番特徴的な繰り返し部分)だ。サビ部分にはたいてい特徴的な繰り返しパターンや転調などが利用されている。その特徴からサビが自動的に抽出できるところが一大特長で、「サビ出し」ボタンをクリックすると、サビ部分に一足とびにジャンプできる。楽曲全体を聞かなくても好みの楽曲か短時間で判断できて便利である。

図4 サビ出し機能と楽曲の構造の可視化機能
図4 サビ出し機能と楽曲の構造の可視化機能

資料提供:産総研

また「歌ってみた」の各派生作品に関しては、ボーカルの男声らしさ、女声らしさを男女度として判定可能にした。これは男声、女声の特徴を機械学習技術を使って事前に学習させておき、図5のように、男女度を判定した結果が女声らしいと赤のバブルで、男声らしいと青のバブルで可視化可能にした。同じ楽曲を歌った様々な派生作品を対象に、男女度が違う様子を俯瞰しながら聴き比べることができるようになった。これも世界初の技術だ。

図5-1 ボーカルの男女度の自動判定例
図5-1 ボーカルの男女度の自動判定例

資料提供:産総研

(クリックすると大きな画像が表示されます。)

図5-2 ボーカルの男女度の自動判定例
図5-2 ボーカルの男女度の自動判定例

資料提供:産総研

(クリックすると大きな画像が表示されます。)

多彩な可視化で派生状況や関連イベントの確認も可能

こうした技術を利用して、様々なユーザインタフェースでの音楽動画の視聴が実現している。例えば図6に見るように、ある時点でのボーカロイドオリジナル楽曲の登録状況を、関連する事象のテキストとともに表示できる。オリジナル楽曲の増え方をアニメーション表示したり、条件を設定して当てはまる作品だけを抽出したり、サビだけを連続再生したりすることが可能だ。これは「バブルプレーヤ」と銘打たれ、指定期間に投稿された楽曲を1つのムービーのようにまとめて視聴することができる。

図6 指定期間の投稿楽曲をまとめて視聴可能な「バブルプレーヤ」
図6 指定期間の投稿楽曲をまとめて視聴可能な「バブルプレーヤ」

資料提供:産総研

Songriumのサビ出し機能や惑星ビュー機能はWebブラウザの拡張機能(Songrium Extension)としても提供(現在はChromeのみ)されており、動画共有サイトからすぐに利用可能になっている。またスマートフォンのブラウザ向けに機能を限定したサービスも提供されている。

2.今後の予定と応用

Songriumは音楽動画のコンテンツそのものにまで踏み込んで特徴を解析した点でこれまでにない「音楽理解」を可能にした。オリジナル楽曲に触発されたクリエータが次々と派生作品を生み出している現象は、ボーカロイドなどの歌声合成ソフトが普及して以来、急速に進んだ新しい文化的現象だ。Songriumはその理解や鑑賞をより豊かに楽しむ手立てを提供してくれた。一見新しく生まれた技術に見えるが、その背後にはSongriumの研究開発者達の過去20年以上にわたる音楽情報処理研究の蓄積があるという。その研究から生まれた要素技術には、音楽動画鑑賞のほかにも多様な応用の途が考えられる。
 この研究は、独立行政法人 科学技術振興機構(JST)の戦略的創造研究推進事業(研究代表者:後藤真孝 首席研究員)の一環として実施されたもので、一般公開は実証実験としての意義を持っている。研究チームでは今後も持続的に研究と運用を進める意向で、合わせて産業応用の途を探っているところだ。音楽のレコメンデーションや音楽配信サービスへの利用などが考えられている。技術的には、歌声の声色をより詳細に分析して「誰に似ているか」までも判定することにも取り組んでいるとのことだ。今後の研究の深化とサービスの拡充を期待したい。

※Songriumサイト:http://songrium.jp/

取材協力 : 独立行政法人 産業技術総合研究所

掲載日:2014年1月15日

キーマンズネット

出典元:株式会社リクルート キーマンズネット 2013年11月20日掲載分

検索

このページの先頭へ