株式会社ドワンゴ

株式会社ドワンゴ（本社：東京都中央区、代表取締役社長：荒木隆司）は、11月2日（月）から5日（木）まで神戸にて開催される、コンピュータグラフィックスとインタラクティブ技術に関する展示会「第8回ACM　シーグラフアジア2015」（http://sa2015.siggraph.org/jp/）にて、同社が運営する日本最大級の動画サービス「niconico」内サービスである「ニコニコ静画」内のイラストデータを用いたディープラーニング技術の応用デモンストレーションを、東京大学大学院 情報理工学系研究科 相澤・山崎研究室（https://www.hal.t.u-tokyo.ac.jp/lab/）のブースにて共同展示致します。

ニコニコ静画の投稿イラストを活用したディープラーニング技術の研究発表

今回の研究発表では「ニコニコ静画」にこれまで投稿されたイラストに付けられたタグをディープラーニング技術によって学習することで得られた応用技術についてデモンストレーションを行います。

■「自動タグ付け」
「ニコニコ静画」のイラストに設定されたタグをディープラーニングで学習することにより、イラストの画像データからユーザに付けられるであろうタグを推定するものです。

■「セマンティックモーフィング(参考画像1)」および「意味的類似画像検索」
自動タグ付けを学習したイラストに付けられたキャラクター名やシチュエーションやジャンルを表すタグを予測するように学習したニューラルネットワークを通じ、イラストの特徴を表す数千次元のベクトルを抽出し、2つのベクトルの中間のベクトルに近いイラストを近傍探索することにより「画像の意味的に中間の画像」を探し出し、画像の意味的なモーフィングを実現するものです。タグを直接扱うのではなく、画像とタグの中間的な情報を用いているため、タグになる以前の、髪色や長さの程度、服装の差異、デフォルメの度合いなどがモーフィング出来ます。

【参考画像1：セマンティックモーフィング】

イラスト画像からニコニコ静画での閲覧数の事前予測

また、もうひとつ展示するデモンストレーションの「イラスト画像からの閲覧数予測(参考画像2)」は、「ニコニコ静画」に投稿された、これまでのイラストの閲覧数とお気に入り数を両方同時にニューラルネットで学習し、一切のメタデータを使わず、画像データのみから閲覧数やお気に入り数を予測するものです。例えば、クリエイターがイラストを投稿して、実際に公開する前に、画像のデータのみから閲覧数・お気に入り数をある程度予測することが出来るようになります。投稿前に予想スコアが上がるまで描き直し、都度予測値のチェックを出来るようにしたり、画像内を複数のエリアに分けて、どの箇所がどの程度予測閲覧数に寄与しているかを提示することで、イラスト画像内のエリア別の重要度の可視化を行うような、クリエイターの方の投稿支援などへの応用などを考えています。

【参考画像２：イラスト画像からの閲覧数予測】

ニコニコ静画イラストデータの学習済みニューラルネットのモデルを公開

なお、今回の展示に利用した、データセット及びデモに必要なディープラーニングの学習済みモデルデータの研究利用向けデータ公開用サイトとして「nico opendata（http://nico-opendata.jp/）」を開設しました。学習済みモデルデータは、2015年9月17日発表したGPUサーバファーム「紅莉栖（くりす）（参考：http://dwango.co.jp/pi/ns/2015/0917/index2.html）」を使用し、「ニコニコ静画」に投稿された200万枚を超えるイラストを学習したディープラーニングのモデルデータです。
モデルデータは2015年11月2日より公開し、イラストデータセット(イラスト及び、タイトルや説明文等のメタデータ)は大学等の学術機関へ2015年12月上旬より研究目的でデータ提供を行ってまいります。

また、今回の「nico opendata（http://nico-opendata.jp/）」でのデータセットの公開と、SIGGRAPH Asiaでの展示は、東京大学大学院 情報理工学系研究科 相澤・山崎研究室との共同研究の一環で行いました。