マンガコンテンツの要約を生成する要約マンガ画像生成装置、プログラム及び方法
【課題】マンガコンテンツを画像的に解析することによって、できる限り重要と推定されるコマ画像を自動的に抽出することによって、要約マンガ画像を生成することができる要約マンガ画像生成装置、プログラム及び方法を提供する。
【解決手段】要約マンガ画像生成装置は、多数のコマ画像からなるマンガ画像から、要約マンガ画像を生成する。要約マンガ画像生成装置は、コマ画像Fi毎に、複数の画像特徴要素を抽出する画像特徴要素抽出手段と、コマ画像Fi毎に、複数の画像特徴要素に基づく重要度Score(Fi)を算出する重要度算出手段と、重要度が高いコマ画像から順に、所定個数のコマ画像を選択する重要コマ画像選択手段と、選択された所定個数のコマ画像を結合し、要約マンガ画像を生成する要約画像生成手段とを有する。
【解決手段】要約マンガ画像生成装置は、多数のコマ画像からなるマンガ画像から、要約マンガ画像を生成する。要約マンガ画像生成装置は、コマ画像Fi毎に、複数の画像特徴要素を抽出する画像特徴要素抽出手段と、コマ画像Fi毎に、複数の画像特徴要素に基づく重要度Score(Fi)を算出する重要度算出手段と、重要度が高いコマ画像から順に、所定個数のコマ画像を選択する重要コマ画像選択手段と、選択された所定個数のコマ画像を結合し、要約マンガ画像を生成する要約画像生成手段とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マンガ画像における画像解析技術に関する。
【背景技術】
【０００２】
近年、インターネットを介して、電子書籍を配信・販売するサイトが多く開設されている。このようなサイトでは、検索機能が充実し、様々な要素に基づいて電子書籍を検索することができる。電子書籍としては、文章に基づく小説等の書籍に限られず、画像に基づくマンガのような書籍も含まれる。これら電子書籍には、メタ情報（タイトル、作者名、ジャンル等）が付加されており、ユーザは、そのメタ情報を検索要素として検索することもできる。例えば電子書籍が文章に基づくものである場合、文章内のテキストを、キーワードによって検索することもできる。
【０００３】
ユーザは、検索された電子書籍の中から、読みたい書籍を更に探すために、内容全体に対する要約を短文で表した「概要説明」を読むことが多い、また、書籍内容の一部のみをそのまま明らかにする「立ち読み機能」を有するサイトもある。「立ち読み機能」とは、具体的には、各書籍の最初の数ページ分の画像のみをユーザに明示する。これによって、ユーザは、各書籍内容の一部をレビューすることができる。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】石井大祐、河村圭、渡辺裕、「（レター）コミックのコマ分割処理に関する一検討」、電子情報通信学会論文誌，Vol. J90-D，No.7，pp.1667-1670，Jul. 2007.
【非特許文献２】X. Hou、L. Zhang、「Saliency detection: aspectral residual approach」、Proc. of CVPR’07.
【非特許文献４】L. Itti、C. Koch、E. Niebur、「A Model ofSaliency-Based Visual Attention for Rapid Scene Analysis, IEEE Transactions onPattern Analysis and Machine Intelligence」、Vol. 20、No. 11、pp.1254-1259、Nov1998.
【非特許文献５】Q. Guo、K. Kato、N. Sato、Y. Hoshino、「AnAlgorithm for Extracting Text Strings from Comic Strips」、ACM SIGGRAPH 2006.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
電子書籍の中でも、マンガコンテンツは、多くのユーザによって所望される重要なコンテンツとなっている。しかしながら、マンガコンテンツは、画像に基づくものであるために、メタ情報以外に、内容に基づくテキストによって検索することはできない。
【０００６】
一方で、マンガコンテンツは、「立ち読み機能」を用いることによって、ユーザは、各エピソードの内容を容易に且つ直感的に把握することができる。しかしながら、ユーザにとっては、公開された画像ページによっては、その内容の概略さえも理解できない場合が多い。逆に、著作権者にとっては、その内容が十分に理解できるように多くの画像ページを公開することは、著作権の観点からも、できる限り控えたいと考える。
【０００７】
また、大量のマンガコンテンツを配信・販売するサイトの場合、マンガコンテンツ毎に、立ち読み機能のために公開すべき画像ページを選択するだけでも、多くの人力を要する。
【０００８】
そこで、本発明は、マンガコンテンツを画像的に解析することによって、できる限り重要と推定されるコマ画像を自動的に抽出し、要約マンガ画像を生成することができる要約マンガ画像生成装置、プログラム及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明によれば、複数のコマ画像を含む多数のマンガ画像ページから、要約マンガ画像を生成する要約マンガ画像生成装置であって、
コマ画像Fi毎に、複数の画像特徴要素を抽出する画像特徴要素抽出手段と、
コマ画像Fi毎に、複数の画像特徴要素に基づく重要度Score(Fi)を算出する重要度算出手段と、
重要度が高いコマ画像から順に、所定個数のコマ画像を選択する重要コマ画像選択手段と、
選択された所定個数のコマ画像を結合し、要約マンガ画像を生成する要約画像生成手段とを有することを特徴とする。
【００１０】
本発明の要約マンガ画像生成装置における他の実施形態によれば、
重要度算出手段は、画像特徴要素ｍk(k=1〜j、j：画像特徴要素の数)毎に対応付けられた重み係数ｗkを用いて、コマ画像Fi毎に、画像特徴要素ｍikと重み係数ｗkとの乗算値の和を、重要度Score(Fi)とする
Score(Fi)＝Σk=1jｗk＊ｍik
ことも好ましい。
【００１１】
本発明の要約マンガ画像生成装置における他の実施形態によれば、解析対象のマンガ画像全体から、画像上の線によって囲まれるコマ画像単位に区分するコマ画像分割手段を更に有することも好ましい。
【００１２】
本発明の要約マンガ画像生成装置における他の実施形態によれば、画像特徴要素抽出手段は、メタ情報抽出手段を含み、画像特徴要素として、当該コマ画像のメタ情報を抽出することも好ましい。
【００１３】
本発明の要約マンガ画像生成装置における他の実施形態によれば、画像特徴要素抽出手段は、高顕著性領域抽出手段を含み、画像特徴要素として、マンガ画像全体から当該コマ画像の部分における高顕著性領域を抽出することも好ましい。
【００１４】
本発明の要約マンガ画像生成装置における他の実施形態によれば、画像特徴要素抽出手段は、
マンガ画像全体から吹出領域を抽出する吹出領域抽出手段と、
コマ画像における当該吹出領域の重畳領域の面積によって、吹出領域がいずれのコマ画像に対応付けられているかを表す関連性を抽出する吹出関連性抽出手段と
を含み、画像特徴要素として、当該コマ画像の吹出領域のメタ情報を抽出することも好ましい。
【００１５】
本発明の要約マンガ画像生成装置における他の実施形態によれば、吹出領域から、予め記憶された文字パターンとの照合によって文字を特定するＯＣＲ(Optical Character Recognition)によって、テキストを抽出する文字認識手段を更に有し、画像特徴要素として、当該コマ画像のテキストのメタ情報を抽出することも好ましい。
【００１６】
本発明の要約マンガ画像生成装置における他の実施形態によれば、重要度が高いと選択された多数のコマ画像を学習画像として、サポートベクタマシン(Support Vector Machine)を用いて、コマ画像Fi毎に、当該コマ画像全体における複数の画像特徴要素を抽出し、該画像特徴要素毎の値の傾向から、重み係数ｗiを算出する要約学習手段を更に有することも好ましい。
【００１７】
本発明によれば、複数のコマ画像を含む多数のマンガ画像ページから、要約マンガ画像を生成する装置に搭載されたコンピュータを機能させる要約マンガ画像生成プログラムであって、
コマ画像Fi毎に、複数の画像特徴要素を抽出する画像特徴要素抽出手段と、
コマ画像Fi毎に、複数の画像特徴要素に基づく重要度Score(Fi)を算出する重要度算出手段と、
重要度が高いコマ画像から順に、所定個数のコマ画像を選択する重要コマ画像選択手段と、
選択された所定個数のコマ画像を結合し、要約マンガ画像を生成する要約画像生成手段と
してコンピュータを機能させることを特徴とする。
【００１８】
本発明によれば、装置を用いて、複数のコマ画像を含む多数のマンガ画像ページから、要約マンガ画像を生成する要約マンガ画像生成方法であって、
コマ画像Fi毎に、複数の画像特徴要素を抽出する第１のステップと、
コマ画像Fi毎に、複数の画像特徴要素に基づく重要度Score(Fi)を算出する第２のステップと、
重要度が高いコマ画像から順に、所定個数のコマ画像を選択する第３のステップと、
選択された所定個数のコマ画像を結合し、要約マンガ画像を生成する第４のステップと
を有することを特徴とする。
【発明の効果】
【００１９】
本発明の要約マンガ画像生成装置、プログラム及び方法によれば、マンガコンテンツを画像的に解析することによって、できる限り重要と推定されるコマ画像を自動的に抽出し、要約マンガ画像を生成することができる。
【図面の簡単な説明】
【００２０】
【図１】マンガコンテンツを配信するためのシステム構成図である。
【図２】本発明における要約マンガ画像生成装置の機能構成図である。
【図３】１つのマンガ画像ページを、コマ画像に分割している説明図である。
【図４】１枚のマンガ画像全体における高顕著性領域を表す説明図である。
【図５】コマ画像と吹出領域との対応付けを表す説明図である。
【図６】要約学習部を更に含む要約マンガ画像生成装置の機能構成図である。
【発明を実施するための形態】
【００２１】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
【００２２】
図１は、マンガコンテンツを配信するためのシステム構成図である。
【００２３】
マンガコンテンツデータベース３は、１つの作品としてのマンガコンテンツを蓄積する。１つのマンガコンテンツは、１つのエピソードを、複数のマンガ画像ページによって構成する。
【００２４】
マンガコンテンツ配信サイト２は、著作権者によって管理されるマンガコンテンツデータベース３から、ユーザに配信すべきマンガコンテンツを受信する。マンガコンテンツ配信サイト２は、そのマンガコンテンツをユーザに配信可能となるように蓄積し、ユーザ操作に基づく端末及び携帯電話機４に対する検索機能を有する。端末及び携帯電話機４は、アクセスネットワークを介してインターネットに接続し、マンガコンテンツ配信サイトに接続する。ユーザは、端末及び携帯電話機４を操作して、所望のマンガコンテンツを検索することができる。
【００２５】
ここで、本発明によれば、要約マンガ画像生成装置１が、インターネットに更に接続されており、マンガコンテンツ配信サイト２と通信することができる。要約マンガ画像生成装置１は、マンガコンテンツ配信サイト２から、ユーザに配信可能なマンガコンテンツを受信し、その要約マンガ画像を生成する。生成された要約マンガ画像は、マンガコンテンツ配信サイト２へ返信される。勿論、要約マンガ画像生成装置１は、マンガコンテンツデータベース３からマンガコンテンツを直接的に受信するものであってもよい。
【００２６】
マンガコンテンツ配信サイト２は、ユーザに対するマンガコンテンツのレコメンド機能の一部として、要約マンガ画像を公開することができる。これによって、ユーザは、端末及び携帯電話機４を操作して、検索した後、所望のマンガコンテンツの要約マンガ画像を視認することができる。これによって、ユーザは、そのマンガコンテンツを購入するか否かを判断することができる。
【００２７】
図２は、本発明における要約マンガ画像生成装置の機能構成図である。
【００２８】
図２によれば、要約マンガ画像生成装置１は、外部から、要約を生成すべきマンガコンテンツを入力する。１つのマンガコンテンツは、複数のマンガ画像ページから構成される。また、マンガ画像ページは、画像上の線によって囲まれた多数のコマ画像からなる。
【００２９】
図２によれば、要約マンガ画像生成装置１は、要約マンガ画像生成部１１を有し、これは、装置に搭載されたコンピュータを機能させるマンガ画像解析プログラムを実行することによって実現される。また、要約マンガ画像生成部１１の中の機能構成部における処理フローは、装置における要約マンガ画像生成方法としても理解される。
【００３０】
要約マンガ画像生成部１１は、画像特徴要素抽出部１１０と、重要度算出部１１７と、重要コマ選択部１１８と、要約画像生成部１１９とを有する。画像特徴要素抽出部１１０は、コマ画像Fi毎に、複数の画像特徴要素を抽出するものであって、コマ画像分割部１１１と、メタ情報抽出部１１２と、高顕著性領域抽出部１１３と、吹出領域抽出部１１４と、吹出関連性抽出部１１５と、文字認識部１１６とを含む。
【００３１】
コマ画像分割部１１１は、解析対象のマンガ画像全体から、画像上の線によって囲まれるコマ画像単位に区分する。マンガ画像は、一般に、コマ画像単位に区分されている。
【００３２】
図３は、１つのマンガ画像ページを、コマ画像に分割している説明図である。
【００３３】
図３によれば、コマ画像に分割するために、帯を用いた直線検出により分割線候補を検出し、分割線適合検査によって分割線を決定する（例えば非特許文献１参照）。この技術によれば、分割線候補は、幅１画素の検出線画素を検出し、検出線角度が横軸に対して±４５°以内であれば縦軸方向に隣接した２つの検出線と、それ以外であれば横軸方向に隣接した検出線とを「検出帯」とする。それら検出帯について、濃度勾配方向検査と、コマ内外検査とによって、コマ画像に分割する。コマ画像分割部１１１は、コマ画像単位で、メタ情報抽出部１１２へ出力する。
【００３４】
尚、マンガ画像が、コマ画像単位に予め区分されている場合には、コマ画像分割部１１１は、当然に備える必要はない。例えば、携帯電話機向けに配信されているマンガ画像の場合、コマ画像単位に予め区分されているからである。コマ画像分割部１１１は、あくまでオプション的なものであるが、一般的には必要な機能構成部である。
【００３５】
メタ情報抽出部１１２は、コマ画像毎に、「画像特徴要素」として、当該コマ画像のメタ情報を抽出する。メタ情報は、コマ画像毎の特性であって、例えば、当該コマ画像の幅・高さ・面積の値であってもよい。画像特徴要素としてのメタ情報は、重要度算出部１１７へ出力される。
【００３６】
高顕著性領域抽出部１１３は、「画像特徴要素」として、マンガ画像全体から当該コマ画像の部分における高顕著性領域を抽出する。これは、どこが注目度の高い領域であるかに関する事前確率を決定することによって、画像の中から意味のある注目領域（高顕著性領域）を自動的に抽出する。高顕著性領域の抽出処理について、入力画像の対数スペクトラム情報から、「spectral residual（スペクトル残差）」と称される特徴を抽出する技術がある（例えば非特許文献２及び３参照）。この技術によれば、画像内の任意の箇所の顕著性を算出することができる。その結果から、例えば画像全体のスペクトル残差の平均値を上回る領域を、「高顕著性領域」として抽出することができる。画像領域からの分割は、重要領域（物体）と、それ以外の領域（背景）とに区別する、２値セグメンテーションの問題として定式化できる。
【００３７】
図４は、１枚のマンガ画像全体における高顕著性領域を表す説明図である。図４によれば、高顕著性領域が、ハイライト（白）で表示されている。
【００３８】
また、高顕著性領域抽出部１１３は、マンガ画像ページ全体から得られた高顕著性領域と、分割された複数のコマ画像とを対応付ける。具体的には、コマ画像毎に、高顕著性領域として抽出された面積の割合を算出する。この割合を、画像特徴要素とする。
画像特徴要素＝コマ画像の高顕著性領域の面積／コマ画像全体の面積
【００３９】
吹出領域抽出部１１４は、マンガ画像ページ全体から吹出領域を抽出する。「吹出領域」とは、登場キャラクタの台詞等の文字が記された領域をいう。吹出領域には、一般に、台詞のようなテキストが含まれる。また、マンガ画像は、一般的にモノクロであって、画像のみならずテキスト自体も、人手に基づくペン又は筆によって描かれている場合も多い。そのため、マンガ画像は、風景写真のような画像と異なって、全体的にエッジが多いという特性がある。吹出領域を抽出するために、例えば非特許文献４に記載の技術を適用することができる。
【００４０】
吹出領域抽出部１１４は、抽出された吹出領域から、そのサイズに関連した画像特徴要素（例えば高さ・幅・面積）を、吹出関連性抽出部１１５へ出力する。尚、コマ画像分割部１１１の処理とは、別個独立に実行される。
【００４１】
吹出関連性抽出部１１５は、画像特徴要素として、コマ画像毎に、吹出領域との関連性を抽出する。ここでの関連性とは、その吹出領域が、どのコマ画像に対応付けられたものであるかを意味する。そして、吹出関連抽出部１１５は、吹出領域の画像特徴要素（例えば高さ・幅・面積）と共に、その吹出領域に対応するコマ画像の識別子を、重要度算出部１１７へ出力する。
【００４２】
図５は、コマ画像と吹出領域との対応付けを表す説明図である。
【００４３】
一般的に、マンガ画像の中の吹出領域は、１つのコマ画像の中に収められていることが多い。この場合、吹出領域は、完全に当該コマ画像と重畳しているので、当該コマ画像に対応付けられる。一方で、吹出領域が複数のコマにまたがって重畳して描かれている場合もある。図５によれば、１つの吹出領域が２つ以上のコマ画像に重畳している。
【００４４】
このような場合、吹出領域と各コマ画像との重畳面積を比較することによって、その吹出領域が、どのコマ画像に対応付けられているかを決定する。図５によれば、吹出領域Ａは、コマ画像４、５及び７と重畳しており、最も重畳領域が広くなっているコマ画像４に対応付けられる。また、吹出領域Ｂは、コマ画像３、６及び７と重畳しており、最も重畳領域が広くなっているコマ画像４６対応付けられる。
【００４５】
文字認識部１１６は、抽出された吹出領域の画像について、文字認識処理を適用することにより、台詞のようなテキストを抽出する。例えば、吹出領域の画像と、予め記憶された文字パターンとを照合することによって、文字を特定する。例えば、既存のＯＣＲ(Optical Character Recognition)技術を用いたものであってもよい。文字を検出するために、文字のフォントのエッジ特徴や、その輪郭を囲む矩形領域の間隔などを考慮する。抽出されたテキストから、画像特徴要素として、例えば吹出領域内の文字数を得ることができる。画像特徴要素としての文字数も、重要度算出部１１７へ出力される。
【００４６】
重要度算出部１１７は、１つのマンガコンテンツにおける全てのマンガ画像ページから、例えば以下のような画像特徴要素を入力する。
・コマ画像毎の高さ・幅・面積（メタ情報抽出部）
・マンガ画像全体におけるコマ画像毎の高顕著性領域の割合（高顕著性領域抽出部）
・コマ画像に対応付けられた吹出領域毎の高さ・幅・面積（吹出関連性抽出部）
・吹出領域毎の文字数（文字認識部）
尚、マンガ画像から抽出可能であれば、上記の画像特徴要素以外の要素を含めるものであってもよい。
【００４７】
そして、コマ画像Fi毎に、画像特徴要素j(=1〜j)は、以下のように表される。
ＭFi＝｛ｍi1，ｍi2，・・・，ｍij｝
画像特徴要素ｍｉ毎に対応付けられた重み係数ｗｉを用いて、当該コマ画像Fi全体について、画像特徴要素ｍｉと重み係数ｗｉとの乗算値の和を、重要度Score(Fi)とする。
Score(Fi)＝Σk=1jｗk＊ｍik
ｍix：コマ画像Fiにおけるx番目の画像情報要素
j ：画像情報要素の総数
ｗk ：k番目の画像特徴要素に対する重み係数
【００４８】
重要コマ選択部１１８は、多数のコマ画像の中から、重要度が高いコマ画像から順に、所定個数のコマ画像（上位Ｎ個）を選択する。
【００４９】
ここで、所定個数とは、要約マンガ画像に含めるコマ画像の数を表す。所定個数は、例えば、図１におけるマンガコンテンツ配信サイト２によって公開される要約マンガ画像のコマ画像数を表す。この所定個数は、マンガコンテンツ配信サイト２の運用管理者によって設定されるものであってもよいし、マンガコンテンツデータベース３を管理する著作権者によって設定されるものであってもよい。
【００５０】
要約画像生成部１１９は、選択されたコマ画像を結合した要約マンガ画像を生成する。コマ画像の結合方式としては、例えば、コマ画像を１毎の画像に再配置するものであってもよいし、コマ画像を順次送りながら表示するスライドショーで表示するものであってもよい。生成された要約マンガ画像を、当該要約マンガ画像生成装置１から出力される。
【００５１】
図６は、要約学習部を更に含む要約マンガ画像生成装置の機能構成図である。
【００５２】
図６の要約マンガ画像生成装置１によれば、図１の要約マンガ画像生成部１１に加えて、要約学習部１２を更に有する。要約学習部１２は、重要度が高いと選択された多数のコマ画像を、学習画像として入力する。この学習画像における画像特徴要素の傾向に基づいて、要約マンガ画像が生成されるようにする。
【００５３】
要約学習部１２は、画像特徴要素抽出部１２０と、学習情報出力部１２１とを有する。画像特徴要素抽出部１２０は、要約マンガ画像生成部１１の画像特徴要素抽出部１１０と全く同様のものである。学習情報出力部１２１は、重要度が高いと選択された多数のコマ画像を学習画像として、コマ画像Fi毎に、当該コマ画像全体における複数の画像特徴要素を抽出し、重要コマ画像選択手段に対して学習情報を出力する。
【００５４】
学習情報出力部１２１には、サポートベクタマシン(Support Vector Machine)を用いることも好ましい。「サポートベクタマシン」とは、教師有り学習を用いる識別アルゴリズムであって、パターン認識に適用される。サポートベクタマシンは、線形入力素子を用いて２クラスのパターン識別器を構成するものであって、学習サンプルから、各特徴値との距離を算出することによって、線形入力素子のパラメータを学習する。
【００５５】
具体的には、画像特徴要素ＭFi（＝｛ｍi1，ｍi2，・・・，ｍij｝）をベクトルとして扱う。学習画像について重要度の高いコマとして選択された画像のベクトルを「正例」とし、それ以外のベクトルを「負例」として、回帰分析によって重み係数を生成する。但し、サポートベクタマシンの場合は、識別結果のみを出力するために、入力される学習画像によっては重要コマ画像が過剰に検出されたり、重要コマ画像として検出される件数が不足したりする場合が想定される。その場合、例えば分離超平面からの距離に基づいて、各コマ画像をソートし、上位Ｎ件のコマ画像を選択することも好ましい。
【００５６】
以上、詳細に説明したように、本発明の要約マンガ画像生成装置、プログラム及び方法によれば、マンガコンテンツを画像的に解析することによって、できる限り重要と推定されるコマ画像を自動的に抽出し、要約マンガ画像を生成することができる。マンガコンテンツ配信サイトが、生成された要約マンガ画像をユーザに公開することによって、ユーザは、所望のマンガコンテンツの要約マンガ画像を視認することができる。これによって、ユーザは、そのマンガコンテンツを購入するか否かを判断することができる。
【００５７】
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【符号の説明】
【００５８】
１ 要約マンガ画像生成装置
１１ 要約マンガ画像生成部
１２ 要約学習部
１１０、１２０ 画像特徴要素抽出部
１１１ コマ画像分割部
１１２ メタ情報抽出部
１１３ 高顕著性領域抽出部
１１４ 吹出領域抽出部
１１５ 吹出関連性抽出部
１１６ 文字認識部
１１７ 重要度算出部
１１８ 重要コマ選択部
１１９ 要約画像生成部
１２１ 学習情報出力部
２ マンガコンテンツ配信サイト
３ マンガコンテンツデータベース
４ 端末、携帯電話機
【技術分野】
【０００１】
本発明は、マンガ画像における画像解析技術に関する。
【背景技術】
【０００２】
近年、インターネットを介して、電子書籍を配信・販売するサイトが多く開設されている。このようなサイトでは、検索機能が充実し、様々な要素に基づいて電子書籍を検索することができる。電子書籍としては、文章に基づく小説等の書籍に限られず、画像に基づくマンガのような書籍も含まれる。これら電子書籍には、メタ情報（タイトル、作者名、ジャンル等）が付加されており、ユーザは、そのメタ情報を検索要素として検索することもできる。例えば電子書籍が文章に基づくものである場合、文章内のテキストを、キーワードによって検索することもできる。
【０００３】
ユーザは、検索された電子書籍の中から、読みたい書籍を更に探すために、内容全体に対する要約を短文で表した「概要説明」を読むことが多い、また、書籍内容の一部のみをそのまま明らかにする「立ち読み機能」を有するサイトもある。「立ち読み機能」とは、具体的には、各書籍の最初の数ページ分の画像のみをユーザに明示する。これによって、ユーザは、各書籍内容の一部をレビューすることができる。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】石井大祐、河村圭、渡辺裕、「（レター）コミックのコマ分割処理に関する一検討」、電子情報通信学会論文誌，Vol. J90-D，No.7，pp.1667-1670，Jul. 2007.
【非特許文献２】X. Hou、L. Zhang、「Saliency detection: aspectral residual approach」、Proc. of CVPR’07.
【非特許文献４】L. Itti、C. Koch、E. Niebur、「A Model ofSaliency-Based Visual Attention for Rapid Scene Analysis, IEEE Transactions onPattern Analysis and Machine Intelligence」、Vol. 20、No. 11、pp.1254-1259、Nov1998.
【非特許文献５】Q. Guo、K. Kato、N. Sato、Y. Hoshino、「AnAlgorithm for Extracting Text Strings from Comic Strips」、ACM SIGGRAPH 2006.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
電子書籍の中でも、マンガコンテンツは、多くのユーザによって所望される重要なコンテンツとなっている。しかしながら、マンガコンテンツは、画像に基づくものであるために、メタ情報以外に、内容に基づくテキストによって検索することはできない。
【０００６】
一方で、マンガコンテンツは、「立ち読み機能」を用いることによって、ユーザは、各エピソードの内容を容易に且つ直感的に把握することができる。しかしながら、ユーザにとっては、公開された画像ページによっては、その内容の概略さえも理解できない場合が多い。逆に、著作権者にとっては、その内容が十分に理解できるように多くの画像ページを公開することは、著作権の観点からも、できる限り控えたいと考える。
【０００７】
また、大量のマンガコンテンツを配信・販売するサイトの場合、マンガコンテンツ毎に、立ち読み機能のために公開すべき画像ページを選択するだけでも、多くの人力を要する。
【０００８】
そこで、本発明は、マンガコンテンツを画像的に解析することによって、できる限り重要と推定されるコマ画像を自動的に抽出し、要約マンガ画像を生成することができる要約マンガ画像生成装置、プログラム及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明によれば、複数のコマ画像を含む多数のマンガ画像ページから、要約マンガ画像を生成する要約マンガ画像生成装置であって、
コマ画像Fi毎に、複数の画像特徴要素を抽出する画像特徴要素抽出手段と、
コマ画像Fi毎に、複数の画像特徴要素に基づく重要度Score(Fi)を算出する重要度算出手段と、
重要度が高いコマ画像から順に、所定個数のコマ画像を選択する重要コマ画像選択手段と、
選択された所定個数のコマ画像を結合し、要約マンガ画像を生成する要約画像生成手段とを有することを特徴とする。
【００１０】
本発明の要約マンガ画像生成装置における他の実施形態によれば、
重要度算出手段は、画像特徴要素ｍk(k=1〜j、j：画像特徴要素の数)毎に対応付けられた重み係数ｗkを用いて、コマ画像Fi毎に、画像特徴要素ｍikと重み係数ｗkとの乗算値の和を、重要度Score(Fi)とする
Score(Fi)＝Σk=1jｗk＊ｍik
ことも好ましい。
【００１１】
本発明の要約マンガ画像生成装置における他の実施形態によれば、解析対象のマンガ画像全体から、画像上の線によって囲まれるコマ画像単位に区分するコマ画像分割手段を更に有することも好ましい。
【００１２】
本発明の要約マンガ画像生成装置における他の実施形態によれば、画像特徴要素抽出手段は、メタ情報抽出手段を含み、画像特徴要素として、当該コマ画像のメタ情報を抽出することも好ましい。
【００１３】
本発明の要約マンガ画像生成装置における他の実施形態によれば、画像特徴要素抽出手段は、高顕著性領域抽出手段を含み、画像特徴要素として、マンガ画像全体から当該コマ画像の部分における高顕著性領域を抽出することも好ましい。
【００１４】
本発明の要約マンガ画像生成装置における他の実施形態によれば、画像特徴要素抽出手段は、
マンガ画像全体から吹出領域を抽出する吹出領域抽出手段と、
コマ画像における当該吹出領域の重畳領域の面積によって、吹出領域がいずれのコマ画像に対応付けられているかを表す関連性を抽出する吹出関連性抽出手段と
を含み、画像特徴要素として、当該コマ画像の吹出領域のメタ情報を抽出することも好ましい。
【００１５】
本発明の要約マンガ画像生成装置における他の実施形態によれば、吹出領域から、予め記憶された文字パターンとの照合によって文字を特定するＯＣＲ(Optical Character Recognition)によって、テキストを抽出する文字認識手段を更に有し、画像特徴要素として、当該コマ画像のテキストのメタ情報を抽出することも好ましい。
【００１６】
本発明の要約マンガ画像生成装置における他の実施形態によれば、重要度が高いと選択された多数のコマ画像を学習画像として、サポートベクタマシン(Support Vector Machine)を用いて、コマ画像Fi毎に、当該コマ画像全体における複数の画像特徴要素を抽出し、該画像特徴要素毎の値の傾向から、重み係数ｗiを算出する要約学習手段を更に有することも好ましい。
【００１７】
本発明によれば、複数のコマ画像を含む多数のマンガ画像ページから、要約マンガ画像を生成する装置に搭載されたコンピュータを機能させる要約マンガ画像生成プログラムであって、
コマ画像Fi毎に、複数の画像特徴要素を抽出する画像特徴要素抽出手段と、
コマ画像Fi毎に、複数の画像特徴要素に基づく重要度Score(Fi)を算出する重要度算出手段と、
重要度が高いコマ画像から順に、所定個数のコマ画像を選択する重要コマ画像選択手段と、
選択された所定個数のコマ画像を結合し、要約マンガ画像を生成する要約画像生成手段と
してコンピュータを機能させることを特徴とする。
【００１８】
本発明によれば、装置を用いて、複数のコマ画像を含む多数のマンガ画像ページから、要約マンガ画像を生成する要約マンガ画像生成方法であって、
コマ画像Fi毎に、複数の画像特徴要素を抽出する第１のステップと、
コマ画像Fi毎に、複数の画像特徴要素に基づく重要度Score(Fi)を算出する第２のステップと、
重要度が高いコマ画像から順に、所定個数のコマ画像を選択する第３のステップと、
選択された所定個数のコマ画像を結合し、要約マンガ画像を生成する第４のステップと
を有することを特徴とする。
【発明の効果】
【００１９】
本発明の要約マンガ画像生成装置、プログラム及び方法によれば、マンガコンテンツを画像的に解析することによって、できる限り重要と推定されるコマ画像を自動的に抽出し、要約マンガ画像を生成することができる。
【図面の簡単な説明】
【００２０】
【図１】マンガコンテンツを配信するためのシステム構成図である。
【図２】本発明における要約マンガ画像生成装置の機能構成図である。
【図３】１つのマンガ画像ページを、コマ画像に分割している説明図である。
【図４】１枚のマンガ画像全体における高顕著性領域を表す説明図である。
【図５】コマ画像と吹出領域との対応付けを表す説明図である。
【図６】要約学習部を更に含む要約マンガ画像生成装置の機能構成図である。
【発明を実施するための形態】
【００２１】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
【００２２】
図１は、マンガコンテンツを配信するためのシステム構成図である。
【００２３】
マンガコンテンツデータベース３は、１つの作品としてのマンガコンテンツを蓄積する。１つのマンガコンテンツは、１つのエピソードを、複数のマンガ画像ページによって構成する。
【００２４】
マンガコンテンツ配信サイト２は、著作権者によって管理されるマンガコンテンツデータベース３から、ユーザに配信すべきマンガコンテンツを受信する。マンガコンテンツ配信サイト２は、そのマンガコンテンツをユーザに配信可能となるように蓄積し、ユーザ操作に基づく端末及び携帯電話機４に対する検索機能を有する。端末及び携帯電話機４は、アクセスネットワークを介してインターネットに接続し、マンガコンテンツ配信サイトに接続する。ユーザは、端末及び携帯電話機４を操作して、所望のマンガコンテンツを検索することができる。
【００２５】
ここで、本発明によれば、要約マンガ画像生成装置１が、インターネットに更に接続されており、マンガコンテンツ配信サイト２と通信することができる。要約マンガ画像生成装置１は、マンガコンテンツ配信サイト２から、ユーザに配信可能なマンガコンテンツを受信し、その要約マンガ画像を生成する。生成された要約マンガ画像は、マンガコンテンツ配信サイト２へ返信される。勿論、要約マンガ画像生成装置１は、マンガコンテンツデータベース３からマンガコンテンツを直接的に受信するものであってもよい。
【００２６】
マンガコンテンツ配信サイト２は、ユーザに対するマンガコンテンツのレコメンド機能の一部として、要約マンガ画像を公開することができる。これによって、ユーザは、端末及び携帯電話機４を操作して、検索した後、所望のマンガコンテンツの要約マンガ画像を視認することができる。これによって、ユーザは、そのマンガコンテンツを購入するか否かを判断することができる。
【００２７】
図２は、本発明における要約マンガ画像生成装置の機能構成図である。
【００２８】
図２によれば、要約マンガ画像生成装置１は、外部から、要約を生成すべきマンガコンテンツを入力する。１つのマンガコンテンツは、複数のマンガ画像ページから構成される。また、マンガ画像ページは、画像上の線によって囲まれた多数のコマ画像からなる。
【００２９】
図２によれば、要約マンガ画像生成装置１は、要約マンガ画像生成部１１を有し、これは、装置に搭載されたコンピュータを機能させるマンガ画像解析プログラムを実行することによって実現される。また、要約マンガ画像生成部１１の中の機能構成部における処理フローは、装置における要約マンガ画像生成方法としても理解される。
【００３０】
要約マンガ画像生成部１１は、画像特徴要素抽出部１１０と、重要度算出部１１７と、重要コマ選択部１１８と、要約画像生成部１１９とを有する。画像特徴要素抽出部１１０は、コマ画像Fi毎に、複数の画像特徴要素を抽出するものであって、コマ画像分割部１１１と、メタ情報抽出部１１２と、高顕著性領域抽出部１１３と、吹出領域抽出部１１４と、吹出関連性抽出部１１５と、文字認識部１１６とを含む。
【００３１】
コマ画像分割部１１１は、解析対象のマンガ画像全体から、画像上の線によって囲まれるコマ画像単位に区分する。マンガ画像は、一般に、コマ画像単位に区分されている。
【００３２】
図３は、１つのマンガ画像ページを、コマ画像に分割している説明図である。
【００３３】
図３によれば、コマ画像に分割するために、帯を用いた直線検出により分割線候補を検出し、分割線適合検査によって分割線を決定する（例えば非特許文献１参照）。この技術によれば、分割線候補は、幅１画素の検出線画素を検出し、検出線角度が横軸に対して±４５°以内であれば縦軸方向に隣接した２つの検出線と、それ以外であれば横軸方向に隣接した検出線とを「検出帯」とする。それら検出帯について、濃度勾配方向検査と、コマ内外検査とによって、コマ画像に分割する。コマ画像分割部１１１は、コマ画像単位で、メタ情報抽出部１１２へ出力する。
【００３４】
尚、マンガ画像が、コマ画像単位に予め区分されている場合には、コマ画像分割部１１１は、当然に備える必要はない。例えば、携帯電話機向けに配信されているマンガ画像の場合、コマ画像単位に予め区分されているからである。コマ画像分割部１１１は、あくまでオプション的なものであるが、一般的には必要な機能構成部である。
【００３５】
メタ情報抽出部１１２は、コマ画像毎に、「画像特徴要素」として、当該コマ画像のメタ情報を抽出する。メタ情報は、コマ画像毎の特性であって、例えば、当該コマ画像の幅・高さ・面積の値であってもよい。画像特徴要素としてのメタ情報は、重要度算出部１１７へ出力される。
【００３６】
高顕著性領域抽出部１１３は、「画像特徴要素」として、マンガ画像全体から当該コマ画像の部分における高顕著性領域を抽出する。これは、どこが注目度の高い領域であるかに関する事前確率を決定することによって、画像の中から意味のある注目領域（高顕著性領域）を自動的に抽出する。高顕著性領域の抽出処理について、入力画像の対数スペクトラム情報から、「spectral residual（スペクトル残差）」と称される特徴を抽出する技術がある（例えば非特許文献２及び３参照）。この技術によれば、画像内の任意の箇所の顕著性を算出することができる。その結果から、例えば画像全体のスペクトル残差の平均値を上回る領域を、「高顕著性領域」として抽出することができる。画像領域からの分割は、重要領域（物体）と、それ以外の領域（背景）とに区別する、２値セグメンテーションの問題として定式化できる。
【００３７】
図４は、１枚のマンガ画像全体における高顕著性領域を表す説明図である。図４によれば、高顕著性領域が、ハイライト（白）で表示されている。
【００３８】
また、高顕著性領域抽出部１１３は、マンガ画像ページ全体から得られた高顕著性領域と、分割された複数のコマ画像とを対応付ける。具体的には、コマ画像毎に、高顕著性領域として抽出された面積の割合を算出する。この割合を、画像特徴要素とする。
画像特徴要素＝コマ画像の高顕著性領域の面積／コマ画像全体の面積
【００３９】
吹出領域抽出部１１４は、マンガ画像ページ全体から吹出領域を抽出する。「吹出領域」とは、登場キャラクタの台詞等の文字が記された領域をいう。吹出領域には、一般に、台詞のようなテキストが含まれる。また、マンガ画像は、一般的にモノクロであって、画像のみならずテキスト自体も、人手に基づくペン又は筆によって描かれている場合も多い。そのため、マンガ画像は、風景写真のような画像と異なって、全体的にエッジが多いという特性がある。吹出領域を抽出するために、例えば非特許文献４に記載の技術を適用することができる。
【００４０】
吹出領域抽出部１１４は、抽出された吹出領域から、そのサイズに関連した画像特徴要素（例えば高さ・幅・面積）を、吹出関連性抽出部１１５へ出力する。尚、コマ画像分割部１１１の処理とは、別個独立に実行される。
【００４１】
吹出関連性抽出部１１５は、画像特徴要素として、コマ画像毎に、吹出領域との関連性を抽出する。ここでの関連性とは、その吹出領域が、どのコマ画像に対応付けられたものであるかを意味する。そして、吹出関連抽出部１１５は、吹出領域の画像特徴要素（例えば高さ・幅・面積）と共に、その吹出領域に対応するコマ画像の識別子を、重要度算出部１１７へ出力する。
【００４２】
図５は、コマ画像と吹出領域との対応付けを表す説明図である。
【００４３】
一般的に、マンガ画像の中の吹出領域は、１つのコマ画像の中に収められていることが多い。この場合、吹出領域は、完全に当該コマ画像と重畳しているので、当該コマ画像に対応付けられる。一方で、吹出領域が複数のコマにまたがって重畳して描かれている場合もある。図５によれば、１つの吹出領域が２つ以上のコマ画像に重畳している。
【００４４】
このような場合、吹出領域と各コマ画像との重畳面積を比較することによって、その吹出領域が、どのコマ画像に対応付けられているかを決定する。図５によれば、吹出領域Ａは、コマ画像４、５及び７と重畳しており、最も重畳領域が広くなっているコマ画像４に対応付けられる。また、吹出領域Ｂは、コマ画像３、６及び７と重畳しており、最も重畳領域が広くなっているコマ画像４６対応付けられる。
【００４５】
文字認識部１１６は、抽出された吹出領域の画像について、文字認識処理を適用することにより、台詞のようなテキストを抽出する。例えば、吹出領域の画像と、予め記憶された文字パターンとを照合することによって、文字を特定する。例えば、既存のＯＣＲ(Optical Character Recognition)技術を用いたものであってもよい。文字を検出するために、文字のフォントのエッジ特徴や、その輪郭を囲む矩形領域の間隔などを考慮する。抽出されたテキストから、画像特徴要素として、例えば吹出領域内の文字数を得ることができる。画像特徴要素としての文字数も、重要度算出部１１７へ出力される。
【００４６】
重要度算出部１１７は、１つのマンガコンテンツにおける全てのマンガ画像ページから、例えば以下のような画像特徴要素を入力する。
・コマ画像毎の高さ・幅・面積（メタ情報抽出部）
・マンガ画像全体におけるコマ画像毎の高顕著性領域の割合（高顕著性領域抽出部）
・コマ画像に対応付けられた吹出領域毎の高さ・幅・面積（吹出関連性抽出部）
・吹出領域毎の文字数（文字認識部）
尚、マンガ画像から抽出可能であれば、上記の画像特徴要素以外の要素を含めるものであってもよい。
【００４７】
そして、コマ画像Fi毎に、画像特徴要素j(=1〜j)は、以下のように表される。
ＭFi＝｛ｍi1，ｍi2，・・・，ｍij｝
画像特徴要素ｍｉ毎に対応付けられた重み係数ｗｉを用いて、当該コマ画像Fi全体について、画像特徴要素ｍｉと重み係数ｗｉとの乗算値の和を、重要度Score(Fi)とする。
Score(Fi)＝Σk=1jｗk＊ｍik
ｍix：コマ画像Fiにおけるx番目の画像情報要素
j ：画像情報要素の総数
ｗk ：k番目の画像特徴要素に対する重み係数
【００４８】
重要コマ選択部１１８は、多数のコマ画像の中から、重要度が高いコマ画像から順に、所定個数のコマ画像（上位Ｎ個）を選択する。
【００４９】
ここで、所定個数とは、要約マンガ画像に含めるコマ画像の数を表す。所定個数は、例えば、図１におけるマンガコンテンツ配信サイト２によって公開される要約マンガ画像のコマ画像数を表す。この所定個数は、マンガコンテンツ配信サイト２の運用管理者によって設定されるものであってもよいし、マンガコンテンツデータベース３を管理する著作権者によって設定されるものであってもよい。
【００５０】
要約画像生成部１１９は、選択されたコマ画像を結合した要約マンガ画像を生成する。コマ画像の結合方式としては、例えば、コマ画像を１毎の画像に再配置するものであってもよいし、コマ画像を順次送りながら表示するスライドショーで表示するものであってもよい。生成された要約マンガ画像を、当該要約マンガ画像生成装置１から出力される。
【００５１】
図６は、要約学習部を更に含む要約マンガ画像生成装置の機能構成図である。
【００５２】
図６の要約マンガ画像生成装置１によれば、図１の要約マンガ画像生成部１１に加えて、要約学習部１２を更に有する。要約学習部１２は、重要度が高いと選択された多数のコマ画像を、学習画像として入力する。この学習画像における画像特徴要素の傾向に基づいて、要約マンガ画像が生成されるようにする。
【００５３】
要約学習部１２は、画像特徴要素抽出部１２０と、学習情報出力部１２１とを有する。画像特徴要素抽出部１２０は、要約マンガ画像生成部１１の画像特徴要素抽出部１１０と全く同様のものである。学習情報出力部１２１は、重要度が高いと選択された多数のコマ画像を学習画像として、コマ画像Fi毎に、当該コマ画像全体における複数の画像特徴要素を抽出し、重要コマ画像選択手段に対して学習情報を出力する。
【００５４】
学習情報出力部１２１には、サポートベクタマシン(Support Vector Machine)を用いることも好ましい。「サポートベクタマシン」とは、教師有り学習を用いる識別アルゴリズムであって、パターン認識に適用される。サポートベクタマシンは、線形入力素子を用いて２クラスのパターン識別器を構成するものであって、学習サンプルから、各特徴値との距離を算出することによって、線形入力素子のパラメータを学習する。
【００５５】
具体的には、画像特徴要素ＭFi（＝｛ｍi1，ｍi2，・・・，ｍij｝）をベクトルとして扱う。学習画像について重要度の高いコマとして選択された画像のベクトルを「正例」とし、それ以外のベクトルを「負例」として、回帰分析によって重み係数を生成する。但し、サポートベクタマシンの場合は、識別結果のみを出力するために、入力される学習画像によっては重要コマ画像が過剰に検出されたり、重要コマ画像として検出される件数が不足したりする場合が想定される。その場合、例えば分離超平面からの距離に基づいて、各コマ画像をソートし、上位Ｎ件のコマ画像を選択することも好ましい。
【００５６】
以上、詳細に説明したように、本発明の要約マンガ画像生成装置、プログラム及び方法によれば、マンガコンテンツを画像的に解析することによって、できる限り重要と推定されるコマ画像を自動的に抽出し、要約マンガ画像を生成することができる。マンガコンテンツ配信サイトが、生成された要約マンガ画像をユーザに公開することによって、ユーザは、所望のマンガコンテンツの要約マンガ画像を視認することができる。これによって、ユーザは、そのマンガコンテンツを購入するか否かを判断することができる。
【００５７】
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【符号の説明】
【００５８】
１ 要約マンガ画像生成装置
１１ 要約マンガ画像生成部
１２ 要約学習部
１１０、１２０ 画像特徴要素抽出部
１１１ コマ画像分割部
１１２ メタ情報抽出部
１１３ 高顕著性領域抽出部
１１４ 吹出領域抽出部
１１５ 吹出関連性抽出部
１１６ 文字認識部
１１７ 重要度算出部
１１８ 重要コマ選択部
１１９ 要約画像生成部
１２１ 学習情報出力部
２ マンガコンテンツ配信サイト
３ マンガコンテンツデータベース
４ 端末、携帯電話機
【特許請求の範囲】
【請求項１】
複数のコマ画像を含む多数のマンガ画像ページから、要約マンガ画像を生成する要約マンガ画像生成装置であって、
コマ画像Fi毎に、複数の画像特徴要素を抽出する画像特徴要素抽出手段と、
コマ画像Fi毎に、複数の画像特徴要素に基づく重要度Score(Fi)を算出する重要度算出手段と、
前記重要度が高いコマ画像から順に、所定個数のコマ画像を選択する重要コマ画像選択手段と、
選択された所定個数のコマ画像を結合し、要約マンガ画像を生成する要約画像生成手段と
を有することを特徴とする要約マンガ画像生成装置。
【請求項２】
前記重要度算出手段は、前記画像特徴要素ｍk(k=1〜j、j：画像特徴要素の数)毎に対応付けられた重み係数ｗkを用いて、コマ画像Fi毎に、画像特徴要素ｍikと重み係数ｗkとの乗算値の和を、前記重要度Score(Fi)とする
Score(Fi)＝Σk=1jｗk＊ｍik
ことを特徴とする請求項１に記載の要約マンガ生成装置。
【請求項３】
解析対象のマンガ画像全体から、画像上の線によって囲まれるコマ画像単位に区分するコマ画像分割手段を更に有することを特徴とする請求項１又は２に記載の要約マンガ画像生成装置。
【請求項４】
前記画像特徴要素抽出手段は、メタ情報抽出手段を含み、
前記画像特徴要素として、当該コマ画像のメタ情報を抽出することを特徴とする請求項１から３のいずれか１項に記載の要約マンガ画像生成装置。
【請求項５】
前記画像特徴要素抽出手段は、高顕著性領域抽出手段を含み、
前記画像特徴要素として、前記マンガ画像全体から当該コマ画像の部分における高顕著性領域を抽出することを特徴とする請求項１から４のいずれか１項に記載の要約マンガ画像生成装置。
【請求項６】
前記画像特徴要素抽出手段は、
前記マンガ画像全体から吹出領域を抽出する吹出領域抽出手段と、
コマ画像における当該吹出領域の重畳領域の面積によって、前記吹出領域がいずれのコマ画像に対応付けられているかを表す関連性を抽出する吹出関連性抽出手段と
を含み、前記画像特徴要素として、当該コマ画像の吹出領域のメタ情報を抽出する
ことを特徴とする請求項１から５のいずれか１項に記載の要約マンガ画像生成装置。
【請求項７】
前記吹出領域から、予め記憶された文字パターンとの照合によって文字を特定するＯＣＲ(Optical Character Recognition)によって、テキストを抽出する文字認識手段を更に有し、
前記画像特徴要素として、当該コマ画像のテキストのメタ情報を抽出する
ことを特徴とする請求項６に記載の要約マンガ画像生成装置。
【請求項８】
重要度が高いと選択された多数のコマ画像を学習画像として、サポートベクタマシン(Support Vector Machine)を用いて、前記コマ画像Fi毎に、当該コマ画像全体における複数の画像特徴要素を抽出し、前記重要コマ画像選択手段に対して学習情報を出力する要約学習手段を更に有することを特徴とする請求項１から７のいずれか１項に記載の要約マンガ画像生成装置。
【請求項９】
複数のコマ画像を含む多数のマンガ画像ページから、要約マンガ画像を生成する装置に搭載されたコンピュータを機能させる要約マンガ画像生成プログラムであって、
コマ画像Fi毎に、複数の画像特徴要素を抽出する画像特徴要素抽出手段と、
コマ画像Fi毎に、複数の画像特徴要素に基づく重要度Score(Fi)を算出する重要度算出手段と、
前記重要度が高いコマ画像から順に、所定個数のコマ画像を選択する重要コマ画像選択手段と、
選択された所定個数のコマ画像を結合し、要約マンガ画像を生成する要約画像生成手段と
してコンピュータを機能させることを特徴とするマンガ画像生成用のプログラム。
【請求項１０】
装置を用いて、複数のコマ画像を含む多数のマンガ画像ページから、要約マンガ画像を生成する要約マンガ画像生成方法であって、
コマ画像Fi毎に、複数の画像特徴要素を抽出する第１のステップと、
コマ画像Fi毎に、複数の画像特徴要素に基づく重要度Score(Fi)を算出する第２のステップと、
前記重要度が高いコマ画像から順に、所定個数のコマ画像を選択する第３のステップと、
選択された所定個数のコマ画像を結合し、要約マンガ画像を生成する第４のステップと
を有することを特徴とする要約マンガ画像生成方法。
【請求項１】
複数のコマ画像を含む多数のマンガ画像ページから、要約マンガ画像を生成する要約マンガ画像生成装置であって、
コマ画像Fi毎に、複数の画像特徴要素を抽出する画像特徴要素抽出手段と、
コマ画像Fi毎に、複数の画像特徴要素に基づく重要度Score(Fi)を算出する重要度算出手段と、
前記重要度が高いコマ画像から順に、所定個数のコマ画像を選択する重要コマ画像選択手段と、
選択された所定個数のコマ画像を結合し、要約マンガ画像を生成する要約画像生成手段と
を有することを特徴とする要約マンガ画像生成装置。
【請求項２】
前記重要度算出手段は、前記画像特徴要素ｍk(k=1〜j、j：画像特徴要素の数)毎に対応付けられた重み係数ｗkを用いて、コマ画像Fi毎に、画像特徴要素ｍikと重み係数ｗkとの乗算値の和を、前記重要度Score(Fi)とする
Score(Fi)＝Σk=1jｗk＊ｍik
ことを特徴とする請求項１に記載の要約マンガ生成装置。
【請求項３】
解析対象のマンガ画像全体から、画像上の線によって囲まれるコマ画像単位に区分するコマ画像分割手段を更に有することを特徴とする請求項１又は２に記載の要約マンガ画像生成装置。
【請求項４】
前記画像特徴要素抽出手段は、メタ情報抽出手段を含み、
前記画像特徴要素として、当該コマ画像のメタ情報を抽出することを特徴とする請求項１から３のいずれか１項に記載の要約マンガ画像生成装置。
【請求項５】
前記画像特徴要素抽出手段は、高顕著性領域抽出手段を含み、
前記画像特徴要素として、前記マンガ画像全体から当該コマ画像の部分における高顕著性領域を抽出することを特徴とする請求項１から４のいずれか１項に記載の要約マンガ画像生成装置。
【請求項６】
前記画像特徴要素抽出手段は、
前記マンガ画像全体から吹出領域を抽出する吹出領域抽出手段と、
コマ画像における当該吹出領域の重畳領域の面積によって、前記吹出領域がいずれのコマ画像に対応付けられているかを表す関連性を抽出する吹出関連性抽出手段と
を含み、前記画像特徴要素として、当該コマ画像の吹出領域のメタ情報を抽出する
ことを特徴とする請求項１から５のいずれか１項に記載の要約マンガ画像生成装置。
【請求項７】
前記吹出領域から、予め記憶された文字パターンとの照合によって文字を特定するＯＣＲ(Optical Character Recognition)によって、テキストを抽出する文字認識手段を更に有し、
前記画像特徴要素として、当該コマ画像のテキストのメタ情報を抽出する
ことを特徴とする請求項６に記載の要約マンガ画像生成装置。
【請求項８】
重要度が高いと選択された多数のコマ画像を学習画像として、サポートベクタマシン(Support Vector Machine)を用いて、前記コマ画像Fi毎に、当該コマ画像全体における複数の画像特徴要素を抽出し、前記重要コマ画像選択手段に対して学習情報を出力する要約学習手段を更に有することを特徴とする請求項１から７のいずれか１項に記載の要約マンガ画像生成装置。
【請求項９】
複数のコマ画像を含む多数のマンガ画像ページから、要約マンガ画像を生成する装置に搭載されたコンピュータを機能させる要約マンガ画像生成プログラムであって、
コマ画像Fi毎に、複数の画像特徴要素を抽出する画像特徴要素抽出手段と、
コマ画像Fi毎に、複数の画像特徴要素に基づく重要度Score(Fi)を算出する重要度算出手段と、
前記重要度が高いコマ画像から順に、所定個数のコマ画像を選択する重要コマ画像選択手段と、
選択された所定個数のコマ画像を結合し、要約マンガ画像を生成する要約画像生成手段と
してコンピュータを機能させることを特徴とするマンガ画像生成用のプログラム。
【請求項１０】
装置を用いて、複数のコマ画像を含む多数のマンガ画像ページから、要約マンガ画像を生成する要約マンガ画像生成方法であって、
コマ画像Fi毎に、複数の画像特徴要素を抽出する第１のステップと、
コマ画像Fi毎に、複数の画像特徴要素に基づく重要度Score(Fi)を算出する第２のステップと、
前記重要度が高いコマ画像から順に、所定個数のコマ画像を選択する第３のステップと、
選択された所定個数のコマ画像を結合し、要約マンガ画像を生成する第４のステップと
を有することを特徴とする要約マンガ画像生成方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１１−２３８０４３（Ｐ２０１１−２３８０４３Ａ）
【公開日】平成２３年１１月２４日（２０１１．１１．２４）
【国際特許分類】
【出願番号】特願２０１０−１０９２１１（Ｐ２０１０−１０９２１１）
【出願日】平成２２年５月１１日（２０１０．５．１１）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
【公開日】平成２３年１１月２４日（２０１１．１１．２４）
【国際特許分類】
【出願日】平成２２年５月１１日（２０１０．５．１１）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
[ Back to top ]