画像検索装置、方法、及びプログラム
【課題】クエリ用の画像の部分領域に類似した画像を含む映像ファイルを精度良く検索することができるようにする。
【解決手段】蓄積特徴抽出部４２によって、複数の映像ファイルから得られる各静止画像について、局所的な特徴、部分的な特徴、及び大域的な特徴を抽出する。索引生成部４３によって、各静止画像について抽出された局所的な特徴、部分的な特徴、及び大域的な特徴を格納した索引データを生成する。部分画像取得部４４によって、入力された検索クエリ用の静止画像及び部分領域を取得する。入力特徴抽出部４６によって、検索クエリ用の静止画像について、局所的な特徴、部分的な特徴、及び大域的な特徴を抽出する。索引検索部４６によって、各静止画像について、検索クエリ用の静止画像の部分領域との類似値を算出し、検索クエリ用の静止画像の部分領域と類似する画像を含む映像ファイルを検索する。
【解決手段】蓄積特徴抽出部４２によって、複数の映像ファイルから得られる各静止画像について、局所的な特徴、部分的な特徴、及び大域的な特徴を抽出する。索引生成部４３によって、各静止画像について抽出された局所的な特徴、部分的な特徴、及び大域的な特徴を格納した索引データを生成する。部分画像取得部４４によって、入力された検索クエリ用の静止画像及び部分領域を取得する。入力特徴抽出部４６によって、検索クエリ用の静止画像について、局所的な特徴、部分的な特徴、及び大域的な特徴を抽出する。索引検索部４６によって、各静止画像について、検索クエリ用の静止画像の部分領域との類似値を算出し、検索クエリ用の静止画像の部分領域と類似する画像を含む映像ファイルを検索する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像検索装置、方法、及びプログラムに係り、特に、クエリ用の画像に類似した画像を含む映像ファイルを検索する画像検索装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
従来より、画像や映像に写る物体を検索する技術として、一般物体認識の技術や、特定物体認識の技術が知られている。しかしながら十分な検出率で見つける技術は存在しないのが現状である。
【０００３】
非特許文献１では、映像中や画像中の物体の検索を行っているが、手持ちカメラなどで撮影した物体に注目して撮影した映像を前提としている。一般映像に含まれる、たとえば、スポーツ中継のユニフォームのロゴのような、本来の広告目的で映像に含まれているロゴやマークを、検索クエリの対象としていない。
【０００４】
非特許文献２では、スポーツのユニフォームのロゴを検索クエリの対象に含めている。しかし、比較的大きく写る領域は検出されるが、領域が小さい場合をも正しく検出することは難しい。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】J. Sivic, A. Zisserman, “Video Google: A text retrieval approach to object matching in videos,” Proc. ICCV, pp.1470-1477, 2003.
【非特許文献２】Christoph H. Lampert, Matthew B. Blaschko, Thomas Hofmann, "Beyond sliding windows: Object localization by efficient subwindow search," cvpr, pp.1-8, 2008 IEEE Conference on Computer Vision and Pattern Recognition, 2008.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、クエリ用の画像の部分領域に類似した画像を含む映像ファイルを精度良く検索することができる画像検索装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を達成するために本発明に係る画像検索装置は、予め用意された複数の映像ファイルから得られる静止画像群又は予め用意された静止画像群の各静止画像について、前記静止画像から抽出される特徴点の特徴を示す第１特徴量と、前記静止画像の部分領域の特徴を示す第２特徴量と、前記静止画像の全体領域の特徴を示す第３特徴量とを各々抽出する第１特徴抽出手段と、前記静止画像群の各静止画像について抽出された前記第１特徴量、前記第２特徴量、及び前記第３特徴量を格納した索引データを生成する索引生成手段と、入力された検索クエリ用の静止画像及び該静止画像の部分領域を受け付けるクエリ画像入力手段と、前記検索クエリ用の静止画像について、該静止画像の前記部分領域から抽出される特徴点の特徴を示す前記第１特徴量、該静止画像の前記部分領域の特徴を示す前記第２特徴量、及び該静止画像の全体領域の特徴を示す前記第３特徴量を抽出する第２特徴抽出手段と、前記第２特徴抽出手段によって抽出された前記検索クエリ用の静止画像の前記第１特徴量、前記第２特徴量、及び前記第３特徴量と、前記索引生成手段によって生成された前記索引データに格納された各静止画像の前記第１特徴量、前記第２特徴量、及び前記第３特徴量とに基づいて、前記静止画像群の各静止画像について、前記検索クエリ用の静止画像の前記部分領域との類似値又は距離を算出し、前記算出された各静止画像の類似値又は距離に基づいて、前記検索クエリ用の静止画像の前記部分領域と類似する画像を含む前記映像ファイル又は前記静止画像を検索する映像検索手段と、を含んで構成されている。
【０００８】
本発明に係る画像検索方法は、第１特徴抽出手段によって、予め用意された複数の映像ファイルから得られる静止画像群又は予め用意された静止画像群の各静止画像について、前記静止画像から抽出される特徴点の特徴を示す第１特徴量と、前記静止画像の部分領域の特徴を示す第２特徴量と、前記静止画像の全体領域の特徴を示す第３特徴量とを各々抽出するステップと、索引生成手段によって、前記静止画像群の各静止画像について抽出された前記第１特徴量、前記第２特徴量、及び前記第３特徴量を格納した索引データを生成するステップと、クエリ画像入力手段によって、入力された検索クエリ用の静止画像及び該静止画像の部分領域を受け付けるステップと、第２特徴抽出手段によって、前記検索クエリ用の静止画像について、該静止画像の前記部分領域から抽出される特徴点の特徴を示す前記第１特徴量、該静止画像の前記部分領域の特徴を示す前記第２特徴量、及び該静止画像の全体領域の特徴を示す前記第３特徴量を抽出するステップと、映像検索手段によって、前記第２特徴抽出手段によって抽出された前記検索クエリ用の静止画像の前記第１特徴量、前記第２特徴量、及び前記第３特徴量と、前記索引生成手段によって生成された前記索引データに格納された各静止画像の前記第１特徴量、前記第２特徴量、及び前記第３特徴量とに基づいて、前記静止画像群の各静止画像について、前記検索クエリ用の静止画像の前記部分領域との類似値又は距離を算出し、前記算出された各静止画像の類似値又は距離に基づいて、前記検索クエリ用の静止画像の前記部分領域と類似する画像を含む前記映像ファイル又は前記静止画像を検索するステップと、を含むことを特徴とする。
【０００９】
本発明によれば、第１特徴抽出手段によって、予め用意された複数の映像ファイルから得られる静止画像群又は予め用意された静止画像群の各静止画像について、前記静止画像から抽出される特徴点の特徴を示す第１特徴量と、前記静止画像の部分領域の特徴を示す第２特徴量と、前記静止画像の全体領域の特徴を示す第３特徴量とを各々抽出する。索引生成手段によって、前記静止画像群の各静止画像について抽出された前記第１特徴量、前記第２特徴量、及び前記第３特徴量を格納した索引データを生成する。
【００１０】
そして、クエリ画像入力手段によって、入力された検索クエリ用の静止画像及び該静止画像の部分領域を受け付ける。第２特徴抽出手段によって、前記検索クエリ用の静止画像について、該静止画像の前記部分領域から抽出される特徴点の特徴を示す前記第１特徴量、該静止画像の前記部分領域の特徴を示す前記第２特徴量、及び該静止画像の全体領域の特徴を示す前記第３特徴量を抽出する。
【００１１】
そして、映像検索手段によって、前記第２特徴抽出手段によって抽出された前記検索クエリ用の静止画像の前記第１特徴量、前記第２特徴量、及び前記第３特徴量と、前記索引生成手段によって生成された前記索引データに格納された各静止画像の前記第１特徴量、前記第２特徴量、及び前記第３特徴量とに基づいて、前記静止画像群の各静止画像について、前記検索クエリ用の静止画像の前記部分領域との類似値又は距離を算出し、前記算出された各静止画像の類似値又は距離に基づいて、前記検索クエリ用の静止画像の前記部分領域と類似する画像を含む前記映像ファイル又は前記静止画像を検索する。
【００１２】
このように、特徴点の特徴を示す第１特徴量と、画像の部分領域の特徴を示す第２特徴量と、画像の全体領域の特徴を示す第３特徴量とを抽出して、静止画像群と、検索クエリ用の静止画像の部分領域との類似値又は距離を算出することにより、クエリ用の画像の部分領域に類似した画像を含む映像ファイル又は静止画像を精度良く検索することができる。
【００１３】
本発明に係る画像検索装置は、前記予め用意された複数の映像ファイルとは異なる類似の映像ファイル（たとえば，同じジャンルのテレビ番組，同一曜日の異なる日に撮影した監視カメラ映像など）について予め求められた、検索クエリ用の静止画像及び部分領域に基づく検索結果のうちの上位ｎ件（ｎは自然数）の映像ファイルに含まれる正解の数の、正解となる全ての映像ファイルの数に対する割合を示す再現率、及び前記異なる映像ファイルの数の入力を受け付ける統計量入力手段と、前記映像検索手段によって検索された検索結果のうちの上位ｎ件の映像ファイルにおける正解の割合を示す正解率の入力を受け付ける結果評価入力手段と、前記映像検索手段によって検索された検索結果の映像ファイルの数、前記統計量入力手段によって受け付けた前記再現率及び映像ファイルの数、及び前記結果評価入力手段によって受け付けた前記正解率に基づいて、前記検索結果の映像ファイルの数を補正する計数結果補正手段と、を更に含むようにすることができる。これによって、クエリ用の画像の部分領域に類似した画像を含む映像ファイルの数を精度良く求めることができる。
【００１４】
本発明に係るプログラムは、コンピュータを、上記の画像検索装置の各手段として機能させるためのプログラムである。
【発明の効果】
【００１５】
以上説明したように、本発明の画像検索装置、方法、及びプログラムによれば、特徴点の特徴を示す第１特徴量と、画像の部分領域の特徴を示す第２特徴量と、画像の全体領域の特徴を示す第３特徴量とを抽出して、静止画像群と、検索クエリ用の静止画像の部分領域との類似値又は距離を算出することにより、クエリ用の画像の部分領域に類似した画像を含む映像ファイル又は静止画像を精度良く検索することができる、という効果が得られる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施の形態に係る画像検索装置の構成を示す概略図である。
【図２】検索クエリの静止画像及び部分領域の一例を示す図である。
【図３】検索クエリの静止画像及び部分領域の一例を示す図である。
【図４】本発明の実施の形態に係る画像検索装置における画像検索処理ルーチンの内容を示すフローチャートである。
【発明を実施するための形態】
【００１７】
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、検索したい物体を表わす画像及び物体領域を検索クエリとして入力し、多数の映像の断片を含むデータベースから検索して、検索クエリの物体画像を含む映像断片の総数を出力する画像検索装置に本発明を適用した場合を例に説明する。
【００１８】
＜システム構成＞
図１に示すように、本発明の実施の形態に係る画像検索装置１００は、ＣＰＵと、ＲＡＭと、後述する画像検索処理ルーチンを実行するためのプログラムを記憶した記憶手段とを備えたコンピュータで構成され、機能的には次に示すように構成されている。画像検索装置１００は、入力部１０と、演算部２０と、出力部３０とを備えている。
【００１９】
入力部１０は、入力された複数の映像ファイル、検索クエリ、計数統計量(正解率、再現率）、及び検索結果の評価（正解率）を受け付ける。
【００２０】
演算部２０は、映像データベース４０、映像取得部４１、蓄積特徴抽出部４２、索引生成部４３、部分画像取得部４４、入力特徴抽出部４５、索引検索部４６、検索結果生成部４７、計数統計量取得部４８、結果評価取得部４９、及び計数結果補正部５０を備えている。なお、蓄積特徴抽出部４２は、第１特徴抽出手段の一例であり、入力特徴抽出部４５は、第２特徴抽出手段の一例である。部分画像取得部４４は、クエリ画像入力手段の一例であり、索引検索部４６は、映像検索手段の一例である。
【００２１】
映像データベース４０は、入力部１０により受け付けた複数の映像ファイルを記憶する。記憶される映像ファイルは、放送、ＤＶＤ・ブルーレイなどのディスク、監視カメラ、インターネットなどから収集した電子ファイルである。本実施の形態では、約６０，０００個の映像ファイル、計１８０時間の映像データを用いた。
【００２２】
映像取得部４１は、映像データベース４０から複数の映像ファイルを取得する。映像取得部４１は、取得した映像ファイルをデジタルデータ化し、ＲＡＷデータなどの特定のフォーマットに変換する。変換された映像ファイルは、蓄積特徴抽出部４２に出力される。
【００２３】
蓄積特徴抽出部４２は、映像取得部４１から入力された複数の映像ファイルの各々から、静止画像を複数枚取り出し、取り出した静止画像の各々から特徴を抽出する。静止画像の取出しには、各映像ファイルを時間軸方向にＮ＋１分割し、先頭からＮ個の区間の各々から最終フレームの静止画像を取り出す。これは、先頭と最後のフレームには、分割に伴うノイズが含まることが多く、先頭と最後を除いた内側の静止画像を時間方向に等間隔に取り出すためである。本実施の形態ではＮ＝５０を採用した。このようにして得られる約３，０００，０００枚の静止画像の各々に、識別するためのＩＤを付与する。また、静止画像のＩＤから、どの映像ファイルから得られた静止画像であるか特定するテーブルも用意する。
【００２４】
また、蓄積特徴抽出部４２は、取り出した静止画像の各々から、局所的な特徴、部分的な特徴、及び大域的な特徴を抽出する。蓄積特徴抽出部４２は、局所的な特徴として、特徴点を抽出し、各特徴点の特徴を示す特徴量を抽出する。特徴点の抽出及び特徴点の特徴の表現に、例えば、特徴点の抽出、及び特徴の表現の両方の機能があるＰＣＡ−ＳＵＲＦ特徴を用いることができる。なお、特徴点の抽出及び特徴点の特徴の表現の各々に、別の手法を用いてもよい。例えば、複数の手法を組み合わせて、Ｈａｒｒｉｓオペレータを使って特徴点を抽出し、その特徴点の位置でＳＩＦＴ特徴のディスクリプターを利用して、特徴点の特徴を抽出するようにしてもよい。
【００２５】
本実施の形態では、ＰＣＡ−ＳＵＲＦ特徴を用いる。また、得られる１２８次元のＳＵＲＦ特徴を事前に用意した静止画３０００枚以上を用いて主成分分析（ＰＣＡ）の軸を求め、その軸に射影して３２次元の特徴に圧縮した特徴を、特徴点の特徴として用いる。なお、ＳＩＦＴ特徴などのほかの特徴を用いてもよい。
【００２６】
また、蓄積特徴抽出部４２は、静止画像から、所定の部分領域（所定の物体を表わす領域)を抽出し、部分的な特徴として、抽出された部分領域内での局所的な特徴のヒストグラム（部分領域内の各特徴点の特徴に関するヒストグラム)を求める。本実施の形態では、ヒストグラムのビン数を１０２４個とした。ビンへの投票のためのコードブック作成に、ｋ−ｍｅａｎｓアルゴリズムをランダムな初期値で１０回実施し、誤差最小のコードブックを採用した。
【００２７】
また、蓄積特徴抽出部４２は、大域的な特徴として、静止画像の全体領域に対するＨａａｒＷａｖｅｌｅｔ特徴又は色ヒストグラム特徴を抽出する。例えば、ＨａａｒＷａｖｅｌｅｔ特徴として、縦横４分割した１６次元の特徴量を抽出する。あるいは、色ヒストグラム特徴として、３０００枚以上の静止画像の集合の各点をＨＳＶ色表現でベクトル量子化した結果を用いて、静止画像の各画素について、１２８個のビンに投票して、色ヒストグラムを求める。なお、コードブック作成方法は、上述した方法と同様の方法を用いればよい。
【００２８】
以上のように各静止画像について得られた局所的な特徴、部分的な特徴、及び大域的な特徴が、索引生成部４３に出力される。なお、局所的な特徴が第１特徴量の一例であり、部分的な特徴が第２特徴量の一例であり、大域的な特徴が第３特徴量の一例である。
【００２９】
索引生成部４３は、蓄積特徴抽出部４２より得られた局所的な特徴、部分的な特徴、及び大域的な特徴の各々を量子化し、符号化する。局所的な特徴、部分的な特徴、及び大域的な特徴の各特徴は、それぞれ別の符号帳を用いてコード化する。索引生成部４３は、それぞれの符号と、その符号が含まれる静止画像のＩＤとの組を格納したテーブルを、索引データとして生成する。生成された索引データが、索引検索部４６に出力される。
【００３０】
部分画像取得部４４は、入力部１０により検索クエリとして受け付けた、探したい物体を表わす静止画像、及び当該探したい物体を表わす部分領域を取得する。入力される画像の例を図２に示す。撮影した静止画像全体（図２右）と探したい物体を表わす部分領域（図２左の枠）が検索クエリとして入力される。なお、上記図２左は、図２右の探したい物体を表わす部分領域を拡大し、探したい物体を表わす部分領域を枠で囲った画像を示している。検索クエリとして取得した静止画像及び部分領域は、入力特徴抽出部４５に出力される。
【００３１】
入力特徴抽出部４５は、部分画像取得部４４から入力された静止画像及び部分領域に対して、蓄積特徴抽出部４２と同じ局所的な特徴、部分的な特徴、及び大域的な特徴を抽出する。例えば、局所的な特徴として、検索クエリの部分領域内から抽出される特徴点と、各特徴点の特徴表現とをＰＣＡ−ＳＵＲＦ特徴を用いて抽出する。また、部分的な特徴として、検索クエリの部分領域内の特徴点に関する、ＰＣＡ−ＳＵＲＦ特徴のヒストグラムを抽出する。大域的な特徴として、検索クエリの静止画像の全体領域に対する、Ｈａａｒ−Ｗａｖｅｌｅｔ特徴又は色ヒストグラムを抽出する。検索クエリの静止画像及び部分領域について得られた局所的な特徴、部分的な特徴、及び大域的な特徴が、索引検索部４６へ出力される。
【００３２】
索引検索部４６は、入力特徴抽出部４５から出力された検索クエリに対する局所的な特徴、部分的な特徴、及び大域的な特徴について、索引生成部４３と同様な方式で符号を計算する。得られた局所的な特徴、部分的な特徴、及び大域的な特徴の各符号に対し、索引生成部４３から得られた索引データに基づいて、入力特徴抽出部４５から出力された各特徴の符号との類似値を、各ＩＤの静止画像について算出し、各ＩＤの静止画像について総合類似値を算出する。
【００３３】
各符号の類似値は、各特徴の距離尺度に基づいて算出される。例えば、局所的な特徴については、入力特徴抽出部４５で得られる部分領域内の全てのＰＣＡ−ＳＵＲＦ特徴（特徴点及び特徴点の特徴）と、蓄積特徴抽出部４２で得られる静止画像上の全てのＰＣＡ−ＳＵＲＦ特徴（特徴点及び特徴点の特徴）との間の類似値（たとえばＣＯＳ類似値）を、全ての特徴点の組み合わせについて計算し、計算された類似値の最大値を、検索クエリの部分領域と、静止画像との間の局所的な特徴の類似値とする。
【００３４】
部分的な特徴については、部分的な特徴間の類似値として、ヒストグラムインタセクションを算出する。
【００３５】
大域的な特徴については、大域的な特徴が、色ヒストグラムである場合、大域的な特徴間の類似値として、ヒストグラムインタセクションを算出する。大域的な特徴が、ＨａａｒＷａｖｅｌｅｔ特徴である場合、大域的な特徴間の類似値としてＣＯＳ類似値を算出する。
【００３６】
索引検索部４６は、各ＩＤの静止画像について、算出された局所的な特徴の類似値、部分的な特徴の類似値、及び大域的な特徴の類似値の合計値、各特徴毎に類似値が高い順に順位付けした場合の一番小さい順位や大きい順位、各特徴毎に正規化した正規化特徴の中で一番大きな類似値、複数の手法別の順位や正規化類似値の和などを、総合類似値として算出する。
【００３７】
索引検索部４６は、算出された総合類似値が閾値以上となる静止画のＩＤを取り出し、得られた静止画のＩＤの集合を検索結果生成部４７に出力する。
【００３８】
検索結果生成部４７は、索引検索部４６から出力された静止画のＩＤの集合を受け取る。検索結果生成部４７は、検索クエリに対する映像ファイルの検索結果として、総合類似値が閾値以上となる静止画を含む映像ファイルのファイル名あるいはＩＤのリストを生成する。映像ファイルのファイル名あるいはＩＤのリストは、映像ファイルに関連し、かつ、総合類似値が閾値以上となる静止画像の個数の降順に並び替えられる。
【００３９】
検索結果生成部４７により生成された検索結果が、出力部３０によりユーザに対して出力される。
【００４０】
計数統計量取得部４８は、入力部１０により受け付けた、他の映像ファイルのデータベースに対する他の検索クエリ（静止画像及び部分領域）に基づく検索結果について予め求められた、正解率（検出結果の上位ｎ件の映像ファイルのうちの正解の割合）と再現率（正解となる全ての映像ファイルのうち、検索された上位ｎ件に含まれる正解の割合）を取得する。たとえば、他の映像ファイルのデータベースから得られる複数の静止画像について索引生成部４３と同様に生成された索引データと、他の検索クエリ（静止画像及び部分領域）について入力特徴抽出部４５と同様に抽出された各種特徴とに基づいて、索引検索部４６と同様に、検索クエリの部分領域に類似する静止画像（類似値が閾値以上となる静止画像）を検索し、検索された静止画像を含む上位ｎ件の映像ファイルを目視で確認して、正解率と再現率とを予め求めておき、入力部１０により、予め求めておいた正解率と再現率の入力を受け付ける。
【００４１】
上記と同様の映像ファイルから得られる静止画像について、図３に示すような物体を表わす画像及び部分領域を検索クエリとして、上記と同様の検索方法により得られた検索結果（総合類似値が閾値以上となる静止画像の個数に基づいて降順に並べたときの映像ファイルのリスト）について、上位n件の映像ファイルにおける正解率と再現率を調べる。例えば、ｎ＝１，０００における正解率が０．３％、ｎ＝１，０００における再現率は、０．１３％であり、このような検索性能を表わす統計量が入力される。
【００４２】
また、計数統計量取得部４８は、入力部１０により受け付けた、他の映像ファイルのデータベースに関する映像ファイルの個数を取得する。
【００４３】
結果評価取得部４９は、索引検索部４６によって検索された、統合類似値が閾値以上となる静止画像を含む、上位ｎ件の映像ファイルの正解率の入力を受け付ける。例えば、オペレータが、図２に示すような、物体を表わす静止画像を含む上位１，０００件の映像ファイルの正解率を目視にて求めると、０．５％であり、オペレータによりこの値が入力部１０を介して入力される。結果評価取得部４９は、検索された上位ｎ件の映像ファイルに対する正解率の入力を取得し、計数結果補正部５０に出力する。
【００４４】
計数結果補正部５０は、計数統計量取得部４８で取得した再現率が、索引検索部４６と同程度の検索性能で検索された結果に基づくものであると仮定して、計数統計量取得部４８で取得した上位ｎ件の映像ファイルに関する再現率をＢＲとし、計数統計量取得部４８で取得した他の映像ファイルのデータベースの映像ファイル数をＢＮとし、結果評価取得部４９で取得した上位ｎ件の正解率をＡＰとし、以下の（１）式に従って、映像ファイル数がＡＮ個の映像データベース４０に対する、検索クエリに基づく検索結果の映像ファイルの個数ｎを、個数ＮＵＭに補正する。
【００４５】
ＮＵＭ＝ｎ＊ＡＰ／ＢＲ＊（ＡＮ／ＢＮ） ・・・（１）
【００４６】
ただし、ｎは、検索結果生成部４７により求められた、総合類似値が閾値以上となる静止画を含む映像ファイルの個数である。
【００４７】
上記の（１）式に従って、例えば、６００００個（ＡＮ＝ＢＮ）の映像ファイルに対し、検索クエリに基づく検索結果の補正結果が、約３８００個と算出される。この値が出力部３０によりユーザに対して出力される。
【００４８】
出力部３０は、得られた検索結果の補正結果を、画面表示やファイル保存あるいは紙で出力する。さらには計数結果の履歴の表示や、計数結果に応じた関連する広告やサービスへのリンクを提示するようにしてもよい。
【００４９】
＜画像検索装置の作用＞
次に、本実施の形態に係る画像検索装置１００の作用について説明する。まず、検索対象となる複数の映像ファイルが、画像検索装置１００に入力されると、画像検索装置１００によって、映像データベース４０に、複数の映像ファイルが記憶される。また、探したい物体を表わす静止画像及び当該物体を表わす部分領域からなる検索クエリが、画像検索装置１００に入力されると、画像検索装置１００によって、図４に示す画像検索処理ルーチンが実行される。
【００５０】
まず、ステップＳ１００において、入力された検索クエリを受け付けて取得すると共に、映像データベース４０から、複数の映像ファイルを取得する。ステップＳ１０２において、上記ステップＳ１００で取得した映像ファイルの各々から、複数の静止画像を取り出す。ステップＳ１０４では、上記ステップＳ１０２で取り出した複数の静止画像の各々について、局所的な特徴、部分的な特徴、及び大域的な特徴を抽出する。
【００５１】
そして、ステップＳ１０６において、上記ステップＳ１０４における各静止画像の特徴抽出結果に基づいて、索引データを生成する。ステップＳ１０８では、上記ステップＳ１００で取得した検索クエリの静止画像及び部分領域について、局所的な特徴、部分的な特徴、及び大域的な特徴を抽出する。
【００５２】
そして、ステップＳ１１０において、上記ステップＳ１０６で生成された索引データを用いて、上記ステップＳ１０８で抽出した検索クエリの特徴に対する総合類似値を各静止画像について算出し、総合類似値が閾値以上となる静止画像のＩＤを検索する。
【００５３】
次のステップＳ１１２では、上記ステップＳ１１０で検索された静止画像のＩＤに基づいて、検索された静止画像を含む映像ファイルのリストを、上記ステップＳ１１０で検索され、かつ、当該映像ファイルに関連する静止画像の数の降順に並び替える。そして、ステップＳ１１４において、上記ステップＳ１１２で並び替えられた映像ファイルのリストを、検索結果として出力する。
【００５４】
そして、ユーザは、入力部１０により、他の映像データベースに対する検索結果について予め求めた上位ｎ件の映像ファイルの正解率と再現率と当該他の映像データベースの映像ファイルの個数とを入力する。ステップＳ１１６では、当該他の映像データベースに対する検索結果について予め求めた上位ｎ件の正解率と再現率と映像ファイルの個数との入力を受け付ける。次に、ユーザは、上記ステップＳ１１４で表示された上位ｎ件の映像ファイルを目視で確認して、入力部１０により、上位ｎ件の正解率を入力する。ステップＳ１１８では、上記ステップ１１０で検索した上位ｎ件の映像ファイルの正解率の入力を受け付ける。
【００５５】
そして、ステップＳ１２０において、上記ステップ１１０で検索された映像ファイルの個数と、上記ステップＳ１１６で取得した正解率、再現率、映像ファイルの個数と、上記ステップ１１８で取得した正解率とに基づいて、上記（１）式に従って、検索された映像ファイルの個数を補正する。
【００５６】
次のステップＳ１２２において、上記ステップＳ１２０で補正された映像ファイルの個数を、出力部３０により出力して、画像検索処理ルーチンを終了する。
【００５７】
＜実験＞
次に、上記の実施の形態に係る手法に関して実験を行った結果について説明する。
【００５８】
上述した画像検索装置１００の検索結果生成部４７により出力された検索結果と、映像データベース４０に記憶された全映像ファイルとを目視にて確認した。正解となる映像ファイルの計数結果は、約３６００件であり、検索結果生成部４７により出力された検索結果の正解率は、０．１４％であった。他の映像データベースから推定した０．１３％の正解率、及び３８００件の計数結果と比べ、ある程度概算データになっていることがわかった。従って、検索された大量の映像ファイルの一部を確認することで、全体のおおよその値が類推できることがわかった。
【００５９】
以上説明したように、本実施の形態に係る画像検索装置によれば、局所的な特徴、部分的な特徴、及び大域的な特徴を抽出して、映像ファイルから得られる静止画像群と、検索クエリ用の静止画像の部分領域との類似値を算出することにより、検索クエリ用の画像の部分領域に類似した画像を含む映像ファイルを精度良く検索することができる。
【００６０】
また、他の映像データベースに対する検索結果について予め求められた再現率と、検索対象の映像データベースに対する検索結果について求めた正解率とに基づいて、統計的に、検索結果の映像ファイルの数を補正することにより、検索クエリ用の画像の部分領域に類似した画像を含む映像ファイルの数を精度良く求めることができる。
【００６１】
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００６２】
例えば、部分的な特徴として、局所的な特徴のヒストグラム以外の特徴を抽出してもよい。例えば、抽出された部分領域のＨａａｒＷａｖｅｌｅｔ特徴や色ヒストグラムを、部分的な特徴として抽出してもよい。また、大域的な特徴として、ＨａａｒＷａｖｅｌｅｔ特徴や色ヒストグラム以外の特徴を抽出してもよい。このように、本発明による手法は特徴の種別に依存せずに利用可能である。
【００６３】
また、各種特徴の類似値を合計して、総合類似値を求める場合を例に説明したが、これに限定されるものではなく、各種特徴の類似値を正規化した値に基づいて、統合類似値を算出するようにしてもよい。
【００６４】
また、各種特徴の類似値を算出する場合を例に説明したが、各種特徴の距離を算出するようにしてもよい。この場合には、各種特徴の距離に基づいて、検索クエリと、静止画像群の各静止画像との距離を算出し、距離が閾値未満となる静止画像の集合を求めるようにすればよい。
【００６５】
また、総合類似値が閾値以上となる静止画像を含む映像ファイルを、当該静止画像の個数の降順に並び替えて、検索結果として出力する場合を例に説明したが、これに限定されるものではない。例えば、各種特徴毎に、当該特徴の類似値が上位ｍ件となる静止画像を含む映像ファイルを、検索結果として出力してもよい。
また、予め用意された静止画像群から、検索クエリ用の画像の部分領域に類似した画像を含む静止画像を検索するようにしてもよい。この場合に、局所的な特徴、部分的な特徴、及び大域的な特徴を抽出して、予め用意された静止画像群と、検索クエリ用の静止画像の部分領域との類似値を算出することにより、検索クエリ用の画像の部分領域に類似した画像を含む静止画像を検索するようにすればよい。
【００６６】
また、上記図１における画像検索装置１００が備えている入力部１０、演算部２０、及び出力部３０という各構成は、専用のハードウェアにより実現されるものであってもよく、また、メモリおよびマイクロプロセッサにより実現させるものであってもよい。
【００６７】
また、この各構成は、メモリおよびＣＰＵ（中央演算装置）により構成され、各構成の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。
【００６８】
また、この各構成の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、各構成による処理が実行されてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００６９】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００７０】
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００７１】
１０ 入力部
２０ 演算部
３０ 出力部
４０ 映像データベース
４１ 映像取得部
４２ 蓄積特徴抽出部
４３ 索引生成部
４４ 部分画像取得部
４５ 入力特徴抽出部
４６ 索引検索部
４７ 検索結果生成部
４８ 計数統計量取得部
４９ 結果評価取得部
５０ 計数結果補正部
１００ 画像検索装置
【技術分野】
【０００１】
本発明は、画像検索装置、方法、及びプログラムに係り、特に、クエリ用の画像に類似した画像を含む映像ファイルを検索する画像検索装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
従来より、画像や映像に写る物体を検索する技術として、一般物体認識の技術や、特定物体認識の技術が知られている。しかしながら十分な検出率で見つける技術は存在しないのが現状である。
【０００３】
非特許文献１では、映像中や画像中の物体の検索を行っているが、手持ちカメラなどで撮影した物体に注目して撮影した映像を前提としている。一般映像に含まれる、たとえば、スポーツ中継のユニフォームのロゴのような、本来の広告目的で映像に含まれているロゴやマークを、検索クエリの対象としていない。
【０００４】
非特許文献２では、スポーツのユニフォームのロゴを検索クエリの対象に含めている。しかし、比較的大きく写る領域は検出されるが、領域が小さい場合をも正しく検出することは難しい。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】J. Sivic, A. Zisserman, “Video Google: A text retrieval approach to object matching in videos,” Proc. ICCV, pp.1470-1477, 2003.
【非特許文献２】Christoph H. Lampert, Matthew B. Blaschko, Thomas Hofmann, "Beyond sliding windows: Object localization by efficient subwindow search," cvpr, pp.1-8, 2008 IEEE Conference on Computer Vision and Pattern Recognition, 2008.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、クエリ用の画像の部分領域に類似した画像を含む映像ファイルを精度良く検索することができる画像検索装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を達成するために本発明に係る画像検索装置は、予め用意された複数の映像ファイルから得られる静止画像群又は予め用意された静止画像群の各静止画像について、前記静止画像から抽出される特徴点の特徴を示す第１特徴量と、前記静止画像の部分領域の特徴を示す第２特徴量と、前記静止画像の全体領域の特徴を示す第３特徴量とを各々抽出する第１特徴抽出手段と、前記静止画像群の各静止画像について抽出された前記第１特徴量、前記第２特徴量、及び前記第３特徴量を格納した索引データを生成する索引生成手段と、入力された検索クエリ用の静止画像及び該静止画像の部分領域を受け付けるクエリ画像入力手段と、前記検索クエリ用の静止画像について、該静止画像の前記部分領域から抽出される特徴点の特徴を示す前記第１特徴量、該静止画像の前記部分領域の特徴を示す前記第２特徴量、及び該静止画像の全体領域の特徴を示す前記第３特徴量を抽出する第２特徴抽出手段と、前記第２特徴抽出手段によって抽出された前記検索クエリ用の静止画像の前記第１特徴量、前記第２特徴量、及び前記第３特徴量と、前記索引生成手段によって生成された前記索引データに格納された各静止画像の前記第１特徴量、前記第２特徴量、及び前記第３特徴量とに基づいて、前記静止画像群の各静止画像について、前記検索クエリ用の静止画像の前記部分領域との類似値又は距離を算出し、前記算出された各静止画像の類似値又は距離に基づいて、前記検索クエリ用の静止画像の前記部分領域と類似する画像を含む前記映像ファイル又は前記静止画像を検索する映像検索手段と、を含んで構成されている。
【０００８】
本発明に係る画像検索方法は、第１特徴抽出手段によって、予め用意された複数の映像ファイルから得られる静止画像群又は予め用意された静止画像群の各静止画像について、前記静止画像から抽出される特徴点の特徴を示す第１特徴量と、前記静止画像の部分領域の特徴を示す第２特徴量と、前記静止画像の全体領域の特徴を示す第３特徴量とを各々抽出するステップと、索引生成手段によって、前記静止画像群の各静止画像について抽出された前記第１特徴量、前記第２特徴量、及び前記第３特徴量を格納した索引データを生成するステップと、クエリ画像入力手段によって、入力された検索クエリ用の静止画像及び該静止画像の部分領域を受け付けるステップと、第２特徴抽出手段によって、前記検索クエリ用の静止画像について、該静止画像の前記部分領域から抽出される特徴点の特徴を示す前記第１特徴量、該静止画像の前記部分領域の特徴を示す前記第２特徴量、及び該静止画像の全体領域の特徴を示す前記第３特徴量を抽出するステップと、映像検索手段によって、前記第２特徴抽出手段によって抽出された前記検索クエリ用の静止画像の前記第１特徴量、前記第２特徴量、及び前記第３特徴量と、前記索引生成手段によって生成された前記索引データに格納された各静止画像の前記第１特徴量、前記第２特徴量、及び前記第３特徴量とに基づいて、前記静止画像群の各静止画像について、前記検索クエリ用の静止画像の前記部分領域との類似値又は距離を算出し、前記算出された各静止画像の類似値又は距離に基づいて、前記検索クエリ用の静止画像の前記部分領域と類似する画像を含む前記映像ファイル又は前記静止画像を検索するステップと、を含むことを特徴とする。
【０００９】
本発明によれば、第１特徴抽出手段によって、予め用意された複数の映像ファイルから得られる静止画像群又は予め用意された静止画像群の各静止画像について、前記静止画像から抽出される特徴点の特徴を示す第１特徴量と、前記静止画像の部分領域の特徴を示す第２特徴量と、前記静止画像の全体領域の特徴を示す第３特徴量とを各々抽出する。索引生成手段によって、前記静止画像群の各静止画像について抽出された前記第１特徴量、前記第２特徴量、及び前記第３特徴量を格納した索引データを生成する。
【００１０】
そして、クエリ画像入力手段によって、入力された検索クエリ用の静止画像及び該静止画像の部分領域を受け付ける。第２特徴抽出手段によって、前記検索クエリ用の静止画像について、該静止画像の前記部分領域から抽出される特徴点の特徴を示す前記第１特徴量、該静止画像の前記部分領域の特徴を示す前記第２特徴量、及び該静止画像の全体領域の特徴を示す前記第３特徴量を抽出する。
【００１１】
そして、映像検索手段によって、前記第２特徴抽出手段によって抽出された前記検索クエリ用の静止画像の前記第１特徴量、前記第２特徴量、及び前記第３特徴量と、前記索引生成手段によって生成された前記索引データに格納された各静止画像の前記第１特徴量、前記第２特徴量、及び前記第３特徴量とに基づいて、前記静止画像群の各静止画像について、前記検索クエリ用の静止画像の前記部分領域との類似値又は距離を算出し、前記算出された各静止画像の類似値又は距離に基づいて、前記検索クエリ用の静止画像の前記部分領域と類似する画像を含む前記映像ファイル又は前記静止画像を検索する。
【００１２】
このように、特徴点の特徴を示す第１特徴量と、画像の部分領域の特徴を示す第２特徴量と、画像の全体領域の特徴を示す第３特徴量とを抽出して、静止画像群と、検索クエリ用の静止画像の部分領域との類似値又は距離を算出することにより、クエリ用の画像の部分領域に類似した画像を含む映像ファイル又は静止画像を精度良く検索することができる。
【００１３】
本発明に係る画像検索装置は、前記予め用意された複数の映像ファイルとは異なる類似の映像ファイル（たとえば，同じジャンルのテレビ番組，同一曜日の異なる日に撮影した監視カメラ映像など）について予め求められた、検索クエリ用の静止画像及び部分領域に基づく検索結果のうちの上位ｎ件（ｎは自然数）の映像ファイルに含まれる正解の数の、正解となる全ての映像ファイルの数に対する割合を示す再現率、及び前記異なる映像ファイルの数の入力を受け付ける統計量入力手段と、前記映像検索手段によって検索された検索結果のうちの上位ｎ件の映像ファイルにおける正解の割合を示す正解率の入力を受け付ける結果評価入力手段と、前記映像検索手段によって検索された検索結果の映像ファイルの数、前記統計量入力手段によって受け付けた前記再現率及び映像ファイルの数、及び前記結果評価入力手段によって受け付けた前記正解率に基づいて、前記検索結果の映像ファイルの数を補正する計数結果補正手段と、を更に含むようにすることができる。これによって、クエリ用の画像の部分領域に類似した画像を含む映像ファイルの数を精度良く求めることができる。
【００１４】
本発明に係るプログラムは、コンピュータを、上記の画像検索装置の各手段として機能させるためのプログラムである。
【発明の効果】
【００１５】
以上説明したように、本発明の画像検索装置、方法、及びプログラムによれば、特徴点の特徴を示す第１特徴量と、画像の部分領域の特徴を示す第２特徴量と、画像の全体領域の特徴を示す第３特徴量とを抽出して、静止画像群と、検索クエリ用の静止画像の部分領域との類似値又は距離を算出することにより、クエリ用の画像の部分領域に類似した画像を含む映像ファイル又は静止画像を精度良く検索することができる、という効果が得られる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施の形態に係る画像検索装置の構成を示す概略図である。
【図２】検索クエリの静止画像及び部分領域の一例を示す図である。
【図３】検索クエリの静止画像及び部分領域の一例を示す図である。
【図４】本発明の実施の形態に係る画像検索装置における画像検索処理ルーチンの内容を示すフローチャートである。
【発明を実施するための形態】
【００１７】
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、検索したい物体を表わす画像及び物体領域を検索クエリとして入力し、多数の映像の断片を含むデータベースから検索して、検索クエリの物体画像を含む映像断片の総数を出力する画像検索装置に本発明を適用した場合を例に説明する。
【００１８】
＜システム構成＞
図１に示すように、本発明の実施の形態に係る画像検索装置１００は、ＣＰＵと、ＲＡＭと、後述する画像検索処理ルーチンを実行するためのプログラムを記憶した記憶手段とを備えたコンピュータで構成され、機能的には次に示すように構成されている。画像検索装置１００は、入力部１０と、演算部２０と、出力部３０とを備えている。
【００１９】
入力部１０は、入力された複数の映像ファイル、検索クエリ、計数統計量(正解率、再現率）、及び検索結果の評価（正解率）を受け付ける。
【００２０】
演算部２０は、映像データベース４０、映像取得部４１、蓄積特徴抽出部４２、索引生成部４３、部分画像取得部４４、入力特徴抽出部４５、索引検索部４６、検索結果生成部４７、計数統計量取得部４８、結果評価取得部４９、及び計数結果補正部５０を備えている。なお、蓄積特徴抽出部４２は、第１特徴抽出手段の一例であり、入力特徴抽出部４５は、第２特徴抽出手段の一例である。部分画像取得部４４は、クエリ画像入力手段の一例であり、索引検索部４６は、映像検索手段の一例である。
【００２１】
映像データベース４０は、入力部１０により受け付けた複数の映像ファイルを記憶する。記憶される映像ファイルは、放送、ＤＶＤ・ブルーレイなどのディスク、監視カメラ、インターネットなどから収集した電子ファイルである。本実施の形態では、約６０，０００個の映像ファイル、計１８０時間の映像データを用いた。
【００２２】
映像取得部４１は、映像データベース４０から複数の映像ファイルを取得する。映像取得部４１は、取得した映像ファイルをデジタルデータ化し、ＲＡＷデータなどの特定のフォーマットに変換する。変換された映像ファイルは、蓄積特徴抽出部４２に出力される。
【００２３】
蓄積特徴抽出部４２は、映像取得部４１から入力された複数の映像ファイルの各々から、静止画像を複数枚取り出し、取り出した静止画像の各々から特徴を抽出する。静止画像の取出しには、各映像ファイルを時間軸方向にＮ＋１分割し、先頭からＮ個の区間の各々から最終フレームの静止画像を取り出す。これは、先頭と最後のフレームには、分割に伴うノイズが含まることが多く、先頭と最後を除いた内側の静止画像を時間方向に等間隔に取り出すためである。本実施の形態ではＮ＝５０を採用した。このようにして得られる約３，０００，０００枚の静止画像の各々に、識別するためのＩＤを付与する。また、静止画像のＩＤから、どの映像ファイルから得られた静止画像であるか特定するテーブルも用意する。
【００２４】
また、蓄積特徴抽出部４２は、取り出した静止画像の各々から、局所的な特徴、部分的な特徴、及び大域的な特徴を抽出する。蓄積特徴抽出部４２は、局所的な特徴として、特徴点を抽出し、各特徴点の特徴を示す特徴量を抽出する。特徴点の抽出及び特徴点の特徴の表現に、例えば、特徴点の抽出、及び特徴の表現の両方の機能があるＰＣＡ−ＳＵＲＦ特徴を用いることができる。なお、特徴点の抽出及び特徴点の特徴の表現の各々に、別の手法を用いてもよい。例えば、複数の手法を組み合わせて、Ｈａｒｒｉｓオペレータを使って特徴点を抽出し、その特徴点の位置でＳＩＦＴ特徴のディスクリプターを利用して、特徴点の特徴を抽出するようにしてもよい。
【００２５】
本実施の形態では、ＰＣＡ−ＳＵＲＦ特徴を用いる。また、得られる１２８次元のＳＵＲＦ特徴を事前に用意した静止画３０００枚以上を用いて主成分分析（ＰＣＡ）の軸を求め、その軸に射影して３２次元の特徴に圧縮した特徴を、特徴点の特徴として用いる。なお、ＳＩＦＴ特徴などのほかの特徴を用いてもよい。
【００２６】
また、蓄積特徴抽出部４２は、静止画像から、所定の部分領域（所定の物体を表わす領域)を抽出し、部分的な特徴として、抽出された部分領域内での局所的な特徴のヒストグラム（部分領域内の各特徴点の特徴に関するヒストグラム)を求める。本実施の形態では、ヒストグラムのビン数を１０２４個とした。ビンへの投票のためのコードブック作成に、ｋ−ｍｅａｎｓアルゴリズムをランダムな初期値で１０回実施し、誤差最小のコードブックを採用した。
【００２７】
また、蓄積特徴抽出部４２は、大域的な特徴として、静止画像の全体領域に対するＨａａｒＷａｖｅｌｅｔ特徴又は色ヒストグラム特徴を抽出する。例えば、ＨａａｒＷａｖｅｌｅｔ特徴として、縦横４分割した１６次元の特徴量を抽出する。あるいは、色ヒストグラム特徴として、３０００枚以上の静止画像の集合の各点をＨＳＶ色表現でベクトル量子化した結果を用いて、静止画像の各画素について、１２８個のビンに投票して、色ヒストグラムを求める。なお、コードブック作成方法は、上述した方法と同様の方法を用いればよい。
【００２８】
以上のように各静止画像について得られた局所的な特徴、部分的な特徴、及び大域的な特徴が、索引生成部４３に出力される。なお、局所的な特徴が第１特徴量の一例であり、部分的な特徴が第２特徴量の一例であり、大域的な特徴が第３特徴量の一例である。
【００２９】
索引生成部４３は、蓄積特徴抽出部４２より得られた局所的な特徴、部分的な特徴、及び大域的な特徴の各々を量子化し、符号化する。局所的な特徴、部分的な特徴、及び大域的な特徴の各特徴は、それぞれ別の符号帳を用いてコード化する。索引生成部４３は、それぞれの符号と、その符号が含まれる静止画像のＩＤとの組を格納したテーブルを、索引データとして生成する。生成された索引データが、索引検索部４６に出力される。
【００３０】
部分画像取得部４４は、入力部１０により検索クエリとして受け付けた、探したい物体を表わす静止画像、及び当該探したい物体を表わす部分領域を取得する。入力される画像の例を図２に示す。撮影した静止画像全体（図２右）と探したい物体を表わす部分領域（図２左の枠）が検索クエリとして入力される。なお、上記図２左は、図２右の探したい物体を表わす部分領域を拡大し、探したい物体を表わす部分領域を枠で囲った画像を示している。検索クエリとして取得した静止画像及び部分領域は、入力特徴抽出部４５に出力される。
【００３１】
入力特徴抽出部４５は、部分画像取得部４４から入力された静止画像及び部分領域に対して、蓄積特徴抽出部４２と同じ局所的な特徴、部分的な特徴、及び大域的な特徴を抽出する。例えば、局所的な特徴として、検索クエリの部分領域内から抽出される特徴点と、各特徴点の特徴表現とをＰＣＡ−ＳＵＲＦ特徴を用いて抽出する。また、部分的な特徴として、検索クエリの部分領域内の特徴点に関する、ＰＣＡ−ＳＵＲＦ特徴のヒストグラムを抽出する。大域的な特徴として、検索クエリの静止画像の全体領域に対する、Ｈａａｒ−Ｗａｖｅｌｅｔ特徴又は色ヒストグラムを抽出する。検索クエリの静止画像及び部分領域について得られた局所的な特徴、部分的な特徴、及び大域的な特徴が、索引検索部４６へ出力される。
【００３２】
索引検索部４６は、入力特徴抽出部４５から出力された検索クエリに対する局所的な特徴、部分的な特徴、及び大域的な特徴について、索引生成部４３と同様な方式で符号を計算する。得られた局所的な特徴、部分的な特徴、及び大域的な特徴の各符号に対し、索引生成部４３から得られた索引データに基づいて、入力特徴抽出部４５から出力された各特徴の符号との類似値を、各ＩＤの静止画像について算出し、各ＩＤの静止画像について総合類似値を算出する。
【００３３】
各符号の類似値は、各特徴の距離尺度に基づいて算出される。例えば、局所的な特徴については、入力特徴抽出部４５で得られる部分領域内の全てのＰＣＡ−ＳＵＲＦ特徴（特徴点及び特徴点の特徴）と、蓄積特徴抽出部４２で得られる静止画像上の全てのＰＣＡ−ＳＵＲＦ特徴（特徴点及び特徴点の特徴）との間の類似値（たとえばＣＯＳ類似値）を、全ての特徴点の組み合わせについて計算し、計算された類似値の最大値を、検索クエリの部分領域と、静止画像との間の局所的な特徴の類似値とする。
【００３４】
部分的な特徴については、部分的な特徴間の類似値として、ヒストグラムインタセクションを算出する。
【００３５】
大域的な特徴については、大域的な特徴が、色ヒストグラムである場合、大域的な特徴間の類似値として、ヒストグラムインタセクションを算出する。大域的な特徴が、ＨａａｒＷａｖｅｌｅｔ特徴である場合、大域的な特徴間の類似値としてＣＯＳ類似値を算出する。
【００３６】
索引検索部４６は、各ＩＤの静止画像について、算出された局所的な特徴の類似値、部分的な特徴の類似値、及び大域的な特徴の類似値の合計値、各特徴毎に類似値が高い順に順位付けした場合の一番小さい順位や大きい順位、各特徴毎に正規化した正規化特徴の中で一番大きな類似値、複数の手法別の順位や正規化類似値の和などを、総合類似値として算出する。
【００３７】
索引検索部４６は、算出された総合類似値が閾値以上となる静止画のＩＤを取り出し、得られた静止画のＩＤの集合を検索結果生成部４７に出力する。
【００３８】
検索結果生成部４７は、索引検索部４６から出力された静止画のＩＤの集合を受け取る。検索結果生成部４７は、検索クエリに対する映像ファイルの検索結果として、総合類似値が閾値以上となる静止画を含む映像ファイルのファイル名あるいはＩＤのリストを生成する。映像ファイルのファイル名あるいはＩＤのリストは、映像ファイルに関連し、かつ、総合類似値が閾値以上となる静止画像の個数の降順に並び替えられる。
【００３９】
検索結果生成部４７により生成された検索結果が、出力部３０によりユーザに対して出力される。
【００４０】
計数統計量取得部４８は、入力部１０により受け付けた、他の映像ファイルのデータベースに対する他の検索クエリ（静止画像及び部分領域）に基づく検索結果について予め求められた、正解率（検出結果の上位ｎ件の映像ファイルのうちの正解の割合）と再現率（正解となる全ての映像ファイルのうち、検索された上位ｎ件に含まれる正解の割合）を取得する。たとえば、他の映像ファイルのデータベースから得られる複数の静止画像について索引生成部４３と同様に生成された索引データと、他の検索クエリ（静止画像及び部分領域）について入力特徴抽出部４５と同様に抽出された各種特徴とに基づいて、索引検索部４６と同様に、検索クエリの部分領域に類似する静止画像（類似値が閾値以上となる静止画像）を検索し、検索された静止画像を含む上位ｎ件の映像ファイルを目視で確認して、正解率と再現率とを予め求めておき、入力部１０により、予め求めておいた正解率と再現率の入力を受け付ける。
【００４１】
上記と同様の映像ファイルから得られる静止画像について、図３に示すような物体を表わす画像及び部分領域を検索クエリとして、上記と同様の検索方法により得られた検索結果（総合類似値が閾値以上となる静止画像の個数に基づいて降順に並べたときの映像ファイルのリスト）について、上位n件の映像ファイルにおける正解率と再現率を調べる。例えば、ｎ＝１，０００における正解率が０．３％、ｎ＝１，０００における再現率は、０．１３％であり、このような検索性能を表わす統計量が入力される。
【００４２】
また、計数統計量取得部４８は、入力部１０により受け付けた、他の映像ファイルのデータベースに関する映像ファイルの個数を取得する。
【００４３】
結果評価取得部４９は、索引検索部４６によって検索された、統合類似値が閾値以上となる静止画像を含む、上位ｎ件の映像ファイルの正解率の入力を受け付ける。例えば、オペレータが、図２に示すような、物体を表わす静止画像を含む上位１，０００件の映像ファイルの正解率を目視にて求めると、０．５％であり、オペレータによりこの値が入力部１０を介して入力される。結果評価取得部４９は、検索された上位ｎ件の映像ファイルに対する正解率の入力を取得し、計数結果補正部５０に出力する。
【００４４】
計数結果補正部５０は、計数統計量取得部４８で取得した再現率が、索引検索部４６と同程度の検索性能で検索された結果に基づくものであると仮定して、計数統計量取得部４８で取得した上位ｎ件の映像ファイルに関する再現率をＢＲとし、計数統計量取得部４８で取得した他の映像ファイルのデータベースの映像ファイル数をＢＮとし、結果評価取得部４９で取得した上位ｎ件の正解率をＡＰとし、以下の（１）式に従って、映像ファイル数がＡＮ個の映像データベース４０に対する、検索クエリに基づく検索結果の映像ファイルの個数ｎを、個数ＮＵＭに補正する。
【００４５】
ＮＵＭ＝ｎ＊ＡＰ／ＢＲ＊（ＡＮ／ＢＮ） ・・・（１）
【００４６】
ただし、ｎは、検索結果生成部４７により求められた、総合類似値が閾値以上となる静止画を含む映像ファイルの個数である。
【００４７】
上記の（１）式に従って、例えば、６００００個（ＡＮ＝ＢＮ）の映像ファイルに対し、検索クエリに基づく検索結果の補正結果が、約３８００個と算出される。この値が出力部３０によりユーザに対して出力される。
【００４８】
出力部３０は、得られた検索結果の補正結果を、画面表示やファイル保存あるいは紙で出力する。さらには計数結果の履歴の表示や、計数結果に応じた関連する広告やサービスへのリンクを提示するようにしてもよい。
【００４９】
＜画像検索装置の作用＞
次に、本実施の形態に係る画像検索装置１００の作用について説明する。まず、検索対象となる複数の映像ファイルが、画像検索装置１００に入力されると、画像検索装置１００によって、映像データベース４０に、複数の映像ファイルが記憶される。また、探したい物体を表わす静止画像及び当該物体を表わす部分領域からなる検索クエリが、画像検索装置１００に入力されると、画像検索装置１００によって、図４に示す画像検索処理ルーチンが実行される。
【００５０】
まず、ステップＳ１００において、入力された検索クエリを受け付けて取得すると共に、映像データベース４０から、複数の映像ファイルを取得する。ステップＳ１０２において、上記ステップＳ１００で取得した映像ファイルの各々から、複数の静止画像を取り出す。ステップＳ１０４では、上記ステップＳ１０２で取り出した複数の静止画像の各々について、局所的な特徴、部分的な特徴、及び大域的な特徴を抽出する。
【００５１】
そして、ステップＳ１０６において、上記ステップＳ１０４における各静止画像の特徴抽出結果に基づいて、索引データを生成する。ステップＳ１０８では、上記ステップＳ１００で取得した検索クエリの静止画像及び部分領域について、局所的な特徴、部分的な特徴、及び大域的な特徴を抽出する。
【００５２】
そして、ステップＳ１１０において、上記ステップＳ１０６で生成された索引データを用いて、上記ステップＳ１０８で抽出した検索クエリの特徴に対する総合類似値を各静止画像について算出し、総合類似値が閾値以上となる静止画像のＩＤを検索する。
【００５３】
次のステップＳ１１２では、上記ステップＳ１１０で検索された静止画像のＩＤに基づいて、検索された静止画像を含む映像ファイルのリストを、上記ステップＳ１１０で検索され、かつ、当該映像ファイルに関連する静止画像の数の降順に並び替える。そして、ステップＳ１１４において、上記ステップＳ１１２で並び替えられた映像ファイルのリストを、検索結果として出力する。
【００５４】
そして、ユーザは、入力部１０により、他の映像データベースに対する検索結果について予め求めた上位ｎ件の映像ファイルの正解率と再現率と当該他の映像データベースの映像ファイルの個数とを入力する。ステップＳ１１６では、当該他の映像データベースに対する検索結果について予め求めた上位ｎ件の正解率と再現率と映像ファイルの個数との入力を受け付ける。次に、ユーザは、上記ステップＳ１１４で表示された上位ｎ件の映像ファイルを目視で確認して、入力部１０により、上位ｎ件の正解率を入力する。ステップＳ１１８では、上記ステップ１１０で検索した上位ｎ件の映像ファイルの正解率の入力を受け付ける。
【００５５】
そして、ステップＳ１２０において、上記ステップ１１０で検索された映像ファイルの個数と、上記ステップＳ１１６で取得した正解率、再現率、映像ファイルの個数と、上記ステップ１１８で取得した正解率とに基づいて、上記（１）式に従って、検索された映像ファイルの個数を補正する。
【００５６】
次のステップＳ１２２において、上記ステップＳ１２０で補正された映像ファイルの個数を、出力部３０により出力して、画像検索処理ルーチンを終了する。
【００５７】
＜実験＞
次に、上記の実施の形態に係る手法に関して実験を行った結果について説明する。
【００５８】
上述した画像検索装置１００の検索結果生成部４７により出力された検索結果と、映像データベース４０に記憶された全映像ファイルとを目視にて確認した。正解となる映像ファイルの計数結果は、約３６００件であり、検索結果生成部４７により出力された検索結果の正解率は、０．１４％であった。他の映像データベースから推定した０．１３％の正解率、及び３８００件の計数結果と比べ、ある程度概算データになっていることがわかった。従って、検索された大量の映像ファイルの一部を確認することで、全体のおおよその値が類推できることがわかった。
【００５９】
以上説明したように、本実施の形態に係る画像検索装置によれば、局所的な特徴、部分的な特徴、及び大域的な特徴を抽出して、映像ファイルから得られる静止画像群と、検索クエリ用の静止画像の部分領域との類似値を算出することにより、検索クエリ用の画像の部分領域に類似した画像を含む映像ファイルを精度良く検索することができる。
【００６０】
また、他の映像データベースに対する検索結果について予め求められた再現率と、検索対象の映像データベースに対する検索結果について求めた正解率とに基づいて、統計的に、検索結果の映像ファイルの数を補正することにより、検索クエリ用の画像の部分領域に類似した画像を含む映像ファイルの数を精度良く求めることができる。
【００６１】
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００６２】
例えば、部分的な特徴として、局所的な特徴のヒストグラム以外の特徴を抽出してもよい。例えば、抽出された部分領域のＨａａｒＷａｖｅｌｅｔ特徴や色ヒストグラムを、部分的な特徴として抽出してもよい。また、大域的な特徴として、ＨａａｒＷａｖｅｌｅｔ特徴や色ヒストグラム以外の特徴を抽出してもよい。このように、本発明による手法は特徴の種別に依存せずに利用可能である。
【００６３】
また、各種特徴の類似値を合計して、総合類似値を求める場合を例に説明したが、これに限定されるものではなく、各種特徴の類似値を正規化した値に基づいて、統合類似値を算出するようにしてもよい。
【００６４】
また、各種特徴の類似値を算出する場合を例に説明したが、各種特徴の距離を算出するようにしてもよい。この場合には、各種特徴の距離に基づいて、検索クエリと、静止画像群の各静止画像との距離を算出し、距離が閾値未満となる静止画像の集合を求めるようにすればよい。
【００６５】
また、総合類似値が閾値以上となる静止画像を含む映像ファイルを、当該静止画像の個数の降順に並び替えて、検索結果として出力する場合を例に説明したが、これに限定されるものではない。例えば、各種特徴毎に、当該特徴の類似値が上位ｍ件となる静止画像を含む映像ファイルを、検索結果として出力してもよい。
また、予め用意された静止画像群から、検索クエリ用の画像の部分領域に類似した画像を含む静止画像を検索するようにしてもよい。この場合に、局所的な特徴、部分的な特徴、及び大域的な特徴を抽出して、予め用意された静止画像群と、検索クエリ用の静止画像の部分領域との類似値を算出することにより、検索クエリ用の画像の部分領域に類似した画像を含む静止画像を検索するようにすればよい。
【００６６】
また、上記図１における画像検索装置１００が備えている入力部１０、演算部２０、及び出力部３０という各構成は、専用のハードウェアにより実現されるものであってもよく、また、メモリおよびマイクロプロセッサにより実現させるものであってもよい。
【００６７】
また、この各構成は、メモリおよびＣＰＵ（中央演算装置）により構成され、各構成の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。
【００６８】
また、この各構成の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、各構成による処理が実行されてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００６９】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００７０】
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００７１】
１０ 入力部
２０ 演算部
３０ 出力部
４０ 映像データベース
４１ 映像取得部
４２ 蓄積特徴抽出部
４３ 索引生成部
４４ 部分画像取得部
４５ 入力特徴抽出部
４６ 索引検索部
４７ 検索結果生成部
４８ 計数統計量取得部
４９ 結果評価取得部
５０ 計数結果補正部
１００ 画像検索装置
【特許請求の範囲】
【請求項１】
予め用意された複数の映像ファイルから得られる静止画像群又は予め用意された静止画像群の各静止画像について、前記静止画像から抽出される特徴点の特徴を示す第１特徴量と、前記静止画像の部分領域の特徴を示す第２特徴量と、前記静止画像の全体領域の特徴を示す第３特徴量とを各々抽出する第１特徴抽出手段と、
前記静止画像群の各静止画像について抽出された前記第１特徴量、前記第２特徴量、及び前記第３特徴量を格納した索引データを生成する索引生成手段と、
入力された検索クエリ用の静止画像及び該静止画像の部分領域を受け付けるクエリ画像入力手段と、
前記検索クエリ用の静止画像について、該静止画像の前記部分領域から抽出される特徴点の特徴を示す前記第１特徴量、該静止画像の前記部分領域の特徴を示す前記第２特徴量、及び該静止画像の全体領域の特徴を示す前記第３特徴量を抽出する第２特徴抽出手段と、
前記第２特徴抽出手段によって抽出された前記検索クエリ用の静止画像の前記第１特徴量、前記第２特徴量、及び前記第３特徴量と、前記索引生成手段によって生成された前記索引データに格納された各静止画像の前記第１特徴量、前記第２特徴量、及び前記第３特徴量とに基づいて、前記静止画像群の各静止画像について、前記検索クエリ用の静止画像の前記部分領域との類似値又は距離を算出し、前記算出された各静止画像の類似値又は距離に基づいて、前記検索クエリ用の静止画像の前記部分領域と類似する画像を含む前記映像ファイル又は前記静止画像を検索する映像検索手段と、
を含む画像検索装置。
【請求項２】
前記予め用意された複数の映像ファイルとは異なる類似の映像ファイルについて予め求められた、検索クエリ用の静止画像及び部分領域に基づく検索結果のうちの上位ｎ件（ｎは自然数）の映像ファイルに含まれる正解の数の、正解となる全ての映像ファイルの数に対する割合を示す再現率、及び前記異なる映像ファイルの数の入力を受け付ける統計量入力手段と、
前記映像検索手段によって検索された検索結果のうちの上位ｎ件の映像ファイルにおける正解の割合を示す正解率の入力を受け付ける結果評価入力手段と、
前記映像検索手段によって検索された検索結果の映像ファイルの数、前記統計量入力手段によって受け付けた前記再現率及び映像ファイルの数、及び前記結果評価入力手段によって受け付けた前記正解率に基づいて、前記検索結果の映像ファイルの数を補正する計数結果補正手段と、
を更に含む請求項１記載の画像検索装置。
【請求項３】
第１特徴抽出手段によって、予め用意された複数の映像ファイルから得られる静止画像群又は予め用意された静止画像群の各静止画像について、前記静止画像から抽出される特徴点の特徴を示す第１特徴量と、前記静止画像の部分領域の特徴を示す第２特徴量と、前記静止画像の全体領域の特徴を示す第３特徴量とを各々抽出するステップと、
索引生成手段によって、前記静止画像群の各静止画像について抽出された前記第１特徴量、前記第２特徴量、及び前記第３特徴量を格納した索引データを生成するステップと、
クエリ画像入力手段によって、入力された検索クエリ用の静止画像及び該静止画像の部分領域を受け付けるステップと、
第２特徴抽出手段によって、前記検索クエリ用の静止画像について、該静止画像の前記部分領域から抽出される特徴点の特徴を示す前記第１特徴量、該静止画像の前記部分領域の特徴を示す前記第２特徴量、及び該静止画像の全体領域の特徴を示す前記第３特徴量を抽出するステップと、
映像検索手段によって、前記第２特徴抽出手段によって抽出された前記検索クエリ用の静止画像の前記第１特徴量、前記第２特徴量、及び前記第３特徴量と、前記索引生成手段によって生成された前記索引データに格納された各静止画像の前記第１特徴量、前記第２特徴量、及び前記第３特徴量とに基づいて、前記静止画像群の各静止画像について、前記検索クエリ用の静止画像の前記部分領域との類似値又は距離を算出し、前記算出された各静止画像の類似値又は距離に基づいて、前記検索クエリ用の静止画像の前記部分領域と類似する画像を含む前記映像ファイル又は前記静止画像を検索するステップと、
を含むことを特徴とする画像検索方法。
【請求項４】
コンピュータを、請求項１又は２記載の画像検索装置の各手段として機能させるためのプログラム。
【請求項１】
予め用意された複数の映像ファイルから得られる静止画像群又は予め用意された静止画像群の各静止画像について、前記静止画像から抽出される特徴点の特徴を示す第１特徴量と、前記静止画像の部分領域の特徴を示す第２特徴量と、前記静止画像の全体領域の特徴を示す第３特徴量とを各々抽出する第１特徴抽出手段と、
前記静止画像群の各静止画像について抽出された前記第１特徴量、前記第２特徴量、及び前記第３特徴量を格納した索引データを生成する索引生成手段と、
入力された検索クエリ用の静止画像及び該静止画像の部分領域を受け付けるクエリ画像入力手段と、
前記検索クエリ用の静止画像について、該静止画像の前記部分領域から抽出される特徴点の特徴を示す前記第１特徴量、該静止画像の前記部分領域の特徴を示す前記第２特徴量、及び該静止画像の全体領域の特徴を示す前記第３特徴量を抽出する第２特徴抽出手段と、
前記第２特徴抽出手段によって抽出された前記検索クエリ用の静止画像の前記第１特徴量、前記第２特徴量、及び前記第３特徴量と、前記索引生成手段によって生成された前記索引データに格納された各静止画像の前記第１特徴量、前記第２特徴量、及び前記第３特徴量とに基づいて、前記静止画像群の各静止画像について、前記検索クエリ用の静止画像の前記部分領域との類似値又は距離を算出し、前記算出された各静止画像の類似値又は距離に基づいて、前記検索クエリ用の静止画像の前記部分領域と類似する画像を含む前記映像ファイル又は前記静止画像を検索する映像検索手段と、
を含む画像検索装置。
【請求項２】
前記予め用意された複数の映像ファイルとは異なる類似の映像ファイルについて予め求められた、検索クエリ用の静止画像及び部分領域に基づく検索結果のうちの上位ｎ件（ｎは自然数）の映像ファイルに含まれる正解の数の、正解となる全ての映像ファイルの数に対する割合を示す再現率、及び前記異なる映像ファイルの数の入力を受け付ける統計量入力手段と、
前記映像検索手段によって検索された検索結果のうちの上位ｎ件の映像ファイルにおける正解の割合を示す正解率の入力を受け付ける結果評価入力手段と、
前記映像検索手段によって検索された検索結果の映像ファイルの数、前記統計量入力手段によって受け付けた前記再現率及び映像ファイルの数、及び前記結果評価入力手段によって受け付けた前記正解率に基づいて、前記検索結果の映像ファイルの数を補正する計数結果補正手段と、
を更に含む請求項１記載の画像検索装置。
【請求項３】
第１特徴抽出手段によって、予め用意された複数の映像ファイルから得られる静止画像群又は予め用意された静止画像群の各静止画像について、前記静止画像から抽出される特徴点の特徴を示す第１特徴量と、前記静止画像の部分領域の特徴を示す第２特徴量と、前記静止画像の全体領域の特徴を示す第３特徴量とを各々抽出するステップと、
索引生成手段によって、前記静止画像群の各静止画像について抽出された前記第１特徴量、前記第２特徴量、及び前記第３特徴量を格納した索引データを生成するステップと、
クエリ画像入力手段によって、入力された検索クエリ用の静止画像及び該静止画像の部分領域を受け付けるステップと、
第２特徴抽出手段によって、前記検索クエリ用の静止画像について、該静止画像の前記部分領域から抽出される特徴点の特徴を示す前記第１特徴量、該静止画像の前記部分領域の特徴を示す前記第２特徴量、及び該静止画像の全体領域の特徴を示す前記第３特徴量を抽出するステップと、
映像検索手段によって、前記第２特徴抽出手段によって抽出された前記検索クエリ用の静止画像の前記第１特徴量、前記第２特徴量、及び前記第３特徴量と、前記索引生成手段によって生成された前記索引データに格納された各静止画像の前記第１特徴量、前記第２特徴量、及び前記第３特徴量とに基づいて、前記静止画像群の各静止画像について、前記検索クエリ用の静止画像の前記部分領域との類似値又は距離を算出し、前記算出された各静止画像の類似値又は距離に基づいて、前記検索クエリ用の静止画像の前記部分領域と類似する画像を含む前記映像ファイル又は前記静止画像を検索するステップと、
を含むことを特徴とする画像検索方法。
【請求項４】
コンピュータを、請求項１又は２記載の画像検索装置の各手段として機能させるためのプログラム。
【図１】
【図４】
【図２】
【図３】
【図４】
【図２】
【図３】
【公開番号】特開２０１３−９２９４１（Ｐ２０１３−９２９４１Ａ）
【公開日】平成２５年５月１６日（２０１３．５．１６）
【国際特許分類】
【出願番号】特願２０１１−２３５３３３（Ｐ２０１１−２３５３３３）
【出願日】平成２３年１０月２６日（２０１１．１０．２６）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【出願人】（５０４２０２４７２）大学共同利用機関法人情報・システム研究機構 (119)
【Ｆターム（参考）】
【公開日】平成２５年５月１６日（２０１３．５．１６）
【国際特許分類】
【出願日】平成２３年１０月２６日（２０１１．１０．２６）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【出願人】（５０４２０２４７２）大学共同利用機関法人情報・システム研究機構 (119)
【Ｆターム（参考）】
[ Back to top ]