サムネイル抽出プログラム及びサムネイル抽出方法
【課題】３次元映像に適したサムネイルを抽出できるサムネイル抽出プログラム及びサムネイル抽出方法を提供することを課題とする。
【解決手段】３Ｄ映像の一フレームを構成するフレーム画像ペア間で対応する特徴点を特徴点ペアとしてフレーム画像ペアから抽出し、特徴点ペアの奥行き量を特徴点ペアの点間距離、レンズ間距離・焦点距離を基に算出して、奥行き量で前記特徴点ペアをクラスタリングし、予め定められたクラスタリングの結果情報に基づくフレーム画像ペアの立体的な見え易さの評価条件を基に、１以上のフレーム画像ペアのクラスタリングの結果情報から１以上のフレーム画像ペアの立体的な見え易さを評価し、立体的な見え易さの評価結果に基づき、評価結果の最も良い前記フレーム画像ペアを、サムネイル用の前記フレーム画像ペアとして抽出する処理をコンピュータに実行させるサムネイル抽出プログラムにより上記課題を解決する。
【解決手段】３Ｄ映像の一フレームを構成するフレーム画像ペア間で対応する特徴点を特徴点ペアとしてフレーム画像ペアから抽出し、特徴点ペアの奥行き量を特徴点ペアの点間距離、レンズ間距離・焦点距離を基に算出して、奥行き量で前記特徴点ペアをクラスタリングし、予め定められたクラスタリングの結果情報に基づくフレーム画像ペアの立体的な見え易さの評価条件を基に、１以上のフレーム画像ペアのクラスタリングの結果情報から１以上のフレーム画像ペアの立体的な見え易さを評価し、立体的な見え易さの評価結果に基づき、評価結果の最も良い前記フレーム画像ペアを、サムネイル用の前記フレーム画像ペアとして抽出する処理をコンピュータに実行させるサムネイル抽出プログラムにより上記課題を解決する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は映像からサムネイルを抽出するサムネイル抽出プログラム及びサムネイル抽出方法に関する。
【背景技術】
【０００２】
近年、携帯電話やビデオカメラ等には映像が大量に蓄積されるようになった。このように映像が大量に蓄積された携帯電話やビデオカメラ等では必要な映像を検索したいという要望がある。
【０００３】
従来、映像を検索する場合は、例えば映像に付加されたメタデータ等で検索する方法が利用されている。しかし、映像に付加されたメタデータ等で検索する方法では映像を絞り込むことができない場合も多かった。結局、映像を検索する場合は一つ一つ再生しながら確認する場合が多い。
【０００４】
また、従来、映像を検索する場合は、映像から抽出したサムネイルを表示することで映像の内容を把握させる方法も利用されている。サムネイルとは利用者に映像の内容を把握させるための画像である。映像の検索にサムネイルを利用する場合は映像一つ当たりのサムネイルの数を増やすことができないため、より良いサムネイル抽出手法が必要とされていた（例えば特許文献１参照）。
【０００５】
その他のサムネイル抽出手法としては、映像の先頭フレームや映像の先頭からあらかじめ決められた秒数後のフレームからサムネイルを抽出する方法や、ＣＭ検出手法と組み合わせて、ＣＭ以外の部分からサムネイルを抽出する方法、映像の切り替わりであるカットを検出して、そのカット画像をサムネイルとして抽出する方法、顔検出手法と組み合わせて顔のアップ画像をサムネイルとして抽出する手法などが存在する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−２９４９０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
現在、携帯電話やビデオカメラ等には３次元（３Ｄ）映像を扱える製品が出現し始めている。したがって、将来的に、携帯電話やビデオカメラ等には３Ｄ映像が大量に蓄積されること考えられる。このように３Ｄ映像が大量に蓄積された携帯電話やビデオカメラ等では必要な３Ｄ映像を検索したいという要望が増加すると考えられる。
【０００８】
しかし、上記したような２次元（２Ｄ）映像を検索する場合の問題は、３Ｄ映像を検索する場合にも発生すると考えられる。つまり、３Ｄ映像を検索する場合も、３Ｄ映像から抽出したサムネイルを表示することで映像の内容を把握させる方法が利用されると考えられる。
【０００９】
しかし、従来の２Ｄ映像を対象としたサムネイル抽出手法は、３Ｄ映像に適したサムネイルを抽出できるものではないという問題があった。
【００１０】
本実施形態は３次元映像に適したサムネイルを抽出できるサムネイル抽出プログラム及びサムネイル抽出方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記課題を解決するため、本実施形態は、３Ｄ映像の一フレームを構成するフレーム画像ペア間で対応する特徴点を特徴点ペアとして前記フレーム画像ペアから抽出し、前記特徴点ペアの奥行き量を前記特徴点ペアの点間距離、所定のレンズ間距離・焦点距離を基に算出して、前記奥行き量で前記特徴点ペアをクラスタリングし、予め定められたクラスタリングの結果情報に基づく前記フレーム画像ペアの立体的な見え易さの評価条件を基に、１以上の前記フレーム画像ペアのクラスタリングの結果情報から前記１以上のフレーム画像ペアの立体的な見え易さを評価し、前記１以上のフレーム画像ペアの立体的な見え易さの評価結果に基づき、前記評価結果の最も良い前記フレーム画像ペアを、サムネイル用の前記フレーム画像ペアとして抽出する処理をコンピュータに実行させるサムネイル抽出プログラムである。
【００１２】
なお、本実施形態の構成要素、表現又は構成要素の任意の組合せを、方法、装置、システム、コンピュータプログラム、記録媒体、データ構造などに適用したものも本発明の態様として有効である。
【発明の効果】
【００１３】
本実施形態によれば３次元映像に適したサムネイルを抽出できるサムネイル抽出プログラム及びサムネイル抽出方法を提供可能である。
【図面の簡単な説明】
【００１４】
【図１】ＰＣの一例のハードウェア構成図である。
【図２】本実施例のサムネイル抽出装置の一例の機能ブロック図である。
【図３】本実施例のサムネイル抽出装置の一例のフローチャートである。
【図４】映像情報テーブルの一例の構成図である。
【図５】フレーム情報テーブルの一例の構成図である。
【図６】３Ｄ映像の一フレームを構成する２枚の画像の一例のイメージ図である。
【図７】局所特徴量テーブルの一例の構成図である。
【図８】抽出した特徴点を視覚的に表したフレーム画像の一例のイメージ図である。
【図９】対応点テーブルの一例の構成図である。
【図１０】対応点テーブルの他の例の構成図である。
【図１１】Ｚ値ヒストグラムテーブルの一例の構成図である。
【図１２】対応点ヒストグラムテーブルの一例の構成図である。
【図１３】Ｚ値クラスタテーブルの一例の構成図である。
【図１４】対応点クラスタテーブルの一例の構成図である。
【図１５】フレーム評価テーブルの一例の構成図である。
【図１６】３Ｄカメラを上から見た場合の一例の模式図である。
【図１７】視差によるＺ値の算出方法の一例のイメージ図である。
【図１８】ステップＳ３の処理の一例のフローチャートである。
【図１９】計算した各ビンの値を表す一例のヒストグラムである。
【図２０】各クラスタに含まれる対応点を視覚的に表したフレーム画像の一例のイメージ図である。
【図２１】ステップＳ４の処理の一例のフローチャートである。
【図２２】ステップＳ５の処理の一例のフローチャートである。
【図２３】ステップＳ２８の処理の一例のフローチャートである。
【図２４】本実施例のサムネイル抽出装置の他の例の機能ブロック図である。
【図２５】ステップＳ５の処理の他の例のフローチャートである。
【発明を実施するための形態】
【００１５】
次に、本発明を実施するための形態を、以下の実施例に基づき図面を参照しつつ説明していく。本実施例のサムネイル抽出プログラムはパーソナルコンピュータ（ＰＣ）で実行される他、携帯電話やビデオカメラ等、３Ｄ映像を扱う様々な機器で実行される。本実施例ではＰＣでサムネイル抽出プログラムを実行する例を説明する。ＰＣは例えば図１に示すハードウェアにより構成される。図１はＰＣの一例のハードウェア構成図である。
【００１６】
図１のＰＣ１０は入力装置２１、表示装置２２、ＰＣ本体２３を有している。ＰＣ本体２３はバス３７で相互に接続された主記憶装置３１、演算処理装置３２、インタフェース装置３３、記録媒体読取装置３４及び補助記憶装置３５を有している。また、バス３７には入力装置２１及び表示装置２２が接続されている。
【００１７】
バス３７で相互に接続されている入力装置２１、表示装置２２、主記憶装置３１、演算処理装置３２、インタフェース装置３３、記録媒体読取装置３４及び補助記憶装置３５は演算処理装置３２による管理下で相互にデータの送受を行うことができる。演算処理装置３２は、ＰＣ１０全体の動作制御を司る中央処理装置である。
【００１８】
インタフェース装置３３はネットワーク等からのデータを受信し、データの内容を演算処理装置３２に渡す。インタフェース装置３３は演算処理装置３２からの指示に応じてネットワーク等にデータを送信する。
【００１９】
補助記憶装置３５にはサムネイル抽出装置と同様の機能をＰＣ１０に発揮させるプログラムの一部として、少なくともサムネイル抽出装置における処理をＰＣ１０に実行させるサムネイル抽出プログラムが記憶されている。そして、演算処理装置３２がサムネイル抽出プログラムを補助記憶装置３５から読み出して実行することで、ＰＣ１０はサムネイル抽出装置として機能するようになる。サムネイル抽出プログラムは演算処理装置３２とアクセス可能な主記憶装置３１に格納されていても良い。入力装置２１は演算処理装置３２の管理下でデータの入力を受付ける。サムネイル抽出プログラムはＰＣ１０が読み取り可能な記録媒体３６に記録しておくことができる。
【００２０】
記録媒体３６には、磁気記録媒体、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記録媒体には、ＨＤＤ、フレキシブルディスク（ＦＤ）、磁気テープ（ＭＴ）などがある。光ディスクには、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ − Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ−Ｒ（Ｒｅｃｏｒｄａｂｌｅ）／ＲＷ（ＲｅＷｒｉｔａｂｌｅ）などがある。また、光磁気記録媒体には、ＭＯ（Ｍａｇｎｅｔｏ − Ｏｐｔｉｃａｌ ｄｉｓｋ）などがある。
【００２１】
サムネイル抽出プログラムを流通させる場合は、サムネイル抽出プログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの可搬型の記録媒体３６を販売することが考えられる。サムネイル抽出プログラムを実行するＰＣ１０は例えば記録媒体読取装置３４がサムネイル抽出プログラムを記録した記録媒体３６からサムネイル抽出プログラムを読み出す。演算処理装置３２は、読み出されたサムネイル抽出プログラムを主記憶装置３１若しくは補助記憶装置３５に格納する。
【００２２】
ＰＣ１０は自己の記憶装置である主記憶装置３１若しくは補助記憶装置３５からサムネイル抽出プログラムを読み取り、サムネイル抽出プログラムに従った処理を実行する。演算処理装置３２はサムネイル抽出プログラムに従って、後述するような各種処理を実現している。
【実施例１】
【００２３】
以下では、少なくともＰＣ１０にサムネイル抽出プログラムがインストールされているサムネイル抽出装置４０を例に説明していく。
【００２４】
図２は本実施例のサムネイル抽出装置の一例の機能ブロック図である。図２のサムネイル抽出装置４０は、フレーム画像取得部４１、特徴点抽出部４２、局所特徴抽出部４３、特徴点ペア抽出部４４、奥行きクラスタリング部４５、サムネイル評価部４６、サムネイル抽出部４７、映像情報テーブル５１、フレーム情報テーブル５２、局所特徴量テーブル５３、対応点テーブル５４、Ｚ値ヒストグラムテーブル５５、対応点ヒストグラムテーブル５６、Ｚ値クラスタテーブル５７、対応点クラスタテーブル５８、フレーム評価テーブル５９を有する。
【００２５】
ここでは図２の機能ブロックの概要について説明する。フレーム画像取得部４１は３Ｄ映像の一フレームを構成する２枚の画像を取得する。特徴点抽出部４２は画像から特徴点を抽出する。局所特徴抽出部４３は画像から特徴点の局所特徴量を抽出する。特徴点ペア抽出部４４は３Ｄ映像の一フレームを構成する２枚の画像の特徴点のペアを抽出する。
【００２６】
奥行きクラスタリング部４５は特徴点ペアから算出される奥行き距離で特徴点をクラスタリングする。サムネイル評価部４６はクラスタリングの結果を元に、フレームの立体らしさの値（評価値）を算出する。サムネイル抽出部４７はフレームの立体らしさの値が一番高いフレームをサムネイル用のフレームとして抽出する。
【００２７】
映像情報テーブル５１は３Ｄ映像の情報を保存する。フレーム情報テーブル５２は３Ｄ映像の一フレームを構成する２枚の画像を関連付けて保存する。局所特徴量テーブル５３は３Ｄ映像の一フレームを構成する２枚の画像から抽出された特徴点の局所特徴量を保存する。
【００２８】
対応点テーブル５４は、３Ｄ映像の一フレームを構成する２枚の画像から抽出された特徴点のペアを対応点として保存すると共に、その対応点の距離値を保存する。距離値とは３Ｄ映像の一フレームを構成する２枚の画像を重畳したときの特徴点のペアの間の距離をいう。なお、対応点テーブル５４は対応点、その対応点の距離値に加えて対応点の奥行き距離（Ｚ値）を保存するようにしてもよい。
【００２９】
Ｚ値ヒストグラムテーブル５５は複数定められたＺ値の範囲にある対応点の個数を保存する。対応点ヒストグラムテーブル５６は対応点と、その対応点が格納されたＺ値の範囲とを関連付けて保存する。
【００３０】
Ｚ値クラスタテーブル５７はＺ値のヒストグラムのピークと、そのピークの前後のＺ値の範囲とを併せたクラスタを保存する。対応点クラスタテーブル５８は対応点と、その対応点が格納されたクラスタとを関連付けて保存する。また、フレーム評価テーブル５９は各フレームの立体らしさの値（評価値）を保存する。
【００３１】
図３は本実施例のサムネイル抽出装置の一例のフローチャートである。ステップＳ１において、フレーム画像取得部４１は３Ｄ映像の画像（フレーム画像）を取得する。３Ｄ映像の各フレームは、位置が少しずれた地点から見た２枚の画像（フレーム画像）で構成される。３Ｄ映像におけるフレーム画像の位置のずれは、あまり大きくないことがほとんどである。３Ｄ映像におけるフレーム画像は、かなり似通った画像となる。
【００３２】
取得元の３Ｄ映像に関して特に制約はない。３Ｄ映像はテレビ映像や、３Ｄカメラでライブ撮影された映像でもかまわないし、Ｂｌｕ−ｒａｙ３Ｄのようなファイルに保存された映像でもかまわない。また、３Ｄ映像の格納方式についても特に制約はない。３Ｄ映像の格納方式は、Ｓｉｄｅ−ｂｙ−Ｓｉｄｅ（左右の画像を横に並べて一つの画像として保存）やＦｒａｍｅ ａｌｔｅｒｎａｔｉｖｅ（右と左画像を交互に保存）などを利用することができる。
【００３３】
３Ｄ映像に関しては、映像の幅や高さ、フレーム数などの映像情報を利用できるようにする。これらの映像情報は映像情報テーブル５１のような形で保存できる。図４は映像情報テーブルの一例の構成図である。図４の映像情報テーブル５１はデータ項目として映像番号、幅、高さ、フレーム数を有する。
【００３４】
映像番号は３Ｄ映像の識別子である。幅は３Ｄ映像の幅である。高さは３Ｄ映像の高さである。フレーム数は３Ｄ映像のフレーム数である。なお、フレーム数に関してはライブ映像などで取得できない場合もある。その場合はフレーム数を利用しないようにすることもできる。例えばフレーム数が取得できない場合は先頭から指定フレーム以内のフレームからサムネイルを抽出するようにすれば、問題なく処理を行うことができる。
【００３５】
なお、以降の処理は３Ｄ映像ごとに独立であるため、一つの３Ｄ映像に対する処理を記述する。フレーム画像取得部４１は必ずしも３Ｄ映像の全てのフレームを抽出する必要はなく、３Ｄ映像の一部のフレームを抽出すればよい。フレーム画像取得部４１は、カット検出手法と組み合わせて画像を抽出する方法や、一定間隔の画像を抽出する方法、ＣＭ検出手法、顔検出手法などの他の解析手法と組み合わせて画像を抽出する方法などが考えられる。
【００３６】
フレーム画像取得部４１は、取得したフレーム画像をフレーム情報テーブル５２に保存する。図５はフレーム情報テーブルの一例の構成図である。図５のフレーム情報テーブル５２はデータ項目としてフレーム番号、左画像、右画像を有する。
【００３７】
フレーム番号は、フレームの識別子である。左画像は、フレームを構成する左画像（左フレーム画像）の識別子である。また、右画像はフレームを構成する右画像（右フレーム画像）の識別子である。
【００３８】
図６は３Ｄ映像の一フレームを構成する２枚の画像の一例のイメージ図である。図６に示すように、左フレーム画像１００及び右フレーム画像１０１は、かなり似通った画像となる。
【００３９】
図３のステップＳ２において、特徴点抽出部４２はステップＳ１で取得したフレーム情報テーブル５２内の一つのフレームの左フレーム画像１００、右フレーム画像１０１に対して、それぞれ、特徴点を抽出する。また、局所特徴抽出部４３は抽出された特徴点の特徴量を局所特徴量として抽出する。
【００４０】
特徴点抽出方法について、特に限定は行わない。単純な特徴点抽出方法としては、Ｓｏｂｅｌエッジ抽出手法、Ｃａｎｎｙエッジ抽出手法などの各種エッジ検出手法やＨａｒｒｉｓコーナー手法などのコーナー検出手法などがある。Ｓｏｂｅｌエッジ抽出手法は例えば「高木幹雄，下田陽久：新編画像解析ハンドブック，東京大学出版会，2004.」などに記載されている。Ｃａｎｎｙエッジ抽出手法は例えば「CANNY J.,"A Computational Approach to Edge Detection," IEEE Trans. on Pattern Analysis and Machine Intelligence, 8(6), pp. 679-698, 1986」などに記載されている。Ｈａｒｒｉｓコーナー手法は例えば「C.Harris, M.Stephens, "A COMBINED CORNER AND EDGE DETECTOR," Proc. of 4th Alvey vision Conference, pp.147-151, 1988」などに記載されている。
【００４１】
また、局所特徴量抽出手法についても、特に限定は行わない。局所特徴量は特徴点付近の画像から抽出することが考えられる。局所特徴量抽出手法としては、色ヒストグラムなどの手法が使用できる。色ヒストグラムの手法は例えば「高木幹雄，下田陽久：新編画像解析ハンドブック，東京大学出版会，2004.」などに記載されている。
【００４２】
また、特徴点抽出方法、局所特徴量抽出手法としては、ＳＩＦＴ（US Patent 6,711,293）などを使用した方法も考えられる。ＳＩＦＴは例えば「D.G.Lowe, "Object recognition from local scale-invariant features," Proc. of IEEE Int. Conf. on. Computer Vision (ICCV) pp.1150-1157, 1999.」などに記載されている。
【００４３】
ＳＩＦＴでは、画像にガウスぼかしをかけた場合の差分（Difference of Gaussian）を算出し、その極大点を特徴点とし、そこから、勾配の方向を元にした、局所特徴量を抽出する。同様の局所特徴抽出手法としてはＳＵＲＦなども利用できる。ＳＵＲＦは、例えば「BAY H., "SURF : Speeded up robust features," Proc. 9th ECCV, May 2006, Graz, Austria 1, 404-417, 2006」などに記載されている。なお、抽出された特徴量（局所特徴量）は、実数値の配列（ベクトル）形式になる。
【００４４】
特徴点抽出部４２及び局所特徴抽出部４３は、抽出した特徴点及び局所特徴量を局所特徴量テーブル５３に保存する。図７は局所特徴量テーブルの一例の構成図である。図７の局所特徴量テーブル５３はデータ項目としてフレーム番号、画像番号、特徴量番号、Ｘ座標、Ｙ座標、特徴量を有する。
【００４５】
フレーム番号は、フレームの識別子である。画像番号は、右フレーム画像と左フレーム画像との識別子である。特徴量番号は特徴点の識別子である。Ｘ座標は特徴点のＸ座標である。Ｙ座標は特徴点のＹ座標である。特徴量は、特徴点の特徴量である。
【００４６】
図８は抽出した特徴点を視覚的に表したフレーム画像の一例のイメージ図である。図８では特徴点を「○」で表している。図８に示すように、左フレーム画像１００及び右フレーム画像１０１は複数の特徴点が抽出されている。なお、左フレーム画像１００及び右フレーム画像１０１上に表された特徴点は図７の局所特徴量テーブル５３に応じたものとなる。
【００４７】
図３のステップＳ３において、特徴点ペア抽出部４４は局所特徴量テーブル５３を参照して、後述のように同一フレームの右フレーム画像及び左フレーム画像から特徴点のペアを抽出する。特徴点ペア抽出部４４は抽出した特徴点のペアを対応点として対応点テーブル５４に保存する。
【００４８】
図９は対応点テーブルの一例の構成図である。図９の対応点テーブル５４はデータ項目としてフレーム番号、対応点番号、右フレーム画像１０１の特徴点番号、左フレーム画像１００の特徴点番号、距離値を有する。フレーム番号は、フレームの識別子である。対応点番号は、対応点の識別子である。右フレーム画像１０１の特徴点番号は、右フレーム画像１０１の特徴点の識別子である。左フレーム画像１００の特徴点番号は、左フレーム画像１００の特徴点の識別子である。距離値は、左フレーム画像１００と右フレーム画像１０１とを重畳したときの、右フレーム画像１０１の特徴点番号により識別される特徴点と左フレーム画像１００の特徴点番号により識別される特徴点との間の距離である。
【００４９】
図１０は対応点テーブルの他の例の構成図である。図１０の対応点テーブル５４は図９の対応点テーブル５４のデータ項目にＺ値が追加されている。Ｚ値は局所特徴量テーブル５３に保存されているＸ座標、対応点テーブル５４に保存されている距離値から後述のように算出される。Ｚ値は対応点の奥行き距離を表している。
【００５０】
図３のステップＳ４において、奥行きクラスタリング部４５は図９の対応点テーブル５４に保存されている距離値又は図１０の対応点テーブル５４に保存されているＺ値を元に後述のクラスタリング処理を行い、近い奥行き距離の対応点のグループを作成する。奥行きクラスタリング部４５はクラスタリング処理の結果を、図１１に示すＺ値ヒストグラムテーブル５５、図１２に示す対応点ヒストグラムテーブル５６、図１３に示すＺ値クラスタテーブル５７、図１４に示す対応点クラスタテーブル５８に保存する。
【００５１】
図１１はＺ値ヒストグラムテーブルの一例の構成図である。図１１のＺ値ヒストグラムテーブル５５はデータ項目としてフレーム番号、ビン番号、開始のＺ値、終了のＺ値、個数を有する。フレーム番号は、フレームの識別子である。ビン番号は、Ｚ値の範囲（ヒストグラムのビン）の識別子である。開始のＺ値は、ビンの開始のＺ値である。終了のＺ値は、ビンの終了のＺ値である。個数はビンにある対応点の個数である。
【００５２】
図１２は対応点ヒストグラムテーブルの一例の構成図である。図１２の対応点ヒストグラムテーブル５６はデータ項目としてフレーム番号、対応点番号、ビン番号を有する。フレーム番号は、フレームの識別子である。対応点番号は、対応点の識別子である。ビン番号はビンの識別子である。
【００５３】
図１３はＺ値クラスタテーブルの一例の構成図である。図１３のＺ値クラスタテーブル５７はデータ項目としてフレーム番号、クラスタ番号、開始のＺ値、終了のＺ値、個数を有する。フレーム番号は、フレームの識別子である。クラスタ番号は、クラスタの識別子である。開始のＺ値は、クラスタの開始のＺ値である。終了のＺ値は、クラスタの終了のＺ値である。個数はクラスタにある対応点の個数である。
【００５４】
また、図１４は対応点クラスタテーブルの一例の構成図である。図１４の対応点クラスタテーブル５８はデータ項目としてフレーム番号、対応点番号、クラスタ番号を有する。フレーム番号は、フレームの識別子である。対応点番号は、対応点の識別子である。クラスタ番号はクラスタの識別子である。
【００５５】
図３のステップＳ５において、サムネイル評価部４６は後述するように、クラスタリングの結果を元に、フレームの立体らしさの値（評価値）を算出する。つまり、サムネイル評価部４６は現在のフレームがサムネイルとして適しているかの評価値を算出する。
【００５６】
また、ステップＳ６において、サムネイル評価部４６は算出したフレームの立体らしさの値（評価値）を図１５に示すフレーム評価テーブル５９に保存する。図１５はフレーム評価テーブルの一例の構成図である。図１５のフレーム評価テーブル５９はデータ項目としてフレーム番号、評価値を有する。フレーム番号は、フレームの識別子である。評価値はフレームの立体らしさの値である。
【００５７】
また、ステップＳ７において、サムネイル評価部４６は他に解析すべき（立体らしさの値を算出すべき）フレームがあるか否かを判定する。他に解析すべきフレームがあると判定すれば、サムネイル評価部４６はフレーム画像取得部４１にフレーム画像の取得を要求する。ステップＳ１〜Ｓ６の処理は解析すべきフレームの数だけ繰り返される。
【００５８】
他に解析すべきフレームがないと判定すれば、サムネイル評価部４６はサムネイル抽出部４７にサムネイル用のフレームの抽出を要求する。ステップＳ８において、サムネイル抽出部４７はフレーム評価テーブル５９のフレームの立体らしさの値（評価値）が一番高いフレームをサムネイル用のフレームとして抽出する。なお、サムネイル抽出部４７はサムネイルの抽出位置（３Ｄ映像の最初、最後など）を元にした重み付けを、例えば３Ｄ映像の種類によって行うようにしてもよい。
【００５９】
図３のステップＳ３の処理の詳細は以下の通りである。特徴点ペア抽出部４４は、局所特徴量テーブル５３における、同一フレームの右フレーム画像及び左フレーム画像でそれぞれ抽出された特徴量間で関連付けを行う。
【００６０】
右フレーム画像の特徴量番号集合をＲ、左フレーム画像の特徴量番号集合をＬとした場合は以下の式（１）を満たす、ｉ，ｊを見つける問題となる。ここで、ｆＲ（ｉ）は右フレーム画像のｉ番目の特徴量とする。ｆＬ（ｊ）は、左フレーム画像のｊ番目の特徴量とする。ｄｉｓｔは二つの特徴量間の距離関数とする。
【００６１】
【数１】
【００６２】
つまり、特徴点ペア抽出部４４は右フレーム画像の特徴量と左フレーム画像の特徴量との間の全てのペアに対して特徴量間の距離を算出し、最小の距離のペア（ｉ，ｊ）を求めている。特徴点ペア抽出部４４は、同時に、最小となるペアの特徴量間の距離（ｄｉｓｔ関数の戻り値）も保持する。特徴量間の距離が予め与えられた距離の閾値以下の場合は対応点として対応点テーブル５４に保存する。
【００６３】
また、式（１）では左フレーム画像と右フレーム画像の特徴量間の全てのマッチングを行っているが、高速化のため、ある一定距離のペアまでしか求めないようにしてもかまわない。
【００６４】
例えば右フレーム画像のｉ番目の特徴点のＸ座標をｘＲ（ｉ）とし、左フレーム画像のｊ番目の特徴点のＸ座標をｘＬ（ｊ）とし、右フレーム画像のｉ番目の特徴点のＹ座標をｙＲ（ｉ）とし、左フレーム画像のｊ番目の特徴点のＹ座標をｙＬ（ｊ）とし、閾値としてＴｘ及びＴｙを設定した場合は、以下の式（２）を満たすものだけを対象とする。
【００６５】
【数２】
【００６６】
一般的に、３Ｄ画像のカメラのレンズは左右に並んでいる。したがって、３Ｄ画像ではＸ座標における差分の方が大きいため、Ｔｘの方にＴｙより大きな値を指定する。距離関数としては、一般的なユークリッド距離などの手法を用いることができる。また、局所特徴量ごとに適した距離関数を用いてもかまわない。
【００６７】
ユークリッド距離を用いる場合は以下の式（３）のようになる。式（３）は、２つのベクトルｖ１及びｖ２において、次元数ｉの場合の値がそれぞれｖ１（ｉ）、ｖ２（ｊ）であり、かつ、次元数がｎの場合の例である。特徴点ペア抽出部４４は、抽出した対応点の左右フレーム画像の特徴量番号（ｉ，ｊ）と、抽出した対応点の距離値とを対応点テーブル５４に保存する。
【００６８】
【数３】
【００６９】
図１０に示す対応点テーブルを用いる場合、特徴点ペア抽出部４４は局所特徴量テーブル５３に保存しているＸ座標及び対応点テーブル５４に保存している距離値から、対応点として保存されている特徴点のＺ値（奥行き距離）を算出する。なお、Ｚ値の算出は以下の式（４）を用いて行うことができる。
【００７０】
【数４】
【００７１】
ここで、ｆＣは３Ｄ画像の撮影時のカメラのパラメータである焦点距離である。ＸＣは３Ｄ画像を撮影したカメラの二つのレンズ間の距離である。ｘＲは対応点の右フレーム画像でのＸ座標である。ｘＬは対応点の左フレーム画像でのＸ座標である。なお、焦点距離は２つのレンズで同じ値を持つものとする。なお、式（４）における各パラメータを図示すると、例えば図１６に示すようになる。図１６は３Ｄカメラを上から見た場合の一例の模式図である。
【００７２】
また、図１７は視差によるＺ値の算出方法の一例のイメージ図である。図１７（Ａ）は二つのレンズ間の視差のイメージを表している。図１７（Ｂ）は同一フレームにおける右フレーム画像及び左フレーム画像から抽出された対応点（特徴点のペア）のイメージを表している。図１７（Ｂ）では特徴点を「○」で表し、ペアとなる特徴点を線で結んで視覚的に表している。図１７（Ｂ）ではＺ値の小さい特徴点のペアを細線で繋ぎ、Ｚ値の大きい特徴点のペアを太線で繋いで表している。
【００７３】
図１７に示すように、位置がレンズに近いものほど、左右フレーム画像間での特徴点の左右位置は、ずれる。したがって、奥行き距離の算出は左右フレーム画像間での特徴点の左右位置のずれを利用して行うことができる。
【００７４】
図３のステップＳ３以降の処理ではＺ値の絶対値を使用せず、相対値を使用する。したがって、焦点距離と二つのレンズ間の距離とは正の固定値を設定すればよい。また、上記の式（４）から分かるように、Ｚ値と対応点の距離値とは反比例の関係にある。ステップＳ４の処理において対応点の距離値を使用するようにすれば、ステップＳ３の処理ではＺ値の算出まで行う必要はなくなる。特徴点ペア抽出部４４は算出したＺ値を対応点テーブル５４に保存する。
【００７５】
図３のステップＳ３の処理は例えば図１８に示すフローチャートの手順で行うことができる。図１８はステップＳ３の処理の一例のフローチャートである。
【００７６】
ステップＳ１１において、特徴点ペア抽出部４４は局所特徴量テーブル５３に保存されている左フレーム画像の特徴点を一つ選択し、その特徴点の特徴量を取得する。ステップＳ１２において、特徴点ペア抽出部４４はステップＳ１１で選択した左フレーム画像の特徴点と座標値が近い特徴点を選択し、その特徴点の特徴量を取得する。
【００７７】
ステップＳ１３において、特徴点ペア抽出部４４はステップＳ１１、Ｓ１２で選択した二つの特徴点の特徴量の距離値を算出する。ステップＳ１４において、特徴点ペア抽出部４４は算出した距離値が最小値の場合、ステップＳ１１、Ｓ１２で選択した二つの特徴点及びステップＳ１３で算出した二つの特徴点の特徴量の距離値を保存する。
【００７８】
ステップＳ１５に進み、特徴点ペア抽出部４４は他に右フレーム画像の特徴点があるかを判定する。他に右フレーム画像の特徴点があれば、特徴点ペア抽出部４４は右フレーム画像の他の特徴点に対してステップＳ１２〜Ｓ１４の処理を繰り返す。他に右フレーム画像の特徴点が無くなれば、特徴点ペア抽出部４４はステップＳ１６において、特徴量の距離値が最小値の二つの特徴点のＸ座標の差分とＺ値とを算出する。
【００７９】
ステップＳ１７において、特徴点ペア抽出部４４は特徴量の距離値が閾値以下である場合に、特徴量の距離値が最小値の二つの特徴点を対応点として対応点テーブル５４へ保存する。ステップＳ１８において、特徴点ペア抽出部４４は他に左フレーム画像の特徴点があるかを判定する。
【００８０】
他に左フレーム画像の特徴点があれば、特徴点ペア抽出部４４は左フレーム画像の他の特徴点に対してステップＳ１１〜Ｓ１７の処理を繰り返す。他に左フレーム画像の特徴点が無くなれば、特徴点ペア抽出部４４は図１８に示す処理を終了する。
【００８１】
図３のステップＳ４の処理の詳細は以下の通りである。奥行きクラスタリング部４５はステップＳ３の処理で求めたＺ値又は距離値を元に、クラスタリング処理を行い、近い奥行き距離のグループを作成する。
【００８２】
クラスタリング手法としては、ヒストグラムを用いた方法が利用できる。奥行きクラスタリング部４５は特定の間隔でＺ値の範囲（ヒストグラムのビン）を定める。奥行きクラスタリング部４５は各ビンの値を最初に０に初期化する。奥行きクラスタリング部４５は対応点テーブル５４を参照して、各ビンのＺ値の範囲にある対応点の個数を各ビンの値として計算する。奥行きクラスタリング部４５は、計算した各ビンの値をＺ値ヒストグラムテーブル５５に保存する。
【００８３】
図１９は計算した各ビンの値を表す一例のヒストグラムである。図１９のヒストグラムは図１７に示したイメージ図に対応するものである。なお、Ｚ値の範囲は、固定間隔でもかまわないし、Ｚ値の絶対値で変更してもかまわない。上記の式（４）により、Ｚ値は対応点の距離値が０に近くなると急激に大きくなる。そこで、ビンはＺ値が大きい部分の範囲を広めに設定してもよい。奥行きクラスタリング部４５は必要に応じて、各ヒストグラムにどの対応点が格納されたのかを対応点ヒストグラムテーブル５５に保存する。
【００８４】
奥行きクラスタリング部４５はＺ値ヒストグラムテーブル５５に保存されているヒストグラムのピーク（局所的に値が大きくなっているビン）を見つけ、その前後のビンの個数と併せて一つのクラスタとする。
【００８５】
ヒストグラムのビン番号ｉの個数をｈ（ｉ）とした場合、奥行きクラスタリング部４５はｈ（ｉ）＞ｈ（ｉ−１）かつｈ（ｉ）＞ｈ（ｉ＋１）であるビン番号ｉのビンをピークとする。奥行きクラスタリング部４５はビン番号ｉのビンと、その前後のビン番号ｉ−１及びｉ＋１のビンとを併せて一つのクラスタとする。奥行きクラスタリング部４５はクラスタにある対応点の個数をｃ＝ｈ（ｉ−１）＋ｈ（ｉ）＋ｈ（ｉ＋１）とする。奥行きクラスタリング部４５は、クラスタにある対応点の個数をＺ値クラスタテーブル５７に保存する。奥行きクラスタリング部４５は必要に応じて、対応点ヒストグラムテーブル５６を元に、各クラスタにどの対応点が含まれているのかを対応点クラスタテーブル５８に保存する。
【００８６】
図２０は各クラスタに含まれる対応点を視覚的に表したフレーム画像の一例のイメージ図である。図２０では同一のクラスタに含まれる対応点を線で囲って表している。図２０のイメージ図は図１９に示したヒストグラムに対応するものである。
【００８７】
なお、ヒストグラムを求めるにあたり精度を向上させるためには、近接の特徴点のＺ値と比較し、近似したＺ値を持たない特徴点を除去する方法が考えられる。例えば奥行きクラスタリング部４５は対応点クラスタテーブル５８、対応点テーブル５４及び局所特徴量テーブル５３から、特徴点のＸ座標値、Ｙ座標値を取得する。
【００８８】
なお、右フレーム画像、左フレーム画像のどちらの座標でもかまわないが、すべての特徴点にたいして同じフレーム画像の座標値を指定する。奥行きクラスタリング部４５は特徴点同士でＸ座標値、Ｙ座標値の差分を抽出して、その差分による距離が予め決められた閾値以下になる特徴点が他にない場合、その特徴点をクラスタから除外する。
【００８９】
また、クラスタを構成する特徴点の個数が少ない場合、奥行きクラスタリング部４５はクラスタそのものを削除するようにする。例えば奥行きクラスタリング部４５は予め閾値を与えて、クラスタ内の特徴点の個数が閾値以下の場合、クラスタを削除する。
【００９０】
図３のステップＳ４の処理は例えば図２１に示すフローチャートの手順で行うことができる。図２１はステップＳ４の処理の一例のフローチャートである。
【００９１】
ステップＳ２１において、奥行きクラスタリング部４５はＺ値ヒストグラムテーブル５５の各ビンの値を０で初期化する。ステップＳ２２において、奥行きクラスタリング部４５は対応点テーブル５４を参照して、対応点とそのＺ値とを取得する。ステップＳ２３において、奥行きクラスタリング部４５はＺ値に合致するＺ値ヒストグラムテーブル５５のビンの値に１を加える。
【００９２】
ステップＳ２４において、奥行きクラスタリング部４５は対応点テーブル５４を参照して、他に対応点があるか否かを判定する。他に対応点があれば、奥行きクラスタリング部４５はステップＳ２２〜Ｓ２３の処理を繰り返す。他に対応点が無ければ、奥行きクラスタリング部４５はステップＳ２５において、Ｚ値ヒストグラムテーブル５５を参照してヒストグラムのピークを求める。
【００９３】
ステップＳ２６において、奥行きクラスタリング部４５はピーク近傍の対応点をまとめてクラスタを作成し、対応点クラスタテーブル５８に保存する。奥行きクラスタリング部４５はステップＳ２７において、他にヒストグラムのピークがあるか否かを判定する。他にヒストグラムのピークがあれば、奥行きクラスタリング部４５はステップＳ２５〜Ｓ２６の処理を繰り返す。他にヒストグラムのピークが無ければ、奥行きクラスタリング部４５はステップＳ２８において、後述するように、クラスタ内に近似の特徴点のない特徴点を除去する。
【００９４】
ステップＳ２９において、奥行きクラスタリング部４５はクラスタ内の特徴点の個数が閾値以下の場合、クラスタを削除する。ステップＳ３０において、奥行きクラスタリング部４５は他に、クラスタがあるか否かを判定する。他にクラスタがあれば、奥行きクラスタリング部４５はステップＳ２８〜Ｓ２９の処理を繰り返す。奥行きクラスタリング部４５は、他にクラスタが無ければ図２１に示す処理を終了する。
【００９５】
図３のステップＳ５の処理の詳細は以下の通りである。サムネイル評価部４６はクラスタリング結果を元に、現在のフレームがサムネイルとして適しているかどうかを評価値として算出する。
【００９６】
フレームの評価値としては、以下の指標を用いる。一つ目の指標は、フレームに含まれるクラスタの数が複数あるか否かである。フレームに含まれるクラスタが一つの場合は当然ながら立体的に見えない。フレームはクラスタが三つ程度含まれると、より立体的に見える。逆に、フレームはクラスタの数が多すぎると、全体的に雑然としてしまい立体的に見えにくくなる。
【００９７】
二つ目の指標は、各クラスタ内の対応点がまとまっているか否かである。クラスタ内の対応点が画像内に点在する場合、フレームは立体的に見えにくくなる。三つ目の指標はクラスタ間のＺ値の距離が大きいか否かである。フレームはクラスタ間のＺ値の距離が大きい場合、より立体的に見える。
【００９８】
四つ目の指標は、クラスタのうち一番奥に存在するクラスタが背景であり、背景に含まれる特徴点の数が多いか否かである。フレームは背景に含まれる特徴点の数が多いほど立体的に見える。さらに、フレームは構図的に画面上部に背景の特徴点が集まっているほど立体的に見えやすい。
【００９９】
サムネイル評価部４６は、上記の指標を元にスコアリングして、立体らしさの値を抽出する。クラスタの数に関しては、重みｗｃと、クラスタ数を引数にする評価関数ｆｃを用いる。重みｗｃはあらかじめ決められた定数とする。評価関数ｆｃについては、以下のような式（５）が利用できる。
【０１００】
【数５】
【０１０１】
各クラスタ内の対応点のまとまりは、クラスタ間平均距離などの手法を用いることができる。画像サイズをｗ、ｈ、クラスタ集合をＣ、クラスタ内の対応点の個数をｎ、対応点ｉのＸ座標をｘ（ｉ）、ｙ座標をｙ（ｉ）とした場合、対応点のまとまりの評価関数ｆｓは以下のような式（６）で表現できる。
【０１０２】
【数６】
【０１０３】
クラスタ間のＺ値の距離の大きさは、クラスタの一番奥のＺ値をｚｂ、一番前のクラスタのＺ値をｚｆとした場合、クラスタ間のＺ値の距離の大きさの評価関数ｆｚは以下のような式（７）で表現できる。
【０１０４】
【数７】
【０１０５】
背景の評価については、一番奥のクラスタ集合をＣｂ、クラスタ内の対応点の個数をｎ、画像の高さをｈ、対応点ｉのｙ座標をｙ（ｉ）とした場合、背景の評価の評価関数ｆｂは以下のような式（８）で表現できる。
【０１０６】
【数８】
【０１０７】
フレームの評価関数ｆは、式（９）に表現するように、上記４つの評価関数を重みで結合した形式で求める。
【０１０８】
【数９】
【０１０９】
図３のステップＳ５の処理は例えば図２２に示すフローチャートの手順で行うことができる。図２２はステップＳ５の処理の一例のフローチャートである。
【０１１０】
ステップＳ４１において、サムネイル評価部４６はクラスタの個数に関する評価値を算出する。ステップＳ４２において、サムネイル評価部４６はクラスタのまとまりに関する評価値を算出する。ステップＳ４３において、サムネイル評価部４６はクラスタのＺ値差分に関する評価値を算出する。ステップＳ４４において、サムネイル評価部４６はクラスタの背景に関する評価値を算出する。ステップＳ４５において、そして、サムネイル評価部４６はステップＳ４１〜Ｓ４４で算出した全ての評価値の重み付きで結合し、評価値を算出する。
【０１１１】
なお、図２２に示したステップＳ５の処理は一例であって、ステップＳ４１〜Ｓ４４の少なくとも一つ以上の組み合わせを利用して評価値を算出するものであればよい。
【０１１２】
図２１のステップＳ２８の処理の詳細は以下の通りである。図２３はステップＳ２８の処理の一例のフローチャートである。奥行きクラスタリング部４５はステップＳ５１において、対応点テーブル５４及び対応点クラスタテーブル５８を参照し、クラスタ内の特徴点の一つを選択し、位置を取得する。
【０１１３】
ステップＳ５２において、奥行きクラスタリング部４５はクラスタ内の他の特徴点の一つを選択し、位置を取得する。ステップＳ５３において、奥行きクラスタリング部４５はステップＳ５１及びＳ５２で選択した特徴点の位置の差（距離）を算出する。
【０１１４】
ステップＳ５４に進み、奥行きクラスタリング部４５はステップＳ５３で算出した距離が閾値以下か否かを判定する。閾値以下でなければ、ステップＳ５５において、奥行きクラスタリング部４５はクラスタ内に他の特徴点があるか否かを判定する。クラスタ内に他の特徴点があれば、奥行きクラスタリング部４５はステップＳ５２〜Ｓ５４の処理を繰り返す。クラスタ内に他の特徴点がなければ、奥行きクラスタリング部４５はステップＳ５６において、ステップＳ５１で選択した特徴点をクラスタから削除する。
【０１１５】
また、ステップＳ５４において閾値以下であるか、ステップＳ５６の処理の後、奥行きクラスタリング部４５はステップＳ５７においてクラスタ内に他の特徴点があるか否かを判定する。クラスタ内に他の特徴点があれば、奥行きクラスタリング部４５はステップＳ５１〜Ｓ５６の処理を繰り返す。クラスタ内に他の特徴点がなければ、奥行きクラスタリング部４５は図２３に示す処理を終了する。
【実施例２】
【０１１６】
図２４は本実施例のサムネイル抽出装置の他の例の機能ブロック図である。図２４のサムネイル抽出装置４０Ａは、図２のサムネイル抽出装置４０に、もう一つの評価軸である背景の評価の追加を行っている。具体的には図２４のサムネイル抽出装置４０Ａは図２のサムネイル抽出装置４０の構成に背景評価部４８が追加されている。特にホームビデオなどの場合、旅行先で撮影した映像など、背景が特徴的である部分をサムネイルとして抽出することは有効である。
【０１１７】
図２４のサムネイル抽出装置４０Ａについては、図２のサムネイル抽出装置４０との差異を中心に説明する。サムネイル抽出装置４０Ａのフローチャートは図３に示したサムネイル抽出装置４０とステップＳ５の処理が異なる。
【０１１８】
サムネイル抽出装置４０ＡのステップＳ５の処理は例えば図２５に示すフローチャートの手順で行うことができる。図２５は、ステップＳ５の処理の他の例のフローチャートである。
【０１１９】
ステップＳ６１〜Ｓ６４までの処理は図２２のステップＳ４１〜Ｓ４４と同様であるため説明を省略する。ステップＳ６５において、背景評価部４８はフレーム間で共通する背景を評価する。
【０１２０】
背景は一番奥のクラスタであるため、一番奥のクラスタのみを利用する。フレーム数をＦとし、フレームｉにおける背景クラスタをＣｂ（ｉ）とし、個数をｎ（ｉ）とし、対応点ｊの特徴量をｆ（ｉ、ｊ）とし、予め与えられた距離の閾値をＴとすると、フレーム間で共通する背景の評価の評価関数ｆｆは以下のような式（１０）で表現できる。
【０１２１】
【数１０】
【０１２２】
ステップＳ６６において、サムネイル評価部４６はステップＳ６１〜Ｓ６５で算出した全ての評価値の重み付きで結合し、評価値を算出する。サムネイル評価部４６はフレームの評価関数ｆを、式（１１）に表現するように、上記５つの評価関数を重み付きで結合した形式で求める。
【０１２３】
【数１１】
【０１２４】
なお、図２５に示したステップＳ５の処理は一例であって、ステップＳ６１〜Ｓ６５の少なくとも一つ以上の組み合わせを利用して評価値を算出するものであればよい。
【０１２５】
（まとめ）
実施例１及び２に示したサムネイル抽出装置４０及び４０Ａは、３Ｄ映像を対象とした場合、より立体的に見えるサムネイルを抽出する必要がある。３Ｄ映像中には、あまり立体的に見えないシーンが多い。実施例１及び２に示したサムネイル抽出装置４０及び４０Ａは立体的に見えるシーンからサムネイルを抽出することにより、より印象的で見栄えのするサムネイルを選択することができる。
【０１２６】
実施例１及び２に示したサムネイル抽出装置４０及び４０Ａによれば、３Ｄ映像の特徴を用いて画像の奥行きを求め、その構図を元に、立体的に表示できるサムネイルを選択できる。
【０１２７】
本実施例における推薦プログラムはパッケージソフトの他、ＷＥＢサービス等によっても提供可能である。
【０１２８】
本発明は、以下に記載する付記のような構成が考えられる。
（付記１）
３Ｄ映像の一フレームを構成するフレーム画像ペア間で対応する特徴点を特徴点ペアとして前記フレーム画像ペアから抽出し、
前記特徴点ペアの奥行き量を前記特徴点ペアの点間距離、所定のレンズ間距離・焦点距離を基に算出して、前記奥行き量で前記特徴点ペアをクラスタリングし、
予め定められたクラスタリングの結果情報に基づく前記フレーム画像ペアの立体的な見え易さの評価条件を基に、１以上の前記フレーム画像ペアのクラスタリングの結果情報から前記１以上のフレーム画像ペアの立体的な見え易さを評価し、
前記１以上のフレーム画像ペアの立体的な見え易さの評価結果に基づき、前記評価結果の最も良い前記フレーム画像ペアを、サムネイル用の前記フレーム画像ペアとして抽出する
処理をコンピュータに実行させるサムネイル抽出プログラム。
（付記２）
前記１以上のフレーム画像ペアの立体的な見え易さを評価する処理は、クラスタの個数を元に、前記フレーム画像ペアの立体的な見え易さを評価する
付記１記載のサムネイル抽出プログラム。
（付記３）
前記１以上のフレーム画像ペアの立体的な見え易さを評価する処理は、クラスタ内の特徴点の位置的な集合度を元に、前記フレーム画像ペアの立体的な見え易さを評価する
付記１又は２記載のサムネイル抽出プログラム。
（付記４）
前記１以上のフレーム画像ペアの立体的な見え易さを評価する処理は、クラスタ間の奥行き量の差を元に、前記フレーム画像ペアの立体的な見え易さを評価する
付記１乃至３何れかに記載のサムネイル抽出プログラム。
（付記５）
前記１以上のフレーム画像ペアの立体的な見え易さを評価する処理は、一番奥のクラスタの個数及び配置を元に、前記フレーム画像ペアの立体的な見え易さを評価する
付記１乃至３何れかに記載のサムネイル抽出プログラム。
（付記６）
前記１以上のフレーム画像ペアの立体的な見え易さを評価する処理は、複数フレーム間における共通の背景を元に、前記フレーム画像ペアの立体的な見え易さを評価する
付記１乃至５何れかに記載のサムネイル抽出プログラム。
（付記７）
前記特徴点を前記特徴点ペアとして前記フレーム画像ペアから抽出する処理は、
前記３Ｄ映像の一フレームを構成する前記フレーム画像ペアを抽出し、
前記抽出した前記フレーム画像ペアから前記特徴点を抽出し、
前記抽出した前記特徴点の局所特徴量を抽出し、
前記抽出した前記局所特徴量を用いて、前記フレーム画像ペア間で対応する前記特徴点を前記特徴点ペアとして抽出する
付記１乃至６何れかに記載のサムネイル抽出プログラム。
（付記８）
コンピュータによって実行されるサムネイル抽出方法であって、
３Ｄ映像の一フレームを構成するフレーム画像ペア間で対応する特徴点を特徴点ペアとして前記フレーム画像ペアから抽出し、
前記特徴点ペアの奥行き量を前記特徴点ペアの点間距離、所定のレンズ間距離・焦点距離を基に算出して、前記奥行き量で前記特徴点ペアをクラスタリングし、
予め定められたクラスタリングの結果情報に基づく前記フレーム画像ペアの立体的な見え易さの評価条件を基に、１以上の前記フレーム画像ペアのクラスタリングの結果情報から前記１以上のフレーム画像ペアの立体的な見え易さを評価し、
前記１以上のフレーム画像ペアの立体的な見え易さの評価結果に基づき、前記評価結果の最も良い前記フレーム画像ペアを、サムネイル用の前記フレーム画像ペアとして抽出する
ことを特徴とするサムネイル抽出方法。
【符号の説明】
【０１２９】
１０ ＰＣ
２１ 入力装置
２２ 表示装置
２３ ＰＣ本体
３１ 主記憶装置
３２ 演算処理装置
３３ インタフェース装置
３４ 記録媒体読取装置
３５ 補助記憶装置
３６ 記録媒体
３７ バス
４０、４０Ａ サムネイル抽出装置
４１ フレーム画像取得部
４２ 特徴点抽出部
４３ 局所特徴抽出部
４４ 特徴点ペア抽出部
４５ 奥行きクラスタリング部
４６ サムネイル評価部
４７ サムネイル抽出部
４８ 背景評価部
５１ 映像情報テーブル
５２ フレーム情報テーブル
５３ 局所特徴量テーブル
５４ 対応点テーブル
５５ Ｚ値ヒストグラムテーブル
５６ 対応点ヒストグラムテーブル
５７ Ｚ値クラスタテーブル
５８ 対応点クラスタテーブル
５９ フレーム評価テーブル
１００ 左フレーム画像
１０１ 右フレーム画像
【技術分野】
【０００１】
本発明は映像からサムネイルを抽出するサムネイル抽出プログラム及びサムネイル抽出方法に関する。
【背景技術】
【０００２】
近年、携帯電話やビデオカメラ等には映像が大量に蓄積されるようになった。このように映像が大量に蓄積された携帯電話やビデオカメラ等では必要な映像を検索したいという要望がある。
【０００３】
従来、映像を検索する場合は、例えば映像に付加されたメタデータ等で検索する方法が利用されている。しかし、映像に付加されたメタデータ等で検索する方法では映像を絞り込むことができない場合も多かった。結局、映像を検索する場合は一つ一つ再生しながら確認する場合が多い。
【０００４】
また、従来、映像を検索する場合は、映像から抽出したサムネイルを表示することで映像の内容を把握させる方法も利用されている。サムネイルとは利用者に映像の内容を把握させるための画像である。映像の検索にサムネイルを利用する場合は映像一つ当たりのサムネイルの数を増やすことができないため、より良いサムネイル抽出手法が必要とされていた（例えば特許文献１参照）。
【０００５】
その他のサムネイル抽出手法としては、映像の先頭フレームや映像の先頭からあらかじめ決められた秒数後のフレームからサムネイルを抽出する方法や、ＣＭ検出手法と組み合わせて、ＣＭ以外の部分からサムネイルを抽出する方法、映像の切り替わりであるカットを検出して、そのカット画像をサムネイルとして抽出する方法、顔検出手法と組み合わせて顔のアップ画像をサムネイルとして抽出する手法などが存在する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−２９４９０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
現在、携帯電話やビデオカメラ等には３次元（３Ｄ）映像を扱える製品が出現し始めている。したがって、将来的に、携帯電話やビデオカメラ等には３Ｄ映像が大量に蓄積されること考えられる。このように３Ｄ映像が大量に蓄積された携帯電話やビデオカメラ等では必要な３Ｄ映像を検索したいという要望が増加すると考えられる。
【０００８】
しかし、上記したような２次元（２Ｄ）映像を検索する場合の問題は、３Ｄ映像を検索する場合にも発生すると考えられる。つまり、３Ｄ映像を検索する場合も、３Ｄ映像から抽出したサムネイルを表示することで映像の内容を把握させる方法が利用されると考えられる。
【０００９】
しかし、従来の２Ｄ映像を対象としたサムネイル抽出手法は、３Ｄ映像に適したサムネイルを抽出できるものではないという問題があった。
【００１０】
本実施形態は３次元映像に適したサムネイルを抽出できるサムネイル抽出プログラム及びサムネイル抽出方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記課題を解決するため、本実施形態は、３Ｄ映像の一フレームを構成するフレーム画像ペア間で対応する特徴点を特徴点ペアとして前記フレーム画像ペアから抽出し、前記特徴点ペアの奥行き量を前記特徴点ペアの点間距離、所定のレンズ間距離・焦点距離を基に算出して、前記奥行き量で前記特徴点ペアをクラスタリングし、予め定められたクラスタリングの結果情報に基づく前記フレーム画像ペアの立体的な見え易さの評価条件を基に、１以上の前記フレーム画像ペアのクラスタリングの結果情報から前記１以上のフレーム画像ペアの立体的な見え易さを評価し、前記１以上のフレーム画像ペアの立体的な見え易さの評価結果に基づき、前記評価結果の最も良い前記フレーム画像ペアを、サムネイル用の前記フレーム画像ペアとして抽出する処理をコンピュータに実行させるサムネイル抽出プログラムである。
【００１２】
なお、本実施形態の構成要素、表現又は構成要素の任意の組合せを、方法、装置、システム、コンピュータプログラム、記録媒体、データ構造などに適用したものも本発明の態様として有効である。
【発明の効果】
【００１３】
本実施形態によれば３次元映像に適したサムネイルを抽出できるサムネイル抽出プログラム及びサムネイル抽出方法を提供可能である。
【図面の簡単な説明】
【００１４】
【図１】ＰＣの一例のハードウェア構成図である。
【図２】本実施例のサムネイル抽出装置の一例の機能ブロック図である。
【図３】本実施例のサムネイル抽出装置の一例のフローチャートである。
【図４】映像情報テーブルの一例の構成図である。
【図５】フレーム情報テーブルの一例の構成図である。
【図６】３Ｄ映像の一フレームを構成する２枚の画像の一例のイメージ図である。
【図７】局所特徴量テーブルの一例の構成図である。
【図８】抽出した特徴点を視覚的に表したフレーム画像の一例のイメージ図である。
【図９】対応点テーブルの一例の構成図である。
【図１０】対応点テーブルの他の例の構成図である。
【図１１】Ｚ値ヒストグラムテーブルの一例の構成図である。
【図１２】対応点ヒストグラムテーブルの一例の構成図である。
【図１３】Ｚ値クラスタテーブルの一例の構成図である。
【図１４】対応点クラスタテーブルの一例の構成図である。
【図１５】フレーム評価テーブルの一例の構成図である。
【図１６】３Ｄカメラを上から見た場合の一例の模式図である。
【図１７】視差によるＺ値の算出方法の一例のイメージ図である。
【図１８】ステップＳ３の処理の一例のフローチャートである。
【図１９】計算した各ビンの値を表す一例のヒストグラムである。
【図２０】各クラスタに含まれる対応点を視覚的に表したフレーム画像の一例のイメージ図である。
【図２１】ステップＳ４の処理の一例のフローチャートである。
【図２２】ステップＳ５の処理の一例のフローチャートである。
【図２３】ステップＳ２８の処理の一例のフローチャートである。
【図２４】本実施例のサムネイル抽出装置の他の例の機能ブロック図である。
【図２５】ステップＳ５の処理の他の例のフローチャートである。
【発明を実施するための形態】
【００１５】
次に、本発明を実施するための形態を、以下の実施例に基づき図面を参照しつつ説明していく。本実施例のサムネイル抽出プログラムはパーソナルコンピュータ（ＰＣ）で実行される他、携帯電話やビデオカメラ等、３Ｄ映像を扱う様々な機器で実行される。本実施例ではＰＣでサムネイル抽出プログラムを実行する例を説明する。ＰＣは例えば図１に示すハードウェアにより構成される。図１はＰＣの一例のハードウェア構成図である。
【００１６】
図１のＰＣ１０は入力装置２１、表示装置２２、ＰＣ本体２３を有している。ＰＣ本体２３はバス３７で相互に接続された主記憶装置３１、演算処理装置３２、インタフェース装置３３、記録媒体読取装置３４及び補助記憶装置３５を有している。また、バス３７には入力装置２１及び表示装置２２が接続されている。
【００１７】
バス３７で相互に接続されている入力装置２１、表示装置２２、主記憶装置３１、演算処理装置３２、インタフェース装置３３、記録媒体読取装置３４及び補助記憶装置３５は演算処理装置３２による管理下で相互にデータの送受を行うことができる。演算処理装置３２は、ＰＣ１０全体の動作制御を司る中央処理装置である。
【００１８】
インタフェース装置３３はネットワーク等からのデータを受信し、データの内容を演算処理装置３２に渡す。インタフェース装置３３は演算処理装置３２からの指示に応じてネットワーク等にデータを送信する。
【００１９】
補助記憶装置３５にはサムネイル抽出装置と同様の機能をＰＣ１０に発揮させるプログラムの一部として、少なくともサムネイル抽出装置における処理をＰＣ１０に実行させるサムネイル抽出プログラムが記憶されている。そして、演算処理装置３２がサムネイル抽出プログラムを補助記憶装置３５から読み出して実行することで、ＰＣ１０はサムネイル抽出装置として機能するようになる。サムネイル抽出プログラムは演算処理装置３２とアクセス可能な主記憶装置３１に格納されていても良い。入力装置２１は演算処理装置３２の管理下でデータの入力を受付ける。サムネイル抽出プログラムはＰＣ１０が読み取り可能な記録媒体３６に記録しておくことができる。
【００２０】
記録媒体３６には、磁気記録媒体、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記録媒体には、ＨＤＤ、フレキシブルディスク（ＦＤ）、磁気テープ（ＭＴ）などがある。光ディスクには、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ − Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ−Ｒ（Ｒｅｃｏｒｄａｂｌｅ）／ＲＷ（ＲｅＷｒｉｔａｂｌｅ）などがある。また、光磁気記録媒体には、ＭＯ（Ｍａｇｎｅｔｏ − Ｏｐｔｉｃａｌ ｄｉｓｋ）などがある。
【００２１】
サムネイル抽出プログラムを流通させる場合は、サムネイル抽出プログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの可搬型の記録媒体３６を販売することが考えられる。サムネイル抽出プログラムを実行するＰＣ１０は例えば記録媒体読取装置３４がサムネイル抽出プログラムを記録した記録媒体３６からサムネイル抽出プログラムを読み出す。演算処理装置３２は、読み出されたサムネイル抽出プログラムを主記憶装置３１若しくは補助記憶装置３５に格納する。
【００２２】
ＰＣ１０は自己の記憶装置である主記憶装置３１若しくは補助記憶装置３５からサムネイル抽出プログラムを読み取り、サムネイル抽出プログラムに従った処理を実行する。演算処理装置３２はサムネイル抽出プログラムに従って、後述するような各種処理を実現している。
【実施例１】
【００２３】
以下では、少なくともＰＣ１０にサムネイル抽出プログラムがインストールされているサムネイル抽出装置４０を例に説明していく。
【００２４】
図２は本実施例のサムネイル抽出装置の一例の機能ブロック図である。図２のサムネイル抽出装置４０は、フレーム画像取得部４１、特徴点抽出部４２、局所特徴抽出部４３、特徴点ペア抽出部４４、奥行きクラスタリング部４５、サムネイル評価部４６、サムネイル抽出部４７、映像情報テーブル５１、フレーム情報テーブル５２、局所特徴量テーブル５３、対応点テーブル５４、Ｚ値ヒストグラムテーブル５５、対応点ヒストグラムテーブル５６、Ｚ値クラスタテーブル５７、対応点クラスタテーブル５８、フレーム評価テーブル５９を有する。
【００２５】
ここでは図２の機能ブロックの概要について説明する。フレーム画像取得部４１は３Ｄ映像の一フレームを構成する２枚の画像を取得する。特徴点抽出部４２は画像から特徴点を抽出する。局所特徴抽出部４３は画像から特徴点の局所特徴量を抽出する。特徴点ペア抽出部４４は３Ｄ映像の一フレームを構成する２枚の画像の特徴点のペアを抽出する。
【００２６】
奥行きクラスタリング部４５は特徴点ペアから算出される奥行き距離で特徴点をクラスタリングする。サムネイル評価部４６はクラスタリングの結果を元に、フレームの立体らしさの値（評価値）を算出する。サムネイル抽出部４７はフレームの立体らしさの値が一番高いフレームをサムネイル用のフレームとして抽出する。
【００２７】
映像情報テーブル５１は３Ｄ映像の情報を保存する。フレーム情報テーブル５２は３Ｄ映像の一フレームを構成する２枚の画像を関連付けて保存する。局所特徴量テーブル５３は３Ｄ映像の一フレームを構成する２枚の画像から抽出された特徴点の局所特徴量を保存する。
【００２８】
対応点テーブル５４は、３Ｄ映像の一フレームを構成する２枚の画像から抽出された特徴点のペアを対応点として保存すると共に、その対応点の距離値を保存する。距離値とは３Ｄ映像の一フレームを構成する２枚の画像を重畳したときの特徴点のペアの間の距離をいう。なお、対応点テーブル５４は対応点、その対応点の距離値に加えて対応点の奥行き距離（Ｚ値）を保存するようにしてもよい。
【００２９】
Ｚ値ヒストグラムテーブル５５は複数定められたＺ値の範囲にある対応点の個数を保存する。対応点ヒストグラムテーブル５６は対応点と、その対応点が格納されたＺ値の範囲とを関連付けて保存する。
【００３０】
Ｚ値クラスタテーブル５７はＺ値のヒストグラムのピークと、そのピークの前後のＺ値の範囲とを併せたクラスタを保存する。対応点クラスタテーブル５８は対応点と、その対応点が格納されたクラスタとを関連付けて保存する。また、フレーム評価テーブル５９は各フレームの立体らしさの値（評価値）を保存する。
【００３１】
図３は本実施例のサムネイル抽出装置の一例のフローチャートである。ステップＳ１において、フレーム画像取得部４１は３Ｄ映像の画像（フレーム画像）を取得する。３Ｄ映像の各フレームは、位置が少しずれた地点から見た２枚の画像（フレーム画像）で構成される。３Ｄ映像におけるフレーム画像の位置のずれは、あまり大きくないことがほとんどである。３Ｄ映像におけるフレーム画像は、かなり似通った画像となる。
【００３２】
取得元の３Ｄ映像に関して特に制約はない。３Ｄ映像はテレビ映像や、３Ｄカメラでライブ撮影された映像でもかまわないし、Ｂｌｕ−ｒａｙ３Ｄのようなファイルに保存された映像でもかまわない。また、３Ｄ映像の格納方式についても特に制約はない。３Ｄ映像の格納方式は、Ｓｉｄｅ−ｂｙ−Ｓｉｄｅ（左右の画像を横に並べて一つの画像として保存）やＦｒａｍｅ ａｌｔｅｒｎａｔｉｖｅ（右と左画像を交互に保存）などを利用することができる。
【００３３】
３Ｄ映像に関しては、映像の幅や高さ、フレーム数などの映像情報を利用できるようにする。これらの映像情報は映像情報テーブル５１のような形で保存できる。図４は映像情報テーブルの一例の構成図である。図４の映像情報テーブル５１はデータ項目として映像番号、幅、高さ、フレーム数を有する。
【００３４】
映像番号は３Ｄ映像の識別子である。幅は３Ｄ映像の幅である。高さは３Ｄ映像の高さである。フレーム数は３Ｄ映像のフレーム数である。なお、フレーム数に関してはライブ映像などで取得できない場合もある。その場合はフレーム数を利用しないようにすることもできる。例えばフレーム数が取得できない場合は先頭から指定フレーム以内のフレームからサムネイルを抽出するようにすれば、問題なく処理を行うことができる。
【００３５】
なお、以降の処理は３Ｄ映像ごとに独立であるため、一つの３Ｄ映像に対する処理を記述する。フレーム画像取得部４１は必ずしも３Ｄ映像の全てのフレームを抽出する必要はなく、３Ｄ映像の一部のフレームを抽出すればよい。フレーム画像取得部４１は、カット検出手法と組み合わせて画像を抽出する方法や、一定間隔の画像を抽出する方法、ＣＭ検出手法、顔検出手法などの他の解析手法と組み合わせて画像を抽出する方法などが考えられる。
【００３６】
フレーム画像取得部４１は、取得したフレーム画像をフレーム情報テーブル５２に保存する。図５はフレーム情報テーブルの一例の構成図である。図５のフレーム情報テーブル５２はデータ項目としてフレーム番号、左画像、右画像を有する。
【００３７】
フレーム番号は、フレームの識別子である。左画像は、フレームを構成する左画像（左フレーム画像）の識別子である。また、右画像はフレームを構成する右画像（右フレーム画像）の識別子である。
【００３８】
図６は３Ｄ映像の一フレームを構成する２枚の画像の一例のイメージ図である。図６に示すように、左フレーム画像１００及び右フレーム画像１０１は、かなり似通った画像となる。
【００３９】
図３のステップＳ２において、特徴点抽出部４２はステップＳ１で取得したフレーム情報テーブル５２内の一つのフレームの左フレーム画像１００、右フレーム画像１０１に対して、それぞれ、特徴点を抽出する。また、局所特徴抽出部４３は抽出された特徴点の特徴量を局所特徴量として抽出する。
【００４０】
特徴点抽出方法について、特に限定は行わない。単純な特徴点抽出方法としては、Ｓｏｂｅｌエッジ抽出手法、Ｃａｎｎｙエッジ抽出手法などの各種エッジ検出手法やＨａｒｒｉｓコーナー手法などのコーナー検出手法などがある。Ｓｏｂｅｌエッジ抽出手法は例えば「高木幹雄，下田陽久：新編画像解析ハンドブック，東京大学出版会，2004.」などに記載されている。Ｃａｎｎｙエッジ抽出手法は例えば「CANNY J.,"A Computational Approach to Edge Detection," IEEE Trans. on Pattern Analysis and Machine Intelligence, 8(6), pp. 679-698, 1986」などに記載されている。Ｈａｒｒｉｓコーナー手法は例えば「C.Harris, M.Stephens, "A COMBINED CORNER AND EDGE DETECTOR," Proc. of 4th Alvey vision Conference, pp.147-151, 1988」などに記載されている。
【００４１】
また、局所特徴量抽出手法についても、特に限定は行わない。局所特徴量は特徴点付近の画像から抽出することが考えられる。局所特徴量抽出手法としては、色ヒストグラムなどの手法が使用できる。色ヒストグラムの手法は例えば「高木幹雄，下田陽久：新編画像解析ハンドブック，東京大学出版会，2004.」などに記載されている。
【００４２】
また、特徴点抽出方法、局所特徴量抽出手法としては、ＳＩＦＴ（US Patent 6,711,293）などを使用した方法も考えられる。ＳＩＦＴは例えば「D.G.Lowe, "Object recognition from local scale-invariant features," Proc. of IEEE Int. Conf. on. Computer Vision (ICCV) pp.1150-1157, 1999.」などに記載されている。
【００４３】
ＳＩＦＴでは、画像にガウスぼかしをかけた場合の差分（Difference of Gaussian）を算出し、その極大点を特徴点とし、そこから、勾配の方向を元にした、局所特徴量を抽出する。同様の局所特徴抽出手法としてはＳＵＲＦなども利用できる。ＳＵＲＦは、例えば「BAY H., "SURF : Speeded up robust features," Proc. 9th ECCV, May 2006, Graz, Austria 1, 404-417, 2006」などに記載されている。なお、抽出された特徴量（局所特徴量）は、実数値の配列（ベクトル）形式になる。
【００４４】
特徴点抽出部４２及び局所特徴抽出部４３は、抽出した特徴点及び局所特徴量を局所特徴量テーブル５３に保存する。図７は局所特徴量テーブルの一例の構成図である。図７の局所特徴量テーブル５３はデータ項目としてフレーム番号、画像番号、特徴量番号、Ｘ座標、Ｙ座標、特徴量を有する。
【００４５】
フレーム番号は、フレームの識別子である。画像番号は、右フレーム画像と左フレーム画像との識別子である。特徴量番号は特徴点の識別子である。Ｘ座標は特徴点のＸ座標である。Ｙ座標は特徴点のＹ座標である。特徴量は、特徴点の特徴量である。
【００４６】
図８は抽出した特徴点を視覚的に表したフレーム画像の一例のイメージ図である。図８では特徴点を「○」で表している。図８に示すように、左フレーム画像１００及び右フレーム画像１０１は複数の特徴点が抽出されている。なお、左フレーム画像１００及び右フレーム画像１０１上に表された特徴点は図７の局所特徴量テーブル５３に応じたものとなる。
【００４７】
図３のステップＳ３において、特徴点ペア抽出部４４は局所特徴量テーブル５３を参照して、後述のように同一フレームの右フレーム画像及び左フレーム画像から特徴点のペアを抽出する。特徴点ペア抽出部４４は抽出した特徴点のペアを対応点として対応点テーブル５４に保存する。
【００４８】
図９は対応点テーブルの一例の構成図である。図９の対応点テーブル５４はデータ項目としてフレーム番号、対応点番号、右フレーム画像１０１の特徴点番号、左フレーム画像１００の特徴点番号、距離値を有する。フレーム番号は、フレームの識別子である。対応点番号は、対応点の識別子である。右フレーム画像１０１の特徴点番号は、右フレーム画像１０１の特徴点の識別子である。左フレーム画像１００の特徴点番号は、左フレーム画像１００の特徴点の識別子である。距離値は、左フレーム画像１００と右フレーム画像１０１とを重畳したときの、右フレーム画像１０１の特徴点番号により識別される特徴点と左フレーム画像１００の特徴点番号により識別される特徴点との間の距離である。
【００４９】
図１０は対応点テーブルの他の例の構成図である。図１０の対応点テーブル５４は図９の対応点テーブル５４のデータ項目にＺ値が追加されている。Ｚ値は局所特徴量テーブル５３に保存されているＸ座標、対応点テーブル５４に保存されている距離値から後述のように算出される。Ｚ値は対応点の奥行き距離を表している。
【００５０】
図３のステップＳ４において、奥行きクラスタリング部４５は図９の対応点テーブル５４に保存されている距離値又は図１０の対応点テーブル５４に保存されているＺ値を元に後述のクラスタリング処理を行い、近い奥行き距離の対応点のグループを作成する。奥行きクラスタリング部４５はクラスタリング処理の結果を、図１１に示すＺ値ヒストグラムテーブル５５、図１２に示す対応点ヒストグラムテーブル５６、図１３に示すＺ値クラスタテーブル５７、図１４に示す対応点クラスタテーブル５８に保存する。
【００５１】
図１１はＺ値ヒストグラムテーブルの一例の構成図である。図１１のＺ値ヒストグラムテーブル５５はデータ項目としてフレーム番号、ビン番号、開始のＺ値、終了のＺ値、個数を有する。フレーム番号は、フレームの識別子である。ビン番号は、Ｚ値の範囲（ヒストグラムのビン）の識別子である。開始のＺ値は、ビンの開始のＺ値である。終了のＺ値は、ビンの終了のＺ値である。個数はビンにある対応点の個数である。
【００５２】
図１２は対応点ヒストグラムテーブルの一例の構成図である。図１２の対応点ヒストグラムテーブル５６はデータ項目としてフレーム番号、対応点番号、ビン番号を有する。フレーム番号は、フレームの識別子である。対応点番号は、対応点の識別子である。ビン番号はビンの識別子である。
【００５３】
図１３はＺ値クラスタテーブルの一例の構成図である。図１３のＺ値クラスタテーブル５７はデータ項目としてフレーム番号、クラスタ番号、開始のＺ値、終了のＺ値、個数を有する。フレーム番号は、フレームの識別子である。クラスタ番号は、クラスタの識別子である。開始のＺ値は、クラスタの開始のＺ値である。終了のＺ値は、クラスタの終了のＺ値である。個数はクラスタにある対応点の個数である。
【００５４】
また、図１４は対応点クラスタテーブルの一例の構成図である。図１４の対応点クラスタテーブル５８はデータ項目としてフレーム番号、対応点番号、クラスタ番号を有する。フレーム番号は、フレームの識別子である。対応点番号は、対応点の識別子である。クラスタ番号はクラスタの識別子である。
【００５５】
図３のステップＳ５において、サムネイル評価部４６は後述するように、クラスタリングの結果を元に、フレームの立体らしさの値（評価値）を算出する。つまり、サムネイル評価部４６は現在のフレームがサムネイルとして適しているかの評価値を算出する。
【００５６】
また、ステップＳ６において、サムネイル評価部４６は算出したフレームの立体らしさの値（評価値）を図１５に示すフレーム評価テーブル５９に保存する。図１５はフレーム評価テーブルの一例の構成図である。図１５のフレーム評価テーブル５９はデータ項目としてフレーム番号、評価値を有する。フレーム番号は、フレームの識別子である。評価値はフレームの立体らしさの値である。
【００５７】
また、ステップＳ７において、サムネイル評価部４６は他に解析すべき（立体らしさの値を算出すべき）フレームがあるか否かを判定する。他に解析すべきフレームがあると判定すれば、サムネイル評価部４６はフレーム画像取得部４１にフレーム画像の取得を要求する。ステップＳ１〜Ｓ６の処理は解析すべきフレームの数だけ繰り返される。
【００５８】
他に解析すべきフレームがないと判定すれば、サムネイル評価部４６はサムネイル抽出部４７にサムネイル用のフレームの抽出を要求する。ステップＳ８において、サムネイル抽出部４７はフレーム評価テーブル５９のフレームの立体らしさの値（評価値）が一番高いフレームをサムネイル用のフレームとして抽出する。なお、サムネイル抽出部４７はサムネイルの抽出位置（３Ｄ映像の最初、最後など）を元にした重み付けを、例えば３Ｄ映像の種類によって行うようにしてもよい。
【００５９】
図３のステップＳ３の処理の詳細は以下の通りである。特徴点ペア抽出部４４は、局所特徴量テーブル５３における、同一フレームの右フレーム画像及び左フレーム画像でそれぞれ抽出された特徴量間で関連付けを行う。
【００６０】
右フレーム画像の特徴量番号集合をＲ、左フレーム画像の特徴量番号集合をＬとした場合は以下の式（１）を満たす、ｉ，ｊを見つける問題となる。ここで、ｆＲ（ｉ）は右フレーム画像のｉ番目の特徴量とする。ｆＬ（ｊ）は、左フレーム画像のｊ番目の特徴量とする。ｄｉｓｔは二つの特徴量間の距離関数とする。
【００６１】
【数１】
【００６２】
つまり、特徴点ペア抽出部４４は右フレーム画像の特徴量と左フレーム画像の特徴量との間の全てのペアに対して特徴量間の距離を算出し、最小の距離のペア（ｉ，ｊ）を求めている。特徴点ペア抽出部４４は、同時に、最小となるペアの特徴量間の距離（ｄｉｓｔ関数の戻り値）も保持する。特徴量間の距離が予め与えられた距離の閾値以下の場合は対応点として対応点テーブル５４に保存する。
【００６３】
また、式（１）では左フレーム画像と右フレーム画像の特徴量間の全てのマッチングを行っているが、高速化のため、ある一定距離のペアまでしか求めないようにしてもかまわない。
【００６４】
例えば右フレーム画像のｉ番目の特徴点のＸ座標をｘＲ（ｉ）とし、左フレーム画像のｊ番目の特徴点のＸ座標をｘＬ（ｊ）とし、右フレーム画像のｉ番目の特徴点のＹ座標をｙＲ（ｉ）とし、左フレーム画像のｊ番目の特徴点のＹ座標をｙＬ（ｊ）とし、閾値としてＴｘ及びＴｙを設定した場合は、以下の式（２）を満たすものだけを対象とする。
【００６５】
【数２】
【００６６】
一般的に、３Ｄ画像のカメラのレンズは左右に並んでいる。したがって、３Ｄ画像ではＸ座標における差分の方が大きいため、Ｔｘの方にＴｙより大きな値を指定する。距離関数としては、一般的なユークリッド距離などの手法を用いることができる。また、局所特徴量ごとに適した距離関数を用いてもかまわない。
【００６７】
ユークリッド距離を用いる場合は以下の式（３）のようになる。式（３）は、２つのベクトルｖ１及びｖ２において、次元数ｉの場合の値がそれぞれｖ１（ｉ）、ｖ２（ｊ）であり、かつ、次元数がｎの場合の例である。特徴点ペア抽出部４４は、抽出した対応点の左右フレーム画像の特徴量番号（ｉ，ｊ）と、抽出した対応点の距離値とを対応点テーブル５４に保存する。
【００６８】
【数３】
【００６９】
図１０に示す対応点テーブルを用いる場合、特徴点ペア抽出部４４は局所特徴量テーブル５３に保存しているＸ座標及び対応点テーブル５４に保存している距離値から、対応点として保存されている特徴点のＺ値（奥行き距離）を算出する。なお、Ｚ値の算出は以下の式（４）を用いて行うことができる。
【００７０】
【数４】
【００７１】
ここで、ｆＣは３Ｄ画像の撮影時のカメラのパラメータである焦点距離である。ＸＣは３Ｄ画像を撮影したカメラの二つのレンズ間の距離である。ｘＲは対応点の右フレーム画像でのＸ座標である。ｘＬは対応点の左フレーム画像でのＸ座標である。なお、焦点距離は２つのレンズで同じ値を持つものとする。なお、式（４）における各パラメータを図示すると、例えば図１６に示すようになる。図１６は３Ｄカメラを上から見た場合の一例の模式図である。
【００７２】
また、図１７は視差によるＺ値の算出方法の一例のイメージ図である。図１７（Ａ）は二つのレンズ間の視差のイメージを表している。図１７（Ｂ）は同一フレームにおける右フレーム画像及び左フレーム画像から抽出された対応点（特徴点のペア）のイメージを表している。図１７（Ｂ）では特徴点を「○」で表し、ペアとなる特徴点を線で結んで視覚的に表している。図１７（Ｂ）ではＺ値の小さい特徴点のペアを細線で繋ぎ、Ｚ値の大きい特徴点のペアを太線で繋いで表している。
【００７３】
図１７に示すように、位置がレンズに近いものほど、左右フレーム画像間での特徴点の左右位置は、ずれる。したがって、奥行き距離の算出は左右フレーム画像間での特徴点の左右位置のずれを利用して行うことができる。
【００７４】
図３のステップＳ３以降の処理ではＺ値の絶対値を使用せず、相対値を使用する。したがって、焦点距離と二つのレンズ間の距離とは正の固定値を設定すればよい。また、上記の式（４）から分かるように、Ｚ値と対応点の距離値とは反比例の関係にある。ステップＳ４の処理において対応点の距離値を使用するようにすれば、ステップＳ３の処理ではＺ値の算出まで行う必要はなくなる。特徴点ペア抽出部４４は算出したＺ値を対応点テーブル５４に保存する。
【００７５】
図３のステップＳ３の処理は例えば図１８に示すフローチャートの手順で行うことができる。図１８はステップＳ３の処理の一例のフローチャートである。
【００７６】
ステップＳ１１において、特徴点ペア抽出部４４は局所特徴量テーブル５３に保存されている左フレーム画像の特徴点を一つ選択し、その特徴点の特徴量を取得する。ステップＳ１２において、特徴点ペア抽出部４４はステップＳ１１で選択した左フレーム画像の特徴点と座標値が近い特徴点を選択し、その特徴点の特徴量を取得する。
【００７７】
ステップＳ１３において、特徴点ペア抽出部４４はステップＳ１１、Ｓ１２で選択した二つの特徴点の特徴量の距離値を算出する。ステップＳ１４において、特徴点ペア抽出部４４は算出した距離値が最小値の場合、ステップＳ１１、Ｓ１２で選択した二つの特徴点及びステップＳ１３で算出した二つの特徴点の特徴量の距離値を保存する。
【００７８】
ステップＳ１５に進み、特徴点ペア抽出部４４は他に右フレーム画像の特徴点があるかを判定する。他に右フレーム画像の特徴点があれば、特徴点ペア抽出部４４は右フレーム画像の他の特徴点に対してステップＳ１２〜Ｓ１４の処理を繰り返す。他に右フレーム画像の特徴点が無くなれば、特徴点ペア抽出部４４はステップＳ１６において、特徴量の距離値が最小値の二つの特徴点のＸ座標の差分とＺ値とを算出する。
【００７９】
ステップＳ１７において、特徴点ペア抽出部４４は特徴量の距離値が閾値以下である場合に、特徴量の距離値が最小値の二つの特徴点を対応点として対応点テーブル５４へ保存する。ステップＳ１８において、特徴点ペア抽出部４４は他に左フレーム画像の特徴点があるかを判定する。
【００８０】
他に左フレーム画像の特徴点があれば、特徴点ペア抽出部４４は左フレーム画像の他の特徴点に対してステップＳ１１〜Ｓ１７の処理を繰り返す。他に左フレーム画像の特徴点が無くなれば、特徴点ペア抽出部４４は図１８に示す処理を終了する。
【００８１】
図３のステップＳ４の処理の詳細は以下の通りである。奥行きクラスタリング部４５はステップＳ３の処理で求めたＺ値又は距離値を元に、クラスタリング処理を行い、近い奥行き距離のグループを作成する。
【００８２】
クラスタリング手法としては、ヒストグラムを用いた方法が利用できる。奥行きクラスタリング部４５は特定の間隔でＺ値の範囲（ヒストグラムのビン）を定める。奥行きクラスタリング部４５は各ビンの値を最初に０に初期化する。奥行きクラスタリング部４５は対応点テーブル５４を参照して、各ビンのＺ値の範囲にある対応点の個数を各ビンの値として計算する。奥行きクラスタリング部４５は、計算した各ビンの値をＺ値ヒストグラムテーブル５５に保存する。
【００８３】
図１９は計算した各ビンの値を表す一例のヒストグラムである。図１９のヒストグラムは図１７に示したイメージ図に対応するものである。なお、Ｚ値の範囲は、固定間隔でもかまわないし、Ｚ値の絶対値で変更してもかまわない。上記の式（４）により、Ｚ値は対応点の距離値が０に近くなると急激に大きくなる。そこで、ビンはＺ値が大きい部分の範囲を広めに設定してもよい。奥行きクラスタリング部４５は必要に応じて、各ヒストグラムにどの対応点が格納されたのかを対応点ヒストグラムテーブル５５に保存する。
【００８４】
奥行きクラスタリング部４５はＺ値ヒストグラムテーブル５５に保存されているヒストグラムのピーク（局所的に値が大きくなっているビン）を見つけ、その前後のビンの個数と併せて一つのクラスタとする。
【００８５】
ヒストグラムのビン番号ｉの個数をｈ（ｉ）とした場合、奥行きクラスタリング部４５はｈ（ｉ）＞ｈ（ｉ−１）かつｈ（ｉ）＞ｈ（ｉ＋１）であるビン番号ｉのビンをピークとする。奥行きクラスタリング部４５はビン番号ｉのビンと、その前後のビン番号ｉ−１及びｉ＋１のビンとを併せて一つのクラスタとする。奥行きクラスタリング部４５はクラスタにある対応点の個数をｃ＝ｈ（ｉ−１）＋ｈ（ｉ）＋ｈ（ｉ＋１）とする。奥行きクラスタリング部４５は、クラスタにある対応点の個数をＺ値クラスタテーブル５７に保存する。奥行きクラスタリング部４５は必要に応じて、対応点ヒストグラムテーブル５６を元に、各クラスタにどの対応点が含まれているのかを対応点クラスタテーブル５８に保存する。
【００８６】
図２０は各クラスタに含まれる対応点を視覚的に表したフレーム画像の一例のイメージ図である。図２０では同一のクラスタに含まれる対応点を線で囲って表している。図２０のイメージ図は図１９に示したヒストグラムに対応するものである。
【００８７】
なお、ヒストグラムを求めるにあたり精度を向上させるためには、近接の特徴点のＺ値と比較し、近似したＺ値を持たない特徴点を除去する方法が考えられる。例えば奥行きクラスタリング部４５は対応点クラスタテーブル５８、対応点テーブル５４及び局所特徴量テーブル５３から、特徴点のＸ座標値、Ｙ座標値を取得する。
【００８８】
なお、右フレーム画像、左フレーム画像のどちらの座標でもかまわないが、すべての特徴点にたいして同じフレーム画像の座標値を指定する。奥行きクラスタリング部４５は特徴点同士でＸ座標値、Ｙ座標値の差分を抽出して、その差分による距離が予め決められた閾値以下になる特徴点が他にない場合、その特徴点をクラスタから除外する。
【００８９】
また、クラスタを構成する特徴点の個数が少ない場合、奥行きクラスタリング部４５はクラスタそのものを削除するようにする。例えば奥行きクラスタリング部４５は予め閾値を与えて、クラスタ内の特徴点の個数が閾値以下の場合、クラスタを削除する。
【００９０】
図３のステップＳ４の処理は例えば図２１に示すフローチャートの手順で行うことができる。図２１はステップＳ４の処理の一例のフローチャートである。
【００９１】
ステップＳ２１において、奥行きクラスタリング部４５はＺ値ヒストグラムテーブル５５の各ビンの値を０で初期化する。ステップＳ２２において、奥行きクラスタリング部４５は対応点テーブル５４を参照して、対応点とそのＺ値とを取得する。ステップＳ２３において、奥行きクラスタリング部４５はＺ値に合致するＺ値ヒストグラムテーブル５５のビンの値に１を加える。
【００９２】
ステップＳ２４において、奥行きクラスタリング部４５は対応点テーブル５４を参照して、他に対応点があるか否かを判定する。他に対応点があれば、奥行きクラスタリング部４５はステップＳ２２〜Ｓ２３の処理を繰り返す。他に対応点が無ければ、奥行きクラスタリング部４５はステップＳ２５において、Ｚ値ヒストグラムテーブル５５を参照してヒストグラムのピークを求める。
【００９３】
ステップＳ２６において、奥行きクラスタリング部４５はピーク近傍の対応点をまとめてクラスタを作成し、対応点クラスタテーブル５８に保存する。奥行きクラスタリング部４５はステップＳ２７において、他にヒストグラムのピークがあるか否かを判定する。他にヒストグラムのピークがあれば、奥行きクラスタリング部４５はステップＳ２５〜Ｓ２６の処理を繰り返す。他にヒストグラムのピークが無ければ、奥行きクラスタリング部４５はステップＳ２８において、後述するように、クラスタ内に近似の特徴点のない特徴点を除去する。
【００９４】
ステップＳ２９において、奥行きクラスタリング部４５はクラスタ内の特徴点の個数が閾値以下の場合、クラスタを削除する。ステップＳ３０において、奥行きクラスタリング部４５は他に、クラスタがあるか否かを判定する。他にクラスタがあれば、奥行きクラスタリング部４５はステップＳ２８〜Ｓ２９の処理を繰り返す。奥行きクラスタリング部４５は、他にクラスタが無ければ図２１に示す処理を終了する。
【００９５】
図３のステップＳ５の処理の詳細は以下の通りである。サムネイル評価部４６はクラスタリング結果を元に、現在のフレームがサムネイルとして適しているかどうかを評価値として算出する。
【００９６】
フレームの評価値としては、以下の指標を用いる。一つ目の指標は、フレームに含まれるクラスタの数が複数あるか否かである。フレームに含まれるクラスタが一つの場合は当然ながら立体的に見えない。フレームはクラスタが三つ程度含まれると、より立体的に見える。逆に、フレームはクラスタの数が多すぎると、全体的に雑然としてしまい立体的に見えにくくなる。
【００９７】
二つ目の指標は、各クラスタ内の対応点がまとまっているか否かである。クラスタ内の対応点が画像内に点在する場合、フレームは立体的に見えにくくなる。三つ目の指標はクラスタ間のＺ値の距離が大きいか否かである。フレームはクラスタ間のＺ値の距離が大きい場合、より立体的に見える。
【００９８】
四つ目の指標は、クラスタのうち一番奥に存在するクラスタが背景であり、背景に含まれる特徴点の数が多いか否かである。フレームは背景に含まれる特徴点の数が多いほど立体的に見える。さらに、フレームは構図的に画面上部に背景の特徴点が集まっているほど立体的に見えやすい。
【００９９】
サムネイル評価部４６は、上記の指標を元にスコアリングして、立体らしさの値を抽出する。クラスタの数に関しては、重みｗｃと、クラスタ数を引数にする評価関数ｆｃを用いる。重みｗｃはあらかじめ決められた定数とする。評価関数ｆｃについては、以下のような式（５）が利用できる。
【０１００】
【数５】
【０１０１】
各クラスタ内の対応点のまとまりは、クラスタ間平均距離などの手法を用いることができる。画像サイズをｗ、ｈ、クラスタ集合をＣ、クラスタ内の対応点の個数をｎ、対応点ｉのＸ座標をｘ（ｉ）、ｙ座標をｙ（ｉ）とした場合、対応点のまとまりの評価関数ｆｓは以下のような式（６）で表現できる。
【０１０２】
【数６】
【０１０３】
クラスタ間のＺ値の距離の大きさは、クラスタの一番奥のＺ値をｚｂ、一番前のクラスタのＺ値をｚｆとした場合、クラスタ間のＺ値の距離の大きさの評価関数ｆｚは以下のような式（７）で表現できる。
【０１０４】
【数７】
【０１０５】
背景の評価については、一番奥のクラスタ集合をＣｂ、クラスタ内の対応点の個数をｎ、画像の高さをｈ、対応点ｉのｙ座標をｙ（ｉ）とした場合、背景の評価の評価関数ｆｂは以下のような式（８）で表現できる。
【０１０６】
【数８】
【０１０７】
フレームの評価関数ｆは、式（９）に表現するように、上記４つの評価関数を重みで結合した形式で求める。
【０１０８】
【数９】
【０１０９】
図３のステップＳ５の処理は例えば図２２に示すフローチャートの手順で行うことができる。図２２はステップＳ５の処理の一例のフローチャートである。
【０１１０】
ステップＳ４１において、サムネイル評価部４６はクラスタの個数に関する評価値を算出する。ステップＳ４２において、サムネイル評価部４６はクラスタのまとまりに関する評価値を算出する。ステップＳ４３において、サムネイル評価部４６はクラスタのＺ値差分に関する評価値を算出する。ステップＳ４４において、サムネイル評価部４６はクラスタの背景に関する評価値を算出する。ステップＳ４５において、そして、サムネイル評価部４６はステップＳ４１〜Ｓ４４で算出した全ての評価値の重み付きで結合し、評価値を算出する。
【０１１１】
なお、図２２に示したステップＳ５の処理は一例であって、ステップＳ４１〜Ｓ４４の少なくとも一つ以上の組み合わせを利用して評価値を算出するものであればよい。
【０１１２】
図２１のステップＳ２８の処理の詳細は以下の通りである。図２３はステップＳ２８の処理の一例のフローチャートである。奥行きクラスタリング部４５はステップＳ５１において、対応点テーブル５４及び対応点クラスタテーブル５８を参照し、クラスタ内の特徴点の一つを選択し、位置を取得する。
【０１１３】
ステップＳ５２において、奥行きクラスタリング部４５はクラスタ内の他の特徴点の一つを選択し、位置を取得する。ステップＳ５３において、奥行きクラスタリング部４５はステップＳ５１及びＳ５２で選択した特徴点の位置の差（距離）を算出する。
【０１１４】
ステップＳ５４に進み、奥行きクラスタリング部４５はステップＳ５３で算出した距離が閾値以下か否かを判定する。閾値以下でなければ、ステップＳ５５において、奥行きクラスタリング部４５はクラスタ内に他の特徴点があるか否かを判定する。クラスタ内に他の特徴点があれば、奥行きクラスタリング部４５はステップＳ５２〜Ｓ５４の処理を繰り返す。クラスタ内に他の特徴点がなければ、奥行きクラスタリング部４５はステップＳ５６において、ステップＳ５１で選択した特徴点をクラスタから削除する。
【０１１５】
また、ステップＳ５４において閾値以下であるか、ステップＳ５６の処理の後、奥行きクラスタリング部４５はステップＳ５７においてクラスタ内に他の特徴点があるか否かを判定する。クラスタ内に他の特徴点があれば、奥行きクラスタリング部４５はステップＳ５１〜Ｓ５６の処理を繰り返す。クラスタ内に他の特徴点がなければ、奥行きクラスタリング部４５は図２３に示す処理を終了する。
【実施例２】
【０１１６】
図２４は本実施例のサムネイル抽出装置の他の例の機能ブロック図である。図２４のサムネイル抽出装置４０Ａは、図２のサムネイル抽出装置４０に、もう一つの評価軸である背景の評価の追加を行っている。具体的には図２４のサムネイル抽出装置４０Ａは図２のサムネイル抽出装置４０の構成に背景評価部４８が追加されている。特にホームビデオなどの場合、旅行先で撮影した映像など、背景が特徴的である部分をサムネイルとして抽出することは有効である。
【０１１７】
図２４のサムネイル抽出装置４０Ａについては、図２のサムネイル抽出装置４０との差異を中心に説明する。サムネイル抽出装置４０Ａのフローチャートは図３に示したサムネイル抽出装置４０とステップＳ５の処理が異なる。
【０１１８】
サムネイル抽出装置４０ＡのステップＳ５の処理は例えば図２５に示すフローチャートの手順で行うことができる。図２５は、ステップＳ５の処理の他の例のフローチャートである。
【０１１９】
ステップＳ６１〜Ｓ６４までの処理は図２２のステップＳ４１〜Ｓ４４と同様であるため説明を省略する。ステップＳ６５において、背景評価部４８はフレーム間で共通する背景を評価する。
【０１２０】
背景は一番奥のクラスタであるため、一番奥のクラスタのみを利用する。フレーム数をＦとし、フレームｉにおける背景クラスタをＣｂ（ｉ）とし、個数をｎ（ｉ）とし、対応点ｊの特徴量をｆ（ｉ、ｊ）とし、予め与えられた距離の閾値をＴとすると、フレーム間で共通する背景の評価の評価関数ｆｆは以下のような式（１０）で表現できる。
【０１２１】
【数１０】
【０１２２】
ステップＳ６６において、サムネイル評価部４６はステップＳ６１〜Ｓ６５で算出した全ての評価値の重み付きで結合し、評価値を算出する。サムネイル評価部４６はフレームの評価関数ｆを、式（１１）に表現するように、上記５つの評価関数を重み付きで結合した形式で求める。
【０１２３】
【数１１】
【０１２４】
なお、図２５に示したステップＳ５の処理は一例であって、ステップＳ６１〜Ｓ６５の少なくとも一つ以上の組み合わせを利用して評価値を算出するものであればよい。
【０１２５】
（まとめ）
実施例１及び２に示したサムネイル抽出装置４０及び４０Ａは、３Ｄ映像を対象とした場合、より立体的に見えるサムネイルを抽出する必要がある。３Ｄ映像中には、あまり立体的に見えないシーンが多い。実施例１及び２に示したサムネイル抽出装置４０及び４０Ａは立体的に見えるシーンからサムネイルを抽出することにより、より印象的で見栄えのするサムネイルを選択することができる。
【０１２６】
実施例１及び２に示したサムネイル抽出装置４０及び４０Ａによれば、３Ｄ映像の特徴を用いて画像の奥行きを求め、その構図を元に、立体的に表示できるサムネイルを選択できる。
【０１２７】
本実施例における推薦プログラムはパッケージソフトの他、ＷＥＢサービス等によっても提供可能である。
【０１２８】
本発明は、以下に記載する付記のような構成が考えられる。
（付記１）
３Ｄ映像の一フレームを構成するフレーム画像ペア間で対応する特徴点を特徴点ペアとして前記フレーム画像ペアから抽出し、
前記特徴点ペアの奥行き量を前記特徴点ペアの点間距離、所定のレンズ間距離・焦点距離を基に算出して、前記奥行き量で前記特徴点ペアをクラスタリングし、
予め定められたクラスタリングの結果情報に基づく前記フレーム画像ペアの立体的な見え易さの評価条件を基に、１以上の前記フレーム画像ペアのクラスタリングの結果情報から前記１以上のフレーム画像ペアの立体的な見え易さを評価し、
前記１以上のフレーム画像ペアの立体的な見え易さの評価結果に基づき、前記評価結果の最も良い前記フレーム画像ペアを、サムネイル用の前記フレーム画像ペアとして抽出する
処理をコンピュータに実行させるサムネイル抽出プログラム。
（付記２）
前記１以上のフレーム画像ペアの立体的な見え易さを評価する処理は、クラスタの個数を元に、前記フレーム画像ペアの立体的な見え易さを評価する
付記１記載のサムネイル抽出プログラム。
（付記３）
前記１以上のフレーム画像ペアの立体的な見え易さを評価する処理は、クラスタ内の特徴点の位置的な集合度を元に、前記フレーム画像ペアの立体的な見え易さを評価する
付記１又は２記載のサムネイル抽出プログラム。
（付記４）
前記１以上のフレーム画像ペアの立体的な見え易さを評価する処理は、クラスタ間の奥行き量の差を元に、前記フレーム画像ペアの立体的な見え易さを評価する
付記１乃至３何れかに記載のサムネイル抽出プログラム。
（付記５）
前記１以上のフレーム画像ペアの立体的な見え易さを評価する処理は、一番奥のクラスタの個数及び配置を元に、前記フレーム画像ペアの立体的な見え易さを評価する
付記１乃至３何れかに記載のサムネイル抽出プログラム。
（付記６）
前記１以上のフレーム画像ペアの立体的な見え易さを評価する処理は、複数フレーム間における共通の背景を元に、前記フレーム画像ペアの立体的な見え易さを評価する
付記１乃至５何れかに記載のサムネイル抽出プログラム。
（付記７）
前記特徴点を前記特徴点ペアとして前記フレーム画像ペアから抽出する処理は、
前記３Ｄ映像の一フレームを構成する前記フレーム画像ペアを抽出し、
前記抽出した前記フレーム画像ペアから前記特徴点を抽出し、
前記抽出した前記特徴点の局所特徴量を抽出し、
前記抽出した前記局所特徴量を用いて、前記フレーム画像ペア間で対応する前記特徴点を前記特徴点ペアとして抽出する
付記１乃至６何れかに記載のサムネイル抽出プログラム。
（付記８）
コンピュータによって実行されるサムネイル抽出方法であって、
３Ｄ映像の一フレームを構成するフレーム画像ペア間で対応する特徴点を特徴点ペアとして前記フレーム画像ペアから抽出し、
前記特徴点ペアの奥行き量を前記特徴点ペアの点間距離、所定のレンズ間距離・焦点距離を基に算出して、前記奥行き量で前記特徴点ペアをクラスタリングし、
予め定められたクラスタリングの結果情報に基づく前記フレーム画像ペアの立体的な見え易さの評価条件を基に、１以上の前記フレーム画像ペアのクラスタリングの結果情報から前記１以上のフレーム画像ペアの立体的な見え易さを評価し、
前記１以上のフレーム画像ペアの立体的な見え易さの評価結果に基づき、前記評価結果の最も良い前記フレーム画像ペアを、サムネイル用の前記フレーム画像ペアとして抽出する
ことを特徴とするサムネイル抽出方法。
【符号の説明】
【０１２９】
１０ ＰＣ
２１ 入力装置
２２ 表示装置
２３ ＰＣ本体
３１ 主記憶装置
３２ 演算処理装置
３３ インタフェース装置
３４ 記録媒体読取装置
３５ 補助記憶装置
３６ 記録媒体
３７ バス
４０、４０Ａ サムネイル抽出装置
４１ フレーム画像取得部
４２ 特徴点抽出部
４３ 局所特徴抽出部
４４ 特徴点ペア抽出部
４５ 奥行きクラスタリング部
４６ サムネイル評価部
４７ サムネイル抽出部
４８ 背景評価部
５１ 映像情報テーブル
５２ フレーム情報テーブル
５３ 局所特徴量テーブル
５４ 対応点テーブル
５５ Ｚ値ヒストグラムテーブル
５６ 対応点ヒストグラムテーブル
５７ Ｚ値クラスタテーブル
５８ 対応点クラスタテーブル
５９ フレーム評価テーブル
１００ 左フレーム画像
１０１ 右フレーム画像
【特許請求の範囲】
【請求項１】
３Ｄ映像の一フレームを構成するフレーム画像ペア間で対応する特徴点を特徴点ペアとして前記フレーム画像ペアから抽出し、
前記特徴点ペアの奥行き量を前記特徴点ペアの点間距離、所定のレンズ間距離・焦点距離を基に算出して、前記奥行き量で前記特徴点ペアをクラスタリングし、
予め定められたクラスタリングの結果情報に基づく前記フレーム画像ペアの立体的な見え易さの評価条件を基に、１以上の前記フレーム画像ペアのクラスタリングの結果情報から前記１以上のフレーム画像ペアの立体的な見え易さを評価し、
前記１以上のフレーム画像ペアの立体的な見え易さの評価結果に基づき、前記評価結果の最も良い前記フレーム画像ペアを、サムネイル用の前記フレーム画像ペアとして抽出する
処理をコンピュータに実行させるサムネイル抽出プログラム。
【請求項２】
前記１以上のフレーム画像ペアの立体的な見え易さを評価する処理は、クラスタの個数を元に、前記フレーム画像ペアの立体的な見え易さを評価する
請求項１記載のサムネイル抽出プログラム。
【請求項３】
前記１以上のフレーム画像ペアの立体的な見え易さを評価する処理は、クラスタ内の特徴点の位置的な集合度を元に、前記フレーム画像ペアの立体的な見え易さを評価する
請求項１又は２記載のサムネイル抽出プログラム。
【請求項４】
前記１以上のフレーム画像ペアの立体的な見え易さを評価する処理は、クラスタ間の奥行き量の差を元に、前記フレーム画像ペアの立体的な見え易さを評価する
請求項１乃至３何れかに記載のサムネイル抽出プログラム。
【請求項５】
コンピュータによって実行されるサムネイル抽出方法であって、
３Ｄ映像の一フレームを構成するフレーム画像ペア間で対応する特徴点を特徴点ペアとして前記フレーム画像ペアから抽出し、
前記特徴点ペアの奥行き量を前記特徴点ペアの点間距離、所定のレンズ間距離・焦点距離を基に算出して、前記奥行き量で前記特徴点ペアをクラスタリングし、
予め定められたクラスタリングの結果情報に基づく前記フレーム画像ペアの立体的な見え易さの評価条件を基に、１以上の前記フレーム画像ペアのクラスタリングの結果情報から前記１以上のフレーム画像ペアの立体的な見え易さを評価し、
前記１以上のフレーム画像ペアの立体的な見え易さの評価結果に基づき、前記評価結果の最も良い前記フレーム画像ペアを、サムネイル用の前記フレーム画像ペアとして抽出する
ことを特徴とするサムネイル抽出方法。
【請求項１】
３Ｄ映像の一フレームを構成するフレーム画像ペア間で対応する特徴点を特徴点ペアとして前記フレーム画像ペアから抽出し、
前記特徴点ペアの奥行き量を前記特徴点ペアの点間距離、所定のレンズ間距離・焦点距離を基に算出して、前記奥行き量で前記特徴点ペアをクラスタリングし、
予め定められたクラスタリングの結果情報に基づく前記フレーム画像ペアの立体的な見え易さの評価条件を基に、１以上の前記フレーム画像ペアのクラスタリングの結果情報から前記１以上のフレーム画像ペアの立体的な見え易さを評価し、
前記１以上のフレーム画像ペアの立体的な見え易さの評価結果に基づき、前記評価結果の最も良い前記フレーム画像ペアを、サムネイル用の前記フレーム画像ペアとして抽出する
処理をコンピュータに実行させるサムネイル抽出プログラム。
【請求項２】
前記１以上のフレーム画像ペアの立体的な見え易さを評価する処理は、クラスタの個数を元に、前記フレーム画像ペアの立体的な見え易さを評価する
請求項１記載のサムネイル抽出プログラム。
【請求項３】
前記１以上のフレーム画像ペアの立体的な見え易さを評価する処理は、クラスタ内の特徴点の位置的な集合度を元に、前記フレーム画像ペアの立体的な見え易さを評価する
請求項１又は２記載のサムネイル抽出プログラム。
【請求項４】
前記１以上のフレーム画像ペアの立体的な見え易さを評価する処理は、クラスタ間の奥行き量の差を元に、前記フレーム画像ペアの立体的な見え易さを評価する
請求項１乃至３何れかに記載のサムネイル抽出プログラム。
【請求項５】
コンピュータによって実行されるサムネイル抽出方法であって、
３Ｄ映像の一フレームを構成するフレーム画像ペア間で対応する特徴点を特徴点ペアとして前記フレーム画像ペアから抽出し、
前記特徴点ペアの奥行き量を前記特徴点ペアの点間距離、所定のレンズ間距離・焦点距離を基に算出して、前記奥行き量で前記特徴点ペアをクラスタリングし、
予め定められたクラスタリングの結果情報に基づく前記フレーム画像ペアの立体的な見え易さの評価条件を基に、１以上の前記フレーム画像ペアのクラスタリングの結果情報から前記１以上のフレーム画像ペアの立体的な見え易さを評価し、
前記１以上のフレーム画像ペアの立体的な見え易さの評価結果に基づき、前記評価結果の最も良い前記フレーム画像ペアを、サムネイル用の前記フレーム画像ペアとして抽出する
ことを特徴とするサムネイル抽出方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【公開番号】特開２０１２−１６００１１（Ｐ２０１２−１６００１１Ａ）
【公開日】平成２４年８月２３日（２０１２．８．２３）
【国際特許分類】
【出願番号】特願２０１１−１９１５８（Ｐ２０１１−１９１５８）
【出願日】平成２３年１月３１日（２０１１．１．３１）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２４年８月２３日（２０１２．８．２３）
【国際特許分類】
【出願日】平成２３年１月３１日（２０１１．１．３１）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]