再生装置、再生方法、およびプログラム
【課題】ディスプレイの属性に応じて、コンテンツの特徴的な区間として選択する区間を切り替えることができるようにする。
【解決手段】再生装置１においては、３Ｄ対応であるか否かとサイズなどの、コンテンツの画像を表示するディスプレイの属性が検出され、検出された属性と、ダイジェスト再生を行うコンテンツの種類に応じて、ダイジェスト再生の対象となる区間が切り替えられる。例えば、再生対象のコンテンツが３Ｄコンテンツであり、ディスプレイが３Ｄ対応の大型のディスプレイである場合、左目用画像と右目用画像の視差の大きい区間が優先的に再生され、ディスプレイが３Ｄ非対応または小型のディスプレイである場合、視差以外の他の特徴が多く検出された区間が優先的に再生される。本発明は、３Ｄコンテンツを再生するプレーヤに適用することができる。
【解決手段】再生装置１においては、３Ｄ対応であるか否かとサイズなどの、コンテンツの画像を表示するディスプレイの属性が検出され、検出された属性と、ダイジェスト再生を行うコンテンツの種類に応じて、ダイジェスト再生の対象となる区間が切り替えられる。例えば、再生対象のコンテンツが３Ｄコンテンツであり、ディスプレイが３Ｄ対応の大型のディスプレイである場合、左目用画像と右目用画像の視差の大きい区間が優先的に再生され、ディスプレイが３Ｄ非対応または小型のディスプレイである場合、視差以外の他の特徴が多く検出された区間が優先的に再生される。本発明は、３Ｄコンテンツを再生するプレーヤに適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、再生装置、再生方法、およびプログラムに関し、特に、ディスプレイの属性に応じて、コンテンツの特徴的な区間として選択する区間を切り替えることができるようにした再生装置、再生方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、立体視が可能な３Ｄ画像関連の技術が注目されている。一般のユーザであっても、例えば映画館などにおいて画質の良い３Ｄ対応のディスプレイや３Ｄコンテンツを利用することができ、３Ｄで表示される映画の視聴を楽しむことができるようになってきている。
【０００３】
ここで、３Ｄコンテンツとは、３Ｄ画像を表示するためのデータを含むコンテンツをいう。３Ｄ画像の表示方式には、同じオブジェクト間に視差がある左目用の画像と右目用の画像を交互に表示するフレームシーケンシャル方式がある。左目用の画像と右目用の画像をシャッタメガネ等を用いて視聴者の左右のそれぞれの目に届けることにより、奥行き感を視聴者に感じさせることが可能になる。
【０００４】
Blu-ray Disc（商標）等の記録媒体に記録された３Ｄコンテンツを再生したり、３Ｄコンテンツを記録したりすることが可能な３Ｄ対応のビデオレコーダも提案されている。このような３Ｄ対応のビデオレコーダは、通常、互換性を確保するため、３Ｄコンテンツの他に、２Ｄコンテンツを再生したり記録したりすることができるようになっている。３Ｄ対応のビデオレコーダが再生し、出力するビデオデータは、３Ｄ画像のデータであるときもあるし、２Ｄ画像のデータであるときもある。
【０００５】
従って、３Ｄ対応のビデオレコーダに接続するディスプレイは、３Ｄ画像と２Ｄ画像の両方の画像の表示が可能であることが望ましい。３Ｄ画像と２Ｄ画像を表示可能なディスプレイである３Ｄ対応ディスプレイとしては様々なものが開発されており、テレビジョン受像機用やパーソナルコンピュータ用のものだけでなく、携帯電話機などの小型の機器用の３Ｄディスプレイも開発されている。
【０００６】
ところで、ハードディスクレコーダ等のビデオレコーダの中には、長時間にわたるコンテンツの内容を短時間で把握できるようにするためのダイジェスト再生の機能が搭載されているものがある。
【０００７】
ダイジェスト再生の手法には、ビデオデータを解析して画像の特徴的な区間を検出し、その特徴的な区間だけを再生することが知られている。例えば、ズーム、パン、チルトなどのカメラワークに関する動作が検出され、カメラワークに関する動作が行われた時刻を含む区間が、特徴的な区間として再生される。
【０００８】
特許文献１には、パン、チルト、ズーム等のカメラワークに関する動作を画像の特徴として検出する技術が開示されている。特許文献２には、シーンの切り替わりを検出し、切り替わり位置の映像の奥行き感を調整する技術が開示されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００９−４２９１７号公報
【特許文献２】特開２００９−２３９３８８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
上述したダイジェスト再生を、３Ｄコンテンツを対象として行うことが考えられる。例えば、物や人などのオブジェクトが顕著に飛び出して表示される区間が３Ｄ特徴区間として検出され、順次再生されることによって、ユーザは、３Ｄ画像を視聴してコンテンツの内容を確認することが可能になる。
【００１１】
この場合、ダイジェスト再生を行うビデオレコーダに接続されているディスプレイが３Ｄ対応であり、サイズが大型であるときには、臨場感のある３Ｄ画像が表示されることになるため、３Ｄ特徴区間を優先的に再生することには意味があるといえる。
【００１２】
一方、ビデオレコーダに接続されているディスプレイのサイズが小さいときには、３Ｄ画像が表示されるものの大型のディスプレイに比べると臨場感が低下するため、パンなどのカメラの動作が検出された区間を優先的に再生した方が効果的な場合もある。また、ビデオレコーダに接続されているディスプレイが３Ｄ画像に非対応である場合、３Ｄ特徴区間を優先的に再生することにはあまり意味がない。
【００１３】
本発明はこのような状況に鑑みてなされたものであり、ディスプレイの属性に応じて、コンテンツの特徴的な区間として選択する区間を切り替えることができるようにするものである。
【課題を解決するための手段】
【００１４】
本発明の一側面の再生装置は、コンテンツの画像を表示するディスプレイの属性を検出する属性検出手段と、画像に関する特徴を前記コンテンツの区間毎に検出する特徴検出手段と、前記特徴検出手段により検出された前記画像に関する特徴に基づいて選択する前記コンテンツの区間である特徴区間を、前記属性検出手段により検出された前記ディスプレイの属性に応じて切り替える選択手段とを備える。
【００１５】
前記属性検出手段には、前記ディスプレイの属性として、３Ｄ画像の表示に対応しているか否かと、サイズが閾値より大きいか否かとを検出させ、前記特徴検出手段には、前記画像に関する特徴として、前記コンテンツが３Ｄ画像を含むコンテンツである場合には、左目用画像と右目用画像の視差と、前記視差とは異なる種類の所定の特徴とを検出させ、前記コンテンツが２Ｄ画像を含むコンテンツである場合には前記所定の特徴を検出させることができる。
【００１６】
前記選択手段には、前記コンテンツが３Ｄ画像を含むコンテンツであり、前記ディスプレイが３Ｄ画像の表示に対応する閾値より大きいサイズのディスプレイである場合、前記視差が閾値より大きい区間の中から前記特徴区間を選択させることができる。
【００１７】
前記選択手段には、前記コンテンツが３Ｄ画像を含むコンテンツであり、前記ディスプレイが３Ｄ画像の表示に対応しない、または、閾値より小さいサイズのディスプレイである場合、前記所定の特徴が閾値より大きい区間の中から前記特徴区間を選択させることができる。
【００１８】
前記選択手段には、前記コンテンツが３Ｄ画像を含むコンテンツであり、前記ディスプレイが３Ｄ画像の表示に対応する閾値より大きいサイズのディスプレイである場合、前記コンテンツの区間毎に、前記所定の特徴の量を表す値に第１の重み係数を乗算して得られた値と、視差を表す値に、前記第１の重み係数より大きい第２の重み係数を乗算して得られた値とを加算することによって評価値を算出し、算出した評価値が閾値より大きい区間を、前記特徴区間として選択させることができる。
【００１９】
前記選択手段には、前記コンテンツが３Ｄ画像を含むコンテンツであり、前記ディスプレイが３Ｄ画像の表示に対応しない、または、閾値より小さいサイズのディスプレイである場合、前記コンテンツの区間毎に、前記所定の特徴の量を表す値に第１の重み係数を乗算して得られた値と、視差を表す値に、前記第１の重み係数より小さい第２の重み係数を乗算して得られた値とを加算することによって評価値を算出し、算出した評価値が閾値より大きい区間を、前記特徴区間として選択させることができる。
【００２０】
本発明の一側面の再生方法は、コンテンツの画像を表示するディスプレイの属性を検出し、画像に関する特徴を前記コンテンツの区間毎に検出し、前記画像に関する特徴に基づいて選択する前記コンテンツの区間である特徴区間を、前記ディスプレイの属性に応じて切り替えるステップを含む。
【００２１】
本発明の一側面のプログラムは、コンテンツの画像を表示するディスプレイの属性を検出し、画像に関する特徴を前記コンテンツの区間毎に検出し、前記画像に関する特徴に基づいて選択する前記コンテンツの区間である特徴区間を、前記ディスプレイの属性に応じて切り替えるステップを含む処理をコンピュータに実行させる。
【００２２】
本発明の一側面においては、コンテンツの画像を表示するディスプレイの属性が検出され、画像に関する特徴が前記コンテンツの区間毎に検出され、前記画像に関する特徴に基づいて選択する前記コンテンツの区間である特徴区間が、前記ディスプレイの属性に応じて切り替えられる。
【発明の効果】
【００２３】
本発明によれば、ディスプレイの属性に応じて、コンテンツの特徴的な区間として選択する区間を切り替えることができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の一実施形態に係る再生装置に接続されるディスプレイの例を示す図である。
【図２】キーフレーム区間の選択の例を示す図である。
【図３】ダイジェスト再生の例を示す図である。
【図４】キーフレーム区間の選択の他の例を示す図である。
【図５】ダイジェスト再生の他の例を示す図である。
【図６】再生装置の構成例を示すブロック図である。
【図７】特徴検出区間の例を示す図である。
【図８】システムコントローラの機能構成例を示すブロック図である。
【図９】３Ｄ特徴評価値の例を示す図である。
【図１０】優先的に選択する特徴検出区間の例を示す図である。
【図１１】再生装置のダイジェスト再生処理について説明するフローチャートである。
【図１２】図１１のステップＳ１１において行われるキーフレーム区間選択処理１について説明するフローチャートである。
【図１３】図１２のステップＳ３０において行われる要約モード時の選択処理１について説明するフローチャートである。
【図１４】図１２のステップＳ３１において行われる要約モード時の選択処理２について説明するフローチャートである。
【図１５】図１１のステップＳ１２において行われるキーフレーム区間選択処理２について説明するフローチャートである。
【図１６】キーフレーム区間の選択の例を示す図である。
【図１７】キーフレーム区間の選択の他の例を示す図である。
【図１８】重み係数の関係の例を示す図である。
【図１９】図１１のステップＳ１１において行われる他のキーフレーム区間選択処理１について説明するフローチャートである。
【図２０】図１１のステップＳ１２において行われる他のキーフレーム区間選択処理２について説明するフローチャートである。
【図２１】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２５】
［ダイジェスト再生について］
図１は、本発明の一実施形態に係る再生装置１に接続されるディスプレイの例を示す図である。
【００２６】
再生装置１は、Blu-ray Discなどの着脱可能な記録媒体に記録されている３Ｄコンテンツや、HDD(Hard Disk Drive)などの内蔵の記録媒体に記録されている３Ｄコンテンツを再生する機能を有する。また、再生装置１は、着脱可能な記録媒体や内蔵の記録媒体に記録されている２Ｄコンテンツを再生する機能をも有する。
【００２７】
３Ｄコンテンツは、例えば３Ｄ画像の表示方式がフレームシーケンシャル方式である場合には、左目用の画像と右目用の画像からなる３Ｄ画像のデータを含むコンテンツである。２Ｄコンテンツは、通常の２Ｄ画像のデータを含むコンテンツである。
【００２８】
３Ｄコンテンツ、または２Ｄコンテンツを再生して得られた画像データは、HDMI(High Definition Multimedia Interface)規格のケーブルなどを介して再生装置１に接続されている外部のディスプレイに出力される。再生装置１に接続されている外部のディスプレイにより、３Ｄ画像、または２Ｄ画像が表示される。
【００２９】
図１の上段においては、携帯電話機１１が再生装置１に接続されている。再生装置１が出力する画像データに基づいて、携帯電話機１１のディスプレイに画像が表示される。携帯電話機１１のディスプレイは、３Ｄ対応であり、例えば２，３インチといったような、サイズが小さいディスプレイである。
【００３０】
図１の中段においては、テレビジョン受像機１２が再生装置１に接続されている。再生装置１が出力する画像データに基づいて、テレビジョン受像機１２のディスプレイに画像が表示される。テレビジョン受像機１２のディスプレイは、携帯電話機１１のディスプレイよりサイズが大きい、２Ｄ対応（３Ｄ非対応）のディスプレイである。
【００３１】
図１の下段においては、テレビジョン受像機１３が再生装置１に接続されている。再生装置１が出力する画像データに基づいて、テレビジョン受像機１３のディスプレイに画像が表示される。テレビジョン受像機１３のディスプレイは、携帯電話機１１のディスプレイよりサイズが大きい、３Ｄ対応（２Ｄ画像の表示にも対応）のディスプレイである。
【００３２】
このように、再生装置１には、機能やサイズなどの属性の異なる各種のディスプレイを有する機器が接続される。再生装置１が再生するコンテンツの画像を表示するディスプレイは、３Ｄ対応の小型ディスプレイであるときもあるし、３Ｄ非対応のディスプレイであるときもあるし、３Ｄ対応の大型ディスプレイであるときもある。
【００３３】
また、再生装置１は、コンテンツの全区間のうち、特徴的な区間だけを再生するダイジェスト再生の機能を有する。再生装置１は、ダイジェスト再生の対象となるコンテンツの画像データを解析し、各区間の画像に関する特徴を検出する。
【００３４】
再生装置１が検出する特徴は、例えば、パン、チルト、ズーム等の、映像コンテンツを撮影するカメラワークに関する動作と、対象とするコンテンツが３Ｄコンテンツである場合には、左目用の画像と右目用の画像の間の視差である。視差が大きいほど、左目用の画像と右目用の画像を見たユーザはより大きな奥行き感を感じることになる。
【００３５】
以下、適宜、パン、チルト、ズーム等のカメラワークに関する動作をカメラ特徴といい、左目用の画像と右目用の画像の間の視差を３Ｄ特徴という。
【００３６】
再生装置１による画像データの解析は、例えば３秒間などの所定の長さの各区間を対象として行われる。例えば、パンやズームなどのカメラ特徴に基づいてカメラ特徴評価値が算出され、閾値を超える区間がカメラ特徴区間として決定される。また、再生対象のコンテンツが３Ｄコンテンツである場合には、視差の量に基づいて３Ｄ特徴評価値が算出され、閾値を超える区間が３Ｄ特徴区間として決定される。
【００３７】
また、再生装置１は、ダイジェスト再生を行う場合、ダイジェスト再生によって画像を表示するディスプレイの属性を検出する。ディスプレイの属性には、３Ｄ対応であるか否かと、ディスプレイのサイズが含まれる。サイズは、インチ数、または画素数により表される。
【００３８】
再生装置１は、決定したカメラ特徴区間や３Ｄ特徴区間のうち、どの区間をキーフレーム区間として選択するのかを、ディスプレイの属性と、再生対象のコンテンツが３Ｄコンテンツであるか、２Ｄコンテンツであるかなどに応じて切り替える。キーフレーム区間は、コンテンツの特徴を表していると考えられる区間であり、ダイジェスト再生によって再生される。
【００３９】
図２は、再生対象のコンテンツが３Ｄコンテンツである場合のキーフレーム区間の選択の例を示す図である。
【００４０】
図２において、「ズーム」、「パン」の文字を付して示す区間はカメラ特徴区間であり、「飛び出し」の文字を付して示す区間は３Ｄ特徴区間である。図２の例においては、再生対象の３Ｄコンテンツの区間Ｔ０乃至Ｔ１０のうち、区間Ｔ１，Ｔ３，Ｔ４，Ｔ６がカメラ特徴区間として決定され、区間Ｔ２，Ｔ７，Ｔ８が３Ｄ特徴区間として決定されている。区間Ｔ０，Ｔ５，Ｔ９，Ｔ１０は、カメラ特徴区間でも３Ｄ特徴区間でもない区間である。
【００４１】
カメラ特徴区間と３Ｄ特徴区間がこのようにして決定された場合を考える。この場合において、ディスプレイが３Ｄ対応の小型のディスプレイであるとき、または３Ｄ非対応のディスプレイであるとき、図２の下段に示すように、カメラ特徴区間が優先的に再生されるように、区間Ｔ１，Ｔ３，Ｔ４，Ｔ６がキーフレーム区間として選択される。
【００４２】
ダイジェスト再生時、図３に示すように、カメラ特徴区間である区間Ｔ１，Ｔ３，Ｔ４，Ｔ６が続けて再生される。
【００４３】
図４は、キーフレーム区間の選択の他の例を示す図である。
【００４４】
図４の例においても、再生対象の３Ｄコンテンツの区間Ｔ０乃至Ｔ１０のうち、区間Ｔ１，Ｔ３，Ｔ４，Ｔ６がカメラ特徴区間として決定され、区間Ｔ２，Ｔ７，Ｔ８が３Ｄ特徴区間として決定されている。
【００４５】
この場合において、ディスプレイが３Ｄ対応の大型のディスプレイであるとき、図４の下段に示すように、３Ｄ特徴区間が優先的に再生されるように、区間Ｔ２，Ｔ７，Ｔ８がキーフレーム区間として選択される。３Ｄ特徴区間を再生しただけではダイジェスト再生の時間に足りない場合、他の区間である区間Ｔ６もキーフレーム区間として適宜選択される。
【００４６】
ダイジェスト再生時、図５に示すように、区間Ｔ２，Ｔ６，Ｔ７，Ｔ８が連続して再生される。
【００４７】
このように、再生装置１においては、ディスプレイの属性と、再生対象のコンテンツの種類などに応じて、ディスプレイに適した区間が優先的に再生されるように、キーフレーム区間として選択される区間が切り替えられる。
【００４８】
これにより、例えば、３Ｄ対応の小型ディスプレイや３Ｄ非対応のディスプレイに３Ｄ特徴区間の画像が表示されるといったような、ダイジェスト再生が非効率に行われるのを防ぐことができる。
【００４９】
３Ｄ対応の小型ディスプレイに３Ｄ画像を表示したとしても奥行き感をユーザに与えることができず、ユーザが得る臨場感は小さい。従って、そのような再生は、３Ｄ対応の大型ディスプレイに３Ｄ画像を表示する場合に較べて非効率といえる。
【００５０】
３Ｄ対応の大型ディスプレイに３Ｄ特徴区間の画像を表示させることによって、ダイジェスト再生を効率的に行うことが可能になる。
【００５１】
［再生装置１の構成例］
図６は、再生装置１の構成例を示すブロック図である。
【００５２】
システムコントローラ３１は、ユーザI/F３２から供給されるユーザの操作の内容を表す信号に従って、再生装置１の全体の動作を制御する。
【００５３】
例えば、システムコントローラ３１は、特徴抽出部３６から供給されたデータにより表される各区間の特徴量に基づいて、カメラ特徴区間と３Ｄ特徴区間を決定する。また、システムコントローラ３１は、表示処理部３７から供給された属性データに基づいてディスプレイ２２の属性を検出し、上述したようにしてキーフレーム区間を選択する。
【００５４】
システムコントローラ３１は、画像データの解析時、再生対象のコンテンツの全区間の画像データの再生が行われるように再生制御部３３を制御し、ダイジェスト再生時、キーフレーム区間の再生が行われるように再生制御部３３を制御する。
【００５５】
ユーザI/F３２は、リモートコントローラ２１からの信号を受光する受光部などにより構成される。ユーザI/F３２は、リモートコントローラ２１に対するユーザの操作を検出し、その内容を表す信号をシステムコントローラ３１に出力する。
【００５６】
再生制御部３３は、システムコントローラ３１による制御に従って、記録媒体３４からのデータの読み出しを制御する。再生制御部３３は、画像データの解析時、再生対象のコンテンツの全区間の画像データを再生処理部３５に供給させ、ダイジェスト再生時、キーフレーム区間の画像データを再生処理部３５に供給させる。
【００５７】
記録媒体３４は例えばHDDであり、コンテンツを記録する。
【００５８】
再生処理部３５は、記録媒体３４から供給されたコンテンツのデータに対して、圧縮されているデータを伸張するデコード処理等の再生処理を施す。再生処理部３５は、画像データの解析時、再生処理によって得られた画像データを特徴抽出部３６に出力し、ダイジェスト再生時、再生処理によって得られた画像データを表示処理部３７に出力する。
【００５９】
特徴抽出部３６は、ダイジェスト再生の対象とするコンテンツ全体を所定の長さの区間毎に区切り、各区間の特徴を検出する。
【００６０】
図７は、特徴検出の対象となる区間の例を示す図である。
【００６１】
図７の例においては、コンテンツの画像データ全体が３秒間の区間毎に区切られている。このようにして区切られた各区間を特徴検出の対象となる特徴検出区間として、再生対象のコンテンツが３Ｄコンテンツである場合にはカメラ特徴と３Ｄ特徴が検出され、２Ｄコンテンツである場合にはカメラ特徴が検出される。
【００６２】
特徴抽出部３６は、このようにして検出したカメラ特徴の量を表すデータと、３Ｄ特徴の量を表すデータをシステムコントローラ３１に出力する。
【００６３】
表示処理部３７は、再生装置１に接続された外部のディスプレイであるディスプレイ２２と通信を行う。図１の例の場合、ディスプレイ２２は、携帯電話機１１、テレビジョン受像機１２、またはテレビジョン受像機１３のディスプレイとなる。
【００６４】
表示処理部３７は、ディスプレイ２２に要求することによって、ディスプレイ２２の属性を表すデータを受信し、受信したデータをシステムコントローラ３１に出力する。ディスプレイ２２は、再生装置１からの要求に応じて、ディスプレイ２２の属性を表すデータを再生装置１に送信する。
【００６５】
ディスプレイ２２の属性を表すデータは、例えばHDMI規格のversion1.4で規定されるHDMI Vender Specific InfoFrame Packetなどに格納してディスプレイ２２から再生装置１に送信される。HDMI Vender Specific InfoFrame Packetは、各ベンダーが規定した制御コマンドの送受信などに用いられるパケットである。HDMI Vender Specific InfoFrame Packetは、送信側の機器から受信側の機器に対して、HDMIのCEC(Consumer Electronics Control)線を介して送信される。
【００６６】
また、表示処理部３７は、再生処理部３５から供給された画像データをディスプレイ２２に出力し、画像を表示させる。
【００６７】
図８は、システムコントローラ３１の機能構成例を示すブロック図である。
【００６８】
図８に示すように、システムコントローラ３１においては、所定のプログラムが実行されることによって、属性検出部５１とキーフレーム区間選択部５２が実現される。
【００６９】
属性検出部５１は、表示処理部３７から供給されたデータに基づいてディスプレイ２２の属性を検出する。属性検出部５１は、ディスプレイ２２が３Ｄ対応のディスプレイであるか、３Ｄ非対応のディスプレイであるかを検出し、３Ｄ対応／非対応を表すデータをキーフレーム区間選択部５２に出力する。
【００７０】
また、属性検出部５１は、表示処理部３７から供給されたデータに基づいてディスプレイ２２のサイズを検出する。例えば、属性検出部５１は、ディスプレイ２２のインチ数が２０インチ以上である場合、または、ディスプレイ２２の画素数が1366×768以上である場合、サイズが大型であることを表すデータをキーフレーム区間選択部５２に出力する。
【００７１】
キーフレーム区間選択部５２は、特徴抽出部３６から供給されたカメラ特徴の量を表すデータに基づいて、特徴検出区間毎のカメラ特徴評価値を算出する。
【００７２】
ここで、カメラ特徴評価値の算出方法として、特許文献１（特開２００９−４２９１７号公報）に開示されている方法を用いることが可能である。特許文献１には、ブロックマッチングによりオブジェクトの動きベクトルを検出し、動きベクトルに基づいて、アフィン変換モデルを用いた重回帰分析により、ズーム、パン、チルトの各アフィン係数を求める技術が開示されている。アフィン変換モデルは、フレーム内のオブジェクトの平行移動、拡大／縮小、回転を、行列を用いた座標変換処理として記述したモデルである。
【００７３】
キーフレーム区間選択部５２は、算出したズームのアフィン係数であるズーム係数、パンのアフィン係数であるパン係数、チルトのアフィン係数であるチルト係数に基づいて、下式（１）によりカメラ特徴評価値を算出する。式（１）のkz，kp，ktは、それぞれ、ズーム係数、パン係数、チルト係数の重み係数である。
カメラ特徴評価値＝kz・（ズーム係数）＋kp・（パン係数）＋kt・（チルト係数）
・・・ （１）
【００７４】
キーフレーム区間選択部５２は、特徴検出区間内におけるカメラ特徴評価値の平均値を閾値と比較し、カメラ特徴評価値の平均値が閾値を超えている特徴検出区間をカメラ特徴区間として決定する。
【００７５】
また、キーフレーム区間選択部５２は、特徴抽出部３６から供給された３Ｄ特徴の量を表すデータに基づいて、特徴検出区間毎に、視差の量に応じた値である３Ｄ特徴評価値を算出する。
【００７６】
図９は、３Ｄ特徴評価値の例を示す図である。
【００７７】
特徴抽出部３６においては、あるタイミングで表示されるＬ画像（左目用の画像）と、そのＬ画像の次のタイミングで表示されるＲ画像（右目用の画像）中のオブジェクトの位置のずれ量が視差量として検出される。Ｌ画像とＲ画像中のオブジェクトの位置のずれ量はブロックマッチングにより検出される。視差量の検出については、例えば、特開平７−２８２２５９号公報、特開平４−３６０３９５号公報、特開平６−２１５１１１号公報に開示されている。
【００７８】
また、特徴抽出部３６においては、検出された視差量の特徴検出区間毎の積分結果が求められ、図９の中段に示すような視差量の積分結果を表す時系列データが出力される。特徴検出区間毎の積分値ではなく、視差量の平均値が特徴検出区間毎に求められ、３Ｄ特徴の検出結果のデータとして出力されるようにしてもよい。
【００７９】
キーフレーム区間選択部５２は、特徴抽出部３６から供給された時系列データに基づいて、視差量の積分結果が大きい、すなわちオブジェクトの飛び出し量が大きい特徴検出区間の３Ｄ特徴評価値として大きい値を設定する。図９の下段の例においては、時刻ｔ０からｔ１までの期間の３Ｄ特徴評価値として値Ｖ１が設定され、時刻ｔ２からｔ３までの期間の３Ｄ特徴評価値として、値Ｖ１より大きい値である値Ｖ２が設定されている。
【００８０】
キーフレーム区間選択部５２は、算出した３Ｄ特徴評価値を閾値と比較し、３Ｄ特徴評価値が閾値を超えている特徴検出区間を３Ｄ特徴区間として決定する。
【００８１】
なお、画像データの解析が行われたコンテンツが３Ｄコンテンツである場合、カメラ特徴評価値と３Ｄ特徴評価値がいずれも閾値を超えている特徴検出区間については３Ｄ特徴区間として決定される。
【００８２】
キーフレーム区間選択部５２は、ディスプレイ２２の属性、ダイジェスト再生の対象となるコンテンツの種類（３Ｄ／２Ｄ）、および、ダイジェスト再生を行う時間に基づいて、カメラ特徴区間と３Ｄ特徴区間の中からキーフレーム区間を選択する。
【００８３】
ダイジェスト再生のモードには、１０分などの所定の時間だけ再生を行う通常ダイジェスト再生モード（通常モード）と、通常モード時の再生時間より短い時間だけ再生を行う短時間ダイジェスト再生モード（要約モード）とがあり、ユーザがいずれかを選択することが可能とされている。要約モードが選択されている場合、キーフレーム区間として選択される特徴検出区間の数は、通常モードが選択されているときに選択される特徴検出区間の数より少なくなる。
【００８４】
図１０は、キーフレーム区間として優先的に選択される特徴検出区間の例を示す図である。
【００８５】
ユーザにより選択されたダイジェスト再生のモードが通常モードである場合について説明する。
【００８６】
この場合において、ディスプレイ２２が３Ｄ非対応または小型のディスプレイであり、再生対象のコンテンツが２Ｄコンテンツであるとき、カメラ特徴区間が、キーフレーム区間として優先的に選択される。
【００８７】
例えば、カメラ特徴区間の数が、キーフレーム区間として選択する特徴検出区間の数ｍより多い場合、キーフレーム評価値の高い順にｍ区間だけ選択される。キーフレーム区間として選択する特徴検出区間の数ｍは、ダイジェスト再生モードによってコンテンツを再生する時間によって定まる。
【００８８】
ここで、キーフレーム評価値は、キーフレーム区間として選択するか否かの判定の基準となる評価値であり、特徴検出区間毎に、例えば下式（２）により算出される。
キーフレーム評価値＝k1・(カメラ特徴評価値）＋k2・(３Ｄ特徴評価値)
・・・ （２）
【００８９】
式（２）のk1，k2は、それぞれ、カメラ特徴評価値、３Ｄ特徴評価値の重み係数である。再生対象のコンテンツが２Ｄコンテンツである場合、重み係数k2として０が設定される。なお、キーフレーム評価値の算出においては、カメラ特徴評価値と３Ｄ特徴評価値は同じ単位の値に置き換えられ、正規化される。
【００９０】
また、ディスプレイ２２が３Ｄ非対応または小型のディスプレイであり、再生対象のコンテンツが３Ｄコンテンツであるとき、カメラ特徴区間と３Ｄ特徴検出区間が、キーフレーム区間として優先的に選択される。
【００９１】
なお、ディスプレイ２２が３Ｄ非対応のディスプレイであるとき、３Ｄコンテンツの再生は、３Ｄ画像を構成するＬ画像とＲ画像のうちの一方を表示するなどして、２Ｄ画像を表示するようにして行われる。ディスプレイ２２が３Ｄ対応の小型のディスプレイである場合、そのまま３Ｄ画像を表示するようにして、３Ｄコンテンツの再生が行われるようにしてもよい。
【００９２】
ディスプレイ２２が３Ｄ対応の大型のディスプレイであり、再生対象のコンテンツが２Ｄコンテンツであるとき、カメラ特徴区間が、キーフレーム区間として優先的に選択される。上述したように、３Ｄ対応のディスプレイは２Ｄ画像の表示にも対応している。
【００９３】
ディスプレイ２２が３Ｄ対応の大型のディスプレイであり、再生対象のコンテンツが３Ｄコンテンツであるとき、カメラ特徴区間と３Ｄ特徴区間が、キーフレーム区間として優先的に選択される。
【００９４】
ユーザにより選択されたダイジェスト再生のモードが要約モードである場合について説明する。
【００９５】
この場合において、ディスプレイ２２が３Ｄ非対応または小型のディスプレイであり、再生対象のコンテンツが２Ｄコンテンツであるとき、キーフレーム評価値の高いカメラ特徴区間が、キーフレーム区間として優先的に選択される。
【００９６】
ダイジェスト再生のモードが要約モードである場合、再生時間が短いから、キーフレーム区間として選択される特徴検出区間の数は、通常モード時に選択される数より少ない。従って、上述したようにしてキーフレーム評価値の高い順に選択するとした場合、要約モード時にキーフレーム区間として選択される特徴検出区間のキーフレーム評価値は、通常モード時に選択される特徴検出区間のキーフレーム評価値より高くなる。
【００９７】
また、ディスプレイ２２が３Ｄ非対応または小型のディスプレイであり、再生対象のコンテンツが３Ｄコンテンツであるとき、キーフレーム評価値の高いカメラ特徴区間が、キーフレーム区間として優先的に選択される。
【００９８】
ディスプレイ２２が３Ｄ対応の大型のディスプレイであり、再生対象のコンテンツが２Ｄコンテンツであるとき、キーフレーム評価値の高いカメラ特徴区間が、キーフレーム区間として優先的に選択される。
【００９９】
ディスプレイ２２が３Ｄ対応の大型のディスプレイであり、再生対象のコンテンツが３Ｄコンテンツであるとき、キーフレーム評価値の高い３Ｄ特徴区間が、キーフレーム区間として優先的に選択される。
【０１００】
なお、図１０に示すようにしてキーフレーム区間を選択した場合において、キーフレーム区間の数が、ダイジェスト再生の時間を満たす数に足りないとき、キーフレーム評価値に基づいて他の特徴検出区間がキーフレーム区間として選択される。
【０１０１】
また、図１０に示すようにしてキーフレーム区間を選択した場合において、キーフレーム区間の数が、ダイジェスト再生の時間を満たす数より多いとき、キーフレーム評価値に基づいて特徴検出区間の絞り込みが行われる。
【０１０２】
［再生装置１の動作］
図１１のフローチャートを参照して、図１０に示すようにしてキーフレーム区間を選択し、ダイジェスト再生を行う再生装置１の処理について説明する。
【０１０３】
図１１の処理は、例えば、ユーザにより、再生対象のコンテンツが選択され、ダイジェスト再生のモードとして、通常モードと要約モードのうちのいずれかが選択されたときに開始される。ダイジェスト再生を行うことが指示されたとき、表示処理部３７とディスプレイ２２の間では通信が行われ、ディスプレイ２２の属性を表すデータが表示処理部３７からシステムコントローラ３１に出力される。
【０１０４】
ステップＳ１において、システムコントローラ３１の属性検出部５１は、表示処理部３７から供給されたデータに基づいてディスプレイ２２の属性を検出する。属性検出部５１は、ディスプレイ２２の属性を表すデータをキーフレーム区間選択部５２に出力する。
【０１０５】
ステップＳ２において、キーフレーム区間選択部５２は、ディスプレイ２２が３Ｄ対応の大型ディスプレイであるか否かを判定する。
【０１０６】
ディスプレイ２２が３Ｄ対応の大型ディスプレイであるとステップＳ２において判定した場合、ステップＳ３において、キーフレーム区間選択部５２は、ディスプレイ２２の属性を表すDisplay typeの値として３を設定する。
【０１０７】
一方、ディスプレイ２２が３Ｄ対応の大型ではない、すなわち３Ｄ非対応または小型のディスプレイであるとステップＳ２において判定した場合、ステップＳ４において、キーフレーム区間選択部５２はDisplay typeの値として２を設定する。
【０１０８】
ステップＳ５において、キーフレーム区間選択部５２は、ユーザにより選択されたダイジェスト再生のモードに応じて、ダイジェスト再生によって再生する特徴検出区間の数である再生区間数ｍを設定する。再生区間数ｍは、ユーザにより選択されたダイジェスト再生のモードが通常モードである場合の方が、要約モードである場合より大きくなる。
【０１０９】
ステップＳ６において、特徴抽出部３６は、再生対象のコンテンツの全特徴検出区間のカメラ特徴を検出する。再生対象のコンテンツ全体のデータは、再生制御部３３により記録媒体３４から再生処理部３５に供給され、再生処理が施された後、特徴抽出部３６に供給されてカメラ特徴の検出に用いられる。
【０１１０】
ステップＳ７において、キーフレーム区間選択部５２は、特徴抽出部３６による検出結果に基づいて、カメラ特徴評価値が閾値を超える特徴検出区間をカメラ特徴区間として決定し、カメラ特徴区間数ａを求める。
【０１１１】
ステップＳ８において、キーフレーム区間選択部５２は、再生対象のコンテンツが３Ｄコンテンツであるか否かを判定する。
【０１１２】
再生対象のコンテンツが３ＤコンテンツであるとステップＳ８において判定された場合、ステップＳ９において、特徴抽出部３６は、再生対象のコンテンツの全特徴検出区間の３Ｄ特徴を検出する。
【０１１３】
ステップＳ１０において、キーフレーム区間選択部５２は、特徴抽出部３６による検出結果に基づいて、３Ｄ特徴評価値が閾値を超える特徴検出区間を３Ｄ特徴区間として決定し、３Ｄ特徴区間数ｂを求める。
【０１１４】
ステップＳ１１において、キーフレーム区間選択部５２はキーフレーム区間選択処理１を行う。
【０１１５】
一方、再生対象のコンテンツが３ＤコンテンツではないとステップＳ８において判定された場合、ステップＳ１２において、キーフレーム区間選択部５２はキーフレーム区間選択処理２を行う。
【０１１６】
キーフレーム区間選択処理１または２により選択されたキーフレーム区間を表す情報は、キーフレーム区間選択部５２から再生制御部３３に供給され、キーフレーム区間のデータが記録媒体３４から再生処理部３５に供給される。
【０１１７】
ステップＳ１３において、再生処理部３５は、キーフレーム区間のデータに対して再生処理を施し、再生処理を施すことによって得られた画像データを表示処理部３７に出力する。表示処理部３７は、キーフレーム区間の画像データをディスプレイ２２に出力し、画像を表示させる。なお、キーフレーム区間の音声データも、所定の経路を介してディスプレイ２２に供給され、画像の表示にあわせて音声が出力される。
【０１１８】
全てのキーフレーム区間の再生が終了した後、処理は終了される。
【０１１９】
次に、図１２のフローチャートを参照して、図１１のステップＳ１１において行われるキーフレーム区間選択処理１について説明する。
【０１２０】
キーフレーム区間選択処理１は、図１０を参照して説明した、再生対象のコンテンツが３Ｄコンテンツである場合の処理である。
【０１２１】
ステップＳ２１において、キーフレーム区間選択部５２は、ユーザにより選択されたダイジェスト再生のモードが通常モードであるか否かを判定する。
【０１２２】
ダイジェスト再生のモードが通常モードであるとステップＳ２１において判定した場合、ステップＳ２２において、キーフレーム区間選択部５２は、カメラ特徴区間数ａと３Ｄ特徴区間数ｂを足した数が再生区間数ｍ以下であるか否かを判定する。
【０１２３】
カメラ特徴区間数ａと３Ｄ特徴区間数ｂを足した数が再生区間数ｍ以下であるとステップＳ２２において判定した場合、ステップＳ２３において、キーフレーム区間選択部５２は、カメラ特徴区間と３Ｄ特徴区間を全てキーフレーム区間として選択する。
【０１２４】
ステップＳ２４において、キーフレーム区間選択部５２は、カメラ特徴区間数ａと３Ｄ特徴区間数ｂを足した数が再生区間数ｍと等しいか否かを判定する。
【０１２５】
カメラ特徴区間数ａと３Ｄ特徴区間数ｂを足した数が再生区間数ｍと等しくないとステップＳ２４において判定した場合、ステップＳ２５において、キーフレーム区間選択部５２は各特徴検出区間のキーフレーム評価値を算出する。
【０１２６】
カメラ特徴区間数ａと３Ｄ特徴区間数ｂを足した数が再生区間数ｍ以下であり、かつ等しくない、すなわち再生区間数ｍ未満である場合、キーフレーム区間の数がダイジェスト再生の再生時間の分に足りないことになる。従って、足りない分を他の特徴検出区間でいわば埋める必要がある。ステップＳ２５においてキーフレーム評価値を算出する対象となる特徴検出区間は、カメラ特徴区間と３Ｄ特徴区間以外の区間である。
【０１２７】
ステップＳ２６において、キーフレーム区間選択部５２は、カメラ特徴区間と３Ｄ特徴区間以外の特徴検出区間の中から、キーフレーム区間の数がｍになるように、キーフレーム評価値の高い順に所定の数の特徴検出区間をキーフレーム区間として選択する。キーフレーム区間の数がｍになるように選択された後、図１１のステップＳ１１に戻り、それ以降の処理が行われる。
【０１２８】
カメラ特徴区間数ａと３Ｄ特徴区間数ｂを足した数が再生区間数ｍと等しいとステップＳ２４において判定された場合、ステップＳ２５およびＳ２６の処理はスキップされる。
【０１２９】
一方、カメラ特徴区間数ａと３Ｄ特徴区間数ｂを足した数が再生区間数ｍを超えているとステップＳ２２において判定した場合、ステップＳ２７において、キーフレーム区間選択部５２は、カメラ特徴区間と３Ｄ特徴区間のキーフレーム評価値を算出する。
【０１３０】
カメラ特徴区間数ａと３Ｄ特徴区間数ｂを足した数が再生区間数ｍを超えている場合、キーフレーム区間の数がダイジェスト再生の再生時間の分を超えていることになる。従って、超えている分だけいわば絞り込みを行う必要がある。
【０１３１】
ステップＳ２８において、キーフレーム区間選択部５２は、カメラ特徴区間と３Ｄ特徴区間の中から、キーフレーム評価値の高い順にｍ区間をキーフレーム区間として選択する。キーフレーム区間がｍ区間だけ選択された後、図１１のステップＳ１１に戻り、それ以降の処理が行われる。
【０１３２】
一方、ステップＳ２１において、ユーザにより選択されたダイジェスト再生のモードが通常モードではない、すなわち要約モードであると判定した場合、ステップＳ２９において、キーフレーム区間選択部５２はDisplay typeの値が３であるか否かを判定する。
【０１３３】
ディスプレイ２２が３Ｄ対応の大型ディスプレイであり、Display typeの値が３であるとステップＳ２９において判定した場合、ステップＳ３０において、キーフレーム区間選択部５２は要約モード時の選択処理１を行う。
【０１３４】
一方、ディスプレイ２２が３Ｄ非対応または小型のディスプレイであり、Display typeの値が２であるとステップＳ２９において判定した場合、ステップＳ３１において、キーフレーム区間選択部５２は要約モード時の選択処理２を行う。
【０１３５】
要約モード時の選択処理１または２においてキーフレーム区間が選択された後、図１１のステップＳ１１に戻り、それ以降の処理が行われる。
【０１３６】
次に、図１３のフローチャートを参照して、図１２のステップＳ３０において行われる要約モード時の選択処理１について説明する。
【０１３７】
要約モード時の選択処理１は、図１０を参照して説明した、ダイジェスト再生のモードが要約モードであり、再生対象のコンテンツが３Ｄコンテンツであり、ディスプレイ２２が３Ｄ対応の大型ディスプレイである場合の処理である。
【０１３８】
ステップＳ４１において、キーフレーム区間選択部５２は、３Ｄ特徴区間数ｂが再生区間数ｍ以下であるか否かを判定する。
【０１３９】
３Ｄ特徴区間数ｂが再生区間数ｍ以下であるとステップＳ４１において判定した場合、ステップＳ４２において、キーフレーム区間選択部５２は、３Ｄ特徴区間を全てキーフレーム区間として選択する。
【０１４０】
ステップＳ４３において、キーフレーム区間選択部５２は、３Ｄ特徴区間数ｂが再生区間数ｍと等しいか否かを判定する。
【０１４１】
３Ｄ特徴区間数ｂが再生区間数ｍと等しくないとステップＳ４３において判定した場合、ステップＳ４４において、キーフレーム区間選択部５２は、３Ｄ特徴区間以外の特徴検出区間のキーフレーム評価値を算出する。
【０１４２】
３Ｄ特徴区間数ｂが再生区間数ｍ以下であり、かつ等しくない、すなわち再生区間数ｍ未満である場合、キーフレーム区間の数がダイジェスト再生の再生時間の分に足りないから、足りない分を他の特徴検出区間で埋める必要がある。
【０１４３】
ステップＳ４５において、キーフレーム区間選択部５２は、３Ｄ特徴区間以外の特徴検出区間の中から、キーフレーム区間の数がｍになるように、キーフレーム評価値の高い順に所定の数の特徴検出区間をキーフレーム区間として選択する。キーフレーム区間の数がｍになるように選択された後、図１２のステップＳ３０に戻り、それ以降の処理が行われる。
【０１４４】
３Ｄ特徴区間数ｂが再生区間数ｍと等しいとステップＳ４３において判定された場合、ステップＳ４４およびＳ４５の処理はスキップされる。
【０１４５】
一方、３Ｄ特徴区間数ｂが再生区間数ｍを超えているとステップＳ４１において判定した場合、ステップＳ４６において、キーフレーム区間選択部５２は、３Ｄ特徴区間のキーフレーム評価値を算出する。
【０１４６】
３Ｄ特徴区間数ｂが再生区間数ｍを超えている場合、キーフレーム区間の数がダイジェスト再生の再生時間の分を超えているから、超えている分だけ絞り込みを行う必要がある。
【０１４７】
ステップＳ４７において、キーフレーム区間選択部５２は、３Ｄ特徴区間の中から、キーフレーム評価値の高い順に、ｍ区間をキーフレーム区間として選択する。キーフレーム区間がｍ区間だけ選択された後、図１２のステップＳ３０に戻り、それ以降の処理が行われる。
【０１４８】
次に、図１４のフローチャートを参照して、図１２のステップＳ３１において行われる要約モード時の選択処理２について説明する。
【０１４９】
要約モード時の選択処理２は、図１０を参照して説明した、ダイジェスト再生のモードが要約モードであり、再生対象のコンテンツが３Ｄコンテンツであり、ディスプレイ２２が３Ｄ非対応または小型のディスプレイである場合の処理である。
【０１５０】
ステップＳ６１において、キーフレーム区間選択部５２は、カメラ特徴区間数ａが再生区間数ｍ以下であるか否かを判定する。
【０１５１】
カメラ特徴区間数ａが再生区間数ｍ以下であるとステップＳ６１において判定した場合、ステップＳ６２において、キーフレーム区間選択部５２は、カメラ特徴区間を全てキーフレーム区間として選択する。
【０１５２】
ステップＳ６３において、キーフレーム区間選択部５２は、カメラ特徴区間数ａが再生区間数ｍと等しいか否かを判定する。
【０１５３】
カメラ特徴区間数ａが再生区間数ｍと等しくないとステップＳ６３において判定した場合、ステップＳ６４において、キーフレーム区間選択部５２は、カメラ特徴区間以外の特徴検出区間のキーフレーム評価値を算出する。
【０１５４】
カメラ特徴区間数ａが再生区間数ｍ以下であり、かつ等しくない、すなわち再生区間数ｍ未満である場合、キーフレーム区間の数がダイジェスト再生の再生時間の分に足りないから、足りない分を他の特徴検出区間で埋める必要がある。
【０１５５】
ステップＳ６５において、キーフレーム区間選択部５２は、カメラ特徴区間以外の特徴検出区間の中から、キーフレーム区間の数がｍになるように、キーフレーム評価値の高い順に所定の数の特徴検出区間をキーフレーム区間として選択する。キーフレーム区間の数がｍになるように選択された後、図１２のステップＳ３１に戻り、それ以降の処理が行われる。
【０１５６】
カメラ特徴区間数ａが再生区間数ｍと等しいとステップＳ６３において判定された場合、ステップＳ６４およびＳ６５の処理はスキップされる。
【０１５７】
一方、カメラ特徴区間数ａが再生区間数ｍを超えているとステップＳ６１において判定した場合、ステップＳ６６において、キーフレーム区間選択部５２は、カメラ特徴区間のキーフレーム評価値を算出する。
【０１５８】
カメラ特徴区間数ａが再生区間数ｍを超えている場合、キーフレーム区間の数がダイジェスト再生の再生時間の分を超えているから、超えている分だけ絞り込みを行う必要がある。
【０１５９】
ステップＳ６７において、キーフレーム区間選択部５２は、カメラ特徴区間の中から、キーフレーム評価値の高い順に、ｍ区間をキーフレーム区間として選択する。キーフレーム区間がｍ区間だけ選択された後、図１２のステップＳ３１に戻り、それ以降の処理が行われる。
【０１６０】
次に、図１５のフローチャートを参照して、図１１のステップＳ１２において行われるキーフレーム区間選択処理２について説明する。
【０１６１】
キーフレーム区間選択処理２は、図１０を参照して説明した、再生対象のコンテンツが２Ｄコンテンツである場合の処理である。再生対象のコンテンツが２Ｄコンテンツである場合、ダイジェスト再生のモードが通常モードであっても要約モードであっても、カメラ特徴区間が優先的にキーフレーム区間として選択される。
【０１６２】
ステップＳ８１において、キーフレーム区間選択部５２は、カメラ特徴区間数ａが再生区間数ｍ以下であるか否かを判定する。
【０１６３】
カメラ特徴区間数ａが再生区間数ｍ以下であるとステップＳ８１において判定した場合、ステップＳ８２において、キーフレーム区間選択部５２は、カメラ特徴区間を全てキーフレーム区間として選択する。
【０１６４】
ステップＳ８３において、キーフレーム区間選択部５２は、カメラ特徴区間数ａが再生区間数ｍと等しいか否かを判定する。
【０１６５】
カメラ特徴区間数ａが再生区間数ｍと等しくないとステップＳ８３において判定した場合、ステップＳ８４において、キーフレーム区間選択部５２は、カメラ特徴区間以外の特徴検出区間のキーフレーム評価値を算出する。
【０１６６】
ステップＳ８５において、キーフレーム区間選択部５２は、カメラ特徴区間以外の特徴検出区間の中から、キーフレーム区間の数がｍになるように、キーフレーム評価値の高い順に所定の数の特徴検出区間をキーフレーム区間として選択する。図１５の処理が開始される前に３Ｄ特徴の検出は行われていないから、重み係数k1が１以上の値であるとすると、キーフレーム評価値はカメラ特徴評価値に比例し、カメラ特徴評価値の高い順にキーフレーム区間として選択されることになる。
【０１６７】
キーフレーム区間の数がｍになるように選択された後、図１１のステップＳ１２に戻り、それ以降の処理が行われる。
【０１６８】
カメラ特徴区間数ａが再生区間数ｍと等しいとステップＳ８３において判定された場合、ステップＳ８４およびＳ８５の処理はスキップされる。
【０１６９】
一方、カメラ特徴区間数ａが再生区間数ｍを超えているとステップＳ８１において判定した場合、ステップＳ８６において、キーフレーム区間選択部５２は、カメラ特徴区間のキーフレーム評価値を算出する。
【０１７０】
ステップＳ８７において、キーフレーム区間選択部５２は、カメラ特徴区間の中から、キーフレーム評価値の高い順に、ｍ区間をキーフレーム区間として選択する。
【０１７１】
ダイジェスト再生のモードが要約モードである場合の再生区間数ｍは、通常モード時の再生区間数ｍより少ない。従って、要約モード時のステップＳ８７の処理においてキーフレーム区間として選択される特徴検出区間のキーフレーム評価値は、通常モード時のステップＳ８７の処理において選択される特徴検出区間のキーフレーム評価値より高くなる。
【０１７２】
キーフレーム区間がｍ区間だけ選択された後、図１１のステップＳ１２に戻り、それ以降の処理が行われる。
【０１７３】
図１６は、以上の一連の処理によって実現される、再生対象のコンテンツが３Ｄコンテンツである場合のキーフレーム区間の選択の例を示す図である。
【０１７４】
図１６において、「ズーム」、「パン」、「チルト」の文字を付して示す区間はカメラ特徴区間であり、「飛び出し」の文字を付して示す区間は３Ｄ特徴区間である。
【０１７５】
図１６の（１）の例においては、再生対象の３Ｄコンテンツの区間Ｔ０乃至Ｔ１７のうち、区間Ｔ１，Ｔ４，Ｔ６，Ｔ１１，Ｔ１２，Ｔ１５がカメラ特徴区間として決定されている。カメラ特徴区間数ａは６である。また、区間Ｔ２，Ｔ３，Ｔ７，Ｔ８，Ｔ１６が３Ｄ特徴区間として決定されている。３Ｄ特徴区間数ｂは５である。区間Ｔ０，Ｔ５，Ｔ９，Ｔ１０，Ｔ１３，Ｔ１４，Ｔ１７は、カメラ特徴区間でも３Ｄ特徴区間でもない区間である。
【０１７６】
カメラ特徴区間と３Ｄ特徴区間がこのようにして決定され、カメラ特徴区間数ａが３Ｄ特徴区間数ｂより多い場合を考える。また、ダイジェスト再生のモードが通常モードである場合の再生区間数ｍは１１、要約モードである場合の再生区間数ｍは６であるものとする。
【０１７７】
ダイジェスト再生のモードが通常モードであり、ディスプレイ２２が３Ｄ対応のディスプレイである場合、図１６の（２）に示すように、区間Ｔ１，Ｔ２，Ｔ３，Ｔ４，Ｔ６，Ｔ７，Ｔ８，Ｔ１１，Ｔ１２，Ｔ１５，Ｔ１６がキーフレーム区間として選択される。すなわち、図１２のステップＳ２３の処理によって、カメラ特徴区間と３Ｄ特徴区間が全てキーフレーム区間として選択される。
【０１７８】
ダイジェスト再生のモードが通常モードであり、ディスプレイ２２が３Ｄ非対応のディスプレイである場合、図１６の（３）に示すように、区間Ｔ１，Ｔ２，Ｔ３，Ｔ４，Ｔ６，Ｔ７，Ｔ８，Ｔ１１，Ｔ１２，Ｔ１５，Ｔ１６がキーフレーム区間として選択される。これらの区間も、図１２のステップＳ２３の処理によってキーフレーム区間として選択されたものである。
【０１７９】
ダイジェスト再生のモードが要約モードであり、ディスプレイ２２が３Ｄ対応のディスプレイである場合、図１６の（４）に示すように、区間Ｔ１，Ｔ２，Ｔ３，Ｔ７，Ｔ８，Ｔ１６がキーフレーム区間として選択される。すなわち、図１３のステップＳ４２の処理によって、３Ｄ特徴区間である区間Ｔ２，Ｔ３，Ｔ７，Ｔ８，Ｔ１６がキーフレーム区間として選択され、図１３のステップＳ４５の処理によって、カメラ特徴区間である区間Ｔ１が選択される。この例によっては、カメラ特徴区間である区間Ｔ１によって、再生区間数ｍの埋め合わせが行われている。
【０１８０】
ダイジェスト再生のモードが要約モードであり、ディスプレイ２２が３Ｄ非対応のディスプレイである場合、図１６の（５）に示すように、区間Ｔ１，Ｔ４，Ｔ６，Ｔ１１，Ｔ１２，Ｔ１５がキーフレーム区間として選択される。すなわち、図１４のステップＳ６２の処理によって、カメラ特徴区間が全てキーフレーム区間として選択される。
【０１８１】
図１７は、以上の一連の処理によって実現される、再生対象のコンテンツが３Ｄコンテンツである場合のキーフレーム区間の選択の他の例を示す図である。
【０１８２】
図１７の（１）の例においては、再生対象の３Ｄコンテンツの区間Ｔ３０乃至Ｔ４７のうち、区間Ｔ３６，Ｔ４１，Ｔ４２，Ｔ４５がカメラ特徴区間として決定されている。カメラ特徴区間数ａは４である。また、区間Ｔ３２，Ｔ３３，Ｔ３４，Ｔ３７，Ｔ３８，Ｔ４６が３Ｄ特徴区間として決定されている。３Ｄ特徴区間数ｂは６である。区間Ｔ３０，Ｔ３１，Ｔ３５，Ｔ３９，Ｔ４０，Ｔ４３，Ｔ４４，Ｔ４７は、カメラ特徴区間でも３Ｄ特徴区間でもない区間である。
【０１８３】
カメラ特徴区間と３Ｄ特徴区間がこのようにして決定され、３Ｄ特徴区間数ｂがカメラ特徴区間数ａより多い場合を考える。また、ダイジェスト再生のモードが通常モードである場合の再生区間数ｍは１０、要約モードである場合の再生区間数ｍは５であるものとする。
【０１８４】
ダイジェスト再生のモードが通常モードであり、ディスプレイ２２が３Ｄ対応のディスプレイである場合、図１７の（２）に示すように、区間Ｔ３２，Ｔ３３，Ｔ３４，Ｔ３６，Ｔ３７，Ｔ３８，Ｔ４１，Ｔ４２，Ｔ４５，Ｔ４６がキーフレーム区間として選択される。すなわち、図１２のステップＳ２３の処理によって、カメラ特徴区間と３Ｄ特徴区間が全てキーフレーム区間として選択される。
【０１８５】
ダイジェスト再生のモードが通常モードであり、ディスプレイ２２が３Ｄ非対応のディスプレイである場合、図１７の（３）に示すように、区間Ｔ３２，Ｔ３３，Ｔ３４，Ｔ３６，Ｔ３７，Ｔ３８，Ｔ４１，Ｔ４２，Ｔ４５，Ｔ４６がキーフレーム区間として選択される。これらの区間も、図１２のステップＳ２３の処理によってキーフレーム区間として選択されたものである。
【０１８６】
ダイジェスト再生のモードが要約モードであり、ディスプレイ２２が３Ｄ対応のディスプレイである場合、図１７の（４）に示すように、区間Ｔ３２，Ｔ３３，Ｔ３７，Ｔ３８，Ｔ４６がキーフレーム区間として選択される。すなわち、図１３のステップＳ４７の処理によって、３Ｄ特徴区間の中から、キーフレーム評価値の高い順に区間Ｔ３２，Ｔ３３，Ｔ３７，Ｔ３８，Ｔ４６がキーフレーム区間として選択される。この例においては、キーフレーム評価値に基づく絞り込みによって、３Ｄ特徴区間である区間Ｔ３４がキーフレーム区間として選択されていない。
【０１８７】
ダイジェスト再生のモードが要約モードであり、ディスプレイ２２が３Ｄ非対応のディスプレイである場合、図１７の（５）に示すように、区間Ｔ３２，Ｔ３６，Ｔ４１，Ｔ４２，Ｔ４５がキーフレーム区間として選択される。すなわち、図１４のステップＳ６２の処理によって、カメラ特徴区間である区間Ｔ３６，Ｔ４１，Ｔ４２，Ｔ４５がキーフレーム区間として選択され、図１４のステップＳ６５の処理によって、３Ｄ特徴区間である区間Ｔ３２が選択される。この例によっては、３Ｄ特徴区間である区間Ｔ３２によって、再生区間数ｍの埋め合わせが行われている。
【０１８８】
以上の処理により、コンテンツのダイジェスト再生を行う場合に、コンテンツの再生区間をディスプレイの属性に応じて切り替えることが可能になる。
【０１８９】
また、ユーザは、ディスプレイに適した画像を視聴することによって、コンテンツの内容を効率的に確認することができる。
【０１９０】
［変形例］
以上においては、カメラ特徴区間と３Ｄ特徴区間を決定し、その中からキーフレーム区間を優先的に選択するものとしたが、カメラ特徴区間と３Ｄ特徴区間を決定することなく、キーフレーム評価値に基づいて選択するようにしてもよい。
【０１９１】
図１８は、キーフレーム評価値を算出するときに用いる重み係数k1，k2の関係の例を示す図である。
【０１９２】
式（２）を参照して説明したように、k1はカメラ特徴評価値の重み係数であり、k2は３Ｄ特徴評価値の重み係数である。
【０１９３】
ユーザにより選択されたダイジェスト再生のモードが通常モードである場合について説明する。
【０１９４】
この場合において、ディスプレイ２２が３Ｄ非対応または小型のディスプレイであり、再生対象のコンテンツが２Ｄコンテンツであるとき、重み係数k1として所定の値が設定され、重み係数k2として０が設定される。２Ｄコンテンツを対象としては３Ｄ特徴の検出は行われないから、キーフレーム評価値の算出に際して３Ｄ特徴評価値は考慮されない。
【０１９５】
ディスプレイ２２が３Ｄ非対応または小型のディスプレイであり、再生対象のコンテンツが３Ｄコンテンツであるとき、重み係数k1と重み係数k2として所定の同じ値が設定される。
【０１９６】
ディスプレイ２２が３Ｄ対応の大型のディスプレイであり、再生対象のコンテンツが２Ｄコンテンツであるとき、重み係数k1として所定の値が設定され、重み係数k2として０が設定される。
【０１９７】
ディスプレイ２２が３Ｄ対応の大型のディスプレイであり、再生対象のコンテンツが３Ｄコンテンツであるとき、重み係数k1と重み係数k2として所定の同じ値が設定される。
【０１９８】
ユーザにより選択されたダイジェスト再生のモードが要約モードである場合について説明する。
【０１９９】
ダイジェスト再生のモードが要約モードである場合、キーフレーム区間として選択するか否かの判定においてキーフレーム評価値との比較に用いられる閾値として、通常モード時の閾値より大きい値が設定される。これにより、通常、キーフレーム区間として選択される特徴検出区間の数が通常モード時より少なくなる。
【０２００】
この場合において、ディスプレイ２２が３Ｄ非対応または小型のディスプレイであり、再生対象のコンテンツが２Ｄコンテンツであるとき、重み係数k1として所定の値が設定され、重み係数k2として０が設定される。
【０２０１】
ディスプレイ２２が３Ｄ非対応または小型のディスプレイであり、再生対象のコンテンツが３Ｄコンテンツであるとき、重み係数k1として、重み係数k2より大きい値が設定される。これにより、カメラ特徴評価値がキーフレーム評価値に与える影響の方が、３Ｄ特徴評価値がキーフレーム評価値に与える影響より大きくなるから、カメラ特徴評価値の大きい特徴検出区間がキーフレーム区間として選択されやすくなる。
【０２０２】
ディスプレイ２２が３Ｄ対応の大型のディスプレイであり、再生対象のコンテンツが２Ｄコンテンツであるとき、重み係数k1として所定の値が設定され、重み係数k2として０が設定される。
【０２０３】
ディスプレイ２２が３Ｄ対応の大型のディスプレイであり、再生対象のコンテンツが３Ｄコンテンツであるとき、重み係数k2として、重み係数k1より大きい値が設定される。これにより、３Ｄ特徴評価値がキーフレーム評価値に与える影響の方が、カメラ特徴評価値がキーフレーム評価値に与える影響より大きくなるから、３Ｄ特徴評価値の大きい特徴検出区間がキーフレーム区間として選択されやすくなる。
【０２０４】
図１８に示すようにして重み係数を設定し、キーフレーム区間を選択する再生装置１の処理について説明する。
【０２０５】
この処理は、キーフレーム区間選択処理１および２（ステップＳＳ１１，Ｓ１２）の内容が異なる点を除いて、図１１を参照して説明した処理と同じ処理である。重複する説明については省略する。
【０２０６】
図１９のフローチャートを参照して、図１８に示すようにして重み係数を設定し、キーフレーム区間を選択する場合に図１１のステップＳ１１において行われるキーフレーム区間選択処理１について説明する。
【０２０７】
キーフレーム区間選択処理１は、図１８を参照して説明した、再生対象のコンテンツが３Ｄコンテンツである場合の処理である。
【０２０８】
ステップＳ１０１において、キーフレーム区間選択部５２は、ユーザにより選択されたダイジェスト再生のモードが通常モードであるか否かを判定する。
【０２０９】
ダイジェスト再生のモードが通常モードであるとステップＳ１０１において判定した場合、ステップＳ１０２において、キーフレーム区間選択部５２は、重み係数k1と重み係数k2として所定の同じ値を設定する。また、キーフレーム区間選択部５２は、閾値Th1を設定する。
【０２１０】
一方、ステップＳ１０１において、ダイジェスト再生のモードが通常モードではない、すなわち要約モードであると判定した場合、ステップＳ１０３において、キーフレーム区間選択部５２は、Display typeの値が３であるか否かを判定する。
【０２１１】
Display typeの値が３であるとステップＳ１０３において判定した場合、ステップＳ１０４において、キーフレーム区間選択部５２は、重み係数k2として、重み係数k1より大きい値を設定する。また、キーフレーム区間選択部５２は、閾値Th2として閾値Th1より大きい値を設定する。
【０２１２】
Display typeの値が２であるとステップＳ１０３において判定した場合、ステップＳ１０５において、キーフレーム区間選択部５２は、重み係数k1として、重み係数k2より大きい値を設定する。また、キーフレーム区間選択部５２は、閾値Th2として閾値Th1より大きい値を設定する。
【０２１３】
重み係数と閾値を設定した後、ステップＳ１０６において、キーフレーム区間選択部５２は、選択済みのキーフレーム区間の数を表すｎの値として０を設定し、初期化する。
【０２１４】
ステップＳ１０７において、キーフレーム区間選択部５２は、一つの特徴検出区間に注目する。例えば、先頭の特徴検出区間から順に一区間ずつ注目される。
【０２１５】
ステップＳ１０８において、キーフレーム区間選択部５２は、注目している特徴検出区間のキーフレーム評価値を算出する。
【０２１６】
図１９の処理が開始される前、カメラ特徴評価値は図１１のステップＳ７において算出され、３Ｄ特徴評価値は図１１のステップＳ１０において算出されている。キーフレーム区間選択部５２は、式（２）に従って、カメラ特徴評価値と、設定した重み係数k1を乗算するとともに、３Ｄ特徴評価値と、設定した重み係数k2を乗算し、それらの乗算結果を加算することによってキーフレーム評価値を算出する。
【０２１７】
ステップＳ１０９において、キーフレーム区間選択部５２は、注目している特徴検出区間のキーフレーム評価値が、そのとき設定されている閾値（閾値Th1またはTh2）を超えているか否かを判定する。
【０２１８】
注目している特徴検出区間のキーフレーム評価値が閾値を超えているとステップＳ１０９において判定した場合、ステップＳ１１０において、キーフレーム区間選択部５２は、いま注目している特徴検出区間をキーフレーム区間として選択する。
【０２１９】
ステップＳ１１１において、キーフレーム区間選択部５２は、ｎの値を１だけインクリメントする。
【０２２０】
ステップＳ１１２において、キーフレーム区間選択部５２は、ｎの値が再生区間数ｍと等しいか否かを判定する。
【０２２１】
ｎの値が再生区間数ｍと等しいとステップＳ１１２において判定された場合、図１１のステップＳ１１に戻り、それ以降の処理が行われる。図１１のステップＳ１３において、図１９の処理により選択されたキーフレーム区間が順次再生される。
【０２２２】
一方、キーフレーム評価値が閾値を超えていないとステップＳ１０９において判定した場合、ステップＳ１１３において、キーフレーム区間選択部５２は、全ての特徴検出区間に注目したか否かを判定する。ｎの値が再生区間数ｍと等しくないとステップＳ１１２において判定された場合も同様に処理はステップＳ１１３に進む。
【０２２３】
全ての特徴検出区間に注目していないとステップＳ１１３において判定した場合、キーフレーム区間選択部５２は、ステップＳ１０７に戻り、注目する特徴検出区間を切り替えて同様の処理を繰り返す。
【０２２４】
一方、全ての特徴検出区間に注目したとステップＳ１１３において判定された場合、図１１のステップＳ１１に戻り、それ以降の処理が行われる。キーフレーム区間の数が足りない場合、キーフレーム区間の数がｍになるように、キーフレーム評価値の高い順に特徴検出区間が選択されるようにしてもよい。
【０２２５】
次に、図２０のフローチャートを参照して、図１８に示すようにして重み係数を設定し、キーフレーム区間を選択する場合に図１１のステップＳ１２において行われるキーフレーム区間選択処理２について説明する。
【０２２６】
キーフレーム区間選択処理２は、図１８を参照して説明した、再生対象のコンテンツが２Ｄコンテンツである場合の処理である。
【０２２７】
ステップＳ１２１において、キーフレーム区間選択部５２は、ユーザにより選択されたダイジェスト再生のモードが通常モードであるか否かを判定する。
【０２２８】
ダイジェスト再生のモードが通常モードであるとステップＳ１２１において判定した場合、ステップＳ１２２において、キーフレーム区間選択部５２は、重み係数k1として所定の値を設定し、重み係数k2として０を設定する。また、キーフレーム区間選択部５２は、閾値Th1を設定する。
【０２２９】
一方、ステップＳ１２１において、ダイジェスト再生のモードが通常モードではない、すなわち要約モードであると判定した場合、ステップＳ１２３において、キーフレーム区間選択部５２は、重み係数k1として所定の値を設定し、重み係数k2として０を設定する。また、キーフレーム区間選択部５２は、閾値Th2の値として閾値Th1より大きい値を設定する。
【０２３０】
ステップＳ１２４以降の処理は、図１９のステップＳ１０６以降の処理と同様の処理である。ステップＳ１２４において、キーフレーム区間選択部５２は、選択済みのキーフレーム区間の数を表すｎの値として０を設定し、初期化する。
【０２３１】
ステップＳ１２５において、キーフレーム区間選択部５２は、一つの特徴検出区間に注目する。
【０２３２】
ステップＳ１２６において、キーフレーム区間選択部５２は、注目している特徴検出区間のキーフレーム評価値を算出する。
【０２３３】
図１９の処理が開始される前、カメラ特徴評価値は図１１のステップＳ７において算出されている。キーフレーム区間選択部５２は、式（２）に従って、カメラ特徴評価値と、設定した重み係数k1を乗算することによってキーフレーム評価値を算出する。
【０２３４】
ステップＳ１２７において、キーフレーム区間選択部５２は、注目している特徴検出区間のキーフレーム評価値が、そのとき設定されている閾値（閾値Th1またはTh2）を超えているか否かを判定する。
【０２３５】
注目している特徴検出区間のキーフレーム評価値が閾値を超えているとステップＳ１２７において判定した場合、ステップＳ１２８において、キーフレーム区間選択部５２は、いま注目している特徴検出区間をキーフレーム区間として選択する。
【０２３６】
ステップＳ１２９において、キーフレーム区間選択部５２は、ｎの値を１だけインクリメントする。
【０２３７】
ステップＳ１３０において、キーフレーム区間選択部５２は、ｎの値が再生区間数ｍと等しいか否かを判定する。
【０２３８】
ｎの値が再生区間数ｍと等しいとステップＳ１３０において判定された場合、図１１のステップＳ１２に戻り、それ以降の処理が行われる。図１１のステップＳ１３において、図２０の処理により選択されたキーフレーム区間が順次再生される。
【０２３９】
一方、キーフレーム評価値が閾値を超えていないとステップＳ１２７において判定した場合、ステップＳ１３１において、キーフレーム区間選択部５２は、全ての特徴検出区間に注目したか否かを判定する。ｎの値が再生区間数ｍと等しくないとステップＳ１３０において判定された場合も同様に処理はステップＳ１３１に進む。
【０２４０】
全ての特徴検出区間に注目していないとステップＳ１３１において判定した場合、キーフレーム区間選択部５２は、ステップＳ１２５に戻り、注目する特徴検出区間を切り替えて同様の処理を繰り返す。
【０２４１】
一方、全ての特徴検出区間に注目したとステップＳ１３１において判定された場合、図１１のステップＳ１２に戻り、それ以降の処理が行われる。キーフレーム区間の数が足りない場合、キーフレーム区間の数がｍになるように、キーフレーム評価値の高い順に特徴検出区間が選択されるようにしてもよい。
【０２４２】
以上の処理によって、ディスプレイ２２が３Ｄ対応の大型のディスプレイである場合には、３Ｄ特徴評価値の大きい特徴検出区間がキーフレーム区間として選択されやすくなり、ユーザはコンテンツの内容を効率的に確認することができる。
【０２４３】
また、ディスプレイ２２が３Ｄ非対応または小型のディスプレイである場合には、カメラ特徴評価値の大きい特徴検出区間がキーフレーム区間として選択されやすくなり、これによっても、ユーザはコンテンツの内容を効率的に確認することができる。
【０２４４】
［変形例］
以上においては、キーフレーム区間の選択がカメラ特徴と３Ｄ特徴に基づいて行われるものとしたが、コンテンツに含まれる音声の特徴をも用いてキーフレーム区間が選択されるようにしてもよい。音声の特徴には音量が含まれる。
【０２４５】
特徴検出区間のうち、音声特徴に基づいて算出された音声特徴評価値が閾値より大きい特徴検出区間は音声特徴区間として決定される。音声特徴を考慮する場合、図１０の表における「カメラ特徴区間」の部分を、「カメラ特徴区間＋音声特徴区間」と置き換えてキーフレーム区間の選択が行われる。
【０２４６】
また、図１０に示すようにしてカメラ特徴区間と３Ｄ特徴区間の中から優先的にキーフレーム区間を選択した場合においてキーフレーム区間の数が足りないとき、音声特徴区間の中からキーフレーム区間が優先的に選択されるようにしてもよい。
【０２４７】
コンテンツの画像に関する特徴として、３Ｄ特徴とともにカメラ特徴が用いられるものとしたが、パンやズームなどのカメラ特徴に代えて、シーンチェンジや明るさ情報などの、画像に関する他の特徴が用いられるようにしてもよい。
【０２４８】
以上においては、ダイジェスト再生を行うためにキーフレーム区間の選択が行われるものとしたが、選択したキーフレーム区間を用いて他の処理が行われるようにしてもよい。例えば、キーフレーム区間の先頭の１フレームの画像が、録画済みのコンテンツの一覧画面などにコンテンツの代表画として表示されるようにしてもよい。
【０２４９】
［コンピュータの構成例］
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０２５０】
図２１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２５１】
CPU(Central Processing Unit)１０１、ROM(Read Only Memory)１０２、RAM(Random Access Memory)１０３は、バス１０４により相互に接続されている。
【０２５２】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウスなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７が接続される。また、入出力インタフェース１０５には、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、リムーバブルメディア１１１を駆動するドライブ１１０が接続される。
【０２５３】
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを入出力インタフェース１０５及びバス１０４を介してRAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【０２５４】
CPU１０１が実行するプログラムは、例えばリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部１０８にインストールされる。
【０２５５】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２５６】
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０２５７】
１ 再生装置， ３１ システムコントローラ， ３２ ユーザI/F， ３３ 再生制御部， ３４ 記録媒体， ３５ 再生処理部， ３６ 特徴抽出部， ３７ 表示処理部， ５１ 属性検出部， ５２ キーフレーム区間選択部
【技術分野】
【０００１】
本発明は、再生装置、再生方法、およびプログラムに関し、特に、ディスプレイの属性に応じて、コンテンツの特徴的な区間として選択する区間を切り替えることができるようにした再生装置、再生方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、立体視が可能な３Ｄ画像関連の技術が注目されている。一般のユーザであっても、例えば映画館などにおいて画質の良い３Ｄ対応のディスプレイや３Ｄコンテンツを利用することができ、３Ｄで表示される映画の視聴を楽しむことができるようになってきている。
【０００３】
ここで、３Ｄコンテンツとは、３Ｄ画像を表示するためのデータを含むコンテンツをいう。３Ｄ画像の表示方式には、同じオブジェクト間に視差がある左目用の画像と右目用の画像を交互に表示するフレームシーケンシャル方式がある。左目用の画像と右目用の画像をシャッタメガネ等を用いて視聴者の左右のそれぞれの目に届けることにより、奥行き感を視聴者に感じさせることが可能になる。
【０００４】
Blu-ray Disc（商標）等の記録媒体に記録された３Ｄコンテンツを再生したり、３Ｄコンテンツを記録したりすることが可能な３Ｄ対応のビデオレコーダも提案されている。このような３Ｄ対応のビデオレコーダは、通常、互換性を確保するため、３Ｄコンテンツの他に、２Ｄコンテンツを再生したり記録したりすることができるようになっている。３Ｄ対応のビデオレコーダが再生し、出力するビデオデータは、３Ｄ画像のデータであるときもあるし、２Ｄ画像のデータであるときもある。
【０００５】
従って、３Ｄ対応のビデオレコーダに接続するディスプレイは、３Ｄ画像と２Ｄ画像の両方の画像の表示が可能であることが望ましい。３Ｄ画像と２Ｄ画像を表示可能なディスプレイである３Ｄ対応ディスプレイとしては様々なものが開発されており、テレビジョン受像機用やパーソナルコンピュータ用のものだけでなく、携帯電話機などの小型の機器用の３Ｄディスプレイも開発されている。
【０００６】
ところで、ハードディスクレコーダ等のビデオレコーダの中には、長時間にわたるコンテンツの内容を短時間で把握できるようにするためのダイジェスト再生の機能が搭載されているものがある。
【０００７】
ダイジェスト再生の手法には、ビデオデータを解析して画像の特徴的な区間を検出し、その特徴的な区間だけを再生することが知られている。例えば、ズーム、パン、チルトなどのカメラワークに関する動作が検出され、カメラワークに関する動作が行われた時刻を含む区間が、特徴的な区間として再生される。
【０００８】
特許文献１には、パン、チルト、ズーム等のカメラワークに関する動作を画像の特徴として検出する技術が開示されている。特許文献２には、シーンの切り替わりを検出し、切り替わり位置の映像の奥行き感を調整する技術が開示されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００９−４２９１７号公報
【特許文献２】特開２００９−２３９３８８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
上述したダイジェスト再生を、３Ｄコンテンツを対象として行うことが考えられる。例えば、物や人などのオブジェクトが顕著に飛び出して表示される区間が３Ｄ特徴区間として検出され、順次再生されることによって、ユーザは、３Ｄ画像を視聴してコンテンツの内容を確認することが可能になる。
【００１１】
この場合、ダイジェスト再生を行うビデオレコーダに接続されているディスプレイが３Ｄ対応であり、サイズが大型であるときには、臨場感のある３Ｄ画像が表示されることになるため、３Ｄ特徴区間を優先的に再生することには意味があるといえる。
【００１２】
一方、ビデオレコーダに接続されているディスプレイのサイズが小さいときには、３Ｄ画像が表示されるものの大型のディスプレイに比べると臨場感が低下するため、パンなどのカメラの動作が検出された区間を優先的に再生した方が効果的な場合もある。また、ビデオレコーダに接続されているディスプレイが３Ｄ画像に非対応である場合、３Ｄ特徴区間を優先的に再生することにはあまり意味がない。
【００１３】
本発明はこのような状況に鑑みてなされたものであり、ディスプレイの属性に応じて、コンテンツの特徴的な区間として選択する区間を切り替えることができるようにするものである。
【課題を解決するための手段】
【００１４】
本発明の一側面の再生装置は、コンテンツの画像を表示するディスプレイの属性を検出する属性検出手段と、画像に関する特徴を前記コンテンツの区間毎に検出する特徴検出手段と、前記特徴検出手段により検出された前記画像に関する特徴に基づいて選択する前記コンテンツの区間である特徴区間を、前記属性検出手段により検出された前記ディスプレイの属性に応じて切り替える選択手段とを備える。
【００１５】
前記属性検出手段には、前記ディスプレイの属性として、３Ｄ画像の表示に対応しているか否かと、サイズが閾値より大きいか否かとを検出させ、前記特徴検出手段には、前記画像に関する特徴として、前記コンテンツが３Ｄ画像を含むコンテンツである場合には、左目用画像と右目用画像の視差と、前記視差とは異なる種類の所定の特徴とを検出させ、前記コンテンツが２Ｄ画像を含むコンテンツである場合には前記所定の特徴を検出させることができる。
【００１６】
前記選択手段には、前記コンテンツが３Ｄ画像を含むコンテンツであり、前記ディスプレイが３Ｄ画像の表示に対応する閾値より大きいサイズのディスプレイである場合、前記視差が閾値より大きい区間の中から前記特徴区間を選択させることができる。
【００１７】
前記選択手段には、前記コンテンツが３Ｄ画像を含むコンテンツであり、前記ディスプレイが３Ｄ画像の表示に対応しない、または、閾値より小さいサイズのディスプレイである場合、前記所定の特徴が閾値より大きい区間の中から前記特徴区間を選択させることができる。
【００１８】
前記選択手段には、前記コンテンツが３Ｄ画像を含むコンテンツであり、前記ディスプレイが３Ｄ画像の表示に対応する閾値より大きいサイズのディスプレイである場合、前記コンテンツの区間毎に、前記所定の特徴の量を表す値に第１の重み係数を乗算して得られた値と、視差を表す値に、前記第１の重み係数より大きい第２の重み係数を乗算して得られた値とを加算することによって評価値を算出し、算出した評価値が閾値より大きい区間を、前記特徴区間として選択させることができる。
【００１９】
前記選択手段には、前記コンテンツが３Ｄ画像を含むコンテンツであり、前記ディスプレイが３Ｄ画像の表示に対応しない、または、閾値より小さいサイズのディスプレイである場合、前記コンテンツの区間毎に、前記所定の特徴の量を表す値に第１の重み係数を乗算して得られた値と、視差を表す値に、前記第１の重み係数より小さい第２の重み係数を乗算して得られた値とを加算することによって評価値を算出し、算出した評価値が閾値より大きい区間を、前記特徴区間として選択させることができる。
【００２０】
本発明の一側面の再生方法は、コンテンツの画像を表示するディスプレイの属性を検出し、画像に関する特徴を前記コンテンツの区間毎に検出し、前記画像に関する特徴に基づいて選択する前記コンテンツの区間である特徴区間を、前記ディスプレイの属性に応じて切り替えるステップを含む。
【００２１】
本発明の一側面のプログラムは、コンテンツの画像を表示するディスプレイの属性を検出し、画像に関する特徴を前記コンテンツの区間毎に検出し、前記画像に関する特徴に基づいて選択する前記コンテンツの区間である特徴区間を、前記ディスプレイの属性に応じて切り替えるステップを含む処理をコンピュータに実行させる。
【００２２】
本発明の一側面においては、コンテンツの画像を表示するディスプレイの属性が検出され、画像に関する特徴が前記コンテンツの区間毎に検出され、前記画像に関する特徴に基づいて選択する前記コンテンツの区間である特徴区間が、前記ディスプレイの属性に応じて切り替えられる。
【発明の効果】
【００２３】
本発明によれば、ディスプレイの属性に応じて、コンテンツの特徴的な区間として選択する区間を切り替えることができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の一実施形態に係る再生装置に接続されるディスプレイの例を示す図である。
【図２】キーフレーム区間の選択の例を示す図である。
【図３】ダイジェスト再生の例を示す図である。
【図４】キーフレーム区間の選択の他の例を示す図である。
【図５】ダイジェスト再生の他の例を示す図である。
【図６】再生装置の構成例を示すブロック図である。
【図７】特徴検出区間の例を示す図である。
【図８】システムコントローラの機能構成例を示すブロック図である。
【図９】３Ｄ特徴評価値の例を示す図である。
【図１０】優先的に選択する特徴検出区間の例を示す図である。
【図１１】再生装置のダイジェスト再生処理について説明するフローチャートである。
【図１２】図１１のステップＳ１１において行われるキーフレーム区間選択処理１について説明するフローチャートである。
【図１３】図１２のステップＳ３０において行われる要約モード時の選択処理１について説明するフローチャートである。
【図１４】図１２のステップＳ３１において行われる要約モード時の選択処理２について説明するフローチャートである。
【図１５】図１１のステップＳ１２において行われるキーフレーム区間選択処理２について説明するフローチャートである。
【図１６】キーフレーム区間の選択の例を示す図である。
【図１７】キーフレーム区間の選択の他の例を示す図である。
【図１８】重み係数の関係の例を示す図である。
【図１９】図１１のステップＳ１１において行われる他のキーフレーム区間選択処理１について説明するフローチャートである。
【図２０】図１１のステップＳ１２において行われる他のキーフレーム区間選択処理２について説明するフローチャートである。
【図２１】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２５】
［ダイジェスト再生について］
図１は、本発明の一実施形態に係る再生装置１に接続されるディスプレイの例を示す図である。
【００２６】
再生装置１は、Blu-ray Discなどの着脱可能な記録媒体に記録されている３Ｄコンテンツや、HDD(Hard Disk Drive)などの内蔵の記録媒体に記録されている３Ｄコンテンツを再生する機能を有する。また、再生装置１は、着脱可能な記録媒体や内蔵の記録媒体に記録されている２Ｄコンテンツを再生する機能をも有する。
【００２７】
３Ｄコンテンツは、例えば３Ｄ画像の表示方式がフレームシーケンシャル方式である場合には、左目用の画像と右目用の画像からなる３Ｄ画像のデータを含むコンテンツである。２Ｄコンテンツは、通常の２Ｄ画像のデータを含むコンテンツである。
【００２８】
３Ｄコンテンツ、または２Ｄコンテンツを再生して得られた画像データは、HDMI(High Definition Multimedia Interface)規格のケーブルなどを介して再生装置１に接続されている外部のディスプレイに出力される。再生装置１に接続されている外部のディスプレイにより、３Ｄ画像、または２Ｄ画像が表示される。
【００２９】
図１の上段においては、携帯電話機１１が再生装置１に接続されている。再生装置１が出力する画像データに基づいて、携帯電話機１１のディスプレイに画像が表示される。携帯電話機１１のディスプレイは、３Ｄ対応であり、例えば２，３インチといったような、サイズが小さいディスプレイである。
【００３０】
図１の中段においては、テレビジョン受像機１２が再生装置１に接続されている。再生装置１が出力する画像データに基づいて、テレビジョン受像機１２のディスプレイに画像が表示される。テレビジョン受像機１２のディスプレイは、携帯電話機１１のディスプレイよりサイズが大きい、２Ｄ対応（３Ｄ非対応）のディスプレイである。
【００３１】
図１の下段においては、テレビジョン受像機１３が再生装置１に接続されている。再生装置１が出力する画像データに基づいて、テレビジョン受像機１３のディスプレイに画像が表示される。テレビジョン受像機１３のディスプレイは、携帯電話機１１のディスプレイよりサイズが大きい、３Ｄ対応（２Ｄ画像の表示にも対応）のディスプレイである。
【００３２】
このように、再生装置１には、機能やサイズなどの属性の異なる各種のディスプレイを有する機器が接続される。再生装置１が再生するコンテンツの画像を表示するディスプレイは、３Ｄ対応の小型ディスプレイであるときもあるし、３Ｄ非対応のディスプレイであるときもあるし、３Ｄ対応の大型ディスプレイであるときもある。
【００３３】
また、再生装置１は、コンテンツの全区間のうち、特徴的な区間だけを再生するダイジェスト再生の機能を有する。再生装置１は、ダイジェスト再生の対象となるコンテンツの画像データを解析し、各区間の画像に関する特徴を検出する。
【００３４】
再生装置１が検出する特徴は、例えば、パン、チルト、ズーム等の、映像コンテンツを撮影するカメラワークに関する動作と、対象とするコンテンツが３Ｄコンテンツである場合には、左目用の画像と右目用の画像の間の視差である。視差が大きいほど、左目用の画像と右目用の画像を見たユーザはより大きな奥行き感を感じることになる。
【００３５】
以下、適宜、パン、チルト、ズーム等のカメラワークに関する動作をカメラ特徴といい、左目用の画像と右目用の画像の間の視差を３Ｄ特徴という。
【００３６】
再生装置１による画像データの解析は、例えば３秒間などの所定の長さの各区間を対象として行われる。例えば、パンやズームなどのカメラ特徴に基づいてカメラ特徴評価値が算出され、閾値を超える区間がカメラ特徴区間として決定される。また、再生対象のコンテンツが３Ｄコンテンツである場合には、視差の量に基づいて３Ｄ特徴評価値が算出され、閾値を超える区間が３Ｄ特徴区間として決定される。
【００３７】
また、再生装置１は、ダイジェスト再生を行う場合、ダイジェスト再生によって画像を表示するディスプレイの属性を検出する。ディスプレイの属性には、３Ｄ対応であるか否かと、ディスプレイのサイズが含まれる。サイズは、インチ数、または画素数により表される。
【００３８】
再生装置１は、決定したカメラ特徴区間や３Ｄ特徴区間のうち、どの区間をキーフレーム区間として選択するのかを、ディスプレイの属性と、再生対象のコンテンツが３Ｄコンテンツであるか、２Ｄコンテンツであるかなどに応じて切り替える。キーフレーム区間は、コンテンツの特徴を表していると考えられる区間であり、ダイジェスト再生によって再生される。
【００３９】
図２は、再生対象のコンテンツが３Ｄコンテンツである場合のキーフレーム区間の選択の例を示す図である。
【００４０】
図２において、「ズーム」、「パン」の文字を付して示す区間はカメラ特徴区間であり、「飛び出し」の文字を付して示す区間は３Ｄ特徴区間である。図２の例においては、再生対象の３Ｄコンテンツの区間Ｔ０乃至Ｔ１０のうち、区間Ｔ１，Ｔ３，Ｔ４，Ｔ６がカメラ特徴区間として決定され、区間Ｔ２，Ｔ７，Ｔ８が３Ｄ特徴区間として決定されている。区間Ｔ０，Ｔ５，Ｔ９，Ｔ１０は、カメラ特徴区間でも３Ｄ特徴区間でもない区間である。
【００４１】
カメラ特徴区間と３Ｄ特徴区間がこのようにして決定された場合を考える。この場合において、ディスプレイが３Ｄ対応の小型のディスプレイであるとき、または３Ｄ非対応のディスプレイであるとき、図２の下段に示すように、カメラ特徴区間が優先的に再生されるように、区間Ｔ１，Ｔ３，Ｔ４，Ｔ６がキーフレーム区間として選択される。
【００４２】
ダイジェスト再生時、図３に示すように、カメラ特徴区間である区間Ｔ１，Ｔ３，Ｔ４，Ｔ６が続けて再生される。
【００４３】
図４は、キーフレーム区間の選択の他の例を示す図である。
【００４４】
図４の例においても、再生対象の３Ｄコンテンツの区間Ｔ０乃至Ｔ１０のうち、区間Ｔ１，Ｔ３，Ｔ４，Ｔ６がカメラ特徴区間として決定され、区間Ｔ２，Ｔ７，Ｔ８が３Ｄ特徴区間として決定されている。
【００４５】
この場合において、ディスプレイが３Ｄ対応の大型のディスプレイであるとき、図４の下段に示すように、３Ｄ特徴区間が優先的に再生されるように、区間Ｔ２，Ｔ７，Ｔ８がキーフレーム区間として選択される。３Ｄ特徴区間を再生しただけではダイジェスト再生の時間に足りない場合、他の区間である区間Ｔ６もキーフレーム区間として適宜選択される。
【００４６】
ダイジェスト再生時、図５に示すように、区間Ｔ２，Ｔ６，Ｔ７，Ｔ８が連続して再生される。
【００４７】
このように、再生装置１においては、ディスプレイの属性と、再生対象のコンテンツの種類などに応じて、ディスプレイに適した区間が優先的に再生されるように、キーフレーム区間として選択される区間が切り替えられる。
【００４８】
これにより、例えば、３Ｄ対応の小型ディスプレイや３Ｄ非対応のディスプレイに３Ｄ特徴区間の画像が表示されるといったような、ダイジェスト再生が非効率に行われるのを防ぐことができる。
【００４９】
３Ｄ対応の小型ディスプレイに３Ｄ画像を表示したとしても奥行き感をユーザに与えることができず、ユーザが得る臨場感は小さい。従って、そのような再生は、３Ｄ対応の大型ディスプレイに３Ｄ画像を表示する場合に較べて非効率といえる。
【００５０】
３Ｄ対応の大型ディスプレイに３Ｄ特徴区間の画像を表示させることによって、ダイジェスト再生を効率的に行うことが可能になる。
【００５１】
［再生装置１の構成例］
図６は、再生装置１の構成例を示すブロック図である。
【００５２】
システムコントローラ３１は、ユーザI/F３２から供給されるユーザの操作の内容を表す信号に従って、再生装置１の全体の動作を制御する。
【００５３】
例えば、システムコントローラ３１は、特徴抽出部３６から供給されたデータにより表される各区間の特徴量に基づいて、カメラ特徴区間と３Ｄ特徴区間を決定する。また、システムコントローラ３１は、表示処理部３７から供給された属性データに基づいてディスプレイ２２の属性を検出し、上述したようにしてキーフレーム区間を選択する。
【００５４】
システムコントローラ３１は、画像データの解析時、再生対象のコンテンツの全区間の画像データの再生が行われるように再生制御部３３を制御し、ダイジェスト再生時、キーフレーム区間の再生が行われるように再生制御部３３を制御する。
【００５５】
ユーザI/F３２は、リモートコントローラ２１からの信号を受光する受光部などにより構成される。ユーザI/F３２は、リモートコントローラ２１に対するユーザの操作を検出し、その内容を表す信号をシステムコントローラ３１に出力する。
【００５６】
再生制御部３３は、システムコントローラ３１による制御に従って、記録媒体３４からのデータの読み出しを制御する。再生制御部３３は、画像データの解析時、再生対象のコンテンツの全区間の画像データを再生処理部３５に供給させ、ダイジェスト再生時、キーフレーム区間の画像データを再生処理部３５に供給させる。
【００５７】
記録媒体３４は例えばHDDであり、コンテンツを記録する。
【００５８】
再生処理部３５は、記録媒体３４から供給されたコンテンツのデータに対して、圧縮されているデータを伸張するデコード処理等の再生処理を施す。再生処理部３５は、画像データの解析時、再生処理によって得られた画像データを特徴抽出部３６に出力し、ダイジェスト再生時、再生処理によって得られた画像データを表示処理部３７に出力する。
【００５９】
特徴抽出部３６は、ダイジェスト再生の対象とするコンテンツ全体を所定の長さの区間毎に区切り、各区間の特徴を検出する。
【００６０】
図７は、特徴検出の対象となる区間の例を示す図である。
【００６１】
図７の例においては、コンテンツの画像データ全体が３秒間の区間毎に区切られている。このようにして区切られた各区間を特徴検出の対象となる特徴検出区間として、再生対象のコンテンツが３Ｄコンテンツである場合にはカメラ特徴と３Ｄ特徴が検出され、２Ｄコンテンツである場合にはカメラ特徴が検出される。
【００６２】
特徴抽出部３６は、このようにして検出したカメラ特徴の量を表すデータと、３Ｄ特徴の量を表すデータをシステムコントローラ３１に出力する。
【００６３】
表示処理部３７は、再生装置１に接続された外部のディスプレイであるディスプレイ２２と通信を行う。図１の例の場合、ディスプレイ２２は、携帯電話機１１、テレビジョン受像機１２、またはテレビジョン受像機１３のディスプレイとなる。
【００６４】
表示処理部３７は、ディスプレイ２２に要求することによって、ディスプレイ２２の属性を表すデータを受信し、受信したデータをシステムコントローラ３１に出力する。ディスプレイ２２は、再生装置１からの要求に応じて、ディスプレイ２２の属性を表すデータを再生装置１に送信する。
【００６５】
ディスプレイ２２の属性を表すデータは、例えばHDMI規格のversion1.4で規定されるHDMI Vender Specific InfoFrame Packetなどに格納してディスプレイ２２から再生装置１に送信される。HDMI Vender Specific InfoFrame Packetは、各ベンダーが規定した制御コマンドの送受信などに用いられるパケットである。HDMI Vender Specific InfoFrame Packetは、送信側の機器から受信側の機器に対して、HDMIのCEC(Consumer Electronics Control)線を介して送信される。
【００６６】
また、表示処理部３７は、再生処理部３５から供給された画像データをディスプレイ２２に出力し、画像を表示させる。
【００６７】
図８は、システムコントローラ３１の機能構成例を示すブロック図である。
【００６８】
図８に示すように、システムコントローラ３１においては、所定のプログラムが実行されることによって、属性検出部５１とキーフレーム区間選択部５２が実現される。
【００６９】
属性検出部５１は、表示処理部３７から供給されたデータに基づいてディスプレイ２２の属性を検出する。属性検出部５１は、ディスプレイ２２が３Ｄ対応のディスプレイであるか、３Ｄ非対応のディスプレイであるかを検出し、３Ｄ対応／非対応を表すデータをキーフレーム区間選択部５２に出力する。
【００７０】
また、属性検出部５１は、表示処理部３７から供給されたデータに基づいてディスプレイ２２のサイズを検出する。例えば、属性検出部５１は、ディスプレイ２２のインチ数が２０インチ以上である場合、または、ディスプレイ２２の画素数が1366×768以上である場合、サイズが大型であることを表すデータをキーフレーム区間選択部５２に出力する。
【００７１】
キーフレーム区間選択部５２は、特徴抽出部３６から供給されたカメラ特徴の量を表すデータに基づいて、特徴検出区間毎のカメラ特徴評価値を算出する。
【００７２】
ここで、カメラ特徴評価値の算出方法として、特許文献１（特開２００９−４２９１７号公報）に開示されている方法を用いることが可能である。特許文献１には、ブロックマッチングによりオブジェクトの動きベクトルを検出し、動きベクトルに基づいて、アフィン変換モデルを用いた重回帰分析により、ズーム、パン、チルトの各アフィン係数を求める技術が開示されている。アフィン変換モデルは、フレーム内のオブジェクトの平行移動、拡大／縮小、回転を、行列を用いた座標変換処理として記述したモデルである。
【００７３】
キーフレーム区間選択部５２は、算出したズームのアフィン係数であるズーム係数、パンのアフィン係数であるパン係数、チルトのアフィン係数であるチルト係数に基づいて、下式（１）によりカメラ特徴評価値を算出する。式（１）のkz，kp，ktは、それぞれ、ズーム係数、パン係数、チルト係数の重み係数である。
カメラ特徴評価値＝kz・（ズーム係数）＋kp・（パン係数）＋kt・（チルト係数）
・・・ （１）
【００７４】
キーフレーム区間選択部５２は、特徴検出区間内におけるカメラ特徴評価値の平均値を閾値と比較し、カメラ特徴評価値の平均値が閾値を超えている特徴検出区間をカメラ特徴区間として決定する。
【００７５】
また、キーフレーム区間選択部５２は、特徴抽出部３６から供給された３Ｄ特徴の量を表すデータに基づいて、特徴検出区間毎に、視差の量に応じた値である３Ｄ特徴評価値を算出する。
【００７６】
図９は、３Ｄ特徴評価値の例を示す図である。
【００７７】
特徴抽出部３６においては、あるタイミングで表示されるＬ画像（左目用の画像）と、そのＬ画像の次のタイミングで表示されるＲ画像（右目用の画像）中のオブジェクトの位置のずれ量が視差量として検出される。Ｌ画像とＲ画像中のオブジェクトの位置のずれ量はブロックマッチングにより検出される。視差量の検出については、例えば、特開平７−２８２２５９号公報、特開平４−３６０３９５号公報、特開平６−２１５１１１号公報に開示されている。
【００７８】
また、特徴抽出部３６においては、検出された視差量の特徴検出区間毎の積分結果が求められ、図９の中段に示すような視差量の積分結果を表す時系列データが出力される。特徴検出区間毎の積分値ではなく、視差量の平均値が特徴検出区間毎に求められ、３Ｄ特徴の検出結果のデータとして出力されるようにしてもよい。
【００７９】
キーフレーム区間選択部５２は、特徴抽出部３６から供給された時系列データに基づいて、視差量の積分結果が大きい、すなわちオブジェクトの飛び出し量が大きい特徴検出区間の３Ｄ特徴評価値として大きい値を設定する。図９の下段の例においては、時刻ｔ０からｔ１までの期間の３Ｄ特徴評価値として値Ｖ１が設定され、時刻ｔ２からｔ３までの期間の３Ｄ特徴評価値として、値Ｖ１より大きい値である値Ｖ２が設定されている。
【００８０】
キーフレーム区間選択部５２は、算出した３Ｄ特徴評価値を閾値と比較し、３Ｄ特徴評価値が閾値を超えている特徴検出区間を３Ｄ特徴区間として決定する。
【００８１】
なお、画像データの解析が行われたコンテンツが３Ｄコンテンツである場合、カメラ特徴評価値と３Ｄ特徴評価値がいずれも閾値を超えている特徴検出区間については３Ｄ特徴区間として決定される。
【００８２】
キーフレーム区間選択部５２は、ディスプレイ２２の属性、ダイジェスト再生の対象となるコンテンツの種類（３Ｄ／２Ｄ）、および、ダイジェスト再生を行う時間に基づいて、カメラ特徴区間と３Ｄ特徴区間の中からキーフレーム区間を選択する。
【００８３】
ダイジェスト再生のモードには、１０分などの所定の時間だけ再生を行う通常ダイジェスト再生モード（通常モード）と、通常モード時の再生時間より短い時間だけ再生を行う短時間ダイジェスト再生モード（要約モード）とがあり、ユーザがいずれかを選択することが可能とされている。要約モードが選択されている場合、キーフレーム区間として選択される特徴検出区間の数は、通常モードが選択されているときに選択される特徴検出区間の数より少なくなる。
【００８４】
図１０は、キーフレーム区間として優先的に選択される特徴検出区間の例を示す図である。
【００８５】
ユーザにより選択されたダイジェスト再生のモードが通常モードである場合について説明する。
【００８６】
この場合において、ディスプレイ２２が３Ｄ非対応または小型のディスプレイであり、再生対象のコンテンツが２Ｄコンテンツであるとき、カメラ特徴区間が、キーフレーム区間として優先的に選択される。
【００８７】
例えば、カメラ特徴区間の数が、キーフレーム区間として選択する特徴検出区間の数ｍより多い場合、キーフレーム評価値の高い順にｍ区間だけ選択される。キーフレーム区間として選択する特徴検出区間の数ｍは、ダイジェスト再生モードによってコンテンツを再生する時間によって定まる。
【００８８】
ここで、キーフレーム評価値は、キーフレーム区間として選択するか否かの判定の基準となる評価値であり、特徴検出区間毎に、例えば下式（２）により算出される。
キーフレーム評価値＝k1・(カメラ特徴評価値）＋k2・(３Ｄ特徴評価値)
・・・ （２）
【００８９】
式（２）のk1，k2は、それぞれ、カメラ特徴評価値、３Ｄ特徴評価値の重み係数である。再生対象のコンテンツが２Ｄコンテンツである場合、重み係数k2として０が設定される。なお、キーフレーム評価値の算出においては、カメラ特徴評価値と３Ｄ特徴評価値は同じ単位の値に置き換えられ、正規化される。
【００９０】
また、ディスプレイ２２が３Ｄ非対応または小型のディスプレイであり、再生対象のコンテンツが３Ｄコンテンツであるとき、カメラ特徴区間と３Ｄ特徴検出区間が、キーフレーム区間として優先的に選択される。
【００９１】
なお、ディスプレイ２２が３Ｄ非対応のディスプレイであるとき、３Ｄコンテンツの再生は、３Ｄ画像を構成するＬ画像とＲ画像のうちの一方を表示するなどして、２Ｄ画像を表示するようにして行われる。ディスプレイ２２が３Ｄ対応の小型のディスプレイである場合、そのまま３Ｄ画像を表示するようにして、３Ｄコンテンツの再生が行われるようにしてもよい。
【００９２】
ディスプレイ２２が３Ｄ対応の大型のディスプレイであり、再生対象のコンテンツが２Ｄコンテンツであるとき、カメラ特徴区間が、キーフレーム区間として優先的に選択される。上述したように、３Ｄ対応のディスプレイは２Ｄ画像の表示にも対応している。
【００９３】
ディスプレイ２２が３Ｄ対応の大型のディスプレイであり、再生対象のコンテンツが３Ｄコンテンツであるとき、カメラ特徴区間と３Ｄ特徴区間が、キーフレーム区間として優先的に選択される。
【００９４】
ユーザにより選択されたダイジェスト再生のモードが要約モードである場合について説明する。
【００９５】
この場合において、ディスプレイ２２が３Ｄ非対応または小型のディスプレイであり、再生対象のコンテンツが２Ｄコンテンツであるとき、キーフレーム評価値の高いカメラ特徴区間が、キーフレーム区間として優先的に選択される。
【００９６】
ダイジェスト再生のモードが要約モードである場合、再生時間が短いから、キーフレーム区間として選択される特徴検出区間の数は、通常モード時に選択される数より少ない。従って、上述したようにしてキーフレーム評価値の高い順に選択するとした場合、要約モード時にキーフレーム区間として選択される特徴検出区間のキーフレーム評価値は、通常モード時に選択される特徴検出区間のキーフレーム評価値より高くなる。
【００９７】
また、ディスプレイ２２が３Ｄ非対応または小型のディスプレイであり、再生対象のコンテンツが３Ｄコンテンツであるとき、キーフレーム評価値の高いカメラ特徴区間が、キーフレーム区間として優先的に選択される。
【００９８】
ディスプレイ２２が３Ｄ対応の大型のディスプレイであり、再生対象のコンテンツが２Ｄコンテンツであるとき、キーフレーム評価値の高いカメラ特徴区間が、キーフレーム区間として優先的に選択される。
【００９９】
ディスプレイ２２が３Ｄ対応の大型のディスプレイであり、再生対象のコンテンツが３Ｄコンテンツであるとき、キーフレーム評価値の高い３Ｄ特徴区間が、キーフレーム区間として優先的に選択される。
【０１００】
なお、図１０に示すようにしてキーフレーム区間を選択した場合において、キーフレーム区間の数が、ダイジェスト再生の時間を満たす数に足りないとき、キーフレーム評価値に基づいて他の特徴検出区間がキーフレーム区間として選択される。
【０１０１】
また、図１０に示すようにしてキーフレーム区間を選択した場合において、キーフレーム区間の数が、ダイジェスト再生の時間を満たす数より多いとき、キーフレーム評価値に基づいて特徴検出区間の絞り込みが行われる。
【０１０２】
［再生装置１の動作］
図１１のフローチャートを参照して、図１０に示すようにしてキーフレーム区間を選択し、ダイジェスト再生を行う再生装置１の処理について説明する。
【０１０３】
図１１の処理は、例えば、ユーザにより、再生対象のコンテンツが選択され、ダイジェスト再生のモードとして、通常モードと要約モードのうちのいずれかが選択されたときに開始される。ダイジェスト再生を行うことが指示されたとき、表示処理部３７とディスプレイ２２の間では通信が行われ、ディスプレイ２２の属性を表すデータが表示処理部３７からシステムコントローラ３１に出力される。
【０１０４】
ステップＳ１において、システムコントローラ３１の属性検出部５１は、表示処理部３７から供給されたデータに基づいてディスプレイ２２の属性を検出する。属性検出部５１は、ディスプレイ２２の属性を表すデータをキーフレーム区間選択部５２に出力する。
【０１０５】
ステップＳ２において、キーフレーム区間選択部５２は、ディスプレイ２２が３Ｄ対応の大型ディスプレイであるか否かを判定する。
【０１０６】
ディスプレイ２２が３Ｄ対応の大型ディスプレイであるとステップＳ２において判定した場合、ステップＳ３において、キーフレーム区間選択部５２は、ディスプレイ２２の属性を表すDisplay typeの値として３を設定する。
【０１０７】
一方、ディスプレイ２２が３Ｄ対応の大型ではない、すなわち３Ｄ非対応または小型のディスプレイであるとステップＳ２において判定した場合、ステップＳ４において、キーフレーム区間選択部５２はDisplay typeの値として２を設定する。
【０１０８】
ステップＳ５において、キーフレーム区間選択部５２は、ユーザにより選択されたダイジェスト再生のモードに応じて、ダイジェスト再生によって再生する特徴検出区間の数である再生区間数ｍを設定する。再生区間数ｍは、ユーザにより選択されたダイジェスト再生のモードが通常モードである場合の方が、要約モードである場合より大きくなる。
【０１０９】
ステップＳ６において、特徴抽出部３６は、再生対象のコンテンツの全特徴検出区間のカメラ特徴を検出する。再生対象のコンテンツ全体のデータは、再生制御部３３により記録媒体３４から再生処理部３５に供給され、再生処理が施された後、特徴抽出部３６に供給されてカメラ特徴の検出に用いられる。
【０１１０】
ステップＳ７において、キーフレーム区間選択部５２は、特徴抽出部３６による検出結果に基づいて、カメラ特徴評価値が閾値を超える特徴検出区間をカメラ特徴区間として決定し、カメラ特徴区間数ａを求める。
【０１１１】
ステップＳ８において、キーフレーム区間選択部５２は、再生対象のコンテンツが３Ｄコンテンツであるか否かを判定する。
【０１１２】
再生対象のコンテンツが３ＤコンテンツであるとステップＳ８において判定された場合、ステップＳ９において、特徴抽出部３６は、再生対象のコンテンツの全特徴検出区間の３Ｄ特徴を検出する。
【０１１３】
ステップＳ１０において、キーフレーム区間選択部５２は、特徴抽出部３６による検出結果に基づいて、３Ｄ特徴評価値が閾値を超える特徴検出区間を３Ｄ特徴区間として決定し、３Ｄ特徴区間数ｂを求める。
【０１１４】
ステップＳ１１において、キーフレーム区間選択部５２はキーフレーム区間選択処理１を行う。
【０１１５】
一方、再生対象のコンテンツが３ＤコンテンツではないとステップＳ８において判定された場合、ステップＳ１２において、キーフレーム区間選択部５２はキーフレーム区間選択処理２を行う。
【０１１６】
キーフレーム区間選択処理１または２により選択されたキーフレーム区間を表す情報は、キーフレーム区間選択部５２から再生制御部３３に供給され、キーフレーム区間のデータが記録媒体３４から再生処理部３５に供給される。
【０１１７】
ステップＳ１３において、再生処理部３５は、キーフレーム区間のデータに対して再生処理を施し、再生処理を施すことによって得られた画像データを表示処理部３７に出力する。表示処理部３７は、キーフレーム区間の画像データをディスプレイ２２に出力し、画像を表示させる。なお、キーフレーム区間の音声データも、所定の経路を介してディスプレイ２２に供給され、画像の表示にあわせて音声が出力される。
【０１１８】
全てのキーフレーム区間の再生が終了した後、処理は終了される。
【０１１９】
次に、図１２のフローチャートを参照して、図１１のステップＳ１１において行われるキーフレーム区間選択処理１について説明する。
【０１２０】
キーフレーム区間選択処理１は、図１０を参照して説明した、再生対象のコンテンツが３Ｄコンテンツである場合の処理である。
【０１２１】
ステップＳ２１において、キーフレーム区間選択部５２は、ユーザにより選択されたダイジェスト再生のモードが通常モードであるか否かを判定する。
【０１２２】
ダイジェスト再生のモードが通常モードであるとステップＳ２１において判定した場合、ステップＳ２２において、キーフレーム区間選択部５２は、カメラ特徴区間数ａと３Ｄ特徴区間数ｂを足した数が再生区間数ｍ以下であるか否かを判定する。
【０１２３】
カメラ特徴区間数ａと３Ｄ特徴区間数ｂを足した数が再生区間数ｍ以下であるとステップＳ２２において判定した場合、ステップＳ２３において、キーフレーム区間選択部５２は、カメラ特徴区間と３Ｄ特徴区間を全てキーフレーム区間として選択する。
【０１２４】
ステップＳ２４において、キーフレーム区間選択部５２は、カメラ特徴区間数ａと３Ｄ特徴区間数ｂを足した数が再生区間数ｍと等しいか否かを判定する。
【０１２５】
カメラ特徴区間数ａと３Ｄ特徴区間数ｂを足した数が再生区間数ｍと等しくないとステップＳ２４において判定した場合、ステップＳ２５において、キーフレーム区間選択部５２は各特徴検出区間のキーフレーム評価値を算出する。
【０１２６】
カメラ特徴区間数ａと３Ｄ特徴区間数ｂを足した数が再生区間数ｍ以下であり、かつ等しくない、すなわち再生区間数ｍ未満である場合、キーフレーム区間の数がダイジェスト再生の再生時間の分に足りないことになる。従って、足りない分を他の特徴検出区間でいわば埋める必要がある。ステップＳ２５においてキーフレーム評価値を算出する対象となる特徴検出区間は、カメラ特徴区間と３Ｄ特徴区間以外の区間である。
【０１２７】
ステップＳ２６において、キーフレーム区間選択部５２は、カメラ特徴区間と３Ｄ特徴区間以外の特徴検出区間の中から、キーフレーム区間の数がｍになるように、キーフレーム評価値の高い順に所定の数の特徴検出区間をキーフレーム区間として選択する。キーフレーム区間の数がｍになるように選択された後、図１１のステップＳ１１に戻り、それ以降の処理が行われる。
【０１２８】
カメラ特徴区間数ａと３Ｄ特徴区間数ｂを足した数が再生区間数ｍと等しいとステップＳ２４において判定された場合、ステップＳ２５およびＳ２６の処理はスキップされる。
【０１２９】
一方、カメラ特徴区間数ａと３Ｄ特徴区間数ｂを足した数が再生区間数ｍを超えているとステップＳ２２において判定した場合、ステップＳ２７において、キーフレーム区間選択部５２は、カメラ特徴区間と３Ｄ特徴区間のキーフレーム評価値を算出する。
【０１３０】
カメラ特徴区間数ａと３Ｄ特徴区間数ｂを足した数が再生区間数ｍを超えている場合、キーフレーム区間の数がダイジェスト再生の再生時間の分を超えていることになる。従って、超えている分だけいわば絞り込みを行う必要がある。
【０１３１】
ステップＳ２８において、キーフレーム区間選択部５２は、カメラ特徴区間と３Ｄ特徴区間の中から、キーフレーム評価値の高い順にｍ区間をキーフレーム区間として選択する。キーフレーム区間がｍ区間だけ選択された後、図１１のステップＳ１１に戻り、それ以降の処理が行われる。
【０１３２】
一方、ステップＳ２１において、ユーザにより選択されたダイジェスト再生のモードが通常モードではない、すなわち要約モードであると判定した場合、ステップＳ２９において、キーフレーム区間選択部５２はDisplay typeの値が３であるか否かを判定する。
【０１３３】
ディスプレイ２２が３Ｄ対応の大型ディスプレイであり、Display typeの値が３であるとステップＳ２９において判定した場合、ステップＳ３０において、キーフレーム区間選択部５２は要約モード時の選択処理１を行う。
【０１３４】
一方、ディスプレイ２２が３Ｄ非対応または小型のディスプレイであり、Display typeの値が２であるとステップＳ２９において判定した場合、ステップＳ３１において、キーフレーム区間選択部５２は要約モード時の選択処理２を行う。
【０１３５】
要約モード時の選択処理１または２においてキーフレーム区間が選択された後、図１１のステップＳ１１に戻り、それ以降の処理が行われる。
【０１３６】
次に、図１３のフローチャートを参照して、図１２のステップＳ３０において行われる要約モード時の選択処理１について説明する。
【０１３７】
要約モード時の選択処理１は、図１０を参照して説明した、ダイジェスト再生のモードが要約モードであり、再生対象のコンテンツが３Ｄコンテンツであり、ディスプレイ２２が３Ｄ対応の大型ディスプレイである場合の処理である。
【０１３８】
ステップＳ４１において、キーフレーム区間選択部５２は、３Ｄ特徴区間数ｂが再生区間数ｍ以下であるか否かを判定する。
【０１３９】
３Ｄ特徴区間数ｂが再生区間数ｍ以下であるとステップＳ４１において判定した場合、ステップＳ４２において、キーフレーム区間選択部５２は、３Ｄ特徴区間を全てキーフレーム区間として選択する。
【０１４０】
ステップＳ４３において、キーフレーム区間選択部５２は、３Ｄ特徴区間数ｂが再生区間数ｍと等しいか否かを判定する。
【０１４１】
３Ｄ特徴区間数ｂが再生区間数ｍと等しくないとステップＳ４３において判定した場合、ステップＳ４４において、キーフレーム区間選択部５２は、３Ｄ特徴区間以外の特徴検出区間のキーフレーム評価値を算出する。
【０１４２】
３Ｄ特徴区間数ｂが再生区間数ｍ以下であり、かつ等しくない、すなわち再生区間数ｍ未満である場合、キーフレーム区間の数がダイジェスト再生の再生時間の分に足りないから、足りない分を他の特徴検出区間で埋める必要がある。
【０１４３】
ステップＳ４５において、キーフレーム区間選択部５２は、３Ｄ特徴区間以外の特徴検出区間の中から、キーフレーム区間の数がｍになるように、キーフレーム評価値の高い順に所定の数の特徴検出区間をキーフレーム区間として選択する。キーフレーム区間の数がｍになるように選択された後、図１２のステップＳ３０に戻り、それ以降の処理が行われる。
【０１４４】
３Ｄ特徴区間数ｂが再生区間数ｍと等しいとステップＳ４３において判定された場合、ステップＳ４４およびＳ４５の処理はスキップされる。
【０１４５】
一方、３Ｄ特徴区間数ｂが再生区間数ｍを超えているとステップＳ４１において判定した場合、ステップＳ４６において、キーフレーム区間選択部５２は、３Ｄ特徴区間のキーフレーム評価値を算出する。
【０１４６】
３Ｄ特徴区間数ｂが再生区間数ｍを超えている場合、キーフレーム区間の数がダイジェスト再生の再生時間の分を超えているから、超えている分だけ絞り込みを行う必要がある。
【０１４７】
ステップＳ４７において、キーフレーム区間選択部５２は、３Ｄ特徴区間の中から、キーフレーム評価値の高い順に、ｍ区間をキーフレーム区間として選択する。キーフレーム区間がｍ区間だけ選択された後、図１２のステップＳ３０に戻り、それ以降の処理が行われる。
【０１４８】
次に、図１４のフローチャートを参照して、図１２のステップＳ３１において行われる要約モード時の選択処理２について説明する。
【０１４９】
要約モード時の選択処理２は、図１０を参照して説明した、ダイジェスト再生のモードが要約モードであり、再生対象のコンテンツが３Ｄコンテンツであり、ディスプレイ２２が３Ｄ非対応または小型のディスプレイである場合の処理である。
【０１５０】
ステップＳ６１において、キーフレーム区間選択部５２は、カメラ特徴区間数ａが再生区間数ｍ以下であるか否かを判定する。
【０１５１】
カメラ特徴区間数ａが再生区間数ｍ以下であるとステップＳ６１において判定した場合、ステップＳ６２において、キーフレーム区間選択部５２は、カメラ特徴区間を全てキーフレーム区間として選択する。
【０１５２】
ステップＳ６３において、キーフレーム区間選択部５２は、カメラ特徴区間数ａが再生区間数ｍと等しいか否かを判定する。
【０１５３】
カメラ特徴区間数ａが再生区間数ｍと等しくないとステップＳ６３において判定した場合、ステップＳ６４において、キーフレーム区間選択部５２は、カメラ特徴区間以外の特徴検出区間のキーフレーム評価値を算出する。
【０１５４】
カメラ特徴区間数ａが再生区間数ｍ以下であり、かつ等しくない、すなわち再生区間数ｍ未満である場合、キーフレーム区間の数がダイジェスト再生の再生時間の分に足りないから、足りない分を他の特徴検出区間で埋める必要がある。
【０１５５】
ステップＳ６５において、キーフレーム区間選択部５２は、カメラ特徴区間以外の特徴検出区間の中から、キーフレーム区間の数がｍになるように、キーフレーム評価値の高い順に所定の数の特徴検出区間をキーフレーム区間として選択する。キーフレーム区間の数がｍになるように選択された後、図１２のステップＳ３１に戻り、それ以降の処理が行われる。
【０１５６】
カメラ特徴区間数ａが再生区間数ｍと等しいとステップＳ６３において判定された場合、ステップＳ６４およびＳ６５の処理はスキップされる。
【０１５７】
一方、カメラ特徴区間数ａが再生区間数ｍを超えているとステップＳ６１において判定した場合、ステップＳ６６において、キーフレーム区間選択部５２は、カメラ特徴区間のキーフレーム評価値を算出する。
【０１５８】
カメラ特徴区間数ａが再生区間数ｍを超えている場合、キーフレーム区間の数がダイジェスト再生の再生時間の分を超えているから、超えている分だけ絞り込みを行う必要がある。
【０１５９】
ステップＳ６７において、キーフレーム区間選択部５２は、カメラ特徴区間の中から、キーフレーム評価値の高い順に、ｍ区間をキーフレーム区間として選択する。キーフレーム区間がｍ区間だけ選択された後、図１２のステップＳ３１に戻り、それ以降の処理が行われる。
【０１６０】
次に、図１５のフローチャートを参照して、図１１のステップＳ１２において行われるキーフレーム区間選択処理２について説明する。
【０１６１】
キーフレーム区間選択処理２は、図１０を参照して説明した、再生対象のコンテンツが２Ｄコンテンツである場合の処理である。再生対象のコンテンツが２Ｄコンテンツである場合、ダイジェスト再生のモードが通常モードであっても要約モードであっても、カメラ特徴区間が優先的にキーフレーム区間として選択される。
【０１６２】
ステップＳ８１において、キーフレーム区間選択部５２は、カメラ特徴区間数ａが再生区間数ｍ以下であるか否かを判定する。
【０１６３】
カメラ特徴区間数ａが再生区間数ｍ以下であるとステップＳ８１において判定した場合、ステップＳ８２において、キーフレーム区間選択部５２は、カメラ特徴区間を全てキーフレーム区間として選択する。
【０１６４】
ステップＳ８３において、キーフレーム区間選択部５２は、カメラ特徴区間数ａが再生区間数ｍと等しいか否かを判定する。
【０１６５】
カメラ特徴区間数ａが再生区間数ｍと等しくないとステップＳ８３において判定した場合、ステップＳ８４において、キーフレーム区間選択部５２は、カメラ特徴区間以外の特徴検出区間のキーフレーム評価値を算出する。
【０１６６】
ステップＳ８５において、キーフレーム区間選択部５２は、カメラ特徴区間以外の特徴検出区間の中から、キーフレーム区間の数がｍになるように、キーフレーム評価値の高い順に所定の数の特徴検出区間をキーフレーム区間として選択する。図１５の処理が開始される前に３Ｄ特徴の検出は行われていないから、重み係数k1が１以上の値であるとすると、キーフレーム評価値はカメラ特徴評価値に比例し、カメラ特徴評価値の高い順にキーフレーム区間として選択されることになる。
【０１６７】
キーフレーム区間の数がｍになるように選択された後、図１１のステップＳ１２に戻り、それ以降の処理が行われる。
【０１６８】
カメラ特徴区間数ａが再生区間数ｍと等しいとステップＳ８３において判定された場合、ステップＳ８４およびＳ８５の処理はスキップされる。
【０１６９】
一方、カメラ特徴区間数ａが再生区間数ｍを超えているとステップＳ８１において判定した場合、ステップＳ８６において、キーフレーム区間選択部５２は、カメラ特徴区間のキーフレーム評価値を算出する。
【０１７０】
ステップＳ８７において、キーフレーム区間選択部５２は、カメラ特徴区間の中から、キーフレーム評価値の高い順に、ｍ区間をキーフレーム区間として選択する。
【０１７１】
ダイジェスト再生のモードが要約モードである場合の再生区間数ｍは、通常モード時の再生区間数ｍより少ない。従って、要約モード時のステップＳ８７の処理においてキーフレーム区間として選択される特徴検出区間のキーフレーム評価値は、通常モード時のステップＳ８７の処理において選択される特徴検出区間のキーフレーム評価値より高くなる。
【０１７２】
キーフレーム区間がｍ区間だけ選択された後、図１１のステップＳ１２に戻り、それ以降の処理が行われる。
【０１７３】
図１６は、以上の一連の処理によって実現される、再生対象のコンテンツが３Ｄコンテンツである場合のキーフレーム区間の選択の例を示す図である。
【０１７４】
図１６において、「ズーム」、「パン」、「チルト」の文字を付して示す区間はカメラ特徴区間であり、「飛び出し」の文字を付して示す区間は３Ｄ特徴区間である。
【０１７５】
図１６の（１）の例においては、再生対象の３Ｄコンテンツの区間Ｔ０乃至Ｔ１７のうち、区間Ｔ１，Ｔ４，Ｔ６，Ｔ１１，Ｔ１２，Ｔ１５がカメラ特徴区間として決定されている。カメラ特徴区間数ａは６である。また、区間Ｔ２，Ｔ３，Ｔ７，Ｔ８，Ｔ１６が３Ｄ特徴区間として決定されている。３Ｄ特徴区間数ｂは５である。区間Ｔ０，Ｔ５，Ｔ９，Ｔ１０，Ｔ１３，Ｔ１４，Ｔ１７は、カメラ特徴区間でも３Ｄ特徴区間でもない区間である。
【０１７６】
カメラ特徴区間と３Ｄ特徴区間がこのようにして決定され、カメラ特徴区間数ａが３Ｄ特徴区間数ｂより多い場合を考える。また、ダイジェスト再生のモードが通常モードである場合の再生区間数ｍは１１、要約モードである場合の再生区間数ｍは６であるものとする。
【０１７７】
ダイジェスト再生のモードが通常モードであり、ディスプレイ２２が３Ｄ対応のディスプレイである場合、図１６の（２）に示すように、区間Ｔ１，Ｔ２，Ｔ３，Ｔ４，Ｔ６，Ｔ７，Ｔ８，Ｔ１１，Ｔ１２，Ｔ１５，Ｔ１６がキーフレーム区間として選択される。すなわち、図１２のステップＳ２３の処理によって、カメラ特徴区間と３Ｄ特徴区間が全てキーフレーム区間として選択される。
【０１７８】
ダイジェスト再生のモードが通常モードであり、ディスプレイ２２が３Ｄ非対応のディスプレイである場合、図１６の（３）に示すように、区間Ｔ１，Ｔ２，Ｔ３，Ｔ４，Ｔ６，Ｔ７，Ｔ８，Ｔ１１，Ｔ１２，Ｔ１５，Ｔ１６がキーフレーム区間として選択される。これらの区間も、図１２のステップＳ２３の処理によってキーフレーム区間として選択されたものである。
【０１７９】
ダイジェスト再生のモードが要約モードであり、ディスプレイ２２が３Ｄ対応のディスプレイである場合、図１６の（４）に示すように、区間Ｔ１，Ｔ２，Ｔ３，Ｔ７，Ｔ８，Ｔ１６がキーフレーム区間として選択される。すなわち、図１３のステップＳ４２の処理によって、３Ｄ特徴区間である区間Ｔ２，Ｔ３，Ｔ７，Ｔ８，Ｔ１６がキーフレーム区間として選択され、図１３のステップＳ４５の処理によって、カメラ特徴区間である区間Ｔ１が選択される。この例によっては、カメラ特徴区間である区間Ｔ１によって、再生区間数ｍの埋め合わせが行われている。
【０１８０】
ダイジェスト再生のモードが要約モードであり、ディスプレイ２２が３Ｄ非対応のディスプレイである場合、図１６の（５）に示すように、区間Ｔ１，Ｔ４，Ｔ６，Ｔ１１，Ｔ１２，Ｔ１５がキーフレーム区間として選択される。すなわち、図１４のステップＳ６２の処理によって、カメラ特徴区間が全てキーフレーム区間として選択される。
【０１８１】
図１７は、以上の一連の処理によって実現される、再生対象のコンテンツが３Ｄコンテンツである場合のキーフレーム区間の選択の他の例を示す図である。
【０１８２】
図１７の（１）の例においては、再生対象の３Ｄコンテンツの区間Ｔ３０乃至Ｔ４７のうち、区間Ｔ３６，Ｔ４１，Ｔ４２，Ｔ４５がカメラ特徴区間として決定されている。カメラ特徴区間数ａは４である。また、区間Ｔ３２，Ｔ３３，Ｔ３４，Ｔ３７，Ｔ３８，Ｔ４６が３Ｄ特徴区間として決定されている。３Ｄ特徴区間数ｂは６である。区間Ｔ３０，Ｔ３１，Ｔ３５，Ｔ３９，Ｔ４０，Ｔ４３，Ｔ４４，Ｔ４７は、カメラ特徴区間でも３Ｄ特徴区間でもない区間である。
【０１８３】
カメラ特徴区間と３Ｄ特徴区間がこのようにして決定され、３Ｄ特徴区間数ｂがカメラ特徴区間数ａより多い場合を考える。また、ダイジェスト再生のモードが通常モードである場合の再生区間数ｍは１０、要約モードである場合の再生区間数ｍは５であるものとする。
【０１８４】
ダイジェスト再生のモードが通常モードであり、ディスプレイ２２が３Ｄ対応のディスプレイである場合、図１７の（２）に示すように、区間Ｔ３２，Ｔ３３，Ｔ３４，Ｔ３６，Ｔ３７，Ｔ３８，Ｔ４１，Ｔ４２，Ｔ４５，Ｔ４６がキーフレーム区間として選択される。すなわち、図１２のステップＳ２３の処理によって、カメラ特徴区間と３Ｄ特徴区間が全てキーフレーム区間として選択される。
【０１８５】
ダイジェスト再生のモードが通常モードであり、ディスプレイ２２が３Ｄ非対応のディスプレイである場合、図１７の（３）に示すように、区間Ｔ３２，Ｔ３３，Ｔ３４，Ｔ３６，Ｔ３７，Ｔ３８，Ｔ４１，Ｔ４２，Ｔ４５，Ｔ４６がキーフレーム区間として選択される。これらの区間も、図１２のステップＳ２３の処理によってキーフレーム区間として選択されたものである。
【０１８６】
ダイジェスト再生のモードが要約モードであり、ディスプレイ２２が３Ｄ対応のディスプレイである場合、図１７の（４）に示すように、区間Ｔ３２，Ｔ３３，Ｔ３７，Ｔ３８，Ｔ４６がキーフレーム区間として選択される。すなわち、図１３のステップＳ４７の処理によって、３Ｄ特徴区間の中から、キーフレーム評価値の高い順に区間Ｔ３２，Ｔ３３，Ｔ３７，Ｔ３８，Ｔ４６がキーフレーム区間として選択される。この例においては、キーフレーム評価値に基づく絞り込みによって、３Ｄ特徴区間である区間Ｔ３４がキーフレーム区間として選択されていない。
【０１８７】
ダイジェスト再生のモードが要約モードであり、ディスプレイ２２が３Ｄ非対応のディスプレイである場合、図１７の（５）に示すように、区間Ｔ３２，Ｔ３６，Ｔ４１，Ｔ４２，Ｔ４５がキーフレーム区間として選択される。すなわち、図１４のステップＳ６２の処理によって、カメラ特徴区間である区間Ｔ３６，Ｔ４１，Ｔ４２，Ｔ４５がキーフレーム区間として選択され、図１４のステップＳ６５の処理によって、３Ｄ特徴区間である区間Ｔ３２が選択される。この例によっては、３Ｄ特徴区間である区間Ｔ３２によって、再生区間数ｍの埋め合わせが行われている。
【０１８８】
以上の処理により、コンテンツのダイジェスト再生を行う場合に、コンテンツの再生区間をディスプレイの属性に応じて切り替えることが可能になる。
【０１８９】
また、ユーザは、ディスプレイに適した画像を視聴することによって、コンテンツの内容を効率的に確認することができる。
【０１９０】
［変形例］
以上においては、カメラ特徴区間と３Ｄ特徴区間を決定し、その中からキーフレーム区間を優先的に選択するものとしたが、カメラ特徴区間と３Ｄ特徴区間を決定することなく、キーフレーム評価値に基づいて選択するようにしてもよい。
【０１９１】
図１８は、キーフレーム評価値を算出するときに用いる重み係数k1，k2の関係の例を示す図である。
【０１９２】
式（２）を参照して説明したように、k1はカメラ特徴評価値の重み係数であり、k2は３Ｄ特徴評価値の重み係数である。
【０１９３】
ユーザにより選択されたダイジェスト再生のモードが通常モードである場合について説明する。
【０１９４】
この場合において、ディスプレイ２２が３Ｄ非対応または小型のディスプレイであり、再生対象のコンテンツが２Ｄコンテンツであるとき、重み係数k1として所定の値が設定され、重み係数k2として０が設定される。２Ｄコンテンツを対象としては３Ｄ特徴の検出は行われないから、キーフレーム評価値の算出に際して３Ｄ特徴評価値は考慮されない。
【０１９５】
ディスプレイ２２が３Ｄ非対応または小型のディスプレイであり、再生対象のコンテンツが３Ｄコンテンツであるとき、重み係数k1と重み係数k2として所定の同じ値が設定される。
【０１９６】
ディスプレイ２２が３Ｄ対応の大型のディスプレイであり、再生対象のコンテンツが２Ｄコンテンツであるとき、重み係数k1として所定の値が設定され、重み係数k2として０が設定される。
【０１９７】
ディスプレイ２２が３Ｄ対応の大型のディスプレイであり、再生対象のコンテンツが３Ｄコンテンツであるとき、重み係数k1と重み係数k2として所定の同じ値が設定される。
【０１９８】
ユーザにより選択されたダイジェスト再生のモードが要約モードである場合について説明する。
【０１９９】
ダイジェスト再生のモードが要約モードである場合、キーフレーム区間として選択するか否かの判定においてキーフレーム評価値との比較に用いられる閾値として、通常モード時の閾値より大きい値が設定される。これにより、通常、キーフレーム区間として選択される特徴検出区間の数が通常モード時より少なくなる。
【０２００】
この場合において、ディスプレイ２２が３Ｄ非対応または小型のディスプレイであり、再生対象のコンテンツが２Ｄコンテンツであるとき、重み係数k1として所定の値が設定され、重み係数k2として０が設定される。
【０２０１】
ディスプレイ２２が３Ｄ非対応または小型のディスプレイであり、再生対象のコンテンツが３Ｄコンテンツであるとき、重み係数k1として、重み係数k2より大きい値が設定される。これにより、カメラ特徴評価値がキーフレーム評価値に与える影響の方が、３Ｄ特徴評価値がキーフレーム評価値に与える影響より大きくなるから、カメラ特徴評価値の大きい特徴検出区間がキーフレーム区間として選択されやすくなる。
【０２０２】
ディスプレイ２２が３Ｄ対応の大型のディスプレイであり、再生対象のコンテンツが２Ｄコンテンツであるとき、重み係数k1として所定の値が設定され、重み係数k2として０が設定される。
【０２０３】
ディスプレイ２２が３Ｄ対応の大型のディスプレイであり、再生対象のコンテンツが３Ｄコンテンツであるとき、重み係数k2として、重み係数k1より大きい値が設定される。これにより、３Ｄ特徴評価値がキーフレーム評価値に与える影響の方が、カメラ特徴評価値がキーフレーム評価値に与える影響より大きくなるから、３Ｄ特徴評価値の大きい特徴検出区間がキーフレーム区間として選択されやすくなる。
【０２０４】
図１８に示すようにして重み係数を設定し、キーフレーム区間を選択する再生装置１の処理について説明する。
【０２０５】
この処理は、キーフレーム区間選択処理１および２（ステップＳＳ１１，Ｓ１２）の内容が異なる点を除いて、図１１を参照して説明した処理と同じ処理である。重複する説明については省略する。
【０２０６】
図１９のフローチャートを参照して、図１８に示すようにして重み係数を設定し、キーフレーム区間を選択する場合に図１１のステップＳ１１において行われるキーフレーム区間選択処理１について説明する。
【０２０７】
キーフレーム区間選択処理１は、図１８を参照して説明した、再生対象のコンテンツが３Ｄコンテンツである場合の処理である。
【０２０８】
ステップＳ１０１において、キーフレーム区間選択部５２は、ユーザにより選択されたダイジェスト再生のモードが通常モードであるか否かを判定する。
【０２０９】
ダイジェスト再生のモードが通常モードであるとステップＳ１０１において判定した場合、ステップＳ１０２において、キーフレーム区間選択部５２は、重み係数k1と重み係数k2として所定の同じ値を設定する。また、キーフレーム区間選択部５２は、閾値Th1を設定する。
【０２１０】
一方、ステップＳ１０１において、ダイジェスト再生のモードが通常モードではない、すなわち要約モードであると判定した場合、ステップＳ１０３において、キーフレーム区間選択部５２は、Display typeの値が３であるか否かを判定する。
【０２１１】
Display typeの値が３であるとステップＳ１０３において判定した場合、ステップＳ１０４において、キーフレーム区間選択部５２は、重み係数k2として、重み係数k1より大きい値を設定する。また、キーフレーム区間選択部５２は、閾値Th2として閾値Th1より大きい値を設定する。
【０２１２】
Display typeの値が２であるとステップＳ１０３において判定した場合、ステップＳ１０５において、キーフレーム区間選択部５２は、重み係数k1として、重み係数k2より大きい値を設定する。また、キーフレーム区間選択部５２は、閾値Th2として閾値Th1より大きい値を設定する。
【０２１３】
重み係数と閾値を設定した後、ステップＳ１０６において、キーフレーム区間選択部５２は、選択済みのキーフレーム区間の数を表すｎの値として０を設定し、初期化する。
【０２１４】
ステップＳ１０７において、キーフレーム区間選択部５２は、一つの特徴検出区間に注目する。例えば、先頭の特徴検出区間から順に一区間ずつ注目される。
【０２１５】
ステップＳ１０８において、キーフレーム区間選択部５２は、注目している特徴検出区間のキーフレーム評価値を算出する。
【０２１６】
図１９の処理が開始される前、カメラ特徴評価値は図１１のステップＳ７において算出され、３Ｄ特徴評価値は図１１のステップＳ１０において算出されている。キーフレーム区間選択部５２は、式（２）に従って、カメラ特徴評価値と、設定した重み係数k1を乗算するとともに、３Ｄ特徴評価値と、設定した重み係数k2を乗算し、それらの乗算結果を加算することによってキーフレーム評価値を算出する。
【０２１７】
ステップＳ１０９において、キーフレーム区間選択部５２は、注目している特徴検出区間のキーフレーム評価値が、そのとき設定されている閾値（閾値Th1またはTh2）を超えているか否かを判定する。
【０２１８】
注目している特徴検出区間のキーフレーム評価値が閾値を超えているとステップＳ１０９において判定した場合、ステップＳ１１０において、キーフレーム区間選択部５２は、いま注目している特徴検出区間をキーフレーム区間として選択する。
【０２１９】
ステップＳ１１１において、キーフレーム区間選択部５２は、ｎの値を１だけインクリメントする。
【０２２０】
ステップＳ１１２において、キーフレーム区間選択部５２は、ｎの値が再生区間数ｍと等しいか否かを判定する。
【０２２１】
ｎの値が再生区間数ｍと等しいとステップＳ１１２において判定された場合、図１１のステップＳ１１に戻り、それ以降の処理が行われる。図１１のステップＳ１３において、図１９の処理により選択されたキーフレーム区間が順次再生される。
【０２２２】
一方、キーフレーム評価値が閾値を超えていないとステップＳ１０９において判定した場合、ステップＳ１１３において、キーフレーム区間選択部５２は、全ての特徴検出区間に注目したか否かを判定する。ｎの値が再生区間数ｍと等しくないとステップＳ１１２において判定された場合も同様に処理はステップＳ１１３に進む。
【０２２３】
全ての特徴検出区間に注目していないとステップＳ１１３において判定した場合、キーフレーム区間選択部５２は、ステップＳ１０７に戻り、注目する特徴検出区間を切り替えて同様の処理を繰り返す。
【０２２４】
一方、全ての特徴検出区間に注目したとステップＳ１１３において判定された場合、図１１のステップＳ１１に戻り、それ以降の処理が行われる。キーフレーム区間の数が足りない場合、キーフレーム区間の数がｍになるように、キーフレーム評価値の高い順に特徴検出区間が選択されるようにしてもよい。
【０２２５】
次に、図２０のフローチャートを参照して、図１８に示すようにして重み係数を設定し、キーフレーム区間を選択する場合に図１１のステップＳ１２において行われるキーフレーム区間選択処理２について説明する。
【０２２６】
キーフレーム区間選択処理２は、図１８を参照して説明した、再生対象のコンテンツが２Ｄコンテンツである場合の処理である。
【０２２７】
ステップＳ１２１において、キーフレーム区間選択部５２は、ユーザにより選択されたダイジェスト再生のモードが通常モードであるか否かを判定する。
【０２２８】
ダイジェスト再生のモードが通常モードであるとステップＳ１２１において判定した場合、ステップＳ１２２において、キーフレーム区間選択部５２は、重み係数k1として所定の値を設定し、重み係数k2として０を設定する。また、キーフレーム区間選択部５２は、閾値Th1を設定する。
【０２２９】
一方、ステップＳ１２１において、ダイジェスト再生のモードが通常モードではない、すなわち要約モードであると判定した場合、ステップＳ１２３において、キーフレーム区間選択部５２は、重み係数k1として所定の値を設定し、重み係数k2として０を設定する。また、キーフレーム区間選択部５２は、閾値Th2の値として閾値Th1より大きい値を設定する。
【０２３０】
ステップＳ１２４以降の処理は、図１９のステップＳ１０６以降の処理と同様の処理である。ステップＳ１２４において、キーフレーム区間選択部５２は、選択済みのキーフレーム区間の数を表すｎの値として０を設定し、初期化する。
【０２３１】
ステップＳ１２５において、キーフレーム区間選択部５２は、一つの特徴検出区間に注目する。
【０２３２】
ステップＳ１２６において、キーフレーム区間選択部５２は、注目している特徴検出区間のキーフレーム評価値を算出する。
【０２３３】
図１９の処理が開始される前、カメラ特徴評価値は図１１のステップＳ７において算出されている。キーフレーム区間選択部５２は、式（２）に従って、カメラ特徴評価値と、設定した重み係数k1を乗算することによってキーフレーム評価値を算出する。
【０２３４】
ステップＳ１２７において、キーフレーム区間選択部５２は、注目している特徴検出区間のキーフレーム評価値が、そのとき設定されている閾値（閾値Th1またはTh2）を超えているか否かを判定する。
【０２３５】
注目している特徴検出区間のキーフレーム評価値が閾値を超えているとステップＳ１２７において判定した場合、ステップＳ１２８において、キーフレーム区間選択部５２は、いま注目している特徴検出区間をキーフレーム区間として選択する。
【０２３６】
ステップＳ１２９において、キーフレーム区間選択部５２は、ｎの値を１だけインクリメントする。
【０２３７】
ステップＳ１３０において、キーフレーム区間選択部５２は、ｎの値が再生区間数ｍと等しいか否かを判定する。
【０２３８】
ｎの値が再生区間数ｍと等しいとステップＳ１３０において判定された場合、図１１のステップＳ１２に戻り、それ以降の処理が行われる。図１１のステップＳ１３において、図２０の処理により選択されたキーフレーム区間が順次再生される。
【０２３９】
一方、キーフレーム評価値が閾値を超えていないとステップＳ１２７において判定した場合、ステップＳ１３１において、キーフレーム区間選択部５２は、全ての特徴検出区間に注目したか否かを判定する。ｎの値が再生区間数ｍと等しくないとステップＳ１３０において判定された場合も同様に処理はステップＳ１３１に進む。
【０２４０】
全ての特徴検出区間に注目していないとステップＳ１３１において判定した場合、キーフレーム区間選択部５２は、ステップＳ１２５に戻り、注目する特徴検出区間を切り替えて同様の処理を繰り返す。
【０２４１】
一方、全ての特徴検出区間に注目したとステップＳ１３１において判定された場合、図１１のステップＳ１２に戻り、それ以降の処理が行われる。キーフレーム区間の数が足りない場合、キーフレーム区間の数がｍになるように、キーフレーム評価値の高い順に特徴検出区間が選択されるようにしてもよい。
【０２４２】
以上の処理によって、ディスプレイ２２が３Ｄ対応の大型のディスプレイである場合には、３Ｄ特徴評価値の大きい特徴検出区間がキーフレーム区間として選択されやすくなり、ユーザはコンテンツの内容を効率的に確認することができる。
【０２４３】
また、ディスプレイ２２が３Ｄ非対応または小型のディスプレイである場合には、カメラ特徴評価値の大きい特徴検出区間がキーフレーム区間として選択されやすくなり、これによっても、ユーザはコンテンツの内容を効率的に確認することができる。
【０２４４】
［変形例］
以上においては、キーフレーム区間の選択がカメラ特徴と３Ｄ特徴に基づいて行われるものとしたが、コンテンツに含まれる音声の特徴をも用いてキーフレーム区間が選択されるようにしてもよい。音声の特徴には音量が含まれる。
【０２４５】
特徴検出区間のうち、音声特徴に基づいて算出された音声特徴評価値が閾値より大きい特徴検出区間は音声特徴区間として決定される。音声特徴を考慮する場合、図１０の表における「カメラ特徴区間」の部分を、「カメラ特徴区間＋音声特徴区間」と置き換えてキーフレーム区間の選択が行われる。
【０２４６】
また、図１０に示すようにしてカメラ特徴区間と３Ｄ特徴区間の中から優先的にキーフレーム区間を選択した場合においてキーフレーム区間の数が足りないとき、音声特徴区間の中からキーフレーム区間が優先的に選択されるようにしてもよい。
【０２４７】
コンテンツの画像に関する特徴として、３Ｄ特徴とともにカメラ特徴が用いられるものとしたが、パンやズームなどのカメラ特徴に代えて、シーンチェンジや明るさ情報などの、画像に関する他の特徴が用いられるようにしてもよい。
【０２４８】
以上においては、ダイジェスト再生を行うためにキーフレーム区間の選択が行われるものとしたが、選択したキーフレーム区間を用いて他の処理が行われるようにしてもよい。例えば、キーフレーム区間の先頭の１フレームの画像が、録画済みのコンテンツの一覧画面などにコンテンツの代表画として表示されるようにしてもよい。
【０２４９】
［コンピュータの構成例］
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０２５０】
図２１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２５１】
CPU(Central Processing Unit)１０１、ROM(Read Only Memory)１０２、RAM(Random Access Memory)１０３は、バス１０４により相互に接続されている。
【０２５２】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウスなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７が接続される。また、入出力インタフェース１０５には、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、リムーバブルメディア１１１を駆動するドライブ１１０が接続される。
【０２５３】
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを入出力インタフェース１０５及びバス１０４を介してRAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【０２５４】
CPU１０１が実行するプログラムは、例えばリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部１０８にインストールされる。
【０２５５】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２５６】
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０２５７】
１ 再生装置， ３１ システムコントローラ， ３２ ユーザI/F， ３３ 再生制御部， ３４ 記録媒体， ３５ 再生処理部， ３６ 特徴抽出部， ３７ 表示処理部， ５１ 属性検出部， ５２ キーフレーム区間選択部
【特許請求の範囲】
【請求項１】
コンテンツの画像を表示するディスプレイの属性を検出する属性検出手段と、
画像に関する特徴を前記コンテンツの区間毎に検出する特徴検出手段と、
前記特徴検出手段により検出された前記画像に関する特徴に基づいて選択する前記コンテンツの区間である特徴区間を、前記属性検出手段により検出された前記ディスプレイの属性に応じて切り替える選択手段と
を備える再生装置。
【請求項２】
前記属性検出手段は、前記ディスプレイの属性として、３Ｄ画像の表示に対応しているか否かと、サイズが閾値より大きいか否かとを検出し、
前記特徴検出手段は、前記画像に関する特徴として、前記コンテンツが３Ｄ画像を含むコンテンツである場合には、左目用画像と右目用画像の視差と、前記視差とは異なる種類の所定の特徴とを検出し、前記コンテンツが２Ｄ画像を含むコンテンツである場合には前記所定の特徴を検出する
請求項１に記載の再生装置。
【請求項３】
前記選択手段は、前記コンテンツが３Ｄ画像を含むコンテンツであり、前記ディスプレイが３Ｄ画像の表示に対応する閾値より大きいサイズのディスプレイである場合、前記視差が閾値より大きい区間の中から前記特徴区間を選択する
請求項２に記載の再生装置。
【請求項４】
前記選択手段は、前記コンテンツが３Ｄ画像を含むコンテンツであり、前記ディスプレイが３Ｄ画像の表示に対応しない、または、閾値より小さいサイズのディスプレイである場合、前記所定の特徴が閾値より大きい区間の中から前記特徴区間を選択する
請求項３に記載の再生装置。
【請求項５】
前記選択手段は、前記コンテンツが３Ｄ画像を含むコンテンツであり、前記ディスプレイが３Ｄ画像の表示に対応する閾値より大きいサイズのディスプレイである場合、前記コンテンツの区間毎に、前記所定の特徴の量を表す値に第１の重み係数を乗算して得られた値と、視差を表す値に、前記第１の重み係数より大きい第２の重み係数を乗算して得られた値とを加算することによって評価値を算出し、算出した評価値が閾値より大きい区間を、前記特徴区間として選択する
請求項２に記載の再生装置。
【請求項６】
前記選択手段は、前記コンテンツが３Ｄ画像を含むコンテンツであり、前記ディスプレイが３Ｄ画像の表示に対応しない、または、閾値より小さいサイズのディスプレイである場合、前記コンテンツの区間毎に、前記所定の特徴の量を表す値に第１の重み係数を乗算して得られた値と、視差を表す値に、前記第１の重み係数より小さい第２の重み係数を乗算して得られた値とを加算することによって評価値を算出し、算出した評価値が閾値より大きい区間を、前記特徴区間として選択する
請求項５に記載の再生装置。
【請求項７】
前記コンテンツの全区間のうち、前記選択手段により選択された前記特徴区間を再生する再生手段と、
前記再生手段により再生された前記特徴区間の画像を前記ディスプレイに表示させる表示制御手段と
をさらに備える請求項１に記載の再生装置。
【請求項８】
コンテンツの画像を表示するディスプレイの属性を検出し、
画像に関する特徴を前記コンテンツの区間毎に検出し、
前記画像に関する特徴に基づいて選択する前記コンテンツの区間である特徴区間を、前記ディスプレイの属性に応じて切り替える
ステップを含む再生方法。
【請求項９】
コンテンツの画像を表示するディスプレイの属性を検出し、
画像に関する特徴を前記コンテンツの区間毎に検出し、
前記画像に関する特徴に基づいて選択する前記コンテンツの区間である特徴区間を、前記ディスプレイの属性に応じて切り替える
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項１】
コンテンツの画像を表示するディスプレイの属性を検出する属性検出手段と、
画像に関する特徴を前記コンテンツの区間毎に検出する特徴検出手段と、
前記特徴検出手段により検出された前記画像に関する特徴に基づいて選択する前記コンテンツの区間である特徴区間を、前記属性検出手段により検出された前記ディスプレイの属性に応じて切り替える選択手段と
を備える再生装置。
【請求項２】
前記属性検出手段は、前記ディスプレイの属性として、３Ｄ画像の表示に対応しているか否かと、サイズが閾値より大きいか否かとを検出し、
前記特徴検出手段は、前記画像に関する特徴として、前記コンテンツが３Ｄ画像を含むコンテンツである場合には、左目用画像と右目用画像の視差と、前記視差とは異なる種類の所定の特徴とを検出し、前記コンテンツが２Ｄ画像を含むコンテンツである場合には前記所定の特徴を検出する
請求項１に記載の再生装置。
【請求項３】
前記選択手段は、前記コンテンツが３Ｄ画像を含むコンテンツであり、前記ディスプレイが３Ｄ画像の表示に対応する閾値より大きいサイズのディスプレイである場合、前記視差が閾値より大きい区間の中から前記特徴区間を選択する
請求項２に記載の再生装置。
【請求項４】
前記選択手段は、前記コンテンツが３Ｄ画像を含むコンテンツであり、前記ディスプレイが３Ｄ画像の表示に対応しない、または、閾値より小さいサイズのディスプレイである場合、前記所定の特徴が閾値より大きい区間の中から前記特徴区間を選択する
請求項３に記載の再生装置。
【請求項５】
前記選択手段は、前記コンテンツが３Ｄ画像を含むコンテンツであり、前記ディスプレイが３Ｄ画像の表示に対応する閾値より大きいサイズのディスプレイである場合、前記コンテンツの区間毎に、前記所定の特徴の量を表す値に第１の重み係数を乗算して得られた値と、視差を表す値に、前記第１の重み係数より大きい第２の重み係数を乗算して得られた値とを加算することによって評価値を算出し、算出した評価値が閾値より大きい区間を、前記特徴区間として選択する
請求項２に記載の再生装置。
【請求項６】
前記選択手段は、前記コンテンツが３Ｄ画像を含むコンテンツであり、前記ディスプレイが３Ｄ画像の表示に対応しない、または、閾値より小さいサイズのディスプレイである場合、前記コンテンツの区間毎に、前記所定の特徴の量を表す値に第１の重み係数を乗算して得られた値と、視差を表す値に、前記第１の重み係数より小さい第２の重み係数を乗算して得られた値とを加算することによって評価値を算出し、算出した評価値が閾値より大きい区間を、前記特徴区間として選択する
請求項５に記載の再生装置。
【請求項７】
前記コンテンツの全区間のうち、前記選択手段により選択された前記特徴区間を再生する再生手段と、
前記再生手段により再生された前記特徴区間の画像を前記ディスプレイに表示させる表示制御手段と
をさらに備える請求項１に記載の再生装置。
【請求項８】
コンテンツの画像を表示するディスプレイの属性を検出し、
画像に関する特徴を前記コンテンツの区間毎に検出し、
前記画像に関する特徴に基づいて選択する前記コンテンツの区間である特徴区間を、前記ディスプレイの属性に応じて切り替える
ステップを含む再生方法。
【請求項９】
コンテンツの画像を表示するディスプレイの属性を検出し、
画像に関する特徴を前記コンテンツの区間毎に検出し、
前記画像に関する特徴に基づいて選択する前記コンテンツの区間である特徴区間を、前記ディスプレイの属性に応じて切り替える
ステップを含む処理をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１１−１７１８６２（Ｐ２０１１−１７１８６２Ａ）
【公開日】平成２３年９月１日（２０１１．９．１）
【国際特許分類】
【出願番号】特願２０１０−３１８５７（Ｐ２０１０−３１８５７）
【出願日】平成２２年２月１６日（２０１０．２．１６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年９月１日（２０１１．９．１）
【国際特許分類】
【出願日】平成２２年２月１６日（２０１０．２．１６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]