画像処理装置、撮像装置、および画像表示制御方法、並びにコンピュータ・プログラム
【課題】シーンにおける時系列の顔サムネイル画像データを生成して表示部に表示する構成を提供する。
【解決手段】１つの動画像データの記録単位として設定される１つのシーンにおける時系列顔サムネイル画像データ（顔インデックス）を生成して表示部に表示する。本構成によって、多くの場合、撮影データの中心となる人の顔に基づいて容易に各シーンの内容を知ることができる。また、ユーザが時系列顔サムネイル画像を指定することで、指定された顔サムネイル画像の生成元となった画像フレームを起点とした画像再生が実行されるので、見たい場面の再生を即座に行なうことができる。
【解決手段】１つの動画像データの記録単位として設定される１つのシーンにおける時系列顔サムネイル画像データ（顔インデックス）を生成して表示部に表示する。本構成によって、多くの場合、撮影データの中心となる人の顔に基づいて容易に各シーンの内容を知ることができる。また、ユーザが時系列顔サムネイル画像を指定することで、指定された顔サムネイル画像の生成元となった画像フレームを起点とした画像再生が実行されるので、見たい場面の再生を即座に行なうことができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、および画像表示制御方法、並びにコンピュータ・プログラムに関する。さらに詳細には、例えばビデオカメラなどによって撮像された多数の動画像データから選択された画像をサムネイル画像一覧として表示するとともに、一覧表示されたサムネイル画像の指定に応じて、サムネイル画像位置からの動画再生処理を実行する画像処理装置、撮像装置、および画像表示制御方法、並びにコンピュータ・プログラムに関する。
【背景技術】
【０００２】
昨今のデジタルカメラ、デジタルビデオカメラなどの撮像装置、あるいはＤＶＤプレーヤなどの画像処理装置は、例えば画像表示部やモニタ画面に記録媒体（記録メディア）に格納された画像データの一覧を表示する機能を備えているものが多い。
【０００３】
例えば、撮像装置やＤＶＤプレーヤなど動画再生可能な装置は、動画のタイトルまたはチャプターをメニュー形式で並べて表示し、これらの表示データからユーザに再生コンテンツを選択させて再生処理を行なうものがある。また、例えば撮像装置において撮影された動画について、１回の撮影処理、すなわち、撮影開始から撮影停止までの動画データを１シーンとして、各シーンから選択された代表画像の縮小画像（サムネイル画像）を表示する構成、すなわち、記録媒体に記録されている複数のシーン（動画データ）についてのサムネイル画像一覧を表示する構成としたものがある。尚、シーンはカットとも呼称される。
【０００４】
例えば、特許文献１（特許３６３６８３０号公報）は、各シーンから選択された代表画像の縮小画像（サムネイル画像）を表示する構成について開示している。
【０００５】
このように、記録媒体に格納された各画像データファイルを構成する画像データの縮小画像（サムネイル画像）をモニタの１画面内に提示することにより、ユーザは撮影データなどをある程度、把握することができる。
【０００６】
しかしながら従来のＤＶＤプレーヤやビデオカメラなどにおけるサムネイル画像一覧表示構成は、シーンを単位として１つのサムネイル画像を表示する構成である。すなわち、１回の撮影開始から撮影停止までの動画データを１シーンとして、その１シーンに対して１つの代表画像、例えば１シーンの先頭画像を選択してそのサムネイル画像を表示するといった処理を行なうものであった。
【０００７】
記録メディアには様々な動画像データ（シーン）が記録されており、各々のシーン（１回の撮影動画データ）はその長さが短いシーン、たとえば数秒のシーン、長いシーン、たとえば１時間のシーンなど様々であり、サムネイル画像一覧から、各シーンに何が映っているのか判断が難しい場合も発生する。一般的に、サムネイル画像一覧の表示に際しては、各シーンの先頭画像の静止画が選択され、これを縮小画像として提示する構成であり、先頭画像のみを提示しても、ユーザはどのような内容の画像データであるかを把握することが困難となる場合が多い。すなわち、先頭の画像のみを提示しても必ずしも動画の内容が把握できる画像にはならないことが多い。
【０００８】
また、サムネイル画像一覧から再生対象シーンを選択した場合、各シーンの先頭からの再生が実行されるが、シーン中の本当に見たい場面は、シーンの途中であるような場合も多く、このような場合、ユーザは再生を開始して、早送り処理を実行して、再生したいデータ位置を、再生画面や早送り画面を見ながら探り当てるといったことが必要となる。
【特許文献１】特許３６３６８３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明は、上述の問題点に鑑みてなされたものである。例えばビデオカメラにおいて撮影する被写体の多くには人物が含まれ、人物を中心とした撮影データの内容や場面の把握には、人物の顔が最も重要なデータであることを考慮し、記憶部に記録された各シーンの各々について、シーンに含まれる人物の顔を含む画像フレーム（ピクチャ）を検出し、検出した画像から人物の顔を切り出して切り出した顔画像のサムネイル画像を生成して時系列に並べた時系列顔サムネイル画像を提示するものである。
【００１０】
時系列顔サムネイル画像の提示により、ユーザは、シーン内容の把握や各場面の把握を正確に行なうことが可能となる。さらに、提示された顔サムネイル画像の任意のサムネイル画像を再生起点とした再生処理を可能とし、ユーザにとって利用し易い画像処理装置、撮像装置、および画像表示制御方法、並びにコンピュータ・プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の第１の側面は、
ユーザ操作情報を入力する入力部と、
動画データを記録する記録媒体と、
前記入力部からの入力に基づいて、前記記録媒体に記録されたデータを取得して表示部に出力する表示データを生成するデータ処理部と、
前記表示データを表示する表示部とを有し、
前記データ処理部は、
前記記録媒体に記録された１つの動画像記録単位であるシーンから、人物の顔を含むフレームを選択し選択フレームから切り出した顔領域のサムネイル画像（縮小画像）を生成し、生成した顔サムネイル画像を時系列に並べた時系列顔サムネイル画像一覧を前記表示部に表示する処理を実行する構成であることを特徴とする画像処理装置にある。
【００１２】
さらに、本発明の画像処理装置の一実施態様において、前記記録媒体には、当該記録媒体に記録された画像情報を管理する画像情報管理ファイルが記録され、前記データ処理部は、前記記録媒体に記録された前記画像情報管理ファイルから、１つの動画像記録単位であるシーンを構成するフレーム各々の顔領域の有無、および顔領域位置情報を取得して、人物の顔を含むフレームを選択し選択フレームから切り出した顔領域のサムネイル画像（縮小画像）を生成する処理を実行する構成であることを特徴とする。
【００１３】
さらに、本発明の画像処理装置の一実施態様において、前記データ処理部は、前記記録媒体に記録された１つの動画像記録単位であるシーンの解析を実行して、シーン構成フレーム各々の顔領域の有無、および顔領域位置情報を取得して、人物の顔を含むフレームを選択し選択フレームから切り出した顔領域のサムネイル画像（縮小画像）を生成する処理を実行する構成であることを特徴とする。
【００１４】
さらに、本発明の画像処理装置の一実施態様において、前記データ処理部は、前記時系列顔サムネイル画像一覧に表示する顔サムネイル画像の生成対象データとして、フレーム内圧縮符号化画像を選択して顔サムネイル画像を生成する処理を実行する構成であることを特徴とする。
【００１５】
さらに、本発明の画像処理装置の一実施態様において、前記入力部の一部は、前記表示部に構成されるタッチパネルであり、前記データ処理部は、前記表示部に表示される前記時系列顔サムネイル画像一覧に対するユーザからの顔サムネイル画像指定情報を入力し、指定された顔サムネイル画像に対応する画像位置からの再生処理を実行する構成であることを特徴とする。
【００１６】
さらに、本発明の画像処理装置の一実施態様において、前記データ処理部は、前記時系列顔サムネイル画像一覧に併せて、該時系列顔サムネイル画像一覧の生成対象としたシーンの代表画像であるシーンインデックスを前記表示部に表示する処理を実行し、シーンインデックスの更新に併せて、前記時系列顔サムネイル画像一覧を更新されたシーンインデックスに対応する顔サムネイル画像一覧に更新する処理を実行する構成であることを特徴とする。
【００１７】
さらに、本発明の第２の側面は、
撮像部と、
ユーザ操作情報を入力する入力部と、
動画データを記録する記録媒体と、
前記入力部からの入力に基づいて、前記記録媒体に記録されたデータを取得して表示部に出力する表示データを生成するデータ処理部と、
前記表示データを表示する表示部とを有し、
前記データ処理部は、
前記記録媒体に記録された１つの動画像記録単位であるシーンから、人物の顔を含むフレームを選択し選択フレームから切り出した顔領域のサムネイル画像（縮小画像）を生成し、生成した顔サムネイル画像を時系列に並べた時系列顔サムネイル画像一覧を前記表示部に表示する処理を実行する構成であることを特徴とする撮像装置にある。
【００１８】
さらに、本発明の撮像装置の一実施態様において、前記撮像装置は、前記撮像部から取得される撮影データに人物の顔領域が含まれるか否かを検出する顔検出部を有し、前記データ処理部は、前記顔検出部において顔が検出された場合、前記表示部に表示する撮像画像に併せて顔が検出されたことを知らせる顔検出アイコンの表示を実行する構成であることを特徴とする。
【００１９】
さらに、本発明の第３の側面は、
画像処理装置において実行する画像表示制御方法であり、
入力部においてユーザ操作情報を入力する操作情報入力ステップと、
データ処理部が、前記入力部からの入力に基づいて、動画データを記録した記録媒体からデータを取得して表示部に出力する表示データを生成するデータ処理ステップと、
表示部が、前記表示データを表示する表示ステップを有し、
前記データ処理ステップは、
前記記録媒体に記録された１つの動画像記録単位であるシーンから、人物の顔を含むフレームを選択し選択フレームから切り出した顔領域のサムネイル画像（縮小画像）を生成し、生成した顔サムネイル画像を時系列に並べた時系列顔サムネイル画像一覧を前記表示部に表示する処理を実行するステップであることを特徴とする画像表示制御方法にある。
【００２０】
さらに、本発明の画像表示制御方法の一実施態様において、前記データ処理ステップは、前記記録媒体に記録された画像情報管理ファイルから、１つの動画像記録単位であるシーンを構成するフレーム各々の顔領域の有無、および顔領域位置情報を取得して、人物の顔を含むフレームを選択し選択フレームから切り出した顔領域のサムネイル画像（縮小画像）を生成する処理を実行するステップであることを特徴とする。
【００２１】
さらに、本発明の画像表示制御方法の一実施態様において、前記データ処理ステップは、前記記録媒体に記録された１つの動画像記録単位であるシーンの解析を実行して、シーン構成フレーム各々の顔領域の有無、および顔領域位置情報を取得して、人物の顔を含むフレームを選択し選択フレームから切り出した顔領域のサムネイル画像（縮小画像）を生成する処理を実行するステップであることを特徴とする。
【００２２】
さらに、本発明の画像表示制御方法の一実施態様において、前記データ処理ステップは、前記時系列顔サムネイル画像一覧に表示する顔サムネイル画像の生成対象データとして、フレーム内圧縮符号化画像を選択して顔サムネイル画像を生成する処理を実行するステップであることを特徴とする。
【００２３】
さらに、本発明の画像表示制御方法の一実施態様において、前記入力部の一部は、前記表示部に構成されるタッチパネルであり、前記画像表示制御方法において、さらに、前記データ処理部は、前記表示部に表示される前記時系列顔サムネイル画像一覧に対するユーザからの顔サムネイル画像指定情報を入力し、指定された顔サムネイル画像に対応する画像位置からの再生処理を実行することを特徴とする。
【００２４】
さらに、本発明の画像表示制御方法の一実施態様において、前記データ処理ステップは、前記時系列顔サムネイル画像一覧に併せて、該時系列顔サムネイル画像一覧の生成対象としたシーンの代表画像であるシーンインデックスを前記表示部に表示する処理を実行し、シーンインデックスの更新に併せて、前記時系列顔サムネイル画像一覧を更新されたシーンインデックスに対応する顔サムネイル画像一覧に更新する処理を実行するステップであることを特徴とする。
【００２５】
さらに、本発明の第４の側面は、
撮像装置において実行する画像表示制御方法であり、
撮像部が撮像処理を実行する撮像ステップと、
入力部が、ユーザ操作情報を入力する操作情報入力ステップと、
顔検出部が、前記撮像部から取得される撮影データに人物の顔領域が含まれるか否かを検出する顔検出ステップと、
データ処理部が、前記顔検出部において顔が検出された場合、前記表示部に表示する撮像画像に併せて顔が検出されたことを知らせる顔検出アイコンの表示を実行するアイコン表示ステップと、
前記データ処理部が、前記記録媒体に記録された１つの動画像記録単位であるシーンから、人物の顔を含むフレームを選択し選択フレームから切り出した顔領域のサムネイル画像（縮小画像）を生成し、生成した顔サムネイル画像を時系列に並べた時系列顔サムネイル画像一覧を前記表示部に表示する処理を実行するステップと、
を有することを特徴とする画像表示制御方法にある。
【００２６】
さらに、本発明の第５の側面は、
画像処理装置において画像表示制御処理を実行させるコンピュータ・プログラムであり、
入力部においてユーザ操作情報の入力検出を実行させる操作情報入力ステップと、
データ処理部に、前記入力部からの入力に基づいて、動画データを記録した記録媒体からデータを取得して表示部に出力する表示データを生成させるデータ処理ステップと、
表示部に、前記表示データを表示させる表示ステップを有し、
前記データ処理ステップは、
前記記録媒体に記録された１つの動画像記録単位であるシーンから、人物の顔を含むフレームを選択し選択フレームから切り出した顔領域のサムネイル画像（縮小画像）を生成し、生成した顔サムネイル画像を時系列に並べた時系列顔サムネイル画像一覧を前記表示部に表示する処理を実行させるステップであることを特徴とするコンピュータ・プログラムにある。
【００２７】
さらに、本発明の第６の側面は、
撮像装置において画像表示制御処理を実行させるコンピュータ・プログラムであり、
撮像部に撮像処理を実行させる撮像ステップと、
入力部においてユーザ操作情報の入力検出を実行させる操作情報入力ステップと、
顔検出部に、前記撮像部から取得される撮影データに人物の顔領域が含まれるか否かを検出させる顔検出ステップと、
データ処理部に、前記顔検出部において顔が検出された場合、前記表示部に表示する撮像画像に併せて顔が検出されたことを知らせる顔検出アイコンの表示を実行させるアイコン表示ステップと、
前記データ処理部に、前記記録媒体に記録された１つの動画像記録単位であるシーンから、人物の顔を含むフレームを選択し選択フレームから切り出した顔領域のサムネイル画像（縮小画像）を生成し、生成した顔サムネイル画像を時系列に並べた時系列顔サムネイル画像一覧を前記表示部に表示する処理を実行するステップと、
を実行させることを特徴とするコンピュータ・プログラムにある。
【００２８】
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００２９】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００３０】
本発明の一実施例構成によれば、１つの動画像データの記録単位として設定される１つのシーンにおける時系列顔サムネイル画像データ（顔インデックス）を生成して表示部に表示する構成としたので、多くの場合、撮影データの中心となる人の顔に基づいて容易に各シーンの内容を知ることができる。また、ユーザが時系列顔サムネイル画像を指定することで、指定された顔サムネイル画像の生成元となった画像フレームを起点とした画像再生が実行されるので、見たい場面の再生を即座に行なうことができる。
【発明を実施するための最良の形態】
【００３１】
以下、図面を参照しながら、本発明の画像処理装置、撮像装置、および画像表示制御方法、並びにコンピュータ・プログラムの詳細について説明する。
【００３２】
まず、図１のブロック図を参照して本発明の画像処理装置の一例である撮像装置１００の構成について説明する。例えばユーザ操作部であるキー入力部１０６からの撮影開始信号がマイクロプロセッサ１１０に入力されると、マイクロプロセッサ１１０はコントロール信号を各構成部に出力して撮影処理が開始する。マイクロプロセッサ１１０からの制御に応じて、レンズ１０１のフォーカス機構、シャッター機構、絞り機構などを制御し被写体の画像を取り込んで、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）１０２に供給する。
【００３３】
ＣＣＤ１０２は、画像を光電変換して被写体の画像（画像情報）を電気信号としてカメラ信号処理部１０３に出力する。カメラ信号処理部１０３は、ＣＣＤ１０２から入力する画像信号に対する信号処理を実行する。例えば、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）処理、ＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）処理、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理、さらに、ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）、ＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）、ＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）などのカメラ信号処理を施す。
【００３４】
カメラ信号処理部１０３は、さらに、顔検出部１１４を有しており、撮影される画像の各フレームデータに人物の顔領域が含まれるか否かを検出する。この顔検出処理には、既存の顔検出処理アルゴリズムが適用可能である。
【００３５】
カメラ信号処理部１０３において種々の調整がされた画像データは、顔検出部１１４における顔検出情報とともに、記録再生部１０４、および表示部１０９に出力される。表示部１０９には撮影画像がスルー画として表示される。また、顔検出部１１４において顔検出がなされた場合には、スルー画に顔が検出されたことを示す顔検出アイコンが表示される。この表示例については、後段で説明する。
【００３６】
記録再生部１０４は、予め設定された圧縮方式でデータ圧縮を実行し記録メディア１０５に圧縮データを記録する。映像信号の記録方式としては例えば、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４圧縮を用いた高精細（ＨＤ）映像記録、あるいはＭＰＥＧ−２圧縮を用いた標準（ＳＤ）映像記録などが利用される。さらに、圧縮画像情報に対応する管理情報を記録した画像情報管理ファイル（例えばＡＶインデックスファイルと呼ばれる）を生成して記録メディア１０５に記録する。
【００３７】
画像情報管理ファイル（ＡＶインデックスファイル）には、各フレーム対応のメタデータが記録される。メタデータには、カメラ信号処理部１０３の顔検出部１１４における顔検出情報として、顔検出の有無と、顔検出がなされた場合は、その顔検出領域を示す座標情報が含まれ、これらの情報が撮影時間対応のメタデータとして記録された画像情報管理ファイル（ＡＶインデックスファイル）が記録メディア１０５に記録される。
【００３８】
マイクロプロセッサ１１０はキー入力部１０６のキー操作情報、あるいは表示部１０９に表示されるＧＵＩ上の操作キーからユーザの操作情報を入力し、ユーザ指示に従った処理を実行する。表示部１０９は例えばＬＣＤタッチパネルによって構成され、ＧＵＩが表示されてユーザの操作情報が入力可能な構成を持つ。なお、キー入力部１０６のキーを「ハードキー」、表示部１０９に表示されるＧＵＩ上の操作キーを「ソフトキー」と呼ぶ。
【００３９】
マイクロプロセッサ１１０は、バッテリ１２０またはＡＣ電源から電源回路１２１を介して電力供給を受けて動作し、撮像装置１００内部の様々な処理の制御を実行する。また、必要に応じて電源コントロール信号を制御して、他回路への電力供給制御を行う。マイクロプロセッサ１１０は、キー入力部１０６のハードキー、または、表示部１０９に表示されるＧＵＩ上のソフトキーの入力をＡ／Ｄ変換し、変換デジタル値からどのキーが押されているか判断して、判断に応じて様々な処理を実行する。マイクロプロセッサ１１０は、ＣＰＵ１１１、ＲＡＭ１１２、ＲＯＭ１１３などを有し、予め記録されたプログラムに従った処理を実行する。
【００４０】
例えば、マイクロプロセッサ１１０は、キー入力部１０６のハードキー、または、表示部１０９に表示されるＧＵＩ上のソフトキーによって再生指示が入力されると、撮像装置を映像信号再生モードに切り替え、記録メディア１０５に記録されたデータを、記録再生部１０４を介して読み出し、復号処理を実行して重畳処理部１０８を介して表示部１０９に表示する。
【００４１】
オンスクリーディスプレイ（ＯＳＤ）処理部１０７は、マイクロプロセッサ１１０から入力するコマンドを解釈し、ＶＲＡＭ上に作成された表示信号を走査単位で重畳処理部１０８へ送る。例えばＧＵＩ情報、マニュアル情報などの映像信号と異なる映像に重畳させて表示するデータを生成して重畳処理部１０８へ送る。重畳処理部１０８は、記録用映像信号、または再生された映像信号とオンスクリーディスプレイ（ＯＳＤ）処理部１０７からの表示信号を重畳して表示部１０９に出力する。
【００４２】
本発明の撮像装置においては、マイクロプロセッサ１１０は、ユーザの指示に基づいて記録メディア１０５に記録された画像データのサムネイル画像一覧を生成して、表示部１０９に表示する。この際、記録メディア１０５に記録された各シーンの各々について、シーン内から人物の顔を含む画像を選択して選択した顔を含む画像のサムネイル画像を生成して、これらを時系列サムネイル画像として表示部１０９に表示する。
【００４３】
なお、図１のマイクロプロセッサ１１０内に点線枠で示す顔検出部１１４'は、カメラ信号処理部１０３における顔検出部１１４と同様、各画像に人物の顔領域が含まれるか否かを判定する処理を行なうが、前述したように、撮影データの記録メディア１０５に対する記録処理に際して、顔検出情報が画像情報管理ファイル（ＡＶインデックスファイル）に記録されている場合は、マイクロプロセッサ１１０内に点線枠で示す顔検出部１１４は不要である。しかし、このような顔検出情報を記録した画像情報管理ファイルが無い場合は、マイクロプロセッサ１１０内で記録メディア１０５から読み出した画像データから顔検出処理を実行する構成としてもよく、このような場合を想定して、図１のマイクロプロセッサ１１０内に顔検出部１１４'を示している。従って、マイクロプロセッサ１１０内に顔検出部１１４'が利用される場合は、顔検出情報を記録した画像情報管理データファイルがないデータを処理する場合である。
【００４４】
マイクロプロセッサ１１０は、表示部１０９に表示された時系列サムネイル画像データに対するユーザ選択情報を入力して選択されたサムネイル画像に対応する画像位置からの再生処理を実行する。なお、シーンとは、前述したように１回の動画撮影の開始から終了までの画像データを意味する。従って、記録メディア１０５には様々なシーンに対応する複数の画像データが記録される。また、１つのシーンの時間は様々であり、数秒のシーンから１時間を越えるシーンなどが混在することになる。
【００４５】
本発明の撮像装置においては、マイクロプロセッサ１１０は、記録メディア１０５に記録されたシーンから、例えばユーザによって指定されたシーンの画像データを取得し、画像情報管理ファイルの解析に基づいて顔画像の含まれるフレームを選択して、選択フレームから顔領域を切り出して、顔サムネイル画像を生成し、シーンにおける時系列順に並べた顔インデックス画像を表示部１０９に出力する。１つの動画記録データ単位である１つのシーンに対応する時系列顔サムネイル画像一覧リストの表示データを「顔インデックス画面（ビュー）」と呼ぶ。この顔インデックス画面」の表示部１０９における表示例、および表示部１０９における表示情報の遷移例について図２を参照して説明する。
【００４６】
図２には、撮像装置１００の表示部１０９に表示される４種類の画面、すなわち、
（ａ）待機画面
（ｂ）ホームメニュー画面
（ｃ）顔インデックス画面
（ｄ）動画再生画面
これらの画面を示している。
【００４７】
これらの画面の遷移は、撮像装置１００の本体に設けられたキー入力部（ハードキー）１０６のキー操作情報、あるいは表示部１０９に表示される各種操作キーを含むＧＵＩに対するキー（ソフトキー）のキー操作情報をマイクロプロセッサ１１０が入力し、操作キーの判別を行って各画面遷移を実行する。
【００４８】
図２に示す（ｃ）顔インデックス画面が、１つの動画記録データ単位である１つのシーンに対応する時系列サムネイル画像一覧リストの全体または一部の表示データである。この「顔インデックス画面」は、先に説明したように、１つの動画記録データ単位である１つのシーンから選択された顔を含む画像中から切り出した顔領域のサムネイル画像（縮小画像）の時系列一覧画像データである。
【００４９】
この顔インデックス画面に表示するサムネイル画像は、顔インデックス画面の表示要求があった時点でマイクロプロセッサ１１０が生成し、マイクロプロセッサ１１０内のＲＡＭ１１２に一時的にサムネイル画像を格納するとともに、生成したサムネイル画像を表示部１０９に出力して表示する。顔インデックス画面において利用されるサムネイル画像は、記録メディア１０５には記録されない。従って、記録メディアの記録領域を減少させることはない。マイクロプロセッサ１１０は、記録メディア１０５に記録された圧縮画像（例えばＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４圧縮を用いた高精細（ＨＤ）映像、あるいはＭＰＥＧ−２圧縮を用いた標準（ＳＤ）映像）を取得してフレーム内圧縮符号化画像（Ｉ−Ｐｉｃｔｕｒｅ、Ｉ−ＦｒａｍｅまたはＩ−ＶＯＰとも呼ばれる）を切りだし、縮小処理を実行して顔インデックス一覧領域に順番に並べて表示する。なお、顔インデックス画面に適用するサムネイル画像の生成手法の詳細については後段でさらに説明する。
【００５０】
図２を参照して表示部１０９に表示される、（ａ）待機画面、（ｂ）ホームメニュー画面、（ｃ）顔インデックス画面、（ｄ）動画再生画面、これらの画面遷移について説明する。
【００５１】
（ａ）待機画面と（ｂ）ホームメニュー画面との間の画面遷移は、（ａ）待機画面に表示されるホームキー（ソフトキー）２０１、あるいは装置に備えられたホームキー（ハードキー）を操作することで実行される。
また、（ｂ）ホームメニュー画面から（ａ）待機画面への遷移は、（ｂ）ホームメニュー画面中の閉じるキー（ソフトキー）２０２の操作によっても実行される。
【００５２】
（ａ）待機画面から（ｃ）顔インデックス画面への画面遷移は、装置に備えられた顔インデックスキー（ハードキー）を操作することで実行される。
（ｂ）ホームメニュー画面から（ｃ）顔インデックス画面への画面遷移は、装置に備えられた顔インデックスキー（ハードキー）、またはホームメニュー画面中の顔インデックスキー（ソフトキー）２０３の操作によって実行される。
（ｃ）顔インデックス画面から（ａ）待機画面への遷移は、（ｃ）顔インデックス画面中の閉じるキー（ソフトキー）の操作によって実行される。
【００５３】
このように、（ｃ）顔インデックス画面への画面遷移は、（ａ）待機画面から直接遷移することも可能であり、また、（ａ）待機画面から（ｂ）ホームメニュー画面へ移行して、その後、（ｃ）顔インデックス画面へ遷移するという処理によっても可能となる。
【００５４】
（ｃ）顔インデックス画面は、１つの動画記録データ単位である１つのシーンから、選択された顔画像を含むフレームから切り出した顔領域のサムネイル画像を時系列に並べた時系列顔サムネイル画像を表示した画面である。ユーザがこれらの顔サムネイル画像のいずれかを指定すると、その指定された顔サムネイル画像の生成元となった画像フレームを再生開始位置として、動画再生が実行される。
【００５５】
この動画再生時の画面が（ｄ）動画再生画面である。図１に示すマイクロプロセッサ１１０は、顔インデックス画面に表示される各顔サムネイル画像のシーンにおける時間情報をメモリ（ＲＡＭ１１２）に顔サムネイル画像に対応付けて保持している。具体的には、顔サムネイル画像に適用したフレーム内圧縮符号化画像を含むシーン中の位置情報であり、シーン先頭からの経過時間情報などである。これらの情報も画像情報管理ファイル（ＡＶインデックスファイル）から取得される情報である。
【００５６】
マイクロプロセッサ１１０は、ユーザが、顔インデックス画面に表示されたサムネイル画像を例えば指でタッチして顔サムネイル画像の指定を行った場合、指定位置の座標データに基づいて指定されたサムネイル画像がどのサムネイル画像であるかを判別して、指定サムネイル画像に対応する管理ファイルのメタデータから、シーンにおけるサムネイル画像の位置（時間情報）を取得して、その位置からの動画再生を実行する。
【００５７】
（ｄ）動画再生画面から（ｃ）顔インデックス画面への遷移は、（ｄ）動画再生画面に表示されている戻るキー２０４、停止キー２０５を操作するか、あるいは顔インデックスキー（ハードキー）を操作することで実行される。
【００５８】
顔インデックス画面の詳細構成について、図３を参照して説明する。顔インデックス画面には、シーンインデックス表示領域３０１と、顔インデックス表示領域３０２が含まれる。
【００５９】
シーンインデックス表示領域３０１は、１つの動画記録データ単位である１つのシーンから選択された１つの代表画像を表示する領域であり、シーンインデックス送り／戻しキー３０３ａ，ｂを操作することで、異なるシーンの代表画像を提示することができる。なお、このシーンインデックス表示領域３０１に表示される代表画像は、例えばシーンの先頭画のサムネイル画像である。
【００６０】
一方、顔インデックス表示領域３０２は、シーンインデックス表示領域３０１に表示されたサムネイル画像が属するシーン（動画像データ）から、顔領域を含む静止画として選択された画像から切り出された顔のサムネイル画像（縮小画像）の一覧画像データが表示される領域である。
【００６１】
この顔インデックス表示領域３０２には、顔インデックス送り／戻しキー３０６ａ，ｂが表示され、この顔インデックス送り／戻しキー３０６ａ，ｂを操作することで、同一シーンの異なる時間の顔インデックスとしてのサムネイル画像を表示することができる。なお、１つの静止画に複数の顔画像領域が含まれる場合は、複数の顔画像が顔インデックス表示領域３０２に並べて表示される。
【００６２】
シーンインデックス表示領域３０１中のシーンインデックス送り／戻しキー３０３ａ，ｂを操作することで、顔インデックス表示領域３０２に表示される顔インデックスも、シーンインデックス表示領域３０２に表示されるインデックスに対応して切り替えられることになる。
【００６３】
次に、図４を参照して、顔インデックス画面に表示する顔サムネイル画像の生成処理の詳細について説明する。先に説明したように、顔インデックス画面に表示するサムネイル画像は、顔インデックス画面の表示要求があった時点でマイクロプロセッサ１１０が生成し、マイクロプロセッサ１１０内のＲＡＭ１１２に一時的にサムネイル画像を格納するとともに、生成したサムネイル画像を表示部１０９に出力して表示する。
【００６４】
マイクロプロセッサ１１０は、記録メディア１０５に記録された圧縮画像（例えばＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４圧縮を用いた高精細（ＨＤ）映像、あるいはＭＰＥＧ−２圧縮を用いた標準（ＳＤ）映像）を取得してフレーム内圧縮符号化画像を切りだし、縮小処理を実行して顔インデックス一覧領域に順番に並べて表示する。
【００６５】
例えば、図４に示すようなあるシーンを構成するＭＰＥＧデータ４００がある場合、このＭＰＥＧデータには、それぞれ異なる態様で圧縮されたフレーム（ピクチャ）が含まれる。具体的には、フレーム内圧縮符号化画像（Ｉピクチャ）、さらに、よりデータ量が少ないＢフレーム（Ｂピクチャ）、Ｐフレーム（Ｐピクチャ）などである。これらの符号化データの中で、１つのデータから復号可能なのはフレーム内圧縮符号化画像である。
【００６６】
サムネイル画像の生成には、ＭＰＥＧデータに含まれるフレーム内圧縮符号化画像を選択して利用する。すなわち、マイクロプロセッサ１１０は、顔インデックス画面を生成する対象となるシーンに含まれる様々な態様の符号化データから、顔画像領域を含むフレーム内圧縮符号化画像を選択して、復号し、顔領域を切り出して顔サムネイル画像を生成する。
【００６７】
図４示す例では、顔領域を含むフレーム内圧縮符号化画像４０１を選択する例を示している。
マイクロプロセッサ１１０は、図４に示すステップＳ１の処理として、管理ファイル４０２のメタデータに基づき、サムネイル用の画像（フレーム内圧縮符号化画像）４０１を選択する。顔領域を含むか否かは、画像情報管理ファイル（ＡＶインデックスファイル）４０２のメタデータの記録を参照して判定する。なお、顔領域を含むフレームが、必ずしもフレーム内圧縮符号化画像であるとは限らないが、この場合は、顔検出フレーム以後にある最も近接したフレーム内圧縮符号化画像をサムネイル生成対象画像として選択する。
【００６８】
なお、前述したように、画像情報管理ファイルの存在しないデータである場合は、マイクロプロセッサ１１０がシーン解析を実行して顔検出処理を実行して、各フレームの顔領域の有無を判定する構成としてもよい、
【００６９】
マイクロプロセッサ１１０は、このようにして選択した顔領域を含む画像フレーム４０１（フレーム内圧縮符号化画像）をステップＳ２において復号する。さらに、ステップＳ３において、復号された画像フレームから顔領域を切り出して、顔領域のサムネイル、すなわち顔サムネイル画像を生成する。
【００７０】
各フレームの顔領域座標情報は画像情報管理ファイル（ＡＶインデックスファイル）４０２から取得する。管理ファイルの存在しないデータである場合は、マイクロプロセッサ１１０がシーン解析を実行して顔領域の位置を判断する。このようにして生成した顔サムネイル画像を時系列に並べて、表示部１０９に出力して表示する。
【００７１】
なお、記録メディア１０５がハードディスクドライブ（ＨＤＤ）、またはメモリカードであり、記録メディア１０５に記録された画像が、ＨＤ映像の場合は記録メディア格納データは、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式で圧縮された画像であり、例えばＡＶＣＨＤ（商標）規格で映像が記録されている。このＡＶＣＨＤ（商標）規格に従った記録ストリーム管理ファイル（記録メディア全体を管理する拡張子「．ＢＤＭ」、「．ＭＰＬ」「．ＣＰＩ」等の管理ファイル群であって、ＤＶＤ−ＶｉｄｅｏフォーマットにおけるＶＩＤＥＯ＿ＴＳ．ＩＦＯファイルに相当するものである。）が併せて記録されているので、この記録ストリーム管理ファイルを適用した処理が可能である。マイクロプロセッサ１１０は、この記録ストリーム管理ファイルと画像情報管理ファイル（ＡＶインデックスファイル）を読み出して比較することで、顔領域が含まれる画像フレーム位置や、顔領域の含まれるフレーム中における顔領域の座標情報などを取得することができる。
【００７２】
しかし、例えば記録メディア１０５に記録された画像が、ＳＤ映像の場合は記録メディア格納データはＭＰＥＧ−２方式で圧縮されたデータであり、且つ記録メディア１０５がハードディスク（ＨＤＤ）やメモリカードである場合は記録ストリーム管理ファイルが含まれていないので、マイクロプロセッサ１１０自身が、ＭＰＥＧ２映像信号ストリーム中の拡張領域にあらかじめ書き込んでおいた記録ストリーム情報を追跡して映像情報管理ファイル（ＡＶインデックスファイル）の情報と比較することで、顔領域が含まれる画像フレーム位置を取得することができる。記録メディア１０５がＤＶＤ−Ｒ／＋Ｒ／−ＲＷ／＋ＲＷの場合にはＨＤ映像を記録するＡＶＣＨＤ（商標）規格、ＳＤ映像を記録するＤＶＤ−Ｖｉｄｅｏ規格／ＤＶＤ−ＶｉｄｅｏＲｅｃｏｒｄｉｎｇ規格／ＤＶＤ＋ＶＲ規格とも各規格に従った記録ストリーム管理ファイルをもつため、画像情報管理ファイル（ＡＶインデックスファイル）と比較することで、顔領域が含まれる画像フレーム位置を取得することは技術的に可能となる。ただし、ＤＶＤメディアに画像を記録する各規格には顔情報を記録する画像情報管理ファイル（ＡＶインデックスファイル）は含まれないため、規格外ではあるが顔情報を記録する画像情報管理ファイル（ＡＶインデックスファイル）を記録メディアに書き込む構成とするか、あるいは画像情報管理ファイル（ＡＶインデックスファイル）を持たず、マイクロプロセッサ１１０がシーン解析を実行して顔領域の位置を判断する構成とするか、選択することができる。
【００７３】
顔インデックス画面は、図２、図３を参照して説明したように、１つの動画記録データ単位である１つのシーンから選択された顔領域を含む時系列顔サムネイル画像のリストであり、ユーザがこれらのサムネイル画像のいずれかを指定すると、その指定サムネイル画像を再生開始位置として、動画再生を実行する。
【００７４】
マイクロプロセッサ１１０は、前述したように、ＨＤＤやメモリカードにＨＤ映像を記録する場合やＤＶＤメディアに映像を記録する場合は記録ストリーム管理ファイルからフレーム内圧縮符号化画像の位置情報（先頭からの時間情報など）を取得し、また、ＨＤＤやメモリカードにＳＤ映像を記録する場合は映像信号ストリームを解析し、画像情報管理ファイル（ＡＶインデックスファイル）に含まれる顔情報に対応したフレーム内圧縮符号化画像の位置情報を取得しており、これらの情報をＲＡＭ１１２に保持している。マイクロプロセッサ１１０は、この情報を適用して、各サムネイル画像の位置を即座に判断して、指定されたサムネイル画像からの再生を実行する。なお、動画再生を停止した場合、停止したシーンの停止した時間位置を示した状態の顔インデックス画面に戻る。
【００７５】
先に、図１を参照して説明したように、カメラ信号処理部１０３において種々の調整がされた画像データは、顔検出部１１４における顔検出情報とともに、記録再生部１０４、および表示部１０９に出力され、表示部１０９には撮影画像がスルー画として表示されるが、顔検出部１１４において顔検出がなされた場合には、スルー画に顔が検出されたことを示す顔検出アイコンが表示される。この表示例について、図５を参照して説明する。
【００７６】
図５は、表示部１０９に表示される撮影画像（スルー画）の例を示している。この撮影画像に、顔領域が含まれるか否かが、カメラ信号処理部１０３の顔検出部１１４において解析され、顔検出部１１４において顔検出がなされた場合には、スルー画に顔が検出されたことを示す顔検出アイコン５０１が表示される。顔検出アイコン５０１の表示態様は、様々な設定が可能であるが、例えば、画面内に顔を検出したら反転点滅させるといった処理が実行される。なお、この顔検出情報（各フレームに顔が検出されたか否か、および検出された場合の顔領域の位置（座標）情報など）は、前述したように画像データに対応する画像情報管理ファイル（ＡＶインデックスファイル）のメタデータとして記録される。
【００７７】
次に、図６〜図８に示すフローチャートを参照して本発明の画像処理装置において実行する各種の処理のシーケンスについて説明する。
図６は、顔インデックス画面の生成および表示処理シーケンス、
図７は、顔インデックス画面や、その他の表示部に表示される画面の遷移シーケンス、
図８は、動画像の記録処理における顔検出情報の記録処理と、記録停止処理についてのシーケンス、
である。
【００７８】
まず、図６を参照して、顔インデックス画面の生成および表示処理シーケンスについて説明する。なお、この処理は、例えば図１に示す撮像装置１００においては、データ処理部として機能するマイクロプロセッサ１１０の制御の下で実行される。
【００７９】
まず、ステップＳ１０１において、様々なシーン（動画記録単位）の格納された記録メディアから、顔インデックスを生成する対象となるシーンのデータ範囲を取得する。さらに、ステップＳ１０２において、顔インデックスを生成する対象となるシーンのインデックス画像をシーンインデックス表示領域３０１に表示する。ここで、シーンのインデックス画像とは、シーンの映像ストリーム内における先頭のフレーム内圧縮符号化画像の縮小画像に対応する。さらに、ステップＳ１０３において、画像情報管理ファイル（ＡＶインデックスファイル）から、顔インデックス生成に適用可能なメタデータ（顔インデックスメタデータ）を検索する。
【００８０】
顔インデックスメタデータは、
（ａ）シーンに含まれるフレーム中に人物の顔が検出されたことを示す情報、
（ｂ）顔検出フレームにおける顔領域の位置（座標）情報、
である。
【００８１】
ステップＳ１０４において、これらの顔インデックスメタデータが画像情報管理ファイル（ＡＶインデックスファイル）から検出されたか否かを判定する。顔インデックスメタデータが画像情報管理ファイルから検出されなかった場合は、顔インデックスは生成できないので処理を終了する。一方、顔インデックスメタデータが画像情報管理ファイルから検出された場合は、ステップＳ１０５に進み、顔インデックスサムネイルを作成する。この処理は、先に図４を参照して説明した処理であり、ＭＰＥＧデータに含まれるフレーム内圧縮符号化画像を選択して利用する。すなわち、マイクロプロセッサ１１０は、顔インデックス画面を生成する対象となるシーンに含まれる様々な態様の符号化データから、顔画像領域を含むフレーム内圧縮符号化画像を選択して、復号し、顔領域を切り出して顔サムネイル画像を生成する。
【００８２】
ステップＳ１０６において、マイクロプロセッサ１１０は、生成した顔インデックスがシーンの最終フレームに対応するか、表示画面に表示される顔インデックスの最終に達しているか、例えば、図３の例では、顔インデックス画面には８つの顔インデックスが表示されており、この場合は、８番目の顔インデックス用のサムネイル生成が終了したかを判定する。
【００８３】
ステップＳ１０６の判定がＹｅｓの場合は処理を終了する。ステップＳ１０６の判定がＮｏの場合は、ステップＳ１０７に進み、さらに後続するフレーム対応の顔インデックスメタデータの検索を実行し、ステップＳ１０４に戻り、同様の処理を継続する。この処理によって、例えば図３に示すような顔インデックス画面が生成され、表示部１０９に表示される。
【００８４】
次に、図７を参照して、顔インデックス画面や、その他、表示部に表示される画面の遷移シーケンスについて説明する。すなわち、図２を参照して説明した表示部１０９に表示される各画面の遷移処理である。この処理も例えば図１に示す撮像装置１００においては、データ処理部として機能するマイクロプロセッサ１１０の制御の下で実行される。なお、図７のフローは、顔インデックス画面（図３）の表示状態において実行される処理である。
【００８５】
まず、データ処理部として機能するマイクロプロセッサ１１０は、ステップＳ２０１において、ユーザ入力を検出する。ユーザ入力は装置に備えられたハードキー、または表示部１０９に提示されるＧＵＩに設定されるソフトキーのいずれかにおいて実行される。ステップＳ２０２において、画面遷移処理を実行すべきイベントトリガを検出すると、ステップＳ２０３に進み、そのイベントが、「閉じるイベント」であるか否かを判定する。すなわち、例えば、図２の各画面に設定された閉じるキーの操作の有無が判別される。
【００８６】
閉じるキーの操作有り、すなわち「閉じるイベント」の発生である場合は、画面を待機画面に戻して処理を終了する。ステップＳ２０３において、「閉じるイベント」の発生でないと判定した場合は、ステップＳ２０４に進み、「サムネイルタッチイベント」であるか否かを判定する。これは、顔インデックス画面（図３）に表示された顔サムネイルのユーザによるタッチ操作の有無を判定する処理である。ステップＳ２０４において「サムネイルタッチイベント」であると判定した場合は、ステップＳ２１５に進み、ユーザによって指定された顔サムネイルの元データであるフレームを再生開始フレームとして特定する。この再生開始位置特定処理は、マイクロプロセッサ１１０において画像情報管理ファイルから取得したメタデータ、および記録ストリーム管理ファイルまたは映像ストリーム中に含まれる記録ストリーム管理データに基づいて実行される。
【００８７】
ステップＳ２１６において、ステップＳ２１５で決定した再生開始位置から再生を開始し、ステップＳ２１７において顔インデックスの作成を行なう。この顔インデックスの作成処理は、再生の停止に際して実行される顔インデックス画面に提示するためのデータ作成処理である。
【００８８】
一方、ステップＳ２０４において、「サムネイルタッチイベント」でないと判定した場合は、ステップＳ２０５に進み、「シーン送りイベント」であるか否かを判定する。シーン送りイベントは、例えば図３を参照して説明したシーンインデックス送りキー３０３ｂの操作によって発生する。
【００８９】
ステップＳ２０５において「シーン送りイベント」であると判定した場合は、ステップＳ２０６においてシーン送り、すなわち、図３に示すシーンインデックス表示領域３０１に表示されたシーンインデックスを更新する。ステップＳ２０７では、更新されたシーンインデックスに対応するシーンについての顔インデックスを生成して生成した顔インデックスの表示を実行する。
【００９０】
一方、ステップＳ２０５において「シーン送りイベント」でないと判定した場合は、ステップＳ２０８に進み、「シーン戻しイベント」であるか否かを判定する。シーン戻しイベントは、例えば図３を参照して説明したシーンインデックス戻しキー３０３ａの操作によって発生する。ステップＳ２０８において「シーン戻しイベント」であると判定した場合は、ステップＳ２０９においてシーン戻し、すなわち、図３に示すシーンインデックス表示領域３０１に表示されたシーンインデックスを更新し、ステップＳ２０７において、更新されたシーンインデックスに対応するシーンについての顔インデックスを生成して生成した顔インデックスの表示を実行する。
【００９１】
また、ステップＳ２０８において「シーン戻しイベント」でないと判定した場合は、ステップＳ２１０に進み、「顔インデックス送りイベント」であるか否かを判定する。この顔インデックス送りイベントは、例えば図３を参照して説明した顔インデックス送りキー３０６ｂの操作によって発生する。
【００９２】
ステップＳ２１０において「顔インデックス送りイベント」であると判定した場合は、ステップＳ２１１に進み、表示されている顔インデックスが、シーンの最終データ部分に対応して生成されたインデックスであるかが判定される。シーンの最終データ部分に対応して生成されたインデックスでない場合は、ステップＳ２１２に進み、現在表示されている顔インデックスの後続するシーン構成フレームに基づいて顔インデックスを生成して表示する。ステップＳ２１１において、現在表示されている顔インデックスがシーンの最終データ部分に対応して生成されたインデックスであると判定した場合は、処理を行なうことなくステップＳ２０１に戻る。
【００９３】
さらに、ステップＳ２１０において、「顔インデックス送りイベント」でないと判定した場合は、ステップＳ２１３に進み、「顔インデックス戻しイベント」であるか否かを判定する。この顔インデックス戻しイベントは、例えば図３を参照して説明した顔インデックス戻しキー３０６ａの操作によって発生する。
【００９４】
ステップＳ２１３において「顔インデックス戻しイベント」であると判定した場合は、ステップＳ２１４に進み、表示されている顔インデックスが、シーンの先頭データ部分に対応して生成されたインデックスであるかが判定される。シーンの先頭データ部分に対応して生成されたインデックスでない場合は、ステップＳ２１２に進み、現在表示されている顔インデックスに先行するシーン構成フレームに基づいて顔インデックスを生成して表示する。ステップＳ２１４において、現在表示されている顔インデックスがシーンの先頭データ部分に対応して生成されたインデックスであると判定した場合は、処理を行なうことなくステップＳ２０１に戻る。このようにして、図３に示す顔インデックス画面の更新など、様々な処理が実行される。
【００９５】
次に、図８を参照して、動画像の記録処理における顔検出情報の記録処理と、記録停止処理についてのシーケンスについて説明する。例えば図１を参照して説明した撮像装置において、動画像を撮影し、メデイア１０５に記録する処理において、カメラ信号処理部１０３の顔検出部１１４および記録再生処理部１０４の処理によって生成される顔検出情報の記録処理と、記録停止処理についてのシーケンスである。なお、この処理の全体的制御は、図１に示す撮像装置１００においては、データ処理部として機能するマイクロプロセッサ１１０の制御の下で実行される。なお、この図８に示す処理は、動画記録が実行中であることを前提として開始される処理シーケンスである。
【００９６】
まず、動画の記録処理中に、データ処理部として機能するマイクロプロセッサ１１０は、ステップＳ３０１においてユーザ入力を検出する。ユーザ入力は装置に備えられたハードキー、または表示部１０９に提示されるＧＵＩに設定されるソフトキーのいずれかにおいて実行される。ステップＳ３０２において、ユーザ入力に基づいてデータ処理を実行すべきイベントトリガを検出すると、ステップＳ３０３に進み、そのイベントが、「記録終了イベント」であるか否かを判定する。
【００９７】
「記録終了イベント」でない場合は、ステップＳ３０４に進み、「顔検出イベント」であるか否かを判定する。顔検出イベントは、例えば、装置に備えられた顔検出処理を実行するか否かを設定するスイッチ（顔検出処理実行指示スイッチ）の操作によって発生する。「顔検出イベント」である場合は、ステップＳ３０５に進み顔検出処理を実行する。すなわち、図１に示す、カメラ信号処理部１０３の顔検出部１１４において、各フレームに対応する顔インデックスメタデータ、すなわち、
（ａ）シーンに含まれるフレーム中に人物の顔が検出されたことを示す情報、
（ｂ）顔検出フレームにおける顔領域の位置（座標）情報、
これらの情報をカメラ信号処理部１０３内のＲＡＭに記録する処理が実行される。
なお、顔インデックスメタデータ量が膨大になってしまうことを防ぐために、各フレーム毎にメタデータを持つのではなく、検出された顔の数に変化があったときのみ、ＲＡＭに顔インデックスメタデータを残すことで必要なＲＡＭ容量を削減するような処理としてもよい。
【００９８】
一方、ステップＳ３０３において、発生イベントが、「記録終了イベント」であると判定された場合は、ステップＳ３０６に進み、記録処理を停止する。次に、ステップＳ３０７において、記録されたシーンに対応する顔検出情報の有無が判定され、顔検出情報がある場合は、カメラ信号処理部１０３の顔検出部１１４においてＲＡＭに保持されたデータ、すなわち、
（ａ）シーンに含まれるフレーム中に人物の顔が検出されたことを示す情報、
（ｂ）顔検出フレームにおける顔領域の位置（座標）情報、
これらの情報を、各フレームに対応する顔インデックスメタデータとして、画像情報管理ファイル（ＡＶインデックスファイル）に記録する処理を実行して、ステップＳ３０９において画像情報管理ファイルを更新して記録メディアに記録して処理を終了する。
【００９９】
ステップＳ３０７において、記録されたシーンに対応する顔検出情報の無いと判定した場合は、上記の顔インデックスメタデータの記録を行なうことなくステップＳ３０９において、顔インデックスメタデータ以外の管理データによる画像情報管理ファイルの更新を実行して記録メディアに記録して処理を終了する。
【０１００】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１０１】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１０２】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１０３】
以上、説明したように、本発明の一実施例構成によれば、１つの動画像データの記録単位として設定される１つのシーンにおける時系列顔サムネイル画像データ（顔インデックス）を生成して表示部に表示する構成としたので、多くの場合、撮影データの中心となる人の顔に基づいて容易に各シーンの内容を知ることができる。また、ユーザが時系列顔サムネイル画像を指定することで、指定された顔サムネイル画像の生成元となった画像フレームを起点とした画像再生が実行されるので、見たい場面の再生を即座に行なうことができる。
【図面の簡単な説明】
【０１０４】
【図１】本発明の一実施例の画像処理装置としての撮像装置の構成について説明する図である。
【図２】表示部に表示される画面の遷移例について説明する図である。
【図３】表示部に表示される顔インデックス画面の例について説明する図である。
【図４】顔インデックス画面に表示するサムネイル画像の生成処理について説明する図である。
【図５】表示部に表示する顔検出アイコンの表示例について説明する図である。
【図６】顔インデックス画面の生成および表示処理シーケンスを説明するフローチャートを示す図である。
【図７】顔インデックス画面や、その他の表示部に表示される画面の遷移シーケンスを説明するフローチャートを示す図である。
【図８】動画像の記録処理における顔検出情報の記録処理と、記録停止処理についてのシーケンスを説明するフローチャートを示す図である。
【符号の説明】
【０１０５】
１００ 撮像装置
１０１ レンズ
１０２ ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）
１０３ カメラ信号処理部
１０４ 記録再生部
１０５ 記録メディア
１０６ キー入力部
１０７ オンスクリーンディスプレイ処理部
１０８ 重畳処理部
１０９ 表示部
１１０ マイクロプロセッサ
１１１ ＣＰＵ
１１２ ＲＡＭ
１１３ ＲＯＭ
１１４ 顔検出部
１２０ バッテリ
１２１ 電源回路
２０１ ホームキー
２０２ 閉じるキー
２０３ 顔インデックスキー
２０４ 戻るキー
２０５ 停止キー
３０１ シーンインデックス表示領域
３０２ 顔インデックス表示領域
３０３ シーンインデックス送り／戻しキー
３０６ 顔インデックス送り／戻しキー
４００ ＭＰＥＧデータ
４０１ 顔領域を含むフレーム内圧縮符号化画像
５０１ 顔検出アイコン
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、および画像表示制御方法、並びにコンピュータ・プログラムに関する。さらに詳細には、例えばビデオカメラなどによって撮像された多数の動画像データから選択された画像をサムネイル画像一覧として表示するとともに、一覧表示されたサムネイル画像の指定に応じて、サムネイル画像位置からの動画再生処理を実行する画像処理装置、撮像装置、および画像表示制御方法、並びにコンピュータ・プログラムに関する。
【背景技術】
【０００２】
昨今のデジタルカメラ、デジタルビデオカメラなどの撮像装置、あるいはＤＶＤプレーヤなどの画像処理装置は、例えば画像表示部やモニタ画面に記録媒体（記録メディア）に格納された画像データの一覧を表示する機能を備えているものが多い。
【０００３】
例えば、撮像装置やＤＶＤプレーヤなど動画再生可能な装置は、動画のタイトルまたはチャプターをメニュー形式で並べて表示し、これらの表示データからユーザに再生コンテンツを選択させて再生処理を行なうものがある。また、例えば撮像装置において撮影された動画について、１回の撮影処理、すなわち、撮影開始から撮影停止までの動画データを１シーンとして、各シーンから選択された代表画像の縮小画像（サムネイル画像）を表示する構成、すなわち、記録媒体に記録されている複数のシーン（動画データ）についてのサムネイル画像一覧を表示する構成としたものがある。尚、シーンはカットとも呼称される。
【０００４】
例えば、特許文献１（特許３６３６８３０号公報）は、各シーンから選択された代表画像の縮小画像（サムネイル画像）を表示する構成について開示している。
【０００５】
このように、記録媒体に格納された各画像データファイルを構成する画像データの縮小画像（サムネイル画像）をモニタの１画面内に提示することにより、ユーザは撮影データなどをある程度、把握することができる。
【０００６】
しかしながら従来のＤＶＤプレーヤやビデオカメラなどにおけるサムネイル画像一覧表示構成は、シーンを単位として１つのサムネイル画像を表示する構成である。すなわち、１回の撮影開始から撮影停止までの動画データを１シーンとして、その１シーンに対して１つの代表画像、例えば１シーンの先頭画像を選択してそのサムネイル画像を表示するといった処理を行なうものであった。
【０００７】
記録メディアには様々な動画像データ（シーン）が記録されており、各々のシーン（１回の撮影動画データ）はその長さが短いシーン、たとえば数秒のシーン、長いシーン、たとえば１時間のシーンなど様々であり、サムネイル画像一覧から、各シーンに何が映っているのか判断が難しい場合も発生する。一般的に、サムネイル画像一覧の表示に際しては、各シーンの先頭画像の静止画が選択され、これを縮小画像として提示する構成であり、先頭画像のみを提示しても、ユーザはどのような内容の画像データであるかを把握することが困難となる場合が多い。すなわち、先頭の画像のみを提示しても必ずしも動画の内容が把握できる画像にはならないことが多い。
【０００８】
また、サムネイル画像一覧から再生対象シーンを選択した場合、各シーンの先頭からの再生が実行されるが、シーン中の本当に見たい場面は、シーンの途中であるような場合も多く、このような場合、ユーザは再生を開始して、早送り処理を実行して、再生したいデータ位置を、再生画面や早送り画面を見ながら探り当てるといったことが必要となる。
【特許文献１】特許３６３６８３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明は、上述の問題点に鑑みてなされたものである。例えばビデオカメラにおいて撮影する被写体の多くには人物が含まれ、人物を中心とした撮影データの内容や場面の把握には、人物の顔が最も重要なデータであることを考慮し、記憶部に記録された各シーンの各々について、シーンに含まれる人物の顔を含む画像フレーム（ピクチャ）を検出し、検出した画像から人物の顔を切り出して切り出した顔画像のサムネイル画像を生成して時系列に並べた時系列顔サムネイル画像を提示するものである。
【００１０】
時系列顔サムネイル画像の提示により、ユーザは、シーン内容の把握や各場面の把握を正確に行なうことが可能となる。さらに、提示された顔サムネイル画像の任意のサムネイル画像を再生起点とした再生処理を可能とし、ユーザにとって利用し易い画像処理装置、撮像装置、および画像表示制御方法、並びにコンピュータ・プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の第１の側面は、
ユーザ操作情報を入力する入力部と、
動画データを記録する記録媒体と、
前記入力部からの入力に基づいて、前記記録媒体に記録されたデータを取得して表示部に出力する表示データを生成するデータ処理部と、
前記表示データを表示する表示部とを有し、
前記データ処理部は、
前記記録媒体に記録された１つの動画像記録単位であるシーンから、人物の顔を含むフレームを選択し選択フレームから切り出した顔領域のサムネイル画像（縮小画像）を生成し、生成した顔サムネイル画像を時系列に並べた時系列顔サムネイル画像一覧を前記表示部に表示する処理を実行する構成であることを特徴とする画像処理装置にある。
【００１２】
さらに、本発明の画像処理装置の一実施態様において、前記記録媒体には、当該記録媒体に記録された画像情報を管理する画像情報管理ファイルが記録され、前記データ処理部は、前記記録媒体に記録された前記画像情報管理ファイルから、１つの動画像記録単位であるシーンを構成するフレーム各々の顔領域の有無、および顔領域位置情報を取得して、人物の顔を含むフレームを選択し選択フレームから切り出した顔領域のサムネイル画像（縮小画像）を生成する処理を実行する構成であることを特徴とする。
【００１３】
さらに、本発明の画像処理装置の一実施態様において、前記データ処理部は、前記記録媒体に記録された１つの動画像記録単位であるシーンの解析を実行して、シーン構成フレーム各々の顔領域の有無、および顔領域位置情報を取得して、人物の顔を含むフレームを選択し選択フレームから切り出した顔領域のサムネイル画像（縮小画像）を生成する処理を実行する構成であることを特徴とする。
【００１４】
さらに、本発明の画像処理装置の一実施態様において、前記データ処理部は、前記時系列顔サムネイル画像一覧に表示する顔サムネイル画像の生成対象データとして、フレーム内圧縮符号化画像を選択して顔サムネイル画像を生成する処理を実行する構成であることを特徴とする。
【００１５】
さらに、本発明の画像処理装置の一実施態様において、前記入力部の一部は、前記表示部に構成されるタッチパネルであり、前記データ処理部は、前記表示部に表示される前記時系列顔サムネイル画像一覧に対するユーザからの顔サムネイル画像指定情報を入力し、指定された顔サムネイル画像に対応する画像位置からの再生処理を実行する構成であることを特徴とする。
【００１６】
さらに、本発明の画像処理装置の一実施態様において、前記データ処理部は、前記時系列顔サムネイル画像一覧に併せて、該時系列顔サムネイル画像一覧の生成対象としたシーンの代表画像であるシーンインデックスを前記表示部に表示する処理を実行し、シーンインデックスの更新に併せて、前記時系列顔サムネイル画像一覧を更新されたシーンインデックスに対応する顔サムネイル画像一覧に更新する処理を実行する構成であることを特徴とする。
【００１７】
さらに、本発明の第２の側面は、
撮像部と、
ユーザ操作情報を入力する入力部と、
動画データを記録する記録媒体と、
前記入力部からの入力に基づいて、前記記録媒体に記録されたデータを取得して表示部に出力する表示データを生成するデータ処理部と、
前記表示データを表示する表示部とを有し、
前記データ処理部は、
前記記録媒体に記録された１つの動画像記録単位であるシーンから、人物の顔を含むフレームを選択し選択フレームから切り出した顔領域のサムネイル画像（縮小画像）を生成し、生成した顔サムネイル画像を時系列に並べた時系列顔サムネイル画像一覧を前記表示部に表示する処理を実行する構成であることを特徴とする撮像装置にある。
【００１８】
さらに、本発明の撮像装置の一実施態様において、前記撮像装置は、前記撮像部から取得される撮影データに人物の顔領域が含まれるか否かを検出する顔検出部を有し、前記データ処理部は、前記顔検出部において顔が検出された場合、前記表示部に表示する撮像画像に併せて顔が検出されたことを知らせる顔検出アイコンの表示を実行する構成であることを特徴とする。
【００１９】
さらに、本発明の第３の側面は、
画像処理装置において実行する画像表示制御方法であり、
入力部においてユーザ操作情報を入力する操作情報入力ステップと、
データ処理部が、前記入力部からの入力に基づいて、動画データを記録した記録媒体からデータを取得して表示部に出力する表示データを生成するデータ処理ステップと、
表示部が、前記表示データを表示する表示ステップを有し、
前記データ処理ステップは、
前記記録媒体に記録された１つの動画像記録単位であるシーンから、人物の顔を含むフレームを選択し選択フレームから切り出した顔領域のサムネイル画像（縮小画像）を生成し、生成した顔サムネイル画像を時系列に並べた時系列顔サムネイル画像一覧を前記表示部に表示する処理を実行するステップであることを特徴とする画像表示制御方法にある。
【００２０】
さらに、本発明の画像表示制御方法の一実施態様において、前記データ処理ステップは、前記記録媒体に記録された画像情報管理ファイルから、１つの動画像記録単位であるシーンを構成するフレーム各々の顔領域の有無、および顔領域位置情報を取得して、人物の顔を含むフレームを選択し選択フレームから切り出した顔領域のサムネイル画像（縮小画像）を生成する処理を実行するステップであることを特徴とする。
【００２１】
さらに、本発明の画像表示制御方法の一実施態様において、前記データ処理ステップは、前記記録媒体に記録された１つの動画像記録単位であるシーンの解析を実行して、シーン構成フレーム各々の顔領域の有無、および顔領域位置情報を取得して、人物の顔を含むフレームを選択し選択フレームから切り出した顔領域のサムネイル画像（縮小画像）を生成する処理を実行するステップであることを特徴とする。
【００２２】
さらに、本発明の画像表示制御方法の一実施態様において、前記データ処理ステップは、前記時系列顔サムネイル画像一覧に表示する顔サムネイル画像の生成対象データとして、フレーム内圧縮符号化画像を選択して顔サムネイル画像を生成する処理を実行するステップであることを特徴とする。
【００２３】
さらに、本発明の画像表示制御方法の一実施態様において、前記入力部の一部は、前記表示部に構成されるタッチパネルであり、前記画像表示制御方法において、さらに、前記データ処理部は、前記表示部に表示される前記時系列顔サムネイル画像一覧に対するユーザからの顔サムネイル画像指定情報を入力し、指定された顔サムネイル画像に対応する画像位置からの再生処理を実行することを特徴とする。
【００２４】
さらに、本発明の画像表示制御方法の一実施態様において、前記データ処理ステップは、前記時系列顔サムネイル画像一覧に併せて、該時系列顔サムネイル画像一覧の生成対象としたシーンの代表画像であるシーンインデックスを前記表示部に表示する処理を実行し、シーンインデックスの更新に併せて、前記時系列顔サムネイル画像一覧を更新されたシーンインデックスに対応する顔サムネイル画像一覧に更新する処理を実行するステップであることを特徴とする。
【００２５】
さらに、本発明の第４の側面は、
撮像装置において実行する画像表示制御方法であり、
撮像部が撮像処理を実行する撮像ステップと、
入力部が、ユーザ操作情報を入力する操作情報入力ステップと、
顔検出部が、前記撮像部から取得される撮影データに人物の顔領域が含まれるか否かを検出する顔検出ステップと、
データ処理部が、前記顔検出部において顔が検出された場合、前記表示部に表示する撮像画像に併せて顔が検出されたことを知らせる顔検出アイコンの表示を実行するアイコン表示ステップと、
前記データ処理部が、前記記録媒体に記録された１つの動画像記録単位であるシーンから、人物の顔を含むフレームを選択し選択フレームから切り出した顔領域のサムネイル画像（縮小画像）を生成し、生成した顔サムネイル画像を時系列に並べた時系列顔サムネイル画像一覧を前記表示部に表示する処理を実行するステップと、
を有することを特徴とする画像表示制御方法にある。
【００２６】
さらに、本発明の第５の側面は、
画像処理装置において画像表示制御処理を実行させるコンピュータ・プログラムであり、
入力部においてユーザ操作情報の入力検出を実行させる操作情報入力ステップと、
データ処理部に、前記入力部からの入力に基づいて、動画データを記録した記録媒体からデータを取得して表示部に出力する表示データを生成させるデータ処理ステップと、
表示部に、前記表示データを表示させる表示ステップを有し、
前記データ処理ステップは、
前記記録媒体に記録された１つの動画像記録単位であるシーンから、人物の顔を含むフレームを選択し選択フレームから切り出した顔領域のサムネイル画像（縮小画像）を生成し、生成した顔サムネイル画像を時系列に並べた時系列顔サムネイル画像一覧を前記表示部に表示する処理を実行させるステップであることを特徴とするコンピュータ・プログラムにある。
【００２７】
さらに、本発明の第６の側面は、
撮像装置において画像表示制御処理を実行させるコンピュータ・プログラムであり、
撮像部に撮像処理を実行させる撮像ステップと、
入力部においてユーザ操作情報の入力検出を実行させる操作情報入力ステップと、
顔検出部に、前記撮像部から取得される撮影データに人物の顔領域が含まれるか否かを検出させる顔検出ステップと、
データ処理部に、前記顔検出部において顔が検出された場合、前記表示部に表示する撮像画像に併せて顔が検出されたことを知らせる顔検出アイコンの表示を実行させるアイコン表示ステップと、
前記データ処理部に、前記記録媒体に記録された１つの動画像記録単位であるシーンから、人物の顔を含むフレームを選択し選択フレームから切り出した顔領域のサムネイル画像（縮小画像）を生成し、生成した顔サムネイル画像を時系列に並べた時系列顔サムネイル画像一覧を前記表示部に表示する処理を実行するステップと、
を実行させることを特徴とするコンピュータ・プログラムにある。
【００２８】
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００２９】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００３０】
本発明の一実施例構成によれば、１つの動画像データの記録単位として設定される１つのシーンにおける時系列顔サムネイル画像データ（顔インデックス）を生成して表示部に表示する構成としたので、多くの場合、撮影データの中心となる人の顔に基づいて容易に各シーンの内容を知ることができる。また、ユーザが時系列顔サムネイル画像を指定することで、指定された顔サムネイル画像の生成元となった画像フレームを起点とした画像再生が実行されるので、見たい場面の再生を即座に行なうことができる。
【発明を実施するための最良の形態】
【００３１】
以下、図面を参照しながら、本発明の画像処理装置、撮像装置、および画像表示制御方法、並びにコンピュータ・プログラムの詳細について説明する。
【００３２】
まず、図１のブロック図を参照して本発明の画像処理装置の一例である撮像装置１００の構成について説明する。例えばユーザ操作部であるキー入力部１０６からの撮影開始信号がマイクロプロセッサ１１０に入力されると、マイクロプロセッサ１１０はコントロール信号を各構成部に出力して撮影処理が開始する。マイクロプロセッサ１１０からの制御に応じて、レンズ１０１のフォーカス機構、シャッター機構、絞り機構などを制御し被写体の画像を取り込んで、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）１０２に供給する。
【００３３】
ＣＣＤ１０２は、画像を光電変換して被写体の画像（画像情報）を電気信号としてカメラ信号処理部１０３に出力する。カメラ信号処理部１０３は、ＣＣＤ１０２から入力する画像信号に対する信号処理を実行する。例えば、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）処理、ＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）処理、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理、さらに、ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）、ＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）、ＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）などのカメラ信号処理を施す。
【００３４】
カメラ信号処理部１０３は、さらに、顔検出部１１４を有しており、撮影される画像の各フレームデータに人物の顔領域が含まれるか否かを検出する。この顔検出処理には、既存の顔検出処理アルゴリズムが適用可能である。
【００３５】
カメラ信号処理部１０３において種々の調整がされた画像データは、顔検出部１１４における顔検出情報とともに、記録再生部１０４、および表示部１０９に出力される。表示部１０９には撮影画像がスルー画として表示される。また、顔検出部１１４において顔検出がなされた場合には、スルー画に顔が検出されたことを示す顔検出アイコンが表示される。この表示例については、後段で説明する。
【００３６】
記録再生部１０４は、予め設定された圧縮方式でデータ圧縮を実行し記録メディア１０５に圧縮データを記録する。映像信号の記録方式としては例えば、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４圧縮を用いた高精細（ＨＤ）映像記録、あるいはＭＰＥＧ−２圧縮を用いた標準（ＳＤ）映像記録などが利用される。さらに、圧縮画像情報に対応する管理情報を記録した画像情報管理ファイル（例えばＡＶインデックスファイルと呼ばれる）を生成して記録メディア１０５に記録する。
【００３７】
画像情報管理ファイル（ＡＶインデックスファイル）には、各フレーム対応のメタデータが記録される。メタデータには、カメラ信号処理部１０３の顔検出部１１４における顔検出情報として、顔検出の有無と、顔検出がなされた場合は、その顔検出領域を示す座標情報が含まれ、これらの情報が撮影時間対応のメタデータとして記録された画像情報管理ファイル（ＡＶインデックスファイル）が記録メディア１０５に記録される。
【００３８】
マイクロプロセッサ１１０はキー入力部１０６のキー操作情報、あるいは表示部１０９に表示されるＧＵＩ上の操作キーからユーザの操作情報を入力し、ユーザ指示に従った処理を実行する。表示部１０９は例えばＬＣＤタッチパネルによって構成され、ＧＵＩが表示されてユーザの操作情報が入力可能な構成を持つ。なお、キー入力部１０６のキーを「ハードキー」、表示部１０９に表示されるＧＵＩ上の操作キーを「ソフトキー」と呼ぶ。
【００３９】
マイクロプロセッサ１１０は、バッテリ１２０またはＡＣ電源から電源回路１２１を介して電力供給を受けて動作し、撮像装置１００内部の様々な処理の制御を実行する。また、必要に応じて電源コントロール信号を制御して、他回路への電力供給制御を行う。マイクロプロセッサ１１０は、キー入力部１０６のハードキー、または、表示部１０９に表示されるＧＵＩ上のソフトキーの入力をＡ／Ｄ変換し、変換デジタル値からどのキーが押されているか判断して、判断に応じて様々な処理を実行する。マイクロプロセッサ１１０は、ＣＰＵ１１１、ＲＡＭ１１２、ＲＯＭ１１３などを有し、予め記録されたプログラムに従った処理を実行する。
【００４０】
例えば、マイクロプロセッサ１１０は、キー入力部１０６のハードキー、または、表示部１０９に表示されるＧＵＩ上のソフトキーによって再生指示が入力されると、撮像装置を映像信号再生モードに切り替え、記録メディア１０５に記録されたデータを、記録再生部１０４を介して読み出し、復号処理を実行して重畳処理部１０８を介して表示部１０９に表示する。
【００４１】
オンスクリーディスプレイ（ＯＳＤ）処理部１０７は、マイクロプロセッサ１１０から入力するコマンドを解釈し、ＶＲＡＭ上に作成された表示信号を走査単位で重畳処理部１０８へ送る。例えばＧＵＩ情報、マニュアル情報などの映像信号と異なる映像に重畳させて表示するデータを生成して重畳処理部１０８へ送る。重畳処理部１０８は、記録用映像信号、または再生された映像信号とオンスクリーディスプレイ（ＯＳＤ）処理部１０７からの表示信号を重畳して表示部１０９に出力する。
【００４２】
本発明の撮像装置においては、マイクロプロセッサ１１０は、ユーザの指示に基づいて記録メディア１０５に記録された画像データのサムネイル画像一覧を生成して、表示部１０９に表示する。この際、記録メディア１０５に記録された各シーンの各々について、シーン内から人物の顔を含む画像を選択して選択した顔を含む画像のサムネイル画像を生成して、これらを時系列サムネイル画像として表示部１０９に表示する。
【００４３】
なお、図１のマイクロプロセッサ１１０内に点線枠で示す顔検出部１１４'は、カメラ信号処理部１０３における顔検出部１１４と同様、各画像に人物の顔領域が含まれるか否かを判定する処理を行なうが、前述したように、撮影データの記録メディア１０５に対する記録処理に際して、顔検出情報が画像情報管理ファイル（ＡＶインデックスファイル）に記録されている場合は、マイクロプロセッサ１１０内に点線枠で示す顔検出部１１４は不要である。しかし、このような顔検出情報を記録した画像情報管理ファイルが無い場合は、マイクロプロセッサ１１０内で記録メディア１０５から読み出した画像データから顔検出処理を実行する構成としてもよく、このような場合を想定して、図１のマイクロプロセッサ１１０内に顔検出部１１４'を示している。従って、マイクロプロセッサ１１０内に顔検出部１１４'が利用される場合は、顔検出情報を記録した画像情報管理データファイルがないデータを処理する場合である。
【００４４】
マイクロプロセッサ１１０は、表示部１０９に表示された時系列サムネイル画像データに対するユーザ選択情報を入力して選択されたサムネイル画像に対応する画像位置からの再生処理を実行する。なお、シーンとは、前述したように１回の動画撮影の開始から終了までの画像データを意味する。従って、記録メディア１０５には様々なシーンに対応する複数の画像データが記録される。また、１つのシーンの時間は様々であり、数秒のシーンから１時間を越えるシーンなどが混在することになる。
【００４５】
本発明の撮像装置においては、マイクロプロセッサ１１０は、記録メディア１０５に記録されたシーンから、例えばユーザによって指定されたシーンの画像データを取得し、画像情報管理ファイルの解析に基づいて顔画像の含まれるフレームを選択して、選択フレームから顔領域を切り出して、顔サムネイル画像を生成し、シーンにおける時系列順に並べた顔インデックス画像を表示部１０９に出力する。１つの動画記録データ単位である１つのシーンに対応する時系列顔サムネイル画像一覧リストの表示データを「顔インデックス画面（ビュー）」と呼ぶ。この顔インデックス画面」の表示部１０９における表示例、および表示部１０９における表示情報の遷移例について図２を参照して説明する。
【００４６】
図２には、撮像装置１００の表示部１０９に表示される４種類の画面、すなわち、
（ａ）待機画面
（ｂ）ホームメニュー画面
（ｃ）顔インデックス画面
（ｄ）動画再生画面
これらの画面を示している。
【００４７】
これらの画面の遷移は、撮像装置１００の本体に設けられたキー入力部（ハードキー）１０６のキー操作情報、あるいは表示部１０９に表示される各種操作キーを含むＧＵＩに対するキー（ソフトキー）のキー操作情報をマイクロプロセッサ１１０が入力し、操作キーの判別を行って各画面遷移を実行する。
【００４８】
図２に示す（ｃ）顔インデックス画面が、１つの動画記録データ単位である１つのシーンに対応する時系列サムネイル画像一覧リストの全体または一部の表示データである。この「顔インデックス画面」は、先に説明したように、１つの動画記録データ単位である１つのシーンから選択された顔を含む画像中から切り出した顔領域のサムネイル画像（縮小画像）の時系列一覧画像データである。
【００４９】
この顔インデックス画面に表示するサムネイル画像は、顔インデックス画面の表示要求があった時点でマイクロプロセッサ１１０が生成し、マイクロプロセッサ１１０内のＲＡＭ１１２に一時的にサムネイル画像を格納するとともに、生成したサムネイル画像を表示部１０９に出力して表示する。顔インデックス画面において利用されるサムネイル画像は、記録メディア１０５には記録されない。従って、記録メディアの記録領域を減少させることはない。マイクロプロセッサ１１０は、記録メディア１０５に記録された圧縮画像（例えばＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４圧縮を用いた高精細（ＨＤ）映像、あるいはＭＰＥＧ−２圧縮を用いた標準（ＳＤ）映像）を取得してフレーム内圧縮符号化画像（Ｉ−Ｐｉｃｔｕｒｅ、Ｉ−ＦｒａｍｅまたはＩ−ＶＯＰとも呼ばれる）を切りだし、縮小処理を実行して顔インデックス一覧領域に順番に並べて表示する。なお、顔インデックス画面に適用するサムネイル画像の生成手法の詳細については後段でさらに説明する。
【００５０】
図２を参照して表示部１０９に表示される、（ａ）待機画面、（ｂ）ホームメニュー画面、（ｃ）顔インデックス画面、（ｄ）動画再生画面、これらの画面遷移について説明する。
【００５１】
（ａ）待機画面と（ｂ）ホームメニュー画面との間の画面遷移は、（ａ）待機画面に表示されるホームキー（ソフトキー）２０１、あるいは装置に備えられたホームキー（ハードキー）を操作することで実行される。
また、（ｂ）ホームメニュー画面から（ａ）待機画面への遷移は、（ｂ）ホームメニュー画面中の閉じるキー（ソフトキー）２０２の操作によっても実行される。
【００５２】
（ａ）待機画面から（ｃ）顔インデックス画面への画面遷移は、装置に備えられた顔インデックスキー（ハードキー）を操作することで実行される。
（ｂ）ホームメニュー画面から（ｃ）顔インデックス画面への画面遷移は、装置に備えられた顔インデックスキー（ハードキー）、またはホームメニュー画面中の顔インデックスキー（ソフトキー）２０３の操作によって実行される。
（ｃ）顔インデックス画面から（ａ）待機画面への遷移は、（ｃ）顔インデックス画面中の閉じるキー（ソフトキー）の操作によって実行される。
【００５３】
このように、（ｃ）顔インデックス画面への画面遷移は、（ａ）待機画面から直接遷移することも可能であり、また、（ａ）待機画面から（ｂ）ホームメニュー画面へ移行して、その後、（ｃ）顔インデックス画面へ遷移するという処理によっても可能となる。
【００５４】
（ｃ）顔インデックス画面は、１つの動画記録データ単位である１つのシーンから、選択された顔画像を含むフレームから切り出した顔領域のサムネイル画像を時系列に並べた時系列顔サムネイル画像を表示した画面である。ユーザがこれらの顔サムネイル画像のいずれかを指定すると、その指定された顔サムネイル画像の生成元となった画像フレームを再生開始位置として、動画再生が実行される。
【００５５】
この動画再生時の画面が（ｄ）動画再生画面である。図１に示すマイクロプロセッサ１１０は、顔インデックス画面に表示される各顔サムネイル画像のシーンにおける時間情報をメモリ（ＲＡＭ１１２）に顔サムネイル画像に対応付けて保持している。具体的には、顔サムネイル画像に適用したフレーム内圧縮符号化画像を含むシーン中の位置情報であり、シーン先頭からの経過時間情報などである。これらの情報も画像情報管理ファイル（ＡＶインデックスファイル）から取得される情報である。
【００５６】
マイクロプロセッサ１１０は、ユーザが、顔インデックス画面に表示されたサムネイル画像を例えば指でタッチして顔サムネイル画像の指定を行った場合、指定位置の座標データに基づいて指定されたサムネイル画像がどのサムネイル画像であるかを判別して、指定サムネイル画像に対応する管理ファイルのメタデータから、シーンにおけるサムネイル画像の位置（時間情報）を取得して、その位置からの動画再生を実行する。
【００５７】
（ｄ）動画再生画面から（ｃ）顔インデックス画面への遷移は、（ｄ）動画再生画面に表示されている戻るキー２０４、停止キー２０５を操作するか、あるいは顔インデックスキー（ハードキー）を操作することで実行される。
【００５８】
顔インデックス画面の詳細構成について、図３を参照して説明する。顔インデックス画面には、シーンインデックス表示領域３０１と、顔インデックス表示領域３０２が含まれる。
【００５９】
シーンインデックス表示領域３０１は、１つの動画記録データ単位である１つのシーンから選択された１つの代表画像を表示する領域であり、シーンインデックス送り／戻しキー３０３ａ，ｂを操作することで、異なるシーンの代表画像を提示することができる。なお、このシーンインデックス表示領域３０１に表示される代表画像は、例えばシーンの先頭画のサムネイル画像である。
【００６０】
一方、顔インデックス表示領域３０２は、シーンインデックス表示領域３０１に表示されたサムネイル画像が属するシーン（動画像データ）から、顔領域を含む静止画として選択された画像から切り出された顔のサムネイル画像（縮小画像）の一覧画像データが表示される領域である。
【００６１】
この顔インデックス表示領域３０２には、顔インデックス送り／戻しキー３０６ａ，ｂが表示され、この顔インデックス送り／戻しキー３０６ａ，ｂを操作することで、同一シーンの異なる時間の顔インデックスとしてのサムネイル画像を表示することができる。なお、１つの静止画に複数の顔画像領域が含まれる場合は、複数の顔画像が顔インデックス表示領域３０２に並べて表示される。
【００６２】
シーンインデックス表示領域３０１中のシーンインデックス送り／戻しキー３０３ａ，ｂを操作することで、顔インデックス表示領域３０２に表示される顔インデックスも、シーンインデックス表示領域３０２に表示されるインデックスに対応して切り替えられることになる。
【００６３】
次に、図４を参照して、顔インデックス画面に表示する顔サムネイル画像の生成処理の詳細について説明する。先に説明したように、顔インデックス画面に表示するサムネイル画像は、顔インデックス画面の表示要求があった時点でマイクロプロセッサ１１０が生成し、マイクロプロセッサ１１０内のＲＡＭ１１２に一時的にサムネイル画像を格納するとともに、生成したサムネイル画像を表示部１０９に出力して表示する。
【００６４】
マイクロプロセッサ１１０は、記録メディア１０５に記録された圧縮画像（例えばＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４圧縮を用いた高精細（ＨＤ）映像、あるいはＭＰＥＧ−２圧縮を用いた標準（ＳＤ）映像）を取得してフレーム内圧縮符号化画像を切りだし、縮小処理を実行して顔インデックス一覧領域に順番に並べて表示する。
【００６５】
例えば、図４に示すようなあるシーンを構成するＭＰＥＧデータ４００がある場合、このＭＰＥＧデータには、それぞれ異なる態様で圧縮されたフレーム（ピクチャ）が含まれる。具体的には、フレーム内圧縮符号化画像（Ｉピクチャ）、さらに、よりデータ量が少ないＢフレーム（Ｂピクチャ）、Ｐフレーム（Ｐピクチャ）などである。これらの符号化データの中で、１つのデータから復号可能なのはフレーム内圧縮符号化画像である。
【００６６】
サムネイル画像の生成には、ＭＰＥＧデータに含まれるフレーム内圧縮符号化画像を選択して利用する。すなわち、マイクロプロセッサ１１０は、顔インデックス画面を生成する対象となるシーンに含まれる様々な態様の符号化データから、顔画像領域を含むフレーム内圧縮符号化画像を選択して、復号し、顔領域を切り出して顔サムネイル画像を生成する。
【００６７】
図４示す例では、顔領域を含むフレーム内圧縮符号化画像４０１を選択する例を示している。
マイクロプロセッサ１１０は、図４に示すステップＳ１の処理として、管理ファイル４０２のメタデータに基づき、サムネイル用の画像（フレーム内圧縮符号化画像）４０１を選択する。顔領域を含むか否かは、画像情報管理ファイル（ＡＶインデックスファイル）４０２のメタデータの記録を参照して判定する。なお、顔領域を含むフレームが、必ずしもフレーム内圧縮符号化画像であるとは限らないが、この場合は、顔検出フレーム以後にある最も近接したフレーム内圧縮符号化画像をサムネイル生成対象画像として選択する。
【００６８】
なお、前述したように、画像情報管理ファイルの存在しないデータである場合は、マイクロプロセッサ１１０がシーン解析を実行して顔検出処理を実行して、各フレームの顔領域の有無を判定する構成としてもよい、
【００６９】
マイクロプロセッサ１１０は、このようにして選択した顔領域を含む画像フレーム４０１（フレーム内圧縮符号化画像）をステップＳ２において復号する。さらに、ステップＳ３において、復号された画像フレームから顔領域を切り出して、顔領域のサムネイル、すなわち顔サムネイル画像を生成する。
【００７０】
各フレームの顔領域座標情報は画像情報管理ファイル（ＡＶインデックスファイル）４０２から取得する。管理ファイルの存在しないデータである場合は、マイクロプロセッサ１１０がシーン解析を実行して顔領域の位置を判断する。このようにして生成した顔サムネイル画像を時系列に並べて、表示部１０９に出力して表示する。
【００７１】
なお、記録メディア１０５がハードディスクドライブ（ＨＤＤ）、またはメモリカードであり、記録メディア１０５に記録された画像が、ＨＤ映像の場合は記録メディア格納データは、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式で圧縮された画像であり、例えばＡＶＣＨＤ（商標）規格で映像が記録されている。このＡＶＣＨＤ（商標）規格に従った記録ストリーム管理ファイル（記録メディア全体を管理する拡張子「．ＢＤＭ」、「．ＭＰＬ」「．ＣＰＩ」等の管理ファイル群であって、ＤＶＤ−ＶｉｄｅｏフォーマットにおけるＶＩＤＥＯ＿ＴＳ．ＩＦＯファイルに相当するものである。）が併せて記録されているので、この記録ストリーム管理ファイルを適用した処理が可能である。マイクロプロセッサ１１０は、この記録ストリーム管理ファイルと画像情報管理ファイル（ＡＶインデックスファイル）を読み出して比較することで、顔領域が含まれる画像フレーム位置や、顔領域の含まれるフレーム中における顔領域の座標情報などを取得することができる。
【００７２】
しかし、例えば記録メディア１０５に記録された画像が、ＳＤ映像の場合は記録メディア格納データはＭＰＥＧ−２方式で圧縮されたデータであり、且つ記録メディア１０５がハードディスク（ＨＤＤ）やメモリカードである場合は記録ストリーム管理ファイルが含まれていないので、マイクロプロセッサ１１０自身が、ＭＰＥＧ２映像信号ストリーム中の拡張領域にあらかじめ書き込んでおいた記録ストリーム情報を追跡して映像情報管理ファイル（ＡＶインデックスファイル）の情報と比較することで、顔領域が含まれる画像フレーム位置を取得することができる。記録メディア１０５がＤＶＤ−Ｒ／＋Ｒ／−ＲＷ／＋ＲＷの場合にはＨＤ映像を記録するＡＶＣＨＤ（商標）規格、ＳＤ映像を記録するＤＶＤ−Ｖｉｄｅｏ規格／ＤＶＤ−ＶｉｄｅｏＲｅｃｏｒｄｉｎｇ規格／ＤＶＤ＋ＶＲ規格とも各規格に従った記録ストリーム管理ファイルをもつため、画像情報管理ファイル（ＡＶインデックスファイル）と比較することで、顔領域が含まれる画像フレーム位置を取得することは技術的に可能となる。ただし、ＤＶＤメディアに画像を記録する各規格には顔情報を記録する画像情報管理ファイル（ＡＶインデックスファイル）は含まれないため、規格外ではあるが顔情報を記録する画像情報管理ファイル（ＡＶインデックスファイル）を記録メディアに書き込む構成とするか、あるいは画像情報管理ファイル（ＡＶインデックスファイル）を持たず、マイクロプロセッサ１１０がシーン解析を実行して顔領域の位置を判断する構成とするか、選択することができる。
【００７３】
顔インデックス画面は、図２、図３を参照して説明したように、１つの動画記録データ単位である１つのシーンから選択された顔領域を含む時系列顔サムネイル画像のリストであり、ユーザがこれらのサムネイル画像のいずれかを指定すると、その指定サムネイル画像を再生開始位置として、動画再生を実行する。
【００７４】
マイクロプロセッサ１１０は、前述したように、ＨＤＤやメモリカードにＨＤ映像を記録する場合やＤＶＤメディアに映像を記録する場合は記録ストリーム管理ファイルからフレーム内圧縮符号化画像の位置情報（先頭からの時間情報など）を取得し、また、ＨＤＤやメモリカードにＳＤ映像を記録する場合は映像信号ストリームを解析し、画像情報管理ファイル（ＡＶインデックスファイル）に含まれる顔情報に対応したフレーム内圧縮符号化画像の位置情報を取得しており、これらの情報をＲＡＭ１１２に保持している。マイクロプロセッサ１１０は、この情報を適用して、各サムネイル画像の位置を即座に判断して、指定されたサムネイル画像からの再生を実行する。なお、動画再生を停止した場合、停止したシーンの停止した時間位置を示した状態の顔インデックス画面に戻る。
【００７５】
先に、図１を参照して説明したように、カメラ信号処理部１０３において種々の調整がされた画像データは、顔検出部１１４における顔検出情報とともに、記録再生部１０４、および表示部１０９に出力され、表示部１０９には撮影画像がスルー画として表示されるが、顔検出部１１４において顔検出がなされた場合には、スルー画に顔が検出されたことを示す顔検出アイコンが表示される。この表示例について、図５を参照して説明する。
【００７６】
図５は、表示部１０９に表示される撮影画像（スルー画）の例を示している。この撮影画像に、顔領域が含まれるか否かが、カメラ信号処理部１０３の顔検出部１１４において解析され、顔検出部１１４において顔検出がなされた場合には、スルー画に顔が検出されたことを示す顔検出アイコン５０１が表示される。顔検出アイコン５０１の表示態様は、様々な設定が可能であるが、例えば、画面内に顔を検出したら反転点滅させるといった処理が実行される。なお、この顔検出情報（各フレームに顔が検出されたか否か、および検出された場合の顔領域の位置（座標）情報など）は、前述したように画像データに対応する画像情報管理ファイル（ＡＶインデックスファイル）のメタデータとして記録される。
【００７７】
次に、図６〜図８に示すフローチャートを参照して本発明の画像処理装置において実行する各種の処理のシーケンスについて説明する。
図６は、顔インデックス画面の生成および表示処理シーケンス、
図７は、顔インデックス画面や、その他の表示部に表示される画面の遷移シーケンス、
図８は、動画像の記録処理における顔検出情報の記録処理と、記録停止処理についてのシーケンス、
である。
【００７８】
まず、図６を参照して、顔インデックス画面の生成および表示処理シーケンスについて説明する。なお、この処理は、例えば図１に示す撮像装置１００においては、データ処理部として機能するマイクロプロセッサ１１０の制御の下で実行される。
【００７９】
まず、ステップＳ１０１において、様々なシーン（動画記録単位）の格納された記録メディアから、顔インデックスを生成する対象となるシーンのデータ範囲を取得する。さらに、ステップＳ１０２において、顔インデックスを生成する対象となるシーンのインデックス画像をシーンインデックス表示領域３０１に表示する。ここで、シーンのインデックス画像とは、シーンの映像ストリーム内における先頭のフレーム内圧縮符号化画像の縮小画像に対応する。さらに、ステップＳ１０３において、画像情報管理ファイル（ＡＶインデックスファイル）から、顔インデックス生成に適用可能なメタデータ（顔インデックスメタデータ）を検索する。
【００８０】
顔インデックスメタデータは、
（ａ）シーンに含まれるフレーム中に人物の顔が検出されたことを示す情報、
（ｂ）顔検出フレームにおける顔領域の位置（座標）情報、
である。
【００８１】
ステップＳ１０４において、これらの顔インデックスメタデータが画像情報管理ファイル（ＡＶインデックスファイル）から検出されたか否かを判定する。顔インデックスメタデータが画像情報管理ファイルから検出されなかった場合は、顔インデックスは生成できないので処理を終了する。一方、顔インデックスメタデータが画像情報管理ファイルから検出された場合は、ステップＳ１０５に進み、顔インデックスサムネイルを作成する。この処理は、先に図４を参照して説明した処理であり、ＭＰＥＧデータに含まれるフレーム内圧縮符号化画像を選択して利用する。すなわち、マイクロプロセッサ１１０は、顔インデックス画面を生成する対象となるシーンに含まれる様々な態様の符号化データから、顔画像領域を含むフレーム内圧縮符号化画像を選択して、復号し、顔領域を切り出して顔サムネイル画像を生成する。
【００８２】
ステップＳ１０６において、マイクロプロセッサ１１０は、生成した顔インデックスがシーンの最終フレームに対応するか、表示画面に表示される顔インデックスの最終に達しているか、例えば、図３の例では、顔インデックス画面には８つの顔インデックスが表示されており、この場合は、８番目の顔インデックス用のサムネイル生成が終了したかを判定する。
【００８３】
ステップＳ１０６の判定がＹｅｓの場合は処理を終了する。ステップＳ１０６の判定がＮｏの場合は、ステップＳ１０７に進み、さらに後続するフレーム対応の顔インデックスメタデータの検索を実行し、ステップＳ１０４に戻り、同様の処理を継続する。この処理によって、例えば図３に示すような顔インデックス画面が生成され、表示部１０９に表示される。
【００８４】
次に、図７を参照して、顔インデックス画面や、その他、表示部に表示される画面の遷移シーケンスについて説明する。すなわち、図２を参照して説明した表示部１０９に表示される各画面の遷移処理である。この処理も例えば図１に示す撮像装置１００においては、データ処理部として機能するマイクロプロセッサ１１０の制御の下で実行される。なお、図７のフローは、顔インデックス画面（図３）の表示状態において実行される処理である。
【００８５】
まず、データ処理部として機能するマイクロプロセッサ１１０は、ステップＳ２０１において、ユーザ入力を検出する。ユーザ入力は装置に備えられたハードキー、または表示部１０９に提示されるＧＵＩに設定されるソフトキーのいずれかにおいて実行される。ステップＳ２０２において、画面遷移処理を実行すべきイベントトリガを検出すると、ステップＳ２０３に進み、そのイベントが、「閉じるイベント」であるか否かを判定する。すなわち、例えば、図２の各画面に設定された閉じるキーの操作の有無が判別される。
【００８６】
閉じるキーの操作有り、すなわち「閉じるイベント」の発生である場合は、画面を待機画面に戻して処理を終了する。ステップＳ２０３において、「閉じるイベント」の発生でないと判定した場合は、ステップＳ２０４に進み、「サムネイルタッチイベント」であるか否かを判定する。これは、顔インデックス画面（図３）に表示された顔サムネイルのユーザによるタッチ操作の有無を判定する処理である。ステップＳ２０４において「サムネイルタッチイベント」であると判定した場合は、ステップＳ２１５に進み、ユーザによって指定された顔サムネイルの元データであるフレームを再生開始フレームとして特定する。この再生開始位置特定処理は、マイクロプロセッサ１１０において画像情報管理ファイルから取得したメタデータ、および記録ストリーム管理ファイルまたは映像ストリーム中に含まれる記録ストリーム管理データに基づいて実行される。
【００８７】
ステップＳ２１６において、ステップＳ２１５で決定した再生開始位置から再生を開始し、ステップＳ２１７において顔インデックスの作成を行なう。この顔インデックスの作成処理は、再生の停止に際して実行される顔インデックス画面に提示するためのデータ作成処理である。
【００８８】
一方、ステップＳ２０４において、「サムネイルタッチイベント」でないと判定した場合は、ステップＳ２０５に進み、「シーン送りイベント」であるか否かを判定する。シーン送りイベントは、例えば図３を参照して説明したシーンインデックス送りキー３０３ｂの操作によって発生する。
【００８９】
ステップＳ２０５において「シーン送りイベント」であると判定した場合は、ステップＳ２０６においてシーン送り、すなわち、図３に示すシーンインデックス表示領域３０１に表示されたシーンインデックスを更新する。ステップＳ２０７では、更新されたシーンインデックスに対応するシーンについての顔インデックスを生成して生成した顔インデックスの表示を実行する。
【００９０】
一方、ステップＳ２０５において「シーン送りイベント」でないと判定した場合は、ステップＳ２０８に進み、「シーン戻しイベント」であるか否かを判定する。シーン戻しイベントは、例えば図３を参照して説明したシーンインデックス戻しキー３０３ａの操作によって発生する。ステップＳ２０８において「シーン戻しイベント」であると判定した場合は、ステップＳ２０９においてシーン戻し、すなわち、図３に示すシーンインデックス表示領域３０１に表示されたシーンインデックスを更新し、ステップＳ２０７において、更新されたシーンインデックスに対応するシーンについての顔インデックスを生成して生成した顔インデックスの表示を実行する。
【００９１】
また、ステップＳ２０８において「シーン戻しイベント」でないと判定した場合は、ステップＳ２１０に進み、「顔インデックス送りイベント」であるか否かを判定する。この顔インデックス送りイベントは、例えば図３を参照して説明した顔インデックス送りキー３０６ｂの操作によって発生する。
【００９２】
ステップＳ２１０において「顔インデックス送りイベント」であると判定した場合は、ステップＳ２１１に進み、表示されている顔インデックスが、シーンの最終データ部分に対応して生成されたインデックスであるかが判定される。シーンの最終データ部分に対応して生成されたインデックスでない場合は、ステップＳ２１２に進み、現在表示されている顔インデックスの後続するシーン構成フレームに基づいて顔インデックスを生成して表示する。ステップＳ２１１において、現在表示されている顔インデックスがシーンの最終データ部分に対応して生成されたインデックスであると判定した場合は、処理を行なうことなくステップＳ２０１に戻る。
【００９３】
さらに、ステップＳ２１０において、「顔インデックス送りイベント」でないと判定した場合は、ステップＳ２１３に進み、「顔インデックス戻しイベント」であるか否かを判定する。この顔インデックス戻しイベントは、例えば図３を参照して説明した顔インデックス戻しキー３０６ａの操作によって発生する。
【００９４】
ステップＳ２１３において「顔インデックス戻しイベント」であると判定した場合は、ステップＳ２１４に進み、表示されている顔インデックスが、シーンの先頭データ部分に対応して生成されたインデックスであるかが判定される。シーンの先頭データ部分に対応して生成されたインデックスでない場合は、ステップＳ２１２に進み、現在表示されている顔インデックスに先行するシーン構成フレームに基づいて顔インデックスを生成して表示する。ステップＳ２１４において、現在表示されている顔インデックスがシーンの先頭データ部分に対応して生成されたインデックスであると判定した場合は、処理を行なうことなくステップＳ２０１に戻る。このようにして、図３に示す顔インデックス画面の更新など、様々な処理が実行される。
【００９５】
次に、図８を参照して、動画像の記録処理における顔検出情報の記録処理と、記録停止処理についてのシーケンスについて説明する。例えば図１を参照して説明した撮像装置において、動画像を撮影し、メデイア１０５に記録する処理において、カメラ信号処理部１０３の顔検出部１１４および記録再生処理部１０４の処理によって生成される顔検出情報の記録処理と、記録停止処理についてのシーケンスである。なお、この処理の全体的制御は、図１に示す撮像装置１００においては、データ処理部として機能するマイクロプロセッサ１１０の制御の下で実行される。なお、この図８に示す処理は、動画記録が実行中であることを前提として開始される処理シーケンスである。
【００９６】
まず、動画の記録処理中に、データ処理部として機能するマイクロプロセッサ１１０は、ステップＳ３０１においてユーザ入力を検出する。ユーザ入力は装置に備えられたハードキー、または表示部１０９に提示されるＧＵＩに設定されるソフトキーのいずれかにおいて実行される。ステップＳ３０２において、ユーザ入力に基づいてデータ処理を実行すべきイベントトリガを検出すると、ステップＳ３０３に進み、そのイベントが、「記録終了イベント」であるか否かを判定する。
【００９７】
「記録終了イベント」でない場合は、ステップＳ３０４に進み、「顔検出イベント」であるか否かを判定する。顔検出イベントは、例えば、装置に備えられた顔検出処理を実行するか否かを設定するスイッチ（顔検出処理実行指示スイッチ）の操作によって発生する。「顔検出イベント」である場合は、ステップＳ３０５に進み顔検出処理を実行する。すなわち、図１に示す、カメラ信号処理部１０３の顔検出部１１４において、各フレームに対応する顔インデックスメタデータ、すなわち、
（ａ）シーンに含まれるフレーム中に人物の顔が検出されたことを示す情報、
（ｂ）顔検出フレームにおける顔領域の位置（座標）情報、
これらの情報をカメラ信号処理部１０３内のＲＡＭに記録する処理が実行される。
なお、顔インデックスメタデータ量が膨大になってしまうことを防ぐために、各フレーム毎にメタデータを持つのではなく、検出された顔の数に変化があったときのみ、ＲＡＭに顔インデックスメタデータを残すことで必要なＲＡＭ容量を削減するような処理としてもよい。
【００９８】
一方、ステップＳ３０３において、発生イベントが、「記録終了イベント」であると判定された場合は、ステップＳ３０６に進み、記録処理を停止する。次に、ステップＳ３０７において、記録されたシーンに対応する顔検出情報の有無が判定され、顔検出情報がある場合は、カメラ信号処理部１０３の顔検出部１１４においてＲＡＭに保持されたデータ、すなわち、
（ａ）シーンに含まれるフレーム中に人物の顔が検出されたことを示す情報、
（ｂ）顔検出フレームにおける顔領域の位置（座標）情報、
これらの情報を、各フレームに対応する顔インデックスメタデータとして、画像情報管理ファイル（ＡＶインデックスファイル）に記録する処理を実行して、ステップＳ３０９において画像情報管理ファイルを更新して記録メディアに記録して処理を終了する。
【００９９】
ステップＳ３０７において、記録されたシーンに対応する顔検出情報の無いと判定した場合は、上記の顔インデックスメタデータの記録を行なうことなくステップＳ３０９において、顔インデックスメタデータ以外の管理データによる画像情報管理ファイルの更新を実行して記録メディアに記録して処理を終了する。
【０１００】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１０１】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１０２】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１０３】
以上、説明したように、本発明の一実施例構成によれば、１つの動画像データの記録単位として設定される１つのシーンにおける時系列顔サムネイル画像データ（顔インデックス）を生成して表示部に表示する構成としたので、多くの場合、撮影データの中心となる人の顔に基づいて容易に各シーンの内容を知ることができる。また、ユーザが時系列顔サムネイル画像を指定することで、指定された顔サムネイル画像の生成元となった画像フレームを起点とした画像再生が実行されるので、見たい場面の再生を即座に行なうことができる。
【図面の簡単な説明】
【０１０４】
【図１】本発明の一実施例の画像処理装置としての撮像装置の構成について説明する図である。
【図２】表示部に表示される画面の遷移例について説明する図である。
【図３】表示部に表示される顔インデックス画面の例について説明する図である。
【図４】顔インデックス画面に表示するサムネイル画像の生成処理について説明する図である。
【図５】表示部に表示する顔検出アイコンの表示例について説明する図である。
【図６】顔インデックス画面の生成および表示処理シーケンスを説明するフローチャートを示す図である。
【図７】顔インデックス画面や、その他の表示部に表示される画面の遷移シーケンスを説明するフローチャートを示す図である。
【図８】動画像の記録処理における顔検出情報の記録処理と、記録停止処理についてのシーケンスを説明するフローチャートを示す図である。
【符号の説明】
【０１０５】
１００ 撮像装置
１０１ レンズ
１０２ ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）
１０３ カメラ信号処理部
１０４ 記録再生部
１０５ 記録メディア
１０６ キー入力部
１０７ オンスクリーンディスプレイ処理部
１０８ 重畳処理部
１０９ 表示部
１１０ マイクロプロセッサ
１１１ ＣＰＵ
１１２ ＲＡＭ
１１３ ＲＯＭ
１１４ 顔検出部
１２０ バッテリ
１２１ 電源回路
２０１ ホームキー
２０２ 閉じるキー
２０３ 顔インデックスキー
２０４ 戻るキー
２０５ 停止キー
３０１ シーンインデックス表示領域
３０２ 顔インデックス表示領域
３０３ シーンインデックス送り／戻しキー
３０６ 顔インデックス送り／戻しキー
４００ ＭＰＥＧデータ
４０１ 顔領域を含むフレーム内圧縮符号化画像
５０１ 顔検出アイコン
【特許請求の範囲】
【請求項１】
ユーザ操作情報を入力する入力部と、
動画データを記録する記録媒体と、
前記入力部からの入力に基づいて、前記記録媒体に記録されたデータを取得して表示部に出力する表示データを生成するデータ処理部と、
前記表示データを表示する表示部とを有し、
前記データ処理部は、
前記記録媒体に記録された１つの動画像記録単位であるシーンから、人物の顔を含むフレームを選択し選択フレームから切り出した顔領域のサムネイル画像を生成し、生成した顔サムネイル画像を時系列に並べた時系列顔サムネイル画像一覧を前記表示部に表示する処理を実行する構成であることを特徴とする画像処理装置。
【請求項２】
前記記録媒体には、当該記録媒体に記録された画像情報を管理する画像情報管理ファイルが記録され、
前記データ処理部は、
前記記録媒体に記録された前記画像情報管理ファイルから、１つの動画像記録単位であるシーンを構成するフレーム各々の顔領域の有無、および顔領域位置情報を取得して、人物の顔を含むフレームを選択し選択フレームから切り出した顔領域のサムネイル画像を生成する処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記データ処理部は、
前記記録媒体に記録された１つの動画像記録単位であるシーンの解析を実行して、シーン構成フレーム各々の顔領域の有無、および顔領域位置情報を取得して、人物の顔を含むフレームを選択し選択フレームから切り出した顔領域のサムネイル画像を生成する処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記データ処理部は、
前記時系列顔サムネイル画像一覧に表示する顔サムネイル画像の生成対象データとして、フレーム内圧縮符号化画像を選択して顔サムネイル画像を生成する処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記入力部の一部は、前記表示部に構成されるタッチパネルであり、
前記データ処理部は、
前記表示部に表示される前記時系列顔サムネイル画像一覧に対するユーザからの顔サムネイル画像指定情報を入力し、指定された顔サムネイル画像に対応する画像位置からの再生処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記データ処理部は、
前記時系列顔サムネイル画像一覧に併せて、該時系列顔サムネイル画像一覧の生成対象としたシーンの代表画像であるシーンインデックスを前記表示部に表示する処理を実行し、シーンインデックスの更新に併せて、前記時系列顔サムネイル画像一覧を更新されたシーンインデックスに対応する顔サムネイル画像一覧に更新する処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項７】
撮像部と、
ユーザ操作情報を入力する入力部と、
動画データを記録する記録媒体と、
前記入力部からの入力に基づいて、前記記録媒体に記録されたデータを取得して表示部に出力する表示データを生成するデータ処理部と、
前記表示データを表示する表示部とを有し、
前記データ処理部は、
前記記録媒体に記録された１つの動画像記録単位であるシーンから、人物の顔を含むフレームを選択し選択フレームから切り出した顔領域のサムネイル画像を生成し、生成した顔サムネイル画像を時系列に並べた時系列顔サムネイル画像一覧を前記表示部に表示する処理を実行する構成であることを特徴とする撮像装置。
【請求項８】
前記撮像装置は、
前記撮像部から取得される撮影データに人物の顔領域が含まれるか否かを検出する顔検出部を有し、
前記データ処理部は、
前記顔検出部において顔が検出された場合、前記表示部に表示する撮像画像に併せて顔が検出されたことを知らせる顔検出アイコンの表示を実行する構成であることを特徴とする請求項７に記載の撮像装置。
【請求項９】
画像処理装置において実行する画像表示制御方法であり、
入力部においてユーザ操作情報を入力する操作情報入力ステップと、
データ処理部が、前記入力部からの入力に基づいて、動画データを記録した記録媒体からデータを取得して表示部に出力する表示データを生成するデータ処理ステップと、
表示部が、前記表示データを表示する表示ステップを有し、
前記データ処理ステップは、
前記記録媒体に記録された１つの動画像記録単位であるシーンから、人物の顔を含むフレームを選択し選択フレームから切り出した顔領域のサムネイル画像を生成し、生成した顔サムネイル画像を時系列に並べた時系列顔サムネイル画像一覧を前記表示部に表示する処理を実行するステップであることを特徴とする画像表示制御方法。
【請求項１０】
前記データ処理ステップは、
前記記録媒体に記録された画像情報管理ファイルから、１つの動画像記録単位であるシーンを構成するフレーム各々の顔領域の有無、および顔領域位置情報を取得して、人物の顔を含むフレームを選択し選択フレームから切り出した顔領域のサムネイル画像を生成する処理を実行するステップであることを特徴とする請求項９に記載の画像表示制御方法。
【請求項１１】
前記データ処理ステップは、
前記記録媒体に記録された１つの動画像記録単位であるシーンの解析を実行して、シーン構成フレーム各々の顔領域の有無、および顔領域位置情報を取得して、人物の顔を含むフレームを選択し選択フレームから切り出した顔領域のサムネイル画像を生成する処理を実行するステップであることを特徴とする請求項９に記載の画像表示制御方法。
【請求項１２】
前記データ処理ステップは、
前記時系列顔サムネイル画像一覧に表示する顔サムネイル画像の生成対象データとして、フレーム内圧縮符号化画像を選択して顔サムネイル画像を生成する処理を実行するステップであることを特徴とする請求項９に記載の画像表示制御方法。
【請求項１３】
前記入力部の一部は、前記表示部に構成されるタッチパネルであり、
前記画像表示制御方法において、さらに、
前記データ処理部は、前記表示部に表示される前記時系列顔サムネイル画像一覧に対するユーザからの顔サムネイル画像指定情報を入力し、指定された顔サムネイル画像に対応する画像位置からの再生処理を実行することを特徴とする請求項９に記載の画像表示制御方法。
【請求項１４】
前記データ処理ステップは、
前記時系列顔サムネイル画像一覧に併せて、該時系列顔サムネイル画像一覧の生成対象としたシーンの代表画像であるシーンインデックスを前記表示部に表示する処理を実行し、シーンインデックスの更新に併せて、前記時系列顔サムネイル画像一覧を更新されたシーンインデックスに対応する顔サムネイル画像一覧に更新する処理を実行するステップであることを特徴とする請求項９に記載の画像表示制御方法。
【請求項１５】
撮像装置において実行する画像表示制御方法であり、
撮像部が撮像処理を実行する撮像ステップと、
入力部が、ユーザ操作情報を入力する操作情報入力ステップと、
顔検出部が、前記撮像部から取得される撮影データに人物の顔領域が含まれるか否かを検出する顔検出ステップと、
データ処理部が、前記顔検出部において顔が検出された場合、前記表示部に表示する撮像画像に併せて顔が検出されたことを知らせる顔検出アイコンの表示を実行するアイコン表示ステップと、
前記データ処理部が、前記記録媒体に記録された１つの動画像記録単位であるシーンから、人物の顔を含むフレームを選択し選択フレームから切り出した顔領域のサムネイル画像（縮小画像）を生成し、生成した顔サムネイル画像を時系列に並べた時系列顔サムネイル画像一覧を前記表示部に表示する処理を実行するステップと、
を有することを特徴とする画像表示制御方法。
【請求項１６】
画像処理装置において画像表示制御処理を実行させるコンピュータ・プログラムであり、
入力部においてユーザ操作情報の入力検出を実行させる操作情報入力ステップと、
データ処理部に、前記入力部からの入力に基づいて、動画データを記録した記録媒体からデータを取得して表示部に出力する表示データを生成させるデータ処理ステップと、
表示部に、前記表示データを表示させる表示ステップを有し、
前記データ処理ステップは、
前記記録媒体に記録された１つの動画像記録単位であるシーンから、人物の顔を含むフレームを選択し選択フレームから切り出した顔領域のサムネイル画像を生成し、生成した顔サムネイル画像を時系列に並べた時系列顔サムネイル画像一覧を前記表示部に表示する処理を実行させるステップであることを特徴とするコンピュータ・プログラム。
【請求項１７】
撮像装置において画像表示制御処理を実行させるコンピュータ・プログラムであり、
撮像部に撮像処理を実行させる撮像ステップと、
入力部においてユーザ操作情報の入力検出を実行させる操作情報入力ステップと、
顔検出部に、前記撮像部から取得される撮影データに人物の顔領域が含まれるか否かを検出させる顔検出ステップと、
データ処理部に、前記顔検出部において顔が検出された場合、前記表示部に表示する撮像画像に併せて顔が検出されたことを知らせる顔検出アイコンの表示を実行させるアイコン表示ステップと、
前記データ処理部に、前記記録媒体に記録された１つの動画像記録単位であるシーンから、人物の顔を含むフレームを選択し選択フレームから切り出した顔領域のサムネイル画像を生成し、生成した顔サムネイル画像を時系列に並べた時系列顔サムネイル画像一覧を前記表示部に表示する処理を実行するステップと、
を実行させることを特徴とするコンピュータ・プログラム。
【請求項１】
ユーザ操作情報を入力する入力部と、
動画データを記録する記録媒体と、
前記入力部からの入力に基づいて、前記記録媒体に記録されたデータを取得して表示部に出力する表示データを生成するデータ処理部と、
前記表示データを表示する表示部とを有し、
前記データ処理部は、
前記記録媒体に記録された１つの動画像記録単位であるシーンから、人物の顔を含むフレームを選択し選択フレームから切り出した顔領域のサムネイル画像を生成し、生成した顔サムネイル画像を時系列に並べた時系列顔サムネイル画像一覧を前記表示部に表示する処理を実行する構成であることを特徴とする画像処理装置。
【請求項２】
前記記録媒体には、当該記録媒体に記録された画像情報を管理する画像情報管理ファイルが記録され、
前記データ処理部は、
前記記録媒体に記録された前記画像情報管理ファイルから、１つの動画像記録単位であるシーンを構成するフレーム各々の顔領域の有無、および顔領域位置情報を取得して、人物の顔を含むフレームを選択し選択フレームから切り出した顔領域のサムネイル画像を生成する処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記データ処理部は、
前記記録媒体に記録された１つの動画像記録単位であるシーンの解析を実行して、シーン構成フレーム各々の顔領域の有無、および顔領域位置情報を取得して、人物の顔を含むフレームを選択し選択フレームから切り出した顔領域のサムネイル画像を生成する処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記データ処理部は、
前記時系列顔サムネイル画像一覧に表示する顔サムネイル画像の生成対象データとして、フレーム内圧縮符号化画像を選択して顔サムネイル画像を生成する処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記入力部の一部は、前記表示部に構成されるタッチパネルであり、
前記データ処理部は、
前記表示部に表示される前記時系列顔サムネイル画像一覧に対するユーザからの顔サムネイル画像指定情報を入力し、指定された顔サムネイル画像に対応する画像位置からの再生処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記データ処理部は、
前記時系列顔サムネイル画像一覧に併せて、該時系列顔サムネイル画像一覧の生成対象としたシーンの代表画像であるシーンインデックスを前記表示部に表示する処理を実行し、シーンインデックスの更新に併せて、前記時系列顔サムネイル画像一覧を更新されたシーンインデックスに対応する顔サムネイル画像一覧に更新する処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項７】
撮像部と、
ユーザ操作情報を入力する入力部と、
動画データを記録する記録媒体と、
前記入力部からの入力に基づいて、前記記録媒体に記録されたデータを取得して表示部に出力する表示データを生成するデータ処理部と、
前記表示データを表示する表示部とを有し、
前記データ処理部は、
前記記録媒体に記録された１つの動画像記録単位であるシーンから、人物の顔を含むフレームを選択し選択フレームから切り出した顔領域のサムネイル画像を生成し、生成した顔サムネイル画像を時系列に並べた時系列顔サムネイル画像一覧を前記表示部に表示する処理を実行する構成であることを特徴とする撮像装置。
【請求項８】
前記撮像装置は、
前記撮像部から取得される撮影データに人物の顔領域が含まれるか否かを検出する顔検出部を有し、
前記データ処理部は、
前記顔検出部において顔が検出された場合、前記表示部に表示する撮像画像に併せて顔が検出されたことを知らせる顔検出アイコンの表示を実行する構成であることを特徴とする請求項７に記載の撮像装置。
【請求項９】
画像処理装置において実行する画像表示制御方法であり、
入力部においてユーザ操作情報を入力する操作情報入力ステップと、
データ処理部が、前記入力部からの入力に基づいて、動画データを記録した記録媒体からデータを取得して表示部に出力する表示データを生成するデータ処理ステップと、
表示部が、前記表示データを表示する表示ステップを有し、
前記データ処理ステップは、
前記記録媒体に記録された１つの動画像記録単位であるシーンから、人物の顔を含むフレームを選択し選択フレームから切り出した顔領域のサムネイル画像を生成し、生成した顔サムネイル画像を時系列に並べた時系列顔サムネイル画像一覧を前記表示部に表示する処理を実行するステップであることを特徴とする画像表示制御方法。
【請求項１０】
前記データ処理ステップは、
前記記録媒体に記録された画像情報管理ファイルから、１つの動画像記録単位であるシーンを構成するフレーム各々の顔領域の有無、および顔領域位置情報を取得して、人物の顔を含むフレームを選択し選択フレームから切り出した顔領域のサムネイル画像を生成する処理を実行するステップであることを特徴とする請求項９に記載の画像表示制御方法。
【請求項１１】
前記データ処理ステップは、
前記記録媒体に記録された１つの動画像記録単位であるシーンの解析を実行して、シーン構成フレーム各々の顔領域の有無、および顔領域位置情報を取得して、人物の顔を含むフレームを選択し選択フレームから切り出した顔領域のサムネイル画像を生成する処理を実行するステップであることを特徴とする請求項９に記載の画像表示制御方法。
【請求項１２】
前記データ処理ステップは、
前記時系列顔サムネイル画像一覧に表示する顔サムネイル画像の生成対象データとして、フレーム内圧縮符号化画像を選択して顔サムネイル画像を生成する処理を実行するステップであることを特徴とする請求項９に記載の画像表示制御方法。
【請求項１３】
前記入力部の一部は、前記表示部に構成されるタッチパネルであり、
前記画像表示制御方法において、さらに、
前記データ処理部は、前記表示部に表示される前記時系列顔サムネイル画像一覧に対するユーザからの顔サムネイル画像指定情報を入力し、指定された顔サムネイル画像に対応する画像位置からの再生処理を実行することを特徴とする請求項９に記載の画像表示制御方法。
【請求項１４】
前記データ処理ステップは、
前記時系列顔サムネイル画像一覧に併せて、該時系列顔サムネイル画像一覧の生成対象としたシーンの代表画像であるシーンインデックスを前記表示部に表示する処理を実行し、シーンインデックスの更新に併せて、前記時系列顔サムネイル画像一覧を更新されたシーンインデックスに対応する顔サムネイル画像一覧に更新する処理を実行するステップであることを特徴とする請求項９に記載の画像表示制御方法。
【請求項１５】
撮像装置において実行する画像表示制御方法であり、
撮像部が撮像処理を実行する撮像ステップと、
入力部が、ユーザ操作情報を入力する操作情報入力ステップと、
顔検出部が、前記撮像部から取得される撮影データに人物の顔領域が含まれるか否かを検出する顔検出ステップと、
データ処理部が、前記顔検出部において顔が検出された場合、前記表示部に表示する撮像画像に併せて顔が検出されたことを知らせる顔検出アイコンの表示を実行するアイコン表示ステップと、
前記データ処理部が、前記記録媒体に記録された１つの動画像記録単位であるシーンから、人物の顔を含むフレームを選択し選択フレームから切り出した顔領域のサムネイル画像（縮小画像）を生成し、生成した顔サムネイル画像を時系列に並べた時系列顔サムネイル画像一覧を前記表示部に表示する処理を実行するステップと、
を有することを特徴とする画像表示制御方法。
【請求項１６】
画像処理装置において画像表示制御処理を実行させるコンピュータ・プログラムであり、
入力部においてユーザ操作情報の入力検出を実行させる操作情報入力ステップと、
データ処理部に、前記入力部からの入力に基づいて、動画データを記録した記録媒体からデータを取得して表示部に出力する表示データを生成させるデータ処理ステップと、
表示部に、前記表示データを表示させる表示ステップを有し、
前記データ処理ステップは、
前記記録媒体に記録された１つの動画像記録単位であるシーンから、人物の顔を含むフレームを選択し選択フレームから切り出した顔領域のサムネイル画像を生成し、生成した顔サムネイル画像を時系列に並べた時系列顔サムネイル画像一覧を前記表示部に表示する処理を実行させるステップであることを特徴とするコンピュータ・プログラム。
【請求項１７】
撮像装置において画像表示制御処理を実行させるコンピュータ・プログラムであり、
撮像部に撮像処理を実行させる撮像ステップと、
入力部においてユーザ操作情報の入力検出を実行させる操作情報入力ステップと、
顔検出部に、前記撮像部から取得される撮影データに人物の顔領域が含まれるか否かを検出させる顔検出ステップと、
データ処理部に、前記顔検出部において顔が検出された場合、前記表示部に表示する撮像画像に併せて顔が検出されたことを知らせる顔検出アイコンの表示を実行させるアイコン表示ステップと、
前記データ処理部に、前記記録媒体に記録された１つの動画像記録単位であるシーンから、人物の顔を含むフレームを選択し選択フレームから切り出した顔領域のサムネイル画像を生成し、生成した顔サムネイル画像を時系列に並べた時系列顔サムネイル画像一覧を前記表示部に表示する処理を実行するステップと、
を実行させることを特徴とするコンピュータ・プログラム。
【図１】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２００８−２２８１３４（Ｐ２００８−２２８１３４Ａ）
【公開日】平成２０年９月２５日（２００８．９．２５）
【国際特許分類】
【出願番号】特願２００７−６６１６９（Ｐ２００７−６６１６９）
【出願日】平成１９年３月１５日（２００７．３．１５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２０年９月２５日（２００８．９．２５）
【国際特許分類】
【出願日】平成１９年３月１５日（２００７．３．１５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]