データ処理装置および方法、並びにデータ処理プログラムおよびデータ処理プログラムが記録された記録媒体
【課題】映像データから所定のシーンを容易に選択し、ダビングを行うことができるようにする。
【解決手段】例えば撮像装置において、撮像信号に基づく動画データの記録時に、撮像画像に含まれる対象物の画像を検出し（図５Ａ）、検出結果に基づき当該動画データに対して再生区間を指定するための情報が登録されるテーブルを生成する（図５Ｂ）。検出の対象となる対象物は、例えば人間の顔である。記録された動画データを他の記録媒体にダビングする際には、このテーブルを用いて、対象物が検出された区間のみを選択的にダビングする（図５Ｃ）。これにより、動画データから特定のシーンを抽出してダビングする作業を、極めて容易に行うことができる。
【解決手段】例えば撮像装置において、撮像信号に基づく動画データの記録時に、撮像画像に含まれる対象物の画像を検出し（図５Ａ）、検出結果に基づき当該動画データに対して再生区間を指定するための情報が登録されるテーブルを生成する（図５Ｂ）。検出の対象となる対象物は、例えば人間の顔である。記録された動画データを他の記録媒体にダビングする際には、このテーブルを用いて、対象物が検出された区間のみを選択的にダビングする（図５Ｃ）。これにより、動画データから特定のシーンを抽出してダビングする作業を、極めて容易に行うことができる。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、映像データから所定部分を容易に抽出可能とする記録装置、記録方法および記録プログラム、ならびに、データ処理装置、データ処理方法およびデータ処理プログラムに関する。
【背景技術】
【０００２】
近年では、携帯型のビデオカメラ装置などでも、ハードディスクを内蔵し、撮像された動画データを記録する記録媒体として用いた製品が多く開発されている。一例として、数１０ＧＢ(Giga Byte)乃至数１００ＧＢ、若しくはそれ以上の記録容量を有するハードディスクを内蔵し、被写体を撮影して得られた映像データを所定に圧縮符号化してハードディスクに記録する。記録された映像データは、ハードディスクから再生し復号化してビデオカメラ装置に設けられた表示装置に映出させたり、外部に出力してより画面の大きな表示装置に映出させたりできる。
【０００３】
また、ビデオカメラ装置に内蔵されるハードディスクといった内蔵記録媒体は、記録容量が限られている。そのため、記録された映像データを保存するためには、例えば記録可能なタイプのＤＶＤ(Digital Versatile Disc)などの、装置に対して着脱可能な記録媒体にダビングする必要がある。また、記録された映像データを、例えば知人などに渡したいような場合にも、内蔵記録媒体に記録された映像データを記録可能なタイプのＤＶＤなどにダビングして渡すのが一般的である。
【０００４】
他の例として、記録された映像データを再生して鑑賞する場合、映像データから興味のあるシーン、例えば興味のある人物が登場するシーンを抽出して映像データを編集し、編集された映像データを例えば記録可能なタイプのＤＶＤ（以下、「記録可能なタイプのＤＶＤ」を単に「ＤＶＤ」と呼ぶ）に記録すれば、鑑賞したい映像のみを効率よく再生できる。また、この場合、ハードディスクに記録された映像データを、不要なシーンも含めてＤＶＤにダビングする場合に比べて、ダビング時間が短くなり、好ましい。
【０００５】
特許文献１には、このような、記録媒体に記録された映像データから興味のあるシーンを抽出して編集し、編集された映像データを集めて他の記録媒体にダビングするようにした技術が記載されている。
【特許文献１】特開２００４−２２１８８４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
従来では、このような、映像データから興味のあるシーンを抽出して編集し、編集された映像データをダビングする作業は、ユーザが実際に映像を見ながら手作業で行うしかなかった。例えば、映像データを再生して興味のあるシーンを見つけ出し、そのシーンの開始位置（ＩＮ点）および終了点（ＯＵＴ点）とを指定するという作業を、ユーザが繰り返し行う。このような作業は、大変に手間や時間がかかると共に、作業に不慣れなユーザにとっては、編集作業自体に苦痛を感じてしまうおそれがあるという問題点があった。
【０００７】
したがって、この発明の目的は、映像データから所定のシーンを容易に選択し、ダビングを行うことができるようにした記録装置、記録方法および記録プログラム、ならびに、データ処理装置、データ処理方法およびデータ処理プログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上述した課題を解決するために、第１の発明は、動画データから対象物の画像を検出する検出部と、第１の記録媒体に対するデータの記録再生を行う記録再生部と、検出部による検出結果に基づき動画データ上の位置を示す位置情報をテーブルに登録するテーブル作成部と、記録再生部を制御する制御部とを有し、制御部は、検出部で対象物の画像の検出が行われる動画データを第１の記録媒体に記録するように記録再生部を制御することを特徴とする記録装置である。
【０００９】
また、第２の発明は、動画データから対象物の画像を検出する検出のステップと、検出のステップによる検出結果に基づき動画データ上の位置を示す位置情報をテーブルに登録するテーブル作成のステップと、検出のステップで対象物の画像の検出が行われる動画データを第１の記録媒体に記録するステップとを有することを特徴とする記録方法である。
【００１０】
また、第３の発明は、動画データから対象物の画像を検出する検出のステップと、検出のステップによる検出結果に基づき動画データ上の位置を示す位置情報をテーブルに登録するテーブル作成のステップと、検出のステップで対象物の画像の検出が行われる動画データを第１の記録媒体に記録するステップとを有する記録方法をコンピュータに実行させることを特徴とする記録プログラムである。
【００１１】
また、第４の発明は、動画データから対象物の画像を検出する検出部と、検出部による検出結果に基づき動画データ上の位置を示す位置情報をテーブルに登録するテーブル作成部とを有することを特徴とするデータ処理装置である。
【００１２】
また、第５の発明は、動画データから対象物の画像を検出する検出のステップと、検出のステップによる検出結果に基づき動画データ上の位置を示す位置情報をテーブルに登録するテーブル作成のステップとを有することを特徴とするデータ処理方法である。
【００１３】
また、第６の発明は、動画データから対象物の画像を検出する検出のステップと、検出のステップによる検出結果に基づき動画データ上の位置を示す位置情報をテーブルに登録するテーブル作成のステップとを有するデータ処理方法をコンピュータに実行させることを特徴とするデータ処理プログラムである。
【００１４】
上述したように、第１、第２および第３の発明は、動画データから対象物の画像を検出した検出結果に基づき動画データ上の位置を示す位置情報をテーブルに登録すると共に、対象物の画像の検出が行われる動画データを第１の記録媒体に記録するようにしているため、テーブルに基づき、第１の記録媒体に記録された動画データから対象物の画像が検出された部分を選択的に抽出することができる。
【００１５】
また、第４、第５および第６の発明は、動画データから対象物の画像を検出した検出結果に基づき動画データ上の位置を示す位置情報をテーブルに登録するようにしているため、テーブルに基づき、動画データから対象物の画像が検出された部分を選択的に抽出することができる。
【発明の効果】
【００１６】
第１、第２および第３の発明は、上述したように、動画データから対象物の画像を検出した検出結果に基づき動画データ上の位置を示す位置情報をテーブルに登録すると共に、対象物の画像の検出が行われる動画データを第１の記録媒体に記録するようにしているため、テーブルに基づき、第１の記録媒体に記録された動画データから対象物の画像が検出された部分を選択的に抽出することができる効果がある。
【００１７】
また、第４、第５および第６の発明は、動画データから対象物の画像を検出した検出結果に基づき動画データ上の位置を示す位置情報をテーブルに登録するようにしているため、テーブルに基づき、動画データから対象物の画像が検出された部分を選択的に抽出することができる効果がある。
【発明を実施するための最良の形態】
【００１８】
以下、この発明の実施の第１の形態について説明する。この発明では、例えば撮像装置において、撮像信号に基づく動画データの記録時に、撮像画像に含まれる対象物の画像を検出し、検出結果に基づき当該動画データに対して再生区間を指定するための情報が登録されるテーブルを生成する。検出の対象となる対象物は、例えば人間の顔である。記録された動画データを他の記録媒体にダビングする際には、このテーブルを用いて、対象物が検出された区間のみを選択的にダビングする。これにより、動画データから特定のシーンを抽出してダビングする作業を、極めて容易に行うことができる。
【００１９】
図１〜図５を用いてこの発明について概略的に説明する。図１〜図４は、記録時の処理の例を示す。図１Ａに一例が示されるように、記録開始指示に従い動画データの記録が開始され、記録停止指示に従い記録が停止される。ここで、シーンは、動画データに対して所定のマークを設定することで定義されるものとする。すなわち、動画データに対して設定された第１および第２のマークとで１のシーンが形成される。例えば、記録開始時および記録終了時に、マークを自動的に設定することで、記録開始位置および終了位置を区間とするシーンが自動的に形成される。図１Ａの例では、記録開始と記録停止とでシーン＃１が形成されている。
【００２０】
動画データの記録は、例えば、ハードディスクといった装置に内蔵される記録媒体（以下、内蔵記録媒体）に対して行われる。なお、マーク位置を示すマーク情報は、動画データの管理情報として所定に保持される。管理情報は、内蔵記録媒体に対して、対応する動画データと関連付けられて所定のタイミングで記録される。
【００２１】
シーン＃１の動画データに対して、例えばフレーム毎に画像解析を行い、対象物の画像が含まれているフレームを検出する。以下では、対象物を人間の顔とし、画像解析により人間の顔の画像（以下、顔画像と呼ぶ）が含まれているフレームを検出するものとする。図１Ａの例では、シーン＃１において、時刻ａから時刻ｂの区間で顔画像が検出されている。なお、時刻ａおよび時刻ｂは、それぞれ、記録開始点など基準となる時刻に対するフレームの再生時刻を示す。
【００２２】
顔画像の検出結果は、顔検出プレイリストに登録される。顔検出プレイリストは、図１Ｂに一例が示されるように、例えば、顔画像が検出された区間毎に、顔画像が検出されたシーンを識別するための情報（この例ではシーン番号）と、顔画像が検出された区間の開始点および終了点をそれぞれ示す時刻情報とが登録されるテーブルである。図１Ａの例では、シーン＃１における時刻ａから時刻ｂの区間で顔画像が検出されているので、図１Ｂに例示されるように、リスト番号＃１として、シーン番号＃１と、時刻ａおよび時刻ｂとが登録される。
【００２３】
なお、シーンの開始点および終了点の情報は、動画データの管理情報として別途生成され、記録されるものとする。
【００２４】
シーン＃１の記録が停止された後、再び記録が開始されてシーン＃２が形成され、シーン＃２の動画データに対する画像解析の結果、図２Ａに一例が示されるように、時刻ｃから時刻ｄの区間で顔画像が検出されたものとする。この場合、顔検出プレイリストは、図２Ｂに一例が示されるように、上述したシーン＃１に対する顔画像の検出結果に基づくリスト番号＃１の情報に対して、シーン番号＃２と、新たに顔画像が検出された区間の開始点および終了点をそれぞれ示す時刻ｃおよび時刻ｄとが、リスト番号＃２の情報として追加して登録される。
【００２５】
図３は、シーンの動画データにおいて顔画像が検出されない場合の例を示す。すなわち、シーン＃２の記録が停止された後、再び記録が開始されてシーン＃３が形成される。シーン＃３の動画データに対する画像解析の結果、図３Ａに例示されるように、シーン＃３には顔画像が検出されなかった。この場合には、当然のことながら顔検出プレイリストに対して情報が追加されない（図３Ｂ参照）。
【００２６】
図４は、１のシーンに対して複数の顔画像検出区間が存在する場合の例である。すなわち、シーン＃３の記録が停止された後、再び記録が開始されてシーン＃４が形成され、シーン＃４の動画データに対する画像解析の結果、図４Ａに一例が示されるように、時刻ｅから時刻ｆの区間と、時刻ｇから時刻ｈの区間とでそれぞれ顔画像が検出されているものとする。この場合、顔検出プレイリストに対して、図４Ｂに例示されるように、新たに顔画像が検出された、時刻ｅから時刻ｆの区間に対応する情報と、時刻ｇから時刻ｈの区間に対応する情報とがそれぞれ追加されて登録される。すなわち、図４Ｂの例では、リスト番号＃３の情報として、シーン番号＃４、時刻ｅおよび時刻ｆが追加登録され、リスト番号＃４の情報として、シーン番号＃４、時刻ｇおよび時刻ｈがさらに追加登録されている。
【００２７】
次に、上述のようにして内蔵記録媒体に記録された動画データから、顔画像が検出された区間を抽出して他の記録媒体に選択的にダビングする処理について、図５を用いて説明する。図５Ａおよび図５Ｂは、上述した図４Ａおよび図４Ｂにそれぞれ対応し、内蔵記録媒体に記録された動画データと、当該動画データにおける顔画像の検出結果を示す顔検出プレイリストの例を示す。図５Ｂの顔検出プレイリストによれば、内蔵記録媒体に記録された動画データにおいて、シーン＃１の時刻ａから時刻ｂの区間、シーン＃２の時刻ｃから時刻ｄの区間、ならびに、シーン＃４の時刻ｅから時刻ｆおよび時刻ｇから時刻ｈの区間で、それぞれ顔画像が検出されていることが分かる。
【００２８】
なお、上述したように、各シーンの動画データ上の位置すなわち開始点および終了点を示す情報は、別途生成され、記録されているものとする。
【００２９】
図５Ｃに一例が示されるように、顔検出プレイリストに基づき、内蔵記録媒体に記録されている動画データから顔画像が検出された区間を抽出し、抽出された区間を繋ぎ合わせて１の動画データを作成する。この顔画像が検出された区間を繋ぎ合わせた動画データが、例えば記録可能なタイプのＤＶＤといった、他の記録媒体（以下、ダビング先記録媒体と呼ぶ）に記録され、ダビングが行われる。
【００３０】
例えば、顔検出プレイリストのリスト番号＃１の情報に基づき、シーン＃１の時刻ａから時刻ｂまでの区間が内蔵記録媒体上の動画データから読み出され、新たなシーン＃１’としてダビング先記録媒体に記録される。同様に、顔検出プレイリストのリスト番号＃２の情報に基づき、シーン＃２の時刻ｃから時刻ｄまでの区間が内蔵記録媒体上の動画データから読み出され、新たなシーン＃２’として、シーン＃１’に対して連続的に再生可能なように、ダビング先記録媒体に記録される。さらに、顔検出プレイリストのリスト番号＃３の情報に基づき、シーン＃４の時刻ｅから時刻ｆまでの区間が内蔵記録媒体上の動画データから読み出され、新たなシーン＃３’として、シーン＃２’に対して連続的に再生可能なように、ダビング先記録媒体に記録される。さらにまた、顔検出プレイリストのリスト番号＃４の情報に基づき、シーン＃４の時刻ｇから時刻ｈまでの区間が内蔵記録媒体上の動画データから読み出され、新たなシーン＃４’として、シーン＃３’に対して連続的に再生可能なように、ダビング先記録媒体に記録される。
【００３１】
このように、この発明の実施の第１の形態では、顔検出プレイリストに基づき、内蔵記録媒体に記録される動画データから顔画像が検出された区間だけを選択的に抽出して接続した動画データがダビング先記録媒体に記録される。そのため、内蔵記録媒体に記録される動画データを一々見直してシーンを抽出することなく、所定のシーンのみからなる動画データが記録された記録媒体を容易に作成することができる。
【００３２】
図６は、この発明の実施の第１の形態による一例のダビング処理を示すフローチャートである。先ず、ステップＳ１０で、内蔵記録媒体から顔検出プレイリストが再生され、メモリなどに読み込まれる。次に、読み込まれた顔検出プレイリストに基づき、未処理のデータがあるか否かが判断される（ステップＳ１１）。未処理のデータがあると判断されれば、処理はステップＳ１２に移行される。
【００３３】
ステップＳ１２では、顔検出プレイリストから１件分のデータが読み込まれる。例えば、図５Ｂを参照し、顔検出プレイリストに登録されるリスト番号＃１のデータが読み込まれる。そして、次のステップＳ１３で、内蔵記録媒体に記録される動画データから、読み込まれた顔検出プレイリストの１件分のデータに指定される範囲が抜き出される。抜き出された動画データは、ダビング先の記録媒体に対して記録される。例えば、図５の例では、図５Ｂに例示される顔検出プレイリストのリスト番号＃１のデータが参照され、図５Ｃに例示されるように、動画データから、当該リスト番号＃１のデータに指定されるシーン＃１の時刻ａから時刻ｂまでの範囲が抜き出され、ダビング先の記録媒体に記録される。
【００３４】
ステップＳ１４では、上述のステップＳ１３でダビング先の記録媒体に記録した動画データに対応する管理情報が生成される。例えば、ステップＳ１３で内蔵記録媒体に記録される動画データから顔検出プレイリストに基づき抜き出されダビング先の記録媒体に記録された動画データに対し、先頭と終端にそれぞれ所定にマークが設定され、シーンが形成される。管理情報は、例えばメモリ上に生成され、所定のタイミングでダビング先の記録媒体に記録される。
【００３５】
管理情報の生成が終了されると、処理はステップＳ１１に戻され、顔検出プレイリストの次のデータについて、同様の処理がなされる。顔検出プレイリストの全てのデータについて処理が終了したら、生成した管理情報をダビング先記録媒体に記録して（ステップＳ１５）、顔検出プレイリストに基づくダビング処理が完了される。
【００３６】
なお、上述では、ダビング処理を顔検出プレイリストに登録される全てのデータについて行うように説明したが、これはこの例に限定されない。すなわち、顔検出プレイリストに登録されるデータから所望のデータを選択し、選択されたデータについて、ダビング処理を行うようにもできる。
【００３７】
図７は、この発明の実施の第１の形態を適用可能な撮像装置１の一例の構成を示す。撮像装置１は、記録再生部１０、主制御部１１およびＵＩ(User Interface)部１２を有し、さらに、データの記録および再生を行うための内蔵記録媒体であるハードディスク３２と、データの記録および再生を行うと共に、ハードディスク３２に記録されるデータをダビングするダビング先の記録媒体３１が装填可能なドライブ装置３０とを有する。
【００３８】
この撮像装置１は、撮像素子でフレームタイミング毎に撮像された撮像信号に基づく動画データと、マイクロフォンなどで収音された音声信号に基づく音声データとを所定に圧縮符号化および多重化してストリームデータとし、撮像装置１に内蔵される記録媒体に記録する。また、記録媒体に記録されたストリームデータを、脱着可能な他の記録媒体に対してダビングする機能も有する。
【００３９】
この撮像装置１に適用可能な動画データおよび音声データの記録フォーマットは、様々に考えられる。例えば、ビデオデータとオーディオデータとが所定に多重化されたＡＶ(Audio/Video)ストリームを記録可能な記録媒体に記録する記録フォーマットであるＡＶＣＨＤを、撮像装置１の記録フォーマットとして適用することができる。ＡＶＣＨＤは、ＩＴＵ−Ｔ(International Telecommunication Union-Telecommunication Standarization Sector)勧告Ｈ．２６４あるいはＩＳＯ(International Organization for Standarization)／ＩＥＣ(International Electrotechnical Commission)国際標準１４４９６−１０（ＭＰＥＧ−４パート１０）Advanced Video Coding（以下、Ｈ．２６４｜ＡＶＣと略称する）に規定される符号化方式に準ずる方式で符号化が行われ、符号化された動画データと音声データとを、ＭＰＥＧ２システムに従い多重化してストリームデータとする。
【００４０】
これに限らず、動画データの符号化をＭＰＥＧ２(Moving Pictures Experts Group 2)方式に従い行い、動画データと音声データとの多重化をＭＰＥＧ２システムに従い行うようにしてもよい。クイックタイム(QuickTime：登録商標)など、パーソナルコンピュータなどにおいて主に用いられる符号化および多重化方式を用いることもできる。
【００４１】
なお、撮像装置１に内蔵される記録媒体に記録する際の記録フォーマットは、上述したＡＶＣＨＤのように標準化されたフォーマットに限らず、独自のフォーマットを適用することができる。一方、脱着可能な記録媒体に記録する際の記録フォーマットは、標準化されたフォーマットを採用することで、他の機器との互換性を確保することができ、好ましい。
【００４２】
主制御部１１は、例えば図示されないＣＰＵ(Central Processing Unit)上で動作するプログラムであって、ＣＰＵに接続されるＲＯＭ(Read Only Memory)に予め記憶されたプログラムやデータに基づき、同じくＣＰＵに接続されるＲＡＭ(Random Access Memory)をワークメモリとして用いて、この撮像装置１の各部を制御する。なお、主制御部１１と記録再生部１０の各部とを接続する経路は、繁雑さを避けるために、図７では省略している。
【００４３】
ＵＩ部１２は、この撮像装置１の動作をユーザが操作するための操作子が所定に設けられ、操作子に対する操作に応じた制御信号を出力する。主制御部１１は、ユーザ操作に応じてＵＩ部１２から供給された制御信号に基づきなされるプログラムの処理により、記録再生部１０の各部の動作を制御する。また、ＵＩ部１２は、例えばＬＣＤ(Liquid Crystal Display)からなる表示部を有し（図示しない）、撮像装置１の動作状態や、ユーザ操作のために必要な表示などを行うことができるようになっている。
【００４４】
例えば、ＵＩ部１２に対してなされた操作に応じて、撮像装置１によるハードディスク３２に対してデータを記録する動作の開始および停止の動作や、ハードディスク３２からデータを再生する再生動作、さらには、ハードディスク３２に記録されたデータのドライブ装置３０に装填されたダビング先記録媒体３１に対するダビング処理などが、主制御部１１により制御される。
【００４５】
記録再生部１０は、撮像部２０、収音部２５、信号処理部１３、顔検出部２３、管理情報処理部２９および記録再生制御部２８を有する。撮像部２０は、レンズ系、絞り機構、フォーカス機構、ズーム機構などからなる光学部と、光学部を介して照射された光を光電変換により電気信号に変換するための撮像素子と、撮像素子から出力される撮像信号に対してノイズ除去処理、ゲイン制御処理などを施す撮像信号処理部とを有する。撮像素子としては、ＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal-Oxide Semiconductor)イメージャなどを用いることができる。
【００４６】
撮像部２０から出力された撮像信号は、図示されないＡ／Ｄ変換部でディジタル信号に変換され、信号処理部１３に入力され、映像信号処理部２１に供給される。映像信号処理部２１は、供給されたディジタル信号を例えば輝度データ（Ｙ）および色差データＣｒ／Ｃｂからなる動画データに変換すると共に、ホワイトバランス処理、ガンマ補正処理など所定の画質補正処理を施し、さらに必要に応じて輪郭強調処理や解像度変換処理などを施す。
【００４７】
映像信号処理部２１から出力された動画データは、映像符号化部２２に供給されると共に、顔検出部２３に供給される。映像符号化部２２は、供給された動画データを所定の方式で圧縮符号化する。映像符号化部２２に適用できる圧縮符号化方式としては、ＭＰＥＧ２方式や、Ｈ．２６４｜ＡＶＣに規定される方式などが考えられる。以下では、映像符号化部２２では、ＭＰＥＧ２方式により、供給された動画データの圧縮符号化を行うものとする。
【００４８】
一例として、映像符号化部２２は、供給された動画データのフレームを例えば８×８画素といった所定サイズの符号化ブロックに分割し、この符号化ブロック毎にＤＣＴを行う。そして、ＤＣＴにより得られたＤＣＴ係数を所定の量子化スケールで量子化する。また、映像符号化部２２は、供給された動画データについて、動き補償を用いた予測符号化によるフレーム間符号化も行う。このとき、映像符号化部２２は、フレーム内符号化に基づくピクチャであるＩ(Intra-coded)ピクチャと、予測符号化に基づくピクチャであるＰ(Predictive-coded)ピクチャＢ(Bi-directionally predictive coded)ピクチャとを用いてフレーム間符号化を行う。そして、単独でデコード可能なＩピクチャを最低１枚含むそれ自身で完結したグループ（ＧＯＰ：Group Of Picture）を、独立してアクセス可能な最小単位とするように、符号化を行う。符号化を、ＧＯＰ構造で以て行うことで、サーチやジャンプなどの再生制御を容易とすることができる。
【００４９】
フレーム内符号化およびフレーム間符号化を施されたデータは、可変長符号化によりさらに圧縮される。映像符号化部２２から出力された圧縮動画データは、マルチプレクサ（ＭＵＸ）２４に供給される。
【００５０】
顔検出部２３は、映像信号処理部２１から供給された動画データに対して画像解析を行い、動画データのフレームから顔画像を検出する。顔画像の検出方法としては、例えば特開２００４−３０６２９号公報、特開２００５−１５７６７９号公報に開示される方法を適用することができる。
【００５１】
例えば、フレームに対して所定の検出枠を設定し、検出枠内の所定の２点について輝度データを比較し、比較結果を予め学習により求められたパターン辞書と比較することで、当該検出枠内に顔画像が含まれているか否かを検出する。検出枠内にこの所定の２点の組み合わせを複数、設定し、それぞれの組み合わせについて輝度データを比較する。この比較結果をパターン辞書と比較し、顔らしさ（確度）を求める。この処理を、フレーム内で検出枠を走査しながら行うと共に、絶対的な検出枠サイズを固定的としフレームのサイズを変えながら行う。このようにして求められた確度のうち、例えば閾値以上の確度が得られた検出枠を、顔画像が含まれる検出枠とする。顔画像の検出結果は、管理情報処理部２９に供給される。
【００５２】
顔検出部２３による顔画像の検出処理は、例えば数フレーム乃至数１０フレーム（数秒）を周期として行われる。勿論、顔検出部２３による画像解析処理および顔画像の検出処理を十分高速に行うことができれば、毎フレーム毎に顔画像の検出処理を行ってもよい。
【００５３】
なお、撮像装置１は、映像信号処理部２１から出力された動画データを、上述したＵＩ部１２に設けられた表示部（図示しない）に映出させることができる。これにより、撮像部２０で撮像された撮像画像を確認することができる。また、主制御部１１で所定に生成された表示制御信号に基づく画像をこの表示部に表示させることができるようになっている。これにより、撮像装置１の各種状態を示す情報などを表示部に表示させることができる。さらに、映像信号処理部２１から出力された動画データによる映像と、主制御部１１で生成された行事制御信号に基づく画像とは、表示部において重ねて表示させることができる。
【００５４】
収音部２５は、マイクロフォンを有し、マイクロフォンから出力される音声信号に対して、ノイズ除去処理といった所定の信号処理を施し、Ａ／Ｄ変換してディジタル音声データとして出力する。この音声データは、信号処理部１３に入力され音声信号処理部２６に供給される。音声信号処理部２６は、供給された音声データに対して、増幅処理、音質補正処理など所定の信号処理を施する。
【００５５】
音声信号処理部２６から出力された音声データは、音声符号化部２７に供給され、所定に圧縮符号化される。音声符号化部２７に適用可能な圧縮符号化方式は、ＭＰ３(Moving Pictures Experts Group 1 Audio Layer 3)方式、ＡＡＣ(Advanced Audio Coding)方式など様々に考えられる。音声符号化部２７において、ドルビーディジタル（登録商標）方式を用いて音声データの圧縮符号化を行ってもよい。音声符号化部２７から出力された圧縮音声データは、マルチプレクサ２４に供給される。
【００５６】
マルチプレクサ２４は、映像符号化部２２から供給された圧縮動画データと、音声符号化部２７から供給された圧縮音声データとを時分割により多重化して１本のストリームデータとする。例えば、マルチプレクサ２４は、バッファメモリを有し、供給された圧縮動画データおよび圧縮音声データを一旦バッファメモリに格納する。バッファメモリに格納された圧縮動画データおよび圧縮音声データは、それぞれ処理サイズ毎に分割されヘッダが付加されてパケット化される。ヘッダには、パケットに格納されるデータの再生時刻を示すＰＴＳ(Presentation Time Stamp)や、復号時刻を示すＤＴＳ(Decoding Time Stamp)といったＭＰＥＧ２方式で圧縮符号化された圧縮動画データを復号するために必要な情報が格納される。このパケットをさらに分割し、固定長のパケットに格納してもよい。
【００５７】
マルチプレクサ２４で圧縮動画データと圧縮音声データとが多重化されたストリームデータは、記録再生制御部２８に供給される。記録再生制御部２８は、例えばバッファメモリを有し、マルチプレクサ２４から供給されたパケットを一時的にバッファメモリに格納する。このバッファメモリに対するパケットの読み書きのタイミングを所定に制御することで、後述する各記録媒体に対するアクセス速度と、動画データおよび音声データの圧縮符号化などの信号処理速度との間の整合性を取る。
【００５８】
また、記録再生制御部２８は、複数の記録媒体に対するデータの記録および再生を制御する。この図７の例では、記録再生制御部２８に対してドライブ装置３０が接続されると共に、この撮像装置１に内蔵されるハードディスク３２が接続される。ドライブ装置３０は、例えば記録可能なタイプのＤＶＤ(Digital Versatile Disc)に対するデータの読み書きを行うことができるものとする。
【００５９】
これに限らず、ドライブ装置３０が、ＤＶＤに対してより大容量を実現した、例えばＢｌｕ−ｒａｙ Ｄｉｓｃ（登録商標）といった記録媒体に対して読み書きを行うようにしてもよい。また、ドライブ装置３０は、記録可能なタイプのＤＶＤと、Ｂｌｕ−ｒａｙ Ｄｉｓｃの両方に対応していてもよい。さらに、ドライブ装置３０は、フラッシュメモリなど、脱着可能な不揮発性の半導体メモリに対するデータの読み書きを行うようなものでもよい。
【００６０】
記録再生制御部２８は、例えば主制御部１１といった上位からの命令に基づき、指定された記録媒体について、指定されたアドレスに対するデータの書き込みや、指定されたアドレスからのデータの読み出しを行う。
【００６１】
管理情報処理部２９は、上述した主制御部１１と共に、ＣＰＵ上で動作するプログラムにより機能が実現される。勿論、管理情報処理部２９と主制御部１１とをそれぞれ異なるハードウェアで構成することも可能である。
【００６２】
管理情報処理部２９は、マルチプレクサ２４、映像符号化部２２および音声符号化部２７、ならびに、記録再生制御部２８とデータなどのやりとりを行い、記録再生制御部２８により記録媒体に記録されるストリームデータに関する管理情報を生成する。それと共に、管理情報処理部２９は、記録媒体３１やハードディスク３２から読み出された管理情報基づき、記録再生制御部２８が記録媒体３１やハードディスク３２に対するストリームデータの読み書きを制御するための情報を生成する。
【００６３】
管理情報処理部２９で生成される管理情報には、例えば、ストリームデータに含まれるシーンを管理する情報や、ストリームデータ自体をタイトルとして管理する情報などが含まれる。シーンを管理する情報は、例えば記録開始時刻および停止時刻といった、シーンの先頭と終端とを示す情報がＰＴＳで示される。記録開始時刻および停止時刻を、ストリームデータ先頭のフレームを基点とするフレーム番号で示してもよい。また、ストリームデータに含まれる各パケットの再生時刻と、当該各パケットのストリームデータ上のバイト位置とを関連付けるマップ情報を、管理情報にさらに含むこともできる。
【００６４】
また、管理情報処理部２９は、顔検出部２３による顔画像の検出結果に基づき、上述した顔検出プレイリストを生成する。顔検出区間を示す、顔検出の開始点および終了点の情報は、例えば、当該開始点および終了点が含まれるシーンの先頭フレームを基準とした相対フレーム数で表すことができる。勿論、当該開始点および終了点のＰＴＳを、顔検出プレイリストにおける開始点および終了点を示す情報として用いてもよい。
【００６５】
このように構成された撮像装置１による撮像および記録時の動作について、概略的に説明する。撮像部２０から出力された撮像信号が図示されないＡ／Ｄ変換部でディジタル信号に変換され、映像信号処理部２１に供給される。ディジタル撮像信号は、映像信号処理部２１で所定に信号処理され動画データとして出力され、顔検出部２３および映像符号化部２２に供給される。
【００６６】
例えばＵＩ部１２に対して記録開始を指示する操作がなされると、この操作に応じた制御信号に基づき、主制御部１１により記録再生部１０の全体が制御され、記録動作が開始される。映像符号化部２２は、供給された動画データを所定に圧縮符号化し、ＧＯＰ構造を有する動画データのストリームとして出力する。このストリームは、マルチプレクサ２４に供給される。
【００６７】
一方、顔検出部２３は、供給された動画データについて、数フレーム乃至数１０フレーム毎、或いは、毎フレーム毎に顔画像の検出を行い、検出結果を順次、管理情報処理部２９に渡す。管理情報処理部２９は、信号処理部１３と所定にやりとりを行い、顔画像が検出されたフレームを特定し、顔画像が検出された範囲を求める。管理情報処理部２９は、この顔画像が検出された範囲を示す情報を顔検出プレイリストに登録する。顔検出プレイリストは、例えば図示されないメモリに記憶される。管理情報処理部２９は、この顔検出プレイリストと対応する動画データとを関連付けて管理する。
【００６８】
収音部２５から出力された音声データは、音声信号処理部２６で所定に信号処理され、音声符号化部２７で符号化されてマルチプレクサ２４に供給される。マルチプレクサ２４は、映像符号化部２２から供給された動画データのストリームと、音声符号化部２７から供給された音声データとを所定にパケット化し、時分割多重により多重化して１本のストリームデータとして出力する。このストリームデータは、記録再生制御部２８に供給される。
【００６９】
記録再生制御部２８は、マルチプレクサ２４から供給されたストリームデータを、図示されないバッファメモリに溜め込み、ハードディスク３２の記録単位分の量のデータがバッファメモリに書き込まれたら、バッファメモリからデータを読み出し、ハードディスク３２に記録する。
【００７０】
一方、管理情報処理部２９で生成された顔検出プレイリストは、所定のタイミングで記録再生制御部２８に渡され、ハードディスク３２に記録される。顔検出プレイリストは、例えば記録停止が指示されたタイミングで、ハードディスク３２に記録される。例えば、ＵＩ部１２に対してなされた記録停止を指示する操作に応じた制御信号に基づく主制御部１１の命令により、顔検出プレイリストがメモリから読み出され、記録再生制御部２８によりハードディスク３２に記録される。これに限らず、撮像装置１の電源ＯＦＦのタイミングで顔検出プレイリストをハードディスク３２に記録するようにもできる。
【００７１】
顔検出プレイリストは、対応する動画データが含まれるストリームデータと所定に関連付けられて、ハードディスク３２に記録される。顔検出プレイリストとストリームデータとの関連付けは、互いに対応するファイル名を付すことによって行うことが考えられる。また、ハードディスク３２に記録される顔検出プレイリストとストリームデータとの対応関係を示す管理ファイルをさらに生成することも考えられる。
【００７２】
次に、図６のフローチャートを用いて説明した顔検出プレイリストに基づくダビング処理を、この撮像装置１の構成に対応させて、概略的に説明する。ここでは、ダビング先の記録媒体３１を記録可能なタイプのＤＶＤ（以下、単にＤＶＤと略称する）とし、ハードディスク３２に記録されたストリームデータから顔画像が検出された区間を抽出して、ダビング先の記録媒体３１にダビングするものとする。
【００７３】
ダビング先の記録媒体３１がドライブ装置３０に装填され、主制御部１１により記録媒体３１が認識される。なお、ハードディスク３２に記録される管理情報は、例えば撮像装置１の起動時にハードディスク３２から読み出され、管理情報処理部２９の図示されないメモリに予め格納されるものとする。
【００７４】
例えばユーザにより、ハードディスク３２に記録されたストリームデータから顔検出区間を抜き出してダビング先記録媒体３１にダビングすることを指示する操作がＵＩ部１２に対してなされる。ＵＩ部１２は、この操作に応じた制御信号を生成し、主制御部１１に供給する。主制御部１１は、この制御信号に応じて、顔検出区間のダビング処理を開始する。
【００７５】
主制御部１１は、記録再生制御部２８に対して、ハードディスク３２に記録される顔検出プレイリストを読み出すように命令を出す。記録再生制御部２８は、この命令に応じてハードディスク３２から顔検出プレイリストを読み込み、管理情報処理部２９に渡す。管理情報処理部２９は、図示されないメモリにこの顔検出プレイリストを格納する（図６のステップＳ１０）。
【００７６】
管理情報処理部２９は、メモリ上の顔検出プレイリストを１行ずつ読み込み、１件のプレイリストデータ毎に処理を行う（図６のステップＳ１２）。例えば、管理情報処理部２９は、１件のプレイリストデータについて、シーン番号と、顔検出区間の開始点および終了点の情報とを読み込み、ハードディスク３２に記録されるストリームデータ上の、これら開始点および終了点に対応する位置を求める。
【００７７】
図８を用いて、顔検出区間とストリームデータ上の位置との対応付けの例について説明する。既に説明したように、この例においては、映像符号化部２２では、ＭＰＥＧ２方式により、Ｉピクチャ、ＰピクチャおよびＢピクチャを用いたＧＯＰ構造で動画データの符号化を行っている。したがって、ストリームデータにおいて、動画データに対する最小のアクセス単位は、ＧＯＰ単位となる。一方、顔検出部２３による顔検出処理は、圧縮符号化される前の動画データに対して行われるため、顔検出の開始点および終了点は、それぞれフレーム単位で表されることになる。
【００７８】
そこで、図８に一例が示されるように、顔画像が検出されたピクチャを含むＧＯＰ単位でダビング位置を設定する。より具体的には、ダビング位置の先頭は、顔検出区間の開始点となるピクチャを含むＧＯＰの先頭側の境界とされ、ダビング位置の後端は、当該顔検出区間の終了点となるピクチャを含むＧＯＰの後端側の境界とされる。管理情報処理部２９は、読み込まれた管理情報と、顔検出プレイリストとに基づき、顔検出区間の開始点および終了点のピクチャが含まれるＧＯＰを求めることができる。
【００７９】
ここで、Ｉピクチャは単独で復号が可能であることから、顔検出部２３による顔検出処理をＩピクチャ周期で行うことが考えられる。この場合、顔検出区間は、図８に例示されるように、あるＧＯＰのＩピクチャから、他のＧＯＰのＩピクチャまでとなる。ダビング位置は、顔検出区間の開始点となるＩピクチャ含むＧＯＰの先頭側の境界から、当該顔検出区間の終了点となるＩピクチャを含むＧＯＰの後端側の境界となる。
【００８０】
これに限らず、顔検出部２３による顔検出処理を、ＧＯＰの周期とは関連のない周期で行うことも可能である。
【００８１】
なお、映像符号化部２２でＨ．２６４｜ＡＶＣ方式により動画データの符号化を行う場合でも、フレーム間符号化によるフレーム間の参照関係は、ＭＰＥＧ２と対応させることが可能である。そのため、上述の説明を、Ｈ．２６４｜ＡＶＣ方式を用いて動画データの符号化を行った例として読み替えることもできる。
【００８２】
管理情報処理部２９は、上述のようにして、管理情報と顔検出プレイリストとに基づき、ハードディスク３２に記録されるストリームデータ上のダビング範囲を決定し、このダビング範囲を示す情報をダビング命令と共に記録再生制御部２８に渡す。記録再生制御部２８は、このダビング命令に従い、ストリームデータからダビング範囲情報に示される範囲のデータを読み出し、例えばバッファメモリに書き込む。そして、バッファメモリにダビング先記録媒体３１の記録単位分のデータが溜め込まれたら、バッファメモリからデータを読み出し、ドライブ装置３０に供給する。ドライブ装置３０は、供給されるデータを順次、ダビング先記録媒体３１に所定に記録していく（図６のステップＳ１３）。
【００８３】
管理情報処理部２９は、ダビング先記録媒体３１にダビングされたストリームデータに対応する管理情報を生成する（図６のステップＳ１４）。例えば、ダビングされた範囲の先頭ピクチャのＰＴＳと、終端ピクチャのＰＴＳとが対で登録され、シーンの登録がなされる。登録は、ＰＴＳに限らず例えばフレーム番号を用いて行ってもよい。生成された管理情報は、例えばメモリに一旦格納され、所定のタイミングでダビング先記録媒体３１に対して書き込まれる（図６のステップＳ１５）。例えば、ダビング先記録媒体３１をドライブ装置３０から排出する際や、ダビング先記録媒体３１をドライブ装置３０に装填したまま撮像装置１の電源をＯＦＦ状態とする際などに、管理情報がダビング先記録媒体３１に対して書き込まれる。
【００８４】
管理情報は、例えば記録フォーマットにＡＶＣＨＤを採用した場合には、クリップインフォメーションファイル、ムービープレイリストファイルおよびインデックステーブルファイルからなる。
【００８５】
ダビング先記録媒体３１に対する管理情報が生成されたら、処理がステップＳ１１に戻され、顔検出プレイリストに登録される次のプレイリストデータについて、ダビング処理が行われる。すなわち、当該プレイリストデータが管理情報処理部２９に読み込まれ（図６のステップＳ１２）、読み込まれたプレイリストデータに基づきハードディスク３２上のストリームデータに対してダビング範囲が設定され、当該ダビング範囲のデータがハードディスク３２から読み出され、バッファメモリを介してダビング先記録媒体３１に記録される（図６のステップＳ１３）。
【００８６】
そして、ダビング先記録媒体３１にダビングされたストリームデータに対応する管理情報が追加生成される（図６のステップＳ１４）。このとき、ダビング先記録媒体３１に対して直前にダビングされたストリームデータに対して連続的に再生が可能なように、管理情報が生成される。例えば、直前にダビングされたダビング範囲の終端のＰＴＳを管理情報から参照し、当該ＰＴＳで示されるフレームの次のフレームタイミングを示すＰＴＳを、新規にダビングされたダビング範囲の先頭のＰＴＳとすることが考えられる。これに限らず、直前にダビングされたダビング範囲のストリームと、新規にダビングされたダビング範囲のストリームとを、フレームタイミングで連続的に再生するように指示する情報を、管理情報として記述することも考えられる。
【００８７】
このようにして、顔検出プレイリストに登録される全てのプレイリストデータについてダビング処理が行われると（図６のステップＳ１１）、一連のダビング処理が終了される。
【００８８】
次に、この発明の実施の第１の形態の第１の変形例について説明する。上述では、動画データから１個の顔画像のみが検出された例について説明したが、実際には、撮像装置１により撮像された撮像画面に複数の人物が入り、動画データから複数の顔画像が検出される事例も多いと考えられる。この実施の第１の形態の第１の変形例および後述する第２の変形例は、このような、動画データから複数の顔画像が検出された場合のダビング処理に関するものである。
【００８９】
なお、上述の撮像装置１の構成は、この実施の第１の形態の第１の変形例にそのまま適用できるので、これらについての説明は、省略する。
【００９０】
一例として、図９Ａに例示されるように、３人の人物Ａ、人物Ｂおよび人物Ｃを撮像装置１で撮像する場合について考える。このとき、人物Ａが時刻ｐ1から時刻ｐ2まで撮像装置１の撮像画面に入り、その後、時刻ｐ3から時刻ｐ4まで再び撮像画面に入ったものとする。同様に、人物Ｂが時刻ｑ1から時刻ｑ2まで撮像画面に入り、人物Ｃが時刻ｒ1から時刻ｒ2まで撮像画面に入ったものとする。したがって、撮像装置１で撮像され得られた動画データには、図９Ｂに例示されるように、時刻ｐ1から時刻ｑ1の間、時刻ｒ2から時刻ｑ2までの間、ならびに、時刻ｐ3から時刻ｐ4までの間は、それぞれ１個の顔画像が検出され、時刻ｑ1から時刻ｒ1までの間、ならびに、時刻ｐ2から時刻ｒ2までの間は２個の顔画像が検出され、時刻ｒ1から時刻ｒ2までの間は３個の顔画像が検出されることになる。
【００９１】
なお、顔検出部２３は、例えば１フレーム中に顔画像が含まれるとされた検出枠が複数あった場合に、これら複数の検出枠の重なり具合や距離、検出枠の大きさなどに基づき、互いに異なる顔による顔画像が含まれる検出枠であるか否かを判断することができる。顔画像が含まれるとされた複数の検出枠が、互いに異なる顔による顔画像を含むと判断された場合、その時点で１フレーム中に含まれる互いに異なる顔による顔画像の個数がカウントされる。
【００９２】
この場合、顔検出プレイリストには、１フレーム中に含まれる互いに異なる顔による顔画像の個数が変化した時刻と、顔画像の個数の変化前または変化後における検出された顔画像の個数とを関連付けて登録することが考えられる。これに限らず、顔画像の検出を行った時刻と、１フレーム中に含まれる顔画像の個数とを関連付けて登録するようにしてもよい。
【００９３】
図１０は、顔画像の個数の変化に応じて登録するようにした一例の顔検出プレイリストを示す。この図１０の顔検出プレイリストは、検出された顔画像の個数が変化した変化点を示す時刻と、当該変化点直後の顔画像の個数とが対応付けられて登録される例である。例えば、上述の図９Ａを参照し、時刻ｐ1、時刻ｑ1、時刻ｒ1、時刻ｐ2、時刻ｒ2、時刻ｑ2、時刻ｐ3および時刻ｐ4がそれぞれ変化点として登録され、各変化点直後の顔画像の個数が１個、２個、３個、２個、１個、０個、１個および１個と、各変化点に対応付けられてそれぞれ登録されている。
【００９４】
１フレーム中に検出された顔画像の個数の変化に応じて顔検出プレイリストが生成される場合、ダビング先記録媒体３１にダビングするダビング範囲を、顔画像の個数に対する閾値に基づき決めることが考えられる。一例として、閾値を２個として、１フレーム中に異なる顔による顔画像が２個以上、検出された区間を顔検出区間とした場合について考える。図１０に例示される顔検出プレイリストに基づき、１フレーム中に顔画像が２個以上、検出される区間を求める。変化点ｄ1で顔画像が１個から２個に変化し、変化点ｅ2で２個だった顔画像が１個に変化している。したがって、図９Ｃに例示されるように、時刻ｑ1から時刻ｒ2の区間で１フレーム中に顔画像が２個以上検出されたと判断でき、この区間をダビング処理の対象とする。
【００９５】
なお、ダビング対象の区間が特定されて以降の、ダビング処理そのものは、上述の実施の第１の形態による処理と何ら変わるところがないため、ここでの説明を省略する。
【００９６】
次に、この発明の実施の第１の形態の第２の変形例について説明する。この実施の第１の形態の第２の変形例では、顔画像の検出の際に、検出された顔画像について個体を識別するようにしている。そして、ダビング処理の際に、特定の個体と識別された顔画像に基づきダビング対象を決めるようにする。
【００９７】
なお、上述の撮像装置１の構成は、この実施の第１の形態の第２の変形例にそのまま適用できるので、これらについての説明は、省略する。
【００９８】
検出された顔画像の個体を識別する方法としては、例えば、識別したい顔画像について、顔画像を特定可能な特徴情報を予め登録しておき、１フレーム中から検出された顔画像のそれぞれから抽出された特徴情報と、登録されている特徴情報とを比較し、比較結果に基づき識別したい顔画像を特定することが考えられる。
【００９９】
例えば上述した実施の第１の形態の例をとって、識別したい顔の顔画像に対して検出枠を設定し、検出枠内で複数の所定の２点の組み合わせについて輝度データの比較を行い、この比較結果を当該顔画像の特徴情報として予め辞書登録する。顔検出部２３において、１フレーム中の顔画像を検出する際に、顔画像が含まれると判断された検出枠に対し、辞書登録された顔画像の特徴情報を適用させて、類似度を求める。類似度は、例えば顔画像が含まれると判断された検出枠における所定の２点の組み合わせにおける輝度データの比較結果と、登録された顔画像の特徴情報との差分に基づき求めることが考えられる。例えば、差分が小さいほど、類似度が高いと定義する。類似度が閾値以上であれば、当該検出枠に含まれる顔画像が識別したい顔画像であると判断する。
【０１００】
図１１を用いて、この実施の第１の形態の第２の変形例によるダビング範囲の設定方法について、より具体的に説明する。なお、図１１Ａは、上述した図９Ａと対応するものである。例えば、図１１Ａを参照し、撮像装置１により撮像される人物Ａ、人物Ｂおよび人物Ｃのうち、人物Ａが画面に入っている部分をシーンとして選択的にダビングしたいものとする。
【０１０１】
この場合、人物Ａについて、顔画像の特徴情報を顔検出部２３に対して登録する必要がある。顔画像の登録は、人物Ａの顔を撮像装置１で前もって撮影しておき、撮影された人物Ａの顔画像に基づき予め特徴情報を抽出し登録する方法が考えられる。これに限らず、撮像中の動画データに基づき、識別したい顔画像を登録する方法も考えられる。例えば、ＵＩ部１２に対して表示部上における位置を指定する手段を設け、撮像中の映像をこの表示部に表示させながら、識別したい顔画像をこの位置指定手段により指定する。
【０１０２】
顔検出部２３は、映像処理部２１から供給される動画データを解析し、フレーム中に含まれる顔画像を検出すると共に、例えば検出された顔画像と登録された人物Ａの顔画像とを比較し、類似度が閾値以上であるか否かを判断する。類似度が閾値以上であると判断されれば、その顔画像が検出された時刻を顔検出区間の開始点として、顔検出プレイリストに登録する。また、顔検出部２３は、その顔画像が検出されなくなった時刻を顔検出区間の終了点として顔検出プレイリストに登録する。
【０１０３】
図１１Ａの例では、人物Ａが時刻ｐ1で撮像画面に入って時刻ｐ2で撮像画面から外れ、時刻ｐ3で再び撮像画面に入って時刻ｐ4で撮像画面から外れている。この場合、図１１Ｂに例示されるように、人物Ａの顔画像が時刻ｐ1から時刻ｐ2までの区間と、時刻ｐ3から時刻ｐ4までの区間とで検出されることになり、これら時刻ｐ1から時刻ｐ2までの区間と、時刻ｐ3から時刻ｐ4までの区間とがダビング処理の対象とされる。
【０１０４】
図１２は、顔画像の個体を識別する場合の一例の顔検出プレイリストを示す。この図１２の例では、図１１Ａを参照し、人物Ａ、人物Ｂおよび人物Ｃの顔画像が登録され、それぞれ識別情報「００１」、「００２」および「００３」が対応付けられている。このように、複数の顔画像を登録し、それぞれ認識させることも可能である。図１２の例では、識別情報に対して開始点および終了点の組が対応付けられて、顔検出プレイリストに登録される。例えば、この顔検出プレイリストに対して識別情報「００１」を指定することで、人物Ａが撮像画面に入っている区間を、ダビング対象の区間として選択的に特定することができる。
【０１０５】
なお、ダビング対象の区間が特定されて以降の、ダビング処理そのものは、上述の実施の第１の形態による処理と何ら変わるところがないため、ここでの説明を省略する。
【０１０６】
次に、この発明の実施の第２の形態について説明する。この実施の第２の形態においては、上述した実施の第１の形態によるダビング処理に対し、顔検出プレイリストにおいて開始点および終了点で指定された範囲の再生時間が所定時間より短い場合、その範囲のダビングを行わずに処理をスキップするようにしている。こうすることで、ダビング後の動画データを再生した際にシーンが頻繁に切り替わることを抑制することができる。
【０１０７】
図１３は、この発明の実施の第２の形態による一例のダビング処理を示すフローチャートである。なお、この図１３において、上述した図６と共通する処理（ステップ）には同一の符号を付し、詳細な説明を省略する。ステップＳ１０で内蔵記録媒体から顔検出プレイリストが再生されてメモリに読み込まれ、処理はステップＳ１０１に移行される。
【０１０８】
ステップＳ１０１では、顔検出プレイリストに基づき行われるダビングの際のダビング範囲に下限長が決定される。すなわち、顔検出プレイリストにおける開始点から終了点までの間の再生時間が、設定された下限長が示す時間よりも長い場合に、当該開始点から終了点までの範囲をダビング対象とする。ダビング下限長は、固定的な値としてもよいし、可変としてもよい。
【０１０９】
ダビング下限長を可変とする場合、例えばＵＩ部１２にダビング下限長の値を入力する入力手段を設け、ユーザは、この入力手段を用いて時間の設定を行う。このように設定された時間がダビング下限値に決定される。入力手段は、例えば設定値を、秒数など時間を直接的に数値で入力するようにできる。これに限らず、例えばスライドバーなど時間を感覚的に指定可能な入力手段を設け、これにより下限長の設定を行うようにしてもよい。さらに例えば、ＵＩ部１２に手指などでタップ可能な操作子を設け、この操作子をタップしてタップの間隔に応じて時間を設定するようにしてもよい。また、予め複数の固定値をＲＯＭなどに記憶しておき、ＵＩ部１２からユーザが選択するようにしてもよい。
【０１１０】
なお、ダビング下限長を可変とする場合、設定された時間を直感的に確認できるような表示を、図示されない表示部に表示させるようにすると、より好ましい。一例として、表示部に対して、設定された時間だけ所定のアニメーションを表示させることが考えられる。
【０１１１】
ステップＳ１０１で、ダビング下限長が設定されると、ステップＳ１１で未処理のデータがあるか否かが判断され、未処理のデータがあると判断されれば、ステップＳ１２で、顔検出プレイリストから１件分のデータが読み出される。そして、次のステップＳ１２１で、読み込まれた顔検出プレイリストの１件分のデータに指定される範囲の再生時間が、上述のステップＳ１０１で決定されたダビング下限長より長い時間であるか否かが判断される。若し、顔検出プレイリストの対象データに指定される範囲の再生時間がダビング下限長よりも短いと判断されれば、処理はステップＳ１１に移行され、顔検出プレイリストにおける次のデータに対する処理が行われる。
【０１１２】
一方、ステップＳ１２１で顔検出プレイリストの対象データに指定される範囲の再生時間がダビング下限長よりも長いと判断されれば、処理はステップＳ１３に移行され、内蔵記録媒体に記録される動画データから、顔検出プレイリストに指定される範囲が抜き出されてダビング先の記録媒体に対して記録される。
【０１１３】
一例として、上述した図５Ｂに例示される顔検出プレイリストのリスト番号＃１のデータにおいて、開始点ａと終了点ｂとの時間差がダビング下限長として決定された時間よりも長ければ、これら開始点ａから開始点ｂまでの間がダビング範囲に設定される。一方、開始点ａと終了点ｂとの時間差がダビング下限長として決定された時間よりも短ければ、リスト番号＃１の処理をスキップし、顔検出プレイリストにおける次のデータ、すなわちリスト番号＃２のデータについて処理がなされる。
【０１１４】
そして、ステップＳ１４で、上述のステップＳ１３でダビング先の記録媒体に記録した動画データに対応する管理情報が生成される。
【０１１５】
なお、ここでは、この実施の第２の形態が実施の第１の形態に対応するものであるように説明したが、これはこの例に限定されない。すなわち、この実施の第２の形態は、上述した実施の第１の形態の第１および第２の変形例にも、それぞれ適用させることができる。
【０１１６】
上述では、この発明が例えば携帯型のビデオカメラといった撮像装置に対して適用されるように説明したが、これはこの例に限られない。例えば、据置型のビデオレコーダにこの発明を適用することも可能である。また、パーソナルコンピュータといった汎用的な情報機器ににおいて、図７における主制御部１１、信号処理部１３、顔検出部２３、管理情報処理部２９および記録再生制御部２８などを、ソフトウェアにより構成することも考えられる。
【図面の簡単な説明】
【０１１７】
【図１】この発明による記録時の一例の処理を示す略線図である。
【図２】この発明による記録時の一例の処理を示す略線図である。
【図３】この発明による記録時の一例の処理を示す略線図である。
【図４】この発明による記録時の一例の処理を示す略線図である。
【図５】この発明によるダビング処理を説明するための略線図である。
【図６】この発明の実施の第１の形態による一例のダビング処理を示すフローチャートである。
【図７】この発明の実施の第１の形態を適用可能な撮像装置の一例の構成を示すブロック図である。
【図８】顔検出区間とストリームデータ上の位置との対応付けの例について説明するための略線図である。
【図９】この発明の実施の第１の形態の第１の変形例について説明するための略線図である。
【図１０】顔画像の個数の変化に応じて登録するようにした一例の顔検出プレイリストを示す略線図である。
【図１１】この実施の第１の形態の第２の変形例によるダビング範囲の設定方法について説明するための略線図である。
【図１２】顔画像の個体を識別する場合の一例の顔検出プレイリストを示す略線図である。
【図１３】この発明の実施の第２の形態による一例のダビング処理を示すフローチャートである。
【符号の説明】
【０１１８】
１ 撮像装置
１１ 主制御部
１２ ＵＩ部
１３ 信号処理部
２０ 撮像部
２１ 映像信号処理部
２２ 映像符号化部
２３ 顔検出部
２４ マルチプレクサ
２５ 収音部
２６ 音声信号処理部
２７ 音声符号化部
２８ 記録再生制御部
２９ 管理情報生成部
３１ ダビング先記録媒体
３２ ハードディスク
【技術分野】
【０００１】
この発明は、映像データから所定部分を容易に抽出可能とする記録装置、記録方法および記録プログラム、ならびに、データ処理装置、データ処理方法およびデータ処理プログラムに関する。
【背景技術】
【０００２】
近年では、携帯型のビデオカメラ装置などでも、ハードディスクを内蔵し、撮像された動画データを記録する記録媒体として用いた製品が多く開発されている。一例として、数１０ＧＢ(Giga Byte)乃至数１００ＧＢ、若しくはそれ以上の記録容量を有するハードディスクを内蔵し、被写体を撮影して得られた映像データを所定に圧縮符号化してハードディスクに記録する。記録された映像データは、ハードディスクから再生し復号化してビデオカメラ装置に設けられた表示装置に映出させたり、外部に出力してより画面の大きな表示装置に映出させたりできる。
【０００３】
また、ビデオカメラ装置に内蔵されるハードディスクといった内蔵記録媒体は、記録容量が限られている。そのため、記録された映像データを保存するためには、例えば記録可能なタイプのＤＶＤ(Digital Versatile Disc)などの、装置に対して着脱可能な記録媒体にダビングする必要がある。また、記録された映像データを、例えば知人などに渡したいような場合にも、内蔵記録媒体に記録された映像データを記録可能なタイプのＤＶＤなどにダビングして渡すのが一般的である。
【０００４】
他の例として、記録された映像データを再生して鑑賞する場合、映像データから興味のあるシーン、例えば興味のある人物が登場するシーンを抽出して映像データを編集し、編集された映像データを例えば記録可能なタイプのＤＶＤ（以下、「記録可能なタイプのＤＶＤ」を単に「ＤＶＤ」と呼ぶ）に記録すれば、鑑賞したい映像のみを効率よく再生できる。また、この場合、ハードディスクに記録された映像データを、不要なシーンも含めてＤＶＤにダビングする場合に比べて、ダビング時間が短くなり、好ましい。
【０００５】
特許文献１には、このような、記録媒体に記録された映像データから興味のあるシーンを抽出して編集し、編集された映像データを集めて他の記録媒体にダビングするようにした技術が記載されている。
【特許文献１】特開２００４−２２１８８４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
従来では、このような、映像データから興味のあるシーンを抽出して編集し、編集された映像データをダビングする作業は、ユーザが実際に映像を見ながら手作業で行うしかなかった。例えば、映像データを再生して興味のあるシーンを見つけ出し、そのシーンの開始位置（ＩＮ点）および終了点（ＯＵＴ点）とを指定するという作業を、ユーザが繰り返し行う。このような作業は、大変に手間や時間がかかると共に、作業に不慣れなユーザにとっては、編集作業自体に苦痛を感じてしまうおそれがあるという問題点があった。
【０００７】
したがって、この発明の目的は、映像データから所定のシーンを容易に選択し、ダビングを行うことができるようにした記録装置、記録方法および記録プログラム、ならびに、データ処理装置、データ処理方法およびデータ処理プログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上述した課題を解決するために、第１の発明は、動画データから対象物の画像を検出する検出部と、第１の記録媒体に対するデータの記録再生を行う記録再生部と、検出部による検出結果に基づき動画データ上の位置を示す位置情報をテーブルに登録するテーブル作成部と、記録再生部を制御する制御部とを有し、制御部は、検出部で対象物の画像の検出が行われる動画データを第１の記録媒体に記録するように記録再生部を制御することを特徴とする記録装置である。
【０００９】
また、第２の発明は、動画データから対象物の画像を検出する検出のステップと、検出のステップによる検出結果に基づき動画データ上の位置を示す位置情報をテーブルに登録するテーブル作成のステップと、検出のステップで対象物の画像の検出が行われる動画データを第１の記録媒体に記録するステップとを有することを特徴とする記録方法である。
【００１０】
また、第３の発明は、動画データから対象物の画像を検出する検出のステップと、検出のステップによる検出結果に基づき動画データ上の位置を示す位置情報をテーブルに登録するテーブル作成のステップと、検出のステップで対象物の画像の検出が行われる動画データを第１の記録媒体に記録するステップとを有する記録方法をコンピュータに実行させることを特徴とする記録プログラムである。
【００１１】
また、第４の発明は、動画データから対象物の画像を検出する検出部と、検出部による検出結果に基づき動画データ上の位置を示す位置情報をテーブルに登録するテーブル作成部とを有することを特徴とするデータ処理装置である。
【００１２】
また、第５の発明は、動画データから対象物の画像を検出する検出のステップと、検出のステップによる検出結果に基づき動画データ上の位置を示す位置情報をテーブルに登録するテーブル作成のステップとを有することを特徴とするデータ処理方法である。
【００１３】
また、第６の発明は、動画データから対象物の画像を検出する検出のステップと、検出のステップによる検出結果に基づき動画データ上の位置を示す位置情報をテーブルに登録するテーブル作成のステップとを有するデータ処理方法をコンピュータに実行させることを特徴とするデータ処理プログラムである。
【００１４】
上述したように、第１、第２および第３の発明は、動画データから対象物の画像を検出した検出結果に基づき動画データ上の位置を示す位置情報をテーブルに登録すると共に、対象物の画像の検出が行われる動画データを第１の記録媒体に記録するようにしているため、テーブルに基づき、第１の記録媒体に記録された動画データから対象物の画像が検出された部分を選択的に抽出することができる。
【００１５】
また、第４、第５および第６の発明は、動画データから対象物の画像を検出した検出結果に基づき動画データ上の位置を示す位置情報をテーブルに登録するようにしているため、テーブルに基づき、動画データから対象物の画像が検出された部分を選択的に抽出することができる。
【発明の効果】
【００１６】
第１、第２および第３の発明は、上述したように、動画データから対象物の画像を検出した検出結果に基づき動画データ上の位置を示す位置情報をテーブルに登録すると共に、対象物の画像の検出が行われる動画データを第１の記録媒体に記録するようにしているため、テーブルに基づき、第１の記録媒体に記録された動画データから対象物の画像が検出された部分を選択的に抽出することができる効果がある。
【００１７】
また、第４、第５および第６の発明は、動画データから対象物の画像を検出した検出結果に基づき動画データ上の位置を示す位置情報をテーブルに登録するようにしているため、テーブルに基づき、動画データから対象物の画像が検出された部分を選択的に抽出することができる効果がある。
【発明を実施するための最良の形態】
【００１８】
以下、この発明の実施の第１の形態について説明する。この発明では、例えば撮像装置において、撮像信号に基づく動画データの記録時に、撮像画像に含まれる対象物の画像を検出し、検出結果に基づき当該動画データに対して再生区間を指定するための情報が登録されるテーブルを生成する。検出の対象となる対象物は、例えば人間の顔である。記録された動画データを他の記録媒体にダビングする際には、このテーブルを用いて、対象物が検出された区間のみを選択的にダビングする。これにより、動画データから特定のシーンを抽出してダビングする作業を、極めて容易に行うことができる。
【００１９】
図１〜図５を用いてこの発明について概略的に説明する。図１〜図４は、記録時の処理の例を示す。図１Ａに一例が示されるように、記録開始指示に従い動画データの記録が開始され、記録停止指示に従い記録が停止される。ここで、シーンは、動画データに対して所定のマークを設定することで定義されるものとする。すなわち、動画データに対して設定された第１および第２のマークとで１のシーンが形成される。例えば、記録開始時および記録終了時に、マークを自動的に設定することで、記録開始位置および終了位置を区間とするシーンが自動的に形成される。図１Ａの例では、記録開始と記録停止とでシーン＃１が形成されている。
【００２０】
動画データの記録は、例えば、ハードディスクといった装置に内蔵される記録媒体（以下、内蔵記録媒体）に対して行われる。なお、マーク位置を示すマーク情報は、動画データの管理情報として所定に保持される。管理情報は、内蔵記録媒体に対して、対応する動画データと関連付けられて所定のタイミングで記録される。
【００２１】
シーン＃１の動画データに対して、例えばフレーム毎に画像解析を行い、対象物の画像が含まれているフレームを検出する。以下では、対象物を人間の顔とし、画像解析により人間の顔の画像（以下、顔画像と呼ぶ）が含まれているフレームを検出するものとする。図１Ａの例では、シーン＃１において、時刻ａから時刻ｂの区間で顔画像が検出されている。なお、時刻ａおよび時刻ｂは、それぞれ、記録開始点など基準となる時刻に対するフレームの再生時刻を示す。
【００２２】
顔画像の検出結果は、顔検出プレイリストに登録される。顔検出プレイリストは、図１Ｂに一例が示されるように、例えば、顔画像が検出された区間毎に、顔画像が検出されたシーンを識別するための情報（この例ではシーン番号）と、顔画像が検出された区間の開始点および終了点をそれぞれ示す時刻情報とが登録されるテーブルである。図１Ａの例では、シーン＃１における時刻ａから時刻ｂの区間で顔画像が検出されているので、図１Ｂに例示されるように、リスト番号＃１として、シーン番号＃１と、時刻ａおよび時刻ｂとが登録される。
【００２３】
なお、シーンの開始点および終了点の情報は、動画データの管理情報として別途生成され、記録されるものとする。
【００２４】
シーン＃１の記録が停止された後、再び記録が開始されてシーン＃２が形成され、シーン＃２の動画データに対する画像解析の結果、図２Ａに一例が示されるように、時刻ｃから時刻ｄの区間で顔画像が検出されたものとする。この場合、顔検出プレイリストは、図２Ｂに一例が示されるように、上述したシーン＃１に対する顔画像の検出結果に基づくリスト番号＃１の情報に対して、シーン番号＃２と、新たに顔画像が検出された区間の開始点および終了点をそれぞれ示す時刻ｃおよび時刻ｄとが、リスト番号＃２の情報として追加して登録される。
【００２５】
図３は、シーンの動画データにおいて顔画像が検出されない場合の例を示す。すなわち、シーン＃２の記録が停止された後、再び記録が開始されてシーン＃３が形成される。シーン＃３の動画データに対する画像解析の結果、図３Ａに例示されるように、シーン＃３には顔画像が検出されなかった。この場合には、当然のことながら顔検出プレイリストに対して情報が追加されない（図３Ｂ参照）。
【００２６】
図４は、１のシーンに対して複数の顔画像検出区間が存在する場合の例である。すなわち、シーン＃３の記録が停止された後、再び記録が開始されてシーン＃４が形成され、シーン＃４の動画データに対する画像解析の結果、図４Ａに一例が示されるように、時刻ｅから時刻ｆの区間と、時刻ｇから時刻ｈの区間とでそれぞれ顔画像が検出されているものとする。この場合、顔検出プレイリストに対して、図４Ｂに例示されるように、新たに顔画像が検出された、時刻ｅから時刻ｆの区間に対応する情報と、時刻ｇから時刻ｈの区間に対応する情報とがそれぞれ追加されて登録される。すなわち、図４Ｂの例では、リスト番号＃３の情報として、シーン番号＃４、時刻ｅおよび時刻ｆが追加登録され、リスト番号＃４の情報として、シーン番号＃４、時刻ｇおよび時刻ｈがさらに追加登録されている。
【００２７】
次に、上述のようにして内蔵記録媒体に記録された動画データから、顔画像が検出された区間を抽出して他の記録媒体に選択的にダビングする処理について、図５を用いて説明する。図５Ａおよび図５Ｂは、上述した図４Ａおよび図４Ｂにそれぞれ対応し、内蔵記録媒体に記録された動画データと、当該動画データにおける顔画像の検出結果を示す顔検出プレイリストの例を示す。図５Ｂの顔検出プレイリストによれば、内蔵記録媒体に記録された動画データにおいて、シーン＃１の時刻ａから時刻ｂの区間、シーン＃２の時刻ｃから時刻ｄの区間、ならびに、シーン＃４の時刻ｅから時刻ｆおよび時刻ｇから時刻ｈの区間で、それぞれ顔画像が検出されていることが分かる。
【００２８】
なお、上述したように、各シーンの動画データ上の位置すなわち開始点および終了点を示す情報は、別途生成され、記録されているものとする。
【００２９】
図５Ｃに一例が示されるように、顔検出プレイリストに基づき、内蔵記録媒体に記録されている動画データから顔画像が検出された区間を抽出し、抽出された区間を繋ぎ合わせて１の動画データを作成する。この顔画像が検出された区間を繋ぎ合わせた動画データが、例えば記録可能なタイプのＤＶＤといった、他の記録媒体（以下、ダビング先記録媒体と呼ぶ）に記録され、ダビングが行われる。
【００３０】
例えば、顔検出プレイリストのリスト番号＃１の情報に基づき、シーン＃１の時刻ａから時刻ｂまでの区間が内蔵記録媒体上の動画データから読み出され、新たなシーン＃１’としてダビング先記録媒体に記録される。同様に、顔検出プレイリストのリスト番号＃２の情報に基づき、シーン＃２の時刻ｃから時刻ｄまでの区間が内蔵記録媒体上の動画データから読み出され、新たなシーン＃２’として、シーン＃１’に対して連続的に再生可能なように、ダビング先記録媒体に記録される。さらに、顔検出プレイリストのリスト番号＃３の情報に基づき、シーン＃４の時刻ｅから時刻ｆまでの区間が内蔵記録媒体上の動画データから読み出され、新たなシーン＃３’として、シーン＃２’に対して連続的に再生可能なように、ダビング先記録媒体に記録される。さらにまた、顔検出プレイリストのリスト番号＃４の情報に基づき、シーン＃４の時刻ｇから時刻ｈまでの区間が内蔵記録媒体上の動画データから読み出され、新たなシーン＃４’として、シーン＃３’に対して連続的に再生可能なように、ダビング先記録媒体に記録される。
【００３１】
このように、この発明の実施の第１の形態では、顔検出プレイリストに基づき、内蔵記録媒体に記録される動画データから顔画像が検出された区間だけを選択的に抽出して接続した動画データがダビング先記録媒体に記録される。そのため、内蔵記録媒体に記録される動画データを一々見直してシーンを抽出することなく、所定のシーンのみからなる動画データが記録された記録媒体を容易に作成することができる。
【００３２】
図６は、この発明の実施の第１の形態による一例のダビング処理を示すフローチャートである。先ず、ステップＳ１０で、内蔵記録媒体から顔検出プレイリストが再生され、メモリなどに読み込まれる。次に、読み込まれた顔検出プレイリストに基づき、未処理のデータがあるか否かが判断される（ステップＳ１１）。未処理のデータがあると判断されれば、処理はステップＳ１２に移行される。
【００３３】
ステップＳ１２では、顔検出プレイリストから１件分のデータが読み込まれる。例えば、図５Ｂを参照し、顔検出プレイリストに登録されるリスト番号＃１のデータが読み込まれる。そして、次のステップＳ１３で、内蔵記録媒体に記録される動画データから、読み込まれた顔検出プレイリストの１件分のデータに指定される範囲が抜き出される。抜き出された動画データは、ダビング先の記録媒体に対して記録される。例えば、図５の例では、図５Ｂに例示される顔検出プレイリストのリスト番号＃１のデータが参照され、図５Ｃに例示されるように、動画データから、当該リスト番号＃１のデータに指定されるシーン＃１の時刻ａから時刻ｂまでの範囲が抜き出され、ダビング先の記録媒体に記録される。
【００３４】
ステップＳ１４では、上述のステップＳ１３でダビング先の記録媒体に記録した動画データに対応する管理情報が生成される。例えば、ステップＳ１３で内蔵記録媒体に記録される動画データから顔検出プレイリストに基づき抜き出されダビング先の記録媒体に記録された動画データに対し、先頭と終端にそれぞれ所定にマークが設定され、シーンが形成される。管理情報は、例えばメモリ上に生成され、所定のタイミングでダビング先の記録媒体に記録される。
【００３５】
管理情報の生成が終了されると、処理はステップＳ１１に戻され、顔検出プレイリストの次のデータについて、同様の処理がなされる。顔検出プレイリストの全てのデータについて処理が終了したら、生成した管理情報をダビング先記録媒体に記録して（ステップＳ１５）、顔検出プレイリストに基づくダビング処理が完了される。
【００３６】
なお、上述では、ダビング処理を顔検出プレイリストに登録される全てのデータについて行うように説明したが、これはこの例に限定されない。すなわち、顔検出プレイリストに登録されるデータから所望のデータを選択し、選択されたデータについて、ダビング処理を行うようにもできる。
【００３７】
図７は、この発明の実施の第１の形態を適用可能な撮像装置１の一例の構成を示す。撮像装置１は、記録再生部１０、主制御部１１およびＵＩ(User Interface)部１２を有し、さらに、データの記録および再生を行うための内蔵記録媒体であるハードディスク３２と、データの記録および再生を行うと共に、ハードディスク３２に記録されるデータをダビングするダビング先の記録媒体３１が装填可能なドライブ装置３０とを有する。
【００３８】
この撮像装置１は、撮像素子でフレームタイミング毎に撮像された撮像信号に基づく動画データと、マイクロフォンなどで収音された音声信号に基づく音声データとを所定に圧縮符号化および多重化してストリームデータとし、撮像装置１に内蔵される記録媒体に記録する。また、記録媒体に記録されたストリームデータを、脱着可能な他の記録媒体に対してダビングする機能も有する。
【００３９】
この撮像装置１に適用可能な動画データおよび音声データの記録フォーマットは、様々に考えられる。例えば、ビデオデータとオーディオデータとが所定に多重化されたＡＶ(Audio/Video)ストリームを記録可能な記録媒体に記録する記録フォーマットであるＡＶＣＨＤを、撮像装置１の記録フォーマットとして適用することができる。ＡＶＣＨＤは、ＩＴＵ−Ｔ(International Telecommunication Union-Telecommunication Standarization Sector)勧告Ｈ．２６４あるいはＩＳＯ(International Organization for Standarization)／ＩＥＣ(International Electrotechnical Commission)国際標準１４４９６−１０（ＭＰＥＧ−４パート１０）Advanced Video Coding（以下、Ｈ．２６４｜ＡＶＣと略称する）に規定される符号化方式に準ずる方式で符号化が行われ、符号化された動画データと音声データとを、ＭＰＥＧ２システムに従い多重化してストリームデータとする。
【００４０】
これに限らず、動画データの符号化をＭＰＥＧ２(Moving Pictures Experts Group 2)方式に従い行い、動画データと音声データとの多重化をＭＰＥＧ２システムに従い行うようにしてもよい。クイックタイム(QuickTime：登録商標)など、パーソナルコンピュータなどにおいて主に用いられる符号化および多重化方式を用いることもできる。
【００４１】
なお、撮像装置１に内蔵される記録媒体に記録する際の記録フォーマットは、上述したＡＶＣＨＤのように標準化されたフォーマットに限らず、独自のフォーマットを適用することができる。一方、脱着可能な記録媒体に記録する際の記録フォーマットは、標準化されたフォーマットを採用することで、他の機器との互換性を確保することができ、好ましい。
【００４２】
主制御部１１は、例えば図示されないＣＰＵ(Central Processing Unit)上で動作するプログラムであって、ＣＰＵに接続されるＲＯＭ(Read Only Memory)に予め記憶されたプログラムやデータに基づき、同じくＣＰＵに接続されるＲＡＭ(Random Access Memory)をワークメモリとして用いて、この撮像装置１の各部を制御する。なお、主制御部１１と記録再生部１０の各部とを接続する経路は、繁雑さを避けるために、図７では省略している。
【００４３】
ＵＩ部１２は、この撮像装置１の動作をユーザが操作するための操作子が所定に設けられ、操作子に対する操作に応じた制御信号を出力する。主制御部１１は、ユーザ操作に応じてＵＩ部１２から供給された制御信号に基づきなされるプログラムの処理により、記録再生部１０の各部の動作を制御する。また、ＵＩ部１２は、例えばＬＣＤ(Liquid Crystal Display)からなる表示部を有し（図示しない）、撮像装置１の動作状態や、ユーザ操作のために必要な表示などを行うことができるようになっている。
【００４４】
例えば、ＵＩ部１２に対してなされた操作に応じて、撮像装置１によるハードディスク３２に対してデータを記録する動作の開始および停止の動作や、ハードディスク３２からデータを再生する再生動作、さらには、ハードディスク３２に記録されたデータのドライブ装置３０に装填されたダビング先記録媒体３１に対するダビング処理などが、主制御部１１により制御される。
【００４５】
記録再生部１０は、撮像部２０、収音部２５、信号処理部１３、顔検出部２３、管理情報処理部２９および記録再生制御部２８を有する。撮像部２０は、レンズ系、絞り機構、フォーカス機構、ズーム機構などからなる光学部と、光学部を介して照射された光を光電変換により電気信号に変換するための撮像素子と、撮像素子から出力される撮像信号に対してノイズ除去処理、ゲイン制御処理などを施す撮像信号処理部とを有する。撮像素子としては、ＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal-Oxide Semiconductor)イメージャなどを用いることができる。
【００４６】
撮像部２０から出力された撮像信号は、図示されないＡ／Ｄ変換部でディジタル信号に変換され、信号処理部１３に入力され、映像信号処理部２１に供給される。映像信号処理部２１は、供給されたディジタル信号を例えば輝度データ（Ｙ）および色差データＣｒ／Ｃｂからなる動画データに変換すると共に、ホワイトバランス処理、ガンマ補正処理など所定の画質補正処理を施し、さらに必要に応じて輪郭強調処理や解像度変換処理などを施す。
【００４７】
映像信号処理部２１から出力された動画データは、映像符号化部２２に供給されると共に、顔検出部２３に供給される。映像符号化部２２は、供給された動画データを所定の方式で圧縮符号化する。映像符号化部２２に適用できる圧縮符号化方式としては、ＭＰＥＧ２方式や、Ｈ．２６４｜ＡＶＣに規定される方式などが考えられる。以下では、映像符号化部２２では、ＭＰＥＧ２方式により、供給された動画データの圧縮符号化を行うものとする。
【００４８】
一例として、映像符号化部２２は、供給された動画データのフレームを例えば８×８画素といった所定サイズの符号化ブロックに分割し、この符号化ブロック毎にＤＣＴを行う。そして、ＤＣＴにより得られたＤＣＴ係数を所定の量子化スケールで量子化する。また、映像符号化部２２は、供給された動画データについて、動き補償を用いた予測符号化によるフレーム間符号化も行う。このとき、映像符号化部２２は、フレーム内符号化に基づくピクチャであるＩ(Intra-coded)ピクチャと、予測符号化に基づくピクチャであるＰ(Predictive-coded)ピクチャＢ(Bi-directionally predictive coded)ピクチャとを用いてフレーム間符号化を行う。そして、単独でデコード可能なＩピクチャを最低１枚含むそれ自身で完結したグループ（ＧＯＰ：Group Of Picture）を、独立してアクセス可能な最小単位とするように、符号化を行う。符号化を、ＧＯＰ構造で以て行うことで、サーチやジャンプなどの再生制御を容易とすることができる。
【００４９】
フレーム内符号化およびフレーム間符号化を施されたデータは、可変長符号化によりさらに圧縮される。映像符号化部２２から出力された圧縮動画データは、マルチプレクサ（ＭＵＸ）２４に供給される。
【００５０】
顔検出部２３は、映像信号処理部２１から供給された動画データに対して画像解析を行い、動画データのフレームから顔画像を検出する。顔画像の検出方法としては、例えば特開２００４−３０６２９号公報、特開２００５−１５７６７９号公報に開示される方法を適用することができる。
【００５１】
例えば、フレームに対して所定の検出枠を設定し、検出枠内の所定の２点について輝度データを比較し、比較結果を予め学習により求められたパターン辞書と比較することで、当該検出枠内に顔画像が含まれているか否かを検出する。検出枠内にこの所定の２点の組み合わせを複数、設定し、それぞれの組み合わせについて輝度データを比較する。この比較結果をパターン辞書と比較し、顔らしさ（確度）を求める。この処理を、フレーム内で検出枠を走査しながら行うと共に、絶対的な検出枠サイズを固定的としフレームのサイズを変えながら行う。このようにして求められた確度のうち、例えば閾値以上の確度が得られた検出枠を、顔画像が含まれる検出枠とする。顔画像の検出結果は、管理情報処理部２９に供給される。
【００５２】
顔検出部２３による顔画像の検出処理は、例えば数フレーム乃至数１０フレーム（数秒）を周期として行われる。勿論、顔検出部２３による画像解析処理および顔画像の検出処理を十分高速に行うことができれば、毎フレーム毎に顔画像の検出処理を行ってもよい。
【００５３】
なお、撮像装置１は、映像信号処理部２１から出力された動画データを、上述したＵＩ部１２に設けられた表示部（図示しない）に映出させることができる。これにより、撮像部２０で撮像された撮像画像を確認することができる。また、主制御部１１で所定に生成された表示制御信号に基づく画像をこの表示部に表示させることができるようになっている。これにより、撮像装置１の各種状態を示す情報などを表示部に表示させることができる。さらに、映像信号処理部２１から出力された動画データによる映像と、主制御部１１で生成された行事制御信号に基づく画像とは、表示部において重ねて表示させることができる。
【００５４】
収音部２５は、マイクロフォンを有し、マイクロフォンから出力される音声信号に対して、ノイズ除去処理といった所定の信号処理を施し、Ａ／Ｄ変換してディジタル音声データとして出力する。この音声データは、信号処理部１３に入力され音声信号処理部２６に供給される。音声信号処理部２６は、供給された音声データに対して、増幅処理、音質補正処理など所定の信号処理を施する。
【００５５】
音声信号処理部２６から出力された音声データは、音声符号化部２７に供給され、所定に圧縮符号化される。音声符号化部２７に適用可能な圧縮符号化方式は、ＭＰ３(Moving Pictures Experts Group 1 Audio Layer 3)方式、ＡＡＣ(Advanced Audio Coding)方式など様々に考えられる。音声符号化部２７において、ドルビーディジタル（登録商標）方式を用いて音声データの圧縮符号化を行ってもよい。音声符号化部２７から出力された圧縮音声データは、マルチプレクサ２４に供給される。
【００５６】
マルチプレクサ２４は、映像符号化部２２から供給された圧縮動画データと、音声符号化部２７から供給された圧縮音声データとを時分割により多重化して１本のストリームデータとする。例えば、マルチプレクサ２４は、バッファメモリを有し、供給された圧縮動画データおよび圧縮音声データを一旦バッファメモリに格納する。バッファメモリに格納された圧縮動画データおよび圧縮音声データは、それぞれ処理サイズ毎に分割されヘッダが付加されてパケット化される。ヘッダには、パケットに格納されるデータの再生時刻を示すＰＴＳ(Presentation Time Stamp)や、復号時刻を示すＤＴＳ(Decoding Time Stamp)といったＭＰＥＧ２方式で圧縮符号化された圧縮動画データを復号するために必要な情報が格納される。このパケットをさらに分割し、固定長のパケットに格納してもよい。
【００５７】
マルチプレクサ２４で圧縮動画データと圧縮音声データとが多重化されたストリームデータは、記録再生制御部２８に供給される。記録再生制御部２８は、例えばバッファメモリを有し、マルチプレクサ２４から供給されたパケットを一時的にバッファメモリに格納する。このバッファメモリに対するパケットの読み書きのタイミングを所定に制御することで、後述する各記録媒体に対するアクセス速度と、動画データおよび音声データの圧縮符号化などの信号処理速度との間の整合性を取る。
【００５８】
また、記録再生制御部２８は、複数の記録媒体に対するデータの記録および再生を制御する。この図７の例では、記録再生制御部２８に対してドライブ装置３０が接続されると共に、この撮像装置１に内蔵されるハードディスク３２が接続される。ドライブ装置３０は、例えば記録可能なタイプのＤＶＤ(Digital Versatile Disc)に対するデータの読み書きを行うことができるものとする。
【００５９】
これに限らず、ドライブ装置３０が、ＤＶＤに対してより大容量を実現した、例えばＢｌｕ−ｒａｙ Ｄｉｓｃ（登録商標）といった記録媒体に対して読み書きを行うようにしてもよい。また、ドライブ装置３０は、記録可能なタイプのＤＶＤと、Ｂｌｕ−ｒａｙ Ｄｉｓｃの両方に対応していてもよい。さらに、ドライブ装置３０は、フラッシュメモリなど、脱着可能な不揮発性の半導体メモリに対するデータの読み書きを行うようなものでもよい。
【００６０】
記録再生制御部２８は、例えば主制御部１１といった上位からの命令に基づき、指定された記録媒体について、指定されたアドレスに対するデータの書き込みや、指定されたアドレスからのデータの読み出しを行う。
【００６１】
管理情報処理部２９は、上述した主制御部１１と共に、ＣＰＵ上で動作するプログラムにより機能が実現される。勿論、管理情報処理部２９と主制御部１１とをそれぞれ異なるハードウェアで構成することも可能である。
【００６２】
管理情報処理部２９は、マルチプレクサ２４、映像符号化部２２および音声符号化部２７、ならびに、記録再生制御部２８とデータなどのやりとりを行い、記録再生制御部２８により記録媒体に記録されるストリームデータに関する管理情報を生成する。それと共に、管理情報処理部２９は、記録媒体３１やハードディスク３２から読み出された管理情報基づき、記録再生制御部２８が記録媒体３１やハードディスク３２に対するストリームデータの読み書きを制御するための情報を生成する。
【００６３】
管理情報処理部２９で生成される管理情報には、例えば、ストリームデータに含まれるシーンを管理する情報や、ストリームデータ自体をタイトルとして管理する情報などが含まれる。シーンを管理する情報は、例えば記録開始時刻および停止時刻といった、シーンの先頭と終端とを示す情報がＰＴＳで示される。記録開始時刻および停止時刻を、ストリームデータ先頭のフレームを基点とするフレーム番号で示してもよい。また、ストリームデータに含まれる各パケットの再生時刻と、当該各パケットのストリームデータ上のバイト位置とを関連付けるマップ情報を、管理情報にさらに含むこともできる。
【００６４】
また、管理情報処理部２９は、顔検出部２３による顔画像の検出結果に基づき、上述した顔検出プレイリストを生成する。顔検出区間を示す、顔検出の開始点および終了点の情報は、例えば、当該開始点および終了点が含まれるシーンの先頭フレームを基準とした相対フレーム数で表すことができる。勿論、当該開始点および終了点のＰＴＳを、顔検出プレイリストにおける開始点および終了点を示す情報として用いてもよい。
【００６５】
このように構成された撮像装置１による撮像および記録時の動作について、概略的に説明する。撮像部２０から出力された撮像信号が図示されないＡ／Ｄ変換部でディジタル信号に変換され、映像信号処理部２１に供給される。ディジタル撮像信号は、映像信号処理部２１で所定に信号処理され動画データとして出力され、顔検出部２３および映像符号化部２２に供給される。
【００６６】
例えばＵＩ部１２に対して記録開始を指示する操作がなされると、この操作に応じた制御信号に基づき、主制御部１１により記録再生部１０の全体が制御され、記録動作が開始される。映像符号化部２２は、供給された動画データを所定に圧縮符号化し、ＧＯＰ構造を有する動画データのストリームとして出力する。このストリームは、マルチプレクサ２４に供給される。
【００６７】
一方、顔検出部２３は、供給された動画データについて、数フレーム乃至数１０フレーム毎、或いは、毎フレーム毎に顔画像の検出を行い、検出結果を順次、管理情報処理部２９に渡す。管理情報処理部２９は、信号処理部１３と所定にやりとりを行い、顔画像が検出されたフレームを特定し、顔画像が検出された範囲を求める。管理情報処理部２９は、この顔画像が検出された範囲を示す情報を顔検出プレイリストに登録する。顔検出プレイリストは、例えば図示されないメモリに記憶される。管理情報処理部２９は、この顔検出プレイリストと対応する動画データとを関連付けて管理する。
【００６８】
収音部２５から出力された音声データは、音声信号処理部２６で所定に信号処理され、音声符号化部２７で符号化されてマルチプレクサ２４に供給される。マルチプレクサ２４は、映像符号化部２２から供給された動画データのストリームと、音声符号化部２７から供給された音声データとを所定にパケット化し、時分割多重により多重化して１本のストリームデータとして出力する。このストリームデータは、記録再生制御部２８に供給される。
【００６９】
記録再生制御部２８は、マルチプレクサ２４から供給されたストリームデータを、図示されないバッファメモリに溜め込み、ハードディスク３２の記録単位分の量のデータがバッファメモリに書き込まれたら、バッファメモリからデータを読み出し、ハードディスク３２に記録する。
【００７０】
一方、管理情報処理部２９で生成された顔検出プレイリストは、所定のタイミングで記録再生制御部２８に渡され、ハードディスク３２に記録される。顔検出プレイリストは、例えば記録停止が指示されたタイミングで、ハードディスク３２に記録される。例えば、ＵＩ部１２に対してなされた記録停止を指示する操作に応じた制御信号に基づく主制御部１１の命令により、顔検出プレイリストがメモリから読み出され、記録再生制御部２８によりハードディスク３２に記録される。これに限らず、撮像装置１の電源ＯＦＦのタイミングで顔検出プレイリストをハードディスク３２に記録するようにもできる。
【００７１】
顔検出プレイリストは、対応する動画データが含まれるストリームデータと所定に関連付けられて、ハードディスク３２に記録される。顔検出プレイリストとストリームデータとの関連付けは、互いに対応するファイル名を付すことによって行うことが考えられる。また、ハードディスク３２に記録される顔検出プレイリストとストリームデータとの対応関係を示す管理ファイルをさらに生成することも考えられる。
【００７２】
次に、図６のフローチャートを用いて説明した顔検出プレイリストに基づくダビング処理を、この撮像装置１の構成に対応させて、概略的に説明する。ここでは、ダビング先の記録媒体３１を記録可能なタイプのＤＶＤ（以下、単にＤＶＤと略称する）とし、ハードディスク３２に記録されたストリームデータから顔画像が検出された区間を抽出して、ダビング先の記録媒体３１にダビングするものとする。
【００７３】
ダビング先の記録媒体３１がドライブ装置３０に装填され、主制御部１１により記録媒体３１が認識される。なお、ハードディスク３２に記録される管理情報は、例えば撮像装置１の起動時にハードディスク３２から読み出され、管理情報処理部２９の図示されないメモリに予め格納されるものとする。
【００７４】
例えばユーザにより、ハードディスク３２に記録されたストリームデータから顔検出区間を抜き出してダビング先記録媒体３１にダビングすることを指示する操作がＵＩ部１２に対してなされる。ＵＩ部１２は、この操作に応じた制御信号を生成し、主制御部１１に供給する。主制御部１１は、この制御信号に応じて、顔検出区間のダビング処理を開始する。
【００７５】
主制御部１１は、記録再生制御部２８に対して、ハードディスク３２に記録される顔検出プレイリストを読み出すように命令を出す。記録再生制御部２８は、この命令に応じてハードディスク３２から顔検出プレイリストを読み込み、管理情報処理部２９に渡す。管理情報処理部２９は、図示されないメモリにこの顔検出プレイリストを格納する（図６のステップＳ１０）。
【００７６】
管理情報処理部２９は、メモリ上の顔検出プレイリストを１行ずつ読み込み、１件のプレイリストデータ毎に処理を行う（図６のステップＳ１２）。例えば、管理情報処理部２９は、１件のプレイリストデータについて、シーン番号と、顔検出区間の開始点および終了点の情報とを読み込み、ハードディスク３２に記録されるストリームデータ上の、これら開始点および終了点に対応する位置を求める。
【００７７】
図８を用いて、顔検出区間とストリームデータ上の位置との対応付けの例について説明する。既に説明したように、この例においては、映像符号化部２２では、ＭＰＥＧ２方式により、Ｉピクチャ、ＰピクチャおよびＢピクチャを用いたＧＯＰ構造で動画データの符号化を行っている。したがって、ストリームデータにおいて、動画データに対する最小のアクセス単位は、ＧＯＰ単位となる。一方、顔検出部２３による顔検出処理は、圧縮符号化される前の動画データに対して行われるため、顔検出の開始点および終了点は、それぞれフレーム単位で表されることになる。
【００７８】
そこで、図８に一例が示されるように、顔画像が検出されたピクチャを含むＧＯＰ単位でダビング位置を設定する。より具体的には、ダビング位置の先頭は、顔検出区間の開始点となるピクチャを含むＧＯＰの先頭側の境界とされ、ダビング位置の後端は、当該顔検出区間の終了点となるピクチャを含むＧＯＰの後端側の境界とされる。管理情報処理部２９は、読み込まれた管理情報と、顔検出プレイリストとに基づき、顔検出区間の開始点および終了点のピクチャが含まれるＧＯＰを求めることができる。
【００７９】
ここで、Ｉピクチャは単独で復号が可能であることから、顔検出部２３による顔検出処理をＩピクチャ周期で行うことが考えられる。この場合、顔検出区間は、図８に例示されるように、あるＧＯＰのＩピクチャから、他のＧＯＰのＩピクチャまでとなる。ダビング位置は、顔検出区間の開始点となるＩピクチャ含むＧＯＰの先頭側の境界から、当該顔検出区間の終了点となるＩピクチャを含むＧＯＰの後端側の境界となる。
【００８０】
これに限らず、顔検出部２３による顔検出処理を、ＧＯＰの周期とは関連のない周期で行うことも可能である。
【００８１】
なお、映像符号化部２２でＨ．２６４｜ＡＶＣ方式により動画データの符号化を行う場合でも、フレーム間符号化によるフレーム間の参照関係は、ＭＰＥＧ２と対応させることが可能である。そのため、上述の説明を、Ｈ．２６４｜ＡＶＣ方式を用いて動画データの符号化を行った例として読み替えることもできる。
【００８２】
管理情報処理部２９は、上述のようにして、管理情報と顔検出プレイリストとに基づき、ハードディスク３２に記録されるストリームデータ上のダビング範囲を決定し、このダビング範囲を示す情報をダビング命令と共に記録再生制御部２８に渡す。記録再生制御部２８は、このダビング命令に従い、ストリームデータからダビング範囲情報に示される範囲のデータを読み出し、例えばバッファメモリに書き込む。そして、バッファメモリにダビング先記録媒体３１の記録単位分のデータが溜め込まれたら、バッファメモリからデータを読み出し、ドライブ装置３０に供給する。ドライブ装置３０は、供給されるデータを順次、ダビング先記録媒体３１に所定に記録していく（図６のステップＳ１３）。
【００８３】
管理情報処理部２９は、ダビング先記録媒体３１にダビングされたストリームデータに対応する管理情報を生成する（図６のステップＳ１４）。例えば、ダビングされた範囲の先頭ピクチャのＰＴＳと、終端ピクチャのＰＴＳとが対で登録され、シーンの登録がなされる。登録は、ＰＴＳに限らず例えばフレーム番号を用いて行ってもよい。生成された管理情報は、例えばメモリに一旦格納され、所定のタイミングでダビング先記録媒体３１に対して書き込まれる（図６のステップＳ１５）。例えば、ダビング先記録媒体３１をドライブ装置３０から排出する際や、ダビング先記録媒体３１をドライブ装置３０に装填したまま撮像装置１の電源をＯＦＦ状態とする際などに、管理情報がダビング先記録媒体３１に対して書き込まれる。
【００８４】
管理情報は、例えば記録フォーマットにＡＶＣＨＤを採用した場合には、クリップインフォメーションファイル、ムービープレイリストファイルおよびインデックステーブルファイルからなる。
【００８５】
ダビング先記録媒体３１に対する管理情報が生成されたら、処理がステップＳ１１に戻され、顔検出プレイリストに登録される次のプレイリストデータについて、ダビング処理が行われる。すなわち、当該プレイリストデータが管理情報処理部２９に読み込まれ（図６のステップＳ１２）、読み込まれたプレイリストデータに基づきハードディスク３２上のストリームデータに対してダビング範囲が設定され、当該ダビング範囲のデータがハードディスク３２から読み出され、バッファメモリを介してダビング先記録媒体３１に記録される（図６のステップＳ１３）。
【００８６】
そして、ダビング先記録媒体３１にダビングされたストリームデータに対応する管理情報が追加生成される（図６のステップＳ１４）。このとき、ダビング先記録媒体３１に対して直前にダビングされたストリームデータに対して連続的に再生が可能なように、管理情報が生成される。例えば、直前にダビングされたダビング範囲の終端のＰＴＳを管理情報から参照し、当該ＰＴＳで示されるフレームの次のフレームタイミングを示すＰＴＳを、新規にダビングされたダビング範囲の先頭のＰＴＳとすることが考えられる。これに限らず、直前にダビングされたダビング範囲のストリームと、新規にダビングされたダビング範囲のストリームとを、フレームタイミングで連続的に再生するように指示する情報を、管理情報として記述することも考えられる。
【００８７】
このようにして、顔検出プレイリストに登録される全てのプレイリストデータについてダビング処理が行われると（図６のステップＳ１１）、一連のダビング処理が終了される。
【００８８】
次に、この発明の実施の第１の形態の第１の変形例について説明する。上述では、動画データから１個の顔画像のみが検出された例について説明したが、実際には、撮像装置１により撮像された撮像画面に複数の人物が入り、動画データから複数の顔画像が検出される事例も多いと考えられる。この実施の第１の形態の第１の変形例および後述する第２の変形例は、このような、動画データから複数の顔画像が検出された場合のダビング処理に関するものである。
【００８９】
なお、上述の撮像装置１の構成は、この実施の第１の形態の第１の変形例にそのまま適用できるので、これらについての説明は、省略する。
【００９０】
一例として、図９Ａに例示されるように、３人の人物Ａ、人物Ｂおよび人物Ｃを撮像装置１で撮像する場合について考える。このとき、人物Ａが時刻ｐ1から時刻ｐ2まで撮像装置１の撮像画面に入り、その後、時刻ｐ3から時刻ｐ4まで再び撮像画面に入ったものとする。同様に、人物Ｂが時刻ｑ1から時刻ｑ2まで撮像画面に入り、人物Ｃが時刻ｒ1から時刻ｒ2まで撮像画面に入ったものとする。したがって、撮像装置１で撮像され得られた動画データには、図９Ｂに例示されるように、時刻ｐ1から時刻ｑ1の間、時刻ｒ2から時刻ｑ2までの間、ならびに、時刻ｐ3から時刻ｐ4までの間は、それぞれ１個の顔画像が検出され、時刻ｑ1から時刻ｒ1までの間、ならびに、時刻ｐ2から時刻ｒ2までの間は２個の顔画像が検出され、時刻ｒ1から時刻ｒ2までの間は３個の顔画像が検出されることになる。
【００９１】
なお、顔検出部２３は、例えば１フレーム中に顔画像が含まれるとされた検出枠が複数あった場合に、これら複数の検出枠の重なり具合や距離、検出枠の大きさなどに基づき、互いに異なる顔による顔画像が含まれる検出枠であるか否かを判断することができる。顔画像が含まれるとされた複数の検出枠が、互いに異なる顔による顔画像を含むと判断された場合、その時点で１フレーム中に含まれる互いに異なる顔による顔画像の個数がカウントされる。
【００９２】
この場合、顔検出プレイリストには、１フレーム中に含まれる互いに異なる顔による顔画像の個数が変化した時刻と、顔画像の個数の変化前または変化後における検出された顔画像の個数とを関連付けて登録することが考えられる。これに限らず、顔画像の検出を行った時刻と、１フレーム中に含まれる顔画像の個数とを関連付けて登録するようにしてもよい。
【００９３】
図１０は、顔画像の個数の変化に応じて登録するようにした一例の顔検出プレイリストを示す。この図１０の顔検出プレイリストは、検出された顔画像の個数が変化した変化点を示す時刻と、当該変化点直後の顔画像の個数とが対応付けられて登録される例である。例えば、上述の図９Ａを参照し、時刻ｐ1、時刻ｑ1、時刻ｒ1、時刻ｐ2、時刻ｒ2、時刻ｑ2、時刻ｐ3および時刻ｐ4がそれぞれ変化点として登録され、各変化点直後の顔画像の個数が１個、２個、３個、２個、１個、０個、１個および１個と、各変化点に対応付けられてそれぞれ登録されている。
【００９４】
１フレーム中に検出された顔画像の個数の変化に応じて顔検出プレイリストが生成される場合、ダビング先記録媒体３１にダビングするダビング範囲を、顔画像の個数に対する閾値に基づき決めることが考えられる。一例として、閾値を２個として、１フレーム中に異なる顔による顔画像が２個以上、検出された区間を顔検出区間とした場合について考える。図１０に例示される顔検出プレイリストに基づき、１フレーム中に顔画像が２個以上、検出される区間を求める。変化点ｄ1で顔画像が１個から２個に変化し、変化点ｅ2で２個だった顔画像が１個に変化している。したがって、図９Ｃに例示されるように、時刻ｑ1から時刻ｒ2の区間で１フレーム中に顔画像が２個以上検出されたと判断でき、この区間をダビング処理の対象とする。
【００９５】
なお、ダビング対象の区間が特定されて以降の、ダビング処理そのものは、上述の実施の第１の形態による処理と何ら変わるところがないため、ここでの説明を省略する。
【００９６】
次に、この発明の実施の第１の形態の第２の変形例について説明する。この実施の第１の形態の第２の変形例では、顔画像の検出の際に、検出された顔画像について個体を識別するようにしている。そして、ダビング処理の際に、特定の個体と識別された顔画像に基づきダビング対象を決めるようにする。
【００９７】
なお、上述の撮像装置１の構成は、この実施の第１の形態の第２の変形例にそのまま適用できるので、これらについての説明は、省略する。
【００９８】
検出された顔画像の個体を識別する方法としては、例えば、識別したい顔画像について、顔画像を特定可能な特徴情報を予め登録しておき、１フレーム中から検出された顔画像のそれぞれから抽出された特徴情報と、登録されている特徴情報とを比較し、比較結果に基づき識別したい顔画像を特定することが考えられる。
【００９９】
例えば上述した実施の第１の形態の例をとって、識別したい顔の顔画像に対して検出枠を設定し、検出枠内で複数の所定の２点の組み合わせについて輝度データの比較を行い、この比較結果を当該顔画像の特徴情報として予め辞書登録する。顔検出部２３において、１フレーム中の顔画像を検出する際に、顔画像が含まれると判断された検出枠に対し、辞書登録された顔画像の特徴情報を適用させて、類似度を求める。類似度は、例えば顔画像が含まれると判断された検出枠における所定の２点の組み合わせにおける輝度データの比較結果と、登録された顔画像の特徴情報との差分に基づき求めることが考えられる。例えば、差分が小さいほど、類似度が高いと定義する。類似度が閾値以上であれば、当該検出枠に含まれる顔画像が識別したい顔画像であると判断する。
【０１００】
図１１を用いて、この実施の第１の形態の第２の変形例によるダビング範囲の設定方法について、より具体的に説明する。なお、図１１Ａは、上述した図９Ａと対応するものである。例えば、図１１Ａを参照し、撮像装置１により撮像される人物Ａ、人物Ｂおよび人物Ｃのうち、人物Ａが画面に入っている部分をシーンとして選択的にダビングしたいものとする。
【０１０１】
この場合、人物Ａについて、顔画像の特徴情報を顔検出部２３に対して登録する必要がある。顔画像の登録は、人物Ａの顔を撮像装置１で前もって撮影しておき、撮影された人物Ａの顔画像に基づき予め特徴情報を抽出し登録する方法が考えられる。これに限らず、撮像中の動画データに基づき、識別したい顔画像を登録する方法も考えられる。例えば、ＵＩ部１２に対して表示部上における位置を指定する手段を設け、撮像中の映像をこの表示部に表示させながら、識別したい顔画像をこの位置指定手段により指定する。
【０１０２】
顔検出部２３は、映像処理部２１から供給される動画データを解析し、フレーム中に含まれる顔画像を検出すると共に、例えば検出された顔画像と登録された人物Ａの顔画像とを比較し、類似度が閾値以上であるか否かを判断する。類似度が閾値以上であると判断されれば、その顔画像が検出された時刻を顔検出区間の開始点として、顔検出プレイリストに登録する。また、顔検出部２３は、その顔画像が検出されなくなった時刻を顔検出区間の終了点として顔検出プレイリストに登録する。
【０１０３】
図１１Ａの例では、人物Ａが時刻ｐ1で撮像画面に入って時刻ｐ2で撮像画面から外れ、時刻ｐ3で再び撮像画面に入って時刻ｐ4で撮像画面から外れている。この場合、図１１Ｂに例示されるように、人物Ａの顔画像が時刻ｐ1から時刻ｐ2までの区間と、時刻ｐ3から時刻ｐ4までの区間とで検出されることになり、これら時刻ｐ1から時刻ｐ2までの区間と、時刻ｐ3から時刻ｐ4までの区間とがダビング処理の対象とされる。
【０１０４】
図１２は、顔画像の個体を識別する場合の一例の顔検出プレイリストを示す。この図１２の例では、図１１Ａを参照し、人物Ａ、人物Ｂおよび人物Ｃの顔画像が登録され、それぞれ識別情報「００１」、「００２」および「００３」が対応付けられている。このように、複数の顔画像を登録し、それぞれ認識させることも可能である。図１２の例では、識別情報に対して開始点および終了点の組が対応付けられて、顔検出プレイリストに登録される。例えば、この顔検出プレイリストに対して識別情報「００１」を指定することで、人物Ａが撮像画面に入っている区間を、ダビング対象の区間として選択的に特定することができる。
【０１０５】
なお、ダビング対象の区間が特定されて以降の、ダビング処理そのものは、上述の実施の第１の形態による処理と何ら変わるところがないため、ここでの説明を省略する。
【０１０６】
次に、この発明の実施の第２の形態について説明する。この実施の第２の形態においては、上述した実施の第１の形態によるダビング処理に対し、顔検出プレイリストにおいて開始点および終了点で指定された範囲の再生時間が所定時間より短い場合、その範囲のダビングを行わずに処理をスキップするようにしている。こうすることで、ダビング後の動画データを再生した際にシーンが頻繁に切り替わることを抑制することができる。
【０１０７】
図１３は、この発明の実施の第２の形態による一例のダビング処理を示すフローチャートである。なお、この図１３において、上述した図６と共通する処理（ステップ）には同一の符号を付し、詳細な説明を省略する。ステップＳ１０で内蔵記録媒体から顔検出プレイリストが再生されてメモリに読み込まれ、処理はステップＳ１０１に移行される。
【０１０８】
ステップＳ１０１では、顔検出プレイリストに基づき行われるダビングの際のダビング範囲に下限長が決定される。すなわち、顔検出プレイリストにおける開始点から終了点までの間の再生時間が、設定された下限長が示す時間よりも長い場合に、当該開始点から終了点までの範囲をダビング対象とする。ダビング下限長は、固定的な値としてもよいし、可変としてもよい。
【０１０９】
ダビング下限長を可変とする場合、例えばＵＩ部１２にダビング下限長の値を入力する入力手段を設け、ユーザは、この入力手段を用いて時間の設定を行う。このように設定された時間がダビング下限値に決定される。入力手段は、例えば設定値を、秒数など時間を直接的に数値で入力するようにできる。これに限らず、例えばスライドバーなど時間を感覚的に指定可能な入力手段を設け、これにより下限長の設定を行うようにしてもよい。さらに例えば、ＵＩ部１２に手指などでタップ可能な操作子を設け、この操作子をタップしてタップの間隔に応じて時間を設定するようにしてもよい。また、予め複数の固定値をＲＯＭなどに記憶しておき、ＵＩ部１２からユーザが選択するようにしてもよい。
【０１１０】
なお、ダビング下限長を可変とする場合、設定された時間を直感的に確認できるような表示を、図示されない表示部に表示させるようにすると、より好ましい。一例として、表示部に対して、設定された時間だけ所定のアニメーションを表示させることが考えられる。
【０１１１】
ステップＳ１０１で、ダビング下限長が設定されると、ステップＳ１１で未処理のデータがあるか否かが判断され、未処理のデータがあると判断されれば、ステップＳ１２で、顔検出プレイリストから１件分のデータが読み出される。そして、次のステップＳ１２１で、読み込まれた顔検出プレイリストの１件分のデータに指定される範囲の再生時間が、上述のステップＳ１０１で決定されたダビング下限長より長い時間であるか否かが判断される。若し、顔検出プレイリストの対象データに指定される範囲の再生時間がダビング下限長よりも短いと判断されれば、処理はステップＳ１１に移行され、顔検出プレイリストにおける次のデータに対する処理が行われる。
【０１１２】
一方、ステップＳ１２１で顔検出プレイリストの対象データに指定される範囲の再生時間がダビング下限長よりも長いと判断されれば、処理はステップＳ１３に移行され、内蔵記録媒体に記録される動画データから、顔検出プレイリストに指定される範囲が抜き出されてダビング先の記録媒体に対して記録される。
【０１１３】
一例として、上述した図５Ｂに例示される顔検出プレイリストのリスト番号＃１のデータにおいて、開始点ａと終了点ｂとの時間差がダビング下限長として決定された時間よりも長ければ、これら開始点ａから開始点ｂまでの間がダビング範囲に設定される。一方、開始点ａと終了点ｂとの時間差がダビング下限長として決定された時間よりも短ければ、リスト番号＃１の処理をスキップし、顔検出プレイリストにおける次のデータ、すなわちリスト番号＃２のデータについて処理がなされる。
【０１１４】
そして、ステップＳ１４で、上述のステップＳ１３でダビング先の記録媒体に記録した動画データに対応する管理情報が生成される。
【０１１５】
なお、ここでは、この実施の第２の形態が実施の第１の形態に対応するものであるように説明したが、これはこの例に限定されない。すなわち、この実施の第２の形態は、上述した実施の第１の形態の第１および第２の変形例にも、それぞれ適用させることができる。
【０１１６】
上述では、この発明が例えば携帯型のビデオカメラといった撮像装置に対して適用されるように説明したが、これはこの例に限られない。例えば、据置型のビデオレコーダにこの発明を適用することも可能である。また、パーソナルコンピュータといった汎用的な情報機器ににおいて、図７における主制御部１１、信号処理部１３、顔検出部２３、管理情報処理部２９および記録再生制御部２８などを、ソフトウェアにより構成することも考えられる。
【図面の簡単な説明】
【０１１７】
【図１】この発明による記録時の一例の処理を示す略線図である。
【図２】この発明による記録時の一例の処理を示す略線図である。
【図３】この発明による記録時の一例の処理を示す略線図である。
【図４】この発明による記録時の一例の処理を示す略線図である。
【図５】この発明によるダビング処理を説明するための略線図である。
【図６】この発明の実施の第１の形態による一例のダビング処理を示すフローチャートである。
【図７】この発明の実施の第１の形態を適用可能な撮像装置の一例の構成を示すブロック図である。
【図８】顔検出区間とストリームデータ上の位置との対応付けの例について説明するための略線図である。
【図９】この発明の実施の第１の形態の第１の変形例について説明するための略線図である。
【図１０】顔画像の個数の変化に応じて登録するようにした一例の顔検出プレイリストを示す略線図である。
【図１１】この実施の第１の形態の第２の変形例によるダビング範囲の設定方法について説明するための略線図である。
【図１２】顔画像の個体を識別する場合の一例の顔検出プレイリストを示す略線図である。
【図１３】この発明の実施の第２の形態による一例のダビング処理を示すフローチャートである。
【符号の説明】
【０１１８】
１ 撮像装置
１１ 主制御部
１２ ＵＩ部
１３ 信号処理部
２０ 撮像部
２１ 映像信号処理部
２２ 映像符号化部
２３ 顔検出部
２４ マルチプレクサ
２５ 収音部
２６ 音声信号処理部
２７ 音声符号化部
２８ 記録再生制御部
２９ 管理情報生成部
３１ ダビング先記録媒体
３２ ハードディスク
【特許請求の範囲】
【請求項１】
動画データから対象物の画像を検出する検出部と、
第１の記録媒体に対するデータの記録再生を行う記録再生部と、
上記検出部による検出結果に基づき上記動画データ上の位置を示す位置情報をテーブルに登録するテーブル作成部と、
上記記録再生部を制御する制御部と
を有し、
上記制御部は、上記検出部で上記対象物の画像の検出が行われる上記動画データを上記第１の記録媒体に記録するように上記記録再生部を制御する
ことを特徴とする記録装置。
【請求項２】
請求項１に記載の記録装置において、
第２の記録媒体に対するデータの記録を行う記録部をさらに有し、上記制御部は、該記録部をさらに制御するようにされ、
上記制御部は、上記テーブルに登録される上記位置情報に基づき上記第１の記録媒体に記録される上記動画データの部分を抽出し、抽出された該部分を上記第２の記録媒体にダビングするように上記記録再生部および上記記録部を制御する
ことを特徴とする記録装置。
【請求項３】
請求項２に記載の記録装置において、
上記制御部は、上記位置情報に基づき上記動画データから抽出される上記部分の再生時間が閾値より短ければ、上記ダビングを行わないように上記記録再生部を制御する
ことを特徴とする記録装置。
【請求項４】
請求項３に記載の記録装置において、
ユーザ操作を受け付ける操作部をさらに有し、
上記閾値は、上記操作部に対するユーザ操作により設定される
ことを特徴とする記録装置。
【請求項５】
請求項２に記載の記録装置において、
上記制御部は、上記ダビングの際に、ダビングを行う上記動画データの部分に対する再生制御情報が格納される再生リストを生成し、生成された該再生リストを上記第２の記録媒体に記録するように上記記録再生部を制御する
ことを特徴とする記録装置。
【請求項６】
請求項１に記載の記録装置において、
上記検出部は、上記対象物の個体を識別可能であり、
上記テーブル作成部は、上記検出部による検出結果に基づき、検出された上記対象物の個体を識別する識別情報を上記位置情報に関連付けて上記テーブルに登録する
ことを特徴とする記録装置。
【請求項７】
請求項６に記載の記録装置において、
第２の記録媒体に対するデータの記録を行う記録部をさらに有し、上記制御部は、該記録部をさらに制御するようにされ、
上記制御部は、指定された上記対象物の個体に対応する上記位置情報を上記テーブルに登録される上記識別情報に基づき選択し、選択された該位置情報に基づき上記第１の記録媒体に記録される上記動画データの部分を抽出し、抽出された該部分を上記第２の記録媒体にダビングするように上記記録再生部および上記記録部を制御する
ことを特徴とする記録装置。
【請求項８】
請求項１に記載の記録装置において、
上記対象物は人間の顔であり、上記対象物の画像は人間の顔画像である
ことを特徴とする記録装置。
【請求項９】
請求項１に記載の記録装置において、
上記テーブル作成部は、上記検出部による検出結果に基づき、上記動画データのフレームに検出される上記対象物の画像の個数が変化した位置を上記位置情報として上記テーブルに登録する
ことを特徴とする記録装置。
【請求項１０】
動画データから対象物の画像を検出する検出のステップと、
上記検出のステップによる検出結果に基づき上記動画データ上の位置を示す位置情報をテーブルに登録するテーブル作成のステップと、
上記検出のステップで上記対象物の画像の検出が行われる上記動画データを第１の記録媒体に記録するステップと
を有する
ことを特徴とする記録方法。
【請求項１１】
動画データから対象物の画像を検出する検出のステップと、
上記検出のステップによる検出結果に基づき上記動画データ上の位置を示す位置情報をテーブルに登録するテーブル作成のステップと、
上記検出のステップで上記対象物の画像の検出が行われる上記動画データを第１の記録媒体に記録するステップと
を有する記録方法をコンピュータに実行させる
ことを特徴とする記録プログラム。
【請求項１２】
動画データから対象物の画像を検出する検出部と、
上記検出部による検出結果に基づき上記動画データ上の位置を示す位置情報をテーブルに登録するテーブル作成部と
を有する
ことを特徴とするデータ処理装置。
【請求項１３】
請求項１２に記載のデータ処理装置において、
上記検出部は、上記対象物の個体を識別可能であり、
上記テーブル作成部は、上記検出部による検出結果に基づき、検出された上記対象物の個体を識別する識別情報を上記位置情報に関連付けて上記テーブルに登録する
ことを特徴とするデータ処理装置。
【請求項１４】
請求項１２に記載のデータ処理装置において、
上記対象物は人間の顔であり、上記対象物の画像は人間の顔画像である
ことを特徴とするデータ処理装置。
【請求項１５】
請求項１２に記載のデータ処理装置において、
上記テーブル作成部は、上記検出部による検出結果に基づき、上記動画データのフレームに検出される上記対象物の画像の個数が変化した位置を上記位置情報として上記テーブルに登録する
ことを特徴とする記録データ処理装置。
【請求項１６】
動画データから対象物の画像を検出する検出のステップと、
上記検出のステップによる検出結果に基づき上記動画データ上の位置を示す位置情報をテーブルに登録するテーブル作成のステップと
を有する
ことを特徴とするデータ処理方法。
【請求項１７】
動画データから対象物の画像を検出する検出のステップと、
上記検出のステップによる検出結果に基づき上記動画データ上の位置を示す位置情報をテーブルに登録するテーブル作成のステップと
を有するデータ処理方法をコンピュータに実行させる
ことを特徴とするデータ処理プログラム。
【請求項１】
動画データから対象物の画像を検出する検出部と、
第１の記録媒体に対するデータの記録再生を行う記録再生部と、
上記検出部による検出結果に基づき上記動画データ上の位置を示す位置情報をテーブルに登録するテーブル作成部と、
上記記録再生部を制御する制御部と
を有し、
上記制御部は、上記検出部で上記対象物の画像の検出が行われる上記動画データを上記第１の記録媒体に記録するように上記記録再生部を制御する
ことを特徴とする記録装置。
【請求項２】
請求項１に記載の記録装置において、
第２の記録媒体に対するデータの記録を行う記録部をさらに有し、上記制御部は、該記録部をさらに制御するようにされ、
上記制御部は、上記テーブルに登録される上記位置情報に基づき上記第１の記録媒体に記録される上記動画データの部分を抽出し、抽出された該部分を上記第２の記録媒体にダビングするように上記記録再生部および上記記録部を制御する
ことを特徴とする記録装置。
【請求項３】
請求項２に記載の記録装置において、
上記制御部は、上記位置情報に基づき上記動画データから抽出される上記部分の再生時間が閾値より短ければ、上記ダビングを行わないように上記記録再生部を制御する
ことを特徴とする記録装置。
【請求項４】
請求項３に記載の記録装置において、
ユーザ操作を受け付ける操作部をさらに有し、
上記閾値は、上記操作部に対するユーザ操作により設定される
ことを特徴とする記録装置。
【請求項５】
請求項２に記載の記録装置において、
上記制御部は、上記ダビングの際に、ダビングを行う上記動画データの部分に対する再生制御情報が格納される再生リストを生成し、生成された該再生リストを上記第２の記録媒体に記録するように上記記録再生部を制御する
ことを特徴とする記録装置。
【請求項６】
請求項１に記載の記録装置において、
上記検出部は、上記対象物の個体を識別可能であり、
上記テーブル作成部は、上記検出部による検出結果に基づき、検出された上記対象物の個体を識別する識別情報を上記位置情報に関連付けて上記テーブルに登録する
ことを特徴とする記録装置。
【請求項７】
請求項６に記載の記録装置において、
第２の記録媒体に対するデータの記録を行う記録部をさらに有し、上記制御部は、該記録部をさらに制御するようにされ、
上記制御部は、指定された上記対象物の個体に対応する上記位置情報を上記テーブルに登録される上記識別情報に基づき選択し、選択された該位置情報に基づき上記第１の記録媒体に記録される上記動画データの部分を抽出し、抽出された該部分を上記第２の記録媒体にダビングするように上記記録再生部および上記記録部を制御する
ことを特徴とする記録装置。
【請求項８】
請求項１に記載の記録装置において、
上記対象物は人間の顔であり、上記対象物の画像は人間の顔画像である
ことを特徴とする記録装置。
【請求項９】
請求項１に記載の記録装置において、
上記テーブル作成部は、上記検出部による検出結果に基づき、上記動画データのフレームに検出される上記対象物の画像の個数が変化した位置を上記位置情報として上記テーブルに登録する
ことを特徴とする記録装置。
【請求項１０】
動画データから対象物の画像を検出する検出のステップと、
上記検出のステップによる検出結果に基づき上記動画データ上の位置を示す位置情報をテーブルに登録するテーブル作成のステップと、
上記検出のステップで上記対象物の画像の検出が行われる上記動画データを第１の記録媒体に記録するステップと
を有する
ことを特徴とする記録方法。
【請求項１１】
動画データから対象物の画像を検出する検出のステップと、
上記検出のステップによる検出結果に基づき上記動画データ上の位置を示す位置情報をテーブルに登録するテーブル作成のステップと、
上記検出のステップで上記対象物の画像の検出が行われる上記動画データを第１の記録媒体に記録するステップと
を有する記録方法をコンピュータに実行させる
ことを特徴とする記録プログラム。
【請求項１２】
動画データから対象物の画像を検出する検出部と、
上記検出部による検出結果に基づき上記動画データ上の位置を示す位置情報をテーブルに登録するテーブル作成部と
を有する
ことを特徴とするデータ処理装置。
【請求項１３】
請求項１２に記載のデータ処理装置において、
上記検出部は、上記対象物の個体を識別可能であり、
上記テーブル作成部は、上記検出部による検出結果に基づき、検出された上記対象物の個体を識別する識別情報を上記位置情報に関連付けて上記テーブルに登録する
ことを特徴とするデータ処理装置。
【請求項１４】
請求項１２に記載のデータ処理装置において、
上記対象物は人間の顔であり、上記対象物の画像は人間の顔画像である
ことを特徴とするデータ処理装置。
【請求項１５】
請求項１２に記載のデータ処理装置において、
上記テーブル作成部は、上記検出部による検出結果に基づき、上記動画データのフレームに検出される上記対象物の画像の個数が変化した位置を上記位置情報として上記テーブルに登録する
ことを特徴とする記録データ処理装置。
【請求項１６】
動画データから対象物の画像を検出する検出のステップと、
上記検出のステップによる検出結果に基づき上記動画データ上の位置を示す位置情報をテーブルに登録するテーブル作成のステップと
を有する
ことを特徴とするデータ処理方法。
【請求項１７】
動画データから対象物の画像を検出する検出のステップと、
上記検出のステップによる検出結果に基づき上記動画データ上の位置を示す位置情報をテーブルに登録するテーブル作成のステップと
を有するデータ処理方法をコンピュータに実行させる
ことを特徴とするデータ処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００９−５９４４５（Ｐ２００９−５９４４５Ａ）
【公開日】平成２１年３月１９日（２００９．３．１９）
【国際特許分類】
【出願番号】特願２００７−２２７４５４（Ｐ２００７−２２７４５４）
【出願日】平成１９年９月３日（２００７．９．３）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２１年３月１９日（２００９．３．１９）
【国際特許分類】
【出願日】平成１９年９月３日（２００７．９．３）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]