撮像装置及びプログラム
【課題】撮影時に撮像データそのものではなく、撮像の上手さを示す情報のみを共有することで、撮像時の共有に係る各種処理の負担及び記録容量の圧迫を低減することができる撮像装置を提供する。
【解決手段】撮像装置１は、撮像部１００、上手さ情報算出部４０５、及び送信部３０８を備える。撮像部１００は、被写体を撮像し撮像画像を取得する。上手さ情報算出部４０５は、前記撮像部１００が取得した前記撮像画像について、撮像の上手さに関する情報を算出する。送信部３０８は、前記上手さ情報算出部４０５が算出した上手さ情報を外部機器に送信する
【解決手段】撮像装置１は、撮像部１００、上手さ情報算出部４０５、及び送信部３０８を備える。撮像部１００は、被写体を撮像し撮像画像を取得する。上手さ情報算出部４０５は、前記撮像部１００が取得した前記撮像画像について、撮像の上手さに関する情報を算出する。送信部３０８は、前記上手さ情報算出部４０５が算出した上手さ情報を外部機器に送信する
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置及びプログラムに関し、より詳細には、撮像された撮像データから撮像の上手さを示す情報を算出し、その情報を外部機器と共有することができる撮像装置及びプログラムに関する。
【背景技術】
【０００２】
近年、通信技術の発達及びデジタルカメラ等の普及により、あるユーザがデジタルカメラ等で撮像した撮像データが、ネットワーク通信を通じて他のユーザのＰＣ（Personal Computer）やデジタルカメラ等に転送され、複数のユーザ間で共有されるということが一般化している。例えば、ＩＥＥＥ８０２．１１規格に準拠した無線通信によるネットワーク機能を搭載したデジタルカメラ等により、複数のユーザが、同一の風景、例えば結婚式の風景等を撮像し、その場で各ユーザが互いの撮像データを共有するというようなことも一般的に行われるようになってきている。
【０００３】
このように撮像データの共有が手軽に行える環境が整ってくると、次にデータの共有そのものをより効率的に行いたい、又は共有された複数の撮像データを簡便にダビング等で編集したいとの要請が出てくる。この要請に答える技術として、例えば以下のようなものがある。
【０００４】
特許文献１には、外部装置から撮像データの送信要求を受信し、その送信要求を受信した日時を示す時間情報、又は送信要求の中で別途特定された時間情報を抽出し、抽出されたこれらの時間情報に対応付けられた撮像データを要求元となる外部装置に送信するカメラに関する技術が開示されている。このカメラによれば、送信要求時に近いタイミングで撮像された画像データを自動的に選択して送信することができるため、ユーザは撮像データを効率よく共有することができる。
【０００５】
特許文献２には、複数のカメラで同一の風景を撮像する際に、各カメラの記録の開始と終了を示す情報からなる記録状況インデックスを生成し、この記録状況インデックスから多くのカメラが撮像していた重要シーンを特定し、自動抽出する映像編集システムに関する技術が開示されている。この映像編集システムによれば、共有された複数の撮像データの中から自動的に重要なシーンを抽出し、簡便なダビング編集を行うことができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−１７１４９１号公報
【特許文献２】特開２０１０−１９９８１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、ネットワークを介して共有される撮像データが動画像データであった場合、当然、そのデータ量は静止画像データに比べ極めて大きなものとなる。従って、動画像データの送受信に必要な演算処理等は装置に大きな負担をかけるとともに、送受信の処理に一定時間を要する。また、送受信される動画像データを記録する記録媒体の容量も圧迫することになる。
【０００８】
ここで、上記特許文献１に記載の技術では、共有する撮像データを時間情報から選別してはいるが、撮像データそのものを送受信している。従って、同一風景を動画像で撮像した複数のユーザが、各人の動画像データを各人で共有する場合は、そのデータの送受信に一定時間を要し、カメラ側の処理負担も大きくなり、手軽に共有ができないという問題が生じることが推察される。また共有されたデータが各人のカメラの記録媒体の容量を圧迫し、共有後の新たな撮像データの取得が制限されるという問題が生じることが推察される。
また、時間情報で選別されているとはいえ、ユーザは、ダビング編集時に各撮像データの内容を一旦再生して確認した上で、必要なシーン等を選別し編集しなければならない。
【０００９】
また、特許文献２に記載の技術では、撮像データそのものを全て共有していることから、上記特許文献１の問題と同様に、撮像データの送受信に一定時間を要するという問題、処理負担が大きくなるという問題、及び各人のカメラやサーバ装置の記録媒体の容量が圧迫されるという問題が推察される。
そして、ダビング編集の際に重要なシーンが自動抽出されるが、この重要なシーンは同時刻に記録を行ったユーザの数が多いことにより特定されている。従って、一部のユーザのみが記録した貴重なシーンや、他のユーザにとっては重要ではないが、ある特定のユーザにとっては重要なシーン等がある場合に、それらのシーンを求めるユーザは、各撮像データの内容を一旦再生し確認した上で、それらを特定しなければならない。また自動抽出されたシーンが手ぶれ等のない、上手く撮像された撮像データであるとも限らないという問題も推察される。
【００１０】
本発明はこのような問題に鑑みてなされたものであり、複数のユーザが撮像した動画像データを共有する場合に、撮影時に撮像データそのものではなく、撮像の上手さを示す情報のみを共有することで、撮像時の共有に係る各種処理の負担及び記録容量の圧迫を低減することができる撮像装置及びプログラムを提供することを目的とする。
【００１１】
また、本発明は、ユーザ自らが撮像した撮像データに、他のユーザが撮像した撮像データから算出した撮像の上手さを示す情報を関連付けて記録することで、その他のユーザが撮像した撮像データから必要なシーンのみをより簡便に特定することができる撮像装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明は、上述した課題を解決するため、被写体を撮像し撮像画像を取得する撮像部（１００）と、前記撮像部（１００）が取得した前記撮像画像について、撮像の上手さに関する情報を算出する上手さ情報算出部（４０５）と、前記上手さ情報算出部が算出した上手さ情報を外部機器に送信する送信部（３０８）とを備えることを特徴とする撮像装置（１）を提供する。
【００１３】
上記の構成において、上記撮像装置（１）は、受信部（３０９）及び記録部（２０６又は３０２）をさらに備え、前記受信部（３０９）は外部機器が撮像した撮像画像についての撮像の上手さ情報を受信し、前記記録部（２０６又は３０２）は、上記撮像部（１００）が取得した撮像画像、上記上手さ情報算出部（４０５）が算出した撮像の上手さに関する情報、及び前記受信部（３０９）が受信した撮像の上手さに関する情報を関連付けて記録するようにしてもよい。
【００１４】
上記の構成において、上記撮像装置（１）は、出力部（３０３）をさらに備え、前記出力部（３０３）は、上記記録部（２０６又は３０２）が記録した、上記上手さ情報算出部（４０５）が算出した撮像の上手さに関する情報及び上記受信部（３０９）が受信した撮像の上手さに関する情報を、比較可能な態様で視覚化して表示するための出力を行うようにしてもよい。
【００１５】
上記の構成において、上記撮像の上手さに関する情報は、上記撮像部（１００）の撮像情報又は上記撮像部（１００）が取得した撮像画像の被写体情報の少なくともいずれかからなるようにしてもよい。
【００１６】
上記の構成において、上記撮像装置（１）は、手ぶれ補正部（４０４）をさらに備え、上記撮像情報は、上記撮像部（１００）のズーム倍率、上記撮像部（１００）のパンの大きさ、上記撮像部（１００）のチルトの大きさ、上記撮像部（１００）が取得した前記撮像画像のホワイトバランス、又は前記手ぶれ補正部（４０４）が行う手ぶれ補正の大きさの少なくとも何れか一つに関する情報に基づくようにしてもよい。
【００１７】
上記の構成において、上記撮像装置（１）は、顔検出部（４０２）をさらに備え、前記被写体情報は、前記顔検出部（４０２）による前記撮像画像からの顔検出の結果に基づくものであるようにしてもよい。
【００１８】
また、本発明は、撮像部（１００）が撮像した被写体の撮像画像について、その撮像の上手さに関する情報を算出する処理と、前記撮像の上手さに関する情報を外部機器に送信する処理とをコンピュータに実行させるプログラムを提供する。
【００１９】
上記の構成において、上記プログラムは、さらに外部機器が撮像した撮像画像についての撮像の上手さ情報を受信する処理と、前記撮像部が撮像した撮像画像、前記上手さ情報を算出する処理で算出された撮像の上手さに関する情報、及び前記外部機器が撮像した撮像画像についての撮像の上手さ情報を受信する処理する処理で受信した撮像の上手さに関する情報とを関連付けて記録する処理とさらに実行させるようにしてもよい。
【発明の効果】
【００２０】
本発明に係る撮像装置及びプログラムによれば、複数のユーザが撮像した動画像データを共有する場合に、撮像データではなく、撮像の上手さを示す情報のみを共有することで、撮像時の共有に係る各種処理の負担及び記録容量の圧迫を低減することができる。
【００２１】
また、本発明に係る撮像装置及びプログラムによれば、ユーザ自らが撮像した撮像データに、他のユーザが撮像した撮像データから算出した撮像の上手さを示す情報を関連付けて記録することで、その他のユーザが撮像した撮像データから必要なシーンのみをより簡便に特定することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施形態に係る撮像装置（デジタルビデオカメラ）１の内部構成の例を示すブロック図である。
【図２】本実施形態に係る撮像装置１を含む無線通信ネットワークシステムの構成例を示す図である。
【図３】撮像装置１が上手さ情報を算出する処理を説明するためのフローチャートである。
【図４】顔画像データのサイズの算出について説明するための図である。
【図５】上手さ情報について説明するための図である。
【図６】複数の撮像装置間がそれぞれ算出した上手さ情報を互いに共有する処理について説明するためのフローチャートである。
【図７】グループ化の対象とした全機器が撮像を開始する前にグループ化する場合の例について説明するための図である。
【図８】撮像装置１が撮像を開始し撮像中であった場合に、撮像装置２とグループ化する例について説明するための図である。
【図９】撮像装置１及び撮像装置２が撮像を開始し撮像中であった場合に、撮像装置３とグループ化する例について説明するための図である。
【図１０】撮像装置２が撮像装置１とのグループ化を解除した場合の例について説明するための図である。
【図１１】撮像装置１が撮像装置２及び撮像装置３とのグループ化を解除した場合の例について説明するための図である。
【図１２】グループ化した全機器のグループ化を同時に解除する場合について説明するための図である。
【図１３】共有された上手さ情報の視覚化表示の例を説明するための図である。
【発明を実施するための形態】
【００２３】
以下に図面を参照しながら、本発明に係る撮像装置及びプログラムの好適な実施形態を説明する。かかる実施形態に示す具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００２４】
図１は、本発明の実施形態に係る撮像装置（デジタルビデオカメラ）１の内部構成の例を示すブロック図である。撮像装置１は動画像及び静止画像を撮像することができる。
なお、本発明は、動画像を撮像できるものであれば、いわゆるコンパクトデジタルカメラ等のデジタルスチルカメラをはじめ、携帯電話、ＰＨＳ（Personal Handyphone System）、ＰＤＡ（Personal Digital Assistant）等、その他の電子機器においても採用することができる。
【００２５】
中央制御部４００はＣＰＵ、各種プログラムが格納されたＲＯＭ、及びワークエリアとしてのＲＡＭ等を含む半導体集積回路により構成され、撮像、各種画像の表示、及び記録、並びに後述する撮像の上手さを示す情報の算出、当該情報の他の機器との共有と記録等の撮像装置１全体の処理を統括的に制御する。
【００２６】
撮像装置１は、ズームレンズ１０１、フォーカスレンズ１０２、絞り１０３、及び撮像素子１０４で構成される撮像部１００を有する。ズームレンズ１０１は図示しないズームアクチュエータによって光軸ＬＡに沿って移動する。同様に、フォーカスレンズ１０２は、図示しないフォーカスアクチュエータによって光軸ＬＡに沿って移動する。絞り１０３は、図示しない絞りアクチュエータに駆動されて動作する。撮像素子１０４は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等で構成される。
【００２７】
撮像装置１を用いた撮像は以下の手順で行われる。撮像素子１０４はズームレンズ１０１、フォーカスレンズ１０２、及び絞り１０３を通過した光を光電変換して、被写体のアナログ画像信号を生成する。
アナログ画像信号処理部１０５が、このアナログ画像信号を増幅した後、画像Ａ／Ｄ変換部１０６が、その増幅された信号をデジタル画像データに変換する。画像入力コントローラ１０７は、画像Ａ／Ｄ変換部１０６から出力されたデジタル画像データを撮像データとして取り込んで、バス２００を介してメインメモリ２０６に格納する。
【００２８】
デジタル信号処理部１０８は、バス２００を介して中央制御部４００からの指令に基づき、メインメモリ２０６に格納された撮像データを取り込み、所定の信号処理を施して輝度信号と色差信号とからなるデータを生成する。デジタル信号処理部１０８はまた、オフセット処理、ホワイトバランス調整処理、ガンマ補正処理、ＲＧＢ補完処理、ノイズ低減処理、輪郭補正処理、色調補正処理、光源種別判定処理等の各種デジタル補正を行う。
【００２９】
マイク１０９は撮像時の周囲の音声を周音し、アナログ音声信号を生成する。アナログ音声信号処理部１１０がそのアナログ音声信号を増幅した後、音声Ａ／Ｄ変換部１１１が、その増幅された信号をデジタル音声データに変換する。音声入力コントローラ１１２は、音声Ａ／Ｄ変換部１１１から出力されたデジタル音声データを撮像データと併せてメインメモリ２０６に格納する。
【００３０】
多重化部１１３は、メインメモリ２０６に格納された撮像データ及びデジタル音声データを多重化しストリームデータを生成する。
【００３１】
圧縮・伸長処理部２０１は、バス２００を介して中央制御部４００からの指示に従い、メインメモリ２０６に格納されたストリームデータに所定の圧縮処理を施し、圧縮データを生成する。また、中央制御部４００からの指令に従い、カード型記録媒体３０２等に格納された圧縮データに所定形式の伸張処理を施し、非圧縮データを生成する。
なお、本実施の形態の撮像装置１では、静止画像に対してはＪＰＥＧ規格に準拠した圧縮方式が、動画像に対してはＭＰＥＧ２規格やＡＶＣ／Ｈ．２６４規格に準拠した圧縮方式が採用される。
【００３２】
音声・画像処理部２０２は、バス２００を介して中央制御部４００の指示に従い、メインメモリ２０６から読み出したデジタルデータに所定の画像処理を施す。例えばメニュー画像やＯＳＤ画像等、各種処理のための画像データを生成し、その画像データをメインメモリ２０６から読み出されたオリジナルの撮像データに重畳させて液晶モニタ３０４に出力する。この出力によって、液晶モニタ３０４に表示される画像は各種画像データが合成されたものとなる。
【００３３】
ＲＯＭ２０３はバス２００を介して中央制御部４００に接続されており、中央制御部１００が実行する制御プログラム及び制御に必要な各種データ等を格納している。フラッシュＲＯＭ２０４は、ユーザの設定情報等、撮像装置１の動作に関する各種設定情報を格納している。撮像装置１は、様々な撮像のシチュエーションに応じて、いくつかの撮像モードと、各モードにあわせた撮像条件の設定を予めフラッシュＲＯＭ２０４に記憶している。そして、ユーザは撮像を開始する前に、各モードの中から最適なモードを選択することにより、最適な撮像条件で撮像を実施することができる。例えば、特定の人物の撮像に適した「ポートレートモード」、運動会等の撮像に適した「スポーツモード」、又は夜景等の暗い場所の撮像に適した「夜景モード」等である。
【００３４】
ＶＲＡＭ２０５は、表示用の画像データの一時記憶領域として使用される。メインメモリ２０６は、各種画像データの一時記憶領域として使用されるとともに、中央制御部１００の演算作業領域としても使用される。
【００３５】
メディア制御部２０７は、中央制御部４００の指令に従い、カードＩ／Ｆ３０１を通じてカード型記録媒体３０２へのデータの書き込みやデータの読み出しを制御する。
【００３６】
ジャイロセンサ２０８は、３軸の加速度及び角速度の変化を検出し、撮像装置１のパン・チルト量や上下及び左右の手ぶれ量を検出する。時計２０９は、撮像データの取得日時の情報を生成し、また後述する撮像の上手さを示す情報を他の機器と共有する際の、タイムスタンプの共有に使用される。
【００３７】
液晶モニタ３０４、スピーカ３０５、操作部３０６及び入出力端子３０７は入出力Ｉ／Ｆ３０３に接続されている。液晶モニタ３０４は、例えばＶＲＡＭ２０５やメインメモリ２０６に一時記録された撮像データや各種メニュー画像データ等、各種画像データから生成された画像を表示する。スピーカ３０５は、例えばメインメモリ２０５に一時記録された音声を出力する。操作部３０６は、図示しないリレーズ・スイッチや電源スイッチを含む操作キー、十字キー、ジョイスティック、又は液晶モニタ３０４上に重畳されたタッチパネル等から構成されており、ユーザの撮像装置１への操作入力を受け付ける。入出力端子３０７は、図示しないテレビモニタやＰＣ（Personal Computer）等に接続される。
【００３８】
無線通信部３０９は、バス２００及び無線Ｉ／Ｆ３０８を介して、後述する顔画像登録部４０７に登録された顔画像データや撮像の上手さを示す情報等を外部機器との間で送受信する。また、撮像装置１を外部機器とグループ化する際の、グループ化に関する情報の送受信を行う。各種情報及び撮像データ等の無線通信はＩＥＥＥ８０２．１１規格に準拠した方式で行われる。
【００３９】
図２は、本実施形態に係る撮像装置１を含む無線通信ネットワークシステムの構成例を示す図である。図２では、撮像装置１は、外部装置である撮像装置（デジタルビデオカメラ）２や撮像装置（デジタルスチルカメラ）３と無線通信可能となっている。なお、撮像装置２及び撮像装置３とは、撮像装置１と基本的な構成は同様である。これらの機器同士がそれぞれ共通の無線接続情報を記憶しており、その無線接続情報に基づいて各機器間の接続動作を行う。
【００４０】
中央制御部４００はまた、後述する撮像の上手さを示す情報の算出処理において、撮像情報取得部４０１、顔検出部４０２、顔認識部４０３、手ぶれ補正部４０４、及び上手さ情報算出部４０５として機能する。
【００４１】
撮像情報取得部４０１は、バス２００を介して、音声・画像処理部２０２から撮像データのホワイトバランスの調整度合いに関する情報を撮像情報の一種として取得する。また、撮像情報取得部４０１は、上述したズームレンズ１０１を駆動する図示しないズームアクチュエータからズームの変更度合いに関する情報や、ジャイロセンサ２０８等から撮像装置１のパンやチルトの度合いに関する情報を、撮像情報として取得する。
【００４２】
顔検出部４０２は、メインメモリ２０６に一時記憶された撮像データから、人物の顔画像データを検出する。顔認識部４０３は、顔検出部４０２が検出した顔画像データと、顔画像登録部４０７に予め登録されている人物の顔画像データとを照合し、検出された顔画像データを有する人物が何者であるかを認識する、
【００４３】
手ぶれ補正部４０４は、ジャイロセンサ２０８の出力に応じて、撮像画像にいわゆる電子的な手ぶれ補正や光学的な手ぶれ補正を実施する。
【００４４】
上手さ情報算出部は、撮像情報取得部４０１が取得した撮像情報、顔検出部４０２による顔検出の結果、顔認識部４０３による顔認識の結果、及び手ぶれ補正部４０４による手ぶれ補正の結果等から、撮像の上手さを示す情報を算出する。
【００４５】
中央制御部４００はまた、上手さ情報算出部４０５が算出した撮像の上手さを示す情報を他の撮像装置を始めとした外部機器と共有する際に、撮像装置１とその外部機器とを共有を実施するグループとするグループ化の処理を実施するグループ化部４０６としても機能する。
【００４６】
グループ化部４０６は、無線モジュール３０９により送受信した、グループ化に関する情報をもとに、撮像装置１と外部機器とを撮像の上手さ情報の共有のためのグループにする。
【００４７】
＜撮像の上手さを示す情報の算出処理＞
図３は、撮像装置１が撮像の上手さを示す情報（以下、単に「上手さ情報」という。）を算出する処理を説明するためのフローチャートである。
【００４８】
ユーザが操作部３０６の図示しない録画ボタンを押下すると、ズームレンズ１０１、フォーカスレンズ１０２、絞り１０３、及び撮像素子１０４を介して風景や被写体の画像が、及びマイク１０９を介して周囲の音声が取得され、撮像が開始される（ステップＳ１０１）。そして取得された画像及び音声は、撮像データ及びデジタル音声データとしてメインメモリ２０６への一時記憶が開始される（ステップＳ１０３）。
【００４９】
ステップＳ１０２で撮像データ等の一時記憶が開始されると、上手さ情報算出部４０５は、上手さ情報を算出する（ステップ１０４）。上手さ情報は、ホワイトバランスの調整度合い、ズームの変更度合い、パン及びチルトの度合い、顔検出の結果、撮像画像中の顔画像のサイズ、顔認識の結果及び手ぶれ補正等の結果等の各種パラメータを算出し、それらパラメータを加算等することにより算出される。なお、上手さ情報の算出に使用する上記各種のパラメータは例示に過ぎず、その他撮像の上手さを図る指標となりうるものであれば、全て採用可能である。
【００５０】
まず、ホワイトバランスの調整度合いに基づくパラメータをＦ１、ズームの変更度合いに基づくパラメータをＦ２、パン及びチルトの度合いに基づくパラメータをＦ３、顔検出の結果に基づくパラメータをＦ４、撮像画像中の顔画像のサイズに基づくパラメータをＦ５、顔認識の結果に基づくパラメータをＦ６、そして手ぶれ補正に基づくパラメータをＦ７とし、以下にそれぞれのパラメータの算出方法を説明する。
【００５１】
＜ホワイトバランスの調整度合いに基づくパラメータ：Ｆ１＞
ホワイトバランスの調整度合いに基づくパラメータは、例えば以下のようにして行われる。音声・画像処理部２０２は、既知の各種方法により、メインメモリ２０６に一時記憶された撮像データから、色温度を算出し、この算出された色温度に応じて撮像データのホワイトバランスを調整する。撮像情報取得部４０１は、音声・画像処理部２０２がこの調整を実施している時間Ｔｗを取得する。
【００５２】
撮像情報取得部４０１がＴｗを取得すると、上手さ情報算出部４０５は以下の数式１から、ホワイトバランスの調整度合いに基づくパラメータＦ１を算出する。なお、数式１及び後述する各数式におけるＰＴは、予め定められた時間（例えば、２０秒）であり、フラッシュＲＯＭ２０４に記録されている値である。ユーザは、この値を操作部３０６の図示しないボタン等を使って変更することもできる。
(数１)
Ｆ１＝Ｔｗ／ＰＴ ・・・（数式１）
【００５３】
以上により、撮像データの所定の時間あたりのホワイトバランスの自動調整が行われた時間の割合を算出し、この割合を上手さ情報を示すパラメータの一つとして算出することができる。このＦ１は最終的に算出される上手さ情報において、他のパラメータから減算されることになる。これによって調整の行われていない、より自然な色で撮像されている撮像データの上手さ情報を高い値とすることができる。
【００５４】
＜ズームの変更度合いに基づくパラメータ：Ｆ２＞
ズームの変更度合いに基づくパラメータＦ２の算出は、例えば以下のようにして行われる。ズームレンズ１０２の図示しないズームアクチュエータが駆動すると、撮像情報取得部４０１は、その駆動時間Ｔｚを取得する。
【００５５】
撮像情報取得部４０１がＴｚを取得すると、上手さ情報算出部４０５は以下の数式２から、ズームに基づくパラメータＦ２を算出する。なお、数式２におけるＰＴは予め定められた時間（例えば、２０秒）であり、上記数式１と同じ値が採用される。
(数２)
Ｆ２＝Ｔｚ／ＰＴ ・・・（数式２）
【００５６】
以上により、撮像データの所定の時間あたりのズーム倍率の変更が行われた時間の割合を算出し、この割合を上手さ情報を示すパラメータの一つとして利用することができる。ズーム倍率が変更されている時間は、ユーザが被写体を望ましい倍率で捉え切れていない時間帯と考えられる。このＦ２が、最終的に算出される上手さ情報において、他のパラメータから減算されることで、ズーム倍率が固定された、ユーザが被写体画像を意図する倍率に捉えた後の撮像データの上手さ情報を高い値とすることができる。
【００５７】
＜パン又はチルトの度合いに基づくパラメータ：Ｆ３＞
撮像情報取得部４０１は、ジャイロセンサ２０８の出力等からユーザが撮像装置１をパン又はチルトしている時間Ｔｐを取得する。
【００５８】
撮像情報取得部４０１がＴｐを取得すると、上手さ情報算出部４０５は以下の数式３から、パン又はチルトの度合いに基づく上手さ情報Ｆ３を算出する。なお、数式３におけるＰＴは予め定められた時間（例えば、２０秒）であり、上記数式１と同じ値が採用される。
(数３)
Ｆ３＝Ｔｐ／ＰＴ ・・・（数式３）
【００５９】
以上により、撮像データの所定の時間あたりのパン又はチルトが行われた時間の割合を算出し、この割合を上手さ情報を示すパラメータの一つとして利用することができる。パン又はチルトが行われている時間は、ユーザが被写体を完全に捉え切れていない時間帯とも考えられる。このＦ３が、最終的に算出される上手さ情報において、他のパラメータから減算されることになり、パン又はチルトが行われた後の、すなわちユーザが意図する被写体を捉えた後の撮像データの上手さ情報を高い値とすることができる。
【００６０】
＜顔検出に基づくパラメータ：Ｆ４＞
顔検出部４０２は、ステップＳ１０２でメインメモリ２０６に一時記憶された撮像データから、人物の顔画像データを検出する。例えば、顔検出部４０２は、顔全体の輪郭または目、口、鼻、耳等の顔の構成要素から特徴長を算出し、その特徴量に基づくテンプレートマッチングによって顔を検出する。または、顔検出部４０２は、肌の色に近い領域を検出し、その領域を顔として検出してもよい。さらに、顔検出部４０２は、ニューラルネットワークを使って教師信号による学習を行い、顔らしいと判断した領域を顔として検出したり、顔を検出する既存の他の技術を用いたりしてもよい。
【００６１】
顔検出部４０２が撮像データから顔画像データを検出すると、上手さ情報算出部４０５は、顔検出部４０２が顔画像データを検出している時間Ｔｆを算出し、以下の数式４から、顔検出に基づくパラメータＦ４を算出する。
(数４)
Ｆ４＝Ｔｆ／ＰＴ ・・・（数式４）
【００６２】
以上により、撮像データの所定の時間あたりの顔画像データの検出されている時間の割合を算出し、この割合を上手さ情報を示すパラメータの一つとして利用することができる。撮像装置１のようなデジタルビデオカメラを用いた撮像では、被写体として人物を撮像することが多いと考えられる。このＦ４が、最終的に算出される上手さ情報において、他のパラメータから加算されることになり、ユーザが被写体となる人物を捉えている撮像データの上手さ情報を高い値とすることができる。
【００６３】
＜撮像画像中の顔画像のサイズに基づくパラメータ：Ｆ５＞
検出部４０２が上述のようにして、撮像データから被写体となる人物の顔画像データを検出すると、上手さ情報算出部４０５は、検出されている顔画像データの大きさが、撮像画像データ全体の大きさに占める割合を算出し、この算出された割合が所定の範囲内（例えば、３０％〜７０％）にある時間Ｔｓを算出する。
【００６４】
顔画像データの大きさは、既知の方法、例えば特開２０００−３３９４７６号公報等に記載された方法に基づき、顔画像の領域を特定することで行われる。すなわち、図４に示すように上手さ情報算出部４０５は先ず顔検出部４０２が検出した顔画像データの中心線ｆｃを特定する。この中心線ｆｃの特定は顔画像データ中の左右の画素値の対象性が高いｘ座標を求めることで行われる。
【００６５】
顔画像データの中心線が特定されると、顔画像の濃淡からｘ方向及びｙ方向のエッジを強調したｘ方向エッジ情報とｙ方向エッジ情報が算出される。そして、上手さ情報算出部４０５は先ずｘ方向エッジ情報をｘ方向に投影加算処理し、ｘ方向エッジ投影ヒストグラムＸＨＧを求める。顔画像データの場合、ｘ方向のエッジは通常顔の輪郭の部分の多くに現れる。上手さ情報算出部４０５は、ｘ方向エッジ投影ヒストグラムＸＨＧの値の高いところを顔中心線から左右方向に探索し、顔画像の領域の横幅Ｗhを決定する。
【００６６】
横幅Ｗhが決定されると、ｙ方法エッジ情報をｙ方向に投影加算処理し、ｙ方向エッジ投影ヒストグラムＹＨＧを求める。顔の縦幅を決定する場合、目の付近にｙ方向エッジが集中的に現れ、その下の頬の部分にはｙ方向エッジがほとんど現れないことを利用して、目のｙ座標候補位置を検出し、その目のｙ座標候補と横エッジ投影ヒストグラムＨＨＧから顔画像の領域の縦幅Ｗvを決定する。以上のようにして、横幅Ｗh及び縦幅Ｗvから顔画像データの大きさが算出される。
【００６７】
そして、上手さ情報算出部４０５は、以下の数式５から、撮像画像中の顔画像のサイズに基づくパラメータＦ５を算出する。
(数５)
Ｆ５＝Ｔｓ／ＰＴ ・・・（数式５）
【００６８】
以上により、撮像データの所定の時間あたりにおける、検出されている顔画像データの大きさが、撮像画像データ全体の大きさに占める割合が所定の範囲となっている時間の割合を算出し、この割合を上手さ情報を示すパラメータの一つとして利用することができる。撮像装置１のようなデジタルビデオカメラを用いた撮像では、被写体として人物を撮像することが多いと考えられるが、さらに被写体を小さすぎず、また大きすぎず撮像できている場合は、撮像が上手く行われていると考えられる。このＦ５が、最終的に算出される上手さ情報において、他のパラメータから加算されることになり、ユーザが被写体となる人物を上手く捉えている撮像データの上手さ情報を高い値とすることができる。
【００６９】
＜顔認識の結果に基づくパラメータ：Ｆ６＞
検出部４０２が上述のようにして、撮像データから被写体となる人物の顔画像データを検出すると、顔認識部４０３は検出された顔画像データと、顔画像登録部４０７に予め登録された顔画像データと照合する。そして、顔認識部４０３は、検出された顔画像データと、顔画像登録部４０７に予め登録された顔画像データとが一致する場合は、検出された顔画像データは、予め登録された人物のものであると認識する。上手さ情報算出部４０５は、顔認識部４０３がこの認識を行っている時間Ｔｒを算出する。
【００７０】
そして、上手さ情報算出部４０５は、以下の数式６から、顔認識の結果に基づくパラメータＦ６を算出する。
(数６)
Ｆ６＝Ｔｒ／ＰＴ ・・・（数式６）
【００７１】
以上により、撮像データの所定の時間あたりにおける、予め顔画像データが登録された人物の顔画像データが検出されている時間の割合を算出し、この割合を上手さ情報を示すパラメータの一つとして利用することができる。予め顔画像データが登録されているような人物は、ユーザにとって重要な被写体である可能性が高いと考えられる。このＦ６が、最終的に算出される上手さ情報において、他のパラメータから加算されることになり、ユーザが重要な被写体となる人物を捉えている撮像データの上手さ情報を高い値とすることができる。
【００７２】
なお、顔認識の結果に基づくパラメータを算出するにあたり、各機器のユーザは互いの機器の顔画像データの登録内容を共有しておくことが有効である。すなわち、無線モジュール３０９を解して、互いの顔画像登録部４０７に登録されている顔画像データを全て共有し、共有された全ての顔画像データに基づいて本パラメータを算出する、または互いの顔画像登録部４０７に登録されている顔画像データで共通するデータを特定し、特定された顔画像データのみに基づいて本パラメータを算出するようにするとよい。
【００７３】
以上のようにすることで、上手さ情報を算出する際の本パラメータの値の基準を統一することができる。また、ユーザが所有する撮像装置１にのみ登録されている人物の顔画像を、他のユーザが所有する撮像装置２が撮像している場合に、その撮像装置２の撮像データに係る上手さ情報が、撮像装置１のユーザにとっても有用なものとなる。
【００７４】
＜手ぶれ補正に基づくパラメータ：Ｆ７＞
手ぶれ補正部４０４は、ジャイロセンサ２０８の出力に応じて、いわゆる電子的な手ぶれ補正及び光学的な手ぶれ補正を、既知の方法により実施する。上手さ情報算出部４０５は、手ぶれ補正部４０４が手ぶれ補正を実施している時間Ｔｍを算出し、以下の数式７から、手ぶれ補正に基づくパラメータＦ７を算出する。
(数７)
Ｆ７＝Ｔｍ／ＰＴ ・・・（数式７）
【００７５】
以上により、撮像データの所定の時間あたりの手ぶれ補正が行われた時間の割合を算出し、この割合を上手さ情報を示すパラメータの一つとして利用することができる。手ぶれ補正が行われている時間は、ユーザが手ぶれを起こし、撮像自体は上手く行えていない可能性がある。このＦ７が、最終的に算出される上手さ情報において、他のパラメータから減算されることになり、手ぶれ補正が行われていない、上手く撮像された撮像データの上手さ情報を高い値とすることができる。
【００７６】
＜各パラメータに基づく上手さ情報の算出処理＞
上手さ情報算出部４０５は、上述のようにして、ホワイトバランスの調整度合いに基づくパラメータＦ１、ズームの変更度合いに基づくパラメータＦ２、パン及びチルトの度合いに基づくパラメータＦ３、顔検出の結果に基づくパラメータＦ４、撮像画像中の顔画像のサイズに基づくパラメータＦ５、顔認識の結果に基づくパラメータＦ６、及び手ぶれ補正に基づくパラメータＦ７を算出すると、以下の数式８のようにして、各パラメータを加算し、上手さ情報Ｐを算出する。
(数８)
Ｐ＝−ｎ１Ｆ１−ｎ２Ｆ２−ｎ３Ｆ３＋ｎ４Ｆ４＋ｎ５Ｆ５＋ｎ６Ｆ６−ｎ７Ｆ７
・・・（数式８）
【００７７】
ここで、ｎ１からｎ７までの各ｎｘ（ｘ＝１〜７）は、各パラメータの重み付けのための係数であり、各値をユーザが操作部３０６の図示しないボタン等を用いて設定することができる。なお、ここではｎｘは全てゼロ以上の整数である。設定された値はフラッシュＲＯＭ２０４に記憶される。また、全てのパラメータを使用するのではなく、ユーザが事前に選択した一部のパラメータのみを使用するようにしてもよい。
【００７８】
また、ｎ１からｎ７までの各ｎｘの値や関係を、フラッシュＲＯＭ２０４が記憶している各種撮像モードに応じて、予め設定されるようにしてもよい。例えば、運動会等を撮像するスポーツモードでは、激しく動く特定の人物を、他の人物の中から判別して撮像を行う必要がある。そこで、顔検出の結果に基づくパラメータＦ４の重み付け係数ｎ４、及び顔認識の結果に基づくパラメータＦ６の重み付け係数ｎ６を他のパラメータの重み付け係数より大きくするとともに、被写体を追従した撮像が必要になることから、パンやチルトが激しく行われることを想定し、パン及びチルトの度合いに基づくパラメータＦ３の重み付け係数ｎ３をゼロにする等のアレンジが考えられる。
【００７９】
また、暗い環境で撮像が行われる夜景モードでは、撮像素子１０４のシャッタスピードが落ちることから、手ぶれが起こりやすくなる。そこで、手ぶれ補正に基づくパラメータＦ７の重み付け係数ｎ７を他のパラメータの重み付け係数よりも大きくする等のアレンジが考えられる。
【００８０】
図３に戻り、ステップＳ１０３で撮像の上手さ情報が算出されると、取得された撮像データと算出された上手さ情報とが、関連付けられて入出力Ｉ／Ｆから出力され、カード型記録媒体３０２に記録される（ステップＳ１０４）。この時、例えば、中央制御部４００は、時計２０９の出力を利用して撮像データと上手さ情報のタイムスタンプを共通にする関連付けを行う。そして、撮像データは音声データとともに多重化部１１３に多重化され、圧縮・伸長処理部２０１に圧縮されてカード型記録媒体３０２に記録される。上手さ情報は、例えばメタデータとして、撮像データに係るストリームデータとは別にカード型記録媒体３０２に記録される。
【００８１】
ユーザが操作部３０６の図示しない録画ボタンを離すと（ステップＳ１０５でＹＥＳ）、撮像の終了とともに、上手さ情報の算出の処理を終了する。ユーザが操作部３０６の図示しない録画釦を離さず、押下し続けた場合は（ステップＳ１０５でＮＯ）、ステップＳ１０２に戻り、撮像と当該算出処理が継続される。
【００８２】
図５に、算出された上手さ情報を説明するための概念図を示す。図５では、撮像装置１には上手さ情報を算出するための所定時間ＰＴとして、２０秒の期間が設定されている。ユーザがｔ１の時点で録画ボタンを押下し、４０秒後に録画ボタンを離すまで、つまりｔ３までの期間、撮像を行ったとする。この場合の上手さ情報は、ｔ１の０秒からｔ２の２０秒までの間の値が１．２０、そしてｔ２の２０秒からｔ３の４０秒までの間の値が０．６０として算出される。そして、この上手さ情報が、ｔ１からｔ３までの間の録画（撮像）で生成された撮像データと関連付けられたメタデータとして記録されることとなる。
【００８３】
次にユーザが、最初に録画釦を押下してから５０秒後のｔ４のタイミングで再度録画ボタンを押下し、３０秒後に録画ボタンを離すまで、つまりｔ６までの期間、撮像を行ったとする。この場合、所定の期間である２０秒間に相当するｔ４からｔ５までの期間の撮像については、上記で詳述したようにして上手さ情報が算出される。例えば、その上手さ情報は２．４０とする。
【００８４】
ここで、ｔ５からｔ６までの間は１０秒間しかなく、上手さ情報を算出するためのＰＴである２０秒間に満たない。この場合は、上手さ情報を算出するに足る撮像データが不足するとして、上手さ情報を算出しないようにしても良いし、ｔ５からｔ６の期間のみ、ＰＴを１０秒として上手さ情報を算出しても良い。ここでは、ＰＴを１０秒として上手さ情報を算出したものとする。これらは、ユーザが操作部３０６の図示しないボタン等を用いて任意に選択し、設定することができるものとする。
【００８５】
＜上手さ情報の共有処理＞
次に、複数の撮像装置間がそれぞれ算出した上手さ情報を、各撮像装置が互いに共有する処理について、図６に示したフローチャートを参照して説明する。ここでは、図２に示した撮像装置（デジタルビデオカメラ）１が、撮像装置（デジタルビデオカメラ）２及び撮像装置（デジタルスチルカメラ）３と、互いに上手さ情報を共有する場合を例に挙げて説明する。
【００８６】
撮像装置１のグループ化部４０６は、無線モジュール３０９を介して、グループ化の要求に関する情報を所定の範囲に送信し、グループ化可能な外部機器を探索する（ステップＳ２０１）。そして、撮像装置２及び撮像装置３が当該所定の範囲内にある場合は、当該撮像装置２等は撮像装置１から送信されたグループ化の要求に関する情報を受信するとともに、撮像装置１にグループ化の承認に関する情報を送信する。同様に撮像装置２又は撮像装置３も、撮像装置１にグループ化の要求に関する情報を送信し、撮像装置１からグループ化の承認に関する情報を受信する。
【００８７】
上記のようにして、各撮像装置はグループ化の要求に関する情報等を送受信し、グループが生成される（ステップＳ２０２）。ここで、撮像装置１等はグループ化の要求に関する情報を無線モジュール３０９から受信すると、当該情報の送信元となる外部機器（ここでは撮像装置２及び３）の情報を液晶モニタ３０４に表示し、ユーザは当該表示モニタ上に形成された操作部３０６としてのタッチパネルを押圧する等して、グループ化の対象とする外部機器を取捨選択できるようにしてもよい。
【００８８】
また、グループが生成されると、対象となる機器間で、上手さ情報に使用するパラメータの種類と、各パラメータに用いられる重み付け係数の値が共有される。これにより、同じ基準で算出された上手さ情報を共有することが可能となる。また、このグループ化の際に、顔画像登録部４０７に登録された顔画像データに関する情報を共有することもできる。これにより、例えば撮像装置１には登録がなく、撮像装置２にのみ登録がある顔画像データを有する被写体を撮像装置１が撮像した場合に、その撮像データ及び算出された上手さ情報を撮像装置２のユーザにとって有意義なものとすることができる。
【００８９】
ステップＳ２０２でグループが生成されると、次にグループ化部４０６は、グループ化の対象とした外部機器がすでに撮像を開始し、撮像中であるかどうかを判定する（ステップＳ２０３）。以下に、全ての機器が撮像中ではなく、事前に全機種をグループ化した場合と、一部の機器が撮像を開始しており撮像中であった場合とに、場合分けして説明する。
【００９０】
全ての機器が撮像中ではなく事前に全機種をグループ化した場合、すなわちグループ化の対象とした機器が全て撮像を開始していなかった場合は（ステップＳ２０３でＮＯ）、グループ化以降に取得された撮像データ及び上手さ情報を共有するため、各撮像装置の時間基準を統一すべく共通のタイムスタンプの設定が行われる（ステップＳ２０５）。
【００９１】
図７に、この場合の例について説明する概念図を示す。撮像装置１、撮像装置２、及び撮像装置３は、ｔＧの時点でグループ化されたとする。この場合、生成されたグループが解除されるまでの間、各撮像装置の撮像データに係る上手さ情報は全て共有の対象となる。
【００９２】
すなわち、図７において、撮像装置１が取得する、ｔ１の時点からｔ４の時点までの４０秒間の撮像データ、ｔ５の時点からｔ７の時点までの３０秒間の撮像データ、及びｔ６の時点以降の撮像データに係る上手さ情報が撮像装置２及び撮像装置３への送信対象、つまり共有対象となる。また、撮像装置２が取得する、ｔ２の時点からｔ５の時点までの撮像データ、及びｔ６の時点以降の撮像データに係る上手さ情報が撮像装置１及び撮像装置３への送信対象、つまり共有対象となる。そして、撮像装置３が取得する、ｔ３の時点からｔ６の時点までの４０秒間の撮像データ、及びｔ６の時点以降の撮像データに係る上手さ情報が撮像装置１及び撮像装置２への送信対象、つまり共有対象となる。
【００９３】
グループ化の対象とした機器の一部が撮像を開始し、撮像中であった場合は（ステップＳ２０３でＹＥＳ）、撮像中である撮像装置の撮像データの一部を対象から除外し、共通のタイムスタンプをオフセットする（ステップＳ２０４）。
【００９４】
図８に、撮像装置１が撮像を開始し撮像中であった場合に、撮像装置２とグループ化する例について説明するための概念図を示す。ここで撮像装置１と撮像装置２とは、ｔＧの時点でステップＳ２０２のグループ化の処理を完了したとする。このとき、撮像装置１はｔ１の時点からすでに撮像を開始している。この場合は、撮像装置１は、ｔ１の時点からｔ３の時点までの２０秒間の撮像データに係る上手さ情報は、上手さ情報は１．８０として算出されているが、撮像装置２には共有せず、ｔＧの時点を基準として、共通のタイムスタンプを生成し（ステップＳ２０５）、次の所定の期間である２０秒間の撮像期間、すなわちｔ３の時点からｔ４の時点までの期間の撮像データに係る上手さ情報から撮像装置２との共有対象とする。
【００９５】
すなわち、撮像装置１は、ｔ３の時点からｔ４の時点までの２０秒間の撮像データ、ｔ５の時点からｔ７の時点までの３０秒間の撮像データ、及びｔ８の時点以降の撮像データに係る上手さ情報を撮像装置２に送信することになる。
【００９６】
そして、撮像装置２は、グループ化を行ったｔＧ以降の撮像データ、すなわちｔ２の時点からｔ５の時点までの４０秒間の撮像データ、及びｔ６の時点以降の撮像データに係る上手さ情報を撮像装置１に送信することになる。
【００９７】
次に、図９に、撮像装置１及び撮像装置２が撮像を開始し撮像中であった場合に、撮像装置３とグループ化する例について説明するための概念図を示す。ここで撮像装置１と撮像装置２とは、上述のようにして、すでにステップＳ２０２のグループ化の処理を完了し、撮像装置３はｔＧの時点で当該グループに加わったものとする。
【００９８】
撮像装置１はｔ１の時点ですでに撮像を開始している。この場合は、撮像装置１は、ｔ１の時点からｔ４の時点までの２０秒間の撮像データに係る上手さ情報は、撮像装置３には共有せず、ｔ３の時点から共通のタイムスタンプを生成し（ステップＳ２０５）、次の所定の期間である２０秒間の撮像期間、すなわちｔ４の時点からｔ６の時点までの期間の撮像データに係る上手さ情報から、撮像装置３との共有対象とする。
【００９９】
すなわち、撮像装置１は、ｔ４の時点からｔ６の時点までの２０秒間の撮像データ、ｔ７の時点からｔ９の時点までの３０秒間の撮像データ、及びｔ１０の時点以降の撮像データに係る上手さ情報を撮像装置３に送信することになる。
【０１００】
また、撮像装置２はｔ３の時点からすでに撮像を開始している。この場合は、撮像装置２はｔ２の時点からｔ５の時点までの２０秒間の撮像データに係る上手さ情報は、撮像装置３には共有せず、ｔ３の時点から共通のタイムスタンプを生成し（ステップＳ２０５）、次の所定の期間である２０秒間の撮像期間、すなわちｔ５からｔ７までの期間の撮像データに係る上手さ情報から、撮像装置３との共有対象とする。
【０１０１】
すなわち、撮像装置２は、ｔ５の時点からｔ７の時点までの２０秒間の撮像データ、及びｔ８の時点以降の撮像データに係る上手さ情報を撮像装置３に送信することになる。
【０１０２】
そして、撮像装置３は、グループ化を行ったｔ３の時点以降の撮像データ、すなわちｔ３の時点からｔ８の時点までの４０秒間の撮像データ、及びｔ１０の時点以降の撮像データに係る上手さ情報を撮像装置１及び撮像装置２に送信することになる。
【０１０３】
なお、撮像装置１と撮像装置２とが互いに共有する上手さ情報については、前述の図８を参照にした説明と同様であるため、省略する。
【０１０４】
上述のようにして、ステップＳ２０５で、上手さ情報を共有するためのタイムスタンプが生成されると、撮像装置１、撮像装置２、及び撮像装置３はそれぞれ撮像データを取得し、それぞれの撮像データに係る上手さ情報を算出し、カード型記録媒体３０２等に記憶する（ステップＳ２０６）。
【０１０５】
そして、グループ化部４０６は、ステップＳ２０２でグループを生成し、グループ化の対象とした機器のうち、一部の機器がグループを離脱したか否かを判定する（ステップＳ２０７）。グループ化部４０６によるグループの離脱の判断は、グループ化部４０６が、無線モジュール３０９を介して、グループ解除に関する情報を外部機器から受信したか否かに基づいて行われる。
【０１０６】
グループ化部４０６が、無線モジュール３０９を介して、外部機器、例えば撮像装置２から、グループ解除に関する情報を受信すると（ステップＳ２０７でＹＥＳ）、撮像装置１のグループ化部４０６は撮像装置２のグループ解除を承認する処理を実施する（ステップＳ２０８）。すなわち、撮像装置２に対して、無線モジュール３０９から、グループ離脱の承認に関する情報を送信する処理を行う。
【０１０７】
ステップＳ２０８でグループの解除の承認処理が完了すると、撮像装置１は解除する撮像装置２との間で、上手さ情報のみを無線モジュール３０９を介して互いに送受信し、共有する（ステップＳ２０９）。
【０１０８】
この場合の、共有対象となる上手さ情報について説明するための概念図を図１０に示す。ここで、撮像装置２はｔＣの時点で、撮像装置１とのグループ化を解除したものとする。撮像装置１は、ｔＣの時点までの上手さ情報の算出が完了していた期間の上手さ情報を撮像装置２との共有対象とする。すなわち、撮像装置１はｔ１の時点までの撮像データ、ｔ２の時点からｔ４の時点までの撮像データ、及びｔ６の時点からｔ７の時点までの撮像データに係る上手さ情報を撮像装置２との共有対象とする。一方、撮像装置２は、自らがグループ化を解除した時点までに上手さ情報の算出が完了していた期間の上手さ情報を撮像装置１との共有対象とする。すなわち、撮像装置２はｔ３の時点までの撮像データ、及びｔ４の時点からｔ８の時点までの撮像データに係る上手さ情報を撮像装置１との共有対象とする。
【０１０９】
グループ化部４０６が、無線モジュール３０９を介して、外部機器からグループを離脱する旨の情報を受信しなかった場合（ステップＳ２０７でＹＥＳ）、撮像装置１は外部機器である撮像装置２及び撮像装置３にグループの離脱を要請する処理をすることとなる（ステップＳ２１０）。そして、撮像装置１は撮像装置２及び撮像装置３と、上手さ情報のみを無線モジュール３０９を介して互いに送受信し、共有する（ステップＳ２１１）。
【０１１０】
この場合の、共有対象となる上手さ情報について説明するための概念図を図１１に示す。ここで、撮像装置１はｔＣの時点で、撮像装置２及び撮像装置３とのグループ化を解除したものとする。撮像装置２は、ｔＣの時点までの上手さ情報の算出が完了していた期間の上手さ情報を撮像装置１との共有対象とする。すなわち、撮像装置２はｔ３の時点までの撮像データ、及びｔ４の時点からｔ７の時点までの撮像データに係る上手さ情報を撮像装置１との共有対象とする。同じく、撮像装置３は、ｔＣの時点までの上手さ情報の算出が完了していた期間の上手さ情報を撮像装置１との共有対象とする。すなわち、撮像装置２はｔ２の時点からｔ３の時点までの撮像データ、及びｔ４の時点からｔ７の時点までの撮像データに係る上手さ情報を撮像装置１との共有対象とする。
【０１１１】
また、撮像装置１がグループ化を解除すると同時に、他の全ての外部機器、すなわち撮像装置２及び撮像装置３がグループ化を解除する場合の共有対象となる上手さ情報について説明するための概念図を図１２に示す。
【０１１２】
撮像装置１、撮像装置２、及び撮像装置３はｔＣの時点でそれぞれグループ化を解除したとする。この場合、撮像装置１は、ｔ１の時点までの撮像データ、及びｔ３の時点からｔ６の時点までの撮像データに係る上手さ情報を撮像装置２及び撮像装置３との共有対象とする。撮像装置２は、ｔ３の時点までの撮像データ、及びｔ４の時点からｔ７の時点までの撮像データに係る上手さ情報を撮像装置１及び撮像装置３との共有対象とする。そして、撮像装置３は、ｔ１の時点までの撮像データ、ｔ２の時点からｔ４の時点までの撮像データ、及びｔ５の時点からｔ８の時点までの撮像データに係る上手さ情報を撮像装置１及び撮像装置２との共有対象とする。
【０１１３】
ステップＳ２０９又はステップＳ２１１で、上手さ情報の送受信が完了すると、この上手さ情報の共有処理が完了する。
【０１１４】
以上のように、撮像装置１は、撮像データとしての動画像データそのものではなく、自らが算出した撮像データに係る上手さ情報、及び外部機器が算出した撮像データに係る上手さ情報のみを撮像の際に共有することになるので、撮像時の各種データの共有に係る処理の負担及び記録容量の圧迫を大幅に低減することができる。
【０１１５】
＜上手さ情報の記録と表示処理＞
撮像装置１は、上述のようにして外部機器と共有した当該外部機器の撮像データに係る上手さ情報を、自らの撮像データ及び当該撮像データに係る上手さ情報と併せて、メインメモリ２０６に記録し、最終的にカードＩ／Ｆ３０１を介してカード型記録媒体３０２に記録することができる。各上手さ情報は、例えばメタデータとして、撮像装置１の撮像データと関連付けられて記録されている。
【０１１６】
そして、カード型記録媒体３０２に記録された各上手さ情報は、中央制御部４００の指示に基づいて、液晶モニタ３０４又は入出力端子３０７を介して外部の各種モニタ装置に、比較のために視覚化して表示することができる。この視覚化した表示の例としては、いわゆるタイムラインによる表示が挙げられる。
【０１１７】
図１３に、共有された上手さ情報の視覚化表示の例を説明するための図を示す。図１３は、撮像装置１自身が生成した上手さ情報、撮像装置２と共有し撮像装置２から受信した撮像装置２の生成した上手さ情報、及び撮像装置３と共有し撮像装置３から受信した撮像装置３の生成した上手さ情報を、タイムラインとして液晶モニタ３０４に表示した態様を表す概念図である。
【０１１８】
撮像装置１のユーザは、この液晶モニタ３０４の表示を見て、例えば以下のような考察をすることができる。
【０１１９】
ｔ２の時点からｔ３の時点の撮影は、自分の撮像の上手さが０．６０と評価されたのに対して、撮像装置３のユーザの撮像の上手さは倍の１．２０と評価されている。従って、この期間に関しては、撮像装置３のユーザの方が自分よりもズームの変化や手ぶれが少なく、被写体を正確に捉えた撮像データを保有している可能性が高いとの考察が可能となる。
【０１２０】
或は、ｔ３の時点からｔ４の時点に関しては、自分も撮像装置３のユーザも撮像を逃してしまっているが、撮像装置２のユーザはこの期間の撮像データを保有しているとの考察が可能となる。
【０１２１】
以上の場合に、撮像装置１のユーザは、撮像装置２のユーザ又は撮像装置３のユーザに、例えば無線モジュール３０９を介した無線ネットワーク通信や、別途の連絡により、上記のような考察を行った期間の撮像データだけを自分と共有するように申出をすることが可能となる。
【０１２２】
或は、撮像装置１のユーザは、撮像装置２のユーザ及び撮像装置３のユーザがともに撮像を逃しており、かつ自らの撮像の上手さが高い評価を獲得しているｔ４の時点からｔ５の時点までの撮像データの提供を、各ユーザに申し出ることも可能となる。
【０１２３】
また、ｔ７の時点からｔ８の時点までは、撮像装置１、撮像装置２、及び撮像装置３の全てのユーザが撮像を行っており、この期間を含む撮像期間の撮像データを有していることがわかる。それぞれのユーザが有している撮像データの期間は、撮像装置１のユーザがｔ４の時点からｔ８の時点までの３０秒間、撮像装置２のユーザがｔ７の時点からの２０秒間、及び撮像装置３のユーザがｔ６の時点からｔ８の時点までの２０秒間と完全には一致していない。
【０１２４】
一方で、ｔ７の時点からｔ８の時点までの重複する期間を含めた各期間について上手さ情報が比較可能な態様で視覚化されて表示されているため、例えば、撮像装置１のユーザが撮像装置３のユーザにｔ７の時点からｔ８の時点までのデータの提供を申し出るかの指標として利用できる。
【０１２５】
以上のように、本発明に係る撮像装置１によれば、ユーザ自らが撮像した撮像データに、他のユーザが撮像した撮像データに係る上手さ情報を関連付けて記録し、表示することができるので、その他のユーザが撮像した撮像データ又は自らが撮像した撮像データから必要なシーンのみをより簡便に特定することができる。したがって、他のユーザが撮像した撮像データの内容を確認せずともダビングを効率的かつ簡便に実施することができるようになる。
【０１２６】
なお、ダビングの際に、自分が撮像した撮像データを他のユーザが撮像した撮像データに置き換える場合に、当該自分が撮像した撮像データに係る音声データと当該他のユーザが撮像した撮像データに係る音声データを、併せて置き換えてしまうと、前後の音声データの繋がりが不自然になってしまう問題が生じることが推察される。
【０１２７】
同一の風景を複数人で同時に撮像している場合は、撮像データはアングル等によって大きく異なるが、音声データに大きな相違はない。例えば、結婚式で新郎新婦入場のシーンを撮像している場合、撮像データは、新郎新婦から近い位置で撮像されているもの、新郎新婦から遠い位置で撮像されているもの等、撮像装置によって大きく異なる。一方で、取得される音声はほとんどの撮像装置が入場のアナウンスと入場曲という共通の音声を取得しているはずである。
【０１２８】
そこで、本発明に係る撮像装置１では、ダビング編集時に、自分の撮像データを他のユーザの撮像データに置き換える場合でも、音声データは自分の撮像データに係るものを採用して、多重化部１１３が新たなストリームデータを生成することができる。
【０１２９】
また、撮像装置１に係る液晶モニタ３０４等は、ダビング編集時に自分の撮像データを他のユーザの撮像データに置き換える場合に、他のユーザの撮像データに、採用されなかった（置き換えられた）自らの撮像データをピクチャ・イン・ピクチャやオーバレイなどにより子画面で重畳表示するストリームデータを生成することもできる。
【符号の説明】
【０１３０】
１ 撮像装置（デジタルビデオカメラ）
２ 撮像装置（デジタルビデオカメラ）
３ 撮像装置（デジタルスチルカメラ）
１００ 撮像部
２０２ 音声・画像処理部
２０６ メインメモリ
３０１ カードＩ／Ｆ
３０２ カード型記録媒体
３０３ 入出力Ｉ／Ｆ
３０４ 液晶モニタ
３０５ スピーカ
３０６ 操作部
３０７ 入出力端子
３０８ 無線Ｉ／Ｆ
３０９ 無線モジュール
４００ 中央制御部
４０１ 撮像情報取得部
４０２ 顔検出部
４０３ 顔認識部
４０４ 手ぶれ補正部
４０５ 上手さ情報算出部
４０６ グループ化部
４０７ 顔画像登録部
【技術分野】
【０００１】
本発明は撮像装置及びプログラムに関し、より詳細には、撮像された撮像データから撮像の上手さを示す情報を算出し、その情報を外部機器と共有することができる撮像装置及びプログラムに関する。
【背景技術】
【０００２】
近年、通信技術の発達及びデジタルカメラ等の普及により、あるユーザがデジタルカメラ等で撮像した撮像データが、ネットワーク通信を通じて他のユーザのＰＣ（Personal Computer）やデジタルカメラ等に転送され、複数のユーザ間で共有されるということが一般化している。例えば、ＩＥＥＥ８０２．１１規格に準拠した無線通信によるネットワーク機能を搭載したデジタルカメラ等により、複数のユーザが、同一の風景、例えば結婚式の風景等を撮像し、その場で各ユーザが互いの撮像データを共有するというようなことも一般的に行われるようになってきている。
【０００３】
このように撮像データの共有が手軽に行える環境が整ってくると、次にデータの共有そのものをより効率的に行いたい、又は共有された複数の撮像データを簡便にダビング等で編集したいとの要請が出てくる。この要請に答える技術として、例えば以下のようなものがある。
【０００４】
特許文献１には、外部装置から撮像データの送信要求を受信し、その送信要求を受信した日時を示す時間情報、又は送信要求の中で別途特定された時間情報を抽出し、抽出されたこれらの時間情報に対応付けられた撮像データを要求元となる外部装置に送信するカメラに関する技術が開示されている。このカメラによれば、送信要求時に近いタイミングで撮像された画像データを自動的に選択して送信することができるため、ユーザは撮像データを効率よく共有することができる。
【０００５】
特許文献２には、複数のカメラで同一の風景を撮像する際に、各カメラの記録の開始と終了を示す情報からなる記録状況インデックスを生成し、この記録状況インデックスから多くのカメラが撮像していた重要シーンを特定し、自動抽出する映像編集システムに関する技術が開示されている。この映像編集システムによれば、共有された複数の撮像データの中から自動的に重要なシーンを抽出し、簡便なダビング編集を行うことができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−１７１４９１号公報
【特許文献２】特開２０１０−１９９８１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、ネットワークを介して共有される撮像データが動画像データであった場合、当然、そのデータ量は静止画像データに比べ極めて大きなものとなる。従って、動画像データの送受信に必要な演算処理等は装置に大きな負担をかけるとともに、送受信の処理に一定時間を要する。また、送受信される動画像データを記録する記録媒体の容量も圧迫することになる。
【０００８】
ここで、上記特許文献１に記載の技術では、共有する撮像データを時間情報から選別してはいるが、撮像データそのものを送受信している。従って、同一風景を動画像で撮像した複数のユーザが、各人の動画像データを各人で共有する場合は、そのデータの送受信に一定時間を要し、カメラ側の処理負担も大きくなり、手軽に共有ができないという問題が生じることが推察される。また共有されたデータが各人のカメラの記録媒体の容量を圧迫し、共有後の新たな撮像データの取得が制限されるという問題が生じることが推察される。
また、時間情報で選別されているとはいえ、ユーザは、ダビング編集時に各撮像データの内容を一旦再生して確認した上で、必要なシーン等を選別し編集しなければならない。
【０００９】
また、特許文献２に記載の技術では、撮像データそのものを全て共有していることから、上記特許文献１の問題と同様に、撮像データの送受信に一定時間を要するという問題、処理負担が大きくなるという問題、及び各人のカメラやサーバ装置の記録媒体の容量が圧迫されるという問題が推察される。
そして、ダビング編集の際に重要なシーンが自動抽出されるが、この重要なシーンは同時刻に記録を行ったユーザの数が多いことにより特定されている。従って、一部のユーザのみが記録した貴重なシーンや、他のユーザにとっては重要ではないが、ある特定のユーザにとっては重要なシーン等がある場合に、それらのシーンを求めるユーザは、各撮像データの内容を一旦再生し確認した上で、それらを特定しなければならない。また自動抽出されたシーンが手ぶれ等のない、上手く撮像された撮像データであるとも限らないという問題も推察される。
【００１０】
本発明はこのような問題に鑑みてなされたものであり、複数のユーザが撮像した動画像データを共有する場合に、撮影時に撮像データそのものではなく、撮像の上手さを示す情報のみを共有することで、撮像時の共有に係る各種処理の負担及び記録容量の圧迫を低減することができる撮像装置及びプログラムを提供することを目的とする。
【００１１】
また、本発明は、ユーザ自らが撮像した撮像データに、他のユーザが撮像した撮像データから算出した撮像の上手さを示す情報を関連付けて記録することで、その他のユーザが撮像した撮像データから必要なシーンのみをより簡便に特定することができる撮像装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明は、上述した課題を解決するため、被写体を撮像し撮像画像を取得する撮像部（１００）と、前記撮像部（１００）が取得した前記撮像画像について、撮像の上手さに関する情報を算出する上手さ情報算出部（４０５）と、前記上手さ情報算出部が算出した上手さ情報を外部機器に送信する送信部（３０８）とを備えることを特徴とする撮像装置（１）を提供する。
【００１３】
上記の構成において、上記撮像装置（１）は、受信部（３０９）及び記録部（２０６又は３０２）をさらに備え、前記受信部（３０９）は外部機器が撮像した撮像画像についての撮像の上手さ情報を受信し、前記記録部（２０６又は３０２）は、上記撮像部（１００）が取得した撮像画像、上記上手さ情報算出部（４０５）が算出した撮像の上手さに関する情報、及び前記受信部（３０９）が受信した撮像の上手さに関する情報を関連付けて記録するようにしてもよい。
【００１４】
上記の構成において、上記撮像装置（１）は、出力部（３０３）をさらに備え、前記出力部（３０３）は、上記記録部（２０６又は３０２）が記録した、上記上手さ情報算出部（４０５）が算出した撮像の上手さに関する情報及び上記受信部（３０９）が受信した撮像の上手さに関する情報を、比較可能な態様で視覚化して表示するための出力を行うようにしてもよい。
【００１５】
上記の構成において、上記撮像の上手さに関する情報は、上記撮像部（１００）の撮像情報又は上記撮像部（１００）が取得した撮像画像の被写体情報の少なくともいずれかからなるようにしてもよい。
【００１６】
上記の構成において、上記撮像装置（１）は、手ぶれ補正部（４０４）をさらに備え、上記撮像情報は、上記撮像部（１００）のズーム倍率、上記撮像部（１００）のパンの大きさ、上記撮像部（１００）のチルトの大きさ、上記撮像部（１００）が取得した前記撮像画像のホワイトバランス、又は前記手ぶれ補正部（４０４）が行う手ぶれ補正の大きさの少なくとも何れか一つに関する情報に基づくようにしてもよい。
【００１７】
上記の構成において、上記撮像装置（１）は、顔検出部（４０２）をさらに備え、前記被写体情報は、前記顔検出部（４０２）による前記撮像画像からの顔検出の結果に基づくものであるようにしてもよい。
【００１８】
また、本発明は、撮像部（１００）が撮像した被写体の撮像画像について、その撮像の上手さに関する情報を算出する処理と、前記撮像の上手さに関する情報を外部機器に送信する処理とをコンピュータに実行させるプログラムを提供する。
【００１９】
上記の構成において、上記プログラムは、さらに外部機器が撮像した撮像画像についての撮像の上手さ情報を受信する処理と、前記撮像部が撮像した撮像画像、前記上手さ情報を算出する処理で算出された撮像の上手さに関する情報、及び前記外部機器が撮像した撮像画像についての撮像の上手さ情報を受信する処理する処理で受信した撮像の上手さに関する情報とを関連付けて記録する処理とさらに実行させるようにしてもよい。
【発明の効果】
【００２０】
本発明に係る撮像装置及びプログラムによれば、複数のユーザが撮像した動画像データを共有する場合に、撮像データではなく、撮像の上手さを示す情報のみを共有することで、撮像時の共有に係る各種処理の負担及び記録容量の圧迫を低減することができる。
【００２１】
また、本発明に係る撮像装置及びプログラムによれば、ユーザ自らが撮像した撮像データに、他のユーザが撮像した撮像データから算出した撮像の上手さを示す情報を関連付けて記録することで、その他のユーザが撮像した撮像データから必要なシーンのみをより簡便に特定することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施形態に係る撮像装置（デジタルビデオカメラ）１の内部構成の例を示すブロック図である。
【図２】本実施形態に係る撮像装置１を含む無線通信ネットワークシステムの構成例を示す図である。
【図３】撮像装置１が上手さ情報を算出する処理を説明するためのフローチャートである。
【図４】顔画像データのサイズの算出について説明するための図である。
【図５】上手さ情報について説明するための図である。
【図６】複数の撮像装置間がそれぞれ算出した上手さ情報を互いに共有する処理について説明するためのフローチャートである。
【図７】グループ化の対象とした全機器が撮像を開始する前にグループ化する場合の例について説明するための図である。
【図８】撮像装置１が撮像を開始し撮像中であった場合に、撮像装置２とグループ化する例について説明するための図である。
【図９】撮像装置１及び撮像装置２が撮像を開始し撮像中であった場合に、撮像装置３とグループ化する例について説明するための図である。
【図１０】撮像装置２が撮像装置１とのグループ化を解除した場合の例について説明するための図である。
【図１１】撮像装置１が撮像装置２及び撮像装置３とのグループ化を解除した場合の例について説明するための図である。
【図１２】グループ化した全機器のグループ化を同時に解除する場合について説明するための図である。
【図１３】共有された上手さ情報の視覚化表示の例を説明するための図である。
【発明を実施するための形態】
【００２３】
以下に図面を参照しながら、本発明に係る撮像装置及びプログラムの好適な実施形態を説明する。かかる実施形態に示す具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００２４】
図１は、本発明の実施形態に係る撮像装置（デジタルビデオカメラ）１の内部構成の例を示すブロック図である。撮像装置１は動画像及び静止画像を撮像することができる。
なお、本発明は、動画像を撮像できるものであれば、いわゆるコンパクトデジタルカメラ等のデジタルスチルカメラをはじめ、携帯電話、ＰＨＳ（Personal Handyphone System）、ＰＤＡ（Personal Digital Assistant）等、その他の電子機器においても採用することができる。
【００２５】
中央制御部４００はＣＰＵ、各種プログラムが格納されたＲＯＭ、及びワークエリアとしてのＲＡＭ等を含む半導体集積回路により構成され、撮像、各種画像の表示、及び記録、並びに後述する撮像の上手さを示す情報の算出、当該情報の他の機器との共有と記録等の撮像装置１全体の処理を統括的に制御する。
【００２６】
撮像装置１は、ズームレンズ１０１、フォーカスレンズ１０２、絞り１０３、及び撮像素子１０４で構成される撮像部１００を有する。ズームレンズ１０１は図示しないズームアクチュエータによって光軸ＬＡに沿って移動する。同様に、フォーカスレンズ１０２は、図示しないフォーカスアクチュエータによって光軸ＬＡに沿って移動する。絞り１０３は、図示しない絞りアクチュエータに駆動されて動作する。撮像素子１０４は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等で構成される。
【００２７】
撮像装置１を用いた撮像は以下の手順で行われる。撮像素子１０４はズームレンズ１０１、フォーカスレンズ１０２、及び絞り１０３を通過した光を光電変換して、被写体のアナログ画像信号を生成する。
アナログ画像信号処理部１０５が、このアナログ画像信号を増幅した後、画像Ａ／Ｄ変換部１０６が、その増幅された信号をデジタル画像データに変換する。画像入力コントローラ１０７は、画像Ａ／Ｄ変換部１０６から出力されたデジタル画像データを撮像データとして取り込んで、バス２００を介してメインメモリ２０６に格納する。
【００２８】
デジタル信号処理部１０８は、バス２００を介して中央制御部４００からの指令に基づき、メインメモリ２０６に格納された撮像データを取り込み、所定の信号処理を施して輝度信号と色差信号とからなるデータを生成する。デジタル信号処理部１０８はまた、オフセット処理、ホワイトバランス調整処理、ガンマ補正処理、ＲＧＢ補完処理、ノイズ低減処理、輪郭補正処理、色調補正処理、光源種別判定処理等の各種デジタル補正を行う。
【００２９】
マイク１０９は撮像時の周囲の音声を周音し、アナログ音声信号を生成する。アナログ音声信号処理部１１０がそのアナログ音声信号を増幅した後、音声Ａ／Ｄ変換部１１１が、その増幅された信号をデジタル音声データに変換する。音声入力コントローラ１１２は、音声Ａ／Ｄ変換部１１１から出力されたデジタル音声データを撮像データと併せてメインメモリ２０６に格納する。
【００３０】
多重化部１１３は、メインメモリ２０６に格納された撮像データ及びデジタル音声データを多重化しストリームデータを生成する。
【００３１】
圧縮・伸長処理部２０１は、バス２００を介して中央制御部４００からの指示に従い、メインメモリ２０６に格納されたストリームデータに所定の圧縮処理を施し、圧縮データを生成する。また、中央制御部４００からの指令に従い、カード型記録媒体３０２等に格納された圧縮データに所定形式の伸張処理を施し、非圧縮データを生成する。
なお、本実施の形態の撮像装置１では、静止画像に対してはＪＰＥＧ規格に準拠した圧縮方式が、動画像に対してはＭＰＥＧ２規格やＡＶＣ／Ｈ．２６４規格に準拠した圧縮方式が採用される。
【００３２】
音声・画像処理部２０２は、バス２００を介して中央制御部４００の指示に従い、メインメモリ２０６から読み出したデジタルデータに所定の画像処理を施す。例えばメニュー画像やＯＳＤ画像等、各種処理のための画像データを生成し、その画像データをメインメモリ２０６から読み出されたオリジナルの撮像データに重畳させて液晶モニタ３０４に出力する。この出力によって、液晶モニタ３０４に表示される画像は各種画像データが合成されたものとなる。
【００３３】
ＲＯＭ２０３はバス２００を介して中央制御部４００に接続されており、中央制御部１００が実行する制御プログラム及び制御に必要な各種データ等を格納している。フラッシュＲＯＭ２０４は、ユーザの設定情報等、撮像装置１の動作に関する各種設定情報を格納している。撮像装置１は、様々な撮像のシチュエーションに応じて、いくつかの撮像モードと、各モードにあわせた撮像条件の設定を予めフラッシュＲＯＭ２０４に記憶している。そして、ユーザは撮像を開始する前に、各モードの中から最適なモードを選択することにより、最適な撮像条件で撮像を実施することができる。例えば、特定の人物の撮像に適した「ポートレートモード」、運動会等の撮像に適した「スポーツモード」、又は夜景等の暗い場所の撮像に適した「夜景モード」等である。
【００３４】
ＶＲＡＭ２０５は、表示用の画像データの一時記憶領域として使用される。メインメモリ２０６は、各種画像データの一時記憶領域として使用されるとともに、中央制御部１００の演算作業領域としても使用される。
【００３５】
メディア制御部２０７は、中央制御部４００の指令に従い、カードＩ／Ｆ３０１を通じてカード型記録媒体３０２へのデータの書き込みやデータの読み出しを制御する。
【００３６】
ジャイロセンサ２０８は、３軸の加速度及び角速度の変化を検出し、撮像装置１のパン・チルト量や上下及び左右の手ぶれ量を検出する。時計２０９は、撮像データの取得日時の情報を生成し、また後述する撮像の上手さを示す情報を他の機器と共有する際の、タイムスタンプの共有に使用される。
【００３７】
液晶モニタ３０４、スピーカ３０５、操作部３０６及び入出力端子３０７は入出力Ｉ／Ｆ３０３に接続されている。液晶モニタ３０４は、例えばＶＲＡＭ２０５やメインメモリ２０６に一時記録された撮像データや各種メニュー画像データ等、各種画像データから生成された画像を表示する。スピーカ３０５は、例えばメインメモリ２０５に一時記録された音声を出力する。操作部３０６は、図示しないリレーズ・スイッチや電源スイッチを含む操作キー、十字キー、ジョイスティック、又は液晶モニタ３０４上に重畳されたタッチパネル等から構成されており、ユーザの撮像装置１への操作入力を受け付ける。入出力端子３０７は、図示しないテレビモニタやＰＣ（Personal Computer）等に接続される。
【００３８】
無線通信部３０９は、バス２００及び無線Ｉ／Ｆ３０８を介して、後述する顔画像登録部４０７に登録された顔画像データや撮像の上手さを示す情報等を外部機器との間で送受信する。また、撮像装置１を外部機器とグループ化する際の、グループ化に関する情報の送受信を行う。各種情報及び撮像データ等の無線通信はＩＥＥＥ８０２．１１規格に準拠した方式で行われる。
【００３９】
図２は、本実施形態に係る撮像装置１を含む無線通信ネットワークシステムの構成例を示す図である。図２では、撮像装置１は、外部装置である撮像装置（デジタルビデオカメラ）２や撮像装置（デジタルスチルカメラ）３と無線通信可能となっている。なお、撮像装置２及び撮像装置３とは、撮像装置１と基本的な構成は同様である。これらの機器同士がそれぞれ共通の無線接続情報を記憶しており、その無線接続情報に基づいて各機器間の接続動作を行う。
【００４０】
中央制御部４００はまた、後述する撮像の上手さを示す情報の算出処理において、撮像情報取得部４０１、顔検出部４０２、顔認識部４０３、手ぶれ補正部４０４、及び上手さ情報算出部４０５として機能する。
【００４１】
撮像情報取得部４０１は、バス２００を介して、音声・画像処理部２０２から撮像データのホワイトバランスの調整度合いに関する情報を撮像情報の一種として取得する。また、撮像情報取得部４０１は、上述したズームレンズ１０１を駆動する図示しないズームアクチュエータからズームの変更度合いに関する情報や、ジャイロセンサ２０８等から撮像装置１のパンやチルトの度合いに関する情報を、撮像情報として取得する。
【００４２】
顔検出部４０２は、メインメモリ２０６に一時記憶された撮像データから、人物の顔画像データを検出する。顔認識部４０３は、顔検出部４０２が検出した顔画像データと、顔画像登録部４０７に予め登録されている人物の顔画像データとを照合し、検出された顔画像データを有する人物が何者であるかを認識する、
【００４３】
手ぶれ補正部４０４は、ジャイロセンサ２０８の出力に応じて、撮像画像にいわゆる電子的な手ぶれ補正や光学的な手ぶれ補正を実施する。
【００４４】
上手さ情報算出部は、撮像情報取得部４０１が取得した撮像情報、顔検出部４０２による顔検出の結果、顔認識部４０３による顔認識の結果、及び手ぶれ補正部４０４による手ぶれ補正の結果等から、撮像の上手さを示す情報を算出する。
【００４５】
中央制御部４００はまた、上手さ情報算出部４０５が算出した撮像の上手さを示す情報を他の撮像装置を始めとした外部機器と共有する際に、撮像装置１とその外部機器とを共有を実施するグループとするグループ化の処理を実施するグループ化部４０６としても機能する。
【００４６】
グループ化部４０６は、無線モジュール３０９により送受信した、グループ化に関する情報をもとに、撮像装置１と外部機器とを撮像の上手さ情報の共有のためのグループにする。
【００４７】
＜撮像の上手さを示す情報の算出処理＞
図３は、撮像装置１が撮像の上手さを示す情報（以下、単に「上手さ情報」という。）を算出する処理を説明するためのフローチャートである。
【００４８】
ユーザが操作部３０６の図示しない録画ボタンを押下すると、ズームレンズ１０１、フォーカスレンズ１０２、絞り１０３、及び撮像素子１０４を介して風景や被写体の画像が、及びマイク１０９を介して周囲の音声が取得され、撮像が開始される（ステップＳ１０１）。そして取得された画像及び音声は、撮像データ及びデジタル音声データとしてメインメモリ２０６への一時記憶が開始される（ステップＳ１０３）。
【００４９】
ステップＳ１０２で撮像データ等の一時記憶が開始されると、上手さ情報算出部４０５は、上手さ情報を算出する（ステップ１０４）。上手さ情報は、ホワイトバランスの調整度合い、ズームの変更度合い、パン及びチルトの度合い、顔検出の結果、撮像画像中の顔画像のサイズ、顔認識の結果及び手ぶれ補正等の結果等の各種パラメータを算出し、それらパラメータを加算等することにより算出される。なお、上手さ情報の算出に使用する上記各種のパラメータは例示に過ぎず、その他撮像の上手さを図る指標となりうるものであれば、全て採用可能である。
【００５０】
まず、ホワイトバランスの調整度合いに基づくパラメータをＦ１、ズームの変更度合いに基づくパラメータをＦ２、パン及びチルトの度合いに基づくパラメータをＦ３、顔検出の結果に基づくパラメータをＦ４、撮像画像中の顔画像のサイズに基づくパラメータをＦ５、顔認識の結果に基づくパラメータをＦ６、そして手ぶれ補正に基づくパラメータをＦ７とし、以下にそれぞれのパラメータの算出方法を説明する。
【００５１】
＜ホワイトバランスの調整度合いに基づくパラメータ：Ｆ１＞
ホワイトバランスの調整度合いに基づくパラメータは、例えば以下のようにして行われる。音声・画像処理部２０２は、既知の各種方法により、メインメモリ２０６に一時記憶された撮像データから、色温度を算出し、この算出された色温度に応じて撮像データのホワイトバランスを調整する。撮像情報取得部４０１は、音声・画像処理部２０２がこの調整を実施している時間Ｔｗを取得する。
【００５２】
撮像情報取得部４０１がＴｗを取得すると、上手さ情報算出部４０５は以下の数式１から、ホワイトバランスの調整度合いに基づくパラメータＦ１を算出する。なお、数式１及び後述する各数式におけるＰＴは、予め定められた時間（例えば、２０秒）であり、フラッシュＲＯＭ２０４に記録されている値である。ユーザは、この値を操作部３０６の図示しないボタン等を使って変更することもできる。
(数１)
Ｆ１＝Ｔｗ／ＰＴ ・・・（数式１）
【００５３】
以上により、撮像データの所定の時間あたりのホワイトバランスの自動調整が行われた時間の割合を算出し、この割合を上手さ情報を示すパラメータの一つとして算出することができる。このＦ１は最終的に算出される上手さ情報において、他のパラメータから減算されることになる。これによって調整の行われていない、より自然な色で撮像されている撮像データの上手さ情報を高い値とすることができる。
【００５４】
＜ズームの変更度合いに基づくパラメータ：Ｆ２＞
ズームの変更度合いに基づくパラメータＦ２の算出は、例えば以下のようにして行われる。ズームレンズ１０２の図示しないズームアクチュエータが駆動すると、撮像情報取得部４０１は、その駆動時間Ｔｚを取得する。
【００５５】
撮像情報取得部４０１がＴｚを取得すると、上手さ情報算出部４０５は以下の数式２から、ズームに基づくパラメータＦ２を算出する。なお、数式２におけるＰＴは予め定められた時間（例えば、２０秒）であり、上記数式１と同じ値が採用される。
(数２)
Ｆ２＝Ｔｚ／ＰＴ ・・・（数式２）
【００５６】
以上により、撮像データの所定の時間あたりのズーム倍率の変更が行われた時間の割合を算出し、この割合を上手さ情報を示すパラメータの一つとして利用することができる。ズーム倍率が変更されている時間は、ユーザが被写体を望ましい倍率で捉え切れていない時間帯と考えられる。このＦ２が、最終的に算出される上手さ情報において、他のパラメータから減算されることで、ズーム倍率が固定された、ユーザが被写体画像を意図する倍率に捉えた後の撮像データの上手さ情報を高い値とすることができる。
【００５７】
＜パン又はチルトの度合いに基づくパラメータ：Ｆ３＞
撮像情報取得部４０１は、ジャイロセンサ２０８の出力等からユーザが撮像装置１をパン又はチルトしている時間Ｔｐを取得する。
【００５８】
撮像情報取得部４０１がＴｐを取得すると、上手さ情報算出部４０５は以下の数式３から、パン又はチルトの度合いに基づく上手さ情報Ｆ３を算出する。なお、数式３におけるＰＴは予め定められた時間（例えば、２０秒）であり、上記数式１と同じ値が採用される。
(数３)
Ｆ３＝Ｔｐ／ＰＴ ・・・（数式３）
【００５９】
以上により、撮像データの所定の時間あたりのパン又はチルトが行われた時間の割合を算出し、この割合を上手さ情報を示すパラメータの一つとして利用することができる。パン又はチルトが行われている時間は、ユーザが被写体を完全に捉え切れていない時間帯とも考えられる。このＦ３が、最終的に算出される上手さ情報において、他のパラメータから減算されることになり、パン又はチルトが行われた後の、すなわちユーザが意図する被写体を捉えた後の撮像データの上手さ情報を高い値とすることができる。
【００６０】
＜顔検出に基づくパラメータ：Ｆ４＞
顔検出部４０２は、ステップＳ１０２でメインメモリ２０６に一時記憶された撮像データから、人物の顔画像データを検出する。例えば、顔検出部４０２は、顔全体の輪郭または目、口、鼻、耳等の顔の構成要素から特徴長を算出し、その特徴量に基づくテンプレートマッチングによって顔を検出する。または、顔検出部４０２は、肌の色に近い領域を検出し、その領域を顔として検出してもよい。さらに、顔検出部４０２は、ニューラルネットワークを使って教師信号による学習を行い、顔らしいと判断した領域を顔として検出したり、顔を検出する既存の他の技術を用いたりしてもよい。
【００６１】
顔検出部４０２が撮像データから顔画像データを検出すると、上手さ情報算出部４０５は、顔検出部４０２が顔画像データを検出している時間Ｔｆを算出し、以下の数式４から、顔検出に基づくパラメータＦ４を算出する。
(数４)
Ｆ４＝Ｔｆ／ＰＴ ・・・（数式４）
【００６２】
以上により、撮像データの所定の時間あたりの顔画像データの検出されている時間の割合を算出し、この割合を上手さ情報を示すパラメータの一つとして利用することができる。撮像装置１のようなデジタルビデオカメラを用いた撮像では、被写体として人物を撮像することが多いと考えられる。このＦ４が、最終的に算出される上手さ情報において、他のパラメータから加算されることになり、ユーザが被写体となる人物を捉えている撮像データの上手さ情報を高い値とすることができる。
【００６３】
＜撮像画像中の顔画像のサイズに基づくパラメータ：Ｆ５＞
検出部４０２が上述のようにして、撮像データから被写体となる人物の顔画像データを検出すると、上手さ情報算出部４０５は、検出されている顔画像データの大きさが、撮像画像データ全体の大きさに占める割合を算出し、この算出された割合が所定の範囲内（例えば、３０％〜７０％）にある時間Ｔｓを算出する。
【００６４】
顔画像データの大きさは、既知の方法、例えば特開２０００−３３９４７６号公報等に記載された方法に基づき、顔画像の領域を特定することで行われる。すなわち、図４に示すように上手さ情報算出部４０５は先ず顔検出部４０２が検出した顔画像データの中心線ｆｃを特定する。この中心線ｆｃの特定は顔画像データ中の左右の画素値の対象性が高いｘ座標を求めることで行われる。
【００６５】
顔画像データの中心線が特定されると、顔画像の濃淡からｘ方向及びｙ方向のエッジを強調したｘ方向エッジ情報とｙ方向エッジ情報が算出される。そして、上手さ情報算出部４０５は先ずｘ方向エッジ情報をｘ方向に投影加算処理し、ｘ方向エッジ投影ヒストグラムＸＨＧを求める。顔画像データの場合、ｘ方向のエッジは通常顔の輪郭の部分の多くに現れる。上手さ情報算出部４０５は、ｘ方向エッジ投影ヒストグラムＸＨＧの値の高いところを顔中心線から左右方向に探索し、顔画像の領域の横幅Ｗhを決定する。
【００６６】
横幅Ｗhが決定されると、ｙ方法エッジ情報をｙ方向に投影加算処理し、ｙ方向エッジ投影ヒストグラムＹＨＧを求める。顔の縦幅を決定する場合、目の付近にｙ方向エッジが集中的に現れ、その下の頬の部分にはｙ方向エッジがほとんど現れないことを利用して、目のｙ座標候補位置を検出し、その目のｙ座標候補と横エッジ投影ヒストグラムＨＨＧから顔画像の領域の縦幅Ｗvを決定する。以上のようにして、横幅Ｗh及び縦幅Ｗvから顔画像データの大きさが算出される。
【００６７】
そして、上手さ情報算出部４０５は、以下の数式５から、撮像画像中の顔画像のサイズに基づくパラメータＦ５を算出する。
(数５)
Ｆ５＝Ｔｓ／ＰＴ ・・・（数式５）
【００６８】
以上により、撮像データの所定の時間あたりにおける、検出されている顔画像データの大きさが、撮像画像データ全体の大きさに占める割合が所定の範囲となっている時間の割合を算出し、この割合を上手さ情報を示すパラメータの一つとして利用することができる。撮像装置１のようなデジタルビデオカメラを用いた撮像では、被写体として人物を撮像することが多いと考えられるが、さらに被写体を小さすぎず、また大きすぎず撮像できている場合は、撮像が上手く行われていると考えられる。このＦ５が、最終的に算出される上手さ情報において、他のパラメータから加算されることになり、ユーザが被写体となる人物を上手く捉えている撮像データの上手さ情報を高い値とすることができる。
【００６９】
＜顔認識の結果に基づくパラメータ：Ｆ６＞
検出部４０２が上述のようにして、撮像データから被写体となる人物の顔画像データを検出すると、顔認識部４０３は検出された顔画像データと、顔画像登録部４０７に予め登録された顔画像データと照合する。そして、顔認識部４０３は、検出された顔画像データと、顔画像登録部４０７に予め登録された顔画像データとが一致する場合は、検出された顔画像データは、予め登録された人物のものであると認識する。上手さ情報算出部４０５は、顔認識部４０３がこの認識を行っている時間Ｔｒを算出する。
【００７０】
そして、上手さ情報算出部４０５は、以下の数式６から、顔認識の結果に基づくパラメータＦ６を算出する。
(数６)
Ｆ６＝Ｔｒ／ＰＴ ・・・（数式６）
【００７１】
以上により、撮像データの所定の時間あたりにおける、予め顔画像データが登録された人物の顔画像データが検出されている時間の割合を算出し、この割合を上手さ情報を示すパラメータの一つとして利用することができる。予め顔画像データが登録されているような人物は、ユーザにとって重要な被写体である可能性が高いと考えられる。このＦ６が、最終的に算出される上手さ情報において、他のパラメータから加算されることになり、ユーザが重要な被写体となる人物を捉えている撮像データの上手さ情報を高い値とすることができる。
【００７２】
なお、顔認識の結果に基づくパラメータを算出するにあたり、各機器のユーザは互いの機器の顔画像データの登録内容を共有しておくことが有効である。すなわち、無線モジュール３０９を解して、互いの顔画像登録部４０７に登録されている顔画像データを全て共有し、共有された全ての顔画像データに基づいて本パラメータを算出する、または互いの顔画像登録部４０７に登録されている顔画像データで共通するデータを特定し、特定された顔画像データのみに基づいて本パラメータを算出するようにするとよい。
【００７３】
以上のようにすることで、上手さ情報を算出する際の本パラメータの値の基準を統一することができる。また、ユーザが所有する撮像装置１にのみ登録されている人物の顔画像を、他のユーザが所有する撮像装置２が撮像している場合に、その撮像装置２の撮像データに係る上手さ情報が、撮像装置１のユーザにとっても有用なものとなる。
【００７４】
＜手ぶれ補正に基づくパラメータ：Ｆ７＞
手ぶれ補正部４０４は、ジャイロセンサ２０８の出力に応じて、いわゆる電子的な手ぶれ補正及び光学的な手ぶれ補正を、既知の方法により実施する。上手さ情報算出部４０５は、手ぶれ補正部４０４が手ぶれ補正を実施している時間Ｔｍを算出し、以下の数式７から、手ぶれ補正に基づくパラメータＦ７を算出する。
(数７)
Ｆ７＝Ｔｍ／ＰＴ ・・・（数式７）
【００７５】
以上により、撮像データの所定の時間あたりの手ぶれ補正が行われた時間の割合を算出し、この割合を上手さ情報を示すパラメータの一つとして利用することができる。手ぶれ補正が行われている時間は、ユーザが手ぶれを起こし、撮像自体は上手く行えていない可能性がある。このＦ７が、最終的に算出される上手さ情報において、他のパラメータから減算されることになり、手ぶれ補正が行われていない、上手く撮像された撮像データの上手さ情報を高い値とすることができる。
【００７６】
＜各パラメータに基づく上手さ情報の算出処理＞
上手さ情報算出部４０５は、上述のようにして、ホワイトバランスの調整度合いに基づくパラメータＦ１、ズームの変更度合いに基づくパラメータＦ２、パン及びチルトの度合いに基づくパラメータＦ３、顔検出の結果に基づくパラメータＦ４、撮像画像中の顔画像のサイズに基づくパラメータＦ５、顔認識の結果に基づくパラメータＦ６、及び手ぶれ補正に基づくパラメータＦ７を算出すると、以下の数式８のようにして、各パラメータを加算し、上手さ情報Ｐを算出する。
(数８)
Ｐ＝−ｎ１Ｆ１−ｎ２Ｆ２−ｎ３Ｆ３＋ｎ４Ｆ４＋ｎ５Ｆ５＋ｎ６Ｆ６−ｎ７Ｆ７
・・・（数式８）
【００７７】
ここで、ｎ１からｎ７までの各ｎｘ（ｘ＝１〜７）は、各パラメータの重み付けのための係数であり、各値をユーザが操作部３０６の図示しないボタン等を用いて設定することができる。なお、ここではｎｘは全てゼロ以上の整数である。設定された値はフラッシュＲＯＭ２０４に記憶される。また、全てのパラメータを使用するのではなく、ユーザが事前に選択した一部のパラメータのみを使用するようにしてもよい。
【００７８】
また、ｎ１からｎ７までの各ｎｘの値や関係を、フラッシュＲＯＭ２０４が記憶している各種撮像モードに応じて、予め設定されるようにしてもよい。例えば、運動会等を撮像するスポーツモードでは、激しく動く特定の人物を、他の人物の中から判別して撮像を行う必要がある。そこで、顔検出の結果に基づくパラメータＦ４の重み付け係数ｎ４、及び顔認識の結果に基づくパラメータＦ６の重み付け係数ｎ６を他のパラメータの重み付け係数より大きくするとともに、被写体を追従した撮像が必要になることから、パンやチルトが激しく行われることを想定し、パン及びチルトの度合いに基づくパラメータＦ３の重み付け係数ｎ３をゼロにする等のアレンジが考えられる。
【００７９】
また、暗い環境で撮像が行われる夜景モードでは、撮像素子１０４のシャッタスピードが落ちることから、手ぶれが起こりやすくなる。そこで、手ぶれ補正に基づくパラメータＦ７の重み付け係数ｎ７を他のパラメータの重み付け係数よりも大きくする等のアレンジが考えられる。
【００８０】
図３に戻り、ステップＳ１０３で撮像の上手さ情報が算出されると、取得された撮像データと算出された上手さ情報とが、関連付けられて入出力Ｉ／Ｆから出力され、カード型記録媒体３０２に記録される（ステップＳ１０４）。この時、例えば、中央制御部４００は、時計２０９の出力を利用して撮像データと上手さ情報のタイムスタンプを共通にする関連付けを行う。そして、撮像データは音声データとともに多重化部１１３に多重化され、圧縮・伸長処理部２０１に圧縮されてカード型記録媒体３０２に記録される。上手さ情報は、例えばメタデータとして、撮像データに係るストリームデータとは別にカード型記録媒体３０２に記録される。
【００８１】
ユーザが操作部３０６の図示しない録画ボタンを離すと（ステップＳ１０５でＹＥＳ）、撮像の終了とともに、上手さ情報の算出の処理を終了する。ユーザが操作部３０６の図示しない録画釦を離さず、押下し続けた場合は（ステップＳ１０５でＮＯ）、ステップＳ１０２に戻り、撮像と当該算出処理が継続される。
【００８２】
図５に、算出された上手さ情報を説明するための概念図を示す。図５では、撮像装置１には上手さ情報を算出するための所定時間ＰＴとして、２０秒の期間が設定されている。ユーザがｔ１の時点で録画ボタンを押下し、４０秒後に録画ボタンを離すまで、つまりｔ３までの期間、撮像を行ったとする。この場合の上手さ情報は、ｔ１の０秒からｔ２の２０秒までの間の値が１．２０、そしてｔ２の２０秒からｔ３の４０秒までの間の値が０．６０として算出される。そして、この上手さ情報が、ｔ１からｔ３までの間の録画（撮像）で生成された撮像データと関連付けられたメタデータとして記録されることとなる。
【００８３】
次にユーザが、最初に録画釦を押下してから５０秒後のｔ４のタイミングで再度録画ボタンを押下し、３０秒後に録画ボタンを離すまで、つまりｔ６までの期間、撮像を行ったとする。この場合、所定の期間である２０秒間に相当するｔ４からｔ５までの期間の撮像については、上記で詳述したようにして上手さ情報が算出される。例えば、その上手さ情報は２．４０とする。
【００８４】
ここで、ｔ５からｔ６までの間は１０秒間しかなく、上手さ情報を算出するためのＰＴである２０秒間に満たない。この場合は、上手さ情報を算出するに足る撮像データが不足するとして、上手さ情報を算出しないようにしても良いし、ｔ５からｔ６の期間のみ、ＰＴを１０秒として上手さ情報を算出しても良い。ここでは、ＰＴを１０秒として上手さ情報を算出したものとする。これらは、ユーザが操作部３０６の図示しないボタン等を用いて任意に選択し、設定することができるものとする。
【００８５】
＜上手さ情報の共有処理＞
次に、複数の撮像装置間がそれぞれ算出した上手さ情報を、各撮像装置が互いに共有する処理について、図６に示したフローチャートを参照して説明する。ここでは、図２に示した撮像装置（デジタルビデオカメラ）１が、撮像装置（デジタルビデオカメラ）２及び撮像装置（デジタルスチルカメラ）３と、互いに上手さ情報を共有する場合を例に挙げて説明する。
【００８６】
撮像装置１のグループ化部４０６は、無線モジュール３０９を介して、グループ化の要求に関する情報を所定の範囲に送信し、グループ化可能な外部機器を探索する（ステップＳ２０１）。そして、撮像装置２及び撮像装置３が当該所定の範囲内にある場合は、当該撮像装置２等は撮像装置１から送信されたグループ化の要求に関する情報を受信するとともに、撮像装置１にグループ化の承認に関する情報を送信する。同様に撮像装置２又は撮像装置３も、撮像装置１にグループ化の要求に関する情報を送信し、撮像装置１からグループ化の承認に関する情報を受信する。
【００８７】
上記のようにして、各撮像装置はグループ化の要求に関する情報等を送受信し、グループが生成される（ステップＳ２０２）。ここで、撮像装置１等はグループ化の要求に関する情報を無線モジュール３０９から受信すると、当該情報の送信元となる外部機器（ここでは撮像装置２及び３）の情報を液晶モニタ３０４に表示し、ユーザは当該表示モニタ上に形成された操作部３０６としてのタッチパネルを押圧する等して、グループ化の対象とする外部機器を取捨選択できるようにしてもよい。
【００８８】
また、グループが生成されると、対象となる機器間で、上手さ情報に使用するパラメータの種類と、各パラメータに用いられる重み付け係数の値が共有される。これにより、同じ基準で算出された上手さ情報を共有することが可能となる。また、このグループ化の際に、顔画像登録部４０７に登録された顔画像データに関する情報を共有することもできる。これにより、例えば撮像装置１には登録がなく、撮像装置２にのみ登録がある顔画像データを有する被写体を撮像装置１が撮像した場合に、その撮像データ及び算出された上手さ情報を撮像装置２のユーザにとって有意義なものとすることができる。
【００８９】
ステップＳ２０２でグループが生成されると、次にグループ化部４０６は、グループ化の対象とした外部機器がすでに撮像を開始し、撮像中であるかどうかを判定する（ステップＳ２０３）。以下に、全ての機器が撮像中ではなく、事前に全機種をグループ化した場合と、一部の機器が撮像を開始しており撮像中であった場合とに、場合分けして説明する。
【００９０】
全ての機器が撮像中ではなく事前に全機種をグループ化した場合、すなわちグループ化の対象とした機器が全て撮像を開始していなかった場合は（ステップＳ２０３でＮＯ）、グループ化以降に取得された撮像データ及び上手さ情報を共有するため、各撮像装置の時間基準を統一すべく共通のタイムスタンプの設定が行われる（ステップＳ２０５）。
【００９１】
図７に、この場合の例について説明する概念図を示す。撮像装置１、撮像装置２、及び撮像装置３は、ｔＧの時点でグループ化されたとする。この場合、生成されたグループが解除されるまでの間、各撮像装置の撮像データに係る上手さ情報は全て共有の対象となる。
【００９２】
すなわち、図７において、撮像装置１が取得する、ｔ１の時点からｔ４の時点までの４０秒間の撮像データ、ｔ５の時点からｔ７の時点までの３０秒間の撮像データ、及びｔ６の時点以降の撮像データに係る上手さ情報が撮像装置２及び撮像装置３への送信対象、つまり共有対象となる。また、撮像装置２が取得する、ｔ２の時点からｔ５の時点までの撮像データ、及びｔ６の時点以降の撮像データに係る上手さ情報が撮像装置１及び撮像装置３への送信対象、つまり共有対象となる。そして、撮像装置３が取得する、ｔ３の時点からｔ６の時点までの４０秒間の撮像データ、及びｔ６の時点以降の撮像データに係る上手さ情報が撮像装置１及び撮像装置２への送信対象、つまり共有対象となる。
【００９３】
グループ化の対象とした機器の一部が撮像を開始し、撮像中であった場合は（ステップＳ２０３でＹＥＳ）、撮像中である撮像装置の撮像データの一部を対象から除外し、共通のタイムスタンプをオフセットする（ステップＳ２０４）。
【００９４】
図８に、撮像装置１が撮像を開始し撮像中であった場合に、撮像装置２とグループ化する例について説明するための概念図を示す。ここで撮像装置１と撮像装置２とは、ｔＧの時点でステップＳ２０２のグループ化の処理を完了したとする。このとき、撮像装置１はｔ１の時点からすでに撮像を開始している。この場合は、撮像装置１は、ｔ１の時点からｔ３の時点までの２０秒間の撮像データに係る上手さ情報は、上手さ情報は１．８０として算出されているが、撮像装置２には共有せず、ｔＧの時点を基準として、共通のタイムスタンプを生成し（ステップＳ２０５）、次の所定の期間である２０秒間の撮像期間、すなわちｔ３の時点からｔ４の時点までの期間の撮像データに係る上手さ情報から撮像装置２との共有対象とする。
【００９５】
すなわち、撮像装置１は、ｔ３の時点からｔ４の時点までの２０秒間の撮像データ、ｔ５の時点からｔ７の時点までの３０秒間の撮像データ、及びｔ８の時点以降の撮像データに係る上手さ情報を撮像装置２に送信することになる。
【００９６】
そして、撮像装置２は、グループ化を行ったｔＧ以降の撮像データ、すなわちｔ２の時点からｔ５の時点までの４０秒間の撮像データ、及びｔ６の時点以降の撮像データに係る上手さ情報を撮像装置１に送信することになる。
【００９７】
次に、図９に、撮像装置１及び撮像装置２が撮像を開始し撮像中であった場合に、撮像装置３とグループ化する例について説明するための概念図を示す。ここで撮像装置１と撮像装置２とは、上述のようにして、すでにステップＳ２０２のグループ化の処理を完了し、撮像装置３はｔＧの時点で当該グループに加わったものとする。
【００９８】
撮像装置１はｔ１の時点ですでに撮像を開始している。この場合は、撮像装置１は、ｔ１の時点からｔ４の時点までの２０秒間の撮像データに係る上手さ情報は、撮像装置３には共有せず、ｔ３の時点から共通のタイムスタンプを生成し（ステップＳ２０５）、次の所定の期間である２０秒間の撮像期間、すなわちｔ４の時点からｔ６の時点までの期間の撮像データに係る上手さ情報から、撮像装置３との共有対象とする。
【００９９】
すなわち、撮像装置１は、ｔ４の時点からｔ６の時点までの２０秒間の撮像データ、ｔ７の時点からｔ９の時点までの３０秒間の撮像データ、及びｔ１０の時点以降の撮像データに係る上手さ情報を撮像装置３に送信することになる。
【０１００】
また、撮像装置２はｔ３の時点からすでに撮像を開始している。この場合は、撮像装置２はｔ２の時点からｔ５の時点までの２０秒間の撮像データに係る上手さ情報は、撮像装置３には共有せず、ｔ３の時点から共通のタイムスタンプを生成し（ステップＳ２０５）、次の所定の期間である２０秒間の撮像期間、すなわちｔ５からｔ７までの期間の撮像データに係る上手さ情報から、撮像装置３との共有対象とする。
【０１０１】
すなわち、撮像装置２は、ｔ５の時点からｔ７の時点までの２０秒間の撮像データ、及びｔ８の時点以降の撮像データに係る上手さ情報を撮像装置３に送信することになる。
【０１０２】
そして、撮像装置３は、グループ化を行ったｔ３の時点以降の撮像データ、すなわちｔ３の時点からｔ８の時点までの４０秒間の撮像データ、及びｔ１０の時点以降の撮像データに係る上手さ情報を撮像装置１及び撮像装置２に送信することになる。
【０１０３】
なお、撮像装置１と撮像装置２とが互いに共有する上手さ情報については、前述の図８を参照にした説明と同様であるため、省略する。
【０１０４】
上述のようにして、ステップＳ２０５で、上手さ情報を共有するためのタイムスタンプが生成されると、撮像装置１、撮像装置２、及び撮像装置３はそれぞれ撮像データを取得し、それぞれの撮像データに係る上手さ情報を算出し、カード型記録媒体３０２等に記憶する（ステップＳ２０６）。
【０１０５】
そして、グループ化部４０６は、ステップＳ２０２でグループを生成し、グループ化の対象とした機器のうち、一部の機器がグループを離脱したか否かを判定する（ステップＳ２０７）。グループ化部４０６によるグループの離脱の判断は、グループ化部４０６が、無線モジュール３０９を介して、グループ解除に関する情報を外部機器から受信したか否かに基づいて行われる。
【０１０６】
グループ化部４０６が、無線モジュール３０９を介して、外部機器、例えば撮像装置２から、グループ解除に関する情報を受信すると（ステップＳ２０７でＹＥＳ）、撮像装置１のグループ化部４０６は撮像装置２のグループ解除を承認する処理を実施する（ステップＳ２０８）。すなわち、撮像装置２に対して、無線モジュール３０９から、グループ離脱の承認に関する情報を送信する処理を行う。
【０１０７】
ステップＳ２０８でグループの解除の承認処理が完了すると、撮像装置１は解除する撮像装置２との間で、上手さ情報のみを無線モジュール３０９を介して互いに送受信し、共有する（ステップＳ２０９）。
【０１０８】
この場合の、共有対象となる上手さ情報について説明するための概念図を図１０に示す。ここで、撮像装置２はｔＣの時点で、撮像装置１とのグループ化を解除したものとする。撮像装置１は、ｔＣの時点までの上手さ情報の算出が完了していた期間の上手さ情報を撮像装置２との共有対象とする。すなわち、撮像装置１はｔ１の時点までの撮像データ、ｔ２の時点からｔ４の時点までの撮像データ、及びｔ６の時点からｔ７の時点までの撮像データに係る上手さ情報を撮像装置２との共有対象とする。一方、撮像装置２は、自らがグループ化を解除した時点までに上手さ情報の算出が完了していた期間の上手さ情報を撮像装置１との共有対象とする。すなわち、撮像装置２はｔ３の時点までの撮像データ、及びｔ４の時点からｔ８の時点までの撮像データに係る上手さ情報を撮像装置１との共有対象とする。
【０１０９】
グループ化部４０６が、無線モジュール３０９を介して、外部機器からグループを離脱する旨の情報を受信しなかった場合（ステップＳ２０７でＹＥＳ）、撮像装置１は外部機器である撮像装置２及び撮像装置３にグループの離脱を要請する処理をすることとなる（ステップＳ２１０）。そして、撮像装置１は撮像装置２及び撮像装置３と、上手さ情報のみを無線モジュール３０９を介して互いに送受信し、共有する（ステップＳ２１１）。
【０１１０】
この場合の、共有対象となる上手さ情報について説明するための概念図を図１１に示す。ここで、撮像装置１はｔＣの時点で、撮像装置２及び撮像装置３とのグループ化を解除したものとする。撮像装置２は、ｔＣの時点までの上手さ情報の算出が完了していた期間の上手さ情報を撮像装置１との共有対象とする。すなわち、撮像装置２はｔ３の時点までの撮像データ、及びｔ４の時点からｔ７の時点までの撮像データに係る上手さ情報を撮像装置１との共有対象とする。同じく、撮像装置３は、ｔＣの時点までの上手さ情報の算出が完了していた期間の上手さ情報を撮像装置１との共有対象とする。すなわち、撮像装置２はｔ２の時点からｔ３の時点までの撮像データ、及びｔ４の時点からｔ７の時点までの撮像データに係る上手さ情報を撮像装置１との共有対象とする。
【０１１１】
また、撮像装置１がグループ化を解除すると同時に、他の全ての外部機器、すなわち撮像装置２及び撮像装置３がグループ化を解除する場合の共有対象となる上手さ情報について説明するための概念図を図１２に示す。
【０１１２】
撮像装置１、撮像装置２、及び撮像装置３はｔＣの時点でそれぞれグループ化を解除したとする。この場合、撮像装置１は、ｔ１の時点までの撮像データ、及びｔ３の時点からｔ６の時点までの撮像データに係る上手さ情報を撮像装置２及び撮像装置３との共有対象とする。撮像装置２は、ｔ３の時点までの撮像データ、及びｔ４の時点からｔ７の時点までの撮像データに係る上手さ情報を撮像装置１及び撮像装置３との共有対象とする。そして、撮像装置３は、ｔ１の時点までの撮像データ、ｔ２の時点からｔ４の時点までの撮像データ、及びｔ５の時点からｔ８の時点までの撮像データに係る上手さ情報を撮像装置１及び撮像装置２との共有対象とする。
【０１１３】
ステップＳ２０９又はステップＳ２１１で、上手さ情報の送受信が完了すると、この上手さ情報の共有処理が完了する。
【０１１４】
以上のように、撮像装置１は、撮像データとしての動画像データそのものではなく、自らが算出した撮像データに係る上手さ情報、及び外部機器が算出した撮像データに係る上手さ情報のみを撮像の際に共有することになるので、撮像時の各種データの共有に係る処理の負担及び記録容量の圧迫を大幅に低減することができる。
【０１１５】
＜上手さ情報の記録と表示処理＞
撮像装置１は、上述のようにして外部機器と共有した当該外部機器の撮像データに係る上手さ情報を、自らの撮像データ及び当該撮像データに係る上手さ情報と併せて、メインメモリ２０６に記録し、最終的にカードＩ／Ｆ３０１を介してカード型記録媒体３０２に記録することができる。各上手さ情報は、例えばメタデータとして、撮像装置１の撮像データと関連付けられて記録されている。
【０１１６】
そして、カード型記録媒体３０２に記録された各上手さ情報は、中央制御部４００の指示に基づいて、液晶モニタ３０４又は入出力端子３０７を介して外部の各種モニタ装置に、比較のために視覚化して表示することができる。この視覚化した表示の例としては、いわゆるタイムラインによる表示が挙げられる。
【０１１７】
図１３に、共有された上手さ情報の視覚化表示の例を説明するための図を示す。図１３は、撮像装置１自身が生成した上手さ情報、撮像装置２と共有し撮像装置２から受信した撮像装置２の生成した上手さ情報、及び撮像装置３と共有し撮像装置３から受信した撮像装置３の生成した上手さ情報を、タイムラインとして液晶モニタ３０４に表示した態様を表す概念図である。
【０１１８】
撮像装置１のユーザは、この液晶モニタ３０４の表示を見て、例えば以下のような考察をすることができる。
【０１１９】
ｔ２の時点からｔ３の時点の撮影は、自分の撮像の上手さが０．６０と評価されたのに対して、撮像装置３のユーザの撮像の上手さは倍の１．２０と評価されている。従って、この期間に関しては、撮像装置３のユーザの方が自分よりもズームの変化や手ぶれが少なく、被写体を正確に捉えた撮像データを保有している可能性が高いとの考察が可能となる。
【０１２０】
或は、ｔ３の時点からｔ４の時点に関しては、自分も撮像装置３のユーザも撮像を逃してしまっているが、撮像装置２のユーザはこの期間の撮像データを保有しているとの考察が可能となる。
【０１２１】
以上の場合に、撮像装置１のユーザは、撮像装置２のユーザ又は撮像装置３のユーザに、例えば無線モジュール３０９を介した無線ネットワーク通信や、別途の連絡により、上記のような考察を行った期間の撮像データだけを自分と共有するように申出をすることが可能となる。
【０１２２】
或は、撮像装置１のユーザは、撮像装置２のユーザ及び撮像装置３のユーザがともに撮像を逃しており、かつ自らの撮像の上手さが高い評価を獲得しているｔ４の時点からｔ５の時点までの撮像データの提供を、各ユーザに申し出ることも可能となる。
【０１２３】
また、ｔ７の時点からｔ８の時点までは、撮像装置１、撮像装置２、及び撮像装置３の全てのユーザが撮像を行っており、この期間を含む撮像期間の撮像データを有していることがわかる。それぞれのユーザが有している撮像データの期間は、撮像装置１のユーザがｔ４の時点からｔ８の時点までの３０秒間、撮像装置２のユーザがｔ７の時点からの２０秒間、及び撮像装置３のユーザがｔ６の時点からｔ８の時点までの２０秒間と完全には一致していない。
【０１２４】
一方で、ｔ７の時点からｔ８の時点までの重複する期間を含めた各期間について上手さ情報が比較可能な態様で視覚化されて表示されているため、例えば、撮像装置１のユーザが撮像装置３のユーザにｔ７の時点からｔ８の時点までのデータの提供を申し出るかの指標として利用できる。
【０１２５】
以上のように、本発明に係る撮像装置１によれば、ユーザ自らが撮像した撮像データに、他のユーザが撮像した撮像データに係る上手さ情報を関連付けて記録し、表示することができるので、その他のユーザが撮像した撮像データ又は自らが撮像した撮像データから必要なシーンのみをより簡便に特定することができる。したがって、他のユーザが撮像した撮像データの内容を確認せずともダビングを効率的かつ簡便に実施することができるようになる。
【０１２６】
なお、ダビングの際に、自分が撮像した撮像データを他のユーザが撮像した撮像データに置き換える場合に、当該自分が撮像した撮像データに係る音声データと当該他のユーザが撮像した撮像データに係る音声データを、併せて置き換えてしまうと、前後の音声データの繋がりが不自然になってしまう問題が生じることが推察される。
【０１２７】
同一の風景を複数人で同時に撮像している場合は、撮像データはアングル等によって大きく異なるが、音声データに大きな相違はない。例えば、結婚式で新郎新婦入場のシーンを撮像している場合、撮像データは、新郎新婦から近い位置で撮像されているもの、新郎新婦から遠い位置で撮像されているもの等、撮像装置によって大きく異なる。一方で、取得される音声はほとんどの撮像装置が入場のアナウンスと入場曲という共通の音声を取得しているはずである。
【０１２８】
そこで、本発明に係る撮像装置１では、ダビング編集時に、自分の撮像データを他のユーザの撮像データに置き換える場合でも、音声データは自分の撮像データに係るものを採用して、多重化部１１３が新たなストリームデータを生成することができる。
【０１２９】
また、撮像装置１に係る液晶モニタ３０４等は、ダビング編集時に自分の撮像データを他のユーザの撮像データに置き換える場合に、他のユーザの撮像データに、採用されなかった（置き換えられた）自らの撮像データをピクチャ・イン・ピクチャやオーバレイなどにより子画面で重畳表示するストリームデータを生成することもできる。
【符号の説明】
【０１３０】
１ 撮像装置（デジタルビデオカメラ）
２ 撮像装置（デジタルビデオカメラ）
３ 撮像装置（デジタルスチルカメラ）
１００ 撮像部
２０２ 音声・画像処理部
２０６ メインメモリ
３０１ カードＩ／Ｆ
３０２ カード型記録媒体
３０３ 入出力Ｉ／Ｆ
３０４ 液晶モニタ
３０５ スピーカ
３０６ 操作部
３０７ 入出力端子
３０８ 無線Ｉ／Ｆ
３０９ 無線モジュール
４００ 中央制御部
４０１ 撮像情報取得部
４０２ 顔検出部
４０３ 顔認識部
４０４ 手ぶれ補正部
４０５ 上手さ情報算出部
４０６ グループ化部
４０７ 顔画像登録部
【特許請求の範囲】
【請求項１】
被写体を撮像し撮像画像を取得する撮像部と、
前記撮像部が取得した前記撮像画像について、撮像の上手さに関する情報を算出する上手さ情報算出部と、
前記上手さ情報算出部が算出した上手さ情報を外部機器に送信する送信部と
を備えることを特徴とする撮像装置。
【請求項２】
外部機器が取得した撮像画像について、その外部機器が算出した撮像の上手さに関する情報を受信する受信部と、
前記撮像部が取得した撮像画像、前記上手さ情報算出部が算出した撮像の上手さに関する情報、及び前記受信部が受信した撮像の上手さに関する情報を関連付けて記録する記録部と
をさらに有することを特徴とする請求項１に記載の撮像装置
【請求項３】
前記記録部が記録した、前記上手さ情報算出部が算出した撮像の上手さに関する情報及び前記受信部が受信した撮像の上手さに関する情報を、比較可能な態様で視覚化して表示するための出力を行う出力部
をさらに備えることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記撮像の上手さに関する情報は、前記撮像部の撮像情報又は前記撮像部が取得した撮像画像の被写体情報の少なくともいずれかに基づく
ことを特徴とする請求項１から３の何れか１項に記載の撮像装置。
【請求項５】
前記撮像装置は、手ぶれ補正部をさらに備え、
前記撮像情報は、前記撮像部のズーム倍率、前記撮像部のパンの大きさ、前記撮像部のチルトの大きさ、前記撮像部が取得した前記撮像画像のホワイトバランス、又は前記手ぶれ補正部が行う手ぶれ補正の大きさの少なくとも何れか一つに関する情報に基づく
ことを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記撮像装置は、顔検出部をさらに備え、
前記被写体情報は、前記顔検出部による前記撮像画像からの顔検出の結果に基づくものであることを特徴とする請求項４に記載の撮像装置。
【請求項７】
撮像部が撮像した被写体の撮像画像について、その撮像の上手さに関する情報を算出する処理と、
前記撮像の上手さに関する情報を外部機器に送信する処理と
をコンピュータに実行させるプログラム
【請求項８】
外部機器が撮像した撮像画像についての撮像の上手さ情報を受信する処理と、
前記撮像部が撮像した撮像画像、前記上手さ情報を算出する処理で算出された撮像の上手さに関する情報、及び前記外部機器が撮像した撮像画像についての撮像の上手さ情報を受信する処理する処理で受信した撮像の上手さに関する情報とを関連付けて記録する処理と
をさらに実行させる請求項７に記載のプログラム。
【請求項１】
被写体を撮像し撮像画像を取得する撮像部と、
前記撮像部が取得した前記撮像画像について、撮像の上手さに関する情報を算出する上手さ情報算出部と、
前記上手さ情報算出部が算出した上手さ情報を外部機器に送信する送信部と
を備えることを特徴とする撮像装置。
【請求項２】
外部機器が取得した撮像画像について、その外部機器が算出した撮像の上手さに関する情報を受信する受信部と、
前記撮像部が取得した撮像画像、前記上手さ情報算出部が算出した撮像の上手さに関する情報、及び前記受信部が受信した撮像の上手さに関する情報を関連付けて記録する記録部と
をさらに有することを特徴とする請求項１に記載の撮像装置
【請求項３】
前記記録部が記録した、前記上手さ情報算出部が算出した撮像の上手さに関する情報及び前記受信部が受信した撮像の上手さに関する情報を、比較可能な態様で視覚化して表示するための出力を行う出力部
をさらに備えることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記撮像の上手さに関する情報は、前記撮像部の撮像情報又は前記撮像部が取得した撮像画像の被写体情報の少なくともいずれかに基づく
ことを特徴とする請求項１から３の何れか１項に記載の撮像装置。
【請求項５】
前記撮像装置は、手ぶれ補正部をさらに備え、
前記撮像情報は、前記撮像部のズーム倍率、前記撮像部のパンの大きさ、前記撮像部のチルトの大きさ、前記撮像部が取得した前記撮像画像のホワイトバランス、又は前記手ぶれ補正部が行う手ぶれ補正の大きさの少なくとも何れか一つに関する情報に基づく
ことを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記撮像装置は、顔検出部をさらに備え、
前記被写体情報は、前記顔検出部による前記撮像画像からの顔検出の結果に基づくものであることを特徴とする請求項４に記載の撮像装置。
【請求項７】
撮像部が撮像した被写体の撮像画像について、その撮像の上手さに関する情報を算出する処理と、
前記撮像の上手さに関する情報を外部機器に送信する処理と
をコンピュータに実行させるプログラム
【請求項８】
外部機器が撮像した撮像画像についての撮像の上手さ情報を受信する処理と、
前記撮像部が撮像した撮像画像、前記上手さ情報を算出する処理で算出された撮像の上手さに関する情報、及び前記外部機器が撮像した撮像画像についての撮像の上手さ情報を受信する処理する処理で受信した撮像の上手さに関する情報とを関連付けて記録する処理と
をさらに実行させる請求項７に記載のプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１２−２１６９３６（Ｐ２０１２−２１６９３６Ａ）
【公開日】平成２４年１１月８日（２０１２．１１．８）
【国際特許分類】
【出願番号】特願２０１１−７９７６１（Ｐ２０１１−７９７６１）
【出願日】平成２３年３月３１日（２０１１．３．３１）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
【公開日】平成２４年１１月８日（２０１２．１１．８）
【国際特許分類】
【出願日】平成２３年３月３１日（２０１１．３．３１）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
[ Back to top ]