画像記録装置および電子カメラ
【課題】映像観察者の情景理解を助ける情報を付加する画像記録装置を得る。
【解決手段】画像記録装置１は、情報取得手段１１，１２，１５，２０，２１，２２と、記録する画像と別に、少なくとも画像より後から情報取得手段１１，１２，１５，２０，２１，２２によって取得される取得情報に基づいてメタデータを生成するメタデータ生成手段１５と、生成されたメタデータと画像とを関連づけて記録する情報記録手段１５，１９とを備える。
【解決手段】画像記録装置１は、情報取得手段１１，１２，１５，２０，２１，２２と、記録する画像と別に、少なくとも画像より後から情報取得手段１１，１２，１５，２０，２１，２２によって取得される取得情報に基づいてメタデータを生成するメタデータ生成手段１５と、生成されたメタデータと画像とを関連づけて記録する情報記録手段１５，１９とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像記録装置に関する。
【背景技術】
【０００２】
映像に含まれる人物や物体などを画像認識し、認識結果を文字データに変換してメタデータを生成する技術が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−５２６２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来技術では、その映像から認識される情報がメタデータとして付加される。このため、映像から認識できない情報を付加することが困難である。
【課題を解決するための手段】
【０００５】
本発明による画像記録装置は、情報取得手段と、記録する画像と別に、少なくとも画像より後から情報取得手段によって取得される取得情報に基づいてメタデータを生成するメタデータ生成手段と、生成されたメタデータと画像とを関連づけて記録する情報記録手段とを備えることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、映像を観察する観察者の情景理解を助ける情報を付加できる。
【図面の簡単な説明】
【０００７】
【図１】電子カメラの要部構成を説明するブロック図である。
【図２】Ｅｘｉｆファイル構造を示す図である。
【図３】撮影モード処理の流れを説明するフローチャートである。
【図４】メタデータ記録処理の流れを説明するフローチャートである。
【図５】シーンチェンジ判定処理の流れを説明するフローチャートである。
【図６】メインスイッチがオンされている場合の動作を例示するタイミングチャートである。
【図７】再生処理の流れを説明するフローチャートである。
【発明を実施するための形態】
【０００８】
以下、図面を参照して本発明を実施するための形態について説明する。本発明の一実施の形態による電子カメラは、撮影モードと再生モードとが切替え可能に構成される。撮影モードは、被写体像を撮影し、撮影画像のデータをメモリカードなどで構成される記録媒体に画像ファイルとして記録する動作モードである。本実施形態では、撮影指示に応じて取得した画像に加えて、撮影指示の前後に取得した情報をメタデータとして画像ファイルに含める。画像ファイルの生成・記録についての詳細は後述する。
【０００９】
再生モードは、指示された画像ファイルのデータを記録媒体から読出すなどして、該画像データによる再生画像をＬＣＤパネルに表示させるモードである。本実施形態では、メタデータによる情報も再生画像に重ねてテキスト表示される。
【００１０】
図１は、電子カメラ１の要部構成を説明するブロック図である。図１において、被写体像は撮影レンズ１０によって撮像素子１１の撮像面上に結像される。撮像素子１１は、ＣＣＤイメージセンサまたはＣＭＯＳイメージセンサなどによって構成される。撮像素子１１は、被写体像を光電変換してアナログ画像信号を生成する。
【００１１】
アナログ画像信号は画像処理回路１２へ入力される。画像処理回路１２は、相関二重サンプリングやゲイン調整などのアナログ処理を施す。アナログ処理後の画像信号は、Ａ／Ｄ変換回路（不図示）によってデジタル画像データに変換される。画像処理回路１２はさらに、デジタル画像データに対して所定の画像処理（色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整処理など）を施す。画像処理後の画像データは、圧縮／伸長回路１７によってJPEG圧縮処理されてＳＤＲＡＭ１６へ記録される。ＳＤＲＡＭ１６へは、画像処理前後や画像処理中のデータも一時的に記録される。
【００１２】
ＣＰＵ１５は、JPEG圧縮コードをＳＤＲＡＭ１６から読み出し、所定の付属情報(メタデータ)を含めることが可能な画像ファイル(JPEGファイル)として記録媒体４０に記録することにより、撮影処理を完了する。記録媒体４０は電子カメラ１に対して着脱自在に構成される。ＣＰＵ１５は、メモリカードコントローラ１９を介して記録媒体４０に対するデータの記録、および記録媒体４０に記録されているデータの読み出しを行う。
【００１３】
ＣＰＵ１５は、再生モード時に記録媒体４０に記録されているJPEGコードを含む画像ファイルを読み出し、圧縮／伸長回路１７によって伸長処理させ、さらに画像処理回路１２に適切なサイズまで解像度変換を行わせてＳＤＲＡＭ１６へ一時記録させる。Displayコントローラ１３は、ＣＰＵ１５からの指示に応じてＳＤＲＡＭ１６から画像データを読み出し、該画像データに基づいて表示用のデータを生成する。電子カメラ１の背面に配設されているＬＣＤパネル１４は、表示用データによる再生画像、メタデータに基づくテキスト情報を表示する。
【００１４】
ＣＰＵ１５は、撮影モード時にＬＣＤパネル１４をビューファインダーとして動作させる。圧縮処理をしていないデジタル画像データを用いて表示用のデータを生成することにより、被写体のモニタ用画像（スルー画像）をＬＣＤパネル１４に表示する。スルー画像は、撮影指示前に撮像素子１１によって所定の時間間隔（たとえば３０コマ／毎秒）で繰り返し取得されるモニタ用画像のことをいう。
【００１５】
ＵＳＢコントローラ１８は、外部機器（たとえば、ＰＣ）との間で所定の通信を行う。電子カメラ１は、ＵＳＢコントローラ１８を介して外部機器へ画像ファイルを転送する。画像ファイル転送として、画像ファイルの複製や画像ファイルの移動が可能である。
【００１６】
ＣＰＵ１５は、内蔵する不揮発性メモリ（不図示）に記憶するプログラムを実行することにより、電子カメラ１が行う動作を制御する。ＣＰＵ１５は、各ブロックから出力される信号を入力して所定の演算を行い、演算結果に基づく制御信号を各ブロックへ出力する。
【００１７】
操作部材２０は、不図示のレリーズボタンの押下操作に連動してオン／オフする半押しスイッチならびに全押しスイッチの他、メニュースイッチなどを含む。操作部材２０は、各操作に応じた操作信号をＣＰＵ１５へ送出する。
【００１８】
音声処理回路２１は、マイク２２で集音された音声信号を増幅し、増幅後の信号をＡ／Ｄ変換回路（不図示）によってデジタル音声データに変換する。音声処理回路２１はさらに、デジタル音声データに対して所定の信号処理を施す。信号処理後の音声データは、ＳＤＲＡＭ１６へ記録される。
【００１９】
ＧＰＳモジュール２３は、ＧＰＳ衛星２０１、２０２からの電波を受信し、受信信号にのせられている情報を用いて測位情報（緯度、経度、高度）を算出する。なお、図１においては、通常の測位に用いる４衛星のうち２つのみを図示している。ＣＰＵ１５は、ＧＰＳモジュール２３から所定時間ごとに測位情報を受け取り、該測位情報をＳＤＲＡＭ１６へ記録する。
【００２０】
本実施形態は、画像ファイル内の画像の撮影時点と、メタデータによって記述される情報の取得時点とが異なる。以下、このような画像ファイル生成、およびメタデータ生成処理を中心に説明を行う。
【００２１】
ＣＰＵ１５は、Ｅｘｉｆ形式の画像ファイルを生成し、当該画像ファイルを記録媒体４０へ記録する。Ｅｘｉｆ形式の画像ファイルは、JPEG画像フォーマットの画像データ内にサムネイル画像や撮影情報などのデータを埋め込むようにしたものである。このファイル構造は、図２に例示するように、画像の付属情報を記録するタグ領域３１と撮影画像データを記録する画像データ領域３２とを有する。メタデータを撮影画像に関連づけて保存する設定が行われている場合のＣＰＵ１５は、メタデータを記録する際に、ＳＤＲＡＭ１６の所定領域に保存されているメタデータを読み出し、読み出したメタデータを画像ファイルのタグ領域３１に記録する。
【００２２】
＜メタデータ生成＞
メタデータの生成は、１．顔検出処理に基づく生成、２．光学式文字読取り(Optical Character Reader)処理に基づく生成、３．音声認識処理に基づく生成、４．電子カメラ１の動作情報に基づく生成、のそれぞれを所定時間ごとに繰り返して行う。所定時間ごとに生成された複数のメタデータは、それぞれＳＤＲＡＭ１６の所定領域に記録される。
【００２３】
１．顔検出処理に基づく生成
電子カメラ１は、上述したスルー画像に含まれる「顔」を検出し、その「顔」が所定人物の「顔」か否かを識別する機能を備える。電子カメラ１は、スルー画像に含まれる「顔」のうち、識別した「顔」の人物の登録名（たとえば、「○×さん」）情報をメタデータとする。「顔」を識別しなかった場合は顔検出処理に基づくメタデータは生成されない。電子カメラ１が「顔」の識別に用いる参照用データは、あらかじめ内蔵する不揮発性メモリ（不図示）に記録（登録）されている。登録手順は、たとえば以下のように行う。
【００２４】
ＣＰＵ１５は、たとえば、ＬＣＤパネル１４に不図示の「操作メニュー画面」を表示させ、当該メニュー項目から「登録撮影」項目を選択する操作信号が操作部材２０から入力された場合に、登録撮影処理を行う。登録撮影処理では、撮影された画像に含まれる「顔」を示す特徴量データを参照用データとして不揮発性メモリに記録（登録）する。具体的には、撮影画像のうち所定範囲（たとえば中央部分）に位置する画像データに基づいてサムネイル画像データを生成し、この画像データに基づいて「顔」を表す特徴量データを生成する。そして、この特徴量データを登録名を示すデータとともに参照用データに含めて不揮発性メモリに記録する。登録名は、操作部材２０から入力操作される。以上により、識別すべき人物の参照用データが登録される。
【００２５】
２．ＯＣＲに基づく生成
電子カメラ１は、スルー画像に含まれる「文字」（たとえば、「運動会」）を示す情報をメタデータとする。ＣＰＵ１５は、あらかじめ内蔵する不揮発性メモリ（不図示）に記録されているパターンとの照合により文字を特定し、特定した文字情報をメタデータとする。「文字」を特定しなかった場合はＯＣＲに基づくメタデータは生成されない。
【００２６】
３．音声認識処理に基づく生成
電子カメラ１は、マイク２２で集音された「ことば」（たとえば、「選手入場」）を示す情報をメタデータとする。ＣＰＵ１５は、マイク２２で集音された音声信号のうち直近の所定時間（たとえば、５秒）の音声信号を対象に公知の音声認識処理を施す。そして、音声認識された「ことば」を示す情報をメタデータとする。「ことば」を認識しなかった場合は音声認識処理に基づくメタデータは生成されない。
【００２７】
４．カメラ動作情報に基づく生成
電子カメラ１は、設定情報をメタデータとする。ＣＰＵ１５は、たとえば、撮影モードを設定するための操作部材２０から「ポートレート撮影」モードを指示する操作信号が入力された場合に、「ポートレート撮影」を示す情報をメタデータとする。「ポートレート撮影」の他に、「マクロ撮影」、「風景撮影」、「夜景撮影」などが含まれる。
【００２８】
＜画像ファイル生成処理＞
電子カメラ１のＣＰＵ１５は、操作部材２０からの操作信号によって撮影モードへの切替えが指示されると撮影モードに切り替え、図３に例示する画像ファイル生成処理を繰り返し実行する。図３は、ＣＰＵ１５が実行する処理の流れを説明するフローチャートである。
【００２９】
図３のステップＳ１において、ＣＰＵ１５は、撮像素子１１に対するスルー画像取得用の駆動を開始させてステップＳ２へ進む。ステップＳ２において、ＣＰＵ１５は、半押しスイッチＳＷ１がオンされたか否かを判定する。半押しスイッチＳＷ１は操作部材２０を構成し、レリーズボタン（不図示）の押下操作に連動してオン操作信号をＣＰＵ１５へ出力する。半押しスイッチＳＷ１からの半押しオン信号は、レリーズボタンが通常ストロークの半分程度まで押し下げ操作されると出力され、半ストロークの押し下げ操作解除で出力が解除される。ＣＰＵ１５は、半押しスイッチＳＷ１からオン操作信号が入力された場合にステップＳ２を肯定判定してステップＳ３へ進む。ＣＰＵ１５は、半押しスイッチＳＷ１からオン操作信号が入力されない場合には、ステップＳ２を否定判定して該判定処理を繰り返す。
【００３０】
ステップＳ３において、ＣＰＵ１５はＡＦ（オートフォーカス調節）処理を行ってステップＳ４へ進む。ＡＦ処理は、たとえば、スルー画像のコントラスト情報に基づいてフォーカシングレンズ（不図示）の合焦位置を求めるコントラスト検出方式を用いる。
【００３１】
ステップＳ４において、ＣＰＵ１５は、測光処理を行なってステップＳ５へ進む。測光処理は、撮像素子１１で取得された撮像信号に基づいてシャッター秒時および絞り値を演算するものである。
【００３２】
ステップＳ５において、ＣＰＵ１５は、全押しスイッチＳＷ２がオンされたか否かを判定する。全押しスイッチＳＷ２は操作部材２０を構成し、レリーズボタン（不図示）の押下操作に連動してオン操作信号をＣＰＵ１５へ出力する。全押しスイッチＳＷ２からの全押しオン信号は、レリーズボタンが通常ストロークまで押し下げ操作されると出力され、通常ストロークの押し下げ操作が解除されると出力が解除される。ＣＰＵ１５は、全押しスイッチＳＷ２からオン操作信号が入力された場合にステップＳ５を肯定判定してステップＳ６以降の撮影処理へ進む。ＣＰＵ１５は、全押しスイッチＳＷ２からオン操作信号が入力されない場合には、ステップＳ５を否定判定してステップＳ１１へ進む。
【００３３】
ステップＳ１１において、ＣＰＵ１５は、半押しスイッチＳＷ１がオンされているか否かを判定する。ＣＰＵ１５は、半押しスイッチＳＷ１から継続してオン操作信号が入力されている場合にステップＳ１１を肯定判定してステップＳ１２へ進む。ＣＰＵ１５は、半押しスイッチＳＷ１からオン操作信号が入力されていない場合には、ステップＳ１１を否定判定して図３による処理を終了する。
【００３４】
ステップＳ１２において、ＣＰＵ１５はＡＦサーボ設定内容を判定する。ＣＰＵ１５は、ＡＦサーボとしてＡＦ−Ｃモードが設定されている場合にステップＳ１２を肯定判定してステップＳ３へ戻る。ＡＦ−Ｃモードは、フォーカス調節処理を繰り返し行うモードである。一方ＣＰＵ１５は、ＡＦサーボとしてＡＦ−Ｓモードが設定されている場合にステップＳ１２を否定判定してステップＳ５へ戻る。ＡＦ−Ｓモードは、たとえばフォーカス調節処理を１回のみ行い、そのフォーカス調節状態を保持する（ＡＦロック）モードである。ＡＦサーボの選択は、ユーザによってあらかじめ設定操作部材２０の操作によって行われる。
【００３５】
上述したステップＳ５を肯定判定して進むステップＳ６において、ＣＰＵ１５は、撮像素子１１を初期化（電荷排出など）後、撮影用の露光、電荷蓄積のための駆動を開始させてステップＳ７へ進む。ステップＳ７において、ＣＰＵ１５は、蓄積時間がシャッター秒時に対応する時間になると電荷蓄積のための駆動を終了させてステップＳ８へ進む。
【００３６】
ステップＳ８において、ＣＰＵ１５は、撮像素子１１から出力された画像信号に所定の画像処理を行わせてステップＳ９へ進む。ステップＳ９において、ＣＰＵ１５は、画像処理後の画像信号に所定の圧縮処理を行わせてステップＳ１０へ進む。
【００３７】
ステップＳ１０において、ＣＰＵ１５は、上述したＥｘｉｆ形式の画像ファイルを生成し、該画像ファイルを記録媒体４０に記録して図３による処理を終了する。本実施形態のＣＰＵ１５は、画像ファイルを記録する際にシーン番号に対応付けて記録する。シーン番号については後述する。画像ファイルのタグ領域には、後述するメタデータ記録処理によってメタデータが記録される。
【００３８】
＜メタデータ記録処理＞
メタデータ記録処理の流れについて、図４に例示するフローチャートを参照して説明する。ＣＰＵ１５は、図４による処理を電子カメラ１のメインスイッチがオンされている場合に行われる所定時間ごとの割り込み処理として実行する。図４のステップＳ１０１において、ＣＰＵ１５は、上述したメタデータ生成処理を行ってステップＳ１０２へ進む。
【００３９】
ステップＳ１０２において、ＣＰＵ１５は、生成したメタデータをＳＤＲＡＭ１６の所定領域（メタデータバッファ）に記録してステップＳ１０３へ進む。ステップＳ１０３において、ＣＰＵ１５は、現在のシーン番号に対応付けて記録した画像ファイルが存在するか否かを判定する。ＣＰＵ１５は、現在のシーン番号に対応付けた画像ファイルが記録媒体４０内に存在する場合にステップＳ１０３を肯定判定してステップＳ１０４へ進む。ＣＰＵ１５は、現在のシーン番号に対応付けた画像ファイルが記録媒体４０内に存在しないにはステップＳ１０３を否定判定し、図４による処理を終了する。シーン番号については後述する。
【００４０】
ステップＳ１０４において、ＣＰＵ１５は、上記メタデータバッファ（ＳＤＲＡＭ１６内）に蓄積されているメタデータを、現在のシーン番号に対応付けて記録媒体４０内に記録されている各画像ファイルのタグ領域にそれぞれ記録して図４による処理を終了する。なお、ＣＰＵ１５は、メタデータバッファに蓄積されているメタデータのうち、上記各画像ファイルのタグ領域に未記録のメタデータのみを記録する。メタデータ記録処理により、現在のシーン番号に対応付けられている全ての画像ファイルに対して共通のメタデータが記録される。
【００４１】
＜シーンチェンジ判定処理＞
上述したシーン番号について説明する。本実施形態では、画像ファイルをシーン番号に対応付けて記録する。ＣＰＵ１５は、所定のシーンチェンジ要件を満たしたと判定した場合にシーン番号をインクリメントする。したがって、あるシーン番号が設定されている場合において複数回の撮影処理を行った場合は、同じシーン番号に対応付けて複数の画像ファイルが記録される。
【００４２】
ＣＰＵ１５は、シーンチェンジ判定要件として、１．時間の経過、２．撮影地点の移動距離、３．低輝度状態、４．集音された音量レベル、のそれぞれに基づいて判定を行う。
【００４３】
図５は、シーンチェンジ判定処理の流れを説明するフローチャートである。ＣＰＵ１５は、図５による処理を電子カメラ１のメインスイッチがオンされている場合に行われる所定時間ごとの割り込み処理として実行する。図５のステップＳ２０１において、ＣＰＵ１５は、シーン先頭時刻から所定時間が経過したか否かを判定する。ＣＰＵ１５は、シーン番号を前回インクリメントした時点から、たとえば４時間が経過した場合にステップＳ２０１を肯定判定してステップＳ２０６へ進む。一方ＣＰＵ１５は、シーン番号を前回インクリメントした時点から、上記４時間が経過していない場合にはステップＳ２０１を否定肯定し、ステップＳ２０２へ進む。
【００４４】
ステップＳ２０２において、ＣＰＵ１５は、同一シーン番号で所定距離移動したか否かを判定する。ＣＰＵ１５は、測位情報に基づいて電子カメラ１の移動距離を算出し、シーン番号を前回インクリメントした時点からの移動距離が、たとえば１０ｋｍに達した場合にステップＳ２０２を肯定判定してステップＳ２０６へ進む。一方ＣＰＵ１５は、シーン番号を前回インクリメントした時点からの移動距離が、上記１０ｋｍに満たない場合にはステップＳ２０２を否定肯定し、ステップＳ２０３へ進む。
【００４５】
ステップＳ２０３において、ＣＰＵ１５は、所定輝度以下の状態が所定時間継続されたか否かを判定する。ＣＰＵ１５は、撮像信号レベルに基づいて輝度情報を取得し、輝度情報が所定値以下である状態が、たとえば１０秒に達した場合にステップＳ２０４を肯定判定してステップＳ２０６へ進む。ＣＰＵ１５は、輝度情報が所定値以上の場合や、輝度情報が所定値以下である状態が上記１０秒に満たない場合には、ステップＳ２０３を否定肯定し、ステップＳ２０４へ進む。
【００４６】
ステップＳ２０４において、ＣＰＵ１５は、入力音量が所定レベル以上か否かを判定する。ＣＰＵ１５は、集音された音声信号レベルに基づいて入力音量情報を取得し、入力音量情報が所定値以上の場合にステップＳ２０４を肯定判定してステップＳ２０６へ進む。ＣＰＵ１５は、入力音量情報が所定値に満たない場合にはステップＳ２０４を否定肯定し、ステップＳ２０５へ進む。
【００４７】
ステップＳ２０５へ進む場合はシーンチェンジを判定しない場合である。ＣＰＵ１５は、現在のシーン番号を維持して図５による処理を終了する。
【００４８】
ステップＳ２０６へ進む場合はシーンチェンジを判定する場合である。ＣＰＵ１５は、現在のシーン番号をインクリメントして図５による処理を終了する。なお、ＣＰＵ１５は、ステップＳ２０１〜Ｓ２０４のうち肯定判定したステップ番号を示す情報と、シーン番号をインクリメントした時刻情報とを上記メタデータバッファ内に記録する。
【００４９】
＜タイミング例＞
図６は、電子カメラ１のメインスイッチがオンされている場合の動作を例示するタイミングチャートである。図６において、「撮影」は撮影指示（全押しスイッチＳＷ２のオン）タイミングを表す。本実施形態では、「Ａ」、「Ｂ」、「Ｃ」、および「Ｄ」の４回撮影指示され、該撮影指示に応じてそれぞれ撮影処理が行われる。
【００５０】
「人識別出力」は、スルー画像に含まれる「顔」を検出し、その「顔」が所定人物の「顔」であることを識別したタイミングを表す。本実施形態では、スルー画像に基づいて逐次「顔」検出が行われ、そのうち「１」、「４」、「６」、「９」の４回「顔」の人物が識別される。本例では、たとえば、４回ともに同じ人物「□△くん」が識別される。
【００５１】
「ＯＣＲ出力」は、スルー画像に含まれる「文字」を特定したタイミングを表す。本実施形態では、スルー画像に基づいて逐次ＯＣＲ処理が行われ、そのうち「２」、「５」で示される２回「文字」が特定される。本例では、たとえば、「２」のタイミングで文字「運動会」が特定され、「５」のタイミングで文字「３年生」が特定される。
【００５２】
「大音響」は、所定レベル以上の入力音量があったタイミングを表す。本実施形態では、たとえば、「３」、「７」、「８」で示される３回、音声信号が所定レベル以上で入力される。たとえば、「３」のタイミングで「場内アナウンス」があり、「７」のタイミングで「太鼓」が鳴り、「８」のタイミングで「歓声」が沸き上がる。
【００５３】
「場所」は、ＧＰＳモジュール２３によってＧＰＳ衛星２０１、２０２からの電波が受信されている通信状態を表し、Ｈレベルが通信状態（測位情報を取得する）を表し、Ｌレベルが非通信状態を表す。
【００５４】
「明るさ」は、撮像信号レベルに基づく輝度情報を表し、Ｈレベルが所定値以上を表し、Ｌレベルが所定値未満を表す。本実施形態では、輝度情報レベルに基づいて２回のシーンチェンジ判定が行われることにより、シーン番号が「１」から「２」へ、さらに「２」から「３」へとインクリメントされる。
【００５５】
撮影指示タイミング「Ａ」、人識別タイミング「１」およびＯＣＲ出力タイミング「２」は、シーン番号１に対応する。すなわち、撮影指示タイミング「Ａ」に応じて撮影・生成される画像ファイルには、撮影指示タイミング「Ａ」前に生成されている「□△くん」を示すメタデータと、撮影指示タイミング「Ａ」後に生成される「運動会」を示すメタデータとが記録される。
【００５６】
撮影指示タイミング「Ｂ」、「Ｃ」、人識別タイミング「４」、「６」、ＯＣＲ出力タイミング「５」、および大音響タイミング「３」、「７」は、シーン番号２に対応する。シーン番号２に対応付けられる２つの画像ファイルは、撮影指示タイミング「Ｂ」に応じて撮影・生成される画像ファイルと、撮影指示タイミング「Ｃ」に応じて撮影・生成される画像ファイルである。これら２つの画像ファイルには、それぞれ同じメタデータが記録される。すなわち、撮影指示タイミング「Ｂ」前に生成されている「□△くん」を示すメタデータ、撮影指示タイミング「Ｂ」後に生成される「３年生」を示すメタデータおよび「□△くん」を示すメタデータが記録される。
【００５７】
撮影指示タイミング「Ｄ」、人識別タイミング「９」、および大音響タイミング「８」は、シーン番号３に対応する。撮影指示タイミング「Ｄ」に応じて撮影・生成される画像ファイルには、撮影指示タイミング「Ｄ」後に生成される「□△くん」を示すメタデータが記録される。
【００５８】
＜画像ファイル再生処理＞
電子カメラ１のＣＰＵ１５は、操作部材２０からの操作信号によって再生モードへの切替えが指示されると再生モードに切り替え、図７に例示する画像ファイル再生処理を繰り返し実行する。図７は、ＣＰＵ１５が実行する処理の流れを説明するフローチャートである。
【００５９】
図７のステップＳ３０１において、ＣＰＵ１５は、記録媒体４０内に記録されている各画像ファイルからメタデータを読み込んでステップＳ３０２へ進む。ステップＳ３０２において、ＣＰＵ１５は、記録媒体４０内に記録されている上記各画像ファイルからサムネイル画像データを読み込んでステップＳ３０３へ進む。
【００６０】
ステップＳ３０３において、ＣＰＵ１５は、サムネイル画像データに基づく再生画像をＬＣＤパネル１４に並べて表示（一覧表示）させてステップＳ３０４へ進む。ステップＳ３０４において、ＣＰＵ１５は、メタデータに基づくテキストをサムネイル画像に重ねて表示させてステップＳ３０５へ進む。１つのサムネイル画像に対応する複数のメタデータが存在する場合は、代表のメタデータ（たとえば、顔検出処理に基づいて生成された「□△くん」）のみを表示させる。
【００６１】
ステップＳ３０５において、ＣＰＵ１５は、再生表示すべき画像ファイルが指示されたか否かを判定する。ＣＰＵは、操作部材２０からの操作信号によって画像ファイルの選択指示を受け付けると、ステップＳ３０５を肯定判定してステップＳ３０６へ進む。ＣＰＵ１５は、画像ファイルの選択指示を受け付けていない場合にはステップＳ３０５を否定判定し、当該判定処理を繰り返す。
【００６２】
ステップＳ３０６において、ＣＰＵ１５は、指示された画像ファイルを記録媒体４０から読み出し、JPEG圧縮コードに対する伸長処理を施してステップＳ３０７へ進む。これにより、画像ファイル内の本撮影画像が伸長処理される。
【００６３】
ステップＳ３０７において、ＣＰＵ１５は、伸長処理後の本画像データによる再生画像をＬＣＤパネル１４に表示させてステップＳ３０８へ進む。ステップＳ３０８において、ＣＰＵ１５は、メタデータに基づくテキストをサムネイル画像に重ねて表示させて図７による処理を終了する。１つの本撮影画像に対応する複数のメタデータが存在する場合は、全てのメタデータ（たとえば、顔検出処理に基づいて生成された「□△くん」、ＯＣＲ処理に基づいて生成された「運動会」）を表示させる。
【００６４】
以上説明した実施形態によれば、次の作用効果が得られる。
（１）電子カメラ１のＣＰＵ１５は、記録媒体４０に記録する画像と別に、顔検出処理、光学式文字読取り処理、および音声認識処理に基づく情報と、電子カメラ１の動作情報とを少なくとも記録する画像より後から取得し、取得情報に基づいてメタデータを生成し、生成されたメタデータと記録する画像とを関連づけて記録媒体４０に記録する。これにより、何を撮影した画像であるかを画像観察者に思い出させるのに役立つ情報が記録され、当該画像からの情景理解を助けることができる。
【００６５】
（２）情報の取得は、電子カメラ１の電源オン時に所定時間ごとに行い、ＣＰＵ１５は、取得された最新の情報に基づいて逐次メタデータを生成するので、記録する画像を撮影した以降の新しい情報をメタデータに含めることができる。
【００６６】
（３）所定条件に基づいてシーンチェンジを判定し、ＣＰＵ１５は、次にシーンチェンジ判定されるまでに取得された最新の情報に基づいて逐次メタデータを生成するので、記録する画像を撮影した以降であってシーンチェンジ前までの新しい情報をメタデータに含めることができる。
【００６７】
（４）次にシーンチェンジ判定されるまでに逐次生成される複数のメタデータを、次にシーンチェンジ判定されるまでに取得される複数の画像のそれぞれに関連づけて記録媒体４０に記録するようにしたので、シーンチェンジ間に撮影された複数の画像のそれぞれに対して共通に複数のメタデータを関連付けることができる。
【００６８】
（５）次にシーンチェンジ判定されるまでに逐次生成される複数のメタデータをメタデータバッファ（ＳＤＲＡＭ１６内）に蓄積し、メタデータバッファに蓄積されているメタデータを複数の画像のそれぞれに関連付けて記録するので、シーンチェンジ間隔が長い場合でも確実にメタデータを保存しておくことができる。
【００６９】
（変形例１）
メタデータを格納するメタデータファイルを生成し、このメタデータファイルを記録媒体４０に記録するようにしてもよい。メタデータファイルには、生成された全てのメタデータを各シーン番号に対応付けて格納する。各シーンの先頭時刻（シーン番号がインクリメントされた時刻）、および各シーンの終了原因（シーン番号をインクリメントする際のシーンチェンジ判定要因）を示す情報もメタデータファイルに含める。
【００７０】
（変形例２）
シーン番号に対応付けられた撮影画像を示す写真リストファイルを生成し、この写真リストファイルを記録媒体４０に記録するようにしてもよい。写真リストファイルには、シーン番号に対応付けられた全ての画像ファイルのサムネイル画像データを格納する。
【００７１】
以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。
【符号の説明】
【００７２】
１…電子カメラ
１１…撮像素子
１２…画像処理回路
１４…ＬＣＤパネル
１５…ＣＰＵ
１６…ＳＤＲＡＭ
２０…操作部材
２１…音声処理回路
２２…マイク
２３…ＧＰＳモジュール
４０…記録媒体
【技術分野】
【０００１】
本発明は、画像記録装置に関する。
【背景技術】
【０００２】
映像に含まれる人物や物体などを画像認識し、認識結果を文字データに変換してメタデータを生成する技術が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−５２６２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来技術では、その映像から認識される情報がメタデータとして付加される。このため、映像から認識できない情報を付加することが困難である。
【課題を解決するための手段】
【０００５】
本発明による画像記録装置は、情報取得手段と、記録する画像と別に、少なくとも画像より後から情報取得手段によって取得される取得情報に基づいてメタデータを生成するメタデータ生成手段と、生成されたメタデータと画像とを関連づけて記録する情報記録手段とを備えることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、映像を観察する観察者の情景理解を助ける情報を付加できる。
【図面の簡単な説明】
【０００７】
【図１】電子カメラの要部構成を説明するブロック図である。
【図２】Ｅｘｉｆファイル構造を示す図である。
【図３】撮影モード処理の流れを説明するフローチャートである。
【図４】メタデータ記録処理の流れを説明するフローチャートである。
【図５】シーンチェンジ判定処理の流れを説明するフローチャートである。
【図６】メインスイッチがオンされている場合の動作を例示するタイミングチャートである。
【図７】再生処理の流れを説明するフローチャートである。
【発明を実施するための形態】
【０００８】
以下、図面を参照して本発明を実施するための形態について説明する。本発明の一実施の形態による電子カメラは、撮影モードと再生モードとが切替え可能に構成される。撮影モードは、被写体像を撮影し、撮影画像のデータをメモリカードなどで構成される記録媒体に画像ファイルとして記録する動作モードである。本実施形態では、撮影指示に応じて取得した画像に加えて、撮影指示の前後に取得した情報をメタデータとして画像ファイルに含める。画像ファイルの生成・記録についての詳細は後述する。
【０００９】
再生モードは、指示された画像ファイルのデータを記録媒体から読出すなどして、該画像データによる再生画像をＬＣＤパネルに表示させるモードである。本実施形態では、メタデータによる情報も再生画像に重ねてテキスト表示される。
【００１０】
図１は、電子カメラ１の要部構成を説明するブロック図である。図１において、被写体像は撮影レンズ１０によって撮像素子１１の撮像面上に結像される。撮像素子１１は、ＣＣＤイメージセンサまたはＣＭＯＳイメージセンサなどによって構成される。撮像素子１１は、被写体像を光電変換してアナログ画像信号を生成する。
【００１１】
アナログ画像信号は画像処理回路１２へ入力される。画像処理回路１２は、相関二重サンプリングやゲイン調整などのアナログ処理を施す。アナログ処理後の画像信号は、Ａ／Ｄ変換回路（不図示）によってデジタル画像データに変換される。画像処理回路１２はさらに、デジタル画像データに対して所定の画像処理（色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整処理など）を施す。画像処理後の画像データは、圧縮／伸長回路１７によってJPEG圧縮処理されてＳＤＲＡＭ１６へ記録される。ＳＤＲＡＭ１６へは、画像処理前後や画像処理中のデータも一時的に記録される。
【００１２】
ＣＰＵ１５は、JPEG圧縮コードをＳＤＲＡＭ１６から読み出し、所定の付属情報(メタデータ)を含めることが可能な画像ファイル(JPEGファイル)として記録媒体４０に記録することにより、撮影処理を完了する。記録媒体４０は電子カメラ１に対して着脱自在に構成される。ＣＰＵ１５は、メモリカードコントローラ１９を介して記録媒体４０に対するデータの記録、および記録媒体４０に記録されているデータの読み出しを行う。
【００１３】
ＣＰＵ１５は、再生モード時に記録媒体４０に記録されているJPEGコードを含む画像ファイルを読み出し、圧縮／伸長回路１７によって伸長処理させ、さらに画像処理回路１２に適切なサイズまで解像度変換を行わせてＳＤＲＡＭ１６へ一時記録させる。Displayコントローラ１３は、ＣＰＵ１５からの指示に応じてＳＤＲＡＭ１６から画像データを読み出し、該画像データに基づいて表示用のデータを生成する。電子カメラ１の背面に配設されているＬＣＤパネル１４は、表示用データによる再生画像、メタデータに基づくテキスト情報を表示する。
【００１４】
ＣＰＵ１５は、撮影モード時にＬＣＤパネル１４をビューファインダーとして動作させる。圧縮処理をしていないデジタル画像データを用いて表示用のデータを生成することにより、被写体のモニタ用画像（スルー画像）をＬＣＤパネル１４に表示する。スルー画像は、撮影指示前に撮像素子１１によって所定の時間間隔（たとえば３０コマ／毎秒）で繰り返し取得されるモニタ用画像のことをいう。
【００１５】
ＵＳＢコントローラ１８は、外部機器（たとえば、ＰＣ）との間で所定の通信を行う。電子カメラ１は、ＵＳＢコントローラ１８を介して外部機器へ画像ファイルを転送する。画像ファイル転送として、画像ファイルの複製や画像ファイルの移動が可能である。
【００１６】
ＣＰＵ１５は、内蔵する不揮発性メモリ（不図示）に記憶するプログラムを実行することにより、電子カメラ１が行う動作を制御する。ＣＰＵ１５は、各ブロックから出力される信号を入力して所定の演算を行い、演算結果に基づく制御信号を各ブロックへ出力する。
【００１７】
操作部材２０は、不図示のレリーズボタンの押下操作に連動してオン／オフする半押しスイッチならびに全押しスイッチの他、メニュースイッチなどを含む。操作部材２０は、各操作に応じた操作信号をＣＰＵ１５へ送出する。
【００１８】
音声処理回路２１は、マイク２２で集音された音声信号を増幅し、増幅後の信号をＡ／Ｄ変換回路（不図示）によってデジタル音声データに変換する。音声処理回路２１はさらに、デジタル音声データに対して所定の信号処理を施す。信号処理後の音声データは、ＳＤＲＡＭ１６へ記録される。
【００１９】
ＧＰＳモジュール２３は、ＧＰＳ衛星２０１、２０２からの電波を受信し、受信信号にのせられている情報を用いて測位情報（緯度、経度、高度）を算出する。なお、図１においては、通常の測位に用いる４衛星のうち２つのみを図示している。ＣＰＵ１５は、ＧＰＳモジュール２３から所定時間ごとに測位情報を受け取り、該測位情報をＳＤＲＡＭ１６へ記録する。
【００２０】
本実施形態は、画像ファイル内の画像の撮影時点と、メタデータによって記述される情報の取得時点とが異なる。以下、このような画像ファイル生成、およびメタデータ生成処理を中心に説明を行う。
【００２１】
ＣＰＵ１５は、Ｅｘｉｆ形式の画像ファイルを生成し、当該画像ファイルを記録媒体４０へ記録する。Ｅｘｉｆ形式の画像ファイルは、JPEG画像フォーマットの画像データ内にサムネイル画像や撮影情報などのデータを埋め込むようにしたものである。このファイル構造は、図２に例示するように、画像の付属情報を記録するタグ領域３１と撮影画像データを記録する画像データ領域３２とを有する。メタデータを撮影画像に関連づけて保存する設定が行われている場合のＣＰＵ１５は、メタデータを記録する際に、ＳＤＲＡＭ１６の所定領域に保存されているメタデータを読み出し、読み出したメタデータを画像ファイルのタグ領域３１に記録する。
【００２２】
＜メタデータ生成＞
メタデータの生成は、１．顔検出処理に基づく生成、２．光学式文字読取り(Optical Character Reader)処理に基づく生成、３．音声認識処理に基づく生成、４．電子カメラ１の動作情報に基づく生成、のそれぞれを所定時間ごとに繰り返して行う。所定時間ごとに生成された複数のメタデータは、それぞれＳＤＲＡＭ１６の所定領域に記録される。
【００２３】
１．顔検出処理に基づく生成
電子カメラ１は、上述したスルー画像に含まれる「顔」を検出し、その「顔」が所定人物の「顔」か否かを識別する機能を備える。電子カメラ１は、スルー画像に含まれる「顔」のうち、識別した「顔」の人物の登録名（たとえば、「○×さん」）情報をメタデータとする。「顔」を識別しなかった場合は顔検出処理に基づくメタデータは生成されない。電子カメラ１が「顔」の識別に用いる参照用データは、あらかじめ内蔵する不揮発性メモリ（不図示）に記録（登録）されている。登録手順は、たとえば以下のように行う。
【００２４】
ＣＰＵ１５は、たとえば、ＬＣＤパネル１４に不図示の「操作メニュー画面」を表示させ、当該メニュー項目から「登録撮影」項目を選択する操作信号が操作部材２０から入力された場合に、登録撮影処理を行う。登録撮影処理では、撮影された画像に含まれる「顔」を示す特徴量データを参照用データとして不揮発性メモリに記録（登録）する。具体的には、撮影画像のうち所定範囲（たとえば中央部分）に位置する画像データに基づいてサムネイル画像データを生成し、この画像データに基づいて「顔」を表す特徴量データを生成する。そして、この特徴量データを登録名を示すデータとともに参照用データに含めて不揮発性メモリに記録する。登録名は、操作部材２０から入力操作される。以上により、識別すべき人物の参照用データが登録される。
【００２５】
２．ＯＣＲに基づく生成
電子カメラ１は、スルー画像に含まれる「文字」（たとえば、「運動会」）を示す情報をメタデータとする。ＣＰＵ１５は、あらかじめ内蔵する不揮発性メモリ（不図示）に記録されているパターンとの照合により文字を特定し、特定した文字情報をメタデータとする。「文字」を特定しなかった場合はＯＣＲに基づくメタデータは生成されない。
【００２６】
３．音声認識処理に基づく生成
電子カメラ１は、マイク２２で集音された「ことば」（たとえば、「選手入場」）を示す情報をメタデータとする。ＣＰＵ１５は、マイク２２で集音された音声信号のうち直近の所定時間（たとえば、５秒）の音声信号を対象に公知の音声認識処理を施す。そして、音声認識された「ことば」を示す情報をメタデータとする。「ことば」を認識しなかった場合は音声認識処理に基づくメタデータは生成されない。
【００２７】
４．カメラ動作情報に基づく生成
電子カメラ１は、設定情報をメタデータとする。ＣＰＵ１５は、たとえば、撮影モードを設定するための操作部材２０から「ポートレート撮影」モードを指示する操作信号が入力された場合に、「ポートレート撮影」を示す情報をメタデータとする。「ポートレート撮影」の他に、「マクロ撮影」、「風景撮影」、「夜景撮影」などが含まれる。
【００２８】
＜画像ファイル生成処理＞
電子カメラ１のＣＰＵ１５は、操作部材２０からの操作信号によって撮影モードへの切替えが指示されると撮影モードに切り替え、図３に例示する画像ファイル生成処理を繰り返し実行する。図３は、ＣＰＵ１５が実行する処理の流れを説明するフローチャートである。
【００２９】
図３のステップＳ１において、ＣＰＵ１５は、撮像素子１１に対するスルー画像取得用の駆動を開始させてステップＳ２へ進む。ステップＳ２において、ＣＰＵ１５は、半押しスイッチＳＷ１がオンされたか否かを判定する。半押しスイッチＳＷ１は操作部材２０を構成し、レリーズボタン（不図示）の押下操作に連動してオン操作信号をＣＰＵ１５へ出力する。半押しスイッチＳＷ１からの半押しオン信号は、レリーズボタンが通常ストロークの半分程度まで押し下げ操作されると出力され、半ストロークの押し下げ操作解除で出力が解除される。ＣＰＵ１５は、半押しスイッチＳＷ１からオン操作信号が入力された場合にステップＳ２を肯定判定してステップＳ３へ進む。ＣＰＵ１５は、半押しスイッチＳＷ１からオン操作信号が入力されない場合には、ステップＳ２を否定判定して該判定処理を繰り返す。
【００３０】
ステップＳ３において、ＣＰＵ１５はＡＦ（オートフォーカス調節）処理を行ってステップＳ４へ進む。ＡＦ処理は、たとえば、スルー画像のコントラスト情報に基づいてフォーカシングレンズ（不図示）の合焦位置を求めるコントラスト検出方式を用いる。
【００３１】
ステップＳ４において、ＣＰＵ１５は、測光処理を行なってステップＳ５へ進む。測光処理は、撮像素子１１で取得された撮像信号に基づいてシャッター秒時および絞り値を演算するものである。
【００３２】
ステップＳ５において、ＣＰＵ１５は、全押しスイッチＳＷ２がオンされたか否かを判定する。全押しスイッチＳＷ２は操作部材２０を構成し、レリーズボタン（不図示）の押下操作に連動してオン操作信号をＣＰＵ１５へ出力する。全押しスイッチＳＷ２からの全押しオン信号は、レリーズボタンが通常ストロークまで押し下げ操作されると出力され、通常ストロークの押し下げ操作が解除されると出力が解除される。ＣＰＵ１５は、全押しスイッチＳＷ２からオン操作信号が入力された場合にステップＳ５を肯定判定してステップＳ６以降の撮影処理へ進む。ＣＰＵ１５は、全押しスイッチＳＷ２からオン操作信号が入力されない場合には、ステップＳ５を否定判定してステップＳ１１へ進む。
【００３３】
ステップＳ１１において、ＣＰＵ１５は、半押しスイッチＳＷ１がオンされているか否かを判定する。ＣＰＵ１５は、半押しスイッチＳＷ１から継続してオン操作信号が入力されている場合にステップＳ１１を肯定判定してステップＳ１２へ進む。ＣＰＵ１５は、半押しスイッチＳＷ１からオン操作信号が入力されていない場合には、ステップＳ１１を否定判定して図３による処理を終了する。
【００３４】
ステップＳ１２において、ＣＰＵ１５はＡＦサーボ設定内容を判定する。ＣＰＵ１５は、ＡＦサーボとしてＡＦ−Ｃモードが設定されている場合にステップＳ１２を肯定判定してステップＳ３へ戻る。ＡＦ−Ｃモードは、フォーカス調節処理を繰り返し行うモードである。一方ＣＰＵ１５は、ＡＦサーボとしてＡＦ−Ｓモードが設定されている場合にステップＳ１２を否定判定してステップＳ５へ戻る。ＡＦ−Ｓモードは、たとえばフォーカス調節処理を１回のみ行い、そのフォーカス調節状態を保持する（ＡＦロック）モードである。ＡＦサーボの選択は、ユーザによってあらかじめ設定操作部材２０の操作によって行われる。
【００３５】
上述したステップＳ５を肯定判定して進むステップＳ６において、ＣＰＵ１５は、撮像素子１１を初期化（電荷排出など）後、撮影用の露光、電荷蓄積のための駆動を開始させてステップＳ７へ進む。ステップＳ７において、ＣＰＵ１５は、蓄積時間がシャッター秒時に対応する時間になると電荷蓄積のための駆動を終了させてステップＳ８へ進む。
【００３６】
ステップＳ８において、ＣＰＵ１５は、撮像素子１１から出力された画像信号に所定の画像処理を行わせてステップＳ９へ進む。ステップＳ９において、ＣＰＵ１５は、画像処理後の画像信号に所定の圧縮処理を行わせてステップＳ１０へ進む。
【００３７】
ステップＳ１０において、ＣＰＵ１５は、上述したＥｘｉｆ形式の画像ファイルを生成し、該画像ファイルを記録媒体４０に記録して図３による処理を終了する。本実施形態のＣＰＵ１５は、画像ファイルを記録する際にシーン番号に対応付けて記録する。シーン番号については後述する。画像ファイルのタグ領域には、後述するメタデータ記録処理によってメタデータが記録される。
【００３８】
＜メタデータ記録処理＞
メタデータ記録処理の流れについて、図４に例示するフローチャートを参照して説明する。ＣＰＵ１５は、図４による処理を電子カメラ１のメインスイッチがオンされている場合に行われる所定時間ごとの割り込み処理として実行する。図４のステップＳ１０１において、ＣＰＵ１５は、上述したメタデータ生成処理を行ってステップＳ１０２へ進む。
【００３９】
ステップＳ１０２において、ＣＰＵ１５は、生成したメタデータをＳＤＲＡＭ１６の所定領域（メタデータバッファ）に記録してステップＳ１０３へ進む。ステップＳ１０３において、ＣＰＵ１５は、現在のシーン番号に対応付けて記録した画像ファイルが存在するか否かを判定する。ＣＰＵ１５は、現在のシーン番号に対応付けた画像ファイルが記録媒体４０内に存在する場合にステップＳ１０３を肯定判定してステップＳ１０４へ進む。ＣＰＵ１５は、現在のシーン番号に対応付けた画像ファイルが記録媒体４０内に存在しないにはステップＳ１０３を否定判定し、図４による処理を終了する。シーン番号については後述する。
【００４０】
ステップＳ１０４において、ＣＰＵ１５は、上記メタデータバッファ（ＳＤＲＡＭ１６内）に蓄積されているメタデータを、現在のシーン番号に対応付けて記録媒体４０内に記録されている各画像ファイルのタグ領域にそれぞれ記録して図４による処理を終了する。なお、ＣＰＵ１５は、メタデータバッファに蓄積されているメタデータのうち、上記各画像ファイルのタグ領域に未記録のメタデータのみを記録する。メタデータ記録処理により、現在のシーン番号に対応付けられている全ての画像ファイルに対して共通のメタデータが記録される。
【００４１】
＜シーンチェンジ判定処理＞
上述したシーン番号について説明する。本実施形態では、画像ファイルをシーン番号に対応付けて記録する。ＣＰＵ１５は、所定のシーンチェンジ要件を満たしたと判定した場合にシーン番号をインクリメントする。したがって、あるシーン番号が設定されている場合において複数回の撮影処理を行った場合は、同じシーン番号に対応付けて複数の画像ファイルが記録される。
【００４２】
ＣＰＵ１５は、シーンチェンジ判定要件として、１．時間の経過、２．撮影地点の移動距離、３．低輝度状態、４．集音された音量レベル、のそれぞれに基づいて判定を行う。
【００４３】
図５は、シーンチェンジ判定処理の流れを説明するフローチャートである。ＣＰＵ１５は、図５による処理を電子カメラ１のメインスイッチがオンされている場合に行われる所定時間ごとの割り込み処理として実行する。図５のステップＳ２０１において、ＣＰＵ１５は、シーン先頭時刻から所定時間が経過したか否かを判定する。ＣＰＵ１５は、シーン番号を前回インクリメントした時点から、たとえば４時間が経過した場合にステップＳ２０１を肯定判定してステップＳ２０６へ進む。一方ＣＰＵ１５は、シーン番号を前回インクリメントした時点から、上記４時間が経過していない場合にはステップＳ２０１を否定肯定し、ステップＳ２０２へ進む。
【００４４】
ステップＳ２０２において、ＣＰＵ１５は、同一シーン番号で所定距離移動したか否かを判定する。ＣＰＵ１５は、測位情報に基づいて電子カメラ１の移動距離を算出し、シーン番号を前回インクリメントした時点からの移動距離が、たとえば１０ｋｍに達した場合にステップＳ２０２を肯定判定してステップＳ２０６へ進む。一方ＣＰＵ１５は、シーン番号を前回インクリメントした時点からの移動距離が、上記１０ｋｍに満たない場合にはステップＳ２０２を否定肯定し、ステップＳ２０３へ進む。
【００４５】
ステップＳ２０３において、ＣＰＵ１５は、所定輝度以下の状態が所定時間継続されたか否かを判定する。ＣＰＵ１５は、撮像信号レベルに基づいて輝度情報を取得し、輝度情報が所定値以下である状態が、たとえば１０秒に達した場合にステップＳ２０４を肯定判定してステップＳ２０６へ進む。ＣＰＵ１５は、輝度情報が所定値以上の場合や、輝度情報が所定値以下である状態が上記１０秒に満たない場合には、ステップＳ２０３を否定肯定し、ステップＳ２０４へ進む。
【００４６】
ステップＳ２０４において、ＣＰＵ１５は、入力音量が所定レベル以上か否かを判定する。ＣＰＵ１５は、集音された音声信号レベルに基づいて入力音量情報を取得し、入力音量情報が所定値以上の場合にステップＳ２０４を肯定判定してステップＳ２０６へ進む。ＣＰＵ１５は、入力音量情報が所定値に満たない場合にはステップＳ２０４を否定肯定し、ステップＳ２０５へ進む。
【００４７】
ステップＳ２０５へ進む場合はシーンチェンジを判定しない場合である。ＣＰＵ１５は、現在のシーン番号を維持して図５による処理を終了する。
【００４８】
ステップＳ２０６へ進む場合はシーンチェンジを判定する場合である。ＣＰＵ１５は、現在のシーン番号をインクリメントして図５による処理を終了する。なお、ＣＰＵ１５は、ステップＳ２０１〜Ｓ２０４のうち肯定判定したステップ番号を示す情報と、シーン番号をインクリメントした時刻情報とを上記メタデータバッファ内に記録する。
【００４９】
＜タイミング例＞
図６は、電子カメラ１のメインスイッチがオンされている場合の動作を例示するタイミングチャートである。図６において、「撮影」は撮影指示（全押しスイッチＳＷ２のオン）タイミングを表す。本実施形態では、「Ａ」、「Ｂ」、「Ｃ」、および「Ｄ」の４回撮影指示され、該撮影指示に応じてそれぞれ撮影処理が行われる。
【００５０】
「人識別出力」は、スルー画像に含まれる「顔」を検出し、その「顔」が所定人物の「顔」であることを識別したタイミングを表す。本実施形態では、スルー画像に基づいて逐次「顔」検出が行われ、そのうち「１」、「４」、「６」、「９」の４回「顔」の人物が識別される。本例では、たとえば、４回ともに同じ人物「□△くん」が識別される。
【００５１】
「ＯＣＲ出力」は、スルー画像に含まれる「文字」を特定したタイミングを表す。本実施形態では、スルー画像に基づいて逐次ＯＣＲ処理が行われ、そのうち「２」、「５」で示される２回「文字」が特定される。本例では、たとえば、「２」のタイミングで文字「運動会」が特定され、「５」のタイミングで文字「３年生」が特定される。
【００５２】
「大音響」は、所定レベル以上の入力音量があったタイミングを表す。本実施形態では、たとえば、「３」、「７」、「８」で示される３回、音声信号が所定レベル以上で入力される。たとえば、「３」のタイミングで「場内アナウンス」があり、「７」のタイミングで「太鼓」が鳴り、「８」のタイミングで「歓声」が沸き上がる。
【００５３】
「場所」は、ＧＰＳモジュール２３によってＧＰＳ衛星２０１、２０２からの電波が受信されている通信状態を表し、Ｈレベルが通信状態（測位情報を取得する）を表し、Ｌレベルが非通信状態を表す。
【００５４】
「明るさ」は、撮像信号レベルに基づく輝度情報を表し、Ｈレベルが所定値以上を表し、Ｌレベルが所定値未満を表す。本実施形態では、輝度情報レベルに基づいて２回のシーンチェンジ判定が行われることにより、シーン番号が「１」から「２」へ、さらに「２」から「３」へとインクリメントされる。
【００５５】
撮影指示タイミング「Ａ」、人識別タイミング「１」およびＯＣＲ出力タイミング「２」は、シーン番号１に対応する。すなわち、撮影指示タイミング「Ａ」に応じて撮影・生成される画像ファイルには、撮影指示タイミング「Ａ」前に生成されている「□△くん」を示すメタデータと、撮影指示タイミング「Ａ」後に生成される「運動会」を示すメタデータとが記録される。
【００５６】
撮影指示タイミング「Ｂ」、「Ｃ」、人識別タイミング「４」、「６」、ＯＣＲ出力タイミング「５」、および大音響タイミング「３」、「７」は、シーン番号２に対応する。シーン番号２に対応付けられる２つの画像ファイルは、撮影指示タイミング「Ｂ」に応じて撮影・生成される画像ファイルと、撮影指示タイミング「Ｃ」に応じて撮影・生成される画像ファイルである。これら２つの画像ファイルには、それぞれ同じメタデータが記録される。すなわち、撮影指示タイミング「Ｂ」前に生成されている「□△くん」を示すメタデータ、撮影指示タイミング「Ｂ」後に生成される「３年生」を示すメタデータおよび「□△くん」を示すメタデータが記録される。
【００５７】
撮影指示タイミング「Ｄ」、人識別タイミング「９」、および大音響タイミング「８」は、シーン番号３に対応する。撮影指示タイミング「Ｄ」に応じて撮影・生成される画像ファイルには、撮影指示タイミング「Ｄ」後に生成される「□△くん」を示すメタデータが記録される。
【００５８】
＜画像ファイル再生処理＞
電子カメラ１のＣＰＵ１５は、操作部材２０からの操作信号によって再生モードへの切替えが指示されると再生モードに切り替え、図７に例示する画像ファイル再生処理を繰り返し実行する。図７は、ＣＰＵ１５が実行する処理の流れを説明するフローチャートである。
【００５９】
図７のステップＳ３０１において、ＣＰＵ１５は、記録媒体４０内に記録されている各画像ファイルからメタデータを読み込んでステップＳ３０２へ進む。ステップＳ３０２において、ＣＰＵ１５は、記録媒体４０内に記録されている上記各画像ファイルからサムネイル画像データを読み込んでステップＳ３０３へ進む。
【００６０】
ステップＳ３０３において、ＣＰＵ１５は、サムネイル画像データに基づく再生画像をＬＣＤパネル１４に並べて表示（一覧表示）させてステップＳ３０４へ進む。ステップＳ３０４において、ＣＰＵ１５は、メタデータに基づくテキストをサムネイル画像に重ねて表示させてステップＳ３０５へ進む。１つのサムネイル画像に対応する複数のメタデータが存在する場合は、代表のメタデータ（たとえば、顔検出処理に基づいて生成された「□△くん」）のみを表示させる。
【００６１】
ステップＳ３０５において、ＣＰＵ１５は、再生表示すべき画像ファイルが指示されたか否かを判定する。ＣＰＵは、操作部材２０からの操作信号によって画像ファイルの選択指示を受け付けると、ステップＳ３０５を肯定判定してステップＳ３０６へ進む。ＣＰＵ１５は、画像ファイルの選択指示を受け付けていない場合にはステップＳ３０５を否定判定し、当該判定処理を繰り返す。
【００６２】
ステップＳ３０６において、ＣＰＵ１５は、指示された画像ファイルを記録媒体４０から読み出し、JPEG圧縮コードに対する伸長処理を施してステップＳ３０７へ進む。これにより、画像ファイル内の本撮影画像が伸長処理される。
【００６３】
ステップＳ３０７において、ＣＰＵ１５は、伸長処理後の本画像データによる再生画像をＬＣＤパネル１４に表示させてステップＳ３０８へ進む。ステップＳ３０８において、ＣＰＵ１５は、メタデータに基づくテキストをサムネイル画像に重ねて表示させて図７による処理を終了する。１つの本撮影画像に対応する複数のメタデータが存在する場合は、全てのメタデータ（たとえば、顔検出処理に基づいて生成された「□△くん」、ＯＣＲ処理に基づいて生成された「運動会」）を表示させる。
【００６４】
以上説明した実施形態によれば、次の作用効果が得られる。
（１）電子カメラ１のＣＰＵ１５は、記録媒体４０に記録する画像と別に、顔検出処理、光学式文字読取り処理、および音声認識処理に基づく情報と、電子カメラ１の動作情報とを少なくとも記録する画像より後から取得し、取得情報に基づいてメタデータを生成し、生成されたメタデータと記録する画像とを関連づけて記録媒体４０に記録する。これにより、何を撮影した画像であるかを画像観察者に思い出させるのに役立つ情報が記録され、当該画像からの情景理解を助けることができる。
【００６５】
（２）情報の取得は、電子カメラ１の電源オン時に所定時間ごとに行い、ＣＰＵ１５は、取得された最新の情報に基づいて逐次メタデータを生成するので、記録する画像を撮影した以降の新しい情報をメタデータに含めることができる。
【００６６】
（３）所定条件に基づいてシーンチェンジを判定し、ＣＰＵ１５は、次にシーンチェンジ判定されるまでに取得された最新の情報に基づいて逐次メタデータを生成するので、記録する画像を撮影した以降であってシーンチェンジ前までの新しい情報をメタデータに含めることができる。
【００６７】
（４）次にシーンチェンジ判定されるまでに逐次生成される複数のメタデータを、次にシーンチェンジ判定されるまでに取得される複数の画像のそれぞれに関連づけて記録媒体４０に記録するようにしたので、シーンチェンジ間に撮影された複数の画像のそれぞれに対して共通に複数のメタデータを関連付けることができる。
【００６８】
（５）次にシーンチェンジ判定されるまでに逐次生成される複数のメタデータをメタデータバッファ（ＳＤＲＡＭ１６内）に蓄積し、メタデータバッファに蓄積されているメタデータを複数の画像のそれぞれに関連付けて記録するので、シーンチェンジ間隔が長い場合でも確実にメタデータを保存しておくことができる。
【００６９】
（変形例１）
メタデータを格納するメタデータファイルを生成し、このメタデータファイルを記録媒体４０に記録するようにしてもよい。メタデータファイルには、生成された全てのメタデータを各シーン番号に対応付けて格納する。各シーンの先頭時刻（シーン番号がインクリメントされた時刻）、および各シーンの終了原因（シーン番号をインクリメントする際のシーンチェンジ判定要因）を示す情報もメタデータファイルに含める。
【００７０】
（変形例２）
シーン番号に対応付けられた撮影画像を示す写真リストファイルを生成し、この写真リストファイルを記録媒体４０に記録するようにしてもよい。写真リストファイルには、シーン番号に対応付けられた全ての画像ファイルのサムネイル画像データを格納する。
【００７１】
以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。
【符号の説明】
【００７２】
１…電子カメラ
１１…撮像素子
１２…画像処理回路
１４…ＬＣＤパネル
１５…ＣＰＵ
１６…ＳＤＲＡＭ
２０…操作部材
２１…音声処理回路
２２…マイク
２３…ＧＰＳモジュール
４０…記録媒体
【特許請求の範囲】
【請求項１】
情報取得手段と、
記録する画像と別に、少なくとも前記画像より後から前記情報取得手段によって取得される取得情報に基づいてメタデータを生成するメタデータ生成手段と、
前記生成されたメタデータと前記画像とを関連づけて記録する情報記録手段とを備えることを特徴とする画像記録装置。
【請求項２】
請求項１に記載の画像記録装置において、
前記情報取得手段は、電源オン時に所定時間ごとに情報を取得し、
前記メタデータ生成手段は、前記情報取得手段によって取得された最新の情報に基づいて逐次メタデータを生成することを特徴とする画像記録装置。
【請求項３】
請求項２に記載の画像記録装置において、
所定条件に基づいてシーンチェンジを判定する判定手段をさらに備え、
前記メタデータ生成手段は、次にシーンチェンジ判定されるまでに前記情報取得手段によって取得された最新の情報に基づいて逐次メタデータを生成することを特徴とする画像記録装置。
【請求項４】
請求項３に記載の画像記録装置において、
前記情報記録手段は、前記次にシーンチェンジ判定されるまでに前記逐次生成される複数のメタデータを、前記次にシーンチェンジ判定されるまでに取得される複数の画像のそれぞれに関連づけて記録することを特徴とする画像記録装置。
【請求項５】
請求項４に記載の画像記録装置において、
前記次にシーンチェンジ判定されるまでに前記逐次生成される複数のメタデータを蓄積するメタデータ蓄積手段をさらに備え、
前記情報記録手段は、前記メタデータ蓄積手段に蓄積されているメタデータを前記複数の画像のそれぞれに関連付けて記録することを特徴とする画像記録装置。
【請求項１】
情報取得手段と、
記録する画像と別に、少なくとも前記画像より後から前記情報取得手段によって取得される取得情報に基づいてメタデータを生成するメタデータ生成手段と、
前記生成されたメタデータと前記画像とを関連づけて記録する情報記録手段とを備えることを特徴とする画像記録装置。
【請求項２】
請求項１に記載の画像記録装置において、
前記情報取得手段は、電源オン時に所定時間ごとに情報を取得し、
前記メタデータ生成手段は、前記情報取得手段によって取得された最新の情報に基づいて逐次メタデータを生成することを特徴とする画像記録装置。
【請求項３】
請求項２に記載の画像記録装置において、
所定条件に基づいてシーンチェンジを判定する判定手段をさらに備え、
前記メタデータ生成手段は、次にシーンチェンジ判定されるまでに前記情報取得手段によって取得された最新の情報に基づいて逐次メタデータを生成することを特徴とする画像記録装置。
【請求項４】
請求項３に記載の画像記録装置において、
前記情報記録手段は、前記次にシーンチェンジ判定されるまでに前記逐次生成される複数のメタデータを、前記次にシーンチェンジ判定されるまでに取得される複数の画像のそれぞれに関連づけて記録することを特徴とする画像記録装置。
【請求項５】
請求項４に記載の画像記録装置において、
前記次にシーンチェンジ判定されるまでに前記逐次生成される複数のメタデータを蓄積するメタデータ蓄積手段をさらに備え、
前記情報記録手段は、前記メタデータ蓄積手段に蓄積されているメタデータを前記複数の画像のそれぞれに関連付けて記録することを特徴とする画像記録装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１０−２４５６０７（Ｐ２０１０−２４５６０７Ａ）
【公開日】平成２２年１０月２８日（２０１０．１０．２８）
【国際特許分類】
【出願番号】特願２００９−８９０２０（Ｐ２００９−８９０２０）
【出願日】平成２１年４月１日（２００９．４．１）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２２年１０月２８日（２０１０．１０．２８）
【国際特許分類】
【出願日】平成２１年４月１日（２００９．４．１）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]