説明

撮像装置、画像編集装置及び画像編集プログラム

【課題】 数多くの画像を用いた画像検索や加工・編集処理を実行する場合の作業を効率的に行う。
【解決手段】 取得された画像データを用いて被写体及び該被写体の領域を示す被写体情報を取得する情報取得手段と、少なくとも被写体の領域における特性情報を検出する特性検出手段と、被写体情報と特性情報とを関連付けて画像データに付帯する付帯手段と、被写体情報と特性情報とが付帯された画像データを記憶する記憶手段と、を備えたことを特徴とする。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像により得られた画像データを記録する撮像装置や、この撮像装置によって得られた画像データを用いて加工、編集等を行う画像編集装置及び画像編集プログラムに関する。
【背景技術】
【0002】
従来、デジタルカメラ等においては、取得された複数の画像の縮小画像(サムネイル画像)をデジタルカメラに設けられたLCDモニタに表示し、ユーザの意図する原画像を表示することが一般的である。この表示により、ユーザは意図する画像を保存或いは消去するなど、画像を選択することができる。
【0003】
最近では、取得された画像データに対して、加工・編集処理を実行可能な画像編集装置が提案されている(例えば特許文献1参照)。この画像編集装置においては、例えば複数の画像データを1画像データ毎に加工・編集処理を実行し、処理後の画像データを表示するようにしている。
【特許文献1】特開2000−151974号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、ユーザが意図する画像の検索(以下、画像検索)や、画像検索によって得られた画像に対して加工・編集処理を行う場合には、全ての画像から、ユーザの意図する画像であるか否かを確認する必要があることから、数多くの画像を用いた画像検索や加工・編集処理を実行する場合の作業を効率的に行うことは困難である。
【0005】
本発明は、上述した課題を解決するために発明されたものであり、被写体に関する情報を画像データの付帯情報として記憶できる撮像装置を提供することを目的とする。また、撮像装置において取得された画像データの付帯情報を利用して容易に画像検索や画像編集を行うことができるようにした画像編集装置及び画像編集プログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
第1の発明の撮像装置は、取得された画像データを用いて被写体及び該被写体の領域を示す被写体情報を取得する情報取得手段と、少なくとも前記被写体の領域における特性情報を検出する特性検出手段と、前記被写体情報と前記特性情報とを関連付けて前記画像データに付帯する付帯手段と、前記被写体情報と前記特性情報とが付帯された画像データを記憶する記憶手段と、を備えたことを特徴とする。
【0007】
第2の発明は、第1の発明において、前記特性検出手段は、撮像時の画面範囲を格子状に分割することで得られる複数の領域のうち、前記被写体の領域に合致する領域のデフォーカス情報を前記特性情報として検出することを特徴とする。
【0008】
第3の発明は、第2の発明において、前記特性検出手段は、前記デフォーカス情報の他に、前記被写体の領域におけるノイズ情報を前記特性情報として検出することを特徴とする。
【0009】
第4の発明の画像編集装置は、画像データを取得するデータ取得手段と、前記画像データを用いて被写体及び該被写体の領域を示す被写体情報を取得する情報取得手段と、前記被写体の領域における特性情報を検出する特性検出手段と、前記被写体情報と前記特性情報とを関連付けて前記画像データに付帯する付帯手段と、前記被写体情報と前記特性情報とが付帯された画像データを記憶する記憶手段と、を備えたことを特徴とする。
【0010】
第5の発明は、第4の発明において、前記画像データは、撮像時の画面範囲を格子状に分割した複数の領域のそれぞれにおけるデフォーカス情報を付帯しており、前記特性検出手段は、複数の領域に対するデフォーカス情報から、前記被写体の領域に該当するデフォーカス情報を前記特性情報として検出することを特徴とする。
【0011】
第6の発明は、第5の発明において、前記特性検出手段は、前記デフォーカス情報の他に、前記被写体の領域におけるノイズ量を前記特性情報として検出することを特徴とする。
【0012】
第7の発明は、第4〜6の発明のいずれかにおいて、被写体を指定する際に操作される入力操作手段と、前記記憶手段に記憶された画像データから、前記指定された被写体が存在する画像データを抽出するデータ抽出手段と、を備えていることを特徴とする。
【0013】
第8の発明は、第7の発明において、前記データ抽出手段によって抽出された画像データに付帯された特性情報から、画像補正時のパラメータを設定するパラメータ設定手段と、前記処理パラメータを用いて前記画像データに対する画像補正を行う画像補正手段と、を備えていることを特徴とする。
【0014】
第9の発明は、第8の発明において、前記パラメータ設定手段は、前記入力操作手段によって指定された被写体以外の被写体の領域に対する画像補正時のパラメータを、該当する被写体に対する特性情報と、前記指定された被写体の特性情報とを用いて設定することを特徴とする。
【0015】
第10の発明は、第8又は第9の発明において、前記画像補正手段により補正された画像データに基づく画像において、画質破綻が生じている領域があるか否かを判定する判定手段と、前記画質破綻が生じている領域があると判定された場合に、前記画像におけるクロップ領域を設定する領域設定手段と、を備えていることを特徴とする。
【0016】
第11の発明の画像編集プログラムは、取得された画像データから、被写体及び該被写体の領域を示す被写体情報を取得するステップと、前記被写体の領域における特性情報を検出するステップと、前記被写体情報と前記特性情報とを関連付けて前記画像データに付帯するステップと、前記被写体情報と前記特性情報とが付帯された画像データを記憶するステップと、をコンピュータで実現させることを特徴とする。
【発明の効果】
【0017】
本発明の記憶装置によれば、画像の取得時に被写体情報及び特性情報を取得するので、これら情報から容易に画像補正時のパラメータを自動的に算出することができ、従来では画像補正時に画像を見ながら適正な画像補正を行う作業を省略することで効率的な加工・編集作業を行うことができる。
【0018】
また、本発明の画像編集装置や画像編集プログラムによれば、画像の取得時に得られる被写体情報及び特性情報から画像補正時のパラメータを容易に算出することができるので、画像を見ながら適正な画像補正をユーザが指定しなくとも、自動的に効率的な編集作業を行うことができる。
【発明を実施するための最良の形態】
【0019】
図1はデジタルカメラ10の構成の一例を示す概略図である。デジタルカメラ10はカメラ本体11とレンズ鏡胴12とから構成され、レンズ鏡胴12がカメラ本体11に対して着脱可能となっている。レンズ鏡胴12の内部には撮像光学系13が配置される。この撮像光学系13を構成するズームレンズやフォーカスレンズは、レンズ鏡胴12をカメラ本体11に取り付けたときに、カメラ本体11に設けられたレンズ駆動部15によって、光軸Lに沿って移動制御される。
【0020】
カメラ本体11の内部には、撮影機構として、ミラーボックス20、フォーカルプレーンシャッタ21、例えばCCD等の撮像素子22が光軸Lに沿って配置される。
【0021】
ミラーボックス20の内部には、クイックリターンミラー25と、このクイックリターンミラー25の背面に付設されたサブミラー26とが配置される。クイックリターンミラー25は、その中央部が光を透過するハーフミラーになっている。このクイックリターンミラー25は図中実線で示す観察位置と、図中点線で示す退避位置との間で切り替え可能である。なお、符号27はミラー駆動部であり、ミラー駆動部27によって、クイックリターンミラー25が観察位置と退避位置との間で切り替えられる。
【0022】
例えば、クイックリターンミラー25が観察位置にあるときには、クイックリターンミラー25がフォーカルプレーンシャッタ21及び撮像素子22の前方で傾斜しており、撮像光学系12から撮像素子22までの撮像光路に対して交差した状態にある。この状態では、撮像光学系12を通過した光束のうち、クイックリターンミラー25の中央部に到達する光束のみがクイックリターンミラー25を透過し、サブミラー26に導かれる。サブミラー26へと導かれた光束は、サブミラー26にて下方に反射され、後述するAFセンサ30に導かれる。一方、クイックリターンミラー25を透過しない残りの光束は、クイックリターンミラー25により上方に反射される。
【0023】
また、クイックリターンミラー25が退避位置にあるときには、クイックリターンミラー25は観察位置から上方に跳ね上げられることから、撮像光路から外れる。クイックリターンミラー25が退避位置にある場合には、撮像光学系13を通過した光束はフォーカルプレーンシャッタ21及び撮像素子22に導かれる。
【0024】
カメラ本体11には、AF(オートフォーカス)センサ30、AF用補助光源31がさらに配置される。AFセンサ30は、撮像光学系13における焦点状態を検出するものである。図2に示すように、AFセンサ30は、撮像素子22の撮像範囲と同一の大きさからなる受光面30aを備えている。このAFセンサ30の受光面30aを例えば縦5個×横5個の計25個の領域(図2中符号35〜59)に分割し、それら分割された領域のそれぞれを、焦点状態の測定(フォーカス測定)を行う領域(AFエリア)としている。図2においては、各AFエリアの中心を+印で示してある。例えばフォーカス制御時の焦点評価領域を指定せずにオートフォーカス制御(自動合焦動作)を行う場合、レリーズボタンが半押し操作されると、焦点評価領域として中央のAFエリア47が指定される。一方、ユーザが焦点評価領域を指定してオートフォーカス制御を行う場合には、焦点評価領域として、ユーザによる操作部71の操作時に選択されたAFエリアが指定される。
【0025】
また、レリーズボタンが全押し操作されたときには、上述した25個のAFエリア35〜59の全てでフォーカス測定される。なお、フォーカス測定の結果は、メモリ77に記憶される。
【0026】
図1に戻って、ミラーボックス20の上方には、焦点光学系として、焦点板65と、コンデンサレンズ66と、ペンタプリズム67と、接眼レンズ68とが配置される。焦点板65は、観察位置にあるクイックリターンミラー25で反射された光束を一旦結像させる。焦点板65上で結像した光束はコンデンサレンズ66およびペンタプリズム67を通過し、ペンタプリズム67の入射面に対して90°偏向した射出面からカメラ本体11の後方に導かれ、接眼レンズ68を介してファインダを覗くユーザの眼に投影される。上述した焦点板65上で結像した光束の一部は、コンデンサレンズ66およびペンタプリズム67を通過した後、ペンタプリズム67の近傍に設けられたAEセンサ69に導かれ、被写体の輝度値の測定を行う。
【0027】
液晶モニタ70はカメラ本体11の背面に設けられ、画像表示の他に、操作メニューや設定内容などが表示される。操作部71は、撮像時の設定や、画像表示などの際に操作される。なお、この操作部71は、上述したレリーズボタンを含んで構成される。メモリカードには、後述する画像処理部76において記憶保存用の画像データに画像処理された画像データIDが記憶される。このメモリカード80に記憶される画像データIDは、後述する被写体情報や特性情報を付帯情報とした画像データIDである。
【0028】
このデジタルカメラ10は、制御部75によって統括的に制御される。制御部75は、予め記憶されたプログラムに基づいて、カメラ本体11の各部の動作を制御する。カメラ本体11の各部の動作としては、例えば、使用するフォーカスモードやAFエリアの設定、AF演算やAE演算、液晶モニタ70の表示制御、レンズ駆動部15の制御、ミラー駆動部27の制御などが挙げられる。
【0029】
画像処理部76は、撮像素子22の出力に基づいた画像データIDに対して、輪郭補償、ガンマ補正、ホワイトバランス調整等の処理を行う。この画像処理部76によって画像処理された画像データIDは、メモリ77に記憶される。
【0030】
被写体情報取得部78は、画像データIDから被写体を検出する。被写体を検出する方法としては、例えば被写体が人物である場合には、画像データIDから目、口などの特徴量を求めることで顔検出を行い、被写体を検出することが挙げられる。被写体を検出する方法としては、人物、動物、植物の他に、ランドマーク等の基準パターンを予め記録させておき、この基準パターンを用いたパターンマッチングにより被写体を検出する方法が挙げられる。
【0031】
被写体情報取得部78は、画像データIDから被写体が検出されたときに、検出された被写体の領域(以下、被写体領域)を特定する。図3に示すように、例えば画像範囲90を、AFエリアに対応した縦5個×横5個の計25個の領域A1〜A25に分割し、画像P1から検出された被写体が該当する領域を被写体領域として特定する。なお、図3においては、図の煩雑さを解消するために、撮像された画像P1と、複数の領域に分割される画像範囲90とを別個に示している。なお、本実施形態では、画像範囲90を分割して得られる複数の領域のそれぞれの領域は、AFエリアの各エリアと対応している。
【0032】
例えば撮像された画像P1から被写体として人物X、人物Yが検出された場合には、人物Xの被写体領域は、領域A12,A17,A22となり、人物Yの被写体領域は領域A13,A18,A23となる。この被写体情報取得部78において、被写体(特徴量を含む)が検出され、被写体領域が特定されると、制御部75は、これらを被写体情報として画像データIDに付帯する。これと同時に、制御部75は、特定された被写体領域に対応するAFエリアのデフォーカス量を特性情報の一つとして画像データIDに付帯する。なお、画像データに付帯されるデフォーカス量は、被写体領域に対応するAFエリアのデフォーカス量としているが、全AFエリアのそれぞれのエリアにおけるデフォーカス量を特性情報として付帯してもよい。
【0033】
ノイズ量算出部79は、被写体領域検出部78において検出された被写体領域におけるノイズ量を算出する。図3に示すように、人物Xの被写体領域が領域A12,A17,A22となる場合には、領域A12,A17,A22におけるノイズ量をそれぞれ算出する。なお、ノイズ量の算出方法としては、以下の方法が挙げられる。
【0034】
自動露出(AE)制御時の動作は、測光データに基づいて、絞り、シャッタ速度、画像データの増幅率を適応的に変化させることで実現される。また、個別領域毎の自動露出制御を行う場合には、個別領域の画像データを適応的に増幅することもできる。本実施形態では、例えば画像データの増幅率を用いてノイズ量を算出する。つまり、画像データの増幅率が大きければ大きいほど、ノイズ量が多いと判断する。この場合、予め増幅率とノイズ量とを対応付けたテーブルデータを予め用意しておけばよい。この他に、例えば撮像素子の温度が高いとノイズ量が大きくなることがわかっていることから、撮像時における撮像素子の温度を検出して、検出された温度からノイズ量を求めることも可能である。
【0035】
なお、このノイズ量算出部79にて算出された各被写体領域のノイズ量は、それぞれ特性情報の一つとして画像データIDに付帯される。
【0036】
次に、撮像時の操作の流れを図4のフローチャートに基づいて説明する。デジタルカメラ10における撮像処理は以下の手順で実行される。
【0037】
ステップS301:ユーザは、デジタルカメラ10の撮像光学系13を被写体に向け、操作部71のレリーズボタンを半押しする。
【0038】
ステップS302:レリーズボタンの半押し時に得られるAEセンサ69の輝度値情報を用いて、制御部75は、被写体の明るさを判断する。この判断において、被写体が暗い(輝度値が所定値より低い)場合、AF用補助光源31を投光させる。一方、被写体が十分に明るい(輝度値が所定値より高い)と判断した場合は、AF用補助光源31を投光させる処理は省略される。
【0039】
ステップS303:レリーズボタンを半押しした状態で、制御部75は、前述のようにAFセンサ30の予め指定したAFエリアからデフォーカス量を取り込んで、撮像光学系13のフォーカスレンズにおける合焦位置を求める。例えば、焦点評価領域を指定せずにオートフォーカス制御を行う場合には、例えば図2に示すAFエリア47におけるデフォーカス量が取り込まれる。一方、マニュアルでフォーカス制御を行う場合には、ユーザが選択したAFエリアにおけるデフォーカス量を取り込んで、撮像光学系13における合焦位置を求める。
【0040】
ステップS304:制御部75は、ステップS303で求めた合焦位置に撮像光学系13を合わせるように、レンズ駆動部15に指令する。
【0041】
ステップS305:レンズ駆動部15により、撮像光学系13のフォーカスレンズを合焦位置に移動させ、フォーカスを固定する。すなわち、レリーズボタンの半押し状態が維持されている間は撮像光学系13のフォーカスレンズの位置が固定され焦点状態が維持されている(フォーカスロック)。なお、フォーカスロック後は、レリーズボタンの半押状態が解除され、再度レリーズボタンが半押しされるまで撮像光学系13のフォーカスレンズにおける焦点調節動作は行われない。
【0042】
ステップS306:ユーザは、レリーズボタンを半押ししたままデジタルカメラ10を左右上下に動かして構図を修正する。なお、構図を修正しない場合には、このステップS306は省略される。
【0043】
ステップS307:ユーザは、半押ししていたレリーズボタンをそのまま全押しして撮像動作を行う。レリーズボタンが全押し操作されると、制御部75は、操作部71のレリーズボタンが全押しされたことを認識する。
【0044】
ステップS308:レリーズボタンの全押し操作が認識されると、ステップS302と同様に、被写体が暗い(輝度値が所定値より低い)と判断した場合、AF用補助光源31を投光させる。
【0045】
ステップS309:制御部75は、AFセンサ30の全AFエリアからデフォーカス量を取り込んで、メモリ77に記憶する。AF補助光源31が投光されている場合は、AFセンサ30によるデフォーカス量の取得が終了した後にAF補助光源31を消灯する。
【0046】
ステップS310:制御部75は、ミラー駆動部27に指令して、ミラーボックス20のクイックリターンミラー25およびサブミラー26を退避位置に移動させる。
【0047】
ステップS311:制御部75は、フォーカルプレーンシャッタ21を所定のシャッタ速度で開く。このフォーカルプレーンシャッタ21が開いたときに、撮像素子22にて光電変換された画像信号を、メモリ77に記憶する。その後、メモリ77に記憶された画像データIDは画像処理部76によって画像処理され、画像処理された後の画像データIDがメモリ77に記憶される。
【0048】
ステップS312:制御部75は、フォーカルプレーンシャッタ21を閉じると共に、ミラー駆動部27に指令して、ミラーボックス20のクイックリターンミラー25およびサブミラー26を待避位置から観察位置に復帰させる。
【0049】
ステップS313:被写体情報取得部78を制御して、記憶された画像データIDから被写体を検出する。被写体を検出した後、被写体領域が特定される。図3に示すように、画像P1から検出された被写体が人物X,人物Yとすると、これら人物X、人物Yの被写体領域を特定する。画像範囲90をAFエリアのそれぞれに対応するように、複数の領域A1〜A25に分割した場合、人物Xの被写体領域は領域A12,A17,A22、人物Yの被写体領域は、領域A13,A18,A23となる。
【0050】
ステップS314:ステップS313において特定された被写体領域のそれぞれについてノイズ量を算出する。このステップS314の処理は、例えば予め増幅率とノイズ量とを対応付けたテーブルデータを用いて、画像データの増幅率に対応するノイズ量を求める。
【0051】
ステップS315:制御部75は、ステップS309にて求めたそれぞれのAFエリアのデフォーカス量と、ステップS314にて算出したノイズ量とを、特性情報として画像データIDに付帯する。これと同時に、制御部75は、ステップS313にて検出された被写体の特徴量や被写体領域を被写体情報として画像データIDに付帯する。
【0052】
以上の撮像動作を終了して、再び、撮像待機状態に戻る。このようにして、撮像される毎に、被写体の検出、被写体領域の特定、ノイズ量の算出が行われ、これら情報が画像データIDに付帯されていく。なお、上述した特性情報や被写体情報が付帯された画像データIDは、メモリカード80に記憶される。
【0053】
尚、上記のフローチャートでは、ステップS307でレリーズボタンを全押し操作してから撮影動作が終了するまでの処理を細かく分けて説明したが、実際には、ステップS307からS315までの動作は、非常に短い時間内に行われる。
【0054】
次に、上述した撮像処理が行われることで得られた画像データIDを編集する場合について説明する。図5は、画像編集装置100の構成を示す概略図である。なお、図5においては、メモリカード80をメモリスロット115に挿入することで画像データIDを読み出すことができる画像編集装置100としているが、上述したデジタルカメラ10と画像編集装置100とをUSBケーブル等の接続手段を用いて電気的に接続し、メモリカード80に記憶された画像データIDを画像編集装置100にて読み出すようにしてもよい。
【0055】
画像編集装置100は、CPU101、データ処理部102、データベース103、LCDモニタ104等を備えており、これらがバス105によって接続されている。CPU101は、予め記憶されたプログラムに基づいて画像編集装置100の各部を制御する。このCPU101はプログラムを実行することで、被写体情報取得部110、ノイズ量算出部111、被写体特定部112及び画像抽出部113として機能する。なお、被写体情報取得部110、ノイズ量検出部111については、図1に示す被写体情報取得部78及びノイズ量検出部79と同一の機能を有していることから、ここでは詳細については省略する。
【0056】
被写体特定部112は、メモリスロット115に差し込まれたメモリカード80から画像データIDを読み出し、画像データIDに付帯された被写体情報から、画像内に含まれる被写体を特定する。この被写体の特定は、データベース103に格納された基本データ116を用いて実行される。基本データ116は、名称(氏名や通称など)と、名称を示す画像データや特徴量を示すデータが対応付けられたデータである。なお、データベース103には、人物、人物を除く動物、植物、昆虫、ランドマークなどが、それぞれ分類されている。つまり、基本データが人物を示す場合には、画像データとして顔画像データが挙げられ、特徴量としては、目、口、顔の輪郭などが挙げられる。また、対象が人物を除く動物、植物、昆虫及びランドマークとなる場合には、顔画像データの代わりに、これら対象を特定できる画像データが用いられる。被写体特定部112は、被写体情報から被写体の特徴量を読み出し、基本データの特徴量と比較することで、該当する被写体の特定、つまり、被写体の名称(氏名や正式名称など)が特定される。なお、特定された被写体の名称は、画像データIDに付帯された被写体情報に書き加えられる。
【0057】
画像抽出部113は、データベース103に記憶された画像データIDに付帯された被写体情報を参照しながら、指定された被写体(例えば人物の氏名など)が含まれる画像データIDを検索する。なお、被写体の指定は、例えばユーザが操作部116を操作することで実行可能となる。入力された被写体の種類に該当する画像データIDがある場合には、その画像データIDのデータ名をメモリ125に記憶する。
【0058】
データ処理部102は、データベース103に記憶された画像データIDから指定された画像データIDが検索された場合に、検索された画像データIDに対して画像補正を行う。このデータ処理部102は、ハイパスフィルタ120、コアリング回路121、調整回路122及び加算回路123を備えている。
【0059】
ハイパスフィルタ120は、画像データIDにおける空間周波数のうち、予め設定された遮断周波数よりも低い周波数の帯域を遮断することで、遮断周波数よりも高い周波数を抽出する。コアリング回路121は、ハイパスフィルタ120によって高周波成分が抽出された画像データIDにおけるノイズ成分を除去する。調整回路122は、ハイパスフィルタ120における遮断周波数を調整する他に、コアリング回路121において除去対象となるノイズ成分の波長域を調整する。
【0060】
加算回路123は、データ処理部102に入力された画像データIDに対して、ハイパスフィルタ120及びコアリング回路121によって高周波成分のみが抽出された画像データIDを加算する処理を行う。この加算回路123によって、遮断周波数以上の周波数成分が強調された画像データIDが生成される。なお、このデータ処理部102によって画像補正された画像データIDはメモリ125に記憶される。
【0061】
LCDモニタ104は、入力画面を表示する、又は画像補正された画像データIDを用いた画像表示を行う。なお、符号126は表示制御部であり、この表示制御部126によってLCDモニタ104の表示制御が実行される。データベース103は、画像データIDから検出された被写体の名称を特定するための基本データ116や、デジタルカメラ10にて取得された画像データIDが格納される。操作部127は、意図する画像データIDを検索する際や、検出された画像データIDを選択する等の入力操作を行う。
【0062】
次に、データベース103に画像データIDを記憶する際の手順について図6に示すフローチャートに基づいて説明する。メモリスロット115にメモリカード80が差し込まれると、ステップS401の処理が開始される。
【0063】
ステップS401:CPU101は、メモリスロット115に差し込まれたメモリカード80から画像データIDを取り込む。
【0064】
ステップS402:CPU101は、ステップS401の処理を行うことで取り込まれた画像データIDから付帯情報の読み取りを行う。
【0065】
ステップS403:CPU101は、ステップS402の処理で読み取られた画像データIDの付帯情報として被写体情報があるか否かを判定する。このステップS403において、付帯情報として被写体情報がないと判定された場合には、ステップS404に進む。一方、付帯情報として被写体情報があると判定された場合には、ステップS407に進む。
【0066】
ステップS404:ステップS403において被写体情報が付帯情報にないと判定された場合の処理である。このステップS404においては、被写体情報取得部110により画像データIDから被写体が検出される。このステップS404の処理は、図4に示すフローチャートのステップS113の被写体を検出する処理と同様であるので、ここでは省略する。
【0067】
ステップS405:ステップS404において被写体が検出された場合に、被写体領域を特定する処理である。このステップS405の処理は、ステップS404の処理と同様に被写体情報取得部110で実行される。図4に示すフローチャートのステップS113の被写体領域を特定する処理と同様であるので、ここでは省略する。
【0068】
ステップS406:ステップS404の処理を実行したときに検出された被写体の特徴量、及びステップS405の処理を実行したときに得られる被写体領域を被写体情報として画像データIDに付帯する処理である。なお、被写体が検出されない場合には、ステップS405及びステップS406の処理は省略される。
【0069】
ステップS407:CPU101は、画像データIDの付帯情報に、特性情報があるか否かを判定する処理である。このステップS407において、付帯情報として特性情報がない場合にはステップS408に進む。一方、付帯情報として特性情報がある場合にはステップS410に進む。
【0070】
ステップS408:ノイズ量算出部111は、被写体領域におけるノイズ量を算出する。この処理については、図4に示すフローチャートのステップS114の処理と同一であることから、その詳細を省略する。
【0071】
ステップS409:CPU101は、算出されたノイズ量を特性情報とする付帯情報を画像データIDに付帯する処理である。つまり、ステップS409の処理が実行されることで、画像データIDの付帯情報が更新される。
【0072】
ステップS410:被写体特定部112は、画像データIDの被写体情報を用いて、被写体の特定を行う処理である。このステップS410を行うことで、画像から検出された被写体の名称が特定される。被写体の名称が特定されると、特定された名称が被写体情報に書き加えられ、画像データIDが更新される。
【0073】
ステップS411:CPU101は、ステップS410において更新された画像データIDをデータベース103に格納する。なお、この格納方法としては、例えば特定された名称と同一の名称の画像データが格納されている場合には、それら画像データと、新たに格納する画像データとを関連付けて格納される。これにより、データベース103が更新される。
【0074】
次に、画像編集装置100を用いて画像検索を行う手順について図7のフローチャートを用いて説明する。
【0075】
ステップS501:ユーザが取得したい被写体の名称、つまり検索対象となる名称を入力する処理である。
【0076】
ステップS502:画像抽出部113は、データベース103に格納された画像データIDから該当する画像データIDを抽出する。詳細には、画像抽出部113は、画像データIDに付帯された被写体情報を読み出し、ステップS501において入力された名称と合致するか否かによって対象となる画像データIDを抽出する。なお、入力された名称と合致する被写体を有する画像データIDがある場合には、その画像データIDのデータ名をメモリ125に記憶していく。
【0077】
図8に示すように、例えば画像P1、P2、P3の3つの画像から対象となる画像を検索する際に人物Xの名称を入力した場合について説明すると、例えば、画像P1には、人物X、人物Y及び花Zが被写体として検出されていることから、画像P1の画像データIDにおける被写体情報として、これら被写体の名称が記憶されている。同様にして、画像P2の場合は、被写体情報として人物Y及び花Zの名称が、画像P3の場合には、被写体情報として花Zの名称が、それぞれ記憶されている。つまり、ステップS501において、人物Xの名称が入力されている場合には、対象となる画像として画像P1、P2が抽出される。
【0078】
ステップS503:ステップS502における画像検索の結果を参照して、対象となる画像データIDがあるか否かを判定する処理である。この処理において、対象となる画像データIDがない場合には、LCDモニタ104に、対象となる画像データIDがない旨を示す表示を行い、画像検索を終了する。一方、対象となる画像データIDがある場合には、ステップS504に進む。
【0079】
ステップS504:CPU101は、対象となる画像データIDの付帯情報から、焦点情報を読み出す。なお、この焦点情報は、被写体領域におけるデフォーカス量である。図9に示すように、対象となる画像として画像P1が抽出された場合、画像P1は、被写体として人物X、人物Y及び花Zとなるが、人物Xの画像データIDを検索している場合には、画像P1においては、人物Xの被写体領域がA12、A17、A22となることから、デフォーカス量として、A12、A17、A22のデフォーカス量、つまり0.1、0.3、0.3が読み出される。
【0080】
ステップS505:CPU101は、ステップS504において読み出された被写体領域におけるデフォーカス量と、予め設定された閾値とを比較する。なお、ステップS501において入力された名称に対する画像データIDを検索することから、この比較においては、入力された名称に該当する被写体領域のデフォーカス量の平均値を閾値と比較することが挙げられる。
【0081】
ステップS506:ステップS505における比較結果が被写体領域におけるデフォーカス量が閾値未満となる場合には、ステップS507に進む。一方、ステップS505における比較結果が被写体領域におけるデフォーカス量が閾値以上となる場合には、ステップS512に進む。つまり、デフォーカス量は、その値が大きくなるにしたがい、画像修復の効果が小さくなることから、デフォーカス量を閾値と比較することで、画像修復の効果が有益なものであるか否かの判断を行うことができる。なお、上述した閾値は、予め設定された閾値であってもよいし、検索時にユーザが設定できるようにしてもよい。
【0082】
ステップS507:CPU101は、画像データIDの付帯情報から特性情報を読み出す。なお、この特性情報とは、被写体領域におけるノイズ量である。例えば、図9において、人物Xの被写体領域がA12,A17,A22となる場合には、各領域におけるノイズ量は、0.2、0.3、0.4となる。
【0083】
ステップS508:CPU101は、被写体領域におけるデフォーカス量とノイズ量とに基づいて、画像補正を行う際のパラメータを設定する。ステップS505においてデフォーカス量の平均値を求めていることから、デフォーカス量の平均値と、被写体領域におけるノイズ量の平均値を算出して、これら平均値に基づいてパラメータを設定する。つまり、このパラメータは、例えば人物Xの被写体領域のデフォーカス量が擬似的に0となるように設定される。なお、パラメータとは、ハイパスフィルタ120における遮断周波数、及びコアリング回路121において除去対象となるノイズ成分の波長域を示すパラメータである。
【0084】
ステップS509:CPU101は、ステップS508において、設定されたパラメータが予め設定された範囲(以下、許容範囲)内であるか否かを判定する。なお、このステップS509の処理は、ステップS506の処理を行う場合には実行しなくともよい。また、このステップS509の処理を実行する場合には、上述したステップS506の処理を実行しなくてもよい。
【0085】
ステップS510:ステップS509による判定結果に基づいて以降の処理を決定する。ステップS509においてパラメータが許容範囲内である場合には、ステップS511に進む。一方、パラメータが許容範囲外となる場合には、ステップS512に進む。
【0086】
ステップS511:CPU101は、ステップS508において設定されたパラメータをデータ処理部102に出力する。この出力を受けて、調整回路122はハイパスフィルタ120の遮断周波数及びコアリング回路121において除去対象となるノイズ成分の波長域を調整する。これら調整の後、画像データIDの画像補正(画像修復)が実行される。例えば、画像が画像P1となる場合には、画像P1全体に対して画像補正が行われる。この画像補正処理は、ハイパスフィルタ120及びコアリング回路121によってノイズ成分が除去された高周波成分のみのデータを作成し、作成されたデータと、元になる画像データIDとを重ね合わせる処理である。この処理を行うことで、例えば人物Xに対して擬似的に焦点が合った画像が取得される。この場合、人物Xに対する人物Yの焦点状態の相対関係や、人物Xと花Zとの焦点状態の相対関係が維持された状態の画像補正が実行される。
【0087】
ステップS512:CPU101は、抽出された全画像データIDに対して、ステップS504〜ステップS511の処理を行ったか否かを判定する。抽出された全画像データIDに対してステップS504〜ステップS511の処理を行った場合には、ステップS513に進む。一方、抽出された全画像データIDに対してステップS504〜ステップS511の処理を実行していない場合には、ステップS504に戻る。
【0088】
ステップS513:CPU101は、画像補正された画像データIDがあるか否かを判定する。画像補正された画像データIDがある場合には、ステップS514に進む。画像補正された画像データIDがない場合には、ステップS515に進む。
【0089】
ステップS514:画像補正された画像データIDがある場合に、画像補正された画像データIDをLCDモニタ104に表示する。画像補正された画像データIDをLCDモニタ104に表示する方法としては、例えば、検索対象となる被写体の大きさに基づいて表示する、画像補正におけるパラメータの値が小さい順番で表示する、或いは、撮影日時の新しい順番で表示するなど、適宜の方法で表示することが可能である。また、LCDモニタ104に画像補正後の画像データIDを用いた表示としては、画像データ毎に表示する、或いは、画像補正した画像データからサムネイル画像データを作成し、LCDモニタにサムネイル画像を表示することが挙げられる。
【0090】
ステップS515:ステップS513の処理において、画像補正された画像データIDがない場合に実行される。このステップS515においては、画像補正された画像データIDがない旨をLCDモニタ104に表示する。これにより、データベース103に格納された画像データを参照しなくとも、容易に画像データIDの検索を行うことができる。
【0091】
本実施形態では、図6に示すステップS410の処理を画像編集装置100において実行しているが、これに限定する必要はなく、図6に示すS410の処理を例えばデジタルカメラ10において実行することも可能である。また、同様にして、図7に示す画像検索の処理を画像編集装置100にて実行せずに、デジタルカメラ10で実行できるようにすることも可能である。
【0092】
本実施形態では、デフォーカス量とノイズ量とから、ハイパスフィルタ120における遮断周波数、及びコアリング回路121において除去対象となるノイズ成分の波長域を設定しているが、これに限定する必要はなく、デフォーカス量のみを用いてハイパスフィルタ120やコアリング回路121におけるパラメータを設定することも可能である。
【0093】
本実施形態では、対象となる被写体領域が複数の領域に跨っている場合、それぞれの領域におけるデフォーカス量の平均値、ノイズ量の平均値をそれぞれ求め、これら求めた平均値に基づいてパラメータを設定しているが、これに限定される必要はなく、複数の領域のそれぞれにおけるデフォーカス量とノイズ量とから領域毎のパラメータを求め、これらパラメータを用いて、対象となる被写体領域を構成する各領域に対して画像修復を行うことも可能である。
【0094】
本実施形態では、画像全体に対して画像修復を行っているが、画像全体に対して画像修復を行うことで画質の破綻を生じる場合には、その画質の破綻が生じる領域に対しては画質の修復処理を行わない、或いは、画質の破綻が生じない範囲で画像修復を行うようにする。つまり、デフォーカス量に対して画像修復が可能となるパラメータの範囲を予め設定しておき、画像全体に対して設定されたパラメータが、上記範囲外となる場合には、その範囲の上限値を用いて画像修復を実行する。
【0095】
また、この画像修復を行うことで画質の破綻を生じた場合には、画質の破綻が生じた領域を除いた領域をクロップ領域として設定することも可能である。この場合、画質の破綻が生じた場合には、CPU101は、画質の破綻が生じた領域を除く領域をクロップ領域とした画像を作成し、LCDモニタ104に表示する。この場合、大きさの異なる複数のクロップ領域とした複数の画像を作成してユーザに選択させることも可能である。
【0096】
本実施形態では、対象となる被写体領域(図8の人物X)が擬似的に合焦状態となるようにパラメータを設定しているが、例えば、対象となる被写領域が図8の人物Xとなり、撮像時に合焦状態となる被写体が人物Yとなる画像において、人物Xが擬似的に合焦状態となるように画像補正を行う場合に、補正前の画像データにおいて合焦状態となる人物Yに対しては画像補正を行わないようにする、或いは、人物Xと人物Yとの相対関係を維持するために、人物Yに対する領域に対してぼかし処理を行うことも可能である。このぼかし処理として、周知の畳み込み演算や、デジタルフィルタ処理を行えばよい。
【0097】
本実施形態では、画像検索を行った後、抽出された画像をLCDモニタ104に表示するしているが、この他に、例えば抽出された画像に対して、画像補正以外の画像処理を実行することも可能である。
【0098】
本実施形態では、画像編集装置について述べているが、図5に示す信号処理部、被写体情報取得部、ノイズ量算出部、被写体特定部及び画像抽出部の機能や、図6及び図7に示す処理手順をコンピュータに実行させるためのプログラムであってもよい。
【図面の簡単な説明】
【0099】
【図1】デジタルカメラの構成を示す機能ブロック図である。
【図2】AFセンサのAFエリアを示す説明図である。
【図3】画像から被写体領域の特定時の処理の流れを示す図である。
【図4】デジタルカメラにおける撮像時の流れを示すフローチャートである。
【図5】画像編集装置の構成を示す機能ブロックである。
【図6】被写体の特定時の処理の流れを示すフローチャートである。
【図7】画像検索時の処理の流れを示すフローチャートである。
【図8】複数の画像から、対象となる画像を抽出する流れを示す図である。
【図9】画像、画像範囲における領域及び、それぞれの領域におけるデフォーカス量及びノイズ量の一例を示す図である。
【符号の説明】
【0100】
10…デジタルカメラ、30…AFセンサ、75…制御部、78,110…被写体情報取得部、79,111…ノイズ量算出部、80…メモリカード、100…画像編集装置、101…CPU、103…データベース、112…被写体特定部、113…画像抽出部

【特許請求の範囲】
【請求項1】
取得された画像データを用いて被写体及び該被写体の領域を示す被写体情報を取得する情報取得手段と、
少なくとも前記被写体の領域における特性情報を検出する特性検出手段と、
前記被写体情報と前記特性情報とを関連付けて前記画像データに付帯する付帯手段と、
前記被写体情報と前記特性情報とが付帯された画像データを記憶する記憶手段と、
を備えたことを特徴とする撮像装置。
【請求項2】
請求項1に記載の撮像装置において、
前記特性検出手段は、撮像時の画面範囲を格子状に分割することで得られる複数の領域のうち、前記被写体の領域に合致する領域のデフォーカス情報を前記特性情報として検出することを特徴とする撮像装置。
【請求項3】
請求項2に記載の撮像装置において、
前記特性検出手段は、前記デフォーカス情報の他に、前記被写体の領域におけるノイズ情報を前記特性情報として検出することを特徴とする撮像装置。
【請求項4】
画像データを取得するデータ取得手段と、
前記画像データを用いて被写体及び該被写体の領域を示す被写体情報を取得する情報取得手段と、
前記被写体の領域における特性情報を検出する特性検出手段と、
前記被写体情報と前記特性情報とを関連付けて前記画像データに付帯する付帯手段と、
前記被写体情報と前記特性情報とが付帯された画像データを記憶する記憶手段と、
を備えたことを特徴とする画像編集装置。
【請求項5】
請求項4に記載の画像編集装置において、
前記画像データは、撮像時の画面範囲を格子状に分割した複数の領域のそれぞれにおけるデフォーカス情報を付帯しており、
前記特性検出手段は、複数の領域に対するデフォーカス情報から、前記被写体の領域に該当するデフォーカス情報を前記特性情報として検出することを特徴とする画像編集装置。
【請求項6】
請求項5に記載の画像編集装置において、
前記特性検出手段は、前記デフォーカス情報の他に、前記被写体の領域におけるノイズ量を前記特性情報として検出することを特徴とする画像編集装置。
【請求項7】
請求項4〜6のいずれか1項に記載の画像編集装置において、
被写体を指定する際に操作される入力操作手段と、
前記記憶手段に記憶された画像データから、前記指定された被写体が存在する画像データを抽出するデータ抽出手段と、
を備えていることを特徴とする画像編集装置。
【請求項8】
請求項7に記載の画像編集装置において、
前記データ抽出手段によって抽出された画像データに付帯された特性情報から、画像補正時のパラメータを設定するパラメータ設定手段と、
前記処理パラメータを用いて前記画像データに対する画像補正を行う画像補正手段と、
を備えていることを特徴とする画像編集装置。
【請求項9】
請求項8に記載の画像編集装置において、
前記パラメータ設定手段は、前記入力操作手段によって指定された被写体以外の被写体の領域に対する画像補正時のパラメータを、該当する被写体に対する特性情報と、前記指定された被写体の特性情報とを用いて設定することを特徴とする画像編集装置。
【請求項10】
請求項8又は9に記載の画像編集装置において、
前記画像補正手段により補正された画像データに基づく画像において、画質破綻が生じている領域があるか否かを判定する判定手段と、
前記画質破綻が生じている領域があると判定された場合に、前記画像におけるクロップ領域を設定する領域設定手段と、
を備えていることを特徴とする画像編集装置。
【請求項11】
取得された画像データから、被写体及び該被写体の領域を示す被写体情報を取得するステップと、
前記被写体の領域における特性情報を検出するステップと、
前記被写体情報と前記特性情報とを関連付けて前記画像データに付帯するステップと、
前記被写体情報と前記特性情報とが付帯された画像データを記憶するステップと、
をコンピュータで実現させることを特徴とする画像編集プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate


【公開番号】特開2010−28199(P2010−28199A)
【公開日】平成22年2月4日(2010.2.4)
【国際特許分類】
【出願番号】特願2008−183798(P2008−183798)
【出願日】平成20年7月15日(2008.7.15)
【出願人】(000004112)株式会社ニコン (12,601)
【Fターム(参考)】