画像撮影装置
【課題】デジタルカメラ等の画像撮影装置において撮影画像を自動的に補正可能にする。
【解決手段】デジタルカメラ1は、撮影画像を自動的に評価(露出条件評価、コントラスト評価、ボケ、焦点ボケの評価)する画像評価処理を実行する。また、撮影モードが指定されると、撮影画像を記録する記録媒体の残り容量が予め設定された容量以下である場合、記録媒体に記録された画像のうち、画像評価処理により算出された評価値が所定値以下である撮影画像の画質を補正する補正処理を実行する。そして、画質補正が施された画像の評価処理を再度行い、この画像評価処理により算出された評価値が所定値以下の画像を、記録媒体から削除する候補として決定し、決定された削除候補の画像の中から、ユーザによって指定された画像を削除する。
【解決手段】デジタルカメラ1は、撮影画像を自動的に評価(露出条件評価、コントラスト評価、ボケ、焦点ボケの評価)する画像評価処理を実行する。また、撮影モードが指定されると、撮影画像を記録する記録媒体の残り容量が予め設定された容量以下である場合、記録媒体に記録された画像のうち、画像評価処理により算出された評価値が所定値以下である撮影画像の画質を補正する補正処理を実行する。そして、画質補正が施された画像の評価処理を再度行い、この画像評価処理により算出された評価値が所定値以下の画像を、記録媒体から削除する候補として決定し、決定された削除候補の画像の中から、ユーザによって指定された画像を削除する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像撮影装置に関する。
【背景技術】
【0002】
静止画像や動画像を撮像し、メモリーカード等の記録媒体に記録するデジタルカメラでは、フィルム代や現像代などを気にすることなく撮影画像を記録することができる。最近では、記録媒体の価格が下がり、記録容量が大幅に増え、多数の画像が記録可能になっている(例えば、特許文献1参照。)。記録媒体の容量が一杯になった場合は、記録媒体に記録された画像データをPC(Personal Computer)等に転送してから記録媒体を空にするか、記録済みの画像の中から、ユーザが画像の良し悪しを判断して不要な画像を消去するなどして、記録媒体の空き領域が確保されている。
【特許文献1】特許第2787781号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかしながら、従来、デジタルカメラの記録媒体に記録された画像の中から不要な画像を削除する場合、ユーザが記録済み画像の画質等を目視で評価し、その評価結果に基づいて不要な画像を決めて削除していたため、実際は画質が良い画像であっても削除される可能性があった。
【0004】
本発明の課題は、デジタルカメラ等の画像撮影装置において撮影画像を自動的に補正することである。
【課題を解決するための手段】
【0005】
上記課題を解決するため、請求項1に記載の画像撮影装置は、被写体を撮影して撮影画像を取得する撮像手段と、前記取得された撮影画像を記録媒体に記録する記録手段と、前記取得された撮影画像の画質を評価する第1の評価手段と、前記記録媒体に記録された撮影画像のうち、前記第1の評価手段により算出された評価結果が所定の条件を満たす撮影画像の画質を補正する補正手段と、前記補正手段により画質が補正された撮影画像の画質を評価する第2の評価手段と、前記第2の評価手段による評価結果が所定の条件を満たす撮影画像を前記記録媒体から削除する候補として決定する決定手段と、を備えることを特徴としている。
【0006】
請求項2に記載の発明は、請求項1に記載の画像撮影装置において、前記記録媒体の残り容量が予め設定された容量以下であるか否かを判定する判定手段を備え、前記決定手段は、前記判定手段により、前記記録媒体の残り容量が予め設定された容量以下であると判定された場合に、前記第2の評価手段による評価結果が所定の条件を満たす撮影画像を前記記録媒体から削除する候補として決定することを特徴としている。
【0007】
請求項3に記載の発明は、請求項1又は2に記載の画像撮影装置において、前記第1の評価手段及び第2の評価手段は、撮影画像の輝度又は濃度のヒストグラム分布に基づいて、当該撮影画像の画質を評価することを特徴としている。
【0008】
請求項4に記載の発明は、請求項1又は2に記載の画像撮影装置において、前記第1の評価手段及び第2の評価手段は、撮影画像の周波数特性に基づいて、当該撮影画像の画質を評価することを特徴としている。
【0009】
請求項5に記載の発明は、請求項1又は2に記載の画像撮影装置において、前記第1の評価手段及び第2の評価手段は、撮影画像のブレ又は焦点ボケの度合いに基づいて当該撮影画像の画質を評価することを特徴としている。
【0010】
請求項6に記載の発明は、請求項1〜5の何れか一項に記載の画像撮影装置において、前記補正手段は、撮影画像に対してガンマ補正を施すことを特徴としている。
【0011】
請求項7に記載の発明は、請求項1〜5の何れか一項に記載の画像撮影装置において、前記補正手段は、撮影画像の輝度又は濃度のヒストグラム分布を所定の変換式により変換することにより、当該撮影画像を補正することを特徴としている。
【0012】
請求項8に記載の発明は、請求項1〜5の何れか一項に記載の画像撮影装置において、前記補正手段は、撮影画像の輝度又は濃度のヒストグラム分布の平坦化を行うことにより、当該撮影画像を補正することを特徴としている。
【0013】
請求項9に記載の発明は、請求項1〜5の何れか一項に記載の画像撮影装置において、前記補正手段は、画像を平滑化するための空間フィルタを用いて撮影画像を補正することを特徴としている。
【0014】
請求項10に記載の発明は、請求項1〜5の何れか一項に記載の画像撮影装置において、前記補正手段は、所定の微分フィルタを用いて撮影画像を鮮鋭化する処理を行うことを特徴としている。
【0015】
請求項11に記載の発明は、請求項1〜5の何れか一項に記載の画像撮影装置において、前記補正手段は、撮影画像を周波数変換し、周波数変換された撮影画像に対して、鮮鋭化処理又はぼかし処理を施すことを特徴としている。
【0016】
請求項12に記載の発明は、請求項1〜5の何れか一項に記載の画像撮影装置において、前記補正手段は、点像分布関数又は線像分布関数を用いて、撮影画像の直線ブレ又は焦点ボケを補正することを特徴としている。
【0017】
請求項13に記載の発明は、請求項1〜12の何れか一項に記載の画像撮影装置において、画像劣化が生じる方式で見本画像を撮影する劣化画像撮像手段と、前記劣化画像撮像手段により得られた画像の劣化成分を算出する算出手段と、画像劣化の度合い別に、前記算出手段により算出された画像の劣化成分の情報を記憶する記憶手段と、を備え、前記撮像手段により取得された撮影画像の評価結果が所定の条件を満たす場合、前記補正手段は、当該撮影画像に対応する劣化成分を前記記憶手段から読み出し、その読み出された劣化成分に基づいて当該撮影画像を補正することを特徴としている。
【発明の効果】
【0018】
本発明によれば、撮影画像を自動的に評価し、評価結果が所定の条件を満たす画像(例えば、評価値が所定値以下の画像)を自動的に補正し、補正処理後に再度、当該画像を評価し、その評価結果が所定の条件を満たす画像(例えば、評価値が所定値以下の画像)のみを削除可能としたことにより、必要以上に画像を削除することなくなるとともに、記録媒体の空き領域を確実に確保することができる。
【0019】
また、予め、画像劣化が生じる方式で見本画像を撮影して、画像劣化の度合い別に劣化成分を算出して記憶し、実際に撮影された画像の評価結果が所定の条件を満たす場合(例えば、評価値が所定値以下である場合)、記憶手段に記憶された劣化成分に基づいて画像補正を行うことにより、個々の画像撮影装置の性能に合わせた画像補正を容易に行うことができる。また、画像補正の際に劣化成分を算出する必要がないため、画像補正処理を高速に行うことができる。
【発明を実施するための最良の形態】
【0020】
以下、図面を参照して、本発明の実施形態を詳細に説明する。
まず、本実施形態における構成について説明する。
【0021】
図1に、本発明の画像撮影装置を適用した実施形態に係るデジタルカメラ1の回路構成を示す。デジタルカメラ1は、図1に示すように、モータ(M)21、レンズ光学系22、CCD23、TG(タイミング発生器)24、垂直ドライバ25、S/H(サンプルホールド回路)26、A/D変換器27、カラープロセス回路28、DMA(Direct Memory Access)コントローラ29、DRAM(Dynamic RAM) I/F(DRAMインターフェース)30、DRAM31、制御部32、VRAM(Video RAM)コントローラ33、VRAM34、デジタルビデオエンコーダ35、キー入力部36、JPEG(Joint Photograph coding Experts Group)回路37、フラッシュメモリ38、通信部39、手ブレ検出センサ40、表示部13により構成される。
【0022】
モータ(M)21は、制御部32から入力される制御信号に従って駆動し、レンズ光学系22の絞り位置を移動させる。
【0023】
CCD23は、撮像素子が平面状(2次元)に配列された構造を有し、光入力を電気信号に変換して蓄積する光電変換部、蓄積された電荷を読み出す走査部、電気信号として出力する出力部により構成され、撮影モードでのモニタリング状態において、タイミング発生器(TG)24、垂直ドライバ25によって駆動される。
【0024】
CCD23の出力部から出力された電気信号は、アナログ値の信号の状態でRGBの各原色成分毎に適宜ゲイン調整され、S/H(サンプルホールド回路)26は、このゲイン調整された信号をサンプルホールドする。A/D変換器27は、S/H(サンプルホールド回路)26から出力されたアナログ信号をデジタル信号に変換し、カラープロセス回路28に出力する。
【0025】
カラープロセス回路28は、A/D変換器27から出力されたデジタル信号に対して画素補間処理及びγ補正処理を含むカラープロセス処理を施し、デジタル値の輝度信号Y及び色差信号Cb、Crを生成し、DMAコントローラ29に出力する。
【0026】
DMAコントローラ29は、カラープロセス回路28から出力された輝度信号Y及び色差信号Cb、Crを、同じくカラープロセス回路28から出力された複合同期信号、メモリ書込みイネーブル信号及びクロック信号を用いて一度DMAコントローラ29内部のバッファに書込み、DRAM I/F30を介してバッファメモリとして使用されるDRAM31にDMA転送を行う。
【0027】
制御部32は、CPU(Central Processing Unit)、CPUで実行される動作プログラムを固定的に記憶したROM(Read Only Memory)、ワークメモリとして使用されるRAM(Random Access Memory)等により構成され、デジタルカメラ1の各部の動作を制御する。以下、制御部32による制御動作について説明する。
【0028】
制御部32は、撮影された画像の画質を評価する画像評価処理を実行する。また、制御部32は、撮影モードが指定されると、フラッシュメモリ38(記録媒体)の残り容量が予め設定された容量以下であるか否かを判定し、記録媒体の残り容量が予め設定され容量以下であると判定された場合、記録媒体に記録された画像のうち、画像評価処理により算出された評価値が所定値以下である撮影画像の画質を補正する補正処理を実行する。そして、制御部32は、画質補正が施された画像の評価処理を再度行い、この画像評価処理により算出された評価値が所定値以下の画像を、記録媒体から削除する候補として決定する。そして、制御部32は、削除候補の画像の中から、キー入力部36の操作により指定された画像を記録媒体から削除する処理を行う。以下の、実施形態において、記録媒体に記録済みのデータを消去する場合だけでなく、記録済みのデータに新しいデータを上書きする場合も、記録済みのデータが「削除」されたものとみなすことにする。
【0029】
画像評価の方法としては、撮影画像の輝度又は濃度のヒストグラム分布から評価する方法と(画像評価方法1:図7及び図8参照)、撮影画像の周波数特性に基づいて評価する方法と(画像評価方法2:図9〜図11参照)、撮影画像のブレ又は焦点ボケの度合いに基づいて評価する方法(画像評価方法3:図12〜図16)等がある。本実施形態の画像評価処理では、これら複数の画像評価方法の全てが適用される場合を示すが、これら画像評価方法1〜3のうちの何れか一つ又は2つ以上を組み合わせてもよい。
【0030】
撮影画像の画質を補正する方法としては、撮影画像にガンマ補正を施す方法と(画像補正方法1:図18参照)、撮影画像の輝度又は濃度のヒストグラム分布を所定の変換式による変換する方法と(画像補正方法2:図19及び図20参照)、撮影画像の輝度又は濃度のヒストグラム分布を平坦化する方法と(画像補正方法3:図21及び図22参照)、撮影画像を平滑化する方法と(画像補正方法4:図23参照)、微分フィルタを用いて撮影画像を鮮鋭化する方法と(画像補正方法5:図24及び図25参照)、周波数変換された撮影画像に鮮鋭化処理を施す方法と(画像補正方法6)、PSF(Point Spread Function)、LPF(Line Spread Function)等を用いて撮影画像の直線ブレ又は焦点ボケを補正する方法(画像補正方法7)等がある。本実施形態では、画像補正方法1〜7のうちの何れか一つ又は2つ以上を組み合わせた画像補正方法を適用することができる。
【0031】
VRAMコントローラ33は、制御部32の制御により、DRAM31に一時記憶されている画像データ(輝度信号Y及び色差信号Cb、Cr)を、DRAM31からDRAM I/F30を介して読出し、VRAM34に書込む。また、再生モード時、制御部32により伸長された画像データをVRAM34に展開して記憶させる。
【0032】
デジタルビデオエンコーダ35は、VRAM34に記憶されている画像データを、VRAM34からVRAMコントローラ33を介して定期的に読出し、これらのデータを元にビデオ信号を生成して表示部13に出力する。
【0033】
キー入力部36は、電源キー、シャッターキー、モードスイッチ、メニューキー及び十字キー等の各種キーにより構成され、それらのキー操作に応じた信号を制御部32に出力する。キー入力部36のシャッターキーは、2段階のストロークで動作し、一般的に「半押し」と表現されている第1段階の操作状態でAE(自動露光)処理やAF(オートフォーカス)処理を始めとする撮影の準備を行い、一般的に「全押し」と表現されている、より強く押圧操作した第2段階の操作状態で撮影を実行する。
【0034】
JPEG回路37は、CCD23から取り込まれ、DRAM31に一時的に記憶されている画像信号を、ADCT(Adaptive Discrete Cosine Transform:適応離散コサイン変換)、エントロピー符号化方式であるハフマン符号化などの処理によりデータ圧縮する。
【0035】
フラッシュメモリ38は、デジタルカメラ1の記録媒体として着脱自在に装着されるメモリーカード内に封入された不揮発性メモリであり、JEPG回路37により符号化された画像信号が記録される。なお、フラッシュメモリ38は、デジタルカメラ1に内蔵されていてもよい。
【0036】
通信部39は、外部機器とケーブルを介したデータ通信を行うためのインターフェースを備える。例えば、通信部39は、IEEE1394やUSB(Universal Serial Bus)等により通信を行うためのインターフェースを備える。なお、外部機器と無線通信手段により通信可能としてもよい。
【0037】
手ブレ検出センサ40は、加速度センサ等であり、撮影時の手ブレ量(ブレ方向(θ)、ブレの距離(L)等、後述)を検出する。表示部13は、撮影モード時にはモニタ表示部(電子ファインダ)として機能し、デジタルビデオエンコーダ35からのビデオ信号に基づいた表示を行うことで、その時点でVRAMコントローラ33から取込んでいる画像情報に基づくスルー画像をリアルタイムに表示する。
【0038】
次に、本実施形態における動作について説明する。
まず、図2のフローチャートを参照して、デジタルカメラ1において実行される画像撮影・削除処理について説明する。
【0039】
まず、表示部13に、図4(a)に示すようなメニュー画面が表示される(ステップS1)。図4(a)に示すメニュー画面には、撮影モードを指定するための「撮影モード」ボタン、撮影画像の再生を指定するための「再生モード」ボタン、撮影画像の削除を指定するための「画像の削除」ボタン、その他の各種の設定を指定するための「各種の設定」ボタン等が表示されている。
【0040】
メニュー画面において、「画像の削除」ボタンが指定されると(ステップS3;YES)、図4(b)及び図5(a)に示すような削除モード画面が表示され、キー入力部36の操作により、画像の自動削除、画質補正等の各種の設定処理が行われ(ステップS4)、設定処理後、ステップS1に戻る。メニュー画面において、「撮影モード」ボタン及び「画像の削除」ボタン以外のボタンが指定された場合(ステップS3;NO)、その指定されたモードに対応する処理が行われ(ステップS5)、ステップS1に戻る。
【0041】
削除モード画面において、「自動削除の設定」ボタンが指定されると、図5(b)に示すような自動削除設定画面が表示される。自動削除設定画面には、図5(b)に示すように、設定項目として、撮影画像の自動削除機能を有効(ON)にするか無効(OFF)にするかを設定するための「自動削除機能」欄と、画像の削除方法を設定するための「削除方法」欄、画像の評価方法を設定するための「評価方法」欄と、各評価機能を有効(ON)にするか無効(OFF)にするかを設定するための「評価項目」欄(例えば、「露出条件評価」項目、「コントラスト評価」項目、「ボケ・ブレ評価」項目)が表示されている。また、各評価項目欄には、評価項目の基準値を設定するための「基準値」欄が表示されている。ここで、評価項目の基準値とは、補正対象、削除対象の基準となる数値であり、この基準値に基づいて画像の評価値が決定される。
【0042】
図5(a)に示す削除モード画面において、「画質の補正」ボタンが指定されると、図5(c)に示すような補正項目画面が表示される。補正項目画面には、図5(c)に示すように、画質の補正項目として、「露出(濃度レベル)の補正」ボタン、「トーンカーブ(コントラスト)修正」ボタン、「輪郭エッジの強調(シャープ)」ボタン、「ボケ・ブレの補正」ボタン、「ノイズの除去」ボタン、「色調(明度/色相/彩度)の修正」ボタンが表示されている。
【0043】
図5(a)に示す削除モード画面において、「画質の自動補正の設定」ボタンが指定されると、図5(e)に示すような画質の自動補正設定画面が表示される。図5(e)に示す自動補正設定画面には、撮影画像の自動補正機能、露出条件の補正機能、輪郭エッジを強調する機能、ボケ、ブレの補正機能、ノイズの除去機能の各機能を有効(ON)にするか無効(OFF)にするかを設定するための「自動補正機能」欄、「露出条件の補正」欄、「輪郭エッジ強調」欄、「ボケ・ブレの補正」欄、「ノイズの除去」欄が表示されている。
【0044】
図5(c)に示す補正項目画面において、「露出(濃度レベル)の補正」ボタンが指定されると、図5(d)に示すような露出(濃度レベル)の補正画面が表示され、キー入力部36の操作により、RGBの色毎に、撮影画像の濃度レベルが設定される。また、図5(c)に示す補正項目画面において、「トーンカーブ(コントラスト)修正」ボタンが指定されると、図5(f)に示すようなトーンカーブ修正画面が表示され、キー入力部36の操作により、撮影画像のコントラストが設定される。
【0045】
図4(a)に示すメニュー画面において、「撮影モード」ボタンが指定された場合(ステップS2;YES)、デジタルカメラ1のレンズ位置等の初期設定が行われ(ステップS6)、記録媒体(フラッシュメモリ38)の残り容量が設定容量以下であるか否かが判定される(ステップS7)。
【0046】
ステップS7において、記録媒体の残り容量が設定容量以下であると判定された場合(ステップS7;YES)、各撮影画像の評価値に基づいて記録媒体から画像データを削除する画像削除処理が行われる(ステップS8)。画像削除処理の詳細は、後に図3を参照して説明する。
【0047】
ステップS7において、記録媒体の残り容量が設定容量より大きいと判定された場合(ステップS7;NO)又はステップS8の画像削除処理の終了後、測光処理、露出条件の設定等が行われる(ステップS9)。次いで、ズーム処理が行われ(ステップS10)、オートフォーカス処理が行われる(ステップS11)。
【0048】
表示部13に、図6(a)に示すような撮影スルー画像が表示され(ステップS12)、キー入力部36のシャッターキーの押下により撮影が指示されると(ステップS13;YES)、撮影処理が行われ(ステップS14)、撮影画像データが取得される。撮影処理後、撮影処理で取得された撮影画像データの画像評価処理が行われる(ステップS15)。画像評価処理の詳細は、後に図7〜図16を参照して説明する。シャッターキーが押されなかった場合には(ステップS13;NO)、その他(撮影モード以外)のキー入力処理、表示処理等が行われ(ステップS25)、本画像撮影・削除処理が終了する。
【0049】
撮影画像データの画像評価処理が終了すると、撮影画像データとその評価値が対応付けて記録媒体に記録され(ステップS16)、撮影画像データ及びその評価値が表示部13に表示される(ステップS17)。なお、ステップS17において、図6(b)に示すように、画像データのサイズ、撮影条件、画質評価値等の画像の詳細データを表示するようにしてもよい。また、画質評価値の各項目や総合評価値は、5点法や10点法又は%に換算して表示するようにしてもよい。
【0050】
次いで、撮影画像の評価値が所定値以下であるか否かが判定される(ステップS18)。ここで、所定値とは、図5(b)の自動削除設定画面において設定された基準値に基づいて決定され、例えば、各評価項目において設定された基準値の合計値等である。ステップS18において、撮影画像の評価値が所定値より大きいと判定された場合(ステップS18;NO)、その他(撮影モード以外)のキー入力処理、表示処理等が行われ(ステップS25)、本画像撮影・削除処理が終了する。
【0051】
ステップS18において、撮影画像の評価値が所定値以下であると判定された場合(ステップS18;YES)、表示部13には、図6(c)に示すような自動補正確認プロンプト画面が表示される。自動補正確認プロンプト画面には、図6(c)に示すように、該当する撮影画像と、「この画像を自動補正してもよろしいですか?(Y/N)」というメッセージ及び評価値が表示される。
【0052】
図6(c)に示す自動補正確認プロンプト画面において、画像の自動補正が指定されなかった場合(ステップS19;NO)、ステップS25に移行する。自動補正確認プロンプト画面において、画像の自動補正が指定された場合(ステップS19;YES)、該当する撮影画像の画質の自動補正処理が行われる(ステップS20)。画質の自動補正処理の詳細は、後に図18〜図25を参照して説明する。
【0053】
ステップS20における画質の自動補正処理が終了すると、補正済みの撮影画像に対する画像評価処理が行われる(ステップS21)。画像評価処理の詳細は、後に図7〜図16を参照して説明する。次いで、表示部13に、図6(d)に示すような補正済み画像の更新確認プロンプト画面が表示される。補正済み画像の更新確認プロンプト画面には、図6(d)に示すように、該当する撮影画像と、「画質を自動補正しました。この画像に更新しますか?(Y/N)」というメッセージ及び評価値が表示される。
【0054】
補正済み画像の更新確認プロンプト画面において、補正済み画像の更新が指定されなかった場合(ステップS23;NO)、ステップS25に移行する。補正済み画像の更新確認プロンプト画面において、補正済み画像の更新が指定された場合(ステップS23;YES)、その補正済み画像が符号化され、評価値とともに記録媒体に記録される(ステップS24)。そして、その他(撮影モード以外)のキー入力処理、表示処理等が行われ(ステップS25)、本画像撮影・削除処理が終了する。
【0055】
なお、ステップS15及びS21における画像評価処理は、1枚撮影される度に行うようにしてもよいし、一連の撮影処理の終了後に全画像分の処理をまとめて行うようにしてもよい。特に、連写撮影や動画撮影では、撮影性能を保つため、後者の方法を用いるのが好ましい。
【0056】
次に、図3のフローチャートを参照して、図2に示した画像削除処理の詳細について説明する。
【0057】
まず、画像データの自動削除設定がONであるか否か(画像データの自動削除機能が有効であるか否か)が判定される(ステップS30)。ステップS30において、自動削除設定がOFFであると判定された場合(ステップS30;NO)、表示部13に、記録媒体の残り容量がなくなっている旨が表示されるとともに(ステップS31)、マニュアル操作での画像削除を確認するための確認プロンプト画面が表示される(ステップS32)。
【0058】
表示部13に表示された確認プロンプト画面上において、マニュアル操作での画像削除が指定されると(ステップS33;YES)、マニュアル操作による画像の削除モードに移行し(ステップS34)、本画像削除処理が終了する。ステップS34では、ユーザは、記録媒体の容量を確認しながら画像を削除する。マニュアル操作での画像削除が指定されなかった場合(ステップS33;NO)、本画像削除処理が終了する。
【0059】
ステップS30において、自動削除設定がONであると判定された場合(ステップS30;YES)、表示部13に、図6(e)に示すように、「メモリーの残りがありません!削除する候補を検索します。」というメッセージが表示され、記録媒体に記録済みの画像は画像評価処理済であるか否かが判定される(ステップS35)。
【0060】
ステップS35において、記録済み画像が画像評価処理済でないと判定された場合(ステップS35;NO)、記録済み画像の画像評価処理が行われ(ステップS36)、後述のステップS37に移行する。ステップS36の画像評価処理の詳細は、後に図7〜図16を参照して説明する。
【0061】
ステップS35において、記録済み画像が画像評価処理済であると判定された場合(ステップS35;YES)又はステップS36の画像評価処理が終了すると、記録媒体に記録された画像のうち、評価値が所定値以下の画像が検索され(ステップS37)、評価値が最も低い順に、補正対象の画像が選択される(ステップS38)。
【0062】
補正対象の撮影画像が選択されると、表示部13には、図6(c)に示すような自動補正確認プロンプト画面が表示される(ステップS39)。自動補正確認プロンプト画面には、図6(c)に示すように、選択された撮影画像と、「この画像を自動補正してもよろしいですか?(Y/N)」というメッセージ及び評価値が表示される。
【0063】
図6(c)に示す自動補正確認プロンプト画面において、画像の自動補正が指定されなかった場合(ステップS40;NO)、後述のステップS45に移行する。自動補正確認プロンプト画面において、画像の自動補正が指定された場合(ステップS40;YES)、該当する撮影画像の画質の自動補正処理が行われる(ステップS41)。画質の自動補正処理の詳細は、後に図18〜図25を参照して説明する。
【0064】
画質の自動補正処理が終了すると、補正済み画像を再度評価する画像評価処理が行われる(ステップS42)。ステップS42の画像評価処理の詳細は、後に図7〜図16を参照して説明する。次いで、表示部13に、補正済み画像及びその評価値が表示され(ステップS43)、その補正済み画像の評価値が所定値以下であるか否かが判定される(ステップS44)。ここで、所定値とは、図5(b)の自動削除設定画面において設定された基準値に基づいて決定され、例えば、各評価項目において設定された基準値の合計値等である。
【0065】
ステップS44において、補正済み画像の評価値が所定値より大きいと判定された場合(ステップS44;NO)、次の補正対象の候補が検索され(ステップS49)、ステップS38に戻る。ステップS44において、補正済み画像の評価値が所定値以下であると判定された場合(ステップS44;YES)、その補正済み画像が記録媒体から削除する候補として決定され、表示部13に、図6(f)に示すように、削除確認プロンプト画面が表示される(ステップS45)。削除確認プロンプト画面には、該当する画像と、「この画像を削除してもよろしいですか?(Y/N)」というメッセージ及び評価値が表示される。
【0066】
削除確認プロンプト画面において、該当する画像の削除が指定されなかった場合(ステップS46;NO)、記録媒体に記録済みの画像の中から、次の補正対象の候補が検索され(ステップS49)、ステップS38に戻る。削除確認プロンプト画面において、該当する画像の削除が指定された場合(ステップS46;YES)、該当画像が記録媒体から削除され(ステップS47)、現在の記録媒体の残り容量が新規撮影で得られる画像データを保存するのに十分であるか否かが判定される(ステップS48)。
【0067】
ステップS48において、記録媒体の残り容量が新規撮影の画像データを保存するのに十分であると判定された場合(ステップS48;YES)、本画像削除処理が終了する。ステップS48において、記録媒体の残り容量が新規撮影の画像データを保存するのに十分でないと判定された場合(ステップS48;NO)、記録媒体に記録済みの画像の中から、次の補正対象の候補が検索され(ステップS49)、ステップS38に戻る。
【0068】
なお、図3のフローチャートでは、表示部13に、図6(f)に示すような削除確認プロンプト画面を表示して、削除する画像をユーザに確認させ、ユーザから指定された画像を削除するようにしたが、削除候補として決定された画像を自動的に削除するようにしてもよい。
【0069】
次に、図2及び図3の画像評価処理で適用される画像評価方法の詳細を説明する。
【0070】
<画像評価方法1:輝度ヒストグラム分布に基づく評価>
まず、図7及び図8を参照して、撮影画像の輝度又は濃度のヒストグラム分布から画質を評価する方法について説明する。
【0071】
2次元画像データの各点(i、j)の輝度値をf(i、j)=xとし、輝度値別に画素数を集計することにより、図7に示すような輝度分布図(輝度のヒストグラム分布)P(x)が作成される。一般に、輝度のヒストグラム分布が中央からはずれて右端側(輝度値大:濃度のヒストグラム分布では左端側)に偏ると、露出オーバーで、高輝度領域が飽和したり、いわゆる「白飛び」した画像になる。逆に、輝度ヒストグラム分布が左端側(濃度ヒストグラム分布では右端側)に偏ると、露出アンダーで、低輝度領域が飽和したり、「黒つぶれ」した画像になる。また、分布が中央に集中していても、その分布幅が狭くて一様に広く分布していない場合には、ダイナミックレンジが狭く、中間諧調や細かな濃淡に欠けた画像となる。これらの何れも、撮影時の露出条件が悪く、写りの良くない画像の典型である。撮影画像の輝度又は濃度分布特性の指標値や統計量から、露出条件の良し悪しを評価できる。最近のデジタルカメラの多くは、この輝度値を集計演算して、ヒストグラム(頻度分布図)をグラフ表示したりできる機種が多いので、この機能を流用すれば、比較的容易に画像評価を行うことができる。
【0072】
本実施形態では、撮影画像の輝度又は濃度のヒストグラム分布から、輝度又は濃度の最頻値(最も頻度数が多い輝度値又は濃度値)、平均値、中央値(分布の頻度数の順位が中央にある輝度値又は濃度値)等の分布の代表値、分布の最大値、最小値、分散、標準偏差、歪み度、尖り度等を算出し、算出結果から、画像評価のための評価値が決定される。
【0073】
輝度又は濃度のヒストグラム分布の平均値xM、分散(Variance)σ2、標準偏差(Standard Deviation)σ、歪み度(Skewness)Skew、尖り度(Kurtosis)Kurtは、画素iの輝度値をxi、評価対象の画像の総画素数をNとすると、それぞれ、式(1)〜(5)のように表される。
【数1】
【0074】
ここで、分布の歪み度Skewは、分布が左右対称かどうかの非対称性を示す。分布が左右対称であれば0、右に大きなはずれ値があれば(露出オーバーの場合)正、左に大きなはずれ値があれば(露出アンダーの場合)負となる。また、分布の尖り度Kurtは、分布が正規分布ならば0、正規分布より広がりが大きければ(ダイナミックレンジが広い場合)正、正規分布より広がりが小さければ(ダイナミックレンジが狭い場合)負となる。
【0075】
このように、輝度又は濃度のヒストグラム分布の統計量に基づいて、分布の幅や広がり、その偏り、分布曲線の形状や特徴を判別し、画質の評価が可能となり、これらを元に画質の評価値が決定される。
【0076】
撮影画像がカラー画像である場合、図8に示すように、RGBの各色毎に、輝度又は濃度のヒストグラム分布PR(x)、PG(x)、PB(x)を作成し、色毎に、分布の平均値、分散、標準偏差、歪み度、尖り度、変動係数CV等の統計量を算出し、算出された色毎の統計量の違いや比較によって、画質の評価値を決定するようにしてもよい。ここで、変動係数CVは、式(6)のように定義される。
【数2】
【0077】
<画像評価方法2:周波数特性に基づく評価>
次に、図9〜図11を参照して、撮影画像の周波数特性から画質を評価する方法について説明する。
【0078】
撮影画像(2次元画像データ)の各点の輝度値又は濃度値f(x,y)を周波数変換したF(u,v)を算出し、周波数毎の振幅値や係数から、画像の周波数特性、画像全体に占める高周波成分や低周波成分の比率等から、画像のボケの程度や、鮮明度(シャープネス)、コントラスト等を評価することができる。周波数変換としては、フーリエ変換、離散フーリエ変換(DFT:Discrete Fourier Transform)、離散コサイン変換(DCT:Discrete Cosine Transform)、それらを高速計算する高速フーリエ変換(FFT:Fast Fourier Transform)アルゴリズム等を用いることができる。最近のデジタルカメラは、JPEG等の圧縮符号化のためにDCT用のDSP(Digital Signal Processor)やソフトウェアを内蔵しているものが多いので、この機能を流用すれば、比較的容易に画像評価を行うことができる。
【0079】
2次元画像データの輝度値又は濃度値f(x,y)の離散フーリエ変換式は、式(7)のように表される。
【数3】
【0080】
また、2次元画像データの輝度値又は濃度値f(x,y)の離散コサイン変換式は、式(8)のように表される。
【数4】
【0081】
このように、2次元画像f(x、y)を周波数空間に変換して、周波数成分F(u、v)を算出し、全周波数成分に占める高周波成分の比率、全周波数成分に占める低周波成分の比率に基づいて画像の評価値を決定することができる。また、図9に示すように、予め、撮影画像を順次走査して1次元信号に並び替えてから周波数変換を施して、評価値を算出してもよいし、図10に示すように、撮影画像を周波数変換したF(u、v)の振幅値を、ジグザグ走査などで1次元に並び替えてから、評価値を算出するようにしてもよい。
【0082】
本実施形態では、全周波数成分に占める高周波成分の比率を画質評価値とし、全周波数成分に占める低周波成分の比率をボケ評価値とする。即ち、画質評価値、ボケ評価値は、それぞれ、式(9)、式(10)のように表すことができる。
画質評価値=(高周波成分の振幅値合計)/(全周波数成分の振幅値合計) (9)
ボケ評価値=(全周波数成分の振幅値合計−高周波成分の振幅値合計)/(全周波数成分の振幅値合計) (10)
【0083】
また、図11に示すように、撮影画像の輝度値又は濃度値f(x、y)の周波数分布(振幅(度数)−周波数の関係)を求め、画像評価方法1と同様に、この周波数分布の平均値、分散、標準偏差等の統計量を算出し、算出された統計量に基づいて画質の評価値を決定するようにしてもよい。周波数成分iの振幅値をF[i]、周波数成分の合計をNとすると、この分布の平均値fM、分散σ2、標準偏差σは、それぞれ、以下の式(11)〜式(13)のように表すことができる。
【数5】
【0084】
<画像評価方法3:画像のブレの具合又はボケの度合いに基づく評価>
次に、図12〜図16を参照して、撮影画像のブレの具合又はボケの度合いに基づいて画質を評価する方法について説明する。
【0085】
図12に、画像の変換や復元等に用いるPSF(Point Spread Function:点像分布関数、点広がり関数)法等を利用して、ブレやボケを判別評価する方法について示す。一般に、PSF法による画像復元では、ブレやボケのない本来の画像i(x,y)と、ブレやボケを生じさせる成分p(x,y)により、劣化した劣化画像g(x,y)を表す。即ち、劣化画像g(x,y)は、式(14)のように表される。
g(x,y)=p(x,y)*i(x,y) (14)
ここで、*は、コンボリューション(畳み込み積分)演算を表す。
【0086】
p(x,y)を、PSF、LSF(Line Spread Function:線像分布関数)として、劣化させたp(x,y)を算出することができれば、本来の画像i(x,y)を、デコンボリューション(逆畳み込み積分)演算により求めることができる。以下、本来の画像i(x,y)の算出方法を説明する。
【0087】
まず、式(14)に示す劣化画像g(x、y)を、フーリエ変換等により周波数軸に変換する。周波数変換された劣化画像をG(u、v)とすると、G(u、v)は、式(15−1)のように表される。
【数6】
【0088】
また、p(x、y)、i(x、y)を周波数変換したものを、それぞれP(u、v)、I(u、v)とすると、G(u、v)は、式(15−2)のように表すこともできる。
G(u、v)=P(u、v)・I(u、v) (15−2)
ここで、コンボリューションは、周波数軸上では、フーリエ変換同士の掛け算となる。周波数領域で、式(15−2)のP(u、v)が算出できれば、逆フィルタとして1/P(u、v)を計算し、本来の画像i(x、y)を復元することができる。即ち、I(u、v)=G(u、v)/P(u、v)(フーリエ変換同士の割り算)を算出し、これを逆フーリエ変換してi(x、y)を求めればよい。式(16)にI(u、v)の逆フーリエ変換式を示す。
【数7】
【0089】
本実施形態では、このPSF法におけるPSFやP(u、v)の算出方法を、一般のアマチュアの撮影画像で、露出設定の失敗と並んで多い、「焦点ボケ」画像や「直線ブレ」画像の判別や評価に適用する。一般に、直線ブレした画像をフーリエ変換したG(u、v)の振幅値の分布は、図12(b)に示すような直線ブレのパターンとなり、中央付近の高周波成分がブレ角度に従って数本の細長い筋や傾斜した楕円形状に抜けて歪んだパターンが現れる。また、焦点ボケした画像をフーリエ変換したG(u、v)は、図12(d)に示すような焦点ボケの画像パターンとなり、中央部の高周波成分が同心円状に抜けて歪んだパターンとなる。また、直線ブレと焦点ボケが共に生じると、図12(c)に示すような、両方の特徴を合せもったパターンとなる。
【0090】
本実施形態では、直線ブレの評価値が、G(u、v)の振幅値が周期1/Lでゼロ交差する方向のブレ方向角度(θ)と、ブレの距離又はその画素数(L)に基づいて決定されるものとする。また、焦点ボケの評価値が、G(u,v)の振幅値が周期1.01π/rでゼロ交差する同心円状の焦点の広がり半径又はその画素数(r)に基づいて決定されるものとする。ブレ方向角度(θ)、ブレの距離(L)、焦点の広がり半径(r)を算出するには、PSF法、多階調Hough変換法、逆フィルタ法等を適用できるが、以下では、PSF法と多階調Hough変換を用いた算出方法について説明する。
【0091】
まず、図13(a)に示すように、直線ブレ等の劣化画像をフーリエ変換したG(u,v)のフーリエ・スペクトルの中央部の円内を、(複数点を通る直線の推定や検出等に広く用いられる)Hough変換により、θ―ρ空間上の多階調の2次元画像H(θ、ρ)に変換し、H(θ、ρ)値の角度θ毎に切り出したHθ(ρ)波形を比較し、各角度θ(0°≦θ<180°)におけるエントロピーE(θ)を求める。エントロピーE(θ)は、式(17)のように表される。
【数8】
式(17)のHsum(θ)は、劣化画像G(u,v)のフーリエ・スペクトルが示す円内の画素値の合計である。式(17)に示すエントロピーE(θ)が最小となる角度θを、直線ブレ方向(θ)とみなすことができる。また、図13(b)に示すように、直線ブレ方向(θ)のHθ(ρ)波形の極小点の周期(TL)を求めると、ブレ距離(L)=1/TLが求まる。
【0092】
焦点ボケの広がり半径(r)を算出するには、まず、図14に示すように、H(θ、ρ)をθ軸方向に0°〜179°まで平均化したC(ρ)波形を作成する。C(ρ)は、式(18)のように表される。
【数9】
C(ρ)波形の極小点の周期(Tr)から、焦点ボケの広がり半径(r)は、半径(r)=1.01×π/Trより求まる。
【0093】
図15及び図16に、上記の方法で用いたHough変換(ハフ変換)の原理を示す。Hough変換では、ρ=xcosθ+ysinθの変換式により、一般の2次元座標(x−y平面上の点)はθ‐ρ平面上の曲線に変換され、x−y平面上の直線は、θ‐ρ平面上の点に逆変換できる。例えば、x−y平面上の点A、B、Cを通る直線Lを求める場合には、図15に示すように、点A、B、CをHough変換した、θ‐ρ平面上の曲線A’、B’、C’が交差する交点P(θL、ρL)を求める。そして、その交点P(θL、ρL)をx−y平面上にHough逆変換し、ゼロ点から下ろした垂線の長さがρLで、垂線の角度がθLとなる直線Lが、求める直線となる。
【0094】
Hough変換の配列H(θ、ρ)の明度(多階調を有する輝度又は濃度)をH(θ、ρ)=f(x、y)として多階調の2次元画像として定義し、図15に示すような複数曲線の交点を求める場合には、図16に示すように、明度(階調値)を加算して、階調値が最も大きくなる点(図16の斜線部分)を交点として、近似計算で迅速に求めることができる。
【0095】
以上のように、画像を劣化させたPSF関数を算出する方法、ゼロクロス法、多階調Hough変換等により、劣化画像g(x、y)を周波数軸上にフーリエ変換したG(u,v)から、直線ブレ画像の方向(角度θ)、直線ブレの距離(画素数L)、焦点ボケ画像の焦点広がり半径(画素数r)を算出し、これらθ、L、rに基づいて画像の評価値が決定される。θ、L、rの値が大きくなるほど評価値は小さくなる。
【0096】
図17に、本実施形態で適用される画質補正処理の概念図を示す。
画質補正処理は、デジタルカメラ1に入力された撮影画像の各画素の輝度値(又は濃度値)f(i,j)或いはその周辺の画素配列に、所定の変換表などを参照しながら、画質補正演算を施し、補正後の出力画像g(i,j)或いは所定の特徴量を出力するものである。
【0097】
変換表としては、例えば、輝度変換などの入出力特性の変換式、変換用のLUT(Look Up Table)(変換表)、加重マトリックス(行列)、空間フィルタ係数などの演算子(オペレータ)等を利用すればよく、画質補正演算には、点処理演算、注目画素と周囲8点等を対象にする局所処理演算、画像全体に演算を施す大局処理演算を適用することができる。
【0098】
点処理演算としては、濃度ヒストグラム変換処理、2値化処理、座標変換処理、画像間演算がある。局所処理演算としては、ノイズ除去演算、微分演算、積和演算、フィルタ演算、エッジ抽出処理、膨張収縮処理、細線化処理などがある。大局処理演算としては、フーリエ変換等の直交変換演算、テクスチャー解析処理等を適用することができる。
【0099】
次に、図2及び図3の画質の自動補正処理で適用される画像補正方法1〜7について説明する。
【0100】
<画像補正方法1:ガンマ補正>
まず、図18を参照して、ガンマ補正処理について説明する。
ガンマ(γ)補正は、CCD(Charge Coupled Device)等の撮像素子の入出力特性曲線を、変換テーブルを用いて補正するもので、入力画像の輝度又は濃度をf(i,j)=L、γ補正後の出力画像の輝度又は濃度をg(i,j)=L'とすると、γ補正の変換式は、式(19)のように定義される。
【数10】
図18の変換テーブルαは、式(19)においてγ=0.5、(定数)=(255)-2とした場合の入力Lと出力L'の関係を示すテーブルである。
【0101】
<画像補正方法2:輝度又は濃度のヒストグラム分布の変換による補正>
次に、図19及び図20を参照して、撮影画像の輝度又は濃度のヒストグラム分布を変換することによる補正について説明する。
【0102】
入力された撮影画像の輝度をf(i,j)=x、変換後の画像の輝度をg(i,j)=yとすると、図19に示すように、撮影画像の輝度のヒストグラム分布P(x)を、線形又は非線形の輝度変換式y=Q(x)によって変換すると、P(x)とは異なる特性の輝度ヒストグラム分布P(y)が得られる。輝度ヒストグラム分布P(x)における輝度xの最小値をa、最大値をb、変換後の輝度ヒストグラム分布P(y)における輝度yの最小値をu、最大値をvとすると、図19に示した輝度変換式y=Q(x)は、式(20)のように表される。
【数11】
v−u>b−aである場合、ダイナミックレンジが狭くコントラストの悪い入力画像の輝度ヒストグラム分布P(x)を輝度変換式(20)により変換することにより、ダイナミックレンジが広がり、コントラストや中間諧調の濃淡表現を改善することができる。なお、式(20)における定数v、u、a、bの値を変えれば、ダイナミックレンジの収縮や、輝度ヒストグラム分布の左右シフト(全体の輝度を上げる、下げる)等にも応用できる。
【0103】
図20に、その他の輝度変換式の例を示す。
図20(a)は、画像の輝度を、(輝度が低いものほど)全体的に暗くする補正処理を行う場合の非線形の輝度変換式の一例であり、式(21)のように表される。
y=v(x/b)2 (21)
【0104】
図20(b)及び(c)は、画像の輝度を、(輝度が高いものほど)全体的に明るくする補正処理を行う場合の非線形の輝度変換式の例であり、それぞれ、式(22)、式(23)のように表される。
y=−v{(x−b)/b}2+v (22)
y/v=log(1+μ・x/b)/log(1+μ) (23)
【0105】
また、図20(d)及び(e)は、輝度が高い領域の輝度を上げ、輝度が低い領域の輝度を下げる場合の輝度変換式の例である。図20(d)に示すS字状の輝度変換式は、式(24)のように表される。
【数12】
図20(e)に示す輝度変換式は、式(25)のように表される。
【数13】
図20(d)又は(e)に示すような輝度変換式を用いると、階調表現のトーンカーブ(色調曲線)やコントラストを改善することができる。
【0106】
このように、線形や非線形の輝度又は濃度の変換式により、濃度や輝度のヒストグラム分布を変換することにより、露出条件の設定が悪くて「白飛び」や「黒つぶれ」した画像、コントラストや階調表現の悪い画像等のダイナミックレンジの拡大や、コントラストの改善、画面の明暗、中間諧調の濃淡表現、トーンカーブの改善など、画質の補正や加工を行うことができる。
【0107】
また、RGB各色別の輝度ヒストグラム分布毎に上記の補正処理を施して、ヒストグラム分布を改善したり、RGB各色の輝度の加重バランスなどを補正するようにしてもよい。例えば、水中撮影写真等によくあるように、B(青)色成分の露出オーバー気味で輝度は高いが、R(赤)色成分が(水に吸収されて)減じて露出アンダーになってしまった画像では、B(青)色成分のヒストグラムを少し左側にシフトして弱め、逆にR(赤)色成分のヒストグラムを少し右側にシフトして強めるなど、RGB各色のヒストグラムの偏りを調整して、全体の露出バランスを補正することができる。
【0108】
〈画像補正方法3:輝度又は濃度のヒストグラム分布の平坦化による補正〉
次に、図21及び図22を参照して、撮影画像の輝度又は濃度のヒストグラム分布の平坦化による補正方法について説明する。
【0109】
図21に示すように、入力画像の輝度又は濃度のヒストグラム分布P(x)の偏った分布(図21(a))を、P(x)の積分値を階調変換式として用いることにより、一様にフラットなヒストグラム分布P(y)(図21(b))が得られる。
【0110】
図21に示すヒストグラム分布の平坦化処理について、図22のフローチャートを参照して説明する。
【0111】
補正対象の画像が入力されると(ステップS60)、入力画像の横画素数×縦画素数が全画素数Nとして設定される(ステップS61)。次いで、補正後の出力画像の階調数m(0〜m−1)が決定され(ステップS62)、平均出現頻度数(1階調あたりの画素数)がN/mに設定される(ステップS63)。
【0112】
次いで、入力画像のヒストグラムが計算される(ステップS64)。次いで、階調輝度(又は濃度)をカウントするためのカウンタ値k(0〜m−1)が0に設定され(ステップS65)、階調kの合計数をカウントするためのカウンタ値Hist(k)が0に設定される(ステップS66)。
【0113】
次いで、入力画像の階調輝度(又は濃度)が低い方から順に画素が取り出され、出力画像の該当画素の階調がkに設定される(ステップS67)。そして、階調kの合計数Hist(k)がインクリメントされ(ステップS68)、現在の合計数Hist(k)が平均出現頻度数N/mより大きいか否かが判定される(ステップS69)。
【0114】
ステップS69において、Hist(k)がN/m以下であると判定された場合(ステップS69;NO)、ステップS67に戻り、ステップS67及びS68の処理が繰り返される。ステップS69において、Hist(k)がN/mより大きいと判定された場合(ステップS69;YES)、階調kがインクリメントされ(ステップS70)、現在の階調kが、階調の最大値m−1より大きいか否かが判定される(ステップS71)。
【0115】
ステップS71において、階調kがm−1以下であると判定された場合(ステップS71;NO)、ステップS66に戻り、ステップS66〜S70の処理が繰り返される。ステップS71において、階調kがm−1より大きいと判定された場合(ステップS71;YES)、階調変換後の画像が出力され(ステップS72)、本ヒストグラム平坦化処理が終了する。
【0116】
〈画像補正方法4:画像の平滑化による補正〉
次に、図23を参照して、撮影画像の平滑化による補正方法について説明する。
【0117】
入力画像の着目画素とその周囲からなる9画素に対し、図23(a)又は(b)に示すような平均値(MEAN)フィルタA(K,L)による空間フィルタ演算を施すことにより、画像全体が平滑化される。入力画像をf(i,j)、フィルタ演算後の出力画像をg(i,j)とすると、平均値フィルタA(K,L)を用いた空間フィルタ演算は、式(26)のように表される。
【数14】
このようなフィルタ演算によって、入力画像のごま塩ノイズが除去され、明瞭度が落ち、ぼかす効果がある。明瞭度をあまり落とさずに、ノイズを除去するためには、メディアン(中央値)フィルタを用いた処理が有効である。メディアンフィルタは、着目画素とその周囲の9画素のうち、輝度が大きい方から5番目の中央値を、着目画素の新しい輝度値とするフィルタである。
【0118】
〈画像補正方法5:微分フィルタを用いた鮮鋭化による補正〉
次に、図24及び図25を参照して、撮影画像の輪郭やエッジ成分を強調して、画像のボケを減じて、鮮鋭化する補正処理について説明する。
【0119】
図24(a)のように、階調が変化する部分のエッジがボケた画像f(i,j)を一次微分することによって、画像f(i,j)の勾配(Gradient)を求めると、図24(b)のように、階調が変化する勾配部分が抽出され、凹凸が得られる。画像f(i,j)の一次微分は、式(27)のように表される。
Δxf(i,j)=f(i+1,j)−f(i-1,j)、 Δyf(i,j)=f(i,j+1)−f(i,j-1) (27)
ここで、Δxは、x方向(横方向)の一次微分であり、Δyは、y方向(縦方向)の一次微分を表す。また、方向をもたない勾配は、式(28)、式(29)、式(30)のように表される。
【数15】
【0120】
画像f(i,j)の一次微分を更に微分する二次微分では、図24(c)に示すように、左右逆向きのN字状の波形となり、高周波成分が強調された画像が得られる。画像f(i,j)の二次微分(Laplaciant)は、式(31)又は式(32)のように表される。
【数16】
【0121】
式(27)に示す一次微分は、図25(a)に示すようなPrewittフィルタ、図25(b)に示すようなSobelフィルタ、Kirschフィルタ、Robertsフィルタ等が用いられる。図25において、入力画像にPrewittフィルタを作用させると、A−A'線上の入力画像は、図25(d)に示すような出力画像となり、入力画像にSobelフィルタを作用させると、A−A'線上の入力画像は、図25(e)に示すような出力画像となる。また、原画像(入力画像)から、二次微分が施された画像を差し引く演算を行うフィルタの一例を図25(c)に示す。図25(c)に示すようなフィルタを用いると、図25(f)に示すように、エッジ部分の高周波成分が強調された画像が得られる。即ち、このフィルタは、画像のボケたエッジや輪郭などを強調し、画像の鮮明度(シャープネス)を増加し、鮮鋭化する補正に利用することができる。
【0122】
図25(a)〜(c)に示すような微分フィルタをW(K,L)とすると、微分フィルタW(K,L)を用いたフィルタ演算は、式(33)のように表される。
【数17】
例えば、図25(c)に示したフィルタW(K,L)による演算は、式(33−1)のように表される。
【数18】
【0123】
〈画像補正方法6:周波数変換された画像に鮮鋭化処理を施す補正〉
次に、周波数変換された撮影画像に鮮鋭化処理を施すことによる補正処理について説明する。
【0124】
画像補正方法6は、2次元の離散フーリエ変換(DFT)、離散コサイン変換(DCT)等の周波数変換により周波数空間上に変換した画像データの低周波成分或いは高周波成分に対して、鮮鋭化処理、ぼかし処理、輪郭強調処理等のフィルタ処理を施すものである。2次元画像f(x,y)の離散フーリエ変換の変換式、離散コサイン変換の変換式は、それぞれ、画像評価方法2で示した式(7)、式(8)と同一である。
【0125】
周波数変換されたF(u,v)の直流成分及び低周波成分を残し(又は、増強し)、高周波成分を0にすると、低周波通過フィルタ(LPF)と同等の処理となり、エッジや輪郭を弱め、画像をぼかす補正となる。また、周波数変換されたF(u,v)の直流成分及び高周波成分を残し(又は増強し)、低周波成分を0とすると、高周波通過フィルタ(HPF)と同等の処理となり、エッジや輪郭を強調する補正となる。また、周波数変換されたF(u,v)の高周波成分の値を増大させるか、F(u,v)に一次微分フィルタ又は二次微分フィルタ(ラプラシアンフィルタ)を作用させた場合も、エッジや輪郭を強調する補正となる。周波数空間上で上述のような処理が施された画像を周波数逆変換(離散フーリエ逆変換、離散コサイン逆変換等)すると、鮮鋭化処理、ぼかし処理等が施された画像を得ることができる。
【0126】
〈画像補正方法7:PSF法を用いた補正〉
次に、PSF法等を用いて、手ブレなどによる直線ブレ画像、ピンボケ等の焦点ボケ画像の補正処理について説明する。
【0127】
直線ブレや焦点ボケのない本来の画像i(x,y)が、ブレやボケなどの劣化成分p(x,y)により劣化した画像g(x,y)をフーリエ変換したG(u,v)を求め、その周波数空間上のパターンから、画像評価方法3に示したように、直線ブレの方向(角度θ)、直線ブレの距離(画素数L)、焦点ボケの広がり半径(画素数r)が算出される。
【0128】
θ方向に周期1/Lでゼロ交差する直線ブレが生じている場合、式(15−2)のP(u、v)は、下記の式(34)のように表される。
P(u、v)=sin(πfL)/πfL (34)
ここで、f=ucosθ+vsinθである。そして、G(u、v)と、式(34)のP(u、v)から、ブレの無い本来の画像のフーリエ変換画像I(u、v)=G(u、v)/P(u、v)を求め、このI(u、v)を式(16)に示すように逆フーリエ変換して本来の画像i(x、y)を求めることができる。
【0129】
周期1.01π/rで同心円状のゼロ交差をする焦点ボケが生じている場合、式(15−2)のP(u、v)は、下記の式(35)のように表される。
P(u、v)=2・J1(r・R)/r・R (35)
ここで、式(35)のJ1は、1次の第1種ベッセル関数である。そして、上述と同様に、受信された画像データをフーリエ変換したG(u、v)と、式(35)のP(u、v)から、焦点ボケの無い本来の画像のフーリエ変換画像I(u、v)=G(u、v)/P(u、v)を求め、このI(u、v)を式(16)に示すように逆フーリエ変換して本来の画像i(x、y)を求めることができる。
【0130】
なお、一般的なPSF、LSF、逆フィルタ法、最小2乗法等の方法を用いてp(x,y)やP(u,v)を算出してもよいし、ウィナー・フィルタ等のその他の方法で逆フィルタ(インバースフィルタ)を求めたり、デコンボリューション演算を行って、画像の復元やブレ、ボケの補正を行うようにしてもよい。
【0131】
以上のように、本実施形態のデジタルカメラ1によれば、記録媒体の残り容量が予め設定された容量以下である場合、撮影画像を自動的に評価して、評価値が所定値以下の画像を自動的に補正し、補正処理後であっても画像の評価値が所定値以下である画像のみを削除するようにしたことにより、必要以上に画像を削除することなくなるとともに、記録媒体の空き領域を確実に確保することができる。
【0132】
(変形例)
次に、図26〜図28を参照して、上述の実施形態の変形例について説明する。本変形例では、デジタルカメラ1の生産工程で、ブレ、ボケ等の劣化成分を計測してデジタルカメラ1内に設定しておき、この設定された劣化成分に基づいて撮影画像の補正処理を行う例について説明する。なお、本変形例では、デジタルカメラ1の生産工程で設定される画像の劣化成分が、直線ブレ、焦点ボケである場合を示すが、他の劣化成分についても本変形例を適用することができる。
【0133】
まず、図26のフローチャートを参照して、デジタルカメラ1の生産工程において実行されるブレ劣化成分設定処理について説明する。
【0134】
まず、撮影対象である見本画像i(x,y)が設定されるとともに(ステップS80)、直線ブレ方向角度θが0に設定され(ステップS81)、更に、直線ブレ距離Lが0に設定される(ステップS82)。次いで、ブレ方向角度がθ、ブレ距離がLの直線ブレを生じさせて見本画像が撮影され、撮影画像g(x,y)が取得される(ステップS83)。ステップS83では、ロボットハンドや、専用の実験装置等を用いて、ブレが生じるように撮影される。
【0135】
次いで、撮影画像g(x,y)がフーリエ変換され、周波数空間での撮影画像G(u,v)が求められる(ステップS84)。次いで、見本画像i(x,y)をフーリエ変換したI(u,v)と、撮影画像をフーリエ変換したG(u,v)により、劣化成分p(x,y)をフーリエ変換したP(u,v)=G(u,v)/I(u,v)が算出され、この算出されたP(u,v)が、ブレ方向角度がθ、ブレ距離がLの劣化成分P1(θ,L)として、制御部32のメモリ(ROM)に記憶される(ステップS85)。
【0136】
次いで、ブレ距離Lがインクリメントされ(ステップS86)、現在のブレ距離Lが予め設定された最大値Lmax以上であるか否かが判定される(ステップS87)。ステップS87において、ブレ距離LがLmax未満であると判定された場合(ステップS87;NO)、ステップS83に戻り、ステップS83〜S86の処理が繰り返される。
【0137】
ステップS87において、ブレ距離LがLmax以上であると判定された場合(ステップS87;YES)、ブレ方向角度θがインクリメントされ(ステップS88)、現在のブレ方向角度θが予め設定された最大値θmax以上であるか否かが判定される(ステップS89)。
【0138】
ステップS89において、ブレ方向角度θがθmax未満であると判定された場合(ステップS89;NO)、ステップS83に戻り、ステップS83〜S88の処理が繰り返される。ステップS89において、ブレ方向角度θがθmax以上であると判定された場合(ステップS89;YES)、本ブレ劣化成分設定処理が終了する。
【0139】
次に、図27のフローチャートを参照して、デジタルカメラ1の生産工程において実行される焦点ボケ劣化成分設定処理について説明する。
【0140】
まず、撮影対象である見本画像i(x,y)が設定されるとともに(ステップS100)、焦点ボケ広がり半径rが0に設定される(ステップS101)。次いで、広がり半径がrの焦点ボケを生じさせて見本画像が撮影され、撮影画像g(x,y)が取得される(ステップS102)。ステップS102では、ロボットハンドや、専用の実験装置等を用いて、焦点ボケが生じるように撮影される。
【0141】
次いで、撮影画像g(x,y)がフーリエ変換され、周波数空間での撮影画像G(u,v)が求められる(ステップS103)。次いで、見本画像i(x,y)をフーリエ変換したI(u,v)と、撮影画像をフーリエ変換したG(u,v)により、劣化成分p(x,y)をフーリエ変換したP(u,v)=G(u,v)/I(u,v)が算出され、この算出されたP(u,v)が、焦点ボケ広がり半径rの劣化成分P2(r)として、制御部32のメモリ(ROM)に記憶される(ステップS104)。
【0142】
次いで、広がり半径rがインクリメントされ(ステップS105)、現在の広がり半径rが予め設定された最大値rmax以上であるか否かが判定される(ステップS106)。ステップS106において、広がり半径rがrmax未満であると判定された場合(ステップS106;NO)、ステップS102に戻り、ステップS102〜S105の処理が繰り返される。ステップS106において、広がり半径rがrmax以上であると判定された場合(ステップS106;YES)、本ブレ劣化成分設定処理が終了する。
【0143】
次に、図28のフローチャートを参照して、出荷後のデジタルカメラ1において実行される画像撮影・補正処理について説明する。
【0144】
キー入力部36の操作により撮影モードが指定されると、測光処理、露出条件の設定等が行われる(ステップS110)。測光処理後、キー入力部36のシャッターキーの押下により撮影が指示されると、撮影処理が行われ、撮影画像g(x,y)が取得される(ステップS111)。取得された撮影画像g(x,y)は、記録媒体(フラッシュメモリ38)に記録される。
【0145】
ステップS111の撮影処理において、手ブレ検出センサ40によりブレが検出された場合、検出されたブレの方向θ、ブレ距離Lが制御部32のRAMに記憶される(ステップS112)。また、撮影画像g(x,y)から焦点ボケが検出された場合、焦点ボケの広がり半径rが制御部32のメモリ(RAM)に記憶される(ステップS112)。
【0146】
次いで、撮影画像g(x,y)がフーリエ変換され、周波数空間での撮影画像G(u,v)が求められる(ステップS113)。次いで、ステップS112において記憶されたブレ距離Lが予め設定された値(設定値)以上であるか否か(即ち、評価値が所定値以下であるか否か)が判定される(ステップS114)。
【0147】
ステップS114において、ブレ距離Lが設定値未満である(即ち、評価値が所定値より大きい)と判定された場合(ステップS114;NO)、後述のステップS119に移行する。ステップS114において、ブレ距離Lが設定値以上である(即ち、評価値が所定値以下である)と判定された場合(ステップS114;YES)、ステップS112において記憶されたブレ方向θ及びブレ距離Lに対応する劣化成分P1(θ,L)が、制御部32のメモリ(ROM)から読み出され(ステップS115)、G(u,v)及びP1(θ,L)から、ブレのない本来の画像i(x,y)をフーリエ変換したI(u,v)=G(u,v)/P1(θ,L)が算出される(ステップS116)。
【0148】
次いで、ステップS116で算出されたI(u,v)がフーリエ逆変換されることにより、復元画像i(x,y)が算出され(ステップS117)、記録媒体に記録されたg(x,y)が復元画像i(x,y)に更新される(ステップS118)。
【0149】
次いで、ステップS112において記憶された焦点ボケの広がり半径rが予め設定された値(設定値)以上であるか否か(即ち、評価値が所定値以下であるか否か)が判定される(ステップS119)。ステップS119において、焦点ボケの広がり半径rが設定値未満である(即ち、評価値が所定値より大きい)と判定された場合(ステップS119;NO)、本画像撮影・補正処理が終了する。
【0150】
ステップS119において、焦点ボケの広がり半径rが設定値以上である(即ち、評価値が所定値以下である)と判定された場合(ステップS119;YES)、ステップS112において記憶された焦点ボケの広がり半径rに対応する劣化成分P2(r)が、制御部32のメモリ(ROM)から読み出され(ステップS120)、G(u,v)及びP2(r)から、焦点ボケのない本来の画像i(x,y)をフーリエ変換したI(u,v)=G(u,v)/P2(r)が算出される(ステップS121)。
【0151】
次いで、ステップS121で算出されたI(u,v)がフーリエ逆変換されることにより、復元画像i(x,y)が算出され(ステップS122)、記録媒体に記録されたg(x,y)が復元画像i(x,y)に更新され(ステップS123)、本画像撮影・補正処理が終了する。
【0152】
以上のように、デジタルカメラ1の生産工程において、予め、ブレやボケを生じさせるように見本画像を撮影して、ブレやボケの度合い別に劣化成分P(u,v)を算出してメモリに設定し、出荷後のデジタルカメラ1で撮影された画像を、メモリに設定された劣化成分P(u,v)に基づいて補正することにより、個々のカメラのレンズの性能に合わせた画像補正を容易に行うことができる。また、出荷後において劣化成分P(u,v)を算出する必要がないため、画像補正処理を高速に行うことができる。
【0153】
最近は、オートフォーカス機能が搭載されたデジタルカメラが普及しているが、カメラの機種毎に、オートフォーカスの精度や特性が異なっている。また、露出の条件や周囲の明るさ、被写体の配置等によって、常に所望の被写体に焦点が合った画像を撮影できるとは限らず、また、絞りの度合いや焦点距離によって、被写界深度も変化したりする。従って、図26〜図28に示すように、生産出荷前に、画像劣化の度合い別に劣化成分を算出してメモリに設定しておき、出荷後に撮影された画像を、メモリに設定された劣化成分に基づいて補正することにより、個々の機種でのレンズ特性やフォーカス特性の違いにも対応した補正を行うことができる。
【0154】
なお、本実施形態及び変形例における記述内容は、本発明の趣旨を逸脱しない範囲で適宜変更可能である。
【図面の簡単な説明】
【0155】
【図1】本発明の画像撮影装置を適用したデジタルカメラの回路構成を示すブロック図。
【図2】本実施形態のデジタルカメラにおいて実行される画像撮影・削除処理を示すフローチャート。
【図3】図2における画像削除処理の詳細を示すフローチャート。
【図4】デジタルカメラの表示部における画面表示例を示す図。
【図5】デジタルカメラの表示部における画面表示例を示す図。
【図6】デジタルカメラの表示部における画面表示例を示す図。
【図7】画像の輝度ヒストグラム分布から画像を評価する方法の一例を示す図。
【図8】画像の輝度ヒストグラム分布から画像を評価する方法の一例を示す図。
【図9】画像の周波数特性により画像を評価する方法の一例を示す図。
【図10】画像の周波数特性により画像を評価する方法の一例を示す図。
【図11】画像の周波数特性により画像を評価する方法の一例を示す図。
【図12】画像の直線ブレ、焦点ボケの度合いの測定による画像評価方法の一例を示す図。
【図13】直線ブレの方向の角度(θ)の算出方法と、直線ブレの距離(L)の算出方法を示す図。
【図14】焦点ボケの広がり半径(r)の算出方法を示す図。
【図15】ハフ(Hough)変換を説明するための図。
【図16】多階調ハフ変換を説明するための図。
【図17】画質補正処理の概念図。
【図18】ガンマ補正による画像補正方法を示す図。
【図19】輝度又は濃度のヒストグラム分布の変換による画像補正方法を示す図。
【図20】輝度又は濃度のヒストグラム分布の変換による画像補正方法を示す図。
【図21】輝度又は濃度のヒストグラムの平坦化による画像補正方法を示す図。
【図22】ヒストグラム平坦化処理を示すフローチャート。
【図23】画像の平滑化による画像補正方法を示す図。
【図24】微分フィルタを用いた鮮鋭化による画像補正方法を示す図。
【図25】微分フィルタを用いた鮮鋭化による画像補正方法を示す図。
【図26】デジタルカメラの生産工程に実行されるブレ劣化成分設定処理を示すフローチャート。
【図27】デジタルカメラの生産工程に実行される焦点ボケ劣化成分設定処理を示すフローチャート。
【図28】画像撮影・補正処理を示すフローチャート。
【符号の説明】
【0156】
1 デジタルカメラ(画像撮影装置)
2 外部機器
3 画像処理装置
4 表示装置
5 印刷装置
13 表示部
21 モータ(M)
22 レンズ光学系
23 CCD
24 TG(タイミング発生器)
25 垂直ドライバ
26 S/H(サンプルホールド回路)
27 A/D変換器
28 カラープロセス回路
29 DMAコントローラ
30 DRAMI/F
31 DRAM
32 制御部
33 VRAMコントローラ
34 VRAM
35 デジタルビデオエンコーダ
36 キー入力部
37 JPEG回路
38 フラッシュメモリ
39 通信部
40 手ブレ検出センサ
【技術分野】
【0001】
本発明は、画像撮影装置に関する。
【背景技術】
【0002】
静止画像や動画像を撮像し、メモリーカード等の記録媒体に記録するデジタルカメラでは、フィルム代や現像代などを気にすることなく撮影画像を記録することができる。最近では、記録媒体の価格が下がり、記録容量が大幅に増え、多数の画像が記録可能になっている(例えば、特許文献1参照。)。記録媒体の容量が一杯になった場合は、記録媒体に記録された画像データをPC(Personal Computer)等に転送してから記録媒体を空にするか、記録済みの画像の中から、ユーザが画像の良し悪しを判断して不要な画像を消去するなどして、記録媒体の空き領域が確保されている。
【特許文献1】特許第2787781号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかしながら、従来、デジタルカメラの記録媒体に記録された画像の中から不要な画像を削除する場合、ユーザが記録済み画像の画質等を目視で評価し、その評価結果に基づいて不要な画像を決めて削除していたため、実際は画質が良い画像であっても削除される可能性があった。
【0004】
本発明の課題は、デジタルカメラ等の画像撮影装置において撮影画像を自動的に補正することである。
【課題を解決するための手段】
【0005】
上記課題を解決するため、請求項1に記載の画像撮影装置は、被写体を撮影して撮影画像を取得する撮像手段と、前記取得された撮影画像を記録媒体に記録する記録手段と、前記取得された撮影画像の画質を評価する第1の評価手段と、前記記録媒体に記録された撮影画像のうち、前記第1の評価手段により算出された評価結果が所定の条件を満たす撮影画像の画質を補正する補正手段と、前記補正手段により画質が補正された撮影画像の画質を評価する第2の評価手段と、前記第2の評価手段による評価結果が所定の条件を満たす撮影画像を前記記録媒体から削除する候補として決定する決定手段と、を備えることを特徴としている。
【0006】
請求項2に記載の発明は、請求項1に記載の画像撮影装置において、前記記録媒体の残り容量が予め設定された容量以下であるか否かを判定する判定手段を備え、前記決定手段は、前記判定手段により、前記記録媒体の残り容量が予め設定された容量以下であると判定された場合に、前記第2の評価手段による評価結果が所定の条件を満たす撮影画像を前記記録媒体から削除する候補として決定することを特徴としている。
【0007】
請求項3に記載の発明は、請求項1又は2に記載の画像撮影装置において、前記第1の評価手段及び第2の評価手段は、撮影画像の輝度又は濃度のヒストグラム分布に基づいて、当該撮影画像の画質を評価することを特徴としている。
【0008】
請求項4に記載の発明は、請求項1又は2に記載の画像撮影装置において、前記第1の評価手段及び第2の評価手段は、撮影画像の周波数特性に基づいて、当該撮影画像の画質を評価することを特徴としている。
【0009】
請求項5に記載の発明は、請求項1又は2に記載の画像撮影装置において、前記第1の評価手段及び第2の評価手段は、撮影画像のブレ又は焦点ボケの度合いに基づいて当該撮影画像の画質を評価することを特徴としている。
【0010】
請求項6に記載の発明は、請求項1〜5の何れか一項に記載の画像撮影装置において、前記補正手段は、撮影画像に対してガンマ補正を施すことを特徴としている。
【0011】
請求項7に記載の発明は、請求項1〜5の何れか一項に記載の画像撮影装置において、前記補正手段は、撮影画像の輝度又は濃度のヒストグラム分布を所定の変換式により変換することにより、当該撮影画像を補正することを特徴としている。
【0012】
請求項8に記載の発明は、請求項1〜5の何れか一項に記載の画像撮影装置において、前記補正手段は、撮影画像の輝度又は濃度のヒストグラム分布の平坦化を行うことにより、当該撮影画像を補正することを特徴としている。
【0013】
請求項9に記載の発明は、請求項1〜5の何れか一項に記載の画像撮影装置において、前記補正手段は、画像を平滑化するための空間フィルタを用いて撮影画像を補正することを特徴としている。
【0014】
請求項10に記載の発明は、請求項1〜5の何れか一項に記載の画像撮影装置において、前記補正手段は、所定の微分フィルタを用いて撮影画像を鮮鋭化する処理を行うことを特徴としている。
【0015】
請求項11に記載の発明は、請求項1〜5の何れか一項に記載の画像撮影装置において、前記補正手段は、撮影画像を周波数変換し、周波数変換された撮影画像に対して、鮮鋭化処理又はぼかし処理を施すことを特徴としている。
【0016】
請求項12に記載の発明は、請求項1〜5の何れか一項に記載の画像撮影装置において、前記補正手段は、点像分布関数又は線像分布関数を用いて、撮影画像の直線ブレ又は焦点ボケを補正することを特徴としている。
【0017】
請求項13に記載の発明は、請求項1〜12の何れか一項に記載の画像撮影装置において、画像劣化が生じる方式で見本画像を撮影する劣化画像撮像手段と、前記劣化画像撮像手段により得られた画像の劣化成分を算出する算出手段と、画像劣化の度合い別に、前記算出手段により算出された画像の劣化成分の情報を記憶する記憶手段と、を備え、前記撮像手段により取得された撮影画像の評価結果が所定の条件を満たす場合、前記補正手段は、当該撮影画像に対応する劣化成分を前記記憶手段から読み出し、その読み出された劣化成分に基づいて当該撮影画像を補正することを特徴としている。
【発明の効果】
【0018】
本発明によれば、撮影画像を自動的に評価し、評価結果が所定の条件を満たす画像(例えば、評価値が所定値以下の画像)を自動的に補正し、補正処理後に再度、当該画像を評価し、その評価結果が所定の条件を満たす画像(例えば、評価値が所定値以下の画像)のみを削除可能としたことにより、必要以上に画像を削除することなくなるとともに、記録媒体の空き領域を確実に確保することができる。
【0019】
また、予め、画像劣化が生じる方式で見本画像を撮影して、画像劣化の度合い別に劣化成分を算出して記憶し、実際に撮影された画像の評価結果が所定の条件を満たす場合(例えば、評価値が所定値以下である場合)、記憶手段に記憶された劣化成分に基づいて画像補正を行うことにより、個々の画像撮影装置の性能に合わせた画像補正を容易に行うことができる。また、画像補正の際に劣化成分を算出する必要がないため、画像補正処理を高速に行うことができる。
【発明を実施するための最良の形態】
【0020】
以下、図面を参照して、本発明の実施形態を詳細に説明する。
まず、本実施形態における構成について説明する。
【0021】
図1に、本発明の画像撮影装置を適用した実施形態に係るデジタルカメラ1の回路構成を示す。デジタルカメラ1は、図1に示すように、モータ(M)21、レンズ光学系22、CCD23、TG(タイミング発生器)24、垂直ドライバ25、S/H(サンプルホールド回路)26、A/D変換器27、カラープロセス回路28、DMA(Direct Memory Access)コントローラ29、DRAM(Dynamic RAM) I/F(DRAMインターフェース)30、DRAM31、制御部32、VRAM(Video RAM)コントローラ33、VRAM34、デジタルビデオエンコーダ35、キー入力部36、JPEG(Joint Photograph coding Experts Group)回路37、フラッシュメモリ38、通信部39、手ブレ検出センサ40、表示部13により構成される。
【0022】
モータ(M)21は、制御部32から入力される制御信号に従って駆動し、レンズ光学系22の絞り位置を移動させる。
【0023】
CCD23は、撮像素子が平面状(2次元)に配列された構造を有し、光入力を電気信号に変換して蓄積する光電変換部、蓄積された電荷を読み出す走査部、電気信号として出力する出力部により構成され、撮影モードでのモニタリング状態において、タイミング発生器(TG)24、垂直ドライバ25によって駆動される。
【0024】
CCD23の出力部から出力された電気信号は、アナログ値の信号の状態でRGBの各原色成分毎に適宜ゲイン調整され、S/H(サンプルホールド回路)26は、このゲイン調整された信号をサンプルホールドする。A/D変換器27は、S/H(サンプルホールド回路)26から出力されたアナログ信号をデジタル信号に変換し、カラープロセス回路28に出力する。
【0025】
カラープロセス回路28は、A/D変換器27から出力されたデジタル信号に対して画素補間処理及びγ補正処理を含むカラープロセス処理を施し、デジタル値の輝度信号Y及び色差信号Cb、Crを生成し、DMAコントローラ29に出力する。
【0026】
DMAコントローラ29は、カラープロセス回路28から出力された輝度信号Y及び色差信号Cb、Crを、同じくカラープロセス回路28から出力された複合同期信号、メモリ書込みイネーブル信号及びクロック信号を用いて一度DMAコントローラ29内部のバッファに書込み、DRAM I/F30を介してバッファメモリとして使用されるDRAM31にDMA転送を行う。
【0027】
制御部32は、CPU(Central Processing Unit)、CPUで実行される動作プログラムを固定的に記憶したROM(Read Only Memory)、ワークメモリとして使用されるRAM(Random Access Memory)等により構成され、デジタルカメラ1の各部の動作を制御する。以下、制御部32による制御動作について説明する。
【0028】
制御部32は、撮影された画像の画質を評価する画像評価処理を実行する。また、制御部32は、撮影モードが指定されると、フラッシュメモリ38(記録媒体)の残り容量が予め設定された容量以下であるか否かを判定し、記録媒体の残り容量が予め設定され容量以下であると判定された場合、記録媒体に記録された画像のうち、画像評価処理により算出された評価値が所定値以下である撮影画像の画質を補正する補正処理を実行する。そして、制御部32は、画質補正が施された画像の評価処理を再度行い、この画像評価処理により算出された評価値が所定値以下の画像を、記録媒体から削除する候補として決定する。そして、制御部32は、削除候補の画像の中から、キー入力部36の操作により指定された画像を記録媒体から削除する処理を行う。以下の、実施形態において、記録媒体に記録済みのデータを消去する場合だけでなく、記録済みのデータに新しいデータを上書きする場合も、記録済みのデータが「削除」されたものとみなすことにする。
【0029】
画像評価の方法としては、撮影画像の輝度又は濃度のヒストグラム分布から評価する方法と(画像評価方法1:図7及び図8参照)、撮影画像の周波数特性に基づいて評価する方法と(画像評価方法2:図9〜図11参照)、撮影画像のブレ又は焦点ボケの度合いに基づいて評価する方法(画像評価方法3:図12〜図16)等がある。本実施形態の画像評価処理では、これら複数の画像評価方法の全てが適用される場合を示すが、これら画像評価方法1〜3のうちの何れか一つ又は2つ以上を組み合わせてもよい。
【0030】
撮影画像の画質を補正する方法としては、撮影画像にガンマ補正を施す方法と(画像補正方法1:図18参照)、撮影画像の輝度又は濃度のヒストグラム分布を所定の変換式による変換する方法と(画像補正方法2:図19及び図20参照)、撮影画像の輝度又は濃度のヒストグラム分布を平坦化する方法と(画像補正方法3:図21及び図22参照)、撮影画像を平滑化する方法と(画像補正方法4:図23参照)、微分フィルタを用いて撮影画像を鮮鋭化する方法と(画像補正方法5:図24及び図25参照)、周波数変換された撮影画像に鮮鋭化処理を施す方法と(画像補正方法6)、PSF(Point Spread Function)、LPF(Line Spread Function)等を用いて撮影画像の直線ブレ又は焦点ボケを補正する方法(画像補正方法7)等がある。本実施形態では、画像補正方法1〜7のうちの何れか一つ又は2つ以上を組み合わせた画像補正方法を適用することができる。
【0031】
VRAMコントローラ33は、制御部32の制御により、DRAM31に一時記憶されている画像データ(輝度信号Y及び色差信号Cb、Cr)を、DRAM31からDRAM I/F30を介して読出し、VRAM34に書込む。また、再生モード時、制御部32により伸長された画像データをVRAM34に展開して記憶させる。
【0032】
デジタルビデオエンコーダ35は、VRAM34に記憶されている画像データを、VRAM34からVRAMコントローラ33を介して定期的に読出し、これらのデータを元にビデオ信号を生成して表示部13に出力する。
【0033】
キー入力部36は、電源キー、シャッターキー、モードスイッチ、メニューキー及び十字キー等の各種キーにより構成され、それらのキー操作に応じた信号を制御部32に出力する。キー入力部36のシャッターキーは、2段階のストロークで動作し、一般的に「半押し」と表現されている第1段階の操作状態でAE(自動露光)処理やAF(オートフォーカス)処理を始めとする撮影の準備を行い、一般的に「全押し」と表現されている、より強く押圧操作した第2段階の操作状態で撮影を実行する。
【0034】
JPEG回路37は、CCD23から取り込まれ、DRAM31に一時的に記憶されている画像信号を、ADCT(Adaptive Discrete Cosine Transform:適応離散コサイン変換)、エントロピー符号化方式であるハフマン符号化などの処理によりデータ圧縮する。
【0035】
フラッシュメモリ38は、デジタルカメラ1の記録媒体として着脱自在に装着されるメモリーカード内に封入された不揮発性メモリであり、JEPG回路37により符号化された画像信号が記録される。なお、フラッシュメモリ38は、デジタルカメラ1に内蔵されていてもよい。
【0036】
通信部39は、外部機器とケーブルを介したデータ通信を行うためのインターフェースを備える。例えば、通信部39は、IEEE1394やUSB(Universal Serial Bus)等により通信を行うためのインターフェースを備える。なお、外部機器と無線通信手段により通信可能としてもよい。
【0037】
手ブレ検出センサ40は、加速度センサ等であり、撮影時の手ブレ量(ブレ方向(θ)、ブレの距離(L)等、後述)を検出する。表示部13は、撮影モード時にはモニタ表示部(電子ファインダ)として機能し、デジタルビデオエンコーダ35からのビデオ信号に基づいた表示を行うことで、その時点でVRAMコントローラ33から取込んでいる画像情報に基づくスルー画像をリアルタイムに表示する。
【0038】
次に、本実施形態における動作について説明する。
まず、図2のフローチャートを参照して、デジタルカメラ1において実行される画像撮影・削除処理について説明する。
【0039】
まず、表示部13に、図4(a)に示すようなメニュー画面が表示される(ステップS1)。図4(a)に示すメニュー画面には、撮影モードを指定するための「撮影モード」ボタン、撮影画像の再生を指定するための「再生モード」ボタン、撮影画像の削除を指定するための「画像の削除」ボタン、その他の各種の設定を指定するための「各種の設定」ボタン等が表示されている。
【0040】
メニュー画面において、「画像の削除」ボタンが指定されると(ステップS3;YES)、図4(b)及び図5(a)に示すような削除モード画面が表示され、キー入力部36の操作により、画像の自動削除、画質補正等の各種の設定処理が行われ(ステップS4)、設定処理後、ステップS1に戻る。メニュー画面において、「撮影モード」ボタン及び「画像の削除」ボタン以外のボタンが指定された場合(ステップS3;NO)、その指定されたモードに対応する処理が行われ(ステップS5)、ステップS1に戻る。
【0041】
削除モード画面において、「自動削除の設定」ボタンが指定されると、図5(b)に示すような自動削除設定画面が表示される。自動削除設定画面には、図5(b)に示すように、設定項目として、撮影画像の自動削除機能を有効(ON)にするか無効(OFF)にするかを設定するための「自動削除機能」欄と、画像の削除方法を設定するための「削除方法」欄、画像の評価方法を設定するための「評価方法」欄と、各評価機能を有効(ON)にするか無効(OFF)にするかを設定するための「評価項目」欄(例えば、「露出条件評価」項目、「コントラスト評価」項目、「ボケ・ブレ評価」項目)が表示されている。また、各評価項目欄には、評価項目の基準値を設定するための「基準値」欄が表示されている。ここで、評価項目の基準値とは、補正対象、削除対象の基準となる数値であり、この基準値に基づいて画像の評価値が決定される。
【0042】
図5(a)に示す削除モード画面において、「画質の補正」ボタンが指定されると、図5(c)に示すような補正項目画面が表示される。補正項目画面には、図5(c)に示すように、画質の補正項目として、「露出(濃度レベル)の補正」ボタン、「トーンカーブ(コントラスト)修正」ボタン、「輪郭エッジの強調(シャープ)」ボタン、「ボケ・ブレの補正」ボタン、「ノイズの除去」ボタン、「色調(明度/色相/彩度)の修正」ボタンが表示されている。
【0043】
図5(a)に示す削除モード画面において、「画質の自動補正の設定」ボタンが指定されると、図5(e)に示すような画質の自動補正設定画面が表示される。図5(e)に示す自動補正設定画面には、撮影画像の自動補正機能、露出条件の補正機能、輪郭エッジを強調する機能、ボケ、ブレの補正機能、ノイズの除去機能の各機能を有効(ON)にするか無効(OFF)にするかを設定するための「自動補正機能」欄、「露出条件の補正」欄、「輪郭エッジ強調」欄、「ボケ・ブレの補正」欄、「ノイズの除去」欄が表示されている。
【0044】
図5(c)に示す補正項目画面において、「露出(濃度レベル)の補正」ボタンが指定されると、図5(d)に示すような露出(濃度レベル)の補正画面が表示され、キー入力部36の操作により、RGBの色毎に、撮影画像の濃度レベルが設定される。また、図5(c)に示す補正項目画面において、「トーンカーブ(コントラスト)修正」ボタンが指定されると、図5(f)に示すようなトーンカーブ修正画面が表示され、キー入力部36の操作により、撮影画像のコントラストが設定される。
【0045】
図4(a)に示すメニュー画面において、「撮影モード」ボタンが指定された場合(ステップS2;YES)、デジタルカメラ1のレンズ位置等の初期設定が行われ(ステップS6)、記録媒体(フラッシュメモリ38)の残り容量が設定容量以下であるか否かが判定される(ステップS7)。
【0046】
ステップS7において、記録媒体の残り容量が設定容量以下であると判定された場合(ステップS7;YES)、各撮影画像の評価値に基づいて記録媒体から画像データを削除する画像削除処理が行われる(ステップS8)。画像削除処理の詳細は、後に図3を参照して説明する。
【0047】
ステップS7において、記録媒体の残り容量が設定容量より大きいと判定された場合(ステップS7;NO)又はステップS8の画像削除処理の終了後、測光処理、露出条件の設定等が行われる(ステップS9)。次いで、ズーム処理が行われ(ステップS10)、オートフォーカス処理が行われる(ステップS11)。
【0048】
表示部13に、図6(a)に示すような撮影スルー画像が表示され(ステップS12)、キー入力部36のシャッターキーの押下により撮影が指示されると(ステップS13;YES)、撮影処理が行われ(ステップS14)、撮影画像データが取得される。撮影処理後、撮影処理で取得された撮影画像データの画像評価処理が行われる(ステップS15)。画像評価処理の詳細は、後に図7〜図16を参照して説明する。シャッターキーが押されなかった場合には(ステップS13;NO)、その他(撮影モード以外)のキー入力処理、表示処理等が行われ(ステップS25)、本画像撮影・削除処理が終了する。
【0049】
撮影画像データの画像評価処理が終了すると、撮影画像データとその評価値が対応付けて記録媒体に記録され(ステップS16)、撮影画像データ及びその評価値が表示部13に表示される(ステップS17)。なお、ステップS17において、図6(b)に示すように、画像データのサイズ、撮影条件、画質評価値等の画像の詳細データを表示するようにしてもよい。また、画質評価値の各項目や総合評価値は、5点法や10点法又は%に換算して表示するようにしてもよい。
【0050】
次いで、撮影画像の評価値が所定値以下であるか否かが判定される(ステップS18)。ここで、所定値とは、図5(b)の自動削除設定画面において設定された基準値に基づいて決定され、例えば、各評価項目において設定された基準値の合計値等である。ステップS18において、撮影画像の評価値が所定値より大きいと判定された場合(ステップS18;NO)、その他(撮影モード以外)のキー入力処理、表示処理等が行われ(ステップS25)、本画像撮影・削除処理が終了する。
【0051】
ステップS18において、撮影画像の評価値が所定値以下であると判定された場合(ステップS18;YES)、表示部13には、図6(c)に示すような自動補正確認プロンプト画面が表示される。自動補正確認プロンプト画面には、図6(c)に示すように、該当する撮影画像と、「この画像を自動補正してもよろしいですか?(Y/N)」というメッセージ及び評価値が表示される。
【0052】
図6(c)に示す自動補正確認プロンプト画面において、画像の自動補正が指定されなかった場合(ステップS19;NO)、ステップS25に移行する。自動補正確認プロンプト画面において、画像の自動補正が指定された場合(ステップS19;YES)、該当する撮影画像の画質の自動補正処理が行われる(ステップS20)。画質の自動補正処理の詳細は、後に図18〜図25を参照して説明する。
【0053】
ステップS20における画質の自動補正処理が終了すると、補正済みの撮影画像に対する画像評価処理が行われる(ステップS21)。画像評価処理の詳細は、後に図7〜図16を参照して説明する。次いで、表示部13に、図6(d)に示すような補正済み画像の更新確認プロンプト画面が表示される。補正済み画像の更新確認プロンプト画面には、図6(d)に示すように、該当する撮影画像と、「画質を自動補正しました。この画像に更新しますか?(Y/N)」というメッセージ及び評価値が表示される。
【0054】
補正済み画像の更新確認プロンプト画面において、補正済み画像の更新が指定されなかった場合(ステップS23;NO)、ステップS25に移行する。補正済み画像の更新確認プロンプト画面において、補正済み画像の更新が指定された場合(ステップS23;YES)、その補正済み画像が符号化され、評価値とともに記録媒体に記録される(ステップS24)。そして、その他(撮影モード以外)のキー入力処理、表示処理等が行われ(ステップS25)、本画像撮影・削除処理が終了する。
【0055】
なお、ステップS15及びS21における画像評価処理は、1枚撮影される度に行うようにしてもよいし、一連の撮影処理の終了後に全画像分の処理をまとめて行うようにしてもよい。特に、連写撮影や動画撮影では、撮影性能を保つため、後者の方法を用いるのが好ましい。
【0056】
次に、図3のフローチャートを参照して、図2に示した画像削除処理の詳細について説明する。
【0057】
まず、画像データの自動削除設定がONであるか否か(画像データの自動削除機能が有効であるか否か)が判定される(ステップS30)。ステップS30において、自動削除設定がOFFであると判定された場合(ステップS30;NO)、表示部13に、記録媒体の残り容量がなくなっている旨が表示されるとともに(ステップS31)、マニュアル操作での画像削除を確認するための確認プロンプト画面が表示される(ステップS32)。
【0058】
表示部13に表示された確認プロンプト画面上において、マニュアル操作での画像削除が指定されると(ステップS33;YES)、マニュアル操作による画像の削除モードに移行し(ステップS34)、本画像削除処理が終了する。ステップS34では、ユーザは、記録媒体の容量を確認しながら画像を削除する。マニュアル操作での画像削除が指定されなかった場合(ステップS33;NO)、本画像削除処理が終了する。
【0059】
ステップS30において、自動削除設定がONであると判定された場合(ステップS30;YES)、表示部13に、図6(e)に示すように、「メモリーの残りがありません!削除する候補を検索します。」というメッセージが表示され、記録媒体に記録済みの画像は画像評価処理済であるか否かが判定される(ステップS35)。
【0060】
ステップS35において、記録済み画像が画像評価処理済でないと判定された場合(ステップS35;NO)、記録済み画像の画像評価処理が行われ(ステップS36)、後述のステップS37に移行する。ステップS36の画像評価処理の詳細は、後に図7〜図16を参照して説明する。
【0061】
ステップS35において、記録済み画像が画像評価処理済であると判定された場合(ステップS35;YES)又はステップS36の画像評価処理が終了すると、記録媒体に記録された画像のうち、評価値が所定値以下の画像が検索され(ステップS37)、評価値が最も低い順に、補正対象の画像が選択される(ステップS38)。
【0062】
補正対象の撮影画像が選択されると、表示部13には、図6(c)に示すような自動補正確認プロンプト画面が表示される(ステップS39)。自動補正確認プロンプト画面には、図6(c)に示すように、選択された撮影画像と、「この画像を自動補正してもよろしいですか?(Y/N)」というメッセージ及び評価値が表示される。
【0063】
図6(c)に示す自動補正確認プロンプト画面において、画像の自動補正が指定されなかった場合(ステップS40;NO)、後述のステップS45に移行する。自動補正確認プロンプト画面において、画像の自動補正が指定された場合(ステップS40;YES)、該当する撮影画像の画質の自動補正処理が行われる(ステップS41)。画質の自動補正処理の詳細は、後に図18〜図25を参照して説明する。
【0064】
画質の自動補正処理が終了すると、補正済み画像を再度評価する画像評価処理が行われる(ステップS42)。ステップS42の画像評価処理の詳細は、後に図7〜図16を参照して説明する。次いで、表示部13に、補正済み画像及びその評価値が表示され(ステップS43)、その補正済み画像の評価値が所定値以下であるか否かが判定される(ステップS44)。ここで、所定値とは、図5(b)の自動削除設定画面において設定された基準値に基づいて決定され、例えば、各評価項目において設定された基準値の合計値等である。
【0065】
ステップS44において、補正済み画像の評価値が所定値より大きいと判定された場合(ステップS44;NO)、次の補正対象の候補が検索され(ステップS49)、ステップS38に戻る。ステップS44において、補正済み画像の評価値が所定値以下であると判定された場合(ステップS44;YES)、その補正済み画像が記録媒体から削除する候補として決定され、表示部13に、図6(f)に示すように、削除確認プロンプト画面が表示される(ステップS45)。削除確認プロンプト画面には、該当する画像と、「この画像を削除してもよろしいですか?(Y/N)」というメッセージ及び評価値が表示される。
【0066】
削除確認プロンプト画面において、該当する画像の削除が指定されなかった場合(ステップS46;NO)、記録媒体に記録済みの画像の中から、次の補正対象の候補が検索され(ステップS49)、ステップS38に戻る。削除確認プロンプト画面において、該当する画像の削除が指定された場合(ステップS46;YES)、該当画像が記録媒体から削除され(ステップS47)、現在の記録媒体の残り容量が新規撮影で得られる画像データを保存するのに十分であるか否かが判定される(ステップS48)。
【0067】
ステップS48において、記録媒体の残り容量が新規撮影の画像データを保存するのに十分であると判定された場合(ステップS48;YES)、本画像削除処理が終了する。ステップS48において、記録媒体の残り容量が新規撮影の画像データを保存するのに十分でないと判定された場合(ステップS48;NO)、記録媒体に記録済みの画像の中から、次の補正対象の候補が検索され(ステップS49)、ステップS38に戻る。
【0068】
なお、図3のフローチャートでは、表示部13に、図6(f)に示すような削除確認プロンプト画面を表示して、削除する画像をユーザに確認させ、ユーザから指定された画像を削除するようにしたが、削除候補として決定された画像を自動的に削除するようにしてもよい。
【0069】
次に、図2及び図3の画像評価処理で適用される画像評価方法の詳細を説明する。
【0070】
<画像評価方法1:輝度ヒストグラム分布に基づく評価>
まず、図7及び図8を参照して、撮影画像の輝度又は濃度のヒストグラム分布から画質を評価する方法について説明する。
【0071】
2次元画像データの各点(i、j)の輝度値をf(i、j)=xとし、輝度値別に画素数を集計することにより、図7に示すような輝度分布図(輝度のヒストグラム分布)P(x)が作成される。一般に、輝度のヒストグラム分布が中央からはずれて右端側(輝度値大:濃度のヒストグラム分布では左端側)に偏ると、露出オーバーで、高輝度領域が飽和したり、いわゆる「白飛び」した画像になる。逆に、輝度ヒストグラム分布が左端側(濃度ヒストグラム分布では右端側)に偏ると、露出アンダーで、低輝度領域が飽和したり、「黒つぶれ」した画像になる。また、分布が中央に集中していても、その分布幅が狭くて一様に広く分布していない場合には、ダイナミックレンジが狭く、中間諧調や細かな濃淡に欠けた画像となる。これらの何れも、撮影時の露出条件が悪く、写りの良くない画像の典型である。撮影画像の輝度又は濃度分布特性の指標値や統計量から、露出条件の良し悪しを評価できる。最近のデジタルカメラの多くは、この輝度値を集計演算して、ヒストグラム(頻度分布図)をグラフ表示したりできる機種が多いので、この機能を流用すれば、比較的容易に画像評価を行うことができる。
【0072】
本実施形態では、撮影画像の輝度又は濃度のヒストグラム分布から、輝度又は濃度の最頻値(最も頻度数が多い輝度値又は濃度値)、平均値、中央値(分布の頻度数の順位が中央にある輝度値又は濃度値)等の分布の代表値、分布の最大値、最小値、分散、標準偏差、歪み度、尖り度等を算出し、算出結果から、画像評価のための評価値が決定される。
【0073】
輝度又は濃度のヒストグラム分布の平均値xM、分散(Variance)σ2、標準偏差(Standard Deviation)σ、歪み度(Skewness)Skew、尖り度(Kurtosis)Kurtは、画素iの輝度値をxi、評価対象の画像の総画素数をNとすると、それぞれ、式(1)〜(5)のように表される。
【数1】
【0074】
ここで、分布の歪み度Skewは、分布が左右対称かどうかの非対称性を示す。分布が左右対称であれば0、右に大きなはずれ値があれば(露出オーバーの場合)正、左に大きなはずれ値があれば(露出アンダーの場合)負となる。また、分布の尖り度Kurtは、分布が正規分布ならば0、正規分布より広がりが大きければ(ダイナミックレンジが広い場合)正、正規分布より広がりが小さければ(ダイナミックレンジが狭い場合)負となる。
【0075】
このように、輝度又は濃度のヒストグラム分布の統計量に基づいて、分布の幅や広がり、その偏り、分布曲線の形状や特徴を判別し、画質の評価が可能となり、これらを元に画質の評価値が決定される。
【0076】
撮影画像がカラー画像である場合、図8に示すように、RGBの各色毎に、輝度又は濃度のヒストグラム分布PR(x)、PG(x)、PB(x)を作成し、色毎に、分布の平均値、分散、標準偏差、歪み度、尖り度、変動係数CV等の統計量を算出し、算出された色毎の統計量の違いや比較によって、画質の評価値を決定するようにしてもよい。ここで、変動係数CVは、式(6)のように定義される。
【数2】
【0077】
<画像評価方法2:周波数特性に基づく評価>
次に、図9〜図11を参照して、撮影画像の周波数特性から画質を評価する方法について説明する。
【0078】
撮影画像(2次元画像データ)の各点の輝度値又は濃度値f(x,y)を周波数変換したF(u,v)を算出し、周波数毎の振幅値や係数から、画像の周波数特性、画像全体に占める高周波成分や低周波成分の比率等から、画像のボケの程度や、鮮明度(シャープネス)、コントラスト等を評価することができる。周波数変換としては、フーリエ変換、離散フーリエ変換(DFT:Discrete Fourier Transform)、離散コサイン変換(DCT:Discrete Cosine Transform)、それらを高速計算する高速フーリエ変換(FFT:Fast Fourier Transform)アルゴリズム等を用いることができる。最近のデジタルカメラは、JPEG等の圧縮符号化のためにDCT用のDSP(Digital Signal Processor)やソフトウェアを内蔵しているものが多いので、この機能を流用すれば、比較的容易に画像評価を行うことができる。
【0079】
2次元画像データの輝度値又は濃度値f(x,y)の離散フーリエ変換式は、式(7)のように表される。
【数3】
【0080】
また、2次元画像データの輝度値又は濃度値f(x,y)の離散コサイン変換式は、式(8)のように表される。
【数4】
【0081】
このように、2次元画像f(x、y)を周波数空間に変換して、周波数成分F(u、v)を算出し、全周波数成分に占める高周波成分の比率、全周波数成分に占める低周波成分の比率に基づいて画像の評価値を決定することができる。また、図9に示すように、予め、撮影画像を順次走査して1次元信号に並び替えてから周波数変換を施して、評価値を算出してもよいし、図10に示すように、撮影画像を周波数変換したF(u、v)の振幅値を、ジグザグ走査などで1次元に並び替えてから、評価値を算出するようにしてもよい。
【0082】
本実施形態では、全周波数成分に占める高周波成分の比率を画質評価値とし、全周波数成分に占める低周波成分の比率をボケ評価値とする。即ち、画質評価値、ボケ評価値は、それぞれ、式(9)、式(10)のように表すことができる。
画質評価値=(高周波成分の振幅値合計)/(全周波数成分の振幅値合計) (9)
ボケ評価値=(全周波数成分の振幅値合計−高周波成分の振幅値合計)/(全周波数成分の振幅値合計) (10)
【0083】
また、図11に示すように、撮影画像の輝度値又は濃度値f(x、y)の周波数分布(振幅(度数)−周波数の関係)を求め、画像評価方法1と同様に、この周波数分布の平均値、分散、標準偏差等の統計量を算出し、算出された統計量に基づいて画質の評価値を決定するようにしてもよい。周波数成分iの振幅値をF[i]、周波数成分の合計をNとすると、この分布の平均値fM、分散σ2、標準偏差σは、それぞれ、以下の式(11)〜式(13)のように表すことができる。
【数5】
【0084】
<画像評価方法3:画像のブレの具合又はボケの度合いに基づく評価>
次に、図12〜図16を参照して、撮影画像のブレの具合又はボケの度合いに基づいて画質を評価する方法について説明する。
【0085】
図12に、画像の変換や復元等に用いるPSF(Point Spread Function:点像分布関数、点広がり関数)法等を利用して、ブレやボケを判別評価する方法について示す。一般に、PSF法による画像復元では、ブレやボケのない本来の画像i(x,y)と、ブレやボケを生じさせる成分p(x,y)により、劣化した劣化画像g(x,y)を表す。即ち、劣化画像g(x,y)は、式(14)のように表される。
g(x,y)=p(x,y)*i(x,y) (14)
ここで、*は、コンボリューション(畳み込み積分)演算を表す。
【0086】
p(x,y)を、PSF、LSF(Line Spread Function:線像分布関数)として、劣化させたp(x,y)を算出することができれば、本来の画像i(x,y)を、デコンボリューション(逆畳み込み積分)演算により求めることができる。以下、本来の画像i(x,y)の算出方法を説明する。
【0087】
まず、式(14)に示す劣化画像g(x、y)を、フーリエ変換等により周波数軸に変換する。周波数変換された劣化画像をG(u、v)とすると、G(u、v)は、式(15−1)のように表される。
【数6】
【0088】
また、p(x、y)、i(x、y)を周波数変換したものを、それぞれP(u、v)、I(u、v)とすると、G(u、v)は、式(15−2)のように表すこともできる。
G(u、v)=P(u、v)・I(u、v) (15−2)
ここで、コンボリューションは、周波数軸上では、フーリエ変換同士の掛け算となる。周波数領域で、式(15−2)のP(u、v)が算出できれば、逆フィルタとして1/P(u、v)を計算し、本来の画像i(x、y)を復元することができる。即ち、I(u、v)=G(u、v)/P(u、v)(フーリエ変換同士の割り算)を算出し、これを逆フーリエ変換してi(x、y)を求めればよい。式(16)にI(u、v)の逆フーリエ変換式を示す。
【数7】
【0089】
本実施形態では、このPSF法におけるPSFやP(u、v)の算出方法を、一般のアマチュアの撮影画像で、露出設定の失敗と並んで多い、「焦点ボケ」画像や「直線ブレ」画像の判別や評価に適用する。一般に、直線ブレした画像をフーリエ変換したG(u、v)の振幅値の分布は、図12(b)に示すような直線ブレのパターンとなり、中央付近の高周波成分がブレ角度に従って数本の細長い筋や傾斜した楕円形状に抜けて歪んだパターンが現れる。また、焦点ボケした画像をフーリエ変換したG(u、v)は、図12(d)に示すような焦点ボケの画像パターンとなり、中央部の高周波成分が同心円状に抜けて歪んだパターンとなる。また、直線ブレと焦点ボケが共に生じると、図12(c)に示すような、両方の特徴を合せもったパターンとなる。
【0090】
本実施形態では、直線ブレの評価値が、G(u、v)の振幅値が周期1/Lでゼロ交差する方向のブレ方向角度(θ)と、ブレの距離又はその画素数(L)に基づいて決定されるものとする。また、焦点ボケの評価値が、G(u,v)の振幅値が周期1.01π/rでゼロ交差する同心円状の焦点の広がり半径又はその画素数(r)に基づいて決定されるものとする。ブレ方向角度(θ)、ブレの距離(L)、焦点の広がり半径(r)を算出するには、PSF法、多階調Hough変換法、逆フィルタ法等を適用できるが、以下では、PSF法と多階調Hough変換を用いた算出方法について説明する。
【0091】
まず、図13(a)に示すように、直線ブレ等の劣化画像をフーリエ変換したG(u,v)のフーリエ・スペクトルの中央部の円内を、(複数点を通る直線の推定や検出等に広く用いられる)Hough変換により、θ―ρ空間上の多階調の2次元画像H(θ、ρ)に変換し、H(θ、ρ)値の角度θ毎に切り出したHθ(ρ)波形を比較し、各角度θ(0°≦θ<180°)におけるエントロピーE(θ)を求める。エントロピーE(θ)は、式(17)のように表される。
【数8】
式(17)のHsum(θ)は、劣化画像G(u,v)のフーリエ・スペクトルが示す円内の画素値の合計である。式(17)に示すエントロピーE(θ)が最小となる角度θを、直線ブレ方向(θ)とみなすことができる。また、図13(b)に示すように、直線ブレ方向(θ)のHθ(ρ)波形の極小点の周期(TL)を求めると、ブレ距離(L)=1/TLが求まる。
【0092】
焦点ボケの広がり半径(r)を算出するには、まず、図14に示すように、H(θ、ρ)をθ軸方向に0°〜179°まで平均化したC(ρ)波形を作成する。C(ρ)は、式(18)のように表される。
【数9】
C(ρ)波形の極小点の周期(Tr)から、焦点ボケの広がり半径(r)は、半径(r)=1.01×π/Trより求まる。
【0093】
図15及び図16に、上記の方法で用いたHough変換(ハフ変換)の原理を示す。Hough変換では、ρ=xcosθ+ysinθの変換式により、一般の2次元座標(x−y平面上の点)はθ‐ρ平面上の曲線に変換され、x−y平面上の直線は、θ‐ρ平面上の点に逆変換できる。例えば、x−y平面上の点A、B、Cを通る直線Lを求める場合には、図15に示すように、点A、B、CをHough変換した、θ‐ρ平面上の曲線A’、B’、C’が交差する交点P(θL、ρL)を求める。そして、その交点P(θL、ρL)をx−y平面上にHough逆変換し、ゼロ点から下ろした垂線の長さがρLで、垂線の角度がθLとなる直線Lが、求める直線となる。
【0094】
Hough変換の配列H(θ、ρ)の明度(多階調を有する輝度又は濃度)をH(θ、ρ)=f(x、y)として多階調の2次元画像として定義し、図15に示すような複数曲線の交点を求める場合には、図16に示すように、明度(階調値)を加算して、階調値が最も大きくなる点(図16の斜線部分)を交点として、近似計算で迅速に求めることができる。
【0095】
以上のように、画像を劣化させたPSF関数を算出する方法、ゼロクロス法、多階調Hough変換等により、劣化画像g(x、y)を周波数軸上にフーリエ変換したG(u,v)から、直線ブレ画像の方向(角度θ)、直線ブレの距離(画素数L)、焦点ボケ画像の焦点広がり半径(画素数r)を算出し、これらθ、L、rに基づいて画像の評価値が決定される。θ、L、rの値が大きくなるほど評価値は小さくなる。
【0096】
図17に、本実施形態で適用される画質補正処理の概念図を示す。
画質補正処理は、デジタルカメラ1に入力された撮影画像の各画素の輝度値(又は濃度値)f(i,j)或いはその周辺の画素配列に、所定の変換表などを参照しながら、画質補正演算を施し、補正後の出力画像g(i,j)或いは所定の特徴量を出力するものである。
【0097】
変換表としては、例えば、輝度変換などの入出力特性の変換式、変換用のLUT(Look Up Table)(変換表)、加重マトリックス(行列)、空間フィルタ係数などの演算子(オペレータ)等を利用すればよく、画質補正演算には、点処理演算、注目画素と周囲8点等を対象にする局所処理演算、画像全体に演算を施す大局処理演算を適用することができる。
【0098】
点処理演算としては、濃度ヒストグラム変換処理、2値化処理、座標変換処理、画像間演算がある。局所処理演算としては、ノイズ除去演算、微分演算、積和演算、フィルタ演算、エッジ抽出処理、膨張収縮処理、細線化処理などがある。大局処理演算としては、フーリエ変換等の直交変換演算、テクスチャー解析処理等を適用することができる。
【0099】
次に、図2及び図3の画質の自動補正処理で適用される画像補正方法1〜7について説明する。
【0100】
<画像補正方法1:ガンマ補正>
まず、図18を参照して、ガンマ補正処理について説明する。
ガンマ(γ)補正は、CCD(Charge Coupled Device)等の撮像素子の入出力特性曲線を、変換テーブルを用いて補正するもので、入力画像の輝度又は濃度をf(i,j)=L、γ補正後の出力画像の輝度又は濃度をg(i,j)=L'とすると、γ補正の変換式は、式(19)のように定義される。
【数10】
図18の変換テーブルαは、式(19)においてγ=0.5、(定数)=(255)-2とした場合の入力Lと出力L'の関係を示すテーブルである。
【0101】
<画像補正方法2:輝度又は濃度のヒストグラム分布の変換による補正>
次に、図19及び図20を参照して、撮影画像の輝度又は濃度のヒストグラム分布を変換することによる補正について説明する。
【0102】
入力された撮影画像の輝度をf(i,j)=x、変換後の画像の輝度をg(i,j)=yとすると、図19に示すように、撮影画像の輝度のヒストグラム分布P(x)を、線形又は非線形の輝度変換式y=Q(x)によって変換すると、P(x)とは異なる特性の輝度ヒストグラム分布P(y)が得られる。輝度ヒストグラム分布P(x)における輝度xの最小値をa、最大値をb、変換後の輝度ヒストグラム分布P(y)における輝度yの最小値をu、最大値をvとすると、図19に示した輝度変換式y=Q(x)は、式(20)のように表される。
【数11】
v−u>b−aである場合、ダイナミックレンジが狭くコントラストの悪い入力画像の輝度ヒストグラム分布P(x)を輝度変換式(20)により変換することにより、ダイナミックレンジが広がり、コントラストや中間諧調の濃淡表現を改善することができる。なお、式(20)における定数v、u、a、bの値を変えれば、ダイナミックレンジの収縮や、輝度ヒストグラム分布の左右シフト(全体の輝度を上げる、下げる)等にも応用できる。
【0103】
図20に、その他の輝度変換式の例を示す。
図20(a)は、画像の輝度を、(輝度が低いものほど)全体的に暗くする補正処理を行う場合の非線形の輝度変換式の一例であり、式(21)のように表される。
y=v(x/b)2 (21)
【0104】
図20(b)及び(c)は、画像の輝度を、(輝度が高いものほど)全体的に明るくする補正処理を行う場合の非線形の輝度変換式の例であり、それぞれ、式(22)、式(23)のように表される。
y=−v{(x−b)/b}2+v (22)
y/v=log(1+μ・x/b)/log(1+μ) (23)
【0105】
また、図20(d)及び(e)は、輝度が高い領域の輝度を上げ、輝度が低い領域の輝度を下げる場合の輝度変換式の例である。図20(d)に示すS字状の輝度変換式は、式(24)のように表される。
【数12】
図20(e)に示す輝度変換式は、式(25)のように表される。
【数13】
図20(d)又は(e)に示すような輝度変換式を用いると、階調表現のトーンカーブ(色調曲線)やコントラストを改善することができる。
【0106】
このように、線形や非線形の輝度又は濃度の変換式により、濃度や輝度のヒストグラム分布を変換することにより、露出条件の設定が悪くて「白飛び」や「黒つぶれ」した画像、コントラストや階調表現の悪い画像等のダイナミックレンジの拡大や、コントラストの改善、画面の明暗、中間諧調の濃淡表現、トーンカーブの改善など、画質の補正や加工を行うことができる。
【0107】
また、RGB各色別の輝度ヒストグラム分布毎に上記の補正処理を施して、ヒストグラム分布を改善したり、RGB各色の輝度の加重バランスなどを補正するようにしてもよい。例えば、水中撮影写真等によくあるように、B(青)色成分の露出オーバー気味で輝度は高いが、R(赤)色成分が(水に吸収されて)減じて露出アンダーになってしまった画像では、B(青)色成分のヒストグラムを少し左側にシフトして弱め、逆にR(赤)色成分のヒストグラムを少し右側にシフトして強めるなど、RGB各色のヒストグラムの偏りを調整して、全体の露出バランスを補正することができる。
【0108】
〈画像補正方法3:輝度又は濃度のヒストグラム分布の平坦化による補正〉
次に、図21及び図22を参照して、撮影画像の輝度又は濃度のヒストグラム分布の平坦化による補正方法について説明する。
【0109】
図21に示すように、入力画像の輝度又は濃度のヒストグラム分布P(x)の偏った分布(図21(a))を、P(x)の積分値を階調変換式として用いることにより、一様にフラットなヒストグラム分布P(y)(図21(b))が得られる。
【0110】
図21に示すヒストグラム分布の平坦化処理について、図22のフローチャートを参照して説明する。
【0111】
補正対象の画像が入力されると(ステップS60)、入力画像の横画素数×縦画素数が全画素数Nとして設定される(ステップS61)。次いで、補正後の出力画像の階調数m(0〜m−1)が決定され(ステップS62)、平均出現頻度数(1階調あたりの画素数)がN/mに設定される(ステップS63)。
【0112】
次いで、入力画像のヒストグラムが計算される(ステップS64)。次いで、階調輝度(又は濃度)をカウントするためのカウンタ値k(0〜m−1)が0に設定され(ステップS65)、階調kの合計数をカウントするためのカウンタ値Hist(k)が0に設定される(ステップS66)。
【0113】
次いで、入力画像の階調輝度(又は濃度)が低い方から順に画素が取り出され、出力画像の該当画素の階調がkに設定される(ステップS67)。そして、階調kの合計数Hist(k)がインクリメントされ(ステップS68)、現在の合計数Hist(k)が平均出現頻度数N/mより大きいか否かが判定される(ステップS69)。
【0114】
ステップS69において、Hist(k)がN/m以下であると判定された場合(ステップS69;NO)、ステップS67に戻り、ステップS67及びS68の処理が繰り返される。ステップS69において、Hist(k)がN/mより大きいと判定された場合(ステップS69;YES)、階調kがインクリメントされ(ステップS70)、現在の階調kが、階調の最大値m−1より大きいか否かが判定される(ステップS71)。
【0115】
ステップS71において、階調kがm−1以下であると判定された場合(ステップS71;NO)、ステップS66に戻り、ステップS66〜S70の処理が繰り返される。ステップS71において、階調kがm−1より大きいと判定された場合(ステップS71;YES)、階調変換後の画像が出力され(ステップS72)、本ヒストグラム平坦化処理が終了する。
【0116】
〈画像補正方法4:画像の平滑化による補正〉
次に、図23を参照して、撮影画像の平滑化による補正方法について説明する。
【0117】
入力画像の着目画素とその周囲からなる9画素に対し、図23(a)又は(b)に示すような平均値(MEAN)フィルタA(K,L)による空間フィルタ演算を施すことにより、画像全体が平滑化される。入力画像をf(i,j)、フィルタ演算後の出力画像をg(i,j)とすると、平均値フィルタA(K,L)を用いた空間フィルタ演算は、式(26)のように表される。
【数14】
このようなフィルタ演算によって、入力画像のごま塩ノイズが除去され、明瞭度が落ち、ぼかす効果がある。明瞭度をあまり落とさずに、ノイズを除去するためには、メディアン(中央値)フィルタを用いた処理が有効である。メディアンフィルタは、着目画素とその周囲の9画素のうち、輝度が大きい方から5番目の中央値を、着目画素の新しい輝度値とするフィルタである。
【0118】
〈画像補正方法5:微分フィルタを用いた鮮鋭化による補正〉
次に、図24及び図25を参照して、撮影画像の輪郭やエッジ成分を強調して、画像のボケを減じて、鮮鋭化する補正処理について説明する。
【0119】
図24(a)のように、階調が変化する部分のエッジがボケた画像f(i,j)を一次微分することによって、画像f(i,j)の勾配(Gradient)を求めると、図24(b)のように、階調が変化する勾配部分が抽出され、凹凸が得られる。画像f(i,j)の一次微分は、式(27)のように表される。
Δxf(i,j)=f(i+1,j)−f(i-1,j)、 Δyf(i,j)=f(i,j+1)−f(i,j-1) (27)
ここで、Δxは、x方向(横方向)の一次微分であり、Δyは、y方向(縦方向)の一次微分を表す。また、方向をもたない勾配は、式(28)、式(29)、式(30)のように表される。
【数15】
【0120】
画像f(i,j)の一次微分を更に微分する二次微分では、図24(c)に示すように、左右逆向きのN字状の波形となり、高周波成分が強調された画像が得られる。画像f(i,j)の二次微分(Laplaciant)は、式(31)又は式(32)のように表される。
【数16】
【0121】
式(27)に示す一次微分は、図25(a)に示すようなPrewittフィルタ、図25(b)に示すようなSobelフィルタ、Kirschフィルタ、Robertsフィルタ等が用いられる。図25において、入力画像にPrewittフィルタを作用させると、A−A'線上の入力画像は、図25(d)に示すような出力画像となり、入力画像にSobelフィルタを作用させると、A−A'線上の入力画像は、図25(e)に示すような出力画像となる。また、原画像(入力画像)から、二次微分が施された画像を差し引く演算を行うフィルタの一例を図25(c)に示す。図25(c)に示すようなフィルタを用いると、図25(f)に示すように、エッジ部分の高周波成分が強調された画像が得られる。即ち、このフィルタは、画像のボケたエッジや輪郭などを強調し、画像の鮮明度(シャープネス)を増加し、鮮鋭化する補正に利用することができる。
【0122】
図25(a)〜(c)に示すような微分フィルタをW(K,L)とすると、微分フィルタW(K,L)を用いたフィルタ演算は、式(33)のように表される。
【数17】
例えば、図25(c)に示したフィルタW(K,L)による演算は、式(33−1)のように表される。
【数18】
【0123】
〈画像補正方法6:周波数変換された画像に鮮鋭化処理を施す補正〉
次に、周波数変換された撮影画像に鮮鋭化処理を施すことによる補正処理について説明する。
【0124】
画像補正方法6は、2次元の離散フーリエ変換(DFT)、離散コサイン変換(DCT)等の周波数変換により周波数空間上に変換した画像データの低周波成分或いは高周波成分に対して、鮮鋭化処理、ぼかし処理、輪郭強調処理等のフィルタ処理を施すものである。2次元画像f(x,y)の離散フーリエ変換の変換式、離散コサイン変換の変換式は、それぞれ、画像評価方法2で示した式(7)、式(8)と同一である。
【0125】
周波数変換されたF(u,v)の直流成分及び低周波成分を残し(又は、増強し)、高周波成分を0にすると、低周波通過フィルタ(LPF)と同等の処理となり、エッジや輪郭を弱め、画像をぼかす補正となる。また、周波数変換されたF(u,v)の直流成分及び高周波成分を残し(又は増強し)、低周波成分を0とすると、高周波通過フィルタ(HPF)と同等の処理となり、エッジや輪郭を強調する補正となる。また、周波数変換されたF(u,v)の高周波成分の値を増大させるか、F(u,v)に一次微分フィルタ又は二次微分フィルタ(ラプラシアンフィルタ)を作用させた場合も、エッジや輪郭を強調する補正となる。周波数空間上で上述のような処理が施された画像を周波数逆変換(離散フーリエ逆変換、離散コサイン逆変換等)すると、鮮鋭化処理、ぼかし処理等が施された画像を得ることができる。
【0126】
〈画像補正方法7:PSF法を用いた補正〉
次に、PSF法等を用いて、手ブレなどによる直線ブレ画像、ピンボケ等の焦点ボケ画像の補正処理について説明する。
【0127】
直線ブレや焦点ボケのない本来の画像i(x,y)が、ブレやボケなどの劣化成分p(x,y)により劣化した画像g(x,y)をフーリエ変換したG(u,v)を求め、その周波数空間上のパターンから、画像評価方法3に示したように、直線ブレの方向(角度θ)、直線ブレの距離(画素数L)、焦点ボケの広がり半径(画素数r)が算出される。
【0128】
θ方向に周期1/Lでゼロ交差する直線ブレが生じている場合、式(15−2)のP(u、v)は、下記の式(34)のように表される。
P(u、v)=sin(πfL)/πfL (34)
ここで、f=ucosθ+vsinθである。そして、G(u、v)と、式(34)のP(u、v)から、ブレの無い本来の画像のフーリエ変換画像I(u、v)=G(u、v)/P(u、v)を求め、このI(u、v)を式(16)に示すように逆フーリエ変換して本来の画像i(x、y)を求めることができる。
【0129】
周期1.01π/rで同心円状のゼロ交差をする焦点ボケが生じている場合、式(15−2)のP(u、v)は、下記の式(35)のように表される。
P(u、v)=2・J1(r・R)/r・R (35)
ここで、式(35)のJ1は、1次の第1種ベッセル関数である。そして、上述と同様に、受信された画像データをフーリエ変換したG(u、v)と、式(35)のP(u、v)から、焦点ボケの無い本来の画像のフーリエ変換画像I(u、v)=G(u、v)/P(u、v)を求め、このI(u、v)を式(16)に示すように逆フーリエ変換して本来の画像i(x、y)を求めることができる。
【0130】
なお、一般的なPSF、LSF、逆フィルタ法、最小2乗法等の方法を用いてp(x,y)やP(u,v)を算出してもよいし、ウィナー・フィルタ等のその他の方法で逆フィルタ(インバースフィルタ)を求めたり、デコンボリューション演算を行って、画像の復元やブレ、ボケの補正を行うようにしてもよい。
【0131】
以上のように、本実施形態のデジタルカメラ1によれば、記録媒体の残り容量が予め設定された容量以下である場合、撮影画像を自動的に評価して、評価値が所定値以下の画像を自動的に補正し、補正処理後であっても画像の評価値が所定値以下である画像のみを削除するようにしたことにより、必要以上に画像を削除することなくなるとともに、記録媒体の空き領域を確実に確保することができる。
【0132】
(変形例)
次に、図26〜図28を参照して、上述の実施形態の変形例について説明する。本変形例では、デジタルカメラ1の生産工程で、ブレ、ボケ等の劣化成分を計測してデジタルカメラ1内に設定しておき、この設定された劣化成分に基づいて撮影画像の補正処理を行う例について説明する。なお、本変形例では、デジタルカメラ1の生産工程で設定される画像の劣化成分が、直線ブレ、焦点ボケである場合を示すが、他の劣化成分についても本変形例を適用することができる。
【0133】
まず、図26のフローチャートを参照して、デジタルカメラ1の生産工程において実行されるブレ劣化成分設定処理について説明する。
【0134】
まず、撮影対象である見本画像i(x,y)が設定されるとともに(ステップS80)、直線ブレ方向角度θが0に設定され(ステップS81)、更に、直線ブレ距離Lが0に設定される(ステップS82)。次いで、ブレ方向角度がθ、ブレ距離がLの直線ブレを生じさせて見本画像が撮影され、撮影画像g(x,y)が取得される(ステップS83)。ステップS83では、ロボットハンドや、専用の実験装置等を用いて、ブレが生じるように撮影される。
【0135】
次いで、撮影画像g(x,y)がフーリエ変換され、周波数空間での撮影画像G(u,v)が求められる(ステップS84)。次いで、見本画像i(x,y)をフーリエ変換したI(u,v)と、撮影画像をフーリエ変換したG(u,v)により、劣化成分p(x,y)をフーリエ変換したP(u,v)=G(u,v)/I(u,v)が算出され、この算出されたP(u,v)が、ブレ方向角度がθ、ブレ距離がLの劣化成分P1(θ,L)として、制御部32のメモリ(ROM)に記憶される(ステップS85)。
【0136】
次いで、ブレ距離Lがインクリメントされ(ステップS86)、現在のブレ距離Lが予め設定された最大値Lmax以上であるか否かが判定される(ステップS87)。ステップS87において、ブレ距離LがLmax未満であると判定された場合(ステップS87;NO)、ステップS83に戻り、ステップS83〜S86の処理が繰り返される。
【0137】
ステップS87において、ブレ距離LがLmax以上であると判定された場合(ステップS87;YES)、ブレ方向角度θがインクリメントされ(ステップS88)、現在のブレ方向角度θが予め設定された最大値θmax以上であるか否かが判定される(ステップS89)。
【0138】
ステップS89において、ブレ方向角度θがθmax未満であると判定された場合(ステップS89;NO)、ステップS83に戻り、ステップS83〜S88の処理が繰り返される。ステップS89において、ブレ方向角度θがθmax以上であると判定された場合(ステップS89;YES)、本ブレ劣化成分設定処理が終了する。
【0139】
次に、図27のフローチャートを参照して、デジタルカメラ1の生産工程において実行される焦点ボケ劣化成分設定処理について説明する。
【0140】
まず、撮影対象である見本画像i(x,y)が設定されるとともに(ステップS100)、焦点ボケ広がり半径rが0に設定される(ステップS101)。次いで、広がり半径がrの焦点ボケを生じさせて見本画像が撮影され、撮影画像g(x,y)が取得される(ステップS102)。ステップS102では、ロボットハンドや、専用の実験装置等を用いて、焦点ボケが生じるように撮影される。
【0141】
次いで、撮影画像g(x,y)がフーリエ変換され、周波数空間での撮影画像G(u,v)が求められる(ステップS103)。次いで、見本画像i(x,y)をフーリエ変換したI(u,v)と、撮影画像をフーリエ変換したG(u,v)により、劣化成分p(x,y)をフーリエ変換したP(u,v)=G(u,v)/I(u,v)が算出され、この算出されたP(u,v)が、焦点ボケ広がり半径rの劣化成分P2(r)として、制御部32のメモリ(ROM)に記憶される(ステップS104)。
【0142】
次いで、広がり半径rがインクリメントされ(ステップS105)、現在の広がり半径rが予め設定された最大値rmax以上であるか否かが判定される(ステップS106)。ステップS106において、広がり半径rがrmax未満であると判定された場合(ステップS106;NO)、ステップS102に戻り、ステップS102〜S105の処理が繰り返される。ステップS106において、広がり半径rがrmax以上であると判定された場合(ステップS106;YES)、本ブレ劣化成分設定処理が終了する。
【0143】
次に、図28のフローチャートを参照して、出荷後のデジタルカメラ1において実行される画像撮影・補正処理について説明する。
【0144】
キー入力部36の操作により撮影モードが指定されると、測光処理、露出条件の設定等が行われる(ステップS110)。測光処理後、キー入力部36のシャッターキーの押下により撮影が指示されると、撮影処理が行われ、撮影画像g(x,y)が取得される(ステップS111)。取得された撮影画像g(x,y)は、記録媒体(フラッシュメモリ38)に記録される。
【0145】
ステップS111の撮影処理において、手ブレ検出センサ40によりブレが検出された場合、検出されたブレの方向θ、ブレ距離Lが制御部32のRAMに記憶される(ステップS112)。また、撮影画像g(x,y)から焦点ボケが検出された場合、焦点ボケの広がり半径rが制御部32のメモリ(RAM)に記憶される(ステップS112)。
【0146】
次いで、撮影画像g(x,y)がフーリエ変換され、周波数空間での撮影画像G(u,v)が求められる(ステップS113)。次いで、ステップS112において記憶されたブレ距離Lが予め設定された値(設定値)以上であるか否か(即ち、評価値が所定値以下であるか否か)が判定される(ステップS114)。
【0147】
ステップS114において、ブレ距離Lが設定値未満である(即ち、評価値が所定値より大きい)と判定された場合(ステップS114;NO)、後述のステップS119に移行する。ステップS114において、ブレ距離Lが設定値以上である(即ち、評価値が所定値以下である)と判定された場合(ステップS114;YES)、ステップS112において記憶されたブレ方向θ及びブレ距離Lに対応する劣化成分P1(θ,L)が、制御部32のメモリ(ROM)から読み出され(ステップS115)、G(u,v)及びP1(θ,L)から、ブレのない本来の画像i(x,y)をフーリエ変換したI(u,v)=G(u,v)/P1(θ,L)が算出される(ステップS116)。
【0148】
次いで、ステップS116で算出されたI(u,v)がフーリエ逆変換されることにより、復元画像i(x,y)が算出され(ステップS117)、記録媒体に記録されたg(x,y)が復元画像i(x,y)に更新される(ステップS118)。
【0149】
次いで、ステップS112において記憶された焦点ボケの広がり半径rが予め設定された値(設定値)以上であるか否か(即ち、評価値が所定値以下であるか否か)が判定される(ステップS119)。ステップS119において、焦点ボケの広がり半径rが設定値未満である(即ち、評価値が所定値より大きい)と判定された場合(ステップS119;NO)、本画像撮影・補正処理が終了する。
【0150】
ステップS119において、焦点ボケの広がり半径rが設定値以上である(即ち、評価値が所定値以下である)と判定された場合(ステップS119;YES)、ステップS112において記憶された焦点ボケの広がり半径rに対応する劣化成分P2(r)が、制御部32のメモリ(ROM)から読み出され(ステップS120)、G(u,v)及びP2(r)から、焦点ボケのない本来の画像i(x,y)をフーリエ変換したI(u,v)=G(u,v)/P2(r)が算出される(ステップS121)。
【0151】
次いで、ステップS121で算出されたI(u,v)がフーリエ逆変換されることにより、復元画像i(x,y)が算出され(ステップS122)、記録媒体に記録されたg(x,y)が復元画像i(x,y)に更新され(ステップS123)、本画像撮影・補正処理が終了する。
【0152】
以上のように、デジタルカメラ1の生産工程において、予め、ブレやボケを生じさせるように見本画像を撮影して、ブレやボケの度合い別に劣化成分P(u,v)を算出してメモリに設定し、出荷後のデジタルカメラ1で撮影された画像を、メモリに設定された劣化成分P(u,v)に基づいて補正することにより、個々のカメラのレンズの性能に合わせた画像補正を容易に行うことができる。また、出荷後において劣化成分P(u,v)を算出する必要がないため、画像補正処理を高速に行うことができる。
【0153】
最近は、オートフォーカス機能が搭載されたデジタルカメラが普及しているが、カメラの機種毎に、オートフォーカスの精度や特性が異なっている。また、露出の条件や周囲の明るさ、被写体の配置等によって、常に所望の被写体に焦点が合った画像を撮影できるとは限らず、また、絞りの度合いや焦点距離によって、被写界深度も変化したりする。従って、図26〜図28に示すように、生産出荷前に、画像劣化の度合い別に劣化成分を算出してメモリに設定しておき、出荷後に撮影された画像を、メモリに設定された劣化成分に基づいて補正することにより、個々の機種でのレンズ特性やフォーカス特性の違いにも対応した補正を行うことができる。
【0154】
なお、本実施形態及び変形例における記述内容は、本発明の趣旨を逸脱しない範囲で適宜変更可能である。
【図面の簡単な説明】
【0155】
【図1】本発明の画像撮影装置を適用したデジタルカメラの回路構成を示すブロック図。
【図2】本実施形態のデジタルカメラにおいて実行される画像撮影・削除処理を示すフローチャート。
【図3】図2における画像削除処理の詳細を示すフローチャート。
【図4】デジタルカメラの表示部における画面表示例を示す図。
【図5】デジタルカメラの表示部における画面表示例を示す図。
【図6】デジタルカメラの表示部における画面表示例を示す図。
【図7】画像の輝度ヒストグラム分布から画像を評価する方法の一例を示す図。
【図8】画像の輝度ヒストグラム分布から画像を評価する方法の一例を示す図。
【図9】画像の周波数特性により画像を評価する方法の一例を示す図。
【図10】画像の周波数特性により画像を評価する方法の一例を示す図。
【図11】画像の周波数特性により画像を評価する方法の一例を示す図。
【図12】画像の直線ブレ、焦点ボケの度合いの測定による画像評価方法の一例を示す図。
【図13】直線ブレの方向の角度(θ)の算出方法と、直線ブレの距離(L)の算出方法を示す図。
【図14】焦点ボケの広がり半径(r)の算出方法を示す図。
【図15】ハフ(Hough)変換を説明するための図。
【図16】多階調ハフ変換を説明するための図。
【図17】画質補正処理の概念図。
【図18】ガンマ補正による画像補正方法を示す図。
【図19】輝度又は濃度のヒストグラム分布の変換による画像補正方法を示す図。
【図20】輝度又は濃度のヒストグラム分布の変換による画像補正方法を示す図。
【図21】輝度又は濃度のヒストグラムの平坦化による画像補正方法を示す図。
【図22】ヒストグラム平坦化処理を示すフローチャート。
【図23】画像の平滑化による画像補正方法を示す図。
【図24】微分フィルタを用いた鮮鋭化による画像補正方法を示す図。
【図25】微分フィルタを用いた鮮鋭化による画像補正方法を示す図。
【図26】デジタルカメラの生産工程に実行されるブレ劣化成分設定処理を示すフローチャート。
【図27】デジタルカメラの生産工程に実行される焦点ボケ劣化成分設定処理を示すフローチャート。
【図28】画像撮影・補正処理を示すフローチャート。
【符号の説明】
【0156】
1 デジタルカメラ(画像撮影装置)
2 外部機器
3 画像処理装置
4 表示装置
5 印刷装置
13 表示部
21 モータ(M)
22 レンズ光学系
23 CCD
24 TG(タイミング発生器)
25 垂直ドライバ
26 S/H(サンプルホールド回路)
27 A/D変換器
28 カラープロセス回路
29 DMAコントローラ
30 DRAMI/F
31 DRAM
32 制御部
33 VRAMコントローラ
34 VRAM
35 デジタルビデオエンコーダ
36 キー入力部
37 JPEG回路
38 フラッシュメモリ
39 通信部
40 手ブレ検出センサ
【特許請求の範囲】
【請求項1】
被写体を撮影して撮影画像を取得する撮像手段と、
前記取得された撮影画像を記録媒体に記録する記録手段と、
前記取得された撮影画像の画質を評価する第1の評価手段と、
前記記録媒体に記録された撮影画像のうち、前記第1の評価手段により算出された評価結果が所定の条件を満たす撮影画像の画質を補正する補正手段と、
前記補正手段により画質が補正された撮影画像の画質を評価する第2の評価手段と、
前記第2の評価手段による評価結果が所定の条件を満たす撮影画像を前記記録媒体から削除する候補として決定する決定手段と、
を備えることを特徴とする画像撮影装置。
【請求項2】
前記記録媒体の残り容量が予め設定された容量以下であるか否かを判定する判定手段を備え、
前記決定手段は、前記判定手段により、前記記録媒体の残り容量が予め設定された容量以下であると判定された場合に、前記第2の評価手段による評価結果が所定の条件を満たす撮影画像を前記記録媒体から削除する候補として決定することを特徴とする請求項1に記載の画像撮影装置。
【請求項3】
前記第1の評価手段及び第2の評価手段は、撮影画像の輝度又は濃度のヒストグラム分布に基づいて、当該撮影画像の画質を評価することを特徴とする請求項1又は2に記載の画像撮影装置。
【請求項4】
前記第1の評価手段及び第2の評価手段は、撮影画像の周波数特性に基づいて、当該撮影画像の画質を評価することを特徴とする請求項1又は2に記載の画像撮影装置。
【請求項5】
前記第1の評価手段及び第2の評価手段は、撮影画像のブレ又は焦点ボケの度合いに基づいて当該撮影画像の画質を評価することを特徴とする請求項1又は2に記載の画像撮影装置。
【請求項6】
前記補正手段は、撮影画像に対してガンマ補正を施すことを特徴とする請求項1〜5の何れか一項に記載の画像撮影装置。
【請求項7】
前記補正手段は、撮影画像の輝度又は濃度のヒストグラム分布を所定の変換式により変換することにより、当該撮影画像を補正することを特徴とする請求項1〜5の何れか一項に記載の画像撮影装置。
【請求項8】
前記補正手段は、撮影画像の輝度又は濃度のヒストグラム分布の平坦化を行うことにより、当該撮影画像を補正することを特徴とする請求項1〜5の何れか一項に記載の画像撮影装置。
【請求項9】
前記補正手段は、画像を平滑化するための空間フィルタを用いて撮影画像を補正することを特徴とする請求項1〜5の何れか一項に記載の画像撮影装置。
【請求項10】
前記補正手段は、所定の微分フィルタを用いて撮影画像を鮮鋭化する処理を行うことを特徴とする請求項1〜5の何れか一項に記載の画像撮影装置。
【請求項11】
前記補正手段は、撮影画像を周波数変換し、周波数変換された撮影画像に対して、鮮鋭化処理又はぼかし処理を施すことを特徴とする請求項1〜5の何れか一項に記載の画像撮影装置。
【請求項12】
前記補正手段は、点像分布関数又は線像分布関数を用いて、撮影画像の直線ブレ又は焦点ボケを補正することを特徴とする請求項1〜5の何れか一項に記載の画像撮影装置。
【請求項13】
画像劣化が生じる方式で見本画像を撮影する劣化画像撮像手段と、
前記劣化画像撮像手段により得られた画像の劣化成分を算出する算出手段と、
画像劣化の度合い別に、前記算出手段により算出された画像の劣化成分の情報を記憶する記憶手段と、を備え、
前記撮像手段により取得された撮影画像の評価結果が所定の条件を満たす場合、前記補正手段は、当該撮影画像に対応する劣化成分を前記記憶手段から読み出し、その読み出された劣化成分に基づいて当該撮影画像を補正することを特徴とする請求項1〜12の何れか一項に記載の画像撮影装置。
【請求項1】
被写体を撮影して撮影画像を取得する撮像手段と、
前記取得された撮影画像を記録媒体に記録する記録手段と、
前記取得された撮影画像の画質を評価する第1の評価手段と、
前記記録媒体に記録された撮影画像のうち、前記第1の評価手段により算出された評価結果が所定の条件を満たす撮影画像の画質を補正する補正手段と、
前記補正手段により画質が補正された撮影画像の画質を評価する第2の評価手段と、
前記第2の評価手段による評価結果が所定の条件を満たす撮影画像を前記記録媒体から削除する候補として決定する決定手段と、
を備えることを特徴とする画像撮影装置。
【請求項2】
前記記録媒体の残り容量が予め設定された容量以下であるか否かを判定する判定手段を備え、
前記決定手段は、前記判定手段により、前記記録媒体の残り容量が予め設定された容量以下であると判定された場合に、前記第2の評価手段による評価結果が所定の条件を満たす撮影画像を前記記録媒体から削除する候補として決定することを特徴とする請求項1に記載の画像撮影装置。
【請求項3】
前記第1の評価手段及び第2の評価手段は、撮影画像の輝度又は濃度のヒストグラム分布に基づいて、当該撮影画像の画質を評価することを特徴とする請求項1又は2に記載の画像撮影装置。
【請求項4】
前記第1の評価手段及び第2の評価手段は、撮影画像の周波数特性に基づいて、当該撮影画像の画質を評価することを特徴とする請求項1又は2に記載の画像撮影装置。
【請求項5】
前記第1の評価手段及び第2の評価手段は、撮影画像のブレ又は焦点ボケの度合いに基づいて当該撮影画像の画質を評価することを特徴とする請求項1又は2に記載の画像撮影装置。
【請求項6】
前記補正手段は、撮影画像に対してガンマ補正を施すことを特徴とする請求項1〜5の何れか一項に記載の画像撮影装置。
【請求項7】
前記補正手段は、撮影画像の輝度又は濃度のヒストグラム分布を所定の変換式により変換することにより、当該撮影画像を補正することを特徴とする請求項1〜5の何れか一項に記載の画像撮影装置。
【請求項8】
前記補正手段は、撮影画像の輝度又は濃度のヒストグラム分布の平坦化を行うことにより、当該撮影画像を補正することを特徴とする請求項1〜5の何れか一項に記載の画像撮影装置。
【請求項9】
前記補正手段は、画像を平滑化するための空間フィルタを用いて撮影画像を補正することを特徴とする請求項1〜5の何れか一項に記載の画像撮影装置。
【請求項10】
前記補正手段は、所定の微分フィルタを用いて撮影画像を鮮鋭化する処理を行うことを特徴とする請求項1〜5の何れか一項に記載の画像撮影装置。
【請求項11】
前記補正手段は、撮影画像を周波数変換し、周波数変換された撮影画像に対して、鮮鋭化処理又はぼかし処理を施すことを特徴とする請求項1〜5の何れか一項に記載の画像撮影装置。
【請求項12】
前記補正手段は、点像分布関数又は線像分布関数を用いて、撮影画像の直線ブレ又は焦点ボケを補正することを特徴とする請求項1〜5の何れか一項に記載の画像撮影装置。
【請求項13】
画像劣化が生じる方式で見本画像を撮影する劣化画像撮像手段と、
前記劣化画像撮像手段により得られた画像の劣化成分を算出する算出手段と、
画像劣化の度合い別に、前記算出手段により算出された画像の劣化成分の情報を記憶する記憶手段と、を備え、
前記撮像手段により取得された撮影画像の評価結果が所定の条件を満たす場合、前記補正手段は、当該撮影画像に対応する劣化成分を前記記憶手段から読み出し、その読み出された劣化成分に基づいて当該撮影画像を補正することを特徴とする請求項1〜12の何れか一項に記載の画像撮影装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【公開番号】特開2006−50494(P2006−50494A)
【公開日】平成18年2月16日(2006.2.16)
【国際特許分類】
【出願番号】特願2004−232329(P2004−232329)
【出願日】平成16年8月9日(2004.8.9)
【出願人】(000001443)カシオ計算機株式会社 (8,748)
【Fターム(参考)】
【公開日】平成18年2月16日(2006.2.16)
【国際特許分類】
【出願日】平成16年8月9日(2004.8.9)
【出願人】(000001443)カシオ計算機株式会社 (8,748)
【Fターム(参考)】
[ Back to top ]