撮像装置及びその制御方法、並びにプログラム
【課題】必要以上に欠陥画素の補正を行うことなく、また補正されなかった欠陥画素を目立たないようにした撮像装置及びその制御方法、並びにプログラムを提供する。
【解決手段】撮像装置1は、欠陥画素の位置及びレベルから、設定情報により当該欠陥画素がある領域に設定された閾値と、前記欠陥画素のレベルとを比較することにより、当該欠陥画素を補正するか否かを決定する。そして、補正することが決定された欠陥画素を補正する。
【解決手段】撮像装置1は、欠陥画素の位置及びレベルから、設定情報により当該欠陥画素がある領域に設定された閾値と、前記欠陥画素のレベルとを比較することにより、当該欠陥画素を補正するか否かを決定する。そして、補正することが決定された欠陥画素を補正する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置及びその制御方法、並びにプログラムに関する。
【背景技術】
【0002】
従来、固体メモリ素子を有するメモリカードを記録媒体として、CCD、CMOS等の固体撮像素子で撮像した静止画像や動画像を記録及び再生する電子カメラ等の撮像装置が市販されている。
【0003】
CCD、CMOS等の固体撮像素子を用いて撮像する場合、撮像素子で発生する暗電流ノイズや撮像素子固有の微小なキズによる画質劣化が生じ得る。このような画質劣化に対し、様々な補正処理を行うことによって高品位な画像を得ることができる。
【0004】
例えば、撮像素子を露光しない状態で本撮像と同様に電荷蓄積を行って読み出したダーク画像と、撮像素子を露光した状態で電荷蓄積を行って読み出した本撮像画像とを演算処理することにより、ダークノイズ補正処理を行うことが可能である。
【0005】
これにより、撮像素子で発生する暗電流ノイズや撮像素子固有の微小なキズによる画素欠損等の画質劣化に関して、撮像画像を補正して高品位な画像を得ることができる。
【0006】
また、欠陥画素に隣接する画素を用いた補間演算処理により欠陥画素を補正することで、画質劣化を更に低減することが可能である。
【0007】
欠陥画素の補正は、通常は以下のように行われる。まず、予め撮像素子の欠陥画素を検出し、その欠陥画素に関するデータをROM等に記憶しておく。この作業は、例えば撮像素子の工場出荷時に実施する。所定の条件下における標準電荷蓄積時間での撮像素子の出力を評価し、評価結果に基づき欠陥画素を判定する。
【0008】
そして、欠陥画素の種類(黒キズ画素、白キズ画素等)及び欠陥画素のアドレスとその欠陥レベルのデータを取得し、これらをROM等に書いておく。
【0009】
このように、予め欠陥画素の位置等をROMに記憶した撮像装置では、撮像素子から供給された画像のうち、ROMに記憶された欠陥画素の位置データに対応した位置の画素に関して、その近傍の画素データを用いて欠陥画素データを補正することができる。
【0010】
これにより撮像素子によって得られた映像信号のうち、特異なレベルの信号を出力する画素(すなわち欠陥画素)は補正され、良好な再生画像を得ることができるようになる。
【0011】
欠陥画素の中でも、出力が高くなる白点状の欠陥画素(以下、「白キズ画素」という)については、撮像時の撮像素子における電荷蓄積時間によって大きくその程度が異なることが知られている。
【0012】
従って、通常の短い蓄積時間(短秒時)での撮像では問題にならないような画素でも、通常より長い時間(長秒時)での撮像時にはその欠陥画素としてのレベルが大きくなり、画質に影響を与えてしまうことになる。
【0013】
このような長秒時の欠陥画素による画質劣化を考慮して欠陥画素の補正を実施するとする。すなわち、欠陥のレベルの低い画素も補正する。この場合、膨大な個数の画素を欠陥画素として補正を行うことになるが、短秒時には本来補正処理が不要な画素にも補正処理を行ってしまい、逆に過補正による画質低下を招いてしまう。
【0014】
そこで、所定の閾値を設定して欠陥画素補正を行う方法がある。例えば、電荷蓄積時間やISO感度などの撮像条件に応じて、補正する欠陥画素のレベルを変えるという方法が提案されている(例えば、特許文献1参照)。これによって、欠陥画素の補正不足、あるいは過補正を避けることができる。
【0015】
上記欠陥画素補正以外にも、電子カメラ等の撮像装置では、得られた各画素の出力値に対し、様々な補正処理を行っている。
【0016】
例えば、レンズの周辺光量落ちを考慮し、レンズの種類によって画像の周辺部にゲイン補正をかける周辺光量落ち補正がある。また、撮像画像に応じて、被写体の顔など、画面内の所定の領域のみゲインをかける補正もある。更に、撮像時のレンズの絞り値によって出力にゲインをかける補正もある。
【先行技術文献】
【特許文献】
【0017】
【特許文献1】特開2003−333435号公報
【発明の概要】
【発明が解決しようとする課題】
【0018】
しかしながら、上述のように本撮像とは別に画像を取得して補正する方法は、1枚画像を取得するために2回の電荷蓄積が必要であり、長秒時撮像ほどその時間的負荷が大きくなる。すなわち、レリーズタイムラグ、撮像コマ間隔に大きな影響を与えてしまう問題があった。
【0019】
一方、電荷蓄積時間やISO感度といった撮像条件に応じて、補正する欠陥画素のレベルを変えるという方法は、周辺光量補正など画面内の所定の領域にゲインをかけてしまうと、補正対象にならなかった欠陥画素が目立ってしまうという結果になっていた。
【0020】
本発明の目的は、必要以上に欠陥画素の補正を行うことなく、また補正されなかった欠陥画素を目立たないようにした撮像装置及びその制御方法、並びにプログラムを提供することにある。
【課題を解決するための手段】
【0021】
上記目的を達成するために、請求項1の撮像装置は、被写体を光学部材を介して撮像素子により撮像することで撮像画像を得る撮像装置であって、前記撮像素子に起因して生じる欠陥画素の撮像画像における位置と欠陥の度合いを示すレベルとが対応付けられた欠陥情報が記憶された第1記憶手段と、前記撮像画像に対し行われるゲイン補正に応じて定まるとともに、撮像画像を複数の領域に分割することで得られた各領域ごとに、前記レベルと比較するための閾値が設定された設定情報が記憶された第2記憶手段と、前記第1記憶手段に記憶された欠陥画素の位置、及びレベルを取得する取得手段と、前記取得手段により取得された欠陥画素の位置及びレベルから、前記第2記憶手段に記憶された設定情報により当該欠陥画素がある領域に設定された閾値と、前記欠陥画素のレベルとを比較することにより、当該欠陥画素を補正するか否かを決定する決定手段と、前記決定手段により補正することが決定された欠陥画素を補正する補正手段とを備えたことを特徴とする。
【発明の効果】
【0022】
本発明によれば、必要以上に欠陥画素の補正を行うことなく、また補正されなかった欠陥画素を目立たないようにした撮像装置及びその制御方法、並びにプログラムを提供することができる。
【図面の簡単な説明】
【0023】
【図1】本発明の実施の形態に係る撮像装置の概略構成を示す図である。
【図2】図1における不揮発性メモリに記憶されたキズデータの一例を示す図である。
【図3】図1におけるメモリに記憶されたキズレベル設定テーブルであり、画像の位置によって補正するキズレベル設定テーブルを示している。
【図4】図3に示される領域を示す図である。
【図5】図1におけるメモリに記憶された図3におけるキズレベルとそのレベルに対応したキズ補正レベルを示す図である。
【図6】図1におけるシステム制御回路により実行される撮像全体処理(その1)の手順を示すフローチャートである。
【図7】図1におけるシステム制御回路により実行される撮像全体処理(その2)の手順を示すフローチャートである。
【図8】図7のステップS136における撮像処理の手順を示すフローチャートである。
【図9】図7のステップS139におけるキズ補正処理の手順を示すフローチャートである。
【図10】図9のステップS501の補正対象画素指定処理の手順を示すフローチャートである。
【図11】図9のステップS501の補正対象画素指定処理の手順を示すフローチャートである。
【図12】絞り値(Av)によるキズレベルの係数βを示した表を示す図である。
【図13】図12を適用したキズレベルとそのレベルに対応したキズ補正レベルを示す図である。
【発明を実施するための形態】
【0024】
以下、本発明の実施の形態について図面を参照しながら詳述する。
【0025】
[第1の実施の形態]
図1は、本発明の実施の形態に係る撮像装置1の概略構成を示す図である。
【0026】
図1における撮像装置1は、例えば、デジタル一眼レフカメラである。撮像装置1は、画像処理装置(本体)100と、画像処理装置本体に対し、着脱可能に装着される記録媒体200,210と、画像処理装置本体に対し、着脱可能に装着されるレンズユニット300(光学部材)を備えている。
【0027】
画像処理装置100において、シャッタ12は、撮像素子14への露光量を制御する。撮像素子14は被写体の光学像を電気信号に変換する。
【0028】
レンズユニット300内の撮像レンズ310に入射した光線は、絞り312、レンズマウント306、106、ミラー130及びシャッタ12を介して導き、光学像として撮像素子14上に結像することができる。このように、撮像装置1は、被写体を光学部材を介して撮像素子により撮像することで撮像画像を得る撮像装置である。
【0029】
A/D変換器16は、撮像素子14から出力されるアナログ信号をデジタル信号に変換する。タイミング発生回路18は、撮像素子14、A/D変換器16及びD/A変換器26にクロック信号や制御信号を供給する。また、タイミング発生回路18は、メモリ制御回路22及びシステム制御回路50によって制御される。
【0030】
画像処理回路20は、A/D変換器16からのデータあるいはメモリ制御回路22からのデータに対して所定の画素補間処理や色変換処理を行う。画像処理回路20は必要に応じて撮像画像を用いて所定の演算処理を行う。
【0031】
そして、画像処理回路20は、得られた演算結果に基づき、システム制御回路50がシャッタ制御部40及び測距制御部42を制御するためのTTL方式のAF処理、AE処理及びEF処理を行う。なお、TTLはスルー・ザ・レンズ、AFはオートフォーカス、AEは自動露出、EFはフラッシュ調光をそれぞれ示す。
【0032】
また、画像処理回路20は、撮像画像を用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理を行う。なお、本実施の形態では、測距制御部42及び測光制御部46を専用に備えているので、システム制御回路50は、測距制御部42及び測光制御部46を用いてAF処理、AE処理、EF処理の各処理を行うようにする。そして、画像処理回路20を用いてAF処理、EF処理の各処理を行わない構成としても良い。
【0033】
メモリ制御回路22は、A/D変換器16、タイミング発生回路18、画像処理回路20、画像表示メモリ24、D/A変換器26、メモリ30及び圧縮・伸長回路32を制御する。
【0034】
A/D変換器16からのデータは、画像処理回路20及びメモリ制御回路22を介して、画像表示メモリ24あるいはメモリ30に書き込まれる。または、A/D変換器16からのデータは、直接、メモリ制御回路22を介して画像表示メモリ24あるいはメモリ30に書き込まれる。
【0035】
画像表示部28はTFT方式のLCDからなる。画像表示メモリ24に書き込まれた表示用の画像はD/A変換器26を介して画像表示部28に表示される。撮像画像を画像表示部28で逐次表示する場合、電子ファインダ機能を実現することが可能である。
【0036】
また、画像表示部28はシステム制御回路50の表示に従って表示のON/OFFを任意に行うことが可能であり、表示をOFFにした場合、画像処理装置100の電力消費を大幅に低減することができる。
【0037】
メモリ30は、撮像された静止画像や動画像を格納する。このメモリ30は、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶容量を有している。従って、複数毎の静止画像を連続して撮像する連写撮像やパノラマ撮像の場合にも、高速かつ大量の画像書き込みをメモリ30に対して行うことが可能である。また、メモリ30はシステム制御回路50の作業領域としても使用することが可能である。
【0038】
圧縮・伸長回路32は適応離散コサイン変換(ADCT)などにより画像を圧縮伸張する。この圧縮・伸長回路32は、メモリ30に格納された画像を読み込んで圧縮処理あるいは伸長処理を行い、処理を終えたデータをメモリ30に書き込む。
【0039】
シャッタ制御部40は、測光制御部46からの測光情報に基づいて絞り312を制御する絞り制御部340と連携しながらシャッタ12を制御する。測距制御部42は、AF処理を行う。レンズユニット300内の撮像レンズ310に入射した光線が、さらに絞り312、レンズマウント306,106、ミラー130及び測距用サブミラー(図示せず)を介して一眼レフ方式で入射される。この入射された光線により光学像として結像された画像の合焦状態を測距制御部42は測定する。
【0040】
温度計44は、撮像環境における周囲温度を検出する。温度計44が撮像素子(センサ)14内にある場合、センサの暗電流をより正確に予想することが可能である。
【0041】
測光制御部46はAE処理を行う。測光制御部46は、測距制御部42と同様に、入射された光線により光学像として結像された画像の露出状態を測定する。また、測光制御部46はフラッシュ部48と連携することにより、EF(フラッシュ調光)処理機能も有する。フラッシュ部48は、AF補助光の投光機能及びフラッシュ調光機能を有する。
【0042】
なお、システム制御回路50は、シャッタ制御部40、絞り制御部340、測距制御部342に対し、ビデオTTL方式を用いた露出制御及びAF制御を行うことが可能である。このシステム制御回路50による制御は、撮像素子14によって撮像画像を用いて画像処理回路20により演算された演算結果に基づいて行われる。
【0043】
また、測距制御部42による測定結果と、撮像素子14によって撮像画像を画像処理回路20によって演算した演算結果とを用いて、AF制御を行うようにしてもよい。
【0044】
さらに、測光制御部46による測定結果と、撮像素子14によって撮像画像を画像処理回路20によって演算した演算結果とを用いて露出制御を行うようにしてもよい。
【0045】
システム制御回路50は、画像処理装置100全体を制御し、CPUなどを内蔵する。メモリ52は、システム制御回路50の動作用の定数、変数、プログラムなどを記憶する。
【0046】
表示部54はシステム制御回路50でのプログラムの実行に応じて、文字、画像、音声などで動作状態やメッセージなどを表示する液晶表示装置、スピーカなどを有する。具体的に、表示部54は、LCD、LED、発音素子などの組合わせにより構成されている。この表示部54は、画像処理装置100の操作部近辺の視認し易い単数あるいは複数箇所に設置されている。また、表示部54の一部の機能は光学ファインダ104内に設けられている。
【0047】
表示部54の表示内容のうち、LCDなどに表示するものとしては、シングルショット/連写撮像表示、セルフタイマ表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮像可能枚数表示、及びシャッタスピード表示がある。さらに、表示部54の表示内容には、絞り値表示、露出補正表示、フラッシュ表示、赤目緩和表示、マクロ撮像表示、ブザー設定表示、時計用電池残量表示、電池残量表示、及びエラー表示がある。さらに、表示部54の表示内容には複数桁の数字による情報表示、記録媒体200、210の着脱状態表示、レンズユニット300の着脱状態表示、通信I/F動作表示、日付・時刻表示、外部コンピュータとの接続状態を示す表示などがある。
【0048】
また、表示部54の表示内容のうち、光学ファインダ104内に表示するものとしては、合焦表示、撮像準備完了表示、及び手振れ警告表示がある。さらに表示部54の表示内容には、フラッシュ充電表示、フラッシュ充電完了表示、シャッタスピード表示、絞り値表示、露出補正表示、記録媒体書き込み動作表示などがある。
【0049】
また、表示部54の表示内容のうち、LED等に表示するものとしては、例えば、合焦表示、撮像準備完了表示、手振れ警告表示、及びフラッシュ充電表示がある。さらに表示部54の表示内容には、フラッシュ充電完了表示、記録媒体書き込み動作表示、マクロ撮像設定通知表示、二次電池充電表示などがある。
【0050】
また、表示部54の表示内容のうち、ランプ等に表示するものとしては、例えば、セルフタイマ通知ランプ等がある。このセルフタイマ通知ランプはAF補助光と共用してもよい。
【0051】
不揮発性メモリ56は、後述するプログラムなどが格納された電気的に消去・記録可能であり、不揮発性メモリ56としてEEPROMなどが用いられる。この不揮発性メモリ56には、各種パラメータやISO感度などの設定値、設定モード、及び欠陥画素の位置とレベルのデータが格納される。この欠陥画素の位置とレベルのデータは、生産工程において、調整時あるいは検査時に作成されて書き込まれる。この欠陥画素の位置とレベルのデータの作成方法としては、例えばダーク撮像を行って得られた画像の所定レベル以上の出力を持つ画素を抽出することによりデータとする方法等が考えられる。
【0052】
モードダイアルスイッチ60は、各機能撮像モードを切り替えて設定するためのものである。上記各機能撮像モードとして、自動撮像モード、プログラム撮像モード、シャッタ速度優先撮像モード、絞り優先撮像モード、及びマニュアル撮像モードがある。さらに、各機能撮像モードとして、焦点深度優先(デプス)撮像モード、ポートレート撮像モード、風景撮像モード、接写撮像モード、スポーツ撮像モード、夜景撮像モード、パノラマ撮像モードなどもある。
【0053】
シャッタスイッチ(SW1)62は、シャッタボタン(図示せず)の操作途中でONとなり、AF処理、AE処理、AWB処理、EF処理などの動作開始を指示する。
【0054】
シャッタスイッチ(SW2)64は、シャッタボタン(図示せず)の操作完了でONとなる。このシャッタスイッチ(SW2)64は、一連の処理の動作開始を指示するスイッチである。具体的には、シャッタスイッチ(SW2)64により、撮像素子14から読み出した信号をA/D変換器16、メモリ制御回路22を介してメモリ30に画像を書き込む露光処理が行われる。そして、画像処理回路20やメモリ制御回路22での演算を用いた現像処理、メモリ30から画像を読み出し、圧縮・伸長回路32で圧縮が行われ、記録媒体200、210に画像を書き込む記録処理が行われる。
【0055】
再生スイッチ66は、撮像モード状態で撮像画像をメモリ30あるいは記録媒体200,210から読み出して画像表示部28に表示する再生動作の開始を指示する。
【0056】
単写/連写スイッチ68は、シャッタスイッチ(SW2)64が押された場合、1コマの撮像を行って待機状態とする単写モードと、シャッタスイッチ(SW2)64が押されている間、連続して撮像を行い続ける連写モードとを設定可能である。
【0057】
ISO感度設定スイッチ69は、撮像素子14あるいは画像処理回路20におけるゲインの設定を変更することによりISO感度を設定できる。
【0058】
各種ボタンやタッチパネルなどからなる操作部70は、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、及び単写/連写/セルフタイマ切替ボタンがある。
【0059】
また、操作部70は、メニュー移動+(プラス)ボタン、メニュー移動−(マイナス)ボタン、再生画像移動+(プラス)ボタン、再生画像−(マイナス)ボタン、撮像画質選択ボタン、及び露出補正ボタンがある。
【0060】
さらに、操作部70は、日付/時間設定ボタン、パノラマモード等の撮像及び再生を実行する際に各種機能の選択及び切り替えを設定する選択/切り替えボタンがある。また、操作部70は、パノラマモード等の撮像及び再生を実行する際に各種機能の決定及び実行を設定する決定/実行ボタンがある。また、操作部70は、画像表示部28のON/OFFを設定する画像表示ON/OFFスイッチ、撮像直後に撮像画像を自動再生するクイックレビュー機能を設定するクイックレビューON/OFFスイッチがある。
【0061】
さらに、操作部70は、JPEG圧縮の圧縮率を選択するため、あるいは撮像素子の信号をそのままデジタル化して記録媒体に記録するCCDRAWモードを選択するためのスイッチである圧縮モードスイッチがある。また、操作部70は、再生モード、マルチ画面再生・消去モード、PC接続モード等の各機能モードを設定可能な再生スイッチがある。また、操作部70は、ワンショットAFモードとサーボAFモードとを設定可能なAFモード設定スイッチなどがある。なお、ワンショットAFモードとは、シャッタスイッチ(SW1)62をユーザが押した際にオートフォーカス動作を開始し、一旦合焦した場合、その合焦状態を保ち続けるモードである。また、サーボAFモードとは、シャッタスイッチ(SW1)62をユーザが押している間、連続してオートフォーカス動作を続けるモードである。
【0062】
また、上記プラスボタン及びマイナスボタンの各機能は、回転ダイアルスイッチを備えることによって、より軽快に数値や機能を選択することが可能となる。
【0063】
電源スイッチ72は、画像処理装置100の電源オン、電源オフの各モードを切り替え設定可能である。また、画像処理装置100に接続されたレンズユニット300、外部ストロボ、記録媒体200、210等の各種付属装置の電源オン、電源オフの設定も合わせて切り替え設定可能である。
【0064】
電源制御部80は、電池検出回路、DC−DCコンバータ、通電するブロックを切り替えるスイッチ回路などから構成されている。この電源制御部80は、電池の装着の有無、電池の種類、電池残量の検出を行う。そして、電源制御部80は、その検出結果及びシステム制御回路50の指示に基づいてDC−DCコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部に供給する。
【0065】
コネクタ82,84は、電源制御部80と電源部86とを接続する。電源部86はアルカリ電池やリチウム電池などの一次電池、NiCd電池、NiMH電池、Li電池などの二次電池、ACアダプタなどからなる。
【0066】
インターフェース90,94は、メモリカードやハードディスク等の記録媒体200,210とのインターフェースである。コネクタ92,96は、メモリカードやハードディスクなどの記録媒体との接続を行う。
【0067】
記録媒体着脱検知部98は、コネクタ92,96に記録媒体200,210が装着されているか否かを検知する。
【0068】
なお、本実施の形態では、記録媒体を取り付けるインターフェース及びコネクタが2系統装備されているが、記録媒体を取り付けるインターフェース及びコネクタは単数あるいは任意の数の系統数だけ装備されていてもよい。
【0069】
また、異なる規格のインターフェース及びコネクタとして、PCMCIAカードやCF(コンパクトフラッシュ(登録商標))カードなどの規格に準拠したものを用いてもよい。
【0070】
さらに、インターフェース90,94、コネクタ92,96をPCMCIAカードやCFカードなどの規格に準拠したものを用いて構成した場合、他のコンピュータやプリンタなどの周辺機器との間で画像を相互に転送することが可能である。さらに、画像に付属した管理情報を相互に転送することが可能である。
【0071】
この場合、LANカード、モデムカード、USBカード、IEEE1394カード、P1284カード、SCSIカード、PHSなどの通信カードなどの各種通信カードを接続することとなる。
【0072】
光学ファインダ104は、撮像レンズ310に入射した光線を、一眼レフ方式によって、絞り312、レンズマウント306、106、ミラー130、132を介して導き、光学像として結像させて表示することが可能である。
【0073】
これにより、画像表示部28による電子ファインダ機能を使用することなく、光学ファインダ104だけを用いて撮像を行うことが可能である。
【0074】
また、光学ファインダ104内には、表示部54の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタスピード表示、絞り値表示、露出補正表示などが設けられている。
【0075】
通信部110は、RS232C、USB、IEEE1394、P1284、SCSI、モデム、LAN、無線通信などの各種通信機能を有する。
【0076】
コネクタ112は通信部110により画像処理装置100を他の機器と接続する。このコネクタ112を、無線通信を行う場合のアンテナとしてもよい。
【0077】
インターフェース120は、レンズマウント106内で画像処理装置100をレンズユニット300と接続するためのインターフェースである。
【0078】
コネクタ122は画像処理装置100をレンズユニット300と電気的に接続する。また、不図示であるが、レンズマウント106及び/またはコネクタ122にレンズユニット300が装着されているか否かを検知するレンズ着脱検知部が設けられている。
【0079】
コネクタ122は画像処理装置100とレンズユニット300との間で制御信号、状態信号、データ信号などを伝え合うと共に、各種電圧の電流を供給する機能も備えている。また、コネクタ122は電気通信だけでなく、光通信、音声通信などを伝達する構成としてもよい。
【0080】
ミラー130、132は、撮像レンズ310に入射した光線を、一眼レフ方式によって光学ファインダ104に導く。ミラー132はクイックリターンミラーの構成にしてもハーフミラーの構成にしてもどちらでもよい。
【0081】
記録媒体200はメモリカードやハードディスクなどである。記録媒体200は、半導体メモリや磁気ディスクなどから構成される記録部202、画像処理装置100とのインターフェース204、及び画像処理装置100との接続を行うコネクタ206を有している。
【0082】
記録媒体210は、記録媒体200と同様、メモリカードやハードディスクなどである。記録媒体210は、半導体メモリや磁気ディスク等から構成される記録部212、画像処理装置100とのインターフェース214、及び画像処理装置100との接続を行うコネクタ216を有している。
【0083】
レンズユニット300は、交換レンズタイプのレンズユニットである。レンズマウント306はレンズユニット300を画像処理装置100と機械的に結合する。レンズマウント306内には、レンズユニット300を画像処理装置100と電気的に接続する各種機能が含まれている。
【0084】
また、レンズユニット300は、撮像レンズ310、及び絞り312を有する。インターフェース320はレンズマウント306内でレンズユニット300を画像処理装置100と接続するためのインターフェースである。
【0085】
コネクタ322はレンズユニット300を画像処理装置100と電気的に接続する。コネクタ322は画像処理装置100とレンズユニット300との間で制御信号、状態信号、データ信号などを伝え合うと共に、各種電流が供給され、あるいは電流を供給する機能を備えている。また、コネクタ322は電気信号だけでなく、光信号、音声信号などを伝達する構成としてもよい。
【0086】
絞り制御部340は測光制御部46からの測光情報に基づいて、シャッタ12を制御するシャッタ制御部40と連携しながら、絞り312を制御する。測距制御部342は撮像レンズ310のフォーカシングを制御する。ズーム制御部344は撮像レンズ310のズーミングを制御する。
【0087】
レンズシステム制御回路350はレンズユニット300全体を制御する。レンズシステム制御回路350は、不揮発メモリの機能も備えている。この機能により、動作用の定数、変数、プログラムなどを記憶するメモリやレンズユニット300固有の番号などの識別情報、管理情報、開放絞り値や最小絞り値、焦点距離等の機能情報、現在や過去の各設定値などが保持されている。
【0088】
図2は、図1における不揮発性メモリ56に記憶されたキズデータの一例を示す図である。
【0089】
図2において、「No.」は、キズデータの通し番号である。「アドレス[X]」は、画像サイズを(X×Y)としたときのX座標を示し、「アドレス[Y]」はY座標を示す。「キズ補正レベル」は、キズである欠陥画素の出力レベルをmVで表現したものであり、欠陥の度合いを示すレベルである。「キズの種類」は、キズの種類を示し、例えば白は白キズを示し、黒は黒キズを示している。このキズデータは、撮像素子に起因して生じる欠陥画素の撮像画像における位置と欠陥の度合いを示すレベルとが対応付けられた欠陥情報に対応する。また、不揮発性メモリ56は、第1記憶手段に対応する。
【0090】
撮像素子14は、その出荷時に、所定の環境温度、所定の電荷蓄積時間に得られた画像により、各種のキズが抽出される。これらのキズ画素は、種別、アドレス、キズレベルが記載された工場出荷時データをもとに、図2に示されるキズデータを成形する。この処理は画像処理装置100の外部で行われる。従って、キズデータは、撮像装置1の出荷前に不揮発性メモリ56に記憶されるようになっている。
【0091】
具体的には、撮像状況に応じて補正処理が必要な撮像素子14の白キズの判別を行う。これとは別に、撮像時に、撮像画像より欠陥画素の抽出を行っても良い。撮像時に行うことによって、時々発生するタイプの欠陥画素も補正することができる。
【0092】
白キズの多くは撮像素子14の電荷蓄積時間に応じてレベルが大きくなる傾向がある。また、同じレベルの白キズであっても、設定されたISO感度によっても、画像となった場合のキズのレベルが変わってしまう。上記ISO感度は、撮像素子14のゲイン及び画像処理回路20のゲインにより定まる。
【0093】
更に、撮像に用いたレンズの特性による画像周辺部の光量低下分に対してゲインをかける周辺光量補正の場合も、同様に画像となった場合のキズのレベルが変わってしまう。すなわち、周辺光量補正を行う場合、補正するキズのレベルを一律にすると、周辺部のみキズが残ってしまうということになる。そこで、画像の中心からの位置(距離)によって補正するキズのレベルを変える必要がある。
【0094】
図3は、図1におけるメモリ52に記憶されたキズレベル設定テーブルであり、画像の位置によって補正するキズレベル設定テーブルを示している。
【0095】
図3においても、画像サイズを(X×Y)としており、X,X1,X2,Y,Y1,Y2はそれぞれ座標を示している。
【0096】
図4は、図3に示される領域を示す図である。
【0097】
図4に示されるように、撮像画像を9つの領域に分割し、図3に示されるように各々の領域にキズレベルを定めておく。
【0098】
例えば、図4における領域1は、0≦x<X1かつ0≦y<Y1の領域であり、補正するキズレベルはLEVEL3となる。領域2から領域9までも同様である。
【0099】
図5は、図1におけるメモリ52に記憶された図3におけるキズレベルとそのレベルに対応したキズ補正レベルを示す図である。
【0100】
図5に示されるように、キズ補正レベルをLEVEL1、LEVEL2、LEVEL3の3段階設定し、各補正レベルはそれぞれ、100mV以上、50mV以上、25mV以上とする。
【0101】
つまり、出力に対し、ゲインをかける画像周辺部は補正するキズレベルを低く、ゲインをかけない中心はキズレベルを高く設定する。なお、本実施の形態では、領域を9つに分けたがこれに限らない。また、周辺光量補正を行わない場合は、全領域LEVEL1にキズ補正レベルを設定する。
【0102】
また、周辺光量低下特性はレンズの種類によって異なる。従って、図3に示したキズレベル設定テーブルは装着するレンズに記憶させてもよい。またはレンズの瞳距離によって持たせても良い。
【0103】
さらに、キズ補正レベルのLEVEL1〜LEVEL3の値は、電荷蓄積時間やISO感度といった撮像条件によって適宜設定することが望ましい。すなわち、蓄積時間が長いほど、またISO感度が高いほどキズ補正レベルは低く設定するようにする。
【0104】
上記キズレベル設定テーブル、及びキズ補正レベルは、システム制御回路50の内部メモリに記憶するようにしてもよい。
【0105】
このように、図3のキズレベル設定テーブルは、撮像画像に対し行われるゲイン補正に応じて定まるとともに、撮像画像を複数の領域に分割することで得られた各領域ごとに、レベルと比較するための閾値が設定された設定情報に対応する。ここで、閾値は、LEVEL1,LEVEL2,LEVEL3である。また、図2のキズ補正レベルに応じて図5によりレベルが定まり、このレベルは後述するように閾値と比較されることとなる。また、メモリ52は、第2記憶手段に対応する。
【0106】
図6は、図1におけるシステム制御回路50により実行される撮像全体処理(その1)の手順を示すフローチャートである。
【0107】
この撮像処理を動作させるためのプログラムは不揮発性メモリ56などの記録媒体に格納されており、メモリ52にロードされてシステム制御回路50内のCPUによって実行される。
【0108】
電池交換などの電源投入により、システム制御回路50はフラグや制御変数等を初期化し、画像処理装置100の各部に対して必要な所定の初期設定を行う(ステップS101)。
【0109】
システム制御回路50は、電源スイッチ72の設定位置を判別し、電源スイッチ72が電源OFFに設定されているか否かを判別する(ステップS102)。電源スイッチ72が電源OFFに設定されているとき(ステップS102でNO)、終了処理を行った後(ステップS103)、ステップS102の処理に戻る。なお、上記終了処理とは、各表示部の表示を終了状態に変更し、フラグや制御変数などを含む必要なパラメータや設定値、設定モードを不揮発性メモリ56に記録する。そして、電源制御部80により画像表示部28を含む画像処理装置100各部の不要な電源を遮断するなどの処理である。
【0110】
一方、電源スイッチ72が電源ONに設定されていたとき(ステップS102でYES)、電源がOKか否かを判別する(ステップS104)。電源がOKか否かとは、電源制御部80により電池などの電源部86の残容量や動作状況が画像処理装置100の動作に問題があるか否かということである。
【0111】
問題があると判別されたとき(ステップS104でNO)、表示部54に画像の表示や音声の出力により所定の警告を行った後(ステップS105)、ステップS102の処理に戻る。
【0112】
一方、電源部86に問題がないと判別されたとき(ステップS105でYES)、システム制御回路50はモードダイアルスイッチ60の設定位置を判断し、モードダイアルスイッチ60が撮像モードに設定されているか否かを判別する(ステップS106)。
【0113】
モードダイアルスイッチ60がその他のモードに設定されているとき(ステップS106でNO)、システム制御回路50は選択されたモードに応じた処理を実行し(ステップS107)、実行後にステップS102の処理に戻る。
【0114】
一方、モードダイアルスイッチ60が撮像モードに設定されているとき(ステップS106でYES)、記録媒体200,210がOKか否か判別する(ステップS108)。記録媒体200,210がOKか否かとは、記録媒体200,210が装着されているか否かの判断がまず行われる。そして、記録媒体200、210に記録された画像の管理情報の取得、及び記録媒体200、210の動作状態が画像処理装置100の動作、特に記録媒体に対する画像の記録再生動作に問題があるか否かということである。
【0115】
記録媒体200,210に問題があると判別されたとき(ステップS108でNO)、表示部54に画像の表示や音声の出力により所定の警告を行った後(ステップS105)、ステップS102の処理に戻る。
【0116】
一方、ステップS108で問題がないと判別されたとき(ステップS108でYES)、システム制御回路50は表示部54を用いて画像や音声により画像処理装置100の各種設定状態の表示する設定表示を行う(ステップS109)。
【0117】
ここで、画像表示部28の画像表示スイッチがONである場合、画像表示部28を用いて画像や音声により画像処理装置100の各種設定状態を表示するようにしてもよい。
【0118】
図7は、図1におけるシステム制御回路50により実行される撮像全体処理(その2)の手順を示すフローチャートである。
【0119】
図7において、シャッタスイッチ(SW1)62が押されているか否かを判別し(ステップS121)、シャッタスイッチ(SW1)62が押されていないとき(ステップS121でNO)、ステップS102の処理に戻る。
【0120】
一方、シャッタスイッチ(SW1)62が押されているとき(ステップS121でYES)、システム制御回路50は、測距・測光処理を行う(ステップS122)。測光処理では、必要であればフラッシュの設定を行う。測距・測光処理では、測距処理を行って撮像レンズ310の焦点を被写体に合わせ、測光処理を行って絞り値及びシャッタ速度を決定するする。
【0121】
そして、シャッタスイッチ(SW2)64が押されているか否かを判別し(ステップS132)、シャッタスイッチ(SW2)64が押されていないとき(ステップS132でNO)、以下の処理を行う。すなわち、さらにシャッタスイッチ(SW1)62が離されたか否かを判別する(ステップS133)。こうしてシャッタスイッチ(SW1)62が離されるかシャッタスイッチ(SW2)64が押されるまでステップS132及びステップS133の処理を繰り返す。
【0122】
ステップS133でシャッタスイッチ(SW1)62が離されたとき(ステップS133でNO)、ステップS102の処理に移行する。
【0123】
一方、ステップS132でシャッタスイッチ(SW2)64が押されたとき(ステップS132でYES)、システム制御回路50は、撮像画像の記憶可能な画像記憶バッファ領域がメモリ30にあるか否かを判別する(ステップS134)。
【0124】
メモリ30の画像記憶バッファ領域内に新たな画像の記憶可能な領域がないと判別されたとき(ステップS134でNO)、表示部54に画像の表示や音声の出力により所定の警告を行った後(ステップS135)、ステップS102の処理に戻る。
【0125】
新たな画像の記憶可能な領域がない例として、メモリ30の画像記憶バッファ領域内に記憶可能な最大枚数の連写撮像を行った直後の状態が挙げられる。具体的には、メモリ30から読み出して記録媒体200、210に書き込むべき最初の画像がまだ記録媒体200、210に未記録な状態である。この状態は、まだ1枚の空き領域もメモリ30の画像記憶バッファ領域上に確保できない状態である。
【0126】
なお、撮像画像を圧縮処理してからメモリ30の画像記憶バッファ領域に記憶する場合、以下の判断がされる。まず圧縮した後の画像のデータ量が圧縮モードの設定に応じて異なることを考慮して、記憶可能な領域がメモリ30の画像記憶バッファ領域上にあるか否かをステップS134の処理で判断することになる。
【0127】
一方、ステップS134でメモリ30に撮像画像の記憶可能な画像記憶バッファ領域があると判別されたとき(ステップS134でYES)、システム制御回路50は、撮像して所定時間蓄積した撮像信号を撮像素子14から読み出す。そして、A/D変換器16、画像処理回路20及びメモリ制御回路22を介して、またはA/D変換器16から直接、メモリ制御回路22を介して、メモリ30の所定領域に撮像画像を書き込む撮像処理を実行する(ステップS136)。この撮像処理の詳細については、後述する。
【0128】
次いで、システム制御回路50は、図3に示したキズ補正テーブルのデータを使って欠陥画素補正を行う(ステップS139)。欠陥画素補正処理の詳細については後述する。
【0129】
次に現像処理(ステップS140)を行う。このとき、システム制御回路50は、まずメモリ30の所定領域に書き込まれた画像の一部をメモリ制御回路22を介して読み出す。そして、現像処理を行うために必要なWB(ホワイトバランス)積分演算処理、OB(オプティカルブラック)積分演算処理を行い、演算結果をシステム制御回路50の内部メモリあるいはメモリ52に記憶する。
【0130】
そして、システム制御回路50は、メモリ制御回路22、必要に応じて画像処理回路20を用いて、メモリ30の所定領域に書き込まれた撮像画像を読み出す。次いで、システム制御回路50の内部メモリあるいはメモリ52に記憶した演算結果を用いて、AWB(オートホワイトバランス)処理、ガンマ変換処理、色変換処理を含む各種現像処理を行う。また、周辺光量補正もここで行う。
【0131】
次いで、システム制御回路50は、まずメモリ30の所定領域に書き込まれた画像を読み出す。そして、設定されたモードに応じた画像圧縮処理を圧縮・伸長回路32により行い(ステップS141)、メモリ30の画像記憶バッファ領域の空き画像部分に、撮像して一連の処理を終えた画像の書き込みを行う。
【0132】
そして、システム制御回路50は、メモリ30の画像記憶バッファ領域に記憶された画像を読み出す。次いで、インターフェース90、94、コネクタ92、96を介して、メモリカードやコンパクトフラッシュ(登録商標)カード等の記録媒体200、210に読み出した画像を書き込む記録処理を開始する(ステップS142)。この記録開始処理は、メモリ30の画像記憶バッファ領域の空き画像部分に、撮像して一連の処理を終えた画像の書き込みが新たに行われる度に、その画像に対して実行される。
【0133】
なお、記録媒体200、210に画像の書き込みを行っている間、書き込み動作中であることを示すために、表示部54に例えばLEDを点滅させる等の記録媒体書き込み動作表示を行う。
【0134】
さらに、システム制御回路50は、シャッタスイッチ(SW1)62が押された状態か否かを判別する(ステップS143)。シャッタスイッチ(SW1)62が離された状態であるとき(ステップS143でNO)、ステップS102の処理に戻る。
【0135】
一方、シャッタスイッチ(SW1)62が押された状態であるとき(ステップS143でYES)、単写が設定されていた場合、ステップS132の処理に戻り、シャッタスイッチ(SW1)62が離されるまで現在の処理を繰り返す。これにより、撮像に関する一連の処理が終了する。
【0136】
図8は、図7のステップS136における撮像処理の手順を示すフローチャートである。
【0137】
この撮像処理では、システム制御回路50と、絞り制御部340または測距制御部342との間の各種信号のやり取りは、インターフェース120、コネクタ122、コネクタ322、インターフェース320及びレンズシステム制御回路350を介して行われる。
【0138】
システム制御回路50は、ミラー130をミラー駆動部(図示せず)によってミラーアップ位置に移動させる(ステップS301)。そして、システム制御回路50の内部メモリあるいはメモリ52に記憶された測光データに従い、絞り制御部340によって絞り312を所定の絞り値まで駆動する(ステップS302)。
【0139】
システム制御回路50は、撮像素子14の電荷クリア動作を行った後(ステップS303)、撮像素子14の電荷蓄積を開始する(ステップS304)。そして、シャッタ制御部40によってシャッタ12を開き(ステップS305)、撮像素子14の露光を開始する(ステップS306)。
【0140】
次いで、フラッシュフラグによりフラッシュ部48が必要であるか否かを判別し(ステップS307)、必要であるとき(ステップS307でYES)、フラッシュ部48を発光させる(ステップS308)。
【0141】
システム制御回路50は、測光データに従って撮像素子14の露光終了を待ち(ステップS309)、露光が終了すると(ステップS309でYES)、シャッタ制御部40によってシャッタ12を閉じ(ステップS310)、撮像素子14の露光を終了する。
【0142】
次いで、システム制御回路50は、絞り制御部340によって絞り312を開放の絞り値まで駆動し(ステップS311)、ミラー130をミラー駆動部(図示せず)によってミラーダウン位置に移動させる(ステップS312)。
【0143】
設定した電荷蓄積時間が経過したか否かを判別し(ステップS313)、設定した電荷蓄積時間が経過したとき(ステップS313でYES)、システム制御回路50は撮像素子14の電荷蓄積を終了する(ステップS314)。
【0144】
その後、撮像素子14から撮像信号を読み出し(ステップS315)、A/D変換器16、画像処理回路20、メモリ制御回路22を介して、またはA/D変換器16から直接、メモリ制御回路22を介してメモリ30の所定領域に撮像画像を書き込む。一連の処理を終了すると、本処理を終了してメインの処理に復帰する。
【0145】
図9は、図7のステップS139におけるキズ補正処理の手順を示すフローチャートである。
【0146】
図9において、画像処理装置100のシステム制御回路50は、補正対象画素指定処理を行う(ステップS501)。
【0147】
具体的に、システム制御回路50は、レンズ条件(レンズの種類、瞳距離、絞り値)に応じて区分される複数の条件に応じて、キズ補正処理の対象とする画素を指定することで、補正する欠陥画素が決定される。
【0148】
ここではレンズ条件に関してのみ記載しているが、その他の撮像条件(撮像素子14の電荷蓄積時間、ISO感度)、または撮像環境(温度)も加味してキズ補正レベルを設定して、処理を行うキズ補正データを指定するとより好適である。
【0149】
次いで、補正対象画素に対応するアドレスを読み込み(ステップS502)、メモリ30の所定領域に書き込まれた撮像画像の対応する画素に対し、隣接する同色画素の撮像画像を用いて点キズ補正処理を行う。
【0150】
ここでは、システム制御回路50は、選択したキズ補正データの先頭から1画素分のキズアドレスを読み込み、このアドレス情報を参照し、メモリ30に書き込まれた撮像画像における該当する欠陥画素のアドレスを特定することが可能である。
【0151】
次に、システム制御回路50は、補正対象画素に隣接する同色画素の値を読み込む(ステップS503)。そして、システム制御回路50はステップS503で得られた隣接画素の値から、補正対象画素の補正量を算出する(ステップS504)。
【0152】
続いて、システム制御回路50は、ステップS504で算出した補正対象画素の補正量を、メモリ30における該当アドレスに書き込む(ステップS505)。これにより、補正対象画素の補正処理は完了する。上記ステップS503〜505は、補正することが決定された欠陥画素を補正する補正手段に対応する。また、ここでは、光学部材の瞳距離、又は絞り値に応じて欠陥画素を補正するようにしてもよい。
【0153】
そして、システム制御回路50は、指定された補正対象画素の補正処理が全て終了したか否か判別する(ステップS506)。
【0154】
ステップS506の判別の結果、補正処理が全て終了したとき(ステップS506でYES)、本処理を終了する。一方、補正処理が全て終了していないとき(ステップS506でNO)、上記ステップS502に戻り、次の補正対象画素のアドレスを読み込み、以下同様の処理を繰り返す。
【0155】
図10は、図9のステップS501の補正対象画素指定処理の手順を示すフローチャートである。
【0156】
図10において、システム制御回路50、撮像条件を確認する(ステップS701)。この撮像条件には、ISO感度の設定値(例えば100、200、400、800)、及びシャッタ速度(電荷蓄積時間)がある。次いで、装着しているレンズ条件(レンズの種類、瞳距離)を確認する(ステップS702)。
【0157】
ステップS701とステップS702の条件から図3に示すキズレベル設定テーブルを選択する(ステップS703)。すなわち、条件に対応させて、複数のキズレベル設定テーブルが記憶されているので、その中から条件に適合したものが選択される。このように、撮像素子14による撮像条件に応じた複数の欠陥情報が記憶されている。
【0158】
続いて、図2のキズデータをスキャンし、欠陥画素の読み出しを行う(ステップ704)。このステップS704は、記憶された欠陥画素の位置、及びレベルを取得する取得手段に対応する。
【0159】
欠陥画素のアドレスを参照し、その欠陥画素が画像中の領域1,3,7,9のいずれかの領域内の画素か否かを判別する(ステップS705)。
【0160】
ステップS705の判別の結果、欠陥画素が画像中の領域1,3,7,9のいずれかの領域内の画素とき(ステップS705でYES)、その欠陥画素のキズレベルがLEVEL3以上か否か判別する(ステップS706)。
【0161】
ステップS706の判別の結果、キズレベルがLEVEL3以上のとき(ステップS706でYES)、欠陥画素を補正対象画素とし、そのアドレスを読み出し(ステップS711)、ステップS712に進む。
【0162】
一方、ステップS706の判別の結果、キズレベルがLEVEL3未満のとき(ステップS706でNO)、ステップS712に進む。
【0163】
上記ステップS705の判別の結果、欠陥画素が画像中の領域1,3,7,9のいずれかの領域内の画素ではないとき(ステップS705でNO)、欠陥画素が画像中の領域2,4,6,8のいずれかの領域内の画素か否かを判別する(ステップS707)。
【0164】
ステップS707の判別の結果、欠陥画素が画像中の領域2,4,6,8のいずれかの領域内の画素とき(ステップS707でYES)、その欠陥画素のキズレベルがLEVEL2以上か否か判別する(ステップS708)。
【0165】
ステップS708の判別の結果、キズレベルがLEVEL2以上のとき(ステップS708でYES)、欠陥画素を補正対象画素とし、そのアドレスを読み出し(ステップS711)、ステップS712に進む。このステップS705〜711は、取得された欠陥画素の位置及びレベルから、設定情報により当該欠陥画素がある領域に設定された閾値と、欠陥画素のレベルとを比較することにより、当該欠陥画素を補正するか否かを決定する決定手段に対応する。
【0166】
一方、ステップS708の判別の結果、キズレベルがLEVEL2未満のとき(ステップS708でNO)、ステップS712に進む。
【0167】
上記ステップS707の判別の結果、欠陥画素が画像中の領域2,4,6,8のいずれかの領域内の画素ではないとき(ステップS707でNO)、欠陥画素が画像中の領域5内の画素か否かを判別する(ステップS709)。
【0168】
ステップS709の判別の結果、欠陥画素が画像中の領域5内の画素とき(ステップS709でYES)、その欠陥画素のキズレベルがLEVEL1以上か否か判別する(ステップS710)。
【0169】
ステップS710の判別の結果、キズレベルがLEVEL1以上のとき(ステップS710でYES)、欠陥画素を補正対象画素とし、そのアドレスを読み出し(ステップS711)、ステップS712に進む。
【0170】
一方、ステップS708の判別の結果、キズレベルがLEVEL2未満のとき(ステップS708でNO)、ステップS712に進む。
【0171】
上記ステップS709の判別の結果、欠陥画素が画像中の領域5内の画素ではないとき(ステップS709でNO)、全てのキズデータスキャンが終了したか否か判別する(ステップS712)。
【0172】
ステップS712の判別の結果、全てのキズデータスキャンが終了したとき(ステップS712でYES)、本処理を終了し、全てのキズデータスキャンが終了していないとき(ステップS712でNO)、ステップS705に戻る。以上より、撮像画像における補正対象画素の指定は完了となる。
【0173】
以上、レンズ情報に応じて画像内の領域によってキズ補正レベルを変えることにより、周辺光量補正といった特定の領域のみにゲインをかける補正を行った場合にも、キズ補正残りを生じることなく欠陥画素の補正を行うことができる。
【0174】
また、ゲイン補正を行う領域にのみ、キズ補正レベルを下げるといったことをしているので、補正する欠陥画素の個数を最適に決定することができ、過補正になることも防ぐことができる。
【0175】
なお、本実施の形態では欠陥画素の情報は予め工場出荷時データをもとに成形していたが、撮像画像から取得しても良い。また、撮像画像をコンピュータに取り込み、コンピュータ内で画像処理を行う際に、欠陥画素の補正を実施しても良い。従って、欠陥情報は、撮像画像を用いて取得されるようにしてもよい。
【0176】
本実施の形態では、欠陥画素の位置及びレベルから、設定情報により当該欠陥画素がある領域に設定された閾値と、前記欠陥画素のレベルとを比較することにより、当該欠陥画素を補正するか否かを決定する。そして、補正することが決定された欠陥画素を補正するので、必要以上に欠陥画素の補正を行うことなく、また補正されなかった欠陥画素を目立たないようにできる。
【0177】
[第2の実施の形態]
第2の実施の形態における撮像装置の構成は、第1の実施の形態における撮像装置の構成と同じであるので、第1の実施の形態を流用して説明する。
【0178】
一般的に、高画質機能として被写体の顔の部分といった特定の領域にゲインをかける補正を行うことがある。このような場合にも、ゲインをかける領域の補正するキズ補正レベルを変更すると良い。ある領域Aにゲインαをかけた場合の補正対象画素の指定について、第1の実施の形態を流用して説明する。
【0179】
図11は、図9のステップS501の補正対象画素指定処理の手順を示すフローチャートである。
【0180】
図11において、まず図10のステップS701〜704まで行う。次いで、欠陥画素のアドレスを参照し、その欠陥画素が領域A内であれば、フラグを1とし、領域A外であれば、フラグを0とする(ステップS1101)。
【0181】
次いで、その欠陥画素が画像中の領域1,3,7,9のいずれかの領域内の画素か否かを判別する(ステップS1102)。
【0182】
ステップS1102の判別の結果、欠陥画素が画像中の領域1,3,7,9のいずれかの領域内の画素とき(ステップS1102でYES)、その欠陥画素のキズレベルについて判別する(ステップS1103)。
【0183】
ここでは、フラグが1で、キズレベルがLEBEL3/α以上のとき、肯定判別となり、フラグが1で、キズレベルがLEBEL3/α未満のとき、否定判別となる。一方、フラグが0で、キズレベルがLEBEL3以上のとき、肯定判別となり、フラグが1で、キズレベルがLEBEL3未満のとき、否定判別となる。
【0184】
ステップS1103の判別の結果、肯定判別されたとき(ステップS1103でYES)、欠陥画素を補正対象画素とし、そのアドレスを読み出し(ステップS1108)、ステップS1109に進む。
【0185】
一方、ステップS1103の判別の結果、否定判別されたとき(ステップS1103でNO)、ステップS1109に進む。
【0186】
上記ステップS1102の判別の結果、欠陥画素が画像中の領域1,3,7,9のいずれかの領域内の画素ではないとき(ステップS1102でNO)、欠陥画素が画像中の領域2,4,6,8のいずれかの領域内の画素か否かを判別する(ステップS1104)。
【0187】
ステップS1104の判別の結果、欠陥画素が画像中の領域2,4,6,8のいずれかの領域内の画素とき(ステップS1104でYES)、その欠陥画素のキズレベルについて判別する(ステップS1105)。
【0188】
ここでは、フラグが1で、キズレベルがLEBEL2/α以上のとき、肯定判別となり、フラグが1で、キズレベルがLEBEL2/α未満のとき、否定判別となる。一方、フラグが0で、キズレベルがLEBEL2以上のとき、肯定判別となり、フラグが1で、キズレベルがLEBEL2未満のとき、否定判別となる。
【0189】
ステップS1105の判別の結果、肯定判別されたとき(ステップS1105でYES)、欠陥画素を補正対象画素とし、そのアドレスを読み出し(ステップS1108)、ステップS1109に進む。
【0190】
一方、ステップS1105の判別の結果、否定判別されたとき(ステップS1105でNO)、ステップS1109に進む。
【0191】
上記ステップS1104の判別の結果、欠陥画素が画像中の領域2,4,6,8のいずれかの領域内の画素ではないとき(ステップS1104でNO)、欠陥画素が画像中の領域5内の画素か否かを判別する(ステップS1106)。
【0192】
ステップS1106の判別の結果、欠陥画素が画像中の領域5内の画素とき(ステップS1106でYES)、その欠陥画素のキズレベルについて判別する(ステップS1107)。
【0193】
ここでは、フラグが1で、キズレベルがLEBEL1/α以上のとき、肯定判別となり、フラグが1で、キズレベルがLEBEL1/α未満のとき、否定判別となる。一方、フラグが0で、キズレベルがLEBEL1以上のとき、肯定判別となり、フラグが1で、キズレベルがLEBEL1未満のとき、否定判別となる。
【0194】
ステップS1107の判別の結果、肯定判別されたとき(ステップS1107でYES)、欠陥画素を補正対象画素とし、そのアドレスを読み出し(ステップS1108)、ステップS1109に進む。
【0195】
一方、ステップS1107の判別の結果、否定判別されたとき(ステップS1107でNO)、ステップS1109に進む。
【0196】
上記ステップS1109の判別の結果、欠陥画素が画像中の領域5内の画素ではないとき(ステップS1106でNO)、全てのキズデータスキャンが終了したか否か判別する(ステップS1109)。
【0197】
ステップS1109の判別の結果、全てのキズデータスキャンが終了したとき(ステップS1109でYES)、本処理を終了し、全てのキズデータスキャンが終了していないとき(ステップS1109でNO)、ステップS1101に戻る。以上より、撮像画像における補正対象画素の指定は完了となる。
【0198】
なお、周辺光量補正を行わない場合には、全領域においてキズレベルはLEVEL1とし、同様の処理を行う。このように、第2の実施の形態では、撮像画像のうちの予め定められた領域内の欠陥画素に対して補正する場合についての実施の形態である。
【0199】
以上、特定の領域にゲインをかける場合にもそれに応じて補正するキズレベルを設定することにより、より好適に欠陥画素の補正を行うことができる。
【0200】
[第3の実施の形態]
第3の実施の形態における撮像装置の構成は、第1の実施の形態における撮像装置の構成と同じであるので、第1の実施の形態を流用して説明する。
【0201】
一般的に、撮像時のレンズの絞り値によって出力にゲインをかける補正を行うことがある。従って、レンズの絞り値によっても補正するキズレベルを変更すると良い。
【0202】
上述した図10のステップS702で、レンズ条件の確認時に絞り値も取得する。その絞り値に応じて図5で示した各キズレベルのキズ補正レベルに係数αを乗じたものをキズ補正レベルとする。
【0203】
図12は、絞り値(Av)によるキズレベルの係数βを示した表を示す図である。
【0204】
図13は、図12を適用したキズレベルとそのレベルに対応したキズ補正レベルを示す図である。
【0205】
図12の表は、絞り値に対応する係数βを示す表である。例えば、撮像時の絞り値Avが1.8であった場合、係数βは0.8となる。これを図5のキズ補正レベルに乗算すると、キズ補正レベルは図13の通りになる。
【0206】
以上、絞り値によるゲイン補正分を考慮した補正するキズレベルを設定することにより、より好適に欠陥画素の補正を行うことができる。
【0207】
(他の実施の形態)
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【符号の説明】
【0208】
1 撮像装置
14 撮像素子
20 画像処理回路
30,52 メモリ
42 測距制御部
46 測光制御部
48 フラッシュ部
50 システム制御回路
56 不揮発性メモリ
62,64 シャッタスイッチ
【技術分野】
【0001】
本発明は、撮像装置及びその制御方法、並びにプログラムに関する。
【背景技術】
【0002】
従来、固体メモリ素子を有するメモリカードを記録媒体として、CCD、CMOS等の固体撮像素子で撮像した静止画像や動画像を記録及び再生する電子カメラ等の撮像装置が市販されている。
【0003】
CCD、CMOS等の固体撮像素子を用いて撮像する場合、撮像素子で発生する暗電流ノイズや撮像素子固有の微小なキズによる画質劣化が生じ得る。このような画質劣化に対し、様々な補正処理を行うことによって高品位な画像を得ることができる。
【0004】
例えば、撮像素子を露光しない状態で本撮像と同様に電荷蓄積を行って読み出したダーク画像と、撮像素子を露光した状態で電荷蓄積を行って読み出した本撮像画像とを演算処理することにより、ダークノイズ補正処理を行うことが可能である。
【0005】
これにより、撮像素子で発生する暗電流ノイズや撮像素子固有の微小なキズによる画素欠損等の画質劣化に関して、撮像画像を補正して高品位な画像を得ることができる。
【0006】
また、欠陥画素に隣接する画素を用いた補間演算処理により欠陥画素を補正することで、画質劣化を更に低減することが可能である。
【0007】
欠陥画素の補正は、通常は以下のように行われる。まず、予め撮像素子の欠陥画素を検出し、その欠陥画素に関するデータをROM等に記憶しておく。この作業は、例えば撮像素子の工場出荷時に実施する。所定の条件下における標準電荷蓄積時間での撮像素子の出力を評価し、評価結果に基づき欠陥画素を判定する。
【0008】
そして、欠陥画素の種類(黒キズ画素、白キズ画素等)及び欠陥画素のアドレスとその欠陥レベルのデータを取得し、これらをROM等に書いておく。
【0009】
このように、予め欠陥画素の位置等をROMに記憶した撮像装置では、撮像素子から供給された画像のうち、ROMに記憶された欠陥画素の位置データに対応した位置の画素に関して、その近傍の画素データを用いて欠陥画素データを補正することができる。
【0010】
これにより撮像素子によって得られた映像信号のうち、特異なレベルの信号を出力する画素(すなわち欠陥画素)は補正され、良好な再生画像を得ることができるようになる。
【0011】
欠陥画素の中でも、出力が高くなる白点状の欠陥画素(以下、「白キズ画素」という)については、撮像時の撮像素子における電荷蓄積時間によって大きくその程度が異なることが知られている。
【0012】
従って、通常の短い蓄積時間(短秒時)での撮像では問題にならないような画素でも、通常より長い時間(長秒時)での撮像時にはその欠陥画素としてのレベルが大きくなり、画質に影響を与えてしまうことになる。
【0013】
このような長秒時の欠陥画素による画質劣化を考慮して欠陥画素の補正を実施するとする。すなわち、欠陥のレベルの低い画素も補正する。この場合、膨大な個数の画素を欠陥画素として補正を行うことになるが、短秒時には本来補正処理が不要な画素にも補正処理を行ってしまい、逆に過補正による画質低下を招いてしまう。
【0014】
そこで、所定の閾値を設定して欠陥画素補正を行う方法がある。例えば、電荷蓄積時間やISO感度などの撮像条件に応じて、補正する欠陥画素のレベルを変えるという方法が提案されている(例えば、特許文献1参照)。これによって、欠陥画素の補正不足、あるいは過補正を避けることができる。
【0015】
上記欠陥画素補正以外にも、電子カメラ等の撮像装置では、得られた各画素の出力値に対し、様々な補正処理を行っている。
【0016】
例えば、レンズの周辺光量落ちを考慮し、レンズの種類によって画像の周辺部にゲイン補正をかける周辺光量落ち補正がある。また、撮像画像に応じて、被写体の顔など、画面内の所定の領域のみゲインをかける補正もある。更に、撮像時のレンズの絞り値によって出力にゲインをかける補正もある。
【先行技術文献】
【特許文献】
【0017】
【特許文献1】特開2003−333435号公報
【発明の概要】
【発明が解決しようとする課題】
【0018】
しかしながら、上述のように本撮像とは別に画像を取得して補正する方法は、1枚画像を取得するために2回の電荷蓄積が必要であり、長秒時撮像ほどその時間的負荷が大きくなる。すなわち、レリーズタイムラグ、撮像コマ間隔に大きな影響を与えてしまう問題があった。
【0019】
一方、電荷蓄積時間やISO感度といった撮像条件に応じて、補正する欠陥画素のレベルを変えるという方法は、周辺光量補正など画面内の所定の領域にゲインをかけてしまうと、補正対象にならなかった欠陥画素が目立ってしまうという結果になっていた。
【0020】
本発明の目的は、必要以上に欠陥画素の補正を行うことなく、また補正されなかった欠陥画素を目立たないようにした撮像装置及びその制御方法、並びにプログラムを提供することにある。
【課題を解決するための手段】
【0021】
上記目的を達成するために、請求項1の撮像装置は、被写体を光学部材を介して撮像素子により撮像することで撮像画像を得る撮像装置であって、前記撮像素子に起因して生じる欠陥画素の撮像画像における位置と欠陥の度合いを示すレベルとが対応付けられた欠陥情報が記憶された第1記憶手段と、前記撮像画像に対し行われるゲイン補正に応じて定まるとともに、撮像画像を複数の領域に分割することで得られた各領域ごとに、前記レベルと比較するための閾値が設定された設定情報が記憶された第2記憶手段と、前記第1記憶手段に記憶された欠陥画素の位置、及びレベルを取得する取得手段と、前記取得手段により取得された欠陥画素の位置及びレベルから、前記第2記憶手段に記憶された設定情報により当該欠陥画素がある領域に設定された閾値と、前記欠陥画素のレベルとを比較することにより、当該欠陥画素を補正するか否かを決定する決定手段と、前記決定手段により補正することが決定された欠陥画素を補正する補正手段とを備えたことを特徴とする。
【発明の効果】
【0022】
本発明によれば、必要以上に欠陥画素の補正を行うことなく、また補正されなかった欠陥画素を目立たないようにした撮像装置及びその制御方法、並びにプログラムを提供することができる。
【図面の簡単な説明】
【0023】
【図1】本発明の実施の形態に係る撮像装置の概略構成を示す図である。
【図2】図1における不揮発性メモリに記憶されたキズデータの一例を示す図である。
【図3】図1におけるメモリに記憶されたキズレベル設定テーブルであり、画像の位置によって補正するキズレベル設定テーブルを示している。
【図4】図3に示される領域を示す図である。
【図5】図1におけるメモリに記憶された図3におけるキズレベルとそのレベルに対応したキズ補正レベルを示す図である。
【図6】図1におけるシステム制御回路により実行される撮像全体処理(その1)の手順を示すフローチャートである。
【図7】図1におけるシステム制御回路により実行される撮像全体処理(その2)の手順を示すフローチャートである。
【図8】図7のステップS136における撮像処理の手順を示すフローチャートである。
【図9】図7のステップS139におけるキズ補正処理の手順を示すフローチャートである。
【図10】図9のステップS501の補正対象画素指定処理の手順を示すフローチャートである。
【図11】図9のステップS501の補正対象画素指定処理の手順を示すフローチャートである。
【図12】絞り値(Av)によるキズレベルの係数βを示した表を示す図である。
【図13】図12を適用したキズレベルとそのレベルに対応したキズ補正レベルを示す図である。
【発明を実施するための形態】
【0024】
以下、本発明の実施の形態について図面を参照しながら詳述する。
【0025】
[第1の実施の形態]
図1は、本発明の実施の形態に係る撮像装置1の概略構成を示す図である。
【0026】
図1における撮像装置1は、例えば、デジタル一眼レフカメラである。撮像装置1は、画像処理装置(本体)100と、画像処理装置本体に対し、着脱可能に装着される記録媒体200,210と、画像処理装置本体に対し、着脱可能に装着されるレンズユニット300(光学部材)を備えている。
【0027】
画像処理装置100において、シャッタ12は、撮像素子14への露光量を制御する。撮像素子14は被写体の光学像を電気信号に変換する。
【0028】
レンズユニット300内の撮像レンズ310に入射した光線は、絞り312、レンズマウント306、106、ミラー130及びシャッタ12を介して導き、光学像として撮像素子14上に結像することができる。このように、撮像装置1は、被写体を光学部材を介して撮像素子により撮像することで撮像画像を得る撮像装置である。
【0029】
A/D変換器16は、撮像素子14から出力されるアナログ信号をデジタル信号に変換する。タイミング発生回路18は、撮像素子14、A/D変換器16及びD/A変換器26にクロック信号や制御信号を供給する。また、タイミング発生回路18は、メモリ制御回路22及びシステム制御回路50によって制御される。
【0030】
画像処理回路20は、A/D変換器16からのデータあるいはメモリ制御回路22からのデータに対して所定の画素補間処理や色変換処理を行う。画像処理回路20は必要に応じて撮像画像を用いて所定の演算処理を行う。
【0031】
そして、画像処理回路20は、得られた演算結果に基づき、システム制御回路50がシャッタ制御部40及び測距制御部42を制御するためのTTL方式のAF処理、AE処理及びEF処理を行う。なお、TTLはスルー・ザ・レンズ、AFはオートフォーカス、AEは自動露出、EFはフラッシュ調光をそれぞれ示す。
【0032】
また、画像処理回路20は、撮像画像を用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理を行う。なお、本実施の形態では、測距制御部42及び測光制御部46を専用に備えているので、システム制御回路50は、測距制御部42及び測光制御部46を用いてAF処理、AE処理、EF処理の各処理を行うようにする。そして、画像処理回路20を用いてAF処理、EF処理の各処理を行わない構成としても良い。
【0033】
メモリ制御回路22は、A/D変換器16、タイミング発生回路18、画像処理回路20、画像表示メモリ24、D/A変換器26、メモリ30及び圧縮・伸長回路32を制御する。
【0034】
A/D変換器16からのデータは、画像処理回路20及びメモリ制御回路22を介して、画像表示メモリ24あるいはメモリ30に書き込まれる。または、A/D変換器16からのデータは、直接、メモリ制御回路22を介して画像表示メモリ24あるいはメモリ30に書き込まれる。
【0035】
画像表示部28はTFT方式のLCDからなる。画像表示メモリ24に書き込まれた表示用の画像はD/A変換器26を介して画像表示部28に表示される。撮像画像を画像表示部28で逐次表示する場合、電子ファインダ機能を実現することが可能である。
【0036】
また、画像表示部28はシステム制御回路50の表示に従って表示のON/OFFを任意に行うことが可能であり、表示をOFFにした場合、画像処理装置100の電力消費を大幅に低減することができる。
【0037】
メモリ30は、撮像された静止画像や動画像を格納する。このメモリ30は、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶容量を有している。従って、複数毎の静止画像を連続して撮像する連写撮像やパノラマ撮像の場合にも、高速かつ大量の画像書き込みをメモリ30に対して行うことが可能である。また、メモリ30はシステム制御回路50の作業領域としても使用することが可能である。
【0038】
圧縮・伸長回路32は適応離散コサイン変換(ADCT)などにより画像を圧縮伸張する。この圧縮・伸長回路32は、メモリ30に格納された画像を読み込んで圧縮処理あるいは伸長処理を行い、処理を終えたデータをメモリ30に書き込む。
【0039】
シャッタ制御部40は、測光制御部46からの測光情報に基づいて絞り312を制御する絞り制御部340と連携しながらシャッタ12を制御する。測距制御部42は、AF処理を行う。レンズユニット300内の撮像レンズ310に入射した光線が、さらに絞り312、レンズマウント306,106、ミラー130及び測距用サブミラー(図示せず)を介して一眼レフ方式で入射される。この入射された光線により光学像として結像された画像の合焦状態を測距制御部42は測定する。
【0040】
温度計44は、撮像環境における周囲温度を検出する。温度計44が撮像素子(センサ)14内にある場合、センサの暗電流をより正確に予想することが可能である。
【0041】
測光制御部46はAE処理を行う。測光制御部46は、測距制御部42と同様に、入射された光線により光学像として結像された画像の露出状態を測定する。また、測光制御部46はフラッシュ部48と連携することにより、EF(フラッシュ調光)処理機能も有する。フラッシュ部48は、AF補助光の投光機能及びフラッシュ調光機能を有する。
【0042】
なお、システム制御回路50は、シャッタ制御部40、絞り制御部340、測距制御部342に対し、ビデオTTL方式を用いた露出制御及びAF制御を行うことが可能である。このシステム制御回路50による制御は、撮像素子14によって撮像画像を用いて画像処理回路20により演算された演算結果に基づいて行われる。
【0043】
また、測距制御部42による測定結果と、撮像素子14によって撮像画像を画像処理回路20によって演算した演算結果とを用いて、AF制御を行うようにしてもよい。
【0044】
さらに、測光制御部46による測定結果と、撮像素子14によって撮像画像を画像処理回路20によって演算した演算結果とを用いて露出制御を行うようにしてもよい。
【0045】
システム制御回路50は、画像処理装置100全体を制御し、CPUなどを内蔵する。メモリ52は、システム制御回路50の動作用の定数、変数、プログラムなどを記憶する。
【0046】
表示部54はシステム制御回路50でのプログラムの実行に応じて、文字、画像、音声などで動作状態やメッセージなどを表示する液晶表示装置、スピーカなどを有する。具体的に、表示部54は、LCD、LED、発音素子などの組合わせにより構成されている。この表示部54は、画像処理装置100の操作部近辺の視認し易い単数あるいは複数箇所に設置されている。また、表示部54の一部の機能は光学ファインダ104内に設けられている。
【0047】
表示部54の表示内容のうち、LCDなどに表示するものとしては、シングルショット/連写撮像表示、セルフタイマ表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮像可能枚数表示、及びシャッタスピード表示がある。さらに、表示部54の表示内容には、絞り値表示、露出補正表示、フラッシュ表示、赤目緩和表示、マクロ撮像表示、ブザー設定表示、時計用電池残量表示、電池残量表示、及びエラー表示がある。さらに、表示部54の表示内容には複数桁の数字による情報表示、記録媒体200、210の着脱状態表示、レンズユニット300の着脱状態表示、通信I/F動作表示、日付・時刻表示、外部コンピュータとの接続状態を示す表示などがある。
【0048】
また、表示部54の表示内容のうち、光学ファインダ104内に表示するものとしては、合焦表示、撮像準備完了表示、及び手振れ警告表示がある。さらに表示部54の表示内容には、フラッシュ充電表示、フラッシュ充電完了表示、シャッタスピード表示、絞り値表示、露出補正表示、記録媒体書き込み動作表示などがある。
【0049】
また、表示部54の表示内容のうち、LED等に表示するものとしては、例えば、合焦表示、撮像準備完了表示、手振れ警告表示、及びフラッシュ充電表示がある。さらに表示部54の表示内容には、フラッシュ充電完了表示、記録媒体書き込み動作表示、マクロ撮像設定通知表示、二次電池充電表示などがある。
【0050】
また、表示部54の表示内容のうち、ランプ等に表示するものとしては、例えば、セルフタイマ通知ランプ等がある。このセルフタイマ通知ランプはAF補助光と共用してもよい。
【0051】
不揮発性メモリ56は、後述するプログラムなどが格納された電気的に消去・記録可能であり、不揮発性メモリ56としてEEPROMなどが用いられる。この不揮発性メモリ56には、各種パラメータやISO感度などの設定値、設定モード、及び欠陥画素の位置とレベルのデータが格納される。この欠陥画素の位置とレベルのデータは、生産工程において、調整時あるいは検査時に作成されて書き込まれる。この欠陥画素の位置とレベルのデータの作成方法としては、例えばダーク撮像を行って得られた画像の所定レベル以上の出力を持つ画素を抽出することによりデータとする方法等が考えられる。
【0052】
モードダイアルスイッチ60は、各機能撮像モードを切り替えて設定するためのものである。上記各機能撮像モードとして、自動撮像モード、プログラム撮像モード、シャッタ速度優先撮像モード、絞り優先撮像モード、及びマニュアル撮像モードがある。さらに、各機能撮像モードとして、焦点深度優先(デプス)撮像モード、ポートレート撮像モード、風景撮像モード、接写撮像モード、スポーツ撮像モード、夜景撮像モード、パノラマ撮像モードなどもある。
【0053】
シャッタスイッチ(SW1)62は、シャッタボタン(図示せず)の操作途中でONとなり、AF処理、AE処理、AWB処理、EF処理などの動作開始を指示する。
【0054】
シャッタスイッチ(SW2)64は、シャッタボタン(図示せず)の操作完了でONとなる。このシャッタスイッチ(SW2)64は、一連の処理の動作開始を指示するスイッチである。具体的には、シャッタスイッチ(SW2)64により、撮像素子14から読み出した信号をA/D変換器16、メモリ制御回路22を介してメモリ30に画像を書き込む露光処理が行われる。そして、画像処理回路20やメモリ制御回路22での演算を用いた現像処理、メモリ30から画像を読み出し、圧縮・伸長回路32で圧縮が行われ、記録媒体200、210に画像を書き込む記録処理が行われる。
【0055】
再生スイッチ66は、撮像モード状態で撮像画像をメモリ30あるいは記録媒体200,210から読み出して画像表示部28に表示する再生動作の開始を指示する。
【0056】
単写/連写スイッチ68は、シャッタスイッチ(SW2)64が押された場合、1コマの撮像を行って待機状態とする単写モードと、シャッタスイッチ(SW2)64が押されている間、連続して撮像を行い続ける連写モードとを設定可能である。
【0057】
ISO感度設定スイッチ69は、撮像素子14あるいは画像処理回路20におけるゲインの設定を変更することによりISO感度を設定できる。
【0058】
各種ボタンやタッチパネルなどからなる操作部70は、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、及び単写/連写/セルフタイマ切替ボタンがある。
【0059】
また、操作部70は、メニュー移動+(プラス)ボタン、メニュー移動−(マイナス)ボタン、再生画像移動+(プラス)ボタン、再生画像−(マイナス)ボタン、撮像画質選択ボタン、及び露出補正ボタンがある。
【0060】
さらに、操作部70は、日付/時間設定ボタン、パノラマモード等の撮像及び再生を実行する際に各種機能の選択及び切り替えを設定する選択/切り替えボタンがある。また、操作部70は、パノラマモード等の撮像及び再生を実行する際に各種機能の決定及び実行を設定する決定/実行ボタンがある。また、操作部70は、画像表示部28のON/OFFを設定する画像表示ON/OFFスイッチ、撮像直後に撮像画像を自動再生するクイックレビュー機能を設定するクイックレビューON/OFFスイッチがある。
【0061】
さらに、操作部70は、JPEG圧縮の圧縮率を選択するため、あるいは撮像素子の信号をそのままデジタル化して記録媒体に記録するCCDRAWモードを選択するためのスイッチである圧縮モードスイッチがある。また、操作部70は、再生モード、マルチ画面再生・消去モード、PC接続モード等の各機能モードを設定可能な再生スイッチがある。また、操作部70は、ワンショットAFモードとサーボAFモードとを設定可能なAFモード設定スイッチなどがある。なお、ワンショットAFモードとは、シャッタスイッチ(SW1)62をユーザが押した際にオートフォーカス動作を開始し、一旦合焦した場合、その合焦状態を保ち続けるモードである。また、サーボAFモードとは、シャッタスイッチ(SW1)62をユーザが押している間、連続してオートフォーカス動作を続けるモードである。
【0062】
また、上記プラスボタン及びマイナスボタンの各機能は、回転ダイアルスイッチを備えることによって、より軽快に数値や機能を選択することが可能となる。
【0063】
電源スイッチ72は、画像処理装置100の電源オン、電源オフの各モードを切り替え設定可能である。また、画像処理装置100に接続されたレンズユニット300、外部ストロボ、記録媒体200、210等の各種付属装置の電源オン、電源オフの設定も合わせて切り替え設定可能である。
【0064】
電源制御部80は、電池検出回路、DC−DCコンバータ、通電するブロックを切り替えるスイッチ回路などから構成されている。この電源制御部80は、電池の装着の有無、電池の種類、電池残量の検出を行う。そして、電源制御部80は、その検出結果及びシステム制御回路50の指示に基づいてDC−DCコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部に供給する。
【0065】
コネクタ82,84は、電源制御部80と電源部86とを接続する。電源部86はアルカリ電池やリチウム電池などの一次電池、NiCd電池、NiMH電池、Li電池などの二次電池、ACアダプタなどからなる。
【0066】
インターフェース90,94は、メモリカードやハードディスク等の記録媒体200,210とのインターフェースである。コネクタ92,96は、メモリカードやハードディスクなどの記録媒体との接続を行う。
【0067】
記録媒体着脱検知部98は、コネクタ92,96に記録媒体200,210が装着されているか否かを検知する。
【0068】
なお、本実施の形態では、記録媒体を取り付けるインターフェース及びコネクタが2系統装備されているが、記録媒体を取り付けるインターフェース及びコネクタは単数あるいは任意の数の系統数だけ装備されていてもよい。
【0069】
また、異なる規格のインターフェース及びコネクタとして、PCMCIAカードやCF(コンパクトフラッシュ(登録商標))カードなどの規格に準拠したものを用いてもよい。
【0070】
さらに、インターフェース90,94、コネクタ92,96をPCMCIAカードやCFカードなどの規格に準拠したものを用いて構成した場合、他のコンピュータやプリンタなどの周辺機器との間で画像を相互に転送することが可能である。さらに、画像に付属した管理情報を相互に転送することが可能である。
【0071】
この場合、LANカード、モデムカード、USBカード、IEEE1394カード、P1284カード、SCSIカード、PHSなどの通信カードなどの各種通信カードを接続することとなる。
【0072】
光学ファインダ104は、撮像レンズ310に入射した光線を、一眼レフ方式によって、絞り312、レンズマウント306、106、ミラー130、132を介して導き、光学像として結像させて表示することが可能である。
【0073】
これにより、画像表示部28による電子ファインダ機能を使用することなく、光学ファインダ104だけを用いて撮像を行うことが可能である。
【0074】
また、光学ファインダ104内には、表示部54の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタスピード表示、絞り値表示、露出補正表示などが設けられている。
【0075】
通信部110は、RS232C、USB、IEEE1394、P1284、SCSI、モデム、LAN、無線通信などの各種通信機能を有する。
【0076】
コネクタ112は通信部110により画像処理装置100を他の機器と接続する。このコネクタ112を、無線通信を行う場合のアンテナとしてもよい。
【0077】
インターフェース120は、レンズマウント106内で画像処理装置100をレンズユニット300と接続するためのインターフェースである。
【0078】
コネクタ122は画像処理装置100をレンズユニット300と電気的に接続する。また、不図示であるが、レンズマウント106及び/またはコネクタ122にレンズユニット300が装着されているか否かを検知するレンズ着脱検知部が設けられている。
【0079】
コネクタ122は画像処理装置100とレンズユニット300との間で制御信号、状態信号、データ信号などを伝え合うと共に、各種電圧の電流を供給する機能も備えている。また、コネクタ122は電気通信だけでなく、光通信、音声通信などを伝達する構成としてもよい。
【0080】
ミラー130、132は、撮像レンズ310に入射した光線を、一眼レフ方式によって光学ファインダ104に導く。ミラー132はクイックリターンミラーの構成にしてもハーフミラーの構成にしてもどちらでもよい。
【0081】
記録媒体200はメモリカードやハードディスクなどである。記録媒体200は、半導体メモリや磁気ディスクなどから構成される記録部202、画像処理装置100とのインターフェース204、及び画像処理装置100との接続を行うコネクタ206を有している。
【0082】
記録媒体210は、記録媒体200と同様、メモリカードやハードディスクなどである。記録媒体210は、半導体メモリや磁気ディスク等から構成される記録部212、画像処理装置100とのインターフェース214、及び画像処理装置100との接続を行うコネクタ216を有している。
【0083】
レンズユニット300は、交換レンズタイプのレンズユニットである。レンズマウント306はレンズユニット300を画像処理装置100と機械的に結合する。レンズマウント306内には、レンズユニット300を画像処理装置100と電気的に接続する各種機能が含まれている。
【0084】
また、レンズユニット300は、撮像レンズ310、及び絞り312を有する。インターフェース320はレンズマウント306内でレンズユニット300を画像処理装置100と接続するためのインターフェースである。
【0085】
コネクタ322はレンズユニット300を画像処理装置100と電気的に接続する。コネクタ322は画像処理装置100とレンズユニット300との間で制御信号、状態信号、データ信号などを伝え合うと共に、各種電流が供給され、あるいは電流を供給する機能を備えている。また、コネクタ322は電気信号だけでなく、光信号、音声信号などを伝達する構成としてもよい。
【0086】
絞り制御部340は測光制御部46からの測光情報に基づいて、シャッタ12を制御するシャッタ制御部40と連携しながら、絞り312を制御する。測距制御部342は撮像レンズ310のフォーカシングを制御する。ズーム制御部344は撮像レンズ310のズーミングを制御する。
【0087】
レンズシステム制御回路350はレンズユニット300全体を制御する。レンズシステム制御回路350は、不揮発メモリの機能も備えている。この機能により、動作用の定数、変数、プログラムなどを記憶するメモリやレンズユニット300固有の番号などの識別情報、管理情報、開放絞り値や最小絞り値、焦点距離等の機能情報、現在や過去の各設定値などが保持されている。
【0088】
図2は、図1における不揮発性メモリ56に記憶されたキズデータの一例を示す図である。
【0089】
図2において、「No.」は、キズデータの通し番号である。「アドレス[X]」は、画像サイズを(X×Y)としたときのX座標を示し、「アドレス[Y]」はY座標を示す。「キズ補正レベル」は、キズである欠陥画素の出力レベルをmVで表現したものであり、欠陥の度合いを示すレベルである。「キズの種類」は、キズの種類を示し、例えば白は白キズを示し、黒は黒キズを示している。このキズデータは、撮像素子に起因して生じる欠陥画素の撮像画像における位置と欠陥の度合いを示すレベルとが対応付けられた欠陥情報に対応する。また、不揮発性メモリ56は、第1記憶手段に対応する。
【0090】
撮像素子14は、その出荷時に、所定の環境温度、所定の電荷蓄積時間に得られた画像により、各種のキズが抽出される。これらのキズ画素は、種別、アドレス、キズレベルが記載された工場出荷時データをもとに、図2に示されるキズデータを成形する。この処理は画像処理装置100の外部で行われる。従って、キズデータは、撮像装置1の出荷前に不揮発性メモリ56に記憶されるようになっている。
【0091】
具体的には、撮像状況に応じて補正処理が必要な撮像素子14の白キズの判別を行う。これとは別に、撮像時に、撮像画像より欠陥画素の抽出を行っても良い。撮像時に行うことによって、時々発生するタイプの欠陥画素も補正することができる。
【0092】
白キズの多くは撮像素子14の電荷蓄積時間に応じてレベルが大きくなる傾向がある。また、同じレベルの白キズであっても、設定されたISO感度によっても、画像となった場合のキズのレベルが変わってしまう。上記ISO感度は、撮像素子14のゲイン及び画像処理回路20のゲインにより定まる。
【0093】
更に、撮像に用いたレンズの特性による画像周辺部の光量低下分に対してゲインをかける周辺光量補正の場合も、同様に画像となった場合のキズのレベルが変わってしまう。すなわち、周辺光量補正を行う場合、補正するキズのレベルを一律にすると、周辺部のみキズが残ってしまうということになる。そこで、画像の中心からの位置(距離)によって補正するキズのレベルを変える必要がある。
【0094】
図3は、図1におけるメモリ52に記憶されたキズレベル設定テーブルであり、画像の位置によって補正するキズレベル設定テーブルを示している。
【0095】
図3においても、画像サイズを(X×Y)としており、X,X1,X2,Y,Y1,Y2はそれぞれ座標を示している。
【0096】
図4は、図3に示される領域を示す図である。
【0097】
図4に示されるように、撮像画像を9つの領域に分割し、図3に示されるように各々の領域にキズレベルを定めておく。
【0098】
例えば、図4における領域1は、0≦x<X1かつ0≦y<Y1の領域であり、補正するキズレベルはLEVEL3となる。領域2から領域9までも同様である。
【0099】
図5は、図1におけるメモリ52に記憶された図3におけるキズレベルとそのレベルに対応したキズ補正レベルを示す図である。
【0100】
図5に示されるように、キズ補正レベルをLEVEL1、LEVEL2、LEVEL3の3段階設定し、各補正レベルはそれぞれ、100mV以上、50mV以上、25mV以上とする。
【0101】
つまり、出力に対し、ゲインをかける画像周辺部は補正するキズレベルを低く、ゲインをかけない中心はキズレベルを高く設定する。なお、本実施の形態では、領域を9つに分けたがこれに限らない。また、周辺光量補正を行わない場合は、全領域LEVEL1にキズ補正レベルを設定する。
【0102】
また、周辺光量低下特性はレンズの種類によって異なる。従って、図3に示したキズレベル設定テーブルは装着するレンズに記憶させてもよい。またはレンズの瞳距離によって持たせても良い。
【0103】
さらに、キズ補正レベルのLEVEL1〜LEVEL3の値は、電荷蓄積時間やISO感度といった撮像条件によって適宜設定することが望ましい。すなわち、蓄積時間が長いほど、またISO感度が高いほどキズ補正レベルは低く設定するようにする。
【0104】
上記キズレベル設定テーブル、及びキズ補正レベルは、システム制御回路50の内部メモリに記憶するようにしてもよい。
【0105】
このように、図3のキズレベル設定テーブルは、撮像画像に対し行われるゲイン補正に応じて定まるとともに、撮像画像を複数の領域に分割することで得られた各領域ごとに、レベルと比較するための閾値が設定された設定情報に対応する。ここで、閾値は、LEVEL1,LEVEL2,LEVEL3である。また、図2のキズ補正レベルに応じて図5によりレベルが定まり、このレベルは後述するように閾値と比較されることとなる。また、メモリ52は、第2記憶手段に対応する。
【0106】
図6は、図1におけるシステム制御回路50により実行される撮像全体処理(その1)の手順を示すフローチャートである。
【0107】
この撮像処理を動作させるためのプログラムは不揮発性メモリ56などの記録媒体に格納されており、メモリ52にロードされてシステム制御回路50内のCPUによって実行される。
【0108】
電池交換などの電源投入により、システム制御回路50はフラグや制御変数等を初期化し、画像処理装置100の各部に対して必要な所定の初期設定を行う(ステップS101)。
【0109】
システム制御回路50は、電源スイッチ72の設定位置を判別し、電源スイッチ72が電源OFFに設定されているか否かを判別する(ステップS102)。電源スイッチ72が電源OFFに設定されているとき(ステップS102でNO)、終了処理を行った後(ステップS103)、ステップS102の処理に戻る。なお、上記終了処理とは、各表示部の表示を終了状態に変更し、フラグや制御変数などを含む必要なパラメータや設定値、設定モードを不揮発性メモリ56に記録する。そして、電源制御部80により画像表示部28を含む画像処理装置100各部の不要な電源を遮断するなどの処理である。
【0110】
一方、電源スイッチ72が電源ONに設定されていたとき(ステップS102でYES)、電源がOKか否かを判別する(ステップS104)。電源がOKか否かとは、電源制御部80により電池などの電源部86の残容量や動作状況が画像処理装置100の動作に問題があるか否かということである。
【0111】
問題があると判別されたとき(ステップS104でNO)、表示部54に画像の表示や音声の出力により所定の警告を行った後(ステップS105)、ステップS102の処理に戻る。
【0112】
一方、電源部86に問題がないと判別されたとき(ステップS105でYES)、システム制御回路50はモードダイアルスイッチ60の設定位置を判断し、モードダイアルスイッチ60が撮像モードに設定されているか否かを判別する(ステップS106)。
【0113】
モードダイアルスイッチ60がその他のモードに設定されているとき(ステップS106でNO)、システム制御回路50は選択されたモードに応じた処理を実行し(ステップS107)、実行後にステップS102の処理に戻る。
【0114】
一方、モードダイアルスイッチ60が撮像モードに設定されているとき(ステップS106でYES)、記録媒体200,210がOKか否か判別する(ステップS108)。記録媒体200,210がOKか否かとは、記録媒体200,210が装着されているか否かの判断がまず行われる。そして、記録媒体200、210に記録された画像の管理情報の取得、及び記録媒体200、210の動作状態が画像処理装置100の動作、特に記録媒体に対する画像の記録再生動作に問題があるか否かということである。
【0115】
記録媒体200,210に問題があると判別されたとき(ステップS108でNO)、表示部54に画像の表示や音声の出力により所定の警告を行った後(ステップS105)、ステップS102の処理に戻る。
【0116】
一方、ステップS108で問題がないと判別されたとき(ステップS108でYES)、システム制御回路50は表示部54を用いて画像や音声により画像処理装置100の各種設定状態の表示する設定表示を行う(ステップS109)。
【0117】
ここで、画像表示部28の画像表示スイッチがONである場合、画像表示部28を用いて画像や音声により画像処理装置100の各種設定状態を表示するようにしてもよい。
【0118】
図7は、図1におけるシステム制御回路50により実行される撮像全体処理(その2)の手順を示すフローチャートである。
【0119】
図7において、シャッタスイッチ(SW1)62が押されているか否かを判別し(ステップS121)、シャッタスイッチ(SW1)62が押されていないとき(ステップS121でNO)、ステップS102の処理に戻る。
【0120】
一方、シャッタスイッチ(SW1)62が押されているとき(ステップS121でYES)、システム制御回路50は、測距・測光処理を行う(ステップS122)。測光処理では、必要であればフラッシュの設定を行う。測距・測光処理では、測距処理を行って撮像レンズ310の焦点を被写体に合わせ、測光処理を行って絞り値及びシャッタ速度を決定するする。
【0121】
そして、シャッタスイッチ(SW2)64が押されているか否かを判別し(ステップS132)、シャッタスイッチ(SW2)64が押されていないとき(ステップS132でNO)、以下の処理を行う。すなわち、さらにシャッタスイッチ(SW1)62が離されたか否かを判別する(ステップS133)。こうしてシャッタスイッチ(SW1)62が離されるかシャッタスイッチ(SW2)64が押されるまでステップS132及びステップS133の処理を繰り返す。
【0122】
ステップS133でシャッタスイッチ(SW1)62が離されたとき(ステップS133でNO)、ステップS102の処理に移行する。
【0123】
一方、ステップS132でシャッタスイッチ(SW2)64が押されたとき(ステップS132でYES)、システム制御回路50は、撮像画像の記憶可能な画像記憶バッファ領域がメモリ30にあるか否かを判別する(ステップS134)。
【0124】
メモリ30の画像記憶バッファ領域内に新たな画像の記憶可能な領域がないと判別されたとき(ステップS134でNO)、表示部54に画像の表示や音声の出力により所定の警告を行った後(ステップS135)、ステップS102の処理に戻る。
【0125】
新たな画像の記憶可能な領域がない例として、メモリ30の画像記憶バッファ領域内に記憶可能な最大枚数の連写撮像を行った直後の状態が挙げられる。具体的には、メモリ30から読み出して記録媒体200、210に書き込むべき最初の画像がまだ記録媒体200、210に未記録な状態である。この状態は、まだ1枚の空き領域もメモリ30の画像記憶バッファ領域上に確保できない状態である。
【0126】
なお、撮像画像を圧縮処理してからメモリ30の画像記憶バッファ領域に記憶する場合、以下の判断がされる。まず圧縮した後の画像のデータ量が圧縮モードの設定に応じて異なることを考慮して、記憶可能な領域がメモリ30の画像記憶バッファ領域上にあるか否かをステップS134の処理で判断することになる。
【0127】
一方、ステップS134でメモリ30に撮像画像の記憶可能な画像記憶バッファ領域があると判別されたとき(ステップS134でYES)、システム制御回路50は、撮像して所定時間蓄積した撮像信号を撮像素子14から読み出す。そして、A/D変換器16、画像処理回路20及びメモリ制御回路22を介して、またはA/D変換器16から直接、メモリ制御回路22を介して、メモリ30の所定領域に撮像画像を書き込む撮像処理を実行する(ステップS136)。この撮像処理の詳細については、後述する。
【0128】
次いで、システム制御回路50は、図3に示したキズ補正テーブルのデータを使って欠陥画素補正を行う(ステップS139)。欠陥画素補正処理の詳細については後述する。
【0129】
次に現像処理(ステップS140)を行う。このとき、システム制御回路50は、まずメモリ30の所定領域に書き込まれた画像の一部をメモリ制御回路22を介して読み出す。そして、現像処理を行うために必要なWB(ホワイトバランス)積分演算処理、OB(オプティカルブラック)積分演算処理を行い、演算結果をシステム制御回路50の内部メモリあるいはメモリ52に記憶する。
【0130】
そして、システム制御回路50は、メモリ制御回路22、必要に応じて画像処理回路20を用いて、メモリ30の所定領域に書き込まれた撮像画像を読み出す。次いで、システム制御回路50の内部メモリあるいはメモリ52に記憶した演算結果を用いて、AWB(オートホワイトバランス)処理、ガンマ変換処理、色変換処理を含む各種現像処理を行う。また、周辺光量補正もここで行う。
【0131】
次いで、システム制御回路50は、まずメモリ30の所定領域に書き込まれた画像を読み出す。そして、設定されたモードに応じた画像圧縮処理を圧縮・伸長回路32により行い(ステップS141)、メモリ30の画像記憶バッファ領域の空き画像部分に、撮像して一連の処理を終えた画像の書き込みを行う。
【0132】
そして、システム制御回路50は、メモリ30の画像記憶バッファ領域に記憶された画像を読み出す。次いで、インターフェース90、94、コネクタ92、96を介して、メモリカードやコンパクトフラッシュ(登録商標)カード等の記録媒体200、210に読み出した画像を書き込む記録処理を開始する(ステップS142)。この記録開始処理は、メモリ30の画像記憶バッファ領域の空き画像部分に、撮像して一連の処理を終えた画像の書き込みが新たに行われる度に、その画像に対して実行される。
【0133】
なお、記録媒体200、210に画像の書き込みを行っている間、書き込み動作中であることを示すために、表示部54に例えばLEDを点滅させる等の記録媒体書き込み動作表示を行う。
【0134】
さらに、システム制御回路50は、シャッタスイッチ(SW1)62が押された状態か否かを判別する(ステップS143)。シャッタスイッチ(SW1)62が離された状態であるとき(ステップS143でNO)、ステップS102の処理に戻る。
【0135】
一方、シャッタスイッチ(SW1)62が押された状態であるとき(ステップS143でYES)、単写が設定されていた場合、ステップS132の処理に戻り、シャッタスイッチ(SW1)62が離されるまで現在の処理を繰り返す。これにより、撮像に関する一連の処理が終了する。
【0136】
図8は、図7のステップS136における撮像処理の手順を示すフローチャートである。
【0137】
この撮像処理では、システム制御回路50と、絞り制御部340または測距制御部342との間の各種信号のやり取りは、インターフェース120、コネクタ122、コネクタ322、インターフェース320及びレンズシステム制御回路350を介して行われる。
【0138】
システム制御回路50は、ミラー130をミラー駆動部(図示せず)によってミラーアップ位置に移動させる(ステップS301)。そして、システム制御回路50の内部メモリあるいはメモリ52に記憶された測光データに従い、絞り制御部340によって絞り312を所定の絞り値まで駆動する(ステップS302)。
【0139】
システム制御回路50は、撮像素子14の電荷クリア動作を行った後(ステップS303)、撮像素子14の電荷蓄積を開始する(ステップS304)。そして、シャッタ制御部40によってシャッタ12を開き(ステップS305)、撮像素子14の露光を開始する(ステップS306)。
【0140】
次いで、フラッシュフラグによりフラッシュ部48が必要であるか否かを判別し(ステップS307)、必要であるとき(ステップS307でYES)、フラッシュ部48を発光させる(ステップS308)。
【0141】
システム制御回路50は、測光データに従って撮像素子14の露光終了を待ち(ステップS309)、露光が終了すると(ステップS309でYES)、シャッタ制御部40によってシャッタ12を閉じ(ステップS310)、撮像素子14の露光を終了する。
【0142】
次いで、システム制御回路50は、絞り制御部340によって絞り312を開放の絞り値まで駆動し(ステップS311)、ミラー130をミラー駆動部(図示せず)によってミラーダウン位置に移動させる(ステップS312)。
【0143】
設定した電荷蓄積時間が経過したか否かを判別し(ステップS313)、設定した電荷蓄積時間が経過したとき(ステップS313でYES)、システム制御回路50は撮像素子14の電荷蓄積を終了する(ステップS314)。
【0144】
その後、撮像素子14から撮像信号を読み出し(ステップS315)、A/D変換器16、画像処理回路20、メモリ制御回路22を介して、またはA/D変換器16から直接、メモリ制御回路22を介してメモリ30の所定領域に撮像画像を書き込む。一連の処理を終了すると、本処理を終了してメインの処理に復帰する。
【0145】
図9は、図7のステップS139におけるキズ補正処理の手順を示すフローチャートである。
【0146】
図9において、画像処理装置100のシステム制御回路50は、補正対象画素指定処理を行う(ステップS501)。
【0147】
具体的に、システム制御回路50は、レンズ条件(レンズの種類、瞳距離、絞り値)に応じて区分される複数の条件に応じて、キズ補正処理の対象とする画素を指定することで、補正する欠陥画素が決定される。
【0148】
ここではレンズ条件に関してのみ記載しているが、その他の撮像条件(撮像素子14の電荷蓄積時間、ISO感度)、または撮像環境(温度)も加味してキズ補正レベルを設定して、処理を行うキズ補正データを指定するとより好適である。
【0149】
次いで、補正対象画素に対応するアドレスを読み込み(ステップS502)、メモリ30の所定領域に書き込まれた撮像画像の対応する画素に対し、隣接する同色画素の撮像画像を用いて点キズ補正処理を行う。
【0150】
ここでは、システム制御回路50は、選択したキズ補正データの先頭から1画素分のキズアドレスを読み込み、このアドレス情報を参照し、メモリ30に書き込まれた撮像画像における該当する欠陥画素のアドレスを特定することが可能である。
【0151】
次に、システム制御回路50は、補正対象画素に隣接する同色画素の値を読み込む(ステップS503)。そして、システム制御回路50はステップS503で得られた隣接画素の値から、補正対象画素の補正量を算出する(ステップS504)。
【0152】
続いて、システム制御回路50は、ステップS504で算出した補正対象画素の補正量を、メモリ30における該当アドレスに書き込む(ステップS505)。これにより、補正対象画素の補正処理は完了する。上記ステップS503〜505は、補正することが決定された欠陥画素を補正する補正手段に対応する。また、ここでは、光学部材の瞳距離、又は絞り値に応じて欠陥画素を補正するようにしてもよい。
【0153】
そして、システム制御回路50は、指定された補正対象画素の補正処理が全て終了したか否か判別する(ステップS506)。
【0154】
ステップS506の判別の結果、補正処理が全て終了したとき(ステップS506でYES)、本処理を終了する。一方、補正処理が全て終了していないとき(ステップS506でNO)、上記ステップS502に戻り、次の補正対象画素のアドレスを読み込み、以下同様の処理を繰り返す。
【0155】
図10は、図9のステップS501の補正対象画素指定処理の手順を示すフローチャートである。
【0156】
図10において、システム制御回路50、撮像条件を確認する(ステップS701)。この撮像条件には、ISO感度の設定値(例えば100、200、400、800)、及びシャッタ速度(電荷蓄積時間)がある。次いで、装着しているレンズ条件(レンズの種類、瞳距離)を確認する(ステップS702)。
【0157】
ステップS701とステップS702の条件から図3に示すキズレベル設定テーブルを選択する(ステップS703)。すなわち、条件に対応させて、複数のキズレベル設定テーブルが記憶されているので、その中から条件に適合したものが選択される。このように、撮像素子14による撮像条件に応じた複数の欠陥情報が記憶されている。
【0158】
続いて、図2のキズデータをスキャンし、欠陥画素の読み出しを行う(ステップ704)。このステップS704は、記憶された欠陥画素の位置、及びレベルを取得する取得手段に対応する。
【0159】
欠陥画素のアドレスを参照し、その欠陥画素が画像中の領域1,3,7,9のいずれかの領域内の画素か否かを判別する(ステップS705)。
【0160】
ステップS705の判別の結果、欠陥画素が画像中の領域1,3,7,9のいずれかの領域内の画素とき(ステップS705でYES)、その欠陥画素のキズレベルがLEVEL3以上か否か判別する(ステップS706)。
【0161】
ステップS706の判別の結果、キズレベルがLEVEL3以上のとき(ステップS706でYES)、欠陥画素を補正対象画素とし、そのアドレスを読み出し(ステップS711)、ステップS712に進む。
【0162】
一方、ステップS706の判別の結果、キズレベルがLEVEL3未満のとき(ステップS706でNO)、ステップS712に進む。
【0163】
上記ステップS705の判別の結果、欠陥画素が画像中の領域1,3,7,9のいずれかの領域内の画素ではないとき(ステップS705でNO)、欠陥画素が画像中の領域2,4,6,8のいずれかの領域内の画素か否かを判別する(ステップS707)。
【0164】
ステップS707の判別の結果、欠陥画素が画像中の領域2,4,6,8のいずれかの領域内の画素とき(ステップS707でYES)、その欠陥画素のキズレベルがLEVEL2以上か否か判別する(ステップS708)。
【0165】
ステップS708の判別の結果、キズレベルがLEVEL2以上のとき(ステップS708でYES)、欠陥画素を補正対象画素とし、そのアドレスを読み出し(ステップS711)、ステップS712に進む。このステップS705〜711は、取得された欠陥画素の位置及びレベルから、設定情報により当該欠陥画素がある領域に設定された閾値と、欠陥画素のレベルとを比較することにより、当該欠陥画素を補正するか否かを決定する決定手段に対応する。
【0166】
一方、ステップS708の判別の結果、キズレベルがLEVEL2未満のとき(ステップS708でNO)、ステップS712に進む。
【0167】
上記ステップS707の判別の結果、欠陥画素が画像中の領域2,4,6,8のいずれかの領域内の画素ではないとき(ステップS707でNO)、欠陥画素が画像中の領域5内の画素か否かを判別する(ステップS709)。
【0168】
ステップS709の判別の結果、欠陥画素が画像中の領域5内の画素とき(ステップS709でYES)、その欠陥画素のキズレベルがLEVEL1以上か否か判別する(ステップS710)。
【0169】
ステップS710の判別の結果、キズレベルがLEVEL1以上のとき(ステップS710でYES)、欠陥画素を補正対象画素とし、そのアドレスを読み出し(ステップS711)、ステップS712に進む。
【0170】
一方、ステップS708の判別の結果、キズレベルがLEVEL2未満のとき(ステップS708でNO)、ステップS712に進む。
【0171】
上記ステップS709の判別の結果、欠陥画素が画像中の領域5内の画素ではないとき(ステップS709でNO)、全てのキズデータスキャンが終了したか否か判別する(ステップS712)。
【0172】
ステップS712の判別の結果、全てのキズデータスキャンが終了したとき(ステップS712でYES)、本処理を終了し、全てのキズデータスキャンが終了していないとき(ステップS712でNO)、ステップS705に戻る。以上より、撮像画像における補正対象画素の指定は完了となる。
【0173】
以上、レンズ情報に応じて画像内の領域によってキズ補正レベルを変えることにより、周辺光量補正といった特定の領域のみにゲインをかける補正を行った場合にも、キズ補正残りを生じることなく欠陥画素の補正を行うことができる。
【0174】
また、ゲイン補正を行う領域にのみ、キズ補正レベルを下げるといったことをしているので、補正する欠陥画素の個数を最適に決定することができ、過補正になることも防ぐことができる。
【0175】
なお、本実施の形態では欠陥画素の情報は予め工場出荷時データをもとに成形していたが、撮像画像から取得しても良い。また、撮像画像をコンピュータに取り込み、コンピュータ内で画像処理を行う際に、欠陥画素の補正を実施しても良い。従って、欠陥情報は、撮像画像を用いて取得されるようにしてもよい。
【0176】
本実施の形態では、欠陥画素の位置及びレベルから、設定情報により当該欠陥画素がある領域に設定された閾値と、前記欠陥画素のレベルとを比較することにより、当該欠陥画素を補正するか否かを決定する。そして、補正することが決定された欠陥画素を補正するので、必要以上に欠陥画素の補正を行うことなく、また補正されなかった欠陥画素を目立たないようにできる。
【0177】
[第2の実施の形態]
第2の実施の形態における撮像装置の構成は、第1の実施の形態における撮像装置の構成と同じであるので、第1の実施の形態を流用して説明する。
【0178】
一般的に、高画質機能として被写体の顔の部分といった特定の領域にゲインをかける補正を行うことがある。このような場合にも、ゲインをかける領域の補正するキズ補正レベルを変更すると良い。ある領域Aにゲインαをかけた場合の補正対象画素の指定について、第1の実施の形態を流用して説明する。
【0179】
図11は、図9のステップS501の補正対象画素指定処理の手順を示すフローチャートである。
【0180】
図11において、まず図10のステップS701〜704まで行う。次いで、欠陥画素のアドレスを参照し、その欠陥画素が領域A内であれば、フラグを1とし、領域A外であれば、フラグを0とする(ステップS1101)。
【0181】
次いで、その欠陥画素が画像中の領域1,3,7,9のいずれかの領域内の画素か否かを判別する(ステップS1102)。
【0182】
ステップS1102の判別の結果、欠陥画素が画像中の領域1,3,7,9のいずれかの領域内の画素とき(ステップS1102でYES)、その欠陥画素のキズレベルについて判別する(ステップS1103)。
【0183】
ここでは、フラグが1で、キズレベルがLEBEL3/α以上のとき、肯定判別となり、フラグが1で、キズレベルがLEBEL3/α未満のとき、否定判別となる。一方、フラグが0で、キズレベルがLEBEL3以上のとき、肯定判別となり、フラグが1で、キズレベルがLEBEL3未満のとき、否定判別となる。
【0184】
ステップS1103の判別の結果、肯定判別されたとき(ステップS1103でYES)、欠陥画素を補正対象画素とし、そのアドレスを読み出し(ステップS1108)、ステップS1109に進む。
【0185】
一方、ステップS1103の判別の結果、否定判別されたとき(ステップS1103でNO)、ステップS1109に進む。
【0186】
上記ステップS1102の判別の結果、欠陥画素が画像中の領域1,3,7,9のいずれかの領域内の画素ではないとき(ステップS1102でNO)、欠陥画素が画像中の領域2,4,6,8のいずれかの領域内の画素か否かを判別する(ステップS1104)。
【0187】
ステップS1104の判別の結果、欠陥画素が画像中の領域2,4,6,8のいずれかの領域内の画素とき(ステップS1104でYES)、その欠陥画素のキズレベルについて判別する(ステップS1105)。
【0188】
ここでは、フラグが1で、キズレベルがLEBEL2/α以上のとき、肯定判別となり、フラグが1で、キズレベルがLEBEL2/α未満のとき、否定判別となる。一方、フラグが0で、キズレベルがLEBEL2以上のとき、肯定判別となり、フラグが1で、キズレベルがLEBEL2未満のとき、否定判別となる。
【0189】
ステップS1105の判別の結果、肯定判別されたとき(ステップS1105でYES)、欠陥画素を補正対象画素とし、そのアドレスを読み出し(ステップS1108)、ステップS1109に進む。
【0190】
一方、ステップS1105の判別の結果、否定判別されたとき(ステップS1105でNO)、ステップS1109に進む。
【0191】
上記ステップS1104の判別の結果、欠陥画素が画像中の領域2,4,6,8のいずれかの領域内の画素ではないとき(ステップS1104でNO)、欠陥画素が画像中の領域5内の画素か否かを判別する(ステップS1106)。
【0192】
ステップS1106の判別の結果、欠陥画素が画像中の領域5内の画素とき(ステップS1106でYES)、その欠陥画素のキズレベルについて判別する(ステップS1107)。
【0193】
ここでは、フラグが1で、キズレベルがLEBEL1/α以上のとき、肯定判別となり、フラグが1で、キズレベルがLEBEL1/α未満のとき、否定判別となる。一方、フラグが0で、キズレベルがLEBEL1以上のとき、肯定判別となり、フラグが1で、キズレベルがLEBEL1未満のとき、否定判別となる。
【0194】
ステップS1107の判別の結果、肯定判別されたとき(ステップS1107でYES)、欠陥画素を補正対象画素とし、そのアドレスを読み出し(ステップS1108)、ステップS1109に進む。
【0195】
一方、ステップS1107の判別の結果、否定判別されたとき(ステップS1107でNO)、ステップS1109に進む。
【0196】
上記ステップS1109の判別の結果、欠陥画素が画像中の領域5内の画素ではないとき(ステップS1106でNO)、全てのキズデータスキャンが終了したか否か判別する(ステップS1109)。
【0197】
ステップS1109の判別の結果、全てのキズデータスキャンが終了したとき(ステップS1109でYES)、本処理を終了し、全てのキズデータスキャンが終了していないとき(ステップS1109でNO)、ステップS1101に戻る。以上より、撮像画像における補正対象画素の指定は完了となる。
【0198】
なお、周辺光量補正を行わない場合には、全領域においてキズレベルはLEVEL1とし、同様の処理を行う。このように、第2の実施の形態では、撮像画像のうちの予め定められた領域内の欠陥画素に対して補正する場合についての実施の形態である。
【0199】
以上、特定の領域にゲインをかける場合にもそれに応じて補正するキズレベルを設定することにより、より好適に欠陥画素の補正を行うことができる。
【0200】
[第3の実施の形態]
第3の実施の形態における撮像装置の構成は、第1の実施の形態における撮像装置の構成と同じであるので、第1の実施の形態を流用して説明する。
【0201】
一般的に、撮像時のレンズの絞り値によって出力にゲインをかける補正を行うことがある。従って、レンズの絞り値によっても補正するキズレベルを変更すると良い。
【0202】
上述した図10のステップS702で、レンズ条件の確認時に絞り値も取得する。その絞り値に応じて図5で示した各キズレベルのキズ補正レベルに係数αを乗じたものをキズ補正レベルとする。
【0203】
図12は、絞り値(Av)によるキズレベルの係数βを示した表を示す図である。
【0204】
図13は、図12を適用したキズレベルとそのレベルに対応したキズ補正レベルを示す図である。
【0205】
図12の表は、絞り値に対応する係数βを示す表である。例えば、撮像時の絞り値Avが1.8であった場合、係数βは0.8となる。これを図5のキズ補正レベルに乗算すると、キズ補正レベルは図13の通りになる。
【0206】
以上、絞り値によるゲイン補正分を考慮した補正するキズレベルを設定することにより、より好適に欠陥画素の補正を行うことができる。
【0207】
(他の実施の形態)
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【符号の説明】
【0208】
1 撮像装置
14 撮像素子
20 画像処理回路
30,52 メモリ
42 測距制御部
46 測光制御部
48 フラッシュ部
50 システム制御回路
56 不揮発性メモリ
62,64 シャッタスイッチ
【特許請求の範囲】
【請求項1】
被写体を光学部材を介して撮像素子により撮像することで撮像画像を得る撮像装置であって、
前記撮像素子に起因して生じる欠陥画素の撮像画像における位置と欠陥の度合いを示すレベルとが対応付けられた欠陥情報が記憶された第1記憶手段と、
前記撮像画像に対し行われるゲイン補正に応じて定まるとともに、撮像画像を複数の領域に分割することで得られた各領域ごとに、前記レベルと比較するための閾値が設定された設定情報が記憶された第2記憶手段と、
前記第1記憶手段に記憶された欠陥画素の位置、及びレベルを取得する取得手段と、
前記取得手段により取得された欠陥画素の位置及びレベルから、前記第2記憶手段に記憶された設定情報により当該欠陥画素がある領域に設定された閾値と、前記欠陥画素のレベルとを比較することにより、当該欠陥画素を補正するか否かを決定する決定手段と、
前記決定手段により補正することが決定された欠陥画素を補正する補正手段と
を備えたことを特徴とする撮像装置。
【請求項2】
前記第1記憶手段には、前記撮像素子による撮像条件に応じた複数の欠陥情報が記憶されていることを特徴とする請求項1記載の撮像装置。
【請求項3】
前記欠陥の度合いを示すレベルは、欠陥画素の出力レベルに応じて定まることを特徴とする請求項1又は2記載の撮像装置。
【請求項4】
前記欠陥情報は、前記撮像画像を用いて取得されることを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。
【請求項5】
前記補正手段は、前記光学部材の瞳距離、又は絞り値に応じて前記欠陥画素を補正することを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。
【請求項6】
前記補正手段は、前記撮像画像のうちの予め定められた領域内の欠陥画素に対して補正することを特徴とする請求項1乃至5のいずれか1項に記載の撮像装置。
【請求項7】
被写体を光学部材を介して撮像素子により撮像することで撮像画像を得るとともに、前記撮像素子に起因して生じる欠陥画素の撮像画像における位置と欠陥の度合いを示すレベルとが対応付けられた欠陥情報が記憶された第1記憶手段と、前記撮像画像に対し行われるゲイン補正に応じて定まるとともに、撮像画像を複数の領域に分割することで得られた各領域ごとに、前記レベルと比較するための閾値が設定された設定情報が記憶された第2記憶手段と、を備えた撮像装置の制御方法であって、
前記第1記憶手段に記憶された欠陥画素の位置、及びレベルを取得する取得ステップと、
前記取得ステップにより取得された欠陥画素の位置及びレベルから、前記第2記憶手段に記憶された設定情報により当該欠陥画素がある領域に設定された閾値と、前記欠陥画素のレベルとを比較することにより、当該欠陥画素を補正するか否かを決定する決定ステップと、
前記決定ステップにより補正することが決定された欠陥画素を補正する補正ステップと
を備えたことを特徴とする制御方法。
【請求項8】
被写体を光学部材を介して撮像素子により撮像することで撮像画像を得るとともに、前記撮像素子に起因して生じる欠陥画素の撮像画像における位置と欠陥の度合いを示すレベルとが対応付けられた欠陥情報が記憶された第1記憶手段と、前記撮像画像に対し行われるゲイン補正に応じて定まるとともに、撮像画像を複数の領域に分割することで得られた各領域ごとに、前記レベルと比較するための閾値が設定された設定情報が記憶された第2記憶手段と、を備えた撮像装置の制御方法をコンピュータに実行させるためのプログラムであって、
前記制御方法は、
前記第1記憶手段に記憶された欠陥画素の位置、及びレベルを取得する取得ステップと、
前記取得ステップにより取得された欠陥画素の位置及びレベルから、前記第2記憶手段に記憶された設定情報により当該欠陥画素がある領域に設定された閾値と、前記欠陥画素のレベルとを比較することにより、当該欠陥画素を補正するか否かを決定する決定ステップと、
前記決定ステップにより補正することが決定された欠陥画素を補正する補正ステップと
を備えたことを特徴とするプログラム。
【請求項1】
被写体を光学部材を介して撮像素子により撮像することで撮像画像を得る撮像装置であって、
前記撮像素子に起因して生じる欠陥画素の撮像画像における位置と欠陥の度合いを示すレベルとが対応付けられた欠陥情報が記憶された第1記憶手段と、
前記撮像画像に対し行われるゲイン補正に応じて定まるとともに、撮像画像を複数の領域に分割することで得られた各領域ごとに、前記レベルと比較するための閾値が設定された設定情報が記憶された第2記憶手段と、
前記第1記憶手段に記憶された欠陥画素の位置、及びレベルを取得する取得手段と、
前記取得手段により取得された欠陥画素の位置及びレベルから、前記第2記憶手段に記憶された設定情報により当該欠陥画素がある領域に設定された閾値と、前記欠陥画素のレベルとを比較することにより、当該欠陥画素を補正するか否かを決定する決定手段と、
前記決定手段により補正することが決定された欠陥画素を補正する補正手段と
を備えたことを特徴とする撮像装置。
【請求項2】
前記第1記憶手段には、前記撮像素子による撮像条件に応じた複数の欠陥情報が記憶されていることを特徴とする請求項1記載の撮像装置。
【請求項3】
前記欠陥の度合いを示すレベルは、欠陥画素の出力レベルに応じて定まることを特徴とする請求項1又は2記載の撮像装置。
【請求項4】
前記欠陥情報は、前記撮像画像を用いて取得されることを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。
【請求項5】
前記補正手段は、前記光学部材の瞳距離、又は絞り値に応じて前記欠陥画素を補正することを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。
【請求項6】
前記補正手段は、前記撮像画像のうちの予め定められた領域内の欠陥画素に対して補正することを特徴とする請求項1乃至5のいずれか1項に記載の撮像装置。
【請求項7】
被写体を光学部材を介して撮像素子により撮像することで撮像画像を得るとともに、前記撮像素子に起因して生じる欠陥画素の撮像画像における位置と欠陥の度合いを示すレベルとが対応付けられた欠陥情報が記憶された第1記憶手段と、前記撮像画像に対し行われるゲイン補正に応じて定まるとともに、撮像画像を複数の領域に分割することで得られた各領域ごとに、前記レベルと比較するための閾値が設定された設定情報が記憶された第2記憶手段と、を備えた撮像装置の制御方法であって、
前記第1記憶手段に記憶された欠陥画素の位置、及びレベルを取得する取得ステップと、
前記取得ステップにより取得された欠陥画素の位置及びレベルから、前記第2記憶手段に記憶された設定情報により当該欠陥画素がある領域に設定された閾値と、前記欠陥画素のレベルとを比較することにより、当該欠陥画素を補正するか否かを決定する決定ステップと、
前記決定ステップにより補正することが決定された欠陥画素を補正する補正ステップと
を備えたことを特徴とする制御方法。
【請求項8】
被写体を光学部材を介して撮像素子により撮像することで撮像画像を得るとともに、前記撮像素子に起因して生じる欠陥画素の撮像画像における位置と欠陥の度合いを示すレベルとが対応付けられた欠陥情報が記憶された第1記憶手段と、前記撮像画像に対し行われるゲイン補正に応じて定まるとともに、撮像画像を複数の領域に分割することで得られた各領域ごとに、前記レベルと比較するための閾値が設定された設定情報が記憶された第2記憶手段と、を備えた撮像装置の制御方法をコンピュータに実行させるためのプログラムであって、
前記制御方法は、
前記第1記憶手段に記憶された欠陥画素の位置、及びレベルを取得する取得ステップと、
前記取得ステップにより取得された欠陥画素の位置及びレベルから、前記第2記憶手段に記憶された設定情報により当該欠陥画素がある領域に設定された閾値と、前記欠陥画素のレベルとを比較することにより、当該欠陥画素を補正するか否かを決定する決定ステップと、
前記決定ステップにより補正することが決定された欠陥画素を補正する補正ステップと
を備えたことを特徴とするプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2013−93695(P2013−93695A)
【公開日】平成25年5月16日(2013.5.16)
【国際特許分類】
【出願番号】特願2011−233805(P2011−233805)
【出願日】平成23年10月25日(2011.10.25)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
【公開日】平成25年5月16日(2013.5.16)
【国際特許分類】
【出願日】平成23年10月25日(2011.10.25)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
[ Back to top ]