説明

撮像装置及びその制御方法

【課題】ISO感度が異なることによるダーク部分やハイライト部分の階調性の変動を防止することを課題とする。
【解決手段】撮像装置は、被写体の光学像を画像信号に変換する撮像手段と、画像信号を増幅する増幅手段と、感度に応じたゲインを増幅手段に設定するゲイン設定手段と、画像信号に含まれる画素キズを補正するキズ補正手段と、画素キズの大きさに応じて画素キズを異なる複数のグループに分けて各画素キズの位置情報とともに属するグループの情報を記憶する記憶手段と、感度が高くなるほどキズ補正手段による補正対象とするグループの数が多くなるように感度に応じてキズ補正手段による補正対象とするグループを選択し、選択したグループに属する画素キズの位置情報を記憶手段から読み出して、読み出した位置情報に基づいてキズ補正手段が画像信号に含まれる画素キズを補正するように制御する制御手段とを有する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像信号を処理する撮像装置及びその制御方法に関する。
【背景技術】
【0002】
従来、固体メモリ素子を有するメモリカードを記録媒体として、CCD等の固体撮像素子で撮像した静止画像や動画像を記録及び再生する電子カメラ等の画像処理装置が既に市販されている。
【0003】
これらの電子カメラの中には、絞りやシャッタースピードなどの撮影条件を選択することにより、自動的に、あるいは、手動により回路ゲインを切り換えて、ちょうど銀塩カメラにおけるフィルムのISO感度に相当する感度条件を切り換えることのできるものがある。
【0004】
ところで、CCD等の固体撮像素子を用いて撮像する場合、撮像素子を露光しない状態で本撮影と同様に電荷蓄積を行った後に読み出したダーク画像データと、撮像素子を露光した状態で電荷蓄積を行った後に読み出した本撮影画像データとを用いて演算処理することによりダークノイズ補正処理を行うことが可能である。
【0005】
これにより、撮像素子に発生する暗電流ノイズや撮像素子固有の微少なキズによる画素欠損等の画質劣化に関して、撮影した画像データを補正して高品位な画像を撮影することが出来る。
【0006】
特に、暗電流ノイズは、電荷蓄積時間及び、時間の経過とともに撮像素子の温度上昇に応じて増大するため、長秒時の露光や高温時の露光を行う場合に大きな画質改善効果を得ることが可能となり、電子カメラの使用者にとってダークノイズ補正処理は有益な機能となっている。
【0007】
そのほかに、撮像素子固有のキズによる画素欠損等の補正方法には、上記のようなダークノイズ補正処理以外にも、キズのない近接画素を用いた補間による補正処理方法もあるが、あまりキズの数が多い場合には、CPUなどによる画像処理の負担も大きく、補間による画質劣化も無視できなくなる。
【0008】
図14は、従来の電子カメラ等の画像処理装置の一例を表わすブロック図である。撮像素子600と、増幅器601と、AD(アナログ−デジタル)変換器602と、システム制御部603と、画像処理部604と、メモリ制御部605と、メモリ606とから構成されている。
【0009】
撮像素子600と、増幅器601と、AD変換器602と画像処理部604とは、システム制御部603からの各種駆動信号により駆動されており、撮像素子600から読み出された撮像信号は、増幅器601を介して、所定の信号振幅に増幅されて、AD変換器602へ入力される。AD変換器602のデジタル出力は、画像処理部604に入力されて、メモリ制御部605を介して、メモリ606に記録される。
【0010】
上記のダークノイズ補正処理の動作としては、まず、撮像素子を露光しない状態において、撮像素子600 → 増幅器601 → AD変換器602 → 画像処理部604 → メモリ制御部605 → メモリ606 の流れで、ダーク画像データがメモリ606に記録される。
【0011】
次に、撮像素子を露光した状態において、撮像素子600 → 増幅器601 → AD変換器602 の流れで読み出された本撮影画像データと、メモリ606に記録されたダーク画像データとがメモリ制御部604を介して読み出され、画像処理部604によって、本撮影画像データからダーク画像データが減算されることにより、ダーク画像と同様に本撮影画像に含まれる暗電流ノイズや撮像素子固有の微少なキズによる画素欠損が相殺されて補正されるしくみになっている。
【発明の概要】
【発明が解決しようとする課題】
【0012】
このような従来の電子カメラ等の画像処理装置においては、補正に用いるダーク画像データの中に、暗電流ノイズや撮像素子固有の微少なキズによる画素欠損ノイズを収めるための適切な信号ダイナミックレンジが必要である。
【0013】
ところが、前述のISO感度に応じた回路ゲインの切り換えによって、必要となるダーク画像データの信号ダイナミックレンジも変動する。本撮影画像データの信号ダイナミックレンジも、同様に変動する。
【0014】
そして、ダーク画像データの信号ダイナミックレンジをオーバーした上記画素欠損ノイズは、適切に補正されずに残り、しかも、その数や程度もISO感度ごとに異なるという問題があった。
【0015】
また、絞りやシャッタースピードを含めたトータルでの露出条件をたとえ同じにしても、ISO感度ごとに信号ダイナミックレンジが変動するために、ダークノイズ補正処理後の画像において、ダーク部分に浮き沈みを生じたり、ハイライト部分の飽和レベルがまちまちになるという問題があった。
【0016】
図15は、上記の問題をよく説明する信号のレベルダイヤグラムの一例である。AD変換器602のボトム電圧(デジタル下限0に対応する入力電圧)に対して、たとえば、撮像素子600の出力のダーク信号レベル(平均値)をb、ISO100時の使用信号振幅の上限をsとし、前記ダーク信号レベルbを基準に増幅器601の増幅度をaとして増幅すれば、増幅器601の出力は、ダーク信号レベルb、撮像信号振幅の上限は(a×s)となる。このとき、同時にダーク信号に含まれるキズによる画素欠損ノイズの振幅も増幅器601によりa倍されるために、ダーク画像期間中のAD変換器602のボトム電圧を下回るノイズ成分や、本撮影画像期間中のAD変換器602のトップ電圧(デジタルフルコードに対応する入力電圧)を上回るノイズ成分は、前述のダークノイズ補正処理により相殺されずに残ってしまう結果となる。
【0017】
このとき、ISO200時のセンサの使用信号振幅の上限は(s / 2)となり、増幅器601による増幅度は、さらにISO100時の2倍の2a倍となり、増幅器601の出力は、ダーク信号レベルb、撮像信号振幅の上限はaと変わらないものの、ダーク信号に含まれるキズによる画素欠損ノイズの振幅が増幅器601により2a倍されるために、ダーク画像や、本撮影画像に含まれるノイズ成分の振幅はより一層増大し、ダーク画像期間中のAD変換器602のボトム電圧を下回るノイズ成分や、本撮影画像期間中のAD変換器602のトップ電圧を上回るノイズ成分がより一層増加する結果となる。
【0018】
この傾向は、高ISO感度になるほど回路ゲインの増大とともに顕著となり、極端な場合には、ダーク画像や、本撮影画像の、AD変換器602に対するオーバーレンジによって、ダーク補正後の画像の黒つぶれや白飛びといった画像階調性の劣化を招く結果にもなる。
【0019】
また、増幅回路のスーリューレート特性の制約から、キズノイズなどによる過大振幅信号の飽和により、あるいは前述のISO感度に応じた回路ゲインの切り換えによってゲインアップした際に、本撮影画像データの信号ダイナミックレンジの増大にともない、露出過多による過大振幅信号の飽和により画像信号の遅延が発生して、後続する隣接画素信号に対して妨害が発生するという問題があった。
【0020】
図16は、上記の問題をよく説明する信号のレベルダイヤグラムの一例である。たとえば、撮像素子600の出力のISO100時の使用信号振幅の上限を1(撮像素子600の飽和レベルの近傍)とし、増幅器601の増幅度をaとして増幅すれば、増幅器601の出力において、撮像信号振幅の上限はa、増幅器601の出力を1画素周期で見れば、増幅器601のスリューレート特性により、その立ち上がり、立下りにおいて通常[ns/V]等の単位で表わされる所定の時間を必要とし、この時間は撮像素子600の信号変動レベルに依存し、正比例する。
【0021】
この特性により、撮像素子600の出力に対して増幅器601の出力が遅延する結果となる。このとき、ISO200時のセンサの使用信号振幅の上限は0.5(撮像素子150の飽和レベルの半分の近傍)、増幅器601による増幅度は、ISO100時の2倍の2a倍となる。ところが、増幅器601の出力において撮像信号振幅の上限はaとはならず、実際には撮像素子600の出力が露光条件により飽和レベルとなり、最大2a超に達し、その分、前記スリューレートによる遅延時間が増大する結果となる。この傾向は、高ISO感度になるほど回路ゲインの増大とともに顕著となり、他の色フィルタにより構成される後続隣接画素の出力に妨害を与え、キズノイズの後続隣接画素への波及や飽和領域における色再現性の劣化を招く結果にもなる。
【0022】
本発明の目的は、ISO感度が異なることによるダーク部分やハイライト部分の階調性の変動を防止することである。
本発明の他の目的は、ISO感度に応じて画素のキズを適正に補正することである。
本発明のさらに他の目的は、ISO感度が異なったときの過大信号による隣接画素に対する妨害を防止することである。
【課題を解決するための手段】
【0023】
本発明の一観点によれば、被写体の光学像を画像信号に変換する撮像手段と、前記画像信号を増幅する増幅手段と、感度に応じたゲインを前記増幅手段に設定するゲイン設定手段と、前記画像信号に含まれる画素キズを補正するキズ補正手段と、前記画素キズの大きさに応じて前記画素キズを異なる複数のグループに分けて各画素キズの位置情報とともに属するグループの情報を記憶する記憶手段と、前記感度が高くなるほど前記キズ補正手段による補正対象とするグループの数が多くなるように前記感度に応じて前記キズ補正手段による補正対象とするグループを選択し、選択したグループに属する画素キズの位置情報を前記記憶手段から読み出して、読み出した位置情報に基づいて前記キズ補正手段が前記画像信号に含まれる画素キズを補正するように制御する制御手段と、を有することを特徴とする撮像装置が提供される。
【発明の効果】
【0024】
本発明によれば、感度条件によらず、高品質な画像を得ることが出来る。
【図面の簡単な説明】
【0025】
【図1】本発明の実施例の全体の構成ブロック図である。
【図2】本実施例の主ルーチンの一部のフローチャートである。
【図3】本実施例の主ルーチンの一部のフローチャートである。
【図4】本実施例の主ルーチンの一部のフローチャートである。
【図5】本実施例の測距・測光処理ルーチンのフローチャートである。
【図6】本実施例の撮影処理ルーチンのフローチャートである。
【図7】本実施例のダーク取り込み処理ルーチンのフローチャートである。
【図8】第1の実施例の主要な構成ブロック図である。
【図9】第1の実施例における信号のレベルダイヤグラム図である。
【図10】第2の実施例における信号のレベルダイヤグラム図である。
【図11】第2の実施例における一部のフローチャートである。
【図12】第3の実施例の主要な構成ブロック図である。
【図13】第3の実施例における信号のレベルダイヤグラム図である。
【図14】従来例の構成ブロック図である。
【図15】信号のレベルダイヤグラム図である。
【図16】信号のレベルダイヤグラム図である。
【発明を実施するための形態】
【0026】
以下、本発明の実施形態を、実施例に沿って図面を参照しながら説明する。
図1乃至図13は、本発明の実施例の構成および動作フローおよび信号レベルダイヤグラムを示す図である。
図1において、100は画像処理装置の全体図である。12は撮像部14への露光量を制御するためのシャッター、14は光学像を電気信号に変換する撮像部である。
【0027】
レンズ310に入射した光線は、一眼レフ方式によって、絞り312、レンズマウント306及び106、ミラー130、シャッター12を介して導き、光学像として撮像部14上に結像することが出来る。
【0028】
16は撮像部14のアナログ信号出力をディジタル信号に変換するA/D変換部である。
18は撮像部14、A/D変換部16、D/A変換器26にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路22及びシステム制御回路50により制御される。
【0029】
20は画像処理回路であり、 A/D変換部16からのデータ或いはメモリ制御回路22からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路20においては、必要に応じて、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御回路50が露光制御手段40、測距制御手段42に対して制御を行う、TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュ調光)処理を行うことが出来る。
【0030】
さらに、画像処理回路20においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理も行っている。
【0031】
なお、本実施例においては、測距手段42及び測光手段46を専用に備える構成としたため、測距手段42及び測光手段46を用いてAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュ調光)処理の各処理を行い、上記画像処理回路20を用いたAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュ調光)処理の各処理を行わない構成としても良い。
【0032】
或いは、測距手段42及び測光手段46を用いてAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュ調光)処理の各処理を行い、さらに、上記画像処理回路20を用いたAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュ調光)処理の各処理を行う構成としても良い。
【0033】
22はメモリ制御回路であり、A/D変換部16、タイミング発生回路18、画像処理回路20、画像表示メモリ24、D/A変換器26、メモリ30、圧縮・伸長回路32を制御する。
【0034】
A/D変換部16のデータが画像処理回路20、メモリ制御回路22を介して、或いはA/D変換部16のデータが直接メモリ制御回路22を介して、画像表示メモリ24或いはメモリ30に書き込まれる。
【0035】
24は画像表示メモリ、26はD/A変換器、28はTFT LCD等から成る画像表示部であり、画像表示メモリ24に書き込まれた表示用の画像データはD/A変換器26を介して画像表示部28により表示される。
【0036】
画像表示部28を用いて撮像した画像データを逐次表示すれば、電子ファインダー機能を実現することが可能である。また、画像表示部28は、システム制御回路50の指示により任意に表示をON/OFFすることが可能であり、表示をOFFにした場合には画像処理装置100の電力消費を大幅に低減することが出来る。
【0037】
30は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連射撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ30に対して行うことが可能となる。また、メモリ30はシステム制御回路50の作業領域としても使用することが可能である。
【0038】
32は適応離散コサイン変換(ADCT)等により画像データを圧縮伸長する圧縮・伸長回路であり、メモリ30に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ30に書き込む。
【0039】
40は測光手段46からの測光情報に基づいて、絞り312を制御する絞り制御手段340と連携しながら、シャッター12を制御するシャッター制御手段である。
【0040】
42はAF(オートフォーカス)処理を行うための測距手段であり、レンズ310に入射した光線を、一眼レフ方式によって、絞り312、レンズマウント306及び106、ミラー130そして不図示の測距用サブミラーを介して、測距手段42に入射させることにより、光学像として結像された画像の合焦状態を測定することが出来る。
【0041】
46はAE(自動露出)処理を行うための測光手段であり、レンズ310に入射した光線を、一眼レフ方式によって、絞り312、レンズマウント306及び106、ミラー130及び132そして不図示の測光用レンズを介して、測光手段46に入射させることにより、光学像として結像された画像の露出状態を測定することが出来る。
【0042】
また、測光手段46は、フラッシュ48と連携することによりEF(フラッシュ調光)処理機能も有するものである。
48はフラッシュであり、AF補助光の投光機能、フラッシュ調光機能も有する。
【0043】
なお、撮像部14によって撮像した画像データを画像処理回路20によって演算した演算結果に基づき、システム制御回路50がシャッター制御手段40、絞り制御手段340、測距制御手段342に対して制御を行う、ビデオTTL方式を用いて露出制御及びAF(オートフォーカス)制御をすることも可能である。
【0044】
さらに、測距手段42による測定結果と、撮像部14によって撮像した画像データを画像処理回路20によって演算した演算結果とを共に用いてAF(オートフォーカス)制御を行っても構わない。
【0045】
そして、測光手段46による測定結果と、撮像部14によって撮像した画像データを画像処理回路20によって演算した演算結果とを共に用いて露出制御を行っても構わない。
【0046】
50は画像処理装置100全体を制御するシステム制御回路、52はシステム制御回路50の動作用の定数、変数、プログラム等を記憶するメモリである。54はシステム制御回路50でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置、スピーカー等の表示部であり、画像処理装置100の操作部近辺の視認し易い位置に単数或いは複数個所設置され、例えばLCDやLED、発音素子等の組み合わせにより構成されている。
【0047】
また、表示部54は、その一部の機能が光学ファインダー104内に設置されている。表示部54の表示内容のうち、LCD等に表示するものとしては、例えば、シングルショット/連写撮影表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタースピード表示、絞り値表示、露出補正表示、フラッシュ表示、赤目緩和表示、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体200及び210の着脱状態表示、レンズユニット300の着脱状態表示、通信I/F動作表示、日付け・時刻表示、外部コンピュータとの接続状態を示す表示、等がある。
【0048】
また、表示部54の表示内容のうち、光学ファインダー104内に表示するものとしては、例えば、合焦表示、撮影準備完了表示、手振れ警告表示、フラッシュ充電表示、フラッシュ充電完了表示、シャッタースピード表示、絞り値表示、露出補正表示、記録媒体書き込み動作表示、等がある。
【0049】
さらに、表示部54の表示内容のうち、LED等に表示するものとしては、例えば、合焦表示、撮影準備完了表示、手振れ警告表示、手振れ警告表示、フラッシュ充電表示、フラッシュ充電完了表示、記録媒体書き込み動作表示、マクロ撮影設定通知表示、二次電池充電状態表示、等がある。
【0050】
そして、表示部54の表示内容のうち、ランプ等に表示するものとしては、例えば、セルフタイマー通知ランプ、等がある。このセルフタイマー通知ランプは、AF補助光と共用して用いても良い。
【0051】
56は電気的に消去・記録可能な不揮発性メモリであり、例えばEEPROM等が用いられる。
60、62、64、66、68及び70は、システム制御回路50の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。
【0052】
ここで、これらの操作手段の具体的な説明を行う。60はモードダイアルスイッチで、自動撮影モード、プログラム撮影モード、シャッター速度優先撮影モード、絞り優先撮影モード、マニュアル撮影モード、焦点深度優先(デプス)撮影モード、ポートレート撮影モード、風景撮影モード、接写撮影モード、スポーツ撮影モード、夜景撮影モード、パノラマ撮影モード等の各機能撮影モードを切り替え設定することが出来る。62はシャッタースイッチSW1で、不図示のシャッターボタンの操作途中でONとなり、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュ調光)処理等の動作開始を指示する。
【0053】
64はシャッタースイッチSW2で、不図示のシャッターボタンの操作完了でONとなり、撮像部12から読み出した信号をA/D変換部16、メモリ制御回路22を介してメモリ30に画像データを書き込む露光処理、画像処理回路20やメモリ制御回路22での演算を用いた現像処理、メモリ30から画像データを読み出し、圧縮・伸長回路32で圧縮を行い、記録媒体200或いは210に画像データを書き込む記録処理という一連の処理の動作開始を指示する。
【0054】
66は再生スイッチで、撮影モード状態において、撮影した画像をメモリ30或いは記録媒体200或いは210から読み出して画像表示部28によって表示する再生動作の開始を指示する。
【0055】
68は単写/連写スイッチで、シャッタースイッチSW2を押した場合に1駒の撮影を行って待機状態とする単写モードと、シャッタースイッチSW2を押している間は連続して撮影を行い続ける連写モードとを設定することが出来る。
【0056】
70は各種ボタンやタッチパネル等からなる操作部で、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写/連写/セルフタイマー切り替えボタン、メニュー移動+(プラス)ボタン、メニュー移動−(マイナス)ボタン、再生画像+(プラス)ボタン、再生画像−(マイナス)ボタン、撮影画質選択ボタン、露出補正ボタン、日付/時間設定ボタン、パノラマモード等の撮影及び再生を実行する際に各種機能の選択及び切り替えを設定する選択/切り替えボタン、パノラマモード等の撮影及び再生を実行する際に各種機能の決定及び実行を設定する決定/実行ボタン、画像表示部28のON/OFFを設定する画像表示ON/OFFスイッチ、撮影直後に撮影した画像データを自動再生するクイックレビュー機能を設定するクイックレビューON/OFFスイッチ、JPEG圧縮の圧縮率を選択するため或いは撮像部の信号をそのままディジタル化して記録媒体に記録するCCDRAWモードを選択するためのスイッチである圧縮モードスイッチ、再生モード、マルチ画面再生・消去モード、PC接続モード等の各機能モードを設定することが出来る再生スイッチ、シャッタースイッチSW1を押したならばオートフォーカス動作を開始し一旦合焦したならばその合焦状態を保ち続けるワンショットAFモードとシャッタースイッチSW1を押している間は連続してオートフォーカス動作を続けるサーボAFモードとを設定することが出来るAFモード設定スイッチ等がある。
【0057】
また、上記プラスボタン及びマイナスボタンの各機能は、回転ダイアルスイッチを備えることによって、より軽快に数値や機能を選択することが可能となる。
【0058】
72は電源スイッチで、画像処理装置100の電源オン、電源オフの各モードを切り替え設定することが出来る。また、画像処理装置100に接続されたレンズユニット300、外部ストロボ、記録媒体200、210等の各種付属装置の電源オン、電源オフの設定も合わせて切り替え設定することが出来る。
【0059】
74はリアルタイムクロック回路で、これによりシステム制御回路50は経過時間を計測し、各種のタイマー機能を実現している。
【0060】
80は電源制御手段で、電池検出回路、DC-DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されており、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路50の指示に基づいてDC-DCコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。
【0061】
82はコネクタ、84はコネクタ、86はアルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、Li電池等の二次電池、ACアダプター等からなる電源手段である。
【0062】
90及び94はメモリカードやハードディスク等の記録媒体とのインタフェース、92及び96はメモリカードやハードディスク等の記録媒体と接続を行うコネクタ、98はコネクタ92及び/或いは96に記録媒体200或いは210が装着されているか否かを検知する記録媒体着脱検知手段である。
【0063】
なお、本実施例では記録媒体を取り付けるインターフェース及びコネクタを2系統持つものとして説明している。もちろん、記録媒体を取り付けるインターフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインターフェース及びコネクタを組み合わせて備える構成としても構わない。
【0064】
インターフェース及びコネクタとしては、PCMCIAカードやCF(コンパクトフラッシュ(登録商標))カード等の規格に準拠したものを用いて構成して構わない。
【0065】
さらに、インタフェース90及び94、そしてコネクタ92及び96をPCMCIAカードやCF(コンパクトフラッシュ)カード等の規格に準拠したものを用いて構成した場合、LANカードやモデムカード、USBカード、IEEE1394カード、P1284カード、SCSIカード、PHS等
の通信カード、等の各種通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことが出来る。
【0066】
104は光学ファインダであり、レンズ310に入射した光線を、一眼レフ方式によって、絞り312、レンズマウント306及び106、ミラー130及び132を介して導き、光学像として結像表示することが出来る。これにより、画像表示部28による電子ファインダー機能を使用すること無しに、光学ファインダ104のみを用いて撮影を行うことが可能である。また、光学ファインダー104内には、表示部54の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示などが設置されている。
【0067】
110は通信手段で、RS232CやUSB、IEEE1394、P1284、SCSI、モデム、LAN、無線通信、等の各種通信機能を有する。
【0068】
112は通信手段110により画像処理装置100を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。
【0069】
120は、レンズマウント106内において、画像処理装置100をレンズユニット300と接続するためのインタフェース、122は画像処理装置100をレンズユニット300と電気的に接続するコネクタ、124はレンズマウント106及び或いはコネクタ122にレンズユニット300が装着されているか否かを検知するレンズ着脱検知手段である。
【0070】
コネクタ122は、画像処理装置100とレンズユニット300との間で制御信号、状態信号、データ信号等を伝え合うと共に、各種電圧の電流を供給する機能も備えている。また、コネクタ122は電気通信のみならず、光通信、音声通信等を伝達する構成としても良い。
【0071】
130、132はミラーで、レンズ310に入射した光線を、一眼レフ方式によって光学ファインダ104に導くことが出来る。なお、ミラー132は、クイックリターンミラーの構成としても、ハーフミラーの構成としても、どちらでも構わない。
【0072】
200はメモリカードやハードディスク等の記録媒体である。記録媒体200は、半導体メモリや磁気ディスク等から構成される記録部202、画像処理装置100とのインタフェース204、画像処理装置100と接続を行うコネクタ206を備えている。
【0073】
210はメモリカードやハードディスク等の記録媒体である。記録媒体210は、半導体メモリや磁気ディスク等から構成される記録部212、画像処理装置100とのインタフェース214、画像処理装置100と接続を行うコネクタ216を備えている。
【0074】
300は交換レンズタイプのレンズユニットである。306は、レンズユニット300を画像処理装置100と機械的に結合するレンズマウントである。レンズマウント306内には、レンズユニット300を画像処理装置100と電気的に接続する各種機能が含まれている。
【0075】
310は撮影レンズ、312は絞りである。320は、レンズマウント306内において、レンズユニット300を画像処理装置100と接続するためのインタフェース、322はレンズユニット300を画像処理装置100と電気的に接続するコネクタである。
【0076】
コネクタ322は、画像処理装置100とレンズユニット300との間で制御信号、状態信号、データ信号等を伝え合うと共に、各種電圧の電流を供給される或いは供給する機能も備えている。また、コネクタ322は電気通信のみならず、光通信、音声通信等を伝達する構成としても良い。
【0077】
340は測光手段46からの測光情報に基づいて、シャッター12を制御するシャッター制御手段40と連携しながら、絞り312を制御する絞り制御手段である。
【0078】
342は撮影レンズ310のフォーカシングを制御する測距制御手段、344は撮影レンズ310のズーミングを制御するズーム制御手段である。
【0079】
350はレンズユニット300全体を制御するレンズシステム制御回路である。レンズシステム制御回路350は、動作用の定数、変数、プログラム等を記憶するメモリやレンズユニット300固有の番号等の識別情報、管理情報、開放絞り値や最小絞り値、焦点距離等の機能情報、現在や過去の各設定値などを保持する不揮発メモリの機能も備えている。
【0080】
図2及至図4は本発明の実施例の画像処理装置100の主ルーチンのフローチャートを示す。
図2及至図4を用いて、画像処理装置100の動作を説明する。電池交換等の電源投入により、システム制御回路50はフラグや制御変数等を初期化し、画像処理装置100の各部において必要な所定の初期設定を行う(S101)。
【0081】
システム制御回路50は、電源スイッチ66の設定位置を判断し、電源スイッチ66が電源OFFに設定されていたならば(S102)、各表示部の表示を終了状態に変更し、フラグや制御変数等を含む必要なパラメータや設定値、設定モードを不揮発性メモリ56に記録し、電源制御手段80により画像表示部28を含む画像処理装置100各部の不要な電源を遮断する等の所定の終了処理を行った後(S103)、S102に戻る。
【0082】
電源スイッチ66が電源ONに設定されていたならば(S102)、システム制御回路50は、電源制御手段80により電池等により構成される電源86の残容量や動作情況が画像処理装置100の動作に問題があるか否かを判断し(S104)、問題があるならば表示部54を用いて画像や音声により所定の警告表示を行った後に(S105)、S102に戻る。
【0083】
電源86に問題が無いならば(S104)、システム制御回路50はモードダイアル60の設定位置を判断し、モードダイアル60が撮影モードに設定されていたならば(S106)、S108に進む。
【0084】
モードダイアル60がその他のモードに設定されていたならば(S106)、システム制御回路50は選択されたモードに応じた処理を実行し(S107)、処理を終えたならばS102に戻る。
【0085】
システム制御回路50は、記録媒体200或いは210が装着されているかどうかの判断、記録媒体200或いは210に記録された画像データの管理情報の取得、そして、記録媒体200或いは210の動作状態が画像処理装置100の動作、特に記録媒体に対する画像データの記録再生動作に問題があるか否かの判断を行い(S108)、問題があるならば表示部54を用いて画像や音声により所定の警告表示を行った後に(S105)、S102に戻る。
【0086】
記録媒体200或いは210が装着されているかどうかの判断、記録媒体200或いは210に記録された画像データの管理情報の取得、そして、記録媒体200或いは210の動作状態が画像処理装置100の動作、特に記録媒体に対する画像データの記録再生動作に問題があるか否かの判断を行った結果(S108)、問題が無いならば、S109に進む。
【0087】
システム制御回路50は、単写撮影/連写撮影を設定する単写/連写スイッチ68の設定状態を調べ(S109)、単写撮影が選択されていたならば単写/連写フラグを単写に設定し(S110)、連写撮影が選択されていたならば単写/連写フラグを連写に設定し(S111)、フラグの設定を終えたならばS113に進む。
【0088】
単写/連写スイッチ68によれば、シャッタースイッチSW2を押した場合に1駒の撮影を行って待機状態とする単写モードと、シャッタースイッチSW2を押している間は連続して撮影を行い続ける連写モードとを任意に切り替えて設定切り替えすることが出来る。
【0089】
なお、単写/連写フラグの状態は、システム制御回路50の内部メモリ或いはメモリ52に記憶しS113に進む。
【0090】
システム制御回路50は表示部54を用いて画像や音声により画像処理装置100の各種設定状態の表示を行う(S113)。なお、画像表示部28の画像表示がONであったならば、画像表示部28も用いて画像や音声により画像処理装置100の各種設定状態の表示を行う。
【0091】
そして、 シャッタースイッチSW1が押されていないならば(S121)、S102に戻る。
【0092】
シャッタースイッチSW1が押されたならば(S121)、システム制御回路50は、測距処理を行って撮影レンズ10の焦点を被写体に合わせ、測光処理を行って絞り値及びシャッター時間を決定する、測距・測光処理を行い(S122)、S124に進む。測光処理に於いて、必要であればフラッシュの設定も行う。この測距・測光処理S122の詳細は図5を用いて後述する。
【0093】
その後に、システム制御回路50は、シャッター12を閉じた状態で撮像素子14の暗電流等のノイズ成分を予め設定された時間蓄積し、蓄積を終えたノイズ画像信号を読み出すダーク取り込み処理を行い(S124)、S125に進む。
【0094】
このダーク取り込み処理で取り込んだダーク画像データを用いて補正演算処理を行うことにより、撮像素子14の発生する暗電流ノイズや撮像素子14固有のキズによる画素欠損等の画質劣化に関して、撮影した画像データを補正することが出来る。このダーク取り込み処理S124の詳細は図7を用いて後述する。
【0095】
そして、シャッタースイッチSW2が押されていないならば(S125)、シャッタースイッチSW1が放されるまで(S126)、現在の処理を繰り返す。シャッタースイッチSW1が放されたならば(S126)、S502に進む。
【0096】
シャッタースイッチSW2が押されたならば(S125)、システム制御回路50は、撮影した画像データを記憶可能な画像記憶バッファ領域がメモリ30にあるかどうかを判断し(S127)、メモリ30の画像記憶バッファ領域内に新たな画像データを記憶可能な領域が無いならば、表示部54を用いて画像や音声により所定の警告表示を行った後に(S128)、S502に進む。
【0097】
例えば、メモリ30の画像記憶バッファ領域内に記憶可能な最大枚数の連写撮影を行った直後で、メモリ30から読み出して記憶媒体200或いは210に書き込むべき最初の画像がまだ記録媒体200或いは210に未記録な状態であり、まだ1枚の空き領域もメモリ30の画像記憶バッファ領域上に確保出来ない状態である場合等が、この状態の一例である。
【0098】
なお、撮影した画像データを圧縮処理してからメモリ30の画像記憶バッファ領域に記憶する場合は、圧縮した後の画像データ量が圧縮モードの設定に応じて異なることを考慮して、記憶可能な領域がメモリ30の画像記憶バッファ領域上にあるかどうかをS127において判断することになる。
【0099】
メモリ30に撮影した画像データを記憶可能な画像記憶バッファ領域があるならば(S127)、システム制御回路50は、撮像して所定時間蓄積した撮像信号を撮像部12から読み出して、A/D変換部16、画像処理回路20、メモリ制御回路22を介して、或いはA/D変換部から直接メモリ制御回路22を介して、メモリ30の所定領域に撮影した画像データを書き込む撮影処理を実行する(S129)。この撮影処理S129の詳細は図6を用いて後述する。
【0100】
撮影処理S129を終えたならば、システム制御回路50は、メモリ30の所定領域へ書き込まれた画像データの一部をメモリ制御回路22を介して読み出して、現像処理を行うために必要なWB(ホワイトバランス)積分演算処理、OB(オプティカルブラック)積分演算処理を行い、演算結果をシステム制御回路50の内部メモリ或いはメモリ52に記憶する。
【0101】
そして、システム制御回路50は、メモリ制御回路22そして必要に応じて画像処理回路20を用いて、メモリ30の所定領域に書き込まれた撮影画像データを読み出して、システム制御回路50の内部メモリ或いはメモリ52に記憶した演算結果を用いて、AWB(オートホワイトバランス)処理、ガンマ変換処理、色変換処理を含む各種現像処理を行う(S132)。
【0102】
さらに、現像処理においては、ダーク取り込み処理において取り込んだダーク画像データを用いて減算処理を行うことにより、撮像部14の暗電流ノイズ等を打ち消すダーク補正演算処理も併せて行う。
【0103】
そして、システム制御回路50は、メモリ30の所定領域に書き込まれた画像データを読み出して、設定したモードに応じた画像圧縮処理を圧縮・伸長回路32により行い(S133)、メモリ30の画像記憶バッファ領域の空き画像部分に、撮影して一連の処理を終えた画像データの書き込みを行う。
【0104】
一連の撮影の実行に伴い、システム制御回路50は、メモリ30の画像記憶バッファ領域に記憶した画像データを読み出して、インタフェース90或いは94、コネクタ92或いは96を介して、メモリカードやコンパクトフラッシュカード等の記録媒体200或いは210へ書き込みを行う記録処理を開始する(S134)。
【0105】
この記録開始処理は、メモリ30の画像記憶バッファ領域の空き画像部分に、撮影して一連の処理を終えた画像データの書き込みが新たに行われる度に、その画像データに対して実行される。
【0106】
なお、記録媒体200或いは210へ画像データの書き込みを行っている間、書き込み動作中であることを明示するために、表示部54において例えばLEDを点滅させる等の記録媒体書き込み動作表示を行う。
【0107】
システム制御回路50は、シャッタースイッチSW1が押されているかどうかを判断する(S135)。
【0108】
シャッタースイッチSW1が放された状態であったならば(S135)、S102に戻る。シャッタースイッチSW1が押された状態であったならば(S135)、システム制御回路50の内部メモリ或いはメモリ52に記憶される単写/連写フラグの状態を判断し(S136)、単写が設定されていたならば、S135に戻り、SW1が放されるまで現在の処理を繰り返す。
【0109】
連写が設定されていたならば(S136)、連続して撮影を行うためにS125に戻り、次の撮影を行う。
【0110】
図5は、図3のS122における測距・測光処理の詳細なフローチャートを示す。なお、測距・測光処理においては、システム制御回路50と絞り制御手段340或いは測距制御手段342との間の各種信号のやり取りは、インタフェース120、コネクタ122、コネクタ322、インタフェース320、レンズ制御手段350を介して行われる。
【0111】
システム制御回路50は、撮像部14、測距手段42及び測距制御手段342を用いて、AF(オートフォーカス)処理を開始する(S201)。
【0112】
システム制御回路50は、レンズ310に入射した光線を、絞り312、レンズマウント306及び106、ミラー130、不図示の測距用サブミラーを介して、測距手段42に入射させることにより、光学像として結像された画像の合焦状態を判断し、測距(AF)が合焦と判断されるまで(S203)、測距制御手段342を用いてレンズ310を駆動しながら、測距手段42を用いて合焦状態を検出するAF制御を実行する(S202)。
【0113】
測距(AF)が合焦と判断したならば(S203)、システム制御回路50は、撮影画面内の複数の測距点の中から合焦した測距点を決定し、決定した測距点データと共に測距データ及び/或いは設定パラメータをシステム制御回路50の内部メモリ或いはメモリ52に記憶しS205に進む。
【0114】
続いて、システム制御回路50は、測光手段46を用いて、AE(自動露出)処理を開始する(S205)。
【0115】
システム制御回路50は、レンズ310に入射した光線を、絞り312、レンズマウント306及び106、ミラー130及び132そして不図示の測光用レンズを介して、測光手段46に入射させることにより、光学像として結像された画像の露出状態を測定し、露出(AE)が適正と判断されるまで(S206)、露光制御手段40を用いて測光処理を行う(S206)。
【0116】
露出(AE)が適正と判断したならば(S207)、システム制御回路50は、測光データ及び或いは設定パラメータをシステム制御回路50の内部メモリ或いはメモリ52に記憶し、S208に進む。
【0117】
なお、測光処理S206で検出した露出(AE)結果と、モードダイアル60によって設定された撮影モードに応じて、システム制御回路50は、絞り値(Av値)、シャッター速度(Tv値)を決定する。
【0118】
そして、ここで決定したシャッター速度(Tv値)に応じて、システム制御回路50は、撮像部14の電荷蓄積時間を決定し、等しい電荷蓄積時間で撮影処理及びダーク取り込み処理をそれぞれ行う。
【0119】
測光処理S206で得られた測定データにより、システム制御回路50はフラッシュが必要か否かを判断し(S208)、フラッシュが必要ならばフラッシュフラグをセットし、フラッシュ48の充電が完了するまで(S210)、フラッシュ48を充電する(S209)。
【0120】
フラッシュ48の充電が完了したならば(S210)、測距・測光処理ルーチンS122を終了する。
【0121】
図6は、図3のS129における撮影処理の詳細なフローチャートを示す。なお、撮影処理においては、システム制御回路50と絞り制御手段340或いは測距制御手段342との間の各種信号のやり取りは、インタフェース120、コネクタ122、コネクタ322、インタフェース320、レンズ制御手段350を介して行われる。
【0122】
システム制御回路50は、ミラー130を不図示のミラー駆動手段によってミラーアップ位置に移動すると共に(S301)、システム制御回路50の内部メモリ或いはメモリ52に記憶される測光データに従い、絞り制御手段340によって絞り312を所定の絞り値まで駆動する(S302)。
【0123】
システム制御回路50は、撮像部14の電荷クリア動作を行った後に(S303)、撮像部14の電荷蓄積を開始した後(S304)、シャッター制御手段40によって、シャッター12を開き(S305)、撮像部14の露光を開始する(S306)。
【0124】
ここで、フラッシュ・フラグによりフラッシュ48が必要か否かを判断し(S307)、必要な場合はフラッシュを発光させる(S308)。
【0125】
システム制御回路50は、測光データに従って撮像部14の露光終了を待ち(S309)、シャッター制御手段40によって、シャッター12を閉じ(S310)、撮像部14の露光を終了する。
【0126】
システム制御回路50は、絞り制御手段340によって絞り312を開放の絞り値まで駆動すると共に(S311)、ミラー130を不図示のミラー駆動手段によってミラーダウン位置に移動する(S312)。
【0127】
設定した電荷蓄積時間が経過したならば(S313)、システム制御回路50は、撮像部14の電荷蓄積を終了した後(S314)、撮像部14から電荷信号を読み出し、A/D変換部16、画像処理回路20、メモリ制御回路22を介して、或いはA/D変換部16から直接メモリ制御回路22を介して、メモリ30の所定領域への撮影画像データを書き込む(S315)。
一連の処理を終えたならば、撮影処理ルーチンS129を終了する。
【0128】
図7は、図2のS112及び図3のS124におけるダーク取り込み処理の詳細なフローチャートを示す。システム制御回路50は、撮像部14の電荷クリア動作を行った後に(S401)、シャッター12が閉じた状態で、撮像部14の電荷蓄積を開始する(S402)。
【0129】
設定した所定の電荷蓄積時間が経過したならば(S403)、システム制御回路50は、撮像部14の電荷蓄積を終了した後(S404)、撮像部14から電荷信号を読み出し、A/D変換部16、画像処理回路20、メモリ制御回路22を介して、或いはA/D変換部16から直接メモリ制御回路22を介して、メモリ30の所定領域への画像データ(ダーク画像データ)を書き込む(S405)。
【0130】
このダーク取り込みデータを用いて現像処理を行うことにより、撮像部14の発生する暗電流ノイズや撮像部14固有のキズによる画素欠損等の画質劣化に関して、撮影した画像データを補正することが出来る。
【0131】
なお、このダーク画像データは、新たに測距・測光処理が行われるか、画像処理装置100の電源がOFFされるまで、メモリ30の所定領域に保持される。
【0132】
そして、このダーク画像データは、この後、撮影処理が実行されて、そこで、撮影した画像データを撮像部14より読み出して、現像処理を行う際に用いられる。
【0133】
或いは、先に撮影処理が実行されて、撮影した画像データを撮像部14より読み出してメモリ30に書き込んである状態で、このダーク画像データを用いて現像処理を行う際に用いられる。
そして、ダーク取り込み処理ルーチンS124を終了する。
【0134】
(第1の実施例)
図8は、画像処理装置100における撮像部14およびA/D変換部16を含む撮像装置ユニット15の内部について、より詳細な構成を示したブロック図であり、本実施例の主要な働きをなす部分である。
【0135】
図8において、400は撮像素子でありCCDなどの光電変換デバイスである。401は撮像素子400の出力信号の振幅を増幅する増幅器であり、402は増幅器401の増幅出力に所定の直流電圧を付加するオフセット加算器、405はオフセット加算器402のアナログ撮像出力をデジタル信号に変換するA/D変換器である。408は、オフセット加算器402およびA/D変換405に対して複数の直流電圧を供給する多チャンネルのD/A変換器であり、各直流電圧値は、図1で示すシステム制御部50よりタイミング発生部18を介して供給される制御バス406によって制御される。
【0136】
D/A変換器408の出力の一つのチャンネル出力407は、オフセット加算器402に供給されており、これによりA/D変換405に供給される撮像信号の直流電圧が切り換えられる。D/A変換器408の出力のその他のチャンネルからは、A/D変換405のアナログ入力レンジを決定するボトム電圧409とトップ電圧410が出力されている。
【0137】
そして、図1に示されたタイミング発生部18より撮像素子400、撮像装置ユニット15の増幅器401およびD/A変換器408対して供給された制御バス406には、撮像素子400において露光・読み出しなどを制御するための各種駆動パルスや、増幅器401のゲインを複数の所定の値に切り換えるための状態制御信号や、D/A変換器408の複数のチャンネルのD/A出力電圧を制御するための制御信号が含まれており、これらの制御値はISO感度などの撮影条件に応じて切り換えられる。
【0138】
そして、撮像素子400から読み出された撮像信号は、増幅器401を介して、所定の信号振幅に増幅されて、オフセット加算器402によって所定の直流電圧を付加された後に、AD変換器405へ入力される。AD変換器405のデジタル出力は、図1の画像処理部20に入力されて、メモリ制御部22を介して、メモリ30に記録される。
【0139】
図2及至図4のフローチャートにおいて説明したように、まず、ダークノイズ補正処理の動作として、撮像素子を露光しない状態において、撮像素子400 → 増幅器401 →オフセット加算器402 →AD変換器405 → 画像処理部20 → メモリ制御部22 → メモリ30 の流れで、ダーク画像データがメモリ30に記録される。
【0140】
次に、撮像素子を露光した状態において、撮像素子400 → 増幅器401 →オフセット加算器402 → AD変換器405 の流れで読み出された本撮影画像データと、メモリ30に記録されたダーク画像データとがメモリ制御部22を介して読み出され、画像処理部20によって、本撮影画像データからダーク画像データが減算されることにより、ダーク画像と同様に本撮影画像に含まれる暗電流ノイズや撮像素子固有の微少なキズによる画素欠損が相殺されて補正される。
【0141】
図9は、図8の撮像素子400の出力信号およびオフセット加算器402の出力信号のレベルダイヤグラムである。次に、図9の信号のレベルダイヤグラムを用いて図8における信号処理の具体的な説明を行う。
【0142】
撮像素子400を露光しない状態で読み出されたダーク画像信号は、最初に、AD変換器405のボトム電圧に対してオフセット電圧bをもって撮像素子400より出力される。ダーク信号画像信号に含まれるキズや画素欠陥などのノイズ信号の最大振幅をnとすれば、ダーク画像信号に続いて、次に撮像素子400を露光しない状態で読み出された本撮影画像信号にもダーク画像信号のノイズ信号に相関する最大振幅nのノイズ信号が含まれる。このときのダーク画像信号を基準とした本撮影画像信号の信号振幅をs、装置の感度をISO100設定とした場合の増幅器401によるゲイン設定をa倍とすれば、増幅器401による増幅出力は信号振幅は(a×s)となり、ノイズ振幅は(a×n)となる。
【0143】
また、装置の感度をISO200設定とした場合には、撮像素子400から出力されるダーク画像信号およびこれに含まれるノイズ信号については、ISO100設定の場合と全く同様であるが、ダーク画像信号を基準とした本撮影画像信号の信号振幅については、ISO100設定時の2分の1の露光量により(s/2)となり、ISO200設定とした場合の増幅器401によるゲイン設定はISO100設定時の2倍である(2×a)倍となる。このときの増幅器401による増幅出力は信号振幅は(a×s)となり、ノイズ振幅は(2a×n)となる。したがって、ISO200設定時には、ISO100設定時と比較して、信号振幅は同じでノイズ振幅だけが2倍という結果になる。
【0144】
そこで、本実施例においては、装置の感度をISO100設定とした場合には、ダーク画像信号中のノイズ信号および、本撮影画像信号中の信号振幅と、これに含まれるノイズ信号とが適切にAD変換器405の入力レンジの中に収まるように、まず、システム制御部50 → タイミング発生部18 → 制御バス406 → 増幅器401 の制御の流れで、ISO100設定用の増幅器401のゲイン設定を行う。
【0145】
次に、システム制御部50 → タイミング発生部18 → 制御バス406 → D/A変換器408の制御の流れで、増幅器401の出力信号について、AD変換器405のボトム電圧に対するオフセット電圧cおよび、AD変換器405のボトム電圧およびトップ電圧が設定される。
【0146】
すなわち、ダーク画像期間中のノイズ信号成分の下限を下回るボトム電圧が設定され、本撮影期間中の画像信号に含まれる画像信号およびノイズ信号成分の上限を上回るトップ電圧が設定される。AD変換器405の入力振幅レンジdは、このとき設定されたトップ電圧とボトム電圧との差で与えられる。
【0147】
また、ISO200設定とした場合にも、ISO設定時と同様の手順により、ダーク画像信号中のノイズ信号および、本撮影画像信号中の信号振幅と、これに含まれるノイズ信号とが適切にAD変換器405の入力レンジの中に収まるように、増幅器401の出力信号について、AD変換器405のボトム電圧に対するオフセット電圧eおよび、AD変換器405のボトム電圧およびトップ電圧(入力振幅レンジf)が設定される。すなわち、この場合にもダーク画像期間中のノイズ信号成分の下限を下回るボトム電圧が設定され、本撮影期間中の画像信号に含まれる画像信号およびノイズ信号成分の上限を上回るトップ電圧が設定される。
【0148】
ところで、ISO200設定時には、ISO100設定時と比較して信号振幅が同じでノイズ振幅だけが2倍になることから、このノイズ信号をAD変換器405の入力レンジの中に収めるためには、その分だけ、ISO200時の入力レンジfは、ISO100時の入力レンジdよりも大きくなる。そのために、AD変換器405への入力時の信号振幅が同じであれば、A/D変換後のデジタル出力は、ISO100時に比較して(d/f)倍となり、この分のゲイン補正は、図1の画像処理部20でデジタル演算により行われる。
【0149】
ここで設定されるISO100、ISO200の各場合におけるオフセット電圧c,eおよびAD変換器405のボトム電圧およびトップ電圧(入力振幅レンジdおよびf)は、システム内の制御パラメータとして、あらかじめ図1の不揮発性メモリなどで保持されており、システム制御部50より、必要に応じて読み出されて設定される。
【0150】
なお、前記設定においては、ISO100とISO200とでAD変換器405の入力レンジをdからf(f>d)のように可変とした。しかし、ダーク画像信号中のノイズ信号および、本撮影画像信号中の信号振幅と、これに含まれるノイズ信号とが適切にAD変換器405の入力レンジの中に収まるようにオフセット電圧やAD変換器405の入力レンジを設定することが本実施例の主旨であり、本主旨に沿いながら入力レンジを固定(f=d)として、実施することも、もちろん可能である。この場合には、実質的に、ISO100時の入力レンジを本来、必要なレンジdからfに引き上げて利用する結果になるため、その分、A/D変換時の量子化ノイズが増大するという欠点を生ずるが、入力レンジに変動がないためISOごとのデジタル演算によるゲイン補正が不要となる利点が得られる。
【0151】
また、本実施例においては、ISO感度の設定をISO100、ISO2002つの場合に限って説明しているが、さらなる高ISO感度設定に対しても適用可能であり、同様の効果が期待できる。
【0152】
(第2の実施例)
ところで、前記実施例のようなダーク画像を利用したダークノイズ補正処理だけでは、本撮影画像信号に含まれるノイズ信号の振幅が大きくなるにつれて、このノイズ信号のために必要とされる入力レンジが増大し、これによる量子化ノイズの増大が本撮影画像信号の劣化を招くため、特に、高ISO感度条件下の場合や、頻度は少ないが極端なレベル飛びのキズノイズなど、全てのキズに対処することは難しい。
【0153】
そこで、キズのない近接画素を用いた補間による補正処理方法を、前記実施例に組み合わせ、うまく適合させた方式が、第2の実施例である。
【0154】
ハードウエアの基本構成および主ルーチンのフローは、図1乃至図8を用いて第1の実施例で説明したのと全く同様であるので、ここでは省略し、第1の実施例と異なる部分のみを説明する。
【0155】
図10は、図8の撮像素子400の出力信号およびオフセット加算器402の出力信号のレベルダイヤグラムである。
【0156】
図10において、第1の実施例と異なるのは、ISO100、ISO200設定時の場合の、AD入力信号に対する、それぞれのAD入力レンジの与え方である。すなわち、第1の実施例においては、ダーク画像信号中のノイズ信号および、本撮影画像信号中の信号振幅と、これに含まれるノイズ信号とが全てAD変換器405の入力レンジの中に収まるように設定されているが、本実施例においては、一部、入力レンジ外のノイズが設定される。そして、これら入力レンジ外のノイズは、前記実施例と同様にして、ダーク画像を利用したダークノイズ補正処理が終了した後に、図1のシステム制御部50により、画像処理部20にて、ソフトウエア手法でキズのない近接画素を用いて補間により補正される。補間による補正は、該当するキズ画素のデータを上下や左右の近接画素の演算結果で置換することにより行われ、そのアルゴリズムは種種多様であるが、ここではその内容には言及しない。もちろん、ごれらの演算処理をハードウエア手法により実現しても良い。
【0157】
あらかじめ、撮像素子400に固有のキズによる欠損画素の位置とキズの大きさとを検出しておき、そのキズの大きさにより、複数のグループにグループ分けしておく。そして、ISO感度設定ごとのAD変換器405の入力レンジの設定の仕方は、ノイズの大きさと、それによる上記入力レンジ外に発生するノイズの数をもとに決定される。
【0158】
図11に、ISO100、ISO200、ISO400の3つの感度条件に応じた、ISO感度ごとの補間によるキズ補正のフローの一例を示す。
【0159】
ここでは、あらかじめ、キズの大きいものから順番に、そのキズの大きさに応じて、キズグループ1、キズグループ2、キズグループ3と、各グループにおけるキズの数が所定数になるように、3つのグループにグループ分けされる。そして、グループごとにキズの位置情報とともに、図1の不揮発性メモリなどで保持されている。そして、キズ補正時には、これらのデータが随時読み出されて当該キズ画素の補正が行われる。
【0160】
まず、ISO感度の設定条件に応じて分岐処理される(S401)。ISO100の場合には、キズグループ3による補正のみ行われて(S404)、終了する。ISO200の場合には、キズグループ2による補正が行われ(S403)、その後にキズグループ3による補正のみ行われて(S404)、終了する。ISO400の場合には、キズグループ1による補正が行われ(S402)、その後にキズグループ2による補正が行われて(S403)、その後にキズグループ3による補正が行われ(S404)、終了する。
【0161】
これにより、高ISO感度ほど、補正するキズグループを増やして、より大きなキズ、より多くのキズの補正が行われるように処理の場合分けが行われる。
【0162】
そして、この補間により補正されるキズの個数は、ダークノイズ補正処理におけるノイズレンジの増大による画質劣化と、補間によるキズ補正処理における画質劣化と処理の負荷(処理時間)とのバランスを考慮しながら、各ISO感度条件ごとに最適に配分される。
【0163】
なお、本実施例においては、ISO感度の設定をISO100、ISO200、ISO400の3つの場合に限って説明しているが、さらなる高ISO感度設定に対しても適用可能であり、同様の効果が期待できる。
【0164】
(第3の実施例)
ところで、ISO感度に応じた回路ゲインの切り換えによってゲインアップした際に、本撮影画像データの信号ダイナミックレンジの増大にともない、回路のスーリューレートの制約から、露出過多やキズノイズなどによる過大振幅信号の飽和により画像信号の遅延が発生して、後続する隣接画素信号に対して妨害が発生するという問題があることは、前記従来例において説明したとおりである。
【0165】
この場合には、キズノイズの後続隣接画素への波及により、当該キズ画素を隣接画素で補間するキズ補正方式が、あまり有効に働かない。
【0166】
そこで、露出過多やキズノイズなどによる過大振幅信号に対して、ISO感度ごとに、増幅回路の出力の過飽和を抑え、補間によるキズ補正がより有効に働くように工夫した、あるいは、飽和領域における色再現性の劣化を防止する方法が、第3の実施例である。
【0167】
ハードウエアの基本構成および主ルーチンのフローは、図1乃至図7を用いて第1の実施例で説明したのと全く同様であるので、ここでは省略し、第1の実施例と異なる部分のみを説明する。
【0168】
図12は、画像処理装置100における撮像部14およびA/D変換部16を含む撮像装置ユニット15の内部について、より詳細な構成を示したブロック図であり、本実施例の主要な働きをなす部分である。
【0169】
図12において、500は撮像素子でありCCDなどの光電変換デバイスである。511は撮像素子500の出力振幅を制限するクリップ回路であり、501はクリップ回路511の出力信号を増幅する増幅器であり、502は増幅器501の増幅出力に所定の直流電圧を付加するオフセット加算器、505はオフセット加算器502のアナログ撮像出力をデジタル信号に変換するA/D変換器である。508は、クリップ回路511、オフセット加算器502およびA/D変換505に対して複数の直流電圧を供給する多チャンネルのD/A変換器であり、各直流電圧値は、図1で示すシステム制御部50よりタイミング発生部18を介して供給される制御バス506によって制御される。
【0170】
D/A変換器508の出力の一つのチャンネル出力512は、クリップ回路511に供給されており、D/A変換器508の出力の他の一つのチャンネル出力507は、オフセット加算器502に供給されており、これによりA/D変換505に供給される撮像信号の直流電圧が切り換えられる。D/A変換器508の出力のその他のチャンネルからは、A/D変換505のアナログ入力レンジを決定するボトム電圧509とトップ電圧510が出力されている。
【0171】
そして、図1に示されたタイミング発生部18より撮像素子500、撮像装置ユニット15の増幅器501およびD/A変換器508に対して供給された制御バス506には、撮像素子500において露光、読み出しなどを制御するための各種駆動パルスや、増幅器501のゲインを複数の所定の値に切り換えるための状態制御信号や、D/A変換器508の複数のチャンネルのD/A出力電圧を制御するための制御信号が含まれており、これらの制御値はISO感度などの撮影条件に応じて切り換えられる。
【0172】
そして、撮像素子500から読み出された撮像信号は、クリップ回路511、増幅器501を介して、所定の信号振幅に増幅されて、オフセット加算器502によって所定の直流電圧を付加された後に、AD変換器505へ入力される。AD変換器505のデジタル出力は、図1の画像処理部20に入力されて、メモリ制御部22を介して、メモリ30に記録される。
【0173】
図2及至図5のフローチャートにおいて説明したように、まず、ダークノイズ補正処理の動作として、撮像素子を露光しない状態において、撮像素子500 →クリップ回路511 →増幅器501 →オフセット加算器502 →AD変換器505 → 画像処理部20 → メモリ制御部22 → メモリ30 の流れで、ダーク画像データがメモリ30に記録される。
【0174】
次に、撮像素子を露光した状態において、撮像素子500 →クリップ回路511 → 増幅器501 →オフセット加算器502 → AD変換器505 の流れで読み出された本撮影画像データと、メモリ30に記録されたダーク画像データとがメモリ制御部22を介して読み出され、画像処理部20によって、本撮影画像データからダーク画像データが減算されることにより、ダーク画像と同様に本撮影画像に含まれる暗電流ノイズや撮像素子固有の微少なキズによる画素欠損が相殺されて補正される。
【0175】
このあたりのダークノイズ補正処理の動作については、撮像素子500と増幅器501との間に、クリップ回路511が新たに追加された以外は、上記と全く同様である。
【0176】
図13は、図12の撮像素子500の出力信号および増幅器501の出力信号の1画素期間のレベルダイヤグラムである。次に、図13の信号のレベルダイヤグラムを用いて図12における信号処理の具体的な説明を行う。
【0177】
撮影信号の最大レンジが、撮像素子500の出力でダーク信号レベルを基準にして、そこから実際に撮像信号として使用される上限レベルまでの振幅として規定できる。
【0178】
装置の感度をISO100設定とした場合に、このときの撮影信号の最大レンジを基準値1とする。ISO100設定時のクリップ回路511におけるクリップレベル電圧は、撮像信号の最大レンジに等しいか、または、これよりわずかに大きい電圧に、システム制御部50により設定される。ISO100設定時の増幅器501のゲイン設定をa倍とすれば、このときの増幅器501の増幅信号出力は、値aとなる。この場合、たとえば、撮像素子500の出力に、キズノイズなどの影響により本来の撮像信号のレベルとは無関係に、撮影信号の最大レンジを大きく超える過大な信号レベルが発生しても、クリップ回路511で設定されたクリップ電圧以上の出力レベルが増幅器501に与えられることがないので、増幅器501の出力は、この場合にも増幅出力振幅の上限値aと同じか、それよりも僅かに大きな値に留まり、過飽和による画像信号の遅延が後続隣接画素に対して妨害を与えることはない。
【0179】
さらに、装置の感度をISO200設定とした場合には、このときの撮影信号の最大レンジは、ISO100設定時の2分の1の値0.5となるので、ISO200設定時のクリップ回路511におけるクリップレベル電圧は、この最大レンジに等しいか、または、これよりわずかに大きい電圧に、システム制御部50により設定される。ISO200設定時の増幅器501のゲイン設定は、ISO100設定時の2倍である2a倍となり、このときの増幅器501の増幅信号出力は、値aとなる。この場合には、キズノイズなどの影響だけでなく、露光条件によっては、容易に撮影信号の最大レンジ0.5を超える過大な信号レベルが発生しうるが、クリップ回路511で設定されたクリップ電圧以上の出力レベルが増幅器501に与えられることがないので、増幅器501の出力は、やはり、この場合にも増幅出力振幅の上限値aと同じか、それよりも僅かに大きな値に留まり、過飽和による画像信号の遅延が後続隣接画素に対して妨害を与えることがない。
【0180】
なお、本実施例においては、ISO感度の設定をISO100とISO200の2つの場合に限って説明しているが、さらなる高ISO感度設定に対しても、撮影信号の使用最大レンジを規定し、クリップ回路511におけるクリップレベル電圧をこの撮像信号の最大レンジに等しいか、または、これよりわずかに大きい電圧に設定することで適用可能であり、同様の効果が期待できる。
【0181】
上記の第1乃至第3の実施例において、処理手段は、オフセット加算器402、AD変換器405、画像処理回路20及びクリップ回路511の少なくとも一つに相当し、制御手段は、システム制御回路50に相当する。
【0182】
第1の実施例によれば、ISO感度に応じた回路ゲインの切り換えによって、たとえダーク画像の信号ダイナミックレンジが変動しても、オフセット加算手段により、あるいは、AD変換手段の入力レンジ変換手段により、撮像画像のダークレベルやハイライト部分の飽和レベルを適切に設定できるので、同一の露出条件なのに、ISO感度が異なるとダーク部分に浮き沈みを生じたり、ハイライト部分の飽和レベルがまちまちになるという問題を解消できるので、ISO感度の違いに依らず、まとまりのある絵作りの撮像画像を得ることができる。
【0183】
また、第2の実施例によれば、ISO感度に応じた回路ゲインの切り換えによって、画素欠損ノイズが、たとえダーク画像の信号ダイナミックレンジをオーバーしたとしても、キズ補正手段によりキズ補正の数を切り換えることができるので、ISO感度ごとに、キズ補正しきれずにキズが残ってしまうという問題を解消できるので、ISO感度の違いに寄らず、欠損のない高品位な撮像画像を得ることができる。
【0184】
また、第3の実施例によれば、キズノイズなどにより本撮影画像データが過大振幅になった場合や、ISO感度に応じた回路ゲインの切り換えによってゲインアップしたことで本撮影画像データが過大振幅になった場合にも、クリップレベル切り換え手段により、本撮影画像の信号レベルを回路飽和させない適切な信号レベルに設定できるので、キズノイズや高ISO感度時における回路飽和時のスーリューレート特性による信号遅延と、それによる後続する隣接画素信号に対する妨害を生ずることがないので、これにより、キズ補正しきれずにキズが残ってしまうという問題を解消でき、さらに高輝度部分における色相曲がりや、高彩度部分における色飛びのない安定した撮像画像を得ることができる。
【0185】
なお、上記実施例は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【0186】
12:シャッター
14:撮像部
16:A/D変換部
18:タイミング発生回路
20:画像処理回路
22:メモリ制御回路
24:画像表示メモリ
26:D/A変換器
28:画像表示部
30:メモリ
32:画像圧縮・伸長回路
40:シャッター制御手段
42:測距手段
46:測光手段
48:フラッシュ
50:システム制御回路
52:メモリ
54:表示部
56:不揮発性メモリ
60:モードダイアルスイッチ
62:シャッタースイッチSW1
64:シャッタースイッチSW2
66:再生スイッチ
68:単写/連写スイッチ
70:操作部
72:電源スイッチ
74:リアルタイムクロック
80:電源制御手段
82:コネクタ
84:コネクタ
86:電源手段
90:インタフェース
92:コネクタ
94:インタフェース
96:コネクタ
98:記録媒体着脱検知手段
100:画像処理装置
104:光学ファインダ
106:レンズマウント
110:通信手段
112:コネクタ(またはアンテナ)
120:インタフェース
122:コネクタ
130:ミラー
132:ミラー
200:記録媒体
202:記録部
204:インタフェース
206:コネクタ
210:記録媒体
212:記録部
214:インタフェース
216:コネクタ
300:レンズユニット
306:レンズマウント
310:撮影レンズ
312:絞り
320:インタフェース
322:コネクタ
340:露光制御手段
342:測距制御手段
344:ズーム制御手段
350:レンズシステム制御回路
400:撮像素子
401:増幅器
402:オフセット加算器
405:AD変換器
408:D/A変換器
500:撮像素子
501:増幅器
502:オフセット加算器
505:AD変換器
508:D/A変換器

【特許請求の範囲】
【請求項1】
被写体の光学像を画像信号に変換する撮像手段と、
前記画像信号を増幅する増幅手段と、
感度に応じたゲインを前記増幅手段に設定するゲイン設定手段と、
前記画像信号に含まれる画素キズを補正するキズ補正手段と、
前記画素キズの大きさに応じて前記画素キズを異なる複数のグループに分けて各画素キズの位置情報とともに属するグループの情報を記憶する記憶手段と、
前記感度が高くなるほど前記キズ補正手段による補正対象とするグループの数が多くなるように前記感度に応じて前記キズ補正手段による補正対象とするグループを選択し、選択したグループに属する画素キズの位置情報を前記記憶手段から読み出して、読み出した位置情報に基づいて前記キズ補正手段が前記画像信号に含まれる画素キズを補正するように制御する制御手段と、
を有することを特徴とする撮像装置。
【請求項2】
前記感度はISO感度を含むことを特徴とする請求項1に記載の撮像装置。
【請求項3】
被写体の光学像を画像信号に変換する撮像手段と、前記画像信号を増幅する増幅手段と、感度に応じたゲインを前記増幅手段に設定するゲイン設定手段と、前記画像信号に含まれる画素キズを補正するキズ補正手段と、前記画素キズの位置情報を記憶する記憶手段とを有する撮像装置の制御方法であって、
前記記憶手段には、前記画素キズの大きさに応じて前記画素キズを異なる複数のグループに分けてグループごとに画素キズの位置情報とともに属するグループの情報が記憶されており、
前記感度が高くなるほど前記キズ補正手段による補正対象とするグループの数が多くなるように前記感度に応じて前記キズ補正手段による補正対象とするグループを選択し、選択したグループに属する画素キズの位置情報を前記記憶手段から読み出して、読み出した位置情報に基づいて前記キズ補正手段が前記画像信号に含まれる画素キズを補正するように制御することを特徴とする制御方法。
【請求項4】
前記感度はISO感度を含むことを特徴とする請求項3に記載の制御方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate


【公開番号】特開2012−235536(P2012−235536A)
【公開日】平成24年11月29日(2012.11.29)
【国際特許分類】
【出願番号】特願2012−193934(P2012−193934)
【出願日】平成24年9月4日(2012.9.4)
【分割の表示】特願2009−164776(P2009−164776)の分割
【原出願日】平成12年10月18日(2000.10.18)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】