説明

CMOS型固体撮像素子を搭載した撮像装置及びそのプリ発光制御方法並びにフラッシュ発光量調光方法

【課題】フラッシュ発光量の算出までのタイムラグを短くでき、外光(他者のフラッシュ光等)の影響も小さくする。
【解決手段】CMOS型固体撮像素子の複数の画素のうち奇数行又は偶数行の一方の画素行でなるA群画素と他方の画素行でなるB群画素とに対し別々にグローバルリセット信号を時間差を持って印加し、該時間差内でフラッシュ発光源をプリ発光させ、該プリ発光が行われたときA群画素による撮像画像データとB群画素による撮像画像データとを交互に読み出し、両撮像画像データの差分から、本撮影時のフラッシュ発光量を調光する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、CMOS型固体撮像素子を搭載した撮像装置及びそのプリ発光制御方法並びにフラッシュ発光量調光方法に関する。
【背景技術】
【0002】
例えば下記の特許文献1に記載されているCMOS型固体撮像素子を搭載した撮像装置で、暗いシーンを撮影する場合、フラッシュ発光を行う必要がある。この場合、どの程度のフラッシュ発光量にするかを決めなければ、フラッシュ発光を行っても暗い画像しか撮影できなかったり、明るすぎて白飛びした画像が撮影されたりする。
【0003】
フラッシュ発光量をどの程度にするかは、例えば下記の特許文献2に記載されている様に、ユーザがシャッタボタンを押下する前にプリ発光を行うことで決定できる。
【0004】
固体撮像素子を搭載した撮像装置では、ユーザがシャッタボタンを押下しない状態でも、電源オンの状態であれば、常時、固体撮像素子から出力される被写体画像信号をスルー画像として撮像装置背面等に設けられている液晶表示部に表示している。
【0005】
このスルー画像となる或る1フレーム分の出力信号を固体撮像素子から取得する前にプリ発光を行ってこの1フレーム分の出力信号を取得し、次の1フレーム分の出力信号は、プリ発光を行わない状態で取得する。この2フレームの撮像画像データを比較すれば、プリ発光が画像に与える影響量を求めることができ、本発光時のフラッシュ発光量を決定することができる。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2007―124137号公報
【特許文献2】特開2010―26284号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
上述した様に、プリ発光有りの画像を1フレーム分取得し、プリ発光無しの画像を1フレーム分取得することで、本発光時のフラッシュ発光量を決めることができる。しかし、2フレーム分の出力信号を固体撮像素子から取得しなければならないため、2フレーム分のタイムラグが発生することになり、シャッタチャンスを逃す虞が生じる。
【0008】
また、このタイムラグ中に、他者のカメラ撮影によるフラッシュ光が外光として発生すると、この外光による影響を排除できず、正しいフラッシュ発光量を求めることができない。
【0009】
本発明の目的は、フラッシュ発光量の算出までのタイムラグを短くでき、外光の影響を小さくできるCMOS型固体撮像素子を搭載した撮像装置及びプリ発光制御方法並びにフラッシュ発光量調光方法を提供することにある。
【課題を解決するための手段】
【0010】
本発明の撮像装置は、半導体基板の上に複数の画素が二次元アレイ状に配列形成され各々の画素の上にカラーフィルタが積層されたCMOS型固体撮像素子と、前記画素のうち奇数行又は偶数行の一方の画素行でなる第1画素群と他方の画素行でなる第2画素群とに対し別々にグローバルリセット信号を印加するリセット信号印加手段と、該リセット信号印加手段が前記第1画素群と前記第2画素群の夫々に時間差を持って前記グローバルリセット信号を印加させたとき該時間差内でフラッシュ発光源をプリ発光させるフラッシュ発光手段と、該プリ発光が行われたとき前記第1画素群と前記第2画素群からの撮像画像データの読み出しを該第1画素群と該第2画素群で交互に行う撮像素子駆動手段と、前記第1画素群から読み出した前記撮像画像データと前記第2画素群から読み出した前記撮像画像データとの差分から本撮影時のフラッシュ発光量を調光する制御手段とを備えることを特徴とする。
【0011】
本発明の撮像装置のプリ発光制御方法は、半導体基板の上に複数の画素が二次元アレイ状に配列形成され各々の画素の上にカラーフィルタが積層されたCMOS型固体撮像素子を備える撮像装置のプリ発光制御方法であって、前記画素のうち奇数行又は偶数行の一方の画素行でなる第1画素群と他方の画素行でなる第2画素群とに対し別々にグローバルリセット信号を時間差を持って印加したとき、該時間差内でフラッシュ発光源をプリ発光させることを特徴とする。
【0012】
本発明のフラッシュ発光量調光方法は、上記のいずれかに記載の撮像装置のプリ発光制御方法が実行されたとき、前記プリ発光が行われたときの前記第1画素群による撮像画像データと前記第2画素群による撮像画像データとの差分から本撮影時のフラッシュ発光量を算出することを特徴とする。
【発明の効果】
【0013】
本発明によれば、第1画素群と第2画素群とに夫々の時間差を持って印加されたグローバルリセット信号間でプリ発光を行い、第1画素群と第2画素群とからプリ発光有り,無しの2面の画像データを1フレームの撮像画像データから得ることができるため、本撮影時のフラッシュ発光量算出までのタイムラグを短くできる。また、このとき外光が発生しても、第1画素群と第2画素群に外光が共通して入射する可能性が高く、外光の影響をキャンセルすることができる。
【図面の簡単な説明】
【0014】
【図1】本発明の一実施形態に係る撮像装置の機能ブロック構成図である。
【図2】図1に示すCMOS型固体撮像素子の表面模式図である。
【図3】図2に示すCMOS型固体撮像素子のカラーフィルタ配列だけを示す図である。
【図4】図3に代わるCMOS型固体撮像素子のカラーフィルタ配列だけを示す図である。
【図5】図1に示す撮像装置の動作を説明する図である。
【図6】図5で説明した動作手順を示すフローチャートである。
【図7】図5に示すプリ発光のタイミング説明図である。
【図8】本発明の別実施形態の撮像装置における撮像画像データの読出動作説明図である。
【図9】本発明の別実施形態の撮像装置における動作手順を示すフローチャートである。
【図10】本発明の更に別実施形態の撮像装置における動作説明図である。
【発明を実施するための形態】
【0015】
以下、本発明の一実施形態について、図面を参照して説明する。
【0016】
図1は、本発明の一実施形態に係る撮像装置(この例ではデジタルスチルカメラ)の機能ブロック構成図である。この撮像装置1は、撮影レンズ10と、詳細は後述するCMOS型固体撮像素子11と、撮影レンズ10と固体撮像素子11との間に置かれた絞り12,赤外線カットフィルタ13,光学的ローパスフィルタ14とを備える。
【0017】
更に、固体撮像素子21から出力されるアナログの画像信号をアナログ処理(相関二重サンプリング処理や利得制御処理)する信号処理部22と、信号処理部22の出力信号をデジタル信号に変換するA/D変換器23と、この撮像装置1の全体を統括制御するCPU15と、CPU15の制御により撮影レンズ10のズーム位置やフォーカス位置制御を行うレンズ駆動部17と、絞り12の開口量調整を行う絞り駆動部19と、CPU15の指示により固体撮像素子11を詳細は後述する様に駆動する撮像素子駆動部20と、CPU15の指示によりプリ発光制御を行うとき撮像素子駆動部20による撮像素子駆動制御と連動して行うフラッシュ発光部16と、CPU15にユーザからの指示を入力する操作部21とを備える。
【0018】
操作部21は、電源スイッチSWや、シャッタボタン(S1スイッチ,S2スイッチの2段スイッチ)等を含む。フラッシュ発光部16の光源は、従来型のキセノンランプ等の光源の他に、LED発光源や有機EL発光源等でも良い。
【0019】
この撮像装置1の電気制御系は、A/D変換器23に接続されたデータバス34と、CPU15に接続された制御バス33と、これらバス33,34に接続された以下の構成部材とでなる。
【0020】
バス33,34には、メインメモリ24が接続されたメモリ制御部25と、デジタルの画像信号に対してオフセット処理,ガンマ処理,RGB/YC変換処理,同時化処理等の周知の画像処理を施すデジタル信号処理部26と、画像処理されたデジタル画像信号をJPEG画像等に圧縮したり逆に伸張したりする圧縮/伸張処理部27と、マイク35やスピーカ36が接続されユーザにカメラ操作案内等を音声で行ったりする音声制御部37と、JPEG画像データを記録する記録メディア29が接続されたメディア制御部38と、撮像装置背面等に設置される液晶表示部31が接続された表示制御部32と、電源部39とが接続され、電源部39にはバッテリ電池40が接続される。
【0021】
図2は、図1に示すCMOS型固体撮像素子11の表面模式図である。半導体基板41の表面部には、夫々の受光面積が同一の複数のフォトダイオード(画素)42が二次元アレイ状に配列形成されている。図示する例では、奇数行の画素行に対して偶数行の画素行が1/2画素ピッチづつずらして形成された、所謂ハニカム画素配列となっている。
【0022】
半導体基板41の図示の例では右辺側に垂直走査回路43と制御パルス生成回路44とが形成されている。垂直走査回路43は、図1の撮像素子制御部20からの指示を受けて垂直走査信号を各画素行毎に出力し、制御パルス生成回路44はこの垂直走査信号を垂直走査回路43から受けたとき制御パルスを生成して水平信号線45に出力する。各水平信号線45は、各画素行に沿って、各画素を避けるように水平方向に蛇行して配線されている。
【0023】
半導体基板41の下辺部には、雑音抑制回路46及び水平走査回路47が設けられている。各画素列に沿って垂直方向に垂直信号線48が各画素を避けるように蛇行して配線され、各画素42の出力信号は垂直信号線48から雑音抑制回路46を通して水平走査回路47に出力され、固体撮像素子11から図1のアナログ信号処理回路22に出力される。なお、アナログ信号処理部22を構成する回路素子を固体撮像素子11内に形成することも可能である。
【0024】
各画素42に隣接して、各画素対応にトランジスタ回路による信号読出回路が形成(図示は省略)されている。このトランジスタ回路は、周知の3トランジスタ構成でも、周知の4トランジスタ構成でも良い。
【0025】
3トランジスタ構成の場合、各信号読出回路は、リセットトランジスタと出力トランジスタと行選択トランジスタとで構成される。この場合、図2に示す水平信号線45は、リセットトランジスタにリセット信号を印加するリセット線と、行選択トランジスタに行選択信号を印加する行選択線の2本で形成され、垂直信号線48は、各信号読出回路の電源線と出力トランジスタの出力端子に接続された出力信号線の2本で形成される。
【0026】
4トランジスタ構成の場合、3トランジスタ構成に加えて、フォトダイオード42と出力トランジスタ及びリセットトランジスタとの間に設けた行読出トランジスタを持ち、行読出トランジスタに行読出信号を印加する信号線が水平信号線として追加される。
【0027】
水平信号線45や垂直信号線48は蛇行して配線されるが、この配線は、周知のCMOSイメージセンサと同様に半導体基板に積層された絶縁層内に配線しても良く、また、特開2007―81140号公報に記載されている様に、半導体基板上に配線しても良い。
【0028】
図2の固体撮像素子11の各画素42上に、R,G,B,r,g,bと記載したのは、カラーフィルタの色を表している。R=r(赤),G=g(緑),B=b(青)であるが、以下の説明で、奇数行の画素と偶数行の画素を区別して説明する関係で、大文字RGBと小文字rgbで分けている。
【0029】
奇数行の画素配列だけみると、各画素42は正方格子配列されており、偶数行の画素配列だけみると、各画素42は正方格子配列されている。そこで、奇数行の画素に3原色のカラーフィルタをベイヤ配列し、偶数行の画素にも3原色のカラーフィルタをベイヤ配列している。つまり、奇数行の画素をA群画素としてカラーフィルタRGBを積層し、偶数行の画素をB群画素としてカラーフィルタrgbを積層している。
【0030】
この結果、カラーフィルタ配列だけを図示すると、図3に示す様になり、同色2画素が斜め方向に2画素づつ連続し、緑色フィルタ(G,g)を搭載した画素が斜め1行置きにストライプ状に形成される構成となる。この固体撮像素子11によれば、A群画素,B群画素で同一被写体を同時に撮像したとき、A群画素だけによる撮像画像(RAWデータ)と、B群画素だけによる撮像画像(RAWデータ)とは、画素位置が垂直方向,水平方向に共に1/2画素ずれているが、同一となる。
【0031】
なお、A群画素のカラーフィルタ配列とB群画素のカラーフィルタ配列とが同一であればよく、ベイヤ配列に限るものではなく、縦ストライプや横ストライプ等の他のカラーフィルタ配列でも良い。
【0032】
本実施形態の撮像装置1では、A群画素(奇数行画素)にだけリセット信号を同時に印加してA群画素だけをグローバルリセットすることができ、B群画素にだけリセット信号を同時に印加してB群画素だけをグローバルリセットすることができる様になっている。
【0033】
つまり、CPU15内には、A群画素用のグローバルリセット信号印加手段(機能)と、B群画素用のグローバルリセット信号印加手段(機能)とが設けられ、A群,B群で独立にグローバルリセットを制御できる構成になっている。尤も、A群画素に印加するリセット信号の印加タイミングと、B群画素に印加するリセット信号の印加タイミングとを同一タイミングにすれば、全画素をグローバルリセットすることができる。
【0034】
図2,図3に示す固体撮像素子11の実施形態は、画素配列が所謂ハニカム画素配列になっているが、本発明はハニカム画素配列にだけ適用できるのではなく、画素配列が正方格子状に配列された固体撮像素子にも適用可能である。
【0035】
図4は、正方格子状の画素配列にした固体撮像素子51のカラーフィルタ配列だけを図示した図である。半導体基板表面部に夫々の受光面積が同一の複数の画素(フォトダイオード)を正方格子状に配列形成し、奇数行の画素行をA群画素とし、偶数行の画素行をB群画素とする。そして、A群画素に3原色カラーフィルタをベイヤ配列し、B群画素に3原色カラーフィルタをベイヤ配列する。この構成の固体撮像素子でも、以下に述べる実施形態を同様に適用可能である。
【0036】
図5は、撮像装置1でフラッシュ発光を行い被写体画像を撮像する場合に、プリ発光により本撮影時のフラッシュ発光量を決定するときの動作方法説明図である。
【0037】
上述した様に、本実施形態では、A群画素とB群画素とが同一の被写体カラー画像を撮像できるカラーフィルタ配列にしているが、本撮影ではA群画素とB群画素とを区別せずに全画素を用いて被写体画像を撮像する。しかし、フラッシュ発光量決定のためのプリ発光時には、A群画素とB群画素とを別々に駆動制御する。
【0038】
即ち、先ず、A群画素に対してグローバルリセット信号GRaを印加し、このグローバルリセット信号GRaの印加停止タイミングt1の後のタイミングt2で、プリ発光用のパルスCを図1のフラッシュ発光部16に印加する。このパルスCはタイミングt3で印加終了となる。タイミングt2以後にプリ発光量Kは増大を始め、タイミングt3の後の所定時間経過後に、プリ発光量は0(零)となる。
【0039】
パルスCとプリ発光量Kの減少開始のタイミングやプリ発光量が0となるタイミングt4は、フラッシュ発光に用いるキャパシタ容量等の回路素子値やフラッシュ発光源への印加電圧等によって異なるが、撮像装置1のフラッシュ回路に搭載する回路素子や発光源等が決まれば、これらのタイミングは定まった値となる。
【0040】
プリ発光量が0となったタイミングt4の後に、B群画素にグローバルリセット信号GRbを印加する。このグローバルリセット信号GRbの印加終了タイミングをt5とする。
【0041】
このタイミングt1,t2,t3,t4,t5の順でA群画素とB群画素とを駆動することで、A群画素には、プリ発光によって照明された被写体画像データが蓄積される。これに対し、B群画素は、プリ発光によって照明された被写体画像データがタイミングt5のグローバルリセット印加終了時点で廃棄されてしまうため、タイミングt5以降の被写体からの入射光量に応じた被写体画像データが蓄積される。つまり、A群画素にはプリ発光量に応じた被写体画像データが蓄積されるのに対し、B群画素にはプリ発光がされない状態の被写体画像データが蓄積される。
【0042】
以降、タイミングt1の時間TA後から固体撮像素子11の1ライン(画素行)毎に被写体画像データ(RAWデータ)を読み出すことになる。つまり、A群画素の第1画素行,B群画素の第1画素行(全体の第2画素行),A群画素の第2画素行(全体の第3画素行),B群画素の第2画素行(全体の第4画素行),…と交互に被写体画像データが読み出されることになる。
【0043】
この場合、B群画素のタイミングt5後の第1画素行の信号読出開始までの時間TBと、A群画素のタイミングt1後の第1画素行の信号読出開始までの時間TAとの関係は、
TA=|t1−t5|+TB−(1ライン分の読出時間)
となる。しかし、|t1−t5|は極めて短時間であり、1ライン分の読出時間も極めて短時間であるため、TA=TBとして扱っても不具合はない。この場合、A群画素の露光量とB群画素の露光量との差がプリ発光の有無の差となる。
【0044】
従って、A群画素による被写体画像データ(RAWデータ)とB群画素による被写体画像データ(RAWデータ)とを比較することで、プリ発光量の影響で被写体画像データがどの程度増えるかを求めることができ、本発光時のフラッシュ発光量を、例えばプリ発光量のn倍にすれば良いということが計算可能となる。
【0045】
上述した実施形態では、1ライン(画素行)毎に、A群画素の信号とB群画素の信号を交互に読み出したが、あるラインと次ラインで画素毎に、A群画素の信号とB群画素の信号を交互に読み出す様にしても良い。つまり、n−1ライン(A群画素とする。)とn−2ライン(B群画素)から信号を読み出すとき、n−1ラインの第1画素から信号を読み出し、次に、n−2ラインの第1画素から信号を読み出し、次に、n−1ラインの第2画素から信号を読み出し、次に、n−2ラインの第2画素から信号を読み出し、……としても良い。以下の実施形態でも同様である。
【0046】
この様に、A群画素からの信号読出とB群画素からの信号読出とを交互に1画素毎に行うことで、A群画素の露光時間とB群画素の露光時間とのズレが少なくなる。この結果、A群画素の読出中でかつB群画素の露光中に外光の変化があっても、A群画素とB群画素の差分をとることで外光の影響を小さくすることが可能となる。
【0047】
図6は、図5で説明した撮像装置の動作手順を示すフローチャートである。電源オン状態のステップS1で、2段シャッタボタンのS1スイッチがオンであるか否かを判定し、オンでない場合にはステップS1に戻る。
【0048】
S1スイッチがオンのときはステップS2に進み、AE/AFを実行して露出量制御と焦点位置制御を行い、次のステップS3で、2段シャッタボタンのS2スイッチがオンであるか否かを判定する。S2スイッチがオンでない場合にはステップS1に戻り、オンである場合にはステップS4に進む。
【0049】
ステップS4では、本撮影時にフラッシュ発光を行うか否かを判定する。フラッシュ発光は、ユーザの指示によって強制発光で行う場合もあり、また、ステップS2のAE動作による露出量検出によって自動的に発光を行う場合もある。
【0050】
フラッシュ発光を行わない場合には、以後のステップS5〜ステップS9を飛び越してステップS10に進み、フラッシュ発光を行わずに本撮影を行い、この処理を終了する。
【0051】
フラッシュ発光を行う場合には、ステップS5でA群画素のグローバルリセットを行い、次のステップS6で、プリ発光を行い、ステップS7でB群画素のグローバルリセットを行う。そして、ステップS8で、A群画素,B群画素からの被写体画像データの読み出しを行う。
【0052】
次のステップS9では、A群画素の露光量からB群画素の露光量を減算した値(A群画素の露光量A−B群画素の露光量B)に基づいて、本発光時のフラッシュ発光量(調光量)を演算して求める。そして次のステップS10で、このフラッシュ発光量にてフラッシュ撮影を行い、この処理を終了する。
【0053】
この様に、本実施形態では、タイミングt1からタイミングt5までの短い時間差中でプリ発光を行い、プリ発光「有り」「無し」の2画面の被写体画像データを1フレームの画像データで取得できるため、必要な調光量データを算出するまでのタイムラグが短くなる。
【0054】
また、他者のカメラ撮影に起因する外光(他者のフラッシュ光)は、A群画素とB群画素に共に入射する蓋然性が高いため、調光量データの演算時に外光の影響がキャンセルされることになる。
【0055】
なお、実施形態は、メカニカルシャッタ無しの撮像装置として説明しているが、メカニカルシャッタを搭載した撮像装置にも適用可能である。
【0056】
図7は、図5で説明した動作方法の更なる説明図である。A群画素がプリ発光「有」の画像を撮像し、B群画素がプリ発光「無」の画像を撮像するが、プリ発光量Kの全体が「有」と「無」の画像を夫々の画素群が撮像する方が、調光精度を高める上で望ましい。
【0057】
このため、図7(図5)のタイミングt2(プリ発光のパルスCが立ち上がるタイミング)から、タイミングt4(プリ発光量が0となるタイミング)までが、グローバルリセットGRaの終了タイミングt1と、グローバルリセットGRbの終了タイミングt5との間の時間T内に完全に入る様に制御する。
【0058】
前述したように、タイミングt4は、キャパシタ容量等の回路素子値が決まれるプリ発光パルスCの終了タイミングt3で決まるため、タイミングt1からタイミングt3までの時間Xを制御することで、調光精度を高くすることができる。
【0059】
図5の実施形態では、時間TAと時間TBとの関係は、
TA=|t1−t5|+TB−(1ライン分の読出時間)
であり、|t1−t5|と(1ライン分の読出時間)は夫々極めて短時間であるため、TA=TBとして露光量差(露光量A−露光量B)を計算することができる、と説明した。
【0060】
しかし、高精度に調光量制御を行う場合には、A群画素とB群画素の露光時間の差を考慮した演算を行う必要がある。図7で説明すると、タイミングt1からA群画素のn画素行目の読出までの時間を「TAn」、タイミングt5からB群画素のn画素行目の読出までの時間を「TBn」とした場合、実際には、TAn≠TBnとなる。
【0061】
A群画素の読出開始から読出終了までの時間と、B群画素の読出開始から読出終了までの時間は、A群画素とB群画素を交互に読み出す関係で同じとなる。A群画素のタイミングt1〜読出開始までの時間TAと、B群画素のタイミングt5〜読出開始までの時間TBとは、タイミングt1〜t5との間にプリ発光を入れる関係で、TA≠TBとなり、TAn>TBnとなる。
【0062】
この露光時間TAn,TBnの差はA群画素とB群画素の露光時間の差となる。この露光時間の差の間に外光の変化が入り込むと、A群画素の信号とB群画素の信号との差はプリ発光の有無だけの差とはならなくなる。
【0063】
そこで、B群画素の露光時間TBnを、A群画素の露光時間TAnと同じとなるように補正((TAn/TBn)を乗算すればよい。)し、プリ発光以外のA群画素の露光量とB群画素の露光量との差を、
露光量A−露光量B×(TAn/TBn)
として演算する。
【0064】
これにより、高精度な調光量制御が可能となる。もちろん、時間TAnの間に外光にそれほどの大きな変化がないことが前提である。
【0065】
図8は、本発明の別実施形態に係る撮像装置の動作説明図である。図5の実施形態では、露光が終了した後、A群画素,B群画素共に第1画素行(画面の上部側)から第n画素行(画面の下部側)方向に1ラインづつ撮像画像信号(RAWデータ)をA群,B群交互に読み出した。
【0066】
しかし、1画面内の被写体画像データにおいて、画面の上部に明るい被写体があるか、画面の下部に明るい被写体があるかにより、明るい被写体がある方から被写体画像データを読み出した方が、露光時間が短くなるため画像の白飛びを回避可能となる。
【0067】
そこで、図8に示す実施形態では、画面(固体撮像素子11の受光面:受光面上の画像は、撮影レンズ10を通しているため倒立像となる。)の下側に所定閾値以上の明るい高輝度被写体があるとき(これは、1フレーム前のスルー画像データのAE評価値で分かる。)、画面の下側のライン(画素行)からA群,B群交互に被写体画像データを読み出す様にしている。
【0068】
図9は、図8の動作手順を示すフローチャートである。図6の処理ステップが同じステップには同じステップ番号を付してその説明は省略し、異なるステップについて説明する。
【0069】
ステップS1〜ステップS7までは図6のフローチャートと同じであり、ステップS7の次に行うステップS11では、1フレーム前のAE評価値が「画面下>画面上」であるか否かを判定する。この判定結果が否定つまり画面上のAE評価値が画面下のAE評価値より大きい場合には、ステップS12に進み、図5に示す様に、画面の上部から順に下部方向に1ラインづつ撮像画像データを読み出し、ステップS9に進む。
【0070】
ステップS11の判定の結果、1フレーム前のAE評価値が「画面下>画面上」である場合には、ステップS13に進み、図8に示す様に、画面下部から順に上部方向に1ラインづつ撮像画像データを読み出し、ステップS9に進む。
【0071】
これにより、ライン毎の読み出し遅れに起因する画面内での露光時間差による白飛びを軽減することが可能となる。
【0072】
図10は、本発明の別実施形態に係る撮像装置の動作説明図である。図5,図7の実施形態では、タイミングt1とタイミングt5との間にプリ発光が完全に入る様に制御していた。しかし、被写体が真正面に存在するためプリ発光によってA群画素の撮像画像データが白飛びしてしまう事態が予想される。この場合に、本実施形態は有効である。
【0073】
本実施形態では、プリ発光量の全量がA群画素に受光される様にするのではなく、その部分光量mがA群画素に受光される様に、パルスC(終了タイミングをt7とする。)を、A群画素のグローバルリセットの印加終了タイミングt1に先行させ、プリ発光量の制御を行っている。これにより、白飛びし易いシーンにおいても、白飛びを防止した本撮影時のフラッシュ光量制御を行うことが可能となる。
【0074】
なお、上述した各実施形態を個別に説明したが、複数の実施形態を併用して実施することも可能であることはいうまでもない。例えば図8の読出順と図10のプリ発光とを併用しても良い。
【0075】
また、上述した各実施形態は、各画素が半導体基板に形成したフォトダイオードとして説明したが、例えば特開2010―67829号公報に記載されている様に、半導体基板にトランジスタ回路による信号読出回路が形成され、その上層として光電変換膜が積層され、その上にカラーフィルタが積層される光電変換膜積層型のCMOS型固体撮像素子にも上述した各実施形態を適用可能である。
【0076】
以上説明した実施形態は、撮像装置が被写体の静止画像を撮像する場合を例に説明したが、動画撮影にも適用可能である。動画像を撮像する場合、例えば1秒間に30フレームの被写体画像を撮影することになり、1秒間に30回のフラッシュ発光を行うことになる。
【0077】
フラッシュ光源として従来のキセノンランプを用いる場合、フラッシュ発光充電用のキャパシタ充電時間は間に合わない。しかし、フラッシュ発光源として、LED発光源や有機EL発光源を用いる場合には、1フレーム毎の発光は可能である。
【0078】
この場合、例えばnフレーム目の撮像におけるフラッシュ発光量の制御に、n−1フレーム目のフラッシュ発光結果を反映させれば良い。つまり、前回フレームにおけるフラッシュ発光を、上述した実施形態の「プリ発光」として取り扱い、このプリ発光の結果を画像解析して今回発光時の調光に用い、今回のフラッシュ発光における結果を画像解析し、次回フレームのフラッシュ発光の調光に用いる、という制御をフレーム毎(垂直同期(VD)信号毎)に繰り返せばよい。今回のフラッシュ発光の結果演算が次回フレームの発光に間に合わない場合には、今回のフラッシュ発光の結果を、次々回フレームの発光に反映させれば良い。
【0079】
以上述べた様に、実施形態の撮像装置は、半導体基板の上に複数の画素が二次元アレイ状に配列形成され各々の画素の上にカラーフィルタが積層されたCMOS型固体撮像素子と、前記画素のうち奇数行又は偶数行の一方の画素行でなる第1画素群と他方の画素行でなる第2画素群とに対し別々にグローバルリセット信号を印加するリセット信号印加手段と、該リセット信号印加手段が前記第1画素群と前記第2画素群の夫々に時間差を持って前記グローバルリセット信号を印加させたとき該時間差内でフラッシュ発光源をプリ発光させるフラッシュ発光手段と、該プリ発光が行われたとき前記第1画素群と前記第2画素群からの撮像画像データの読み出しを該第1画素群と該第2画素群で交互に行う撮像素子駆動手段と、前記第1画素群から読み出した前記撮像画像データと前記第2画素群から読み出した前記撮像画像データとの差分から本撮影時のフラッシュ発光量を調光する制御手段とを備えることを特徴とする。
【0080】
また、実施形態の撮像装置の前記制御手段は、前記プリ発光の全発光量を前記時間差内に入れる制御を行うことを特徴とする。
【0081】
また、実施形態の撮像装置の前記制御手段は、前記プリ発光の部分発光量だけを前記時間差内に入れる制御を行うことを特徴とする。
【0082】
また、実施形態の撮像装置の前記制御手段は、前記第1画素群の各画素行毎の露光時間に対する前記第2画素群の各画素行毎の露光時間との差に基づいて前記差分を補正し前記フラッシュ発光量の調光を行うことを特徴とする。
【0083】
また、実施形態の撮像装置の撮像素子駆動手段は、前記第1画素群と前記第2画素群からの前記撮像画像データの読み出しを、該第1画素群と該第2画素群で交互に、かつ1画素行毎に行うことを特徴とする。
【0084】
また、実施形態の撮像装置の撮像素子駆動手段は、前記第1画素群と前記第2画素群からの前記撮像画像データの読み出しを、該第1画素群と該第2画素群で交互に、かつ1画素毎に行うことを特徴とする。
【0085】
また、実施形態の撮像装置の前記撮像素子駆動手段は、前記CMOS型固体撮像素子の受光面の上部側から下部側に向かって前記撮像画像データを画素行順に読み出す第1駆動制御と、該受光面の下部側から上部側に向かって前記撮像画像データを画素行順に読み出す第2駆動制御とを切り換えて行うことを特徴とする。
【0086】
また、実施形態の撮像装置の前記撮像素子駆動手段は、前記上部側の被写体画像の露出値と前記下部側の被写体画像の露出値とを比較し、前記上部側と前記下部側のうち露出値が高い側から低い側に向かって画素行順に前記撮像画像データを読み出すことを特徴とする。
【0087】
また、実施形態の撮像装置のプリ発光制御方法は、半導体基板の上に複数の画素が二次元アレイ状に配列形成され各々の画素の上にカラーフィルタが積層されたCMOS型固体撮像素子を備える撮像装置のプリ発光制御方法であって、前記画素のうち奇数行又は偶数行の一方の画素行でなる第1画素群と他方の画素行でなる第2画素群とに対し別々にグローバルリセット信号を時間差を持って印加したとき、該時間差内でフラッシュ発光源をプリ発光させることを特徴とする。
【0088】
また、実施形態の撮像装置のプリ発光制御方法は、前記プリ発光の全発光量を前記時間差内に入れることを特徴とする。
【0089】
また、実施形態の撮像装置のプリ発光制御方法は、前記プリ発光の部分発光量だけを前記時間差内に入れることを特徴とする。
【0090】
また、実施形態のフラッシュ発光量調光方法は、上記のいずれかに記載の撮像装置のプリ発光制御方法が実行されたとき、前記プリ発光が行われたときの前記第1画素群による撮像画像データと前記第2画素群による撮像画像データとの差分から本撮影時のフラッシュ発光量を算出することを特徴とする。
【0091】
また、実施形態のフラッシュ発光量調光方法は、前記第1画素群の各画素行毎の露光時間に対する前記第2画素群の各画素行毎の露光時間との差に基づいて前記差分を補正し前記フラッシュ発光量の算出を行うことを特徴とする。
【0092】
以上述べた実施形態によれば、フラッシュ発光量の算出までのタイムラグを短くでき、外光の影響も小さくすることが可能となる。
【産業上の利用可能性】
【0093】
本発明に係る撮像装置は、精度の高いフラッシュ発光量の調光が可能となるため、デジタルカメラやカメラ付携帯電話機、PDAやノートパソコン等のカメラ付電子装置、内視鏡等の撮像装置一般に適用すると有用である。
【符号の説明】
【0094】
1 撮像装置
11 CMOS型固体撮像素子
15 システム制御部(CPU)
16 フラッシュ発光部
20 撮像素子駆動部
26 デジタル信号処理部
41 半導体基板
42 画素(フォトダイオード)
43 垂直走査回路
47 水平走査回路

【特許請求の範囲】
【請求項1】
半導体基板の上に複数の画素が二次元アレイ状に配列形成され各々の画素の上にカラーフィルタが積層されたCMOS型固体撮像素子と、前記画素のうち奇数行又は偶数行の一方の画素行でなる第1画素群と他方の画素行でなる第2画素群とに対し別々にグローバルリセット信号を印加するリセット信号印加手段と、該リセット信号印加手段が前記第1画素群と前記第2画素群の夫々に時間差を持って前記グローバルリセット信号を印加させたとき該時間差内でフラッシュ発光源をプリ発光させるフラッシュ発光手段と、該プリ発光が行われたとき前記第1画素群と前記第2画素群からの撮像画像データの読み出しを該第1画素群と該第2画素群で交互に行う撮像素子駆動手段と、前記第1画素群から読み出した前記撮像画像データと前記第2画素群から読み出した前記撮像画像データとの差分から本撮影時のフラッシュ発光量を調光する制御手段とを備える撮像装置。
【請求項2】
請求項1に記載の撮像装置であって、前記制御手段は、前記プリ発光の全発光量を前記時間差内に入れる制御を行う撮像装置。
【請求項3】
請求項1に記載の撮像装置であって、前記制御手段は、前記プリ発光の部分発光量だけを前記時間差内に入れる制御を行う撮像装置。
【請求項4】
請求項1乃至請求項3のいずれか1項に記載の撮像装置であって、前記制御手段は、前記第1画素群の各画素行毎の露光時間に対する前記第2画素群の各画素行毎の露光時間との差に基づいて前記差分を補正し前記フラッシュ発光量の調光を行う撮像装置。
【請求項5】
請求項1乃至請求項4のいずれか1項に記載の撮像装置であって、前記撮像素子駆動手段は、前記撮像画像データの読み出しを、前記第1画素群と前記第2画素群で交互に、かつ1画素行毎に行う撮像装置。
【請求項6】
請求項1乃至請求項4のいずれか1項に記載の撮像装置であって、前記撮像素子駆動手段は、前記撮像画像データの読み出しを、前記第1画素群と前記第2画素群で交互に、かつ1画素毎に行う撮像装置。
【請求項7】
請求項5又は請求項6に記載の撮像装置であって、前記撮像素子駆動手段は、前記CMOS型固体撮像素子の受光面の上部側から下部側に向かって前記撮像画像データを画素行順に読み出す第1駆動制御と、該受光面の下部側から上部側に向かって前記撮像画像データを画素行順に読み出す第2駆動制御とを切り換えて行う撮像装置。
【請求項8】
請求項7に記載の撮像装置であって、前記撮像素子駆動手段は、前記上部側の被写体画像の露出値と前記下部側の被写体画像の露出値とを比較し、前記上部側と前記下部側のうち露出値が高い側から低い側に向かって画素行順に前記撮像画像データを読み出す撮像装置。
【請求項9】
半導体基板の上に複数の画素が二次元アレイ状に配列形成され各々の画素の上にカラーフィルタが積層されたCMOS型固体撮像素子を備える撮像装置のプリ発光制御方法であって、前記画素のうち奇数行又は偶数行の一方の画素行でなる第1画素群と他方の画素行でなる第2画素群とに対し別々にグローバルリセット信号を時間差を持って印加したとき、該時間差内でフラッシュ発光源をプリ発光させる撮像装置のプリ発光制御方法。
【請求項10】
請求項9に記載の撮像装置のプリ発光制御方法であって、前記プリ発光の全発光量を前記時間差内に入れる撮像装置のプリ発光制御方法。
【請求項11】
請求項9に記載の撮像装置のプリ発光制御方法であって、前記プリ発光の部分発光量だけを前記時間差内に入れる撮像装置のプリ発光制御方法。
【請求項12】
請求項9乃至請求項11のいずれか1項に記載の撮像装置のプリ発光制御方法が実行されたとき、前記プリ発光が行われたときの前記第1画素群による撮像画像データと前記第2画素群による撮像画像データとの差分から本撮影時のフラッシュ発光量を算出するフラッシュ発光量調光方法。
【請求項13】
請求項12に記載のフラッシュ発光量調光方法であって、前記第1画素群の各画素行毎の露光時間に対する前記第2画素群の各画素行毎の露光時間との差に基づいて前記差分を補正し前記フラッシュ発光量の算出を行うフラッシュ発光量調光方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2011−232658(P2011−232658A)
【公開日】平成23年11月17日(2011.11.17)
【国際特許分類】
【出願番号】特願2010−104577(P2010−104577)
【出願日】平成22年4月28日(2010.4.28)
【出願人】(306037311)富士フイルム株式会社 (25,513)
【Fターム(参考)】