撮像装置、撮像処理方法及び撮像制御プログラム
【課題】長時間露光信号と短時間露光信号を合成してワイドダイナミック化する撮像装置において、長時間露光信号の高輝度部の飽和ムラや短時間露光信号の低輝度部の輝度信号や色信号のノイズが目立たない合成画像信号を得る。
【解決手段】第1の輝度信号処理部5Yで、撮像素子部2により得た長時間露光信号の輝度信号の第1の信号レベル以上及び短時間露光信号から得られる輝度信号の第2の信号レベル以下をクリップし、輝度信号合成部7Yにより合成して、少なくとも長時間露光画像信号又は短時間露光画像信号のダイナミックレンジのいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成する。短時間露光信号のクリップレベルは、長時間露光信号のクリップレベルを長時間露光信号を得るための長時間露光時間と短時間露光信号を得るための短時間露光時間との時間比で除算して得られる信号レベル以上とする。
【解決手段】第1の輝度信号処理部5Yで、撮像素子部2により得た長時間露光信号の輝度信号の第1の信号レベル以上及び短時間露光信号から得られる輝度信号の第2の信号レベル以下をクリップし、輝度信号合成部7Yにより合成して、少なくとも長時間露光画像信号又は短時間露光画像信号のダイナミックレンジのいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成する。短時間露光信号のクリップレベルは、長時間露光信号のクリップレベルを長時間露光信号を得るための長時間露光時間と短時間露光信号を得るための短時間露光時間との時間比で除算して得られる信号レベル以上とする。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、長時間露光画像信号と短時間露光画像とを合成してダイナミックレンジの広い合成画像信号を生成する撮像装置、撮像処理方法及び撮像制御プログラムに関する。
【背景技術】
【0002】
従来のCCD(Charge Coupled Device)等の固体撮像素子を用いた撮像装置では、撮像素子に入力される光量(露光量)を、絞りや電子シャッタースピードによって調節している。つまり、明るいシーンを撮像するときには撮像素子の出力信号が飽和していわゆる白つぶれ(露光過多:overexposure)が発生しないように露光量を少なくし、逆に暗いシーンではいわゆる黒つぶれ(露光不足:underexposure)が発生しないように露光量を多くするように、露光量を調節している。
【0003】
しかしながら、明暗の差が大きいシーンの撮像(逆光撮像、屋内外同時撮像)する場合、使用する固体撮像素子のダイナミックレンジ不足により、露光量の調節だけでは、明るい部分が飽和して白とびが発生してしまったり、暗い部分で黒つぶれが発生してしまい、両方の部分を適正に再現できないという問題がある。
【0004】
この問題を解決するために、フィールド内で二つの異なる電子シャッタースピードを使用したり、フィールドごとに電子シャッタースピードを変えて、明るいエリアの情報と暗いエリアの情報とを別々に撮像し、得られたそれぞれの情報を1枚の画像に合成する方法が既に開発されている(例えば、特許文献1参照)。
【0005】
また、これを応用したものとして、ダイナミックレンジの広い画像を撮像可能な装置(ワイドダイナミックレンジカメラ)があり、その合成画像の品質を向上させる装置・方法が提案されている(例えば、特許文献2、3参照)。
【0006】
一般に、撮像素子は、図13(A)に示すように、入射光量に対して出力電圧があるレベルで飽和する特性を持っており、画面全体では図13(B)に示すように画素毎に飽和レベルにバラツキがあり、映像としてはムラ状に見える問題となる。
【0007】
図13(C)に示すように、画素毎に飽和レベルにバラツキがある長時間露光信号と短時間露光信号とを合成してワイドダイナミックレンジ化を図ると、この飽和ムラは、図13(D)に示すように、合成後の信号では短時間露光信号の飽和ムラが出る高輝度側のみでなく長時間露光信号の飽和ムラが中輝度領域に出ることになる。
【0008】
飽和ムラを軽減する手法としては、撮像素子出力をピーククリップしてからAD変換する方法の他、AD変換する際の上限値を飽和ムラの発生するレベルより小さくする、AD変換後のデジタル信号に対して一定レベル以上の信号をクリップするなどの方法が知られている。
【0009】
例えば、固体撮像素子を通常のn倍速で駆動させるとともに、1フィールド内にn個のシャッタパルスを供給してシャッタ蓄積期間をきめ細かく制御することによって連続した諧調の画像出力が得られ、これらの画像出力をn個のフィールドメモリへホワイト・クリップをかけた後記憶させ、垂直同期パルスVDに同期して出力させた後に加算器により加算し合成出力することにより、1つの固体撮像素子を用いて安価に、飽和むらのないダイナミックレンジの広い固体撮像装置を提供することが出来るようにした固体撮像装置が提案されている(例えば、特許文献4参照)。
【0010】
また、露光量の異なる2種類の映像信号を合成してダイナミックレンジを拡大する固体撮像装置において、長時間露光信号のゲインおよび短時間露光信号のゲインを異なる値に設定するとともに、前記長時間露光信号のニーポイントおよび前記短時間露光信号のニーポイントを異なる値に設定する手段を備え、前記長時間露光信号のニーポイントを前記所定の輝度レベルより低いポイントに設定し、前記短時間露光信号のニーポイントを前記所定の輝度レベルより高いポイントに設定するものであり、長時間露光信号と短時間露光信号を合成することでダイナミックレンジの拡大を行い、長時間露光信号のニーポイントを合成レベルである所定の輝度レベルより低いポイントに設定し、短時間露光信号のニーポイントを合成レベルである所定の輝度レベルより高いポイントに設定することで、合成部分の階調感を改善することが行われている(例えば、特許文献5参照)。
【0011】
【特許文献1】特開平06−141229号公報
【特許文献2】特開2002−84449号公報
【特許文献3】特開2004−120205号公報
【特許文献4】特開平09−200621号公報
【特許文献5】特許第3642245号公報
【発明の開示】
【発明が解決しようとする課題】
【0012】
しかしながら、長時間露光信号と短時間露光信号を合成してワイドダイナミックレンジ化を行う撮像装置においては、ピーククリップ処理のみでは中輝度部の飽和ムラに見える現象が完全になくならない問題が生じていた。1垂直同期期間に2回露光を行う形式の撮像素子においては短時間露光時間が垂直ブランキング期間以内にしないといけないために、長時間露光時間を最長として使用すると長時間露光時間と短時間露光時間の比率は約20倍以上となり、同一光量から得られる撮像素子出力信号量はその露光比分異なることになって露光比分短時間露光側の信号はSNが劣っている。
【0013】
また、長時間露光信号のレベルの高い方と短時間露光信号のレベルの低い方の諧調をなめらかにつなぐ特性を重視した処理を行うと、短時間露光信号側の低輝度部のSNの悪さなどが目立ち、短時間露光信号側の暗部が合成によって中輝度部の出力レベルとなるために、中輝度部の飽和ムラなどに見える現象が目立つ問題があった。
【0014】
そこで、本発明の目的は、上述の如き従来の実情に鑑み、長時間露光信号と短時間露光信号を合成してワイドダイナミック化する撮像装置において、長時間露光信号の高輝度部の飽和ムラや短時間露光信号の低輝度部の輝度信号や色信号のノイズが目立たないダイナミックレンジが広い合成画像信号を得ることにある。
【0015】
本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施の形態の説明から一層明らかにされる。
【課題を解決するための手段】
【0016】
本発明では、撮像素子により単位期間に露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を得て、長時間露光信号から得られる輝度信号の第1の信号レベル以上をクリップし、短時間露光信号から得られる輝度信号の一定レベル以下をクリップし、各クリップ処理が施された長時間露光画像信号と短時間露光画像信号とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジのいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成する。
【0017】
すなわち、本発明に係る撮像装置は、単位期間に露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を出力する撮像素子と、上記撮像素子により得られた長時間露光信号から得られる輝度信号の第1の信号レベル以上をクリップする第1のクリップ処理手段と、上記撮像素子により得られた短時間露光信号から得られる輝度信号の第1の信号レベル以下をクリップする第2のクリップ処理手段と、上記第1のクリップ手段によるクリップ処理が施された長時間露光画像信号と上記第1のクリップ手段によるクリップ処理が施された短時間露光画像信号とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジのいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成する信号処理手段とを備え、上記第2のクリップ処理手段による短時間露光信号のクリップレベルは、上記第1のクリップ処理手段による長時間露光信号のクリップレベルを上記撮像素子により上記長時間露光信号を得るための長時間露光時間と上記短時間露光信号を得るための短時間露光時間との時間比で除算して得られる信号レベル以上としたことを特徴とする。
【0018】
また、本発明に係る撮像処理方法は、撮像素子により単位期間に露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を得る撮像ステップと、上記撮像ステップで得られた長時間露光信号から得られる輝度信号の第1の信号レベル以上をクリップする第1のクリップ処理ステップと、上記撮像ステップで得られた短時間露光信号から得られる輝度信号の第1の信号レベル以下をクリップする第2のクリップ処理ステップと、上記第1のクリップ処理ステップでクリップ処理が施された長時間露光画像信号と上記第1のクリップ処理ステップでクリップ処理が施された短時間露光画像信号とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジのいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成する信号処理ステップとを有し、上記第2のクリップ処理ステップにおける短時間露光信号のクリップレベルは、上記第1のクリップ処理ステップにおける長時間露光信号のクリップレベルを上記撮像素子により上記長時間露光信号を得るための長時間露光時間と上記短時間露光信号を得るための短時間露光時間との時間比で除算して得られる信号レベル以上としたことを特徴とする。
【0019】
さらに、本発明は、撮像制御プログラムであって、撮像素子を制御して単位期間に露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を得る撮像ステップと、上記撮像ステップで得られた長時間露光信号から得られる輝度信号の第1の信号レベル以上の部分をクリップする第1のクリップ処理ステップと、上記撮像ステップで得られた短時間露光信号から得られる輝度信号の第2の信号レベル以下の部分をクリップする第2のクリップ処理ステップと、上記第1のクリップ処理ステップでクリップ処理が施された長時間露光画像信号と上記第1のクリップ処理ステップでクリップ処理が施された短時間露光画像信号とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジのいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成する信号処理ステップとを有し、上記第2の信号レベルは、上記第1の信号レベルを上記撮像素子により上記長時間露光信号を得るための長時間露光時間と上記短時間露光信号を得るための短時間露光時間との時間比で除算して得られる信号レベル以上としたことを特徴とする撮像処理方法をコンピュータに実行させることを特徴とする。
【発明の効果】
【0020】
本発明によれば、長時間露光信号と短時間露光信号を合成してワイドダイナミック化する撮像装置において、長時間露光信号から得られる輝度信号の第1の信号レベル以上をクリップし、短時間露光信号から得られる輝度信号の第2の信号レベル以下をクリップし、各クリップ処理が施された長時間露光画像信号と短時間露光画像信号とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジのいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成することにより、長時間露光信号の高輝度部の飽和ムラや短時間露光信号の低輝度部の輝度信号や色信号のノイズが目立たないダイナミックレンジが広い合成画像信号を得ることができる。
【0021】
すなわち、短時間露光信号の低輝度部をクリップしても、該クリップ部には長時間露光信号側に有効な映像があるので、ワイドダイナミック化した映像信号において失われる映像部分は少なくできる。ワイドダイナミック化を求められる撮影条件は撮像素子自体のダイナミックレンジを数倍大きくすることでなく、長時間露光で有効となる被写体と短時間露光で有効となる被写体の光量比が10数倍以上ある時であるので、ワイドダイナミックレンジ化の効果はほとんど低下しない。
【発明を実施するための最良の形態】
【0022】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、本発明は以下の例に限定されるものではなく、本発明の要旨を逸脱しない範囲で、任意に変更可能であることは言うまでもない。
【0023】
本発明は、例えば図1に示すような構成の撮像装置10に適用される。
【0024】
この撮像装置10は、撮像光学系1、撮像素子部2、前処理部3、YC分離部4、第1の輝度信号処理部5Y、第1の色信号処理部5C 遅延部6Y,6C、輝度信号合成部7Y、色信号合成部7C、第2の輝度信号処理部8Y、第2の色信号処理部8C、出力部9、タイミングジェネレータ11、制御部12などを備える。
【0025】
撮像光学系1は、レンズや不要な波長を除去する光学フィルタ、絞り等の光学部品を備える。被写体から入射された光は撮像光学系1における各光学部品を介して撮像素子部2に導かれる。
【0026】
撮像素子部2は、例えばCCDセンサアレイ、CMOSセンサアレイなどの固体撮像素子部として構成される。この撮像素子部2は、撮像光学系1を介して導かれた光を光電変換し、撮像画像としての電気信号を出力するもので、この撮像装置10では、図2に示すように、1垂直同期期間に、長時間露光と短時間露光を行い、長時間露光画像信号と短時間露光画像信号としての電気信号を時分割出力する。この撮像素子部2は、例えば、通常の2倍の段数の垂直転送段数が設けられたインターライントランスファ型CCDイメージセンサを備え、1垂直同期期間毎の垂直ブランキング期間内で光電変換部からを垂直転送段に撮像電荷の読み出しを2度行い、その2度の読み出しの間に垂直転送段に読み出した撮像電荷の転送することによって、垂直有効期間の始まりの直前に垂直転送段には長時間露光の信号電荷と短時間露光の信号電荷が並び、水平転送段を2倍の速度で駆動して撮像電荷を読み出すことで、図3に示すように、1水平同期期間に1列分の長時間露光信号SSLと短時間露光信号SSを出力し、1列目の長時間露光信号と短時間露光信号、2列目の長時間露光信号と短時間露光信号、3列目の長時間露光信号と短時間露光信号、・・・と順次出力するものである。
【0027】
なお、撮像素子部2は、固体撮像素子を用いる構成に限られない。例えば撮像管のような非固体撮像素子を用いる構成でも良い。非固体撮像素子についても、メカニカルシャッタ、液晶シャッタ等を利用して、長時間露光、短時間露光を行ったり、通常露光、長時間露光、短時間露光の露光時間を変化させることは可能である。
【0028】
ここで、合成撮像モードについて述べておく。
【0029】
一般的に使用される撮像装置における通常の撮像動作では、被写体における非常に暗い部分から非常に明るい部分までの広範囲にわたるダイナミックレンジを扱うことが困難である。例えば晴天の昼間の時間帯に,屋外が見える状態で、屋内において撮像する場合、屋内の被写体に露光基準を合わせると、屋外の部分が階調を失い白とびしてしまう。また、逆に屋外の部分に露光基準を合わせれば、屋内の被写体が黒つぶれしてしまう。即ち被写体内での輝度差が著しい場合、その輝度のダイナミックレンジに対応した撮像画像を得ることが困難となる。
【0030】
これに対して合成撮像モードの撮像動作では、例えば電子シャッタでシャッタ速度を変えて、露光時間の異なる複数の画像を合成する処理を行うことにより、ダイナミックレンジの広い、白とびや黒つぶれの生じない撮像画像を得るようにしている。
【0031】
ここで、図2は、撮像素子部2での、1垂直同期期間内の露光時間と蓄積される露光量(電荷量)を示している。
【0032】
この図2では、1/60秒の1垂直同期期間において、1/64秒の長時間露光と、1/2000秒の短時間露光を行う場合を示している。なお、長時間露光時間と短時間露光時間は可変制御可能である。
【0033】
この長時間露光と短時間露光を行うことで、1垂直同期期間に、長時間露光画像信号SLと短時間露光画像信号SSを得る。そしてこの両画像信号を合成することで1フィールドの撮像画像データが生成される。
【0034】
なお、長時間露光と短時間露光は、必ずしも1垂直同期期間に行わなければならないものではなく、或る垂直同期期間に長時間露光を行い、次の垂直同期期間に短時間露光を行って、各露光画像信号を合成するような処理も考えられる。
【0035】
この撮像装置10における前処理部3は、いわゆるアナログフロントエンドであり、撮像素子部2から出力される撮像画像としての電気信号に対してCDS(correlated double sampling :相関2重サンプリング)処理、プログラマブルゲインアンプによるゲイン処理、A/D変換処理を行う。そして、これらの処理を行った露光画像信号をYC分離部4に供給する。
【0036】
YC分離部4は、前処理部3から供給される長時間露光信号と短時間露光信号それぞれを長時間露光輝度信号YL及び短時間露光輝度信号YSと長時間露光色信号CL及び短時間露光色信号CSに分離する。そして、このYC分離部4により分離された長時間露光輝度信号YL及び短時間露光輝度信号YSは、第1の輝度信号処理部5Yに時分割的に順次供給され、また、長時間露光色信号CL及び短時間露光色信号CSは、第1の色信号処理部5Cに時分割的に順次供給される。
【0037】
第1の輝度信号処理部5Yは、上記YC分離部4から時分割的に順次供給される長時間露光輝度信号YL及び短時間露光輝度信号YSを合成する前に、長時間露光画像信号YLに対して短時間露光画像信号YSの輝度レベルを一致させるゲイン処理等を行う。この第1の輝度信号処理部5Yによる信号処理が施された長時間露光輝度信号YL及び短時間露光輝度信号YSは、輝度信号合成部7Yに直接供給されるとともに、同時化するための遅延部6Yを介して輝度信号合成部7Yに供給される。
【0038】
輝度信号合成部7Yは、上記第1の輝度信号処理部5Yから直接及び遅延部6Yを介して供給される同時化された長時間露光輝度信号YLと短時間露光輝度信号YSとを合成してダイナミックレンジの広い輝度信号YWを生成する。この輝度信号合成部7Yにより合成された輝度信号YWは、第2の輝度信号処理部8Yを介して出力部9に供給される。
【0039】
第2の輝度信号処理部8Yは、上記輝度信号合成部7Yにより合成されたワイドダイナミックレンジ化された輝度信号YWに対してガンマ補正処理等の輝度信号処理を施す。
【0040】
また、第1の色信号処理部5Cは、上記YC分離部4から時分割的に順次供給される長時間露光色信号CL及び短時間露光色信号CSを合成する前に、長時間露光色信号CLに対して長時間露光色信号CSの信号レベルを一致させるゲイン処理等を行う。この第1の色信号処理部5Cによる信号処理が施された長時間露光色信号CL及び短時間露光色信号CSは、色信号合成部7Cに直接供給されるとともに、同時化するための遅延部6Cを介して色信号合成部7Cに供給される。
【0041】
色信号合成部7Cは、上記第1の色信号処理部5Cから直接及び遅延部6Cを介して供給される同時化された長時間露光色信号CLと短時間露光色信号CSとを合成してダイナミックレンジの広い色信号CWを生成する。この色信号合成部7Cにより生成された色信号CWは、第2の色信号処理部8Cを介して出力部9に供給される。
【0042】
第2の色信号処理部8Cは、上記色信号合成部7Cにより合成されたワイドダイナミックレンジ化された色信号CWに対してホワイトバランス処理等の色信号処理を施す。
【0043】
出力部9は、モニタディスプレイにおける表示のための処理や、或いは外部機器への送信のための処理を行うもので、上記第2の輝度信号処理部8Yを介して供給されるワイドダイナミックレンジ化された輝度信号YWと上記第2の色信号処理部8Cを介して供給されるワイドダイナミックレンジ化された色信号CWから、出力フォーマットに合致した映像信号にエンコードした撮像出力信号を出力する。
【0044】
タイミングジェネレータ11は、例えばCCDイメージセンサなどの撮像素子部2に必要な動作パルスを生成する。例えば垂直転送のための4相パルス、フィールドシフトパルス、水平転送のための2相パルス、シャッタパルスなどの各種パルスを生成し、撮像素子部2に供給する。このタイミングジェネレータ11により撮像素子部2を駆動(電子シャッタ機能)させることが可能となる。このタイミングジェネレータ11は、制御部9から合成撮像モードが指示されることにより、撮像素子部2に図2のような露光時間が相対的に長い長時間露光と、露光時間が相対的に短い短時間露光を実行させる。
【0045】
また、このタイミングジェネレータ11は、合成撮像モードにおける長時間露光期間をハイレベルで示し、また、短時間露光期間をローレベルで示す露光判別信号を上記第1の第1の輝度信号処理部5Yと第1の色信号処理部5Cに供給する。
【0046】
制御部12は、例えばCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、フラッシュメモリなどを有するマイクロコンピュータによって構成され、撮像装置10の全体の動作を制御する。制御部9におけるROMには、これらの制御処理を実行させる撮像制御プログラムが格納されており、該撮像制御プログラムに基づいて、上記各制御のための必要な演算・制御処理を実行する。
【0047】
この撮像装置10において、第1の輝度信号処理部5Yでは、長時間露光輝度信号YLには、その飽和信号のばらつきの発生する信号レベルより小さい値LLP以上をクリップするピーククリップ処理を施すことにより、図4に示すような特性を与え、また、短時間露光輝度信号YSには、その飽和信号のばらつきの発生する信号レベルより小さい値LSP以上をクリップするピーククリップ処理を施すとともに一定値LSD以下の信号をクリップするダーククリップ処理を施すことにより、図5に示すような特性を与える。
【0048】
ここで、長時間露光時間をTL、短時間露光時間をTSとしたときに、短時間露光信号YSに施すダーククリップ処理のクリップレベルの値LSDを
LSD≧LLP÷(TL/TS)
に設定してある。
【0049】
すなわち、上記短時間露光輝度信号YSに施すダーククリップ処理のクリップレベルの値LSDは、上記長時間露光輝度信号YSに施すピーククリップのクリップレベルの値LLPを上記撮像素子部2により長時間露光信号を得るための長時間露光時間TLと短時間露光信号を得るための短時間露光時間TSとの時間比(TL/TS)で除算して得られる信号レベル以上としてある。
【0050】
そして、輝度信号合成部7Yにおいて、図6に示すように、LLP=LSDとして、長時間露光輝度信号YLと短時間露光輝度信号YSを合成してワイドダイナミックレンジ化した輝度信号YWを生成する。
【0051】
すなわち、この撮像装置10では、撮像素子部2により単位期間に露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を得て、第1の輝度信号処理部5Yにより、上記長時間露光信号から得られる輝度信号YLの第1の信号レベル以上をクリップするピーククリップ処理を施し、上記短時間露光信号から得られる輝度信号YSの第2の信号レベル以下をクリップするダーククリップ処理を施し、上記短時間露光輝度信号YSに施すダーククリップ処理のクリップレベルの値LSDは、上記長時間露光輝度信号YSに施すピーククリップのクリップレベルの値LLPを上記撮像素子部2により長時間露光信号を得るための長時間露光時間TLと短時間露光信号を得るための短時間露光時間TSとの時間比(TL/TS)で除算して得られる信号レベル以上とし、輝度信号合成部7Yにおいて、LLP=LSDとして、長時間露光輝度信号YLと短時間露光輝度信号YSを合成してワイドダイナミックレンジ化した輝度信号YWを生成する。
【0052】
このように、長時間露光信号と短時間露光信号を合成してワイドダイナミック化する撮像装置10において、長時間露光信号から得られる輝度信号YLの第1の信号レベル以上をクリップし、短時間露光信号から得られる輝度信号YSの第2の信号レベル以下をクリップし、各クリップ処理が施された長時間露光画像信号と短時間露光画像信号とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジのいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成することにより、長時間露光信号の高輝度部の飽和ムラや短時間露光信号の低輝度部の輝度信号や色信号のノイズが目立たないダイナミックレンジが広い合成画像信号を得ることができる。
【0053】
すなわち、短時間露光信号の低輝度部をクリップしても、該クリップ部には長時間露光信号側に有効な映像があるので、ワイドダイナミック化した映像信号において失われる映像部分は少なくできる。ワイドダイナミック化を求められる撮影条件は撮像素子自体のダイナミックレンジを数倍大きくすることでなく、長時間露光で有効となる被写体と短時間露光で有効となる被写体の光量比が10数倍以上ある時であるので、ワイドダイナミックレンジ化の効果はほとんど低下しない。
【0054】
ここで、上述の如きクリップ処理を行う上記第1の輝度信号処理部5Yは、原理的には、長時間露光信号から得られる輝度信号の第1の信号レベル以上をクリップする第1のクリップ処理手段と、上記撮像素子により得られた短時間露光信号から得られる輝度信号の第2の信号レベル以下をクリップする第2のクリップ処理手段を備えるものであるが、例えば、図7に示すように、単一のクリップ回路で上述のクリップ処理を行うものとすることができる。
【0055】
この図7に示す第1の輝度信号処理部5Yは、入力端子51に供給される輝度信号にクリップ処理を施し、クリップ処理済みの輝度信号を出力端子52から出力するクリップ回路50と、上記タイミングジェネレータ11から露光判別信号入力端子53に供給される露光判別信号により切り換え制御される切り替え回路54と、上記制御部12により与えられる短時間露光時間用クリップレベル値を保持するレジスタ55と、上記制御部12により与えられる長時間露光時間用クリップレベル値を保持するレジスタ56を備え、上記レジスタ55、56に保持された各クリップレベル値が上記切り替え回路54を介して上記クリップ回路50に与えられるようになっている。
【0056】
この第1の輝度信号処理部5Yにおいて、切り替え回路54は、上記タイミングジェネレータ11から、図8に示しように、長時間露光期間をハイレベル「H」で示し、また、短時間露光期間をローレベル「L」で示す露光判別信号が露光判別信号入力端子53に供給されることにより、上記露光判別信号がローレベル「L」となる短時間露光期間にレジスタ55側の値を有効にし、上記露光判別信号がハイレベル「H」となる長時間露光期間にレジスタ56側の値が有効にするように動作する。
【0057】
そして、クリップ回路50は、図9に示すように入力レベルIA以下を出力レベルOAにクリップして、入力レベルIB以上を出力レベルOBにクリップするもので、上記制御部12により短時間露光時間用クリップレベル値としてレジスタ55に与えられる設定値をIA=ESD、IB=ESPとし、また、上記制御部12により長時間露光時間用クリップレベル値としてレジスタ76に与えられる設定値をIA=0、IB=ELPとすることによって、長時間露光輝度信号YLに対しては上述の図4に示した特性を与え、短時間露光輝度信号YSに対しては上述の図5に示した特性を与えることができる。
【0058】
ここで、上記撮像装置10において、第1の色信号処理部5C〜色信号合成部8Cは、上記第1の輝度信号処理部5Y〜輝度信号合成部8Yにより生成されるワイドダイナミックレンジ化した輝度信号YWに対応する色信号CWを上記第1の輝度信号処理部5Y〜輝度信号合成部8Yと同様な動作により生成するが、色信号合成部7Cにおいて、短時間露光輝度信号YSのクリップレベル以下の領域の短時間露光色信号CSを用いずに色信号を合成するようにすれば、低輝度部分での色信号のノイズをさらに目立たないようにすることができる。
【0059】
上記撮像装置10における低輝度部分での色信号のノイズをさらに目立たないように改良した撮像装置100の構成を図10のブロック図に示す。
【0060】
図10に示す撮像装置100において、上記撮像装置10と同一の構成要素には同一符号を付して、その詳細な説明を省略する。
【0061】
この撮像装置100では、第1の輝度信号処理部5Yから第1の色信号処理部5Cに制御信号が与えられるようになっている。
【0062】
上記制御信号は、図11に示すように、短時間露光輝度信号YSがダーククリップレベル以下の時にハイレベル「H」でそれ以外がローレベル「L」である信号である。
【0063】
第1の色信号処理部5Cでは、図12に示すように、長時間露光色信号CLと短時間露光色信号CSが1列ずつ順次入力され、上記タイミングジェネレータ11から供給される露光判別信号がハイレベル「H」となる長時間露光期間には、長時間露光に対応した色信号ゲインを長時間露光色信号CLにかけ、また、上記露光判別信号がローレベル「L」となる短時間露光期間には、短時間露光に対応した色信号ゲインを短時間露光色信号CSにかける。
【0064】
さらに、上記第1の色信号処理部5Cは、上記第1の輝度信号処理部5Yから与えられる制御信号がハイレベル「H」の期間、すなわち、短時間露光輝度信号YSがダーククリップ以下のレベルである期間に短時間露光色信号CSにかける色信号ゲインを0にする処理を行う。
【0065】
このように、短時間露光輝度信号YSがダーククリップ以下のレベルである期間に短時間露光色信号CSにかかる色信号ゲインを0にすることによって、低輝度部分での色信号のノイズが目立たないダイナミックレンジが広い合成画像信号を得ることができる。
【0066】
この撮像装置10において、上記制御部12は、当該制御部12を構成するマイクロコンピュータによって撮像制御プログラムを実行することにより、上記第1の輝度信号処理部5Yにおける短時間露光輝度信号YSのクリップレベルは、上記長時間露光輝度信号YLのクリップレベルを上記撮像素子部2により上記長時間露光信号を得るための長時間露光時間TLと上記短時間露光信号を得るための短時間露光時間TSとの時間比(TL/TS)で除算して得られる信号レベル以上とし、輝度信号合成部7Yにおいて、LLP=LSDとして、長時間露光信号のクリップレベルと短時間露光信号のクリップレベルを一致させた状態で上記各クリップ処理が施された長時間露光輝度信号と短時間露光輝度信号を上記長時間露光信号のクリップレベルと上記短時間露光信号のクリップレベルを一致させた状態で合成してワイドダイナミックレンジ化した輝度信号を生成する制御を行う。
【0067】
さらに、この撮像装置10において、本発明に係る撮像制御プログラムは、上述した制御部12を構成するマイクロコンピュータによって実行される撮像制御プログラムであって、上記制御部12は、当該制御部12を構成するマイクロコンピュータによって撮像制御プログラムを実行することにより、上記第1の輝度信号処理部5Yにおける短時間露光輝度信号YSのクリップレベルは、上記長時間露光輝度信号YLのクリップレベルを上記撮像素子部2により上記長時間露光信号を得るための長時間露光時間TLと上記短時間露光信号を得るための短時間露光時間TSとの時間比(TL/TS)で除算して得られる信号レベル以上とし、輝度信号合成部7Yにおいて、LLP=LSDとして、長時間露光信号のクリップレベルと短時間露光信号のクリップレベルを一致させた状態で上記各クリップ処理が施された長時間露光輝度信号と短時間露光輝度信号を上記長時間露光信号のクリップレベルと上記短時間露光信号のクリップレベルを一致させた状態で合成してワイドダイナミックレンジ化した輝度信号を生成する制御を行う。
【0068】
このようなプログラムは、パーソナルコンピュータや、撮像装置等の機器に内蔵されている記録媒体としてのHDDや、CPUを有するマイクロコンピュータ内のROMやフラッシュメモリ等に予め記録しておくことができる。
【0069】
あるいはまた、フレキシブルディスク、CD−ROM(Compact Disc Read Only Memory)、MO(Magnet optical)ディスク、DVD(Digital Versatile Disc)、ブルーレイディスク、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
【0070】
また、本発明のプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
【0071】
以上、実施の形態を説明してきたが、本発明としては多様な変形例が考えられる。
【0072】
例えば、本発明は動画撮像を行うカメラシステムに適用できるが、静止画撮像を行うカメラシステムにも適用できる。設定露光モードで静止画撮像を行う場合であっても、例えば撮像タイミングに至までのモニタリング中に、各フィールド期間で上述のような露光制御(短時間露光時間の制御)を行えばよい。また、例えばノンインターレーススキャン方式の撮像を行う場合、上述してきたフィールド期間の処理はフレーム期間の処理として考えればよい。もちろん、スキャン方式に限らず、画像信号の単位期間とは、フィールド期間、フレーム期間、複数フィールド期間、複数フレーム期間などとして、多様に考えられる。例えば複数フレーム期間ごとに1回の割合で、露光制御処理が行われるような動作例も考えられる。
【図面の簡単な説明】
【0073】
【図1】本発明を適用した構成の撮像装置の構成を示すブロック図である。
【図2】上記撮像装置における長時間露光と短時間露光の説明図である。
【図3】上記撮像装置において撮像素子部から1水平同期期間毎に出力される長時間露光信号と短時間露光信号を模式的に示す図である。
【図4】上記撮像素子部において得られる長時間露光信号を模式的に示す図である。
【図5】上記撮像素子部において得られる短時間露光信号を模式的に示す図である。
【図6】上記撮像装置における長時間露光信号と短時間露光信号の合成処理の説明図である。
【図7】上記撮像装置においてクリップ処理を行う第1の輝度信号処理部の構成例を示すブロック図である。
【図8】上記撮像装置において、 図7に示した第1の輝度信号処理部に上記タイミングジェネレータ11から与えられる露光判別信号を模式的に示す図である。
【図9】上記図7に示した第1の輝度信号処理部におけるクリップ回路の動作を模式的に示す図である。
【図10】本発明を適用した構成の撮像装置の他の構成例を示すブロック図である。
【図11】上記撮像装置において、第1の輝度信号処理部から第1の色信号処理部に与えられる制御信号を模式的に示す図である。
【図12】上記上記撮像装置における長時間露光色信号と短時間露光色信号に対する上記第1の色信号処理部によるゲイン処理を模式的に示す図である。
【図13】画素毎に飽和レベルにバラツキがある長時間露光信号と短時間露光信号とを合成してワイドダイナミックレンジ化を図ることにより生じる飽和ムラの発生状況を模式的に示す図である。
【符号の説明】
【0074】
1 撮像光学系、2 撮像素子部,3 前処理部、4 YC分離部、5Y 第1の輝度信号処理部 5C 第1の色信号処理部、6Y,6C 遅延部、7Y 輝度信号合成部、7C 色信号合成部、8Y 第2の輝度信号処理部 8C 第2の色信号処理部、9 出力部、10,100 撮像装置、11 タイミングジェネレータ、12 制御部、50 クリップ回路、51 入力端子、52 出力端子、53 露光判別信号、入力端子54 切り換え回路、55,56 レジスタ
【技術分野】
【0001】
本発明は、長時間露光画像信号と短時間露光画像とを合成してダイナミックレンジの広い合成画像信号を生成する撮像装置、撮像処理方法及び撮像制御プログラムに関する。
【背景技術】
【0002】
従来のCCD(Charge Coupled Device)等の固体撮像素子を用いた撮像装置では、撮像素子に入力される光量(露光量)を、絞りや電子シャッタースピードによって調節している。つまり、明るいシーンを撮像するときには撮像素子の出力信号が飽和していわゆる白つぶれ(露光過多:overexposure)が発生しないように露光量を少なくし、逆に暗いシーンではいわゆる黒つぶれ(露光不足:underexposure)が発生しないように露光量を多くするように、露光量を調節している。
【0003】
しかしながら、明暗の差が大きいシーンの撮像(逆光撮像、屋内外同時撮像)する場合、使用する固体撮像素子のダイナミックレンジ不足により、露光量の調節だけでは、明るい部分が飽和して白とびが発生してしまったり、暗い部分で黒つぶれが発生してしまい、両方の部分を適正に再現できないという問題がある。
【0004】
この問題を解決するために、フィールド内で二つの異なる電子シャッタースピードを使用したり、フィールドごとに電子シャッタースピードを変えて、明るいエリアの情報と暗いエリアの情報とを別々に撮像し、得られたそれぞれの情報を1枚の画像に合成する方法が既に開発されている(例えば、特許文献1参照)。
【0005】
また、これを応用したものとして、ダイナミックレンジの広い画像を撮像可能な装置(ワイドダイナミックレンジカメラ)があり、その合成画像の品質を向上させる装置・方法が提案されている(例えば、特許文献2、3参照)。
【0006】
一般に、撮像素子は、図13(A)に示すように、入射光量に対して出力電圧があるレベルで飽和する特性を持っており、画面全体では図13(B)に示すように画素毎に飽和レベルにバラツキがあり、映像としてはムラ状に見える問題となる。
【0007】
図13(C)に示すように、画素毎に飽和レベルにバラツキがある長時間露光信号と短時間露光信号とを合成してワイドダイナミックレンジ化を図ると、この飽和ムラは、図13(D)に示すように、合成後の信号では短時間露光信号の飽和ムラが出る高輝度側のみでなく長時間露光信号の飽和ムラが中輝度領域に出ることになる。
【0008】
飽和ムラを軽減する手法としては、撮像素子出力をピーククリップしてからAD変換する方法の他、AD変換する際の上限値を飽和ムラの発生するレベルより小さくする、AD変換後のデジタル信号に対して一定レベル以上の信号をクリップするなどの方法が知られている。
【0009】
例えば、固体撮像素子を通常のn倍速で駆動させるとともに、1フィールド内にn個のシャッタパルスを供給してシャッタ蓄積期間をきめ細かく制御することによって連続した諧調の画像出力が得られ、これらの画像出力をn個のフィールドメモリへホワイト・クリップをかけた後記憶させ、垂直同期パルスVDに同期して出力させた後に加算器により加算し合成出力することにより、1つの固体撮像素子を用いて安価に、飽和むらのないダイナミックレンジの広い固体撮像装置を提供することが出来るようにした固体撮像装置が提案されている(例えば、特許文献4参照)。
【0010】
また、露光量の異なる2種類の映像信号を合成してダイナミックレンジを拡大する固体撮像装置において、長時間露光信号のゲインおよび短時間露光信号のゲインを異なる値に設定するとともに、前記長時間露光信号のニーポイントおよび前記短時間露光信号のニーポイントを異なる値に設定する手段を備え、前記長時間露光信号のニーポイントを前記所定の輝度レベルより低いポイントに設定し、前記短時間露光信号のニーポイントを前記所定の輝度レベルより高いポイントに設定するものであり、長時間露光信号と短時間露光信号を合成することでダイナミックレンジの拡大を行い、長時間露光信号のニーポイントを合成レベルである所定の輝度レベルより低いポイントに設定し、短時間露光信号のニーポイントを合成レベルである所定の輝度レベルより高いポイントに設定することで、合成部分の階調感を改善することが行われている(例えば、特許文献5参照)。
【0011】
【特許文献1】特開平06−141229号公報
【特許文献2】特開2002−84449号公報
【特許文献3】特開2004−120205号公報
【特許文献4】特開平09−200621号公報
【特許文献5】特許第3642245号公報
【発明の開示】
【発明が解決しようとする課題】
【0012】
しかしながら、長時間露光信号と短時間露光信号を合成してワイドダイナミックレンジ化を行う撮像装置においては、ピーククリップ処理のみでは中輝度部の飽和ムラに見える現象が完全になくならない問題が生じていた。1垂直同期期間に2回露光を行う形式の撮像素子においては短時間露光時間が垂直ブランキング期間以内にしないといけないために、長時間露光時間を最長として使用すると長時間露光時間と短時間露光時間の比率は約20倍以上となり、同一光量から得られる撮像素子出力信号量はその露光比分異なることになって露光比分短時間露光側の信号はSNが劣っている。
【0013】
また、長時間露光信号のレベルの高い方と短時間露光信号のレベルの低い方の諧調をなめらかにつなぐ特性を重視した処理を行うと、短時間露光信号側の低輝度部のSNの悪さなどが目立ち、短時間露光信号側の暗部が合成によって中輝度部の出力レベルとなるために、中輝度部の飽和ムラなどに見える現象が目立つ問題があった。
【0014】
そこで、本発明の目的は、上述の如き従来の実情に鑑み、長時間露光信号と短時間露光信号を合成してワイドダイナミック化する撮像装置において、長時間露光信号の高輝度部の飽和ムラや短時間露光信号の低輝度部の輝度信号や色信号のノイズが目立たないダイナミックレンジが広い合成画像信号を得ることにある。
【0015】
本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施の形態の説明から一層明らかにされる。
【課題を解決するための手段】
【0016】
本発明では、撮像素子により単位期間に露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を得て、長時間露光信号から得られる輝度信号の第1の信号レベル以上をクリップし、短時間露光信号から得られる輝度信号の一定レベル以下をクリップし、各クリップ処理が施された長時間露光画像信号と短時間露光画像信号とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジのいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成する。
【0017】
すなわち、本発明に係る撮像装置は、単位期間に露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を出力する撮像素子と、上記撮像素子により得られた長時間露光信号から得られる輝度信号の第1の信号レベル以上をクリップする第1のクリップ処理手段と、上記撮像素子により得られた短時間露光信号から得られる輝度信号の第1の信号レベル以下をクリップする第2のクリップ処理手段と、上記第1のクリップ手段によるクリップ処理が施された長時間露光画像信号と上記第1のクリップ手段によるクリップ処理が施された短時間露光画像信号とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジのいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成する信号処理手段とを備え、上記第2のクリップ処理手段による短時間露光信号のクリップレベルは、上記第1のクリップ処理手段による長時間露光信号のクリップレベルを上記撮像素子により上記長時間露光信号を得るための長時間露光時間と上記短時間露光信号を得るための短時間露光時間との時間比で除算して得られる信号レベル以上としたことを特徴とする。
【0018】
また、本発明に係る撮像処理方法は、撮像素子により単位期間に露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を得る撮像ステップと、上記撮像ステップで得られた長時間露光信号から得られる輝度信号の第1の信号レベル以上をクリップする第1のクリップ処理ステップと、上記撮像ステップで得られた短時間露光信号から得られる輝度信号の第1の信号レベル以下をクリップする第2のクリップ処理ステップと、上記第1のクリップ処理ステップでクリップ処理が施された長時間露光画像信号と上記第1のクリップ処理ステップでクリップ処理が施された短時間露光画像信号とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジのいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成する信号処理ステップとを有し、上記第2のクリップ処理ステップにおける短時間露光信号のクリップレベルは、上記第1のクリップ処理ステップにおける長時間露光信号のクリップレベルを上記撮像素子により上記長時間露光信号を得るための長時間露光時間と上記短時間露光信号を得るための短時間露光時間との時間比で除算して得られる信号レベル以上としたことを特徴とする。
【0019】
さらに、本発明は、撮像制御プログラムであって、撮像素子を制御して単位期間に露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を得る撮像ステップと、上記撮像ステップで得られた長時間露光信号から得られる輝度信号の第1の信号レベル以上の部分をクリップする第1のクリップ処理ステップと、上記撮像ステップで得られた短時間露光信号から得られる輝度信号の第2の信号レベル以下の部分をクリップする第2のクリップ処理ステップと、上記第1のクリップ処理ステップでクリップ処理が施された長時間露光画像信号と上記第1のクリップ処理ステップでクリップ処理が施された短時間露光画像信号とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジのいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成する信号処理ステップとを有し、上記第2の信号レベルは、上記第1の信号レベルを上記撮像素子により上記長時間露光信号を得るための長時間露光時間と上記短時間露光信号を得るための短時間露光時間との時間比で除算して得られる信号レベル以上としたことを特徴とする撮像処理方法をコンピュータに実行させることを特徴とする。
【発明の効果】
【0020】
本発明によれば、長時間露光信号と短時間露光信号を合成してワイドダイナミック化する撮像装置において、長時間露光信号から得られる輝度信号の第1の信号レベル以上をクリップし、短時間露光信号から得られる輝度信号の第2の信号レベル以下をクリップし、各クリップ処理が施された長時間露光画像信号と短時間露光画像信号とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジのいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成することにより、長時間露光信号の高輝度部の飽和ムラや短時間露光信号の低輝度部の輝度信号や色信号のノイズが目立たないダイナミックレンジが広い合成画像信号を得ることができる。
【0021】
すなわち、短時間露光信号の低輝度部をクリップしても、該クリップ部には長時間露光信号側に有効な映像があるので、ワイドダイナミック化した映像信号において失われる映像部分は少なくできる。ワイドダイナミック化を求められる撮影条件は撮像素子自体のダイナミックレンジを数倍大きくすることでなく、長時間露光で有効となる被写体と短時間露光で有効となる被写体の光量比が10数倍以上ある時であるので、ワイドダイナミックレンジ化の効果はほとんど低下しない。
【発明を実施するための最良の形態】
【0022】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、本発明は以下の例に限定されるものではなく、本発明の要旨を逸脱しない範囲で、任意に変更可能であることは言うまでもない。
【0023】
本発明は、例えば図1に示すような構成の撮像装置10に適用される。
【0024】
この撮像装置10は、撮像光学系1、撮像素子部2、前処理部3、YC分離部4、第1の輝度信号処理部5Y、第1の色信号処理部5C 遅延部6Y,6C、輝度信号合成部7Y、色信号合成部7C、第2の輝度信号処理部8Y、第2の色信号処理部8C、出力部9、タイミングジェネレータ11、制御部12などを備える。
【0025】
撮像光学系1は、レンズや不要な波長を除去する光学フィルタ、絞り等の光学部品を備える。被写体から入射された光は撮像光学系1における各光学部品を介して撮像素子部2に導かれる。
【0026】
撮像素子部2は、例えばCCDセンサアレイ、CMOSセンサアレイなどの固体撮像素子部として構成される。この撮像素子部2は、撮像光学系1を介して導かれた光を光電変換し、撮像画像としての電気信号を出力するもので、この撮像装置10では、図2に示すように、1垂直同期期間に、長時間露光と短時間露光を行い、長時間露光画像信号と短時間露光画像信号としての電気信号を時分割出力する。この撮像素子部2は、例えば、通常の2倍の段数の垂直転送段数が設けられたインターライントランスファ型CCDイメージセンサを備え、1垂直同期期間毎の垂直ブランキング期間内で光電変換部からを垂直転送段に撮像電荷の読み出しを2度行い、その2度の読み出しの間に垂直転送段に読み出した撮像電荷の転送することによって、垂直有効期間の始まりの直前に垂直転送段には長時間露光の信号電荷と短時間露光の信号電荷が並び、水平転送段を2倍の速度で駆動して撮像電荷を読み出すことで、図3に示すように、1水平同期期間に1列分の長時間露光信号SSLと短時間露光信号SSを出力し、1列目の長時間露光信号と短時間露光信号、2列目の長時間露光信号と短時間露光信号、3列目の長時間露光信号と短時間露光信号、・・・と順次出力するものである。
【0027】
なお、撮像素子部2は、固体撮像素子を用いる構成に限られない。例えば撮像管のような非固体撮像素子を用いる構成でも良い。非固体撮像素子についても、メカニカルシャッタ、液晶シャッタ等を利用して、長時間露光、短時間露光を行ったり、通常露光、長時間露光、短時間露光の露光時間を変化させることは可能である。
【0028】
ここで、合成撮像モードについて述べておく。
【0029】
一般的に使用される撮像装置における通常の撮像動作では、被写体における非常に暗い部分から非常に明るい部分までの広範囲にわたるダイナミックレンジを扱うことが困難である。例えば晴天の昼間の時間帯に,屋外が見える状態で、屋内において撮像する場合、屋内の被写体に露光基準を合わせると、屋外の部分が階調を失い白とびしてしまう。また、逆に屋外の部分に露光基準を合わせれば、屋内の被写体が黒つぶれしてしまう。即ち被写体内での輝度差が著しい場合、その輝度のダイナミックレンジに対応した撮像画像を得ることが困難となる。
【0030】
これに対して合成撮像モードの撮像動作では、例えば電子シャッタでシャッタ速度を変えて、露光時間の異なる複数の画像を合成する処理を行うことにより、ダイナミックレンジの広い、白とびや黒つぶれの生じない撮像画像を得るようにしている。
【0031】
ここで、図2は、撮像素子部2での、1垂直同期期間内の露光時間と蓄積される露光量(電荷量)を示している。
【0032】
この図2では、1/60秒の1垂直同期期間において、1/64秒の長時間露光と、1/2000秒の短時間露光を行う場合を示している。なお、長時間露光時間と短時間露光時間は可変制御可能である。
【0033】
この長時間露光と短時間露光を行うことで、1垂直同期期間に、長時間露光画像信号SLと短時間露光画像信号SSを得る。そしてこの両画像信号を合成することで1フィールドの撮像画像データが生成される。
【0034】
なお、長時間露光と短時間露光は、必ずしも1垂直同期期間に行わなければならないものではなく、或る垂直同期期間に長時間露光を行い、次の垂直同期期間に短時間露光を行って、各露光画像信号を合成するような処理も考えられる。
【0035】
この撮像装置10における前処理部3は、いわゆるアナログフロントエンドであり、撮像素子部2から出力される撮像画像としての電気信号に対してCDS(correlated double sampling :相関2重サンプリング)処理、プログラマブルゲインアンプによるゲイン処理、A/D変換処理を行う。そして、これらの処理を行った露光画像信号をYC分離部4に供給する。
【0036】
YC分離部4は、前処理部3から供給される長時間露光信号と短時間露光信号それぞれを長時間露光輝度信号YL及び短時間露光輝度信号YSと長時間露光色信号CL及び短時間露光色信号CSに分離する。そして、このYC分離部4により分離された長時間露光輝度信号YL及び短時間露光輝度信号YSは、第1の輝度信号処理部5Yに時分割的に順次供給され、また、長時間露光色信号CL及び短時間露光色信号CSは、第1の色信号処理部5Cに時分割的に順次供給される。
【0037】
第1の輝度信号処理部5Yは、上記YC分離部4から時分割的に順次供給される長時間露光輝度信号YL及び短時間露光輝度信号YSを合成する前に、長時間露光画像信号YLに対して短時間露光画像信号YSの輝度レベルを一致させるゲイン処理等を行う。この第1の輝度信号処理部5Yによる信号処理が施された長時間露光輝度信号YL及び短時間露光輝度信号YSは、輝度信号合成部7Yに直接供給されるとともに、同時化するための遅延部6Yを介して輝度信号合成部7Yに供給される。
【0038】
輝度信号合成部7Yは、上記第1の輝度信号処理部5Yから直接及び遅延部6Yを介して供給される同時化された長時間露光輝度信号YLと短時間露光輝度信号YSとを合成してダイナミックレンジの広い輝度信号YWを生成する。この輝度信号合成部7Yにより合成された輝度信号YWは、第2の輝度信号処理部8Yを介して出力部9に供給される。
【0039】
第2の輝度信号処理部8Yは、上記輝度信号合成部7Yにより合成されたワイドダイナミックレンジ化された輝度信号YWに対してガンマ補正処理等の輝度信号処理を施す。
【0040】
また、第1の色信号処理部5Cは、上記YC分離部4から時分割的に順次供給される長時間露光色信号CL及び短時間露光色信号CSを合成する前に、長時間露光色信号CLに対して長時間露光色信号CSの信号レベルを一致させるゲイン処理等を行う。この第1の色信号処理部5Cによる信号処理が施された長時間露光色信号CL及び短時間露光色信号CSは、色信号合成部7Cに直接供給されるとともに、同時化するための遅延部6Cを介して色信号合成部7Cに供給される。
【0041】
色信号合成部7Cは、上記第1の色信号処理部5Cから直接及び遅延部6Cを介して供給される同時化された長時間露光色信号CLと短時間露光色信号CSとを合成してダイナミックレンジの広い色信号CWを生成する。この色信号合成部7Cにより生成された色信号CWは、第2の色信号処理部8Cを介して出力部9に供給される。
【0042】
第2の色信号処理部8Cは、上記色信号合成部7Cにより合成されたワイドダイナミックレンジ化された色信号CWに対してホワイトバランス処理等の色信号処理を施す。
【0043】
出力部9は、モニタディスプレイにおける表示のための処理や、或いは外部機器への送信のための処理を行うもので、上記第2の輝度信号処理部8Yを介して供給されるワイドダイナミックレンジ化された輝度信号YWと上記第2の色信号処理部8Cを介して供給されるワイドダイナミックレンジ化された色信号CWから、出力フォーマットに合致した映像信号にエンコードした撮像出力信号を出力する。
【0044】
タイミングジェネレータ11は、例えばCCDイメージセンサなどの撮像素子部2に必要な動作パルスを生成する。例えば垂直転送のための4相パルス、フィールドシフトパルス、水平転送のための2相パルス、シャッタパルスなどの各種パルスを生成し、撮像素子部2に供給する。このタイミングジェネレータ11により撮像素子部2を駆動(電子シャッタ機能)させることが可能となる。このタイミングジェネレータ11は、制御部9から合成撮像モードが指示されることにより、撮像素子部2に図2のような露光時間が相対的に長い長時間露光と、露光時間が相対的に短い短時間露光を実行させる。
【0045】
また、このタイミングジェネレータ11は、合成撮像モードにおける長時間露光期間をハイレベルで示し、また、短時間露光期間をローレベルで示す露光判別信号を上記第1の第1の輝度信号処理部5Yと第1の色信号処理部5Cに供給する。
【0046】
制御部12は、例えばCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、フラッシュメモリなどを有するマイクロコンピュータによって構成され、撮像装置10の全体の動作を制御する。制御部9におけるROMには、これらの制御処理を実行させる撮像制御プログラムが格納されており、該撮像制御プログラムに基づいて、上記各制御のための必要な演算・制御処理を実行する。
【0047】
この撮像装置10において、第1の輝度信号処理部5Yでは、長時間露光輝度信号YLには、その飽和信号のばらつきの発生する信号レベルより小さい値LLP以上をクリップするピーククリップ処理を施すことにより、図4に示すような特性を与え、また、短時間露光輝度信号YSには、その飽和信号のばらつきの発生する信号レベルより小さい値LSP以上をクリップするピーククリップ処理を施すとともに一定値LSD以下の信号をクリップするダーククリップ処理を施すことにより、図5に示すような特性を与える。
【0048】
ここで、長時間露光時間をTL、短時間露光時間をTSとしたときに、短時間露光信号YSに施すダーククリップ処理のクリップレベルの値LSDを
LSD≧LLP÷(TL/TS)
に設定してある。
【0049】
すなわち、上記短時間露光輝度信号YSに施すダーククリップ処理のクリップレベルの値LSDは、上記長時間露光輝度信号YSに施すピーククリップのクリップレベルの値LLPを上記撮像素子部2により長時間露光信号を得るための長時間露光時間TLと短時間露光信号を得るための短時間露光時間TSとの時間比(TL/TS)で除算して得られる信号レベル以上としてある。
【0050】
そして、輝度信号合成部7Yにおいて、図6に示すように、LLP=LSDとして、長時間露光輝度信号YLと短時間露光輝度信号YSを合成してワイドダイナミックレンジ化した輝度信号YWを生成する。
【0051】
すなわち、この撮像装置10では、撮像素子部2により単位期間に露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を得て、第1の輝度信号処理部5Yにより、上記長時間露光信号から得られる輝度信号YLの第1の信号レベル以上をクリップするピーククリップ処理を施し、上記短時間露光信号から得られる輝度信号YSの第2の信号レベル以下をクリップするダーククリップ処理を施し、上記短時間露光輝度信号YSに施すダーククリップ処理のクリップレベルの値LSDは、上記長時間露光輝度信号YSに施すピーククリップのクリップレベルの値LLPを上記撮像素子部2により長時間露光信号を得るための長時間露光時間TLと短時間露光信号を得るための短時間露光時間TSとの時間比(TL/TS)で除算して得られる信号レベル以上とし、輝度信号合成部7Yにおいて、LLP=LSDとして、長時間露光輝度信号YLと短時間露光輝度信号YSを合成してワイドダイナミックレンジ化した輝度信号YWを生成する。
【0052】
このように、長時間露光信号と短時間露光信号を合成してワイドダイナミック化する撮像装置10において、長時間露光信号から得られる輝度信号YLの第1の信号レベル以上をクリップし、短時間露光信号から得られる輝度信号YSの第2の信号レベル以下をクリップし、各クリップ処理が施された長時間露光画像信号と短時間露光画像信号とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジのいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成することにより、長時間露光信号の高輝度部の飽和ムラや短時間露光信号の低輝度部の輝度信号や色信号のノイズが目立たないダイナミックレンジが広い合成画像信号を得ることができる。
【0053】
すなわち、短時間露光信号の低輝度部をクリップしても、該クリップ部には長時間露光信号側に有効な映像があるので、ワイドダイナミック化した映像信号において失われる映像部分は少なくできる。ワイドダイナミック化を求められる撮影条件は撮像素子自体のダイナミックレンジを数倍大きくすることでなく、長時間露光で有効となる被写体と短時間露光で有効となる被写体の光量比が10数倍以上ある時であるので、ワイドダイナミックレンジ化の効果はほとんど低下しない。
【0054】
ここで、上述の如きクリップ処理を行う上記第1の輝度信号処理部5Yは、原理的には、長時間露光信号から得られる輝度信号の第1の信号レベル以上をクリップする第1のクリップ処理手段と、上記撮像素子により得られた短時間露光信号から得られる輝度信号の第2の信号レベル以下をクリップする第2のクリップ処理手段を備えるものであるが、例えば、図7に示すように、単一のクリップ回路で上述のクリップ処理を行うものとすることができる。
【0055】
この図7に示す第1の輝度信号処理部5Yは、入力端子51に供給される輝度信号にクリップ処理を施し、クリップ処理済みの輝度信号を出力端子52から出力するクリップ回路50と、上記タイミングジェネレータ11から露光判別信号入力端子53に供給される露光判別信号により切り換え制御される切り替え回路54と、上記制御部12により与えられる短時間露光時間用クリップレベル値を保持するレジスタ55と、上記制御部12により与えられる長時間露光時間用クリップレベル値を保持するレジスタ56を備え、上記レジスタ55、56に保持された各クリップレベル値が上記切り替え回路54を介して上記クリップ回路50に与えられるようになっている。
【0056】
この第1の輝度信号処理部5Yにおいて、切り替え回路54は、上記タイミングジェネレータ11から、図8に示しように、長時間露光期間をハイレベル「H」で示し、また、短時間露光期間をローレベル「L」で示す露光判別信号が露光判別信号入力端子53に供給されることにより、上記露光判別信号がローレベル「L」となる短時間露光期間にレジスタ55側の値を有効にし、上記露光判別信号がハイレベル「H」となる長時間露光期間にレジスタ56側の値が有効にするように動作する。
【0057】
そして、クリップ回路50は、図9に示すように入力レベルIA以下を出力レベルOAにクリップして、入力レベルIB以上を出力レベルOBにクリップするもので、上記制御部12により短時間露光時間用クリップレベル値としてレジスタ55に与えられる設定値をIA=ESD、IB=ESPとし、また、上記制御部12により長時間露光時間用クリップレベル値としてレジスタ76に与えられる設定値をIA=0、IB=ELPとすることによって、長時間露光輝度信号YLに対しては上述の図4に示した特性を与え、短時間露光輝度信号YSに対しては上述の図5に示した特性を与えることができる。
【0058】
ここで、上記撮像装置10において、第1の色信号処理部5C〜色信号合成部8Cは、上記第1の輝度信号処理部5Y〜輝度信号合成部8Yにより生成されるワイドダイナミックレンジ化した輝度信号YWに対応する色信号CWを上記第1の輝度信号処理部5Y〜輝度信号合成部8Yと同様な動作により生成するが、色信号合成部7Cにおいて、短時間露光輝度信号YSのクリップレベル以下の領域の短時間露光色信号CSを用いずに色信号を合成するようにすれば、低輝度部分での色信号のノイズをさらに目立たないようにすることができる。
【0059】
上記撮像装置10における低輝度部分での色信号のノイズをさらに目立たないように改良した撮像装置100の構成を図10のブロック図に示す。
【0060】
図10に示す撮像装置100において、上記撮像装置10と同一の構成要素には同一符号を付して、その詳細な説明を省略する。
【0061】
この撮像装置100では、第1の輝度信号処理部5Yから第1の色信号処理部5Cに制御信号が与えられるようになっている。
【0062】
上記制御信号は、図11に示すように、短時間露光輝度信号YSがダーククリップレベル以下の時にハイレベル「H」でそれ以外がローレベル「L」である信号である。
【0063】
第1の色信号処理部5Cでは、図12に示すように、長時間露光色信号CLと短時間露光色信号CSが1列ずつ順次入力され、上記タイミングジェネレータ11から供給される露光判別信号がハイレベル「H」となる長時間露光期間には、長時間露光に対応した色信号ゲインを長時間露光色信号CLにかけ、また、上記露光判別信号がローレベル「L」となる短時間露光期間には、短時間露光に対応した色信号ゲインを短時間露光色信号CSにかける。
【0064】
さらに、上記第1の色信号処理部5Cは、上記第1の輝度信号処理部5Yから与えられる制御信号がハイレベル「H」の期間、すなわち、短時間露光輝度信号YSがダーククリップ以下のレベルである期間に短時間露光色信号CSにかける色信号ゲインを0にする処理を行う。
【0065】
このように、短時間露光輝度信号YSがダーククリップ以下のレベルである期間に短時間露光色信号CSにかかる色信号ゲインを0にすることによって、低輝度部分での色信号のノイズが目立たないダイナミックレンジが広い合成画像信号を得ることができる。
【0066】
この撮像装置10において、上記制御部12は、当該制御部12を構成するマイクロコンピュータによって撮像制御プログラムを実行することにより、上記第1の輝度信号処理部5Yにおける短時間露光輝度信号YSのクリップレベルは、上記長時間露光輝度信号YLのクリップレベルを上記撮像素子部2により上記長時間露光信号を得るための長時間露光時間TLと上記短時間露光信号を得るための短時間露光時間TSとの時間比(TL/TS)で除算して得られる信号レベル以上とし、輝度信号合成部7Yにおいて、LLP=LSDとして、長時間露光信号のクリップレベルと短時間露光信号のクリップレベルを一致させた状態で上記各クリップ処理が施された長時間露光輝度信号と短時間露光輝度信号を上記長時間露光信号のクリップレベルと上記短時間露光信号のクリップレベルを一致させた状態で合成してワイドダイナミックレンジ化した輝度信号を生成する制御を行う。
【0067】
さらに、この撮像装置10において、本発明に係る撮像制御プログラムは、上述した制御部12を構成するマイクロコンピュータによって実行される撮像制御プログラムであって、上記制御部12は、当該制御部12を構成するマイクロコンピュータによって撮像制御プログラムを実行することにより、上記第1の輝度信号処理部5Yにおける短時間露光輝度信号YSのクリップレベルは、上記長時間露光輝度信号YLのクリップレベルを上記撮像素子部2により上記長時間露光信号を得るための長時間露光時間TLと上記短時間露光信号を得るための短時間露光時間TSとの時間比(TL/TS)で除算して得られる信号レベル以上とし、輝度信号合成部7Yにおいて、LLP=LSDとして、長時間露光信号のクリップレベルと短時間露光信号のクリップレベルを一致させた状態で上記各クリップ処理が施された長時間露光輝度信号と短時間露光輝度信号を上記長時間露光信号のクリップレベルと上記短時間露光信号のクリップレベルを一致させた状態で合成してワイドダイナミックレンジ化した輝度信号を生成する制御を行う。
【0068】
このようなプログラムは、パーソナルコンピュータや、撮像装置等の機器に内蔵されている記録媒体としてのHDDや、CPUを有するマイクロコンピュータ内のROMやフラッシュメモリ等に予め記録しておくことができる。
【0069】
あるいはまた、フレキシブルディスク、CD−ROM(Compact Disc Read Only Memory)、MO(Magnet optical)ディスク、DVD(Digital Versatile Disc)、ブルーレイディスク、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
【0070】
また、本発明のプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
【0071】
以上、実施の形態を説明してきたが、本発明としては多様な変形例が考えられる。
【0072】
例えば、本発明は動画撮像を行うカメラシステムに適用できるが、静止画撮像を行うカメラシステムにも適用できる。設定露光モードで静止画撮像を行う場合であっても、例えば撮像タイミングに至までのモニタリング中に、各フィールド期間で上述のような露光制御(短時間露光時間の制御)を行えばよい。また、例えばノンインターレーススキャン方式の撮像を行う場合、上述してきたフィールド期間の処理はフレーム期間の処理として考えればよい。もちろん、スキャン方式に限らず、画像信号の単位期間とは、フィールド期間、フレーム期間、複数フィールド期間、複数フレーム期間などとして、多様に考えられる。例えば複数フレーム期間ごとに1回の割合で、露光制御処理が行われるような動作例も考えられる。
【図面の簡単な説明】
【0073】
【図1】本発明を適用した構成の撮像装置の構成を示すブロック図である。
【図2】上記撮像装置における長時間露光と短時間露光の説明図である。
【図3】上記撮像装置において撮像素子部から1水平同期期間毎に出力される長時間露光信号と短時間露光信号を模式的に示す図である。
【図4】上記撮像素子部において得られる長時間露光信号を模式的に示す図である。
【図5】上記撮像素子部において得られる短時間露光信号を模式的に示す図である。
【図6】上記撮像装置における長時間露光信号と短時間露光信号の合成処理の説明図である。
【図7】上記撮像装置においてクリップ処理を行う第1の輝度信号処理部の構成例を示すブロック図である。
【図8】上記撮像装置において、 図7に示した第1の輝度信号処理部に上記タイミングジェネレータ11から与えられる露光判別信号を模式的に示す図である。
【図9】上記図7に示した第1の輝度信号処理部におけるクリップ回路の動作を模式的に示す図である。
【図10】本発明を適用した構成の撮像装置の他の構成例を示すブロック図である。
【図11】上記撮像装置において、第1の輝度信号処理部から第1の色信号処理部に与えられる制御信号を模式的に示す図である。
【図12】上記上記撮像装置における長時間露光色信号と短時間露光色信号に対する上記第1の色信号処理部によるゲイン処理を模式的に示す図である。
【図13】画素毎に飽和レベルにバラツキがある長時間露光信号と短時間露光信号とを合成してワイドダイナミックレンジ化を図ることにより生じる飽和ムラの発生状況を模式的に示す図である。
【符号の説明】
【0074】
1 撮像光学系、2 撮像素子部,3 前処理部、4 YC分離部、5Y 第1の輝度信号処理部 5C 第1の色信号処理部、6Y,6C 遅延部、7Y 輝度信号合成部、7C 色信号合成部、8Y 第2の輝度信号処理部 8C 第2の色信号処理部、9 出力部、10,100 撮像装置、11 タイミングジェネレータ、12 制御部、50 クリップ回路、51 入力端子、52 出力端子、53 露光判別信号、入力端子54 切り換え回路、55,56 レジスタ
【特許請求の範囲】
【請求項1】
単位期間に露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を出力する撮像素子と、
上記長時間露光信号から得られる輝度信号の第1の信号レベル以上の部分をクリップする第1のクリップ処理手段と、
上記撮像素子により得られた短時間露光信号から得られる輝度信号の第2の信号レベル以下の部分をクリップする第2のクリップ処理手段と、
上記第1のクリップ手段によるクリップ処理が施された長時間露光画像信号と上記第1のクリップ手段によるクリップ処理が施された短時間露光画像信号とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジのいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成する信号処理手段とを備え、
上記第2の信号レベルは、上記第1の信号レベルを上記撮像素子により上記長時間露光信号を得るための長時間露光時間と上記短時間露光信号を得るための短時間露光時間との時間比で除算して得られる信号レベル以上としたことを特徴とする撮像装置。
【請求項2】
上記長時間露光信号から得られる色信号と上記短時間露光信号から得られる色信号を合成して色信号とする色信号処理手段を備え、
上記色信号処理手段は、上記第2のクリップ処理手段による短時間露光輝度信号のクリップレベル以下の領域の上記短時間露光色信号を用いずに色信号を合成することを特徴とする請求項1記載の撮像装置。
【請求項3】
撮像素子により単位期間に露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を得る撮像ステップと、
上記撮像ステップで得られた長時間露光信号から得られる輝度信号の第1のレベル以上をクリップする第1のクリップ処理ステップと、
上記撮像ステップで得られた短時間露光信号から得られる輝度信号の第2のレベル以下をクリップする第2のクリップ処理ステップと、
上記第1のクリップ処理ステップでクリップ処理が施された長時間露光画像信号と上記第1のクリップ処理ステップでクリップ処理が施された短時間露光画像信号とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジのいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成する信号処理ステップとを有し、
上記第2のクリップ処理ステップにおける短時間露光信号のクリップレベルは、上記第1のクリップ処理ステップにおける長時間露光信号のクリップレベルを上記撮像素子により上記長時間露光信号を得るための長時間露光時間と上記短時間露光信号を得るための短時間露光時間との時間比で除算して得られる信号レベル以上としたことを特徴とする撮像処理方法。
【請求項4】
撮像素子を制御して単位期間に露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を得る撮像ステップと、
上記撮像ステップで得られた長時間露光信号から得られる輝度信号の第1の信号レベル以上の部分をクリップする第1のクリップ処理ステップと、
上記撮像ステップで得られた短時間露光信号から得られる輝度信号の第2の信号レベル以下の部分をクリップする第2のクリップ処理ステップと、
上記第1のクリップ処理ステップでクリップ処理が施された長時間露光画像信号と上記第1のクリップ処理ステップでクリップ処理が施された短時間露光画像信号とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジのいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成する信号処理ステップとを有し、
上記第2の信号レベルは、上記第1の信号レベルを上記撮像素子により上記長時間露光信号を得るための長時間露光時間と上記短時間露光信号を得るための短時間露光時間との時間比で除算して得られる信号レベル以上としたことを特徴とする撮像処理方法をコンピュータに実行させる撮像制御プログラム。
【請求項1】
単位期間に露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を出力する撮像素子と、
上記長時間露光信号から得られる輝度信号の第1の信号レベル以上の部分をクリップする第1のクリップ処理手段と、
上記撮像素子により得られた短時間露光信号から得られる輝度信号の第2の信号レベル以下の部分をクリップする第2のクリップ処理手段と、
上記第1のクリップ手段によるクリップ処理が施された長時間露光画像信号と上記第1のクリップ手段によるクリップ処理が施された短時間露光画像信号とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジのいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成する信号処理手段とを備え、
上記第2の信号レベルは、上記第1の信号レベルを上記撮像素子により上記長時間露光信号を得るための長時間露光時間と上記短時間露光信号を得るための短時間露光時間との時間比で除算して得られる信号レベル以上としたことを特徴とする撮像装置。
【請求項2】
上記長時間露光信号から得られる色信号と上記短時間露光信号から得られる色信号を合成して色信号とする色信号処理手段を備え、
上記色信号処理手段は、上記第2のクリップ処理手段による短時間露光輝度信号のクリップレベル以下の領域の上記短時間露光色信号を用いずに色信号を合成することを特徴とする請求項1記載の撮像装置。
【請求項3】
撮像素子により単位期間に露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を得る撮像ステップと、
上記撮像ステップで得られた長時間露光信号から得られる輝度信号の第1のレベル以上をクリップする第1のクリップ処理ステップと、
上記撮像ステップで得られた短時間露光信号から得られる輝度信号の第2のレベル以下をクリップする第2のクリップ処理ステップと、
上記第1のクリップ処理ステップでクリップ処理が施された長時間露光画像信号と上記第1のクリップ処理ステップでクリップ処理が施された短時間露光画像信号とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジのいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成する信号処理ステップとを有し、
上記第2のクリップ処理ステップにおける短時間露光信号のクリップレベルは、上記第1のクリップ処理ステップにおける長時間露光信号のクリップレベルを上記撮像素子により上記長時間露光信号を得るための長時間露光時間と上記短時間露光信号を得るための短時間露光時間との時間比で除算して得られる信号レベル以上としたことを特徴とする撮像処理方法。
【請求項4】
撮像素子を制御して単位期間に露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を得る撮像ステップと、
上記撮像ステップで得られた長時間露光信号から得られる輝度信号の第1の信号レベル以上の部分をクリップする第1のクリップ処理ステップと、
上記撮像ステップで得られた短時間露光信号から得られる輝度信号の第2の信号レベル以下の部分をクリップする第2のクリップ処理ステップと、
上記第1のクリップ処理ステップでクリップ処理が施された長時間露光画像信号と上記第1のクリップ処理ステップでクリップ処理が施された短時間露光画像信号とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジのいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成する信号処理ステップとを有し、
上記第2の信号レベルは、上記第1の信号レベルを上記撮像素子により上記長時間露光信号を得るための長時間露光時間と上記短時間露光信号を得るための短時間露光時間との時間比で除算して得られる信号レベル以上としたことを特徴とする撮像処理方法をコンピュータに実行させる撮像制御プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2009−152669(P2009−152669A)
【公開日】平成21年7月9日(2009.7.9)
【国際特許分類】
【出願番号】特願2007−326250(P2007−326250)
【出願日】平成19年12月18日(2007.12.18)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
【公開日】平成21年7月9日(2009.7.9)
【国際特許分類】
【出願日】平成19年12月18日(2007.12.18)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
[ Back to top ]