信号処理装置
【課題】見かけ上のダイナミックレンジの広い、良好な映像信号を得ることができる信号処理装置を提供する。
【解決手段】標準輝度露光時間によって得られた標準輝度映像信号と、標準輝度露光時間より短い高輝度露光時間によって得られた高輝度映像信号とを、合成割合に従って合成する信号処理装置であって、高輝度映像信号の最大値が、高輝度映像信号の設定されたダイナミックレンジと一致するように高輝度露光時間を設定する露光時間設定部を備えた信号処理装置。
【解決手段】標準輝度露光時間によって得られた標準輝度映像信号と、標準輝度露光時間より短い高輝度露光時間によって得られた高輝度映像信号とを、合成割合に従って合成する信号処理装置であって、高輝度映像信号の最大値が、高輝度映像信号の設定されたダイナミックレンジと一致するように高輝度露光時間を設定する露光時間設定部を備えた信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、見かけ上のダイナミックレンジの広い、良好な映像信号を得ることができる信号処理装置に関する。
【背景技術】
【０００２】
ビデオカメラ、監視カメラ等に代表される映像信号の処理を行なう信号処理装置では、標準的な明るさの領域と極めて明るい領域とが混在した被写体を撮像する場合に、標準輝度領域が適正レベルで得られる標準露光時間で撮像を行なうと、明るい領域で白飛びが生じ、高輝度領域が適正レベルで得られる短時間の高輝度露光時間で撮像を行なうと、暗い領域で黒つぶれが生じて、良好な映像信号を得ることができなかった。
【０００３】
そこで、輝度差の大きな被写体を撮像する場合に、標準露光時間によって標準的な明るさの領域が適正レベルで得られた標準輝度信号と、高輝度露光時間によって極めて明るい領域が適正レベルで得られた高輝度信号とを合成することで、白飛びや黒つぶれのない見かけ上のダイナミックレンジが広がった映像信号を得ることができる信号処理装置が開発されている。
【０００４】
例えば、図１５（ａ）に示すように、被写体からの標準的な光量領域の標準輝度領域から得られる信号を標準輝度信号とし、高い光量領域の高輝度領域から得られる信号を高輝度信号とした場合に、図１５（ｂ）に示すように、所定の合成割合に従って標準輝度信号、高輝度信号を圧縮して加算することで、図１５（ｃ）に示すように、出力信号の最大値である１００％以内に収めた映像信号を得ることができる。ここで、標準輝度信号の合成割合をＴＨ（％）とすると、高輝度信号の合成割合は１００−ＴＨ（％）となる。また、標準輝度信号と高輝度信号とが重複する領域については、加算せずに、標準輝度信号の値を用いることも行なわれている。
【０００５】
ところで、輝度差の大きな被写体を撮像する場合、高輝度信号の最大値は、被写体の最高輝度部に依存するため、不定である。どのような被写体に対しても白飛びが生じないような短露光時間を採用すると、ほとんどの映像信号について、合成後の出力レベルが最大値の１００％に達せず、十分な階調が得られないという問題が生じる。
【０００６】
この問題を解決するため、特許文献１には、高輝度信号の最高輝度値（ピーク値）を検出し、合成後の映像信号の出力レベルが１００％になるように合成割合を調整することが記載されている。
【０００７】
また、この他の手法として、図１６（ａ）に示すような最大出力レベルが１００％に満たない高輝度信号を、図１６（ｂ）に示すように出力レベル１００％に増幅してから合成割合に応じて圧縮し、合成することも考えられる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００１−９４８７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ところが、高輝度信号を増幅して合成する手法では、高輝度信号に含まれるノイズ成分も増幅されてしまい、合成後の映像信号のＳ／Ｎ比が劣化するおそれがある。
【００１０】
また、特許文献１に記載された手法は、どのような被写体に対しても白飛びが生じないような短露光時間を前提としているため、合成前の高輝度信号が、最大出力レベルが１００％に満たない場合が多い。したがって、高輝度領域において本来撮像素子が有しているダイナミックレンジを生かし切れないまま合成を行なうこともあり、高輝度部分における階調表現が十分でない映像信号が生成されることがある。例えば、２５６階調を有する撮像素子において、高輝度信号の合成割合が５０％であれば、本来であれば高輝度領域で最大１２８階調表現できるところ、高輝度信号の最大レベルが５０％の場合には、６４階調しか表現できないことになる。
【００１１】
そこで、本発明は、見かけ上のダイナミックレンジの広い、良好な映像信号を得ることができる信号処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記課題を解決するため、本発明の第１の態様である信号処理装置は、第１露光時間によって得られた標準輝度映像信号と、第１露光時間より短い第２露光時間によって得られた高輝度映像信号とを、合成割合に従って合成する信号処理装置であって、前記高輝度映像信号の最大値が、前記高輝度映像信号の設定されたダイナミックレンジと一致するように前記第２露光時間を設定する露光時間設定部を備えたことを特徴とする。
【００１３】
本発明の態様では、標準輝度映像信号と高輝度映像信号とを合成することにより、見かけ上のダイナミックレンジの広い映像信号を得ることができる。このとき、高輝度映像信号の最大値が、高輝度映像信号の設定されたダイナミックレンジと一致するように第２露光時間を設定するため、高輝度部分の階調が十分表現でき、また、ノイズが増幅されることもないため、良好な映像信号を得ることができる。
【００１４】
ここで、高輝度映像信号の最大値は、信号値の最大値を意味し、高輝度映像信号の設定されたダイナミックレンジは、高輝度映像信号が取り得るダイナミックレンジにおいて設定された値を意味し、例えば、高輝度映像信号が取り得るダイナミックレンジの最大値とすることができる。
【００１５】
上記課題を解決するため、本発明の第２の態様である信号処理装置は、第１露光時間によって得られた標準輝度映像信号と、第１露光時間より短い第２露光時間によって得られた高輝度映像信号とを、合成割合に従って合成する信号処理装置であって、前記高輝度映像信号の最大値が、前記高輝度映像信号の設定されたダイナミックレンジに近づくように前記第２露光時間を調整して設定する露光時間設定部を備えたことを特徴とする。
【００１６】
本発明の態様では、標準輝度映像信号と高輝度映像信号とを合成することにより、見かけ上のダイナミックレンジの広い映像信号を得ることができる。このとき、高輝度映像信号の最大値が、高輝度映像信号の設定されたダイナミックレンジに近づくように第２露光時間を調整して設定するため、高輝度部分の階調が十分表現でき、また、ノイズが増幅されることもないため、良好な映像信号を得ることができる。本態様は、第２露光時間が離散的に設定される場合に効果的に適用することができる。
【００１７】
いずれの態様においても、設定された前記第２露光時間が短いほど、前記高輝度映像信号の合成割合を大きく設定する合成割合設定部をさらに備えることができる。
【００１８】
第２露光時間が短いほど、高輝度映像信号でカバーする範囲が広くなる。このため、高輝度映像信号の合成割合を高くすることで、より高輝度映像信号の階調を忠実に再現できるようになる。逆に、第２露光時間が長いほど、高輝度映像信号でカバーする範囲が狭くなるため、高輝度映像信号の合成割合を低くしても合成映像への影響は少ないことになり、標準輝度映像信号の階調表現を重視する方が望ましいと考えられるからである。
【００１９】
また、前記標準輝度映像信号から標準輝度エンハンス信号を生成して、前記標準輝度映像信号に加算する標準輝度信号エンハンス処理部と前記高輝度映像信号から高輝度エンハンス信号を生成して、前記高輝度映像信号に加算する高輝度信号エンハンス処理部とをさらに備え、前記標準輝度信号エンハンス処理部は、前記標準輝度映像信号の合成割合が小さいほど前記標準輝度エンハンス信号を大きく生成し、前記高輝度信号エンハンス処理部は、前記高度映像信号の合成割合が小さいほど前記高輝度エンハンス信号を大きく生成するようにしてもよい。
【００２０】
輪郭補正を行なうためのエンハンス信号が合成割合と逆相関で強調された標準輝度映像信号および高輝度映像信号を、合成割合に従って合成することで、エンハンス信号が保持され、解像感が保たれた良好な映像信号を得ることができるようになる。
【００２１】
さらに、前記露光時間設定部は、設定する前記第２露光時間に下限を設けることができる。これにより、被写体輝度分布が非常に広い場合に、映像が不自然になってしまうことを防ぐことができる。
【発明の効果】
【００２２】
本発明によれば、見かけ上のダイナミックレンジの広い、良好な映像信号を得ることができる信号処理装置が提供される。
【図面の簡単な説明】
【００２３】
【図１】本発明の第１実施形態である撮像装置の機能構成を示すブロック図である。
【図２】標準輝度信号と高輝度信号について説明する図である。
【図３】エンハンス処理について説明する図である。
【図４】高輝度露光時間設定部が行なう高輝度露光時間の設定方法について説明する図である。
【図５】第１実施形態における高輝度露光時間設定部が行なう高輝度露光時間の設定手順を示すフローチャートである。
【図６】第１実施形態による合成結果を示す図である。
【図７】合成割合設定部が行なう合成割合ＴＨの設定について説明する図である。
【図８】高輝度露光時間と合成割合の設定例を示す図である。
【図９】本発明の第２実施形態である撮像装置の機能構成を示すブロック図である。
【図１０】第１実施形態におけるエンハンス処理の詳細について説明する図である。
【図１１】第２実施形態におけるエンハンス処理の詳細について説明する図である。
【図１２】第３実施形態が効果的に適用される被写体輝度分布例を示す図である。
【図１３】モードと高輝度露光時間下限値の設定例を示す図である。
【図１４】第３実施形態における高輝度露光時間設定部が行なう高輝度露光時間の設定手順を示すフローチャートである。
【図１５】従来の標準輝度信号と高輝度信号を合成する手法を説明する図である。
【図１６】従来の標準輝度信号と高輝度信号を合成する手法を説明する図である。
【発明を実施するための形態】
【００２４】
本発明の実施の形態について図面を参照して詳細に説明する。まず、本発明の第１実施形態である撮像装置の機能構成について図１のブロック図を参照して説明する。本図に示すように撮像装置１０は、レンズ・絞り等を含む光学系１１０、ＣＣＤ等の撮像素子１２０、アナログ／ディジタル変換等を行なうアナログフロントエンド（ＡＦＥ）１３０、信号スイッチ（ＳＷ）１４０、露出制御部１５０、標準輝度信号画像処理部１６０、高輝度信号画像処理部１７０、合成割合設定部１８０、画像合成処理部１９０、映像出力部２００、ユーザから各種設定を受け付ける設定受付部２１０を備えている。
【００２５】
露出制御部１５０、標準輝度信号画像処理部１６０、高輝度信号画像処理部１７０、合成割合設定部１８０、画像合成処理部１９０等は、信号処理装置として機能することができ、例えば、マイクロコンピュータ等の演算処理装置を用いて実現することができる。
【００２６】
撮像装置１０は、輝度差の大きな被写体を撮像する場合に、図２に示すように、１フィールドの期間を標準輝度露光時間と、露光時間の短い高輝度露光時間とに区分し、標準露光時間によって標準的な明るさの領域が適正レベルで得られた標準輝度信号と、高輝度露光時間によって極めて明るい領域が適正レベルで得られた高輝度信号とを合成することで、白飛びや黒つぶれのない見かけ上のダイナミックレンジが広がった映像信号を得るようにしている。このとき、高輝度信号の最高輝度値が、設定されたダイナミックレンジである１００％の出力レベルとなるように高輝度露光時間を調整することにより、階調表現に優れた良好な映像信号を得るようにしている。
【００２７】
本実施形態において、撮像素子１２０の露光時間（シャッタ速度）は、電子シャッタ方式により任意の値を設定できるようになっている。ただし、露光時間が離散的に設定される方式であってもよい。光学系１１０を通過した被写体からの光は、撮像素子１２０でアナログ電気信号に変換され、ＡＦＥ１３０で標準輝度信号と高輝度信号とを含んだディジタル映像信号に変換される。
【００２８】
標準輝度信号と高輝度信号とを含んだディジタル映像信号は、ＳＷ１４０において標準輝度信号と高輝度信号とに分離され、標準輝度信号は標準輝度信号画像処理部１６０に入力され、高輝度信号は高輝度信号画像処理部１７０に入力される。また、標準輝度信号および高輝度信号は、露出を設定するための露出設定用信号として露出制御部１５０に入力される。
【００２９】
標準輝度信号画像処理部１６０は、標準輝度信号に対してフィルタ処理、ガンマ処理、ホワイトバランス調整、ゲイン調整等の画像処理を行ない、高輝度信号画像処理部１７０は、高輝度信号に対してフィルタ処理、ガンマ処理、ホワイトバランス調整、ゲイン調整等の画像処理を行なう。
【００３０】
また、標準輝度信号画像処理部１６０および高輝度信号画像処理部１７０は、それぞれ、標準輝度信号に対してエンハンス処理を行なうＬエンハンス処理部１６１、高輝度信号に対してエンハンス処理を行なうＳエンハンス処理部１７１を備えている。ここで、エンハンス処理は、画像の輪郭を強調補正するための処理で、画像全体の解像感を向上させるための処理である。
【００３１】
エンハンス処理は、例えば、図３に示す手順で行なうことができる。すなわち、図３（ａ）に示す元映像信号Ｓ０に対して、図３（ｂ）に示すようなｔ遅延信号Ｓｔと、図３（ｃ）に示すような２ｔ遅延信号Ｓ２ｔを生成する。ここで、図３（ａ）に示す元映像信号Ｓ０の立ち上がり部分と、立ち下がり部分は、それぞれ画像のエッジ部分に相当する。そして、図３（ｄ）に示すように、（Ｓ０＋Ｓ２ｔ）／２を算出し、ｔ遅延信号Ｓｔから引くことにより、図３（ｅ）に示すようなエンハンス信号が得られる。この信号を元映像信号Ｓ０に加えることで、図３（ｆ）に示すようなエッジが強調された映像信号を得ることができる。ただし、エンハンス処理は、上述の手順に限られず、ハイパスフィルタその他の手法を用いて行なうようにしてもよい。
【００３２】
図１の説明に戻って、画像処理を施された標準輝度信号と高輝度信号とは合成割合設定部１８０によって設定された合成割合に従って画像合成処理部１９０で圧縮・加算され、見かけ上のダイナミックレンジが広がった映像信号となる。ここで、標準輝度信号の合成割合をＴＨとし、高輝度信号の合成割合を１００−ＴＨとすると、標準輝度信号は、信号レベルがＴＨ％に圧縮され、高輝度信号は、信号レベルが（１００−ＴＨ）％に圧縮された後、加算される。画像合成処理部１９０で合成された映像信号は、映像出力部２００によりエンコードされ外部に出力される。
【００３３】
露出制御部１５０は、露出設定信号に基づいて露出の設定を行なう。このため、露出制御部１５０は、露光時間を設定する露光時間設定部１５１と、光学系１１０の絞り値を設定する絞り設定部１５３とを備えている。
【００３４】
露出制御部１５０は、例えば、露出設定信号によって得られる画像の輝度分布に基づいて露出を設定することができ、標準的な明るさの領域が適正レベルで得られる露出値を算出する。そして、算出された露出値に基づいて、絞り設定部１５３が、標準的な明るさの領域が適正レベルで得られるための絞り値を設定し、露光時間設定部１５１が、標準的な明るさの領域が適正レベルで得られるための標準輝度露光時間を設定する。
【００３５】
本実施形態において、露出制御部１５０は、高輝度露光時間を設定する高輝度露光時間設定部１５２を備えている。すなわち、本実施形態では、良好な映像信号を得るために高輝度露光時間を被写体の最高輝度に応じて変化させるようにする。なお、制御を複雑化させないため高輝度露光時間において絞り値は変化させないものとする。
【００３６】
図４は、高輝度露光時間設定部１５２が行なう高輝度露光時間の設定方法について説明する図である。図４（ａ）に示すように被写体の輝度がＬ０からＨａに分布している場合、標準的な輝度部分については標準輝度信号領域がカバーする。そして、標準輝度信号領域がカバーしきれない高輝度部分については、高輝度信号領域がカバーする。このとき、高輝度露光時間設定部１５２は、被写体の最高輝度部分について、高輝度信号の出力レベルが１００％となるように高輝度露光時間：Ａを設定する。
【００３７】
設定可能な高輝度露光時間が離散的で高輝度信号の出力レベルが１００％となる高輝度露光時間が設定できない場合には、出力レベルが１００％を超えない範囲で最も１００％に近くなる高輝度露光時間を設定するものとする。詳細については後述する。
【００３８】
なお、被写体の最高輝度部分の取得は、画像処理後の画像合成処理部１９０への入力信号から取得するようにしてもよい。また、１フィールド内の最高輝度値を使用すると、ノイズ等の影響を受ける場合があるため、１フィールドを複数のエリアに分割し、各エリアの平均輝度値に基づいて再高輝度部分を取得するようにしてもよい。
【００３９】
図５は、高輝度露光時間設定部１５２が行なう高輝度露光時間の設定手順を示すフローチャートである。すなわち、露出設定信号により被写体の輝度データを取得し（Ｓ１０１）、最高輝度部分の高輝度信号の出力レベルが１００％になるまで（Ｓ１０２：Ｙｅｓ）、高輝度露光時間の調整を繰り返す（Ｓ１０３）。高輝度露光時間の設定は、フレーム毎に行なうようにしてもよいし、数フレーム毎に行なうようにしてもよい。
【００４０】
このような処理を行なうため、図４（ｂ）に示すように、被写体輝度分布がＬ０からＨｂであって、図４（ａ）に示した輝度分布より広い場合に設定される高輝度露光時間：Ｂは、高輝度露光時間：Ａよりも短い値となる。一方、図４（ｃ）に示すように、被写体輝度分布がＬ０からＨｃであって、図４（ａ）に示した輝度分布より狭い場合に設定される高輝度露光時間：Ｃは、高輝度露光時間：Ａよりも長い値となる。
【００４１】
このように高輝度露光時間を設定することにより、高輝度信号において白飛びを防ぐとともに、十分な階調を得ることができるようになる。すなわち、図６（ａ）に示すように、高輝度信号の最大出力レベルが１００％となるため、図６（ｂ）に示すように、合成割合に従って圧縮を施した後、加算して得られる映像は、図６（ｃ）に示すように、合成後の最大出力レベルも１００％となり、見かけ上のダイナミックレンジの広い映像信号を得ることができる。このとき、高輝度信号の最大出力レベルが１００％であるから、高輝度部分の階調も十分であり、また、ノイズが増幅されることもないため、良好な映像信号となっている。さらに、演算処理が簡単であるため、演算処理装置の負荷も軽減することができる。
【００４２】
次に、合成割合設定部１８０が行なう合成割合ＴＨの設定について説明する。合成割合は、固定値としたり、設定受付部２１０を介して受け付けたユーザからの指示に基づいて定めるようにしてもよいが、本実施形態では、設定された高輝度露光時間と連動して定めるものとする。
【００４３】
例えば、図７（ａ）〜図７（ｃ）は、被写体輝度分布に応じた高輝度露光時間の設定例を示しており、被写体輝度分布の広い図７（ａ）が最も高輝度露光時間が短く、被写体輝度分布の狭い図７（ｃ）が最も高輝度露光時間が長くなっている。
【００４４】
本図から分かるように、高輝度露光時間が短いほど、高輝度信号領域がカバーする範囲が広くなっている。このため、高輝度信号の合成割合（１００−ＴＨ）を大きくすることで、より高輝度信号の階調を忠実に再現できるようになる。逆に、高輝度露光時間が長い場合には、高輝度信号領域がカバーする範囲が狭くなるため、高輝度信号の合成割合を小さくしても合成映像への影響は少ないことになり、標準輝度領域の階調表現を重視する方が望ましいと考えられる。
【００４５】
したがって、本実施形態では、合成割合設定部１８０は、高輝度露光時間が短いほど高輝度信号の合成割合が高くなるように合成割合ＴＨを設定するものとする。図８は、高輝度露光時間と合成割合ＴＨの設定例を示した図である。
【００４６】
本図の例では、高輝度露光時間が１／１２０の比較的長い場合には、低輝度信号で被写体の輝度分布をカバーできると想定されるため、高輝度信号の合成割合（１００−ＴＨ）を０％としている。一方、高輝度露光時間が１／１２００００と極めて短い場合には、高輝度部分の階調表現が重要であると想定されるため、高輝度信号の合成割合（１００−ＴＨ）を５０％としている。
【００４７】
以上、本発明の第１実施形態について説明した。次に、本発明の第２実施形態について説明する。図９は、本発明の第２実施形態である撮像装置の機能構成について説明するブロック図である。第１実施形態と同じ機能部については、同じ符号を付し、説明を簡略化する。
【００４８】
本図に示すように、第２実施形態の撮像装置１０ａは、第１実施形態の撮像装置１０が備える標準輝度信号画像処理部１６０、高輝度信号画像処理部１７０、合成割合設定部１８０に代えて、Ｌエンハンス処理部１６１ａを含む標準輝度信号画像処理部１６０ａ、Ｓエンハンス処理部１７１ａを含む高輝度信号画像処理部１７０ａ、合成割合設定部１８０ａを備えている点において、第１実施形態と相違する。
【００４９】
合成割合設定部１８０ａは、設定した合成割合（ＴＨ）を、標準輝度ゲインＧａｉｎＬとしてＬエンハンス処理部１６１ａに出力し、設定した合成割合（１００−ＴＨ）を高輝度ゲインＧａｉｎＳとしてＳエンハンス処理部１７１ａに出力する以外は、第１実施形態の合成割合設定部１８０と同様の処理を行なう。
【００５０】
すなわち、第２実施形態の撮像装置１０ａの処理は、Ｌエンハンス処理部１６１ａおよびＳエンハンス処理部１７１ａが、合成割合設定部１８０ａが設定した合成割合に基づいてエンハンス処理を行なう以外は第１実施形態の処理と同様である。
【００５１】
まず、第１実施形態における通常のエンハンス処理の詳細について図１０を参照して説明する。本図に示すように、Ｌエンハンス処理部１６１は、図３に示したエンハンス処理手順、あるいは、フィルタ処理等によって、図１０（ａ）に示す標準輝度信号からエッジを抽出し、標準輝度エンハンス信号を生成して、標準輝度信号に加算する。また、Ｓエンハンス処理部１７１は、図１０（ｂ）に示す高輝度信号からエッジを抽出し、高輝度エンハンス信号を生成して、高輝度信号に加算する。
【００５２】
画像合成処理部１９０では、エンハンス信号が加算された標準輝度信号および高輝度信号を、合成割合ＴＨおよび（１００−ＴＨ）に従って圧縮を行なうため、圧縮後の標準輝度信号および高輝度信号では、図１０（ｃ）（ｄ）に示すように、エンハンス信号も圧縮されてしまうことになる。この結果、合成後の映像信号は、図１０（ｅ）に示すように、エンハンス信号の効果が弱まった映像信号となり、解像感が失われる場合が生じる。
【００５３】
そこで、第２実施形態では、図１１に示すようなエンハンス処理を行なうものとする。すなわち、Ｌエンハンス処理部１６１ａでは、標準輝度信号からエッジを抽出して得られた標準輝度エンハンス信号に対して、Ａ／ＧａｉｎＬを乗じてエンハンス信号を強調してから標準輝度信号に加算する。この結果、図１１（ａ）に示すようにエッジ部分がさらに強調された標準輝度信号が得られる。ここで、ＧａｉｎＬは、合成割合ＴＨ％と等しい１以下の値である。このため、合成割合ＴＨが小さく、圧縮率が高いほど、エンハンス信号が強調される。また、Ａは強調係数であり、通常１とするが、撮像目的や設定等に応じて変化させるようにしてもよい。
【００５４】
Ｓエンハンス処理部１７１ａにおいても、高輝度信号からエッジを抽出して得られた高輝度エンハンス信号に対して、Ｂ／ＧａｉｎＳを乗じてエンハンス信号を強調してから高輝度信号に加算する。この結果、図１１（ｂ）に示すようにエッジ部分がさらに強調された高輝度信号が得られる。ここで、ＧａｉｎＳは、合成割合（１００−ＴＨ）％と等しい１以下の値である。このため、合成割合（１００−ＴＨ）が小さく、圧縮率が高いほど、エンハンス信号が強調される。また、Ｂは強調係数であり、通常１とするが、撮像目的や設定等に応じて変化させるようにしてもよい。
【００５５】
第２実施形態では、エンハンス信号が合成割合と逆相関で強調された標準輝度信号および高輝度信号を、合成割合ＴＨおよび（１００−ＴＨ）に従って圧縮を行なって加算するため、第１実施形態の効果に加え、図１１（ｃ）に示すように、エンハンス信号が保持され、解像感が保たれた良好な映像信号を得ることができるようになる。
【００５６】
次に、本発明の第３実施形態について説明する。第３実施形態の撮像装置は、第１実施形態あるいは第２実施形態と同様の構成とすることができる。第３実施形態は、図１２に示すように、被写体輝度分布が非常に広い輝度差の極めて大きな被写体を撮像する場合に効果的に適用することができる。
【００５７】
被写体輝度分布が非常に広い場合に、第１実施形態あるいは第２実施形態に従って、再高輝度部分の出力レベルが１００％となるように高輝度露光時間を定めると、本図に示すように、高輝度露光時間が短くなりすぎて、標準輝度信号領域でも高輝度信号領域でもカバーできない領域αが生じる場合がある。このような場合、合成後の映像が不自然な映像となる。
【００５８】
第３実施形態では、この現象を回避するために、必要に応じて高輝度露光時間に下限を設けるようにする。高輝度露光時間の下限、すなわち、シャッタ速度の上限は、例えば、あらかじめ用意したモードに応じて設定することができる。
【００５９】
図１３は、モードと高輝度露光時間下限値の設定例を示す図である。本図の例では、標準輝度領域を重視するモード−３から高輝度領域を重視するモード３までの７段階を用意し、高輝度領域を重視するにつれて、徐々に高輝度露光時間の下限値が小さくなっていくように設定している。これらのモードは、ユーザが任意に設定したり、撮像目的等に応じて適切に設定することができる。もちろん、高輝度露光時間に下限を設けない設定も選べるようにしておくことが望ましい。
【００６０】
高輝度露光時間下限値を設けることで、高輝度領域において白飛びが生じる場合があるが、全体の階調は保たれるため、被写体輝度分布が非常に広い場合にも不自然さを回避した良好な映像を得ることができるようになる。また、高輝度露光時間下限値を設けた場合でも、高輝度信号の最大出力レベルは１００％となるため、見かけ上の広いダイナミックレンジは本実施形態でも実現することになる。
【００６１】
図１４は、第３実施形態における高輝度露光時間設定部１５２が行なう高輝度露光時間の設定手順を示すフローチャートである。すなわち、露出設定信号により被写体の輝度データを取得し（Ｓ２０１）、上述の実施形態と同様に、最高輝度部分の高輝度信号の出力レベルが１００％になるまで（Ｓ２０２：Ｙｅｓ）、高輝度露光時間の調整を繰り返すようにするが（Ｓ２０４）、途中で高輝度露光時間が下限に達した場合には（Ｓ２０３：Ｙｅｓ）、高輝度露光時間の調整を終了するようにする。
【００６２】
このような制御を行なうことにより、第３実施形態においても、見かけ上のダイナミックレンジの広い、良好な映像信号を得ることができる。特に、第３実施形態では、被写体輝度分布が非常に広い場合に、映像が不自然になってしまうことを防ぐことができる。
【００６３】
上記の第１〜３実施形態は、高輝度露光時間を連続的に設定できる場合を想定して説明したが、ここで、設定可能な高輝度露光時間が離散的な場合の処理について説明する。
【００６４】
上述のように、設定可能な高輝度露光時間が離散的で高輝度信号の出力レベルが１００％となる高輝度露光時間が設定できない場合には、最大出力レベルが１００％を超えない範囲で最も１００％に近くなる高輝度露光時間を設定するものとする。これは、白飛びが生じて情報が失われるのを防ぐためである。さらに、このときの高輝度信号の最大出力レベルをＸとする。
【００６５】
例えば、高輝度露光時間として、離散的に露光時間Ａと露光時間Ｂとが設定可能な場合に、露光時間Ａとした場合の最大出力レベルが７０％であり、露光時間Ｂとした場合の最大出力レベルが６０％のときは、１００％を超えない範囲でより１００％に近い露光時間Ａを設定する。このとき、Ｘ＝７０％となる。
【００６６】
また、露光時間Ａとした場合の最大出力レベルが１１０％であり、露光時間Ｂとした場合の最大出力レベルが６０％のときは、１００％を超えない範囲でより１００％に近い露光時間Ｂを設定する。このとき、Ｘ＝６０％となる。
【００６７】
このようにして高輝度露光時間を設定して撮像すると、最大出力レベルがＸの高輝度信号が得られる。このため、合成割合（１００−ＴＨ）％で圧縮を施した後、標準輝度信号と加算して得られる合成後の映像は、最大出力レベルが１００％に満たないことになる。
【００６８】
そこで、画像合成処理部１９０は、最大出力レベルがＸの高輝度信号をＸ％で割ることで、高輝度信号の最大出力レベルを１００％にしてから、合成割合（１００−ＴＨ）％で圧縮を施した後、標準輝度信号と加算する。これにより、得られる合成後の映像は、最大出力レベルが１００％となるため、見かけ上のダイナミックレンジの広い映像信号を得ることができる。
【符号の説明】
【００６９】
１０…撮像装置、１０ａ…撮像装置、１１０…光学系、１２０…撮像素子、１５０…露出制御部、１５１…露光時間設定部、１５２…高輝度露光時間設定部、１５３…絞り設定部、１６０…標準輝度信号画像処理部、１６０ａ…標準輝度信号画像処理部、１６１…エンハンス処理部、１６１ａ…エンハンス処理部、１７０…高輝度信号画像処理部、１７０ａ…高輝度信号画像処理部、１７１…エンハンス処理部、１７１ａ…エンハンス処理部、１８０…合成割合設定部、１８０ａ…合成割合設定部、１９０…画像合成処理部、２００…映像出力部、２１０…設定受付部
【技術分野】
【０００１】
本発明は、見かけ上のダイナミックレンジの広い、良好な映像信号を得ることができる信号処理装置に関する。
【背景技術】
【０００２】
ビデオカメラ、監視カメラ等に代表される映像信号の処理を行なう信号処理装置では、標準的な明るさの領域と極めて明るい領域とが混在した被写体を撮像する場合に、標準輝度領域が適正レベルで得られる標準露光時間で撮像を行なうと、明るい領域で白飛びが生じ、高輝度領域が適正レベルで得られる短時間の高輝度露光時間で撮像を行なうと、暗い領域で黒つぶれが生じて、良好な映像信号を得ることができなかった。
【０００３】
そこで、輝度差の大きな被写体を撮像する場合に、標準露光時間によって標準的な明るさの領域が適正レベルで得られた標準輝度信号と、高輝度露光時間によって極めて明るい領域が適正レベルで得られた高輝度信号とを合成することで、白飛びや黒つぶれのない見かけ上のダイナミックレンジが広がった映像信号を得ることができる信号処理装置が開発されている。
【０００４】
例えば、図１５（ａ）に示すように、被写体からの標準的な光量領域の標準輝度領域から得られる信号を標準輝度信号とし、高い光量領域の高輝度領域から得られる信号を高輝度信号とした場合に、図１５（ｂ）に示すように、所定の合成割合に従って標準輝度信号、高輝度信号を圧縮して加算することで、図１５（ｃ）に示すように、出力信号の最大値である１００％以内に収めた映像信号を得ることができる。ここで、標準輝度信号の合成割合をＴＨ（％）とすると、高輝度信号の合成割合は１００−ＴＨ（％）となる。また、標準輝度信号と高輝度信号とが重複する領域については、加算せずに、標準輝度信号の値を用いることも行なわれている。
【０００５】
ところで、輝度差の大きな被写体を撮像する場合、高輝度信号の最大値は、被写体の最高輝度部に依存するため、不定である。どのような被写体に対しても白飛びが生じないような短露光時間を採用すると、ほとんどの映像信号について、合成後の出力レベルが最大値の１００％に達せず、十分な階調が得られないという問題が生じる。
【０００６】
この問題を解決するため、特許文献１には、高輝度信号の最高輝度値（ピーク値）を検出し、合成後の映像信号の出力レベルが１００％になるように合成割合を調整することが記載されている。
【０００７】
また、この他の手法として、図１６（ａ）に示すような最大出力レベルが１００％に満たない高輝度信号を、図１６（ｂ）に示すように出力レベル１００％に増幅してから合成割合に応じて圧縮し、合成することも考えられる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００１−９４８７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ところが、高輝度信号を増幅して合成する手法では、高輝度信号に含まれるノイズ成分も増幅されてしまい、合成後の映像信号のＳ／Ｎ比が劣化するおそれがある。
【００１０】
また、特許文献１に記載された手法は、どのような被写体に対しても白飛びが生じないような短露光時間を前提としているため、合成前の高輝度信号が、最大出力レベルが１００％に満たない場合が多い。したがって、高輝度領域において本来撮像素子が有しているダイナミックレンジを生かし切れないまま合成を行なうこともあり、高輝度部分における階調表現が十分でない映像信号が生成されることがある。例えば、２５６階調を有する撮像素子において、高輝度信号の合成割合が５０％であれば、本来であれば高輝度領域で最大１２８階調表現できるところ、高輝度信号の最大レベルが５０％の場合には、６４階調しか表現できないことになる。
【００１１】
そこで、本発明は、見かけ上のダイナミックレンジの広い、良好な映像信号を得ることができる信号処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記課題を解決するため、本発明の第１の態様である信号処理装置は、第１露光時間によって得られた標準輝度映像信号と、第１露光時間より短い第２露光時間によって得られた高輝度映像信号とを、合成割合に従って合成する信号処理装置であって、前記高輝度映像信号の最大値が、前記高輝度映像信号の設定されたダイナミックレンジと一致するように前記第２露光時間を設定する露光時間設定部を備えたことを特徴とする。
【００１３】
本発明の態様では、標準輝度映像信号と高輝度映像信号とを合成することにより、見かけ上のダイナミックレンジの広い映像信号を得ることができる。このとき、高輝度映像信号の最大値が、高輝度映像信号の設定されたダイナミックレンジと一致するように第２露光時間を設定するため、高輝度部分の階調が十分表現でき、また、ノイズが増幅されることもないため、良好な映像信号を得ることができる。
【００１４】
ここで、高輝度映像信号の最大値は、信号値の最大値を意味し、高輝度映像信号の設定されたダイナミックレンジは、高輝度映像信号が取り得るダイナミックレンジにおいて設定された値を意味し、例えば、高輝度映像信号が取り得るダイナミックレンジの最大値とすることができる。
【００１５】
上記課題を解決するため、本発明の第２の態様である信号処理装置は、第１露光時間によって得られた標準輝度映像信号と、第１露光時間より短い第２露光時間によって得られた高輝度映像信号とを、合成割合に従って合成する信号処理装置であって、前記高輝度映像信号の最大値が、前記高輝度映像信号の設定されたダイナミックレンジに近づくように前記第２露光時間を調整して設定する露光時間設定部を備えたことを特徴とする。
【００１６】
本発明の態様では、標準輝度映像信号と高輝度映像信号とを合成することにより、見かけ上のダイナミックレンジの広い映像信号を得ることができる。このとき、高輝度映像信号の最大値が、高輝度映像信号の設定されたダイナミックレンジに近づくように第２露光時間を調整して設定するため、高輝度部分の階調が十分表現でき、また、ノイズが増幅されることもないため、良好な映像信号を得ることができる。本態様は、第２露光時間が離散的に設定される場合に効果的に適用することができる。
【００１７】
いずれの態様においても、設定された前記第２露光時間が短いほど、前記高輝度映像信号の合成割合を大きく設定する合成割合設定部をさらに備えることができる。
【００１８】
第２露光時間が短いほど、高輝度映像信号でカバーする範囲が広くなる。このため、高輝度映像信号の合成割合を高くすることで、より高輝度映像信号の階調を忠実に再現できるようになる。逆に、第２露光時間が長いほど、高輝度映像信号でカバーする範囲が狭くなるため、高輝度映像信号の合成割合を低くしても合成映像への影響は少ないことになり、標準輝度映像信号の階調表現を重視する方が望ましいと考えられるからである。
【００１９】
また、前記標準輝度映像信号から標準輝度エンハンス信号を生成して、前記標準輝度映像信号に加算する標準輝度信号エンハンス処理部と前記高輝度映像信号から高輝度エンハンス信号を生成して、前記高輝度映像信号に加算する高輝度信号エンハンス処理部とをさらに備え、前記標準輝度信号エンハンス処理部は、前記標準輝度映像信号の合成割合が小さいほど前記標準輝度エンハンス信号を大きく生成し、前記高輝度信号エンハンス処理部は、前記高度映像信号の合成割合が小さいほど前記高輝度エンハンス信号を大きく生成するようにしてもよい。
【００２０】
輪郭補正を行なうためのエンハンス信号が合成割合と逆相関で強調された標準輝度映像信号および高輝度映像信号を、合成割合に従って合成することで、エンハンス信号が保持され、解像感が保たれた良好な映像信号を得ることができるようになる。
【００２１】
さらに、前記露光時間設定部は、設定する前記第２露光時間に下限を設けることができる。これにより、被写体輝度分布が非常に広い場合に、映像が不自然になってしまうことを防ぐことができる。
【発明の効果】
【００２２】
本発明によれば、見かけ上のダイナミックレンジの広い、良好な映像信号を得ることができる信号処理装置が提供される。
【図面の簡単な説明】
【００２３】
【図１】本発明の第１実施形態である撮像装置の機能構成を示すブロック図である。
【図２】標準輝度信号と高輝度信号について説明する図である。
【図３】エンハンス処理について説明する図である。
【図４】高輝度露光時間設定部が行なう高輝度露光時間の設定方法について説明する図である。
【図５】第１実施形態における高輝度露光時間設定部が行なう高輝度露光時間の設定手順を示すフローチャートである。
【図６】第１実施形態による合成結果を示す図である。
【図７】合成割合設定部が行なう合成割合ＴＨの設定について説明する図である。
【図８】高輝度露光時間と合成割合の設定例を示す図である。
【図９】本発明の第２実施形態である撮像装置の機能構成を示すブロック図である。
【図１０】第１実施形態におけるエンハンス処理の詳細について説明する図である。
【図１１】第２実施形態におけるエンハンス処理の詳細について説明する図である。
【図１２】第３実施形態が効果的に適用される被写体輝度分布例を示す図である。
【図１３】モードと高輝度露光時間下限値の設定例を示す図である。
【図１４】第３実施形態における高輝度露光時間設定部が行なう高輝度露光時間の設定手順を示すフローチャートである。
【図１５】従来の標準輝度信号と高輝度信号を合成する手法を説明する図である。
【図１６】従来の標準輝度信号と高輝度信号を合成する手法を説明する図である。
【発明を実施するための形態】
【００２４】
本発明の実施の形態について図面を参照して詳細に説明する。まず、本発明の第１実施形態である撮像装置の機能構成について図１のブロック図を参照して説明する。本図に示すように撮像装置１０は、レンズ・絞り等を含む光学系１１０、ＣＣＤ等の撮像素子１２０、アナログ／ディジタル変換等を行なうアナログフロントエンド（ＡＦＥ）１３０、信号スイッチ（ＳＷ）１４０、露出制御部１５０、標準輝度信号画像処理部１６０、高輝度信号画像処理部１７０、合成割合設定部１８０、画像合成処理部１９０、映像出力部２００、ユーザから各種設定を受け付ける設定受付部２１０を備えている。
【００２５】
露出制御部１５０、標準輝度信号画像処理部１６０、高輝度信号画像処理部１７０、合成割合設定部１８０、画像合成処理部１９０等は、信号処理装置として機能することができ、例えば、マイクロコンピュータ等の演算処理装置を用いて実現することができる。
【００２６】
撮像装置１０は、輝度差の大きな被写体を撮像する場合に、図２に示すように、１フィールドの期間を標準輝度露光時間と、露光時間の短い高輝度露光時間とに区分し、標準露光時間によって標準的な明るさの領域が適正レベルで得られた標準輝度信号と、高輝度露光時間によって極めて明るい領域が適正レベルで得られた高輝度信号とを合成することで、白飛びや黒つぶれのない見かけ上のダイナミックレンジが広がった映像信号を得るようにしている。このとき、高輝度信号の最高輝度値が、設定されたダイナミックレンジである１００％の出力レベルとなるように高輝度露光時間を調整することにより、階調表現に優れた良好な映像信号を得るようにしている。
【００２７】
本実施形態において、撮像素子１２０の露光時間（シャッタ速度）は、電子シャッタ方式により任意の値を設定できるようになっている。ただし、露光時間が離散的に設定される方式であってもよい。光学系１１０を通過した被写体からの光は、撮像素子１２０でアナログ電気信号に変換され、ＡＦＥ１３０で標準輝度信号と高輝度信号とを含んだディジタル映像信号に変換される。
【００２８】
標準輝度信号と高輝度信号とを含んだディジタル映像信号は、ＳＷ１４０において標準輝度信号と高輝度信号とに分離され、標準輝度信号は標準輝度信号画像処理部１６０に入力され、高輝度信号は高輝度信号画像処理部１７０に入力される。また、標準輝度信号および高輝度信号は、露出を設定するための露出設定用信号として露出制御部１５０に入力される。
【００２９】
標準輝度信号画像処理部１６０は、標準輝度信号に対してフィルタ処理、ガンマ処理、ホワイトバランス調整、ゲイン調整等の画像処理を行ない、高輝度信号画像処理部１７０は、高輝度信号に対してフィルタ処理、ガンマ処理、ホワイトバランス調整、ゲイン調整等の画像処理を行なう。
【００３０】
また、標準輝度信号画像処理部１６０および高輝度信号画像処理部１７０は、それぞれ、標準輝度信号に対してエンハンス処理を行なうＬエンハンス処理部１６１、高輝度信号に対してエンハンス処理を行なうＳエンハンス処理部１７１を備えている。ここで、エンハンス処理は、画像の輪郭を強調補正するための処理で、画像全体の解像感を向上させるための処理である。
【００３１】
エンハンス処理は、例えば、図３に示す手順で行なうことができる。すなわち、図３（ａ）に示す元映像信号Ｓ０に対して、図３（ｂ）に示すようなｔ遅延信号Ｓｔと、図３（ｃ）に示すような２ｔ遅延信号Ｓ２ｔを生成する。ここで、図３（ａ）に示す元映像信号Ｓ０の立ち上がり部分と、立ち下がり部分は、それぞれ画像のエッジ部分に相当する。そして、図３（ｄ）に示すように、（Ｓ０＋Ｓ２ｔ）／２を算出し、ｔ遅延信号Ｓｔから引くことにより、図３（ｅ）に示すようなエンハンス信号が得られる。この信号を元映像信号Ｓ０に加えることで、図３（ｆ）に示すようなエッジが強調された映像信号を得ることができる。ただし、エンハンス処理は、上述の手順に限られず、ハイパスフィルタその他の手法を用いて行なうようにしてもよい。
【００３２】
図１の説明に戻って、画像処理を施された標準輝度信号と高輝度信号とは合成割合設定部１８０によって設定された合成割合に従って画像合成処理部１９０で圧縮・加算され、見かけ上のダイナミックレンジが広がった映像信号となる。ここで、標準輝度信号の合成割合をＴＨとし、高輝度信号の合成割合を１００−ＴＨとすると、標準輝度信号は、信号レベルがＴＨ％に圧縮され、高輝度信号は、信号レベルが（１００−ＴＨ）％に圧縮された後、加算される。画像合成処理部１９０で合成された映像信号は、映像出力部２００によりエンコードされ外部に出力される。
【００３３】
露出制御部１５０は、露出設定信号に基づいて露出の設定を行なう。このため、露出制御部１５０は、露光時間を設定する露光時間設定部１５１と、光学系１１０の絞り値を設定する絞り設定部１５３とを備えている。
【００３４】
露出制御部１５０は、例えば、露出設定信号によって得られる画像の輝度分布に基づいて露出を設定することができ、標準的な明るさの領域が適正レベルで得られる露出値を算出する。そして、算出された露出値に基づいて、絞り設定部１５３が、標準的な明るさの領域が適正レベルで得られるための絞り値を設定し、露光時間設定部１５１が、標準的な明るさの領域が適正レベルで得られるための標準輝度露光時間を設定する。
【００３５】
本実施形態において、露出制御部１５０は、高輝度露光時間を設定する高輝度露光時間設定部１５２を備えている。すなわち、本実施形態では、良好な映像信号を得るために高輝度露光時間を被写体の最高輝度に応じて変化させるようにする。なお、制御を複雑化させないため高輝度露光時間において絞り値は変化させないものとする。
【００３６】
図４は、高輝度露光時間設定部１５２が行なう高輝度露光時間の設定方法について説明する図である。図４（ａ）に示すように被写体の輝度がＬ０からＨａに分布している場合、標準的な輝度部分については標準輝度信号領域がカバーする。そして、標準輝度信号領域がカバーしきれない高輝度部分については、高輝度信号領域がカバーする。このとき、高輝度露光時間設定部１５２は、被写体の最高輝度部分について、高輝度信号の出力レベルが１００％となるように高輝度露光時間：Ａを設定する。
【００３７】
設定可能な高輝度露光時間が離散的で高輝度信号の出力レベルが１００％となる高輝度露光時間が設定できない場合には、出力レベルが１００％を超えない範囲で最も１００％に近くなる高輝度露光時間を設定するものとする。詳細については後述する。
【００３８】
なお、被写体の最高輝度部分の取得は、画像処理後の画像合成処理部１９０への入力信号から取得するようにしてもよい。また、１フィールド内の最高輝度値を使用すると、ノイズ等の影響を受ける場合があるため、１フィールドを複数のエリアに分割し、各エリアの平均輝度値に基づいて再高輝度部分を取得するようにしてもよい。
【００３９】
図５は、高輝度露光時間設定部１５２が行なう高輝度露光時間の設定手順を示すフローチャートである。すなわち、露出設定信号により被写体の輝度データを取得し（Ｓ１０１）、最高輝度部分の高輝度信号の出力レベルが１００％になるまで（Ｓ１０２：Ｙｅｓ）、高輝度露光時間の調整を繰り返す（Ｓ１０３）。高輝度露光時間の設定は、フレーム毎に行なうようにしてもよいし、数フレーム毎に行なうようにしてもよい。
【００４０】
このような処理を行なうため、図４（ｂ）に示すように、被写体輝度分布がＬ０からＨｂであって、図４（ａ）に示した輝度分布より広い場合に設定される高輝度露光時間：Ｂは、高輝度露光時間：Ａよりも短い値となる。一方、図４（ｃ）に示すように、被写体輝度分布がＬ０からＨｃであって、図４（ａ）に示した輝度分布より狭い場合に設定される高輝度露光時間：Ｃは、高輝度露光時間：Ａよりも長い値となる。
【００４１】
このように高輝度露光時間を設定することにより、高輝度信号において白飛びを防ぐとともに、十分な階調を得ることができるようになる。すなわち、図６（ａ）に示すように、高輝度信号の最大出力レベルが１００％となるため、図６（ｂ）に示すように、合成割合に従って圧縮を施した後、加算して得られる映像は、図６（ｃ）に示すように、合成後の最大出力レベルも１００％となり、見かけ上のダイナミックレンジの広い映像信号を得ることができる。このとき、高輝度信号の最大出力レベルが１００％であるから、高輝度部分の階調も十分であり、また、ノイズが増幅されることもないため、良好な映像信号となっている。さらに、演算処理が簡単であるため、演算処理装置の負荷も軽減することができる。
【００４２】
次に、合成割合設定部１８０が行なう合成割合ＴＨの設定について説明する。合成割合は、固定値としたり、設定受付部２１０を介して受け付けたユーザからの指示に基づいて定めるようにしてもよいが、本実施形態では、設定された高輝度露光時間と連動して定めるものとする。
【００４３】
例えば、図７（ａ）〜図７（ｃ）は、被写体輝度分布に応じた高輝度露光時間の設定例を示しており、被写体輝度分布の広い図７（ａ）が最も高輝度露光時間が短く、被写体輝度分布の狭い図７（ｃ）が最も高輝度露光時間が長くなっている。
【００４４】
本図から分かるように、高輝度露光時間が短いほど、高輝度信号領域がカバーする範囲が広くなっている。このため、高輝度信号の合成割合（１００−ＴＨ）を大きくすることで、より高輝度信号の階調を忠実に再現できるようになる。逆に、高輝度露光時間が長い場合には、高輝度信号領域がカバーする範囲が狭くなるため、高輝度信号の合成割合を小さくしても合成映像への影響は少ないことになり、標準輝度領域の階調表現を重視する方が望ましいと考えられる。
【００４５】
したがって、本実施形態では、合成割合設定部１８０は、高輝度露光時間が短いほど高輝度信号の合成割合が高くなるように合成割合ＴＨを設定するものとする。図８は、高輝度露光時間と合成割合ＴＨの設定例を示した図である。
【００４６】
本図の例では、高輝度露光時間が１／１２０の比較的長い場合には、低輝度信号で被写体の輝度分布をカバーできると想定されるため、高輝度信号の合成割合（１００−ＴＨ）を０％としている。一方、高輝度露光時間が１／１２００００と極めて短い場合には、高輝度部分の階調表現が重要であると想定されるため、高輝度信号の合成割合（１００−ＴＨ）を５０％としている。
【００４７】
以上、本発明の第１実施形態について説明した。次に、本発明の第２実施形態について説明する。図９は、本発明の第２実施形態である撮像装置の機能構成について説明するブロック図である。第１実施形態と同じ機能部については、同じ符号を付し、説明を簡略化する。
【００４８】
本図に示すように、第２実施形態の撮像装置１０ａは、第１実施形態の撮像装置１０が備える標準輝度信号画像処理部１６０、高輝度信号画像処理部１７０、合成割合設定部１８０に代えて、Ｌエンハンス処理部１６１ａを含む標準輝度信号画像処理部１６０ａ、Ｓエンハンス処理部１７１ａを含む高輝度信号画像処理部１７０ａ、合成割合設定部１８０ａを備えている点において、第１実施形態と相違する。
【００４９】
合成割合設定部１８０ａは、設定した合成割合（ＴＨ）を、標準輝度ゲインＧａｉｎＬとしてＬエンハンス処理部１６１ａに出力し、設定した合成割合（１００−ＴＨ）を高輝度ゲインＧａｉｎＳとしてＳエンハンス処理部１７１ａに出力する以外は、第１実施形態の合成割合設定部１８０と同様の処理を行なう。
【００５０】
すなわち、第２実施形態の撮像装置１０ａの処理は、Ｌエンハンス処理部１６１ａおよびＳエンハンス処理部１７１ａが、合成割合設定部１８０ａが設定した合成割合に基づいてエンハンス処理を行なう以外は第１実施形態の処理と同様である。
【００５１】
まず、第１実施形態における通常のエンハンス処理の詳細について図１０を参照して説明する。本図に示すように、Ｌエンハンス処理部１６１は、図３に示したエンハンス処理手順、あるいは、フィルタ処理等によって、図１０（ａ）に示す標準輝度信号からエッジを抽出し、標準輝度エンハンス信号を生成して、標準輝度信号に加算する。また、Ｓエンハンス処理部１７１は、図１０（ｂ）に示す高輝度信号からエッジを抽出し、高輝度エンハンス信号を生成して、高輝度信号に加算する。
【００５２】
画像合成処理部１９０では、エンハンス信号が加算された標準輝度信号および高輝度信号を、合成割合ＴＨおよび（１００−ＴＨ）に従って圧縮を行なうため、圧縮後の標準輝度信号および高輝度信号では、図１０（ｃ）（ｄ）に示すように、エンハンス信号も圧縮されてしまうことになる。この結果、合成後の映像信号は、図１０（ｅ）に示すように、エンハンス信号の効果が弱まった映像信号となり、解像感が失われる場合が生じる。
【００５３】
そこで、第２実施形態では、図１１に示すようなエンハンス処理を行なうものとする。すなわち、Ｌエンハンス処理部１６１ａでは、標準輝度信号からエッジを抽出して得られた標準輝度エンハンス信号に対して、Ａ／ＧａｉｎＬを乗じてエンハンス信号を強調してから標準輝度信号に加算する。この結果、図１１（ａ）に示すようにエッジ部分がさらに強調された標準輝度信号が得られる。ここで、ＧａｉｎＬは、合成割合ＴＨ％と等しい１以下の値である。このため、合成割合ＴＨが小さく、圧縮率が高いほど、エンハンス信号が強調される。また、Ａは強調係数であり、通常１とするが、撮像目的や設定等に応じて変化させるようにしてもよい。
【００５４】
Ｓエンハンス処理部１７１ａにおいても、高輝度信号からエッジを抽出して得られた高輝度エンハンス信号に対して、Ｂ／ＧａｉｎＳを乗じてエンハンス信号を強調してから高輝度信号に加算する。この結果、図１１（ｂ）に示すようにエッジ部分がさらに強調された高輝度信号が得られる。ここで、ＧａｉｎＳは、合成割合（１００−ＴＨ）％と等しい１以下の値である。このため、合成割合（１００−ＴＨ）が小さく、圧縮率が高いほど、エンハンス信号が強調される。また、Ｂは強調係数であり、通常１とするが、撮像目的や設定等に応じて変化させるようにしてもよい。
【００５５】
第２実施形態では、エンハンス信号が合成割合と逆相関で強調された標準輝度信号および高輝度信号を、合成割合ＴＨおよび（１００−ＴＨ）に従って圧縮を行なって加算するため、第１実施形態の効果に加え、図１１（ｃ）に示すように、エンハンス信号が保持され、解像感が保たれた良好な映像信号を得ることができるようになる。
【００５６】
次に、本発明の第３実施形態について説明する。第３実施形態の撮像装置は、第１実施形態あるいは第２実施形態と同様の構成とすることができる。第３実施形態は、図１２に示すように、被写体輝度分布が非常に広い輝度差の極めて大きな被写体を撮像する場合に効果的に適用することができる。
【００５７】
被写体輝度分布が非常に広い場合に、第１実施形態あるいは第２実施形態に従って、再高輝度部分の出力レベルが１００％となるように高輝度露光時間を定めると、本図に示すように、高輝度露光時間が短くなりすぎて、標準輝度信号領域でも高輝度信号領域でもカバーできない領域αが生じる場合がある。このような場合、合成後の映像が不自然な映像となる。
【００５８】
第３実施形態では、この現象を回避するために、必要に応じて高輝度露光時間に下限を設けるようにする。高輝度露光時間の下限、すなわち、シャッタ速度の上限は、例えば、あらかじめ用意したモードに応じて設定することができる。
【００５９】
図１３は、モードと高輝度露光時間下限値の設定例を示す図である。本図の例では、標準輝度領域を重視するモード−３から高輝度領域を重視するモード３までの７段階を用意し、高輝度領域を重視するにつれて、徐々に高輝度露光時間の下限値が小さくなっていくように設定している。これらのモードは、ユーザが任意に設定したり、撮像目的等に応じて適切に設定することができる。もちろん、高輝度露光時間に下限を設けない設定も選べるようにしておくことが望ましい。
【００６０】
高輝度露光時間下限値を設けることで、高輝度領域において白飛びが生じる場合があるが、全体の階調は保たれるため、被写体輝度分布が非常に広い場合にも不自然さを回避した良好な映像を得ることができるようになる。また、高輝度露光時間下限値を設けた場合でも、高輝度信号の最大出力レベルは１００％となるため、見かけ上の広いダイナミックレンジは本実施形態でも実現することになる。
【００６１】
図１４は、第３実施形態における高輝度露光時間設定部１５２が行なう高輝度露光時間の設定手順を示すフローチャートである。すなわち、露出設定信号により被写体の輝度データを取得し（Ｓ２０１）、上述の実施形態と同様に、最高輝度部分の高輝度信号の出力レベルが１００％になるまで（Ｓ２０２：Ｙｅｓ）、高輝度露光時間の調整を繰り返すようにするが（Ｓ２０４）、途中で高輝度露光時間が下限に達した場合には（Ｓ２０３：Ｙｅｓ）、高輝度露光時間の調整を終了するようにする。
【００６２】
このような制御を行なうことにより、第３実施形態においても、見かけ上のダイナミックレンジの広い、良好な映像信号を得ることができる。特に、第３実施形態では、被写体輝度分布が非常に広い場合に、映像が不自然になってしまうことを防ぐことができる。
【００６３】
上記の第１〜３実施形態は、高輝度露光時間を連続的に設定できる場合を想定して説明したが、ここで、設定可能な高輝度露光時間が離散的な場合の処理について説明する。
【００６４】
上述のように、設定可能な高輝度露光時間が離散的で高輝度信号の出力レベルが１００％となる高輝度露光時間が設定できない場合には、最大出力レベルが１００％を超えない範囲で最も１００％に近くなる高輝度露光時間を設定するものとする。これは、白飛びが生じて情報が失われるのを防ぐためである。さらに、このときの高輝度信号の最大出力レベルをＸとする。
【００６５】
例えば、高輝度露光時間として、離散的に露光時間Ａと露光時間Ｂとが設定可能な場合に、露光時間Ａとした場合の最大出力レベルが７０％であり、露光時間Ｂとした場合の最大出力レベルが６０％のときは、１００％を超えない範囲でより１００％に近い露光時間Ａを設定する。このとき、Ｘ＝７０％となる。
【００６６】
また、露光時間Ａとした場合の最大出力レベルが１１０％であり、露光時間Ｂとした場合の最大出力レベルが６０％のときは、１００％を超えない範囲でより１００％に近い露光時間Ｂを設定する。このとき、Ｘ＝６０％となる。
【００６７】
このようにして高輝度露光時間を設定して撮像すると、最大出力レベルがＸの高輝度信号が得られる。このため、合成割合（１００−ＴＨ）％で圧縮を施した後、標準輝度信号と加算して得られる合成後の映像は、最大出力レベルが１００％に満たないことになる。
【００６８】
そこで、画像合成処理部１９０は、最大出力レベルがＸの高輝度信号をＸ％で割ることで、高輝度信号の最大出力レベルを１００％にしてから、合成割合（１００−ＴＨ）％で圧縮を施した後、標準輝度信号と加算する。これにより、得られる合成後の映像は、最大出力レベルが１００％となるため、見かけ上のダイナミックレンジの広い映像信号を得ることができる。
【符号の説明】
【００６９】
１０…撮像装置、１０ａ…撮像装置、１１０…光学系、１２０…撮像素子、１５０…露出制御部、１５１…露光時間設定部、１５２…高輝度露光時間設定部、１５３…絞り設定部、１６０…標準輝度信号画像処理部、１６０ａ…標準輝度信号画像処理部、１６１…エンハンス処理部、１６１ａ…エンハンス処理部、１７０…高輝度信号画像処理部、１７０ａ…高輝度信号画像処理部、１７１…エンハンス処理部、１７１ａ…エンハンス処理部、１８０…合成割合設定部、１８０ａ…合成割合設定部、１９０…画像合成処理部、２００…映像出力部、２１０…設定受付部
【特許請求の範囲】
【請求項１】
第１露光時間によって得られた標準輝度映像信号と、第１露光時間より短い第２露光時間によって得られた高輝度映像信号とを、合成割合に従って合成する信号処理装置であって、
前記高輝度映像信号の最大値が、前記高輝度映像信号の設定されたダイナミックレンジと一致するように前記第２露光時間を設定する露光時間設定部を備えたことを特徴とする信号処理装置。
【請求項２】
第１露光時間によって得られた標準輝度映像信号と、第１露光時間より短い第２露光時間によって得られた高輝度映像信号とを、合成割合に従って合成する信号処理装置であって、
前記高輝度映像信号の最大値が、前記高輝度映像信号の設定されたダイナミックレンジに近づくように前記第２露光時間を調整して設定する露光時間設定部を備えたことを特徴とする信号処理装置。
【請求項３】
請求項１または２に記載の信号処理装置であって、
設定された前記第２露光時間が短いほど、前記高輝度映像信号の合成割合を大きく設定する合成割合設定部をさらに備えたことを特徴とする信号処理装置。
【請求項４】
請求項１から３のいずれか１項に記載の信号処理装置であって、
前記標準輝度映像信号から標準輝度エンハンス信号を生成して、前記標準輝度映像信号に加算する標準輝度信号エンハンス処理部と、
前記高輝度映像信号から高輝度エンハンス信号を生成して、前記高輝度映像信号に加算する高輝度信号エンハンス処理部とをさらに備え、
前記標準輝度信号エンハンス処理部は、前記標準輝度映像信号の合成割合が小さいほど前記標準輝度エンハンス信号を大きく生成し、
前記高輝度信号エンハンス処理部は、前記高度映像信号の合成割合が小さいほど前記高輝度エンハンス信号を大きく生成することを特徴とする信号処理装置。
【請求項５】
請求項１から４のいずれか１項に記載の信号処理装置であって、
前記露光時間設定部は、設定する前記第２露光時間に下限を設けていることを特徴とする信号処理装置。
【請求項１】
第１露光時間によって得られた標準輝度映像信号と、第１露光時間より短い第２露光時間によって得られた高輝度映像信号とを、合成割合に従って合成する信号処理装置であって、
前記高輝度映像信号の最大値が、前記高輝度映像信号の設定されたダイナミックレンジと一致するように前記第２露光時間を設定する露光時間設定部を備えたことを特徴とする信号処理装置。
【請求項２】
第１露光時間によって得られた標準輝度映像信号と、第１露光時間より短い第２露光時間によって得られた高輝度映像信号とを、合成割合に従って合成する信号処理装置であって、
前記高輝度映像信号の最大値が、前記高輝度映像信号の設定されたダイナミックレンジに近づくように前記第２露光時間を調整して設定する露光時間設定部を備えたことを特徴とする信号処理装置。
【請求項３】
請求項１または２に記載の信号処理装置であって、
設定された前記第２露光時間が短いほど、前記高輝度映像信号の合成割合を大きく設定する合成割合設定部をさらに備えたことを特徴とする信号処理装置。
【請求項４】
請求項１から３のいずれか１項に記載の信号処理装置であって、
前記標準輝度映像信号から標準輝度エンハンス信号を生成して、前記標準輝度映像信号に加算する標準輝度信号エンハンス処理部と、
前記高輝度映像信号から高輝度エンハンス信号を生成して、前記高輝度映像信号に加算する高輝度信号エンハンス処理部とをさらに備え、
前記標準輝度信号エンハンス処理部は、前記標準輝度映像信号の合成割合が小さいほど前記標準輝度エンハンス信号を大きく生成し、
前記高輝度信号エンハンス処理部は、前記高度映像信号の合成割合が小さいほど前記高輝度エンハンス信号を大きく生成することを特徴とする信号処理装置。
【請求項５】
請求項１から４のいずれか１項に記載の信号処理装置であって、
前記露光時間設定部は、設定する前記第２露光時間に下限を設けていることを特徴とする信号処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１１−９７２０７（Ｐ２０１１−９７２０７Ａ）
【公開日】平成２３年５月１２日（２０１１．５．１２）
【国際特許分類】
【出願番号】特願２００９−２４７２４９（Ｐ２００９−２４７２４９）
【出願日】平成２１年１０月２８日（２００９．１０．２８）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
【公開日】平成２３年５月１２日（２０１１．５．１２）
【国際特許分類】
【出願日】平成２１年１０月２８日（２００９．１０．２８）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
[ Back to top ]