画像信号処理装置
【課題】ワイドダイナミックレンジで且つ高コントラスト感が得られる画像を取得可能な画像信号処理装置を提供する。
【解決手段】被写体からの入射光を光電変換し画像信号として出力し且つその入出力特性が非線形である撮像素子と、前記撮像素子より出力される少なくとも二つ以上の感度特性の異なる各画像信号に対して所定の処理を行い入力する入力手段と、該入力手段からの画像信号の信号レベルを検出する信号レベル検出手段と、前記コントラスト拡張手段からの画像信号に対して所定の処理を行い出力する出力手段と、前記信号レベル検出手段からの信号と前記撮像素子の入出力特性の情報を基に前記入力手段および前記出力手段を制御する制御手段とを有する構成とした。
【解決手段】被写体からの入射光を光電変換し画像信号として出力し且つその入出力特性が非線形である撮像素子と、前記撮像素子より出力される少なくとも二つ以上の感度特性の異なる各画像信号に対して所定の処理を行い入力する入力手段と、該入力手段からの画像信号の信号レベルを検出する信号レベル検出手段と、前記コントラスト拡張手段からの画像信号に対して所定の処理を行い出力する出力手段と、前記信号レベル検出手段からの信号と前記撮像素子の入出力特性の情報を基に前記入力手段および前記出力手段を制御する制御手段とを有する構成とした。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ワイドダイナミックレンジと高コントラスト感を両立するための画像信号処理を行う、画像信号処理装置に関する。
【背景技術】
【０００２】
従来、第１のワイドダイナミックレンジ画像生成技術として、特許文献１では、シャッタ速度の異なる複数の画像を取得して合成することで、ワイドダイナミックレンジの画像を取得する技術が開示されている。
また、第２のワイドダイナミックレンジ画像生成技術として、特許文献２では、被写体の光を入力とし光電変換した後画像信号として出力する撮像素子を、画素飽和を極力抑えるよう非線形入出力特性とし、該非線形入出力特性の撮像素子を用いて撮影することでワイドダイナミックレンジの画像を取得する技術が開示されている。
【０００３】
また、ワイドダイナミックレンジ画像を撮影する際の制御方法の一例として、特許文献３がある。該公報の要約には、課題として「本発明は、同一フレームで撮像されて得た光電変換特性の異なる画像信号に対して、その光電変換特性に応じたパラメータによる信号処理を行う撮像装置を提供することを目的とする。」と記載され、また解決手段として「同一フレームで撮像された各画素の画像信号の光電変換を確認し、色補正回路１０の色補正係数や、階調変換回路１１による階調変換特性や、コアリング回路１２のＬＰＦ係数やコアリング計数などの各種パラメータを、各画像信号毎に確認された光電変換に基づいて切り換える。」と記載されている。
【０００４】
また、特にオートフォーカスに関しては特許文献４がある。該公報の要約には、課題として「ＡＦ制御を行うに際し、撮像センサの線形特性領域と対数特性領域との特質を考慮しつつ、最適なＡＦ制御を行うことができるようにする。」と記載され、また解決手段として「線形特性領域と対数特性領域とを備える撮像センサを備える撮像装置において、撮像センサの対数特性領域から得られた第１のＡＦ評価値に基づいて第１のＡＦ制御を行わせた後に、撮像センサの線形特性領域から得られた第２のＡＦ評価値に基づいて第２のＡＦ制御を行わせるＡＦ動作制御部を具備させる。ＡＦ動作制御部は、第１のＡＦ評価値を取得するときに被写体の輝度範囲に対応するセンサ出力が対数特性領域から得られ、また第２のＡＦ評価値を取得するときにはセンサ出力が線形特性領域から得られるよう、光電変換特性を制御する。」と記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−１３５７８７号公報
【特許文献２】特開２００２−７７７３３号公報
【特許文献３】特開２００５―１１０２３５号公報
【特許文献４】特開２００６―３７２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来の第１のワイドダイナミックレンジ画像生成技術では、シャッタ速度を変えながら画像を逐一取得し合成する。即ち、合成前の各画像間には、時間のずれが存在する。このため、例えば動いている被写体を撮影した際、合成後の画像に動体歪が発生するという課題があった。
【０００７】
また従来の第２のワイドダイナミックレンジ画像生成技術における非線形入出力特性を持つ撮像素子は、対数圧縮等により非線形入出力特性を実現しているため、画像信号の強弱が圧縮された画像となる。このため、例えば黒白の被写体を映した場合、一般的に使用されるリニア入出力特性の撮像素子で取得した画像に比べ、各画素の信号レベルの差分が小さくなるため、メリハリのないコントラスト感に欠ける映像となってしまうという課題があった。
【０００８】
また従来の第２のワイドダイナミックレンジ画像生成技術における非線形入出力特性を持つ撮像素子は、対数圧縮等により非線形入出力特性を実現しているため、一般的に使用されるリニア入出力特性の撮像素子に比べ、信号の差分の圧縮度合いが入力光のレベルによって異なる。例えば、対数圧縮型であれば、光が比較的弱い被写体を映した場合は信号圧縮が小さいため信号差分を大きく取れるが、光が比較的強い被写体を映した場合は信号圧縮が大きいため信号差分が大きく取れなくなる。即ち、少なくとも２種類以上の明るさを持つ被写体を撮影する状況において、所定の明るさを持った第１の被写体が映っている第１の画像領域はコントラスト感が高いが、第１の被写体とは異なる明るさを持った第２の被写体が映っている第２の画像領域はコントラスト感に乏しいといった、被写体によって、コントラスト感の欠如度合いに違いが生じるという課題があった。
【０００９】
また前記特許文献３では、たとえば対数特性に設定した場合の情報から線形特性の撮像における画質制御を行うことは考慮されておらず、改善の余地がある。
また前記特許文献４では、たとえば対数特性に設定した場合の情報と線形特性に設定した場合の情報を同一フレームで得て、両者を同時に用いて自動制御を行うことは考慮されておらず、改善の余地がある。
上記以外の課題は、後述する実施例によって明らかにされる。
【課題を解決するための手段】
【００１０】
上記課題を解決するために本発明は、被写体を撮像して該被写体に係る画像信号を出力する画像信号処理装置であって、
前記被写体から供給された入射光を光電変換して電気信号に変換し、前記入射光との間の入出力特性が非線形であって互いに異なる少なくも二つの特性を含む前記電気信号を出力する撮像素子と、
該撮像素子が出力した前記電気信号が供給され前記電気信号の信号レベルを検出する信号レベル検出手段と、
前記撮像素子が出力した前記電気信号が供給され前記電気信号に対する信号処理を行う信号処理手段と、
該信号処理手段で信号処理して得た前記画像信号を出力する出力手段と、
前記信号レベル検出手段から供給された前記検出信号と前記撮像素子の入出力特性の情報を基に前記信号処理手段を制御する制御手段を有し、
前記制御手段は、前記電気信号に対して前記検出信号に基づき露光制御、オートフォーカス制御、またはパラメータ調整を行うことを特徴としている。
【００１１】
また本発明は、被写体を撮像して該被写体に係る画像信号を出力する画像信号処理装置であって、
前記被写体から供給された入射光を光電変換して電気信号に変換し、前記入射光との間の入出力特性が非線形であって互いに異なる少なくも二つの特性を含む第１の電気信号と、前記入射光との間の入出力特性が略線形な第２の電気信号を出力する撮像素子と、
該撮像素子が出力した前記電気信号が供給され前記電気信号の信号レベルを検出する信号レベル検出手段と、
前記撮像素子が出力した前記電気信号が供給され前記電気信号に対する信号処理を行う信号処理手段と、
該信号処理手段で信号処理して得た前記画像信号を出力する出力手段と、
前記信号レベル検出手段から供給された前記検出信号と前記撮像素子の入出力特性の情報を基に前記信号処理手段を制御する制御手段を有し、
前記信号処理手段は、前記制御手段からの制御に応じて前記電気信号のうち第１の電気信号から第２の電気信号の値を補間して前記画像信号を生成することを特徴としている。
上記以外の手段は、後述する実施例によって明らかにされる。
【発明の効果】
【００１２】
本発明による画像処理装置を用いれば、従来技術における課題を解決でき、ワイドダイナミックレンジで動体歪がなく、且つ撮影した被写体に応じて最適なコントラスト感が得られる画像を取得でき、画像処理装置の高性能化に寄与できるという効果がある。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施例１および２における画像情報処理装置の基本構成図である。
【図２】本発明の実施例３における画像情報処理装置の基本構成図である。
【図３】本発明における撮像素子の入出力特性の例を示す図である。
【図４】本発明におけるコントラスト拡張の第１の例を示す図である。
【図５】本発明におけるコントラスト拡張の第２の例を示す図である。
【図６】本発明における撮像素子の分光特性の例を示す図である。
【図７】本発明における撮像素子の入出力特性の例を示す図である。
【図８】本発明の実施例５における画像情報処理装置の基本構成図である。
【図９】本発明で用いる撮像素子の例を示す図である。
【図１０】図９の撮像素子における入出力特性の例を示す図である。
【図１１】図９の撮像素子で撮像した映像の第１の例を示す図である。
【図１２】図９の撮像素子で撮影した映像のヒストグラムの例を示す図である。
【図１３】図９の撮像素子で撮影した映像の第２の例を示す図である。
【図１４】フォーカス位置と合焦信号の関係の例を示す図である。
【図１５】コントラスト拡張手段の構成の例を示す図である。
【発明を実施するための形態】
【００１４】
以下、本発明に好適な実施形態の例として、たとえば撮像機能を有する画像情報処理装置における実施例を説明する。
【実施例１】
【００１５】
本発明における実施例１について詳細に説明する。
図１は、本発明の実施例１における画像情報処理装置の基本構成図である。被写体からの入射光を光電変換し画像信号として出力し、且つその入出力特性が非線形である撮像素子１と、該撮像素子１からの画像信号に所定の処理を行いコントラスト拡張手段３と信号レベル検出手段４に入力する入力手段２と、該入力手段２からの画像信号に対してコントラストの拡張を行うコントラスト拡張手段３と、前記入力手段２からの画像信号の信号レベルを検出する信号レベル検出手段４と、該信号レベル検出手段４からの信号と前記撮像素子１の入出力特性の情報を基に前記コントラスト拡張手段におけるコントラスト拡張の強弱を制御するコントラスト制御手段５と、前記コントラスト拡張手段３からの画像信号に所定の処理を行い外部へ出力する出力手段６と、を持つ構成とした。
【００１６】
撮像素子１は非線形の入出力特性であるとしたが、図３に示す撮像素子の入出力特性を用いて詳細に説明する。
図３の(a)ケース１は、２種類のリニア特性を持ち、低輝度(入射光のレベルが低い)部分と比較して、高輝度部分の圧縮率を高くしている。高輝度(入射光のレベルが高い)部分を圧縮することで、画素飽和点をより高輝度側へシフトさせることができ、一般的なリニア特性の撮像素子に比べ、ワイドダイナミックレンジを実現可能である。さらに、後述のケース２〜４に対して、対数変換の演算量を削減できることから、低コスト化や小型化、低消費電力化を実現できる。
【００１７】
また図３の(b)ケース２は、低輝度部分はリニア特性であり、高輝度部分は対数特性とし、高輝度になればなるほど圧縮率を高くしている。これにより、ケース１に対してさらにワイドダイナミックレンジ化が可能である。さらに、後述するコントラスト拡大を、圧縮率が高い高輝度部分のみに適用する構成とすれば、演算量を削減できることから、低コスト化や小型化、低消費電力化が可能である。
【００１８】
また図３の(c)ケース３は全輝度領域で対数特性である。これにより、(b)ケース２に対してさらにワイドダイナミックレンジ化が可能である。
また図３の(d)ケース４は、２種類の対数特性を持ち、低輝度部分と比較して、高輝度部分の圧縮率を高くしている。これにより、(c)ケース３に対してさらにワイドダイナミックレンジ化が可能である。
また図３のケース１〜４は、本発明における撮像素子の入出力特性の一例であり、特定の輝度領域、あるいは全輝度領域について所定の関数により圧縮した非線形特性であれば、上記以外でもよい。
【００１９】
図１の入力手段２について詳細を説明する。所定の処理とは、撮像素子からの信号を入力して、後段の信号処理を行うブロック（コントラスト拡張手段３、信号レベル検出手段４、コントラスト制御手段５）にて画像信号処理を行うための入力インタフェース処理であり、例えばA/D変換処理やLVDS（Low Voltage Differential Signaling）信号をデジタル信号に変換する処理であり、また例えば、撮像素子と信号処理部との処理タイミングを調整する同期調整処理である。尚、入力手段２は、レベル調整のためのゲインコントロールや、フィルタ処理等、所定の画像信号処理を含む構成であってもよい。
【００２０】
コントラスト拡張手段３、信号レベル検出手段４、コントラスト制御手段５について図４を用いて詳細を説明する。信号レベル検出手段４は、画像内の所定の画素領域における信号がどのようなものかを検出する。検出する数値は、例えばヒストグラム分布、最大値、最小値、平均値、周波数分布等、画像領域の信号分布を示す情報となる数値である。
【００２１】
図４の(a1)と(a2)は、低輝度領域と高輝度領域を撮影した際の２つのケースについてのヒストグラム分布である。コントラスト制御手段５は、このヒストグラム分布情報と前記撮像素子１の入出力特性の情報を基に、コントラスト拡張手段３の折れ線補正の入出力特性を制御し、ヒストグラムを拡大する。例えば図４の(b1)と(b2)のようなヒストグラム拡大処理である。以上の演算によれば、画像領域ごとに、圧縮された信号を最大限に復元可能であり、ワイドダイナミックレンジを維持しつつ高コントラスト化を実現可能である。
【００２２】
尚、コントラスト拡張手段３は折れ線補正としたが、非線形の特性でもよく、例えばカーブ補正でもよい。
図５は、カーブ補正の場合のヒストグラム拡大処理を示す。この場合、ヒストグラム分布において、より画素数の多い箇所を中心にコントラスト拡大を行うことが可能である。
【００２３】
また、信号レベル検出手段４はヒストグラムを検出する代わりにより少ない演算量で検出可能な平均値、最大値と最小値、周波数分布等の少なくともひとつを検出し、コントラスト制御手段５は信号レベル検出手段４からの情報を基にヒストグラム分布を推定し、該推定したヒストグラム分布と前記撮像素子の入出力特性の情報に応じてコントラスト拡大手段３を制御する方法であってもよい。例えば、通常被写体を映した場合、そのヒストグラムの分布は平均値を中心として一定の輝度範囲に分布する確率が高い。さらに撮像素子が例えば対数圧縮等の入出力特性であった場合は、平均値が低輝度であればヒストグラム分布が広めであり、高輝度であればヒストグラム分布が狭い確率が高い。
【００２４】
以上の原理から、例えば信号レベル検出手段４は平均値を検出するものとし、コントラスト制御手段５は撮像素子１の入出力特性を表す情報を保持しておき、前記信号レベル検出手段４からの平均値と前記撮像素子１の入出力特性の情報を基にヒストグラム分布を予測し、コントラスト拡張手段３の強弱を決定する。以上の構成であっても、前記信号レベル検出手段４がヒストグラム分布を検出する構成と同等の効果を得ることができ、且つ少ない演算量で実現できる。
【００２５】
また、最大値と最小値はヒストグラム分布の最大値と最小値であるから、信号レベル検出手段４が最大値と最小値を検出する場合であったとしても、ヒストグラム分布の予測は可能であり、前記信号レベル検出手段４がヒストグラム分布を検出する構成と同等の効果を得ることができる。
また、DCT(離散コサイン変換)やFFT(高速フーリエ変換)、アダマール変換、特定の周波数レスポンスを抽出するバンドパスフィルタ等、少なくとも１種類以上の周波数の特性を把握できれば、周波数分布は信号レベルの振幅であることから最大値と最小値を特定できるため、ヒストグラム分布の予測は可能であり、前記信号レベル検出手段４がヒストグラム分布を検出する構成と同等の効果を得ることができる。
【００２６】
尚、前記コントラスト制御手段５において撮像素子１の入出力特性を表す情報を保持するとしたが、入力レベルと出力レベルを対応付けた情報をテーブルとして保持する方法でよい。上記によれば、入出力特性の正確な把握が可能である。また、入出力特性を表す関数式を保持する方法でもよい。上記によれば、入出力特性の正確な把握が可能であり、且つテーブルとして保存しておく方法に比べて保持するデータ量を削減できる。
【００２７】
また、複数の入射光の輝度レベルにおける圧縮率情報など、入出力特性を推定できる情報を保持する方法でもよい。上記によれば、例えばデータを間引いた状態で保持しておき近似補間することで入出力特性の正確な把握が可能であり、且つテーブルとして保存しておく方法に比べて保持するデータ量を削減できる。また、関数式を保持する方法は関数が多項式になればなるほど演算量が増えるが、間引いた状態のデータを近似補間で実現すれば相対的に演算量を削減できる。
【００２８】
出力手段６について詳細を説明する。所定の処理とは、TVやストレージ等の出力機器の信号フォーマットに変換する出力インタフェース処理であり、例えばNTSCやPALのビデオ出力に変換するものであり、例えばHDMI信号に変換するものであり、例えばネットワークのTCP/IPプロトコル信号に変換するものである。尚、出力手段６は、レベル調整のためのゲインコントロールや、フィルタ処理、エンコードによる圧縮処理等、所定の画像信号処理を含む構成であってもよい。
以上の構成により、ワイドダイナミックレンジを実現しつつ、且つ撮影した被写体に応じて最適なコントラスト感となる映像を生成する画像処理装置を実現できる。
【実施例２】
【００２９】
本発明における実施例２について詳細に説明する。実施例２では、実施例１と同様に、被写体からの入射光を光電変換し画像信号として出力し且つその入出力特性が非線形である撮像素子１と、該撮像素子１からの画像信号に所定の処理を行い入力する入力手段２と、該入力手段２からの画像信号に対してコントラストの拡張を行うコントラスト拡張手段３と、前記入力手段２からの画像信号の信号レベルを検出する信号レベル検出手段４と、該信号レベル検出手段４からの信号と前記撮像素子１の入出力特性の情報を基に前記コントラスト拡張手段３におけるコントラスト拡張の強弱を制御するコントラスト制御手段５と、前記コントラスト拡張手段３からの画像信号を所定の処理を行い出力する出力手段６と、を持つ構成とした。
【００３０】
またさらに実施例２においては、前記撮像素子１を各画素上に複数のカラーフィルタを備えたカラー単板撮像素子とし、コントラスト補正手段３はカラーマトリクス演算とした。
例えばカラーフィルタがRGBであるRGBベイヤ配列の撮像素子であり、かつ対数型の入出力特性を持つ場合を説明する。
【００３１】
図６の分光特性が表すようにこの場合は、低輝度領域を撮影した際の各画素の分光特性(a)と、高輝度領域を撮影した際の各画素の分光特性(b)が異なる。特に分光特性(b)は、各色が混色しているため、そのまま画像化すると色のコントラストが低い画像となる。即ち、入出力特性が非線形であるカラー撮像素子を用いた場合、入射光の輝度レベルに応じて色再現が変化してしまうという課題があった。
【００３２】
そこで本発明では、コントラスト拡張手段３はカラーマトリクス演算を行うものとし、たとえば（式１）で示すマトリクス演算を行うものとする。R_in、G_in、B_inはそれぞれ入力手段２からの信号であり、R_out、G_out、B_outはそれぞれコントラスト拡張手段３の出力信号である。また、K**はマトリクス係数である。
【００３３】
R_out ＝ R_in×Krr ＋ G_in×Kgr ＋ B_in×Kbr
G_out ＝ R_in×Krg ＋ G_in×Kgg ＋ B_in×Kbg
B_out ＝ R_in×Krb ＋ G_in×Kgb ＋ B_in×Kbb 以上（式１）
【００３４】
コントラスト制御手段５は、信号レベル検出手段３からの信号と前記撮像素子１の入出力特性の情報を基にマトリスク演算係数K**を制御するものとする。撮像素子１の入出力特性を表す情報は、実施例１と同様入出力特性をデータテーブルとして保持する方法でよく、また入出力特性を表す関数式を保持する方法でもよい。また、複数の入射光の輝度レベルにおける圧縮率情報など、入出力特性を推定できる情報を保持する方法でもよい。また、色信号毎に個別に入出力特性を表す情報、あるいは推定できる情報を保持する方法でもよい。また、入射光の輝度レベルに応じて変化する分光特性情報を保持する方法でもよい。制御方法は、例えば高輝度領域の分光特性において混色が多い場合、混色を除去するよう係数を制御するものとする。
以上の構成によれば、画像領域ごとに、圧縮された色信号を最大限に復元可能であり、ワイドダイナミックレンジを維持しつつ、且つ撮影した被写体に応じて最適な色コントラスト感のとなる映像を生成する画像処理装置を実現できる。
【実施例３】
【００３５】
本発明における実施例３について詳細に説明する。
図２は、本発明の実施例３における画像情報処理装置の基本構成図である。被写体からの入射光を光電変換し画像信号として出力する際、少なくとも２つ以上の感度特性の異なる画像信号を出力する撮像素子１と、該撮像素子１からの各画像信号に対して所定の処理を行い入力する入力手段２と、該入力手段２からの画像信号に対してコントラストの拡張を行うコントラスト拡張手段３ａ，３ｂと、前記入力手段からの画像信号の信号レベルを検出する信号レベル検出手段４ａ，４ｂと、該信号レベル検出手段からの信号と前記撮像素子の入出力特性の情報を基に前記コントラスト拡張手段３ａ，３ｂにおけるコントラスト拡張の強弱を制御するコントラスト制御手段５ａ，５ｂとを個別に有し、前記コントラスト拡張手段３ａ，３ｂからの各画像信号をひとつの画像信号に合成する合成手段７と、該合成手段７からの画像信号を所定の処理を行い出力する出力手段６とを持つ構成とした。
【００３６】
撮像素子１は少なくとも２つ以上の感度特性の異なる画像信号を出力するとしたが、図２の構成図は、第１の信号と第２の信号という二つの画像信号を出力する場合の例である。第１の信号、第２の信号は例えば、図３の(b)ケース２におけるリニア特性の部分の画像信号と、対数特性の部分の画像信号である。
入力手段２には、前記撮像素子からの第１の信号と第２の信号が入力され、各々に対して前記実施例１または２に記載のものと同様の処理を行うものである。
【００３７】
コントラスト拡張手段３ａ、信号レベル検出手段４ａ、コントラスト制御手段５ａは前記入力手段２からの第１の信号に対して、前記実施例１に記載のものと同様の処理を行うものとし、コントラスト拡張手段３ｂ、信号レベル検出手段４ｂ、コントラスト制御手段５ｂは前記入力手段２からの第２の信号に対して、前記実施例１または２に記載のものと同様の処理を行うものとする。
以上の構成により、ワイドダイナミックレンジを実現しつつ、且つ撮影した被写体に応じて最適なコントラスト感となる映像を生成する画像処理装置を実現できる。
【００３８】
また、第１の信号と第２の信号に対して個別に信号レベルを検出することができるため、第１の信号と第２の信号が合成された信号に対して信号レベルを検出する実施例１の構成に比べて、より高精度な検出が可能である。また、第１の信号と第２の信号に対して個別にコントラスト制御を行うため、第１の信号と第２の信号が合成された信号に対してコントラスト制御を行う実施例１または２の構成に比べて、より高精度な制御が可能である。また、第１の信号と第２の信号に対して個別にコントラスト拡張を行った後に合成するため、第１の信号と第２の信号が合成された信号に対してコントラスト拡張を行う実施例１または２の構成に比べて、より高精度なコントラスト拡張が可能である。
【００３９】
さらには、第１の信号と第２の信号を個別にコントラスト拡張後に合成するため、第１の信号と第２の信号が合成された信号に対してコントラスト拡張を行う実施例１または２の構成に比べて、各々少ないビット精度での演算にて同等の演算精度を維持できる。例えば、実施例１または２の構成における入力手段２の出力ビット精度が３２bit精度であった場合、本実施例３の構成で同等の演算精度とするためには、第１の信号と第２の信号は各々１６bitとし、合成手段による合成後３２bitとすればよい。通常、bit数が少ない方がオーバーヘッドは小さいため、回路で実現する場合は回路規模を縮小でき、ソフトウェアで実現する場合は演算時間を短縮できる。
【実施例４】
【００４０】
本発明における実施例４について詳細に説明する。本実施例４では、前記実施例１〜３のいずれかの構成であって、前記入出力特性が非線形である撮像素子１において、所定の入射光(輝度)レベルで特性が変化する特性変化点を持つ撮像素子とした。例えば、図３の(a)(b)(d)のような特性変化点を持つ撮像素子である。
【００４１】
該特性変化点を持つ撮像素子は、例えば光電変換した電荷を特性変化点前の電荷と特性変化点後の電荷分に分けてキャパシタに格納しておき、合成して出力あるいは個別に出力することで実現できる。しかしながら、キャパシタに格納する際の電荷損失等により、合成後の特性変化点付近で出力レベルが下がってしまうという問題がある。
図７は、この場合の入出力特性の一例を示す。上記特性変化点付近でレベルが下がると、画像ではノイズとして現れる。
【００４２】
そこで、本発明における実施例４では、前記コントラスト制御手段５は撮像素子１の入出力特性の情報として特性変化点の情報を保持し、該特性変化点の情報と前記信号レベル検出手段４からの情報を基に、特性変化点付近のノイズ成分を増幅しないよう前記コントラスト拡張手段３を制御する構成とした。ここでノイズ成分を増幅しない制御とは、例えば特性変化点付近のコントラスト拡大を弱める、あるいは特性変化点付近のコントラスト拡大がかからないようにする、あるいは特性変化点付近のコントラストを拡大せず縮小させることで実現できる。
以上の構成により、ワイドダイナミックレンジを実現しつつ、特性変化点付近のノイズを増幅することなく、且つ撮影した被写体に応じて最適なコントラスト感となる映像を生成する画像処理装置を実現できる。
【実施例５】
【００４３】
本発明における実施例５について詳細に説明する。本実施形態では、撮像装置の一例であるビデオカメラにおいて、被写体を撮影する例を用いて説明する。本実施形態は、たとえば屋外での撮影や、極めて明るい被写体が一部に映り込むようなコントラストの高いシーンにおいて、特に有効である。
【００４４】
図８は、実施例５におけるビデオカメラ（画像情報処理装置）の基本構成図である。本実施例は撮像素子１、入力手段２、コントラスト拡張手段３、信号レベル検出手段４、コントラスト制御手段５、出力手段６、レンズ部８、制御部９を有する。また、入力手段２はＡＦＥ部２１、駆動部２２、センサデータ処理部２３を有する。また、出力手段６は輝度処理部６１、色差処理部６２、ズーム手段６３、エンコード手段６４を有する。以下、各構成要素の動作について、順に説明する。
【００４５】
まず、被写体から発せられた光線はレンズ部８に入射する。レンズ部８は図示されていない光学ズーム及びメカアイリスなどの機構を有し、これらは後述の通り制御部９によって制御される。レンズ部８では、メカアイリスによる光量調整が行われ、ズームレンズによってズームが施された後、撮像素子１上に被写体の像が結ばれる。
【００４６】
撮像素子１では結ばれた像の明るさに応じて画素ごとに光電変換が行われ、各画素位置に対応したアナログ信号に変換されて入力手段２へ出力される。
撮像素子１は入出力特性の異なる２つ以上の映像信号を同時に出力できるという特徴を有する。撮像素子１の例を図９に示す。
図９は、２×２のベイヤ配列を有する撮像素子を示すが、Ｒ画素、Ｇ画素、Ｂ画素に加えて対数的な入出力特性を有する画素（本実施例ではＬ画素と呼ぶ）を持つことにより、リニアな入出力特性の映像信号（Ｒ画素、Ｇ画素、Ｂ画素）と対数的な入出力特性（Ｌ画素）を同時に出力することができる。
図１０は、図９の撮像素子における入出力特性の例を示す。リニアな特性を持つ画素では一定以上の明るさになると出力が飽和してしまうが（図中の３０００）、対数的な特性を持つＬ画素の出力は高輝度部分が圧縮されているため、飽和せずに階調を表現することができる（図中の３０１０）。また、撮像素子１は、リニア画素（ＲＧＢの各画素）と対数画素（Ｌ画素）のシャッタスピードを独自に制御可能な構成になっている。
【００４７】
撮像素子１の駆動は駆動部２２により行われる。駆動部２２には、後述する制御部９からリニア画素用のシャッタ制御信号と対数画素用のシャッタ制御信号が入力される。駆動手段２２はこれらを用いてリニア画素用の駆動信号と対数画素用の駆動信号を生成し、撮像素子１に供給してシャッタ制御を行う。
以上の構成により、撮像素子１ではリニア特性の映像信号と対数特性の映像信号を同時に撮像することが可能であり、これらを用いて高画質、高性能の制御を実現することができる。詳細については後述する。
【００４８】
入力手段２へ入力された各映像信号は、ＡＦＥ部２１へ入力される。ＡＦＥ部２１では相関二重サンプリングによるノイズ除去処理、増幅器による信号増幅処理、Ａ／Ｄ変換処理などが施され、デジタル信号に変換された後、センサデータ処理部２３へ出力される。
センサデータ処理部２３では、センサの傷により欠損したデータの補正、ランダムノイズ除去、固定パターンノイズ除去などのデータ処理が施され、コントラスト拡張手段３および信号レベル検出手段４へ出力される。信号レベル検出手段４での処理は後述する。
【００４９】
コントラスト拡張手段３の動作は本発明の第１の実施例および第２の実施例においてにおいて詳細に説明されているため、本実施例では説明を割愛する。
コントラスト拡張手段３より出力された映像信号は、出力手段６に入力される。出力手段６では、入力された信号に各信号処理を施し、最終的な映像信号に変換して出力する。まず、入力された信号は輝度処理部６１および色差処理部６２に入力され、輝度処理部６１においては輝度信号の生成、ノイズ除去やエンハンサなどの各種フィルタ処理、ガンマ補正などが施された後、ズーム手段６３へ出力される。また、色差処理部６２においては色差信号の生成、ノイズ除去などの各種フィルタ処理、ガンマ補正、色補正などが施された後、ズーム手段６３へ出力される。
【００５０】
ズーム手段６３では輝度信号及び色差信号のタイミング合わせを行い、リニア特性の映像信号と対数特性の映像信号の合成などが行われる。また、必要に応じて電子ズーム処理が施された後、エンコード手段６４へ出力される。
エンコード手段６４では、TVやストレージ等の出力機器の信号フォーマットに変換する出力インタフェース処理が施される。具体的には、例えばNTSCやPALのビデオ出力に変換するものであり、例えばHDMI信号に変換するものであり、例えばネットワークのTCP/IPプロトコル信号に変換するものである。
【００５１】
信号レベル検出手段４では、コントラスト拡張手段３より出力された映像信号をもとに、画像内の所定の画素領域における信号がどのようなものかを検出する。検出する数値は、例えばヒストグラム分布、最大値最小値、平均値、周波数分布等、画像領域の信号分布を示す情報となる数値である。例示した信号の中には、ＡＦ（オートフォーカス）制御で使用する合焦信号も含まれる。信号レベル検出手段４から出力される検出信号は、例示したいずれか１つが出力されても、例示された以外の検出信号が出力されても、あるいは複数種類の検出信号が並列に出力されてもよいものとする。詳細は実施例１において記載されているので、本実施例では説明を割愛する。信号レベル検出手段４からの出力は制御部９に入力される。
【００５２】
制御部９はたとえばコントラスト制御手段５に代表される各種の制御手段を有し、信号レベル検出手段４からの検出信号やレンズ部からのＦ値指示信号など元に、カメラを構成する各部の動作を制御する。たとえば、コントラスト制御手段５は、信号レベル検出手段４からの検出信号を元に、コントラスト拡張手段３の動作を制御する。制御方法の詳細については、実施例１及び実施例２に詳細に記載されているため、本実施例では説明を割愛する。同様の手法により、制御部９からはレンズ部８を制御するアイリス制御信号や光学ズーム倍率制御信号、駆動部２２を制御するシャッタ制御信号、出力手段６を制御する画質パラメータ制御信号などが出力され、本実施例のビデオカメラを構成する各部の動作制御が行われる。
【００５３】
図１１は、本実施例の撮像素子１で撮影した映像の第１の例を示す。リニア特性の映像信号はたとえば画像４０００のようになり、屋外での撮影では空などの明るい部分は白飛びし、影などの暗い部分は黒つぶれしてしまう。一方、対数特性の映像信号はたとえば画像４０１０のようになり、どの明るさにおいても階調は維持されているが、コントラスト感に乏しい画像となる。これらの特徴を生かし、画像処理を最適化して例えば画像４０２０のように階調とコントラスト感が両立させることができる。以下、いくつか例を示す。
【００５４】
ＡＥ制御への応用について述べる。リニア特性と対数特性の映像が同時に撮影でき、露光をそれぞれについて制御できるものとすると、リニア特性の映像はある程度の白飛びや黒つぶれを許容して露光制御を行えばよい。
図１２は、撮像素子１で撮影した映像のヒストグラムの例を示す。
たとえば、前記の映像４０００について輝度のヒストグラムをとると、図１２の５０００のようになり、高輝度部分と低輝度部分の度数が高く、中間階調の度数が低くなる。この場合、通常のＡＥ制御では注目する部分に合わせて（明るい部分に着目するなら黒つぶれを許容して明るい部分の階調を出すように）露光制御を行うことになる。しかしながら、本実施例においては、中間階調をきっちり出し、白飛びおよび黒つぶれを許容するように露光を制御すればよい。
【００５５】
他方、対数特性の映像はヒストグラムのピークが中間輝度に来るように露光制御を行えばよい。たとえば、前記の映像４０１０について輝度のヒストグラムをとると、図１２の５０１０のようになり、広がりの少ない分布となる。この場合、対数特性の映像については、ヒストグラムのピークがちょうど中間輝度に来るように露光制御を行うことにより、明るい側、暗い側とも階調を損なわずに撮像することができる。このようにして撮影した２枚の映像について、前述の方法でコントラストの拡張を行い、合成することにより、非常にコントラストの高い映像を得ることが可能である。
【００５６】
次いで、ＡＦ制御について述べる。リニア制御の画像においては、しばしばフォーカス制御が困難な場合がある。たとえば、暗い中に点光源が存在するような場合、点光源周辺が飽和してしまうと、その飽和部分を物体と誤認識して実際の物体にフォーカスが合わない状況が発生する。
図１３は、本実施例の撮像素子１で撮影した映像の第２の例を示す。映像６０００は、点光源（この場合は街灯部分）およびその周辺が飽和してしまい、ボケ止まりが発生している映像である。
図１４は、フォーカス位置と合焦信号の関係の例を示す。図中の（ａ）がリニア制御の画像を元に生成した合焦信号である。一般的なＡＦ制御では、合焦信号のレベルのピークが検出される位置にズームレンズを移動させるように制御される（山登り制御）。（ａ）から読み取れるとおり、本来の合焦ポイントのほかに、信号レベル検出手段４が（より具体的には該検出手段に含まれる合焦信号生成用のハイパスフィルタが）飽和した領域のエッジ部分を物体のエッジと誤認識してしまうために発生するピークが存在する。山登り制御によって飽和に起因するピーク検出位置にズームレンズを制御してしまうことがボケ止まりの原因である。
【００５７】
しかしながらこの場合、同一シーンの対数特性の画像は、図１３の映像６０１０のようになり、街灯部分は飽和していない。図１４の（ｂ）は対数特性の画像を元に生成した合焦信号であるが、飽和点が存在しないため、正しい合焦位置にのみピークが発生している。このため、映像６０１０を用いてＡＦ制御を行うことにより、飽和による悪影響は受けずにフォーカスを合わせることが可能となる。
【００５８】
あるいは、対数特性の合焦信号（ｂ）をもとに粗くフォーカス位置の調整を行い、リニア特性の合焦信号（ａ）をもとにフォーカス位置の微調整を行ってフォーカス位置を決定しても良い。
上記のようなＡＥ制御やＡＦ制御はリアルタイム制御である必要があり、同一フレームでリニア特性の映像と線形特性の映像が同時に撮影できることがハンチングや誤動作を防ぐ上で大きなアドバンテージとなる。
【００５９】
画質制御について説明する。図８の入力手段２の中には、たとえばセンサデータ処理部２３が存在し、生のセンサデータに対して傷補正やノイズ除去処理が施される。リニア特性の映像と対数特性の映像のそれぞれに別々の強度でノイズ除去を施すことにより、最適な映像を得ることができる。たとえば、リニア特性の映像に黒つぶれが発生しており、これがコントラスト拡張によって拡大されるような場合には、連動してリニア特性の暗部ノイズを抑えるようにノイズ除去の強度を高めることにより、高画質を得ることができる。
【００６０】
さらに、明るい被写体を撮影した場合に、リニア特性の映像は飽和して白飛びし、対数特性の映像は飽和しないことがある。このような場合、たとえば対数特性の映像からリニア特性の映像を予測して飽和以上の値を表現することが可能となる。先の図１０を用いて説明すると、リニアな入出力特性を持つ画素においては、特性３０００のように、ある明るさ以上で出力が飽和してしまう。しかしながら、対数特性を持つ画素の入力特性は３０１０のようになり、リニア画素が飽和してしまっても対数画素は飽和しない。したがって、対数画素の入出力特性とリニア画素の入出力特性を対応付けしておくことにより、飽和以上の特性を類推することが可能となる。
【００６１】
図１５は、コントラスト拡張手段３の構成の例を示す。コントラスト拡張手段３は、コントラスト拡張部３１、飽和判定部３２、ＲＯＭデータ３３、セレクタ３４を有する。コントラスト拡張手段３にはリニア特性の画像信号と対数特性の映像信号が入力され、それぞれについてコントラスト拡張が行われる。コントラスト拡張の詳細については、実施例１および２に記載されており、ここでは詳細は割愛する。コントラスト拡張されたリニア特性の画像信号は飽和判定部３２に入力され、飽和しているかどうかが判定される。一方、対数特性の画像信号はＲＯＭデータ３３に入力される。ＲＯＭデータ３３は、同一の明るさにおける対数特性の出力とリニア特性の出力を対応付けたデータであり、入力された対数特性の映像信号を元に、リニア特性の映像信号を出力する。リニア特性の映像信号とＲＯＭデータ３３の出力信号はセレクタ３４に入力され、飽和判定部３２において飽和と判定された場合にはＲＯＭデータ３３の出力を映出力し、飽和でないと判定された場合にはリニア特性の映像信号をそのまま出力する。このようにして、ダイナミックレンジの狭いリニア特性のデータに対しても、飽和レベル以上の階調を表現することができる。
対数データと線形データの対応付けは例示したようなテーブル形式でもよいし、関数あるいは多項式の形で対応付けしてもよい。以上の方式で飽和以上を補うことにより、輝度や色度のダイナミックレンジを広げることが可能となり、高画質化を図ることができる。
【００６２】
なお、本発明は上記の実施例１〜５に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換えをすることが可能である。
また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、必ずしも実際の装置における全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【符号の説明】
【００６３】
１：撮像素子、２：入力手段、３：コントラスト拡張手段、４：信号レベル検出手段、５：コントラスト制御手段、６：出力手段、７：合成手段、８：レンズ部、９：制御部。
【技術分野】
【０００１】
本発明は、ワイドダイナミックレンジと高コントラスト感を両立するための画像信号処理を行う、画像信号処理装置に関する。
【背景技術】
【０００２】
従来、第１のワイドダイナミックレンジ画像生成技術として、特許文献１では、シャッタ速度の異なる複数の画像を取得して合成することで、ワイドダイナミックレンジの画像を取得する技術が開示されている。
また、第２のワイドダイナミックレンジ画像生成技術として、特許文献２では、被写体の光を入力とし光電変換した後画像信号として出力する撮像素子を、画素飽和を極力抑えるよう非線形入出力特性とし、該非線形入出力特性の撮像素子を用いて撮影することでワイドダイナミックレンジの画像を取得する技術が開示されている。
【０００３】
また、ワイドダイナミックレンジ画像を撮影する際の制御方法の一例として、特許文献３がある。該公報の要約には、課題として「本発明は、同一フレームで撮像されて得た光電変換特性の異なる画像信号に対して、その光電変換特性に応じたパラメータによる信号処理を行う撮像装置を提供することを目的とする。」と記載され、また解決手段として「同一フレームで撮像された各画素の画像信号の光電変換を確認し、色補正回路１０の色補正係数や、階調変換回路１１による階調変換特性や、コアリング回路１２のＬＰＦ係数やコアリング計数などの各種パラメータを、各画像信号毎に確認された光電変換に基づいて切り換える。」と記載されている。
【０００４】
また、特にオートフォーカスに関しては特許文献４がある。該公報の要約には、課題として「ＡＦ制御を行うに際し、撮像センサの線形特性領域と対数特性領域との特質を考慮しつつ、最適なＡＦ制御を行うことができるようにする。」と記載され、また解決手段として「線形特性領域と対数特性領域とを備える撮像センサを備える撮像装置において、撮像センサの対数特性領域から得られた第１のＡＦ評価値に基づいて第１のＡＦ制御を行わせた後に、撮像センサの線形特性領域から得られた第２のＡＦ評価値に基づいて第２のＡＦ制御を行わせるＡＦ動作制御部を具備させる。ＡＦ動作制御部は、第１のＡＦ評価値を取得するときに被写体の輝度範囲に対応するセンサ出力が対数特性領域から得られ、また第２のＡＦ評価値を取得するときにはセンサ出力が線形特性領域から得られるよう、光電変換特性を制御する。」と記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−１３５７８７号公報
【特許文献２】特開２００２−７７７３３号公報
【特許文献３】特開２００５―１１０２３５号公報
【特許文献４】特開２００６―３７２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来の第１のワイドダイナミックレンジ画像生成技術では、シャッタ速度を変えながら画像を逐一取得し合成する。即ち、合成前の各画像間には、時間のずれが存在する。このため、例えば動いている被写体を撮影した際、合成後の画像に動体歪が発生するという課題があった。
【０００７】
また従来の第２のワイドダイナミックレンジ画像生成技術における非線形入出力特性を持つ撮像素子は、対数圧縮等により非線形入出力特性を実現しているため、画像信号の強弱が圧縮された画像となる。このため、例えば黒白の被写体を映した場合、一般的に使用されるリニア入出力特性の撮像素子で取得した画像に比べ、各画素の信号レベルの差分が小さくなるため、メリハリのないコントラスト感に欠ける映像となってしまうという課題があった。
【０００８】
また従来の第２のワイドダイナミックレンジ画像生成技術における非線形入出力特性を持つ撮像素子は、対数圧縮等により非線形入出力特性を実現しているため、一般的に使用されるリニア入出力特性の撮像素子に比べ、信号の差分の圧縮度合いが入力光のレベルによって異なる。例えば、対数圧縮型であれば、光が比較的弱い被写体を映した場合は信号圧縮が小さいため信号差分を大きく取れるが、光が比較的強い被写体を映した場合は信号圧縮が大きいため信号差分が大きく取れなくなる。即ち、少なくとも２種類以上の明るさを持つ被写体を撮影する状況において、所定の明るさを持った第１の被写体が映っている第１の画像領域はコントラスト感が高いが、第１の被写体とは異なる明るさを持った第２の被写体が映っている第２の画像領域はコントラスト感に乏しいといった、被写体によって、コントラスト感の欠如度合いに違いが生じるという課題があった。
【０００９】
また前記特許文献３では、たとえば対数特性に設定した場合の情報から線形特性の撮像における画質制御を行うことは考慮されておらず、改善の余地がある。
また前記特許文献４では、たとえば対数特性に設定した場合の情報と線形特性に設定した場合の情報を同一フレームで得て、両者を同時に用いて自動制御を行うことは考慮されておらず、改善の余地がある。
上記以外の課題は、後述する実施例によって明らかにされる。
【課題を解決するための手段】
【００１０】
上記課題を解決するために本発明は、被写体を撮像して該被写体に係る画像信号を出力する画像信号処理装置であって、
前記被写体から供給された入射光を光電変換して電気信号に変換し、前記入射光との間の入出力特性が非線形であって互いに異なる少なくも二つの特性を含む前記電気信号を出力する撮像素子と、
該撮像素子が出力した前記電気信号が供給され前記電気信号の信号レベルを検出する信号レベル検出手段と、
前記撮像素子が出力した前記電気信号が供給され前記電気信号に対する信号処理を行う信号処理手段と、
該信号処理手段で信号処理して得た前記画像信号を出力する出力手段と、
前記信号レベル検出手段から供給された前記検出信号と前記撮像素子の入出力特性の情報を基に前記信号処理手段を制御する制御手段を有し、
前記制御手段は、前記電気信号に対して前記検出信号に基づき露光制御、オートフォーカス制御、またはパラメータ調整を行うことを特徴としている。
【００１１】
また本発明は、被写体を撮像して該被写体に係る画像信号を出力する画像信号処理装置であって、
前記被写体から供給された入射光を光電変換して電気信号に変換し、前記入射光との間の入出力特性が非線形であって互いに異なる少なくも二つの特性を含む第１の電気信号と、前記入射光との間の入出力特性が略線形な第２の電気信号を出力する撮像素子と、
該撮像素子が出力した前記電気信号が供給され前記電気信号の信号レベルを検出する信号レベル検出手段と、
前記撮像素子が出力した前記電気信号が供給され前記電気信号に対する信号処理を行う信号処理手段と、
該信号処理手段で信号処理して得た前記画像信号を出力する出力手段と、
前記信号レベル検出手段から供給された前記検出信号と前記撮像素子の入出力特性の情報を基に前記信号処理手段を制御する制御手段を有し、
前記信号処理手段は、前記制御手段からの制御に応じて前記電気信号のうち第１の電気信号から第２の電気信号の値を補間して前記画像信号を生成することを特徴としている。
上記以外の手段は、後述する実施例によって明らかにされる。
【発明の効果】
【００１２】
本発明による画像処理装置を用いれば、従来技術における課題を解決でき、ワイドダイナミックレンジで動体歪がなく、且つ撮影した被写体に応じて最適なコントラスト感が得られる画像を取得でき、画像処理装置の高性能化に寄与できるという効果がある。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施例１および２における画像情報処理装置の基本構成図である。
【図２】本発明の実施例３における画像情報処理装置の基本構成図である。
【図３】本発明における撮像素子の入出力特性の例を示す図である。
【図４】本発明におけるコントラスト拡張の第１の例を示す図である。
【図５】本発明におけるコントラスト拡張の第２の例を示す図である。
【図６】本発明における撮像素子の分光特性の例を示す図である。
【図７】本発明における撮像素子の入出力特性の例を示す図である。
【図８】本発明の実施例５における画像情報処理装置の基本構成図である。
【図９】本発明で用いる撮像素子の例を示す図である。
【図１０】図９の撮像素子における入出力特性の例を示す図である。
【図１１】図９の撮像素子で撮像した映像の第１の例を示す図である。
【図１２】図９の撮像素子で撮影した映像のヒストグラムの例を示す図である。
【図１３】図９の撮像素子で撮影した映像の第２の例を示す図である。
【図１４】フォーカス位置と合焦信号の関係の例を示す図である。
【図１５】コントラスト拡張手段の構成の例を示す図である。
【発明を実施するための形態】
【００１４】
以下、本発明に好適な実施形態の例として、たとえば撮像機能を有する画像情報処理装置における実施例を説明する。
【実施例１】
【００１５】
本発明における実施例１について詳細に説明する。
図１は、本発明の実施例１における画像情報処理装置の基本構成図である。被写体からの入射光を光電変換し画像信号として出力し、且つその入出力特性が非線形である撮像素子１と、該撮像素子１からの画像信号に所定の処理を行いコントラスト拡張手段３と信号レベル検出手段４に入力する入力手段２と、該入力手段２からの画像信号に対してコントラストの拡張を行うコントラスト拡張手段３と、前記入力手段２からの画像信号の信号レベルを検出する信号レベル検出手段４と、該信号レベル検出手段４からの信号と前記撮像素子１の入出力特性の情報を基に前記コントラスト拡張手段におけるコントラスト拡張の強弱を制御するコントラスト制御手段５と、前記コントラスト拡張手段３からの画像信号に所定の処理を行い外部へ出力する出力手段６と、を持つ構成とした。
【００１６】
撮像素子１は非線形の入出力特性であるとしたが、図３に示す撮像素子の入出力特性を用いて詳細に説明する。
図３の(a)ケース１は、２種類のリニア特性を持ち、低輝度(入射光のレベルが低い)部分と比較して、高輝度部分の圧縮率を高くしている。高輝度(入射光のレベルが高い)部分を圧縮することで、画素飽和点をより高輝度側へシフトさせることができ、一般的なリニア特性の撮像素子に比べ、ワイドダイナミックレンジを実現可能である。さらに、後述のケース２〜４に対して、対数変換の演算量を削減できることから、低コスト化や小型化、低消費電力化を実現できる。
【００１７】
また図３の(b)ケース２は、低輝度部分はリニア特性であり、高輝度部分は対数特性とし、高輝度になればなるほど圧縮率を高くしている。これにより、ケース１に対してさらにワイドダイナミックレンジ化が可能である。さらに、後述するコントラスト拡大を、圧縮率が高い高輝度部分のみに適用する構成とすれば、演算量を削減できることから、低コスト化や小型化、低消費電力化が可能である。
【００１８】
また図３の(c)ケース３は全輝度領域で対数特性である。これにより、(b)ケース２に対してさらにワイドダイナミックレンジ化が可能である。
また図３の(d)ケース４は、２種類の対数特性を持ち、低輝度部分と比較して、高輝度部分の圧縮率を高くしている。これにより、(c)ケース３に対してさらにワイドダイナミックレンジ化が可能である。
また図３のケース１〜４は、本発明における撮像素子の入出力特性の一例であり、特定の輝度領域、あるいは全輝度領域について所定の関数により圧縮した非線形特性であれば、上記以外でもよい。
【００１９】
図１の入力手段２について詳細を説明する。所定の処理とは、撮像素子からの信号を入力して、後段の信号処理を行うブロック（コントラスト拡張手段３、信号レベル検出手段４、コントラスト制御手段５）にて画像信号処理を行うための入力インタフェース処理であり、例えばA/D変換処理やLVDS（Low Voltage Differential Signaling）信号をデジタル信号に変換する処理であり、また例えば、撮像素子と信号処理部との処理タイミングを調整する同期調整処理である。尚、入力手段２は、レベル調整のためのゲインコントロールや、フィルタ処理等、所定の画像信号処理を含む構成であってもよい。
【００２０】
コントラスト拡張手段３、信号レベル検出手段４、コントラスト制御手段５について図４を用いて詳細を説明する。信号レベル検出手段４は、画像内の所定の画素領域における信号がどのようなものかを検出する。検出する数値は、例えばヒストグラム分布、最大値、最小値、平均値、周波数分布等、画像領域の信号分布を示す情報となる数値である。
【００２１】
図４の(a1)と(a2)は、低輝度領域と高輝度領域を撮影した際の２つのケースについてのヒストグラム分布である。コントラスト制御手段５は、このヒストグラム分布情報と前記撮像素子１の入出力特性の情報を基に、コントラスト拡張手段３の折れ線補正の入出力特性を制御し、ヒストグラムを拡大する。例えば図４の(b1)と(b2)のようなヒストグラム拡大処理である。以上の演算によれば、画像領域ごとに、圧縮された信号を最大限に復元可能であり、ワイドダイナミックレンジを維持しつつ高コントラスト化を実現可能である。
【００２２】
尚、コントラスト拡張手段３は折れ線補正としたが、非線形の特性でもよく、例えばカーブ補正でもよい。
図５は、カーブ補正の場合のヒストグラム拡大処理を示す。この場合、ヒストグラム分布において、より画素数の多い箇所を中心にコントラスト拡大を行うことが可能である。
【００２３】
また、信号レベル検出手段４はヒストグラムを検出する代わりにより少ない演算量で検出可能な平均値、最大値と最小値、周波数分布等の少なくともひとつを検出し、コントラスト制御手段５は信号レベル検出手段４からの情報を基にヒストグラム分布を推定し、該推定したヒストグラム分布と前記撮像素子の入出力特性の情報に応じてコントラスト拡大手段３を制御する方法であってもよい。例えば、通常被写体を映した場合、そのヒストグラムの分布は平均値を中心として一定の輝度範囲に分布する確率が高い。さらに撮像素子が例えば対数圧縮等の入出力特性であった場合は、平均値が低輝度であればヒストグラム分布が広めであり、高輝度であればヒストグラム分布が狭い確率が高い。
【００２４】
以上の原理から、例えば信号レベル検出手段４は平均値を検出するものとし、コントラスト制御手段５は撮像素子１の入出力特性を表す情報を保持しておき、前記信号レベル検出手段４からの平均値と前記撮像素子１の入出力特性の情報を基にヒストグラム分布を予測し、コントラスト拡張手段３の強弱を決定する。以上の構成であっても、前記信号レベル検出手段４がヒストグラム分布を検出する構成と同等の効果を得ることができ、且つ少ない演算量で実現できる。
【００２５】
また、最大値と最小値はヒストグラム分布の最大値と最小値であるから、信号レベル検出手段４が最大値と最小値を検出する場合であったとしても、ヒストグラム分布の予測は可能であり、前記信号レベル検出手段４がヒストグラム分布を検出する構成と同等の効果を得ることができる。
また、DCT(離散コサイン変換)やFFT(高速フーリエ変換)、アダマール変換、特定の周波数レスポンスを抽出するバンドパスフィルタ等、少なくとも１種類以上の周波数の特性を把握できれば、周波数分布は信号レベルの振幅であることから最大値と最小値を特定できるため、ヒストグラム分布の予測は可能であり、前記信号レベル検出手段４がヒストグラム分布を検出する構成と同等の効果を得ることができる。
【００２６】
尚、前記コントラスト制御手段５において撮像素子１の入出力特性を表す情報を保持するとしたが、入力レベルと出力レベルを対応付けた情報をテーブルとして保持する方法でよい。上記によれば、入出力特性の正確な把握が可能である。また、入出力特性を表す関数式を保持する方法でもよい。上記によれば、入出力特性の正確な把握が可能であり、且つテーブルとして保存しておく方法に比べて保持するデータ量を削減できる。
【００２７】
また、複数の入射光の輝度レベルにおける圧縮率情報など、入出力特性を推定できる情報を保持する方法でもよい。上記によれば、例えばデータを間引いた状態で保持しておき近似補間することで入出力特性の正確な把握が可能であり、且つテーブルとして保存しておく方法に比べて保持するデータ量を削減できる。また、関数式を保持する方法は関数が多項式になればなるほど演算量が増えるが、間引いた状態のデータを近似補間で実現すれば相対的に演算量を削減できる。
【００２８】
出力手段６について詳細を説明する。所定の処理とは、TVやストレージ等の出力機器の信号フォーマットに変換する出力インタフェース処理であり、例えばNTSCやPALのビデオ出力に変換するものであり、例えばHDMI信号に変換するものであり、例えばネットワークのTCP/IPプロトコル信号に変換するものである。尚、出力手段６は、レベル調整のためのゲインコントロールや、フィルタ処理、エンコードによる圧縮処理等、所定の画像信号処理を含む構成であってもよい。
以上の構成により、ワイドダイナミックレンジを実現しつつ、且つ撮影した被写体に応じて最適なコントラスト感となる映像を生成する画像処理装置を実現できる。
【実施例２】
【００２９】
本発明における実施例２について詳細に説明する。実施例２では、実施例１と同様に、被写体からの入射光を光電変換し画像信号として出力し且つその入出力特性が非線形である撮像素子１と、該撮像素子１からの画像信号に所定の処理を行い入力する入力手段２と、該入力手段２からの画像信号に対してコントラストの拡張を行うコントラスト拡張手段３と、前記入力手段２からの画像信号の信号レベルを検出する信号レベル検出手段４と、該信号レベル検出手段４からの信号と前記撮像素子１の入出力特性の情報を基に前記コントラスト拡張手段３におけるコントラスト拡張の強弱を制御するコントラスト制御手段５と、前記コントラスト拡張手段３からの画像信号を所定の処理を行い出力する出力手段６と、を持つ構成とした。
【００３０】
またさらに実施例２においては、前記撮像素子１を各画素上に複数のカラーフィルタを備えたカラー単板撮像素子とし、コントラスト補正手段３はカラーマトリクス演算とした。
例えばカラーフィルタがRGBであるRGBベイヤ配列の撮像素子であり、かつ対数型の入出力特性を持つ場合を説明する。
【００３１】
図６の分光特性が表すようにこの場合は、低輝度領域を撮影した際の各画素の分光特性(a)と、高輝度領域を撮影した際の各画素の分光特性(b)が異なる。特に分光特性(b)は、各色が混色しているため、そのまま画像化すると色のコントラストが低い画像となる。即ち、入出力特性が非線形であるカラー撮像素子を用いた場合、入射光の輝度レベルに応じて色再現が変化してしまうという課題があった。
【００３２】
そこで本発明では、コントラスト拡張手段３はカラーマトリクス演算を行うものとし、たとえば（式１）で示すマトリクス演算を行うものとする。R_in、G_in、B_inはそれぞれ入力手段２からの信号であり、R_out、G_out、B_outはそれぞれコントラスト拡張手段３の出力信号である。また、K**はマトリクス係数である。
【００３３】
R_out ＝ R_in×Krr ＋ G_in×Kgr ＋ B_in×Kbr
G_out ＝ R_in×Krg ＋ G_in×Kgg ＋ B_in×Kbg
B_out ＝ R_in×Krb ＋ G_in×Kgb ＋ B_in×Kbb 以上（式１）
【００３４】
コントラスト制御手段５は、信号レベル検出手段３からの信号と前記撮像素子１の入出力特性の情報を基にマトリスク演算係数K**を制御するものとする。撮像素子１の入出力特性を表す情報は、実施例１と同様入出力特性をデータテーブルとして保持する方法でよく、また入出力特性を表す関数式を保持する方法でもよい。また、複数の入射光の輝度レベルにおける圧縮率情報など、入出力特性を推定できる情報を保持する方法でもよい。また、色信号毎に個別に入出力特性を表す情報、あるいは推定できる情報を保持する方法でもよい。また、入射光の輝度レベルに応じて変化する分光特性情報を保持する方法でもよい。制御方法は、例えば高輝度領域の分光特性において混色が多い場合、混色を除去するよう係数を制御するものとする。
以上の構成によれば、画像領域ごとに、圧縮された色信号を最大限に復元可能であり、ワイドダイナミックレンジを維持しつつ、且つ撮影した被写体に応じて最適な色コントラスト感のとなる映像を生成する画像処理装置を実現できる。
【実施例３】
【００３５】
本発明における実施例３について詳細に説明する。
図２は、本発明の実施例３における画像情報処理装置の基本構成図である。被写体からの入射光を光電変換し画像信号として出力する際、少なくとも２つ以上の感度特性の異なる画像信号を出力する撮像素子１と、該撮像素子１からの各画像信号に対して所定の処理を行い入力する入力手段２と、該入力手段２からの画像信号に対してコントラストの拡張を行うコントラスト拡張手段３ａ，３ｂと、前記入力手段からの画像信号の信号レベルを検出する信号レベル検出手段４ａ，４ｂと、該信号レベル検出手段からの信号と前記撮像素子の入出力特性の情報を基に前記コントラスト拡張手段３ａ，３ｂにおけるコントラスト拡張の強弱を制御するコントラスト制御手段５ａ，５ｂとを個別に有し、前記コントラスト拡張手段３ａ，３ｂからの各画像信号をひとつの画像信号に合成する合成手段７と、該合成手段７からの画像信号を所定の処理を行い出力する出力手段６とを持つ構成とした。
【００３６】
撮像素子１は少なくとも２つ以上の感度特性の異なる画像信号を出力するとしたが、図２の構成図は、第１の信号と第２の信号という二つの画像信号を出力する場合の例である。第１の信号、第２の信号は例えば、図３の(b)ケース２におけるリニア特性の部分の画像信号と、対数特性の部分の画像信号である。
入力手段２には、前記撮像素子からの第１の信号と第２の信号が入力され、各々に対して前記実施例１または２に記載のものと同様の処理を行うものである。
【００３７】
コントラスト拡張手段３ａ、信号レベル検出手段４ａ、コントラスト制御手段５ａは前記入力手段２からの第１の信号に対して、前記実施例１に記載のものと同様の処理を行うものとし、コントラスト拡張手段３ｂ、信号レベル検出手段４ｂ、コントラスト制御手段５ｂは前記入力手段２からの第２の信号に対して、前記実施例１または２に記載のものと同様の処理を行うものとする。
以上の構成により、ワイドダイナミックレンジを実現しつつ、且つ撮影した被写体に応じて最適なコントラスト感となる映像を生成する画像処理装置を実現できる。
【００３８】
また、第１の信号と第２の信号に対して個別に信号レベルを検出することができるため、第１の信号と第２の信号が合成された信号に対して信号レベルを検出する実施例１の構成に比べて、より高精度な検出が可能である。また、第１の信号と第２の信号に対して個別にコントラスト制御を行うため、第１の信号と第２の信号が合成された信号に対してコントラスト制御を行う実施例１または２の構成に比べて、より高精度な制御が可能である。また、第１の信号と第２の信号に対して個別にコントラスト拡張を行った後に合成するため、第１の信号と第２の信号が合成された信号に対してコントラスト拡張を行う実施例１または２の構成に比べて、より高精度なコントラスト拡張が可能である。
【００３９】
さらには、第１の信号と第２の信号を個別にコントラスト拡張後に合成するため、第１の信号と第２の信号が合成された信号に対してコントラスト拡張を行う実施例１または２の構成に比べて、各々少ないビット精度での演算にて同等の演算精度を維持できる。例えば、実施例１または２の構成における入力手段２の出力ビット精度が３２bit精度であった場合、本実施例３の構成で同等の演算精度とするためには、第１の信号と第２の信号は各々１６bitとし、合成手段による合成後３２bitとすればよい。通常、bit数が少ない方がオーバーヘッドは小さいため、回路で実現する場合は回路規模を縮小でき、ソフトウェアで実現する場合は演算時間を短縮できる。
【実施例４】
【００４０】
本発明における実施例４について詳細に説明する。本実施例４では、前記実施例１〜３のいずれかの構成であって、前記入出力特性が非線形である撮像素子１において、所定の入射光(輝度)レベルで特性が変化する特性変化点を持つ撮像素子とした。例えば、図３の(a)(b)(d)のような特性変化点を持つ撮像素子である。
【００４１】
該特性変化点を持つ撮像素子は、例えば光電変換した電荷を特性変化点前の電荷と特性変化点後の電荷分に分けてキャパシタに格納しておき、合成して出力あるいは個別に出力することで実現できる。しかしながら、キャパシタに格納する際の電荷損失等により、合成後の特性変化点付近で出力レベルが下がってしまうという問題がある。
図７は、この場合の入出力特性の一例を示す。上記特性変化点付近でレベルが下がると、画像ではノイズとして現れる。
【００４２】
そこで、本発明における実施例４では、前記コントラスト制御手段５は撮像素子１の入出力特性の情報として特性変化点の情報を保持し、該特性変化点の情報と前記信号レベル検出手段４からの情報を基に、特性変化点付近のノイズ成分を増幅しないよう前記コントラスト拡張手段３を制御する構成とした。ここでノイズ成分を増幅しない制御とは、例えば特性変化点付近のコントラスト拡大を弱める、あるいは特性変化点付近のコントラスト拡大がかからないようにする、あるいは特性変化点付近のコントラストを拡大せず縮小させることで実現できる。
以上の構成により、ワイドダイナミックレンジを実現しつつ、特性変化点付近のノイズを増幅することなく、且つ撮影した被写体に応じて最適なコントラスト感となる映像を生成する画像処理装置を実現できる。
【実施例５】
【００４３】
本発明における実施例５について詳細に説明する。本実施形態では、撮像装置の一例であるビデオカメラにおいて、被写体を撮影する例を用いて説明する。本実施形態は、たとえば屋外での撮影や、極めて明るい被写体が一部に映り込むようなコントラストの高いシーンにおいて、特に有効である。
【００４４】
図８は、実施例５におけるビデオカメラ（画像情報処理装置）の基本構成図である。本実施例は撮像素子１、入力手段２、コントラスト拡張手段３、信号レベル検出手段４、コントラスト制御手段５、出力手段６、レンズ部８、制御部９を有する。また、入力手段２はＡＦＥ部２１、駆動部２２、センサデータ処理部２３を有する。また、出力手段６は輝度処理部６１、色差処理部６２、ズーム手段６３、エンコード手段６４を有する。以下、各構成要素の動作について、順に説明する。
【００４５】
まず、被写体から発せられた光線はレンズ部８に入射する。レンズ部８は図示されていない光学ズーム及びメカアイリスなどの機構を有し、これらは後述の通り制御部９によって制御される。レンズ部８では、メカアイリスによる光量調整が行われ、ズームレンズによってズームが施された後、撮像素子１上に被写体の像が結ばれる。
【００４６】
撮像素子１では結ばれた像の明るさに応じて画素ごとに光電変換が行われ、各画素位置に対応したアナログ信号に変換されて入力手段２へ出力される。
撮像素子１は入出力特性の異なる２つ以上の映像信号を同時に出力できるという特徴を有する。撮像素子１の例を図９に示す。
図９は、２×２のベイヤ配列を有する撮像素子を示すが、Ｒ画素、Ｇ画素、Ｂ画素に加えて対数的な入出力特性を有する画素（本実施例ではＬ画素と呼ぶ）を持つことにより、リニアな入出力特性の映像信号（Ｒ画素、Ｇ画素、Ｂ画素）と対数的な入出力特性（Ｌ画素）を同時に出力することができる。
図１０は、図９の撮像素子における入出力特性の例を示す。リニアな特性を持つ画素では一定以上の明るさになると出力が飽和してしまうが（図中の３０００）、対数的な特性を持つＬ画素の出力は高輝度部分が圧縮されているため、飽和せずに階調を表現することができる（図中の３０１０）。また、撮像素子１は、リニア画素（ＲＧＢの各画素）と対数画素（Ｌ画素）のシャッタスピードを独自に制御可能な構成になっている。
【００４７】
撮像素子１の駆動は駆動部２２により行われる。駆動部２２には、後述する制御部９からリニア画素用のシャッタ制御信号と対数画素用のシャッタ制御信号が入力される。駆動手段２２はこれらを用いてリニア画素用の駆動信号と対数画素用の駆動信号を生成し、撮像素子１に供給してシャッタ制御を行う。
以上の構成により、撮像素子１ではリニア特性の映像信号と対数特性の映像信号を同時に撮像することが可能であり、これらを用いて高画質、高性能の制御を実現することができる。詳細については後述する。
【００４８】
入力手段２へ入力された各映像信号は、ＡＦＥ部２１へ入力される。ＡＦＥ部２１では相関二重サンプリングによるノイズ除去処理、増幅器による信号増幅処理、Ａ／Ｄ変換処理などが施され、デジタル信号に変換された後、センサデータ処理部２３へ出力される。
センサデータ処理部２３では、センサの傷により欠損したデータの補正、ランダムノイズ除去、固定パターンノイズ除去などのデータ処理が施され、コントラスト拡張手段３および信号レベル検出手段４へ出力される。信号レベル検出手段４での処理は後述する。
【００４９】
コントラスト拡張手段３の動作は本発明の第１の実施例および第２の実施例においてにおいて詳細に説明されているため、本実施例では説明を割愛する。
コントラスト拡張手段３より出力された映像信号は、出力手段６に入力される。出力手段６では、入力された信号に各信号処理を施し、最終的な映像信号に変換して出力する。まず、入力された信号は輝度処理部６１および色差処理部６２に入力され、輝度処理部６１においては輝度信号の生成、ノイズ除去やエンハンサなどの各種フィルタ処理、ガンマ補正などが施された後、ズーム手段６３へ出力される。また、色差処理部６２においては色差信号の生成、ノイズ除去などの各種フィルタ処理、ガンマ補正、色補正などが施された後、ズーム手段６３へ出力される。
【００５０】
ズーム手段６３では輝度信号及び色差信号のタイミング合わせを行い、リニア特性の映像信号と対数特性の映像信号の合成などが行われる。また、必要に応じて電子ズーム処理が施された後、エンコード手段６４へ出力される。
エンコード手段６４では、TVやストレージ等の出力機器の信号フォーマットに変換する出力インタフェース処理が施される。具体的には、例えばNTSCやPALのビデオ出力に変換するものであり、例えばHDMI信号に変換するものであり、例えばネットワークのTCP/IPプロトコル信号に変換するものである。
【００５１】
信号レベル検出手段４では、コントラスト拡張手段３より出力された映像信号をもとに、画像内の所定の画素領域における信号がどのようなものかを検出する。検出する数値は、例えばヒストグラム分布、最大値最小値、平均値、周波数分布等、画像領域の信号分布を示す情報となる数値である。例示した信号の中には、ＡＦ（オートフォーカス）制御で使用する合焦信号も含まれる。信号レベル検出手段４から出力される検出信号は、例示したいずれか１つが出力されても、例示された以外の検出信号が出力されても、あるいは複数種類の検出信号が並列に出力されてもよいものとする。詳細は実施例１において記載されているので、本実施例では説明を割愛する。信号レベル検出手段４からの出力は制御部９に入力される。
【００５２】
制御部９はたとえばコントラスト制御手段５に代表される各種の制御手段を有し、信号レベル検出手段４からの検出信号やレンズ部からのＦ値指示信号など元に、カメラを構成する各部の動作を制御する。たとえば、コントラスト制御手段５は、信号レベル検出手段４からの検出信号を元に、コントラスト拡張手段３の動作を制御する。制御方法の詳細については、実施例１及び実施例２に詳細に記載されているため、本実施例では説明を割愛する。同様の手法により、制御部９からはレンズ部８を制御するアイリス制御信号や光学ズーム倍率制御信号、駆動部２２を制御するシャッタ制御信号、出力手段６を制御する画質パラメータ制御信号などが出力され、本実施例のビデオカメラを構成する各部の動作制御が行われる。
【００５３】
図１１は、本実施例の撮像素子１で撮影した映像の第１の例を示す。リニア特性の映像信号はたとえば画像４０００のようになり、屋外での撮影では空などの明るい部分は白飛びし、影などの暗い部分は黒つぶれしてしまう。一方、対数特性の映像信号はたとえば画像４０１０のようになり、どの明るさにおいても階調は維持されているが、コントラスト感に乏しい画像となる。これらの特徴を生かし、画像処理を最適化して例えば画像４０２０のように階調とコントラスト感が両立させることができる。以下、いくつか例を示す。
【００５４】
ＡＥ制御への応用について述べる。リニア特性と対数特性の映像が同時に撮影でき、露光をそれぞれについて制御できるものとすると、リニア特性の映像はある程度の白飛びや黒つぶれを許容して露光制御を行えばよい。
図１２は、撮像素子１で撮影した映像のヒストグラムの例を示す。
たとえば、前記の映像４０００について輝度のヒストグラムをとると、図１２の５０００のようになり、高輝度部分と低輝度部分の度数が高く、中間階調の度数が低くなる。この場合、通常のＡＥ制御では注目する部分に合わせて（明るい部分に着目するなら黒つぶれを許容して明るい部分の階調を出すように）露光制御を行うことになる。しかしながら、本実施例においては、中間階調をきっちり出し、白飛びおよび黒つぶれを許容するように露光を制御すればよい。
【００５５】
他方、対数特性の映像はヒストグラムのピークが中間輝度に来るように露光制御を行えばよい。たとえば、前記の映像４０１０について輝度のヒストグラムをとると、図１２の５０１０のようになり、広がりの少ない分布となる。この場合、対数特性の映像については、ヒストグラムのピークがちょうど中間輝度に来るように露光制御を行うことにより、明るい側、暗い側とも階調を損なわずに撮像することができる。このようにして撮影した２枚の映像について、前述の方法でコントラストの拡張を行い、合成することにより、非常にコントラストの高い映像を得ることが可能である。
【００５６】
次いで、ＡＦ制御について述べる。リニア制御の画像においては、しばしばフォーカス制御が困難な場合がある。たとえば、暗い中に点光源が存在するような場合、点光源周辺が飽和してしまうと、その飽和部分を物体と誤認識して実際の物体にフォーカスが合わない状況が発生する。
図１３は、本実施例の撮像素子１で撮影した映像の第２の例を示す。映像６０００は、点光源（この場合は街灯部分）およびその周辺が飽和してしまい、ボケ止まりが発生している映像である。
図１４は、フォーカス位置と合焦信号の関係の例を示す。図中の（ａ）がリニア制御の画像を元に生成した合焦信号である。一般的なＡＦ制御では、合焦信号のレベルのピークが検出される位置にズームレンズを移動させるように制御される（山登り制御）。（ａ）から読み取れるとおり、本来の合焦ポイントのほかに、信号レベル検出手段４が（より具体的には該検出手段に含まれる合焦信号生成用のハイパスフィルタが）飽和した領域のエッジ部分を物体のエッジと誤認識してしまうために発生するピークが存在する。山登り制御によって飽和に起因するピーク検出位置にズームレンズを制御してしまうことがボケ止まりの原因である。
【００５７】
しかしながらこの場合、同一シーンの対数特性の画像は、図１３の映像６０１０のようになり、街灯部分は飽和していない。図１４の（ｂ）は対数特性の画像を元に生成した合焦信号であるが、飽和点が存在しないため、正しい合焦位置にのみピークが発生している。このため、映像６０１０を用いてＡＦ制御を行うことにより、飽和による悪影響は受けずにフォーカスを合わせることが可能となる。
【００５８】
あるいは、対数特性の合焦信号（ｂ）をもとに粗くフォーカス位置の調整を行い、リニア特性の合焦信号（ａ）をもとにフォーカス位置の微調整を行ってフォーカス位置を決定しても良い。
上記のようなＡＥ制御やＡＦ制御はリアルタイム制御である必要があり、同一フレームでリニア特性の映像と線形特性の映像が同時に撮影できることがハンチングや誤動作を防ぐ上で大きなアドバンテージとなる。
【００５９】
画質制御について説明する。図８の入力手段２の中には、たとえばセンサデータ処理部２３が存在し、生のセンサデータに対して傷補正やノイズ除去処理が施される。リニア特性の映像と対数特性の映像のそれぞれに別々の強度でノイズ除去を施すことにより、最適な映像を得ることができる。たとえば、リニア特性の映像に黒つぶれが発生しており、これがコントラスト拡張によって拡大されるような場合には、連動してリニア特性の暗部ノイズを抑えるようにノイズ除去の強度を高めることにより、高画質を得ることができる。
【００６０】
さらに、明るい被写体を撮影した場合に、リニア特性の映像は飽和して白飛びし、対数特性の映像は飽和しないことがある。このような場合、たとえば対数特性の映像からリニア特性の映像を予測して飽和以上の値を表現することが可能となる。先の図１０を用いて説明すると、リニアな入出力特性を持つ画素においては、特性３０００のように、ある明るさ以上で出力が飽和してしまう。しかしながら、対数特性を持つ画素の入力特性は３０１０のようになり、リニア画素が飽和してしまっても対数画素は飽和しない。したがって、対数画素の入出力特性とリニア画素の入出力特性を対応付けしておくことにより、飽和以上の特性を類推することが可能となる。
【００６１】
図１５は、コントラスト拡張手段３の構成の例を示す。コントラスト拡張手段３は、コントラスト拡張部３１、飽和判定部３２、ＲＯＭデータ３３、セレクタ３４を有する。コントラスト拡張手段３にはリニア特性の画像信号と対数特性の映像信号が入力され、それぞれについてコントラスト拡張が行われる。コントラスト拡張の詳細については、実施例１および２に記載されており、ここでは詳細は割愛する。コントラスト拡張されたリニア特性の画像信号は飽和判定部３２に入力され、飽和しているかどうかが判定される。一方、対数特性の画像信号はＲＯＭデータ３３に入力される。ＲＯＭデータ３３は、同一の明るさにおける対数特性の出力とリニア特性の出力を対応付けたデータであり、入力された対数特性の映像信号を元に、リニア特性の映像信号を出力する。リニア特性の映像信号とＲＯＭデータ３３の出力信号はセレクタ３４に入力され、飽和判定部３２において飽和と判定された場合にはＲＯＭデータ３３の出力を映出力し、飽和でないと判定された場合にはリニア特性の映像信号をそのまま出力する。このようにして、ダイナミックレンジの狭いリニア特性のデータに対しても、飽和レベル以上の階調を表現することができる。
対数データと線形データの対応付けは例示したようなテーブル形式でもよいし、関数あるいは多項式の形で対応付けしてもよい。以上の方式で飽和以上を補うことにより、輝度や色度のダイナミックレンジを広げることが可能となり、高画質化を図ることができる。
【００６２】
なお、本発明は上記の実施例１〜５に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換えをすることが可能である。
また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、必ずしも実際の装置における全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【符号の説明】
【００６３】
１：撮像素子、２：入力手段、３：コントラスト拡張手段、４：信号レベル検出手段、５：コントラスト制御手段、６：出力手段、７：合成手段、８：レンズ部、９：制御部。
【特許請求の範囲】
【請求項１】
被写体を撮像して該被写体に係る画像信号を出力する画像信号処理装置であって、
前記被写体から供給された入射光を光電変換して電気信号に変換し、前記入射光との間の入出力特性が非線形であって互いに異なる少なくも二つの特性を含む前記電気信号を出力する撮像素子と、
該撮像素子が出力した前記電気信号が供給され前記電気信号の信号レベルを検出する信号レベル検出手段と、
前記撮像素子が出力した前記電気信号が供給され前記電気信号に対する信号処理を行う信号処理手段と、
該信号処理手段で信号処理して得た前記画像信号を出力する出力手段と、
前記信号レベル検出手段から供給された前記検出信号と前記撮像素子の入出力特性の情報を基に前記信号処理手段を制御する制御手段を有し、
前記制御手段は、前記電気信号に対して前記検出信号に基づき少なくも二つの互いに特性の異なる露光制御を行うことを特徴とする画像信号処理装置。
【請求項２】
被写体を撮像して該被写体に係る画像信号を出力する画像信号処理装置であって、
前記被写体から供給された入射光を光電変換して電気信号に変換し、前記入射光との間の入出力特性が非線形であって互いに異なる少なくも二つの特性を含む前記電気信号を出力する撮像素子と、
該撮像素子が出力した前記電気信号が供給され前記電気信号の信号レベルを検出する信号レベル検出手段と、
前記撮像素子が出力した前記電気信号が供給され前記電気信号に対する信号処理を行う信号処理手段と、
該信号処理手段で信号処理して得た前記画像信号を出力する出力手段と、
前記信号レベル検出手段から供給された前記検出信号と前記撮像素子の入出力特性の情報を基に前記信号処理手段を制御する制御手段を有し、
前記制御手段は、前記電気信号に対して前記検出信号に基づきオートフォーカス制御を行うことを特徴とする画像信号処理装置。
【請求項３】
被写体を撮像して該被写体に係る画像信号を出力する画像信号処理装置であって、
前記被写体から供給された入射光を光電変換して電気信号に変換し、前記入射光との間の入出力特性が非線形であって互いに異なる少なくも二つの特性を含む前記電気信号を出力する撮像素子と、
該撮像素子が出力した前記電気信号が供給され前記電気信号の信号レベルを検出する信号レベル検出手段と、
前記撮像素子が出力した前記電気信号が供給され前記電気信号に対する信号処理を行う信号処理手段と、
該信号処理手段で信号処理して得た前記画像信号を出力する出力手段と、
前記信号レベル検出手段から供給された前記検出信号と前記撮像素子の入出力特性の情報を基に前記信号処理手段を制御する制御手段を有し、
前記信号処理手段は、前記制御手段からの制御に応じて少なくも二つの前記電気信号に対して個別にパラメータ調整を行うことを特徴とする画像信号処理装置。
【請求項４】
被写体を撮像して該被写体に係る画像信号を出力する画像信号処理装置であって、
前記被写体から供給された入射光を光電変換して電気信号に変換し、前記入射光との間の入出力特性が非線形であって互いに異なる少なくも二つの特性を含む第１の電気信号と、前記入射光との間の入出力特性が略線形な第２の電気信号を出力する撮像素子と、
該撮像素子が出力した前記電気信号が供給され前記電気信号の信号レベルを検出する信号レベル検出手段と、
前記撮像素子が出力した前記電気信号が供給され前記電気信号に対する信号処理を行う信号処理手段と、
該信号処理手段で信号処理して得た前記画像信号を出力する出力手段と、
前記信号レベル検出手段から供給された前記検出信号と前記撮像素子の入出力特性の情報を基に前記信号処理手段を制御する制御手段を有し、
前記信号処理手段は、前記制御手段からの制御に応じて前記電気信号のうち第１の電気信号から第２の電気信号の値を補間して前記画像信号を生成することを特徴とする画像信号処理装置。
【請求項５】
請求項１ないし４に記載の画像信号処理装置であって、前記撮像素子は異なる入出力特性の画素が混在する構造であることを特徴とする画像信号処理装置。
【請求項６】
請求項５に記載の画像信号処理装置であって、前記撮像素子は異なる入出力特性の画素のシャッタスピードを個別に設定することを特徴とする画像信号処理装置。
【請求項１】
被写体を撮像して該被写体に係る画像信号を出力する画像信号処理装置であって、
前記被写体から供給された入射光を光電変換して電気信号に変換し、前記入射光との間の入出力特性が非線形であって互いに異なる少なくも二つの特性を含む前記電気信号を出力する撮像素子と、
該撮像素子が出力した前記電気信号が供給され前記電気信号の信号レベルを検出する信号レベル検出手段と、
前記撮像素子が出力した前記電気信号が供給され前記電気信号に対する信号処理を行う信号処理手段と、
該信号処理手段で信号処理して得た前記画像信号を出力する出力手段と、
前記信号レベル検出手段から供給された前記検出信号と前記撮像素子の入出力特性の情報を基に前記信号処理手段を制御する制御手段を有し、
前記制御手段は、前記電気信号に対して前記検出信号に基づき少なくも二つの互いに特性の異なる露光制御を行うことを特徴とする画像信号処理装置。
【請求項２】
被写体を撮像して該被写体に係る画像信号を出力する画像信号処理装置であって、
前記被写体から供給された入射光を光電変換して電気信号に変換し、前記入射光との間の入出力特性が非線形であって互いに異なる少なくも二つの特性を含む前記電気信号を出力する撮像素子と、
該撮像素子が出力した前記電気信号が供給され前記電気信号の信号レベルを検出する信号レベル検出手段と、
前記撮像素子が出力した前記電気信号が供給され前記電気信号に対する信号処理を行う信号処理手段と、
該信号処理手段で信号処理して得た前記画像信号を出力する出力手段と、
前記信号レベル検出手段から供給された前記検出信号と前記撮像素子の入出力特性の情報を基に前記信号処理手段を制御する制御手段を有し、
前記制御手段は、前記電気信号に対して前記検出信号に基づきオートフォーカス制御を行うことを特徴とする画像信号処理装置。
【請求項３】
被写体を撮像して該被写体に係る画像信号を出力する画像信号処理装置であって、
前記被写体から供給された入射光を光電変換して電気信号に変換し、前記入射光との間の入出力特性が非線形であって互いに異なる少なくも二つの特性を含む前記電気信号を出力する撮像素子と、
該撮像素子が出力した前記電気信号が供給され前記電気信号の信号レベルを検出する信号レベル検出手段と、
前記撮像素子が出力した前記電気信号が供給され前記電気信号に対する信号処理を行う信号処理手段と、
該信号処理手段で信号処理して得た前記画像信号を出力する出力手段と、
前記信号レベル検出手段から供給された前記検出信号と前記撮像素子の入出力特性の情報を基に前記信号処理手段を制御する制御手段を有し、
前記信号処理手段は、前記制御手段からの制御に応じて少なくも二つの前記電気信号に対して個別にパラメータ調整を行うことを特徴とする画像信号処理装置。
【請求項４】
被写体を撮像して該被写体に係る画像信号を出力する画像信号処理装置であって、
前記被写体から供給された入射光を光電変換して電気信号に変換し、前記入射光との間の入出力特性が非線形であって互いに異なる少なくも二つの特性を含む第１の電気信号と、前記入射光との間の入出力特性が略線形な第２の電気信号を出力する撮像素子と、
該撮像素子が出力した前記電気信号が供給され前記電気信号の信号レベルを検出する信号レベル検出手段と、
前記撮像素子が出力した前記電気信号が供給され前記電気信号に対する信号処理を行う信号処理手段と、
該信号処理手段で信号処理して得た前記画像信号を出力する出力手段と、
前記信号レベル検出手段から供給された前記検出信号と前記撮像素子の入出力特性の情報を基に前記信号処理手段を制御する制御手段を有し、
前記信号処理手段は、前記制御手段からの制御に応じて前記電気信号のうち第１の電気信号から第２の電気信号の値を補間して前記画像信号を生成することを特徴とする画像信号処理装置。
【請求項５】
請求項１ないし４に記載の画像信号処理装置であって、前記撮像素子は異なる入出力特性の画素が混在する構造であることを特徴とする画像信号処理装置。
【請求項６】
請求項５に記載の画像信号処理装置であって、前記撮像素子は異なる入出力特性の画素のシャッタスピードを個別に設定することを特徴とする画像信号処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１２−１３４７４５（Ｐ２０１２−１３４７４５Ａ）
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願番号】特願２０１０−２８４７２８（Ｐ２０１０−２８４７２８）
【出願日】平成２２年１２月２１日（２０１０．１２．２１）
【出願人】（５０９１８９４４４）日立コンシューマエレクトロニクス株式会社 (998)
【Ｆターム（参考）】
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願日】平成２２年１２月２１日（２０１０．１２．２１）
【出願人】（５０９１８９４４４）日立コンシューマエレクトロニクス株式会社 (998)
【Ｆターム（参考）】
[ Back to top ]