撮像システム、階調補正方法、及び電子情報機器
【課題】表示画面を分割して得られる複数の分割領域の各々に対して、入出力特性（補正強度）を適切に設定することができ、これにより、広ダイナミックレンジの画像での白飛びや黒潰れを回避しつつ、隣接する分割領域の境界で補正強度が不連続になるのを防止する。
【解決手段】イメージセンサから出力される出力信号のダイナミックレンジを調整するダイナミックレンジ調整部１００ａを、表示画面を分割して得られる複数の分割領域毎に画像の特徴を抽出する領域特徴抽出部１３０と、抽出された各分割領域の画像の特徴に基づいて、該分割領域の各画素毎に入出力特性を設定する入出力特性設定部１４０と、設定された入出力特性に基づいて該出力信号の階調レベルを各画素毎に補正する階調補正部１５０とを備えた構成とした。
【解決手段】イメージセンサから出力される出力信号のダイナミックレンジを調整するダイナミックレンジ調整部１００ａを、表示画面を分割して得られる複数の分割領域毎に画像の特徴を抽出する領域特徴抽出部１３０と、抽出された各分割領域の画像の特徴に基づいて、該分割領域の各画素毎に入出力特性を設定する入出力特性設定部１４０と、設定された入出力特性に基づいて該出力信号の階調レベルを各画素毎に補正する階調補正部１５０とを備えた構成とした。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像システム、階調補正方法、及び電子情報機器に関し、特に、被写体の撮像画像のダイナミックレンジに応じて画像信号に対する階調補正を行う階調補正処理に関するものである。
【背景技術】
【０００２】
従来から、ＣＭＯＳイメージセンサやＣＣＤイメージセンサなどの固体撮像素子を搭載したカメラシステム（撮像システム）では、撮像信号のダイナミックレンジを広げるための対策がなされている。
【０００３】
例えば、特許文献１には、カメラシステムとして、被写体の明るさに応じて固体撮像素子の入出力特性を調整するものが開示されている。
【０００４】
図５は、この特許文献１に開示のカメラシステムを説明するブロック図である。
【０００５】
このカメラシステム１０は、被写体の撮像を行うＣＭＯＳイメージャ４と、該ＣＭＯＳイメージャ４に被写体からの光を集光するレンズ１と、該レンズ１とＣＭＯＳイメージャ４との間に配置され、レンズ１からの光量を調整するアイリス２と、該ＣＭＯＳイメージャ４を制御するセンサコントローラ５と、アイリス２を駆動するアイリス駆動部３とを有している。
【０００６】
ここで、ＣＭＯＳイメージャ４は、カラー撮影可能なもので、またダイナミックレンジを変更可能に構成されており、アイリス２を介して入力された入力光を、ＲＧＢ（赤、緑・青）データに変換し、画像データとして出力するものである。
【０００７】
上記カメラシステム１０は、ＣＭＯＳイメージャ４を制御するカメラコントローラ６を有しており、このカメラコントローラ６は、ＣＭＯＳイメージャ４が生成するＲＧＢデータに対して、カラー補間、カラー調整、カラーマトリックス調整、ホワイトバランス調整、ガンマ補正、ニー補正、黒レベル調整、カラー彩度調整等の色処理を施して、１６ビットＹＣｒＣｂ（輝度・色相）データに変換して出力する構成となっている。
【０００８】
また、カメラコントローラ６は、アイリス修正部６１とレンジ修正部６２とを有しており、アイリス修正部６１は、ＲＧＢデータの輝度平均を求める輝度平均演算部６１１及び輝度平均部６１１の輝度平均を所望の輝度平均にするアイリス値を演算するアイリス演算部６１２を有し、ＣＭＯＳイメージャ４のＲＧＢデータに基づいてアイリス値を判断し、アイリス駆動部３に修正させる構成となっている。
【０００９】
また、レンジ修正部６２は、ＣＭＯＳイメージャ４のＲＧＢデータに基づいて、入出力特性としての対数圧縮カーブを修正するものであり、ここで、対数圧縮カーブは、例えば２９通り用意されている。
【００１０】
次に動作について説明する。
【００１１】
図６は、このカメラシステムの動作を説明する図であり、２種類の対数圧縮カーブを示している。
【００１２】
センサコントローラ５がＣＭＯＳイメージャ４に撮像動作を開始させると、ＣＭＯＳイメージャ４がＲＧＢデータをセンサコントローラ５に出力し、センサコントローラ５はカメラコントローラ６にＲＧＢデータを出力する。
【００１３】
例えば、図６に示すように、入出力特性は、対数圧縮カーブａとなり、入力輝度範囲Ｘに対して、出力輝度範囲Ｙ１を得る。
【００１４】
アイリス修正部６１では、センサコントローラ５からのＲＧＢデータにより、黒レベルを調整し、アイリス２の修正をする。つまり、輝度平均演算部６１１がＲＧＢデータの輝度平均を求め、この輝度平均により、アイリス演算部６１２は所望の輝度平均になるように、アイリス値の演算を行い、アイリス値により、アイリス駆動部３にアイリス２を修正させる。このアイリス調整により、図６に示すように、ＣＭＯＳイメージャ４の入出力特性は、対数圧縮カーブａが示すものから対数圧縮カーブｂが示すものとなり、入力輝度範囲Ｘに対する出力輝度範囲は範囲Ｙ２となる。
【００１５】
さらに、ＣＭＯＳイメージャ４は、センサコントローラ５の制御によりＲＧＢデータをセンサコントローラ５に出力し、このＲＧＢデータがカメラコントローラ６に入力されると、このＲＧＢデータにより、レンジ修正部６２はＣＭＯＳイメージャ４の圧縮カーブを修正する。つまり、レンジ修正部６２は、ＲＧＢデータから明度閾値以上の画素数の計数を行う。この計数した画素数に基づき、レンジ修正部６２はセンサコントローラ５に対して圧縮カーブを指定する。この結果、ＣＭＯＳイメージャ４の入出力特性は、図６に示すように、対数圧縮カーブｂから対数圧縮カーブｃになり、入力輝度範囲Ｘに対する出力輝度範囲は範囲Ｙ３となる。
【００１６】
このように、アイリス修正部６１がＲＧＢデータに基づいてアイリス値を判断し、アイリス駆動部３に修正させ、アイリス２を調整し、暗部レベルの分布を確保し、レンジ修正部６２により圧縮カーブを修正するので、広ダイナミックレンジで最適な画像を得ることができる。
【先行技術文献】
【特許文献】
【００１７】
【特許文献１】特開２００４−２８２２８２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１８】
しかしながら、従来のカメラシステムでは、逆光で撮影した場合など、平均的な輝度が高い画像の一部に、輝度の低い暗い部分がある場合、図６に示すような対数圧縮カーブｂあるいは対数圧縮カーブｃによる入出力特性では、暗い部分では黒つぶれが生じて、逆光で撮像したような広ダイナミックレンジの画像として適切な画像が得られないという問題がある。
【００１９】
そこで、従来は、図７（ａ）に示すように、表示画面Ｆを複数に分割して得られる分割領域Ｒｉｊ毎にヒストグラム情報を求め、各分割領域Ｒｉｊのヒストグラム情報に対応する入出力特性を選択し、それぞれの分割領域Ｒｉｊでは、選択した入出力特性を用いて入力輝度に対する出力輝度を決定するようにしている。
【００２０】
ここで、入出力特性の選択は、複数用意されている対数圧縮カーブのうちから、各分割領域に対してヒストグラム情報に応じた対数圧縮カーブを選択することにより行う。
【００２１】
ところが、このように分割領域毎に入出力特性を設定すると、隣接する分割領域の境界で入力輝度に対する出力輝度が大きく変化するという問題が生ずる。
【００２２】
具体的には、図７（ｂ）は、各分割領域Ｒｉｊに設定されている入出力特性を高さレベルで模式的に示しており、各分割領域における高さレベルが１つの対数圧縮カーブに対応している。
【００２３】
つまり、図７（ｂ）では、表示画面Ｆをｘ−ｙ平面に対応付け、表示画面上での画素の位置での補正強度αをｚ軸方向に取っている。ここで、補正強度αは、入力値に対する出力値のゲインを決定する入出力特性に対応する。
【００２４】
図７（ａ）で説明したように、各分割領域で得られるヒストグラム情報に基づいて対数圧縮カーブを決定すると、隣接する分割領域の境界に隣接する画素では、入力値（入力光の強度）が同一でも、異なった入出力特性によりゲインが補正されることとなり、出力値が不連続になってしまうという問題がある。
【００２５】
例えば、図７（ｂ）では、分割領域Ｒｉｊに対してその上下左右に隣接して位置する分割領域Ｒｉ−１ｊ、Ｒｉ＋１ｊ、Ｒｉｊ−１、Ｒｉｊ＋１には、それぞれ補正強度αｉ−１ｊ、αｉ＋１ｊ、αｉｊ−１、αｉｊ＋１が設定されており、図７（ｂ）に示す例では、分割領域Ｒｉ−１ｊ、Ｒｉｊ＋１、Ｒｉ＋１ｊの補正強度αｉ−１ｊ、αｉｊ＋１、αｉ＋１ｊは同一であるが、これらの補正強度に比べて、分割領域Ｒｉｊ−１の補正強度αｉｊ−１は小さく、分割領域Ｒｉｊの補正強度αｉｊは大きい。このため、分割領域Ｒｉｊと分割領域Ｒｉｊ−１との境界に隣接する画素のうち、分割領域Ｒｉｊ内の画素と分割領域Ｒｉｊ−１内の画素とでは、補正強度に対応する入出力特性により補正されたゲインが大きく異なることとなり、これらの隣接する２つの画素では、入力輝度がほとんど同一でも、出力輝度が大きくことなるという問題がある。
【００２６】
本発明は、上記のような問題点を解決するためになされたものであり、表示画面を分割して得られる複数の分割領域の各々に対して、入出力特性（補正強度）を適切に設定することができ、これにより、広ダイナミックレンジの画像での白飛びや黒潰れを回避しつつ、隣接する分割領域の境界で補正強度が不連続になるのを防止することができる撮像システム及び階調調整方法、並びにこのような撮像システムを搭載した電子情報機器を得ることを目的とする。
【課題を解決するための手段】
【００２７】
本発明に係る撮像システムは、被写体の撮像を行うイメージセンサと、該イメージセンサの出力信号のダイナミックレンジを調整するダイナミックレンジ調整部とを有する撮像システムであって、該ダイナミックレンジ調整部は、表示画面を分割して得られる複数の分割領域毎に画像の特徴を抽出する特徴抽出部と、抽出された各分割領域の画像の特徴に基づいて、該分割領域の各画素毎に入出力特性を設定する入出力特性設定部と、設定された入出力特性に基づいて該出力信号の階調レベルを各画素毎に補正する階調補正部とを備えたものであり、そのことにより上記目的が達成される。
【００２８】
本発明は、上記撮像システムにおいて、前記入出力特性設定部は、異なる入出力特性に関する情報をガンマ補正曲線として複数格納した特性格納部と、前記各分割領域の画像の特徴に基づいて、前記出力信号の階調レベルを補正する補正強度を、各画素毎に演算する補正強度演算部と、該補正強度演算部で得られた補正強度に基づいて、該特性格納部に格納されている複数のガンマ補正曲線から、該分割領域における各画素に対応したガンマ補正曲線を選択する特性選択部とを備え、前記階調補正部は、該特性選択部で選択された、各画素に対応するガンマ補正曲線に基づいて、該出力信号における各画素に対応する階調レベルを補正することが好ましい。
【００２９】
本発明は、上記撮像システムにおいて、前記分割領域は矩形形状を有し、前記補正強度演算部は、前記各分割領域の画像特徴に基づいて該各分割領域に補正強度を割り当て、該各分割領域の頂点に位置する画素に対応する補正強度を、該各分割領域とこれに隣接する分割領域との間での、割り当てられている補正強度の加重平均により設定することが好ましい。
【００３０】
本発明は、上記撮像システムにおいて、前記補正強度演算部は、前記矩形形状の分割領域を１つの対角線により２つの三角形領域に分離し、各三角形領域の画素に対する補正強度を、対応する三角形領域の頂点に対応する補正強度を定数とし、該三角形領域内での画素の位置を変数とする方程式を用いて算出することが好ましい。
【００３１】
本発明は、上記撮像システムにおいて、前記特性格納部に格納されている複数のガンマ補正曲線の各々は、前記補正強度のレンジに対応付けられており、前記特性選択部では、対象画素に対応する補正強度が、該ガンマ補正曲線に割当てられている補正強度のレンジに含まれるときに、このガンマ補正曲線を該対象画素に対するガンマ補正曲線として選択することが好ましい。
【００３２】
本発明は、上記撮像システムにおいて、前記イメージセンサから出力されるＲＧＢ信号をＹＵＶ信号に変換する信号処理部を有することが好ましい。
【００３３】
本発明は、上記撮像システムにおいて、前記ＹＵＶ信号を、表示画面を区分する複数の分割領域の各々に対応付けて前記特徴抽出部に出力する領域分割部を有することが好ましい。
【００３４】
本発明は、上記撮像システムにおいて、前記イメージセンサは、ＣＭＯＳイメージセンサであることが好ましい。
【００３５】
本発明は、上記撮像システムにおいて、前記イメージセンサは、ＣＣＤイメージセンサであることが好ましい。
【００３６】
本発明に係る階調補正方法は、被写体の撮像を行うイメージセンサの出力信号を階調補正する方法であって、表示画面を分割して得られる複数の分割領域毎に画像の特徴を抽出するステップと、抽出された各分割領域の画像の特徴に基づいて、該分割領域の各画素毎に入出力特性を設定するステップと、設定された入出力特性に基づいて該出力信号の階調レベルを各画素毎に補正するステップとを含むものであり、そのことにより上記目的が達成される。
【００３７】
本発明に係る電子情報機器は、被写体の撮像を行う撮像部を備えた電子情報機器であって、該撮像部は、上述した本発明に係る撮像システムを含むものであり、そのことにより上記目的が達成される。
【００３８】
次に作用について説明する。
【００３９】
本発明においては、イメージセンサから出力される出力信号のダイナミックレンジを調整するダイナミックレンジ調整部を、表示画面を分割して得られる複数の分割領域毎に画像の特徴を抽出する特徴抽出部と、抽出された各分割領域の画像の特徴に基づいて、該分割領域の各画素毎に入出力特性を設定する入出力特性設定部と、設定された入出力特性に基づいて該出力信号の階調レベルを各画素毎に補正する階調補正部とを備え、分割領域の頂点の画素の入出力特性を決定するための補正強度を、隣接する分割領域に設定されている補正強度の加重平均により決定する構成としたもので、表示画面を分割して得られる複数の分割領域の各々の画素に対して、入出力特性（補正強度）を適切に設定することができ、これにより、広ダイナミックレンジの画像での白飛びや黒潰れを回避しつつ、隣接する分割領域の境界で補正強度が不連続になるのを防止することができる。
【発明の効果】
【００４０】
以上のように、本発明によれば、表示画面を分割して得られる複数の分割領域の各々に対して、入出力特性（補正強度）を適切に設定することができ、これにより、広ダイナミックレンジの画像での白飛びや黒潰れを回避しつつ、隣接する分割領域の境界で補正強度が不連続になるのを防止することができる効果がある。
【図面の簡単な説明】
【００４１】
【図１】図１は、本発明の実施形態１による撮像システムを説明するブロック図であり、図１（ａ）は、全体構成を示し、図１（ｂ）は、該撮像システムを構成する入出力特性設定部の構成を示している。
【図２】図２は、本発明の実施形態１による撮像システムの動作を説明する図であり、表示画面を分割して得られる複数の分割領域を示している。
【図３】図３は、本発明の実施形態１による撮像システムの動作を説明する図であり、図３（ａ）は、各分割領域の頂点での補正強度を示し、図３（ｂ）は、分割領域を２つの三角形領域に分割した状態を示し、図３（ｃ）は、各三角形領域において補正強度を設定する方法を示している。
【図４】図４は、本発明の実施形態２として、実施形態１に記載の撮像システムを撮像部に用いた電子情報機器の概略構成例を示すブロック図である。
【図５】図５は、この特許文献１に開示のカメラシステムを説明するブロック図である。
【図６】図６は、このカメラシステムの動作を説明する図であり、２種類の対数圧縮カーブを示している。
【図７】図７は従来技術の問題点を説明する図であり、図７（ａ）は、表示画面を分割した状態を示し、図７（ｂ）は、分割した領域での補正強度を概念的に示している。
【発明を実施するための形態】
【００４２】
以下、本発明の実施形態について図面を参照しながら説明する。
【００４３】
（実施形態１）
図１は、本発明の実施形態１による撮像システムを説明するブロック図であり、図１（ａ）は、全体構成を示し、図１（ｂ）は、該撮像システムを構成する入出力特性設定部の構成を示している。
【００４４】
図２は、本発明の実施形態１による撮像システムの動作を説明する図であり、表示画面を分割して得られる複数の分割領域を示している。
【００４５】
図３は、本発明の実施形態１による撮像システムの動作を説明する図であり、図３（ａ）は、各分割領域の頂点での補正強度を示し、図３（ｂ）は、分割領域を２つの三角形領域に分割した状態を示し、図３（ｃ）は、各三角形領域において補正強度を設定する方法を示している。
【００４６】
本実施形態１による撮像システム１００は、被写体の撮像を行うイメージセンサ（固体撮像素子）１０１と、該イメージセンサの出力信号Ｐｓのダイナミックレンジを調整するダイナミックレンジ調整部１００ａとを有している。なお、上記イメージセンサは、ＣＭＯＳイメージセンサであっても、ＣＣＤイメージセンサであってもよい。
【００４７】
このダイナミックレンジ調整部１００ａは、前記イメージセンサから出力されるＲＧＢ信号ＰｓをＹＵＶ信号Ｖｓに変換する信号処理部１１０と、前記ＹＵＶ信号Ｖｓを、表示画面を区分する矩形形状の複数の分割領域Ｒｉｊ（図２参照）の各々に対応付けて出力する領域分割部１２０と、該領域分割部１２０からの出力信号Ｒｓに基づいて、分割領域毎に画像の特徴、例えば各分割領域における画素の階調レベルのヒストグラムを抽出して、これを特徴情報Ｒｃとして出力する特徴抽出部１３０と、抽出された各分割領域の画像の特徴に基づいて、該分割領域の各画素毎に入出力特性を設定する入出力特性設定部１４０と、設定された入出力特性に基づいて該出力信号の階調レベルを各画素毎に補正する階調補正部１５０とを有している。
【００４８】
この入出力特性設定部１４０は、異なる入出力特性に関する情報Ａｓをガンマ補正曲線として複数格納した特性格納部１４２と、前記各分割領域の画像の特徴に基づいて、前記出力信号の階調レベルを補正する補正強度を各画素毎に演算して、補正強度を示す情報Ｄαを出力する補正強度演算部１４１と、該補正強度演算部で得られた補正強度に基づいて、該特性格納部に格納されている複数のガンマ補正曲線から、該分割領域における各画素に対応したガンマ補正曲線を選択する特性選択部１４３とを備えている。
【００４９】
ここでは、上記階調補正部１５０は、該特性選択部１４３で選択された、各画素に対応するガンマ補正曲線に基づいて、該出力信号における各画素に対応する階調レベルを補正する。また、上記補正強度演算部１４１は、各分割領域の画像特徴に基づいて該各分割領域Ｒｉｊに補正強度αｉｊ（図２参照）を割り当て、該各分割領域の頂点に位置する画素に対応する補正強度を、該各分割領域とこれに隣接する分割領域との間での、割り当てられている補正強度の加重平均により設定する。
【００５０】
例えば、図２に示す分割領域Ｒｉｊの頂点Ｐ１の補正強度αｉｊ１（図３参照）は、分割領域Ｒｉｊ、分割領域Ｒｉｊの上側の分割領域Ｒｉ−１ｊ、分割領域Ｒｉｊの左側の分割領域Ｒｉｊ−１、及び分割領域Ｒｉｊの左上の分割領域の補正強度を加重平均して求められる。分割領域Ｒｉｊのその他の頂点Ｐ２〜Ｐ４の補正強度も、上記分割領域Ｒｉｊの頂点Ｐ１の補正強度と同様に、この分割領域とその周辺の分割領域の補正強度に基づいて求められる。
【００５１】
さらに、上記補正強度演算部１４１は、矩形形状の分割領域を１つの対角線により２つの三角形領域に分離し、各三角形領域の画素に対する補正強度αｘｙを、対応する三角形領域ＡＲｉｊ及びＢＲｉｊの頂点に対応する補正強度αｉｊ１〜αｉｊ４を定数とし、該三角形領域内での画素の位置Ｐ（ｘ，ｙ）を変数とする平面の方程式（２）を用いて算出する。
【００５２】
ａ（ｘ−ｘ０）＋ｂ（ｙ−ｙ０）＋ｃ（ｚ−ｚ０）＝０ ・・・（１）
つまり、三角形領域ＡＲｉｊ内の各画素位置での補正強度αｘｙを求める場合は、上記式（１）に、三角形領域ＡＲｉｊの頂点Ｐ１、Ｐ２、Ｐ４における、ｘｙ平面での位置を示すｘ、ｙ座標と、補正強度を示すｚ軸方向のｚ座標を代入して得られる３つの連立方程式を解いて、係数ａ〜ｃを決定する。なお、ｘ０、ｙ０、ｚ０については、このｘｙｚ座標系の原点の位置に応じて変わる定数である。
【００５３】
上記連立方程式を解くことにより、係数ａ〜ｃを決定した平面の方程式（２）が得られる。
【００５４】
αｘｙ＝ｚ＝Ａ（ｘ−ｘ０）＋Ｂ（ｙ−ｙ０）＋Ｃ ・・・（２）
ここで、αｘｙは、画素位置Ｐ（ｘ，ｙ）の画素での補正強度である（図３（ｃ））。また、方程式（２）における係数Ａ，Ｂ，Ｃは、上記方程式（１）における係数ａ、ｂ、ｃから得られるものである。
【００５５】
次に動作について説明する。
【００５６】
この撮像システム１００では、イメージセンサ１０１から出力されるＲＧＢ信号Ｐｓがダイナミックレンジ調整部１００ａに入力されると、信号処理部１１０にて、ＲＧＢ信号ＰｓがＹＵＶ信号Ｖｓに変換される。このＹＵＶ信号Ｖｓは、領域分割部１２０にて、表示画面を区分する矩形形状の複数の分割領域Ｒｉｊ（図２参照）の各々に対応付けて、各分割領域に対応する信号Ｒｓとして領域特徴抽出部１３０に出力される。
【００５７】
領域特徴抽出部１３０は、該領域分割部１２０からの出力信号Ｒｓに基づいて、分割領域毎に画像の特徴、例えば各分割領域における画素の階調レベルのヒストグラムを抽出して、これを特徴情報Ｒｃとして出力する。入出力特性設定部１４０は、抽出された各分割領域の画像の特徴に基づいて、該分割領域の各画素毎に入出力特性を設定する。階調補正部１５０では、設定された入出力特性に基づいて該出力信号の階調レベルを各画素毎に補正する。
【００５８】
以下、分割領域の各画素毎に入出力特性を設定する動作について具体的に説明する。
【００５９】
入力特性設定部１４０の特性格納部１４２には、異なる入出力特性を示す情報Ａｓとしてガンマ補正曲線が複数格納されている。
【００６０】
補正強度演算部１４１は、各分割領域の画像特徴に基づいて該各分割領域Ｒｉｊ（図２参照）に補正強度αｉｊを割り当てる。さらに、該各分割領域の頂点に位置する画素に対応する補正強度を、該各分割領域とこれに隣接する分割領域との間での、割り当てられている補正強度の加重平均により設定する。
【００６１】
例えば、図２に示す分割領域Ｒｉｊの頂点Ｐ１の補正強度αｉｊ１は、分割領域Ｒｉｊ、分割領域Ｒｉｊの上側の分割領域Ｒｉ−１ｊ、分割領域Ｒｉｊの左側の分割領域Ｒｉｊ−１、及び分割領域Ｒｉｊの左上の分割領域の補正強度を加重平均して求められる。分割領域Ｒｉｊのその他の頂点Ｐ２〜Ｐ４の補正強度も、上記分割領域Ｒｉｊの頂点Ｐ１の補正強度と同様に、この分割領域とその周辺の分割領域の補正強度に基づいて求められる。
【００６２】
さらに、上記補正強度演算部１４１は、矩形形状の分割領域Ｒｉｊ（図３（ａ））を１つの対角線により２つの三角形領域ＡＲｉｊ及びＢＲｉｊ（図３（ｂ））に分離し、各三角形領域の画素に対する補正強度αｘｙを、対応する三角形領域ＡＲｉｊ及びＢＲｉｊの頂点に対応する補正強度αｉｊ１〜αｉｊ４を定数とし、該三角形領域内での画素の位置Ｐ（ｘ，ｙ）を変数とする平面の方程式（２）を用いて算出する。
【００６３】
補正強度演算部１４１で求められた各画素に対応する補正強度αｘｙは、補正強度情報Ｄαとして特性選択部１４３に出力される。
【００６４】
この特性選択部１４３では、補正強度演算部１４１で得られた補正強度αｘｙに基づいて、該特性格納部１４２に格納されている複数のガンマ補正曲線から、該分割領域における各画素に対応したガンマ補正曲線が選択され、このガンマ補正曲線を示す情報Ａｓが階調補正部１５０に出力される。
【００６５】
該階調補正部１５０では、特性選択部１４３から出力されたこのガンマ補正曲線を示す情報Ａｓに基づいて該出力信号の階調レベルが各画素毎に補正される。
【００６６】
このように本実施形態１では、イメージセンサから出力される出力信号のダイナミックレンジを調整するダイナミックレンジ調整部１００ａにおいて、表示画面を分割して得られる複数の分割領域毎に画像の特徴を抽出する特徴抽出部１３０と、抽出された各分割領域の画像の特徴に基づいて、該分割領域の各画素毎に入出力特性を設定する入出力特性設定部１４０と、設定された入出力特性に基づいて該出力信号の階調レベルを各画素毎に補正する階調補正部１５０とを備え、分割領域の頂点の画素の入出力特性を決定するための補正強度を、各分割領域に設定されている補正強度の加重平均により決定するので、表示画面を分割して得られる複数の分割領域の各々の画素に対して、入出力特性（補正強度）を適切に設定することができ、これにより、広ダイナミックレンジの画像での白飛びや黒潰れを回避しつつ、隣接する分割領域の境界で補正強度が不連続になるのを防止することができる。
【００６７】
なお、上記実施形態１では、デジタル値としての１つの補正強度に対して、１つの入出力特性としてのガンマ補正曲線を対応付けているが、補正強度と入出力特性としてのガンマ補正曲線との対応付けは、これに限るものではない。
【００６８】
例えば、補正強度の最小値から最大値までの間に複数の範囲を設定し、補正強度のそれぞれの範囲に対して、１つの入出力特性としてのガンマ補正曲線を対応付けてもよい。
【００６９】
この場合、特性格納部に格納する入出力特性としてのガンマ補正曲線の情報量を削減することができる効果がある。
【００７０】
さらに、上記実施形態１では、特に説明しなかったが、上記実施形態１の撮像システムを撮像部に用いた、例えばデジタルビデオカメラ、デジタルスチルカメラなどのデジタルカメラや、画像入力カメラ、スキャナ、ファクシミリ、カメラ付き携帯電話装置などの、画像入力デバイスを有した電子情報機器について以下簡単に説明する。
（実施形態２）
図４は、本発明の実施形態２として、実施形態１の撮像システムを撮像部に用いた電子情報機器の概略構成例を示すブロック図である。
【００７１】
図４に示す本発明の実施形態２による電子情報機器９０は、本発明の上記実施形態１の撮像システムを、被写体の撮影を行う撮像部９１として備えたものであり、このような撮像部による撮影により得られた高品位な画像データを記録用に所定の信号処理した後にデータ記録する記録メディアなどのメモリ部９２と、この画像データを表示用に所定の信号処理した後に液晶表示画面などの表示画面上に表示する液晶表示装置などの表示部９３と、この画像データを通信用に所定の信号処理をした後に通信処理する送受信装置などの通信部９４と、この画像データを印刷（印字）して出力（プリントアウト）する画像出力部９５とのうちの少なくともいずれかを有している。
【００７２】
以上のように、本発明の好ましい実施形態を用いて本発明を例示してきたが、本発明は、この実施形態に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許、特許出願および文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。
【産業上の利用可能性】
【００７３】
本発明は、撮像システム、階調補正方法、及び電子情報機器の分野において、表示画面を分割して得られる複数の分割領域の各々に対して、入出力特性（補正強度）を適切に設定することができ、これにより、広ダイナミックレンジの画像での白飛びや黒潰れを回避しつつ、隣接する分割領域の境界で補正強度が不連続になるのを防止することができる撮像システム及び階調補正方法、並びにこのような撮像システムを搭載した電子情報機器を得ることができる。
【符号の説明】
【００７４】
９０ 電子情報機器
９１ 撮像部
９２ メモリ部
９３ 表示手段
９４ 通信手段
９５ 画像出力手段
１００ 撮像システム
１００ａ ダイナミックレンジ調整部
１１０ 信号処理部
１２０ 領域分割部
１３０ 領域特徴抽出部
１４０ 入出力特性設定部
１４１ 補正強度演算部
１４２ 特性格納部
１４３ 特性選択部
１５０ 階調補正部
αｉｊ 補正強度
ＡＲｉｊ、ＢＲｉｊ 三角形領域
Ｆ 表示画面
Ｐ１〜Ｐ４ 画素位置
Ｒｉｊ 分割領域
【技術分野】
【０００１】
本発明は、撮像システム、階調補正方法、及び電子情報機器に関し、特に、被写体の撮像画像のダイナミックレンジに応じて画像信号に対する階調補正を行う階調補正処理に関するものである。
【背景技術】
【０００２】
従来から、ＣＭＯＳイメージセンサやＣＣＤイメージセンサなどの固体撮像素子を搭載したカメラシステム（撮像システム）では、撮像信号のダイナミックレンジを広げるための対策がなされている。
【０００３】
例えば、特許文献１には、カメラシステムとして、被写体の明るさに応じて固体撮像素子の入出力特性を調整するものが開示されている。
【０００４】
図５は、この特許文献１に開示のカメラシステムを説明するブロック図である。
【０００５】
このカメラシステム１０は、被写体の撮像を行うＣＭＯＳイメージャ４と、該ＣＭＯＳイメージャ４に被写体からの光を集光するレンズ１と、該レンズ１とＣＭＯＳイメージャ４との間に配置され、レンズ１からの光量を調整するアイリス２と、該ＣＭＯＳイメージャ４を制御するセンサコントローラ５と、アイリス２を駆動するアイリス駆動部３とを有している。
【０００６】
ここで、ＣＭＯＳイメージャ４は、カラー撮影可能なもので、またダイナミックレンジを変更可能に構成されており、アイリス２を介して入力された入力光を、ＲＧＢ（赤、緑・青）データに変換し、画像データとして出力するものである。
【０００７】
上記カメラシステム１０は、ＣＭＯＳイメージャ４を制御するカメラコントローラ６を有しており、このカメラコントローラ６は、ＣＭＯＳイメージャ４が生成するＲＧＢデータに対して、カラー補間、カラー調整、カラーマトリックス調整、ホワイトバランス調整、ガンマ補正、ニー補正、黒レベル調整、カラー彩度調整等の色処理を施して、１６ビットＹＣｒＣｂ（輝度・色相）データに変換して出力する構成となっている。
【０００８】
また、カメラコントローラ６は、アイリス修正部６１とレンジ修正部６２とを有しており、アイリス修正部６１は、ＲＧＢデータの輝度平均を求める輝度平均演算部６１１及び輝度平均部６１１の輝度平均を所望の輝度平均にするアイリス値を演算するアイリス演算部６１２を有し、ＣＭＯＳイメージャ４のＲＧＢデータに基づいてアイリス値を判断し、アイリス駆動部３に修正させる構成となっている。
【０００９】
また、レンジ修正部６２は、ＣＭＯＳイメージャ４のＲＧＢデータに基づいて、入出力特性としての対数圧縮カーブを修正するものであり、ここで、対数圧縮カーブは、例えば２９通り用意されている。
【００１０】
次に動作について説明する。
【００１１】
図６は、このカメラシステムの動作を説明する図であり、２種類の対数圧縮カーブを示している。
【００１２】
センサコントローラ５がＣＭＯＳイメージャ４に撮像動作を開始させると、ＣＭＯＳイメージャ４がＲＧＢデータをセンサコントローラ５に出力し、センサコントローラ５はカメラコントローラ６にＲＧＢデータを出力する。
【００１３】
例えば、図６に示すように、入出力特性は、対数圧縮カーブａとなり、入力輝度範囲Ｘに対して、出力輝度範囲Ｙ１を得る。
【００１４】
アイリス修正部６１では、センサコントローラ５からのＲＧＢデータにより、黒レベルを調整し、アイリス２の修正をする。つまり、輝度平均演算部６１１がＲＧＢデータの輝度平均を求め、この輝度平均により、アイリス演算部６１２は所望の輝度平均になるように、アイリス値の演算を行い、アイリス値により、アイリス駆動部３にアイリス２を修正させる。このアイリス調整により、図６に示すように、ＣＭＯＳイメージャ４の入出力特性は、対数圧縮カーブａが示すものから対数圧縮カーブｂが示すものとなり、入力輝度範囲Ｘに対する出力輝度範囲は範囲Ｙ２となる。
【００１５】
さらに、ＣＭＯＳイメージャ４は、センサコントローラ５の制御によりＲＧＢデータをセンサコントローラ５に出力し、このＲＧＢデータがカメラコントローラ６に入力されると、このＲＧＢデータにより、レンジ修正部６２はＣＭＯＳイメージャ４の圧縮カーブを修正する。つまり、レンジ修正部６２は、ＲＧＢデータから明度閾値以上の画素数の計数を行う。この計数した画素数に基づき、レンジ修正部６２はセンサコントローラ５に対して圧縮カーブを指定する。この結果、ＣＭＯＳイメージャ４の入出力特性は、図６に示すように、対数圧縮カーブｂから対数圧縮カーブｃになり、入力輝度範囲Ｘに対する出力輝度範囲は範囲Ｙ３となる。
【００１６】
このように、アイリス修正部６１がＲＧＢデータに基づいてアイリス値を判断し、アイリス駆動部３に修正させ、アイリス２を調整し、暗部レベルの分布を確保し、レンジ修正部６２により圧縮カーブを修正するので、広ダイナミックレンジで最適な画像を得ることができる。
【先行技術文献】
【特許文献】
【００１７】
【特許文献１】特開２００４−２８２２８２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１８】
しかしながら、従来のカメラシステムでは、逆光で撮影した場合など、平均的な輝度が高い画像の一部に、輝度の低い暗い部分がある場合、図６に示すような対数圧縮カーブｂあるいは対数圧縮カーブｃによる入出力特性では、暗い部分では黒つぶれが生じて、逆光で撮像したような広ダイナミックレンジの画像として適切な画像が得られないという問題がある。
【００１９】
そこで、従来は、図７（ａ）に示すように、表示画面Ｆを複数に分割して得られる分割領域Ｒｉｊ毎にヒストグラム情報を求め、各分割領域Ｒｉｊのヒストグラム情報に対応する入出力特性を選択し、それぞれの分割領域Ｒｉｊでは、選択した入出力特性を用いて入力輝度に対する出力輝度を決定するようにしている。
【００２０】
ここで、入出力特性の選択は、複数用意されている対数圧縮カーブのうちから、各分割領域に対してヒストグラム情報に応じた対数圧縮カーブを選択することにより行う。
【００２１】
ところが、このように分割領域毎に入出力特性を設定すると、隣接する分割領域の境界で入力輝度に対する出力輝度が大きく変化するという問題が生ずる。
【００２２】
具体的には、図７（ｂ）は、各分割領域Ｒｉｊに設定されている入出力特性を高さレベルで模式的に示しており、各分割領域における高さレベルが１つの対数圧縮カーブに対応している。
【００２３】
つまり、図７（ｂ）では、表示画面Ｆをｘ−ｙ平面に対応付け、表示画面上での画素の位置での補正強度αをｚ軸方向に取っている。ここで、補正強度αは、入力値に対する出力値のゲインを決定する入出力特性に対応する。
【００２４】
図７（ａ）で説明したように、各分割領域で得られるヒストグラム情報に基づいて対数圧縮カーブを決定すると、隣接する分割領域の境界に隣接する画素では、入力値（入力光の強度）が同一でも、異なった入出力特性によりゲインが補正されることとなり、出力値が不連続になってしまうという問題がある。
【００２５】
例えば、図７（ｂ）では、分割領域Ｒｉｊに対してその上下左右に隣接して位置する分割領域Ｒｉ−１ｊ、Ｒｉ＋１ｊ、Ｒｉｊ−１、Ｒｉｊ＋１には、それぞれ補正強度αｉ−１ｊ、αｉ＋１ｊ、αｉｊ−１、αｉｊ＋１が設定されており、図７（ｂ）に示す例では、分割領域Ｒｉ−１ｊ、Ｒｉｊ＋１、Ｒｉ＋１ｊの補正強度αｉ−１ｊ、αｉｊ＋１、αｉ＋１ｊは同一であるが、これらの補正強度に比べて、分割領域Ｒｉｊ−１の補正強度αｉｊ−１は小さく、分割領域Ｒｉｊの補正強度αｉｊは大きい。このため、分割領域Ｒｉｊと分割領域Ｒｉｊ−１との境界に隣接する画素のうち、分割領域Ｒｉｊ内の画素と分割領域Ｒｉｊ−１内の画素とでは、補正強度に対応する入出力特性により補正されたゲインが大きく異なることとなり、これらの隣接する２つの画素では、入力輝度がほとんど同一でも、出力輝度が大きくことなるという問題がある。
【００２６】
本発明は、上記のような問題点を解決するためになされたものであり、表示画面を分割して得られる複数の分割領域の各々に対して、入出力特性（補正強度）を適切に設定することができ、これにより、広ダイナミックレンジの画像での白飛びや黒潰れを回避しつつ、隣接する分割領域の境界で補正強度が不連続になるのを防止することができる撮像システム及び階調調整方法、並びにこのような撮像システムを搭載した電子情報機器を得ることを目的とする。
【課題を解決するための手段】
【００２７】
本発明に係る撮像システムは、被写体の撮像を行うイメージセンサと、該イメージセンサの出力信号のダイナミックレンジを調整するダイナミックレンジ調整部とを有する撮像システムであって、該ダイナミックレンジ調整部は、表示画面を分割して得られる複数の分割領域毎に画像の特徴を抽出する特徴抽出部と、抽出された各分割領域の画像の特徴に基づいて、該分割領域の各画素毎に入出力特性を設定する入出力特性設定部と、設定された入出力特性に基づいて該出力信号の階調レベルを各画素毎に補正する階調補正部とを備えたものであり、そのことにより上記目的が達成される。
【００２８】
本発明は、上記撮像システムにおいて、前記入出力特性設定部は、異なる入出力特性に関する情報をガンマ補正曲線として複数格納した特性格納部と、前記各分割領域の画像の特徴に基づいて、前記出力信号の階調レベルを補正する補正強度を、各画素毎に演算する補正強度演算部と、該補正強度演算部で得られた補正強度に基づいて、該特性格納部に格納されている複数のガンマ補正曲線から、該分割領域における各画素に対応したガンマ補正曲線を選択する特性選択部とを備え、前記階調補正部は、該特性選択部で選択された、各画素に対応するガンマ補正曲線に基づいて、該出力信号における各画素に対応する階調レベルを補正することが好ましい。
【００２９】
本発明は、上記撮像システムにおいて、前記分割領域は矩形形状を有し、前記補正強度演算部は、前記各分割領域の画像特徴に基づいて該各分割領域に補正強度を割り当て、該各分割領域の頂点に位置する画素に対応する補正強度を、該各分割領域とこれに隣接する分割領域との間での、割り当てられている補正強度の加重平均により設定することが好ましい。
【００３０】
本発明は、上記撮像システムにおいて、前記補正強度演算部は、前記矩形形状の分割領域を１つの対角線により２つの三角形領域に分離し、各三角形領域の画素に対する補正強度を、対応する三角形領域の頂点に対応する補正強度を定数とし、該三角形領域内での画素の位置を変数とする方程式を用いて算出することが好ましい。
【００３１】
本発明は、上記撮像システムにおいて、前記特性格納部に格納されている複数のガンマ補正曲線の各々は、前記補正強度のレンジに対応付けられており、前記特性選択部では、対象画素に対応する補正強度が、該ガンマ補正曲線に割当てられている補正強度のレンジに含まれるときに、このガンマ補正曲線を該対象画素に対するガンマ補正曲線として選択することが好ましい。
【００３２】
本発明は、上記撮像システムにおいて、前記イメージセンサから出力されるＲＧＢ信号をＹＵＶ信号に変換する信号処理部を有することが好ましい。
【００３３】
本発明は、上記撮像システムにおいて、前記ＹＵＶ信号を、表示画面を区分する複数の分割領域の各々に対応付けて前記特徴抽出部に出力する領域分割部を有することが好ましい。
【００３４】
本発明は、上記撮像システムにおいて、前記イメージセンサは、ＣＭＯＳイメージセンサであることが好ましい。
【００３５】
本発明は、上記撮像システムにおいて、前記イメージセンサは、ＣＣＤイメージセンサであることが好ましい。
【００３６】
本発明に係る階調補正方法は、被写体の撮像を行うイメージセンサの出力信号を階調補正する方法であって、表示画面を分割して得られる複数の分割領域毎に画像の特徴を抽出するステップと、抽出された各分割領域の画像の特徴に基づいて、該分割領域の各画素毎に入出力特性を設定するステップと、設定された入出力特性に基づいて該出力信号の階調レベルを各画素毎に補正するステップとを含むものであり、そのことにより上記目的が達成される。
【００３７】
本発明に係る電子情報機器は、被写体の撮像を行う撮像部を備えた電子情報機器であって、該撮像部は、上述した本発明に係る撮像システムを含むものであり、そのことにより上記目的が達成される。
【００３８】
次に作用について説明する。
【００３９】
本発明においては、イメージセンサから出力される出力信号のダイナミックレンジを調整するダイナミックレンジ調整部を、表示画面を分割して得られる複数の分割領域毎に画像の特徴を抽出する特徴抽出部と、抽出された各分割領域の画像の特徴に基づいて、該分割領域の各画素毎に入出力特性を設定する入出力特性設定部と、設定された入出力特性に基づいて該出力信号の階調レベルを各画素毎に補正する階調補正部とを備え、分割領域の頂点の画素の入出力特性を決定するための補正強度を、隣接する分割領域に設定されている補正強度の加重平均により決定する構成としたもので、表示画面を分割して得られる複数の分割領域の各々の画素に対して、入出力特性（補正強度）を適切に設定することができ、これにより、広ダイナミックレンジの画像での白飛びや黒潰れを回避しつつ、隣接する分割領域の境界で補正強度が不連続になるのを防止することができる。
【発明の効果】
【００４０】
以上のように、本発明によれば、表示画面を分割して得られる複数の分割領域の各々に対して、入出力特性（補正強度）を適切に設定することができ、これにより、広ダイナミックレンジの画像での白飛びや黒潰れを回避しつつ、隣接する分割領域の境界で補正強度が不連続になるのを防止することができる効果がある。
【図面の簡単な説明】
【００４１】
【図１】図１は、本発明の実施形態１による撮像システムを説明するブロック図であり、図１（ａ）は、全体構成を示し、図１（ｂ）は、該撮像システムを構成する入出力特性設定部の構成を示している。
【図２】図２は、本発明の実施形態１による撮像システムの動作を説明する図であり、表示画面を分割して得られる複数の分割領域を示している。
【図３】図３は、本発明の実施形態１による撮像システムの動作を説明する図であり、図３（ａ）は、各分割領域の頂点での補正強度を示し、図３（ｂ）は、分割領域を２つの三角形領域に分割した状態を示し、図３（ｃ）は、各三角形領域において補正強度を設定する方法を示している。
【図４】図４は、本発明の実施形態２として、実施形態１に記載の撮像システムを撮像部に用いた電子情報機器の概略構成例を示すブロック図である。
【図５】図５は、この特許文献１に開示のカメラシステムを説明するブロック図である。
【図６】図６は、このカメラシステムの動作を説明する図であり、２種類の対数圧縮カーブを示している。
【図７】図７は従来技術の問題点を説明する図であり、図７（ａ）は、表示画面を分割した状態を示し、図７（ｂ）は、分割した領域での補正強度を概念的に示している。
【発明を実施するための形態】
【００４２】
以下、本発明の実施形態について図面を参照しながら説明する。
【００４３】
（実施形態１）
図１は、本発明の実施形態１による撮像システムを説明するブロック図であり、図１（ａ）は、全体構成を示し、図１（ｂ）は、該撮像システムを構成する入出力特性設定部の構成を示している。
【００４４】
図２は、本発明の実施形態１による撮像システムの動作を説明する図であり、表示画面を分割して得られる複数の分割領域を示している。
【００４５】
図３は、本発明の実施形態１による撮像システムの動作を説明する図であり、図３（ａ）は、各分割領域の頂点での補正強度を示し、図３（ｂ）は、分割領域を２つの三角形領域に分割した状態を示し、図３（ｃ）は、各三角形領域において補正強度を設定する方法を示している。
【００４６】
本実施形態１による撮像システム１００は、被写体の撮像を行うイメージセンサ（固体撮像素子）１０１と、該イメージセンサの出力信号Ｐｓのダイナミックレンジを調整するダイナミックレンジ調整部１００ａとを有している。なお、上記イメージセンサは、ＣＭＯＳイメージセンサであっても、ＣＣＤイメージセンサであってもよい。
【００４７】
このダイナミックレンジ調整部１００ａは、前記イメージセンサから出力されるＲＧＢ信号ＰｓをＹＵＶ信号Ｖｓに変換する信号処理部１１０と、前記ＹＵＶ信号Ｖｓを、表示画面を区分する矩形形状の複数の分割領域Ｒｉｊ（図２参照）の各々に対応付けて出力する領域分割部１２０と、該領域分割部１２０からの出力信号Ｒｓに基づいて、分割領域毎に画像の特徴、例えば各分割領域における画素の階調レベルのヒストグラムを抽出して、これを特徴情報Ｒｃとして出力する特徴抽出部１３０と、抽出された各分割領域の画像の特徴に基づいて、該分割領域の各画素毎に入出力特性を設定する入出力特性設定部１４０と、設定された入出力特性に基づいて該出力信号の階調レベルを各画素毎に補正する階調補正部１５０とを有している。
【００４８】
この入出力特性設定部１４０は、異なる入出力特性に関する情報Ａｓをガンマ補正曲線として複数格納した特性格納部１４２と、前記各分割領域の画像の特徴に基づいて、前記出力信号の階調レベルを補正する補正強度を各画素毎に演算して、補正強度を示す情報Ｄαを出力する補正強度演算部１４１と、該補正強度演算部で得られた補正強度に基づいて、該特性格納部に格納されている複数のガンマ補正曲線から、該分割領域における各画素に対応したガンマ補正曲線を選択する特性選択部１４３とを備えている。
【００４９】
ここでは、上記階調補正部１５０は、該特性選択部１４３で選択された、各画素に対応するガンマ補正曲線に基づいて、該出力信号における各画素に対応する階調レベルを補正する。また、上記補正強度演算部１４１は、各分割領域の画像特徴に基づいて該各分割領域Ｒｉｊに補正強度αｉｊ（図２参照）を割り当て、該各分割領域の頂点に位置する画素に対応する補正強度を、該各分割領域とこれに隣接する分割領域との間での、割り当てられている補正強度の加重平均により設定する。
【００５０】
例えば、図２に示す分割領域Ｒｉｊの頂点Ｐ１の補正強度αｉｊ１（図３参照）は、分割領域Ｒｉｊ、分割領域Ｒｉｊの上側の分割領域Ｒｉ−１ｊ、分割領域Ｒｉｊの左側の分割領域Ｒｉｊ−１、及び分割領域Ｒｉｊの左上の分割領域の補正強度を加重平均して求められる。分割領域Ｒｉｊのその他の頂点Ｐ２〜Ｐ４の補正強度も、上記分割領域Ｒｉｊの頂点Ｐ１の補正強度と同様に、この分割領域とその周辺の分割領域の補正強度に基づいて求められる。
【００５１】
さらに、上記補正強度演算部１４１は、矩形形状の分割領域を１つの対角線により２つの三角形領域に分離し、各三角形領域の画素に対する補正強度αｘｙを、対応する三角形領域ＡＲｉｊ及びＢＲｉｊの頂点に対応する補正強度αｉｊ１〜αｉｊ４を定数とし、該三角形領域内での画素の位置Ｐ（ｘ，ｙ）を変数とする平面の方程式（２）を用いて算出する。
【００５２】
ａ（ｘ−ｘ０）＋ｂ（ｙ−ｙ０）＋ｃ（ｚ−ｚ０）＝０ ・・・（１）
つまり、三角形領域ＡＲｉｊ内の各画素位置での補正強度αｘｙを求める場合は、上記式（１）に、三角形領域ＡＲｉｊの頂点Ｐ１、Ｐ２、Ｐ４における、ｘｙ平面での位置を示すｘ、ｙ座標と、補正強度を示すｚ軸方向のｚ座標を代入して得られる３つの連立方程式を解いて、係数ａ〜ｃを決定する。なお、ｘ０、ｙ０、ｚ０については、このｘｙｚ座標系の原点の位置に応じて変わる定数である。
【００５３】
上記連立方程式を解くことにより、係数ａ〜ｃを決定した平面の方程式（２）が得られる。
【００５４】
αｘｙ＝ｚ＝Ａ（ｘ−ｘ０）＋Ｂ（ｙ−ｙ０）＋Ｃ ・・・（２）
ここで、αｘｙは、画素位置Ｐ（ｘ，ｙ）の画素での補正強度である（図３（ｃ））。また、方程式（２）における係数Ａ，Ｂ，Ｃは、上記方程式（１）における係数ａ、ｂ、ｃから得られるものである。
【００５５】
次に動作について説明する。
【００５６】
この撮像システム１００では、イメージセンサ１０１から出力されるＲＧＢ信号Ｐｓがダイナミックレンジ調整部１００ａに入力されると、信号処理部１１０にて、ＲＧＢ信号ＰｓがＹＵＶ信号Ｖｓに変換される。このＹＵＶ信号Ｖｓは、領域分割部１２０にて、表示画面を区分する矩形形状の複数の分割領域Ｒｉｊ（図２参照）の各々に対応付けて、各分割領域に対応する信号Ｒｓとして領域特徴抽出部１３０に出力される。
【００５７】
領域特徴抽出部１３０は、該領域分割部１２０からの出力信号Ｒｓに基づいて、分割領域毎に画像の特徴、例えば各分割領域における画素の階調レベルのヒストグラムを抽出して、これを特徴情報Ｒｃとして出力する。入出力特性設定部１４０は、抽出された各分割領域の画像の特徴に基づいて、該分割領域の各画素毎に入出力特性を設定する。階調補正部１５０では、設定された入出力特性に基づいて該出力信号の階調レベルを各画素毎に補正する。
【００５８】
以下、分割領域の各画素毎に入出力特性を設定する動作について具体的に説明する。
【００５９】
入力特性設定部１４０の特性格納部１４２には、異なる入出力特性を示す情報Ａｓとしてガンマ補正曲線が複数格納されている。
【００６０】
補正強度演算部１４１は、各分割領域の画像特徴に基づいて該各分割領域Ｒｉｊ（図２参照）に補正強度αｉｊを割り当てる。さらに、該各分割領域の頂点に位置する画素に対応する補正強度を、該各分割領域とこれに隣接する分割領域との間での、割り当てられている補正強度の加重平均により設定する。
【００６１】
例えば、図２に示す分割領域Ｒｉｊの頂点Ｐ１の補正強度αｉｊ１は、分割領域Ｒｉｊ、分割領域Ｒｉｊの上側の分割領域Ｒｉ−１ｊ、分割領域Ｒｉｊの左側の分割領域Ｒｉｊ−１、及び分割領域Ｒｉｊの左上の分割領域の補正強度を加重平均して求められる。分割領域Ｒｉｊのその他の頂点Ｐ２〜Ｐ４の補正強度も、上記分割領域Ｒｉｊの頂点Ｐ１の補正強度と同様に、この分割領域とその周辺の分割領域の補正強度に基づいて求められる。
【００６２】
さらに、上記補正強度演算部１４１は、矩形形状の分割領域Ｒｉｊ（図３（ａ））を１つの対角線により２つの三角形領域ＡＲｉｊ及びＢＲｉｊ（図３（ｂ））に分離し、各三角形領域の画素に対する補正強度αｘｙを、対応する三角形領域ＡＲｉｊ及びＢＲｉｊの頂点に対応する補正強度αｉｊ１〜αｉｊ４を定数とし、該三角形領域内での画素の位置Ｐ（ｘ，ｙ）を変数とする平面の方程式（２）を用いて算出する。
【００６３】
補正強度演算部１４１で求められた各画素に対応する補正強度αｘｙは、補正強度情報Ｄαとして特性選択部１４３に出力される。
【００６４】
この特性選択部１４３では、補正強度演算部１４１で得られた補正強度αｘｙに基づいて、該特性格納部１４２に格納されている複数のガンマ補正曲線から、該分割領域における各画素に対応したガンマ補正曲線が選択され、このガンマ補正曲線を示す情報Ａｓが階調補正部１５０に出力される。
【００６５】
該階調補正部１５０では、特性選択部１４３から出力されたこのガンマ補正曲線を示す情報Ａｓに基づいて該出力信号の階調レベルが各画素毎に補正される。
【００６６】
このように本実施形態１では、イメージセンサから出力される出力信号のダイナミックレンジを調整するダイナミックレンジ調整部１００ａにおいて、表示画面を分割して得られる複数の分割領域毎に画像の特徴を抽出する特徴抽出部１３０と、抽出された各分割領域の画像の特徴に基づいて、該分割領域の各画素毎に入出力特性を設定する入出力特性設定部１４０と、設定された入出力特性に基づいて該出力信号の階調レベルを各画素毎に補正する階調補正部１５０とを備え、分割領域の頂点の画素の入出力特性を決定するための補正強度を、各分割領域に設定されている補正強度の加重平均により決定するので、表示画面を分割して得られる複数の分割領域の各々の画素に対して、入出力特性（補正強度）を適切に設定することができ、これにより、広ダイナミックレンジの画像での白飛びや黒潰れを回避しつつ、隣接する分割領域の境界で補正強度が不連続になるのを防止することができる。
【００６７】
なお、上記実施形態１では、デジタル値としての１つの補正強度に対して、１つの入出力特性としてのガンマ補正曲線を対応付けているが、補正強度と入出力特性としてのガンマ補正曲線との対応付けは、これに限るものではない。
【００６８】
例えば、補正強度の最小値から最大値までの間に複数の範囲を設定し、補正強度のそれぞれの範囲に対して、１つの入出力特性としてのガンマ補正曲線を対応付けてもよい。
【００６９】
この場合、特性格納部に格納する入出力特性としてのガンマ補正曲線の情報量を削減することができる効果がある。
【００７０】
さらに、上記実施形態１では、特に説明しなかったが、上記実施形態１の撮像システムを撮像部に用いた、例えばデジタルビデオカメラ、デジタルスチルカメラなどのデジタルカメラや、画像入力カメラ、スキャナ、ファクシミリ、カメラ付き携帯電話装置などの、画像入力デバイスを有した電子情報機器について以下簡単に説明する。
（実施形態２）
図４は、本発明の実施形態２として、実施形態１の撮像システムを撮像部に用いた電子情報機器の概略構成例を示すブロック図である。
【００７１】
図４に示す本発明の実施形態２による電子情報機器９０は、本発明の上記実施形態１の撮像システムを、被写体の撮影を行う撮像部９１として備えたものであり、このような撮像部による撮影により得られた高品位な画像データを記録用に所定の信号処理した後にデータ記録する記録メディアなどのメモリ部９２と、この画像データを表示用に所定の信号処理した後に液晶表示画面などの表示画面上に表示する液晶表示装置などの表示部９３と、この画像データを通信用に所定の信号処理をした後に通信処理する送受信装置などの通信部９４と、この画像データを印刷（印字）して出力（プリントアウト）する画像出力部９５とのうちの少なくともいずれかを有している。
【００７２】
以上のように、本発明の好ましい実施形態を用いて本発明を例示してきたが、本発明は、この実施形態に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許、特許出願および文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。
【産業上の利用可能性】
【００７３】
本発明は、撮像システム、階調補正方法、及び電子情報機器の分野において、表示画面を分割して得られる複数の分割領域の各々に対して、入出力特性（補正強度）を適切に設定することができ、これにより、広ダイナミックレンジの画像での白飛びや黒潰れを回避しつつ、隣接する分割領域の境界で補正強度が不連続になるのを防止することができる撮像システム及び階調補正方法、並びにこのような撮像システムを搭載した電子情報機器を得ることができる。
【符号の説明】
【００７４】
９０ 電子情報機器
９１ 撮像部
９２ メモリ部
９３ 表示手段
９４ 通信手段
９５ 画像出力手段
１００ 撮像システム
１００ａ ダイナミックレンジ調整部
１１０ 信号処理部
１２０ 領域分割部
１３０ 領域特徴抽出部
１４０ 入出力特性設定部
１４１ 補正強度演算部
１４２ 特性格納部
１４３ 特性選択部
１５０ 階調補正部
αｉｊ 補正強度
ＡＲｉｊ、ＢＲｉｊ 三角形領域
Ｆ 表示画面
Ｐ１〜Ｐ４ 画素位置
Ｒｉｊ 分割領域
【特許請求の範囲】
【請求項１】
被写体の撮像を行うイメージセンサと、該イメージセンサの出力信号のダイナミックレンジを調整するダイナミックレンジ調整部とを有する撮像システムであって、
該ダイナミックレンジ調整部は、
表示画面を分割して得られる複数の分割領域毎に画像の特徴を抽出する特徴抽出部と、
抽出された各分割領域の画像の特徴に基づいて、該分割領域の各画素毎に入出力特性を設定する入出力特性設定部と、
設定された入出力特性に基づいて該出力信号の階調レベルを各画素毎に補正する階調補正部とを備えた、撮像システム。
【請求項２】
請求項１に記載の撮像システムにおいて、
前記入出力特性設定部は、
異なる入出力特性に関する情報をガンマ補正曲線として複数格納した特性格納部と、
前記各分割領域の画像の特徴に基づいて、前記出力信号の階調レベルを補正する補正強度を、各画素毎に演算する補正強度演算部と、
該補正強度演算部で得られた補正強度に基づいて、該特性格納部に格納されている複数のガンマ補正曲線から、該分割領域における各画素に対応したガンマ補正曲線を選択する特性選択部とを備え、
前記階調補正部は、該特性選択部で選択された、各画素に対応するガンマ補正曲線に基づいて、該出力信号における各画素に対応する階調レベルを補正する、撮像システム。
【請求項３】
請求項１に記載の撮像システムにおいて、
前記分割領域は矩形形状を有し、
前記補正強度演算部は、前記各分割領域の画像特徴に基づいて該各分割領域に補正強度を割り当て、該各分割領域の頂点に位置する画素に対応する補正強度を、該各分割領域とこれに隣接する分割領域との間での、割り当てられている補正強度の加重平均により設定する、撮像システム。
【請求項４】
請求項３に記載の撮像システムにおいて、
前記補正強度演算部は、
前記矩形形状の分割領域を１つの対角線により２つの三角形領域に分離し、
各三角形領域の画素に対する補正強度を、対応する三角形領域の頂点に対応する補正強度を定数とし、該三角形領域内での画素の位置を変数とする方程式を用いて算出する、撮像システム。
【請求項５】
請求項２に記載の撮像システムにおいて、
前記特性格納部に格納されている複数のガンマ補正曲線の各々は、前記補正強度のレンジに対応付けられており、
前記特性選択部では、対象画素に対応する補正強度が、該ガンマ補正曲線に割当てられている補正強度のレンジに含まれるときに、このガンマ補正曲線を該対象画素に対するガンマ補正曲線として選択する、撮像システム。
【請求項６】
請求項１に記載の撮像システムにおいて、
前記イメージセンサから出力されるＲＧＢ信号をＹＵＶ信号に変換する信号処理部を有する、撮像システム。
【請求項７】
請求項６に記載の撮像システムにおいて、
前記ＹＵＶ信号を、表示画面を区分する複数の分割領域の各々に対応付けて前記特徴抽出部に出力する領域分割部を有する、撮像システム。
【請求項８】
請求項１に記載の撮像システムにおいて、
前記イメージセンサは、ＣＭＯＳイメージセンサである、撮像システム。
【請求項９】
請求項１に記載の撮像システムにおいて、
前記イメージセンサは、ＣＣＤイメージセンサである、撮像システム。
【請求項１０】
被写体の撮像を行うイメージセンサの出力信号を階調補正する方法であって、
表示画面を分割して得られる複数の分割領域毎に画像の特徴を抽出するステップと、
抽出された各分割領域の画像の特徴に基づいて、該分割領域の各画素毎に入出力特性を設定するステップと、
設定された入出力特性に基づいて該出力信号の階調レベルを各画素毎に補正するステップとを含む、階調補正方法。
【請求項１１】
被写体の撮像を行う撮像部を備えた電子情報機器であって、
該撮像部は、請求項１に記載の撮像システムを含む電子情報機器。
【請求項１】
被写体の撮像を行うイメージセンサと、該イメージセンサの出力信号のダイナミックレンジを調整するダイナミックレンジ調整部とを有する撮像システムであって、
該ダイナミックレンジ調整部は、
表示画面を分割して得られる複数の分割領域毎に画像の特徴を抽出する特徴抽出部と、
抽出された各分割領域の画像の特徴に基づいて、該分割領域の各画素毎に入出力特性を設定する入出力特性設定部と、
設定された入出力特性に基づいて該出力信号の階調レベルを各画素毎に補正する階調補正部とを備えた、撮像システム。
【請求項２】
請求項１に記載の撮像システムにおいて、
前記入出力特性設定部は、
異なる入出力特性に関する情報をガンマ補正曲線として複数格納した特性格納部と、
前記各分割領域の画像の特徴に基づいて、前記出力信号の階調レベルを補正する補正強度を、各画素毎に演算する補正強度演算部と、
該補正強度演算部で得られた補正強度に基づいて、該特性格納部に格納されている複数のガンマ補正曲線から、該分割領域における各画素に対応したガンマ補正曲線を選択する特性選択部とを備え、
前記階調補正部は、該特性選択部で選択された、各画素に対応するガンマ補正曲線に基づいて、該出力信号における各画素に対応する階調レベルを補正する、撮像システム。
【請求項３】
請求項１に記載の撮像システムにおいて、
前記分割領域は矩形形状を有し、
前記補正強度演算部は、前記各分割領域の画像特徴に基づいて該各分割領域に補正強度を割り当て、該各分割領域の頂点に位置する画素に対応する補正強度を、該各分割領域とこれに隣接する分割領域との間での、割り当てられている補正強度の加重平均により設定する、撮像システム。
【請求項４】
請求項３に記載の撮像システムにおいて、
前記補正強度演算部は、
前記矩形形状の分割領域を１つの対角線により２つの三角形領域に分離し、
各三角形領域の画素に対する補正強度を、対応する三角形領域の頂点に対応する補正強度を定数とし、該三角形領域内での画素の位置を変数とする方程式を用いて算出する、撮像システム。
【請求項５】
請求項２に記載の撮像システムにおいて、
前記特性格納部に格納されている複数のガンマ補正曲線の各々は、前記補正強度のレンジに対応付けられており、
前記特性選択部では、対象画素に対応する補正強度が、該ガンマ補正曲線に割当てられている補正強度のレンジに含まれるときに、このガンマ補正曲線を該対象画素に対するガンマ補正曲線として選択する、撮像システム。
【請求項６】
請求項１に記載の撮像システムにおいて、
前記イメージセンサから出力されるＲＧＢ信号をＹＵＶ信号に変換する信号処理部を有する、撮像システム。
【請求項７】
請求項６に記載の撮像システムにおいて、
前記ＹＵＶ信号を、表示画面を区分する複数の分割領域の各々に対応付けて前記特徴抽出部に出力する領域分割部を有する、撮像システム。
【請求項８】
請求項１に記載の撮像システムにおいて、
前記イメージセンサは、ＣＭＯＳイメージセンサである、撮像システム。
【請求項９】
請求項１に記載の撮像システムにおいて、
前記イメージセンサは、ＣＣＤイメージセンサである、撮像システム。
【請求項１０】
被写体の撮像を行うイメージセンサの出力信号を階調補正する方法であって、
表示画面を分割して得られる複数の分割領域毎に画像の特徴を抽出するステップと、
抽出された各分割領域の画像の特徴に基づいて、該分割領域の各画素毎に入出力特性を設定するステップと、
設定された入出力特性に基づいて該出力信号の階調レベルを各画素毎に補正するステップとを含む、階調補正方法。
【請求項１１】
被写体の撮像を行う撮像部を備えた電子情報機器であって、
該撮像部は、請求項１に記載の撮像システムを含む電子情報機器。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−２２２４１２（Ｐ２０１２−２２２４１２Ａ）
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願番号】特願２０１１−８３１９４（Ｐ２０１１−８３１９４）
【出願日】平成２３年４月４日（２０１１．４．４）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願日】平成２３年４月４日（２０１１．４．４）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]