画像処理装置およびプログラム
【課題】Linear-Log特性を持つ複数のセンサ出力を受けて画像処理を行う画像処理装置において、複数センサ間で最適な変曲点を指定する技術を提供する。
【解決手段】画像処理装置は、撮像部２から出力される複数の画像信号のそれぞれの特徴量を抽出する特徴量抽出部３６３と、当該複数の画像信号の特徴量に基づいて、所定の条件を満足する共通変曲点を決定し、当該複数の撮像素子を制御することにより、当該複数の撮像素子のそれぞれの当該変曲点を当該共通変曲点に統一する変曲点制御部３６６とを備える。
【解決手段】画像処理装置は、撮像部２から出力される複数の画像信号のそれぞれの特徴量を抽出する特徴量抽出部３６３と、当該複数の画像信号の特徴量に基づいて、所定の条件を満足する共通変曲点を決定し、当該複数の撮像素子を制御することにより、当該複数の撮像素子のそれぞれの当該変曲点を当該共通変曲点に統一する変曲点制御部３６６とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮像素子を用いて撮像を行う画像処理技術に関する。
【背景技術】
【０００２】
近年、ステレオカメラなどの撮像素子において、ダイナミックレンジを広くすることを目指して、入射光量に対して線形的に変換した電気信号と、入射光量に対して対数的に変換した電気信号の出力が可能な撮像素子（以下、「Linear-Log特性を持つセンサ」と称する）が提案されてきている。そのような撮像素子では、入射光量と電気的出力信号との関係を示す特性線上の特定の点（変曲点）を境界として、線形特性（Linear特性）と対数特性（Log特性）とが自動的に切り替わる。
【０００３】
この種の撮像素子を利用した技術として、例えば、光の強度に応じて出力が線形特性と対数特性とで切り替わるイメージセンサと投光器とを備える距離計測システムが提案されている（特許文献１）。他にも、露光処理用に求めた評価輝度値と目標輝度値との差に応じて露光条件を変える撮像装置（特許文献２）、画像の輝度分布に応じて変曲点を変動させる撮像装置（特許文献３）などが提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−４６００４号公報
【特許文献２】特開２００７−３１２１１２号公報
【特許文献３】特開２００６−３３３１７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
このようなLinear-Log特性を持つセンサ出力において、Linear特性では、細かい輝度変化には敏感だがダイナミックレンジが狭くなる特徴を持つのに対し、Log特性を用いた場合、ダイナミックレンジは拡大するが細かい変化は潰れてしまうという特徴を持つ。このため、環境に適した変曲点を設定することが撮影において必要となる。
【０００６】
しかしながら、従来のLinear-Log特性を持つセンサ出力では、ステレオ画像撮影のように同一の被写体（撮影の対象体）から得た複数画像を対象にした画像処理で、画像ごとに大きく変曲点が変わると見た目に違和感があり、処理的にも各画像で全く相関のない別の画像を処理してしまうような問題がある。加えて、変曲点付近はセンサ自体の誤差や僅かな光量の変化で出力特性が大きく変わってしまい不安定でもある。Linear特性の方が細かい輝度変化にも敏感なため、本来は、可能な限りLinear特性を多く採用したいが、実際にはどのような状況でも最適となるような変曲点の決定方法は存在せず、状況に応じてフレキシブルに変曲点を設定することが現実的である。
【０００７】
本発明は、このような事情に鑑みてなされたものであり、Linear-Log特性を持つ複数の撮像素子を用いて得た複数の画像信号の画像処理に際して、必要な画像情報を十分に取り込みつつ、複数の画像信号を統一的に扱うことを可能とする技術を提供することを第１の目的とする。
【０００８】
この発明の第２目的は、上記複数の画像信号に基づく画像表示を行う場合に、視覚的な違和感を軽減することである。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、請求項１の発明は、複数の撮像素子を備えた撮像手段から出力される複数の画像信号を処理するとともに、前記撮像手段の制御を行う画像処理装置であって、前記複数の撮像素子のそれぞれは、可変に設定可能な変曲点を境界として線形変換特性と対数変換特性との間で切り替る光電変換特性を有しているとともに、初期状態においては相互に異なった変曲点が前記複数の撮像素子に設定されており、前記画像処理装置が、前記撮像手段から出力される前記複数の画像信号のそれぞれの特徴量を抽出する特徴量抽出手段と、前記複数の画像信号の特徴量に基づいて、所定の条件を満足する共通変曲点を決定する変曲点決定手段と、前記複数の撮像素子を制御することにより、前記複数の撮像素子のそれぞれの前記変曲点を前記共通変曲点に統一する変曲点制御手段とを備えることを特徴とする。
【００１０】
また、請求項２の発明は、請求項１に記載の画像処理装置であって、前記特徴量は画像信号の輝度分布であり、各画像信号の輝度成分の分布範囲と各撮像素子の光電変換特性のダイナミックレンジとを整合させるように前記共通変曲点を決定することを特徴とする。
【００１１】
また、請求項３の発明は、請求項１に記載の画像処理装置であって、前記特徴量は画像信号の輝度分布であり、変曲点に相当する入力があった場合に出力される輝度値が、前記輝度分布のピークと重ならない様に前記共通変曲点を決定することを特徴とする。
【００１２】
また、請求項４の発明は、請求項１に記載の画像処理装置であって、前記特徴量は画像信号の空間周波数情報であり、高周波成分が相対的に多い画像信号を出力している撮像素子の変曲点を前記共通変曲点として決定することを特徴とする。
【００１３】
また、請求項５の発明は、請求項１に記載の画像処理装置であって、前記特徴量は物標検出結果であり、前記複数の画像信号のうち所定の良否判定基準によって物標検出結果がより良好と判断される変曲点を用いて前記共通変曲点を決定することを特徴とする。
【００１４】
また、請求項６の発明は、請求項１に記載の画像処理装置であって、前記変曲点決定手段は、前記複数の撮像素子にその時点で個別に設定されているそれぞれの変曲点の中から、前記特徴量が所定の基準を満たしている１の変曲点を選択して前記共通変曲点とすることを特徴とする。
【００１５】
また、請求項７の発明は、請求項１に記載の画像処理装置であって、前記変曲点決定手段は、前記複数の撮像素子にその時点で個別に設定されているそれぞれの変曲点の補間点を前記共通変曲点とすることを特徴とする。
【００１６】
また、請求項８の発明は、請求項１ないし請求項７のいずれかに記載の画像処理装置であって、前記複数の画像信号で表現されるそれぞれの画像領域の一部に、前記特徴量抽出手段での特徴量抽出解析に用いる解析エリアを設定する解析エリア設定手段、をさらに備えることを特徴とする。
【００１７】
また、請求項９の発明は、請求項１ないし請求項８のいずれかに記載の画像処理装置であって、前記複数の画像信号で表現されるそれぞれの画像領域の一部に、前記共通変曲点の設定の対象となる対象エリアを決定する共通変曲エリア設定手段をさらに備えることを特徴とする。
【００１８】
また、請求項１０の発明は、請求項１ないし請求項９のいずれかに記載の画像処理装置であって、前記特徴量に関する所定の判定基準に基づいて、前記複数の撮像素子の変曲点の統一の要否を判定し、前記共通変曲点の決定のための処理タイミングを決定するタイミング制御手段をさらに備えることを特徴とする。
【００１９】
また、請求項１１の発明は、請求項１０に記載の画像処理装置であって、前記タイミング制御手段は、前記所定の判定基準による判定を繰り返して行い、前記特徴量が前記所定の判定基準に合致したときに、前記共通変曲点の決定の処理を実行することを特徴とする。
【００２０】
また、請求項１２の発明は、請求項１ないし請求項１１のいずれかに記載の画像処理装置であって、前記撮像手段は多視点カメラであり、前記複数の画像信号は前記多視点カメラのそれぞれの出力画像信号であることを特徴とする。
【００２１】
また、請求項１３の発明は、請求項１ないし請求項１１のいずれかに記載の画像処理装置であって、前記撮像部はステレオカメラであり、前記複数の画像信号は前記ステレオカメラのそれぞれの出力画像信号であることを特徴とする。
【００２２】
また、請求項１４の発明は、コンピュータにインストールされて実行されることによって、前記コンピュータを、請求項１ないし請求項１３のいずれかに記載の画像処理装置として機能させることを特徴とするプログラムである。
【発明の効果】
【００２３】
請求項１ないし請求項１４の発明によれば、複数の画像信号の状況を総合的に考慮しつつ、光電変換特性の変曲点を共通化する。このため、複数の撮像素子の光電変換特性が適切な特性に統一されて、必要な画像情報を十分に取り込みつつ、複数の画像信号を統一的に扱うことが可能となる。
【００２４】
また、複数の画像を表示させる場合には、それらの画像の間の視覚的な違和感が軽減される。
【００２５】
請求項２の発明によれば、各画像信号の輝度成分の分布範囲と光電変換特性のダイナミックレンジとを整合させるように共通変曲点を決定することで、画素の飽和や潰れへの対処を適切に行うことができる。
【００２６】
請求項３の発明によれば、変曲点に相当する入力があった場合に出力される輝度値が、輝度分布のピークと重ならない様に共通変曲点を決定することで、パターンが潰れるなどした画像への対処を適切に行うことができる。
【００２７】
請求項４の発明によれば、高周波成分が相対的に多い画像信号を出力している撮像素子にその時点で設定されている変曲点を避けて共通変曲点を決定することで、各撮像素子の変曲点を、精細な撮像が可能な共通変曲点に統一できる。
【００２８】
請求項５の発明によれば、物標検出結果がより良好と判断される変曲点を用いて共通変曲点を決定することで、物標検出処理に適した共通変曲点を各撮像素子に設定可能である。
【００２９】
請求項６の発明によれば、各撮像素子にその時点で設定されている変曲点の中からの選択であるため、共通変曲点の決定が迅速となる。
【００３０】
請求項７の発明によれば、それぞれの変曲点の補間点を共通変曲点とすることにより、極端に片寄ることがない共通変曲点の決定が迅速となる。
【００３１】
請求項８の発明によれば、共通変曲点の決定の基礎となる画像エリアを限定することで、注目すべき撮像対象に特化した適切な共通変曲点を決定できる。
【００３２】
請求項９の発明によれば、共通変曲点を設定する空間領域を限定することで、不要な処理を減らすことができる。
【００３３】
請求項１０の発明によれば、共通変曲点の設定が必要であるときだけ共通変曲点の決定処理を行うので、無用のデータ処理を減らすことが出来る。
【００３４】
請求項１１の発明によれば、変曲点の統一化が必要になったときにはそのタイミングで共通変曲点の決定処理を行うことになるので、必要な時期に共通変曲点の設定を行うことが可能になる。
【００３５】
請求項１２の発明によれば、多視点カメラに適用することで、広範な領域において画像間で視覚的な違和感の少ない適切な画像を得ることができる。
【００３６】
請求項１３の発明によれば、ステレオカメラに適用することで、基準画像と参照画像との差を減らし、正確な距離の測定が可能となる。
【図面の簡単な説明】
【００３７】
【図１】本発明の一実施形態に係る画像処理システムの概略構成を示す図である。
【図２】Linear-Log特性を例示する図である。
【図３】Linear特性とLog特性とのダイナミックレンジの違いを説明する図である。
【図４】変曲点の変更によって出力特性が変化することを説明する図である。
【図５】変曲点の変更によって出力画像が変化することを説明する図である。
【図６】一実施形態に係る演算制御部の機能的な構成例を示す図である。
【図７】一実施形態に係る画像処理装置の基本動作を示すフローチャートである。
【図８】輝度分布による変曲点補正方法を説明するための図である。
【図９】輝度分布による変曲点補正方法を説明するための図である。
【図１０】空間周波数分布による変曲点補正方法を説明するための図である。
【図１１】物標検出結果による変曲点補正方法を説明するための図である。
【図１２】解析エリアの設定例を示す図である。
【図１３】処理対象エリアの設定例を示す図である。
【発明を実施するための形態】
【００３８】
＜１．画像処理システムの概要＞
図１は、本発明の一実施形態に係る画像処理システムの概略構成を示す図である。画像処理システム１は、多視点カメラシステムとして構成されており、撮像部２として２眼の多視点カメラ２０を備えるほか、多視点カメラ２０に対してデータの送受信が可能に接続される画像処理装置３を備える。
【００３９】
多視点カメラ２０は、撮像素子２１ａ、２２ａをそれぞれ有する２つの撮像系２１，２２から構成されている。撮像系２１，２２は、カメラ正面の被写体（撮像の対象体）ＯＢを、同じタイミングで異なる視点から撮像するように構成される。撮像系２１，２２による同じタイミングの撮像によって得られる２つの画像信号（以下「画像」と略称する）は、データ線ＣＢを介して画像処理装置３に送信される。
【００４０】
以下では、撮像系２１の撮像によって取得される画像を「第１撮像画像」Ｇ１と称し、撮像系２２の撮像によって取得される画像を「第２撮像画像」Ｇ２と称する。つまり、第１および第２撮像画像Ｇ１，Ｇ２は、同一の被写体ＯＢが異なる視点からそれぞれ捉えられた画像の組を成す。
【００４１】
ここでは、説明を簡素化するために、多視点カメラ２０の収差は良好に補正されているとする。また、撮像系２１，２２は、略平行（好ましくは完全に平行）に設定され、ステレオカメラとして用いても良い。つまり、ステレオカメラとして用いる場合、撮像系２１，２２は所定方向に沿って離隔配置され、撮像系２１，２２の光軸が略平行（好ましくは完全に平行）に設定される状態を前提にする。また、何れのカメラにおいても、撮像系２１，２２の撮像素子２１ａ、２２ａは、Linear-Log特性を持つ。
【００４２】
画像処理装置３は、例えばパーソナルコンピュータ（パソコン）のような情報処理装置で構成され、マウスやキーボード等を含む操作部３１と、液晶ディスプレイ等で構成されるディスプレイ３２と、多視点カメラ２０からのデータを受信するインターフェース(Ｉ／Ｆ)３３とを備える。また、画像処理装置３は、記憶装置３４と演算制御部３６とを有する。
【００４３】
記憶装置３４は、例えばハードディスク等で構成され、多視点カメラ２の撮像によって得られる第１および第２撮像画像Ｇ１，Ｇ２を記憶する。また、記憶装置３４には、後述される変曲点制御を行うためのプログラムＰＧ等が格納される。
【００４４】
入出力部３５は、例えば可搬性ディスクドライブを備えて構成され、光ディスク等の可搬性記憶媒体をセットして、演算制御部３６との間でデータの授受を行う。
【００４５】
演算制御部３６は、プロセッサとして働くＣＰＵ３６ａと、情報を一時的に記憶するメモリ３６ｂとを有し、画像処理装置３の各部を統括的に制御する。演算制御部３６では、記憶部３４内のプログラムＰＧが読み込まれて実行されることで、各種機能や各種情報処理等が実現される。なお、メモリ３６ｂには、可搬性記憶媒体に記憶されているプログラムデータを、入出力部３５を介して格納させることができる。この格納されたプログラムは、画像処理装置３の動作に適宜反映可能である。
【００４６】
演算制御部３６は、後述する変曲点制御動作によって得られる情報を基に、撮像素子２１ａ、２２ａのそれぞれのLinear-Log特性に共通に設定する変曲点を算出する。そして、ディスプレイ３２では、演算制御部３６で算出された変曲点に基づいて、被写体ＯＢの画像を可視的に出力する。
【００４７】
＜１−１．Linear-Log特性の一般的性質と前提事情＞
この実施形態における撮像素子２１ａ、２２ａの変曲点制御の詳細を説明する準備として、この実施形態の前提となるLinear-Log特性の一般的性質と、それに伴って生じる事情、すなわち従来技術で生じていた事情を説明しておく。
【００４８】
Linear-Log特性を持つ撮像素子を以下では「L-L特性センサ」と略称することにすると、L-L特性センサでは、撮像素子の画素に相当する各フォトダイオードで発生した光電流を、ＭＯＳＦＥＴを通して積分回路に与え出力信号を得ている。低照度時には線形変換特性（Linear特性）となり、フォトダイオードで発生した光電流の時間積分値（入射光量）に比例する出力信号が得られ、高照度時には対数変換特性（Log特性）となり、フォトダイオードで発生した光電流の時間積分値（入射光量）に対数的に依存する出力電圧が得られる。それらの境界（臨界点）としての変曲点は、非撮像時のＭＯＳＦＥＴのゲート電圧と、撮像時のＭＯＳＦＥＴのゲート電圧との差を変更することによって移動させることができる。変曲点の制御信号は、このようなゲート電圧差を可変に設定する信号である。
【００４９】
次に、このLinear-Log特性および変曲点について図２から図４を参照して具体的に説明する。なお、以下の図中のLog特性に関しては、本来は上に凸の対数曲線であるが、簡略化のため直線で示している。図２は、L-L特性センサの入出力特性を例示する図である。L-L特性センサでは、図２のように入射光量が特定の閾値α以下の場合、輝度に相当する出力は入力をLinear変換したものに相当し、入射光量が閾値α以上の場合、入力をLog変換して出力する。したがって、図２においては、入射光量が閾値αに相当する点（入射光量＝α）、すなわち、Linear特性とLog特性との境界点が変曲点ＣＰとなる。
【００５０】
図３は、Linear特性とLog特性とのダイナミックレンジの違いを説明する図である。図３に示すように、Linear特性での入力上限（出力限界ＭＯでの入射光量）は値βであるのに対し、Log特性領域での入力上限は値γにまで達し、L-L特性センサでは、Linear特性だけを固定的に持つ一般的なセンサに比べ、ダイナミックレンジを広くすることが可能となる。
【００５１】
また、L-L特性センサは入射光量が閾値αよりも小さい領域においてはLinear特性を有するため、低輝度領域において一般的なセンサと同様の画像を出力することが出来る。
【００５２】
その一方で、L-L特性センサから出力される画像の画質は、変曲点ＣＰの設定位置に依存して大きく変化するという特質がある。
【００５３】
図４は、変曲点ＣＰの位置を変更することで出力特性が変化することを説明する図であり、図５は、図４のように変曲点ＣＰの位置を変更することで出力画像が変化することを説明する図である。
【００５４】
ステレオカメラなどに使用される２つのL-L特性センサ（実施形態の撮像素子２１ａ、２２ａに相当するセンサ）のうち、第１センサの変曲点ＣＰ１が、図４（a）のように出力限界ＭＯの近傍にあってLinear特性範囲がほぼ最大化されており、第２センサの変曲点ＣＰ２は、図４（b）のようにかなり低い位置に存在する場合を考える。
【００５５】
このとき、たとえば比較的暗い光環境での撮像のように、各画素での入射光量が少ない場合には、第１センサも第２センサもLinear特性での出力となる。このため、図５（a）で示されるように、出力画像である第１および第２撮像画像Ｇ１，Ｇ２は、Linear特性が最大限活かされた高精度な画像が得られる。
【００５６】
ところが、変曲点ＣＰ１〜ＣＰ２の中間に相当する光環境で撮像をしたような場合には、第１センサの出力はLinear特性領域にあり、第２センサの出力はLog特性領域にあるため、それらの間に不整合が生じてしまい、図５（b）で示されるように、一方のセンサから得た画像と他方のセンサから得た画像との間の画質にかなりの差が生じてしまう。
【００５７】
また、変曲点ＣＰ２をかなり超えるような明るい光環境で撮像したような場合には、いずれのセンサもLog特性領域となるが、図４から理解できるように、双方の対数曲線の高さは同じではない（同じ入射光量に対して図４（b）の方が、出力値が小さい）。したがって、同じ入射光量に対する出力値は図４（a）と図４（b）との場合で相互に異なることになり、やはり、双方の画像の画質に違いが生じる。
【００５８】
このように変曲点ＣＰ１、ＣＰ２がL-L特性センサごとに異なるという状況は、各カメラでの変曲点制御が互いに独立していることに起因して生じる。すなわち、従来技術では、各カメラでの変曲点制御を個別に行うような構成とされていたために、それぞれのカメラに別の変曲点が設定されてしまうことになる。そのため、全く特性の異なる画像が得られる可能性があるために画像を視覚的に比較した際の違和感が大きく、また物体検出や画像間での対応点探索の様な画像処理においても全く条件が違う画像を処理することになってしまう。
【００５９】
このような背景の下、本発明では、複数のL-L特性センサの変曲点ＣＰの位置を共通化するように、画像処理装置を構成する。
【００６０】
＜２．画像処理システムの機能構成＞
本発明の実施形態のシステム１の説明に戻る。図６は、変曲点制御動作を実行するために演算制御部３６で実現される機能的な構成を示す図である。なお、ここでは、演算制御部３６の機能的な構成が、事前にインストールされているプログラムＰＧの実行によって実現されるものとして説明するが、専用のハードウエア構成で実現されても良い。
【００６１】
図２で示されるように、撮像部２からデータを受信して、演算制御部３６は、機能的な構成として、画像処理部３６１、解析エリア設定部３６２、特徴量抽出部３６３、タイミング制御部３６４、共通変曲エリア設定部３６５、および変曲点制御部３６６を有する。以降、各手段について図１および図６を参照して概略を説明する。
【００６２】
＜２−１．撮像部２＞
撮像部２（多視点カメラ２０）は、被写体ＯＢを複数（ここでは２つ）の撮像素子２１ａ、２２ａで撮像し、画像処理装置３０に画像信号を送信する役割を持つ。撮像素子２１ａ、２２ａはLinear-Log特性を持つが、撮像動作を開始した初期状態においては、撮像素子２１ａ、２２ａのLinear-Log特性の変曲点は一致していないものとする。
【００６３】
＜２−２．画像処理部３６１＞
画像処理部３６１は、第１および第２撮像画像Ｇ１，Ｇ２を用いて画像処理を行う。各画像での物体の検出、多視点カメラ２０間で画像の結合や同一物体の同定、ディスプレイ３２への表示制御等を行う。
【００６４】
＜２−３．解析エリア設定部３６２＞
解析エリア設定部３６２は、撮像部２である多視点カメラ２０により取得された第１および第２撮像画像Ｇ１，Ｇ２を入力する。解析エリア設定部３６２では、入力された画像の空間範囲の一部を、解析エリアとして設定する。この解析エリアは、次段の特徴量抽出部３６３で特徴量抽出を行うエリアとなる。
【００６５】
解析エリアの設定方法として最も単純な方法としては、利用者が操作部３１を用いてマニュアル操作で指定する方法がある。例えば、画像中で特定範囲だけが重要であるとあらかじめわかっている場合にはこのマニュアル指定は有効である。他の設定方法としては、物体検出処理、エッジ検出および対応点探索等の画像処理の結果を受けて、特徴的な部位に設定する方法が挙げられる。その際、画像処理部３６１から処理結果を受け取ることも可能である。たとえば、図１２に例示するように、人物と背景とからなる画像の場合に、人物が写っている空間範囲を解析エリアＲ１，Ｒ２とすることができる。この解析エリアＲ１，Ｒ２は共通のサイズおよび位置を有するが、第１および第２撮像画像Ｇ１，Ｇ２において互いに異なる位置あるいは互いに異なるサイズに設定されていてもよい。解析エリアＲ１，Ｒ２は、第１および第２撮像画像Ｇ１，Ｇ２の全域であってもよいが、このように一部とすることにより、データ処理時間が短縮化されるほか、重要な空間部分の状況を、共通変曲点の決定に強く反映させることが可能となる。
【００６６】
＜２−４．特徴量抽出部３６３＞
特徴量抽出部３６３は、解析エリア設定部３６２が設定した、第１および第２撮像画像Ｇ１，Ｇ２内の解析エリアＲ１，Ｒ２において、画像の特徴量ＣＨＡ１，ＣＨＡ２を抽出する。この特徴量ＣＨＡ１，ＣＨＡ２は、次段のタイミング制御部３６４〜変曲点制御部３６６で用いられる。
【００６７】
特徴量として典型的なものとしては、輝度（最大輝度、最低輝度、平均輝度、ヒストグラム等）がある。それ以外の特徴量としては、画像の空間周波数成分、エッジ量を用いた物標検出結果（検出の信頼度、検出数等）等がある。その際、画像処理部３６１から処理結果を受け取ることも可能である。
【００６８】
＜２−５．タイミング制御部３６４＞
タイミング制御部３６４は、次段の変曲点制御部３６６の動作タイミングを制御する。変曲点制御タイミングとしての最も簡単なものとしては、カメラのフレームや動作時間で指定する等、固定値で与える方法が挙げられる。本実施形態においては、特徴量抽出部３６３が設定した特徴量をベースにタイミング制御を行う。
【００６９】
具体的には例えば、特徴量ＣＨＡ１，ＣＨＡ２の差を所定の閾値と比較し、差が閾値以下だった場合、変曲点の差は少なく、変曲点の相互調整（具体的には変曲点の共通化）を行う必要はない。したがって、差が閾値を超えたタイミングで変曲点の共通化のための後記の処理を行う。
【００７０】
また、別の方法として、別の装置等から情報を得て判定する方法が考えられる。例えば、温度や周辺の照度等の環境情報を入力し、それが所定の条件を満足したときに（換言すれば所定の条件を満足したタイミングで）変曲点の共通化処理を開始する。
【００７１】
＜２−６．共通変曲点エリア設定部３６５＞
共通変曲エリア設定部３６５は、第１および第２撮像画像Ｇ１，Ｇ２から変曲点共通化処理を行う画像エリアを設定する。すなわち、変曲点の共通化は、撮像素子２１ａ、２２ａから得た第１および第２撮像画像Ｇ１，Ｇ２の全画素を対象とすることもできるが、一部の空間領域に制限することもできる。たとえば、第１および第２撮像画像Ｇ１，Ｇ２に人物と背景が含まれており、人物については双方の画像を組み合わせて精密な画像分析をしたいために輝度も同程度としたいが、背景については、別の制御機構や処理が入っていた場合、干渉を避けるために背景では変曲点は変更しないことが好ましい。
【００７２】
このときには、人物が存在する空間範囲の画像の変曲点は撮像素子２１ａ、２２ａの双方に共通であることが好ましいが、背景については、撮像素子２１ａ、２２ａに個別に初期設定された変曲点のままにしておくことが好ましい。このような事情を考慮して、図１３に例示するように、変曲点共通化処理を行う画像エリア（処理対象エリア）Ｂ０を第１および第２撮像画像Ｇ１，Ｇ２の一部に設定する。処理対象エリアＢ０のサイズおよび位置は、第１および第２撮像画像Ｇ１，Ｇ２において同一である。
【００７３】
処理対象エリアＢ０の設定方法として典型的な例としては、固定値で指定する方法がある。例えば、重要な被写体が存在する可能性が高い中央エリア、多視点カメラの場合の画像端などの別のカメラの画像と同じ被写体が写っている可能性が高い画像エリア、監視カメラの場合の監視重要エリアなどを処理対象エリアＢ０として設定する等が可能である。処理対象エリアＢ０として画像全体を指定することもできる。
【００７４】
また、解析エリア設定部３６２で決定された解析エリアＲ１、Ｒ２と同じ場所に処理対象エリアＢ０を設定するほか、処理対象エリアＢ０の動的な設定方法として、画像処理部３６１から画像処理結果（たとえば特定の対象体の検出処理結果）を受け取って、当該対象体を含むエリアを処理対象エリアＢ０として設定することもできる。
【００７５】
＜２−７．変曲点制御部３６６＞
変曲点制御部３６６は、変曲エリア設定部３６５が設定した処理対象エリアについて、撮像素子２１ａ、２２ａのLinear-Log特性に対して共通の変曲点を設定する。
【００７６】
具体的には、特徴量ＣＨＡ１，ＣＨＡ２を相互に比較し、所定の基準によって選択した一方の変曲点を高越変曲点とする方法がある。例えば、特徴量が輝度分布であった場合、より広範囲に輝度が分布しており、また画素飽和や画素潰れが少ない変曲点を共通変曲点とする場合などがそれにあたる。詳細は後述する。
【００７７】
決定された共通変曲点に対応する電位差を、撮像素子２１ａ、２２ａにおいて処理対象エリアに相当する各画素についての、非撮像時のＭＯＳＦＥＴのゲート電圧と、撮像時のＭＯＳＦＥＴのゲート電圧との差として付与することによって、それらの各画素についてのLinear特性とLog特性との境界を統一する。
【００７８】
＜３．画像処理装置の基本動作＞
図７は、画像処理システム１において実現される変曲点制御の基本動作に関するフローを例示するフローチャートである。例えば、ユーザによる操作部３１に対する操作に応じて、本動作フローが開始されて、図７のステップＳ１に進む。
【００７９】
ステップＳ１では、撮像部２に設けられた撮像素子２１ａ、２２ａによって、第１および第２撮像画像Ｇ１，Ｇ２が取得される。ここで、画像処理部３６１によって、第１および第２撮像画像Ｇ１，Ｇ２についての画像処理が行われ、得られた画像がディスプレイ３２へ表示される。
【００８０】
ステップＳ２では、解析エリア設定部３６２によって、第１および第２撮像画像Ｇ１，Ｇ２で表現されるそれぞれの画像領域の一部に、ステップＳ３の特徴量抽出解析に用いる解析エリアＲ１，Ｒ２が設定される。
【００８１】
ステップＳ３では、特徴量抽出部３６３によって、解析エリアＲ１，Ｒ２において、画像の特徴量が抽出される。これらの詳細は後述する。
【００８２】
ステップＳ４では、タイミング制御部３６４によって、特徴量に関する所定の判定基準に基づいて、撮像素子２１ａ、２２ａの変曲点の統一（共通化）の要否が判定され、共通変曲点の決定のための処理タイミングが決定される。変曲点の統一が必要であれば、ステップＳ５に進み、変曲点の統一が不要であれば、本動作フローが終了される。
【００８３】
ステップＳ５では、共通変曲エリア設定部３６５によって、第１および第２撮像画像Ｇ１，Ｇ２で表現されるそれぞれの画像領域の一部に、ステップＳ６の共通変曲点算出に用いる処理対象エリアＢ０が決定される。
【００８４】
ステップＳ６では、タイミング制御部３６４によって、共通変曲点算出のための計算が行われる。
【００８５】
ステップＳ７では、タイミング制御部３６４によって、ステップＳ６で行われた計算結果に基づいて、特徴量が所定の判定基準に合致したか否かが判定される。当該所定の判定基準に合致した場合は、ステップＳ８に進み、当該所定の判定基準に満たない場合は、ステップＳ６に戻る。
【００８６】
ステップＳ８では、タイミング制御部３６４によって、共通変曲点の決定が行われる。その種々の具体例は後述するが、たとえば第１および第２撮像画像Ｇ１，Ｇ２の輝度の分布範囲が撮像素子２１ａ、２２ａのダイナミックレンジに収まるように共通変曲点を決定することにより、入射光量のオーバーフローによる画像の潰れを防止しつつ、第１および第２撮像画像Ｇ１，Ｇ２の画質を統一することができる。
【００８７】
ステップＳ９では、変曲点制御部３６６によって、共通変曲点の決定後の処理が行われる。すなわち、変曲点制御部３６６によって、撮像素子２１ａ、２２ａの変曲点が共通変曲点に設定され、本動作フローの１回分が終了する。
【００８８】
これらのステップＳ１〜Ｓ９からなるルーチンは、時間的に繰り返して実行される。撮像素子２１ａ、２２ａで得られる画像が動画である場合には、たとえば１〜数フレームごとにこのルーチンを繰り返す。撮像環境は時々刻々と変化しているため、変曲点の共通化が不要である状況からそれが必要な状況に変化する場合もあり、また、いったん共通変曲点を設定しても、撮像環境の変化によって、共通変曲点の値をずらせる必要が生じたりするためである。共通変曲点を設定あるいは変更後のフレームでは、撮像素子２１ａ、２２ａからより適切な第１および第２撮像画像Ｇ１，Ｇ２が得られる。
【００８９】
静止画の場合には、撮像を行なう都度、このルーチンが実行される。このルーチンにおいて変曲点の共通化が不要であると判定されればその１回目のルーチンだけでよいが、変曲点の共通化が必要であると判定され、実際に変曲点を共通化したときには、共通化した後の撮像素子２１ａ、２２ａから改めて第１および第２撮像画像Ｇ１，Ｇ２を取り込む。
【００９０】
動画、静止画のいずれであっても、第１および第２撮像画像Ｇ１，Ｇ２に基づいて、画像表示や、画像認識、３次元画像生成などの所定の画像処理（画像データの処理）を行う。画像データの保存あるいは画像伝送を経た後の画像処理も同様である。この実施形態は多視点カメラシステムとして構成されているため、たとえば指定された位置を視点とする任意視点画像の生成やディスプレイ３２への表示が、撮像結果を利用する画像処理である。
【００９１】
以上のように、この実施形態に係る画像処理システム１によれば、複数の画像信号の状況を総合的に考慮しつつ、撮像素子２１ａ、２２ａの光電変換特性の変曲点を共通化できる。このため、撮像素子２１ａ、２２ａの光電変換特性が適切な特性に統一されて、必要な画像情報を十分に取り込みつつ、複数の画像信号を統一的に扱うことが可能となる。
【００９２】
＜４．具体例＞
図７のフローチャートで示されるようにステップＳ３の特徴量として、複数のファクタが挙げられるが、本具体例では、その中の、輝度分布、空間周波数分布、物標検出について、図７を参照しながらプロセスを順次説明する。
【００９３】
なお、以下では、「撮像素子２１ａ，２２ａから得られた第１および第２撮像画像Ｇ１，Ｇ２のうち、解析エリアＲ１，Ｒ２に属する部分」をそれぞれ「画像Ｇ１，Ｇ２」と略称し、また、「画像Ｇ１，Ｇ２を撮像した撮像素子２１ａ，２２ａにその時点で設定されている変曲点」を「画像Ｇ１，Ｇ２の現変曲点Ｐ１，Ｐ２」のように略称する。
【００９４】
＜４−１．輝度分布の利用＞
＜４−１−１．ダイナミックレンジ整合法＞
この実施形態で「ダイナミックレンジ整合法」と名付ける方法では、画像信号の輝度分布を用いて特徴量を定義し、各画像信号の輝度成分の分布範囲と各撮像素子の光電変換特性のダイナミックレンジとを整合させるように共通変曲点を決定する。
【００９５】
図８は、輝度分布によるダイナミックレンジ整合法を説明するための図である。図８（ａ）は、撮像素子２１ａ（図１参照）によって出力された輝度分布ＢＲ１を示した図（左図）、および、撮像素子２２ａによって出力された輝度分布ＢＲ２を示した図（右図）である。また、図８（ｂ）は、輝度分布ＢＲ１に対応する光電変換特性のダイナミックレンジと変曲点位置Ｐ１とを示した図（左図）、および、輝度分布ＢＲ２に対応する光電変換特性のダイナミックレンジと変曲点位置Ｐ２とを示した図（右図）である。さらに、図８（ｃ）は、ダイナミックレンジ整合法により変曲点位置Ｐ１を共通変曲点（変曲点補正位置）Ｐｒとして設定した状態（左図）、および、撮像素子２２ａの変曲点を変曲点位置Ｐ２から共通変曲点Ｐｒに変更した状態（右図）をそれぞれ示した図である。
【００９６】
図８（ａ）で示されるように、輝度分布ＢＲ１は飽和しているのに対し，輝度分布ＢＲ２は輝度分布が全域に分布していない。すなわち、撮像素子２１ａでは、変曲点位置Ｐ１が、撮像素子２２ａの変曲点位置Ｐ２より、出力限界ＭＯ近傍にあるため、Linear特性領域が多く分布するが、撮像素子２２ａでは、撮像素子２１ａと比べてLog特性領域が多く分布する（図８（ｂ）参照）。したがって、輝度分布ＢＲ１，ＢＲ２の両者が、飽和せず、全域に行き渡るような条件を満たすべく、変曲点の変更が必要であることがわかる。
【００９７】
ダイナミックレンジ整合法の場合、図７のフローの主なステップの具体的内容は以下の通りである。
【００９８】
・ステップＳ３：
画像Ｇ１，Ｇ２に属する画素のうち、撮像素子２１ａ，２２ａの最大輝度（Max）に相当する画素の数（頻度）をそれぞれカウントして、画像Ｇ１，Ｇ２（解析エリアＲ１，Ｒ２）のそれぞれの画素総数に占める割合（比率）を特徴量ＣＨＡ１，ＣＨＡ２とする。
【００９９】
・ステップＳ４：
特徴量ＣＨＡ１，ＣＨＡ２と所定の閾値とをそれぞれ比較し、特徴量ＣＨＡ１，ＣＨＡ２のうち所定の閾値を超えるものがあれば、共通変曲点の設定あるいは更新が必要であると判断する。
【０１００】
・ステップＳ６：
特徴量ＣＨＡ１，ＣＨＡ２を相互に比較し、これらの中でより小さな特徴量を持つ撮像素子２１ｂの変曲点Ｐ２を、共通変曲点Ｐｒの候補とする（図８（ｃ））。
【０１０１】
・ステップＳ７：
変曲点Ｐ１を共通変曲点としたときに輝度分布ＢＲ１，ＢＲ２がそのように変化するかを予測演算し、画像Ｇ１における最大輝度（Max）の画素数が十分に減少するか、あるいは、画像Ｇ２における最大輝度（Max）の画素数が十分に増加するかどうかを判定する。輝度分布ＢＲ１，ＢＲ２の双方が飽和しているような場合には、この判定で否定的な結果が出る場合もある。このようなときにはステップＳ６に戻し、そこでは前回よりも共通変曲点Ｐｒを小さな値に移動させるなどの追加調整をする。逆に、輝度分布ＢＲ１，ＢＲ２の双方が潰れているような場合には、この判定で否定的な結果が出る場合もある。このようなときにはステップＳ６に戻し、そこでは前回よりも共通変曲点Ｐｒを大きな値に移動させるなどの追加調整をする。ステップＳ７での判定基準を満足する場合はステップＳ８に移行する。
【０１０２】
・ステップＳ８〜Ｓ９：
共通変曲点Ｐｒを確定し、変曲点制御部３６６によって、撮像素子２１ａ，２２ａに共通に設定する。
【０１０３】
上記のステップＳ６において、具体的には、二つの変曲点位置Ｐ１，Ｐ２の中間点に共通変曲点Ｐｒを設定することもできる。この場合は、特に、１回の変更ルーチンだけで輝度分布ＢＲ１が飽和しなくなる状態、あるいは、輝度分布ＢＲ２が潰れなくなる状態にならない可能性が比較的高いため、ステップＳ７を経由した繰返しが有効である。
【０１０４】
たとえば、１回目のステップＳ６で変曲点位置Ｐ１，Ｐ２の第１中間点に共通変曲点Ｐｒを設定し、ステップＳ７において予測演算した結果として輝度分布ＢＲ１がまだダイナミックレンジを超えているとき、あるいは、輝度分布ＢＲ２がまだ出力限界ＭＯよりかなり低い位置に存在する場合には、ステップＳ６に戻す。そして、戻ったステップＳ６では、前者の場合、変曲点位置Ｐ２と第１中間点との中間に相当する第２中間点に共通変曲点Ｐｒを更新する。また、後者の場合は、変曲点位置Ｐ１と第１中間点との中間に相当する第２中間点に共通変曲点Ｐｒを更新する。
【０１０５】
このようなルーチンを繰り返し、画像Ｇ１，Ｇ２の双方の輝度分布とダイナミックレンジとが整合した時点で、共通変曲点Ｐｒの更新を停止する。すなわち、ステップＳ６〜ステップＳ８の処理をトライ・エンド・エラーで何度か繰り返すことで徐々に最適値に近づけることが可能であって、これによって、適切な共通変曲点へと収束する。
【０１０６】
以上のように、各画像信号の輝度成分の分布範囲と光電変換特性のダイナミックレンジとを整合させるように共通変曲点を決定するダイナミックレンジ整合法を用いることで、画素の飽和や潰れへの対処を適切に行うことができる。
【０１０７】
共通変曲点を設定後に得られた複数の画像をディスプレイ３２に並列的に表示させ、あるいは時間的に切り替え、あるいは合成して表示させたときにも、視覚的な違和感が軽減され、自然な画像が得られる。
【０１０８】
＜４−１−２．輝度ピーク回避法＞
この実施形態において「輝度ピーク回避法」と名付ける方法でも、画像信号の輝度分布を基礎情報として用いるが、そこでは変曲点に相当する入力があった場合に得られる出力値（輝度値）が、前記輝度分布のピークと重ならない様に共通変曲点を決定する。
【０１０９】
図９は、図８とは輝度分布状況が異なる場合について輝度ピーク回避法を説明する図である。図９（ａ）は、撮像素子２１ａによって出力された光電変換特性のダイナミックレンジと変曲点位置Ｐ１とを示した図（左図）、および、撮像素子２２ａによって出力された光電変換特性のダイナミックレンジと変曲点位置Ｐ２とを示した図（右図）である。また、図９（ｂ）は、撮像素子２１ａによって出力された輝度分布ＢＲ１と変曲点位置Ｐ１に対応する輝度値Ｐ１ａとを示した図（左図）、および、撮像素子２２ａによって出力された輝度分布ＢＲ２と変曲点位置Ｐ２に対応する輝度値Ｐ２ｂとを示した図（右図）である。さらに、図９（ｃ）は、変曲点位置Ｐ１を輝度ピーク回避法により共通変曲点（変曲点補正位置）Ｐｒに設定した状態（左図）、および、撮像素子２２ａの変曲点を変曲点位置Ｐ２から共通変曲点Ｐｒに変更した状態（右図）をそれぞれ示した図である。
【０１１０】
変曲点付近では入射光量に対する輝度のバラツキが大きく、殆ど同じ光量でもセンサのバラツキやノイズの大小で特性が変わってしまうことがある。そこで、輝度ピーク回避法では、輝度分布で変曲点付近に相当する輝度の頻度を確認し、変曲点付近での頻度が少なくなるように調整するという原理を採用する。
【０１１１】
図９（ｂ）で示されるように、輝度分布ＢＲ１，ＢＲ２共に飽和してはいないものの、輝度分布ＢＲ２は変曲点位置Ｐ２近傍において輝度の分布（輝度値＝Ｐ２ｂに対する頻度）がピークを持つのに対し、輝度分布ＢＲ１は変曲点位置Ｐ１近傍における輝度分布（輝度値＝Ｐ１ａに対する頻度）は少ないという特徴を持つ。また、図９（ａ）で示される撮像系２１，２２の変曲点の位置を比較しても大きく異なる。すなわち、撮像素子２１ａでは、変曲点位置Ｐ１が、撮像素子２２ａの変曲点位置Ｐ２より、出力限界近傍にあるため、Linear特性領域が多く分布するのに対し、撮像素子２２ａでは、Linear特性領域が極めて少ない分布を示す。したがって、変曲点位置Ｐ２を変曲点位置Ｐ１に揃えることで、輝度分布ＢＲ２は変曲点位置近傍での輝度分布がピークになることなく問題が解消する。加えて、よりLinear特性領域の多い方の変曲点に揃えると言う意味で、ダイナミックレンジ整合法と同様の効果もある。
【０１１２】
輝度ピーク回避法の場合、図７のフローの主なステップの具体的内容は以下の通りである。
【０１１３】
・ステップＳ３：
まず、画像Ｇ１，Ｇ２に属する画素の輝度ヒストグラムを作成し、それらの中から、所定の閾値を超える高さを持ったピークを捜す。そして、そのピークの輝度値（ピーク輝度値）を特徴量ＣＨＡ１，ＣＨＡ２とする。閾値を超えるピークを持たない場合には、特徴量をゼロとする。
【０１１４】
・ステップＳ４：
得られたピーク輝度値を、変曲点位置Ｐ１と変曲点位置Ｐ２との輝度値をそれぞれ比較し、変曲点輝度値からピーク輝度値までの隔たり（差）が所定の閾値以下であったならば、変曲点がピーク付近にあるということになり、共通変曲点の設定あるいは更新が必要であると判断する。
【０１１５】
このステップで、ピーク検出に閾値を使用するのは、ヒストグラムの細かな凸部をピークとして誤認させないためである。また、変曲点輝度値とピーク輝度値との差についての閾値は、たとえば当該ピークの半値幅の２倍を採用することができる。それ以上、変曲点がピークの頂点から離れていれば、実質的にはピークと重なってはいないと判断できるからである。なお、これらにおけるピークの高さは、ヒストグラムのピーク周辺の略平坦部を基準とした高さで定義する。
【０１１６】
・ステップＳ６：
ステップＳ５で処理対象エリアＢ０が設定されると、変曲点位置Ｐ１を共通変曲点（変曲点補正位置）Ｐｒとする。すなわち、この輝度ピーク回避法では、変曲点近傍の輝度分布が少ない方に変曲点を合わることで、輝度分布のピークを避けて共通変曲点を決定する。
【０１１７】
・ステップＳ７：
ここでは、共通変曲点候補を採用するとダイナミックレンジが著しく小さくなってしまうなどの副作用が生じるかどうかの判定を行うことができる。そのような副作用が予想されるような場合にはステップＳ６で求めた共通変曲点候補を破棄して、ステップＳ６に戻り、判定閾値を変更したり、別の方法に変更して共通変曲点候補を捜す。ステップＳ７の適否判定は省略し、ステップＳ６からステップＳ８に移行してもよい。以後に説明する各方法についても同様であり、以後の方法の説明においては、ステップＳ７の重複説明は省略する。
【０１１８】
・ステップＳ８〜Ｓ９：
共通変曲点Ｐｒ（変曲点位置Ｐ１）を確定し、撮像素子２２ａの変曲点を変曲点位置Ｐ２から共通変曲点Ｐｒに変更する。
【０１１９】
以上のように、輝度ピーク回避法では、被写体のパターンが潰れるなどした画像への対処を適切に行うことができる。また、これによって、ダイナミックレンジの調節も合わせて行われることになる。さらに、画像表示を行った場合の視覚的な違和感も軽減され、自然な画像が得られる。
【０１２０】
＜４−２．空間周波数分布の利用＞
画像信号の空間周波数情報を利用する方法としては以下の例がある。
【０１２１】
＜４−２−１．高周波優先法＞
この実施形態において「高周波優先法」と名付ける方法では、画像Ｇ１，Ｇ２のうち高周波成分をより多く含む画像の現変曲点を、共通変曲点として決定する方法である。
【０１２２】
図１０は、高周波優先法を説明する図である。図１０（ａ）は、撮像素子２１ａによって出力された光電変換特性のダイナミックレンジと変曲点位置Ｐ１とを示した図（左図）、および、撮像素子２２ａによって出力された光電変換特性のダイナミックレンジと変曲点位置Ｐ２とを示した図（右図）である。また、図１０（ｂ）は、横軸を周波数ｆとし縦軸を周波数頻度Ｐ（ｆ）としたグラフであり、撮像素子２１ａによって撮像された第１撮像画像Ｇ１の空間周波数分布ＳＦ１を示した図（左図）、および、撮像素子２２ａによって撮像された第２撮像画像Ｇ２の空間周波数分布ＳＦ２を示した図（右図）である。さらに、図１０（ｃ）は、高周波優先法により撮像素子２１ａの変曲点位置Ｐ１を共通変曲点（変曲点補正位置）Ｐｒに設定した状態（左図）、および、撮像素子２２ａの変曲点を変曲点位置Ｐ２から共通変曲点Ｐｒに変更した状態（右図）をそれぞれ示した図である。
【０１２３】
画素の飽和や潰れが起こった場合、入射光量に対する画像の空間的輝度変化が平坦になる。つまり、その輝度領域での高周波成分が抑制されることになる。逆に言えば、高周波成分が相対的に多い方が、変曲点の設定が適切であるということになる。そのため、高周波優先法では、高周波成分がより多く存在するような変曲点を共通変曲点とする。すなわち、画像Ｇ１，Ｇ２のうち、より高周波成分の多い方を取得した撮像素子の現変曲点を共通変曲点として採用し、撮像素子２１ａ，２２ａの変曲点をそれに揃える。
【０１２４】
図１０（ｂ）で示されるように、空間周波数分布ＳＦ１は、空間周波数分布ＳＦ２に比べて高周波成分を多く含む特徴を持つ。具体的には、高周波成分である所定の周波数を閾値周波数ｆｈとして両者のグラフを見たときに、空間周波数分布ＳＦ１は空間周波数分布ＳＦ２に比べて、周波数ｆ＞閾値周波数ｆｈに相当する高周波成分が多く含まれていることがわかる。また、図１０（ａ）で示される撮像系２１，２２の変曲点の位置を比較しても大きく異なり、撮像素子２１ａでは、変曲点位置Ｐ１が変曲点位置Ｐ２より出力限界ＭＯ近傍にあるためLinear特性領域が多いのに対し、撮像素子２２ａでは、Linear特性領域が極めて少ない特徴を示す。したがって、変曲点位置Ｐ２を共通変曲点Ｐｒとして採用し、撮像素子２２ａの変曲点を変曲点位置Ｐ１から共通変曲点（変曲点補正位置）Ｐｒに揃えることで、変曲点の統一を行う。
【０１２５】
高周波優先法の場合、図７のフローの主なステップの具体的内容は以下の通りである。
【０１２６】
・ステップＳ３：
高周波優先法の場合の特徴量ＣＨＡ１，ＣＨＡ２は、解析エリアＲ１，Ｒ２における全周波数成分のうち、それぞれの高周波成分が占める占有比である。高周波成分としては所定の閾値周波数ｆｈよりも高い周波数成分として定義する。
【０１２７】
・ステップＳ４：
画像Ｇ１，Ｇ２における高周波成分の占有比の差をとる。そしてその差（の絶対値）が所定の閾値よりも大きいときには、変曲点の統一が必要であると判断される。
【０１２８】
・ステップＳ６：
ステップＳ５で処理対象エリアＢ０が設定されると、変曲点位置Ｐ１を共通変曲点Ｐｒの候補とする。
【０１２９】
・ステップＳ８〜Ｓ９：
共通変曲点Ｐｒ（変曲点位置Ｐ１）を確定し、撮像素子２２ａの変曲点を変曲点位置Ｐ２から共通変曲点Ｐｒに変更する。すなわち、高周波優先法では、高周波成分の多い方に変曲点を合わることで、共通変曲点を設定する。
【０１３０】
以上のように、高周波成分が相対的に多い画像信号を出力している撮像素子の変曲点を共通変曲点とすることで、各撮像素子の変曲点を統一して、精細な撮像や正確な画像処理が可能となる。また、これによって、ダイナミックレンジの調節も合わせて行われることになる。また、画像表示を行った場合の視覚的な違和感も軽減され、自然な画像が得られる。
【０１３１】
＜４−３．物標検出結果の利用＞
ここでは、物標検出結果を利用して共通変曲点の設定を行う場合の例を説明する。すなわち、物標検出結果としてより良好な結果が得られた変曲点を基準として、各撮像素子の共通変曲点を決定する。
【０１３２】
＜４−３−１．エッジ量検出法＞
この実施形態において「エッジ量検出法」と名付ける方法では、物標検出結果としてのエッジ量を特徴量として採用し、複数の画像信号のうちエッジ量がより多いと判断される変曲点を用いて共通変曲点を決定する。
【０１３３】
エッジ検出の具体的原理には様々なものがあるが、例えば、微分演算により勾配の大きさなどエッジの強さを導出した後、所定の閾値を適用して必要なエッジだけを抽出する方法が一般的である。画像にエッジ検出を施すことで、被写体の境界を示す連続する直線あるいは曲線が得られるため、エッジ検出を画像に施すことで処理すべきデータ量が大幅に削減され、相対的にあまり重要でない情報を排除しつつ、画像の構造的属性だけを保持することができる。
【０１３４】
図１１は、エッジ検出法を使用した物標検出結果による変曲点補正方法を説明する図である。図１１（ａ）は、撮像素子２１ａによって出力された光電変換特性のダイナミックレンジと変曲点位置Ｐ１とを示した図（左図）、および、撮像素子２２ａによって出力された光電変換特性のダイナミックレンジと変曲点位置Ｐ２とを示した図（右図）である。また、図１１（ｂ）は、画像Ｇ１のエッジ検出結果ＥＧ１を示した図（左図）、および、画像Ｇ２のエッジ検出結果ＥＧ２を示した図（右図）である。さらに、図１１（ｃ）は、撮像素子２１ａの変曲点位置Ｐ１を変曲点補正位置Ｐｒに設定した状態（左図）、および、撮像素子２２ａの変曲点を変曲点位置Ｐ２から変曲点補正位置Ｐｒに変更した状態（右図）をそれぞれ示した図である。
【０１３５】
図１１（ｂ）で示されるように、エッジ検出結果ＥＧ１は、同じ閾値の下、エッジ検出結果ＥＧ２に比べてエッジ数が多くカウントされる。また、図１１（ａ）で示される撮像素子２１ａ，２２ａの変曲点の位置を比較しても大きく異なり、撮像素子２１ａでは、変曲点位置Ｐ１が変曲点位置Ｐ２より出力限界ＭＯ近傍にあるためLinear特性領域が多く分布するのに対し、撮像素子２２ａでは、Linear特性領域が極めて少ない分布を示す。したがって、撮像素子２１ａの変曲点を変曲点位置Ｐ２から変曲点位置Ｐ１（変曲点補正位置Ｐｒ）に変更することで、変曲点位置Ｐ１を共通変曲点の位置とする。
【０１３６】
エッジ量検出法の場合、図７のフローのうちの主なステップの具体的内容は以下の通りである。
【０１３７】
・ステップＳ３：
解析エリアＲ１，Ｒ２のそれぞれにおいて、画像の空間的微分演算を行う。そして、所定の閾値よりも絶対値が大きな微分値を持つ線分をエッジとする。さらに検出したエッジの線分の総数、または検出したエッジの総延長を、エッジ数を表現する値として算出し、それらを特徴量ＣＨＡ１，ＣＨＡ２とする。
【０１３８】
・ステップＳ４：
特徴量ＣＨＡ１，ＣＨＡ２の差の絶対値が所定の閾値を超えたならば、変曲点の統一が必要であると判定する。
【０１３９】
・ステップＳ６：
特徴量ＣＨＡ１，ＣＨＡ２を相互に比較し、これらの中でより大きな特徴量を持つ撮像素子２１ａの変曲点Ｐ１を、共通変曲点Ｐｒの候補とする（図１１（ｃ））。
【０１４０】
・ステップＳ８〜Ｓ９：
共通変曲点Ｐｒを確定し、変曲点制御部３６６によって、撮像素子２１ａ，２２ａに共通に設定する。
【０１４１】
以上によって、双方の撮像素子２１ａ，２２ａで、より鮮明で画質の統一がとれた画像の組が得られるようになる。撮像素子２１ａ，２２ａのダイナミックレンジも統一される。
【０１４２】
以上のように、エッジ検出に基づく物標検出結果がより良好と判断される変曲点を用いて共通変曲点を決定することで、物標検出処理に適した共通変曲点を各撮像素子に設定可能である。また、これによって、ダイナミックレンジの調節も合わせて行われることになる。また、画像表示を行った場合の視覚的な違和感も軽減され、自然な画像が得られる。
【０１４３】
＜４−３−２．物標個数法＞
この実施形態において「物標個数法」と名付ける方法では、検出した物標の個数を特徴量とし、複数の画像信号のうち検出物標の個数が多い方の変曲点を用いて共通変曲点を決定する。
【０１４４】
すなわち、多くの個数の物標を検出した変曲点の方が、画像の信頼度が高いと考え、その変曲点を共通変曲点とする。
【０１４５】
物標個数法の場合、図７のフローのうちの主なステップの具体的内容は以下の通りである。
【０１４６】
・ステップＳ３：
第１および第２撮像画像Ｇ１，Ｇ２で設定された解析エリアについて、画像のエッジ線を検出する。そしてエッジ線で囲まれる閉領域を検出し、それぞれの閉領域をひとつの物標とみなす。第１撮像画像Ｇ１の解析エリア内で検出された物標の個数Ｎ１（特徴量ＣＨＡ１）と、第２撮像画像Ｇ２の解析エリアで検出された物標の個数Ｎ２（特徴量ＣＨＡ２）とを特定する。
【０１４７】
・ステップＳ４：
物標の個数Ｎ１とＮ２とが同一の場合には、変曲点を統一する必要はないと判定し、それらの間に違いあればステップＳ５，Ｓ６に移行する。
【０１４８】
・ステップＳ６：
ステップＳ５で処理対象エリアＢ０が設定されると、物標の個数Ｎ１、Ｎ２が相互に比較され、たとえばＮ１＞Ｎ２の場合には、撮像素子２１ａのその時点での変曲点を共通変曲点として採用する。
【０１４９】
・ステップＳ８〜Ｓ９：
共通変曲点Ｐｒ（変曲点位置Ｐ１）を確定し、撮像素子２２ａの変曲点を変曲点位置Ｐ２から共通変曲点Ｐｒに変更する。
【０１５０】
この物標個数法においても、エッジ量検出法と同様の効果が得られる。
【０１５１】
＜４−３−３．検出信頼度法＞
この実施形態において「検出信頼度法」と名付ける方法では、第１および第２撮像画像Ｇ１，Ｇ２のうち、解析エリアＲ１，Ｒ２内における物標検出の信頼度が高い方の撮像素子の現時点での変曲点を共通変曲点として採用し、撮像素子２１ａ，２２ａの変曲点をこの共通変曲点に統一する。物標検出の信頼度の評価には、たとえば公知のHough（ハフ）変換の投票数を用いることができる。
【０１５２】
検出信頼度法の場合、図７のフローのうちの主なステップの具体的内容は以下の通りである。
【０１５３】
・ステップＳ３：
画像Ｇ１，Ｇ２の微分演算によってエッジを抽出し、それぞれのエッジ画像を作成する。続いて、それぞれについてハフ変換投票処理を行ない、投票結果のピークを検出する。画像Ｇ１，Ｇ２についてのハフ変換の投票結果の最大ピーク値などを、信頼度を表現する特徴量ＣＨＡ１，ＣＨＡ２とする。
【０１５４】
・ステップＳ４：
特徴量ＣＨＡ１，ＣＨＡ２が同一の場合には、変曲点を統一する必要はないと判定し、それらの間に違いあればステップＳ５，Ｓ６に移行する。
【０１５５】
・ステップＳ６：
ステップＳ５で処理対象エリアＢ０が設定されると、特徴量ＣＨＡ１，ＣＨＡ２が相互に比較される。たとえば特徴量ＣＨＡ１の方が大きいならば、撮像素子２１ａのその時点での変曲点を共通変曲点として採用する。
【０１５６】
・ステップＳ８〜Ｓ９：
共通変曲点Ｐｒ（変曲点位置Ｐ１）を確定し、撮像素子２２ａの変曲点を変曲点位置Ｐ２から共通変曲点Ｐｒに変更する。
【０１５７】
以上のように、物標検出結果がより良好と判断される変曲点を用いて共通変曲点を決定することで、最適な共通変曲点を各撮像素子に設定可能である。また、これによって、ダイナミックレンジの調節も合わせて行われることになる。また、画像表示を行った場合の視覚的な違和感も軽減され、自然な画像が得られる。
【０１５８】
＜５．変形例＞
以上、本発明の実施形態について説明してきたが、本発明は、上記実施形態に限定されるものではなく、様々な変形が可能である。
【０１５９】
本実施形態では、説明の簡略化のために撮像系は２眼構成となっているが、これに限られず、複数眼あるいは複数台構成であれば適用可能である。また、カメラの台数が増えれば、変曲点を変更した場合の特徴量の変化を予測して共通変曲点の位置を決定する方法等が有効である。具体的に例えば、様々な変曲点候補となる場合に、変曲点の違いによる特徴量の変化を関数近似するなどし、最適な位置を推定することが可能となる。
【０１６０】
また、輝度分布を利用する場合に、解析エリア内の最大輝度のような輝度代表値を特徴量とすることもできる。例えば、全ての撮像素子の変曲点のうち、どの撮像素子も最大輝度が飽和しない範囲で、最も大きな入射光量に相当する変曲点を共通変曲点として採用するなどである。
【０１６１】
実施形態中で説明したように、共通変曲点は、複数の撮像素子のそれぞれにその時点で設定されている変曲点からの選択でもよく、各変曲点の補間や各変曲点を変数とする関数演算などによって、その時点での各変曲点とは異なる新たな変曲点として設定してもよい。
【０１６２】
共通変曲点の決定や撮像素子への設定は、撮像装置に内蔵したマイクロコンピュータや専用ハード回路で行ってもかまわない。すなわち、この発明の画像処理装置は撮像装置と別体となっていてもよく、一体化されていてもよい。
【０１６３】
ステレオカメラシステムにこの発明を適用した場合には、画像処理装置は、共通変曲点を設定した後の一対のステレオ画像に基づいて、３次元画像情報を生成する機能も備える。一対のステレオ画像間での対応点探索処理においても、双方の画像の画質や精度がほぼ統一されるため、対応点の探索精度が向上する。
【符号の説明】
【０１６４】
１ 画像処理システム
２ 撮像部
３ 画像処理装置
２０ 多視点カメラ
２１，２２ 撮像系
２１ａ，２２ａ 撮像素子
３６ 演算制御部
ＣＰ 変曲点
Ｐ１，Ｐ２ 変曲点（変曲点位置）
Ｐｒ 共通変曲点（変曲点補正位置）
ＢＲ１，ＢＲ２ 輝度分布
Ｇ１、Ｇ２ 撮像画像
Ｒ１，Ｒ２ 解析エリア
Ｂ０ 処理対象エリア
【技術分野】
【０００１】
本発明は、複数の撮像素子を用いて撮像を行う画像処理技術に関する。
【背景技術】
【０００２】
近年、ステレオカメラなどの撮像素子において、ダイナミックレンジを広くすることを目指して、入射光量に対して線形的に変換した電気信号と、入射光量に対して対数的に変換した電気信号の出力が可能な撮像素子（以下、「Linear-Log特性を持つセンサ」と称する）が提案されてきている。そのような撮像素子では、入射光量と電気的出力信号との関係を示す特性線上の特定の点（変曲点）を境界として、線形特性（Linear特性）と対数特性（Log特性）とが自動的に切り替わる。
【０００３】
この種の撮像素子を利用した技術として、例えば、光の強度に応じて出力が線形特性と対数特性とで切り替わるイメージセンサと投光器とを備える距離計測システムが提案されている（特許文献１）。他にも、露光処理用に求めた評価輝度値と目標輝度値との差に応じて露光条件を変える撮像装置（特許文献２）、画像の輝度分布に応じて変曲点を変動させる撮像装置（特許文献３）などが提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−４６００４号公報
【特許文献２】特開２００７−３１２１１２号公報
【特許文献３】特開２００６−３３３１７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
このようなLinear-Log特性を持つセンサ出力において、Linear特性では、細かい輝度変化には敏感だがダイナミックレンジが狭くなる特徴を持つのに対し、Log特性を用いた場合、ダイナミックレンジは拡大するが細かい変化は潰れてしまうという特徴を持つ。このため、環境に適した変曲点を設定することが撮影において必要となる。
【０００６】
しかしながら、従来のLinear-Log特性を持つセンサ出力では、ステレオ画像撮影のように同一の被写体（撮影の対象体）から得た複数画像を対象にした画像処理で、画像ごとに大きく変曲点が変わると見た目に違和感があり、処理的にも各画像で全く相関のない別の画像を処理してしまうような問題がある。加えて、変曲点付近はセンサ自体の誤差や僅かな光量の変化で出力特性が大きく変わってしまい不安定でもある。Linear特性の方が細かい輝度変化にも敏感なため、本来は、可能な限りLinear特性を多く採用したいが、実際にはどのような状況でも最適となるような変曲点の決定方法は存在せず、状況に応じてフレキシブルに変曲点を設定することが現実的である。
【０００７】
本発明は、このような事情に鑑みてなされたものであり、Linear-Log特性を持つ複数の撮像素子を用いて得た複数の画像信号の画像処理に際して、必要な画像情報を十分に取り込みつつ、複数の画像信号を統一的に扱うことを可能とする技術を提供することを第１の目的とする。
【０００８】
この発明の第２目的は、上記複数の画像信号に基づく画像表示を行う場合に、視覚的な違和感を軽減することである。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、請求項１の発明は、複数の撮像素子を備えた撮像手段から出力される複数の画像信号を処理するとともに、前記撮像手段の制御を行う画像処理装置であって、前記複数の撮像素子のそれぞれは、可変に設定可能な変曲点を境界として線形変換特性と対数変換特性との間で切り替る光電変換特性を有しているとともに、初期状態においては相互に異なった変曲点が前記複数の撮像素子に設定されており、前記画像処理装置が、前記撮像手段から出力される前記複数の画像信号のそれぞれの特徴量を抽出する特徴量抽出手段と、前記複数の画像信号の特徴量に基づいて、所定の条件を満足する共通変曲点を決定する変曲点決定手段と、前記複数の撮像素子を制御することにより、前記複数の撮像素子のそれぞれの前記変曲点を前記共通変曲点に統一する変曲点制御手段とを備えることを特徴とする。
【００１０】
また、請求項２の発明は、請求項１に記載の画像処理装置であって、前記特徴量は画像信号の輝度分布であり、各画像信号の輝度成分の分布範囲と各撮像素子の光電変換特性のダイナミックレンジとを整合させるように前記共通変曲点を決定することを特徴とする。
【００１１】
また、請求項３の発明は、請求項１に記載の画像処理装置であって、前記特徴量は画像信号の輝度分布であり、変曲点に相当する入力があった場合に出力される輝度値が、前記輝度分布のピークと重ならない様に前記共通変曲点を決定することを特徴とする。
【００１２】
また、請求項４の発明は、請求項１に記載の画像処理装置であって、前記特徴量は画像信号の空間周波数情報であり、高周波成分が相対的に多い画像信号を出力している撮像素子の変曲点を前記共通変曲点として決定することを特徴とする。
【００１３】
また、請求項５の発明は、請求項１に記載の画像処理装置であって、前記特徴量は物標検出結果であり、前記複数の画像信号のうち所定の良否判定基準によって物標検出結果がより良好と判断される変曲点を用いて前記共通変曲点を決定することを特徴とする。
【００１４】
また、請求項６の発明は、請求項１に記載の画像処理装置であって、前記変曲点決定手段は、前記複数の撮像素子にその時点で個別に設定されているそれぞれの変曲点の中から、前記特徴量が所定の基準を満たしている１の変曲点を選択して前記共通変曲点とすることを特徴とする。
【００１５】
また、請求項７の発明は、請求項１に記載の画像処理装置であって、前記変曲点決定手段は、前記複数の撮像素子にその時点で個別に設定されているそれぞれの変曲点の補間点を前記共通変曲点とすることを特徴とする。
【００１６】
また、請求項８の発明は、請求項１ないし請求項７のいずれかに記載の画像処理装置であって、前記複数の画像信号で表現されるそれぞれの画像領域の一部に、前記特徴量抽出手段での特徴量抽出解析に用いる解析エリアを設定する解析エリア設定手段、をさらに備えることを特徴とする。
【００１７】
また、請求項９の発明は、請求項１ないし請求項８のいずれかに記載の画像処理装置であって、前記複数の画像信号で表現されるそれぞれの画像領域の一部に、前記共通変曲点の設定の対象となる対象エリアを決定する共通変曲エリア設定手段をさらに備えることを特徴とする。
【００１８】
また、請求項１０の発明は、請求項１ないし請求項９のいずれかに記載の画像処理装置であって、前記特徴量に関する所定の判定基準に基づいて、前記複数の撮像素子の変曲点の統一の要否を判定し、前記共通変曲点の決定のための処理タイミングを決定するタイミング制御手段をさらに備えることを特徴とする。
【００１９】
また、請求項１１の発明は、請求項１０に記載の画像処理装置であって、前記タイミング制御手段は、前記所定の判定基準による判定を繰り返して行い、前記特徴量が前記所定の判定基準に合致したときに、前記共通変曲点の決定の処理を実行することを特徴とする。
【００２０】
また、請求項１２の発明は、請求項１ないし請求項１１のいずれかに記載の画像処理装置であって、前記撮像手段は多視点カメラであり、前記複数の画像信号は前記多視点カメラのそれぞれの出力画像信号であることを特徴とする。
【００２１】
また、請求項１３の発明は、請求項１ないし請求項１１のいずれかに記載の画像処理装置であって、前記撮像部はステレオカメラであり、前記複数の画像信号は前記ステレオカメラのそれぞれの出力画像信号であることを特徴とする。
【００２２】
また、請求項１４の発明は、コンピュータにインストールされて実行されることによって、前記コンピュータを、請求項１ないし請求項１３のいずれかに記載の画像処理装置として機能させることを特徴とするプログラムである。
【発明の効果】
【００２３】
請求項１ないし請求項１４の発明によれば、複数の画像信号の状況を総合的に考慮しつつ、光電変換特性の変曲点を共通化する。このため、複数の撮像素子の光電変換特性が適切な特性に統一されて、必要な画像情報を十分に取り込みつつ、複数の画像信号を統一的に扱うことが可能となる。
【００２４】
また、複数の画像を表示させる場合には、それらの画像の間の視覚的な違和感が軽減される。
【００２５】
請求項２の発明によれば、各画像信号の輝度成分の分布範囲と光電変換特性のダイナミックレンジとを整合させるように共通変曲点を決定することで、画素の飽和や潰れへの対処を適切に行うことができる。
【００２６】
請求項３の発明によれば、変曲点に相当する入力があった場合に出力される輝度値が、輝度分布のピークと重ならない様に共通変曲点を決定することで、パターンが潰れるなどした画像への対処を適切に行うことができる。
【００２７】
請求項４の発明によれば、高周波成分が相対的に多い画像信号を出力している撮像素子にその時点で設定されている変曲点を避けて共通変曲点を決定することで、各撮像素子の変曲点を、精細な撮像が可能な共通変曲点に統一できる。
【００２８】
請求項５の発明によれば、物標検出結果がより良好と判断される変曲点を用いて共通変曲点を決定することで、物標検出処理に適した共通変曲点を各撮像素子に設定可能である。
【００２９】
請求項６の発明によれば、各撮像素子にその時点で設定されている変曲点の中からの選択であるため、共通変曲点の決定が迅速となる。
【００３０】
請求項７の発明によれば、それぞれの変曲点の補間点を共通変曲点とすることにより、極端に片寄ることがない共通変曲点の決定が迅速となる。
【００３１】
請求項８の発明によれば、共通変曲点の決定の基礎となる画像エリアを限定することで、注目すべき撮像対象に特化した適切な共通変曲点を決定できる。
【００３２】
請求項９の発明によれば、共通変曲点を設定する空間領域を限定することで、不要な処理を減らすことができる。
【００３３】
請求項１０の発明によれば、共通変曲点の設定が必要であるときだけ共通変曲点の決定処理を行うので、無用のデータ処理を減らすことが出来る。
【００３４】
請求項１１の発明によれば、変曲点の統一化が必要になったときにはそのタイミングで共通変曲点の決定処理を行うことになるので、必要な時期に共通変曲点の設定を行うことが可能になる。
【００３５】
請求項１２の発明によれば、多視点カメラに適用することで、広範な領域において画像間で視覚的な違和感の少ない適切な画像を得ることができる。
【００３６】
請求項１３の発明によれば、ステレオカメラに適用することで、基準画像と参照画像との差を減らし、正確な距離の測定が可能となる。
【図面の簡単な説明】
【００３７】
【図１】本発明の一実施形態に係る画像処理システムの概略構成を示す図である。
【図２】Linear-Log特性を例示する図である。
【図３】Linear特性とLog特性とのダイナミックレンジの違いを説明する図である。
【図４】変曲点の変更によって出力特性が変化することを説明する図である。
【図５】変曲点の変更によって出力画像が変化することを説明する図である。
【図６】一実施形態に係る演算制御部の機能的な構成例を示す図である。
【図７】一実施形態に係る画像処理装置の基本動作を示すフローチャートである。
【図８】輝度分布による変曲点補正方法を説明するための図である。
【図９】輝度分布による変曲点補正方法を説明するための図である。
【図１０】空間周波数分布による変曲点補正方法を説明するための図である。
【図１１】物標検出結果による変曲点補正方法を説明するための図である。
【図１２】解析エリアの設定例を示す図である。
【図１３】処理対象エリアの設定例を示す図である。
【発明を実施するための形態】
【００３８】
＜１．画像処理システムの概要＞
図１は、本発明の一実施形態に係る画像処理システムの概略構成を示す図である。画像処理システム１は、多視点カメラシステムとして構成されており、撮像部２として２眼の多視点カメラ２０を備えるほか、多視点カメラ２０に対してデータの送受信が可能に接続される画像処理装置３を備える。
【００３９】
多視点カメラ２０は、撮像素子２１ａ、２２ａをそれぞれ有する２つの撮像系２１，２２から構成されている。撮像系２１，２２は、カメラ正面の被写体（撮像の対象体）ＯＢを、同じタイミングで異なる視点から撮像するように構成される。撮像系２１，２２による同じタイミングの撮像によって得られる２つの画像信号（以下「画像」と略称する）は、データ線ＣＢを介して画像処理装置３に送信される。
【００４０】
以下では、撮像系２１の撮像によって取得される画像を「第１撮像画像」Ｇ１と称し、撮像系２２の撮像によって取得される画像を「第２撮像画像」Ｇ２と称する。つまり、第１および第２撮像画像Ｇ１，Ｇ２は、同一の被写体ＯＢが異なる視点からそれぞれ捉えられた画像の組を成す。
【００４１】
ここでは、説明を簡素化するために、多視点カメラ２０の収差は良好に補正されているとする。また、撮像系２１，２２は、略平行（好ましくは完全に平行）に設定され、ステレオカメラとして用いても良い。つまり、ステレオカメラとして用いる場合、撮像系２１，２２は所定方向に沿って離隔配置され、撮像系２１，２２の光軸が略平行（好ましくは完全に平行）に設定される状態を前提にする。また、何れのカメラにおいても、撮像系２１，２２の撮像素子２１ａ、２２ａは、Linear-Log特性を持つ。
【００４２】
画像処理装置３は、例えばパーソナルコンピュータ（パソコン）のような情報処理装置で構成され、マウスやキーボード等を含む操作部３１と、液晶ディスプレイ等で構成されるディスプレイ３２と、多視点カメラ２０からのデータを受信するインターフェース(Ｉ／Ｆ)３３とを備える。また、画像処理装置３は、記憶装置３４と演算制御部３６とを有する。
【００４３】
記憶装置３４は、例えばハードディスク等で構成され、多視点カメラ２の撮像によって得られる第１および第２撮像画像Ｇ１，Ｇ２を記憶する。また、記憶装置３４には、後述される変曲点制御を行うためのプログラムＰＧ等が格納される。
【００４４】
入出力部３５は、例えば可搬性ディスクドライブを備えて構成され、光ディスク等の可搬性記憶媒体をセットして、演算制御部３６との間でデータの授受を行う。
【００４５】
演算制御部３６は、プロセッサとして働くＣＰＵ３６ａと、情報を一時的に記憶するメモリ３６ｂとを有し、画像処理装置３の各部を統括的に制御する。演算制御部３６では、記憶部３４内のプログラムＰＧが読み込まれて実行されることで、各種機能や各種情報処理等が実現される。なお、メモリ３６ｂには、可搬性記憶媒体に記憶されているプログラムデータを、入出力部３５を介して格納させることができる。この格納されたプログラムは、画像処理装置３の動作に適宜反映可能である。
【００４６】
演算制御部３６は、後述する変曲点制御動作によって得られる情報を基に、撮像素子２１ａ、２２ａのそれぞれのLinear-Log特性に共通に設定する変曲点を算出する。そして、ディスプレイ３２では、演算制御部３６で算出された変曲点に基づいて、被写体ＯＢの画像を可視的に出力する。
【００４７】
＜１−１．Linear-Log特性の一般的性質と前提事情＞
この実施形態における撮像素子２１ａ、２２ａの変曲点制御の詳細を説明する準備として、この実施形態の前提となるLinear-Log特性の一般的性質と、それに伴って生じる事情、すなわち従来技術で生じていた事情を説明しておく。
【００４８】
Linear-Log特性を持つ撮像素子を以下では「L-L特性センサ」と略称することにすると、L-L特性センサでは、撮像素子の画素に相当する各フォトダイオードで発生した光電流を、ＭＯＳＦＥＴを通して積分回路に与え出力信号を得ている。低照度時には線形変換特性（Linear特性）となり、フォトダイオードで発生した光電流の時間積分値（入射光量）に比例する出力信号が得られ、高照度時には対数変換特性（Log特性）となり、フォトダイオードで発生した光電流の時間積分値（入射光量）に対数的に依存する出力電圧が得られる。それらの境界（臨界点）としての変曲点は、非撮像時のＭＯＳＦＥＴのゲート電圧と、撮像時のＭＯＳＦＥＴのゲート電圧との差を変更することによって移動させることができる。変曲点の制御信号は、このようなゲート電圧差を可変に設定する信号である。
【００４９】
次に、このLinear-Log特性および変曲点について図２から図４を参照して具体的に説明する。なお、以下の図中のLog特性に関しては、本来は上に凸の対数曲線であるが、簡略化のため直線で示している。図２は、L-L特性センサの入出力特性を例示する図である。L-L特性センサでは、図２のように入射光量が特定の閾値α以下の場合、輝度に相当する出力は入力をLinear変換したものに相当し、入射光量が閾値α以上の場合、入力をLog変換して出力する。したがって、図２においては、入射光量が閾値αに相当する点（入射光量＝α）、すなわち、Linear特性とLog特性との境界点が変曲点ＣＰとなる。
【００５０】
図３は、Linear特性とLog特性とのダイナミックレンジの違いを説明する図である。図３に示すように、Linear特性での入力上限（出力限界ＭＯでの入射光量）は値βであるのに対し、Log特性領域での入力上限は値γにまで達し、L-L特性センサでは、Linear特性だけを固定的に持つ一般的なセンサに比べ、ダイナミックレンジを広くすることが可能となる。
【００５１】
また、L-L特性センサは入射光量が閾値αよりも小さい領域においてはLinear特性を有するため、低輝度領域において一般的なセンサと同様の画像を出力することが出来る。
【００５２】
その一方で、L-L特性センサから出力される画像の画質は、変曲点ＣＰの設定位置に依存して大きく変化するという特質がある。
【００５３】
図４は、変曲点ＣＰの位置を変更することで出力特性が変化することを説明する図であり、図５は、図４のように変曲点ＣＰの位置を変更することで出力画像が変化することを説明する図である。
【００５４】
ステレオカメラなどに使用される２つのL-L特性センサ（実施形態の撮像素子２１ａ、２２ａに相当するセンサ）のうち、第１センサの変曲点ＣＰ１が、図４（a）のように出力限界ＭＯの近傍にあってLinear特性範囲がほぼ最大化されており、第２センサの変曲点ＣＰ２は、図４（b）のようにかなり低い位置に存在する場合を考える。
【００５５】
このとき、たとえば比較的暗い光環境での撮像のように、各画素での入射光量が少ない場合には、第１センサも第２センサもLinear特性での出力となる。このため、図５（a）で示されるように、出力画像である第１および第２撮像画像Ｇ１，Ｇ２は、Linear特性が最大限活かされた高精度な画像が得られる。
【００５６】
ところが、変曲点ＣＰ１〜ＣＰ２の中間に相当する光環境で撮像をしたような場合には、第１センサの出力はLinear特性領域にあり、第２センサの出力はLog特性領域にあるため、それらの間に不整合が生じてしまい、図５（b）で示されるように、一方のセンサから得た画像と他方のセンサから得た画像との間の画質にかなりの差が生じてしまう。
【００５７】
また、変曲点ＣＰ２をかなり超えるような明るい光環境で撮像したような場合には、いずれのセンサもLog特性領域となるが、図４から理解できるように、双方の対数曲線の高さは同じではない（同じ入射光量に対して図４（b）の方が、出力値が小さい）。したがって、同じ入射光量に対する出力値は図４（a）と図４（b）との場合で相互に異なることになり、やはり、双方の画像の画質に違いが生じる。
【００５８】
このように変曲点ＣＰ１、ＣＰ２がL-L特性センサごとに異なるという状況は、各カメラでの変曲点制御が互いに独立していることに起因して生じる。すなわち、従来技術では、各カメラでの変曲点制御を個別に行うような構成とされていたために、それぞれのカメラに別の変曲点が設定されてしまうことになる。そのため、全く特性の異なる画像が得られる可能性があるために画像を視覚的に比較した際の違和感が大きく、また物体検出や画像間での対応点探索の様な画像処理においても全く条件が違う画像を処理することになってしまう。
【００５９】
このような背景の下、本発明では、複数のL-L特性センサの変曲点ＣＰの位置を共通化するように、画像処理装置を構成する。
【００６０】
＜２．画像処理システムの機能構成＞
本発明の実施形態のシステム１の説明に戻る。図６は、変曲点制御動作を実行するために演算制御部３６で実現される機能的な構成を示す図である。なお、ここでは、演算制御部３６の機能的な構成が、事前にインストールされているプログラムＰＧの実行によって実現されるものとして説明するが、専用のハードウエア構成で実現されても良い。
【００６１】
図２で示されるように、撮像部２からデータを受信して、演算制御部３６は、機能的な構成として、画像処理部３６１、解析エリア設定部３６２、特徴量抽出部３６３、タイミング制御部３６４、共通変曲エリア設定部３６５、および変曲点制御部３６６を有する。以降、各手段について図１および図６を参照して概略を説明する。
【００６２】
＜２−１．撮像部２＞
撮像部２（多視点カメラ２０）は、被写体ＯＢを複数（ここでは２つ）の撮像素子２１ａ、２２ａで撮像し、画像処理装置３０に画像信号を送信する役割を持つ。撮像素子２１ａ、２２ａはLinear-Log特性を持つが、撮像動作を開始した初期状態においては、撮像素子２１ａ、２２ａのLinear-Log特性の変曲点は一致していないものとする。
【００６３】
＜２−２．画像処理部３６１＞
画像処理部３６１は、第１および第２撮像画像Ｇ１，Ｇ２を用いて画像処理を行う。各画像での物体の検出、多視点カメラ２０間で画像の結合や同一物体の同定、ディスプレイ３２への表示制御等を行う。
【００６４】
＜２−３．解析エリア設定部３６２＞
解析エリア設定部３６２は、撮像部２である多視点カメラ２０により取得された第１および第２撮像画像Ｇ１，Ｇ２を入力する。解析エリア設定部３６２では、入力された画像の空間範囲の一部を、解析エリアとして設定する。この解析エリアは、次段の特徴量抽出部３６３で特徴量抽出を行うエリアとなる。
【００６５】
解析エリアの設定方法として最も単純な方法としては、利用者が操作部３１を用いてマニュアル操作で指定する方法がある。例えば、画像中で特定範囲だけが重要であるとあらかじめわかっている場合にはこのマニュアル指定は有効である。他の設定方法としては、物体検出処理、エッジ検出および対応点探索等の画像処理の結果を受けて、特徴的な部位に設定する方法が挙げられる。その際、画像処理部３６１から処理結果を受け取ることも可能である。たとえば、図１２に例示するように、人物と背景とからなる画像の場合に、人物が写っている空間範囲を解析エリアＲ１，Ｒ２とすることができる。この解析エリアＲ１，Ｒ２は共通のサイズおよび位置を有するが、第１および第２撮像画像Ｇ１，Ｇ２において互いに異なる位置あるいは互いに異なるサイズに設定されていてもよい。解析エリアＲ１，Ｒ２は、第１および第２撮像画像Ｇ１，Ｇ２の全域であってもよいが、このように一部とすることにより、データ処理時間が短縮化されるほか、重要な空間部分の状況を、共通変曲点の決定に強く反映させることが可能となる。
【００６６】
＜２−４．特徴量抽出部３６３＞
特徴量抽出部３６３は、解析エリア設定部３６２が設定した、第１および第２撮像画像Ｇ１，Ｇ２内の解析エリアＲ１，Ｒ２において、画像の特徴量ＣＨＡ１，ＣＨＡ２を抽出する。この特徴量ＣＨＡ１，ＣＨＡ２は、次段のタイミング制御部３６４〜変曲点制御部３６６で用いられる。
【００６７】
特徴量として典型的なものとしては、輝度（最大輝度、最低輝度、平均輝度、ヒストグラム等）がある。それ以外の特徴量としては、画像の空間周波数成分、エッジ量を用いた物標検出結果（検出の信頼度、検出数等）等がある。その際、画像処理部３６１から処理結果を受け取ることも可能である。
【００６８】
＜２−５．タイミング制御部３６４＞
タイミング制御部３６４は、次段の変曲点制御部３６６の動作タイミングを制御する。変曲点制御タイミングとしての最も簡単なものとしては、カメラのフレームや動作時間で指定する等、固定値で与える方法が挙げられる。本実施形態においては、特徴量抽出部３６３が設定した特徴量をベースにタイミング制御を行う。
【００６９】
具体的には例えば、特徴量ＣＨＡ１，ＣＨＡ２の差を所定の閾値と比較し、差が閾値以下だった場合、変曲点の差は少なく、変曲点の相互調整（具体的には変曲点の共通化）を行う必要はない。したがって、差が閾値を超えたタイミングで変曲点の共通化のための後記の処理を行う。
【００７０】
また、別の方法として、別の装置等から情報を得て判定する方法が考えられる。例えば、温度や周辺の照度等の環境情報を入力し、それが所定の条件を満足したときに（換言すれば所定の条件を満足したタイミングで）変曲点の共通化処理を開始する。
【００７１】
＜２−６．共通変曲点エリア設定部３６５＞
共通変曲エリア設定部３６５は、第１および第２撮像画像Ｇ１，Ｇ２から変曲点共通化処理を行う画像エリアを設定する。すなわち、変曲点の共通化は、撮像素子２１ａ、２２ａから得た第１および第２撮像画像Ｇ１，Ｇ２の全画素を対象とすることもできるが、一部の空間領域に制限することもできる。たとえば、第１および第２撮像画像Ｇ１，Ｇ２に人物と背景が含まれており、人物については双方の画像を組み合わせて精密な画像分析をしたいために輝度も同程度としたいが、背景については、別の制御機構や処理が入っていた場合、干渉を避けるために背景では変曲点は変更しないことが好ましい。
【００７２】
このときには、人物が存在する空間範囲の画像の変曲点は撮像素子２１ａ、２２ａの双方に共通であることが好ましいが、背景については、撮像素子２１ａ、２２ａに個別に初期設定された変曲点のままにしておくことが好ましい。このような事情を考慮して、図１３に例示するように、変曲点共通化処理を行う画像エリア（処理対象エリア）Ｂ０を第１および第２撮像画像Ｇ１，Ｇ２の一部に設定する。処理対象エリアＢ０のサイズおよび位置は、第１および第２撮像画像Ｇ１，Ｇ２において同一である。
【００７３】
処理対象エリアＢ０の設定方法として典型的な例としては、固定値で指定する方法がある。例えば、重要な被写体が存在する可能性が高い中央エリア、多視点カメラの場合の画像端などの別のカメラの画像と同じ被写体が写っている可能性が高い画像エリア、監視カメラの場合の監視重要エリアなどを処理対象エリアＢ０として設定する等が可能である。処理対象エリアＢ０として画像全体を指定することもできる。
【００７４】
また、解析エリア設定部３６２で決定された解析エリアＲ１、Ｒ２と同じ場所に処理対象エリアＢ０を設定するほか、処理対象エリアＢ０の動的な設定方法として、画像処理部３６１から画像処理結果（たとえば特定の対象体の検出処理結果）を受け取って、当該対象体を含むエリアを処理対象エリアＢ０として設定することもできる。
【００７５】
＜２−７．変曲点制御部３６６＞
変曲点制御部３６６は、変曲エリア設定部３６５が設定した処理対象エリアについて、撮像素子２１ａ、２２ａのLinear-Log特性に対して共通の変曲点を設定する。
【００７６】
具体的には、特徴量ＣＨＡ１，ＣＨＡ２を相互に比較し、所定の基準によって選択した一方の変曲点を高越変曲点とする方法がある。例えば、特徴量が輝度分布であった場合、より広範囲に輝度が分布しており、また画素飽和や画素潰れが少ない変曲点を共通変曲点とする場合などがそれにあたる。詳細は後述する。
【００７７】
決定された共通変曲点に対応する電位差を、撮像素子２１ａ、２２ａにおいて処理対象エリアに相当する各画素についての、非撮像時のＭＯＳＦＥＴのゲート電圧と、撮像時のＭＯＳＦＥＴのゲート電圧との差として付与することによって、それらの各画素についてのLinear特性とLog特性との境界を統一する。
【００７８】
＜３．画像処理装置の基本動作＞
図７は、画像処理システム１において実現される変曲点制御の基本動作に関するフローを例示するフローチャートである。例えば、ユーザによる操作部３１に対する操作に応じて、本動作フローが開始されて、図７のステップＳ１に進む。
【００７９】
ステップＳ１では、撮像部２に設けられた撮像素子２１ａ、２２ａによって、第１および第２撮像画像Ｇ１，Ｇ２が取得される。ここで、画像処理部３６１によって、第１および第２撮像画像Ｇ１，Ｇ２についての画像処理が行われ、得られた画像がディスプレイ３２へ表示される。
【００８０】
ステップＳ２では、解析エリア設定部３６２によって、第１および第２撮像画像Ｇ１，Ｇ２で表現されるそれぞれの画像領域の一部に、ステップＳ３の特徴量抽出解析に用いる解析エリアＲ１，Ｒ２が設定される。
【００８１】
ステップＳ３では、特徴量抽出部３６３によって、解析エリアＲ１，Ｒ２において、画像の特徴量が抽出される。これらの詳細は後述する。
【００８２】
ステップＳ４では、タイミング制御部３６４によって、特徴量に関する所定の判定基準に基づいて、撮像素子２１ａ、２２ａの変曲点の統一（共通化）の要否が判定され、共通変曲点の決定のための処理タイミングが決定される。変曲点の統一が必要であれば、ステップＳ５に進み、変曲点の統一が不要であれば、本動作フローが終了される。
【００８３】
ステップＳ５では、共通変曲エリア設定部３６５によって、第１および第２撮像画像Ｇ１，Ｇ２で表現されるそれぞれの画像領域の一部に、ステップＳ６の共通変曲点算出に用いる処理対象エリアＢ０が決定される。
【００８４】
ステップＳ６では、タイミング制御部３６４によって、共通変曲点算出のための計算が行われる。
【００８５】
ステップＳ７では、タイミング制御部３６４によって、ステップＳ６で行われた計算結果に基づいて、特徴量が所定の判定基準に合致したか否かが判定される。当該所定の判定基準に合致した場合は、ステップＳ８に進み、当該所定の判定基準に満たない場合は、ステップＳ６に戻る。
【００８６】
ステップＳ８では、タイミング制御部３６４によって、共通変曲点の決定が行われる。その種々の具体例は後述するが、たとえば第１および第２撮像画像Ｇ１，Ｇ２の輝度の分布範囲が撮像素子２１ａ、２２ａのダイナミックレンジに収まるように共通変曲点を決定することにより、入射光量のオーバーフローによる画像の潰れを防止しつつ、第１および第２撮像画像Ｇ１，Ｇ２の画質を統一することができる。
【００８７】
ステップＳ９では、変曲点制御部３６６によって、共通変曲点の決定後の処理が行われる。すなわち、変曲点制御部３６６によって、撮像素子２１ａ、２２ａの変曲点が共通変曲点に設定され、本動作フローの１回分が終了する。
【００８８】
これらのステップＳ１〜Ｓ９からなるルーチンは、時間的に繰り返して実行される。撮像素子２１ａ、２２ａで得られる画像が動画である場合には、たとえば１〜数フレームごとにこのルーチンを繰り返す。撮像環境は時々刻々と変化しているため、変曲点の共通化が不要である状況からそれが必要な状況に変化する場合もあり、また、いったん共通変曲点を設定しても、撮像環境の変化によって、共通変曲点の値をずらせる必要が生じたりするためである。共通変曲点を設定あるいは変更後のフレームでは、撮像素子２１ａ、２２ａからより適切な第１および第２撮像画像Ｇ１，Ｇ２が得られる。
【００８９】
静止画の場合には、撮像を行なう都度、このルーチンが実行される。このルーチンにおいて変曲点の共通化が不要であると判定されればその１回目のルーチンだけでよいが、変曲点の共通化が必要であると判定され、実際に変曲点を共通化したときには、共通化した後の撮像素子２１ａ、２２ａから改めて第１および第２撮像画像Ｇ１，Ｇ２を取り込む。
【００９０】
動画、静止画のいずれであっても、第１および第２撮像画像Ｇ１，Ｇ２に基づいて、画像表示や、画像認識、３次元画像生成などの所定の画像処理（画像データの処理）を行う。画像データの保存あるいは画像伝送を経た後の画像処理も同様である。この実施形態は多視点カメラシステムとして構成されているため、たとえば指定された位置を視点とする任意視点画像の生成やディスプレイ３２への表示が、撮像結果を利用する画像処理である。
【００９１】
以上のように、この実施形態に係る画像処理システム１によれば、複数の画像信号の状況を総合的に考慮しつつ、撮像素子２１ａ、２２ａの光電変換特性の変曲点を共通化できる。このため、撮像素子２１ａ、２２ａの光電変換特性が適切な特性に統一されて、必要な画像情報を十分に取り込みつつ、複数の画像信号を統一的に扱うことが可能となる。
【００９２】
＜４．具体例＞
図７のフローチャートで示されるようにステップＳ３の特徴量として、複数のファクタが挙げられるが、本具体例では、その中の、輝度分布、空間周波数分布、物標検出について、図７を参照しながらプロセスを順次説明する。
【００９３】
なお、以下では、「撮像素子２１ａ，２２ａから得られた第１および第２撮像画像Ｇ１，Ｇ２のうち、解析エリアＲ１，Ｒ２に属する部分」をそれぞれ「画像Ｇ１，Ｇ２」と略称し、また、「画像Ｇ１，Ｇ２を撮像した撮像素子２１ａ，２２ａにその時点で設定されている変曲点」を「画像Ｇ１，Ｇ２の現変曲点Ｐ１，Ｐ２」のように略称する。
【００９４】
＜４−１．輝度分布の利用＞
＜４−１−１．ダイナミックレンジ整合法＞
この実施形態で「ダイナミックレンジ整合法」と名付ける方法では、画像信号の輝度分布を用いて特徴量を定義し、各画像信号の輝度成分の分布範囲と各撮像素子の光電変換特性のダイナミックレンジとを整合させるように共通変曲点を決定する。
【００９５】
図８は、輝度分布によるダイナミックレンジ整合法を説明するための図である。図８（ａ）は、撮像素子２１ａ（図１参照）によって出力された輝度分布ＢＲ１を示した図（左図）、および、撮像素子２２ａによって出力された輝度分布ＢＲ２を示した図（右図）である。また、図８（ｂ）は、輝度分布ＢＲ１に対応する光電変換特性のダイナミックレンジと変曲点位置Ｐ１とを示した図（左図）、および、輝度分布ＢＲ２に対応する光電変換特性のダイナミックレンジと変曲点位置Ｐ２とを示した図（右図）である。さらに、図８（ｃ）は、ダイナミックレンジ整合法により変曲点位置Ｐ１を共通変曲点（変曲点補正位置）Ｐｒとして設定した状態（左図）、および、撮像素子２２ａの変曲点を変曲点位置Ｐ２から共通変曲点Ｐｒに変更した状態（右図）をそれぞれ示した図である。
【００９６】
図８（ａ）で示されるように、輝度分布ＢＲ１は飽和しているのに対し，輝度分布ＢＲ２は輝度分布が全域に分布していない。すなわち、撮像素子２１ａでは、変曲点位置Ｐ１が、撮像素子２２ａの変曲点位置Ｐ２より、出力限界ＭＯ近傍にあるため、Linear特性領域が多く分布するが、撮像素子２２ａでは、撮像素子２１ａと比べてLog特性領域が多く分布する（図８（ｂ）参照）。したがって、輝度分布ＢＲ１，ＢＲ２の両者が、飽和せず、全域に行き渡るような条件を満たすべく、変曲点の変更が必要であることがわかる。
【００９７】
ダイナミックレンジ整合法の場合、図７のフローの主なステップの具体的内容は以下の通りである。
【００９８】
・ステップＳ３：
画像Ｇ１，Ｇ２に属する画素のうち、撮像素子２１ａ，２２ａの最大輝度（Max）に相当する画素の数（頻度）をそれぞれカウントして、画像Ｇ１，Ｇ２（解析エリアＲ１，Ｒ２）のそれぞれの画素総数に占める割合（比率）を特徴量ＣＨＡ１，ＣＨＡ２とする。
【００９９】
・ステップＳ４：
特徴量ＣＨＡ１，ＣＨＡ２と所定の閾値とをそれぞれ比較し、特徴量ＣＨＡ１，ＣＨＡ２のうち所定の閾値を超えるものがあれば、共通変曲点の設定あるいは更新が必要であると判断する。
【０１００】
・ステップＳ６：
特徴量ＣＨＡ１，ＣＨＡ２を相互に比較し、これらの中でより小さな特徴量を持つ撮像素子２１ｂの変曲点Ｐ２を、共通変曲点Ｐｒの候補とする（図８（ｃ））。
【０１０１】
・ステップＳ７：
変曲点Ｐ１を共通変曲点としたときに輝度分布ＢＲ１，ＢＲ２がそのように変化するかを予測演算し、画像Ｇ１における最大輝度（Max）の画素数が十分に減少するか、あるいは、画像Ｇ２における最大輝度（Max）の画素数が十分に増加するかどうかを判定する。輝度分布ＢＲ１，ＢＲ２の双方が飽和しているような場合には、この判定で否定的な結果が出る場合もある。このようなときにはステップＳ６に戻し、そこでは前回よりも共通変曲点Ｐｒを小さな値に移動させるなどの追加調整をする。逆に、輝度分布ＢＲ１，ＢＲ２の双方が潰れているような場合には、この判定で否定的な結果が出る場合もある。このようなときにはステップＳ６に戻し、そこでは前回よりも共通変曲点Ｐｒを大きな値に移動させるなどの追加調整をする。ステップＳ７での判定基準を満足する場合はステップＳ８に移行する。
【０１０２】
・ステップＳ８〜Ｓ９：
共通変曲点Ｐｒを確定し、変曲点制御部３６６によって、撮像素子２１ａ，２２ａに共通に設定する。
【０１０３】
上記のステップＳ６において、具体的には、二つの変曲点位置Ｐ１，Ｐ２の中間点に共通変曲点Ｐｒを設定することもできる。この場合は、特に、１回の変更ルーチンだけで輝度分布ＢＲ１が飽和しなくなる状態、あるいは、輝度分布ＢＲ２が潰れなくなる状態にならない可能性が比較的高いため、ステップＳ７を経由した繰返しが有効である。
【０１０４】
たとえば、１回目のステップＳ６で変曲点位置Ｐ１，Ｐ２の第１中間点に共通変曲点Ｐｒを設定し、ステップＳ７において予測演算した結果として輝度分布ＢＲ１がまだダイナミックレンジを超えているとき、あるいは、輝度分布ＢＲ２がまだ出力限界ＭＯよりかなり低い位置に存在する場合には、ステップＳ６に戻す。そして、戻ったステップＳ６では、前者の場合、変曲点位置Ｐ２と第１中間点との中間に相当する第２中間点に共通変曲点Ｐｒを更新する。また、後者の場合は、変曲点位置Ｐ１と第１中間点との中間に相当する第２中間点に共通変曲点Ｐｒを更新する。
【０１０５】
このようなルーチンを繰り返し、画像Ｇ１，Ｇ２の双方の輝度分布とダイナミックレンジとが整合した時点で、共通変曲点Ｐｒの更新を停止する。すなわち、ステップＳ６〜ステップＳ８の処理をトライ・エンド・エラーで何度か繰り返すことで徐々に最適値に近づけることが可能であって、これによって、適切な共通変曲点へと収束する。
【０１０６】
以上のように、各画像信号の輝度成分の分布範囲と光電変換特性のダイナミックレンジとを整合させるように共通変曲点を決定するダイナミックレンジ整合法を用いることで、画素の飽和や潰れへの対処を適切に行うことができる。
【０１０７】
共通変曲点を設定後に得られた複数の画像をディスプレイ３２に並列的に表示させ、あるいは時間的に切り替え、あるいは合成して表示させたときにも、視覚的な違和感が軽減され、自然な画像が得られる。
【０１０８】
＜４−１−２．輝度ピーク回避法＞
この実施形態において「輝度ピーク回避法」と名付ける方法でも、画像信号の輝度分布を基礎情報として用いるが、そこでは変曲点に相当する入力があった場合に得られる出力値（輝度値）が、前記輝度分布のピークと重ならない様に共通変曲点を決定する。
【０１０９】
図９は、図８とは輝度分布状況が異なる場合について輝度ピーク回避法を説明する図である。図９（ａ）は、撮像素子２１ａによって出力された光電変換特性のダイナミックレンジと変曲点位置Ｐ１とを示した図（左図）、および、撮像素子２２ａによって出力された光電変換特性のダイナミックレンジと変曲点位置Ｐ２とを示した図（右図）である。また、図９（ｂ）は、撮像素子２１ａによって出力された輝度分布ＢＲ１と変曲点位置Ｐ１に対応する輝度値Ｐ１ａとを示した図（左図）、および、撮像素子２２ａによって出力された輝度分布ＢＲ２と変曲点位置Ｐ２に対応する輝度値Ｐ２ｂとを示した図（右図）である。さらに、図９（ｃ）は、変曲点位置Ｐ１を輝度ピーク回避法により共通変曲点（変曲点補正位置）Ｐｒに設定した状態（左図）、および、撮像素子２２ａの変曲点を変曲点位置Ｐ２から共通変曲点Ｐｒに変更した状態（右図）をそれぞれ示した図である。
【０１１０】
変曲点付近では入射光量に対する輝度のバラツキが大きく、殆ど同じ光量でもセンサのバラツキやノイズの大小で特性が変わってしまうことがある。そこで、輝度ピーク回避法では、輝度分布で変曲点付近に相当する輝度の頻度を確認し、変曲点付近での頻度が少なくなるように調整するという原理を採用する。
【０１１１】
図９（ｂ）で示されるように、輝度分布ＢＲ１，ＢＲ２共に飽和してはいないものの、輝度分布ＢＲ２は変曲点位置Ｐ２近傍において輝度の分布（輝度値＝Ｐ２ｂに対する頻度）がピークを持つのに対し、輝度分布ＢＲ１は変曲点位置Ｐ１近傍における輝度分布（輝度値＝Ｐ１ａに対する頻度）は少ないという特徴を持つ。また、図９（ａ）で示される撮像系２１，２２の変曲点の位置を比較しても大きく異なる。すなわち、撮像素子２１ａでは、変曲点位置Ｐ１が、撮像素子２２ａの変曲点位置Ｐ２より、出力限界近傍にあるため、Linear特性領域が多く分布するのに対し、撮像素子２２ａでは、Linear特性領域が極めて少ない分布を示す。したがって、変曲点位置Ｐ２を変曲点位置Ｐ１に揃えることで、輝度分布ＢＲ２は変曲点位置近傍での輝度分布がピークになることなく問題が解消する。加えて、よりLinear特性領域の多い方の変曲点に揃えると言う意味で、ダイナミックレンジ整合法と同様の効果もある。
【０１１２】
輝度ピーク回避法の場合、図７のフローの主なステップの具体的内容は以下の通りである。
【０１１３】
・ステップＳ３：
まず、画像Ｇ１，Ｇ２に属する画素の輝度ヒストグラムを作成し、それらの中から、所定の閾値を超える高さを持ったピークを捜す。そして、そのピークの輝度値（ピーク輝度値）を特徴量ＣＨＡ１，ＣＨＡ２とする。閾値を超えるピークを持たない場合には、特徴量をゼロとする。
【０１１４】
・ステップＳ４：
得られたピーク輝度値を、変曲点位置Ｐ１と変曲点位置Ｐ２との輝度値をそれぞれ比較し、変曲点輝度値からピーク輝度値までの隔たり（差）が所定の閾値以下であったならば、変曲点がピーク付近にあるということになり、共通変曲点の設定あるいは更新が必要であると判断する。
【０１１５】
このステップで、ピーク検出に閾値を使用するのは、ヒストグラムの細かな凸部をピークとして誤認させないためである。また、変曲点輝度値とピーク輝度値との差についての閾値は、たとえば当該ピークの半値幅の２倍を採用することができる。それ以上、変曲点がピークの頂点から離れていれば、実質的にはピークと重なってはいないと判断できるからである。なお、これらにおけるピークの高さは、ヒストグラムのピーク周辺の略平坦部を基準とした高さで定義する。
【０１１６】
・ステップＳ６：
ステップＳ５で処理対象エリアＢ０が設定されると、変曲点位置Ｐ１を共通変曲点（変曲点補正位置）Ｐｒとする。すなわち、この輝度ピーク回避法では、変曲点近傍の輝度分布が少ない方に変曲点を合わることで、輝度分布のピークを避けて共通変曲点を決定する。
【０１１７】
・ステップＳ７：
ここでは、共通変曲点候補を採用するとダイナミックレンジが著しく小さくなってしまうなどの副作用が生じるかどうかの判定を行うことができる。そのような副作用が予想されるような場合にはステップＳ６で求めた共通変曲点候補を破棄して、ステップＳ６に戻り、判定閾値を変更したり、別の方法に変更して共通変曲点候補を捜す。ステップＳ７の適否判定は省略し、ステップＳ６からステップＳ８に移行してもよい。以後に説明する各方法についても同様であり、以後の方法の説明においては、ステップＳ７の重複説明は省略する。
【０１１８】
・ステップＳ８〜Ｓ９：
共通変曲点Ｐｒ（変曲点位置Ｐ１）を確定し、撮像素子２２ａの変曲点を変曲点位置Ｐ２から共通変曲点Ｐｒに変更する。
【０１１９】
以上のように、輝度ピーク回避法では、被写体のパターンが潰れるなどした画像への対処を適切に行うことができる。また、これによって、ダイナミックレンジの調節も合わせて行われることになる。さらに、画像表示を行った場合の視覚的な違和感も軽減され、自然な画像が得られる。
【０１２０】
＜４−２．空間周波数分布の利用＞
画像信号の空間周波数情報を利用する方法としては以下の例がある。
【０１２１】
＜４−２−１．高周波優先法＞
この実施形態において「高周波優先法」と名付ける方法では、画像Ｇ１，Ｇ２のうち高周波成分をより多く含む画像の現変曲点を、共通変曲点として決定する方法である。
【０１２２】
図１０は、高周波優先法を説明する図である。図１０（ａ）は、撮像素子２１ａによって出力された光電変換特性のダイナミックレンジと変曲点位置Ｐ１とを示した図（左図）、および、撮像素子２２ａによって出力された光電変換特性のダイナミックレンジと変曲点位置Ｐ２とを示した図（右図）である。また、図１０（ｂ）は、横軸を周波数ｆとし縦軸を周波数頻度Ｐ（ｆ）としたグラフであり、撮像素子２１ａによって撮像された第１撮像画像Ｇ１の空間周波数分布ＳＦ１を示した図（左図）、および、撮像素子２２ａによって撮像された第２撮像画像Ｇ２の空間周波数分布ＳＦ２を示した図（右図）である。さらに、図１０（ｃ）は、高周波優先法により撮像素子２１ａの変曲点位置Ｐ１を共通変曲点（変曲点補正位置）Ｐｒに設定した状態（左図）、および、撮像素子２２ａの変曲点を変曲点位置Ｐ２から共通変曲点Ｐｒに変更した状態（右図）をそれぞれ示した図である。
【０１２３】
画素の飽和や潰れが起こった場合、入射光量に対する画像の空間的輝度変化が平坦になる。つまり、その輝度領域での高周波成分が抑制されることになる。逆に言えば、高周波成分が相対的に多い方が、変曲点の設定が適切であるということになる。そのため、高周波優先法では、高周波成分がより多く存在するような変曲点を共通変曲点とする。すなわち、画像Ｇ１，Ｇ２のうち、より高周波成分の多い方を取得した撮像素子の現変曲点を共通変曲点として採用し、撮像素子２１ａ，２２ａの変曲点をそれに揃える。
【０１２４】
図１０（ｂ）で示されるように、空間周波数分布ＳＦ１は、空間周波数分布ＳＦ２に比べて高周波成分を多く含む特徴を持つ。具体的には、高周波成分である所定の周波数を閾値周波数ｆｈとして両者のグラフを見たときに、空間周波数分布ＳＦ１は空間周波数分布ＳＦ２に比べて、周波数ｆ＞閾値周波数ｆｈに相当する高周波成分が多く含まれていることがわかる。また、図１０（ａ）で示される撮像系２１，２２の変曲点の位置を比較しても大きく異なり、撮像素子２１ａでは、変曲点位置Ｐ１が変曲点位置Ｐ２より出力限界ＭＯ近傍にあるためLinear特性領域が多いのに対し、撮像素子２２ａでは、Linear特性領域が極めて少ない特徴を示す。したがって、変曲点位置Ｐ２を共通変曲点Ｐｒとして採用し、撮像素子２２ａの変曲点を変曲点位置Ｐ１から共通変曲点（変曲点補正位置）Ｐｒに揃えることで、変曲点の統一を行う。
【０１２５】
高周波優先法の場合、図７のフローの主なステップの具体的内容は以下の通りである。
【０１２６】
・ステップＳ３：
高周波優先法の場合の特徴量ＣＨＡ１，ＣＨＡ２は、解析エリアＲ１，Ｒ２における全周波数成分のうち、それぞれの高周波成分が占める占有比である。高周波成分としては所定の閾値周波数ｆｈよりも高い周波数成分として定義する。
【０１２７】
・ステップＳ４：
画像Ｇ１，Ｇ２における高周波成分の占有比の差をとる。そしてその差（の絶対値）が所定の閾値よりも大きいときには、変曲点の統一が必要であると判断される。
【０１２８】
・ステップＳ６：
ステップＳ５で処理対象エリアＢ０が設定されると、変曲点位置Ｐ１を共通変曲点Ｐｒの候補とする。
【０１２９】
・ステップＳ８〜Ｓ９：
共通変曲点Ｐｒ（変曲点位置Ｐ１）を確定し、撮像素子２２ａの変曲点を変曲点位置Ｐ２から共通変曲点Ｐｒに変更する。すなわち、高周波優先法では、高周波成分の多い方に変曲点を合わることで、共通変曲点を設定する。
【０１３０】
以上のように、高周波成分が相対的に多い画像信号を出力している撮像素子の変曲点を共通変曲点とすることで、各撮像素子の変曲点を統一して、精細な撮像や正確な画像処理が可能となる。また、これによって、ダイナミックレンジの調節も合わせて行われることになる。また、画像表示を行った場合の視覚的な違和感も軽減され、自然な画像が得られる。
【０１３１】
＜４−３．物標検出結果の利用＞
ここでは、物標検出結果を利用して共通変曲点の設定を行う場合の例を説明する。すなわち、物標検出結果としてより良好な結果が得られた変曲点を基準として、各撮像素子の共通変曲点を決定する。
【０１３２】
＜４−３−１．エッジ量検出法＞
この実施形態において「エッジ量検出法」と名付ける方法では、物標検出結果としてのエッジ量を特徴量として採用し、複数の画像信号のうちエッジ量がより多いと判断される変曲点を用いて共通変曲点を決定する。
【０１３３】
エッジ検出の具体的原理には様々なものがあるが、例えば、微分演算により勾配の大きさなどエッジの強さを導出した後、所定の閾値を適用して必要なエッジだけを抽出する方法が一般的である。画像にエッジ検出を施すことで、被写体の境界を示す連続する直線あるいは曲線が得られるため、エッジ検出を画像に施すことで処理すべきデータ量が大幅に削減され、相対的にあまり重要でない情報を排除しつつ、画像の構造的属性だけを保持することができる。
【０１３４】
図１１は、エッジ検出法を使用した物標検出結果による変曲点補正方法を説明する図である。図１１（ａ）は、撮像素子２１ａによって出力された光電変換特性のダイナミックレンジと変曲点位置Ｐ１とを示した図（左図）、および、撮像素子２２ａによって出力された光電変換特性のダイナミックレンジと変曲点位置Ｐ２とを示した図（右図）である。また、図１１（ｂ）は、画像Ｇ１のエッジ検出結果ＥＧ１を示した図（左図）、および、画像Ｇ２のエッジ検出結果ＥＧ２を示した図（右図）である。さらに、図１１（ｃ）は、撮像素子２１ａの変曲点位置Ｐ１を変曲点補正位置Ｐｒに設定した状態（左図）、および、撮像素子２２ａの変曲点を変曲点位置Ｐ２から変曲点補正位置Ｐｒに変更した状態（右図）をそれぞれ示した図である。
【０１３５】
図１１（ｂ）で示されるように、エッジ検出結果ＥＧ１は、同じ閾値の下、エッジ検出結果ＥＧ２に比べてエッジ数が多くカウントされる。また、図１１（ａ）で示される撮像素子２１ａ，２２ａの変曲点の位置を比較しても大きく異なり、撮像素子２１ａでは、変曲点位置Ｐ１が変曲点位置Ｐ２より出力限界ＭＯ近傍にあるためLinear特性領域が多く分布するのに対し、撮像素子２２ａでは、Linear特性領域が極めて少ない分布を示す。したがって、撮像素子２１ａの変曲点を変曲点位置Ｐ２から変曲点位置Ｐ１（変曲点補正位置Ｐｒ）に変更することで、変曲点位置Ｐ１を共通変曲点の位置とする。
【０１３６】
エッジ量検出法の場合、図７のフローのうちの主なステップの具体的内容は以下の通りである。
【０１３７】
・ステップＳ３：
解析エリアＲ１，Ｒ２のそれぞれにおいて、画像の空間的微分演算を行う。そして、所定の閾値よりも絶対値が大きな微分値を持つ線分をエッジとする。さらに検出したエッジの線分の総数、または検出したエッジの総延長を、エッジ数を表現する値として算出し、それらを特徴量ＣＨＡ１，ＣＨＡ２とする。
【０１３８】
・ステップＳ４：
特徴量ＣＨＡ１，ＣＨＡ２の差の絶対値が所定の閾値を超えたならば、変曲点の統一が必要であると判定する。
【０１３９】
・ステップＳ６：
特徴量ＣＨＡ１，ＣＨＡ２を相互に比較し、これらの中でより大きな特徴量を持つ撮像素子２１ａの変曲点Ｐ１を、共通変曲点Ｐｒの候補とする（図１１（ｃ））。
【０１４０】
・ステップＳ８〜Ｓ９：
共通変曲点Ｐｒを確定し、変曲点制御部３６６によって、撮像素子２１ａ，２２ａに共通に設定する。
【０１４１】
以上によって、双方の撮像素子２１ａ，２２ａで、より鮮明で画質の統一がとれた画像の組が得られるようになる。撮像素子２１ａ，２２ａのダイナミックレンジも統一される。
【０１４２】
以上のように、エッジ検出に基づく物標検出結果がより良好と判断される変曲点を用いて共通変曲点を決定することで、物標検出処理に適した共通変曲点を各撮像素子に設定可能である。また、これによって、ダイナミックレンジの調節も合わせて行われることになる。また、画像表示を行った場合の視覚的な違和感も軽減され、自然な画像が得られる。
【０１４３】
＜４−３−２．物標個数法＞
この実施形態において「物標個数法」と名付ける方法では、検出した物標の個数を特徴量とし、複数の画像信号のうち検出物標の個数が多い方の変曲点を用いて共通変曲点を決定する。
【０１４４】
すなわち、多くの個数の物標を検出した変曲点の方が、画像の信頼度が高いと考え、その変曲点を共通変曲点とする。
【０１４５】
物標個数法の場合、図７のフローのうちの主なステップの具体的内容は以下の通りである。
【０１４６】
・ステップＳ３：
第１および第２撮像画像Ｇ１，Ｇ２で設定された解析エリアについて、画像のエッジ線を検出する。そしてエッジ線で囲まれる閉領域を検出し、それぞれの閉領域をひとつの物標とみなす。第１撮像画像Ｇ１の解析エリア内で検出された物標の個数Ｎ１（特徴量ＣＨＡ１）と、第２撮像画像Ｇ２の解析エリアで検出された物標の個数Ｎ２（特徴量ＣＨＡ２）とを特定する。
【０１４７】
・ステップＳ４：
物標の個数Ｎ１とＮ２とが同一の場合には、変曲点を統一する必要はないと判定し、それらの間に違いあればステップＳ５，Ｓ６に移行する。
【０１４８】
・ステップＳ６：
ステップＳ５で処理対象エリアＢ０が設定されると、物標の個数Ｎ１、Ｎ２が相互に比較され、たとえばＮ１＞Ｎ２の場合には、撮像素子２１ａのその時点での変曲点を共通変曲点として採用する。
【０１４９】
・ステップＳ８〜Ｓ９：
共通変曲点Ｐｒ（変曲点位置Ｐ１）を確定し、撮像素子２２ａの変曲点を変曲点位置Ｐ２から共通変曲点Ｐｒに変更する。
【０１５０】
この物標個数法においても、エッジ量検出法と同様の効果が得られる。
【０１５１】
＜４−３−３．検出信頼度法＞
この実施形態において「検出信頼度法」と名付ける方法では、第１および第２撮像画像Ｇ１，Ｇ２のうち、解析エリアＲ１，Ｒ２内における物標検出の信頼度が高い方の撮像素子の現時点での変曲点を共通変曲点として採用し、撮像素子２１ａ，２２ａの変曲点をこの共通変曲点に統一する。物標検出の信頼度の評価には、たとえば公知のHough（ハフ）変換の投票数を用いることができる。
【０１５２】
検出信頼度法の場合、図７のフローのうちの主なステップの具体的内容は以下の通りである。
【０１５３】
・ステップＳ３：
画像Ｇ１，Ｇ２の微分演算によってエッジを抽出し、それぞれのエッジ画像を作成する。続いて、それぞれについてハフ変換投票処理を行ない、投票結果のピークを検出する。画像Ｇ１，Ｇ２についてのハフ変換の投票結果の最大ピーク値などを、信頼度を表現する特徴量ＣＨＡ１，ＣＨＡ２とする。
【０１５４】
・ステップＳ４：
特徴量ＣＨＡ１，ＣＨＡ２が同一の場合には、変曲点を統一する必要はないと判定し、それらの間に違いあればステップＳ５，Ｓ６に移行する。
【０１５５】
・ステップＳ６：
ステップＳ５で処理対象エリアＢ０が設定されると、特徴量ＣＨＡ１，ＣＨＡ２が相互に比較される。たとえば特徴量ＣＨＡ１の方が大きいならば、撮像素子２１ａのその時点での変曲点を共通変曲点として採用する。
【０１５６】
・ステップＳ８〜Ｓ９：
共通変曲点Ｐｒ（変曲点位置Ｐ１）を確定し、撮像素子２２ａの変曲点を変曲点位置Ｐ２から共通変曲点Ｐｒに変更する。
【０１５７】
以上のように、物標検出結果がより良好と判断される変曲点を用いて共通変曲点を決定することで、最適な共通変曲点を各撮像素子に設定可能である。また、これによって、ダイナミックレンジの調節も合わせて行われることになる。また、画像表示を行った場合の視覚的な違和感も軽減され、自然な画像が得られる。
【０１５８】
＜５．変形例＞
以上、本発明の実施形態について説明してきたが、本発明は、上記実施形態に限定されるものではなく、様々な変形が可能である。
【０１５９】
本実施形態では、説明の簡略化のために撮像系は２眼構成となっているが、これに限られず、複数眼あるいは複数台構成であれば適用可能である。また、カメラの台数が増えれば、変曲点を変更した場合の特徴量の変化を予測して共通変曲点の位置を決定する方法等が有効である。具体的に例えば、様々な変曲点候補となる場合に、変曲点の違いによる特徴量の変化を関数近似するなどし、最適な位置を推定することが可能となる。
【０１６０】
また、輝度分布を利用する場合に、解析エリア内の最大輝度のような輝度代表値を特徴量とすることもできる。例えば、全ての撮像素子の変曲点のうち、どの撮像素子も最大輝度が飽和しない範囲で、最も大きな入射光量に相当する変曲点を共通変曲点として採用するなどである。
【０１６１】
実施形態中で説明したように、共通変曲点は、複数の撮像素子のそれぞれにその時点で設定されている変曲点からの選択でもよく、各変曲点の補間や各変曲点を変数とする関数演算などによって、その時点での各変曲点とは異なる新たな変曲点として設定してもよい。
【０１６２】
共通変曲点の決定や撮像素子への設定は、撮像装置に内蔵したマイクロコンピュータや専用ハード回路で行ってもかまわない。すなわち、この発明の画像処理装置は撮像装置と別体となっていてもよく、一体化されていてもよい。
【０１６３】
ステレオカメラシステムにこの発明を適用した場合には、画像処理装置は、共通変曲点を設定した後の一対のステレオ画像に基づいて、３次元画像情報を生成する機能も備える。一対のステレオ画像間での対応点探索処理においても、双方の画像の画質や精度がほぼ統一されるため、対応点の探索精度が向上する。
【符号の説明】
【０１６４】
１ 画像処理システム
２ 撮像部
３ 画像処理装置
２０ 多視点カメラ
２１，２２ 撮像系
２１ａ，２２ａ 撮像素子
３６ 演算制御部
ＣＰ 変曲点
Ｐ１，Ｐ２ 変曲点（変曲点位置）
Ｐｒ 共通変曲点（変曲点補正位置）
ＢＲ１，ＢＲ２ 輝度分布
Ｇ１、Ｇ２ 撮像画像
Ｒ１，Ｒ２ 解析エリア
Ｂ０ 処理対象エリア
【特許請求の範囲】
【請求項１】
複数の撮像素子を備えた撮像手段から出力される複数の画像信号を処理するとともに、前記撮像手段の制御を行う画像処理装置であって、前記複数の撮像素子のそれぞれは、可変に設定可能な変曲点を境界として線形変換特性と対数変換特性との間で切り替る光電変換特性を有しているとともに、初期状態においては相互に異なった変曲点が前記複数の撮像素子に設定されており、
前記画像処理装置が、
前記撮像手段から出力される前記複数の画像信号のそれぞれの特徴量を抽出する特徴量抽出手段と、
前記複数の画像信号の特徴量に基づいて、所定の条件を満足する共通変曲点を決定する変曲点決定手段と、
前記複数の撮像素子を制御することにより、前記複数の撮像素子のそれぞれの前記変曲点を前記共通変曲点に統一する変曲点制御手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記特徴量は画像信号の輝度分布であり、各画像信号の輝度成分の分布範囲と各撮像素子の光電変換特性のダイナミックレンジとを整合させるように前記共通変曲点を決定することを特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理装置であって、
前記特徴量は画像信号の輝度分布であり、変曲点に相当する入力があった場合に出力される輝度値が、前記輝度分布のピークと重ならない様に前記共通変曲点を決定することを特徴とする画像処理装置。
【請求項４】
請求項１に記載の画像処理装置であって、
前記特徴量は画像信号の空間周波数情報であり、高周波成分が相対的に多い画像信号を出力している撮像素子の変曲点を前記共通変曲点として決定することを特徴とする画像処理装置。
【請求項５】
請求項１に記載の画像処理装置であって、
前記特徴量は物標検出結果であり、前記複数の画像信号のうち所定の良否判定基準によって物標検出結果がより良好と判断される変曲点を用いて前記共通変曲点を決定することを特徴とする画像処理装置。
【請求項６】
請求項１に記載の画像処理装置であって、
前記変曲点決定手段は、前記複数の撮像素子にその時点で個別に設定されているそれぞれの変曲点の中から、前記特徴量が所定の基準を満たしている１の変曲点を選択して前記共通変曲点とすることを特徴とする画像処理装置。
【請求項７】
請求項１に記載の画像処理装置であって、
前記変曲点決定手段は、前記複数の撮像素子にその時点で個別に設定されているそれぞれの変曲点の補間点を前記共通変曲点とすることを特徴とする画像処理装置。
【請求項８】
請求項１ないし請求項７のいずれかに記載の画像処理装置であって、
前記複数の画像信号で表現されるそれぞれの画像領域の一部に、前記特徴量抽出手段での特徴量抽出解析に用いる解析エリアを設定する解析エリア設定手段、
をさらに備えることを特徴とする画像処理装置。
【請求項９】
請求項１ないし請求項８のいずれかに記載の画像処理装置であって、
前記複数の画像信号で表現されるそれぞれの画像領域の一部に、前記共通変曲点の設定の対象となる対象エリアを決定する共通変曲エリア設定手段、
をさらに備えることを特徴とする画像処理装置。
【請求項１０】
請求項１ないし請求項９のいずれかに記載の画像処理装置であって、
前記特徴量に関する所定の判定基準に基づいて、前記複数の撮像素子の変曲点の統一の要否を判定し、前記共通変曲点の決定のための処理タイミングを決定するタイミング制御手段、
をさらに備えることを特徴とする画像処理装置。
【請求項１１】
請求項１０に記載の画像処理装置であって、
前記タイミング制御手段は、前記所定の判定基準による判定を繰り返して行い、前記特徴量が前記所定の判定基準に合致したときに、前記共通変曲点の決定の処理を実行することを特徴とする画像処理装置。
【請求項１２】
請求項１ないし請求項１１のいずれかに記載の画像処理装置であって、
前記撮像手段は多視点カメラであり、前記複数の画像信号は前記多視点カメラのそれぞれの出力画像信号であることを特徴とする画像処理装置。
【請求項１３】
請求項１ないし請求項１１のいずれかに記載の画像処理装置であって、
前記撮像部はステレオカメラであり、前記複数の画像信号は前記ステレオカメラのそれぞれの出力画像信号であることを特徴とする画像処理装置。
【請求項１４】
コンピュータにインストールされて実行されることによって、前記コンピュータを、請求項１ないし請求項１３のいずれかに記載の画像処理装置として機能させることを特徴とするプログラム。
【請求項１】
複数の撮像素子を備えた撮像手段から出力される複数の画像信号を処理するとともに、前記撮像手段の制御を行う画像処理装置であって、前記複数の撮像素子のそれぞれは、可変に設定可能な変曲点を境界として線形変換特性と対数変換特性との間で切り替る光電変換特性を有しているとともに、初期状態においては相互に異なった変曲点が前記複数の撮像素子に設定されており、
前記画像処理装置が、
前記撮像手段から出力される前記複数の画像信号のそれぞれの特徴量を抽出する特徴量抽出手段と、
前記複数の画像信号の特徴量に基づいて、所定の条件を満足する共通変曲点を決定する変曲点決定手段と、
前記複数の撮像素子を制御することにより、前記複数の撮像素子のそれぞれの前記変曲点を前記共通変曲点に統一する変曲点制御手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記特徴量は画像信号の輝度分布であり、各画像信号の輝度成分の分布範囲と各撮像素子の光電変換特性のダイナミックレンジとを整合させるように前記共通変曲点を決定することを特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理装置であって、
前記特徴量は画像信号の輝度分布であり、変曲点に相当する入力があった場合に出力される輝度値が、前記輝度分布のピークと重ならない様に前記共通変曲点を決定することを特徴とする画像処理装置。
【請求項４】
請求項１に記載の画像処理装置であって、
前記特徴量は画像信号の空間周波数情報であり、高周波成分が相対的に多い画像信号を出力している撮像素子の変曲点を前記共通変曲点として決定することを特徴とする画像処理装置。
【請求項５】
請求項１に記載の画像処理装置であって、
前記特徴量は物標検出結果であり、前記複数の画像信号のうち所定の良否判定基準によって物標検出結果がより良好と判断される変曲点を用いて前記共通変曲点を決定することを特徴とする画像処理装置。
【請求項６】
請求項１に記載の画像処理装置であって、
前記変曲点決定手段は、前記複数の撮像素子にその時点で個別に設定されているそれぞれの変曲点の中から、前記特徴量が所定の基準を満たしている１の変曲点を選択して前記共通変曲点とすることを特徴とする画像処理装置。
【請求項７】
請求項１に記載の画像処理装置であって、
前記変曲点決定手段は、前記複数の撮像素子にその時点で個別に設定されているそれぞれの変曲点の補間点を前記共通変曲点とすることを特徴とする画像処理装置。
【請求項８】
請求項１ないし請求項７のいずれかに記載の画像処理装置であって、
前記複数の画像信号で表現されるそれぞれの画像領域の一部に、前記特徴量抽出手段での特徴量抽出解析に用いる解析エリアを設定する解析エリア設定手段、
をさらに備えることを特徴とする画像処理装置。
【請求項９】
請求項１ないし請求項８のいずれかに記載の画像処理装置であって、
前記複数の画像信号で表現されるそれぞれの画像領域の一部に、前記共通変曲点の設定の対象となる対象エリアを決定する共通変曲エリア設定手段、
をさらに備えることを特徴とする画像処理装置。
【請求項１０】
請求項１ないし請求項９のいずれかに記載の画像処理装置であって、
前記特徴量に関する所定の判定基準に基づいて、前記複数の撮像素子の変曲点の統一の要否を判定し、前記共通変曲点の決定のための処理タイミングを決定するタイミング制御手段、
をさらに備えることを特徴とする画像処理装置。
【請求項１１】
請求項１０に記載の画像処理装置であって、
前記タイミング制御手段は、前記所定の判定基準による判定を繰り返して行い、前記特徴量が前記所定の判定基準に合致したときに、前記共通変曲点の決定の処理を実行することを特徴とする画像処理装置。
【請求項１２】
請求項１ないし請求項１１のいずれかに記載の画像処理装置であって、
前記撮像手段は多視点カメラであり、前記複数の画像信号は前記多視点カメラのそれぞれの出力画像信号であることを特徴とする画像処理装置。
【請求項１３】
請求項１ないし請求項１１のいずれかに記載の画像処理装置であって、
前記撮像部はステレオカメラであり、前記複数の画像信号は前記ステレオカメラのそれぞれの出力画像信号であることを特徴とする画像処理装置。
【請求項１４】
コンピュータにインストールされて実行されることによって、前記コンピュータを、請求項１ないし請求項１３のいずれかに記載の画像処理装置として機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１１−２２９０５４（Ｐ２０１１−２２９０５４Ａ）
【公開日】平成２３年１１月１０日（２０１１．１１．１０）
【国際特許分類】
【出願番号】特願２０１０−９８５８０（Ｐ２０１０−９８５８０）
【出願日】平成２２年４月２２日（２０１０．４．２２）
【出願人】（３０３０００４０８）コニカミノルタオプト株式会社 (3,255)
【Ｆターム（参考）】
【公開日】平成２３年１１月１０日（２０１１．１１．１０）
【国際特許分類】
【出願日】平成２２年４月２２日（２０１０．４．２２）
【出願人】（３０３０００４０８）コニカミノルタオプト株式会社 (3,255)
【Ｆターム（参考）】
[ Back to top ]