画像処理装置、そのプログラム、画像処理システム、および画像処理方法
【課題】立体画像における色情報のずれが低減され得る技術を提供する。
【解決手段】画像処理装置は、互いに異なる方向から同一の被写体がそれぞれ撮影された第１画像と第２画像とを取得する取得部と、第１画像と第２画像とからそれぞれ派生する第１派生画像と第２派生画像とによって構成される立体画像を生成する生成部とを備える。第１画像と第２画像とのうち少なくとも第１画像がカラー画像であり、生成部が、第１画像と第２画像とのうち第１画像のみの色情報に基づいて立体画像の色情報を生成する。
【解決手段】画像処理装置は、互いに異なる方向から同一の被写体がそれぞれ撮影された第１画像と第２画像とを取得する取得部と、第１画像と第２画像とからそれぞれ派生する第１派生画像と第２派生画像とによって構成される立体画像を生成する生成部とを備える。第１画像と第２画像とのうち少なくとも第１画像がカラー画像であり、生成部が、第１画像と第２画像とのうち第１画像のみの色情報に基づいて立体画像の色情報を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、色情報のずれが低減された立体画像を生成する技術に関する。
【背景技術】
【０００２】
近年、表示される画像を立体視可能な三次元テレビなどの三次元表示装置の普及が進んでおり、三次元表示装置用の立体視可能な左目用および右目用のカラー画像の画像群（立体画像）を容易に生成し得る技術が望まれている。
【０００３】
このような技術として、例えば、特許文献１には、高解像度カメラによって撮影された高解像度のカラー画像と、低解像度のカメラによって撮影された低解像度のカラー画像とを用いて高解像度のカラーの立体画像を生成する画像処理装置が示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−２４４９１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の画像処理装置には、生成された立体画像を構成する左右の画像間で、左右のカメラの特性の差異に起因した色情報のずれが発生することがある。このため、立体画像の観察者が立体画像の色情報の違いに起因したちらつき感を覚えるといった問題がある。
【０００６】
本発明は、こうした問題を解決するためになされたもので、立体画像における色情報のずれを低減し得る技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の課題を解決するため、第１の態様に係る画像処理装置は、互いに異なる方向から同一の被写体がそれぞれ撮影された第１画像と第２画像とを取得する取得部と、前記第１画像と前記第２画像とからそれぞれ派生する第１派生画像と第２派生画像とによって構成される立体画像を生成する生成部とを備え、前記第１画像と前記第２画像とのうち少なくとも前記第１画像がカラー画像であり、前記生成部が、前記第１画像と前記第２画像とのうち前記第１画像のみの色情報に基づいて前記立体画像の色情報を生成することを特徴とする。
【０００８】
第２の態様に係る画像処理装置は、第１の態様に係る画像処理装置であって、前記第１画像と前記第２画像との間で対応点探索処理を行うことによって前記第２画像の各基準画素にそれぞれ対応した前記第１画像の各対応画素をそれぞれ特定する探索部をさらに備え、前記生成部が、前記各基準画素のうち１の基準画素と、前記各対応画素のうち該１の基準画素に対応した１の対応画素とについて、前記第２派生画像における該１の基準画素に対応した画素の色情報を該１の対応画素の色情報に基づいて生成する処理を、前記各基準画素のそれぞれに対して行なうことを特徴とする。
【０００９】
第３の態様に係る画像処理装置は、第２の態様に係る画像処理装置であって、前記探索部が、前記第１画像と前記第２画像とのそれぞれの輝度情報に基づいて前記対応点探索処理を行うことを特徴とする。
【００１０】
第４の態様に係る画像処理装置は、第１から第３の何れか１つの態様に係る画像処理装置であって、前記第２画像が、輝度画像を生成する撮像系によって撮影された輝度画像であることを特徴とする。
【００１１】
第５の態様に係る画像処理装置は、第１から第４の何れか１つの態様に係る画像処理装置であって、前記生成部が、前記第１画像の色情報に基づいて前記第２派生画像の色情報を生成するとともに、前記第２画像の輝度情報に基づいて前記第２派生画像の輝度情報を生成することを特徴とする。
【００１２】
第６の態様に係る画像処理装置は、第１から第４の何れか１つの態様に係る画像処理装置であって、前記生成部が、前記第１画像の色情報に基づいて前記第２派生画像の色情報を生成するとともに、前記第１画像の輝度情報に基づいて前記第２派生画像の輝度情報を生成することを特徴とする。
【００１３】
第７の態様に係る画像処理装置は、第１から第４の何れか１つの態様に係る画像処理装置であって、前記生成部が、前記第１画像の色情報に基づいて前記第２派生画像の色情報を生成するとともに、前記第１画像と前記第２画像とのそれぞれの輝度情報に基づいて前記第２派生画像の輝度情報を生成することを特徴とする。
【００１４】
第８の態様に係る画像処理装置は、第２から第７の何れか１つの態様に係る画像処理装置であって、前記１の基準画素についての前記対応点探索処理の信頼度を判定する判定部と、該信頼度が予め設定された基準値よりも低いと判定された場合に、前記１の基準画素に対応した別の基準画素を前記第２画像において探索して特定する特定部とを更に備え、前記生成部が、前記別の基準画素に対応した前記第１画像における対応画素の色情報に基づいて前記１の基準画素に対応した前記第２派生画像における画素の色情報を生成することを特徴とする。
【００１５】
第９の態様に係る画像処理装置は、第８の態様に係る画像処理装置であって、前記特定部が、前記１の基準画素からの前記別の基準画素の候補画素の距離が近ければ近いほど該候補画素が前記別の基準画素として特定され易くなるように該候補画素についての探索処理の信頼度に重み付け処理を行なうことによって前記別の基準画素を特定することを特徴とする。
【００１６】
第１０の態様に係る画像処理装置は、第２から第７の何れか１つの態様に係る画像処理装置であって、前記取得部が、前記第１画像と前記第２画像とにそれぞれ対応した時系列の第１画像と時系列の第２画像とを取得するとともに、前記生成部が、前記時系列の第１画像と前記時系列の第２画像とからそれぞれ派生する時系列の第１派生画像と時系列の第２派生画像とにより構成される時系列の立体画像を生成し、前記１の基準画素についての前記対応点探索処理の信頼度を判定する判定部と、該信頼度が予め設定された基準値よりも低いと判定された場合に、前記１の基準画素に対応した別の基準画素を前記時系列の第２画像において探索して特定する特定部とを更に備え、前記生成部が、前記別の基準画素に対応した前記時系列の第１画像における画素の色情報に基づいて前記１の基準画素に対応した前記第２派生画像における画素の色情報を生成することを特徴とする。
【００１７】
第１１の態様に係る画像処理装置は、第２から第７の何れか１つの態様に係る画像処理装置であって、前記１の基準画素からの距離が予め設定された基準値以下となる複数の画素を前記第２画像において特定する特定部を更に備え、前記生成部が前記複数の画素にそれぞれ対応した前記第１画像における複数の対応画素の色情報に基づいて前記１の基準画素の色情報を生成する生成処理を、前記各基準画素のそれぞれに対して行なうことを特徴とする。
【００１８】
第１２の態様に係る画像処理装置は、第１１の態様に係る画像処理装置であって、前記生成部が、前記１の基準画素についての前記対応点探索処理の信頼度に応じた重み付け処理を前記１の対応画素の色情報に対して行なうことによって前記生成処理を行なうことを特徴とする。
【００１９】
第１３の態様に係る画像処理システムは、第１から第１２の何れか１つの態様に係る画像処理装置と、前記第１の画像を撮像する第１撮像系と、前記第２画像を撮像する第２撮像系とを備えたことを特徴とする。
【００２０】
第１４の態様に係るプログラムは、画像処理装置に搭載されたコンピューターにおいて実行されることにより当該画像処理装置を第１から第１２の何れか１つの態様に係る画像処理装置として機能させることを特徴とする。
【００２１】
第１５の態様に係る画像処理方法は、互いに異なる方向から同一の被写体がそれぞれ撮影された第１画像と第２画像とを取得する取得工程と、前記第１画像と前記第２画像とからそれぞれ派生する第１派生画像と第２派生画像とによって構成される立体画像を生成する生成工程とを備え、前記第１画像と前記第２画像とのうち少なくとも前記第１画像がカラー画像であり、前記生成工程において、前記第１画像と前記第２画像とのうち前記第１画像のみの色情報に基づいて前記立体画像の色情報が生成されることを特徴とする。
【発明の効果】
【００２２】
第１から第１５の何れの態様に係る発明によっても、第１画像と第２画像とのうちカラー画像である第１画像のみの色情報に基づいて第１派生画像と第２派生画像とによって構成される立体画像の色情報が生成されるので、立体画像における色情報のずれが低減され得る。
【図面の簡単な説明】
【００２３】
【図１】実施形態に係る画像処理システムの構成例を示す機能ブロック図である。
【図２】実施形態に係る画像処理装置の要部の構成例を示す機能ブロック図である。
【図３】入力画像と出力画像との説明をするための図である。
【図４】入力画像と出力画像との説明をするための図である。
【図５】入力画像の色空間の変換の概念を説明するための図である。
【図６】色空間の変換による出力画像の生成の概念を説明するための図である。
【図７】出力画像の生成処理を説明するための図である。
【図８】出力画像の生成処理を説明するための図である。
【図９】出力画像の生成処理を説明するための図である。
【図１０】ＳＡＤ法を用いた対応点探索の例を説明する図である。
【図１１】ＳＡＤ法における参照ウィンドウの走査態様を例示する図である。
【図１２】出力画像の生成処理を説明するための図である。
【図１３】時系列画像の概念を説明するための図である。
【図１４】出力画像の生成処理を説明するための図である。
【図１５】累積ヒストグラムを用いた変換用ガンマテーブルの生成処理を説明するための図である。
【図１６】対象画像の輝度の変換用ガンマテーブルの１例を示す図である。
【図１７】目標画像の輝度の変換用ガンマテーブルの１例を示す図である。
【図１８】実施形態に係る画像処理装置の動作フローの１例を示す図である。
【図１９】実施形態に係る画像処理装置の動作フローの１例を示す図である。
【発明を実施するための形態】
【００２４】
＜実施形態について：＞
以下、本発明の一実施形態を図面に基づいて説明する。図面では同様な構成および機能を有する部分に同じ符号が付され、下記説明では重複説明が省略される。また、各図面は模式的に示されたものであり、例えば、各図面における画像上の表示物のサイズおよび位置関係等、ならびに各図面における画像の画素数等は必ずしも正確に図示されたものではない。また、画像データ（画像信号）と、該画像データに基づいて表示される画像とをまとめて「画像」と適宜総称する。更に、各図面では、画像の左上の画素が原点とされ、該画像の長辺に沿った方向（ここでは、横方向）がＸ軸方向とされ、該画像の短辺に沿った方向（ここでは縦方向）がＹ軸方向とされる。なお、図７から図１２および図１４には直交するＸＹの２軸が付されている。
【００２５】
＜（１）画像処理システム１００Ａについて＞
図１は、実施形態に係る画像処理装置２００Ａを用いた画像処理システム１００Ａの構成例を示す機能ブロック図である。図１に示されるように、画像処理システム１００Ａは、ステレオカメラ３００と画像処理装置２００Ａとを主に備えて構成されている。画像処理システム１００Ａでは、被写体７０をステレオカメラ３００が撮影することにより取得した入力画像１（「第１画像」）および入力画像２（「第２画像」）を画像処理装置２００Ａの取得部１２（図２）が取得する。入力画像１および２のうち少なくとも入力画像１はカラー画像である。画像処理装置２００Ａの生成部１５（図２）は、入力画像１および２を処理することによって入力画像１から派生する出力画像３（「第１派生画像」）および入力画像２から派生する出力画像４（「第２派生画像」）を生成する。出力画像３および４は、それぞれカラー画像であり、被写体７０についてのカラーの立体画像２９を構成する。なお、生成部１５は、入力画像１と入力画像２とのうち入力画像１のみの色情報に基づいて立体画像２９の色情報を生成する。すなわち、画像処理装置２００Ａは、２つの入力画像のうち１つのカラー画像のみの色情報に基づいて立体画像２９の色情報を生成する。生成された立体画像２９は、画像処理装置２００Ａの表示部４３に表示される。
【００２６】
＜（１−１）ステレオカメラ３００について＞
図１に示されるように、ステレオカメラ３００は、撮影によりカラー画像を生成するカラーカメラである第１カメラ６１と、撮影により輝度画像（モノクロ画像）を生成するモノクロカメラである第２カメラ６２とを主に備えて構成されている。第１カメラ６１は、不図示の撮影光学系と、カラー撮像素子を有する制御処理回路とを主に備えて構成されており、第２カメラ６２は、不図示の撮影光学系と、モノクロ撮像素子を有する制御処理回路とを主に備えて構成されている。第１カメラ６１と第２カメラ６２とは、所定の基線長を隔てて設けられており、互いに異なる方向から同一の被写体をそれぞれ撮影し、入力画像１および２をそれぞれ生成して取得する。すなわち、入力画像１および２は、互いに異なる方向から同一の被写体がそれぞれ撮影された画像であり、入力画像１および２には、互いに対応する画像内容が含まれている。
【００２７】
第１カメラ６１のカラー撮像素子は、三原色であるＲ（赤）、Ｇ（緑）、Ｂ（青）の光をそれぞれ透過可能なカラーフィルタが積層された、例えば、横３４５６×縦２５９２の画素からなるＣＭＯＳイメージセンサ、またはＣＣＤイメージセンサ等の撮像素子である。Ｒ（赤）、Ｇ（緑）、Ｂ（青）の光にそれぞれ対応した各カラーフィルターは、該カラー撮像素子上において、例えば、ＲＧＢベイヤー配列により配列されている。
【００２８】
該カラー撮像素子は、撮影光学系により結像された被写体の光像を、該光像の光量に応じてＲＧＢの各色成分の画像信号（各画素で受光された画素信号の信号列からなる信号）に光電変換して出力する。制御処理回路は、該画像信号に対して、所定のタイミングでデジタル化処理を行なうとともに、各色成分に対応したカラーフィルターがベイヤー配列されたことによって生じる、各色成分における欠落画素を補間するための補間処理などを実行する。該補間処理によって、該制御処理回路は、例えば、横３４５６×縦２５９２画素の画素サイズの所定のビット数の階調を有するデジタルのカラー画像である入力画像１を生成して取得する。入力画像１の各画素の画素値としては、Ｒ、Ｇ、Ｂの３つの色成分に対応した画素値であるＲ値（Ｒ信号）、Ｇ値（Ｇ信号）、およびＢ値（Ｂ信号）のそれぞれが設定される。
【００２９】
第２カメラ６２のモノクロ撮像素子は、例えば、Ｒ，Ｇ，Ｂの三原色の全ての光を透過する透明なフィルターが積層された、例えば、横３４５６×縦２５９２などの所定の画素数の画素からなるＣＭＯＳイメージセンサ、またはＣＣＤイメージセンサ等の撮像素子である。該モノクロ撮像素子は、撮影光学系により結像された被写体の光像を、該光像の光量に応じた輝度成分の画像信号（各画素で受光された画素信号の信号列からなる信号）に光電変換して出力する。制御処理回路は、該画像信号に対して、所定のタイミングでデジタル化処理などを実行し、横３４５６×縦２５９２などの所定の画素サイズの所定のビット数の階調を有するデジタルのモノクロ画像（輝度画像）である入力画像２を生成して取得する。入力画像２の各画素の画素値としては、輝度に対応した画素値であるＹ値（Ｙ信号）が設定される。
【００３０】
ステレオカメラ３００の各種動作は、画像処理装置２００Ａから入出力部４１（図２）および通信回線ＤＬ（図１、図２）を介して供給される制御信号に基づいて制御される。通信回線ＤＬは、有線の回線であっても無線の回線であっても良い。また、生成された入力画像１および２は、通信回線ＤＬを介して画像処理装置２００Ａの入出力部４１へと供給される。また、ステレオカメラ３００は、第１カメラ６１と第２カメラ６２との同期をとりつつ被写体を時間順次に連続的に撮影することによって、時系列画像である複数の入力画像１および複数の入力画像２を生成することもできる。
【００３１】
なお、入力画像１および２の画素数が互いに等しいとしても、また、異なるとしても本発明の有用性を損なうものではない。また、第１カメラ６１と第２カメラ６２とがそれぞれカラー画像を生成するカラーカメラであるとしても本発明の有用性を損なうものではない。この場合には、入力画像１および２はともにカラー画像であり、入力画像１と入力画像２とのうち何れか一方の画像のみの色情報に基づいて出力画像３および４の色情報が生成される。
【００３２】
また、第１カメラ６１と第２カメラ６２とのうち一方がモノクロカメラであれば、両方ともカラーカメラである場合に比べて、低コストでカラーの立体画像を生成することができる。
【００３３】
図３および図４は、入力画像１および２と、出力画像３および４との説明をするための図である。なお、図３に示される各画像における被写体の像は、図示の都合上、その輪郭のみが表示されている。
【００３４】
図３に示されるように入力画像１、２には、近景の被写体と遠景の被写体とを含む共通の被写体がそれぞれ撮影されている。近景被写体像６６ａ（図３）は、入力画像１における該近景被写体の画像であり、近景被写体像６６ｂ（図３）は、入力画像２における該近景被写体の画像である。入力画像１における近景被写体像６６ａの周囲と、入力画像２における近景被写体像６６ｂの周囲とのそれぞれには、該近景被写体の背景が、背景被写体像として撮影されている。入力画像１および２の間では、第１カメラ６１と第２カメラ６２との基線長に起因した視差が存在しており、特に近景被写体像６６ａおよび６６ｂの間での視差が顕著となっている。
【００３５】
図４に示されるように、入力画像１は各画素が、Ｒ、Ｇ、Ｂの三原色にそれぞれ対応した所定ビット数で表現されたＲ値、Ｇ値、Ｂ値を画素値としてそれぞれ有するカラー画像、すなわちＲＧＢの色空間で表現されたカラー画像である。また、入力画像２は、各画素が、所定ビット数で表現された輝度Ｙ（Ｙ値）を画素値として有する輝度画像（モノクロ画像）である。
【００３６】
出力画像３および４は、入力画像１および２からそれぞれ派生した画像であり、立体画像２９を構成している。図３に示されるように、出力画像３に撮影された各被写体の像の輪郭は、入力画像１に撮影された各被写体の像の輪郭と等しく、出力画像４に撮影された各被写体の像の輪郭は、入力画像２に撮影された各被写体の像の輪郭と等しい。例えば、図３に示されるように入力画像１の近景被写体像６６ａと、出力画像３における近景被写体像６６ｃとは画像空間における位置が等しい。また、入力画像２の近景被写体像６６ｂと、出力画像４の近景被写体像６６ｄとは画像空間における位置が等しい。なお、図４に示されるように出力画像３および４は、ともに、ＲＧＢの色空間で表現されたカラー画像である。
【００３７】
なお、図３および図４に示されるように、入力画像１から派生した出力画像３として入力画像１自体が採用されたとしても本発明の有用性を損なうものではない。本願においては、出力画像３として入力画像１自体が採用された場合を例として主に説明を行なう。
【００３８】
＜（１−２）画像処理装置２００Ａについて＞
図１に示されるように、画像処理装置２００Ａは、ＣＰＵ１１Ａ、入出力部４１、操作部４２、表示部４３、ＲＯＭ４４、ＲＡＭ４５および記憶装置４６を主に備えて構成されており、例えば、汎用のコンピューターでプログラムを実行することなどによって実現される。
【００３９】
入出力部４１は、例えばＵＳＢインタフェース、またはＢｌｕｅｔｏｏｔｈ（登録商標）インタフェースなどの入出力インタフェース、マルチメディアドライブ、およびネットワークアダプタなどのＬＡＮやインターネットに接続するためのインタフェースなどを備えて構成され、ＣＰＵ１１Ａとの間でデータの授受を行うものである。具体的には、入出力部４１は、例えば、ＣＰＵ１１Ａがステレオカメラ３００を制御するための各種の制御信号を、通信回線ＤＬなどを介して入出力部４１に接続されたステレオカメラ３００へと供給する。また、入出力部４１は、ステレオカメラ３００が撮影した入力画像１および入力画像２を画像処理装置２００Ａへとそれぞれ供給する。なお、入出力部４１は、予め入力画像１および入力画像２が記憶された光ディスクなどの記憶媒体を受け付けることなどによっても、入力画像１および入力画像２を画像処理装置２００Ａにそれぞれ供給する。
【００４０】
操作部４２は、例えば、キーボードあるいはマウスなどによって構成されており、操作者が操作部４２を操作することによって、画像処理装置２００Ａへの各種制御パラメータの設定、画像処理装置２００Ａの各種動作モードの設定などが行われる。また、画像処理装置２００Ａの機能部は、操作部４２から設定される各動作モードに応じた処理を行うことができるように構成されている。
【００４１】
表示部４３は、例えば、パララックスバリア方式などの３次元表示方式に対応した３次元表示用の液晶表示画面などによって構成される。また、表示部４３は、出力画像３と出力画像４とによって構成される立体画像２９を表示部４３における３次元表示方式に対応した画像形式に変換する不図示の画像処理部を備えている。表示部４３は、該画像処理部によって必要な変換処理が施された該立体画像をその表示画面に表示する。表示部４３における３次元表示方式として、例えば、左目用画像および右目用画像を交互に高速で切り替えて表示部４３に表示するとともに、該切り替えに同期して、左目および右目にそれぞれ対応した各シャッター部を交互に開閉可能な専用めがねを介して表示部４３に表示された立体画像が観察される三次元表示方式が採用されてもよい。なお、表示部４３は、ステレオカメラ３００から供給される画像、画像処理装置２００Ａが生成した画像、画像処理装置２００Ａに関する各種設定情報、および制御用ＧＵＩ（Graphical User Interface）などを、二次元の画像や文字情報として観察者に視認され得るように表示することもできる。
【００４２】
ＲＯＭ（Read Only Memory）４４は、読出し専用メモリであり、ＣＰＵ１１Ａを動作させるプログラムＰＧ１などを格納している。なお、読み書き自在の不揮発性メモリ（例えば、フラッシュメモリ）が、ＲＯＭ４４に代えて使用されてもよい。
【００４３】
ＲＡＭ（Random Access Memory）４５は、読み書き自在の揮発性メモリであり、画像処理装置２００Ａが取得した各種画像、ならびに画像処理装置２００Ａが生成する立体画像２９などを一時的に記憶する画像格納部、ＣＰＵ１１Ａの処理情報を一時的に記憶するワークメモリなどとして機能する。なお、後述するＣＰＵ１１Ａにおける各機能部の間での画像（画像データ）の授受は、ＲＡＭ４５を介して行なわれる。
【００４４】
記憶装置４６は、例えば、フラッシュメモリなどの読み書き自在な不揮発性メモリやハードディスク装置等によって構成されており、画像処理装置２００Ａの各種制御パラメータや各種動作モードなどの情報を恒久的に記録する。
【００４５】
ＣＰＵ（Central Processing Unit）１１Ａは、画像処理装置２００Ａの各機能部を統轄制御する制御処理装置であり、ＲＯＭ４４に格納されたプログラムＰＧ１などに従った制御および処理を実行する。ＣＰＵ１１Ａは、図２を用いて後述するように、取得部１２、変換部１３、探索部１４、生成部１５、判定部１６、および特定部１７としても機能する。ＣＰＵ１１Ａは、これらの機能部などによって、カラー画像である入力画像１および輝度画像である入力画像２をそれぞれ処理することによって、それぞれカラー画像である出力画像３および４（立体画像２９）を生成する。なお。画像処理装置２００Ａは、入力画像１と入力画像２とのうち入力画像１のみの色情報に基づいて立体画像２９の色情報を生成する。また、ＣＰＵ１１Ａは、ステレオカメラ３００の撮像動作の制御を行うとともに、表示部４３を制御して、各種画像、算出結果、および各種制御情報などを表示部４３に表示させる。
【００４６】
また、ＣＰＵ１１Ａ、入出力部４１、操作部４２、表示部４３、ＲＯＭ４４、ＲＡＭ４５、記憶装置４６等のそれぞれは、信号線４９を介して電気的に接続されている。したがって、ＣＰＵ１１Ａは、例えば、入出力部４１を介したステレオカメラ３００の制御およびステレオカメラ３００からの画像情報の取得、および表示部４３への表示等を所定のタイミングで実行できる。なお、図２に示される構成例では、取得部１２、変換部１３、探索部１４、生成部１５、判定部１６、および特定部１７などの各機能部は、ＣＰＵ１１Ａで所定のプログラムを実行することによって実現されているが、これらの各機能部はそれぞれ、例えば、専用のハードウェア回路などによって実現されてもよい。
【００４７】
＜（１−３）画像処理装置２００Ａの要部の構成について＞
図２は、実施形態に係る画像処理装置２００Ａの要部の構成例を示す機能ブロック図である。
【００４８】
○取得部１２：
図２に示される取得部１２は、入出力部４１から供給されるカラー画像である入力画像１および輝度画像（モノクロ画像）である入力画像２を取得する。入力画像１は、変換部１３および特定部１７に供給され、入力画像２は、探索部１４、特定部１７、および生成部１５へと供給される。
【００４９】
○変換部１３：
図２に示される変換部１３は、入力画像１に対して、ＲＧＢ色空間を輝度色差系の色空間であるＹＵＶ色空間に変換する変換処理を施すことによって、色情報画像（色差画像）５（図５）と輝度画像６（図５）とを生成して取得する。色情報画像５および輝度画像６は、探索部１４および生成部１５に供給される。
【００５０】
○探索部１４：
図２に示される探索部１４は、入力画像１と入力画像２との間で対応点探索処理を行うことによって入力画像２における各基準画素にそれぞれ対応した入力画像１の各対応画素をそれぞれ特定する。具体的には、探索部１４は、入力画像（輝度画像）２と輝度画像６との間で対応点探索処理を行なうことによって、入力画像２における各基準画素にそれぞれ対応した入力画像１の各対応画素をそれぞれ特定する。すなわち、探索部１４は、入力画像１と入力画像２とのそれぞれの輝度情報に基づいて該対応点探索処理を行う。特定された各基準画素および各対応画素の座標情報、各基準画素と各対応画素との対応情報などの探索結果の情報は、生成部１５へと供給される。また、各対応画素の特定に係る対応点探索処理において取得される対応点探索処理の信頼度Ｒ１（図１０）は、判定部１６へと供給される。
【００５１】
なお、入力画像１と入力画像２との画素数が異なる場合には、探索部１４は、例えば、画素数の拡張処理等によって画素数を同じにする処理、または画素サイズ以下のサブピクセル単位での対応点探索処理などによって、入力画像１と入力画像２との間で対応点探索処理を行う。
【００５２】
○生成部１５：
図２に示される生成部１５は、例えば、入力画像２、色情報画像５、および輝度画像６などを予め設定された動作モードに応じて適宜処理することによって、立体画像２９（図３、図４）を生成する。なお、立体画像２９の色情報は、入力画像１と入力画像２とのうちカラー画像である入力画像１のみの色情報に基づいて生成される。生成された立体画像２９は、表示部４３に表示される。
【００５３】
なお、生成部１５は、後述するように、判定部１６、および特定部１７の動作に応じて立体画像２９を生成することもできる。
【００５４】
○判定部１６：
図２に示される判定部１６は、予め設定された画像処理装置２００Ａの動作モードに応じて対応点探索処理の信頼度の判定用の基準値Ｔ１（図１０）を記憶装置４６から取得し、探索部１４から供給された対応点探索処理の信頼度Ｒ１（図１０）が予め設定された基準値Ｔ１よりも低いか否かを判定する。該判定結果は、特定部１７および生成部１５へと供給される。
【００５５】
○特定部１７：
図２に示される特定部１７は、判定部１６から供給された信頼度の判定結果が、予め設定された基準値Ｔ１よりも低いと判定された判定結果であった場合に、入力画像２における１の基準画素に対応した別の基準画素を入力画像１において探索して特定する処理などを行なう。該特定処理の結果は、生成部１５へと供給される。
【００５６】
＜（２）画像処理装置２００Ａの動作について＞
図１８は、実施形態に係る画像処理装置２００Ａが立体画像２９（出力画像３および４）を生成する動作フローＳ１０Ａの１例を示す図である。以下に、図１８を適宜参照しつつ、画像処理装置２００Ａの動作について説明する。なお、画像処理装置２００Ａの各機能部は、処理対象である入力画像１および２の画素数が異なる場合には、補間、間引き、および平均化の各処理のうち少なくとも１つの処理によって、画素数が相互に異なる画像間での処理を行なう。
【００５７】
＜（２−１）ステップＳ１０：取得工程＞
画像処理装置２００Ａからの指示に応じたステレオカメラ３００による被写体７０の撮影動作によって、入力画像１および２が取得されて画像処理装置２００Ａに供給されると、取得部１２（図２）は、入出力部４１を介してカラー画像である入力画像１および輝度画像（モノクロ画像）である入力画像２を取得する（図１８のステップＳ１０）。
【００５８】
＜（２−２）ステップＳ２０：変換工程＞
図５は、ＲＧＢ色空間で表現されたカラー画像である入力画像１の色空間の変換の概念を説明するための図である。ステップＳ１０において入力画像１および２が取得されると、変換部１３（図２）は、入力画像１に対して、例えば下記の（１）式〜（３）式によって、ＲＧＢ色空間を輝度色差系の色空間であるＹＵＶ色空間に変換する変換処理を施すことによって、色情報画像（色差画像）５（図５）と輝度画像６（図５）とを生成して取得する（図１８のステップＳ２０）。色情報画像５は、各画素について、色情報Ｕ、Ｖのそれぞれを各画素値とする画像である。また、輝度画像６は、輝度Ｙを各画素の画素値とする画像である。
【００５９】
なお、本願においては、（２）式および（３）式によってそれぞれ算出される色差Ｕ、Ｖ（ＵＶ信号）と、値Ｒ、Ｇ、Ｂ（ＲＧＢ信号）の総称として「色情報」という用語を使用する。また、ＲＧＢ色空間からＹＵＶ色空間への変換処理は数種類あり、（１）式〜（３）式に示される変換は、その一手法である。
【００６０】
【数１】
【００６１】
＜（２−３）ステップＳ３０：探索工程＞
ステップＳ２０において輝度画像６が生成されると、探索部１４（図２）は、入力画像１と入力画像２との間で対応点探索処理を行うことによって入力画像２における各基準画素にそれぞれ対応した入力画像１の各対応画素をそれぞれ特定する（図１８のステップＳ３０）。ここで、探索部１４は、入力画像（輝度画像）２と入力画像１との間で、それぞれの輝度情報に基づいて該対応点探索処理を行う。すなわち、探索部１４は、入力画像（輝度画像）２と、入力画像１についての輝度情報を表現した輝度画像６との間で対応点探索処理を行うことによって、入力画像２における各基準画素にそれぞれ対応した入力画像１の各対応画素をそれぞれ特定する。
【００６２】
該対応点探索処理は、ＮＣＣ（Normalized Cross Correlation）法、ＳＡＤ（Sum of Absolute Difference）法、またはＰＯＣ（Phase Only Correlation）法などの相関演算手法を用いたパターンマッチング処理により互いに対応づけられる各領域の代表点を特定する処理などにより行なわれ得る。以下に、一例として、ＳＡＤ法を用いた対応点探索処理を説明する。
【００６３】
○ＳＡＤ法を用いた対応点探索：
図１０は、ＳＡＤ法を用いた対応点探索の例を説明する図である。図１０に示される入力画像２上にはＸ座標がｈ２である基準画素２１が設定されており、基準画素２１に対して基準ウィンドウ５１が設定されている。基準ウィンドウ５１のＸ方向の両端のＸ座標は、ｈ１とｈ３である。また、入力画像１に対応した輝度画像６上には、基準画素２１に対応する対応画素２３が示されている。
【００６４】
ここでは、ＳＡＤ法を用いて対応画素２３を求める例について説明する。輝度画像６上には、Ｘ座標がｘｓである探索基準点２２ｓからＸ座標がｘｅである探索基準点２２ｅまで、Ｘ座標がｘｓ≦ｘ≦ｘｅの範囲で１画素ごとに複数の探索基準点が設定されており、これら複数の探索基準点の代表として両端の探索基準点２２ｓ、２２ｅのみが記載されている。また、該複数の探索基準点には、それぞれ基準ウィンドウ５１と同サイズの複数の参照ウィンドウが設定されており、該複数の参照ウィンドウの代表として両端の参照ウィンドウ５２ｓ、５２ｅのみが記載されている。
【００６５】
ここで、図１０においては説明を簡単にするため、基準画素２１と複数の探索基準点２２ｓ〜２２ｅのＹ座標は同じであり、従って、基準ウィンドウ５１と、参照ウィンドウ５２ｓ〜５２ｅのＹ方向の座標のずれ量は無いように設定されている。また、基準画素２１と、求められるべき対応画素２３のＹ座標も一致するように設定されている。
【００６６】
次に、参照ウィンドウ５２ｓ〜５２ｅの各参照ウィンドウ内の各画像と、基準ウィンドウ５１内の画像との相関値を演算する。基準ウィンドウと参照ウィンドウのＸ方向、Ｙ方向の座標のずれ量（視差）をそれぞれ視差ｘｄ、ｙｄとする。図１０の例では、視差ｘｄの範囲はｘｓ−ｈ２〜ｘｅ−ｈ２であり、視差ｙｄは０である。
【００６７】
基準ウィンドウ５１内の各画素（xｉ，yｊ）の画素値をＩｍｇ１（xｉ，yｊ）、Ｘ方向、Ｙ方向の視差が、視差ｘｄ、ｙｄである参照ウィンドウ５２内の各画素（ｘｉ＋ｘｄ，yｊ＋ｙｄ）の画素値をＩｍｇ２（ｘｉ＋ｘｄ，yｊ＋ｙｄ）とすると、（４）式、（５）式を用いた演算によって基準ウィンドウ５１内の画像と参照ウィンドウ５２内の画像の相関値ＣＯＲｐが算出される。
【００６８】
【数２】
【００６９】
参照ウィンドウが５２ｓから５２ｅにわたって走査されるように、Ｘ方向の視差ｘｄをｘｓ−ｈ２〜ｘｅ−ｈ２の範囲で変更しつつ、（４）式および（５）式によって各視差ｘｄに対する相関値ＣＯＲｐが算出されると、図１０に示すグラフＵ１のように輝度画像６のＸ座標と相関値ＣＯＲｐとの関係が明らかになる。
【００７０】
図１０の例では、座標ｘＭにおいて、グラフＵ１における相関値ＣＯＲｐの最大値Ｒ１が与えられているので、探索基準点のＸ座標がｘＭと一致する参照ウィンドウが、相関値ＣＯＲｐの最大値Ｒ１を与える参照ウィンドウであり、該参照ウィンドウの探索基準点と、基準画素２１に対応する対応画素２３とは一致する。
【００７１】
なおＣＯＲｐ値の最大値Ｒ１が、本発明における「信頼度」に相当する。信頼度Ｒ１は、判定部１６によって、記憶装置４６などに予め格納された所定の判定用の基準値Ｔ１と比較されて、対応点探索処理についての信頼度が判定される。該判定処理において、信頼度Ｒ１が基準値Ｔ１以上であれば対応点探索処理の信頼度は高く、対応画素２３の特定は成功していると判定される。逆に、信頼度Ｒ１が基準値Ｔ１よりも低ければ、対応画素２３の特定は失敗していると判定される。
【００７２】
図１１はＳＡＤ法における参照ウィンドウ５２の走査態様を例示する図であり、入力画像１に対応した輝度画像６の全域に参照ウィンドウ５２を走査させている。ＳＡＤ法は周波数分析を行う手法に比べて演算量が少なく高速な処理が可能であるので、画素数が多い入力画像１（輝度画像６）にＳＡＤ法による対応点探索を適用し、図１１に示される全域走査を行っても処理時間が短くなる。
【００７３】
従ってＳＡＤ法を用いる場合には、画像の全域にわたって参照ウィンドウの走査を行って視差特定をしても、周波数分析を行う手法を用いる場合に比べて短時間で対応点探索を行うことができるので、探索基準点を求める処理コストを削減することが可能となる。
【００７４】
なお、ＳＡＤ法以外にも、例えば、ＳＳＤ（濃度差の二乗和）法などを差分型探索手法として採用しても本発明の有用性を損なうものではない。また、対応点探索法としてＰＯＣ法を用いてもよい。ＰＯＣ法は、画像の周波数成分を用いるため、上述したように入力画像（輝度画像）２と輝度画像６との間での対応点探索を行う方法としては好適である。
【００７５】
ここで、後述する生成部１５は、予め設定された動作モードに応じて、探索部１４の対応点探索処理の結果から、例えば、後述する３種類の生成処理１〜３によって、ＲＧＢ色空間で表現されたカラー画像出力画像４を生成可能に構成されている。
【００７６】
図７〜図９は、それぞれ、該３種類の生成処理１〜３のそれぞれによる出力画像４の生成処理を説明するための図である。図７〜図９においては、画素間の対応関係の理解を容易にするために、撮影された被写体像の一部の輪郭が破線によって表示されている。
【００７７】
また、図６は、ＹＵＶ色空間からＲＧＢ色空間への変換による出力画像４の生成の概念を、該３種類の手法にそれぞれ対応して説明するための図である。
【００７８】
＜（２−４）ステップＳ４０：第１生成工程＞
図１８のステップＳ３０において、入力画像２における各基準画素にそれぞれ対応した入力画像１の各対応画素がそれぞれ特定されると、生成部１５（図２）は、入力画像２から派生する出力画像４の各画素に対応した輝度情報と色情報（色差）との取得処理を行なう（図１８のステップＳ４０）。
【００７９】
○出力画像４の生成処理１に対するステップＳ４０の処理：
出力画像４の生成処理１においては、生成部１５は、図７に示されるように、出力画像４の画素Ｐ４の輝度Ｙとして、入力画像２における画素Ｐ４に対応する画素Ｐ１の輝度Ｙを採用する。生成部１５は、また、画素Ｐ４の色情報（色差）Ｕ、Ｖとして、色情報画像５における対応画素Ｐ３の色情報（色差）Ｕ、Ｖを採用する。
【００８０】
生成部１５は、ステップＳ４０においては、先ず、探索部１４から供給された探索結果の情報に基づいて、入力画像２の画素Ｐ１（Ｘａ，Ｙａ）と、輝度画像６の画素Ｐ１に対応した対応画素Ｐ２（Ｘｂ，Ｙｂ）とを特定する。
【００８１】
生成部１５は、また、対応画素Ｐ２と同じ座標の色情報画像（色差画像）５における対応画素Ｐ３（Ｘｂ，Ｙｂ）を特定するとともに、入力画像２の画素Ｐ１と同じ座標の出力画像４における画素Ｐ４（Ｘａ，Ｙａ）を特定する。
【００８２】
生成部１５は、入力画像２における他の画素のそれぞれについても、同様に、色情報画像５および輝度画像６における対応画素と、出力画像４における同じ座標の画素とを特定する。
【００８３】
出力画像４の各画素について、各画素の色情報Ｒ、Ｇ、Ｂの生成に用いられる輝度情報Ｙと色情報（色差）Ｕ、Ｖに係る各画素を特定することにより、各画素の色情報Ｒ、Ｇ、Ｂの生成に用いられる輝度情報Ｙと、色情報（色差）Ｕ、Ｖとを取得する。
【００８４】
○出力画像４の生成処理２に対するステップＳ４０の処理：
出力画像４の生成処理２においては、生成部１５は、図８に示されるように、出力画像４の画素Ｐ４の輝度Ｙとして、輝度画像６における対応画素Ｐ２の輝度Ｙを採用する。生成部１５は、また、画素Ｐ４の色情報（色差）Ｕ、Ｖとして、生成処理１と同様に、色情報画像５における対応画素Ｐ３の色情報（色差）Ｕ、Ｖを採用する。
【００８５】
出力画像４の生成処理２に対するステップＳ４０の処理においては、生成処理１に対するステップＳ４０の処理と同様にして、生成部１５は、図８に示されるように、画素Ｐ１に対して、対応画素Ｐ２、Ｐ３および画素Ｐ４をそれぞれ特定する。
【００８６】
また、生成部１５は、入力画像２における他の画素のそれぞれについても、同様に、色情報画像５および輝度画像６における対応画素と、出力画像４における同じ座標の画素とを特定し、出力画像４の各画素について、色情報Ｒ、Ｇ、Ｂの生成に用いられる輝度情報Ｙと、色情報（色差）Ｕ、Ｖとを取得する。
【００８７】
○出力画像４の生成処理３に対するステップＳ４０の処理：
出力画像４の生成処理３においては、生成部１５は、図９に示されるように、出力画像４の画素Ｐ４の輝度Ｙとして、入力画像２における画素Ｐ１と輝度画像６における対応画素Ｐ２とのそれぞれの輝度Ｙを採用する。生成部１５は、また、画素Ｐ４の色情報（色差）Ｕ、Ｖとして、生成処理１、２と同様に、色情報画像５における対応画素Ｐ３の色情報（色差）Ｕ、Ｖを採用する。
【００８８】
出力画像４の生成処理３に対するステップＳ４０の処理においては、生成部１５は、生成処理１に対するステップＳ４０の処理と同様にして、図９に示されるように、画素Ｐ１に対して、対応画素Ｐ２、Ｐ３および画素Ｐ４をそれぞれ特定する。
【００８９】
また、生成部１５は、入力画像２における他の画素のそれぞれについても、同様に、色情報画像５および輝度画像６における対応画素と、出力画像４における同じ座標の画素とを特定し、出力画像４の各画素について、色情報Ｒ、Ｇ、Ｂの生成に用いられる輝度情報Ｙと、色情報（色差）Ｕ、Ｖとを取得する。
【００９０】
＜（２−５）ステップＳ５０：第２生成工程＞
出力画像４の各画素の色情報ＲＧＢの生成に用いられる輝度情報Ｙと色情報（色差）Ｕ、Ｖとの取得がされると、生成部１５は、取得された輝度情報Ｙと色情報Ｕ、Ｖについて、ＹＵＶ色空間からＲＧＢ色空間への逆変換処理を行い、出力画像４を生成する（図１８のステップＳ５０）。
【００９１】
○出力画像４の生成処理１に対するステップＳ５０の処理：
生成部１５は、出力画像４の生成処理１に対するステップＳ５０において、出力画像４における１の画素Ｐ４（図７）に対応した入力画像２における画素Ｐ１（図７）の輝度Ｙと、画素Ｐ４に対応した色情報画像５における対応画素Ｐ３（図７）の色情報Ｕ、Ｖとに対して、ＹＵＶ色空間からＲＧＢ色空間への逆変換処理を行う。該逆変換処理は、（１）式〜（３）式で表現されたＲＧＢ色空間からＹＵＶ色空間への変換処理の逆変換によって行われる。該逆変換処理によって、画素Ｐ４の色情報Ｒ、Ｇ、Ｂが取得される。生成部１５は、取得した色情報Ｒ、Ｇ、Ｂを画素Ｐ４に対応したＲＡＭ４５のメモリ空間に格納することなどによって、画素Ｐ４の画素値の生成を完了する。生成部１５は、出力画像４における他の画素についても画素Ｐ４と同様の処理を行うことにより出力画像４を生成する。従って、図６に示されるように、出力画像４は、入力画像２の輝度Ｙと、色情報画像５の色情報（色差）Ｕ、Ｖとに対してＹＵＶ色空間からＲＧＢ色空間への逆変換を施すことにより生成される。
【００９２】
○出力画像４の生成処理２に対するステップＳ５０の処理：
生成部１５は、出力画像４の生成処理２に対するステップＳ５０において、出力画像４における１の画素Ｐ４（図８）に対応した輝度画像６における対応画素Ｐ２（図８）の輝度Ｙと、画素Ｐ４に対応した色情報画像５における対応画素Ｐ３（図８）の色情報Ｕ、Ｖとに対して、ＹＵＶ色空間からＲＧＢ色空間への逆変換処理を行う。生成部１５は、該逆変換処理によって、画素Ｐ４の色情報Ｒ、Ｇ、Ｂを取得し、取得した色情報Ｒ、Ｇ、Ｂを画素Ｐ４に対応したＲＡＭ４５のメモリ空間に格納することなどによって、画素Ｐ４の画素値の生成を完了する。生成部１５は、出力画像４における他の画素についても画素Ｐ４と同様の処理を行うことにより出力画像４を生成する。従って、図６に示されるように、出力画像４は、輝度画像６の輝度Ｙと、色情報画像５の色情報（色差）Ｕ、Ｖとに対してＹＵＶ色空間からＲＧＢ色空間への逆変換を施すことにより生成される。
【００９３】
○出力画像４の生成処理３に対するステップＳ５０の処理：
生成部１５は、出力画像４の生成処理３に対するステップＳ５０において、出力画像４の１の画素Ｐ４（図９）にそれぞれ対応した入力画像２の画素Ｐ１と、輝度画像６の対応画素Ｐ２（図９）とのそれぞれの各輝度Ｙについて、例えば、平均値を求めることなどにより派生した輝度Ｙを取得する。生成部１５は、該派生した輝度Ｙと、画素Ｐ４に対応した色情報画像５の対応画素Ｐ３（図９）の色情報Ｕ、Ｖとに対して、ＹＵＶ色空間からＲＧＢ色空間への逆変換処理を行う。生成部１５は、該逆変換処理によって、画素Ｐ４の色情報Ｒ、Ｇ、Ｂを取得し、取得した色情報Ｒ、Ｇ、Ｂを画素Ｐ４に対応したＲＡＭ４５のメモリ空間に格納することなどによって、画素Ｐ４の画素値の生成を完了する。生成部１５は、出力画像４における他の画素についても画素Ｐ４と同様の処理を行うことにより出力画像４を生成する。従って、図６に示されるように、出力画像４は、入力画像２および輝度画像６のそれぞれの輝度Ｙから派生した輝度Ｙと、色情報画像５の色情報（色差）Ｕ、Ｖとに対してＹＵＶ色空間からＲＧＢ色空間への逆変換を施すことにより生成される。
【００９４】
＜（２−６）ステップＳ６０：第３生成工程＞
出力画像４が生成されると、生成部１５は、入力画像１から派生した出力画像３を生成することによって、出力画像３、４（立体画像２９）を生成し（図１８のステップＳ６０）、立体画像２９の生成処理を終了する。
【００９５】
なお、出力画像３の生成処理において、生成部１５は、例えば、入力画像１自体を出力画像３として採用する処理により出力画像３を生成する。また、生成部１５が、例えば、既述した出力画像４の生成処理３と同様にして、入力画像２および輝度画像６のそれぞれの輝度Ｙから派生した輝度Ｙと、色情報画像５の色情報（色差）Ｕ、Ｖとに対してＹＵＶ色空間からＲＧＢ色空間への逆変換を施すことにより出力画像３を生成したとしても本発明の有用性を損なうものではない。ステップＳ４０（第１生成工程）、ステップＳ５０（第２生成工程）およびステップＳ６０（第３生成工程）を総称して、生成工程と言う。
【００９６】
上述したように、画像処理装置２００Ａによれば、入力画像１と入力画像２とのうちカラー画像である入力画像１のみの色情報に基づいて出力画像３と出力画像４とによって構成される立体画像２９の色情報が生成される。従って、生成された立体画像における色情報のずれが低減され得る。
【００９７】
また、画像処理装置２００Ａは、入力画像１と入力画像２との間で互いに対応する画素の位置情報を使用して立体画像２９を生成する。従って、入力画像１および２からそれぞれ派生する出力画像３および４の画素位置の変化がないので、画素位置の変化に起因して生ずる画像（画像データ）の欠落部分を生ずることなく立体画像２９を生成することができる。
【００９８】
＜（３）対応点探索処理の失敗時における回復処理＞
＜（３−１）回復処理１＞
図１２は、入力画像２の基準画素に対応した入力画像１の対応画素、すなわち輝度画像６における対応画素を特定する対応点探索処理が失敗した場合に、画像処理装置２００Ａが行なう出力画像４の生成処理の１例を説明するための図である。図１２においては、入力画像２における基準画素の１例として基準画素Ｑ２（Ｘ２，Ｙ２）が示されている。また、輝度画像６における対応画素として、図１８のステップＳ３０において特定された画素の１例として対応画素Ｑ１（Ｘ１，Ｙ１）が示されている。
【００９９】
ここで、対応画素Ｑ１が探索された際の対応点探索処理における信頼度Ｒ１（図１０）は、判定部１６に供給されている。そして、判定部１６（図２）によって信頼度Ｒ１と、記憶装置４６に予め格納されている信頼度判定用の基準値Ｔ１とが比較された結果、信頼度Ｒ１が基準値Ｔ１よりも低い、すなわち該対応点探索処理が失敗したとの判定結果が得られている。また、該判定結果は、特定部１７（図２）へと供給されている。
【０１００】
特定部１７は、該判定結果が、対応点探索処理の失敗に対応した判定結果であった場合には、基準画素Ｑ２に対応した別の基準画素Ｑ３（Ｘ３，Ｙ３）を入力画像２において探索して特定する。該特定処理は、探索部１４における処理と同様に、ＳＡＤ法やＰＯＣ法などの相関演算手法を用いたパターンマッチング処理により互いに対応づけられる各領域の代表点を特定する処理などにより行なわれる。また、該特定処理の結果である基準画素Ｑ３に関する情報は、生成部１５へと供給される。
【０１０１】
なお、特定部１７は、設定された動作モードに応じて、基準画素Ｑ３の特定処理において更に重み付け処理を行なうことにより基準画素Ｑ３を特定することもできる。具体的には、特定部１７は、基準画素Ｑ２からの基準画素Ｑ３の候補画素の距離が近ければ近いほど該候補画素が基準画素Ｑ３として特定され易くなるように該候補画素についての探索処理の信頼度に重み付け処理を行なうことによって基準画素Ｑ３を特定する。
【０１０２】
生成部１５は、基準画素Ｑ３に対応した入力画像１における対応画素の色情報に基づいて基準画素Ｑ２に対応した出力画像４における基準画素Ｑ６（Ｘ２，Ｙ２）の色情報を生成する。具体的には、輝度画像６における対応画素Ｑ４（Ｘ４，Ｙ４）は、基準画素Ｑ３に対応した対応画素として探索部１４によって予め探索された対応画素である。なお、対応画素Ｑ４の対応点探索処理は成功したと判定されている。
【０１０３】
生成部１５は、輝度画像６において基準画素Ｑ３に対応した探索が成功した対応画素Ｑ４（Ｘ４，Ｙ４）を特定し、色情報画像５において対応画素Ｑ４と同じ座標の対応画素Ｑ５（Ｘ４，Ｙ４）を特定する。対応画素Ｑ５が特定されると、生成部１５は、基準画素Ｑ２に対応した出力画像４における画素Ｑ６（Ｘ２，Ｙ２）の色情報（色差）Ｕ、Ｖとして対応画素Ｑ５の色情報（色差）Ｕ、Ｖを採用する。また、生成部１５は、基準画素Ｑ６の輝度情報として、例えば、基準画素Ｑ２の輝度Ｙを採用する。
【０１０４】
生成部１５は、対応画素Ｑ５の色情報（色差）Ｕ、Ｖと、基準画素Ｑ２の輝度情報Ｙとに対してＹＵＶ色空間からＲＧＢ色空間への逆変換処理を行なうことによって画素Ｑ６の色情報Ｒ、Ｇ、Ｂを取得し、出力画像４における画素Ｑ６を生成する。
【０１０５】
すなわち、生成部１５は、基準画素Ｑ２とは別の基準画素Ｑ３に対応した入力画像１における対応画素の色情報に基づいて基準画素Ｑ２に対応した出力画像４における画素Ｑ６の色情報を生成する。
【０１０６】
＜（３−２）回復処理２＞
画像処理装置２００Ａの制御に基づいてステレオカメラ３００が時系列画像を取得した場合には、画像処理装置２００Ａは、入力画像１、２とは異なる時刻に撮影された他の入力画像に基づいて、対応点探索処理が失敗した場合の立体画像２９の生成処理を行なうことができる。
【０１０７】
図１３は、時系列画像の概念を説明するための図であり、画像ｆＡ〜ｆＦは、所定のフレームレートで連続的に撮影された時系列画像である。なお、画像ｆＢは、現在の時刻における画像である。また、取得部１２は、ステレオカメラ３００から時系列の入力画像１と時系列の入力画像２とを取得し、図１３は、時系列の入力画像２を表示している。
【０１０８】
入力画像２（画像ｆＢ）の基準画素に対する入力画像１の対応画素の探索処理の信頼度Ｒ１が予め設定された基準値Ｔ１よりも低いと判定された場合には、特定部１７は、画像ｆＢの１の基準画素に対応した別の基準画素を、例えば、画像ｆＣなどの画像ｆＢとは異なる時刻に撮影された時系列の入力画像２において探索して特定する。
【０１０９】
生成部１５は、設定された動作モードに応じて、画像ｆＣと同じ時刻の時系列の入力画像１において、該別の基準画素に対応した対応画素を特定し、該対応画素の色情報に基づいて該１の基準画素に対応した出力画像４における基準画素の色情報を生成する。該生成処理によって、対応点探索処理が失敗した場合であっても、生成部１５は、時系列の入力画像１と時系列の入力画像２とからそれぞれ派生する時系列の出力画像３と時系列の出力画像４とにより構成される立体画像２９を生成し得る。
【０１１０】
画像処理装置２００Ａが時系列の入力画像１，２を用いて立体画像２９の生成を行なえば、現在の時刻における入力画像２の基準画素についての対応点探索処理が失敗した場合であっても、他の時刻の時系列画像に基づいて該基準画素についての対応点探索処理を行い得る。従って、色情報の設定がされない出力画像４の画素の画素数が低減され得る。
【０１１１】
＜（４）色情報の欠落低減のための立体画像２９の生成処理＞
図１４は、立体画像２９における色情報の欠落低減のために画像処理装置２００Ａが行なう出力画像４の生成処理を説明するための図である。図１４に示される画素Ｍ１〜Ｍ１２は、入力画像２の一部における各画素である。画素Ｍ６は、入力画像２における１の基準画素で、例えばオクルージョンなどによって対応する色情報が得られない画素である。また、画素Ｍ２、Ｍ５、Ｍ７、およびＭ１０は、画素Ｍ６に対して４近傍に存在する画素である。
【０１１２】
画像処理装置２００Ａは、該色情報の欠落防止のための立体画像２９の生成処理を、以下の処理（Ａ−１）〜（Ａ−６）を行なうことによって実現する。
【０１１３】
・処理（Ａ−１）：生成部１５は、先ず、出力画像４の各画素に対応した色情報（色差）の値を０に初期化する。
【０１１４】
・処理（Ａ−２）：次に、特定部１７は、画素Ｍ６からの距離が、例えば、４近傍に対応した所定の基準値（基準距離）以下である複数の基準画素を特定し、特定した複数の基準画素に関する情報を生成部１５に供給する。
【０１１５】
・処理（Ａ−３）：特定部１７から該複数の基準画素についての情報が供給されると、生成部１５は、画素Ｍ６に対応した入力画像１における１の対応画素を、探索部１４から供給された対応点処理の探索結果に基づいて特定する。そして生成部１５は、該１の対応画素についての色情報、すなわち該１の対応画素に対応した色情報画像５の画素における色情報（色差）を該複数の基準画素のそれぞれの色情報（色差）に加算する。
【０１１６】
・処理（Ａ−４）：入力画像２における画素Ｍ６以外の全ての画素に対して、同様に特定部１７が処理（Ａ−２）を行ない、生成部１５が処理（Ａ−３）を行なう。
【０１１７】
・処理（Ａ−５）：生成部１５は、出力画像４における各基準画素について、加算された色情報（色差）の平均値を求めることなどによって、該各基準画素の色情報Ｒ、Ｇ、Ｂの生成に用いられる色情報（色差）を取得する。
【０１１８】
・処理（Ａ−６）：生成部１５は、出力画像４の各基準画素のそれぞれについて、処理（Ａ−５）で取得した色情報（色差Ｕ、Ｖ）と、該各基準画素にそれぞれ対応した輝度画像６における各対応画素の輝度情報（輝度Ｙ）とに基づいて、ＹＵＶ色空間からＲＧＢ色空間への逆変換を行なう。生成部１５は、該逆変換よって出力画像４の生成を行なうとともに、例えば、入力画像１を出力画像３として採用することなどにより、立体画像２９の生成を行なう。
【０１１９】
処理（Ａ−１）〜（Ａ−６）によれば、画像処理装置２００Ａは、オクルージョンなどによって、入力画像２における基準画素に対応する出力画像３の対応画素が存在しない場合でも、該基準画素に対応した出力画像４の画素の色情報を取得し得る。
【０１２０】
なお、生成部１５は、動作モードに応じて、処理（Ａ−３）における加算処理を行う際に、入力画像２における各基準画素のそれぞれについて、探索部１４による対応点探索処理の信頼度Ｒ１に応じた重み付けを、各基準画素に対応した色情報画像５の対応画素の色情報（色差）に対して行なうこともできる。
【０１２１】
＜（５）立体画像２９の輝度合わせ処理＞
画像処理装置２００Ａは、動作モードに応じて、生成された出力画像３、４の輝度情報のヒストグラムに基づいて出力画像３および４の間での輝度合わせ処理を行なうことで輝度が補正された出力画像３および４を生成する。なお、本願においては、入力値と、該入力値に対応する累積度数（累積画素数）との関係を表現するヒストグラムを累積ヒストグラムと称する。
【０１２２】
ここで、出力画像３、４は、同一の被写体がそれぞれ撮影された入力画像１、２からそれぞれ派生した画像であるので、本来、両画像の輝度Ｙのヒストグラムの形も凡そ近いものとなるはずである。従って、画像処理装置２００Ａは、出力画像３、４の生成にそれぞれ用いられる輝度の差異などによって出力画像３、４における輝度が違っている場合にも、両画像のヒストグラムを近づける変換（ヒストグラムの形をおおよそ合わせる変換）によって、両画像の輝度を互いに近づけることができる。
【０１２３】
より詳細には、画像処理装置２００Ａは、先ず、出力画像３、４のそれぞれの輝度Ｙのヒストグラムを相対的に近づけるように出力画像３、４の輝度を変換する変換用ガンマテーブルを生成する。そして、画像処理装置２００Ａは、該変換用ガンマテーブルを用いて出力画像３、４の輝度を変換することにより出力画像３、４の輝度合わせ処理を行なう。なお、変換用ガンマテーブルについては、後述する。
【０１２４】
出力画像３、４についての輝度のヒストグラムは、各画像の画素数によってそれぞれ正規化された後に、各ヒストグラムを相対的に近づける処理に用いられる。通常、立体画像２９を構成する出力画像３、４の画素数は互いに等しいが、仮に、画素数が相違したとしても、該正規化の処理によって、出力画像３、４の輝度合わせ処理は行なわれる。
【０１２５】
画像処理装置２００Ａによれば、輝度合わせ処理専用の校正用チャートが不要であるため、例えば、出力画像３、４の生成毎に、出力画像３、４の間での輝度合わせ処理を行なうことも可能となる。
【０１２６】
＜目標画像の設定について＞
画像処理装置２００Ａは、輝度合わせ処理の開始に先立って、出力画像３、４のうち少なくとも一方から派生する目標画像を生成し、上述したヒストグラムを近づける処理において目標となるヒストグラムを与える目標画像として用いる。目標画像は、出力画像３、４のうち何れか一方自体であってもよい。また、目標画像は、例えば、出力画像３、４の輝度の平均を取った画像など、出力画像３、４に基づいて生成された画像であってもよい。
【０１２７】
なお、本願においては、出力画像３、４のうち目標画像として設定されていない画像は、「対象画像」とも称される。
【０１２８】
また、生成部１５は、予め設定された動作モードに応じて、出力画像３、４のうち解像度が高い方の画像を目標画像とする。解像度が高い撮像系、すなわち画素数の多い撮像系は、一般に、解像度が低い撮像系、すなわち画素数の少ない撮像系よりも、各種の光学的性能が優れたレンズ、および処理回路が用いられる。従って、撮影される画像の収差、偽色の有無などの画質も、解像度が高い撮像系によって撮像された画像の方が良くなる。従って、撮像系の解像度が高い方の画像が目標画像とされれば、出力画像３、４の輝度合わせ処理の結果がより改善され得る。
【０１２９】
なお、生成部１５は、動作モードに応じて、操作部４２を用いてユーザーが目標画像を指定する情報に基づいて目標画像を選択指定することもできる。
【０１３０】
＜（５−１）累積ヒストグラムの使用による輝度合わせ処理＞
図１９は、実施形態に係る画像処理装置２００Ａの累積ヒストグラムを用いた輝度合わせ処理に係る動作フローＳ１００Ａの１例を示す図である。次に、出力画像３が対象画像として、また、出力画像４が目標画像としてそれぞれ設定された場合を例として、累積ヒストグラムを使用した輝度合わせ処理について図１９の動作フローを適宜参照しつつ説明する。なお、本願においては、Ｙ値などの画像の各画素値は、それぞれ８ビットで表現される。
【０１３１】
また、図１５は、累積ヒストグラムを用いた画像のＹ成分（Ｙ値）についての変換用ガンマテーブルの生成処理を説明するための図である。また、図１６は、出力画像３（対象画像）の輝度Ｙの変換用ガンマテーブルＵＲの１例を示す図であり、図１７は、出力画像４（目標画像）の輝度Ｙの変換用ガンマテーブルＶＲの１例を示す図である。
【０１３２】
輝度合わせ処理が開始されると、生成部１５が、出力画像３、４を輝度合わせの対象として取得する（図１９のステップＳ１１０）。そして、生成部１５は、出力画像３、４のそれぞれについて、輝度を表現した画素値（Ｙ値）の累積ヒストグラムを取得する（図１９のステップＳ１２０）。なお、生成部１５は、例えば、出力画像３、４に対してＲＧＢ色空間からＹＵＶ色空間への変換を施すことなどによって出力画像３、４の輝度の取得を行なう。また、生成部１５は、出力画像３、４の生成過程で用いられた輝度画像によって出力画像３、４の輝度の取得を行なうこともできる。図１５においては、出力画像３のＹ値の累積ヒストグラムＣＨ１と、出力画像４のＹ値の累積ヒストグラムＣＨ２とが示されている。また、累積ヒストグラムＣＨ１、ＣＨ２は、累積度数の最大値によってそれぞれ正規化されている。
【０１３３】
次に、生成部１５は、目標画像、すなわち出力画像４についてのＹ値の累積ヒストグラムを取得する（図１９のステップＳ１３０）。図１５に示されるように、目標画像のＹ値の累積ヒストグラムＣＨＴは、累積ヒストグラムＣＨ２でもある。
【０１３４】
対象画像と、目標画像とのそれぞれについての各色成分の累積ヒストグラムが取得されると、生成部１５は、出力画像３、４について、ＲＧＢ各成分の変換用ガンマテーブルを生成する（図１９のステップＳ１４０）。
【０１３５】
Ｙ値（Ｙ成分）について変換用ガンマテーブルＵＲ、ＶＲが生成される場合には、該ステップＳ１４０において、生成部１５は、累積ヒストグラムＣＨ１上に、例えば、点Ｐａ１〜Ｐａ５のように複数の点を設定する。なお、点Ｐａ１〜Ｐａ５のＹ値は、それぞれＡ１〜Ａ５である。
【０１３６】
複数の点Ｐａ１〜Ｐａ５が設定されると、生成部１５は、点Ｐａ１〜Ｐａ５にそれぞれに対応する累積ヒストグラムＣＨ２上の点Ｐｂ１〜Ｐｂ５を、累積度数の値を対応付け指標として特定することにより取得する。ここで、点Ｐａ１〜Ｐａ５のＹ値の各累積度数は、点Ｐｂ１〜Ｐｂ５のＹ値の各累積度数とそれぞれ等しい値となる。
【０１３７】
このように、生成部１５は、累積度数の値を対応付け指標として、累積ヒストグラムＣＨ１のＹの値と、累積ヒストグラムＣＨ２のＹの値とを対応づけた組みを、累積度数の複数の値のそれぞれについて取得する。
【０１３８】
点Ｐｂ１〜Ｐｂ５が特定されると、生成部１５は、図１６に示されるように、出力画像３についてのＹ値Ａ１〜Ａ５と出力画像４についてのＹ値Ｂ１〜Ｂ５とに対応した点ｃ１〜ｃ５を特定する。そして、生成部１５は、出力画像３の各Ｙ値（入力値）と、輝度補正後の出力画像３の各Ｙ値（出力値）とを対応させる入出力関係を点ｃ１〜ｃ５に基づいて特定する。特定された入出力関係（「変換特性」とも称される）は、「変換用ガンマテーブル」とも称される。
【０１３９】
変換用ガンマテーブルＵＲは、例えば、点ｃ１〜ｃ５を通る折れ線や、近似曲線などとして特定される。なお、変換用ガンマテーブルＵＲは、例えばＹ値が８ビットの場合、入力値０が出力値０に対応し、入力値２５５が出力値２５５に対応するように生成される。
【０１４０】
ここで、出力画像４は、目標画像であるので、出力画像４は、そのまま補正後の出力画像４として生成される。従って、出力画像４についての変換用ガンマテーブルＶＲは、図１７において点ｄ１〜ｄ５によって特定されるように、傾き１の直線となる。このように入力画像が、目標画像そのものである場合には、無変換の変換用ガンマテーブルが作られる。
【０１４１】
上述したように、出力画像３を輝度補正後の出力画像３に変換する変換用ガンマテーブルＵＲは、出力画像３（対象画像）のＹ値の累積ヒストグラムＣＨ１の値と、出力画像４（目標画像）のＹ値の累積ヒストグラムＣＨ２とを互いに近づけるように特定された変換特性である。
【０１４２】
出力画像３、４について、輝度Ｙの変換用ガンマテーブルがそれぞれ生成されると、生成部１５は、生成された各変換用ガンマテーブルを用いて、出力画像３、４の輝度Ｙを変換して補正する（図１９のステップＳ１５０）。輝度が補正されると生成部１５は、ＹＵＶ色空間からＲＧＢ色空間への逆変換を行なうことなどによって、輝度が補正された出力画像３、４をそれぞれ生成し、輝度合わせ処理を終了する。
【０１４３】
累積ヒストグラムにおいては、画素表現情報の値と、該値に対応する累積度数とが１対１に対応する。従って、上述したように、累積ヒストグラムが用いられれば、累積ヒストグラム上に、例えば、ピークなどの特徴点以外の複数の点を特定することによって、対象画像の累積ヒストグラムと、目標画像の累積ヒストグラムと相対的に近づけることができる。複数の点に基づいて各累積ヒストグラムが近づけられるので、累積ヒストグラムが用いられれば、例えば、入力値に対応する度数（画素数）との関係を表現した通常のヒストグラムが用いられる場合に比べて、より正確に出力画像３と出力画像４との輝度合わせが行なわれ得る。
【０１４４】
＜変形例について＞
以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく様々な変形が可能である。
【０１４５】
例えば、上述した画像処理システム１００Ａは、画像処理システム１００Ａにおける画像処理装置２００Ａが汎用のコンピューターでプログラムを実行することなどによって実現されている構成であるが、該構成に代えて、画像処理システム１００Ａが、例えば、デジタルカメラ、デジタルビデオカメラ、形態情報端末など１の装置にステレオカメラ３００と画像処理装置２００Ａとを備えたシステムとして実現されても良い。
【０１４６】
また、ＹＵＶ色空間（画像信号）に代えて、例えば、他の輝度色差系の色空間（画像信号）であるＹＣｂＣｒなどが採用されたとしても本発明の本発明の有用性を損なうものではない。
【符号の説明】
【０１４７】
１００Ａ 画像処理システム
２００Ａ 画像処理装置
３００ ステレオカメラ
１，２ 入力画像
３，４ 出力画像
５ 色情報画像
６ 輝度画像
２９ 立体画像
ＣＨ１、ＣＨ２ 累積ヒストグラム
【技術分野】
【０００１】
本発明は、色情報のずれが低減された立体画像を生成する技術に関する。
【背景技術】
【０００２】
近年、表示される画像を立体視可能な三次元テレビなどの三次元表示装置の普及が進んでおり、三次元表示装置用の立体視可能な左目用および右目用のカラー画像の画像群（立体画像）を容易に生成し得る技術が望まれている。
【０００３】
このような技術として、例えば、特許文献１には、高解像度カメラによって撮影された高解像度のカラー画像と、低解像度のカメラによって撮影された低解像度のカラー画像とを用いて高解像度のカラーの立体画像を生成する画像処理装置が示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−２４４９１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の画像処理装置には、生成された立体画像を構成する左右の画像間で、左右のカメラの特性の差異に起因した色情報のずれが発生することがある。このため、立体画像の観察者が立体画像の色情報の違いに起因したちらつき感を覚えるといった問題がある。
【０００６】
本発明は、こうした問題を解決するためになされたもので、立体画像における色情報のずれを低減し得る技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の課題を解決するため、第１の態様に係る画像処理装置は、互いに異なる方向から同一の被写体がそれぞれ撮影された第１画像と第２画像とを取得する取得部と、前記第１画像と前記第２画像とからそれぞれ派生する第１派生画像と第２派生画像とによって構成される立体画像を生成する生成部とを備え、前記第１画像と前記第２画像とのうち少なくとも前記第１画像がカラー画像であり、前記生成部が、前記第１画像と前記第２画像とのうち前記第１画像のみの色情報に基づいて前記立体画像の色情報を生成することを特徴とする。
【０００８】
第２の態様に係る画像処理装置は、第１の態様に係る画像処理装置であって、前記第１画像と前記第２画像との間で対応点探索処理を行うことによって前記第２画像の各基準画素にそれぞれ対応した前記第１画像の各対応画素をそれぞれ特定する探索部をさらに備え、前記生成部が、前記各基準画素のうち１の基準画素と、前記各対応画素のうち該１の基準画素に対応した１の対応画素とについて、前記第２派生画像における該１の基準画素に対応した画素の色情報を該１の対応画素の色情報に基づいて生成する処理を、前記各基準画素のそれぞれに対して行なうことを特徴とする。
【０００９】
第３の態様に係る画像処理装置は、第２の態様に係る画像処理装置であって、前記探索部が、前記第１画像と前記第２画像とのそれぞれの輝度情報に基づいて前記対応点探索処理を行うことを特徴とする。
【００１０】
第４の態様に係る画像処理装置は、第１から第３の何れか１つの態様に係る画像処理装置であって、前記第２画像が、輝度画像を生成する撮像系によって撮影された輝度画像であることを特徴とする。
【００１１】
第５の態様に係る画像処理装置は、第１から第４の何れか１つの態様に係る画像処理装置であって、前記生成部が、前記第１画像の色情報に基づいて前記第２派生画像の色情報を生成するとともに、前記第２画像の輝度情報に基づいて前記第２派生画像の輝度情報を生成することを特徴とする。
【００１２】
第６の態様に係る画像処理装置は、第１から第４の何れか１つの態様に係る画像処理装置であって、前記生成部が、前記第１画像の色情報に基づいて前記第２派生画像の色情報を生成するとともに、前記第１画像の輝度情報に基づいて前記第２派生画像の輝度情報を生成することを特徴とする。
【００１３】
第７の態様に係る画像処理装置は、第１から第４の何れか１つの態様に係る画像処理装置であって、前記生成部が、前記第１画像の色情報に基づいて前記第２派生画像の色情報を生成するとともに、前記第１画像と前記第２画像とのそれぞれの輝度情報に基づいて前記第２派生画像の輝度情報を生成することを特徴とする。
【００１４】
第８の態様に係る画像処理装置は、第２から第７の何れか１つの態様に係る画像処理装置であって、前記１の基準画素についての前記対応点探索処理の信頼度を判定する判定部と、該信頼度が予め設定された基準値よりも低いと判定された場合に、前記１の基準画素に対応した別の基準画素を前記第２画像において探索して特定する特定部とを更に備え、前記生成部が、前記別の基準画素に対応した前記第１画像における対応画素の色情報に基づいて前記１の基準画素に対応した前記第２派生画像における画素の色情報を生成することを特徴とする。
【００１５】
第９の態様に係る画像処理装置は、第８の態様に係る画像処理装置であって、前記特定部が、前記１の基準画素からの前記別の基準画素の候補画素の距離が近ければ近いほど該候補画素が前記別の基準画素として特定され易くなるように該候補画素についての探索処理の信頼度に重み付け処理を行なうことによって前記別の基準画素を特定することを特徴とする。
【００１６】
第１０の態様に係る画像処理装置は、第２から第７の何れか１つの態様に係る画像処理装置であって、前記取得部が、前記第１画像と前記第２画像とにそれぞれ対応した時系列の第１画像と時系列の第２画像とを取得するとともに、前記生成部が、前記時系列の第１画像と前記時系列の第２画像とからそれぞれ派生する時系列の第１派生画像と時系列の第２派生画像とにより構成される時系列の立体画像を生成し、前記１の基準画素についての前記対応点探索処理の信頼度を判定する判定部と、該信頼度が予め設定された基準値よりも低いと判定された場合に、前記１の基準画素に対応した別の基準画素を前記時系列の第２画像において探索して特定する特定部とを更に備え、前記生成部が、前記別の基準画素に対応した前記時系列の第１画像における画素の色情報に基づいて前記１の基準画素に対応した前記第２派生画像における画素の色情報を生成することを特徴とする。
【００１７】
第１１の態様に係る画像処理装置は、第２から第７の何れか１つの態様に係る画像処理装置であって、前記１の基準画素からの距離が予め設定された基準値以下となる複数の画素を前記第２画像において特定する特定部を更に備え、前記生成部が前記複数の画素にそれぞれ対応した前記第１画像における複数の対応画素の色情報に基づいて前記１の基準画素の色情報を生成する生成処理を、前記各基準画素のそれぞれに対して行なうことを特徴とする。
【００１８】
第１２の態様に係る画像処理装置は、第１１の態様に係る画像処理装置であって、前記生成部が、前記１の基準画素についての前記対応点探索処理の信頼度に応じた重み付け処理を前記１の対応画素の色情報に対して行なうことによって前記生成処理を行なうことを特徴とする。
【００１９】
第１３の態様に係る画像処理システムは、第１から第１２の何れか１つの態様に係る画像処理装置と、前記第１の画像を撮像する第１撮像系と、前記第２画像を撮像する第２撮像系とを備えたことを特徴とする。
【００２０】
第１４の態様に係るプログラムは、画像処理装置に搭載されたコンピューターにおいて実行されることにより当該画像処理装置を第１から第１２の何れか１つの態様に係る画像処理装置として機能させることを特徴とする。
【００２１】
第１５の態様に係る画像処理方法は、互いに異なる方向から同一の被写体がそれぞれ撮影された第１画像と第２画像とを取得する取得工程と、前記第１画像と前記第２画像とからそれぞれ派生する第１派生画像と第２派生画像とによって構成される立体画像を生成する生成工程とを備え、前記第１画像と前記第２画像とのうち少なくとも前記第１画像がカラー画像であり、前記生成工程において、前記第１画像と前記第２画像とのうち前記第１画像のみの色情報に基づいて前記立体画像の色情報が生成されることを特徴とする。
【発明の効果】
【００２２】
第１から第１５の何れの態様に係る発明によっても、第１画像と第２画像とのうちカラー画像である第１画像のみの色情報に基づいて第１派生画像と第２派生画像とによって構成される立体画像の色情報が生成されるので、立体画像における色情報のずれが低減され得る。
【図面の簡単な説明】
【００２３】
【図１】実施形態に係る画像処理システムの構成例を示す機能ブロック図である。
【図２】実施形態に係る画像処理装置の要部の構成例を示す機能ブロック図である。
【図３】入力画像と出力画像との説明をするための図である。
【図４】入力画像と出力画像との説明をするための図である。
【図５】入力画像の色空間の変換の概念を説明するための図である。
【図６】色空間の変換による出力画像の生成の概念を説明するための図である。
【図７】出力画像の生成処理を説明するための図である。
【図８】出力画像の生成処理を説明するための図である。
【図９】出力画像の生成処理を説明するための図である。
【図１０】ＳＡＤ法を用いた対応点探索の例を説明する図である。
【図１１】ＳＡＤ法における参照ウィンドウの走査態様を例示する図である。
【図１２】出力画像の生成処理を説明するための図である。
【図１３】時系列画像の概念を説明するための図である。
【図１４】出力画像の生成処理を説明するための図である。
【図１５】累積ヒストグラムを用いた変換用ガンマテーブルの生成処理を説明するための図である。
【図１６】対象画像の輝度の変換用ガンマテーブルの１例を示す図である。
【図１７】目標画像の輝度の変換用ガンマテーブルの１例を示す図である。
【図１８】実施形態に係る画像処理装置の動作フローの１例を示す図である。
【図１９】実施形態に係る画像処理装置の動作フローの１例を示す図である。
【発明を実施するための形態】
【００２４】
＜実施形態について：＞
以下、本発明の一実施形態を図面に基づいて説明する。図面では同様な構成および機能を有する部分に同じ符号が付され、下記説明では重複説明が省略される。また、各図面は模式的に示されたものであり、例えば、各図面における画像上の表示物のサイズおよび位置関係等、ならびに各図面における画像の画素数等は必ずしも正確に図示されたものではない。また、画像データ（画像信号）と、該画像データに基づいて表示される画像とをまとめて「画像」と適宜総称する。更に、各図面では、画像の左上の画素が原点とされ、該画像の長辺に沿った方向（ここでは、横方向）がＸ軸方向とされ、該画像の短辺に沿った方向（ここでは縦方向）がＹ軸方向とされる。なお、図７から図１２および図１４には直交するＸＹの２軸が付されている。
【００２５】
＜（１）画像処理システム１００Ａについて＞
図１は、実施形態に係る画像処理装置２００Ａを用いた画像処理システム１００Ａの構成例を示す機能ブロック図である。図１に示されるように、画像処理システム１００Ａは、ステレオカメラ３００と画像処理装置２００Ａとを主に備えて構成されている。画像処理システム１００Ａでは、被写体７０をステレオカメラ３００が撮影することにより取得した入力画像１（「第１画像」）および入力画像２（「第２画像」）を画像処理装置２００Ａの取得部１２（図２）が取得する。入力画像１および２のうち少なくとも入力画像１はカラー画像である。画像処理装置２００Ａの生成部１５（図２）は、入力画像１および２を処理することによって入力画像１から派生する出力画像３（「第１派生画像」）および入力画像２から派生する出力画像４（「第２派生画像」）を生成する。出力画像３および４は、それぞれカラー画像であり、被写体７０についてのカラーの立体画像２９を構成する。なお、生成部１５は、入力画像１と入力画像２とのうち入力画像１のみの色情報に基づいて立体画像２９の色情報を生成する。すなわち、画像処理装置２００Ａは、２つの入力画像のうち１つのカラー画像のみの色情報に基づいて立体画像２９の色情報を生成する。生成された立体画像２９は、画像処理装置２００Ａの表示部４３に表示される。
【００２６】
＜（１−１）ステレオカメラ３００について＞
図１に示されるように、ステレオカメラ３００は、撮影によりカラー画像を生成するカラーカメラである第１カメラ６１と、撮影により輝度画像（モノクロ画像）を生成するモノクロカメラである第２カメラ６２とを主に備えて構成されている。第１カメラ６１は、不図示の撮影光学系と、カラー撮像素子を有する制御処理回路とを主に備えて構成されており、第２カメラ６２は、不図示の撮影光学系と、モノクロ撮像素子を有する制御処理回路とを主に備えて構成されている。第１カメラ６１と第２カメラ６２とは、所定の基線長を隔てて設けられており、互いに異なる方向から同一の被写体をそれぞれ撮影し、入力画像１および２をそれぞれ生成して取得する。すなわち、入力画像１および２は、互いに異なる方向から同一の被写体がそれぞれ撮影された画像であり、入力画像１および２には、互いに対応する画像内容が含まれている。
【００２７】
第１カメラ６１のカラー撮像素子は、三原色であるＲ（赤）、Ｇ（緑）、Ｂ（青）の光をそれぞれ透過可能なカラーフィルタが積層された、例えば、横３４５６×縦２５９２の画素からなるＣＭＯＳイメージセンサ、またはＣＣＤイメージセンサ等の撮像素子である。Ｒ（赤）、Ｇ（緑）、Ｂ（青）の光にそれぞれ対応した各カラーフィルターは、該カラー撮像素子上において、例えば、ＲＧＢベイヤー配列により配列されている。
【００２８】
該カラー撮像素子は、撮影光学系により結像された被写体の光像を、該光像の光量に応じてＲＧＢの各色成分の画像信号（各画素で受光された画素信号の信号列からなる信号）に光電変換して出力する。制御処理回路は、該画像信号に対して、所定のタイミングでデジタル化処理を行なうとともに、各色成分に対応したカラーフィルターがベイヤー配列されたことによって生じる、各色成分における欠落画素を補間するための補間処理などを実行する。該補間処理によって、該制御処理回路は、例えば、横３４５６×縦２５９２画素の画素サイズの所定のビット数の階調を有するデジタルのカラー画像である入力画像１を生成して取得する。入力画像１の各画素の画素値としては、Ｒ、Ｇ、Ｂの３つの色成分に対応した画素値であるＲ値（Ｒ信号）、Ｇ値（Ｇ信号）、およびＢ値（Ｂ信号）のそれぞれが設定される。
【００２９】
第２カメラ６２のモノクロ撮像素子は、例えば、Ｒ，Ｇ，Ｂの三原色の全ての光を透過する透明なフィルターが積層された、例えば、横３４５６×縦２５９２などの所定の画素数の画素からなるＣＭＯＳイメージセンサ、またはＣＣＤイメージセンサ等の撮像素子である。該モノクロ撮像素子は、撮影光学系により結像された被写体の光像を、該光像の光量に応じた輝度成分の画像信号（各画素で受光された画素信号の信号列からなる信号）に光電変換して出力する。制御処理回路は、該画像信号に対して、所定のタイミングでデジタル化処理などを実行し、横３４５６×縦２５９２などの所定の画素サイズの所定のビット数の階調を有するデジタルのモノクロ画像（輝度画像）である入力画像２を生成して取得する。入力画像２の各画素の画素値としては、輝度に対応した画素値であるＹ値（Ｙ信号）が設定される。
【００３０】
ステレオカメラ３００の各種動作は、画像処理装置２００Ａから入出力部４１（図２）および通信回線ＤＬ（図１、図２）を介して供給される制御信号に基づいて制御される。通信回線ＤＬは、有線の回線であっても無線の回線であっても良い。また、生成された入力画像１および２は、通信回線ＤＬを介して画像処理装置２００Ａの入出力部４１へと供給される。また、ステレオカメラ３００は、第１カメラ６１と第２カメラ６２との同期をとりつつ被写体を時間順次に連続的に撮影することによって、時系列画像である複数の入力画像１および複数の入力画像２を生成することもできる。
【００３１】
なお、入力画像１および２の画素数が互いに等しいとしても、また、異なるとしても本発明の有用性を損なうものではない。また、第１カメラ６１と第２カメラ６２とがそれぞれカラー画像を生成するカラーカメラであるとしても本発明の有用性を損なうものではない。この場合には、入力画像１および２はともにカラー画像であり、入力画像１と入力画像２とのうち何れか一方の画像のみの色情報に基づいて出力画像３および４の色情報が生成される。
【００３２】
また、第１カメラ６１と第２カメラ６２とのうち一方がモノクロカメラであれば、両方ともカラーカメラである場合に比べて、低コストでカラーの立体画像を生成することができる。
【００３３】
図３および図４は、入力画像１および２と、出力画像３および４との説明をするための図である。なお、図３に示される各画像における被写体の像は、図示の都合上、その輪郭のみが表示されている。
【００３４】
図３に示されるように入力画像１、２には、近景の被写体と遠景の被写体とを含む共通の被写体がそれぞれ撮影されている。近景被写体像６６ａ（図３）は、入力画像１における該近景被写体の画像であり、近景被写体像６６ｂ（図３）は、入力画像２における該近景被写体の画像である。入力画像１における近景被写体像６６ａの周囲と、入力画像２における近景被写体像６６ｂの周囲とのそれぞれには、該近景被写体の背景が、背景被写体像として撮影されている。入力画像１および２の間では、第１カメラ６１と第２カメラ６２との基線長に起因した視差が存在しており、特に近景被写体像６６ａおよび６６ｂの間での視差が顕著となっている。
【００３５】
図４に示されるように、入力画像１は各画素が、Ｒ、Ｇ、Ｂの三原色にそれぞれ対応した所定ビット数で表現されたＲ値、Ｇ値、Ｂ値を画素値としてそれぞれ有するカラー画像、すなわちＲＧＢの色空間で表現されたカラー画像である。また、入力画像２は、各画素が、所定ビット数で表現された輝度Ｙ（Ｙ値）を画素値として有する輝度画像（モノクロ画像）である。
【００３６】
出力画像３および４は、入力画像１および２からそれぞれ派生した画像であり、立体画像２９を構成している。図３に示されるように、出力画像３に撮影された各被写体の像の輪郭は、入力画像１に撮影された各被写体の像の輪郭と等しく、出力画像４に撮影された各被写体の像の輪郭は、入力画像２に撮影された各被写体の像の輪郭と等しい。例えば、図３に示されるように入力画像１の近景被写体像６６ａと、出力画像３における近景被写体像６６ｃとは画像空間における位置が等しい。また、入力画像２の近景被写体像６６ｂと、出力画像４の近景被写体像６６ｄとは画像空間における位置が等しい。なお、図４に示されるように出力画像３および４は、ともに、ＲＧＢの色空間で表現されたカラー画像である。
【００３７】
なお、図３および図４に示されるように、入力画像１から派生した出力画像３として入力画像１自体が採用されたとしても本発明の有用性を損なうものではない。本願においては、出力画像３として入力画像１自体が採用された場合を例として主に説明を行なう。
【００３８】
＜（１−２）画像処理装置２００Ａについて＞
図１に示されるように、画像処理装置２００Ａは、ＣＰＵ１１Ａ、入出力部４１、操作部４２、表示部４３、ＲＯＭ４４、ＲＡＭ４５および記憶装置４６を主に備えて構成されており、例えば、汎用のコンピューターでプログラムを実行することなどによって実現される。
【００３９】
入出力部４１は、例えばＵＳＢインタフェース、またはＢｌｕｅｔｏｏｔｈ（登録商標）インタフェースなどの入出力インタフェース、マルチメディアドライブ、およびネットワークアダプタなどのＬＡＮやインターネットに接続するためのインタフェースなどを備えて構成され、ＣＰＵ１１Ａとの間でデータの授受を行うものである。具体的には、入出力部４１は、例えば、ＣＰＵ１１Ａがステレオカメラ３００を制御するための各種の制御信号を、通信回線ＤＬなどを介して入出力部４１に接続されたステレオカメラ３００へと供給する。また、入出力部４１は、ステレオカメラ３００が撮影した入力画像１および入力画像２を画像処理装置２００Ａへとそれぞれ供給する。なお、入出力部４１は、予め入力画像１および入力画像２が記憶された光ディスクなどの記憶媒体を受け付けることなどによっても、入力画像１および入力画像２を画像処理装置２００Ａにそれぞれ供給する。
【００４０】
操作部４２は、例えば、キーボードあるいはマウスなどによって構成されており、操作者が操作部４２を操作することによって、画像処理装置２００Ａへの各種制御パラメータの設定、画像処理装置２００Ａの各種動作モードの設定などが行われる。また、画像処理装置２００Ａの機能部は、操作部４２から設定される各動作モードに応じた処理を行うことができるように構成されている。
【００４１】
表示部４３は、例えば、パララックスバリア方式などの３次元表示方式に対応した３次元表示用の液晶表示画面などによって構成される。また、表示部４３は、出力画像３と出力画像４とによって構成される立体画像２９を表示部４３における３次元表示方式に対応した画像形式に変換する不図示の画像処理部を備えている。表示部４３は、該画像処理部によって必要な変換処理が施された該立体画像をその表示画面に表示する。表示部４３における３次元表示方式として、例えば、左目用画像および右目用画像を交互に高速で切り替えて表示部４３に表示するとともに、該切り替えに同期して、左目および右目にそれぞれ対応した各シャッター部を交互に開閉可能な専用めがねを介して表示部４３に表示された立体画像が観察される三次元表示方式が採用されてもよい。なお、表示部４３は、ステレオカメラ３００から供給される画像、画像処理装置２００Ａが生成した画像、画像処理装置２００Ａに関する各種設定情報、および制御用ＧＵＩ（Graphical User Interface）などを、二次元の画像や文字情報として観察者に視認され得るように表示することもできる。
【００４２】
ＲＯＭ（Read Only Memory）４４は、読出し専用メモリであり、ＣＰＵ１１Ａを動作させるプログラムＰＧ１などを格納している。なお、読み書き自在の不揮発性メモリ（例えば、フラッシュメモリ）が、ＲＯＭ４４に代えて使用されてもよい。
【００４３】
ＲＡＭ（Random Access Memory）４５は、読み書き自在の揮発性メモリであり、画像処理装置２００Ａが取得した各種画像、ならびに画像処理装置２００Ａが生成する立体画像２９などを一時的に記憶する画像格納部、ＣＰＵ１１Ａの処理情報を一時的に記憶するワークメモリなどとして機能する。なお、後述するＣＰＵ１１Ａにおける各機能部の間での画像（画像データ）の授受は、ＲＡＭ４５を介して行なわれる。
【００４４】
記憶装置４６は、例えば、フラッシュメモリなどの読み書き自在な不揮発性メモリやハードディスク装置等によって構成されており、画像処理装置２００Ａの各種制御パラメータや各種動作モードなどの情報を恒久的に記録する。
【００４５】
ＣＰＵ（Central Processing Unit）１１Ａは、画像処理装置２００Ａの各機能部を統轄制御する制御処理装置であり、ＲＯＭ４４に格納されたプログラムＰＧ１などに従った制御および処理を実行する。ＣＰＵ１１Ａは、図２を用いて後述するように、取得部１２、変換部１３、探索部１４、生成部１５、判定部１６、および特定部１７としても機能する。ＣＰＵ１１Ａは、これらの機能部などによって、カラー画像である入力画像１および輝度画像である入力画像２をそれぞれ処理することによって、それぞれカラー画像である出力画像３および４（立体画像２９）を生成する。なお。画像処理装置２００Ａは、入力画像１と入力画像２とのうち入力画像１のみの色情報に基づいて立体画像２９の色情報を生成する。また、ＣＰＵ１１Ａは、ステレオカメラ３００の撮像動作の制御を行うとともに、表示部４３を制御して、各種画像、算出結果、および各種制御情報などを表示部４３に表示させる。
【００４６】
また、ＣＰＵ１１Ａ、入出力部４１、操作部４２、表示部４３、ＲＯＭ４４、ＲＡＭ４５、記憶装置４６等のそれぞれは、信号線４９を介して電気的に接続されている。したがって、ＣＰＵ１１Ａは、例えば、入出力部４１を介したステレオカメラ３００の制御およびステレオカメラ３００からの画像情報の取得、および表示部４３への表示等を所定のタイミングで実行できる。なお、図２に示される構成例では、取得部１２、変換部１３、探索部１４、生成部１５、判定部１６、および特定部１７などの各機能部は、ＣＰＵ１１Ａで所定のプログラムを実行することによって実現されているが、これらの各機能部はそれぞれ、例えば、専用のハードウェア回路などによって実現されてもよい。
【００４７】
＜（１−３）画像処理装置２００Ａの要部の構成について＞
図２は、実施形態に係る画像処理装置２００Ａの要部の構成例を示す機能ブロック図である。
【００４８】
○取得部１２：
図２に示される取得部１２は、入出力部４１から供給されるカラー画像である入力画像１および輝度画像（モノクロ画像）である入力画像２を取得する。入力画像１は、変換部１３および特定部１７に供給され、入力画像２は、探索部１４、特定部１７、および生成部１５へと供給される。
【００４９】
○変換部１３：
図２に示される変換部１３は、入力画像１に対して、ＲＧＢ色空間を輝度色差系の色空間であるＹＵＶ色空間に変換する変換処理を施すことによって、色情報画像（色差画像）５（図５）と輝度画像６（図５）とを生成して取得する。色情報画像５および輝度画像６は、探索部１４および生成部１５に供給される。
【００５０】
○探索部１４：
図２に示される探索部１４は、入力画像１と入力画像２との間で対応点探索処理を行うことによって入力画像２における各基準画素にそれぞれ対応した入力画像１の各対応画素をそれぞれ特定する。具体的には、探索部１４は、入力画像（輝度画像）２と輝度画像６との間で対応点探索処理を行なうことによって、入力画像２における各基準画素にそれぞれ対応した入力画像１の各対応画素をそれぞれ特定する。すなわち、探索部１４は、入力画像１と入力画像２とのそれぞれの輝度情報に基づいて該対応点探索処理を行う。特定された各基準画素および各対応画素の座標情報、各基準画素と各対応画素との対応情報などの探索結果の情報は、生成部１５へと供給される。また、各対応画素の特定に係る対応点探索処理において取得される対応点探索処理の信頼度Ｒ１（図１０）は、判定部１６へと供給される。
【００５１】
なお、入力画像１と入力画像２との画素数が異なる場合には、探索部１４は、例えば、画素数の拡張処理等によって画素数を同じにする処理、または画素サイズ以下のサブピクセル単位での対応点探索処理などによって、入力画像１と入力画像２との間で対応点探索処理を行う。
【００５２】
○生成部１５：
図２に示される生成部１５は、例えば、入力画像２、色情報画像５、および輝度画像６などを予め設定された動作モードに応じて適宜処理することによって、立体画像２９（図３、図４）を生成する。なお、立体画像２９の色情報は、入力画像１と入力画像２とのうちカラー画像である入力画像１のみの色情報に基づいて生成される。生成された立体画像２９は、表示部４３に表示される。
【００５３】
なお、生成部１５は、後述するように、判定部１６、および特定部１７の動作に応じて立体画像２９を生成することもできる。
【００５４】
○判定部１６：
図２に示される判定部１６は、予め設定された画像処理装置２００Ａの動作モードに応じて対応点探索処理の信頼度の判定用の基準値Ｔ１（図１０）を記憶装置４６から取得し、探索部１４から供給された対応点探索処理の信頼度Ｒ１（図１０）が予め設定された基準値Ｔ１よりも低いか否かを判定する。該判定結果は、特定部１７および生成部１５へと供給される。
【００５５】
○特定部１７：
図２に示される特定部１７は、判定部１６から供給された信頼度の判定結果が、予め設定された基準値Ｔ１よりも低いと判定された判定結果であった場合に、入力画像２における１の基準画素に対応した別の基準画素を入力画像１において探索して特定する処理などを行なう。該特定処理の結果は、生成部１５へと供給される。
【００５６】
＜（２）画像処理装置２００Ａの動作について＞
図１８は、実施形態に係る画像処理装置２００Ａが立体画像２９（出力画像３および４）を生成する動作フローＳ１０Ａの１例を示す図である。以下に、図１８を適宜参照しつつ、画像処理装置２００Ａの動作について説明する。なお、画像処理装置２００Ａの各機能部は、処理対象である入力画像１および２の画素数が異なる場合には、補間、間引き、および平均化の各処理のうち少なくとも１つの処理によって、画素数が相互に異なる画像間での処理を行なう。
【００５７】
＜（２−１）ステップＳ１０：取得工程＞
画像処理装置２００Ａからの指示に応じたステレオカメラ３００による被写体７０の撮影動作によって、入力画像１および２が取得されて画像処理装置２００Ａに供給されると、取得部１２（図２）は、入出力部４１を介してカラー画像である入力画像１および輝度画像（モノクロ画像）である入力画像２を取得する（図１８のステップＳ１０）。
【００５８】
＜（２−２）ステップＳ２０：変換工程＞
図５は、ＲＧＢ色空間で表現されたカラー画像である入力画像１の色空間の変換の概念を説明するための図である。ステップＳ１０において入力画像１および２が取得されると、変換部１３（図２）は、入力画像１に対して、例えば下記の（１）式〜（３）式によって、ＲＧＢ色空間を輝度色差系の色空間であるＹＵＶ色空間に変換する変換処理を施すことによって、色情報画像（色差画像）５（図５）と輝度画像６（図５）とを生成して取得する（図１８のステップＳ２０）。色情報画像５は、各画素について、色情報Ｕ、Ｖのそれぞれを各画素値とする画像である。また、輝度画像６は、輝度Ｙを各画素の画素値とする画像である。
【００５９】
なお、本願においては、（２）式および（３）式によってそれぞれ算出される色差Ｕ、Ｖ（ＵＶ信号）と、値Ｒ、Ｇ、Ｂ（ＲＧＢ信号）の総称として「色情報」という用語を使用する。また、ＲＧＢ色空間からＹＵＶ色空間への変換処理は数種類あり、（１）式〜（３）式に示される変換は、その一手法である。
【００６０】
【数１】
【００６１】
＜（２−３）ステップＳ３０：探索工程＞
ステップＳ２０において輝度画像６が生成されると、探索部１４（図２）は、入力画像１と入力画像２との間で対応点探索処理を行うことによって入力画像２における各基準画素にそれぞれ対応した入力画像１の各対応画素をそれぞれ特定する（図１８のステップＳ３０）。ここで、探索部１４は、入力画像（輝度画像）２と入力画像１との間で、それぞれの輝度情報に基づいて該対応点探索処理を行う。すなわち、探索部１４は、入力画像（輝度画像）２と、入力画像１についての輝度情報を表現した輝度画像６との間で対応点探索処理を行うことによって、入力画像２における各基準画素にそれぞれ対応した入力画像１の各対応画素をそれぞれ特定する。
【００６２】
該対応点探索処理は、ＮＣＣ（Normalized Cross Correlation）法、ＳＡＤ（Sum of Absolute Difference）法、またはＰＯＣ（Phase Only Correlation）法などの相関演算手法を用いたパターンマッチング処理により互いに対応づけられる各領域の代表点を特定する処理などにより行なわれ得る。以下に、一例として、ＳＡＤ法を用いた対応点探索処理を説明する。
【００６３】
○ＳＡＤ法を用いた対応点探索：
図１０は、ＳＡＤ法を用いた対応点探索の例を説明する図である。図１０に示される入力画像２上にはＸ座標がｈ２である基準画素２１が設定されており、基準画素２１に対して基準ウィンドウ５１が設定されている。基準ウィンドウ５１のＸ方向の両端のＸ座標は、ｈ１とｈ３である。また、入力画像１に対応した輝度画像６上には、基準画素２１に対応する対応画素２３が示されている。
【００６４】
ここでは、ＳＡＤ法を用いて対応画素２３を求める例について説明する。輝度画像６上には、Ｘ座標がｘｓである探索基準点２２ｓからＸ座標がｘｅである探索基準点２２ｅまで、Ｘ座標がｘｓ≦ｘ≦ｘｅの範囲で１画素ごとに複数の探索基準点が設定されており、これら複数の探索基準点の代表として両端の探索基準点２２ｓ、２２ｅのみが記載されている。また、該複数の探索基準点には、それぞれ基準ウィンドウ５１と同サイズの複数の参照ウィンドウが設定されており、該複数の参照ウィンドウの代表として両端の参照ウィンドウ５２ｓ、５２ｅのみが記載されている。
【００６５】
ここで、図１０においては説明を簡単にするため、基準画素２１と複数の探索基準点２２ｓ〜２２ｅのＹ座標は同じであり、従って、基準ウィンドウ５１と、参照ウィンドウ５２ｓ〜５２ｅのＹ方向の座標のずれ量は無いように設定されている。また、基準画素２１と、求められるべき対応画素２３のＹ座標も一致するように設定されている。
【００６６】
次に、参照ウィンドウ５２ｓ〜５２ｅの各参照ウィンドウ内の各画像と、基準ウィンドウ５１内の画像との相関値を演算する。基準ウィンドウと参照ウィンドウのＸ方向、Ｙ方向の座標のずれ量（視差）をそれぞれ視差ｘｄ、ｙｄとする。図１０の例では、視差ｘｄの範囲はｘｓ−ｈ２〜ｘｅ−ｈ２であり、視差ｙｄは０である。
【００６７】
基準ウィンドウ５１内の各画素（xｉ，yｊ）の画素値をＩｍｇ１（xｉ，yｊ）、Ｘ方向、Ｙ方向の視差が、視差ｘｄ、ｙｄである参照ウィンドウ５２内の各画素（ｘｉ＋ｘｄ，yｊ＋ｙｄ）の画素値をＩｍｇ２（ｘｉ＋ｘｄ，yｊ＋ｙｄ）とすると、（４）式、（５）式を用いた演算によって基準ウィンドウ５１内の画像と参照ウィンドウ５２内の画像の相関値ＣＯＲｐが算出される。
【００６８】
【数２】
【００６９】
参照ウィンドウが５２ｓから５２ｅにわたって走査されるように、Ｘ方向の視差ｘｄをｘｓ−ｈ２〜ｘｅ−ｈ２の範囲で変更しつつ、（４）式および（５）式によって各視差ｘｄに対する相関値ＣＯＲｐが算出されると、図１０に示すグラフＵ１のように輝度画像６のＸ座標と相関値ＣＯＲｐとの関係が明らかになる。
【００７０】
図１０の例では、座標ｘＭにおいて、グラフＵ１における相関値ＣＯＲｐの最大値Ｒ１が与えられているので、探索基準点のＸ座標がｘＭと一致する参照ウィンドウが、相関値ＣＯＲｐの最大値Ｒ１を与える参照ウィンドウであり、該参照ウィンドウの探索基準点と、基準画素２１に対応する対応画素２３とは一致する。
【００７１】
なおＣＯＲｐ値の最大値Ｒ１が、本発明における「信頼度」に相当する。信頼度Ｒ１は、判定部１６によって、記憶装置４６などに予め格納された所定の判定用の基準値Ｔ１と比較されて、対応点探索処理についての信頼度が判定される。該判定処理において、信頼度Ｒ１が基準値Ｔ１以上であれば対応点探索処理の信頼度は高く、対応画素２３の特定は成功していると判定される。逆に、信頼度Ｒ１が基準値Ｔ１よりも低ければ、対応画素２３の特定は失敗していると判定される。
【００７２】
図１１はＳＡＤ法における参照ウィンドウ５２の走査態様を例示する図であり、入力画像１に対応した輝度画像６の全域に参照ウィンドウ５２を走査させている。ＳＡＤ法は周波数分析を行う手法に比べて演算量が少なく高速な処理が可能であるので、画素数が多い入力画像１（輝度画像６）にＳＡＤ法による対応点探索を適用し、図１１に示される全域走査を行っても処理時間が短くなる。
【００７３】
従ってＳＡＤ法を用いる場合には、画像の全域にわたって参照ウィンドウの走査を行って視差特定をしても、周波数分析を行う手法を用いる場合に比べて短時間で対応点探索を行うことができるので、探索基準点を求める処理コストを削減することが可能となる。
【００７４】
なお、ＳＡＤ法以外にも、例えば、ＳＳＤ（濃度差の二乗和）法などを差分型探索手法として採用しても本発明の有用性を損なうものではない。また、対応点探索法としてＰＯＣ法を用いてもよい。ＰＯＣ法は、画像の周波数成分を用いるため、上述したように入力画像（輝度画像）２と輝度画像６との間での対応点探索を行う方法としては好適である。
【００７５】
ここで、後述する生成部１５は、予め設定された動作モードに応じて、探索部１４の対応点探索処理の結果から、例えば、後述する３種類の生成処理１〜３によって、ＲＧＢ色空間で表現されたカラー画像出力画像４を生成可能に構成されている。
【００７６】
図７〜図９は、それぞれ、該３種類の生成処理１〜３のそれぞれによる出力画像４の生成処理を説明するための図である。図７〜図９においては、画素間の対応関係の理解を容易にするために、撮影された被写体像の一部の輪郭が破線によって表示されている。
【００７７】
また、図６は、ＹＵＶ色空間からＲＧＢ色空間への変換による出力画像４の生成の概念を、該３種類の手法にそれぞれ対応して説明するための図である。
【００７８】
＜（２−４）ステップＳ４０：第１生成工程＞
図１８のステップＳ３０において、入力画像２における各基準画素にそれぞれ対応した入力画像１の各対応画素がそれぞれ特定されると、生成部１５（図２）は、入力画像２から派生する出力画像４の各画素に対応した輝度情報と色情報（色差）との取得処理を行なう（図１８のステップＳ４０）。
【００７９】
○出力画像４の生成処理１に対するステップＳ４０の処理：
出力画像４の生成処理１においては、生成部１５は、図７に示されるように、出力画像４の画素Ｐ４の輝度Ｙとして、入力画像２における画素Ｐ４に対応する画素Ｐ１の輝度Ｙを採用する。生成部１５は、また、画素Ｐ４の色情報（色差）Ｕ、Ｖとして、色情報画像５における対応画素Ｐ３の色情報（色差）Ｕ、Ｖを採用する。
【００８０】
生成部１５は、ステップＳ４０においては、先ず、探索部１４から供給された探索結果の情報に基づいて、入力画像２の画素Ｐ１（Ｘａ，Ｙａ）と、輝度画像６の画素Ｐ１に対応した対応画素Ｐ２（Ｘｂ，Ｙｂ）とを特定する。
【００８１】
生成部１５は、また、対応画素Ｐ２と同じ座標の色情報画像（色差画像）５における対応画素Ｐ３（Ｘｂ，Ｙｂ）を特定するとともに、入力画像２の画素Ｐ１と同じ座標の出力画像４における画素Ｐ４（Ｘａ，Ｙａ）を特定する。
【００８２】
生成部１５は、入力画像２における他の画素のそれぞれについても、同様に、色情報画像５および輝度画像６における対応画素と、出力画像４における同じ座標の画素とを特定する。
【００８３】
出力画像４の各画素について、各画素の色情報Ｒ、Ｇ、Ｂの生成に用いられる輝度情報Ｙと色情報（色差）Ｕ、Ｖに係る各画素を特定することにより、各画素の色情報Ｒ、Ｇ、Ｂの生成に用いられる輝度情報Ｙと、色情報（色差）Ｕ、Ｖとを取得する。
【００８４】
○出力画像４の生成処理２に対するステップＳ４０の処理：
出力画像４の生成処理２においては、生成部１５は、図８に示されるように、出力画像４の画素Ｐ４の輝度Ｙとして、輝度画像６における対応画素Ｐ２の輝度Ｙを採用する。生成部１５は、また、画素Ｐ４の色情報（色差）Ｕ、Ｖとして、生成処理１と同様に、色情報画像５における対応画素Ｐ３の色情報（色差）Ｕ、Ｖを採用する。
【００８５】
出力画像４の生成処理２に対するステップＳ４０の処理においては、生成処理１に対するステップＳ４０の処理と同様にして、生成部１５は、図８に示されるように、画素Ｐ１に対して、対応画素Ｐ２、Ｐ３および画素Ｐ４をそれぞれ特定する。
【００８６】
また、生成部１５は、入力画像２における他の画素のそれぞれについても、同様に、色情報画像５および輝度画像６における対応画素と、出力画像４における同じ座標の画素とを特定し、出力画像４の各画素について、色情報Ｒ、Ｇ、Ｂの生成に用いられる輝度情報Ｙと、色情報（色差）Ｕ、Ｖとを取得する。
【００８７】
○出力画像４の生成処理３に対するステップＳ４０の処理：
出力画像４の生成処理３においては、生成部１５は、図９に示されるように、出力画像４の画素Ｐ４の輝度Ｙとして、入力画像２における画素Ｐ１と輝度画像６における対応画素Ｐ２とのそれぞれの輝度Ｙを採用する。生成部１５は、また、画素Ｐ４の色情報（色差）Ｕ、Ｖとして、生成処理１、２と同様に、色情報画像５における対応画素Ｐ３の色情報（色差）Ｕ、Ｖを採用する。
【００８８】
出力画像４の生成処理３に対するステップＳ４０の処理においては、生成部１５は、生成処理１に対するステップＳ４０の処理と同様にして、図９に示されるように、画素Ｐ１に対して、対応画素Ｐ２、Ｐ３および画素Ｐ４をそれぞれ特定する。
【００８９】
また、生成部１５は、入力画像２における他の画素のそれぞれについても、同様に、色情報画像５および輝度画像６における対応画素と、出力画像４における同じ座標の画素とを特定し、出力画像４の各画素について、色情報Ｒ、Ｇ、Ｂの生成に用いられる輝度情報Ｙと、色情報（色差）Ｕ、Ｖとを取得する。
【００９０】
＜（２−５）ステップＳ５０：第２生成工程＞
出力画像４の各画素の色情報ＲＧＢの生成に用いられる輝度情報Ｙと色情報（色差）Ｕ、Ｖとの取得がされると、生成部１５は、取得された輝度情報Ｙと色情報Ｕ、Ｖについて、ＹＵＶ色空間からＲＧＢ色空間への逆変換処理を行い、出力画像４を生成する（図１８のステップＳ５０）。
【００９１】
○出力画像４の生成処理１に対するステップＳ５０の処理：
生成部１５は、出力画像４の生成処理１に対するステップＳ５０において、出力画像４における１の画素Ｐ４（図７）に対応した入力画像２における画素Ｐ１（図７）の輝度Ｙと、画素Ｐ４に対応した色情報画像５における対応画素Ｐ３（図７）の色情報Ｕ、Ｖとに対して、ＹＵＶ色空間からＲＧＢ色空間への逆変換処理を行う。該逆変換処理は、（１）式〜（３）式で表現されたＲＧＢ色空間からＹＵＶ色空間への変換処理の逆変換によって行われる。該逆変換処理によって、画素Ｐ４の色情報Ｒ、Ｇ、Ｂが取得される。生成部１５は、取得した色情報Ｒ、Ｇ、Ｂを画素Ｐ４に対応したＲＡＭ４５のメモリ空間に格納することなどによって、画素Ｐ４の画素値の生成を完了する。生成部１５は、出力画像４における他の画素についても画素Ｐ４と同様の処理を行うことにより出力画像４を生成する。従って、図６に示されるように、出力画像４は、入力画像２の輝度Ｙと、色情報画像５の色情報（色差）Ｕ、Ｖとに対してＹＵＶ色空間からＲＧＢ色空間への逆変換を施すことにより生成される。
【００９２】
○出力画像４の生成処理２に対するステップＳ５０の処理：
生成部１５は、出力画像４の生成処理２に対するステップＳ５０において、出力画像４における１の画素Ｐ４（図８）に対応した輝度画像６における対応画素Ｐ２（図８）の輝度Ｙと、画素Ｐ４に対応した色情報画像５における対応画素Ｐ３（図８）の色情報Ｕ、Ｖとに対して、ＹＵＶ色空間からＲＧＢ色空間への逆変換処理を行う。生成部１５は、該逆変換処理によって、画素Ｐ４の色情報Ｒ、Ｇ、Ｂを取得し、取得した色情報Ｒ、Ｇ、Ｂを画素Ｐ４に対応したＲＡＭ４５のメモリ空間に格納することなどによって、画素Ｐ４の画素値の生成を完了する。生成部１５は、出力画像４における他の画素についても画素Ｐ４と同様の処理を行うことにより出力画像４を生成する。従って、図６に示されるように、出力画像４は、輝度画像６の輝度Ｙと、色情報画像５の色情報（色差）Ｕ、Ｖとに対してＹＵＶ色空間からＲＧＢ色空間への逆変換を施すことにより生成される。
【００９３】
○出力画像４の生成処理３に対するステップＳ５０の処理：
生成部１５は、出力画像４の生成処理３に対するステップＳ５０において、出力画像４の１の画素Ｐ４（図９）にそれぞれ対応した入力画像２の画素Ｐ１と、輝度画像６の対応画素Ｐ２（図９）とのそれぞれの各輝度Ｙについて、例えば、平均値を求めることなどにより派生した輝度Ｙを取得する。生成部１５は、該派生した輝度Ｙと、画素Ｐ４に対応した色情報画像５の対応画素Ｐ３（図９）の色情報Ｕ、Ｖとに対して、ＹＵＶ色空間からＲＧＢ色空間への逆変換処理を行う。生成部１５は、該逆変換処理によって、画素Ｐ４の色情報Ｒ、Ｇ、Ｂを取得し、取得した色情報Ｒ、Ｇ、Ｂを画素Ｐ４に対応したＲＡＭ４５のメモリ空間に格納することなどによって、画素Ｐ４の画素値の生成を完了する。生成部１５は、出力画像４における他の画素についても画素Ｐ４と同様の処理を行うことにより出力画像４を生成する。従って、図６に示されるように、出力画像４は、入力画像２および輝度画像６のそれぞれの輝度Ｙから派生した輝度Ｙと、色情報画像５の色情報（色差）Ｕ、Ｖとに対してＹＵＶ色空間からＲＧＢ色空間への逆変換を施すことにより生成される。
【００９４】
＜（２−６）ステップＳ６０：第３生成工程＞
出力画像４が生成されると、生成部１５は、入力画像１から派生した出力画像３を生成することによって、出力画像３、４（立体画像２９）を生成し（図１８のステップＳ６０）、立体画像２９の生成処理を終了する。
【００９５】
なお、出力画像３の生成処理において、生成部１５は、例えば、入力画像１自体を出力画像３として採用する処理により出力画像３を生成する。また、生成部１５が、例えば、既述した出力画像４の生成処理３と同様にして、入力画像２および輝度画像６のそれぞれの輝度Ｙから派生した輝度Ｙと、色情報画像５の色情報（色差）Ｕ、Ｖとに対してＹＵＶ色空間からＲＧＢ色空間への逆変換を施すことにより出力画像３を生成したとしても本発明の有用性を損なうものではない。ステップＳ４０（第１生成工程）、ステップＳ５０（第２生成工程）およびステップＳ６０（第３生成工程）を総称して、生成工程と言う。
【００９６】
上述したように、画像処理装置２００Ａによれば、入力画像１と入力画像２とのうちカラー画像である入力画像１のみの色情報に基づいて出力画像３と出力画像４とによって構成される立体画像２９の色情報が生成される。従って、生成された立体画像における色情報のずれが低減され得る。
【００９７】
また、画像処理装置２００Ａは、入力画像１と入力画像２との間で互いに対応する画素の位置情報を使用して立体画像２９を生成する。従って、入力画像１および２からそれぞれ派生する出力画像３および４の画素位置の変化がないので、画素位置の変化に起因して生ずる画像（画像データ）の欠落部分を生ずることなく立体画像２９を生成することができる。
【００９８】
＜（３）対応点探索処理の失敗時における回復処理＞
＜（３−１）回復処理１＞
図１２は、入力画像２の基準画素に対応した入力画像１の対応画素、すなわち輝度画像６における対応画素を特定する対応点探索処理が失敗した場合に、画像処理装置２００Ａが行なう出力画像４の生成処理の１例を説明するための図である。図１２においては、入力画像２における基準画素の１例として基準画素Ｑ２（Ｘ２，Ｙ２）が示されている。また、輝度画像６における対応画素として、図１８のステップＳ３０において特定された画素の１例として対応画素Ｑ１（Ｘ１，Ｙ１）が示されている。
【００９９】
ここで、対応画素Ｑ１が探索された際の対応点探索処理における信頼度Ｒ１（図１０）は、判定部１６に供給されている。そして、判定部１６（図２）によって信頼度Ｒ１と、記憶装置４６に予め格納されている信頼度判定用の基準値Ｔ１とが比較された結果、信頼度Ｒ１が基準値Ｔ１よりも低い、すなわち該対応点探索処理が失敗したとの判定結果が得られている。また、該判定結果は、特定部１７（図２）へと供給されている。
【０１００】
特定部１７は、該判定結果が、対応点探索処理の失敗に対応した判定結果であった場合には、基準画素Ｑ２に対応した別の基準画素Ｑ３（Ｘ３，Ｙ３）を入力画像２において探索して特定する。該特定処理は、探索部１４における処理と同様に、ＳＡＤ法やＰＯＣ法などの相関演算手法を用いたパターンマッチング処理により互いに対応づけられる各領域の代表点を特定する処理などにより行なわれる。また、該特定処理の結果である基準画素Ｑ３に関する情報は、生成部１５へと供給される。
【０１０１】
なお、特定部１７は、設定された動作モードに応じて、基準画素Ｑ３の特定処理において更に重み付け処理を行なうことにより基準画素Ｑ３を特定することもできる。具体的には、特定部１７は、基準画素Ｑ２からの基準画素Ｑ３の候補画素の距離が近ければ近いほど該候補画素が基準画素Ｑ３として特定され易くなるように該候補画素についての探索処理の信頼度に重み付け処理を行なうことによって基準画素Ｑ３を特定する。
【０１０２】
生成部１５は、基準画素Ｑ３に対応した入力画像１における対応画素の色情報に基づいて基準画素Ｑ２に対応した出力画像４における基準画素Ｑ６（Ｘ２，Ｙ２）の色情報を生成する。具体的には、輝度画像６における対応画素Ｑ４（Ｘ４，Ｙ４）は、基準画素Ｑ３に対応した対応画素として探索部１４によって予め探索された対応画素である。なお、対応画素Ｑ４の対応点探索処理は成功したと判定されている。
【０１０３】
生成部１５は、輝度画像６において基準画素Ｑ３に対応した探索が成功した対応画素Ｑ４（Ｘ４，Ｙ４）を特定し、色情報画像５において対応画素Ｑ４と同じ座標の対応画素Ｑ５（Ｘ４，Ｙ４）を特定する。対応画素Ｑ５が特定されると、生成部１５は、基準画素Ｑ２に対応した出力画像４における画素Ｑ６（Ｘ２，Ｙ２）の色情報（色差）Ｕ、Ｖとして対応画素Ｑ５の色情報（色差）Ｕ、Ｖを採用する。また、生成部１５は、基準画素Ｑ６の輝度情報として、例えば、基準画素Ｑ２の輝度Ｙを採用する。
【０１０４】
生成部１５は、対応画素Ｑ５の色情報（色差）Ｕ、Ｖと、基準画素Ｑ２の輝度情報Ｙとに対してＹＵＶ色空間からＲＧＢ色空間への逆変換処理を行なうことによって画素Ｑ６の色情報Ｒ、Ｇ、Ｂを取得し、出力画像４における画素Ｑ６を生成する。
【０１０５】
すなわち、生成部１５は、基準画素Ｑ２とは別の基準画素Ｑ３に対応した入力画像１における対応画素の色情報に基づいて基準画素Ｑ２に対応した出力画像４における画素Ｑ６の色情報を生成する。
【０１０６】
＜（３−２）回復処理２＞
画像処理装置２００Ａの制御に基づいてステレオカメラ３００が時系列画像を取得した場合には、画像処理装置２００Ａは、入力画像１、２とは異なる時刻に撮影された他の入力画像に基づいて、対応点探索処理が失敗した場合の立体画像２９の生成処理を行なうことができる。
【０１０７】
図１３は、時系列画像の概念を説明するための図であり、画像ｆＡ〜ｆＦは、所定のフレームレートで連続的に撮影された時系列画像である。なお、画像ｆＢは、現在の時刻における画像である。また、取得部１２は、ステレオカメラ３００から時系列の入力画像１と時系列の入力画像２とを取得し、図１３は、時系列の入力画像２を表示している。
【０１０８】
入力画像２（画像ｆＢ）の基準画素に対する入力画像１の対応画素の探索処理の信頼度Ｒ１が予め設定された基準値Ｔ１よりも低いと判定された場合には、特定部１７は、画像ｆＢの１の基準画素に対応した別の基準画素を、例えば、画像ｆＣなどの画像ｆＢとは異なる時刻に撮影された時系列の入力画像２において探索して特定する。
【０１０９】
生成部１５は、設定された動作モードに応じて、画像ｆＣと同じ時刻の時系列の入力画像１において、該別の基準画素に対応した対応画素を特定し、該対応画素の色情報に基づいて該１の基準画素に対応した出力画像４における基準画素の色情報を生成する。該生成処理によって、対応点探索処理が失敗した場合であっても、生成部１５は、時系列の入力画像１と時系列の入力画像２とからそれぞれ派生する時系列の出力画像３と時系列の出力画像４とにより構成される立体画像２９を生成し得る。
【０１１０】
画像処理装置２００Ａが時系列の入力画像１，２を用いて立体画像２９の生成を行なえば、現在の時刻における入力画像２の基準画素についての対応点探索処理が失敗した場合であっても、他の時刻の時系列画像に基づいて該基準画素についての対応点探索処理を行い得る。従って、色情報の設定がされない出力画像４の画素の画素数が低減され得る。
【０１１１】
＜（４）色情報の欠落低減のための立体画像２９の生成処理＞
図１４は、立体画像２９における色情報の欠落低減のために画像処理装置２００Ａが行なう出力画像４の生成処理を説明するための図である。図１４に示される画素Ｍ１〜Ｍ１２は、入力画像２の一部における各画素である。画素Ｍ６は、入力画像２における１の基準画素で、例えばオクルージョンなどによって対応する色情報が得られない画素である。また、画素Ｍ２、Ｍ５、Ｍ７、およびＭ１０は、画素Ｍ６に対して４近傍に存在する画素である。
【０１１２】
画像処理装置２００Ａは、該色情報の欠落防止のための立体画像２９の生成処理を、以下の処理（Ａ−１）〜（Ａ−６）を行なうことによって実現する。
【０１１３】
・処理（Ａ−１）：生成部１５は、先ず、出力画像４の各画素に対応した色情報（色差）の値を０に初期化する。
【０１１４】
・処理（Ａ−２）：次に、特定部１７は、画素Ｍ６からの距離が、例えば、４近傍に対応した所定の基準値（基準距離）以下である複数の基準画素を特定し、特定した複数の基準画素に関する情報を生成部１５に供給する。
【０１１５】
・処理（Ａ−３）：特定部１７から該複数の基準画素についての情報が供給されると、生成部１５は、画素Ｍ６に対応した入力画像１における１の対応画素を、探索部１４から供給された対応点処理の探索結果に基づいて特定する。そして生成部１５は、該１の対応画素についての色情報、すなわち該１の対応画素に対応した色情報画像５の画素における色情報（色差）を該複数の基準画素のそれぞれの色情報（色差）に加算する。
【０１１６】
・処理（Ａ−４）：入力画像２における画素Ｍ６以外の全ての画素に対して、同様に特定部１７が処理（Ａ−２）を行ない、生成部１５が処理（Ａ−３）を行なう。
【０１１７】
・処理（Ａ−５）：生成部１５は、出力画像４における各基準画素について、加算された色情報（色差）の平均値を求めることなどによって、該各基準画素の色情報Ｒ、Ｇ、Ｂの生成に用いられる色情報（色差）を取得する。
【０１１８】
・処理（Ａ−６）：生成部１５は、出力画像４の各基準画素のそれぞれについて、処理（Ａ−５）で取得した色情報（色差Ｕ、Ｖ）と、該各基準画素にそれぞれ対応した輝度画像６における各対応画素の輝度情報（輝度Ｙ）とに基づいて、ＹＵＶ色空間からＲＧＢ色空間への逆変換を行なう。生成部１５は、該逆変換よって出力画像４の生成を行なうとともに、例えば、入力画像１を出力画像３として採用することなどにより、立体画像２９の生成を行なう。
【０１１９】
処理（Ａ−１）〜（Ａ−６）によれば、画像処理装置２００Ａは、オクルージョンなどによって、入力画像２における基準画素に対応する出力画像３の対応画素が存在しない場合でも、該基準画素に対応した出力画像４の画素の色情報を取得し得る。
【０１２０】
なお、生成部１５は、動作モードに応じて、処理（Ａ−３）における加算処理を行う際に、入力画像２における各基準画素のそれぞれについて、探索部１４による対応点探索処理の信頼度Ｒ１に応じた重み付けを、各基準画素に対応した色情報画像５の対応画素の色情報（色差）に対して行なうこともできる。
【０１２１】
＜（５）立体画像２９の輝度合わせ処理＞
画像処理装置２００Ａは、動作モードに応じて、生成された出力画像３、４の輝度情報のヒストグラムに基づいて出力画像３および４の間での輝度合わせ処理を行なうことで輝度が補正された出力画像３および４を生成する。なお、本願においては、入力値と、該入力値に対応する累積度数（累積画素数）との関係を表現するヒストグラムを累積ヒストグラムと称する。
【０１２２】
ここで、出力画像３、４は、同一の被写体がそれぞれ撮影された入力画像１、２からそれぞれ派生した画像であるので、本来、両画像の輝度Ｙのヒストグラムの形も凡そ近いものとなるはずである。従って、画像処理装置２００Ａは、出力画像３、４の生成にそれぞれ用いられる輝度の差異などによって出力画像３、４における輝度が違っている場合にも、両画像のヒストグラムを近づける変換（ヒストグラムの形をおおよそ合わせる変換）によって、両画像の輝度を互いに近づけることができる。
【０１２３】
より詳細には、画像処理装置２００Ａは、先ず、出力画像３、４のそれぞれの輝度Ｙのヒストグラムを相対的に近づけるように出力画像３、４の輝度を変換する変換用ガンマテーブルを生成する。そして、画像処理装置２００Ａは、該変換用ガンマテーブルを用いて出力画像３、４の輝度を変換することにより出力画像３、４の輝度合わせ処理を行なう。なお、変換用ガンマテーブルについては、後述する。
【０１２４】
出力画像３、４についての輝度のヒストグラムは、各画像の画素数によってそれぞれ正規化された後に、各ヒストグラムを相対的に近づける処理に用いられる。通常、立体画像２９を構成する出力画像３、４の画素数は互いに等しいが、仮に、画素数が相違したとしても、該正規化の処理によって、出力画像３、４の輝度合わせ処理は行なわれる。
【０１２５】
画像処理装置２００Ａによれば、輝度合わせ処理専用の校正用チャートが不要であるため、例えば、出力画像３、４の生成毎に、出力画像３、４の間での輝度合わせ処理を行なうことも可能となる。
【０１２６】
＜目標画像の設定について＞
画像処理装置２００Ａは、輝度合わせ処理の開始に先立って、出力画像３、４のうち少なくとも一方から派生する目標画像を生成し、上述したヒストグラムを近づける処理において目標となるヒストグラムを与える目標画像として用いる。目標画像は、出力画像３、４のうち何れか一方自体であってもよい。また、目標画像は、例えば、出力画像３、４の輝度の平均を取った画像など、出力画像３、４に基づいて生成された画像であってもよい。
【０１２７】
なお、本願においては、出力画像３、４のうち目標画像として設定されていない画像は、「対象画像」とも称される。
【０１２８】
また、生成部１５は、予め設定された動作モードに応じて、出力画像３、４のうち解像度が高い方の画像を目標画像とする。解像度が高い撮像系、すなわち画素数の多い撮像系は、一般に、解像度が低い撮像系、すなわち画素数の少ない撮像系よりも、各種の光学的性能が優れたレンズ、および処理回路が用いられる。従って、撮影される画像の収差、偽色の有無などの画質も、解像度が高い撮像系によって撮像された画像の方が良くなる。従って、撮像系の解像度が高い方の画像が目標画像とされれば、出力画像３、４の輝度合わせ処理の結果がより改善され得る。
【０１２９】
なお、生成部１５は、動作モードに応じて、操作部４２を用いてユーザーが目標画像を指定する情報に基づいて目標画像を選択指定することもできる。
【０１３０】
＜（５−１）累積ヒストグラムの使用による輝度合わせ処理＞
図１９は、実施形態に係る画像処理装置２００Ａの累積ヒストグラムを用いた輝度合わせ処理に係る動作フローＳ１００Ａの１例を示す図である。次に、出力画像３が対象画像として、また、出力画像４が目標画像としてそれぞれ設定された場合を例として、累積ヒストグラムを使用した輝度合わせ処理について図１９の動作フローを適宜参照しつつ説明する。なお、本願においては、Ｙ値などの画像の各画素値は、それぞれ８ビットで表現される。
【０１３１】
また、図１５は、累積ヒストグラムを用いた画像のＹ成分（Ｙ値）についての変換用ガンマテーブルの生成処理を説明するための図である。また、図１６は、出力画像３（対象画像）の輝度Ｙの変換用ガンマテーブルＵＲの１例を示す図であり、図１７は、出力画像４（目標画像）の輝度Ｙの変換用ガンマテーブルＶＲの１例を示す図である。
【０１３２】
輝度合わせ処理が開始されると、生成部１５が、出力画像３、４を輝度合わせの対象として取得する（図１９のステップＳ１１０）。そして、生成部１５は、出力画像３、４のそれぞれについて、輝度を表現した画素値（Ｙ値）の累積ヒストグラムを取得する（図１９のステップＳ１２０）。なお、生成部１５は、例えば、出力画像３、４に対してＲＧＢ色空間からＹＵＶ色空間への変換を施すことなどによって出力画像３、４の輝度の取得を行なう。また、生成部１５は、出力画像３、４の生成過程で用いられた輝度画像によって出力画像３、４の輝度の取得を行なうこともできる。図１５においては、出力画像３のＹ値の累積ヒストグラムＣＨ１と、出力画像４のＹ値の累積ヒストグラムＣＨ２とが示されている。また、累積ヒストグラムＣＨ１、ＣＨ２は、累積度数の最大値によってそれぞれ正規化されている。
【０１３３】
次に、生成部１５は、目標画像、すなわち出力画像４についてのＹ値の累積ヒストグラムを取得する（図１９のステップＳ１３０）。図１５に示されるように、目標画像のＹ値の累積ヒストグラムＣＨＴは、累積ヒストグラムＣＨ２でもある。
【０１３４】
対象画像と、目標画像とのそれぞれについての各色成分の累積ヒストグラムが取得されると、生成部１５は、出力画像３、４について、ＲＧＢ各成分の変換用ガンマテーブルを生成する（図１９のステップＳ１４０）。
【０１３５】
Ｙ値（Ｙ成分）について変換用ガンマテーブルＵＲ、ＶＲが生成される場合には、該ステップＳ１４０において、生成部１５は、累積ヒストグラムＣＨ１上に、例えば、点Ｐａ１〜Ｐａ５のように複数の点を設定する。なお、点Ｐａ１〜Ｐａ５のＹ値は、それぞれＡ１〜Ａ５である。
【０１３６】
複数の点Ｐａ１〜Ｐａ５が設定されると、生成部１５は、点Ｐａ１〜Ｐａ５にそれぞれに対応する累積ヒストグラムＣＨ２上の点Ｐｂ１〜Ｐｂ５を、累積度数の値を対応付け指標として特定することにより取得する。ここで、点Ｐａ１〜Ｐａ５のＹ値の各累積度数は、点Ｐｂ１〜Ｐｂ５のＹ値の各累積度数とそれぞれ等しい値となる。
【０１３７】
このように、生成部１５は、累積度数の値を対応付け指標として、累積ヒストグラムＣＨ１のＹの値と、累積ヒストグラムＣＨ２のＹの値とを対応づけた組みを、累積度数の複数の値のそれぞれについて取得する。
【０１３８】
点Ｐｂ１〜Ｐｂ５が特定されると、生成部１５は、図１６に示されるように、出力画像３についてのＹ値Ａ１〜Ａ５と出力画像４についてのＹ値Ｂ１〜Ｂ５とに対応した点ｃ１〜ｃ５を特定する。そして、生成部１５は、出力画像３の各Ｙ値（入力値）と、輝度補正後の出力画像３の各Ｙ値（出力値）とを対応させる入出力関係を点ｃ１〜ｃ５に基づいて特定する。特定された入出力関係（「変換特性」とも称される）は、「変換用ガンマテーブル」とも称される。
【０１３９】
変換用ガンマテーブルＵＲは、例えば、点ｃ１〜ｃ５を通る折れ線や、近似曲線などとして特定される。なお、変換用ガンマテーブルＵＲは、例えばＹ値が８ビットの場合、入力値０が出力値０に対応し、入力値２５５が出力値２５５に対応するように生成される。
【０１４０】
ここで、出力画像４は、目標画像であるので、出力画像４は、そのまま補正後の出力画像４として生成される。従って、出力画像４についての変換用ガンマテーブルＶＲは、図１７において点ｄ１〜ｄ５によって特定されるように、傾き１の直線となる。このように入力画像が、目標画像そのものである場合には、無変換の変換用ガンマテーブルが作られる。
【０１４１】
上述したように、出力画像３を輝度補正後の出力画像３に変換する変換用ガンマテーブルＵＲは、出力画像３（対象画像）のＹ値の累積ヒストグラムＣＨ１の値と、出力画像４（目標画像）のＹ値の累積ヒストグラムＣＨ２とを互いに近づけるように特定された変換特性である。
【０１４２】
出力画像３、４について、輝度Ｙの変換用ガンマテーブルがそれぞれ生成されると、生成部１５は、生成された各変換用ガンマテーブルを用いて、出力画像３、４の輝度Ｙを変換して補正する（図１９のステップＳ１５０）。輝度が補正されると生成部１５は、ＹＵＶ色空間からＲＧＢ色空間への逆変換を行なうことなどによって、輝度が補正された出力画像３、４をそれぞれ生成し、輝度合わせ処理を終了する。
【０１４３】
累積ヒストグラムにおいては、画素表現情報の値と、該値に対応する累積度数とが１対１に対応する。従って、上述したように、累積ヒストグラムが用いられれば、累積ヒストグラム上に、例えば、ピークなどの特徴点以外の複数の点を特定することによって、対象画像の累積ヒストグラムと、目標画像の累積ヒストグラムと相対的に近づけることができる。複数の点に基づいて各累積ヒストグラムが近づけられるので、累積ヒストグラムが用いられれば、例えば、入力値に対応する度数（画素数）との関係を表現した通常のヒストグラムが用いられる場合に比べて、より正確に出力画像３と出力画像４との輝度合わせが行なわれ得る。
【０１４４】
＜変形例について＞
以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく様々な変形が可能である。
【０１４５】
例えば、上述した画像処理システム１００Ａは、画像処理システム１００Ａにおける画像処理装置２００Ａが汎用のコンピューターでプログラムを実行することなどによって実現されている構成であるが、該構成に代えて、画像処理システム１００Ａが、例えば、デジタルカメラ、デジタルビデオカメラ、形態情報端末など１の装置にステレオカメラ３００と画像処理装置２００Ａとを備えたシステムとして実現されても良い。
【０１４６】
また、ＹＵＶ色空間（画像信号）に代えて、例えば、他の輝度色差系の色空間（画像信号）であるＹＣｂＣｒなどが採用されたとしても本発明の本発明の有用性を損なうものではない。
【符号の説明】
【０１４７】
１００Ａ 画像処理システム
２００Ａ 画像処理装置
３００ ステレオカメラ
１，２ 入力画像
３，４ 出力画像
５ 色情報画像
６ 輝度画像
２９ 立体画像
ＣＨ１、ＣＨ２ 累積ヒストグラム
【特許請求の範囲】
【請求項１】
互いに異なる方向から同一の被写体がそれぞれ撮影された第１画像と第２画像とを取得する取得部と、
前記第１画像と前記第２画像とからそれぞれ派生する第１派生画像と第２派生画像とによって構成される立体画像を生成する生成部と、
を備え、
前記第１画像と前記第２画像とのうち少なくとも前記第１画像がカラー画像であり、
前記生成部が、
前記第１画像と前記第２画像とのうち前記第１画像のみの色情報に基づいて前記立体画像の色情報を生成することを特徴とする画像処理装置。
【請求項２】
請求項１に記載された画像処理装置であって、
前記第１画像と前記第２画像との間で対応点探索処理を行うことによって前記第２画像の各基準画素にそれぞれ対応した前記第１画像の各対応画素をそれぞれ特定する探索部をさらに備え、
前記生成部が、
前記各基準画素のうち１の基準画素と、前記各対応画素のうち該１の基準画素に対応した１の対応画素とについて、前記第２派生画像における該１の基準画素に対応した画素の色情報を該１の対応画素の色情報に基づいて生成する処理を、前記各基準画素のそれぞれに対して行なうことを特徴とする画像処理装置。
【請求項３】
請求項２に記載された画像処理装置であって、
前記探索部が、
前記第１画像と前記第２画像とのそれぞれの輝度情報に基づいて前記対応点探索処理を行うことを特徴とする画像処理装置。
【請求項４】
請求項１から請求項３の何れか１つの請求項に記載された画像処理装置であって、
前記第２画像が、輝度画像を生成する撮像系によって撮影された輝度画像であることを特徴とする画像処理装置。
【請求項５】
請求項１から請求項４の何れか１つの請求項に記載された画像処理装置であって、
前記生成部が、
前記第１画像の色情報に基づいて前記第２派生画像の色情報を生成するとともに、前記第２画像の輝度情報に基づいて前記第２派生画像の輝度情報を生成することを特徴とする画像処理装置。
【請求項６】
請求項１から請求項４の何れか１つの請求項に記載された画像処理装置であって、
前記生成部が、
前記第１画像の色情報に基づいて前記第２派生画像の色情報を生成するとともに、前記第１画像の輝度情報に基づいて前記第２派生画像の輝度情報を生成することを特徴とする画像処理装置。
【請求項７】
請求項１から請求項４の何れか１つの請求項に記載された画像処理装置であって、
前記生成部が、
前記第１画像の色情報に基づいて前記第２派生画像の色情報を生成するとともに、前記第１画像と前記第２画像とのそれぞれの輝度情報に基づいて前記第２派生画像の輝度情報を生成することを特徴とする画像処理装置。
【請求項８】
請求項２から請求項７の何れか１つの請求項に記載された画像処理装置であって、
前記１の基準画素についての前記対応点探索処理の信頼度を判定する判定部と、
該信頼度が予め設定された基準値よりも低いと判定された場合に、前記１の基準画素に対応した別の基準画素を前記第２画像において探索して特定する特定部と、
を更に備え、
前記生成部が、
前記別の基準画素に対応した前記第１画像における対応画素の色情報に基づいて前記１の基準画素に対応した前記第２派生画像における画素の色情報を生成することを特徴とする画像処理装置。
【請求項９】
請求項８に記載された画像処理装置であって、
前記特定部が、
前記１の基準画素からの前記別の基準画素の候補画素の距離が近ければ近いほど該候補画素が前記別の基準画素として特定され易くなるように該候補画素についての探索処理の信頼度に重み付け処理を行なうことによって前記別の基準画素を特定することを特徴とする画像処理装置。
【請求項１０】
請求項２から請求項７の何れか１つの請求項に記載された画像処理装置であって、
前記取得部が、前記第１画像と前記第２画像とにそれぞれ対応した時系列の第１画像と時系列の第２画像とを取得するとともに、
前記生成部が、前記時系列の第１画像と前記時系列の第２画像とからそれぞれ派生する時系列の第１派生画像と時系列の第２派生画像とにより構成される時系列の立体画像を生成し、
前記１の基準画素についての前記対応点探索処理の信頼度を判定する判定部と、
該信頼度が予め設定された基準値よりも低いと判定された場合に、前記１の基準画素に対応した別の基準画素を前記時系列の第２画像において探索して特定する特定部と、
を更に備え、
前記生成部が、
前記別の基準画素に対応した前記時系列の第１画像における画素の色情報に基づいて前記１の基準画素に対応した前記第２派生画像における画素の色情報を生成することを特徴とする画像処理装置。
【請求項１１】
請求項２から請求項７の何れか１つの請求項に記載された画像処理装置であって、
前記１の基準画素からの距離が予め設定された基準値以下となる複数の画素を前記第２画像において特定する特定部、
を更に備え、
前記生成部が
前記複数の画素にそれぞれ対応した前記第１画像における複数の対応画素の色情報に基づいて前記１の基準画素の色情報を生成する生成処理を、前記各基準画素のそれぞれに対して行なうことを特徴とする画像処理装置。
【請求項１２】
請求項１１に記載された画像処理装置であって、
前記生成部が、
前記１の基準画素についての前記対応点探索処理の信頼度に応じた重み付け処理を前記１の対応画素の色情報に対して行なうことによって前記生成処理を行なうことを特徴とする画像処理装置。
【請求項１３】
請求項１から請求項１２の何れか１つの請求項に記載された画像処理装置と、
前記第１の画像を撮像する第１撮像系と、前記第２画像を撮像する第２撮像系と、
を備えたことを特徴とする画像処理システム。
【請求項１４】
画像処理装置に搭載されたコンピューターにおいて実行されることにより、当該画像処理装置を請求項１から請求項１２の何れか１つの請求項に記載された画像処理装置として機能させることを特徴とするプログラム。
【請求項１５】
互いに異なる方向から同一の被写体がそれぞれ撮影された第１画像と第２画像とを取得する取得工程と、
前記第１画像と前記第２画像とからそれぞれ派生する第１派生画像と第２派生画像とによって構成される立体画像を生成する生成工程と、
を備え、
前記第１画像と前記第２画像とのうち少なくとも前記第１画像がカラー画像であり、
前記生成工程において、
前記第１画像と前記第２画像とのうち前記第１画像のみの色情報に基づいて前記立体画像の色情報が生成されることを特徴とする画像処理方法。
【請求項１】
互いに異なる方向から同一の被写体がそれぞれ撮影された第１画像と第２画像とを取得する取得部と、
前記第１画像と前記第２画像とからそれぞれ派生する第１派生画像と第２派生画像とによって構成される立体画像を生成する生成部と、
を備え、
前記第１画像と前記第２画像とのうち少なくとも前記第１画像がカラー画像であり、
前記生成部が、
前記第１画像と前記第２画像とのうち前記第１画像のみの色情報に基づいて前記立体画像の色情報を生成することを特徴とする画像処理装置。
【請求項２】
請求項１に記載された画像処理装置であって、
前記第１画像と前記第２画像との間で対応点探索処理を行うことによって前記第２画像の各基準画素にそれぞれ対応した前記第１画像の各対応画素をそれぞれ特定する探索部をさらに備え、
前記生成部が、
前記各基準画素のうち１の基準画素と、前記各対応画素のうち該１の基準画素に対応した１の対応画素とについて、前記第２派生画像における該１の基準画素に対応した画素の色情報を該１の対応画素の色情報に基づいて生成する処理を、前記各基準画素のそれぞれに対して行なうことを特徴とする画像処理装置。
【請求項３】
請求項２に記載された画像処理装置であって、
前記探索部が、
前記第１画像と前記第２画像とのそれぞれの輝度情報に基づいて前記対応点探索処理を行うことを特徴とする画像処理装置。
【請求項４】
請求項１から請求項３の何れか１つの請求項に記載された画像処理装置であって、
前記第２画像が、輝度画像を生成する撮像系によって撮影された輝度画像であることを特徴とする画像処理装置。
【請求項５】
請求項１から請求項４の何れか１つの請求項に記載された画像処理装置であって、
前記生成部が、
前記第１画像の色情報に基づいて前記第２派生画像の色情報を生成するとともに、前記第２画像の輝度情報に基づいて前記第２派生画像の輝度情報を生成することを特徴とする画像処理装置。
【請求項６】
請求項１から請求項４の何れか１つの請求項に記載された画像処理装置であって、
前記生成部が、
前記第１画像の色情報に基づいて前記第２派生画像の色情報を生成するとともに、前記第１画像の輝度情報に基づいて前記第２派生画像の輝度情報を生成することを特徴とする画像処理装置。
【請求項７】
請求項１から請求項４の何れか１つの請求項に記載された画像処理装置であって、
前記生成部が、
前記第１画像の色情報に基づいて前記第２派生画像の色情報を生成するとともに、前記第１画像と前記第２画像とのそれぞれの輝度情報に基づいて前記第２派生画像の輝度情報を生成することを特徴とする画像処理装置。
【請求項８】
請求項２から請求項７の何れか１つの請求項に記載された画像処理装置であって、
前記１の基準画素についての前記対応点探索処理の信頼度を判定する判定部と、
該信頼度が予め設定された基準値よりも低いと判定された場合に、前記１の基準画素に対応した別の基準画素を前記第２画像において探索して特定する特定部と、
を更に備え、
前記生成部が、
前記別の基準画素に対応した前記第１画像における対応画素の色情報に基づいて前記１の基準画素に対応した前記第２派生画像における画素の色情報を生成することを特徴とする画像処理装置。
【請求項９】
請求項８に記載された画像処理装置であって、
前記特定部が、
前記１の基準画素からの前記別の基準画素の候補画素の距離が近ければ近いほど該候補画素が前記別の基準画素として特定され易くなるように該候補画素についての探索処理の信頼度に重み付け処理を行なうことによって前記別の基準画素を特定することを特徴とする画像処理装置。
【請求項１０】
請求項２から請求項７の何れか１つの請求項に記載された画像処理装置であって、
前記取得部が、前記第１画像と前記第２画像とにそれぞれ対応した時系列の第１画像と時系列の第２画像とを取得するとともに、
前記生成部が、前記時系列の第１画像と前記時系列の第２画像とからそれぞれ派生する時系列の第１派生画像と時系列の第２派生画像とにより構成される時系列の立体画像を生成し、
前記１の基準画素についての前記対応点探索処理の信頼度を判定する判定部と、
該信頼度が予め設定された基準値よりも低いと判定された場合に、前記１の基準画素に対応した別の基準画素を前記時系列の第２画像において探索して特定する特定部と、
を更に備え、
前記生成部が、
前記別の基準画素に対応した前記時系列の第１画像における画素の色情報に基づいて前記１の基準画素に対応した前記第２派生画像における画素の色情報を生成することを特徴とする画像処理装置。
【請求項１１】
請求項２から請求項７の何れか１つの請求項に記載された画像処理装置であって、
前記１の基準画素からの距離が予め設定された基準値以下となる複数の画素を前記第２画像において特定する特定部、
を更に備え、
前記生成部が
前記複数の画素にそれぞれ対応した前記第１画像における複数の対応画素の色情報に基づいて前記１の基準画素の色情報を生成する生成処理を、前記各基準画素のそれぞれに対して行なうことを特徴とする画像処理装置。
【請求項１２】
請求項１１に記載された画像処理装置であって、
前記生成部が、
前記１の基準画素についての前記対応点探索処理の信頼度に応じた重み付け処理を前記１の対応画素の色情報に対して行なうことによって前記生成処理を行なうことを特徴とする画像処理装置。
【請求項１３】
請求項１から請求項１２の何れか１つの請求項に記載された画像処理装置と、
前記第１の画像を撮像する第１撮像系と、前記第２画像を撮像する第２撮像系と、
を備えたことを特徴とする画像処理システム。
【請求項１４】
画像処理装置に搭載されたコンピューターにおいて実行されることにより、当該画像処理装置を請求項１から請求項１２の何れか１つの請求項に記載された画像処理装置として機能させることを特徴とするプログラム。
【請求項１５】
互いに異なる方向から同一の被写体がそれぞれ撮影された第１画像と第２画像とを取得する取得工程と、
前記第１画像と前記第２画像とからそれぞれ派生する第１派生画像と第２派生画像とによって構成される立体画像を生成する生成工程と、
を備え、
前記第１画像と前記第２画像とのうち少なくとも前記第１画像がカラー画像であり、
前記生成工程において、
前記第１画像と前記第２画像とのうち前記第１画像のみの色情報に基づいて前記立体画像の色情報が生成されることを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図１３】
【公開番号】特開２０１２−２５３７０６（Ｐ２０１２−２５３７０６Ａ）
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願番号】特願２０１１−１２６９５１（Ｐ２０１１−１２６９５１）
【出願日】平成２３年６月７日（２０１１．６．７）
【出願人】（０００００１２７０）コニカミノルタホールディングス株式会社 (4,463)
【Ｆターム（参考）】
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願日】平成２３年６月７日（２０１１．６．７）
【出願人】（０００００１２７０）コニカミノルタホールディングス株式会社 (4,463)
【Ｆターム（参考）】
[ Back to top ]