画像処理装置および画像処理方法並びにプログラム
【課題】画像処理装置において、カラー画像から精度の高い距離データを取得できるようにする。
【解決手段】被写体を２つの視点から撮像して得た、各々が複数の色の濃淡画像で構成された一対の画像データから被写体までの距離を算出して立体画像データを生成する画像処理装置において、一対の画像データを入力し、入力された一対の画像データの複数の色の複数の画素について距離を算出し、入力された一対の画像データの少なくとも一方の画像データにおいて、画像データを構成する複数の色の濃淡画像を複数の所定領域に分割し、分割された所定領域毎に、複数の色の濃淡画像のうちから最も距離の算出に適する１つの色の濃淡画像を選択し、選択された色の濃淡画像において算出された距離のデータを記録する。
【解決手段】被写体を２つの視点から撮像して得た、各々が複数の色の濃淡画像で構成された一対の画像データから被写体までの距離を算出して立体画像データを生成する画像処理装置において、一対の画像データを入力し、入力された一対の画像データの複数の色の複数の画素について距離を算出し、入力された一対の画像データの少なくとも一方の画像データにおいて、画像データを構成する複数の色の濃淡画像を複数の所定領域に分割し、分割された所定領域毎に、複数の色の濃淡画像のうちから最も距離の算出に適する１つの色の濃淡画像を選択し、選択された色の濃淡画像において算出された距離のデータを記録する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を２つの視点から撮像して得た一対の画像データから立体画像データを生成する画像処理装置に関し、特に一対の画像データがカラー画像であるときの画像処理方法に関するものである。
【背景技術】
【０００２】
近年、被写体を２つの視点から撮像して得た一対の画像データから立体画像データを生成する画像処理装置が提案されており、立体画像データの生成方法としては、取得された一対の画像データにおいて共通して写っている点、いわゆる対応点を特定し、三角測量の原理に従って対応点までの距離を算出することにより、被写体の三次元形状を推測するステレオマッチング法を用いる方法が知られている。
【０００３】
このようなステレオマッチング法を用いた画像処理装置では、一対の画像データとしてそれぞれ複数の色の濃淡画像で構成されたカラー画像を使用し、同色の濃淡画像においてそれぞれ上記ステレオマッチングを行うことにより各々の色での視差を算出して、画像領域毎に対象物の色に基づいた積和演算によって融合処理を行い、統一視差を算出することにより信頼性の高い立体画像データを算出するようにしたものがある（特許文献１）。
【特許文献１】特開２００３−１５０９３６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
通常、濃淡画像において特徴的なパターンが少ない場合等には、対応点を誤検出してしまう虞があり、誤った距離が算出されてしまう場合がある。この場合、特許文献１に記載の画像処理装置においては、誤って算出されたデータも融合処理に使用されてしまうため、精度が低減してしまう虞がある。
【０００５】
本発明はかかる事情に鑑みてなされたものであり、カラー画像から精度の高い距離データを取得することができる画像処理装置及び画像処理方法並びにプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、被写体を２つの視点から撮像して得た、各々が複数の色の濃淡画像で構成された一対の画像データから前記被写体までの距離を算出して立体画像データを生成する画像処理装置において、
前記一対の画像データを入力する画像入力手段と、
入力された前記一対の画像データの複数の色の複数の画素について前記距離を算出する距離算出手段と、
入力された前記一対の画像データの少なくとも一方の画像データにおいて、該画像データを構成する前記複数の色の濃淡画像を複数の所定領域に分割する領域分割手段と、
該領域分割手段により分割された前記所定領域毎に、前記複数の色の濃淡画像のうちから最も前記距離算出に適する１つの色の濃淡画像を選択する選択手段と、
該選択手段により選択された色の濃淡画像において前記距離算出手段が算出した前記距離のデータを記録する記録手段とを備えてなることを特徴とするものである。
【０００７】
本発明の画像処理装置は、前記領域分割手段が、前記複数の色の濃淡画像においてそれぞれエッジを抽出し、該抽出されたエッジを有する画素を含む領域毎に前記所定領域を分割するものであり、
前記選択手段が、各々の前記所定領域内で前記エッジが抽出された色の濃淡画像を選択するものであることが好ましい。
【０００８】
本発明の画像処理装置は、前記領域分割手段が、前記複数の色の濃淡画像においてそれぞれ予め所定間隔で定められた輝度値を有する画素を検出し、該検出された画素を含む領域毎に前記所定領域を分割するものであり、
前記選択手段が、各々の前記所定領域内で前記画素が検出された色の濃淡画像を選択するものであることが好ましい。
【０００９】
本発明の画像処理装置は、前記画像入力手段が、２つのカメラからなるものであってもよい。
【００１０】
本発明の画像処理装置は、前記画像入力手段が、２つの光学系を備えた複眼カメラであってもよい。
【００１１】
この場合、前記複眼カメラが、多板構成からなる撮像系を備えたものであることが好ましい。なおここで「多板構成」とは複数の光学系を持ち、その各々の光軸に対応した複数の撮像素子を配置しそれらの出力信号を用いて信号処理を行い、最終的に１つの撮像出力信号を得る構成を意味する。
【００１２】
本発明の画像処理方法は、被写体を２つの視点から撮像して得た、各々が複数の色の濃淡画像で構成された一対の画像データから前記被写体までの距離を算出して立体画像データを生成する画像処理方法において、
前記一対の画像データを入力し、
該入力された前記一対の画像データの複数の色の複数の画素について前記距離を算出し、
前記入力された前記一対の画像データの少なくとも一方の画像データにおいて、該画像データを構成する前記複数の色の濃淡画像を複数の所定領域に分割し、
該分割された前記所定領域毎に、前記複数の色の濃淡画像のうちから最も前記距離算出に適する１つの色の濃淡画像を選択し、
該選択された色の濃淡画像において算出された前記距離のデータを記録することを特徴とするものである。
【００１３】
本発明の画像処理プログラムは、コンピュータに、被写体を２つの視点から撮像して得た、各々が複数の色の濃淡画像で構成された一対の画像データから前記被写体までの距離を算出して立体画像データを生成することを実行させるための画像処理プログラムにおいて、
前記一対の画像データを入力し、
該入力された前記一対の画像データの複数の色の複数の画素について前記距離を算出し、
前記入力された前記一対の画像データの少なくとも一方の画像データにおいて、該画像データを構成する前記複数の色の濃淡画像を複数の所定領域に分割し、
該分割された前記所定領域毎に、前記複数の色の濃淡画像のうちから最も前記距離算出に適する１つの色の濃淡画像を選択し、
該選択された色の濃淡画像において算出された前記距離のデータを記録することを実行させるためのものである。
【発明の効果】
【００１４】
本発明の画像処理装置及び画像処理方法並びにプログラムによれば、一対の画像データを入力し、入力された一対の画像データの複数の色の複数の画素について距離を算出し、入力された一対の画像データの少なくとも一方の画像データにおいて、画像データを構成する複数の色の濃淡画像を複数の所定領域に分割し、分割された所定領域毎に、複数の色の濃淡画像のうちから最も距離の算出に適する１つの色の濃淡画像を選択し、選択された色の濃淡画像において算出された距離のデータを記録するので、所定領域毎に最も距離の算出に適する１つの色の画像データから算出された距離データが記録されることにより精度の高い距離データを取得することができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施形態について図面を参照して詳細に説明する。図１は第一の実施形態である画像処理装置１の機能構成を示すブロック図である。本実施形態の画像処理装置１は、図１に示す如く、画像入力部（画像入力手段）１０、操作部１１、表示制御部１２、モニタ１３、読込部１４、画像選択部（選択手段）１５、距離算出部（距離算出手段）１６、データ圧縮部１７、メディア制御部１８、記録メディア（記録手段）１９、内部メモリ２０等を備えており、これらはデータバス２１を介して、各種信号、データの送受信を行う。
【００１６】
画像入力部１０は、画像を入力するものであり、被写体を異なる２つの視点から撮像して得た、各々がＲ、Ｇ、Ｂの色の濃淡画像で構成されたカラー画像の基準画像Ａと参照画像Ｂからなる一対の画像データが入力される。なお一対の画像データにおいては、どちらの画像データを基準画像Ａとしてもよい。また本実施形態では入力される画像データを２つとしたが、異なる視点から撮像された、いわゆる視差画像のデータであれば３つや４つ等の複数の画像データを入力してもよい。この場合、複数の画像データのうち、一つの画像データを基準画像Ａとし、その他の画像データを参照画像Ｂとする。
【００１７】
操作部１１は、動作モードスイッチ、メニュー／ＯＫボタン、上下レバー、左右ボタン、Ｂａｃｋ（戻り）ボタン、表示切替ボタン、レリーズボタン、電源スイッチ等で構成されるものであり、ユーザがこれらを操作することにより各種設定を行う。
【００１８】
表示制御部１２は、画像入力部１０により入力された画像をモニタ１３に表示させる他に、後述の距離算出部１６により算出された被写体各部までの距離データつまり奥行きデータに基づいて生成された被写体の立体画像をモニタ１３に表示することができる。また表示制御部１２は、後述の記録メディア１９に記録され、メディア制御部１８によって読み出された立体画像データに基づく立体画像をモニタ１３に表示させる。
【００１９】
モニタ１３は、表示制御部１２を介して平面画像又は立体画像を表示するものであり、操作部１１によって設定操作される各種設定メニュー等も表示する。
【００２０】
読込部１４は、画像入力部１０により入力された画像データを構成するＲ、Ｇ、Ｂの３つの色の濃淡画像を読み込み、全ての画素の画素値を読み出す。そして読み出された画素値に基づいて公知の変換処理を行うことにより全ての画素について輝度値等の情報を取得する。なお本実施形態では輝度値は、読み出された画素値から算出するものとしたが、本発明はこれに限られるものではなく、画素値をそのまま輝度値として使用することもできる。
【００２１】
画像選択部１５は、読込部１４によって読み込まれた一対の画像データの基準画像Ａにおいて、基準画像Ａを構成するＲ、Ｇ、Ｂの３つの色の濃淡画像Ａｒ、Ａｇ、Ａｂのうちから後述の距離算出部１６による距離の算出に最も適する１つの色の濃淡画像を選択するものである。なおこの画像選択部１５による濃淡画像の選択方法については後で詳細に説明する。
【００２２】
距離算出部１６は、画像選択部１５により選択された色の濃淡画像と、この濃淡画像に対応する色の参照画像の濃淡画像とから、すなわち選択された色の一対の濃淡画像から被写体各部までの距離を算出するものであり、公知のステレオマッチング法を使用することができて、一対の濃淡画像においてエッジやセグメント等、共通して写っている点、いわゆる対応点を相関演算によって特定し、この対応点の位置情報から視差を求め、この視差に基づいて三角測量の原理に従って対応点までの距離すなわち被写体各部までの距離を算出する。
【００２３】
このとき対応点の検出は、基準画像Ａから複数の画素で構成された画素ブロックＷａを算出し、算出された画素ブロックＷａを参照画像Ｂ中で走査して濃淡等の形状パターンの一致度評価値（相関度）を計算して、参照画像Ｂにおいて画素ブロックＷａと対応するブロックＷｂを検出する、いわゆる領域ベースマッチング（area-based matching）といわれる方法や、先に基準画像Ａ及び参照画像Ｂからエッジやセグメント等の特徴点を見つけ出し、基準画像Ａと参照画像Ｂにおけるこの特徴点の相関度から対応点を検出する、いわゆる特徴ベースマッチング（feature-based matching）といわれる方法等を使用することができる。一致度評価値（相関度）の計算は、例えば各画素の差の絶対値を合計する、または各画素の差を２乗したものを合計するなど、公知の技術を使用することができる。
【００２４】
このように距離算出部１６は、選択された１つの色の一対の濃淡画像についてのみ距離の算出を行うので、距離の算出に要する時間を低減することができる。
【００２５】
データ圧縮部１７は、算出された距離データを圧縮処理するものであり、圧縮された距離データはメディア制御部１８を介して記録メディア１９に記録される。
【００２６】
メディア制御部１８は、記録メディア１９に記憶された距離データ等の読み出し、又は距離データ等の書き込みを行う。
【００２７】
記録メディア（記録手段）１９は、距離データ等の各種データを記憶可能な記録媒体であり、磁気的又は光学的記録媒体、半導体メモリ等によって構成されている。
【００２８】
内部メモリ２０は、画像処理装置１において設定される各種定数やプログラム等を格納するものであって、画像入力部１０により入力された画像データや距離算出部１６により算出された距離データ等を記憶するバッファメモリとしても機能する。
【００２９】
本実施形態の画像処理装置１は上記のように構成されている。次に画像処理装置１による画像処理について説明する。図２は画像処理装置１による一連の画像処理のフローチャート、図３は画像選択部１５による画像選択処理のフローチャートである。
【００３０】
本実施形態の画像処理装置１は、図２に示す如く、画像入力部１０が一対の画像データすなわち基準画像Ａと参照画像Ｂを入力し（ステップＳ１）、読込部１４が基準画像Ａを構成するＲの濃淡画像Ａｒ、Ｇの濃淡画像Ａｇ、Ｂの濃淡画像Ａｂ及び画像データＢを構成するＲの濃淡画像Ｂｒ、Ｇの濃淡画像Ｂｇ、Ｂの濃淡画像Ｂｂをそれぞれ読み込んで、輝度値等の画素値を読み出す（ステップＳ２）。
【００３１】
次に画像選択部１５が、読込部１４によって読み込まれた基準画像Ａを構成するＲ、Ｇ、Ｂの濃淡画像Ａｒ、Ａｇ、Ａｂのうちから距離算出部１６による距離の算出に最も適する１つの色の濃淡画像を選択する画像選択処理を行う（ステップＳ３）。
【００３２】
画像選択部１５による画像選択処理１は、図３に示す如く、基準画像Ａを構成するＲ、Ｇ、Ｂの濃淡画像Ａｒ、Ａｇ、Ａｂそれぞれについて最小輝度値と最大輝度値を算出し（ステップＳ１１）、最小輝度値と最大輝度値との輝度差の値Ｄｒ、Ｄｇ、Ｄｂをそれぞれ算出する（ステップＳ１２）。
【００３３】
次に画像選択部１５は、算出された輝度差の値が最も大きい値のものを判別する（ステップＳ１３）。そして画像選択部１５は、最も大きい値が輝度差Ｄｒである場合（ステップＳ１３；Ｄｒ）にはＲの濃淡画像Ａｒを選択し（ステップＳ１４）、最も大きい値が輝度差Ｄｇである場合（ステップＳ１３；Ｄｇ）にはＧの濃淡画像Ａｇを選択し（ステップＳ１５）、最も大きい値が輝度差Ｄｂである場合（ステップＳ１３；Ｄｂ）にはＢの濃淡画像Ａｂを選択する（ステップＳ１６）。このようにして画像選択部１５は画像選択処理１を行う。
【００３４】
一般的に輝度差の値が大きい濃淡画像は、輝度差の値が小さい濃淡画像に比べて、距離の算出に必要な特徴がある可能性が高い。つまり距離の算出に使用する、例えばエッジ等の対応点は、輝度が急激に変化する点すなわち輝度差の大きい点なので、輝度差の値が大きい濃淡画像の方が検出可能な対応点の多い輝度分布を備えている可能性が高い。従って上記のように輝度差の値の大きい濃淡画像を選択することにより、対応点の検出精度すなわち被写体精度を向上させることができるので、精度の高い距離データを取得することが可能となる。
【００３５】
なお画像選択部１５による画像の選択は別の方法であってもよい。次に画像選択部１５による第二の実施形態の画像選択処理２ついて説明する。図４Ａは画像選択部１５による第二の画像選択処理２のフローチャート、図４Ｂはカウント処理のフローチャート、図５は濃淡画像の輝度分布及び画素のカウント方法の一例、図６は濃淡画像の輝度分布及び画素のカウント方法の別の一例である。
【００３６】
画像選択部１５は、図４Ａに示す如く、基準画像Ａを構成するＲ、Ｇ、Ｂの濃淡画像Ａｒ、Ａｇ、Ａｂそれぞれについて予め例えば１０毎等の所定間隔で定められた所定の輝度値Ｃ（例えばＬ１０、Ｌ２０、Ｌ３０・・・）を有する画素を検出する（ステップＳ２０）。この画素の検出は、例えば図５に示す如く、濃淡画像Ａｒ、Ａｇ、Ａｂのそれぞれについて、全ての画素の輝度値Ｌにおいて所定の輝度値Ｃであるか否かを判別し、図中色付で示す所定の輝度値Ｃを有する画素を検出する。
【００３７】
次に画像選択部１５は、基準画像Ａを構成するＲ、Ｇ、Ｂの濃淡画像Ａｒ、Ａｇ、ＡｂそれぞれについてステップＳ２０にて検出された画素の数Ｆｒ、Ｆｇ、Ｆｂをカウントするカウント処理を行う（ステップＳ２１）。
【００３８】
カウント処理は、図４Ｂに示す如く、濃淡画像Ａｒについて行うときには、先ずＦｒに０を代入して初期化し（ステップＳ１２０）、続いてａに０を代入して初期化する（ステップＳ１２１）。そして濃淡画像Ａｒに所定の輝度値Ｃがあるか否かを判別し（ステップＳ１２２）、所定の輝度値Ｃがある場合（ステップＳ１２２；ＹＥＳ）には、ａ＝ｃであるか否かを判別する（ステップＳ１２３）。そしてａ＝ｃでない場合（ステップＳ１２３；ＮＯ）には、Ｆｒをカウントアップして（ステップＳ１２４）、ａにｃを代入し（ステップＳ１２５）、ステップＳ１２６へ処理を移行する。
【００３９】
一方、ステップＳ１２２にて所定の輝度値Ｃがない場合（ステップＳ１２２；ＮＯ）及びステップＳ１２３にてａ＝ｃである場合（ステップＳ１２３；ＹＥＳ）にも、ステップＳ１２６へ処理を移行して、その画素が水平方向の端の画素であるか否かを判別する（ステップＳ１２６）。
【００４０】
そして水平方向の端の画素ではない場合（ステップＳ１２６；ＮＯ）には、水平方向に１画素移動して（ステップＳ１２７）、処理をステップＳ１２２へ移行して以降の処理を繰り返し、端の画素である場合（ステップＳ１２６；ＹＥＳ）には、その画素が垂直方向の端の画素であるか否かを判別する（ステップＳ１２８）。
【００４１】
そして垂直方向の端の画素ではない場合（ステップＳ１２８；ＮＯ）には垂直方向に１画素移動して（ステップＳ１２９）、処理をステップＳ１２１へ移行して以降の処理を繰り返し、端の画素である場合（ステップＳ１２８；ＹＥＳ）には、カウント処理を終了する。そして同様のカウント処理を濃淡画像Ａｇ、Ａｂについても行う。
【００４２】
上記カウント処理を行うと、例えば図５の濃淡画像においては、画素数のカウントは、一列目の画素列では「２」、２列目の画素列では「１」、３列目、４列目の画素列では「１」、５列目の画素列では「１」となるのでこれらを合計して画素数は「６」となる。このようにして基準画像Ａを構成するＲ、Ｇ、Ｂの濃淡画像Ａｒ、Ａｇ、Ａｂそれぞれについて上記のように画素数Ｆｒ、Ｆｇ、Ｆｂをカウントする。
【００４３】
なお本実施形態では、画素数のカウントを上記のように画素列毎に行ったが、濃淡画像Ａｒ、Ａｇ、Ａｂをそれぞれ構成する全ての画素について前記カウントを行えば、どのようにカウントしてもよく、適宜変更することができる。
【００４４】
そして次に画像選択部１５は、カウントされた画素数が最も多い画素数を判別する（ステップＳ２２）。そして画像選択部１５は、最も多い画素数が画素数Ｆｒである場合（ステップＳ２２；Ｆｒ）にはＲの濃淡画像Ａｒを選択し（ステップＳ２３）、最も多い画素数が画素数Ｆｇである場合（ステップＳ２２；Ｆｇ）にはＧの濃淡画像Ａｇを選択し（ステップＳ２４）、最も多い画素数が画素数Ｆｂである場合（ステップＳ２２；Ｆｂ）にはＢの濃淡画像Ａｂを選択する（ステップＳ２５）。このようにして画像選択部１５は画像選択処理２を行う。
【００４５】
一般的に、輝度値の起伏が頻繁な濃淡画像は、輝度値の起伏が乏しい濃淡画像に比べて、距離の算出に必要な特徴がある可能性が高い。つまり距離の算出に使用する、例えばエッジや大きな輝度の勾配を持つ領域等の対応点は、輝度値の起伏がある点なので、輝度値の起伏が頻繁な濃淡画像の方が検出可能な対応点の多い輝度分布を備えている可能性が高い。従って上記のように輝度値の起伏の頻繁な濃淡画像を選択することにより、対応点の検出精度すなわち被写体精度を向上させることができるので、精度の高い距離データを取得することが可能となる。
【００４６】
なお本実施形態では、上記のように基準画像Ａを構成するＲ、Ｇ、Ｂの濃淡画像Ａｒ、Ａｇ、Ａｂそれぞれにおいて、全ての画素について所定の輝度値Ｃを有する画素の検出と、検出された画素の数Ｆｒ、Ｆｇ、Ｆｂのカウントを行ったが、図６に示す如く、例えば１つおきの画素列等、所定間隔毎の画素列において上記画素の検出を行って、検出された画素の数Ｆｒ、Ｆｇ、Ｆｂのカウントを行うようにしてもよい。この場合、画素数のカウントは、図６に示す如く、一列目の画素列では「２」、３列目の画素列では「１」、５列目の画素列では「１」となるのでこれらを合計して画素数は「４」となる。
【００４７】
このように所定間隔毎の画素列において画素の数Ｆｒ、Ｆｇ、Ｆｂをカウントすることにより基準画像Ａと参照画像Ｂとにおける相関演算が画素列毎に行われる場合には、対応点となり得る画素の頻度を反映した濃淡画像を選択することができると共に、画像選択処理の速度を速くすることができる。
【００４８】
次に画像選択部１５による第三の実施形態の画像選択処理３ついて説明する。図７は画像選択部１５による第三の画像選択処理３のフローチャート、図８はカラー画像の一例である。
【００４９】
画像選択部１５は、図７に示す如く、基準画像Ａを構成するＲ、Ｇ、Ｂの濃淡画像Ａｒ、Ａｇ、Ａｂそれぞれについてエッジ（輪郭）を抽出する（ステップＳ３０）。なおエッジの抽出は一般的に使用されている公知の技術を使用することができる。
【００５０】
次に画像選択部１５は、基準画像Ａを構成するＲ、Ｇ、Ｂの濃淡画像Ａｒ、Ａｇ、ＡｂそれぞれについてステップＳ３０にてエッジが抽出された画素の数つまりエッジに相当する画素数Ｅｒ、Ｅｇ、Ｅｂをカウントする（ステップＳ３１）。
【００５１】
次に画像選択部１５は、カウントされた画素数が最も多い画素数を判別する（ステップＳ３２）。そして画像選択部１５は、最も多い画素数が画素数Ｅｒである場合（ステップＳ３２；Ｅｒ）にはＲの濃淡画像Ａｒを選択し（ステップＳ３３）、最も多い画素数が画素数Ｅｇである場合（ステップＳ３２；Ｅｇ）にはＧの濃淡画像Ａｇを選択し（ステップＳ３４）、最も多い画素数が画素数Ｅｂである場合（ステップＳ３２；Ｅｂ）にはＢの濃淡画像Ａｂを選択する（ステップＳ３５）。このようにして画像選択部１５は画像選択処理３を行う。
【００５２】
例えば図８に示す如く、赤い色の対象物Ｐｒ、緑色の対象物Ｐｇ、青色の対象物Ｐｂの順に大きさの大きい対象物が撮像されたカラー画像Ｐにおいては、Ｒ、Ｇ、Ｂの濃淡画像Ｐｒ、Ｐｇ、Ｐｂのそれぞれについてエッジに相当する画素数Ｅｒ、Ｅｇ、Ｅｂをカウントすると、Ｒの濃淡画像Ｐｒでの画素数Ｅｒが最も多い画素数となる。つまり画素数が多いほど、多くのエッジが抽出されていることとなり、基準画像Ａと参照画像Ｂとにおいて多くの画素で相関が取れる、つまり対応点が検出し易くなる。従って上記のように、エッジに相当する画素数が最も多い濃淡画像を選択することにより、対応点の検出精度すなわち被写体精度を向上させることができて、精度の高い距離データを取得することが可能となる。
【００５３】
なお本実施形態では、上記のように基準画像Ａを構成するＲ、Ｇ、Ｂの濃淡画像Ａｒ、Ａｇ、Ａｂそれぞれにおいて、全ての画素についてエッジに相当する画素数Ｅｒ、Ｅｇ、Ｅｂのカウントを行ったが、上記実施形態と略同様に図６に示す如く、例えば１画素列毎、所定間隔毎の画素列においてエッジに相当する画素数Ｅｒ、Ｅｇ、Ｅｂのカウントを行うようにしてもよい。このように所定間隔毎の画素列において画素数Ｅｒ、Ｅｇ、Ｅｂをカウントすることにより基準画像Ａと参照画像Ｂとにおける相関演算が画素列毎に行われる場合には、対応点となり得るエッジの頻度を反映した濃淡画像を選択することができると共に、画像選択処理の速度を速くすることができる。
【００５４】
次に画像選択部１５による第四の実施形態の画像選択処理４ついて説明する。図９は画像選択部１５による第四の画像選択処理４のフローチャート、図１０はエッジが抽出された濃淡画像においてエッジの交差回数のカウントの一例である。
【００５５】
画像選択部１５は、図９に示す如く、基準画像Ａを構成するＲ、Ｇ、Ｂの濃淡画像Ａｒ、Ａｇ、Ａｂそれぞれについてエッジ（輪郭）を抽出する（ステップＳ４０）。なおエッジの抽出は一般的に使用されている公知の技術を使用することができる。
【００５６】
次に画像選択部１５は、基準画像Ａを構成するＲ、Ｇ、Ｂの濃淡画像Ａｒ、Ａｇ、Ａｂそれぞれについてエッジの交差回数Ｎｒ、Ｎｇ、Ｎｂをカウントする（ステップＳ４１）。エッジの交差回数Ｎｒ、Ｎｇ、Ｎｂのカウントは、基準画像Ａと参照画像Ｂとにおいて相関演算を行う方向と同じ方向で一定間隔のライン毎に、このラインとエッジとが交差しているか否かを画素毎に判断して、交差している回数を交差回数Ｎｒ、Ｎｇ、Ｎｂとしてカウントする。
【００５７】
例えばエッジが、図１０に示すように抽出されている場合には、図１０中所定の画素列毎に左から右に向かってエッジが交差しているか否かを判別する。このときエッジの交差の判別は、例えば抽出されたエッジが黒になるように公知の方法により濃淡画像を二値化し、白から黒及び黒から白に変化したときをエッジが交差したとして交差回数を１とカウントする。すると図１０では一番上の画素列で交差回数４をカウントし、続いて下方の画素列になるにしたがって、交差回数７、１０、１１をカウントするので、図１０の濃淡画像ではエッジの交差回数は１１となる。このようにして交差回数Ｎｒ、Ｎｇ、Ｎｂをカウントする。
【００５８】
そして図９に示す如く、交差回数Ｎｒ、Ｎｇ、Ｎｂをカウントすると（ステップＳ４１）、次に画像選択部１５は、カウントされた交差回数Ｎｒ、Ｎｇ、Ｎｂが最も多い交差回数を判別する（ステップＳ４２）。そして画像選択部１５は、最も多い交差回数が交差回数Ｎｒである場合（ステップＳ４２；Ｎｒ）にはＲの濃淡画像Ａｒを選択し（ステップＳ４３）、最も多い交差回数が交差回数Ｎｇである場合（ステップＳ４２；Ｎｇ）にはＧの濃淡画像Ａｇを選択し（ステップＳ４４）、最も多い交差回数が交差回数Ｎｂである場合（ステップＳ４２；Ｎｂ）にはＢの濃淡画像Ａｂを選択する（ステップＳ４５）。このようにして画像選択部１５は画像選択処理４を行う。
【００５９】
一般的に抽出されたエッジの数が多い場合には、ステレオマッチング処理を行うときに、基準画像Ａと参照画像Ｂとの間で対応点となる得る画素が多数存在している可能性が高く相関演算がし易い。従って上記のように交差回数Ｎｒ、Ｎｇ、Ｎｂの多い濃淡画像を選択すれば、交差回数が多いということは、つまり対応点となる得るエッジの数が多いということになるので、対応点の検出精度すなわち被写体精度を向上させることができて、精度の高い距離データを取得することができると共に、対応点となり得るエッジの頻度を反映した濃淡画像を選択することができる。
【００６０】
次に上記のようにして、図２に示す如く、画像選択部１５が１つの色の濃淡画像を選択すると（ステップＳ３）、距離算出部１６は画像選択部１５により選択された色の基準画像Ａの濃淡画像と対応する色の参照画像Ｂの濃淡画像とから上述のようにして被写体各部までの距離を算出する（ステップＳ４）。
【００６１】
そして距離算出部１６が距離を算出して距離データを取得すると（ステップＳ４）、次にデータ圧縮部１７が算出した距離データを圧縮し、メディア制御部１８が圧縮された距離データを記録メディア１９に記録して（ステップＳ５）、画像処理装置１による画像処理を終了する。
【００６２】
以上により、本実施形態の画像処理装置１によれば、入力された一対の画像データの基準画像Ａにおいて、画像データを構成するＲＧＢの色の濃淡画像Ａｒ、Ａｇ、Ａｂのうちから最も距離の算出に適する１つ色の濃淡画像を選択し、選択された色の濃淡画像とこの濃淡画像に対応する色の参照画像Ｂの濃淡画像とから前記距離を算出するので、最も距離の算出に適する１つの色の濃淡画像でのみ距離の算出を行うことにより精度の高い距離データを算出することができると共に距離の算出に要する時間を低減することができる。このとき距離の算出に要する時間を低減するためのみであれば、必ずしも距離の算出に最適な色の濃淡画像を選択する必要はない。
【００６３】
なお本実施形態では、画像選択部１５が基準画像Ａについてのみ輝度差の値Ｄｒ、Ｄｇ、Ｄｂ又は所定の輝度値を有する画素の数Ｆｒ、Ｆｇ、Ｆｂ、エッジに相当する画素数Ｅｒ、Ｅｇ、Ｅｂ、エッジの交差回数Ｎｒ、Ｎｇ、Ｎｂの算出を行ったが本発明はこれに限られるものではなく、参照画像Ｂについて前記算出を行ってもよいし、基準画像Ａと参照画像Ｂの両方について前記算出を行ってもよい。
【００６４】
また本実施形態ではカラー画像としてＲ、Ｇ、Ｂの３つの色の濃淡画像で構成された画像を使用したが、本発明はこれに限られるものではなく、例えば４つの色等、複数の色の濃淡画像で構成されたカラー画像にも適用することができる。
【００６５】
また本発明の画像処理装置は、被写体を２つの視点から撮像して得た、各々が複数の色の濃淡画像で構成された一対の画像データから前記被写体までの距離を算出して立体画像データを生成する画像処理装置において、
前記一対の画像データを入力する画像入力手段と、
入力された前記一対の画像データの少なくとも一方の画像データにおいて、該画像データを構成する前記複数の色の濃淡画像のうちからその一部である少なくとも１つの色の濃淡画像を選択する選択手段と、
該選択手段により選択された色の濃淡画像と該濃淡画像に対応する色の他方の画像データの濃淡画像とから前記距離を算出する距離算出手段とを備えてなることができる。
【００６６】
次に第二の実施形態の画像処理装置１−２について、以下図面を参照して詳細に説明する。図１１は第二の実施形態の画像処理装置１−２の機能構成を示すブロック図、図１２は画像処理装置１−２による一連の画像処理のフローチャート、図１３は領域分割部２２及び画像選択部１５−２による領域分割及び画像選択処理のフローチャートである。なお図１１は便宜上、上記実施形態の画像処理装置１の機能構成を示すブロック図である図１と同様の箇所は同符号で示して説明を省略し、異なる箇所のみ詳細に説明する。
【００６７】
本実施形態の画像処理装置１−２は、図１１に示す如く、画像分割部（画像分割手段）２２を備えている点が上記実施形態の画像処理装置１とは異なっている。画像分割部２２は、基準画像Ａを構成するＲ、Ｇ、Ｂの色の濃淡画像Ａｒ、Ａｇ、Ａｂを複数の所定領域に分割するものである。
【００６８】
また本実施形態の画像選択部１５−２は、領域分割部２２により分割された所定領域毎に、Ｒ、Ｇ、Ｂの色の濃淡画像Ａｒ、Ａｇ、Ａｂから最も距離算出に適する１つの色の濃淡画像を選択するものである。
【００６９】
本実施形態の画像処理装置１−２は上記のように構成されている。次に画像処理装置１−２による画像処理について説明する。図１２は画像処理装置１−２による一連の画像処理のフローチャート、図１３は領域分割部２２及び画像選択部１５−２による画像分割及び画像選択処理のフローチャート、図１４は領域分割部２２及び画像選択部１５−２による画像分割及び画像選択方法の一例である。
【００７０】
本実施形態の画像処理装置１−２は、図１２に示す如く、画像入力部１０が一対の画像データすなわち基準画像Ａと参照画像Ｂを入力し（ステップＳ５１）、読込部１４が基準画像Ａを構成するＲの濃淡画像Ａｒ、Ｇの濃淡画像Ａｇ、Ｂの濃淡画像Ａｂ及び画像データＢを構成するＲの濃淡画像Ｂｒ、Ｇの濃淡画像Ｂｇ、Ｂの濃淡画像Ｂｂをそれぞれ読み込んで、輝度値等の画素値を読み出す（ステップＳ５２）。
【００７１】
次に領域分割部２２が、エッジを有する画素を含む領域毎に所定領域の分割処理を行い、画像選択部１５−２が各々の所定領域内でエッジが抽出された色の濃淡画像を選択する画像選択処理を行う（ステップＳ５３）。
【００７２】
領域分割及び画像選択処理１は、図１３Ａに示す如く、まず基準画像Ａを構成するＲ、Ｇ、Ｂの色の濃淡画像Ａｒ、Ａｇ、Ａｂの各々においてエッジの抽出を行い（ステップＳ６０）、ｆとｍに０を代入して初期化を行う（ステップＳ６１）。そして画像分割部２２が、例えば濃淡画像Ａｒ、Ａｇ、Ａｂの順に各画素列について水平方向に１画素ずつ、エッジがあるか否かの判別を行う。すなわち図１３Ａに示す如く、まずＲ濃淡画像Ａｒにエッジがあるか否かに判別を行い（ステップＳ６２）、エッジがある場合（ステップＳ６２；ＹＥＳ）には、その画素の番号ｎを記憶する（ステップＳ６３）。
【００７３】
そしてｍが０であるか否かを判別し（ステップＳ６４）、０である場合（ステップＳ６４；ＹＥＳ）には、画像選択部１５−２が１からｎ画素番号までの領域についてＲ濃淡画像Ａｒを選択して（ステップＳ６５）、ｆにｒを代入し（ステップＳ６６）、ｍにｎを代入する（ステップＳ６７）。
【００７４】
次にｎ画素番号の画素が水平方向において端の画素であるか否かを判別し（ステップＳ６８）、端の画素でない場合（ステップＳ６８；ＮＯ）には、水平方向に１画素移動して（ステップＳ６９）、ステップＳ６２へ処理を移行する。一方、ステップＳ６８にて端の画素である場合（ステップＳ６８；ＹＥＳ）には、図１３Ｄに示す如く、ステップＳ９８へ処理を移行して以降の処理を行う。
【００７５】
またステップＳ６４にてｍが０でない場合（ステップＳ６４；ＮＯ）には、ｆを判別し（ステップＳ７０），ｆがｒである場合（ステップＳ７０；ｒ）には、画像選択部１５−２が（ｎ−ｍ）／２の画素番号までの領域についてＲ濃淡画像Ａｒを選択し（ステップＳ７１）、ｆがｇである場合（ステップＳ７０；ｇ）には、画像選択部１５−２が（ｎ−ｍ）／２の画素番号までの領域についてＧ濃淡画像Ａｇを選択し（ステップＳ７２）、ｆがｂである場合（ステップＳ７０；ｂ）には、画像選択部１５−２が（ｎ−ｍ）／２の画素番号までの領域についてＢ濃淡画像Ａｂを選択して（ステップＳ７３）、ステップＳ６６へ処理を移行する。このとき（ｎ−ｍ）／２の少数点以下の数は繰り上げるか、または繰り下げることによって整数の値とする。
【００７６】
一方、ステップＳ６２にて、Ｒ濃淡画像Ａｒにエッジがない場合（ステップＳ６２；ＮＯ）には、図１３Ｂに示す如く、Ｇ濃淡画像Ａｇにエッジがあるか否かの判別を行う（ステップＳ７４）。そしてエッジがある場合（ステップＳ７４；ＹＥＳ）には、その画素の番号ｎを記憶する（ステップＳ７５）。
【００７７】
そしてｍが０であるか否かを判別し（ステップＳ７６）、０である場合（ステップＳ７６；ＹＥＳ）には、画像選択部１５−２が１からｎ画素番号までの領域についてＧ濃淡画像Ａｇを選択し（ステップＳ７７）、ｆにｇを代入する（ステップＳ７８）。なお図１３
ＢのステップＳ７９〜ステップＳ８１の処理は、図１３ＡのステップＳ６７〜ステップＳ６９の処理と、図１３ＢのステップＳ８２〜ステップＳ８５の処理は、図１３ＡのステップＳ７０〜ステップＳ７３と、それぞれ同様であるため説明は省略する。
【００７８】
そして画像選択部１５−２が図１３ＢのステップＳ８３〜ステップＳ８５にて濃淡画像を選択すると、ステップＳ７８へ処理を移行する。
【００７９】
一方、ステップＳ７４にて、Ｇ濃淡画像Ａｇにエッジがない場合（ステップＳ７４；ＮＯ）には、図１３Ｃに示す如く、Ｂ濃淡画像Ａｂにエッジがあるか否かの判別を行う（ステップＳ８６）。そしてエッジがある場合（ステップＳ８６；ＹＥＳ）には、その画素の番号ｎを記憶する（ステップＳ８７）。
【００８０】
そしてｍが０であるか否かを判別し（ステップＳ８８）、０である場合（ステップＳ８８；ＹＥＳ）には、画像選択部１５−２が１からｎ画素番号までの領域についてＢ濃淡画像Ａｂを選択し（ステップＳ８９）、ｆにｂを代入する（ステップＳ９０）。なお図１３
ＣのステップＳ９１〜とステップＳ９３の処理は、図１３ＡのステップＳ６７〜ステップＳ６９の処理と、図１３ＣのステップＳ９４〜ステップＳ９７の処理は、図１３ＡのステップＳ７０〜ステップＳ７３と、それぞれ同様であるため説明は省略する。
【００８１】
そして画像選択部１５−２が図１３ＣのステップＳ９５〜ステップＳ９７にて濃淡画像を選択すると、ステップＳ９０へ処理を移行する。
【００８２】
次にステップＳ６８、ステップＳ８０、ステップＳ９２にて、水平方向に端の画素であると判別した場合（ステップＳ６８、ステップＳ８０、ステップＳ９２；ＹＥＳ）には、図１３Ｄに示す如く、ステップＳ９８へ処理を移行して、ｆを判別し（ステップＳ９８），ｆがｒである場合（ステップＳ９８；ｒ）には、画像選択部１５−２がｎ画素番号までの領域についてＲ濃淡画像Ａｒを選択し（ステップＳ９９）、ｆがｇである場合（ステップＳ９８；ｇ）には、画像選択部１５−２がｎ画素番号までの領域についてＧ濃淡画像Ａｇを選択し（ステップＳ１００）、ｆがｂである場合（ステップＳ９８；ｂ）には、画像選択部１５−２がｎ画素番号までの領域についてＢ濃淡画像Ａｂを選択して（ステップＳ１０１）、ステップＳ１０２へ処理を移行する。このとき（ｎ−ｍ）／２の少数点以下の数は繰り上げるか、または繰り下げることによって整数の値とする。
【００８３】
そしてステップＳ１０２にて、垂直方向の端の画素であるか否かを判別し（ステップＳ１０２）、端の画素でない場合（ステップＳ１０２；ＮＯ）には、垂直方向に１画素移動して（ステップＳ１０３）、図１３ＡのステップＳ６１へ処理を移行して以降の処理を繰り返す。一方、端の画素である場合（ステップＳ１０２；ＹＥＳ）、領域分割及び画像選択処理１を終了して、図１２のステップＳ５４へ処理を移行する。
【００８４】
つまり図１４に示す如く、例えば濃淡画像中、一点鎖線で示す画素列を例にすると、水平方向に一画素ずつ各濃淡画像Ａｒ、Ａｇ、Ａｂでエッジがあるか否かを判別したときに、まずＲ濃淡画像ＡｒのＡ画素番号にてエッジが検出されるので、１画素番号〜Ａ画素番号の領域は濃淡画像Ａｒが選択される。次にＧ濃淡画像ＡｇのＢ画素番号にてエッジが検出されるので、Ｂ画素番号と、Ｂ画素番号のひとつ前に検出されたエッジすなわちＡ画素番号との中間点である（Ｂ−Ａ）／２画素番号の左側又は右側が領域の境界となり、この境界までの領域は濃淡画像Ａｒが選択される。
【００８５】
次に同様にして（Ｄ−Ｃ）／２画素番号の左側又は右側の境界までの領域で濃淡画像Ａｇが選択され、水平方向の端の画素になったときには、残りの領域で濃淡画像Ａｂが選択される。そして、上記の処理をすべての画素列において行う。
【００８６】
一般的にエッジの付近は、対応点が検出し易く、対応点の検出精度すなわち被写体精度を向上できる可能性が高い。従って上記のように抽出されたエッジを有する画素を含む領域毎に、エッジが抽出された色の濃淡画像を選択することにより、撮像された被写体に応じて分割された領域毎に選択する色の濃淡画像を変えることができるので、選択精度の高い距離データを取得することが可能となる。
【００８７】
次に領域分割部２２及び画像選択部１５−２による第二の領域分割及び画像選択処理２について説明する。図１５は第二の領域分割及び画像選択処理２のフローチャートである。なお図１５は、便宜上、図１３のフローチャートと同様の処理は同じステップ番号で示して説明を省略し、異なる箇所についてのみ詳細に説明する。
【００８８】
領域分割部２２及び画像選択部１５−２は、上記実施形態の領域分割及び画像選択処理１とは異なり、図１５Ａに示す如く、まず基準画像Ａを構成するＲ、Ｇ、Ｂの色の濃淡画像Ａｒ、Ａｇ、Ａｂの各々において予め例えば１０毎等の所定間隔で定められた所定の輝度値Ｃ（例えばＬ１０、Ｌ２０、Ｌ３０・・・）を有する画素を検出し（ステップＳ６０’）、次にｆ、ｍ、ａ、ｐ、ｅにそれぞれ０を代入して初期化を行って（ステップＳ６１’）、画像分割部２２が、例えば濃淡画像Ａｒ、Ａｇ、Ａｂの順に各画素列について水平方向に１画素ずつ、所定の輝度値Ｃがあるか否かの判別を行う。すなわち図１５Ａに示す如く、まずＲ濃淡画像Ａｒに所定の輝度値Ｃがあるか否かに判別を行う（ステップＳ６２’）。
【００８９】
そして所定の輝度値Ｃがある場合（ステップＳ６２’；ＹＥＳ）には、ａ＝ｃであるか否かの判別を行い（ステップＳ１６３）、ａ＝ｃではない場合（ステップＳ１６３；ＮＯ）には、ステップＳ６３へ処理を移行して図１３Ａと同様にステップＳ６３〜ステップＳ６７の処理を行った後でａにｃを代入し（ステップＳ１６８）、ステップＳ６８へ処理を移行する。
【００９０】
一方、ステップＳ１６３にてａ＝ｃである場合（ステップＳ１６３；ＹＥＳ）及びステップＳ６２’にて所定の輝度値Ｃがない場合（ステップＳ６２’；ＮＯ）には、図１５Ｂに示す如く、Ｇ濃淡画像Ａｇに所定の輝度値Ｃがあるか否かの判別を行う（ステップＳ７４’）。
【００９１】
そして所定の輝度値Ｃがある場合（ステップＳ７４’；ＹＥＳ）には、ｐ＝ｃであるか否かの判別を行い（ステップＳ１７５）、ｐ＝ｃではない場合（ステップＳ１７５；ＮＯ）には、ステップＳ７５へ処理を移行して図１３Ｂと同様にステップＳ７５〜ステップＳ７９の処理を行った後でｐにｃを代入し（ステップＳ１８０）、ステップＳ８０へ処理を移行する。
【００９２】
一方、ステップＳ１７５にてｐ＝ｃである場合（ステップＳ１７５；ＹＥＳ）及びステップＳ７４’にて所定の輝度値Ｃがない場合（ステップＳ７４’；ＮＯ）には、図１５Ｃに示す如く、Ｂ濃淡画像Ａｂに所定の輝度値Ｃがあるか否かの判別を行う（ステップＳ８６’）。
【００９３】
そして所定の輝度値Ｃがある場合（ステップＳ８６’；ＹＥＳ）には、ｅ＝ｃであるか否かの判別を行い（ステップＳ１８７）、ｅ＝ｃではない場合（ステップＳ１８７；ＮＯ）には、ステップＳ８７へ処理を移行して図１３Ｃと同様にステップＳ８７〜ステップＳ９１の処理を行った後でｅにｃを代入し（ステップＳ１９２）、ステップＳ９２へ処理を移行する。
【００９４】
一方、ステップＳ１８７にてｅ＝ｃである場合（ステップＳ１８７；ＹＥＳ）及びステップＳ８６’にて所定の輝度値Ｃがない場合（ステップＳ８６’；ＮＯ）には、図１５Ｃに示す如く、ステップＳ９２へ処理を移行する。
【００９５】
そして次にステップＳ６８、ステップＳ８０、ステップＳ９２にて、水平方向に端の画素であると判別した場合（ステップＳ６８、ステップＳ８０、ステップＳ９２；ＹＥＳ）には、ｍが０であるか否かを判別し（ステップＳ１９８）、ｍが０である場合（ステップＳ１９８；ＹＥＳ）には水平方向の全画素でＧ濃淡画像Ａｇを選択して（ステップＳ１９９）、ステップＳ１０２へ処理を移行する。このとき水平方向の全画素でＲ濃淡画像Ａｒを選択しても良いし、Ｂ濃淡画像Ａｂを選択しても良い。
【００９６】
またステップＳ１９８にてｍが０でない場合（ステップＳ１９８；ＮＯ）には、ステップＳ９８へ処理を移行して、図１３Ｄと同様にステップＳ９８〜ステップＳ１０３の処理を行う。第二の領域分割及び画像選択処理２は上記のようにして行う。
【００９７】
一般的に、輝度値の起伏が頻繁な濃淡画像は、輝度値の起伏が乏しい濃淡画像に比べて、距離の算出に必要な特徴がある可能性が高い。つまり距離の算出に使用する、例えばエッジや大きな輝度の勾配を持つ領域等の対応点は、輝度値の起伏がある点なので、輝度値の起伏が頻繁な濃淡画像の方が検出可能な対応点の多い輝度分布を備えている可能性が高い。従って上記のように輝度値の起伏の頻繁な濃淡画像を領域毎に選択することにより、対応点の検出精度すなわち被写体精度を向上させることができるので、精度の高い距離データを取得することが可能となる。
【００９８】
次に上述のようにして、図１２に示す如く、領域分割部２２が分割した所定領域毎に画像選択部１５−２が１つの色の濃淡画像を選択すると（ステップＳ５３）、距離算出部１６は所定領域毎に画像選択部１５により選択された色の基準画像Ａの濃淡画像と対応する色の参照画像Ｂの濃淡画像とから上述のようにして被写体各部までの距離を算出する（ステップＳ５４）。
【００９９】
そして距離算出部１６が距離を算出して距離データを取得すると（ステップＳ５４）、次にデータ圧縮部１７が算出した距離データを圧縮し、メディア制御部１８が圧縮された距離データを記録メディア１９に記録して（ステップＳ５５）、画像処理装置１−２による画像処理を終了する。
【０１００】
以上により、本実施形態の画像処理装置１−２によれば、入力された一対の画像データの基準画像Ａにおいて、画像データを構成するＲＧＢの色の濃淡画像Ａｒ、Ａｇ、Ａｂを複数の所定領域に分割し、分割された所定領域毎に、ＲＧＢの色のうちから最も距離の算出に適する１つ色の濃淡画像を選択し、選択された色の濃淡画像とこの濃淡画像に対応する色の参照画像Ｂの濃淡画像とから前記距離を算出するので、所定領域毎に最も距離の算出に適する１つの色の濃淡画像でのみ距離の算出を行うことにより精度の高い距離データを算出することができると共に距離の算出に要する時間を低減することができる。このとき距離の算出に要する時間を低減するためのみであれば、必ずしも距離の算出に最適な色の濃淡画像を選択する必要はない。
【０１０１】
なお本実施形態では、領域分割部２２が基準画像Ａについてのみ領域の分割を行い、画像選択部１５−２が分割された領域毎に濃淡画像の選択を行ったが本発明はこれに限られるものではなく、参照画像Ｂについて前記分割及び前記選択を行ってもよいし、基準画像Ａと参照画像Ｂの両方について前記分割及び前記選択を行ってもよい。
【０１０２】
また本実施形態ではカラー画像としてＲ、Ｇ、Ｂの３つの色の濃淡画像で構成された画像を使用したが、本発明はこれに限られるものではなく、例えば４つの色等、複数の色の濃淡画像で構成されたカラー画像にも適用することができる。
【０１０３】
また本発明の画像処理装置は、被写体を２つの視点から撮像して得た、各々が複数の色の濃淡画像で構成された一対の画像データから前記被写体までの距離を算出して立体画像データを生成する画像処理装置において、
前記一対の画像データを入力する画像入力手段と、
入力された前記一対の画像データの少なくとも一方の画像データにおいて、該画像データを構成する前記複数の色の濃淡画像を複数の所定領域に分割する領域分割手段と、
該領域分割手段により分割された前記所定領域毎に、前記複数の色の濃淡画像のうちからその一部である少なくとも１つの色の濃淡画像を選択する選択手段と、
前記選択手段により選択された色の濃淡画像と該濃淡画像に対応する色の他方の画像データの濃淡画像とから前記距離を算出する距離算出手段とを備えてなることができる。
【０１０４】
次に第三の実施形態の画像処理装置１−３について、以下図面を参照して詳細に説明する。図１６は第三の実施形態の画像処理装置１−３の機能構成を示すブロック図、図１７は画像処理装置１−３による一連の画像処理のフローチャートである。なお図１６は便宜上、第一の実施形態の画像処理装置１の機能構成を示すブロック図である図１と同様の箇所は同符号で示して説明を省略し、異なる箇所のみ詳細に説明する。
【０１０５】
本実施形態の画像処理装置１−３は、図１６に示す如く、距離算出部１６−３が第一の実施形態とは異なるものであり、距離算出部１６−３は読込部１４によって読み込まれた基準画像Ａと参照画像ＢとにおいてＲ、Ｇ、Ｂの３つの色の濃淡画像の全ての画素について被写体各部までの距離を算出するものである。なお本実施形態の距離算出部１６−３は全ての画素について前記距離を算出するものとしたが、画素間引きや、部分的な領域についてのみ前記距離を算出するものであってもよい。本実施形態の画像処理装置１−３は上記のように構成されている。次に画像処理装置１−３による画像処理について説明する。図１７は画像処理装置１−３による一連の画像処理のフローチャートである。
【０１０６】
本実施形態の画像処理装置１−３は、図１７に示す如く、画像入力部１０が一対の画像データすなわち基準画像Ａと参照画像Ｂを入力し（ステップＳ１１０）、読込部１４が基準画像Ａを構成するＲの濃淡画像Ａｒ、Ｇの濃淡画像Ａｇ、Ｂの濃淡画像Ａｂ及び画像データＢを構成するＲの濃淡画像Ｂｒ、Ｇの濃淡画像Ｂｇ、Ｂの濃淡画像Ｂｂをそれぞれ読み込んで、輝度値等の画素値を読み出す（ステップＳ１１１）。
【０１０７】
そして距離算出部１６−３が、入力された基準画像Ａと参照画像Ｂとをそれぞれ構成する一対のＲの濃淡画像Ａｒ、Ｂｒ、Ｇの濃淡画像Ａｇ、Ｂｇ、Ｂの濃淡画像Ａｂ、Ｂｂとから全ての画素について被写体各部までの距離を算出する（ステップＳ１１２）。
【０１０８】
次に画像選択部１５が、読込部１４によって読み込まれた基準画像Ａを構成するＲ、Ｇ、Ｂの濃淡画像Ａｒ、Ａｇ、Ａｂのうちから距離算出部１６−３による距離の算出に最も適する１つの色の濃淡画像を選択する画像選択処理を行う（ステップＳ１１３）。なお画像選択部１５による画像選択処理は、上述した第一の実施形態の画像処理装置１と同様の画像選択処理１、画像選択処理２、画像選択処理３、画像選択処理４を使用することができるため、説明は省略する。
【０１０９】
そして画像選択部１５により基準画像Ａを構成するＲ、Ｇ、Ｂの濃淡画像Ａｒ、Ａｇ、Ａｂのうちから１つの色の濃淡画像が選択されると（ステップＳ１１３）、選択された色の基準画像Ａ及び参照画像Ｂの濃淡画像から算出された距離のデータを、データ圧縮部１７が圧縮し、メディア制御部１８が圧縮された距離データを記録メディア１９に記録する（ステップＳ１１４）。このようにして画像処理装置１−３による画像処理は終了する。
【０１１０】
以上により本実施形態の画像処理装置１−３によれば、基準画像Ａと参照画像Ｂとを入力し、入力された基準画像Ａと参照画像Ｂの全ての画素について距離を算出し、入力された基準画像Ａにおいて、基準画像Ａを構成するＲ、Ｇ、Ｂの色の濃淡画像Ａｒ、Ａｇ、Ａｂのうちから最も距離の算出に適する１つの色の濃淡画像を選択し、選択された色の濃淡画像において算出された距離のデータを記録するので、最も距離の算出に適する１つの色の濃淡画像から算出された距離データが記録されることにより精度の高い距離データを取得することができる。
【０１１１】
なお本実施形態では、画像選択部１５が基準画像Ａについてのみ濃淡画像の選択を行ったが本発明はこれに限られるものではなく、参照画像Ｂについて前記選択を行ってもよいし、基準画像Ａと参照画像Ｂの両方について前記選択を行ってもよい。
【０１１２】
また本実施形態ではカラー画像としてＲ、Ｇ、Ｂの３つの色の濃淡画像で構成された画像を使用したが、本発明はこれに限られるものではなく、例えば４つの色等、複数の色の濃淡画像で構成されたカラー画像にも適用することができる。
【０１１３】
また本発明の画像処理装置は、被写体を２つの視点から撮像して得た、各々が複数の色の濃淡画像で構成された一対の画像データから前記被写体までの距離を算出して立体画像データを生成する画像処理装置において、
前記一対の画像データを入力する画像入力手段と、
入力された前記一対の画像データの複数の色の複数の画素について前記距離を算出する距離算出手段と、
入力された前記一対の画像データの少なくとも一方の画像データにおいて、該画像データを構成する前記複数の色の濃淡画像のうちからその一部である少なくとも１つの色の濃淡画像を選択する選択手段と、
該選択手段により選択された色の濃淡画像において前記距離算出手段が算出した前記距離のデータを記録する記録手段とを備えてなることができる。
【０１１４】
次に第四の実施形態の画像処理装置１−４について、以下図面を参照して詳細に説明する。図１８は第四の実施形態の画像処理装置１−４の機能構成を示すブロック図、図１９は画像処理装置１−４による一連の画像処理のフローチャートである。なお図１８は便宜上、第二の実施形態の画像処理装置１−２の機能構成を示すブロック図である図１８と同様の箇所は同符号で示して説明を省略し、異なる箇所のみ詳細に説明する。
【０１１５】
本実施形態の画像処理装置１−４は、図１８に示す如く、距離算出部１６−４が第二の実施形態とは異なるものであり、距離算出部１６−４は読込部１４によって読み込まれた基準画像Ａと参照画像ＢとにおいてＲ、Ｇ、Ｂの３つの色の濃淡画像の全ての画素について被写体各部までの距離を算出するものである。なお本実施形態の距離算出部１６−４は全ての画素について前記距離を算出するものとしたが、画素間引きや、部分的な領域についてのみ前記距離を算出するものであってもよい。本実施形態の画像処理装置１−４は上記のように構成されている。次に画像処理装置１−４による画像処理について説明する。図１７は画像処理装置１−３による一連の画像処理のフローチャートである。
【０１１６】
本実施形態の画像処理装置１−４は、図１９に示す如く、画像入力部１０が一対の画像データすなわち基準画像Ａと参照画像Ｂを入力し（ステップＳ１２０）、読込部１４が基準画像Ａを構成するＲの濃淡画像Ａｒ、Ｇの濃淡画像Ａｇ、Ｂの濃淡画像Ａｂ及び画像データＢを構成するＲの濃淡画像Ｂｒ、Ｇの濃淡画像Ｂｇ、Ｂの濃淡画像Ｂｂをそれぞれ読み込んで、輝度値等の画素値を読み出す（ステップＳ１２１）。
【０１１７】
そして距離算出部１６−４が、入力された基準画像Ａと参照画像Ｂとをそれぞれ構成する一対のＲの濃淡画像Ａｒ、Ｂｒ、Ｇの濃淡画像Ａｇ、Ｂｇ、Ｂの濃淡画像Ａｂ、Ｂｂとから全ての画素について被写体各部までの距離を算出する（ステップＳ１２２）。
【０１１８】
次に領域分割部２２が、読込部１４によって読み込まれた基準画像Ａを構成するＲ、Ｇ、Ｂの色の濃淡画像Ａｒ、Ａｇ、Ａｂを複数の所定領域に分割し、画像選択部１５−２が、分割された所定領域毎に、Ｒ、Ｇ、Ｂの色の濃淡画像Ａｒ、Ａｇ、Ａｂのうちから最も距離の算出に適する色の濃淡画像を選択する、領域分割及び画像選択処理を行う（ステップＳ１２３）。なお領域分割部２２と画像選択部１５−２による領域分割及び画像選択処理は、上述した第二の実施形態の画像処理装置１−２と同様の領域分割及び画像選択処理１又は領域分割及び画像選択処理２を使用することができるため、説明は省略する。
【０１１９】
そして画像選択部１５−２により所定領域毎に基準画像Ａを構成するＲ、Ｇ、Ｂの濃淡画像Ａｒ、Ａｇ、Ａｂのうちから１つの色の濃淡画像が選択されると（ステップＳ１２３）、選択された色の基準画像Ａ及び参照画像Ｂの濃淡画像から算出された距離のデータを、データ圧縮部１７が圧縮し、メディア制御部１８が圧縮された距離データを記録メディア１９に記録する（ステップＳ１２４）。このようにして画像処理装置１−４による画像処理は終了する。
【０１２０】
以上により本実施形態の画像処理装置１−４によれば、基準画像Ａと参照画像Ｂとを入力し、入力された基準画像Ａと参照画像Ｂの全ての画素について距離を算出し、入力された基準画像Ａにおいて、基準画像Ａを構成するＲ、Ｇ、Ｂの色の濃淡画像Ａｒ、Ａｇ、Ａｂを複数の所定領域に分割し、分割された所定領域毎に、Ｒ、Ｇ、Ｂの色の濃淡画像Ａｒ、Ａｇ、Ａｂのうちから最も距離の算出に適する１つの色の濃淡画像を選択し、選択された色の濃淡画像において算出された距離のデータを記録するので、所定領域毎に最も距離の算出に適する１つの色の画像データから算出された距離データが記録されることにより精度の高い距離データを取得することができる。
【０１２１】
なお本実施形態では、画像選択部１５−２が基準画像Ａについてのみ濃淡画像の選択を行ったが本発明はこれに限られるものではなく、参照画像Ｂについて前記選択を行ってもよいし、基準画像Ａと参照画像Ｂの両方について前記選択を行ってもよい。
【０１２２】
また本実施形態ではカラー画像としてＲ、Ｇ、Ｂの３つの色の濃淡画像で構成された画像を使用したが、本発明はこれに限られるものではなく、例えば４つの色等、複数の色の濃淡画像で構成されたカラー画像にも適用することができる。
【０１２３】
また本発明の画像処理装置は、被写体を２つの視点から撮像して得た、各々が複数の色の濃淡画像で構成された一対の画像データから前記被写体までの距離を算出して立体画像データを生成する画像処理装置において、
前記一対の画像データを入力する画像入力手段と、
入力された前記一対の画像データの複数の色の複数の画素について前記距離を算出する距離算出手段と、
入力された前記一対の画像データの少なくとも一方の画像データにおいて、該画像データを構成する前記複数の色の濃淡画像を複数の所定領域に分割する領域分割手段と、
該領域分割手段により分割された前記所定領域毎に、前記複数の色の濃淡画像のうちからその一部である少なくとも１つの色の濃淡画像を選択する選択手段と、
該選択手段により選択された色の濃淡画像において前記距離算出手段が算出した前記距離のデータを記録する記録手段とを備えてなることができる。
【０１２４】
次に、図２０及び図２１に上述した実施形態の画像入力部１０の構成を示すブロック図の一例をそれぞれ示す。上述した実施形態の画像入力部１０は、異なる視点から撮像された視差画像として少なくとも２つの画像データを入力するものであり、例えば１つのカメラが、順次視点を変えて撮像して得られた画像データを入力してもよい。
【０１２５】
また画像入力部１０として、図２０に示す如く、撮影レンズ等で構成される２つの光学系１０ａ−１、１０ａ−２と、ＣＣＤ等の撮像素子すなわちＲ用撮像素子１０ｂ−１ｒ、１０ｂ−２ｒと、Ｇ用撮像素子１０ｂ−１ｇ、１０ｂ−２ｇと、Ｂ用撮像素子１０ｂ−１ｂ、１０ｂ−２ｂと、Ｒ用Ａ／Ｄ変換部１０ｃ−１ｒ、１０ｃ−２ｒと、Ｇ用Ａ／Ｄ変換部１０ｃ−１ｇ、１０ｃ−２ｇと、Ｂ用Ａ／Ｄ変換部１０ｃ−１ｂ、１０ｃ−２ｂとを有し、異なる視点に位置する少なくとも２つの撮像系つまり２眼を備えた複眼カメラ１０を使用してもよい。この場合、撮像系は、２つの光学系を持ち、その各々の光軸に対応した複数の撮像素子を配置しそれらの出力信号を用いて信号処理を行い、最終的に１つの撮像出力信号を得る多板構成とする。このような複眼カメラでは略同時に撮像された視差画像を得ることができる。
【０１２６】
また画像入力部１０は、図２１に示す如く、上記と同様の光学系１０ａ−１と、Ｒ用撮像素子１０ｂ−１ｒと、Ｇ用撮像素子１０ｂ−１ｇと、Ｂ用撮像素子１０ｂ−１ｂと、Ｒ用Ａ／Ｄ変換部１０ｃ−１ｒと、Ｇ用Ａ／Ｄ変換部１０ｃ−１ｇと、Ｂ用Ａ／Ｄ変換部１０ｃ−１ｂとを備えてなるカメラ１０Ａ及び上記と同様の光学系１０ａ−２と、Ｒ用撮像素子１０ｂ−２ｒと、Ｇ用撮像素子１０ｂ−２ｇと、Ｂ用撮像素子１０ｂ−２ｂと、Ｒ用Ａ／Ｄ変換部１０ｃ−２ｒと、Ｇ用Ａ／Ｄ変換部１０ｃ−２ｇと、Ｂ用Ａ／Ｄ変換部１０ｃ−２ｂとを備えてなるカメラ１０Ｂの２つのカメラから構成されるものであってもよい。この場合カメラ１０Ａとカメラ１０Ｂは異なる視点から撮像可能な位置に配設される。なお２つ以上のカメラから構成されるものであってもよい。
【０１２７】
そして上記図２０及び図２１の画像入力部１０は、該画像処理入力部１０により得られた視差画像の画像データを、図２のステップＳ１又は図１２のステップＳ５１、図１７のステップＳ１１０、図１９のステップＳ１２０にて入力する。
【０１２８】
なお本発明の画像処理装置は、上述した実施形態の画像処理装置に限られるものではなく、本発明の趣旨を逸脱しない範囲において適宜設計変更可能である。
【図面の簡単な説明】
【０１２９】
【図１】第一の実施形態の画像処理装置の機能構成を示すブロック図
【図２】図１の画像処理装置による一連の画像処理のフローチャート
【図３】画像選択部による第一の画像選択処理のフローチャート
【図４Ａ】画像選択部による第二の画像選択処理のフローチャート
【図４Ｂ】カウント処理のフローチャート
【図５】濃淡画像の輝度分布及び画素のカウント方法の一例
【図６】濃淡画像の輝度分布及び画素のカウント方法の別の一例
【図７】画像選択部による第三の画像選択処理のフローチャート
【図８】カラー画像の一例
【図９】画像選択部による第四の画像選択処理のフローチャート
【図１０】エッジが抽出された濃淡画像においてエッジの交差回数のカウントの一例
【図１１】第二の実施形態の画像処理装置の機能構成を示すブロック図
【図１２】図１１の画像処理装置による一連の画像処理のフローチャート
【図１３Ａ】第一の画像分割及び画像選択処理のフローチャート（その１）
【図１３Ｂ】第一の画像分割及び画像選択処理のフローチャート（その２）
【図１３Ｃ】第一の画像分割及び画像選択処理のフローチャート（その３）
【図１３Ｄ】第一の画像分割及び画像選択処理のフローチャート（その４）
【図１４】領域分割部及び画像選択部による画像分割及び画像選択方法の一例
【図１５Ａ】第二の画像分割及び画像選択処理のフローチャート（その１）
【図１５Ｂ】第二の画像分割及び画像選択処理のフローチャート（その２）
【図１５Ｃ】第二の画像分割及び画像選択処理のフローチャート（その３）
【図１５Ｄ】第二の画像分割及び画像選択処理のフローチャート（その４）
【図１６】第三の実施形態の画像処理装置の機能構成を示すブロック図
【図１７】図１６の画像処理装置による一連の画像処理のフローチャート
【図１８】第四の実施形態の画像処理装置の機能構成を示すブロック図
【図１９】図１８の画像処理装置による一連の画像処理のフローチャート
【図２０】画像入力部の構成を示すブロック図の一例
【図２１】画像入力部の構成を示すブロック図の別の一例
【符号の説明】
【０１３０】
１、１−２、１−３、１−４ 画像処理装置
１０ 画像入力部（画像入力手段）
１０Ａ、１０Ｂ カメラ
１０ａ−１、１０ａ−２ 光学系
１５、１５−２ 画像選択部（画像選択手段）
１６、１６−３、１６−４ 距離算出部（距離算出手段）
１９ 記録メディア（記録手段）
２２ 領域分割部（領域分割手段）
【技術分野】
【０００１】
本発明は、被写体を２つの視点から撮像して得た一対の画像データから立体画像データを生成する画像処理装置に関し、特に一対の画像データがカラー画像であるときの画像処理方法に関するものである。
【背景技術】
【０００２】
近年、被写体を２つの視点から撮像して得た一対の画像データから立体画像データを生成する画像処理装置が提案されており、立体画像データの生成方法としては、取得された一対の画像データにおいて共通して写っている点、いわゆる対応点を特定し、三角測量の原理に従って対応点までの距離を算出することにより、被写体の三次元形状を推測するステレオマッチング法を用いる方法が知られている。
【０００３】
このようなステレオマッチング法を用いた画像処理装置では、一対の画像データとしてそれぞれ複数の色の濃淡画像で構成されたカラー画像を使用し、同色の濃淡画像においてそれぞれ上記ステレオマッチングを行うことにより各々の色での視差を算出して、画像領域毎に対象物の色に基づいた積和演算によって融合処理を行い、統一視差を算出することにより信頼性の高い立体画像データを算出するようにしたものがある（特許文献１）。
【特許文献１】特開２００３−１５０９３６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
通常、濃淡画像において特徴的なパターンが少ない場合等には、対応点を誤検出してしまう虞があり、誤った距離が算出されてしまう場合がある。この場合、特許文献１に記載の画像処理装置においては、誤って算出されたデータも融合処理に使用されてしまうため、精度が低減してしまう虞がある。
【０００５】
本発明はかかる事情に鑑みてなされたものであり、カラー画像から精度の高い距離データを取得することができる画像処理装置及び画像処理方法並びにプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、被写体を２つの視点から撮像して得た、各々が複数の色の濃淡画像で構成された一対の画像データから前記被写体までの距離を算出して立体画像データを生成する画像処理装置において、
前記一対の画像データを入力する画像入力手段と、
入力された前記一対の画像データの複数の色の複数の画素について前記距離を算出する距離算出手段と、
入力された前記一対の画像データの少なくとも一方の画像データにおいて、該画像データを構成する前記複数の色の濃淡画像を複数の所定領域に分割する領域分割手段と、
該領域分割手段により分割された前記所定領域毎に、前記複数の色の濃淡画像のうちから最も前記距離算出に適する１つの色の濃淡画像を選択する選択手段と、
該選択手段により選択された色の濃淡画像において前記距離算出手段が算出した前記距離のデータを記録する記録手段とを備えてなることを特徴とするものである。
【０００７】
本発明の画像処理装置は、前記領域分割手段が、前記複数の色の濃淡画像においてそれぞれエッジを抽出し、該抽出されたエッジを有する画素を含む領域毎に前記所定領域を分割するものであり、
前記選択手段が、各々の前記所定領域内で前記エッジが抽出された色の濃淡画像を選択するものであることが好ましい。
【０００８】
本発明の画像処理装置は、前記領域分割手段が、前記複数の色の濃淡画像においてそれぞれ予め所定間隔で定められた輝度値を有する画素を検出し、該検出された画素を含む領域毎に前記所定領域を分割するものであり、
前記選択手段が、各々の前記所定領域内で前記画素が検出された色の濃淡画像を選択するものであることが好ましい。
【０００９】
本発明の画像処理装置は、前記画像入力手段が、２つのカメラからなるものであってもよい。
【００１０】
本発明の画像処理装置は、前記画像入力手段が、２つの光学系を備えた複眼カメラであってもよい。
【００１１】
この場合、前記複眼カメラが、多板構成からなる撮像系を備えたものであることが好ましい。なおここで「多板構成」とは複数の光学系を持ち、その各々の光軸に対応した複数の撮像素子を配置しそれらの出力信号を用いて信号処理を行い、最終的に１つの撮像出力信号を得る構成を意味する。
【００１２】
本発明の画像処理方法は、被写体を２つの視点から撮像して得た、各々が複数の色の濃淡画像で構成された一対の画像データから前記被写体までの距離を算出して立体画像データを生成する画像処理方法において、
前記一対の画像データを入力し、
該入力された前記一対の画像データの複数の色の複数の画素について前記距離を算出し、
前記入力された前記一対の画像データの少なくとも一方の画像データにおいて、該画像データを構成する前記複数の色の濃淡画像を複数の所定領域に分割し、
該分割された前記所定領域毎に、前記複数の色の濃淡画像のうちから最も前記距離算出に適する１つの色の濃淡画像を選択し、
該選択された色の濃淡画像において算出された前記距離のデータを記録することを特徴とするものである。
【００１３】
本発明の画像処理プログラムは、コンピュータに、被写体を２つの視点から撮像して得た、各々が複数の色の濃淡画像で構成された一対の画像データから前記被写体までの距離を算出して立体画像データを生成することを実行させるための画像処理プログラムにおいて、
前記一対の画像データを入力し、
該入力された前記一対の画像データの複数の色の複数の画素について前記距離を算出し、
前記入力された前記一対の画像データの少なくとも一方の画像データにおいて、該画像データを構成する前記複数の色の濃淡画像を複数の所定領域に分割し、
該分割された前記所定領域毎に、前記複数の色の濃淡画像のうちから最も前記距離算出に適する１つの色の濃淡画像を選択し、
該選択された色の濃淡画像において算出された前記距離のデータを記録することを実行させるためのものである。
【発明の効果】
【００１４】
本発明の画像処理装置及び画像処理方法並びにプログラムによれば、一対の画像データを入力し、入力された一対の画像データの複数の色の複数の画素について距離を算出し、入力された一対の画像データの少なくとも一方の画像データにおいて、画像データを構成する複数の色の濃淡画像を複数の所定領域に分割し、分割された所定領域毎に、複数の色の濃淡画像のうちから最も距離の算出に適する１つの色の濃淡画像を選択し、選択された色の濃淡画像において算出された距離のデータを記録するので、所定領域毎に最も距離の算出に適する１つの色の画像データから算出された距離データが記録されることにより精度の高い距離データを取得することができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施形態について図面を参照して詳細に説明する。図１は第一の実施形態である画像処理装置１の機能構成を示すブロック図である。本実施形態の画像処理装置１は、図１に示す如く、画像入力部（画像入力手段）１０、操作部１１、表示制御部１２、モニタ１３、読込部１４、画像選択部（選択手段）１５、距離算出部（距離算出手段）１６、データ圧縮部１７、メディア制御部１８、記録メディア（記録手段）１９、内部メモリ２０等を備えており、これらはデータバス２１を介して、各種信号、データの送受信を行う。
【００１６】
画像入力部１０は、画像を入力するものであり、被写体を異なる２つの視点から撮像して得た、各々がＲ、Ｇ、Ｂの色の濃淡画像で構成されたカラー画像の基準画像Ａと参照画像Ｂからなる一対の画像データが入力される。なお一対の画像データにおいては、どちらの画像データを基準画像Ａとしてもよい。また本実施形態では入力される画像データを２つとしたが、異なる視点から撮像された、いわゆる視差画像のデータであれば３つや４つ等の複数の画像データを入力してもよい。この場合、複数の画像データのうち、一つの画像データを基準画像Ａとし、その他の画像データを参照画像Ｂとする。
【００１７】
操作部１１は、動作モードスイッチ、メニュー／ＯＫボタン、上下レバー、左右ボタン、Ｂａｃｋ（戻り）ボタン、表示切替ボタン、レリーズボタン、電源スイッチ等で構成されるものであり、ユーザがこれらを操作することにより各種設定を行う。
【００１８】
表示制御部１２は、画像入力部１０により入力された画像をモニタ１３に表示させる他に、後述の距離算出部１６により算出された被写体各部までの距離データつまり奥行きデータに基づいて生成された被写体の立体画像をモニタ１３に表示することができる。また表示制御部１２は、後述の記録メディア１９に記録され、メディア制御部１８によって読み出された立体画像データに基づく立体画像をモニタ１３に表示させる。
【００１９】
モニタ１３は、表示制御部１２を介して平面画像又は立体画像を表示するものであり、操作部１１によって設定操作される各種設定メニュー等も表示する。
【００２０】
読込部１４は、画像入力部１０により入力された画像データを構成するＲ、Ｇ、Ｂの３つの色の濃淡画像を読み込み、全ての画素の画素値を読み出す。そして読み出された画素値に基づいて公知の変換処理を行うことにより全ての画素について輝度値等の情報を取得する。なお本実施形態では輝度値は、読み出された画素値から算出するものとしたが、本発明はこれに限られるものではなく、画素値をそのまま輝度値として使用することもできる。
【００２１】
画像選択部１５は、読込部１４によって読み込まれた一対の画像データの基準画像Ａにおいて、基準画像Ａを構成するＲ、Ｇ、Ｂの３つの色の濃淡画像Ａｒ、Ａｇ、Ａｂのうちから後述の距離算出部１６による距離の算出に最も適する１つの色の濃淡画像を選択するものである。なおこの画像選択部１５による濃淡画像の選択方法については後で詳細に説明する。
【００２２】
距離算出部１６は、画像選択部１５により選択された色の濃淡画像と、この濃淡画像に対応する色の参照画像の濃淡画像とから、すなわち選択された色の一対の濃淡画像から被写体各部までの距離を算出するものであり、公知のステレオマッチング法を使用することができて、一対の濃淡画像においてエッジやセグメント等、共通して写っている点、いわゆる対応点を相関演算によって特定し、この対応点の位置情報から視差を求め、この視差に基づいて三角測量の原理に従って対応点までの距離すなわち被写体各部までの距離を算出する。
【００２３】
このとき対応点の検出は、基準画像Ａから複数の画素で構成された画素ブロックＷａを算出し、算出された画素ブロックＷａを参照画像Ｂ中で走査して濃淡等の形状パターンの一致度評価値（相関度）を計算して、参照画像Ｂにおいて画素ブロックＷａと対応するブロックＷｂを検出する、いわゆる領域ベースマッチング（area-based matching）といわれる方法や、先に基準画像Ａ及び参照画像Ｂからエッジやセグメント等の特徴点を見つけ出し、基準画像Ａと参照画像Ｂにおけるこの特徴点の相関度から対応点を検出する、いわゆる特徴ベースマッチング（feature-based matching）といわれる方法等を使用することができる。一致度評価値（相関度）の計算は、例えば各画素の差の絶対値を合計する、または各画素の差を２乗したものを合計するなど、公知の技術を使用することができる。
【００２４】
このように距離算出部１６は、選択された１つの色の一対の濃淡画像についてのみ距離の算出を行うので、距離の算出に要する時間を低減することができる。
【００２５】
データ圧縮部１７は、算出された距離データを圧縮処理するものであり、圧縮された距離データはメディア制御部１８を介して記録メディア１９に記録される。
【００２６】
メディア制御部１８は、記録メディア１９に記憶された距離データ等の読み出し、又は距離データ等の書き込みを行う。
【００２７】
記録メディア（記録手段）１９は、距離データ等の各種データを記憶可能な記録媒体であり、磁気的又は光学的記録媒体、半導体メモリ等によって構成されている。
【００２８】
内部メモリ２０は、画像処理装置１において設定される各種定数やプログラム等を格納するものであって、画像入力部１０により入力された画像データや距離算出部１６により算出された距離データ等を記憶するバッファメモリとしても機能する。
【００２９】
本実施形態の画像処理装置１は上記のように構成されている。次に画像処理装置１による画像処理について説明する。図２は画像処理装置１による一連の画像処理のフローチャート、図３は画像選択部１５による画像選択処理のフローチャートである。
【００３０】
本実施形態の画像処理装置１は、図２に示す如く、画像入力部１０が一対の画像データすなわち基準画像Ａと参照画像Ｂを入力し（ステップＳ１）、読込部１４が基準画像Ａを構成するＲの濃淡画像Ａｒ、Ｇの濃淡画像Ａｇ、Ｂの濃淡画像Ａｂ及び画像データＢを構成するＲの濃淡画像Ｂｒ、Ｇの濃淡画像Ｂｇ、Ｂの濃淡画像Ｂｂをそれぞれ読み込んで、輝度値等の画素値を読み出す（ステップＳ２）。
【００３１】
次に画像選択部１５が、読込部１４によって読み込まれた基準画像Ａを構成するＲ、Ｇ、Ｂの濃淡画像Ａｒ、Ａｇ、Ａｂのうちから距離算出部１６による距離の算出に最も適する１つの色の濃淡画像を選択する画像選択処理を行う（ステップＳ３）。
【００３２】
画像選択部１５による画像選択処理１は、図３に示す如く、基準画像Ａを構成するＲ、Ｇ、Ｂの濃淡画像Ａｒ、Ａｇ、Ａｂそれぞれについて最小輝度値と最大輝度値を算出し（ステップＳ１１）、最小輝度値と最大輝度値との輝度差の値Ｄｒ、Ｄｇ、Ｄｂをそれぞれ算出する（ステップＳ１２）。
【００３３】
次に画像選択部１５は、算出された輝度差の値が最も大きい値のものを判別する（ステップＳ１３）。そして画像選択部１５は、最も大きい値が輝度差Ｄｒである場合（ステップＳ１３；Ｄｒ）にはＲの濃淡画像Ａｒを選択し（ステップＳ１４）、最も大きい値が輝度差Ｄｇである場合（ステップＳ１３；Ｄｇ）にはＧの濃淡画像Ａｇを選択し（ステップＳ１５）、最も大きい値が輝度差Ｄｂである場合（ステップＳ１３；Ｄｂ）にはＢの濃淡画像Ａｂを選択する（ステップＳ１６）。このようにして画像選択部１５は画像選択処理１を行う。
【００３４】
一般的に輝度差の値が大きい濃淡画像は、輝度差の値が小さい濃淡画像に比べて、距離の算出に必要な特徴がある可能性が高い。つまり距離の算出に使用する、例えばエッジ等の対応点は、輝度が急激に変化する点すなわち輝度差の大きい点なので、輝度差の値が大きい濃淡画像の方が検出可能な対応点の多い輝度分布を備えている可能性が高い。従って上記のように輝度差の値の大きい濃淡画像を選択することにより、対応点の検出精度すなわち被写体精度を向上させることができるので、精度の高い距離データを取得することが可能となる。
【００３５】
なお画像選択部１５による画像の選択は別の方法であってもよい。次に画像選択部１５による第二の実施形態の画像選択処理２ついて説明する。図４Ａは画像選択部１５による第二の画像選択処理２のフローチャート、図４Ｂはカウント処理のフローチャート、図５は濃淡画像の輝度分布及び画素のカウント方法の一例、図６は濃淡画像の輝度分布及び画素のカウント方法の別の一例である。
【００３６】
画像選択部１５は、図４Ａに示す如く、基準画像Ａを構成するＲ、Ｇ、Ｂの濃淡画像Ａｒ、Ａｇ、Ａｂそれぞれについて予め例えば１０毎等の所定間隔で定められた所定の輝度値Ｃ（例えばＬ１０、Ｌ２０、Ｌ３０・・・）を有する画素を検出する（ステップＳ２０）。この画素の検出は、例えば図５に示す如く、濃淡画像Ａｒ、Ａｇ、Ａｂのそれぞれについて、全ての画素の輝度値Ｌにおいて所定の輝度値Ｃであるか否かを判別し、図中色付で示す所定の輝度値Ｃを有する画素を検出する。
【００３７】
次に画像選択部１５は、基準画像Ａを構成するＲ、Ｇ、Ｂの濃淡画像Ａｒ、Ａｇ、ＡｂそれぞれについてステップＳ２０にて検出された画素の数Ｆｒ、Ｆｇ、Ｆｂをカウントするカウント処理を行う（ステップＳ２１）。
【００３８】
カウント処理は、図４Ｂに示す如く、濃淡画像Ａｒについて行うときには、先ずＦｒに０を代入して初期化し（ステップＳ１２０）、続いてａに０を代入して初期化する（ステップＳ１２１）。そして濃淡画像Ａｒに所定の輝度値Ｃがあるか否かを判別し（ステップＳ１２２）、所定の輝度値Ｃがある場合（ステップＳ１２２；ＹＥＳ）には、ａ＝ｃであるか否かを判別する（ステップＳ１２３）。そしてａ＝ｃでない場合（ステップＳ１２３；ＮＯ）には、Ｆｒをカウントアップして（ステップＳ１２４）、ａにｃを代入し（ステップＳ１２５）、ステップＳ１２６へ処理を移行する。
【００３９】
一方、ステップＳ１２２にて所定の輝度値Ｃがない場合（ステップＳ１２２；ＮＯ）及びステップＳ１２３にてａ＝ｃである場合（ステップＳ１２３；ＹＥＳ）にも、ステップＳ１２６へ処理を移行して、その画素が水平方向の端の画素であるか否かを判別する（ステップＳ１２６）。
【００４０】
そして水平方向の端の画素ではない場合（ステップＳ１２６；ＮＯ）には、水平方向に１画素移動して（ステップＳ１２７）、処理をステップＳ１２２へ移行して以降の処理を繰り返し、端の画素である場合（ステップＳ１２６；ＹＥＳ）には、その画素が垂直方向の端の画素であるか否かを判別する（ステップＳ１２８）。
【００４１】
そして垂直方向の端の画素ではない場合（ステップＳ１２８；ＮＯ）には垂直方向に１画素移動して（ステップＳ１２９）、処理をステップＳ１２１へ移行して以降の処理を繰り返し、端の画素である場合（ステップＳ１２８；ＹＥＳ）には、カウント処理を終了する。そして同様のカウント処理を濃淡画像Ａｇ、Ａｂについても行う。
【００４２】
上記カウント処理を行うと、例えば図５の濃淡画像においては、画素数のカウントは、一列目の画素列では「２」、２列目の画素列では「１」、３列目、４列目の画素列では「１」、５列目の画素列では「１」となるのでこれらを合計して画素数は「６」となる。このようにして基準画像Ａを構成するＲ、Ｇ、Ｂの濃淡画像Ａｒ、Ａｇ、Ａｂそれぞれについて上記のように画素数Ｆｒ、Ｆｇ、Ｆｂをカウントする。
【００４３】
なお本実施形態では、画素数のカウントを上記のように画素列毎に行ったが、濃淡画像Ａｒ、Ａｇ、Ａｂをそれぞれ構成する全ての画素について前記カウントを行えば、どのようにカウントしてもよく、適宜変更することができる。
【００４４】
そして次に画像選択部１５は、カウントされた画素数が最も多い画素数を判別する（ステップＳ２２）。そして画像選択部１５は、最も多い画素数が画素数Ｆｒである場合（ステップＳ２２；Ｆｒ）にはＲの濃淡画像Ａｒを選択し（ステップＳ２３）、最も多い画素数が画素数Ｆｇである場合（ステップＳ２２；Ｆｇ）にはＧの濃淡画像Ａｇを選択し（ステップＳ２４）、最も多い画素数が画素数Ｆｂである場合（ステップＳ２２；Ｆｂ）にはＢの濃淡画像Ａｂを選択する（ステップＳ２５）。このようにして画像選択部１５は画像選択処理２を行う。
【００４５】
一般的に、輝度値の起伏が頻繁な濃淡画像は、輝度値の起伏が乏しい濃淡画像に比べて、距離の算出に必要な特徴がある可能性が高い。つまり距離の算出に使用する、例えばエッジや大きな輝度の勾配を持つ領域等の対応点は、輝度値の起伏がある点なので、輝度値の起伏が頻繁な濃淡画像の方が検出可能な対応点の多い輝度分布を備えている可能性が高い。従って上記のように輝度値の起伏の頻繁な濃淡画像を選択することにより、対応点の検出精度すなわち被写体精度を向上させることができるので、精度の高い距離データを取得することが可能となる。
【００４６】
なお本実施形態では、上記のように基準画像Ａを構成するＲ、Ｇ、Ｂの濃淡画像Ａｒ、Ａｇ、Ａｂそれぞれにおいて、全ての画素について所定の輝度値Ｃを有する画素の検出と、検出された画素の数Ｆｒ、Ｆｇ、Ｆｂのカウントを行ったが、図６に示す如く、例えば１つおきの画素列等、所定間隔毎の画素列において上記画素の検出を行って、検出された画素の数Ｆｒ、Ｆｇ、Ｆｂのカウントを行うようにしてもよい。この場合、画素数のカウントは、図６に示す如く、一列目の画素列では「２」、３列目の画素列では「１」、５列目の画素列では「１」となるのでこれらを合計して画素数は「４」となる。
【００４７】
このように所定間隔毎の画素列において画素の数Ｆｒ、Ｆｇ、Ｆｂをカウントすることにより基準画像Ａと参照画像Ｂとにおける相関演算が画素列毎に行われる場合には、対応点となり得る画素の頻度を反映した濃淡画像を選択することができると共に、画像選択処理の速度を速くすることができる。
【００４８】
次に画像選択部１５による第三の実施形態の画像選択処理３ついて説明する。図７は画像選択部１５による第三の画像選択処理３のフローチャート、図８はカラー画像の一例である。
【００４９】
画像選択部１５は、図７に示す如く、基準画像Ａを構成するＲ、Ｇ、Ｂの濃淡画像Ａｒ、Ａｇ、Ａｂそれぞれについてエッジ（輪郭）を抽出する（ステップＳ３０）。なおエッジの抽出は一般的に使用されている公知の技術を使用することができる。
【００５０】
次に画像選択部１５は、基準画像Ａを構成するＲ、Ｇ、Ｂの濃淡画像Ａｒ、Ａｇ、ＡｂそれぞれについてステップＳ３０にてエッジが抽出された画素の数つまりエッジに相当する画素数Ｅｒ、Ｅｇ、Ｅｂをカウントする（ステップＳ３１）。
【００５１】
次に画像選択部１５は、カウントされた画素数が最も多い画素数を判別する（ステップＳ３２）。そして画像選択部１５は、最も多い画素数が画素数Ｅｒである場合（ステップＳ３２；Ｅｒ）にはＲの濃淡画像Ａｒを選択し（ステップＳ３３）、最も多い画素数が画素数Ｅｇである場合（ステップＳ３２；Ｅｇ）にはＧの濃淡画像Ａｇを選択し（ステップＳ３４）、最も多い画素数が画素数Ｅｂである場合（ステップＳ３２；Ｅｂ）にはＢの濃淡画像Ａｂを選択する（ステップＳ３５）。このようにして画像選択部１５は画像選択処理３を行う。
【００５２】
例えば図８に示す如く、赤い色の対象物Ｐｒ、緑色の対象物Ｐｇ、青色の対象物Ｐｂの順に大きさの大きい対象物が撮像されたカラー画像Ｐにおいては、Ｒ、Ｇ、Ｂの濃淡画像Ｐｒ、Ｐｇ、Ｐｂのそれぞれについてエッジに相当する画素数Ｅｒ、Ｅｇ、Ｅｂをカウントすると、Ｒの濃淡画像Ｐｒでの画素数Ｅｒが最も多い画素数となる。つまり画素数が多いほど、多くのエッジが抽出されていることとなり、基準画像Ａと参照画像Ｂとにおいて多くの画素で相関が取れる、つまり対応点が検出し易くなる。従って上記のように、エッジに相当する画素数が最も多い濃淡画像を選択することにより、対応点の検出精度すなわち被写体精度を向上させることができて、精度の高い距離データを取得することが可能となる。
【００５３】
なお本実施形態では、上記のように基準画像Ａを構成するＲ、Ｇ、Ｂの濃淡画像Ａｒ、Ａｇ、Ａｂそれぞれにおいて、全ての画素についてエッジに相当する画素数Ｅｒ、Ｅｇ、Ｅｂのカウントを行ったが、上記実施形態と略同様に図６に示す如く、例えば１画素列毎、所定間隔毎の画素列においてエッジに相当する画素数Ｅｒ、Ｅｇ、Ｅｂのカウントを行うようにしてもよい。このように所定間隔毎の画素列において画素数Ｅｒ、Ｅｇ、Ｅｂをカウントすることにより基準画像Ａと参照画像Ｂとにおける相関演算が画素列毎に行われる場合には、対応点となり得るエッジの頻度を反映した濃淡画像を選択することができると共に、画像選択処理の速度を速くすることができる。
【００５４】
次に画像選択部１５による第四の実施形態の画像選択処理４ついて説明する。図９は画像選択部１５による第四の画像選択処理４のフローチャート、図１０はエッジが抽出された濃淡画像においてエッジの交差回数のカウントの一例である。
【００５５】
画像選択部１５は、図９に示す如く、基準画像Ａを構成するＲ、Ｇ、Ｂの濃淡画像Ａｒ、Ａｇ、Ａｂそれぞれについてエッジ（輪郭）を抽出する（ステップＳ４０）。なおエッジの抽出は一般的に使用されている公知の技術を使用することができる。
【００５６】
次に画像選択部１５は、基準画像Ａを構成するＲ、Ｇ、Ｂの濃淡画像Ａｒ、Ａｇ、Ａｂそれぞれについてエッジの交差回数Ｎｒ、Ｎｇ、Ｎｂをカウントする（ステップＳ４１）。エッジの交差回数Ｎｒ、Ｎｇ、Ｎｂのカウントは、基準画像Ａと参照画像Ｂとにおいて相関演算を行う方向と同じ方向で一定間隔のライン毎に、このラインとエッジとが交差しているか否かを画素毎に判断して、交差している回数を交差回数Ｎｒ、Ｎｇ、Ｎｂとしてカウントする。
【００５７】
例えばエッジが、図１０に示すように抽出されている場合には、図１０中所定の画素列毎に左から右に向かってエッジが交差しているか否かを判別する。このときエッジの交差の判別は、例えば抽出されたエッジが黒になるように公知の方法により濃淡画像を二値化し、白から黒及び黒から白に変化したときをエッジが交差したとして交差回数を１とカウントする。すると図１０では一番上の画素列で交差回数４をカウントし、続いて下方の画素列になるにしたがって、交差回数７、１０、１１をカウントするので、図１０の濃淡画像ではエッジの交差回数は１１となる。このようにして交差回数Ｎｒ、Ｎｇ、Ｎｂをカウントする。
【００５８】
そして図９に示す如く、交差回数Ｎｒ、Ｎｇ、Ｎｂをカウントすると（ステップＳ４１）、次に画像選択部１５は、カウントされた交差回数Ｎｒ、Ｎｇ、Ｎｂが最も多い交差回数を判別する（ステップＳ４２）。そして画像選択部１５は、最も多い交差回数が交差回数Ｎｒである場合（ステップＳ４２；Ｎｒ）にはＲの濃淡画像Ａｒを選択し（ステップＳ４３）、最も多い交差回数が交差回数Ｎｇである場合（ステップＳ４２；Ｎｇ）にはＧの濃淡画像Ａｇを選択し（ステップＳ４４）、最も多い交差回数が交差回数Ｎｂである場合（ステップＳ４２；Ｎｂ）にはＢの濃淡画像Ａｂを選択する（ステップＳ４５）。このようにして画像選択部１５は画像選択処理４を行う。
【００５９】
一般的に抽出されたエッジの数が多い場合には、ステレオマッチング処理を行うときに、基準画像Ａと参照画像Ｂとの間で対応点となる得る画素が多数存在している可能性が高く相関演算がし易い。従って上記のように交差回数Ｎｒ、Ｎｇ、Ｎｂの多い濃淡画像を選択すれば、交差回数が多いということは、つまり対応点となる得るエッジの数が多いということになるので、対応点の検出精度すなわち被写体精度を向上させることができて、精度の高い距離データを取得することができると共に、対応点となり得るエッジの頻度を反映した濃淡画像を選択することができる。
【００６０】
次に上記のようにして、図２に示す如く、画像選択部１５が１つの色の濃淡画像を選択すると（ステップＳ３）、距離算出部１６は画像選択部１５により選択された色の基準画像Ａの濃淡画像と対応する色の参照画像Ｂの濃淡画像とから上述のようにして被写体各部までの距離を算出する（ステップＳ４）。
【００６１】
そして距離算出部１６が距離を算出して距離データを取得すると（ステップＳ４）、次にデータ圧縮部１７が算出した距離データを圧縮し、メディア制御部１８が圧縮された距離データを記録メディア１９に記録して（ステップＳ５）、画像処理装置１による画像処理を終了する。
【００６２】
以上により、本実施形態の画像処理装置１によれば、入力された一対の画像データの基準画像Ａにおいて、画像データを構成するＲＧＢの色の濃淡画像Ａｒ、Ａｇ、Ａｂのうちから最も距離の算出に適する１つ色の濃淡画像を選択し、選択された色の濃淡画像とこの濃淡画像に対応する色の参照画像Ｂの濃淡画像とから前記距離を算出するので、最も距離の算出に適する１つの色の濃淡画像でのみ距離の算出を行うことにより精度の高い距離データを算出することができると共に距離の算出に要する時間を低減することができる。このとき距離の算出に要する時間を低減するためのみであれば、必ずしも距離の算出に最適な色の濃淡画像を選択する必要はない。
【００６３】
なお本実施形態では、画像選択部１５が基準画像Ａについてのみ輝度差の値Ｄｒ、Ｄｇ、Ｄｂ又は所定の輝度値を有する画素の数Ｆｒ、Ｆｇ、Ｆｂ、エッジに相当する画素数Ｅｒ、Ｅｇ、Ｅｂ、エッジの交差回数Ｎｒ、Ｎｇ、Ｎｂの算出を行ったが本発明はこれに限られるものではなく、参照画像Ｂについて前記算出を行ってもよいし、基準画像Ａと参照画像Ｂの両方について前記算出を行ってもよい。
【００６４】
また本実施形態ではカラー画像としてＲ、Ｇ、Ｂの３つの色の濃淡画像で構成された画像を使用したが、本発明はこれに限られるものではなく、例えば４つの色等、複数の色の濃淡画像で構成されたカラー画像にも適用することができる。
【００６５】
また本発明の画像処理装置は、被写体を２つの視点から撮像して得た、各々が複数の色の濃淡画像で構成された一対の画像データから前記被写体までの距離を算出して立体画像データを生成する画像処理装置において、
前記一対の画像データを入力する画像入力手段と、
入力された前記一対の画像データの少なくとも一方の画像データにおいて、該画像データを構成する前記複数の色の濃淡画像のうちからその一部である少なくとも１つの色の濃淡画像を選択する選択手段と、
該選択手段により選択された色の濃淡画像と該濃淡画像に対応する色の他方の画像データの濃淡画像とから前記距離を算出する距離算出手段とを備えてなることができる。
【００６６】
次に第二の実施形態の画像処理装置１−２について、以下図面を参照して詳細に説明する。図１１は第二の実施形態の画像処理装置１−２の機能構成を示すブロック図、図１２は画像処理装置１−２による一連の画像処理のフローチャート、図１３は領域分割部２２及び画像選択部１５−２による領域分割及び画像選択処理のフローチャートである。なお図１１は便宜上、上記実施形態の画像処理装置１の機能構成を示すブロック図である図１と同様の箇所は同符号で示して説明を省略し、異なる箇所のみ詳細に説明する。
【００６７】
本実施形態の画像処理装置１−２は、図１１に示す如く、画像分割部（画像分割手段）２２を備えている点が上記実施形態の画像処理装置１とは異なっている。画像分割部２２は、基準画像Ａを構成するＲ、Ｇ、Ｂの色の濃淡画像Ａｒ、Ａｇ、Ａｂを複数の所定領域に分割するものである。
【００６８】
また本実施形態の画像選択部１５−２は、領域分割部２２により分割された所定領域毎に、Ｒ、Ｇ、Ｂの色の濃淡画像Ａｒ、Ａｇ、Ａｂから最も距離算出に適する１つの色の濃淡画像を選択するものである。
【００６９】
本実施形態の画像処理装置１−２は上記のように構成されている。次に画像処理装置１−２による画像処理について説明する。図１２は画像処理装置１−２による一連の画像処理のフローチャート、図１３は領域分割部２２及び画像選択部１５−２による画像分割及び画像選択処理のフローチャート、図１４は領域分割部２２及び画像選択部１５−２による画像分割及び画像選択方法の一例である。
【００７０】
本実施形態の画像処理装置１−２は、図１２に示す如く、画像入力部１０が一対の画像データすなわち基準画像Ａと参照画像Ｂを入力し（ステップＳ５１）、読込部１４が基準画像Ａを構成するＲの濃淡画像Ａｒ、Ｇの濃淡画像Ａｇ、Ｂの濃淡画像Ａｂ及び画像データＢを構成するＲの濃淡画像Ｂｒ、Ｇの濃淡画像Ｂｇ、Ｂの濃淡画像Ｂｂをそれぞれ読み込んで、輝度値等の画素値を読み出す（ステップＳ５２）。
【００７１】
次に領域分割部２２が、エッジを有する画素を含む領域毎に所定領域の分割処理を行い、画像選択部１５−２が各々の所定領域内でエッジが抽出された色の濃淡画像を選択する画像選択処理を行う（ステップＳ５３）。
【００７２】
領域分割及び画像選択処理１は、図１３Ａに示す如く、まず基準画像Ａを構成するＲ、Ｇ、Ｂの色の濃淡画像Ａｒ、Ａｇ、Ａｂの各々においてエッジの抽出を行い（ステップＳ６０）、ｆとｍに０を代入して初期化を行う（ステップＳ６１）。そして画像分割部２２が、例えば濃淡画像Ａｒ、Ａｇ、Ａｂの順に各画素列について水平方向に１画素ずつ、エッジがあるか否かの判別を行う。すなわち図１３Ａに示す如く、まずＲ濃淡画像Ａｒにエッジがあるか否かに判別を行い（ステップＳ６２）、エッジがある場合（ステップＳ６２；ＹＥＳ）には、その画素の番号ｎを記憶する（ステップＳ６３）。
【００７３】
そしてｍが０であるか否かを判別し（ステップＳ６４）、０である場合（ステップＳ６４；ＹＥＳ）には、画像選択部１５−２が１からｎ画素番号までの領域についてＲ濃淡画像Ａｒを選択して（ステップＳ６５）、ｆにｒを代入し（ステップＳ６６）、ｍにｎを代入する（ステップＳ６７）。
【００７４】
次にｎ画素番号の画素が水平方向において端の画素であるか否かを判別し（ステップＳ６８）、端の画素でない場合（ステップＳ６８；ＮＯ）には、水平方向に１画素移動して（ステップＳ６９）、ステップＳ６２へ処理を移行する。一方、ステップＳ６８にて端の画素である場合（ステップＳ６８；ＹＥＳ）には、図１３Ｄに示す如く、ステップＳ９８へ処理を移行して以降の処理を行う。
【００７５】
またステップＳ６４にてｍが０でない場合（ステップＳ６４；ＮＯ）には、ｆを判別し（ステップＳ７０），ｆがｒである場合（ステップＳ７０；ｒ）には、画像選択部１５−２が（ｎ−ｍ）／２の画素番号までの領域についてＲ濃淡画像Ａｒを選択し（ステップＳ７１）、ｆがｇである場合（ステップＳ７０；ｇ）には、画像選択部１５−２が（ｎ−ｍ）／２の画素番号までの領域についてＧ濃淡画像Ａｇを選択し（ステップＳ７２）、ｆがｂである場合（ステップＳ７０；ｂ）には、画像選択部１５−２が（ｎ−ｍ）／２の画素番号までの領域についてＢ濃淡画像Ａｂを選択して（ステップＳ７３）、ステップＳ６６へ処理を移行する。このとき（ｎ−ｍ）／２の少数点以下の数は繰り上げるか、または繰り下げることによって整数の値とする。
【００７６】
一方、ステップＳ６２にて、Ｒ濃淡画像Ａｒにエッジがない場合（ステップＳ６２；ＮＯ）には、図１３Ｂに示す如く、Ｇ濃淡画像Ａｇにエッジがあるか否かの判別を行う（ステップＳ７４）。そしてエッジがある場合（ステップＳ７４；ＹＥＳ）には、その画素の番号ｎを記憶する（ステップＳ７５）。
【００７７】
そしてｍが０であるか否かを判別し（ステップＳ７６）、０である場合（ステップＳ７６；ＹＥＳ）には、画像選択部１５−２が１からｎ画素番号までの領域についてＧ濃淡画像Ａｇを選択し（ステップＳ７７）、ｆにｇを代入する（ステップＳ７８）。なお図１３
ＢのステップＳ７９〜ステップＳ８１の処理は、図１３ＡのステップＳ６７〜ステップＳ６９の処理と、図１３ＢのステップＳ８２〜ステップＳ８５の処理は、図１３ＡのステップＳ７０〜ステップＳ７３と、それぞれ同様であるため説明は省略する。
【００７８】
そして画像選択部１５−２が図１３ＢのステップＳ８３〜ステップＳ８５にて濃淡画像を選択すると、ステップＳ７８へ処理を移行する。
【００７９】
一方、ステップＳ７４にて、Ｇ濃淡画像Ａｇにエッジがない場合（ステップＳ７４；ＮＯ）には、図１３Ｃに示す如く、Ｂ濃淡画像Ａｂにエッジがあるか否かの判別を行う（ステップＳ８６）。そしてエッジがある場合（ステップＳ８６；ＹＥＳ）には、その画素の番号ｎを記憶する（ステップＳ８７）。
【００８０】
そしてｍが０であるか否かを判別し（ステップＳ８８）、０である場合（ステップＳ８８；ＹＥＳ）には、画像選択部１５−２が１からｎ画素番号までの領域についてＢ濃淡画像Ａｂを選択し（ステップＳ８９）、ｆにｂを代入する（ステップＳ９０）。なお図１３
ＣのステップＳ９１〜とステップＳ９３の処理は、図１３ＡのステップＳ６７〜ステップＳ６９の処理と、図１３ＣのステップＳ９４〜ステップＳ９７の処理は、図１３ＡのステップＳ７０〜ステップＳ７３と、それぞれ同様であるため説明は省略する。
【００８１】
そして画像選択部１５−２が図１３ＣのステップＳ９５〜ステップＳ９７にて濃淡画像を選択すると、ステップＳ９０へ処理を移行する。
【００８２】
次にステップＳ６８、ステップＳ８０、ステップＳ９２にて、水平方向に端の画素であると判別した場合（ステップＳ６８、ステップＳ８０、ステップＳ９２；ＹＥＳ）には、図１３Ｄに示す如く、ステップＳ９８へ処理を移行して、ｆを判別し（ステップＳ９８），ｆがｒである場合（ステップＳ９８；ｒ）には、画像選択部１５−２がｎ画素番号までの領域についてＲ濃淡画像Ａｒを選択し（ステップＳ９９）、ｆがｇである場合（ステップＳ９８；ｇ）には、画像選択部１５−２がｎ画素番号までの領域についてＧ濃淡画像Ａｇを選択し（ステップＳ１００）、ｆがｂである場合（ステップＳ９８；ｂ）には、画像選択部１５−２がｎ画素番号までの領域についてＢ濃淡画像Ａｂを選択して（ステップＳ１０１）、ステップＳ１０２へ処理を移行する。このとき（ｎ−ｍ）／２の少数点以下の数は繰り上げるか、または繰り下げることによって整数の値とする。
【００８３】
そしてステップＳ１０２にて、垂直方向の端の画素であるか否かを判別し（ステップＳ１０２）、端の画素でない場合（ステップＳ１０２；ＮＯ）には、垂直方向に１画素移動して（ステップＳ１０３）、図１３ＡのステップＳ６１へ処理を移行して以降の処理を繰り返す。一方、端の画素である場合（ステップＳ１０２；ＹＥＳ）、領域分割及び画像選択処理１を終了して、図１２のステップＳ５４へ処理を移行する。
【００８４】
つまり図１４に示す如く、例えば濃淡画像中、一点鎖線で示す画素列を例にすると、水平方向に一画素ずつ各濃淡画像Ａｒ、Ａｇ、Ａｂでエッジがあるか否かを判別したときに、まずＲ濃淡画像ＡｒのＡ画素番号にてエッジが検出されるので、１画素番号〜Ａ画素番号の領域は濃淡画像Ａｒが選択される。次にＧ濃淡画像ＡｇのＢ画素番号にてエッジが検出されるので、Ｂ画素番号と、Ｂ画素番号のひとつ前に検出されたエッジすなわちＡ画素番号との中間点である（Ｂ−Ａ）／２画素番号の左側又は右側が領域の境界となり、この境界までの領域は濃淡画像Ａｒが選択される。
【００８５】
次に同様にして（Ｄ−Ｃ）／２画素番号の左側又は右側の境界までの領域で濃淡画像Ａｇが選択され、水平方向の端の画素になったときには、残りの領域で濃淡画像Ａｂが選択される。そして、上記の処理をすべての画素列において行う。
【００８６】
一般的にエッジの付近は、対応点が検出し易く、対応点の検出精度すなわち被写体精度を向上できる可能性が高い。従って上記のように抽出されたエッジを有する画素を含む領域毎に、エッジが抽出された色の濃淡画像を選択することにより、撮像された被写体に応じて分割された領域毎に選択する色の濃淡画像を変えることができるので、選択精度の高い距離データを取得することが可能となる。
【００８７】
次に領域分割部２２及び画像選択部１５−２による第二の領域分割及び画像選択処理２について説明する。図１５は第二の領域分割及び画像選択処理２のフローチャートである。なお図１５は、便宜上、図１３のフローチャートと同様の処理は同じステップ番号で示して説明を省略し、異なる箇所についてのみ詳細に説明する。
【００８８】
領域分割部２２及び画像選択部１５−２は、上記実施形態の領域分割及び画像選択処理１とは異なり、図１５Ａに示す如く、まず基準画像Ａを構成するＲ、Ｇ、Ｂの色の濃淡画像Ａｒ、Ａｇ、Ａｂの各々において予め例えば１０毎等の所定間隔で定められた所定の輝度値Ｃ（例えばＬ１０、Ｌ２０、Ｌ３０・・・）を有する画素を検出し（ステップＳ６０’）、次にｆ、ｍ、ａ、ｐ、ｅにそれぞれ０を代入して初期化を行って（ステップＳ６１’）、画像分割部２２が、例えば濃淡画像Ａｒ、Ａｇ、Ａｂの順に各画素列について水平方向に１画素ずつ、所定の輝度値Ｃがあるか否かの判別を行う。すなわち図１５Ａに示す如く、まずＲ濃淡画像Ａｒに所定の輝度値Ｃがあるか否かに判別を行う（ステップＳ６２’）。
【００８９】
そして所定の輝度値Ｃがある場合（ステップＳ６２’；ＹＥＳ）には、ａ＝ｃであるか否かの判別を行い（ステップＳ１６３）、ａ＝ｃではない場合（ステップＳ１６３；ＮＯ）には、ステップＳ６３へ処理を移行して図１３Ａと同様にステップＳ６３〜ステップＳ６７の処理を行った後でａにｃを代入し（ステップＳ１６８）、ステップＳ６８へ処理を移行する。
【００９０】
一方、ステップＳ１６３にてａ＝ｃである場合（ステップＳ１６３；ＹＥＳ）及びステップＳ６２’にて所定の輝度値Ｃがない場合（ステップＳ６２’；ＮＯ）には、図１５Ｂに示す如く、Ｇ濃淡画像Ａｇに所定の輝度値Ｃがあるか否かの判別を行う（ステップＳ７４’）。
【００９１】
そして所定の輝度値Ｃがある場合（ステップＳ７４’；ＹＥＳ）には、ｐ＝ｃであるか否かの判別を行い（ステップＳ１７５）、ｐ＝ｃではない場合（ステップＳ１７５；ＮＯ）には、ステップＳ７５へ処理を移行して図１３Ｂと同様にステップＳ７５〜ステップＳ７９の処理を行った後でｐにｃを代入し（ステップＳ１８０）、ステップＳ８０へ処理を移行する。
【００９２】
一方、ステップＳ１７５にてｐ＝ｃである場合（ステップＳ１７５；ＹＥＳ）及びステップＳ７４’にて所定の輝度値Ｃがない場合（ステップＳ７４’；ＮＯ）には、図１５Ｃに示す如く、Ｂ濃淡画像Ａｂに所定の輝度値Ｃがあるか否かの判別を行う（ステップＳ８６’）。
【００９３】
そして所定の輝度値Ｃがある場合（ステップＳ８６’；ＹＥＳ）には、ｅ＝ｃであるか否かの判別を行い（ステップＳ１８７）、ｅ＝ｃではない場合（ステップＳ１８７；ＮＯ）には、ステップＳ８７へ処理を移行して図１３Ｃと同様にステップＳ８７〜ステップＳ９１の処理を行った後でｅにｃを代入し（ステップＳ１９２）、ステップＳ９２へ処理を移行する。
【００９４】
一方、ステップＳ１８７にてｅ＝ｃである場合（ステップＳ１８７；ＹＥＳ）及びステップＳ８６’にて所定の輝度値Ｃがない場合（ステップＳ８６’；ＮＯ）には、図１５Ｃに示す如く、ステップＳ９２へ処理を移行する。
【００９５】
そして次にステップＳ６８、ステップＳ８０、ステップＳ９２にて、水平方向に端の画素であると判別した場合（ステップＳ６８、ステップＳ８０、ステップＳ９２；ＹＥＳ）には、ｍが０であるか否かを判別し（ステップＳ１９８）、ｍが０である場合（ステップＳ１９８；ＹＥＳ）には水平方向の全画素でＧ濃淡画像Ａｇを選択して（ステップＳ１９９）、ステップＳ１０２へ処理を移行する。このとき水平方向の全画素でＲ濃淡画像Ａｒを選択しても良いし、Ｂ濃淡画像Ａｂを選択しても良い。
【００９６】
またステップＳ１９８にてｍが０でない場合（ステップＳ１９８；ＮＯ）には、ステップＳ９８へ処理を移行して、図１３Ｄと同様にステップＳ９８〜ステップＳ１０３の処理を行う。第二の領域分割及び画像選択処理２は上記のようにして行う。
【００９７】
一般的に、輝度値の起伏が頻繁な濃淡画像は、輝度値の起伏が乏しい濃淡画像に比べて、距離の算出に必要な特徴がある可能性が高い。つまり距離の算出に使用する、例えばエッジや大きな輝度の勾配を持つ領域等の対応点は、輝度値の起伏がある点なので、輝度値の起伏が頻繁な濃淡画像の方が検出可能な対応点の多い輝度分布を備えている可能性が高い。従って上記のように輝度値の起伏の頻繁な濃淡画像を領域毎に選択することにより、対応点の検出精度すなわち被写体精度を向上させることができるので、精度の高い距離データを取得することが可能となる。
【００９８】
次に上述のようにして、図１２に示す如く、領域分割部２２が分割した所定領域毎に画像選択部１５−２が１つの色の濃淡画像を選択すると（ステップＳ５３）、距離算出部１６は所定領域毎に画像選択部１５により選択された色の基準画像Ａの濃淡画像と対応する色の参照画像Ｂの濃淡画像とから上述のようにして被写体各部までの距離を算出する（ステップＳ５４）。
【００９９】
そして距離算出部１６が距離を算出して距離データを取得すると（ステップＳ５４）、次にデータ圧縮部１７が算出した距離データを圧縮し、メディア制御部１８が圧縮された距離データを記録メディア１９に記録して（ステップＳ５５）、画像処理装置１−２による画像処理を終了する。
【０１００】
以上により、本実施形態の画像処理装置１−２によれば、入力された一対の画像データの基準画像Ａにおいて、画像データを構成するＲＧＢの色の濃淡画像Ａｒ、Ａｇ、Ａｂを複数の所定領域に分割し、分割された所定領域毎に、ＲＧＢの色のうちから最も距離の算出に適する１つ色の濃淡画像を選択し、選択された色の濃淡画像とこの濃淡画像に対応する色の参照画像Ｂの濃淡画像とから前記距離を算出するので、所定領域毎に最も距離の算出に適する１つの色の濃淡画像でのみ距離の算出を行うことにより精度の高い距離データを算出することができると共に距離の算出に要する時間を低減することができる。このとき距離の算出に要する時間を低減するためのみであれば、必ずしも距離の算出に最適な色の濃淡画像を選択する必要はない。
【０１０１】
なお本実施形態では、領域分割部２２が基準画像Ａについてのみ領域の分割を行い、画像選択部１５−２が分割された領域毎に濃淡画像の選択を行ったが本発明はこれに限られるものではなく、参照画像Ｂについて前記分割及び前記選択を行ってもよいし、基準画像Ａと参照画像Ｂの両方について前記分割及び前記選択を行ってもよい。
【０１０２】
また本実施形態ではカラー画像としてＲ、Ｇ、Ｂの３つの色の濃淡画像で構成された画像を使用したが、本発明はこれに限られるものではなく、例えば４つの色等、複数の色の濃淡画像で構成されたカラー画像にも適用することができる。
【０１０３】
また本発明の画像処理装置は、被写体を２つの視点から撮像して得た、各々が複数の色の濃淡画像で構成された一対の画像データから前記被写体までの距離を算出して立体画像データを生成する画像処理装置において、
前記一対の画像データを入力する画像入力手段と、
入力された前記一対の画像データの少なくとも一方の画像データにおいて、該画像データを構成する前記複数の色の濃淡画像を複数の所定領域に分割する領域分割手段と、
該領域分割手段により分割された前記所定領域毎に、前記複数の色の濃淡画像のうちからその一部である少なくとも１つの色の濃淡画像を選択する選択手段と、
前記選択手段により選択された色の濃淡画像と該濃淡画像に対応する色の他方の画像データの濃淡画像とから前記距離を算出する距離算出手段とを備えてなることができる。
【０１０４】
次に第三の実施形態の画像処理装置１−３について、以下図面を参照して詳細に説明する。図１６は第三の実施形態の画像処理装置１−３の機能構成を示すブロック図、図１７は画像処理装置１−３による一連の画像処理のフローチャートである。なお図１６は便宜上、第一の実施形態の画像処理装置１の機能構成を示すブロック図である図１と同様の箇所は同符号で示して説明を省略し、異なる箇所のみ詳細に説明する。
【０１０５】
本実施形態の画像処理装置１−３は、図１６に示す如く、距離算出部１６−３が第一の実施形態とは異なるものであり、距離算出部１６−３は読込部１４によって読み込まれた基準画像Ａと参照画像ＢとにおいてＲ、Ｇ、Ｂの３つの色の濃淡画像の全ての画素について被写体各部までの距離を算出するものである。なお本実施形態の距離算出部１６−３は全ての画素について前記距離を算出するものとしたが、画素間引きや、部分的な領域についてのみ前記距離を算出するものであってもよい。本実施形態の画像処理装置１−３は上記のように構成されている。次に画像処理装置１−３による画像処理について説明する。図１７は画像処理装置１−３による一連の画像処理のフローチャートである。
【０１０６】
本実施形態の画像処理装置１−３は、図１７に示す如く、画像入力部１０が一対の画像データすなわち基準画像Ａと参照画像Ｂを入力し（ステップＳ１１０）、読込部１４が基準画像Ａを構成するＲの濃淡画像Ａｒ、Ｇの濃淡画像Ａｇ、Ｂの濃淡画像Ａｂ及び画像データＢを構成するＲの濃淡画像Ｂｒ、Ｇの濃淡画像Ｂｇ、Ｂの濃淡画像Ｂｂをそれぞれ読み込んで、輝度値等の画素値を読み出す（ステップＳ１１１）。
【０１０７】
そして距離算出部１６−３が、入力された基準画像Ａと参照画像Ｂとをそれぞれ構成する一対のＲの濃淡画像Ａｒ、Ｂｒ、Ｇの濃淡画像Ａｇ、Ｂｇ、Ｂの濃淡画像Ａｂ、Ｂｂとから全ての画素について被写体各部までの距離を算出する（ステップＳ１１２）。
【０１０８】
次に画像選択部１５が、読込部１４によって読み込まれた基準画像Ａを構成するＲ、Ｇ、Ｂの濃淡画像Ａｒ、Ａｇ、Ａｂのうちから距離算出部１６−３による距離の算出に最も適する１つの色の濃淡画像を選択する画像選択処理を行う（ステップＳ１１３）。なお画像選択部１５による画像選択処理は、上述した第一の実施形態の画像処理装置１と同様の画像選択処理１、画像選択処理２、画像選択処理３、画像選択処理４を使用することができるため、説明は省略する。
【０１０９】
そして画像選択部１５により基準画像Ａを構成するＲ、Ｇ、Ｂの濃淡画像Ａｒ、Ａｇ、Ａｂのうちから１つの色の濃淡画像が選択されると（ステップＳ１１３）、選択された色の基準画像Ａ及び参照画像Ｂの濃淡画像から算出された距離のデータを、データ圧縮部１７が圧縮し、メディア制御部１８が圧縮された距離データを記録メディア１９に記録する（ステップＳ１１４）。このようにして画像処理装置１−３による画像処理は終了する。
【０１１０】
以上により本実施形態の画像処理装置１−３によれば、基準画像Ａと参照画像Ｂとを入力し、入力された基準画像Ａと参照画像Ｂの全ての画素について距離を算出し、入力された基準画像Ａにおいて、基準画像Ａを構成するＲ、Ｇ、Ｂの色の濃淡画像Ａｒ、Ａｇ、Ａｂのうちから最も距離の算出に適する１つの色の濃淡画像を選択し、選択された色の濃淡画像において算出された距離のデータを記録するので、最も距離の算出に適する１つの色の濃淡画像から算出された距離データが記録されることにより精度の高い距離データを取得することができる。
【０１１１】
なお本実施形態では、画像選択部１５が基準画像Ａについてのみ濃淡画像の選択を行ったが本発明はこれに限られるものではなく、参照画像Ｂについて前記選択を行ってもよいし、基準画像Ａと参照画像Ｂの両方について前記選択を行ってもよい。
【０１１２】
また本実施形態ではカラー画像としてＲ、Ｇ、Ｂの３つの色の濃淡画像で構成された画像を使用したが、本発明はこれに限られるものではなく、例えば４つの色等、複数の色の濃淡画像で構成されたカラー画像にも適用することができる。
【０１１３】
また本発明の画像処理装置は、被写体を２つの視点から撮像して得た、各々が複数の色の濃淡画像で構成された一対の画像データから前記被写体までの距離を算出して立体画像データを生成する画像処理装置において、
前記一対の画像データを入力する画像入力手段と、
入力された前記一対の画像データの複数の色の複数の画素について前記距離を算出する距離算出手段と、
入力された前記一対の画像データの少なくとも一方の画像データにおいて、該画像データを構成する前記複数の色の濃淡画像のうちからその一部である少なくとも１つの色の濃淡画像を選択する選択手段と、
該選択手段により選択された色の濃淡画像において前記距離算出手段が算出した前記距離のデータを記録する記録手段とを備えてなることができる。
【０１１４】
次に第四の実施形態の画像処理装置１−４について、以下図面を参照して詳細に説明する。図１８は第四の実施形態の画像処理装置１−４の機能構成を示すブロック図、図１９は画像処理装置１−４による一連の画像処理のフローチャートである。なお図１８は便宜上、第二の実施形態の画像処理装置１−２の機能構成を示すブロック図である図１８と同様の箇所は同符号で示して説明を省略し、異なる箇所のみ詳細に説明する。
【０１１５】
本実施形態の画像処理装置１−４は、図１８に示す如く、距離算出部１６−４が第二の実施形態とは異なるものであり、距離算出部１６−４は読込部１４によって読み込まれた基準画像Ａと参照画像ＢとにおいてＲ、Ｇ、Ｂの３つの色の濃淡画像の全ての画素について被写体各部までの距離を算出するものである。なお本実施形態の距離算出部１６−４は全ての画素について前記距離を算出するものとしたが、画素間引きや、部分的な領域についてのみ前記距離を算出するものであってもよい。本実施形態の画像処理装置１−４は上記のように構成されている。次に画像処理装置１−４による画像処理について説明する。図１７は画像処理装置１−３による一連の画像処理のフローチャートである。
【０１１６】
本実施形態の画像処理装置１−４は、図１９に示す如く、画像入力部１０が一対の画像データすなわち基準画像Ａと参照画像Ｂを入力し（ステップＳ１２０）、読込部１４が基準画像Ａを構成するＲの濃淡画像Ａｒ、Ｇの濃淡画像Ａｇ、Ｂの濃淡画像Ａｂ及び画像データＢを構成するＲの濃淡画像Ｂｒ、Ｇの濃淡画像Ｂｇ、Ｂの濃淡画像Ｂｂをそれぞれ読み込んで、輝度値等の画素値を読み出す（ステップＳ１２１）。
【０１１７】
そして距離算出部１６−４が、入力された基準画像Ａと参照画像Ｂとをそれぞれ構成する一対のＲの濃淡画像Ａｒ、Ｂｒ、Ｇの濃淡画像Ａｇ、Ｂｇ、Ｂの濃淡画像Ａｂ、Ｂｂとから全ての画素について被写体各部までの距離を算出する（ステップＳ１２２）。
【０１１８】
次に領域分割部２２が、読込部１４によって読み込まれた基準画像Ａを構成するＲ、Ｇ、Ｂの色の濃淡画像Ａｒ、Ａｇ、Ａｂを複数の所定領域に分割し、画像選択部１５−２が、分割された所定領域毎に、Ｒ、Ｇ、Ｂの色の濃淡画像Ａｒ、Ａｇ、Ａｂのうちから最も距離の算出に適する色の濃淡画像を選択する、領域分割及び画像選択処理を行う（ステップＳ１２３）。なお領域分割部２２と画像選択部１５−２による領域分割及び画像選択処理は、上述した第二の実施形態の画像処理装置１−２と同様の領域分割及び画像選択処理１又は領域分割及び画像選択処理２を使用することができるため、説明は省略する。
【０１１９】
そして画像選択部１５−２により所定領域毎に基準画像Ａを構成するＲ、Ｇ、Ｂの濃淡画像Ａｒ、Ａｇ、Ａｂのうちから１つの色の濃淡画像が選択されると（ステップＳ１２３）、選択された色の基準画像Ａ及び参照画像Ｂの濃淡画像から算出された距離のデータを、データ圧縮部１７が圧縮し、メディア制御部１８が圧縮された距離データを記録メディア１９に記録する（ステップＳ１２４）。このようにして画像処理装置１−４による画像処理は終了する。
【０１２０】
以上により本実施形態の画像処理装置１−４によれば、基準画像Ａと参照画像Ｂとを入力し、入力された基準画像Ａと参照画像Ｂの全ての画素について距離を算出し、入力された基準画像Ａにおいて、基準画像Ａを構成するＲ、Ｇ、Ｂの色の濃淡画像Ａｒ、Ａｇ、Ａｂを複数の所定領域に分割し、分割された所定領域毎に、Ｒ、Ｇ、Ｂの色の濃淡画像Ａｒ、Ａｇ、Ａｂのうちから最も距離の算出に適する１つの色の濃淡画像を選択し、選択された色の濃淡画像において算出された距離のデータを記録するので、所定領域毎に最も距離の算出に適する１つの色の画像データから算出された距離データが記録されることにより精度の高い距離データを取得することができる。
【０１２１】
なお本実施形態では、画像選択部１５−２が基準画像Ａについてのみ濃淡画像の選択を行ったが本発明はこれに限られるものではなく、参照画像Ｂについて前記選択を行ってもよいし、基準画像Ａと参照画像Ｂの両方について前記選択を行ってもよい。
【０１２２】
また本実施形態ではカラー画像としてＲ、Ｇ、Ｂの３つの色の濃淡画像で構成された画像を使用したが、本発明はこれに限られるものではなく、例えば４つの色等、複数の色の濃淡画像で構成されたカラー画像にも適用することができる。
【０１２３】
また本発明の画像処理装置は、被写体を２つの視点から撮像して得た、各々が複数の色の濃淡画像で構成された一対の画像データから前記被写体までの距離を算出して立体画像データを生成する画像処理装置において、
前記一対の画像データを入力する画像入力手段と、
入力された前記一対の画像データの複数の色の複数の画素について前記距離を算出する距離算出手段と、
入力された前記一対の画像データの少なくとも一方の画像データにおいて、該画像データを構成する前記複数の色の濃淡画像を複数の所定領域に分割する領域分割手段と、
該領域分割手段により分割された前記所定領域毎に、前記複数の色の濃淡画像のうちからその一部である少なくとも１つの色の濃淡画像を選択する選択手段と、
該選択手段により選択された色の濃淡画像において前記距離算出手段が算出した前記距離のデータを記録する記録手段とを備えてなることができる。
【０１２４】
次に、図２０及び図２１に上述した実施形態の画像入力部１０の構成を示すブロック図の一例をそれぞれ示す。上述した実施形態の画像入力部１０は、異なる視点から撮像された視差画像として少なくとも２つの画像データを入力するものであり、例えば１つのカメラが、順次視点を変えて撮像して得られた画像データを入力してもよい。
【０１２５】
また画像入力部１０として、図２０に示す如く、撮影レンズ等で構成される２つの光学系１０ａ−１、１０ａ−２と、ＣＣＤ等の撮像素子すなわちＲ用撮像素子１０ｂ−１ｒ、１０ｂ−２ｒと、Ｇ用撮像素子１０ｂ−１ｇ、１０ｂ−２ｇと、Ｂ用撮像素子１０ｂ−１ｂ、１０ｂ−２ｂと、Ｒ用Ａ／Ｄ変換部１０ｃ−１ｒ、１０ｃ−２ｒと、Ｇ用Ａ／Ｄ変換部１０ｃ−１ｇ、１０ｃ−２ｇと、Ｂ用Ａ／Ｄ変換部１０ｃ−１ｂ、１０ｃ−２ｂとを有し、異なる視点に位置する少なくとも２つの撮像系つまり２眼を備えた複眼カメラ１０を使用してもよい。この場合、撮像系は、２つの光学系を持ち、その各々の光軸に対応した複数の撮像素子を配置しそれらの出力信号を用いて信号処理を行い、最終的に１つの撮像出力信号を得る多板構成とする。このような複眼カメラでは略同時に撮像された視差画像を得ることができる。
【０１２６】
また画像入力部１０は、図２１に示す如く、上記と同様の光学系１０ａ−１と、Ｒ用撮像素子１０ｂ−１ｒと、Ｇ用撮像素子１０ｂ−１ｇと、Ｂ用撮像素子１０ｂ−１ｂと、Ｒ用Ａ／Ｄ変換部１０ｃ−１ｒと、Ｇ用Ａ／Ｄ変換部１０ｃ−１ｇと、Ｂ用Ａ／Ｄ変換部１０ｃ−１ｂとを備えてなるカメラ１０Ａ及び上記と同様の光学系１０ａ−２と、Ｒ用撮像素子１０ｂ−２ｒと、Ｇ用撮像素子１０ｂ−２ｇと、Ｂ用撮像素子１０ｂ−２ｂと、Ｒ用Ａ／Ｄ変換部１０ｃ−２ｒと、Ｇ用Ａ／Ｄ変換部１０ｃ−２ｇと、Ｂ用Ａ／Ｄ変換部１０ｃ−２ｂとを備えてなるカメラ１０Ｂの２つのカメラから構成されるものであってもよい。この場合カメラ１０Ａとカメラ１０Ｂは異なる視点から撮像可能な位置に配設される。なお２つ以上のカメラから構成されるものであってもよい。
【０１２７】
そして上記図２０及び図２１の画像入力部１０は、該画像処理入力部１０により得られた視差画像の画像データを、図２のステップＳ１又は図１２のステップＳ５１、図１７のステップＳ１１０、図１９のステップＳ１２０にて入力する。
【０１２８】
なお本発明の画像処理装置は、上述した実施形態の画像処理装置に限られるものではなく、本発明の趣旨を逸脱しない範囲において適宜設計変更可能である。
【図面の簡単な説明】
【０１２９】
【図１】第一の実施形態の画像処理装置の機能構成を示すブロック図
【図２】図１の画像処理装置による一連の画像処理のフローチャート
【図３】画像選択部による第一の画像選択処理のフローチャート
【図４Ａ】画像選択部による第二の画像選択処理のフローチャート
【図４Ｂ】カウント処理のフローチャート
【図５】濃淡画像の輝度分布及び画素のカウント方法の一例
【図６】濃淡画像の輝度分布及び画素のカウント方法の別の一例
【図７】画像選択部による第三の画像選択処理のフローチャート
【図８】カラー画像の一例
【図９】画像選択部による第四の画像選択処理のフローチャート
【図１０】エッジが抽出された濃淡画像においてエッジの交差回数のカウントの一例
【図１１】第二の実施形態の画像処理装置の機能構成を示すブロック図
【図１２】図１１の画像処理装置による一連の画像処理のフローチャート
【図１３Ａ】第一の画像分割及び画像選択処理のフローチャート（その１）
【図１３Ｂ】第一の画像分割及び画像選択処理のフローチャート（その２）
【図１３Ｃ】第一の画像分割及び画像選択処理のフローチャート（その３）
【図１３Ｄ】第一の画像分割及び画像選択処理のフローチャート（その４）
【図１４】領域分割部及び画像選択部による画像分割及び画像選択方法の一例
【図１５Ａ】第二の画像分割及び画像選択処理のフローチャート（その１）
【図１５Ｂ】第二の画像分割及び画像選択処理のフローチャート（その２）
【図１５Ｃ】第二の画像分割及び画像選択処理のフローチャート（その３）
【図１５Ｄ】第二の画像分割及び画像選択処理のフローチャート（その４）
【図１６】第三の実施形態の画像処理装置の機能構成を示すブロック図
【図１７】図１６の画像処理装置による一連の画像処理のフローチャート
【図１８】第四の実施形態の画像処理装置の機能構成を示すブロック図
【図１９】図１８の画像処理装置による一連の画像処理のフローチャート
【図２０】画像入力部の構成を示すブロック図の一例
【図２１】画像入力部の構成を示すブロック図の別の一例
【符号の説明】
【０１３０】
１、１−２、１−３、１−４ 画像処理装置
１０ 画像入力部（画像入力手段）
１０Ａ、１０Ｂ カメラ
１０ａ−１、１０ａ−２ 光学系
１５、１５−２ 画像選択部（画像選択手段）
１６、１６−３、１６−４ 距離算出部（距離算出手段）
１９ 記録メディア（記録手段）
２２ 領域分割部（領域分割手段）
【特許請求の範囲】
【請求項１】
被写体を２つの視点から撮像して得た、各々が複数の色の濃淡画像で構成された一対の画像データから前記被写体までの距離を算出して立体画像データを生成する画像処理装置において、
前記一対の画像データを入力する画像入力手段と、
入力された前記一対の画像データの複数の色の複数の画素について前記距離を算出する距離算出手段と、
入力された前記一対の画像データの少なくとも一方の画像データにおいて、該画像データを構成する前記複数の色の濃淡画像を複数の所定領域に分割する領域分割手段と、
該領域分割手段により分割された前記所定領域毎に、前記複数の色の濃淡画像のうちから最も前記距離算出に適する１つの色の濃淡画像を選択する選択手段と、
該選択手段により選択された色の濃淡画像において前記距離算出手段が算出した前記距離のデータを記録する記録手段とを備えてなることを特徴とする画像処理装置。
【請求項２】
前記領域分割手段が、前記複数の色の濃淡画像においてそれぞれエッジを抽出し、該抽出されたエッジを有する画素を含む領域毎に前記所定領域を分割するものであり、
前記選択手段が、各々の前記所定領域内で前記エッジが抽出された色の濃淡画像を選択するものであることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記領域分割手段が、前記複数の色の濃淡画像においてそれぞれ予め所定間隔で定められた輝度値を有する画素を検出し、該検出された画素を含む領域毎に前記所定領域を分割するものであり、
前記選択手段が、各々の前記所定領域内で前記画素が検出された色の濃淡画像を選択するものであることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記画像入力手段が、２つのカメラからなるものであることを特徴とする請求項１〜３いずれか１項に記載の画像処理装置。
【請求項５】
前記画像入力手段が、２つの光学系を備えた複眼カメラであることを特徴とする請求項１〜３いずれか１項に記載の画像処理装置。
【請求項６】
前記複眼カメラが、多板構成からなる撮像系を備えたものであることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
被写体を２つの視点から撮像して得た、各々が複数の色の濃淡画像で構成された一対の画像データから前記被写体までの距離を算出して立体画像データを生成する画像処理方法において、
前記一対の画像データを入力し、
該入力された前記一対の画像データの複数の色の複数の画素について前記距離を算出し、
前記入力された前記一対の画像データの少なくとも一方の画像データにおいて、該画像データを構成する前記複数の色の濃淡画像を複数の所定領域に分割し、
該分割された前記所定領域毎に、前記複数の色の濃淡画像のうちから最も前記距離算出に適する１つの色の濃淡画像を選択し、
該選択された色の濃淡画像において算出された前記距離のデータを記録することを特徴とする画像処理方法。
【請求項８】
コンピュータに、被写体を２つの視点から撮像して得た、各々が複数の色の濃淡画像で構成された一対の画像データから前記被写体までの距離を算出して立体画像データを生成することを実行させるための画像処理プログラムにおいて、
前記一対の画像データを入力し、
該入力された前記一対の画像データの複数の色の複数の画素について前記距離を算出し、
前記入力された前記一対の画像データの少なくとも一方の画像データにおいて、該画像データを構成する前記複数の色の濃淡画像を複数の所定領域に分割し、
該分割された前記所定領域毎に、前記複数の色の濃淡画像のうちから最も前記距離算出に適する１つの色の濃淡画像を選択し、
該選択された色の濃淡画像において算出された前記距離のデータを記録することを実行させるための画像処理プログラム。
【請求項１】
被写体を２つの視点から撮像して得た、各々が複数の色の濃淡画像で構成された一対の画像データから前記被写体までの距離を算出して立体画像データを生成する画像処理装置において、
前記一対の画像データを入力する画像入力手段と、
入力された前記一対の画像データの複数の色の複数の画素について前記距離を算出する距離算出手段と、
入力された前記一対の画像データの少なくとも一方の画像データにおいて、該画像データを構成する前記複数の色の濃淡画像を複数の所定領域に分割する領域分割手段と、
該領域分割手段により分割された前記所定領域毎に、前記複数の色の濃淡画像のうちから最も前記距離算出に適する１つの色の濃淡画像を選択する選択手段と、
該選択手段により選択された色の濃淡画像において前記距離算出手段が算出した前記距離のデータを記録する記録手段とを備えてなることを特徴とする画像処理装置。
【請求項２】
前記領域分割手段が、前記複数の色の濃淡画像においてそれぞれエッジを抽出し、該抽出されたエッジを有する画素を含む領域毎に前記所定領域を分割するものであり、
前記選択手段が、各々の前記所定領域内で前記エッジが抽出された色の濃淡画像を選択するものであることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記領域分割手段が、前記複数の色の濃淡画像においてそれぞれ予め所定間隔で定められた輝度値を有する画素を検出し、該検出された画素を含む領域毎に前記所定領域を分割するものであり、
前記選択手段が、各々の前記所定領域内で前記画素が検出された色の濃淡画像を選択するものであることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記画像入力手段が、２つのカメラからなるものであることを特徴とする請求項１〜３いずれか１項に記載の画像処理装置。
【請求項５】
前記画像入力手段が、２つの光学系を備えた複眼カメラであることを特徴とする請求項１〜３いずれか１項に記載の画像処理装置。
【請求項６】
前記複眼カメラが、多板構成からなる撮像系を備えたものであることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
被写体を２つの視点から撮像して得た、各々が複数の色の濃淡画像で構成された一対の画像データから前記被写体までの距離を算出して立体画像データを生成する画像処理方法において、
前記一対の画像データを入力し、
該入力された前記一対の画像データの複数の色の複数の画素について前記距離を算出し、
前記入力された前記一対の画像データの少なくとも一方の画像データにおいて、該画像データを構成する前記複数の色の濃淡画像を複数の所定領域に分割し、
該分割された前記所定領域毎に、前記複数の色の濃淡画像のうちから最も前記距離算出に適する１つの色の濃淡画像を選択し、
該選択された色の濃淡画像において算出された前記距離のデータを記録することを特徴とする画像処理方法。
【請求項８】
コンピュータに、被写体を２つの視点から撮像して得た、各々が複数の色の濃淡画像で構成された一対の画像データから前記被写体までの距離を算出して立体画像データを生成することを実行させるための画像処理プログラムにおいて、
前記一対の画像データを入力し、
該入力された前記一対の画像データの複数の色の複数の画素について前記距離を算出し、
前記入力された前記一対の画像データの少なくとも一方の画像データにおいて、該画像データを構成する前記複数の色の濃淡画像を複数の所定領域に分割し、
該分割された前記所定領域毎に、前記複数の色の濃淡画像のうちから最も前記距離算出に適する１つの色の濃淡画像を選択し、
該選択された色の濃淡画像において算出された前記距離のデータを記録することを実行させるための画像処理プログラム。
【図１】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３Ａ】
【図１３Ｂ】
【図１３Ｃ】
【図１３Ｄ】
【図１４】
【図１５Ａ】
【図１５Ｂ】
【図１５Ｃ】
【図１５Ｄ】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３Ａ】
【図１３Ｂ】
【図１３Ｃ】
【図１３Ｄ】
【図１４】
【図１５Ａ】
【図１５Ｂ】
【図１５Ｃ】
【図１５Ｄ】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２００９−２３８０７７（Ｐ２００９−２３８０７７Ａ）
【公開日】平成２１年１０月１５日（２００９．１０．１５）
【国際特許分類】
【出願番号】特願２００８−８５４４９（Ｐ２００８−８５４４９）
【出願日】平成２０年３月２８日（２００８．３．２８）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２１年１０月１５日（２００９．１０．１５）
【国際特許分類】
【出願日】平成２０年３月２８日（２００８．３．２８）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]