画像処理方法及び画像処理装置
【課題】 距離情報も用いて画像中の物体を高精度に分離することができる画像処理方法及び画像処理装置を提供することを課題とする。
【解決手段】 撮像画像中の物体を分離する画像処理方法であって、視点の異なる複数の撮像画像を取得する撮像ステップと、撮像画像を領域に過分割する過分割ステップと、複数の撮像画像に基づいて撮像画像中の物体までの奥行き距離を求める奥行き距離処理ステップと、各奥行き距離に対する信頼度を求める信頼度処理ステップと、全ての過分割領域から信頼度の高い過分割領域を抽出する抽出ステップと、抽出した過分割領域における隣接する過分割領域間の奥行き距離の変化を求め、当該奥行き距離の変化に基づいて隣接する過分割領域間の結合度を求める結合度処理ステップと、結合度に基づいて抽出した過分割領域における隣接する過分割領域間を結合又は分離することによって物体を分離する分離ステップとを含むことを特徴とする。
【解決手段】 撮像画像中の物体を分離する画像処理方法であって、視点の異なる複数の撮像画像を取得する撮像ステップと、撮像画像を領域に過分割する過分割ステップと、複数の撮像画像に基づいて撮像画像中の物体までの奥行き距離を求める奥行き距離処理ステップと、各奥行き距離に対する信頼度を求める信頼度処理ステップと、全ての過分割領域から信頼度の高い過分割領域を抽出する抽出ステップと、抽出した過分割領域における隣接する過分割領域間の奥行き距離の変化を求め、当該奥行き距離の変化に基づいて隣接する過分割領域間の結合度を求める結合度処理ステップと、結合度に基づいて抽出した過分割領域における隣接する過分割領域間を結合又は分離することによって物体を分離する分離ステップとを含むことを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像中の複数の物体を個々に分離するために領域分割を行う画像処理方法及び画像処理装置に関する。
【背景技術】
【０００２】
撮像画像中の複数の物体をそれぞれ分離するための画像処理方法が各種開発されている。この処理方法として、撮像画像からエッジ情報、色情報、テクスチャ情報などを取得し、これらの情報を利用して類似している領域毎に分割することによって物体を分離する方法がある（特許文献１、特許文献２参照）。しかし、同じ物体でも、表面の模様や色あるいは影などによって、エッジ情報、色情報、テクスチャ情報などが異なる。このような場合、同じ物体でも別々の領域に分割され、正確に個々の物体に分離することができない。そこで、画像処理方法には、エッジ情報、色情報、テクスチャ情報などの情報に加えて奥行き方向の距離の情報を用いて、領域を分割する方法もある。
【特許文献１】特開２００３−８７５４５号公報
【特許文献２】特開２００４−１７８２７３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
距離情報を用いて領域分割を行う方法では、正確な距離情報が得られることが前提となっており、正確な距離情報が得られた場合に高精度な領域分割を行うことができる。特に、領域分割に重要となる物体と物体の境界においては、正確な距離情報が必要となる。しかしながら、実際に得られる距離情報にはノイズが含まれている場合があり、正確な距離情報が得られないことがある。このような場合、物体と物体との境界に相当する領域間を正確に分割することができないので、個々の物体を正確に分離することができない。
【０００４】
そこで、本発明は、距離情報も用いて画像中の物体を高精度に分離することができる画像処理方法及び画像処理装置を提供することを課題とする。
【課題を解決するための手段】
【０００５】
本発明に係る画像処理方法は、撮像画像中の物体を分離する画像処理方法であって、視点の異なる複数の撮像画像を取得する撮像ステップと、撮像画像を領域に過分割する過分割ステップと、複数の撮像画像に基づいて撮像画像中の物体までの奥行き距離を求める奥行き距離処理ステップと、奥行き距離処理ステップで求めた各奥行き距離に対する信頼度を求める信頼度処理ステップと、過分割ステップで過分割した過分割領域から信頼度処理ステップで求めた信頼度の高い過分割領域を抽出する抽出ステップと、抽出ステップで抽出した過分割領域における隣接する過分割領域間の奥行き距離の変化を求め、当該奥行き距離の変化に基づいて隣接する過分割領域間の結合度を求める結合度処理ステップと、結合度処理ステップで求めた結合度に基づいて抽出ステップで抽出した過分割領域における隣接する過分割領域間を結合又は分離することによって物体を分離する分離ステップとを含むことを特徴とする。
【０００６】
この画像処理方法では、撮像ステップで視点の異なる複数の撮像画像を取得する。そして、画像処理方法では、過分割ステップで撮像画像を各領域に過分割する。領域分割においては、例えば、撮像画像からエッジ情報、色情報、テクスチャ情報などを取得し、これらの情報を利用して類似している領域に分割する。この領域分割によって１つの物体でも複数の領域に分割されるので、過分割と呼んでいる。また、画像処理方法では、距離処理ステップで視点の異なる複数の撮像画像に基づいて物体までの奥行き距離をそれぞれ求める。この際、画像処理方法では、信頼度処理ステップで各奥行き距離についての信頼度（つまり、求められた奥行き距離の精度）を求める。視点の異なる撮像画像から奥行き距離を求める場合、床や壁などの均一な領域では撮像画像間で対応を取り難くなるので、奥行き距離の精度が低下し、一方、物体（特に、均一でない物体）が存在する領域では撮像画像間で対応を取り易くなるので、奥行き距離の精度が向上する。そこで、画像処理方法では、抽出ステップで全ての過分割領域から信頼度の高い過分割領域だけを抽出する。つまり、全領域から、情報としての信頼性が高く、分離対象である物体が存在する可能性の高い領域を抜き出す。そして、画像処理方法では、結合度処理ステップで抽出した過分割領域における隣接する過分割領域間の奥行き距離の変化を求め、この奥行き距離の変化に基づいてその隣接する過分割領域間の結合度（つまり、その隣接する過分割領域間を同じ物体の領域として結合してもよいか否かの尺度であり、異なる物体の境界として分離してもよいか否かの尺度でもある）を求める。例えば、奥行き距離の変化から過分割領域間が段差状、フラット状あるいは凸状などになっているかが判るので、そのような過分割領域間の状態に応じて結合度を求める。さらに、画像処理方法では、分離ステップで結合度に基づいて各過分割領域を結合又は分離し（つまり、同じ物体の領域とみなしてよい過分割領域間を結合し、異なる物体の境界とみなしてよい過分割領域間を分離し）、この結合又は分隣した過分割領域によって個々の物体に分離する。このように、この画像処理方法では、過分割領域間の奥行き距離の変化に基づいて結合度を定義し、結合度に応じてその隣接する過分割領域が同じ物体の領域か否かを判断することにより、物体毎に過分割領域を正確に結合できるとともに異なる物体間を正確に分離でき、高精度に個々の物体に分離することができる。また、この画像処理方法では、奥行き距離の信頼度の低い過分割領域を物体分離する対象から予め排除することにより、処理負荷を軽減することができるとともに物体分離の精度を向上させることができる。
【０００７】
本発明の上記画像処理方法では、抽出ステップは、過分割領域毎に信頼度の平均値を求めるステップと、信頼度の平均値が所定値以上の過分割領域を抽出するステップとを含む構成としてもよい。
【０００８】
この画像処理方法の抽出ステップでは、過分割領域における各奥行き距離に対する信頼度の平均値を求め、この信頼度の平均値が所定値以上の過分割領域を抽出する。このように、この画像処理方法では、信頼度を平均化することにより、ノイズの影響などを受けることなく、過分割領域全体としての信頼度によって物体分離に用いる領域を安定して抽出することができる。
【０００９】
本発明の上記画像処理方法では、結合度処理ステップは、隣接する過分割領域間の境界をまたぐように複数の参照点を設定するステップと、各参照点の奥行き距離と隣接する過分割領域間における位置に基づいて、設定した複数の参照点に非線形関数を当てはめるステップと、当てはめた非線形関数の中から当てはめ誤差が小さい非線形関数を選択するステップと、隣接する過分割領域間の境界における選択した非線形関数の曲率を算出するステップと、非線形関数の曲率に基づいて隣接する過分割領域間の結合度を算出するステップとを含む構成としてもよい。
【００１０】
この画像処理方法の結合度処理ステップでは、隣接する過分割領域間の境界をまたぐように複数の参照点を設定する。そして、結合度処理ステップでは、各参照点の奥行き距離と過分割領域間における位置に基づいて、参照点群に対して数種類の非線形関数をそれぞれ当てはめる。非線形関数は、隣接する過分割領域間の状態を表すための関数であり、例えば、過分割領域間の段差を表すシグモイド関数、凹凸を表す二次関数がある。そして、結合度処理ステップでは、当てはめた数種類の非線形関数から当てはめ誤差の小さい非線形関数を抽出する（つまり、良く当てはまっている非線形関数を抽出する）。さらに、結合度処理ステップでは、隣接する過分割領域間の境界における選択した非線形関数の曲率を求め、この求めた曲率から結合度を求める。このように、この画像処理方法では、非線形関数の種類と各非線形関数の曲率から隣接する過分割領域間の状態を詳細に判別し、その過分割領域間の状態を結合度として表す。その結果、過分割領域間において奥行き距離が不連続な状態のみならず、奥行き距離が連続している状態でも、異なる物体と判断可能な結合度を設定できる。例えば、凹部（机の上に置かれた物体の底辺の境界など）を異なる物体間と判断可能な結合度を設定できる。ちなみに、非線形関数の種類と各非線形関数の曲率が隣接する過分割領域間の奥行き距離の変化に相当する。
【００１１】
本発明の上記画像処理方法の非線形関数を当てはめるステップでは、各参照点を奥行き距離の信頼度によって重み付けして非線形関数を当てはめる構成としてもよい。
【００１２】
この画像処理方法では、上記した非線形関数を当てはめる際に、各参照点を奥行き距離の信頼度によって重み付けし、重み付けした参照点群に対して非線形関数を当てはめる。このように、画像処理方法では、各参照点を重み付けすることにより、信頼度の低い参照点の影響を受けることなく、信頼度の高い参照点を対して非線形関数を当てはめることができる。
【００１３】
本発明の上記画像処理方法では、分離ステップは、抽出ステップで抽出した過分割領域における隣接する過分割領域からなる領域に対して立体プリミティブを当てはめ、当該当てはめの精度を求めるステップと、立体プリミティブの当てはめ精度が所定精度以上の領域を分離対象の物体の領域と判定するステップとを含む構成としてもよい。
【００１４】
この画像処理方法の分離ステップでは、抽出した過分割領域のうち幾つかの過分割領域を結合した領域に対して立体プリミティブを当てはめ、その当てはめ精度を求める。立体プリミティブとしては、例えば、球、直方体、円柱がある。そして、分離ステップでは、当てはめ精度が所定精度以上の領域（つまり、ある立体に形状が当てはまっている領域）に含まれる全ての過分割領域を１つの物体の領域と判定する。このように、画像処理方法では、隣接する過分割領域間の結合度の他に、立体形状に対する当てはまり度合いを考慮することにより、個々の物体に分離するための過分割領域間の結合又は分離を高精度に行うことができるとともに、当てはまった立体プリミティブによって分離対象の物体の形状や大きさの認識が可能である。
【００１５】
本発明に係る画像処理装置は、撮像画像中の物体を分離する画像処理装置であって、視点の異なる複数の撮像画像を取得する複数の撮像手段と、撮像画像を領域に過分割する過分割手段と、複数の撮像画像に基づいて撮像画像中の物体までの奥行き距離を求める奥行き距離処理手段と、奥行き距離処理手段で求めた各奥行き距離に対する信頼度を求める信頼度処理手段と、過分割手段で過分割した過分割領域から信頼度処理手段で求めた信頼度の高い過分割領域を抽出する抽出手段と、抽出手段で抽出した過分割領域における隣接する過分割領域間の奥行き距離の変化を求め、当該奥行き距離の変化に基づいて隣接する過分割領域間の結合度を求める結合度処理手段と、結合度処理手段で求めた結合度に基づいて抽出手段で抽出した過分割領域における隣接する過分割領域間を結合又は分離することによって物体を分離する分離手段とを備えることを特徴とする。
【００１６】
本発明の上記画像処理装置では、抽出手段は、過分割領域毎に信頼度の平均値を求め、当該信頼度の平均値が所定値以上の過分割領域を抽出する構成としてもよい。
【００１７】
本発明の上記画像処理装置では、結合度処理手段は、隣接する過分割領域間の境界をまたぐように複数の参照点を設定し、各参照点の奥行き距離と隣接する過分割領域間における位置に基づいて、設定した複数の参照点に非線形関数を当てはめ、当該当てはめた非線形関数の中から当てはめ誤差が小さい非線形関数を選択し、隣接する過分割領域間の境界における選択した非線形関数の曲率を算出し、当該非線形関数の曲率に基づいて隣接する過分割領域間の結合度を算出する構成としてもよい。
【００１８】
本発明の上記画像処理装置では、各参照点を奥行き距離の信頼度によって重み付けして非線形関数を当てはめる構成としてもよい。
【００１９】
本発明の上記画像処理装置では、分離手段は、抽出手段で抽出した過分割領域における隣接する過分割領域からなる領域に対して立体プリミティブを当てはめ、当該当てはめの精度を求め、当該立体プリミティブの当てはめ精度が所定精度以上の領域を分離対象の物体の領域と判定する構成としてもよい。
【００２０】
なお、上記した各画像処理装置は、上記した各画像処理方法と同様の作用効果を有している。
【発明の効果】
【００２１】
本発明によれば、隣接する過分割領域間の奥行き距離の変化から結合度を定義することにより、撮像画像中の個々の物体を高精度に分離することができる。
【発明を実施するための最良の形態】
【００２２】
以下、図面を参照して、本発明に係る画像処理方法及び画像処理装置の実施の形態を説明する。
【００２３】
本実施の形態では、本発明を、撮像画像内の物体を個々に分離する画像処理装置に適用する。本発明に係る画像処理装置は、ステレオカメラを備えており、ステレオカメラによって所定の対象を撮像し、その撮像画像中の複数の物体を個々の物体に分離するために各物体に相当する領域に分割する。
【００２４】
図１を参照して、本実施の形態に係る画像処理装置１について説明する。図１は、本実施の形態に係る画像処理装置の構成図である。
【００２５】
画像処理装置１は、ステレオカメラで撮像し、その左右の撮像画像中の基準画像（例えば、左撮像画像）を領域に過分割する。そして、画像処理装置１は、物体までの奥行き距離を考慮して隣接する過分割領域間を結合／分離し、個々の物体に分離する。特に、画像処理装置１では、個々の物体を高精度に分離するために、隣接する過分割領域間の奥行き距離の変化に基づく結合度を算出し、結合度に基づいて過分割領域間を結合するかあるいは分離するかを判断する。画像処理装置１は、ステレオカメラを構成する２台のカメラ２，３、モニタ４及び画像処理部５を備えている。
【００２６】
なお、本実施の形態ではカメラ２，３が特許請求の範囲に記載する複数の撮像手段に相当し、画像処理部５で行われる各処理が特許請求の範囲に記載する過分割手段、奥行き距離処理手段、信頼度処理手段、抽出手段、結合度処理手段、分離手段に相当する。
【００２７】
カメラ２，３は、所定の間隔をあけて平行に撮像対象に配置され、撮像対象を撮像するカラーのステレオカメラである。カメラ２で撮像された画像は左撮像画像（基準画像とする）であり、カメラ３で撮像された画像は右撮像画像（参照画像とする）であり、視点の異なる二枚の撮像画像が同時に得られる。カメラ２，３は、ＣＣＤ［Charge coupled device］などの撮像素子を備えるデジタルカメラであり、デジタル画像データからなる撮像画像を画像信号として画像処理部５に送信する。なお、間隔などのカメラ２，３の位置関係についての情報やカメラ２，３の内部パラメータ、外部パラメータは、画像処理部５に予め保持されている。図２には、左右の撮像画像の一例を示しており、缶、直方体の箱、ボールの３つの物体が置かれている。図２では、各物体に絵柄や文字などを描いていないが、実際には、各物体に絵柄や文字などがあり、影も存在する。
【００２８】
モニタ４は、液晶モニタでもあるいはＣＲＴ[Cathode Ray Tube]モニタでもよく、画像処理部５の処理結果を表示出力する。モニタ４では、画像処理部５からの出力信号に応じて画像などを表示する。
【００２９】
画像処理部５は、パーソナルコンピュータなどのコンピュータ上に構成され、専用のアプリケーションプログラムを実行することによって各処理を行う。画像処理部５では、カメラ２，３から左右の撮像画像（ステレオ画像）をそれぞれ取り入れ、撮像画像の基準画像を領域に過分割する（領域過分割処理）。また、画像処理部５では、左右の撮像画像から物体までの奥行き距離を求め、各奥行き距離について信頼度を取得する（奥行き距離算出処理）。そして、画像処理部５では、全ての過分割領域から奥行き距離の信頼度の高い領域を抽出する（領域抽出処理）。さらに、画像処理部５では、信頼度の高い過分割領域に対して、隣接する過分割領域間の奥行き距離の変化に基づいて結合度を算出する（結合度算出処理）。最後に、画像処理部５では、信頼度の高い過分割領域に対して、隣接する過分割領域間を結合度に基づいて結合又は分離し、個々の物体に分離する（物体分離処理）。
【００３０】
領域過分割処理について説明する。画像処理部５では、基準画像のエッジ情報、色情報、テクスチャ情報などの画像情報を用いて、基準画像を領域に過分割する。過度な領域分割を行うので、撮像画像における各物体の存在する領域が多数の領域に分かれる。領域の分割手法としては、特に限定するものでなく、例えば、Ｍｅａｎ−ｓｈｉｆｔ法を用いることにより高速に分割を行うことができる。各種手法で領域分割を行う際に、閾値を高く設定することにより（つまり、分割条件を厳しくすることにより）、過度に領域を分割するようにする。図３には、図２の左撮像画像を領域に過分割した過分割領域画像を示しており、各物体が多数の領域に分割されている。
【００３１】
奥行き距離算出処理について説明する。画像処理部５では、左右の撮像画像間で相関演算を行い、その演算結果から得られた視差を用いて物体までの奥行き距離（画素毎）を算出する。この際、画像処理部５では、相関演算の過程で、各奥行き距離に対する精度に相当する信頼度を取得する。左右の撮像画像間で相関演算を行う場合、色、模様、形状などの変化のない均一なところ（例えば、床、壁）では左右の撮像画像間での対応が取り難いので、奥行き距離の信頼度が低くなる。このような均一なところは（つまり、特徴のないところは）、物体が存在していない可能性が高いので、物体分離を行う対象としない。一方、色、模様、形状などの変化があるところや物体間の境界、各物体の輪郭部分などでは左右の撮像画像間での対応が取り易いので、奥行き距離の信頼度が高くなる。このような均一でないところは（つまり、特徴のあるところは）、物体が存在している可能性が高いので、物体分離を行う対象とする。図４には、図２の左撮像画像における各物体や背景までの奥行き距離を表す奥行き距離画像を示しており、画素毎に色で奥行き距離を表している。この奥行き距離画像では、物体の存在する領域では全体的に一様な距離分布となっているが、それ以外の領域ではばらついた距離分布となっている。また、図５には、各奥行き距離の信頼度を表す信頼度画像を示しており、画素毎に色で信頼度を表している。この信頼度画像では、物体の存在する領域では高い信頼度の色となっており、それ以外の領域では低い信頼度の色となっている。
【００３２】
領域抽出処理について説明する。画像処理部５では、相関演算の際のノイズの影響によって信頼度がばらつくので、過分割領域毎に、各過分割領域に含まれる全ての奥行き距離（画素毎）の平均値を算出する。そして、画像処理部５では、信頼度の平均値が閾値以上か否かを判定し、閾値以上の過分割領域を抽出する（つまり、信頼度の高い過分割領域を抽出する）。閾値は、奥行き距離の信頼度が高いか否かを判定するための閾値であり、実験やシミュレーションなどによって予め設定される。図６には、図３に示す過分割領域から信頼度の高い領域として抽出された領域を白で示した二値画像を示している。図６から判るように、ノイズの影響などによって、物体が存在する領域にもかかわらず、白い領域内の一部に領域抽出されていない黒い領域が一部残る場合がある。そこで、画像処理部５では、抽出した全ての過分割領域に基づいて穴埋め処理を行う。この穴埋め処理では、抽出されなかった各過分割領域について、その過分割領域が抽出された過分割領域によって囲まれている場合にはその過分割領域を信頼度の高い領域として抽出し、穴埋めを行う。図７には、図６に示す信頼度の高い領域として抽出された領域に、更に穴埋め処理を施して信頼度の高い領域として抽出された領域を含めた領域を白で示した二値画像を示している。また、図８には、図３に示す過分割領域画像から図７の白で示す領域（信頼度の高い領域）を抽出した信頼度の高い領域のみからなる過分割領域画像を示している。また、図９には、図４に示す奥行き距離画像から図７の白で示す領域を抽出した信頼度の高い領域のみからなる奥行き距離画像を示している。
【００３３】
結合度算出処理について説明する。画像処理部５では、抽出した信頼度の高い過分割領域から、隣接する２つの過分割領域ｉ，ｊを順次選択する。そして、画像処理部５では、その２つの過分割領域ｉ，ｊが接している境界線を所定本数（例えば、３本）の線分からなる折れ線によって近似する。さらに、画像処理部５では、折れ線の線分毎に、その線分を中心とし、その線分に直交する線を主軸として、多数個の格子点（参照点）を定義する。参照点の個数については、非線形関数を当てはめるために必要な十分な個数とする。参照点の間隔については、画素間隔を考慮して、隣接する過分割領域内に十分な個数の参照点を配置できる間隔とする。図１０に示す例では、９×５個の参照点ＲＰ，・・・が、折れ線ＦＬの線分を中心として左右に配置され、主軸ＰＡを中心として上下に配置されている。
【００３４】
画像処理部５では、参照点毎に、その参照点周辺の各画素の奥行き距離を用いて奥行き距離を算出する。そして、画像処理部５では、各参照点について、主軸上の位置を横軸座標点とし、算出した奥行き距離を縦軸座標点とした二次元座標系の位置を設定する（図１１参照）。さらに、画像処理部５では、二次元座標系上の多数の参照点群に対して、数種類の非線形関数を当てはめる。この際、画像処理部５では、当てはめた非線形関数毎に、その非線形関数の当てはまりの度合いを示す当てはめ誤差を算出する。当てはめる非線形関数としては、例えば、凹凸を表現することができる二次関数、段差を表現することができるシグモイド関数を用いる。
【００３５】
非線形関数を当てはめる際に、画像処理部５では、ノイズなどの影響によってばらついている参照点の影響を受けないように、各参照点の奥行き距離の信頼度で重み付けを行って、非線形関数を当てはめる。つまり、信頼度が高いほど大きな重みが付与され、重みが大きな参照点ほど非線形関数の当てはめに大きな影響を与え、信頼度が低いほど小さい重みが付与され、重みが小さい参照点ほど非線形関数の当てはめに影響を与えない。具体的には、画像処理部５では、式（１）の評価関数Ｅを用いて、評価関数Ｅを最小とする非線形関数Ｆ（ｐ，ｘｉ）のパラメータベクトルｐを求める。
【００３６】
【数１】
【００３７】
式（１）において、ｉは各参照点の識別番号であり、Ｄｉは参照点の奥行き距離であり、Ｃｉは参照点の奥行き距離の信頼度であり、ｘｉは参照点の主軸座標であり、σｉは同じ主軸座標を持つ参照点群の奥行き距離の標準偏差である。ｐは、非線形関数Ｆを表すパラメータベクトルであり、例えば、二次関数Ｆ＝ａｘ２＋ｂｘ＋ｃの場合、（ａ，ｂ，ｃ）がパラメータベクトルである。
【００３８】
そして、画像処理部５では、数種類の当てはめた非線形関数のうち当てはめ誤差が小さい非線形関数を選択し、その選択した非線形関数を最も当てはまった非線形関数とする。図１１（ａ）には上に凸を表す二次関数Ｆ１が当てはまった場合（破線で示すシグモイド関数が当てはまらなかった場合）を示しており、図１１（ｂ）には下に凸を表す二次関数Ｆ２が当てはまった場合（破線で示すシグモイド関数が当てはまらなかった場合）を示しており、図１１（ｃ）には段差を表すシグモイド関数Ｆ３が当てはまった場合（破線で示す大きな曲率を有する二次関数が当てはまらなかった場合）を示している。
【００３９】
ちなみに、過分割領域間の奥行き距離の変化が上に凸状になっているところは、三次元的にへこんでいるところであり（例えば、平面に物体が置かれている場合の平面と物体の底面との境界部分）、異なる物体である可能性が高い。過分割領域間の奥行き距離の変化が下に凸状になっているところは、三次元的に出っ張っているところであり、同じ物体である可能性が高い。過分割領域間の奥行き距離の変化が段差になっているところは、異なる物体である可能性が高い。
【００４０】
さらに、画像処理部５では、隣接する過分割領域間の境界線に相当する主軸座標の位置（横軸の座標点）での選択した非線形関数の曲率ｒを算出する。つまり、図１０に示すように、過分割領域ｉ，ｊ間の境界線ＢＬの位置を主軸ＰＡの座標上で求め、その主軸座標における非線形関数の曲率を求める。この際、非線形関数として上に凸を表す二次関数が選択されている場合にはｒ／｜ｒ｜として常に正値の曲率ｒを求め、非線形関数として下に凸を表す二次関数が選択されている場合には−ｒ／｜ｒ｜として常に負値の曲率ｒを求め、非線形関数として段差を表すシグモイド関数が選択されている場合にはｒ／｜ｒ｜として常に正値の曲率ｒを求める。
【００４１】
さらに、結合度を０〜１の値で表すために、画像処理部５では、隣接する過分割領域ｉ，ｊについて、非線形関数の曲率ｒｉｊを用いて、式（２）により、過分割領域ｉ，ｊ間の結合度ｕｉｊを算出する。結合度ｕｉｊは、過分割領域ｉ，ｊ間の奥行き距離の変化からその２つの過分割領域ｉ，ｊを１つの物体の領域として結合してよいか否かの度合い（言い換えれば、２つの過分割領域ｉ，ｊを異なる物体の境界として分離してよいか否かの度合い）を示し、０〜１の値である。図１２に示すように、結合度ｕが１に近いほどその隣接する過分割領域が同じ物体である確率が高く、結合度ｕが０に近いほどその隣接する過分割領域が異なる物体である確率が高い。
【００４２】
【数２】
【００４３】
式（２）では、ｍａｘ（ｒｉｊ）は隣接する全ての組み合わせの過分割領域ｉ，ｊ間の曲率ｒｉｊのうちの最大値であり、ｍｉｎ（ｒｉｊ）は隣接する全ての組み合わせの過分割領域ｉ，ｊ間の曲率ｒｉｊのうちの最小値であり、ρは調整パラメータ（閾値）である。但し、結合度ｕｉｊが存在しない過分割領域間ではｕｉｊ＝ｕｊｉ＝０とする。
【００４４】
物体分離処理について説明する。画像処理部５では、信頼度の高い全ての過分割領域に対して識別番号をそれぞれ付与する。図１３には、信頼度の高い過分割領域に識別番号を付与した一例を示しており、説明を簡単にするために比較的大きな過分割領域にのみ識別番号が付与されているが、実際には信頼度の高い全ての過分割領域に識別番号が付与される。
【００４５】
そして、画像処理部５では、最初に、信頼度の高い全ての過分割領域に対して隣接している過分割領域間を全て結合した状態で立体プリミティブの当てはめを開始する。図１４には、図１３に示す識別番号が付与された全ての過分割領域に対して隣接している過分割領域間が結合され、その結合された過分割領域間の結合度が線の太さ（線が太いほど結合度が大きい）で示されている。図１４の例では、例えば、領域１３と領域１２、領域１３と領域１４とは結合度が大きく、同じ物体である可能性が高く、領域１２と領域１１とは結合が小さく、異なる物体である可能性が高い。また、図１８には、図２の撮像画像に対して信頼度の高い全ての過分割領域を１つの領域Ｒ１に結合した状態を示している。
【００４６】
さらに、画像処理部５では、結合されて一塊となっている過分割領域群からなる領域に対して数種類の立体プリミティブを当てはめ、当てはめ誤差をそれぞれ算出する。立体プリミティブとしては、例えば、球、直方体、円柱である。当てはめる際に、立体プリミティブの全体的な大きさや寸法比を変えながら当てはめる。例えば、直方体の場合には高さ寸法を０に近づけることによって（つまり、薄くすることによって）床などの平面にも当てはめることもできるし、球の場合には短径と長径との比を変えることによって楕円形の球にも当てはめることができる。そして、画像処理部５では、当てはめた数種類の立体プリミティブの中から当てはめ誤差が最小の立体プリミティブを選択し、その選択した立体プリミティブの当てはめ精度を算出する。当てはめ精度としては、例えば、三次元点と当てはめた立体プリミティブの表面との距離などを用いることによって求めることができる。
【００４７】
さらに、画像処理部５では、当てはめ精度が閾値以上か否かを判定する。この閾値は、領域が立体プリミティブと同様の形状を有しているとみなすことができるか否かを判断するための閾値であり、実験やシミュレーションなどによって予め設定される。当てはめ誤差が閾値以上の場合、画像処理部５では、その結合されて一塊となっている過分割領域群からなる領域を同じ物体を構成する領域として判断する。一方、当てはめ誤差が閾値未満の場合、画像処理部５では、その結合されて一塊となっている過分割領域群からなる領域を、結合度及び全体的な結合度の分布や全体的な繋がり方などを考慮して、２つの領域に分離する。そして、画像処理部５では、信頼度の高い全ての過分割領域に対して何れかの立体プリミティブに当てはまるまで、立体プリミティブの当てはめと領域の分離を繰り返し行う。
【００４８】
例えば、図１４に示す全ての過分割領域を結合した領域に対して立体プリミティブを当てはめた場合には当てはめ精度が閾値未満となり、この一塊の領域が２つの領域に分離される。これが、図１５に示されており、過分割領域１１，１２間の結合度の小さいさや過分割領域１２，１３，１４の結びつきの強さなどから、領域１２，１３，１４を一塊とした領域とその他の過分割領域からなる領域とに分離される。図１９には、図２の撮像画像に対して２つの領域Ｒ２，Ｒ３に分離した状態を示している。この図１５に示す過分割領域１２，１３，１４を結合した領域に対しては球の立体プリミティブが当てはまり、その当てはめ精度も閾値以上となり、この３つの過分割領域１２，１３，１４が同じ物体（ボール）の領域として結合することが確定する。
【００４９】
一方、図１５に示す過分割領域１２，１３，１４以外の過分割領域を結合した領域に対して立体プリミティブを当てはめた場合には当てはめ精度が閾値未満となり、この一塊の領域が更に２つの領域に分離される。これが、図１６に示されており、過分割領域３，５間、過分割領域４，５間、過分割領域４，７間の結合度の小ささや過分割領域１，２，３，４の結びつきの強さなどから、過分割領域１，２，３，４を一塊とした領域とその他の過分割領域からなる領域とに分離される。図２０には、図２の撮像画像に対して３つの領域Ｒ３，Ｒ４，Ｒ５に分離した状態を示している。この図１６に示す過分割領域１，２，３，４を結合した領域に対しては直方体の立体プリミティブが当てはまり、その当てはめ精度も閾値以上となり、この４つの過分割領域１，２，３，４が同じ物体（直方体の箱）の領域として結合することが確定する。
【００５０】
一方、図１６に示す過分割領域１，２，３，４以外の過分割領域を結合した領域に対して立体プリミティブを当てはめた場合には当てはめ精度が閾値未満となり、この一塊の領域が更に２つの領域に分離される。これが、図１７に示されており、過分割領域５，７間、過分割領域６，７間、過分割領域９，７間の結合度の小ささや過分割領域５，６，８，９の結びつきの強さなどから、過分割領域５，６，８，９を一塊とした領域とその他の過分割領域からなる領域とに分離される。図２１には、図２の撮像画像に対して４つの領域Ｒ３，Ｒ４，Ｒ６，Ｒ７に分離した状態を示している。この図１７に示す過分割領域５，６，８，９を結合した領域に対しては円柱の立体プリミティブが当てはまり、その当てはめ精度も閾値以上となり、この４つの過分割領域５，６，８，９が同じ物体（缶）の領域として結合することが確定する。
【００５１】
図１７に示す最後に残った過分割領域７，１０，１１を結合した領域に対しては直方体（高さを０に近づけた直方体）が当てはまり、その当てはめ精度も閾値以上となり、この４つの過分割領域７，１０，１１が同じ物体（床などの平面）の領域として結合することが確定する。
【００５２】
このように、画像処理部５では、信頼度の高い過分割領域からなる領域に立体プリミティブを順次当てはめ、立体プリミティブが当てはまらなかった領域については結合度などに基づいて分離していくことによって、１つの物体に相当する結合する過分割領域を確定する（つまり、個々の物体に分離する）。この際、画像処理部５では、当てはめた立体プリミティブの種類、大きさ、寸法比などから分離した物体の大きさ、形状などを判別し、分離した物体が何かを認識する。
【００５３】
画像処理部５では、その個々に分離した物体を示す画像あるいは個々の物体の情報などの出力結果を出力信号として設定し、その出力信号をモニタ４に送信する。また、必要に応じて、画像処理部５では、処理過程で生成される過分割領域画像、奥行き距離画像、信頼度画像、信頼度の高い領域を示す二値画像、信頼度の高い領域のみからなる過分割領域画像、信頼度の高い領域のみからなる奥行き距離画像などを出力信号として設定し、その出力信号をモニタ４に送信する。
【００５４】
図１を参照して、画像処理装置１における動作について説明する。特に、画像処理部５における全体的な処理の流れについては図２２のフローチャートに沿って説明し、領域抽出処理の流れについては図２３のフローチャートに沿って説明し、結合度算出処理の流れについては図２４のフローチャートに沿って説明し、重み付け処理の流れについては図２５のフローチャートに沿って説明し、物体分離処理の流れについて図２６のフローチャートに沿って説明する。図２２は、本実施の形態に係るメイン処理を示すフローチャートである。図２３は、本実施の形態に係る領域抽出処理を示すフローチャートである。図２４は、本実施の形態に係る結合度算出処理を示すフローチャートである。図２５は、本実施の形態に係る重み付け処理を示すフローチャートである。図２６は、本実施の形態に係る物体分離処理を示すフローチャートである。
【００５５】
カメラ２，３では、撮像対象をそれぞれ撮影し、その各撮像画像を画像信号として画像処理部５に送信する。
【００５６】
画像処理部５では、カメラ２，３から各画像信号を受信し、左右の撮像画像（ステレオ画像）を取り入れる（図２２のＳ１）。そして、画像処理部５では、ステレオ画像のうち基準画像を領域に過分割する（図２２のＳ２）。また、画像処理部５では、左右の撮像画像に対する相関演算により物体までの各奥行き距離を算出するとともに（図２２のＳ３）、各奥行き距離についての信頼度を取得する（図２２のＳ４）。
【００５７】
画像処理部５では、全ての過分割領域の中から奥行き距離の信頼度の高い過分割領域を抽出する（図２２のＳ５）。この際、画像処理部５では、過分割領域毎に、奥行き距離の信頼度の平均値を算出する（図２３のＳ１０）。そして、画像処理部５では、各過分割領域の信頼度の平均値が閾値以上か否かを判定し、全ての過分割領域から信頼度の平均値が閾値以上の過分割領域を抽出する（図２３のＳ１１）。さらに、画像処理部５では、抽出した過分割領域群について穴埋め処理を行う（図２３のＳ１２）。ここで、距離情報の信頼性が高く、分離対象の物体が存在する可能性の高い過分割領域だけが抽出される。
【００５８】
画像処理部５では、抽出した過分割領域群の中から隣接する過分割領域ｉと過分割領域ｊを順次選択し、その隣接する過分割領域ｉ，ｊ間の奥行き距離の変化に基づいて過分割領域ｉ，ｊの結合度を算出する（図２２のＳ６）。この際、画像処理部５では、隣接する過分割領域ｉ，ｊを選択すると、過分割領域ｉ，ｊ間の境界線に対して折れ線を近似し、折れ線の各線分を中心として多数の参照点を格子状に設定する（図２４のＳ２０）。そして、画像処理部５では、横軸を主軸方向（折れ線の各線分と直交する方向）の座標とし、縦軸を奥行き距離とした座標系に全ての参照点を配置させ、その座標系上の参照群に対して数種類の非線形関数を当てはめ、当てはめた非線形関数毎に当てはめ誤差を求める（図２４のＳ２１）。非線形関数を当てはめる際、画像処理部５では、当てはめる非線形関数をＦ（ｐ，ｘ）として、式（１）の評価関数Ｅが最小とするパラメータベクトルｐを求めることによって、非線形関数を当てはめる（図２５のＳ３０）。
【００５９】
全ての非線形関数を当てはめると、画像処理部５では、当てはめた数種類の非線形関数の中から当てはめ誤差の最も小さい非線形関数Ｆを選択する（図２４のＳ２２）。そして、画像処理部５では、隣接する過分割領域ｉ，ｊ間の境界線に相当する横軸の座標でのその選択した非線形関数Ｆの曲率ｒｉｊを算出する（図２４のＳ２３）。さらに、画像処理部５では、その曲率ｒｉｊを用いて、式（２）によりその隣接する過分割領域ｉ，ｊ間の結合度ｕｉｊを算出する（図２４のＳ２４）。ここで、抽出した過分割領域群における全ての組み合わせの隣接する過分割領域ｉ，ｊについて、奥行き距離の変化に基づく結合度が求められる。
【００６０】
抽出した過分割領域群の中の全ての隣接する過分割領域間の結合度を算出すると、画像処理部５では、その抽出した過分割領域群について結合度に基づいて隣接する過分割領域間を結合又は分離し、複数個の過分割領域からなる個々の物体に分離する（図２２のＳ７）。この際、画像処理部５では、抽出した全ての過分割領域の処理フラグを０にそれぞれ設定する（図２６のＳ４０）最初に、画像処理部５では、隣接する過分割領域間を全て繋げて１つの領域とし、ｋ＝１に設定する（図２６のＳ４１）。処理フラグは、物体として確定した過分割領域（結合状態が確定した過分割領域）か否かを示すフラグであり、確定した過分割領域には１が設定され、確定していない過分割領域には０が設定される。ｋは、抽出した過分割領域群が幾つの領域に分離されたかを示し、初期値が１であり、領域間が分離される毎に１ずつ増加される。
【００６１】
画像処理部５では、ｋ番目の分離結果において処理フラグが０に設定されている過分割領域（つまり、結合状態が確定していない過分割領域）からなる各領域に対して数種類の立体プリミティブを当てはめ、当てはめた立体プリミティブ毎に当てはめ誤差を求め、当てはめ誤差が最小となる立体プリミティブについての当てはめ精度を算出する（図２６のＳ４２）。そして、画像処理部５では、当てはめ精度が閾値以上か否かを判定し、当てはめ精度が閾値以上の場合にはその領域を構成する全ての過分割領域の処理フラグを１に設定する（図２６のＳ４３）。ここで、当てはめ精度が閾値以上の領域に含まれる過分割領域の結合状態が確定し、この結合状態が確定した過分割領域群が１つの物体として分離されたことになる。この際、画像処理部５では、その当てはめ精度が閾値以上となった立体プリミティブの種類、大きさ、寸法比などからその分離された物体の種類、形状、大きさなどを認識する。
【００６２】
画像処理部５では、抽出した全ての過分割領域の処理フラグが１か否かを判定する（図２６のＳ４４）。Ｓ４４の判定にて処理フラグが０の過分割領域が存在すると判定した場合、画像処理部５では、その処理フラグが０の過分割領域群からなる領域において結合度が小さい過分割領域間を分離し（図２６のＳ４５）、ｋに１を加算する（図２６のＳ４６）。そして、画像処理部５では、この分離された各領域に対してＳ４２以降の処理をそれぞれ行う。一方、Ｓ４４の判定にて抽出した全ての過分割領域の処理フラグが１と判定した場合、画像処理部５では、処理を終了する。ここで、抽出した全ての過分割領域についての結合状態が確定し、各結合状態の過分割領域群からなる領域によって個々の物体に分離されたことになる。
【００６３】
画像処理部５では、物体の分離結果（画像など）を示す出力信号を生成し、その出力信号をモニタ４に送信する。モニタ４では、受信した出力信号に応じた分離結果を表示する。
【００６４】
この画像処理装置１によれば、隣接する過分割領域間の奥行き距離の変化に着目して結合度を定義することにより、隣接する過分割領域が異なる物体かあるいは同じ物体かを高精度に判断できる。そのため、各物体に相当する領域を正確に分割でき、個々の物体を高精度に分離することができる。
【００６５】
また、画像処理装置１によれば、奥行き距離の信頼度に着目して信頼度の高い過分割領域を抽出することにより、処理負荷を軽減できるとともに物体の分離精度も向上する。特に、画像処理装置１では、過分割領域毎に信頼度の平均値を用いるとともに穴埋め処理を行うことにより、相関演算のノイズなどの影響を受けることなく、信頼度の高い過分割領域を高精度に抽出することができる。
【００６６】
また、画像処理装置１によれば、非線形関数を当てはめ、その当てはめた非線形関数の種類と曲率を用いることにより、隣接する過分割領域間の奥行き距離の変化を正確に表すことができる。そのため、隣接する過分割領域間の正確な結合度を定義でき、隣接する過分割領域間を結合するか否かを高精度に判断できる。特に、画像処理装置１では、参照点を信頼度によって重み付けして非線形関数を当てはめることにより、非線形関数を高精度に当てはめることができる。
【００６７】
また、画像処理装置１によれば、立体プリミティブによる当てはめによって個々の物体に分離することにより、物体の分離精度が向上するとともに、当てはめた立体プリミティブから分離した物体に関する詳細な情報を取得することができる。
【００６８】
以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。
【００６９】
例えば、本実施の形態ではコンピュータ上でアプリケーションプログラム（ソフトウエア）を実行することによって各処理を行う構成としたが、ハードウエアによって各処理部を構成してもよい。
【００７０】
また、本実施の形態では２台のカメラによるステレオカメラで複数の撮像手段を構成したが、３台以上のカメラで複数の撮像手段を構成してもよい。
【００７１】
また、本実施の形態では各過分割領域について信頼度の平均値を求め、その平均値が閾値以上の過分割領域を抽出する構成としたが、信頼度をそのまま用いて過分割領域を抽出するようにしてもよいし、あるいは、過分割領域全体の信頼度を示す平均値以外の信頼度に関する値を用いて過分割領域を抽出してもよい。
【００７２】
また、本実施の形態では隣接する過分割領域間に参照点を設定し、多数の参照点に対して非線形関数を当てはめ、その当てはまった非線形関数の曲率から結合度を求める構成としたが、他の方法により隣接する過分割領域間の奥行き距離の変化から結合度を求めてもよい。
【００７３】
また、本実施の形態では参照点として格子点を設定したが、格子点以外の配列の参照点としてもよい。
【００７４】
また、本実施の形態では非線形関数として二次関数やシグモイド関数を用いたが、領域間の状態を表すことができれば、他の非線形関数を用いてもよい。
【００７５】
また、本実施の形態では各参照点における奥行き距離の信頼度によって重み付けして非線形関数を当てはめる構成としたが、重み付けを行わないで非線形関数を当てはめてもよい。
【００７６】
また、本実施の形態では隣接した過分割領域からなる領域に対して立体プリミティブを当てはめ、その当てはめ精度が閾値以上の領域を分離対象の物体とする構成としたが、他の方法により結合度に基づいて過分割領域を結合してもよい。
【図面の簡単な説明】
【００７７】
【図１】本実施の形態に係る画像処理装置の構成図である。
【図２】左右の撮像画像の一例である。
【図３】図２の撮像画像の過分割領域画像の一例である。
【図４】図２の左右の撮像画像に基づく奥行き距離画像の一例である。
【図５】図４の奥行き距離画像に対する信頼度画像の一例である。
【図６】図５の信頼度画像に基づく信頼度の高い領域を示す二値画像（穴埋め処理前）の一例である。
【図７】図５の信頼度画像に基づく信頼度の高い領域を示す二値画像（穴埋め処理後）の一例である。
【図８】図３の過分割領域画像において信頼度の高い領域のみからなる過分割領域画像の一例である。
【図９】図４の奥行き距離画像において信頼度の高い領域のみからなる奥行き距離画像の一例である。
【図１０】隣接する過分割領域間に参照点を設定した一例である。
【図１１】参照点群に対して非線形関数を当てはめた一例であり、（ａ）が上に凸を表す非線形関数が当てはまった場合であり、（ｂ）が下に凸を表す非線形関数が当てはまった場合であり、（ｃ）が段差を表す非線形関数が当てはまった場合である。
【図１２】結合度と異なる物体の境界である度合いとの関係を示す図である。
【図１３】図７の信頼度の高い過分割領域画像において各過分割領域に識別番号を付与した画像の一例である。
【図１４】図１３の識別番号を付与した過分割領域を１つの領域に結合した状態を示す図である。
【図１５】図１３の識別番号を付与した過分割領域を２つの領域に分離した状態を示す図である。
【図１６】図１３の識別番号を付与した過分割領域を３つの領域に分離した状態を示す図である。
【図１７】図１３の識別番号を付与した過分割領域を４つの領域に分離した状態を示す図である。
【図１８】図２の撮像画像において信頼度の高い過分割領域を１つの領域に結合した状態を示す図である。
【図１９】図２の撮像画像において信頼度の高い過分割領域を２つの領域に分離した状態を示す図である。
【図２０】図２の撮像画像において信頼度の高い過分割領域を３つの領域に分離した状態を示す図である。
【図２１】図２の撮像画像において信頼度の高い過分割領域を４つの領域に分離した状態を示す図である。
【図２２】本実施の形態に係るメイン処理を示すフローチャートである。
【図２３】本実施の形態に係る領域抽出処理を示すフローチャートである。
【図２４】本実施の形態に係る結合度算出処理を示すフローチャートである。
【図２５】本実施の形態に係る重み付け処理を示すフローチャートである。
【図２６】本実施の形態に係る物体分離処理を示すフローチャートである。
【符号の説明】
【００７８】
１…画像処理装置、２，３…カメラ、４…モニタ、５…画像処理部
【技術分野】
【０００１】
本発明は、画像中の複数の物体を個々に分離するために領域分割を行う画像処理方法及び画像処理装置に関する。
【背景技術】
【０００２】
撮像画像中の複数の物体をそれぞれ分離するための画像処理方法が各種開発されている。この処理方法として、撮像画像からエッジ情報、色情報、テクスチャ情報などを取得し、これらの情報を利用して類似している領域毎に分割することによって物体を分離する方法がある（特許文献１、特許文献２参照）。しかし、同じ物体でも、表面の模様や色あるいは影などによって、エッジ情報、色情報、テクスチャ情報などが異なる。このような場合、同じ物体でも別々の領域に分割され、正確に個々の物体に分離することができない。そこで、画像処理方法には、エッジ情報、色情報、テクスチャ情報などの情報に加えて奥行き方向の距離の情報を用いて、領域を分割する方法もある。
【特許文献１】特開２００３−８７５４５号公報
【特許文献２】特開２００４−１７８２７３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
距離情報を用いて領域分割を行う方法では、正確な距離情報が得られることが前提となっており、正確な距離情報が得られた場合に高精度な領域分割を行うことができる。特に、領域分割に重要となる物体と物体の境界においては、正確な距離情報が必要となる。しかしながら、実際に得られる距離情報にはノイズが含まれている場合があり、正確な距離情報が得られないことがある。このような場合、物体と物体との境界に相当する領域間を正確に分割することができないので、個々の物体を正確に分離することができない。
【０００４】
そこで、本発明は、距離情報も用いて画像中の物体を高精度に分離することができる画像処理方法及び画像処理装置を提供することを課題とする。
【課題を解決するための手段】
【０００５】
本発明に係る画像処理方法は、撮像画像中の物体を分離する画像処理方法であって、視点の異なる複数の撮像画像を取得する撮像ステップと、撮像画像を領域に過分割する過分割ステップと、複数の撮像画像に基づいて撮像画像中の物体までの奥行き距離を求める奥行き距離処理ステップと、奥行き距離処理ステップで求めた各奥行き距離に対する信頼度を求める信頼度処理ステップと、過分割ステップで過分割した過分割領域から信頼度処理ステップで求めた信頼度の高い過分割領域を抽出する抽出ステップと、抽出ステップで抽出した過分割領域における隣接する過分割領域間の奥行き距離の変化を求め、当該奥行き距離の変化に基づいて隣接する過分割領域間の結合度を求める結合度処理ステップと、結合度処理ステップで求めた結合度に基づいて抽出ステップで抽出した過分割領域における隣接する過分割領域間を結合又は分離することによって物体を分離する分離ステップとを含むことを特徴とする。
【０００６】
この画像処理方法では、撮像ステップで視点の異なる複数の撮像画像を取得する。そして、画像処理方法では、過分割ステップで撮像画像を各領域に過分割する。領域分割においては、例えば、撮像画像からエッジ情報、色情報、テクスチャ情報などを取得し、これらの情報を利用して類似している領域に分割する。この領域分割によって１つの物体でも複数の領域に分割されるので、過分割と呼んでいる。また、画像処理方法では、距離処理ステップで視点の異なる複数の撮像画像に基づいて物体までの奥行き距離をそれぞれ求める。この際、画像処理方法では、信頼度処理ステップで各奥行き距離についての信頼度（つまり、求められた奥行き距離の精度）を求める。視点の異なる撮像画像から奥行き距離を求める場合、床や壁などの均一な領域では撮像画像間で対応を取り難くなるので、奥行き距離の精度が低下し、一方、物体（特に、均一でない物体）が存在する領域では撮像画像間で対応を取り易くなるので、奥行き距離の精度が向上する。そこで、画像処理方法では、抽出ステップで全ての過分割領域から信頼度の高い過分割領域だけを抽出する。つまり、全領域から、情報としての信頼性が高く、分離対象である物体が存在する可能性の高い領域を抜き出す。そして、画像処理方法では、結合度処理ステップで抽出した過分割領域における隣接する過分割領域間の奥行き距離の変化を求め、この奥行き距離の変化に基づいてその隣接する過分割領域間の結合度（つまり、その隣接する過分割領域間を同じ物体の領域として結合してもよいか否かの尺度であり、異なる物体の境界として分離してもよいか否かの尺度でもある）を求める。例えば、奥行き距離の変化から過分割領域間が段差状、フラット状あるいは凸状などになっているかが判るので、そのような過分割領域間の状態に応じて結合度を求める。さらに、画像処理方法では、分離ステップで結合度に基づいて各過分割領域を結合又は分離し（つまり、同じ物体の領域とみなしてよい過分割領域間を結合し、異なる物体の境界とみなしてよい過分割領域間を分離し）、この結合又は分隣した過分割領域によって個々の物体に分離する。このように、この画像処理方法では、過分割領域間の奥行き距離の変化に基づいて結合度を定義し、結合度に応じてその隣接する過分割領域が同じ物体の領域か否かを判断することにより、物体毎に過分割領域を正確に結合できるとともに異なる物体間を正確に分離でき、高精度に個々の物体に分離することができる。また、この画像処理方法では、奥行き距離の信頼度の低い過分割領域を物体分離する対象から予め排除することにより、処理負荷を軽減することができるとともに物体分離の精度を向上させることができる。
【０００７】
本発明の上記画像処理方法では、抽出ステップは、過分割領域毎に信頼度の平均値を求めるステップと、信頼度の平均値が所定値以上の過分割領域を抽出するステップとを含む構成としてもよい。
【０００８】
この画像処理方法の抽出ステップでは、過分割領域における各奥行き距離に対する信頼度の平均値を求め、この信頼度の平均値が所定値以上の過分割領域を抽出する。このように、この画像処理方法では、信頼度を平均化することにより、ノイズの影響などを受けることなく、過分割領域全体としての信頼度によって物体分離に用いる領域を安定して抽出することができる。
【０００９】
本発明の上記画像処理方法では、結合度処理ステップは、隣接する過分割領域間の境界をまたぐように複数の参照点を設定するステップと、各参照点の奥行き距離と隣接する過分割領域間における位置に基づいて、設定した複数の参照点に非線形関数を当てはめるステップと、当てはめた非線形関数の中から当てはめ誤差が小さい非線形関数を選択するステップと、隣接する過分割領域間の境界における選択した非線形関数の曲率を算出するステップと、非線形関数の曲率に基づいて隣接する過分割領域間の結合度を算出するステップとを含む構成としてもよい。
【００１０】
この画像処理方法の結合度処理ステップでは、隣接する過分割領域間の境界をまたぐように複数の参照点を設定する。そして、結合度処理ステップでは、各参照点の奥行き距離と過分割領域間における位置に基づいて、参照点群に対して数種類の非線形関数をそれぞれ当てはめる。非線形関数は、隣接する過分割領域間の状態を表すための関数であり、例えば、過分割領域間の段差を表すシグモイド関数、凹凸を表す二次関数がある。そして、結合度処理ステップでは、当てはめた数種類の非線形関数から当てはめ誤差の小さい非線形関数を抽出する（つまり、良く当てはまっている非線形関数を抽出する）。さらに、結合度処理ステップでは、隣接する過分割領域間の境界における選択した非線形関数の曲率を求め、この求めた曲率から結合度を求める。このように、この画像処理方法では、非線形関数の種類と各非線形関数の曲率から隣接する過分割領域間の状態を詳細に判別し、その過分割領域間の状態を結合度として表す。その結果、過分割領域間において奥行き距離が不連続な状態のみならず、奥行き距離が連続している状態でも、異なる物体と判断可能な結合度を設定できる。例えば、凹部（机の上に置かれた物体の底辺の境界など）を異なる物体間と判断可能な結合度を設定できる。ちなみに、非線形関数の種類と各非線形関数の曲率が隣接する過分割領域間の奥行き距離の変化に相当する。
【００１１】
本発明の上記画像処理方法の非線形関数を当てはめるステップでは、各参照点を奥行き距離の信頼度によって重み付けして非線形関数を当てはめる構成としてもよい。
【００１２】
この画像処理方法では、上記した非線形関数を当てはめる際に、各参照点を奥行き距離の信頼度によって重み付けし、重み付けした参照点群に対して非線形関数を当てはめる。このように、画像処理方法では、各参照点を重み付けすることにより、信頼度の低い参照点の影響を受けることなく、信頼度の高い参照点を対して非線形関数を当てはめることができる。
【００１３】
本発明の上記画像処理方法では、分離ステップは、抽出ステップで抽出した過分割領域における隣接する過分割領域からなる領域に対して立体プリミティブを当てはめ、当該当てはめの精度を求めるステップと、立体プリミティブの当てはめ精度が所定精度以上の領域を分離対象の物体の領域と判定するステップとを含む構成としてもよい。
【００１４】
この画像処理方法の分離ステップでは、抽出した過分割領域のうち幾つかの過分割領域を結合した領域に対して立体プリミティブを当てはめ、その当てはめ精度を求める。立体プリミティブとしては、例えば、球、直方体、円柱がある。そして、分離ステップでは、当てはめ精度が所定精度以上の領域（つまり、ある立体に形状が当てはまっている領域）に含まれる全ての過分割領域を１つの物体の領域と判定する。このように、画像処理方法では、隣接する過分割領域間の結合度の他に、立体形状に対する当てはまり度合いを考慮することにより、個々の物体に分離するための過分割領域間の結合又は分離を高精度に行うことができるとともに、当てはまった立体プリミティブによって分離対象の物体の形状や大きさの認識が可能である。
【００１５】
本発明に係る画像処理装置は、撮像画像中の物体を分離する画像処理装置であって、視点の異なる複数の撮像画像を取得する複数の撮像手段と、撮像画像を領域に過分割する過分割手段と、複数の撮像画像に基づいて撮像画像中の物体までの奥行き距離を求める奥行き距離処理手段と、奥行き距離処理手段で求めた各奥行き距離に対する信頼度を求める信頼度処理手段と、過分割手段で過分割した過分割領域から信頼度処理手段で求めた信頼度の高い過分割領域を抽出する抽出手段と、抽出手段で抽出した過分割領域における隣接する過分割領域間の奥行き距離の変化を求め、当該奥行き距離の変化に基づいて隣接する過分割領域間の結合度を求める結合度処理手段と、結合度処理手段で求めた結合度に基づいて抽出手段で抽出した過分割領域における隣接する過分割領域間を結合又は分離することによって物体を分離する分離手段とを備えることを特徴とする。
【００１６】
本発明の上記画像処理装置では、抽出手段は、過分割領域毎に信頼度の平均値を求め、当該信頼度の平均値が所定値以上の過分割領域を抽出する構成としてもよい。
【００１７】
本発明の上記画像処理装置では、結合度処理手段は、隣接する過分割領域間の境界をまたぐように複数の参照点を設定し、各参照点の奥行き距離と隣接する過分割領域間における位置に基づいて、設定した複数の参照点に非線形関数を当てはめ、当該当てはめた非線形関数の中から当てはめ誤差が小さい非線形関数を選択し、隣接する過分割領域間の境界における選択した非線形関数の曲率を算出し、当該非線形関数の曲率に基づいて隣接する過分割領域間の結合度を算出する構成としてもよい。
【００１８】
本発明の上記画像処理装置では、各参照点を奥行き距離の信頼度によって重み付けして非線形関数を当てはめる構成としてもよい。
【００１９】
本発明の上記画像処理装置では、分離手段は、抽出手段で抽出した過分割領域における隣接する過分割領域からなる領域に対して立体プリミティブを当てはめ、当該当てはめの精度を求め、当該立体プリミティブの当てはめ精度が所定精度以上の領域を分離対象の物体の領域と判定する構成としてもよい。
【００２０】
なお、上記した各画像処理装置は、上記した各画像処理方法と同様の作用効果を有している。
【発明の効果】
【００２１】
本発明によれば、隣接する過分割領域間の奥行き距離の変化から結合度を定義することにより、撮像画像中の個々の物体を高精度に分離することができる。
【発明を実施するための最良の形態】
【００２２】
以下、図面を参照して、本発明に係る画像処理方法及び画像処理装置の実施の形態を説明する。
【００２３】
本実施の形態では、本発明を、撮像画像内の物体を個々に分離する画像処理装置に適用する。本発明に係る画像処理装置は、ステレオカメラを備えており、ステレオカメラによって所定の対象を撮像し、その撮像画像中の複数の物体を個々の物体に分離するために各物体に相当する領域に分割する。
【００２４】
図１を参照して、本実施の形態に係る画像処理装置１について説明する。図１は、本実施の形態に係る画像処理装置の構成図である。
【００２５】
画像処理装置１は、ステレオカメラで撮像し、その左右の撮像画像中の基準画像（例えば、左撮像画像）を領域に過分割する。そして、画像処理装置１は、物体までの奥行き距離を考慮して隣接する過分割領域間を結合／分離し、個々の物体に分離する。特に、画像処理装置１では、個々の物体を高精度に分離するために、隣接する過分割領域間の奥行き距離の変化に基づく結合度を算出し、結合度に基づいて過分割領域間を結合するかあるいは分離するかを判断する。画像処理装置１は、ステレオカメラを構成する２台のカメラ２，３、モニタ４及び画像処理部５を備えている。
【００２６】
なお、本実施の形態ではカメラ２，３が特許請求の範囲に記載する複数の撮像手段に相当し、画像処理部５で行われる各処理が特許請求の範囲に記載する過分割手段、奥行き距離処理手段、信頼度処理手段、抽出手段、結合度処理手段、分離手段に相当する。
【００２７】
カメラ２，３は、所定の間隔をあけて平行に撮像対象に配置され、撮像対象を撮像するカラーのステレオカメラである。カメラ２で撮像された画像は左撮像画像（基準画像とする）であり、カメラ３で撮像された画像は右撮像画像（参照画像とする）であり、視点の異なる二枚の撮像画像が同時に得られる。カメラ２，３は、ＣＣＤ［Charge coupled device］などの撮像素子を備えるデジタルカメラであり、デジタル画像データからなる撮像画像を画像信号として画像処理部５に送信する。なお、間隔などのカメラ２，３の位置関係についての情報やカメラ２，３の内部パラメータ、外部パラメータは、画像処理部５に予め保持されている。図２には、左右の撮像画像の一例を示しており、缶、直方体の箱、ボールの３つの物体が置かれている。図２では、各物体に絵柄や文字などを描いていないが、実際には、各物体に絵柄や文字などがあり、影も存在する。
【００２８】
モニタ４は、液晶モニタでもあるいはＣＲＴ[Cathode Ray Tube]モニタでもよく、画像処理部５の処理結果を表示出力する。モニタ４では、画像処理部５からの出力信号に応じて画像などを表示する。
【００２９】
画像処理部５は、パーソナルコンピュータなどのコンピュータ上に構成され、専用のアプリケーションプログラムを実行することによって各処理を行う。画像処理部５では、カメラ２，３から左右の撮像画像（ステレオ画像）をそれぞれ取り入れ、撮像画像の基準画像を領域に過分割する（領域過分割処理）。また、画像処理部５では、左右の撮像画像から物体までの奥行き距離を求め、各奥行き距離について信頼度を取得する（奥行き距離算出処理）。そして、画像処理部５では、全ての過分割領域から奥行き距離の信頼度の高い領域を抽出する（領域抽出処理）。さらに、画像処理部５では、信頼度の高い過分割領域に対して、隣接する過分割領域間の奥行き距離の変化に基づいて結合度を算出する（結合度算出処理）。最後に、画像処理部５では、信頼度の高い過分割領域に対して、隣接する過分割領域間を結合度に基づいて結合又は分離し、個々の物体に分離する（物体分離処理）。
【００３０】
領域過分割処理について説明する。画像処理部５では、基準画像のエッジ情報、色情報、テクスチャ情報などの画像情報を用いて、基準画像を領域に過分割する。過度な領域分割を行うので、撮像画像における各物体の存在する領域が多数の領域に分かれる。領域の分割手法としては、特に限定するものでなく、例えば、Ｍｅａｎ−ｓｈｉｆｔ法を用いることにより高速に分割を行うことができる。各種手法で領域分割を行う際に、閾値を高く設定することにより（つまり、分割条件を厳しくすることにより）、過度に領域を分割するようにする。図３には、図２の左撮像画像を領域に過分割した過分割領域画像を示しており、各物体が多数の領域に分割されている。
【００３１】
奥行き距離算出処理について説明する。画像処理部５では、左右の撮像画像間で相関演算を行い、その演算結果から得られた視差を用いて物体までの奥行き距離（画素毎）を算出する。この際、画像処理部５では、相関演算の過程で、各奥行き距離に対する精度に相当する信頼度を取得する。左右の撮像画像間で相関演算を行う場合、色、模様、形状などの変化のない均一なところ（例えば、床、壁）では左右の撮像画像間での対応が取り難いので、奥行き距離の信頼度が低くなる。このような均一なところは（つまり、特徴のないところは）、物体が存在していない可能性が高いので、物体分離を行う対象としない。一方、色、模様、形状などの変化があるところや物体間の境界、各物体の輪郭部分などでは左右の撮像画像間での対応が取り易いので、奥行き距離の信頼度が高くなる。このような均一でないところは（つまり、特徴のあるところは）、物体が存在している可能性が高いので、物体分離を行う対象とする。図４には、図２の左撮像画像における各物体や背景までの奥行き距離を表す奥行き距離画像を示しており、画素毎に色で奥行き距離を表している。この奥行き距離画像では、物体の存在する領域では全体的に一様な距離分布となっているが、それ以外の領域ではばらついた距離分布となっている。また、図５には、各奥行き距離の信頼度を表す信頼度画像を示しており、画素毎に色で信頼度を表している。この信頼度画像では、物体の存在する領域では高い信頼度の色となっており、それ以外の領域では低い信頼度の色となっている。
【００３２】
領域抽出処理について説明する。画像処理部５では、相関演算の際のノイズの影響によって信頼度がばらつくので、過分割領域毎に、各過分割領域に含まれる全ての奥行き距離（画素毎）の平均値を算出する。そして、画像処理部５では、信頼度の平均値が閾値以上か否かを判定し、閾値以上の過分割領域を抽出する（つまり、信頼度の高い過分割領域を抽出する）。閾値は、奥行き距離の信頼度が高いか否かを判定するための閾値であり、実験やシミュレーションなどによって予め設定される。図６には、図３に示す過分割領域から信頼度の高い領域として抽出された領域を白で示した二値画像を示している。図６から判るように、ノイズの影響などによって、物体が存在する領域にもかかわらず、白い領域内の一部に領域抽出されていない黒い領域が一部残る場合がある。そこで、画像処理部５では、抽出した全ての過分割領域に基づいて穴埋め処理を行う。この穴埋め処理では、抽出されなかった各過分割領域について、その過分割領域が抽出された過分割領域によって囲まれている場合にはその過分割領域を信頼度の高い領域として抽出し、穴埋めを行う。図７には、図６に示す信頼度の高い領域として抽出された領域に、更に穴埋め処理を施して信頼度の高い領域として抽出された領域を含めた領域を白で示した二値画像を示している。また、図８には、図３に示す過分割領域画像から図７の白で示す領域（信頼度の高い領域）を抽出した信頼度の高い領域のみからなる過分割領域画像を示している。また、図９には、図４に示す奥行き距離画像から図７の白で示す領域を抽出した信頼度の高い領域のみからなる奥行き距離画像を示している。
【００３３】
結合度算出処理について説明する。画像処理部５では、抽出した信頼度の高い過分割領域から、隣接する２つの過分割領域ｉ，ｊを順次選択する。そして、画像処理部５では、その２つの過分割領域ｉ，ｊが接している境界線を所定本数（例えば、３本）の線分からなる折れ線によって近似する。さらに、画像処理部５では、折れ線の線分毎に、その線分を中心とし、その線分に直交する線を主軸として、多数個の格子点（参照点）を定義する。参照点の個数については、非線形関数を当てはめるために必要な十分な個数とする。参照点の間隔については、画素間隔を考慮して、隣接する過分割領域内に十分な個数の参照点を配置できる間隔とする。図１０に示す例では、９×５個の参照点ＲＰ，・・・が、折れ線ＦＬの線分を中心として左右に配置され、主軸ＰＡを中心として上下に配置されている。
【００３４】
画像処理部５では、参照点毎に、その参照点周辺の各画素の奥行き距離を用いて奥行き距離を算出する。そして、画像処理部５では、各参照点について、主軸上の位置を横軸座標点とし、算出した奥行き距離を縦軸座標点とした二次元座標系の位置を設定する（図１１参照）。さらに、画像処理部５では、二次元座標系上の多数の参照点群に対して、数種類の非線形関数を当てはめる。この際、画像処理部５では、当てはめた非線形関数毎に、その非線形関数の当てはまりの度合いを示す当てはめ誤差を算出する。当てはめる非線形関数としては、例えば、凹凸を表現することができる二次関数、段差を表現することができるシグモイド関数を用いる。
【００３５】
非線形関数を当てはめる際に、画像処理部５では、ノイズなどの影響によってばらついている参照点の影響を受けないように、各参照点の奥行き距離の信頼度で重み付けを行って、非線形関数を当てはめる。つまり、信頼度が高いほど大きな重みが付与され、重みが大きな参照点ほど非線形関数の当てはめに大きな影響を与え、信頼度が低いほど小さい重みが付与され、重みが小さい参照点ほど非線形関数の当てはめに影響を与えない。具体的には、画像処理部５では、式（１）の評価関数Ｅを用いて、評価関数Ｅを最小とする非線形関数Ｆ（ｐ，ｘｉ）のパラメータベクトルｐを求める。
【００３６】
【数１】
【００３７】
式（１）において、ｉは各参照点の識別番号であり、Ｄｉは参照点の奥行き距離であり、Ｃｉは参照点の奥行き距離の信頼度であり、ｘｉは参照点の主軸座標であり、σｉは同じ主軸座標を持つ参照点群の奥行き距離の標準偏差である。ｐは、非線形関数Ｆを表すパラメータベクトルであり、例えば、二次関数Ｆ＝ａｘ２＋ｂｘ＋ｃの場合、（ａ，ｂ，ｃ）がパラメータベクトルである。
【００３８】
そして、画像処理部５では、数種類の当てはめた非線形関数のうち当てはめ誤差が小さい非線形関数を選択し、その選択した非線形関数を最も当てはまった非線形関数とする。図１１（ａ）には上に凸を表す二次関数Ｆ１が当てはまった場合（破線で示すシグモイド関数が当てはまらなかった場合）を示しており、図１１（ｂ）には下に凸を表す二次関数Ｆ２が当てはまった場合（破線で示すシグモイド関数が当てはまらなかった場合）を示しており、図１１（ｃ）には段差を表すシグモイド関数Ｆ３が当てはまった場合（破線で示す大きな曲率を有する二次関数が当てはまらなかった場合）を示している。
【００３９】
ちなみに、過分割領域間の奥行き距離の変化が上に凸状になっているところは、三次元的にへこんでいるところであり（例えば、平面に物体が置かれている場合の平面と物体の底面との境界部分）、異なる物体である可能性が高い。過分割領域間の奥行き距離の変化が下に凸状になっているところは、三次元的に出っ張っているところであり、同じ物体である可能性が高い。過分割領域間の奥行き距離の変化が段差になっているところは、異なる物体である可能性が高い。
【００４０】
さらに、画像処理部５では、隣接する過分割領域間の境界線に相当する主軸座標の位置（横軸の座標点）での選択した非線形関数の曲率ｒを算出する。つまり、図１０に示すように、過分割領域ｉ，ｊ間の境界線ＢＬの位置を主軸ＰＡの座標上で求め、その主軸座標における非線形関数の曲率を求める。この際、非線形関数として上に凸を表す二次関数が選択されている場合にはｒ／｜ｒ｜として常に正値の曲率ｒを求め、非線形関数として下に凸を表す二次関数が選択されている場合には−ｒ／｜ｒ｜として常に負値の曲率ｒを求め、非線形関数として段差を表すシグモイド関数が選択されている場合にはｒ／｜ｒ｜として常に正値の曲率ｒを求める。
【００４１】
さらに、結合度を０〜１の値で表すために、画像処理部５では、隣接する過分割領域ｉ，ｊについて、非線形関数の曲率ｒｉｊを用いて、式（２）により、過分割領域ｉ，ｊ間の結合度ｕｉｊを算出する。結合度ｕｉｊは、過分割領域ｉ，ｊ間の奥行き距離の変化からその２つの過分割領域ｉ，ｊを１つの物体の領域として結合してよいか否かの度合い（言い換えれば、２つの過分割領域ｉ，ｊを異なる物体の境界として分離してよいか否かの度合い）を示し、０〜１の値である。図１２に示すように、結合度ｕが１に近いほどその隣接する過分割領域が同じ物体である確率が高く、結合度ｕが０に近いほどその隣接する過分割領域が異なる物体である確率が高い。
【００４２】
【数２】
【００４３】
式（２）では、ｍａｘ（ｒｉｊ）は隣接する全ての組み合わせの過分割領域ｉ，ｊ間の曲率ｒｉｊのうちの最大値であり、ｍｉｎ（ｒｉｊ）は隣接する全ての組み合わせの過分割領域ｉ，ｊ間の曲率ｒｉｊのうちの最小値であり、ρは調整パラメータ（閾値）である。但し、結合度ｕｉｊが存在しない過分割領域間ではｕｉｊ＝ｕｊｉ＝０とする。
【００４４】
物体分離処理について説明する。画像処理部５では、信頼度の高い全ての過分割領域に対して識別番号をそれぞれ付与する。図１３には、信頼度の高い過分割領域に識別番号を付与した一例を示しており、説明を簡単にするために比較的大きな過分割領域にのみ識別番号が付与されているが、実際には信頼度の高い全ての過分割領域に識別番号が付与される。
【００４５】
そして、画像処理部５では、最初に、信頼度の高い全ての過分割領域に対して隣接している過分割領域間を全て結合した状態で立体プリミティブの当てはめを開始する。図１４には、図１３に示す識別番号が付与された全ての過分割領域に対して隣接している過分割領域間が結合され、その結合された過分割領域間の結合度が線の太さ（線が太いほど結合度が大きい）で示されている。図１４の例では、例えば、領域１３と領域１２、領域１３と領域１４とは結合度が大きく、同じ物体である可能性が高く、領域１２と領域１１とは結合が小さく、異なる物体である可能性が高い。また、図１８には、図２の撮像画像に対して信頼度の高い全ての過分割領域を１つの領域Ｒ１に結合した状態を示している。
【００４６】
さらに、画像処理部５では、結合されて一塊となっている過分割領域群からなる領域に対して数種類の立体プリミティブを当てはめ、当てはめ誤差をそれぞれ算出する。立体プリミティブとしては、例えば、球、直方体、円柱である。当てはめる際に、立体プリミティブの全体的な大きさや寸法比を変えながら当てはめる。例えば、直方体の場合には高さ寸法を０に近づけることによって（つまり、薄くすることによって）床などの平面にも当てはめることもできるし、球の場合には短径と長径との比を変えることによって楕円形の球にも当てはめることができる。そして、画像処理部５では、当てはめた数種類の立体プリミティブの中から当てはめ誤差が最小の立体プリミティブを選択し、その選択した立体プリミティブの当てはめ精度を算出する。当てはめ精度としては、例えば、三次元点と当てはめた立体プリミティブの表面との距離などを用いることによって求めることができる。
【００４７】
さらに、画像処理部５では、当てはめ精度が閾値以上か否かを判定する。この閾値は、領域が立体プリミティブと同様の形状を有しているとみなすことができるか否かを判断するための閾値であり、実験やシミュレーションなどによって予め設定される。当てはめ誤差が閾値以上の場合、画像処理部５では、その結合されて一塊となっている過分割領域群からなる領域を同じ物体を構成する領域として判断する。一方、当てはめ誤差が閾値未満の場合、画像処理部５では、その結合されて一塊となっている過分割領域群からなる領域を、結合度及び全体的な結合度の分布や全体的な繋がり方などを考慮して、２つの領域に分離する。そして、画像処理部５では、信頼度の高い全ての過分割領域に対して何れかの立体プリミティブに当てはまるまで、立体プリミティブの当てはめと領域の分離を繰り返し行う。
【００４８】
例えば、図１４に示す全ての過分割領域を結合した領域に対して立体プリミティブを当てはめた場合には当てはめ精度が閾値未満となり、この一塊の領域が２つの領域に分離される。これが、図１５に示されており、過分割領域１１，１２間の結合度の小さいさや過分割領域１２，１３，１４の結びつきの強さなどから、領域１２，１３，１４を一塊とした領域とその他の過分割領域からなる領域とに分離される。図１９には、図２の撮像画像に対して２つの領域Ｒ２，Ｒ３に分離した状態を示している。この図１５に示す過分割領域１２，１３，１４を結合した領域に対しては球の立体プリミティブが当てはまり、その当てはめ精度も閾値以上となり、この３つの過分割領域１２，１３，１４が同じ物体（ボール）の領域として結合することが確定する。
【００４９】
一方、図１５に示す過分割領域１２，１３，１４以外の過分割領域を結合した領域に対して立体プリミティブを当てはめた場合には当てはめ精度が閾値未満となり、この一塊の領域が更に２つの領域に分離される。これが、図１６に示されており、過分割領域３，５間、過分割領域４，５間、過分割領域４，７間の結合度の小ささや過分割領域１，２，３，４の結びつきの強さなどから、過分割領域１，２，３，４を一塊とした領域とその他の過分割領域からなる領域とに分離される。図２０には、図２の撮像画像に対して３つの領域Ｒ３，Ｒ４，Ｒ５に分離した状態を示している。この図１６に示す過分割領域１，２，３，４を結合した領域に対しては直方体の立体プリミティブが当てはまり、その当てはめ精度も閾値以上となり、この４つの過分割領域１，２，３，４が同じ物体（直方体の箱）の領域として結合することが確定する。
【００５０】
一方、図１６に示す過分割領域１，２，３，４以外の過分割領域を結合した領域に対して立体プリミティブを当てはめた場合には当てはめ精度が閾値未満となり、この一塊の領域が更に２つの領域に分離される。これが、図１７に示されており、過分割領域５，７間、過分割領域６，７間、過分割領域９，７間の結合度の小ささや過分割領域５，６，８，９の結びつきの強さなどから、過分割領域５，６，８，９を一塊とした領域とその他の過分割領域からなる領域とに分離される。図２１には、図２の撮像画像に対して４つの領域Ｒ３，Ｒ４，Ｒ６，Ｒ７に分離した状態を示している。この図１７に示す過分割領域５，６，８，９を結合した領域に対しては円柱の立体プリミティブが当てはまり、その当てはめ精度も閾値以上となり、この４つの過分割領域５，６，８，９が同じ物体（缶）の領域として結合することが確定する。
【００５１】
図１７に示す最後に残った過分割領域７，１０，１１を結合した領域に対しては直方体（高さを０に近づけた直方体）が当てはまり、その当てはめ精度も閾値以上となり、この４つの過分割領域７，１０，１１が同じ物体（床などの平面）の領域として結合することが確定する。
【００５２】
このように、画像処理部５では、信頼度の高い過分割領域からなる領域に立体プリミティブを順次当てはめ、立体プリミティブが当てはまらなかった領域については結合度などに基づいて分離していくことによって、１つの物体に相当する結合する過分割領域を確定する（つまり、個々の物体に分離する）。この際、画像処理部５では、当てはめた立体プリミティブの種類、大きさ、寸法比などから分離した物体の大きさ、形状などを判別し、分離した物体が何かを認識する。
【００５３】
画像処理部５では、その個々に分離した物体を示す画像あるいは個々の物体の情報などの出力結果を出力信号として設定し、その出力信号をモニタ４に送信する。また、必要に応じて、画像処理部５では、処理過程で生成される過分割領域画像、奥行き距離画像、信頼度画像、信頼度の高い領域を示す二値画像、信頼度の高い領域のみからなる過分割領域画像、信頼度の高い領域のみからなる奥行き距離画像などを出力信号として設定し、その出力信号をモニタ４に送信する。
【００５４】
図１を参照して、画像処理装置１における動作について説明する。特に、画像処理部５における全体的な処理の流れについては図２２のフローチャートに沿って説明し、領域抽出処理の流れについては図２３のフローチャートに沿って説明し、結合度算出処理の流れについては図２４のフローチャートに沿って説明し、重み付け処理の流れについては図２５のフローチャートに沿って説明し、物体分離処理の流れについて図２６のフローチャートに沿って説明する。図２２は、本実施の形態に係るメイン処理を示すフローチャートである。図２３は、本実施の形態に係る領域抽出処理を示すフローチャートである。図２４は、本実施の形態に係る結合度算出処理を示すフローチャートである。図２５は、本実施の形態に係る重み付け処理を示すフローチャートである。図２６は、本実施の形態に係る物体分離処理を示すフローチャートである。
【００５５】
カメラ２，３では、撮像対象をそれぞれ撮影し、その各撮像画像を画像信号として画像処理部５に送信する。
【００５６】
画像処理部５では、カメラ２，３から各画像信号を受信し、左右の撮像画像（ステレオ画像）を取り入れる（図２２のＳ１）。そして、画像処理部５では、ステレオ画像のうち基準画像を領域に過分割する（図２２のＳ２）。また、画像処理部５では、左右の撮像画像に対する相関演算により物体までの各奥行き距離を算出するとともに（図２２のＳ３）、各奥行き距離についての信頼度を取得する（図２２のＳ４）。
【００５７】
画像処理部５では、全ての過分割領域の中から奥行き距離の信頼度の高い過分割領域を抽出する（図２２のＳ５）。この際、画像処理部５では、過分割領域毎に、奥行き距離の信頼度の平均値を算出する（図２３のＳ１０）。そして、画像処理部５では、各過分割領域の信頼度の平均値が閾値以上か否かを判定し、全ての過分割領域から信頼度の平均値が閾値以上の過分割領域を抽出する（図２３のＳ１１）。さらに、画像処理部５では、抽出した過分割領域群について穴埋め処理を行う（図２３のＳ１２）。ここで、距離情報の信頼性が高く、分離対象の物体が存在する可能性の高い過分割領域だけが抽出される。
【００５８】
画像処理部５では、抽出した過分割領域群の中から隣接する過分割領域ｉと過分割領域ｊを順次選択し、その隣接する過分割領域ｉ，ｊ間の奥行き距離の変化に基づいて過分割領域ｉ，ｊの結合度を算出する（図２２のＳ６）。この際、画像処理部５では、隣接する過分割領域ｉ，ｊを選択すると、過分割領域ｉ，ｊ間の境界線に対して折れ線を近似し、折れ線の各線分を中心として多数の参照点を格子状に設定する（図２４のＳ２０）。そして、画像処理部５では、横軸を主軸方向（折れ線の各線分と直交する方向）の座標とし、縦軸を奥行き距離とした座標系に全ての参照点を配置させ、その座標系上の参照群に対して数種類の非線形関数を当てはめ、当てはめた非線形関数毎に当てはめ誤差を求める（図２４のＳ２１）。非線形関数を当てはめる際、画像処理部５では、当てはめる非線形関数をＦ（ｐ，ｘ）として、式（１）の評価関数Ｅが最小とするパラメータベクトルｐを求めることによって、非線形関数を当てはめる（図２５のＳ３０）。
【００５９】
全ての非線形関数を当てはめると、画像処理部５では、当てはめた数種類の非線形関数の中から当てはめ誤差の最も小さい非線形関数Ｆを選択する（図２４のＳ２２）。そして、画像処理部５では、隣接する過分割領域ｉ，ｊ間の境界線に相当する横軸の座標でのその選択した非線形関数Ｆの曲率ｒｉｊを算出する（図２４のＳ２３）。さらに、画像処理部５では、その曲率ｒｉｊを用いて、式（２）によりその隣接する過分割領域ｉ，ｊ間の結合度ｕｉｊを算出する（図２４のＳ２４）。ここで、抽出した過分割領域群における全ての組み合わせの隣接する過分割領域ｉ，ｊについて、奥行き距離の変化に基づく結合度が求められる。
【００６０】
抽出した過分割領域群の中の全ての隣接する過分割領域間の結合度を算出すると、画像処理部５では、その抽出した過分割領域群について結合度に基づいて隣接する過分割領域間を結合又は分離し、複数個の過分割領域からなる個々の物体に分離する（図２２のＳ７）。この際、画像処理部５では、抽出した全ての過分割領域の処理フラグを０にそれぞれ設定する（図２６のＳ４０）最初に、画像処理部５では、隣接する過分割領域間を全て繋げて１つの領域とし、ｋ＝１に設定する（図２６のＳ４１）。処理フラグは、物体として確定した過分割領域（結合状態が確定した過分割領域）か否かを示すフラグであり、確定した過分割領域には１が設定され、確定していない過分割領域には０が設定される。ｋは、抽出した過分割領域群が幾つの領域に分離されたかを示し、初期値が１であり、領域間が分離される毎に１ずつ増加される。
【００６１】
画像処理部５では、ｋ番目の分離結果において処理フラグが０に設定されている過分割領域（つまり、結合状態が確定していない過分割領域）からなる各領域に対して数種類の立体プリミティブを当てはめ、当てはめた立体プリミティブ毎に当てはめ誤差を求め、当てはめ誤差が最小となる立体プリミティブについての当てはめ精度を算出する（図２６のＳ４２）。そして、画像処理部５では、当てはめ精度が閾値以上か否かを判定し、当てはめ精度が閾値以上の場合にはその領域を構成する全ての過分割領域の処理フラグを１に設定する（図２６のＳ４３）。ここで、当てはめ精度が閾値以上の領域に含まれる過分割領域の結合状態が確定し、この結合状態が確定した過分割領域群が１つの物体として分離されたことになる。この際、画像処理部５では、その当てはめ精度が閾値以上となった立体プリミティブの種類、大きさ、寸法比などからその分離された物体の種類、形状、大きさなどを認識する。
【００６２】
画像処理部５では、抽出した全ての過分割領域の処理フラグが１か否かを判定する（図２６のＳ４４）。Ｓ４４の判定にて処理フラグが０の過分割領域が存在すると判定した場合、画像処理部５では、その処理フラグが０の過分割領域群からなる領域において結合度が小さい過分割領域間を分離し（図２６のＳ４５）、ｋに１を加算する（図２６のＳ４６）。そして、画像処理部５では、この分離された各領域に対してＳ４２以降の処理をそれぞれ行う。一方、Ｓ４４の判定にて抽出した全ての過分割領域の処理フラグが１と判定した場合、画像処理部５では、処理を終了する。ここで、抽出した全ての過分割領域についての結合状態が確定し、各結合状態の過分割領域群からなる領域によって個々の物体に分離されたことになる。
【００６３】
画像処理部５では、物体の分離結果（画像など）を示す出力信号を生成し、その出力信号をモニタ４に送信する。モニタ４では、受信した出力信号に応じた分離結果を表示する。
【００６４】
この画像処理装置１によれば、隣接する過分割領域間の奥行き距離の変化に着目して結合度を定義することにより、隣接する過分割領域が異なる物体かあるいは同じ物体かを高精度に判断できる。そのため、各物体に相当する領域を正確に分割でき、個々の物体を高精度に分離することができる。
【００６５】
また、画像処理装置１によれば、奥行き距離の信頼度に着目して信頼度の高い過分割領域を抽出することにより、処理負荷を軽減できるとともに物体の分離精度も向上する。特に、画像処理装置１では、過分割領域毎に信頼度の平均値を用いるとともに穴埋め処理を行うことにより、相関演算のノイズなどの影響を受けることなく、信頼度の高い過分割領域を高精度に抽出することができる。
【００６６】
また、画像処理装置１によれば、非線形関数を当てはめ、その当てはめた非線形関数の種類と曲率を用いることにより、隣接する過分割領域間の奥行き距離の変化を正確に表すことができる。そのため、隣接する過分割領域間の正確な結合度を定義でき、隣接する過分割領域間を結合するか否かを高精度に判断できる。特に、画像処理装置１では、参照点を信頼度によって重み付けして非線形関数を当てはめることにより、非線形関数を高精度に当てはめることができる。
【００６７】
また、画像処理装置１によれば、立体プリミティブによる当てはめによって個々の物体に分離することにより、物体の分離精度が向上するとともに、当てはめた立体プリミティブから分離した物体に関する詳細な情報を取得することができる。
【００６８】
以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。
【００６９】
例えば、本実施の形態ではコンピュータ上でアプリケーションプログラム（ソフトウエア）を実行することによって各処理を行う構成としたが、ハードウエアによって各処理部を構成してもよい。
【００７０】
また、本実施の形態では２台のカメラによるステレオカメラで複数の撮像手段を構成したが、３台以上のカメラで複数の撮像手段を構成してもよい。
【００７１】
また、本実施の形態では各過分割領域について信頼度の平均値を求め、その平均値が閾値以上の過分割領域を抽出する構成としたが、信頼度をそのまま用いて過分割領域を抽出するようにしてもよいし、あるいは、過分割領域全体の信頼度を示す平均値以外の信頼度に関する値を用いて過分割領域を抽出してもよい。
【００７２】
また、本実施の形態では隣接する過分割領域間に参照点を設定し、多数の参照点に対して非線形関数を当てはめ、その当てはまった非線形関数の曲率から結合度を求める構成としたが、他の方法により隣接する過分割領域間の奥行き距離の変化から結合度を求めてもよい。
【００７３】
また、本実施の形態では参照点として格子点を設定したが、格子点以外の配列の参照点としてもよい。
【００７４】
また、本実施の形態では非線形関数として二次関数やシグモイド関数を用いたが、領域間の状態を表すことができれば、他の非線形関数を用いてもよい。
【００７５】
また、本実施の形態では各参照点における奥行き距離の信頼度によって重み付けして非線形関数を当てはめる構成としたが、重み付けを行わないで非線形関数を当てはめてもよい。
【００７６】
また、本実施の形態では隣接した過分割領域からなる領域に対して立体プリミティブを当てはめ、その当てはめ精度が閾値以上の領域を分離対象の物体とする構成としたが、他の方法により結合度に基づいて過分割領域を結合してもよい。
【図面の簡単な説明】
【００７７】
【図１】本実施の形態に係る画像処理装置の構成図である。
【図２】左右の撮像画像の一例である。
【図３】図２の撮像画像の過分割領域画像の一例である。
【図４】図２の左右の撮像画像に基づく奥行き距離画像の一例である。
【図５】図４の奥行き距離画像に対する信頼度画像の一例である。
【図６】図５の信頼度画像に基づく信頼度の高い領域を示す二値画像（穴埋め処理前）の一例である。
【図７】図５の信頼度画像に基づく信頼度の高い領域を示す二値画像（穴埋め処理後）の一例である。
【図８】図３の過分割領域画像において信頼度の高い領域のみからなる過分割領域画像の一例である。
【図９】図４の奥行き距離画像において信頼度の高い領域のみからなる奥行き距離画像の一例である。
【図１０】隣接する過分割領域間に参照点を設定した一例である。
【図１１】参照点群に対して非線形関数を当てはめた一例であり、（ａ）が上に凸を表す非線形関数が当てはまった場合であり、（ｂ）が下に凸を表す非線形関数が当てはまった場合であり、（ｃ）が段差を表す非線形関数が当てはまった場合である。
【図１２】結合度と異なる物体の境界である度合いとの関係を示す図である。
【図１３】図７の信頼度の高い過分割領域画像において各過分割領域に識別番号を付与した画像の一例である。
【図１４】図１３の識別番号を付与した過分割領域を１つの領域に結合した状態を示す図である。
【図１５】図１３の識別番号を付与した過分割領域を２つの領域に分離した状態を示す図である。
【図１６】図１３の識別番号を付与した過分割領域を３つの領域に分離した状態を示す図である。
【図１７】図１３の識別番号を付与した過分割領域を４つの領域に分離した状態を示す図である。
【図１８】図２の撮像画像において信頼度の高い過分割領域を１つの領域に結合した状態を示す図である。
【図１９】図２の撮像画像において信頼度の高い過分割領域を２つの領域に分離した状態を示す図である。
【図２０】図２の撮像画像において信頼度の高い過分割領域を３つの領域に分離した状態を示す図である。
【図２１】図２の撮像画像において信頼度の高い過分割領域を４つの領域に分離した状態を示す図である。
【図２２】本実施の形態に係るメイン処理を示すフローチャートである。
【図２３】本実施の形態に係る領域抽出処理を示すフローチャートである。
【図２４】本実施の形態に係る結合度算出処理を示すフローチャートである。
【図２５】本実施の形態に係る重み付け処理を示すフローチャートである。
【図２６】本実施の形態に係る物体分離処理を示すフローチャートである。
【符号の説明】
【００７８】
１…画像処理装置、２，３…カメラ、４…モニタ、５…画像処理部
【特許請求の範囲】
【請求項１】
撮像画像中の物体を分離する画像処理方法であって、
視点の異なる複数の撮像画像を取得する撮像ステップと、
撮像画像を領域に過分割する過分割ステップと、
複数の撮像画像に基づいて撮像画像中の物体までの奥行き距離を求める奥行き距離処理ステップと、
前記奥行き距離処理ステップで求めた各奥行き距離に対する信頼度を求める信頼度処理ステップと、
前記過分割ステップで過分割した過分割領域から前記信頼度処理ステップで求めた信頼度の高い過分割領域を抽出する抽出ステップと、
前記抽出ステップで抽出した過分割領域における隣接する過分割領域間の奥行き距離の変化を求め、当該奥行き距離の変化に基づいて隣接する過分割領域間の結合度を求める結合度処理ステップと、
前記結合度処理ステップで求めた結合度に基づいて前記抽出ステップで抽出した過分割領域における隣接する過分割領域間を結合又は分離することによって物体を分離する分離ステップと
を含むことを特徴とする画像処理方法。
【請求項２】
前記抽出ステップは、
過分割領域毎に信頼度の平均値を求めるステップと、
信頼度の平均値が所定値以上の過分割領域を抽出するステップと
を含むことを特徴とする請求項１に記載する画像処理方法。
【請求項３】
前記結合度処理ステップは、
隣接する過分割領域間の境界をまたぐように複数の参照点を設定するステップと、
各参照点の奥行き距離と隣接する過分割領域間における位置に基づいて、設定した複数の参照点に非線形関数を当てはめるステップと、
当てはめた非線形関数の中から当てはめ誤差が小さい非線形関数を選択するステップと、
隣接する過分割領域間の境界における選択した非線形関数の曲率を算出するステップと、
非線形関数の曲率に基づいて隣接する過分割領域間の結合度を算出するステップと
を含むことを特徴とする請求項１又は請求項２に記載する画像処理方法。
【請求項４】
前記非線形関数を当てはめるステップでは、各参照点を奥行き距離の信頼度によって重み付けして非線形関数を当てはめることを特徴とする請求項３に記載する画像処理方法。
【請求項５】
前記分離ステップは、
前記抽出ステップで抽出した過分割領域における隣接する過分割領域からなる領域に対して立体プリミティブを当てはめ、当該当てはめの精度を求めるステップと、
立体プリミティブの当てはめ精度が所定精度以上の領域を分離対象の物体の領域と判定するステップと
を含むことを特徴とする請求項１〜請求項４のいずれか１項に記載する画像処理方法。
【請求項６】
撮像画像中の物体を分離する画像処理装置であって、
視点の異なる複数の撮像画像を取得する複数の撮像手段と、
撮像画像を領域に過分割する過分割手段と、
複数の撮像画像に基づいて撮像画像中の物体までの奥行き距離を求める奥行き距離処理手段と、
前記奥行き距離処理手段で求めた各奥行き距離に対する信頼度を求める信頼度処理手段と、
前記過分割手段で過分割した過分割領域から前記信頼度処理手段で求めた信頼度の高い過分割領域を抽出する抽出手段と、
前記抽出手段で抽出した過分割領域における隣接する過分割領域間の奥行き距離の変化を求め、当該奥行き距離の変化に基づいて隣接する過分割領域間の結合度を求める結合度処理手段と、
前記結合度処理手段で求めた結合度に基づいて前記抽出手段で抽出した過分割領域における隣接する過分割領域間を結合又は分離することによって物体を分離する分離手段と
を備えることを特徴とする画像処理装置。
【請求項７】
前記抽出手段は、過分割領域毎に信頼度の平均値を求め、当該信頼度の平均値が所定値以上の過分割領域を抽出することを特徴とする請求項６に記載する画像処理装置。
【請求項８】
前記結合度処理手段は、隣接する過分割領域間の境界をまたぐように複数の参照点を設定し、各参照点の奥行き距離と隣接する過分割領域間における位置に基づいて、設定した複数の参照点に非線形関数を当てはめ、当該当てはめた非線形関数の中から当てはめ誤差が小さい非線形関数を選択し、隣接する過分割領域間の境界における選択した非線形関数の曲率を算出し、当該非線形関数の曲率に基づいて隣接する過分割領域間の結合度を算出することを特徴とする請求項６又は請求項７に記載する画像処理装置。
【請求項９】
各参照点を奥行き距離の信頼度によって重み付けして非線形関数を当てはめることを特徴とする請求項８に記載する画像処理装置。
【請求項１０】
前記分離手段は、前記抽出手段で抽出した過分割領域における隣接する過分割領域からなる領域に対して立体プリミティブを当てはめ、当該当てはめの精度を求め、当該立体プリミティブの当てはめ精度が所定精度以上の領域を分離対象の物体の領域と判定することを特徴とする請求項６〜請求項９のいずれか１項に記載する画像処理装置。
【請求項１】
撮像画像中の物体を分離する画像処理方法であって、
視点の異なる複数の撮像画像を取得する撮像ステップと、
撮像画像を領域に過分割する過分割ステップと、
複数の撮像画像に基づいて撮像画像中の物体までの奥行き距離を求める奥行き距離処理ステップと、
前記奥行き距離処理ステップで求めた各奥行き距離に対する信頼度を求める信頼度処理ステップと、
前記過分割ステップで過分割した過分割領域から前記信頼度処理ステップで求めた信頼度の高い過分割領域を抽出する抽出ステップと、
前記抽出ステップで抽出した過分割領域における隣接する過分割領域間の奥行き距離の変化を求め、当該奥行き距離の変化に基づいて隣接する過分割領域間の結合度を求める結合度処理ステップと、
前記結合度処理ステップで求めた結合度に基づいて前記抽出ステップで抽出した過分割領域における隣接する過分割領域間を結合又は分離することによって物体を分離する分離ステップと
を含むことを特徴とする画像処理方法。
【請求項２】
前記抽出ステップは、
過分割領域毎に信頼度の平均値を求めるステップと、
信頼度の平均値が所定値以上の過分割領域を抽出するステップと
を含むことを特徴とする請求項１に記載する画像処理方法。
【請求項３】
前記結合度処理ステップは、
隣接する過分割領域間の境界をまたぐように複数の参照点を設定するステップと、
各参照点の奥行き距離と隣接する過分割領域間における位置に基づいて、設定した複数の参照点に非線形関数を当てはめるステップと、
当てはめた非線形関数の中から当てはめ誤差が小さい非線形関数を選択するステップと、
隣接する過分割領域間の境界における選択した非線形関数の曲率を算出するステップと、
非線形関数の曲率に基づいて隣接する過分割領域間の結合度を算出するステップと
を含むことを特徴とする請求項１又は請求項２に記載する画像処理方法。
【請求項４】
前記非線形関数を当てはめるステップでは、各参照点を奥行き距離の信頼度によって重み付けして非線形関数を当てはめることを特徴とする請求項３に記載する画像処理方法。
【請求項５】
前記分離ステップは、
前記抽出ステップで抽出した過分割領域における隣接する過分割領域からなる領域に対して立体プリミティブを当てはめ、当該当てはめの精度を求めるステップと、
立体プリミティブの当てはめ精度が所定精度以上の領域を分離対象の物体の領域と判定するステップと
を含むことを特徴とする請求項１〜請求項４のいずれか１項に記載する画像処理方法。
【請求項６】
撮像画像中の物体を分離する画像処理装置であって、
視点の異なる複数の撮像画像を取得する複数の撮像手段と、
撮像画像を領域に過分割する過分割手段と、
複数の撮像画像に基づいて撮像画像中の物体までの奥行き距離を求める奥行き距離処理手段と、
前記奥行き距離処理手段で求めた各奥行き距離に対する信頼度を求める信頼度処理手段と、
前記過分割手段で過分割した過分割領域から前記信頼度処理手段で求めた信頼度の高い過分割領域を抽出する抽出手段と、
前記抽出手段で抽出した過分割領域における隣接する過分割領域間の奥行き距離の変化を求め、当該奥行き距離の変化に基づいて隣接する過分割領域間の結合度を求める結合度処理手段と、
前記結合度処理手段で求めた結合度に基づいて前記抽出手段で抽出した過分割領域における隣接する過分割領域間を結合又は分離することによって物体を分離する分離手段と
を備えることを特徴とする画像処理装置。
【請求項７】
前記抽出手段は、過分割領域毎に信頼度の平均値を求め、当該信頼度の平均値が所定値以上の過分割領域を抽出することを特徴とする請求項６に記載する画像処理装置。
【請求項８】
前記結合度処理手段は、隣接する過分割領域間の境界をまたぐように複数の参照点を設定し、各参照点の奥行き距離と隣接する過分割領域間における位置に基づいて、設定した複数の参照点に非線形関数を当てはめ、当該当てはめた非線形関数の中から当てはめ誤差が小さい非線形関数を選択し、隣接する過分割領域間の境界における選択した非線形関数の曲率を算出し、当該非線形関数の曲率に基づいて隣接する過分割領域間の結合度を算出することを特徴とする請求項６又は請求項７に記載する画像処理装置。
【請求項９】
各参照点を奥行き距離の信頼度によって重み付けして非線形関数を当てはめることを特徴とする請求項８に記載する画像処理装置。
【請求項１０】
前記分離手段は、前記抽出手段で抽出した過分割領域における隣接する過分割領域からなる領域に対して立体プリミティブを当てはめ、当該当てはめの精度を求め、当該立体プリミティブの当てはめ精度が所定精度以上の領域を分離対象の物体の領域と判定することを特徴とする請求項６〜請求項９のいずれか１項に記載する画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【公開番号】特開２００６−３０１９６２（Ｐ２００６−３０１９６２Ａ）
【公開日】平成１８年１１月２日（２００６．１１．２）
【国際特許分類】
【出願番号】特願２００５−１２２７４４（Ｐ２００５−１２２７４４）
【出願日】平成１７年４月２０日（２００５．４．２０）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成１８年１１月２日（２００６．１１．２）
【国際特許分類】
【出願日】平成１７年４月２０日（２００５．４．２０）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]