オブジェクト検出方法、オブジェクト検出装置、およびオブジェクト検出プログラム
本発明の利点は、オブジェクトを適切に検出することである。本発明におけるオブジェクト検出装置は、オブジェクトまでの距離を決定する複数のカメラと、距離を決定する距離決定部と、ピクセルの距離に対するピクセル度数を特定するヒストグラム生成部と、最もありそうな距離を決定するオブジェクト距離決定部と、距離の差に基づくピクセルの確率を提供する確率マッピング部と、ピクセルのグループとしてカーネル領域を決定するカーネル検出部と、カーネル領域の近傍にあるピクセルから選択したピクセルのグループとして縁領域を決定する縁検出部と、オブジェクトが所定の確率で現れるオブジェクト領域を特定するオブジェクト特定部と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願
本出願は、２００４年２月１７日に出願された米国仮特許出願第６０／５４５，７５９号、および２００４年６月１日に出願された「オブジェクト検出方法、オブジェクト検出装置、およびオブジェクト検出プログラム（Method, Apparatus And Program For Detecting An Object）」という題名の米国特許出願第１０／８５８，８７８号の特典を請求するものである。
【０００２】
発明の背景
１．発明の分野
本発明は、オブジェクト検出方法、オブジェクト検出装置、およびオブジェクト検出コンピュータプログラムに関し、主としてカメラで撮影された画像に含まれるオブジェクト画像の検出、ならびにオブジェクト検出の応用に関する。特に、本発明の利点は、簡易でありながら、正確にオブジェクトおよびオブジェクト画像を視覚的に検出することができる装置、方法、およびコンピュータプログラムを提供することである。
【背景技術】
【０００３】
２．発明の背景
グラフィック画像で撮影されたオブジェクトの輪郭を決定するＳＮＡＫＥＳという周知の技術がある。この技術を使って、オブジェクトの輪郭を決定するため、まず、グラフィック画像において抽出された曖昧な輪郭を初期値として輪郭モデルを仮定する。そして、最終的な輪郭を得るため、所定の規則の下、縮小や変形によって輪郭モデルを特定する。この技術の１つの適用例では、移動するオブジェクトのエッジ（すなわち、隣接する２つのピクセルの光度が大きく変化する境界）が検出される。そして、これらのエッジとリンクされる輪郭モデルとの関連づけによって輪郭を決定し、オブジェクトを検出する（例えば、日本公開特許公報、特開平０８−３２９２５４Ａ（１９９６年）の７ページ、図９、および図１０を参照されたい。この文献を参照によって本明細書中に組み込むものとする）。
【０００４】
上記のエッジ検出、すなわち、ＳＮＡＫＥＳによるオブジェクトの検出は、オブジェクトの正確な輪郭を決定するのに有利である。しかしながら、エッジ画像を作成したり輪郭モデルを決定したりするのに膨大な計算能力を必要とする。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
発明の要約
本発明の利点は、簡易でありながら、観測する位置にあまり左右されずにオブジェクトを適切に検出する処理を提供する点である。
【０００６】
本発明では、オブジェクトの３次元特徴を利用してオブジェクトの形状を決定する。上記の輪郭を検出する方法では、オブジェクトの２次元特徴を利用するので、本決定法とこの輪郭による検出法とはまったく異なるものである。本発明では、オブジェクトの部分を提供するオブジェクト画像を使用する。そして、この画像と、画像を取得するカメラからオブジェクトまでの距離によって定義される距離情報とを組み合わせる。したがって、オブジェクトの２次元情報を表すオブジェクトと推定される部分と、オブジェクトの３次元目の情報を表す推定位置（実際にはカメラからの距離）とによって、オブジェクト部分を評価することができる。この部分情報と位置情報との組合せは、確率によって評価されるので、オブジェクトは、３次元情報によって決定される。この処理において、２次元データにおける部分情報と距離情報とは、すべて観測されたものであり効率的に自己決定されるものであるため、ＳＮＡＫＥＳなどの従来の輪郭法のように膨大な計算を必要としない。
【課題を解決するための手段】
【０００７】
本発明に係るオブジェクト検出装置は、オブジェクトまでの距離を決定する複数のカメラと、距離を決定する距離決定部と、ピクセルの距離に対するピクセル度数を特定するヒストグラム生成部と、最もありそうな距離を決定するオブジェクト距離決定部と、距離の差に基づいてピクセルの確率値マップを生成する確率マッピング部と、ピクセルのグループとしてカーネル領域を決定するカーネル検出部と、カーネル領域の近傍にあるピクセルから選択したピクセルのグループとして縁領域を決定する縁検出部と、オブジェクトが所定の確率で存在するオブジェクト領域を特定するオブジェクト特定部と、を有する。
【０００８】
本発明におけるオブジェクト検出法は、上記の本発明のオブジェクト検出装置において記載された各部で実現される各機能を実行するためのステップを有する。
【０００９】
本発明におけるオブジェクト画像を検出するためのコンピュータプログラムは、上記の本発明のオブジェクト検出装置において記載された各部で実現される各機能を実行するようコンピュータを動作させるためのコンピュータプログラムを有する。
【００１０】
本発明における固有の専門用語に関しては、「オブジェクト検出」、「オブジェクトを検出すること」または同様の表現を「オブジェクトの視覚的検出」または「画像におけるオブジェクト検出」の意味で使用する。本明細書では、すべて、上記の専門用語とそれから生じる技術的意味に基づいて説明する。
【００１１】
本発明には、他にも利点や特徴があるが、以下の添付図面を伴う発明に関する詳細な説明とその後に続く請求項とによって、すぐに明らかになるであろう。
【発明を実施するための最良の形態】
【００１２】
好ましい実施形態の詳細な説明
本発明におけるオブジェクト検出装置は、視差を使ってオブジェクトまでの距離を決定する複数のカメラと、距離を決定する距離決定部と、カメラによって撮影された画像の部分において、ピクセルの距離に対するピクセルの度数を特定するヒストグラム生成部と、ヒストグラムにおいてピクセルの数が最大となるありそうな距離を決定するオブジェクト距離決定部と、オブジェクト距離決定部によって取得された最もありそうな距離との距離の差に基づいてピクセルの確率値マップを生成する確率マッピング部と、確率が第１閾値より大きいピクセルのグループとして、カーネル領域を決定するカーネル検出部と、カーネル領域の近傍にあるピクセルから選択され、確率が第２閾値より大きいが第１閾値より小さいピクセルのグループとして、縁領域を決定する縁検出部と、オブジェクトが所定の確率で現れるオブジェクト領域を特定するオブジェクト特定部と、を有する。
【００１３】
本装置では、輪郭線のエッジ計算や連結性の計算に膨大な計算能力を必要とする輪郭の計算が不要であるため、コンピュータへの負担がより少なくなる。カラー検出を行わないため、必要とする計算能力はさらに少なくて済む。本発明の他の利点は以下の通りである。オブジェクトが平面的で表面にあまり目印がない場合、複数のカメラによる三角測定が困難になるため、距離決定部の決定する距離が誤った距離になってしまう傾向がある。したがって、オブジェクトの全体またはオブジェクトの部分が、このように誤った距離で特定されたピクセルによって占められる危険性がある。しかしながら、オブジェクト特定部は、カーネル領域近傍の領域の中からピクセルを選択するため、オブジェクトの距離と同様の距離を持つと誤って決定されたピクセルを選択することはない。したがって、本発明は、様々な種類のオブジェクトに対してロバストなオブジェクト検出装置を提供する。
【００１４】
確率マッピング部では、次の数式（１）によって、ピクセルの確率値を評価することが好ましい。
【数４】
ここで、ｄはピクセルに対する距離、ｄ０は最もありそうな距離、ａは正規化定数、Ｃ（Ｃ＞１）は任意に与えられた定数である。確率に関する周知の式を利用するには、Ｃが自然数であることが好ましい。したがって、数式（１）は、次のように変更することができる。
【数５】
【００１５】
最大の確率値は１つだけ与えられ、この最大値において確率を正規化することができるため、この確率評価をすべての距離決定に対して一貫して適用することができる。
【００１６】
縁検出部において、オブジェクト特定部は、縁領域の中から、ピクセルの数が最も多い方から順に、すなわち最も広い領域から順に、例えば、３つの縁領域を縁領域として選択することができる。さらに、これらの３つの領域に外接する長方形領域を縁領域として特定してもよい。
【００１７】
オブジェクト距離決定部は、ガウスフィルタなどの空間フィルタを有し、各ピクセルに対して取得した距離から外因性ノイズやスプリアスノイズを取り除き、フィルタリング後の距離を使用することによってヒストグラムを修正することが好ましい。（以下、すべてのピクセルに対する距離のマッピング画像を、距離画像と呼ぶ。）その結果、距離画像を平滑化した後、ピクセル度数が最大である距離が最もありそうな距離であるとして、最もありそうな距離を特定してもよい。フィルタリングを実行するには、カメラによって撮影された観測画像に対応する平面マップを構成するピクセルに対して与えられた距離を補間する。
【００１８】
距離画像が、オブジェクトの画像のある部分を失った場合、ガウスフィルタを使用することによって、雑音による障害が原因の画像における欠落データを補間することができる。このガウスフィルタのフィルタ作用によって、ある程度簡単にオブジェクトを特定することができる。本発明では、輪郭検出をまったく使用しないため、フィルタの有益な作用を本発明に活用することができる。
【００１９】
縁検出部では、上記のように、確率の２つの閾値を条件として、カーネル検出部が特定したカーネル領域の近傍にあるピクセルを繰返し選択する。
【００２０】
本発明におけるオブジェクト検出方法は、複数のカメラとこれらのカメラによって観測されたオブジェクトのビューの中の視差とを使って距離を決定する距離決定ステップと、カメラによって撮影された画像の部分において、ピクセルの距離に対するピクセルの度数を特定するヒストグラム生成ステップと、ヒストグラムにおいてピクセルの数が最大となる最もありそうな距離を決定するオブジェクト距離決定ステップと、オブジェクト距離決定ステップにおいて取得された最もありそうな距離との距離の差に基づいてピクセルの確率を求める確率マッピングステップと、確率が第１閾値より大きいピクセルのグループとして、カーネル領域を決定するカーネル検出ステップと、カーネル領域の近傍にあるピクセルから選択され、確率が第２閾値より大きいが第１閾値より小さいピクセルのグループとして、縁領域を決定する縁検出ステップと、オブジェクトが所定の確率で現れるオブジェクト領域を特定するオブジェクト特定ステップと、を有する。
【００２１】
確率マッピングステップでは、次の数式（３）によって、ピクセルの確率値を評価することが好ましい。
【数６】
ここで、ｄはピクセルに対する距離、ｄ０は最もありそうな距離、ａは正規化定数、Ｃ（Ｃ＞１）は任意に与えられた定数である。
【００２２】
オブジェクト距離決定ステップでは、ガウスフィルタなどの空間フィルタを有し、距離画像から外因性ノイズやスプリアスノイズを取り除き、フィルタリング後の距離を使用することによってヒストグラムを修正することが好ましい。その結果、距離画像を平滑化した後、ピクセル度数が最大である距離が最もありそうな距離であるとして、最もありそうな距離を特定してもよい。
【００２３】
縁検出ステップにおいて、オブジェクト特定ステップは、ピクセルの数が最も多い方から順に、すなわち縁領域の中で最も広い領域から順に、例えば、３つの縁領域を縁領域として選択することができる。さらに、これらの３つの領域に外接する長方形領域を縁領域として特定してもよい。
【００２４】
縁検出ステップでは、上記のように、２つの確率の閾値を条件として、カーネル検出ステップにおいて特定したカーネル領域の近傍にあるピクセルを繰返し選択する。
【００２５】
本発明は、上記で示された機能において上記のオブジェクト検出装置の動作を実行させるコンピュータプログラムが格納されたコンピュータ読み取り可能な媒体によって提供することができる。
【００２６】
本発明には、簡易な計算処理によってオブジェクトを検出するという利点がある。また、本発明には、オブジェクトのカーネル領域に対する縁領域を使用することによって、平面的形状が原因で引き起こされるオブジェクト検出の誤りを防止することができるという利点もある。さらに、本発明には、雑音障害によるオブジェクト画像の欠落を効果的に補間することによって、ロバストなオブジェクト検出能力を有するという利点もある。
【００２７】
以下、本発明の実施形態について、図面を使って説明する。
【００２８】
図１は、本発明のオブジェクト検出装置１を示す機能ブロック図である。オブジェクト検出装置は、２台のカメラを使って姿や物質などのオブジェクトの画像を取得し、取得した画像中のオブジェクト領域を特定する。オブジェクト検出装置１は、距離決定部１１と、平滑化フィルタ部１２と、ヒストグラム生成部１３と、オブジェクト距離決定部１４と、確率マッピング部１５と、ブロック処理部１６と、カーネル検出部１６ａと、閾値記憶部１８と、を備える。右側カメラ２ａと左側カメラ２ｂとの２台のカメラが、相互に距離Ｂだけ離れて設置されている。
【００２９】
各部１１ないし１７は、ＲＡＭ、ＲＯＭ、および周辺記憶装置などの記憶装置と、中央処理装置と、出力装置とを含む汎用コンピュータシステムにおいて動作するコンピュータプログラムを実行することによって、実現される。各部１１ないし１７で処理される情報は、記憶装置から取り出されたり、記憶装置へ格納されたりする。
【００３０】
カメラ２によって撮影された取得画像は、図示しない画像入力装置から距離決定部１１に入力される。
【００３１】
距離決定部１１では、カメラ２ａおよび２ｂによって同時に撮影された２つの取得画像を分析し、２つの取得画像によって特定されるすべてのオブジェクトまでの距離（厳密には、カメラの焦点面からの距離）を決定する。距離決定部１１は、これらの２つの取得画像から上記のように決定したすべてのオブジェクトまでの距離を使って、距離画像を生成する。この距離画像をさらに処理する前に記憶装置に格納する。カメラ２によって取得される画像は、例えば、１００ｍｓ毎に１フレームなどのレートで、距離決定部１１に入力される。
【００３２】
距離は、距離決定部１１によって次のように決定される。参照画像として右側のカメラ２ａによって撮影された取得画像において画像ブロックを特定し、ブロックマッチングのため左側のカメラ２ｂによって同時に撮影された取得画像における対応する画像ブロックと比較する。そして、２つのマッチングした画像ブロックの位置の差によって、視差を計算する。この視差によって決定した距離と取得画像とを組み合わせることによって距離画像を生成する。
【００３３】
視差をＺ、カメラ２（不図示）からオブジェクトまでの距離をＬ、カメラ２（不図示）の焦点距離をｆ、右側のカメラ２ａと左側のカメラ２ｂとの間の距離をＢと仮定すると、オブジェクトまでの距離は、次の数式（２）によって求められる。
【数７】
【００３４】
図４Ａおよび図４Ｂによって、距離決定部１１が生成する距離画像について詳細に説明する。図４Ａに時系列で入力される取得画像、図４Ｂに距離画像、図４Ｃに距離画像に使用されるパラメータの対応関係を示す。
【００３５】
図４Ａに、人物の像が中央に位置するよう撮影した取得画像の一例を示す。図４Ｂに示す距離画像Ｄは、右側のカメラで取得した画像と左側のカメラで取得した画像とによって視差が決定されたピクセルの属性で表される。図４Ｃに示す距離画像で使用されるパラメータの対応関係によって、図４Ｂに示すピクセルの属性が取得される。視差が大きければ大きいほど、オブジェクトはより近傍に位置し、逆の場合も同様である。図４Ｂでは、ピクセルの属性として距離を示すが、ここでは、ピクセルの輝度によって距離を表している。属性が短い距離を表すピクセルに関しては、輝度を明るく、属性が長い距離を表すピクセルに関しては、輝度を暗くする。
【００３６】
図４Ｃに示すように、座標（０、０）において視差はゼロであるが、これは、座標（０、０）のピクセルに関するオブジェクトが無限に離れた点に位置することを意味する。図４Ｃに示すように、座標（２００，２００）のピクセルにおける視差は１５であり、これは、このピクセルのオブジェクトが参照カメラから０．９９ｍ離れた所に位置することを意味する。
【００３７】
図４Ｃで示す距離画像Ｄには、図４Ｂに示すように複数の黒い点が点在している。これは、光度の変化や色の変化が少ない部分では、ピクセルの照合を行うことができないため、視差がゼロである（つまり、これらのポイントは無限に離れた場所に位置する）と決定されるからである。
【００３８】
平滑化フィルタ１２では、記憶装置から距離画像を取り出し、輝度データをフィルタリングして別の輝度データにし、これらの輝度データによって構成される別の距離画像Ｄ′を記憶装置に格納する。この平滑化フィルタ１２によって、隣接する無限の距離値で、正しい距離パラメータの欠落が原因で点在する黒い点を補間することができる。この平滑化フィルタリングのため、ガウスフィルタを使用する。図５Ａに、図４Ｂに示す距離画像に対してガウスフィルタによってフィルタリングを行った後の距離画像の一例を示す。
【００３９】
ヒストグラム生成部１３では、（フィルタリング済みの）距離画像Ｄ′を取り出す。カメラからの距離と、距離毎のピクセルのカウント数であるピクセル度数とによって、画像上のすべてのピクセルを評価する。すべての距離毎の度数を記憶装置に格納する。度数ヒストグラムは、距離を複数の範囲に分類し、これらの範囲に属するピクセルの数をカウントして生成する。複数の範囲は、例えば、０．５−０．６２５メートル、０．６２５−０．７５メートル、…、など、０．５〜３メートルの距離範囲を０．１２５メートル間隔で２０に分類したりする。この距離の分類に基づいて、ピクセルの度数を評価する。図５Ｂは、その結果のヒストグラムを示す。
【００４０】
オブジェクト距離決定部１４では、ヒストグラムＨのデータを取り出し、距離の分類の中で最もありそうな距離、すなわち、ヒストグラムにおいて分類された距離の中でピクセルの数が最大値となる距離を決定する。最もありそうな距離をｄ０として特定し、記憶装置に記録する。
【００４１】
例えば、ピクセルの度数は、１−１．１２５メートルの距離分類において最大値であるので、１．０６２５メートルのように代表的な距離値を最もありそうな距離ｄ０として特定する。
【００４２】
確率マッピング部１５では、各ピクセルについて決定された距離ｄと最もありそうな距離ｄ０との差を（ｄ−ｄ０）として、各ピクセルの確率を示す確率マップを生成することによって、ＦＰＭ（Foreground Probability Map）を生成する。
【数８】
ここで、Ｃは自然数である。すると、数式（４）は、次のように変更することができる。
【数９】
ここで、定数ａは、オブジェクトが存在する可能性のある幅を決定する。図６Ａに、距離の差（ｄ−ｄ０）に対する確率値Ｐを示す。定数ａは、ガウス関数、特に関数の形状における幅を正規化するものである。
【００４３】
ブロブ処理装置１６は、確率マップをＦＰＭとして取り出し、高い確率値を持つ縁領域ＣＲとカーネル領域とを決定する。
【００４４】
特に、ブロブ処理部１６には、カーネル検出部１６ａと縁検出部１６ｂとがある。第１閾値ＴＨ１とＴＨ１より小さい第２閾値ＴＨ２との２つの閾値は、記憶装置に記録される。
【００４５】
カーネル検出部１６ａでは、第１閾値ＴＨ１および確率マップＦＰＭを取り出し、
Ｐ＞ＴＨ１を満たすピクセルによって占められる領域をカーネルとして決定し、これらのピクセルすべての位置を記憶装置に記録する。
【００４６】
図７Ａに、確率マップＦＰＭの拡大図を示す。図７Ｂに、Ｘ軸に沿って軸Ｙ１上の各ピクセルの確率値を示す。
【００４７】
図７Ｂに示す実施例では、点Ｐ３ないし点Ｐ５および点Ｐ１８に見られるピクセルが、閾値ＴＨ１より大きい確率値を持つことを示している。本実施例では、ＴＨ１の値として０．７２が選択されている。
【００４８】
縁検出部１６ｂでは、第２閾値ＴＨ２および確率マップＦＰＭを記憶装置から取り出す。以下の隣接条件を満たすピクセルをカーネル領域の隣接ピクセルとして選択する。最初に、カーネル領域に隣接するピクセルを選択し、第２閾値と比較して次の不等式を満たすか否かを調べる。
【００４９】
【数１０】
【００５０】
上記の条件を満たすピクセルを選択した後、これらのピクセルに隣接する新しいピクセルについて次の同じ不等式を満たすか否かをチェックする。
【数１１】
【００５１】
同様のチェックを続けて、すべてのピクセルが上記の隣接条件を満たす領域を最終的に決定する。この領域を縁領域ＣＲという。
【００５２】
図７Ｂによると、点Ｐ３ないし点Ｐ５に隣接し、第２閾値より大きい確率値を持つ縁領域ＣＲ中のピクセルは、点Ｐ２および点Ｐ６である。同じ処理を繰り返すと、Ｐ１が縁領域ＣＲに含まれることがわかる。ピクセルＰ１８に対する繰り返し処理によって、ピクセルＰ１６、ピクセルＰ１７、およびピクセルＰ１９を縁領域ＣＲとして検出することができる。本実施例では、第２閾値ＴＨ２として０．４５を使用した。
【００５３】
一方、ピクセルがカーネル領域に隣接していない場合は、縁領域ＣＲとして選択されない。例えば、この繰り返し処理ではＰ１１まで到達しないため、ピクセルＰ１１は選択されない。
【００５４】
縁領域ＣＲは、これらすべてのピクセルによって特定される。多くの場合、複数の領域が縁領域ＣＲとして選択される。図６Ｃに、そのような実施例を示す。すなわち、図６Ｂに示すように、複数の縁領域ＣＲ１ないし縁領域ＣＲ３が確率マップから選択される。
【００５５】
縁検出部１６ｂでは、記憶装置から縁領域ＣＲを取り出し、下記のようにオブジェクト領域ＯＲを決定する。
【００５６】
本実施形態では、縁領域ＣＲに関して、面積が大きい方から、すなわち多数のピクセルを含む方から３つの領域を選択する。それらは、図６ＣにおけるＣＲ１、ＣＲ２、およびＣＲ３である。縁領域ＣＲに対して外接する長方形を特定し、これらをオブジェクト領域ＯＲとして決定する。オブジェクト領域ＯＲは、単に外接する長方形として最も大きな領域を選択するか、またはオブジェクト領域ＯＲとして直接縁領域ＣＲを使用することによって特定する。決定したオブジェクト領域ＯＲを格納し、人物の顔識別のために使用する。
【００５７】
図８に示すように、オブジェクト領域ＯＲを一旦元の取得画像の中に重ねると、結果として得られたオブジェクト領域ＯＲは、人物画像ＨＭに外接している。すなわち、輪郭決定処理をまったく利用しないで、オブジェクトの距離情報を利用することによって、取得画像から人物画像ＨＭを抽出し、単一のオブジェクトとして決定する。したがって、ピクセル画像が不連続である場合でさえ、オブジェクト画像の輪郭を考慮しないで、オブジェクトの空間的立体を取得することができる。この特徴は、人物の顔を含む画像を抽出することによって人物の顔領域を検出する人物の顔識別に適用することができる。そして、本質的な顔データを特定し、フィッシャーの顔データにおけるベクトル距離を取得し、その後、顔の空間的位置を決定し、最後に、特定の人物の顔を識別することができる。
【００５８】
ｄ０と異なる距離に位置する別のオブジェクトは、距離決定部１１が既に生成した距離画像をリセットして（各ピクセルの確率値をゼロに設定して）、上記の処理を繰り返すことによって検出することができる。
【００５９】
上記の実施形態では、距離決定部１１において、２台のカメラ２を使用して距離画像を生成したが、３台のカメラを使用してもよい。本発明では、縦方向に３台のカメラおよび横方向に３台のカメラをマトリックス状に配置するなど、３台以上のカメラを使用することによって更に利点を得ることができる。距離測定においてカメラをこのように配置することによって、重複決定法を使ってオブジェクトまでの距離を測定することができ、オブジェクトの影や表面反射による影響を抑制することができるため、正確な距離を決定することができる。
【００６０】
図１、図２、および図３によって、オブジェクトの検出方法について説明する。
（画像取得ステップ）
【００６１】
オブジェクト検出装置１では、同時に動作する２台のカメラを介して、時系列データ形式のオブジェクト画像を取得する（ステップＳ１）。
【００６２】
（距離画像生成ステップ）
オブジェクト検出装置１では、距離決定部１１によって、全体としてオブジェクト画像を構成するピクセルの各々の距離を含む距離画像Ｄを生成する。ピクセルの距離は、各ピクセルについて２台のカメラビューの視差から計算する（ステップＳ２）。
【００６３】
（平滑化ステップ）
オブジェクト検出装置１では、平滑化部１２によって、距離画像上のピクセルの輝度によって表される距離データを平滑化し、平滑化された距離画像Ｄ′を生成する（ステップＳ３）。この平滑化した距離画像Ｄ′をヒストグラム生成部１３および確率マッピング２５生成部１５に転送する。
【００６４】
（ヒストグラム生成ステップ）
オブジェクト検出装置１では、ヒストグラム生成部１３によって、ピクセルが存在する可能性のある０．５メートルから３メートルまでの距離を１２．５ｃｍ毎に分類した各区分において、ピクセルが存在する距離に対するピクセルの度数を計算し（ステップＳ４）、ヒストグラムＨを生成する。
【００６５】
（オブジェクト距離決定ステップ）
オブジェクト検出装置１では、オブジェクト距離決定部１４によって、ヒストグラムＨ中のピクセル度数が最大である特定の分類区分を選択し、選択した分類区分の平均値を最もありそうなオブジェクトの距離として設定する（ステップＳ５）。例えば、図５Ａに示すヒストグラムＨにおいて、最もありそうなオブジェクトの距離ｄ０は、最大の度数が得られる１．０メートルないし１．１２５メートルの間の中点の１．０６２５メートルである。
【００６６】
（確率マッピングステップ）
オブジェクト検出装置１では、確率マッピング部１５によって、確率マッピング部１５におけるピクセルがオブジェクトを表す確率と、確率マップＦＰＭとを計算する（ステップＳ６）。確率値Ｐは、上記で定義したように数式（４）によって計算する。
【００６７】
（カーネル検出ステップ）
オブジェクト検出装置１では、ブロブ処理部１６のカーネル検出部１６ａによって、確率マップＦＰＭを使って確率値Ｐが第１閾値ＴＨ１より大きいピクセルを選択し、カーネルを検出する（ステップＳ７）。
【００６８】
（縁検出ステップ）
オブジェクト検出装置１では、ブロブ処理部１６の縁検出部１６ｂによって、確率マップＦＰＭを使って、ステップＳ７で検出したカーネルに隣接するピクセルの中から第１閾値ＴＨ２より大きい確率値Ｐを持つピクセルを選択し、縁領域ＣＲを設定する（ステップＳ８）。
【００６９】
（縁選択ステップ）
オブジェクト検出装置１では、オブジェクト領域特定部１７において、多数のピクセルを含む方から３つの縁領域ＣＲ（すなわち、大きい方から３つの領域）を選択する（ステップＳ９）。
【００７０】
（オブジェクト領域特定ステップ）
オブジェクト領域特定部１７では、ステップＳ９で選択した３つの縁領域ＣＲ１、ＣＲ２、およびＣＲ３に外接する長方形を決定する。すなわち、各縁領域に対してＸ軸（横軸）とＹ軸（縦軸）に関する最大座標値位置と最小値位置とを決定し、オブジェクト領域特定部１７では、結果として、外接する長方形を特定する。
【００７１】
オブジェクト検出装置１では、すべてのステップを処理した後、カメラ２によって撮影した取得画像中に存在するオブジェクトを検出する。
【００７２】
以上、本発明による特許の実施形態ついて説明してきたが、当業者であれば、後述の請求の範囲によって示す本発明の範囲を逸脱しない限り、変形および改変を行うことができることを理解するであろう。例えば、確率値Ｐは、数式（３）および数式（４）によって定義したが、確率値として（ｄ−ｄ０）または（ｄ−ｄ０）２を利用してもよい。確率値が大きければ大きいほど、（ｄ−ｄ０）または（ｄ−ｄ０）２の値は小さくなるため、（ｄ−ｄ０）または（ｄ−ｄ０）２の値が第１閾値ＴＨ１より小さい（しかし、確率値としては大きい）ピクセルによって、カーネルが選択される。
【００７３】
本発明によるオブジェクト検出装置およびオブジェクト検出方法によって対象人物を検出した後、従来のエッジ検出法および輪郭抽出法によって対象人物の検出を行うことができる。
【図面の簡単な説明】
【００７４】
【図１】図１は、本発明の一実施形態によるオブジェクト検出装置を示す機能ブロック図である。
【図２】図２は、本発明の一実施形態によるオブジェクト検出を実行するための動作に関するフローチャートの一部を示す。
【図３】図３は、本発明の一実施形態によるオブジェクト検出を実行するための動作に関するフローチャートの残りの部分を示す。
【図４Ａ】図４Ａは、本発明の一実施形態によるＣＣＤカメラが取得した画像の一例を示す。
【図４Ｂ】図４Ｂは、図４Ａに示す一実施形態による画像から生成された距離画像の一例を示す。
【図４Ｃ】図４Ｃは、図４Ｂに示す一実施形態による距離画像で使用されるパラメータの対応関係を示す。
【図５Ａ】図５Ａは、一実施形態によるガウスフィルタによって平滑化された距離画像Ｄ′の一例を示す。
【図５Ｂ】図５Ｂは、一実施形態による数段階に分類された距離に対するピクセルのカウント数のヒストグラムの一例を示す。
【図６Ａ】図６Ａは、一実施形態による距離ｄ−ｄ０に対する確率値Ｐを示す。
【図６Ｂ】図６Ｂは、一実施形態による距離画像Ｄ′から生成された確率マップＦＰＭの一例を示す。
【図６Ｃ】図６Ｃは、一実施形態による距離ｄ−ｄ０に対する確率値Ｐを示す。
【図７Ａ】図７Ａは、一実施形態による確率マップＦＰＭの拡大図を示す。
【図７Ｂ】図７Ｂは、一実施形態によるブロブ処理における処理手順を示す。
【図８】図８は、一実施形態によるオブジェクト領域ＯＲとして選択された領域を示す。
【技術分野】
【０００１】
関連出願
本出願は、２００４年２月１７日に出願された米国仮特許出願第６０／５４５，７５９号、および２００４年６月１日に出願された「オブジェクト検出方法、オブジェクト検出装置、およびオブジェクト検出プログラム（Method, Apparatus And Program For Detecting An Object）」という題名の米国特許出願第１０／８５８，８７８号の特典を請求するものである。
【０００２】
発明の背景
１．発明の分野
本発明は、オブジェクト検出方法、オブジェクト検出装置、およびオブジェクト検出コンピュータプログラムに関し、主としてカメラで撮影された画像に含まれるオブジェクト画像の検出、ならびにオブジェクト検出の応用に関する。特に、本発明の利点は、簡易でありながら、正確にオブジェクトおよびオブジェクト画像を視覚的に検出することができる装置、方法、およびコンピュータプログラムを提供することである。
【背景技術】
【０００３】
２．発明の背景
グラフィック画像で撮影されたオブジェクトの輪郭を決定するＳＮＡＫＥＳという周知の技術がある。この技術を使って、オブジェクトの輪郭を決定するため、まず、グラフィック画像において抽出された曖昧な輪郭を初期値として輪郭モデルを仮定する。そして、最終的な輪郭を得るため、所定の規則の下、縮小や変形によって輪郭モデルを特定する。この技術の１つの適用例では、移動するオブジェクトのエッジ（すなわち、隣接する２つのピクセルの光度が大きく変化する境界）が検出される。そして、これらのエッジとリンクされる輪郭モデルとの関連づけによって輪郭を決定し、オブジェクトを検出する（例えば、日本公開特許公報、特開平０８−３２９２５４Ａ（１９９６年）の７ページ、図９、および図１０を参照されたい。この文献を参照によって本明細書中に組み込むものとする）。
【０００４】
上記のエッジ検出、すなわち、ＳＮＡＫＥＳによるオブジェクトの検出は、オブジェクトの正確な輪郭を決定するのに有利である。しかしながら、エッジ画像を作成したり輪郭モデルを決定したりするのに膨大な計算能力を必要とする。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
発明の要約
本発明の利点は、簡易でありながら、観測する位置にあまり左右されずにオブジェクトを適切に検出する処理を提供する点である。
【０００６】
本発明では、オブジェクトの３次元特徴を利用してオブジェクトの形状を決定する。上記の輪郭を検出する方法では、オブジェクトの２次元特徴を利用するので、本決定法とこの輪郭による検出法とはまったく異なるものである。本発明では、オブジェクトの部分を提供するオブジェクト画像を使用する。そして、この画像と、画像を取得するカメラからオブジェクトまでの距離によって定義される距離情報とを組み合わせる。したがって、オブジェクトの２次元情報を表すオブジェクトと推定される部分と、オブジェクトの３次元目の情報を表す推定位置（実際にはカメラからの距離）とによって、オブジェクト部分を評価することができる。この部分情報と位置情報との組合せは、確率によって評価されるので、オブジェクトは、３次元情報によって決定される。この処理において、２次元データにおける部分情報と距離情報とは、すべて観測されたものであり効率的に自己決定されるものであるため、ＳＮＡＫＥＳなどの従来の輪郭法のように膨大な計算を必要としない。
【課題を解決するための手段】
【０００７】
本発明に係るオブジェクト検出装置は、オブジェクトまでの距離を決定する複数のカメラと、距離を決定する距離決定部と、ピクセルの距離に対するピクセル度数を特定するヒストグラム生成部と、最もありそうな距離を決定するオブジェクト距離決定部と、距離の差に基づいてピクセルの確率値マップを生成する確率マッピング部と、ピクセルのグループとしてカーネル領域を決定するカーネル検出部と、カーネル領域の近傍にあるピクセルから選択したピクセルのグループとして縁領域を決定する縁検出部と、オブジェクトが所定の確率で存在するオブジェクト領域を特定するオブジェクト特定部と、を有する。
【０００８】
本発明におけるオブジェクト検出法は、上記の本発明のオブジェクト検出装置において記載された各部で実現される各機能を実行するためのステップを有する。
【０００９】
本発明におけるオブジェクト画像を検出するためのコンピュータプログラムは、上記の本発明のオブジェクト検出装置において記載された各部で実現される各機能を実行するようコンピュータを動作させるためのコンピュータプログラムを有する。
【００１０】
本発明における固有の専門用語に関しては、「オブジェクト検出」、「オブジェクトを検出すること」または同様の表現を「オブジェクトの視覚的検出」または「画像におけるオブジェクト検出」の意味で使用する。本明細書では、すべて、上記の専門用語とそれから生じる技術的意味に基づいて説明する。
【００１１】
本発明には、他にも利点や特徴があるが、以下の添付図面を伴う発明に関する詳細な説明とその後に続く請求項とによって、すぐに明らかになるであろう。
【発明を実施するための最良の形態】
【００１２】
好ましい実施形態の詳細な説明
本発明におけるオブジェクト検出装置は、視差を使ってオブジェクトまでの距離を決定する複数のカメラと、距離を決定する距離決定部と、カメラによって撮影された画像の部分において、ピクセルの距離に対するピクセルの度数を特定するヒストグラム生成部と、ヒストグラムにおいてピクセルの数が最大となるありそうな距離を決定するオブジェクト距離決定部と、オブジェクト距離決定部によって取得された最もありそうな距離との距離の差に基づいてピクセルの確率値マップを生成する確率マッピング部と、確率が第１閾値より大きいピクセルのグループとして、カーネル領域を決定するカーネル検出部と、カーネル領域の近傍にあるピクセルから選択され、確率が第２閾値より大きいが第１閾値より小さいピクセルのグループとして、縁領域を決定する縁検出部と、オブジェクトが所定の確率で現れるオブジェクト領域を特定するオブジェクト特定部と、を有する。
【００１３】
本装置では、輪郭線のエッジ計算や連結性の計算に膨大な計算能力を必要とする輪郭の計算が不要であるため、コンピュータへの負担がより少なくなる。カラー検出を行わないため、必要とする計算能力はさらに少なくて済む。本発明の他の利点は以下の通りである。オブジェクトが平面的で表面にあまり目印がない場合、複数のカメラによる三角測定が困難になるため、距離決定部の決定する距離が誤った距離になってしまう傾向がある。したがって、オブジェクトの全体またはオブジェクトの部分が、このように誤った距離で特定されたピクセルによって占められる危険性がある。しかしながら、オブジェクト特定部は、カーネル領域近傍の領域の中からピクセルを選択するため、オブジェクトの距離と同様の距離を持つと誤って決定されたピクセルを選択することはない。したがって、本発明は、様々な種類のオブジェクトに対してロバストなオブジェクト検出装置を提供する。
【００１４】
確率マッピング部では、次の数式（１）によって、ピクセルの確率値を評価することが好ましい。
【数４】
ここで、ｄはピクセルに対する距離、ｄ０は最もありそうな距離、ａは正規化定数、Ｃ（Ｃ＞１）は任意に与えられた定数である。確率に関する周知の式を利用するには、Ｃが自然数であることが好ましい。したがって、数式（１）は、次のように変更することができる。
【数５】
【００１５】
最大の確率値は１つだけ与えられ、この最大値において確率を正規化することができるため、この確率評価をすべての距離決定に対して一貫して適用することができる。
【００１６】
縁検出部において、オブジェクト特定部は、縁領域の中から、ピクセルの数が最も多い方から順に、すなわち最も広い領域から順に、例えば、３つの縁領域を縁領域として選択することができる。さらに、これらの３つの領域に外接する長方形領域を縁領域として特定してもよい。
【００１７】
オブジェクト距離決定部は、ガウスフィルタなどの空間フィルタを有し、各ピクセルに対して取得した距離から外因性ノイズやスプリアスノイズを取り除き、フィルタリング後の距離を使用することによってヒストグラムを修正することが好ましい。（以下、すべてのピクセルに対する距離のマッピング画像を、距離画像と呼ぶ。）その結果、距離画像を平滑化した後、ピクセル度数が最大である距離が最もありそうな距離であるとして、最もありそうな距離を特定してもよい。フィルタリングを実行するには、カメラによって撮影された観測画像に対応する平面マップを構成するピクセルに対して与えられた距離を補間する。
【００１８】
距離画像が、オブジェクトの画像のある部分を失った場合、ガウスフィルタを使用することによって、雑音による障害が原因の画像における欠落データを補間することができる。このガウスフィルタのフィルタ作用によって、ある程度簡単にオブジェクトを特定することができる。本発明では、輪郭検出をまったく使用しないため、フィルタの有益な作用を本発明に活用することができる。
【００１９】
縁検出部では、上記のように、確率の２つの閾値を条件として、カーネル検出部が特定したカーネル領域の近傍にあるピクセルを繰返し選択する。
【００２０】
本発明におけるオブジェクト検出方法は、複数のカメラとこれらのカメラによって観測されたオブジェクトのビューの中の視差とを使って距離を決定する距離決定ステップと、カメラによって撮影された画像の部分において、ピクセルの距離に対するピクセルの度数を特定するヒストグラム生成ステップと、ヒストグラムにおいてピクセルの数が最大となる最もありそうな距離を決定するオブジェクト距離決定ステップと、オブジェクト距離決定ステップにおいて取得された最もありそうな距離との距離の差に基づいてピクセルの確率を求める確率マッピングステップと、確率が第１閾値より大きいピクセルのグループとして、カーネル領域を決定するカーネル検出ステップと、カーネル領域の近傍にあるピクセルから選択され、確率が第２閾値より大きいが第１閾値より小さいピクセルのグループとして、縁領域を決定する縁検出ステップと、オブジェクトが所定の確率で現れるオブジェクト領域を特定するオブジェクト特定ステップと、を有する。
【００２１】
確率マッピングステップでは、次の数式（３）によって、ピクセルの確率値を評価することが好ましい。
【数６】
ここで、ｄはピクセルに対する距離、ｄ０は最もありそうな距離、ａは正規化定数、Ｃ（Ｃ＞１）は任意に与えられた定数である。
【００２２】
オブジェクト距離決定ステップでは、ガウスフィルタなどの空間フィルタを有し、距離画像から外因性ノイズやスプリアスノイズを取り除き、フィルタリング後の距離を使用することによってヒストグラムを修正することが好ましい。その結果、距離画像を平滑化した後、ピクセル度数が最大である距離が最もありそうな距離であるとして、最もありそうな距離を特定してもよい。
【００２３】
縁検出ステップにおいて、オブジェクト特定ステップは、ピクセルの数が最も多い方から順に、すなわち縁領域の中で最も広い領域から順に、例えば、３つの縁領域を縁領域として選択することができる。さらに、これらの３つの領域に外接する長方形領域を縁領域として特定してもよい。
【００２４】
縁検出ステップでは、上記のように、２つの確率の閾値を条件として、カーネル検出ステップにおいて特定したカーネル領域の近傍にあるピクセルを繰返し選択する。
【００２５】
本発明は、上記で示された機能において上記のオブジェクト検出装置の動作を実行させるコンピュータプログラムが格納されたコンピュータ読み取り可能な媒体によって提供することができる。
【００２６】
本発明には、簡易な計算処理によってオブジェクトを検出するという利点がある。また、本発明には、オブジェクトのカーネル領域に対する縁領域を使用することによって、平面的形状が原因で引き起こされるオブジェクト検出の誤りを防止することができるという利点もある。さらに、本発明には、雑音障害によるオブジェクト画像の欠落を効果的に補間することによって、ロバストなオブジェクト検出能力を有するという利点もある。
【００２７】
以下、本発明の実施形態について、図面を使って説明する。
【００２８】
図１は、本発明のオブジェクト検出装置１を示す機能ブロック図である。オブジェクト検出装置は、２台のカメラを使って姿や物質などのオブジェクトの画像を取得し、取得した画像中のオブジェクト領域を特定する。オブジェクト検出装置１は、距離決定部１１と、平滑化フィルタ部１２と、ヒストグラム生成部１３と、オブジェクト距離決定部１４と、確率マッピング部１５と、ブロック処理部１６と、カーネル検出部１６ａと、閾値記憶部１８と、を備える。右側カメラ２ａと左側カメラ２ｂとの２台のカメラが、相互に距離Ｂだけ離れて設置されている。
【００２９】
各部１１ないし１７は、ＲＡＭ、ＲＯＭ、および周辺記憶装置などの記憶装置と、中央処理装置と、出力装置とを含む汎用コンピュータシステムにおいて動作するコンピュータプログラムを実行することによって、実現される。各部１１ないし１７で処理される情報は、記憶装置から取り出されたり、記憶装置へ格納されたりする。
【００３０】
カメラ２によって撮影された取得画像は、図示しない画像入力装置から距離決定部１１に入力される。
【００３１】
距離決定部１１では、カメラ２ａおよび２ｂによって同時に撮影された２つの取得画像を分析し、２つの取得画像によって特定されるすべてのオブジェクトまでの距離（厳密には、カメラの焦点面からの距離）を決定する。距離決定部１１は、これらの２つの取得画像から上記のように決定したすべてのオブジェクトまでの距離を使って、距離画像を生成する。この距離画像をさらに処理する前に記憶装置に格納する。カメラ２によって取得される画像は、例えば、１００ｍｓ毎に１フレームなどのレートで、距離決定部１１に入力される。
【００３２】
距離は、距離決定部１１によって次のように決定される。参照画像として右側のカメラ２ａによって撮影された取得画像において画像ブロックを特定し、ブロックマッチングのため左側のカメラ２ｂによって同時に撮影された取得画像における対応する画像ブロックと比較する。そして、２つのマッチングした画像ブロックの位置の差によって、視差を計算する。この視差によって決定した距離と取得画像とを組み合わせることによって距離画像を生成する。
【００３３】
視差をＺ、カメラ２（不図示）からオブジェクトまでの距離をＬ、カメラ２（不図示）の焦点距離をｆ、右側のカメラ２ａと左側のカメラ２ｂとの間の距離をＢと仮定すると、オブジェクトまでの距離は、次の数式（２）によって求められる。
【数７】
【００３４】
図４Ａおよび図４Ｂによって、距離決定部１１が生成する距離画像について詳細に説明する。図４Ａに時系列で入力される取得画像、図４Ｂに距離画像、図４Ｃに距離画像に使用されるパラメータの対応関係を示す。
【００３５】
図４Ａに、人物の像が中央に位置するよう撮影した取得画像の一例を示す。図４Ｂに示す距離画像Ｄは、右側のカメラで取得した画像と左側のカメラで取得した画像とによって視差が決定されたピクセルの属性で表される。図４Ｃに示す距離画像で使用されるパラメータの対応関係によって、図４Ｂに示すピクセルの属性が取得される。視差が大きければ大きいほど、オブジェクトはより近傍に位置し、逆の場合も同様である。図４Ｂでは、ピクセルの属性として距離を示すが、ここでは、ピクセルの輝度によって距離を表している。属性が短い距離を表すピクセルに関しては、輝度を明るく、属性が長い距離を表すピクセルに関しては、輝度を暗くする。
【００３６】
図４Ｃに示すように、座標（０、０）において視差はゼロであるが、これは、座標（０、０）のピクセルに関するオブジェクトが無限に離れた点に位置することを意味する。図４Ｃに示すように、座標（２００，２００）のピクセルにおける視差は１５であり、これは、このピクセルのオブジェクトが参照カメラから０．９９ｍ離れた所に位置することを意味する。
【００３７】
図４Ｃで示す距離画像Ｄには、図４Ｂに示すように複数の黒い点が点在している。これは、光度の変化や色の変化が少ない部分では、ピクセルの照合を行うことができないため、視差がゼロである（つまり、これらのポイントは無限に離れた場所に位置する）と決定されるからである。
【００３８】
平滑化フィルタ１２では、記憶装置から距離画像を取り出し、輝度データをフィルタリングして別の輝度データにし、これらの輝度データによって構成される別の距離画像Ｄ′を記憶装置に格納する。この平滑化フィルタ１２によって、隣接する無限の距離値で、正しい距離パラメータの欠落が原因で点在する黒い点を補間することができる。この平滑化フィルタリングのため、ガウスフィルタを使用する。図５Ａに、図４Ｂに示す距離画像に対してガウスフィルタによってフィルタリングを行った後の距離画像の一例を示す。
【００３９】
ヒストグラム生成部１３では、（フィルタリング済みの）距離画像Ｄ′を取り出す。カメラからの距離と、距離毎のピクセルのカウント数であるピクセル度数とによって、画像上のすべてのピクセルを評価する。すべての距離毎の度数を記憶装置に格納する。度数ヒストグラムは、距離を複数の範囲に分類し、これらの範囲に属するピクセルの数をカウントして生成する。複数の範囲は、例えば、０．５−０．６２５メートル、０．６２５−０．７５メートル、…、など、０．５〜３メートルの距離範囲を０．１２５メートル間隔で２０に分類したりする。この距離の分類に基づいて、ピクセルの度数を評価する。図５Ｂは、その結果のヒストグラムを示す。
【００４０】
オブジェクト距離決定部１４では、ヒストグラムＨのデータを取り出し、距離の分類の中で最もありそうな距離、すなわち、ヒストグラムにおいて分類された距離の中でピクセルの数が最大値となる距離を決定する。最もありそうな距離をｄ０として特定し、記憶装置に記録する。
【００４１】
例えば、ピクセルの度数は、１−１．１２５メートルの距離分類において最大値であるので、１．０６２５メートルのように代表的な距離値を最もありそうな距離ｄ０として特定する。
【００４２】
確率マッピング部１５では、各ピクセルについて決定された距離ｄと最もありそうな距離ｄ０との差を（ｄ−ｄ０）として、各ピクセルの確率を示す確率マップを生成することによって、ＦＰＭ（Foreground Probability Map）を生成する。
【数８】
ここで、Ｃは自然数である。すると、数式（４）は、次のように変更することができる。
【数９】
ここで、定数ａは、オブジェクトが存在する可能性のある幅を決定する。図６Ａに、距離の差（ｄ−ｄ０）に対する確率値Ｐを示す。定数ａは、ガウス関数、特に関数の形状における幅を正規化するものである。
【００４３】
ブロブ処理装置１６は、確率マップをＦＰＭとして取り出し、高い確率値を持つ縁領域ＣＲとカーネル領域とを決定する。
【００４４】
特に、ブロブ処理部１６には、カーネル検出部１６ａと縁検出部１６ｂとがある。第１閾値ＴＨ１とＴＨ１より小さい第２閾値ＴＨ２との２つの閾値は、記憶装置に記録される。
【００４５】
カーネル検出部１６ａでは、第１閾値ＴＨ１および確率マップＦＰＭを取り出し、
Ｐ＞ＴＨ１を満たすピクセルによって占められる領域をカーネルとして決定し、これらのピクセルすべての位置を記憶装置に記録する。
【００４６】
図７Ａに、確率マップＦＰＭの拡大図を示す。図７Ｂに、Ｘ軸に沿って軸Ｙ１上の各ピクセルの確率値を示す。
【００４７】
図７Ｂに示す実施例では、点Ｐ３ないし点Ｐ５および点Ｐ１８に見られるピクセルが、閾値ＴＨ１より大きい確率値を持つことを示している。本実施例では、ＴＨ１の値として０．７２が選択されている。
【００４８】
縁検出部１６ｂでは、第２閾値ＴＨ２および確率マップＦＰＭを記憶装置から取り出す。以下の隣接条件を満たすピクセルをカーネル領域の隣接ピクセルとして選択する。最初に、カーネル領域に隣接するピクセルを選択し、第２閾値と比較して次の不等式を満たすか否かを調べる。
【００４９】
【数１０】
【００５０】
上記の条件を満たすピクセルを選択した後、これらのピクセルに隣接する新しいピクセルについて次の同じ不等式を満たすか否かをチェックする。
【数１１】
【００５１】
同様のチェックを続けて、すべてのピクセルが上記の隣接条件を満たす領域を最終的に決定する。この領域を縁領域ＣＲという。
【００５２】
図７Ｂによると、点Ｐ３ないし点Ｐ５に隣接し、第２閾値より大きい確率値を持つ縁領域ＣＲ中のピクセルは、点Ｐ２および点Ｐ６である。同じ処理を繰り返すと、Ｐ１が縁領域ＣＲに含まれることがわかる。ピクセルＰ１８に対する繰り返し処理によって、ピクセルＰ１６、ピクセルＰ１７、およびピクセルＰ１９を縁領域ＣＲとして検出することができる。本実施例では、第２閾値ＴＨ２として０．４５を使用した。
【００５３】
一方、ピクセルがカーネル領域に隣接していない場合は、縁領域ＣＲとして選択されない。例えば、この繰り返し処理ではＰ１１まで到達しないため、ピクセルＰ１１は選択されない。
【００５４】
縁領域ＣＲは、これらすべてのピクセルによって特定される。多くの場合、複数の領域が縁領域ＣＲとして選択される。図６Ｃに、そのような実施例を示す。すなわち、図６Ｂに示すように、複数の縁領域ＣＲ１ないし縁領域ＣＲ３が確率マップから選択される。
【００５５】
縁検出部１６ｂでは、記憶装置から縁領域ＣＲを取り出し、下記のようにオブジェクト領域ＯＲを決定する。
【００５６】
本実施形態では、縁領域ＣＲに関して、面積が大きい方から、すなわち多数のピクセルを含む方から３つの領域を選択する。それらは、図６ＣにおけるＣＲ１、ＣＲ２、およびＣＲ３である。縁領域ＣＲに対して外接する長方形を特定し、これらをオブジェクト領域ＯＲとして決定する。オブジェクト領域ＯＲは、単に外接する長方形として最も大きな領域を選択するか、またはオブジェクト領域ＯＲとして直接縁領域ＣＲを使用することによって特定する。決定したオブジェクト領域ＯＲを格納し、人物の顔識別のために使用する。
【００５７】
図８に示すように、オブジェクト領域ＯＲを一旦元の取得画像の中に重ねると、結果として得られたオブジェクト領域ＯＲは、人物画像ＨＭに外接している。すなわち、輪郭決定処理をまったく利用しないで、オブジェクトの距離情報を利用することによって、取得画像から人物画像ＨＭを抽出し、単一のオブジェクトとして決定する。したがって、ピクセル画像が不連続である場合でさえ、オブジェクト画像の輪郭を考慮しないで、オブジェクトの空間的立体を取得することができる。この特徴は、人物の顔を含む画像を抽出することによって人物の顔領域を検出する人物の顔識別に適用することができる。そして、本質的な顔データを特定し、フィッシャーの顔データにおけるベクトル距離を取得し、その後、顔の空間的位置を決定し、最後に、特定の人物の顔を識別することができる。
【００５８】
ｄ０と異なる距離に位置する別のオブジェクトは、距離決定部１１が既に生成した距離画像をリセットして（各ピクセルの確率値をゼロに設定して）、上記の処理を繰り返すことによって検出することができる。
【００５９】
上記の実施形態では、距離決定部１１において、２台のカメラ２を使用して距離画像を生成したが、３台のカメラを使用してもよい。本発明では、縦方向に３台のカメラおよび横方向に３台のカメラをマトリックス状に配置するなど、３台以上のカメラを使用することによって更に利点を得ることができる。距離測定においてカメラをこのように配置することによって、重複決定法を使ってオブジェクトまでの距離を測定することができ、オブジェクトの影や表面反射による影響を抑制することができるため、正確な距離を決定することができる。
【００６０】
図１、図２、および図３によって、オブジェクトの検出方法について説明する。
（画像取得ステップ）
【００６１】
オブジェクト検出装置１では、同時に動作する２台のカメラを介して、時系列データ形式のオブジェクト画像を取得する（ステップＳ１）。
【００６２】
（距離画像生成ステップ）
オブジェクト検出装置１では、距離決定部１１によって、全体としてオブジェクト画像を構成するピクセルの各々の距離を含む距離画像Ｄを生成する。ピクセルの距離は、各ピクセルについて２台のカメラビューの視差から計算する（ステップＳ２）。
【００６３】
（平滑化ステップ）
オブジェクト検出装置１では、平滑化部１２によって、距離画像上のピクセルの輝度によって表される距離データを平滑化し、平滑化された距離画像Ｄ′を生成する（ステップＳ３）。この平滑化した距離画像Ｄ′をヒストグラム生成部１３および確率マッピング２５生成部１５に転送する。
【００６４】
（ヒストグラム生成ステップ）
オブジェクト検出装置１では、ヒストグラム生成部１３によって、ピクセルが存在する可能性のある０．５メートルから３メートルまでの距離を１２．５ｃｍ毎に分類した各区分において、ピクセルが存在する距離に対するピクセルの度数を計算し（ステップＳ４）、ヒストグラムＨを生成する。
【００６５】
（オブジェクト距離決定ステップ）
オブジェクト検出装置１では、オブジェクト距離決定部１４によって、ヒストグラムＨ中のピクセル度数が最大である特定の分類区分を選択し、選択した分類区分の平均値を最もありそうなオブジェクトの距離として設定する（ステップＳ５）。例えば、図５Ａに示すヒストグラムＨにおいて、最もありそうなオブジェクトの距離ｄ０は、最大の度数が得られる１．０メートルないし１．１２５メートルの間の中点の１．０６２５メートルである。
【００６６】
（確率マッピングステップ）
オブジェクト検出装置１では、確率マッピング部１５によって、確率マッピング部１５におけるピクセルがオブジェクトを表す確率と、確率マップＦＰＭとを計算する（ステップＳ６）。確率値Ｐは、上記で定義したように数式（４）によって計算する。
【００６７】
（カーネル検出ステップ）
オブジェクト検出装置１では、ブロブ処理部１６のカーネル検出部１６ａによって、確率マップＦＰＭを使って確率値Ｐが第１閾値ＴＨ１より大きいピクセルを選択し、カーネルを検出する（ステップＳ７）。
【００６８】
（縁検出ステップ）
オブジェクト検出装置１では、ブロブ処理部１６の縁検出部１６ｂによって、確率マップＦＰＭを使って、ステップＳ７で検出したカーネルに隣接するピクセルの中から第１閾値ＴＨ２より大きい確率値Ｐを持つピクセルを選択し、縁領域ＣＲを設定する（ステップＳ８）。
【００６９】
（縁選択ステップ）
オブジェクト検出装置１では、オブジェクト領域特定部１７において、多数のピクセルを含む方から３つの縁領域ＣＲ（すなわち、大きい方から３つの領域）を選択する（ステップＳ９）。
【００７０】
（オブジェクト領域特定ステップ）
オブジェクト領域特定部１７では、ステップＳ９で選択した３つの縁領域ＣＲ１、ＣＲ２、およびＣＲ３に外接する長方形を決定する。すなわち、各縁領域に対してＸ軸（横軸）とＹ軸（縦軸）に関する最大座標値位置と最小値位置とを決定し、オブジェクト領域特定部１７では、結果として、外接する長方形を特定する。
【００７１】
オブジェクト検出装置１では、すべてのステップを処理した後、カメラ２によって撮影した取得画像中に存在するオブジェクトを検出する。
【００７２】
以上、本発明による特許の実施形態ついて説明してきたが、当業者であれば、後述の請求の範囲によって示す本発明の範囲を逸脱しない限り、変形および改変を行うことができることを理解するであろう。例えば、確率値Ｐは、数式（３）および数式（４）によって定義したが、確率値として（ｄ−ｄ０）または（ｄ−ｄ０）２を利用してもよい。確率値が大きければ大きいほど、（ｄ−ｄ０）または（ｄ−ｄ０）２の値は小さくなるため、（ｄ−ｄ０）または（ｄ−ｄ０）２の値が第１閾値ＴＨ１より小さい（しかし、確率値としては大きい）ピクセルによって、カーネルが選択される。
【００７３】
本発明によるオブジェクト検出装置およびオブジェクト検出方法によって対象人物を検出した後、従来のエッジ検出法および輪郭抽出法によって対象人物の検出を行うことができる。
【図面の簡単な説明】
【００７４】
【図１】図１は、本発明の一実施形態によるオブジェクト検出装置を示す機能ブロック図である。
【図２】図２は、本発明の一実施形態によるオブジェクト検出を実行するための動作に関するフローチャートの一部を示す。
【図３】図３は、本発明の一実施形態によるオブジェクト検出を実行するための動作に関するフローチャートの残りの部分を示す。
【図４Ａ】図４Ａは、本発明の一実施形態によるＣＣＤカメラが取得した画像の一例を示す。
【図４Ｂ】図４Ｂは、図４Ａに示す一実施形態による画像から生成された距離画像の一例を示す。
【図４Ｃ】図４Ｃは、図４Ｂに示す一実施形態による距離画像で使用されるパラメータの対応関係を示す。
【図５Ａ】図５Ａは、一実施形態によるガウスフィルタによって平滑化された距離画像Ｄ′の一例を示す。
【図５Ｂ】図５Ｂは、一実施形態による数段階に分類された距離に対するピクセルのカウント数のヒストグラムの一例を示す。
【図６Ａ】図６Ａは、一実施形態による距離ｄ−ｄ０に対する確率値Ｐを示す。
【図６Ｂ】図６Ｂは、一実施形態による距離画像Ｄ′から生成された確率マップＦＰＭの一例を示す。
【図６Ｃ】図６Ｃは、一実施形態による距離ｄ−ｄ０に対する確率値Ｐを示す。
【図７Ａ】図７Ａは、一実施形態による確率マップＦＰＭの拡大図を示す。
【図７Ｂ】図７Ｂは、一実施形態によるブロブ処理における処理手順を示す。
【図８】図８は、一実施形態によるオブジェクト領域ＯＲとして選択された領域を示す。
【特許請求の範囲】
【請求項１】
ピクセルで構成される複数の画像を撮影する複数のカメラによって同時に取得されたこれらの画像を使用するオブジェクト画像検出装置であって、
複数の画像上で取得された視差を使って、視覚的に検出されたオブジェクトの各部分までの距離を決定する距離決定部と、
前記距離決定部によって与えられた前記距離を分類した複数の距離範囲に対して前記ピクセルの度数を特定するヒストグラム生成部と、
前記ヒストグラムによって特定されたピクセル度数の中で最大のピクセル度数を有する距離範囲を選択することによって、前記複数の距離範囲の中で最もありそうな距離を決定するオブジェクト距離決定部と、
前記最もありそうな距離と前記距離決定部によって与えられた前記距離との差によって確率値を計算し、前記ピクセルに対する確率値マップを生成する確率マッピング部と、
前記確率値が第１閾値より大きいピクセルによって構成されるカーネル領域を検出するカーネル検出部と、
前記カーネル領域を構成するピクセルの周辺に隣接し、確率値が前記第１閾値より小さい第２閾値より大きい隣接ピクセルによって構成される少なくとも１つの縁領域を検出する縁検出部と、
少なくとも１つの前記縁領域に基づいてオブジェクト領域を特定するオブジェクト領域特定部と、を備えることを特徴とするオブジェクト画像検出装置。
【請求項２】
前記確率マッピング部は、ｄ０およびｄがそれぞれ前記最もありそうな距離および距離決定部によって与えられた各々の前記距離であり、Ｃとαが共に定数であるとき、数式
【数１】
によって、前記ピクセルの各々に対する距離画像の前記確率値Ｐを計算することを特徴とする請求項１に記載のオブジェクト画像検出装置。
【請求項３】
縁検出部は、所定数の前記縁領域を領域面積が大きい方から選択し、
前記オブジェクト領域特定部は、所定数の前記縁領域に基づいてオブジェクト領域を特定することを特徴とする請求項２に記載のオブジェクト画像検出装置。
【請求項４】
前記縁検出部は、所定数の前記縁領域を領域面積が大きい方から選択し、
前記オブジェクト領域特定部は、前記所定数の縁領域に外接する長方形領域を前記オブジェクト領域として特定することを特徴とする請求項２に記載のオブジェクト画像検出装置。
【請求項５】
前記オブジェクト距離決定部は、前記距離決定部によって与えられた前記ピクセルに対する前記距離を補間することによってフィルタリングした距離を提供する空間フィルタをさらに有し、
前記ヒストグラム生成部は、前記距離決定部によって与えられた前記フィルタリングされた距離を分類した複数の距離範囲に対して前記ピクセルの度数を特定し、
前記オブジェクト距離決定部は、前記ヒストグラムによって特定されたピクセル度数の中で最大のピクセル度数を有する距離範囲を選択することによって、前記複数の距離範囲の中で最もありそうな距離を決定することを特徴とする請求項１に記載のオブジェクト画像検出装置。
【請求項６】
前記縁検出部は、所定数の前記縁領域を領域面積が大きい方から選択し、
前記オブジェクト領域特定部は、前記所定数の縁領域を前記オブジェクト領域として特定することを特徴とする請求項５に記載のオブジェクト画像検出装置。
【請求項７】
前記縁検出部は、所定数の前記縁領域を領域面積が大きい方から選択し、
前記オブジェクト領域特定部は、所定数の前記縁領域に外接する長方形領域を前記オブジェクト領域として特定することを特徴とする請求項５に記載のオブジェクト画像検出装置。
【請求項８】
前記縁検出部は、前記カーネル領域に隣接するピクセルの中で確率値が前記第２閾値より大きいピクセルを選択し、これらの選択されたピクセルに隣接するピクセルの中で確率値が前記第２閾値より大きいピクセルを繰り返し選択し、このように選択を繰り返すことによって最終的に縁領域を決定することを特徴とする請求項１に記載のオブジェクト画像検出装置。
【請求項９】
ピクセルで構成される複数の画像を撮影する複数のカメラによって同時に取得されたこれらの画像を使用するオブジェクト画像検出方法であって、
複数の画像上で取得された視差を使って、視覚的に検出されたオブジェクトの部分であり画像がピクセルによって表現されているこの部分までの距離を決定する距離決定ステップと、
前記距離決定ステップによって与えられた前記距離を分類した複数の距離範囲に対して前記ピクセルの度数を特定するヒストグラム生成ステップと、
前記ヒストグラムによって特定されたピクセル度数の中で最大のピクセル度数を有する距離範囲を選択することによって、前記複数の距離範囲の中で最もありそうな距離を決定するオブジェクト距離決定ステップと、
前記最もありそうな距離と前記距離決定ステップによって与えられた前記距離との差によって確率値を計算し、前記ピクセルに対する確率値マップを生成する確率マッピングステップと、
前記確率値が第１閾値より大きいピクセルによって構成されるカーネル領域を検出するカーネル検出ステップと、
前記カーネル領域を構成するピクセルの周辺に隣接し、確率値が前記第１閾値より小さい第２閾値より大きい隣接ピクセルによって構成される少なくとも１つの縁領域を検出する縁検出ステップと、
少なくとも１つの前記縁領域に基づいてオブジェクト領域を特定するオブジェクト領域特定ステップと、を含むことを特徴とするオブジェクト画像検出方法。
【請求項１０】
前記確率マッピングステップは、ｄ０およびｄがそれぞれ前記最もありそうな距離および距離決定ステップによって与えられた各々の前記距離であり、Ｃとαが共に定数であるとき、数式
【数２】
によって、前記ピクセルの各々に対する距離画像の前記確率値Ｐを計算することを特徴とする請求項９に記載のオブジェクト画像検出方法。
【請求項１１】
前記オブジェクト距離決定ステップは、前記距離決定ステップによって与えられた前記ピクセルに対する前記距離を補間することによってフィルタリングした距離を提供する空間フィルタをさらに有し、
前記ヒストグラム生成ステップは、前記距離決定ステップによって与えられた前記フィルタリングされた距離を分類した複数の距離範囲に対して前記ピクセルの度数を特定し、
前記オブジェクト距離決定ステップは、前記ヒストグラムによって特定されたピクセル度数の中で最大のピクセル度数を有する距離範囲を選択することによって、前記複数の距離範囲の中で最もありそうな距離を決定することを特徴とする請求項９に記載のオブジェクト画像検出方法。
【請求項１２】
縁検出ステップは、所定数の前記縁領域を領域面積が大きい方から選択し、
前記オブジェクト領域特定ステップは、前記所定数の縁領域に基づいてオブジェクト領域を特定することを特徴とする請求項１０に記載のオブジェクト画像検出方法。
【請求項１３】
前記縁検出ステップは、所定数の前記縁領域を領域面積が大きい方から選択し、
前記オブジェクト領域特定ステップは、前記所定数の縁領域を前記オブジェクト領域として特定することを特徴とする請求項１１に記載のオブジェクト画像検出方法。
【請求項１４】
前記縁検出ステップは、所定数の前記縁領域を領域面積が大きい方から選択し、
前記オブジェクト領域特定ステップは、所定数の前記縁領域に外接する長方形領域を前記オブジェクト領域として特定することを特徴とする請求項１０に記載のオブジェクト画像検出方法。
【請求項１５】
前記縁検出ステップは、所定数の前記縁領域を領域面積が大きい方から選択し、
前記オブジェクト領域特定ステップは、所定数の前記縁領域に外接する長方形領域を前記オブジェクト領域として特定することを特徴とする請求項１１に記載のオブジェクト画像検出方法。
【請求項１６】
前記縁検出ステップは、前記カーネル領域に隣接するピクセルの中で確率値が前記第２閾値より大きいピクセルを選択し、これらの選択されたピクセルに隣接するピクセルの中で確率値が前記第２閾値より大きいピクセルを繰り返し選択し、このように選択を繰り返すことによって最終的に縁領域を決定することを特徴とする請求項９に記載のオブジェクト画像検出方法。
【請求項１７】
ピクセルで構成される複数の画像を撮影する複数のカメラによって同時に取得されたこれらの画像を使用してオブジェクト画像を検出するコンピュータを動作させるコンピュータプログラムであって、
複数の画像上で取得された視差を使って、視覚的に検出されたオブジェクトの部分であり画像がピクセルによって表現されているこの部分までの距離を決定する距離決定プログラムと、
前記距離決定プログラムによって与えられた前記距離を分類した複数の距離範囲に対して前記ピクセルの度数を特定するヒストグラム生成プログラムと、
前記ヒストグラムによって特定されたピクセル度数の中で最大のピクセル度数を有する距離範囲を選択することによって、前記複数の距離範囲の中で最もありそうな距離を決定するオブジェクト距離決定プログラムと、
前記最もありそうな距離と前記距離決定プログラムによって与えられた前記距離との差によって確率値を計算し、前記ピクセルに対する確率値マップを生成する確率マッピングプログラムと、
前記確率値が第１閾値より大きいピクセルによって構成されるカーネル領域を検出するカーネル検出プログラムと、
前記カーネル領域を構成するピクセルの周辺に隣接し、確率値が前記第１閾値より小さい第２閾値より大きい隣接ピクセルによって構成される少なくとも１つの縁領域を検出する縁検出プログラムと、
少なくとも１つの前記縁領域に基づいてオブジェクト領域を特定するオブジェクト領域特定プログラムと、を含むことを特徴とするコンピュータプログラム。
【請求項１８】
前記確率マッピングプログラムは、ｄ０およびｄがそれぞれ前記最もありそうな距離および距離決定プログラムによって与えられた各々の前記距離であり、Ｃとαが共に定数であるとき、数式
【数３】
によって、前記ピクセルの各々に対する距離画像の前記確率値Ｐを計算することを特徴とする請求項１７に記載のコンピュータプログラム。
【請求項１９】
縁検出プログラムは、所定数の前記縁領域を領域面積が大きい方から選択し、
前記オブジェクト領域特定プログラムは、前記所定数の縁領域に基づいてオブジェクト領域を特定することを特徴とする請求項１８に記載のコンピュータプログラム。
【請求項２０】
前記縁検出プログラムは、所定数の前記縁領域を領域面積が大きい方から選択し、
前記オブジェクト領域特定プログラムは、所定数の前記縁領域に外接する長方形領域を前記オブジェクト領域として特定することを特徴とする請求項１８に記載のオブジェクト画像検出方法。
【請求項２１】
前記オブジェクト距離決定プログラムは、前記距離決定プログラムによって与えられた前記ピクセルに対する前記距離を補間することによってフィルタリングした距離を提供する空間フィルタをさらに有し、
前記ヒストグラム生成プログラムは、前記距離決定プログラムによって与えられた前記フィルタリングされた距離を分類した複数の距離範囲に対して前記ピクセルの度数を特定し、
前記オブジェクト距離決定プログラムは、前記ヒストグラムによって特定されたピクセル度数の中で最大のピクセル度数を有する距離範囲を選択することによって、前記複数の距離範囲の中で最もありそうな距離を決定することを特徴とする請求項１７に記載のオブジェクト画像検出プログラム。
【請求項２２】
前記縁検出プログラムは、所定数の前記縁領域を領域面積が大きい方から選択し、
前記オブジェクト領域特定プログラムは、前記所定数の縁領域を前記オブジェクト領域として特定することを特徴とする請求項２１に記載のコンピュータプログラム。
【請求項２３】
前記縁検出プログラムは、所定数の前記縁領域を領域面積が大きい方から選択し、
前記オブジェクト領域特定プログラムは、所定数の前記縁領域に外接する長方形領域を前記オブジェクト領域として特定することを特徴とする請求項２１に記載のオブジェクト画像検出方法。
【請求項２４】
前記縁検出プログラムは、前記カーネル領域に隣接するピクセルの中で確率値が前記第２閾値より大きいピクセルを選択し、これらの選択されたピクセルに隣接するピクセルの中で確率値が前記第２閾値より大きいピクセルを繰り返し選択し、このように選択を繰り返すことによって最終的に縁領域を決定することを特徴とする請求項１７に記載のオブジェクト画像検出コンピュータプログラム。
【請求項２５】
請求項１に記載のオブジェクト画像検出装置を使用するオブジェクト画像検出方法。
【請求項２６】
請求項９に記載のオブジェクト画像検出方法を使用するオブジェクト画像検出方法。
【請求項２７】
請求項１７に記載のオブジェクト画像を検出するコンピュータを動作させるコンピュータプログラムを使用するオブジェクト画像検出方法。
【請求項１】
ピクセルで構成される複数の画像を撮影する複数のカメラによって同時に取得されたこれらの画像を使用するオブジェクト画像検出装置であって、
複数の画像上で取得された視差を使って、視覚的に検出されたオブジェクトの各部分までの距離を決定する距離決定部と、
前記距離決定部によって与えられた前記距離を分類した複数の距離範囲に対して前記ピクセルの度数を特定するヒストグラム生成部と、
前記ヒストグラムによって特定されたピクセル度数の中で最大のピクセル度数を有する距離範囲を選択することによって、前記複数の距離範囲の中で最もありそうな距離を決定するオブジェクト距離決定部と、
前記最もありそうな距離と前記距離決定部によって与えられた前記距離との差によって確率値を計算し、前記ピクセルに対する確率値マップを生成する確率マッピング部と、
前記確率値が第１閾値より大きいピクセルによって構成されるカーネル領域を検出するカーネル検出部と、
前記カーネル領域を構成するピクセルの周辺に隣接し、確率値が前記第１閾値より小さい第２閾値より大きい隣接ピクセルによって構成される少なくとも１つの縁領域を検出する縁検出部と、
少なくとも１つの前記縁領域に基づいてオブジェクト領域を特定するオブジェクト領域特定部と、を備えることを特徴とするオブジェクト画像検出装置。
【請求項２】
前記確率マッピング部は、ｄ０およびｄがそれぞれ前記最もありそうな距離および距離決定部によって与えられた各々の前記距離であり、Ｃとαが共に定数であるとき、数式
【数１】
によって、前記ピクセルの各々に対する距離画像の前記確率値Ｐを計算することを特徴とする請求項１に記載のオブジェクト画像検出装置。
【請求項３】
縁検出部は、所定数の前記縁領域を領域面積が大きい方から選択し、
前記オブジェクト領域特定部は、所定数の前記縁領域に基づいてオブジェクト領域を特定することを特徴とする請求項２に記載のオブジェクト画像検出装置。
【請求項４】
前記縁検出部は、所定数の前記縁領域を領域面積が大きい方から選択し、
前記オブジェクト領域特定部は、前記所定数の縁領域に外接する長方形領域を前記オブジェクト領域として特定することを特徴とする請求項２に記載のオブジェクト画像検出装置。
【請求項５】
前記オブジェクト距離決定部は、前記距離決定部によって与えられた前記ピクセルに対する前記距離を補間することによってフィルタリングした距離を提供する空間フィルタをさらに有し、
前記ヒストグラム生成部は、前記距離決定部によって与えられた前記フィルタリングされた距離を分類した複数の距離範囲に対して前記ピクセルの度数を特定し、
前記オブジェクト距離決定部は、前記ヒストグラムによって特定されたピクセル度数の中で最大のピクセル度数を有する距離範囲を選択することによって、前記複数の距離範囲の中で最もありそうな距離を決定することを特徴とする請求項１に記載のオブジェクト画像検出装置。
【請求項６】
前記縁検出部は、所定数の前記縁領域を領域面積が大きい方から選択し、
前記オブジェクト領域特定部は、前記所定数の縁領域を前記オブジェクト領域として特定することを特徴とする請求項５に記載のオブジェクト画像検出装置。
【請求項７】
前記縁検出部は、所定数の前記縁領域を領域面積が大きい方から選択し、
前記オブジェクト領域特定部は、所定数の前記縁領域に外接する長方形領域を前記オブジェクト領域として特定することを特徴とする請求項５に記載のオブジェクト画像検出装置。
【請求項８】
前記縁検出部は、前記カーネル領域に隣接するピクセルの中で確率値が前記第２閾値より大きいピクセルを選択し、これらの選択されたピクセルに隣接するピクセルの中で確率値が前記第２閾値より大きいピクセルを繰り返し選択し、このように選択を繰り返すことによって最終的に縁領域を決定することを特徴とする請求項１に記載のオブジェクト画像検出装置。
【請求項９】
ピクセルで構成される複数の画像を撮影する複数のカメラによって同時に取得されたこれらの画像を使用するオブジェクト画像検出方法であって、
複数の画像上で取得された視差を使って、視覚的に検出されたオブジェクトの部分であり画像がピクセルによって表現されているこの部分までの距離を決定する距離決定ステップと、
前記距離決定ステップによって与えられた前記距離を分類した複数の距離範囲に対して前記ピクセルの度数を特定するヒストグラム生成ステップと、
前記ヒストグラムによって特定されたピクセル度数の中で最大のピクセル度数を有する距離範囲を選択することによって、前記複数の距離範囲の中で最もありそうな距離を決定するオブジェクト距離決定ステップと、
前記最もありそうな距離と前記距離決定ステップによって与えられた前記距離との差によって確率値を計算し、前記ピクセルに対する確率値マップを生成する確率マッピングステップと、
前記確率値が第１閾値より大きいピクセルによって構成されるカーネル領域を検出するカーネル検出ステップと、
前記カーネル領域を構成するピクセルの周辺に隣接し、確率値が前記第１閾値より小さい第２閾値より大きい隣接ピクセルによって構成される少なくとも１つの縁領域を検出する縁検出ステップと、
少なくとも１つの前記縁領域に基づいてオブジェクト領域を特定するオブジェクト領域特定ステップと、を含むことを特徴とするオブジェクト画像検出方法。
【請求項１０】
前記確率マッピングステップは、ｄ０およびｄがそれぞれ前記最もありそうな距離および距離決定ステップによって与えられた各々の前記距離であり、Ｃとαが共に定数であるとき、数式
【数２】
によって、前記ピクセルの各々に対する距離画像の前記確率値Ｐを計算することを特徴とする請求項９に記載のオブジェクト画像検出方法。
【請求項１１】
前記オブジェクト距離決定ステップは、前記距離決定ステップによって与えられた前記ピクセルに対する前記距離を補間することによってフィルタリングした距離を提供する空間フィルタをさらに有し、
前記ヒストグラム生成ステップは、前記距離決定ステップによって与えられた前記フィルタリングされた距離を分類した複数の距離範囲に対して前記ピクセルの度数を特定し、
前記オブジェクト距離決定ステップは、前記ヒストグラムによって特定されたピクセル度数の中で最大のピクセル度数を有する距離範囲を選択することによって、前記複数の距離範囲の中で最もありそうな距離を決定することを特徴とする請求項９に記載のオブジェクト画像検出方法。
【請求項１２】
縁検出ステップは、所定数の前記縁領域を領域面積が大きい方から選択し、
前記オブジェクト領域特定ステップは、前記所定数の縁領域に基づいてオブジェクト領域を特定することを特徴とする請求項１０に記載のオブジェクト画像検出方法。
【請求項１３】
前記縁検出ステップは、所定数の前記縁領域を領域面積が大きい方から選択し、
前記オブジェクト領域特定ステップは、前記所定数の縁領域を前記オブジェクト領域として特定することを特徴とする請求項１１に記載のオブジェクト画像検出方法。
【請求項１４】
前記縁検出ステップは、所定数の前記縁領域を領域面積が大きい方から選択し、
前記オブジェクト領域特定ステップは、所定数の前記縁領域に外接する長方形領域を前記オブジェクト領域として特定することを特徴とする請求項１０に記載のオブジェクト画像検出方法。
【請求項１５】
前記縁検出ステップは、所定数の前記縁領域を領域面積が大きい方から選択し、
前記オブジェクト領域特定ステップは、所定数の前記縁領域に外接する長方形領域を前記オブジェクト領域として特定することを特徴とする請求項１１に記載のオブジェクト画像検出方法。
【請求項１６】
前記縁検出ステップは、前記カーネル領域に隣接するピクセルの中で確率値が前記第２閾値より大きいピクセルを選択し、これらの選択されたピクセルに隣接するピクセルの中で確率値が前記第２閾値より大きいピクセルを繰り返し選択し、このように選択を繰り返すことによって最終的に縁領域を決定することを特徴とする請求項９に記載のオブジェクト画像検出方法。
【請求項１７】
ピクセルで構成される複数の画像を撮影する複数のカメラによって同時に取得されたこれらの画像を使用してオブジェクト画像を検出するコンピュータを動作させるコンピュータプログラムであって、
複数の画像上で取得された視差を使って、視覚的に検出されたオブジェクトの部分であり画像がピクセルによって表現されているこの部分までの距離を決定する距離決定プログラムと、
前記距離決定プログラムによって与えられた前記距離を分類した複数の距離範囲に対して前記ピクセルの度数を特定するヒストグラム生成プログラムと、
前記ヒストグラムによって特定されたピクセル度数の中で最大のピクセル度数を有する距離範囲を選択することによって、前記複数の距離範囲の中で最もありそうな距離を決定するオブジェクト距離決定プログラムと、
前記最もありそうな距離と前記距離決定プログラムによって与えられた前記距離との差によって確率値を計算し、前記ピクセルに対する確率値マップを生成する確率マッピングプログラムと、
前記確率値が第１閾値より大きいピクセルによって構成されるカーネル領域を検出するカーネル検出プログラムと、
前記カーネル領域を構成するピクセルの周辺に隣接し、確率値が前記第１閾値より小さい第２閾値より大きい隣接ピクセルによって構成される少なくとも１つの縁領域を検出する縁検出プログラムと、
少なくとも１つの前記縁領域に基づいてオブジェクト領域を特定するオブジェクト領域特定プログラムと、を含むことを特徴とするコンピュータプログラム。
【請求項１８】
前記確率マッピングプログラムは、ｄ０およびｄがそれぞれ前記最もありそうな距離および距離決定プログラムによって与えられた各々の前記距離であり、Ｃとαが共に定数であるとき、数式
【数３】
によって、前記ピクセルの各々に対する距離画像の前記確率値Ｐを計算することを特徴とする請求項１７に記載のコンピュータプログラム。
【請求項１９】
縁検出プログラムは、所定数の前記縁領域を領域面積が大きい方から選択し、
前記オブジェクト領域特定プログラムは、前記所定数の縁領域に基づいてオブジェクト領域を特定することを特徴とする請求項１８に記載のコンピュータプログラム。
【請求項２０】
前記縁検出プログラムは、所定数の前記縁領域を領域面積が大きい方から選択し、
前記オブジェクト領域特定プログラムは、所定数の前記縁領域に外接する長方形領域を前記オブジェクト領域として特定することを特徴とする請求項１８に記載のオブジェクト画像検出方法。
【請求項２１】
前記オブジェクト距離決定プログラムは、前記距離決定プログラムによって与えられた前記ピクセルに対する前記距離を補間することによってフィルタリングした距離を提供する空間フィルタをさらに有し、
前記ヒストグラム生成プログラムは、前記距離決定プログラムによって与えられた前記フィルタリングされた距離を分類した複数の距離範囲に対して前記ピクセルの度数を特定し、
前記オブジェクト距離決定プログラムは、前記ヒストグラムによって特定されたピクセル度数の中で最大のピクセル度数を有する距離範囲を選択することによって、前記複数の距離範囲の中で最もありそうな距離を決定することを特徴とする請求項１７に記載のオブジェクト画像検出プログラム。
【請求項２２】
前記縁検出プログラムは、所定数の前記縁領域を領域面積が大きい方から選択し、
前記オブジェクト領域特定プログラムは、前記所定数の縁領域を前記オブジェクト領域として特定することを特徴とする請求項２１に記載のコンピュータプログラム。
【請求項２３】
前記縁検出プログラムは、所定数の前記縁領域を領域面積が大きい方から選択し、
前記オブジェクト領域特定プログラムは、所定数の前記縁領域に外接する長方形領域を前記オブジェクト領域として特定することを特徴とする請求項２１に記載のオブジェクト画像検出方法。
【請求項２４】
前記縁検出プログラムは、前記カーネル領域に隣接するピクセルの中で確率値が前記第２閾値より大きいピクセルを選択し、これらの選択されたピクセルに隣接するピクセルの中で確率値が前記第２閾値より大きいピクセルを繰り返し選択し、このように選択を繰り返すことによって最終的に縁領域を決定することを特徴とする請求項１７に記載のオブジェクト画像検出コンピュータプログラム。
【請求項２５】
請求項１に記載のオブジェクト画像検出装置を使用するオブジェクト画像検出方法。
【請求項２６】
請求項９に記載のオブジェクト画像検出方法を使用するオブジェクト画像検出方法。
【請求項２７】
請求項１７に記載のオブジェクト画像を検出するコンピュータを動作させるコンピュータプログラムを使用するオブジェクト画像検出方法。
【図１】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図４Ｃ】
【図５Ａ】
【図５Ｂ】
【図６Ａ】
【図６Ｂ】
【図６Ｃ】
【図７Ａ】
【図７Ｂ】
【図８】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図４Ｃ】
【図５Ａ】
【図５Ｂ】
【図６Ａ】
【図６Ｂ】
【図６Ｃ】
【図７Ａ】
【図７Ｂ】
【図８】
【公表番号】特表２００７−５２４９５０（Ｐ２００７−５２４９５０Ａ）
【公表日】平成１９年８月３０日（２００７．８．３０）
【国際特許分類】
【出願番号】特願２００６−５５４１１９（Ｐ２００６−５５４１１９）
【出願日】平成１７年２月７日（２００５．２．７）
【国際出願番号】ＰＣＴ／ＵＳ２００５／００３８２２
【国際公開番号】ＷＯ２００５／０８１７９２
【国際公開日】平成１７年９月９日（２００５．９．９）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
【公表日】平成１９年８月３０日（２００７．８．３０）
【国際特許分類】
【出願日】平成１７年２月７日（２００５．２．７）
【国際出願番号】ＰＣＴ／ＵＳ２００５／００３８２２
【国際公開番号】ＷＯ２００５／０８１７９２
【国際公開日】平成１７年９月９日（２００５．９．９）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
[ Back to top ]