物体検出方法及び物体検出装置
【課題】演算コストがより低い物体検出装置を提供すること。
【解決手段】2つのカメラ2a、2bのそれぞれが撮像するカメラ画像2aR、2bRの視差に基づいて物体50を検出する物体検出装置100は、被撮像空間を通る仮想直線VL上の複数の検査点IP1〜IP5のうちの1つIP1に対応する画素を含む部分画像2aR1、2bR1をカメラ画像2aR、2bRから抽出する部分画像抽出部10と、同一の検査点IP1に対応するカメラ画像2aR、2bRの部分画像2aR1、2bR1同士の類似度に基づいて検査点IP1に関する評価値CGRAを決定する評価値決定部11と、評価値決定部11が決定する評価値を用いて物体50の存否を判定する物体存否判定部12とを備える。
【解決手段】2つのカメラ2a、2bのそれぞれが撮像するカメラ画像2aR、2bRの視差に基づいて物体50を検出する物体検出装置100は、被撮像空間を通る仮想直線VL上の複数の検査点IP1〜IP5のうちの1つIP1に対応する画素を含む部分画像2aR1、2bR1をカメラ画像2aR、2bRから抽出する部分画像抽出部10と、同一の検査点IP1に対応するカメラ画像2aR、2bRの部分画像2aR1、2bR1同士の類似度に基づいて検査点IP1に関する評価値CGRAを決定する評価値決定部11と、評価値決定部11が決定する評価値を用いて物体50の存否を判定する物体存否判定部12とを備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数台のカメラのそれぞれが撮像するカメラ画像間の視差に基づいて物体を検出する物体検出方法及び物体検出装置に関する。
【背景技術】
【0002】
従来、ステレオカメラを用いて物体までの距離を測定する方法が知られている(例えば、特許文献1参照。)。
【0003】
この方法は、2つのカメラのそれぞれが撮像した2つのカメラ画像のそれぞれにおいて特徴点を見つけ出し、各カメラ画像間での特徴点同士の対応関係を明らかにし、対応付けられたそれらの特徴点の位置の違い(視差)に基づいて、その特徴点を形成する物体までの距離を三角測量で計算する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2000−111321号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1に記載の方法は、特徴点を見つけ出すための演算コスト及び各カメラ画像間での特徴点同士の対応関係を明らかにするための演算コストが大きいため、低コストの組込み装置への実装が困難である。また、この方法は、二次元のカメラ画像から三次元の距離分布を導き出す方法であるため、カメラ画像の特定部分のみを測定範囲(測定対象の物体が存在する範囲)として予め設定することができず、測定対象の物体が存在し得ない領域に対しても演算コストをかけることとなり効率が悪い。
【0006】
上述の点に鑑み、本発明は、演算コストがより低い物体検出方法及び物体検出装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
上述の目的を達成するために、本発明の実施例に係る物体検出装置は、少なくとも2つのカメラのそれぞれが撮像するカメラ画像間の視差に基づいて物体を検出する物体検出装置であって、被撮像空間を通る仮想直線上の複数の検査点のうちの1つに対応する画素を含む所定サイズの部分画像を各カメラ画像から抽出する部分画像抽出部と、同一検査点に対応する前記各カメラ画像の部分画像同士の類似度に基づいて前記複数の検査点のうちの1つに関する評価値を決定する評価値決定部と、前記評価値決定部が決定する評価値を用いて物体の存否を判定する物体存否判定部と、を備えることを特徴とする。
【0008】
また、本発明の実施例に係る物体検出方法は、少なくとも2つのカメラのそれぞれが撮像するカメラ画像間の視差に基づいて物体を検出する物体検出方法であって、被撮像空間を通る仮想直線上の複数の検査点のうちの1つに対応する画素を含む所定サイズの部分画像を各カメラ画像から抽出する部分画像抽出ステップと、同一検査点に対応する前記各カメラ画像の部分画像同士の類似度に基づいて前記複数の検査点のうちの1つに関する評価値を決定する評価値決定ステップと、前記評価値決定ステップにおいて決定される評価値を用いて物体の存否を判定する物体存否判定ステップと、を備えることを特徴とする。
【発明の効果】
【0009】
上述の手段により、本発明は、演算コストがより低い物体検出方法及び物体検出装置を提供することができる。
【図面の簡単な説明】
【0010】
【図1】本発明に係る物体検出装置の構成例を概略的に示すブロック図である。
【図2】撮像部と測定ラインとの関係の一例を示す図である。
【図3】図2に示す2台のカメラのそれぞれが撮像するカメラ画像と8つの検査点との関係を示す図である。
【図4】検出対象を撮像する2台のカメラが出力するカメラ画像を示す図である。
【図5】図4の2つのカメラ画像のそれぞれにおける、検査点に対応する画素を含む部分画像を示す図である。
【図6】評価値決定処理の流れを示すフローチャートである。
【図7】水平方向の輝度の微分値、鉛直方向の輝度の微分値、及び、輝度勾配方向の三者の関係を示す図である。
【図8】検査点に対応する画素を中心画素とする部分画像における各画素の輝度勾配方向を示す図である。
【図9】評価値決定部による輝度勾配方向の量子化方法の一例を説明する図である。
【図10】評価値決定部による輝度勾配方向の値のヒストグラムの作成方法の一例を説明する図である。
【図11】16個の検査点のそれぞれに関する評価値の分布を示す図(その1)である。
【図12】16個の検査点のそれぞれに関する評価値の分布を示す図(その2)である。
【図13】16個の検査点のそれぞれに関する評価値の分布を示す図(その3)である。
【図14】物体検出処理の流れを示すフローチャートである。
【発明を実施するための形態】
【0011】
以下、図面を参照しつつ、本発明を実施するための最良の形態の説明を行う。
【実施例】
【0012】
図1は、本発明に係る物体検出装置100の構成例を概略的に示すブロック図である。物体検出装置100は、主に、制御部1、撮像部2、表示部3、及び音声出力部4で構成される。
【0013】
制御部1は、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)、NVRAM(Non-Volatile Random Access Memory)等を備えたコンピュータである。制御部1は、例えば、ROMやNVRAMに保存された、後述する部分画像抽出部10、評価値決定部11、及び物体存否判定部12のそれぞれの機能要素に対応するプログラムをRAMに展開し、各機能要素に対応する処理をCPUに実行させる。
【0014】
撮像部2は、画像を取得する装置であり、例えば、少なくとも2つのカメラで構成されるステレオビジョン装置である。撮像部2は、所定周期で撮像する画像データを制御部1に対して出力する。
【0015】
撮像部2を構成する少なくとも2つのカメラは、所定距離を隔てて配置され、同じ空間領域を撮像する。以下では、少なくとも2つのカメラが撮像する共通の空間領域を「被撮像空間」と称する。
【0016】
表示部3は、各種情報を表示するための装置であり、例えば、液晶ディスプレイ、プロジェクタ等であって、制御部1が出力する各種画像を表示する。
【0017】
音声出力部4は、各種情報を音声出力するための装置であり、例えば、ブザー、スピーカ等であって、制御部1が出力する制御信号に応じて各種情報を音声出力する。
【0018】
部分画像抽出部10は、撮像部2が撮像した画像から部分画像を抽出する機能要素である。
【0019】
具体的には、部分画像抽出部10は、撮像部2を構成する複数のカメラのそれぞれが撮像したカメラ画像から、検査点に対応する画素を含む所定サイズの部分画像を抽出する。部分画像は、例えば、検査点に対応する画素を中心画素とする矩形画像である。なお、部分画像は、円形、楕円形等の他の形状を有していてもよい。
【0020】
「検査点」とは、三次元空間である被撮像空間を通る仮想直線(以下、「測定ライン」とする。)上の点である。検査点は、好適には、物体検出装置100の検出対象に応じて予め設定される。この場合、物体検出装置100は、三次元空間に定義される三次元座標系における各検査点の三次元座標と、複数のカメラ画像のそれぞれに対して定義される二次元座標系における対応する二次元座標とを予め関連付けて保持する。但し、検査点は、物体検出装置100の検出対象に応じて動的に設定されてもよい。この場合、物体検出装置100は、測定ライン及び検査点を動的に設定し、各検査点の三次元座標に基づいて、複数のカメラ画像のそれぞれにおける対応する二次元座標を動的に算出する。
【0021】
図2は、撮像部2と測定ラインVLとの関係の一例を示す図であり、撮像部2を構成する2つのカメラ2a、2bとカメラ2a、2bに関する被撮像空間を通る測定ラインVL上に配置される8個の検査点IP1〜IP8とを示す。
【0022】
測定ラインVLは、被撮像空間を通る任意の直線であるが、好適には、物体検出装置100の検出対象である物体が存在する可能性の高い空間領域、又は、物体検出装置100の検出対象である物体が移動する可能性の高い空間領域を貫くように配置される。
【0023】
また、測定ラインVL上に配置される検査点間の距離は任意であり、等間隔であってもよく、不等間隔であってもよい。なお、検査点間の距離が長い程、すなわち、検査点の数が少ない程、物体検出装置100が物体を検出するために要する演算負荷は減少する。一方、検査点間の距離が短い程、すなわち、検査点の数が多い程、物体検出装置100の分解能は高くなる。
【0024】
図3は、図2に示す2台のカメラ2a、2bのそれぞれが撮像するカメラ画像2aR、2bRと8つの検査点IP1〜IP8との関係を示す。カメラ2aが撮像するカメラ画像2aRは、検査点IP1〜IP8のそれぞれに対応する画素2aP1〜2aP8を中心とする部分画像2aR1〜2aR8を含む。同様に、カメラ2bが撮像するカメラ画像2bRは、検査点IP1〜IP8のそれぞれに対応する画素2bP1〜2bP8を中心とする部分画像2bR1〜2bR8を含む。なお、部分画像2aR1〜2aR8及び部分画像2bR1〜2bR8のそれぞれのサイズは共通である。部分画像2bR1〜2bR8のサイズを共通とした場合、演算処理がしやすいというメリットがある。そのため、図3では、検査点IP2〜IP7のそれぞれを中心画素とする、カメラ画像2aR、2bRのそれぞれにおける部分画像の範囲の図示を省略する。なお、部分画像のサイズは、同じ検査点に対応する部分画像間で共通であれば、カメラからの距離に応じて検査点毎に変更されてもよい。この場合、カメラからの距離に応じて変化する、物体のカメラ画像内での映り込みサイズに、部分画像のサイズを合わせられるというメリットがある。なお、カメラ画像2aRのサイズは、カメラ画像2bRのサイズと同じである。また、図3は、カメラ2aの設置位置とカメラ2bの設置位置との違いに起因して、カメラ2aが撮像するカメラ画像2aRとカメラ2bが撮像するカメラ画像2bRとの間に視差が存在することを示す。
【0025】
図4は、検出対象50を撮像する2台のカメラ2a、2bが出力するカメラ画像2aR、2bRを示す。なお、図4に示す測定ラインは、図3に示す測定ラインVLとは延在方向が異なるが、説明の便宜のため、同じ参照符号VLを用いて説明する。検査点IP1〜IP5についても同様である。
【0026】
図4において、カメラ2a、2bは、床面から500mmの高さに設置される。また、測定ラインVLは、床面からの高さが500mmの平面上で、カメラ2aとカメラ2bとを結ぶ線分の中点MPを通り、カメラ2a、2bの光軸方向に平行に伸びる。また、5つの検査点IP1〜IP5は、測定ラインVL上に等間隔(例えば、250mm間隔)に配置され、中点MPとの距離が最も小さい検査点IP1は、中点MPから1000mmの地点に配置される。また、検出対象50はヘルメットであり、中点MPから1750mmの地点に配置される。
【0027】
図5は、図4の2つのカメラ画像2aR、2bRのそれぞれにおける、5つの検査点IP1〜IP5のそれぞれに対応する画素を含む、2つ1組の5組の部分画像を示す。
【0028】
部分画像2aR1は、カメラ2aが撮像したカメラ画像2aRにおける、検査点IP1に対応する画素2aP1を中心画素とする部分画像である。また、部分画像2bR1は、カメラ2bが撮像したカメラ画像2bRにおける、検査点IP1に対応する画素2bP1を中心画素とする部分画像である。
【0029】
同様に、部分画像2aR2〜2aR5のそれぞれは、カメラ画像2aRにおける、検査点IP2〜IP5のそれぞれに対応する画素2aP2〜2aP5のそれぞれを中心画素とする部分画像である。また、部分画像2bR2〜2bR5のそれぞれは、カメラ画像2bRにおける、検査点IP2〜IP5のそれぞれに対応する画素2bP2〜2bP5のそれぞれを中心画素とする部分画像である。
【0030】
このようにして、部分画像抽出部10は、複数の検査点のそれぞれに対応する画素のそれぞれを中心画素とする所定サイズの部分画像を各カメラ画像から抽出する。
【0031】
評価値決定部11は、互いに対応する部分画像の類似度に基づいて検査点に関する評価値を決定する機能要素である。
【0032】
具体的には、評価値決定部11は、特定の検査点に対応する画素を中心画素とする部分画像同士の類似度に基づいてその特定の検査点に関する評価値を決定する。
【0033】
図6は、評価値決定部11が検査点に関する評価値を決定する処理(以下、「評価値決定処理」とする。)の流れを示すフローチャートである。
【0034】
最初に、評価値決定部11は、部分画像における各画素の輝度勾配方向を算出する(ステップS1)。
【0035】
「輝度勾配方向」とは、ある注目画素において輝度変化が最大である方向を意味し、本実施例では、水平方向(画面横方向)の輝度の微分値と鉛直方向(画面縦方向)の輝度の微分値dIy(i、j)とが形成する角度θで表される。
【0036】
具体的には、カメラ画像2aR、2bRのそれぞれにおける座標(i、j)の画素の輝度をI(i、j)で表すと、水平方向の輝度の微分値dIx(i、j)、鉛直方向の輝度の微分値dIy(i、j)、及び、輝度勾配方向θは、以下の式で表される。
【0037】
【数1】
【0038】
【数2】
【0039】
【数3】
図7は、水平方向の輝度の微分値dIx(i、j)、鉛直方向の輝度の微分値dIy(i、j)、及び、輝度勾配方向θの三者の関係を示す図であり、輝度勾配方向θが、水平方向の輝度の微分値dIx(i、j)と鉛直方向の輝度の微分値dIy(i、j)との間の角度であることを示す。
【0040】
また、図8は、カメラ画像2aRにおける、検査点IP1に対応する画素2aP1を中心画素とする部分画像2aR1における各画素の輝度勾配方向を示す。具体的には、図8(A)は、部分画像2aR1の全体像を示し、図8(B)は、図8(A)の破線円部分の拡大図を示す。なお、図8(A)は、説明の便宜のため、部分画像2aR1を縦9ピクセル、横9ピクセルのサイズで示す。また、図8(B)は、各画素の輝度勾配方向を矢印で示す。
【0041】
このようにして、評価値決定部11は、部分画像における各画素の輝度勾配方向θを算出する。
【0042】
部分画像における各画素の輝度勾配方向θを算出した後、評価値決定部11は、その算出した輝度勾配方向θを量子化する(ステップS2)。
【0043】
図9は、評価値決定部11による輝度勾配方向θの量子化方法の一例を説明する図である。
【0044】
図9(A)で示すように、評価値決定部11は、輝度勾配方向θが0度以上45度未満の場合に輝度勾配方向を値「0」に変換する。同様に、評価値決定部11は、輝度勾配方向θが45度以上90度未満、90度以上135度未満、135度以上180度未満、180度以上225度未満、225度以上270度未満、270度以上315度未満、315度以上360度未満の場合に、輝度勾配方向をそれぞれ値「1」、値「2」、値「3」、値「4」、値「5」、値「6」、値「7」に変換する。図9(B)は、量子化の結果の一例を示し、図8(B)に対応する。
【0045】
このようにして、評価値決定部11は、特定の検査点に対応する画素を中心画素とする部分画像における各画素の輝度勾配方向θを量子化する。
【0046】
輝度勾配方向θを量子化した後、評価値決定部11は、その量子化した輝度勾配方向の値のヒストグラムを作成する(ステップS3)。
【0047】
図10は、評価値決定部11による輝度勾配方向の値のヒストグラムの作成方法の一例を説明する図である。なお、図10(A)の部分画像2aR1は、図9(A)の部分画像2aR1に対応する。
【0048】
図10(A)で示すように、評価値決定部11は、部分画像2aR1を、中心画素2aP1を含む列より左側にある4列で構成される左側領域と、中心画素2aP1を含む1列、及び中心画素2aP1を含む列より右側にある4列で構成される右側領域とに分割する。
【0049】
その上で、評価値決定部11は、左側領域に含まれる各画素の輝度勾配方向の値の出現頻度を「0」〜「7」の値毎に計数する。同様に、評価値決定部11は、右側領域に含まれる各画素の輝度勾配方向の値の出現頻度を「0」〜「7」の値毎に計数する。
【0050】
図10(B)は、左側領域に関する「0」〜「7」の値と右側領域に関する「0」〜「7」の値とで構成される16種類(次元)の値のそれぞれの出現頻度の分布を示すヒストグラムの一例である。
【0051】
このようにして、評価値決定部11は、特定の検査点に対応する画素を中心画素とする部分画像の特徴を表すヒストグラムを作成する。
【0052】
特定の検査点に関連する複数の部分画像のそれぞれの特徴を表すヒストグラムを作成した後、評価値決定部11は、その特定の検査点に関する評価値CGRAを決定する(ステップS4)。
【0053】
具体的には、評価値決定部11は、検査点IP1に関連する、カメラ2aが撮像したカメラ画像2aRにおける部分画像2aR1の特徴を表すヒストグラムと、同じく検査点IP1に関連する、カメラ2bが撮像したカメラ画像2bRにおける部分画像2bR1の特徴を表すヒストグラムとに基づいて、検査点IP1に関する評価値CGRAを決定する。
【0054】
評価値CGRAは、例えば、以下の式で表されるようなヒストグラム同士の各要素の強度差に基づく評価値が採用される。
【0055】
【数4】
なお、Kは次元数を表し、本実施例では、輝度勾配方向の値の種類の数に相当する「16」である。また、Ig(k)は、一方の部分画像におけるk次元目の値を表し、例えば、Ig(1)は、部分画像2aR1における輝度勾配方向の値「0」の出現頻度(1次元目の値)を表す。また、Tg(k)は、他方の部分画像におけるk次元目の値を表し、例えば、Tg(1)は、部分画像2bR1における輝度勾配方向の値「0」の出現頻度(1次元目の値)を表す。
【0056】
この場合、検査点IP1に関する評価値CGRAが小さい程2つの部分画像2aR1、2bR1の類似度が高く、その評価値CGRAが大きい程2つの部分画像2aR1、2bR1の類似度が低い。なお、評価値CGRAの大小と類似度の高低との関係は、評価値CGRAの計算方法によっては反対となり得る。
【0057】
また、特定の検査点に関連する部分画像が3つ以上存在する場合、すなわち撮像部2が3つ以上のカメラで構成される場合には、評価値決定部11は、それら3つ以上の部分画像のうちの2つの間の評価値CGRAを全ての組み合わせについて算出した上で、算出した複数の評価値CGRAに基づいて最終的な評価値CGRAを導き出すようにする。この場合、評価値決定部11は、例えば、複数の評価値CGRAの統計値(平均値、最大値、最小値、中間値等である。)を最終的な評価値CGRAとして導き出してもよい。
【0058】
このようにして、評価値決定部11は、特定の検査点に対応する画素を中心画素とする、互いに対応する部分画像の類似度に基づいて、その特定の検査点に関する評価値CGRAを決定する。
【0059】
また、評価値決定部11は、予め設定された複数の検査点のそれぞれについて、上述の評価値決定処理を実行し、予め設定された複数の検査点のそれぞれに関する評価値CGRAを決定する。
【0060】
物体存否判定部12は、評価値決定部11が決定する、複数の検査点のそれぞれに関する評価値CGRAに基づいて物体の存否を判定する機能要素である。
【0061】
図11〜図13は、16個の検査点IP1〜IP16のそれぞれに関する評価値CGRAの分布を示す図である。
【0062】
図11〜図13において、カメラ2a、2bは、床面から500mmの高さに設置される。また、測定ラインVLは、床面からの高さが500mmの平面上で、カメラ2aとカメラ2bとを結ぶ線分の中点MPを通り、カメラ2a、2bの光軸方向に平行に伸びる。また、16個の検査点IP1〜IP16は、測定ラインVL上に250mm間隔に配置され、中点MPとの距離が最も小さい検査点IP1は、中点MPから1000mmの地点に配置される。また、検出対象50はヘルメットであり、図11では中点MPから1500mmの地点に配置され、図12では中点MPから2250mmの地点に配置され、図13では中点MPから3000mmの地点に配置される。
【0063】
図11のケースでは、物体存否判定部12は、測定ラインVL上に並ぶ検査点IP1〜IP16のそれぞれに関する評価値CGRAの分布ら、中点MPから1500mmの地点に対応する検査点IP3に関する評価値CGRAが極値(最小値)であると判断する。そして、物体存否判定部12は、中点MPから1500mmの地点に検出対象50が存在すると判定する。また、図12のケースでは、物体存否判定部12は、中点MPから2250mmの地点に対応する検査点IP6に関する評価値CGRAが極値(最小値)であると判断し、中点MPから2250mmの地点に検出対象50が存在すると判定する。同様に、図13のケースでは、物体存否判定部12は、中点MPから3000mmの地点に対応する検査点IP9に関する評価値CGRAが極値(最小値)であると判断し、中点MPから3000mmの地点に検出対象50が存在すると判定する。
【0064】
このようにして、物体存否判定部12は、複数の評価値CGRAから極値(最小値)を抽出し、その極値となる評価値CGRAを有する検査点(以下、「採用点」と称する。)の位置に物体が存在すると判定する。
【0065】
この判定は、物体が存在する地点に対応する検査点に関する部分画像間の類似度が比較的高くなる一方で、物体が存在しない地点に対応する検査点に関する部分画像間の類似度が比較的低くなるという事実に基づく。物体が存在する地点に対応する検査点に関する、カメラ2aによる部分画像とカメラ2bによる部分画像とは、その物体を共通の被写体として含むのに対し、物体が存在しない地点に対応する検査点に関する、カメラ2aによる部分画像とカメラ2bによる部分画像とは、別々の物体(互いに異なる地点に存在するより遠方の物体)を被写体として含み得るためである。
【0066】
また、物体存否判定部12は、複数の評価値CGRAの分布に基づいて物体の存否を判定してもよい。
【0067】
具体的には、物体存否判定部12は、採用点の評価値CGRAと採用点の周囲にある検査点の評価値CGRAとの間の関係に基づいて物体の存否を判定してもよい。この場合、採用点の周囲にある検査点の評価値CGRAは、例えば、採用点に隣接する複数の検査点の評価値CGRAの平均値、最大値、最小値、中間値等である。
【0068】
例えば、物体存否判定部12は、採用点の評価値CGRAと採用点の周囲にある検査点の評価値CGRAとの間の差が所定値以上の場合に限り、採用点の位置に物体が存在すると判定してもよい。すなわち、物体存否判定部12は、その差が所定値未満の場合には、採用点の位置に物体が存在しないと判定してもよい。検査点の位置に物体が存在しない場合であっても、背景の輝度が均一な場合、その評価値CGRAは、物体が存在する場合と同じ程度に低くなるためである。また、物体が存在する場合には特定の1つの検査点の評価値CGRAが低くなり易いのに対し、物体が存在せず且つ背景の輝度が均一な場合には、隣接する複数の検査点の評価値CGRAが一様に低くなり易いためである。
【0069】
また、物体検出装置100は、物体存否判定部12の判定結果を表示部3及び音声出力部4を通じて操作者に伝えるようにする。
【0070】
具体的には、物体検出装置100は、カメラ2a、2bの何れか一方が撮像した画像を表示部3に表示し、物体存否判定部12により物体が存在すると判定された位置に対応する採用点の周囲の画像領域を他の画像領域と異ならせて表示する。例えば、物体検出装置100は、採用点の周囲の画像領域の色を他の画像領域の色と異ならせて表示する。
【0071】
また、物体検出装置100は、例えば、音声出力部4を通じて警報を出力したり、「Xメートルの地点に物体が存在します」といった音声メッセージを音声出力部4から出力したりする。
【0072】
次に、図14を参照しながら、物体検出装置100が物体を検出する処理(以下、「物体検出処理」とする。)の流れについて説明する。なお、図14は、物体検出処理の流れを示すフローチャートであり、物体検出装置100は、所定周期で繰り返しこの物体検出処理を実行する。また、測定ラインVLは、検出対象の物体が存在する可能性の高い空間領域を横切るように予め設定される。検査点は、測定ラインVL上に等間隔に所定数だけ予め配置される。また、撮像部2は、2台のカメラ2a、2bで構成され、カメラ2a、2bは、カメラ画像2aR、2bRを制御部1に対して出力する。
【0073】
最初に、物体検出装置100の制御部1は、部分画像抽出部10により、複数の検査点のうちの1つに対応する画素を中心画素とする部分画像を、カメラ画像2aR、2bRのそれぞれから抽出する(ステップS11)。
【0074】
その後、制御部1は、評価値決定部11により、上述の評価値決定処理を実行し、その検査点に関する評価値CGRAを決定する(ステップS12)。
【0075】
その後、制御部1は、予め設定された全ての検査点に関する評価値CGRAを決定したか否かを判定する(ステップS13)。
【0076】
予め設定された全ての検査点に関する評価値CGRAを未だ決定していないと判定した場合(ステップS13のNO)、制御部1は、評価値CGRAが未だ決定されていない検査点に関してステップS11及びステップS12を実行する。
【0077】
予め設定された全ての検査点に関する評価値CGRAを決定したと判定した場合(ステップS13のYES)、制御部1は、物体存否判定部12により、全ての検査点に関する評価値CGRAの分布に基づいて物体の存否を判定する(ステップS14)。
【0078】
なお、本実施例では、物体検出装置100は、1本の測定ラインVL上に配置された複数の検査点のそれぞれに関する評価値CGRAの分布に基づいて、その1本の測定ラインVLが通る空間における物体の存否を判定する。しかしながら、本発明は、これに限定されない。物体検出装置100は、複数本の測定ラインのそれぞれに配置された複数の検査点のそれぞれに関する評価値CGRAの分布に基づいて、測定ライン毎に物体の存否を判定してもよい。
【0079】
以上の構成により、物体検出装置100は、特定の検査点に対応する画素を中心画素とする、複数のカメラ画像のそれぞれにおける部分画像間の類似度に基づく評価値を用いて物体の存否を判定する。その結果、物体検出装置100は、エッジ検出等の画像処理により特徴点を見つけ出す必要なく物体の存否を判定することができ、物体の存否を判定するのに必要な演算コストを低減させることができる。
【0080】
また、物体検出装置100は、検査点の位置を任意に設定可能とするので、測定範囲を必要最小限に制限することができ、物体の存否を判定するのに必要な演算コストを更に低減させることができる。
【0081】
また、物体検出装置100は、検査点の位置を任意に設定可能とするので、特定領域の物体検出の分解能を高めることができる。
【0082】
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。
【0083】
例えば、上述の実施例において、物体検出装置100は、評価値CGRAとしてヒストグラム同士の各要素の強度差に基づく評価値を採用するが、輝度差の二乗和SSD(Sum of Squared Difference)、輝度差の総和SAD(Sum of Absolute Difference)、正規化相互相関ZNCC(Zero-mean Normalized Cross-Correlation)等を評価値として採用してもよい。また、物体検出装置100は、評価値を決定するために、SIFT(Scale-Invariant Feature Transform)、HOG(Histograms of Oriented Gradients)等のアルゴリズムを用いてもよい(藤吉弘亘、"Gradientベースの特徴抽出−SIFTとHOG−"、情報処理学会、研究報告CVIM 160, pp.211-214, 2007参照。)。
【符号の説明】
【0084】
1・・・制御部 2・・・撮像部 2a、2b・・・カメラ 3・・・表示部 4・・・音声出力部 10・・・部分画像抽出部 11・・・評価値決定部 12・・・物体存否判定部 100・・・物体検出装置 IP1〜IP16・・・検査点 VL・・・測定ライン
【技術分野】
【0001】
本発明は、複数台のカメラのそれぞれが撮像するカメラ画像間の視差に基づいて物体を検出する物体検出方法及び物体検出装置に関する。
【背景技術】
【0002】
従来、ステレオカメラを用いて物体までの距離を測定する方法が知られている(例えば、特許文献1参照。)。
【0003】
この方法は、2つのカメラのそれぞれが撮像した2つのカメラ画像のそれぞれにおいて特徴点を見つけ出し、各カメラ画像間での特徴点同士の対応関係を明らかにし、対応付けられたそれらの特徴点の位置の違い(視差)に基づいて、その特徴点を形成する物体までの距離を三角測量で計算する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2000−111321号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1に記載の方法は、特徴点を見つけ出すための演算コスト及び各カメラ画像間での特徴点同士の対応関係を明らかにするための演算コストが大きいため、低コストの組込み装置への実装が困難である。また、この方法は、二次元のカメラ画像から三次元の距離分布を導き出す方法であるため、カメラ画像の特定部分のみを測定範囲(測定対象の物体が存在する範囲)として予め設定することができず、測定対象の物体が存在し得ない領域に対しても演算コストをかけることとなり効率が悪い。
【0006】
上述の点に鑑み、本発明は、演算コストがより低い物体検出方法及び物体検出装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
上述の目的を達成するために、本発明の実施例に係る物体検出装置は、少なくとも2つのカメラのそれぞれが撮像するカメラ画像間の視差に基づいて物体を検出する物体検出装置であって、被撮像空間を通る仮想直線上の複数の検査点のうちの1つに対応する画素を含む所定サイズの部分画像を各カメラ画像から抽出する部分画像抽出部と、同一検査点に対応する前記各カメラ画像の部分画像同士の類似度に基づいて前記複数の検査点のうちの1つに関する評価値を決定する評価値決定部と、前記評価値決定部が決定する評価値を用いて物体の存否を判定する物体存否判定部と、を備えることを特徴とする。
【0008】
また、本発明の実施例に係る物体検出方法は、少なくとも2つのカメラのそれぞれが撮像するカメラ画像間の視差に基づいて物体を検出する物体検出方法であって、被撮像空間を通る仮想直線上の複数の検査点のうちの1つに対応する画素を含む所定サイズの部分画像を各カメラ画像から抽出する部分画像抽出ステップと、同一検査点に対応する前記各カメラ画像の部分画像同士の類似度に基づいて前記複数の検査点のうちの1つに関する評価値を決定する評価値決定ステップと、前記評価値決定ステップにおいて決定される評価値を用いて物体の存否を判定する物体存否判定ステップと、を備えることを特徴とする。
【発明の効果】
【0009】
上述の手段により、本発明は、演算コストがより低い物体検出方法及び物体検出装置を提供することができる。
【図面の簡単な説明】
【0010】
【図1】本発明に係る物体検出装置の構成例を概略的に示すブロック図である。
【図2】撮像部と測定ラインとの関係の一例を示す図である。
【図3】図2に示す2台のカメラのそれぞれが撮像するカメラ画像と8つの検査点との関係を示す図である。
【図4】検出対象を撮像する2台のカメラが出力するカメラ画像を示す図である。
【図5】図4の2つのカメラ画像のそれぞれにおける、検査点に対応する画素を含む部分画像を示す図である。
【図6】評価値決定処理の流れを示すフローチャートである。
【図7】水平方向の輝度の微分値、鉛直方向の輝度の微分値、及び、輝度勾配方向の三者の関係を示す図である。
【図8】検査点に対応する画素を中心画素とする部分画像における各画素の輝度勾配方向を示す図である。
【図9】評価値決定部による輝度勾配方向の量子化方法の一例を説明する図である。
【図10】評価値決定部による輝度勾配方向の値のヒストグラムの作成方法の一例を説明する図である。
【図11】16個の検査点のそれぞれに関する評価値の分布を示す図(その1)である。
【図12】16個の検査点のそれぞれに関する評価値の分布を示す図(その2)である。
【図13】16個の検査点のそれぞれに関する評価値の分布を示す図(その3)である。
【図14】物体検出処理の流れを示すフローチャートである。
【発明を実施するための形態】
【0011】
以下、図面を参照しつつ、本発明を実施するための最良の形態の説明を行う。
【実施例】
【0012】
図1は、本発明に係る物体検出装置100の構成例を概略的に示すブロック図である。物体検出装置100は、主に、制御部1、撮像部2、表示部3、及び音声出力部4で構成される。
【0013】
制御部1は、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)、NVRAM(Non-Volatile Random Access Memory)等を備えたコンピュータである。制御部1は、例えば、ROMやNVRAMに保存された、後述する部分画像抽出部10、評価値決定部11、及び物体存否判定部12のそれぞれの機能要素に対応するプログラムをRAMに展開し、各機能要素に対応する処理をCPUに実行させる。
【0014】
撮像部2は、画像を取得する装置であり、例えば、少なくとも2つのカメラで構成されるステレオビジョン装置である。撮像部2は、所定周期で撮像する画像データを制御部1に対して出力する。
【0015】
撮像部2を構成する少なくとも2つのカメラは、所定距離を隔てて配置され、同じ空間領域を撮像する。以下では、少なくとも2つのカメラが撮像する共通の空間領域を「被撮像空間」と称する。
【0016】
表示部3は、各種情報を表示するための装置であり、例えば、液晶ディスプレイ、プロジェクタ等であって、制御部1が出力する各種画像を表示する。
【0017】
音声出力部4は、各種情報を音声出力するための装置であり、例えば、ブザー、スピーカ等であって、制御部1が出力する制御信号に応じて各種情報を音声出力する。
【0018】
部分画像抽出部10は、撮像部2が撮像した画像から部分画像を抽出する機能要素である。
【0019】
具体的には、部分画像抽出部10は、撮像部2を構成する複数のカメラのそれぞれが撮像したカメラ画像から、検査点に対応する画素を含む所定サイズの部分画像を抽出する。部分画像は、例えば、検査点に対応する画素を中心画素とする矩形画像である。なお、部分画像は、円形、楕円形等の他の形状を有していてもよい。
【0020】
「検査点」とは、三次元空間である被撮像空間を通る仮想直線(以下、「測定ライン」とする。)上の点である。検査点は、好適には、物体検出装置100の検出対象に応じて予め設定される。この場合、物体検出装置100は、三次元空間に定義される三次元座標系における各検査点の三次元座標と、複数のカメラ画像のそれぞれに対して定義される二次元座標系における対応する二次元座標とを予め関連付けて保持する。但し、検査点は、物体検出装置100の検出対象に応じて動的に設定されてもよい。この場合、物体検出装置100は、測定ライン及び検査点を動的に設定し、各検査点の三次元座標に基づいて、複数のカメラ画像のそれぞれにおける対応する二次元座標を動的に算出する。
【0021】
図2は、撮像部2と測定ラインVLとの関係の一例を示す図であり、撮像部2を構成する2つのカメラ2a、2bとカメラ2a、2bに関する被撮像空間を通る測定ラインVL上に配置される8個の検査点IP1〜IP8とを示す。
【0022】
測定ラインVLは、被撮像空間を通る任意の直線であるが、好適には、物体検出装置100の検出対象である物体が存在する可能性の高い空間領域、又は、物体検出装置100の検出対象である物体が移動する可能性の高い空間領域を貫くように配置される。
【0023】
また、測定ラインVL上に配置される検査点間の距離は任意であり、等間隔であってもよく、不等間隔であってもよい。なお、検査点間の距離が長い程、すなわち、検査点の数が少ない程、物体検出装置100が物体を検出するために要する演算負荷は減少する。一方、検査点間の距離が短い程、すなわち、検査点の数が多い程、物体検出装置100の分解能は高くなる。
【0024】
図3は、図2に示す2台のカメラ2a、2bのそれぞれが撮像するカメラ画像2aR、2bRと8つの検査点IP1〜IP8との関係を示す。カメラ2aが撮像するカメラ画像2aRは、検査点IP1〜IP8のそれぞれに対応する画素2aP1〜2aP8を中心とする部分画像2aR1〜2aR8を含む。同様に、カメラ2bが撮像するカメラ画像2bRは、検査点IP1〜IP8のそれぞれに対応する画素2bP1〜2bP8を中心とする部分画像2bR1〜2bR8を含む。なお、部分画像2aR1〜2aR8及び部分画像2bR1〜2bR8のそれぞれのサイズは共通である。部分画像2bR1〜2bR8のサイズを共通とした場合、演算処理がしやすいというメリットがある。そのため、図3では、検査点IP2〜IP7のそれぞれを中心画素とする、カメラ画像2aR、2bRのそれぞれにおける部分画像の範囲の図示を省略する。なお、部分画像のサイズは、同じ検査点に対応する部分画像間で共通であれば、カメラからの距離に応じて検査点毎に変更されてもよい。この場合、カメラからの距離に応じて変化する、物体のカメラ画像内での映り込みサイズに、部分画像のサイズを合わせられるというメリットがある。なお、カメラ画像2aRのサイズは、カメラ画像2bRのサイズと同じである。また、図3は、カメラ2aの設置位置とカメラ2bの設置位置との違いに起因して、カメラ2aが撮像するカメラ画像2aRとカメラ2bが撮像するカメラ画像2bRとの間に視差が存在することを示す。
【0025】
図4は、検出対象50を撮像する2台のカメラ2a、2bが出力するカメラ画像2aR、2bRを示す。なお、図4に示す測定ラインは、図3に示す測定ラインVLとは延在方向が異なるが、説明の便宜のため、同じ参照符号VLを用いて説明する。検査点IP1〜IP5についても同様である。
【0026】
図4において、カメラ2a、2bは、床面から500mmの高さに設置される。また、測定ラインVLは、床面からの高さが500mmの平面上で、カメラ2aとカメラ2bとを結ぶ線分の中点MPを通り、カメラ2a、2bの光軸方向に平行に伸びる。また、5つの検査点IP1〜IP5は、測定ラインVL上に等間隔(例えば、250mm間隔)に配置され、中点MPとの距離が最も小さい検査点IP1は、中点MPから1000mmの地点に配置される。また、検出対象50はヘルメットであり、中点MPから1750mmの地点に配置される。
【0027】
図5は、図4の2つのカメラ画像2aR、2bRのそれぞれにおける、5つの検査点IP1〜IP5のそれぞれに対応する画素を含む、2つ1組の5組の部分画像を示す。
【0028】
部分画像2aR1は、カメラ2aが撮像したカメラ画像2aRにおける、検査点IP1に対応する画素2aP1を中心画素とする部分画像である。また、部分画像2bR1は、カメラ2bが撮像したカメラ画像2bRにおける、検査点IP1に対応する画素2bP1を中心画素とする部分画像である。
【0029】
同様に、部分画像2aR2〜2aR5のそれぞれは、カメラ画像2aRにおける、検査点IP2〜IP5のそれぞれに対応する画素2aP2〜2aP5のそれぞれを中心画素とする部分画像である。また、部分画像2bR2〜2bR5のそれぞれは、カメラ画像2bRにおける、検査点IP2〜IP5のそれぞれに対応する画素2bP2〜2bP5のそれぞれを中心画素とする部分画像である。
【0030】
このようにして、部分画像抽出部10は、複数の検査点のそれぞれに対応する画素のそれぞれを中心画素とする所定サイズの部分画像を各カメラ画像から抽出する。
【0031】
評価値決定部11は、互いに対応する部分画像の類似度に基づいて検査点に関する評価値を決定する機能要素である。
【0032】
具体的には、評価値決定部11は、特定の検査点に対応する画素を中心画素とする部分画像同士の類似度に基づいてその特定の検査点に関する評価値を決定する。
【0033】
図6は、評価値決定部11が検査点に関する評価値を決定する処理(以下、「評価値決定処理」とする。)の流れを示すフローチャートである。
【0034】
最初に、評価値決定部11は、部分画像における各画素の輝度勾配方向を算出する(ステップS1)。
【0035】
「輝度勾配方向」とは、ある注目画素において輝度変化が最大である方向を意味し、本実施例では、水平方向(画面横方向)の輝度の微分値と鉛直方向(画面縦方向)の輝度の微分値dIy(i、j)とが形成する角度θで表される。
【0036】
具体的には、カメラ画像2aR、2bRのそれぞれにおける座標(i、j)の画素の輝度をI(i、j)で表すと、水平方向の輝度の微分値dIx(i、j)、鉛直方向の輝度の微分値dIy(i、j)、及び、輝度勾配方向θは、以下の式で表される。
【0037】
【数1】
【0038】
【数2】
【0039】
【数3】
図7は、水平方向の輝度の微分値dIx(i、j)、鉛直方向の輝度の微分値dIy(i、j)、及び、輝度勾配方向θの三者の関係を示す図であり、輝度勾配方向θが、水平方向の輝度の微分値dIx(i、j)と鉛直方向の輝度の微分値dIy(i、j)との間の角度であることを示す。
【0040】
また、図8は、カメラ画像2aRにおける、検査点IP1に対応する画素2aP1を中心画素とする部分画像2aR1における各画素の輝度勾配方向を示す。具体的には、図8(A)は、部分画像2aR1の全体像を示し、図8(B)は、図8(A)の破線円部分の拡大図を示す。なお、図8(A)は、説明の便宜のため、部分画像2aR1を縦9ピクセル、横9ピクセルのサイズで示す。また、図8(B)は、各画素の輝度勾配方向を矢印で示す。
【0041】
このようにして、評価値決定部11は、部分画像における各画素の輝度勾配方向θを算出する。
【0042】
部分画像における各画素の輝度勾配方向θを算出した後、評価値決定部11は、その算出した輝度勾配方向θを量子化する(ステップS2)。
【0043】
図9は、評価値決定部11による輝度勾配方向θの量子化方法の一例を説明する図である。
【0044】
図9(A)で示すように、評価値決定部11は、輝度勾配方向θが0度以上45度未満の場合に輝度勾配方向を値「0」に変換する。同様に、評価値決定部11は、輝度勾配方向θが45度以上90度未満、90度以上135度未満、135度以上180度未満、180度以上225度未満、225度以上270度未満、270度以上315度未満、315度以上360度未満の場合に、輝度勾配方向をそれぞれ値「1」、値「2」、値「3」、値「4」、値「5」、値「6」、値「7」に変換する。図9(B)は、量子化の結果の一例を示し、図8(B)に対応する。
【0045】
このようにして、評価値決定部11は、特定の検査点に対応する画素を中心画素とする部分画像における各画素の輝度勾配方向θを量子化する。
【0046】
輝度勾配方向θを量子化した後、評価値決定部11は、その量子化した輝度勾配方向の値のヒストグラムを作成する(ステップS3)。
【0047】
図10は、評価値決定部11による輝度勾配方向の値のヒストグラムの作成方法の一例を説明する図である。なお、図10(A)の部分画像2aR1は、図9(A)の部分画像2aR1に対応する。
【0048】
図10(A)で示すように、評価値決定部11は、部分画像2aR1を、中心画素2aP1を含む列より左側にある4列で構成される左側領域と、中心画素2aP1を含む1列、及び中心画素2aP1を含む列より右側にある4列で構成される右側領域とに分割する。
【0049】
その上で、評価値決定部11は、左側領域に含まれる各画素の輝度勾配方向の値の出現頻度を「0」〜「7」の値毎に計数する。同様に、評価値決定部11は、右側領域に含まれる各画素の輝度勾配方向の値の出現頻度を「0」〜「7」の値毎に計数する。
【0050】
図10(B)は、左側領域に関する「0」〜「7」の値と右側領域に関する「0」〜「7」の値とで構成される16種類(次元)の値のそれぞれの出現頻度の分布を示すヒストグラムの一例である。
【0051】
このようにして、評価値決定部11は、特定の検査点に対応する画素を中心画素とする部分画像の特徴を表すヒストグラムを作成する。
【0052】
特定の検査点に関連する複数の部分画像のそれぞれの特徴を表すヒストグラムを作成した後、評価値決定部11は、その特定の検査点に関する評価値CGRAを決定する(ステップS4)。
【0053】
具体的には、評価値決定部11は、検査点IP1に関連する、カメラ2aが撮像したカメラ画像2aRにおける部分画像2aR1の特徴を表すヒストグラムと、同じく検査点IP1に関連する、カメラ2bが撮像したカメラ画像2bRにおける部分画像2bR1の特徴を表すヒストグラムとに基づいて、検査点IP1に関する評価値CGRAを決定する。
【0054】
評価値CGRAは、例えば、以下の式で表されるようなヒストグラム同士の各要素の強度差に基づく評価値が採用される。
【0055】
【数4】
なお、Kは次元数を表し、本実施例では、輝度勾配方向の値の種類の数に相当する「16」である。また、Ig(k)は、一方の部分画像におけるk次元目の値を表し、例えば、Ig(1)は、部分画像2aR1における輝度勾配方向の値「0」の出現頻度(1次元目の値)を表す。また、Tg(k)は、他方の部分画像におけるk次元目の値を表し、例えば、Tg(1)は、部分画像2bR1における輝度勾配方向の値「0」の出現頻度(1次元目の値)を表す。
【0056】
この場合、検査点IP1に関する評価値CGRAが小さい程2つの部分画像2aR1、2bR1の類似度が高く、その評価値CGRAが大きい程2つの部分画像2aR1、2bR1の類似度が低い。なお、評価値CGRAの大小と類似度の高低との関係は、評価値CGRAの計算方法によっては反対となり得る。
【0057】
また、特定の検査点に関連する部分画像が3つ以上存在する場合、すなわち撮像部2が3つ以上のカメラで構成される場合には、評価値決定部11は、それら3つ以上の部分画像のうちの2つの間の評価値CGRAを全ての組み合わせについて算出した上で、算出した複数の評価値CGRAに基づいて最終的な評価値CGRAを導き出すようにする。この場合、評価値決定部11は、例えば、複数の評価値CGRAの統計値(平均値、最大値、最小値、中間値等である。)を最終的な評価値CGRAとして導き出してもよい。
【0058】
このようにして、評価値決定部11は、特定の検査点に対応する画素を中心画素とする、互いに対応する部分画像の類似度に基づいて、その特定の検査点に関する評価値CGRAを決定する。
【0059】
また、評価値決定部11は、予め設定された複数の検査点のそれぞれについて、上述の評価値決定処理を実行し、予め設定された複数の検査点のそれぞれに関する評価値CGRAを決定する。
【0060】
物体存否判定部12は、評価値決定部11が決定する、複数の検査点のそれぞれに関する評価値CGRAに基づいて物体の存否を判定する機能要素である。
【0061】
図11〜図13は、16個の検査点IP1〜IP16のそれぞれに関する評価値CGRAの分布を示す図である。
【0062】
図11〜図13において、カメラ2a、2bは、床面から500mmの高さに設置される。また、測定ラインVLは、床面からの高さが500mmの平面上で、カメラ2aとカメラ2bとを結ぶ線分の中点MPを通り、カメラ2a、2bの光軸方向に平行に伸びる。また、16個の検査点IP1〜IP16は、測定ラインVL上に250mm間隔に配置され、中点MPとの距離が最も小さい検査点IP1は、中点MPから1000mmの地点に配置される。また、検出対象50はヘルメットであり、図11では中点MPから1500mmの地点に配置され、図12では中点MPから2250mmの地点に配置され、図13では中点MPから3000mmの地点に配置される。
【0063】
図11のケースでは、物体存否判定部12は、測定ラインVL上に並ぶ検査点IP1〜IP16のそれぞれに関する評価値CGRAの分布ら、中点MPから1500mmの地点に対応する検査点IP3に関する評価値CGRAが極値(最小値)であると判断する。そして、物体存否判定部12は、中点MPから1500mmの地点に検出対象50が存在すると判定する。また、図12のケースでは、物体存否判定部12は、中点MPから2250mmの地点に対応する検査点IP6に関する評価値CGRAが極値(最小値)であると判断し、中点MPから2250mmの地点に検出対象50が存在すると判定する。同様に、図13のケースでは、物体存否判定部12は、中点MPから3000mmの地点に対応する検査点IP9に関する評価値CGRAが極値(最小値)であると判断し、中点MPから3000mmの地点に検出対象50が存在すると判定する。
【0064】
このようにして、物体存否判定部12は、複数の評価値CGRAから極値(最小値)を抽出し、その極値となる評価値CGRAを有する検査点(以下、「採用点」と称する。)の位置に物体が存在すると判定する。
【0065】
この判定は、物体が存在する地点に対応する検査点に関する部分画像間の類似度が比較的高くなる一方で、物体が存在しない地点に対応する検査点に関する部分画像間の類似度が比較的低くなるという事実に基づく。物体が存在する地点に対応する検査点に関する、カメラ2aによる部分画像とカメラ2bによる部分画像とは、その物体を共通の被写体として含むのに対し、物体が存在しない地点に対応する検査点に関する、カメラ2aによる部分画像とカメラ2bによる部分画像とは、別々の物体(互いに異なる地点に存在するより遠方の物体)を被写体として含み得るためである。
【0066】
また、物体存否判定部12は、複数の評価値CGRAの分布に基づいて物体の存否を判定してもよい。
【0067】
具体的には、物体存否判定部12は、採用点の評価値CGRAと採用点の周囲にある検査点の評価値CGRAとの間の関係に基づいて物体の存否を判定してもよい。この場合、採用点の周囲にある検査点の評価値CGRAは、例えば、採用点に隣接する複数の検査点の評価値CGRAの平均値、最大値、最小値、中間値等である。
【0068】
例えば、物体存否判定部12は、採用点の評価値CGRAと採用点の周囲にある検査点の評価値CGRAとの間の差が所定値以上の場合に限り、採用点の位置に物体が存在すると判定してもよい。すなわち、物体存否判定部12は、その差が所定値未満の場合には、採用点の位置に物体が存在しないと判定してもよい。検査点の位置に物体が存在しない場合であっても、背景の輝度が均一な場合、その評価値CGRAは、物体が存在する場合と同じ程度に低くなるためである。また、物体が存在する場合には特定の1つの検査点の評価値CGRAが低くなり易いのに対し、物体が存在せず且つ背景の輝度が均一な場合には、隣接する複数の検査点の評価値CGRAが一様に低くなり易いためである。
【0069】
また、物体検出装置100は、物体存否判定部12の判定結果を表示部3及び音声出力部4を通じて操作者に伝えるようにする。
【0070】
具体的には、物体検出装置100は、カメラ2a、2bの何れか一方が撮像した画像を表示部3に表示し、物体存否判定部12により物体が存在すると判定された位置に対応する採用点の周囲の画像領域を他の画像領域と異ならせて表示する。例えば、物体検出装置100は、採用点の周囲の画像領域の色を他の画像領域の色と異ならせて表示する。
【0071】
また、物体検出装置100は、例えば、音声出力部4を通じて警報を出力したり、「Xメートルの地点に物体が存在します」といった音声メッセージを音声出力部4から出力したりする。
【0072】
次に、図14を参照しながら、物体検出装置100が物体を検出する処理(以下、「物体検出処理」とする。)の流れについて説明する。なお、図14は、物体検出処理の流れを示すフローチャートであり、物体検出装置100は、所定周期で繰り返しこの物体検出処理を実行する。また、測定ラインVLは、検出対象の物体が存在する可能性の高い空間領域を横切るように予め設定される。検査点は、測定ラインVL上に等間隔に所定数だけ予め配置される。また、撮像部2は、2台のカメラ2a、2bで構成され、カメラ2a、2bは、カメラ画像2aR、2bRを制御部1に対して出力する。
【0073】
最初に、物体検出装置100の制御部1は、部分画像抽出部10により、複数の検査点のうちの1つに対応する画素を中心画素とする部分画像を、カメラ画像2aR、2bRのそれぞれから抽出する(ステップS11)。
【0074】
その後、制御部1は、評価値決定部11により、上述の評価値決定処理を実行し、その検査点に関する評価値CGRAを決定する(ステップS12)。
【0075】
その後、制御部1は、予め設定された全ての検査点に関する評価値CGRAを決定したか否かを判定する(ステップS13)。
【0076】
予め設定された全ての検査点に関する評価値CGRAを未だ決定していないと判定した場合(ステップS13のNO)、制御部1は、評価値CGRAが未だ決定されていない検査点に関してステップS11及びステップS12を実行する。
【0077】
予め設定された全ての検査点に関する評価値CGRAを決定したと判定した場合(ステップS13のYES)、制御部1は、物体存否判定部12により、全ての検査点に関する評価値CGRAの分布に基づいて物体の存否を判定する(ステップS14)。
【0078】
なお、本実施例では、物体検出装置100は、1本の測定ラインVL上に配置された複数の検査点のそれぞれに関する評価値CGRAの分布に基づいて、その1本の測定ラインVLが通る空間における物体の存否を判定する。しかしながら、本発明は、これに限定されない。物体検出装置100は、複数本の測定ラインのそれぞれに配置された複数の検査点のそれぞれに関する評価値CGRAの分布に基づいて、測定ライン毎に物体の存否を判定してもよい。
【0079】
以上の構成により、物体検出装置100は、特定の検査点に対応する画素を中心画素とする、複数のカメラ画像のそれぞれにおける部分画像間の類似度に基づく評価値を用いて物体の存否を判定する。その結果、物体検出装置100は、エッジ検出等の画像処理により特徴点を見つけ出す必要なく物体の存否を判定することができ、物体の存否を判定するのに必要な演算コストを低減させることができる。
【0080】
また、物体検出装置100は、検査点の位置を任意に設定可能とするので、測定範囲を必要最小限に制限することができ、物体の存否を判定するのに必要な演算コストを更に低減させることができる。
【0081】
また、物体検出装置100は、検査点の位置を任意に設定可能とするので、特定領域の物体検出の分解能を高めることができる。
【0082】
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。
【0083】
例えば、上述の実施例において、物体検出装置100は、評価値CGRAとしてヒストグラム同士の各要素の強度差に基づく評価値を採用するが、輝度差の二乗和SSD(Sum of Squared Difference)、輝度差の総和SAD(Sum of Absolute Difference)、正規化相互相関ZNCC(Zero-mean Normalized Cross-Correlation)等を評価値として採用してもよい。また、物体検出装置100は、評価値を決定するために、SIFT(Scale-Invariant Feature Transform)、HOG(Histograms of Oriented Gradients)等のアルゴリズムを用いてもよい(藤吉弘亘、"Gradientベースの特徴抽出−SIFTとHOG−"、情報処理学会、研究報告CVIM 160, pp.211-214, 2007参照。)。
【符号の説明】
【0084】
1・・・制御部 2・・・撮像部 2a、2b・・・カメラ 3・・・表示部 4・・・音声出力部 10・・・部分画像抽出部 11・・・評価値決定部 12・・・物体存否判定部 100・・・物体検出装置 IP1〜IP16・・・検査点 VL・・・測定ライン
【特許請求の範囲】
【請求項1】
少なくとも2つのカメラのそれぞれが撮像するカメラ画像間の視差に基づいて物体を検出する物体検出装置であって、
被撮像空間を通る仮想直線上の複数の検査点のうちの1つに対応する画素を含む所定サイズの部分画像を各カメラ画像から抽出する部分画像抽出部と、
同一の検査点に対応する前記各カメラ画像の部分画像同士の類似度に基づいて前記複数の検査点のうちの1つに関する評価値を決定する評価値決定部と、
前記評価値決定部が決定する評価値を用いて物体の存否を判定する物体存否判定部と、
を備えることを特徴とする物体検出装置。
【請求項2】
前記物体存否判定部は、前記仮想直線上に並ぶ複数の検査点のそれぞれに関する評価値の分布に基づいて物体の存否を判定する、
ことを特徴とする請求項1に記載の物体検出装置。
【請求項3】
前記物体存否判定部は、評価値が極値となる検査点に物体が存在すると判定する、
ことを特徴とする請求項1又は2に記載の物体検出装置。
【請求項4】
少なくとも2つのカメラのそれぞれが撮像するカメラ画像間の視差に基づいて物体を検出する物体検出方法であって、
被撮像空間を通る仮想直線上の複数の検査点のうちの1つに対応する画素を含む所定サイズの部分画像を各カメラ画像から抽出する部分画像抽出ステップと、
同一の検査点に対応する前記各カメラ画像の部分画像同士の類似度に基づいて前記複数の検査点のうちの1つに関する評価値を決定する評価値決定ステップと、
前記評価値決定ステップにおいて決定される評価値を用いて物体の存否を判定する物体存否判定ステップと、
を備えることを特徴とする物体検出方法。
【請求項1】
少なくとも2つのカメラのそれぞれが撮像するカメラ画像間の視差に基づいて物体を検出する物体検出装置であって、
被撮像空間を通る仮想直線上の複数の検査点のうちの1つに対応する画素を含む所定サイズの部分画像を各カメラ画像から抽出する部分画像抽出部と、
同一の検査点に対応する前記各カメラ画像の部分画像同士の類似度に基づいて前記複数の検査点のうちの1つに関する評価値を決定する評価値決定部と、
前記評価値決定部が決定する評価値を用いて物体の存否を判定する物体存否判定部と、
を備えることを特徴とする物体検出装置。
【請求項2】
前記物体存否判定部は、前記仮想直線上に並ぶ複数の検査点のそれぞれに関する評価値の分布に基づいて物体の存否を判定する、
ことを特徴とする請求項1に記載の物体検出装置。
【請求項3】
前記物体存否判定部は、評価値が極値となる検査点に物体が存在すると判定する、
ことを特徴とする請求項1又は2に記載の物体検出装置。
【請求項4】
少なくとも2つのカメラのそれぞれが撮像するカメラ画像間の視差に基づいて物体を検出する物体検出方法であって、
被撮像空間を通る仮想直線上の複数の検査点のうちの1つに対応する画素を含む所定サイズの部分画像を各カメラ画像から抽出する部分画像抽出ステップと、
同一の検査点に対応する前記各カメラ画像の部分画像同士の類似度に基づいて前記複数の検査点のうちの1つに関する評価値を決定する評価値決定ステップと、
前記評価値決定ステップにおいて決定される評価値を用いて物体の存否を判定する物体存否判定ステップと、
を備えることを特徴とする物体検出方法。
【図1】
【図2】
【図3】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図4】
【図5】
【図2】
【図3】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図4】
【図5】
【公開番号】特開2013−73515(P2013−73515A)
【公開日】平成25年4月22日(2013.4.22)
【国際特許分類】
【出願番号】特願2011−213490(P2011−213490)
【出願日】平成23年9月28日(2011.9.28)
【出願人】(000002107)住友重機械工業株式会社 (2,241)
【Fターム(参考)】
【公開日】平成25年4月22日(2013.4.22)
【国際特許分類】
【出願日】平成23年9月28日(2011.9.28)
【出願人】(000002107)住友重機械工業株式会社 (2,241)
【Fターム(参考)】
[ Back to top ]