物体検出装置を搭載する移動体
【課題】演算コストがより低い物体検出装置を搭載する移動体を提供すること。
【解決手段】本発明に係るショベル６０は、ショベル６０の動作状態を検出する動作状態検出部６５と物体検出装置１００とを備える。物体検出装置１００は、複数のカメラのそれぞれが撮像するカメラ画像の視差に基づいて物体を検出する。また、物体検出装置１００は、被撮像空間を通る仮想直線上の複数の検査点のうちの１つに対応する画素を含む部分画像をカメラ画像から抽出する部分画像抽出部１０と、同一の検査点に対応する各カメラ画像の部分画像同士の類似度に基づいて検査点に関する評価値を決定する評価値決定部１１と、評価値決定部１１が決定する評価値を用いて物体の存否を判定する物体存否判定部１２とを備える。仮想直線は、ショベル６０の動作状態に応じて配置される。
【解決手段】本発明に係るショベル６０は、ショベル６０の動作状態を検出する動作状態検出部６５と物体検出装置１００とを備える。物体検出装置１００は、複数のカメラのそれぞれが撮像するカメラ画像の視差に基づいて物体を検出する。また、物体検出装置１００は、被撮像空間を通る仮想直線上の複数の検査点のうちの１つに対応する画素を含む部分画像をカメラ画像から抽出する部分画像抽出部１０と、同一の検査点に対応する各カメラ画像の部分画像同士の類似度に基づいて検査点に関する評価値を決定する評価値決定部１１と、評価値決定部１１が決定する評価値を用いて物体の存否を判定する物体存否判定部１２とを備える。仮想直線は、ショベル６０の動作状態に応じて配置される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数台のカメラのそれぞれが撮像するカメラ画像間の視差に基づいて物体を検出する物体検出装置を搭載する移動体に関する。
【背景技術】
【０００２】
従来、ステレオカメラを用いて物体までの距離を測定する方法が知られている（例えば、特許文献１参照。）。
【０００３】
この方法は、２つのカメラのそれぞれが撮像した２つのカメラ画像のそれぞれにおいて特徴点を見つけ出し、各カメラ画像間での特徴点同士の対応関係を明らかにし、対応付けられたそれらの特徴点の位置の違い（視差）に基づいて、その特徴点を形成する物体までの距離を三角測量で計算する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−１１１３２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の方法は、特徴点を見つけ出すための演算コスト及び各カメラ画像間での特徴点同士の対応関係を明らかにするための演算コストが大きいため、低コストの組込み装置への実装が困難である。また、この方法は、二次元のカメラ画像から三次元の距離分布を導き出す方法であるため、カメラ画像の特定部分のみを測定範囲（測定対象の物体が存在する範囲）として予め設定することができず、測定対象の物体が存在し得ない領域に対しても演算コストをかけることとなり効率が悪い。
【０００６】
上述の点に鑑み、本発明は、演算コストがより低い物体検出装置を搭載する移動体を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述の目的を達成するために、本発明の実施例に係る移動体は、少なくとも２つのカメラのそれぞれが撮像するカメラ画像間の視差に基づいて物体を検出する物体検出装置を搭載する移動体であって、当該移動体の動作状態を検出する動作状態検出部を備え、前記物体検出装置は、被撮像空間を通る仮想直線上の複数の検査点のうちの１つに対応する画素を含む所定サイズの部分画像を各カメラ画像から抽出する部分画像抽出部と、同一検査点に対応する前記各カメラ画像の部分画像同士の類似度に基づいて前記複数の検査点のうちの１つに関する評価値を決定する評価値決定部と、前記評価値決定部が決定する評価値を用いて物体の存否を判定する物体存否判定部と、を備え、前記仮想直線は、当該移動体の動作状態に応じて配置されることを特徴とする。
【発明の効果】
【０００８】
上述の手段により、本発明は、演算コストがより低い物体検出装置を搭載する移動体を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明に係る物体検出装置の構成例を概略的に示すブロック図である。
【図２】撮像部と測定ラインとの関係の一例を示す図である。
【図３】図２に示す２台のカメラのそれぞれが撮像するカメラ画像と８つの検査点との関係を示す図である。
【図４】検出対象を撮像する２台のカメラが出力するカメラ画像を示す図である。
【図５】図４の２つのカメラ画像のそれぞれにおける、検査点に対応する画素を含む部分画像を示す図である。
【図６】評価値決定処理の流れを示すフローチャートである。
【図７】水平方向の輝度の微分値、鉛直方向の輝度の微分値、及び、輝度勾配方向の三者の関係を示す図である。
【図８】検査点に対応する画素を中心画素とする部分画像における各画素の輝度勾配方向を示す図である。
【図９】評価値決定部による輝度勾配方向の量子化方法の一例を説明する図である。
【図１０】評価値決定部による輝度勾配方向の値のヒストグラムの作成方法の一例を説明する図である。
【図１１】１６個の検査点のそれぞれに関する評価値の分布を示す図（その１）である。
【図１２】１６個の検査点のそれぞれに関する評価値の分布を示す図（その２）である。
【図１３】１６個の検査点のそれぞれに関する評価値の分布を示す図（その３）である。
【図１４】物体検出処理の流れを示すフローチャートである。
【図１５】物体検出装置が搭載されるショベルの構成例を示す図である。
【図１６】ショベルに搭載される物体検出装置が採用する測定ラインの配置の例を示す図（その１）である。
【図１７】検出結果表示画面の一例を示す図である。
【図１８】ショベルに搭載される物体検出装置が採用する測定ラインの配置の例を示す図（その２）である。
【図１９】ショベルに搭載される物体検出装置が採用する測定ラインの配置の例を示す図（その３）である。
【図２０】活性状態・非活性状態が切り換え可能な測定ラインの配置例を示す図である。
【図２１】ショベルの動作状態に応じて動的に設定される測定ラインの例を示す図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照しつつ、本発明を実施するための最良の形態の説明を行う。
【実施例】
【００１１】
図１は、本発明に係る物体検出装置１００の構成例を概略的に示すブロック図である。物体検出装置１００は、主に、制御部１、撮像部２、表示部３、及び音声出力部４で構成される。
【００１２】
制御部１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ(Random Access Memory)、ＲＯＭ（Read Only Memory）、ＮＶＲＡＭ（Non-Volatile Random Access Memory）等を備えたコンピュータである。制御部１は、例えば、ＲＯＭやＮＶＲＡＭに保存された、後述する部分画像抽出部１０、評価値決定部１１、及び物体存否判定部１２のそれぞれの機能要素に対応するプログラムをＲＡＭに展開し、各機能要素に対応する処理をＣＰＵに実行させる。
【００１３】
撮像部２は、画像を取得する装置であり、例えば、少なくとも２つのカメラで構成されるステレオビジョン装置である。撮像部２は、所定周期で撮像する画像データを制御部１に対して出力する。
【００１４】
撮像部２を構成する少なくとも２つのカメラは、所定距離を隔てて配置され、同じ空間領域を撮像する。以下では、少なくとも２つのカメラが撮像する共通の空間領域を「被撮像空間」と称する。
【００１５】
表示部３は、各種情報を表示するための装置であり、例えば、液晶ディスプレイ、プロジェクタ等であって、制御部１が出力する各種画像を表示する。
【００１６】
音声出力部４は、各種情報を音声出力するための装置であり、例えば、ブザー、スピーカ等であって、制御部１が出力する制御信号に応じて各種情報を音声出力する。
【００１７】
部分画像抽出部１０は、撮像部２が撮像した画像から部分画像を抽出する機能要素である。
【００１８】
具体的には、部分画像抽出部１０は、撮像部２を構成する複数のカメラのそれぞれが撮像したカメラ画像から、検査点に対応する画素を含む所定サイズの部分画像を抽出する。部分画像は、例えば、検査点に対応する画素を中心画素とする矩形画像である。なお、部分画像は、円形、楕円形等の他の形状を有していてもよい。
【００１９】
「検査点」とは、三次元空間である被撮像空間を通る仮想直線（以下、「測定ライン」とする。）上の点である。検査点は、好適には、物体検出装置１００の検出対象に応じて予め設定される。この場合、物体検出装置１００は、三次元空間に定義される三次元座標系における各検査点の三次元座標と、複数のカメラ画像のそれぞれに対して定義される二次元座標系における対応する二次元座標とを予め関連付けて保持する。但し、検査点は、物体検出装置１００の検出対象に応じて動的に設定されてもよい。この場合、物体検出装置１００は、測定ライン及び検査点を動的に設定し、各検査点の三次元座標に基づいて、複数のカメラ画像のそれぞれにおける対応する二次元座標を動的に算出する。
【００２０】
図２は、撮像部２と測定ラインＶＬとの関係の一例を示す図であり、撮像部２を構成する２つのカメラ２ａ、２ｂとカメラ２ａ、２ｂに関する被撮像空間を通る測定ラインＶＬ上に配置される８個の検査点ＩＰ１〜ＩＰ８とを示す。
【００２１】
測定ラインＶＬは、被撮像空間を通る任意の直線であるが、好適には、物体検出装置１００の検出対象である物体が存在する可能性の高い空間領域、又は、物体検出装置１００の検出対象である物体が移動する可能性の高い空間領域を貫くように配置される。
【００２２】
また、測定ラインＶＬ上に配置される検査点間の距離は任意であり、等間隔であってもよく、不等間隔であってもよい。なお、検査点間の距離が長い程、すなわち、検査点の数が少ない程、物体検出装置１００が物体を検出するために要する演算負荷は減少する。一方、検査点間の距離が短い程、すなわち、検査点の数が多い程、物体検出装置１００の分解能は高くなる。
【００２３】
図３は、図２に示す２台のカメラ２ａ、２ｂのそれぞれが撮像するカメラ画像２ａＲ、２ｂＲと８つの検査点ＩＰ１〜ＩＰ８との関係を示す。カメラ２ａが撮像するカメラ画像２ａＲは、検査点ＩＰ１〜ＩＰ８のそれぞれに対応する画素２ａＰ１〜２ａＰ８を中心とする部分画像２ａＲ１〜２ａＲ８を含む。同様に、カメラ２ｂが撮像するカメラ画像２ｂＲは、検査点ＩＰ１〜ＩＰ８のそれぞれに対応する画素２ｂＰ１〜２ｂＰ８を中心とする部分画像２ｂＲ１〜２ｂＲ８を含む。なお、部分画像２ａＲ１〜２ａＲ８及び部分画像２ｂＲ１〜２ｂＲ８のそれぞれのサイズは共通である。部分画像２ｂＲ１〜２ｂＲ８のサイズを共通とした場合、演算処理がしやすいというメリットがある。そのため、図３では、検査点ＩＰ２〜ＩＰ７のそれぞれを中心画素とする、カメラ画像２ａＲ、２ｂＲのそれぞれにおける部分画像の範囲の図示を省略する。なお、部分画像のサイズは、同じ検査点に対応する部分画像間で共通であれば、カメラからの距離に応じて検査点毎に変更されてもよい。この場合、カメラからの距離に応じて変化する、物体のカメラ画像内での映り込みサイズに、部分画像のサイズを合わせられるというメリットがある。なお、カメラ画像２ａＲのサイズは、カメラ画像２ｂＲのサイズと同じである。また、図３は、カメラ２ａの設置位置とカメラ２ｂの設置位置との違いに起因して、カメラ２ａが撮像するカメラ画像２ａＲとカメラ２ｂが撮像するカメラ画像２ｂＲとの間に視差が存在することを示す。
【００２４】
図４は、検出対象５０を撮像する２台のカメラ２ａ、２ｂが出力するカメラ画像２ａＲ、２ｂＲを示す。なお、図４に示す測定ラインは、図３に示す測定ラインＶＬとは延在方向が異なるが、説明の便宜のため、同じ参照符号ＶＬを用いて説明する。検査点ＩＰ１〜ＩＰ５についても同様である。
【００２５】
図４において、カメラ２ａ、２ｂは、床面から５００ｍｍの高さに設置される。また、測定ラインＶＬは、床面からの高さが５００ｍｍの平面上で、カメラ２ａとカメラ２ｂとを結ぶ線分の中点ＭＰを通り、カメラ２ａ、２ｂの光軸方向に平行に伸びる。また、５つの検査点ＩＰ１〜ＩＰ５は、測定ラインＶＬ上に等間隔（例えば、２５０ｍｍ間隔）に配置され、中点ＭＰとの距離が最も小さい検査点ＩＰ１は、中点ＭＰから１０００ｍｍの地点に配置される。また、検出対象５０はヘルメットであり、中点ＭＰから１７５０ｍｍの地点に配置される。
【００２６】
図５は、図４の２つのカメラ画像２ａＲ、２ｂＲのそれぞれにおける、５つの検査点ＩＰ１〜ＩＰ５のそれぞれに対応する画素を含む、２つ１組の５組の部分画像を示す。
【００２７】
部分画像２ａＲ１は、カメラ２ａが撮像したカメラ画像２ａＲにおける、検査点ＩＰ１に対応する画素２ａＰ１を中心画素とする部分画像である。また、部分画像２ｂＲ１は、カメラ２ｂが撮像したカメラ画像２ｂＲにおける、検査点ＩＰ１に対応する画素２ｂＰ１を中心画素とする部分画像である。
【００２８】
同様に、部分画像２ａＲ２〜２ａＲ５のそれぞれは、カメラ画像２ａＲにおける、検査点ＩＰ２〜ＩＰ５のそれぞれに対応する画素２ａＰ２〜２ａＰ５のそれぞれを中心画素とする部分画像である。また、部分画像２ｂＲ２〜２ｂＲ５のそれぞれは、カメラ画像２ｂＲにおける、検査点ＩＰ２〜ＩＰ５のそれぞれに対応する画素２ｂＰ２〜２ｂＰ５のそれぞれを中心画素とする部分画像である。
【００２９】
このようにして、部分画像抽出部１０は、複数の検査点のそれぞれに対応する画素のそれぞれを中心画素とする所定サイズの部分画像を各カメラ画像から抽出する。
【００３０】
評価値決定部１１は、互いに対応する部分画像の類似度に基づいて検査点に関する評価値を決定する機能要素である。
【００３１】
具体的には、評価値決定部１１は、特定の検査点に対応する画素を中心画素とする部分画像同士の類似度に基づいてその特定の検査点に関する評価値を決定する。
【００３２】
図６は、評価値決定部１１が検査点に関する評価値を決定する処理（以下、「評価値決定処理」とする。）の流れを示すフローチャートである。
【００３３】
最初に、評価値決定部１１は、部分画像における各画素の輝度勾配方向を算出する（ステップＳ１）。
【００３４】
「輝度勾配方向」とは、ある注目画素において輝度変化が最大である方向を意味し、本実施例では、水平方向（画面横方向）の輝度の微分値と鉛直方向（画面縦方向）の輝度の微分値ｄＩｙ（ｉ、ｊ）とが形成する角度θで表される。
【００３５】
具体的には、カメラ画像２ａＲ、２ｂＲのそれぞれにおける座標（ｉ、ｊ）の画素の輝度をＩ（ｉ、ｊ）で表すと、水平方向の輝度の微分値ｄＩｘ（ｉ、ｊ）、鉛直方向の輝度の微分値ｄＩｙ（ｉ、ｊ）、及び、輝度勾配方向θは、以下の式で表される。
【００３６】
【数１】
【００３７】
【数２】
【００３８】
【数３】
図７は、水平方向の輝度の微分値ｄＩｘ（ｉ、ｊ）、鉛直方向の輝度の微分値ｄＩｙ（ｉ、ｊ）、及び、輝度勾配方向θの三者の関係を示す図であり、輝度勾配方向θが、水平方向の輝度の微分値ｄＩｘ（ｉ、ｊ）と鉛直方向の輝度の微分値ｄＩｙ（ｉ、ｊ）との間の角度であることを示す。
【００３９】
また、図８は、カメラ画像２ａＲにおける、検査点ＩＰ１に対応する画素２ａＰ１を中心画素とする部分画像２ａＲ１における各画素の輝度勾配方向を示す。具体的には、図８（Ａ）は、部分画像２ａＲ１の全体像を示し、図８（Ｂ）は、図８（Ａ）の破線円部分の拡大図を示す。なお、図８（Ａ）は、説明の便宜のため、部分画像２ａＲ１を縦９ピクセル、横９ピクセルのサイズで示す。また、図８（Ｂ）は、各画素の輝度勾配方向を矢印で示す。
【００４０】
このようにして、評価値決定部１１は、部分画像における各画素の輝度勾配方向θを算出する。
【００４１】
部分画像における各画素の輝度勾配方向θを算出した後、評価値決定部１１は、その算出した輝度勾配方向θを量子化する（ステップＳ２）。
【００４２】
図９は、評価値決定部１１による輝度勾配方向θの量子化方法の一例を説明する図である。
【００４３】
図９（Ａ）で示すように、評価値決定部１１は、輝度勾配方向θが０度以上４５度未満の場合に輝度勾配方向を値「０」に変換する。同様に、評価値決定部１１は、輝度勾配方向θが４５度以上９０度未満、９０度以上１３５度未満、１３５度以上１８０度未満、１８０度以上２２５度未満、２２５度以上２７０度未満、２７０度以上３１５度未満、３１５度以上３６０度未満の場合に、輝度勾配方向をそれぞれ値「１」、値「２」、値「３」、値「４」、値「５」、値「６」、値「７」に変換する。図９（Ｂ）は、量子化の結果の一例を示し、図８（Ｂ）に対応する。
【００４４】
このようにして、評価値決定部１１は、特定の検査点に対応する画素を中心画素とする部分画像における各画素の輝度勾配方向θを量子化する。
【００４５】
輝度勾配方向θを量子化した後、評価値決定部１１は、その量子化した輝度勾配方向の値のヒストグラムを作成する（ステップＳ３）。
【００４６】
図１０は、評価値決定部１１による輝度勾配方向の値のヒストグラムの作成方法の一例を説明する図である。なお、図１０（Ａ）の部分画像２ａＲ１は、図９（Ａ）の部分画像２ａＲ１に対応する。
【００４７】
図１０（Ａ）で示すように、評価値決定部１１は、部分画像２ａＲ１を、中心画素２ａＰ１を含む列より左側にある４列で構成される左側領域と、中心画素２ａＰ１を含む１列、及び中心画素２ａＰ１を含む列より右側にある４列で構成される右側領域とに分割する。
【００４８】
その上で、評価値決定部１１は、左側領域に含まれる各画素の輝度勾配方向の値の出現頻度を「０」〜「７」の値毎に計数する。同様に、評価値決定部１１は、右側領域に含まれる各画素の輝度勾配方向の値の出現頻度を「０」〜「７」の値毎に計数する。
【００４９】
図１０（Ｂ）は、左側領域に関する「０」〜「７」の値と右側領域に関する「０」〜「７」の値とで構成される１６種類（次元）の値のそれぞれの出現頻度の分布を示すヒストグラムの一例である。
【００５０】
このようにして、評価値決定部１１は、特定の検査点に対応する画素を中心画素とする部分画像の特徴を表すヒストグラムを作成する。
【００５１】
特定の検査点に関連する複数の部分画像のそれぞれの特徴を表すヒストグラムを作成した後、評価値決定部１１は、その特定の検査点に関する評価値ＣＧＲＡを決定する（ステップＳ４）。
【００５２】
具体的には、評価値決定部１１は、検査点ＩＰ１に関連する、カメラ２ａが撮像したカメラ画像２ａＲにおける部分画像２ａＲ１の特徴を表すヒストグラムと、同じく検査点ＩＰ１に関連する、カメラ２ｂが撮像したカメラ画像２ｂＲにおける部分画像２ｂＲ１の特徴を表すヒストグラムとに基づいて、検査点ＩＰ１に関する評価値ＣＧＲＡを決定する。
【００５３】
評価値ＣＧＲＡは、例えば、以下の式で表されるようなヒストグラム同士の各要素の強度差に基づく評価値が採用される。
【００５４】
【数４】
なお、Ｋは次元数を表し、本実施例では、輝度勾配方向の値の種類の数に相当する「１６」である。また、Ｉｇ（ｋ）は、一方の部分画像におけるｋ次元目の値を表し、例えば、Ｉｇ（１）は、部分画像２ａＲ１における輝度勾配方向の値「０」の出現頻度（１次元目の値）を表す。また、Ｔｇ（ｋ）は、他方の部分画像におけるｋ次元目の値を表し、例えば、Ｔｇ（１）は、部分画像２ｂＲ１における輝度勾配方向の値「０」の出現頻度（１次元目の値）を表す。
【００５５】
この場合、検査点ＩＰ１に関する評価値ＣＧＲＡが小さい程２つの部分画像２ａＲ１、２ｂＲ１の類似度が高く、その評価値ＣＧＲＡが大きい程２つの部分画像２ａＲ１、２ｂＲ１の類似度が低い。なお、評価値ＣＧＲＡの大小と類似度の高低との関係は、評価値ＣＧＲＡの計算方法によっては反対となり得る。
【００５６】
また、特定の検査点に関連する部分画像が３つ以上存在する場合、すなわち撮像部２が３つ以上のカメラで構成される場合には、評価値決定部１１は、それら３つ以上の部分画像のうちの２つの間の評価値ＣＧＲＡを全ての組み合わせについて算出した上で、算出した複数の評価値ＣＧＲＡに基づいて最終的な評価値ＣＧＲＡを導き出すようにする。この場合、評価値決定部１１は、例えば、複数の評価値ＣＧＲＡの統計値（平均値、最大値、最小値、中間値等である。）を最終的な評価値ＣＧＲＡとして導き出してもよい。
【００５７】
このようにして、評価値決定部１１は、特定の検査点に対応する画素を中心画素とする、互いに対応する部分画像の類似度に基づいて、その特定の検査点に関する評価値ＣＧＲＡを決定する。
【００５８】
また、評価値決定部１１は、予め設定された複数の検査点のそれぞれについて、上述の評価値決定処理を実行し、予め設定された複数の検査点のそれぞれに関する評価値ＣＧＲＡを決定する。
【００５９】
物体存否判定部１２は、評価値決定部１１が決定する、複数の検査点のそれぞれに関する評価値ＣＧＲＡに基づいて物体の存否を判定する機能要素である。
【００６０】
図１１〜図１３は、１６個の検査点ＩＰ１〜ＩＰ１６のそれぞれに関する評価値ＣＧＲＡの分布を示す図である。
【００６１】
図１１〜図１３において、カメラ２ａ、２ｂは、床面から５００ｍｍの高さに設置される。また、測定ラインＶＬは、床面からの高さが５００ｍｍの平面上で、カメラ２ａとカメラ２ｂとを結ぶ線分の中点ＭＰを通り、カメラ２ａ、２ｂの光軸方向に平行に伸びる。また、１６個の検査点ＩＰ１〜ＩＰ１６は、測定ラインＶＬ上に２５０ｍｍ間隔に配置され、中点ＭＰとの距離が最も小さい検査点ＩＰ１は、中点ＭＰから１０００ｍｍの地点に配置される。また、検出対象５０はヘルメットであり、図１１では中点ＭＰから１５００ｍｍの地点に配置され、図１２では中点ＭＰから２２５０ｍｍの地点に配置され、図１３では中点ＭＰから３０００ｍｍの地点に配置される。
【００６２】
図１１のケースでは、物体存否判定部１２は、測定ラインＶＬ上に並ぶ検査点ＩＰ１〜ＩＰ１６のそれぞれに関する評価値ＣＧＲＡの分布ら、中点ＭＰから１５００ｍｍの地点に対応する検査点ＩＰ３に関する評価値ＣＧＲＡが極値（最小値）であると判断する。そして、物体存否判定部１２は、中点ＭＰから１５００ｍｍの地点に検出対象５０が存在すると判定する。また、図１２のケースでは、物体存否判定部１２は、中点ＭＰから２２５０ｍｍの地点に対応する検査点ＩＰ６に関する評価値ＣＧＲＡが極値（最小値）であると判断し、中点ＭＰから２２５０ｍｍの地点に検出対象５０が存在すると判定する。同様に、図１３のケースでは、物体存否判定部１２は、中点ＭＰから３０００ｍｍの地点に対応する検査点ＩＰ９に関する評価値ＣＧＲＡが極値（最小値）であると判断し、中点ＭＰから３０００ｍｍの地点に検出対象５０が存在すると判定する。
【００６３】
このようにして、物体存否判定部１２は、複数の評価値ＣＧＲＡから極値（最小値）を抽出し、その極値となる評価値ＣＧＲＡを有する検査点（以下、「採用点」と称する。）の位置に物体が存在すると判定する。
【００６４】
この判定は、物体が存在する地点に対応する検査点に関する部分画像間の類似度が比較的高くなる一方で、物体が存在しない地点に対応する検査点に関する部分画像間の類似度が比較的低くなるという事実に基づく。物体が存在する地点に対応する検査点に関する、カメラ２ａによる部分画像とカメラ２ｂによる部分画像とは、その物体を共通の被写体として含むのに対し、物体が存在しない地点に対応する検査点に関する、カメラ２ａによる部分画像とカメラ２ｂによる部分画像とは、別々の物体（互いに異なる地点に存在するより遠方の物体）を被写体として含み得るためである。
【００６５】
また、物体存否判定部１２は、複数の評価値ＣＧＲＡの分布に基づいて物体の存否を判定してもよい。
【００６６】
具体的には、物体存否判定部１２は、採用点の評価値ＣＧＲＡと採用点の周囲にある検査点の評価値ＣＧＲＡとの間の関係に基づいて物体の存否を判定してもよい。この場合、採用点の周囲にある検査点の評価値ＣＧＲＡは、例えば、採用点に隣接する複数の検査点の評価値ＣＧＲＡの平均値、最大値、最小値、中間値等である。
【００６７】
例えば、物体存否判定部１２は、採用点の評価値ＣＧＲＡと採用点の周囲にある検査点の評価値ＣＧＲＡとの間の差が所定値以上の場合に限り、採用点の位置に物体が存在すると判定してもよい。すなわち、物体存否判定部１２は、その差が所定値未満の場合には、採用点の位置に物体が存在しないと判定してもよい。検査点の位置に物体が存在しない場合であっても、背景の輝度が均一な場合、その評価値ＣＧＲＡは、物体が存在する場合と同じ程度に低くなるためである。また、物体が存在する場合には特定の１つの検査点の評価値ＣＧＲＡが低くなり易いのに対し、物体が存在せず且つ背景の輝度が均一な場合には、隣接する複数の検査点の評価値ＣＧＲＡが一様に低くなり易いためである。
【００６８】
また、物体検出装置１００は、物体存否判定部１２の判定結果を表示部３及び音声出力部４を通じて操作者に伝えるようにする。
【００６９】
具体的には、物体検出装置１００は、カメラ２ａ、２ｂの何れか一方が撮像した画像を表示部３に表示し、物体存否判定部１２により物体が存在すると判定された位置に対応する採用点の周囲の画像領域を他の画像領域と異ならせて表示する。例えば、物体検出装置１００は、採用点の周囲の画像領域の色を他の画像領域の色と異ならせて表示する。
【００７０】
また、物体検出装置１００は、例えば、音声出力部４を通じて警報を出力したり、「Ｘメートルの地点に物体が存在します」といった音声メッセージを音声出力部４から出力したりする。
【００７１】
次に、図１４を参照しながら、物体検出装置１００が物体を検出する処理（以下、「物体検出処理」とする。）の流れについて説明する。なお、図１４は、物体検出処理の流れを示すフローチャートであり、物体検出装置１００は、所定周期で繰り返しこの物体検出処理を実行する。また、測定ラインＶＬは、検出対象の物体が存在する可能性の高い空間領域を横切るように予め設定される。検査点は、測定ラインＶＬ上に等間隔に所定数だけ予め配置される。また、撮像部２は、２台のカメラ２ａ、２ｂで構成され、カメラ２ａ、２ｂは、カメラ画像２ａＲ、２ｂＲを制御部１に対して出力する。
【００７２】
最初に、物体検出装置１００の制御部１は、部分画像抽出部１０により、複数の検査点のうちの１つに対応する画素を中心画素とする部分画像を、カメラ画像２ａＲ、２ｂＲのそれぞれから抽出する（ステップＳ１１）。
【００７３】
その後、制御部１は、評価値決定部１１により、上述の評価値決定処理を実行し、その検査点に関する評価値ＣＧＲＡを決定する（ステップＳ１２）。
【００７４】
その後、制御部１は、予め設定された全ての検査点に関する評価値ＣＧＲＡを決定したか否かを判定する（ステップＳ１３）。
【００７５】
予め設定された全ての検査点に関する評価値ＣＧＲＡを未だ決定していないと判定した場合（ステップＳ１３のＮＯ）、制御部１は、評価値ＣＧＲＡが未だ決定されていない検査点に関してステップＳ１１及びステップＳ１２を実行する。
【００７６】
予め設定された全ての検査点に関する評価値ＣＧＲＡを決定したと判定した場合（ステップＳ１３のＹＥＳ）、制御部１は、物体存否判定部１２により、全ての検査点に関する評価値ＣＧＲＡの分布に基づいて物体の存否を判定する（ステップＳ１４）。
【００７７】
なお、本実施例では、物体検出装置１００は、１本の測定ラインＶＬ上に配置された複数の検査点のそれぞれに関する評価値ＣＧＲＡの分布に基づいて、その１本の測定ラインＶＬが通る空間における物体の存否を判定する。しかしながら、本発明は、これに限定されない。物体検出装置１００は、複数本の測定ラインのそれぞれに配置された複数の検査点のそれぞれに関する評価値ＣＧＲＡの分布に基づいて、測定ライン毎に物体の存否を判定してもよい。
【００７８】
以上の構成により、物体検出装置１００は、特定の検査点に対応する画素を中心画素とする、複数のカメラ画像のそれぞれにおける部分画像間の類似度に基づく評価値を用いて物体の存否を判定する。その結果、物体検出装置１００は、エッジ検出等の画像処理により特徴点を見つけ出す必要なく物体の存否を判定することができ、物体の存否を判定するのに必要な演算コストを低減させることができる。
【００７９】
また、物体検出装置１００は、検査点の位置を任意に設定可能とするので、測定範囲を必要最小限に制限することができ、物体の存否を判定するのに必要な演算コストを更に低減させることができる。
【００８０】
また、物体検出装置１００は、検査点の位置を任意に設定可能とするので、特定領域の物体検出の分解能を高めることができる。
【００８１】
次に、図１５〜図１９を参照しながら、物体検出装置１００が移動体としてのショベル６０に搭載される場合の測定ライン及び検査点の配置について説明する。
【００８２】
図１５は、物体検出装置１００が搭載されるショベル６０の構成例を示す図であり、図１５（Ａ）がショベル６０の側面図を示し、図１５（Ｂ）がショベル６０の上面図を示す。
【００８３】
ショベル６０は、クローラ式の下部走行体６１の上に、旋回機構６２を介して、上部旋回体６３を旋回軸ＰＶの周りで旋回自在に搭載している。
【００８４】
また、上部旋回体６３は、その前方左側部にキャブ（運転室）６４を備え、その前方中央部に掘削アタッチメントＥを備え、その後面に撮像部２を備える。なお、キャブ６４内の運転者が視認し易い位置には表示部３が設置される。また、キャブ６４内には、制御部１、音声出力部４、及び動作状態検出部６５が設置される。
【００８５】
動作状態検出部６５は、ショベル６０の動作状態を検出する機能要素であり、検出結果を制御部１に対して出力する。動作状態検出部６５は、例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ、ＮＶＲＡＭ等を備えたコンピュータであり、制御部１に統合されてもよい。
【００８６】
動作状態検出部６５は、例えば、図示しない操作レバーの出力に基づいてショベル６０の動作状態を検出する。ショベル６０の動作状態は、停止状態、前進状態、後進状態、左旋回状態、右旋回状態、掘削アタッチメント伸長状態、掘削アタッチメント短縮状態等を含む。
【００８７】
また、動作状態検出部６５は、旋回機構６２の旋回速度を検出するリゾルバ、掘削アタッチメントＥの姿勢を検出する角度センサ、下部走行体６１の移動速度を検出する速度センサ等の出力に基づいてショベル６０の動作状態を検出してもよい。
【００８８】
図１６は、ショベル６０に搭載される物体検出装置１００が採用する測定ラインの配置の一例を示す図である。図１６では、７本の測定ラインＶＬａ〜ＶＬｇが配置され、７本の測定ラインＶＬａ〜ＶＬｇのそれぞれには、４つの検査点が等間隔に配置される。なお、４つの検査点は、不等間隔に配置されてもよい。
【００８９】
具体的には、測定ラインＶＬａ上には４つの検査点ＩＰａ１〜ＩＰａ４が配置され、測定ラインＶＬｂ上には４つの検査点ＩＰｂ１〜ＩＰｂ４が配置され、測定ラインＶＬｃ上には４つの検査点ＩＰｃ１〜ＩＰｃ４が配置される。また、測定ラインＶＬｄ上には４つの検査点ＩＰｄ１〜ＩＰｄ４が配置され、測定ラインＶＬｅ上には４つの検査点ＩＰｅ１〜ＩＰｅ４が配置され、測定ラインＶＬｆ上には４つの検査点ＩＰｆ１〜ＩＰｆ４が配置され、測定ラインＶＬｇ上には４つの検査点ＩＰｇ１〜ＩＰｇ４が配置される。
【００９０】
物体検出装置１００は、７本の測定ラインＶＬａ〜ＶＬｆのそれぞれに配置された４つの検査点のそれぞれに関する評価値ＣＧＲＡの分布に基づいて、測定ライン毎に物体の存否を判定する。
【００９１】
７本の測定ラインＶＬａ〜ＶＬｇは、ショベル６０の上部旋回体６３の後部を中心として、ショベル６０の後方に放射状に伸び、隣接する２本の測定ラインの間の角度が等しくなるように配置される。なお、隣接する２本の測定ラインの間の角度は、異なるものであってもよい。また、７本の測定ラインＶＬａ〜ＶＬｇは、水平面に平行に伸び、検出対象に応じて地面からの高さが決定される。
【００９２】
７本の測定ラインＶＬａ〜ＶＬｇのこの配置により、物体検出装置１００は、ショベル６０の後方の様々な方向に存在する物体を検出することができる。また、この配置により、測定ライン上に等間隔に配置される検査点の配置密度は、ショベル６０に近いほど密となる。したがって、この配置は、ショベル６０の操作者の死角となるショベル６０の後方に存在する物体の検出を可能にし、且つ、ショベル６０に近い程より詳細な物体の検出を可能にする。
【００９３】
また、７本の測定ラインＶＬａ〜ＶＬｇは、上部旋回体６３を基準とする座標系で定義されているので、測定ラインＶＬａ〜ＶＬｇ上の各検査点は、上部旋回体６３に固定された撮像部２の動きとともに、すなわち、ショベル６０の前後進、又は、上部旋回体６３の旋回とともに移動する。その結果、物体検出装置１００は、ショベル６０の前後進、又は、上部旋回体６３の旋回にかかわらず、常に、上部旋回体６３の後方に存在する物体を検出できる。
【００９４】
図１７は、ショベル６０に搭載される物体検出装置１００の検出結果を表示する検出結果表示画面Ｄ１の一例である。物体検出装置１００は、表示部３に検出結果を出力し、表示部３上に検出結果表示画面Ｄ１を表示させる。
【００９５】
検出結果表示画面Ｄ１は、ショベル６０の位置を表すＣＧ（Computer Graphics）画像７０を画面中央上部に表示する。なお、ＣＧ画像７０は、ショベル６０の掘削アタッチメントＥに相当する画像部分が画面上方向を向くように配置される。
【００９６】
図１７では、検出結果表示画面Ｄ１は、図１６で示された、測定ラインＶＬａ上の検査点ＩＰａ３、測定ラインＶＬｂ上の検査点ＩＰｂ４、測定ラインＶＬｃ上の検査点ＩＰｃ３、測定ラインＶＬｄ上の検査点ＩＰｄ３、及び測定ラインＶＬｆ上の検査点ＩＰｆ４で物体が存在すると判定され、測定ラインＶＬｅ及び測定ラインＶＬｇ上で物体が存在しないと判定された場合の状態を示す。
【００９７】
図１７で示すように、物体検出装置１００は、物体が存在すると判定された地点の画像部分に円形のマークを重畳表示する。物体の存在を操作者に伝えるためである。なお、物体検出装置１００は、物体が存在すると判定された地点の画像部分の色を変えたり、点滅させたりする等の他の表示方法により、物体の存在を操作者に伝えるようにしてもよい。このようにして、物体検出装置１００は、撮像部２を用いた物体の存否の判定結果を操作者に分かり易く認識させることができる。
【００９８】
図１８は、ショベル６０に搭載される物体検出装置１００が採用する測定ラインの配置の別の例を示す図である。図１８では、４本の測定ラインＶＬｈ〜ＶＬｋが配置され、４本の測定ラインＶＬｈ〜ＶＬｋのそれぞれには、５つの検査点が等間隔に配置される。なお、５つの検査点は、不等間隔に配置されてもよい。
【００９９】
具体的には、測定ラインＶＬｈ上には５つの検査点ＩＰｈ１〜ＩＰｈ５が配置され、測定ラインＶＬｉ上には５つの検査点ＩＰｉ１〜ＩＰｉ５が配置され、測定ラインＶＬｊ上には５つの検査点ＩＰｊ１〜ＩＰｊ５が配置され、測定ラインＶＬｋ上には５つの検査点ＩＰｋ１〜ＩＰｋ５が配置される。
【０１００】
物体検出装置１００は、４本の測定ラインＶＬｈ〜ＶＬｋのそれぞれに配置された５つの検査点のそれぞれに関する評価値ＣＧＲＡの分布に基づいて、測定ライン毎に物体の存否を判定する。
【０１０１】
４本の測定ラインＶＬｈ〜ＶＬｋは、ショベル６０の後方において、ショベル６０の上部旋回体６３の側部端面（撮像部２の光軸）に平行に伸びる。また、４本の測定ラインＶＬｈ〜ＶＬｋは、水平面に平行に伸び、検出対象に応じて地面からの高さが決定される。なお、４本の測定ラインＶＬｈ〜ＶＬｋは、ショベル６０の後方において、ショベル６０の上部旋回体６３の後端面に平行に伸びるものであってもよい。
【０１０２】
４本の測定ラインＶＬｈ〜ＶＬｋのこの配置により、測定ライン上に等間隔に配置される検査点の配置密度は、ショベル６０からの距離にかかわらず一定となる。したがって、４本の測定ラインＶＬｈ〜ＶＬｋのこの配置は、ショベル６０の操作者の死角となるショベル６０の後方に存在する物体の検出を可能にし、且つ、ショベル６０から比較的離れた地点に存在する物体を、ショベル６０に比較的近い地点に存在する物体を検出する場合と同様の分解能で検出できるようにする。
【０１０３】
図１９は、ショベル６０に搭載される物体検出装置１００が採用する測定ラインの配置のさらに別の例を示す図である。図１９では、５本の測定ラインＶＬｖ〜ＶＬｚが配置され、５本の測定ラインＶＬｖ〜ＶＬｚのそれぞれには、４つの検査点が等間隔に配置される。なお、４つの検査点は、不等間隔に配置されてもよい。
【０１０４】
物体検出装置１００は、５本の測定ラインＶＬｖ〜ＶＬｚのそれぞれに配置された４つの検査点のそれぞれに関する評価値ＣＧＲＡの分布に基づいて、測定ライン毎に物体の存否を判定する。
【０１０５】
５本の測定ラインＶＬｖ〜ＶＬｚは、ショベル６０の上部旋回体６３の後部を中心として、ショベル６０の後方に放射状に伸び、隣接する２本の測定ラインの間の角度が等しくなるように配置される。なお、隣接する２本の測定ラインの間の角度は、異なるものであってもよい。また、５本の測定ラインＶＬｖ〜ＶＬｚは、１つの鉛直面上に配置される。
【０１０６】
５本の測定ラインＶＬｖ〜ＶＬｚのこの配置により、物体検出装置１００は、ショベル６０の後方に存在する様々な高さの物体を検出することができる。また、この配置により、測定ライン上に等間隔に配置される検査点の配置密度は、ショベル６０に近いほど密となる。したがって、この配置は、ショベル６０の操作者の死角となるショベル６０の後方に存在する物体の検出を可能にし、且つ、ショベル６０に近い程より詳細な物体の検出を可能にする。
【０１０７】
また、５本の測定ラインＶＬｖ〜ＶＬｚは、上部旋回体６３を基準とする座標系で定義されているので、測定ラインＶＬｖ〜ＶＬｚ上の各検査点は、上部旋回体６３に固定された撮像部２の動きとともに、すなわち、ショベル６０の前後進、又は、上部旋回体６３の旋回とともに移動する。その結果、物体検出装置１００は、ショベル６０の前後進、又は、上部旋回体６３の旋回にかかわらず、常に、上部旋回体６３の後方に存在する物体を検出できる。
【０１０８】
なお、物体検出装置１００を搭載するショベル６０に関する上述の実施例では、水平方向に放射状に伸びる複数本の測定ラインと、垂直方向に放射状に伸びる複数本の測定ラインとを別々に説明したが、これらの測定ラインは、組み合わせて配置されてもよい。その場合、測定ラインは、例えば、立体的に放射状に伸びるように配置され得る。
【０１０９】
また、上述の実施例では、撮像部２は、上部旋回体６３の後部に取り付けられ、測定ラインは、ショベル６０の後方にある物体を検出するのに適した配置となっている。しかしながら、本発明はこれに限定されない。例えば、撮像部２は、追加的に或いは代替的に、上部旋回体６３の側部の一方又は双方に取り付けられていてもよい。その場合、測定ラインは、上部旋回体６３の側方にある物体を検出するのに適した配置となり、例えば、上部旋回体６３の側方に放射状に伸びるように配置される。
【０１１０】
また、上述の実施例では、物体検出装置１００は、旋回機構６２を備えたショベル６０に搭載され、撮像部２が下部走行体６１とともに前後進し、且つ、上部旋回体６３とともに旋回する。しかしながら、本発明は、これに限定されない。例えば、撮像部２は、下部走行体６１とともに前後進するが、上部旋回体６３とともに旋回しないように取り付けられていてもよい。この場合、物体検出装置１００は、上部旋回体６３の旋回にかかわらず、常に、下部走行体６１の後方に存在する物体を検出できる。また、物体検出装置１００は、旋回機構を持たない車両等の移動体に搭載されてもよく、移動方向が限定される移動体に搭載されてもよい。
【０１１１】
次に、図２０を参照しながら、ショベル６０に搭載される物体検出装置１００が採用する測定ラインがショベル６０の動作状態に応じて動的に設定される例について説明する。なお、図２０は、活性状態・非活性状態が切り換え可能な測定ラインの配置例を示す図である。
【０１１２】
図２０において、ショベル６０は、上部旋回体６３の右側部に撮像部２Ｒを備え、上部旋回体６３の左側部に撮像部２Ｌを備え、上部旋回体６３の後部に撮像部２Ｂを備える。撮像部２Ｒは、２つのカメラ２Ｒａ、２Ｒｂで構成される。同様に、撮像部２Ｌは、２つのカメラ２Ｌａ、２Ｌｂで構成され、撮像部２Ｂは、２つのカメラ２Ｂａ、２Ｂｂで構成される。
【０１１３】
図２０で示すように、物体検出装置１００は、上部旋回体６３の旋回中心から平面的又は立体的に放射状に伸びる複数の測定ラインを予め設定する。なお、図２０において破線で表されるこれら複数の測定ラインは、個別に活性状態・非活性状態の切り換えが可能であることを示す。
【０１１４】
「測定ラインを活性状態にする」とは、その測定ラインが通る空間を物体検出処理の対象とすることを意味する。すなわち、物体検出装置１００は、その測定ライン上の検査点のそれぞれに関する評価値を算出してその測定ライン上にある物体の存否を判定する。具体的には、物体検出装置１００は、各検査点の検査点情報に活性状態・非活性状態を表す活性状態フラグを用意する。そして、物体検出装置１００は、活性状態にしようとする測定ライン上にある検査点のそれぞれに関するこの活性状態フラグを活性状態（例えば、値「１」である。）に切り換えることによって、その測定ラインを活性状態にする。なお、検査点情報は、制御部１のＮＶＲＡＭ等に予め記憶される情報であり、三次元空間における検査点に対応するカメラ座標系上の座標点に関する情報を含む。
【０１１５】
一方、「測定ラインを非活性状態にする」とは、その測定ラインが通る空間を物体検出処理の対象としないことを意味する。すなわち、物体検出装置１００は、その測定ライン上の検査点に関する評価値の算出を省略し、その測定ライン上にある物体の存否を判定しない。具体的には、物体検出装置１００は、非活性状態にしようとする測定ライン上にある検査点のそれぞれに関する活性状態フラグの値を値「０」に切り換えることによって、その測定ラインを非活性状態にする。
【０１１６】
このような構成により、物体検出装置１００は、動作状態検出部６５が検出するショベル６０の動作状態に応じて複数の測定ラインのそれぞれの活性状態・非活性状態を切り換える。
【０１１７】
なお、物体検出装置１００は、複数の測定ラインのそれぞれに配置される複数の検査点の活性状態・非活性状態を個別に切り換えるようにしてもよい。
【０１１８】
図２１は、ショベル６０の動作状態に応じて動的に設定される測定ラインの例を示す図である。
【０１１９】
図２１（Ａ）は、ショベル６０が停止状態のときに活性状態となる測定ラインの配置例であり、上部旋回体６３の旋回中心から、約３６度の角度間隔で側方及び後方の約２１６度の角度範囲に放射状に伸びる７本の測定ラインを示す。
【０１２０】
物体検出装置１００は、動作状態検出部６５によりショベル６０が停止状態にあると判断すると、７本の測定ラインのそれぞれに配置された検査点に関する評価値ＣＧＲＡを決定し、決定した評価値ＣＧＲＡの分布に基づいて、測定ライン毎に物体の存否を判定する。なお、所定時間毎に非活性状態の測定ラインと活性状態の測定ラインとを順次切り換えるようにして一回の処理の対象とする７本の測定ラインを決定し、時分割で全ての測定ラインを巡回して判定を行うようにしてもよい。
【０１２１】
このように、物体検出装置１００は、ショベル６０が停止状態にある場合には、比較的大きな角度間隔（約３６度間隔）で測定ラインを配置し、ショベル６０の側方及び後方の比較的広い角度範囲（約２１６度）を対象として物体検出処理を実行する。その結果、物体検出装置１００は、物体検出処理に要する演算コストを抑制しながら、広範囲の監視を実行できる。
【０１２２】
図２１（Ｂ）は、ショベル６０が後進状態のときに活性状態となる測定ラインの配置例であり、上部旋回体６３の旋回中心から、約１８度の角度間隔で後方の約７２度の角度範囲に放射状に伸びる５本の測定ラインを示す。
【０１２３】
物体検出装置１００は、動作状態検出部６５によりショベル６０が後進状態にあると判断すると、５本の測定ラインのそれぞれに配置された検査点に関する評価値ＣＧＲＡを決定し、決定した評価値ＣＧＲＡの分布に基づいて、測定ライン毎に物体の存否を判定する。
【０１２４】
このように、物体検出装置１００は、ショベル６０が後進状態にある場合には、停止状態のときに比べ比較的小さな角度間隔（約１８度間隔）で測定ラインを配置し、ショベル６０の後方の比較的狭い角度範囲（約７２度）を対象として物体検出処理を実行する。その結果、物体検出装置１００は、物体検出処理に要する演算コストを抑制しながら、ショベル６０が到達可能な後方の空間領域を重点的に監視することができる。
【０１２５】
図２１（Ｃ）は、図２１（Ｂ）の状態に比べショベル６０が比較的高速で後進するときに活性状態となる測定ラインの配置例であり、上部旋回体６３の旋回中心から、約１８度の角度間隔で後方の約７２度の角度範囲に放射状に伸びる５本の測定ラインを示す。また、図２１（Ｃ）は、各測定ライン上に配置される検査点の間隔が、図２１（Ｂ）の場合に比べて大きいことを示す。
【０１２６】
物体検出装置１００は、動作状態検出部６５によりショベル６０の後進速度が所定速度以上に達したと判断すると、５本の測定ラインのそれぞれに配置された検査点の間隔を図２１（Ｂ）の状態から図２１（Ｃ）の状態に拡大する。その後、物体検出装置１００は、５本の測定ラインのそれぞれに配置された検査点に関する評価値ＣＧＲＡを決定し、決定した評価値ＣＧＲＡの分布に基づいて、測定ライン毎に物体の存否を判定する。
【０１２７】
このように、物体検出装置１００は、ショベル６０が所定速度以上の後進状態にある場合には、所定速度未満の後進状態のときと同じ角度範囲を対象としながら、検査点の間隔を拡大して物体検出処理を実行する。その結果、物体検出装置１００は、物体検出処理に要する演算コストを増大させることなく、ショベル６０が到達可能な後方のより遠方の空間領域をも監視することができる。
【０１２８】
図２１（Ｄ）は、ショベル６０が右旋回状態のときに活性状態となる測定ラインの配置例であり、上部旋回体６３の旋回中心から、約１８度の角度間隔で旋回中心に対し右斜め前方の約３６度の角度範囲に放射状に伸びる３本の測定ラインと、旋回中心に対し左斜め後方に伸びる２本の測定ラインとを示す。
【０１２９】
物体検出装置１００は、動作状態検出部６５によりショベル６０が右旋回状態にあると判断すると、５本の測定ラインのそれぞれに配置された検査点に関する評価値ＣＧＲＡを決定し、決定した評価値ＣＧＲＡの分布に基づいて、測定ライン毎に物体の存否を判定する。
【０１３０】
このように、物体検出装置１００は、ショベル６０が右旋回状態にある場合には、停止状態のときに比べ比較的小さな角度間隔（約１８度間隔）で測定ラインを配置する。また、物体検出装置１００は、掘削アタッチメントＥの旋回方向（時計回り方向）にある比較的狭い角度範囲（約３６度）と、上部旋回体６３の後部（カウンタウェイト部）の旋回方向（時計回り方向）にある比較的狭い角度範囲（約１８度）とを対象として物体検出処理を実行する。その結果、物体検出装置１００は、物体検出処理に要する演算コストを抑制しながら、旋回する掘削アタッチメントＥ及びカウンタウェイト部のそれぞれが到達可能な空間領域を重点的に監視することができる。
【０１３１】
図２１（Ｅ）は、図２１（Ｄ）の状態に比べ掘削アタッチメントＥが短縮された状態（例えば、ブームが上昇させられ、アームが閉じられ、バケットが閉じられた状態である。）でショベル６０が右旋回するときに活性状態となる測定ラインの配置例を示す。また、図２１（Ｅ）は、上部旋回体６３の旋回中心から、約１８度の角度間隔で旋回中心に対し右斜め前方の約３６度の角度範囲に放射状に伸びる３本の測定ラインと、旋回中心に対し左斜め後方に伸びる２本の測定ラインとを示す。また、図２１（Ｅ）は、旋回中心に対し右斜め前方の約３６度の角度範囲に放射状に伸びる３本の測定ライン上に配置される検査点の間隔が、図２１（Ｄ）の場合に比べて小さいことを示す。
【０１３２】
物体検出装置１００は、動作状態検出部６５により掘削アタッチメントＥの旋回半径が所定値未満の状態で右旋回が開始されたと判断すると、その３本の測定ラインのそれぞれに配置された検査点の間隔を図２１（Ｄ）の状態から図２１（Ｅ）の状態に縮小する。その後、物体検出装置１００は、３本の測定ラインのそれぞれに配置された検査点に関する評価値ＣＧＲＡを決定し、決定した評価値ＣＧＲＡの分布に基づいて、測定ライン毎に物体の存否を判定する。
【０１３３】
このように、物体検出装置１００は、掘削アタッチメントＥの旋回半径が所定値未満の状態で右旋回が開始された場合には、所定値以上の旋回半径で右旋回が開始されたときと同じ角度範囲を対象としながら、検査点の間隔を縮小して物体検出処理を実行する。その結果、物体検出装置１００は、物体検出処理に要する演算コストを増大させることなく、旋回する掘削アタッチメントＥが到達可能な空間領域をより効率的に監視することができる。
【０１３４】
図２１（Ｆ）は、ショベル６０が左旋回状態のときに活性状態となる測定ラインの配置例であり、図２１（Ｄ）に対応する。また、図２１（Ｇ）は、図２１（Ｆ）の状態に比べ掘削アタッチメントＥが短縮された状態でショベル６０が左旋回するときに活性状態となる測定ラインの配置例であり、図２１（Ｅ）に対応する。図２１（Ｄ）と図２１（Ｆ）との間の違いは、旋回方向のみであるため、説明を省略する。図２１（Ｅ）と図２１（Ｇ）との間の違いについても同様である。
【０１３５】
また、物体検出装置１００は、図２１（Ｄ）〜図２１（Ｇ）に示すように掘削アタッチメントＥの伸縮状態に応じて測定ラインや検査点の配置を変更することに代えて或いは加えて、上部旋回体６３の旋回速度に応じて測定ラインや検査点の配置を変更してもよい。例えば、物体検出装置１００は、上部旋回体６３の旋回速度が大きい程、測定ライン間の角度間隔を大きくし、より広い角度範囲を監視するようにしてもよい。
【０１３６】
図２１（Ｈ）は、ショベル６０が後進状態のときに活性状態となる測定ラインの別の配置例を示す。図２１（Ｈ）の配置は、図２０に示す測定ラインの基本配置（放射状配置）とは異なる配置（格子状配置）を用いて形成され、図２１（Ｂ）に示す配置の代わりに採用され得る。また、図２１（Ｉ）は、図２１（Ｈ）の状態に比べショベル６０が比較的高速で後進するときの測定ラインの配置例であり、図２１（Ｃ）に示す配置の代わりに採用され得る。なお、図２１（Ｉ）の配置は、各測定ライン上に配置される検査点の間隔が、図２１（Ｈ）の場合に比べて大きいことを示す。
【０１３７】
このように、物体検出装置１００は、複数の測定ラインが放射状に配置される場合と同様、複数の測定ラインが平行に配置される場合であっても、ショベル６０が所定速度以上の後進状態にある場合には、検査点の間隔を拡大して物体検出処理を実行する。その結果、物体検出装置１００は、物体検出処理に要する演算コストを増大させることなく、ショベル６０が到達可能な後方のより遠方の空間領域をも監視することができる。また、物体検出装置１００は、測定ラインが放射状に配置される場合と比べ、測定ラインが平行に配置される場合には、ショベル６０から比較的離れた地点に存在する物体を、ショベル６０に比較的近い地点に存在する物体を検出する場合と同様の分解能で検出することができる。
【０１３８】
なお、上述の実施例において、物体検出装置１００は、個別に活性状態・非活性状態の切り換えが可能な検査点のカメラ座標系における座標点を予め記憶し、それら検査点の活性状態・非活性状態を切り換えることによって、測定ラインを動的に設定する。しかしながら、本発明はこれに限定されない。例えば、物体検出装置１００は、検査点を動的に設定しながら、すなわち、検査点に対応するカメラ座標系上の座標点を動的に設定しながら、測定ラインを動的に設定してもよい。
【０１３９】
以上の構成により、物体検出装置１００は、ショベル６０の動作状態に応じて動的に測定ライン及び検査点の配置を切り換えるので、動作状態によっては物体の存否を判定する必要のない範囲を測定範囲から適切に除外することができ、物体検出処理に要する演算コストを更に低減させることができる。
【０１４０】
また、物体検出装置１００は、動作状態によっては物体の存否を判定する必要のない範囲を測定範囲から除外することで低減させた演算コストを、物体の存否を判定する必要のある範囲をより詳細に監視するために利用することにより、演算コストを増大させることなく検出範囲の分解能を高めることができる。
【０１４１】
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。
【０１４２】
例えば、上述の実施例において、物体検出装置１００は、評価値ＣＧＲＡとしてヒストグラム同士の各要素の強度差に基づく評価値を採用するが、輝度差の二乗和ＳＳＤ（Sum of Squared Difference）、輝度差の総和ＳＡＤ（Sum of Absolute Difference）、正規化相互相関ＺＮＣＣ（Zero-mean Normalized Cross-Correlation）等を評価値として採用してもよい。また、物体検出装置１００は、評価値を決定するために、ＳＩＦＴ（Scale-Invariant Feature Transform）、ＨＯＧ（Histograms of Oriented Gradients）等のアルゴリズムを用いてもよい（藤吉弘亘、"Gradientベースの特徴抽出−ＳＩＦＴとＨＯＧ−"、情報処理学会、研究報告CVIM 160, pp.211-214, 2007参照。）。
【符号の説明】
【０１４３】
１・・・制御部 ２、２Ｒ、２Ｌ、２Ｂ・・・撮像部 ２ａ、２ｂ・・・カメラ ３・・・表示部 ４・・・音声出力部 １０・・・部分画像抽出部 １１・・・評価値決定部 １２・・・物体存否判定部 ６０・・・ショベル ６１・・・下部走行体 ６２・・・旋回機構 ６３・・・上部旋回体 ６４・・・キャブ ６５・・・動作状態検出部 ７０・・・ＣＧ画像 １００・・・物体検出装置 Ｄ１・・・検出結果表示画面 ＩＰ１〜ＩＰ１６・・・検査点 ＶＬ・・・測定ライン
【技術分野】
【０００１】
本発明は、複数台のカメラのそれぞれが撮像するカメラ画像間の視差に基づいて物体を検出する物体検出装置を搭載する移動体に関する。
【背景技術】
【０００２】
従来、ステレオカメラを用いて物体までの距離を測定する方法が知られている（例えば、特許文献１参照。）。
【０００３】
この方法は、２つのカメラのそれぞれが撮像した２つのカメラ画像のそれぞれにおいて特徴点を見つけ出し、各カメラ画像間での特徴点同士の対応関係を明らかにし、対応付けられたそれらの特徴点の位置の違い（視差）に基づいて、その特徴点を形成する物体までの距離を三角測量で計算する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−１１１３２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の方法は、特徴点を見つけ出すための演算コスト及び各カメラ画像間での特徴点同士の対応関係を明らかにするための演算コストが大きいため、低コストの組込み装置への実装が困難である。また、この方法は、二次元のカメラ画像から三次元の距離分布を導き出す方法であるため、カメラ画像の特定部分のみを測定範囲（測定対象の物体が存在する範囲）として予め設定することができず、測定対象の物体が存在し得ない領域に対しても演算コストをかけることとなり効率が悪い。
【０００６】
上述の点に鑑み、本発明は、演算コストがより低い物体検出装置を搭載する移動体を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述の目的を達成するために、本発明の実施例に係る移動体は、少なくとも２つのカメラのそれぞれが撮像するカメラ画像間の視差に基づいて物体を検出する物体検出装置を搭載する移動体であって、当該移動体の動作状態を検出する動作状態検出部を備え、前記物体検出装置は、被撮像空間を通る仮想直線上の複数の検査点のうちの１つに対応する画素を含む所定サイズの部分画像を各カメラ画像から抽出する部分画像抽出部と、同一検査点に対応する前記各カメラ画像の部分画像同士の類似度に基づいて前記複数の検査点のうちの１つに関する評価値を決定する評価値決定部と、前記評価値決定部が決定する評価値を用いて物体の存否を判定する物体存否判定部と、を備え、前記仮想直線は、当該移動体の動作状態に応じて配置されることを特徴とする。
【発明の効果】
【０００８】
上述の手段により、本発明は、演算コストがより低い物体検出装置を搭載する移動体を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明に係る物体検出装置の構成例を概略的に示すブロック図である。
【図２】撮像部と測定ラインとの関係の一例を示す図である。
【図３】図２に示す２台のカメラのそれぞれが撮像するカメラ画像と８つの検査点との関係を示す図である。
【図４】検出対象を撮像する２台のカメラが出力するカメラ画像を示す図である。
【図５】図４の２つのカメラ画像のそれぞれにおける、検査点に対応する画素を含む部分画像を示す図である。
【図６】評価値決定処理の流れを示すフローチャートである。
【図７】水平方向の輝度の微分値、鉛直方向の輝度の微分値、及び、輝度勾配方向の三者の関係を示す図である。
【図８】検査点に対応する画素を中心画素とする部分画像における各画素の輝度勾配方向を示す図である。
【図９】評価値決定部による輝度勾配方向の量子化方法の一例を説明する図である。
【図１０】評価値決定部による輝度勾配方向の値のヒストグラムの作成方法の一例を説明する図である。
【図１１】１６個の検査点のそれぞれに関する評価値の分布を示す図（その１）である。
【図１２】１６個の検査点のそれぞれに関する評価値の分布を示す図（その２）である。
【図１３】１６個の検査点のそれぞれに関する評価値の分布を示す図（その３）である。
【図１４】物体検出処理の流れを示すフローチャートである。
【図１５】物体検出装置が搭載されるショベルの構成例を示す図である。
【図１６】ショベルに搭載される物体検出装置が採用する測定ラインの配置の例を示す図（その１）である。
【図１７】検出結果表示画面の一例を示す図である。
【図１８】ショベルに搭載される物体検出装置が採用する測定ラインの配置の例を示す図（その２）である。
【図１９】ショベルに搭載される物体検出装置が採用する測定ラインの配置の例を示す図（その３）である。
【図２０】活性状態・非活性状態が切り換え可能な測定ラインの配置例を示す図である。
【図２１】ショベルの動作状態に応じて動的に設定される測定ラインの例を示す図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照しつつ、本発明を実施するための最良の形態の説明を行う。
【実施例】
【００１１】
図１は、本発明に係る物体検出装置１００の構成例を概略的に示すブロック図である。物体検出装置１００は、主に、制御部１、撮像部２、表示部３、及び音声出力部４で構成される。
【００１２】
制御部１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ(Random Access Memory)、ＲＯＭ（Read Only Memory）、ＮＶＲＡＭ（Non-Volatile Random Access Memory）等を備えたコンピュータである。制御部１は、例えば、ＲＯＭやＮＶＲＡＭに保存された、後述する部分画像抽出部１０、評価値決定部１１、及び物体存否判定部１２のそれぞれの機能要素に対応するプログラムをＲＡＭに展開し、各機能要素に対応する処理をＣＰＵに実行させる。
【００１３】
撮像部２は、画像を取得する装置であり、例えば、少なくとも２つのカメラで構成されるステレオビジョン装置である。撮像部２は、所定周期で撮像する画像データを制御部１に対して出力する。
【００１４】
撮像部２を構成する少なくとも２つのカメラは、所定距離を隔てて配置され、同じ空間領域を撮像する。以下では、少なくとも２つのカメラが撮像する共通の空間領域を「被撮像空間」と称する。
【００１５】
表示部３は、各種情報を表示するための装置であり、例えば、液晶ディスプレイ、プロジェクタ等であって、制御部１が出力する各種画像を表示する。
【００１６】
音声出力部４は、各種情報を音声出力するための装置であり、例えば、ブザー、スピーカ等であって、制御部１が出力する制御信号に応じて各種情報を音声出力する。
【００１７】
部分画像抽出部１０は、撮像部２が撮像した画像から部分画像を抽出する機能要素である。
【００１８】
具体的には、部分画像抽出部１０は、撮像部２を構成する複数のカメラのそれぞれが撮像したカメラ画像から、検査点に対応する画素を含む所定サイズの部分画像を抽出する。部分画像は、例えば、検査点に対応する画素を中心画素とする矩形画像である。なお、部分画像は、円形、楕円形等の他の形状を有していてもよい。
【００１９】
「検査点」とは、三次元空間である被撮像空間を通る仮想直線（以下、「測定ライン」とする。）上の点である。検査点は、好適には、物体検出装置１００の検出対象に応じて予め設定される。この場合、物体検出装置１００は、三次元空間に定義される三次元座標系における各検査点の三次元座標と、複数のカメラ画像のそれぞれに対して定義される二次元座標系における対応する二次元座標とを予め関連付けて保持する。但し、検査点は、物体検出装置１００の検出対象に応じて動的に設定されてもよい。この場合、物体検出装置１００は、測定ライン及び検査点を動的に設定し、各検査点の三次元座標に基づいて、複数のカメラ画像のそれぞれにおける対応する二次元座標を動的に算出する。
【００２０】
図２は、撮像部２と測定ラインＶＬとの関係の一例を示す図であり、撮像部２を構成する２つのカメラ２ａ、２ｂとカメラ２ａ、２ｂに関する被撮像空間を通る測定ラインＶＬ上に配置される８個の検査点ＩＰ１〜ＩＰ８とを示す。
【００２１】
測定ラインＶＬは、被撮像空間を通る任意の直線であるが、好適には、物体検出装置１００の検出対象である物体が存在する可能性の高い空間領域、又は、物体検出装置１００の検出対象である物体が移動する可能性の高い空間領域を貫くように配置される。
【００２２】
また、測定ラインＶＬ上に配置される検査点間の距離は任意であり、等間隔であってもよく、不等間隔であってもよい。なお、検査点間の距離が長い程、すなわち、検査点の数が少ない程、物体検出装置１００が物体を検出するために要する演算負荷は減少する。一方、検査点間の距離が短い程、すなわち、検査点の数が多い程、物体検出装置１００の分解能は高くなる。
【００２３】
図３は、図２に示す２台のカメラ２ａ、２ｂのそれぞれが撮像するカメラ画像２ａＲ、２ｂＲと８つの検査点ＩＰ１〜ＩＰ８との関係を示す。カメラ２ａが撮像するカメラ画像２ａＲは、検査点ＩＰ１〜ＩＰ８のそれぞれに対応する画素２ａＰ１〜２ａＰ８を中心とする部分画像２ａＲ１〜２ａＲ８を含む。同様に、カメラ２ｂが撮像するカメラ画像２ｂＲは、検査点ＩＰ１〜ＩＰ８のそれぞれに対応する画素２ｂＰ１〜２ｂＰ８を中心とする部分画像２ｂＲ１〜２ｂＲ８を含む。なお、部分画像２ａＲ１〜２ａＲ８及び部分画像２ｂＲ１〜２ｂＲ８のそれぞれのサイズは共通である。部分画像２ｂＲ１〜２ｂＲ８のサイズを共通とした場合、演算処理がしやすいというメリットがある。そのため、図３では、検査点ＩＰ２〜ＩＰ７のそれぞれを中心画素とする、カメラ画像２ａＲ、２ｂＲのそれぞれにおける部分画像の範囲の図示を省略する。なお、部分画像のサイズは、同じ検査点に対応する部分画像間で共通であれば、カメラからの距離に応じて検査点毎に変更されてもよい。この場合、カメラからの距離に応じて変化する、物体のカメラ画像内での映り込みサイズに、部分画像のサイズを合わせられるというメリットがある。なお、カメラ画像２ａＲのサイズは、カメラ画像２ｂＲのサイズと同じである。また、図３は、カメラ２ａの設置位置とカメラ２ｂの設置位置との違いに起因して、カメラ２ａが撮像するカメラ画像２ａＲとカメラ２ｂが撮像するカメラ画像２ｂＲとの間に視差が存在することを示す。
【００２４】
図４は、検出対象５０を撮像する２台のカメラ２ａ、２ｂが出力するカメラ画像２ａＲ、２ｂＲを示す。なお、図４に示す測定ラインは、図３に示す測定ラインＶＬとは延在方向が異なるが、説明の便宜のため、同じ参照符号ＶＬを用いて説明する。検査点ＩＰ１〜ＩＰ５についても同様である。
【００２５】
図４において、カメラ２ａ、２ｂは、床面から５００ｍｍの高さに設置される。また、測定ラインＶＬは、床面からの高さが５００ｍｍの平面上で、カメラ２ａとカメラ２ｂとを結ぶ線分の中点ＭＰを通り、カメラ２ａ、２ｂの光軸方向に平行に伸びる。また、５つの検査点ＩＰ１〜ＩＰ５は、測定ラインＶＬ上に等間隔（例えば、２５０ｍｍ間隔）に配置され、中点ＭＰとの距離が最も小さい検査点ＩＰ１は、中点ＭＰから１０００ｍｍの地点に配置される。また、検出対象５０はヘルメットであり、中点ＭＰから１７５０ｍｍの地点に配置される。
【００２６】
図５は、図４の２つのカメラ画像２ａＲ、２ｂＲのそれぞれにおける、５つの検査点ＩＰ１〜ＩＰ５のそれぞれに対応する画素を含む、２つ１組の５組の部分画像を示す。
【００２７】
部分画像２ａＲ１は、カメラ２ａが撮像したカメラ画像２ａＲにおける、検査点ＩＰ１に対応する画素２ａＰ１を中心画素とする部分画像である。また、部分画像２ｂＲ１は、カメラ２ｂが撮像したカメラ画像２ｂＲにおける、検査点ＩＰ１に対応する画素２ｂＰ１を中心画素とする部分画像である。
【００２８】
同様に、部分画像２ａＲ２〜２ａＲ５のそれぞれは、カメラ画像２ａＲにおける、検査点ＩＰ２〜ＩＰ５のそれぞれに対応する画素２ａＰ２〜２ａＰ５のそれぞれを中心画素とする部分画像である。また、部分画像２ｂＲ２〜２ｂＲ５のそれぞれは、カメラ画像２ｂＲにおける、検査点ＩＰ２〜ＩＰ５のそれぞれに対応する画素２ｂＰ２〜２ｂＰ５のそれぞれを中心画素とする部分画像である。
【００２９】
このようにして、部分画像抽出部１０は、複数の検査点のそれぞれに対応する画素のそれぞれを中心画素とする所定サイズの部分画像を各カメラ画像から抽出する。
【００３０】
評価値決定部１１は、互いに対応する部分画像の類似度に基づいて検査点に関する評価値を決定する機能要素である。
【００３１】
具体的には、評価値決定部１１は、特定の検査点に対応する画素を中心画素とする部分画像同士の類似度に基づいてその特定の検査点に関する評価値を決定する。
【００３２】
図６は、評価値決定部１１が検査点に関する評価値を決定する処理（以下、「評価値決定処理」とする。）の流れを示すフローチャートである。
【００３３】
最初に、評価値決定部１１は、部分画像における各画素の輝度勾配方向を算出する（ステップＳ１）。
【００３４】
「輝度勾配方向」とは、ある注目画素において輝度変化が最大である方向を意味し、本実施例では、水平方向（画面横方向）の輝度の微分値と鉛直方向（画面縦方向）の輝度の微分値ｄＩｙ（ｉ、ｊ）とが形成する角度θで表される。
【００３５】
具体的には、カメラ画像２ａＲ、２ｂＲのそれぞれにおける座標（ｉ、ｊ）の画素の輝度をＩ（ｉ、ｊ）で表すと、水平方向の輝度の微分値ｄＩｘ（ｉ、ｊ）、鉛直方向の輝度の微分値ｄＩｙ（ｉ、ｊ）、及び、輝度勾配方向θは、以下の式で表される。
【００３６】
【数１】
【００３７】
【数２】
【００３８】
【数３】
図７は、水平方向の輝度の微分値ｄＩｘ（ｉ、ｊ）、鉛直方向の輝度の微分値ｄＩｙ（ｉ、ｊ）、及び、輝度勾配方向θの三者の関係を示す図であり、輝度勾配方向θが、水平方向の輝度の微分値ｄＩｘ（ｉ、ｊ）と鉛直方向の輝度の微分値ｄＩｙ（ｉ、ｊ）との間の角度であることを示す。
【００３９】
また、図８は、カメラ画像２ａＲにおける、検査点ＩＰ１に対応する画素２ａＰ１を中心画素とする部分画像２ａＲ１における各画素の輝度勾配方向を示す。具体的には、図８（Ａ）は、部分画像２ａＲ１の全体像を示し、図８（Ｂ）は、図８（Ａ）の破線円部分の拡大図を示す。なお、図８（Ａ）は、説明の便宜のため、部分画像２ａＲ１を縦９ピクセル、横９ピクセルのサイズで示す。また、図８（Ｂ）は、各画素の輝度勾配方向を矢印で示す。
【００４０】
このようにして、評価値決定部１１は、部分画像における各画素の輝度勾配方向θを算出する。
【００４１】
部分画像における各画素の輝度勾配方向θを算出した後、評価値決定部１１は、その算出した輝度勾配方向θを量子化する（ステップＳ２）。
【００４２】
図９は、評価値決定部１１による輝度勾配方向θの量子化方法の一例を説明する図である。
【００４３】
図９（Ａ）で示すように、評価値決定部１１は、輝度勾配方向θが０度以上４５度未満の場合に輝度勾配方向を値「０」に変換する。同様に、評価値決定部１１は、輝度勾配方向θが４５度以上９０度未満、９０度以上１３５度未満、１３５度以上１８０度未満、１８０度以上２２５度未満、２２５度以上２７０度未満、２７０度以上３１５度未満、３１５度以上３６０度未満の場合に、輝度勾配方向をそれぞれ値「１」、値「２」、値「３」、値「４」、値「５」、値「６」、値「７」に変換する。図９（Ｂ）は、量子化の結果の一例を示し、図８（Ｂ）に対応する。
【００４４】
このようにして、評価値決定部１１は、特定の検査点に対応する画素を中心画素とする部分画像における各画素の輝度勾配方向θを量子化する。
【００４５】
輝度勾配方向θを量子化した後、評価値決定部１１は、その量子化した輝度勾配方向の値のヒストグラムを作成する（ステップＳ３）。
【００４６】
図１０は、評価値決定部１１による輝度勾配方向の値のヒストグラムの作成方法の一例を説明する図である。なお、図１０（Ａ）の部分画像２ａＲ１は、図９（Ａ）の部分画像２ａＲ１に対応する。
【００４７】
図１０（Ａ）で示すように、評価値決定部１１は、部分画像２ａＲ１を、中心画素２ａＰ１を含む列より左側にある４列で構成される左側領域と、中心画素２ａＰ１を含む１列、及び中心画素２ａＰ１を含む列より右側にある４列で構成される右側領域とに分割する。
【００４８】
その上で、評価値決定部１１は、左側領域に含まれる各画素の輝度勾配方向の値の出現頻度を「０」〜「７」の値毎に計数する。同様に、評価値決定部１１は、右側領域に含まれる各画素の輝度勾配方向の値の出現頻度を「０」〜「７」の値毎に計数する。
【００４９】
図１０（Ｂ）は、左側領域に関する「０」〜「７」の値と右側領域に関する「０」〜「７」の値とで構成される１６種類（次元）の値のそれぞれの出現頻度の分布を示すヒストグラムの一例である。
【００５０】
このようにして、評価値決定部１１は、特定の検査点に対応する画素を中心画素とする部分画像の特徴を表すヒストグラムを作成する。
【００５１】
特定の検査点に関連する複数の部分画像のそれぞれの特徴を表すヒストグラムを作成した後、評価値決定部１１は、その特定の検査点に関する評価値ＣＧＲＡを決定する（ステップＳ４）。
【００５２】
具体的には、評価値決定部１１は、検査点ＩＰ１に関連する、カメラ２ａが撮像したカメラ画像２ａＲにおける部分画像２ａＲ１の特徴を表すヒストグラムと、同じく検査点ＩＰ１に関連する、カメラ２ｂが撮像したカメラ画像２ｂＲにおける部分画像２ｂＲ１の特徴を表すヒストグラムとに基づいて、検査点ＩＰ１に関する評価値ＣＧＲＡを決定する。
【００５３】
評価値ＣＧＲＡは、例えば、以下の式で表されるようなヒストグラム同士の各要素の強度差に基づく評価値が採用される。
【００５４】
【数４】
なお、Ｋは次元数を表し、本実施例では、輝度勾配方向の値の種類の数に相当する「１６」である。また、Ｉｇ（ｋ）は、一方の部分画像におけるｋ次元目の値を表し、例えば、Ｉｇ（１）は、部分画像２ａＲ１における輝度勾配方向の値「０」の出現頻度（１次元目の値）を表す。また、Ｔｇ（ｋ）は、他方の部分画像におけるｋ次元目の値を表し、例えば、Ｔｇ（１）は、部分画像２ｂＲ１における輝度勾配方向の値「０」の出現頻度（１次元目の値）を表す。
【００５５】
この場合、検査点ＩＰ１に関する評価値ＣＧＲＡが小さい程２つの部分画像２ａＲ１、２ｂＲ１の類似度が高く、その評価値ＣＧＲＡが大きい程２つの部分画像２ａＲ１、２ｂＲ１の類似度が低い。なお、評価値ＣＧＲＡの大小と類似度の高低との関係は、評価値ＣＧＲＡの計算方法によっては反対となり得る。
【００５６】
また、特定の検査点に関連する部分画像が３つ以上存在する場合、すなわち撮像部２が３つ以上のカメラで構成される場合には、評価値決定部１１は、それら３つ以上の部分画像のうちの２つの間の評価値ＣＧＲＡを全ての組み合わせについて算出した上で、算出した複数の評価値ＣＧＲＡに基づいて最終的な評価値ＣＧＲＡを導き出すようにする。この場合、評価値決定部１１は、例えば、複数の評価値ＣＧＲＡの統計値（平均値、最大値、最小値、中間値等である。）を最終的な評価値ＣＧＲＡとして導き出してもよい。
【００５７】
このようにして、評価値決定部１１は、特定の検査点に対応する画素を中心画素とする、互いに対応する部分画像の類似度に基づいて、その特定の検査点に関する評価値ＣＧＲＡを決定する。
【００５８】
また、評価値決定部１１は、予め設定された複数の検査点のそれぞれについて、上述の評価値決定処理を実行し、予め設定された複数の検査点のそれぞれに関する評価値ＣＧＲＡを決定する。
【００５９】
物体存否判定部１２は、評価値決定部１１が決定する、複数の検査点のそれぞれに関する評価値ＣＧＲＡに基づいて物体の存否を判定する機能要素である。
【００６０】
図１１〜図１３は、１６個の検査点ＩＰ１〜ＩＰ１６のそれぞれに関する評価値ＣＧＲＡの分布を示す図である。
【００６１】
図１１〜図１３において、カメラ２ａ、２ｂは、床面から５００ｍｍの高さに設置される。また、測定ラインＶＬは、床面からの高さが５００ｍｍの平面上で、カメラ２ａとカメラ２ｂとを結ぶ線分の中点ＭＰを通り、カメラ２ａ、２ｂの光軸方向に平行に伸びる。また、１６個の検査点ＩＰ１〜ＩＰ１６は、測定ラインＶＬ上に２５０ｍｍ間隔に配置され、中点ＭＰとの距離が最も小さい検査点ＩＰ１は、中点ＭＰから１０００ｍｍの地点に配置される。また、検出対象５０はヘルメットであり、図１１では中点ＭＰから１５００ｍｍの地点に配置され、図１２では中点ＭＰから２２５０ｍｍの地点に配置され、図１３では中点ＭＰから３０００ｍｍの地点に配置される。
【００６２】
図１１のケースでは、物体存否判定部１２は、測定ラインＶＬ上に並ぶ検査点ＩＰ１〜ＩＰ１６のそれぞれに関する評価値ＣＧＲＡの分布ら、中点ＭＰから１５００ｍｍの地点に対応する検査点ＩＰ３に関する評価値ＣＧＲＡが極値（最小値）であると判断する。そして、物体存否判定部１２は、中点ＭＰから１５００ｍｍの地点に検出対象５０が存在すると判定する。また、図１２のケースでは、物体存否判定部１２は、中点ＭＰから２２５０ｍｍの地点に対応する検査点ＩＰ６に関する評価値ＣＧＲＡが極値（最小値）であると判断し、中点ＭＰから２２５０ｍｍの地点に検出対象５０が存在すると判定する。同様に、図１３のケースでは、物体存否判定部１２は、中点ＭＰから３０００ｍｍの地点に対応する検査点ＩＰ９に関する評価値ＣＧＲＡが極値（最小値）であると判断し、中点ＭＰから３０００ｍｍの地点に検出対象５０が存在すると判定する。
【００６３】
このようにして、物体存否判定部１２は、複数の評価値ＣＧＲＡから極値（最小値）を抽出し、その極値となる評価値ＣＧＲＡを有する検査点（以下、「採用点」と称する。）の位置に物体が存在すると判定する。
【００６４】
この判定は、物体が存在する地点に対応する検査点に関する部分画像間の類似度が比較的高くなる一方で、物体が存在しない地点に対応する検査点に関する部分画像間の類似度が比較的低くなるという事実に基づく。物体が存在する地点に対応する検査点に関する、カメラ２ａによる部分画像とカメラ２ｂによる部分画像とは、その物体を共通の被写体として含むのに対し、物体が存在しない地点に対応する検査点に関する、カメラ２ａによる部分画像とカメラ２ｂによる部分画像とは、別々の物体（互いに異なる地点に存在するより遠方の物体）を被写体として含み得るためである。
【００６５】
また、物体存否判定部１２は、複数の評価値ＣＧＲＡの分布に基づいて物体の存否を判定してもよい。
【００６６】
具体的には、物体存否判定部１２は、採用点の評価値ＣＧＲＡと採用点の周囲にある検査点の評価値ＣＧＲＡとの間の関係に基づいて物体の存否を判定してもよい。この場合、採用点の周囲にある検査点の評価値ＣＧＲＡは、例えば、採用点に隣接する複数の検査点の評価値ＣＧＲＡの平均値、最大値、最小値、中間値等である。
【００６７】
例えば、物体存否判定部１２は、採用点の評価値ＣＧＲＡと採用点の周囲にある検査点の評価値ＣＧＲＡとの間の差が所定値以上の場合に限り、採用点の位置に物体が存在すると判定してもよい。すなわち、物体存否判定部１２は、その差が所定値未満の場合には、採用点の位置に物体が存在しないと判定してもよい。検査点の位置に物体が存在しない場合であっても、背景の輝度が均一な場合、その評価値ＣＧＲＡは、物体が存在する場合と同じ程度に低くなるためである。また、物体が存在する場合には特定の１つの検査点の評価値ＣＧＲＡが低くなり易いのに対し、物体が存在せず且つ背景の輝度が均一な場合には、隣接する複数の検査点の評価値ＣＧＲＡが一様に低くなり易いためである。
【００６８】
また、物体検出装置１００は、物体存否判定部１２の判定結果を表示部３及び音声出力部４を通じて操作者に伝えるようにする。
【００６９】
具体的には、物体検出装置１００は、カメラ２ａ、２ｂの何れか一方が撮像した画像を表示部３に表示し、物体存否判定部１２により物体が存在すると判定された位置に対応する採用点の周囲の画像領域を他の画像領域と異ならせて表示する。例えば、物体検出装置１００は、採用点の周囲の画像領域の色を他の画像領域の色と異ならせて表示する。
【００７０】
また、物体検出装置１００は、例えば、音声出力部４を通じて警報を出力したり、「Ｘメートルの地点に物体が存在します」といった音声メッセージを音声出力部４から出力したりする。
【００７１】
次に、図１４を参照しながら、物体検出装置１００が物体を検出する処理（以下、「物体検出処理」とする。）の流れについて説明する。なお、図１４は、物体検出処理の流れを示すフローチャートであり、物体検出装置１００は、所定周期で繰り返しこの物体検出処理を実行する。また、測定ラインＶＬは、検出対象の物体が存在する可能性の高い空間領域を横切るように予め設定される。検査点は、測定ラインＶＬ上に等間隔に所定数だけ予め配置される。また、撮像部２は、２台のカメラ２ａ、２ｂで構成され、カメラ２ａ、２ｂは、カメラ画像２ａＲ、２ｂＲを制御部１に対して出力する。
【００７２】
最初に、物体検出装置１００の制御部１は、部分画像抽出部１０により、複数の検査点のうちの１つに対応する画素を中心画素とする部分画像を、カメラ画像２ａＲ、２ｂＲのそれぞれから抽出する（ステップＳ１１）。
【００７３】
その後、制御部１は、評価値決定部１１により、上述の評価値決定処理を実行し、その検査点に関する評価値ＣＧＲＡを決定する（ステップＳ１２）。
【００７４】
その後、制御部１は、予め設定された全ての検査点に関する評価値ＣＧＲＡを決定したか否かを判定する（ステップＳ１３）。
【００７５】
予め設定された全ての検査点に関する評価値ＣＧＲＡを未だ決定していないと判定した場合（ステップＳ１３のＮＯ）、制御部１は、評価値ＣＧＲＡが未だ決定されていない検査点に関してステップＳ１１及びステップＳ１２を実行する。
【００７６】
予め設定された全ての検査点に関する評価値ＣＧＲＡを決定したと判定した場合（ステップＳ１３のＹＥＳ）、制御部１は、物体存否判定部１２により、全ての検査点に関する評価値ＣＧＲＡの分布に基づいて物体の存否を判定する（ステップＳ１４）。
【００７７】
なお、本実施例では、物体検出装置１００は、１本の測定ラインＶＬ上に配置された複数の検査点のそれぞれに関する評価値ＣＧＲＡの分布に基づいて、その１本の測定ラインＶＬが通る空間における物体の存否を判定する。しかしながら、本発明は、これに限定されない。物体検出装置１００は、複数本の測定ラインのそれぞれに配置された複数の検査点のそれぞれに関する評価値ＣＧＲＡの分布に基づいて、測定ライン毎に物体の存否を判定してもよい。
【００７８】
以上の構成により、物体検出装置１００は、特定の検査点に対応する画素を中心画素とする、複数のカメラ画像のそれぞれにおける部分画像間の類似度に基づく評価値を用いて物体の存否を判定する。その結果、物体検出装置１００は、エッジ検出等の画像処理により特徴点を見つけ出す必要なく物体の存否を判定することができ、物体の存否を判定するのに必要な演算コストを低減させることができる。
【００７９】
また、物体検出装置１００は、検査点の位置を任意に設定可能とするので、測定範囲を必要最小限に制限することができ、物体の存否を判定するのに必要な演算コストを更に低減させることができる。
【００８０】
また、物体検出装置１００は、検査点の位置を任意に設定可能とするので、特定領域の物体検出の分解能を高めることができる。
【００８１】
次に、図１５〜図１９を参照しながら、物体検出装置１００が移動体としてのショベル６０に搭載される場合の測定ライン及び検査点の配置について説明する。
【００８２】
図１５は、物体検出装置１００が搭載されるショベル６０の構成例を示す図であり、図１５（Ａ）がショベル６０の側面図を示し、図１５（Ｂ）がショベル６０の上面図を示す。
【００８３】
ショベル６０は、クローラ式の下部走行体６１の上に、旋回機構６２を介して、上部旋回体６３を旋回軸ＰＶの周りで旋回自在に搭載している。
【００８４】
また、上部旋回体６３は、その前方左側部にキャブ（運転室）６４を備え、その前方中央部に掘削アタッチメントＥを備え、その後面に撮像部２を備える。なお、キャブ６４内の運転者が視認し易い位置には表示部３が設置される。また、キャブ６４内には、制御部１、音声出力部４、及び動作状態検出部６５が設置される。
【００８５】
動作状態検出部６５は、ショベル６０の動作状態を検出する機能要素であり、検出結果を制御部１に対して出力する。動作状態検出部６５は、例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ、ＮＶＲＡＭ等を備えたコンピュータであり、制御部１に統合されてもよい。
【００８６】
動作状態検出部６５は、例えば、図示しない操作レバーの出力に基づいてショベル６０の動作状態を検出する。ショベル６０の動作状態は、停止状態、前進状態、後進状態、左旋回状態、右旋回状態、掘削アタッチメント伸長状態、掘削アタッチメント短縮状態等を含む。
【００８７】
また、動作状態検出部６５は、旋回機構６２の旋回速度を検出するリゾルバ、掘削アタッチメントＥの姿勢を検出する角度センサ、下部走行体６１の移動速度を検出する速度センサ等の出力に基づいてショベル６０の動作状態を検出してもよい。
【００８８】
図１６は、ショベル６０に搭載される物体検出装置１００が採用する測定ラインの配置の一例を示す図である。図１６では、７本の測定ラインＶＬａ〜ＶＬｇが配置され、７本の測定ラインＶＬａ〜ＶＬｇのそれぞれには、４つの検査点が等間隔に配置される。なお、４つの検査点は、不等間隔に配置されてもよい。
【００８９】
具体的には、測定ラインＶＬａ上には４つの検査点ＩＰａ１〜ＩＰａ４が配置され、測定ラインＶＬｂ上には４つの検査点ＩＰｂ１〜ＩＰｂ４が配置され、測定ラインＶＬｃ上には４つの検査点ＩＰｃ１〜ＩＰｃ４が配置される。また、測定ラインＶＬｄ上には４つの検査点ＩＰｄ１〜ＩＰｄ４が配置され、測定ラインＶＬｅ上には４つの検査点ＩＰｅ１〜ＩＰｅ４が配置され、測定ラインＶＬｆ上には４つの検査点ＩＰｆ１〜ＩＰｆ４が配置され、測定ラインＶＬｇ上には４つの検査点ＩＰｇ１〜ＩＰｇ４が配置される。
【００９０】
物体検出装置１００は、７本の測定ラインＶＬａ〜ＶＬｆのそれぞれに配置された４つの検査点のそれぞれに関する評価値ＣＧＲＡの分布に基づいて、測定ライン毎に物体の存否を判定する。
【００９１】
７本の測定ラインＶＬａ〜ＶＬｇは、ショベル６０の上部旋回体６３の後部を中心として、ショベル６０の後方に放射状に伸び、隣接する２本の測定ラインの間の角度が等しくなるように配置される。なお、隣接する２本の測定ラインの間の角度は、異なるものであってもよい。また、７本の測定ラインＶＬａ〜ＶＬｇは、水平面に平行に伸び、検出対象に応じて地面からの高さが決定される。
【００９２】
７本の測定ラインＶＬａ〜ＶＬｇのこの配置により、物体検出装置１００は、ショベル６０の後方の様々な方向に存在する物体を検出することができる。また、この配置により、測定ライン上に等間隔に配置される検査点の配置密度は、ショベル６０に近いほど密となる。したがって、この配置は、ショベル６０の操作者の死角となるショベル６０の後方に存在する物体の検出を可能にし、且つ、ショベル６０に近い程より詳細な物体の検出を可能にする。
【００９３】
また、７本の測定ラインＶＬａ〜ＶＬｇは、上部旋回体６３を基準とする座標系で定義されているので、測定ラインＶＬａ〜ＶＬｇ上の各検査点は、上部旋回体６３に固定された撮像部２の動きとともに、すなわち、ショベル６０の前後進、又は、上部旋回体６３の旋回とともに移動する。その結果、物体検出装置１００は、ショベル６０の前後進、又は、上部旋回体６３の旋回にかかわらず、常に、上部旋回体６３の後方に存在する物体を検出できる。
【００９４】
図１７は、ショベル６０に搭載される物体検出装置１００の検出結果を表示する検出結果表示画面Ｄ１の一例である。物体検出装置１００は、表示部３に検出結果を出力し、表示部３上に検出結果表示画面Ｄ１を表示させる。
【００９５】
検出結果表示画面Ｄ１は、ショベル６０の位置を表すＣＧ（Computer Graphics）画像７０を画面中央上部に表示する。なお、ＣＧ画像７０は、ショベル６０の掘削アタッチメントＥに相当する画像部分が画面上方向を向くように配置される。
【００９６】
図１７では、検出結果表示画面Ｄ１は、図１６で示された、測定ラインＶＬａ上の検査点ＩＰａ３、測定ラインＶＬｂ上の検査点ＩＰｂ４、測定ラインＶＬｃ上の検査点ＩＰｃ３、測定ラインＶＬｄ上の検査点ＩＰｄ３、及び測定ラインＶＬｆ上の検査点ＩＰｆ４で物体が存在すると判定され、測定ラインＶＬｅ及び測定ラインＶＬｇ上で物体が存在しないと判定された場合の状態を示す。
【００９７】
図１７で示すように、物体検出装置１００は、物体が存在すると判定された地点の画像部分に円形のマークを重畳表示する。物体の存在を操作者に伝えるためである。なお、物体検出装置１００は、物体が存在すると判定された地点の画像部分の色を変えたり、点滅させたりする等の他の表示方法により、物体の存在を操作者に伝えるようにしてもよい。このようにして、物体検出装置１００は、撮像部２を用いた物体の存否の判定結果を操作者に分かり易く認識させることができる。
【００９８】
図１８は、ショベル６０に搭載される物体検出装置１００が採用する測定ラインの配置の別の例を示す図である。図１８では、４本の測定ラインＶＬｈ〜ＶＬｋが配置され、４本の測定ラインＶＬｈ〜ＶＬｋのそれぞれには、５つの検査点が等間隔に配置される。なお、５つの検査点は、不等間隔に配置されてもよい。
【００９９】
具体的には、測定ラインＶＬｈ上には５つの検査点ＩＰｈ１〜ＩＰｈ５が配置され、測定ラインＶＬｉ上には５つの検査点ＩＰｉ１〜ＩＰｉ５が配置され、測定ラインＶＬｊ上には５つの検査点ＩＰｊ１〜ＩＰｊ５が配置され、測定ラインＶＬｋ上には５つの検査点ＩＰｋ１〜ＩＰｋ５が配置される。
【０１００】
物体検出装置１００は、４本の測定ラインＶＬｈ〜ＶＬｋのそれぞれに配置された５つの検査点のそれぞれに関する評価値ＣＧＲＡの分布に基づいて、測定ライン毎に物体の存否を判定する。
【０１０１】
４本の測定ラインＶＬｈ〜ＶＬｋは、ショベル６０の後方において、ショベル６０の上部旋回体６３の側部端面（撮像部２の光軸）に平行に伸びる。また、４本の測定ラインＶＬｈ〜ＶＬｋは、水平面に平行に伸び、検出対象に応じて地面からの高さが決定される。なお、４本の測定ラインＶＬｈ〜ＶＬｋは、ショベル６０の後方において、ショベル６０の上部旋回体６３の後端面に平行に伸びるものであってもよい。
【０１０２】
４本の測定ラインＶＬｈ〜ＶＬｋのこの配置により、測定ライン上に等間隔に配置される検査点の配置密度は、ショベル６０からの距離にかかわらず一定となる。したがって、４本の測定ラインＶＬｈ〜ＶＬｋのこの配置は、ショベル６０の操作者の死角となるショベル６０の後方に存在する物体の検出を可能にし、且つ、ショベル６０から比較的離れた地点に存在する物体を、ショベル６０に比較的近い地点に存在する物体を検出する場合と同様の分解能で検出できるようにする。
【０１０３】
図１９は、ショベル６０に搭載される物体検出装置１００が採用する測定ラインの配置のさらに別の例を示す図である。図１９では、５本の測定ラインＶＬｖ〜ＶＬｚが配置され、５本の測定ラインＶＬｖ〜ＶＬｚのそれぞれには、４つの検査点が等間隔に配置される。なお、４つの検査点は、不等間隔に配置されてもよい。
【０１０４】
物体検出装置１００は、５本の測定ラインＶＬｖ〜ＶＬｚのそれぞれに配置された４つの検査点のそれぞれに関する評価値ＣＧＲＡの分布に基づいて、測定ライン毎に物体の存否を判定する。
【０１０５】
５本の測定ラインＶＬｖ〜ＶＬｚは、ショベル６０の上部旋回体６３の後部を中心として、ショベル６０の後方に放射状に伸び、隣接する２本の測定ラインの間の角度が等しくなるように配置される。なお、隣接する２本の測定ラインの間の角度は、異なるものであってもよい。また、５本の測定ラインＶＬｖ〜ＶＬｚは、１つの鉛直面上に配置される。
【０１０６】
５本の測定ラインＶＬｖ〜ＶＬｚのこの配置により、物体検出装置１００は、ショベル６０の後方に存在する様々な高さの物体を検出することができる。また、この配置により、測定ライン上に等間隔に配置される検査点の配置密度は、ショベル６０に近いほど密となる。したがって、この配置は、ショベル６０の操作者の死角となるショベル６０の後方に存在する物体の検出を可能にし、且つ、ショベル６０に近い程より詳細な物体の検出を可能にする。
【０１０７】
また、５本の測定ラインＶＬｖ〜ＶＬｚは、上部旋回体６３を基準とする座標系で定義されているので、測定ラインＶＬｖ〜ＶＬｚ上の各検査点は、上部旋回体６３に固定された撮像部２の動きとともに、すなわち、ショベル６０の前後進、又は、上部旋回体６３の旋回とともに移動する。その結果、物体検出装置１００は、ショベル６０の前後進、又は、上部旋回体６３の旋回にかかわらず、常に、上部旋回体６３の後方に存在する物体を検出できる。
【０１０８】
なお、物体検出装置１００を搭載するショベル６０に関する上述の実施例では、水平方向に放射状に伸びる複数本の測定ラインと、垂直方向に放射状に伸びる複数本の測定ラインとを別々に説明したが、これらの測定ラインは、組み合わせて配置されてもよい。その場合、測定ラインは、例えば、立体的に放射状に伸びるように配置され得る。
【０１０９】
また、上述の実施例では、撮像部２は、上部旋回体６３の後部に取り付けられ、測定ラインは、ショベル６０の後方にある物体を検出するのに適した配置となっている。しかしながら、本発明はこれに限定されない。例えば、撮像部２は、追加的に或いは代替的に、上部旋回体６３の側部の一方又は双方に取り付けられていてもよい。その場合、測定ラインは、上部旋回体６３の側方にある物体を検出するのに適した配置となり、例えば、上部旋回体６３の側方に放射状に伸びるように配置される。
【０１１０】
また、上述の実施例では、物体検出装置１００は、旋回機構６２を備えたショベル６０に搭載され、撮像部２が下部走行体６１とともに前後進し、且つ、上部旋回体６３とともに旋回する。しかしながら、本発明は、これに限定されない。例えば、撮像部２は、下部走行体６１とともに前後進するが、上部旋回体６３とともに旋回しないように取り付けられていてもよい。この場合、物体検出装置１００は、上部旋回体６３の旋回にかかわらず、常に、下部走行体６１の後方に存在する物体を検出できる。また、物体検出装置１００は、旋回機構を持たない車両等の移動体に搭載されてもよく、移動方向が限定される移動体に搭載されてもよい。
【０１１１】
次に、図２０を参照しながら、ショベル６０に搭載される物体検出装置１００が採用する測定ラインがショベル６０の動作状態に応じて動的に設定される例について説明する。なお、図２０は、活性状態・非活性状態が切り換え可能な測定ラインの配置例を示す図である。
【０１１２】
図２０において、ショベル６０は、上部旋回体６３の右側部に撮像部２Ｒを備え、上部旋回体６３の左側部に撮像部２Ｌを備え、上部旋回体６３の後部に撮像部２Ｂを備える。撮像部２Ｒは、２つのカメラ２Ｒａ、２Ｒｂで構成される。同様に、撮像部２Ｌは、２つのカメラ２Ｌａ、２Ｌｂで構成され、撮像部２Ｂは、２つのカメラ２Ｂａ、２Ｂｂで構成される。
【０１１３】
図２０で示すように、物体検出装置１００は、上部旋回体６３の旋回中心から平面的又は立体的に放射状に伸びる複数の測定ラインを予め設定する。なお、図２０において破線で表されるこれら複数の測定ラインは、個別に活性状態・非活性状態の切り換えが可能であることを示す。
【０１１４】
「測定ラインを活性状態にする」とは、その測定ラインが通る空間を物体検出処理の対象とすることを意味する。すなわち、物体検出装置１００は、その測定ライン上の検査点のそれぞれに関する評価値を算出してその測定ライン上にある物体の存否を判定する。具体的には、物体検出装置１００は、各検査点の検査点情報に活性状態・非活性状態を表す活性状態フラグを用意する。そして、物体検出装置１００は、活性状態にしようとする測定ライン上にある検査点のそれぞれに関するこの活性状態フラグを活性状態（例えば、値「１」である。）に切り換えることによって、その測定ラインを活性状態にする。なお、検査点情報は、制御部１のＮＶＲＡＭ等に予め記憶される情報であり、三次元空間における検査点に対応するカメラ座標系上の座標点に関する情報を含む。
【０１１５】
一方、「測定ラインを非活性状態にする」とは、その測定ラインが通る空間を物体検出処理の対象としないことを意味する。すなわち、物体検出装置１００は、その測定ライン上の検査点に関する評価値の算出を省略し、その測定ライン上にある物体の存否を判定しない。具体的には、物体検出装置１００は、非活性状態にしようとする測定ライン上にある検査点のそれぞれに関する活性状態フラグの値を値「０」に切り換えることによって、その測定ラインを非活性状態にする。
【０１１６】
このような構成により、物体検出装置１００は、動作状態検出部６５が検出するショベル６０の動作状態に応じて複数の測定ラインのそれぞれの活性状態・非活性状態を切り換える。
【０１１７】
なお、物体検出装置１００は、複数の測定ラインのそれぞれに配置される複数の検査点の活性状態・非活性状態を個別に切り換えるようにしてもよい。
【０１１８】
図２１は、ショベル６０の動作状態に応じて動的に設定される測定ラインの例を示す図である。
【０１１９】
図２１（Ａ）は、ショベル６０が停止状態のときに活性状態となる測定ラインの配置例であり、上部旋回体６３の旋回中心から、約３６度の角度間隔で側方及び後方の約２１６度の角度範囲に放射状に伸びる７本の測定ラインを示す。
【０１２０】
物体検出装置１００は、動作状態検出部６５によりショベル６０が停止状態にあると判断すると、７本の測定ラインのそれぞれに配置された検査点に関する評価値ＣＧＲＡを決定し、決定した評価値ＣＧＲＡの分布に基づいて、測定ライン毎に物体の存否を判定する。なお、所定時間毎に非活性状態の測定ラインと活性状態の測定ラインとを順次切り換えるようにして一回の処理の対象とする７本の測定ラインを決定し、時分割で全ての測定ラインを巡回して判定を行うようにしてもよい。
【０１２１】
このように、物体検出装置１００は、ショベル６０が停止状態にある場合には、比較的大きな角度間隔（約３６度間隔）で測定ラインを配置し、ショベル６０の側方及び後方の比較的広い角度範囲（約２１６度）を対象として物体検出処理を実行する。その結果、物体検出装置１００は、物体検出処理に要する演算コストを抑制しながら、広範囲の監視を実行できる。
【０１２２】
図２１（Ｂ）は、ショベル６０が後進状態のときに活性状態となる測定ラインの配置例であり、上部旋回体６３の旋回中心から、約１８度の角度間隔で後方の約７２度の角度範囲に放射状に伸びる５本の測定ラインを示す。
【０１２３】
物体検出装置１００は、動作状態検出部６５によりショベル６０が後進状態にあると判断すると、５本の測定ラインのそれぞれに配置された検査点に関する評価値ＣＧＲＡを決定し、決定した評価値ＣＧＲＡの分布に基づいて、測定ライン毎に物体の存否を判定する。
【０１２４】
このように、物体検出装置１００は、ショベル６０が後進状態にある場合には、停止状態のときに比べ比較的小さな角度間隔（約１８度間隔）で測定ラインを配置し、ショベル６０の後方の比較的狭い角度範囲（約７２度）を対象として物体検出処理を実行する。その結果、物体検出装置１００は、物体検出処理に要する演算コストを抑制しながら、ショベル６０が到達可能な後方の空間領域を重点的に監視することができる。
【０１２５】
図２１（Ｃ）は、図２１（Ｂ）の状態に比べショベル６０が比較的高速で後進するときに活性状態となる測定ラインの配置例であり、上部旋回体６３の旋回中心から、約１８度の角度間隔で後方の約７２度の角度範囲に放射状に伸びる５本の測定ラインを示す。また、図２１（Ｃ）は、各測定ライン上に配置される検査点の間隔が、図２１（Ｂ）の場合に比べて大きいことを示す。
【０１２６】
物体検出装置１００は、動作状態検出部６５によりショベル６０の後進速度が所定速度以上に達したと判断すると、５本の測定ラインのそれぞれに配置された検査点の間隔を図２１（Ｂ）の状態から図２１（Ｃ）の状態に拡大する。その後、物体検出装置１００は、５本の測定ラインのそれぞれに配置された検査点に関する評価値ＣＧＲＡを決定し、決定した評価値ＣＧＲＡの分布に基づいて、測定ライン毎に物体の存否を判定する。
【０１２７】
このように、物体検出装置１００は、ショベル６０が所定速度以上の後進状態にある場合には、所定速度未満の後進状態のときと同じ角度範囲を対象としながら、検査点の間隔を拡大して物体検出処理を実行する。その結果、物体検出装置１００は、物体検出処理に要する演算コストを増大させることなく、ショベル６０が到達可能な後方のより遠方の空間領域をも監視することができる。
【０１２８】
図２１（Ｄ）は、ショベル６０が右旋回状態のときに活性状態となる測定ラインの配置例であり、上部旋回体６３の旋回中心から、約１８度の角度間隔で旋回中心に対し右斜め前方の約３６度の角度範囲に放射状に伸びる３本の測定ラインと、旋回中心に対し左斜め後方に伸びる２本の測定ラインとを示す。
【０１２９】
物体検出装置１００は、動作状態検出部６５によりショベル６０が右旋回状態にあると判断すると、５本の測定ラインのそれぞれに配置された検査点に関する評価値ＣＧＲＡを決定し、決定した評価値ＣＧＲＡの分布に基づいて、測定ライン毎に物体の存否を判定する。
【０１３０】
このように、物体検出装置１００は、ショベル６０が右旋回状態にある場合には、停止状態のときに比べ比較的小さな角度間隔（約１８度間隔）で測定ラインを配置する。また、物体検出装置１００は、掘削アタッチメントＥの旋回方向（時計回り方向）にある比較的狭い角度範囲（約３６度）と、上部旋回体６３の後部（カウンタウェイト部）の旋回方向（時計回り方向）にある比較的狭い角度範囲（約１８度）とを対象として物体検出処理を実行する。その結果、物体検出装置１００は、物体検出処理に要する演算コストを抑制しながら、旋回する掘削アタッチメントＥ及びカウンタウェイト部のそれぞれが到達可能な空間領域を重点的に監視することができる。
【０１３１】
図２１（Ｅ）は、図２１（Ｄ）の状態に比べ掘削アタッチメントＥが短縮された状態（例えば、ブームが上昇させられ、アームが閉じられ、バケットが閉じられた状態である。）でショベル６０が右旋回するときに活性状態となる測定ラインの配置例を示す。また、図２１（Ｅ）は、上部旋回体６３の旋回中心から、約１８度の角度間隔で旋回中心に対し右斜め前方の約３６度の角度範囲に放射状に伸びる３本の測定ラインと、旋回中心に対し左斜め後方に伸びる２本の測定ラインとを示す。また、図２１（Ｅ）は、旋回中心に対し右斜め前方の約３６度の角度範囲に放射状に伸びる３本の測定ライン上に配置される検査点の間隔が、図２１（Ｄ）の場合に比べて小さいことを示す。
【０１３２】
物体検出装置１００は、動作状態検出部６５により掘削アタッチメントＥの旋回半径が所定値未満の状態で右旋回が開始されたと判断すると、その３本の測定ラインのそれぞれに配置された検査点の間隔を図２１（Ｄ）の状態から図２１（Ｅ）の状態に縮小する。その後、物体検出装置１００は、３本の測定ラインのそれぞれに配置された検査点に関する評価値ＣＧＲＡを決定し、決定した評価値ＣＧＲＡの分布に基づいて、測定ライン毎に物体の存否を判定する。
【０１３３】
このように、物体検出装置１００は、掘削アタッチメントＥの旋回半径が所定値未満の状態で右旋回が開始された場合には、所定値以上の旋回半径で右旋回が開始されたときと同じ角度範囲を対象としながら、検査点の間隔を縮小して物体検出処理を実行する。その結果、物体検出装置１００は、物体検出処理に要する演算コストを増大させることなく、旋回する掘削アタッチメントＥが到達可能な空間領域をより効率的に監視することができる。
【０１３４】
図２１（Ｆ）は、ショベル６０が左旋回状態のときに活性状態となる測定ラインの配置例であり、図２１（Ｄ）に対応する。また、図２１（Ｇ）は、図２１（Ｆ）の状態に比べ掘削アタッチメントＥが短縮された状態でショベル６０が左旋回するときに活性状態となる測定ラインの配置例であり、図２１（Ｅ）に対応する。図２１（Ｄ）と図２１（Ｆ）との間の違いは、旋回方向のみであるため、説明を省略する。図２１（Ｅ）と図２１（Ｇ）との間の違いについても同様である。
【０１３５】
また、物体検出装置１００は、図２１（Ｄ）〜図２１（Ｇ）に示すように掘削アタッチメントＥの伸縮状態に応じて測定ラインや検査点の配置を変更することに代えて或いは加えて、上部旋回体６３の旋回速度に応じて測定ラインや検査点の配置を変更してもよい。例えば、物体検出装置１００は、上部旋回体６３の旋回速度が大きい程、測定ライン間の角度間隔を大きくし、より広い角度範囲を監視するようにしてもよい。
【０１３６】
図２１（Ｈ）は、ショベル６０が後進状態のときに活性状態となる測定ラインの別の配置例を示す。図２１（Ｈ）の配置は、図２０に示す測定ラインの基本配置（放射状配置）とは異なる配置（格子状配置）を用いて形成され、図２１（Ｂ）に示す配置の代わりに採用され得る。また、図２１（Ｉ）は、図２１（Ｈ）の状態に比べショベル６０が比較的高速で後進するときの測定ラインの配置例であり、図２１（Ｃ）に示す配置の代わりに採用され得る。なお、図２１（Ｉ）の配置は、各測定ライン上に配置される検査点の間隔が、図２１（Ｈ）の場合に比べて大きいことを示す。
【０１３７】
このように、物体検出装置１００は、複数の測定ラインが放射状に配置される場合と同様、複数の測定ラインが平行に配置される場合であっても、ショベル６０が所定速度以上の後進状態にある場合には、検査点の間隔を拡大して物体検出処理を実行する。その結果、物体検出装置１００は、物体検出処理に要する演算コストを増大させることなく、ショベル６０が到達可能な後方のより遠方の空間領域をも監視することができる。また、物体検出装置１００は、測定ラインが放射状に配置される場合と比べ、測定ラインが平行に配置される場合には、ショベル６０から比較的離れた地点に存在する物体を、ショベル６０に比較的近い地点に存在する物体を検出する場合と同様の分解能で検出することができる。
【０１３８】
なお、上述の実施例において、物体検出装置１００は、個別に活性状態・非活性状態の切り換えが可能な検査点のカメラ座標系における座標点を予め記憶し、それら検査点の活性状態・非活性状態を切り換えることによって、測定ラインを動的に設定する。しかしながら、本発明はこれに限定されない。例えば、物体検出装置１００は、検査点を動的に設定しながら、すなわち、検査点に対応するカメラ座標系上の座標点を動的に設定しながら、測定ラインを動的に設定してもよい。
【０１３９】
以上の構成により、物体検出装置１００は、ショベル６０の動作状態に応じて動的に測定ライン及び検査点の配置を切り換えるので、動作状態によっては物体の存否を判定する必要のない範囲を測定範囲から適切に除外することができ、物体検出処理に要する演算コストを更に低減させることができる。
【０１４０】
また、物体検出装置１００は、動作状態によっては物体の存否を判定する必要のない範囲を測定範囲から除外することで低減させた演算コストを、物体の存否を判定する必要のある範囲をより詳細に監視するために利用することにより、演算コストを増大させることなく検出範囲の分解能を高めることができる。
【０１４１】
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。
【０１４２】
例えば、上述の実施例において、物体検出装置１００は、評価値ＣＧＲＡとしてヒストグラム同士の各要素の強度差に基づく評価値を採用するが、輝度差の二乗和ＳＳＤ（Sum of Squared Difference）、輝度差の総和ＳＡＤ（Sum of Absolute Difference）、正規化相互相関ＺＮＣＣ（Zero-mean Normalized Cross-Correlation）等を評価値として採用してもよい。また、物体検出装置１００は、評価値を決定するために、ＳＩＦＴ（Scale-Invariant Feature Transform）、ＨＯＧ（Histograms of Oriented Gradients）等のアルゴリズムを用いてもよい（藤吉弘亘、"Gradientベースの特徴抽出−ＳＩＦＴとＨＯＧ−"、情報処理学会、研究報告CVIM 160, pp.211-214, 2007参照。）。
【符号の説明】
【０１４３】
１・・・制御部 ２、２Ｒ、２Ｌ、２Ｂ・・・撮像部 ２ａ、２ｂ・・・カメラ ３・・・表示部 ４・・・音声出力部 １０・・・部分画像抽出部 １１・・・評価値決定部 １２・・・物体存否判定部 ６０・・・ショベル ６１・・・下部走行体 ６２・・・旋回機構 ６３・・・上部旋回体 ６４・・・キャブ ６５・・・動作状態検出部 ７０・・・ＣＧ画像 １００・・・物体検出装置 Ｄ１・・・検出結果表示画面 ＩＰ１〜ＩＰ１６・・・検査点 ＶＬ・・・測定ライン
【特許請求の範囲】
【請求項１】
少なくとも２つのカメラのそれぞれが撮像するカメラ画像間の視差に基づいて物体を検出する物体検出装置を搭載する移動体であって、
当該移動体の動作状態を検出する動作状態検出部を備え、
前記物体検出装置は、
被撮像空間を通る仮想直線上の複数の検査点のうちの１つに対応する画素を含む所定サイズの部分画像を各カメラ画像から抽出する部分画像抽出部と、
同一の検査点に対応する前記各カメラ画像の部分画像同士の類似度に基づいて前記複数の検査点のうちの１つに関する評価値を決定する評価値決定部と、
前記評価値決定部が決定する評価値を用いて物体の存否を判定する物体存否判定部と、を備え、
前記仮想直線は、当該移動体の動作状態に応じて配置される、
ことを特徴とする移動体。
【請求項２】
前記物体検出装置は、前記仮想直線上の複数の検査点の活性状態・非活性状態を切り換えることによって、当該移動体の動作状態に応じて前記仮想直線の配置を動的に切り換える、
ことを特徴とする請求項１に記載の移動体。
【請求項３】
前記仮想直線上の検査点の間隔は、当該移動体の動作状態に応じて動的に変更される、
ことを特徴とする請求項１又は２に記載の移動体。
【請求項１】
少なくとも２つのカメラのそれぞれが撮像するカメラ画像間の視差に基づいて物体を検出する物体検出装置を搭載する移動体であって、
当該移動体の動作状態を検出する動作状態検出部を備え、
前記物体検出装置は、
被撮像空間を通る仮想直線上の複数の検査点のうちの１つに対応する画素を含む所定サイズの部分画像を各カメラ画像から抽出する部分画像抽出部と、
同一の検査点に対応する前記各カメラ画像の部分画像同士の類似度に基づいて前記複数の検査点のうちの１つに関する評価値を決定する評価値決定部と、
前記評価値決定部が決定する評価値を用いて物体の存否を判定する物体存否判定部と、を備え、
前記仮想直線は、当該移動体の動作状態に応じて配置される、
ことを特徴とする移動体。
【請求項２】
前記物体検出装置は、前記仮想直線上の複数の検査点の活性状態・非活性状態を切り換えることによって、当該移動体の動作状態に応じて前記仮想直線の配置を動的に切り換える、
ことを特徴とする請求項１に記載の移動体。
【請求項３】
前記仮想直線上の検査点の間隔は、当該移動体の動作状態に応じて動的に変更される、
ことを特徴とする請求項１又は２に記載の移動体。
【図１】
【図２】
【図３】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図４】
【図５】
【図２】
【図３】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図４】
【図５】
【公開番号】特開２０１３−７３５１７（Ｐ２０１３−７３５１７Ａ）
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願番号】特願２０１１−２１３４９２（Ｐ２０１１−２１３４９２）
【出願日】平成２３年９月２８日（２０１１．９．２８）
【出願人】（０００００２１０７）住友重機械工業株式会社 (2,241)
【Ｆターム（参考）】
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願日】平成２３年９月２８日（２０１１．９．２８）
【出願人】（０００００２１０７）住友重機械工業株式会社 (2,241)
【Ｆターム（参考）】
[ Back to top ]