物体の自動認識方法及び物体の自動認識装置
【課題】処理が複雑になることなく、超音波を用いてあらゆる材質の物体の距離計測と形状認識とを正確に行うことが可能な物体の自動認識方法及び物体の自動認識装置を提供する。
【解決手段】特定の空間を撮像してイメージ画像を取得する画像取得工程と、イメージ画像に基づいて、そのイメージ画像に写る輪郭を囲んだ小領域にて分割された輪郭画像を作成する画像処理工程と、前記空間に超音波を送信する超音波送信工程と、前記超音波が反射して生成された反射波を受信する超音波受信工程と、前記反射波の受信信号を測定して、この受信信号の強度に基づいて、空間の物体の存在及び距離を表示する受信信号分布画像を作成する受信信号測定工程と、前記輪郭画像と受信信号分布画像とを重合わせる重合わせ工程と、前記重合わせにより、前記輪郭画像において、受信信号が重なる小領域を物体の輪郭であると特定する物体特定工程とを備えた。
【解決手段】特定の空間を撮像してイメージ画像を取得する画像取得工程と、イメージ画像に基づいて、そのイメージ画像に写る輪郭を囲んだ小領域にて分割された輪郭画像を作成する画像処理工程と、前記空間に超音波を送信する超音波送信工程と、前記超音波が反射して生成された反射波を受信する超音波受信工程と、前記反射波の受信信号を測定して、この受信信号の強度に基づいて、空間の物体の存在及び距離を表示する受信信号分布画像を作成する受信信号測定工程と、前記輪郭画像と受信信号分布画像とを重合わせる重合わせ工程と、前記重合わせにより、前記輪郭画像において、受信信号が重なる小領域を物体の輪郭であると特定する物体特定工程とを備えた。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体の距離計測と三次元形状認識を可能とする物体の自動認識方法及び物体の自動認識装置に関する。
【背景技術】
【０００２】
従来から、超音波送信素子から送信した超音波が物体に反射して生成する反射波を超音波受信素子により受信し、得られた受信信号に基づいて物体までの距離を測る計測技術が知られている。
【０００３】
超音波は、光と比較して波長が数ｍｍと長く、物体表面で乱反射が起こりにくい。また、超音波の反射強度は物体の材質、表面形状等により変化する。このような理由により、物体までの距離は測れても物体の形状認識は困難であり、超音波のみで物体までの距離計測と、物体の形状認識とを同時に行うことは困難である。
【０００４】
ところで、従来、超音波を用いる距離画像測定手段を利用して、物体の形状認識を行うものが提案されている（特許文献１）。これは、超音波を用いた距離画像測定手段により、物体表面と背景までの距離との差に基づいて物体像を背景から抽出し、その形状、大きさ、及び三次元位置、一平面内の向きを推定する。一方、カメラにより物体の画像情報を取得して、この画像情報において、前記距離画像測定手段により推定された物体の色に含まれる色領域のみを残すことによってテンプレートを作成する。そして、このテンプレートと、前記推定した物体のモデルとの一致度を検定して物体の形状を認識するものである。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平８−７５４１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、前記のような方法では、超音波を用いた距離画像測定手段により、物体像を背景から抽出し、その形状、大きさ、及び三次元位置、一平面内の向きを推定するため、物体の形状を正確に測定することは困難である。また、物体表面と背景までの距離との差に基づいて物体像を背景から抽出したり、テンプレートを作成したりする必要があるため、処理が複雑になるという問題がある。
【０００７】
また、物体が金属平板であるような場合、反射波は鏡面反射に近いものとなり、得られた反射波超音波信号から画像を再構成すると、点状の物体が存在するように誤認識されるおそれがある。さらには、複数の物体が近接する場合に超音波を使用して三次元形状認識を行うと、物体表面における超音波の反射条件や角度分解能の粗さのため、単一の物体として認識される。このため、複数の物体が存在する場合には、物体同士が所定間隔以上離れていなければ複数の物体として識別することができなかった。
【０００８】
そこで、本発明は、上記事情に鑑み、処理が複雑になることなく、超音波を用いてあらゆる材質の物体を高い角度分解能で、しかも少ない超音波素子数にて距離計測と形状認識とを正確に行うことが可能な物体の自動認識方法及び物体の自動認識装置を提供する。
【課題を解決するための手段】
【０００９】
本発明の物体の自動認識方法は、特定の空間を撮像してイメージ画像を取得する画像取得工程と、イメージ画像に基づいて、そのイメージ画像に写る輪郭を囲んだ小領域にて分割された輪郭画像を作成する画像処理工程と、前記空間に超音波を送信する超音波送信工程と、前記超音波が反射して生成された反射波を受信する超音波受信工程と、前記反射波の受信信号を測定して、この受信信号の強度に基づいて、空間の物体の存在及び距離を表示する受信信号分布画像を作成する受信信号測定工程と、前記輪郭画像と受信信号分布画像とを重合わせる重合わせ工程と、前記重合わせにより、前記輪郭画像において、受信信号が重なる小領域を物体の輪郭であると特定する物体特定工程とを備えたものである。
【００１０】
本発明の物体の自動認識方法では、空間のイメージ画像を撮像し、この撮像したイメージ画像に基づいて、輪郭で囲まれた小領域に分割された輪郭画像を取得する。一方、この空間の受信信号の分布を測定して受信信号分布画像を取得する。そして、輪郭画像と受信信号分布画像とを重ね合わせて、受信信号を有する小領域に物体が存在すると推定する。受信信号情報から、この小領域の距離を求めると、物体の距離が求まり、この小領域の輪郭が物体の形状となる。このように、イメージ画像による物体の形状特定と、超音波の受信信号による物体の距離特定とを併用する。
【００１１】
前記超音波受信工程は、複数の受波素子を配列したアレイセンサにて受信信号を受信するものとできる。単素子では、その素子が向いている方向の物体までの１次元の距離しか測定できないが、複数の受波素子を配列することにより、物体の３次元位置や形状を測ることができる。
【００１２】
前記輪郭画像は、前記イメージ画像を強度画像に変換して２値化を行い、これをラベリング処理したものとすることができる。また、前記イメージ画像をwatershedアルゴリズムを用いてラベリング処理したものとすることもできる。
【００１３】
本発明の物体の自動認識装置は、特定の空間を撮像してイメージ画像を取得する画像取得手段と、イメージ画像に基づいて、そのイメージ画像に写る輪郭を囲んだ小領域にて分割された輪郭画像を作成する画像処理手段と、前記空間に超音波を送信する超音波送信手段と、前記超音波が反射して生成された反射波を受信する超音波受信手段と、前記反射波の受信信号を測定して、この受信信号の強度に基づいて、空間の物体の存在及び距離を表示する受信信号分布画像を作成する受信信号分布画像作成手段と、前記輪郭画像と受信信号分布画像とを重合わせて、受信信号の存在する小領域を物体の輪郭であると特定する重合わせ手段とを備えたものである。
【００１４】
この場合、前記超音波受信手段は、複数の受波素子を配列したアレイセンサとすることができる。
【発明の効果】
【００１５】
本発明によれば、画像情報と、受信信号情報とを併用することにより、超音波を用いて物体の形状認識と物体の距離計測とを同時に行うことができる。しかも、イメージ画像にて物体の形状、大きさ、及び一平面内の向きが正確に分かるため、物体を抽出するための処理が複雑になることなく、物体の距離計測と形状認識とを正確に行うことが可能となる。しかも、視覚的に物体の形状等を抽出できるため、物体の材質にかかわらず、あらゆる種類の物体の形状認識が可能となる。
【００１６】
また、画像情報と、受信信号情報とを併用することにより、角度分解能を向上させることができる。すなわち、画像情報にて物体を識別することができるため、複数の物体が近接していても（所定間隔以上離れていなくても）複数の物体として識別することができる。これにより、画像情報で複数の物体を区別できる範囲、かつ、受信信号情報を取得できる範囲において、角度分解能を画素単位にまで向上させることができる。その結果、従来と比較して、必要な超音波素子数を削減することができて、装置の小型化、低コスト化を実現することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の第１実施形態に係る物体の自動認識装置のブロック図である。
【図２】本発明の第１実施形態に係る物体の自動認識装置の超音波受信素子の配列の例を模式的に示す図である。
【図３】本発明の第１実施形態に係る物体の自動認識方法のフローチャート図である。
【図４】本発明の第１実施形態に係る物体の自動認識方法の輪郭画像を作成するフローチャート図である。
【図５】本発明の第１実施形態に係る物体の自動認識方法の物体までの距離を測定するフローチャート図である。
【図６】実施例において撮像された空間のイメージ画像を示す図である。
【図７】前記図６のイメージ画像の輪郭画像を示す図である。
【図８】前記空間の受信信号強度の分布の画像を示す図である。
【図９】前記図８の強度画像に基づいて作成した受信信号分布画像を示す図である。
【図１０】輪郭画像と受信信号分布画像とを連携した図である。
【発明を実施するための形態】
【００１８】
以下、本発明を実施するための最良の形態について説明する。
【００１９】
図１は、本発明の実施形態に係る物体の自動認識装置を模式的に示したものである。この物体の自動認識装置は、画像取得手段１と、画像処理手段２と、パルス発生手段９と、超音波送信手段３と、超音波受信手段４と、変換手段１０と、受信信号分布画像作成手段５と、重合わせ手段６とを備えている。
【００２０】
画像取得手段１は撮像素子にて構成されており、測定対象となる空間のイメージ画像をカラーで撮像するものである。撮像素子としては、ＣＣＤイメージセンサやＣＭＯＳイメージセンサを使用するのが好ましい。これにより、一度で平面（二次元情報）を撮影することができる。
【００２１】
画像処理手段２は、画像取得手段１にて取得した空間のイメージ画像に基づいて、輪郭で囲まれた小領域に分割された輪郭画像を作成するものである。すなわち、イメージ画像において輪郭のみを抽出することにより、イメージ画像を小領域に分割する。この線画像を輪郭画像とする。本実施形態において輪郭画像の作成方法としては、まずカラーのイメージ画像を輝度データに変換した強度画像とする。この画像に閾値処理を行い、ノイズを除去する。この画像において、画素がつながっている場合は１つの物体とみなすことにより小領域に分割して、ラベリングを行う。その後、ラベリングされた番号に対応して１つの色を付ける。このようにして、イメージ画像は、輪郭で囲まれた小領域毎に色分けされた輪郭画像とすることができる。
【００２２】
パルス発生手段９は、送信超音波に相当する周波数の発振信号（電気信号）を生成するものである。
【００２３】
超音波送信手段３は、超音波送信素子にて構成されている。超音波受信手段４は、図２に示すように、複数の受波素子を配列したアレイセンサとしている。すなわち、１枚の基板１１上に複数（図示例では１６個）の超音波受信素子１２を配置している。測定対象となる空間において、パルス発生手段９からのパルス信号に同期して、超音波送信素子にて超音波パルスが送信される。この空間内に存在する物体に当たって反射した反射波（受信信号）は、超音波受信手段４により受信される。これにより、物体の存在、及び物体の３次元位置を測ることができる。
【００２４】
変換手段１０は、受信信号をＡ／Ｄ変換（つまり、アナログ信号からデジタル信号へ変換）するものである。
【００２５】
受信信号分布画像作成手段５は、受信信号を測定して、この受信信号の強度に基づいて、空間における物体の存在及び距離を表示する受信信号分布画像を作成するものである。すなわち、受信信号分布画像作成手段５は、受信信号の強弱の分布より、所定の強度以上を示す位置に物体が存在するものと認識する。そして、この物体までの距離を算出する。そして、物体の位置とその距離を表す受信信号分布画像を作成する。
【００２６】
重合わせ手段６は、前記輪郭画像と受信信号分布画像とを重ね合わせるものである。この重ね合わせの結果、輪郭画像において受信信号が重なる小領域を、物体の輪郭であると特定する。
【００２７】
なお、画像処理手段２と、受信信号分布画像作成手段５と、重合わせ手段６とは夫々同一のコンピュータに内蔵したり、別の独立したコンピュータに内蔵したりすることができる。
【００２８】
次に、本発明の第１の実施形態に係る物体の自動認識方法を、図３のフローチャートに基づいて説明する。
【００２９】
画像取得手段１にて、特定の空間を撮像し、この空間のイメージ画像を取得する（ステップＳ１）。
【００３０】
このイメージ画像に基づいて、画像処理手段２は輪郭画像を作成する（ステップＳ２）。この輪郭画像の作成方法は、図４のフローチャートに示すように、カラーのイメージ画像を輝度画像（強度画像）に変換する（ステップＳ１０１）。この輝度データに閾値処理を行って、輝度画像の２値化を行い（ステップＳ１０２）、この画像から微小な点領域を削除することにより、ノイズ除去を行う（ステップＳ１０３）。そして、画素がつながっている領域を１つの物体とみなしてラベリング処理（つまり、画素の集合に番号を付与することで、画素を分類する処理）を行い（ステップＳ１０４）、ラベリングされた番号に対応して、１つの色を付ける（ステップＳ１０５）。このようにして、輪郭画像を作成する。
【００３１】
パルス発生手段９からパルス信号が生成され、超音波送信手段３により空間に対して超音波を送信する（ステップＳ３）と、超音波が反射して生成された反射波は、超音波受信手段４により受信される（ステップＳ４）。この反射波の受信信号は、変換手段１０によりＡ／Ｄ変換される。そして、受信信号分布画像作成手段５は、受信信号に基づいて物体の存在と距離とを示す受信信号分布画像を作成する（ステップＳ５）。
【００３２】
この受信信号分布画像の作成に際して、受信信号分布画像作成手段５は、物体の距離を算出する。物体の距離を算出するアルゴリズムは、図５に示すように、Ａ／Ｄ変換された超音波受信信号を、遅延時間分遅延させて（ステップＳ２０１）、その後加算する（ステップＳ２０２）。ここで、各偏向方向（超音波のアレイの水平受信方向、超音波アレイの垂直受信方向）について加算信号が最大となるピーク時間を計算する（ステップＳ２０３）。次に、そのピーク時間における信号強度を求める（ステップＳ２０４）。もし、ピーク信号強度が閾値以下なら（ステップＳ２０５）、最大距離を物体の距離をとする（ステップＳ２０６）。なお、閾値はノイズレベルにより決められる。一方、加算信号強度が閾値よりも大きい場合は、そのサイドローブが広がり、物体が無い方位においても加算信号強度がノイズレベルよりも大きくなる場合がある。そこで、ピーク信号強度が全方位についてのピーク信号強度より小さいなら（ステップＳ２０７）、最大距離を物体の距離をとする。ピーク信号強度が全方位についてのピーク信号強度以上である場合は、ピーク時間より距離を計算する（ステップＳ２０８）。
【００３３】
次に、重合わせ手段６により、輪郭画像と受信信号分布画像とを重ね合わせて、輪郭画像において、受信信号が重なった小領域を、物体の輪郭であると特定する（ステップＳ６）。輪郭画像と受信信号分布画像との重ね合わせは、次のように行う。すなわち、Ｐ（ｘ
，ｙ，ｚ）の点がカメラに写る画素上の点Ｑ（ｉ，ｊ）は、画角をＲ×Ｓ、画素数をＭ×Ｎとすると（Ｑ（ｉ，ｊ））は中心の画素をＱ（０，０）とする）、数１のように表すことができる。
【数１】
【００３４】
また、ｉ、ｊは数２のように表すことができるため、ｍ、ｎは数３のように表すことができる。これを変形すると、数４のように表すことができる。
【数２】
【数３】
【数４】
【００３５】
超音波受信素子についても同様の座標系を取り、画角をＲ´×Ｓ´、画素数をＭ´×Ｎ´とすると、反射点Ｐ（ｘ，ｙ，ｚ）と超音波イメージの画素上の点Ｑ´（ｉ´，ｊ´）の関係は数５のようになる（ｉ´、ｊ´は数６のように表せる。）。
【数５】
【数６】
【００３６】
一方、（０，０，０）と（Δｘ，Δｙ，０）の超音波受信素子の反射点Ｐ（ｘ，ｙ，ｚ）からの距離の差は、数７となる。
【数７】
【００３７】
今、カメラと超音波測距離装置との画角を等しくすると（Ｒ＝Ｒ´、Ｓ＝Ｓ´）、数８、数９、数１０のように両者の座標を変換できる。逆変換式は数１１のようになる。従って、数１０あるいは数１１を使うことにより、輪郭画像と受信信号分布画像とを重ね合わせることができる。
【数８】
【数９】
【数１０】
【数１１】
【００３８】
このようにして、輪郭画像から物体の輪郭（形状）を抽出し、受信信号分布画像から物体の距離を適用して、超音波を用いて物体形状と物体距離とを同時に測定することができる。
【００３９】
本発明では、画像情報と、受信信号情報とを併用することにより、超音波を用いて物体の形状認識と物体の距離計測とを同時に行うことができる。しかも、イメージ画像にて物体の形状、大きさ、及び一平面内の向きが正確に分かるため、物体を抽出するための処理が複雑になることなく、物体の距離計測と形状認識とを正確に行うことが可能となる。しかも、視覚的に物体の形状等を抽出できるため、物体の材質にかかわらず、あらゆる種類の物体の形状認識が可能となる。
【００４０】
また、画像情報と、受信信号情報とを併用することにより、角度分解能を向上させることができる。すなわち、画像情報にて物体を識別することができるため、複数の物体が近接していても（所定間隔以上離れていなくても）複数の物体として識別することができる。これにより、画像情報で複数の物体を区別できる範囲、かつ、受信信号情報を取得できる範囲において、角度分解能を画素単位にまで向上させることができる。その結果、従来と比較して、必要な超音波素子数を削減することができて、装置の小型化、低コスト化を実現することができる。
【００４１】
次に、本発明の他の実施形態の物体の自動認識方法について説明する。この場合、図３のステップＳ２において、画像処理手段２はＷａｔｅｒｓｈｅｄアルゴリズムに基づく領域分割法にて輪郭画像を作成するものである。すなわち、この輪郭画像の作成方法は、カラーのイメージ画像を輝度画像（強度画像）に変換し、この画像のエッジ（輪郭）を検出した画像Ａを取得する。一方、強度画像は圧縮・再構築により形態学的な再構築を行い、膨張操作の後、形態学的な再構築を行った画像に対して、最大値領域を抽出して斑点を除去した画像Ｂを取得する。さらに、強度画像は圧縮・再構築により形態学的な再構築を行い、膨張操作の後、形態学的な再構築を行った画像に対して、背景を抽出して細線化した画像Ｃを取得する。これら画像Ａ、Ｂ、Ｃを１つにまとめて、Watershed（イメージ分水嶺領域の検出）によりラベリングして物体を分ける。このラベリングされた番号に対応して、１つの色を付ける。このようにして、輪郭画像を作成する。
【００４２】
以上、本発明の実施形態及び実施例について説明したが、本発明はこれらに限定されること無く、本発明の技術的思想の範囲内であれば、種々の変形が可能である。例えば、図３において、輪郭画像の作成を受信信号分布画像よりも後で行ったり、同時に行ったりすることができる。超音波受信素子１２の配列としては、実施形態に限るものではなく、数も１６個に限るものではない。
【実施例】
【００４３】
本発明の物体の自動認識装置を用いて物体の距離及び形状を測定した。測定対象は、左斜め前方１２ｃｍに置かれた直径３０ｃｍのアルミ風船である。画像取得手段は、ＣＭＯＳカメラ（Microsoft LifeCam VX-6000）であり、画角は５８度×４５度、画素数は１６０×１２０、ｋx＝０．００６９、ｋy＝０．００６９である。超音波送信手段及び超音波受信手段の仕様は、超音波周波数が４０ｋＨｚ、送信パルス幅が０．７ｍｓ、受信信号サンプリングレートが２．５μｓ（０．４２５ｍｍ×２）、サンプリング数が７５００ポイント、サンプリング時間が１８．７５ｍｓ＝片道約３ｍ、チャンネル数が１７チャンネル（トリガ１チャンネル、受信信号１６チャンネル）、画角が５８度×４５度、画素数が１６×１２、ｋx＝０．００６９、ｋy＝０．００６９である。
【００４４】
図６に、アルミ風船の存在する空間のイメージ画像を示し、図７に、このイメージ画像に基づいて作成した輪郭画像を示す。図７より、風船の形状は認識できるが、その距離は不明である。一方、図８に、受信信号強度の分布の画像を示し、図９に、図８の強度画像に基づいて作成した受信信号分布画像を示す。図９より、風船の存在とその距離は認識できるが、形状は不明である。これら図７の輪郭画像と、図９の受信信号分布画像とを連携すると、図１０のような画像となり、風船の形状と距離とがわかる。
【００４５】
また、素子配列ｍ×ｍが６×６の超音波アレイを用いて、本発明の方法で２つの物体の距離及び形状を測定した。これらの物体は、超音波アレイからの距離ｒが６ｍである。その結果、夫々の物体間の間隔ｌが３０ｃｍで、別の物体として計測することができた。この場合、角度分解能θは、θ＝（ｌ／２πｒ）×３６０＝２．８７度である。
【００４６】
一方、素子配列ｍ×ｍが６×６の超音波アレイを用いて、従来の方法で２つの物体の距離及び形状を測定する場合の角度分解能θは、θ＝１８０／ｍ＝３０度となる。このように、本発明の方法を用いると、角度分解能は従来の方法の１０倍以上となることがわかった。なお、従来の方法で、超音波アレイからの距離ｒが６ｍである２つの物体の距離及び形状を測定するためには、ｌ＝（θ／３６０）×２πｒ＝３．１４となって、夫々の物体間の間隔ｌが３．１４ｍ以上離れていなければ、別の物体として計測することができない。
【００４７】
また、従来の方法で、角度分解能θ＝２．８７度を得るために必要な素子数ｍは、ｍ＝１８０／θ＝６３となり、６３×６３の超音波アレイが必要となる。従って、本発明の方法では、同じ角度分解能の実現に必要な超音波素子数を６×６に削減することができ、装置の小型化及び低コスト化を図ることができる。
【符号の説明】
【００４８】
１ 画像取得手段
２ 画像処理手段
３ 超音波送信手段
４ 超音波受信手段
５ 受信信号分布画像作成手段
６ 重合わせ手段
【技術分野】
【０００１】
本発明は、物体の距離計測と三次元形状認識を可能とする物体の自動認識方法及び物体の自動認識装置に関する。
【背景技術】
【０００２】
従来から、超音波送信素子から送信した超音波が物体に反射して生成する反射波を超音波受信素子により受信し、得られた受信信号に基づいて物体までの距離を測る計測技術が知られている。
【０００３】
超音波は、光と比較して波長が数ｍｍと長く、物体表面で乱反射が起こりにくい。また、超音波の反射強度は物体の材質、表面形状等により変化する。このような理由により、物体までの距離は測れても物体の形状認識は困難であり、超音波のみで物体までの距離計測と、物体の形状認識とを同時に行うことは困難である。
【０００４】
ところで、従来、超音波を用いる距離画像測定手段を利用して、物体の形状認識を行うものが提案されている（特許文献１）。これは、超音波を用いた距離画像測定手段により、物体表面と背景までの距離との差に基づいて物体像を背景から抽出し、その形状、大きさ、及び三次元位置、一平面内の向きを推定する。一方、カメラにより物体の画像情報を取得して、この画像情報において、前記距離画像測定手段により推定された物体の色に含まれる色領域のみを残すことによってテンプレートを作成する。そして、このテンプレートと、前記推定した物体のモデルとの一致度を検定して物体の形状を認識するものである。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平８−７５４１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、前記のような方法では、超音波を用いた距離画像測定手段により、物体像を背景から抽出し、その形状、大きさ、及び三次元位置、一平面内の向きを推定するため、物体の形状を正確に測定することは困難である。また、物体表面と背景までの距離との差に基づいて物体像を背景から抽出したり、テンプレートを作成したりする必要があるため、処理が複雑になるという問題がある。
【０００７】
また、物体が金属平板であるような場合、反射波は鏡面反射に近いものとなり、得られた反射波超音波信号から画像を再構成すると、点状の物体が存在するように誤認識されるおそれがある。さらには、複数の物体が近接する場合に超音波を使用して三次元形状認識を行うと、物体表面における超音波の反射条件や角度分解能の粗さのため、単一の物体として認識される。このため、複数の物体が存在する場合には、物体同士が所定間隔以上離れていなければ複数の物体として識別することができなかった。
【０００８】
そこで、本発明は、上記事情に鑑み、処理が複雑になることなく、超音波を用いてあらゆる材質の物体を高い角度分解能で、しかも少ない超音波素子数にて距離計測と形状認識とを正確に行うことが可能な物体の自動認識方法及び物体の自動認識装置を提供する。
【課題を解決するための手段】
【０００９】
本発明の物体の自動認識方法は、特定の空間を撮像してイメージ画像を取得する画像取得工程と、イメージ画像に基づいて、そのイメージ画像に写る輪郭を囲んだ小領域にて分割された輪郭画像を作成する画像処理工程と、前記空間に超音波を送信する超音波送信工程と、前記超音波が反射して生成された反射波を受信する超音波受信工程と、前記反射波の受信信号を測定して、この受信信号の強度に基づいて、空間の物体の存在及び距離を表示する受信信号分布画像を作成する受信信号測定工程と、前記輪郭画像と受信信号分布画像とを重合わせる重合わせ工程と、前記重合わせにより、前記輪郭画像において、受信信号が重なる小領域を物体の輪郭であると特定する物体特定工程とを備えたものである。
【００１０】
本発明の物体の自動認識方法では、空間のイメージ画像を撮像し、この撮像したイメージ画像に基づいて、輪郭で囲まれた小領域に分割された輪郭画像を取得する。一方、この空間の受信信号の分布を測定して受信信号分布画像を取得する。そして、輪郭画像と受信信号分布画像とを重ね合わせて、受信信号を有する小領域に物体が存在すると推定する。受信信号情報から、この小領域の距離を求めると、物体の距離が求まり、この小領域の輪郭が物体の形状となる。このように、イメージ画像による物体の形状特定と、超音波の受信信号による物体の距離特定とを併用する。
【００１１】
前記超音波受信工程は、複数の受波素子を配列したアレイセンサにて受信信号を受信するものとできる。単素子では、その素子が向いている方向の物体までの１次元の距離しか測定できないが、複数の受波素子を配列することにより、物体の３次元位置や形状を測ることができる。
【００１２】
前記輪郭画像は、前記イメージ画像を強度画像に変換して２値化を行い、これをラベリング処理したものとすることができる。また、前記イメージ画像をwatershedアルゴリズムを用いてラベリング処理したものとすることもできる。
【００１３】
本発明の物体の自動認識装置は、特定の空間を撮像してイメージ画像を取得する画像取得手段と、イメージ画像に基づいて、そのイメージ画像に写る輪郭を囲んだ小領域にて分割された輪郭画像を作成する画像処理手段と、前記空間に超音波を送信する超音波送信手段と、前記超音波が反射して生成された反射波を受信する超音波受信手段と、前記反射波の受信信号を測定して、この受信信号の強度に基づいて、空間の物体の存在及び距離を表示する受信信号分布画像を作成する受信信号分布画像作成手段と、前記輪郭画像と受信信号分布画像とを重合わせて、受信信号の存在する小領域を物体の輪郭であると特定する重合わせ手段とを備えたものである。
【００１４】
この場合、前記超音波受信手段は、複数の受波素子を配列したアレイセンサとすることができる。
【発明の効果】
【００１５】
本発明によれば、画像情報と、受信信号情報とを併用することにより、超音波を用いて物体の形状認識と物体の距離計測とを同時に行うことができる。しかも、イメージ画像にて物体の形状、大きさ、及び一平面内の向きが正確に分かるため、物体を抽出するための処理が複雑になることなく、物体の距離計測と形状認識とを正確に行うことが可能となる。しかも、視覚的に物体の形状等を抽出できるため、物体の材質にかかわらず、あらゆる種類の物体の形状認識が可能となる。
【００１６】
また、画像情報と、受信信号情報とを併用することにより、角度分解能を向上させることができる。すなわち、画像情報にて物体を識別することができるため、複数の物体が近接していても（所定間隔以上離れていなくても）複数の物体として識別することができる。これにより、画像情報で複数の物体を区別できる範囲、かつ、受信信号情報を取得できる範囲において、角度分解能を画素単位にまで向上させることができる。その結果、従来と比較して、必要な超音波素子数を削減することができて、装置の小型化、低コスト化を実現することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の第１実施形態に係る物体の自動認識装置のブロック図である。
【図２】本発明の第１実施形態に係る物体の自動認識装置の超音波受信素子の配列の例を模式的に示す図である。
【図３】本発明の第１実施形態に係る物体の自動認識方法のフローチャート図である。
【図４】本発明の第１実施形態に係る物体の自動認識方法の輪郭画像を作成するフローチャート図である。
【図５】本発明の第１実施形態に係る物体の自動認識方法の物体までの距離を測定するフローチャート図である。
【図６】実施例において撮像された空間のイメージ画像を示す図である。
【図７】前記図６のイメージ画像の輪郭画像を示す図である。
【図８】前記空間の受信信号強度の分布の画像を示す図である。
【図９】前記図８の強度画像に基づいて作成した受信信号分布画像を示す図である。
【図１０】輪郭画像と受信信号分布画像とを連携した図である。
【発明を実施するための形態】
【００１８】
以下、本発明を実施するための最良の形態について説明する。
【００１９】
図１は、本発明の実施形態に係る物体の自動認識装置を模式的に示したものである。この物体の自動認識装置は、画像取得手段１と、画像処理手段２と、パルス発生手段９と、超音波送信手段３と、超音波受信手段４と、変換手段１０と、受信信号分布画像作成手段５と、重合わせ手段６とを備えている。
【００２０】
画像取得手段１は撮像素子にて構成されており、測定対象となる空間のイメージ画像をカラーで撮像するものである。撮像素子としては、ＣＣＤイメージセンサやＣＭＯＳイメージセンサを使用するのが好ましい。これにより、一度で平面（二次元情報）を撮影することができる。
【００２１】
画像処理手段２は、画像取得手段１にて取得した空間のイメージ画像に基づいて、輪郭で囲まれた小領域に分割された輪郭画像を作成するものである。すなわち、イメージ画像において輪郭のみを抽出することにより、イメージ画像を小領域に分割する。この線画像を輪郭画像とする。本実施形態において輪郭画像の作成方法としては、まずカラーのイメージ画像を輝度データに変換した強度画像とする。この画像に閾値処理を行い、ノイズを除去する。この画像において、画素がつながっている場合は１つの物体とみなすことにより小領域に分割して、ラベリングを行う。その後、ラベリングされた番号に対応して１つの色を付ける。このようにして、イメージ画像は、輪郭で囲まれた小領域毎に色分けされた輪郭画像とすることができる。
【００２２】
パルス発生手段９は、送信超音波に相当する周波数の発振信号（電気信号）を生成するものである。
【００２３】
超音波送信手段３は、超音波送信素子にて構成されている。超音波受信手段４は、図２に示すように、複数の受波素子を配列したアレイセンサとしている。すなわち、１枚の基板１１上に複数（図示例では１６個）の超音波受信素子１２を配置している。測定対象となる空間において、パルス発生手段９からのパルス信号に同期して、超音波送信素子にて超音波パルスが送信される。この空間内に存在する物体に当たって反射した反射波（受信信号）は、超音波受信手段４により受信される。これにより、物体の存在、及び物体の３次元位置を測ることができる。
【００２４】
変換手段１０は、受信信号をＡ／Ｄ変換（つまり、アナログ信号からデジタル信号へ変換）するものである。
【００２５】
受信信号分布画像作成手段５は、受信信号を測定して、この受信信号の強度に基づいて、空間における物体の存在及び距離を表示する受信信号分布画像を作成するものである。すなわち、受信信号分布画像作成手段５は、受信信号の強弱の分布より、所定の強度以上を示す位置に物体が存在するものと認識する。そして、この物体までの距離を算出する。そして、物体の位置とその距離を表す受信信号分布画像を作成する。
【００２６】
重合わせ手段６は、前記輪郭画像と受信信号分布画像とを重ね合わせるものである。この重ね合わせの結果、輪郭画像において受信信号が重なる小領域を、物体の輪郭であると特定する。
【００２７】
なお、画像処理手段２と、受信信号分布画像作成手段５と、重合わせ手段６とは夫々同一のコンピュータに内蔵したり、別の独立したコンピュータに内蔵したりすることができる。
【００２８】
次に、本発明の第１の実施形態に係る物体の自動認識方法を、図３のフローチャートに基づいて説明する。
【００２９】
画像取得手段１にて、特定の空間を撮像し、この空間のイメージ画像を取得する（ステップＳ１）。
【００３０】
このイメージ画像に基づいて、画像処理手段２は輪郭画像を作成する（ステップＳ２）。この輪郭画像の作成方法は、図４のフローチャートに示すように、カラーのイメージ画像を輝度画像（強度画像）に変換する（ステップＳ１０１）。この輝度データに閾値処理を行って、輝度画像の２値化を行い（ステップＳ１０２）、この画像から微小な点領域を削除することにより、ノイズ除去を行う（ステップＳ１０３）。そして、画素がつながっている領域を１つの物体とみなしてラベリング処理（つまり、画素の集合に番号を付与することで、画素を分類する処理）を行い（ステップＳ１０４）、ラベリングされた番号に対応して、１つの色を付ける（ステップＳ１０５）。このようにして、輪郭画像を作成する。
【００３１】
パルス発生手段９からパルス信号が生成され、超音波送信手段３により空間に対して超音波を送信する（ステップＳ３）と、超音波が反射して生成された反射波は、超音波受信手段４により受信される（ステップＳ４）。この反射波の受信信号は、変換手段１０によりＡ／Ｄ変換される。そして、受信信号分布画像作成手段５は、受信信号に基づいて物体の存在と距離とを示す受信信号分布画像を作成する（ステップＳ５）。
【００３２】
この受信信号分布画像の作成に際して、受信信号分布画像作成手段５は、物体の距離を算出する。物体の距離を算出するアルゴリズムは、図５に示すように、Ａ／Ｄ変換された超音波受信信号を、遅延時間分遅延させて（ステップＳ２０１）、その後加算する（ステップＳ２０２）。ここで、各偏向方向（超音波のアレイの水平受信方向、超音波アレイの垂直受信方向）について加算信号が最大となるピーク時間を計算する（ステップＳ２０３）。次に、そのピーク時間における信号強度を求める（ステップＳ２０４）。もし、ピーク信号強度が閾値以下なら（ステップＳ２０５）、最大距離を物体の距離をとする（ステップＳ２０６）。なお、閾値はノイズレベルにより決められる。一方、加算信号強度が閾値よりも大きい場合は、そのサイドローブが広がり、物体が無い方位においても加算信号強度がノイズレベルよりも大きくなる場合がある。そこで、ピーク信号強度が全方位についてのピーク信号強度より小さいなら（ステップＳ２０７）、最大距離を物体の距離をとする。ピーク信号強度が全方位についてのピーク信号強度以上である場合は、ピーク時間より距離を計算する（ステップＳ２０８）。
【００３３】
次に、重合わせ手段６により、輪郭画像と受信信号分布画像とを重ね合わせて、輪郭画像において、受信信号が重なった小領域を、物体の輪郭であると特定する（ステップＳ６）。輪郭画像と受信信号分布画像との重ね合わせは、次のように行う。すなわち、Ｐ（ｘ
，ｙ，ｚ）の点がカメラに写る画素上の点Ｑ（ｉ，ｊ）は、画角をＲ×Ｓ、画素数をＭ×Ｎとすると（Ｑ（ｉ，ｊ））は中心の画素をＱ（０，０）とする）、数１のように表すことができる。
【数１】
【００３４】
また、ｉ、ｊは数２のように表すことができるため、ｍ、ｎは数３のように表すことができる。これを変形すると、数４のように表すことができる。
【数２】
【数３】
【数４】
【００３５】
超音波受信素子についても同様の座標系を取り、画角をＲ´×Ｓ´、画素数をＭ´×Ｎ´とすると、反射点Ｐ（ｘ，ｙ，ｚ）と超音波イメージの画素上の点Ｑ´（ｉ´，ｊ´）の関係は数５のようになる（ｉ´、ｊ´は数６のように表せる。）。
【数５】
【数６】
【００３６】
一方、（０，０，０）と（Δｘ，Δｙ，０）の超音波受信素子の反射点Ｐ（ｘ，ｙ，ｚ）からの距離の差は、数７となる。
【数７】
【００３７】
今、カメラと超音波測距離装置との画角を等しくすると（Ｒ＝Ｒ´、Ｓ＝Ｓ´）、数８、数９、数１０のように両者の座標を変換できる。逆変換式は数１１のようになる。従って、数１０あるいは数１１を使うことにより、輪郭画像と受信信号分布画像とを重ね合わせることができる。
【数８】
【数９】
【数１０】
【数１１】
【００３８】
このようにして、輪郭画像から物体の輪郭（形状）を抽出し、受信信号分布画像から物体の距離を適用して、超音波を用いて物体形状と物体距離とを同時に測定することができる。
【００３９】
本発明では、画像情報と、受信信号情報とを併用することにより、超音波を用いて物体の形状認識と物体の距離計測とを同時に行うことができる。しかも、イメージ画像にて物体の形状、大きさ、及び一平面内の向きが正確に分かるため、物体を抽出するための処理が複雑になることなく、物体の距離計測と形状認識とを正確に行うことが可能となる。しかも、視覚的に物体の形状等を抽出できるため、物体の材質にかかわらず、あらゆる種類の物体の形状認識が可能となる。
【００４０】
また、画像情報と、受信信号情報とを併用することにより、角度分解能を向上させることができる。すなわち、画像情報にて物体を識別することができるため、複数の物体が近接していても（所定間隔以上離れていなくても）複数の物体として識別することができる。これにより、画像情報で複数の物体を区別できる範囲、かつ、受信信号情報を取得できる範囲において、角度分解能を画素単位にまで向上させることができる。その結果、従来と比較して、必要な超音波素子数を削減することができて、装置の小型化、低コスト化を実現することができる。
【００４１】
次に、本発明の他の実施形態の物体の自動認識方法について説明する。この場合、図３のステップＳ２において、画像処理手段２はＷａｔｅｒｓｈｅｄアルゴリズムに基づく領域分割法にて輪郭画像を作成するものである。すなわち、この輪郭画像の作成方法は、カラーのイメージ画像を輝度画像（強度画像）に変換し、この画像のエッジ（輪郭）を検出した画像Ａを取得する。一方、強度画像は圧縮・再構築により形態学的な再構築を行い、膨張操作の後、形態学的な再構築を行った画像に対して、最大値領域を抽出して斑点を除去した画像Ｂを取得する。さらに、強度画像は圧縮・再構築により形態学的な再構築を行い、膨張操作の後、形態学的な再構築を行った画像に対して、背景を抽出して細線化した画像Ｃを取得する。これら画像Ａ、Ｂ、Ｃを１つにまとめて、Watershed（イメージ分水嶺領域の検出）によりラベリングして物体を分ける。このラベリングされた番号に対応して、１つの色を付ける。このようにして、輪郭画像を作成する。
【００４２】
以上、本発明の実施形態及び実施例について説明したが、本発明はこれらに限定されること無く、本発明の技術的思想の範囲内であれば、種々の変形が可能である。例えば、図３において、輪郭画像の作成を受信信号分布画像よりも後で行ったり、同時に行ったりすることができる。超音波受信素子１２の配列としては、実施形態に限るものではなく、数も１６個に限るものではない。
【実施例】
【００４３】
本発明の物体の自動認識装置を用いて物体の距離及び形状を測定した。測定対象は、左斜め前方１２ｃｍに置かれた直径３０ｃｍのアルミ風船である。画像取得手段は、ＣＭＯＳカメラ（Microsoft LifeCam VX-6000）であり、画角は５８度×４５度、画素数は１６０×１２０、ｋx＝０．００６９、ｋy＝０．００６９である。超音波送信手段及び超音波受信手段の仕様は、超音波周波数が４０ｋＨｚ、送信パルス幅が０．７ｍｓ、受信信号サンプリングレートが２．５μｓ（０．４２５ｍｍ×２）、サンプリング数が７５００ポイント、サンプリング時間が１８．７５ｍｓ＝片道約３ｍ、チャンネル数が１７チャンネル（トリガ１チャンネル、受信信号１６チャンネル）、画角が５８度×４５度、画素数が１６×１２、ｋx＝０．００６９、ｋy＝０．００６９である。
【００４４】
図６に、アルミ風船の存在する空間のイメージ画像を示し、図７に、このイメージ画像に基づいて作成した輪郭画像を示す。図７より、風船の形状は認識できるが、その距離は不明である。一方、図８に、受信信号強度の分布の画像を示し、図９に、図８の強度画像に基づいて作成した受信信号分布画像を示す。図９より、風船の存在とその距離は認識できるが、形状は不明である。これら図７の輪郭画像と、図９の受信信号分布画像とを連携すると、図１０のような画像となり、風船の形状と距離とがわかる。
【００４５】
また、素子配列ｍ×ｍが６×６の超音波アレイを用いて、本発明の方法で２つの物体の距離及び形状を測定した。これらの物体は、超音波アレイからの距離ｒが６ｍである。その結果、夫々の物体間の間隔ｌが３０ｃｍで、別の物体として計測することができた。この場合、角度分解能θは、θ＝（ｌ／２πｒ）×３６０＝２．８７度である。
【００４６】
一方、素子配列ｍ×ｍが６×６の超音波アレイを用いて、従来の方法で２つの物体の距離及び形状を測定する場合の角度分解能θは、θ＝１８０／ｍ＝３０度となる。このように、本発明の方法を用いると、角度分解能は従来の方法の１０倍以上となることがわかった。なお、従来の方法で、超音波アレイからの距離ｒが６ｍである２つの物体の距離及び形状を測定するためには、ｌ＝（θ／３６０）×２πｒ＝３．１４となって、夫々の物体間の間隔ｌが３．１４ｍ以上離れていなければ、別の物体として計測することができない。
【００４７】
また、従来の方法で、角度分解能θ＝２．８７度を得るために必要な素子数ｍは、ｍ＝１８０／θ＝６３となり、６３×６３の超音波アレイが必要となる。従って、本発明の方法では、同じ角度分解能の実現に必要な超音波素子数を６×６に削減することができ、装置の小型化及び低コスト化を図ることができる。
【符号の説明】
【００４８】
１ 画像取得手段
２ 画像処理手段
３ 超音波送信手段
４ 超音波受信手段
５ 受信信号分布画像作成手段
６ 重合わせ手段
【特許請求の範囲】
【請求項１】
特定の空間を撮像してイメージ画像を取得する画像取得工程と、
イメージ画像に基づいて、そのイメージ画像に写る輪郭を囲んだ小領域にて分割された輪郭画像を作成する画像処理工程と、
前記空間に超音波を送信する超音波送信工程と、
前記超音波が反射して生成された反射波を受信する超音波受信工程と、
前記反射波の受信信号を測定して、この受信信号の強度に基づいて、空間の物体の存在及び距離を表示する受信信号分布画像を作成する受信信号測定工程と、
前記輪郭画像と受信信号分布画像とを重合わせる重合わせ工程と、
前記重合わせにより、前記輪郭画像において、受信信号が重なる小領域を物体の輪郭であると特定する物体特定工程とを備えたことを特徴とする物体の自動認識方法。
【請求項２】
前記超音波受信工程は、複数の受波素子を配列したアレイセンサにて受信信号を受信することを特徴とする請求項１の物体の自動認識方法。
【請求項３】
前記輪郭画像は、前記イメージ画像を強度画像に変換して２値化を行い、これをラベリング処理したものであることを特徴とする請求項１又は請求項２の物体の自動認識方法。
【請求項４】
前記輪郭画像は、前記イメージ画像をwatershedアルゴリズムを用いてラベリング処理したものであることを特徴とする請求項１又は請求項２の物体の自動認識方法。
【請求項５】
特定の空間を撮像してイメージ画像を取得する画像取得手段と、
イメージ画像に基づいて、そのイメージ画像に写る輪郭を囲んだ小領域にて分割された輪郭画像を作成する画像処理手段と、
前記空間に超音波を送信する超音波送信手段と、
前記超音波が反射して生成された反射波を受信する超音波受信手段と、
前記反射波の受信信号を測定して、この受信信号の強度に基づいて、空間の物体の存在及び距離を表示する受信信号分布画像を作成する受信信号分布画像作成手段と、
前記輪郭画像と受信信号分布画像とを重合わせて、受信信号の存在する小領域を物体の輪郭であると特定する重合わせ手段とを備えたことを特徴とする物体の自動認識装置。
【請求項６】
前記超音波受信手段は、複数の受波素子を配列したアレイセンサとしたことを特徴とする請求項５の物体の自動認識装置。
【請求項１】
特定の空間を撮像してイメージ画像を取得する画像取得工程と、
イメージ画像に基づいて、そのイメージ画像に写る輪郭を囲んだ小領域にて分割された輪郭画像を作成する画像処理工程と、
前記空間に超音波を送信する超音波送信工程と、
前記超音波が反射して生成された反射波を受信する超音波受信工程と、
前記反射波の受信信号を測定して、この受信信号の強度に基づいて、空間の物体の存在及び距離を表示する受信信号分布画像を作成する受信信号測定工程と、
前記輪郭画像と受信信号分布画像とを重合わせる重合わせ工程と、
前記重合わせにより、前記輪郭画像において、受信信号が重なる小領域を物体の輪郭であると特定する物体特定工程とを備えたことを特徴とする物体の自動認識方法。
【請求項２】
前記超音波受信工程は、複数の受波素子を配列したアレイセンサにて受信信号を受信することを特徴とする請求項１の物体の自動認識方法。
【請求項３】
前記輪郭画像は、前記イメージ画像を強度画像に変換して２値化を行い、これをラベリング処理したものであることを特徴とする請求項１又は請求項２の物体の自動認識方法。
【請求項４】
前記輪郭画像は、前記イメージ画像をwatershedアルゴリズムを用いてラベリング処理したものであることを特徴とする請求項１又は請求項２の物体の自動認識方法。
【請求項５】
特定の空間を撮像してイメージ画像を取得する画像取得手段と、
イメージ画像に基づいて、そのイメージ画像に写る輪郭を囲んだ小領域にて分割された輪郭画像を作成する画像処理手段と、
前記空間に超音波を送信する超音波送信手段と、
前記超音波が反射して生成された反射波を受信する超音波受信手段と、
前記反射波の受信信号を測定して、この受信信号の強度に基づいて、空間の物体の存在及び距離を表示する受信信号分布画像を作成する受信信号分布画像作成手段と、
前記輪郭画像と受信信号分布画像とを重合わせて、受信信号の存在する小領域を物体の輪郭であると特定する重合わせ手段とを備えたことを特徴とする物体の自動認識装置。
【請求項６】
前記超音波受信手段は、複数の受波素子を配列したアレイセンサとしたことを特徴とする請求項５の物体の自動認識装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１１−５３１９７（Ｐ２０１１−５３１９７Ａ）
【公開日】平成２３年３月１７日（２０１１．３．１７）
【国際特許分類】
【出願番号】特願２００９−２４６４６４（Ｐ２００９−２４６４６４）
【出願日】平成２１年１０月２７日（２００９．１０．２７）
【出願人】（０００１５６９３８）関西電力株式会社 (1,442)
【出願人】（３０４０００８３６）学校法人 名古屋電気学園 (22)
【Ｆターム（参考）】
【公開日】平成２３年３月１７日（２０１１．３．１７）
【国際特許分類】
【出願日】平成２１年１０月２７日（２００９．１０．２７）
【出願人】（０００１５６９３８）関西電力株式会社 (1,442)
【出願人】（３０４０００８３６）学校法人 名古屋電気学園 (22)
【Ｆターム（参考）】
[ Back to top ]