３次元物体位置計測装置
【課題】時間的に連続する複数の画像データを取得して３次元物体の位置を計測する３次元物体位置計測装置を提供する。
【解決手段】対象物を撮影し当該対象物に対して視差を有する複数の画像の時間的に連続な画像データを取得し、取得した画像データに基づいて、対象物からの距離情報を含む特徴量を抽出する。抽出された特徴量の距離情報に基づいて、対象とする３次元空間をボクセルに分割したボクセル空間において特徴量を抽出した対象物と撮影手段のレンズ中心を結ぶ直線をボクセル空間中に引いて、直線が交差するボクセルに１票ずつ投票する処理を行い、ボクセル投票処理の投票結果の履歴データを保持する。ボクセル投票履歴を前記撮影手段が移動した移動ベクトルに基づいて補正し、ボクセル投票結果および補正されたボクセル投票履歴のデータに基づいてボクセル空間内の対象物の位置を特定する。
【解決手段】対象物を撮影し当該対象物に対して視差を有する複数の画像の時間的に連続な画像データを取得し、取得した画像データに基づいて、対象物からの距離情報を含む特徴量を抽出する。抽出された特徴量の距離情報に基づいて、対象とする３次元空間をボクセルに分割したボクセル空間において特徴量を抽出した対象物と撮影手段のレンズ中心を結ぶ直線をボクセル空間中に引いて、直線が交差するボクセルに１票ずつ投票する処理を行い、ボクセル投票処理の投票結果の履歴データを保持する。ボクセル投票履歴を前記撮影手段が移動した移動ベクトルに基づいて補正し、ボクセル投票結果および補正されたボクセル投票履歴のデータに基づいてボクセル空間内の対象物の位置を特定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、時間的に連続する複数の画像データを取得して、非接触で監視対象物の３次元物体の位置を計測することができる３次元物体位置計測装置に関するものである。
【背景技術】
【０００２】
従来、用いられていた３次元物体の距離計測方法としては、典型的には、２台のカメラを用いてステレオ撮影を行い、対象物の３次元位置を計測するものがある。例えば、特許文献１で提案されているように、周知の二点測量の原理を用い、２台のカメラを用い、２点から撮影するカメラの位置と角度から被写体までの距離を測定するものがある。この特許文献１に記載の立体カメラ用雲台装置の発明では、ある時間のカメラからの画像入力により正確な距離を測定するために、２台のカメラの位置と角度を制御する。
【０００３】
また、複数台のカメラで撮影された画像のデータから対象物の３次元空間における位置を判定するために、ボクセル投票処理を利用しているものとして、特許文献２に記載のインタフェース方法の発明がある。この発明では、ボクセル投票処理を利用して実空間の３次元空間をボクセルに分割したボクセル空間における３次元位置の物体情報の判定を行う。
【特許文献１】特開２００５−２４６２９号公報
【特許文献２】特開２００５−３２１９６６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来における距離計測方法を利用して、立体物の３次元位置を判定するには、特許文献１に記載のように、複雑な装置構成を必要とし、装置全体の構成が大きくなり、かつ、複雑化する等の課題が存在していた。
【０００５】
また、特許文献２に記載されているインタフェース方法の発明では、ボクセル投票処理を利用して、実空間の３次元空間をボクセルに分割したボクセル空間における３次元位置の物体情報の判定を行うが、この場合に、対象の３次元空間内に固定された複数台のカメラで撮影した複数の入力画像から、操作者の体の部位の、該操作者の指し示した方向に関わる始点と終点の３次元座標を算出し、操作者の指し示す実空間上での３次元指示方向情報を求める処理など複雑な処理を必要としており、計算コストが大きいという問題がある。
【０００６】
本発明は、上記のような課題を解決するためになされたものであり、本発明の目的は、時間的に連続する複数の画像データを取得して、非接触で監視対象物の３次元物体の位置を計測することができる３次元物体位置計測装置を提供することにある。
【課題を解決するための手段】
【０００７】
上記の目的を達成するため、本発明の３次元物体位置計測装置は、対象物を撮影し当該対象物に対して視差を有する複数の画像の時間的に連続な画像データを取得する撮影手段と、前記撮影手段により取得された画像データに基づいて、対象物からの距離情報を含む特徴量を抽出する複数の特徴量抽出手段と、前記特徴量抽出手段にて抽出された特徴量の距離情報に基づいて、対象とする３次元空間をボクセルに分割したボクセル空間において特徴量を抽出した対象物と撮影手段のレンズ中心を結ぶ直線をボクセル空間中に引いて、直線が交差するボクセルに１票ずつ投票する処理を行うボクセル投票処理手段と、前記ボクセル投票処理手段による投票結果の履歴データを保持するボクセル投票履歴保持手段と、前記ボクセル投票履歴を前記撮影手段が移動した移動ベクトルに基づいて補正する移動量補正手段と、前記ボクセル投票結果および補正されたボクセル投票履歴に基づいてボクセル空間内における対象物の位置を特定する３次元位置計測処理手段とを有することを特徴とするものである。
【０００８】
また、本発明の３次元物体位置計測装置は、一つの態様として、撮影手段は、カメラを制御して対象物を撮影し、対象物に対して視差を有する複数の画像の時間的に連続な画像データを取得すると共に、ボクセル投票処理手段は、カメラの移動速度によって、対象とする３次元空間の大きさとボクセルのサイズを変更するように構成される。
【０００９】
また、本発明の３次元物体位置計測装置は、別の態様として、撮影手段は、移動する単一のカメラにより対象物を撮影して、対象物に対して視差を有する複数の画像の時間的に連続な画像データを取得するように構成される。
【００１０】
また、本発明の３次元物体位置計測装置においては、更に、３次元位置計測処理手段により特定した対象物の位置と、自己の３次元モデルとボクセル空間内の対象物の間隔を測定する間隔測定手段を有することを特徴とするものである。
【００１１】
また、本発明の３次元物体位置計測装置においては、更に、計測した自己の３次元モデルとボクセル空間内の対象物との間隔と、現在から複数回分の間隔を測定した間隔計測履歴を用いて、自己の３次元モデルとボクセル空間内の対象物との間隔の変化量を計測する間隔変化量計測手段を有することを特徴とするものである。
【００１２】
また、本発明の３次元物体位置計測装置においては、３次元モデルは移動体であり、対象物は空間に固定された立体物であることを特徴とするものである。
【００１３】
また、本発明の３次元物体位置計測装置においては、更に、間隔変化量計測手段からの出力に基づいて、対象物と自己モデルとの間の接触までの時間を判定する接触危険判定装置を有することを特徴とするものである。
【００１４】
また、本発明の３次元物体位置計測装置において、更に、接触危険判定装置からの出力に基づいて警告情報を出力する接触警告装置を有することを特徴とするものである。
【００１５】
また、本発明の３次元物体位置計測装置においては、更に、接触警告装置からの出力に基づいて安全装置を動作させる安全制御装置を有することを特徴とするものである。
【発明の効果】
【００１６】
このような特徴を有する本発明の３次元物体位置計測装置によれば、単一もしくは複数のカメラにより取得された時間的に連続性のある画像データの情報により、対象とする３次元空間をボクセルに分割したボクセル空間において、自己の３次元モデルの立体物と、対象物である例えば周囲の立体物との距離を判定することでき、周囲の立体物と自己の３次元モデルである立体物の移動体との衝突の可能性を予測することができる。
【００１７】
従来の３次元位置の距離計測装置は、複数のカメラからの入力画像データに基づいて、物体の距離を測定するが、本発明の３次元物体位置計測装置においては、時間的に連続する画像データによって、累積されたボクセル投票結果に基づいて３次元物体の位置を計測する。これにより、従来の３次元位置の距離計測装置に比べて多くの情報を利用できるため、ある時間の入力画像に対する処理量を削減することができ、装置構成の簡単化が可能となる。
【００１８】
また、従来における３次元位置の距離測定方法では、ステレオカメラのように複数のカメラを用いることが必要であるが、本発明の３次元物体位置計測装置においては、画像データを取得する撮像装置が移動するため、例えば、撮像装置が搭載された３次元物体位置計測装置が移動するため、単一カメラにより時間的に連続する画像データを取得し、これを擬似的なステレオ画像として利用して、時間的に発生するカメラの視差を用いて、擬似的に複数のカメラと同様の機能を実現できる。
【００１９】
また、従来における３次元位置の距離測定方法では、物体の移動速度が高くなるに従って高速の処理を必要とするが、本発明の３次元物体位置計測装置においては、画像データを取得する３次元物体位置計測装置の移動速度に応じて、計測する対象の３次元空間の範囲と、それを分割するボクセルの大きさを変更することにより、移動速度が大きくなっても処理量をあまり増やさずに必要な計測を行うことができる。
【００２０】
また、本発明による３次元物体位置計測装置においては、この３次元物体位置計測装置を搭載した自己モデルと対象物の周囲の立体物との間隔および間隔の変化量を測定し、自己モデルの立体物の移動体と周囲の３次元空間における立体物の対象物とが接触する可能性を予測して、ある時間内に接触すると予測される場合に、警告もしくは自己モデルの移動体の移動を制御し、接触を回避することが可能となる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明を実施する場合に一つの形態について、具体的に図面を参照して説明する。図１は、本発明の一実施例の３次元物体位置計測装置の構成を説明するブロック図であり、図２は、本発明の３次元物体位置計測装置におけるボクセル投票処理を説明する説明図である。図２には、立方体形状の単位３次元空間であるボクセルと、３次元位置の距離を計測する対象の３次元空間のボクセル空間との関係が示されている。
【００２２】
図１において、１０１は第１カメラ画像入力部、１０２は第２カメラ画像入力部、１０３は第１特徴量抽出処理部、１０４は第２特徴量抽出処理部、１０５はボクセル投票処理部、１０６は３次元位置計測処理部、１０７はボクセル投票履歴データ納付部、１０８は移動量補正処理部、１０９は撮影装置移動量である。図２において、２０１は対象の３次元空間のボクセル空間、２０２は立方体形状の単位３次元空間であるボクセル、２０３は第１カメラ画像入力部の撮像装置のカメラ、２０４は第２カメラ画像入力部の撮像装置のカメラ、２０５は対象物の特徴量抽出結果をそれぞれ示している。
【００２３】
図１および図２を参照して説明する。第１カメラ画像入力部１０１は、複数のカメラ（撮影装置）により対象物となる立体物を撮影して、複数のカメラのカメラ視線方向（レンズ中心軸方向）により対象物に対して視差を有する複数の画像の時間的に連続な画像データを取得する。第２カメラ画像入力部１０２は、複数のカメラ（撮影装置）により対象物となる立体物を撮影して、複数のカメラのカメラ視線方向（レンズ中心軸方向）により対象物に対して視差を有する複数の画像の時間的に連続な画像データを取得する。なお、第１カメラ画像入力部１０１および第２カメラ画像入力部１０２では、カメラが移動体に搭載されており、カメラにより時間的に連続する画像データを取得した場合には、取得した連続した画像データに時間的に発生するカメラ視差があるので、この画像データを用いることもできる。このような場合には、カメラは単一カメラでよい。
【００２４】
これらの第１カメラ画像入力部１０１および第２カメラ画像入力部１０２は、後述するように、ボクセル空間における対象物の識別性を高くするために、図２に示されるように、第１カメラ画像入力部１０１のカメラ２０３のカメラ視線方向と、第２カメラ画像入力部１０２におけるカメラ２０４のカメラ視線方向とは、互いに異なる方向に設定される。
【００２５】
第１特徴量抽出処理部１０３は、第１カメラ画像入力部１０１から出力された時間的に連続な画像データに対して、複数の画像データにおける視差により、ステレオ法による画像処理を行い、対象物からの距離情報を含む特徴量を抽出する。ここで画像データから抽出する特徴量として、例えば、対象物を識別するための特徴量である形状データ、色データなどと共に撮像装置と対象物の間の距離情報が利用される。同じく、第２特徴量抽出処理部１０４は、第２カメラ画像入力部１０２から出力された時間的に連続な画像データに対し、複数の画像データにおける視差により、ステレオ法による画像処理を行い、対象物からの距離情報を含む特徴量を抽出する。
【００２６】
ボクセル投票処理部１０５は、第１特徴量抽出処理部１０３および第２特徴量抽出処理部１０４により抽出された特徴量の距離情報に基づいて、ボクセル投票処理を行う。ボクセル投票処理では、図２に示されるように、対象とする３次元空間をボクセル２０２に分割したボクセル空間２０１において特徴量を抽出した対象物２０５とカメラ（２０３，２０４）のレンズ中心を結ぶ直線をボクセル空間２０１中に引いて、直線が交差するボクセルに１票ずつ投票する処理を行い、その結果のボクセル投票結果データを出力する。そして、後述するように、ボクセル投票結果データに基づいて、ボクセル空間２０１における各ボクセル２０２の投票結果のデータに基づいて、対象物の位置が特定され、対象物の立体と自己の３次元モデルの立体との関係の距離がボクセルの単位で計測される。
【００２７】
ボクセル投票履歴データ格納部１０７は、ボクセル投票結果の履歴を保持するため、ボクセル投票処理部１０５から出力されたボクセル投票結果データの履歴のデータを時系列データに対応させて格納する。また、時系列データは、３次元物体位置計測装置の移動量のデータを対応させて保持される。
【００２８】
移動量補正処理部１０８は、ボクセル投票履歴データを撮像装置のカメラ位置が移動する移動ベクトルに基づいて補正する処理を行う。３次元位置計測処理部１０６は、ボクセル投票結果および補正されたボクセル投票履歴に基づいて、ボクセル空間内における対象物の位置を特定する処理を行う。
【００２９】
図３は、対象とする３次元空間の大きさとボクセルの分割サイズとの関係を説明する図である。図３（ａ）は移動速度が高い場合の３次元空間をボクセル空間に分割するボクセルのサイズを説明する図であり、図３（ｂ）は移動速度が低い場合の３次元空間をボクセル空間に分割するボクセルのサイズを説明する図である。３０１は移動速度が高い場合の３次元空間、３０２は移動速度が高い場合のボクセルであり、また、３１１は移動速度が低い場合の３次元空間、３１２は移動速度が低い場合のボクセルである。
【００３０】
本発明の３次元物体位置計測装置は移動体に搭載されており、前述したように、カメラ画像を入力するための撮像装置のカメラは、移動して対象物に対して視差を有する複数の画像の時間的に連続な画像データを取得する。その場合に、移動体の移動速度、すなわち、カメラの移動速度に応じて、ボクセル投票処理部１０５のボクセル投票処理では、ボクセルサイズが変更され、変更されたサイズのボクセルにより対象とする３次元空間のボクセル空間を分割する。その結果として、対象の３次元空間のボクセル空間のサイズについても変更される。これにより、移動速度が大きくなっても処理量をあまり増やさずに必要な計測を行うことができる。
【００３１】
図３（ａ）に示されるように、移動体の移動速度が高い場合には、ボクセルのサイズを大きくする。これにより、ボクセルにより分割する対象とする３次元空間のボクセル空間も大きくして処理を行う。また、移動体の移動速度が低い場合には、図３（ｂ）に示されるように、ボクセルのサイズを小さくして、ボクセルにより分割する対象とする３次元空間のボクセル空間も小さくして処理を行う。このようにすると、移動速度が高くなり、また低くなっても、処理量を増やすことなくデータ処理量により必要な計測を行うことができる。
【００３２】
次に本発明の３次元物体位置計測装置の変形例及び応用例について説明する。図４は、単一のカメラで対象物を撮影する構成の３次元物体位置計測装置の構成を示すブロック図である。この場合には、移動する単一のカメラにより対象物を撮影して、対象物に対して視差を有する複数の画像の時間的に連続な画像データを取得する。動作については、図１により説明した３次元物体位置計測装置と同様である。
【００３３】
図４に示す単一のカメラで対象物を撮影する構成の３次元物体位置計測装置について説明する。４０１はカメラ画像入力部、４０２は特徴量抽出処理部、４０３はボクセル投票処理部、４０４は３次元位置計測処理部、４０５はボクセル投票履歴データ納付部、４０６は移動量補正処理部、４０７は撮影装置移動量である。
【００３４】
カメラ画像入力部４０１は、単一のカメラにより対象物となる立体物を撮影して、カメラ移動量による時間差で対象物に対して視差を有する複数の画像の時間的に連続な画像データを取得する。特徴量抽出処理部４０２は、カメラ画像入力部４０１から出力された時間的に連続な画像データに対して、複数の画像データにおける視差により、ステレオ法による画像処理を行い、対象物からの距離情報を含む特徴量を抽出する。特徴量抽出処理部４０２により抽出された特徴量は、ボクセル投票処理部４０３に入力される。ボクセル投票処理部４０３では、特徴量の距離情報に基づいて、ボクセル投票処理を行う。ボクセル投票処理は、対象とする３次元空間をボクセルに分割したボクセル空間において特徴量を抽出した対象物とカメラのレンズ中心を結ぶ直線をボクセル空間中に引いて、直線が交差するボクセルに１票ずつ投票する処理を行い、その結果のボクセル投票結果データを出力する。
【００３５】
ボクセル投票履歴データ格納部４０５は、ボクセル投票処理部４０３から出力されたボクセル投票結果データの履歴のデータを時系列データに対応させて格納する。また、時系列データは、３次元物体位置計測装置の移動量のデータを対応させて保持される。
【００３６】
移動量補正処理部４０６は、ボクセル投票履歴データを撮像装置のカメラ位置が移動する移動ベクトルに基づいて補正する処理を行う。３次元位置計測処理部４０４では、ボクセル投票結果および補正されたボクセル投票履歴に基づいて、ボクセル空間内における対象物の位置を特定する処理を行う。これにより、ボクセル投票結果データに基づいて、ボクセル空間における各ボクセルの投票結果のデータに基づいて、対象物の位置を特定し、対象物の立体と自己の３次元モデルの立体との関係の距離がボクセルの単位で計測される。
【００３７】
図５は、３次元物体位置計測装置を利用して、３次元物体の間隔計測を行う場合の応用例の構成を示すブロック図であり、図６は、３次元物体位置計測装置において作成された３次元空間のボクセル空間を利用して３次元物体の間隔計測を行う処理の一例を説明する図である。図６の（ａ）はボクセル空間を上から見た状態の図を示しており、図６の（ｂ）はボクセル空間を前から見た状態の図を示しており、図６の（ｃ）はボクセル空間を横から見た状態の図を示しており、立体図形の平面図、正面図、側面図に対応している。
【００３８】
図５および図６において、５０１は３次元物体位置計測装置、５０２は間隔を測定する対象とする自己の三次元モデルのデータ、５０３は間隔測定装置、６００はボクセル空間、６０１は自己の３次元モデル、６０２は測定された対象物の第１の立体、６０３は測定された対象物の第１の立体である。
【００３９】
図５および図６を参照して３次元物体の間隔計測の処理について説明すると、３次元物体の間隔計測では、３次元物体位置計測装置５０１においてボクセル空間の中で計測された対象物に対して、間隔を測定する対象とする自己の三次元モデルを、同じボクセル空間に導入する。そして、当該ボクセル空間において対象物と自己の３次元モデルとの立体との間隔を計測する。
【００４０】
間隔測定装置５０３には、３次元物体位置計測装置５０１により計測された対象物の位置がボクセル空間の中で表現されており、これに対して、間隔を測定する対象とする自己の三次元モデル５０２を、同じボクセル空間に導入する。この状態のボクセル空間６００が、図６に示されている。そして、間隔測定装置５０３が、当該ボクセル空間において対象物と自己の３次元モデルとの立体との間隔を計測する。図６に示すように、ボクセル空間６００に自己の三次元モデル６０１が導入されており、また、ボクセル空間６００には、３次元物体位置計測装置５０１により計測された対象物の位置データが、第１の立体６０２，第２の立体６０３として、その位置が表現されている。これらの立体の位置関係が、ボクセル空間６００において、それぞれのボクセルのサイズを基準の単位として計測されて、間隔測定が行われる。図６では、測定される間隔が、矢印で表記されている。
【００４１】
このように、間隔測定装置５０３では、自己の３次元モデル（移動体）と対象物の立体との間隔が測定できるので、この間隔測定を継続して行うことにより、所定時間の間の変化量を計測できる。変化量が計測できると、自己の３次元モデル（移動体）と対象物の立体とが接近しているのか、遠ざかっているのかが判定できる。図７は、３次元物体位置計測装置を利用して、３次元物体の間隔変化量の計測を行う応用例の構成を示すブロック図である。
【００４２】
図７には、３次元物体位置計測装置を間隔変化量計測装置に利用する場合の構成の一例が示されている。図７において、５０１は３次元物体位置計測装置、５０２は間隔を測定する対象とする自己の三次元モデルのデータ、５０３は間隔測定装置、７０１は間隔計測データの履歴を格納する間隔計測履歴データ格納装置、７０２は間隔変化量計測装置である。
【００４３】
前述したように、間隔測定装置５０３が、３次元位置計測装置５０１から測定される対象物の立体の位置データと、自己３次元モデルデータ５０２により、自己の３次元モデル（移動体）と対象物の立体との間隔が測定し、この間隔測定を継続して行い、間隔計測履歴データ格納装置７０１に測定結果のデータを履歴データとして、継続して蓄積しておく。間隔変化量計測装置７０２では、間隔計測履歴データ格納装置７０１に格納された所定の回数分の間隔測定履歴データと、間隔測定装置５０３から出力された間隔測定データにより、間隔変化量のデータが測定されて出力される。この間隔変化量のデータは、更に、接触・危険判定処理のためのデータとして利用される。
【００４４】
応用例として、ここでの自己の３次元モデルを、自動車などの移動体として、また、３次元位置を判定する対象物は周囲の空間に固定されて配置されている立体物とすると、その間隔変化量を測定することにより、移動体と立体物が接触するまでの時間を判定できる。判定された時間に応じて、接触の可能性の警告、危険の回避のための安全制御を行うことができる。
【００４５】
このような３次元物体位置計測装置の応用例について、更に説明する。図８には、３次元物体位置計測装置を利用して、３次元物体の間隔計測を行い、接触危険を判定し、接触警告を出力し、更に安全制御を行う応用例の構成を示すブロック図を示している。
【００４６】
これまでに、説明したように、本発明の３次元物体位置計測装置を利用して、３次元物体の間隔計測を行い、接触危険を判定し、接触警告を出力し、更に安全制御を行う場合の装置構成が、図８のブロック図として示されている。図８において、５０１は３次元物体位置計測装置、５０２は間隔を測定する対象とする自己の三次元モデルのデータ、５０３は間隔測定装置、７０１は間隔計測データの履歴を格納する間隔計測履歴データ格納装置、７０２は間隔変化量計測装置、７０３は接触・危険判定処理装置、７０４は接触警告装置、７０５は安全制御装置である。
【００４７】
図７を参照して説明したように、図８の装置構成においても、間隔測定装置５０３が、３次元位置計測装置５０１から測定される対象物の立体の位置データと、自己３次元モデルデータ５０２により、自己の３次元モデル（移動体）と対象物の立体との間隔が測定し、この間隔測定を継続して行い、間隔計測履歴データ格納装置７０１に測定結果のデータを履歴データとして、継続して蓄積しておく。間隔変化量計測装置７０２では、間隔計測履歴データ格納装置７０１に格納された所定の回数分の間隔測定履歴データと、間隔測定装置５０３から出力された間隔測定データにより、間隔変化量のデータが測定されて出力される。間隔変化量計測手装置７０２からの出力は、接触・危険判定処理装置７０３に入力される。接触・危険判定処理装置７０３には、危険を判定するために、予め接触するまでの時間が設定されており、間隔変化量のデータにより、対象物と自己モデルとの間の接触までの時間を判定すし、設定された時間に基づいて、接触・危険を判定する。
【００４８】
接触・危険判定処理装置７０３により、間隔変化量計測手装置７０２からの出力に基づいて、対象物と自己モデルとの間の接触までの時間が判定され、危険を判定すると、接触警告装置７０４により、モニタ表示、ブザー鳴動などにより、警告情報を出力する。更に、安全制御装置７０５が設けられており、安全制御装置７０５が、接触警告装置７０４からの出力に基づいて、ブレーキをかけるなどして安全制御を行い、安全装置を動作させる。
【００４９】
このように、本発明の３次元物体位置計測装置により計測されたボクセル空間の対象物の位置に基づいて、本発明では、計測装置を搭載した自己のモデルと周囲の３次元空間との間隔および間隔の変化量を測定し、自己のモデルと周囲の３次元空間とが接触する可能性を推定し、ある時間内に接触すると予測される場合に、警告もしくは自己の移動を制御することにより、接触を回避することが可能となる。
【図面の簡単な説明】
【００５０】
【図１】本発明の一実施例の３次元物体位置計測装置のシステム構成を説明するブロック図である。
【図２】本発明の３次元物体位置計測装置におけるボクセル投票処理を説明する説明図である。
【図３】対象とする３次元空間の大きさとボクセルの分割サイズとの関係を説明する図である。
【図４】単一のカメラで対象物を撮影する３次元物体位置計測装置の構成を示すブロック図である。
【図５】３次元物体位置計測装置を利用して、３次元物体の間隔計測を行う場合の応用例の構成を示すブロック図である。
【図６】３次元物体位置計測装置において作成された３次元空間のボクセル空間を利用して３次元物体の間隔計測を行う処理の一例を説明する図である。
【図７】３次元物体位置計測装置を利用して、３次元物体の間隔変化量の計測を行う応用例の構成を示すブロック図である。
【図８】３次元物体位置計測装置を利用して、３次元物体の間隔計測を行い、接触危険を判定し、接触警告を出力し、更に安全制御を行う応用例の構成を示すブロック図である。
【符号の説明】
【００５１】
１０１ 第１カメラ画像入力部
１０２ 第２カメラ画像入力部
１０３ 第１特徴量抽出処理部
１０４ 第２特徴量抽出処理部
１０５ ボクセル投票処理部
１０６ ３次元位置計測処理部
１０７ ボクセル投票履歴データ納付部
１０８ 移動量補正処理部
１０９ 撮影装置移動量
２０１ ボクセル空間
２０２ ボクセル、
２０３ カメラ、
２０４ カメラ、
２０５ 対象物の特徴量抽出結果
３０１ 移動速度が高い場合の３次元空間
３０２ 移動速度が高い場合のボクセル
３１１ 移動速度が低い場合の３次元空間
３１２ 移動速度が低い場合のボクセル
４０１ カメラ画像入力部
４０２ 特徴量抽出処理部
４０３ ボクセル投票処理部
４０４ ３次元位置計測処理部
４０５ ボクセル投票履歴データ納付部
４０６ 移動量補正処理部
４０７ 撮影装置移動量
５０１ ３次元物体位置計測装置
５０２ 三次元モデルデータ、
５０３ 間隔測定装置
７０１ 間隔計測履歴データ格納装置、
７０２ 間隔変化量計測装置
７０３ 接触・危険判定処理装置
７０４ 接触警告装置、
７０５ 安全制御装置
【技術分野】
【０００１】
本発明は、時間的に連続する複数の画像データを取得して、非接触で監視対象物の３次元物体の位置を計測することができる３次元物体位置計測装置に関するものである。
【背景技術】
【０００２】
従来、用いられていた３次元物体の距離計測方法としては、典型的には、２台のカメラを用いてステレオ撮影を行い、対象物の３次元位置を計測するものがある。例えば、特許文献１で提案されているように、周知の二点測量の原理を用い、２台のカメラを用い、２点から撮影するカメラの位置と角度から被写体までの距離を測定するものがある。この特許文献１に記載の立体カメラ用雲台装置の発明では、ある時間のカメラからの画像入力により正確な距離を測定するために、２台のカメラの位置と角度を制御する。
【０００３】
また、複数台のカメラで撮影された画像のデータから対象物の３次元空間における位置を判定するために、ボクセル投票処理を利用しているものとして、特許文献２に記載のインタフェース方法の発明がある。この発明では、ボクセル投票処理を利用して実空間の３次元空間をボクセルに分割したボクセル空間における３次元位置の物体情報の判定を行う。
【特許文献１】特開２００５−２４６２９号公報
【特許文献２】特開２００５−３２１９６６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来における距離計測方法を利用して、立体物の３次元位置を判定するには、特許文献１に記載のように、複雑な装置構成を必要とし、装置全体の構成が大きくなり、かつ、複雑化する等の課題が存在していた。
【０００５】
また、特許文献２に記載されているインタフェース方法の発明では、ボクセル投票処理を利用して、実空間の３次元空間をボクセルに分割したボクセル空間における３次元位置の物体情報の判定を行うが、この場合に、対象の３次元空間内に固定された複数台のカメラで撮影した複数の入力画像から、操作者の体の部位の、該操作者の指し示した方向に関わる始点と終点の３次元座標を算出し、操作者の指し示す実空間上での３次元指示方向情報を求める処理など複雑な処理を必要としており、計算コストが大きいという問題がある。
【０００６】
本発明は、上記のような課題を解決するためになされたものであり、本発明の目的は、時間的に連続する複数の画像データを取得して、非接触で監視対象物の３次元物体の位置を計測することができる３次元物体位置計測装置を提供することにある。
【課題を解決するための手段】
【０００７】
上記の目的を達成するため、本発明の３次元物体位置計測装置は、対象物を撮影し当該対象物に対して視差を有する複数の画像の時間的に連続な画像データを取得する撮影手段と、前記撮影手段により取得された画像データに基づいて、対象物からの距離情報を含む特徴量を抽出する複数の特徴量抽出手段と、前記特徴量抽出手段にて抽出された特徴量の距離情報に基づいて、対象とする３次元空間をボクセルに分割したボクセル空間において特徴量を抽出した対象物と撮影手段のレンズ中心を結ぶ直線をボクセル空間中に引いて、直線が交差するボクセルに１票ずつ投票する処理を行うボクセル投票処理手段と、前記ボクセル投票処理手段による投票結果の履歴データを保持するボクセル投票履歴保持手段と、前記ボクセル投票履歴を前記撮影手段が移動した移動ベクトルに基づいて補正する移動量補正手段と、前記ボクセル投票結果および補正されたボクセル投票履歴に基づいてボクセル空間内における対象物の位置を特定する３次元位置計測処理手段とを有することを特徴とするものである。
【０００８】
また、本発明の３次元物体位置計測装置は、一つの態様として、撮影手段は、カメラを制御して対象物を撮影し、対象物に対して視差を有する複数の画像の時間的に連続な画像データを取得すると共に、ボクセル投票処理手段は、カメラの移動速度によって、対象とする３次元空間の大きさとボクセルのサイズを変更するように構成される。
【０００９】
また、本発明の３次元物体位置計測装置は、別の態様として、撮影手段は、移動する単一のカメラにより対象物を撮影して、対象物に対して視差を有する複数の画像の時間的に連続な画像データを取得するように構成される。
【００１０】
また、本発明の３次元物体位置計測装置においては、更に、３次元位置計測処理手段により特定した対象物の位置と、自己の３次元モデルとボクセル空間内の対象物の間隔を測定する間隔測定手段を有することを特徴とするものである。
【００１１】
また、本発明の３次元物体位置計測装置においては、更に、計測した自己の３次元モデルとボクセル空間内の対象物との間隔と、現在から複数回分の間隔を測定した間隔計測履歴を用いて、自己の３次元モデルとボクセル空間内の対象物との間隔の変化量を計測する間隔変化量計測手段を有することを特徴とするものである。
【００１２】
また、本発明の３次元物体位置計測装置においては、３次元モデルは移動体であり、対象物は空間に固定された立体物であることを特徴とするものである。
【００１３】
また、本発明の３次元物体位置計測装置においては、更に、間隔変化量計測手段からの出力に基づいて、対象物と自己モデルとの間の接触までの時間を判定する接触危険判定装置を有することを特徴とするものである。
【００１４】
また、本発明の３次元物体位置計測装置において、更に、接触危険判定装置からの出力に基づいて警告情報を出力する接触警告装置を有することを特徴とするものである。
【００１５】
また、本発明の３次元物体位置計測装置においては、更に、接触警告装置からの出力に基づいて安全装置を動作させる安全制御装置を有することを特徴とするものである。
【発明の効果】
【００１６】
このような特徴を有する本発明の３次元物体位置計測装置によれば、単一もしくは複数のカメラにより取得された時間的に連続性のある画像データの情報により、対象とする３次元空間をボクセルに分割したボクセル空間において、自己の３次元モデルの立体物と、対象物である例えば周囲の立体物との距離を判定することでき、周囲の立体物と自己の３次元モデルである立体物の移動体との衝突の可能性を予測することができる。
【００１７】
従来の３次元位置の距離計測装置は、複数のカメラからの入力画像データに基づいて、物体の距離を測定するが、本発明の３次元物体位置計測装置においては、時間的に連続する画像データによって、累積されたボクセル投票結果に基づいて３次元物体の位置を計測する。これにより、従来の３次元位置の距離計測装置に比べて多くの情報を利用できるため、ある時間の入力画像に対する処理量を削減することができ、装置構成の簡単化が可能となる。
【００１８】
また、従来における３次元位置の距離測定方法では、ステレオカメラのように複数のカメラを用いることが必要であるが、本発明の３次元物体位置計測装置においては、画像データを取得する撮像装置が移動するため、例えば、撮像装置が搭載された３次元物体位置計測装置が移動するため、単一カメラにより時間的に連続する画像データを取得し、これを擬似的なステレオ画像として利用して、時間的に発生するカメラの視差を用いて、擬似的に複数のカメラと同様の機能を実現できる。
【００１９】
また、従来における３次元位置の距離測定方法では、物体の移動速度が高くなるに従って高速の処理を必要とするが、本発明の３次元物体位置計測装置においては、画像データを取得する３次元物体位置計測装置の移動速度に応じて、計測する対象の３次元空間の範囲と、それを分割するボクセルの大きさを変更することにより、移動速度が大きくなっても処理量をあまり増やさずに必要な計測を行うことができる。
【００２０】
また、本発明による３次元物体位置計測装置においては、この３次元物体位置計測装置を搭載した自己モデルと対象物の周囲の立体物との間隔および間隔の変化量を測定し、自己モデルの立体物の移動体と周囲の３次元空間における立体物の対象物とが接触する可能性を予測して、ある時間内に接触すると予測される場合に、警告もしくは自己モデルの移動体の移動を制御し、接触を回避することが可能となる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明を実施する場合に一つの形態について、具体的に図面を参照して説明する。図１は、本発明の一実施例の３次元物体位置計測装置の構成を説明するブロック図であり、図２は、本発明の３次元物体位置計測装置におけるボクセル投票処理を説明する説明図である。図２には、立方体形状の単位３次元空間であるボクセルと、３次元位置の距離を計測する対象の３次元空間のボクセル空間との関係が示されている。
【００２２】
図１において、１０１は第１カメラ画像入力部、１０２は第２カメラ画像入力部、１０３は第１特徴量抽出処理部、１０４は第２特徴量抽出処理部、１０５はボクセル投票処理部、１０６は３次元位置計測処理部、１０７はボクセル投票履歴データ納付部、１０８は移動量補正処理部、１０９は撮影装置移動量である。図２において、２０１は対象の３次元空間のボクセル空間、２０２は立方体形状の単位３次元空間であるボクセル、２０３は第１カメラ画像入力部の撮像装置のカメラ、２０４は第２カメラ画像入力部の撮像装置のカメラ、２０５は対象物の特徴量抽出結果をそれぞれ示している。
【００２３】
図１および図２を参照して説明する。第１カメラ画像入力部１０１は、複数のカメラ（撮影装置）により対象物となる立体物を撮影して、複数のカメラのカメラ視線方向（レンズ中心軸方向）により対象物に対して視差を有する複数の画像の時間的に連続な画像データを取得する。第２カメラ画像入力部１０２は、複数のカメラ（撮影装置）により対象物となる立体物を撮影して、複数のカメラのカメラ視線方向（レンズ中心軸方向）により対象物に対して視差を有する複数の画像の時間的に連続な画像データを取得する。なお、第１カメラ画像入力部１０１および第２カメラ画像入力部１０２では、カメラが移動体に搭載されており、カメラにより時間的に連続する画像データを取得した場合には、取得した連続した画像データに時間的に発生するカメラ視差があるので、この画像データを用いることもできる。このような場合には、カメラは単一カメラでよい。
【００２４】
これらの第１カメラ画像入力部１０１および第２カメラ画像入力部１０２は、後述するように、ボクセル空間における対象物の識別性を高くするために、図２に示されるように、第１カメラ画像入力部１０１のカメラ２０３のカメラ視線方向と、第２カメラ画像入力部１０２におけるカメラ２０４のカメラ視線方向とは、互いに異なる方向に設定される。
【００２５】
第１特徴量抽出処理部１０３は、第１カメラ画像入力部１０１から出力された時間的に連続な画像データに対して、複数の画像データにおける視差により、ステレオ法による画像処理を行い、対象物からの距離情報を含む特徴量を抽出する。ここで画像データから抽出する特徴量として、例えば、対象物を識別するための特徴量である形状データ、色データなどと共に撮像装置と対象物の間の距離情報が利用される。同じく、第２特徴量抽出処理部１０４は、第２カメラ画像入力部１０２から出力された時間的に連続な画像データに対し、複数の画像データにおける視差により、ステレオ法による画像処理を行い、対象物からの距離情報を含む特徴量を抽出する。
【００２６】
ボクセル投票処理部１０５は、第１特徴量抽出処理部１０３および第２特徴量抽出処理部１０４により抽出された特徴量の距離情報に基づいて、ボクセル投票処理を行う。ボクセル投票処理では、図２に示されるように、対象とする３次元空間をボクセル２０２に分割したボクセル空間２０１において特徴量を抽出した対象物２０５とカメラ（２０３，２０４）のレンズ中心を結ぶ直線をボクセル空間２０１中に引いて、直線が交差するボクセルに１票ずつ投票する処理を行い、その結果のボクセル投票結果データを出力する。そして、後述するように、ボクセル投票結果データに基づいて、ボクセル空間２０１における各ボクセル２０２の投票結果のデータに基づいて、対象物の位置が特定され、対象物の立体と自己の３次元モデルの立体との関係の距離がボクセルの単位で計測される。
【００２７】
ボクセル投票履歴データ格納部１０７は、ボクセル投票結果の履歴を保持するため、ボクセル投票処理部１０５から出力されたボクセル投票結果データの履歴のデータを時系列データに対応させて格納する。また、時系列データは、３次元物体位置計測装置の移動量のデータを対応させて保持される。
【００２８】
移動量補正処理部１０８は、ボクセル投票履歴データを撮像装置のカメラ位置が移動する移動ベクトルに基づいて補正する処理を行う。３次元位置計測処理部１０６は、ボクセル投票結果および補正されたボクセル投票履歴に基づいて、ボクセル空間内における対象物の位置を特定する処理を行う。
【００２９】
図３は、対象とする３次元空間の大きさとボクセルの分割サイズとの関係を説明する図である。図３（ａ）は移動速度が高い場合の３次元空間をボクセル空間に分割するボクセルのサイズを説明する図であり、図３（ｂ）は移動速度が低い場合の３次元空間をボクセル空間に分割するボクセルのサイズを説明する図である。３０１は移動速度が高い場合の３次元空間、３０２は移動速度が高い場合のボクセルであり、また、３１１は移動速度が低い場合の３次元空間、３１２は移動速度が低い場合のボクセルである。
【００３０】
本発明の３次元物体位置計測装置は移動体に搭載されており、前述したように、カメラ画像を入力するための撮像装置のカメラは、移動して対象物に対して視差を有する複数の画像の時間的に連続な画像データを取得する。その場合に、移動体の移動速度、すなわち、カメラの移動速度に応じて、ボクセル投票処理部１０５のボクセル投票処理では、ボクセルサイズが変更され、変更されたサイズのボクセルにより対象とする３次元空間のボクセル空間を分割する。その結果として、対象の３次元空間のボクセル空間のサイズについても変更される。これにより、移動速度が大きくなっても処理量をあまり増やさずに必要な計測を行うことができる。
【００３１】
図３（ａ）に示されるように、移動体の移動速度が高い場合には、ボクセルのサイズを大きくする。これにより、ボクセルにより分割する対象とする３次元空間のボクセル空間も大きくして処理を行う。また、移動体の移動速度が低い場合には、図３（ｂ）に示されるように、ボクセルのサイズを小さくして、ボクセルにより分割する対象とする３次元空間のボクセル空間も小さくして処理を行う。このようにすると、移動速度が高くなり、また低くなっても、処理量を増やすことなくデータ処理量により必要な計測を行うことができる。
【００３２】
次に本発明の３次元物体位置計測装置の変形例及び応用例について説明する。図４は、単一のカメラで対象物を撮影する構成の３次元物体位置計測装置の構成を示すブロック図である。この場合には、移動する単一のカメラにより対象物を撮影して、対象物に対して視差を有する複数の画像の時間的に連続な画像データを取得する。動作については、図１により説明した３次元物体位置計測装置と同様である。
【００３３】
図４に示す単一のカメラで対象物を撮影する構成の３次元物体位置計測装置について説明する。４０１はカメラ画像入力部、４０２は特徴量抽出処理部、４０３はボクセル投票処理部、４０４は３次元位置計測処理部、４０５はボクセル投票履歴データ納付部、４０６は移動量補正処理部、４０７は撮影装置移動量である。
【００３４】
カメラ画像入力部４０１は、単一のカメラにより対象物となる立体物を撮影して、カメラ移動量による時間差で対象物に対して視差を有する複数の画像の時間的に連続な画像データを取得する。特徴量抽出処理部４０２は、カメラ画像入力部４０１から出力された時間的に連続な画像データに対して、複数の画像データにおける視差により、ステレオ法による画像処理を行い、対象物からの距離情報を含む特徴量を抽出する。特徴量抽出処理部４０２により抽出された特徴量は、ボクセル投票処理部４０３に入力される。ボクセル投票処理部４０３では、特徴量の距離情報に基づいて、ボクセル投票処理を行う。ボクセル投票処理は、対象とする３次元空間をボクセルに分割したボクセル空間において特徴量を抽出した対象物とカメラのレンズ中心を結ぶ直線をボクセル空間中に引いて、直線が交差するボクセルに１票ずつ投票する処理を行い、その結果のボクセル投票結果データを出力する。
【００３５】
ボクセル投票履歴データ格納部４０５は、ボクセル投票処理部４０３から出力されたボクセル投票結果データの履歴のデータを時系列データに対応させて格納する。また、時系列データは、３次元物体位置計測装置の移動量のデータを対応させて保持される。
【００３６】
移動量補正処理部４０６は、ボクセル投票履歴データを撮像装置のカメラ位置が移動する移動ベクトルに基づいて補正する処理を行う。３次元位置計測処理部４０４では、ボクセル投票結果および補正されたボクセル投票履歴に基づいて、ボクセル空間内における対象物の位置を特定する処理を行う。これにより、ボクセル投票結果データに基づいて、ボクセル空間における各ボクセルの投票結果のデータに基づいて、対象物の位置を特定し、対象物の立体と自己の３次元モデルの立体との関係の距離がボクセルの単位で計測される。
【００３７】
図５は、３次元物体位置計測装置を利用して、３次元物体の間隔計測を行う場合の応用例の構成を示すブロック図であり、図６は、３次元物体位置計測装置において作成された３次元空間のボクセル空間を利用して３次元物体の間隔計測を行う処理の一例を説明する図である。図６の（ａ）はボクセル空間を上から見た状態の図を示しており、図６の（ｂ）はボクセル空間を前から見た状態の図を示しており、図６の（ｃ）はボクセル空間を横から見た状態の図を示しており、立体図形の平面図、正面図、側面図に対応している。
【００３８】
図５および図６において、５０１は３次元物体位置計測装置、５０２は間隔を測定する対象とする自己の三次元モデルのデータ、５０３は間隔測定装置、６００はボクセル空間、６０１は自己の３次元モデル、６０２は測定された対象物の第１の立体、６０３は測定された対象物の第１の立体である。
【００３９】
図５および図６を参照して３次元物体の間隔計測の処理について説明すると、３次元物体の間隔計測では、３次元物体位置計測装置５０１においてボクセル空間の中で計測された対象物に対して、間隔を測定する対象とする自己の三次元モデルを、同じボクセル空間に導入する。そして、当該ボクセル空間において対象物と自己の３次元モデルとの立体との間隔を計測する。
【００４０】
間隔測定装置５０３には、３次元物体位置計測装置５０１により計測された対象物の位置がボクセル空間の中で表現されており、これに対して、間隔を測定する対象とする自己の三次元モデル５０２を、同じボクセル空間に導入する。この状態のボクセル空間６００が、図６に示されている。そして、間隔測定装置５０３が、当該ボクセル空間において対象物と自己の３次元モデルとの立体との間隔を計測する。図６に示すように、ボクセル空間６００に自己の三次元モデル６０１が導入されており、また、ボクセル空間６００には、３次元物体位置計測装置５０１により計測された対象物の位置データが、第１の立体６０２，第２の立体６０３として、その位置が表現されている。これらの立体の位置関係が、ボクセル空間６００において、それぞれのボクセルのサイズを基準の単位として計測されて、間隔測定が行われる。図６では、測定される間隔が、矢印で表記されている。
【００４１】
このように、間隔測定装置５０３では、自己の３次元モデル（移動体）と対象物の立体との間隔が測定できるので、この間隔測定を継続して行うことにより、所定時間の間の変化量を計測できる。変化量が計測できると、自己の３次元モデル（移動体）と対象物の立体とが接近しているのか、遠ざかっているのかが判定できる。図７は、３次元物体位置計測装置を利用して、３次元物体の間隔変化量の計測を行う応用例の構成を示すブロック図である。
【００４２】
図７には、３次元物体位置計測装置を間隔変化量計測装置に利用する場合の構成の一例が示されている。図７において、５０１は３次元物体位置計測装置、５０２は間隔を測定する対象とする自己の三次元モデルのデータ、５０３は間隔測定装置、７０１は間隔計測データの履歴を格納する間隔計測履歴データ格納装置、７０２は間隔変化量計測装置である。
【００４３】
前述したように、間隔測定装置５０３が、３次元位置計測装置５０１から測定される対象物の立体の位置データと、自己３次元モデルデータ５０２により、自己の３次元モデル（移動体）と対象物の立体との間隔が測定し、この間隔測定を継続して行い、間隔計測履歴データ格納装置７０１に測定結果のデータを履歴データとして、継続して蓄積しておく。間隔変化量計測装置７０２では、間隔計測履歴データ格納装置７０１に格納された所定の回数分の間隔測定履歴データと、間隔測定装置５０３から出力された間隔測定データにより、間隔変化量のデータが測定されて出力される。この間隔変化量のデータは、更に、接触・危険判定処理のためのデータとして利用される。
【００４４】
応用例として、ここでの自己の３次元モデルを、自動車などの移動体として、また、３次元位置を判定する対象物は周囲の空間に固定されて配置されている立体物とすると、その間隔変化量を測定することにより、移動体と立体物が接触するまでの時間を判定できる。判定された時間に応じて、接触の可能性の警告、危険の回避のための安全制御を行うことができる。
【００４５】
このような３次元物体位置計測装置の応用例について、更に説明する。図８には、３次元物体位置計測装置を利用して、３次元物体の間隔計測を行い、接触危険を判定し、接触警告を出力し、更に安全制御を行う応用例の構成を示すブロック図を示している。
【００４６】
これまでに、説明したように、本発明の３次元物体位置計測装置を利用して、３次元物体の間隔計測を行い、接触危険を判定し、接触警告を出力し、更に安全制御を行う場合の装置構成が、図８のブロック図として示されている。図８において、５０１は３次元物体位置計測装置、５０２は間隔を測定する対象とする自己の三次元モデルのデータ、５０３は間隔測定装置、７０１は間隔計測データの履歴を格納する間隔計測履歴データ格納装置、７０２は間隔変化量計測装置、７０３は接触・危険判定処理装置、７０４は接触警告装置、７０５は安全制御装置である。
【００４７】
図７を参照して説明したように、図８の装置構成においても、間隔測定装置５０３が、３次元位置計測装置５０１から測定される対象物の立体の位置データと、自己３次元モデルデータ５０２により、自己の３次元モデル（移動体）と対象物の立体との間隔が測定し、この間隔測定を継続して行い、間隔計測履歴データ格納装置７０１に測定結果のデータを履歴データとして、継続して蓄積しておく。間隔変化量計測装置７０２では、間隔計測履歴データ格納装置７０１に格納された所定の回数分の間隔測定履歴データと、間隔測定装置５０３から出力された間隔測定データにより、間隔変化量のデータが測定されて出力される。間隔変化量計測手装置７０２からの出力は、接触・危険判定処理装置７０３に入力される。接触・危険判定処理装置７０３には、危険を判定するために、予め接触するまでの時間が設定されており、間隔変化量のデータにより、対象物と自己モデルとの間の接触までの時間を判定すし、設定された時間に基づいて、接触・危険を判定する。
【００４８】
接触・危険判定処理装置７０３により、間隔変化量計測手装置７０２からの出力に基づいて、対象物と自己モデルとの間の接触までの時間が判定され、危険を判定すると、接触警告装置７０４により、モニタ表示、ブザー鳴動などにより、警告情報を出力する。更に、安全制御装置７０５が設けられており、安全制御装置７０５が、接触警告装置７０４からの出力に基づいて、ブレーキをかけるなどして安全制御を行い、安全装置を動作させる。
【００４９】
このように、本発明の３次元物体位置計測装置により計測されたボクセル空間の対象物の位置に基づいて、本発明では、計測装置を搭載した自己のモデルと周囲の３次元空間との間隔および間隔の変化量を測定し、自己のモデルと周囲の３次元空間とが接触する可能性を推定し、ある時間内に接触すると予測される場合に、警告もしくは自己の移動を制御することにより、接触を回避することが可能となる。
【図面の簡単な説明】
【００５０】
【図１】本発明の一実施例の３次元物体位置計測装置のシステム構成を説明するブロック図である。
【図２】本発明の３次元物体位置計測装置におけるボクセル投票処理を説明する説明図である。
【図３】対象とする３次元空間の大きさとボクセルの分割サイズとの関係を説明する図である。
【図４】単一のカメラで対象物を撮影する３次元物体位置計測装置の構成を示すブロック図である。
【図５】３次元物体位置計測装置を利用して、３次元物体の間隔計測を行う場合の応用例の構成を示すブロック図である。
【図６】３次元物体位置計測装置において作成された３次元空間のボクセル空間を利用して３次元物体の間隔計測を行う処理の一例を説明する図である。
【図７】３次元物体位置計測装置を利用して、３次元物体の間隔変化量の計測を行う応用例の構成を示すブロック図である。
【図８】３次元物体位置計測装置を利用して、３次元物体の間隔計測を行い、接触危険を判定し、接触警告を出力し、更に安全制御を行う応用例の構成を示すブロック図である。
【符号の説明】
【００５１】
１０１ 第１カメラ画像入力部
１０２ 第２カメラ画像入力部
１０３ 第１特徴量抽出処理部
１０４ 第２特徴量抽出処理部
１０５ ボクセル投票処理部
１０６ ３次元位置計測処理部
１０７ ボクセル投票履歴データ納付部
１０８ 移動量補正処理部
１０９ 撮影装置移動量
２０１ ボクセル空間
２０２ ボクセル、
２０３ カメラ、
２０４ カメラ、
２０５ 対象物の特徴量抽出結果
３０１ 移動速度が高い場合の３次元空間
３０２ 移動速度が高い場合のボクセル
３１１ 移動速度が低い場合の３次元空間
３１２ 移動速度が低い場合のボクセル
４０１ カメラ画像入力部
４０２ 特徴量抽出処理部
４０３ ボクセル投票処理部
４０４ ３次元位置計測処理部
４０５ ボクセル投票履歴データ納付部
４０６ 移動量補正処理部
４０７ 撮影装置移動量
５０１ ３次元物体位置計測装置
５０２ 三次元モデルデータ、
５０３ 間隔測定装置
７０１ 間隔計測履歴データ格納装置、
７０２ 間隔変化量計測装置
７０３ 接触・危険判定処理装置
７０４ 接触警告装置、
７０５ 安全制御装置
【特許請求の範囲】
【請求項１】
対象物を撮影し当該対象物に対して視差を有する複数の画像の時間的に連続な画像データを取得する撮影手段と、
前記撮影手段により取得された画像データに基づいて対象物からの距離情報を含む特徴量を抽出する複数の特徴量抽出手段と、
前記特徴量抽出手段により抽出された特徴量の距離情報に基づいて、対象とする３次元空間をボクセルに分割したボクセル空間において特徴量を抽出した対象物と撮影手段のレンズ中心を結ぶ直線をボクセル空間中に引いて、直線が交差するボクセルに１票ずつ投票する処理を行うボクセル投票処理手段と、
前記ボクセル投票処理手段による投票結果の履歴データを保持するボクセル投票履歴保持手段と、
前記ボクセル投票履歴を前記撮影手段が移動した移動ベクトルに基づいて補正する移動量補正手段と、
前記ボクセル投票結果および補正されたボクセル投票履歴に基づいてボクセル空間内における対象物の位置を特定する３次元位置計測処理手段と、
を有することを特徴とする３次元物体位置計測装置。
【請求項２】
請求項１に記載の３次元物体位置計測装置において、
前記撮影手段は、カメラを制御して対象物を撮影し、対象物に対して視差を有する複数の画像の時間的に連続な画像データを取得すると共に、
前記ボクセル投票処理手段は、前記カメラの移動速度によって、対象とする３次元空間の大きさとボクセルのサイズを変更する
ことを特徴とする３次元物体位置計測装置。
【請求項３】
請求項１に記載の３次元物体位置計測装置において、
前記撮影手段は、移動する単一のカメラにより対象物を撮影して、対象物に対して視差を有する複数の画像の時間的に連続な画像データを取得する
ことを特徴とする３次元物体位置計測装置。
【請求項４】
請求項１乃至３のいずれかに記載の３次元物体位置計測装置において、更に、
前記３次元位置計測処理手段により特定した対象物の位置により、自己の３次元モデルとボクセル空間内の対象物の間隔を測定する間隔測定手段
を有することを特徴とする３次元物体位置計測装置。
【請求項５】
請求項４に記載の３次元物体位置計測装置において、更に、
計測した自己の３次元モデルとボクセル空間内の対象物との間隔と、現在から複数回分の間隔を測定した間隔計測履歴を用いて、
自己の３次元モデルとボクセル空間内の対象物との間隔の変化量を計測する間隔変化量計測手段
を有することを特徴とする３次元物体位置計測装置。
【請求項６】
請求項４または５に記載の３次元物体位置計測装置において、
前記３次元モデルは移動体であり、
前記対象物は空間に固定された立体物である
ことを特徴とする３次元物体位置計測装置。
【請求項７】
請求項５に記載の３次元物体位置計測装置において、更に、
前記間隔変化量計測手段からの出力に基づいて、対象物と自己モデルとの間の接触までの時間を判定する接触危険判定装置
を有することを特徴とする３次元物体位置計測装置。
【請求項８】
請求項７に記載の３次元物体位置計測装置において、更に、
前記接触危険判定装置からの出力に基づいて警告情報を出力する接触警告装置
を有することを特徴とする３次元物体位置計測装置。
【請求項９】
請求項８に記載の３次元物体位置計測装置において、更に
前記接触警告装置からの出力に基づいて安全装置を動作させる安全制御装置
を有することを特徴とする３次元物体位置計測装置。
【請求項１】
対象物を撮影し当該対象物に対して視差を有する複数の画像の時間的に連続な画像データを取得する撮影手段と、
前記撮影手段により取得された画像データに基づいて対象物からの距離情報を含む特徴量を抽出する複数の特徴量抽出手段と、
前記特徴量抽出手段により抽出された特徴量の距離情報に基づいて、対象とする３次元空間をボクセルに分割したボクセル空間において特徴量を抽出した対象物と撮影手段のレンズ中心を結ぶ直線をボクセル空間中に引いて、直線が交差するボクセルに１票ずつ投票する処理を行うボクセル投票処理手段と、
前記ボクセル投票処理手段による投票結果の履歴データを保持するボクセル投票履歴保持手段と、
前記ボクセル投票履歴を前記撮影手段が移動した移動ベクトルに基づいて補正する移動量補正手段と、
前記ボクセル投票結果および補正されたボクセル投票履歴に基づいてボクセル空間内における対象物の位置を特定する３次元位置計測処理手段と、
を有することを特徴とする３次元物体位置計測装置。
【請求項２】
請求項１に記載の３次元物体位置計測装置において、
前記撮影手段は、カメラを制御して対象物を撮影し、対象物に対して視差を有する複数の画像の時間的に連続な画像データを取得すると共に、
前記ボクセル投票処理手段は、前記カメラの移動速度によって、対象とする３次元空間の大きさとボクセルのサイズを変更する
ことを特徴とする３次元物体位置計測装置。
【請求項３】
請求項１に記載の３次元物体位置計測装置において、
前記撮影手段は、移動する単一のカメラにより対象物を撮影して、対象物に対して視差を有する複数の画像の時間的に連続な画像データを取得する
ことを特徴とする３次元物体位置計測装置。
【請求項４】
請求項１乃至３のいずれかに記載の３次元物体位置計測装置において、更に、
前記３次元位置計測処理手段により特定した対象物の位置により、自己の３次元モデルとボクセル空間内の対象物の間隔を測定する間隔測定手段
を有することを特徴とする３次元物体位置計測装置。
【請求項５】
請求項４に記載の３次元物体位置計測装置において、更に、
計測した自己の３次元モデルとボクセル空間内の対象物との間隔と、現在から複数回分の間隔を測定した間隔計測履歴を用いて、
自己の３次元モデルとボクセル空間内の対象物との間隔の変化量を計測する間隔変化量計測手段
を有することを特徴とする３次元物体位置計測装置。
【請求項６】
請求項４または５に記載の３次元物体位置計測装置において、
前記３次元モデルは移動体であり、
前記対象物は空間に固定された立体物である
ことを特徴とする３次元物体位置計測装置。
【請求項７】
請求項５に記載の３次元物体位置計測装置において、更に、
前記間隔変化量計測手段からの出力に基づいて、対象物と自己モデルとの間の接触までの時間を判定する接触危険判定装置
を有することを特徴とする３次元物体位置計測装置。
【請求項８】
請求項７に記載の３次元物体位置計測装置において、更に、
前記接触危険判定装置からの出力に基づいて警告情報を出力する接触警告装置
を有することを特徴とする３次元物体位置計測装置。
【請求項９】
請求項８に記載の３次元物体位置計測装置において、更に
前記接触警告装置からの出力に基づいて安全装置を動作させる安全制御装置
を有することを特徴とする３次元物体位置計測装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００９−２５８０５８（Ｐ２００９−２５８０５８Ａ）
【公開日】平成２１年１１月５日（２００９．１１．５）
【国際特許分類】
【出願番号】特願２００８−１１０３８７（Ｐ２００８−１１０３８７）
【出願日】平成２０年４月２１日（２００８．４．２１）
【出願人】（３０１０２１５３３）独立行政法人産業技術総合研究所 (6,529)
【出願人】（５０３０３２０４９）株式会社トプスシステムズ (14)
【Ｆターム（参考）】
【公開日】平成２１年１１月５日（２００９．１１．５）
【国際特許分類】
【出願日】平成２０年４月２１日（２００８．４．２１）
【出願人】（３０１０２１５３３）独立行政法人産業技術総合研究所 (6,529)
【出願人】（５０３０３２０４９）株式会社トプスシステムズ (14)
【Ｆターム（参考）】
[ Back to top ]