３次元データと２次元データの統合方法及びこれを用いた見守りシステム、監視システム
【課題】距離画像データ等の３次元データと２次元画像データとの対応付け、距離画像データと２次元画像データを相補的に用いることにより柔軟で信頼性の高い認識結果が得られる、３次元データと２次元画像データの統合方法およびそれを用いた頑健な監視・見守りシステムを提供する。
【解決手段】システムは、２次元データを取得する２次元データ取得ステップと、３次元データを取得する３次元データ取得ステップと、上記２次元データと前記３次元データの位置を対応付ける対応付けステップと、上記対応付けステップで対応付けた結果に基づいて上記３次元データを２次元データ上に重畳する重畳ステップとを備える。
【解決手段】システムは、２次元データを取得する２次元データ取得ステップと、３次元データを取得する３次元データ取得ステップと、上記２次元データと前記３次元データの位置を対応付ける対応付けステップと、上記対応付けステップで対応付けた結果に基づいて上記３次元データを２次元データ上に重畳する重畳ステップとを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元データと２次元データとを相補的に用いるために両データを結合する統合方法に関する。
【背景技術】
【０００２】
従来の監視・見守りシステムはほとんどが固定的に設置された監視カメラを使用したものが大半である。複数台のカメラを設置した例はたくさんあるが、異なるメディアタイプのモダリティ、例えば可視光カメラと測域センサ等を用いて相補的に信頼性を向上させるような方法は実用的には利用されてこなかった。ほとんどの従来型監視装置は一つのメディアタイプ（主には、ビデオカメラ）が中心であり、対象物体の検出には、背景差分が多く用いられてきた。以下、従来型監視装置に関連する技術について説明する。
【０００３】
特許文献１には、距離データが不均一な平面座標で得られたり、欠落していた場合でも、２次元テンプレートマッチングにより類似度を求めて存在位置を検出する方法が開示されている。
【０００４】
特許文献２には、測域センサを用いた警報システムの例として、予め設定した大きさ以上の揺れを生じたときに、積荷異常警報信号を送信し、車両停止中に前記積荷が移動したときに、積荷盗難警報信号を送信する技術が開示されている。
【０００５】
一方、複数台カメラの画像間の対応付けについては多くの研究や手法が提案されているが、異種センサデータ間の対応付けはあまり注目されてこなかった。カメラキャリブレーションを行う際のキャリブレーションボードとして、長方形の上に格子縞を描いたものや、千鳥格子状のもの、さらにはカラーを利用したもの等が多く使われてきた（例えば、非特許文献１）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平９−２５７４１４
【特許文献２】特開２０１０−５５５６８
【非特許文献】
【０００７】
【非特許文献１】池田 聖、佐藤智和、横矢 直和、“全方位型マルチカメラシステムのキャリブレーション(１． 画像認識・メディア理解)”、ＦＩＴ(電子情報通信学会・情報処理学会)推進委員会、情報技術レターズ１，１４９−１５０，２００２−０９−１
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来の見守りシステム及び監視システムには以下に示す問題点があった。すなわち、
ビデオカメラだけを用いる場合、広い範囲はカバーできても、不審者、不審物の発見や異常事態の検出は人の目視に頼らざるを得なかった。
【０００９】
また、対象物体の検出に背景差分を用いる技術では、正確な背景抽出が必要であり、よく用いられる観測開始時のデータを固定的に利用する方法や、単に一定時間内の移動平均を利用する方法では、動物体による遮蔽や影、反射あるいは照明条件の変動等の影響等があると誤差が大きくなるという問題があった。
【００１０】
また、照明変動や対象物の周りの移動物体による遮蔽等の影響を受けて、検出に失敗（未検出及び誤検出）することがよくあり、このような観測値の欠落やノイズ等に起因して、対象物が存在しているのに検出できなかったり、存在していないのに誤検出したりする問題があった。
【００１１】
さらに、背景差分から求められた対象物の位置に関してもノイズの影響等により精度が低下するという問題があった。このようにビデオカメラ単体では限界があり、他のセンサとの相互補完的利用が不可欠となる。
【００１２】
上述の特許文献１では、存在位置を検出する精度はモデルに大きく依存し、柔軟性に問題点がある。特許文献２では、比較的単純な分析に終わっており、対象物の見守りや監視への応用を考慮に入れた、人の姿勢・動作の分析や正常・異常事態の検出までには至っていない。
【００１３】
上述の非特許文献１において、キャリブレーションボードが大きく、取扱いも煩雑であった。また、測域センサデータ（３次元平面上の距離座標）と２次元画像上との点の対応付けは考慮されてはいない。カメラの内部パラメータ及び外部パラメータが既知であれば、式による導出は比較的簡単であるが、未知の場合は不可能である。全方位カメラを例にとると、鏡面形状が未知の場合には、キャリブレーションなしでは不可能である。
【課題を解決するための手段】
【００１４】
本発明の２次元データと３次元データの統合方法は、２次元データを取得する２次元データ取得ステップと、３次元データを取得する３次元データ取得ステップと、上記２次元データと前記３次元データの位置を対応付ける対応付けステップと、上記対応付けステップで対応付けた結果に基づいて上記３次元データを２次元データ上に重畳する重畳ステップとを備える。３次元データは例えば測域センサによって取得される距離画像データで、２次元データは例えばカメラによって取得される２次元画像データである。
【００１５】
本発明によれば、測域センサデータである距離画像データととカメラ画像である２次元画像データを統合し、対応付けることにより相互補完的な利用が可能となる。すなわち、測域センサがスキャンした軌跡を画像上に重畳することで、異なるセンサ間での処理結果の相補効果から認識結果の頑健性が高まる。
【００１６】
また、上記対応付けステップにおいて、所定のパターンが描かれたキャリブレーションボードを少なくとも２箇所以上の所定位置に置いた状態で各所定位置ごとに撮影し、所定位置ごとに画像上の同一の画素上に投影される３次元空間上の点集合を求め、この点集合から３次元空間上の領域を求め、この領域と２次元空間上の点を対応付けるようにしてもよい。
【００１７】
さらに、上記対応付けステップにおいて、上記３次元データをカメラ座標系での座標に変換し、上記重畳ステップにおいて、２次元データ上の座標を求めることで上記３次元データを上記２次元データ上に重畳するようにしてもよい。
【発明の効果】
【００１８】
本発明によれば、距離画像データ等の３次元データと２次元画像データとの対応付けが可能となり、お互いの短所をカバーしながら長所を生かせるので距離画像データと２次元画像データを相補的に用いることにより柔軟で信頼性の高い認識結果が得られ、頑健な監視・見守りシステムの構築に向けて対象物認識・検知の前処理として、有用な情報を提供することが可能となる。また、カメラ座標系（３次元空間）とスクリーン座標系（２次元画像）とを対応付けるためのキャリブレーションを実行することで、３次元距離画像データと２次元画像データとの対応付けの際の歪や誤差を補正することが可能となる。
【図面の簡単な説明】
【００１９】
【図１】距離画像データと２次元画像データの統合方法を示すブロック図
【図２】全方位カメラにおけるキャリブレーション方法を説明するための図
【図３】キャリブレーション用パターンとその設置法を示す図
【図４】第１の実施形態における対応点テーブルを説明するための図
【図５】第２の実施形態におけるキャリブレーション用パターンを示す図
【図６】第２の実施形態における対応点テーブルを説明するための図
【図７】第３の実施形態におけるキャリブレーション用パターンを示す図
【図８】第３の実施形態における対応点テーブルを説明するための図
【図９】２次元画像だけでは区別しにくい状況を示す図
【発明を実施するための形態】
【００２０】
先進諸国はこれからグローバリゼイションや高齢化社会を迎えようとしており、見守りシステム（高齢者、病人）及び監視システム（テロ対策、不審者・不審物の早期発見）は、その必要性を増すと考えられる。システム構築に監視カメラは不可欠な要素ではあるが、対象物の遮蔽や重なり、光源の変動等の影響を受け、誤認識を起こし易い。より高い信頼性を確保するためには、その他のセンサとの協調作業が必要となる。
【００２１】
本発明の３次元データと２次元データとの統合方法は、見守りシステム及び監視システム等に用いられるものであって、家庭や学校等建物内における老人や子供、病人等の見守りシステム、あるいは地下鉄、駅、空港等の公共の場における、拳銃、刀等の不法所持者、テロリスト、尾行、スリ、喧嘩等怪しい人物（不審者）の発見と追跡及び不審物の発見等セキュリティ確保のための監視システム等に必須の技術として、人の姿勢・動作・動きや持ち主不在の物体を検出及び認識して、異常を検知するためのマルチセンサ情報融合技術に関するものである。
【００２２】
３次元データと２次元データとの統合により認識率向上を目指すには、対応付けが不可欠であり、その処理の流れを図1に示す。本発明は、測域センサから距離画像データを取得し、世界座標系に変換した後、カメラ座標系を経由してスクリーン座標を求めることにより画像上への重畳を可能とするものである。すなわち、測域センサデータである距離画像データとカメラ画像を統合し、対応付けることにあり、頑健な監視・見守りシステムの構築における対象物認識・検知の前処理として、有用な情報を提供することが可能となる。また、カメラ座標系（３次元空間）とスクリーン座標系（２次元画像）との対応付けのためのキャリブレーションを行っている。
【００２３】
以下、本発明の実施の形態について、図１に基づいて説明する。図１は、第１の実施形態における３次元データと２次元データの統合方法を示すブロック図である。本発明の統合方法は、２次元画像データを取得する２次元画像取得ステップと、距離画像データを取得する距離画像取得ステップと、上記２次元画像と前記距離画像の位置を対応付ける対応付けステップと、上記対応付けステップで対応付けた結果に基づいて上記距離画像のデータを２次元画像上に重畳する重畳ステップとを備える。
【００２４】
距離画像取得ステップでは、測域センサーを用いて物体上の目標点までの距離を表す距離画像データを取得する。本実施形態の測域センサーは３次元空間上の距離画像データを取得する３次元センサーである。３次元データを取得することができるものであれば種々のセンサーを用いることができる。例えば３次元レンジセンサ、３次元位置センサー、３次元モーションセンサー等を用いても良い。
【００２５】
２次元画像取得ステップでは、カメラを用いてカメラ画像を取得する。本実施形態のカメラは、ミラーとレンズを組み合わせて水平方向に３６０度を見ることができる全方位カメラであるが、カメラ画像を取得することができれば全方位カメラである必要はなく、他の可視光カメラ（標準レンズ、魚眼レンズ）を用いても良く、また遠近赤外、紫外を問わない。ただし、前記測域センサと全方位カメラはどちらもほぼ全方位が計測できるという点で相性がよいため、本実施形態では全方位カメラを用いている。なお、全方位カメラの鏡面形状は双曲面、三角錐、放物面、球面等、でもよい。
【００２６】
カメラの内部パラメータ及び外部パラメータが既知の場合には、３次元空間上の座標から２次元画像上の座標が計算により求まる。しかし、カメラ座標系における３次元空間上の座標が既知であっても、内部パラメータが未知であったり歪が大きい場合にはキャリブレーションが必要となる。このとき、ピンホールカメラモデルでは、レンズ中心を通る光線の方向と画像上の位置は１対１対応するので、カメラ座標系における３次元空間上の座標が分かれば、画像上の画素位置は一意に決まる。この事実を利用することで、後述するキャリブレーションを行うことができる。
【００２７】
特に、全方位カメラにおいては鏡面の形状を表す曲面の式が種々あり、ミラーパラメータもメーカーによって異なる。また、普通のカメラや魚眼レンズを用いた場合でも同様の手法が可能であって、計算だけからは求まらないレンズ歪等の影響を補正するためにキャリブレーションが有効である場合が多い。
【００２８】
全方位カメラの鏡面パラメータが未知数であっても、キャリブレーションにより各位置における傾斜（１次微分）が求まるので、積分すれば、鏡面形状が求まる。
【００２９】
対応付けステップでは、距離画像データと全方位カメラ画像上の位置を対応付ける際に、３次元空間を三角形に分割したキャリブレーション法によりその結果から対応する画像上の画素位置を求める。対応点テーブル１０３とは、３次元空間上の点のカメラを基準とした位置座標とカメラ画像上の対応点の関係を示すテーブルである。
【００３０】
以下、本実施例のキャリブレーション方法について説明する。図２は、全方位カメラ画像上におけるキャリブレーション方法を説明するための図である。距離画像データから３次元位置が分かるので、カメラ画像上の対応画素の位置が計算できる。本発明においては、カメラパラメータが分からない場合でも、キャリブレーションにより対応付けを可能にする方法を提供する。以後の説明において、３次元位置及び３次元座標は、カメラ座標系におけるものとする。
【００３１】
図２において、ピンホールカメラモデルを考えると、各画素（例えば図２（ａ）で「赤」と示している画素）に到達する光は、その画素に対応する左図の破線（例えば図２（ａ）で「赤」と示している破線）を通る光だけである。画素の幅に対応して３次元空間（図２（ａ）において「赤」と示している斜め線ハッチをかけた三角形部分）が広がる。画素と三角形の対応を求めることで３次元空間全てをカバーできる。ピンホールカメラモデル以外でも、像は物体とレンズ中心を通る線上に結ぶので、ボケの問題はあるが、近似的には成立する。図２（ａ）において「赤」と示している斜め線ハッチをかけた三角形部分に相当する３次元空間上の全ての点は、２次元画像上の「赤」と示している画素に投影される。また、図２（ｂ）は拡大図であり、各三角形の鏡面側の頂点は必ずしも一点に重ならない。
(１)中間点は、線形補間で対応する。
(２)説明のため三角形は広く設定しているが、実際にはもっと細く設定する。半径方向の一画素毎に対応する３次元空間（三角形）を作れば、一番シンプルとなる。
本実施例では、３次元空間を三角形に分割したキャリブレーション法によって対応する画像上の画素位置を求めている。
【００３２】
次に、具体的なキャリブレーション手順について図３、図４を用いて説明する。図３は、本実施形態のキャリブレーションパターンとその設置方法を示す図である。図４は本実施形態の対応点テーブルを説明するための図である。まず、図３に示すように上記対応点テーブル作成方法において、キャリブレーションボードを少なくとも２箇所以上の所定位置に置いた状態で各所定位置ごとに撮影し、所定位置ごとに画像上の同一の画素上に投影される３次元空間上の点（キャリブレーションボード上の点）を２点求め、この２点を結ぶ３次元空間上の半直線上と前記画素位置を対応付ける。以下、詳細に説明する。
【００３３】
（手順１)光線（位置と方向）検出のために２点が必要なので、所定のパターンが描かれたキャリブレーションボードを３次元位置が既知の２ヶ所に置いて各１回、合計２回撮影する。キャリブレーションボードのパターンは単純には、空間変調（１．色変調、２．幅変調）によるが、画像上で対応が付けられるような他のパターンを選ぶこともできる。カメラ画角の画角をカバーできれば、置き方は水平、垂直のどちらでもよいし、混じってもよい。
【００３４】
（手順２) 画像上で同一画素上に射影される３次元空間上の点を２点求めると、３次元空間上に直線が引ける。例えば、図３（ａ）上段の緑と下段の青が画像上の赤画素の位置に投影される。逆に、赤画素の位置に射影される点の集合空間（３次元空間上の赤三角形、斜め線ハッチをかけた部分）が求まる。この三角形を求めることでキャリブレーションが可能となる。最低限２点があればよいが、２回以上撮影し、同一画素上に投影される点を２点以上求めることで、より誤差の少ない安定した対応付けが可能となる。
【００３５】
ここでは、この２点を結ぶ３次元空間上の半直線上（レンズまで、あるいは全方位カメラにおいては鏡面の反射を受けてレンズに至る）にある全ての点は、前記画素上に投影される事実を利用している。
【００３６】
図４（ａ）に示すように、本実施形態の対応点テーブルは、画素位置−３次元半直線の組合せから成る。また、半直線だけでは、全空間をカバーできないので、間は補間により求める。画像上の同一の画素上に投影される３次元空間上の点が３点以上ある場合は点の集合の近似直線を求めることで、安定性、精度を向上させることができる。
【００３７】
なお対応点テーブルは、距離画像データを２次元画像上に対応付けるために、各データが対応点テーブルのどの領域に一番近いかを判断して対応画素を見つけることができれば、どのようなものであっても良い。
【００３８】
次に、上記対応付けステップで距離画像と２次元画像の位置が対応付けられると、その対応結果に基づいて上記距離画像のデータを２次元画像上に重畳する（重畳ステップ）。具体的には、前記測域センサで測定した目標点までの距離及び方向と前記測域センサの位置及び方向と前記カメラの位置及び方向に基づき前記対応点テーブルを参照して前記の目標点に対応する画像上の対応点を算出し、画像上にプロットする。
【００３９】
また、カメラ座標系（３次元空間）とスクリーン座標系（２次元画像）との対応付けのためのキャリブレーションにより、３次元距離画像データと２次元画像データとの対応付けの精度を高めることができる。
【００４０】
次に、本発明の第２の実施形態について図５および図６を用いて説明する。第１の実施形態と異なる点について説明し、共通する点については説明を省略する。本実施形態が第１の実施形態と異なる点は、対応付けステップについてである。図５は、第２の実施形態のキャリブレーションパターンとその設置方法を示す図である。図６は第２の実施形態の対応点テーブルを説明するための図である。
【００４１】
図６に示すように本実施形態の対応点テーブルは、画素位置−３次元空間上の三角形の組合せである。すなわち、全方位カメラや魚眼レンズを用いたカメラのように中心の回りに対称性を持つ場合は、ある特定の角度に対して求めておけばよく、角度を固定すると、画像上の同一の画素上に投影される３次元空間上の点はレンズの光軸に平行な平面上にある三角形上に存在し、半径方向に関してだけ各三角形の頂点と辺の方向を求めておけばよいので、キャリブレーションが非常に簡単になる。
【００４２】
図５は、図６における対応点テーブルを求める際のキャリブレーションボードの例を示す。ここでは、長方形のキャリブレーションボードをカメラの中心から半径方向に設置している。全方向カメラや魚眼レンズを用いたカメラのように角度方向に対称性を持つ場合は、一つの角度についてのみ、対応点テーブルを作成しておけばよいので、キャリブレーションが非常に簡単になる。また、描かれているキャリブレーションパターンは１次元的に考えることができる。全方位カメラや魚眼レンズを用いたカメラなどにおいては、キャリブレーション用の２次元パターンは不要であるので、単にスリット状の１次元パターンだけで済み、構成が簡単になる。また、精度を向上させるために、ある一定角度、例えば、90°毎にキャリブレーションを行い、その間は補間で求めることもできる。
【００４３】
以上のようにして距離画像と２次元画像の位置が対応付けられると、続いてその対応結果に基づいて上記距離画像のデータを２次元画像上に重畳する。この重畳ステップについては、第１の実施形態と同様であるため説明を省略する。
【００４４】
次に、本発明の第３の実施形態について図７および図８を用いて説明する。第１の実施形態と異なる点について説明し、共通する点については説明を省略する。本実施形態が第１の実施形態と異なる点は、対応付けステップについてである。図７は、第３の実施形態のキャリブレーションパターンとその設置方法を示す図である。図８は第３の実施形態の対応点テーブルを説明するための図である。
【００４５】
図８に示すように対応点テーブルは、画素位置−３次元楕円錐の組合せであって、同一画素上に投影される３次元空間上の点集合は楕円錐に近い領域を形成する。このとき、各領域は重ならないようにとる。
【００４６】
図7は、図８における対応点テーブルを求める際のキャリブレーションボードの例を示す。この例ではキャリブレーションボードは２次元的に広がるパターンが描かれている。
【００４７】
以上のようにして距離画像と２次元画像の位置が対応付けられると、続いてその対応結果に基づいて上記距離画像のデータを２次元画像上に重畳する。この重畳ステップについては、第１の実施形態と同様であるため説明を省略する。
【００４８】
以上では３つの実施形態に分けて説明したが、対応点テーブルを変換して利用することもできる。例えば、第２の実施形態で得られた、三角形の頂角を２等分する半直線を利用して第１の実施形態のための対応点テーブルとすることもできる。その他にも同様に適用できる。
【００４９】
以上本発明によれば、距離画像データと２次元画像データとの対応付けが可能となり、お互いの短所をカバーしながら長所を生かせるので距離画像データと２次元画像データを相補的に用いることにより柔軟で信頼性の高い認識結果が得られる。例えば、色が同じ対象物あるいは背景と同じ色やテクスチャの対象物の場合は画像だけでは区別が難しいが、距離画像データと２次元画像データとを併用すると簡単に識別ができる。
【００５０】
図９に示すように、追跡している二人の人が交差した場合に、引き返したのか、そのまま進んだのか、画像だけでは区別しにくいことがあるが（図９(b)(c)参照）、３次元測域センサを用いると簡単に区別できる。また、地面で体操をしているのか、ジャンプしているのかは、画像だけでは区別しにくいが（図９(e)参照）、３次元距離画像データと２次元画像データの両方を用いることで、両者の判別が可能となる。もちろん、ステレオ視を用いれば不可能ではないが、精度も低くなる。このようなときにも融合技術が役立つ。
【符号の説明】
【００５１】
１０１ 測域センサ
１０２ カメラ
１０３ 対応点テーブル
１０４ 重畳処理
【技術分野】
【０００１】
本発明は、３次元データと２次元データとを相補的に用いるために両データを結合する統合方法に関する。
【背景技術】
【０００２】
従来の監視・見守りシステムはほとんどが固定的に設置された監視カメラを使用したものが大半である。複数台のカメラを設置した例はたくさんあるが、異なるメディアタイプのモダリティ、例えば可視光カメラと測域センサ等を用いて相補的に信頼性を向上させるような方法は実用的には利用されてこなかった。ほとんどの従来型監視装置は一つのメディアタイプ（主には、ビデオカメラ）が中心であり、対象物体の検出には、背景差分が多く用いられてきた。以下、従来型監視装置に関連する技術について説明する。
【０００３】
特許文献１には、距離データが不均一な平面座標で得られたり、欠落していた場合でも、２次元テンプレートマッチングにより類似度を求めて存在位置を検出する方法が開示されている。
【０００４】
特許文献２には、測域センサを用いた警報システムの例として、予め設定した大きさ以上の揺れを生じたときに、積荷異常警報信号を送信し、車両停止中に前記積荷が移動したときに、積荷盗難警報信号を送信する技術が開示されている。
【０００５】
一方、複数台カメラの画像間の対応付けについては多くの研究や手法が提案されているが、異種センサデータ間の対応付けはあまり注目されてこなかった。カメラキャリブレーションを行う際のキャリブレーションボードとして、長方形の上に格子縞を描いたものや、千鳥格子状のもの、さらにはカラーを利用したもの等が多く使われてきた（例えば、非特許文献１）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平９−２５７４１４
【特許文献２】特開２０１０−５５５６８
【非特許文献】
【０００７】
【非特許文献１】池田 聖、佐藤智和、横矢 直和、“全方位型マルチカメラシステムのキャリブレーション(１． 画像認識・メディア理解)”、ＦＩＴ(電子情報通信学会・情報処理学会)推進委員会、情報技術レターズ１，１４９−１５０，２００２−０９−１
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来の見守りシステム及び監視システムには以下に示す問題点があった。すなわち、
ビデオカメラだけを用いる場合、広い範囲はカバーできても、不審者、不審物の発見や異常事態の検出は人の目視に頼らざるを得なかった。
【０００９】
また、対象物体の検出に背景差分を用いる技術では、正確な背景抽出が必要であり、よく用いられる観測開始時のデータを固定的に利用する方法や、単に一定時間内の移動平均を利用する方法では、動物体による遮蔽や影、反射あるいは照明条件の変動等の影響等があると誤差が大きくなるという問題があった。
【００１０】
また、照明変動や対象物の周りの移動物体による遮蔽等の影響を受けて、検出に失敗（未検出及び誤検出）することがよくあり、このような観測値の欠落やノイズ等に起因して、対象物が存在しているのに検出できなかったり、存在していないのに誤検出したりする問題があった。
【００１１】
さらに、背景差分から求められた対象物の位置に関してもノイズの影響等により精度が低下するという問題があった。このようにビデオカメラ単体では限界があり、他のセンサとの相互補完的利用が不可欠となる。
【００１２】
上述の特許文献１では、存在位置を検出する精度はモデルに大きく依存し、柔軟性に問題点がある。特許文献２では、比較的単純な分析に終わっており、対象物の見守りや監視への応用を考慮に入れた、人の姿勢・動作の分析や正常・異常事態の検出までには至っていない。
【００１３】
上述の非特許文献１において、キャリブレーションボードが大きく、取扱いも煩雑であった。また、測域センサデータ（３次元平面上の距離座標）と２次元画像上との点の対応付けは考慮されてはいない。カメラの内部パラメータ及び外部パラメータが既知であれば、式による導出は比較的簡単であるが、未知の場合は不可能である。全方位カメラを例にとると、鏡面形状が未知の場合には、キャリブレーションなしでは不可能である。
【課題を解決するための手段】
【００１４】
本発明の２次元データと３次元データの統合方法は、２次元データを取得する２次元データ取得ステップと、３次元データを取得する３次元データ取得ステップと、上記２次元データと前記３次元データの位置を対応付ける対応付けステップと、上記対応付けステップで対応付けた結果に基づいて上記３次元データを２次元データ上に重畳する重畳ステップとを備える。３次元データは例えば測域センサによって取得される距離画像データで、２次元データは例えばカメラによって取得される２次元画像データである。
【００１５】
本発明によれば、測域センサデータである距離画像データととカメラ画像である２次元画像データを統合し、対応付けることにより相互補完的な利用が可能となる。すなわち、測域センサがスキャンした軌跡を画像上に重畳することで、異なるセンサ間での処理結果の相補効果から認識結果の頑健性が高まる。
【００１６】
また、上記対応付けステップにおいて、所定のパターンが描かれたキャリブレーションボードを少なくとも２箇所以上の所定位置に置いた状態で各所定位置ごとに撮影し、所定位置ごとに画像上の同一の画素上に投影される３次元空間上の点集合を求め、この点集合から３次元空間上の領域を求め、この領域と２次元空間上の点を対応付けるようにしてもよい。
【００１７】
さらに、上記対応付けステップにおいて、上記３次元データをカメラ座標系での座標に変換し、上記重畳ステップにおいて、２次元データ上の座標を求めることで上記３次元データを上記２次元データ上に重畳するようにしてもよい。
【発明の効果】
【００１８】
本発明によれば、距離画像データ等の３次元データと２次元画像データとの対応付けが可能となり、お互いの短所をカバーしながら長所を生かせるので距離画像データと２次元画像データを相補的に用いることにより柔軟で信頼性の高い認識結果が得られ、頑健な監視・見守りシステムの構築に向けて対象物認識・検知の前処理として、有用な情報を提供することが可能となる。また、カメラ座標系（３次元空間）とスクリーン座標系（２次元画像）とを対応付けるためのキャリブレーションを実行することで、３次元距離画像データと２次元画像データとの対応付けの際の歪や誤差を補正することが可能となる。
【図面の簡単な説明】
【００１９】
【図１】距離画像データと２次元画像データの統合方法を示すブロック図
【図２】全方位カメラにおけるキャリブレーション方法を説明するための図
【図３】キャリブレーション用パターンとその設置法を示す図
【図４】第１の実施形態における対応点テーブルを説明するための図
【図５】第２の実施形態におけるキャリブレーション用パターンを示す図
【図６】第２の実施形態における対応点テーブルを説明するための図
【図７】第３の実施形態におけるキャリブレーション用パターンを示す図
【図８】第３の実施形態における対応点テーブルを説明するための図
【図９】２次元画像だけでは区別しにくい状況を示す図
【発明を実施するための形態】
【００２０】
先進諸国はこれからグローバリゼイションや高齢化社会を迎えようとしており、見守りシステム（高齢者、病人）及び監視システム（テロ対策、不審者・不審物の早期発見）は、その必要性を増すと考えられる。システム構築に監視カメラは不可欠な要素ではあるが、対象物の遮蔽や重なり、光源の変動等の影響を受け、誤認識を起こし易い。より高い信頼性を確保するためには、その他のセンサとの協調作業が必要となる。
【００２１】
本発明の３次元データと２次元データとの統合方法は、見守りシステム及び監視システム等に用いられるものであって、家庭や学校等建物内における老人や子供、病人等の見守りシステム、あるいは地下鉄、駅、空港等の公共の場における、拳銃、刀等の不法所持者、テロリスト、尾行、スリ、喧嘩等怪しい人物（不審者）の発見と追跡及び不審物の発見等セキュリティ確保のための監視システム等に必須の技術として、人の姿勢・動作・動きや持ち主不在の物体を検出及び認識して、異常を検知するためのマルチセンサ情報融合技術に関するものである。
【００２２】
３次元データと２次元データとの統合により認識率向上を目指すには、対応付けが不可欠であり、その処理の流れを図1に示す。本発明は、測域センサから距離画像データを取得し、世界座標系に変換した後、カメラ座標系を経由してスクリーン座標を求めることにより画像上への重畳を可能とするものである。すなわち、測域センサデータである距離画像データとカメラ画像を統合し、対応付けることにあり、頑健な監視・見守りシステムの構築における対象物認識・検知の前処理として、有用な情報を提供することが可能となる。また、カメラ座標系（３次元空間）とスクリーン座標系（２次元画像）との対応付けのためのキャリブレーションを行っている。
【００２３】
以下、本発明の実施の形態について、図１に基づいて説明する。図１は、第１の実施形態における３次元データと２次元データの統合方法を示すブロック図である。本発明の統合方法は、２次元画像データを取得する２次元画像取得ステップと、距離画像データを取得する距離画像取得ステップと、上記２次元画像と前記距離画像の位置を対応付ける対応付けステップと、上記対応付けステップで対応付けた結果に基づいて上記距離画像のデータを２次元画像上に重畳する重畳ステップとを備える。
【００２４】
距離画像取得ステップでは、測域センサーを用いて物体上の目標点までの距離を表す距離画像データを取得する。本実施形態の測域センサーは３次元空間上の距離画像データを取得する３次元センサーである。３次元データを取得することができるものであれば種々のセンサーを用いることができる。例えば３次元レンジセンサ、３次元位置センサー、３次元モーションセンサー等を用いても良い。
【００２５】
２次元画像取得ステップでは、カメラを用いてカメラ画像を取得する。本実施形態のカメラは、ミラーとレンズを組み合わせて水平方向に３６０度を見ることができる全方位カメラであるが、カメラ画像を取得することができれば全方位カメラである必要はなく、他の可視光カメラ（標準レンズ、魚眼レンズ）を用いても良く、また遠近赤外、紫外を問わない。ただし、前記測域センサと全方位カメラはどちらもほぼ全方位が計測できるという点で相性がよいため、本実施形態では全方位カメラを用いている。なお、全方位カメラの鏡面形状は双曲面、三角錐、放物面、球面等、でもよい。
【００２６】
カメラの内部パラメータ及び外部パラメータが既知の場合には、３次元空間上の座標から２次元画像上の座標が計算により求まる。しかし、カメラ座標系における３次元空間上の座標が既知であっても、内部パラメータが未知であったり歪が大きい場合にはキャリブレーションが必要となる。このとき、ピンホールカメラモデルでは、レンズ中心を通る光線の方向と画像上の位置は１対１対応するので、カメラ座標系における３次元空間上の座標が分かれば、画像上の画素位置は一意に決まる。この事実を利用することで、後述するキャリブレーションを行うことができる。
【００２７】
特に、全方位カメラにおいては鏡面の形状を表す曲面の式が種々あり、ミラーパラメータもメーカーによって異なる。また、普通のカメラや魚眼レンズを用いた場合でも同様の手法が可能であって、計算だけからは求まらないレンズ歪等の影響を補正するためにキャリブレーションが有効である場合が多い。
【００２８】
全方位カメラの鏡面パラメータが未知数であっても、キャリブレーションにより各位置における傾斜（１次微分）が求まるので、積分すれば、鏡面形状が求まる。
【００２９】
対応付けステップでは、距離画像データと全方位カメラ画像上の位置を対応付ける際に、３次元空間を三角形に分割したキャリブレーション法によりその結果から対応する画像上の画素位置を求める。対応点テーブル１０３とは、３次元空間上の点のカメラを基準とした位置座標とカメラ画像上の対応点の関係を示すテーブルである。
【００３０】
以下、本実施例のキャリブレーション方法について説明する。図２は、全方位カメラ画像上におけるキャリブレーション方法を説明するための図である。距離画像データから３次元位置が分かるので、カメラ画像上の対応画素の位置が計算できる。本発明においては、カメラパラメータが分からない場合でも、キャリブレーションにより対応付けを可能にする方法を提供する。以後の説明において、３次元位置及び３次元座標は、カメラ座標系におけるものとする。
【００３１】
図２において、ピンホールカメラモデルを考えると、各画素（例えば図２（ａ）で「赤」と示している画素）に到達する光は、その画素に対応する左図の破線（例えば図２（ａ）で「赤」と示している破線）を通る光だけである。画素の幅に対応して３次元空間（図２（ａ）において「赤」と示している斜め線ハッチをかけた三角形部分）が広がる。画素と三角形の対応を求めることで３次元空間全てをカバーできる。ピンホールカメラモデル以外でも、像は物体とレンズ中心を通る線上に結ぶので、ボケの問題はあるが、近似的には成立する。図２（ａ）において「赤」と示している斜め線ハッチをかけた三角形部分に相当する３次元空間上の全ての点は、２次元画像上の「赤」と示している画素に投影される。また、図２（ｂ）は拡大図であり、各三角形の鏡面側の頂点は必ずしも一点に重ならない。
(１)中間点は、線形補間で対応する。
(２)説明のため三角形は広く設定しているが、実際にはもっと細く設定する。半径方向の一画素毎に対応する３次元空間（三角形）を作れば、一番シンプルとなる。
本実施例では、３次元空間を三角形に分割したキャリブレーション法によって対応する画像上の画素位置を求めている。
【００３２】
次に、具体的なキャリブレーション手順について図３、図４を用いて説明する。図３は、本実施形態のキャリブレーションパターンとその設置方法を示す図である。図４は本実施形態の対応点テーブルを説明するための図である。まず、図３に示すように上記対応点テーブル作成方法において、キャリブレーションボードを少なくとも２箇所以上の所定位置に置いた状態で各所定位置ごとに撮影し、所定位置ごとに画像上の同一の画素上に投影される３次元空間上の点（キャリブレーションボード上の点）を２点求め、この２点を結ぶ３次元空間上の半直線上と前記画素位置を対応付ける。以下、詳細に説明する。
【００３３】
（手順１)光線（位置と方向）検出のために２点が必要なので、所定のパターンが描かれたキャリブレーションボードを３次元位置が既知の２ヶ所に置いて各１回、合計２回撮影する。キャリブレーションボードのパターンは単純には、空間変調（１．色変調、２．幅変調）によるが、画像上で対応が付けられるような他のパターンを選ぶこともできる。カメラ画角の画角をカバーできれば、置き方は水平、垂直のどちらでもよいし、混じってもよい。
【００３４】
（手順２) 画像上で同一画素上に射影される３次元空間上の点を２点求めると、３次元空間上に直線が引ける。例えば、図３（ａ）上段の緑と下段の青が画像上の赤画素の位置に投影される。逆に、赤画素の位置に射影される点の集合空間（３次元空間上の赤三角形、斜め線ハッチをかけた部分）が求まる。この三角形を求めることでキャリブレーションが可能となる。最低限２点があればよいが、２回以上撮影し、同一画素上に投影される点を２点以上求めることで、より誤差の少ない安定した対応付けが可能となる。
【００３５】
ここでは、この２点を結ぶ３次元空間上の半直線上（レンズまで、あるいは全方位カメラにおいては鏡面の反射を受けてレンズに至る）にある全ての点は、前記画素上に投影される事実を利用している。
【００３６】
図４（ａ）に示すように、本実施形態の対応点テーブルは、画素位置−３次元半直線の組合せから成る。また、半直線だけでは、全空間をカバーできないので、間は補間により求める。画像上の同一の画素上に投影される３次元空間上の点が３点以上ある場合は点の集合の近似直線を求めることで、安定性、精度を向上させることができる。
【００３７】
なお対応点テーブルは、距離画像データを２次元画像上に対応付けるために、各データが対応点テーブルのどの領域に一番近いかを判断して対応画素を見つけることができれば、どのようなものであっても良い。
【００３８】
次に、上記対応付けステップで距離画像と２次元画像の位置が対応付けられると、その対応結果に基づいて上記距離画像のデータを２次元画像上に重畳する（重畳ステップ）。具体的には、前記測域センサで測定した目標点までの距離及び方向と前記測域センサの位置及び方向と前記カメラの位置及び方向に基づき前記対応点テーブルを参照して前記の目標点に対応する画像上の対応点を算出し、画像上にプロットする。
【００３９】
また、カメラ座標系（３次元空間）とスクリーン座標系（２次元画像）との対応付けのためのキャリブレーションにより、３次元距離画像データと２次元画像データとの対応付けの精度を高めることができる。
【００４０】
次に、本発明の第２の実施形態について図５および図６を用いて説明する。第１の実施形態と異なる点について説明し、共通する点については説明を省略する。本実施形態が第１の実施形態と異なる点は、対応付けステップについてである。図５は、第２の実施形態のキャリブレーションパターンとその設置方法を示す図である。図６は第２の実施形態の対応点テーブルを説明するための図である。
【００４１】
図６に示すように本実施形態の対応点テーブルは、画素位置−３次元空間上の三角形の組合せである。すなわち、全方位カメラや魚眼レンズを用いたカメラのように中心の回りに対称性を持つ場合は、ある特定の角度に対して求めておけばよく、角度を固定すると、画像上の同一の画素上に投影される３次元空間上の点はレンズの光軸に平行な平面上にある三角形上に存在し、半径方向に関してだけ各三角形の頂点と辺の方向を求めておけばよいので、キャリブレーションが非常に簡単になる。
【００４２】
図５は、図６における対応点テーブルを求める際のキャリブレーションボードの例を示す。ここでは、長方形のキャリブレーションボードをカメラの中心から半径方向に設置している。全方向カメラや魚眼レンズを用いたカメラのように角度方向に対称性を持つ場合は、一つの角度についてのみ、対応点テーブルを作成しておけばよいので、キャリブレーションが非常に簡単になる。また、描かれているキャリブレーションパターンは１次元的に考えることができる。全方位カメラや魚眼レンズを用いたカメラなどにおいては、キャリブレーション用の２次元パターンは不要であるので、単にスリット状の１次元パターンだけで済み、構成が簡単になる。また、精度を向上させるために、ある一定角度、例えば、90°毎にキャリブレーションを行い、その間は補間で求めることもできる。
【００４３】
以上のようにして距離画像と２次元画像の位置が対応付けられると、続いてその対応結果に基づいて上記距離画像のデータを２次元画像上に重畳する。この重畳ステップについては、第１の実施形態と同様であるため説明を省略する。
【００４４】
次に、本発明の第３の実施形態について図７および図８を用いて説明する。第１の実施形態と異なる点について説明し、共通する点については説明を省略する。本実施形態が第１の実施形態と異なる点は、対応付けステップについてである。図７は、第３の実施形態のキャリブレーションパターンとその設置方法を示す図である。図８は第３の実施形態の対応点テーブルを説明するための図である。
【００４５】
図８に示すように対応点テーブルは、画素位置−３次元楕円錐の組合せであって、同一画素上に投影される３次元空間上の点集合は楕円錐に近い領域を形成する。このとき、各領域は重ならないようにとる。
【００４６】
図7は、図８における対応点テーブルを求める際のキャリブレーションボードの例を示す。この例ではキャリブレーションボードは２次元的に広がるパターンが描かれている。
【００４７】
以上のようにして距離画像と２次元画像の位置が対応付けられると、続いてその対応結果に基づいて上記距離画像のデータを２次元画像上に重畳する。この重畳ステップについては、第１の実施形態と同様であるため説明を省略する。
【００４８】
以上では３つの実施形態に分けて説明したが、対応点テーブルを変換して利用することもできる。例えば、第２の実施形態で得られた、三角形の頂角を２等分する半直線を利用して第１の実施形態のための対応点テーブルとすることもできる。その他にも同様に適用できる。
【００４９】
以上本発明によれば、距離画像データと２次元画像データとの対応付けが可能となり、お互いの短所をカバーしながら長所を生かせるので距離画像データと２次元画像データを相補的に用いることにより柔軟で信頼性の高い認識結果が得られる。例えば、色が同じ対象物あるいは背景と同じ色やテクスチャの対象物の場合は画像だけでは区別が難しいが、距離画像データと２次元画像データとを併用すると簡単に識別ができる。
【００５０】
図９に示すように、追跡している二人の人が交差した場合に、引き返したのか、そのまま進んだのか、画像だけでは区別しにくいことがあるが（図９(b)(c)参照）、３次元測域センサを用いると簡単に区別できる。また、地面で体操をしているのか、ジャンプしているのかは、画像だけでは区別しにくいが（図９(e)参照）、３次元距離画像データと２次元画像データの両方を用いることで、両者の判別が可能となる。もちろん、ステレオ視を用いれば不可能ではないが、精度も低くなる。このようなときにも融合技術が役立つ。
【符号の説明】
【００５１】
１０１ 測域センサ
１０２ カメラ
１０３ 対応点テーブル
１０４ 重畳処理
【特許請求の範囲】
【請求項１】
２次元データを取得する２次元データ取得ステップと、
３次元データを取得する３次元データ取得ステップと、
上記２次元データと上記３次元データの位置を対応付ける対応付けステップと、
上記対応付けステップで対応付けた結果に基づいて上記３次元データを２次元データ上に重畳する重畳ステップと、
を備える３次元データと２次元データの統合方法
【請求項２】
上記対応付けステップにおいて、所定のパターンが描かれたキャリブレーションボードを少なくとも２箇所以上の所定位置に置いた状態で各所定位置ごとに撮影し、撮影した画像上の同一の画素上に投影される３次元空間上の点集合を求め、この点集合から３次元空間上の領域を求め、この領域と２次元空間上の点を対応付ける、請求項１記載の３次元データと２次元データの統合方法
【請求項３】
上記対応付けステップにおいて、上記３次元データをカメラ座標系での座標に変換し、
上記重畳ステップにおいて、２次元データ上の座標を求めることで上記３次元データを上記２次元データ上に重畳する
請求項１又は２記載の３次元データと２次元データの統合方法
【請求項４】
請求項１から３の何れかに記載の統合方法を用いて、３次元データを２次元データ上に対応付けて重畳することで、３次元空間と２次元空間で異なるセンサデータを用いて行った情報処理の対応が付ける、監視システム
【請求項５】
請求項１から３の何れかに記載の統合方法を用いて、３次元データを２次元データ上に対応付けて重畳することで、３次元空間と２次元空間で異なるセンサデータを用いて行った情報処理の対応が付ける、見守りシステム
【請求項１】
２次元データを取得する２次元データ取得ステップと、
３次元データを取得する３次元データ取得ステップと、
上記２次元データと上記３次元データの位置を対応付ける対応付けステップと、
上記対応付けステップで対応付けた結果に基づいて上記３次元データを２次元データ上に重畳する重畳ステップと、
を備える３次元データと２次元データの統合方法
【請求項２】
上記対応付けステップにおいて、所定のパターンが描かれたキャリブレーションボードを少なくとも２箇所以上の所定位置に置いた状態で各所定位置ごとに撮影し、撮影した画像上の同一の画素上に投影される３次元空間上の点集合を求め、この点集合から３次元空間上の領域を求め、この領域と２次元空間上の点を対応付ける、請求項１記載の３次元データと２次元データの統合方法
【請求項３】
上記対応付けステップにおいて、上記３次元データをカメラ座標系での座標に変換し、
上記重畳ステップにおいて、２次元データ上の座標を求めることで上記３次元データを上記２次元データ上に重畳する
請求項１又は２記載の３次元データと２次元データの統合方法
【請求項４】
請求項１から３の何れかに記載の統合方法を用いて、３次元データを２次元データ上に対応付けて重畳することで、３次元空間と２次元空間で異なるセンサデータを用いて行った情報処理の対応が付ける、監視システム
【請求項５】
請求項１から３の何れかに記載の統合方法を用いて、３次元データを２次元データ上に対応付けて重畳することで、３次元空間と２次元空間で異なるセンサデータを用いて行った情報処理の対応が付ける、見守りシステム
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−１４６１３２（Ｐ２０１２−１４６１３２Ａ）
【公開日】平成２４年８月２日（２０１２．８．２）
【国際特許分類】
【出願番号】特願２０１１−４０４９（Ｐ２０１１−４０４９）
【出願日】平成２３年１月１２日（２０１１．１．１２）
【出願人】（５０６１２２３２７）公立大学法人大阪市立大学 (122)
【Ｆターム（参考）】
【公開日】平成２４年８月２日（２０１２．８．２）
【国際特許分類】
【出願日】平成２３年１月１２日（２０１１．１．１２）
【出願人】（５０６１２２３２７）公立大学法人大阪市立大学 (122)
【Ｆターム（参考）】
[ Back to top ]