対象物の認識システム、見守りシステム、監視システム
【課題】エネルギ照射装置と２次元撮像装置を用いることで、種々の条件下で頑健に動作する対象物認識システムおよび見守りシステム、監視システムを提供する。
【解決手段】観測対象となる空間に向けて、所定の位置から照射方向を変えながら、エネルギを照射する照射手段と、照射手段で照射されたエネルギの反射エネルギを２次元的に感知し、対象となる空間を２次元的に撮像する撮像手段と、撮像手段で撮像した撮像画像上の切断曲線の特徴を用いて対象物の認識を行う認識手段とを備える対象物認識システムおよび該システムを備える見守りシステム、監視システム。
【解決手段】観測対象となる空間に向けて、所定の位置から照射方向を変えながら、エネルギを照射する照射手段と、照射手段で照射されたエネルギの反射エネルギを２次元的に感知し、対象となる空間を２次元的に撮像する撮像手段と、撮像手段で撮像した撮像画像上の切断曲線の特徴を用いて対象物の認識を行う認識手段とを備える対象物認識システムおよび該システムを備える見守りシステム、監視システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、照射エネルギの対象物表面での反射位置を画像上に重畳し、切断曲線の特徴を用いて対象物の認識を行う対象物の認識システムおよび該システムを用いた見守りシステム、監視システムに関する。
【背景技術】
【０００２】
先進諸国はこれからグローバリゼイションや高齢化社会を迎えようとしており、監視システム（テロ対策、不審者・不審物の早期発見）及び見守りシステム（高齢者、病人）は、その必要性を増すと考えられる。システム構築に監視カメラは不可欠な要素ではあるが、対象物の遮蔽や重なり、光源の変動等の影響を受け、誤認識を起こし易い。より高い信頼性を確保するためには、その他のセンサとの協調作業が必要となる。
【０００３】
特許文献１では、ＬＥＤ距離センサと、ＣＣＤカメラ等を用いた視覚センサを使用することにより、３次元形状の測定を精度高く行う方法を提案しているが、目的が高精度化であり、画像上に対応位置を描画する際には利用できない。
【０００４】
また、特許文献２では、能動的に測定光線を出射して測定する方法と受動的な多眼画像からの測定方法とを組み合わせて３次元画像計測を行うことにより、高精度、高分解能で広い距離範囲の測定を行うことを可能とし、処理時間も短縮する方法を提案しているが、異種データの統合とは趣旨が異なる。すなわち、座標変換を行わずに３次元データと２次元画像とを対応付けることはできない。
【０００５】
カメラとレーザレンジファインダーを用いる移動ロボットの環境マッピングや３次元物体の認識が注目されるようになっており、非特許文献１には、カメラによって情景の色や輝度の情報を獲得し、それらの解析によって対象物の発見や識別を行う手法が提案されている。ギアドステッピングモータによってレーザレンジファインダーを垂直方向に回転するサスペンションユニットにより、２次元水平面をスキャンし対象物までの距離を計測するレーザレンジファインダーを用いて３次元的な距離計測が可能になる。ここで重要なことは、得られた３次元データをスクリーン座標系に対応付けることである。画像と同じ要素数を持つ行列を用いて、解像度の異なる画像データと距離データの統合を行っている。しかし、画像データの二重の対応付けが行われている部分が立方体の背後に見られ、また一部に色が対応付けられていない部分も見られる。
【０００６】
非特許文献２には、スリット光源を用いて３次元形状計測をする手法が紹介されている。投影されたスリット光が、スリット光投影像としてカメラで撮像され、このスリット光源の投影方向を少しずつ変化させながら、測定対象全体にわたってスキャンすることにより、その画像から３次元形状データを算出する方法である。本発明におけるスリット光とは利用の仕方及び目的が違っており、そのままでは適用できない。
【０００７】
非特許文献３には、近赤外領域の３波長帯と可視光３波長帯を同時に撮像可能な６バンドカメラシステムを開発した事例が紹介されている。その応用例として、３波長帯の差分を利用した屋内での肌判別技術と６波長帯を利用した屋外での肌判別が紹介されている。このカメラシステムを用いれば、照射光源として、近赤外レーザー光を用いたときに座標変換が不要になる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平５−３２２５３１
【特許文献２】特開平９−００５０５０
【非特許文献】
【０００９】
【非特許文献１】Ｉｎｔｅｇｒａｔｉｏｎ ｏｆ Ｃｏｌｏｒ ａｎｄ Ｒａｎｇｅ Ｉｍａｇｅ ｆｏｒ Ｐｌａｎｔ Ｒｅｃｏｇｎｉｔｉｏｎ，Ｐｒｏｃ．ｏｆ ＩＳ−ＰＡＣＳ２００３，２１９/２２４（２００３）．（ｔ．Ｎｉｓｈｉｄａ，Ｔ．Ｋｉｔａｍｏｒｉ，Ａ．Ｅｇｕｃｈｉ，Ｙ．Ｆｕｃｈｉｋａｗａ Ａｎｄ Ｓ．Ｋｕｒｏｇｉ）
【非特許文献２】井口征士、佐藤宏介、三次元画像計測、昭晃堂
【非特許文献３】６バンドカメラシステム〜近赤外３可視光３バンドカメラ、映像情報メディア学会誌、Ｖｏｌ６５、Ｎｏ．３、ｐｐ．３４２−３４８（２０１１）．木村好克、寒澤祐介、城殿清澄、内藤貴志、二宮芳樹、
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明の対象物認識システムは、上記先行技術の課題を解決するために提供するものである。すなわち上述のように、従来技術は３次元形状取得に主眼が置かれており、姿勢・動作・移動などの認識に関しては比較的単純な分析に終わっており、対象物の見守りや監視への応用を考慮に入れた、人の姿勢・動作・移動の分析や正常・異常事態の検出までには至っていない。
【００１１】
本発明は、観測対象領域内に存在する対象物の３次元的な特徴を２次元画像上に簡単に反映させ、距離画像データと２次元画像データがお互いの短所をカバーしながら柔軟で信頼性の高い認識結果が得られる対象物認識システムおよび見守りシステム、監視システムを提供する。
【課題を解決するための手段】
【００１２】
観測対象となる空間に向けて、所定の位置から照射方向を変えながら、エネルギを照射する照射手段と、照射手段で照射されたエネルギの反射エネルギを２次元的に感知し、観測対象となる空間を２次元的に撮像する撮像手段と、撮像手段で撮像した撮像画像上の切断曲線の特徴を用いて対象物の認識を行う認識手段と、を備える。ここで、対象物とは、情報処理の対象となる物（広い意味で人も含む）を意味する。例えば、検知すべき不審者や不審物、転倒していないかどうか等の見守り対象者である。また、切断曲線とは、対象物の表面でのエネルギの反射位置が２次元画像上に投影されたものをいう。
【００１３】
上記認識手段は、対象物の切断曲線を求め、切断曲線の２次元空間上の特徴から対象物の姿勢・動作・移動等を認識してもよい。
【００１４】
上記照射手段は、既知の位置から照射方向（既知）を３次元曲面（平面を含む）に沿って変えながら、空間を探査スキャンするようにエネルギを照射し、上記認識手段は、対象物の切断曲線を求め、２次元空間上の位置・形状などの特徴から、空間的な特徴・時間的な変化を求めることで、大きさ、形状、動きを求め、対象物の姿勢・動作・移動等を認識してもよい。
【発明の効果】
【００１５】
本発明によれば、観測対象領域内に存在する対象物の３次元的な特徴を２次元画像上に容易に反映させることができるので、距離画像データと２次元画像データがお互いの短所をカバーしながら柔軟で信頼性の高い認識結果が得られる。
【００１６】
例えば、色が同じ対象物あるいは背景と同じ色やテクスチャの対象物の場合は画像だけでは区別が難しいが、距離画像データと２次元画像データとを併用すると簡単に識別ができ、頑健で柔軟な対象物の検出や姿勢・動作・移動などの認識が可能となる。
【図面の簡単な説明】
【００１７】
【図１】全体の構成とデータの流れを示す図
【図２】座標変換を経由する場合と経由しない場合のフロー図
【図３】第１の実施例における対象物の認識方法を示す図
【図４】２次元画像だけでは区別しにくい状況を説明するための図
【図５】２次元画像と光源の軌跡との重畳を示す図
【発明を実施するための形態】
【００１８】
本発明の第１の実施例について説明する。図1に本実施例の対象物認識システムにおける全体構成とデータの流れを示す。本発明の対象物認識システムには、レーザ光源１と、カメラ２と、コンピュータ３が用いられている。
【００１９】
レーザ光源１は観測対象となる空間に向けて、所定の位置から照射方向を変えながら、可視光、赤外線、電磁波、超音波などのエネルギ源を照射する。
【００２０】
カメラ２は、レーザ光源で照射されたエネルギの対象物表面での反射エネルギを感じることができる２次元撮像装置であり、２次元空間上にその強度を反映する。立体スキャン、平面スキャン、点群スキャンのどれであってもよく、エネルギ源に応じて、最適なカメラを選択することができる。
【００２１】
コンピュータ３は、カメラで撮像した撮像画像から対象物の切断曲線を抽出し、その切断曲線の特徴を用いて、撮像画像と合わせて特徴抽出、認識等の情報処理を行う。情報処理するときに、切断曲線の空間的形状だけでなく時間的な変化を考慮することで、より多くの情報が得られ、上記認識精度及び正常、異常の判断の信頼性が高まる。エネルギ照射装置や撮像装置の位置及び向きをコンピュータにより時間的に制御することもできる。その結果、異常事態発生と判断されれば、アラームを発生する。
【００２２】
可視光カメラ（ディジタルカメラ、ビデオカメラ）や赤外線カメラで撮像された画像とその上に重畳された切断曲線とを用いてセグメンテイションの精度を高めることもできる。ここで、セグメンテイションとは、対象物領域を抽出することをいう。
【００２３】
カメラ２が反射エネルギを直接感知できない場合は、反射エネルギを感知できる他の２次元撮像装置で撮像し、座標変換により元の２次元撮像装置の画像上に重畳してもよい。
【００２４】
図２は、座標変換を経由する場合と経由しない場合のフロー図である。例えば、赤外線を照射した場合に、一旦赤外線カメラで撮影し、座標変換により可視光カメラ画像上に重畳してもよい。
【００２５】
３次元距離データがあれば、２次元画像上にプロットすることができるが、直接描画することで、座標変換が不要になる（図２参照）。同時に、歪や誤差を補正するためのキャリブレーションが自動的に行われることなる。このことは比較的高価な３次元距離データ取得装置が不要になることを意味している。さらに、３次元的な情報の取得も可能になるので、認識精度は向上する。ここでは、形状計測ではなく認識が目的であるので、ミリセンチメーター単位での精度は不必要であり、１〜２桁低い精度でも十分であるので、広い範囲で応用できる。
【００２６】
以上のように、対象物の切断曲線の２次元画像上での位置、形状は３次元位置、形状を反映したものであり、２次元画像と相補的に用いることで信頼性の高い認識結果が得られる。
【００２７】
次に、本実施例のシステム構成要素と検知原理について、図３を用いて詳細に説明する。本実施例では、レーザ光源が、所定の位置から照射方向を、３次元曲面に沿って変えながら、エネルギを照射する。３次元曲面とは、半直線の組合せで構成される曲面のことで、例えば、平面、円錐、円筒などの形状のことを言う。ここでは、１枚の水平な照射平面を用いているが、複数枚の形状位置が既知の曲面を用いてもよい。システムは、レーザ光源とカメラと情報を処理し、機器を制御するコンピュータからなる（図３（ａ）参照）。一番良く使われると思われる床面に平行に照射する場合について説明する。スリット光あるいはスポット光により光のスキャン平面を作る。この平面をどこで切断するかをカメラで観測し、その切断曲線から対象物の姿勢、動作、位置などを認識する。
【００２８】
コンピュータにおける認識の様子を図３（ｂ）に示す。最初に、対象物の切断曲線を求め、２次元空間上の位置および／または形状の特徴を抽出する。例えば、人が立って普通に歩いているときは、この図では肩のあたりをスキャン平面が横切るので、かなり幅が広く、左右の直線に比べれば、下方に凸の曲線となる。次に。抽出した特徴の時間的な変化を求めることで、対象物の姿勢・動作・移動を認識する。もし、突然倒れたとすれば、頭、首と切断面が移動するので、下方の凸が小さくなり、完全に転倒すれば、元のどこにも人が居ない状態と同じになる。この変化が急激であれば、転倒であり、アラームが必要な事態発生の可能性が出てくる。このシステムだけでは、それ以上の判断はできないので、画像処理との併用が必要となる。また、変化がゆっくりであれば、単にかがんだか、座ったと思われるので正常の動作と判断する。もちろんゆっくりと倒れこむと言うような事態もあり得るので、横になってからの姿勢・動きも観測し続ける必要がある。また、平面を複数枚用いることでさらに詳細な検討ができると思われる。
【００２９】
図３（ｃ）はスキャン平面を横切る切断曲線と姿勢判別との関係の１例を示したものである。転倒後の切断曲線は、人が居ない状態に戻る。この時間間隔が少ない場合、即ち、急激な変化は異常事態発生と判断する。自分で座る場合は急には変化しないと同時に特有の姿勢変化パターンがあるので、区別できる。
【００３０】
図３（ｄ）は画像だけでは区別しにくい例を区別し易い例と対比しながら示している。図３（ｃ）において、急激な変化は異常事態発生の可能性があると判断する。自分で座る場合は急には変化しないと同時に特有の姿勢変化パターンがあるので、区別できる。画像処理からは、「倒れている」と「横たわっている」は非常に区別しにくい。横になっている状態（倒れている、横たわっている）と「座っている、立っている」は区別できる。しかし、この状態に至る時間変化を捉えると、判断に有用な情報が得られる。画像処理と切断曲線の変化の両方を用いることで精度が上がる。切断曲線の処理は比較的単純な処理で済む。
【００３１】
なお、レーザ光源として液晶プロジェクタを用いた場合は照射面は平行にはならず、遠くに行くに従って広がっていく。図３（ｅ）のように直線的に照射する複数個のレーザ光源を回転軸上に配置し、回転させることで、平行な照射面を構成することもできる。
【００３２】
本実施例の対象物認識システムによれば、２次元画像だけでは区別しにくい状況であっても適切に認識することができる。例えば、図４に示すように、追跡している二人の人が交差した場合に、引き返したのか、そのまま進んだのか、画像だけでは区別しにくいことがあるが（図４（ｂ），（ｃ）参照）、３次元情報を用いると簡単に区別できる。また、地面で体操をしているのか、ジャンプしているのかは、画像だけでは区別しにくいが（図４（ｅ）参照）、３次元距離画像データと２次元画像データの両方を用いることで、両者の判別が容易となる。もちろん、ステレオ視を用いれば不可能ではないが、精度も低くなる。このようなときにも相補的利用が役立つ。
【００３３】
以上より、カメラ画像と共に、３次元情報をも用いた見守り・監視システムが非常に簡便、安価に実現できる。単に見守りだけでなく、監視目的の際には侵入者の動きについても認識でき、記録しておけば、犯罪捜査などに、役立つ。さらに、実時間で異常を検知できることで未然防止にも役立つ。
【００３４】
また、見守りだけでなく、侵入者があった場合にも検知可能であり、防犯・監視目的にも使える。画像と相補的に用いることで、移動経路、大きさ、姿勢、行動把握等、その処理結果の信頼精度向上のための情報が得られる。
【００３５】
可視光カメラによる対象空間の撮影が難しい場所や時間帯においても、切断曲線の特徴のみを用いることで見守り・監視システムの実現が可能となる。例えば、夜間や暗闇においても対象物の検知、姿勢・動作・移動の認識が可能となる。また、カメラには感じるが、人の目には感じない光（可視光の外）やその他のエネルギ源を用いれば、対象者に気付かれることはない。
【００３６】
さらに、対象物体領域の抽出には、画像の背景差分あるいはフレーム間差分が多く用いられてきたが、プロット曲線を用いた背景差分あるいはフレーム間差分による抽出も可能となり、柔軟性が向上する。ここで、プロット曲線とは、対象物だけでなく、全ての反射エネルギを画像上にプロットして重畳したものをいう。
【００３７】
なお、プライバシーの遵守が強く要求される場所においては、切断曲線の特徴のみを用いることでプライバシーに配慮した見守りシステムの実現が可能となる。例えば、転倒が多いとされている風呂での利用も可能である。
【００３８】
本発明の第２の実施例を図５に示す。市販の機材での実現可能性を確認するために、次の組み合わせを用いた実施例である。
（１）ビデオカメラと水平面で回転するレーザポインタ
（２）ディジタルカメラと液晶プロジェクタ
撮影条件は次の通りである。
（晴、昼間３時頃、室内、撮影距離３ｍ、カーテン開放、上方約20°の角度から撮影）
前述のように、ここでは形状計測ではなく、認識が目的なので、それほど高い精度は必要ない。精度より、確実に光源の軌跡が検出できることの方が重要である。そのため、太いスリットが使える。すなわち、市販のプロジェクタやレーザポインタを光源として、市販のディジタルカメラやビデオカメラを２次元撮像装置として十分利用可能であることが示された。図５（ａ）、（ｂ）のどちらも、カメラと被写体の間が約３ｍの距離で撮影し、その画像の一部を切り出したものであり、サイズを小さくするために解像度を約1/10に落としているが、原画ではもう少しくっきりと写っている。
【００３９】
図５（ａ）は、水平照射面を構成するために図３（ｅ）の考え方に沿って、回転するレーザスポットをビデオカメラで撮影したものである。上段中央及び右端は、ある時刻での画像であるが、レーザ光の位置が検出されている様子を見ることができる。すなわち市販の製品を用いて十分にレーザ光の軌跡が追跡でき、切断曲線が求められることを示している。
【００４０】
図５（ａ）の右下図は、ビデオカメラの各フレームから画像処理により抽出されたレーザ光の反射を時間的に追跡したもので、対象物の３次元形状を反映している様子が示されている。閾値処理された結果はもう少し細い線状になっているが、ここでは分かり易くするために、拡大して表示している。
【００４１】
図５（ｂ）は、市販のプロジェクタでスリット光を投影しながら、ディジタルカメラで撮影したものである。ここでも、形状計測が目的ではないので、光源軌跡の検出が容易になるように太いスリットが使える。被写体が白いシャツを着ているため、白黒画像では判別しにくいが、カラー画像では、はっきりと赤いレーザ光の軌跡が見える。分かり易くするために、右端の図は画像処理により赤色部分を抽出して左端の原画に重畳したものである。
【００４２】
図５（ｂ）では２本の赤いレーザ光が見えるが、上のレーザ光は首の辺りを通過しているので、下方に小さな凸、下のレーザ光は腰の辺りを通過しているので、下方に大きな凸となっている様子を見ることができる。ここでは２枚の平面を用いているが、頭部に相当する曲線と腰部に相当する曲線の形状から、当該人物は立っていることが分かる。しかも、対象者が移動するときは、画像上の２次元的位置から３次元位置が求められるので、その床上の移動速度が求められ、普通に歩いているか、急いで歩いているか、が分かる。
【００４３】
上の例で見るように複数枚の照射面を用いることができるが、各スリット光源の色（色変調、輝度変調）や線の種類（点線、破線、一点鎖線、太線、細線等の空間変調）等を変えることで、各照射面を識別することができる。また、異なる位置、方向から複数個の光源、複数台のカメラを用いてもよい。
【００４４】
対象物の切断曲線の抽出には画像処理の手法が応用できる。例えば、壁あるいは無限遠点から反射するレーザ光の軌跡は、背景として初期状態から求められるので、背景差分により対象物からの反射かどうかは判定できる。また、時間的に連続するデータが得られれば、フレーム間差分を用いてもよい。
【００４５】
本発明は、家庭や学校等建物内における老人や子供、病人等の見守りシステム、あるいは地下鉄、駅、空港等の公共の場における、拳銃、刀等の不法所持者、テロリスト、尾行、スリ、喧嘩等怪しい人物（不審者）の発見と追跡及び不審物の発見等セキュリティ確保のための監視システム等に必須の技術として、人の姿勢・動作・移動や持ち主不在の物体を検出及び認識して、異常を検知するために役立つものである。
【００４６】
集団で同じ姿勢・動作をしているときに、他の人と違う姿勢・動作をした人の検知に利用することもできる。照射装置・撮像装置の位置・角度は固定でなく時間的に変えることもできる。例えば、試験会場等において、受験者が着席したときの頭部の高さ以上、挙手したときの手の高さ以下の範囲に照射面を設定し、その切断面から挙手を検知し、受験に邪魔にならない振動等の方法で試験監督に知らせることで迅速な対応を可能にすることもできる。
【技術分野】
【０００１】
本発明は、照射エネルギの対象物表面での反射位置を画像上に重畳し、切断曲線の特徴を用いて対象物の認識を行う対象物の認識システムおよび該システムを用いた見守りシステム、監視システムに関する。
【背景技術】
【０００２】
先進諸国はこれからグローバリゼイションや高齢化社会を迎えようとしており、監視システム（テロ対策、不審者・不審物の早期発見）及び見守りシステム（高齢者、病人）は、その必要性を増すと考えられる。システム構築に監視カメラは不可欠な要素ではあるが、対象物の遮蔽や重なり、光源の変動等の影響を受け、誤認識を起こし易い。より高い信頼性を確保するためには、その他のセンサとの協調作業が必要となる。
【０００３】
特許文献１では、ＬＥＤ距離センサと、ＣＣＤカメラ等を用いた視覚センサを使用することにより、３次元形状の測定を精度高く行う方法を提案しているが、目的が高精度化であり、画像上に対応位置を描画する際には利用できない。
【０００４】
また、特許文献２では、能動的に測定光線を出射して測定する方法と受動的な多眼画像からの測定方法とを組み合わせて３次元画像計測を行うことにより、高精度、高分解能で広い距離範囲の測定を行うことを可能とし、処理時間も短縮する方法を提案しているが、異種データの統合とは趣旨が異なる。すなわち、座標変換を行わずに３次元データと２次元画像とを対応付けることはできない。
【０００５】
カメラとレーザレンジファインダーを用いる移動ロボットの環境マッピングや３次元物体の認識が注目されるようになっており、非特許文献１には、カメラによって情景の色や輝度の情報を獲得し、それらの解析によって対象物の発見や識別を行う手法が提案されている。ギアドステッピングモータによってレーザレンジファインダーを垂直方向に回転するサスペンションユニットにより、２次元水平面をスキャンし対象物までの距離を計測するレーザレンジファインダーを用いて３次元的な距離計測が可能になる。ここで重要なことは、得られた３次元データをスクリーン座標系に対応付けることである。画像と同じ要素数を持つ行列を用いて、解像度の異なる画像データと距離データの統合を行っている。しかし、画像データの二重の対応付けが行われている部分が立方体の背後に見られ、また一部に色が対応付けられていない部分も見られる。
【０００６】
非特許文献２には、スリット光源を用いて３次元形状計測をする手法が紹介されている。投影されたスリット光が、スリット光投影像としてカメラで撮像され、このスリット光源の投影方向を少しずつ変化させながら、測定対象全体にわたってスキャンすることにより、その画像から３次元形状データを算出する方法である。本発明におけるスリット光とは利用の仕方及び目的が違っており、そのままでは適用できない。
【０００７】
非特許文献３には、近赤外領域の３波長帯と可視光３波長帯を同時に撮像可能な６バンドカメラシステムを開発した事例が紹介されている。その応用例として、３波長帯の差分を利用した屋内での肌判別技術と６波長帯を利用した屋外での肌判別が紹介されている。このカメラシステムを用いれば、照射光源として、近赤外レーザー光を用いたときに座標変換が不要になる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平５−３２２５３１
【特許文献２】特開平９−００５０５０
【非特許文献】
【０００９】
【非特許文献１】Ｉｎｔｅｇｒａｔｉｏｎ ｏｆ Ｃｏｌｏｒ ａｎｄ Ｒａｎｇｅ Ｉｍａｇｅ ｆｏｒ Ｐｌａｎｔ Ｒｅｃｏｇｎｉｔｉｏｎ，Ｐｒｏｃ．ｏｆ ＩＳ−ＰＡＣＳ２００３，２１９/２２４（２００３）．（ｔ．Ｎｉｓｈｉｄａ，Ｔ．Ｋｉｔａｍｏｒｉ，Ａ．Ｅｇｕｃｈｉ，Ｙ．Ｆｕｃｈｉｋａｗａ Ａｎｄ Ｓ．Ｋｕｒｏｇｉ）
【非特許文献２】井口征士、佐藤宏介、三次元画像計測、昭晃堂
【非特許文献３】６バンドカメラシステム〜近赤外３可視光３バンドカメラ、映像情報メディア学会誌、Ｖｏｌ６５、Ｎｏ．３、ｐｐ．３４２−３４８（２０１１）．木村好克、寒澤祐介、城殿清澄、内藤貴志、二宮芳樹、
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明の対象物認識システムは、上記先行技術の課題を解決するために提供するものである。すなわち上述のように、従来技術は３次元形状取得に主眼が置かれており、姿勢・動作・移動などの認識に関しては比較的単純な分析に終わっており、対象物の見守りや監視への応用を考慮に入れた、人の姿勢・動作・移動の分析や正常・異常事態の検出までには至っていない。
【００１１】
本発明は、観測対象領域内に存在する対象物の３次元的な特徴を２次元画像上に簡単に反映させ、距離画像データと２次元画像データがお互いの短所をカバーしながら柔軟で信頼性の高い認識結果が得られる対象物認識システムおよび見守りシステム、監視システムを提供する。
【課題を解決するための手段】
【００１２】
観測対象となる空間に向けて、所定の位置から照射方向を変えながら、エネルギを照射する照射手段と、照射手段で照射されたエネルギの反射エネルギを２次元的に感知し、観測対象となる空間を２次元的に撮像する撮像手段と、撮像手段で撮像した撮像画像上の切断曲線の特徴を用いて対象物の認識を行う認識手段と、を備える。ここで、対象物とは、情報処理の対象となる物（広い意味で人も含む）を意味する。例えば、検知すべき不審者や不審物、転倒していないかどうか等の見守り対象者である。また、切断曲線とは、対象物の表面でのエネルギの反射位置が２次元画像上に投影されたものをいう。
【００１３】
上記認識手段は、対象物の切断曲線を求め、切断曲線の２次元空間上の特徴から対象物の姿勢・動作・移動等を認識してもよい。
【００１４】
上記照射手段は、既知の位置から照射方向（既知）を３次元曲面（平面を含む）に沿って変えながら、空間を探査スキャンするようにエネルギを照射し、上記認識手段は、対象物の切断曲線を求め、２次元空間上の位置・形状などの特徴から、空間的な特徴・時間的な変化を求めることで、大きさ、形状、動きを求め、対象物の姿勢・動作・移動等を認識してもよい。
【発明の効果】
【００１５】
本発明によれば、観測対象領域内に存在する対象物の３次元的な特徴を２次元画像上に容易に反映させることができるので、距離画像データと２次元画像データがお互いの短所をカバーしながら柔軟で信頼性の高い認識結果が得られる。
【００１６】
例えば、色が同じ対象物あるいは背景と同じ色やテクスチャの対象物の場合は画像だけでは区別が難しいが、距離画像データと２次元画像データとを併用すると簡単に識別ができ、頑健で柔軟な対象物の検出や姿勢・動作・移動などの認識が可能となる。
【図面の簡単な説明】
【００１７】
【図１】全体の構成とデータの流れを示す図
【図２】座標変換を経由する場合と経由しない場合のフロー図
【図３】第１の実施例における対象物の認識方法を示す図
【図４】２次元画像だけでは区別しにくい状況を説明するための図
【図５】２次元画像と光源の軌跡との重畳を示す図
【発明を実施するための形態】
【００１８】
本発明の第１の実施例について説明する。図1に本実施例の対象物認識システムにおける全体構成とデータの流れを示す。本発明の対象物認識システムには、レーザ光源１と、カメラ２と、コンピュータ３が用いられている。
【００１９】
レーザ光源１は観測対象となる空間に向けて、所定の位置から照射方向を変えながら、可視光、赤外線、電磁波、超音波などのエネルギ源を照射する。
【００２０】
カメラ２は、レーザ光源で照射されたエネルギの対象物表面での反射エネルギを感じることができる２次元撮像装置であり、２次元空間上にその強度を反映する。立体スキャン、平面スキャン、点群スキャンのどれであってもよく、エネルギ源に応じて、最適なカメラを選択することができる。
【００２１】
コンピュータ３は、カメラで撮像した撮像画像から対象物の切断曲線を抽出し、その切断曲線の特徴を用いて、撮像画像と合わせて特徴抽出、認識等の情報処理を行う。情報処理するときに、切断曲線の空間的形状だけでなく時間的な変化を考慮することで、より多くの情報が得られ、上記認識精度及び正常、異常の判断の信頼性が高まる。エネルギ照射装置や撮像装置の位置及び向きをコンピュータにより時間的に制御することもできる。その結果、異常事態発生と判断されれば、アラームを発生する。
【００２２】
可視光カメラ（ディジタルカメラ、ビデオカメラ）や赤外線カメラで撮像された画像とその上に重畳された切断曲線とを用いてセグメンテイションの精度を高めることもできる。ここで、セグメンテイションとは、対象物領域を抽出することをいう。
【００２３】
カメラ２が反射エネルギを直接感知できない場合は、反射エネルギを感知できる他の２次元撮像装置で撮像し、座標変換により元の２次元撮像装置の画像上に重畳してもよい。
【００２４】
図２は、座標変換を経由する場合と経由しない場合のフロー図である。例えば、赤外線を照射した場合に、一旦赤外線カメラで撮影し、座標変換により可視光カメラ画像上に重畳してもよい。
【００２５】
３次元距離データがあれば、２次元画像上にプロットすることができるが、直接描画することで、座標変換が不要になる（図２参照）。同時に、歪や誤差を補正するためのキャリブレーションが自動的に行われることなる。このことは比較的高価な３次元距離データ取得装置が不要になることを意味している。さらに、３次元的な情報の取得も可能になるので、認識精度は向上する。ここでは、形状計測ではなく認識が目的であるので、ミリセンチメーター単位での精度は不必要であり、１〜２桁低い精度でも十分であるので、広い範囲で応用できる。
【００２６】
以上のように、対象物の切断曲線の２次元画像上での位置、形状は３次元位置、形状を反映したものであり、２次元画像と相補的に用いることで信頼性の高い認識結果が得られる。
【００２７】
次に、本実施例のシステム構成要素と検知原理について、図３を用いて詳細に説明する。本実施例では、レーザ光源が、所定の位置から照射方向を、３次元曲面に沿って変えながら、エネルギを照射する。３次元曲面とは、半直線の組合せで構成される曲面のことで、例えば、平面、円錐、円筒などの形状のことを言う。ここでは、１枚の水平な照射平面を用いているが、複数枚の形状位置が既知の曲面を用いてもよい。システムは、レーザ光源とカメラと情報を処理し、機器を制御するコンピュータからなる（図３（ａ）参照）。一番良く使われると思われる床面に平行に照射する場合について説明する。スリット光あるいはスポット光により光のスキャン平面を作る。この平面をどこで切断するかをカメラで観測し、その切断曲線から対象物の姿勢、動作、位置などを認識する。
【００２８】
コンピュータにおける認識の様子を図３（ｂ）に示す。最初に、対象物の切断曲線を求め、２次元空間上の位置および／または形状の特徴を抽出する。例えば、人が立って普通に歩いているときは、この図では肩のあたりをスキャン平面が横切るので、かなり幅が広く、左右の直線に比べれば、下方に凸の曲線となる。次に。抽出した特徴の時間的な変化を求めることで、対象物の姿勢・動作・移動を認識する。もし、突然倒れたとすれば、頭、首と切断面が移動するので、下方の凸が小さくなり、完全に転倒すれば、元のどこにも人が居ない状態と同じになる。この変化が急激であれば、転倒であり、アラームが必要な事態発生の可能性が出てくる。このシステムだけでは、それ以上の判断はできないので、画像処理との併用が必要となる。また、変化がゆっくりであれば、単にかがんだか、座ったと思われるので正常の動作と判断する。もちろんゆっくりと倒れこむと言うような事態もあり得るので、横になってからの姿勢・動きも観測し続ける必要がある。また、平面を複数枚用いることでさらに詳細な検討ができると思われる。
【００２９】
図３（ｃ）はスキャン平面を横切る切断曲線と姿勢判別との関係の１例を示したものである。転倒後の切断曲線は、人が居ない状態に戻る。この時間間隔が少ない場合、即ち、急激な変化は異常事態発生と判断する。自分で座る場合は急には変化しないと同時に特有の姿勢変化パターンがあるので、区別できる。
【００３０】
図３（ｄ）は画像だけでは区別しにくい例を区別し易い例と対比しながら示している。図３（ｃ）において、急激な変化は異常事態発生の可能性があると判断する。自分で座る場合は急には変化しないと同時に特有の姿勢変化パターンがあるので、区別できる。画像処理からは、「倒れている」と「横たわっている」は非常に区別しにくい。横になっている状態（倒れている、横たわっている）と「座っている、立っている」は区別できる。しかし、この状態に至る時間変化を捉えると、判断に有用な情報が得られる。画像処理と切断曲線の変化の両方を用いることで精度が上がる。切断曲線の処理は比較的単純な処理で済む。
【００３１】
なお、レーザ光源として液晶プロジェクタを用いた場合は照射面は平行にはならず、遠くに行くに従って広がっていく。図３（ｅ）のように直線的に照射する複数個のレーザ光源を回転軸上に配置し、回転させることで、平行な照射面を構成することもできる。
【００３２】
本実施例の対象物認識システムによれば、２次元画像だけでは区別しにくい状況であっても適切に認識することができる。例えば、図４に示すように、追跡している二人の人が交差した場合に、引き返したのか、そのまま進んだのか、画像だけでは区別しにくいことがあるが（図４（ｂ），（ｃ）参照）、３次元情報を用いると簡単に区別できる。また、地面で体操をしているのか、ジャンプしているのかは、画像だけでは区別しにくいが（図４（ｅ）参照）、３次元距離画像データと２次元画像データの両方を用いることで、両者の判別が容易となる。もちろん、ステレオ視を用いれば不可能ではないが、精度も低くなる。このようなときにも相補的利用が役立つ。
【００３３】
以上より、カメラ画像と共に、３次元情報をも用いた見守り・監視システムが非常に簡便、安価に実現できる。単に見守りだけでなく、監視目的の際には侵入者の動きについても認識でき、記録しておけば、犯罪捜査などに、役立つ。さらに、実時間で異常を検知できることで未然防止にも役立つ。
【００３４】
また、見守りだけでなく、侵入者があった場合にも検知可能であり、防犯・監視目的にも使える。画像と相補的に用いることで、移動経路、大きさ、姿勢、行動把握等、その処理結果の信頼精度向上のための情報が得られる。
【００３５】
可視光カメラによる対象空間の撮影が難しい場所や時間帯においても、切断曲線の特徴のみを用いることで見守り・監視システムの実現が可能となる。例えば、夜間や暗闇においても対象物の検知、姿勢・動作・移動の認識が可能となる。また、カメラには感じるが、人の目には感じない光（可視光の外）やその他のエネルギ源を用いれば、対象者に気付かれることはない。
【００３６】
さらに、対象物体領域の抽出には、画像の背景差分あるいはフレーム間差分が多く用いられてきたが、プロット曲線を用いた背景差分あるいはフレーム間差分による抽出も可能となり、柔軟性が向上する。ここで、プロット曲線とは、対象物だけでなく、全ての反射エネルギを画像上にプロットして重畳したものをいう。
【００３７】
なお、プライバシーの遵守が強く要求される場所においては、切断曲線の特徴のみを用いることでプライバシーに配慮した見守りシステムの実現が可能となる。例えば、転倒が多いとされている風呂での利用も可能である。
【００３８】
本発明の第２の実施例を図５に示す。市販の機材での実現可能性を確認するために、次の組み合わせを用いた実施例である。
（１）ビデオカメラと水平面で回転するレーザポインタ
（２）ディジタルカメラと液晶プロジェクタ
撮影条件は次の通りである。
（晴、昼間３時頃、室内、撮影距離３ｍ、カーテン開放、上方約20°の角度から撮影）
前述のように、ここでは形状計測ではなく、認識が目的なので、それほど高い精度は必要ない。精度より、確実に光源の軌跡が検出できることの方が重要である。そのため、太いスリットが使える。すなわち、市販のプロジェクタやレーザポインタを光源として、市販のディジタルカメラやビデオカメラを２次元撮像装置として十分利用可能であることが示された。図５（ａ）、（ｂ）のどちらも、カメラと被写体の間が約３ｍの距離で撮影し、その画像の一部を切り出したものであり、サイズを小さくするために解像度を約1/10に落としているが、原画ではもう少しくっきりと写っている。
【００３９】
図５（ａ）は、水平照射面を構成するために図３（ｅ）の考え方に沿って、回転するレーザスポットをビデオカメラで撮影したものである。上段中央及び右端は、ある時刻での画像であるが、レーザ光の位置が検出されている様子を見ることができる。すなわち市販の製品を用いて十分にレーザ光の軌跡が追跡でき、切断曲線が求められることを示している。
【００４０】
図５（ａ）の右下図は、ビデオカメラの各フレームから画像処理により抽出されたレーザ光の反射を時間的に追跡したもので、対象物の３次元形状を反映している様子が示されている。閾値処理された結果はもう少し細い線状になっているが、ここでは分かり易くするために、拡大して表示している。
【００４１】
図５（ｂ）は、市販のプロジェクタでスリット光を投影しながら、ディジタルカメラで撮影したものである。ここでも、形状計測が目的ではないので、光源軌跡の検出が容易になるように太いスリットが使える。被写体が白いシャツを着ているため、白黒画像では判別しにくいが、カラー画像では、はっきりと赤いレーザ光の軌跡が見える。分かり易くするために、右端の図は画像処理により赤色部分を抽出して左端の原画に重畳したものである。
【００４２】
図５（ｂ）では２本の赤いレーザ光が見えるが、上のレーザ光は首の辺りを通過しているので、下方に小さな凸、下のレーザ光は腰の辺りを通過しているので、下方に大きな凸となっている様子を見ることができる。ここでは２枚の平面を用いているが、頭部に相当する曲線と腰部に相当する曲線の形状から、当該人物は立っていることが分かる。しかも、対象者が移動するときは、画像上の２次元的位置から３次元位置が求められるので、その床上の移動速度が求められ、普通に歩いているか、急いで歩いているか、が分かる。
【００４３】
上の例で見るように複数枚の照射面を用いることができるが、各スリット光源の色（色変調、輝度変調）や線の種類（点線、破線、一点鎖線、太線、細線等の空間変調）等を変えることで、各照射面を識別することができる。また、異なる位置、方向から複数個の光源、複数台のカメラを用いてもよい。
【００４４】
対象物の切断曲線の抽出には画像処理の手法が応用できる。例えば、壁あるいは無限遠点から反射するレーザ光の軌跡は、背景として初期状態から求められるので、背景差分により対象物からの反射かどうかは判定できる。また、時間的に連続するデータが得られれば、フレーム間差分を用いてもよい。
【００４５】
本発明は、家庭や学校等建物内における老人や子供、病人等の見守りシステム、あるいは地下鉄、駅、空港等の公共の場における、拳銃、刀等の不法所持者、テロリスト、尾行、スリ、喧嘩等怪しい人物（不審者）の発見と追跡及び不審物の発見等セキュリティ確保のための監視システム等に必須の技術として、人の姿勢・動作・移動や持ち主不在の物体を検出及び認識して、異常を検知するために役立つものである。
【００４６】
集団で同じ姿勢・動作をしているときに、他の人と違う姿勢・動作をした人の検知に利用することもできる。照射装置・撮像装置の位置・角度は固定でなく時間的に変えることもできる。例えば、試験会場等において、受験者が着席したときの頭部の高さ以上、挙手したときの手の高さ以下の範囲に照射面を設定し、その切断面から挙手を検知し、受験に邪魔にならない振動等の方法で試験監督に知らせることで迅速な対応を可能にすることもできる。
【特許請求の範囲】
【請求項１】
観測対象となる空間に向けて、所定の位置から照射方向を変えながら、エネルギを照射する照射手段と、
照射手段で照射されたエネルギの反射エネルギを２次元的に感知し、観測対象となる空間を２次元的に撮像する撮像手段と、
撮像手段で撮像した撮像画像上の切断曲線の特徴を用いて対象物の認識を行う認識手段と、
を備える対象物の認識システム。
【請求項２】
上記認識手段が、対象物の切断曲線を求め、この切断曲線の２次元空間上の特徴から対象物の姿勢・動作・移動のうち少なくともいずれか一つ以上を認識する請求項１記載の対象物の認識システム。
【請求項３】
上記照射手段が、所定の位置から照射方向を、平面を含む３次元曲面に沿って変えながら、エネルギを照射し、
上記認識手段が、対象物の切断曲線を求め、２次元空間上の位置及び／又は形状の特徴を抽出し、抽出した特徴の時間的な変化を求めることで、対象物の姿勢・動作・移動のうち少なくともいずれか一つ以上を認識する請求項１記載の対象物の認識システム
【請求項４】
請求項１から３の何れかに記載の対象物の認識システムを用いて、対象物を見守る見守りシステム
【請求項５】
請求項１から３の何れかに記載の対象物の認識システムを用いて、対象物を監視する
監視システム
【請求項１】
観測対象となる空間に向けて、所定の位置から照射方向を変えながら、エネルギを照射する照射手段と、
照射手段で照射されたエネルギの反射エネルギを２次元的に感知し、観測対象となる空間を２次元的に撮像する撮像手段と、
撮像手段で撮像した撮像画像上の切断曲線の特徴を用いて対象物の認識を行う認識手段と、
を備える対象物の認識システム。
【請求項２】
上記認識手段が、対象物の切断曲線を求め、この切断曲線の２次元空間上の特徴から対象物の姿勢・動作・移動のうち少なくともいずれか一つ以上を認識する請求項１記載の対象物の認識システム。
【請求項３】
上記照射手段が、所定の位置から照射方向を、平面を含む３次元曲面に沿って変えながら、エネルギを照射し、
上記認識手段が、対象物の切断曲線を求め、２次元空間上の位置及び／又は形状の特徴を抽出し、抽出した特徴の時間的な変化を求めることで、対象物の姿勢・動作・移動のうち少なくともいずれか一つ以上を認識する請求項１記載の対象物の認識システム
【請求項４】
請求項１から３の何れかに記載の対象物の認識システムを用いて、対象物を見守る見守りシステム
【請求項５】
請求項１から３の何れかに記載の対象物の認識システムを用いて、対象物を監視する
監視システム
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１２−２０２８８３（Ｐ２０１２−２０２８８３Ａ）
【公開日】平成２４年１０月２２日（２０１２．１０．２２）
【国際特許分類】
【出願番号】特願２０１１−６９０２３（Ｐ２０１１−６９０２３）
【出願日】平成２３年３月２６日（２０１１．３．２６）
【出願人】（５０６１２２３２７）公立大学法人大阪市立大学 (122)
【Ｆターム（参考）】
【公開日】平成２４年１０月２２日（２０１２．１０．２２）
【国際特許分類】
【出願日】平成２３年３月２６日（２０１１．３．２６）
【出願人】（５０６１２２３２７）公立大学法人大阪市立大学 (122)
【Ｆターム（参考）】
[ Back to top ]