行動認識システム及びその方法
【課題】複数の人物が同一画像内に存在する場合においても特定の人物の行動を認識すること。
【解決手段】所定の空間を含む第１撮影空間の距離画像を取得する距離画像カメラ１と、所定の空間を含む第２撮影空間の撮影画像を取得するカメラ２と、距離画像の距離情報に基づいて対象人物を特定し、撮影画像において距離画像上で特定された対象人物に対応する人物を対象人物として特定し、対象人物の撮影画像を連続的に取得し、取得した連続撮影画像を用いて対象人物の行動を認識する情報処理装置３とを具備する行動認識システムを提供する。
【解決手段】所定の空間を含む第１撮影空間の距離画像を取得する距離画像カメラ１と、所定の空間を含む第２撮影空間の撮影画像を取得するカメラ２と、距離画像の距離情報に基づいて対象人物を特定し、撮影画像において距離画像上で特定された対象人物に対応する人物を対象人物として特定し、対象人物の撮影画像を連続的に取得し、取得した連続撮影画像を用いて対象人物の行動を認識する情報処理装置３とを具備する行動認識システムを提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は行動認識システム及びその方法に関するものである。
【背景技術】
【０００２】
従来、一般家庭でユーザの生活を補助、支援、介護するロボットや愛玩用のロボット等が開発されている。また、近年では、イベント会場や展示会場においてロボットが見物客に対してサービスを提供することも多く見られるようになっている。
このように、特定の人物に対してロボットがサービスを行う場合、その対象となる人物を特定し、その人物の行動を認識する必要がある。
例えば、特許文献１には、移動ロボットが備える視覚カメラ等で撮影した人物の画像を用いて、人物の行動を認識する技術が提案されている。具体的には、特許文献１には、人物の動画像を取得し、その動画像から人物の手や頭の動作パターンを抽出し、その動作パターンから人物の行動を認識する技術が開示されている。
【特許文献１】特開２００５−２１５９２７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上述した特許文献１に開示されている行動認識システムでは、複数の人物が同一画像内に存在しており、これらの他の人物の動きが対象となる人物と重なっている場合に、画像上では対象とする人物の動きであるか、或いは、背景にいる他の人物の動きかであるか区別できなくなり、行動認識が困難となるという問題があった。
【０００４】
本発明は、上記問題を解決するためになされたもので、複数の人物が同一画像内に存在する場合においても特定の人物の行動を認識することのできる行動認識システム及びその方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明は以下の手段を採用する。
本発明は、所定の空間を含む第１撮影空間の距離画像を取得する距離画像取得手段と、前記所定の空間を含む第２撮影空間の撮影画像を取得する撮像手段と、前記距離画像の距離情報に基づいて、対象人物を特定する第１特定手段と、前記撮影画像において、前記第１特定手段によって特定された対象人物に対応する人物を対象人物として特定する第２特定手段と、前記撮像手段によって連続的に取得される前記対象人物の撮影画像を用いて、前記対象人物の行動を認識する行動認識手段とを具備する行動認識システムを提供する。
【０００６】
このような構成によれば、所定の空間を含む第１撮影空間の距離画像が距離画像取得手段により取得されるとともに、該所定の空間を含む第２撮影空間の撮影画像が撮像手段により取得される。ここで、第１撮影空間と第２撮影空間とは、同一空間であってもよいし、該所定の空間が共通する互いに異なる空間であってもよい。第１撮影空間と第２撮影空間とが同一空間でない場合には、共通する所定の空間に、対象人物が存在している必要があるとともに、距離画像と撮影画像とにおいて互いの画像内の位置の対応付けがなされている必要がある。
【０００７】
続いて、取得された距離画像において距離情報に基づき対象人物が第１特定手段により特定され、この対象人物に対応する撮影画像上の人物が対象人物として第２特定手段により特定される。そして、このように撮影画像上において対象人物が特定された後は、この対象人物の撮影画像が連続的に取得され、この連続画像を用いて行動認識手段により該対象人物の行動認識が行われる。
このように、本発明の行動認識システムによれば、距離画像を用いて対象人物を特定するので、例えば、撮影画像からは判別できなかった奥行方向に配置されている人物の切り分けを容易に行うことが可能となる。これにより、行動認識を行う場合において、背後にいる人物や移動体の動きを排除して、対象人物の動作パターンのみを抽出でき、この結果、対象人物の行動認識を高い精度で行うことができる。
上記撮影画像は、２値の画像（明暗画像）であってもよいし、カラー画像であってもよい。
【０００８】
上記行動認識システムは、前記第１特定手段によって特定された対象人物を前記距離画像から抽出し、２値画像を作成する２値画像作成手段を備え、前記第２特定手段は、前記２値画像作成手段によって作成された２値画像を前記撮影画像に重ね合わせることにより、撮影画像上における前記対象人物を特定することとしてもよい。
【０００９】
このようにすることで、撮影画像上において容易に対象人物を特定することができる。
【００１０】
上記行動認識システムにおいて、前記第１特定手段は、前記距離画像において、予め設定されている所定距離に存在する人物を前記対象人物として特定することとしてもよい。
【００１１】
これにより、容易に対象人物を特定することが可能となる。
【００１２】
上記行動認識システムは、前記撮影画像において、顔検出を行う顔検出手段を備え、前記第１特定手段は、前記距離画像において、前記顔検出手段によって検出された顔の位置から所定距離内の領域に存在する物体を前記対象人物として特定することとしてもよい。
【００１３】
このような構成によれば、顔検出手段によって顔が検出され、続いて、距離画像において顔と略同じ距離に存在する物体、即ち、胴体、足、手等が検出され、これらが一体として対象人物として特定される。これにより、対象人物までの距離が不定の場合でも、顔から対象人物を特定することが可能となる。この結果、例えば、対象人物が移動している場合等においてもその人物を認識することが可能となる。
【００１４】
上記行動認識システムにおいて、前記顔検出手段は、複数の顔が検出された場合に顔の表情の変化を検出し、この変化に基づいていずれか一つの顔を選択することとしてもよい。
【００１５】
このようにすることで、複数の顔が検出された場合には、予めどのような表情をしている人物を対象人物として特定するかを決めておくことで、複数の人物から特定の人物を対象人物として選択することが可能となる。
例えば、笑っている人物を対象人物としたい場合には、口の周りの動きが大きい人物を選定すればよい。
【００１６】
上記行動認識システムは、前記距離画像取得手段と対象人物との距離を検出する距離検出手段を備え、前記第１特定手段は、前記距離画像において、前記距離検出手段によって検出された距離に存在する人物を前記対象人物として特定することとしてもよい。
【００１７】
このように距離検出手段を備えるので、対象人物までの距離が不明であった場合でも、対象人物までの距離を取得することができ、距離画像において対象人物を特定することが可能となる。
【００１８】
上記行動認識システムにおいて、前記距離検出手段は、予め設定されている所定の位置付近に存在する人物の距離を検出することとしてもよい。
【００１９】
例えば、イベント会場などで、所定の展示物の前に立っている人を対象人物として特定したい場合に、その対象人物までの距離が不明であるため、距離画像において対象人物を特定することができない。このような場合において、所定の位置付近、例えば、展示物付近に存在する人物の距離を距離検出手段によって検出することにより、所望の場所に存在する人物の一人を対象人物として特定することが可能となる。
【００２０】
上記行動認識システムにおいて、前記距離検出手段は、前記所定空間の上方に設けられた撮像装置であってもよい。
【００２１】
上方に設けられている撮像装置により距離を計測することにより、対象人物との距離を確実に測ることが可能となる。
【００２２】
上記行動認識システムにおいて、前記距離検出手段は、対象人物が携帯しているＩＣタグと通信するタグリーダであってもよい。
【００２３】
タグリーダを用いることで、対象人物がＩＣタグを携帯している場合には、簡易な装置により距離を測定することが可能となる。ＩＣタグは、例えば、ＲＦＩＤ（Radio Frequency IDentification）である。
【００２４】
本発明は、全方位の距離を取得する全方位距離取得手段と、所定空間の撮影画像を取得する撮像手段と、前記距離取得手段によって取得された距離情報と前記撮像手段によって取得された撮影画像とを用いて、前記所定空間の距離画像を生成する距離画像生成手段と、前記距離画像生成手段によって生成された前記距離画像の距離情報に基づいて対象人物を特定する第１特定手段と、前記撮影画像において、前記第１特定手段によって特定された対象人物に対応する人物を対象人物として特定する第２特定手段と、前記撮像手段によって連続的に取得される前記対象人物の撮影画像を用いて、前記対象人物の行動を認識する行動認識手段とを具備する行動認識システムを提供する。
【００２５】
このような構成によれば、全方位の距離取得手段によって取得された３６０度方位における距離情報と、撮像手段によって取得された撮影画像とを用いて距離画像が生成される。
続いて、生成された距離画像において距離情報に基づき対象人物が第１特定手段により特定され、この対象人物に対応する撮影画像上の人物が対象人物として第２特定手段により特定される。そして、このように撮影画像上において対象人物が特定された後は、この対象人物の撮影画像が連続的に取得され、この連続画像を用いて行動認識手段により該対象人物の行動認識が行われる。
このように、本発明の行動認識システムによれば、距離画像を用いて対象人物を特定するので、例えば、撮影画像からは判別できなかった奥行方向に配置されている人物の切り分けを容易に行うことが可能となる。これにより、行動認識を行う場合において、背後にいる人物や移動体の動きを排除して、対象人物の行動パターンのみを抽出でき、この結果、対象人物の行動認識を高い精度で行うことができる。
【００２６】
本発明は、所定の空間を含む第１撮影空間の距離画像を取得する過程と、前記所定の空間を含む第２撮影空間の撮影画像を取得する過程と、前記距離画像の距離情報に基づいて、対象人物を特定する過程と、前記撮影画像において、前記距離画像上で特定された対象人物に対応する人物を対象人物として特定する過程と、前記対象人物の撮影画像を連続的に取得し、取得した連続撮影画像を用いて前記対象人物の行動を認識する過程とを有する行動認識方法を提供する。
【００２７】
本発明は、３６０度方位の距離を取得する過程と、所定空間の撮影画像を取得する過程と、３６０度方位の距離情報と前記撮影画像とを用いて、前記所定空間の距離画像を生成する過程と、前記距離画像の距離情報に基づいて、対象人物を特定する過程と、前記撮影画像において、前記距離画像上で特定された対象人物に対応する人物を対象人物として特定する過程と、前記対象人物の撮影画像を連続的に取得し、取得した連続撮影画像を用いて前記対象人物の行動を認識する過程とを有する行動認識方法を提供する。
【発明の効果】
【００２８】
本発明によれば、複数の人物が同一画面内に存在する場合においても特定人物の行動を認識することができるという効果を奏する。
【発明を実施するための最良の形態】
【００２９】
本発明に係る行動認識システム及びその方法は、例えば、住居内等の比較的狭い空間、又は、展示会場や博覧会等の比較的広いイベント会場、若しくは、商業施設等、様々な場所において、移動ロボットが特定の人物に対して、その人物の行動に応じた適切なサービスを提供できるように、その特定人物の行動を認識する目的で用いられるものである。
以下、本発明に係る行動認識システム及びその方法の一実施形態について、図面を参照して説明する。
【００３０】
〔第１の実施形態〕
図１は、本発明の第１の実施形態に係る行動認識システムの概略構成を示す図である。本実施形態に係る行動認識システムは、所定の空間を含む第１撮影空間の距離画像を取得する距離画像カメラ（距離画像取得手段）１と、所定の空間を含む第２撮影空間の撮影画像を取得するカメラ（撮像手段）２と、距離画像カメラ１から距離画像を取得するとともに、カメラ２から撮影画像を取得し、これらの画像から対象人物を特定し、更に特定した対象人物の行動認識を行う情報処理装置３とを備えている。
【００３１】
上記第１撮影空間と第２撮影空間とは、同一空間であってもよいし、所定の空間が共通する互いに異なる空間であってもよい。第１撮影空間と第２撮影空間とが同一空間でない場合には、共通する所定の空間に、対象人物が存在している必要があるとともに、距離画像と撮影画像とにおいて互いの画像内の位置の対応付けがなされている必要がある。本実施形態においては、説明の便宜上、距離画像カメラ１とカメラ２とが、同一空間の画像を同時に撮影する場合を想定して説明する。
【００３２】
情報処理装置３は、いわゆるコンピュータであり、ＣＰＵ（中央演算処理装置）、ＲＡＭ（Random Access
Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk
Drive）等を備えており、ＲＯＭ等の記憶装置に格納されている各種プログラムをＣＰＵがＲＡＭに読み出し、実行することにより種々の処理を実現させる。
【００３３】
図２は、情報処理装置３により実現される機能を展開して示した機能ブロック図である。図２に示されるように、情報処理装置３は、第１特定部３１、２値画像作成部３２、第２特定部３３、行動認識部３４を備えている。
【００３４】
第１特定部３１は、距離画像カメラ１により取得された距離画像の距離情報に基づいて、対象人物を特定する。２値画像作成部３２は、第１特定部３１によって特定された対象人物を距離画像から抽出し、抽出した対象人物を白で、その他の部分を黒で表した２値画像を作成する。第２特定部３３は、２値画像作成部３２によって作成された２値画像をカメラ２によって取得された撮影画像に重ね合わせることにより、撮影画像において、第１特定部３１によって特定された対象人物に対応する人物を対象人物として特定する。行動認識部３４は、カメラ２によって連続的に取得される対象人物の撮影画像を用いて、対象人物の行動を認識する。
【００３５】
次に、本実施形態に係る行動認識システムの作動について図３を参照して説明する。
まず、距離画像カメラ１及びカメラ２が同時に作動することにより、同時期における同一の空間の距離画像と撮影画像とが取得される（図３のステップＳＡ１）。
【００３６】
図４に距離画像の一例を、図５に撮影画像の一例を示す。図４に示すように、距離画像においては、例えば、同じ距離の箇所が同じ色で表されている。また、ここでは、一例として、３人の人物が空間内に存在する場合を例に挙げている。
【００３７】
距離画像カメラ１によって取得された距離画像及びカメラ２によって取得された撮影画像は、情報処理装置３に送信される。
情報処理装置３の第１特定部３１は、入力された距離画像において、予め設定されている所定距離（例えば、１．５m）に存在する人物を対象人物として特定する（図３のステップＳＡ２）。ここで、予め設定されている所定距離とは、ユーザが任意に設定可能な値である。例えば、展覧会やイベント会場などで、所定の展示物の前に立っている人を対象人物として特定したい場合には、距離画像カメラ１と該展示物との距離を予め計測しておき、この距離を所定距離として登録することが考えられる。
【００３８】
次に、２値画像作成部３２は、第１特定部３１によって特定された対象人物を距離画像から抽出し、この部分を白、その他の部分を黒で表した２値画像を作成する（図３のステップＳＡ３）。
ここで、２値画像作成部３２によって作成される２値画像を図６に示す。ここでは、図４に示された距離画像において、右端の人物が対象人物であると第１特定部３１によって特定された場合の２値画像を示している。
【００３９】
続いて、第２特定部３３は、図７に示されるように、２値画像作成部３２によって作成された２値画像を撮影画像に重ね合わせることにより、撮影画像上における対象人物を特定する（図３のステップＳＡ４）。
これにより、撮影画像上において対象人物が特定されることとなる。このようにして、対象人物が撮影画像上において特定されると、行動認識部３４は、連続的にカメラ２によって取得される撮影画像を用いて、対象人物の動作パターンを分析し、この動作パターンから行動認識を行う（図３のステップＳＡ５）。
【００４０】
行動認識部３４により解析された行動認識結果は、例えば、対象人物の周辺にいるロボット５に送信される。これにより、ロボット５はこの対象人物の行動パターンに応じたサービスを対象人物に対して提供することが可能となる。
【００４１】
以上説明してきたように、本実施形態に係る行動認識システムによれば、距離画像を用いて対象人物を特定するので、例えば、撮影画像からは判別できなかった奥行方向に配置されている人物の切り分けを容易に行うことが可能となる。これにより、行動認識を行う場合において、背後にいる人物や移動体の動きを排除して、対象人物の行動パターンのみを抽出でき、この結果、対象人物の行動認識を高い精度で行うことが可能となる。
【００４２】
上記撮影画像は、２値の画像（明暗画像）であってもよいし、カラー画像であってもよい。また、上記距離画像カメラに代えて、レーザレーダ、ステレオカメラ、フラッシュ式の距離計器を使用することとしてもよい。
【００４３】
なお、上記実施形態においては、２値画像作成部３２によって作成された２値画像を用いて、撮影画像上の対象人物を特定することとしたが、このような２値画像を用いることなく、距離画像と撮影画像の各画素の対応付けに基づいて、撮影画像上における対象人物を特定することとしてもよい。この場合には、上述した２値画像作成部３２を省略することが可能である。
【００４４】
〔第２の実施形態〕
次に、本発明の第２の実施形態に係る行動認識システム及びその方法について説明する。以下、本実施形態の行動認識システムについて、第１の実施形態と共通する点については説明を省略し、異なる点について主に説明する。
【００４５】
図８は、本実施形態に係る行動認識システムの情報処理装置３ａが備える機能を展開して示した機能ブロック図である。図８に示されるように、情報処理装置３ａは、撮影画像において顔検出を行う顔検出部３５を更に備えている。
このような構成を備える行動認識システムにおいては、上述した第１の実施形態に係る行動認識システムと同様に、距離画像カメラ１及びカメラ２により距離画像及び撮影画像がそれぞれ取得され、情報処理装置３ａに入力される。情報処理装置３ａの顔検出部３５は、撮影画像において顔検出を行い、その結果を第１特定部３１ａに出力する。
【００４６】
第１特定部３１ａは、距離画像において、顔検出部３５によって検出された顔から所定距離内の領域に存在する物体を対象人物として特定する。具体的には、第１特定部３１ａは、顔から前後３０ｃｍの範囲に存在する物体を対象人物として特定する。
一般に、手、足、胴体等の体の各部は、頭を中心として厚み±３０ｃｍ以内に収まると考えられる。従って、第１特定部３１ａが顔から前後３０ｃｍの範囲に存在する物体を顔検出部３５によって検出された顔と同一人物に属するものであると判断し、これらの物体を対象人物として特定する。その後の処理は、上述した第１の実施形態と同様である。
【００４７】
以上説明したように、本実施形態に係る行動認識システムによれば、対象人物までの距離が不定の場合でも、顔から対象人物を特定することが可能となる。この結果、例えば、対象人物が移動している場合等においてもその人物を認識することが可能となり、対象人物の行動認識を確実に行うことが可能となる。
また、顔は手や足などと比較して、他の人物と重なることが少ないため、顔に基づいて人物を特定することで、対象人物以外の人物との切り分けを容易に且つ確実に行うことが可能となる。
【００４８】
また、上記第２の実施形態において、撮影画像中に複数の顔が検出された場合に、顔検出部３５は、各顔の表情の変化を検出し、この変化に基づいていずれか一つの顔を選択することとしてもよい。例えば、笑っている人物を対象人物として選択するという条件が予め設定されていた場合には、口の周りの動きが大きい顔を選択する。
このようにすることで、複数の顔が検出された場合でもそのうちの一つを選択することができるので、対象人物を特定することが可能となる。
【００４９】
〔第３の実施形態〕
次に、本発明の第３の実施形態に係る行動認識システム及びその方法について説明する。本実施形態に係る行動認識システムは、例えば、どの人物を対象人物にするかが予め決められているにもかかわらず、距離画像カメラ１とその人物との距離が不明であるために、距離画像カメラにおいて取得された距離画像において、対象人物を特定できない場合に、有効に機能する。
以下、本実施形態の行動認識システムについて、第１の実施形態と共通する点については説明を省略し、異なる点について主に説明する。
【００５０】
図９は、本実施形態に係る行動認識システムの概略構成を示した図である。図９に示すように、本実施形態に係る行動認識システムは、上述した第１の実施形態に係る行動認識システムの構成要素に加えて、距離画像カメラ１と対象人物との距離を検出するための距離検出手段を備えている。距離検出手段としては、例えば、天井に設けられたカメラ６が採用される。具体的には、カメラ６は、その撮影範囲に距離画像カメラ１と対象人物とが入るように天井に設置されている。
【００５１】
このような構成を備える行動認識システムにおいては、上述した第１の実施形態に係る行動認識システムと同様に、距離画像カメラ１及びカメラ２により距離画像及び撮影画像がそれぞれ取得され、情報処理装置３に入力される。また、カメラ６により距離画像カメラ１と対象人物との距離が計測され、この距離情報が情報処理装置３に入力される。
情報処理装置３の第１特定部３１は、距離画像において、カメラ６によって計測された距離に存在する人物を対象人物として特定する。その後の処理は、上述した第１の実施形態と同様である。
【００５２】
以上説明したように、本実施形態に係る行動認識システムによれば、対象人物までの距離が不明であった場合でも、距離画像カメラ１と対象人物との距離を計測することで、距離画像において対象人物を特定することが可能となる。
【００５３】
なお、上記実施形態においては、対象人物までの距離を検出する距離検出手段としてカメラ６を採用したが、距離画像カメラと対象人物までの距離を計測する手段としてはこの例に限られない。例えば、対象人物がＲＦＩＤ（Radio Frequency IDentification）等のＩＣタグを携帯している場合には、距離検出手段として、ＩＣタグリーダを採用することとしてもよい。この場合には、例えば、距離画像カメラの近傍にＩＣタグリーダを設置しておき、ＩＣタグリーダが受電したＩＣタグからの信号の電波強度で距離を計測することができる。このようにＩＣタグを用いることで、システム構成を簡略化することが可能となる。
【００５４】
〔第４の実施形態〕
次に、本発明の第４の実施形態に係る行動認識システム及びその方法について説明する。
例えば、展覧会やイベント会場などで、所定の展示物の前に立っている人を対象人物として特定したい場合がある。このような場合に、その対象人物までの距離が不確定であるため、距離画像において対象人物を特定することができないということが考えられる。本実施形態に係る行動認識システム及びその方法は、このように、予め決められている所定のエリア付近にいる人物を対象人物として特定する場合に、有効に機能する。
以下、本実施形態の行動認識システムについて、第１の実施形態と共通する点については説明を省略し、異なる点について主に説明する。
【００５５】
図１０は、本実施形態に係る行動認識システムの概略構成を示した図である。図１０に示すように、本実施形態に係る行動認識システムは、上述した第１の実施形態に係る行動認識システムの構成要素に加えて、距離画像カメラ１と対象人物との距離を検出するカメラ７を備えている。
例えば、所定の展示物５０の近傍に存在する人物を対象人物として特定したい場合には、カメラ７は展示物の周辺の人を観察できる位置に配置されるとともに、距離画像カメラ１と対象人物との距離を計測するできる場所、例えば、展示物５０付近の天井に設置される。
【００５６】
このような構成を備える行動認識システムにおいては、上述した第１の実施形態に係る行動認識システムと同様に、距離画像カメラ１及びカメラ２により距離画像及び撮影画像がそれぞれ取得され、情報処理装置３に入力される。また、カメラ７により距離画像カメラ１と対象人物との距離が計測され、この距離情報が情報処理装置３に入力される。
情報処理装置３の第１特定部３１は、距離画像において、カメラ７によって計測された距離に存在する人物を対象人物として特定する。その後の処理は、上述した第１の実施形態と同様である。
【００５７】
本実施形態に係る行動認識システム及びその方法によれば、例えば、イベント会場などで、所定の展示物の前に立っている人を対象人物として特定したい場合であって、かつ、その対象人物までの距離が不明確な場合であっても、展示物付近に存在する人物の距離を検出することができ、この結果、所望の場所に存在する人物の一人を対象人物として特定することが可能となる。
【００５８】
〔第５の実施形態〕
次に、本発明の第５の実施形態に係る行動認識システム及びその方法について説明する。上述した各実施形態においては、距離画像を取得する距離画像カメラ１を備え、この距離画像カメラ１によって取得された距離画像を用いて、その距離情報から対象人物を特定していた。これに対し、本実施形態に係る行動認識システムは、図１１に示されるように、３６０度方位（全方位）の距離情報を取得可能な全方位距離センサ２１によって取得された距離情報と、所定空間の撮影画像を取得するカメラ２とによって取得された撮影画像を用いて、距離画像を作成する点で、上述した各実施形態にかかる行動認識システムと異なる。
【００５９】
以下、本実施形態の行動認識システムについて、図を参照して説明する。
図１１は、本実施形態に係る行動認識システムの概略構成を示した図である。図１１に示すように、本実施形態に係る行動認識システムは、３６０度方位の距離情報を取得する全方位距離センサ（距離取得手段）２１と、所定の空間の撮影画像を取得するカメラ２と、距離センサ２１から３６０度方位における距離情報を取得するとともに、カメラ２から撮影画像を取得し、これらの距離情報及び撮影画像から距離画像を作成し、更に、この距離画像と撮影画像とを用いて対象人物を特定し、特定した対象人物の行動認識を行う情報処理装置２３とを備えている。
【００６０】
次に、本実施形態に係る行動認識システムの作動について図１２を参照して説明する。
まず、全方位距離センサ２１により３６０度方位の距離ｄが計測され、角度θと距離ｄとが対応付けられた距離情報が情報処理装置２３に送信される（図１２のステップＳＢ１）。また、カメラ２により所定の撮影空間の撮影画像が取得され、取得された撮影画像が情報処理装置２３に送信される（図１２のステップＳＢ２）。ここで、カメラ２の撮影範囲の情報については、カメラ２の位置・向き（方位）等に基づいて予め算出され、この情報が情報処理装置２３に登録されているものとする。
【００６１】
情報処理装置２３は、全方位距離センサ２１から受信した距離情報を空間上の座標に展開し、空間展開図を作成する（図１２のステップＳＢ３）。図１３に全方位距離センサ２１によって取得された角度θと距離ｄとを対応付ける関係図の一例を、図１４に図１３に示される角度と距離との関係に基づいて作成された空間展開図を示す。
【００６２】
次に、情報処理装置２３は、ステップＳＢ３において作成した空間展開図において、カメラ２の設置位置からカメラ２を特定するとともに、予め登録されているカメラ２の撮影範囲の情報からカメラ２の撮影範囲を特定する（ステップＳＢ４）。
続いて、図１５に示されるように、空間展開図において特定した撮影範囲内に存在する距離計測点の各々とカメラとの距離ｄ´を算出する（ステップＳＢ５）。
【００６３】
次に、情報処理装置２３は、カメラ２によって取得された撮影画像の各位置と空間展開図における各計測点との対応をとるとともに、ステップＳＢ５において算出した各計測点の距離ｄ´を用いることにより、図１６に示すように、カメラ２によって取得された撮影画像における各位置に距離ｄ´情報を付帯させて距離画像を生成する（ステップＳＢ６）。
【００６４】
そして、このようにして、距離画像が生成された後の処理については、上述した各実施形態における処理と同様である。例えば、第１の実施形態であれば、距離画像から予め設定されている距離に存在する物体が第１特定部３１（図２参照）により対象人物として特定され、この対象人物の行動認識が行われる。
【００６５】
以上説明してきたように、本実施形態に係る行動認識システムによれば、全方位距離センサ２１によって取得された全方位の距離情報とカメラ２によって取得された撮影画像とに基づいて距離画像が生成されるので、距離画像カメラを用いることなく、距離画像を取得することができる。
【００６６】
なお、上述した各実施形態において、対象人物に対してサービスを提供するロボット５（図１参照）がカメラ２の機能を備えている場合には、ロボット５が備えるカメラを上述したカメラ２に代えて使用することとしてもよい。
また、上記各実施形態で説明した各機能は、可能な範囲で組み合わせ可能である。
【００６７】
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【図面の簡単な説明】
【００６８】
【図１】本発明の第１の実施形態に係る行動認識システムの概略構成を示した図である。
【図２】図１に示した情報処理装置により実現される機能を展開して示した機能ブロック図である。
【図３】本発明の第１の実施形態に係る行動認識方法の処理過程を示したフローチャートである。
【図４】距離画像の一例を示した図である。
【図５】撮影画像の一例を示した図である。
【図６】２値画像作成部によって作成される２値画像の一例を示した図である。
【図７】撮影画像に２値画像を重ね合わせた画像を示した図である。
【図８】本発明の第２の実施形態に係る行動認識システムが備える情報処理装置の機能を展開して示した機能ブロック図である。
【図９】本発明の第３の実施形態に係る行動認識システムの概略構成を示した図である。
【図１０】本発明の第４の実施形態に係る行動認識システムの概略構成を示した図である。
【図１１】本発明の第５の実施形態に係る行動認識システムの概略構成を示した図である。
【図１２】本発明の第５の実施形態に係る行動認識方法の処理過程を示したフローチャートである。
【図１３】全方位距離センサによって取得された角度θと距離ｄとを対応付ける関係図の一例を示した図である。
【図１４】図１３に示される角度と距離との関係に基づいて作成された空間展開図を示す。
【図１５】図１２のステップＳＢ５で行われる処理を説明するための図である。
【図１６】図１２のステップＳＢ６で行われる処理を説明するための図である。
【符号の説明】
【００６９】
１ 距離画像カメラ
２、６，７ カメラ
３，３ａ，２３ 情報処理装置
２１ 全方位距離センサ
３１ 第１特定部
３２ ２値画像作成部
３３ 第２特定部
３４ 行動認識部
３５ 顔検出部
【技術分野】
【０００１】
本発明は行動認識システム及びその方法に関するものである。
【背景技術】
【０００２】
従来、一般家庭でユーザの生活を補助、支援、介護するロボットや愛玩用のロボット等が開発されている。また、近年では、イベント会場や展示会場においてロボットが見物客に対してサービスを提供することも多く見られるようになっている。
このように、特定の人物に対してロボットがサービスを行う場合、その対象となる人物を特定し、その人物の行動を認識する必要がある。
例えば、特許文献１には、移動ロボットが備える視覚カメラ等で撮影した人物の画像を用いて、人物の行動を認識する技術が提案されている。具体的には、特許文献１には、人物の動画像を取得し、その動画像から人物の手や頭の動作パターンを抽出し、その動作パターンから人物の行動を認識する技術が開示されている。
【特許文献１】特開２００５−２１５９２７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上述した特許文献１に開示されている行動認識システムでは、複数の人物が同一画像内に存在しており、これらの他の人物の動きが対象となる人物と重なっている場合に、画像上では対象とする人物の動きであるか、或いは、背景にいる他の人物の動きかであるか区別できなくなり、行動認識が困難となるという問題があった。
【０００４】
本発明は、上記問題を解決するためになされたもので、複数の人物が同一画像内に存在する場合においても特定の人物の行動を認識することのできる行動認識システム及びその方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明は以下の手段を採用する。
本発明は、所定の空間を含む第１撮影空間の距離画像を取得する距離画像取得手段と、前記所定の空間を含む第２撮影空間の撮影画像を取得する撮像手段と、前記距離画像の距離情報に基づいて、対象人物を特定する第１特定手段と、前記撮影画像において、前記第１特定手段によって特定された対象人物に対応する人物を対象人物として特定する第２特定手段と、前記撮像手段によって連続的に取得される前記対象人物の撮影画像を用いて、前記対象人物の行動を認識する行動認識手段とを具備する行動認識システムを提供する。
【０００６】
このような構成によれば、所定の空間を含む第１撮影空間の距離画像が距離画像取得手段により取得されるとともに、該所定の空間を含む第２撮影空間の撮影画像が撮像手段により取得される。ここで、第１撮影空間と第２撮影空間とは、同一空間であってもよいし、該所定の空間が共通する互いに異なる空間であってもよい。第１撮影空間と第２撮影空間とが同一空間でない場合には、共通する所定の空間に、対象人物が存在している必要があるとともに、距離画像と撮影画像とにおいて互いの画像内の位置の対応付けがなされている必要がある。
【０００７】
続いて、取得された距離画像において距離情報に基づき対象人物が第１特定手段により特定され、この対象人物に対応する撮影画像上の人物が対象人物として第２特定手段により特定される。そして、このように撮影画像上において対象人物が特定された後は、この対象人物の撮影画像が連続的に取得され、この連続画像を用いて行動認識手段により該対象人物の行動認識が行われる。
このように、本発明の行動認識システムによれば、距離画像を用いて対象人物を特定するので、例えば、撮影画像からは判別できなかった奥行方向に配置されている人物の切り分けを容易に行うことが可能となる。これにより、行動認識を行う場合において、背後にいる人物や移動体の動きを排除して、対象人物の動作パターンのみを抽出でき、この結果、対象人物の行動認識を高い精度で行うことができる。
上記撮影画像は、２値の画像（明暗画像）であってもよいし、カラー画像であってもよい。
【０００８】
上記行動認識システムは、前記第１特定手段によって特定された対象人物を前記距離画像から抽出し、２値画像を作成する２値画像作成手段を備え、前記第２特定手段は、前記２値画像作成手段によって作成された２値画像を前記撮影画像に重ね合わせることにより、撮影画像上における前記対象人物を特定することとしてもよい。
【０００９】
このようにすることで、撮影画像上において容易に対象人物を特定することができる。
【００１０】
上記行動認識システムにおいて、前記第１特定手段は、前記距離画像において、予め設定されている所定距離に存在する人物を前記対象人物として特定することとしてもよい。
【００１１】
これにより、容易に対象人物を特定することが可能となる。
【００１２】
上記行動認識システムは、前記撮影画像において、顔検出を行う顔検出手段を備え、前記第１特定手段は、前記距離画像において、前記顔検出手段によって検出された顔の位置から所定距離内の領域に存在する物体を前記対象人物として特定することとしてもよい。
【００１３】
このような構成によれば、顔検出手段によって顔が検出され、続いて、距離画像において顔と略同じ距離に存在する物体、即ち、胴体、足、手等が検出され、これらが一体として対象人物として特定される。これにより、対象人物までの距離が不定の場合でも、顔から対象人物を特定することが可能となる。この結果、例えば、対象人物が移動している場合等においてもその人物を認識することが可能となる。
【００１４】
上記行動認識システムにおいて、前記顔検出手段は、複数の顔が検出された場合に顔の表情の変化を検出し、この変化に基づいていずれか一つの顔を選択することとしてもよい。
【００１５】
このようにすることで、複数の顔が検出された場合には、予めどのような表情をしている人物を対象人物として特定するかを決めておくことで、複数の人物から特定の人物を対象人物として選択することが可能となる。
例えば、笑っている人物を対象人物としたい場合には、口の周りの動きが大きい人物を選定すればよい。
【００１６】
上記行動認識システムは、前記距離画像取得手段と対象人物との距離を検出する距離検出手段を備え、前記第１特定手段は、前記距離画像において、前記距離検出手段によって検出された距離に存在する人物を前記対象人物として特定することとしてもよい。
【００１７】
このように距離検出手段を備えるので、対象人物までの距離が不明であった場合でも、対象人物までの距離を取得することができ、距離画像において対象人物を特定することが可能となる。
【００１８】
上記行動認識システムにおいて、前記距離検出手段は、予め設定されている所定の位置付近に存在する人物の距離を検出することとしてもよい。
【００１９】
例えば、イベント会場などで、所定の展示物の前に立っている人を対象人物として特定したい場合に、その対象人物までの距離が不明であるため、距離画像において対象人物を特定することができない。このような場合において、所定の位置付近、例えば、展示物付近に存在する人物の距離を距離検出手段によって検出することにより、所望の場所に存在する人物の一人を対象人物として特定することが可能となる。
【００２０】
上記行動認識システムにおいて、前記距離検出手段は、前記所定空間の上方に設けられた撮像装置であってもよい。
【００２１】
上方に設けられている撮像装置により距離を計測することにより、対象人物との距離を確実に測ることが可能となる。
【００２２】
上記行動認識システムにおいて、前記距離検出手段は、対象人物が携帯しているＩＣタグと通信するタグリーダであってもよい。
【００２３】
タグリーダを用いることで、対象人物がＩＣタグを携帯している場合には、簡易な装置により距離を測定することが可能となる。ＩＣタグは、例えば、ＲＦＩＤ（Radio Frequency IDentification）である。
【００２４】
本発明は、全方位の距離を取得する全方位距離取得手段と、所定空間の撮影画像を取得する撮像手段と、前記距離取得手段によって取得された距離情報と前記撮像手段によって取得された撮影画像とを用いて、前記所定空間の距離画像を生成する距離画像生成手段と、前記距離画像生成手段によって生成された前記距離画像の距離情報に基づいて対象人物を特定する第１特定手段と、前記撮影画像において、前記第１特定手段によって特定された対象人物に対応する人物を対象人物として特定する第２特定手段と、前記撮像手段によって連続的に取得される前記対象人物の撮影画像を用いて、前記対象人物の行動を認識する行動認識手段とを具備する行動認識システムを提供する。
【００２５】
このような構成によれば、全方位の距離取得手段によって取得された３６０度方位における距離情報と、撮像手段によって取得された撮影画像とを用いて距離画像が生成される。
続いて、生成された距離画像において距離情報に基づき対象人物が第１特定手段により特定され、この対象人物に対応する撮影画像上の人物が対象人物として第２特定手段により特定される。そして、このように撮影画像上において対象人物が特定された後は、この対象人物の撮影画像が連続的に取得され、この連続画像を用いて行動認識手段により該対象人物の行動認識が行われる。
このように、本発明の行動認識システムによれば、距離画像を用いて対象人物を特定するので、例えば、撮影画像からは判別できなかった奥行方向に配置されている人物の切り分けを容易に行うことが可能となる。これにより、行動認識を行う場合において、背後にいる人物や移動体の動きを排除して、対象人物の行動パターンのみを抽出でき、この結果、対象人物の行動認識を高い精度で行うことができる。
【００２６】
本発明は、所定の空間を含む第１撮影空間の距離画像を取得する過程と、前記所定の空間を含む第２撮影空間の撮影画像を取得する過程と、前記距離画像の距離情報に基づいて、対象人物を特定する過程と、前記撮影画像において、前記距離画像上で特定された対象人物に対応する人物を対象人物として特定する過程と、前記対象人物の撮影画像を連続的に取得し、取得した連続撮影画像を用いて前記対象人物の行動を認識する過程とを有する行動認識方法を提供する。
【００２７】
本発明は、３６０度方位の距離を取得する過程と、所定空間の撮影画像を取得する過程と、３６０度方位の距離情報と前記撮影画像とを用いて、前記所定空間の距離画像を生成する過程と、前記距離画像の距離情報に基づいて、対象人物を特定する過程と、前記撮影画像において、前記距離画像上で特定された対象人物に対応する人物を対象人物として特定する過程と、前記対象人物の撮影画像を連続的に取得し、取得した連続撮影画像を用いて前記対象人物の行動を認識する過程とを有する行動認識方法を提供する。
【発明の効果】
【００２８】
本発明によれば、複数の人物が同一画面内に存在する場合においても特定人物の行動を認識することができるという効果を奏する。
【発明を実施するための最良の形態】
【００２９】
本発明に係る行動認識システム及びその方法は、例えば、住居内等の比較的狭い空間、又は、展示会場や博覧会等の比較的広いイベント会場、若しくは、商業施設等、様々な場所において、移動ロボットが特定の人物に対して、その人物の行動に応じた適切なサービスを提供できるように、その特定人物の行動を認識する目的で用いられるものである。
以下、本発明に係る行動認識システム及びその方法の一実施形態について、図面を参照して説明する。
【００３０】
〔第１の実施形態〕
図１は、本発明の第１の実施形態に係る行動認識システムの概略構成を示す図である。本実施形態に係る行動認識システムは、所定の空間を含む第１撮影空間の距離画像を取得する距離画像カメラ（距離画像取得手段）１と、所定の空間を含む第２撮影空間の撮影画像を取得するカメラ（撮像手段）２と、距離画像カメラ１から距離画像を取得するとともに、カメラ２から撮影画像を取得し、これらの画像から対象人物を特定し、更に特定した対象人物の行動認識を行う情報処理装置３とを備えている。
【００３１】
上記第１撮影空間と第２撮影空間とは、同一空間であってもよいし、所定の空間が共通する互いに異なる空間であってもよい。第１撮影空間と第２撮影空間とが同一空間でない場合には、共通する所定の空間に、対象人物が存在している必要があるとともに、距離画像と撮影画像とにおいて互いの画像内の位置の対応付けがなされている必要がある。本実施形態においては、説明の便宜上、距離画像カメラ１とカメラ２とが、同一空間の画像を同時に撮影する場合を想定して説明する。
【００３２】
情報処理装置３は、いわゆるコンピュータであり、ＣＰＵ（中央演算処理装置）、ＲＡＭ（Random Access
Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk
Drive）等を備えており、ＲＯＭ等の記憶装置に格納されている各種プログラムをＣＰＵがＲＡＭに読み出し、実行することにより種々の処理を実現させる。
【００３３】
図２は、情報処理装置３により実現される機能を展開して示した機能ブロック図である。図２に示されるように、情報処理装置３は、第１特定部３１、２値画像作成部３２、第２特定部３３、行動認識部３４を備えている。
【００３４】
第１特定部３１は、距離画像カメラ１により取得された距離画像の距離情報に基づいて、対象人物を特定する。２値画像作成部３２は、第１特定部３１によって特定された対象人物を距離画像から抽出し、抽出した対象人物を白で、その他の部分を黒で表した２値画像を作成する。第２特定部３３は、２値画像作成部３２によって作成された２値画像をカメラ２によって取得された撮影画像に重ね合わせることにより、撮影画像において、第１特定部３１によって特定された対象人物に対応する人物を対象人物として特定する。行動認識部３４は、カメラ２によって連続的に取得される対象人物の撮影画像を用いて、対象人物の行動を認識する。
【００３５】
次に、本実施形態に係る行動認識システムの作動について図３を参照して説明する。
まず、距離画像カメラ１及びカメラ２が同時に作動することにより、同時期における同一の空間の距離画像と撮影画像とが取得される（図３のステップＳＡ１）。
【００３６】
図４に距離画像の一例を、図５に撮影画像の一例を示す。図４に示すように、距離画像においては、例えば、同じ距離の箇所が同じ色で表されている。また、ここでは、一例として、３人の人物が空間内に存在する場合を例に挙げている。
【００３７】
距離画像カメラ１によって取得された距離画像及びカメラ２によって取得された撮影画像は、情報処理装置３に送信される。
情報処理装置３の第１特定部３１は、入力された距離画像において、予め設定されている所定距離（例えば、１．５m）に存在する人物を対象人物として特定する（図３のステップＳＡ２）。ここで、予め設定されている所定距離とは、ユーザが任意に設定可能な値である。例えば、展覧会やイベント会場などで、所定の展示物の前に立っている人を対象人物として特定したい場合には、距離画像カメラ１と該展示物との距離を予め計測しておき、この距離を所定距離として登録することが考えられる。
【００３８】
次に、２値画像作成部３２は、第１特定部３１によって特定された対象人物を距離画像から抽出し、この部分を白、その他の部分を黒で表した２値画像を作成する（図３のステップＳＡ３）。
ここで、２値画像作成部３２によって作成される２値画像を図６に示す。ここでは、図４に示された距離画像において、右端の人物が対象人物であると第１特定部３１によって特定された場合の２値画像を示している。
【００３９】
続いて、第２特定部３３は、図７に示されるように、２値画像作成部３２によって作成された２値画像を撮影画像に重ね合わせることにより、撮影画像上における対象人物を特定する（図３のステップＳＡ４）。
これにより、撮影画像上において対象人物が特定されることとなる。このようにして、対象人物が撮影画像上において特定されると、行動認識部３４は、連続的にカメラ２によって取得される撮影画像を用いて、対象人物の動作パターンを分析し、この動作パターンから行動認識を行う（図３のステップＳＡ５）。
【００４０】
行動認識部３４により解析された行動認識結果は、例えば、対象人物の周辺にいるロボット５に送信される。これにより、ロボット５はこの対象人物の行動パターンに応じたサービスを対象人物に対して提供することが可能となる。
【００４１】
以上説明してきたように、本実施形態に係る行動認識システムによれば、距離画像を用いて対象人物を特定するので、例えば、撮影画像からは判別できなかった奥行方向に配置されている人物の切り分けを容易に行うことが可能となる。これにより、行動認識を行う場合において、背後にいる人物や移動体の動きを排除して、対象人物の行動パターンのみを抽出でき、この結果、対象人物の行動認識を高い精度で行うことが可能となる。
【００４２】
上記撮影画像は、２値の画像（明暗画像）であってもよいし、カラー画像であってもよい。また、上記距離画像カメラに代えて、レーザレーダ、ステレオカメラ、フラッシュ式の距離計器を使用することとしてもよい。
【００４３】
なお、上記実施形態においては、２値画像作成部３２によって作成された２値画像を用いて、撮影画像上の対象人物を特定することとしたが、このような２値画像を用いることなく、距離画像と撮影画像の各画素の対応付けに基づいて、撮影画像上における対象人物を特定することとしてもよい。この場合には、上述した２値画像作成部３２を省略することが可能である。
【００４４】
〔第２の実施形態〕
次に、本発明の第２の実施形態に係る行動認識システム及びその方法について説明する。以下、本実施形態の行動認識システムについて、第１の実施形態と共通する点については説明を省略し、異なる点について主に説明する。
【００４５】
図８は、本実施形態に係る行動認識システムの情報処理装置３ａが備える機能を展開して示した機能ブロック図である。図８に示されるように、情報処理装置３ａは、撮影画像において顔検出を行う顔検出部３５を更に備えている。
このような構成を備える行動認識システムにおいては、上述した第１の実施形態に係る行動認識システムと同様に、距離画像カメラ１及びカメラ２により距離画像及び撮影画像がそれぞれ取得され、情報処理装置３ａに入力される。情報処理装置３ａの顔検出部３５は、撮影画像において顔検出を行い、その結果を第１特定部３１ａに出力する。
【００４６】
第１特定部３１ａは、距離画像において、顔検出部３５によって検出された顔から所定距離内の領域に存在する物体を対象人物として特定する。具体的には、第１特定部３１ａは、顔から前後３０ｃｍの範囲に存在する物体を対象人物として特定する。
一般に、手、足、胴体等の体の各部は、頭を中心として厚み±３０ｃｍ以内に収まると考えられる。従って、第１特定部３１ａが顔から前後３０ｃｍの範囲に存在する物体を顔検出部３５によって検出された顔と同一人物に属するものであると判断し、これらの物体を対象人物として特定する。その後の処理は、上述した第１の実施形態と同様である。
【００４７】
以上説明したように、本実施形態に係る行動認識システムによれば、対象人物までの距離が不定の場合でも、顔から対象人物を特定することが可能となる。この結果、例えば、対象人物が移動している場合等においてもその人物を認識することが可能となり、対象人物の行動認識を確実に行うことが可能となる。
また、顔は手や足などと比較して、他の人物と重なることが少ないため、顔に基づいて人物を特定することで、対象人物以外の人物との切り分けを容易に且つ確実に行うことが可能となる。
【００４８】
また、上記第２の実施形態において、撮影画像中に複数の顔が検出された場合に、顔検出部３５は、各顔の表情の変化を検出し、この変化に基づいていずれか一つの顔を選択することとしてもよい。例えば、笑っている人物を対象人物として選択するという条件が予め設定されていた場合には、口の周りの動きが大きい顔を選択する。
このようにすることで、複数の顔が検出された場合でもそのうちの一つを選択することができるので、対象人物を特定することが可能となる。
【００４９】
〔第３の実施形態〕
次に、本発明の第３の実施形態に係る行動認識システム及びその方法について説明する。本実施形態に係る行動認識システムは、例えば、どの人物を対象人物にするかが予め決められているにもかかわらず、距離画像カメラ１とその人物との距離が不明であるために、距離画像カメラにおいて取得された距離画像において、対象人物を特定できない場合に、有効に機能する。
以下、本実施形態の行動認識システムについて、第１の実施形態と共通する点については説明を省略し、異なる点について主に説明する。
【００５０】
図９は、本実施形態に係る行動認識システムの概略構成を示した図である。図９に示すように、本実施形態に係る行動認識システムは、上述した第１の実施形態に係る行動認識システムの構成要素に加えて、距離画像カメラ１と対象人物との距離を検出するための距離検出手段を備えている。距離検出手段としては、例えば、天井に設けられたカメラ６が採用される。具体的には、カメラ６は、その撮影範囲に距離画像カメラ１と対象人物とが入るように天井に設置されている。
【００５１】
このような構成を備える行動認識システムにおいては、上述した第１の実施形態に係る行動認識システムと同様に、距離画像カメラ１及びカメラ２により距離画像及び撮影画像がそれぞれ取得され、情報処理装置３に入力される。また、カメラ６により距離画像カメラ１と対象人物との距離が計測され、この距離情報が情報処理装置３に入力される。
情報処理装置３の第１特定部３１は、距離画像において、カメラ６によって計測された距離に存在する人物を対象人物として特定する。その後の処理は、上述した第１の実施形態と同様である。
【００５２】
以上説明したように、本実施形態に係る行動認識システムによれば、対象人物までの距離が不明であった場合でも、距離画像カメラ１と対象人物との距離を計測することで、距離画像において対象人物を特定することが可能となる。
【００５３】
なお、上記実施形態においては、対象人物までの距離を検出する距離検出手段としてカメラ６を採用したが、距離画像カメラと対象人物までの距離を計測する手段としてはこの例に限られない。例えば、対象人物がＲＦＩＤ（Radio Frequency IDentification）等のＩＣタグを携帯している場合には、距離検出手段として、ＩＣタグリーダを採用することとしてもよい。この場合には、例えば、距離画像カメラの近傍にＩＣタグリーダを設置しておき、ＩＣタグリーダが受電したＩＣタグからの信号の電波強度で距離を計測することができる。このようにＩＣタグを用いることで、システム構成を簡略化することが可能となる。
【００５４】
〔第４の実施形態〕
次に、本発明の第４の実施形態に係る行動認識システム及びその方法について説明する。
例えば、展覧会やイベント会場などで、所定の展示物の前に立っている人を対象人物として特定したい場合がある。このような場合に、その対象人物までの距離が不確定であるため、距離画像において対象人物を特定することができないということが考えられる。本実施形態に係る行動認識システム及びその方法は、このように、予め決められている所定のエリア付近にいる人物を対象人物として特定する場合に、有効に機能する。
以下、本実施形態の行動認識システムについて、第１の実施形態と共通する点については説明を省略し、異なる点について主に説明する。
【００５５】
図１０は、本実施形態に係る行動認識システムの概略構成を示した図である。図１０に示すように、本実施形態に係る行動認識システムは、上述した第１の実施形態に係る行動認識システムの構成要素に加えて、距離画像カメラ１と対象人物との距離を検出するカメラ７を備えている。
例えば、所定の展示物５０の近傍に存在する人物を対象人物として特定したい場合には、カメラ７は展示物の周辺の人を観察できる位置に配置されるとともに、距離画像カメラ１と対象人物との距離を計測するできる場所、例えば、展示物５０付近の天井に設置される。
【００５６】
このような構成を備える行動認識システムにおいては、上述した第１の実施形態に係る行動認識システムと同様に、距離画像カメラ１及びカメラ２により距離画像及び撮影画像がそれぞれ取得され、情報処理装置３に入力される。また、カメラ７により距離画像カメラ１と対象人物との距離が計測され、この距離情報が情報処理装置３に入力される。
情報処理装置３の第１特定部３１は、距離画像において、カメラ７によって計測された距離に存在する人物を対象人物として特定する。その後の処理は、上述した第１の実施形態と同様である。
【００５７】
本実施形態に係る行動認識システム及びその方法によれば、例えば、イベント会場などで、所定の展示物の前に立っている人を対象人物として特定したい場合であって、かつ、その対象人物までの距離が不明確な場合であっても、展示物付近に存在する人物の距離を検出することができ、この結果、所望の場所に存在する人物の一人を対象人物として特定することが可能となる。
【００５８】
〔第５の実施形態〕
次に、本発明の第５の実施形態に係る行動認識システム及びその方法について説明する。上述した各実施形態においては、距離画像を取得する距離画像カメラ１を備え、この距離画像カメラ１によって取得された距離画像を用いて、その距離情報から対象人物を特定していた。これに対し、本実施形態に係る行動認識システムは、図１１に示されるように、３６０度方位（全方位）の距離情報を取得可能な全方位距離センサ２１によって取得された距離情報と、所定空間の撮影画像を取得するカメラ２とによって取得された撮影画像を用いて、距離画像を作成する点で、上述した各実施形態にかかる行動認識システムと異なる。
【００５９】
以下、本実施形態の行動認識システムについて、図を参照して説明する。
図１１は、本実施形態に係る行動認識システムの概略構成を示した図である。図１１に示すように、本実施形態に係る行動認識システムは、３６０度方位の距離情報を取得する全方位距離センサ（距離取得手段）２１と、所定の空間の撮影画像を取得するカメラ２と、距離センサ２１から３６０度方位における距離情報を取得するとともに、カメラ２から撮影画像を取得し、これらの距離情報及び撮影画像から距離画像を作成し、更に、この距離画像と撮影画像とを用いて対象人物を特定し、特定した対象人物の行動認識を行う情報処理装置２３とを備えている。
【００６０】
次に、本実施形態に係る行動認識システムの作動について図１２を参照して説明する。
まず、全方位距離センサ２１により３６０度方位の距離ｄが計測され、角度θと距離ｄとが対応付けられた距離情報が情報処理装置２３に送信される（図１２のステップＳＢ１）。また、カメラ２により所定の撮影空間の撮影画像が取得され、取得された撮影画像が情報処理装置２３に送信される（図１２のステップＳＢ２）。ここで、カメラ２の撮影範囲の情報については、カメラ２の位置・向き（方位）等に基づいて予め算出され、この情報が情報処理装置２３に登録されているものとする。
【００６１】
情報処理装置２３は、全方位距離センサ２１から受信した距離情報を空間上の座標に展開し、空間展開図を作成する（図１２のステップＳＢ３）。図１３に全方位距離センサ２１によって取得された角度θと距離ｄとを対応付ける関係図の一例を、図１４に図１３に示される角度と距離との関係に基づいて作成された空間展開図を示す。
【００６２】
次に、情報処理装置２３は、ステップＳＢ３において作成した空間展開図において、カメラ２の設置位置からカメラ２を特定するとともに、予め登録されているカメラ２の撮影範囲の情報からカメラ２の撮影範囲を特定する（ステップＳＢ４）。
続いて、図１５に示されるように、空間展開図において特定した撮影範囲内に存在する距離計測点の各々とカメラとの距離ｄ´を算出する（ステップＳＢ５）。
【００６３】
次に、情報処理装置２３は、カメラ２によって取得された撮影画像の各位置と空間展開図における各計測点との対応をとるとともに、ステップＳＢ５において算出した各計測点の距離ｄ´を用いることにより、図１６に示すように、カメラ２によって取得された撮影画像における各位置に距離ｄ´情報を付帯させて距離画像を生成する（ステップＳＢ６）。
【００６４】
そして、このようにして、距離画像が生成された後の処理については、上述した各実施形態における処理と同様である。例えば、第１の実施形態であれば、距離画像から予め設定されている距離に存在する物体が第１特定部３１（図２参照）により対象人物として特定され、この対象人物の行動認識が行われる。
【００６５】
以上説明してきたように、本実施形態に係る行動認識システムによれば、全方位距離センサ２１によって取得された全方位の距離情報とカメラ２によって取得された撮影画像とに基づいて距離画像が生成されるので、距離画像カメラを用いることなく、距離画像を取得することができる。
【００６６】
なお、上述した各実施形態において、対象人物に対してサービスを提供するロボット５（図１参照）がカメラ２の機能を備えている場合には、ロボット５が備えるカメラを上述したカメラ２に代えて使用することとしてもよい。
また、上記各実施形態で説明した各機能は、可能な範囲で組み合わせ可能である。
【００６７】
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【図面の簡単な説明】
【００６８】
【図１】本発明の第１の実施形態に係る行動認識システムの概略構成を示した図である。
【図２】図１に示した情報処理装置により実現される機能を展開して示した機能ブロック図である。
【図３】本発明の第１の実施形態に係る行動認識方法の処理過程を示したフローチャートである。
【図４】距離画像の一例を示した図である。
【図５】撮影画像の一例を示した図である。
【図６】２値画像作成部によって作成される２値画像の一例を示した図である。
【図７】撮影画像に２値画像を重ね合わせた画像を示した図である。
【図８】本発明の第２の実施形態に係る行動認識システムが備える情報処理装置の機能を展開して示した機能ブロック図である。
【図９】本発明の第３の実施形態に係る行動認識システムの概略構成を示した図である。
【図１０】本発明の第４の実施形態に係る行動認識システムの概略構成を示した図である。
【図１１】本発明の第５の実施形態に係る行動認識システムの概略構成を示した図である。
【図１２】本発明の第５の実施形態に係る行動認識方法の処理過程を示したフローチャートである。
【図１３】全方位距離センサによって取得された角度θと距離ｄとを対応付ける関係図の一例を示した図である。
【図１４】図１３に示される角度と距離との関係に基づいて作成された空間展開図を示す。
【図１５】図１２のステップＳＢ５で行われる処理を説明するための図である。
【図１６】図１２のステップＳＢ６で行われる処理を説明するための図である。
【符号の説明】
【００６９】
１ 距離画像カメラ
２、６，７ カメラ
３，３ａ，２３ 情報処理装置
２１ 全方位距離センサ
３１ 第１特定部
３２ ２値画像作成部
３３ 第２特定部
３４ 行動認識部
３５ 顔検出部
【特許請求の範囲】
【請求項１】
所定の空間を含む第１撮影空間の距離画像を取得する距離画像取得手段と、
前記所定の空間を含む第２撮影空間の撮影画像を取得する撮像手段と、
前記距離画像の距離情報に基づいて、対象人物を特定する第１特定手段と、
前記撮影画像において、前記第１特定手段によって特定された対象人物に対応する人物を対象人物として特定する第２特定手段と、
前記撮像手段によって連続的に取得される前記対象人物の撮影画像を用いて、前記対象人物の行動を認識する行動認識手段と
を具備する行動認識システム。
【請求項２】
前記第１特定手段によって特定された対象人物を前記距離画像から抽出し、２値画像を作成する２値画像作成手段を備え、
前記第２特定手段は、前記２値画像作成手段によって作成された２値画像を前記撮影画像に重ね合わせることにより、撮影画像上における前記対象人物を特定する請求項１に記載の行動認識システム。
【請求項３】
前記第１特定手段は、前記距離画像において、予め設定されている所定距離に存在する人物を前記対象人物として特定する請求項１または請求項２に記載の行動認識システム。
【請求項４】
前記撮影画像において、顔検出を行う顔検出手段を備え、
前記第１特定手段は、前記距離画像において、前記顔検出手段によって検出された顔の位置から所定距離内の領域に存在する物体を前記対象人物として特定する請求項１または請求項２に記載の行動認識システム。
【請求項５】
前記顔検出手段は、複数の顔が検出された場合に顔の表情の変化を検出し、この変化に基づいていずれか一つの顔を選択する請求項４に記載の行動認識システム。
【請求項６】
前記距離画像取得手段と対象人物との距離を検出する距離検出手段を備え、
前記第１特定手段は、前記距離画像において、前記距離検出手段によって検出された距離に存在する人物を前記対象人物として特定する請求項１または請求項２に記載の行動認識システム。
【請求項７】
前記距離検出手段は、予め設定されている所定の位置付近に存在する人物の距離を検出する請求項６に記載の行動認識システム。
【請求項８】
前記距離検出手段は、前記所定空間の上方に設けられた撮像装置である請求項６または請求項７に記載の行動認識システム。
【請求項９】
前記距離検出手段は、対象人物が携帯しているＩＣタグと通信するタグリーダである請求項６に記載の行動認識システム。
【請求項１０】
全方位の距離を取得する全方位距離取得手段と、
所定空間の撮影画像を取得する撮像手段と、
前記距離取得手段によって取得された距離情報と前記撮像手段によって取得された撮影画像とを用いて、前記所定空間の距離画像を生成する距離画像生成手段と、
前記距離画像生成手段によって生成された前記距離画像の距離情報に基づいて対象人物を特定する第１特定手段と、
前記撮影画像において、前記第１特定手段によって特定された対象人物に対応する人物を対象人物として特定する第２特定手段と、
前記撮像手段によって連続的に取得される前記対象人物の撮影画像を用いて、前記対象人物の行動を認識する行動認識手段と
を具備する行動認識システム。
【請求項１１】
所定の空間を含む第１撮影空間の距離画像を取得する過程と、
前記所定の空間を含む第２撮影空間の撮影画像を取得する過程と、
前記距離画像の距離情報に基づいて、対象人物を特定する過程と、
前記撮影画像において、前記距離画像上で特定された対象人物に対応する人物を対象人物として特定する過程と、
前記対象人物の撮影画像を連続的に取得し、取得した連続撮影画像を用いて前記対象人物の行動を認識する過程と
を有する行動認識方法。
【請求項１２】
３６０度方位の距離を取得する過程と、
所定空間の撮影画像を取得する過程と、
３６０度方位の距離情報と前記撮影画像とを用いて、前記所定空間の距離画像を生成する過程と、
前記距離画像の距離情報に基づいて、対象人物を特定する過程と、
前記撮影画像において、前記距離画像上で特定された対象人物に対応する人物を対象人物として特定する過程と、
前記対象人物の撮影画像を連続的に取得し、取得した連続撮影画像を用いて前記対象人物の行動を認識する過程と
を有する行動認識方法。
【請求項１】
所定の空間を含む第１撮影空間の距離画像を取得する距離画像取得手段と、
前記所定の空間を含む第２撮影空間の撮影画像を取得する撮像手段と、
前記距離画像の距離情報に基づいて、対象人物を特定する第１特定手段と、
前記撮影画像において、前記第１特定手段によって特定された対象人物に対応する人物を対象人物として特定する第２特定手段と、
前記撮像手段によって連続的に取得される前記対象人物の撮影画像を用いて、前記対象人物の行動を認識する行動認識手段と
を具備する行動認識システム。
【請求項２】
前記第１特定手段によって特定された対象人物を前記距離画像から抽出し、２値画像を作成する２値画像作成手段を備え、
前記第２特定手段は、前記２値画像作成手段によって作成された２値画像を前記撮影画像に重ね合わせることにより、撮影画像上における前記対象人物を特定する請求項１に記載の行動認識システム。
【請求項３】
前記第１特定手段は、前記距離画像において、予め設定されている所定距離に存在する人物を前記対象人物として特定する請求項１または請求項２に記載の行動認識システム。
【請求項４】
前記撮影画像において、顔検出を行う顔検出手段を備え、
前記第１特定手段は、前記距離画像において、前記顔検出手段によって検出された顔の位置から所定距離内の領域に存在する物体を前記対象人物として特定する請求項１または請求項２に記載の行動認識システム。
【請求項５】
前記顔検出手段は、複数の顔が検出された場合に顔の表情の変化を検出し、この変化に基づいていずれか一つの顔を選択する請求項４に記載の行動認識システム。
【請求項６】
前記距離画像取得手段と対象人物との距離を検出する距離検出手段を備え、
前記第１特定手段は、前記距離画像において、前記距離検出手段によって検出された距離に存在する人物を前記対象人物として特定する請求項１または請求項２に記載の行動認識システム。
【請求項７】
前記距離検出手段は、予め設定されている所定の位置付近に存在する人物の距離を検出する請求項６に記載の行動認識システム。
【請求項８】
前記距離検出手段は、前記所定空間の上方に設けられた撮像装置である請求項６または請求項７に記載の行動認識システム。
【請求項９】
前記距離検出手段は、対象人物が携帯しているＩＣタグと通信するタグリーダである請求項６に記載の行動認識システム。
【請求項１０】
全方位の距離を取得する全方位距離取得手段と、
所定空間の撮影画像を取得する撮像手段と、
前記距離取得手段によって取得された距離情報と前記撮像手段によって取得された撮影画像とを用いて、前記所定空間の距離画像を生成する距離画像生成手段と、
前記距離画像生成手段によって生成された前記距離画像の距離情報に基づいて対象人物を特定する第１特定手段と、
前記撮影画像において、前記第１特定手段によって特定された対象人物に対応する人物を対象人物として特定する第２特定手段と、
前記撮像手段によって連続的に取得される前記対象人物の撮影画像を用いて、前記対象人物の行動を認識する行動認識手段と
を具備する行動認識システム。
【請求項１１】
所定の空間を含む第１撮影空間の距離画像を取得する過程と、
前記所定の空間を含む第２撮影空間の撮影画像を取得する過程と、
前記距離画像の距離情報に基づいて、対象人物を特定する過程と、
前記撮影画像において、前記距離画像上で特定された対象人物に対応する人物を対象人物として特定する過程と、
前記対象人物の撮影画像を連続的に取得し、取得した連続撮影画像を用いて前記対象人物の行動を認識する過程と
を有する行動認識方法。
【請求項１２】
３６０度方位の距離を取得する過程と、
所定空間の撮影画像を取得する過程と、
３６０度方位の距離情報と前記撮影画像とを用いて、前記所定空間の距離画像を生成する過程と、
前記距離画像の距離情報に基づいて、対象人物を特定する過程と、
前記撮影画像において、前記距離画像上で特定された対象人物に対応する人物を対象人物として特定する過程と、
前記対象人物の撮影画像を連続的に取得し、取得した連続撮影画像を用いて前記対象人物の行動を認識する過程と
を有する行動認識方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２００９−２４５３６３（Ｐ２００９−２４５３６３Ａ）
【公開日】平成２１年１０月２２日（２００９．１０．２２）
【国際特許分類】
【出願番号】特願２００８−９３７４２（Ｐ２００８−９３７４２）
【出願日】平成２０年３月３１日（２００８．３．３１）
【国等の委託研究の成果に係る記載事項】（出願人による申告）国等の委託研究の成果に係る特許出願（平成１９年度総務省委託研究、「ネットワーク・ヒューマン・インターフェースの総合的な研究開発（ネットワークロボット技術）」に関する研究開発委託契約、産業技術力強化法第１９条の適用を受けるもの）
【出願人】（０００００６２０８）三菱重工業株式会社 (10,378)
【Ｆターム（参考）】
【公開日】平成２１年１０月２２日（２００９．１０．２２）
【国際特許分類】
【出願日】平成２０年３月３１日（２００８．３．３１）
【国等の委託研究の成果に係る記載事項】（出願人による申告）国等の委託研究の成果に係る特許出願（平成１９年度総務省委託研究、「ネットワーク・ヒューマン・インターフェースの総合的な研究開発（ネットワークロボット技術）」に関する研究開発委託契約、産業技術力強化法第１９条の適用を受けるもの）
【出願人】（０００００６２０８）三菱重工業株式会社 (10,378)
【Ｆターム（参考）】
[ Back to top ]