画像処理装置、画像処理方法、プログラム、および画像処理システム
【課題】画像解析の処理負荷および精度を改善するための画像処理装置、画像処理方法、プログラム、および画像処理システムを提供する。
【解決手段】距離画像センサにより取得される対象空間における各位置の距離が表現された距離画像の解析結果に基づき、前記対象空間を撮像する撮像装置により取得される撮像画像から注目領域を決定する注目領域決定部と、前記注目領域決定部により決定された前記注目領域を画像解析する画像解析部と、を備える画像処理装置。
【解決手段】距離画像センサにより取得される対象空間における各位置の距離が表現された距離画像の解析結果に基づき、前記対象空間を撮像する撮像装置により取得される撮像画像から注目領域を決定する注目領域決定部と、前記注目領域決定部により決定された前記注目領域を画像解析する画像解析部と、を備える画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、プログラム、および画像処理システムに関する。
【背景技術】
【０００２】
近日、撮像装置により取得された画像を解析し、画像に含まれる人物を検出する画像処理技術が広く普及している。このような画像処理技術によれば、例えば、駅、空港、アミューズメントエリア、劇場、およびホールなどの入退場ゲートに撮像装置を設置することにより、入退場ゲートの通過人数をカウントすることが可能である。また、特許文献１に記載されているように、画像処理を用いて人物追跡を実現することも可能である。
【０００３】
ここで、画像処理による人物の顔検出について簡単に説明する。人物の顔検出の過程は、主に、画像中の各領域について所定の顔パターンに合致するか否かを確認するマッチング処理、および、合致する領域を顔認証などにより詳細に解析する解析処理を含む。なお、人物の撮像距離によって画像における顔の大きさは変化するので、上記のマッチング処理は多様なサイズの顔パターンについて行われる。
【０００４】
一方、例えば特許文献２に開示されているように、対象空間における各位置の距離が表現された距離画像を生成する距離画像センサの開発も進められている。この距離画像センサは、光を照射し、対象に反射した光が戻るまでの時間を画素ごとに計測することにより、対象空間における各位置の距離を測定することが可能である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−６３００１号公報
【特許文献２】特開２０１０−２７１３０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、上述した顔検出処理は、処理負荷および検出精度の観点から問題である。例えば、顔検出のためのマッチング処理は、上述したように、画像中の各領域、および多様なサイズの顔パターンについて行われるので、処理負荷が高い。また、顔写真が印刷されたシャツを着用している人物がいた場合、顔写真の部分が顔領域として誤検出されてしまうことが予想される。
【０００７】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、画像解析の処理負荷および精度を改善することが可能な、新規かつ改良された画像処理装置、画像処理方法、プログラム、および画像処理システムを提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明のある観点によれば、距離画像センサにより取得される対象空間における各位置の距離が表現された距離画像の解析結果に基づき、前記対象空間を撮像する撮像装置により取得される撮像画像から注目領域を決定する注目領域決定部と、前記注目領域決定部により決定された前記注目領域を画像解析する画像解析部と、を備える、画像処理装置が提供される。
【０００９】
前記距離画像の解析結果は、前記距離画像から検出された人物の位置情報を含み、前記注目領域決定部は、前記撮像画像中で前記人物の位置情報に対応する領域を前記注目領域に決定してもよい。
【００１０】
前記人物の位置情報は、第１の座標変換用データに基づき、前記人物の前記距離画像におけるセンサ座標系の位置情報が変換された３次元座標系の位置情報であり、前記画像処理装置は、前記３次元座標系の位置情報と前記撮像画像中の各領域との対応関係を示す第２の座標変換用データを記憶する記憶部をさらに備え、前記注目領域決定部は、前記第２の座標変換用データに基づき、前記人物の３次元座標系の位置情報に対応する前記撮像画像中の領域を判定して前記注目領域を決定してもよい。
【００１１】
前記注目領域決定部は、前記注目領域の大きさを、前記人物の３次元座標系の位置情報から推定される前記人物と前記撮像装置との距離に応じて決定してもよい。
【００１２】
前記画像処理装置は、前記画像解析部による前記注目領域の解析結果に基づいて前記第１の座標変換用データまたは前記第２の座標変換用データの信頼性を評価する評価部と、前記評価部により、前記第１の座標変換用データまたは前記第２の座標変換用データの信頼性が損なわれたと評価された場合に異常を通知する通知部と、をさらに備えてもよい。
【００１３】
前記画像処理装置は、前記第１の座標変換用データまたは前記第２の座標変換用データをキャリブレーションにより取得するキャリブレーション実行部と、前記キャリブレーション実行部により取得された前記第１の座標変換用データまたは前記第２の座標変換用データを前記画像解析部による前記注目領域の解析結果に基づいて補正するデータ補正部と、をさらに備えてもよい。
【００１４】
１つの前記距離画像センサに対して、前記対象空間を異なる方向から撮像する複数の前記撮像装置が配置され、前記注目領域決定部は、前記複数の撮像装置のうちで、前記人物の顔の向きに存在する撮像装置により取得された撮像画像の注目領域を決定してもよい。
【００１５】
前記画像処理装置は、複数組の前記距離画像センサおよび前記撮像装置と通信する通信部と、１の前記撮像装置により取得された撮像画像に含まれる人物の解析結果と、他の前記撮像装置により取得された撮像画像に含まれる人物の解析結果とを比較し、双方の撮像画像に含まれる人物の同一性を判断する同一人物判断部をさらに備えてもよい。
【００１６】
前記画像処理装置は、前記注目領域の周辺領域のデータレートが前記注目領域のデータレートより低くなるように前記撮像画像を圧縮する画像圧縮部をさらに備えてもよい。
【００１７】
また、上記課題を解決するために、本発明の別の観点によれば、距離画像センサにより取得される対象空間における各位置の距離が表現された距離画像の解析結果に基づき、前記対象空間を撮像する撮像装置により取得される撮像画像から注目領域を決定するステップと、前記注目領域を画像解析するステップと、を含む画像処理方法が提供される。
【００１８】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、距離画像センサにより取得される対象空間における各位置の距離が表現された距離画像の解析結果に基づき、前記対象空間を撮像する撮像装置により取得される撮像画像から注目領域を決定する注目領域決定部と、前記注目領域決定部により決定された前記注目領域を画像解析する画像解析部と、として機能させるためのプログラムが提供される。
【００１９】
また、上記課題を解決するために、本発明の別の観点によれば、対象空間における各位置の距離が表現された距離画像を取得する距離画像センサと、前記対象空間を撮像する撮像装置と、を有する画像処理システムであって、前記距離画像センサによって取得される前記距離画像を解析する処理、前記撮像装置により取得される前記撮像画像から、前記距離画像の解析結果に基づいて注目領域を決定する処理、および、前記注目領域を画像解析する処理、を行う画像処理システムが提供される。
【発明の効果】
【００２０】
以上説明したように本発明によれば、画像解析の処理負荷および精度を改善することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施形態による画像処理システムの構成を示した説明図である。
【図２】距離画像の具体例を示した説明図である。
【図３】撮像画像の具体例を示した説明図である。
【図４】第１の実施形態による距離画像センサ１０−１の構成を示した機能ブロック図である。
【図５】センサ座標系および世界座標系の関係を示した説明図である。
【図６】距離画像における人物検出を示した説明図である。
【図７】第１の実施形態による撮像装置２０−１の構成を示した機能ブロック図である。
【図８】撮像装置２０−１のキャリブレーションの具体例を示した説明図である。
【図９】注目領域の具体例を示した説明図である。
【図１０】第１の実施形態による画像処理システムの動作を示したシーケンス図である。
【図１１】第１の実施形態の変形例による動作を示したシーケンス図である。
【図１２】第２の実施形態による撮像装置２０−２の構成を示した機能ブロック図である。
【図１３】撮像画像中の注目領域の具体例を示した説明図である。
【図１４】第３の実施形態による画像処理システムの構成を示した説明図である。
【図１５】第４の実施形態による画像処理システムの構成を示した説明図である。
【図１６】管理サーバ３０の構成を示した機能ブロック図である。
【図１７】検出情報の具体例を示した説明図である。
【発明を実施するための形態】
【００２２】
以下に添付図面を参照しながら、本発明の実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２３】
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
【００２４】
＜１．本実施形態の概要＞
本発明は、一例として「３．第１の実施形態」〜「６．第４の実施形態」において詳細に説明するように、多様な形態で実施され得る。また、各実施形態による画像処理装置（例えば、撮像装置２０）は、
Ａ．距離画像センサにより取得される対象空間における各位置の距離が表現された距離画像の解析結果に基づき、前記対象空間を撮像する撮像装置により取得される撮像画像から注目領域を決定する注目領域決定部（２６０）と、
Ｂ．前記注目領域決定部により決定された前記注目領域を画像解析する画像解析部（２６４）と、を備える。
【００２５】
上記のような画像処理装置を備える画像処理システムは、例えば、対象空間に存在する人物を高精度に検出することが可能である。したがって、本実施形態による画像処理システムは、多様な用途に適用可能である。
【００２６】
例えば、本実施形態による画像処理システムは、駅、空港、アミューズメントエリア、劇場、およびホールなどの入退場ゲートを通過する人数をカウントする用途に適用可能である。また、本実施形態による画像処理システムは、工場内の危険エリアや鉄道駅のプラットフォームと線路（又は線路上）との境などの危険な場所に人物などが誤侵入しないように監視する用途に適用可能である。さらに、本実施形態による画像処理システムは、エレベータや駅の構内、銀行ＡＴＭ付近、コンビニエンスストアなどの小売店舗で、人物の通過や滞留などを検知するいわゆる人物監視の用途にも適用可能である。
【００２７】
以下では、まず、このような各実施形態において共通する画像処理システムの基本構成について説明した後に、本発明の各実施形態について順次詳細に説明する。
【００２８】
＜２．画像処理システムの基本構成＞
図１は、本発明の実施形態による画像処理システムの構成を示した説明図である。図１に示したように、本発明の実施形態による画像処理システムは、距離画像センサ１０と、撮像装置２０と、を備える。
【００２９】
（距離画像センサ１０）
距離画像センサ１０は、光を照射し、対象に反射した光が戻るまでの時間を画素ごとに計測することにより、対象空間における各位置の距離を測定する。そして、距離画像センサ１０は、測定した対象空間における各位置の距離、すなわち、対象空間の３次元的形状が表現された距離画像を生成する。ここで、図２を参照して、距離画像についてより具体的に説明する。
【００３０】
図２は、距離画像の具体例を示した説明図である。なお、図２においては、色の薄い領域ほど距離画像センサ１０との距離が近く、色の濃い領域ほど距離画像センサ１０との距離が遠いことを示す。
【００３１】
図２に示したように、距離画像センサ１０が人物の真上から距離測定を行った場合、床面に比べて人物の肩および頭部が距離画像センサ１０に近い。このため、図２に示したように、人物の両肩Ｓ１およびＳ２と頭部Ｓ３が他の領域である床面よりも薄い色で表現された距離画像が得られる。なお、図面作成の制約上、図２では各位置の距離が色の濃淡で表現される例を示しているが、距離画像センサ１０は、各位置の距離を色によって表現することも可能である。本実施形態による距離画像センサ１０は、このような距離画像を解析し、解析結果を撮像装置２０に送信する。
【００３２】
（撮像装置２０）
一方、撮像装置２０は、距離画像センサ１０の対象空間を撮像することにより対象空間の撮像画像を取得する。例えば、撮像装置２０は、対象空間から発せられる光を集光して撮像面に光像を形成し、撮像面に形成された光像を電気的な画像信号に変換することにより撮像画像を取得する。
【００３３】
図３は、撮像装置２０により取得される撮像画像の具体例を示した説明図である。図３に示した撮像画像には、人物Ａと、人物Ａより前面に位置し、顔写真が印刷されたシャツを着用した人物Ｂが含まれる。詳細については後述するが、本実施形態による撮像装置２０は、このような撮像画像から、処理負荷を軽減しつつ高精度に人物の顔を検出することが可能である。
【００３４】
なお、本実施形態においては、距離画像センサ１０により取得される距離画像を人物の位置検出の用途で用い、撮像装置２０により取得される撮像画像を人物認識の用途で用いる。このため、距離画像センサ１０は、人物のオクルージョンが発生しないように、図１に示したように鉛直方向に近い方向から対象空間を測定することが望まれる。一方、撮像装置は、人物の顔画像が得られるように、図１に示したように少なくとも鉛直方向と交差する方向から対象空間を撮像することが望まれる。
【００３５】
（背景）
ここで、本発明の比較例による人物の顔検出処理を説明する。比較例による人物の顔検出処理は、主に、撮像画像中の各領域について所定の顔パターンに合致するか否かを確認するマッチング処理、および、合致する領域を顔認証などにより詳細に解析する解析処理を含む。
【００３６】
しかし、図３に示したように、人物の撮像距離によって撮像画像における顔の大きさは変化するので、上記のマッチング処理は多様なサイズの顔パターンについて行う必要があった。また、図３に示したように、顔写真が印刷されたシャツを着用している人物が存在する場合、比較例による顔検出処理では、シャツに印刷された顔写真を人物の顔として認識してしまう場合があった。すなわち、比較例による人物の顔検出処理は、処理負荷および顔の検出精度の観点から問題があった。
【００３７】
そこで、上記事情を一着眼点にして本実施形態による画像処理装置を創作するに至った。本実施形態による画像処理システムは、撮像画像から、処理負荷を軽減しつつ高精度に人物の顔を検出することが可能である。以下、このような各実施形態について順次詳細に説明する。
【００３８】
＜３．第１の実施形態＞
［３−１．第１の実施形態による距離画像センサの構成］
図４は、第１の実施形態による距離画像センサ１０−１の構成を示した機能ブロック図である。図４に示したように、第１の実施形態による距離画像センサ１０−１は、発光部１１０と、受光部１２０と、距離画像取得部１３０と、キャリブレーション実行部１４０と、記憶部１５０と、人物検出部１６０と、座標変換部１７０と、通信部１８０と、を備える。
【００３９】
発光部１１０は、距離測定の対象空間に対して赤外線のような光を照射する。受光部１２０は、発光部１１０により照射された光の対象空間からの反射光を受光する。
【００４０】
距離画像取得部１３０は、受光部１２０による受光結果に基づいて対象空間上の各位置の距離を推定し、図２に示したように、対象空間上の各位置の距離が色や濃淡により表現された距離画像を取得する。
【００４１】
キャリブレーション実行部１４０は、キャリブレーションを実行することにより、距離画像取得部１３０により取得される距離画像においてセンサ座標系で表現される位置情報を、世界座標系のような３次元座標系の位置情報に変換するためのセンサ座標変換用データ（第１の座標変換用データ）を取得する。ここで、図５を参照し、センサ座標系および世界座標系の関係およびキャリブレーションについて説明する。
【００４２】
図５は、センサ座標系および世界座標系の関係を示した説明図である。なお、位置Ｐは距離画像センサ１０−１の設置位置である。図５に示したように、距離画像取得部１３０によれば、対象空間の位置をセンサ座標系（Ｘ、Ｙ、Ｚ）で取得することができる。しかし、このセンサ座標系は、世界座標系（ｘ、ｙ、ｚ）と異なる。このため、キャリブレーション実行部１４０は、センサ座標系（Ｘ、Ｙ、Ｚ）を世界座標系（ｘ、ｙ、ｚ）に変換するためのセンサ座標変換用データをキャリブレーションにより取得する。
【００４３】
なお、キャリブレーションの方法は特に限定されない。例えば、キャリブレーション実行部１４０は、床面上の任意の３つ以上の点について取得されるセンサ座標系（Ｘ、Ｙ、Ｚ）の値に基づき、例えば図５に示したような距離画像センサ１０−１の設置高さｈ、俯角θ、および回転角ωなどを推定し、これら設置高さｈ、俯角θ、および回転角ωなどに基づくセンサ座標変換用データを取得してもよい。さらに、センサ座標変換用データは、人的に設定することも可能である。
【００４４】
ここで、図４を参照して距離画像センサ１０−１の構成の説明に戻ると、記憶部１５０は、キャリブレーション実行部１４０により取得されたセンサ座標変換用データを記憶する。なお、記憶部１５０は、不揮発性メモリ、磁気ディスク、光ディスク、およびＭＯ（Ｍａｇｎｅｔｏ Ｏｐｔｉｃａｌ）ディスクなどの記憶媒体であってもよい。不揮発性メモリとしては、例えば、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）があげられる。また、磁気ディスクとしては、ハードディスクおよび円盤型磁性体ディスクなどがあげられる。また、光ディスクとしては、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ−Ｒ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅｃｏｒｄａｂｌｅ）およびＢＤ（Ｂｌｕ−Ｒａｙ Ｄｉｓｃ（登録商標））などがあげられる。
【００４５】
人物検出部１６０は、距離画像取得部１３０により取得された距離画像から人物を検出する。例えば、人物検出部１６０は、距離画像とゲートや設置物のような背景物体との差分を抽出し、差分画像に対して２値化、ラベリングおよびクラスタリングなどの処理を施すことにより、距離画像から人物を検出してもよい。また、人物検出部１６０は、Ｈａａｒ−ｌｉｋｅ特徴検出に従い、例えば図２に示したような肩Ｓ１、頭部Ｓ３、肩Ｓ２という並びに基づいて人物を検出してもよい。なお、図１に示したように距離画像センサ１０が人物の真上から距離測定を行う場合、人物検出部１６０は、人物の頭部の位置を高い精度で検出することが可能である。
【００４６】
座標変換部１７０は、人物検出部１６０により検出された人物のセンサ座標系の位置情報（Ｘ、Ｙ、Ｚ）を、記憶部１５０に記憶されているセンサ座標変換用データを用いて、世界座標系の位置情報（ｘ、ｙ、ｚ）に変換する。なお、座標変換部１７０は、例えば図６に示したように距離画像中の領域Ｆで人物が検出された場合、領域Ｆの範囲を示す位置情報（Ｘ、Ｙ、Ｚ）を世界座標系の位置情報（ｘ、ｙ、ｚ）に変換してもよいし、領域Ｆの中心を示す位置情報（Ｘ、Ｙ、Ｚ）を世界座標系の位置情報（ｘ、ｙ、ｚ）に変換してもよい。以下では、人物が検出された領域Ｆに対応する１つの世界座標系の位置情報（ｘ、ｙ、ｚ）が座標変換部１７０により得られるものとして説明を進める。
【００４７】
通信部１８０は、撮像装置２０−１とのインタフェースであって、撮像装置２０−１と無線ＬＡＮのような無線または有線により通信する。特に、本実施形態による通信部１８０は、座標変換部１７０により得られた人物の世界座標系の位置情報（ｘ、ｙ、ｚ）を撮像装置２０−１に送信する。
【００４８】
［３−２．第１の実施形態による撮像装置の構成］
以上、図４〜図６を参照して第１の実施形態による距離画像センサ１０−１の構成を説明した。続いて、図７を参照し、第１の実施形態による撮像装置２０−１の構成を説明する。
【００４９】
図７は、第１の実施形態による撮像装置２０−１の構成を示した機能ブロック図である。図７に示したように、第１の実施形態による撮像装置２０−１は、撮像部２１０と、キャリブレーション実行部２４０と、記憶部２５０と、注目領域決定部２６０と、画像解析部２６４と、座標変換部２７０と、通信部２８０と、を備える。
【００５０】
撮像部２１０は、被写体から発せられる光を集光する撮影レンズおよびズームレンズなどの撮像光学系、および、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子を有する。撮像部２１０においては、撮像光学系により撮像素子の撮像面に被写体像が形成され、撮像面に形成された被写体像を撮像素子が電気的な画像信号に変換することにより、撮像画像が取得される。
【００５１】
キャリブレーション実行部２４０は、キャリブレーションを実行することにより、世界座標系の位置情報（ｘ、ｙ、ｚ）と撮像部２１０により取得される撮像画像中の各領域との対応関係を示す世界座標変換用データ（第２の座標変換用データ）を取得する。一例として、キャリブレーション実行部２４０は、距離画像センサ１０−１と協働してキャリブレーションを実行することができる。以下、この点について図８を参照してより具体的に説明する。
【００５２】
図８は、撮像装置２０−１のキャリブレーションの具体例を示した説明図である。まず、図８の左図に示したように、４箇所にマーカー＃１〜＃４が配置されると、撮像装置２０−１は、マーカー＃１〜＃４の世界座標系の位置情報（ｘ、ｙ、ｚ）をキャリブレーション済みの距離画像センサ１０−１から受信する。
【００５３】
そして、図８の右図に示したように、キャリブレーション実行部２４０は、マーカー＃１〜＃４の各々の位置情報（ｘ、ｙ、ｚ）と、撮像画像におけるマーカー＃１〜＃４の位置との関係によって、世界座標変換用データを取得する。この世界座標変換用データは、記憶部２５０に記憶される。
【００５４】
なお、上記ではマーカー＃１〜＃４の世界座標系の位置情報（ｘ、ｙ、ｚ）が距離画像センサ１０−１から受信される例を説明したが、世界座標系の位置情報（ｘ、ｙ、ｚ）は人的に入力されてもよい。さらに、世界座標変換用データは、人的に設定することも可能である。
【００５５】
通信部２８０は、距離画像センサ１０−１とのインタフェースであって、距離画像センサ１０−１と無線ＬＡＮのような無線または有線により通信する。特に、本実施形態による通信部２８０は、キャリブレーション処理時、または、人物の検出処理時に、距離画像センサ１０−１により世界座標系の位置情報（ｘ、ｙ、ｚ）を受信する。
【００５６】
座標変換部２７０は、通信部２８０により距離画像センサ１０−１から受信された人物の位置を示す世界座標系の位置情報（ｘ、ｙ、ｚ）を、記憶部２５０に記憶されている世界座標変換用データに基づき、撮像画像中の画素位置を示す位置情報に変換する。このため、座標変換部２７０により得られた位置情報の示す位置には、人物が写っていることが期待される。
【００５７】
注目領域決定部２６０は、座標変換部２７０により得られた位置情報に基づき、撮像画像から注目領域を決定する。例えば、注目領域決定部２６０は、座標変換部２７０により得られた位置情報の示す画素位置を含む矩形領域を注目領域として決定してもよい。以下、図９を参照し、注目領域決定部２６０により決定される注目領域の具体例を説明する。
【００５８】
図９は、注目領域の具体例を示した説明図である。図９に示したように、注目領域決定部２６０は、人物Ａの頭部を含む領域Ｇ１、および人物Ｂの頭部を含む領域Ｇ２を注目領域として決定することができる。一方、人物Ｂの着用しているシャツの顔写真は、距離画像センサ１０−１によって人物として検出されないので、顔写真の部分は注目領域とならない。
【００５９】
なお、図９に示したように、人物の撮像距離によって撮像画像における顔の大きさは異なる。そこで、注目領域決定部２６０は、注目領域のサイズを、世界座標系の位置情報（ｘ、ｙ、ｚ）に基づいて推定される人物と撮像装置２０−１との距離に応じて決定してもよい。例えば、注目領域決定部２６０は、図９に示したように、人物Ａよりも前面に位置する人物Ｂの注目領域Ｇ２のサイズを、人物Ａの注目領域Ｇ１より大きくしてもよい。
【００６０】
画像解析部２６４は、注目領域決定部２６０により決定された注目領域内の画像を解析する。ここで、注目領域には人物の顔画像が含まれていることが期待されるので、画像解析部２６４は、注目領域を解析することにより、人物の検出に加え、人物の性別、年齢、身長、および顔パターンなどの特徴量を得ることが可能である。さらに、画像解析部２６４は、注目領域の下方の領域を解析することにより、当該人物の服装に関する特徴量を得ることもできる。
【００６１】
以上説明したように、本発明の第１の実施形態によれば、撮像装置２０−１が、距離画像センサ１０−１により取得された距離画像の解析結果に基づいて撮像画像から注目領域を決定し、撮像画像中の注目領域を解析する。かかる構成により、撮像画像中から顔を検出するための処理負荷を抑制しつつ、シャツに印刷された顔写真の誤検出を防止することができる。同様に、本発明の第１の実施形態によれば、距離画像および撮像画像を補間的に用いることにより、車いすの利用者、および幼児を抱えて連れている人物などの検出精度を向上することが可能である。
【００６２】
［３−３．第１の実施形態による画像処理システムの動作］
続いて、図１０を参照し、第１の実施形態による画像処理システムの動作を整理する。
【００６３】
図１０は、第１の実施形態による画像処理システムの動作を示したシーケンス図である。図１０に示したように、まず、距離画像センサ１０−１のキャリブレーション実行部１４０がキャリブレーションを実行してセンサ座標変換用データを取得し、撮像装置２０−１のキャリブレーション実行部２４０がキャリブレーションを実行して世界座標変換用データを取得する（Ｓ４０４）。なお、距離画像センサ１０−１および撮像装置２０−１は、このキャリブレーションを距離画像センサ１０−１および撮像装置２０−１の設置時に行ってもよいし、距離画像センサ１０−１および撮像装置２０−１の設置後に定期的に行ってもよい。
【００６４】
その後、距離画像センサ１０−１の距離画像取得部１３０が距離画像の取得を開始し（Ｓ４０８）、撮像装置２０−１の撮像部２１０が撮像画像の取得を開始する（Ｓ４１２）。
【００６５】
そして、距離画像センサ１０−１の人物検出部１６０により距離画像から人物が検出されると（Ｓ４１６）、座標変換部１７０が、検出されたセンサ座標系の人物の位置情報（Ｘ、Ｙ、Ｚ）を、記憶部１５０に記憶されているセンサ座標変換用データを用いて、世界座標系の位置情報（ｘ、ｙ、ｚ）に変換する。
【００６６】
続いて、通信部１８０が、座標変換部１７０により得られた人物の位置情報（ｘ、ｙ、ｚ）を撮像装置２０−１に送信する（Ｓ４２４）。なお、距離画像センサ１０−１は、人物の位置情報（ｘ、ｙ、ｚ）を撮像装置２０−１に送信し続けてもよいし、撮像装置２０−１からの要求に応じて送信してもよい。例えば、撮像装置２０−１は、撮像画面の変化の有無を検出し、撮像画面に変化があった場合に距離画像センサ１０−１に人物の位置情報（ｘ、ｙ、ｚ）の送信を要求してもよい。
【００６７】
一方、撮像装置２０−１の座標変換部２７０は、記憶部２５０に記憶されている世界座標変換用データを用い、距離画像センサ１０−１から受信された人物の位置情報（ｘ、ｙ、ｚ）を、撮像画像中の画素位置に変換する（Ｓ４２８）。
【００６８】
そして、撮像装置２０−１の注目領域決定部２６０が、座標変換部２７０により得られた画素位置に基づいて撮像画像から注目領域を決定する（Ｓ４３２）。さらに、画像解析部２６４が、注目領域決定部２６０により決定された注目領域を画像解析することにより、人物の検出し、人物の特徴量を取得する（Ｓ４３６）。
【００６９】
［３−４．変形例］
なお、上記では、撮像装置２０−１が注目領域の決定や画像解析を行う画像処理装置として機能する例を説明したが、他の装置を本実施形態による画像処理装置として機能させることも可能である。例えば、注目領域決定部２６０および画像解析部２６４などを距離画像センサ１０−１および撮像装置２０−１と通信する他の装置に設けることにより、他の装置を本実施形態による画像処理装置として機能させることができる。同様に、注目領域決定部２６０および画像解析部２６４などを距離画像センサ１０−１に設けることにより、距離画像センサ１０−１を本実施形態による画像処理装置として機能させることができる。以下、図１１を参照し、距離画像センサ１０−１が本実施形態による画像処理装置として機能する場合の動作を変形例として補足する。
【００７０】
図１１は、第１の実施形態の変形例による動作を示したシーケンス図である。図１１に示したように、まず、距離画像センサ１０−１のキャリブレーション実行部１４０がキャリブレーションを実行してセンサ座標変換用データを取得し、撮像装置２０−１のキャリブレーション実行部２４０がキャリブレーションを実行して世界座標変換用データを取得する（Ｓ４０４）。そして、撮像装置２０−１が、キャリブレーションにより取得した世界座標変換用データを距離画像センサ１０−１に送信する（Ｓ４０６）。
【００７１】
その後、距離画像センサ１０−１の距離画像取得部１３０が距離画像の取得を開始し（Ｓ４０８）、撮像装置２０−１の撮像部２１０が撮像画像の取得を開始する（Ｓ４１２）。撮像装置２０−１の撮像部２１０により取得された撮像画像は、撮像装置２０−１の通信部２８０から距離画像センサ１０−１に送信される（Ｓ４１４）。
【００７２】
そして、距離画像センサ１０−１の人物検出部１６０により距離画像から人物が検出されると（Ｓ４１６）、座標変換部１７０が、検出されたセンサ座標系の人物の位置情報（Ｘ、Ｙ、Ｚ）を、センサ座標変換用データおよび世界座標変換用データに基づき、撮像画像中の画素位置に変換する（Ｓ４２２）。
【００７３】
そして、距離画像センサ１０−１は、撮像装置２０−１から受信される撮像画像において、座標変換部１７０により得られた画素位置に基づいて注目領域を決定する（Ｓ４２６）。さらに、距離画像センサ１０−１は、注目領域を画像解析することにより、人物の検出し、人物の特徴量を取得する（Ｓ４３０）。
【００７４】
以上説明したように、本実施形態による画像処理装置としての機能を実現する主体は撮像装置２０−１に限定されず、距離画像センサ１０−１や他の装置によっても本実施形態による画像処理装置としての機能を実現することが可能である。
【００７５】
＜４．第２の実施形態＞
続いて、本発明の第２の実施形態を説明する。本発明の第２の実施形態による撮像装置２０−２は、第１の実施形態による撮像装置２０−１に無い幾つかの追加的な機能を有する。以下、このような第２の実施形態による撮像装置２０−２について詳細に説明する。
【００７６】
図１２は、第２の実施形態による撮像装置２０−２の構成を示した機能ブロック図である。図１２に示したように、第２の実施形態による撮像装置２０−２は、撮像部２１０と、キャリブレーション実行部２４０と、記憶部２５０と、注目領域決定部２６０と、画像解析部２６４と、座標変換部２７０と、通信部２８０と、画像圧縮部２８４と、データ補正部２８８と、評価部２９２と、通知部２９６と、を備える。なお、撮像部２１０、キャリブレーション実行部２４０、記憶部２５０、注目領域決定部２６０、画像解析部２６４、座標変換部２７０、および通信部２８０については第１の実施形態で説明した通りであるので、ここでの詳細な説明を省略する。
【００７７】
（画像圧縮）
画像圧縮部２８４は、撮像部２１０により取得された撮像画像を圧縮する。より詳細には、画像圧縮部２８４は、注目領域の周辺領域のデータレートが注目領域のデータレートより低くなるように撮像画像を圧縮する。例えば、画像圧縮部２８４は、注目領域のデータレートは下げずに、周辺領域のみを圧縮してもよい。
【００７８】
かかる構成によれば、撮像画像を記録する場面において、注目領域については高解像度を維持しつつ、記録容量を低減することが可能である。また、撮像画像を転送する場面でも同様に、注目領域については高解像度を維持しつつ、通信トラフィック量を低減することが可能である。
【００７９】
（座標変換用データの補正）
データ補正部２８８は、記憶部２５０に記憶されている世界座標変換用データを、画像解析部２６４による画像の解析結果に応じて補正する。例えば、撮像部２１０の向きが変化した場合、世界座標系の位置情報（ｘ、ｙ、ｚ）と撮像画像中の各領域との対応関係も変化するので、データ補正部２８８は、撮像部２１０の向きの変化を世界座標変換用データに反映させる補正を行う。
【００８０】
具体例として、世界座標系の位置情報（ｘ、ｙ、ｚ）と撮像画像中の各領域との対応関係が変化した場合、図１３に示したように、人物Ｂの頭部と異なる領域Ｇ３が注目領域として決定されると考えられる。この場合、画像解析部２６４は、注目領域Ｇ３を解析しても人物Ｂを検出することができない。人物Ｂは、画像解析部２６４が撮像画像全域を解析することにより検出される。
【００８１】
そこで、データ補正部２８８は、距離画像センサ１０−１から受信された世界座標系の位置情報（ｘ、ｙ、ｚ）が、画像解析部２６４により検出された人物Ｂの頭部に対応するように世界座標変換用データを補正してもよい。かかる構成により、世界座標変換用データの信頼性を維持することが可能である。
【００８２】
なお、距離画像センサ１０−１の測定方向が変化した場合にも、センサ座標系の位置情報（Ｘ、Ｙ、Ｚ）と世界座標系の位置情報（ｘ、ｙ、ｚ）との対応関係が変化する。このような場合、撮像装置２０−１は、距離画像センサ１０−１にセンサ座標変換データの補正または再キャリブレーションを要求してもよい。
【００８３】
（異常の通知）
上述したように、撮像方向や設置位置が多少変化した場合には、座標変換用データを補正することで対応することが可能である。一方、撮像方向や設置位置が大きく変化し、撮像画像に対象の人物が全く写っていないような場合には、上述の補正を行うことが困難である。
【００８４】
そこで、評価部２９２は、画像解析部２６４による画像の解析結果に基づいてセンサ座標変換用データまたは世界座標変換用データの信頼性を評価する。そして、距離画像または撮像画像の一方に含まれる人物が他方に全く含まれていない場合、センサ座標変換用データまたは世界座標変換用データの信頼性が損なわれたと評価する。
【００８５】
通知部２９６は、評価部２９２によりセンサ座標変換用データまたは世界座標変換用データの信頼性が損なわれたと評価された場合、異常の発生を通知する。例えば、通知部２９６は、所定の宛先に異常発生を通知する情報を送信してもよいし、異常の発生をアラーム音により通知してもよい。また、通知部２９６は、所定のＬＥＤの発光などにより外部から視覚的に把握できるように異常の発生を通知してもよい。
【００８６】
かかる構成により、画像処理システムの管理者が異常の発生を認知し、センサ座標変換用データまたは世界座標変換用データを再取得するためのキャリブレーションを行うことが期待される。
【００８７】
（第２の実施形態の整理）
以上説明したように、本発明の第２の実施形態によれば、画像圧縮部２８４の機能により、撮像画像を記録する場面において、注目領域については高解像度を維持しつつ、記録容量を低減することが可能である。また、撮像画像を転送する場面でも同様に、注目領域については高解像度を維持しつつ、通信トラフィック量を低減することが可能である。
【００８８】
また、データ補正部２８８、評価部２９２、および通知部２９６は、センサ座標変換用データおよび世界座標変換用データの信頼性を維持するための機能を発揮することが可能である。
【００８９】
＜５．第３の実施形態＞
第１の実施形態および第２の実施形態では、１つの距離画像センサ１０に対して１つの撮像装置２０が配置される例を説明したが、第３の実施形態として説明するように、１つの距離画像センサ１０に対して複数の撮像装置２０を配置することも可能である。以下、詳細に説明する。
【００９０】
図１４は、第３の実施形態による画像処理システムの構成を示した説明図である。図１４に示したように、第３の実施形態による画像処理システムは、距離画像センサ１０―３と、撮像装置２０−３Ａおよび撮像装置２０−３Ｂを備える。
【００９１】
距離画像センサ１０―３は、図４に示した第１の実施形態による距離画像センサ１０−１と共通する機能ブロックを有する。すなわち、距離画像センサ１０―３においては、距離画像取得部１３０が対象空間の距離画像を取得し、人物検出部１６０が距離画像から人物を検出し、座標変換部１７０が人物位置をセンサ座標系から世界座標系に変換する。そして、第２の実施形態による距離画像センサ１０―３の通信部１８０は、世界座標系に変換された人物位置を、撮像装置２０−３Ａおよび撮像装置２０−３Ｂに送信する。例えば、通信部１８０は、世界座標系に変換された人物位置を、無線または有線により、撮像装置２０−３Ａおよび撮像装置２０−３Ｂに直接ブロードキャスト、またはマルチキャストしてもよい。
【００９２】
撮像装置２０−３Ａおよび撮像装置２０−３Ｂは、距離画像センサ１０の対象空間を各々異なる方向から撮像する。また、撮像装置２０−３Ａおよび撮像装置２０−３Ｂは、図７に示した第１の実施形態による撮像装置２０−１と共通する機能ブロックを有する。
【００９３】
すなわち、撮像装置２０−３Ａおよび撮像装置２０−３Ｂにおいては、座標変換部２７０が距離画像センサ１０―３から受信された人物の位置情報を撮像画像中の画素位置に変換し、注目領域決定部２６０が座標変換部２７０により得られた画素位置に基づいて注目領域を決定し、画像解析部２６４が注目領域を画像解析する。
【００９４】
このように、第３の実施形態では、異なる方向から対象空間を撮像して得られる複数の撮像画像から人物検出を行う。このため、いずれかの撮像画像では人物が陰に隠れている場合や、いずれかの撮像画像では人物の背面が写っている場合であっても、他の撮像画像では人物を捉えられる可能性がある。したがって、第３の実施形態によれば、対象空間に存在するより多くの人物を検出し、各人物の特徴量を得ることが可能となる。
【００９５】
（補足）
なお、図１４においては、１の距離画像センサ１０―３に対して２つの撮像装置２０−３を配置する例を説明したが、１の距離画像センサ１０―３に対して配置する撮像装置２０−３の数は２つに限定されない。例えば、１の距離画像センサ１０―３に対して、対象空間を囲むように６つの撮像装置２０−３を配置してもよいし、さらに多数の撮像装置２０−３を配置してもよい。
【００９６】
また、上記では、距離画像センサ１０―３が人物の位置情報を複数の撮像装置２０−３に直接送信する例を説明したが、本実施形態はかかる例に限定されない。例えば、距離画像センサ１０―３は、システムを管理する管理サーバに人物の位置情報を送信し、管理サーバが複数の撮像装置２０−３に人物の位置情報を送信してもよい。
【００９７】
この時、距離画像センサ１０−３が例えばＨａａｒ−ｌｉｋｅフィルタにより人物の向きの検出にも成功した場合、管理サーバは、人物の向きに基づき、人物の顔を撮像可能な位置に配置されている撮像装置２０−３にのみ人物の位置情報を送信してもよい。
【００９８】
あるいは、複数の撮像装置２０−３によって取得された各撮像画像も管理サーバに集められる場合、管理サーバは、人物の顔を撮像可能な位置に配置されている撮像装置２０−３により取得された撮像画像を処理対象（注目領域の決定および画像解析の対象）として選択してもよい。
【００９９】
＜６．第４の実施形態＞
続いて、本発明の第４の実施形態を説明する。第４の実施形態は、複数箇所に距離画像センサ１０と撮像装置２０の組を配置することにより、人物の行動パターンを検出することが可能である。以下、第４の実施形態について詳細に説明する。
【０１００】
（システム構成）
図１５は、第４の実施形態による画像処理システムの構成を示した説明図である。図１５に示したように、第４の実施形態による画像処理システムは、距離画像センサ１０−４Ａ〜１０−４Ｄと、撮像装置２０−４Ａ〜２０−４Ｄと、管理サーバ３０と、を備える。
【０１０１】
距離画像センサ１０−４Ａ〜１０−４Ｄと、撮像装置２０−４Ａ〜２０−４Ｄは、複数箇所に分散して配置される。例えば、図１５に示したように、場所Ｐ１に距離画像センサ１０−４Ａおよび撮像装置２０−４Ａの組が配置され、場所Ｐ２に距離画像センサ１０−４Ｂおよび撮像装置２０−４Ｂの組が配置され、場所Ｐ３に距離画像センサ１０−４Ｃおよび撮像装置２０−４Ｃの組が配置され、場所Ｐ４に距離画像センサ１０−４Ｄおよび撮像装置２０−４Ｄの組が配置される。
【０１０２】
なお、各距離画像センサ１０−４および各撮像装置２０−４は、第１の実施形態で説明したように、各場所を通過する人物を協調して検出する。そして、各撮像装置２０−４は、人物の特徴量を含む検出情報を管理サーバ３０に送信する。
【０１０３】
管理サーバ３０は、各撮像装置２０−４から受信される検出情報を蓄積し、蓄積した検出情報に基づいて同一人物の行動パターンを解析する。以下、図１６を参照し、この管理サーバ３０の構成を説明する。
【０１０４】
（管理サーバの構成）
図１６は、管理サーバ３０の構成を示した機能ブロック図である。図１６に示したように、管理サーバ３０は、通信部３１０と、検出情報記憶部３２０と、同一性判断部３３０と、行動検出部３４０と、を備える。
【０１０５】
通信部３１０は、距離画像センサ１０−４や撮像装置２０−４とのインタフェースであって、距離画像センサ１０−４や撮像装置２０−４と有線または無線により通信する。特に、本実施形態による通信部３１０は、例えば撮像装置２０−４から人物の検出情報を受信する。
【０１０６】
検出情報記憶部３２０は、通信部３１０によって受信された人物の検出情報を記憶する。以下、図１７を参照して人物の検出情報について具体的に説明する。
【０１０７】
図１７は、検出情報の具体例を示した説明図である。図１７に示したように、人物の検出情報は、例えば、検出ＩＤ、特徴量、検出位置および検出時刻などを含む。検出ＩＤは各検出情報を識別するためのＩＤであり、特徴量は撮像画像の解析により得られた人物の特徴を示し、検出場所は人物が検出された場所、すなわち、検出情報の送信元の撮像装置２０−４の配置場所を示し、検出時刻は人物が検出された時刻を示す。例えば、検出情報「１」は、特徴量Ａを有する人物が、場所Ｐ１において２０１１年８月１日１０時５分に検出されたことを示す。
【０１０８】
図１６に示した同一性判断部３３０は、検出情報記憶部３２０に蓄積された各検出情報の特徴量を比較し、各検出情報にかかる人物の同一性を判断する。例えば、特徴量Ａ、特徴量Ａ’および特徴量ａが同一または類似する場合、同一性判断部３３０は、各特徴量を含む図１７に示した検出情報「１」、検出情報「３」および検出情報「４」が同一人物Ｊの検出情報であると判断する。そして、同一性判断部３３０は、検出情報「１」、検出情報「３」および検出情報「４」に同一の人物ＩＤを付与する。同様に、同一性判断部３３０は、検出情報「２」、検出情報「６」および検出情報「７」が同一人物Ｋの検出情報であると判断する。
【０１０９】
行動検出部３４０は、同一性判断部３３０により判断された同一人物の検出情報に基づき、当該人物の行動パターンを検出する。
【０１１０】
例えば、行動検出部３４０は、同一人物の検出場所の履歴によって、当該人物の移動ルートを検出する。より具体的には、同一性判断部３３０は、人物Ｊに関する検出情報「１」、検出情報「３」および検出情報「４」に基づき、人物Ｊが図１５に示したＰ１→Ｐ２→Ｐ４というルートＡで移動したことを検出する。同様に、同一性判断部３３０は、人物Ｋに関する検出情報「２」、検出情報「５」および検出情報「６」に基づき、人物Ｋが図１５に示したＰ１→Ｐ３→Ｐ４というルートＢで移動したことを検出する。
【０１１１】
また、行動検出部３４０は、同一人物の検出場所および検出時刻の履歴によって、当該人物の移動速度や立ち寄り場所を検出することも可能である。
【０１１２】
このように、第４の実施形態によれば、複数箇所に距離画像センサ１０−４と撮像装置２０−４の組を配置することにより、人物の行動パターンを検出することが可能である。また、行動パターンの検出結果を多様な用途に活用することが可能となる。例えば、行動パターンの検出結果を用い、各人物に最適なサービスを提供することができる。また、対象エリア内での移動、交通状況を把握することや、セキュリティ性の向上を図ることも可能である。
【０１１３】
＜７．むすび＞
以上説明したように、本発明の第１の実施形態によれば、撮像装置２０−１が、距離画像センサ１０−１により取得された距離画像の解析結果に基づいて撮像画像から注目領域を決定し、撮像画像中の注目領域を解析する。かかる構成により、撮像画像中から顔を検出するための処理負荷を抑制しつつ、シャツに印刷された顔写真の誤検出を防止することができる。同様に、本発明の第１の実施形態によれば、距離画像および撮像画像を補間的に用いることにより、車いすの利用者、および幼児を抱えて連れている人物などの検出精度を向上することが可能である。
【０１１４】
また、本発明の第２の実施形態によれば、画像圧縮部２８４の機能により、撮像画像を記録する場面において、注目領域については高解像度を維持しつつ、記録容量を低減することが可能である。また、撮像画像を転送する場面でも同様に、注目領域については高解像度を維持しつつ、通信トラフィック量を低減することが可能である。また、第２の実施形態によるデータ補正部２８８、評価部２９２、および通知部２９６は、センサ座標変換用データおよび世界座標変換用データの信頼性を維持するための機能を発揮することが可能である。
【０１１５】
また、本発明の第３の実施形態では、異なる方向から対象空間を撮像して得られる複数の撮像画像から人物検出を行う。このため、いずれかの撮像画像では人物が陰に隠れている場合や、いずれかの撮像画像では人物の背面が写っている場合であっても、他の撮像画像では人物を捉えられる可能性がある。したがって、第３の実施形態によれば、対象空間に存在するより多くの人物を検出し、各人物の特徴量を得ることが可能となる。
【０１１６】
また、本発明の第４の実施形態によれば、複数箇所に距離画像センサ１０−４と撮像装置２０−４の組を配置することにより、人物の行動パターンを検出することが可能である。
【０１１７】
なお、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【０１１８】
例えば、距離画像センサ１０および撮像装置２０は、移動可能なテーブルやレールに配置されてもよい。かかる構成によれば、距離画像センサ１０および撮像装置２０を適宜移動させることにより、人物の重なりなどを回避することが可能となる。
【０１１９】
また、上記では、距離画像センサ１０のセンサ座標系の位置情報を、世界座標系を介して撮像画像中の画素位置に変換する例を説明したが、本発明はかかる例に限定されない。例えば、撮像装置２０は、距離画像センサ１０のセンサ座標系を直接撮像画像中の画素位置に変換するための座標変換用データをキャリブレーションにより取得してもよい。このキャリブレーションは、例えば、距離画像センサ１０がマーカーのセンサ座標系の位置情報を撮像装置２０に送信し、撮像装置２０が撮像画像中のマーカーの位置とマーカーのセンサ座標系の位置情報とを比較することにより行うことが可能である。
【０１２０】
また、本明細書の電力交換システム、または距離画像センサ１０および撮像装置２０の処理における各ステップは、必ずしもシーケンス図として記載された順序に沿って時系列に処理する必要はない。例えば、距離画像センサ１０および撮像装置２０の処理における各ステップは、シーケンス図として記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
【０１２１】
また、距離画像センサ１０および撮像装置２０に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した距離画像センサ１０および撮像装置２０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
【符号の説明】
【０１２２】
１０ 距離画像センサ
２０ 撮像装置
３０ 管理サーバ
１１０ 発光部
１２０ 受光部
１３０ 距離画像取得部
１４０、２４０ キャリブレーション実行部
１５０、２５０ 記憶部
１６０ 人物検出部
１７０、２７０ 座標変換部
１８０、２８０、３１０ 通信部
２１０ 撮像部
２６０ 注目領域決定部
２６４ 画像解析部
２８４ 画像圧縮部
２８８ データ補正部
２９２ 評価部
２９６ 通知部
３２０ 検出情報記憶部
３３０ 同一性判断部
３４０ 行動検出部
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、プログラム、および画像処理システムに関する。
【背景技術】
【０００２】
近日、撮像装置により取得された画像を解析し、画像に含まれる人物を検出する画像処理技術が広く普及している。このような画像処理技術によれば、例えば、駅、空港、アミューズメントエリア、劇場、およびホールなどの入退場ゲートに撮像装置を設置することにより、入退場ゲートの通過人数をカウントすることが可能である。また、特許文献１に記載されているように、画像処理を用いて人物追跡を実現することも可能である。
【０００３】
ここで、画像処理による人物の顔検出について簡単に説明する。人物の顔検出の過程は、主に、画像中の各領域について所定の顔パターンに合致するか否かを確認するマッチング処理、および、合致する領域を顔認証などにより詳細に解析する解析処理を含む。なお、人物の撮像距離によって画像における顔の大きさは変化するので、上記のマッチング処理は多様なサイズの顔パターンについて行われる。
【０００４】
一方、例えば特許文献２に開示されているように、対象空間における各位置の距離が表現された距離画像を生成する距離画像センサの開発も進められている。この距離画像センサは、光を照射し、対象に反射した光が戻るまでの時間を画素ごとに計測することにより、対象空間における各位置の距離を測定することが可能である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−６３００１号公報
【特許文献２】特開２０１０−２７１３０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、上述した顔検出処理は、処理負荷および検出精度の観点から問題である。例えば、顔検出のためのマッチング処理は、上述したように、画像中の各領域、および多様なサイズの顔パターンについて行われるので、処理負荷が高い。また、顔写真が印刷されたシャツを着用している人物がいた場合、顔写真の部分が顔領域として誤検出されてしまうことが予想される。
【０００７】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、画像解析の処理負荷および精度を改善することが可能な、新規かつ改良された画像処理装置、画像処理方法、プログラム、および画像処理システムを提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明のある観点によれば、距離画像センサにより取得される対象空間における各位置の距離が表現された距離画像の解析結果に基づき、前記対象空間を撮像する撮像装置により取得される撮像画像から注目領域を決定する注目領域決定部と、前記注目領域決定部により決定された前記注目領域を画像解析する画像解析部と、を備える、画像処理装置が提供される。
【０００９】
前記距離画像の解析結果は、前記距離画像から検出された人物の位置情報を含み、前記注目領域決定部は、前記撮像画像中で前記人物の位置情報に対応する領域を前記注目領域に決定してもよい。
【００１０】
前記人物の位置情報は、第１の座標変換用データに基づき、前記人物の前記距離画像におけるセンサ座標系の位置情報が変換された３次元座標系の位置情報であり、前記画像処理装置は、前記３次元座標系の位置情報と前記撮像画像中の各領域との対応関係を示す第２の座標変換用データを記憶する記憶部をさらに備え、前記注目領域決定部は、前記第２の座標変換用データに基づき、前記人物の３次元座標系の位置情報に対応する前記撮像画像中の領域を判定して前記注目領域を決定してもよい。
【００１１】
前記注目領域決定部は、前記注目領域の大きさを、前記人物の３次元座標系の位置情報から推定される前記人物と前記撮像装置との距離に応じて決定してもよい。
【００１２】
前記画像処理装置は、前記画像解析部による前記注目領域の解析結果に基づいて前記第１の座標変換用データまたは前記第２の座標変換用データの信頼性を評価する評価部と、前記評価部により、前記第１の座標変換用データまたは前記第２の座標変換用データの信頼性が損なわれたと評価された場合に異常を通知する通知部と、をさらに備えてもよい。
【００１３】
前記画像処理装置は、前記第１の座標変換用データまたは前記第２の座標変換用データをキャリブレーションにより取得するキャリブレーション実行部と、前記キャリブレーション実行部により取得された前記第１の座標変換用データまたは前記第２の座標変換用データを前記画像解析部による前記注目領域の解析結果に基づいて補正するデータ補正部と、をさらに備えてもよい。
【００１４】
１つの前記距離画像センサに対して、前記対象空間を異なる方向から撮像する複数の前記撮像装置が配置され、前記注目領域決定部は、前記複数の撮像装置のうちで、前記人物の顔の向きに存在する撮像装置により取得された撮像画像の注目領域を決定してもよい。
【００１５】
前記画像処理装置は、複数組の前記距離画像センサおよび前記撮像装置と通信する通信部と、１の前記撮像装置により取得された撮像画像に含まれる人物の解析結果と、他の前記撮像装置により取得された撮像画像に含まれる人物の解析結果とを比較し、双方の撮像画像に含まれる人物の同一性を判断する同一人物判断部をさらに備えてもよい。
【００１６】
前記画像処理装置は、前記注目領域の周辺領域のデータレートが前記注目領域のデータレートより低くなるように前記撮像画像を圧縮する画像圧縮部をさらに備えてもよい。
【００１７】
また、上記課題を解決するために、本発明の別の観点によれば、距離画像センサにより取得される対象空間における各位置の距離が表現された距離画像の解析結果に基づき、前記対象空間を撮像する撮像装置により取得される撮像画像から注目領域を決定するステップと、前記注目領域を画像解析するステップと、を含む画像処理方法が提供される。
【００１８】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、距離画像センサにより取得される対象空間における各位置の距離が表現された距離画像の解析結果に基づき、前記対象空間を撮像する撮像装置により取得される撮像画像から注目領域を決定する注目領域決定部と、前記注目領域決定部により決定された前記注目領域を画像解析する画像解析部と、として機能させるためのプログラムが提供される。
【００１９】
また、上記課題を解決するために、本発明の別の観点によれば、対象空間における各位置の距離が表現された距離画像を取得する距離画像センサと、前記対象空間を撮像する撮像装置と、を有する画像処理システムであって、前記距離画像センサによって取得される前記距離画像を解析する処理、前記撮像装置により取得される前記撮像画像から、前記距離画像の解析結果に基づいて注目領域を決定する処理、および、前記注目領域を画像解析する処理、を行う画像処理システムが提供される。
【発明の効果】
【００２０】
以上説明したように本発明によれば、画像解析の処理負荷および精度を改善することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施形態による画像処理システムの構成を示した説明図である。
【図２】距離画像の具体例を示した説明図である。
【図３】撮像画像の具体例を示した説明図である。
【図４】第１の実施形態による距離画像センサ１０−１の構成を示した機能ブロック図である。
【図５】センサ座標系および世界座標系の関係を示した説明図である。
【図６】距離画像における人物検出を示した説明図である。
【図７】第１の実施形態による撮像装置２０−１の構成を示した機能ブロック図である。
【図８】撮像装置２０−１のキャリブレーションの具体例を示した説明図である。
【図９】注目領域の具体例を示した説明図である。
【図１０】第１の実施形態による画像処理システムの動作を示したシーケンス図である。
【図１１】第１の実施形態の変形例による動作を示したシーケンス図である。
【図１２】第２の実施形態による撮像装置２０−２の構成を示した機能ブロック図である。
【図１３】撮像画像中の注目領域の具体例を示した説明図である。
【図１４】第３の実施形態による画像処理システムの構成を示した説明図である。
【図１５】第４の実施形態による画像処理システムの構成を示した説明図である。
【図１６】管理サーバ３０の構成を示した機能ブロック図である。
【図１７】検出情報の具体例を示した説明図である。
【発明を実施するための形態】
【００２２】
以下に添付図面を参照しながら、本発明の実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２３】
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
【００２４】
＜１．本実施形態の概要＞
本発明は、一例として「３．第１の実施形態」〜「６．第４の実施形態」において詳細に説明するように、多様な形態で実施され得る。また、各実施形態による画像処理装置（例えば、撮像装置２０）は、
Ａ．距離画像センサにより取得される対象空間における各位置の距離が表現された距離画像の解析結果に基づき、前記対象空間を撮像する撮像装置により取得される撮像画像から注目領域を決定する注目領域決定部（２６０）と、
Ｂ．前記注目領域決定部により決定された前記注目領域を画像解析する画像解析部（２６４）と、を備える。
【００２５】
上記のような画像処理装置を備える画像処理システムは、例えば、対象空間に存在する人物を高精度に検出することが可能である。したがって、本実施形態による画像処理システムは、多様な用途に適用可能である。
【００２６】
例えば、本実施形態による画像処理システムは、駅、空港、アミューズメントエリア、劇場、およびホールなどの入退場ゲートを通過する人数をカウントする用途に適用可能である。また、本実施形態による画像処理システムは、工場内の危険エリアや鉄道駅のプラットフォームと線路（又は線路上）との境などの危険な場所に人物などが誤侵入しないように監視する用途に適用可能である。さらに、本実施形態による画像処理システムは、エレベータや駅の構内、銀行ＡＴＭ付近、コンビニエンスストアなどの小売店舗で、人物の通過や滞留などを検知するいわゆる人物監視の用途にも適用可能である。
【００２７】
以下では、まず、このような各実施形態において共通する画像処理システムの基本構成について説明した後に、本発明の各実施形態について順次詳細に説明する。
【００２８】
＜２．画像処理システムの基本構成＞
図１は、本発明の実施形態による画像処理システムの構成を示した説明図である。図１に示したように、本発明の実施形態による画像処理システムは、距離画像センサ１０と、撮像装置２０と、を備える。
【００２９】
（距離画像センサ１０）
距離画像センサ１０は、光を照射し、対象に反射した光が戻るまでの時間を画素ごとに計測することにより、対象空間における各位置の距離を測定する。そして、距離画像センサ１０は、測定した対象空間における各位置の距離、すなわち、対象空間の３次元的形状が表現された距離画像を生成する。ここで、図２を参照して、距離画像についてより具体的に説明する。
【００３０】
図２は、距離画像の具体例を示した説明図である。なお、図２においては、色の薄い領域ほど距離画像センサ１０との距離が近く、色の濃い領域ほど距離画像センサ１０との距離が遠いことを示す。
【００３１】
図２に示したように、距離画像センサ１０が人物の真上から距離測定を行った場合、床面に比べて人物の肩および頭部が距離画像センサ１０に近い。このため、図２に示したように、人物の両肩Ｓ１およびＳ２と頭部Ｓ３が他の領域である床面よりも薄い色で表現された距離画像が得られる。なお、図面作成の制約上、図２では各位置の距離が色の濃淡で表現される例を示しているが、距離画像センサ１０は、各位置の距離を色によって表現することも可能である。本実施形態による距離画像センサ１０は、このような距離画像を解析し、解析結果を撮像装置２０に送信する。
【００３２】
（撮像装置２０）
一方、撮像装置２０は、距離画像センサ１０の対象空間を撮像することにより対象空間の撮像画像を取得する。例えば、撮像装置２０は、対象空間から発せられる光を集光して撮像面に光像を形成し、撮像面に形成された光像を電気的な画像信号に変換することにより撮像画像を取得する。
【００３３】
図３は、撮像装置２０により取得される撮像画像の具体例を示した説明図である。図３に示した撮像画像には、人物Ａと、人物Ａより前面に位置し、顔写真が印刷されたシャツを着用した人物Ｂが含まれる。詳細については後述するが、本実施形態による撮像装置２０は、このような撮像画像から、処理負荷を軽減しつつ高精度に人物の顔を検出することが可能である。
【００３４】
なお、本実施形態においては、距離画像センサ１０により取得される距離画像を人物の位置検出の用途で用い、撮像装置２０により取得される撮像画像を人物認識の用途で用いる。このため、距離画像センサ１０は、人物のオクルージョンが発生しないように、図１に示したように鉛直方向に近い方向から対象空間を測定することが望まれる。一方、撮像装置は、人物の顔画像が得られるように、図１に示したように少なくとも鉛直方向と交差する方向から対象空間を撮像することが望まれる。
【００３５】
（背景）
ここで、本発明の比較例による人物の顔検出処理を説明する。比較例による人物の顔検出処理は、主に、撮像画像中の各領域について所定の顔パターンに合致するか否かを確認するマッチング処理、および、合致する領域を顔認証などにより詳細に解析する解析処理を含む。
【００３６】
しかし、図３に示したように、人物の撮像距離によって撮像画像における顔の大きさは変化するので、上記のマッチング処理は多様なサイズの顔パターンについて行う必要があった。また、図３に示したように、顔写真が印刷されたシャツを着用している人物が存在する場合、比較例による顔検出処理では、シャツに印刷された顔写真を人物の顔として認識してしまう場合があった。すなわち、比較例による人物の顔検出処理は、処理負荷および顔の検出精度の観点から問題があった。
【００３７】
そこで、上記事情を一着眼点にして本実施形態による画像処理装置を創作するに至った。本実施形態による画像処理システムは、撮像画像から、処理負荷を軽減しつつ高精度に人物の顔を検出することが可能である。以下、このような各実施形態について順次詳細に説明する。
【００３８】
＜３．第１の実施形態＞
［３−１．第１の実施形態による距離画像センサの構成］
図４は、第１の実施形態による距離画像センサ１０−１の構成を示した機能ブロック図である。図４に示したように、第１の実施形態による距離画像センサ１０−１は、発光部１１０と、受光部１２０と、距離画像取得部１３０と、キャリブレーション実行部１４０と、記憶部１５０と、人物検出部１６０と、座標変換部１７０と、通信部１８０と、を備える。
【００３９】
発光部１１０は、距離測定の対象空間に対して赤外線のような光を照射する。受光部１２０は、発光部１１０により照射された光の対象空間からの反射光を受光する。
【００４０】
距離画像取得部１３０は、受光部１２０による受光結果に基づいて対象空間上の各位置の距離を推定し、図２に示したように、対象空間上の各位置の距離が色や濃淡により表現された距離画像を取得する。
【００４１】
キャリブレーション実行部１４０は、キャリブレーションを実行することにより、距離画像取得部１３０により取得される距離画像においてセンサ座標系で表現される位置情報を、世界座標系のような３次元座標系の位置情報に変換するためのセンサ座標変換用データ（第１の座標変換用データ）を取得する。ここで、図５を参照し、センサ座標系および世界座標系の関係およびキャリブレーションについて説明する。
【００４２】
図５は、センサ座標系および世界座標系の関係を示した説明図である。なお、位置Ｐは距離画像センサ１０−１の設置位置である。図５に示したように、距離画像取得部１３０によれば、対象空間の位置をセンサ座標系（Ｘ、Ｙ、Ｚ）で取得することができる。しかし、このセンサ座標系は、世界座標系（ｘ、ｙ、ｚ）と異なる。このため、キャリブレーション実行部１４０は、センサ座標系（Ｘ、Ｙ、Ｚ）を世界座標系（ｘ、ｙ、ｚ）に変換するためのセンサ座標変換用データをキャリブレーションにより取得する。
【００４３】
なお、キャリブレーションの方法は特に限定されない。例えば、キャリブレーション実行部１４０は、床面上の任意の３つ以上の点について取得されるセンサ座標系（Ｘ、Ｙ、Ｚ）の値に基づき、例えば図５に示したような距離画像センサ１０−１の設置高さｈ、俯角θ、および回転角ωなどを推定し、これら設置高さｈ、俯角θ、および回転角ωなどに基づくセンサ座標変換用データを取得してもよい。さらに、センサ座標変換用データは、人的に設定することも可能である。
【００４４】
ここで、図４を参照して距離画像センサ１０−１の構成の説明に戻ると、記憶部１５０は、キャリブレーション実行部１４０により取得されたセンサ座標変換用データを記憶する。なお、記憶部１５０は、不揮発性メモリ、磁気ディスク、光ディスク、およびＭＯ（Ｍａｇｎｅｔｏ Ｏｐｔｉｃａｌ）ディスクなどの記憶媒体であってもよい。不揮発性メモリとしては、例えば、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）があげられる。また、磁気ディスクとしては、ハードディスクおよび円盤型磁性体ディスクなどがあげられる。また、光ディスクとしては、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ−Ｒ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅｃｏｒｄａｂｌｅ）およびＢＤ（Ｂｌｕ−Ｒａｙ Ｄｉｓｃ（登録商標））などがあげられる。
【００４５】
人物検出部１６０は、距離画像取得部１３０により取得された距離画像から人物を検出する。例えば、人物検出部１６０は、距離画像とゲートや設置物のような背景物体との差分を抽出し、差分画像に対して２値化、ラベリングおよびクラスタリングなどの処理を施すことにより、距離画像から人物を検出してもよい。また、人物検出部１６０は、Ｈａａｒ−ｌｉｋｅ特徴検出に従い、例えば図２に示したような肩Ｓ１、頭部Ｓ３、肩Ｓ２という並びに基づいて人物を検出してもよい。なお、図１に示したように距離画像センサ１０が人物の真上から距離測定を行う場合、人物検出部１６０は、人物の頭部の位置を高い精度で検出することが可能である。
【００４６】
座標変換部１７０は、人物検出部１６０により検出された人物のセンサ座標系の位置情報（Ｘ、Ｙ、Ｚ）を、記憶部１５０に記憶されているセンサ座標変換用データを用いて、世界座標系の位置情報（ｘ、ｙ、ｚ）に変換する。なお、座標変換部１７０は、例えば図６に示したように距離画像中の領域Ｆで人物が検出された場合、領域Ｆの範囲を示す位置情報（Ｘ、Ｙ、Ｚ）を世界座標系の位置情報（ｘ、ｙ、ｚ）に変換してもよいし、領域Ｆの中心を示す位置情報（Ｘ、Ｙ、Ｚ）を世界座標系の位置情報（ｘ、ｙ、ｚ）に変換してもよい。以下では、人物が検出された領域Ｆに対応する１つの世界座標系の位置情報（ｘ、ｙ、ｚ）が座標変換部１７０により得られるものとして説明を進める。
【００４７】
通信部１８０は、撮像装置２０−１とのインタフェースであって、撮像装置２０−１と無線ＬＡＮのような無線または有線により通信する。特に、本実施形態による通信部１８０は、座標変換部１７０により得られた人物の世界座標系の位置情報（ｘ、ｙ、ｚ）を撮像装置２０−１に送信する。
【００４８】
［３−２．第１の実施形態による撮像装置の構成］
以上、図４〜図６を参照して第１の実施形態による距離画像センサ１０−１の構成を説明した。続いて、図７を参照し、第１の実施形態による撮像装置２０−１の構成を説明する。
【００４９】
図７は、第１の実施形態による撮像装置２０−１の構成を示した機能ブロック図である。図７に示したように、第１の実施形態による撮像装置２０−１は、撮像部２１０と、キャリブレーション実行部２４０と、記憶部２５０と、注目領域決定部２６０と、画像解析部２６４と、座標変換部２７０と、通信部２８０と、を備える。
【００５０】
撮像部２１０は、被写体から発せられる光を集光する撮影レンズおよびズームレンズなどの撮像光学系、および、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子を有する。撮像部２１０においては、撮像光学系により撮像素子の撮像面に被写体像が形成され、撮像面に形成された被写体像を撮像素子が電気的な画像信号に変換することにより、撮像画像が取得される。
【００５１】
キャリブレーション実行部２４０は、キャリブレーションを実行することにより、世界座標系の位置情報（ｘ、ｙ、ｚ）と撮像部２１０により取得される撮像画像中の各領域との対応関係を示す世界座標変換用データ（第２の座標変換用データ）を取得する。一例として、キャリブレーション実行部２４０は、距離画像センサ１０−１と協働してキャリブレーションを実行することができる。以下、この点について図８を参照してより具体的に説明する。
【００５２】
図８は、撮像装置２０−１のキャリブレーションの具体例を示した説明図である。まず、図８の左図に示したように、４箇所にマーカー＃１〜＃４が配置されると、撮像装置２０−１は、マーカー＃１〜＃４の世界座標系の位置情報（ｘ、ｙ、ｚ）をキャリブレーション済みの距離画像センサ１０−１から受信する。
【００５３】
そして、図８の右図に示したように、キャリブレーション実行部２４０は、マーカー＃１〜＃４の各々の位置情報（ｘ、ｙ、ｚ）と、撮像画像におけるマーカー＃１〜＃４の位置との関係によって、世界座標変換用データを取得する。この世界座標変換用データは、記憶部２５０に記憶される。
【００５４】
なお、上記ではマーカー＃１〜＃４の世界座標系の位置情報（ｘ、ｙ、ｚ）が距離画像センサ１０−１から受信される例を説明したが、世界座標系の位置情報（ｘ、ｙ、ｚ）は人的に入力されてもよい。さらに、世界座標変換用データは、人的に設定することも可能である。
【００５５】
通信部２８０は、距離画像センサ１０−１とのインタフェースであって、距離画像センサ１０−１と無線ＬＡＮのような無線または有線により通信する。特に、本実施形態による通信部２８０は、キャリブレーション処理時、または、人物の検出処理時に、距離画像センサ１０−１により世界座標系の位置情報（ｘ、ｙ、ｚ）を受信する。
【００５６】
座標変換部２７０は、通信部２８０により距離画像センサ１０−１から受信された人物の位置を示す世界座標系の位置情報（ｘ、ｙ、ｚ）を、記憶部２５０に記憶されている世界座標変換用データに基づき、撮像画像中の画素位置を示す位置情報に変換する。このため、座標変換部２７０により得られた位置情報の示す位置には、人物が写っていることが期待される。
【００５７】
注目領域決定部２６０は、座標変換部２７０により得られた位置情報に基づき、撮像画像から注目領域を決定する。例えば、注目領域決定部２６０は、座標変換部２７０により得られた位置情報の示す画素位置を含む矩形領域を注目領域として決定してもよい。以下、図９を参照し、注目領域決定部２６０により決定される注目領域の具体例を説明する。
【００５８】
図９は、注目領域の具体例を示した説明図である。図９に示したように、注目領域決定部２６０は、人物Ａの頭部を含む領域Ｇ１、および人物Ｂの頭部を含む領域Ｇ２を注目領域として決定することができる。一方、人物Ｂの着用しているシャツの顔写真は、距離画像センサ１０−１によって人物として検出されないので、顔写真の部分は注目領域とならない。
【００５９】
なお、図９に示したように、人物の撮像距離によって撮像画像における顔の大きさは異なる。そこで、注目領域決定部２６０は、注目領域のサイズを、世界座標系の位置情報（ｘ、ｙ、ｚ）に基づいて推定される人物と撮像装置２０−１との距離に応じて決定してもよい。例えば、注目領域決定部２６０は、図９に示したように、人物Ａよりも前面に位置する人物Ｂの注目領域Ｇ２のサイズを、人物Ａの注目領域Ｇ１より大きくしてもよい。
【００６０】
画像解析部２６４は、注目領域決定部２６０により決定された注目領域内の画像を解析する。ここで、注目領域には人物の顔画像が含まれていることが期待されるので、画像解析部２６４は、注目領域を解析することにより、人物の検出に加え、人物の性別、年齢、身長、および顔パターンなどの特徴量を得ることが可能である。さらに、画像解析部２６４は、注目領域の下方の領域を解析することにより、当該人物の服装に関する特徴量を得ることもできる。
【００６１】
以上説明したように、本発明の第１の実施形態によれば、撮像装置２０−１が、距離画像センサ１０−１により取得された距離画像の解析結果に基づいて撮像画像から注目領域を決定し、撮像画像中の注目領域を解析する。かかる構成により、撮像画像中から顔を検出するための処理負荷を抑制しつつ、シャツに印刷された顔写真の誤検出を防止することができる。同様に、本発明の第１の実施形態によれば、距離画像および撮像画像を補間的に用いることにより、車いすの利用者、および幼児を抱えて連れている人物などの検出精度を向上することが可能である。
【００６２】
［３−３．第１の実施形態による画像処理システムの動作］
続いて、図１０を参照し、第１の実施形態による画像処理システムの動作を整理する。
【００６３】
図１０は、第１の実施形態による画像処理システムの動作を示したシーケンス図である。図１０に示したように、まず、距離画像センサ１０−１のキャリブレーション実行部１４０がキャリブレーションを実行してセンサ座標変換用データを取得し、撮像装置２０−１のキャリブレーション実行部２４０がキャリブレーションを実行して世界座標変換用データを取得する（Ｓ４０４）。なお、距離画像センサ１０−１および撮像装置２０−１は、このキャリブレーションを距離画像センサ１０−１および撮像装置２０−１の設置時に行ってもよいし、距離画像センサ１０−１および撮像装置２０−１の設置後に定期的に行ってもよい。
【００６４】
その後、距離画像センサ１０−１の距離画像取得部１３０が距離画像の取得を開始し（Ｓ４０８）、撮像装置２０−１の撮像部２１０が撮像画像の取得を開始する（Ｓ４１２）。
【００６５】
そして、距離画像センサ１０−１の人物検出部１６０により距離画像から人物が検出されると（Ｓ４１６）、座標変換部１７０が、検出されたセンサ座標系の人物の位置情報（Ｘ、Ｙ、Ｚ）を、記憶部１５０に記憶されているセンサ座標変換用データを用いて、世界座標系の位置情報（ｘ、ｙ、ｚ）に変換する。
【００６６】
続いて、通信部１８０が、座標変換部１７０により得られた人物の位置情報（ｘ、ｙ、ｚ）を撮像装置２０−１に送信する（Ｓ４２４）。なお、距離画像センサ１０−１は、人物の位置情報（ｘ、ｙ、ｚ）を撮像装置２０−１に送信し続けてもよいし、撮像装置２０−１からの要求に応じて送信してもよい。例えば、撮像装置２０−１は、撮像画面の変化の有無を検出し、撮像画面に変化があった場合に距離画像センサ１０−１に人物の位置情報（ｘ、ｙ、ｚ）の送信を要求してもよい。
【００６７】
一方、撮像装置２０−１の座標変換部２７０は、記憶部２５０に記憶されている世界座標変換用データを用い、距離画像センサ１０−１から受信された人物の位置情報（ｘ、ｙ、ｚ）を、撮像画像中の画素位置に変換する（Ｓ４２８）。
【００６８】
そして、撮像装置２０−１の注目領域決定部２６０が、座標変換部２７０により得られた画素位置に基づいて撮像画像から注目領域を決定する（Ｓ４３２）。さらに、画像解析部２６４が、注目領域決定部２６０により決定された注目領域を画像解析することにより、人物の検出し、人物の特徴量を取得する（Ｓ４３６）。
【００６９】
［３−４．変形例］
なお、上記では、撮像装置２０−１が注目領域の決定や画像解析を行う画像処理装置として機能する例を説明したが、他の装置を本実施形態による画像処理装置として機能させることも可能である。例えば、注目領域決定部２６０および画像解析部２６４などを距離画像センサ１０−１および撮像装置２０−１と通信する他の装置に設けることにより、他の装置を本実施形態による画像処理装置として機能させることができる。同様に、注目領域決定部２６０および画像解析部２６４などを距離画像センサ１０−１に設けることにより、距離画像センサ１０−１を本実施形態による画像処理装置として機能させることができる。以下、図１１を参照し、距離画像センサ１０−１が本実施形態による画像処理装置として機能する場合の動作を変形例として補足する。
【００７０】
図１１は、第１の実施形態の変形例による動作を示したシーケンス図である。図１１に示したように、まず、距離画像センサ１０−１のキャリブレーション実行部１４０がキャリブレーションを実行してセンサ座標変換用データを取得し、撮像装置２０−１のキャリブレーション実行部２４０がキャリブレーションを実行して世界座標変換用データを取得する（Ｓ４０４）。そして、撮像装置２０−１が、キャリブレーションにより取得した世界座標変換用データを距離画像センサ１０−１に送信する（Ｓ４０６）。
【００７１】
その後、距離画像センサ１０−１の距離画像取得部１３０が距離画像の取得を開始し（Ｓ４０８）、撮像装置２０−１の撮像部２１０が撮像画像の取得を開始する（Ｓ４１２）。撮像装置２０−１の撮像部２１０により取得された撮像画像は、撮像装置２０−１の通信部２８０から距離画像センサ１０−１に送信される（Ｓ４１４）。
【００７２】
そして、距離画像センサ１０−１の人物検出部１６０により距離画像から人物が検出されると（Ｓ４１６）、座標変換部１７０が、検出されたセンサ座標系の人物の位置情報（Ｘ、Ｙ、Ｚ）を、センサ座標変換用データおよび世界座標変換用データに基づき、撮像画像中の画素位置に変換する（Ｓ４２２）。
【００７３】
そして、距離画像センサ１０−１は、撮像装置２０−１から受信される撮像画像において、座標変換部１７０により得られた画素位置に基づいて注目領域を決定する（Ｓ４２６）。さらに、距離画像センサ１０−１は、注目領域を画像解析することにより、人物の検出し、人物の特徴量を取得する（Ｓ４３０）。
【００７４】
以上説明したように、本実施形態による画像処理装置としての機能を実現する主体は撮像装置２０−１に限定されず、距離画像センサ１０−１や他の装置によっても本実施形態による画像処理装置としての機能を実現することが可能である。
【００７５】
＜４．第２の実施形態＞
続いて、本発明の第２の実施形態を説明する。本発明の第２の実施形態による撮像装置２０−２は、第１の実施形態による撮像装置２０−１に無い幾つかの追加的な機能を有する。以下、このような第２の実施形態による撮像装置２０−２について詳細に説明する。
【００７６】
図１２は、第２の実施形態による撮像装置２０−２の構成を示した機能ブロック図である。図１２に示したように、第２の実施形態による撮像装置２０−２は、撮像部２１０と、キャリブレーション実行部２４０と、記憶部２５０と、注目領域決定部２６０と、画像解析部２６４と、座標変換部２７０と、通信部２８０と、画像圧縮部２８４と、データ補正部２８８と、評価部２９２と、通知部２９６と、を備える。なお、撮像部２１０、キャリブレーション実行部２４０、記憶部２５０、注目領域決定部２６０、画像解析部２６４、座標変換部２７０、および通信部２８０については第１の実施形態で説明した通りであるので、ここでの詳細な説明を省略する。
【００７７】
（画像圧縮）
画像圧縮部２８４は、撮像部２１０により取得された撮像画像を圧縮する。より詳細には、画像圧縮部２８４は、注目領域の周辺領域のデータレートが注目領域のデータレートより低くなるように撮像画像を圧縮する。例えば、画像圧縮部２８４は、注目領域のデータレートは下げずに、周辺領域のみを圧縮してもよい。
【００７８】
かかる構成によれば、撮像画像を記録する場面において、注目領域については高解像度を維持しつつ、記録容量を低減することが可能である。また、撮像画像を転送する場面でも同様に、注目領域については高解像度を維持しつつ、通信トラフィック量を低減することが可能である。
【００７９】
（座標変換用データの補正）
データ補正部２８８は、記憶部２５０に記憶されている世界座標変換用データを、画像解析部２６４による画像の解析結果に応じて補正する。例えば、撮像部２１０の向きが変化した場合、世界座標系の位置情報（ｘ、ｙ、ｚ）と撮像画像中の各領域との対応関係も変化するので、データ補正部２８８は、撮像部２１０の向きの変化を世界座標変換用データに反映させる補正を行う。
【００８０】
具体例として、世界座標系の位置情報（ｘ、ｙ、ｚ）と撮像画像中の各領域との対応関係が変化した場合、図１３に示したように、人物Ｂの頭部と異なる領域Ｇ３が注目領域として決定されると考えられる。この場合、画像解析部２６４は、注目領域Ｇ３を解析しても人物Ｂを検出することができない。人物Ｂは、画像解析部２６４が撮像画像全域を解析することにより検出される。
【００８１】
そこで、データ補正部２８８は、距離画像センサ１０−１から受信された世界座標系の位置情報（ｘ、ｙ、ｚ）が、画像解析部２６４により検出された人物Ｂの頭部に対応するように世界座標変換用データを補正してもよい。かかる構成により、世界座標変換用データの信頼性を維持することが可能である。
【００８２】
なお、距離画像センサ１０−１の測定方向が変化した場合にも、センサ座標系の位置情報（Ｘ、Ｙ、Ｚ）と世界座標系の位置情報（ｘ、ｙ、ｚ）との対応関係が変化する。このような場合、撮像装置２０−１は、距離画像センサ１０−１にセンサ座標変換データの補正または再キャリブレーションを要求してもよい。
【００８３】
（異常の通知）
上述したように、撮像方向や設置位置が多少変化した場合には、座標変換用データを補正することで対応することが可能である。一方、撮像方向や設置位置が大きく変化し、撮像画像に対象の人物が全く写っていないような場合には、上述の補正を行うことが困難である。
【００８４】
そこで、評価部２９２は、画像解析部２６４による画像の解析結果に基づいてセンサ座標変換用データまたは世界座標変換用データの信頼性を評価する。そして、距離画像または撮像画像の一方に含まれる人物が他方に全く含まれていない場合、センサ座標変換用データまたは世界座標変換用データの信頼性が損なわれたと評価する。
【００８５】
通知部２９６は、評価部２９２によりセンサ座標変換用データまたは世界座標変換用データの信頼性が損なわれたと評価された場合、異常の発生を通知する。例えば、通知部２９６は、所定の宛先に異常発生を通知する情報を送信してもよいし、異常の発生をアラーム音により通知してもよい。また、通知部２９６は、所定のＬＥＤの発光などにより外部から視覚的に把握できるように異常の発生を通知してもよい。
【００８６】
かかる構成により、画像処理システムの管理者が異常の発生を認知し、センサ座標変換用データまたは世界座標変換用データを再取得するためのキャリブレーションを行うことが期待される。
【００８７】
（第２の実施形態の整理）
以上説明したように、本発明の第２の実施形態によれば、画像圧縮部２８４の機能により、撮像画像を記録する場面において、注目領域については高解像度を維持しつつ、記録容量を低減することが可能である。また、撮像画像を転送する場面でも同様に、注目領域については高解像度を維持しつつ、通信トラフィック量を低減することが可能である。
【００８８】
また、データ補正部２８８、評価部２９２、および通知部２９６は、センサ座標変換用データおよび世界座標変換用データの信頼性を維持するための機能を発揮することが可能である。
【００８９】
＜５．第３の実施形態＞
第１の実施形態および第２の実施形態では、１つの距離画像センサ１０に対して１つの撮像装置２０が配置される例を説明したが、第３の実施形態として説明するように、１つの距離画像センサ１０に対して複数の撮像装置２０を配置することも可能である。以下、詳細に説明する。
【００９０】
図１４は、第３の実施形態による画像処理システムの構成を示した説明図である。図１４に示したように、第３の実施形態による画像処理システムは、距離画像センサ１０―３と、撮像装置２０−３Ａおよび撮像装置２０−３Ｂを備える。
【００９１】
距離画像センサ１０―３は、図４に示した第１の実施形態による距離画像センサ１０−１と共通する機能ブロックを有する。すなわち、距離画像センサ１０―３においては、距離画像取得部１３０が対象空間の距離画像を取得し、人物検出部１６０が距離画像から人物を検出し、座標変換部１７０が人物位置をセンサ座標系から世界座標系に変換する。そして、第２の実施形態による距離画像センサ１０―３の通信部１８０は、世界座標系に変換された人物位置を、撮像装置２０−３Ａおよび撮像装置２０−３Ｂに送信する。例えば、通信部１８０は、世界座標系に変換された人物位置を、無線または有線により、撮像装置２０−３Ａおよび撮像装置２０−３Ｂに直接ブロードキャスト、またはマルチキャストしてもよい。
【００９２】
撮像装置２０−３Ａおよび撮像装置２０−３Ｂは、距離画像センサ１０の対象空間を各々異なる方向から撮像する。また、撮像装置２０−３Ａおよび撮像装置２０−３Ｂは、図７に示した第１の実施形態による撮像装置２０−１と共通する機能ブロックを有する。
【００９３】
すなわち、撮像装置２０−３Ａおよび撮像装置２０−３Ｂにおいては、座標変換部２７０が距離画像センサ１０―３から受信された人物の位置情報を撮像画像中の画素位置に変換し、注目領域決定部２６０が座標変換部２７０により得られた画素位置に基づいて注目領域を決定し、画像解析部２６４が注目領域を画像解析する。
【００９４】
このように、第３の実施形態では、異なる方向から対象空間を撮像して得られる複数の撮像画像から人物検出を行う。このため、いずれかの撮像画像では人物が陰に隠れている場合や、いずれかの撮像画像では人物の背面が写っている場合であっても、他の撮像画像では人物を捉えられる可能性がある。したがって、第３の実施形態によれば、対象空間に存在するより多くの人物を検出し、各人物の特徴量を得ることが可能となる。
【００９５】
（補足）
なお、図１４においては、１の距離画像センサ１０―３に対して２つの撮像装置２０−３を配置する例を説明したが、１の距離画像センサ１０―３に対して配置する撮像装置２０−３の数は２つに限定されない。例えば、１の距離画像センサ１０―３に対して、対象空間を囲むように６つの撮像装置２０−３を配置してもよいし、さらに多数の撮像装置２０−３を配置してもよい。
【００９６】
また、上記では、距離画像センサ１０―３が人物の位置情報を複数の撮像装置２０−３に直接送信する例を説明したが、本実施形態はかかる例に限定されない。例えば、距離画像センサ１０―３は、システムを管理する管理サーバに人物の位置情報を送信し、管理サーバが複数の撮像装置２０−３に人物の位置情報を送信してもよい。
【００９７】
この時、距離画像センサ１０−３が例えばＨａａｒ−ｌｉｋｅフィルタにより人物の向きの検出にも成功した場合、管理サーバは、人物の向きに基づき、人物の顔を撮像可能な位置に配置されている撮像装置２０−３にのみ人物の位置情報を送信してもよい。
【００９８】
あるいは、複数の撮像装置２０−３によって取得された各撮像画像も管理サーバに集められる場合、管理サーバは、人物の顔を撮像可能な位置に配置されている撮像装置２０−３により取得された撮像画像を処理対象（注目領域の決定および画像解析の対象）として選択してもよい。
【００９９】
＜６．第４の実施形態＞
続いて、本発明の第４の実施形態を説明する。第４の実施形態は、複数箇所に距離画像センサ１０と撮像装置２０の組を配置することにより、人物の行動パターンを検出することが可能である。以下、第４の実施形態について詳細に説明する。
【０１００】
（システム構成）
図１５は、第４の実施形態による画像処理システムの構成を示した説明図である。図１５に示したように、第４の実施形態による画像処理システムは、距離画像センサ１０−４Ａ〜１０−４Ｄと、撮像装置２０−４Ａ〜２０−４Ｄと、管理サーバ３０と、を備える。
【０１０１】
距離画像センサ１０−４Ａ〜１０−４Ｄと、撮像装置２０−４Ａ〜２０−４Ｄは、複数箇所に分散して配置される。例えば、図１５に示したように、場所Ｐ１に距離画像センサ１０−４Ａおよび撮像装置２０−４Ａの組が配置され、場所Ｐ２に距離画像センサ１０−４Ｂおよび撮像装置２０−４Ｂの組が配置され、場所Ｐ３に距離画像センサ１０−４Ｃおよび撮像装置２０−４Ｃの組が配置され、場所Ｐ４に距離画像センサ１０−４Ｄおよび撮像装置２０−４Ｄの組が配置される。
【０１０２】
なお、各距離画像センサ１０−４および各撮像装置２０−４は、第１の実施形態で説明したように、各場所を通過する人物を協調して検出する。そして、各撮像装置２０−４は、人物の特徴量を含む検出情報を管理サーバ３０に送信する。
【０１０３】
管理サーバ３０は、各撮像装置２０−４から受信される検出情報を蓄積し、蓄積した検出情報に基づいて同一人物の行動パターンを解析する。以下、図１６を参照し、この管理サーバ３０の構成を説明する。
【０１０４】
（管理サーバの構成）
図１６は、管理サーバ３０の構成を示した機能ブロック図である。図１６に示したように、管理サーバ３０は、通信部３１０と、検出情報記憶部３２０と、同一性判断部３３０と、行動検出部３４０と、を備える。
【０１０５】
通信部３１０は、距離画像センサ１０−４や撮像装置２０−４とのインタフェースであって、距離画像センサ１０−４や撮像装置２０−４と有線または無線により通信する。特に、本実施形態による通信部３１０は、例えば撮像装置２０−４から人物の検出情報を受信する。
【０１０６】
検出情報記憶部３２０は、通信部３１０によって受信された人物の検出情報を記憶する。以下、図１７を参照して人物の検出情報について具体的に説明する。
【０１０７】
図１７は、検出情報の具体例を示した説明図である。図１７に示したように、人物の検出情報は、例えば、検出ＩＤ、特徴量、検出位置および検出時刻などを含む。検出ＩＤは各検出情報を識別するためのＩＤであり、特徴量は撮像画像の解析により得られた人物の特徴を示し、検出場所は人物が検出された場所、すなわち、検出情報の送信元の撮像装置２０−４の配置場所を示し、検出時刻は人物が検出された時刻を示す。例えば、検出情報「１」は、特徴量Ａを有する人物が、場所Ｐ１において２０１１年８月１日１０時５分に検出されたことを示す。
【０１０８】
図１６に示した同一性判断部３３０は、検出情報記憶部３２０に蓄積された各検出情報の特徴量を比較し、各検出情報にかかる人物の同一性を判断する。例えば、特徴量Ａ、特徴量Ａ’および特徴量ａが同一または類似する場合、同一性判断部３３０は、各特徴量を含む図１７に示した検出情報「１」、検出情報「３」および検出情報「４」が同一人物Ｊの検出情報であると判断する。そして、同一性判断部３３０は、検出情報「１」、検出情報「３」および検出情報「４」に同一の人物ＩＤを付与する。同様に、同一性判断部３３０は、検出情報「２」、検出情報「６」および検出情報「７」が同一人物Ｋの検出情報であると判断する。
【０１０９】
行動検出部３４０は、同一性判断部３３０により判断された同一人物の検出情報に基づき、当該人物の行動パターンを検出する。
【０１１０】
例えば、行動検出部３４０は、同一人物の検出場所の履歴によって、当該人物の移動ルートを検出する。より具体的には、同一性判断部３３０は、人物Ｊに関する検出情報「１」、検出情報「３」および検出情報「４」に基づき、人物Ｊが図１５に示したＰ１→Ｐ２→Ｐ４というルートＡで移動したことを検出する。同様に、同一性判断部３３０は、人物Ｋに関する検出情報「２」、検出情報「５」および検出情報「６」に基づき、人物Ｋが図１５に示したＰ１→Ｐ３→Ｐ４というルートＢで移動したことを検出する。
【０１１１】
また、行動検出部３４０は、同一人物の検出場所および検出時刻の履歴によって、当該人物の移動速度や立ち寄り場所を検出することも可能である。
【０１１２】
このように、第４の実施形態によれば、複数箇所に距離画像センサ１０−４と撮像装置２０−４の組を配置することにより、人物の行動パターンを検出することが可能である。また、行動パターンの検出結果を多様な用途に活用することが可能となる。例えば、行動パターンの検出結果を用い、各人物に最適なサービスを提供することができる。また、対象エリア内での移動、交通状況を把握することや、セキュリティ性の向上を図ることも可能である。
【０１１３】
＜７．むすび＞
以上説明したように、本発明の第１の実施形態によれば、撮像装置２０−１が、距離画像センサ１０−１により取得された距離画像の解析結果に基づいて撮像画像から注目領域を決定し、撮像画像中の注目領域を解析する。かかる構成により、撮像画像中から顔を検出するための処理負荷を抑制しつつ、シャツに印刷された顔写真の誤検出を防止することができる。同様に、本発明の第１の実施形態によれば、距離画像および撮像画像を補間的に用いることにより、車いすの利用者、および幼児を抱えて連れている人物などの検出精度を向上することが可能である。
【０１１４】
また、本発明の第２の実施形態によれば、画像圧縮部２８４の機能により、撮像画像を記録する場面において、注目領域については高解像度を維持しつつ、記録容量を低減することが可能である。また、撮像画像を転送する場面でも同様に、注目領域については高解像度を維持しつつ、通信トラフィック量を低減することが可能である。また、第２の実施形態によるデータ補正部２８８、評価部２９２、および通知部２９６は、センサ座標変換用データおよび世界座標変換用データの信頼性を維持するための機能を発揮することが可能である。
【０１１５】
また、本発明の第３の実施形態では、異なる方向から対象空間を撮像して得られる複数の撮像画像から人物検出を行う。このため、いずれかの撮像画像では人物が陰に隠れている場合や、いずれかの撮像画像では人物の背面が写っている場合であっても、他の撮像画像では人物を捉えられる可能性がある。したがって、第３の実施形態によれば、対象空間に存在するより多くの人物を検出し、各人物の特徴量を得ることが可能となる。
【０１１６】
また、本発明の第４の実施形態によれば、複数箇所に距離画像センサ１０−４と撮像装置２０−４の組を配置することにより、人物の行動パターンを検出することが可能である。
【０１１７】
なお、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【０１１８】
例えば、距離画像センサ１０および撮像装置２０は、移動可能なテーブルやレールに配置されてもよい。かかる構成によれば、距離画像センサ１０および撮像装置２０を適宜移動させることにより、人物の重なりなどを回避することが可能となる。
【０１１９】
また、上記では、距離画像センサ１０のセンサ座標系の位置情報を、世界座標系を介して撮像画像中の画素位置に変換する例を説明したが、本発明はかかる例に限定されない。例えば、撮像装置２０は、距離画像センサ１０のセンサ座標系を直接撮像画像中の画素位置に変換するための座標変換用データをキャリブレーションにより取得してもよい。このキャリブレーションは、例えば、距離画像センサ１０がマーカーのセンサ座標系の位置情報を撮像装置２０に送信し、撮像装置２０が撮像画像中のマーカーの位置とマーカーのセンサ座標系の位置情報とを比較することにより行うことが可能である。
【０１２０】
また、本明細書の電力交換システム、または距離画像センサ１０および撮像装置２０の処理における各ステップは、必ずしもシーケンス図として記載された順序に沿って時系列に処理する必要はない。例えば、距離画像センサ１０および撮像装置２０の処理における各ステップは、シーケンス図として記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
【０１２１】
また、距離画像センサ１０および撮像装置２０に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した距離画像センサ１０および撮像装置２０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
【符号の説明】
【０１２２】
１０ 距離画像センサ
２０ 撮像装置
３０ 管理サーバ
１１０ 発光部
１２０ 受光部
１３０ 距離画像取得部
１４０、２４０ キャリブレーション実行部
１５０、２５０ 記憶部
１６０ 人物検出部
１７０、２７０ 座標変換部
１８０、２８０、３１０ 通信部
２１０ 撮像部
２６０ 注目領域決定部
２６４ 画像解析部
２８４ 画像圧縮部
２８８ データ補正部
２９２ 評価部
２９６ 通知部
３２０ 検出情報記憶部
３３０ 同一性判断部
３４０ 行動検出部
【特許請求の範囲】
【請求項１】
距離画像センサにより取得される対象空間における各位置の距離が表現された距離画像の解析結果に基づき、前記対象空間を撮像する撮像装置により取得される撮像画像から注目領域を決定する注目領域決定部と、
前記注目領域決定部により決定された前記注目領域を画像解析する画像解析部と、
を備える、画像処理装置。
【請求項２】
前記距離画像の解析結果は、前記距離画像から検出された人物の位置情報を含み、
前記注目領域決定部は、前記撮像画像中で前記人物の位置情報に対応する領域を前記注目領域に決定する、請求項１に記載の画像処理装置。
【請求項３】
前記人物の位置情報は、第１の座標変換用データに基づき、前記人物の前記距離画像におけるセンサ座標系の位置情報が変換された３次元座標系の位置情報であり、
前記画像処理装置は、
前記３次元座標系の位置情報と前記撮像画像中の各領域との対応関係を示す第２の座標変換用データを記憶する記憶部をさらに備え、
前記注目領域決定部は、前記第２の座標変換用データに基づき、前記人物の３次元座標系の位置情報に対応する前記撮像画像中の領域を判定して前記注目領域を決定する、請求項２に記載の画像処理装置。
【請求項４】
前記注目領域決定部は、前記注目領域の大きさを、前記人物の３次元座標系の位置情報から推定される前記人物と前記撮像装置との距離に応じて決定する、請求項３に記載の画像処理装置。
【請求項５】
前記画像処理装置は、
前記画像解析部による前記注目領域の解析結果に基づいて前記第１の座標変換用データまたは前記第２の座標変換用データの信頼性を評価する評価部と、
前記評価部により、前記第１の座標変換用データまたは前記第２の座標変換用データの信頼性が損なわれたと評価された場合に異常を通知する通知部と、
をさらに備える、請求項３または４に記載の画像処理装置。
【請求項６】
前記画像処理装置は、
前記第１の座標変換用データまたは前記第２の座標変換用データをキャリブレーションにより取得するキャリブレーション実行部と、
前記キャリブレーション実行部により取得された前記第１の座標変換用データまたは前記第２の座標変換用データを前記画像解析部による前記注目領域の解析結果に基づいて補正するデータ補正部と、
をさらに備える、請求項３〜５のいずれか一項に記載の画像処理装置。
【請求項７】
１つの前記距離画像センサに対して、前記対象空間を異なる方向から撮像する複数の前記撮像装置が配置され、
前記注目領域決定部は、前記複数の撮像装置のうちで、前記人物の顔の向きに存在する撮像装置により取得された撮像画像の注目領域を決定する、請求項２〜６のいずれか一項に記載の画像処理装置。
【請求項８】
前記画像処理装置は、
複数組の前記距離画像センサおよび前記撮像装置と通信する通信部と、
１の前記撮像装置により取得された撮像画像に含まれる人物の解析結果と、他の前記撮像装置により取得された撮像画像に含まれる人物の解析結果とを比較し、双方の撮像画像に含まれる人物の同一性を判断する同一人物判断部をさらに備える、請求項２〜６のいずれか一項に記載の画像処理装置。
【請求項９】
前記画像処理装置は、前記注目領域の周辺領域のデータレートが前記注目領域のデータレートより低くなるように前記撮像画像を圧縮する画像圧縮部をさらに備える、請求項１〜８のいずれか一項に記載の画像処理装置。
【請求項１０】
距離画像センサにより取得される対象空間における各位置の距離が表現された距離画像の解析結果に基づき、前記対象空間を撮像する撮像装置により取得される撮像画像から注目領域を決定するステップと、
前記注目領域を画像解析するステップと、
を含む、画像処理方法。
【請求項１１】
コンピュータを、
距離画像センサにより取得される対象空間における各位置の距離が表現された距離画像の解析結果に基づき、前記対象空間を撮像する撮像装置により取得される撮像画像から注目領域を決定する注目領域決定部と、
前記注目領域決定部により決定された前記注目領域を画像解析する画像解析部と、
として機能させるための、プログラム。
【請求項１２】
対象空間における各位置の距離が表現された距離画像を取得する距離画像センサと、前記対象空間を撮像する撮像装置と、を有する画像処理システムであって、
前記距離画像センサによって取得される前記距離画像を解析する処理、
前記撮像装置により取得される撮像画像から、前記距離画像の解析結果に基づいて注目領域を決定する処理、および、
前記注目領域を画像解析する処理、
を行う、画像処理システム。
【請求項１】
距離画像センサにより取得される対象空間における各位置の距離が表現された距離画像の解析結果に基づき、前記対象空間を撮像する撮像装置により取得される撮像画像から注目領域を決定する注目領域決定部と、
前記注目領域決定部により決定された前記注目領域を画像解析する画像解析部と、
を備える、画像処理装置。
【請求項２】
前記距離画像の解析結果は、前記距離画像から検出された人物の位置情報を含み、
前記注目領域決定部は、前記撮像画像中で前記人物の位置情報に対応する領域を前記注目領域に決定する、請求項１に記載の画像処理装置。
【請求項３】
前記人物の位置情報は、第１の座標変換用データに基づき、前記人物の前記距離画像におけるセンサ座標系の位置情報が変換された３次元座標系の位置情報であり、
前記画像処理装置は、
前記３次元座標系の位置情報と前記撮像画像中の各領域との対応関係を示す第２の座標変換用データを記憶する記憶部をさらに備え、
前記注目領域決定部は、前記第２の座標変換用データに基づき、前記人物の３次元座標系の位置情報に対応する前記撮像画像中の領域を判定して前記注目領域を決定する、請求項２に記載の画像処理装置。
【請求項４】
前記注目領域決定部は、前記注目領域の大きさを、前記人物の３次元座標系の位置情報から推定される前記人物と前記撮像装置との距離に応じて決定する、請求項３に記載の画像処理装置。
【請求項５】
前記画像処理装置は、
前記画像解析部による前記注目領域の解析結果に基づいて前記第１の座標変換用データまたは前記第２の座標変換用データの信頼性を評価する評価部と、
前記評価部により、前記第１の座標変換用データまたは前記第２の座標変換用データの信頼性が損なわれたと評価された場合に異常を通知する通知部と、
をさらに備える、請求項３または４に記載の画像処理装置。
【請求項６】
前記画像処理装置は、
前記第１の座標変換用データまたは前記第２の座標変換用データをキャリブレーションにより取得するキャリブレーション実行部と、
前記キャリブレーション実行部により取得された前記第１の座標変換用データまたは前記第２の座標変換用データを前記画像解析部による前記注目領域の解析結果に基づいて補正するデータ補正部と、
をさらに備える、請求項３〜５のいずれか一項に記載の画像処理装置。
【請求項７】
１つの前記距離画像センサに対して、前記対象空間を異なる方向から撮像する複数の前記撮像装置が配置され、
前記注目領域決定部は、前記複数の撮像装置のうちで、前記人物の顔の向きに存在する撮像装置により取得された撮像画像の注目領域を決定する、請求項２〜６のいずれか一項に記載の画像処理装置。
【請求項８】
前記画像処理装置は、
複数組の前記距離画像センサおよび前記撮像装置と通信する通信部と、
１の前記撮像装置により取得された撮像画像に含まれる人物の解析結果と、他の前記撮像装置により取得された撮像画像に含まれる人物の解析結果とを比較し、双方の撮像画像に含まれる人物の同一性を判断する同一人物判断部をさらに備える、請求項２〜６のいずれか一項に記載の画像処理装置。
【請求項９】
前記画像処理装置は、前記注目領域の周辺領域のデータレートが前記注目領域のデータレートより低くなるように前記撮像画像を圧縮する画像圧縮部をさらに備える、請求項１〜８のいずれか一項に記載の画像処理装置。
【請求項１０】
距離画像センサにより取得される対象空間における各位置の距離が表現された距離画像の解析結果に基づき、前記対象空間を撮像する撮像装置により取得される撮像画像から注目領域を決定するステップと、
前記注目領域を画像解析するステップと、
を含む、画像処理方法。
【請求項１１】
コンピュータを、
距離画像センサにより取得される対象空間における各位置の距離が表現された距離画像の解析結果に基づき、前記対象空間を撮像する撮像装置により取得される撮像画像から注目領域を決定する注目領域決定部と、
前記注目領域決定部により決定された前記注目領域を画像解析する画像解析部と、
として機能させるための、プログラム。
【請求項１２】
対象空間における各位置の距離が表現された距離画像を取得する距離画像センサと、前記対象空間を撮像する撮像装置と、を有する画像処理システムであって、
前記距離画像センサによって取得される前記距離画像を解析する処理、
前記撮像装置により取得される撮像画像から、前記距離画像の解析結果に基づいて注目領域を決定する処理、および、
前記注目領域を画像解析する処理、
を行う、画像処理システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１３−７３４５９（Ｐ２０１３−７３４５９Ａ）
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願番号】特願２０１１−２１２６９１（Ｐ２０１１−２１２６９１）
【出願日】平成２３年９月２８日（２０１１．９．２８）
【出願人】（００００００２９５）沖電気工業株式会社 (6,645)
【Ｆターム（参考）】
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願日】平成２３年９月２８日（２０１１．９．２８）
【出願人】（００００００２９５）沖電気工業株式会社 (6,645)
【Ｆターム（参考）】
[ Back to top ]