位置検出システム、そのデータ処理装置、そのデータ処理方法およびコンピュータプログラム
【課題】対象人物へのマーカーの装着などを必要とすることなく、極近距離でなくとも対象人物の頭部などの三次元位置を特定することができる位置検出システムを提供する。
【解決手段】位置検出システム１００は、取得された測距画像データＤＧと温度画像データＴＧとを関連させて定温物質の三次元位置ＴＰを特定する。このため、対象人物ＨＭへのマーカーの装着などを必要とすることなく、極近距離でなくとも対象人物ＨＭの頭部ＨＵなどの三次元位置ＴＰを特定することができる。
【解決手段】位置検出システム１００は、取得された測距画像データＤＧと温度画像データＴＧとを関連させて定温物質の三次元位置ＴＰを特定する。このため、対象人物ＨＭへのマーカーの装着などを必要とすることなく、極近距離でなくとも対象人物ＨＭの頭部ＨＵなどの三次元位置ＴＰを特定することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、定温物質の三次元位置を特定する位置検出システム、そのデータ処理装置、そのデータ処理方法およびコンピュータプログラム、に関する。
【背景技術】
【０００２】
現在、例えば、美術館での作品説明のアナウンスや、工事現場での危険箇所へのアラート出力などのため、着衣した人物の頭部や手部などの露出部の三次元位置を検出する要望がある。
【０００３】
例えば、信頼性の高い顔画像データを得る提案がある。その技術では、撮像対象者の前方に、対象者に注視させる光源を有する光検出部を設ける。そして、光検出部の赤外線出射部から近赤外線を対象者に照射し、その対象者の網膜からの反射光を赤外線受光素子によって検出する。
【０００４】
その検出信号をサンプリング回路に入力してサンプリング回路にテレビカメラが出力する対象者の横顔画像データを読み込ませる。これにより、対象者が光源を確実に注視しているときの、対象者の横顔データを得ることができる(特許文献１)。
【０００５】
また、マーカレスでリアルタイムに人物の頭部位置を検出できる装置の提案もある。表示手段のキャビネットに取り付けられた赤外線放射手段と、放射手段から発せられる赤外線が人体の頭部に入射し、該頭部で反射した後の反射赤外線を検出する赤外線検出手段と、赤外線検出手段による検出値により、人体頭部の位置を算出する演算手段とからなる。
【０００６】
ここで一つの具体的な構成としては、赤外線放射手段は円弧状に並べて配置された複数個の赤外発光素子であり、素子は所定の周期で順次点灯するとともに、赤外線検出手段は半導体受光素子である(特許文献２)。
【０００７】
さらに、簡潔な構成および処理で、精度良く観察者の位置を検出することができる位置検出システムおよびこれを備えた頭部位置追従型立体表示装置の提案もある。
【０００８】
その技術では、観察者を撮像するＣＣＤカメラと、そのＣＣＤカメラの近傍に配置された赤外光ＬＥＤと、観察者の頭部に装着される反射シートと、ＣＣＤカメラにて撮像された画像に基づいて反射シートが正視領域と逆視領域と第１のクロストーク領域と第２のクロストーク領域のどちらに位置しているかを判断する判断手段とを備えた位置検出システムであって、反射シートが再帰反射部材から構成されている(特許文献３)。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開平０７−３１２７１１号公報
【特許文献２】特開平０８−２７１２２２号公報
【特許文献３】特開２００１−０５６２１２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかし、特許文献１の技術は、対象人物の網膜反射を利用するため、極近距離で対象者が光源を注視しているときしか、頭部位置を検出することができない。
【００１１】
また、特許文献２の技術では、赤外線の反射のみで頭部位置を検出するため、やはり極近距離の対象人物しか検出することができず、赤外線放射手段を円弧状に配列するような必要がある。
【００１２】
さらに、特許文献３の技術では、対象人物の頭部に反射シートを装着する必要があり、反射シートなどのマーカーの装着を忌避する対象人物の検出に適用することは困難である。
【００１３】
本発明は上述のような課題に鑑みてなされたものであり、対象人物へのマーカーの装着などを必要とすることなく、極近距離でなくとも対象人物の頭部などの三次元位置を特定することができる位置検出システム、そのデータ処理装置、そのデータ処理方法およびコンピュータプログラム、を提供するものである。
【課題を解決するための手段】
【００１４】
本発明の位置検出システムは、定温物質の三次元位置を特定する位置検出システムであって、定温物質の存在が予測される位置から所定の単位画素ごとに距離が判定される測距画像データを取得する測距カメラと、定温物質の存在が予測される位置から所定の単位画素ごとに温度が判定される温度画像データを取得するサーモグラフィと、取得された測距画像データと温度画像データとを関連させて定温物質の三次元位置を特定する位置特定手段と、特定された三次元位置を出力する位置出力手段と、を有する。
【００１５】
従って、本発明の位置検出システムでは、定温物質の存在が予測される位置から所定の単位画素ごとに距離が判定される測距画像データを測距カメラが取得する。定温物質の存在が予測される位置から所定の単位画素ごとに温度が判定される温度画像データをサーモグラフィが取得する。取得された測距画像データと温度画像データとを関連させて定温物質の三次元位置を位置特定手段が特定する。特定された三次元位置を位置出力手段が出力する。このため、対象人物へのマーカーの装着などを必要とすることなく、極近距離でなくとも対象人物の頭部などの三次元位置が特定される。
【００１６】
また、上述のような位置検出システムにおいて、測距カメラは、定温物質として人物の存在が予測される位置から測距画像データを取得し、サーモグラフィは、定温物質として人物の存在が予測される位置から温度画像データを取得してもよい。
【００１７】
また、上述のような位置検出システムにおいて、位置特定手段は、温度画像データから着衣した人物の露出部の存在が予測される所定範囲の周辺画像データを抽出してもよい。
【００１８】
また、上述のような位置検出システムにおいて、位置特定手段は、温度画像データから人物の体温に基づいて露出部の存在が予測される周辺画像データを抽出してもよい。
【００１９】
また、上述のような位置検出システムにおいて、位置特定手段は、人物の露出部として頭部の存在が予測される周辺画像データを抽出してもよい。
【００２０】
また、上述のような位置検出システムにおいて、位置特定手段は、抽出された周辺画像データの単位画素ごとに露出部の三次元位置を測距画像データから検出してもよい。
【００２１】
また、上述のような位置検出システムにおいて、位置特定手段は、周辺画像データの単位画素ごとに検出された三次元位置からクラスタリング処理により露出部を特定してもよい。
【００２２】
また、上述のような位置検出システムにおいて、位置特定手段は、周辺画像データの単位画素ごとに検出された三次元位置から距離とサイズと形状との少なくとも一つに基づいて露出部を特定してもよい。
【００２３】
本発明のデータ処理装置は、本発明の位置検出システムのデータ処理装置であって、測距カメラで取得された測距画像データとサーモグラフィで取得された温度画像データとを関連させて定温物質の三次元位置を特定する位置特定手段と、特定された三次元位置を出力する位置出力手段と、を有する。
【００２４】
本発明のデータ処理方法は、本発明のデータ処理装置のデータ処理方法であって、測距カメラで取得された測距画像データとサーモグラフィで取得された温度画像データとを関連させて定温物質の三次元位置を特定する位置特定動作と、特定された三次元位置を出力する位置出力動作と、を有する。
【００２５】
本発明のコンピュータプログラムは、本発明のデータ処理装置のコンピュータプログラムであって、測距カメラで取得された測距画像データとサーモグラフィで取得された温度画像データとを関連させて定温物質の三次元位置を特定する位置特定処理と、特定された三次元位置を出力する位置出力処理と、をデータ処理装置に実行させる。
【００２６】
なお、本発明の各種の構成要素は、その機能を実現するように形成されていればよく、例えば、所定の機能を発揮する専用のハードウェア、所定の機能がコンピュータプログラムにより付与されたデータ処理装置、コンピュータプログラムによりデータ処理装置に実現された所定の機能、これらの任意の組み合わせ、等として実現することができる。
【００２７】
また、本発明の各種の構成要素は、必ずしも個々に独立した存在である必要はなく、複数の構成要素が一個の部材として形成されていること、一つの構成要素が複数の部材で形成されていること、ある構成要素が他の構成要素の一部であること、ある構成要素の一部と他の構成要素の一部とが重複していること、等でもよい。
【００２８】
また、本発明で云う定温物質とは、所定範囲の一定温度を示す物質を意味しており、例えば、人間、恒温動物、ホット飲料を収容したカップ、等を意味している。
【００２９】
また、本発明のコンピュータプログラムおよびデータ処理方法は、複数の処理および動作を順番に記載してあるが、その記載の順番は複数の処理および複数の動作を実行する順番を限定するものではない。
【００３０】
このため、本発明のコンピュータプログラムおよびデータ処理方法を実施するときには、その複数の処理および複数の動作の順番は内容的に支障しない範囲で変更することができる。
【００３１】
さらに、本発明のコンピュータプログラムおよびデータ処理方法は、複数の処理および複数の動作が個々に相違するタイミングで実行されることに限定されない。このため、ある処理および動作の実行中に他の処理および動作が発生すること、ある処理および動作の実行タイミングと他の処理および動作の実行タイミングとの一部ないし全部が重複していること、等でもよい。
【００３２】
また、本発明で云うデータ処理装置は、コンピュータプログラムを読み取って対応する処理動作を実行できるように、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、Ｉ／Ｆ（Interface）ユニット、等の汎用デバイスで構築されたハードウェア、所定の処理動作を実行するように構築された専用の論理回路、これらの組み合わせ、等として実施することができる。
【発明の効果】
【００３３】
本発明の位置検出システムでは、取得された測距画像データと温度画像データとを関連させて定温物質の三次元位置を特定する。このため、対象人物へのマーカーの装着などを必要とすることなく、極近距離でなくとも対象人物の頭部などの三次元位置を特定することができる。従って、例えば、美術館での作品説明のアナウンスや、工事現場での危険箇所へのアラート出力などを簡易に実現することができる。
【図面の簡単な説明】
【００３４】
【図１】本発明の実施の形態の位置検出システムの論理構造を示す模式的なブロック図である。
【図２】位置検出システムで定温物質である人物を撮像する状態を示す模式図である。
【図３】温度画像データと測距画像データを示す模式的な正面図である。
【図４】周辺画像データが抽出された状態を示す模式的な正面図である。
【図５】測距画像データの距離情報を温度画像データに単位画素ごとに対応させる状態を示す模式図である。
【図６】人物の露出部である頭部の三次元位置が検出された状態を示す模式図である。
【図７】位置検出システムによるデータ処理方法を示すフローチャートである。
【図８】各画像データと単位画素との関係を示す模式図である。
【図９】三次元の位置関係を示す模式図である。
【図１０】各カメラと三次元方向との関係を示す模式的な斜視図である。
【発明を実施するための形態】
【００３５】
本発明の実施の一形態を図面を参照して以下に説明する。本実施の形態の位置検出システム１００は、詳細には後述するが、定温物質の三次元位置ＴＰを特定する。
【００３６】
このため、本実施の形態の位置検出システム１００は、図１および図２に示すように、定温物質の存在が予測される位置から所定の単位画素ごとに距離が判定される測距画像データＤＧを取得する測距カメラ１１０と、定温物質の存在が予測される位置から所定の単位画素ごとに温度が判定される温度画像データＴＧを取得するサーモグラフィ１２０と、取得された測距画像データＤＧと温度画像データＴＧとを関連させて定温物質の三次元位置ＴＰを特定する位置特定部１３１と、特定された三次元位置ＴＰを出力する位置出力部１３２と、を有する。
【００３７】
より具体的には、図２に示すように、測距カメラ１１０とサーモグラフィ１２０とは、同等な位置を撮像するように平行に一体化されている。このような測距カメラ１１０とサーモグラフィ１２０とが、コンピュータ装置からなるデータ処理装置１３０に接続されている。
【００３８】
このデータ処理装置１３０は、適切なコンピュータプログラムが実装されており、このコンピュータプログラムに対応して動作することで、上述のような位置特定部１３１と位置出力部１３２とが論理的に実現されている。
【００３９】
このようなコンピュータプログラムは、例えば、測距カメラ１１０で取得された測距画像データＤＧとサーモグラフィ１２０で取得された温度画像データＴＧとを関連させて定温物質の三次元位置ＴＰを特定する位置特定処理と、特定された三次元位置ＴＰを出力する位置出力処理と、をデータ処理装置１３０に実行させるように記述されている。
【００４０】
さらに、本実施の形態の位置検出システム１００では、測距カメラ１１０は、定温物質として人物ＨＭの存在が予測される位置から測距画像データＤＧを取得し、サーモグラフィ１２０は、定温物質として人物ＨＭの存在が予測される位置から温度画像データＴＧを取得する。
【００４１】
また、データ処理装置１３０の位置特定部１３１は、温度画像データＴＧから着衣した人物ＨＭの露出部の存在が予測される所定範囲の周辺画像データＰＧを抽出する。
【００４２】
さらに、位置特定部１３１は、温度画像データＴＧから人物ＨＭの体温に基づいて露出部の存在が予測される周辺画像データＰＧを抽出する。また、位置特定部１３１は、人物ＨＭの露出部として頭部ＨＵの存在が予測される周辺画像データＰＧを抽出する。
【００４３】
また、位置特定部１３１は、抽出された周辺画像データＰＧの単位画素ごとに頭部ＨＵの三次元位置ＴＰを測距画像データＤＧから検出し、周辺画像データＰＧの単位画素ごとに検出された三次元位置ＴＰからクラスタリング処理により頭部ＨＵを特定する。
【００４４】
なお、位置特定部１３１は、周辺画像データＰＧの単位画素ごとに検出された三次元位置ＴＰから距離とサイズと形状との少なくとも一つに基づいて頭部ＨＵを特定する。
【００４５】
上述のような構成において、本実施の形態の位置検出システム１００によるデータ処理方法を以下に説明する。まず、本実施の形態の位置検出システム１００は、例えば、美術館での作品ごとの説明をアナウンスすることなどに利用される。
【００４６】
本実施の形態の位置検出システム１００では、人物ＨＭの頭部ＨＵの三次元位置ＴＰは、カメラの画像上における頭部位置の検出、そして測距カメラ画像のその頭部位置から、頭部ＨＵの三次元位置ＴＰを取得する、という二つの手順によって実現する。
【００４７】
カメラは二種類のカメラを使用する。一つはサーモグラフィ１２０で温度情報を画像化するものである。もう一つは、赤外線カメラの一種で、反射する赤外線の到達時間から各画素に映るものまでの距離をもとめることができる測距カメラ１１０である。
【００４８】
これらのカメラ１１０，１２０によって得られる画像の中から人の頭部を検出する方法は、三種類の方法を複合的に合わせることによって実現する。一つ目の方法は、サーモグラフィ１２０の温度に上限、下限閾値を設け、人の皮膚温度のみを検出し、地面からの高さ等から頭部と認識する方法である。
【００４９】
二つ目は、サーモグラフィ１２０および測距カメラ１１０の赤外線画像を背景差分処理することにより動体を検知し、同様に地面からの高さ等によって頭部を抽出する方法である。
【００５０】
三つ目の方法は、サーモグラフィ１２０および測距カメラ１１０の赤外線画像からエッジを抽出し、画像の特徴部分と予め作成しておいた人物の頭部モデルとを比較して頭部ＨＵの位置を求める方法である。これらの方法を総合的に判断し、画像上の頭部位置を推定する。
【００５１】
画像上の頭部ＨＵの位置が求められたら、その測距カメラ１１０における画素位置から三次元位置ＴＰを求める。三次元位置ＴＰは、頭部ＨＵの画素集合の平均によって求められる。
【００５２】
以下に本実施の形態の位置検出システム１００で利用される各種のデータ処理手法を個々に具体的に説明する。まず、背景差分では、ある程度の数のフレームから平均化された画像を作成する。
【００５３】
それを背景として、新たに得られた画像との差分を求める。画素の値が大きく異なる部分が、移動した物体と認識される。平均化するために使うフレーム数を１とすると、誤差を生みやすいが、反応速度は速くなる。
【００５４】
クラスタリングでは、背景差分や二値化の後には、対象物と思われる画素と、背景と思われる画素に分けられる。対象物と思われる画素を、画素の近さによってグループ化することをクラスタリングと呼ぶ。
【００５５】
この時にできたグループを、クラスタと呼ぶ。一つのグループに属する最小の距離を定義してクラスタリングすると、近くにある画素は一つの塊となる。この処理の後で、所属する画素の数が少ないクラスタは、誤差として無視する。
【００５６】
距離変換では、背景差分や二値化して対象物と思われる画素から、背景部分までの最短距離を求める。その後、背景部分まで距離のある画素のみを抽出すると、その対象物の骨格部分が推定できる。
【００５７】
エッジ抽出では、画像上で変化の大きな部分を抽出する。様々な手法が提案されていて、ＯｐｅｎＣＶ(登録商標)にも複数のアルゴリズムがある。
【００５８】
モデル比較では、予め人物のデータを作成しておき、それと比較することによって、人物であるかどうかを判別する。比較方法には、画像上の人の大きさを考慮せずに単純に比較する方法、ＤＰ(Dynamic Programming)マッチング等で大きさが異なることを考慮して比較する方法、骨格を囲む四角形の縦横比のみを比較する方法などが考えられる。これらは実際に画像を取得して検討しなければいけない。
【００５９】
パーティクルフィルタでは、一人の人物に対して、ｎ個のパーティクルを作成する。その個々のパーティクルが、次の時間のその人の位置を予測することになる。
【００６０】
例えば、最初に人物ＨＭの位置が見つかった場合には、次にどの位置に移動するかは分からないため、個々のパーティクルをランダムウォークさせる。このようなパーティクル群が、画像上で発見された人物ＨＭの数だけ存在することになる（ｎ個×人数）。
【００６１】
そして、次の観測情報が得られた時には、既にあるどのパーティクル群が最も観測情報と整合性が高いか確率的に求め、その結果、一つ前の画像のどの人に対する観測情報かを推定する。
【００６２】
そして、その観測情報で、該当するパーティクル群がリサンプリングされる。パーティクルは、最初はランダムウォークをするが、二度目の観測情報が得られた後には、速度情報も持つようになり、予測精度は上がる。
【００６３】
つぎに、本実施の形態の位置検出システム１００のデータ処理方法を、以下に具体的に説明する。まず、図２に示すように、作品を鑑賞する人物ＨＭの位置を撮像するように、測距カメラ１１０とサーモグラフィ１２０とが設置される。
【００６４】
前述のように、これらの測距カメラ１１０とサーモグラフィ１２０とは、同等な位置を撮像するように平行に一体化されている。そこで、図７に示すように、測距カメラ１１０で測距画像データＤＧが取得されるとともに、サーモグラフィ１２０で温度画像データＴＧが取得される(ステップＳ１)。
【００６５】
このとき、図３(ａ)に示すように、温度画像データＴＧでは、着衣している人物ＨＭの露出部である頭部ＨＵと手部とが所定の高強度に撮像され、着衣の部分は低強度に撮像される。
【００６６】
このとき、何らかの理由で人物ＨＭの周囲に高温の部分があると、それがノイズとして高強度に撮像される。一方、測距画像データＤＧでは、図３(ｂ)に示すように、人物ＨＭの全体が略同位置として撮像される。
【００６７】
つぎに、上述のように撮像された温度画像データＴＧから、通常の体温を中心に上下の閾値で、図４(ａ)に示すように、人物ＨＭの露出部である頭部ＨＵの存在が予測される所定範囲の周辺画像データＰＧが抽出される(ステップＳ２)。
【００６８】
この周辺画像データＰＧは、人物ＨＭの頭部ＨＵに対応した縦長の長方形に設定されており、サーモグラフィ１２０と撮像位置との距離に対応した所定のサイズに設定されている。
【００６９】
すると、図４(ｂ)に示すように、この温度画像データＴＧの周辺画像データＰＧが測距画像データＤＧにも設定される。このとき、実際には温度画像データＴＧと測距画像データＤＧとにサーモグラフィ１２０と測距カメラ１１０の光軸ズレが存在するが、これは無視できる誤差とされる。
【００７０】
つぎに、図５および図６に示すように、上述のように測距画像データＤＧに設定された周辺画像データＰＧの全部の単位画素ごとに、温度画像データＴＧの三次元位置ＴＰが検出される(ステップＳ３)。
【００７１】
つぎに、上述のように温度画像データＴＧの頭部ＨＵの位置に設定された測距画像データＤＧの三次元位置ＴＰをクラスタリングする。このとき、近接する画素をグルーピングするクラスタリング処理によって、下限及び上限閾値内の画素集合（クラスタ）を生成する。
【００７２】
クラスタ群の中から、集合を形成する画素数が少ないものを除く。残ったクラスタを頭部の映像であると認識する。このクラスタリング処理は、画面上の画素を左上の位置から順に調査し、クラスタを形成する対象画素を発見した場合には、その周りの指定距離以内の画素を検索する。
【００７３】
検索の途中で対象画素を発見した場合には、再度その画素の周りを調査する、という再帰的な方法で実現する。同一のクラスタとして認識する画素の距離は、環境に合わせて変更することができる。
【００７４】
図８に示すように、画像上のｘ座標位置(単位画素数)をｘｐ、ｙ座標位置(単位画素数)をｙｐ、とすると、光軸から画像面までの単位画素の相当数はｚｐとなる。
【００７５】
このとき、tan(画角／２)＝(単位画素数／２)／ｚｐとなる。画角は測距カメラ１１０およびサーモグラフィ１２０の撮像できる角度であり、単位画素数は、測距カメラ１１０およびサーモグラフィ１２０の撮像できる単位画素の個数である。
【００７６】
そして、
tan(水平角度)＝ｘｐ／ｚｐ
tan(垂直角度)＝ｙｐ／ｚｐ
である。
【００７７】
なお、角度と三次元位置の関係は、図９に示すように、
tan(水平角度)＝ｚ／ｘ
tan(垂直角度)＝ｚ／ｙ
である。
【００７８】
図１０に示すように、測距カメラ１１０に三次元方向を設定すると、測距カメラ１１０とサーモグラフィ１２０との座標系は、Ｔｔをサーモグラフィ１２０の座標系として、以下の数１に示すように、四次元の行列の乗算で表される同次変換で表される。
【００７９】
【数１】
なお、上述のｘｔ，ｙｔ，ｚｔは、Ｔｄ上のサーモグラフィ１２０の位置を示す。前述のように測距カメラ１１０およびサーモグラフィ１２０の光軸は平行としている。
【００８０】
さらに、測距カメラ１１０の任意の単位画素の三次元位置を、
Ｐｄ＝[ｘｄ ｙｄ ｚｄ ｌ]Ｔ
としたとき、その単位画素が温度画像データＴＧの単位画素(ｘｐ，ｙｐ)に撮像されるかは、以下のにようにして求めることができる。
【００８１】
【数２】
なお、Ｔ−１はＴの逆行列を示す。
【００８２】
また、画角は測距カメラ１１０およびサーモグラフィ１２０の撮像できる角度、ピクセル数は測距画像データＤＧおよび温度画像データＴＧの単位画素の個数である。
【００８３】
上述のようなクラスタリング処理により、前述のような体温と同等なノイズが排除され、図７に示すように、頭部ＨＵの三次元位置ＴＰが特定されることになる(ステップＳ４)。
【００８４】
このように特定された頭部ＨＵの三次元位置ＴＰが出力されるので(ステップＳ５)、例えば、美術館において人物ＨＭが作品を鑑賞する位置にいるかが判定され、この判定により説明のアナウンスなどが実行される。
【００８５】
さらに、位置特定部１３１は、温度画像データＴＧから人物ＨＭの体温に基づいて露出部の存在が予測される周辺画像データＰＧを抽出する。また、位置特定部１３１は、人物ＨＭの露出部として頭部ＨＵの存在が予測される周辺画像データＰＧを抽出する。
【００８６】
また、位置特定部１３１は、抽出された周辺画像データＰＧの単位画素ごとに頭部ＨＵの三次元位置ＴＰを測距画像データＤＧから検出し、周辺画像データＰＧの単位画素ごとに検出された三次元位置ＴＰからクラスタリング処理により頭部ＨＵを特定する。
【００８７】
なお、位置特定部１３１は、周辺画像データＰＧの単位画素ごとに検出された三次元位置ＴＰから距離とサイズと形状との少なくとも一つに基づいて頭部ＨＵを特定する。
【００８８】
本実施の形態の位置検出システム１００では、取得された測距画像データＤＧと温度画像データＴＧとを関連させて定温物質の三次元位置ＴＰを特定する。
【００８９】
このため、対象人物ＨＭへのマーカーの装着などを必要とすることなく、極近距離でなくとも対象人物ＨＭの頭部ＨＵなどの三次元位置ＴＰを特定することができる。従って、例えば、美術館での作品説明のアナウンスや、工事現場での危険箇所へのアラート出力などを簡易に実現することができる。
【００９０】
なお、本発明は本実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で各種の変形を許容する。例えば、上記形態では着衣の人物ＨＭの頭部ＨＵを検出することを例示した。
【００９１】
しかし、上記形態の位置検出システム１００で、着衣の人物ＨＭの手部を検出するようなこともでき、プールサイドなどで着衣していない人物ＨＭの略全身を検出するようなこともできる。
【００９２】
また、上記形態では定温物質として人物ＨＭを検出することを例示したが、例えば、動物園や牧場などにおいて、哺乳類や鳥類などを検出することもでき、休憩所などにおいて、ホット飲料を収容したカップ等を検出することもできる(図示せず)。
【００９３】
さらに、本実施の形態ではデータ処理装置１３０の各部１３１，１３２がコンピュータプログラムにより各種機能として論理的に実現されることを例示した。
【００９４】
しかし、このような各部１３１，１３２の各々を固有のハードウェアとして形成することもでき、ソフトウェアとハードウェアとの組み合わせとして実現することもできる。
【００９５】
また、前述した各種のデータ処理手法を駆使しても十分な精度が望めない場合、個々の手法を機械学習手法によって統合してもよい。例えば、背景差分して得られた認識結果と、二値化して得られた認識結果を、途中の計算結果も含めて機械学習の入力情報とし、それが人物であるかどうかを出力するものを作成する。
【００９６】
機械学習手法は、教師あり学習手法（Classification）を用いる。具体的には、ＳＶＭ(Support Vector Machine)、ナイーブベイズ、ニューラルネットワークなどが考えられる。
【００９７】
さらに、ＯｐｅｎＣＶに収録されている顔認識を利用することも検討する。サーモグラフィによる熱画像の場合には顔認識は恐らく動作しないと思われるが、測距カメラの赤外線画像の場合には、可能性があると思われる。
【００９８】
なお、当然ながら、上述した実施の形態および複数の変形例は、その内容が相反しない範囲で組み合わせることができる。また、上述した実施の形態および変形例では、各部の構造などを具体的に説明したが、その構造などは本願発明を満足する範囲で各種に変更することができる。
【符号の説明】
【００９９】
１００ 位置検出システム
１１０ 測距カメラ
１２０ サーモグラフィ
１３０ データ処理装置
１３１ 位置特定部
１３２ 位置出力部
ＤＧ 測距画像データ
ＨＭ 人物
ＨＵ 頭部
ＰＧ 周辺画像データ
ＴＧ 温度画像データ
ＴＰ 三次元位置
【技術分野】
【０００１】
本発明は、定温物質の三次元位置を特定する位置検出システム、そのデータ処理装置、そのデータ処理方法およびコンピュータプログラム、に関する。
【背景技術】
【０００２】
現在、例えば、美術館での作品説明のアナウンスや、工事現場での危険箇所へのアラート出力などのため、着衣した人物の頭部や手部などの露出部の三次元位置を検出する要望がある。
【０００３】
例えば、信頼性の高い顔画像データを得る提案がある。その技術では、撮像対象者の前方に、対象者に注視させる光源を有する光検出部を設ける。そして、光検出部の赤外線出射部から近赤外線を対象者に照射し、その対象者の網膜からの反射光を赤外線受光素子によって検出する。
【０００４】
その検出信号をサンプリング回路に入力してサンプリング回路にテレビカメラが出力する対象者の横顔画像データを読み込ませる。これにより、対象者が光源を確実に注視しているときの、対象者の横顔データを得ることができる(特許文献１)。
【０００５】
また、マーカレスでリアルタイムに人物の頭部位置を検出できる装置の提案もある。表示手段のキャビネットに取り付けられた赤外線放射手段と、放射手段から発せられる赤外線が人体の頭部に入射し、該頭部で反射した後の反射赤外線を検出する赤外線検出手段と、赤外線検出手段による検出値により、人体頭部の位置を算出する演算手段とからなる。
【０００６】
ここで一つの具体的な構成としては、赤外線放射手段は円弧状に並べて配置された複数個の赤外発光素子であり、素子は所定の周期で順次点灯するとともに、赤外線検出手段は半導体受光素子である(特許文献２)。
【０００７】
さらに、簡潔な構成および処理で、精度良く観察者の位置を検出することができる位置検出システムおよびこれを備えた頭部位置追従型立体表示装置の提案もある。
【０００８】
その技術では、観察者を撮像するＣＣＤカメラと、そのＣＣＤカメラの近傍に配置された赤外光ＬＥＤと、観察者の頭部に装着される反射シートと、ＣＣＤカメラにて撮像された画像に基づいて反射シートが正視領域と逆視領域と第１のクロストーク領域と第２のクロストーク領域のどちらに位置しているかを判断する判断手段とを備えた位置検出システムであって、反射シートが再帰反射部材から構成されている(特許文献３)。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開平０７−３１２７１１号公報
【特許文献２】特開平０８−２７１２２２号公報
【特許文献３】特開２００１−０５６２１２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかし、特許文献１の技術は、対象人物の網膜反射を利用するため、極近距離で対象者が光源を注視しているときしか、頭部位置を検出することができない。
【００１１】
また、特許文献２の技術では、赤外線の反射のみで頭部位置を検出するため、やはり極近距離の対象人物しか検出することができず、赤外線放射手段を円弧状に配列するような必要がある。
【００１２】
さらに、特許文献３の技術では、対象人物の頭部に反射シートを装着する必要があり、反射シートなどのマーカーの装着を忌避する対象人物の検出に適用することは困難である。
【００１３】
本発明は上述のような課題に鑑みてなされたものであり、対象人物へのマーカーの装着などを必要とすることなく、極近距離でなくとも対象人物の頭部などの三次元位置を特定することができる位置検出システム、そのデータ処理装置、そのデータ処理方法およびコンピュータプログラム、を提供するものである。
【課題を解決するための手段】
【００１４】
本発明の位置検出システムは、定温物質の三次元位置を特定する位置検出システムであって、定温物質の存在が予測される位置から所定の単位画素ごとに距離が判定される測距画像データを取得する測距カメラと、定温物質の存在が予測される位置から所定の単位画素ごとに温度が判定される温度画像データを取得するサーモグラフィと、取得された測距画像データと温度画像データとを関連させて定温物質の三次元位置を特定する位置特定手段と、特定された三次元位置を出力する位置出力手段と、を有する。
【００１５】
従って、本発明の位置検出システムでは、定温物質の存在が予測される位置から所定の単位画素ごとに距離が判定される測距画像データを測距カメラが取得する。定温物質の存在が予測される位置から所定の単位画素ごとに温度が判定される温度画像データをサーモグラフィが取得する。取得された測距画像データと温度画像データとを関連させて定温物質の三次元位置を位置特定手段が特定する。特定された三次元位置を位置出力手段が出力する。このため、対象人物へのマーカーの装着などを必要とすることなく、極近距離でなくとも対象人物の頭部などの三次元位置が特定される。
【００１６】
また、上述のような位置検出システムにおいて、測距カメラは、定温物質として人物の存在が予測される位置から測距画像データを取得し、サーモグラフィは、定温物質として人物の存在が予測される位置から温度画像データを取得してもよい。
【００１７】
また、上述のような位置検出システムにおいて、位置特定手段は、温度画像データから着衣した人物の露出部の存在が予測される所定範囲の周辺画像データを抽出してもよい。
【００１８】
また、上述のような位置検出システムにおいて、位置特定手段は、温度画像データから人物の体温に基づいて露出部の存在が予測される周辺画像データを抽出してもよい。
【００１９】
また、上述のような位置検出システムにおいて、位置特定手段は、人物の露出部として頭部の存在が予測される周辺画像データを抽出してもよい。
【００２０】
また、上述のような位置検出システムにおいて、位置特定手段は、抽出された周辺画像データの単位画素ごとに露出部の三次元位置を測距画像データから検出してもよい。
【００２１】
また、上述のような位置検出システムにおいて、位置特定手段は、周辺画像データの単位画素ごとに検出された三次元位置からクラスタリング処理により露出部を特定してもよい。
【００２２】
また、上述のような位置検出システムにおいて、位置特定手段は、周辺画像データの単位画素ごとに検出された三次元位置から距離とサイズと形状との少なくとも一つに基づいて露出部を特定してもよい。
【００２３】
本発明のデータ処理装置は、本発明の位置検出システムのデータ処理装置であって、測距カメラで取得された測距画像データとサーモグラフィで取得された温度画像データとを関連させて定温物質の三次元位置を特定する位置特定手段と、特定された三次元位置を出力する位置出力手段と、を有する。
【００２４】
本発明のデータ処理方法は、本発明のデータ処理装置のデータ処理方法であって、測距カメラで取得された測距画像データとサーモグラフィで取得された温度画像データとを関連させて定温物質の三次元位置を特定する位置特定動作と、特定された三次元位置を出力する位置出力動作と、を有する。
【００２５】
本発明のコンピュータプログラムは、本発明のデータ処理装置のコンピュータプログラムであって、測距カメラで取得された測距画像データとサーモグラフィで取得された温度画像データとを関連させて定温物質の三次元位置を特定する位置特定処理と、特定された三次元位置を出力する位置出力処理と、をデータ処理装置に実行させる。
【００２６】
なお、本発明の各種の構成要素は、その機能を実現するように形成されていればよく、例えば、所定の機能を発揮する専用のハードウェア、所定の機能がコンピュータプログラムにより付与されたデータ処理装置、コンピュータプログラムによりデータ処理装置に実現された所定の機能、これらの任意の組み合わせ、等として実現することができる。
【００２７】
また、本発明の各種の構成要素は、必ずしも個々に独立した存在である必要はなく、複数の構成要素が一個の部材として形成されていること、一つの構成要素が複数の部材で形成されていること、ある構成要素が他の構成要素の一部であること、ある構成要素の一部と他の構成要素の一部とが重複していること、等でもよい。
【００２８】
また、本発明で云う定温物質とは、所定範囲の一定温度を示す物質を意味しており、例えば、人間、恒温動物、ホット飲料を収容したカップ、等を意味している。
【００２９】
また、本発明のコンピュータプログラムおよびデータ処理方法は、複数の処理および動作を順番に記載してあるが、その記載の順番は複数の処理および複数の動作を実行する順番を限定するものではない。
【００３０】
このため、本発明のコンピュータプログラムおよびデータ処理方法を実施するときには、その複数の処理および複数の動作の順番は内容的に支障しない範囲で変更することができる。
【００３１】
さらに、本発明のコンピュータプログラムおよびデータ処理方法は、複数の処理および複数の動作が個々に相違するタイミングで実行されることに限定されない。このため、ある処理および動作の実行中に他の処理および動作が発生すること、ある処理および動作の実行タイミングと他の処理および動作の実行タイミングとの一部ないし全部が重複していること、等でもよい。
【００３２】
また、本発明で云うデータ処理装置は、コンピュータプログラムを読み取って対応する処理動作を実行できるように、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、Ｉ／Ｆ（Interface）ユニット、等の汎用デバイスで構築されたハードウェア、所定の処理動作を実行するように構築された専用の論理回路、これらの組み合わせ、等として実施することができる。
【発明の効果】
【００３３】
本発明の位置検出システムでは、取得された測距画像データと温度画像データとを関連させて定温物質の三次元位置を特定する。このため、対象人物へのマーカーの装着などを必要とすることなく、極近距離でなくとも対象人物の頭部などの三次元位置を特定することができる。従って、例えば、美術館での作品説明のアナウンスや、工事現場での危険箇所へのアラート出力などを簡易に実現することができる。
【図面の簡単な説明】
【００３４】
【図１】本発明の実施の形態の位置検出システムの論理構造を示す模式的なブロック図である。
【図２】位置検出システムで定温物質である人物を撮像する状態を示す模式図である。
【図３】温度画像データと測距画像データを示す模式的な正面図である。
【図４】周辺画像データが抽出された状態を示す模式的な正面図である。
【図５】測距画像データの距離情報を温度画像データに単位画素ごとに対応させる状態を示す模式図である。
【図６】人物の露出部である頭部の三次元位置が検出された状態を示す模式図である。
【図７】位置検出システムによるデータ処理方法を示すフローチャートである。
【図８】各画像データと単位画素との関係を示す模式図である。
【図９】三次元の位置関係を示す模式図である。
【図１０】各カメラと三次元方向との関係を示す模式的な斜視図である。
【発明を実施するための形態】
【００３５】
本発明の実施の一形態を図面を参照して以下に説明する。本実施の形態の位置検出システム１００は、詳細には後述するが、定温物質の三次元位置ＴＰを特定する。
【００３６】
このため、本実施の形態の位置検出システム１００は、図１および図２に示すように、定温物質の存在が予測される位置から所定の単位画素ごとに距離が判定される測距画像データＤＧを取得する測距カメラ１１０と、定温物質の存在が予測される位置から所定の単位画素ごとに温度が判定される温度画像データＴＧを取得するサーモグラフィ１２０と、取得された測距画像データＤＧと温度画像データＴＧとを関連させて定温物質の三次元位置ＴＰを特定する位置特定部１３１と、特定された三次元位置ＴＰを出力する位置出力部１３２と、を有する。
【００３７】
より具体的には、図２に示すように、測距カメラ１１０とサーモグラフィ１２０とは、同等な位置を撮像するように平行に一体化されている。このような測距カメラ１１０とサーモグラフィ１２０とが、コンピュータ装置からなるデータ処理装置１３０に接続されている。
【００３８】
このデータ処理装置１３０は、適切なコンピュータプログラムが実装されており、このコンピュータプログラムに対応して動作することで、上述のような位置特定部１３１と位置出力部１３２とが論理的に実現されている。
【００３９】
このようなコンピュータプログラムは、例えば、測距カメラ１１０で取得された測距画像データＤＧとサーモグラフィ１２０で取得された温度画像データＴＧとを関連させて定温物質の三次元位置ＴＰを特定する位置特定処理と、特定された三次元位置ＴＰを出力する位置出力処理と、をデータ処理装置１３０に実行させるように記述されている。
【００４０】
さらに、本実施の形態の位置検出システム１００では、測距カメラ１１０は、定温物質として人物ＨＭの存在が予測される位置から測距画像データＤＧを取得し、サーモグラフィ１２０は、定温物質として人物ＨＭの存在が予測される位置から温度画像データＴＧを取得する。
【００４１】
また、データ処理装置１３０の位置特定部１３１は、温度画像データＴＧから着衣した人物ＨＭの露出部の存在が予測される所定範囲の周辺画像データＰＧを抽出する。
【００４２】
さらに、位置特定部１３１は、温度画像データＴＧから人物ＨＭの体温に基づいて露出部の存在が予測される周辺画像データＰＧを抽出する。また、位置特定部１３１は、人物ＨＭの露出部として頭部ＨＵの存在が予測される周辺画像データＰＧを抽出する。
【００４３】
また、位置特定部１３１は、抽出された周辺画像データＰＧの単位画素ごとに頭部ＨＵの三次元位置ＴＰを測距画像データＤＧから検出し、周辺画像データＰＧの単位画素ごとに検出された三次元位置ＴＰからクラスタリング処理により頭部ＨＵを特定する。
【００４４】
なお、位置特定部１３１は、周辺画像データＰＧの単位画素ごとに検出された三次元位置ＴＰから距離とサイズと形状との少なくとも一つに基づいて頭部ＨＵを特定する。
【００４５】
上述のような構成において、本実施の形態の位置検出システム１００によるデータ処理方法を以下に説明する。まず、本実施の形態の位置検出システム１００は、例えば、美術館での作品ごとの説明をアナウンスすることなどに利用される。
【００４６】
本実施の形態の位置検出システム１００では、人物ＨＭの頭部ＨＵの三次元位置ＴＰは、カメラの画像上における頭部位置の検出、そして測距カメラ画像のその頭部位置から、頭部ＨＵの三次元位置ＴＰを取得する、という二つの手順によって実現する。
【００４７】
カメラは二種類のカメラを使用する。一つはサーモグラフィ１２０で温度情報を画像化するものである。もう一つは、赤外線カメラの一種で、反射する赤外線の到達時間から各画素に映るものまでの距離をもとめることができる測距カメラ１１０である。
【００４８】
これらのカメラ１１０，１２０によって得られる画像の中から人の頭部を検出する方法は、三種類の方法を複合的に合わせることによって実現する。一つ目の方法は、サーモグラフィ１２０の温度に上限、下限閾値を設け、人の皮膚温度のみを検出し、地面からの高さ等から頭部と認識する方法である。
【００４９】
二つ目は、サーモグラフィ１２０および測距カメラ１１０の赤外線画像を背景差分処理することにより動体を検知し、同様に地面からの高さ等によって頭部を抽出する方法である。
【００５０】
三つ目の方法は、サーモグラフィ１２０および測距カメラ１１０の赤外線画像からエッジを抽出し、画像の特徴部分と予め作成しておいた人物の頭部モデルとを比較して頭部ＨＵの位置を求める方法である。これらの方法を総合的に判断し、画像上の頭部位置を推定する。
【００５１】
画像上の頭部ＨＵの位置が求められたら、その測距カメラ１１０における画素位置から三次元位置ＴＰを求める。三次元位置ＴＰは、頭部ＨＵの画素集合の平均によって求められる。
【００５２】
以下に本実施の形態の位置検出システム１００で利用される各種のデータ処理手法を個々に具体的に説明する。まず、背景差分では、ある程度の数のフレームから平均化された画像を作成する。
【００５３】
それを背景として、新たに得られた画像との差分を求める。画素の値が大きく異なる部分が、移動した物体と認識される。平均化するために使うフレーム数を１とすると、誤差を生みやすいが、反応速度は速くなる。
【００５４】
クラスタリングでは、背景差分や二値化の後には、対象物と思われる画素と、背景と思われる画素に分けられる。対象物と思われる画素を、画素の近さによってグループ化することをクラスタリングと呼ぶ。
【００５５】
この時にできたグループを、クラスタと呼ぶ。一つのグループに属する最小の距離を定義してクラスタリングすると、近くにある画素は一つの塊となる。この処理の後で、所属する画素の数が少ないクラスタは、誤差として無視する。
【００５６】
距離変換では、背景差分や二値化して対象物と思われる画素から、背景部分までの最短距離を求める。その後、背景部分まで距離のある画素のみを抽出すると、その対象物の骨格部分が推定できる。
【００５７】
エッジ抽出では、画像上で変化の大きな部分を抽出する。様々な手法が提案されていて、ＯｐｅｎＣＶ(登録商標)にも複数のアルゴリズムがある。
【００５８】
モデル比較では、予め人物のデータを作成しておき、それと比較することによって、人物であるかどうかを判別する。比較方法には、画像上の人の大きさを考慮せずに単純に比較する方法、ＤＰ(Dynamic Programming)マッチング等で大きさが異なることを考慮して比較する方法、骨格を囲む四角形の縦横比のみを比較する方法などが考えられる。これらは実際に画像を取得して検討しなければいけない。
【００５９】
パーティクルフィルタでは、一人の人物に対して、ｎ個のパーティクルを作成する。その個々のパーティクルが、次の時間のその人の位置を予測することになる。
【００６０】
例えば、最初に人物ＨＭの位置が見つかった場合には、次にどの位置に移動するかは分からないため、個々のパーティクルをランダムウォークさせる。このようなパーティクル群が、画像上で発見された人物ＨＭの数だけ存在することになる（ｎ個×人数）。
【００６１】
そして、次の観測情報が得られた時には、既にあるどのパーティクル群が最も観測情報と整合性が高いか確率的に求め、その結果、一つ前の画像のどの人に対する観測情報かを推定する。
【００６２】
そして、その観測情報で、該当するパーティクル群がリサンプリングされる。パーティクルは、最初はランダムウォークをするが、二度目の観測情報が得られた後には、速度情報も持つようになり、予測精度は上がる。
【００６３】
つぎに、本実施の形態の位置検出システム１００のデータ処理方法を、以下に具体的に説明する。まず、図２に示すように、作品を鑑賞する人物ＨＭの位置を撮像するように、測距カメラ１１０とサーモグラフィ１２０とが設置される。
【００６４】
前述のように、これらの測距カメラ１１０とサーモグラフィ１２０とは、同等な位置を撮像するように平行に一体化されている。そこで、図７に示すように、測距カメラ１１０で測距画像データＤＧが取得されるとともに、サーモグラフィ１２０で温度画像データＴＧが取得される(ステップＳ１)。
【００６５】
このとき、図３(ａ)に示すように、温度画像データＴＧでは、着衣している人物ＨＭの露出部である頭部ＨＵと手部とが所定の高強度に撮像され、着衣の部分は低強度に撮像される。
【００６６】
このとき、何らかの理由で人物ＨＭの周囲に高温の部分があると、それがノイズとして高強度に撮像される。一方、測距画像データＤＧでは、図３(ｂ)に示すように、人物ＨＭの全体が略同位置として撮像される。
【００６７】
つぎに、上述のように撮像された温度画像データＴＧから、通常の体温を中心に上下の閾値で、図４(ａ)に示すように、人物ＨＭの露出部である頭部ＨＵの存在が予測される所定範囲の周辺画像データＰＧが抽出される(ステップＳ２)。
【００６８】
この周辺画像データＰＧは、人物ＨＭの頭部ＨＵに対応した縦長の長方形に設定されており、サーモグラフィ１２０と撮像位置との距離に対応した所定のサイズに設定されている。
【００６９】
すると、図４(ｂ)に示すように、この温度画像データＴＧの周辺画像データＰＧが測距画像データＤＧにも設定される。このとき、実際には温度画像データＴＧと測距画像データＤＧとにサーモグラフィ１２０と測距カメラ１１０の光軸ズレが存在するが、これは無視できる誤差とされる。
【００７０】
つぎに、図５および図６に示すように、上述のように測距画像データＤＧに設定された周辺画像データＰＧの全部の単位画素ごとに、温度画像データＴＧの三次元位置ＴＰが検出される(ステップＳ３)。
【００７１】
つぎに、上述のように温度画像データＴＧの頭部ＨＵの位置に設定された測距画像データＤＧの三次元位置ＴＰをクラスタリングする。このとき、近接する画素をグルーピングするクラスタリング処理によって、下限及び上限閾値内の画素集合（クラスタ）を生成する。
【００７２】
クラスタ群の中から、集合を形成する画素数が少ないものを除く。残ったクラスタを頭部の映像であると認識する。このクラスタリング処理は、画面上の画素を左上の位置から順に調査し、クラスタを形成する対象画素を発見した場合には、その周りの指定距離以内の画素を検索する。
【００７３】
検索の途中で対象画素を発見した場合には、再度その画素の周りを調査する、という再帰的な方法で実現する。同一のクラスタとして認識する画素の距離は、環境に合わせて変更することができる。
【００７４】
図８に示すように、画像上のｘ座標位置(単位画素数)をｘｐ、ｙ座標位置(単位画素数)をｙｐ、とすると、光軸から画像面までの単位画素の相当数はｚｐとなる。
【００７５】
このとき、tan(画角／２)＝(単位画素数／２)／ｚｐとなる。画角は測距カメラ１１０およびサーモグラフィ１２０の撮像できる角度であり、単位画素数は、測距カメラ１１０およびサーモグラフィ１２０の撮像できる単位画素の個数である。
【００７６】
そして、
tan(水平角度)＝ｘｐ／ｚｐ
tan(垂直角度)＝ｙｐ／ｚｐ
である。
【００７７】
なお、角度と三次元位置の関係は、図９に示すように、
tan(水平角度)＝ｚ／ｘ
tan(垂直角度)＝ｚ／ｙ
である。
【００７８】
図１０に示すように、測距カメラ１１０に三次元方向を設定すると、測距カメラ１１０とサーモグラフィ１２０との座標系は、Ｔｔをサーモグラフィ１２０の座標系として、以下の数１に示すように、四次元の行列の乗算で表される同次変換で表される。
【００７９】
【数１】
なお、上述のｘｔ，ｙｔ，ｚｔは、Ｔｄ上のサーモグラフィ１２０の位置を示す。前述のように測距カメラ１１０およびサーモグラフィ１２０の光軸は平行としている。
【００８０】
さらに、測距カメラ１１０の任意の単位画素の三次元位置を、
Ｐｄ＝[ｘｄ ｙｄ ｚｄ ｌ]Ｔ
としたとき、その単位画素が温度画像データＴＧの単位画素(ｘｐ，ｙｐ)に撮像されるかは、以下のにようにして求めることができる。
【００８１】
【数２】
なお、Ｔ−１はＴの逆行列を示す。
【００８２】
また、画角は測距カメラ１１０およびサーモグラフィ１２０の撮像できる角度、ピクセル数は測距画像データＤＧおよび温度画像データＴＧの単位画素の個数である。
【００８３】
上述のようなクラスタリング処理により、前述のような体温と同等なノイズが排除され、図７に示すように、頭部ＨＵの三次元位置ＴＰが特定されることになる(ステップＳ４)。
【００８４】
このように特定された頭部ＨＵの三次元位置ＴＰが出力されるので(ステップＳ５)、例えば、美術館において人物ＨＭが作品を鑑賞する位置にいるかが判定され、この判定により説明のアナウンスなどが実行される。
【００８５】
さらに、位置特定部１３１は、温度画像データＴＧから人物ＨＭの体温に基づいて露出部の存在が予測される周辺画像データＰＧを抽出する。また、位置特定部１３１は、人物ＨＭの露出部として頭部ＨＵの存在が予測される周辺画像データＰＧを抽出する。
【００８６】
また、位置特定部１３１は、抽出された周辺画像データＰＧの単位画素ごとに頭部ＨＵの三次元位置ＴＰを測距画像データＤＧから検出し、周辺画像データＰＧの単位画素ごとに検出された三次元位置ＴＰからクラスタリング処理により頭部ＨＵを特定する。
【００８７】
なお、位置特定部１３１は、周辺画像データＰＧの単位画素ごとに検出された三次元位置ＴＰから距離とサイズと形状との少なくとも一つに基づいて頭部ＨＵを特定する。
【００８８】
本実施の形態の位置検出システム１００では、取得された測距画像データＤＧと温度画像データＴＧとを関連させて定温物質の三次元位置ＴＰを特定する。
【００８９】
このため、対象人物ＨＭへのマーカーの装着などを必要とすることなく、極近距離でなくとも対象人物ＨＭの頭部ＨＵなどの三次元位置ＴＰを特定することができる。従って、例えば、美術館での作品説明のアナウンスや、工事現場での危険箇所へのアラート出力などを簡易に実現することができる。
【００９０】
なお、本発明は本実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で各種の変形を許容する。例えば、上記形態では着衣の人物ＨＭの頭部ＨＵを検出することを例示した。
【００９１】
しかし、上記形態の位置検出システム１００で、着衣の人物ＨＭの手部を検出するようなこともでき、プールサイドなどで着衣していない人物ＨＭの略全身を検出するようなこともできる。
【００９２】
また、上記形態では定温物質として人物ＨＭを検出することを例示したが、例えば、動物園や牧場などにおいて、哺乳類や鳥類などを検出することもでき、休憩所などにおいて、ホット飲料を収容したカップ等を検出することもできる(図示せず)。
【００９３】
さらに、本実施の形態ではデータ処理装置１３０の各部１３１，１３２がコンピュータプログラムにより各種機能として論理的に実現されることを例示した。
【００９４】
しかし、このような各部１３１，１３２の各々を固有のハードウェアとして形成することもでき、ソフトウェアとハードウェアとの組み合わせとして実現することもできる。
【００９５】
また、前述した各種のデータ処理手法を駆使しても十分な精度が望めない場合、個々の手法を機械学習手法によって統合してもよい。例えば、背景差分して得られた認識結果と、二値化して得られた認識結果を、途中の計算結果も含めて機械学習の入力情報とし、それが人物であるかどうかを出力するものを作成する。
【００９６】
機械学習手法は、教師あり学習手法（Classification）を用いる。具体的には、ＳＶＭ(Support Vector Machine)、ナイーブベイズ、ニューラルネットワークなどが考えられる。
【００９７】
さらに、ＯｐｅｎＣＶに収録されている顔認識を利用することも検討する。サーモグラフィによる熱画像の場合には顔認識は恐らく動作しないと思われるが、測距カメラの赤外線画像の場合には、可能性があると思われる。
【００９８】
なお、当然ながら、上述した実施の形態および複数の変形例は、その内容が相反しない範囲で組み合わせることができる。また、上述した実施の形態および変形例では、各部の構造などを具体的に説明したが、その構造などは本願発明を満足する範囲で各種に変更することができる。
【符号の説明】
【００９９】
１００ 位置検出システム
１１０ 測距カメラ
１２０ サーモグラフィ
１３０ データ処理装置
１３１ 位置特定部
１３２ 位置出力部
ＤＧ 測距画像データ
ＨＭ 人物
ＨＵ 頭部
ＰＧ 周辺画像データ
ＴＧ 温度画像データ
ＴＰ 三次元位置
【特許請求の範囲】
【請求項１】
定温物質の三次元位置を特定する位置検出システムであって、
前記定温物質の存在が予測される位置から所定の単位画素ごとに距離が判定される測距画像データを取得する測距カメラと、
前記定温物質の存在が予測される前記位置から所定の単位画素ごとに温度が判定される温度画像データを取得するサーモグラフィと、
取得された前記測距画像データと前記温度画像データとを関連させて前記定温物質の三次元位置を特定する位置特定手段と、
特定された前記三次元位置を出力する位置出力手段と、
を有する位置検出システム。
【請求項２】
前記測距カメラは、前記定温物質として人物の存在が予測される位置から前記測距画像データを取得し、
前記サーモグラフィは、前記定温物質として人物の存在が予測される位置から前記温度画像データを取得する請求項１に記載の位置検出システム。
【請求項３】
前記位置特定手段は、前記温度画像データから着衣した前記人物の露出部の存在が予測される所定範囲の周辺画像データを抽出する請求項１または２に記載の位置検出システム。
【請求項４】
前記位置特定手段は、前記温度画像データから前記人物の体温に基づいて前記露出部の存在が予測される前記周辺画像データを抽出する請求項３に記載の位置検出システム。
【請求項５】
前記位置特定手段は、前記人物の前記露出部として頭部の存在が予測される前記周辺画像データを抽出する請求項３または４に記載の位置検出システム。
【請求項６】
前記位置特定手段は、検出された前記周辺画像データの前記単位画素ごとに前記露出部の前記三次元位置を前記測距画像データから検出する請求項３ないし５の何れか一項に記載の位置検出システム。
【請求項７】
前記位置特定手段は、前記周辺画像データの前記単位画素ごとに検出された前記三次元位置からクラスタリング処理により前記露出部を特定する請求項６に記載の位置検出システム。
【請求項８】
前記位置特定手段は、前記周辺画像データの前記単位画素ごとに検出された前記三次元位置から距離とサイズと形状との少なくとも一つに基づいて前記露出部を特定する請求項７に記載の位置検出システム。
【請求項９】
請求項１ないし８の何れか一項に記載の位置検出システムのデータ処理装置であって、
前記測距カメラで取得された前記測距画像データと前記サーモグラフィで取得された前記温度画像データとを関連させて前記定温物質の三次元位置を特定する位置特定手段と、
特定された前記三次元位置を出力する位置出力手段と、
を有するデータ処理装置。
【請求項１０】
請求項９に記載のデータ処理装置のデータ処理方法であって、
前記測距カメラで取得された前記測距画像データと前記サーモグラフィで取得された前記温度画像データとを関連させて前記定温物質の三次元位置を特定する位置特定動作と、
特定された前記三次元位置を出力する位置出力動作と、
を有するデータ処理方法。
【請求項１１】
請求項９に記載のデータ処理装置のコンピュータプログラムであって、
前記測距カメラで取得された前記測距画像データと前記サーモグラフィで取得された前記温度画像データとを関連させて前記定温物質の三次元位置を特定する位置特定処理と、
特定された前記三次元位置を出力する位置出力処理と、
を前記データ処理装置に実行させるコンピュータプログラム。
【請求項１】
定温物質の三次元位置を特定する位置検出システムであって、
前記定温物質の存在が予測される位置から所定の単位画素ごとに距離が判定される測距画像データを取得する測距カメラと、
前記定温物質の存在が予測される前記位置から所定の単位画素ごとに温度が判定される温度画像データを取得するサーモグラフィと、
取得された前記測距画像データと前記温度画像データとを関連させて前記定温物質の三次元位置を特定する位置特定手段と、
特定された前記三次元位置を出力する位置出力手段と、
を有する位置検出システム。
【請求項２】
前記測距カメラは、前記定温物質として人物の存在が予測される位置から前記測距画像データを取得し、
前記サーモグラフィは、前記定温物質として人物の存在が予測される位置から前記温度画像データを取得する請求項１に記載の位置検出システム。
【請求項３】
前記位置特定手段は、前記温度画像データから着衣した前記人物の露出部の存在が予測される所定範囲の周辺画像データを抽出する請求項１または２に記載の位置検出システム。
【請求項４】
前記位置特定手段は、前記温度画像データから前記人物の体温に基づいて前記露出部の存在が予測される前記周辺画像データを抽出する請求項３に記載の位置検出システム。
【請求項５】
前記位置特定手段は、前記人物の前記露出部として頭部の存在が予測される前記周辺画像データを抽出する請求項３または４に記載の位置検出システム。
【請求項６】
前記位置特定手段は、検出された前記周辺画像データの前記単位画素ごとに前記露出部の前記三次元位置を前記測距画像データから検出する請求項３ないし５の何れか一項に記載の位置検出システム。
【請求項７】
前記位置特定手段は、前記周辺画像データの前記単位画素ごとに検出された前記三次元位置からクラスタリング処理により前記露出部を特定する請求項６に記載の位置検出システム。
【請求項８】
前記位置特定手段は、前記周辺画像データの前記単位画素ごとに検出された前記三次元位置から距離とサイズと形状との少なくとも一つに基づいて前記露出部を特定する請求項７に記載の位置検出システム。
【請求項９】
請求項１ないし８の何れか一項に記載の位置検出システムのデータ処理装置であって、
前記測距カメラで取得された前記測距画像データと前記サーモグラフィで取得された前記温度画像データとを関連させて前記定温物質の三次元位置を特定する位置特定手段と、
特定された前記三次元位置を出力する位置出力手段と、
を有するデータ処理装置。
【請求項１０】
請求項９に記載のデータ処理装置のデータ処理方法であって、
前記測距カメラで取得された前記測距画像データと前記サーモグラフィで取得された前記温度画像データとを関連させて前記定温物質の三次元位置を特定する位置特定動作と、
特定された前記三次元位置を出力する位置出力動作と、
を有するデータ処理方法。
【請求項１１】
請求項９に記載のデータ処理装置のコンピュータプログラムであって、
前記測距カメラで取得された前記測距画像データと前記サーモグラフィで取得された前記温度画像データとを関連させて前記定温物質の三次元位置を特定する位置特定処理と、
特定された前記三次元位置を出力する位置出力処理と、
を前記データ処理装置に実行させるコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−７８２７８（Ｐ２０１２−７８２７８Ａ）
【公開日】平成２４年４月１９日（２０１２．４．１９）
【国際特許分類】
【出願番号】特願２０１０−２２５５４１（Ｐ２０１０−２２５５４１）
【出願日】平成２２年１０月５日（２０１０．１０．５）
【出願人】（０００１６５９７４）古河機械金属株式会社 (211)
【Ｆターム（参考）】
【公開日】平成２４年４月１９日（２０１２．４．１９）
【国際特許分類】
【出願日】平成２２年１０月５日（２０１０．１０．５）
【出願人】（０００１６５９７４）古河機械金属株式会社 (211)
【Ｆターム（参考）】
[ Back to top ]