移動体追跡装置、移動体追跡方法及びプログラム
【課題】距離画像によって構成される動画像を解析し、移動体を追跡する場合において、移動体同士が接触或いは重複していたとしても、各移動体を区別して追跡することができる移動体追跡装置等を提供する。
【解決手段】移動体追跡装置１は、距離情報から距離画像を生成し（Ｓ１）、距離画像の２値化、ノイズ除去を行い（Ｓ２）、撮影時刻が隣接する２つの距離画像から各々移動体領域を１つずつ特定し、特定された２つの移動体領域の組ごとに重複領域を抽出し、重複領域の面積情報が所定値以上であった場合には移動体領域の組が同一の移動体であると判定し（Ｓ３）、同一の移動体であると判定された移動体領域の組について、移動体の移動位置を追跡する（Ｓ４）。
【解決手段】移動体追跡装置１は、距離情報から距離画像を生成し（Ｓ１）、距離画像の２値化、ノイズ除去を行い（Ｓ２）、撮影時刻が隣接する２つの距離画像から各々移動体領域を１つずつ特定し、特定された２つの移動体領域の組ごとに重複領域を抽出し、重複領域の面積情報が所定値以上であった場合には移動体領域の組が同一の移動体であると判定し（Ｓ３）、同一の移動体であると判定された移動体領域の組について、移動体の移動位置を追跡する（Ｓ４）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影位置から移動体までの距離情報のみが画像化された距離画像によって構成される動画像を解析し、移動体を追跡する移動体追跡装置等に関するものである。
【背景技術】
【０００２】
従来から、店舗などにおける消費者の行動を解析する行動解析システムが開発されている。一般的な行動解析システムでは、ビデオカメラなどによって店舗内の移動体（例えば、消費者など）を撮影し、撮影された動画像を解析することによって、移動体の通過時刻、滞留時間、及び移動軌跡などを算出する。
【０００３】
しかしながら、ビデオカメラによって撮影された動画像では、消費者の顔が判別できてしまう為、個人情報保護の観点から問題がある。この問題を解決する為に、特許文献１では、画角範囲に存在する物体までの距離データを格納する画素が２次元に配列され、各々の画素の距離データが含まれた２次元距離データを出力する距離画像センサ１１と、距離画像センサ１１から出力される２次元距離データを設定されたフレームレートで取得し、２次元距離データを利用して、２次元距離データに含まれる人物領域を認識し、認識した人物領域を時系列的にトラッキングすることで消費者の行動を判別し、判別した消費者の行動を記した行動履歴データを記憶する手法が開示されている。２次元距離データでは消費者の顔が判別できないので、個人情報保護の観点において全く問題がない。
【０００４】
尚、特許文献１に記載の２次元距離データは、本発明が対象とする「撮影位置から移動体までの距離情報のみが画像化された画像」（以下、「距離画像」という。）の一例である。そして、本発明では、距離画像を各フレーム（動画像を構成する静止画像１枚分）とする動画像を対象とする。
【０００５】
ところで、距離画像には色情報がない為、２以上の移動体が接触或いは重複していると、移動体同士の境界を判別することができないという問題がある。ここで、「重複」とは、２以上の移動体が撮影方向の奥と手前に位置し、奥の移動体の一部が手前の移動体の一部と重なって見える状態を意味する。例えば、特許文献２では、複数の人を撮像した動画像の１フレームを構成する画像を入力し、入力した画像に対して、人を撮影した場合に画像の各部において期待される頭部の大きさに応じた頭部モデルを位置をずらしつつ設定する設定モデル設定部と、設定された頭部モデルに基づいて、画像に含まれる人の頭部を抽出する頭部抽出部と、動画像に含まれる複数の画像の間で抽出された頭部を互いに関連付ける頭部関連付け部と、互いに関連付けられた頭部の軌跡の本数に基づいて動画像に含まれる人数を計測する人数計測部と、を備える人数計測装置が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−６７０７９号公報
【特許文献２】特開２０１０−１９８５６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
一見すると、特許文献２に記載の技術は、色情報を使わなくても実現できるように思われ、距離画像に適用できるように思われる。しかしながら、特許文献２には、計測の精度を確保する為に、色分布などの特徴量を用いることが記載されており、特許文献２に記載の技術を距離画像に適用しても実用に耐えることができない。
【０００８】
また、特許文献２に記載の技術では、人物が帽子やアクセサリーなどを身に付けていると、頭部抽出部が、実際は人物の頭部であるにも関わらず人物の頭部ではないと誤認識してしまうという別の問題もある。
【０００９】
本発明は、前述した問題点に鑑みてなされたものであり、その目的とすることは、距離画像によって構成される動画像を解析し、移動体を追跡する場合において、移動体同士が接触或いは重複していたとしても、各移動体を区別して追跡することができる移動体追跡装置等を提供することである。
【課題を解決するための手段】
【００１０】
前述した目的を達成するために第１の発明は、撮影位置から移動体までの距離情報のみが画像化された距離画像によって構成される動画像を解析し、前記移動体を追跡する移動体追跡装置であって、前記距離画像ごとに、移動体領域を抽出する移動体領域抽出手段と、撮影時刻が隣接する２つの前記距離画像から各々前記移動体領域を１つずつ特定し、特定された２つの前記移動体領域の組ごとに、重複領域を抽出する重複領域抽出手段と、前記重複領域の面積情報が所定値以上であった場合、前記移動体領域の組が同一の前記移動体であると判定する判定手段と、を具備することを特徴とする移動体追跡装置である。第１の発明によって、移動体同士が接触或いは重複していたとしても、各移動体を区別して追跡することができる。
【００１１】
第１の発明における前記判定手段は、後続の前記移動体領域の１つに対して、前記面積情報が所定値以上となる前記重複領域が複数の場合、複数の前記移動体領域が結合したと判定し、先行の前記移動体領域の１つに対して、前記面積情報が所定値以上となる前記重複領域が複数の場合、複数の前記移動体領域に分離したと判定することが望ましい。これによって、距離情報をリアルタイムに入力して処理する実時間方式であっても、実用に耐え得る判定精度及び計算速度を確保することができる。
【００１２】
また、第１の発明における前記判定手段によって同一の前記移動体であると判定された前記移動体領域の組について、前記移動体の移動位置を追跡する追跡手段、を更に具備することが望ましい。これによって、移動体同士が接触或いは重複していたとしても、各移動体を区別して移動位置を追跡することができる。
【００１３】
また、第１の発明における前記追跡手段は、例えば、前記移動体領域の組の基準位置を算出する基準位置算出手段と、先行の前記移動体領域から後続の前記移動体領域へのオプティカルフローを算出するオプティカルフロー算出手段と、前記基準位置から所定の探索範囲に含まれる前記オプティカルフローを探索するオプティカルフロー探索手段と、探索された前記オプティカルフローに基づいて、前記移動位置を決定する移動位置決定手段と、を備える。これによって、色情報を持たない距離画像であっても、移動体の移動位置を正確に決定することができる。
【００１４】
また、第１の発明における前記基準位置算出手段は、前記重複領域の重心を前記基準位置とすることが望ましい。これによって、先行の距離画像から後続の距離画像への変化の形態が、単独、結合及び分離のどれであっても対応することができる。
【００１５】
また、第１の発明における前記オプティカルフロー探索手段は、追跡対象の前記移動体と異なる前記移動体に関連する前記オプティカルフローについては、探索結果から除外することが望ましい。これによって、移動体の移動位置を決定する処理から他の移動体に関連するオプティカルフローを除外し、移動位置を精度良く決定することができる。
【００１６】
第２の発明は、撮影位置から移動体までの距離情報のみが画像化された距離画像によって構成される動画像を解析し、前記移動体を追跡する移動体追跡方法であって、前記距離画像ごとに、移動体領域を抽出する移動体領域抽出ステップと、撮影時刻が隣接する２つの前記距離画像から各々前記移動体領域を１つずつ特定し、特定された２つの前記移動体領域の組ごとに、重複領域を抽出する重複領域抽出ステップと、前記重複領域の面積情報が所定値以上であった場合、前記移動体領域の組が同一の前記移動体であると判定する判定ステップと、を含むことを特徴とする移動体追跡方法である。第２の発明によって、移動体同士が接触或いは重複していたとしても、各移動体を区別して追跡することができる。
【００１７】
第３の発明は、コンピュータに、撮影位置から移動体までの距離情報のみが画像化された距離画像によって構成される動画像を解析し、前記移動体を追跡する移動体追跡方法を実行させるためのプログラムであって、前記コンピュータに、前記距離画像ごとに、移動体領域を抽出する移動体領域抽出ステップと、撮影時刻が隣接する２つの前記距離画像から各々前記移動体領域を１つずつ特定し、特定された２つの前記移動体領域の組ごとに、重複領域を抽出する重複領域抽出ステップと、前記重複領域の面積情報が所定値以上であった場合、前記移動体領域の組が同一の前記移動体であると判定する判定ステップと、を実行させるためのプログラムである。第３の発明を汎用のコンピュータにインストールすることによって、第１の発明の移動体追跡装置を得て、第２の発明の移動体追跡方法を実行することができる。
【発明の効果】
【００１８】
本発明により、距離画像によって構成される動画像を解析し、移動体を追跡する場合において、移動体同士が接触或いは重複していたとしても、各移動体を区別して追跡することができる移動体追跡装置等を提供することができる。
【図面の簡単な説明】
【００１９】
【図１】移動体追跡装置の適用例を示す図
【図２】移動体追跡装置のハードウエア構成図
【図３】移動体追跡装置の処理の概要を示すフローチャート
【図４】距離情報の一例を示す図
【図５】距離画像の一例を示す図
【図６】２値化された距離画像の一例を示す図
【図７】ノイズ除去された距離画像の一例を示す図
【図８】移動体識別処理の詳細を示すフローチャート
【図９】判定処理を説明する図
【図１０】第１の例を示す図
【図１１】第１の例に対する処理結果を示す図
【図１２】第２の例を示す図
【図１３】第２の例に対する処理結果を示す図
【図１４】第３の例を示す図
【図１５】第３の例に対する処理結果を示す図
【図１６】第４の例を示す図
【図１７】第４の例に対する処理結果を示す図
【図１８】移動体追跡処理の詳細を示すフローチャート
【図１９】第５の例における先行の距離画像を示す図
【図２０】第５の例における後続の距離画像を示す図
【図２１】先行の距離画像における基準位置を示す図
【図２２】後続の距離画像における基準位置を示す図
【図２３】後続の距離画像におけるオプティカルフローを示す図
【図２４】オプティカルフローの探索範囲を示す図
【図２５】移動体の移動位置を示す図
【図２６】分析結果の一例を示す図
【発明を実施するための形態】
【００２０】
以下図面に基づいて、本発明の実施形態を詳細に説明する。本発明の移動体追跡装置等は、距離画像（撮影位置から移動体までの距離情報のみが画像化された画像）を各フレームとする動画像に対して広く適用可能なものである。また、移動体としては、人間に限らず、動植物や車両に代表される装置など、単体として移動するものであれば、どのような物体にも適用できる。以下では、一例として、特許文献１（特開２０１０−６７０７９号公報）のように、消費者の行動を解析する行動解析システムへの適用例について述べる。
【００２１】
図１は、移動体追跡装置の適用例を示す図である。図１では、店舗の商品棚３の上に設置され、画角の範囲内に存在する物体までの距離を測定する距離画像センサ２と、距離画像センサ２から得られる距離情報を入力し、距離情報に基づいて生成される距離画像によって構成される動画像を解析し、移動体を追跡する移動体追跡装置１と、によって構成される、消費者５（５Ａ〜５Ｄ）の行動を解析する行動解析システムを模式的に示している。図１（ａ）は、距離画像センサ２、商品棚３、及び消費者５等を水平方向から見た様子を示している。図１（ｂ）は、距離画像センサ２、商品棚３、及び消費者５等を鉛直方向から見た様子を示している。
【００２２】
距離画像センサ２としては、市販の距離画像センサを利用することができる。例えば、松下電工株式会社などから市販されている光波測距（Time of Flight）式の距離画像センサなどがある。光波測距式の距離画像センサは、距離画像センサに供えられたＬＥＤから照射された近赤外光が、物体から反射して距離画像センサに返ってくる到達時間を利用して、距離画像センサの位置（すなわち撮影位置）から物体（本実施の形態では、特に、消費者５などの移動体）までの距離を２次元で配列された画素毎に計測し、各画素の距離情報を所定のフレームレート（例えば、１５ｆｐｓ）で出力する機能を備えている。尚、市販の距離画像センサには、距離測定機能に加え、画像撮影機能を備えているセンサもあるが、個人情報保護の観点から、本発明の実施形態では、距離測定機能のみを利用し、画像撮影機能を利用しない。
【００２３】
図１（ａ）、（ｂ）に示すように、距離画像センサ２は、例えば、ＬＥＤの照射方向が商品棚３の上から斜め下方となるように設置される。距離画像センサ２の画角は、例えば、垂直方向（図１（ａ）において点線によって示す範囲）が４５度、水平方向が（図１（ｂ）において点線によって示す範囲）が６０度である。尚、距離画像センサ２が斜め下方となるように設置される場合、特許文献１に示すように、距離画像センサ２から出力される距離情報は、画素から同じ距離ｄであっても、画角の上端の画素と下端の画素の間には、実際の高さにΔｈだけ差が生じてしまう。そこで、特許文献１のように、移動体追跡装置１は、距離画像センサ２から出力される距離情報を実際の高さに変換するようにしても良い。
【００２４】
図１に示す状況では、消費者５Ａと消費者５Ｂの２人が距離画像センサ２から照射される近赤外光を受けるので、消費者５Ａと消費者５Ｂの２人が距離画像として画像化される。このとき、消費者５Ａと消費者５Ｂが接触していることから、両者は画素が連結した単一領域として画像化され、色情報を持たない距離画像では区別することが難しい。更に、消費者５Ｃが接近してくると、３者が単一領域として画像化されることもあり、区別することが一層難しくなる。尚、消費者５Ｃのように、帽子などを被っている消費者も考えられることから、例えば、特許文献２（特開２０１０−１９８５６６号公報）のように、頭部モデルなどを用いたパターンマッチング手法では、誤認識してしまう可能性が高い。本発明の移動体追跡装置１は、これらの課題を解決し、後述する処理によって、消費者５などの移動体同士が接触或いは重複していたとしても、各移動体を精度良く区別して追跡することができる。
【００２５】
図２は、移動体追跡装置のハードウエア構成図である。尚、図２のハードウエア構成は一例であり、用途、目的に応じて様々な構成を採ることが可能である。
【００２６】
移動体追跡装置１を実現するコンピュータは、制御部１１、記憶部１２、メディア入出力部１３、通信制御部１４、入力部１５、表示部１６、周辺機器Ｉ／Ｆ部１７等が、バス１８を介して接続される。
【００２７】
制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等で構成される。ＣＰＵは、記憶部１２、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス１８を介して接続された各装置を駆動制御し、移動体追跡装置１が行う後述する処理を実現する。ＲＯＭは、不揮発性メモリであり、コンピュータのブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持している。ＲＡＭは、揮発性メモリであり、記憶部１２、ＲＯＭ、記録媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部１１が各種処理を行う為に使用するワークエリアを備える。
【００２８】
記憶部１２は、例えば、ＨＤＤ（Hard Disk Drive）であり、制御部１１が実行するプログラム、プログラム実行に必要なデータ、ＯＳ（Operating System）等が格納される。プログラムに関しては、ＯＳに相当する制御プログラムや、後述する処理をコンピュータに実行させるためのアプリケーションプログラムが格納されている。これらの各プログラムコードは、制御部１１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて各種の手段として実行される。
【００２９】
メディア入出力部１３（ドライブ装置）は、データの入出力を行い、例えば、ＣＤドライブ（−ＲＯＭ、−Ｒ、−ＲＷ等）、ＤＶＤドライブ（−ＲＯＭ、−Ｒ、−ＲＷ等）等のメディア入出力装置を有する。通信制御部１４は、通信制御装置、通信ポート等を有し、コンピュータとネットワーク９間の通信を媒介する通信インタフェースであり、ネットワーク９を介して、他のコンピュータ間との通信制御を行う。ネットワーク９は、有線、無線を問わない。
【００３０】
入力部１５は、データの入力を行い、例えば、キーボード、マウス等のポインティングデバイス、テンキー等の入力装置を有する。入力部１５を介して、コンピュータに対して、操作指示、動作指示、データ入力等を行うことができる。表示部１６は、ＣＲＴモニタ、液晶パネル等のディスプレイ装置、ディスプレイ装置と連携してコンピュータのビデオ機能を実現するための論理回路等（ビデオアダプタ等）を有する。尚、入力部１５及び表示部１６は、タッチパネルディスプレイのように、一体となっていても良い。
【００３１】
周辺機器Ｉ／Ｆ（インタフェース）部１７は、コンピュータに周辺機器（例えば、距離画像センサ２など）を接続させるためのポートであり、周辺機器Ｉ／Ｆ部１７を介してコンピュータは周辺機器（イメージスキャナ、複合機等）とのデータの送受信を行う。周辺機器Ｉ／Ｆ部１７は、ＵＳＢやＩＥＥＥ１３９４やＲＳ−２３２Ｃ等で構成されており、通常複数の周辺機器Ｉ／Ｆを有する。周辺機器との接続形態は有線、無線を問わない。バス１８は、各装置間の制御信号、データ信号等の授受を媒介する経路である。
【００３２】
次に、図３に示すフローチャートに沿って、図４〜図７を適宜参照しながら、移動体追跡装置の処理の概要について説明する。
【００３３】
図３は、移動体追跡装置の処理の概要を示すフローチャートである。図３では、距離画像センサ２から出力される１フレーム分の距離情報に対する処理を示している。つまり、移動体追跡装置１は、対象となるフレーム数だけ図３の処理を繰り返す。また、移動体追跡装置１は、距離画像センサ２からリアルタイムに入力するデータに対して図３に示す処理を行っても良いし（以下、「実時間方式」という。）、予め記憶部１２に記憶されているデータに対して図３に示す処理を行っても良い（以下、「非実時間方式」という。）。
【００３４】
図３に示すように、移動体追跡装置１の制御部１１は、距離情報から距離画像を生成する（Ｓ１）。距離画像の生成処理については、例えば、特許文献１に記載の手法など、従来の技術を用いれば良い。特許文献１に記載の手法を用いる場合、制御部１１は、距離画像センサ２を設置した位置の高さ、距離画像センサ２の設置角度、距離画像センサ２の画角等をパラメータとし、三角関数等を利用した算出式によって、距離情報を高さ情報に変換する。そして、制御部１１は、高さ情報から、画像の濃淡を表す階調に変換し、距離画像を生成する。
【００３５】
距離画像の１画素を２５６階調の濃淡差によって表す場合、制御部１１は、各階調ごとに対応する高さが予め定めておき、各画素（例えば、水平１２８×垂直１２３画素）それぞれの高さを階調に変換することによって、各画素の２５６階調の距離画像を生成する。尚、距離情報を高さ情報に変換し、距離画像を生成する理由は、目視で確認した結果と解析した結果を照らし合わせて実証又は評価できるようにするためであり、距離情報をそのまま用いて距離画像を生成し、後述する処理を実行しても、本発明の目的は達成される。
【００３６】
図４は、距離情報の一例を示す図である。図５は、距離画像の一例を示す図である。図４に示すように、距離情報は、例えば、タブ区切り（カンマ区切りなどでも良い。）のバイナリデータ６として距離画像センサ２から出力される。制御部１１は、図４に例示するバイナリデータ６を入力し、図５に例示する距離画像を生成する。図５の例では、２人の消費者５がいることは確認できる。また、左側の消費者５は帽子をかぶっており、右側の消費者５は手に何かを持っていることも確認できる。尚、消費者５の顔は判別できないので、個人情報保護の観点においては全く問題がない。
【００３７】
図３の説明に戻る。次に、制御部１１は、距離画像を２値化するとともに、ノイズを除去する（Ｓ２）。２値化処理では、消費者５などの移動体を示す画素が連結している領域（以下、「移動体領域」という。）と、それ以外の床４など固定物を示す画素が連結している領域（以下、「固定物領域」という。）と、に区分する。図５を見れば分かるように、固定物領域はほとんど黒の階調となることから、２値化処理による移動体領域と固定物領域の区分は、容易かつ精度良く行うことができる。
【００３８】
図６は、２値化された距離画像の一例を示す図である。図６の例では、２人の消費者５を示す２つの移動体領域が確認できる。尚、画像の四隅や移動体領域の境界付近において、若干のノイズ（図６の例では、画素値が白であるが周辺の画素と連結が乏しい画素）が残っている。
【００３９】
図６に示されるノイズに対して、制御部１１は、ノイズ除去処理を行う。ノイズ除去処理は、例えば、特許文献１に記載の手法など、従来の技術を用いれば良い。特許文献１に記載の手法を用いる場合、制御部１１は、例えば、空間フィルタを利用した処理と、領域分割を利用した処理の２種類の処理を実行する。空間フィルタを利用した処理としては、例えば、３画素×３画素の移動平均法による平滑化処理が考えられる。また、領域分割を利用した処理としては、例えば、４近傍ラベリング処理により領域の分割を行い、領域の大きさが一定値より小さいノイズを除去することが考えられる。空間フィルタを利用した処理及び領域分割を利用した処理の両方を行うことによって、精度良く除去することができる。
【００４０】
図７は、ノイズ除去された距離画像の一例を示す図である。図６の例では、ノイズが除去され、２人の消費者５を示す２つの移動体領域のみが確認できる。このように、距離画像に対して２値化処理及びノイズ除去処理を施すことによって、後述する処理を簡潔にすることができるとともに、処理の精度を上げることができる。
【００４１】
制御部１１は、図７に示す距離画像ごとに移動体領域を抽出し、それぞれの移動体領域に対して、移動体領域を一意に識別する情報（以下、「移動体領域識別情報」という。）を付与する。そして、移動体追跡装置１は、移動体領域識別情報と移動体領域とを対応付けて、ＲＡＭや記憶部１２などに記憶しておく。尚、移動体領域識別情報は、移動体を一意に識別する情報ではなく、あくまでも、移動体領域を一意に識別する情報である。例えば、複数の移動体が接触或いは重複していて、１つの移動体領域として抽出されている場合であっても、移動体領域識別情報では、移動体を一意に識別することはできない。
【００４２】
図３の説明に戻る。次に、制御部１１は、移動体識別処理を行う（Ｓ３）。移動体識別処理は、隣接する２つの距離画像から特定される移動体領域の組について、同一の移動体であるか否かを判定し、移動体を識別する処理である。処理の詳細については、図８〜図１７を参照しながら後述する。
【００４３】
次に、制御部１１は、移動体追跡処理を行う（Ｓ４）。移動体追跡処理は、移動体識別処理によって同一の移動体であると判定された移動体領域の組について、移動体の移動位置を追跡する処理である。処理の詳細については、図１８〜図２５を参照しながら後述する。
【００４４】
このように、移動体追跡装置１は、Ｓ１〜Ｓ４の処理をフレームごとに行うことによって、個々の移動体を識別し、それぞれを区別して追跡することができる。尚、実時間方式の場合、移動体追跡装置１は、距離画像センサ２から距離情報が入力されるごとに、Ｓ１〜Ｓ４の処理を行う。一方、非実時間方式の場合、移動体追跡装置１は、距離画像センサ２から距離情報が入力されるごとに、Ｓ１〜Ｓ４の処理を行っても良いし、全てのフレームに対してＳ１及びＳ２の処理を行い、処理結果を記憶部１２に記憶した後、フレームごとにＳ３及びＳ４の処理を行っても良い。ここで、Ｓ１及びＳ２の処理結果とは、距離画像ごとに抽出された移動体領域、すなわち、移動体領域識別情報が対応付けられた移動体領域である。そして、移動体追跡装置１は、全てのフレームに対するＳ１及びＳ２の処理結果を記憶部１２から順次読み出して、フレームごとにＳ３及びＳ４の処理を行う。
【００４５】
次に、図８に示すフローチャートに沿って、図９〜図１７を適宜参照しながら、移動体識別処理について説明する。
【００４６】
図８は、移動体識別処理の詳細を示すフローチャートである。図８では、１フレーム分の距離画像に対する処理を示している。処理内容は、実時間方式の場合も非実時間方式の場合も同様である。
【００４７】
図８に示すように、移動体追跡装置１の制御部１１は、先行の距離画像に移動体領域があるか否かを判定する（Ｓ１１）。先行の距離画像とは、処理の対象となっている距離画像の直前のフレーム（距離情報）から生成された距離画像である。以下、時系列関係を明確にする為に、処理の対象となっている距離画像のことを「後続の距離画像」という。
【００４８】
制御部１１は、先行の距離画像に移動体領域がない場合（Ｓ１１のＮｏ）、後続の距離画像の移動体領域（以下、「後続の移動体領域」と省略することもある。）に、移動体を一意に識別する情報（以下、「移動体識別情報」という。）を対応付けて、移動体領域識別情報が対応付けられた移動体領域ＲＡＭ又は記憶部１２に記憶する（Ｓ１２）。
【００４９】
一方、制御部１１は、先行の距離画像に移動体領域がある場合（Ｓ１１のＹｅｓ）、先行及び後続の距離画像から各々移動体領域を特定し、特定された２つの移動体領域の組ごとに、重複領域を抽出する（Ｓ１３）。例えば、先行の距離画像にＭ個の移動体領域が存在し、後続の距離画像にＮ個の移動体領域が存在する場合、制御部１１は、Ｍ×Ｎ個の移動体領域の組を特定する。そして、制御部１１は、移動体領域の組ごとに、先行の移動体領域と後続の移動体領域が重複する画素群を、重複領域として抽出する。
【００５０】
次に、制御部１１は、面積情報が所定値以上の重複領域について、その移動体領域の組が同一の移動体であると判定し、移動体識別情報を対応付ける（Ｓ１４）。ここで、面積情報とは、重複領域の面積（重複領域として抽出された画素の数×１画素のサイズ）に基づく情報である。画像全体の面積をＳ０、先行の移動体領域の面積をＳ１、後続の移動体領域の面積をＳ２、重複領域の面積をＳ３としたとき、面積情報は、例えば、Ｓ３、Ｓ３／Ｓ０、Ｓ３／Ｓ１、Ｓ３／Ｓ２などが考えられる。尚、面積情報は、これらの例に限定されるものではなく、少なくとも、重複領域の面積に基づく情報であれば良い。また、所定値は、距離画像センサ２を設置した位置の高さ、距離画像センサ２の設置角度、距離画像センサ２の画角、対象とする移動体の種類（消費者５、動植物、車両など）等に応じて、適宜適切な値を設定すれば良い。
【００５１】
図９は、判定処理を説明する図である。前述した通り、距離画像では、複数の移動体が接触或いは重複している場合、１つの移動体領域として抽出されてしまう。本発明では、先行の距離画像から後続の距離画像への変化の形態を、以下の３パターンに分けて考える。
（１）結合：先行の距離画像では複数の移動体領域が離間していたが、後続の距離画像では互いに接触或いは重複していると認識される形態。
（２）分離：先行の距離画像では複数の移動体領域が互いに接触或いは重複していたが、後続の距離画像では互いに離間していると認識される形態。
（３）単独：先行の距離画像でも後続の距離画像でも１つの移動体領域として認識される形態。
【００５２】
図９では、上記の３パターンの形態を判定する為の判定条件と、形態ごとの処理内容が示されている。尚、どのパターンであっても、制御部１１は、重複領域の面積情報が所定値以上であった場合、その移動体領域の組が同一の移動体であると判定することには変わりがない。
【００５３】
＜Ｎｏ．１：結合パターン＞制御部１１は、後続の移動体領域の１つに対して、面積情報が所定値以上の重複領域が複数の場合、複数の移動体領域が結合したと判定する。そして、制御部１１は、先行の移動体識別情報（複数）を、後続の移動体領域（単数）に対応付ける。
【００５４】
＜Ｎｏ．２：分離パターン＞制御部１１は、先行の移動体領域の１つに対して、面積情報が所定値以上の重複領域が複数の場合、複数の移動体領域に分離したと判定する。そして、制御部１１は、先行の移動体識別情報（単数）から派生する新規の移動体識別情報（複数）を、後続の各移動体領域（複数）にそれぞれ対応付ける。
【００５５】
＜Ｎｏ．３：単独パターン＞制御部１１は、結合及び分離以外の場合、単独と判定する。そして、制御部１１は、先行の移動体識別情報（単数又は複数）を、後続の移動体領域（単数）に対応付ける。
【００５６】
実際には、先行の距離画像及び後続の距離画像の両方において、複数の移動体が接触或いは重複していて１つの移動体領域として認識されることがある。このような場合、判定処理では、前述した通り単独のパターンとして判定される。そして、以下に説明するように、本発明では、このような場合も、精度良く各移動体を区別して識別することができる。
【００５７】
例えば、処理対象のフレームを現在としたときに、過去に１度でも離間していれば、その時に異なる移動体識別情報（複数）が対応付けられることになる。従って、実時間方式及び非実時間方式のいずれの場合にも、離間した後のフレームに対して、複数の移動体が接触或いは重複していると認識することができる。
【００５８】
また、処理対象のフレームを現在としたときに、過去に１度も離間していない複数の移動体が、将来に１度でも離間すれば、その時に異なる移動体識別情報（複数）が対応付けられることになる。従って、非実時間方式の場合には、時系列が逆の順にフレームを読み出して、図８に示す処理を行えば、離間する前のフレームに対して、複数の移動体が接触或いは重複していると認識することができる。
【００５９】
一方、初めてフレームインからフレームアウトするまで、複数の移動体が接触或いは重複したまま、１度も離間しなければ、図８に示す処理では、単数の移動体と判定される。そこで、例えば、前述した面積情報が極端に大きい値であれば、移動体追跡装置１は、複数の移動体であると自動的に判断したり、或いは、複数の移動体か否かの確認をユーザに要求したりしても良い。
【００６０】
尚、行動解析システムの場合、複数の消費者５が１度も離間しないようなケースでは、商品を購入するか否かの意思決定の単位としては、単数と考えた方が適切であるとも言える。そこで、本発明を行動解析システムに適用する場合などは、敢えて複数の消費者５か否かの判断や確認要求を行わなくても良い。
【００６１】
以下では、具体的な例として、第１の例〜第４の例を挙げて、図８に示す移動体識別処理の詳細を説明する。以下、図１０〜図１７において、点線によって示されている領域が「先行の移動体領域」、実線によって示されている領域が「後続の移動体領域」、斜線が付されている領域が「重複領域」である。
【００６２】
図１０は、第１の例を示す図である。図１０（ａ）には、先行の移動体領域Ａが示されている。また、図１０（ｂ）には、後続の移動体領域Ｂが示されている。以下、大文字のアルファベット１文字は、移動体領域識別情報を示している。
【００６３】
図１１は、第１の例に対する処理結果を示す図である。第１の例では、先行及び後続の移動体領域がそれぞれ１つであるから、移動体領域の組は１つである。図１１（ａ）では、先行の移動体領域Ａと後続の移動体領域Ｂの組に対して、重複領域ＡＢを示している。移動体追跡装置１の制御部１１は、重複領域ＡＢの面積情報が所定値以上であると判定する。以下、大文字のアルファベット２文字は、重複領域識別情報を示している。
【００６４】
図１１（ｂ）では、移動体領域の組を直線によって示している。また、それぞれの組に関する重複領域の面積情報が所定値以上である場合、直線に白丸に囲まれた片仮名「ア」を付している。この片仮名「ア」は、移動体識別情報である（以下、他の例でも同様。）。つまり、図１１（ｂ）では、第１の例は、面積情報が所定値以上の重複領域が１つであり、単独の形態であることを示している。そして、制御部１１は、先行の移動体領域Ａに対応付けられていた移動体識別情報アを、後続の移動体領域Ｂに対応付けて、ＲＡＭ又は記憶部１２に記憶する。
【００６５】
図１２は、第２の例を示す図である。図１２（ａ）には、先行の移動体領域Ｃ、Ｄが示されている。また、図１２（ｂ）には、後続の移動体領域Ｅ、Ｆが示されている。
【００６６】
図１３は、第２の例に対する処理結果を示す図である。第２の例では、先行及び後続の移動体領域がそれぞれ２つであるから、移動体領域の組は２×２＝４つである。図１３（ａ）では、先行の移動体領域Ｃと後続の移動体領域Ｅの組に対して、重複領域ＣＥを示している。図１３（ｂ）では、先行の移動体領域Ｄと後続の移動体領域Ｅの組に対して、重複領域が存在しないことを示している。図１３（ｃ）では、先行の移動体領域Ｃと後続の移動体領域Ｆの組に対して、重複領域が存在しないことを示している。図１３（ｄ）では、先行の移動体領域Ｄと後続の移動体領域Ｆの組に対して、重複領域ＤＦを示している。移動体追跡装置１の制御部１１は、重複領域ＣＥ及びＤＦの面積情報が所定値以上であると判定する。
【００６７】
図１３（ｅ）では、４つの移動体領域の組が直線によって示している。また、重複領域ＣＥの面積情報が所定値以上であるから、先行の移動体領域Ｃと後続の移動体領域Ｅの組に対して、移動体識別情報「イ」を付している。また、重複領域ＤＦの面積情報も所定値以上であるから、先行の移動体領域Ｄと後続の移動体領域Ｆの組に対して、移動体識別情報「ウ」を付している。つまり、図１３（ｅ）では、第２の例は、面積情報が所定値以上の重複領域が２つであり、単独の形態であることを示している。そして、制御部１１は、先行の移動体領域Ｃに対応付けられていた移動体識別情報イを、後続の移動体領域Ｅに対応付けて、ＲＡＭ又は記憶部１２に記憶する。同様に、制御部１１は、先行の移動体領域Ｄに対応付けられていた移動体識別情報ウを、後続の移動体領域Ｆに対応付けて、ＲＡＭ又は記憶部１２に記憶する。
【００６８】
図１４は、第３の例を示す図である。図１４（ａ）には、先行の移動体領域Ｇ、Ｈが示されている。また、図１４（ｂ）には、後続の移動体領域Ｊが示されている。
【００６９】
図１５は、第３の例に対する処理結果を示す図である。第３の例では、先行の移動体領域が２つ、後続の移動体領域が１つであるから、移動体領域の組は２×１＝２つである。図１５（ａ）では、先行の移動体領域Ｇと後続の移動体領域Ｊの組に対して、重複領域ＧＪを示している。図１５（ｂ）では、先行の移動体領域Ｈと後続の移動体領域Ｊの組に対して、重複領域ＨＪを示している。移動体追跡装置１の制御部１１は、重複領域ＧＪ及びＨＪの面積情報が所定値以上であると判定する。
【００７０】
図１５（ｃ）では、２つの移動体領域の組が直線によって示している。また、重複領域ＧＪの面積情報が所定値以上であるから、先行の移動体領域Ｇと後続の移動体領域Ｊの組に対して、移動体識別情報「エ」を付している。また、重複領域ＨＪの面積情報も所定値以上であるから、先行の移動体領域Ｈと後続の移動体領域Ｊの組に対して、移動体識別情報「オ」を付している。つまり、図１５（ｃ）では、第３の例は、面積情報が所定値以上の重複領域が２つであり、結合の形態であることを示している。そして、制御部１１は、先行の移動体領域Ｇに対応付けられていた移動体識別情報エを、後続の移動体領域Ｊに対応付けて、ＲＡＭ又は記憶部１２に記憶する。同様に、制御部１１は、先行の移動体領域Ｈに対応付けられていた移動体識別情報オを、後続の移動体領域Ｊに対応付けて、ＲＡＭ又は記憶部１２に記憶する。
【００７１】
図１６は、第４の例を示す図である。図１６（ａ）には、先行の移動体領域Ｋが示されている。また、図１６（ｂ）には、後続の移動体領域Ｌ、Ｍが示されている。
【００７２】
図１７は、第４の例に対する処理結果を示す図である。第４の例では、先行の移動体領域が１つ、後続の移動体領域が２つであるから、移動体領域の組は１×２＝２つである。図１７（ａ）では、先行の移動体領域Ｋと後続の移動体領域Ｌの組に対して、重複領域ＫＬを示している。図１７（ｂ）では、先行の移動体領域Ｋと後続の移動体領域Ｍの組に対して、重複領域ＫＭを示している。移動体追跡装置１の制御部１１は、重複領域ＫＬ及びＫＭの面積情報が所定値以上であると判定する。
【００７３】
図１７（ｃ）では、２つの移動体領域の組が直線によって示している。また、重複領域ＫＬの面積情報が所定値以上であるから、先行の移動体領域Ｋと後続の移動体領域Ｌの組に対して、移動体識別情報「カ」を付している。また、重複領域ＫＭの面積情報も所定値以上であるから、先行の移動体領域Ｋと後続の移動体領域Ｍの組に対して、移動体識別情報「キ」を付している。つまり、図１７（ｃ）では、第４の例は、面積情報が所定値以上の重複領域が２つであり、結合の形態であることを示している。そして、制御部１１は、先行の移動体領域Ｋに対応付けられていた移動体識別情報カを、後続の移動体領域Ｌに対応付けて、ＲＡＭ又は記憶部１２に記憶する。同様に、制御部１１は、先行の移動体領域Ｋに対応付けられていた移動体識別情報キを、後続の移動体領域Ｍに対応付けて、ＲＡＭ又は記憶部１２に記憶する。
【００７４】
前述した第１の例〜第４の例は、説明を分かり易くする為に単純な形態としている。例えば、１組の距離画像の中に、分離や結合の形態が複数存在したり、単独、分離及び結合が混在したりしている場合であっても、第１の例〜第４の例と同様に処理を実行することができる。
【００７５】
次に、図１８に示すフローチャートに沿って移動体追跡処理を説明しながら、図１９〜図２５に示す第５の例に対する具体的な処理内容についても合わせて説明する。
【００７６】
図１８は、移動体追跡処理の詳細を示すフローチャートである。図１８では、１フレーム分の距離画像に対する処理を示している。処理内容は、実時間方式の場合も非実時間方式の場合も同様である。また、「先行」及び「後続」の用語の意味は、図８等の説明と同様である。
【００７７】
図１９は、第５の例における先行の距離画像を示す図である。図２０は、第５の例における後続の距離画像を示す図である。第５の例では、２人の消費者５が接触しながら商品棚３の前に立ち止まっており、他の１人の消費者５が重複しながら後ろを通り過ぎようとしている。そして、図１９から図２０にかけて、商品棚３の前に立ち止まっている２人の消費者５はほとんど移動せず、他の１人の消費者５は右手前の方向に移動している。第５の例では、３人の消費者５が接触或いは重複していることから、単一の領域として２値化されるが、図８に示す処理を実行することによって、それぞれ異なる移動体識別情報が対応付けられている。尚、消費者５同士の境界は明確にされていない。
【００７８】
図１８に示すように、移動体追跡装置１の制御部１１は、移動体領域の組の基準位置を算出する（Ｓ２１）。基準位置は、先行の距離画像の撮影時刻における各移動体の位置を代表する座標（画像内の２次元座標）である。
【００７９】
例えば、先行の距離画像から後続の距離画像への変化の形態が「単独」の場合、制御部１１は、先行の移動体領域又は重複領域の重心を、先行の移動体領域の基準位置とすれば良い。また、「結合」の場合、制御部１１は、先行の移動体領域又は重複領域の重心を、先行の移動体領域の基準位置とすれば良い。一方、「分離」の場合、制御部１１は、重複領域の重心を、先行の移動体領域の基準位置とする。なぜならば、「分離」の場合、先行の移動体領域が、他の移動体の領域も含んでいることから、先行の移動体領域の重心を基準位置とすると、その移動体の位置を代表する座標として適切ではないからである。以上から、全ての形態に対応する為に、制御部１１は、重複領域の重心を、先行の移動体領域の基準位置とすることが望ましい。
【００８０】
図２１は、先行の距離画像における基準位置を示す図である。図２２は、後続の距離画像における基準位置を示す図である。図２１及び図２２では、後ろを通り過ぎる消費者５の移動体識別情報を「ク」、商品棚３の前に立ち止まっている２人の消費者５の移動体識別情報を「ケ」、「コ」としている（図２３〜図２５も同様）。また、図２１及び図２２では、各消費者５に対応する基準位置を、内部に移動体識別情報を付した白丸によって図示している（図２３〜図２５も同様）。各基準位置の座標は、図２１及び図２２とも同様である。
【００８１】
図１８の説明に戻る。次に、制御部１１は、先行の移動体領域から後続の移動体領域へのオプティカルフローを算出する（Ｓ２２）。オプティカルフローとは、連続する２つの画像において、これらの画像を構成する画素毎の動きを表すベクトルを意味する。すなわち、オプティカルフローは、画像の動きを表す画素毎の速度ベクトルである。一般に、オプティカルフローを算出することによって、移動体を追跡することができる。オプティカルフローの算出方法は、公知の技術を用いれば良く、例えば、Lucas-Kanade法などを用いることができる。
【００８２】
制御部１１は、予め、２値化及びノイズ除去された距離画像から、先行の移動体領域及び後続の移動体領域の座標を特定しておく。そして、制御部１１は、距離情報が多階調（例えば、２５６階調）の濃淡差によって表されている距離画像（２値化及びノイズ除去前の画像）を用いて、オプティカルフローの算出処理を行う。
【００８３】
図２３は、図２２の距離画像におけるオプティカルフローを示す図である。図２３では、説明の便宜上、移動体クに対するオプティカルフローを複数の短い直線によって示している。図２３を見ると、「ク」の白丸の周辺に無数の短い直線が付されていることが分かる。実際には、消費者５同士の境界が明確にされていないことから、制御部１１は、消費者５ごとにオプティカルフローを算出することができない。従って、図２３では、制御部１１が画像全体でオプティカルフローを算出している。
【００８４】
図１８の説明に戻る。次に、制御部１１は、基準位置から所定の探索範囲に含まれるオプティカルフローを探索する（Ｓ２３）。所定の探索範囲は、基準位置の座標点を中心とした円形、楕円形、矩形などである。円形であれば、基準位置の座標点から等距離の範囲を探索範囲とすることができる。また、所定の探索範囲は、例えば、人体の直立状態を楕円形によってモデル化し、距離画像センサ２を設置した位置の高さ、距離画像センサ２の設置角度、距離画像センサ２の画角等をパラメータとして座標変換させたものであっても良い。
【００８５】
図２４は、オプティカルフローの探索範囲を示す図である。図２４では、各移動体ク、ケ、コに対して、それぞれ円形の探索範囲を示している。図２４に示す例では、複数の探索範囲が共通の画素を含まないことから、制御部１１は、基準位置から所定の探索範囲に含まれる全てのオプティカルフローを探索結果とする。
【００８６】
一方、複数の探索範囲が共通の画素を含む場合、制御部１１は、共通の画素を探索結果から除外する。すなわち、制御部１１は、追跡対象の移動体と異なる移動体に関連するオプティカルフローについては、探索結果から除外する。これによって、後述する移動体の移動位置を決定する処理（Ｓ２４）から他の移動体に関連するオプティカルフローを除外し、移動位置を精度良く決定することができる。
【００８７】
図１８の説明に戻る。次に、制御部１１は、探索されたオプティカルフローに基づいて、移動体の移動位置を決定する（Ｓ２４）。例えば、制御部１１は、探索結果のオプティカルフロー群の平均ベクトルを、追跡対象の移動体の移動ベクトルとし、移動体の移動位置を決定する。この移動位置を重心位置とする。
【００８８】
図２５は、移動体の移動位置を示す図である。図２５では、図２４の状態から、移動体クの移動位置を追加している。移動体クの移動位置は、黒丸によって図示している。図２５を見ると、移動体クが、右手前の方向に移動していることが分かる。
【００８９】
実時間方式の場合、移動体追跡装置１の制御部１１は、距離画像センサ２から距離情報が入力されるごとに図３（図８及び図１８を含む。）の処理を行い、リアルタイムに処理結果を表示部１６に表示する。ユーザが視覚的に確認できるように、制御部１１は、例えば、距離情報が多階調の濃淡差によって表されている距離画像に、図２１〜図２５の基準位置（移動位置）を示す図形などを重畳して、表示部１６に表示する。
【００９０】
また、非実時間方式の場合、移動体追跡装置１の制御部１１は、全てのフレームに対して図３（図８及び図１８を含む。）の処理を行った後、少なくとも「分離」の形態については、時系列を逆にして図３の処理を行う。これによって、「分離」の形態が含まれていても、適切に移動体識別情報を対応付けることができる。そして、制御部１１は、実時間方式と同様に視覚的に処理結果を表示したり、移動体ごとの通過時刻、滞留時間、及び移動軌跡などを算出したりする。
【００９１】
次に、図２６を参照しながら、本発明の移動体追跡装置１を行動解析システムに適用した場合の分析例について説明する。
【００９２】
図２６は、分析結果の一例を示す図である。図２６に示す分析結果データ７では、消費者５のＩＤ、通過時刻、通過・滞留時間、滞留判定、及びアプローチが例示されている。消費者５のＩＤとは、前述した移動体識別情報である。通過時刻は、消費者５がフレームインした時刻である。通過・滞留時間は、消費者５がフレームインしてフレームアウトするまでの時間である。滞留判定は、消費者５の通過・滞留時間が一定時間以上超えたか否かの判定結果である。アプローチは、消費者５が商品棚３の商品に手を伸ばしたか否かの判定結果である。本発明によれば、移動体同士が接触或いは重複していたとしても、各移動体を正確に区別した分析結果データ７を得ることができる。
【００９３】
以上、本発明の移動体追跡装置１は、距離画像ごとに移動体領域を抽出し、撮影時刻が隣接する２つの距離画像から各々移動体領域を１つずつ特定し、特定された２つの移動体領域の組ごとに重複領域を抽出し、重複領域の面積情報が所定値以上であった場合には移動体領域の組が同一の移動体であると判定する。これによって、移動体同士が接触或いは重複していたとしても、各移動体を区別して追跡することができる。
【００９４】
特に、本発明の移動体追跡装置１は、先行の移動体領域の１つに対して、面積情報が所定値以上となる重複領域が複数の場合、複数の移動体が結合したと判定し、後続の移動体領域の１つに対して、面積情報が所定値以上となる重複領域が複数の場合、複数の移動体が分離したと判定する。これによって、実時間方式であっても、実用に耐え得る判定精度及び計算速度を確保することができる。
【００９５】
以上、添付図面を参照しながら、本発明に係る移動体追跡装置等の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００９６】
１………移動体追跡装置
２………距離画像センサ
３………商品棚
４………床
５、５Ａ、５Ｂ、５Ｃ………消費者
６………バイナリデータ
７………分析結果データ
【技術分野】
【０００１】
本発明は、撮影位置から移動体までの距離情報のみが画像化された距離画像によって構成される動画像を解析し、移動体を追跡する移動体追跡装置等に関するものである。
【背景技術】
【０００２】
従来から、店舗などにおける消費者の行動を解析する行動解析システムが開発されている。一般的な行動解析システムでは、ビデオカメラなどによって店舗内の移動体（例えば、消費者など）を撮影し、撮影された動画像を解析することによって、移動体の通過時刻、滞留時間、及び移動軌跡などを算出する。
【０００３】
しかしながら、ビデオカメラによって撮影された動画像では、消費者の顔が判別できてしまう為、個人情報保護の観点から問題がある。この問題を解決する為に、特許文献１では、画角範囲に存在する物体までの距離データを格納する画素が２次元に配列され、各々の画素の距離データが含まれた２次元距離データを出力する距離画像センサ１１と、距離画像センサ１１から出力される２次元距離データを設定されたフレームレートで取得し、２次元距離データを利用して、２次元距離データに含まれる人物領域を認識し、認識した人物領域を時系列的にトラッキングすることで消費者の行動を判別し、判別した消費者の行動を記した行動履歴データを記憶する手法が開示されている。２次元距離データでは消費者の顔が判別できないので、個人情報保護の観点において全く問題がない。
【０００４】
尚、特許文献１に記載の２次元距離データは、本発明が対象とする「撮影位置から移動体までの距離情報のみが画像化された画像」（以下、「距離画像」という。）の一例である。そして、本発明では、距離画像を各フレーム（動画像を構成する静止画像１枚分）とする動画像を対象とする。
【０００５】
ところで、距離画像には色情報がない為、２以上の移動体が接触或いは重複していると、移動体同士の境界を判別することができないという問題がある。ここで、「重複」とは、２以上の移動体が撮影方向の奥と手前に位置し、奥の移動体の一部が手前の移動体の一部と重なって見える状態を意味する。例えば、特許文献２では、複数の人を撮像した動画像の１フレームを構成する画像を入力し、入力した画像に対して、人を撮影した場合に画像の各部において期待される頭部の大きさに応じた頭部モデルを位置をずらしつつ設定する設定モデル設定部と、設定された頭部モデルに基づいて、画像に含まれる人の頭部を抽出する頭部抽出部と、動画像に含まれる複数の画像の間で抽出された頭部を互いに関連付ける頭部関連付け部と、互いに関連付けられた頭部の軌跡の本数に基づいて動画像に含まれる人数を計測する人数計測部と、を備える人数計測装置が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−６７０７９号公報
【特許文献２】特開２０１０−１９８５６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
一見すると、特許文献２に記載の技術は、色情報を使わなくても実現できるように思われ、距離画像に適用できるように思われる。しかしながら、特許文献２には、計測の精度を確保する為に、色分布などの特徴量を用いることが記載されており、特許文献２に記載の技術を距離画像に適用しても実用に耐えることができない。
【０００８】
また、特許文献２に記載の技術では、人物が帽子やアクセサリーなどを身に付けていると、頭部抽出部が、実際は人物の頭部であるにも関わらず人物の頭部ではないと誤認識してしまうという別の問題もある。
【０００９】
本発明は、前述した問題点に鑑みてなされたものであり、その目的とすることは、距離画像によって構成される動画像を解析し、移動体を追跡する場合において、移動体同士が接触或いは重複していたとしても、各移動体を区別して追跡することができる移動体追跡装置等を提供することである。
【課題を解決するための手段】
【００１０】
前述した目的を達成するために第１の発明は、撮影位置から移動体までの距離情報のみが画像化された距離画像によって構成される動画像を解析し、前記移動体を追跡する移動体追跡装置であって、前記距離画像ごとに、移動体領域を抽出する移動体領域抽出手段と、撮影時刻が隣接する２つの前記距離画像から各々前記移動体領域を１つずつ特定し、特定された２つの前記移動体領域の組ごとに、重複領域を抽出する重複領域抽出手段と、前記重複領域の面積情報が所定値以上であった場合、前記移動体領域の組が同一の前記移動体であると判定する判定手段と、を具備することを特徴とする移動体追跡装置である。第１の発明によって、移動体同士が接触或いは重複していたとしても、各移動体を区別して追跡することができる。
【００１１】
第１の発明における前記判定手段は、後続の前記移動体領域の１つに対して、前記面積情報が所定値以上となる前記重複領域が複数の場合、複数の前記移動体領域が結合したと判定し、先行の前記移動体領域の１つに対して、前記面積情報が所定値以上となる前記重複領域が複数の場合、複数の前記移動体領域に分離したと判定することが望ましい。これによって、距離情報をリアルタイムに入力して処理する実時間方式であっても、実用に耐え得る判定精度及び計算速度を確保することができる。
【００１２】
また、第１の発明における前記判定手段によって同一の前記移動体であると判定された前記移動体領域の組について、前記移動体の移動位置を追跡する追跡手段、を更に具備することが望ましい。これによって、移動体同士が接触或いは重複していたとしても、各移動体を区別して移動位置を追跡することができる。
【００１３】
また、第１の発明における前記追跡手段は、例えば、前記移動体領域の組の基準位置を算出する基準位置算出手段と、先行の前記移動体領域から後続の前記移動体領域へのオプティカルフローを算出するオプティカルフロー算出手段と、前記基準位置から所定の探索範囲に含まれる前記オプティカルフローを探索するオプティカルフロー探索手段と、探索された前記オプティカルフローに基づいて、前記移動位置を決定する移動位置決定手段と、を備える。これによって、色情報を持たない距離画像であっても、移動体の移動位置を正確に決定することができる。
【００１４】
また、第１の発明における前記基準位置算出手段は、前記重複領域の重心を前記基準位置とすることが望ましい。これによって、先行の距離画像から後続の距離画像への変化の形態が、単独、結合及び分離のどれであっても対応することができる。
【００１５】
また、第１の発明における前記オプティカルフロー探索手段は、追跡対象の前記移動体と異なる前記移動体に関連する前記オプティカルフローについては、探索結果から除外することが望ましい。これによって、移動体の移動位置を決定する処理から他の移動体に関連するオプティカルフローを除外し、移動位置を精度良く決定することができる。
【００１６】
第２の発明は、撮影位置から移動体までの距離情報のみが画像化された距離画像によって構成される動画像を解析し、前記移動体を追跡する移動体追跡方法であって、前記距離画像ごとに、移動体領域を抽出する移動体領域抽出ステップと、撮影時刻が隣接する２つの前記距離画像から各々前記移動体領域を１つずつ特定し、特定された２つの前記移動体領域の組ごとに、重複領域を抽出する重複領域抽出ステップと、前記重複領域の面積情報が所定値以上であった場合、前記移動体領域の組が同一の前記移動体であると判定する判定ステップと、を含むことを特徴とする移動体追跡方法である。第２の発明によって、移動体同士が接触或いは重複していたとしても、各移動体を区別して追跡することができる。
【００１７】
第３の発明は、コンピュータに、撮影位置から移動体までの距離情報のみが画像化された距離画像によって構成される動画像を解析し、前記移動体を追跡する移動体追跡方法を実行させるためのプログラムであって、前記コンピュータに、前記距離画像ごとに、移動体領域を抽出する移動体領域抽出ステップと、撮影時刻が隣接する２つの前記距離画像から各々前記移動体領域を１つずつ特定し、特定された２つの前記移動体領域の組ごとに、重複領域を抽出する重複領域抽出ステップと、前記重複領域の面積情報が所定値以上であった場合、前記移動体領域の組が同一の前記移動体であると判定する判定ステップと、を実行させるためのプログラムである。第３の発明を汎用のコンピュータにインストールすることによって、第１の発明の移動体追跡装置を得て、第２の発明の移動体追跡方法を実行することができる。
【発明の効果】
【００１８】
本発明により、距離画像によって構成される動画像を解析し、移動体を追跡する場合において、移動体同士が接触或いは重複していたとしても、各移動体を区別して追跡することができる移動体追跡装置等を提供することができる。
【図面の簡単な説明】
【００１９】
【図１】移動体追跡装置の適用例を示す図
【図２】移動体追跡装置のハードウエア構成図
【図３】移動体追跡装置の処理の概要を示すフローチャート
【図４】距離情報の一例を示す図
【図５】距離画像の一例を示す図
【図６】２値化された距離画像の一例を示す図
【図７】ノイズ除去された距離画像の一例を示す図
【図８】移動体識別処理の詳細を示すフローチャート
【図９】判定処理を説明する図
【図１０】第１の例を示す図
【図１１】第１の例に対する処理結果を示す図
【図１２】第２の例を示す図
【図１３】第２の例に対する処理結果を示す図
【図１４】第３の例を示す図
【図１５】第３の例に対する処理結果を示す図
【図１６】第４の例を示す図
【図１７】第４の例に対する処理結果を示す図
【図１８】移動体追跡処理の詳細を示すフローチャート
【図１９】第５の例における先行の距離画像を示す図
【図２０】第５の例における後続の距離画像を示す図
【図２１】先行の距離画像における基準位置を示す図
【図２２】後続の距離画像における基準位置を示す図
【図２３】後続の距離画像におけるオプティカルフローを示す図
【図２４】オプティカルフローの探索範囲を示す図
【図２５】移動体の移動位置を示す図
【図２６】分析結果の一例を示す図
【発明を実施するための形態】
【００２０】
以下図面に基づいて、本発明の実施形態を詳細に説明する。本発明の移動体追跡装置等は、距離画像（撮影位置から移動体までの距離情報のみが画像化された画像）を各フレームとする動画像に対して広く適用可能なものである。また、移動体としては、人間に限らず、動植物や車両に代表される装置など、単体として移動するものであれば、どのような物体にも適用できる。以下では、一例として、特許文献１（特開２０１０−６７０７９号公報）のように、消費者の行動を解析する行動解析システムへの適用例について述べる。
【００２１】
図１は、移動体追跡装置の適用例を示す図である。図１では、店舗の商品棚３の上に設置され、画角の範囲内に存在する物体までの距離を測定する距離画像センサ２と、距離画像センサ２から得られる距離情報を入力し、距離情報に基づいて生成される距離画像によって構成される動画像を解析し、移動体を追跡する移動体追跡装置１と、によって構成される、消費者５（５Ａ〜５Ｄ）の行動を解析する行動解析システムを模式的に示している。図１（ａ）は、距離画像センサ２、商品棚３、及び消費者５等を水平方向から見た様子を示している。図１（ｂ）は、距離画像センサ２、商品棚３、及び消費者５等を鉛直方向から見た様子を示している。
【００２２】
距離画像センサ２としては、市販の距離画像センサを利用することができる。例えば、松下電工株式会社などから市販されている光波測距（Time of Flight）式の距離画像センサなどがある。光波測距式の距離画像センサは、距離画像センサに供えられたＬＥＤから照射された近赤外光が、物体から反射して距離画像センサに返ってくる到達時間を利用して、距離画像センサの位置（すなわち撮影位置）から物体（本実施の形態では、特に、消費者５などの移動体）までの距離を２次元で配列された画素毎に計測し、各画素の距離情報を所定のフレームレート（例えば、１５ｆｐｓ）で出力する機能を備えている。尚、市販の距離画像センサには、距離測定機能に加え、画像撮影機能を備えているセンサもあるが、個人情報保護の観点から、本発明の実施形態では、距離測定機能のみを利用し、画像撮影機能を利用しない。
【００２３】
図１（ａ）、（ｂ）に示すように、距離画像センサ２は、例えば、ＬＥＤの照射方向が商品棚３の上から斜め下方となるように設置される。距離画像センサ２の画角は、例えば、垂直方向（図１（ａ）において点線によって示す範囲）が４５度、水平方向が（図１（ｂ）において点線によって示す範囲）が６０度である。尚、距離画像センサ２が斜め下方となるように設置される場合、特許文献１に示すように、距離画像センサ２から出力される距離情報は、画素から同じ距離ｄであっても、画角の上端の画素と下端の画素の間には、実際の高さにΔｈだけ差が生じてしまう。そこで、特許文献１のように、移動体追跡装置１は、距離画像センサ２から出力される距離情報を実際の高さに変換するようにしても良い。
【００２４】
図１に示す状況では、消費者５Ａと消費者５Ｂの２人が距離画像センサ２から照射される近赤外光を受けるので、消費者５Ａと消費者５Ｂの２人が距離画像として画像化される。このとき、消費者５Ａと消費者５Ｂが接触していることから、両者は画素が連結した単一領域として画像化され、色情報を持たない距離画像では区別することが難しい。更に、消費者５Ｃが接近してくると、３者が単一領域として画像化されることもあり、区別することが一層難しくなる。尚、消費者５Ｃのように、帽子などを被っている消費者も考えられることから、例えば、特許文献２（特開２０１０−１９８５６６号公報）のように、頭部モデルなどを用いたパターンマッチング手法では、誤認識してしまう可能性が高い。本発明の移動体追跡装置１は、これらの課題を解決し、後述する処理によって、消費者５などの移動体同士が接触或いは重複していたとしても、各移動体を精度良く区別して追跡することができる。
【００２５】
図２は、移動体追跡装置のハードウエア構成図である。尚、図２のハードウエア構成は一例であり、用途、目的に応じて様々な構成を採ることが可能である。
【００２６】
移動体追跡装置１を実現するコンピュータは、制御部１１、記憶部１２、メディア入出力部１３、通信制御部１４、入力部１５、表示部１６、周辺機器Ｉ／Ｆ部１７等が、バス１８を介して接続される。
【００２７】
制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等で構成される。ＣＰＵは、記憶部１２、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス１８を介して接続された各装置を駆動制御し、移動体追跡装置１が行う後述する処理を実現する。ＲＯＭは、不揮発性メモリであり、コンピュータのブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持している。ＲＡＭは、揮発性メモリであり、記憶部１２、ＲＯＭ、記録媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部１１が各種処理を行う為に使用するワークエリアを備える。
【００２８】
記憶部１２は、例えば、ＨＤＤ（Hard Disk Drive）であり、制御部１１が実行するプログラム、プログラム実行に必要なデータ、ＯＳ（Operating System）等が格納される。プログラムに関しては、ＯＳに相当する制御プログラムや、後述する処理をコンピュータに実行させるためのアプリケーションプログラムが格納されている。これらの各プログラムコードは、制御部１１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて各種の手段として実行される。
【００２９】
メディア入出力部１３（ドライブ装置）は、データの入出力を行い、例えば、ＣＤドライブ（−ＲＯＭ、−Ｒ、−ＲＷ等）、ＤＶＤドライブ（−ＲＯＭ、−Ｒ、−ＲＷ等）等のメディア入出力装置を有する。通信制御部１４は、通信制御装置、通信ポート等を有し、コンピュータとネットワーク９間の通信を媒介する通信インタフェースであり、ネットワーク９を介して、他のコンピュータ間との通信制御を行う。ネットワーク９は、有線、無線を問わない。
【００３０】
入力部１５は、データの入力を行い、例えば、キーボード、マウス等のポインティングデバイス、テンキー等の入力装置を有する。入力部１５を介して、コンピュータに対して、操作指示、動作指示、データ入力等を行うことができる。表示部１６は、ＣＲＴモニタ、液晶パネル等のディスプレイ装置、ディスプレイ装置と連携してコンピュータのビデオ機能を実現するための論理回路等（ビデオアダプタ等）を有する。尚、入力部１５及び表示部１６は、タッチパネルディスプレイのように、一体となっていても良い。
【００３１】
周辺機器Ｉ／Ｆ（インタフェース）部１７は、コンピュータに周辺機器（例えば、距離画像センサ２など）を接続させるためのポートであり、周辺機器Ｉ／Ｆ部１７を介してコンピュータは周辺機器（イメージスキャナ、複合機等）とのデータの送受信を行う。周辺機器Ｉ／Ｆ部１７は、ＵＳＢやＩＥＥＥ１３９４やＲＳ−２３２Ｃ等で構成されており、通常複数の周辺機器Ｉ／Ｆを有する。周辺機器との接続形態は有線、無線を問わない。バス１８は、各装置間の制御信号、データ信号等の授受を媒介する経路である。
【００３２】
次に、図３に示すフローチャートに沿って、図４〜図７を適宜参照しながら、移動体追跡装置の処理の概要について説明する。
【００３３】
図３は、移動体追跡装置の処理の概要を示すフローチャートである。図３では、距離画像センサ２から出力される１フレーム分の距離情報に対する処理を示している。つまり、移動体追跡装置１は、対象となるフレーム数だけ図３の処理を繰り返す。また、移動体追跡装置１は、距離画像センサ２からリアルタイムに入力するデータに対して図３に示す処理を行っても良いし（以下、「実時間方式」という。）、予め記憶部１２に記憶されているデータに対して図３に示す処理を行っても良い（以下、「非実時間方式」という。）。
【００３４】
図３に示すように、移動体追跡装置１の制御部１１は、距離情報から距離画像を生成する（Ｓ１）。距離画像の生成処理については、例えば、特許文献１に記載の手法など、従来の技術を用いれば良い。特許文献１に記載の手法を用いる場合、制御部１１は、距離画像センサ２を設置した位置の高さ、距離画像センサ２の設置角度、距離画像センサ２の画角等をパラメータとし、三角関数等を利用した算出式によって、距離情報を高さ情報に変換する。そして、制御部１１は、高さ情報から、画像の濃淡を表す階調に変換し、距離画像を生成する。
【００３５】
距離画像の１画素を２５６階調の濃淡差によって表す場合、制御部１１は、各階調ごとに対応する高さが予め定めておき、各画素（例えば、水平１２８×垂直１２３画素）それぞれの高さを階調に変換することによって、各画素の２５６階調の距離画像を生成する。尚、距離情報を高さ情報に変換し、距離画像を生成する理由は、目視で確認した結果と解析した結果を照らし合わせて実証又は評価できるようにするためであり、距離情報をそのまま用いて距離画像を生成し、後述する処理を実行しても、本発明の目的は達成される。
【００３６】
図４は、距離情報の一例を示す図である。図５は、距離画像の一例を示す図である。図４に示すように、距離情報は、例えば、タブ区切り（カンマ区切りなどでも良い。）のバイナリデータ６として距離画像センサ２から出力される。制御部１１は、図４に例示するバイナリデータ６を入力し、図５に例示する距離画像を生成する。図５の例では、２人の消費者５がいることは確認できる。また、左側の消費者５は帽子をかぶっており、右側の消費者５は手に何かを持っていることも確認できる。尚、消費者５の顔は判別できないので、個人情報保護の観点においては全く問題がない。
【００３７】
図３の説明に戻る。次に、制御部１１は、距離画像を２値化するとともに、ノイズを除去する（Ｓ２）。２値化処理では、消費者５などの移動体を示す画素が連結している領域（以下、「移動体領域」という。）と、それ以外の床４など固定物を示す画素が連結している領域（以下、「固定物領域」という。）と、に区分する。図５を見れば分かるように、固定物領域はほとんど黒の階調となることから、２値化処理による移動体領域と固定物領域の区分は、容易かつ精度良く行うことができる。
【００３８】
図６は、２値化された距離画像の一例を示す図である。図６の例では、２人の消費者５を示す２つの移動体領域が確認できる。尚、画像の四隅や移動体領域の境界付近において、若干のノイズ（図６の例では、画素値が白であるが周辺の画素と連結が乏しい画素）が残っている。
【００３９】
図６に示されるノイズに対して、制御部１１は、ノイズ除去処理を行う。ノイズ除去処理は、例えば、特許文献１に記載の手法など、従来の技術を用いれば良い。特許文献１に記載の手法を用いる場合、制御部１１は、例えば、空間フィルタを利用した処理と、領域分割を利用した処理の２種類の処理を実行する。空間フィルタを利用した処理としては、例えば、３画素×３画素の移動平均法による平滑化処理が考えられる。また、領域分割を利用した処理としては、例えば、４近傍ラベリング処理により領域の分割を行い、領域の大きさが一定値より小さいノイズを除去することが考えられる。空間フィルタを利用した処理及び領域分割を利用した処理の両方を行うことによって、精度良く除去することができる。
【００４０】
図７は、ノイズ除去された距離画像の一例を示す図である。図６の例では、ノイズが除去され、２人の消費者５を示す２つの移動体領域のみが確認できる。このように、距離画像に対して２値化処理及びノイズ除去処理を施すことによって、後述する処理を簡潔にすることができるとともに、処理の精度を上げることができる。
【００４１】
制御部１１は、図７に示す距離画像ごとに移動体領域を抽出し、それぞれの移動体領域に対して、移動体領域を一意に識別する情報（以下、「移動体領域識別情報」という。）を付与する。そして、移動体追跡装置１は、移動体領域識別情報と移動体領域とを対応付けて、ＲＡＭや記憶部１２などに記憶しておく。尚、移動体領域識別情報は、移動体を一意に識別する情報ではなく、あくまでも、移動体領域を一意に識別する情報である。例えば、複数の移動体が接触或いは重複していて、１つの移動体領域として抽出されている場合であっても、移動体領域識別情報では、移動体を一意に識別することはできない。
【００４２】
図３の説明に戻る。次に、制御部１１は、移動体識別処理を行う（Ｓ３）。移動体識別処理は、隣接する２つの距離画像から特定される移動体領域の組について、同一の移動体であるか否かを判定し、移動体を識別する処理である。処理の詳細については、図８〜図１７を参照しながら後述する。
【００４３】
次に、制御部１１は、移動体追跡処理を行う（Ｓ４）。移動体追跡処理は、移動体識別処理によって同一の移動体であると判定された移動体領域の組について、移動体の移動位置を追跡する処理である。処理の詳細については、図１８〜図２５を参照しながら後述する。
【００４４】
このように、移動体追跡装置１は、Ｓ１〜Ｓ４の処理をフレームごとに行うことによって、個々の移動体を識別し、それぞれを区別して追跡することができる。尚、実時間方式の場合、移動体追跡装置１は、距離画像センサ２から距離情報が入力されるごとに、Ｓ１〜Ｓ４の処理を行う。一方、非実時間方式の場合、移動体追跡装置１は、距離画像センサ２から距離情報が入力されるごとに、Ｓ１〜Ｓ４の処理を行っても良いし、全てのフレームに対してＳ１及びＳ２の処理を行い、処理結果を記憶部１２に記憶した後、フレームごとにＳ３及びＳ４の処理を行っても良い。ここで、Ｓ１及びＳ２の処理結果とは、距離画像ごとに抽出された移動体領域、すなわち、移動体領域識別情報が対応付けられた移動体領域である。そして、移動体追跡装置１は、全てのフレームに対するＳ１及びＳ２の処理結果を記憶部１２から順次読み出して、フレームごとにＳ３及びＳ４の処理を行う。
【００４５】
次に、図８に示すフローチャートに沿って、図９〜図１７を適宜参照しながら、移動体識別処理について説明する。
【００４６】
図８は、移動体識別処理の詳細を示すフローチャートである。図８では、１フレーム分の距離画像に対する処理を示している。処理内容は、実時間方式の場合も非実時間方式の場合も同様である。
【００４７】
図８に示すように、移動体追跡装置１の制御部１１は、先行の距離画像に移動体領域があるか否かを判定する（Ｓ１１）。先行の距離画像とは、処理の対象となっている距離画像の直前のフレーム（距離情報）から生成された距離画像である。以下、時系列関係を明確にする為に、処理の対象となっている距離画像のことを「後続の距離画像」という。
【００４８】
制御部１１は、先行の距離画像に移動体領域がない場合（Ｓ１１のＮｏ）、後続の距離画像の移動体領域（以下、「後続の移動体領域」と省略することもある。）に、移動体を一意に識別する情報（以下、「移動体識別情報」という。）を対応付けて、移動体領域識別情報が対応付けられた移動体領域ＲＡＭ又は記憶部１２に記憶する（Ｓ１２）。
【００４９】
一方、制御部１１は、先行の距離画像に移動体領域がある場合（Ｓ１１のＹｅｓ）、先行及び後続の距離画像から各々移動体領域を特定し、特定された２つの移動体領域の組ごとに、重複領域を抽出する（Ｓ１３）。例えば、先行の距離画像にＭ個の移動体領域が存在し、後続の距離画像にＮ個の移動体領域が存在する場合、制御部１１は、Ｍ×Ｎ個の移動体領域の組を特定する。そして、制御部１１は、移動体領域の組ごとに、先行の移動体領域と後続の移動体領域が重複する画素群を、重複領域として抽出する。
【００５０】
次に、制御部１１は、面積情報が所定値以上の重複領域について、その移動体領域の組が同一の移動体であると判定し、移動体識別情報を対応付ける（Ｓ１４）。ここで、面積情報とは、重複領域の面積（重複領域として抽出された画素の数×１画素のサイズ）に基づく情報である。画像全体の面積をＳ０、先行の移動体領域の面積をＳ１、後続の移動体領域の面積をＳ２、重複領域の面積をＳ３としたとき、面積情報は、例えば、Ｓ３、Ｓ３／Ｓ０、Ｓ３／Ｓ１、Ｓ３／Ｓ２などが考えられる。尚、面積情報は、これらの例に限定されるものではなく、少なくとも、重複領域の面積に基づく情報であれば良い。また、所定値は、距離画像センサ２を設置した位置の高さ、距離画像センサ２の設置角度、距離画像センサ２の画角、対象とする移動体の種類（消費者５、動植物、車両など）等に応じて、適宜適切な値を設定すれば良い。
【００５１】
図９は、判定処理を説明する図である。前述した通り、距離画像では、複数の移動体が接触或いは重複している場合、１つの移動体領域として抽出されてしまう。本発明では、先行の距離画像から後続の距離画像への変化の形態を、以下の３パターンに分けて考える。
（１）結合：先行の距離画像では複数の移動体領域が離間していたが、後続の距離画像では互いに接触或いは重複していると認識される形態。
（２）分離：先行の距離画像では複数の移動体領域が互いに接触或いは重複していたが、後続の距離画像では互いに離間していると認識される形態。
（３）単独：先行の距離画像でも後続の距離画像でも１つの移動体領域として認識される形態。
【００５２】
図９では、上記の３パターンの形態を判定する為の判定条件と、形態ごとの処理内容が示されている。尚、どのパターンであっても、制御部１１は、重複領域の面積情報が所定値以上であった場合、その移動体領域の組が同一の移動体であると判定することには変わりがない。
【００５３】
＜Ｎｏ．１：結合パターン＞制御部１１は、後続の移動体領域の１つに対して、面積情報が所定値以上の重複領域が複数の場合、複数の移動体領域が結合したと判定する。そして、制御部１１は、先行の移動体識別情報（複数）を、後続の移動体領域（単数）に対応付ける。
【００５４】
＜Ｎｏ．２：分離パターン＞制御部１１は、先行の移動体領域の１つに対して、面積情報が所定値以上の重複領域が複数の場合、複数の移動体領域に分離したと判定する。そして、制御部１１は、先行の移動体識別情報（単数）から派生する新規の移動体識別情報（複数）を、後続の各移動体領域（複数）にそれぞれ対応付ける。
【００５５】
＜Ｎｏ．３：単独パターン＞制御部１１は、結合及び分離以外の場合、単独と判定する。そして、制御部１１は、先行の移動体識別情報（単数又は複数）を、後続の移動体領域（単数）に対応付ける。
【００５６】
実際には、先行の距離画像及び後続の距離画像の両方において、複数の移動体が接触或いは重複していて１つの移動体領域として認識されることがある。このような場合、判定処理では、前述した通り単独のパターンとして判定される。そして、以下に説明するように、本発明では、このような場合も、精度良く各移動体を区別して識別することができる。
【００５７】
例えば、処理対象のフレームを現在としたときに、過去に１度でも離間していれば、その時に異なる移動体識別情報（複数）が対応付けられることになる。従って、実時間方式及び非実時間方式のいずれの場合にも、離間した後のフレームに対して、複数の移動体が接触或いは重複していると認識することができる。
【００５８】
また、処理対象のフレームを現在としたときに、過去に１度も離間していない複数の移動体が、将来に１度でも離間すれば、その時に異なる移動体識別情報（複数）が対応付けられることになる。従って、非実時間方式の場合には、時系列が逆の順にフレームを読み出して、図８に示す処理を行えば、離間する前のフレームに対して、複数の移動体が接触或いは重複していると認識することができる。
【００５９】
一方、初めてフレームインからフレームアウトするまで、複数の移動体が接触或いは重複したまま、１度も離間しなければ、図８に示す処理では、単数の移動体と判定される。そこで、例えば、前述した面積情報が極端に大きい値であれば、移動体追跡装置１は、複数の移動体であると自動的に判断したり、或いは、複数の移動体か否かの確認をユーザに要求したりしても良い。
【００６０】
尚、行動解析システムの場合、複数の消費者５が１度も離間しないようなケースでは、商品を購入するか否かの意思決定の単位としては、単数と考えた方が適切であるとも言える。そこで、本発明を行動解析システムに適用する場合などは、敢えて複数の消費者５か否かの判断や確認要求を行わなくても良い。
【００６１】
以下では、具体的な例として、第１の例〜第４の例を挙げて、図８に示す移動体識別処理の詳細を説明する。以下、図１０〜図１７において、点線によって示されている領域が「先行の移動体領域」、実線によって示されている領域が「後続の移動体領域」、斜線が付されている領域が「重複領域」である。
【００６２】
図１０は、第１の例を示す図である。図１０（ａ）には、先行の移動体領域Ａが示されている。また、図１０（ｂ）には、後続の移動体領域Ｂが示されている。以下、大文字のアルファベット１文字は、移動体領域識別情報を示している。
【００６３】
図１１は、第１の例に対する処理結果を示す図である。第１の例では、先行及び後続の移動体領域がそれぞれ１つであるから、移動体領域の組は１つである。図１１（ａ）では、先行の移動体領域Ａと後続の移動体領域Ｂの組に対して、重複領域ＡＢを示している。移動体追跡装置１の制御部１１は、重複領域ＡＢの面積情報が所定値以上であると判定する。以下、大文字のアルファベット２文字は、重複領域識別情報を示している。
【００６４】
図１１（ｂ）では、移動体領域の組を直線によって示している。また、それぞれの組に関する重複領域の面積情報が所定値以上である場合、直線に白丸に囲まれた片仮名「ア」を付している。この片仮名「ア」は、移動体識別情報である（以下、他の例でも同様。）。つまり、図１１（ｂ）では、第１の例は、面積情報が所定値以上の重複領域が１つであり、単独の形態であることを示している。そして、制御部１１は、先行の移動体領域Ａに対応付けられていた移動体識別情報アを、後続の移動体領域Ｂに対応付けて、ＲＡＭ又は記憶部１２に記憶する。
【００６５】
図１２は、第２の例を示す図である。図１２（ａ）には、先行の移動体領域Ｃ、Ｄが示されている。また、図１２（ｂ）には、後続の移動体領域Ｅ、Ｆが示されている。
【００６６】
図１３は、第２の例に対する処理結果を示す図である。第２の例では、先行及び後続の移動体領域がそれぞれ２つであるから、移動体領域の組は２×２＝４つである。図１３（ａ）では、先行の移動体領域Ｃと後続の移動体領域Ｅの組に対して、重複領域ＣＥを示している。図１３（ｂ）では、先行の移動体領域Ｄと後続の移動体領域Ｅの組に対して、重複領域が存在しないことを示している。図１３（ｃ）では、先行の移動体領域Ｃと後続の移動体領域Ｆの組に対して、重複領域が存在しないことを示している。図１３（ｄ）では、先行の移動体領域Ｄと後続の移動体領域Ｆの組に対して、重複領域ＤＦを示している。移動体追跡装置１の制御部１１は、重複領域ＣＥ及びＤＦの面積情報が所定値以上であると判定する。
【００６７】
図１３（ｅ）では、４つの移動体領域の組が直線によって示している。また、重複領域ＣＥの面積情報が所定値以上であるから、先行の移動体領域Ｃと後続の移動体領域Ｅの組に対して、移動体識別情報「イ」を付している。また、重複領域ＤＦの面積情報も所定値以上であるから、先行の移動体領域Ｄと後続の移動体領域Ｆの組に対して、移動体識別情報「ウ」を付している。つまり、図１３（ｅ）では、第２の例は、面積情報が所定値以上の重複領域が２つであり、単独の形態であることを示している。そして、制御部１１は、先行の移動体領域Ｃに対応付けられていた移動体識別情報イを、後続の移動体領域Ｅに対応付けて、ＲＡＭ又は記憶部１２に記憶する。同様に、制御部１１は、先行の移動体領域Ｄに対応付けられていた移動体識別情報ウを、後続の移動体領域Ｆに対応付けて、ＲＡＭ又は記憶部１２に記憶する。
【００６８】
図１４は、第３の例を示す図である。図１４（ａ）には、先行の移動体領域Ｇ、Ｈが示されている。また、図１４（ｂ）には、後続の移動体領域Ｊが示されている。
【００６９】
図１５は、第３の例に対する処理結果を示す図である。第３の例では、先行の移動体領域が２つ、後続の移動体領域が１つであるから、移動体領域の組は２×１＝２つである。図１５（ａ）では、先行の移動体領域Ｇと後続の移動体領域Ｊの組に対して、重複領域ＧＪを示している。図１５（ｂ）では、先行の移動体領域Ｈと後続の移動体領域Ｊの組に対して、重複領域ＨＪを示している。移動体追跡装置１の制御部１１は、重複領域ＧＪ及びＨＪの面積情報が所定値以上であると判定する。
【００７０】
図１５（ｃ）では、２つの移動体領域の組が直線によって示している。また、重複領域ＧＪの面積情報が所定値以上であるから、先行の移動体領域Ｇと後続の移動体領域Ｊの組に対して、移動体識別情報「エ」を付している。また、重複領域ＨＪの面積情報も所定値以上であるから、先行の移動体領域Ｈと後続の移動体領域Ｊの組に対して、移動体識別情報「オ」を付している。つまり、図１５（ｃ）では、第３の例は、面積情報が所定値以上の重複領域が２つであり、結合の形態であることを示している。そして、制御部１１は、先行の移動体領域Ｇに対応付けられていた移動体識別情報エを、後続の移動体領域Ｊに対応付けて、ＲＡＭ又は記憶部１２に記憶する。同様に、制御部１１は、先行の移動体領域Ｈに対応付けられていた移動体識別情報オを、後続の移動体領域Ｊに対応付けて、ＲＡＭ又は記憶部１２に記憶する。
【００７１】
図１６は、第４の例を示す図である。図１６（ａ）には、先行の移動体領域Ｋが示されている。また、図１６（ｂ）には、後続の移動体領域Ｌ、Ｍが示されている。
【００７２】
図１７は、第４の例に対する処理結果を示す図である。第４の例では、先行の移動体領域が１つ、後続の移動体領域が２つであるから、移動体領域の組は１×２＝２つである。図１７（ａ）では、先行の移動体領域Ｋと後続の移動体領域Ｌの組に対して、重複領域ＫＬを示している。図１７（ｂ）では、先行の移動体領域Ｋと後続の移動体領域Ｍの組に対して、重複領域ＫＭを示している。移動体追跡装置１の制御部１１は、重複領域ＫＬ及びＫＭの面積情報が所定値以上であると判定する。
【００７３】
図１７（ｃ）では、２つの移動体領域の組が直線によって示している。また、重複領域ＫＬの面積情報が所定値以上であるから、先行の移動体領域Ｋと後続の移動体領域Ｌの組に対して、移動体識別情報「カ」を付している。また、重複領域ＫＭの面積情報も所定値以上であるから、先行の移動体領域Ｋと後続の移動体領域Ｍの組に対して、移動体識別情報「キ」を付している。つまり、図１７（ｃ）では、第４の例は、面積情報が所定値以上の重複領域が２つであり、結合の形態であることを示している。そして、制御部１１は、先行の移動体領域Ｋに対応付けられていた移動体識別情報カを、後続の移動体領域Ｌに対応付けて、ＲＡＭ又は記憶部１２に記憶する。同様に、制御部１１は、先行の移動体領域Ｋに対応付けられていた移動体識別情報キを、後続の移動体領域Ｍに対応付けて、ＲＡＭ又は記憶部１２に記憶する。
【００７４】
前述した第１の例〜第４の例は、説明を分かり易くする為に単純な形態としている。例えば、１組の距離画像の中に、分離や結合の形態が複数存在したり、単独、分離及び結合が混在したりしている場合であっても、第１の例〜第４の例と同様に処理を実行することができる。
【００７５】
次に、図１８に示すフローチャートに沿って移動体追跡処理を説明しながら、図１９〜図２５に示す第５の例に対する具体的な処理内容についても合わせて説明する。
【００７６】
図１８は、移動体追跡処理の詳細を示すフローチャートである。図１８では、１フレーム分の距離画像に対する処理を示している。処理内容は、実時間方式の場合も非実時間方式の場合も同様である。また、「先行」及び「後続」の用語の意味は、図８等の説明と同様である。
【００７７】
図１９は、第５の例における先行の距離画像を示す図である。図２０は、第５の例における後続の距離画像を示す図である。第５の例では、２人の消費者５が接触しながら商品棚３の前に立ち止まっており、他の１人の消費者５が重複しながら後ろを通り過ぎようとしている。そして、図１９から図２０にかけて、商品棚３の前に立ち止まっている２人の消費者５はほとんど移動せず、他の１人の消費者５は右手前の方向に移動している。第５の例では、３人の消費者５が接触或いは重複していることから、単一の領域として２値化されるが、図８に示す処理を実行することによって、それぞれ異なる移動体識別情報が対応付けられている。尚、消費者５同士の境界は明確にされていない。
【００７８】
図１８に示すように、移動体追跡装置１の制御部１１は、移動体領域の組の基準位置を算出する（Ｓ２１）。基準位置は、先行の距離画像の撮影時刻における各移動体の位置を代表する座標（画像内の２次元座標）である。
【００７９】
例えば、先行の距離画像から後続の距離画像への変化の形態が「単独」の場合、制御部１１は、先行の移動体領域又は重複領域の重心を、先行の移動体領域の基準位置とすれば良い。また、「結合」の場合、制御部１１は、先行の移動体領域又は重複領域の重心を、先行の移動体領域の基準位置とすれば良い。一方、「分離」の場合、制御部１１は、重複領域の重心を、先行の移動体領域の基準位置とする。なぜならば、「分離」の場合、先行の移動体領域が、他の移動体の領域も含んでいることから、先行の移動体領域の重心を基準位置とすると、その移動体の位置を代表する座標として適切ではないからである。以上から、全ての形態に対応する為に、制御部１１は、重複領域の重心を、先行の移動体領域の基準位置とすることが望ましい。
【００８０】
図２１は、先行の距離画像における基準位置を示す図である。図２２は、後続の距離画像における基準位置を示す図である。図２１及び図２２では、後ろを通り過ぎる消費者５の移動体識別情報を「ク」、商品棚３の前に立ち止まっている２人の消費者５の移動体識別情報を「ケ」、「コ」としている（図２３〜図２５も同様）。また、図２１及び図２２では、各消費者５に対応する基準位置を、内部に移動体識別情報を付した白丸によって図示している（図２３〜図２５も同様）。各基準位置の座標は、図２１及び図２２とも同様である。
【００８１】
図１８の説明に戻る。次に、制御部１１は、先行の移動体領域から後続の移動体領域へのオプティカルフローを算出する（Ｓ２２）。オプティカルフローとは、連続する２つの画像において、これらの画像を構成する画素毎の動きを表すベクトルを意味する。すなわち、オプティカルフローは、画像の動きを表す画素毎の速度ベクトルである。一般に、オプティカルフローを算出することによって、移動体を追跡することができる。オプティカルフローの算出方法は、公知の技術を用いれば良く、例えば、Lucas-Kanade法などを用いることができる。
【００８２】
制御部１１は、予め、２値化及びノイズ除去された距離画像から、先行の移動体領域及び後続の移動体領域の座標を特定しておく。そして、制御部１１は、距離情報が多階調（例えば、２５６階調）の濃淡差によって表されている距離画像（２値化及びノイズ除去前の画像）を用いて、オプティカルフローの算出処理を行う。
【００８３】
図２３は、図２２の距離画像におけるオプティカルフローを示す図である。図２３では、説明の便宜上、移動体クに対するオプティカルフローを複数の短い直線によって示している。図２３を見ると、「ク」の白丸の周辺に無数の短い直線が付されていることが分かる。実際には、消費者５同士の境界が明確にされていないことから、制御部１１は、消費者５ごとにオプティカルフローを算出することができない。従って、図２３では、制御部１１が画像全体でオプティカルフローを算出している。
【００８４】
図１８の説明に戻る。次に、制御部１１は、基準位置から所定の探索範囲に含まれるオプティカルフローを探索する（Ｓ２３）。所定の探索範囲は、基準位置の座標点を中心とした円形、楕円形、矩形などである。円形であれば、基準位置の座標点から等距離の範囲を探索範囲とすることができる。また、所定の探索範囲は、例えば、人体の直立状態を楕円形によってモデル化し、距離画像センサ２を設置した位置の高さ、距離画像センサ２の設置角度、距離画像センサ２の画角等をパラメータとして座標変換させたものであっても良い。
【００８５】
図２４は、オプティカルフローの探索範囲を示す図である。図２４では、各移動体ク、ケ、コに対して、それぞれ円形の探索範囲を示している。図２４に示す例では、複数の探索範囲が共通の画素を含まないことから、制御部１１は、基準位置から所定の探索範囲に含まれる全てのオプティカルフローを探索結果とする。
【００８６】
一方、複数の探索範囲が共通の画素を含む場合、制御部１１は、共通の画素を探索結果から除外する。すなわち、制御部１１は、追跡対象の移動体と異なる移動体に関連するオプティカルフローについては、探索結果から除外する。これによって、後述する移動体の移動位置を決定する処理（Ｓ２４）から他の移動体に関連するオプティカルフローを除外し、移動位置を精度良く決定することができる。
【００８７】
図１８の説明に戻る。次に、制御部１１は、探索されたオプティカルフローに基づいて、移動体の移動位置を決定する（Ｓ２４）。例えば、制御部１１は、探索結果のオプティカルフロー群の平均ベクトルを、追跡対象の移動体の移動ベクトルとし、移動体の移動位置を決定する。この移動位置を重心位置とする。
【００８８】
図２５は、移動体の移動位置を示す図である。図２５では、図２４の状態から、移動体クの移動位置を追加している。移動体クの移動位置は、黒丸によって図示している。図２５を見ると、移動体クが、右手前の方向に移動していることが分かる。
【００８９】
実時間方式の場合、移動体追跡装置１の制御部１１は、距離画像センサ２から距離情報が入力されるごとに図３（図８及び図１８を含む。）の処理を行い、リアルタイムに処理結果を表示部１６に表示する。ユーザが視覚的に確認できるように、制御部１１は、例えば、距離情報が多階調の濃淡差によって表されている距離画像に、図２１〜図２５の基準位置（移動位置）を示す図形などを重畳して、表示部１６に表示する。
【００９０】
また、非実時間方式の場合、移動体追跡装置１の制御部１１は、全てのフレームに対して図３（図８及び図１８を含む。）の処理を行った後、少なくとも「分離」の形態については、時系列を逆にして図３の処理を行う。これによって、「分離」の形態が含まれていても、適切に移動体識別情報を対応付けることができる。そして、制御部１１は、実時間方式と同様に視覚的に処理結果を表示したり、移動体ごとの通過時刻、滞留時間、及び移動軌跡などを算出したりする。
【００９１】
次に、図２６を参照しながら、本発明の移動体追跡装置１を行動解析システムに適用した場合の分析例について説明する。
【００９２】
図２６は、分析結果の一例を示す図である。図２６に示す分析結果データ７では、消費者５のＩＤ、通過時刻、通過・滞留時間、滞留判定、及びアプローチが例示されている。消費者５のＩＤとは、前述した移動体識別情報である。通過時刻は、消費者５がフレームインした時刻である。通過・滞留時間は、消費者５がフレームインしてフレームアウトするまでの時間である。滞留判定は、消費者５の通過・滞留時間が一定時間以上超えたか否かの判定結果である。アプローチは、消費者５が商品棚３の商品に手を伸ばしたか否かの判定結果である。本発明によれば、移動体同士が接触或いは重複していたとしても、各移動体を正確に区別した分析結果データ７を得ることができる。
【００９３】
以上、本発明の移動体追跡装置１は、距離画像ごとに移動体領域を抽出し、撮影時刻が隣接する２つの距離画像から各々移動体領域を１つずつ特定し、特定された２つの移動体領域の組ごとに重複領域を抽出し、重複領域の面積情報が所定値以上であった場合には移動体領域の組が同一の移動体であると判定する。これによって、移動体同士が接触或いは重複していたとしても、各移動体を区別して追跡することができる。
【００９４】
特に、本発明の移動体追跡装置１は、先行の移動体領域の１つに対して、面積情報が所定値以上となる重複領域が複数の場合、複数の移動体が結合したと判定し、後続の移動体領域の１つに対して、面積情報が所定値以上となる重複領域が複数の場合、複数の移動体が分離したと判定する。これによって、実時間方式であっても、実用に耐え得る判定精度及び計算速度を確保することができる。
【００９５】
以上、添付図面を参照しながら、本発明に係る移動体追跡装置等の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００９６】
１………移動体追跡装置
２………距離画像センサ
３………商品棚
４………床
５、５Ａ、５Ｂ、５Ｃ………消費者
６………バイナリデータ
７………分析結果データ
【特許請求の範囲】
【請求項１】
撮影位置から移動体までの距離情報のみが画像化された距離画像によって構成される動画像を解析し、前記移動体を追跡する移動体追跡装置であって、
前記距離画像ごとに、移動体領域を抽出する移動体領域抽出手段と、
撮影時刻が隣接する２つの前記距離画像から各々前記移動体領域を１つずつ特定し、特定された２つの前記移動体領域の組ごとに、重複領域を抽出する重複領域抽出手段と、
前記重複領域の面積情報が所定値以上であった場合、前記移動体領域の組が同一の前記移動体であると判定する判定手段と、
を具備することを特徴とする移動体追跡装置。
【請求項２】
前記判定手段は、
後続の前記移動体領域の１つに対して、前記面積情報が所定値以上となる前記重複領域が複数の場合、複数の前記移動体領域が結合したと判定し、
先行の前記移動体領域の１つに対して、前記面積情報が所定値以上となる前記重複領域が複数の場合、複数の前記移動体領域に分離したと判定する
ことを特徴とする請求項１に記載の移動体追跡装置。
【請求項３】
前記判定手段によって同一の前記移動体であると判定された前記移動体領域の組について、前記移動体の移動位置を追跡する追跡手段、
を更に具備することを特徴とする請求項２に記載の移動体追跡装置。
【請求項４】
前記追跡手段は、
前記移動体領域の組の基準位置を算出する基準位置算出手段と、
先行の前記移動体領域から後続の前記移動体領域へのオプティカルフローを算出するオプティカルフロー算出手段と、
前記基準位置から所定の探索範囲に含まれる前記オプティカルフローを探索するオプティカルフロー探索手段と、
探索された前記オプティカルフローに基づいて、前記移動位置を決定する移動位置決定手段と、
を備えることを特徴とする請求項３に記載の移動体追跡装置。
【請求項５】
前記基準位置算出手段は、前記重複領域の重心を前記基準位置とする
ことを特徴とする請求項４に記載の移動体追跡装置。
【請求項６】
前記オプティカルフロー探索手段は、追跡対象の前記移動体と異なる前記移動体に関連する前記オプティカルフローについては、探索結果から除外する
ことを特徴とする請求項４又は請求項５に記載の移動体追跡装置。
【請求項７】
撮影位置から移動体までの距離情報のみが画像化された距離画像によって構成される動画像を解析し、前記移動体を追跡する移動体追跡方法であって、
前記距離画像ごとに、移動体領域を抽出する移動体領域抽出ステップと、
撮影時刻が隣接する２つの前記距離画像から各々前記移動体領域を１つずつ特定し、特定された２つの前記移動体領域の組ごとに、重複領域を抽出する重複領域抽出ステップと、
前記重複領域の面積情報が所定値以上であった場合、前記移動体領域の組が同一の前記移動体であると判定する判定ステップと、
を含むことを特徴とする移動体追跡方法。
【請求項８】
コンピュータに、撮影位置から移動体までの距離情報のみが画像化された距離画像によって構成される動画像を解析し、前記移動体を追跡する移動体追跡方法を実行させるためのプログラムであって、
前記コンピュータに、
前記距離画像ごとに、移動体領域を抽出する移動体領域抽出ステップと、
撮影時刻が隣接する２つの前記距離画像から各々前記移動体領域を１つずつ特定し、特定された２つの前記移動体領域の組ごとに、重複領域を抽出する重複領域抽出ステップと、
前記重複領域の面積情報が所定値以上であった場合、前記移動体領域の組が同一の前記移動体であると判定する判定ステップと、
を実行させるためのプログラム。
【請求項１】
撮影位置から移動体までの距離情報のみが画像化された距離画像によって構成される動画像を解析し、前記移動体を追跡する移動体追跡装置であって、
前記距離画像ごとに、移動体領域を抽出する移動体領域抽出手段と、
撮影時刻が隣接する２つの前記距離画像から各々前記移動体領域を１つずつ特定し、特定された２つの前記移動体領域の組ごとに、重複領域を抽出する重複領域抽出手段と、
前記重複領域の面積情報が所定値以上であった場合、前記移動体領域の組が同一の前記移動体であると判定する判定手段と、
を具備することを特徴とする移動体追跡装置。
【請求項２】
前記判定手段は、
後続の前記移動体領域の１つに対して、前記面積情報が所定値以上となる前記重複領域が複数の場合、複数の前記移動体領域が結合したと判定し、
先行の前記移動体領域の１つに対して、前記面積情報が所定値以上となる前記重複領域が複数の場合、複数の前記移動体領域に分離したと判定する
ことを特徴とする請求項１に記載の移動体追跡装置。
【請求項３】
前記判定手段によって同一の前記移動体であると判定された前記移動体領域の組について、前記移動体の移動位置を追跡する追跡手段、
を更に具備することを特徴とする請求項２に記載の移動体追跡装置。
【請求項４】
前記追跡手段は、
前記移動体領域の組の基準位置を算出する基準位置算出手段と、
先行の前記移動体領域から後続の前記移動体領域へのオプティカルフローを算出するオプティカルフロー算出手段と、
前記基準位置から所定の探索範囲に含まれる前記オプティカルフローを探索するオプティカルフロー探索手段と、
探索された前記オプティカルフローに基づいて、前記移動位置を決定する移動位置決定手段と、
を備えることを特徴とする請求項３に記載の移動体追跡装置。
【請求項５】
前記基準位置算出手段は、前記重複領域の重心を前記基準位置とする
ことを特徴とする請求項４に記載の移動体追跡装置。
【請求項６】
前記オプティカルフロー探索手段は、追跡対象の前記移動体と異なる前記移動体に関連する前記オプティカルフローについては、探索結果から除外する
ことを特徴とする請求項４又は請求項５に記載の移動体追跡装置。
【請求項７】
撮影位置から移動体までの距離情報のみが画像化された距離画像によって構成される動画像を解析し、前記移動体を追跡する移動体追跡方法であって、
前記距離画像ごとに、移動体領域を抽出する移動体領域抽出ステップと、
撮影時刻が隣接する２つの前記距離画像から各々前記移動体領域を１つずつ特定し、特定された２つの前記移動体領域の組ごとに、重複領域を抽出する重複領域抽出ステップと、
前記重複領域の面積情報が所定値以上であった場合、前記移動体領域の組が同一の前記移動体であると判定する判定ステップと、
を含むことを特徴とする移動体追跡方法。
【請求項８】
コンピュータに、撮影位置から移動体までの距離情報のみが画像化された距離画像によって構成される動画像を解析し、前記移動体を追跡する移動体追跡方法を実行させるためのプログラムであって、
前記コンピュータに、
前記距離画像ごとに、移動体領域を抽出する移動体領域抽出ステップと、
撮影時刻が隣接する２つの前記距離画像から各々前記移動体領域を１つずつ特定し、特定された２つの前記移動体領域の組ごとに、重複領域を抽出する重複領域抽出ステップと、
前記重複領域の面積情報が所定値以上であった場合、前記移動体領域の組が同一の前記移動体であると判定する判定ステップと、
を実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２６】
【図５】
【図６】
【図７】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２】
【図３】
【図４】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２６】
【図５】
【図６】
【図７】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【公開番号】特開２０１３−５８０５４（Ｐ２０１３−５８０５４Ａ）
【公開日】平成２５年３月２８日（２０１３．３．２８）
【国際特許分類】
【出願番号】特願２０１１−１９５５３８（Ｐ２０１１−１９５５３８）
【出願日】平成２３年９月８日（２０１１．９．８）
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【Ｆターム（参考）】
【公開日】平成２５年３月２８日（２０１３．３．２８）
【国際特許分類】
【出願日】平成２３年９月８日（２０１１．９．８）
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【Ｆターム（参考）】
[ Back to top ]