説明

位置検出装置、位置検出方法及びコンピュータプログラム

【課題】検出対象の位置を精度良く検出する位置検出装置を提供する。
【解決手段】所定の位置で所定の向きに設置された撮像装置によって撮像された第一の画像から、検出対象に含まれる第一特徴点eye_2l及び第二特徴点eye_2rの平面座標の位置を検出し、第一特徴点及び第二特徴点の空間座標の位置を取得し、第一特徴点と第二特徴点との間の平面座標における距離と空間座標における距離との比を算出し、撮像装置によって撮像された第二の画像から、検出対象に含まれる第一特徴点及び第二特徴点の平面座標の位置を検出し、距離比と、第二の画像における第一特徴点及び第二特徴点の平面座標と、に基づいて第一特徴点及び第二特徴点の空間座標の位置を検出する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像から検出対象の位置を検出する技術に関する。
【背景技術】
【0002】
従来、コンピュータビジョンの分野では、複数のカメラの情報を利用して人物などの動く対象の検出や追跡に関する研究が多く行われている。例えば、以下のような処理が実現されている。まず、複数の視点から検出対象を観測し、画像上における検出対象の領域(シルエット)を抽出したシルエット画像を用意する。さらに、検出を行う空間の三次元構造(以下、「三次元環境情報」という。)と、検出に利用する全てのカメラの内部パラメータ及び外部パラメータ(以下、まとめて「カメラパラメータ」という。)と、を予め計測しておく。三次元環境中に人物モデルを配置し、先に計測したカメラパラメータを持つ仮想のカメラでこのシーンを撮影すると、シルエット画像のシミュレーションを行うことができる。人物モデルに楕円体を用いて、生成したシミュレーション画像とシルエット画像とを比較することによって、一般的な環境の下でも、複数の人物を検出することが可能となる(例えば非特許文献1参照)。
また、複数のカメラではなく一台のカメラで画像上の検出対象を検出し、その位置を検出する技術も提案されている(例えば特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2009−301241号公報
【非特許文献】
【0004】
【非特許文献1】T. Osawa,X. Wu, K. Sudo, K. Wakabayashi, H. Arai and T. Yasuno, “MCMC based Multi-body Tracking Using Full 3D Model of Both Target and Environment,” in Proc. of IEEE Intl Conf. on Advanced Video and Signal based Surveillance(AVSS 2007), Sep. 2007.pp.1〜6.(NTT)
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、従来の技術には以下のような問題があった。非特許文献1に開示された技術は、人物の三次元空間上での位置を直接予測し、複数のカメラからの情報を統合することで検出を行う。しかし、複数のカメラの情報を統合するためには、カメラのシャッターを同期することや、カメラ間の姿勢情報を予め取得しておくことなどが必要となる。そのため、運用上のコストが高くなってしまうという問題があった。
また、特許文献1に開示された技術は、画像中の人のシルエットの大きさや位置情報と、一般人の平均的な大きさや位置情報とを比較して大まかに人物の位置を検出する。そのため、検出する位置の精度が低くなってしまうという問題があった。
【0006】
上記事情に鑑み、本発明は、検出対象の位置を精度良く検出する技術の提供を目的としている。
【課題を解決するための手段】
【0007】
本発明の一態様は、所定の位置で所定の向きに設置された撮像装置によって撮像された第一の画像から、検出対象に含まれる第一特徴点及び第二特徴点の平面座標の位置を検出する第一の特徴点検出部と、前記第一特徴点及び前記第二特徴点の空間座標の位置を取得し、前記第一特徴点と第二特徴点との間の平面座標における距離と空間座標における距離との比を算出する算出部と、前記撮像装置によって撮像された第二の画像から、検出対象に含まれる第一特徴点及び第二特徴点の平面座標の位置を検出する第二の特徴点検出部と、前記距離比と、前記第二の画像における前記第一特徴点及び前記第二特徴点の平面座標と、に基づいて前記第一特徴点及び前記第二特徴点の空間座標の位置を検出する検出部と、を備える位置検出装置である。
【0008】
本発明の一態様は、所定の位置で所定の向きに設置された撮像装置によって撮像された第一の画像から、検出対象に含まれる第一特徴点及び第二特徴点の平面座標の位置を検出するステップと、前記第一特徴点及び前記第二特徴点の空間座標の位置を取得し、前記第一特徴点と第二特徴点との間の平面座標における距離と空間座標における距離との比を算出するステップと、前記撮像装置によって撮像された第二の画像から、検出対象に含まれる第一特徴点及び第二特徴点の平面座標の位置を検出するステップと、前記距離比と、前記第二の画像における前記第一特徴点及び前記第二特徴点の平面座標と、に基づいて前記第一特徴点及び前記第二特徴点の空間座標の位置を検出するステップと、を有する位置検出方法である。
【0009】
本発明の一態様は、所定の位置で所定の向きに設置された撮像装置によって撮像された第一の画像から、検出対象に含まれる第一特徴点及び第二特徴点の平面座標の位置を検出するステップと、前記第一特徴点及び前記第二特徴点の空間座標の位置を取得し、前記第一特徴点と第二特徴点との間の平面座標における距離と空間座標における距離との比を算出するステップと、前記撮像装置によって撮像された第二の画像から、検出対象に含まれる第一特徴点及び第二特徴点の平面座標の位置を検出するステップと、前記距離比と、前記第二の画像における前記第一特徴点及び前記第二特徴点の平面座標と、に基づいて前記第一特徴点及び前記第二特徴点の空間座標の位置を検出するステップと、をコンピュータに実行させるためのコンピュータプログラムである。
【発明の効果】
【0010】
本発明により、検出対象の位置を精度良く検出することが可能となる。
【図面の簡単な説明】
【0011】
【図1】位置検出システムのシステム構成を表すシステム構成図である。
【図2】第一〜第三特徴点の概略を示す図である。
【図3】顔の向きの概略を表す図である。
【図4】前処理部の処理の流れを表すフローチャートである。
【図5】位置検出部の処理の流れを表すフローチャートである。
【発明を実施するための形態】
【0012】
図1は、位置検出システム1のシステム構成を表すシステム構成図である。位置検出システム1は、撮像装置10と位置検出装置100とを備える。位置検出システム1は、一台の撮像装置10によって撮像された画像に基づいて、検出する対象となっている人物の顔の空間座標を算出する。以下、位置検出システム1の詳細について説明する。
撮像装置10は、動画像を撮像するビデオカメラである。撮像装置10は、撮像した画像のデータを位置検出装置100に対して出力する。撮像装置10は、カメラパラメータが変わらないように、所定の位置で所定の向きに固定されている。
【0013】
位置検出装置100は、バスで接続されたCPU(Central Processing Unit)やメモリや補助記憶装置などを備え、位置検出プログラムを実行する。位置検出装置100は、位置検出プログラムを実行することによって、前処理部20及び位置検出部30を備える装置として機能する。なお、位置検出装置100の各機能の全て又は一部は、ASIC(Application Specific Integrated Circuit)やPLD(Programmable Logic Device)やFPGA(Field Programmable Gate Array)等のハードウェアを用いて実現されても良い。位置検出プログラムは、コンピュータ読み取り可能な記録媒体に記録されても良い。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。
【0014】
前処理部20は、撮像装置10によって撮像された前処理用の画像(以下、「参照画像」という。)を用いて前処理を実行する。前処理部20は、前処理の実行によって、参照画像に写っている検出対象(人物の顔)が有する第一特徴点及び第二特徴点の間の平面距離と空間距離との比(以下、「距離比」という。)を算出する。第一特徴点は、人物の左目の内側の端の点である。第二特徴点は、人物の右目の内側の端の点である。平面距離は、撮像された画像における平面座標系(二次元座標系)での距離(画素間の距離)を表す。空間距離は、三次元の実空間における空間座標系(三次元座標系)での距離を表す。
【0015】
位置検出部30は、前処理部20によって算出された距離比に基づいて、検出対象の空間座標系での位置(空間座標)を算出する。より具体的には、位置検出部30は、距離比と、第一特徴点及び第二特徴点それぞれの平面座標と、検出対象の向きと、に基づいて、第一特徴点及び第二特徴点の空間座標を算出する。位置検出部30は、算出した第一特徴点及び第二特徴点に基づいて、検出対象の空間座標を出力する。例えば、位置検出部30は、第一特徴点又は第二特徴点の空間座標そのものを検出対象の空間座標として出力しても良い。また、位置検出部30は、第一特徴点及び第二特徴点の空間座標に基づいて検出対象の空間座標を算出しても良い。
【0016】
次に、前処理部20の詳細について説明する。前処理部20は、特徴点検出部201、姿勢取得部202、距離情報取得部203、算出部204を備える。
特徴点検出部201は、撮像装置10によって撮像された参照画像において、第一特徴点、第二特徴点、第三特徴点を検出する。図2は、第一〜第三特徴点の概略を示す図である。第三特徴点は、鼻頭を表す点である。特徴点検出部201が第一特徴点、第二特徴点、第三特徴点を検出するための技術としては、既存のどのような技術が適用されても良い。
【0017】
姿勢取得部202は、検出対象の顔の向きを取得する。姿勢取得部202は、検出対象の顔の向きとして、例えば第一特徴点、第二特徴点、及び第三特徴点を含む平面(以下、「特徴平面」という。)の空間的な傾きを算出する。
姿勢取得部202の具体的な処理の例として、以下のような処理がある。例えば、姿勢取得部202は、人の顔の対称性を利用し、左右の顔のパーツ(目、瞳孔、鼻孔、耳、口の端など左右対称に存在するもの)を結ぶ線分を含む図形の歪みに基づいて顔の向きを算出しても良い。以下、姿勢取得部202が顔の向きを算出する処理の詳細について説明する。
【0018】
例えば、姿勢取得部202は、画像平面上の第一特徴点eye_2l(x_e2l,y_e2l)、画像平面上の第二特徴点eye_2r(x_e2r,y_e2r)、画像平面上の第三特徴点nose_2(x_n2,y_n2)の3点を結ぶ線分から形成される三角形の歪みに基づいて顔の向きを算出する。一般的に、左右の目の中心下方に鼻がある。そのため、上記の三角形が二等辺三角形であるという前提条件のもと、上記の三角形の歪みに基づいて、三次元空間における三角形の姿勢を算出することができる。以下の説明では、姿勢取得部202が算出する顔の向きを、Posture(θ,θ,θ)と表す。図3は、顔の向きの概略を表す図である。
【0019】
距離情報取得部203は、姿勢取得部202が処理に用いた画像と同一の画像における第一特徴点と撮像装置10との間の距離情報、第二特徴点と撮像装置10との間の距離情報を取得する。距離情報取得部203が取得する各距離情報は、空間座標系の距離である。
距離情報取得部203に実装される距離情報の取得方法は、既存のどのような技術に基づいたものであっても良い。距離情報取得部203に適用できる技術の例として、シェイプフロムフォーカス法、シェイプフロムデフォーカス法、シェイプフロムモーション法、シェイプフロムシェーディング法などがある。シェイプフロムフォーカス法は、最もよく合焦したときのフォーカス位置から距離を求める方法である。シェイプフロムデフォーカス法は、合焦距離の異なる複数の画像から相対的なぼけ量を求め、ぼけ量と距離との相関関係をもとに距離を求める方法である。シェイプフロムモーション法は、時間的に連続する複数の画像における所定の特徴点の移動軌跡をもとに物体までの距離を求める方法である。シェイプフロムシェーディング法は、画像における陰影、対象となる物体の反射特性および光源情報をもとに物体までの距離を求める方法である。
【0020】
算出部204は、特徴点検出部201によって検出された第一特徴点及び第二特徴点の平面座標と、姿勢取得部202によって取得された顔の向きと、距離情報取得部203によって取得された距離情報と、に基づいて第一特徴点と第二特徴点との間の空間距離を算出する。そして、算出部204は、算出された空間距離に基づいて距離比を算出する。以下、距離比の算出処理の具体例について説明する。
【0021】
撮像された画像の画素ピッチを縦P、横P、画像の解像度を縦S、横S、撮像装置10のレンズ中心を原点としたときの第一特徴点及び第二特徴点の空間座標をeye_3l(x_e3l,y_e3l,z_e3l)、eye_3r(x_e3r,y_e3r,z_e3r)、第一特徴点と撮像装置10との間の距離をDl、第二特徴点と撮像装置10との間の距離をDr、検出対象の人間の頭部を球型と仮定したときの半径をr、とする。また、R、R、Rは、それぞれx軸、y軸、z軸中心の回転行列である。Tは、平行移動行列である。この場合、算出部204は、第一特徴点の空間座標eye_3l(x_e3l,y_e3l,z_e3l)、第二特徴点の空間座標eye_3r(x_e3r,y_e3r,z_e3r)を、以下に示す式1、式2でそれぞれ算出する。
【0022】
【数1】

【数2】

【0023】
算出部204は、第一特徴点と第二特徴点との間の空間距離Del−erを、以下に示す式3で算出する。
【0024】
【数3】

【0025】
算出部204は、第一特徴点及び第二特徴点の平面距離(画素数)に対する、第一特徴点及び第二特徴点の空間距離の比率Drateを、以下に示す式4で算出する。
【0026】
【数4】

【0027】
図4は、前処理部20の処理の流れを表すフローチャートである。まず、特徴点検出部201が、前処理用の参照画像において第一特徴点及び第二特徴点を検出する(ステップS101)。次に、姿勢取得部202が、参照画像における検出対象の顔の向きを取得する(ステップS102)。次に、距離情報取得部203が、第一特徴点と撮像装置10との間の距離、第二特徴点と撮像装置10との間の距離をそれぞれ取得する(ステップS103)。
【0028】
次に、算出部204が、第一特徴点及び第二特徴点の間の平面距離を取得する(ステップS104)。次に、算出部204が、第一特徴点及び第二特徴点の間の空間距離を取得する(ステップS105)。そして、算出部204が、第一特徴点及び第二特徴点の平面距離と空間距離との比(距離比)を算出する(ステップS106)。以上で前処理部20による前処理が終了する。
【0029】
次に、位置検出部30の詳細について説明する。位置検出部30は、特徴点検出部301、姿勢算出部302、検出部303を備える。特徴点検出部301及び姿勢算出部302の構成は、前処理部20が備える特徴点検出部201及び姿勢取得部202と同じであるため説明を省略する。なお、位置検出部30の各機能部は、参照画像を撮像した撮像装置と同一の撮像装置10によって撮像された画像であって、参照画像とは異なるタイミングで撮像された画像(以下、「対象画像」という。)に対して処理を行い、対象画像における検出対象の空間座標系の位置を検出する。特徴点検出部301が対象画像において検出する第一特徴点の平面座標をeye_2l’(x_e2l’,y_e2l’)、第二特徴点の平面座標をeye_2r’(x_e2r’,y_e2r’))と表す。また、姿勢算出部302が対象画像において算出する顔の向きをPosture’(θ’,θ’,θ’)と表す。
【0030】
対象画像は、撮像装置10から連続して継続的に位置検出装置100に入力されても良い。例えば、撮像装置10が撮像した動画像の各フレームの画像が対象画像として位置検出装置100に入力されても良い。また、撮像装置10が撮像した動画像の全フレームのうち、所定の間隔の各フレームが対象画像として位置検出装置100に入力されても良い。また、撮像装置10が撮像した動画像の全フレームが位置検出装置100に入力され、位置検出部30が所定の間隔の各フレームを対象画像として処理しても良い。
【0031】
検出部303は、前処理部20の算出部204が算出した距離比に基づいて、撮像装置10が撮像した対象画像における第一特徴点の空間座標eye_3l’(x_e3l’,y_e3l’,z_e3l’)、第二特徴点の空間座標eye_3r’(x_e3r’,y_e3r’,z_e3r’)を算出する。
【0032】
検出部303の処理の具体例について説明する。撮像装置10の水平の画角をθcx度、垂直の画角をθcy度としたとき、第一特徴点の空間座標の各座標値は以下に示す式5〜式7のように表される。
【0033】
【数5】

【数6】

【数7】

【0034】
また、第二特徴点の空間座標の各座標値は以下に示す式8〜式10のように表される。
【0035】
【数8】

【数9】

【数10】

【0036】
図5は、位置検出部30の処理の流れを表すフローチャートである。まず、特徴点検出部301が、第一特徴点及び第二特徴点を対象画像において検出する(ステップS201)。次に、姿勢算出部302が、検出対象の向きを対象画像において取得する(ステップS202)。そして、検出部303が、第一特徴点及び第二特徴点の空間座標を算出する(ステップS203)。検出部303は、第一特徴点及び第二特徴点の空間座標に基づいて、三次元の実空間における検出対象の位置(空間座標)を検出する。
このように構成された位置検出システム1では、前処理部20において予め検出対象の距離比を算出しておく。そして、位置検出部30は、対象画像において検出対象の空間座標を検出する際に、第一特徴点や第二特徴点と撮像装置10との間の距離を算出することなく、各特徴点の平面座標と距離比とに基づいて処理を行う。このように、検出対象に含まれる特徴点を検出して空間座標を検出しているため、検出される空間座標の精度を高めることができる。また、第一特徴点や第二特徴点と撮像装置10との間の距離を算出する必要が無いため、精度を維持しつつも、複数台の撮像装置を用いることなく高速に処理を行うことが可能となる。
【0037】
<変形例>
位置検出システム1が検出する対象は、人物の顔に限定される必要は無い。例えば、人物の手や足や胴体や全身であっても良いし、人以外の生物であっても良いし、飛行機や自動車などの物体であっても良い。
撮像装置10は、静止画像を撮像するスチルカメラであっても良い。
前処理部20に備えられる特徴点検出部201と、位置検出部30に備えられる特徴点検出部301とは、一体に構成されても良い。前処理部20に備えられる姿勢取得部202と、位置検出部30に備えられる姿勢算出部302とは、一体に構成されても良い。
【0038】
第一特徴点は上述した具体例に限定されない。例えば、第一特徴点は目の中央点であっても良いし、眉毛、瞳孔、口、耳などに基づいて決まる点(例えば端点や中心点など)であっても良いし、その他の点であっても良い。第二特徴点及び第三特徴点も同様である。
姿勢取得部202は、人の顔の対称性を利用し、左右の顔のパーツの大きさの違いに基づいて顔の向きを算出しても良い。また、姿勢取得部202は、鼻や口といった顔の中央に位置するパーツの顔領域中の位置関係に基づいて、顔の向きを算出しても良い。
【0039】
上記の説明では、第一特徴点、第二特徴点、第三特徴点の三点に基づいて顔の向きを算出する。しかしながら、顔の向きを算出する際に用いる特徴点は、必ずしも第一特徴点及び第二特徴点である必要は無い。例えば、第四特徴点及び第五特徴点を定義し、第三〜第五特徴点に基づいて顔の向きが算出されても良い。
距離情報取得部203が処理に用いる画像は、姿勢取得部202が処理に用いた画像と必ずしも同一である必要は無く、撮像された時刻が時間軸で十分に近接していれば良い。十分に近接しているとは、検出対象の移動距離が十分に小さく、位置検出装置100の位置検出精度が許容できる範囲に収まることである。
【0040】
Dl及びDrの値は、いずれか一方の値又は両者の統計値(例えば平均値)に一致させても良い。
また、位置検出システム1では、撮像装置10は一台でも高精度に処理を行うことが可能であるが、複数台の撮像装置10を備えることを妨げるものではない。
【0041】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【0042】
1…位置検出システム, 10…撮像装置, 20…前処理部, 30…位置検出部, 201…特徴点検出部, 202…姿勢取得部, 203…距離情報取得部, 204…算出部, 301…特徴点検出部, 302…姿勢算出部, 303…検出部

【特許請求の範囲】
【請求項1】
所定の位置で所定の向きに設置された撮像装置によって撮像された第一の画像から、検出対象に含まれる第一特徴点及び第二特徴点の平面座標の位置を検出する第一の特徴点検出部と、
前記第一特徴点及び前記第二特徴点の空間座標の位置を取得し、前記第一特徴点と第二特徴点との間の平面座標における距離と空間座標における距離との比を算出する算出部と、
前記撮像装置によって撮像された第二の画像から、検出対象に含まれる第一特徴点及び第二特徴点の平面座標の位置を検出する第二の特徴点検出部と、
前記距離比と、前記第二の画像における前記第一特徴点及び前記第二特徴点の平面座標と、に基づいて前記第一特徴点及び前記第二特徴点の空間座標の位置を検出する検出部と、
を備える位置検出装置。
【請求項2】
所定の位置で所定の向きに設置された撮像装置によって撮像された第一の画像から、検出対象に含まれる第一特徴点及び第二特徴点の平面座標の位置を検出するステップと、
前記第一特徴点及び前記第二特徴点の空間座標の位置を取得し、前記第一特徴点と第二特徴点との間の平面座標における距離と空間座標における距離との比を算出するステップと、
前記撮像装置によって撮像された第二の画像から、検出対象に含まれる第一特徴点及び第二特徴点の平面座標の位置を検出するステップと、
前記距離比と、前記第二の画像における前記第一特徴点及び前記第二特徴点の平面座標と、に基づいて前記第一特徴点及び前記第二特徴点の空間座標の位置を検出するステップと、
を有する位置検出方法。
【請求項3】
所定の位置で所定の向きに設置された撮像装置によって撮像された第一の画像から、検出対象に含まれる第一特徴点及び第二特徴点の平面座標の位置を検出するステップと、
前記第一特徴点及び前記第二特徴点の空間座標の位置を取得し、前記第一特徴点と第二特徴点との間の平面座標における距離と空間座標における距離との比を算出するステップと、
前記撮像装置によって撮像された第二の画像から、検出対象に含まれる第一特徴点及び第二特徴点の平面座標の位置を検出するステップと、
前記距離比と、前記第二の画像における前記第一特徴点及び前記第二特徴点の平面座標と、に基づいて前記第一特徴点及び前記第二特徴点の空間座標の位置を検出するステップと、
をコンピュータに実行させるためのコンピュータプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate


【公開番号】特開2013−19721(P2013−19721A)
【公開日】平成25年1月31日(2013.1.31)
【国際特許分類】
【出願番号】特願2011−151924(P2011−151924)
【出願日】平成23年7月8日(2011.7.8)
【新規性喪失の例外の表示】特許法第30条第1項適用申請有り 平成23年3月3日 一般社団法人情報処理学会発行の「情報処理学会シンポジウムシリーズ Vol.2011.No.3 インタラクション2011 論文集」に発表
【出願人】(000004226)日本電信電話株式会社 (13,992)
【Fターム(参考)】