画像処理装置、画像処理方法
【課題】 被写体の特徴情報から該被写体を特定できない場合であっても、該被写体を一意に特定するための技術を提供すること。
【解決手段】 撮像画像を取得し、センサによりユーザをセンシングすることで得られたセンサ情報を受信し、ユーザの属性情報と、撮像画像中におけるユーザを識別するための識別パラメータと、を取得する。受信したセンサ情報と、取得した識別パラメータと、に基づいて、撮像画像中の被写体の中から、ユーザを識別し、取得した属性情報を、識別の結果に応じた撮像画像上の位置に合成して出力する。
【解決手段】 撮像画像を取得し、センサによりユーザをセンシングすることで得られたセンサ情報を受信し、ユーザの属性情報と、撮像画像中におけるユーザを識別するための識別パラメータと、を取得する。受信したセンサ情報と、取得した識別パラメータと、に基づいて、撮像画像中の被写体の中から、ユーザを識別し、取得した属性情報を、識別の結果に応じた撮像画像上の位置に合成して出力する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像画像中に映っている被写体の情報を提示するための技術に関する。
【背景技術】
【0002】
近年、カメラ等で撮影した現実環境の画像に、現実環境中の物体の属性情報や、CG(Computer Graphics)を用いたバーチャルな物体を、付加、合成するAR(Augmented Reality:拡張現実)技術が盛んである。例えば、カメラをかざすと、GPS(Global Positioning System)による位置情報から現実の映像上に関連するタグ情報を重ね合わせて表示する携帯電話用拡張現実ソフトウェアなども登場している。
【0003】
このようなARシステムにおいて、被写体の近傍に被写体に関連した情報を表示することが望まれている。すなわち、撮影画像中に様々な被写体が含まれている場合、被写体に関連するそれぞれの情報が、どの被写体の情報であるのかをユーザがわかるような形で表示することが望ましい。またこのためには、撮影画像中から被写体を一意に特定すること、そして特定した被写体と被写体の近傍に表示すべき情報とを結びつけることが必要である。
【0004】
特許文献1には、撮影画像に被写体が所有する無線タグが報知した情報を付属情報として付加する技術が開示されている。より詳しくは、無線タグの報知情報には無線タグ所有者の顔等を識別できる画像特徴情報が含まれており、撮影画像と比較することで被写体の特定を行うことができる画像検索装置を開示している。
【0005】
特許文献2は、RFタグを持つ被写体が指向性アンテナのエリアを通過する際、画角が指向性アンテナエリアと連動したカメラにて撮影を行い、撮影画像にRFタグの所有者である被写体が存在することを検出可能な映像属性自動付与装置を開示している。
【0006】
特許文献3は、制御装置が被写体の存在する場所をカメラに通知し、カメラは、被写体とカメラとの相対位置を算出することで、被写体の場所を特定する方法を開示している。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2007-052646号公報
【特許文献2】特開2007-228195号公報
【特許文献3】特開2008-066963号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、複数の被写体が近接している場合や、被写体の向きによっては、被写体を個別に特定することが困難となる場合がある。
【0009】
例えば、特許文献1に開示されている技術では、被写体が後ろを向いた撮影画像の場合、被写体を顔等の画像特徴情報から特定することは難しい。また、特許文献2や特許文献3に開示されている技術では、被写体が繁華街のような同一のエリアに多数存在する場合、近接する被写体同士の区別が難しい。
【0010】
本発明はこのような問題に鑑みてなされたものであり、被写体の特徴情報から該被写体を特定できない場合であっても、該被写体を一意に特定するための技術を提供することを目的とする。
【課題を解決するための手段】
【0011】
上述の目的を達成するために、本発明の画像処理装置は、撮像画像を取得する手段と、センサによりユーザをセンシングすることで得られたセンサ情報を受信する受信手段と、前記ユーザの属性情報と、前記撮像画像中における前記ユーザを識別するための識別パラメータと、を取得する取得手段と、前記受信手段が受信したセンサ情報と、前記取得手段が取得した識別パラメータと、に基づいて、前記撮像画像中の被写体の中から、前記ユーザを識別する識別手段と、前記取得手段が取得した属性情報を、前記識別手段による識別の結果に応じた前記撮像画像上の位置に合成して出力する出力手段とを有することを特徴とする。
【発明の効果】
【0012】
本発明の構成により、被写体の特徴情報から該被写体を特定できない場合であっても、該被写体を一意に特定することができる。
【図面の簡単な説明】
【0013】
【図1】システムの構成を示す図。
【図2】サーバ109が保持する情報について説明する図。
【図3】デジタルカメラ101の機能構成例を示すブロック図。
【図4】携帯電話の機能構成例を示すブロック図。
【図5】処理シーケンスを示す図。
【図6】識別情報の構成例を示す図。
【図7】ステップS510における処理の詳細を示すフローチャート。
【図8】ステップS905において生成されるテーブルの構成例を示す図。
【図9】ステップS703において行う処理のフローチャート。
【図10】識別情報の構成例を示す図。
【図11】ステップS905において生成されるテーブルの構成例を示す図。
【図12】テーブルの構成例を示す図。
【図13】テーブルの構成例を示す図。
【図14】テーブルの構成例を示す図。
【発明を実施するための形態】
【0014】
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の1つである。
【0015】
[第1の実施形態]
本実施形態に係る画像処理装置は、撮像画像上に、該撮像画像中に映っている被写体の属性情報を合成して表示するデジタルカメラである。図1に、このデジタルカメラを含むシステムの構成を示す。
【0016】
デジタルカメラ101は、被写体を撮像することで撮像画像の生成、記録、表示を行う機能に加え、IEEE802.11に則った無線LAN機能を有する。図1では、デジタルカメラ101の周囲には人物102,104,106が存在しており、人物102,104,106はそれぞれ、携帯電話103,105,107を手に把持している。携帯電話103、105,107の何れも、IEEE802.11に則った無線LAN機能を有する機器であり、デジタルカメラ101との無線通信を可能にする。携帯電話103,105,107は何れも携帯端末の一例であり、携帯電話103,105,107が行うものとして後述する各処理を実行可能な機器であれば、如何なる携帯端末を携帯電話103,105,107に適用してもよい。また、図1では、デジタルカメラ101の周囲には3台の携帯電話が存在するものとしているが、その台数はこれに限るものではない。
【0017】
携帯電話103,105,107は何れも、自機に関する情報及び自機の所有者(ユーザ)に関する情報を含む識別情報を定期的若しくは不定期的に、無線LAN機能によってデジタルカメラ101に送信する。なお、この識別情報の送信は、デジタルカメラ101からの送信要求を受けたことに応じて行ってもよい。この識別情報は、IEEE802.11に則ったフレームの一要素として付与され、送信されるものとする。この識別情報について詳しくは後述する。
【0018】
デジタルカメラ101はまた、インターネットなどのネットワーク108を介して、外部装置としてのサーバ109とのデータ通信を行うことができる。然るにデジタルカメラ101は、携帯電話103,105,107のそれぞれから受信した識別情報を用いて、携帯電話103、105,107のそれぞれの所有者である人物102,104,106に係る後述の様々な情報をサーバ109から取得する。そしてデジタルカメラ101は、この取得した情報や上記識別情報を用いて、自身が撮像した撮像画像中の被写体(人物102,104,106のうち1以上)を識別すると共に、この識別した被写体に関する情報をこの撮像画像上に重畳して表示する。
【0019】
次に、デジタルカメラ101の機能構成例について、図3のブロック図を用いて説明する。制御部320は、記憶部312に格納されているコンピュータプログラムやデータを用いて各種の処理を実行すると共に、デジタルカメラ101を構成する各部の動作制御を行う。
【0020】
無線通信制御部301は、携帯電話103,105,107との間で無線信号の送受信を行うためのアンテナや回路、それらを制御することで無線通信を制御する制御部、を有する。
【0021】
シャッターボタン302は、撮像を開始時するためのボタンであり、デジタルカメラ101のユーザがシャッターボタン302を押下すると、制御部320による制御により、撮像部303において撮像処理が開始される。
【0022】
撮像部303は、レンズやRGBセンサ、赤外線センサ(熱センサ)、X線センサ、A/D変換器、それらを制御する制御部、を有し、撮像部303が撮像処理を行うことで、撮像画像を生成することができる。
【0023】
表示部304は、撮像部303が撮像した撮像画像や、その他の情報(画像情報や文字情報)を表示するための表示領域を有しており、液晶ディスプレイやそれを制御する制御部を有する。識別情報取得部305は、無線通信制御部301を制御することで、携帯電話103,105,107のそれぞれから識別情報を受信する。
【0024】
顔特徴情報取得部306は無線通信制御部301を制御し、識別情報取得部305が携帯電話103,105,107のそれぞれから取得した識別情報を用いて、サーバ109に携帯電話103,105,107のそれぞれの所有者の顔の特徴量を問い合わせる。なお、本実施形態では、所有者を識別するために使用可能な識別パラメータの一例として顔の特徴量を用いるが、所有者を識別するために使用可能なパラメータであれば、顔の特徴量以外のパラメータを採用してもよい。
【0025】
属性情報取得部307は無線通信制御部301を制御し、識別情報取得部305が携帯電話103,105,107のそれぞれから取得した識別情報を用いて、サーバ109に携帯電話103,105,107のそれぞれの所有者の属性情報を問い合わせる。本実施形態ではこの属性情報は所有者の名前とするが、他の属性を表す情報であってもよい。
【0026】
被写体特定部308は、顔特徴情報取得部306が取得したそれぞれの所有者の顔の特徴量を用いて、撮像部303により生成された撮像画像中の被写体を識別する。なお、この識別が失敗した場合、被写体特定部308は、識別情報から得られる後述の様々な情報を用いて再度、撮像部303により生成された撮像画像中の被写体を識別する。
【0027】
加速度情報取得部309は、3軸方向の加速度を取得する加速度センサと、該加速度センサを制御する制御部と、を有する。位置情報取得部311は、デジタルカメラ101の現在位置を特定するための緯度、経度、方位、高度、上下などの情報を取得するGPSおよび3軸の地磁気センサ、ジャイロセンサ等と、これを制御する制御部と、を有する。
【0028】
記憶部312は、RAMやROM等により構成されており、無線通信制御部301が携帯電話103,105,107から受信した識別情報や、サーバ109から受信した様々な情報を一時的に記憶するためのエリアを有する。更に記憶部312は、制御部320による実行対象となるコンピュータプログラムやデータを一時的に記憶するためのエリア、制御部320が各種の処理を実行する際に用いるワークエリアを有する。即ち、記憶部312は、各種のエリアを適宜に提供することができる。
【0029】
姿勢情報取得部316は、位置情報取得部311から取得した3軸の方位情報と、加速度情報取得部309から取得した3軸の加速度情報と、から、ピッチ角、ロール角、ヨー角を抽出する。ここで、ピッチ角とは、X軸を軸とする回転角のことであり、ロール角とは、Y軸を軸とする回転角のことであり、ヨー角とは、Z軸を軸とする回転角のことである。即ち、デジタルカメラ101の姿勢を算出する。そして更に、姿勢情報取得部316は、3軸の加速度情報と、ロール角・ピッチ角・ヨー角と、からデジタルカメラ101の動き情報を求める。
【0030】
画像合成部310は、被写体特定部308が識別した所有者に関する情報を、撮像部303が生成した撮像画像上に合成して出力する。合成位置については特に限定するものではなく、被写体特定部308が識別した所有者の画像領域の近傍に位置に合成してもよいし、撮像画像上の規定の位置に合成してもよい。また、画像合成部310による画像の出力先については特に限定するものではなく、表示部304に対して出力してもよいし、記憶部312に対して出力してもよい。
【0031】
次に、携帯電話103,105,107の機能構成例について、図4のブロック図を用いて説明する。無線通信制御部401は、デジタルカメラ101との間で無線信号の送受信を行うためのアンテナや回路、それらを制御することで無線通信を制御する制御部、を有する。
【0032】
識別情報発信部402は、無線通信制御部401を制御することで、自機に固有の識別情報をデジタルカメラ101に対して送信する。携帯電話制御部403は、自機を構成する各部の動作制御を行うと共に、自機が行うものとして後述する各処理を実行する。
【0033】
位置情報取得部404は、自機の位置を特定するための緯度、経度、方位、高度などの情報を取得するGPSおよび3軸の地磁気センサ等と、これらを制御する制御部と、を有する。加速度情報取得部405は、3軸方向の加速度を取得する加速度センサと、加速度センサを制御する制御部と、を有する。
【0034】
姿勢情報取得部406は、位置情報取得部404が取得した3軸の方位情報と、加速度情報取得部405が取得した3軸の加速度情報と、から、ピッチ角、ロール角、ヨー角を抽出する。ここで、ピッチ角とは、X軸を軸とする回転角のことであり、ロール角とは、Y軸を軸とする回転角のことであり、ヨー角とは、Z軸を軸とする回転角のことである。即ち、自機の姿勢を算出する。そして更に、姿勢情報取得部406は、3軸の加速度情報と、ロール角・ピッチ角・ヨー角と、から自機の動き情報を求める。生体情報取得部407は、心拍センサ、音声センサ、体温センサ等の生体情報を収集するセンサを備え、自機の所有者の心拍数、音声、体温等の生体情報を取得する。
【0035】
ここで、識別情報発信部402が送信する識別情報の構成例について、図6を用いて説明する。図6は、携帯電話103,105,107のそれぞれが送信する識別情報の構成をテーブル形式で示している。
【0036】
識別情報は、識別子(列601)、端末位置(列602)、時刻(列603)、動き(列604)、心拍数(列605)、体温(列606)、音(列607)、の情報を含む。
【0037】
「識別子」は、携帯電話の所有者を一意に決定するためのユニークな値として無線通信制御部401で使用するイーサネット(登録商標)MACアドスであり、携帯電話に対して適宜設定されたものである。「端末位置」は、携帯電話の所有者が該携帯電話を把持している場所である。「時刻」は、識別情報が生成されたときの時刻(携帯電話制御部403が計時)である。
【0038】
「動き」は、姿勢情報取得部406が求めた加速度情報若しくは該加速度情報から得られる動きがどの程度の動きであるのかを表す情報である。図6では、加速度情報が表す動きが、「静止している」、「歩いている」、「走っている」の何れであるのかを「動き」としている。これは例えば、加速度情報が表す動き(加速度)が第1の閾値以下であれば「静止している」とし、第1の閾値よりも大きく第2の閾値以下であれば「歩いている」とし、第2の閾値よりも大きければ「走っている」としている。
【0039】
なお、この「動き」を、図10に示す如く、加速度情報をそれぞれの携帯電話を原点とし、方位および上下、時間を軸とした4次元関数へのフーリエ変換した関数としてもよい。
【0040】
「心拍数」は、生体情報取得部407が取得した携帯電話の所有者の心拍数である。「体温」は、生体情報取得部407が取得した携帯電話の所有者の体温である。「音」は、生体情報取得部407が取得した携帯電話の所有者の音声情報であり、この音声情報は適宜圧縮してもよい。
【0041】
次に、サーバ109が保持する情報について、図2を用いて説明する。サーバ109が管理するデータベースには、図2に示す如く、携帯電話の所有者(人物102,104,106)ごとに、該所有者に対する「識別子、名前、コメント、顔の特徴量」のセットが登録されている。
【0042】
「識別子」は、携帯電話側に設定されている上記の「識別子」に対応しており、例えば、図6の携帯電話103の「識別子」は図2の人物102の「識別子」と同じとなっている。
【0043】
「名前」は、携帯電話の所有者の属性情報としての名前である。然るに、携帯電話の所有者の属性情報には、名前以外にも住所や所属先など様々なものが考え得るので、他の属性情報を登録してもよい。「コメント」は、適宜入力されたコメントである。なお、「名前」や「コメント」については、例えば、テキスト形式のデータとして登録しておけばよい。
【0044】
「顔の特徴量」は、携帯電話の所有者の顔が画像中に映っている場合に、この顔の識別処理で用いる識別パラーメータの一例である。「顔の特徴量」は、例えば、バイナリ形式のデータとして登録しておけばよい。
【0045】
次に、デジタルカメラ101、携帯電話103,105,107、サーバ109のそれぞれによる処理シーケンスについて、図5を用いて説明する。デジタルカメラ101のユーザがシャッターボタン302を押下すると、ステップS501において制御部320はこれを検知して撮像開始を撮像部303に指示する。これにより撮像部303は被写体(人物102,104,106を含む)の撮像を行い、撮像画像を生成する。この撮像画像は記憶部312などに格納される。
【0046】
ステップS502では、制御部320は、無線通信制御部301を制御し、識別情報の取得要求を示す無線信号を発する。より具体的には、無線通信制御部301により、IEEE802.11に則ったプローブ・リクエスト・フレームをブロードキャストで送信する。図1の場合、デジタルカメラ101の周囲には携帯電話103,105,107が存在しているために、結果的には、これらの携帯電話103,105,107に対して識別情報の取得要求を送信することになる。
【0047】
なお、上記のとおり、識別情報は、それぞれの携帯電話が定期的若しくは不定期的に送信しても良く、その場合は、識別情報の取得要求を送信する必要はなく、デジタルカメラ101はそれぞれの携帯電話から送信された識別情報を受信するだけでよい。
【0048】
ステップS503,S504,S505のそれぞれは、携帯電話103,105,107において識別情報を生成する処理である。携帯電話103,105,107のそれぞれの無線通信制御部401が識別情報の取得要求を受信すると、携帯電話制御部403は、位置情報取得部404、加速度情報取得部405、姿勢情報取得部406、生体情報取得部407を動作させる。これにより、図6や図10に示すような識別情報に含める情報を収集することができる。
【0049】
ステップS506では、携帯電話103,105,107のそれぞれの識別情報発信部402は無線通信制御部401を制御して、識別情報をデジタルカメラ101に対して送信する。この送信は、プローブ・レスポンス・フレームでそれぞれ応答するようにしてもよい。
【0050】
これによりデジタルカメラ101は、携帯電話103,105,107のそれぞれから送信された識別情報を取得することができる。なお、識別情報の受信は、識別情報取得部305が無線通信制御部301を制御することで行い、識別情報取得部305は、この受信したそれぞれの携帯電話の識別情報を記憶部312に格納する。
【0051】
ステップS507では、顔特徴情報取得部306は、携帯電話103,105,107のそれぞれから受信した識別情報中の識別子をサーバ109に対して送信することで、該識別子に対応する顔の特徴量の取得要求を行う。更に、属性情報取得部307は、携帯電話103,105,107のそれぞれから受信した識別情報中の識別子をサーバ109に対して送信することで、該識別子に対応する名前の取得要求を行う。
【0052】
ステップS508では、サーバ109は、ステップS507で送信された識別子を受信すると、この識別子とセットにして登録されている名前及び顔の特徴量を、自身が管理するデータベースから取得する。
【0053】
そしてステップS509ではサーバ109は、ステップS507で送信された識別子とセットにしてデータベース内で管理している名前及び顔の特徴量を、デジタルカメラ101に対して送信する。
【0054】
これによりデジタルカメラ101は、サーバ109に対して送信した識別子に対応する名前及び顔の特徴量を受信することができる。なお、顔の特徴量の受信は顔特徴情報取得部306が行い、名前の受信は属性情報取得部307が行う。
【0055】
ステップS510では、被写体特定部308は、サーバ109から取得した顔の特徴量を用いて、人物102,104,106が、ステップS501で生成して記憶部312に格納した撮像画像中のどの被写体であるのかを識別する。ステップS510における処理の詳細については後述する。
【0056】
次にステップS511では、画像合成部310は、被写体特定部308が識別した所有者の名前を、ステップS501で生成して記憶部312に格納した撮像画像上に合成して、表示部304に出力する。
【0057】
次に、上記のステップS510における処理の詳細について、図7のフローチャートを用いて説明する。ステップS701では被写体特定部308は、サーバ109から取得した顔の特徴量を用いて、人物102,104,106が、ステップS501で生成して記憶部312に格納した撮像画像中のどの被写体であるのかを識別する。この識別処理は一般的な技術であるために説明は省略する。
【0058】
ステップS702では被写体特定部308は、撮像画像から人物102,104,106の全てが識別されたか否かを判断する。この判断の結果、撮像画像から人物102,104,106の何れかが識別されなかった場合は処理はステップS703に進み、全て識別された場合は、処理はステップS705に進む。ステップS705では、被写体特定部308は、被写体の識別処理は成功したと判断して、図7のフローチャートの処理を終える。
【0059】
ステップS703で被写体特定部308は、携帯電話103,105,107のそれぞれから受信した識別情報中の情報を用いて、撮像画像中の被写体のうち人物102,104,106の何れとも識別されなかった被写体について識別処理を行う。この識別処理では、識別情報中の「動き」の情報を用いた識別処理、識別情報中の生体情報(「心拍数」や「体温」)を用いた識別処理、識別情報中の「音」の情報を用いた識別処理、の何れかを実行する。ステップS703における処理の詳細については後述する。
【0060】
ステップS704では、被写体特定部308は、ステップS703での識別処理により、撮像画像から人物102,104,106の全てが識別されたか否かを判断する。この判断の結果、撮像画像から人物102,104,106の何れかが識別されなかった場合は処理はステップS706に進み、全て識別された場合は、処理はステップS705に進む。ステップS706では、被写体特定部308は、被写体の識別処理は失敗したと判断して、図7のフローチャートの処理を終える。
【0061】
次に、上記のステップS703において行う「識別情報中の「動き」の情報を用いた識別処理」について、同処理のフローチャートを示す図9を用いて説明する。なお、以下では、撮像画像中には人物106は映ってはいるものの、この人物106が図1に示す如く背面をデジタルカメラ101に向けた状態であったが故に、撮像画像には人物106の顔が映っていない場合を想定する。
【0062】
即ち、携帯電話103の識別子に対応する顔の特徴量を用いて撮像画像中のどの被写体が人物102であるのか、携帯電話105の識別子に対応する顔の特徴量を用いて撮像画像中のどの被写体が人物104であるのか、の識別は成功している。しかし、携帯電話107の識別子に対応する顔の特徴量を用いて撮像画像中のどの被写体が人物106であるのか、の識別は失敗している。
【0063】
ステップS901では、被写体特定部308は、撮像画像から、人と推定されるオブジェクト(人型オブジェクト)を検出する(識別済みの人型オブジェクトは省く)。この検出処理は、一般の認識処理で実現できるため、これに係る説明は省略する。
【0064】
ここで、撮像部303は、ユーザによるシャッターボタン302の押下が無くても、画像記録を行わないだけで、常に撮像画像は生成している。然るにステップS902では、被写体特定部308は、ステップS901の処理の後に連続して生成されるそれぞれの撮像画像から、ステップS901と同様にして、人型オブジェクトを検出する。
【0065】
ステップS903で被写体特定部308は、次のような処理を行う。即ち、ステップS901で検出した人型オブジェクトの撮像画像上の位置と、ステップS902で検出した人型オブジェクトの撮像画像上の位置と、を用いて、撮像時刻が隣接している撮像画像間で人型オブジェクトの位置の差分(移動量)を求める。
【0066】
この時、携帯電話107は端末位置が頭部と通知示していることより、画像中の人型のオブジェクトに対して、各オブジェクトの頭部のみの移動量の特定としてもよい。また、移動量を判定するためにさらに複数の画像データに対して人型オブジェクトの移動量を画像処理より特定しても良い。また、画像中の人型のオブジェクトの移動量を判定するに当たって、デジタルカメラ101の移動および回転を姿勢情報取得部316から取得し、人型オブジェクトの移動量がデジタルカメラ101の移動または回転に影響されないよう考慮してもよい。
【0067】
ステップS904では、被写体特定部308は、ステップS903で求めたそれぞれの移動量を時系列に並べたときの移動量の変化量から、撮像画像内における人型オブジェクトの加速度情報を求める。そしてこの加速度情報が表す動きが、「静止している」、「歩いている」、「走っている」の何れであるのかを特定する。
【0068】
ステップS905では、人型オブジェクトごとに、該人型オブジェクトについて求めた加速度情報から特定された動きをテーブルに登録する。ここで、撮像画像から人型オブジェクトA,B,Cが検出された場合にステップS905において生成されるテーブルの構成例を図8に示す。
【0069】
図8では、人型オブジェクトごとに、該人型オブジェクトについて求めた加速度情報から特定された動きとして、「静止している」、「歩いている」、「走っている」の何れかが登録されている。
【0070】
そしてステップS905では更に、被写体特定部308は、ステップS905で生成したテーブルのうち、人物106の識別子とセットになって識別情報に登録されている「動き」(「歩いている」)と一致(合致)する人型オブジェクトを特定する。そしてこの特定した人型オブジェクトが人物106であると識別する。図8の場合、人型オブジェクトCの「動き」が「歩いている」であるため、人型オブジェクトCが人物106であると識別する。
【0071】
なお、ステップS904では、加速度情報を、姿勢情報取得部316から取得した方位情報を用いてデジタルカメラ101を原点とし、方位および上下を軸としたベクトル情報に変換し、方位、上下、時間を軸とした4次元関数にフーリエ変換してもよい。この場合にステップS905で生成されるテーブルの構成は図11に示したようなものとなる。
【0072】
図11のテーブルは、撮像画像から人型オブジェクトA,B,Cが検出された場合にステップS905で生成されるテーブルであり、人型オブジェクトごとに、該人型オブジェクトについて求めた加速度情報から生成された4次元関数の絶対値が登録されている。
【0073】
この場合、ステップS905では、被写体特定部308は、ステップS905で生成したテーブルのうち、人物106の識別子とセットになって識別情報に登録されている4次元関数の絶対値と一致する人型オブジェクトを特定する。そしてこの特定した人型オブジェクトが人物106であると識別する。
【0074】
次に、上記のステップS703において行う「識別情報中の生体情報を用いた識別処理」について説明する。記憶部312には、図12に例示するような構成を有するテーブルが登録されている。このテーブルには、「静止状態」、「歩き状態」、「走り状態」のそれぞれの動き状態に対する、心拍数、体温、のセットが登録されている。このセットは、予め測定されたものであってもよいし、ユーザが作成したものであってもよい。
【0075】
この場合、被写体特定部308は、図9のフローチャートに従って図8に例示するような、人型オブジェクトごとに、該人型オブジェクトについて求めた加速度情報から特定された動きが登録されたテーブルを生成する。
【0076】
次に被写体特定部308は、図12のテーブルから、人物106の識別子とセットになって識別情報に登録されている「心拍数」に対応する動き状態を特定する。図6の場合、人物106の識別子とセットになって識別情報に登録されている「心拍数」は120であるため、図12のテーブルから、この心拍数に対応する動き状態は「歩き状態」となる。そして図8のテーブルにおいて、この「歩き状態」に対応する人型オブジェクトは人型オブジェクトCであるため、人型オブジェクトCが人物106であると識別する。
【0077】
また被写体特定部308は、心拍数の代わりに、「体温」を用いて判定処理を行ってもよい。この場合、図12のテーブルから、人物106の識別子とセットになって識別情報に登録されている「体温」に対応する動き状態を特定する。図6の場合、携帯電話107の識別子とセットになって識別情報に登録されている「体温」は37.5であるため、図12のテーブルから、この体温に対応する動き状態は「歩き状態」となる。そして図8のテーブルにおいて、この「歩き状態」に対応する人型オブジェクトは人型オブジェクトCであるため、人型オブジェクトCが人物106であると識別する。
【0078】
なお、生体情報として「心拍数」や「体温」以外の情報を用いてもかまわず、その場合、図12のテーブルには、それぞれの動き状態に対応する生体情報を登録しておく必要があるし、識別情報にも、それに対応する生体情報を含める必要がある。
【0079】
また、図1に示す如く、人物104がデジタルカメラ101から比較的遠方に位置しているが為に、画像処理によって顔特徴の判定を得るために必要な解像度が確保できない場合において、被写体を特定する方法を説明する。
【0080】
人物104は遠方に位置するため、ステップS701では被写体を特定することができない。図7で説明した通り、人物104に関してはステップS701の被写体特定を行う。人物104はこれまで説明した動き状態による被写体判定、加速度による被写体判定、生体状態による被写体判定の何れも適用可能であるが、人物106とは異なり、デジタルカメラ101に対して正面を向いているため、音声情報による被写体判定も可能である。以下の説明では、携帯電話105の識別子に対応する顔の特徴量を用いて撮像画像中のどの被写体が人物104であるのか、の識別は失敗しているとする。
【0081】
この場合、人型オブジェクトごとに、撮像画像から口の形を認識し、認識した口の形から発生している音(口の動き)が何であるのかを認識する。この認識処理も周知の技術であるためにこれについての説明は省略する。そして、人型オブジェクトごとに、該人型オブジェクトが発生している音を示す情報をテーブルに登録する。ここで、撮像画像から人型オブジェクトA,B,Cが検出された場合に生成されるテーブルの構成例を図13に示す。
【0082】
図13では、人型オブジェクトごとに、該人型オブジェクトが発生している音を示す情報が登録されており、人型オブジェクトAに対しては音を示す情報として「ん」、人型オブジェクトBに対しては音を示す情報として「あ」が登録されている。人型オブジェクトCに対しては、認識処理が失敗したなどが原因で音を示す情報が得られなかったため、「不明」が登録されている。
【0083】
そして、被写体特定部308は、このテーブルから、人物104の識別子とセットになって識別情報に登録されている「音」(「あ」)と一致する人型オブジェクトを特定する。そしてこの特定した人型オブジェクトが人物104であると識別する。図13の場合、人型オブジェクトBの「音」が「あ」であるため、人型オブジェクトBが人物104であると識別する。
【0084】
なお、図3,4に示した各機能部は何れもハードウェアで構成してもよいが、部分的にソフトウェア(コンピュータプログラム)で構成してもよい。その場合、このコンピュータプログラムは、記憶部312や携帯電話のメモリ内に格納されることになる。
【0085】
上述のようにして、画像処理により得られた結果だけでなく、センサによりユーザをセンシングすることで得られたセンサ情報も利用して特定のユーザを識別するので、特定のユーザの識別精度が向上する。従って、撮像画像中における特定のユーザの近傍に特定のユーザに関する情報を提示できる可能性を高めることができる。
【0086】
[第2の実施形態]
以下では、本実施形態が第1の実施形態と異なる点のみについて説明する。本実施形態では、上記のステップS703において、赤外線画像データを用いる。然るに本実施形態に係るデジタルカメラ101には、赤外線画像データを取得するための構成を加える必要がある。
【0087】
なお、以下では、撮像画像中には人物106は映ってはいるもの、この人物106が図1に示す如く背面をデジタルカメラ101に向けた状態であったが故に、撮像画像には人物106の顔が映っていない場合を想定する。
【0088】
即ち、携帯電話103の識別子に対応する顔の特徴量を用いて撮像画像中のどの被写体が人物102であるのか、携帯電話105の識別子に対応する顔の特徴量を用いて撮像画像中のどの被写体が人物104であるのか、の識別は成功している。しかし、携帯電話107の識別子に対応する顔の特徴量を用いて撮像画像中のどの被写体が人物106であるのか、の識別は失敗している。
【0089】
この場合、被写体特定部308は、撮像部303による撮像画像から上記の如く人型オブジェクトを検出し、更に別途取得した赤外線画像データを画像処理して取得したサーモグラフィーデータから該人型オブジェクトの温度情報を取得する。そして図14に例示する如く、人型オブジェクトごとに、該人型オブジェクトの温度情報を登録したテーブルを生成する。然るに、図14において、携帯電話107の識別子とセットになって識別情報に登録されている「体温」(37.5)に最も近い体温の人型オブジェクトは人型オブジェクトB(37.6)であるので、人型オブジェクトBが人物106であると識別する。
【0090】
[第3の実施形態]
上記の実施形態では、静止画像に対する処理であったが、この処理を動画像を構成する各フレームについて行うようにしてもよい。
【0091】
また、識別情報の発信や取得などに関わる通信は、IEEE802.11に則った無線LANの通信に限らず、Bluetooth(登録商標)やパッシブ/アクティブ型のRFIDなどでもよい。無線LANとパッシブ型RFIDなど複数の無線通信インタフェースで同時に、識別情報に関する通信を行ってもよい。また、ミリ波などの指向性のある無線方式を利用して識別情報の発信、取得をしてもよい。
【0092】
また、第1、2の実施形態では各識別子は人物に紐づけられていたが、人物である必要はなく、動物や自動車、またはやある特定の物体などに紐づけられていてもよい。
【0093】
また、第1,2の実施形態において、動き状態による被写体判定、加速度による被写体判定、生体状態による被写体判定、音声情報による被写体判定の方法を説明したが、それぞれの判定において時刻の一致を条件としてもよい。すなわち、撮像部303から得られた画像データの時刻情報と、携帯電話103、105、107が通知する識別情報の時刻が近接していない場合、オブジェクトの一致判定を「否」と判定してもよい。
【0094】
(その他の実施例)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
【技術分野】
【0001】
本発明は、撮像画像中に映っている被写体の情報を提示するための技術に関する。
【背景技術】
【0002】
近年、カメラ等で撮影した現実環境の画像に、現実環境中の物体の属性情報や、CG(Computer Graphics)を用いたバーチャルな物体を、付加、合成するAR(Augmented Reality:拡張現実)技術が盛んである。例えば、カメラをかざすと、GPS(Global Positioning System)による位置情報から現実の映像上に関連するタグ情報を重ね合わせて表示する携帯電話用拡張現実ソフトウェアなども登場している。
【0003】
このようなARシステムにおいて、被写体の近傍に被写体に関連した情報を表示することが望まれている。すなわち、撮影画像中に様々な被写体が含まれている場合、被写体に関連するそれぞれの情報が、どの被写体の情報であるのかをユーザがわかるような形で表示することが望ましい。またこのためには、撮影画像中から被写体を一意に特定すること、そして特定した被写体と被写体の近傍に表示すべき情報とを結びつけることが必要である。
【0004】
特許文献1には、撮影画像に被写体が所有する無線タグが報知した情報を付属情報として付加する技術が開示されている。より詳しくは、無線タグの報知情報には無線タグ所有者の顔等を識別できる画像特徴情報が含まれており、撮影画像と比較することで被写体の特定を行うことができる画像検索装置を開示している。
【0005】
特許文献2は、RFタグを持つ被写体が指向性アンテナのエリアを通過する際、画角が指向性アンテナエリアと連動したカメラにて撮影を行い、撮影画像にRFタグの所有者である被写体が存在することを検出可能な映像属性自動付与装置を開示している。
【0006】
特許文献3は、制御装置が被写体の存在する場所をカメラに通知し、カメラは、被写体とカメラとの相対位置を算出することで、被写体の場所を特定する方法を開示している。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2007-052646号公報
【特許文献2】特開2007-228195号公報
【特許文献3】特開2008-066963号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、複数の被写体が近接している場合や、被写体の向きによっては、被写体を個別に特定することが困難となる場合がある。
【0009】
例えば、特許文献1に開示されている技術では、被写体が後ろを向いた撮影画像の場合、被写体を顔等の画像特徴情報から特定することは難しい。また、特許文献2や特許文献3に開示されている技術では、被写体が繁華街のような同一のエリアに多数存在する場合、近接する被写体同士の区別が難しい。
【0010】
本発明はこのような問題に鑑みてなされたものであり、被写体の特徴情報から該被写体を特定できない場合であっても、該被写体を一意に特定するための技術を提供することを目的とする。
【課題を解決するための手段】
【0011】
上述の目的を達成するために、本発明の画像処理装置は、撮像画像を取得する手段と、センサによりユーザをセンシングすることで得られたセンサ情報を受信する受信手段と、前記ユーザの属性情報と、前記撮像画像中における前記ユーザを識別するための識別パラメータと、を取得する取得手段と、前記受信手段が受信したセンサ情報と、前記取得手段が取得した識別パラメータと、に基づいて、前記撮像画像中の被写体の中から、前記ユーザを識別する識別手段と、前記取得手段が取得した属性情報を、前記識別手段による識別の結果に応じた前記撮像画像上の位置に合成して出力する出力手段とを有することを特徴とする。
【発明の効果】
【0012】
本発明の構成により、被写体の特徴情報から該被写体を特定できない場合であっても、該被写体を一意に特定することができる。
【図面の簡単な説明】
【0013】
【図1】システムの構成を示す図。
【図2】サーバ109が保持する情報について説明する図。
【図3】デジタルカメラ101の機能構成例を示すブロック図。
【図4】携帯電話の機能構成例を示すブロック図。
【図5】処理シーケンスを示す図。
【図6】識別情報の構成例を示す図。
【図7】ステップS510における処理の詳細を示すフローチャート。
【図8】ステップS905において生成されるテーブルの構成例を示す図。
【図9】ステップS703において行う処理のフローチャート。
【図10】識別情報の構成例を示す図。
【図11】ステップS905において生成されるテーブルの構成例を示す図。
【図12】テーブルの構成例を示す図。
【図13】テーブルの構成例を示す図。
【図14】テーブルの構成例を示す図。
【発明を実施するための形態】
【0014】
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の1つである。
【0015】
[第1の実施形態]
本実施形態に係る画像処理装置は、撮像画像上に、該撮像画像中に映っている被写体の属性情報を合成して表示するデジタルカメラである。図1に、このデジタルカメラを含むシステムの構成を示す。
【0016】
デジタルカメラ101は、被写体を撮像することで撮像画像の生成、記録、表示を行う機能に加え、IEEE802.11に則った無線LAN機能を有する。図1では、デジタルカメラ101の周囲には人物102,104,106が存在しており、人物102,104,106はそれぞれ、携帯電話103,105,107を手に把持している。携帯電話103、105,107の何れも、IEEE802.11に則った無線LAN機能を有する機器であり、デジタルカメラ101との無線通信を可能にする。携帯電話103,105,107は何れも携帯端末の一例であり、携帯電話103,105,107が行うものとして後述する各処理を実行可能な機器であれば、如何なる携帯端末を携帯電話103,105,107に適用してもよい。また、図1では、デジタルカメラ101の周囲には3台の携帯電話が存在するものとしているが、その台数はこれに限るものではない。
【0017】
携帯電話103,105,107は何れも、自機に関する情報及び自機の所有者(ユーザ)に関する情報を含む識別情報を定期的若しくは不定期的に、無線LAN機能によってデジタルカメラ101に送信する。なお、この識別情報の送信は、デジタルカメラ101からの送信要求を受けたことに応じて行ってもよい。この識別情報は、IEEE802.11に則ったフレームの一要素として付与され、送信されるものとする。この識別情報について詳しくは後述する。
【0018】
デジタルカメラ101はまた、インターネットなどのネットワーク108を介して、外部装置としてのサーバ109とのデータ通信を行うことができる。然るにデジタルカメラ101は、携帯電話103,105,107のそれぞれから受信した識別情報を用いて、携帯電話103、105,107のそれぞれの所有者である人物102,104,106に係る後述の様々な情報をサーバ109から取得する。そしてデジタルカメラ101は、この取得した情報や上記識別情報を用いて、自身が撮像した撮像画像中の被写体(人物102,104,106のうち1以上)を識別すると共に、この識別した被写体に関する情報をこの撮像画像上に重畳して表示する。
【0019】
次に、デジタルカメラ101の機能構成例について、図3のブロック図を用いて説明する。制御部320は、記憶部312に格納されているコンピュータプログラムやデータを用いて各種の処理を実行すると共に、デジタルカメラ101を構成する各部の動作制御を行う。
【0020】
無線通信制御部301は、携帯電話103,105,107との間で無線信号の送受信を行うためのアンテナや回路、それらを制御することで無線通信を制御する制御部、を有する。
【0021】
シャッターボタン302は、撮像を開始時するためのボタンであり、デジタルカメラ101のユーザがシャッターボタン302を押下すると、制御部320による制御により、撮像部303において撮像処理が開始される。
【0022】
撮像部303は、レンズやRGBセンサ、赤外線センサ(熱センサ)、X線センサ、A/D変換器、それらを制御する制御部、を有し、撮像部303が撮像処理を行うことで、撮像画像を生成することができる。
【0023】
表示部304は、撮像部303が撮像した撮像画像や、その他の情報(画像情報や文字情報)を表示するための表示領域を有しており、液晶ディスプレイやそれを制御する制御部を有する。識別情報取得部305は、無線通信制御部301を制御することで、携帯電話103,105,107のそれぞれから識別情報を受信する。
【0024】
顔特徴情報取得部306は無線通信制御部301を制御し、識別情報取得部305が携帯電話103,105,107のそれぞれから取得した識別情報を用いて、サーバ109に携帯電話103,105,107のそれぞれの所有者の顔の特徴量を問い合わせる。なお、本実施形態では、所有者を識別するために使用可能な識別パラメータの一例として顔の特徴量を用いるが、所有者を識別するために使用可能なパラメータであれば、顔の特徴量以外のパラメータを採用してもよい。
【0025】
属性情報取得部307は無線通信制御部301を制御し、識別情報取得部305が携帯電話103,105,107のそれぞれから取得した識別情報を用いて、サーバ109に携帯電話103,105,107のそれぞれの所有者の属性情報を問い合わせる。本実施形態ではこの属性情報は所有者の名前とするが、他の属性を表す情報であってもよい。
【0026】
被写体特定部308は、顔特徴情報取得部306が取得したそれぞれの所有者の顔の特徴量を用いて、撮像部303により生成された撮像画像中の被写体を識別する。なお、この識別が失敗した場合、被写体特定部308は、識別情報から得られる後述の様々な情報を用いて再度、撮像部303により生成された撮像画像中の被写体を識別する。
【0027】
加速度情報取得部309は、3軸方向の加速度を取得する加速度センサと、該加速度センサを制御する制御部と、を有する。位置情報取得部311は、デジタルカメラ101の現在位置を特定するための緯度、経度、方位、高度、上下などの情報を取得するGPSおよび3軸の地磁気センサ、ジャイロセンサ等と、これを制御する制御部と、を有する。
【0028】
記憶部312は、RAMやROM等により構成されており、無線通信制御部301が携帯電話103,105,107から受信した識別情報や、サーバ109から受信した様々な情報を一時的に記憶するためのエリアを有する。更に記憶部312は、制御部320による実行対象となるコンピュータプログラムやデータを一時的に記憶するためのエリア、制御部320が各種の処理を実行する際に用いるワークエリアを有する。即ち、記憶部312は、各種のエリアを適宜に提供することができる。
【0029】
姿勢情報取得部316は、位置情報取得部311から取得した3軸の方位情報と、加速度情報取得部309から取得した3軸の加速度情報と、から、ピッチ角、ロール角、ヨー角を抽出する。ここで、ピッチ角とは、X軸を軸とする回転角のことであり、ロール角とは、Y軸を軸とする回転角のことであり、ヨー角とは、Z軸を軸とする回転角のことである。即ち、デジタルカメラ101の姿勢を算出する。そして更に、姿勢情報取得部316は、3軸の加速度情報と、ロール角・ピッチ角・ヨー角と、からデジタルカメラ101の動き情報を求める。
【0030】
画像合成部310は、被写体特定部308が識別した所有者に関する情報を、撮像部303が生成した撮像画像上に合成して出力する。合成位置については特に限定するものではなく、被写体特定部308が識別した所有者の画像領域の近傍に位置に合成してもよいし、撮像画像上の規定の位置に合成してもよい。また、画像合成部310による画像の出力先については特に限定するものではなく、表示部304に対して出力してもよいし、記憶部312に対して出力してもよい。
【0031】
次に、携帯電話103,105,107の機能構成例について、図4のブロック図を用いて説明する。無線通信制御部401は、デジタルカメラ101との間で無線信号の送受信を行うためのアンテナや回路、それらを制御することで無線通信を制御する制御部、を有する。
【0032】
識別情報発信部402は、無線通信制御部401を制御することで、自機に固有の識別情報をデジタルカメラ101に対して送信する。携帯電話制御部403は、自機を構成する各部の動作制御を行うと共に、自機が行うものとして後述する各処理を実行する。
【0033】
位置情報取得部404は、自機の位置を特定するための緯度、経度、方位、高度などの情報を取得するGPSおよび3軸の地磁気センサ等と、これらを制御する制御部と、を有する。加速度情報取得部405は、3軸方向の加速度を取得する加速度センサと、加速度センサを制御する制御部と、を有する。
【0034】
姿勢情報取得部406は、位置情報取得部404が取得した3軸の方位情報と、加速度情報取得部405が取得した3軸の加速度情報と、から、ピッチ角、ロール角、ヨー角を抽出する。ここで、ピッチ角とは、X軸を軸とする回転角のことであり、ロール角とは、Y軸を軸とする回転角のことであり、ヨー角とは、Z軸を軸とする回転角のことである。即ち、自機の姿勢を算出する。そして更に、姿勢情報取得部406は、3軸の加速度情報と、ロール角・ピッチ角・ヨー角と、から自機の動き情報を求める。生体情報取得部407は、心拍センサ、音声センサ、体温センサ等の生体情報を収集するセンサを備え、自機の所有者の心拍数、音声、体温等の生体情報を取得する。
【0035】
ここで、識別情報発信部402が送信する識別情報の構成例について、図6を用いて説明する。図6は、携帯電話103,105,107のそれぞれが送信する識別情報の構成をテーブル形式で示している。
【0036】
識別情報は、識別子(列601)、端末位置(列602)、時刻(列603)、動き(列604)、心拍数(列605)、体温(列606)、音(列607)、の情報を含む。
【0037】
「識別子」は、携帯電話の所有者を一意に決定するためのユニークな値として無線通信制御部401で使用するイーサネット(登録商標)MACアドスであり、携帯電話に対して適宜設定されたものである。「端末位置」は、携帯電話の所有者が該携帯電話を把持している場所である。「時刻」は、識別情報が生成されたときの時刻(携帯電話制御部403が計時)である。
【0038】
「動き」は、姿勢情報取得部406が求めた加速度情報若しくは該加速度情報から得られる動きがどの程度の動きであるのかを表す情報である。図6では、加速度情報が表す動きが、「静止している」、「歩いている」、「走っている」の何れであるのかを「動き」としている。これは例えば、加速度情報が表す動き(加速度)が第1の閾値以下であれば「静止している」とし、第1の閾値よりも大きく第2の閾値以下であれば「歩いている」とし、第2の閾値よりも大きければ「走っている」としている。
【0039】
なお、この「動き」を、図10に示す如く、加速度情報をそれぞれの携帯電話を原点とし、方位および上下、時間を軸とした4次元関数へのフーリエ変換した関数としてもよい。
【0040】
「心拍数」は、生体情報取得部407が取得した携帯電話の所有者の心拍数である。「体温」は、生体情報取得部407が取得した携帯電話の所有者の体温である。「音」は、生体情報取得部407が取得した携帯電話の所有者の音声情報であり、この音声情報は適宜圧縮してもよい。
【0041】
次に、サーバ109が保持する情報について、図2を用いて説明する。サーバ109が管理するデータベースには、図2に示す如く、携帯電話の所有者(人物102,104,106)ごとに、該所有者に対する「識別子、名前、コメント、顔の特徴量」のセットが登録されている。
【0042】
「識別子」は、携帯電話側に設定されている上記の「識別子」に対応しており、例えば、図6の携帯電話103の「識別子」は図2の人物102の「識別子」と同じとなっている。
【0043】
「名前」は、携帯電話の所有者の属性情報としての名前である。然るに、携帯電話の所有者の属性情報には、名前以外にも住所や所属先など様々なものが考え得るので、他の属性情報を登録してもよい。「コメント」は、適宜入力されたコメントである。なお、「名前」や「コメント」については、例えば、テキスト形式のデータとして登録しておけばよい。
【0044】
「顔の特徴量」は、携帯電話の所有者の顔が画像中に映っている場合に、この顔の識別処理で用いる識別パラーメータの一例である。「顔の特徴量」は、例えば、バイナリ形式のデータとして登録しておけばよい。
【0045】
次に、デジタルカメラ101、携帯電話103,105,107、サーバ109のそれぞれによる処理シーケンスについて、図5を用いて説明する。デジタルカメラ101のユーザがシャッターボタン302を押下すると、ステップS501において制御部320はこれを検知して撮像開始を撮像部303に指示する。これにより撮像部303は被写体(人物102,104,106を含む)の撮像を行い、撮像画像を生成する。この撮像画像は記憶部312などに格納される。
【0046】
ステップS502では、制御部320は、無線通信制御部301を制御し、識別情報の取得要求を示す無線信号を発する。より具体的には、無線通信制御部301により、IEEE802.11に則ったプローブ・リクエスト・フレームをブロードキャストで送信する。図1の場合、デジタルカメラ101の周囲には携帯電話103,105,107が存在しているために、結果的には、これらの携帯電話103,105,107に対して識別情報の取得要求を送信することになる。
【0047】
なお、上記のとおり、識別情報は、それぞれの携帯電話が定期的若しくは不定期的に送信しても良く、その場合は、識別情報の取得要求を送信する必要はなく、デジタルカメラ101はそれぞれの携帯電話から送信された識別情報を受信するだけでよい。
【0048】
ステップS503,S504,S505のそれぞれは、携帯電話103,105,107において識別情報を生成する処理である。携帯電話103,105,107のそれぞれの無線通信制御部401が識別情報の取得要求を受信すると、携帯電話制御部403は、位置情報取得部404、加速度情報取得部405、姿勢情報取得部406、生体情報取得部407を動作させる。これにより、図6や図10に示すような識別情報に含める情報を収集することができる。
【0049】
ステップS506では、携帯電話103,105,107のそれぞれの識別情報発信部402は無線通信制御部401を制御して、識別情報をデジタルカメラ101に対して送信する。この送信は、プローブ・レスポンス・フレームでそれぞれ応答するようにしてもよい。
【0050】
これによりデジタルカメラ101は、携帯電話103,105,107のそれぞれから送信された識別情報を取得することができる。なお、識別情報の受信は、識別情報取得部305が無線通信制御部301を制御することで行い、識別情報取得部305は、この受信したそれぞれの携帯電話の識別情報を記憶部312に格納する。
【0051】
ステップS507では、顔特徴情報取得部306は、携帯電話103,105,107のそれぞれから受信した識別情報中の識別子をサーバ109に対して送信することで、該識別子に対応する顔の特徴量の取得要求を行う。更に、属性情報取得部307は、携帯電話103,105,107のそれぞれから受信した識別情報中の識別子をサーバ109に対して送信することで、該識別子に対応する名前の取得要求を行う。
【0052】
ステップS508では、サーバ109は、ステップS507で送信された識別子を受信すると、この識別子とセットにして登録されている名前及び顔の特徴量を、自身が管理するデータベースから取得する。
【0053】
そしてステップS509ではサーバ109は、ステップS507で送信された識別子とセットにしてデータベース内で管理している名前及び顔の特徴量を、デジタルカメラ101に対して送信する。
【0054】
これによりデジタルカメラ101は、サーバ109に対して送信した識別子に対応する名前及び顔の特徴量を受信することができる。なお、顔の特徴量の受信は顔特徴情報取得部306が行い、名前の受信は属性情報取得部307が行う。
【0055】
ステップS510では、被写体特定部308は、サーバ109から取得した顔の特徴量を用いて、人物102,104,106が、ステップS501で生成して記憶部312に格納した撮像画像中のどの被写体であるのかを識別する。ステップS510における処理の詳細については後述する。
【0056】
次にステップS511では、画像合成部310は、被写体特定部308が識別した所有者の名前を、ステップS501で生成して記憶部312に格納した撮像画像上に合成して、表示部304に出力する。
【0057】
次に、上記のステップS510における処理の詳細について、図7のフローチャートを用いて説明する。ステップS701では被写体特定部308は、サーバ109から取得した顔の特徴量を用いて、人物102,104,106が、ステップS501で生成して記憶部312に格納した撮像画像中のどの被写体であるのかを識別する。この識別処理は一般的な技術であるために説明は省略する。
【0058】
ステップS702では被写体特定部308は、撮像画像から人物102,104,106の全てが識別されたか否かを判断する。この判断の結果、撮像画像から人物102,104,106の何れかが識別されなかった場合は処理はステップS703に進み、全て識別された場合は、処理はステップS705に進む。ステップS705では、被写体特定部308は、被写体の識別処理は成功したと判断して、図7のフローチャートの処理を終える。
【0059】
ステップS703で被写体特定部308は、携帯電話103,105,107のそれぞれから受信した識別情報中の情報を用いて、撮像画像中の被写体のうち人物102,104,106の何れとも識別されなかった被写体について識別処理を行う。この識別処理では、識別情報中の「動き」の情報を用いた識別処理、識別情報中の生体情報(「心拍数」や「体温」)を用いた識別処理、識別情報中の「音」の情報を用いた識別処理、の何れかを実行する。ステップS703における処理の詳細については後述する。
【0060】
ステップS704では、被写体特定部308は、ステップS703での識別処理により、撮像画像から人物102,104,106の全てが識別されたか否かを判断する。この判断の結果、撮像画像から人物102,104,106の何れかが識別されなかった場合は処理はステップS706に進み、全て識別された場合は、処理はステップS705に進む。ステップS706では、被写体特定部308は、被写体の識別処理は失敗したと判断して、図7のフローチャートの処理を終える。
【0061】
次に、上記のステップS703において行う「識別情報中の「動き」の情報を用いた識別処理」について、同処理のフローチャートを示す図9を用いて説明する。なお、以下では、撮像画像中には人物106は映ってはいるものの、この人物106が図1に示す如く背面をデジタルカメラ101に向けた状態であったが故に、撮像画像には人物106の顔が映っていない場合を想定する。
【0062】
即ち、携帯電話103の識別子に対応する顔の特徴量を用いて撮像画像中のどの被写体が人物102であるのか、携帯電話105の識別子に対応する顔の特徴量を用いて撮像画像中のどの被写体が人物104であるのか、の識別は成功している。しかし、携帯電話107の識別子に対応する顔の特徴量を用いて撮像画像中のどの被写体が人物106であるのか、の識別は失敗している。
【0063】
ステップS901では、被写体特定部308は、撮像画像から、人と推定されるオブジェクト(人型オブジェクト)を検出する(識別済みの人型オブジェクトは省く)。この検出処理は、一般の認識処理で実現できるため、これに係る説明は省略する。
【0064】
ここで、撮像部303は、ユーザによるシャッターボタン302の押下が無くても、画像記録を行わないだけで、常に撮像画像は生成している。然るにステップS902では、被写体特定部308は、ステップS901の処理の後に連続して生成されるそれぞれの撮像画像から、ステップS901と同様にして、人型オブジェクトを検出する。
【0065】
ステップS903で被写体特定部308は、次のような処理を行う。即ち、ステップS901で検出した人型オブジェクトの撮像画像上の位置と、ステップS902で検出した人型オブジェクトの撮像画像上の位置と、を用いて、撮像時刻が隣接している撮像画像間で人型オブジェクトの位置の差分(移動量)を求める。
【0066】
この時、携帯電話107は端末位置が頭部と通知示していることより、画像中の人型のオブジェクトに対して、各オブジェクトの頭部のみの移動量の特定としてもよい。また、移動量を判定するためにさらに複数の画像データに対して人型オブジェクトの移動量を画像処理より特定しても良い。また、画像中の人型のオブジェクトの移動量を判定するに当たって、デジタルカメラ101の移動および回転を姿勢情報取得部316から取得し、人型オブジェクトの移動量がデジタルカメラ101の移動または回転に影響されないよう考慮してもよい。
【0067】
ステップS904では、被写体特定部308は、ステップS903で求めたそれぞれの移動量を時系列に並べたときの移動量の変化量から、撮像画像内における人型オブジェクトの加速度情報を求める。そしてこの加速度情報が表す動きが、「静止している」、「歩いている」、「走っている」の何れであるのかを特定する。
【0068】
ステップS905では、人型オブジェクトごとに、該人型オブジェクトについて求めた加速度情報から特定された動きをテーブルに登録する。ここで、撮像画像から人型オブジェクトA,B,Cが検出された場合にステップS905において生成されるテーブルの構成例を図8に示す。
【0069】
図8では、人型オブジェクトごとに、該人型オブジェクトについて求めた加速度情報から特定された動きとして、「静止している」、「歩いている」、「走っている」の何れかが登録されている。
【0070】
そしてステップS905では更に、被写体特定部308は、ステップS905で生成したテーブルのうち、人物106の識別子とセットになって識別情報に登録されている「動き」(「歩いている」)と一致(合致)する人型オブジェクトを特定する。そしてこの特定した人型オブジェクトが人物106であると識別する。図8の場合、人型オブジェクトCの「動き」が「歩いている」であるため、人型オブジェクトCが人物106であると識別する。
【0071】
なお、ステップS904では、加速度情報を、姿勢情報取得部316から取得した方位情報を用いてデジタルカメラ101を原点とし、方位および上下を軸としたベクトル情報に変換し、方位、上下、時間を軸とした4次元関数にフーリエ変換してもよい。この場合にステップS905で生成されるテーブルの構成は図11に示したようなものとなる。
【0072】
図11のテーブルは、撮像画像から人型オブジェクトA,B,Cが検出された場合にステップS905で生成されるテーブルであり、人型オブジェクトごとに、該人型オブジェクトについて求めた加速度情報から生成された4次元関数の絶対値が登録されている。
【0073】
この場合、ステップS905では、被写体特定部308は、ステップS905で生成したテーブルのうち、人物106の識別子とセットになって識別情報に登録されている4次元関数の絶対値と一致する人型オブジェクトを特定する。そしてこの特定した人型オブジェクトが人物106であると識別する。
【0074】
次に、上記のステップS703において行う「識別情報中の生体情報を用いた識別処理」について説明する。記憶部312には、図12に例示するような構成を有するテーブルが登録されている。このテーブルには、「静止状態」、「歩き状態」、「走り状態」のそれぞれの動き状態に対する、心拍数、体温、のセットが登録されている。このセットは、予め測定されたものであってもよいし、ユーザが作成したものであってもよい。
【0075】
この場合、被写体特定部308は、図9のフローチャートに従って図8に例示するような、人型オブジェクトごとに、該人型オブジェクトについて求めた加速度情報から特定された動きが登録されたテーブルを生成する。
【0076】
次に被写体特定部308は、図12のテーブルから、人物106の識別子とセットになって識別情報に登録されている「心拍数」に対応する動き状態を特定する。図6の場合、人物106の識別子とセットになって識別情報に登録されている「心拍数」は120であるため、図12のテーブルから、この心拍数に対応する動き状態は「歩き状態」となる。そして図8のテーブルにおいて、この「歩き状態」に対応する人型オブジェクトは人型オブジェクトCであるため、人型オブジェクトCが人物106であると識別する。
【0077】
また被写体特定部308は、心拍数の代わりに、「体温」を用いて判定処理を行ってもよい。この場合、図12のテーブルから、人物106の識別子とセットになって識別情報に登録されている「体温」に対応する動き状態を特定する。図6の場合、携帯電話107の識別子とセットになって識別情報に登録されている「体温」は37.5であるため、図12のテーブルから、この体温に対応する動き状態は「歩き状態」となる。そして図8のテーブルにおいて、この「歩き状態」に対応する人型オブジェクトは人型オブジェクトCであるため、人型オブジェクトCが人物106であると識別する。
【0078】
なお、生体情報として「心拍数」や「体温」以外の情報を用いてもかまわず、その場合、図12のテーブルには、それぞれの動き状態に対応する生体情報を登録しておく必要があるし、識別情報にも、それに対応する生体情報を含める必要がある。
【0079】
また、図1に示す如く、人物104がデジタルカメラ101から比較的遠方に位置しているが為に、画像処理によって顔特徴の判定を得るために必要な解像度が確保できない場合において、被写体を特定する方法を説明する。
【0080】
人物104は遠方に位置するため、ステップS701では被写体を特定することができない。図7で説明した通り、人物104に関してはステップS701の被写体特定を行う。人物104はこれまで説明した動き状態による被写体判定、加速度による被写体判定、生体状態による被写体判定の何れも適用可能であるが、人物106とは異なり、デジタルカメラ101に対して正面を向いているため、音声情報による被写体判定も可能である。以下の説明では、携帯電話105の識別子に対応する顔の特徴量を用いて撮像画像中のどの被写体が人物104であるのか、の識別は失敗しているとする。
【0081】
この場合、人型オブジェクトごとに、撮像画像から口の形を認識し、認識した口の形から発生している音(口の動き)が何であるのかを認識する。この認識処理も周知の技術であるためにこれについての説明は省略する。そして、人型オブジェクトごとに、該人型オブジェクトが発生している音を示す情報をテーブルに登録する。ここで、撮像画像から人型オブジェクトA,B,Cが検出された場合に生成されるテーブルの構成例を図13に示す。
【0082】
図13では、人型オブジェクトごとに、該人型オブジェクトが発生している音を示す情報が登録されており、人型オブジェクトAに対しては音を示す情報として「ん」、人型オブジェクトBに対しては音を示す情報として「あ」が登録されている。人型オブジェクトCに対しては、認識処理が失敗したなどが原因で音を示す情報が得られなかったため、「不明」が登録されている。
【0083】
そして、被写体特定部308は、このテーブルから、人物104の識別子とセットになって識別情報に登録されている「音」(「あ」)と一致する人型オブジェクトを特定する。そしてこの特定した人型オブジェクトが人物104であると識別する。図13の場合、人型オブジェクトBの「音」が「あ」であるため、人型オブジェクトBが人物104であると識別する。
【0084】
なお、図3,4に示した各機能部は何れもハードウェアで構成してもよいが、部分的にソフトウェア(コンピュータプログラム)で構成してもよい。その場合、このコンピュータプログラムは、記憶部312や携帯電話のメモリ内に格納されることになる。
【0085】
上述のようにして、画像処理により得られた結果だけでなく、センサによりユーザをセンシングすることで得られたセンサ情報も利用して特定のユーザを識別するので、特定のユーザの識別精度が向上する。従って、撮像画像中における特定のユーザの近傍に特定のユーザに関する情報を提示できる可能性を高めることができる。
【0086】
[第2の実施形態]
以下では、本実施形態が第1の実施形態と異なる点のみについて説明する。本実施形態では、上記のステップS703において、赤外線画像データを用いる。然るに本実施形態に係るデジタルカメラ101には、赤外線画像データを取得するための構成を加える必要がある。
【0087】
なお、以下では、撮像画像中には人物106は映ってはいるもの、この人物106が図1に示す如く背面をデジタルカメラ101に向けた状態であったが故に、撮像画像には人物106の顔が映っていない場合を想定する。
【0088】
即ち、携帯電話103の識別子に対応する顔の特徴量を用いて撮像画像中のどの被写体が人物102であるのか、携帯電話105の識別子に対応する顔の特徴量を用いて撮像画像中のどの被写体が人物104であるのか、の識別は成功している。しかし、携帯電話107の識別子に対応する顔の特徴量を用いて撮像画像中のどの被写体が人物106であるのか、の識別は失敗している。
【0089】
この場合、被写体特定部308は、撮像部303による撮像画像から上記の如く人型オブジェクトを検出し、更に別途取得した赤外線画像データを画像処理して取得したサーモグラフィーデータから該人型オブジェクトの温度情報を取得する。そして図14に例示する如く、人型オブジェクトごとに、該人型オブジェクトの温度情報を登録したテーブルを生成する。然るに、図14において、携帯電話107の識別子とセットになって識別情報に登録されている「体温」(37.5)に最も近い体温の人型オブジェクトは人型オブジェクトB(37.6)であるので、人型オブジェクトBが人物106であると識別する。
【0090】
[第3の実施形態]
上記の実施形態では、静止画像に対する処理であったが、この処理を動画像を構成する各フレームについて行うようにしてもよい。
【0091】
また、識別情報の発信や取得などに関わる通信は、IEEE802.11に則った無線LANの通信に限らず、Bluetooth(登録商標)やパッシブ/アクティブ型のRFIDなどでもよい。無線LANとパッシブ型RFIDなど複数の無線通信インタフェースで同時に、識別情報に関する通信を行ってもよい。また、ミリ波などの指向性のある無線方式を利用して識別情報の発信、取得をしてもよい。
【0092】
また、第1、2の実施形態では各識別子は人物に紐づけられていたが、人物である必要はなく、動物や自動車、またはやある特定の物体などに紐づけられていてもよい。
【0093】
また、第1,2の実施形態において、動き状態による被写体判定、加速度による被写体判定、生体状態による被写体判定、音声情報による被写体判定の方法を説明したが、それぞれの判定において時刻の一致を条件としてもよい。すなわち、撮像部303から得られた画像データの時刻情報と、携帯電話103、105、107が通知する識別情報の時刻が近接していない場合、オブジェクトの一致判定を「否」と判定してもよい。
【0094】
(その他の実施例)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項1】
撮像画像を取得する手段と、
センサによりユーザをセンシングすることで得られたセンサ情報を受信する受信手段と、
前記ユーザの属性情報と、前記撮像画像中における前記ユーザを識別するための識別パラメータと、を取得する取得手段と、
前記受信手段が受信したセンサ情報と、前記取得手段が取得した識別パラメータと、に基づいて、前記撮像画像中の被写体の中から、前記ユーザを識別する識別手段と、
前記取得手段が取得した属性情報を、前記識別手段による識別の結果に応じた前記撮像画像上の位置に合成して出力する出力手段と
を有することを特徴とする画像処理装置。
【請求項2】
前記出力手段は、前記識別手段が識別した前記ユーザの前記撮像画像中における位置の近傍に、前記属性情報を合成して出力することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記識別手段は、前記取得手段が取得した識別パラメータを用いて前記撮像画像の中から前記ユーザを識別できなかった場合、
前記撮像画像中の被写体の動きを求め、前記受信手段が受信したセンサ情報に含まれているユーザの動きと一致する動きの被写体を前記ユーザとして識別することを特徴とする請求項1又は2に記載の画像処理装置。
【請求項4】
前記識別手段は、前記取得手段が取得した識別パラメータを用いて前記撮像画像の中から前記ユーザを識別できなかった場合、
前記撮像画像中の被写体の動きを求め、前記受信手段が受信したセンサ情報に含まれている前記ユーザの生体情報に対して予め対応づけられている動きと一致する動きの被写体を前記ユーザとして識別することを特徴とする請求項1又は2に記載の画像処理装置。
【請求項5】
前記識別手段は、前記取得手段が取得した識別パラメータを用いて前記撮像画像の中から前記ユーザを識別できなかった場合、
前記撮像画像中の被写体の口の動きを求め、前記受信手段が受信したセンサ情報に含まれている前記ユーザの口の動きと一致する口の動きの被写体を前記ユーザとして識別することを特徴とする請求項1又は2に記載の画像処理装置。
【請求項6】
前記識別手段は、前記取得手段が取得した識別パラメータを用いて前記撮像画像の中から前記ユーザを識別できなかった場合、
赤外線画像を取得して該赤外線画像から被写体の温度を求め、前記受信手段が受信したセンサ情報に含まれている前記ユーザの温度にもっとも近い温度の被写体を前記ユーザとして識別することを特徴とする請求項1又は2に記載の画像処理装置。
【請求項7】
画像処理装置が行う画像処理方法であって、
撮像画像を取得する工程と、
センサによりユーザをセンシングすることで得られたセンサ情報を受信する受信工程と、
前記ユーザの属性情報と、前記撮像画像中における前記ユーザを識別するための識別パラメータと、を取得する取得工程と、
前記受信工程で受信したセンサ情報と、前記取得工程で取得した識別パラメータと、に基づいて、前記撮像画像中の被写体の中から、前記ユーザを識別する識別工程と、
前記取得工程で取得した属性情報を、前記識別工程による識別の結果に応じた前記撮像画像上の位置に合成して出力する出力工程と
を有することを特徴とする画像処理方法。
【請求項8】
コンピュータを、請求項1乃至6の何れか1項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。
【請求項1】
撮像画像を取得する手段と、
センサによりユーザをセンシングすることで得られたセンサ情報を受信する受信手段と、
前記ユーザの属性情報と、前記撮像画像中における前記ユーザを識別するための識別パラメータと、を取得する取得手段と、
前記受信手段が受信したセンサ情報と、前記取得手段が取得した識別パラメータと、に基づいて、前記撮像画像中の被写体の中から、前記ユーザを識別する識別手段と、
前記取得手段が取得した属性情報を、前記識別手段による識別の結果に応じた前記撮像画像上の位置に合成して出力する出力手段と
を有することを特徴とする画像処理装置。
【請求項2】
前記出力手段は、前記識別手段が識別した前記ユーザの前記撮像画像中における位置の近傍に、前記属性情報を合成して出力することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記識別手段は、前記取得手段が取得した識別パラメータを用いて前記撮像画像の中から前記ユーザを識別できなかった場合、
前記撮像画像中の被写体の動きを求め、前記受信手段が受信したセンサ情報に含まれているユーザの動きと一致する動きの被写体を前記ユーザとして識別することを特徴とする請求項1又は2に記載の画像処理装置。
【請求項4】
前記識別手段は、前記取得手段が取得した識別パラメータを用いて前記撮像画像の中から前記ユーザを識別できなかった場合、
前記撮像画像中の被写体の動きを求め、前記受信手段が受信したセンサ情報に含まれている前記ユーザの生体情報に対して予め対応づけられている動きと一致する動きの被写体を前記ユーザとして識別することを特徴とする請求項1又は2に記載の画像処理装置。
【請求項5】
前記識別手段は、前記取得手段が取得した識別パラメータを用いて前記撮像画像の中から前記ユーザを識別できなかった場合、
前記撮像画像中の被写体の口の動きを求め、前記受信手段が受信したセンサ情報に含まれている前記ユーザの口の動きと一致する口の動きの被写体を前記ユーザとして識別することを特徴とする請求項1又は2に記載の画像処理装置。
【請求項6】
前記識別手段は、前記取得手段が取得した識別パラメータを用いて前記撮像画像の中から前記ユーザを識別できなかった場合、
赤外線画像を取得して該赤外線画像から被写体の温度を求め、前記受信手段が受信したセンサ情報に含まれている前記ユーザの温度にもっとも近い温度の被写体を前記ユーザとして識別することを特徴とする請求項1又は2に記載の画像処理装置。
【請求項7】
画像処理装置が行う画像処理方法であって、
撮像画像を取得する工程と、
センサによりユーザをセンシングすることで得られたセンサ情報を受信する受信工程と、
前記ユーザの属性情報と、前記撮像画像中における前記ユーザを識別するための識別パラメータと、を取得する取得工程と、
前記受信工程で受信したセンサ情報と、前記取得工程で取得した識別パラメータと、に基づいて、前記撮像画像中の被写体の中から、前記ユーザを識別する識別工程と、
前記取得工程で取得した属性情報を、前記識別工程による識別の結果に応じた前記撮像画像上の位置に合成して出力する出力工程と
を有することを特徴とする画像処理方法。
【請求項8】
コンピュータを、請求項1乃至6の何れか1項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【公開番号】特開2013−98588(P2013−98588A)
【公開日】平成25年5月20日(2013.5.20)
【国際特許分類】
【出願番号】特願2011−236478(P2011−236478)
【出願日】平成23年10月27日(2011.10.27)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
【公開日】平成25年5月20日(2013.5.20)
【国際特許分類】
【出願日】平成23年10月27日(2011.10.27)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
[ Back to top ]