情報処理装置、情報処理方法
【課題】 画像に関連する情報をより簡便な方法でもってこの画像に関係付けるための技術を提供すること。
【解決手段】 関連度評価部２０４は、撮影機器により撮影された画像のうち指定された画像の撮影時刻の近傍時刻範囲内のそれぞれの時刻における撮影機器の位置情報を取得する。更に関連度評価部２０４は、上記近傍時刻範囲内のそれぞれの時刻における移動体の位置情報を取得する。そして関連度評価部２０４は、取得した位置情報群に基づいて、撮影機器の移動経路と移動体の移動経路との間の類似度を求め、求めた類似度に基づいて、指定された画像と移動体との関連度を決定する。関係付け部２０５は、関連度を示す情報を、指定された画像と関係付けて登録する。
【解決手段】 関連度評価部２０４は、撮影機器により撮影された画像のうち指定された画像の撮影時刻の近傍時刻範囲内のそれぞれの時刻における撮影機器の位置情報を取得する。更に関連度評価部２０４は、上記近傍時刻範囲内のそれぞれの時刻における移動体の位置情報を取得する。そして関連度評価部２０４は、取得した位置情報群に基づいて、撮影機器の移動経路と移動体の移動経路との間の類似度を求め、求めた類似度に基づいて、指定された画像と移動体との関連度を決定する。関係付け部２０５は、関連度を示す情報を、指定された画像と関係付けて登録する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像と、この画像に関連する情報との関係付け技術に関するものである。
【背景技術】
【０００２】
従来、画像に関連する人物等の情報は、被写体の顔画像から認識処理によって自動で付与する方法（非特許文献１）や、電子タグを撮影対象に保持させておき、カメラで電子タグを読み込み、画像と対象を自動で関係付ける方法（特許文献１）が考えられていた。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2005-086759号公報
【非特許文献】
【０００４】
【非特許文献１】http:／／www.sony.co.jp／SonyInfo／technology／technology／theme／sface_01.html （平成２１年１月１３日現在）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、従来の顔画像を識別する方法では、顔が写っていることが前提であり、例えその場に顔が存在していても写っていなければ関係付けができない。あるいは、被写体であっても、横顔や背後からの撮影では識別ができないため、その画像に関係付けることが難しい。
【０００６】
また、電子タグなどを利用する場合は、電子タグの情報を読み取るリーダをカメラに追加する必要がある。この場合は、リーダで読み取るための、電子タグのようなものを撮影対象にあらかじめ持たせ、リーダをそちらに向けて撮影する必要がある、などといった制約・問題があった。
【０００７】
本発明は以上の問題に鑑みてなされたものであり、画像に関連する情報をより簡便な方法でもってこの画像に関係付けるための技術を提供することを目的とする。また、本発明の別の目的は、画像に関連する情報としての被写体の認識処理を行う場合に、その精度が十分でない場合の精度改善を行うことである。
【課題を解決するための手段】
【０００８】
本発明の目的を達成するために、例えば、本発明の情報処理装置は、以下の構成を備える。
【０００９】
即ち、撮影機器が画像を撮影した時刻の近傍時刻における当該撮影機器の位置情報と、当該近傍時刻における移動体の位置情報と、を用いて、前記撮影機器の移動経路と前記移動体の移動経路との間の類似度を求める計算手段と、
前記計算手段が計算した類似度に基づいて、前記画像と前記移動体との関連度を決定し、決定した関連度を示す情報を前記画像と関係付けて登録する登録手段と
を備えることを特徴とする。
【００１０】
本発明の目的を達成するために、例えば、本発明の情報処理方法は、以下の構成を備える。
【００１１】
即ち、撮影機器が画像を撮影した時刻の近傍時刻における当該撮影機器の位置情報と、当該近傍時刻における移動体の位置情報と、を用いて、前記撮影機器の移動経路と前記移動体の移動経路との間の類似度を求める計算工程と、
前記計算工程で計算した類似度に基づいて、前記画像と前記移動体との関連度を決定し、決定した関連度を示す情報を前記画像と関係付けて登録する登録工程と
を備えることを特徴とする。
【発明の効果】
【００１２】
本発明の構成によれば、画像に関連する情報をより簡便な方法でもってこの画像に関係付けることができる。また、画像に関連する情報としての被写体の認識処理を行う場合に、その精度が十分でない場合の精度改善を行うことができる。
【図面の簡単な説明】
【００１３】
【図１】コンピュータ１００のハードウェア構成例を示すブロック図。
【図２】第２の実施形態に係る情報処理装置の機能構成例を示すブロック図。
【図３】コンピュータ１００が行う処理のフローチャート。
【図４】第３の実施形態に係る情報処理装置の機能構成例を示すブロック図。
【図５】第５の実施形態に係る情報処理装置の機能構成例を示すブロック図。
【図６】管理テーブルの構成例を示す図。
【図７】撮影機器、移動体のそれぞれの２次元平面上における移動経路を説明する図。
【図８】撮影機器と移動体Ａ、Ｂ、Ｃのそれぞれとの間の距離を示す図。
【図９】撮影機器、移動体のそれぞれの２次元平面上における移動経路を説明する図。
【図１０】関連度評価部２０４が求めた距離を示す図。
【図１１】スコアを示す図。
【図１２】被写体Ａのスコアを被写体認識部５０１によって修正された結果を示す図。
【図１３】移動経路情報の構成例を示す図。
【図１４】第４の実施形態における表示例を示す図。
【図１５】第７の実施形態に係る情報処理装置の機能構成例を示すブロック図。
【図１６】第７の実施形態に係る情報処理装置が行う処理のフローチャート。
【発明を実施するための形態】
【００１４】
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。
【００１５】
［第１の実施形態］
図１は、本実施形態に係る情報処理装置に適用可能なコンピュータ１００のハードウェア構成例を示すブロック図である。なお、本実施形態では、図１に示した構成は１台のコンピュータ１００で実現するが、複数台のコンピュータでもって図１に示した構成と等価な構成を実現するようにしてもよい。なお、複数台のコンピュータでもって本実施形態を実現させる場合には、当然ながらそれぞれのコンピュータはＬＡＮなどのネットワークを介して互いにデータ通信を行うことになる。
【００１６】
図１においてＣＰＵ１０１は、ＲＯＭ１０２やＲＡＭ１０３に格納されているコンピュータプログラムやデータを用いてコンピュータ１００全体の制御を行うと共に、コンピュータ１００が行うものとして後述する各処理を実行する。
【００１７】
ＲＯＭ１０２には、コンピュータ１００の設定データやブートプログラムなどが格納されている。ＲＡＭ１０３は、外部記憶装置１０４からロードされたコンピュータプログラムやデータ、ネットワークインターフェース１０７を介して外部から受信したコンピュータプログラムやデータを一時的に記憶するためのエリアを有する。更にＲＡＭ１０３は、ＣＰＵ１０１が各種の処理を実行する際に用いるワークエリアも有する。即ちＲＡＭ１０３は、各種のエリアを適宜提供することができる。
【００１８】
外部記憶装置１０４はハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置１０４には、ＯＳ（オペレーティングシステム）や、コンピュータ１００が行うものとして後述する各処理をＣＰＵ１０１に実行させるためのコンピュータプログラムやデータが保存されている。また、外部記憶装置１０４には、以下の説明において既知の情報として説明するものについても保存されている。外部記憶装置１０４に保存されているコンピュータプログラムやデータは、ＣＰＵ１０１による制御に従って適宜ＲＡＭ１０３にロードされ、ＣＰＵ１０１による処理対象となる。
【００１９】
なお、本コンピュータ１００の外部記憶装置として機能するものはこれ以外にも考えられ、メモリカード、フレキシブルディスク、Compact Disk（ＣＤ）等の光ディスク、磁気や光カード、ＩＣカード、等も適用可能である。
【００２０】
入力デバイス１０９は、キーボードやマウスなどにより構成されており、コンピュータ１００のユーザが操作することで、各種の指示をＣＰＵ１０１に対して入力することができる。
【００２１】
入力デバイスインターフェース１０５は、入力デバイス１０９をコンピュータ１００に接続する為のものである。ユーザが入力デバイス１０９を操作することで入力した操作指示は、この入力デバイスインターフェース１０５、そしてシステムバス１０８を介してＣＰＵ１０１に通知される。
【００２２】
出力デバイス１１０は、ＣＲＴや液晶画面などにより構成されている表示装置に代表される、データを何らかの形態でもって出力可能な装置である。コンピュータ１００において出力対象のデータとして処理されたものは、出力デバイスインターフェース１０６を介してこの出力デバイス１１０に送出される。
【００２３】
ネットワークインターフェース１０７は、コンピュータ１００をＬＡＮやインターネット等のネットワーク回線１１１に接続する為のものである。コンピュータ１００はこのネットワークインターフェース１０７を介してネットワーク回線１１１上の機器とのデータ通信を行うことができる。
【００２４】
図２は、本実施形態に係る情報処理装置の機能構成例を示すブロック図である。図２に示す如く、本実施形態に係る情報処理装置は、画像メタデータ管理部２０１、撮影機器移動経路管理部２０２、関連度評価部２０４、関係付け部２０５、移動体移動経路管理部２０３、により構成されている。なお、本実施形態では図２に示した各部は何れもコンピュータプログラムとして外部記憶装置１０４に保存されているものとするが、各部はハードウェアでもって構成しても良い。
【００２５】
画像メタデータ管理部２０１は、撮影機器により撮影された画像毎に以下の情報を管理する。即ち、画像毎に、撮影時における撮影機器の位置（撮影位置）を示す撮影位置情報、撮影した時刻を示す撮影時刻情報、この撮影機器を特定する機器情報、等の補助情報（メタデータ）をセットにして管理する。このようなセットの取得は、例えば、次のようにして行う。
【００２６】
撮影機器を用いて１枚の画像を撮影したとする。このとき、撮影機器に搭載されているＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）から得た撮影位置情報と、撮影機器に内蔵されているタイマが計時した撮影時刻情報と、撮影機器に固有のＩＤ等の機器情報と、をこの撮影機器から取得する。この取得したそれぞれの情報は、撮影した上記１枚の画像と共にメタデータとして外部記憶装置１０４に登録されるのであるが、この登録したそれぞれについての情報は、画像メタデータ管理部２０１によって管理されることになる。
【００２７】
なお、外部記憶装置１０４へのメタデータの登録については様々な形態が考え得る。例えば、撮影した上記１枚の画像に対してメタデータを特定のフォーマットで埋め込むことで、メタデータをこの画像と共に外部記憶装置１０４に登録しても良いし、画像とは別個のファイルとして外部記憶装置１０４や外部のデータベースに登録しても良い。即ち、画像とメタデータとを関連付けて取り扱うことができるのであれば、それぞれの登録形態については特に限定するものではない。本実施形態では、画像本体とメタデータとは別個のファイルとして外部記憶装置１０４に登録され、それぞれに関する情報は画像メタデータ管理部２０１によって管理されるものとして説明する。
【００２８】
図６は、外部記憶装置１０４に登録された画像ファイルと、この画像ファイルに対するメタデータとを管理する管理テーブルの構成例を示す図である。この管理テーブルは、画像メタデータ管理部２０１によって管理されている。
【００２９】
領域６１０には、撮影された画像に固有のＩＤ（画像ＩＤ）が登録される。領域６２０には、画像をファイルとして外部記憶装置１０４に登録した場合に、外部記憶装置１０４内におけるこの画像ファイルのパス名が登録される。領域６０１には、画像を撮影した撮影機器に固有の情報である機器情報が登録される。領域６０２には、この画像の撮影時刻情報が登録される。領域６０３には、この画像の撮影位置情報が登録される。
【００３０】
図６に示した一例では、画像ＩＤが「ＸＸＸＸ」の画像が「ｃ：￥ｐｈｏｔｏ」というパスで外部記憶装置１０４内に登録されていることを示している。更にこの画像を撮影した撮影機器は「Ｃａｎｏ Ｓｈｏｔ Ｇ９」で、その撮影時刻は「２００８／９／２６ １２：００ＡＭ」で、その撮影位置は「Ｎ３５．５６５６４ Ｅ１３９．６８１２９」である。
【００３１】
このように、撮影機器が画像を撮影する毎に、撮影されたそれぞれの画像について、上記領域６１０，６２０，６０１，６０２，６０３のそれぞれに対応する上記情報が登録されることになる。係る登録処理は画像メタデータ管理部２０１が行う。また、撮影された画像は静止画像、動画像、の何れであっても良いが、本実施形態では、撮影されたそれぞれの画像は静止画像であるものとする。
【００３２】
撮影機器移動経路管理部２０２は、予め定められたタイミング毎に（定期的に）測定された撮影機器の位置情報（撮影機器位置情報）を記録した移動経路情報を、撮影機器毎に管理する（第１の管理）。撮影機器位置情報の取得形態については特に限定するものではない。例えば、上記のように、撮影機器に搭載されているＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）から定期的に撮影機器位置情報を取得し、取得したそれぞれの撮影機器位置情報を移動経路情報に登録しても良い。なお、それぞれの撮影機器に対する移動経路情報には、対応する撮影機器の撮影機器情報が関連付けられている。
【００３３】
移動体移動経路管理部２０３は、人や車両などの移動体の時刻毎の位置情報（移動体位置情報）を記録した移動経路情報を、移動体毎に管理する（第２の管理）。この移動経路情報の取得形態については特に限定するものではない。例えば、移動体が人である場合、例えば、個人が保持する携帯電話のGPS機能を利用して、個人の時間毎の位置情報を残しておき、それを個人の移動経路情報として、移動体移動経路管理部２０３で取得し、管理するようにしても良い。あるいは、自動車で移動しているような場合は、カーナビゲーションシステムの残す履歴情報等を移動経路情報として取得し、これを移動体移動経路管理部２０３が管理するようにしても良い。なお、それぞれの移動体に対する移動経路情報には、対応する移動体に固有の情報（移動体情報）が関連付けられている。
【００３４】
ここで、撮影機器移動経路管理部２０２、移動体移動経路管理部２０３が管理する移動経路情報とは上述の通り、それぞれの時刻における位置情報が登録されたものであり、例えば、図１３に示すような構成を有する。図１３は、移動経路情報の構成例を示す図である。図１３では、５秒間隔で位置情報（緯度・経度）が登録されている。なお、移動体移動経路管理部２０３や移動体移動経路管理部２０３が管理する移動経路情報は、そのデータサイズによっては、外部の装置上にアップロードするようにしても良い。
【００３５】
図２に戻って、関連度評価部２０４は、画像メタデータ管理部２０１、撮影機器移動経路管理部２０２、移動体移動経路管理部２０３のそれぞれが管理する情報を用いて、指定された画像と、指定された移動体との関連度を求める。関連度を求める為の処理については後述する。
【００３６】
関係付け部２０５は、関連度評価部２０４が求めた関連度に基づいて、指定された画像と、指定された移動体と、を関係付けるか否かを決定する。そして関係付け部２０５は、関連度を示す情報を、この指定された画像に対するメタデータとして、外部記憶装置１０４に登録する。
【００３７】
図３は、画像と移動体との関連付けを行うためにコンピュータ１００が行う処理のフローチャートである。なお、以下では、図２に示した各部を処理の主体として説明するが、上記の通り、これら各部は何れもコンピュータプログラムでもって実装されているので、実際には、これらのコンピュータプログラムを実行するＣＰＵ１０１が処理の主体となる。
【００３８】
先ず、ユーザは、関係付ける対象となる画像と移動体とを入力デバイス１０９を用いて指定する操作を行う。例えば、出力デバイス１１０としての表示装置が有する表示画面上に、外部記憶装置１０４に登録済みの画像群と、それぞれの移動体の移動体情報と、を一覧表示させる。ユーザは入力デバイス１０９を用いて１つの画像と、１つの移動体情報とを指定する。従って、ステップＳ３０１では、関連度評価部２０４は、ユーザからの操作指示を受信する。係る操作指示には、ユーザが指定した画像のＩＤ、移動体情報が含まれている。
【００３９】
もちろん、以下の処理で対象となる画像と移動体の指定方法については特に限定するものではなく、コンピュータ１００の外部からユーザ指示などでもって入力するようにしても良いし、コンピュータ１００内の内部処理でもって指定するようにしても良い。例えば、外部記憶装置１０４に新たに画像が登録されたことをＣＰＵ１０１が検知した場合、この画像を撮影した撮影時間、撮影位置に近い移動体移動経路情報から順次処理対象として内部的に自動で選定するようなことをしても構わない。
【００４０】
次に、ステップＳ３０２では、関連度評価部２０４は、ステップＳ３０１で受信した操作指示に含まれている画像のＩＤと関連付けて画像メタデータ管理部２０１が管理する撮影時刻情報、撮影位置情報、機器情報、を取得する。
【００４１】
次にステップＳ３０３では、関連度評価部２０４は、次の処理を実行する（第１の取得）。即ち、ステップＳ３０２で取得した機器情報と関連付けて撮影機器移動経路管理部２０２が管理する移動経路情報から、ステップＳ３０２で取得した撮影時刻情報が示す撮影時刻の近傍時刻範囲内のそれぞれの時刻における撮影機器位置情報を取得する。なお、本ステップでは、ステップＳ３０２で取得した機器情報と関連付けて撮影機器移動経路管理部２０２が管理する移動経路情報そのものを取得するようにしても良い。
【００４２】
次にステップＳ３０４では、関連度評価部２０４は、次の処理を実行する（第２の取得）。即ち、ステップＳ３０１で取得した操作指示に含まれている移動体情報と関連付けて移動体移動経路管理部２０３が管理する移動経路情報から、上記近傍時刻範囲内のそれぞれの時刻における移動体位置情報を取得する。なお、本ステップでは、ステップＳ３０１で取得した操作指示に含まれている移動体情報と関連付けて移動体移動経路管理部２０３が管理する移動経路情報そのものを取得するようにしても良い。
【００４３】
次に、ステップＳ３０５では、関連度評価部２０４は、ステップＳ３０３で取得した撮影機器位置情報群（撮影機器の部分的な移動経路情報）と、ステップＳ３０４で取得した移動体位置情報群（移動体の部分的な移動経路情報）と、を比較する。そして係る比較により、上記近傍時刻範囲内において、撮影機器の移動経路と、移動体の移動経路との間の類似度を求める。移動経路の類似度を求める為の方法については様々な方法が考えられ、何れの方法を用いても良い。そして本実施形態では、この類似度を用いて、ユーザにより指定された画像と、ユーザにより指定された移動体との間の関連度を評価する。
【００４４】
以下に、ユーザにより指定された画像と、ユーザにより指定された移動体との間の関連度を評価するための処理の一例について、図７，８を用いて説明する。図７，８では、複数の移動体のそれぞれと画像との間の関連度を評価する場合について説明するが、係る説明は移動体の個数に限定するものではない。
【００４５】
図７は、撮影機器、移動体のそれぞれの２次元平面上における移動経路を説明する図である。図７において７０１は撮影機器の移動経路を示す。７０２は移動体Ａの移動経路、７０３は移動体Ｂの移動経路、７０４は移動体Ｃの移動経路を示す。ここで、何れの移動経路（７０１〜７０４）も、ある時刻範囲内（2008／9／26 9:00〜15:00）における移動経路であるとする。７０５は、ユーザが指定した画像の撮影時刻「2008／9／26の１２：００」における撮影位置を示している。また、それぞれの移動経路上における「ｓ」は、撮影時刻「2008／9／26の１２：００」の３０分前の時刻Ｔｓにおけるそれぞれの移動経路上の位置を示している。また、それぞれの移動経路上における「ｅ」は、撮影時刻「2008／9／26の１２：００」の３０分後の時刻Ｔｅにおけるそれぞれの移動経路上の位置を示している。
【００４６】
先ず、関連度評価部２０４は、次の処理を行う。即ち、指定された画像の撮影時刻を含む時間範囲内（ここではＴｓ〜Ｔｅ）の各時刻（例えばＴｓ〜Ｔｅを等間隔に分割した場合のそれぞれの分割時刻）において、撮影機器と移動体Ａ、Ｂ、Ｃのそれぞれとの間の距離をそれぞれの移動経路情報を用いて求める。図８は、Ｔｓ〜Ｔｅの間のそれぞれの時刻において、撮影機器と移動体Ａ、Ｂ、Ｃのそれぞれとの間の距離を示す図である。図８において「2008／9／26の１２：００」はＴｎとして示している。
【００４７】
関連度評価部２０４は先ず、ステップＳ３０３で取得した撮影機器位置情報群とステップＳ３０４で取得した移動体Ａの移動体位置情報群とを用いて、時刻Ｔｓにおける撮影機器の位置と移動体Ａの位置との間の距離を求める。図８ではこの距離は「１．３」となっている。同様に関連度評価部２０４は、ステップＳ３０３で取得した撮影機器位置情報群とステップＳ３０４で取得した移動体Ｂの移動体位置情報群とを用いて、時刻Ｔｓにおける撮影機器の位置と移動体Ｂの位置との間の距離を求める。図８ではこの距離は「５．５」となっている。同様に関連度評価部２０４は、ステップＳ３０３で取得した撮影機器位置情報群とステップＳ３０４で取得した移動体Ｃの移動体位置情報群とを用いて、時刻Ｔｓにおける撮影機器の位置と移動体Ｃの位置との間の距離を求める。図８ではこの距離は「１０．０」となっている。
【００４８】
このようにして、関連度評価部２０４は、時刻Ｔｓ〜Ｔｅの間のそれぞれの時刻において、撮影機器と移動体Ａ、Ｂ、Ｃのそれぞれとの間の距離を求める。なお、距離の求め方については特に限定するものではなく、様々な方法を適用しても良い。例えば、緯度・経度の値の差分をそのまま距離として利用しても良いし、その差分からメートル単位で距離を求めても良い。
【００４９】
次に、関連度評価部２０４は、移動体Ａについて求めたそれぞれの距離の分散値と平均値、移動体Ｂについて求めたそれぞれの距離の分散値と平均値、移動体Ｃについて求めたそれぞれの距離の分散値と平均値、を求める。そして求めた分散値、平均値がより小さい移動体ほど、ユーザにより指定された画像を撮影した機器の移動経路とこの移動体の移動経路との間の類似度が高いと考えられるため、この画像とこの移動体との関連性が高いと評価する。
【００５０】
図８によれば、それぞれの時刻における撮影機器の位置と移動体Ａの位置との間の距離は小さく、その平均やばらつき（分散値）も小さい。このような場合は、撮影機器の移動経路７０１と移動体Ａの移動経路７０２との間の類似度は高いと判定され、撮影時刻「2008／9／26の１２：００」において撮影された画像と移動体Ａとの間の関連性は高いと評価される。
【００５１】
一方、移動体Ｂは、時刻Ｔｎにおいては撮影機器との距離は比較的小さいものの、時刻Ｔｓや時刻Ｔｅにおいてはその距離は比較的大きい。それぞれの時刻における撮影機器の位置と移動体Ｂの位置との間の距離の平均値は比較的小さいが、その分散値については、移動体Ａに比べれば大きくなる。そのため、移動体Ｂは移動体Ａと比べれば、撮影時刻「2008／9／26の１２：００」において撮影された画像との間の関連性は低いと評価される。
【００５２】
一方、移動体Ｃの移動経路７０４は、その形状は移動体Ａの移動経路７０１と類似しているが、時刻Ｔｓ〜Ｔｅの間のそれぞれの時刻における移動体Ｃの位置は、時刻Ｔｓ〜Ｔｅの間のそれぞれの時刻における撮影機器の位置とは比較的大きく異なっている。そのため、図８によれば、それぞれの時刻における撮影機器の位置と移動体Ｃの位置との間の距離は大きく、その平均やばらつき（分散値）も大きい。このような場合は、撮影機器の移動経路７０１と移動体Ｃの移動経路７０４との間の類似度は移動体Ａと比べれば低いと判定される。従って、撮影時刻「2008／9／26の１２：００」において撮影された画像と移動体Ｃとの間の関連性は移動体Ａと比べれば低いと評価される。
【００５３】
本実施形態では、以上のようにして、関連度を移動経路の類似度をもって評価する。なお、ここでの説明では、類似度を高い・低いといった抽象的な表現で述べたが、実際には、数値に対して閾値を設定して、より判断を厳密に行う。
【００５４】
例えば関連度評価部２０４は、求めた平均値Ｘと分散値（標準偏差）Ｙに基づいて、ユーザが選択した画像と移動体との間の関連度の評価を行う。先ず関連度評価部２０４は、平均値Ｘと分散値Ｙとを用いて、経路間の類似度を判定する。平均値Ｘが閾値ｔｈ１に対してＸ≦ｔｈ１であり、かつ分散値Ｙが閾値ｔｈ２に対してＹ≦ｔｈ２である場合、類似度が高いと判断する。それ以外の場合は類似度は低いと判断する。
【００５５】
そして関連度評価部２０４は、類似度が高いと判断した場合は、ユーザにより指定された画像と移動体の間の関連度を「高い」と評価する。類似度が低いと判断した場合は、関連度を「低い」（関係なし）と評価する。
【００５６】
このように、平均値Ｘと分散値Ｙに基づいて画像と移動体との関連度を評価する。なお、評価を２段階に分けることに限るものではなく、例えば、次のように３段階に分けるようにしても良い。
【００５７】
まず、平均値Ｘを求める際に、指定した画像に時間的に近いほど大きな重みを与えて加重平均値を求めるようにする。加重平均値Ｘが閾値ｔｈ１に対してＸ≦ｔｈ１であり、かつ分散値Ｙが閾値ｔｈ２に対してＹ≦ｔｈ２である場合、類似度を「経路全体で高い」と判断する。このときの関連度としては、「行動をともにしていた」などと評価する。平均値Ｘが閾値ｔｈ１に対してＸ≦ｔｈ１であり、かつ分散値Ｙが閾値ｔｈ２に対してＹ＞ｔｈ２である場合、類似度を「選択した画像付近では高い」と判断する。このときの関連度としては「選択画像の撮影時に近くにいた」と評価する。それ以外の場合は類似度を「低い」と判断し、関連度を「関係なし」と評価する。
【００５８】
図３に戻って、次に、ステップＳ３０６では、ステップＳ３０５で評価した関連度に基づいて、関係付け部２０５は、ユーザが指定した画像と移動体とを、評価した関連度に応じて関係付ける。
【００５９】
次に、ステップＳ３０７では、関係付け部２０５は、ユーザが指定した画像のメタデータとして新たに、ステップＳ３０６において関係付けた内容を示す情報を、外部記憶装置１０４に登録する。例えば、上記の例で言えば、関連度が「行動をともにしていた」と評価された場合は、この評価を示す情報として、行動をともにしていた移動体を示す情報が登録される。
【００６０】
以上の説明により、本実施形態によれば、画像の撮影時間・撮影位置の情報と、この画像を撮影した撮影機器の移動経路情報と人物などの移動体の移動経路情報との類似度から、移動体と画像との関連度を求め、この関連度に応じて両者を関係付けるようにした。これにより、個々の画像に関連する人物等の情報を、画像に写っているか否かによらず効率的にかつ、精度良く付与できるようになる。
【００６１】
［第２の実施形態］
第１の実施形態では、撮影機器の移動経路情報は、撮影機器移動経路管理部２０２がこの撮影機器から取得するものとしていたが、撮影機器の移動経路情報は必ずしもこの撮影機器が保持する必要はない。
【００６２】
例えば、携帯電話等のGPS端末と撮影機器が、UWB(Ultra Wideband)等の近距離無線通信技術を利用し、撮影機器が「いつ」「どの」GPS端末と通信可能な状態（近くに存在している状態）にあったかを記録しておく。そしてその記録から、近くに存在していた各GPS端末の移動経路情報を繋ぎ合わせて、撮影機器の移動経路情報を獲得する。
【００６３】
あるいは、撮影機器を保持していた撮影者を特定し、特定した撮影者の携帯電話などのGPS端末から移動経路情報を取得しても構わない。ただし、撮影機器が複数の撮影者間で共有される場合等も考えられるため、撮影機器を保持している撮影者を適宜同定できる仕組みが必要である。例えば、指紋認証などの生体認証を利用して撮影者を同定し、撮影機器を「いつ」「誰が」保持していたかを記録しておく。これによって、各撮影者が撮影機器を保持していた間の移動経路情報を繋ぎ合わせることで、撮影機器の移動経路を見つけることが可能になる。
【００６４】
これらの方法によれば、撮影機器に位置情報取得のための構成を持たせることなく、撮影機器の移動経路情報を取得することができる。なお、撮影機器の所有者等は、撮影者としての役割をあらかじめ決められてしまうことも多い。その場合は、上記のような仕組みを用いずとも、撮影者のGPS端末の移動経路情報をそのまま撮影機器の移動経路情報としても良い。この方法は、撮影機器で測位したものや、GPS端末と撮影機器の間での通信を利用した方法に比べると、撮影機器の移動経路情報としては正確性を欠く部分もある。しかし、撮影機器に対する構成の追加が無く、簡易に移動経路情報を取得できるという利点がある。
【００６５】
［第３の実施形態］
第１の実施形態では、撮影機器移動経路管理部２０２によって撮影機器の移動経路情報を管理し、この管理している移動経路情報と、移動体移動経路管理部２０３が管理している移動経路情報とを比較することで、画像と移動体との間の関連度を決定していた。本実施形態では、撮影機器の移動経路情報を用いることなく、同様の目的を達成する技術について説明する。なお、以下では第１の実施形態と異なる点のみについて説明する。
【００６６】
本実施形態に係る情報処理装置のハードウェア構成は、図１に示したものを用い、その機能構成については図４に示した構成を採用する。図４は、本実施形態に係る情報処理装置の機能構成例を示すブロック図である。本実施形態では、ユーザにより指定された画像の撮影位置情報と、この画像の撮影時刻の近傍時刻に、この画像を撮影した撮影機器と同じ撮影機器で撮影された画像の撮影位置情報と、を、撮影機器の移動経路情報の代わりに用いる。より具体的には、関連度評価部２０４は、ユーザにより指定された画像の撮影位置情報を画像メタデータ管理部２０１から取得する。更に関連度評価部２０４は、ユーザが指定した画像の撮影機器情報と同じ撮影機器情報及びこの画像の撮影時刻情報が示す撮影時刻の近傍の撮影時刻を示す撮影時刻情報と関連付けられている画像の撮影位置情報を画像メタデータ管理部２０１から取得する。
【００６７】
そして関連度評価部２０４は、取得したそれぞれの撮影位置情報と、移動体のそれぞれの位置情報と、の間の距離を求める。これについては第１の実施形態の如く、同じ時刻の撮影位置情報と位置情報とを用いてその間の距離を求める。これにより、各時刻における距離を計算することができる。
【００６８】
図９は、撮影機器、移動体のそれぞれの２次元平面上における移動経路を説明する図である。９０１〜９０４は、ユーザにより指定された画像の撮影時刻情報の近傍時刻を示す撮影時刻情報と関連付けられている画像の撮影位置情報が示す位置である。そして関連度評価部２０４は、この場合、位置ｘ（＝位置９０１〜９０４）と、位置ｘと同時刻における移動経路７０２上の位置と、の間の距離、を求める。同様に関連度評価部２０４は、位置ｘ（＝位置９０１〜９０４）と、位置ｘと同時刻における移動経路７０３上の位置と、の間の距離、を求める。同様に関連度評価部２０４は、位置ｘ（＝位置９０１〜９０４）と、位置ｘと同時刻における移動経路７０４上の位置と、の間の距離、を求める。
【００６９】
図１０は、それぞれの移動経路７０２〜７０４について、関連度評価部２０４が求めた距離を示す図である。Ｔ１は位置９０１における撮影時刻情報が示す時刻、Ｔ２は位置９０２における撮影時刻情報が示す時刻、Ｔ３はユーザが指定した画像の撮影時刻、Ｔ４は位置９０３における撮影時刻情報が示す時刻、Ｔ５は位置９０４における撮影時刻情報が示す時刻を示す。例えば、図１０によれば、位置９０１と、位置９０１における時刻である時刻Ｔ１における移動経路７０２上の位置との間の距離は１．５となっている。また、位置９０３と、位置９０３における時刻である時刻Ｔ４における移動経路７０４上の位置との間の距離は１１．３となっている。
【００７０】
そして関連度評価部２０４は第１の実施形態と同様に、それぞれの移動経路７０２〜７０４について、距離の平均値、分散値を求め、求めたこれらの統計量を用いて、ユーザにより指定された画像とユーザにより指定された移動体との間の関連度を求める。
【００７１】
本実施形態によれば、対象画像の撮影が、一連の流れの中で行われていることを前提としているため、その前後で画像が撮影されている必要がある（図９における９０１〜９０４）。また、経路同士の比較よりも比較するポイントが少なくなる可能性が高いので、移動経路同士を比較する場合に比べて計算量を削減でき、また、移動経路の取得・保管が不要になるため、そのための記憶領域や仕組みが削減できるというメリットがある。また、本実施形態では、撮影回数を３回としているが、この撮影回数は１回以上であれば特に限定するものではない。
【００７２】
［第４の実施形態］
第１の実施形態では、関連度が求まった後は、ユーザによる介入無しに関係付け部２０５によって関係付けが成されていた。しかし、関連度が求まった後で、その関連度を表示装置の表示画面上に表示し、この関連度でもって関係付けを行っても良いか否かをユーザに問うようにしても良い。そしてユーザから関係付けを行う旨の指示が入力された場合、後は第１の実施形態と同様に、関係付け部２０５による処理を開始する。
【００７３】
係る構成によれば、第１の実施形態と比べて、利用する側にとっての手間は生じるものの、より意図したメタデータが付与されやすくなるため、再利用時の精度や効果が高くなるというメリットがある。
【００７４】
［第５の実施形態］
第１の実施形態では、関係付け部２０５が生成した「関連度を示す情報」は、画像と関係付けてメタデータとして外部記憶装置１０４に登録するだけであったが、本実施形態では、このメタデータを、移動体としての被写体の認識結果の修正に利用する。以下では第１の実施形態と異なる点のみについて説明する。
【００７５】
図５は、本実施形態に係る情報処理装置の機能構成例を示すブロック図である。図５に示した構成は、図１に示した構成に被写体認識部５０１を加えた構成である。被写体認識部５０１は、撮影装置により撮影された被写体（移動体）の画像を用いてこの被写体を認識することで、認識の確度を示すスコアを計算する。このような被写体認識処理の認識結果の確度については、被写体との距離や被写体の向きといった被写体の写り方や、ピントの合い方、認識用の教師データの質や量など、様々な要因によって変動する。
【００７６】
認識結果の確度が十分でない場合は、実際の正解とは異なった認識を行っている場合が多い。誤った認識結果を画像の被写体として採用することは、検索などで被写体情報を使う際に誤検索の要因になるなど、再利用時のノイズとなるため、好ましく無い。本実施形態では、移動体としての被写体と画像との関連度を、被写体の認識結果を補正するために利用する。
【００７７】
例えば、被写体認識部５０１での認識結果によって、図１１に示すような認識結果が得られたとする。図１１は、被写体認識部５０１が被写体に対する認識処理を行った結果、その認識結果として得られた上位３つについて、認識結果の確度に応じたスコアを示す図である。図１１では、認識対象に対する認識結果として被写体Ｘのスコアが最も大きい値を示しているが、実際には被写体Ａが認識結果として正解であったとする。このとき、この被写体Ａを移動体として第１の実施形態に係る処理を行うことで、画像と被写体Ａとの関連度が高ければ、被写体Ａと画像とは強い関係にあるとして関係付けがなされることになる。例えば、被写体Ａと画像について求めた類似度を被写体Ａのスコアに乗ずることで、このスコアを修正する。このスコアの修正は、被写体認識部５０１が行う。
【００７８】
図１２は、図１１に示した被写体Ａのスコアを、被写体認識部５０１によって修正された結果を示す図である。図１２に示す如く、被写体Ａのスコアが修正され、最も高いスコアとなっている。
【００７９】
なお、本実施形態を実現するにあたっては、移動体移動経路管理部２０３が対象とする移動体と、被写体認識部５０１による認識対象の被写体とが同一である必要がある。従って、被写体認識部５０１による認識結果には、認識対象とした被写体に固有の情報（被写体情報）が関係付けられるべきである。これにより、移動体移動経路管理部２０３が対象とする移動体と、被写体認識部５０１による認識対象の被写体と、が同じであるか否かの判断は、被写体情報と移動体情報とが同じであるか否かを判断することで行うことができる。或いは、移動体と被写体の同定用の対応表を関係付け部２０５等で管理しておくなどすれば良い。このように、移動体と被写体とが同一であるか否かを特定する為の仕組みについては様々な方法が考えられ、何れの方法を用いても良い。
【００８０】
以上の説明により、本実施形態によれば、被写体としての情報の質を高めることができるようになる。これにより、十分ではない確度の認識結果を、被写体情報として画像と関係づけてしまうことを抑制できるようになる。また、第１の実施形態では、移動体と画像の間に関連性があることだけしか分からないが、本実施形態によって、被写体情報として関係付けることができるようになる。本実施形態における認識処理や、第１の実施形態における関連付け処理の、それぞれ個々では実現困難であった効果を得ることができる。
【００８１】
［第６の実施形態］
上記実施形態においては、主に静止画像を対象として述べたが、動画であっても良い。動画の場合は、全体を分割した部分に対して処理を行うことが考えられる。例えば、動画をシーンに分割し、各シーンを上記実施形態における静止画1枚の画像とみなして処理を行っても構わない。あるいは、ｎフレーム分のデータ毎に処理をしても良い。他にも、緯度経度情報を定期的に取得している場合は、ある範囲に納まっている間を一つの部分とみなすといったようにしても良い。もちろん、一つの動画データ全体を処理の対象として扱っても構わない。
【００８２】
［第７の実施形態］
本実施形態では、第１の実施形態で説明した画像と移動体との関係を利用した表示例について述べる。なお、以下では第１の実施形態と異なる点のみについて説明する。
【００８３】
図１４は、複数人で構成されるグループがいくつかのサブグループに分かれて撮影行動を行った場合に、各画像に関係付けられた移動体情報からサブグループの構成とその推移を抽出して表示した例を示す図である。具体的な適用事例としては、複数人で旅行やイベントへ行った場合などが考えられる。
【００８４】
この例では、Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆの６人で行動を開始し、この行動の終わりまでに、この６人がどのような組（サブグループ）で行動を共にしたかの推移を示している。このような表示は、たくさんの画像の中から、利用者が、自分が関係した画像を探したり、あるいは逆に、自分が関われなかった(知らない)画像を探したりといったことを、簡単に入力指示するために使うことができる。例えば、図１４の場合、Ａが自分以外の組み合わせによるサブグループ（１４０１など）をクリックすることで、このサブグループの画像を表示するといったような、GUI（グラフィカルユーザインターフェース）として利用することもできる。
【００８５】
図１５は、本実施形態に係る情報処理装置の機能構成例を示すブロック図である。画像特定部１５０１は、外部記憶装置１０４に登録している画像群から、特定のグループに属する画像群を特定する。例えば、旅行やイベント等で撮影された画像群を特定する。特定のグループに属する画像群を特定する為の仕組みについては様々なものが考え得る。
【００８６】
例えば、外部記憶装置１０４に登録する画像には、「旅行」や「運動会」などといったラベルをメタデータとして付与しておく。これにより画像特定部１５０１は、例えば「運動会」で撮影された画像を特定する場合には、外部記憶装置１０４に登録されているそれぞれの画像のラベルを参照し、「運動会」のラベルが付与された画像を特定する。
【００８７】
また、外部記憶装置１０４に一度に登録された画像群、同一日時に登録された画像群を１つのグループとし、それぞれのグループに上述のようにラベルを付与しても良い。また、第１の実施形態で述べたように、撮影機器の移動経路がわかる場合は、その移動範囲から特定のグループに属する画像群を特定しても構わない。
【００８８】
移動体情報管理部１５０２は、画像に関係付けられた移動体に関する情報を管理する。係る関係付けはどのような方法で行っても良く、例えば第１の実施形態で説明した処理でもって関係付けても良いし、ユーザが手動で関係付けても良い。本実施形態では、移動体に関する情報は、画像とは別個のファイルとして外部記憶装置１０４に登録されているものとする。
【００８９】
移動体関係抽出部１５０３は、画像特定部１５０１が特定した画像群のそれぞれについて、関係付けられている移動体の情報を、移動体情報管理部１５０２から取得する。そしてそれぞれの画像における移動体間の関係を抽出する。本実施形態では、画像特定部１５０１が特定した一連の画像における移動体の増減をチェックし、行動を共にしていたと思われる移動体とその推移の情報を抽出する。
【００９０】
表示部１５０４は、移動体関係抽出部１５０３で求めた、行動を共にしていたと思われる移動体とその推移の情報から、図１４に例示するような画面を生成し、生成した画面を、出力デバイスインターフェース１０６を介して出力デバイス１１０に送出する。図１４は、一連の各画像に関係付けられた移動体の増減によって、行動を共にしていた移動体が変化する様を示している。
【００９１】
図１６は、本実施形態に係る情報処理装置が行う処理のフローチャートである。先ずステップＳ１６０１では、画像特定部１５０１は、外部記憶装置１０４に登録している画像群から、特定のグループに属する画像群を特定する。特定のグループの指定についてはユーザが入力デバイス１０９を用いて行っても良いし、予め定められていても良い。
【００９２】
次に、ステップＳ１６０２では、移動体関係抽出部１５０３は、画像特定部１５０１が特定した画像群のそれぞれについて、関係付けられている移動体の情報を、移動体情報管理部１５０２から取得する。
【００９３】
次に、ステップＳ１６０３では、移動体関係抽出部１５０３は、それぞれの画像に関係付けられた移動体とその推移の情報とを抽出する。本実施形態では、画像特定部１５０１が特定した一連の画像に関係付けられた移動体の増減をチェックし、行動を共にしていたと思われる移動体とその推移の情報を抽出する。
【００９４】
次にステップＳ１６０４では表示部１５０４は、移動体関係抽出部１５０３で求めた、行動を共にしていたと思われる移動体とその推移の情報から、図１４に例示するような画面を生成する。そして、生成した画面を、出力デバイスインターフェース１０６を介して出力デバイス１１０に送出する。このとき、関係付けられた撮影画像が無いことで行動が特定できない移動体が現われることがあるが、それらについては、不定である旨が表示できれば、表示の仕方は限定するものではない。例えば、図１４では、１４０２（Ｄが不定）や１４０３（Ｆが不定）のように、破線を使った表示によって区別をしている。他にも、色を変えたり、点滅させたり、フォントを変えたり、不定である旨のメッセージを出すなどして区別しても構わない。なお、上記各実施形態は適宜組み合わせても良いし、適宜切り替えて使用しても良い。
＜撮影機器の移動経路と移動体の移動経路との間の類似度を求める為の他の方法＞
上記の通り、上記類似度を求めるための方法は他にも考えられ、以下にそのうちの１つを示す。なお、以下に説明する方法は、被写体の時刻と位置の情報（以下、被写体位置・時刻情報と呼称する）を予め収集して管理しているものとする。即ち、被写体経路という概念はあっても無くても良い。
【００９５】
また、ターゲットの画像を決め、その近傍の撮影機器移動経路を取得することについては上記の通りである。次に、撮影機器経路上の等間隔なｎ点をサンプリングする。次に、ｎ個の各サンプルと場所・時間的に近い被写体位置・時刻情報を取得する。ここで、「場所が近い」とは、距離がある閾値内のことであり、「時間が近い」とは、±時間がある閾値内のことである。ここまでの処理により、ｎ個分の被写体位置・時刻情報の集合ができる。
【００９６】
次に、先の処理で求めた全集合内に同一被写体の位置・時刻情報が含まれていた場合は、その被写体の移動経路と撮影機器移動経路との類似度は高いと判定する。なお、ｎ個の全集合内に含まれているかではなく、全集合のうちどれだけの割合で含まれているかで判断しても良い。例えば、ｎ＝１０である場合、１０の集合のうち８割（＝８集合）に含まれていれば、二つの経路は類似していると判定する。また、上記閾値を、ターゲットに近いほど厳しく（狭く）設定するようにしても良い。
【００９７】
［その他の実施形態］
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【００９８】
また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９９】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１００】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【技術分野】
【０００１】
本発明は、画像と、この画像に関連する情報との関係付け技術に関するものである。
【背景技術】
【０００２】
従来、画像に関連する人物等の情報は、被写体の顔画像から認識処理によって自動で付与する方法（非特許文献１）や、電子タグを撮影対象に保持させておき、カメラで電子タグを読み込み、画像と対象を自動で関係付ける方法（特許文献１）が考えられていた。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2005-086759号公報
【非特許文献】
【０００４】
【非特許文献１】http:／／www.sony.co.jp／SonyInfo／technology／technology／theme／sface_01.html （平成２１年１月１３日現在）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、従来の顔画像を識別する方法では、顔が写っていることが前提であり、例えその場に顔が存在していても写っていなければ関係付けができない。あるいは、被写体であっても、横顔や背後からの撮影では識別ができないため、その画像に関係付けることが難しい。
【０００６】
また、電子タグなどを利用する場合は、電子タグの情報を読み取るリーダをカメラに追加する必要がある。この場合は、リーダで読み取るための、電子タグのようなものを撮影対象にあらかじめ持たせ、リーダをそちらに向けて撮影する必要がある、などといった制約・問題があった。
【０００７】
本発明は以上の問題に鑑みてなされたものであり、画像に関連する情報をより簡便な方法でもってこの画像に関係付けるための技術を提供することを目的とする。また、本発明の別の目的は、画像に関連する情報としての被写体の認識処理を行う場合に、その精度が十分でない場合の精度改善を行うことである。
【課題を解決するための手段】
【０００８】
本発明の目的を達成するために、例えば、本発明の情報処理装置は、以下の構成を備える。
【０００９】
即ち、撮影機器が画像を撮影した時刻の近傍時刻における当該撮影機器の位置情報と、当該近傍時刻における移動体の位置情報と、を用いて、前記撮影機器の移動経路と前記移動体の移動経路との間の類似度を求める計算手段と、
前記計算手段が計算した類似度に基づいて、前記画像と前記移動体との関連度を決定し、決定した関連度を示す情報を前記画像と関係付けて登録する登録手段と
を備えることを特徴とする。
【００１０】
本発明の目的を達成するために、例えば、本発明の情報処理方法は、以下の構成を備える。
【００１１】
即ち、撮影機器が画像を撮影した時刻の近傍時刻における当該撮影機器の位置情報と、当該近傍時刻における移動体の位置情報と、を用いて、前記撮影機器の移動経路と前記移動体の移動経路との間の類似度を求める計算工程と、
前記計算工程で計算した類似度に基づいて、前記画像と前記移動体との関連度を決定し、決定した関連度を示す情報を前記画像と関係付けて登録する登録工程と
を備えることを特徴とする。
【発明の効果】
【００１２】
本発明の構成によれば、画像に関連する情報をより簡便な方法でもってこの画像に関係付けることができる。また、画像に関連する情報としての被写体の認識処理を行う場合に、その精度が十分でない場合の精度改善を行うことができる。
【図面の簡単な説明】
【００１３】
【図１】コンピュータ１００のハードウェア構成例を示すブロック図。
【図２】第２の実施形態に係る情報処理装置の機能構成例を示すブロック図。
【図３】コンピュータ１００が行う処理のフローチャート。
【図４】第３の実施形態に係る情報処理装置の機能構成例を示すブロック図。
【図５】第５の実施形態に係る情報処理装置の機能構成例を示すブロック図。
【図６】管理テーブルの構成例を示す図。
【図７】撮影機器、移動体のそれぞれの２次元平面上における移動経路を説明する図。
【図８】撮影機器と移動体Ａ、Ｂ、Ｃのそれぞれとの間の距離を示す図。
【図９】撮影機器、移動体のそれぞれの２次元平面上における移動経路を説明する図。
【図１０】関連度評価部２０４が求めた距離を示す図。
【図１１】スコアを示す図。
【図１２】被写体Ａのスコアを被写体認識部５０１によって修正された結果を示す図。
【図１３】移動経路情報の構成例を示す図。
【図１４】第４の実施形態における表示例を示す図。
【図１５】第７の実施形態に係る情報処理装置の機能構成例を示すブロック図。
【図１６】第７の実施形態に係る情報処理装置が行う処理のフローチャート。
【発明を実施するための形態】
【００１４】
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。
【００１５】
［第１の実施形態］
図１は、本実施形態に係る情報処理装置に適用可能なコンピュータ１００のハードウェア構成例を示すブロック図である。なお、本実施形態では、図１に示した構成は１台のコンピュータ１００で実現するが、複数台のコンピュータでもって図１に示した構成と等価な構成を実現するようにしてもよい。なお、複数台のコンピュータでもって本実施形態を実現させる場合には、当然ながらそれぞれのコンピュータはＬＡＮなどのネットワークを介して互いにデータ通信を行うことになる。
【００１６】
図１においてＣＰＵ１０１は、ＲＯＭ１０２やＲＡＭ１０３に格納されているコンピュータプログラムやデータを用いてコンピュータ１００全体の制御を行うと共に、コンピュータ１００が行うものとして後述する各処理を実行する。
【００１７】
ＲＯＭ１０２には、コンピュータ１００の設定データやブートプログラムなどが格納されている。ＲＡＭ１０３は、外部記憶装置１０４からロードされたコンピュータプログラムやデータ、ネットワークインターフェース１０７を介して外部から受信したコンピュータプログラムやデータを一時的に記憶するためのエリアを有する。更にＲＡＭ１０３は、ＣＰＵ１０１が各種の処理を実行する際に用いるワークエリアも有する。即ちＲＡＭ１０３は、各種のエリアを適宜提供することができる。
【００１８】
外部記憶装置１０４はハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置１０４には、ＯＳ（オペレーティングシステム）や、コンピュータ１００が行うものとして後述する各処理をＣＰＵ１０１に実行させるためのコンピュータプログラムやデータが保存されている。また、外部記憶装置１０４には、以下の説明において既知の情報として説明するものについても保存されている。外部記憶装置１０４に保存されているコンピュータプログラムやデータは、ＣＰＵ１０１による制御に従って適宜ＲＡＭ１０３にロードされ、ＣＰＵ１０１による処理対象となる。
【００１９】
なお、本コンピュータ１００の外部記憶装置として機能するものはこれ以外にも考えられ、メモリカード、フレキシブルディスク、Compact Disk（ＣＤ）等の光ディスク、磁気や光カード、ＩＣカード、等も適用可能である。
【００２０】
入力デバイス１０９は、キーボードやマウスなどにより構成されており、コンピュータ１００のユーザが操作することで、各種の指示をＣＰＵ１０１に対して入力することができる。
【００２１】
入力デバイスインターフェース１０５は、入力デバイス１０９をコンピュータ１００に接続する為のものである。ユーザが入力デバイス１０９を操作することで入力した操作指示は、この入力デバイスインターフェース１０５、そしてシステムバス１０８を介してＣＰＵ１０１に通知される。
【００２２】
出力デバイス１１０は、ＣＲＴや液晶画面などにより構成されている表示装置に代表される、データを何らかの形態でもって出力可能な装置である。コンピュータ１００において出力対象のデータとして処理されたものは、出力デバイスインターフェース１０６を介してこの出力デバイス１１０に送出される。
【００２３】
ネットワークインターフェース１０７は、コンピュータ１００をＬＡＮやインターネット等のネットワーク回線１１１に接続する為のものである。コンピュータ１００はこのネットワークインターフェース１０７を介してネットワーク回線１１１上の機器とのデータ通信を行うことができる。
【００２４】
図２は、本実施形態に係る情報処理装置の機能構成例を示すブロック図である。図２に示す如く、本実施形態に係る情報処理装置は、画像メタデータ管理部２０１、撮影機器移動経路管理部２０２、関連度評価部２０４、関係付け部２０５、移動体移動経路管理部２０３、により構成されている。なお、本実施形態では図２に示した各部は何れもコンピュータプログラムとして外部記憶装置１０４に保存されているものとするが、各部はハードウェアでもって構成しても良い。
【００２５】
画像メタデータ管理部２０１は、撮影機器により撮影された画像毎に以下の情報を管理する。即ち、画像毎に、撮影時における撮影機器の位置（撮影位置）を示す撮影位置情報、撮影した時刻を示す撮影時刻情報、この撮影機器を特定する機器情報、等の補助情報（メタデータ）をセットにして管理する。このようなセットの取得は、例えば、次のようにして行う。
【００２６】
撮影機器を用いて１枚の画像を撮影したとする。このとき、撮影機器に搭載されているＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）から得た撮影位置情報と、撮影機器に内蔵されているタイマが計時した撮影時刻情報と、撮影機器に固有のＩＤ等の機器情報と、をこの撮影機器から取得する。この取得したそれぞれの情報は、撮影した上記１枚の画像と共にメタデータとして外部記憶装置１０４に登録されるのであるが、この登録したそれぞれについての情報は、画像メタデータ管理部２０１によって管理されることになる。
【００２７】
なお、外部記憶装置１０４へのメタデータの登録については様々な形態が考え得る。例えば、撮影した上記１枚の画像に対してメタデータを特定のフォーマットで埋め込むことで、メタデータをこの画像と共に外部記憶装置１０４に登録しても良いし、画像とは別個のファイルとして外部記憶装置１０４や外部のデータベースに登録しても良い。即ち、画像とメタデータとを関連付けて取り扱うことができるのであれば、それぞれの登録形態については特に限定するものではない。本実施形態では、画像本体とメタデータとは別個のファイルとして外部記憶装置１０４に登録され、それぞれに関する情報は画像メタデータ管理部２０１によって管理されるものとして説明する。
【００２８】
図６は、外部記憶装置１０４に登録された画像ファイルと、この画像ファイルに対するメタデータとを管理する管理テーブルの構成例を示す図である。この管理テーブルは、画像メタデータ管理部２０１によって管理されている。
【００２９】
領域６１０には、撮影された画像に固有のＩＤ（画像ＩＤ）が登録される。領域６２０には、画像をファイルとして外部記憶装置１０４に登録した場合に、外部記憶装置１０４内におけるこの画像ファイルのパス名が登録される。領域６０１には、画像を撮影した撮影機器に固有の情報である機器情報が登録される。領域６０２には、この画像の撮影時刻情報が登録される。領域６０３には、この画像の撮影位置情報が登録される。
【００３０】
図６に示した一例では、画像ＩＤが「ＸＸＸＸ」の画像が「ｃ：￥ｐｈｏｔｏ」というパスで外部記憶装置１０４内に登録されていることを示している。更にこの画像を撮影した撮影機器は「Ｃａｎｏ Ｓｈｏｔ Ｇ９」で、その撮影時刻は「２００８／９／２６ １２：００ＡＭ」で、その撮影位置は「Ｎ３５．５６５６４ Ｅ１３９．６８１２９」である。
【００３１】
このように、撮影機器が画像を撮影する毎に、撮影されたそれぞれの画像について、上記領域６１０，６２０，６０１，６０２，６０３のそれぞれに対応する上記情報が登録されることになる。係る登録処理は画像メタデータ管理部２０１が行う。また、撮影された画像は静止画像、動画像、の何れであっても良いが、本実施形態では、撮影されたそれぞれの画像は静止画像であるものとする。
【００３２】
撮影機器移動経路管理部２０２は、予め定められたタイミング毎に（定期的に）測定された撮影機器の位置情報（撮影機器位置情報）を記録した移動経路情報を、撮影機器毎に管理する（第１の管理）。撮影機器位置情報の取得形態については特に限定するものではない。例えば、上記のように、撮影機器に搭載されているＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）から定期的に撮影機器位置情報を取得し、取得したそれぞれの撮影機器位置情報を移動経路情報に登録しても良い。なお、それぞれの撮影機器に対する移動経路情報には、対応する撮影機器の撮影機器情報が関連付けられている。
【００３３】
移動体移動経路管理部２０３は、人や車両などの移動体の時刻毎の位置情報（移動体位置情報）を記録した移動経路情報を、移動体毎に管理する（第２の管理）。この移動経路情報の取得形態については特に限定するものではない。例えば、移動体が人である場合、例えば、個人が保持する携帯電話のGPS機能を利用して、個人の時間毎の位置情報を残しておき、それを個人の移動経路情報として、移動体移動経路管理部２０３で取得し、管理するようにしても良い。あるいは、自動車で移動しているような場合は、カーナビゲーションシステムの残す履歴情報等を移動経路情報として取得し、これを移動体移動経路管理部２０３が管理するようにしても良い。なお、それぞれの移動体に対する移動経路情報には、対応する移動体に固有の情報（移動体情報）が関連付けられている。
【００３４】
ここで、撮影機器移動経路管理部２０２、移動体移動経路管理部２０３が管理する移動経路情報とは上述の通り、それぞれの時刻における位置情報が登録されたものであり、例えば、図１３に示すような構成を有する。図１３は、移動経路情報の構成例を示す図である。図１３では、５秒間隔で位置情報（緯度・経度）が登録されている。なお、移動体移動経路管理部２０３や移動体移動経路管理部２０３が管理する移動経路情報は、そのデータサイズによっては、外部の装置上にアップロードするようにしても良い。
【００３５】
図２に戻って、関連度評価部２０４は、画像メタデータ管理部２０１、撮影機器移動経路管理部２０２、移動体移動経路管理部２０３のそれぞれが管理する情報を用いて、指定された画像と、指定された移動体との関連度を求める。関連度を求める為の処理については後述する。
【００３６】
関係付け部２０５は、関連度評価部２０４が求めた関連度に基づいて、指定された画像と、指定された移動体と、を関係付けるか否かを決定する。そして関係付け部２０５は、関連度を示す情報を、この指定された画像に対するメタデータとして、外部記憶装置１０４に登録する。
【００３７】
図３は、画像と移動体との関連付けを行うためにコンピュータ１００が行う処理のフローチャートである。なお、以下では、図２に示した各部を処理の主体として説明するが、上記の通り、これら各部は何れもコンピュータプログラムでもって実装されているので、実際には、これらのコンピュータプログラムを実行するＣＰＵ１０１が処理の主体となる。
【００３８】
先ず、ユーザは、関係付ける対象となる画像と移動体とを入力デバイス１０９を用いて指定する操作を行う。例えば、出力デバイス１１０としての表示装置が有する表示画面上に、外部記憶装置１０４に登録済みの画像群と、それぞれの移動体の移動体情報と、を一覧表示させる。ユーザは入力デバイス１０９を用いて１つの画像と、１つの移動体情報とを指定する。従って、ステップＳ３０１では、関連度評価部２０４は、ユーザからの操作指示を受信する。係る操作指示には、ユーザが指定した画像のＩＤ、移動体情報が含まれている。
【００３９】
もちろん、以下の処理で対象となる画像と移動体の指定方法については特に限定するものではなく、コンピュータ１００の外部からユーザ指示などでもって入力するようにしても良いし、コンピュータ１００内の内部処理でもって指定するようにしても良い。例えば、外部記憶装置１０４に新たに画像が登録されたことをＣＰＵ１０１が検知した場合、この画像を撮影した撮影時間、撮影位置に近い移動体移動経路情報から順次処理対象として内部的に自動で選定するようなことをしても構わない。
【００４０】
次に、ステップＳ３０２では、関連度評価部２０４は、ステップＳ３０１で受信した操作指示に含まれている画像のＩＤと関連付けて画像メタデータ管理部２０１が管理する撮影時刻情報、撮影位置情報、機器情報、を取得する。
【００４１】
次にステップＳ３０３では、関連度評価部２０４は、次の処理を実行する（第１の取得）。即ち、ステップＳ３０２で取得した機器情報と関連付けて撮影機器移動経路管理部２０２が管理する移動経路情報から、ステップＳ３０２で取得した撮影時刻情報が示す撮影時刻の近傍時刻範囲内のそれぞれの時刻における撮影機器位置情報を取得する。なお、本ステップでは、ステップＳ３０２で取得した機器情報と関連付けて撮影機器移動経路管理部２０２が管理する移動経路情報そのものを取得するようにしても良い。
【００４２】
次にステップＳ３０４では、関連度評価部２０４は、次の処理を実行する（第２の取得）。即ち、ステップＳ３０１で取得した操作指示に含まれている移動体情報と関連付けて移動体移動経路管理部２０３が管理する移動経路情報から、上記近傍時刻範囲内のそれぞれの時刻における移動体位置情報を取得する。なお、本ステップでは、ステップＳ３０１で取得した操作指示に含まれている移動体情報と関連付けて移動体移動経路管理部２０３が管理する移動経路情報そのものを取得するようにしても良い。
【００４３】
次に、ステップＳ３０５では、関連度評価部２０４は、ステップＳ３０３で取得した撮影機器位置情報群（撮影機器の部分的な移動経路情報）と、ステップＳ３０４で取得した移動体位置情報群（移動体の部分的な移動経路情報）と、を比較する。そして係る比較により、上記近傍時刻範囲内において、撮影機器の移動経路と、移動体の移動経路との間の類似度を求める。移動経路の類似度を求める為の方法については様々な方法が考えられ、何れの方法を用いても良い。そして本実施形態では、この類似度を用いて、ユーザにより指定された画像と、ユーザにより指定された移動体との間の関連度を評価する。
【００４４】
以下に、ユーザにより指定された画像と、ユーザにより指定された移動体との間の関連度を評価するための処理の一例について、図７，８を用いて説明する。図７，８では、複数の移動体のそれぞれと画像との間の関連度を評価する場合について説明するが、係る説明は移動体の個数に限定するものではない。
【００４５】
図７は、撮影機器、移動体のそれぞれの２次元平面上における移動経路を説明する図である。図７において７０１は撮影機器の移動経路を示す。７０２は移動体Ａの移動経路、７０３は移動体Ｂの移動経路、７０４は移動体Ｃの移動経路を示す。ここで、何れの移動経路（７０１〜７０４）も、ある時刻範囲内（2008／9／26 9:00〜15:00）における移動経路であるとする。７０５は、ユーザが指定した画像の撮影時刻「2008／9／26の１２：００」における撮影位置を示している。また、それぞれの移動経路上における「ｓ」は、撮影時刻「2008／9／26の１２：００」の３０分前の時刻Ｔｓにおけるそれぞれの移動経路上の位置を示している。また、それぞれの移動経路上における「ｅ」は、撮影時刻「2008／9／26の１２：００」の３０分後の時刻Ｔｅにおけるそれぞれの移動経路上の位置を示している。
【００４６】
先ず、関連度評価部２０４は、次の処理を行う。即ち、指定された画像の撮影時刻を含む時間範囲内（ここではＴｓ〜Ｔｅ）の各時刻（例えばＴｓ〜Ｔｅを等間隔に分割した場合のそれぞれの分割時刻）において、撮影機器と移動体Ａ、Ｂ、Ｃのそれぞれとの間の距離をそれぞれの移動経路情報を用いて求める。図８は、Ｔｓ〜Ｔｅの間のそれぞれの時刻において、撮影機器と移動体Ａ、Ｂ、Ｃのそれぞれとの間の距離を示す図である。図８において「2008／9／26の１２：００」はＴｎとして示している。
【００４７】
関連度評価部２０４は先ず、ステップＳ３０３で取得した撮影機器位置情報群とステップＳ３０４で取得した移動体Ａの移動体位置情報群とを用いて、時刻Ｔｓにおける撮影機器の位置と移動体Ａの位置との間の距離を求める。図８ではこの距離は「１．３」となっている。同様に関連度評価部２０４は、ステップＳ３０３で取得した撮影機器位置情報群とステップＳ３０４で取得した移動体Ｂの移動体位置情報群とを用いて、時刻Ｔｓにおける撮影機器の位置と移動体Ｂの位置との間の距離を求める。図８ではこの距離は「５．５」となっている。同様に関連度評価部２０４は、ステップＳ３０３で取得した撮影機器位置情報群とステップＳ３０４で取得した移動体Ｃの移動体位置情報群とを用いて、時刻Ｔｓにおける撮影機器の位置と移動体Ｃの位置との間の距離を求める。図８ではこの距離は「１０．０」となっている。
【００４８】
このようにして、関連度評価部２０４は、時刻Ｔｓ〜Ｔｅの間のそれぞれの時刻において、撮影機器と移動体Ａ、Ｂ、Ｃのそれぞれとの間の距離を求める。なお、距離の求め方については特に限定するものではなく、様々な方法を適用しても良い。例えば、緯度・経度の値の差分をそのまま距離として利用しても良いし、その差分からメートル単位で距離を求めても良い。
【００４９】
次に、関連度評価部２０４は、移動体Ａについて求めたそれぞれの距離の分散値と平均値、移動体Ｂについて求めたそれぞれの距離の分散値と平均値、移動体Ｃについて求めたそれぞれの距離の分散値と平均値、を求める。そして求めた分散値、平均値がより小さい移動体ほど、ユーザにより指定された画像を撮影した機器の移動経路とこの移動体の移動経路との間の類似度が高いと考えられるため、この画像とこの移動体との関連性が高いと評価する。
【００５０】
図８によれば、それぞれの時刻における撮影機器の位置と移動体Ａの位置との間の距離は小さく、その平均やばらつき（分散値）も小さい。このような場合は、撮影機器の移動経路７０１と移動体Ａの移動経路７０２との間の類似度は高いと判定され、撮影時刻「2008／9／26の１２：００」において撮影された画像と移動体Ａとの間の関連性は高いと評価される。
【００５１】
一方、移動体Ｂは、時刻Ｔｎにおいては撮影機器との距離は比較的小さいものの、時刻Ｔｓや時刻Ｔｅにおいてはその距離は比較的大きい。それぞれの時刻における撮影機器の位置と移動体Ｂの位置との間の距離の平均値は比較的小さいが、その分散値については、移動体Ａに比べれば大きくなる。そのため、移動体Ｂは移動体Ａと比べれば、撮影時刻「2008／9／26の１２：００」において撮影された画像との間の関連性は低いと評価される。
【００５２】
一方、移動体Ｃの移動経路７０４は、その形状は移動体Ａの移動経路７０１と類似しているが、時刻Ｔｓ〜Ｔｅの間のそれぞれの時刻における移動体Ｃの位置は、時刻Ｔｓ〜Ｔｅの間のそれぞれの時刻における撮影機器の位置とは比較的大きく異なっている。そのため、図８によれば、それぞれの時刻における撮影機器の位置と移動体Ｃの位置との間の距離は大きく、その平均やばらつき（分散値）も大きい。このような場合は、撮影機器の移動経路７０１と移動体Ｃの移動経路７０４との間の類似度は移動体Ａと比べれば低いと判定される。従って、撮影時刻「2008／9／26の１２：００」において撮影された画像と移動体Ｃとの間の関連性は移動体Ａと比べれば低いと評価される。
【００５３】
本実施形態では、以上のようにして、関連度を移動経路の類似度をもって評価する。なお、ここでの説明では、類似度を高い・低いといった抽象的な表現で述べたが、実際には、数値に対して閾値を設定して、より判断を厳密に行う。
【００５４】
例えば関連度評価部２０４は、求めた平均値Ｘと分散値（標準偏差）Ｙに基づいて、ユーザが選択した画像と移動体との間の関連度の評価を行う。先ず関連度評価部２０４は、平均値Ｘと分散値Ｙとを用いて、経路間の類似度を判定する。平均値Ｘが閾値ｔｈ１に対してＸ≦ｔｈ１であり、かつ分散値Ｙが閾値ｔｈ２に対してＹ≦ｔｈ２である場合、類似度が高いと判断する。それ以外の場合は類似度は低いと判断する。
【００５５】
そして関連度評価部２０４は、類似度が高いと判断した場合は、ユーザにより指定された画像と移動体の間の関連度を「高い」と評価する。類似度が低いと判断した場合は、関連度を「低い」（関係なし）と評価する。
【００５６】
このように、平均値Ｘと分散値Ｙに基づいて画像と移動体との関連度を評価する。なお、評価を２段階に分けることに限るものではなく、例えば、次のように３段階に分けるようにしても良い。
【００５７】
まず、平均値Ｘを求める際に、指定した画像に時間的に近いほど大きな重みを与えて加重平均値を求めるようにする。加重平均値Ｘが閾値ｔｈ１に対してＸ≦ｔｈ１であり、かつ分散値Ｙが閾値ｔｈ２に対してＹ≦ｔｈ２である場合、類似度を「経路全体で高い」と判断する。このときの関連度としては、「行動をともにしていた」などと評価する。平均値Ｘが閾値ｔｈ１に対してＸ≦ｔｈ１であり、かつ分散値Ｙが閾値ｔｈ２に対してＹ＞ｔｈ２である場合、類似度を「選択した画像付近では高い」と判断する。このときの関連度としては「選択画像の撮影時に近くにいた」と評価する。それ以外の場合は類似度を「低い」と判断し、関連度を「関係なし」と評価する。
【００５８】
図３に戻って、次に、ステップＳ３０６では、ステップＳ３０５で評価した関連度に基づいて、関係付け部２０５は、ユーザが指定した画像と移動体とを、評価した関連度に応じて関係付ける。
【００５９】
次に、ステップＳ３０７では、関係付け部２０５は、ユーザが指定した画像のメタデータとして新たに、ステップＳ３０６において関係付けた内容を示す情報を、外部記憶装置１０４に登録する。例えば、上記の例で言えば、関連度が「行動をともにしていた」と評価された場合は、この評価を示す情報として、行動をともにしていた移動体を示す情報が登録される。
【００６０】
以上の説明により、本実施形態によれば、画像の撮影時間・撮影位置の情報と、この画像を撮影した撮影機器の移動経路情報と人物などの移動体の移動経路情報との類似度から、移動体と画像との関連度を求め、この関連度に応じて両者を関係付けるようにした。これにより、個々の画像に関連する人物等の情報を、画像に写っているか否かによらず効率的にかつ、精度良く付与できるようになる。
【００６１】
［第２の実施形態］
第１の実施形態では、撮影機器の移動経路情報は、撮影機器移動経路管理部２０２がこの撮影機器から取得するものとしていたが、撮影機器の移動経路情報は必ずしもこの撮影機器が保持する必要はない。
【００６２】
例えば、携帯電話等のGPS端末と撮影機器が、UWB(Ultra Wideband)等の近距離無線通信技術を利用し、撮影機器が「いつ」「どの」GPS端末と通信可能な状態（近くに存在している状態）にあったかを記録しておく。そしてその記録から、近くに存在していた各GPS端末の移動経路情報を繋ぎ合わせて、撮影機器の移動経路情報を獲得する。
【００６３】
あるいは、撮影機器を保持していた撮影者を特定し、特定した撮影者の携帯電話などのGPS端末から移動経路情報を取得しても構わない。ただし、撮影機器が複数の撮影者間で共有される場合等も考えられるため、撮影機器を保持している撮影者を適宜同定できる仕組みが必要である。例えば、指紋認証などの生体認証を利用して撮影者を同定し、撮影機器を「いつ」「誰が」保持していたかを記録しておく。これによって、各撮影者が撮影機器を保持していた間の移動経路情報を繋ぎ合わせることで、撮影機器の移動経路を見つけることが可能になる。
【００６４】
これらの方法によれば、撮影機器に位置情報取得のための構成を持たせることなく、撮影機器の移動経路情報を取得することができる。なお、撮影機器の所有者等は、撮影者としての役割をあらかじめ決められてしまうことも多い。その場合は、上記のような仕組みを用いずとも、撮影者のGPS端末の移動経路情報をそのまま撮影機器の移動経路情報としても良い。この方法は、撮影機器で測位したものや、GPS端末と撮影機器の間での通信を利用した方法に比べると、撮影機器の移動経路情報としては正確性を欠く部分もある。しかし、撮影機器に対する構成の追加が無く、簡易に移動経路情報を取得できるという利点がある。
【００６５】
［第３の実施形態］
第１の実施形態では、撮影機器移動経路管理部２０２によって撮影機器の移動経路情報を管理し、この管理している移動経路情報と、移動体移動経路管理部２０３が管理している移動経路情報とを比較することで、画像と移動体との間の関連度を決定していた。本実施形態では、撮影機器の移動経路情報を用いることなく、同様の目的を達成する技術について説明する。なお、以下では第１の実施形態と異なる点のみについて説明する。
【００６６】
本実施形態に係る情報処理装置のハードウェア構成は、図１に示したものを用い、その機能構成については図４に示した構成を採用する。図４は、本実施形態に係る情報処理装置の機能構成例を示すブロック図である。本実施形態では、ユーザにより指定された画像の撮影位置情報と、この画像の撮影時刻の近傍時刻に、この画像を撮影した撮影機器と同じ撮影機器で撮影された画像の撮影位置情報と、を、撮影機器の移動経路情報の代わりに用いる。より具体的には、関連度評価部２０４は、ユーザにより指定された画像の撮影位置情報を画像メタデータ管理部２０１から取得する。更に関連度評価部２０４は、ユーザが指定した画像の撮影機器情報と同じ撮影機器情報及びこの画像の撮影時刻情報が示す撮影時刻の近傍の撮影時刻を示す撮影時刻情報と関連付けられている画像の撮影位置情報を画像メタデータ管理部２０１から取得する。
【００６７】
そして関連度評価部２０４は、取得したそれぞれの撮影位置情報と、移動体のそれぞれの位置情報と、の間の距離を求める。これについては第１の実施形態の如く、同じ時刻の撮影位置情報と位置情報とを用いてその間の距離を求める。これにより、各時刻における距離を計算することができる。
【００６８】
図９は、撮影機器、移動体のそれぞれの２次元平面上における移動経路を説明する図である。９０１〜９０４は、ユーザにより指定された画像の撮影時刻情報の近傍時刻を示す撮影時刻情報と関連付けられている画像の撮影位置情報が示す位置である。そして関連度評価部２０４は、この場合、位置ｘ（＝位置９０１〜９０４）と、位置ｘと同時刻における移動経路７０２上の位置と、の間の距離、を求める。同様に関連度評価部２０４は、位置ｘ（＝位置９０１〜９０４）と、位置ｘと同時刻における移動経路７０３上の位置と、の間の距離、を求める。同様に関連度評価部２０４は、位置ｘ（＝位置９０１〜９０４）と、位置ｘと同時刻における移動経路７０４上の位置と、の間の距離、を求める。
【００６９】
図１０は、それぞれの移動経路７０２〜７０４について、関連度評価部２０４が求めた距離を示す図である。Ｔ１は位置９０１における撮影時刻情報が示す時刻、Ｔ２は位置９０２における撮影時刻情報が示す時刻、Ｔ３はユーザが指定した画像の撮影時刻、Ｔ４は位置９０３における撮影時刻情報が示す時刻、Ｔ５は位置９０４における撮影時刻情報が示す時刻を示す。例えば、図１０によれば、位置９０１と、位置９０１における時刻である時刻Ｔ１における移動経路７０２上の位置との間の距離は１．５となっている。また、位置９０３と、位置９０３における時刻である時刻Ｔ４における移動経路７０４上の位置との間の距離は１１．３となっている。
【００７０】
そして関連度評価部２０４は第１の実施形態と同様に、それぞれの移動経路７０２〜７０４について、距離の平均値、分散値を求め、求めたこれらの統計量を用いて、ユーザにより指定された画像とユーザにより指定された移動体との間の関連度を求める。
【００７１】
本実施形態によれば、対象画像の撮影が、一連の流れの中で行われていることを前提としているため、その前後で画像が撮影されている必要がある（図９における９０１〜９０４）。また、経路同士の比較よりも比較するポイントが少なくなる可能性が高いので、移動経路同士を比較する場合に比べて計算量を削減でき、また、移動経路の取得・保管が不要になるため、そのための記憶領域や仕組みが削減できるというメリットがある。また、本実施形態では、撮影回数を３回としているが、この撮影回数は１回以上であれば特に限定するものではない。
【００７２】
［第４の実施形態］
第１の実施形態では、関連度が求まった後は、ユーザによる介入無しに関係付け部２０５によって関係付けが成されていた。しかし、関連度が求まった後で、その関連度を表示装置の表示画面上に表示し、この関連度でもって関係付けを行っても良いか否かをユーザに問うようにしても良い。そしてユーザから関係付けを行う旨の指示が入力された場合、後は第１の実施形態と同様に、関係付け部２０５による処理を開始する。
【００７３】
係る構成によれば、第１の実施形態と比べて、利用する側にとっての手間は生じるものの、より意図したメタデータが付与されやすくなるため、再利用時の精度や効果が高くなるというメリットがある。
【００７４】
［第５の実施形態］
第１の実施形態では、関係付け部２０５が生成した「関連度を示す情報」は、画像と関係付けてメタデータとして外部記憶装置１０４に登録するだけであったが、本実施形態では、このメタデータを、移動体としての被写体の認識結果の修正に利用する。以下では第１の実施形態と異なる点のみについて説明する。
【００７５】
図５は、本実施形態に係る情報処理装置の機能構成例を示すブロック図である。図５に示した構成は、図１に示した構成に被写体認識部５０１を加えた構成である。被写体認識部５０１は、撮影装置により撮影された被写体（移動体）の画像を用いてこの被写体を認識することで、認識の確度を示すスコアを計算する。このような被写体認識処理の認識結果の確度については、被写体との距離や被写体の向きといった被写体の写り方や、ピントの合い方、認識用の教師データの質や量など、様々な要因によって変動する。
【００７６】
認識結果の確度が十分でない場合は、実際の正解とは異なった認識を行っている場合が多い。誤った認識結果を画像の被写体として採用することは、検索などで被写体情報を使う際に誤検索の要因になるなど、再利用時のノイズとなるため、好ましく無い。本実施形態では、移動体としての被写体と画像との関連度を、被写体の認識結果を補正するために利用する。
【００７７】
例えば、被写体認識部５０１での認識結果によって、図１１に示すような認識結果が得られたとする。図１１は、被写体認識部５０１が被写体に対する認識処理を行った結果、その認識結果として得られた上位３つについて、認識結果の確度に応じたスコアを示す図である。図１１では、認識対象に対する認識結果として被写体Ｘのスコアが最も大きい値を示しているが、実際には被写体Ａが認識結果として正解であったとする。このとき、この被写体Ａを移動体として第１の実施形態に係る処理を行うことで、画像と被写体Ａとの関連度が高ければ、被写体Ａと画像とは強い関係にあるとして関係付けがなされることになる。例えば、被写体Ａと画像について求めた類似度を被写体Ａのスコアに乗ずることで、このスコアを修正する。このスコアの修正は、被写体認識部５０１が行う。
【００７８】
図１２は、図１１に示した被写体Ａのスコアを、被写体認識部５０１によって修正された結果を示す図である。図１２に示す如く、被写体Ａのスコアが修正され、最も高いスコアとなっている。
【００７９】
なお、本実施形態を実現するにあたっては、移動体移動経路管理部２０３が対象とする移動体と、被写体認識部５０１による認識対象の被写体とが同一である必要がある。従って、被写体認識部５０１による認識結果には、認識対象とした被写体に固有の情報（被写体情報）が関係付けられるべきである。これにより、移動体移動経路管理部２０３が対象とする移動体と、被写体認識部５０１による認識対象の被写体と、が同じであるか否かの判断は、被写体情報と移動体情報とが同じであるか否かを判断することで行うことができる。或いは、移動体と被写体の同定用の対応表を関係付け部２０５等で管理しておくなどすれば良い。このように、移動体と被写体とが同一であるか否かを特定する為の仕組みについては様々な方法が考えられ、何れの方法を用いても良い。
【００８０】
以上の説明により、本実施形態によれば、被写体としての情報の質を高めることができるようになる。これにより、十分ではない確度の認識結果を、被写体情報として画像と関係づけてしまうことを抑制できるようになる。また、第１の実施形態では、移動体と画像の間に関連性があることだけしか分からないが、本実施形態によって、被写体情報として関係付けることができるようになる。本実施形態における認識処理や、第１の実施形態における関連付け処理の、それぞれ個々では実現困難であった効果を得ることができる。
【００８１】
［第６の実施形態］
上記実施形態においては、主に静止画像を対象として述べたが、動画であっても良い。動画の場合は、全体を分割した部分に対して処理を行うことが考えられる。例えば、動画をシーンに分割し、各シーンを上記実施形態における静止画1枚の画像とみなして処理を行っても構わない。あるいは、ｎフレーム分のデータ毎に処理をしても良い。他にも、緯度経度情報を定期的に取得している場合は、ある範囲に納まっている間を一つの部分とみなすといったようにしても良い。もちろん、一つの動画データ全体を処理の対象として扱っても構わない。
【００８２】
［第７の実施形態］
本実施形態では、第１の実施形態で説明した画像と移動体との関係を利用した表示例について述べる。なお、以下では第１の実施形態と異なる点のみについて説明する。
【００８３】
図１４は、複数人で構成されるグループがいくつかのサブグループに分かれて撮影行動を行った場合に、各画像に関係付けられた移動体情報からサブグループの構成とその推移を抽出して表示した例を示す図である。具体的な適用事例としては、複数人で旅行やイベントへ行った場合などが考えられる。
【００８４】
この例では、Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆの６人で行動を開始し、この行動の終わりまでに、この６人がどのような組（サブグループ）で行動を共にしたかの推移を示している。このような表示は、たくさんの画像の中から、利用者が、自分が関係した画像を探したり、あるいは逆に、自分が関われなかった(知らない)画像を探したりといったことを、簡単に入力指示するために使うことができる。例えば、図１４の場合、Ａが自分以外の組み合わせによるサブグループ（１４０１など）をクリックすることで、このサブグループの画像を表示するといったような、GUI（グラフィカルユーザインターフェース）として利用することもできる。
【００８５】
図１５は、本実施形態に係る情報処理装置の機能構成例を示すブロック図である。画像特定部１５０１は、外部記憶装置１０４に登録している画像群から、特定のグループに属する画像群を特定する。例えば、旅行やイベント等で撮影された画像群を特定する。特定のグループに属する画像群を特定する為の仕組みについては様々なものが考え得る。
【００８６】
例えば、外部記憶装置１０４に登録する画像には、「旅行」や「運動会」などといったラベルをメタデータとして付与しておく。これにより画像特定部１５０１は、例えば「運動会」で撮影された画像を特定する場合には、外部記憶装置１０４に登録されているそれぞれの画像のラベルを参照し、「運動会」のラベルが付与された画像を特定する。
【００８７】
また、外部記憶装置１０４に一度に登録された画像群、同一日時に登録された画像群を１つのグループとし、それぞれのグループに上述のようにラベルを付与しても良い。また、第１の実施形態で述べたように、撮影機器の移動経路がわかる場合は、その移動範囲から特定のグループに属する画像群を特定しても構わない。
【００８８】
移動体情報管理部１５０２は、画像に関係付けられた移動体に関する情報を管理する。係る関係付けはどのような方法で行っても良く、例えば第１の実施形態で説明した処理でもって関係付けても良いし、ユーザが手動で関係付けても良い。本実施形態では、移動体に関する情報は、画像とは別個のファイルとして外部記憶装置１０４に登録されているものとする。
【００８９】
移動体関係抽出部１５０３は、画像特定部１５０１が特定した画像群のそれぞれについて、関係付けられている移動体の情報を、移動体情報管理部１５０２から取得する。そしてそれぞれの画像における移動体間の関係を抽出する。本実施形態では、画像特定部１５０１が特定した一連の画像における移動体の増減をチェックし、行動を共にしていたと思われる移動体とその推移の情報を抽出する。
【００９０】
表示部１５０４は、移動体関係抽出部１５０３で求めた、行動を共にしていたと思われる移動体とその推移の情報から、図１４に例示するような画面を生成し、生成した画面を、出力デバイスインターフェース１０６を介して出力デバイス１１０に送出する。図１４は、一連の各画像に関係付けられた移動体の増減によって、行動を共にしていた移動体が変化する様を示している。
【００９１】
図１６は、本実施形態に係る情報処理装置が行う処理のフローチャートである。先ずステップＳ１６０１では、画像特定部１５０１は、外部記憶装置１０４に登録している画像群から、特定のグループに属する画像群を特定する。特定のグループの指定についてはユーザが入力デバイス１０９を用いて行っても良いし、予め定められていても良い。
【００９２】
次に、ステップＳ１６０２では、移動体関係抽出部１５０３は、画像特定部１５０１が特定した画像群のそれぞれについて、関係付けられている移動体の情報を、移動体情報管理部１５０２から取得する。
【００９３】
次に、ステップＳ１６０３では、移動体関係抽出部１５０３は、それぞれの画像に関係付けられた移動体とその推移の情報とを抽出する。本実施形態では、画像特定部１５０１が特定した一連の画像に関係付けられた移動体の増減をチェックし、行動を共にしていたと思われる移動体とその推移の情報を抽出する。
【００９４】
次にステップＳ１６０４では表示部１５０４は、移動体関係抽出部１５０３で求めた、行動を共にしていたと思われる移動体とその推移の情報から、図１４に例示するような画面を生成する。そして、生成した画面を、出力デバイスインターフェース１０６を介して出力デバイス１１０に送出する。このとき、関係付けられた撮影画像が無いことで行動が特定できない移動体が現われることがあるが、それらについては、不定である旨が表示できれば、表示の仕方は限定するものではない。例えば、図１４では、１４０２（Ｄが不定）や１４０３（Ｆが不定）のように、破線を使った表示によって区別をしている。他にも、色を変えたり、点滅させたり、フォントを変えたり、不定である旨のメッセージを出すなどして区別しても構わない。なお、上記各実施形態は適宜組み合わせても良いし、適宜切り替えて使用しても良い。
＜撮影機器の移動経路と移動体の移動経路との間の類似度を求める為の他の方法＞
上記の通り、上記類似度を求めるための方法は他にも考えられ、以下にそのうちの１つを示す。なお、以下に説明する方法は、被写体の時刻と位置の情報（以下、被写体位置・時刻情報と呼称する）を予め収集して管理しているものとする。即ち、被写体経路という概念はあっても無くても良い。
【００９５】
また、ターゲットの画像を決め、その近傍の撮影機器移動経路を取得することについては上記の通りである。次に、撮影機器経路上の等間隔なｎ点をサンプリングする。次に、ｎ個の各サンプルと場所・時間的に近い被写体位置・時刻情報を取得する。ここで、「場所が近い」とは、距離がある閾値内のことであり、「時間が近い」とは、±時間がある閾値内のことである。ここまでの処理により、ｎ個分の被写体位置・時刻情報の集合ができる。
【００９６】
次に、先の処理で求めた全集合内に同一被写体の位置・時刻情報が含まれていた場合は、その被写体の移動経路と撮影機器移動経路との類似度は高いと判定する。なお、ｎ個の全集合内に含まれているかではなく、全集合のうちどれだけの割合で含まれているかで判断しても良い。例えば、ｎ＝１０である場合、１０の集合のうち８割（＝８集合）に含まれていれば、二つの経路は類似していると判定する。また、上記閾値を、ターゲットに近いほど厳しく（狭く）設定するようにしても良い。
【００９７】
［その他の実施形態］
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【００９８】
また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９９】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１００】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【特許請求の範囲】
【請求項１】
撮影機器が画像を撮影した時刻の近傍時刻における当該撮影機器の位置情報と、当該近傍時刻における移動体の位置情報と、を用いて、前記撮影機器の移動経路と前記移動体の移動経路との間の類似度を求める計算手段と、
前記計算手段が計算した類似度に基づいて、前記画像と前記移動体との関連度を決定し、決定した関連度を示す情報を前記画像と関係付けて登録する登録手段と
を備えることを特徴とする情報処理装置。
【請求項２】
更に、
それぞれの時刻における撮影機器の位置情報を管理する第１の管理手段と、
それぞれの時刻における移動体の位置情報を管理する第２の管理手段と、
を備え、
前記計算手段は、
前記撮影機器が画像を撮影した時刻の近傍時刻における位置情報を、前記第１の管理手段が管理する位置情報群から取得する第１の取得手段と、
前記近傍時刻における前記移動体の位置情報を、前記第２の管理手段が管理する位置情報群から取得する第２の取得手段とを備え、
取得したそれぞれの位置情報を用いて、前記類似度を求める
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記第１の管理手段は、前記撮影機器により撮影されたそれぞれの画像の撮影位置情報を、それぞれの時刻における撮影機器の位置情報として管理することを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記第１の管理手段は、外部の機器により定期的に測定された前記撮影機器の位置情報を、それぞれの時刻における撮影機器の位置情報として管理することを特徴とする請求項２に記載の情報処理装置。
【請求項５】
前記計算手段は、前記第１の取得手段が取得した位置情報と、前記第２の取得手段が取得した位置情報と、の間の類似度を求めることを特徴とする請求項２に記載の情報処理装置。
【請求項６】
前記計算手段は、
前記第１の取得手段が取得した位置情報と、前記第２の取得手段が取得した位置情報と、の間の距離を求め、
前記距離の平均値、分散値を求め、
前記平均値と前記分散値とを用いて前記類似度を求め、
前記類似度は、前記平均値が小さいほど大きく、前記分散値が小さいほど大きい
ことを特徴とする請求項２に記載の情報処理装置。
【請求項７】
前記登録手段は、前記類似度が大きいほど、前記画像と前記移動体との関連度がより高いと決定することを特徴とする請求項１乃至６の何れか１項に記載の情報処理装置。
【請求項８】
前記登録手段は、前記関連度を示す情報をメタデータとして前記画像と関係付けて、前記情報処理装置が有するメモリに登録することを特徴とする請求項１乃至７の何れか１項に記載の情報処理装置。
【請求項９】
更に、
前記移動体の画像を用いて前記移動体を認識することで、認識の確度を示すスコアを計算する手段と、
前記登録手段により決定された関連度に基づいて前記スコアを修正する手段と
を備えることを特徴とする請求項１乃至８の何れか１項に記載の情報処理装置。
【請求項１０】
計算手段が、撮影機器が画像を撮影した時刻の近傍時刻における当該撮影機器の位置情報と、当該近傍時刻における移動体の位置情報と、を用いて、前記撮影機器の移動経路と前記移動体の移動経路との間の類似度を求める計算工程と、
登録手段が、前記計算工程で計算した類似度に基づいて、前記画像と前記移動体との関連度を決定し、決定した関連度を示す情報を前記画像と関係付けて登録する登録工程と
を備えることを特徴とする情報処理方法。
【請求項１１】
コンピュータを、請求項１乃至９の何れか１項に記載の情報処理装置が有する各手段として機能させるためのコンピュータプログラム。
【請求項１２】
請求項１１に記載のコンピュータプログラムを格納した、コンピュータ読み取り可能な記憶媒体。
【請求項１】
撮影機器が画像を撮影した時刻の近傍時刻における当該撮影機器の位置情報と、当該近傍時刻における移動体の位置情報と、を用いて、前記撮影機器の移動経路と前記移動体の移動経路との間の類似度を求める計算手段と、
前記計算手段が計算した類似度に基づいて、前記画像と前記移動体との関連度を決定し、決定した関連度を示す情報を前記画像と関係付けて登録する登録手段と
を備えることを特徴とする情報処理装置。
【請求項２】
更に、
それぞれの時刻における撮影機器の位置情報を管理する第１の管理手段と、
それぞれの時刻における移動体の位置情報を管理する第２の管理手段と、
を備え、
前記計算手段は、
前記撮影機器が画像を撮影した時刻の近傍時刻における位置情報を、前記第１の管理手段が管理する位置情報群から取得する第１の取得手段と、
前記近傍時刻における前記移動体の位置情報を、前記第２の管理手段が管理する位置情報群から取得する第２の取得手段とを備え、
取得したそれぞれの位置情報を用いて、前記類似度を求める
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記第１の管理手段は、前記撮影機器により撮影されたそれぞれの画像の撮影位置情報を、それぞれの時刻における撮影機器の位置情報として管理することを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記第１の管理手段は、外部の機器により定期的に測定された前記撮影機器の位置情報を、それぞれの時刻における撮影機器の位置情報として管理することを特徴とする請求項２に記載の情報処理装置。
【請求項５】
前記計算手段は、前記第１の取得手段が取得した位置情報と、前記第２の取得手段が取得した位置情報と、の間の類似度を求めることを特徴とする請求項２に記載の情報処理装置。
【請求項６】
前記計算手段は、
前記第１の取得手段が取得した位置情報と、前記第２の取得手段が取得した位置情報と、の間の距離を求め、
前記距離の平均値、分散値を求め、
前記平均値と前記分散値とを用いて前記類似度を求め、
前記類似度は、前記平均値が小さいほど大きく、前記分散値が小さいほど大きい
ことを特徴とする請求項２に記載の情報処理装置。
【請求項７】
前記登録手段は、前記類似度が大きいほど、前記画像と前記移動体との関連度がより高いと決定することを特徴とする請求項１乃至６の何れか１項に記載の情報処理装置。
【請求項８】
前記登録手段は、前記関連度を示す情報をメタデータとして前記画像と関係付けて、前記情報処理装置が有するメモリに登録することを特徴とする請求項１乃至７の何れか１項に記載の情報処理装置。
【請求項９】
更に、
前記移動体の画像を用いて前記移動体を認識することで、認識の確度を示すスコアを計算する手段と、
前記登録手段により決定された関連度に基づいて前記スコアを修正する手段と
を備えることを特徴とする請求項１乃至８の何れか１項に記載の情報処理装置。
【請求項１０】
計算手段が、撮影機器が画像を撮影した時刻の近傍時刻における当該撮影機器の位置情報と、当該近傍時刻における移動体の位置情報と、を用いて、前記撮影機器の移動経路と前記移動体の移動経路との間の類似度を求める計算工程と、
登録手段が、前記計算工程で計算した類似度に基づいて、前記画像と前記移動体との関連度を決定し、決定した関連度を示す情報を前記画像と関係付けて登録する登録工程と
を備えることを特徴とする情報処理方法。
【請求項１１】
コンピュータを、請求項１乃至９の何れか１項に記載の情報処理装置が有する各手段として機能させるためのコンピュータプログラム。
【請求項１２】
請求項１１に記載のコンピュータプログラムを格納した、コンピュータ読み取り可能な記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１０−２６７０３０（Ｐ２０１０−２６７０３０Ａ）
【公開日】平成２２年１１月２５日（２０１０．１１．２５）
【国際特許分類】
【出願番号】特願２００９−１１７０４６（Ｐ２００９−１１７０４６）
【出願日】平成２１年５月１３日（２００９．５．１３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２２年１１月２５日（２０１０．１１．２５）
【国際特許分類】
【出願日】平成２１年５月１３日（２００９．５．１３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]