情報処理装置および情報処理方法
【課題】撮影によって既に取得済みの画像の撮影者をある確度をもって推定することができるようにすること。
【解決手段】撮影カメラ特定部１１は、撮影者の推定対象となる注目画像と関連付けられているカメラの情報を取得し、カメラ所有者ＤＢ１０を参照して、取得したカメラの情報と関連付けられた所有者を特定し、特定した所有者の情報に基づいて、複数の人物の各々が注目画像の撮影者であることの確からしさを示す第１の値を得る。撮影者判定部２２は、注目画像に含まれる被写体画像と被写体ＤＢ１３内の各人物画像との照合結果に基づいて、複数の人物の各々が注目画像の撮影者であることの確からしさを示す第２の値を得る。撮影者判定部２２はさらに、第１および第２の値に基づいて、複数の人物の各々が注目画像の撮影者であることの確からしさを示す第３の値を得る。
【解決手段】撮影カメラ特定部１１は、撮影者の推定対象となる注目画像と関連付けられているカメラの情報を取得し、カメラ所有者ＤＢ１０を参照して、取得したカメラの情報と関連付けられた所有者を特定し、特定した所有者の情報に基づいて、複数の人物の各々が注目画像の撮影者であることの確からしさを示す第１の値を得る。撮影者判定部２２は、注目画像に含まれる被写体画像と被写体ＤＢ１３内の各人物画像との照合結果に基づいて、複数の人物の各々が注目画像の撮影者であることの確からしさを示す第２の値を得る。撮影者判定部２２はさらに、第１および第２の値に基づいて、複数の人物の各々が注目画像の撮影者であることの確からしさを示す第３の値を得る。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、静止画および動画を管理するための情報処理技術に関する。
【背景技術】
【０００２】
家庭において、デジタルスティルカメラ、ビデオカメラ、静止画および動画撮影機能付きの携帯端末などの撮像装置の普及にともない、撮影によって得られた静止画や動画を効率良く管理することが求められている。従来、撮影によって得られた静止画や動画をパーソナルコンピュータなど、大容量の記憶デバイスを備えた情報処理装置に格納し、撮影した日付、撮影した場所、撮影された人物、などによって管理する方法が知られている。
【０００３】
ところで、管理対象の静止画および動画（以下、総称して「画像」という。）について誰が撮影した画像であるか特定したいという要望が存在する。この要望が存在する理由は主として以下の３つの場合である。
第１の場合は、管理対象の画像の撮影者に対して適切な撮影手法をフィードバックしたい場合である。例えば静止画が、手振れ、または不適切なホワイトバランス、逆光状態での撮影、不適切な構図などによって出来が良くないとき、その静止画の撮影者に対して画像の出来が良くない原因をフィードバックすることで、撮影者の撮影技術の向上が図れる。
第２の場合は、多数の画像を管理するときに、撮影者による分類を行いたい場合である。
第３の場合は、画像の撮影者の行動履歴、嗜好などの分析を行いたい場合である。
【０００４】
画像に基づいてその画像の撮影者を特定する方法については、様々な技術が知られている。そのような様々な技術として例えば、撮影時に同時に記録された音声データにより撮影者情報を写真に埋め込む技術、カメラに指紋センサを搭載する技術、カメラのファインダ内に撮影者の網膜情報を読み取るセンサを搭載する技術などが知られている。
【０００５】
画像の撮影者を特定する他の技術として例えば、撮影時において、撮影に使われた電子機器、撮影者、撮影場所、撮影時間等の撮影情報を識別情報として埋め込む技術や、撮影者をサムネイル画像によりアイコン表示させる技術が知られている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−２１３１８３号公報
【特許文献２】特開２００６−２２９２９３号公報
【特許文献３】特開２００６−２３８０７５号公報
【特許文献４】特開２００７−１８９４７０号公報
【特許文献５】特開２００８−２７８３５１号公報
【特許文献６】特開２００４−３５７１４５号公報
【特許文献７】特開２００５−２６０４４１号公報
【特許文献８】特表２００８−５４３２２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
画像に基づいてその画像の撮影者を特定する従来のいくつかの方法は、画像の撮影者を特定するために撮像装置に付加的なデバイスが組み込まれており、撮像装置が高価なものとなりやすい。また、他のいくつかの方法は、予め撮像装置側に撮影者を特定するための所定の情報を入力することが前提となっており、この入力処理に対応した撮像装置のみが撮影者を特定できるに過ぎない。そのような撮像装置であっても予め所定の情報が入力されていないか、または他の撮像装置が使用される場合には、画像の撮影者を特定することができない。
【０００８】
よって、発明の１つの側面では、撮影によって既に取得済みの画像の撮影者をある確度をもって推定することができる情報処理装置および情報処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
第１の観点では、画像の撮影者を推定する情報処理装置が提供される。
この情報処理装置は、
（Ａ）撮像装置と、複数の人物のうち上記撮像装置の所有者とを予め関連付けた第１データベースを含む第１格納部；
（Ｂ）上記複数の人物とその各々の人物画像とを予め関連付けた第２データベースを含む第２格納部；
（Ｃ）撮影者の推定対象となる注目画像と関連付けられている撮像装置の情報を取得し、第１データベースを参照して、取得した上記撮像装置の情報と関連付けられた所有者を特定し、特定した上記所有者の情報に基づいて、上記複数の人物の各々が上記注目画像の撮影者であることの確からしさを示す第１の値を得る第１判定部；
（Ｄ）上記注目画像に含まれる被写体画像と第２データベース内の各人物画像との照合結果に基づいて、上記複数の人物の各々が上記注目画像の撮影者であることの確からしさを示す第２の値を得る第２判定部；
（Ｅ）上記第１および第２の値に基づいて、上記複数の人物の各々が上記注目画像の撮影者であることの確からしさを示す第３の値を得る第３判定部；
を備える。
【００１０】
第２の観点では、画像の撮影者を推定する情報処理方法が提供される。
【発明の効果】
【００１１】
開示の情報処理装置および情報処理方法によれば、撮影によって既に取得済みの画像の撮影者をある確度をもって推定することができる。
【図面の簡単な説明】
【００１２】
【図１】実施形態の情報処理装置の構成を示すブロック図。
【図２】実施形態において撮影画像情報の例を示す図。
【図３】実施形態の情報処理装置の動作の全体を示すフローチャート。
【図４】実施形態の情報処理装置の撮影カメラ特定処理の詳細フローチャート。
【図５】実施形態においてカメラ所有者データベースの一例を示す図。
【図６】実施形態の情報処理装置の被写体判定処理の詳細フローチャート。
【図７】実施形態において被写体データベースの一例を示す図。
【図８】実施形態において被写体情報の一例を示す図。
【図９】実施形態の情報処理装置の撮影日時判定処理の詳細フローチャート。
【図１０】実施形態の情報処理装置の撮影場所判定処理の詳細フローチャート。
【図１１】実施形態の情報処理装置の撮影イベント判定処理の詳細フローチャート。
【図１２】実施形態の情報処理装置の撮影モード判定処理の詳細フローチャート。
【図１３】実施形態の情報処理装置の撮影者判定処理の詳細フローチャート。
【図１４】実施形態において撮影者情報の一例を示す図。
【発明を実施するための形態】
【００１３】
以下、情報処理装置および情報処理方法の一実施形態について説明する。
本実施形態の情報処理装置１は、例えばパーソナルコンピュータや携帯端末などであるが、ＣＰＵなどによって実現されうる演算機能、およびデータを記憶する記憶機能を備えていればこれらの機器に限定されない。デジタルスティルカメラ、ビデオカメラ、静止画および動画撮影機能付きの携帯端末などの撮像装置が上記機能を備えていれば、これらの撮像装置（以下の説明では、総称して「カメラ」と記述する。）も本実施形態の情報処理装置１として含まれうる。
【００１４】
（１）情報処理装置１の構成
本実施形態の情報処理装置１は、撮影によって既に取得済みの画像の撮影者を、予め登録された複数の人物を含む母集団の中から、ある確度をもって推定することができるように構成されている。本実施形態の情報処理装置１の構成を示すブロック図を図１に示す。
図１に示すように、本実施形態の情報処理装置１は、カメラ所有者ＤＢ１０（第１データベース）と、撮影カメラ特定部１１（第１判定部）と、カメラ情報格納部１２と、被写体ＤＢ１３（第２データベース）と、被写体判定部１４と、被写体情報格納部１５と、撮影日時判定部１６と、撮影場所判定部１７と、撮影イベント判定部１８と、撮影イベント情報格納部１９と、撮影モード判定部２０と、撮影モード情報格納部２１と、撮影者判定部２２（第２判定部、第３判定部）とを備えうる。
情報処理装置１は、撮影によって既に取得済みの画像の画像ファイルが複数含まれる撮影画像情報１００を有するか、または撮影画像情報１００にアクセス可能である。情報処理装置１は、各画像ファイルに対応する画像の撮影者を推定して、画像ファイルごとに推定した撮影者を記録した撮影者情報１１０を生成する。
【００１５】
図２に、撮影画像情報１００に含まれる複数の画像ファイルの例を示す。
各画像ファイルは、画像に対して、ファイルIndex、ファイル名、画像の属性、カメラＩＤ、撮影日時の情報、撮影場所の情報、撮影モード情報等が関連付けられている。ファイル名は、情報処理装置１上での画像のファイル名である。情報処理装置１がその画像の撮像装置であるか、または撮像装置内の画像ファイルをそのまま情報処理装置１にコピーした場合には、ファイル名は、その画像の撮像装置の基準に従って名前が付けられている。画像の属性は、図２に示す例では、静止画の場合に「Ｐ」、動画の場合に「Ｍ」として示している。画像の属性は通常、ファイルの拡張子から判別可能である。
【００１６】
カメラＩＤは、対応する画像の撮影に使用された撮像装置としてのカメラについて、撮影カメラ特定部１１によって特定された結果としての情報であり、撮影カメラ特定部１１によって記録される。カメラＩＤは、同一のカメラに対して一意に定まる情報である。例えば図２において、「カメラＡ」となっている複数の画像が同一のカメラによる撮影で得られたものであることを意味する。
撮影日時の情報は、撮影日時判定部１６によって記録される。画像が静止画の場合には画像ファイルにExif情報が含まれるため、Exif情報を参照して撮影日時の情報を記録してもよい。
撮影場所の情報は、撮影場所判定部１７によって記録される。撮像装置にＧＰＳ(Global Positioning System)機能が含まれており、画像ファイルと撮影場所の情報としての緯度、経度の情報とが関連付けられている場合には、その緯度、経度の情報を撮影場所の情報として記録してもよい。
撮影モード情報は、撮影モード判定部２０によって記録される。図２の例では、画像が遠隔制御またはタイマ制御によって得られた場合には「Ａ」（後述する撮影モード係数＝０の場合に対応）、手動で行われた場合には「Ｍ」（後述する撮影モード係数＝１の場合に対応）として示している。このとき、上記Exif情報にはこの撮影モード情報が含まれるため、撮影モード判定部２０は撮影モード情報を取得するためにExif情報を参照してもよい。
【００１７】
本実施形態の情報処理装置１において、各部の機能は以下のとおりである。
撮影カメラ特定部１１は、カメラ所有者ＤＢ１０を参照して、注目画像（「複数の画像のうち処理対象となる画像」を意味する。）を撮影したカメラの所有者の情報に基づき、登録された各々の人物が撮影者であることの確からしさを示すカメラ係数を算出し、カメラ情報としてカメラ情報格納部１２に記録する。
被写体判定部１４は、被写体ＤＢ１３を参照して、被写体ＤＢ１３内に含まれる人物画像と、注目画像内の被写体画像とを照合することによって、後述する被写体情報を生成して被写体情報格納部１５に記録する。
撮影日時判定部１６は、注目画像の撮影日時を特定、または推定して撮影者情報１１０に記録する。撮影場所判定部１７は、注目画像の撮影場所を特定、または推定して撮影者情報１１０に記録する。
撮影イベント判定部１８は、注目画像の撮影日時の情報あるいは撮影場所の情報に基づいて、処理対象の複数の画像が同一イベントのものであることの関連付けを行い、その関連付けを示す撮影イベント情報を撮影イベント情報格納部１９に記録する。
撮影モード判定部２０は、注目画像の撮影モード情報を取得できる場合には、注目画像が遠隔制御またはタイマ制御によって得られたものであるか否かを示す撮影モード係数を設定して、画像と関連付けて撮影モード情報格納部２１に記録する。
撮影者判定部２２は、カメラ所有者ＤＢ１０、カメラ情報格納部１２、被写体情報格納部１５、撮影イベント情報格納部１９および撮影モード情報格納部２１等にアクセスして、後述する所定の演算処理を行うことで、各画像の撮影者を推定して撮影者情報１１０に記録する。
【００１８】
図１に示した情報処理装置１の構成において、撮影カメラ特定部１１、被写体判定部１４、撮影日時判定部１６、撮影場所判定部１７、撮影モード判定部２０および撮影者判定部２２はそれぞれ、図示しないＣＰＵがプログラムを実行することによって得られる機能の一部であってよい。また、図１の複数のＤＢは、例えばＨＤＤ(Hard Disk Drive)などのデータストレージに格納されうる。図１の複数の格納部は、例えばＲＡＭ(Random Access Memory)などのメモリで構成されうる。
【００１９】
（２）情報処理装置１の動作
次に、情報処理装置１の動作について、具体例を挙げつつ説明する。以下の説明では、図３〜１４が適宜参照される。なお、以下の説明において、複数の画像のうち処理対象となる画像を「注目画像」と表記する。また、以下の動作例は、予め登録された複数の人物（母集団）に１つの家族内の複数の人物が含まれており、予め登録された複数の人物の中から特定の画像の撮影者が推定されるものとする。しかしながら、予め登録される母集団はこれに限られず任意に設定しうることは当業者によって理解される。
【００２０】
図３は、情報処理装置１の動作の全体を示すフローチャートである。図３に示すように、情報処理装置１の動作は、以下の処理を含む。
・ステップＳ１：主として撮影カメラ特定部１１で実行される撮影カメラ特定処理
・ステップＳ２：主として被写体判定部１４で実行される被写体判定処理
・ステップＳ３：主として撮影日時判定部１６で実行される撮影日時判定処理
・ステップＳ４：主として撮影場所判定部１７で実行される撮影場所判定処理
・ステップＳ５：主として撮影イベント判定部１８で実行される撮影イベント判定処理
・ステップＳ６：主として撮影モード判定部２０で実行される撮影モード判定処理
・ステップＳ７：主として撮影者判定部２２で実行される撮影者判定処理
【００２１】
以下の説明で言及されるデータベースまたは情報の例を示す図における、「所有者ＩＤ」、「被写体ＩＤ」、「被写体名」は、説明の便宜のための表示例に過ぎず、実際のデータ処理においては、予め情報処理装置１に登録されている個々の人物に割り当てられた固有の番号またはコードによって管理されているものとする。
【００２２】
（２−１）撮影カメラ特定処理
図４は、図３のステップＳ１の撮影カメラ特定処理の詳細フローチャートである。
図４において、ステップＳ１１以降の処理は、撮影者を推定対象となるすべての画像の各々を対象として行われる（ステップＳ１０）。撮影カメラ特定部１１は先ず、注目画像に対してカメラ固有のカメラＩＤが関連付けられているか否か判定する（ステップＳ１１）。ステップＳ１２において、注目画像のExif情報にカメラＩＤが含まれている場合には、そのカメラＩＤがExif情報から抽出され、撮影画像情報１００に記録される。また、画像のファイル名にはカメラの製造者固有のプリフィックス文字が自動的に付けられることが多く、このプリフィックス文字を参照することでカメラＩＤを得ることもできる。次に撮影カメラ特定部１１は、ステップＳ１２で得られたカメラＩＤを、カメラ所有者ＤＢ１０と照合する（ステップＳ１３）。そして、カメラ所有者ＤＢ１０の中に、ステップＳ１２で得られたカメラＩＤが存在するか否か判定される（ステップＳ１４）。
【００２３】
図５に、カメラ所有者ＤＢ１０の一例を示す。
図５に示す例では、カメラ所有者ＤＢ１０は、カメラ固有のカメラＩＤと、カメラの属性と、所有者ＩＤとが関連付けられている。
【００２４】
カメラ所有者ＤＢ１０では、カメラの属性に応じて一意に定まる２つの相関パラメータが設定されている。図５で相関パラメータ１および相関パラメータ２はそれぞれ、所有者と撮影者との相関値を％で示すもの、および所有者以外の人間と撮影者との相関値を％で示すものである。「所有者と撮影者との相関値を％で示すもの」とは、「所有者が撮影者と一致する確率を％で示すもの」と言い換えることもできる。なお、相関パラメータは必ずしもカメラ所有者ＤＢ１０内に設定されている必要はなく、カメラの属性をキーとして撮影カメラ特定部１１がアクセス可能な別のデータ形態であってもよい。いずれにせよ、各相関パラメータは、カメラの属性に応じて一意に定まるように予め設定されている。
【００２５】
図５に示す例では、カメラの属性がデジタルカメラ（以下、「デジタルスティルカメラ」を意味する。）である場合には、相関パラメータ１および相関パラメータ２をそれぞれ「７０」、「２０」としている。これは、デジタルカメラは近年、廉価なモデルが広まってきており、例えば家庭内で複数台所有される可能性があるものの、撮影者が所有者の場合、所有者以外の家族の場合の双方が想定されうるためである。但し、このパラメータは状況に応じて適宜設定されうることは言うまでもない。
図５に示す例では、カメラの属性がビデオカメラ（以下、「デジタルビデオカメラ」を意味する。）である場合には、相関パラメータ１および相関パラメータ２をそれぞれ「８０」、「１０」としている。これは、ビデオカメラは依然として高価であり、例えば家庭内で複数台所有される可能性が低いため、撮影者が所有者である可能性がデジタルカメラの場合よりも高いためである。但し、このパラメータは状況に応じて適宜設定されうることは言うまでもない。
図５に示す例では、カメラの属性が携帯電話機である場合には、相関パラメータ１および相関パラメータ２をそれぞれ「１００」、「０」としている。これは、携帯電話機は個人所有の場合がほとんどであり、撮影者が所有者であると見なせるためである。但し、このパラメータは状況に応じて適宜設定されうることは言うまでもない。
【００２６】
図４のステップＳ１４で、カメラ所有者ＤＢ１０の中にステップＳ１２で得られたカメラＩＤが存在する場合には、撮影カメラ特定部１１は、そのカメラＩＤと対応する相関パラメータの値を抽出する。さらに撮影カメラ特定部１１は、注目画像ごとに、登録された複数の人物の各々に対応するカメラ係数を算出し、個々の人物とカメラ係数とを対応付けたカメラ情報をカメラ情報格納部１２に記録する（ステップＳ１５）。ここで、カメラ係数は、相関パラメータ１および相関パラメータ２に基づいて以下のとおり算出される。
【００２７】
カメラ係数の算出方法は、以下のとおりである。
家族内の人物のうち注目画像の撮影に使用されたカメラの所有者のカメラ係数は、カメラの属性に応じた相関パラメータ１の値とする。また、家族内の人物のうち注目画像の撮影に使用されたカメラの所有者以外の人物のカメラ係数は、相関パラメータ２の値とする。家族内の人物以外の人物が登録されていた場合には、その人物のカメラ係数は、（１−相関パラメータ１−相関パラメータ２）とする。このようにカメラ係数を設定することにより、カメラ係数（第１の値）は、注目画像を撮影したカメラの所有者の情報に基づき、登録された各々の人物が撮影者であることの確からしさを示す値を示すことになる。
なお、ステップＳ１１で、注目画像に対してカメラＩＤが関連付けられていない場合には、家族以外の人物によって注目画像が撮影されたことを意味する。よって、その場合には、撮影画像情報１００において、注目画像に対応するカメラＩＤを例えば「その他」と記録し（ステップＳ１６）、実質的にその注目画像を撮影者の推定対象から除外する。
【００２８】
（２−２）被写体判定処理
図６は、図３のステップＳ２の被写体判定処理の詳細フローチャートである。
図６において、ステップＳ２１以降の処理は、撮影者を推定対象となるすべての画像の各々を対象として行われる（ステップＳ２０）。被写体判定部１４は先ず、注目画像から被写体画像の抽出を試みる（ステップＳ２１）。その結果、注目画像に被写体が写っていた場合には（ステップＳ２２のＹｅｓ）、被写体判定部１４は、その被写体を被写体ＤＢ１３と照合する（ステップＳ２３）。顔認識技術を利用する場合には、注目画像から被写体画像として被写体の顔のみの一部画像が照合のために抽出される。
【００２９】
図７に被写体ＤＢ１３の一例を示す。
被写体ＤＢ１３では少なくとも、登録されている複数の人物の各々のＩＤ（図７では、「被写体ＩＤ」と表記する。）と、各人物に対応する人物画像（図７のp001.jpg等）とが対応付けられている。各被写体ＩＤに対応する人物画像は、注目画像から抽出された被写体画像との照合に利用される。画像の照合は例えば、公知の顔認識技術が適用されうる。
【００３０】
ステップＳ２３の照合の結果、被写体ＤＢ１３内に合致する被写体が存在した場合には（ステップＳ２４のＹｅｓ）、被写体情報格納部１５の被写体情報として、画像と、被写体ＩＤと、被写体が一致している確率（被写体確率）とを、被写体情報として記録する（ステップＳ２５）。このとき、例えば顔認識アルゴリズムで得られる被写体の合致度を被写体確率としてよい。注目画像に対して複数の被写体が存在する場合には、その各々の被写体に対しする被写体ＩＤと被写体確率が画像に関連付けられる。
図８に、被写体情報の一例を示す。図８において、「Index」は被写体情報自体のIndexであり、「ファイルIndex」は画像のファイルIndexである。例えば、ファイルIndexが「４」の画像には、被写体ＩＤが「３」、「４」、「５」である３人の人物が被写体として存在し、各々の被写体確率がそれぞれ、「７０％」、「７０％」、「８０％」であることを示している。
【００３１】
（２−３）撮影日時判定処理
図９は、図３のステップＳ３の撮影日時判定処理の詳細フローチャートである。
図９において、ステップＳ３１以降の処理は、撮影者を推定対象となるすべての画像の各々を対象として行われる（ステップＳ３０）。撮影日時判定部１６は先ず、画像の撮影日時の解析を行う（ステップＳ３１）。静止画の場合にはExif情報に撮影日時の情報が含まれているため、Exif情報を参照することで画像の撮影日時が得られる。また、動画の場合には通常、保存日時と関連付けられているため、保存日時を撮影日時として見なしてよい。また、動画の場合は通常、撮影期間も既知であるため、動画の保存日時から撮影期間だけ遡って得られる撮影開始日時を撮影日時と見なしてもよい。このように画像に関連付けられた撮影日時の情報が取得可能である場合には（ステップＳ３２のＹｅｓ）、撮影日時判定部１６は、取得した撮影日時の情報を利用し（ステップＳ３３）、その撮影日時の情報を撮影画像情報１００内の画像ファイルの「撮影日時」の欄に記録する（ステップＳ３５）。ステップＳ３２でＮｏの場合には、画像ファイルのタイムスタンプを「撮影日時」の欄に記録する（ステップＳ３４，Ｓ３５）。
【００３２】
（２−４）撮影場所判定処理
図１０は、図３のステップＳ４の撮影場所判定処理の詳細フローチャートである。
図１０において、ステップＳ４１以降の処理は、撮影者を推定対象となるすべての画像の各々を対象として行われる（ステップＳ４０）。撮影場所判定部１７は先ず、注目画像の撮影場所の解析を行う（ステップＳ４１）。注目画像を撮影したカメラにＧＰＳ機能が含まれており、画像と撮影場所の情報としての緯度、経度の情報とが関連付けられて情報処理装置１に取り込まれている場合には、その緯度、経度の情報を撮影場所の情報として取得可能である。このような場合には（ステップＳ４２のＹｅｓ）、取得した撮影場所の情報を利用し（ステップＳ４３）、その撮影場所の情報を撮影画像情報１００内の画像ファイルの「撮影場所」の欄に記録する（ステップＳ４４）。ステップＳ４２でＮｏの場合には、撮影画像情報１００内の画像ファイルの「撮影場所」の欄に何も記録されない。
【００３３】
（２−５）撮影イベント判定処理
図１１は、図３のステップＳ５の撮影イベント判定処理の詳細フローチャートである。
図１１では先ず、撮影イベント判定部１８は、撮影画像情報１００を撮影日時または撮影場所でソートし（ステップＳ５０）、ステップＳ５２以降の処理を、撮影者を推定対象となるすべての画像の各々を対象として行う（ステップＳ５１）。なお、図１１では、ステップＳ５２以降の処理について、ステップＳ５０のソート処理が撮影日時でソートされた場合について例示している。
先ず複数の画像のうち最初の画像（つまり、撮影時刻が最も早い画像）の処理である場合には（ステップＳ５２のＹｅｓ）、撮影イベント判定部１８は、変数Timeに最初の画像の撮影時刻の値を格納して（ステップＳ５３）、ステップＳ５１に戻り２個目の画像（つまり、２番目に撮影時刻が早い画像）の処理に移る。撮影イベント判定部１８は、２個目の画像の処理ではステップＳ５４へ進み、変数Timeの値（最初の画像の撮影時刻）と現在処理中の画像（２個目の画像）の撮影時刻の差を計算する。その結果、撮影時刻の差が所定の閾値よりも小さい場合には、撮影イベント判定部１８は、対応する複数の画像が同一イベントのものであることを示す撮影イベント情報を撮影イベント情報格納部１９に記録して（ステップＳ５６）、ステップＳ５３へ進む。複数の画像間で撮影時刻の差が所定の閾値（例えば数秒等の短時間の値に設定される）よりも小さい場合にはその複数の画像の撮影者が同一である可能性が高いため、撮影イベント情報を記録しておくことは、後の処理において撮影者の推定精度を高めるのに役立つ。撮影時刻の差が所定の閾値以上である場合には、ステップＳ５３へ進む。
ステップＳ５３では、変数Timeの値が現在処理中の画像、すなわち２個目の画像の撮影時刻の値が格納される。その後、３個目の画像（つまり、３番目に撮影時刻が早い画像）についての処理が行われる。以後、同様にして、ソートされたすべての画像を対象に処理が行われる。上記処理では、撮影日時でソートされた複数の画像のうち隣接した画像の間で撮影時刻がある程度近接した複数の画像については同一イベントでの撮影によって得られたものと推定し、撮影イベント情報では複数の画像が同一イベントによるものとして関連付けられる。
【００３４】
（２−６）撮影モード判定処理
図１２は、図３のステップＳ６の撮影モード判定処理の詳細フローチャートである。
図１２において、ステップＳ６１以降の処理は、撮影者を推定対象となるすべての画像の各々を対象として行われる（ステップＳ６０）。撮影モード判定部２０は先ず、注目画像が遠隔制御（いわゆるリモコン撮影）またはタイマ制御（タイマ撮影）によって得られたものか否かについての情報を含む撮影モード情報を取得できるか判定される（ステップＳ６１）。例えば、画像に対応して取得可能なExif情報には、撮影モード情報として、遠隔制御またはタイマ制御によって得られたものか否かについての情報のほか、絞り値などの情報も含まれている。このようなExif情報等によって撮影モード情報を取得できる場合には（ステップＳ６１のＹｅｓ）、撮影モード情報に基づき、注目画像が遠隔制御またはタイマ制御によって得られたものか否か判定される（ステップＳ６２）。その結果、撮影モード判定部２０は、注目画像が遠隔制御またはタイマ制御によって得られたものである場合には撮影モード係数を「０」に設定し（ステップＳ６３）、そうでない場合には撮影モード係数を「１」に設定する（ステップＳ６４）。そして、画像と、その画像の撮影モード係数とが関連付けられたデータである撮影モード情報が、撮影モード情報格納部２１に格納される（ステップＳ６５）。
【００３５】
（２−７）撮影者判定処理
図１３は、図３のステップＳ７の撮影者判定処理の詳細フローチャートである。また、図１４は、撮影者判定処理において逐次記録される撮影者情報１１０の一例を示す図である。
図１３において、ステップＳ７１以降の処理は、撮影者を推定対象となるすべての画像の各々を対象として行われる（ステップＳ７０）。撮影者判定部２２は先ず、カメラ情報格納部１２にアクセスし、カメラ係数、すなわち、注目画像に対応付けられた、個々の人物とカメラ係数の情報を取得する。撮影者判定部２２は次に、被写体情報格納部１５にアクセスして、注目画像に対応付けられた被写体ＩＤごとの被写体確率を取得するともに、登録されている個々の人物に対する被写体係数を算出する（ステップＳ７２）。
【００３６】
ここで、被写体係数（第２の値）は、被写体画像の照合結果に基づいて、登録された各々の人物が注目画像の撮影者であることの確からしさを示す値である。以下、注目画像に含まれている被写体に応じた、被写体係数の算出方法について、いくつかの場合（以下の（Ａ１）〜（Ａ５））に分けて説明する。なお、以下の説明において「被写体として注目画像に含まれている場合」とは、例えば図６のステップＳ２１で被写体画像が注目画像から抽出された場合を意味する。「所有者」とは、カメラ所有者ＤＢ１０を参照して得られる、注目画像の撮影に使用されたカメラの所有者を意味する。
【００３７】
（Ａ１）所有者のみが被写体として注目画像に含まれている場合
カメラ所有者ＤＢ１０を参照することによって、所有者が被写体として画像に含まれていることが判明した場合には、以下のとおりに被写体係数を算出する。
・所有者に対する被写体係数＝１−（所有者の被写体確率）
・所有者以外の家族内の人物に対する被写体係数＝１
・家族以外の第三者に対する被写体係数＝１
上記のように設定する理由は、仮にカメラの所有者が注目画像内の被写体として確実に含まれる場合、撮影者がその所有者である可能性はないが、実際には、顔認識などのパターン認識によってまったく誤り無く認識できるということがないためである。また、この場合、カメラの所有者以外の人物はすべて撮影者である可能性が均等に存在するため、その被写体係数を「１」としている。なお、被写体係数を「１」とすることは、後述する撮影者確率が実質的に、カメラ係数によって定まることを意味する（後記の式（Ｅ１）参照）。
【００３８】
（Ａ２）家族全員が被写体として注目画像に含まれている場合
被写体情報を参照し、家族の全員が一定の閾値以上の被写体確率と対応付けられている場合
この場合には、家族以外の第三者に注目画像の撮影を依頼した可能性が高い。よって、以下のとおり、家族以外の第三者に対する被写体係数を少し高めに設定することが好ましい。
・所有者に対する被写体係数＝１−（家族全員の被写体確率の乗算値）
・所有者以外の家族内の人物に対する被写体係数＝１−（家族全員の被写体確率の乗算値）
・家族以外の第三者に対する被写体係数＝（家族全員の被写体確率の乗算値）×１．２
ここで、「家族全員の被写体確率の乗算値」は、家族全員が被写体として存在する確率を表す。また、家族以外の第三者に対する被写体係数を２０％高く設定した例を示したが、これに限られず、任意に設定しうる。
【００３９】
（Ａ３）家族内で所有者と特定の人物のみが被写体として注目画像に含まれておらず、所有者とその特定の人物以外の家族内の人物がすべて被写体として注目画像に含まれている場合
この場合には、所有者のほか、その特定の人物も撮影者である可能性が高いため、その特定の人物に対する被写体係数を他の家族の人物（被写体として含まれている人物）に対するそれよりも少し高く（以下の設定例では２０％高く）設定して、以下のとおりとする。
・所有者に対する被写体係数＝１−（所有者の被写体確率）
・上記特定の人物に対する被写体係数＝（１−（その人物の被写体確率））×１．２
・所有者および上記特定の人物以外の家族内の人物に対する被写体係数
＝１−（その人物の被写体確率）
・家族以外の第三者に対する被写体係数＝１−（第三者の被写体確率）
【００４０】
（Ａ４）家族内の所有者のみが被写体として注目画像に含まれておらず、所有者以外の家族内の人物がすべて被写体として注目画像に含まれている場合
この場合には、その所有者が撮影者である可能性が極めて高い。このとき、被写体係数の設定は以下のとおりとする。
・所有者に対する被写体係数＝１−（所有者の被写体確率）
・所有者以外の家族内の人物に対する被写体係数＝１−（その人物の被写体確率）
・家族以外の第三者に対する被写体係数＝１−（第三者の被写体確率）
【００４１】
（Ａ５）被写体として注目画像に含まれていない、または被写体が注目画像に含まれているか特定できない場合（例えば、混雑した状態で多くの人が含まれている画像や、風景のみの画像等）
この場合には、以下のように被写体係数を設定して、被写体確率が実質的に考慮されないようにする。
・所有者に対する被写体係数＝１
・所有者以外の家族内の人物に対する被写体係数＝１
・家族以外の第三者に対する被写体係数＝１
【００４２】
図１３の説明に戻る。
上述したようにして、登録されている個々の人物に対する被写体係数を算出した後、ステップＳ７３に進む。ステップＳ７３において、撮影者判定部２２は、撮影イベント情報格納部１９にアクセスして、注目画像に関連する撮影イベント情報を取得する（ステップＳ７３）。撮影イベント情報は、前述したように、対応する複数の画像が同一イベントのものであることを示す情報であり、後述する第１の補正処理に利用されうる。
撮影者判定部２２は次に、撮影モード情報格納部２１にアクセスして、撮影モード情報から注目画像に対応する撮影モード係数を取得する（ステップＳ７４）。撮影モード係数は、前述したように、注目画像が遠隔制御またはタイマ制御によって得られたものであるか否かを示す値であり、後述する第２の補正処理に利用されうる。
【００４３】
ステップＳ７５では先ず、ステップＳ７１で取得したカメラ係数と、ステップＳ７２で算出した被写体係数とに基づいて、撮影者確率（第３の値）を以下の式（Ｅ１）に従って算出する。
【００４４】
撮影者確率（％）＝カメラ係数×被写体係数 ・・・（Ｅ１）
【００４５】
撮影者確率は、注目画像について、登録された各々の人物が撮影者であることの確からしさを総合的に示す値である。ここで、カメラ係数は、注目画像を撮影したカメラの所有者の情報に基づき、登録された各々の人物が撮影者であることの確からしさを示す値である。被写体係数は、被写体画像の照合結果に基づいて、登録された各々の人物が注目画像の撮影者であることの確からしさを示す値である。よって、カメラ係数と被写体係数を乗算することで、注目画像に対する、登録された各々の人物に対する撮影者確率について、センサ等の補助デバイスを利用することなく精度良く得ることができる。
【００４６】
ステップＳ７５ではさらに、ステップＳ７３で取得した撮影イベント情報に基づいて、撮影者確率に対する第１の補正処理を行うことが好ましい。第１の補正処理では、撮影イベント情報に基づき、現在処理している注目画像と、既に撮影者確率を算出済みの画像（「処理済み画像」という。）とが同一イベントのものである場合に、以下の処理を行う。
すなわち、注目画像と処理済み画像とが同一のカメラによって撮影されたものであって、対応する同一人物の撮影者確率が異なる場合には、両者の撮影者確率を、補正前の高い方の値となるように補正する。例えば、ある人物に対する処理済み画像の撮影者確率が８０％であって、その人物に対する注目画像の撮影者確率が７０％であれば、撮影者判定部２２は、注目画像の撮影者確率が８０％となるように補正する。かかる補正によって、同一イベントで複数の画像が撮影された場合に、より鮮明に写っている画像に基づく撮影者確率が共通に適用されることになるので、撮影者確率の算出精度が向上し、ひいては撮影者の推定精度を高めることができる。
一方、注目画像と処理済み画像とが異なるカメラによって撮影されたものであるということは、極めて短時間（例えば数秒間）で撮影者が切り替わった状況を意味するが、かかる状況は通常、想定し難い。よって、注目画像と処理済み画像とが異なるカメラによって撮影されたものであって、対応する同一人物の撮影者確率が異なる場合には、両者の撮影者確率を、補正前の低い方の値となるように補正してもよい。そのような状況では、撮影者確率の精度の信頼性が低いと考えられるためである。
【００４７】
ステップＳ７５ではさらに、ステップＳ７４で取得した撮影モード係数に基づいて、撮影者確率に対する第２の補正処理を行うことが好ましい。第２の補正処理では、撮影モード係数が「０」である場合、すなわち、注目画像が遠隔制御またはタイマ制御によって得られたものである場合に、実質的にその注目画像を撮影者の推定対象から外す処理を行う。注目画像が遠隔制御またはタイマ制御によって得られたものでない場合には、第２の補正処理では、実質的に何も行われない。より具体的には、第２の補正処理では、上記式（Ｅ１）で算出した補正前の撮影者確率を、以下の式（Ｅ２）のとおり補正する。
【００４８】
第２の補正後の撮影者確率＝補正前の撮影者確率×撮影モード係数 ・・・（Ｅ２）
【００４９】
この第２の補正処理では、注目画像が遠隔制御またはタイマ制御によって得られたものである場合には、撮影者確率が「０」となるため、注目画像は実質的に撮影者の推定対象から外される。このような処理を行う理由は、画像が遠隔制御またはタイマ制御によって得られた場合、その画像の撮影者に撮影技術などのフィードバックを行う必要がないと考えられるためである。
【００５０】
以上がステップＳ７５の処理である。
注目画像に対する個々人の撮影者確率が算出されると、撮影者確率の最も大きい人物を撮影者と推定し、その撮影者および撮影者確率を注目画像と関連付けて撮影者情報１１０に記録する（ステップＳ７６）。図１４は、撮影者情報１１０の一例を示す図である。図１４に示す例では、画像ファイルごとに、推定された撮影者とその撮影者確率が記録される。ここで、注目画像に対する個々人の撮影者確率のうち最も大きい撮影者確率が所定の閾値よりも小さい場合には、撮影者を記録せずに撮影者が「不明」として記録してもよい。注目画像に対する個々人の撮影者確率のすべてがそれほど高くない場合には、撮影者推定の信頼性が低いと考えられるためである。また、図１４の例に示すように、遠隔制御またはタイマ制御によって得られた場合、すなわち撮影モード係数＝０の場合の撮影者を「自動」として記録してもよい。
【００５１】
以上、本発明の実施形態について詳細に説明したが、本発明の情報処理装置および情報処理方法は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのは勿論である。
【００５２】
以上の各実施形態に関し、さらに以下の付記を開示する。
【００５３】
（付記１）
画像の撮影者を推定する情報処理装置であって、
撮像装置と、複数の人物のうち前記撮像装置の所有者とを予め関連付けた第１データベースを含む第１格納部と、
前記複数の人物とその各々の人物画像とを予め関連付けた第２データベースを含む第２格納部と、
撮影者の推定対象となる注目画像と関連付けられている撮像装置の情報を取得し、第１データベースを参照して、取得した前記撮像装置の情報と関連付けられた所有者を特定し、特定した前記所有者の情報に基づいて、前記複数の人物の各々が前記注目画像の撮影者であることの確からしさを示す第１の値を得る第１判定部と、
前記注目画像に含まれる被写体画像と第２データベース内の各人物画像との照合結果に基づいて、前記複数の人物の各々が前記注目画像の撮影者であることの確からしさを示す第２の値を得る第２判定部と、
前記第１および第２の値に基づいて、前記複数の人物の各々が前記注目画像の撮影者であることの確からしさを示す第３の値を得る第３判定部と、
を備えた情報処理装置。
【００５４】
（付記２）
前記第３判定部は、前記注目画像が複数存在するとき、その複数の注目画像のうち任意の２つの注目画像に関連付けられている撮影時刻の差が所定の閾値よりも小さく、かつ前記２つの注目画像の各々と関連付けられている撮像装置が同一である場合、前記２つの注目画像についての前記第３の値を、前記第１および第２の値に基づいて得られた２つの値のうち大きい方の値に共になるように補正する、
付記１に記載された情報処理装置。
【００５５】
（付記３）
前記第３判定部は、前記注目画像が撮像装置の遠隔制御またはタイマ制御によって得られた場合には、その注目画像を実質的に撮影者の推定対象から除外する、
付記１または２に記載された情報処理装置。
【００５６】
（付記４）
前記第３判定部は、前記複数の人物の各々についての前記第３の値のうち最も大きい値が所定の閾値以上である場合に、その最も大きい値に対応する人物を前記注目画像の撮影者であると推定する、
付記１〜３のいずれかに記載された情報処理装置。
【００５７】
（付記５）
画像の撮影者を推定する情報処理方法であって、
撮像装置と、複数の人物のうち前記撮像装置の所有者とを予め関連付けた第１データベースを用意するステップと、
前記複数の人物とその各々の人物画像とを予め関連付けた第２データベースを用意するステップと、
撮影者の推定対象となる注目画像と関連付けられている撮像装置の情報を取得し、第１データベースを参照して、取得した前記撮像装置の情報と関連付けられた所有者を特定し、特定した前記所有者の情報に基づいて、前記複数の人物の各々が前記注目画像の撮影者であることの確からしさを示す第１の値を得るステップと、
前記注目画像に含まれる被写体画像と第２データベース内の各人物画像との照合結果に基づいて、前記複数の人物の各々が前記注目画像の撮影者であることの確からしさを示す第２の値を得るステップと、
前記第１および第２の値に基づいて、前記複数の人物の各々が前記注目画像の撮影者であることの確からしさを示す第３の値を得るステップと、
を含む情報処理方法。
【００５８】
（付記６）
前記注目画像が複数存在するとき、その複数の注目画像のうち任意の２つの注目画像に関連付けられている撮影時刻の差が所定の閾値よりも小さく、かつ前記２つの注目画像の各々と関連付けられている撮像装置が同一である場合、前記２つの注目画像についての前記第３の値を、前記第１および第２の値に基づいて得られた２つの値のうち大きい方の値に共になるように補正するステップをさらに有する、
付記５に記載された情報処理方法。
【００５９】
（付記７）
前記注目画像が撮像装置の遠隔制御またはタイマ制御によって得られた場合には、その注目画像を実質的に撮影者の推定対象から除外するステップをさらに有する、
付記５または６に記載された情報処理方法。
【００６０】
（付記８）
前記複数の人物の各々についての前記第３の値のうち最も大きい値が所定の閾値以上である場合に、その最も大きい値に対応する人物を前記注目画像の撮影者であると推定するステップをさらに有する、
付記５〜７のいずれかに記載された情報処理方法。
【符号の説明】
【００６１】
１００…撮影画像情報
１１０…撮影者情報
１…情報処理装置
１０…カメラ所有者ＤＢ
１１…撮影カメラ特定部
１２…カメラ情報格納部
１３…被写体ＤＢ
１４…被写体判定部
１５…被写体情報格納部
１６…撮影日時判定部
１７…撮影場所判定部
１８…撮影イベント判定部
１９…撮影イベント情報格納部
２０…撮影モード判定部
２１…撮影モード情報格納部
２２…撮影者判定部
【技術分野】
【０００１】
本発明は、静止画および動画を管理するための情報処理技術に関する。
【背景技術】
【０００２】
家庭において、デジタルスティルカメラ、ビデオカメラ、静止画および動画撮影機能付きの携帯端末などの撮像装置の普及にともない、撮影によって得られた静止画や動画を効率良く管理することが求められている。従来、撮影によって得られた静止画や動画をパーソナルコンピュータなど、大容量の記憶デバイスを備えた情報処理装置に格納し、撮影した日付、撮影した場所、撮影された人物、などによって管理する方法が知られている。
【０００３】
ところで、管理対象の静止画および動画（以下、総称して「画像」という。）について誰が撮影した画像であるか特定したいという要望が存在する。この要望が存在する理由は主として以下の３つの場合である。
第１の場合は、管理対象の画像の撮影者に対して適切な撮影手法をフィードバックしたい場合である。例えば静止画が、手振れ、または不適切なホワイトバランス、逆光状態での撮影、不適切な構図などによって出来が良くないとき、その静止画の撮影者に対して画像の出来が良くない原因をフィードバックすることで、撮影者の撮影技術の向上が図れる。
第２の場合は、多数の画像を管理するときに、撮影者による分類を行いたい場合である。
第３の場合は、画像の撮影者の行動履歴、嗜好などの分析を行いたい場合である。
【０００４】
画像に基づいてその画像の撮影者を特定する方法については、様々な技術が知られている。そのような様々な技術として例えば、撮影時に同時に記録された音声データにより撮影者情報を写真に埋め込む技術、カメラに指紋センサを搭載する技術、カメラのファインダ内に撮影者の網膜情報を読み取るセンサを搭載する技術などが知られている。
【０００５】
画像の撮影者を特定する他の技術として例えば、撮影時において、撮影に使われた電子機器、撮影者、撮影場所、撮影時間等の撮影情報を識別情報として埋め込む技術や、撮影者をサムネイル画像によりアイコン表示させる技術が知られている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−２１３１８３号公報
【特許文献２】特開２００６−２２９２９３号公報
【特許文献３】特開２００６−２３８０７５号公報
【特許文献４】特開２００７−１８９４７０号公報
【特許文献５】特開２００８−２７８３５１号公報
【特許文献６】特開２００４−３５７１４５号公報
【特許文献７】特開２００５−２６０４４１号公報
【特許文献８】特表２００８−５４３２２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
画像に基づいてその画像の撮影者を特定する従来のいくつかの方法は、画像の撮影者を特定するために撮像装置に付加的なデバイスが組み込まれており、撮像装置が高価なものとなりやすい。また、他のいくつかの方法は、予め撮像装置側に撮影者を特定するための所定の情報を入力することが前提となっており、この入力処理に対応した撮像装置のみが撮影者を特定できるに過ぎない。そのような撮像装置であっても予め所定の情報が入力されていないか、または他の撮像装置が使用される場合には、画像の撮影者を特定することができない。
【０００８】
よって、発明の１つの側面では、撮影によって既に取得済みの画像の撮影者をある確度をもって推定することができる情報処理装置および情報処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
第１の観点では、画像の撮影者を推定する情報処理装置が提供される。
この情報処理装置は、
（Ａ）撮像装置と、複数の人物のうち上記撮像装置の所有者とを予め関連付けた第１データベースを含む第１格納部；
（Ｂ）上記複数の人物とその各々の人物画像とを予め関連付けた第２データベースを含む第２格納部；
（Ｃ）撮影者の推定対象となる注目画像と関連付けられている撮像装置の情報を取得し、第１データベースを参照して、取得した上記撮像装置の情報と関連付けられた所有者を特定し、特定した上記所有者の情報に基づいて、上記複数の人物の各々が上記注目画像の撮影者であることの確からしさを示す第１の値を得る第１判定部；
（Ｄ）上記注目画像に含まれる被写体画像と第２データベース内の各人物画像との照合結果に基づいて、上記複数の人物の各々が上記注目画像の撮影者であることの確からしさを示す第２の値を得る第２判定部；
（Ｅ）上記第１および第２の値に基づいて、上記複数の人物の各々が上記注目画像の撮影者であることの確からしさを示す第３の値を得る第３判定部；
を備える。
【００１０】
第２の観点では、画像の撮影者を推定する情報処理方法が提供される。
【発明の効果】
【００１１】
開示の情報処理装置および情報処理方法によれば、撮影によって既に取得済みの画像の撮影者をある確度をもって推定することができる。
【図面の簡単な説明】
【００１２】
【図１】実施形態の情報処理装置の構成を示すブロック図。
【図２】実施形態において撮影画像情報の例を示す図。
【図３】実施形態の情報処理装置の動作の全体を示すフローチャート。
【図４】実施形態の情報処理装置の撮影カメラ特定処理の詳細フローチャート。
【図５】実施形態においてカメラ所有者データベースの一例を示す図。
【図６】実施形態の情報処理装置の被写体判定処理の詳細フローチャート。
【図７】実施形態において被写体データベースの一例を示す図。
【図８】実施形態において被写体情報の一例を示す図。
【図９】実施形態の情報処理装置の撮影日時判定処理の詳細フローチャート。
【図１０】実施形態の情報処理装置の撮影場所判定処理の詳細フローチャート。
【図１１】実施形態の情報処理装置の撮影イベント判定処理の詳細フローチャート。
【図１２】実施形態の情報処理装置の撮影モード判定処理の詳細フローチャート。
【図１３】実施形態の情報処理装置の撮影者判定処理の詳細フローチャート。
【図１４】実施形態において撮影者情報の一例を示す図。
【発明を実施するための形態】
【００１３】
以下、情報処理装置および情報処理方法の一実施形態について説明する。
本実施形態の情報処理装置１は、例えばパーソナルコンピュータや携帯端末などであるが、ＣＰＵなどによって実現されうる演算機能、およびデータを記憶する記憶機能を備えていればこれらの機器に限定されない。デジタルスティルカメラ、ビデオカメラ、静止画および動画撮影機能付きの携帯端末などの撮像装置が上記機能を備えていれば、これらの撮像装置（以下の説明では、総称して「カメラ」と記述する。）も本実施形態の情報処理装置１として含まれうる。
【００１４】
（１）情報処理装置１の構成
本実施形態の情報処理装置１は、撮影によって既に取得済みの画像の撮影者を、予め登録された複数の人物を含む母集団の中から、ある確度をもって推定することができるように構成されている。本実施形態の情報処理装置１の構成を示すブロック図を図１に示す。
図１に示すように、本実施形態の情報処理装置１は、カメラ所有者ＤＢ１０（第１データベース）と、撮影カメラ特定部１１（第１判定部）と、カメラ情報格納部１２と、被写体ＤＢ１３（第２データベース）と、被写体判定部１４と、被写体情報格納部１５と、撮影日時判定部１６と、撮影場所判定部１７と、撮影イベント判定部１８と、撮影イベント情報格納部１９と、撮影モード判定部２０と、撮影モード情報格納部２１と、撮影者判定部２２（第２判定部、第３判定部）とを備えうる。
情報処理装置１は、撮影によって既に取得済みの画像の画像ファイルが複数含まれる撮影画像情報１００を有するか、または撮影画像情報１００にアクセス可能である。情報処理装置１は、各画像ファイルに対応する画像の撮影者を推定して、画像ファイルごとに推定した撮影者を記録した撮影者情報１１０を生成する。
【００１５】
図２に、撮影画像情報１００に含まれる複数の画像ファイルの例を示す。
各画像ファイルは、画像に対して、ファイルIndex、ファイル名、画像の属性、カメラＩＤ、撮影日時の情報、撮影場所の情報、撮影モード情報等が関連付けられている。ファイル名は、情報処理装置１上での画像のファイル名である。情報処理装置１がその画像の撮像装置であるか、または撮像装置内の画像ファイルをそのまま情報処理装置１にコピーした場合には、ファイル名は、その画像の撮像装置の基準に従って名前が付けられている。画像の属性は、図２に示す例では、静止画の場合に「Ｐ」、動画の場合に「Ｍ」として示している。画像の属性は通常、ファイルの拡張子から判別可能である。
【００１６】
カメラＩＤは、対応する画像の撮影に使用された撮像装置としてのカメラについて、撮影カメラ特定部１１によって特定された結果としての情報であり、撮影カメラ特定部１１によって記録される。カメラＩＤは、同一のカメラに対して一意に定まる情報である。例えば図２において、「カメラＡ」となっている複数の画像が同一のカメラによる撮影で得られたものであることを意味する。
撮影日時の情報は、撮影日時判定部１６によって記録される。画像が静止画の場合には画像ファイルにExif情報が含まれるため、Exif情報を参照して撮影日時の情報を記録してもよい。
撮影場所の情報は、撮影場所判定部１７によって記録される。撮像装置にＧＰＳ(Global Positioning System)機能が含まれており、画像ファイルと撮影場所の情報としての緯度、経度の情報とが関連付けられている場合には、その緯度、経度の情報を撮影場所の情報として記録してもよい。
撮影モード情報は、撮影モード判定部２０によって記録される。図２の例では、画像が遠隔制御またはタイマ制御によって得られた場合には「Ａ」（後述する撮影モード係数＝０の場合に対応）、手動で行われた場合には「Ｍ」（後述する撮影モード係数＝１の場合に対応）として示している。このとき、上記Exif情報にはこの撮影モード情報が含まれるため、撮影モード判定部２０は撮影モード情報を取得するためにExif情報を参照してもよい。
【００１７】
本実施形態の情報処理装置１において、各部の機能は以下のとおりである。
撮影カメラ特定部１１は、カメラ所有者ＤＢ１０を参照して、注目画像（「複数の画像のうち処理対象となる画像」を意味する。）を撮影したカメラの所有者の情報に基づき、登録された各々の人物が撮影者であることの確からしさを示すカメラ係数を算出し、カメラ情報としてカメラ情報格納部１２に記録する。
被写体判定部１４は、被写体ＤＢ１３を参照して、被写体ＤＢ１３内に含まれる人物画像と、注目画像内の被写体画像とを照合することによって、後述する被写体情報を生成して被写体情報格納部１５に記録する。
撮影日時判定部１６は、注目画像の撮影日時を特定、または推定して撮影者情報１１０に記録する。撮影場所判定部１７は、注目画像の撮影場所を特定、または推定して撮影者情報１１０に記録する。
撮影イベント判定部１８は、注目画像の撮影日時の情報あるいは撮影場所の情報に基づいて、処理対象の複数の画像が同一イベントのものであることの関連付けを行い、その関連付けを示す撮影イベント情報を撮影イベント情報格納部１９に記録する。
撮影モード判定部２０は、注目画像の撮影モード情報を取得できる場合には、注目画像が遠隔制御またはタイマ制御によって得られたものであるか否かを示す撮影モード係数を設定して、画像と関連付けて撮影モード情報格納部２１に記録する。
撮影者判定部２２は、カメラ所有者ＤＢ１０、カメラ情報格納部１２、被写体情報格納部１５、撮影イベント情報格納部１９および撮影モード情報格納部２１等にアクセスして、後述する所定の演算処理を行うことで、各画像の撮影者を推定して撮影者情報１１０に記録する。
【００１８】
図１に示した情報処理装置１の構成において、撮影カメラ特定部１１、被写体判定部１４、撮影日時判定部１６、撮影場所判定部１７、撮影モード判定部２０および撮影者判定部２２はそれぞれ、図示しないＣＰＵがプログラムを実行することによって得られる機能の一部であってよい。また、図１の複数のＤＢは、例えばＨＤＤ(Hard Disk Drive)などのデータストレージに格納されうる。図１の複数の格納部は、例えばＲＡＭ(Random Access Memory)などのメモリで構成されうる。
【００１９】
（２）情報処理装置１の動作
次に、情報処理装置１の動作について、具体例を挙げつつ説明する。以下の説明では、図３〜１４が適宜参照される。なお、以下の説明において、複数の画像のうち処理対象となる画像を「注目画像」と表記する。また、以下の動作例は、予め登録された複数の人物（母集団）に１つの家族内の複数の人物が含まれており、予め登録された複数の人物の中から特定の画像の撮影者が推定されるものとする。しかしながら、予め登録される母集団はこれに限られず任意に設定しうることは当業者によって理解される。
【００２０】
図３は、情報処理装置１の動作の全体を示すフローチャートである。図３に示すように、情報処理装置１の動作は、以下の処理を含む。
・ステップＳ１：主として撮影カメラ特定部１１で実行される撮影カメラ特定処理
・ステップＳ２：主として被写体判定部１４で実行される被写体判定処理
・ステップＳ３：主として撮影日時判定部１６で実行される撮影日時判定処理
・ステップＳ４：主として撮影場所判定部１７で実行される撮影場所判定処理
・ステップＳ５：主として撮影イベント判定部１８で実行される撮影イベント判定処理
・ステップＳ６：主として撮影モード判定部２０で実行される撮影モード判定処理
・ステップＳ７：主として撮影者判定部２２で実行される撮影者判定処理
【００２１】
以下の説明で言及されるデータベースまたは情報の例を示す図における、「所有者ＩＤ」、「被写体ＩＤ」、「被写体名」は、説明の便宜のための表示例に過ぎず、実際のデータ処理においては、予め情報処理装置１に登録されている個々の人物に割り当てられた固有の番号またはコードによって管理されているものとする。
【００２２】
（２−１）撮影カメラ特定処理
図４は、図３のステップＳ１の撮影カメラ特定処理の詳細フローチャートである。
図４において、ステップＳ１１以降の処理は、撮影者を推定対象となるすべての画像の各々を対象として行われる（ステップＳ１０）。撮影カメラ特定部１１は先ず、注目画像に対してカメラ固有のカメラＩＤが関連付けられているか否か判定する（ステップＳ１１）。ステップＳ１２において、注目画像のExif情報にカメラＩＤが含まれている場合には、そのカメラＩＤがExif情報から抽出され、撮影画像情報１００に記録される。また、画像のファイル名にはカメラの製造者固有のプリフィックス文字が自動的に付けられることが多く、このプリフィックス文字を参照することでカメラＩＤを得ることもできる。次に撮影カメラ特定部１１は、ステップＳ１２で得られたカメラＩＤを、カメラ所有者ＤＢ１０と照合する（ステップＳ１３）。そして、カメラ所有者ＤＢ１０の中に、ステップＳ１２で得られたカメラＩＤが存在するか否か判定される（ステップＳ１４）。
【００２３】
図５に、カメラ所有者ＤＢ１０の一例を示す。
図５に示す例では、カメラ所有者ＤＢ１０は、カメラ固有のカメラＩＤと、カメラの属性と、所有者ＩＤとが関連付けられている。
【００２４】
カメラ所有者ＤＢ１０では、カメラの属性に応じて一意に定まる２つの相関パラメータが設定されている。図５で相関パラメータ１および相関パラメータ２はそれぞれ、所有者と撮影者との相関値を％で示すもの、および所有者以外の人間と撮影者との相関値を％で示すものである。「所有者と撮影者との相関値を％で示すもの」とは、「所有者が撮影者と一致する確率を％で示すもの」と言い換えることもできる。なお、相関パラメータは必ずしもカメラ所有者ＤＢ１０内に設定されている必要はなく、カメラの属性をキーとして撮影カメラ特定部１１がアクセス可能な別のデータ形態であってもよい。いずれにせよ、各相関パラメータは、カメラの属性に応じて一意に定まるように予め設定されている。
【００２５】
図５に示す例では、カメラの属性がデジタルカメラ（以下、「デジタルスティルカメラ」を意味する。）である場合には、相関パラメータ１および相関パラメータ２をそれぞれ「７０」、「２０」としている。これは、デジタルカメラは近年、廉価なモデルが広まってきており、例えば家庭内で複数台所有される可能性があるものの、撮影者が所有者の場合、所有者以外の家族の場合の双方が想定されうるためである。但し、このパラメータは状況に応じて適宜設定されうることは言うまでもない。
図５に示す例では、カメラの属性がビデオカメラ（以下、「デジタルビデオカメラ」を意味する。）である場合には、相関パラメータ１および相関パラメータ２をそれぞれ「８０」、「１０」としている。これは、ビデオカメラは依然として高価であり、例えば家庭内で複数台所有される可能性が低いため、撮影者が所有者である可能性がデジタルカメラの場合よりも高いためである。但し、このパラメータは状況に応じて適宜設定されうることは言うまでもない。
図５に示す例では、カメラの属性が携帯電話機である場合には、相関パラメータ１および相関パラメータ２をそれぞれ「１００」、「０」としている。これは、携帯電話機は個人所有の場合がほとんどであり、撮影者が所有者であると見なせるためである。但し、このパラメータは状況に応じて適宜設定されうることは言うまでもない。
【００２６】
図４のステップＳ１４で、カメラ所有者ＤＢ１０の中にステップＳ１２で得られたカメラＩＤが存在する場合には、撮影カメラ特定部１１は、そのカメラＩＤと対応する相関パラメータの値を抽出する。さらに撮影カメラ特定部１１は、注目画像ごとに、登録された複数の人物の各々に対応するカメラ係数を算出し、個々の人物とカメラ係数とを対応付けたカメラ情報をカメラ情報格納部１２に記録する（ステップＳ１５）。ここで、カメラ係数は、相関パラメータ１および相関パラメータ２に基づいて以下のとおり算出される。
【００２７】
カメラ係数の算出方法は、以下のとおりである。
家族内の人物のうち注目画像の撮影に使用されたカメラの所有者のカメラ係数は、カメラの属性に応じた相関パラメータ１の値とする。また、家族内の人物のうち注目画像の撮影に使用されたカメラの所有者以外の人物のカメラ係数は、相関パラメータ２の値とする。家族内の人物以外の人物が登録されていた場合には、その人物のカメラ係数は、（１−相関パラメータ１−相関パラメータ２）とする。このようにカメラ係数を設定することにより、カメラ係数（第１の値）は、注目画像を撮影したカメラの所有者の情報に基づき、登録された各々の人物が撮影者であることの確からしさを示す値を示すことになる。
なお、ステップＳ１１で、注目画像に対してカメラＩＤが関連付けられていない場合には、家族以外の人物によって注目画像が撮影されたことを意味する。よって、その場合には、撮影画像情報１００において、注目画像に対応するカメラＩＤを例えば「その他」と記録し（ステップＳ１６）、実質的にその注目画像を撮影者の推定対象から除外する。
【００２８】
（２−２）被写体判定処理
図６は、図３のステップＳ２の被写体判定処理の詳細フローチャートである。
図６において、ステップＳ２１以降の処理は、撮影者を推定対象となるすべての画像の各々を対象として行われる（ステップＳ２０）。被写体判定部１４は先ず、注目画像から被写体画像の抽出を試みる（ステップＳ２１）。その結果、注目画像に被写体が写っていた場合には（ステップＳ２２のＹｅｓ）、被写体判定部１４は、その被写体を被写体ＤＢ１３と照合する（ステップＳ２３）。顔認識技術を利用する場合には、注目画像から被写体画像として被写体の顔のみの一部画像が照合のために抽出される。
【００２９】
図７に被写体ＤＢ１３の一例を示す。
被写体ＤＢ１３では少なくとも、登録されている複数の人物の各々のＩＤ（図７では、「被写体ＩＤ」と表記する。）と、各人物に対応する人物画像（図７のp001.jpg等）とが対応付けられている。各被写体ＩＤに対応する人物画像は、注目画像から抽出された被写体画像との照合に利用される。画像の照合は例えば、公知の顔認識技術が適用されうる。
【００３０】
ステップＳ２３の照合の結果、被写体ＤＢ１３内に合致する被写体が存在した場合には（ステップＳ２４のＹｅｓ）、被写体情報格納部１５の被写体情報として、画像と、被写体ＩＤと、被写体が一致している確率（被写体確率）とを、被写体情報として記録する（ステップＳ２５）。このとき、例えば顔認識アルゴリズムで得られる被写体の合致度を被写体確率としてよい。注目画像に対して複数の被写体が存在する場合には、その各々の被写体に対しする被写体ＩＤと被写体確率が画像に関連付けられる。
図８に、被写体情報の一例を示す。図８において、「Index」は被写体情報自体のIndexであり、「ファイルIndex」は画像のファイルIndexである。例えば、ファイルIndexが「４」の画像には、被写体ＩＤが「３」、「４」、「５」である３人の人物が被写体として存在し、各々の被写体確率がそれぞれ、「７０％」、「７０％」、「８０％」であることを示している。
【００３１】
（２−３）撮影日時判定処理
図９は、図３のステップＳ３の撮影日時判定処理の詳細フローチャートである。
図９において、ステップＳ３１以降の処理は、撮影者を推定対象となるすべての画像の各々を対象として行われる（ステップＳ３０）。撮影日時判定部１６は先ず、画像の撮影日時の解析を行う（ステップＳ３１）。静止画の場合にはExif情報に撮影日時の情報が含まれているため、Exif情報を参照することで画像の撮影日時が得られる。また、動画の場合には通常、保存日時と関連付けられているため、保存日時を撮影日時として見なしてよい。また、動画の場合は通常、撮影期間も既知であるため、動画の保存日時から撮影期間だけ遡って得られる撮影開始日時を撮影日時と見なしてもよい。このように画像に関連付けられた撮影日時の情報が取得可能である場合には（ステップＳ３２のＹｅｓ）、撮影日時判定部１６は、取得した撮影日時の情報を利用し（ステップＳ３３）、その撮影日時の情報を撮影画像情報１００内の画像ファイルの「撮影日時」の欄に記録する（ステップＳ３５）。ステップＳ３２でＮｏの場合には、画像ファイルのタイムスタンプを「撮影日時」の欄に記録する（ステップＳ３４，Ｓ３５）。
【００３２】
（２−４）撮影場所判定処理
図１０は、図３のステップＳ４の撮影場所判定処理の詳細フローチャートである。
図１０において、ステップＳ４１以降の処理は、撮影者を推定対象となるすべての画像の各々を対象として行われる（ステップＳ４０）。撮影場所判定部１７は先ず、注目画像の撮影場所の解析を行う（ステップＳ４１）。注目画像を撮影したカメラにＧＰＳ機能が含まれており、画像と撮影場所の情報としての緯度、経度の情報とが関連付けられて情報処理装置１に取り込まれている場合には、その緯度、経度の情報を撮影場所の情報として取得可能である。このような場合には（ステップＳ４２のＹｅｓ）、取得した撮影場所の情報を利用し（ステップＳ４３）、その撮影場所の情報を撮影画像情報１００内の画像ファイルの「撮影場所」の欄に記録する（ステップＳ４４）。ステップＳ４２でＮｏの場合には、撮影画像情報１００内の画像ファイルの「撮影場所」の欄に何も記録されない。
【００３３】
（２−５）撮影イベント判定処理
図１１は、図３のステップＳ５の撮影イベント判定処理の詳細フローチャートである。
図１１では先ず、撮影イベント判定部１８は、撮影画像情報１００を撮影日時または撮影場所でソートし（ステップＳ５０）、ステップＳ５２以降の処理を、撮影者を推定対象となるすべての画像の各々を対象として行う（ステップＳ５１）。なお、図１１では、ステップＳ５２以降の処理について、ステップＳ５０のソート処理が撮影日時でソートされた場合について例示している。
先ず複数の画像のうち最初の画像（つまり、撮影時刻が最も早い画像）の処理である場合には（ステップＳ５２のＹｅｓ）、撮影イベント判定部１８は、変数Timeに最初の画像の撮影時刻の値を格納して（ステップＳ５３）、ステップＳ５１に戻り２個目の画像（つまり、２番目に撮影時刻が早い画像）の処理に移る。撮影イベント判定部１８は、２個目の画像の処理ではステップＳ５４へ進み、変数Timeの値（最初の画像の撮影時刻）と現在処理中の画像（２個目の画像）の撮影時刻の差を計算する。その結果、撮影時刻の差が所定の閾値よりも小さい場合には、撮影イベント判定部１８は、対応する複数の画像が同一イベントのものであることを示す撮影イベント情報を撮影イベント情報格納部１９に記録して（ステップＳ５６）、ステップＳ５３へ進む。複数の画像間で撮影時刻の差が所定の閾値（例えば数秒等の短時間の値に設定される）よりも小さい場合にはその複数の画像の撮影者が同一である可能性が高いため、撮影イベント情報を記録しておくことは、後の処理において撮影者の推定精度を高めるのに役立つ。撮影時刻の差が所定の閾値以上である場合には、ステップＳ５３へ進む。
ステップＳ５３では、変数Timeの値が現在処理中の画像、すなわち２個目の画像の撮影時刻の値が格納される。その後、３個目の画像（つまり、３番目に撮影時刻が早い画像）についての処理が行われる。以後、同様にして、ソートされたすべての画像を対象に処理が行われる。上記処理では、撮影日時でソートされた複数の画像のうち隣接した画像の間で撮影時刻がある程度近接した複数の画像については同一イベントでの撮影によって得られたものと推定し、撮影イベント情報では複数の画像が同一イベントによるものとして関連付けられる。
【００３４】
（２−６）撮影モード判定処理
図１２は、図３のステップＳ６の撮影モード判定処理の詳細フローチャートである。
図１２において、ステップＳ６１以降の処理は、撮影者を推定対象となるすべての画像の各々を対象として行われる（ステップＳ６０）。撮影モード判定部２０は先ず、注目画像が遠隔制御（いわゆるリモコン撮影）またはタイマ制御（タイマ撮影）によって得られたものか否かについての情報を含む撮影モード情報を取得できるか判定される（ステップＳ６１）。例えば、画像に対応して取得可能なExif情報には、撮影モード情報として、遠隔制御またはタイマ制御によって得られたものか否かについての情報のほか、絞り値などの情報も含まれている。このようなExif情報等によって撮影モード情報を取得できる場合には（ステップＳ６１のＹｅｓ）、撮影モード情報に基づき、注目画像が遠隔制御またはタイマ制御によって得られたものか否か判定される（ステップＳ６２）。その結果、撮影モード判定部２０は、注目画像が遠隔制御またはタイマ制御によって得られたものである場合には撮影モード係数を「０」に設定し（ステップＳ６３）、そうでない場合には撮影モード係数を「１」に設定する（ステップＳ６４）。そして、画像と、その画像の撮影モード係数とが関連付けられたデータである撮影モード情報が、撮影モード情報格納部２１に格納される（ステップＳ６５）。
【００３５】
（２−７）撮影者判定処理
図１３は、図３のステップＳ７の撮影者判定処理の詳細フローチャートである。また、図１４は、撮影者判定処理において逐次記録される撮影者情報１１０の一例を示す図である。
図１３において、ステップＳ７１以降の処理は、撮影者を推定対象となるすべての画像の各々を対象として行われる（ステップＳ７０）。撮影者判定部２２は先ず、カメラ情報格納部１２にアクセスし、カメラ係数、すなわち、注目画像に対応付けられた、個々の人物とカメラ係数の情報を取得する。撮影者判定部２２は次に、被写体情報格納部１５にアクセスして、注目画像に対応付けられた被写体ＩＤごとの被写体確率を取得するともに、登録されている個々の人物に対する被写体係数を算出する（ステップＳ７２）。
【００３６】
ここで、被写体係数（第２の値）は、被写体画像の照合結果に基づいて、登録された各々の人物が注目画像の撮影者であることの確からしさを示す値である。以下、注目画像に含まれている被写体に応じた、被写体係数の算出方法について、いくつかの場合（以下の（Ａ１）〜（Ａ５））に分けて説明する。なお、以下の説明において「被写体として注目画像に含まれている場合」とは、例えば図６のステップＳ２１で被写体画像が注目画像から抽出された場合を意味する。「所有者」とは、カメラ所有者ＤＢ１０を参照して得られる、注目画像の撮影に使用されたカメラの所有者を意味する。
【００３７】
（Ａ１）所有者のみが被写体として注目画像に含まれている場合
カメラ所有者ＤＢ１０を参照することによって、所有者が被写体として画像に含まれていることが判明した場合には、以下のとおりに被写体係数を算出する。
・所有者に対する被写体係数＝１−（所有者の被写体確率）
・所有者以外の家族内の人物に対する被写体係数＝１
・家族以外の第三者に対する被写体係数＝１
上記のように設定する理由は、仮にカメラの所有者が注目画像内の被写体として確実に含まれる場合、撮影者がその所有者である可能性はないが、実際には、顔認識などのパターン認識によってまったく誤り無く認識できるということがないためである。また、この場合、カメラの所有者以外の人物はすべて撮影者である可能性が均等に存在するため、その被写体係数を「１」としている。なお、被写体係数を「１」とすることは、後述する撮影者確率が実質的に、カメラ係数によって定まることを意味する（後記の式（Ｅ１）参照）。
【００３８】
（Ａ２）家族全員が被写体として注目画像に含まれている場合
被写体情報を参照し、家族の全員が一定の閾値以上の被写体確率と対応付けられている場合
この場合には、家族以外の第三者に注目画像の撮影を依頼した可能性が高い。よって、以下のとおり、家族以外の第三者に対する被写体係数を少し高めに設定することが好ましい。
・所有者に対する被写体係数＝１−（家族全員の被写体確率の乗算値）
・所有者以外の家族内の人物に対する被写体係数＝１−（家族全員の被写体確率の乗算値）
・家族以外の第三者に対する被写体係数＝（家族全員の被写体確率の乗算値）×１．２
ここで、「家族全員の被写体確率の乗算値」は、家族全員が被写体として存在する確率を表す。また、家族以外の第三者に対する被写体係数を２０％高く設定した例を示したが、これに限られず、任意に設定しうる。
【００３９】
（Ａ３）家族内で所有者と特定の人物のみが被写体として注目画像に含まれておらず、所有者とその特定の人物以外の家族内の人物がすべて被写体として注目画像に含まれている場合
この場合には、所有者のほか、その特定の人物も撮影者である可能性が高いため、その特定の人物に対する被写体係数を他の家族の人物（被写体として含まれている人物）に対するそれよりも少し高く（以下の設定例では２０％高く）設定して、以下のとおりとする。
・所有者に対する被写体係数＝１−（所有者の被写体確率）
・上記特定の人物に対する被写体係数＝（１−（その人物の被写体確率））×１．２
・所有者および上記特定の人物以外の家族内の人物に対する被写体係数
＝１−（その人物の被写体確率）
・家族以外の第三者に対する被写体係数＝１−（第三者の被写体確率）
【００４０】
（Ａ４）家族内の所有者のみが被写体として注目画像に含まれておらず、所有者以外の家族内の人物がすべて被写体として注目画像に含まれている場合
この場合には、その所有者が撮影者である可能性が極めて高い。このとき、被写体係数の設定は以下のとおりとする。
・所有者に対する被写体係数＝１−（所有者の被写体確率）
・所有者以外の家族内の人物に対する被写体係数＝１−（その人物の被写体確率）
・家族以外の第三者に対する被写体係数＝１−（第三者の被写体確率）
【００４１】
（Ａ５）被写体として注目画像に含まれていない、または被写体が注目画像に含まれているか特定できない場合（例えば、混雑した状態で多くの人が含まれている画像や、風景のみの画像等）
この場合には、以下のように被写体係数を設定して、被写体確率が実質的に考慮されないようにする。
・所有者に対する被写体係数＝１
・所有者以外の家族内の人物に対する被写体係数＝１
・家族以外の第三者に対する被写体係数＝１
【００４２】
図１３の説明に戻る。
上述したようにして、登録されている個々の人物に対する被写体係数を算出した後、ステップＳ７３に進む。ステップＳ７３において、撮影者判定部２２は、撮影イベント情報格納部１９にアクセスして、注目画像に関連する撮影イベント情報を取得する（ステップＳ７３）。撮影イベント情報は、前述したように、対応する複数の画像が同一イベントのものであることを示す情報であり、後述する第１の補正処理に利用されうる。
撮影者判定部２２は次に、撮影モード情報格納部２１にアクセスして、撮影モード情報から注目画像に対応する撮影モード係数を取得する（ステップＳ７４）。撮影モード係数は、前述したように、注目画像が遠隔制御またはタイマ制御によって得られたものであるか否かを示す値であり、後述する第２の補正処理に利用されうる。
【００４３】
ステップＳ７５では先ず、ステップＳ７１で取得したカメラ係数と、ステップＳ７２で算出した被写体係数とに基づいて、撮影者確率（第３の値）を以下の式（Ｅ１）に従って算出する。
【００４４】
撮影者確率（％）＝カメラ係数×被写体係数 ・・・（Ｅ１）
【００４５】
撮影者確率は、注目画像について、登録された各々の人物が撮影者であることの確からしさを総合的に示す値である。ここで、カメラ係数は、注目画像を撮影したカメラの所有者の情報に基づき、登録された各々の人物が撮影者であることの確からしさを示す値である。被写体係数は、被写体画像の照合結果に基づいて、登録された各々の人物が注目画像の撮影者であることの確からしさを示す値である。よって、カメラ係数と被写体係数を乗算することで、注目画像に対する、登録された各々の人物に対する撮影者確率について、センサ等の補助デバイスを利用することなく精度良く得ることができる。
【００４６】
ステップＳ７５ではさらに、ステップＳ７３で取得した撮影イベント情報に基づいて、撮影者確率に対する第１の補正処理を行うことが好ましい。第１の補正処理では、撮影イベント情報に基づき、現在処理している注目画像と、既に撮影者確率を算出済みの画像（「処理済み画像」という。）とが同一イベントのものである場合に、以下の処理を行う。
すなわち、注目画像と処理済み画像とが同一のカメラによって撮影されたものであって、対応する同一人物の撮影者確率が異なる場合には、両者の撮影者確率を、補正前の高い方の値となるように補正する。例えば、ある人物に対する処理済み画像の撮影者確率が８０％であって、その人物に対する注目画像の撮影者確率が７０％であれば、撮影者判定部２２は、注目画像の撮影者確率が８０％となるように補正する。かかる補正によって、同一イベントで複数の画像が撮影された場合に、より鮮明に写っている画像に基づく撮影者確率が共通に適用されることになるので、撮影者確率の算出精度が向上し、ひいては撮影者の推定精度を高めることができる。
一方、注目画像と処理済み画像とが異なるカメラによって撮影されたものであるということは、極めて短時間（例えば数秒間）で撮影者が切り替わった状況を意味するが、かかる状況は通常、想定し難い。よって、注目画像と処理済み画像とが異なるカメラによって撮影されたものであって、対応する同一人物の撮影者確率が異なる場合には、両者の撮影者確率を、補正前の低い方の値となるように補正してもよい。そのような状況では、撮影者確率の精度の信頼性が低いと考えられるためである。
【００４７】
ステップＳ７５ではさらに、ステップＳ７４で取得した撮影モード係数に基づいて、撮影者確率に対する第２の補正処理を行うことが好ましい。第２の補正処理では、撮影モード係数が「０」である場合、すなわち、注目画像が遠隔制御またはタイマ制御によって得られたものである場合に、実質的にその注目画像を撮影者の推定対象から外す処理を行う。注目画像が遠隔制御またはタイマ制御によって得られたものでない場合には、第２の補正処理では、実質的に何も行われない。より具体的には、第２の補正処理では、上記式（Ｅ１）で算出した補正前の撮影者確率を、以下の式（Ｅ２）のとおり補正する。
【００４８】
第２の補正後の撮影者確率＝補正前の撮影者確率×撮影モード係数 ・・・（Ｅ２）
【００４９】
この第２の補正処理では、注目画像が遠隔制御またはタイマ制御によって得られたものである場合には、撮影者確率が「０」となるため、注目画像は実質的に撮影者の推定対象から外される。このような処理を行う理由は、画像が遠隔制御またはタイマ制御によって得られた場合、その画像の撮影者に撮影技術などのフィードバックを行う必要がないと考えられるためである。
【００５０】
以上がステップＳ７５の処理である。
注目画像に対する個々人の撮影者確率が算出されると、撮影者確率の最も大きい人物を撮影者と推定し、その撮影者および撮影者確率を注目画像と関連付けて撮影者情報１１０に記録する（ステップＳ７６）。図１４は、撮影者情報１１０の一例を示す図である。図１４に示す例では、画像ファイルごとに、推定された撮影者とその撮影者確率が記録される。ここで、注目画像に対する個々人の撮影者確率のうち最も大きい撮影者確率が所定の閾値よりも小さい場合には、撮影者を記録せずに撮影者が「不明」として記録してもよい。注目画像に対する個々人の撮影者確率のすべてがそれほど高くない場合には、撮影者推定の信頼性が低いと考えられるためである。また、図１４の例に示すように、遠隔制御またはタイマ制御によって得られた場合、すなわち撮影モード係数＝０の場合の撮影者を「自動」として記録してもよい。
【００５１】
以上、本発明の実施形態について詳細に説明したが、本発明の情報処理装置および情報処理方法は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのは勿論である。
【００５２】
以上の各実施形態に関し、さらに以下の付記を開示する。
【００５３】
（付記１）
画像の撮影者を推定する情報処理装置であって、
撮像装置と、複数の人物のうち前記撮像装置の所有者とを予め関連付けた第１データベースを含む第１格納部と、
前記複数の人物とその各々の人物画像とを予め関連付けた第２データベースを含む第２格納部と、
撮影者の推定対象となる注目画像と関連付けられている撮像装置の情報を取得し、第１データベースを参照して、取得した前記撮像装置の情報と関連付けられた所有者を特定し、特定した前記所有者の情報に基づいて、前記複数の人物の各々が前記注目画像の撮影者であることの確からしさを示す第１の値を得る第１判定部と、
前記注目画像に含まれる被写体画像と第２データベース内の各人物画像との照合結果に基づいて、前記複数の人物の各々が前記注目画像の撮影者であることの確からしさを示す第２の値を得る第２判定部と、
前記第１および第２の値に基づいて、前記複数の人物の各々が前記注目画像の撮影者であることの確からしさを示す第３の値を得る第３判定部と、
を備えた情報処理装置。
【００５４】
（付記２）
前記第３判定部は、前記注目画像が複数存在するとき、その複数の注目画像のうち任意の２つの注目画像に関連付けられている撮影時刻の差が所定の閾値よりも小さく、かつ前記２つの注目画像の各々と関連付けられている撮像装置が同一である場合、前記２つの注目画像についての前記第３の値を、前記第１および第２の値に基づいて得られた２つの値のうち大きい方の値に共になるように補正する、
付記１に記載された情報処理装置。
【００５５】
（付記３）
前記第３判定部は、前記注目画像が撮像装置の遠隔制御またはタイマ制御によって得られた場合には、その注目画像を実質的に撮影者の推定対象から除外する、
付記１または２に記載された情報処理装置。
【００５６】
（付記４）
前記第３判定部は、前記複数の人物の各々についての前記第３の値のうち最も大きい値が所定の閾値以上である場合に、その最も大きい値に対応する人物を前記注目画像の撮影者であると推定する、
付記１〜３のいずれかに記載された情報処理装置。
【００５７】
（付記５）
画像の撮影者を推定する情報処理方法であって、
撮像装置と、複数の人物のうち前記撮像装置の所有者とを予め関連付けた第１データベースを用意するステップと、
前記複数の人物とその各々の人物画像とを予め関連付けた第２データベースを用意するステップと、
撮影者の推定対象となる注目画像と関連付けられている撮像装置の情報を取得し、第１データベースを参照して、取得した前記撮像装置の情報と関連付けられた所有者を特定し、特定した前記所有者の情報に基づいて、前記複数の人物の各々が前記注目画像の撮影者であることの確からしさを示す第１の値を得るステップと、
前記注目画像に含まれる被写体画像と第２データベース内の各人物画像との照合結果に基づいて、前記複数の人物の各々が前記注目画像の撮影者であることの確からしさを示す第２の値を得るステップと、
前記第１および第２の値に基づいて、前記複数の人物の各々が前記注目画像の撮影者であることの確からしさを示す第３の値を得るステップと、
を含む情報処理方法。
【００５８】
（付記６）
前記注目画像が複数存在するとき、その複数の注目画像のうち任意の２つの注目画像に関連付けられている撮影時刻の差が所定の閾値よりも小さく、かつ前記２つの注目画像の各々と関連付けられている撮像装置が同一である場合、前記２つの注目画像についての前記第３の値を、前記第１および第２の値に基づいて得られた２つの値のうち大きい方の値に共になるように補正するステップをさらに有する、
付記５に記載された情報処理方法。
【００５９】
（付記７）
前記注目画像が撮像装置の遠隔制御またはタイマ制御によって得られた場合には、その注目画像を実質的に撮影者の推定対象から除外するステップをさらに有する、
付記５または６に記載された情報処理方法。
【００６０】
（付記８）
前記複数の人物の各々についての前記第３の値のうち最も大きい値が所定の閾値以上である場合に、その最も大きい値に対応する人物を前記注目画像の撮影者であると推定するステップをさらに有する、
付記５〜７のいずれかに記載された情報処理方法。
【符号の説明】
【００６１】
１００…撮影画像情報
１１０…撮影者情報
１…情報処理装置
１０…カメラ所有者ＤＢ
１１…撮影カメラ特定部
１２…カメラ情報格納部
１３…被写体ＤＢ
１４…被写体判定部
１５…被写体情報格納部
１６…撮影日時判定部
１７…撮影場所判定部
１８…撮影イベント判定部
１９…撮影イベント情報格納部
２０…撮影モード判定部
２１…撮影モード情報格納部
２２…撮影者判定部
【特許請求の範囲】
【請求項１】
画像の撮影者を推定する情報処理装置であって、
撮像装置と、複数の人物のうち前記撮像装置の所有者とを予め関連付けた第１データベースを含む第１格納部と、
前記複数の人物とその各々の人物画像とを予め関連付けた第２データベースを含む第２格納部と、
撮影者の推定対象となる注目画像と関連付けられている撮像装置の情報を取得し、第１データベースを参照して、取得した前記撮像装置の情報と関連付けられた所有者を特定し、特定した前記所有者の情報に基づいて、前記複数の人物の各々が前記注目画像の撮影者であることの確からしさを示す第１の値を得る第１判定部と、
前記注目画像に含まれる被写体画像と第２データベース内の各人物画像との照合結果に基づいて、前記複数の人物の各々が前記注目画像の撮影者であることの確からしさを示す第２の値を得る第２判定部と、
前記第１および第２の値に基づいて、前記複数の人物の各々が前記注目画像の撮影者であることの確からしさを示す第３の値を得る第３判定部と、
を備えた情報処理装置。
【請求項２】
前記第３判定部は、前記注目画像が複数存在するとき、その複数の注目画像のうち任意の２つの注目画像に関連付けられている撮影時刻の差が所定の閾値よりも小さく、かつ前記２つの注目画像の各々と関連付けられている撮像装置が同一である場合、前記２つの注目画像についての前記第３の値を、前記第１および第２の値に基づいて得られた２つの値のうち大きい方の値に共になるように補正する、
請求項１に記載された情報処理装置。
【請求項３】
前記第３判定部は、前記注目画像が撮像装置の遠隔制御またはタイマ制御によって得られた場合には、その注目画像を実質的に撮影者の推定対象から除外する、
請求項１または２に記載された情報処理装置。
【請求項４】
前記第３判定部は、前記複数の人物の各々についての前記第３の値のうち最も大きい値が所定の閾値以上である場合に、その最も大きい値に対応する人物を前記注目画像の撮影者であると推定する、
請求項１〜３のいずれかに記載された情報処理装置。
【請求項５】
画像の撮影者を推定する情報処理方法であって、
撮像装置と、複数の人物のうち前記撮像装置の所有者とを予め関連付けた第１データベースを用意するステップと、
前記複数の人物とその各々の人物画像とを予め関連付けた第２データベースを用意するステップと、
撮影者の推定対象となる注目画像と関連付けられている撮像装置の情報を取得し、第１データベースを参照して、取得した前記撮像装置の情報と関連付けられた所有者を特定し、特定した前記所有者の情報に基づいて、前記複数の人物の各々が前記注目画像の撮影者であることの確からしさを示す第１の値を得るステップと、
前記注目画像に含まれる被写体画像と第２データベース内の各人物画像との照合結果に基づいて、前記複数の人物の各々が前記注目画像の撮影者であることの確からしさを示す第２の値を得るステップと、
前記第１および第２の値に基づいて、前記複数の人物の各々が前記注目画像の撮影者であることの確からしさを示す第３の値を得るステップと、
を含む情報処理方法。
【請求項１】
画像の撮影者を推定する情報処理装置であって、
撮像装置と、複数の人物のうち前記撮像装置の所有者とを予め関連付けた第１データベースを含む第１格納部と、
前記複数の人物とその各々の人物画像とを予め関連付けた第２データベースを含む第２格納部と、
撮影者の推定対象となる注目画像と関連付けられている撮像装置の情報を取得し、第１データベースを参照して、取得した前記撮像装置の情報と関連付けられた所有者を特定し、特定した前記所有者の情報に基づいて、前記複数の人物の各々が前記注目画像の撮影者であることの確からしさを示す第１の値を得る第１判定部と、
前記注目画像に含まれる被写体画像と第２データベース内の各人物画像との照合結果に基づいて、前記複数の人物の各々が前記注目画像の撮影者であることの確からしさを示す第２の値を得る第２判定部と、
前記第１および第２の値に基づいて、前記複数の人物の各々が前記注目画像の撮影者であることの確からしさを示す第３の値を得る第３判定部と、
を備えた情報処理装置。
【請求項２】
前記第３判定部は、前記注目画像が複数存在するとき、その複数の注目画像のうち任意の２つの注目画像に関連付けられている撮影時刻の差が所定の閾値よりも小さく、かつ前記２つの注目画像の各々と関連付けられている撮像装置が同一である場合、前記２つの注目画像についての前記第３の値を、前記第１および第２の値に基づいて得られた２つの値のうち大きい方の値に共になるように補正する、
請求項１に記載された情報処理装置。
【請求項３】
前記第３判定部は、前記注目画像が撮像装置の遠隔制御またはタイマ制御によって得られた場合には、その注目画像を実質的に撮影者の推定対象から除外する、
請求項１または２に記載された情報処理装置。
【請求項４】
前記第３判定部は、前記複数の人物の各々についての前記第３の値のうち最も大きい値が所定の閾値以上である場合に、その最も大きい値に対応する人物を前記注目画像の撮影者であると推定する、
請求項１〜３のいずれかに記載された情報処理装置。
【請求項５】
画像の撮影者を推定する情報処理方法であって、
撮像装置と、複数の人物のうち前記撮像装置の所有者とを予め関連付けた第１データベースを用意するステップと、
前記複数の人物とその各々の人物画像とを予め関連付けた第２データベースを用意するステップと、
撮影者の推定対象となる注目画像と関連付けられている撮像装置の情報を取得し、第１データベースを参照して、取得した前記撮像装置の情報と関連付けられた所有者を特定し、特定した前記所有者の情報に基づいて、前記複数の人物の各々が前記注目画像の撮影者であることの確からしさを示す第１の値を得るステップと、
前記注目画像に含まれる被写体画像と第２データベース内の各人物画像との照合結果に基づいて、前記複数の人物の各々が前記注目画像の撮影者であることの確からしさを示す第２の値を得るステップと、
前記第１および第２の値に基づいて、前記複数の人物の各々が前記注目画像の撮影者であることの確からしさを示す第３の値を得るステップと、
を含む情報処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１２−３９４９０（Ｐ２０１２−３９４９０Ａ）
【公開日】平成２４年２月２３日（２０１２．２．２３）
【国際特許分類】
【出願番号】特願２０１０−１７９２５１（Ｐ２０１０−１７９２５１）
【出願日】平成２２年８月１０日（２０１０．８．１０）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２４年２月２３日（２０１２．２．２３）
【国際特許分類】
【出願日】平成２２年８月１０日（２０１０．８．１０）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]