状況により適応的にイメージマッチングを行うための方法、システム、及びコンピュータ読み取り可能な記録媒体
本発明は、状況により適応的にイメージマッチングを実行するための方法、システム及びコンピュータ読み取り可能な記録媒体に関する。本発明の一態様によれば、状況により適応的にイメージマッチングを実行するための方法であって、（ａ）入力イメージに含まれている客体の状況を認識する段階、及び（ｂ）前記認識された状況により、データベースに格納されている複数のイメージのうちの少なくとも１つのイメージを含むイメージグループを前記客体に対するイメージマッチングの対象となる参照イメージグループとして決定する段階を含み、前記参照イメージグループに含まれているイメージセットは、前記認識された状況により動的に変化され得ることを特徴とする方法が提供される。本発明によれば、客体に対するイメージマッチングがより正確、且つ、迅速に実行できるようにするという効果を奏する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、状況によりイメージマッチングを行うための方法、システム、及びコンピュータ読み取り可能な記録媒体に関する。より詳しくは、本発明は、イメージマッチングの対象となる客体の撮影距離、撮影場所、撮影時間帯などの状況を認識し、これにより客体に対するイメージマッチングの参照となるイメージを適応的に決定することで、イメージ内に含まれている客体に対するイメージマッチングがより正確、且つ、迅速に実行できるようにするための方法、システム及びコンピュータ読み取り可能な記録媒体に関する。
【背景技術】
【０００２】
近年、イメージを撮影できるデジタルカメラ、携帯用電話機などのカメラ装置の機能が次第に知能化していくにつれ、カメラ装置の人工知能に対するユーザの期待感が高まっており、特に、イメージに現れる人の顔、建物などの客体を認識できるようにする客体認識機能などがカメラ装置の基本機能として搭載されているのが現状である。また、高能性プロセッサが搭載され難いモバイルカメラ装置の制限された演算速度とモバイルカメラ装置で基本的に実行されなければならない他のプロセスによる演算負担を勘案するとき、より効率的な客体認識技術が求められている状況である。
【０００３】
一般に、イメージに含まれている客体が何かを認識するための技術として、イメージから検出された客体を所定のデータベース内に存在する参照イメージと比較して客体と最も類似する参照イメージをマッチングの結果として決定するイメージマッチング技法が用いられている。
【０００４】
しかしながら、従来紹介された一般的なイメージマッチング方法によれば、イメージマッチングの対象となる客体のタイプ（例えば、近い距離で撮影された人物の顔、遠い距離で撮影された建物など）とは関係なくデータベース内に格納されているあらゆる参照イメージとイメージマッチングを行わなければならないため、演算量が多く、マッチングの速度が遅いという問題がある。
【０００５】
従って、客体認識の正確性を高めると共に、客体認識の速度を迅速にしてイメージに含まれている客体に対する認識がより効果的に実行され得るようにするイメージマッチング技術の必要性が浮上している。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、前述した問題をいずれも解決することをその目的とする。
また、本発明の他の目的は、イメージマッチングの対象となる客体の撮影距離、撮影場所、撮影時間帯などの状況を認識し、これにより客体に対するイメージマッチングの参照となるイメージを適応的に決定できるようにすることにある。
【課題を解決するための手段】
【０００７】
前記目的を達成するための本発明の代表的な構成は、以下の通りである。
本発明の一態様によれば、状況により適応的にイメージマッチングを行うための方法であって、（ａ）入力イメージに含まれている客体の状況を認識する段階、及び（ｂ）前記認識された状況により、データベースに格納されている複数のイメージのうちの少なくとも１つのイメージを含むイメージグループを前記客体に対するイメージマッチングの対象となる参照イメージグループとして決定する段階を含み、前記参照イメージグループに含まれているイメージセットは、前記認識された状況により動的に変化され得ることを特徴とする方法が提供される。
【０００８】
本発明の他の態様によれば、状況により適応的にイメージマッチングを行うためのシステムであって、入力イメージに含まれている客体の状況を認識する状況認識部、及び前記認識された状況により、データベースに格納されている複数のイメージのうちの少なくとも１つのイメージを含むイメージグループを前記客体に対するイメージマッチングの対象となる参照イメージグループとして決定する参照イメージ決定部を含み、前記参照イメージグループに含まれているイメージセットは、前記認識された状況により動的に変化され得ることを特徴とするシステムが提供される。
【０００９】
この他にも、本発明を実現するための他の方法、システム及び前記方法を実行するためのコンピュータプログラムを記録するためのコンピュータ読み取り可能な記録媒体が更に提供される。
【発明の効果】
【００１０】
本発明によれば、イメージに含まれている客体に対するイメージマッチングを行うにおいて、客体の撮影距離、撮影場所、撮影時間帯などの状況により参照イメージを検索するためのデータベースの範囲を適応的に決定することができるので、客体に対するイメージマッチングがより正確、且つ、迅速に行われるようにすることができるという効果を奏する。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態に係るイメージマッチングシステムの内部構成を例示的に示す図である。
【図２】本発明の一実施形態に係る状況認識部の内部構成を例示的に示す図である。
【図３】本発明の一実施形態によって入力イメージに含まれる客体を例示的に示す図である。
【図４】本発明の一実施形態によって昼間時間帯に撮影された客体を含むイメージを例示的に示す図である。
【図５】本発明の一実施形態によって夜間時間帯に撮影された客体を含むイメージを例示的に示す図である。
【図６】本発明の一実施形態によって参照イメージを決定する構成を例示的に示す図である。
【発明を実施するための形態】
【００１２】
後述する本発明に関する詳細な説明は、本発明が実施され得る特定の実施形態を例として示す添付の図面を参照する。これらの実施形態は、当業者が本発明を実施できるのに十分なように詳細に説明される。本発明の多様な実施形態は互いに異なるが、相互排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施形態に関連して本発明の精神及び範囲から逸脱しないながらも、他の実施形態で実現され得る。また、それぞれの開示された実施形態内の個別構成要素の位置又は配置は、本発明の精神及び範囲から逸脱しないながらも、変更され得ることが理解されるべきである。従って、後述する詳細な説明は、限定的な意味として取ろうとするのではなく、本発明の範囲は、適切に説明されれば、その請求項が主張するものと均等なあらゆる範囲と共に添付された請求項によってのみ限定される。図面において類似する参照符号は、多様な側面にわたって同一又は類似する機能を示す
以下では、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施できるようにするために、本発明の好適な実施形態について添付の図面を参照して詳細に説明する。
【００１３】
本明細書において、参照イメージ（ｒｅｆｅｒｅｎｃｅ ｉｍａｇｅ）は、入力イメージに含まれている客体と類似するイメージを探すために行われるイメージマッチングにおいて前記客体と比較の対象となるイメージを意味するものであって、所定のデータベース内に格納されることができる。
【００１４】
また、本明細書において、入力イメージは、撮影済みのデジタルデータであってもよく、撮影前にプレビュー状態で画面上に映されるデジタルデータであってもよい。
イメージマッチングシステムの構成
以下では、本発明の実現のために重要な機能を実行するイメージマッチングシステムの内部構成及び各構成要素の機能について詳察する。
【００１５】
本発明の一実施形態によれば、個人用コンピュータ（例えば、デスクトップコンピュータ、ノートブックコンピュータなど）、サーバ、ワークステーション、ＰＤＡ、ウェブパッド、移動電話機、カメラ装置などのようにメモリ手段を備え、マイクロ・プロセッサを搭載して演算能力を備えた装置であれば、いくらでも本発明のイメージマッチングシステム１００として採択され得る。
【００１６】
図１は、本発明の一実施形態に係るイメージマッチングシステムの内部構成を例示的に示す図である。
図１に示すように、本発明の一実施形態に係るイメージマッチングシステム１００は、状況認識部１１０、参照イメージ決定部１２０、データベース１３０、通信部１４０及び制御部１５０を含むことができる。本発明の一実施形態によれば、状況認識部１１０、参照イメージ決定部１２０、データベース１３０、通信部１４０及び制御部１５０は、そのうちの少なくとも一部が外部システム（図示せず）と通信するプログラムモジュールであり得る。これらのプログラムモジュールは、オペレーティングシステム、応用プログラムモジュール及びその他プログラムモジュールの形態でイメージマッチングシステム１００に含まれることができ、物理的には多様な公知の記憶装置上に格納されることができる。また、これらのプログラムモジュールは、イメージマッチングシステム１００と通信可能な遠隔記憶装置に格納されることもできる。一方、このようなプログラムモジュールは、本発明によって後述する特定の業務を行ったり、特定の抽象データのタイプを実行するルーチン、サブルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを包括するが、これに制限されるものではない。
【００１７】
まず、本発明の一実施形態によれば、状況認識部１１０は、入力イメージに含まれている客体の状況を認識する機能を実行する。即ち、客体が撮影された位置から客体の実際の位置までの距離、客体が撮影された場所、客体が撮影された時間帯などの状況を認識することで、イメージマッチングの対象となる参照イメージが各状況により適応的に決定されるようにすることができる。
【００１８】
図２に示すように、本発明の一実施形態に係る状況認識部１１０は、距離認識部１１１、場所認識部１１２及び時間認識部１１３を含むことができる。
まず、距離認識部１１１は、イメージマッチングの対象となる客体を含む入力イメージにおいて客体が撮影された位置から客体の実際の位置までの距離を認識する機能を実行することができる。
【００１９】
一般に、撮影の対象によって撮影位置から客体の実際の位置までの距離が変わり得るが、例えば、筆記具、本などの小さなサイズの客体は、１ｍ以内の距離で近接して撮影される傾向が高く、人、自動車などの中間サイズの客体は、１ｍ以上から１０ｍ以下の距離で撮影される傾向が高く、建築物、風景などの巨大なサイズの客体は、数十ｍから数百ｍ程度遠く離れた距離で撮影される傾向が高い。
【００２０】
また、主に近距離で撮影される人、自動車などの客体に対するイメージマッチングを実行する場合には、該当客体の深さ又は深度（ｄｅｐｔｈ）が大きくないため、アフィン変換（ａｆｆｉｎｅｔｒａｎｓｆｏｒｍ）のような平面的な（ｐｌａｎａｒ）イメージマッチング技法として適用され得る反面、主に遠距離で撮影される建築物、風景などの巨大なサイズの客体に対するイメージマッチングを実行する場合には該当客体の深さ又は深度が大きいため、アフィン変換などのマッチング技法は適用され難く、その代わりに客体に含まれている繰り返しパターン（例えば、建物に含まれている多数の窓）などを利用する非平面的な（ｎｏｎ−ｐｌａｎａｒ）マッチング技法（例えば、ストリートビュー（ｓｔｒｅｅｔｖｉｅｗ）マッチング）が適用され得るようになる。
【００２１】
即ち、前記のような傾向を考慮して客体の距離によってイメージマッチングの対象となる参照イメージを適応的に決定したり、イメージマッチング技法を異にして適用すれば、客体に対するイメージマッチングがより効果的に実行され得るが、このために本発明の一実施形態に係る距離認識部１１１は、客体が撮影された位置から客体の実際の位置までの距離を認識することができる。
【００２２】
前記で言及したように、距離認識部１１１で入力イメージに含まれている客体の距離を認識するためには、所定の距離認識技術を利用しなければならないが、このような距離認識技術として、ＡｓｈｕｔｏｓｈＳａｘｅｎａ外２人が共同で著述した“Ｄｅｐｔｈ Ｅｓｔｉｍａｔｉｏｎ ｕｓｉｎｇ Ｍｏｎｏｃｕｌａｒ ａｎｄＳｔｅｒｅｏ Ｃｕｅｓ”という論文などが参照することができる（前記論文の内容は、その全体が本明細書に併合されているものと考慮されるべきである）。前記論文には、撮影されたイメージの質感の変化、ボケ、焦点の変化、客体の知られている大きさなどを用いて単眼イメージ又はステレオイメージの深度を測定する方法について記載されている。もちろん、本発明に適用可能な距離認識技術が前記論文に記載された方法にのみ限定されるものではなく、多様な変形例を適用して本発明を実現することができる。
【００２３】
本発明の一実施形態によれば、客体の距離を認識するための距離認識技術として撮影機器の微細な動きによる撮影イメージ内で客体の位置、大きさなどの変化の程度を参照して撮影位置から実際の該当客体までの距離を認識する技術が他の例として挙げられる。即ち、撮影位置から相対的に近い所に位置する客体は、撮影機器の動きにつれて撮影イメージ内でその大きさや位置が相対的に多く変化する反面、撮影位置から相対的に遠くに位置する客体は、撮影機器が動いても撮影イメージ内でその大きさや位置が相対的に少なく変化するため、このような点を考慮して撮影位置からの実際の客体位置までの距離を認識することもできる。
【００２４】
図３は、本発明の一実施形態によって入力イメージに含まれる客体を例示的に示す図である。
図３に示すように、入力イメージには撮影位置から相対的に近距離に位置する客体である本３１０と撮影位置から相対的に遠距離に位置する客体である建物３２０が共に含まれ得るが、本発明の一実施形態に係る距離認識部１１１は、本３１０までの距離および建物３２０までの距離をそれぞれ推定して認識することによって、本３１０および建物３２０に対するイメージマッチングの対象となる参照イメージがそれぞれ適応的に決定され得るようにすることができる。
【００２５】
次に、場所認識部１１２は、イメージマッチングの対象となる客体が撮影された場所（即ち、客体が撮影された場所のタイプ）を認識する機能を実行することができる。経験から見ると、特定の場所で撮影されたイメージには一般に前記特定場所に存在する可能性が高い客体が含まれているべきであるが、例えば、室内で撮影されたイメージには机などの客体が含まれている可能性が高い反面、室外で撮影されたイメージには山、海、建物などの客体が含まれている可能性が高く、地下で撮影されたイメージには照明機構、エレベータなどの客体が含まれている可能性が高い反面、地上で撮影されたイメージには建物、自動車などの客体が含まれている可能性が高い。
【００２６】
即ち、前記のような事情を考慮して客体の撮影場所（即ち、客体が撮影された場所のタイプ）によってイメージマッチングの対象となる参照イメージを適応的に決定すれば、客体に対するイメージマッチングがより効果的に実行され得るが、このために、本発明の一実施形態に係る場所認識部１１２は、客体が撮影された場所を認識することができる。
【００２７】
前記で言及したように、場所認識部１１２で入力イメージに含まれている客体が撮影された場所（即ち、客体が撮影された場所のタイプ）を認識するためには、所定の場所認識技術を利用しなければならないが、このような場所認識技術として、ＡｒｉａｄｎａＱｕａｔｔｏｎｉ外１人が共同で著述し、２００９年にＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ）に掲載された“ＲｅｃｏｇｎｉｚｉｎｇＩｎｄｏｏｒ Ｓｃｅｎｅｓ”という論文などを参照することができる（前記論文の内容は、その全体が本明細書に併合されているものと考慮されるべきである）。前記論文には、イメージの全域的な特性又はイメージに含まれている客体のタイプを考慮してイメージが描写している場面を認識する方法について記載されている。もちろん、本発明に適用可能な場所認識技術が前記論文に記載された方法にのみ限定されるものではなく、多様な変形例を適用して本発明を実現することができる。
【００２８】
客体が撮影された場所（即ち、客体が撮影された場所のタイプ）を認識する方法の他の例として、本発明の一実施形態に係る場所認識部１１２は、カメラ装置によって受信される無線信号（例えば、ＧＰＳ受信信号など）を参照して客体が撮影される場所（即ち、客体が存在する位置）を認識することができるが、例えば受信されるＧＰＳなどの無線信号の強度が既に設定されている値を超えれば、該当場所が地上又は室外であると判断し、受信される無線信号の強度が既に設定されている値以下であれば、該当場所が地下又は室内であると判断することができる。その他にも自然光などの強度がどの程度であるかを判別し、客体が地下又は室内に位置するか否かなどを判断することもできる。
【００２９】
本発明の一実施形態によれば、時間認識部１１３は、イメージマッチングの対象となる客体が撮影された時間帯を認識する機能を実行することができる。一般に、同一の客体を含んでいるイメージといっても昼間時間帯に撮影されたイメージに現れた客体の外観と夜間時間帯に撮影されたイメージに現れた客体の外観は大きく異なり得るが、前記のような事情を考慮して客体の撮影時間によってイメージマッチングの対象となる参照イメージを適応的に決定することで、客体に対するイメージマッチングがより効果的に実行され得るようにするために、本発明の一実施形態に係る時間認識部１１３は、客体が撮影された時間を認識することができる。
【００３０】
図４及び図５は、本発明の一実施形態によってそれぞれ昼間時間帯及び夜間時間帯に撮影された客体を含むイメージを例示的に示す図である。
図４及び図５には、各イメージで検出された客体の特徴点が赤色の十字印で示されているが、これに示すように、昼間時間帯及び夜間時間帯にそれぞれ撮影されたイメージに同一の客体が含まれている場合にも昼間時間帯に撮影されたイメージに現れた客体の特徴点と夜間時間帯に撮影されたイメージに現れた客体の特徴点とが互いに異なって示され得ることを確認することができる。
【００３１】
一方、本発明の一実施形態によれば、参照イメージ決定部１２０は、状況認識部１１０によって認識された客体の状況（又は条件）によってイメージマッチングの対象となる参照イメージを適応的に決定する機能を実行することができる。即ち、本発明の一実施形態に係る参照イメージ決定部１２０は、データベース１３０内に格納されている多数のイメージのうち、客体の状況に対応するイメージのみを前記客体に対するイメージマッチングの対象となる参照イメージとして決定することで、イメージマッチングの結果がより正確、且つ、迅速に導き出されるようにすることができる。
【００３２】
より具体的に、本発明の一実施形態に係る参照イメージ決定部１２０は、客体が撮影された位置から客体の実際の位置までの距離に基づいて参照イメージを決定することができるが、例えば、近距離で撮影された客体に対しては、データベース１３０に格納されている複数の参照イメージのうち、筆記具、本、人物などのように近距離で撮影された可能性が高いイメージを参照イメージとして決定することができ、遠距離で撮影された客体に対しては、データベース１３０に格納されている複数の参照イメージのうち、建築物、風景などのように遠距離で撮影された可能性が高いイメージを参照イメージとして決定することができる。ここで、撮影地点からの距離を変数とするとき、距離的範囲が２つ（即ち、近距離及び遠距離）に分けられた状態を例として説明したが、必ずしもこれに限定されるものではない。例えば、以下のように距離的範囲が３つに分けられた状態を例として説明することもできる。具体的に、撮影地点からの距離が１ｍ以内であると認識された客体Ａに対するイメージマッチングの対象となる参照イメージとしては、１ｍ前後のような近距離で近接して撮影される傾向が高い筆記具、本などの小さなサイズの客体が含まれている参照イメージが決定されることができる。そして、撮影地点からの距離が１ｍ以上から１０ｍ未満であると認識された客体Ｂに対するイメージマッチングの対象となる参照イメージとしては、１ｍ以上から１０ｍ以下のような中間距離で撮影される傾向が高い人、自動車などの中間サイズの客体が含まれている参照イメージが決定されることができる。また、撮影地点からの距離が１０ｍ以上であると認識された客体Ｃに対するイメージマッチングの対象となる参照イメージとしては、数十ｍから数百ｍ程度遠く離れた遠距離で撮影される傾向が高い建築物、風景などの巨大なサイズの客体が含まれている参照イメージが決定されることができる。
【００３３】
また、本発明の一実施形態に係る参照イメージ決定部１２０は、客体が撮影された場所のタイプを基に参照イメージを決定することができるが、例えば、地下で撮影された客体に対しては、データベース１３０に格納されている複数の参照イメージのうち、地上建築物に関するイメージなどのように地下で撮影された可能性が低いイメージを参照イメージから除外させることができ、室内で撮影された客体に対しては、データベース１３０に格納されている複数の参照イメージのうち、自動車などのように室内で撮影された可能性が低いイメージを参照イメージから除外させることができる。
【００３４】
また、本発明の一実施形態に係る参照イメージ決定部１２０は、客体が撮影された時間を基に参照イメージを決定することができるが、例えば、昼間時間帯に撮影された客体に対しては、データベース１３０に格納されている複数の参照イメージのうち、昼間時間帯に撮影されたイメージを参照イメージとして決定することができ、夜間時間帯に撮影された客体に対しては、データベース１３０に格納されている複数の参照イメージのうち、夜間時間帯に撮影されたイメージを参照イメージとして決定することができる。
【００３５】
以上で説明した参照イメージ決定部１２０の構成を可能にするために、本発明の一実施形態に係るデータベース１３０には、イメージマッチングの参照となる複数のイメージがそれぞれの対応する状況情報と連係して格納されていてもよく、より具体的には、連係された状況情報によって各イメージがデータベース１３０内で差別的に格納されていてもよい。ここで、参照イメージと連係して格納される状況情報には、撮影距離、撮影場所、撮影時間帯などに関する情報が含まれることができる。本発明において、データベース１３０は、狭義のデータベースだけでなく、コンピュータファイルシステムに基づくデータ記録などを含む広い意味のデータベースまで含む概念であって、単純な演算処理ログの集合であっても、これを検索して所定のデータを抽出できるならば、本発明でいうデータベースに含まれ得ることが理解されるべきである。また、本発明の一実施形態に係るデータベース１３０は、本発明を実現する当業者の必要に応じてイメージマッチングシステム１００に含まれて構成されてもよく、イメージマッチングシステム１００と別個で構成されてもよい。
【００３６】
図６は、本発明の一実施形態によって参照イメージを決定する構成を例示的に示す図である。
図６に示すように、互いに異なる３つの入力イメージにそれぞれ含まれている客体Ａ、Ｂ及びＣ６１０、６２０、６３０に対するイメージマッチングを実行する場合を仮定することができる。具体的に、図６に示すように、５０ｃｍの距離を置いて近接して撮影された客体Ａ６１０に対しては、データベースに存在する複数の参照イメージのうち、筆記具、本など近距離で撮影された可能性が既に設定されている臨界値より高い客体を含んでいるイメージ６１５がイメージマッチングの対象となる参照イメージとして決定されることができる。続いて、図６に示すように、地上で撮影された客体Ａ６２０に対しては、データベースに存在する複数の参照イメージのうち、建築物、風景など地上で撮影された可能性が既に設定されている臨界値より高い客体を含んでいるイメージ６２５がイメージマッチングの対象となる参照イメージとして決定されることができる。次いで、図６に示すように、１５時から１８時までの時間帯に撮影された客体Ａ６３０に対しては、データベースに存在する複数の参照イメージのうち、１５時から１８時までの時間帯に撮影された客体を含んでいる一部のイメージ６３５がイメージマッチングの対象となる参照イメージとして決定されることができる。
【００３７】
次に、本発明の一実施形態に係る通信部１４０は、イメージマッチングシステム１００が移動通信サーバ（図示せず）、ウェブサーバ（図示せず）などの外部装置と通信できるようにする機能を実行する。
【００３８】
最後に、本発明の一実施形態に係る制御部１５０は、状況認識部１１０、参照イメージ決定部１２０、データベース１３０及び通信部１４０間のデータの流れを制御する機能を実行する。即ち、制御部１５０は、外部からの又はイメージマッチングシステムの各構成要素間のデータの流れを制御することで、状況認識部１１０、参照イメージ決定部１２０、データベース１３０及び通信部１４０でそれぞれ固有機能を実行するように制御する。
【００３９】
以上、説明された本発明に係る実施形態は、多様なコンピュータ構成要素を通じて実行され得るプログラム命令語の形態で実現され、コンピュータ読み取り可能な記録媒体に記録され得る。前記コンピュータ読み取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独又は組み合わせて含むことができる。前記コンピュータ読み取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計され、構成されたものであってもよく、コンピュータソフトウェア分野の当業者にとって公知となって使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光気録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納し、実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例としては、コンパイラにより作られるもののような機械語コードだけでなく、インタープリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明に係る処理を行うために１つ以上のソフトウェアモジュールとして作動するように構成されることができ、その逆も同様である。
【００４０】
以上、本発明が具体的な構成要素などのような特定事項と限定された実施形態及び図面により説明されたが、これは本発明のより全般的な理解を促進するために提供されたものであって、本発明が前記実施形態に限定されるものではなく、本発明の属する技術分野において通常の知識を有する者であれば、このような記載から多様な修正及び変形を図ることができる。
【００４１】
従って、本発明の思想は、前記説明された実施形態に限定され定められてはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等に又は等価的に変形された全てのものは、本発明の思想の範疇に属すると言える。
【符号の説明】
【００４２】
１００ イメージマッチングシステム
１１０ 状況認識部
１１１ 距離認識部
１１２ 場所認識部
１１３ 時間認識部
１２０ 参照イメージ決定部
１３０ データベース
１４０ 通信部
１５０ 制御部
【技術分野】
【０００１】
本発明は、状況によりイメージマッチングを行うための方法、システム、及びコンピュータ読み取り可能な記録媒体に関する。より詳しくは、本発明は、イメージマッチングの対象となる客体の撮影距離、撮影場所、撮影時間帯などの状況を認識し、これにより客体に対するイメージマッチングの参照となるイメージを適応的に決定することで、イメージ内に含まれている客体に対するイメージマッチングがより正確、且つ、迅速に実行できるようにするための方法、システム及びコンピュータ読み取り可能な記録媒体に関する。
【背景技術】
【０００２】
近年、イメージを撮影できるデジタルカメラ、携帯用電話機などのカメラ装置の機能が次第に知能化していくにつれ、カメラ装置の人工知能に対するユーザの期待感が高まっており、特に、イメージに現れる人の顔、建物などの客体を認識できるようにする客体認識機能などがカメラ装置の基本機能として搭載されているのが現状である。また、高能性プロセッサが搭載され難いモバイルカメラ装置の制限された演算速度とモバイルカメラ装置で基本的に実行されなければならない他のプロセスによる演算負担を勘案するとき、より効率的な客体認識技術が求められている状況である。
【０００３】
一般に、イメージに含まれている客体が何かを認識するための技術として、イメージから検出された客体を所定のデータベース内に存在する参照イメージと比較して客体と最も類似する参照イメージをマッチングの結果として決定するイメージマッチング技法が用いられている。
【０００４】
しかしながら、従来紹介された一般的なイメージマッチング方法によれば、イメージマッチングの対象となる客体のタイプ（例えば、近い距離で撮影された人物の顔、遠い距離で撮影された建物など）とは関係なくデータベース内に格納されているあらゆる参照イメージとイメージマッチングを行わなければならないため、演算量が多く、マッチングの速度が遅いという問題がある。
【０００５】
従って、客体認識の正確性を高めると共に、客体認識の速度を迅速にしてイメージに含まれている客体に対する認識がより効果的に実行され得るようにするイメージマッチング技術の必要性が浮上している。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、前述した問題をいずれも解決することをその目的とする。
また、本発明の他の目的は、イメージマッチングの対象となる客体の撮影距離、撮影場所、撮影時間帯などの状況を認識し、これにより客体に対するイメージマッチングの参照となるイメージを適応的に決定できるようにすることにある。
【課題を解決するための手段】
【０００７】
前記目的を達成するための本発明の代表的な構成は、以下の通りである。
本発明の一態様によれば、状況により適応的にイメージマッチングを行うための方法であって、（ａ）入力イメージに含まれている客体の状況を認識する段階、及び（ｂ）前記認識された状況により、データベースに格納されている複数のイメージのうちの少なくとも１つのイメージを含むイメージグループを前記客体に対するイメージマッチングの対象となる参照イメージグループとして決定する段階を含み、前記参照イメージグループに含まれているイメージセットは、前記認識された状況により動的に変化され得ることを特徴とする方法が提供される。
【０００８】
本発明の他の態様によれば、状況により適応的にイメージマッチングを行うためのシステムであって、入力イメージに含まれている客体の状況を認識する状況認識部、及び前記認識された状況により、データベースに格納されている複数のイメージのうちの少なくとも１つのイメージを含むイメージグループを前記客体に対するイメージマッチングの対象となる参照イメージグループとして決定する参照イメージ決定部を含み、前記参照イメージグループに含まれているイメージセットは、前記認識された状況により動的に変化され得ることを特徴とするシステムが提供される。
【０００９】
この他にも、本発明を実現するための他の方法、システム及び前記方法を実行するためのコンピュータプログラムを記録するためのコンピュータ読み取り可能な記録媒体が更に提供される。
【発明の効果】
【００１０】
本発明によれば、イメージに含まれている客体に対するイメージマッチングを行うにおいて、客体の撮影距離、撮影場所、撮影時間帯などの状況により参照イメージを検索するためのデータベースの範囲を適応的に決定することができるので、客体に対するイメージマッチングがより正確、且つ、迅速に行われるようにすることができるという効果を奏する。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態に係るイメージマッチングシステムの内部構成を例示的に示す図である。
【図２】本発明の一実施形態に係る状況認識部の内部構成を例示的に示す図である。
【図３】本発明の一実施形態によって入力イメージに含まれる客体を例示的に示す図である。
【図４】本発明の一実施形態によって昼間時間帯に撮影された客体を含むイメージを例示的に示す図である。
【図５】本発明の一実施形態によって夜間時間帯に撮影された客体を含むイメージを例示的に示す図である。
【図６】本発明の一実施形態によって参照イメージを決定する構成を例示的に示す図である。
【発明を実施するための形態】
【００１２】
後述する本発明に関する詳細な説明は、本発明が実施され得る特定の実施形態を例として示す添付の図面を参照する。これらの実施形態は、当業者が本発明を実施できるのに十分なように詳細に説明される。本発明の多様な実施形態は互いに異なるが、相互排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施形態に関連して本発明の精神及び範囲から逸脱しないながらも、他の実施形態で実現され得る。また、それぞれの開示された実施形態内の個別構成要素の位置又は配置は、本発明の精神及び範囲から逸脱しないながらも、変更され得ることが理解されるべきである。従って、後述する詳細な説明は、限定的な意味として取ろうとするのではなく、本発明の範囲は、適切に説明されれば、その請求項が主張するものと均等なあらゆる範囲と共に添付された請求項によってのみ限定される。図面において類似する参照符号は、多様な側面にわたって同一又は類似する機能を示す
以下では、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施できるようにするために、本発明の好適な実施形態について添付の図面を参照して詳細に説明する。
【００１３】
本明細書において、参照イメージ（ｒｅｆｅｒｅｎｃｅ ｉｍａｇｅ）は、入力イメージに含まれている客体と類似するイメージを探すために行われるイメージマッチングにおいて前記客体と比較の対象となるイメージを意味するものであって、所定のデータベース内に格納されることができる。
【００１４】
また、本明細書において、入力イメージは、撮影済みのデジタルデータであってもよく、撮影前にプレビュー状態で画面上に映されるデジタルデータであってもよい。
イメージマッチングシステムの構成
以下では、本発明の実現のために重要な機能を実行するイメージマッチングシステムの内部構成及び各構成要素の機能について詳察する。
【００１５】
本発明の一実施形態によれば、個人用コンピュータ（例えば、デスクトップコンピュータ、ノートブックコンピュータなど）、サーバ、ワークステーション、ＰＤＡ、ウェブパッド、移動電話機、カメラ装置などのようにメモリ手段を備え、マイクロ・プロセッサを搭載して演算能力を備えた装置であれば、いくらでも本発明のイメージマッチングシステム１００として採択され得る。
【００１６】
図１は、本発明の一実施形態に係るイメージマッチングシステムの内部構成を例示的に示す図である。
図１に示すように、本発明の一実施形態に係るイメージマッチングシステム１００は、状況認識部１１０、参照イメージ決定部１２０、データベース１３０、通信部１４０及び制御部１５０を含むことができる。本発明の一実施形態によれば、状況認識部１１０、参照イメージ決定部１２０、データベース１３０、通信部１４０及び制御部１５０は、そのうちの少なくとも一部が外部システム（図示せず）と通信するプログラムモジュールであり得る。これらのプログラムモジュールは、オペレーティングシステム、応用プログラムモジュール及びその他プログラムモジュールの形態でイメージマッチングシステム１００に含まれることができ、物理的には多様な公知の記憶装置上に格納されることができる。また、これらのプログラムモジュールは、イメージマッチングシステム１００と通信可能な遠隔記憶装置に格納されることもできる。一方、このようなプログラムモジュールは、本発明によって後述する特定の業務を行ったり、特定の抽象データのタイプを実行するルーチン、サブルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを包括するが、これに制限されるものではない。
【００１７】
まず、本発明の一実施形態によれば、状況認識部１１０は、入力イメージに含まれている客体の状況を認識する機能を実行する。即ち、客体が撮影された位置から客体の実際の位置までの距離、客体が撮影された場所、客体が撮影された時間帯などの状況を認識することで、イメージマッチングの対象となる参照イメージが各状況により適応的に決定されるようにすることができる。
【００１８】
図２に示すように、本発明の一実施形態に係る状況認識部１１０は、距離認識部１１１、場所認識部１１２及び時間認識部１１３を含むことができる。
まず、距離認識部１１１は、イメージマッチングの対象となる客体を含む入力イメージにおいて客体が撮影された位置から客体の実際の位置までの距離を認識する機能を実行することができる。
【００１９】
一般に、撮影の対象によって撮影位置から客体の実際の位置までの距離が変わり得るが、例えば、筆記具、本などの小さなサイズの客体は、１ｍ以内の距離で近接して撮影される傾向が高く、人、自動車などの中間サイズの客体は、１ｍ以上から１０ｍ以下の距離で撮影される傾向が高く、建築物、風景などの巨大なサイズの客体は、数十ｍから数百ｍ程度遠く離れた距離で撮影される傾向が高い。
【００２０】
また、主に近距離で撮影される人、自動車などの客体に対するイメージマッチングを実行する場合には、該当客体の深さ又は深度（ｄｅｐｔｈ）が大きくないため、アフィン変換（ａｆｆｉｎｅｔｒａｎｓｆｏｒｍ）のような平面的な（ｐｌａｎａｒ）イメージマッチング技法として適用され得る反面、主に遠距離で撮影される建築物、風景などの巨大なサイズの客体に対するイメージマッチングを実行する場合には該当客体の深さ又は深度が大きいため、アフィン変換などのマッチング技法は適用され難く、その代わりに客体に含まれている繰り返しパターン（例えば、建物に含まれている多数の窓）などを利用する非平面的な（ｎｏｎ−ｐｌａｎａｒ）マッチング技法（例えば、ストリートビュー（ｓｔｒｅｅｔｖｉｅｗ）マッチング）が適用され得るようになる。
【００２１】
即ち、前記のような傾向を考慮して客体の距離によってイメージマッチングの対象となる参照イメージを適応的に決定したり、イメージマッチング技法を異にして適用すれば、客体に対するイメージマッチングがより効果的に実行され得るが、このために本発明の一実施形態に係る距離認識部１１１は、客体が撮影された位置から客体の実際の位置までの距離を認識することができる。
【００２２】
前記で言及したように、距離認識部１１１で入力イメージに含まれている客体の距離を認識するためには、所定の距離認識技術を利用しなければならないが、このような距離認識技術として、ＡｓｈｕｔｏｓｈＳａｘｅｎａ外２人が共同で著述した“Ｄｅｐｔｈ Ｅｓｔｉｍａｔｉｏｎ ｕｓｉｎｇ Ｍｏｎｏｃｕｌａｒ ａｎｄＳｔｅｒｅｏ Ｃｕｅｓ”という論文などが参照することができる（前記論文の内容は、その全体が本明細書に併合されているものと考慮されるべきである）。前記論文には、撮影されたイメージの質感の変化、ボケ、焦点の変化、客体の知られている大きさなどを用いて単眼イメージ又はステレオイメージの深度を測定する方法について記載されている。もちろん、本発明に適用可能な距離認識技術が前記論文に記載された方法にのみ限定されるものではなく、多様な変形例を適用して本発明を実現することができる。
【００２３】
本発明の一実施形態によれば、客体の距離を認識するための距離認識技術として撮影機器の微細な動きによる撮影イメージ内で客体の位置、大きさなどの変化の程度を参照して撮影位置から実際の該当客体までの距離を認識する技術が他の例として挙げられる。即ち、撮影位置から相対的に近い所に位置する客体は、撮影機器の動きにつれて撮影イメージ内でその大きさや位置が相対的に多く変化する反面、撮影位置から相対的に遠くに位置する客体は、撮影機器が動いても撮影イメージ内でその大きさや位置が相対的に少なく変化するため、このような点を考慮して撮影位置からの実際の客体位置までの距離を認識することもできる。
【００２４】
図３は、本発明の一実施形態によって入力イメージに含まれる客体を例示的に示す図である。
図３に示すように、入力イメージには撮影位置から相対的に近距離に位置する客体である本３１０と撮影位置から相対的に遠距離に位置する客体である建物３２０が共に含まれ得るが、本発明の一実施形態に係る距離認識部１１１は、本３１０までの距離および建物３２０までの距離をそれぞれ推定して認識することによって、本３１０および建物３２０に対するイメージマッチングの対象となる参照イメージがそれぞれ適応的に決定され得るようにすることができる。
【００２５】
次に、場所認識部１１２は、イメージマッチングの対象となる客体が撮影された場所（即ち、客体が撮影された場所のタイプ）を認識する機能を実行することができる。経験から見ると、特定の場所で撮影されたイメージには一般に前記特定場所に存在する可能性が高い客体が含まれているべきであるが、例えば、室内で撮影されたイメージには机などの客体が含まれている可能性が高い反面、室外で撮影されたイメージには山、海、建物などの客体が含まれている可能性が高く、地下で撮影されたイメージには照明機構、エレベータなどの客体が含まれている可能性が高い反面、地上で撮影されたイメージには建物、自動車などの客体が含まれている可能性が高い。
【００２６】
即ち、前記のような事情を考慮して客体の撮影場所（即ち、客体が撮影された場所のタイプ）によってイメージマッチングの対象となる参照イメージを適応的に決定すれば、客体に対するイメージマッチングがより効果的に実行され得るが、このために、本発明の一実施形態に係る場所認識部１１２は、客体が撮影された場所を認識することができる。
【００２７】
前記で言及したように、場所認識部１１２で入力イメージに含まれている客体が撮影された場所（即ち、客体が撮影された場所のタイプ）を認識するためには、所定の場所認識技術を利用しなければならないが、このような場所認識技術として、ＡｒｉａｄｎａＱｕａｔｔｏｎｉ外１人が共同で著述し、２００９年にＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ）に掲載された“ＲｅｃｏｇｎｉｚｉｎｇＩｎｄｏｏｒ Ｓｃｅｎｅｓ”という論文などを参照することができる（前記論文の内容は、その全体が本明細書に併合されているものと考慮されるべきである）。前記論文には、イメージの全域的な特性又はイメージに含まれている客体のタイプを考慮してイメージが描写している場面を認識する方法について記載されている。もちろん、本発明に適用可能な場所認識技術が前記論文に記載された方法にのみ限定されるものではなく、多様な変形例を適用して本発明を実現することができる。
【００２８】
客体が撮影された場所（即ち、客体が撮影された場所のタイプ）を認識する方法の他の例として、本発明の一実施形態に係る場所認識部１１２は、カメラ装置によって受信される無線信号（例えば、ＧＰＳ受信信号など）を参照して客体が撮影される場所（即ち、客体が存在する位置）を認識することができるが、例えば受信されるＧＰＳなどの無線信号の強度が既に設定されている値を超えれば、該当場所が地上又は室外であると判断し、受信される無線信号の強度が既に設定されている値以下であれば、該当場所が地下又は室内であると判断することができる。その他にも自然光などの強度がどの程度であるかを判別し、客体が地下又は室内に位置するか否かなどを判断することもできる。
【００２９】
本発明の一実施形態によれば、時間認識部１１３は、イメージマッチングの対象となる客体が撮影された時間帯を認識する機能を実行することができる。一般に、同一の客体を含んでいるイメージといっても昼間時間帯に撮影されたイメージに現れた客体の外観と夜間時間帯に撮影されたイメージに現れた客体の外観は大きく異なり得るが、前記のような事情を考慮して客体の撮影時間によってイメージマッチングの対象となる参照イメージを適応的に決定することで、客体に対するイメージマッチングがより効果的に実行され得るようにするために、本発明の一実施形態に係る時間認識部１１３は、客体が撮影された時間を認識することができる。
【００３０】
図４及び図５は、本発明の一実施形態によってそれぞれ昼間時間帯及び夜間時間帯に撮影された客体を含むイメージを例示的に示す図である。
図４及び図５には、各イメージで検出された客体の特徴点が赤色の十字印で示されているが、これに示すように、昼間時間帯及び夜間時間帯にそれぞれ撮影されたイメージに同一の客体が含まれている場合にも昼間時間帯に撮影されたイメージに現れた客体の特徴点と夜間時間帯に撮影されたイメージに現れた客体の特徴点とが互いに異なって示され得ることを確認することができる。
【００３１】
一方、本発明の一実施形態によれば、参照イメージ決定部１２０は、状況認識部１１０によって認識された客体の状況（又は条件）によってイメージマッチングの対象となる参照イメージを適応的に決定する機能を実行することができる。即ち、本発明の一実施形態に係る参照イメージ決定部１２０は、データベース１３０内に格納されている多数のイメージのうち、客体の状況に対応するイメージのみを前記客体に対するイメージマッチングの対象となる参照イメージとして決定することで、イメージマッチングの結果がより正確、且つ、迅速に導き出されるようにすることができる。
【００３２】
より具体的に、本発明の一実施形態に係る参照イメージ決定部１２０は、客体が撮影された位置から客体の実際の位置までの距離に基づいて参照イメージを決定することができるが、例えば、近距離で撮影された客体に対しては、データベース１３０に格納されている複数の参照イメージのうち、筆記具、本、人物などのように近距離で撮影された可能性が高いイメージを参照イメージとして決定することができ、遠距離で撮影された客体に対しては、データベース１３０に格納されている複数の参照イメージのうち、建築物、風景などのように遠距離で撮影された可能性が高いイメージを参照イメージとして決定することができる。ここで、撮影地点からの距離を変数とするとき、距離的範囲が２つ（即ち、近距離及び遠距離）に分けられた状態を例として説明したが、必ずしもこれに限定されるものではない。例えば、以下のように距離的範囲が３つに分けられた状態を例として説明することもできる。具体的に、撮影地点からの距離が１ｍ以内であると認識された客体Ａに対するイメージマッチングの対象となる参照イメージとしては、１ｍ前後のような近距離で近接して撮影される傾向が高い筆記具、本などの小さなサイズの客体が含まれている参照イメージが決定されることができる。そして、撮影地点からの距離が１ｍ以上から１０ｍ未満であると認識された客体Ｂに対するイメージマッチングの対象となる参照イメージとしては、１ｍ以上から１０ｍ以下のような中間距離で撮影される傾向が高い人、自動車などの中間サイズの客体が含まれている参照イメージが決定されることができる。また、撮影地点からの距離が１０ｍ以上であると認識された客体Ｃに対するイメージマッチングの対象となる参照イメージとしては、数十ｍから数百ｍ程度遠く離れた遠距離で撮影される傾向が高い建築物、風景などの巨大なサイズの客体が含まれている参照イメージが決定されることができる。
【００３３】
また、本発明の一実施形態に係る参照イメージ決定部１２０は、客体が撮影された場所のタイプを基に参照イメージを決定することができるが、例えば、地下で撮影された客体に対しては、データベース１３０に格納されている複数の参照イメージのうち、地上建築物に関するイメージなどのように地下で撮影された可能性が低いイメージを参照イメージから除外させることができ、室内で撮影された客体に対しては、データベース１３０に格納されている複数の参照イメージのうち、自動車などのように室内で撮影された可能性が低いイメージを参照イメージから除外させることができる。
【００３４】
また、本発明の一実施形態に係る参照イメージ決定部１２０は、客体が撮影された時間を基に参照イメージを決定することができるが、例えば、昼間時間帯に撮影された客体に対しては、データベース１３０に格納されている複数の参照イメージのうち、昼間時間帯に撮影されたイメージを参照イメージとして決定することができ、夜間時間帯に撮影された客体に対しては、データベース１３０に格納されている複数の参照イメージのうち、夜間時間帯に撮影されたイメージを参照イメージとして決定することができる。
【００３５】
以上で説明した参照イメージ決定部１２０の構成を可能にするために、本発明の一実施形態に係るデータベース１３０には、イメージマッチングの参照となる複数のイメージがそれぞれの対応する状況情報と連係して格納されていてもよく、より具体的には、連係された状況情報によって各イメージがデータベース１３０内で差別的に格納されていてもよい。ここで、参照イメージと連係して格納される状況情報には、撮影距離、撮影場所、撮影時間帯などに関する情報が含まれることができる。本発明において、データベース１３０は、狭義のデータベースだけでなく、コンピュータファイルシステムに基づくデータ記録などを含む広い意味のデータベースまで含む概念であって、単純な演算処理ログの集合であっても、これを検索して所定のデータを抽出できるならば、本発明でいうデータベースに含まれ得ることが理解されるべきである。また、本発明の一実施形態に係るデータベース１３０は、本発明を実現する当業者の必要に応じてイメージマッチングシステム１００に含まれて構成されてもよく、イメージマッチングシステム１００と別個で構成されてもよい。
【００３６】
図６は、本発明の一実施形態によって参照イメージを決定する構成を例示的に示す図である。
図６に示すように、互いに異なる３つの入力イメージにそれぞれ含まれている客体Ａ、Ｂ及びＣ６１０、６２０、６３０に対するイメージマッチングを実行する場合を仮定することができる。具体的に、図６に示すように、５０ｃｍの距離を置いて近接して撮影された客体Ａ６１０に対しては、データベースに存在する複数の参照イメージのうち、筆記具、本など近距離で撮影された可能性が既に設定されている臨界値より高い客体を含んでいるイメージ６１５がイメージマッチングの対象となる参照イメージとして決定されることができる。続いて、図６に示すように、地上で撮影された客体Ａ６２０に対しては、データベースに存在する複数の参照イメージのうち、建築物、風景など地上で撮影された可能性が既に設定されている臨界値より高い客体を含んでいるイメージ６２５がイメージマッチングの対象となる参照イメージとして決定されることができる。次いで、図６に示すように、１５時から１８時までの時間帯に撮影された客体Ａ６３０に対しては、データベースに存在する複数の参照イメージのうち、１５時から１８時までの時間帯に撮影された客体を含んでいる一部のイメージ６３５がイメージマッチングの対象となる参照イメージとして決定されることができる。
【００３７】
次に、本発明の一実施形態に係る通信部１４０は、イメージマッチングシステム１００が移動通信サーバ（図示せず）、ウェブサーバ（図示せず）などの外部装置と通信できるようにする機能を実行する。
【００３８】
最後に、本発明の一実施形態に係る制御部１５０は、状況認識部１１０、参照イメージ決定部１２０、データベース１３０及び通信部１４０間のデータの流れを制御する機能を実行する。即ち、制御部１５０は、外部からの又はイメージマッチングシステムの各構成要素間のデータの流れを制御することで、状況認識部１１０、参照イメージ決定部１２０、データベース１３０及び通信部１４０でそれぞれ固有機能を実行するように制御する。
【００３９】
以上、説明された本発明に係る実施形態は、多様なコンピュータ構成要素を通じて実行され得るプログラム命令語の形態で実現され、コンピュータ読み取り可能な記録媒体に記録され得る。前記コンピュータ読み取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独又は組み合わせて含むことができる。前記コンピュータ読み取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計され、構成されたものであってもよく、コンピュータソフトウェア分野の当業者にとって公知となって使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光気録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納し、実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例としては、コンパイラにより作られるもののような機械語コードだけでなく、インタープリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明に係る処理を行うために１つ以上のソフトウェアモジュールとして作動するように構成されることができ、その逆も同様である。
【００４０】
以上、本発明が具体的な構成要素などのような特定事項と限定された実施形態及び図面により説明されたが、これは本発明のより全般的な理解を促進するために提供されたものであって、本発明が前記実施形態に限定されるものではなく、本発明の属する技術分野において通常の知識を有する者であれば、このような記載から多様な修正及び変形を図ることができる。
【００４１】
従って、本発明の思想は、前記説明された実施形態に限定され定められてはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等に又は等価的に変形された全てのものは、本発明の思想の範疇に属すると言える。
【符号の説明】
【００４２】
１００ イメージマッチングシステム
１１０ 状況認識部
１１１ 距離認識部
１１２ 場所認識部
１１３ 時間認識部
１２０ 参照イメージ決定部
１３０ データベース
１４０ 通信部
１５０ 制御部
【特許請求の範囲】
【請求項１】
状況により適応的にイメージマッチングを実行するための方法であって、
（ａ）入力イメージに含まれている客体の状況を認識する段階と、
（ｂ）前記認識された状況により、データベースに格納されている複数のイメージのうちの少なくとも１つのイメージを含むイメージグループを前記客体に対するイメージマッチングの対象となる参照イメージグループとして決定する段階と
を含み、
前記参照イメージグループに含まれているイメージセットは、前記認識された状況により動的に変化され得ることを特徴とする方法。
【請求項２】
前記客体の状況は、前記客体の撮影位置から前記客体の実際の位置までの距離、前記客体が撮影された場所のタイプ及び前記客体の撮影時間のうちの少なくとも１つを含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記（ａ）段階で、
前記客体の撮影位置から前記客体の実際の位置までの距離に該当する距離範囲を認識し、
前記（ｂ）段階で、
前記データベースに格納されているイメージのうち、前記認識された距離に対応する距離範囲に該当する少なくとも１つのイメージを前記客体に対するイメージマッチングの対象となる参照イメージグループとして決定することを特徴とする請求項１に記載の方法。
【請求項４】
前記（ｂ）段階で、
前記客体に対するイメージマッチングの対象となる参照イメージグループは、前記距離範囲内に含まれる距離を置いて撮影される確率が既に設定されている臨界値より高い客体を含むイメージを含むことを特徴とする請求項３に記載の方法。
【請求項５】
前記（ａ）段階で、
前記入力イメージの撮影場所に該当する場所範囲を認識し、
前記（ｂ）段階で、
前記データベースに格納されているイメージのうち、前記認識された撮影場所に対応する場所範囲に該当する少なくとも１つのイメージを前記客体に対するイメージマッチングの対象となる参照イメージグループとして決定することを特徴とする請求項１に記載の方法。
【請求項６】
前記（ａ）段階で、
撮影装置に受信されるＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）信号の強度に基づいて前記客体の撮影場所を認識することを特徴とする請求項５に記載の方法。
【請求項７】
前記（ｂ）段階で、
前記客体に対するイメージマッチングの対象となる参照イメージグループは、前記場所範囲内に含まれる場所で撮影される確率が既に設定されている臨界値より高い客体を含むイメージを含むことを特徴とする請求項５に記載の方法。
【請求項８】
前記（ａ）段階で、
前記入力イメージの撮影時間に該当する時間範囲を認識し、
前記（ｂ）段階で、
前記データベースに格納されているイメージのうち、前記認識された撮影時間に対応する時間範囲に該当する少なくとも１つのイメージを前記客体に対するイメージマッチングの対象となる参照イメージグループとして決定することを特徴とする請求項１に記載の方法。
【請求項９】
前記入力イメージは、撮影済みのイメージ及び撮影前のプレビュー状態で画面上に映されるイメージのうちの少なくとも１つを含むことを特徴とする請求項１に記載の方法。
【請求項１０】
前記（ａ）段階の前に、
該当状況情報と連係して格納される少なくとも１つのイメージを含むデータベースを構築する段階を更に含むことを特徴とする請求項１に記載の方法。
【請求項１１】
状況により適応的にイメージマッチングを実行するためのシステムであって、
入力イメージに含まれている客体の状況を認識する状況認識部と、
前記認識された状況により、データベースに格納されている複数のイメージのうちの少なくとも１つのイメージを含むイメージグループを前記客体に対するイメージマッチングの対象となる参照イメージグループとして決定する参照イメージ決定部と
を含み、
前記参照イメージグループに含まれているイメージセットは、前記認識された状況により動的に変化され得ることを特徴とするシステム。
【請求項１２】
前記客体の状況は、前記客体の撮影位置から前記客体の実際の位置までの距離、前記客体が撮影された場所のタイプ及び前記客体の撮影時間のうちの少なくとも１つを含むことを特徴とする請求項１１に記載のシステム。
【請求項１３】
前記状況認識部は、
前記客体の撮影位置から前記客体の実際の位置までの距離に該当する距離範囲を認識し、
前記参照イメージ決定部は、
前記データベースに格納されているイメージのうち、前記認識された距離に対応する距離範囲に該当する少なくとも１つのイメージを前記客体に対するイメージマッチングの対象となる参照イメージグループとして決定することを特徴とする請求項１１に記載のシステム。
【請求項１４】
前記客体に対するイメージマッチングの対象となる参照イメージグループは、前記距離範囲内に含まれる距離を置いて撮影される確率が既に設定されている臨界値より高い客体を含むイメージを含むことを特徴とする請求項１３に記載のシステム。
【請求項１５】
前記状況認識部は、
前記入力イメージの撮影場所に該当する場所範囲を認識し、
前記参照イメージ決定部は、
前記データベースに格納されているイメージのうち、前記認識された撮影場所に対応する場所範囲に該当する少なくとも１つのイメージを前記客体に対するイメージマッチングの対象となる参照イメージグループとして決定することを特徴とする請求項１１に記載のシステム。
【請求項１６】
前記状況認識部は、
撮影装置に受信されるＧＰＳ信号の強度に基づいて前記客体の撮影場所を認識することを特徴とする請求項１５に記載のシステム。
【請求項１７】
前記客体に対するイメージマッチングの対象となる参照イメージグループは、前記場所範囲内に含まれる場所で撮影される確率が既に設定されている臨界値より高い客体を含むイメージを含むことを特徴とする請求項１５に記載のシステム。
【請求項１８】
前記状況認識部は、
前記入力イメージの撮影時間に該当する時間範囲を認識し、
前記参照イメージ決定部は、
前記データベースに格納されているイメージのうち、前記認識された撮影時間に対応する時間範囲に該当する少なくとも１つのイメージを前記客体に対するイメージマッチングの対象となる参照イメージグループとして決定することを特徴とする請求項１１に記載のシステム。
【請求項１９】
前記入力イメージは、撮影済みのイメージ及び撮影前のプレビュー状態で画面上に映されるイメージのうちの少なくとも１つを含むことを特徴とする請求項１１に記載のシステム。
【請求項２０】
該当状況情報と連係して格納される少なくとも１つのイメージを含むデータベースを更に含むことを特徴とする請求項１１に記載のシステム。
【請求項２１】
請求項１から１０のいずれか一項による方法を実行するためのコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
状況により適応的にイメージマッチングを実行するための方法であって、
（ａ）入力イメージに含まれている客体の状況を認識する段階と、
（ｂ）前記認識された状況により、データベースに格納されている複数のイメージのうちの少なくとも１つのイメージを含むイメージグループを前記客体に対するイメージマッチングの対象となる参照イメージグループとして決定する段階と
を含み、
前記参照イメージグループに含まれているイメージセットは、前記認識された状況により動的に変化され得ることを特徴とする方法。
【請求項２】
前記客体の状況は、前記客体の撮影位置から前記客体の実際の位置までの距離、前記客体が撮影された場所のタイプ及び前記客体の撮影時間のうちの少なくとも１つを含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記（ａ）段階で、
前記客体の撮影位置から前記客体の実際の位置までの距離に該当する距離範囲を認識し、
前記（ｂ）段階で、
前記データベースに格納されているイメージのうち、前記認識された距離に対応する距離範囲に該当する少なくとも１つのイメージを前記客体に対するイメージマッチングの対象となる参照イメージグループとして決定することを特徴とする請求項１に記載の方法。
【請求項４】
前記（ｂ）段階で、
前記客体に対するイメージマッチングの対象となる参照イメージグループは、前記距離範囲内に含まれる距離を置いて撮影される確率が既に設定されている臨界値より高い客体を含むイメージを含むことを特徴とする請求項３に記載の方法。
【請求項５】
前記（ａ）段階で、
前記入力イメージの撮影場所に該当する場所範囲を認識し、
前記（ｂ）段階で、
前記データベースに格納されているイメージのうち、前記認識された撮影場所に対応する場所範囲に該当する少なくとも１つのイメージを前記客体に対するイメージマッチングの対象となる参照イメージグループとして決定することを特徴とする請求項１に記載の方法。
【請求項６】
前記（ａ）段階で、
撮影装置に受信されるＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）信号の強度に基づいて前記客体の撮影場所を認識することを特徴とする請求項５に記載の方法。
【請求項７】
前記（ｂ）段階で、
前記客体に対するイメージマッチングの対象となる参照イメージグループは、前記場所範囲内に含まれる場所で撮影される確率が既に設定されている臨界値より高い客体を含むイメージを含むことを特徴とする請求項５に記載の方法。
【請求項８】
前記（ａ）段階で、
前記入力イメージの撮影時間に該当する時間範囲を認識し、
前記（ｂ）段階で、
前記データベースに格納されているイメージのうち、前記認識された撮影時間に対応する時間範囲に該当する少なくとも１つのイメージを前記客体に対するイメージマッチングの対象となる参照イメージグループとして決定することを特徴とする請求項１に記載の方法。
【請求項９】
前記入力イメージは、撮影済みのイメージ及び撮影前のプレビュー状態で画面上に映されるイメージのうちの少なくとも１つを含むことを特徴とする請求項１に記載の方法。
【請求項１０】
前記（ａ）段階の前に、
該当状況情報と連係して格納される少なくとも１つのイメージを含むデータベースを構築する段階を更に含むことを特徴とする請求項１に記載の方法。
【請求項１１】
状況により適応的にイメージマッチングを実行するためのシステムであって、
入力イメージに含まれている客体の状況を認識する状況認識部と、
前記認識された状況により、データベースに格納されている複数のイメージのうちの少なくとも１つのイメージを含むイメージグループを前記客体に対するイメージマッチングの対象となる参照イメージグループとして決定する参照イメージ決定部と
を含み、
前記参照イメージグループに含まれているイメージセットは、前記認識された状況により動的に変化され得ることを特徴とするシステム。
【請求項１２】
前記客体の状況は、前記客体の撮影位置から前記客体の実際の位置までの距離、前記客体が撮影された場所のタイプ及び前記客体の撮影時間のうちの少なくとも１つを含むことを特徴とする請求項１１に記載のシステム。
【請求項１３】
前記状況認識部は、
前記客体の撮影位置から前記客体の実際の位置までの距離に該当する距離範囲を認識し、
前記参照イメージ決定部は、
前記データベースに格納されているイメージのうち、前記認識された距離に対応する距離範囲に該当する少なくとも１つのイメージを前記客体に対するイメージマッチングの対象となる参照イメージグループとして決定することを特徴とする請求項１１に記載のシステム。
【請求項１４】
前記客体に対するイメージマッチングの対象となる参照イメージグループは、前記距離範囲内に含まれる距離を置いて撮影される確率が既に設定されている臨界値より高い客体を含むイメージを含むことを特徴とする請求項１３に記載のシステム。
【請求項１５】
前記状況認識部は、
前記入力イメージの撮影場所に該当する場所範囲を認識し、
前記参照イメージ決定部は、
前記データベースに格納されているイメージのうち、前記認識された撮影場所に対応する場所範囲に該当する少なくとも１つのイメージを前記客体に対するイメージマッチングの対象となる参照イメージグループとして決定することを特徴とする請求項１１に記載のシステム。
【請求項１６】
前記状況認識部は、
撮影装置に受信されるＧＰＳ信号の強度に基づいて前記客体の撮影場所を認識することを特徴とする請求項１５に記載のシステム。
【請求項１７】
前記客体に対するイメージマッチングの対象となる参照イメージグループは、前記場所範囲内に含まれる場所で撮影される確率が既に設定されている臨界値より高い客体を含むイメージを含むことを特徴とする請求項１５に記載のシステム。
【請求項１８】
前記状況認識部は、
前記入力イメージの撮影時間に該当する時間範囲を認識し、
前記参照イメージ決定部は、
前記データベースに格納されているイメージのうち、前記認識された撮影時間に対応する時間範囲に該当する少なくとも１つのイメージを前記客体に対するイメージマッチングの対象となる参照イメージグループとして決定することを特徴とする請求項１１に記載のシステム。
【請求項１９】
前記入力イメージは、撮影済みのイメージ及び撮影前のプレビュー状態で画面上に映されるイメージのうちの少なくとも１つを含むことを特徴とする請求項１１に記載のシステム。
【請求項２０】
該当状況情報と連係して格納される少なくとも１つのイメージを含むデータベースを更に含むことを特徴とする請求項１１に記載のシステム。
【請求項２１】
請求項１から１０のいずれか一項による方法を実行するためのコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。
【図３】
【図４】
【図５】
【図１】
【図２】
【図６】
【図４】
【図５】
【図１】
【図２】
【図６】
【公表番号】特表２０１３−５１５３１７（Ｐ２０１３−５１５３１７Ａ）
【公表日】平成２５年５月２日（２０１３．５．２）
【国際特許分類】
【出願番号】特願２０１２−５４５８５５（Ｐ２０１２−５４５８５５）
【出願日】平成２２年１２月２３日（２０１０．１２．２３）
【国際出願番号】ＰＣＴ／ＫＲ２０１０／００９２５８
【国際公開番号】ＷＯ２０１１／０７８５９６
【国際公開日】平成２３年６月３０日（２０１１．６．３０）
【出願人】（５９１００３９４３）インテル・コーポレーション (1,101)
【Ｆターム（参考）】
【公表日】平成２５年５月２日（２０１３．５．２）
【国際特許分類】
【出願日】平成２２年１２月２３日（２０１０．１２．２３）
【国際出願番号】ＰＣＴ／ＫＲ２０１０／００９２５８
【国際公開番号】ＷＯ２０１１／０７８５９６
【国際公開日】平成２３年６月３０日（２０１１．６．３０）
【出願人】（５９１００３９４３）インテル・コーポレーション (1,101)
【Ｆターム（参考）】
[ Back to top ]