画像処理装置、その制御方法及びプログラム
【課題】 撮影の際の位置情報に関して、より精度の高い位置情報を提供することである。
【解決手段】 画像の撮影位置を示す位置情報を取得する第１の取得手段（１１５）と、
前記画像の撮影に関する撮影情報を取得する第２の取得手段（１０５、１０９）と、
前記第１の取得手段により取得された位置情報が前記画像が表すコンテンツの撮影位置を示しているか否かの指標である信頼度を、前記第２の取得手段により取得した撮影情報に基づき決定する決定手段（１１２）と、
前記決定手段により決定された信頼度と前記画像とを対応づける対応付け手段（１０７）とを備えることを特徴とする画像処理装置。
【解決手段】 画像の撮影位置を示す位置情報を取得する第１の取得手段（１１５）と、
前記画像の撮影に関する撮影情報を取得する第２の取得手段（１０５、１０９）と、
前記第１の取得手段により取得された位置情報が前記画像が表すコンテンツの撮影位置を示しているか否かの指標である信頼度を、前記第２の取得手段により取得した撮影情報に基づき決定する決定手段（１１２）と、
前記決定手段により決定された信頼度と前記画像とを対応づける対応付け手段（１０７）とを備えることを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を撮影した位置を示す位置情報を、該画像に対応づける画像処理装置、その制御方法及びプログラムに関するものである。
【背景技術】
【０００２】
従来、撮影された位置が不明な画像データを入力すると、類似する画像データの検索を行い、類似画像データが撮影された位置情報を出力するシステムに関する技術が知られている。これにより、利用者は撮影位置が不明な撮影画像データの撮影位置を把握することが可能になる。
【０００３】
例えば、特許文献１では撮影装置で撮影した画像データを入力すると、撮影画像データから特徴成分を抽出し、抽出された特徴成分に基づきデータベースから類似画像検索を行い、検索結果である位置情報を利用者に通知する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−１９１３３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の特許文献に開示された従来技術では、検索対象となるデータベース内の類似画像データの位置情報が正しいものであるか否かが考慮されていない。そのため類似画像データベース中の画像データに誤った位置情報が含まれる画像データが存在すると、誤った位置情報を出力してしまう可能性があった。
【０００６】
そこで本発明は、上述した課題に鑑みてなされたものであり、その目的は撮影した画像データに対応付けられる、位置情報に関して、より精度の高い位置情報を提供することである。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明は、画像データの撮影位置を示す位置情報を取得する第１の取得手段と、前記画像データの撮影に関する撮影情報を取得する第２の取得手段と、前記第１の取得手段により取得された位置情報が前記画像データが表すコンテンツの撮影位置を示しているか否かの指標である信頼度を、前記第２の取得手段により取得した撮影情報に基づき決定する決定手段と、前記決定手段により決定された信頼度と前記画像データとを対応づける対応付け手段とを備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、撮影画像データの位置情報に関して、より精度の高い位置情報を提供することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本発明に係るシステム図の一例である。
【図２】（ａ）は第１の実施形態におけるカメラ１００である。（ｂ）はカメラ３００の構成を示すブロック図である。
【図３】第１の実施形態におけるサーバ２００の構成を示すブロック図である。
【図４】（ａ）、（ｂ）は第１の実施形態におけるカメラ１００の動作を示すフローチャートである。
【図５】本発明における被写体と撮影者の関係を示す図である。
【図６】第１の実施形態における信頼度を算出する動作を示すフローチャートである。
【図７】第１の実施形態における被写体距離情報と輝度評価値に係る図である。
【図８】第１の実施形態において付加されるメタデータを示す図である。
【図９】第１の実施形態におけるサーバ２００の動作を示すフローチャートである。
【図１０】第１の実施形態におけるカメラ３００の動作を示すフローチャートである。
【図１１】本発明における画像データベース構築の動作を示すフローチャートである。
【図１２】第２の実施形態におけるカメラ１００の動作を示すフローチャートである。
【図１３】第３の実施形態におけるサーバ２００の動作を示すフローチャートである。
【図１４】第３の実施形態における被写体距離情報を用いて信頼度を算出する動作を示すフローチャートである。
【図１５】第４の実施形態における輝度評価値を用いて信頼度を算出する方法に係る図である。
【図１６】第４の実施形態における輝度評価値を用いて信頼度を算出する動作を示すフローチャートである。
【図１７】第４の実施形態における画像データベースから検索された複数の類似画像データにそれぞれ付加された位置情報の分布を示す図である。
【図１８】第４の実施形態における位置情報分布を用いて信頼度を算出する動作を示すフローチャートである。
【図１９】第４の実施形態におけるコントラスト情報を用いて信頼度を算出する動作を示すフローチャートである。
【図２０】第４の実施形態におけるフリッカ検出・走査線検出を用いて信頼度を算出する動作を示すフローチャートである。
【図２１】第４の実施形態におけるフォーカスレンズの状態を用いて信頼度を算出する動作を示すフローチャートである。
【図２２】第５の実施形態におけるカメラ１００の信頼度の付加の動作を示すフローチャートである。
【図２３】第５の実施形態におけるカメラ１００の信頼度の付加の動作を示すフローチャートである。
【図２４】第５の実施形態におけるカメラ１００の表示部１１３に表示される表示画面の一例を示す図である。
【発明を実施するための形態】
【００１０】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。なお、以下に説明する各実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されてもよい。また、各実施の形態は適宜組み合わされることも可能である。
【００１１】
図１に、本発明が適用されるシステムの一例を示す。
【００１２】
図１において、１００はＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）を搭載している画像処理装置の一例であるカメラである。２００はカメラと情報のやり取りを行うサーバ、３００はＧＰＳを搭載していないカメラである。
【００１３】
４００はカメラ１００で撮影する被写体（家）、５００はカメラ３００で撮影する被写体（本）である。
【００１４】
以下、図面を参照して本発明の各実施形態におけるカメラ１００、サーバ２００、カメラ３００の動作を説明する。
【００１５】
［第１の実施形態］
第１の実施形態では、図１のシステムにおいて、カメラ１００で撮影して得た画像データを保存する際に、カメラ１００の位置を示す位置情報の信頼度を決定し、画像データに付加する例について述べる。
【００１６】
本実施形態におけるカメラ１００の構成例のブロック図を図２（ａ）に示す。
【００１７】
図２（ａ）において１０１は被写体からの光束を結像するレンズ、１０２はアイリスである。
【００１８】
１０３は、レンズ１０１及びアイリス１０２を介して入射した光を光電変換し、入力画像信号として出力する撮影素子である。１０４は、撮影素子１０３からの信号を適正レベルに増幅するＡＧＣアンプであり、撮影素子１０３から出力された画像信号を適正レベルに増幅し、カメラ信号処理部１０５に出力する。１０５は、撮影素子１０３で生成された信号に対して、ガンマや輪郭強調などの補正を行うカメラ信号処理部で、処理した画像信号を符号化部１０６へ出力する。１０６は、カメラ信号処理部１０５で処理した画像信号を圧縮符号化する符号化部で、画像信号を、例えばＪＰＥＧやＭＰＥＧなどの規格に基づき圧縮符号化し、符号化した画像データを記録制御部１０７に送信する。１０７は、符号化部１０６で符号化された画像データの記録メディアへの記録を制御する記録制御部、１０８は記録メディアである。記録メディア１０８は画像データを記録する記録媒体の一種であって、カメラ１００に着脱可能なよう構成してもよいし、カメラ１００に内蔵してもよい。また、１０９は、被写体距離を測定する測距部で、距離センサとその制御部から構成される。測距部１０９は、被写体の複数点に関して距離を測定し、カメラ１００と被写体との距離を示す被写体距離情報を出力する。ここで、本実施形態における被写体距離情報の取得方法について図７を用いて説明する。図７（ｂ）は測距部１０９が被写体との距離を測定する測距点を示した図である。図７において７０１は撮影する被写体の範囲を示しており、７０２は測距点を示している。本実施形態における測距点７０２は３×３の９箇所である。測距部１０９は、この９箇所の点について被写体とカメラとの距離を算出する。被写体距離の算出方法は既知のどのような方法でもかまわないが、例えば、外測位相差検出方式によって行う。この場合、被写体から受けた光束を２分割し、該２分割した光束をラインセンサによりそれぞれ受光する。そして測距部１０９は、ラインセンサ上に形成された像のずれ量、すなわち位相差を検出し、該位相差から三角測量法を用いて被写体距離を算出する。以上が被写体距離情報の具体的な取得方法である。図２（ａ）の説明に戻る。１１０はメモリ部であり、ＲＡＭ及びＥＥＰＲＯＭを含む。メモリ部１１０には後述のシステム制御部１１２の動作用のプログラムが記憶され、また読み出したプログラムを展開する。ここでいうプログラムとは、本発明にて後述する各種フローチャートを実行するためのプログラムである。１１２はシステム全体を制御する処理を行うシステム制御部であり、各部からの入力信号やプログラムに基づき、カメラ１００の動作を制御する。例えば、レンズ１０１のフォーカスレンズを駆動させ、被写体にフォーカスが合うように制御したり、後述の信頼度を算出するなど、各部の制御を行う。なお、カメラ１００の制御は、１つのハードウェアで行ってもよいし、複数のハードウェアが処理を分担しながら行ってもよい。１１３は液晶パネルなどからなる表示部であり、記録メディア１０８に記録された画像データの閲覧や、撮影の際のスルー画像の表示などを行うよう、システム制御部１１２により制御される。１１４はユーザからの操作を受け付ける操作部、１１５はＧＰＳ衛星からの信号を受け取り、撮影情報である位置情報を取得するＧＰＳ、１１６は外部の装置と通信を行う通信部であり、システム制御部１１２によって制御される。
【００１９】
次に、本実施形態におけるサーバ２００の構成例のブロック図を図３に示す。図３において２０１は、外部機器と通信を行う通信部である。２０２はシステム全体を制御するシステム制御部であり、各部からの入力信号やプログラムに基づき、サーバ２００の動作を制御する。例えば、後述の画像記録部２０４に記録された画像データを後述の画像データベース（以下、画像ＤＢ）２０５へ登録する処理や、後述の類似画像検索の処理等、各部の制御を行う。
【００２０】
２０３はメモリ部でありＲＡＭ及びＥＥＰＲＯＭを含む。メモリ部２０３にはシステム制御部２０２の動作用のプログラムが記憶され、また読み出したプログラムを展開する。ここでいうプログラムとは、本発明にて後述する各種フローチャートを実行するためのプログラムである。
【００２１】
２０４は、画像データを記録する画像記録部で、カメラ１００から通信部２０１を介して受け取った画像データを記録するようシステム制御部２０２により制御される。この画像記録部２０４に記録された画像データは、不特定多数のユーザが任意に閲覧可能である。本実施形態においては、例えば、表示部と操作部と通信部とを有する不図示の外部情報処理装置を用いて閲覧する。外部情報処理装置の表示部には、通信部を介して取得された、画像記録部２０４に保存されている画像データのリストが表示される。そして、操作部を介してあるユーザが該画像データを選択することで、画像記録部２０４に保存された画像データが表示部に表示される。これにより該ユーザは任意の画像データを閲覧することができる。
【００２２】
２０５は大容量ＨＤＤ等の記録装置から成る画像ＤＢである。画像ＤＢ２０５は、システム制御部２０２によって、画像記録部２０４に保存されている画像データのうち、特定の画像データのみが登録される。本実施形態では、画像ＤＢ２０５に、画像記録部２０４に記録された画像データとそのメタデータとが保存されることにより画像データが登録される。なお、画像記録部２０４に記録されている画像データの保存場所のリストを保存するようにしてもよい。本実施形態では、システム制御部２０２は、この画像ＤＢ２０５に登録された画像データの中からカメラ３００より受信した画像データと類似した画像データを検索する。
【００２３】
次に、本実施形態におけるカメラ３００の構成例のブロック図を図２（ｂ）に示す。カメラ３００の構成はカメラ１００からＧＰＳ１１５を削除した構成となっている。その他の構成についてはカメラ１００と同様のため説明は省略する。
【００２４】
本実施形態における本システムの基本的な動作の概要を、図１〜３を用いて説明する。
【００２５】
本実施形態では、カメラ３００のユーザが、被写体（本）５００に載っている被写体（家）４００の写真の記事を見て、被写体（家）４００が実際に存在する位置を知りたいシーンを想定する。このようなシーンの解決策として、カメラ３００とは別のカメラからサーバ２００に送信された画像データが登録された画像ＤＢ２０５を用意する。そして、画像ＤＢ２０５に登録された画像データ中から、被写体（家）４００が写っている画像データを検索し、その画像データに付加されている位置情報を用いて、カメラ３００に被写体（家）４００の位置情報を提供することで解決する。
【００２６】
まず、カメラ１００で撮影した画像データを画像ＤＢ２０５に登録する流れを以下に説明する。
【００２７】
カメラ１００が被写体（家）４００を撮影すると、記録制御部１０７は符号化部１０６からより撮像した画像データを受信する。さらに、測距部１０９は被写体距離情報を算出する。そして、システム制御部１１２はＧＰＳ１１５を用いて撮影の際のカメラ１００の位置を示す位置情報を取得し、当該位置情報を記録制御部１０７へ出力する。さらに、撮影情報として測距部１０９は被写体距離情報をシステム制御部１１２へ出力する。さらに、撮影情報としてカメラ信号処理部１０５は輝度評価値をシステム制御部１１２へ出力する。システム制御部１１２は、カメラ１００のカメラ信号処理部１０５から入力された輝度評価値と、測距部１０９から入力された被写体距離情報から信頼度を算出して記録制御部１０７へ出力する。記録制御部１０７は入力された信頼度を、位置情報とともに画像データに対応づけて記録メディア１０８に保存する。
【００２８】
このようにして保存された画像データは、自動的に、あるいはユーザの操作によって、画像保存要求信号とともに通信部１１６を介してサーバ２００へ送信される。画像保存要求信号とは、画像記録部２０４へ該信号とともに送信した画像データを保存するようサーバ２００に要求するための信号である。これにより、カメラ１００で撮影した画像データがサーバ２００の画像記録部２０４に保存される。
【００２９】
ここで信頼度について説明する。信頼度は、ＧＰＳ１１５で取得した位置情報と、撮影された画像データが表すコンテンツとの関連性の度合いを示す。画像データが表すコンテンツとは、画像データが示す内容であり、例えば被写体５００の写真が表すコンテンツは「家」である。この信頼度は、実物の被写体を撮影している場合は高くなり、雑誌や本などのような出力物を撮影している場合は低くなる。これは、雑誌や本などの出力物を撮影している場合は、撮影位置と撮影された画像データの内容との間の関連性が低くなるためである。これついて例をあげて説明する。
【００３０】
図５（ａ）は実際の建物である被写体５０１と撮影者５０２、カメラ１００を示している。このようにコンテンツとして実物の被写体５０１を撮影している場合、撮影された画像データに記録される位置情報は、少なくとも被写体５０１を撮影できる位置の位置情報が記録される。したがって、その位置情報は被写体５０１に関連したものであるため、信頼度は高くなる。一方で、図５（ｂ）は本５０３に掲載された写真５０４をカメラ１００で撮影する様子を示している。写真５０４は被写体５０１を撮影した写真である。この場合、撮影の際に記録される位置情報は本５０３の位置情報であるが、画像データの内容が示すのは被写体５０１の写真を撮影したものである。つまり、画像データが表すコンテンツ（被写体５０１）と、記録される位置情報（本５０３の位置情報）との関連性がない可能性が高くなる。そのため、信頼度は低くなる。以上が信頼度の説明である。
【００３１】
カメラ１００で撮影した画像データを画像ＤＢ２０５に登録する流れの説明に戻る。サーバ２００はカメラ１００からの画像データを受信し、画像記録部２０４に保存する。ここで、サーバ２００は、画像記録部２０４に保存された画像データのうち、信頼度の高い画像データを画像ＤＢ２０５に登録する。このようにして多くの画像データが画像ＤＢ２０５に登録されていくことによって、画像ＤＢ２０５には信頼度の高い画像データが登録されることとなる。本実施形態では、これらの信頼度の高い画像データを用いて後述する類似画像検索を行うこととする。
【００３２】
以上が、画像ＤＢ２０５に画像データを登録するまでの流れである。
【００３３】
次に、カメラ３００のユーザが被写体（家）４００の実際に存在する位置をサーバ２００から受け取るまでの流れを説明する。
【００３４】
まず、カメラ３００は被写体（本）５００に載っている被写体（家）４００の画像データを撮影し、サーバ２００へ位置情報取得要求信号とともに送信する。位置情報要求信号とは、画像ＤＢ２０５に登録された画像データのうち、該信号とともに送信する画像データに類似した画像データをサーバ２００に検索させるための信号である。
【００３５】
サーバ２００は、カメラ３００からの位置情報取得要求信号とともに送信された画像データを受信すると、画像ＤＢ２０５に保存された画像データから類似画像検索を行う。本実施形態においては、サーバ２００は受信した被写体（本）５００に載っている被写体（家）４００に類似している画像データを検索し、被写体（家）４００の画像データを検索結果として得る。そして、被写体（家）４００の画像データに対応づけられた位置情報を取得し、取得した位置情報をカメラ３００に送信する。
【００３６】
このように制御することによって、カメラ３００は被写体（本）５００に載っている被写体（家）４００を撮影することで、被写体（家）４００の位置情報をサーバ２００から取得可能となる。
【００３７】
以上が、カメラ３００のユーザが被写体（家）４００の実際に存在する位置をサーバ２００から受け取るまでの流れである。
【００３８】
以上の動作を、（１）カメラ１００が画像データをサーバ２００へ送信し、該画像データをサーバ２００が画像ＤＢ２０５へ登録する動作、（２）カメラ３００で撮影された画像に基づき、サーバ２００が位置情報をカメラ３００へ送信する動作、に分けて説明する。
【００３９】
（１）カメラ１００が画像データをサーバ２００へ送信し、該画像データをサーバ２００が画像ＤＢ２０５へ登録する動作
まず、前述のように構成されたカメラ１００の動作について図４のカメラ動作フローを用いて説明する。このフローチャートにおける各処理は、カメラ１００の動作を制御するプログラムをメモリ部１１０からシステム制御部１１２が読み出し・展開・実行することにより実現される。以下、カメラ１００の動作を示す各フローチャートにおける各処理は同様の方法で実現される。
【００４０】
図４（ａ）に示すフローは、操作部１１４を介して撮影指示が受け付けられたことに応じて開始される。
【００４１】
撮影指示を受け付けると、ステップＳ４０１においてシステム制御部１１２は画像データの撮影を行う。さらに、測距部１０９は前述の被写体距離情報をシステム制御部へ出力する。
【００４２】
ステップＳ４０２では、システム制御部１１２は、ＧＰＳ１１５を用いて、カメラ１００の位置を示す位置情報を求める。この処理はステップＳ４０１と並行して行ってもよい。
【００４３】
さらに、ステップＳ４０３では、システム制御部１１２は、カメラ信号処理部１０５からは画像データの輝度信号を取得する。具体的には、カメラ信号処理部１０５は、画像データの輝度信号を図７（ａ）に示すような４×４＝１６のメッシュ枠に分割する。カメラ信号処理部１０５は、この１６個のメッシュ枠ごとに輝度値を平均化し１６個の輝度評価値を生成し、システム制御部１１２へ出力する。
【００４４】
次に、ステップＳ４０４にて、システム制御部１１２は当該輝度信号と前記被写体距離情報から信頼度を算出する。この処理については後述する。
【００４５】
ステップＳ４０５で、システム制御部１１２は記録制御部１０７により、被写体距離情報と、位置情報と、輝度評価値と、信頼度とを、ステップＳ４０１で得られた画像データのメタデータとして付加するよう制御する。
【００４６】
被写体距離情報と位置情報と輝度評価値と信頼度は、それぞれステップＳ４０１、ステップＳ４０２、ステップＳ４０３、ステップＳ４０４で求めたものである。
【００４７】
そして、ステップＳ４０６にてシステム制御部１１２は記録制御部１０７により、ステップＳ４０５でメタデータとして信頼度を付加された画像データを記録メディア１０８に記録するよう制御する。
【００４８】
このようにして記録メディア１０８に記録された画像データは、自動的に、或いは操作部１１４を介して受け付けたユーザの操作によってサーバ２００へ画像保存要求信号とともに送信される。図４（ｂ）に示すフローは画像保存要求信号とともに画像データを送信する命令を受け付けることで開始される。
画像保存要求信号とともに画像データを送信する命令を受け付けると、ステップＳ４０７にて、システム制御部１１２は、記録メディア１０８に保存されている送信対象の画像データを、通信部１１６を介して画像保存要求信号とともにサーバ２００に送信する。
【００４９】
ここで、ステップＳ４０４の、信頼度を算出する際のカメラ１００の動作について説明する。
【００５０】
システム制御部１１２は実物を撮影している状況なのか、本やテレビなどの出力物を撮影しているのかを判断し、信頼度を算出する。本実施形態では、システム制御部１１２は、カメラ信号処理部１０５から出力された輝度信号と、測距部１０９から出力された、距離情報に基づき信頼度を算出する。以下、この信頼度の算出方法について詳しく説明する。
【００５１】
図６は、図４におけるステップＳ４０３の信頼度算出処理におけるカメラ１００の動作を示すフローチャートである。
【００５２】
図６のステップＳ６００において、システム制御部１１２は、カメラ信号処理部１０５から取得した１６個の輝度評価値から、その分散値を算出する。分散値の算出方法は一般的な方法でかまわない。
【００５３】
ステップＳ６０１では、システム制御部１１２は測距部１０９から取得した９個の被写体距離情報の平均値と分散値を算出する。
【００５４】
ステップＳ６０２でシステム制御部１１２は、ステップＳ６０１で算出した被写体距離の平均値が閾値Ａ以上であるか判断する。閾値Ａ以上であると判断された場合は、被写体との距離が遠く、近くの本などを撮影している可能性が低いと判断し、ステップＳ６０３へ進む。閾値Ａよりも小さいと判断された場合はステップＳ６０４へ進む。
【００５５】
ステップＳ６０３にて、システム制御部１１２は、画像データに付加する信頼度を上げるよう設定する。具体的には、画像データに付加する信頼度（本実施形態では初期値０．５をとることとする）に一定の値（ここでは＋０．５）を加算した値に設定する（本実施形態では信頼度の最大値は１．０とする）。
【００５６】
一方、ステップＳ６０４では、システム制御部１１２は、被写体距離の分散値が所定の閾値Ｂ以上であるか否かを判断する。被写体距離の分散値が閾値Ｂ以上であると判断された場合は、被写体距離がばらついているということであり、実物の被写体である可能性が高いと判断し、ステップＳ６０３へ進む。一方、被写体距離の分散値が閾値Ｂよりも小さいと判断された場合は、被写体距離が均一であり、本などの平坦な被写体を撮影している可能性があるとして、ステップＳ６０５へ進む。
【００５７】
ステップＳ６０５では、システム制御部１１２は輝度評価値の分散値が閾値Ｃ以上であるか判断する。輝度評価値の分散値が閾値Ｃ以上と判断された場合は、輝度評価値の分散値が高くばらついているにも関わらず、距離の分散値が低い（Ｓ６０４より）ということなので、本などの平坦な被写体を撮影している可能性が高いと判断し、ステップＳ６０６へ進む。一方、輝度評価値の分散値が閾値Ｃよりも小さいと判断された場合は、ステップＳ６０７へ進む。
【００５８】
ステップＳ６０６では、画像データに付加する信頼度を下げるよう設定する。具体的には、信頼度に一定の値（ここでは−０．５）を加算した値に設定する（本実施形態では信頼度の最低値は０．０）。ステップＳ６０７では、信頼度を、距離の分散値に基づき設定する。具体的には、被写体距離の分散値が閾値Ｂに近づくほど、信頼度を最大値（１．０）に近づけ、被写体距離の分散値が０に近づくほど信頼度を最小値（０．０）に近づけるように設定する。ここでは、被写体距離の分散値が閾値Ｂに近づくほど信頼度の初期値に加える値を＋０．５に近づけ、被写体距離の分散値が０に近づくほど信頼度の初期値に加える値を−０．５に近づける。
【００５９】
以上、システム制御部１１２における信頼度の算出フローについて説明した。ここで求められる信頼度は、上述の図４におけるステップＳ４０５にて、画像データのメタデータとして付加される。画像データに付加するメタデータの例を図８に示す。図８において８０１が位置情報、８０２が信頼度を示している。
【００６０】
以上、本実施形態におけるカメラ１００の動作について説明した。
【００６１】
次に、カメラ１００から画像データを受信したサーバ２００の動作について図９のサーバの動作フローを用いて説明する。このフローチャートにおける各処理は、サーバ２００の動作を制御するプログラムをメモリ部２０３からシステム制御部２０２が読み出し・展開・実行することにより実現される。以下、サーバ２００の動作を示す各フローチャートにおける各処理は同様の方法で実現される。
【００６２】
まず、ステップＳ９００にて、サーバ２００は通信部２０１を介して、カメラ１００から画像データとともに前述した画像保存要求信号または位置情報要求信号を受信する。
【００６３】
そして、ステップＳ９０１にて、システム制御部２０２は、サーバ２００が画像データとともに受信した信号が、画像保存要求信号であるか位置情報要求信号であるかを判断する。
【００６４】
ここでは、ステップＳ９００にてサーバ２００が受信した信号が、ステップＳ９０１にて画像保存要求信号であると判断され、ステップＳ９０２に進む場合について説明する。ステップＳ９０４に進む場合については後述する。
【００６５】
ステップＳ９００にて受信した信号が画像保存要求信号であると判断された場合、ステップＳ９０２に進む。
【００６６】
ステップＳ９０２にてシステム制御部２０２は、画像保存要求信号とともに受信した画像データを画像記録部２０４に保存するよう制御する。
【００６７】
ステップＳ９０３では、システム制御部２０２は、ステップＳ９０２にて保存された画像データを用いて、画像ＤＢ２０５を構築する。具体的には、サーバ２００は、画像記録部２０４に保存された画像データのうち、信頼度が一定値以上の画像データを画像ＤＢ２０５に登録する。
【００６８】
ここで、ステップＳ９０３の画像ＤＢ２０５の構築におけるサーバの動作について図１１を用いて説明する。
【００６９】
図１１は、画像ＤＢ２０５を構築する際のサーバ２００の動きを示したフローチャートである。
【００７０】
ステップＳ１１０１において、システム制御部２０２は画像記録部２０４に記録された画像データを取得する。本実施形態では画像データのコピーをメモリ部２０３に生成する。
【００７１】
ステップＳ１１０２では、システム制御部２０２は、取得した画像データから図８に示したようなメタデータを抽出する。
【００７２】
ステップＳ１１０３では、システム制御部２０２が、抽出したメタデータから位置情報と信頼度を取得する。
【００７３】
ステップＳ１１０４では、システム制御部２０２が、メタデータから位置情報および信頼度を取得できたかどうか、すなわちメタデータに位置情報および信頼度が記録されていたかを判断する。位置情報および信頼度が記録されていると判断された場合は、ステップＳ１１０５に進み、位置情報および信頼度が記録されていないと判断された場合はステップＳ１１０７に進む。
【００７４】
ステップＳ１１０５では、システム制御部２０２は信頼度が閾値Ｄ以上であるか判断する。信頼度が閾値Ｄ以上と判断されればステップＳ１１０６へ進み、閾値Ｄ未満と判断された場合はステップＳ１１０７へ進む。
【００７５】
ステップＳ１１０６では、システム制御部２０２が、画像データを画像ＤＢ２０５へ登録する。本実施形態ではメモリ部２０３に生成された画像データのコピーを、画像ＤＢ２０５を構成するＨＤＤに保存する。
【００７６】
ステップＳ１１０７では、システム制御部２０２が、画像データを画像ＤＢ２０５へ登録せずに処理を終了する。メモリ部２０３に生成された画像データのコピーは破棄される。
【００７７】
以上が、システム制御部２０２が画像ＤＢ２０５を構築する際の動作である。このように制御することにより、位置情報が記録されており、かつ信頼度が高い画像データのみを画像ＤＢ２０５に登録することが可能となる。
【００７８】
（２）カメラ３００が撮影した画像データをサーバ２００へ送信し、該画像データに応じてサーバ２００が位置情報をカメラ３００へ送信する動作
次に、カメラ３００が撮影した画像データを位置情報要求信号とともにサーバ２００に送り、サーバ２００が類似画像検索を行い、類似画像データに付加された位置情報をカメラ３００に送信する際の処理について図９と図１０を用いて説明する。
【００７９】
図１０はカメラ３００がサーバ２００へ画像データとともに位置情報要求信号を送り、サーバ２００から位置情報を受信する動作を示すフローチャートである。本フローは、自動的に、或いは操作部１１４を介して受け付けたユーザの操作によってサーバ２００へ画像保存要求信号とともに画像データを送信する命令を受け付けることで開始される。
【００８０】
ステップＳ１０００にて、システム制御部１１２は画像データとともに位置情報要求信号を、通信部１１６を介してサーバ２００へ送信する。
【００８１】
次に、カメラ３００から位置情報要求信号を受信したサーバ２００の動作の説明に移る。
【００８２】
ここでは、図９のステップＳ９０１にてサーバ２００が受信した信号が位置情報要求信号であると判断された場合について説明する。この場合、ステップＳ９０４に進む。
【００８３】
ステップＳ９０４にて、システム制御部２０２は画像ＤＢ２０５を参照し、位置情報要求信号とともに受信した画像データの被写体と特徴が類似する画像を画像ＤＢ２０５に登録された画像データから検索する。
【００８４】
ステップＳ９０４で類似する画像データが無い場合、ステップＳ９０５へ進む。ステップＳ９０５では、システム制御部２０２は、類似する画像データが無かった旨をカメラ３００へ通知し、処理を終了する。
【００８５】
一方、ステップＳ９０４で類似する画像データがあった場合、ステップＳ９０６にてシステム制御部２０２は、最も類似する画像データに付加された位置情報を、通信部２０１を介してカメラ３００に送信し、処理を終了する。
【００８６】
処理の説明を図１０のカメラ３００の動作に戻す。カメラ３００はステップＳ１０００にて位置情報要求信号とともに画像データを送信した後、システム制御部１１２はステップＳ１００１にてサーバ２００からの信号受信を受信したか否かを判断する。受信していないと判断した場合、システム制御部１１２はステップＳ１００１の処理を繰り返す。この処理は一定回数あるいは一定時間の経過によって処理を終了するよう制御してもよい。
【００８７】
システム制御部１１２がステップＳ１００１にてサーバ２００からの信号を受信したと判断した場合、処理はステップＳ１００２へ進む。ステップＳ１００２では、システム制御部１１２は、受信した信号が、図９のステップＳ９０５にてサーバ２００から送信された類似画像データが無い旨の通知であるか、図９のステップＳ９０６にてサーバ２００から送信された位置情報であるかを判断する。ステップＳ１００２にて受信した信号が、類似画像データがない旨の通知であると判断された場合、処理はステップＳ１００４へ進む。ステップＳ１００４では、システム制御部１１２は受信した通知に基づいて、サーバ２００の画像ＤＢ２０５には類似画像データが存在してない旨をユーザに通知する。本実施形態ではシステム制御部１１２が表示部１１３に「類似画像がありませんでした」等のメッセージを表示させることでユーザに通知することとする。もちろんこの通知方法はこれに限るものではない。
【００８８】
一方、ステップＳ１００２にて受信した信号が、位置情報であると判断された場合、処理はステップＳ１００３へ進む。ステップＳ１００３では、システム制御部１１２は、受信した位置情報を表示部１１３へ表示する。本実施形態では、システム制御部１１２が、カメラ３００からサーバ２００へ送信した画像データとともに「この画像の位置情報はＸＸＸＸです」等というメッセージを表示させることとする。もちろんこの通知方法はこれに限るものではない。さらに、該画像データのメタデータとして、サーバ２００から得た位置情報を付加してもよい。
【００８９】
以上が、カメラ３００が撮影した画像データを位置情報要求信号とともにサーバ２００に送り、サーバ２００が類似画像検索を行い、類似画像データに付加された位置情報をカメラ３００に送信する際のカメラ３００とサーバ２００の動作の説明である。
【００９０】
以上、述べたように本実施形態のシステムでは、カメラ１００は、撮影の際のカメラ１００の位置を示す位置情報と撮影された画像データの内容との関連性の度合いを示す信頼度を生成し、メタデータとして記録する構成とした。また、サーバ２００は、信頼度が一定値よりも高い画像データを利用して画像データベースを構築する構成とした。これにより、カメラ３００が類似画像データを用いて位置情報を検索する際に精度の高い位置情報が提供できる。
【００９１】
なお、カメラ１００からサーバ２００に画像保存要求信号とともに画像データを送信する際に、画像データに対応づけられた信頼度を用いて送信するか否か判断する構成にしてもよい。例えば、画像データに対応づけられた信頼度が高ければサーバ２００に送信し、画像データに対応づけられた信頼度が低ければ送信しないよう制御してもよい。こうすることで、画像ＤＢ２０５には信頼度の高い画像データのみが登録されることとなり、類似画像データを用いて位置情報を検索する際に精度の高い位置情報を得ることができる。
【００９２】
また、サーバ２００が類似画像検索を行う際に、信頼度を用いて検索対象とするか否かを判断する構成にしてもよい。例えば、画像データに対応づけられた信頼度が一定値よりも高ければ検索対象とし、画像データに対応づけられた信頼度が低ければ検索対象としないよう制御してもよい。これにより、カメラ３００へ精度の高い位置情報を提供できる。
【００９３】
以上が、第１の実施形態の説明である。
【００９４】
［第２の実施形態］
第１の実施形態では、図１のシステムにおいて、カメラ１００で位置情報の信頼度を画像データのメタデータとして付加する例について述べた。
【００９５】
これに対し、第２の実施形態では、図１のシステムにおいて、カメラ１００からサーバ２００への画像データ送信の際に位置情報の信頼度を画像データのメタデータとして付加する例について述べる。
【００９６】
本実施形態のカメラ１００、サーバ２００とカメラ３００の構成は第１の実施形態と同様のため説明は省略する。
【００９７】
本実施形態が第１の実施形態と異なるのは、撮影後に画像データを保存する際に信頼度を算出・対応付けを行わずに、記録メディア１０８に保存された画像データをカメラ外部に送信する際に該画像データに対して信頼度の算出・対応付けを行う点である。
【００９８】
本実施形態におけるシステムの基本的な動作の概要を、図１〜３を用いて説明する。
【００９９】
カメラ１００が被写体（家）４００を撮影すると、記録制御部１０７は、受信した画像データのメタデータとして、位置情報と被写体距離情報と輝度評価値とを付加して記録メディア１０８に保存する。
【０１００】
こうして保存された画像データをサーバ２００へ送信する送信命令を受け付けた場合、システム制御部１１２は、送信する画像データのメタデータから被写体距離情報と輝度評価値とを取得し、信頼度を計算する。
【０１０１】
そして、システム制御部１１２は算出した信頼度を、送信する画像データのメタデータとして付加してから、該画像データを、通信部１１６を介してサーバ２００へ送信するよう制御する。
【０１０２】
以降のサーバ２００の動作や、カメラ３００で撮影された画像データに基づき、サーバ２００が位置情報をカメラ３００へ送信する動作については第１の実施形態と同様であるため説明は省略する。
【０１０３】
図１２は、本実施形態の処理を行うカメラ１００の動作を示すものである。上記カメラ１００の動作を図１２に示すフローチャートを用いて説明する。図１２（ａ）は撮影した画像データを保存する動作、図１２（ｂ）は保存された画像データをサーバ２００へ送信する際に信頼度を対応づけてから送信する動作を示すフローチャートである。
【０１０４】
図１２（ａ）のフローは操作部１１４を介して撮影指示が受け付けられたことに応じて開始される。
【０１０５】
ステップＳ１２０１〜ステップＳ１２０３、は、図４のステップＳ４０１〜ステップＳ４０３と同様の処理を行う。
【０１０６】
ステップＳ１２０４で、システム制御部１１２は、取得した位置情報と被写体距離情報と輝度評価値とを、ステップＳ１２０１で得られた画像データにメタデータとして付加する。ステップＳ１２０５にて、システム制御部１１２は、該画像データを記録メディア１０８に保存する。
【０１０７】
こうして保存された画像データは、所定のタイミングで、或いは操作部１１４を介して受け付けたユーザの操作によってサーバ２００へ画像保存要求信号とともに送信される。図１２（ｂ）のフローは、画像保存要求信号とともに画像データを送信する命令を受け付けることで開始される。図１２（ｂ）は図４（ｂ）のステップＳ４０７の前に、ステップＳ１２０６〜ステップＳ１２０８の処理を行う。ステップＳ１２０９は図４（ｂ）のステップＳ４０７と同様の処理を行う。
【０１０８】
画像保存要求信号とともに画像データを送信する命令を受け付けると、ステップＳ１２０６にて、システム制御部１１２は、送信する画像データに付加された被写体距離情報と輝度評価値を、記録制御部１０７を介して取得する。次に、ステップＳ１２０７にて、システム制御部１１２は、ステップＳ１２０６にて取得した被写体距離情報と輝度評価値とを用いて信頼度を求める。この処理は図４のステップＳ４０４、図７の処理と同様である。ステップＳ１２０８にてシステム制御部１１２は、記録制御部１０７により、ステップＳ１２０７で求められた信頼度を、送信する画像データにメタデータとして付加する。
【０１０９】
最後に、ステップＳ１２０９にて、システム制御部１１２は、信頼度がメタデータとして付加された画像データを、画像保存要求信号とともに通信部１１６を介してサーバ２００へ送信するよう制御する。
【０１１０】
以上、本実施形態における信頼度算出の際の動作について説明した。
【０１１１】
以上の動作により、撮影した画像データが記録メディア１０８に記録されている状態、つまりカメラを所持している者だけが画像データを利用する可能性が高い状態では、信頼度を算出・付加を行わなくなる。これによりカメラ１００の負荷を減少することができる。また、撮影した画像データに対応づけられる位置情報の信頼度がカメラ外部に送信されるときに付加されることとなり、位置情報がカメラを所持している者以外の者が利用しやすくなる前に信頼度を付加することができる。
【０１１２】
［第３の実施形態］
第２の実施形態では、図１のシステムにおいて、カメラ１００から画像データを送信する際に信頼度を画像データに付加する例について述べた。これに対し、第３の実施形態では、図１のシステムにおいて、サーバ２００で位置情報の信頼度を画像データのメタデータとして付加する例について述べる。
【０１１３】
本実施形態のカメラ１００、サーバ２００とカメラ３００の構成は第１の実施形態と同様である。ただし、本実施形態ではカメラ１００のシステム制御部１１２は信頼度の算出（図６の処理）を行わず、サーバ２００のシステム制御部２０２が信頼度の算出を行う点が第１の実施形態と異なる。
【０１１４】
第３の実施形態における本システムの基本的な動作の概要を、図１〜３を用いて説明する。
【０１１５】
カメラ１００が被写体（家）４００を撮影すると、記録制御部１０７は、受け取った画像データに、位置情報と被写体距離情報と輝度評価値とをメタデータとして付加し、該画像データを記録メディア１０８に保存する。
【０１１６】
こうして保存された、被写体距離情報と輝度評価値とがメタデータとして付加された画像データを、サーバ２００へ送信する送信命令を受け付けた場合、該画像データを、通信部１１６を介してサーバ２００へ送信する。
【０１１７】
次に、サーバ２００はカメラ１００から送信された画像データを受信し、画像記録部２０４に保存する。その際、システム制御部２０２は受信した画像データのメタデータから被写体距離情報と輝度評価値を取得し、信頼度を算出する。そして、算出された信頼度をメタデータとして付加された受信画像データが、画像記録部２０４に保存される。そして、第１の実施形態と同様にサーバ２００は、画像記録部２０４に保存された画像データのうち、信頼度が一定値よりも高い画像データを画像ＤＢ２０５に登録する。
【０１１８】
これ以降の、カメラ３００で撮影された画像データに基づきサーバ２００が位置情報を送信する動作については第１の実施形態と同様のため省略する。
【０１１９】
本実施形態におけるカメラ１００の動作は、図１２（ａ）に示される動作、及び図４（ｂ）に示される動作と同様である。
【０１２０】
図１２（ａ）の動作により記録メディア１０８に保存された画像データは、自動的に、或いは操作部１１４を介して受け付けたユーザの操作によって、図４（ｂ）の動作によりサーバ２００へ画像保存要求信号とともに送信される。
【０１２１】
次に、前記画像保存要求信号とともに送信された画像データを受信したサーバ２００の動作について図１３のサーバの動作フローを用いて説明する。
【０１２２】
図１３は、図９のステップＳ９０２とステップＳ９０３の間に、ステップＳ１３０３〜Ｓ１３０５の処理を行う。それ以外のステップでは図９と同様の処理を行う。
【０１２３】
まず、ステップＳ１３００にて、サーバ２００は通信部２０１を介して、カメラ１００から画像データとともに画像保存要求信号または位置情報要求信号を受信する。
【０１２４】
ステップＳ１３０１にて、システム制御部２０２は、サーバ２００が画像データとともに受信した信号が、画像保存要求信号であるか位置情報要求信号であるかを判断する。
【０１２５】
ここでは、ステップＳ１３０１にて、サーバ２００が受信した信号が画像保存要求信号であると判断され、ステップＳ１３０２に進む場合について説明する。ステップＳ１３０６に進む場合については第１の実施形態と同様のため説明は省略する。
【０１２６】
ステップＳ１３０１にて受信した信号が画像保存要求信号であると判断された場合、ステップＳ１３０２に進む。ステップＳ１３０２にてシステム制御部２０２は、画像保存要求信号とともに受信した画像データを画像記録部２０４に保存するよう制御する。
【０１２７】
ステップＳ１３０３において、システム制御部２０２は、画像記録部２０４に保存された画像データのメタデータから被写体距離情報と輝度評価値とを取得する。
【０１２８】
ステップＳ１３０４では、図４のステップＳ４０４、図６の処理と同様の処理によって信頼度を求める。
【０１２９】
ステップＳ１３０５では、システム制御部１１２はステップＳ１３０４で求められた信頼度をステップＳ１３００で受信した画像データにメタデータとして付加して、該画像データを画像記録部２０４に保存する。
【０１３０】
ステップＳ１３０６以降は図９と同様なので説明は省略する。
【０１３１】
以上のようにサーバにより画像データに信頼度を付加する構成とすることで、カメラ１００が信頼度を算出する機能を持たずとも画像データに信頼度を付加することができる。
【０１３２】
以上、第３の実施形態では、サーバ側で信頼度を生成する場合について述べた。
【０１３３】
［第４の実施形態］
上述の実施形態では、被写体距離情報及び輝度評価値を用いて信頼度を算出していた。本実施形態ではそれとは別に、以下の６つの方法で信頼度を算出する方法についてそれぞれ説明する。
（１）被写体距離情報を用いて信頼度を算出する方法
（２）輝度評価値を用いて信頼度を算出する方法
（３）位置情報分布を用いて信頼度を算出する方法
（４）コントラスト情報を用いて信頼度を算出する方法
（５）フリッカ検出・走査線検出を用いて信頼度を算出する方法
（６）フォーカスレンズの状態を用いて信頼度を算出する方法
これらの信頼度算出の処理は図６を用いて説明した信頼度算出のフローにとってかわる、あるいは組み合わせて用いられるものである。
【０１３４】
（１）被写体距離情報を用いて信頼度を算出する方法
ここでは、信頼度を算出する方法として、被写体距離情報と輝度評価値のうち、被写体距離情報を用いた算出方法について説明する。被写体距離情報を用いる場合、被写体との距離が遠いか、距離の分散値が大きい場合は信頼度を高くし、被写体距離が近く、距離の分散値が小さい場合は信頼度を低くする。
【０１３５】
図１４を用いて、被写体距離情報を用いて信頼度を算出する処理の流れについて説明する。
【０１３６】
図１４のフローチャートは、図６におけるステップＳ６００を削除し、ステップＳ６０５〜ステップＳ６０７の代わりにＳ１４０５の処理を行うものである。ステップＳ１４０１〜ステップＳ１４０４は図６のステップＳ６０１〜ステップＳ６０４と同様の処理を行う。
【０１３７】
ステップＳ１４０１〜Ｓ１４０４については図６と同様の処理なので説明を省略する。
【０１３８】
ステップＳ１４０４にて被写体距離の分散値が閾値Ｂ以上であると判断された場合、ステップＳ１４０３へ進み、システム制御部１１２あるいはシステム制御部２０２は、ステップＳ１４０３にて信頼度を上げるよう設定する。具体的には信頼度（本実施形態では初期値０．５をとることとする）に一定の値（ここでは＋０．５）を加算した値に設定する。
【０１３９】
ステップＳ１４０４にて被写体距離の分散値が閾値Ｂ以上でないと判断された場合、ステップＳ１４０５に進む。
【０１４０】
ステップＳ１４０５では、システム制御部１１２あるいはシステム制御部２０２は、被写体距離の分散値の値に応じて信頼度を設定する。本実施形態では、分散値が閾値Ｂに近づくにつれて信頼度を高く設定し、分散値が０に近づくにつれて信頼度を低く設定する。本実施形態では、分散値が閾値Ｂに近づくほど信頼度に加える値を＋０．５に近づけ、分散値が０に近づくほど信頼度に加える値を−０．５に近づける。
【０１４１】
以上、被写体距離情報を用いて信頼度を算出する方法について説明した。これにより、被写体とカメラ１００との距離が近く、かつ被写体距離の分散値が低い（被写体が平坦である）場合は、被写体が印刷物である可能性が高いと判断して信頼度を低く設定することができる。
【０１４２】
（２）輝度評価値を用いて信頼度を算出する方法
ここでは、信頼度を算出する方法として、被写体距離情報と輝度評価値のうち、輝度評価値を用いた算出方法について説明する。この場合、撮影情報である撮影範囲内の輝度分布において、本の用紙と画像領域との境界で急峻な輝度の変化が生じることを利用する。図１５（ａ）は本に掲載された写真を撮影するケースでの、本と撮影範囲の関係を示している。図１５（ａ）において、１５０１は本全体、１５０２は撮影範囲を示している。また、図１５（ｂ）は撮影された画像データを示している。図１５（ｃ）は撮影画像データ（図１５（ｂ））の１５０３の１ピクセル幅のラインでの輝度波形を示した図である。図１５（ｃ）の縦軸は輝度をとり、横軸は、ピクセルをとる。本などを撮影した際には、１５０４に示すような波形で、印刷物において生じる可能性が高い急峻な輝度の変化が生じる場合がある。これは、画像領域と本の用紙との境界である。このような急峻な輝度の変化が輝度信号に含まれるか否かを判断し、急峻な輝度の変化を検出した場合には、実被写体を撮影していない可能性が高いとみなして、信頼度を低くする。本実施形態では、図１５（ｃ）に示す輝度波形において、あるピクセル位置の輝度と、隣接するピクセルの輝度との差が一定の値以上であった場合に、急峻な輝度の変化があったと判断する。
【０１４３】
図１６を用いて、輝度評価値を用いて信頼度を算出する処理の流れについて説明する。図１６は輝度評価値を用いた信頼度の算出方法のフローチャートである。
【０１４４】
ステップＳ１６０１にてシステム制御部１１２あるいはシステム制御部２０２は、信頼度を付加する画像データから、図１５（ｃ）に示すような任意のラインの画像データの輝度波形を取得する。
【０１４５】
ステップＳ１６０２にてシステム制御部１１２あるいはシステム制御部２０２は、輝度波形に急峻な輝度の変化の有無を判断する。
【０１４６】
ステップＳ１６０２にて急峻な輝度の変化があると判断された場合、システム制御部１１２あるいはシステム制御部２０２は、ステップＳ１６０３にて信頼度を下げるよう設定する。本実施形態では、信頼度に加算する値を−０．５とする。
【０１４７】
ステップＳ１６０２にて急峻な輝度の変化がないと判断された場合、システム制御部１１２あるいはシステム制御部２０２は、信頼度を変更せずに処理を終了する。
【０１４８】
以上、輝度評価値を用いて信頼度を算出する方法について説明した。これにより、画像データの輝度値に急峻な変化がみられた場合は被写体が印刷物である可能性が高いと判断して信頼度を低く設定できる。
【０１４９】
（３）位置情報分布を用いて信頼度を算出する方法
ここでは、信頼度を算出する方法として位置情報分布を用いて信頼度を算出する方法について説明する。位置情報分布とは、サーバ２００の画像ＤＢ２０５に登録されている画像データのうち、カメラ１００から受信した画像データ（受信画像データ）に類似した画像データ（類似画像データ）に対応づけられた位置情報の分布である。図１７は複数の類似画像データにそれぞれ対応づけられた位置情報の分布を示すヒストグラムの一例である。図１７において横軸は類似画像データに対応づけられた位置情報を示し、縦軸は類似画像データの数を表す度数を示している。本実施形態では、位置情報が緯度と経度で付加されることとし、図１７の横軸は緯度又は経度の階級をとることとする。階級の取り方は任意の方法でかまわない。以後、階級のことを位置と呼ぶ。ある位置での度数が多いということは、その位置の緯度又は経度に対応づけられた類似画像データが多く存在するということを示している。
【０１５０】
位置情報がメタデータとして付加された画像データがカメラ１００からサーバ２００へ送信されると、システム制御部２０２は画像ＤＢ２０５に登録されている画像データのなかから、受信画像データに類似した画像データの検索を行う。類似画像データが存在する場合、システム制御部２０２は、検索された類似画像データに対応づけられた位置情報から、図１７に示すような、類似画像データに対応づけられた位置情報の分布を示すヒストグラムを算出する。さらに、システム制御部２０２は該ヒストグラムから、ヒストグラムのピークを示す位置（ピーク位置）を算出し、ピーク位置と、ピーク位置の度数と、受信した画像データに対応づけられた位置情報が示す位置（画像データ位置）とを用いて信頼度を算出する。本実施形態では、ピーク位置とは、ある位置の度数から右隣の位置の度数を引いた差をとり、その差が負から正になる位置とする。もちろんピーク位置を定める方法はこれに限るものではない。図１７の例では、位置Ｐ１がピーク位置となる。
【０１５１】
信頼度の算出においては、このピーク位置Ｐ１の度数が一定値以上であり、ピーク位置Ｐ１が画像データ位置Ｐ０の一定距離内にある場合には、受信画像データに類似した画像データが一定距離以内で多く撮影されていたということなので、信頼度は高く設定される。一方、ピーク位置が存在しない場合や、全てのピーク位置の度数が一定値未満であった場合は、ヒストグラムからは判断できないため信頼度は変更されない。さらに、ピーク位置Ｐ１の度数が一定値以上であるが、ピーク位置Ｐ１が、画像データ位置Ｐ０の一定距離外にある場合には、受信画像データに類似した画像データが離れた場所で多く撮影されていたということなので、信頼度は低く設定される。
【０１５２】
図１８を用いて、位置情報分布を用いて信頼度を算出する処理の流れについて説明する。図１８は位置情報分布を用いた信頼度の算出方法のフローチャートである。
【０１５３】
図１８に位置情報分布を用いた信頼度算出のフローチャートを示す。
【０１５４】
ステップＳ１８０１にて、システム制御部２０２は信頼度を付加する画像データと類似する画像データを、画像ＤＢ２０５に登録された画像データから検索する。
【０１５５】
ステップＳ１８０１にて類似する画像データが無いと判断された場合、システム制御部２０２は信頼度を変更せずに処理を終了する。
【０１５６】
一方、ステップＳ１８０１にて複数の類似する画像データがあると判断された場合、ステップＳ１８０２に進む。
【０１５７】
ステップＳ１８０２では、システム制御部２０２は複数のまたは一つの類似する画像データにそれぞれ付加された位置情報の分布におけるピークが存在するか否かを判断する。
【０１５８】
ステップＳ１８０２にてピークが存在しないと判断された場合、システム制御部２０２は信頼度を変更せずに処理を終了する。
【０１５９】
ステップＳ１８０２でピークが一つ、または複数存在すると判断された場合、システム制御部２０２はステップＳ１８０３にて、各ピークの度数が一定値以上であるか判断する。ステップＳ２００３にて全てのピークの度数が一定値未満であると判断された場合、システム制御部２０２は信頼度を変更せずに処理を終了する。ステップＳ１８０３にて一つ以上のピークの度数が一定値以上であると判断された場合、ステップＳ１８０４へ進む。ステップＳ１８０４では、システム制御部２０２は信頼度を付加する画像データに対応づけられた位置情報の示す位置Ｐ０と、度数が一定値以上のピークの位置との距離を算出する。そしてＰ０から一定距離よりも近い、度数が一定値以上のピークの位置が存在するか否かを判断する。
【０１６０】
Ｓ１８０４にてＰ０から一定距離よりも近い、度数が一定値以上のピークの位置が存在すると判断された場合、システム制御部２０２はステップＳ１８０４にて信頼度を上げるよう設定する。本実施形態では信頼度に０．５の値を加算する。
【０１６１】
ステップＳ１８０３にてＰ０から一定距離よりも近い、度数が一定値以上のピークの位置が存在しないと判断された場合、システム制御部２０２はステップＳ１８０５にて信頼度を下げるよう設定する。本実施形態では信頼度に−０．５の値を加算する。
【０１６２】
以上、位置情報分布を用いて信頼度を算出する方法について説明した。これにより、過去に撮影された類似画像データの位置情報を用いて、より精度の高い信頼度を算出することができる。
【０１６３】
（４）コントラストを用いて信頼度を算出する方法
ここでは、信頼度を算出する方法として撮影情報であるコントラストを用いて信頼度を算出する方法について説明する。この場合、本を撮影した場合には実被写体を撮影した場合よりもコントラストが低くなる傾向があることを利用する。画像データから、コントラスト情報を取得し、得られたコントラストが一定の値よりも低い場合は信頼度を低く設定する。一方、得られたコントラストが一定の値よりも高い場合は信頼度を高く設定する。
【０１６４】
図１９を用いて、コントラストを用いて信頼度を算出する処理の流れについて説明する。図１９はコントラストを用いた信頼度の算出方法のフローチャートである。
【０１６５】
図１９にコントラストを用いた信頼度の算出方法のフローチャートを示す。
【０１６６】
ステップＳ１９０１にてシステム制御部１１２あるいはシステム制御部２０２は、信頼度を付加する画像データからコントラスト情報を取得する。
【０１６７】
ステップＳ１９０２にて、システム制御部１１２あるいはシステム制御部２０２は、ステップＳ１９０１にて得られたコントラストの値が一定値以上であるかどうか判断する。
【０１６８】
ステップＳ１９０２にてコントラストの値が一定値以上であると判断された場合、システム制御部１１２あるいはシステム制御部２０２は、ステップＳ１９０３にて信頼度を上げるよう設定する。本実施形態では信頼度に加算する値を０．５とする。
【０１６９】
ステップＳ１９０２にてコントラストの値が一定値以上でないと判断された場合、システム制御部１１２あるいはシステム制御部２０２は、ステップＳ１９０４にて信頼度を下げるよう設定する。本実施形態では信頼度に加算する値を−０．５とする。
【０１７０】
以上、コントラスト情報を用いて信頼度を算出する方法について説明した。これにより、コントラストが低い場合は被写体が印刷物である可能性が高いと判断して信頼度を低く設定できる。
【０１７１】
（５）フリッカ検出を用いて信頼度を算出する方法
上述の実施形態では被写体（本）５００のような印刷物を撮影しているのかどうかを判断する方法について説明したが、テレビの映像を撮影した場合についても同様の課題が生じる。これを解決する手段として、撮影の際のフリッカと走査線を検出し、その検出結果を撮影情報として用いることで信頼度を算出する例を挙げる。
【０１７２】
フリッカとは、テレビ映像のちらつきのことであり、テレビ画面に表示される画像を一定間隔（リフレッシュレート）で更新する際に生じ得る。特に表示する画像を縦に分けた列である走査線を、奇数列と偶数列とに分けて表示するインターレース方式ではフリッカが生じやすい。本実施形態におけるフリッカの検出では、撮影の際に複数の画像を撮影し、それぞれの撮影で得られた画像における輝度評価値の平均値の差が一定以上であれば、フリッカが存在すると判断される。また、本実施形態における走査線の検出では、画像の各ピクセルの輝度値において、一定の間隔で帯状の一定の輝度値を持つ領域が存在するか否かによって走査線を検出し得る。また、画像の各ピクセルの輝度値において、一定の輝度値を持つ一定の領域が存在するか否かを判断することによっても走査線を検出し得る。本実施形態における走査線の検出においては、これらのうちいずれか一つを用いてもよいし、組み合わせてもよい。
【０１７３】
以下に、図２０を用いてフリッカ検出と走査線検出を利用して信頼度を設定する方法について説明する。図２０はフリッカ検出と走査線検出を利用して信頼度を設定するフローチャートである。
【０１７４】
ステップＳ２００１にてシステム制御部１１２あるいはシステム制御部２０２は、信頼度を付加する画像データに対してフリッカ検出を行い、フリッカが検出されたか否かを判断する。
【０１７５】
ステップＳ２００１にてフリッカが検出された場合、ステップＳ２００３に進む。
【０１７６】
ステップＳ２００１にてフリッカが検出されなかった場合、システム制御部１１２あるいはシステム制御部２０２は、ステップＳ２００２にて画像データに対して走査線検出を行い、走査線が検出されたか否かを判断する。
【０１７７】
ステップＳ２００２にて走査線が検出されなかった場合、システム制御部１１２あるいはシステム制御部２０２は、信頼度を変更せずに処理を終了する。
【０１７８】
ステップＳ２００２にて走査線が検出された場合、ステップＳ２００３に進む。
【０１７９】
ステップＳ２００３では、システム制御部１１２あるいはシステム制御部２０２は、信頼度を下げるよう設定する。本実施形態では信頼度に加算する値を−０．５とする。
【０１８０】
以上、フリッカ検出・走査線検出を用いて信頼度を算出する方法について説明した。これにより、フリッカ、あるいは走査線が検出された場合は被写体がテレビ映像の出力物である可能性が高いと判断して信頼度を低く設定できる。
【０１８１】
（６）フォーカスレンズの状態を用いて信頼度を算出する方法
ここでは、信頼度を算出する方法として撮影情報であるフォーカスレンズの状態を用いて信頼度を算出する方法について説明する。この場合、本や雑誌等の出力物を撮影するときはレンズのフォーカス位置がマクロ撮影位置になっている場合が多いことを利用する。
【０１８２】
図２１を用いて、フォーカスレンズの状態を用いて信頼度を算出する処理の流れについて説明する。図２１はフォーカスレンズの状態を用いた信頼度の算出方法のフローチャートである。
【０１８３】
ステップＳ２１０１にてシステム制御部１１２あるいはシステム制御部２０２は、カメラ、あるいは撮影された画像データのメタデータからレンズのフォーカス位置を取得する。
【０１８４】
ステップＳ２１０２にてシステム制御部１１２あるいはシステム制御部２０２は、取得したフォーカス位置がマクロ撮影位置になっているか否かを判断する。
【０１８５】
ステップＳ２１０２にてフォーカス位置がマクロ撮影位置になっていると判断された場合、システム制御部１１２あるいはシステム制御部２０２は、ステップＳ２１０３にて信頼度を下げるよう設定する。本実施形態では信頼度に加算する値を−０．５とする。
【０１８６】
ステップＳ２１０２にてフォーカス位置がマクロ撮影位置になっていないと判断された場合、システム制御部１１２あるいはシステム制御部２０２は、信頼度を変更せずに終了する。
【０１８７】
以上、フォーカスレンズの状態を用いて信頼度を算出する方法について説明した。これにより、フォーカス位置がマクロ撮影位置になっている場合は被写体が実物でない可能性が高いと判断して信頼度を低く設定できる。
【０１８８】
本実施形態では、信頼度算出について様々な方法を説明した。以上の方法は、それぞれ単独で用いてもいいし、実施形態１〜３のように組み合わせて信頼度を算出してもよい。これにより、より正確に信頼度を算出でき、したがってカメラ３００へのより精度の高い位置情報の提供が可能となる。
【０１８９】
［第５の実施形態］
上記実施形態では、画像データのメタデータに信頼度を自動で記録するよう制御する例を示したが、自動で信頼度を算出する場合、意図した結果が得られない場合がある。例えば、撮影可能な美術館にて壁一面の絵画等を撮影するようなシーンを考える。絵画という実物の被写体を撮影する場合、近距離であること、平坦であること、室内ではコントラストが高くなりにくいこと等から被写体が実物ではない可能性が高いと判断して信頼度を低く設定してしまうことが考えられる。
【０１９０】
これを解決するために、信頼度が低く設定される場合、その信頼度は意図した結果ではない可能性があるため、信頼度が低く設定される場合には、信頼度をユーザが任意に変更可能なよう構成する。これにより、意図した信頼度が算出されなかった可能性がある場合にも、ユーザが修正することで正しい信頼度を付加することができる。
【０１９１】
以下に、信頼度を変更する方法について（１）信頼度を画像データのメタデータに記録する際に変更可能にする。（２）信頼度が付加された画像データがカメラ１００からサーバ２００へ送信される際に信頼度を変更可能にする。（３）信頼度の付加された画像データを閲覧している際に信頼度を変更可能にする。の三つの例を挙げて説明する。
【０１９２】
（１）信頼度を画像データのメタデータに記録する際に変更可能にする。
【０１９３】
まず、信頼度を画像データのメタデータに記録する際に、記録する信頼度が一定値以下であった場合にはユーザにその旨を通知して、信頼度を変更可能にするよう制御する例について説明する。
【０１９４】
図２２は図４のステップＳ４０５、図１２のステップＳ１２０７、または図１３のステップＳ１３０５にて、信頼度を画像データのメタデータに記録する際の処理を示すフローチャートである。
【０１９５】
まず、ステップＳ２２０１にて、システム制御部１１２またはシステム制御部２０２は、算出された信頼度が閾値Ｅ未満であるか否か判断する。ステップＳ２２０１にて閾値Ｅ未満であると判断された場合、ステップＳ２２０２へ進む。一方ステップＳ２２０１にて閾値Ｅ以上であると判断された場合、ステップＳ２２０６に進む。
【０１９６】
ステップＳ２２０２では、システム制御部１１２またはシステム制御部２０２は、ユーザに、信頼度が閾値Ｅ未満であることを通知する。例えば、カメラ１００では、表示部１１３を介して、「この画像の位置情報の信頼度は閾値未満です」などのようなメッセージを表示することによりユーザに通知する。
【０１９７】
次にステップＳ２２０３にて、システム制御部１１２またはシステム制御部２０２は、ユーザからの操作により信頼度を変更するか否かの選択を受け付ける。例えばカメラ１００においては、表示部１１３には「信頼度を変更しますか？」などのようなメッセージが表示され、ユーザは操作部１１４の操作により、信頼度を変更するか否かを選択することができる。
【０１９８】
ステップＳ２２０３にて信頼度を変更しないことが選択された場合、ステップＳ２２０６に進む。
【０１９９】
一方、ステップＳ２２０３にて信頼度を変更することが選択された場合、システム制御部１１２またはシステム制御部２０２は、ステップＳ２２０４にて、ユーザから任意の信頼度の値の入力を受け付ける。例えばカメラ１００においては、表示部１１３に「信頼度を入力してください」などのようなメッセージが表示され、ユーザは操作部１１４の操作により、信頼度の値を入力することができる。
【０２００】
そして、ステップＳ２２０５にて、システム制御部１１２またはシステム制御部２０２は、信頼度を受け付けた信頼度の値に設定する。
【０２０１】
ステップＳ２２０６では、ステップＳ２２０５にて設定された信頼度を画像データのメタデータとして付加する。
【０２０２】
以上が信頼度を画像データのメタデータとして付加する際に信頼度を変更可能なよう制御する例である。
【０２０３】
これにより、意図した信頼度が算出されなかった場合にも、ユーザが修正することで正しい信頼度を付加することができる。
【０２０４】
（２）信頼度が付加された画像データがカメラ１００からサーバ２００へ送信される際に信頼度を変更可能にする。
【０２０５】
次に、信頼度が既にメタデータとして記録された画像データをカメラ１００からサーバ２００へ送信する際に、記録されている信頼度が一定値以下であった場合にはユーザにその旨を通知して、信頼度を変更可能なよう制御する例について説明する。
【０２０６】
この場合は、図４（ｂ）のステップＳ４０７、または図１２（ｂ）のステップＳ１２０８の代わりに、図２３のフローチャートに示す処理を行うよう制御される。
【０２０７】
図２３のフローチャートは、すでにメタデータとして信頼度が付加されている画像データの信頼度を変更してから送信することができる処理を示す。ここで、図２２のステップＳ２２０１の前にステップＳ２３００を行い、ステップＳ２２０６の後にステップＳ２３０７を行う。ステップＳ２３０１〜ステップＳ２３０６については、図２２のステップＳ２２０１〜ステップＳ２２０６と同様の動作を行う。図２２と同様の動作を行うステップについては説明を省略する。
【０２０８】
まず、ステップＳ２３００にて、システム制御部１１２は信頼度がメタデータとして付加されている画像データから信頼度を取得する。
【０２０９】
次にステップＳ２３０１〜ステップＳ２３０６にて、システム制御部１１２は図２２と同様の処理を行う。
【０２１０】
そして、ステップＳ２３０７にてシステム制御部１１２は、ステップＳ２３０６にて信頼度が付加された画像データを、サーバ２００へ送信するよう制御する。
【０２１１】
以上が、信頼度が付加された画像データを外部装置に送信する際に信頼度を変更可能なよう制御する例である。
【０２１２】
これにより、画像データのメタデータに記録された位置情報の信頼度がカメラ外部に送信されるときに信頼度が変更可能となる。
【０２１３】
（３）信頼度の付加された画像データを閲覧している際に変更可能にする。
【０２１４】
最後に、信頼度が既にメタデータとして記録された画像データをカメラ１００あるいはサーバ２００を用いてユーザが閲覧しているときに信頼度を変更可能なようにする例について説明する。ここでは、カメラ１００にてユーザが画像データを閲覧する場合の例について説明する。
【０２１５】
図２４はカメラ１００で、記録メディア１０８に記録されている画像データを閲覧しているときの表示部１１３に表示される表示画面の一例である。２４０１は表示画面で、記録メディア１０８に記録されている画像データ（画像１〜９）を表示している。画像データ２４０１の右上にはアイコン２４０２が表示されている。これは、画像データに付加されている信頼度が閾値Ｅ未満であることを示すものである。ここでは、画像１と画像８に付加されている信頼度が閾値Ｅ未満であることを示している。このアイコンが操作部１１４を介して選択されると該画像データのメタデータから信頼度を取得して、（１）で説明した図２２のフローチャートのステップＳ２２０２以下に示す処理を行うよう制御される。
【０２１６】
これにより画像データのメタデータとして記録された信頼度が閾値Ｅ未満である場合、その画像データを閲覧できるタイミングで信頼度を変更可能になり、撮影した後にも信頼度を修正することができる。
【０２１７】
なお、ここではカメラ１００で記録メディア１０８に記録されている画像データを閲覧しているときの例を示したが、サーバ２００の画像記録部２０４に保存されている画像データを閲覧するときにも同様である。
【０２１８】
以上、本実施形態では、算出された信頼度を変更することができる構成について説明した。
【０２１９】
［他の実施形態］
以上、上述の実施形態では、撮影の際のカメラ１００の位置を示す位置情報と撮影された画像データの内容との関連性の度合いを示す信頼度を生成し、メタデータとして記録する構成とした。これにより、より精度の高い位置情報の提供が可能となる。
【０２２０】
なお、上述の実施形態における信頼度の算出方法はこれらに限られるものではなく、実物を撮影しているか否かが判断できればどのような方法でもかまわない。
【０２２１】
なお、上述の実施形態では信頼度の初期値を０．５とし、各算出方法にて＋０．５〜−０．５の値を加算する方法を示したが、初期値や加算値はこの数値に限らずともよい。また、上述の実施形態では信頼度の初期値から各算出方法にて一定値を加算していく方法を示したが、各算出方法にて所定の値の信頼度を設定するようにしてもよい。さらに、上述の実施形態では信頼度を最大値１．０、最低値０．０としたが、数値はこれに限られるものではなく、また、数値以外の指標を用いてもかまわない。
【０２２２】
なお、上述の実施形態における測距方法について測距点が９点の場合について説明したが、これに限定するものではない。測距点は９点よりも少なくてもかまわないし、画像データの画素の解像度に相当する領域ごとに距離を算出してもかまわない。
【０２２３】
なお、上述の実施形態では、サーバ２００のデータベースに、収集した画像データを蓄積する例を説明したが、必ずしもデータベースに画像データを蓄積する必要はない。例えば、画像データから抽出した特徴量と画像データのパスのみをデータベースに蓄積する構成をとることも可能である。
【０２２４】
なお、上述の実施形態では信頼度をメタデータとして画像データに直接記録する例について説明したが、画像データと対応が取れる形態であれば、別データ（ファイル）として管理してもかまわない。
【０２２５】
また、上述の実施形態は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、画像を撮影した位置を示す位置情報を、該画像に対応づける画像処理装置、その制御方法及びプログラムに関するものである。
【背景技術】
【０００２】
従来、撮影された位置が不明な画像データを入力すると、類似する画像データの検索を行い、類似画像データが撮影された位置情報を出力するシステムに関する技術が知られている。これにより、利用者は撮影位置が不明な撮影画像データの撮影位置を把握することが可能になる。
【０００３】
例えば、特許文献１では撮影装置で撮影した画像データを入力すると、撮影画像データから特徴成分を抽出し、抽出された特徴成分に基づきデータベースから類似画像検索を行い、検索結果である位置情報を利用者に通知する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−１９１３３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の特許文献に開示された従来技術では、検索対象となるデータベース内の類似画像データの位置情報が正しいものであるか否かが考慮されていない。そのため類似画像データベース中の画像データに誤った位置情報が含まれる画像データが存在すると、誤った位置情報を出力してしまう可能性があった。
【０００６】
そこで本発明は、上述した課題に鑑みてなされたものであり、その目的は撮影した画像データに対応付けられる、位置情報に関して、より精度の高い位置情報を提供することである。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明は、画像データの撮影位置を示す位置情報を取得する第１の取得手段と、前記画像データの撮影に関する撮影情報を取得する第２の取得手段と、前記第１の取得手段により取得された位置情報が前記画像データが表すコンテンツの撮影位置を示しているか否かの指標である信頼度を、前記第２の取得手段により取得した撮影情報に基づき決定する決定手段と、前記決定手段により決定された信頼度と前記画像データとを対応づける対応付け手段とを備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、撮影画像データの位置情報に関して、より精度の高い位置情報を提供することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本発明に係るシステム図の一例である。
【図２】（ａ）は第１の実施形態におけるカメラ１００である。（ｂ）はカメラ３００の構成を示すブロック図である。
【図３】第１の実施形態におけるサーバ２００の構成を示すブロック図である。
【図４】（ａ）、（ｂ）は第１の実施形態におけるカメラ１００の動作を示すフローチャートである。
【図５】本発明における被写体と撮影者の関係を示す図である。
【図６】第１の実施形態における信頼度を算出する動作を示すフローチャートである。
【図７】第１の実施形態における被写体距離情報と輝度評価値に係る図である。
【図８】第１の実施形態において付加されるメタデータを示す図である。
【図９】第１の実施形態におけるサーバ２００の動作を示すフローチャートである。
【図１０】第１の実施形態におけるカメラ３００の動作を示すフローチャートである。
【図１１】本発明における画像データベース構築の動作を示すフローチャートである。
【図１２】第２の実施形態におけるカメラ１００の動作を示すフローチャートである。
【図１３】第３の実施形態におけるサーバ２００の動作を示すフローチャートである。
【図１４】第３の実施形態における被写体距離情報を用いて信頼度を算出する動作を示すフローチャートである。
【図１５】第４の実施形態における輝度評価値を用いて信頼度を算出する方法に係る図である。
【図１６】第４の実施形態における輝度評価値を用いて信頼度を算出する動作を示すフローチャートである。
【図１７】第４の実施形態における画像データベースから検索された複数の類似画像データにそれぞれ付加された位置情報の分布を示す図である。
【図１８】第４の実施形態における位置情報分布を用いて信頼度を算出する動作を示すフローチャートである。
【図１９】第４の実施形態におけるコントラスト情報を用いて信頼度を算出する動作を示すフローチャートである。
【図２０】第４の実施形態におけるフリッカ検出・走査線検出を用いて信頼度を算出する動作を示すフローチャートである。
【図２１】第４の実施形態におけるフォーカスレンズの状態を用いて信頼度を算出する動作を示すフローチャートである。
【図２２】第５の実施形態におけるカメラ１００の信頼度の付加の動作を示すフローチャートである。
【図２３】第５の実施形態におけるカメラ１００の信頼度の付加の動作を示すフローチャートである。
【図２４】第５の実施形態におけるカメラ１００の表示部１１３に表示される表示画面の一例を示す図である。
【発明を実施するための形態】
【００１０】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。なお、以下に説明する各実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されてもよい。また、各実施の形態は適宜組み合わされることも可能である。
【００１１】
図１に、本発明が適用されるシステムの一例を示す。
【００１２】
図１において、１００はＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）を搭載している画像処理装置の一例であるカメラである。２００はカメラと情報のやり取りを行うサーバ、３００はＧＰＳを搭載していないカメラである。
【００１３】
４００はカメラ１００で撮影する被写体（家）、５００はカメラ３００で撮影する被写体（本）である。
【００１４】
以下、図面を参照して本発明の各実施形態におけるカメラ１００、サーバ２００、カメラ３００の動作を説明する。
【００１５】
［第１の実施形態］
第１の実施形態では、図１のシステムにおいて、カメラ１００で撮影して得た画像データを保存する際に、カメラ１００の位置を示す位置情報の信頼度を決定し、画像データに付加する例について述べる。
【００１６】
本実施形態におけるカメラ１００の構成例のブロック図を図２（ａ）に示す。
【００１７】
図２（ａ）において１０１は被写体からの光束を結像するレンズ、１０２はアイリスである。
【００１８】
１０３は、レンズ１０１及びアイリス１０２を介して入射した光を光電変換し、入力画像信号として出力する撮影素子である。１０４は、撮影素子１０３からの信号を適正レベルに増幅するＡＧＣアンプであり、撮影素子１０３から出力された画像信号を適正レベルに増幅し、カメラ信号処理部１０５に出力する。１０５は、撮影素子１０３で生成された信号に対して、ガンマや輪郭強調などの補正を行うカメラ信号処理部で、処理した画像信号を符号化部１０６へ出力する。１０６は、カメラ信号処理部１０５で処理した画像信号を圧縮符号化する符号化部で、画像信号を、例えばＪＰＥＧやＭＰＥＧなどの規格に基づき圧縮符号化し、符号化した画像データを記録制御部１０７に送信する。１０７は、符号化部１０６で符号化された画像データの記録メディアへの記録を制御する記録制御部、１０８は記録メディアである。記録メディア１０８は画像データを記録する記録媒体の一種であって、カメラ１００に着脱可能なよう構成してもよいし、カメラ１００に内蔵してもよい。また、１０９は、被写体距離を測定する測距部で、距離センサとその制御部から構成される。測距部１０９は、被写体の複数点に関して距離を測定し、カメラ１００と被写体との距離を示す被写体距離情報を出力する。ここで、本実施形態における被写体距離情報の取得方法について図７を用いて説明する。図７（ｂ）は測距部１０９が被写体との距離を測定する測距点を示した図である。図７において７０１は撮影する被写体の範囲を示しており、７０２は測距点を示している。本実施形態における測距点７０２は３×３の９箇所である。測距部１０９は、この９箇所の点について被写体とカメラとの距離を算出する。被写体距離の算出方法は既知のどのような方法でもかまわないが、例えば、外測位相差検出方式によって行う。この場合、被写体から受けた光束を２分割し、該２分割した光束をラインセンサによりそれぞれ受光する。そして測距部１０９は、ラインセンサ上に形成された像のずれ量、すなわち位相差を検出し、該位相差から三角測量法を用いて被写体距離を算出する。以上が被写体距離情報の具体的な取得方法である。図２（ａ）の説明に戻る。１１０はメモリ部であり、ＲＡＭ及びＥＥＰＲＯＭを含む。メモリ部１１０には後述のシステム制御部１１２の動作用のプログラムが記憶され、また読み出したプログラムを展開する。ここでいうプログラムとは、本発明にて後述する各種フローチャートを実行するためのプログラムである。１１２はシステム全体を制御する処理を行うシステム制御部であり、各部からの入力信号やプログラムに基づき、カメラ１００の動作を制御する。例えば、レンズ１０１のフォーカスレンズを駆動させ、被写体にフォーカスが合うように制御したり、後述の信頼度を算出するなど、各部の制御を行う。なお、カメラ１００の制御は、１つのハードウェアで行ってもよいし、複数のハードウェアが処理を分担しながら行ってもよい。１１３は液晶パネルなどからなる表示部であり、記録メディア１０８に記録された画像データの閲覧や、撮影の際のスルー画像の表示などを行うよう、システム制御部１１２により制御される。１１４はユーザからの操作を受け付ける操作部、１１５はＧＰＳ衛星からの信号を受け取り、撮影情報である位置情報を取得するＧＰＳ、１１６は外部の装置と通信を行う通信部であり、システム制御部１１２によって制御される。
【００１９】
次に、本実施形態におけるサーバ２００の構成例のブロック図を図３に示す。図３において２０１は、外部機器と通信を行う通信部である。２０２はシステム全体を制御するシステム制御部であり、各部からの入力信号やプログラムに基づき、サーバ２００の動作を制御する。例えば、後述の画像記録部２０４に記録された画像データを後述の画像データベース（以下、画像ＤＢ）２０５へ登録する処理や、後述の類似画像検索の処理等、各部の制御を行う。
【００２０】
２０３はメモリ部でありＲＡＭ及びＥＥＰＲＯＭを含む。メモリ部２０３にはシステム制御部２０２の動作用のプログラムが記憶され、また読み出したプログラムを展開する。ここでいうプログラムとは、本発明にて後述する各種フローチャートを実行するためのプログラムである。
【００２１】
２０４は、画像データを記録する画像記録部で、カメラ１００から通信部２０１を介して受け取った画像データを記録するようシステム制御部２０２により制御される。この画像記録部２０４に記録された画像データは、不特定多数のユーザが任意に閲覧可能である。本実施形態においては、例えば、表示部と操作部と通信部とを有する不図示の外部情報処理装置を用いて閲覧する。外部情報処理装置の表示部には、通信部を介して取得された、画像記録部２０４に保存されている画像データのリストが表示される。そして、操作部を介してあるユーザが該画像データを選択することで、画像記録部２０４に保存された画像データが表示部に表示される。これにより該ユーザは任意の画像データを閲覧することができる。
【００２２】
２０５は大容量ＨＤＤ等の記録装置から成る画像ＤＢである。画像ＤＢ２０５は、システム制御部２０２によって、画像記録部２０４に保存されている画像データのうち、特定の画像データのみが登録される。本実施形態では、画像ＤＢ２０５に、画像記録部２０４に記録された画像データとそのメタデータとが保存されることにより画像データが登録される。なお、画像記録部２０４に記録されている画像データの保存場所のリストを保存するようにしてもよい。本実施形態では、システム制御部２０２は、この画像ＤＢ２０５に登録された画像データの中からカメラ３００より受信した画像データと類似した画像データを検索する。
【００２３】
次に、本実施形態におけるカメラ３００の構成例のブロック図を図２（ｂ）に示す。カメラ３００の構成はカメラ１００からＧＰＳ１１５を削除した構成となっている。その他の構成についてはカメラ１００と同様のため説明は省略する。
【００２４】
本実施形態における本システムの基本的な動作の概要を、図１〜３を用いて説明する。
【００２５】
本実施形態では、カメラ３００のユーザが、被写体（本）５００に載っている被写体（家）４００の写真の記事を見て、被写体（家）４００が実際に存在する位置を知りたいシーンを想定する。このようなシーンの解決策として、カメラ３００とは別のカメラからサーバ２００に送信された画像データが登録された画像ＤＢ２０５を用意する。そして、画像ＤＢ２０５に登録された画像データ中から、被写体（家）４００が写っている画像データを検索し、その画像データに付加されている位置情報を用いて、カメラ３００に被写体（家）４００の位置情報を提供することで解決する。
【００２６】
まず、カメラ１００で撮影した画像データを画像ＤＢ２０５に登録する流れを以下に説明する。
【００２７】
カメラ１００が被写体（家）４００を撮影すると、記録制御部１０７は符号化部１０６からより撮像した画像データを受信する。さらに、測距部１０９は被写体距離情報を算出する。そして、システム制御部１１２はＧＰＳ１１５を用いて撮影の際のカメラ１００の位置を示す位置情報を取得し、当該位置情報を記録制御部１０７へ出力する。さらに、撮影情報として測距部１０９は被写体距離情報をシステム制御部１１２へ出力する。さらに、撮影情報としてカメラ信号処理部１０５は輝度評価値をシステム制御部１１２へ出力する。システム制御部１１２は、カメラ１００のカメラ信号処理部１０５から入力された輝度評価値と、測距部１０９から入力された被写体距離情報から信頼度を算出して記録制御部１０７へ出力する。記録制御部１０７は入力された信頼度を、位置情報とともに画像データに対応づけて記録メディア１０８に保存する。
【００２８】
このようにして保存された画像データは、自動的に、あるいはユーザの操作によって、画像保存要求信号とともに通信部１１６を介してサーバ２００へ送信される。画像保存要求信号とは、画像記録部２０４へ該信号とともに送信した画像データを保存するようサーバ２００に要求するための信号である。これにより、カメラ１００で撮影した画像データがサーバ２００の画像記録部２０４に保存される。
【００２９】
ここで信頼度について説明する。信頼度は、ＧＰＳ１１５で取得した位置情報と、撮影された画像データが表すコンテンツとの関連性の度合いを示す。画像データが表すコンテンツとは、画像データが示す内容であり、例えば被写体５００の写真が表すコンテンツは「家」である。この信頼度は、実物の被写体を撮影している場合は高くなり、雑誌や本などのような出力物を撮影している場合は低くなる。これは、雑誌や本などの出力物を撮影している場合は、撮影位置と撮影された画像データの内容との間の関連性が低くなるためである。これついて例をあげて説明する。
【００３０】
図５（ａ）は実際の建物である被写体５０１と撮影者５０２、カメラ１００を示している。このようにコンテンツとして実物の被写体５０１を撮影している場合、撮影された画像データに記録される位置情報は、少なくとも被写体５０１を撮影できる位置の位置情報が記録される。したがって、その位置情報は被写体５０１に関連したものであるため、信頼度は高くなる。一方で、図５（ｂ）は本５０３に掲載された写真５０４をカメラ１００で撮影する様子を示している。写真５０４は被写体５０１を撮影した写真である。この場合、撮影の際に記録される位置情報は本５０３の位置情報であるが、画像データの内容が示すのは被写体５０１の写真を撮影したものである。つまり、画像データが表すコンテンツ（被写体５０１）と、記録される位置情報（本５０３の位置情報）との関連性がない可能性が高くなる。そのため、信頼度は低くなる。以上が信頼度の説明である。
【００３１】
カメラ１００で撮影した画像データを画像ＤＢ２０５に登録する流れの説明に戻る。サーバ２００はカメラ１００からの画像データを受信し、画像記録部２０４に保存する。ここで、サーバ２００は、画像記録部２０４に保存された画像データのうち、信頼度の高い画像データを画像ＤＢ２０５に登録する。このようにして多くの画像データが画像ＤＢ２０５に登録されていくことによって、画像ＤＢ２０５には信頼度の高い画像データが登録されることとなる。本実施形態では、これらの信頼度の高い画像データを用いて後述する類似画像検索を行うこととする。
【００３２】
以上が、画像ＤＢ２０５に画像データを登録するまでの流れである。
【００３３】
次に、カメラ３００のユーザが被写体（家）４００の実際に存在する位置をサーバ２００から受け取るまでの流れを説明する。
【００３４】
まず、カメラ３００は被写体（本）５００に載っている被写体（家）４００の画像データを撮影し、サーバ２００へ位置情報取得要求信号とともに送信する。位置情報要求信号とは、画像ＤＢ２０５に登録された画像データのうち、該信号とともに送信する画像データに類似した画像データをサーバ２００に検索させるための信号である。
【００３５】
サーバ２００は、カメラ３００からの位置情報取得要求信号とともに送信された画像データを受信すると、画像ＤＢ２０５に保存された画像データから類似画像検索を行う。本実施形態においては、サーバ２００は受信した被写体（本）５００に載っている被写体（家）４００に類似している画像データを検索し、被写体（家）４００の画像データを検索結果として得る。そして、被写体（家）４００の画像データに対応づけられた位置情報を取得し、取得した位置情報をカメラ３００に送信する。
【００３６】
このように制御することによって、カメラ３００は被写体（本）５００に載っている被写体（家）４００を撮影することで、被写体（家）４００の位置情報をサーバ２００から取得可能となる。
【００３７】
以上が、カメラ３００のユーザが被写体（家）４００の実際に存在する位置をサーバ２００から受け取るまでの流れである。
【００３８】
以上の動作を、（１）カメラ１００が画像データをサーバ２００へ送信し、該画像データをサーバ２００が画像ＤＢ２０５へ登録する動作、（２）カメラ３００で撮影された画像に基づき、サーバ２００が位置情報をカメラ３００へ送信する動作、に分けて説明する。
【００３９】
（１）カメラ１００が画像データをサーバ２００へ送信し、該画像データをサーバ２００が画像ＤＢ２０５へ登録する動作
まず、前述のように構成されたカメラ１００の動作について図４のカメラ動作フローを用いて説明する。このフローチャートにおける各処理は、カメラ１００の動作を制御するプログラムをメモリ部１１０からシステム制御部１１２が読み出し・展開・実行することにより実現される。以下、カメラ１００の動作を示す各フローチャートにおける各処理は同様の方法で実現される。
【００４０】
図４（ａ）に示すフローは、操作部１１４を介して撮影指示が受け付けられたことに応じて開始される。
【００４１】
撮影指示を受け付けると、ステップＳ４０１においてシステム制御部１１２は画像データの撮影を行う。さらに、測距部１０９は前述の被写体距離情報をシステム制御部へ出力する。
【００４２】
ステップＳ４０２では、システム制御部１１２は、ＧＰＳ１１５を用いて、カメラ１００の位置を示す位置情報を求める。この処理はステップＳ４０１と並行して行ってもよい。
【００４３】
さらに、ステップＳ４０３では、システム制御部１１２は、カメラ信号処理部１０５からは画像データの輝度信号を取得する。具体的には、カメラ信号処理部１０５は、画像データの輝度信号を図７（ａ）に示すような４×４＝１６のメッシュ枠に分割する。カメラ信号処理部１０５は、この１６個のメッシュ枠ごとに輝度値を平均化し１６個の輝度評価値を生成し、システム制御部１１２へ出力する。
【００４４】
次に、ステップＳ４０４にて、システム制御部１１２は当該輝度信号と前記被写体距離情報から信頼度を算出する。この処理については後述する。
【００４５】
ステップＳ４０５で、システム制御部１１２は記録制御部１０７により、被写体距離情報と、位置情報と、輝度評価値と、信頼度とを、ステップＳ４０１で得られた画像データのメタデータとして付加するよう制御する。
【００４６】
被写体距離情報と位置情報と輝度評価値と信頼度は、それぞれステップＳ４０１、ステップＳ４０２、ステップＳ４０３、ステップＳ４０４で求めたものである。
【００４７】
そして、ステップＳ４０６にてシステム制御部１１２は記録制御部１０７により、ステップＳ４０５でメタデータとして信頼度を付加された画像データを記録メディア１０８に記録するよう制御する。
【００４８】
このようにして記録メディア１０８に記録された画像データは、自動的に、或いは操作部１１４を介して受け付けたユーザの操作によってサーバ２００へ画像保存要求信号とともに送信される。図４（ｂ）に示すフローは画像保存要求信号とともに画像データを送信する命令を受け付けることで開始される。
画像保存要求信号とともに画像データを送信する命令を受け付けると、ステップＳ４０７にて、システム制御部１１２は、記録メディア１０８に保存されている送信対象の画像データを、通信部１１６を介して画像保存要求信号とともにサーバ２００に送信する。
【００４９】
ここで、ステップＳ４０４の、信頼度を算出する際のカメラ１００の動作について説明する。
【００５０】
システム制御部１１２は実物を撮影している状況なのか、本やテレビなどの出力物を撮影しているのかを判断し、信頼度を算出する。本実施形態では、システム制御部１１２は、カメラ信号処理部１０５から出力された輝度信号と、測距部１０９から出力された、距離情報に基づき信頼度を算出する。以下、この信頼度の算出方法について詳しく説明する。
【００５１】
図６は、図４におけるステップＳ４０３の信頼度算出処理におけるカメラ１００の動作を示すフローチャートである。
【００５２】
図６のステップＳ６００において、システム制御部１１２は、カメラ信号処理部１０５から取得した１６個の輝度評価値から、その分散値を算出する。分散値の算出方法は一般的な方法でかまわない。
【００５３】
ステップＳ６０１では、システム制御部１１２は測距部１０９から取得した９個の被写体距離情報の平均値と分散値を算出する。
【００５４】
ステップＳ６０２でシステム制御部１１２は、ステップＳ６０１で算出した被写体距離の平均値が閾値Ａ以上であるか判断する。閾値Ａ以上であると判断された場合は、被写体との距離が遠く、近くの本などを撮影している可能性が低いと判断し、ステップＳ６０３へ進む。閾値Ａよりも小さいと判断された場合はステップＳ６０４へ進む。
【００５５】
ステップＳ６０３にて、システム制御部１１２は、画像データに付加する信頼度を上げるよう設定する。具体的には、画像データに付加する信頼度（本実施形態では初期値０．５をとることとする）に一定の値（ここでは＋０．５）を加算した値に設定する（本実施形態では信頼度の最大値は１．０とする）。
【００５６】
一方、ステップＳ６０４では、システム制御部１１２は、被写体距離の分散値が所定の閾値Ｂ以上であるか否かを判断する。被写体距離の分散値が閾値Ｂ以上であると判断された場合は、被写体距離がばらついているということであり、実物の被写体である可能性が高いと判断し、ステップＳ６０３へ進む。一方、被写体距離の分散値が閾値Ｂよりも小さいと判断された場合は、被写体距離が均一であり、本などの平坦な被写体を撮影している可能性があるとして、ステップＳ６０５へ進む。
【００５７】
ステップＳ６０５では、システム制御部１１２は輝度評価値の分散値が閾値Ｃ以上であるか判断する。輝度評価値の分散値が閾値Ｃ以上と判断された場合は、輝度評価値の分散値が高くばらついているにも関わらず、距離の分散値が低い（Ｓ６０４より）ということなので、本などの平坦な被写体を撮影している可能性が高いと判断し、ステップＳ６０６へ進む。一方、輝度評価値の分散値が閾値Ｃよりも小さいと判断された場合は、ステップＳ６０７へ進む。
【００５８】
ステップＳ６０６では、画像データに付加する信頼度を下げるよう設定する。具体的には、信頼度に一定の値（ここでは−０．５）を加算した値に設定する（本実施形態では信頼度の最低値は０．０）。ステップＳ６０７では、信頼度を、距離の分散値に基づき設定する。具体的には、被写体距離の分散値が閾値Ｂに近づくほど、信頼度を最大値（１．０）に近づけ、被写体距離の分散値が０に近づくほど信頼度を最小値（０．０）に近づけるように設定する。ここでは、被写体距離の分散値が閾値Ｂに近づくほど信頼度の初期値に加える値を＋０．５に近づけ、被写体距離の分散値が０に近づくほど信頼度の初期値に加える値を−０．５に近づける。
【００５９】
以上、システム制御部１１２における信頼度の算出フローについて説明した。ここで求められる信頼度は、上述の図４におけるステップＳ４０５にて、画像データのメタデータとして付加される。画像データに付加するメタデータの例を図８に示す。図８において８０１が位置情報、８０２が信頼度を示している。
【００６０】
以上、本実施形態におけるカメラ１００の動作について説明した。
【００６１】
次に、カメラ１００から画像データを受信したサーバ２００の動作について図９のサーバの動作フローを用いて説明する。このフローチャートにおける各処理は、サーバ２００の動作を制御するプログラムをメモリ部２０３からシステム制御部２０２が読み出し・展開・実行することにより実現される。以下、サーバ２００の動作を示す各フローチャートにおける各処理は同様の方法で実現される。
【００６２】
まず、ステップＳ９００にて、サーバ２００は通信部２０１を介して、カメラ１００から画像データとともに前述した画像保存要求信号または位置情報要求信号を受信する。
【００６３】
そして、ステップＳ９０１にて、システム制御部２０２は、サーバ２００が画像データとともに受信した信号が、画像保存要求信号であるか位置情報要求信号であるかを判断する。
【００６４】
ここでは、ステップＳ９００にてサーバ２００が受信した信号が、ステップＳ９０１にて画像保存要求信号であると判断され、ステップＳ９０２に進む場合について説明する。ステップＳ９０４に進む場合については後述する。
【００６５】
ステップＳ９００にて受信した信号が画像保存要求信号であると判断された場合、ステップＳ９０２に進む。
【００６６】
ステップＳ９０２にてシステム制御部２０２は、画像保存要求信号とともに受信した画像データを画像記録部２０４に保存するよう制御する。
【００６７】
ステップＳ９０３では、システム制御部２０２は、ステップＳ９０２にて保存された画像データを用いて、画像ＤＢ２０５を構築する。具体的には、サーバ２００は、画像記録部２０４に保存された画像データのうち、信頼度が一定値以上の画像データを画像ＤＢ２０５に登録する。
【００６８】
ここで、ステップＳ９０３の画像ＤＢ２０５の構築におけるサーバの動作について図１１を用いて説明する。
【００６９】
図１１は、画像ＤＢ２０５を構築する際のサーバ２００の動きを示したフローチャートである。
【００７０】
ステップＳ１１０１において、システム制御部２０２は画像記録部２０４に記録された画像データを取得する。本実施形態では画像データのコピーをメモリ部２０３に生成する。
【００７１】
ステップＳ１１０２では、システム制御部２０２は、取得した画像データから図８に示したようなメタデータを抽出する。
【００７２】
ステップＳ１１０３では、システム制御部２０２が、抽出したメタデータから位置情報と信頼度を取得する。
【００７３】
ステップＳ１１０４では、システム制御部２０２が、メタデータから位置情報および信頼度を取得できたかどうか、すなわちメタデータに位置情報および信頼度が記録されていたかを判断する。位置情報および信頼度が記録されていると判断された場合は、ステップＳ１１０５に進み、位置情報および信頼度が記録されていないと判断された場合はステップＳ１１０７に進む。
【００７４】
ステップＳ１１０５では、システム制御部２０２は信頼度が閾値Ｄ以上であるか判断する。信頼度が閾値Ｄ以上と判断されればステップＳ１１０６へ進み、閾値Ｄ未満と判断された場合はステップＳ１１０７へ進む。
【００７５】
ステップＳ１１０６では、システム制御部２０２が、画像データを画像ＤＢ２０５へ登録する。本実施形態ではメモリ部２０３に生成された画像データのコピーを、画像ＤＢ２０５を構成するＨＤＤに保存する。
【００７６】
ステップＳ１１０７では、システム制御部２０２が、画像データを画像ＤＢ２０５へ登録せずに処理を終了する。メモリ部２０３に生成された画像データのコピーは破棄される。
【００７７】
以上が、システム制御部２０２が画像ＤＢ２０５を構築する際の動作である。このように制御することにより、位置情報が記録されており、かつ信頼度が高い画像データのみを画像ＤＢ２０５に登録することが可能となる。
【００７８】
（２）カメラ３００が撮影した画像データをサーバ２００へ送信し、該画像データに応じてサーバ２００が位置情報をカメラ３００へ送信する動作
次に、カメラ３００が撮影した画像データを位置情報要求信号とともにサーバ２００に送り、サーバ２００が類似画像検索を行い、類似画像データに付加された位置情報をカメラ３００に送信する際の処理について図９と図１０を用いて説明する。
【００７９】
図１０はカメラ３００がサーバ２００へ画像データとともに位置情報要求信号を送り、サーバ２００から位置情報を受信する動作を示すフローチャートである。本フローは、自動的に、或いは操作部１１４を介して受け付けたユーザの操作によってサーバ２００へ画像保存要求信号とともに画像データを送信する命令を受け付けることで開始される。
【００８０】
ステップＳ１０００にて、システム制御部１１２は画像データとともに位置情報要求信号を、通信部１１６を介してサーバ２００へ送信する。
【００８１】
次に、カメラ３００から位置情報要求信号を受信したサーバ２００の動作の説明に移る。
【００８２】
ここでは、図９のステップＳ９０１にてサーバ２００が受信した信号が位置情報要求信号であると判断された場合について説明する。この場合、ステップＳ９０４に進む。
【００８３】
ステップＳ９０４にて、システム制御部２０２は画像ＤＢ２０５を参照し、位置情報要求信号とともに受信した画像データの被写体と特徴が類似する画像を画像ＤＢ２０５に登録された画像データから検索する。
【００８４】
ステップＳ９０４で類似する画像データが無い場合、ステップＳ９０５へ進む。ステップＳ９０５では、システム制御部２０２は、類似する画像データが無かった旨をカメラ３００へ通知し、処理を終了する。
【００８５】
一方、ステップＳ９０４で類似する画像データがあった場合、ステップＳ９０６にてシステム制御部２０２は、最も類似する画像データに付加された位置情報を、通信部２０１を介してカメラ３００に送信し、処理を終了する。
【００８６】
処理の説明を図１０のカメラ３００の動作に戻す。カメラ３００はステップＳ１０００にて位置情報要求信号とともに画像データを送信した後、システム制御部１１２はステップＳ１００１にてサーバ２００からの信号受信を受信したか否かを判断する。受信していないと判断した場合、システム制御部１１２はステップＳ１００１の処理を繰り返す。この処理は一定回数あるいは一定時間の経過によって処理を終了するよう制御してもよい。
【００８７】
システム制御部１１２がステップＳ１００１にてサーバ２００からの信号を受信したと判断した場合、処理はステップＳ１００２へ進む。ステップＳ１００２では、システム制御部１１２は、受信した信号が、図９のステップＳ９０５にてサーバ２００から送信された類似画像データが無い旨の通知であるか、図９のステップＳ９０６にてサーバ２００から送信された位置情報であるかを判断する。ステップＳ１００２にて受信した信号が、類似画像データがない旨の通知であると判断された場合、処理はステップＳ１００４へ進む。ステップＳ１００４では、システム制御部１１２は受信した通知に基づいて、サーバ２００の画像ＤＢ２０５には類似画像データが存在してない旨をユーザに通知する。本実施形態ではシステム制御部１１２が表示部１１３に「類似画像がありませんでした」等のメッセージを表示させることでユーザに通知することとする。もちろんこの通知方法はこれに限るものではない。
【００８８】
一方、ステップＳ１００２にて受信した信号が、位置情報であると判断された場合、処理はステップＳ１００３へ進む。ステップＳ１００３では、システム制御部１１２は、受信した位置情報を表示部１１３へ表示する。本実施形態では、システム制御部１１２が、カメラ３００からサーバ２００へ送信した画像データとともに「この画像の位置情報はＸＸＸＸです」等というメッセージを表示させることとする。もちろんこの通知方法はこれに限るものではない。さらに、該画像データのメタデータとして、サーバ２００から得た位置情報を付加してもよい。
【００８９】
以上が、カメラ３００が撮影した画像データを位置情報要求信号とともにサーバ２００に送り、サーバ２００が類似画像検索を行い、類似画像データに付加された位置情報をカメラ３００に送信する際のカメラ３００とサーバ２００の動作の説明である。
【００９０】
以上、述べたように本実施形態のシステムでは、カメラ１００は、撮影の際のカメラ１００の位置を示す位置情報と撮影された画像データの内容との関連性の度合いを示す信頼度を生成し、メタデータとして記録する構成とした。また、サーバ２００は、信頼度が一定値よりも高い画像データを利用して画像データベースを構築する構成とした。これにより、カメラ３００が類似画像データを用いて位置情報を検索する際に精度の高い位置情報が提供できる。
【００９１】
なお、カメラ１００からサーバ２００に画像保存要求信号とともに画像データを送信する際に、画像データに対応づけられた信頼度を用いて送信するか否か判断する構成にしてもよい。例えば、画像データに対応づけられた信頼度が高ければサーバ２００に送信し、画像データに対応づけられた信頼度が低ければ送信しないよう制御してもよい。こうすることで、画像ＤＢ２０５には信頼度の高い画像データのみが登録されることとなり、類似画像データを用いて位置情報を検索する際に精度の高い位置情報を得ることができる。
【００９２】
また、サーバ２００が類似画像検索を行う際に、信頼度を用いて検索対象とするか否かを判断する構成にしてもよい。例えば、画像データに対応づけられた信頼度が一定値よりも高ければ検索対象とし、画像データに対応づけられた信頼度が低ければ検索対象としないよう制御してもよい。これにより、カメラ３００へ精度の高い位置情報を提供できる。
【００９３】
以上が、第１の実施形態の説明である。
【００９４】
［第２の実施形態］
第１の実施形態では、図１のシステムにおいて、カメラ１００で位置情報の信頼度を画像データのメタデータとして付加する例について述べた。
【００９５】
これに対し、第２の実施形態では、図１のシステムにおいて、カメラ１００からサーバ２００への画像データ送信の際に位置情報の信頼度を画像データのメタデータとして付加する例について述べる。
【００９６】
本実施形態のカメラ１００、サーバ２００とカメラ３００の構成は第１の実施形態と同様のため説明は省略する。
【００９７】
本実施形態が第１の実施形態と異なるのは、撮影後に画像データを保存する際に信頼度を算出・対応付けを行わずに、記録メディア１０８に保存された画像データをカメラ外部に送信する際に該画像データに対して信頼度の算出・対応付けを行う点である。
【００９８】
本実施形態におけるシステムの基本的な動作の概要を、図１〜３を用いて説明する。
【００９９】
カメラ１００が被写体（家）４００を撮影すると、記録制御部１０７は、受信した画像データのメタデータとして、位置情報と被写体距離情報と輝度評価値とを付加して記録メディア１０８に保存する。
【０１００】
こうして保存された画像データをサーバ２００へ送信する送信命令を受け付けた場合、システム制御部１１２は、送信する画像データのメタデータから被写体距離情報と輝度評価値とを取得し、信頼度を計算する。
【０１０１】
そして、システム制御部１１２は算出した信頼度を、送信する画像データのメタデータとして付加してから、該画像データを、通信部１１６を介してサーバ２００へ送信するよう制御する。
【０１０２】
以降のサーバ２００の動作や、カメラ３００で撮影された画像データに基づき、サーバ２００が位置情報をカメラ３００へ送信する動作については第１の実施形態と同様であるため説明は省略する。
【０１０３】
図１２は、本実施形態の処理を行うカメラ１００の動作を示すものである。上記カメラ１００の動作を図１２に示すフローチャートを用いて説明する。図１２（ａ）は撮影した画像データを保存する動作、図１２（ｂ）は保存された画像データをサーバ２００へ送信する際に信頼度を対応づけてから送信する動作を示すフローチャートである。
【０１０４】
図１２（ａ）のフローは操作部１１４を介して撮影指示が受け付けられたことに応じて開始される。
【０１０５】
ステップＳ１２０１〜ステップＳ１２０３、は、図４のステップＳ４０１〜ステップＳ４０３と同様の処理を行う。
【０１０６】
ステップＳ１２０４で、システム制御部１１２は、取得した位置情報と被写体距離情報と輝度評価値とを、ステップＳ１２０１で得られた画像データにメタデータとして付加する。ステップＳ１２０５にて、システム制御部１１２は、該画像データを記録メディア１０８に保存する。
【０１０７】
こうして保存された画像データは、所定のタイミングで、或いは操作部１１４を介して受け付けたユーザの操作によってサーバ２００へ画像保存要求信号とともに送信される。図１２（ｂ）のフローは、画像保存要求信号とともに画像データを送信する命令を受け付けることで開始される。図１２（ｂ）は図４（ｂ）のステップＳ４０７の前に、ステップＳ１２０６〜ステップＳ１２０８の処理を行う。ステップＳ１２０９は図４（ｂ）のステップＳ４０７と同様の処理を行う。
【０１０８】
画像保存要求信号とともに画像データを送信する命令を受け付けると、ステップＳ１２０６にて、システム制御部１１２は、送信する画像データに付加された被写体距離情報と輝度評価値を、記録制御部１０７を介して取得する。次に、ステップＳ１２０７にて、システム制御部１１２は、ステップＳ１２０６にて取得した被写体距離情報と輝度評価値とを用いて信頼度を求める。この処理は図４のステップＳ４０４、図７の処理と同様である。ステップＳ１２０８にてシステム制御部１１２は、記録制御部１０７により、ステップＳ１２０７で求められた信頼度を、送信する画像データにメタデータとして付加する。
【０１０９】
最後に、ステップＳ１２０９にて、システム制御部１１２は、信頼度がメタデータとして付加された画像データを、画像保存要求信号とともに通信部１１６を介してサーバ２００へ送信するよう制御する。
【０１１０】
以上、本実施形態における信頼度算出の際の動作について説明した。
【０１１１】
以上の動作により、撮影した画像データが記録メディア１０８に記録されている状態、つまりカメラを所持している者だけが画像データを利用する可能性が高い状態では、信頼度を算出・付加を行わなくなる。これによりカメラ１００の負荷を減少することができる。また、撮影した画像データに対応づけられる位置情報の信頼度がカメラ外部に送信されるときに付加されることとなり、位置情報がカメラを所持している者以外の者が利用しやすくなる前に信頼度を付加することができる。
【０１１２】
［第３の実施形態］
第２の実施形態では、図１のシステムにおいて、カメラ１００から画像データを送信する際に信頼度を画像データに付加する例について述べた。これに対し、第３の実施形態では、図１のシステムにおいて、サーバ２００で位置情報の信頼度を画像データのメタデータとして付加する例について述べる。
【０１１３】
本実施形態のカメラ１００、サーバ２００とカメラ３００の構成は第１の実施形態と同様である。ただし、本実施形態ではカメラ１００のシステム制御部１１２は信頼度の算出（図６の処理）を行わず、サーバ２００のシステム制御部２０２が信頼度の算出を行う点が第１の実施形態と異なる。
【０１１４】
第３の実施形態における本システムの基本的な動作の概要を、図１〜３を用いて説明する。
【０１１５】
カメラ１００が被写体（家）４００を撮影すると、記録制御部１０７は、受け取った画像データに、位置情報と被写体距離情報と輝度評価値とをメタデータとして付加し、該画像データを記録メディア１０８に保存する。
【０１１６】
こうして保存された、被写体距離情報と輝度評価値とがメタデータとして付加された画像データを、サーバ２００へ送信する送信命令を受け付けた場合、該画像データを、通信部１１６を介してサーバ２００へ送信する。
【０１１７】
次に、サーバ２００はカメラ１００から送信された画像データを受信し、画像記録部２０４に保存する。その際、システム制御部２０２は受信した画像データのメタデータから被写体距離情報と輝度評価値を取得し、信頼度を算出する。そして、算出された信頼度をメタデータとして付加された受信画像データが、画像記録部２０４に保存される。そして、第１の実施形態と同様にサーバ２００は、画像記録部２０４に保存された画像データのうち、信頼度が一定値よりも高い画像データを画像ＤＢ２０５に登録する。
【０１１８】
これ以降の、カメラ３００で撮影された画像データに基づきサーバ２００が位置情報を送信する動作については第１の実施形態と同様のため省略する。
【０１１９】
本実施形態におけるカメラ１００の動作は、図１２（ａ）に示される動作、及び図４（ｂ）に示される動作と同様である。
【０１２０】
図１２（ａ）の動作により記録メディア１０８に保存された画像データは、自動的に、或いは操作部１１４を介して受け付けたユーザの操作によって、図４（ｂ）の動作によりサーバ２００へ画像保存要求信号とともに送信される。
【０１２１】
次に、前記画像保存要求信号とともに送信された画像データを受信したサーバ２００の動作について図１３のサーバの動作フローを用いて説明する。
【０１２２】
図１３は、図９のステップＳ９０２とステップＳ９０３の間に、ステップＳ１３０３〜Ｓ１３０５の処理を行う。それ以外のステップでは図９と同様の処理を行う。
【０１２３】
まず、ステップＳ１３００にて、サーバ２００は通信部２０１を介して、カメラ１００から画像データとともに画像保存要求信号または位置情報要求信号を受信する。
【０１２４】
ステップＳ１３０１にて、システム制御部２０２は、サーバ２００が画像データとともに受信した信号が、画像保存要求信号であるか位置情報要求信号であるかを判断する。
【０１２５】
ここでは、ステップＳ１３０１にて、サーバ２００が受信した信号が画像保存要求信号であると判断され、ステップＳ１３０２に進む場合について説明する。ステップＳ１３０６に進む場合については第１の実施形態と同様のため説明は省略する。
【０１２６】
ステップＳ１３０１にて受信した信号が画像保存要求信号であると判断された場合、ステップＳ１３０２に進む。ステップＳ１３０２にてシステム制御部２０２は、画像保存要求信号とともに受信した画像データを画像記録部２０４に保存するよう制御する。
【０１２７】
ステップＳ１３０３において、システム制御部２０２は、画像記録部２０４に保存された画像データのメタデータから被写体距離情報と輝度評価値とを取得する。
【０１２８】
ステップＳ１３０４では、図４のステップＳ４０４、図６の処理と同様の処理によって信頼度を求める。
【０１２９】
ステップＳ１３０５では、システム制御部１１２はステップＳ１３０４で求められた信頼度をステップＳ１３００で受信した画像データにメタデータとして付加して、該画像データを画像記録部２０４に保存する。
【０１３０】
ステップＳ１３０６以降は図９と同様なので説明は省略する。
【０１３１】
以上のようにサーバにより画像データに信頼度を付加する構成とすることで、カメラ１００が信頼度を算出する機能を持たずとも画像データに信頼度を付加することができる。
【０１３２】
以上、第３の実施形態では、サーバ側で信頼度を生成する場合について述べた。
【０１３３】
［第４の実施形態］
上述の実施形態では、被写体距離情報及び輝度評価値を用いて信頼度を算出していた。本実施形態ではそれとは別に、以下の６つの方法で信頼度を算出する方法についてそれぞれ説明する。
（１）被写体距離情報を用いて信頼度を算出する方法
（２）輝度評価値を用いて信頼度を算出する方法
（３）位置情報分布を用いて信頼度を算出する方法
（４）コントラスト情報を用いて信頼度を算出する方法
（５）フリッカ検出・走査線検出を用いて信頼度を算出する方法
（６）フォーカスレンズの状態を用いて信頼度を算出する方法
これらの信頼度算出の処理は図６を用いて説明した信頼度算出のフローにとってかわる、あるいは組み合わせて用いられるものである。
【０１３４】
（１）被写体距離情報を用いて信頼度を算出する方法
ここでは、信頼度を算出する方法として、被写体距離情報と輝度評価値のうち、被写体距離情報を用いた算出方法について説明する。被写体距離情報を用いる場合、被写体との距離が遠いか、距離の分散値が大きい場合は信頼度を高くし、被写体距離が近く、距離の分散値が小さい場合は信頼度を低くする。
【０１３５】
図１４を用いて、被写体距離情報を用いて信頼度を算出する処理の流れについて説明する。
【０１３６】
図１４のフローチャートは、図６におけるステップＳ６００を削除し、ステップＳ６０５〜ステップＳ６０７の代わりにＳ１４０５の処理を行うものである。ステップＳ１４０１〜ステップＳ１４０４は図６のステップＳ６０１〜ステップＳ６０４と同様の処理を行う。
【０１３７】
ステップＳ１４０１〜Ｓ１４０４については図６と同様の処理なので説明を省略する。
【０１３８】
ステップＳ１４０４にて被写体距離の分散値が閾値Ｂ以上であると判断された場合、ステップＳ１４０３へ進み、システム制御部１１２あるいはシステム制御部２０２は、ステップＳ１４０３にて信頼度を上げるよう設定する。具体的には信頼度（本実施形態では初期値０．５をとることとする）に一定の値（ここでは＋０．５）を加算した値に設定する。
【０１３９】
ステップＳ１４０４にて被写体距離の分散値が閾値Ｂ以上でないと判断された場合、ステップＳ１４０５に進む。
【０１４０】
ステップＳ１４０５では、システム制御部１１２あるいはシステム制御部２０２は、被写体距離の分散値の値に応じて信頼度を設定する。本実施形態では、分散値が閾値Ｂに近づくにつれて信頼度を高く設定し、分散値が０に近づくにつれて信頼度を低く設定する。本実施形態では、分散値が閾値Ｂに近づくほど信頼度に加える値を＋０．５に近づけ、分散値が０に近づくほど信頼度に加える値を−０．５に近づける。
【０１４１】
以上、被写体距離情報を用いて信頼度を算出する方法について説明した。これにより、被写体とカメラ１００との距離が近く、かつ被写体距離の分散値が低い（被写体が平坦である）場合は、被写体が印刷物である可能性が高いと判断して信頼度を低く設定することができる。
【０１４２】
（２）輝度評価値を用いて信頼度を算出する方法
ここでは、信頼度を算出する方法として、被写体距離情報と輝度評価値のうち、輝度評価値を用いた算出方法について説明する。この場合、撮影情報である撮影範囲内の輝度分布において、本の用紙と画像領域との境界で急峻な輝度の変化が生じることを利用する。図１５（ａ）は本に掲載された写真を撮影するケースでの、本と撮影範囲の関係を示している。図１５（ａ）において、１５０１は本全体、１５０２は撮影範囲を示している。また、図１５（ｂ）は撮影された画像データを示している。図１５（ｃ）は撮影画像データ（図１５（ｂ））の１５０３の１ピクセル幅のラインでの輝度波形を示した図である。図１５（ｃ）の縦軸は輝度をとり、横軸は、ピクセルをとる。本などを撮影した際には、１５０４に示すような波形で、印刷物において生じる可能性が高い急峻な輝度の変化が生じる場合がある。これは、画像領域と本の用紙との境界である。このような急峻な輝度の変化が輝度信号に含まれるか否かを判断し、急峻な輝度の変化を検出した場合には、実被写体を撮影していない可能性が高いとみなして、信頼度を低くする。本実施形態では、図１５（ｃ）に示す輝度波形において、あるピクセル位置の輝度と、隣接するピクセルの輝度との差が一定の値以上であった場合に、急峻な輝度の変化があったと判断する。
【０１４３】
図１６を用いて、輝度評価値を用いて信頼度を算出する処理の流れについて説明する。図１６は輝度評価値を用いた信頼度の算出方法のフローチャートである。
【０１４４】
ステップＳ１６０１にてシステム制御部１１２あるいはシステム制御部２０２は、信頼度を付加する画像データから、図１５（ｃ）に示すような任意のラインの画像データの輝度波形を取得する。
【０１４５】
ステップＳ１６０２にてシステム制御部１１２あるいはシステム制御部２０２は、輝度波形に急峻な輝度の変化の有無を判断する。
【０１４６】
ステップＳ１６０２にて急峻な輝度の変化があると判断された場合、システム制御部１１２あるいはシステム制御部２０２は、ステップＳ１６０３にて信頼度を下げるよう設定する。本実施形態では、信頼度に加算する値を−０．５とする。
【０１４７】
ステップＳ１６０２にて急峻な輝度の変化がないと判断された場合、システム制御部１１２あるいはシステム制御部２０２は、信頼度を変更せずに処理を終了する。
【０１４８】
以上、輝度評価値を用いて信頼度を算出する方法について説明した。これにより、画像データの輝度値に急峻な変化がみられた場合は被写体が印刷物である可能性が高いと判断して信頼度を低く設定できる。
【０１４９】
（３）位置情報分布を用いて信頼度を算出する方法
ここでは、信頼度を算出する方法として位置情報分布を用いて信頼度を算出する方法について説明する。位置情報分布とは、サーバ２００の画像ＤＢ２０５に登録されている画像データのうち、カメラ１００から受信した画像データ（受信画像データ）に類似した画像データ（類似画像データ）に対応づけられた位置情報の分布である。図１７は複数の類似画像データにそれぞれ対応づけられた位置情報の分布を示すヒストグラムの一例である。図１７において横軸は類似画像データに対応づけられた位置情報を示し、縦軸は類似画像データの数を表す度数を示している。本実施形態では、位置情報が緯度と経度で付加されることとし、図１７の横軸は緯度又は経度の階級をとることとする。階級の取り方は任意の方法でかまわない。以後、階級のことを位置と呼ぶ。ある位置での度数が多いということは、その位置の緯度又は経度に対応づけられた類似画像データが多く存在するということを示している。
【０１５０】
位置情報がメタデータとして付加された画像データがカメラ１００からサーバ２００へ送信されると、システム制御部２０２は画像ＤＢ２０５に登録されている画像データのなかから、受信画像データに類似した画像データの検索を行う。類似画像データが存在する場合、システム制御部２０２は、検索された類似画像データに対応づけられた位置情報から、図１７に示すような、類似画像データに対応づけられた位置情報の分布を示すヒストグラムを算出する。さらに、システム制御部２０２は該ヒストグラムから、ヒストグラムのピークを示す位置（ピーク位置）を算出し、ピーク位置と、ピーク位置の度数と、受信した画像データに対応づけられた位置情報が示す位置（画像データ位置）とを用いて信頼度を算出する。本実施形態では、ピーク位置とは、ある位置の度数から右隣の位置の度数を引いた差をとり、その差が負から正になる位置とする。もちろんピーク位置を定める方法はこれに限るものではない。図１７の例では、位置Ｐ１がピーク位置となる。
【０１５１】
信頼度の算出においては、このピーク位置Ｐ１の度数が一定値以上であり、ピーク位置Ｐ１が画像データ位置Ｐ０の一定距離内にある場合には、受信画像データに類似した画像データが一定距離以内で多く撮影されていたということなので、信頼度は高く設定される。一方、ピーク位置が存在しない場合や、全てのピーク位置の度数が一定値未満であった場合は、ヒストグラムからは判断できないため信頼度は変更されない。さらに、ピーク位置Ｐ１の度数が一定値以上であるが、ピーク位置Ｐ１が、画像データ位置Ｐ０の一定距離外にある場合には、受信画像データに類似した画像データが離れた場所で多く撮影されていたということなので、信頼度は低く設定される。
【０１５２】
図１８を用いて、位置情報分布を用いて信頼度を算出する処理の流れについて説明する。図１８は位置情報分布を用いた信頼度の算出方法のフローチャートである。
【０１５３】
図１８に位置情報分布を用いた信頼度算出のフローチャートを示す。
【０１５４】
ステップＳ１８０１にて、システム制御部２０２は信頼度を付加する画像データと類似する画像データを、画像ＤＢ２０５に登録された画像データから検索する。
【０１５５】
ステップＳ１８０１にて類似する画像データが無いと判断された場合、システム制御部２０２は信頼度を変更せずに処理を終了する。
【０１５６】
一方、ステップＳ１８０１にて複数の類似する画像データがあると判断された場合、ステップＳ１８０２に進む。
【０１５７】
ステップＳ１８０２では、システム制御部２０２は複数のまたは一つの類似する画像データにそれぞれ付加された位置情報の分布におけるピークが存在するか否かを判断する。
【０１５８】
ステップＳ１８０２にてピークが存在しないと判断された場合、システム制御部２０２は信頼度を変更せずに処理を終了する。
【０１５９】
ステップＳ１８０２でピークが一つ、または複数存在すると判断された場合、システム制御部２０２はステップＳ１８０３にて、各ピークの度数が一定値以上であるか判断する。ステップＳ２００３にて全てのピークの度数が一定値未満であると判断された場合、システム制御部２０２は信頼度を変更せずに処理を終了する。ステップＳ１８０３にて一つ以上のピークの度数が一定値以上であると判断された場合、ステップＳ１８０４へ進む。ステップＳ１８０４では、システム制御部２０２は信頼度を付加する画像データに対応づけられた位置情報の示す位置Ｐ０と、度数が一定値以上のピークの位置との距離を算出する。そしてＰ０から一定距離よりも近い、度数が一定値以上のピークの位置が存在するか否かを判断する。
【０１６０】
Ｓ１８０４にてＰ０から一定距離よりも近い、度数が一定値以上のピークの位置が存在すると判断された場合、システム制御部２０２はステップＳ１８０４にて信頼度を上げるよう設定する。本実施形態では信頼度に０．５の値を加算する。
【０１６１】
ステップＳ１８０３にてＰ０から一定距離よりも近い、度数が一定値以上のピークの位置が存在しないと判断された場合、システム制御部２０２はステップＳ１８０５にて信頼度を下げるよう設定する。本実施形態では信頼度に−０．５の値を加算する。
【０１６２】
以上、位置情報分布を用いて信頼度を算出する方法について説明した。これにより、過去に撮影された類似画像データの位置情報を用いて、より精度の高い信頼度を算出することができる。
【０１６３】
（４）コントラストを用いて信頼度を算出する方法
ここでは、信頼度を算出する方法として撮影情報であるコントラストを用いて信頼度を算出する方法について説明する。この場合、本を撮影した場合には実被写体を撮影した場合よりもコントラストが低くなる傾向があることを利用する。画像データから、コントラスト情報を取得し、得られたコントラストが一定の値よりも低い場合は信頼度を低く設定する。一方、得られたコントラストが一定の値よりも高い場合は信頼度を高く設定する。
【０１６４】
図１９を用いて、コントラストを用いて信頼度を算出する処理の流れについて説明する。図１９はコントラストを用いた信頼度の算出方法のフローチャートである。
【０１６５】
図１９にコントラストを用いた信頼度の算出方法のフローチャートを示す。
【０１６６】
ステップＳ１９０１にてシステム制御部１１２あるいはシステム制御部２０２は、信頼度を付加する画像データからコントラスト情報を取得する。
【０１６７】
ステップＳ１９０２にて、システム制御部１１２あるいはシステム制御部２０２は、ステップＳ１９０１にて得られたコントラストの値が一定値以上であるかどうか判断する。
【０１６８】
ステップＳ１９０２にてコントラストの値が一定値以上であると判断された場合、システム制御部１１２あるいはシステム制御部２０２は、ステップＳ１９０３にて信頼度を上げるよう設定する。本実施形態では信頼度に加算する値を０．５とする。
【０１６９】
ステップＳ１９０２にてコントラストの値が一定値以上でないと判断された場合、システム制御部１１２あるいはシステム制御部２０２は、ステップＳ１９０４にて信頼度を下げるよう設定する。本実施形態では信頼度に加算する値を−０．５とする。
【０１７０】
以上、コントラスト情報を用いて信頼度を算出する方法について説明した。これにより、コントラストが低い場合は被写体が印刷物である可能性が高いと判断して信頼度を低く設定できる。
【０１７１】
（５）フリッカ検出を用いて信頼度を算出する方法
上述の実施形態では被写体（本）５００のような印刷物を撮影しているのかどうかを判断する方法について説明したが、テレビの映像を撮影した場合についても同様の課題が生じる。これを解決する手段として、撮影の際のフリッカと走査線を検出し、その検出結果を撮影情報として用いることで信頼度を算出する例を挙げる。
【０１７２】
フリッカとは、テレビ映像のちらつきのことであり、テレビ画面に表示される画像を一定間隔（リフレッシュレート）で更新する際に生じ得る。特に表示する画像を縦に分けた列である走査線を、奇数列と偶数列とに分けて表示するインターレース方式ではフリッカが生じやすい。本実施形態におけるフリッカの検出では、撮影の際に複数の画像を撮影し、それぞれの撮影で得られた画像における輝度評価値の平均値の差が一定以上であれば、フリッカが存在すると判断される。また、本実施形態における走査線の検出では、画像の各ピクセルの輝度値において、一定の間隔で帯状の一定の輝度値を持つ領域が存在するか否かによって走査線を検出し得る。また、画像の各ピクセルの輝度値において、一定の輝度値を持つ一定の領域が存在するか否かを判断することによっても走査線を検出し得る。本実施形態における走査線の検出においては、これらのうちいずれか一つを用いてもよいし、組み合わせてもよい。
【０１７３】
以下に、図２０を用いてフリッカ検出と走査線検出を利用して信頼度を設定する方法について説明する。図２０はフリッカ検出と走査線検出を利用して信頼度を設定するフローチャートである。
【０１７４】
ステップＳ２００１にてシステム制御部１１２あるいはシステム制御部２０２は、信頼度を付加する画像データに対してフリッカ検出を行い、フリッカが検出されたか否かを判断する。
【０１７５】
ステップＳ２００１にてフリッカが検出された場合、ステップＳ２００３に進む。
【０１７６】
ステップＳ２００１にてフリッカが検出されなかった場合、システム制御部１１２あるいはシステム制御部２０２は、ステップＳ２００２にて画像データに対して走査線検出を行い、走査線が検出されたか否かを判断する。
【０１７７】
ステップＳ２００２にて走査線が検出されなかった場合、システム制御部１１２あるいはシステム制御部２０２は、信頼度を変更せずに処理を終了する。
【０１７８】
ステップＳ２００２にて走査線が検出された場合、ステップＳ２００３に進む。
【０１７９】
ステップＳ２００３では、システム制御部１１２あるいはシステム制御部２０２は、信頼度を下げるよう設定する。本実施形態では信頼度に加算する値を−０．５とする。
【０１８０】
以上、フリッカ検出・走査線検出を用いて信頼度を算出する方法について説明した。これにより、フリッカ、あるいは走査線が検出された場合は被写体がテレビ映像の出力物である可能性が高いと判断して信頼度を低く設定できる。
【０１８１】
（６）フォーカスレンズの状態を用いて信頼度を算出する方法
ここでは、信頼度を算出する方法として撮影情報であるフォーカスレンズの状態を用いて信頼度を算出する方法について説明する。この場合、本や雑誌等の出力物を撮影するときはレンズのフォーカス位置がマクロ撮影位置になっている場合が多いことを利用する。
【０１８２】
図２１を用いて、フォーカスレンズの状態を用いて信頼度を算出する処理の流れについて説明する。図２１はフォーカスレンズの状態を用いた信頼度の算出方法のフローチャートである。
【０１８３】
ステップＳ２１０１にてシステム制御部１１２あるいはシステム制御部２０２は、カメラ、あるいは撮影された画像データのメタデータからレンズのフォーカス位置を取得する。
【０１８４】
ステップＳ２１０２にてシステム制御部１１２あるいはシステム制御部２０２は、取得したフォーカス位置がマクロ撮影位置になっているか否かを判断する。
【０１８５】
ステップＳ２１０２にてフォーカス位置がマクロ撮影位置になっていると判断された場合、システム制御部１１２あるいはシステム制御部２０２は、ステップＳ２１０３にて信頼度を下げるよう設定する。本実施形態では信頼度に加算する値を−０．５とする。
【０１８６】
ステップＳ２１０２にてフォーカス位置がマクロ撮影位置になっていないと判断された場合、システム制御部１１２あるいはシステム制御部２０２は、信頼度を変更せずに終了する。
【０１８７】
以上、フォーカスレンズの状態を用いて信頼度を算出する方法について説明した。これにより、フォーカス位置がマクロ撮影位置になっている場合は被写体が実物でない可能性が高いと判断して信頼度を低く設定できる。
【０１８８】
本実施形態では、信頼度算出について様々な方法を説明した。以上の方法は、それぞれ単独で用いてもいいし、実施形態１〜３のように組み合わせて信頼度を算出してもよい。これにより、より正確に信頼度を算出でき、したがってカメラ３００へのより精度の高い位置情報の提供が可能となる。
【０１８９】
［第５の実施形態］
上記実施形態では、画像データのメタデータに信頼度を自動で記録するよう制御する例を示したが、自動で信頼度を算出する場合、意図した結果が得られない場合がある。例えば、撮影可能な美術館にて壁一面の絵画等を撮影するようなシーンを考える。絵画という実物の被写体を撮影する場合、近距離であること、平坦であること、室内ではコントラストが高くなりにくいこと等から被写体が実物ではない可能性が高いと判断して信頼度を低く設定してしまうことが考えられる。
【０１９０】
これを解決するために、信頼度が低く設定される場合、その信頼度は意図した結果ではない可能性があるため、信頼度が低く設定される場合には、信頼度をユーザが任意に変更可能なよう構成する。これにより、意図した信頼度が算出されなかった可能性がある場合にも、ユーザが修正することで正しい信頼度を付加することができる。
【０１９１】
以下に、信頼度を変更する方法について（１）信頼度を画像データのメタデータに記録する際に変更可能にする。（２）信頼度が付加された画像データがカメラ１００からサーバ２００へ送信される際に信頼度を変更可能にする。（３）信頼度の付加された画像データを閲覧している際に信頼度を変更可能にする。の三つの例を挙げて説明する。
【０１９２】
（１）信頼度を画像データのメタデータに記録する際に変更可能にする。
【０１９３】
まず、信頼度を画像データのメタデータに記録する際に、記録する信頼度が一定値以下であった場合にはユーザにその旨を通知して、信頼度を変更可能にするよう制御する例について説明する。
【０１９４】
図２２は図４のステップＳ４０５、図１２のステップＳ１２０７、または図１３のステップＳ１３０５にて、信頼度を画像データのメタデータに記録する際の処理を示すフローチャートである。
【０１９５】
まず、ステップＳ２２０１にて、システム制御部１１２またはシステム制御部２０２は、算出された信頼度が閾値Ｅ未満であるか否か判断する。ステップＳ２２０１にて閾値Ｅ未満であると判断された場合、ステップＳ２２０２へ進む。一方ステップＳ２２０１にて閾値Ｅ以上であると判断された場合、ステップＳ２２０６に進む。
【０１９６】
ステップＳ２２０２では、システム制御部１１２またはシステム制御部２０２は、ユーザに、信頼度が閾値Ｅ未満であることを通知する。例えば、カメラ１００では、表示部１１３を介して、「この画像の位置情報の信頼度は閾値未満です」などのようなメッセージを表示することによりユーザに通知する。
【０１９７】
次にステップＳ２２０３にて、システム制御部１１２またはシステム制御部２０２は、ユーザからの操作により信頼度を変更するか否かの選択を受け付ける。例えばカメラ１００においては、表示部１１３には「信頼度を変更しますか？」などのようなメッセージが表示され、ユーザは操作部１１４の操作により、信頼度を変更するか否かを選択することができる。
【０１９８】
ステップＳ２２０３にて信頼度を変更しないことが選択された場合、ステップＳ２２０６に進む。
【０１９９】
一方、ステップＳ２２０３にて信頼度を変更することが選択された場合、システム制御部１１２またはシステム制御部２０２は、ステップＳ２２０４にて、ユーザから任意の信頼度の値の入力を受け付ける。例えばカメラ１００においては、表示部１１３に「信頼度を入力してください」などのようなメッセージが表示され、ユーザは操作部１１４の操作により、信頼度の値を入力することができる。
【０２００】
そして、ステップＳ２２０５にて、システム制御部１１２またはシステム制御部２０２は、信頼度を受け付けた信頼度の値に設定する。
【０２０１】
ステップＳ２２０６では、ステップＳ２２０５にて設定された信頼度を画像データのメタデータとして付加する。
【０２０２】
以上が信頼度を画像データのメタデータとして付加する際に信頼度を変更可能なよう制御する例である。
【０２０３】
これにより、意図した信頼度が算出されなかった場合にも、ユーザが修正することで正しい信頼度を付加することができる。
【０２０４】
（２）信頼度が付加された画像データがカメラ１００からサーバ２００へ送信される際に信頼度を変更可能にする。
【０２０５】
次に、信頼度が既にメタデータとして記録された画像データをカメラ１００からサーバ２００へ送信する際に、記録されている信頼度が一定値以下であった場合にはユーザにその旨を通知して、信頼度を変更可能なよう制御する例について説明する。
【０２０６】
この場合は、図４（ｂ）のステップＳ４０７、または図１２（ｂ）のステップＳ１２０８の代わりに、図２３のフローチャートに示す処理を行うよう制御される。
【０２０７】
図２３のフローチャートは、すでにメタデータとして信頼度が付加されている画像データの信頼度を変更してから送信することができる処理を示す。ここで、図２２のステップＳ２２０１の前にステップＳ２３００を行い、ステップＳ２２０６の後にステップＳ２３０７を行う。ステップＳ２３０１〜ステップＳ２３０６については、図２２のステップＳ２２０１〜ステップＳ２２０６と同様の動作を行う。図２２と同様の動作を行うステップについては説明を省略する。
【０２０８】
まず、ステップＳ２３００にて、システム制御部１１２は信頼度がメタデータとして付加されている画像データから信頼度を取得する。
【０２０９】
次にステップＳ２３０１〜ステップＳ２３０６にて、システム制御部１１２は図２２と同様の処理を行う。
【０２１０】
そして、ステップＳ２３０７にてシステム制御部１１２は、ステップＳ２３０６にて信頼度が付加された画像データを、サーバ２００へ送信するよう制御する。
【０２１１】
以上が、信頼度が付加された画像データを外部装置に送信する際に信頼度を変更可能なよう制御する例である。
【０２１２】
これにより、画像データのメタデータに記録された位置情報の信頼度がカメラ外部に送信されるときに信頼度が変更可能となる。
【０２１３】
（３）信頼度の付加された画像データを閲覧している際に変更可能にする。
【０２１４】
最後に、信頼度が既にメタデータとして記録された画像データをカメラ１００あるいはサーバ２００を用いてユーザが閲覧しているときに信頼度を変更可能なようにする例について説明する。ここでは、カメラ１００にてユーザが画像データを閲覧する場合の例について説明する。
【０２１５】
図２４はカメラ１００で、記録メディア１０８に記録されている画像データを閲覧しているときの表示部１１３に表示される表示画面の一例である。２４０１は表示画面で、記録メディア１０８に記録されている画像データ（画像１〜９）を表示している。画像データ２４０１の右上にはアイコン２４０２が表示されている。これは、画像データに付加されている信頼度が閾値Ｅ未満であることを示すものである。ここでは、画像１と画像８に付加されている信頼度が閾値Ｅ未満であることを示している。このアイコンが操作部１１４を介して選択されると該画像データのメタデータから信頼度を取得して、（１）で説明した図２２のフローチャートのステップＳ２２０２以下に示す処理を行うよう制御される。
【０２１６】
これにより画像データのメタデータとして記録された信頼度が閾値Ｅ未満である場合、その画像データを閲覧できるタイミングで信頼度を変更可能になり、撮影した後にも信頼度を修正することができる。
【０２１７】
なお、ここではカメラ１００で記録メディア１０８に記録されている画像データを閲覧しているときの例を示したが、サーバ２００の画像記録部２０４に保存されている画像データを閲覧するときにも同様である。
【０２１８】
以上、本実施形態では、算出された信頼度を変更することができる構成について説明した。
【０２１９】
［他の実施形態］
以上、上述の実施形態では、撮影の際のカメラ１００の位置を示す位置情報と撮影された画像データの内容との関連性の度合いを示す信頼度を生成し、メタデータとして記録する構成とした。これにより、より精度の高い位置情報の提供が可能となる。
【０２２０】
なお、上述の実施形態における信頼度の算出方法はこれらに限られるものではなく、実物を撮影しているか否かが判断できればどのような方法でもかまわない。
【０２２１】
なお、上述の実施形態では信頼度の初期値を０．５とし、各算出方法にて＋０．５〜−０．５の値を加算する方法を示したが、初期値や加算値はこの数値に限らずともよい。また、上述の実施形態では信頼度の初期値から各算出方法にて一定値を加算していく方法を示したが、各算出方法にて所定の値の信頼度を設定するようにしてもよい。さらに、上述の実施形態では信頼度を最大値１．０、最低値０．０としたが、数値はこれに限られるものではなく、また、数値以外の指標を用いてもかまわない。
【０２２２】
なお、上述の実施形態における測距方法について測距点が９点の場合について説明したが、これに限定するものではない。測距点は９点よりも少なくてもかまわないし、画像データの画素の解像度に相当する領域ごとに距離を算出してもかまわない。
【０２２３】
なお、上述の実施形態では、サーバ２００のデータベースに、収集した画像データを蓄積する例を説明したが、必ずしもデータベースに画像データを蓄積する必要はない。例えば、画像データから抽出した特徴量と画像データのパスのみをデータベースに蓄積する構成をとることも可能である。
【０２２４】
なお、上述の実施形態では信頼度をメタデータとして画像データに直接記録する例について説明したが、画像データと対応が取れる形態であれば、別データ（ファイル）として管理してもかまわない。
【０２２５】
また、上述の実施形態は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
画像の撮影位置を示す位置情報を取得する第１の取得手段と、
前記画像の撮影に関する撮影情報を取得する第２の取得手段と、
前記第１の取得手段により取得された位置情報が前記画像が表すコンテンツの撮影位置を示しているか否かの指標である信頼度を、前記第２の取得手段により取得した撮影情報に基づき決定する決定手段と、
前記決定手段により決定された信頼度と前記画像とを対応づける対応付け手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記画像を撮影する撮影手段と、
前記対応付け手段により信頼度と対応づけられた画像を記録媒体に記録する記録制御手段を更に有し、
前記第１の取得手段は、前記画像の撮影位置を測位して位置情報を取得する測位手段であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
記録媒体から、信頼度と位置情報と撮影情報とが対応づけられた画像を読み出す第３の取得手段を有し、
前記第１の取得手段は、第３の取得手段により取得された画像から前記画像に対応づけられた位置情報を取得し、
前記第２の取得手段は、第３の取得手段により取得された画像から前記画像に対応づけられた撮影情報を取得することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
画像の撮影位置を示す位置情報と前記画像の撮影に関する撮影情報とが対応づけられた画像を、外部装置から取得する受信手段と、
前記受信手段により取得された画像を記録媒体に記録するよう制御する記録制御手段と、
前記記録制御手段により記録された画像から、前記撮影情報を取得する抽出手段と、
前記位置情報が前記画像が表すコンテンツの撮影位置を示しているか否かの指標である信頼度を、前記抽出手段により取得した撮影情報に基づき決定する決定手段とを有することを特徴とする情報処理装置。
【請求項５】
前記撮影情報とは、被写体の位置と、前記被写体を撮影したときの前記画像処理装置の位置との距離を表す被写体距離情報であることを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
前記撮影情報とは、画像の輝度分布であることを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項７】
前記撮影情報とは、フリッカの有無を示す情報であることを特徴とする請求項１〜６のいずれか１項に記載の画像処理装置。
【請求項８】
前記撮影情報とは、走査線の有無を示す情報であることを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。
【請求項９】
前記撮影情報とは、画像のコントラストであることを特徴とする請求項１〜８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記撮影情報とは、レンズのフォーカス位置であることを特徴とする請求項１〜９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記撮影情報とは、画像を撮影したときの前記画像処理装置の位置を示す位置情報であることを特徴とする請求項１〜１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記決定手段にて決定された信頼度を変更する変更手段を備えることを特徴とする請求項１〜１１のいずれか１項に記載の画像処理装置。
【請求項１３】
前記変更手段は、信頼度が所定の値未満である場合に信頼度を変更可能とすることを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
画像の撮影位置を示す位置情報を取得する第１の取得工程と、
前記画像の撮影に関する撮影情報を取得する第２の取得工程と、
前記第１の取得工程において取得された位置情報が前記画像が表すコンテンツの撮影位置を示しているか否かの指標である信頼度を、前記第２の取得工程において取得された撮影情報に基づき決定する決定工程と、
前記決定工程において決定された信頼度と前記画像とを対応づける対応付け工程と
を備えることを特徴とする画像処理装置の制御方法。
【請求項１５】
請求項１４に記載の制御方法をコンピュータに実行させるためのコンピュータが読み取り可能なプログラム。
【請求項１】
画像の撮影位置を示す位置情報を取得する第１の取得手段と、
前記画像の撮影に関する撮影情報を取得する第２の取得手段と、
前記第１の取得手段により取得された位置情報が前記画像が表すコンテンツの撮影位置を示しているか否かの指標である信頼度を、前記第２の取得手段により取得した撮影情報に基づき決定する決定手段と、
前記決定手段により決定された信頼度と前記画像とを対応づける対応付け手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記画像を撮影する撮影手段と、
前記対応付け手段により信頼度と対応づけられた画像を記録媒体に記録する記録制御手段を更に有し、
前記第１の取得手段は、前記画像の撮影位置を測位して位置情報を取得する測位手段であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
記録媒体から、信頼度と位置情報と撮影情報とが対応づけられた画像を読み出す第３の取得手段を有し、
前記第１の取得手段は、第３の取得手段により取得された画像から前記画像に対応づけられた位置情報を取得し、
前記第２の取得手段は、第３の取得手段により取得された画像から前記画像に対応づけられた撮影情報を取得することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
画像の撮影位置を示す位置情報と前記画像の撮影に関する撮影情報とが対応づけられた画像を、外部装置から取得する受信手段と、
前記受信手段により取得された画像を記録媒体に記録するよう制御する記録制御手段と、
前記記録制御手段により記録された画像から、前記撮影情報を取得する抽出手段と、
前記位置情報が前記画像が表すコンテンツの撮影位置を示しているか否かの指標である信頼度を、前記抽出手段により取得した撮影情報に基づき決定する決定手段とを有することを特徴とする情報処理装置。
【請求項５】
前記撮影情報とは、被写体の位置と、前記被写体を撮影したときの前記画像処理装置の位置との距離を表す被写体距離情報であることを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
前記撮影情報とは、画像の輝度分布であることを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項７】
前記撮影情報とは、フリッカの有無を示す情報であることを特徴とする請求項１〜６のいずれか１項に記載の画像処理装置。
【請求項８】
前記撮影情報とは、走査線の有無を示す情報であることを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。
【請求項９】
前記撮影情報とは、画像のコントラストであることを特徴とする請求項１〜８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記撮影情報とは、レンズのフォーカス位置であることを特徴とする請求項１〜９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記撮影情報とは、画像を撮影したときの前記画像処理装置の位置を示す位置情報であることを特徴とする請求項１〜１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記決定手段にて決定された信頼度を変更する変更手段を備えることを特徴とする請求項１〜１１のいずれか１項に記載の画像処理装置。
【請求項１３】
前記変更手段は、信頼度が所定の値未満である場合に信頼度を変更可能とすることを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
画像の撮影位置を示す位置情報を取得する第１の取得工程と、
前記画像の撮影に関する撮影情報を取得する第２の取得工程と、
前記第１の取得工程において取得された位置情報が前記画像が表すコンテンツの撮影位置を示しているか否かの指標である信頼度を、前記第２の取得工程において取得された撮影情報に基づき決定する決定工程と、
前記決定工程において決定された信頼度と前記画像とを対応づける対応付け工程と
を備えることを特徴とする画像処理装置の制御方法。
【請求項１５】
請求項１４に記載の制御方法をコンピュータに実行させるためのコンピュータが読み取り可能なプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【公開番号】特開２０１２−５４７５４（Ｐ２０１２−５４７５４Ａ）
【公開日】平成２４年３月１５日（２０１２．３．１５）
【国際特許分類】
【出願番号】特願２０１０−１９５６３４（Ｐ２０１０−１９５６３４）
【出願日】平成２２年９月１日（２０１０．９．１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年３月１５日（２０１２．３．１５）
【国際特許分類】
【出願日】平成２２年９月１日（２０１０．９．１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]