画像検索装置、画像検索システム、画像検索方法、及び画像検索プログラム
【課題】ユーザーが求める目的画像が検索結果として表示されやすい画像検索装置、画像検索システム、画像検索方法、及び画像検索プログラムを提供する。
【解決手段】画像検索装置１は、撮影画像を順次取得する画像取得手段４１と、撮影画像に類似する検索対象画像を検索する画像検索手段４２と、その検索結果を蓄積する結果蓄積部３２と、蓄積された検索結果に基づいて算出された各検索対象画像を、確信度が大きい順にランキングして検索対象画像を表示させる結果表示手段４４と、を具備する。そして、結果表示手段４４は、検索対象画像が表示されてから所定時間が経過するまでの間のユーザーの選択操作の有無に応じて、表示された検索対象画像の表示ランキングを更新する。
【解決手段】画像検索装置１は、撮影画像を順次取得する画像取得手段４１と、撮影画像に類似する検索対象画像を検索する画像検索手段４２と、その検索結果を蓄積する結果蓄積部３２と、蓄積された検索結果に基づいて算出された各検索対象画像を、確信度が大きい順にランキングして検索対象画像を表示させる結果表示手段４４と、を具備する。そして、結果表示手段４４は、検索対象画像が表示されてから所定時間が経過するまでの間のユーザーの選択操作の有無に応じて、表示された検索対象画像の表示ランキングを更新する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像から、当該撮影画像と類似した検索対象画像を検索する画像検索装置、画像検索システム、画像検索方法、及び画像検索プログラムに関する。
【背景技術】
【０００２】
従来、画像検索対象となる対象物が撮像された撮影画像から、当該対象物を検索する画像検索装置が知られている（例えば、特許文献１参照）。
この特許文献１に記載の画像検索装置では、複数の撮影画像のうち、対象物の検索に最適な画像を、例えばユーザーの選択操作により取得し、この取得した画像を用いて対象物の検索を実施している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−６６９５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、特許文献１に記載の画像検索装置では、対象物を撮影した撮影画像を用いて画像検索処理を行って対象物を検索する。ここで、画像検索処理では、一般に、対象物の画像が蓄積されたデータベースから、取得した画像との類似度が大きい対象物の画像が検索され、所定数表示される。しかしながら、対象物を撮影した撮影画像は、撮影時の照度や角度などの撮影環境により、画像の状態が変化する。したがって、上述のように、撮影画像と類似度が大きい対象物を取得したとしても、必ずしも目的の対象物を検索できるとは限らない。
【０００５】
これに対して、連続して撮影された複数の撮影画像に対して、それぞれ画像検索を実施し、これらの複数の撮影画像毎に、画像検索の結果を表示させることも考えられている。この場合、表示された検索結果の検索対象画像の中に、ユーザーが求める画像（目的画像）がない場合、当該目的画像が表示されるまで、撮影画像の取得、及び画像検索を繰り返し実施する必要がある。しかしながら、撮影画像を取得、及び画像検索を繰り返し実施した場合であっても、撮影時の撮影環境等の影響により、目的画像が検索結果として表示されないことがある。この場合、やはり、ユーザーの望む目的画像が得られなかったり、目的画像が表示されるまでに長時間を要したりするという課題がある。
【０００６】
本発明の目的は、ユーザーが求める目的画像が検索結果として表示されやすい画像検索装置、画像検索システム、画像検索方法、及び画像検索プログラムを提供することである。
【課題を解決するための手段】
【０００７】
本発明の画像検索装置は、撮影画像を取得し、当該撮影画像と類似する検索対象画像を検索する画像検索装置であって、前記撮影画像を順次取得する画像取得手段と、前記撮影画像が取得される毎に、前記撮影画像に類似する検索対象画像を検索し、当該検索された検索対象画像と、その類似度とを含む検索結果を取得する画像検索手段と、前記検索結果を蓄積する結果蓄積部と、前記結果蓄積部に蓄積された前記検索結果を用いて算出された各検索対象画像の確信度に基づいて、前記確信度が大きい順にランキングして前記検索対象画像を表示させる結果表示手段と、を具備し、前記結果表示手段は、前記検索対象画像が表示されてから所定時間が経過するまでの間のユーザーの選択操作の有無に応じて、前記表示された検索対象画像の表示ランキングを更新することを特徴とする。
ここで、本発明で述べる確信度は、撮影画像と検索対象画像との類似度に基づいて算出されるものである。この類似度に基づいて算出される確信度とは、画像検索を実施した際に検索された検索対象画像を、類似度が大きい順に並び替えた類似ランキングを取得し、当該類似ランキングの順位（ランク）に基づいて設定されるものであってもよく、撮影画像と検索対象画像との類似度に基づいて、直接確信度が算出されるものであってもよい。
【０００８】
本発明では、画像取得手段により、撮影画像が順次取得され、画像検索手段は、これらの取得した各撮影画像に対して、画像記憶部から類似度が大きい検索対象画像を検索する。ここで、画像検索手段は、例えば、撮影画像が有する特徴量等のパラメータと、検索対象画像が有する特徴量等のパラメータとを比較して、撮影画像と類似した検索対象画像を検索する。この画像検索手段により検索された検索結果としては、撮影画像と類似する検索対象画像、及びその検索対象画像の撮影画像に対する類似度が含まれ、この検索結果は順次、結果蓄積部に記憶されて蓄積される。そして、本発明の画像検索装置では、この結果蓄積部に蓄積された検索結果に基づいて算出された確信度が高い順に検索対象画像を表示する。すなわち、結果表示手段は、撮影画像が取得される度に確信度に基づいた検索対象画像を表示させることとなり、リアルタイムで検索結果表示が更新されることになる。
【０００９】
そして、本発明の画像検索装置では、結果表示手段は、表示された検索対象画像に対してユーザーの選択操作の有無に応じて、表示された検索対象画像の表示ランキングを更新し、新たな検索対象画像を表示させる。
つまり、撮影画像と類似度が高い検索対象画像が撮影された場合でも、当該検索対象画像がユーザーの求める画像ではない場合がある。このような場合、類似度に基づいた検索結果のみでは、ユーザーが満足する検索結果を提供できない。これに対して、本発明では、ユーザーが目的の画像を選択するという操作の有無に応じて、その表示ランキングを更新する。この場合、１回の画像検索のみで検索結果に表示されなかった目的画像でも、時間経過とともに検索結果として表示される可能性が大きくなる。すなわち、本発明では、ユーザーが求める目的画像が検索結果として表示されやすい画像検索を実施することができる。
【００１０】
本発明の画像検索装置では、前記結果表示手段は、前記表示された検索対象画像に対するユーザーの選択操作がなく、かつ所定時間が経過した場合に、当該検索対象画像の表示ランキングを低下させることが好ましい。
【００１１】
本発明では、ユーザーにより選択操作がなく、所定時間経過した後に、表示された検索対象画像の表示ランキングを更新する。つまり、表示された検索対象画像がユーザーにより選択されないということは、表示された検索対象画像が、ユーザーが求める検索対象画像（以降、目的画像と称す）ではないことを示す。このような検索対象画像が表示されていると、表示された検索対象画像よりも確信度が低く設定された目的画像をなかなか表示させることができない。例えば、画像検索により検索された検索対象画像に対して確信度を上昇させるような処理を行う場合、目的画像の確信度が検索対象画像の確信度よりも大きくなるまで画像検索を繰り返す必要が生じる。このような場合、目的画像が表示されるまでに、長い時間を要することがある。
これに対して、本発明では、上述のように、検索された検索対象画像を、確信度が大きい順にランキングして表示させ、所定時間が経過した後に、表示された検索対象画像の表示ランキングを低下させている。これにより、表示されていなかった検索対象画像が、確信度が上位の検索対象画像として新たに表示されるようになるため、ユーザーは、より早く目的画像を見つけることが可能となる。
【００１２】
一方、表示された検索対象画像を、ある程度の時間が経過する前に削除してしまうと、その表示された検索対象画像の中に目的画像が存在する場合、当該目的画像を選択することができなくなる。これに対して、本発明では、検索対象画像が表示されてから、所定の時間が経過した後に、上述のような検索対象画像の表示削除処理をする。ここで、所定時間については後述するが、例えば、ユーザーが表示された全ての検索対象画像を確認できる程度に設定された判定時間や、本発明の画像検索装置による検索処理を開始してからのトータル時間に対する各検索対象画像の表示時間の割合（表示率）などを挙げることができる。
このような所定時間の経過後に表示ランキングを更新する構成では、ユーザーによる検査対象画像の確認の前に、表示された検査対象画像が削除される不都合を回避できる。
【００１３】
本発明の画像検索装置では、前記結果蓄積部に蓄積された前記検索結果を用いて各検索対象画像の確信度を算出する確信度更新手段を備え、前記確信度算出手段は、前記表示された検索対象画像に対するユーザーの選択操作がない場合に、当該検索対象画像の確信度を低下させて更新し、前記結果表示手段は、更新された確信度に基づいて、確信度が大きい順に前記検索対象画像を表示させることが好ましい。
【００１４】
本発明では、結果表示手段は、ユーザーによる検索対象画像の選択操作がない場合に、当該検索対象画像の確信度を低下させることで、表示ランキングを低下させる。この場合、結果表示手段は、確信度が更新される毎に、その更新された確信度に基づいて検索対象画像の表示を行うだけでよく、例えば他のパラメータに基づいた表示ランキングの更新等を考慮する必要がなく、結果表示手段の処理を簡略化できる。
【００１５】
本発明の画像検索装置では、前記結果表示手段は、前記表示された検索対象画像に対するユーザーの選択操作がない場合に、当該検索対象画像を表示から除外することが好ましい。
ここで、結果表示手段が、確信度算出手段により更新された確信度に基づいて、表示ランキングを更新する場合、確信度算出手段により、除外対象の検索対象画像の確信度を例えば「０」等の最低値に設定すればよい。また、結果表手段が、確信度に関わらず、直接表示ランキングを更新する場合では、除外対象の検索対象画像を表示上から削除し、その他の検索対象画像の表示ランキングを繰り上げて表示すればよい。
本発明では、ユーザーの選択操作がない検索対象画像を、即座に表示から除外する。この場合、より迅速に表示する検索対象画像を切り替えることができるため、目的画像が早期に表示される確率を高めることができる。
【００１６】
本発明の画像検索装置では、前記結果表示手段は、前記表示された検索対象画像に対するユーザーの選択操作がない場合に、当該検索対象画像の表示ランキングを段階的に低下させることが好ましい。
ここで、結果表示手段が、確信度算出手段により更新された確信度に基づいて、表示ランキングを更新する場合、確信度算出手段により、除外対象の検索対象画像の確信度を例えば「０．５」等の予め設定された設定値ずつ、段階的に低下させて更新すればよい。また、結果表手段が、確信度に関わらず、直接表示ランキングを更新する場合では、除外対象の検索対象画像の表示ランキングを、下位のランキングの検索対象画像を入れ替えることで、表示ランキングを低下させればよい。
本発明では、表示された検索対象画像に対してユーザーの選択操作がない場合でも、即座に表示から除外されず、当該検索対象画像の表示上のランキングが段階的に徐々に低下する。このような場合、例えばユーザーが脇見等によって表示された検索対象画像を確認できなかった場合でも、その検索対象画像が即座に除外されることがなく、ユーザーによる検索対象画像の選択操作の時間を十分に確保することができる。
【００１７】
本発明の画像検索装置では、前記結果表示手段により前記検索対象画像を表示させたトータル時間に対する、各検索対象画像が表示された時間の割合である表示率を算出する表示率算出手段を備え、前記結果表示手段は、前記表示された検索対象画像に対するユーザーの選択操作がなく、かつ当該検索対象画像の表示率が閾値を超えた場合に、当該検索対象画像の表示ランキングを低下させることが好ましい。
【００１８】
本発明では、表示率算出手段により、各検索対象画像における表示率を算出し、表示率が閾値を超えた場合に、表示ランキングを更新する。
つまり、上述したように、表示率が大きい検索対象画像は、長く表示されている検索対象画像であることを示し、その検索対象画像がユーザーによる選択操作によって選択されていないということは、当該検索対象画像が、ユーザーの求める目的画像ではないことを示す。表示ランキングの更新によりこのような画像を表示から外し、新たな検索対象画像を表示させることで、上記したように、ユーザーが求める目的画像をより迅速に検索結果として表示させることが可能となる。
【００１９】
また、本発明の画像検索装置では、前記結果表示手段は、前記表示された検索対象画像に対するユーザーの選択操作がなく、予め設定された判定時間が経過した場合に、当該検索対象画像の表示ランキングを低下させてもよい。
【００２０】
本発明では、結果表示手段は、予め設定された判定時間が経過するまでの間に、ユーザーにより検索対象画像の選択操作がない場合に、当該検索対象画像の表示ランキングを低下させる。この場合であっても、上記発明と同様に、表示ランキングの更新により、ユーザーにより選択されない検索対象画像を表示から外すことで、新たな検索対象画像を表示させることができ、ユーザーが求める目的画像をより迅速に検索結果として表示させることが可能となる。
【００２１】
本発明の画像検索装置では、前記結果表示手段は、前記表示された検索対象画像に対するユーザーの選択操作がなく、前記所定時間以内である場合に、当該検索対象画像の表示ランキングを上昇させることが好ましい。
本発明では、ユーザーの選択がなく、かつ所定時間が経過していない状態では、結果表示手段は、画像検索手段により検索された検索対象画像の表示ランキングを上昇させる。つまり、検索された回数が多いほど、撮影画像に対して類似していることを意味するので、このような検索対象画像を表示ランキングの上位に設定することで、ユーザーが求める目的画像が表示される確率を高めることができる。
【００２２】
本発明の画像検索装置では、前記結果蓄積部に蓄積された前記検索結果を用いて各検索対象画像の確信度を算出する確信度更新手段を備え、前記確信度算出手段は、前記撮影画像及び前記検索対象画像の類似度と、前記画像検索手段により検索処理が実施された回数とに基づいて、各検索対象画像の類似度の平均値を算出し、前記検索対象画像の確信度とすることが好ましい。
【００２３】
本発明では、撮影画像及び検索対象画像の類似度に基づいて、検索対象画像に確信度を付与し、類似度及び検索処理が実施された回数に基づいて、各検索対象画像に対する類似度の平均値を確信度として算出する。
上述したように、画像検索では、撮影画像と検索対象画像との類似度が近い順に、検索対象画像が検索されるが、類似ランキングが高い場合であっても、撮影画像と検索対象画像の類似度が低い場合がある。このような場合、類似ランキングに基づいた確信度の計算を行うと、目的画像とは類似度が大きく異なる検索対象画像が表示されるおそれがある。これに対して、本発明では、類似度に基づいて、確信度の計算を実施するため、類似ランキングに関わらず、類似度が高い検索対象画像には、高い確信度を付与することができる。このため、目的画像と類似する適切な検索対象画像を表示させることができる。
【００２４】
本発明の画像検索装置では、前記結果表示手段は、前記表示された検索対象画像を更新する場合に、当該更新する検索対象画像の表示形態を、他の検索対象画像と異なる表示形態で表示させることが好ましい。
【００２５】
本発明によれば、結果表示手段は、表示された検索対象画像の表示位置の順番を入れ替えたり、新たな検索対象画像を表示させたりする場合に、当該検索対象画像の表示形態を他の検索対象画像と異なる表示形態で表示させる。ここで、「異なる表示形態」としては、例えば、確信度が増大した場合と、減少した場合とで、表示させる検索対象画像の表示サイズを変更したり、検索対象画像の表示色を変更したりすることが挙げられる。
このように、検索対象画像の表示形態を変化させることで、ユーザーは、表示位置が変動した検索対象画像を容易に確認することができる。例えば、１つの検索対象画像を削除し、削除された検索対象画像に代わって新たに他の検索対象画像が表示させる場合、結果表示手段は、既に表示されている検索対象画像に対して、新たに表示させた検索対象画像を異なる表示形態で表示させる。この場合、ユーザーは、新たに表示された検索対象画像を容易に確認することができ、ユーザーによる目的画像の確認作業を好適に支援することができる。
【００２６】
本発明の画像検索装置では、前記画像取得手段は、オブジェクトが撮影された撮影画像を取得し、前記画像取得手段は、前記撮影画像のオブジェクトと類似するオブジェクトの画像を有する前記検索対象画像を検索することが好ましい。
【００２７】
本発明では、オブジェクトを撮影した撮影画像を用い、複数の検索対象画像から、オブジェクトと類似するオブジェクトの画像を含む検索対象画像を検索する。つまり、本発明では、撮影画像に含まれるオブジェクトが何であるかを画像検索により調べる、いわゆるオブジェクト検索（オブジェクト認識）を実施することができる。本発明では、このようなオブジェクト認識において、ユーザーが調査したいオブジェクトが含まれる画像が表示される可能性を高めることができる。
【図面の簡単な説明】
【００２８】
【図１】第一実施形態の画像検索装置の概略構成を示すブロック図。
【図２】第一実施形態の画像検索装置の表示部における表示例を示す図。
【図３】第一実施形態の表示部の表示変化例を示す図。
【図４】第一実施形態における画像検索方法を示すフローチャート。
【図５】第二実施形態における画像検索方法を示すフローチャート。
【図６】第三実施形態の表示部の表示変化例を示す図。
【図７】第六実施形態における表示部の表示例を示す図。
【図８】第七実施形態の画像検索システムの概略構成を示す図。
【図９】第七実施形態の画像検索システムにおける画像検索方法を示すフローチャート。
【図１０】第八実施形態の画像検索システムの概略構成を示す図。
【図１１】第八実施形態の画像検索システムにおける画像検索方法を示すフローチャート。
【発明を実施するための形態】
【００２９】
［第一実施形態］
以下、本発明に係る第一実施形態の画像検索装置について、図面に基づいて説明する。
［画像検索装置の構成］
図１は、第一実施形態の画像検索装置の概略構成を示すブロック図である。
図１において、画像検索装置１は、カメラ２と、各種プログラムや各種データを記憶する記憶手段３と、各種演算を実施するＣＰＵ（Central Processing Unit）等により構成された制御手段４と、ディスプレイ等の表示部５と、キーボード、タッチパネル等の操作部６と、を備えている。この画像検索装置１としては、例えば、カメラ機能が付いた携帯電話、スマートフォン、携帯情報端末、パーソナルコンピュータ等のいわゆるコンピュータを用いることができる。
【００３０】
この画像検索装置１は、カメラ２によりオブジェクトを撮影し、その撮影画像を用いて、撮影画像と類似する検索対象画像を検索して表示させる装置である。
より具体的には、画像検索装置１の制御手段４は、ユーザーにより撮影画像に用いた画像検索を実施するように操作されると、まず、カメラ２を起動させる。そして、１つのオブジェクトに対してカメラ２が向けられると、制御手段４は、自動的に当該オブジェクトを撮影した撮影画像を一定の撮影周期で取得して、各撮影画像を用いて画像検索（オブジェクト認識）を実施する。この時、制御手段４は、カメラが起動している間、周期的に撮影画像を取得し、これらの取得した撮影画像に対してそれぞれオブジェクト認識（画像検索）を実施する。そして、制御手段４は、各撮影画像に対するオブジェクト認識の認識結果（検索結果）に基づいて、検索対象画像の確信度を算出し、確信度に基づいた画像認識結果をリアルタイムで表示部５に表示させる。そして、制御手段４は、ユーザーの操作によりカメラが停止されると、一連の検索処理を停止する。
すなわち、本実施形態の画像検索装置１は、複数回のオブジェクト認識の認識結果に基づいて、撮影画像に対する最適なオブジェクト画像を検索するものであり、以降の説明に当たり、このような一連の検索処理を最適画像検索処理と称す。
以下において、上述のような最適画像検索処理を実施するための画像検索装置１の構成について説明する。
【００３１】
画像検索装置１の記憶手段３には、上記のような最適画像検索処理を実施するための各種情報として、画像データベース３１（画像記憶部）を備えている。また、記憶手段３には、オブジェクト認識の結果を蓄積する結果蓄積部３２が設けられている。
【００３２】
画像データベース３１は、検索対象画像と、インデックスデータとが関連付けられて１つのレコードとして記憶されたテーブル構造となっている。
ここで、画像データベース３１に記憶される検索対象画像は、検索対象用オブジェクトを含む画像である。なお、本実施形態では、オブジェクトを撮影した撮影画像に対して、当該オブジェクトと類似する検索対象用オブジェクトを有する検索対象画像を検索する、いわゆるオブジェクト認識を実施するため、画像データベース３１には、検索対象用オブジェクトが含まれた検索対象画像が記録されるが、これに限定されるものではない。例えば、画像検索を実施した撮影画像として風景や絵画等を用いる場合、検索対象画像として、特定の検索対象用オブジェクトが含まれない画像（風景や絵画等）を記憶するものであってもよい。
また、画像データベース３１に記憶されるインデックスデータには、検索対象画像を特徴付ける特徴量や、特徴量の検索のための索引、検索対象画像を判別するための画像ＩＤなどが記録されている。
【００３３】
結果蓄積部３２は、撮影画像を用いてオブジェクト認識が実施された際に、その認識結果を蓄積する一時記憶領域である。
ここで、オブジェクト認識の認識結果としては、後述の画像検索手段４２により検索された検索対象画像と、当該検索対象画像及び撮影画像の類似度とが記録される。また、検索対象画像の代わりに、検索対象画像を特定する画像ＩＤが記録されてもよい。
ここで、検索対象画像と撮影画像との類似度とは、検索対象画像の特徴量と、撮影画像の特徴量との比較により算出される値であり、検索対象画像がどの程度撮影画像に類似しているかを示す値である。この類似度としては、例えば、検索対象画像と撮影画像とが完全に一致する場合を１として、０〜１の値として表される。
【００３４】
また、画像検索装置１は、制御手段４の機能構成として、画像取得手段４１、画像検索手段４２、確信度算出手段４３、結果表示手段４４、画像選択手段４５、表示率算出手段４６、及び検索除外手段４７を備えている。
【００３５】
画像取得手段４１は、ユーザーの操作により、撮影画像に対するオブジェクト認識処理プログラムが実行されると、カメラ２を起動し、カメラ２により撮影された撮影画像を取得する。ここで、画像取得手段４１は、予め設定された一定の撮影周期で、撮影画像を取得する。
なお、本実施形態では、画像取得手段４１により自動的に撮影画像を取得する例を示すが、例えばユーザーのシャッター操作により、撮影画像を取得する構成としてもよい。
【００３６】
画像検索手段４２は、画像取得手段４１により取得された撮影画像を用い、記憶手段３の画像データベース３１から撮影画像と類似する検索対象画像を取得するオブジェクト認識を実施する。
具体的には、画像検索手段４２は、撮影画像の特徴量を算出して、結果蓄積部３２のインデックスデータに記憶される特徴量の索引から、撮影画像の特徴量に対応した検索対象画像を抽出する。また、画像検索手段４２は、撮影画像の特徴量と、インデックスデータに記憶される検索対象画像の特徴量とを比較して、検索対象画像の撮影画像に対する類似度を算出し、当該類似度が予め設定された閾値以上となる検索対象画像を検索する。
そして、画像検索手段４２は、このオブジェクト認識の認識結果を、記憶手段３の結果蓄積部３２に蓄積する。
【００３７】
確信度算出手段４３は、結果蓄積部３２に記録された過去の検索結果に基づいて、画像検索手段４２により検索された各検索対象画像に対する確信度を算出する。この確信度は、検索対象画像と撮影画像との類似度に基づいて算出されるものであり、その検索対象画像が、ユーザーが求める目的画像として信頼できるものであるか否かを示す信頼性を示すパラメータとなる。
この確信度算出手段４３は、画像検索手段４２によりオブジェクト認識が実施され、その検索結果が結果蓄積部３２に蓄積される度に、蓄積された検索結果に基づいて確信度を算出する。
この表示率算出手段４６による確信度の算出方法としては、例えば、検索対象画像毎に、過去Ｋ回の類似度を平均化したものを用いることができる。この時、オブジェクト認識により検索されなかった場合は、類似度を０として算出すればよい。また、一連の最適画像検索処理において、最初にオブジェクト認識を実施した結果に基づいて確信度を算出する場合は、１つの検索結果に基づいた確信度が算出されることになる。この場合は、確信度算出手段４３は、検索対象画像の撮影画像に対する類似度を、当該検索対象画像の確信度とすることができる。
【００３８】
結果表示手段４４は、カメラ２により取得されている撮影画像、及び検索された検索対象画像をリアルタイムで表示部５に表示させる。
ここで、図２に、最適画像検索処理において表示部５に表示される１つの表示画面例を示す。
図２に示すように、結果表示手段４４は、カメラ２により撮影されている撮影対象画像５１を表示部５の全体に表示させる。また、結果表示手段４４は、検索された検索対象画像のうち、確信度が大きい順に、予め設定された表示数分（例えば４つ）だけ取得し、表示部５の下部領域に確信度上位画像５２として表示する。
また、この表示部５の下部領域において、左端の領域が最上位表示位置５２Ａであり、右端の領域が最下位表示位置５２Ｂとなる。結果表示手段４４は、確信度上位画像５２を確信度順に、最上位表示位置５２Ａから最下位表示位置５２Ｂに亘って配列させて表示させる。したがって、確信度上位画像５２のうち、確信度が最大のものは最上位表示位置５２Ａに表示され、確信度が最小のものは最下位表示位置５２Ｂに表示される。つまり、結果表示手段４４は、確信度上位画像５２を確信度が大きい順にランキングし、その表示ランキングを表示部５に表示させる。
なお、ここでは、確信度上位画像５２が表示部５の下部領域に示す例を示すが、これに限定されない。例えば表示部５の上部領域に表示されてもよく、その他の表域に表示されていてもよい。また、確信度が大きい順に並べて表示させているが、例えば確信度が大きい順が分かるように、確信度上位画像５２の一部に確信度の順位を示す数字を重畳させて、表示部５の制御手段４隅に確信度上位画像５２を表示させてもよい。
【００３９】
ここで、各検索対象画像の確信度は、確信度算出手段４３により算出される毎（更新される毎）に、表示部５に表示させる確信度上位画像５２を更新する。すなわち、確信度算出手段４３により各検索対象画像の確信度を算出した際に、確信度の順位に変動がある場合、当該変動した順位に基づいて、表示部５に表示させる確信度上位画像５２を更新する。これにより、表示部５に表示される確信度上位画像５２は、時間経過に伴って、更新されて表示されることになる。
【００４０】
例えば、確信度が大きい順に検索対象画像Ａ，Ｂ，Ｃ，Ｄが検索されている場合、結果表示手段４４は、図３の（Ａ）に示すように、表示部５に検索対象画像Ａ，Ｂ，Ｃ，Ｄを順に表示させる。この後、確信度算出手段４３による確信度の算出により、確信度のランキングが、Ａ，Ｂ，Ｅ，Ｆに変化すると、結果表示手段４４は、図３の（Ｂ）に示すように、検索対象画像Ｃ，Ｄを表示から削除し、変わって検索対象画像Ｅ，Ｆを表示部５に確信度上位画像５２として表示させる。
この際、結果表示手段４４は、確信度が更新される度に、既に表示されている確信度上位画像５２をスクロールしてフレームアウトさせ、新たに表示させる確信度上位画像５２をスクロールしてフレームインされるなどの表示方法を用いることができる。
【００４１】
また、本実施形態の最適画像検索処理では、結果表示手段４４により、表示部５に、確信度順で確信度上位画像５２を表示されると、表示された確信度上位画像５２のいずれかがユーザーにより選択可能となる。したがって、ユーザーは、表示された複数の確信度上位画像５２の中に、撮影対象のオブジェクトと同一オブジェクトを含む確信度上位画像５２（目的画像）がある場合、その確信度上位画像５２を選択することで、当該確信度上位画像５２に関する情報を取得することができる。
一方、例えば表示された確信度上位画像５２の中に目的画像がない場合、ユーザーが求める目的画像の確信度が、既に表示部５に表示されている確信度上位画像５２の確信度以上となるまで、表示部５に表示されないことになる。この場合、既に表示部５に表示されている確信度上位画像５２の確信度が高いままであると、目的画像が表示部５に表示されない、または表示部５に表示されるまでに長時間を要するおそれがある。
【００４２】
これに対して、本実施形態の画像検索装置１では、目的画像を表示させやすくするために、一定時間の間に確信度算出手段４３による確信度上位画像５２の選択がなかった場合に、結果表示手段４４は、表示部５に表示された確信度上位画像５２（検索対象画像）の表示を消去又は表示ランキングを下げる等して表示ランキングを更新していく。
この処理では、結果表示手段４４は、後述する表示率算出手段４６により算出される表示率に基づいて実施する。つまり、結果表示手段４４は、最適画像検索処理が開始されてからからの時間を計測し、所定の設定時間が経過した後に、表示率算出手段４６により算出された表示率が予め設定された閾値（例えば、０．８など）を超える確信度上位画像５２を表示部５から消去し、新たな検索対象画像を表示部５に表示させる。つまり、結果表示手段４４は、表示率が閾値を超える検索対象画像を除外して、確信度に基づいて、表示部５に表示させる確信度上位画像５２を更新する。
【００４３】
例えば、図３（Ａ）〜（Ｃ）に示すように、一連の最適画像検索処理において、最初に確信度上位画像５２が表示部５に表示されてからＤ秒が経過しており、そのうち、表示部５に表示された検索対象画像Ａ，Ｂは、ｄ秒間、表示部５に表示されていたものとする。この場合、検索対象画像Ａ，Ｂの表示率は、ｄ／Ｄで算出される。
そして、検索対象画像Ａ，Ｂの表示率が予め設定された閾値Ｘ以上である場合、結果表示手段４４は、図３（Ｃ）に示すように、表示部５に表示された検索対象画像Ａ，Ｂの確信度上位画像５２を消去する。そして、結果表示手段４４は、検索対象画像Ｅ，Ｆを検索対象画像Ａ，Ｂが表示されていた位置に表示させる。また、検索対象画像Ｆの次に確信度が大きい検索対象画像Ｇ，Ｈを、検索対象画像Ｅ，Ｆが表示されていた位置に新たに表示する。
【００４４】
画像選択手段４５は、ユーザーの選択操作に基づいて、表示部５に表示された確信度上位画像５２の少なくともいずれか１つを選択する。
ここで、画像選択手段４５により、確信度上位画像５２が選択されると、制御手段４は、例えばネットワーク等を介して、選択された確信度上位画像５２の詳細情報（例えば、オブジェクトに関する商品情報）を取得し、取得した詳細情報を表示部５に表示させる。
【００４５】
表示率算出手段４６は、表示部５に表示された各確信度上位画像５２の表示率を算出する。表示率算出手段４６は、上述したように、最適画像検索処理において、最初に表示部５に確信度上位画像５２が表示された時点から現時点までの経過時間Ｄと、各確信度上位画像５２が表示部５に表示された表示時間ｄとを取得し、表示率（ｄ／Ｄ）を算出する。
【００４６】
また、検索除外手段４７は、表示率が閾値を超えるとして、表示部５から消去された検索対象画像を、一連の最適画像検索処理における検索対象から除外する。
つまり、検索除外手段４７は、表示率が閾値を超えたために、結果表示手段４４により消去された確信度上位画像５２（検索対象画像）を、結果蓄積部３２に蓄積される認識結果から除外する。また、この検索除外手段４７は、以降の画像検索手段４２によるオブジェクト認識において、結果表示手段４４により表示部５から消去された検索対象画像が検索された場合に、当該検索対象画像を認識結果から除外する。これにより、結果蓄積部３２に当該検索対象画像が記録されなくなり、確信度算出手段４３による当該検索対象画像に対する確信度の算出も実施されなくなるため、結果表示手段４４により表示部５に表示されることがない。
【００４７】
［画像検索装置による画像検索方法］
次に、上述したような画像検索装置１の最適画像検索処理について、図面に基づいて説明する。
図４は、本実施形態の画像検索装置１の動作における最適画像検索処理のフローチャートである。
画像検索装置１を用いて最適画像検索処理を実施する場合、まず、ユーザーは、最適画像検索処理を実行するプログラムを起動させる。これにより、カメラ２が起動され、カメラ２により取り込まれた画像は、結果表示手段４４によりリアルタイムで表示部５に表示される。また、制御手段４は、最適画像検索処理で各オブジェクト認識の認識結果を蓄積する結果蓄積部３２を初期化し、前回の最適画像検索処理で用いた認識結果がある場合に、これを削除する（ステップＳ１）。
【００４８】
次に、画像取得手段４１は、カメラ２により撮影された撮影画像を取得する（ステップＳ２：画像取得ステップ）。ここで、画像取得手段４１は、予め設定された一定の撮影周期で撮影画像を取得し、各撮影画像が取得される度に、以下のステップＳ３〜ステップＳ５の処理を実施する。なお、撮影周期としては、ユーザーにより適宜設定される周期を用いてもよく、予め設定された周期を用いてもよい。本実施形態では、リアルタイムで表示部５の表示を更新していくために、例えば１０秒程度に設定されている。
【００４９】
ステップＳ３は、本発明の画像検索ステップであり、ステップＳ２により取得した撮影画像を用いてオブジェクト認識を実施する。このステップＳ３では、上述したように、画像検索手段４２は、画像取得手段４１により取得された撮影画像の特徴量を算出し、この撮影画像の特徴量と、画像データベース３１に記憶された検索対象画像の特徴量とから、各検索対象画像の類似度を求める。そして、このステップＳ３で検索された認識結果（検索対象画像、及び当該検索対象画像の撮影画像に対する類似度）は、結果蓄積部３２に記憶され蓄積される。
ここで、このステップＳ３では、検索除外手段４７は、オブジェクト認識により検索された検索対象画像に、表示率が閾値を超える検索対象画像があるか否かを判定する。そして、検索された検索対象画像に、表示率が閾値を超えるものがある場合、検索除外手段４７は、当該検索対象画像を、認識結果から除外する。
したがって、このステップＳ３におけるオブジェクト認識における検索個数としては、除外される検索対象画像の個数を考慮して、少なくとも、表示部５に表示させる表示数Ｎ＋α個の検索対象画像を検索する必要がある。すなわち、検索対象画像の除外により表示させる検索対象画像が不足しないように、余分に検索対象画像を取得する。
【００５０】
ステップＳ４は、ステップＳ３の後、結果蓄積部３２に蓄積された認識結果に基づいて、確信度を算出する。
このステップＳ４では、確信度算出手段４３は、結果蓄積部３２に蓄積された複数の認識結果に基づいて、下記式（１）に示すように、各検索対象画像ｉにおける類似度の平均値を確信度Ｘ（ｉ）として算出する。
【００５１】
【００５２】
上記式（１）において、各符号は以下の意味である。
Ｉ＝｛Ａ，Ｂ，Ｃ・・・｝：検索対象画像の集合
Ａ（ｋ，ｉ） ：ｋ回目のオブジェクト認識における検索対象画像ｉの撮影画像に対する類似度
【００５３】
ステップＳ５は、本発明の結果表示ステップであり、ステップＳ４により算出された確信度に基づいて、確信度が大きい表示数分（例えば４つ）の検索対象画像を確信度上位画像５２として表示部５に表示させる。この時、結果表示手段４４は、表示部５の下部領域に最上位表示位置５２Ａから最下位表示位置５２Ｂに向かうに従って、確信度が小さくなるように並べて、確信度上位画像５２を表示させる。
【００５４】
また、このステップＳ５では、表示率算出手段４６は、結果表示手段４４により検索対象画像の表示が行われたトータル時間と、各検索対象画像が確信度上位画像５２として表示された表示時間とに基づいて、各検索対象画像の表示率を算出する。つまり、表示率算出手段４６は、一連の最適画像検索処理が実施されてから、各確信度上位画像５２がどの程度の割合で、表示部５に表示されているかを示す表示率を算出する。
【００５５】
この後、制御手段４は、画像取得手段４１により次の撮影画像が取得されたか否かを判断する（ステップＳ６）。このステップＳ６において、画像取得手段４１により次の撮影画像が取得された場合、ステップＳ２に戻る。すなわち、ステップＳ２からステップＳ５の撮影画像を用いたオブジェクト認識、確信度の算出を実施して、更新された確信度に基づいた確信度上位画像５２の表示を行う。
【００５６】
このステップＳ６において、画像取得手段４１により次の撮影画像が取得されない場合、制御手段４は、ユーザーの操作に基づいて画像選択手段４５が確信度上位画像５２を選択したか否かを判定する（ステップＳ７）。
このステップＳ７で、画像選択手段４５により確信度上位画像５２が選択されると、制御手段４は、当該選択された確信度上位画像５２に関する詳細な情報を表示部５に表示させて提供し、一連の最適画像検索処理を終了する（ステップＳ８）。
【００５７】
一方、ステップＳ７において、ユーザーの選択がないと判断した場合、ステップＳ５で表示された各確信度上位画像５２の表示率が、閾値以上であるか否かを判定する（ステップＳ９）。
つまり、本実施形態では、確信度上位画像５２の表示率が閾値以上となる場合に、結果表示手段４４は、当該確信度上位画像５２を表示部５から消去し、新たな検索対象画像を確信度上位画像５２として表示させる。
なお、このステップＳ９の処理は、最適画像検索処理が開始されてから、予め設定された設定時間が経過した後に実施される。つまり、一連の最適画像検索処理において、初めて表示部５に表示される確信度上位画像５２は、表示率が１となる。このような確信度上位画像５２を表示率に基づいて表示部５から消去し、認識結果からも除外してしまうと、当該確信度上位画像５２が目的画像である場合、ユーザーが選択することができない。また、表示部５に当該確信度上位画像５２が表示された直後に、表示部５から表示が消えてしまっては、ユーザーが確信度上位画像５２の確認を十分に実施できないという問題が生じる。これに対して、本実施形態では、最適画像検索処理が開始されてから、設定時間が経過するまでの間は、当該確信度上位画像５２の表示率が高い場合であっても、当該確信度上位画像５２を表示部５に表示させる。これにより、上記のような問題を回避することができ、ユーザーに確信度上位画像５２の確認時間を十分に与えることが可能となる。
【００５８】
そして、ステップＳ９において、表示部５に表示された各確信度上位画像５２の表示率が閾値より小さい場合は、結果表示手段４４は、これらの確信度上位画像５２を引き続き表示部５に表示させて、ステップＳ６に戻る。
一方、ステップＳ９において、表示部５に表示された確信度上位画像５２のうち、表示率が閾値以上となる確信度上位画像５２がある場合、結果表示手段４４は、当該確信度上位画像５２の表示を消去し、当該確信度上位画像５２の次に確信度が大きい検索対象画像を、消去した確信度上位画像５２の表示位置に、移動させて表示させる（ステップＳ１０）。すなわち、結果表示手段４４は、表示率が閾値を超える確信度上位画像５２を除外して、確信度に基づいて検索対象画像を順に表示部５に表示させることで、表示ランキングを更新する。
また、このステップＳ１０では、検索除外手段４７は、消去された確信度上位画像５２（検索対象画像）を結果蓄積部３２の認識結果から除外する。
この後、再びステップＳ６の判定処理に戻る。
【００５９】
［第一実施形態の作用効果］
上述した第１実施形態の画像検索装置１では、以下に示す作用効果を奏することができる。
画像検索装置１は、画像取得手段４１により、撮影画像が取得されると、画像検索手段４２は、この取得した撮影画像を用いて、画像データベース３１から撮影画像と類似する検索対象画像を検索して、結果蓄積部３２に蓄積する。また、確信度算出手段４３は、結果蓄積部３２に蓄積された認識結果に基づいて、各検索対象画像に対する確信度を算出する。そして、結果表示手段４４は、検索された複数の検索対象画像のうち、確信度が大きい検索対象画像を確信度上位画像５２として表示部５に表示させ、所定の判定時間が経過するまでの間に、画像選択手段４５による確信度上位画像５２の選択がない場合に、表示部５に表示された確信度上位画像５２の表示ランキングを更新する。
【００６０】
このような構成では、撮影画像に対して画像検索手段４２により検索された検索対象画像に対して初期の確信度を付与した後、撮影周期毎に確信度が更新されると、結果表示手段４４は、更新された更新度に基づいて、表示部５に表示させる確信度上位画像５２を更新する。このため、１回のオブジェクト認識による類似度に基づいた検索処理では、表示部５に表示されなかった検索対象画像でも、過去の認識結果に基づいて算出される確信度に基づいた表示を行うことで、表示部５に表示される可能性が高くなる。また、時間の経過により、表示部５に表示された確信度上位画像５２の表示ランキングが更新されるため、更新により、表示部５に表示されていなかった検索対象画像が表示部５に表示される可能性が更に高くなる。
以上により、ユーザーが求める目的画像が確信度上位画像５２として表示部５に表示される確率を高めることができる。つまり、ユーザーの求める目的画像が表示されやすい最適画像検索処理を実施することができる。
【００６１】
これに加え、結果表示手段４４は、画像選択手段４５により当該確信度上位画像５２が選択されず、表示率が所定の上限値を超えた確信度上位画像５２を、表示部５から消去し、次に確信度が高い検索対象画像を確信度上位画像５２として表示部５に表示する。
このような構成では、ユーザーにより選択されない画像を目的画像ではないとして、表示部５から消去することができる。したがって、ユーザーが求める目的画像をより迅速に表示部５に表示させることができる。
また、結果表示手段４４による確信度上位画像５２の表示消去は、最適画像検索処理が開始されてから、所定の設定時間が経過した後に行うことが好ましい。つまり、最適画像検索処理を開始した直後では、経過時間が小さいため、各確信度上位画像５２の表示率も大きくなってしまう。これに対して、上述のように設定時間を設けることで、ユーザーの操作時間を十分に確保することができる。
【００６２】
最適画像検索処理において、画像取得手段４１は、撮影周期毎に撮影画像を取得し、画像検索手段４２は、これらの各撮影画像に対してそれぞれオブジェクト認識を実施する。そして、確信度算出手段４３は、これらの各オブジェクト認識の認識結果に基づいて、各検索対象画像に対する確信度を算出する。
このような構成では、同じオブジェクトに対して撮影された複数の撮影画像に対して、それぞれオブジェクト認識を実施し、これらのオブジェクト認識の認識結果を用いて総合的に考慮した確信度を算出する。このような確信度に基づいた表示を行うことで、１つのオブジェクト認識の類似度に基づいた認識結果に比べて、ユーザーが求めるオブジェクトにより類似した確信度上位画像５２を表示させることができる。
【００６３】
ここで、確信度算出手段４３は、撮影画像に対する検索対象画像の類似度Ａ（ｋ，ｉ）と、オブジェクト認識の実施回数ｎとに基づいて、確信度を算出する。
このような確信度の算出方法では、検索回数が多い検索対象画像の確信度を高めることができ、撮影画像に対する一連の検索結果による類似度に基づいて、ユーザーが求めるオブジェクトが含まれる確率の高い検出結果を確信度上位画像５２として表示することができる。
また、確信度としては、例えば類似ランキング等に基づいて簡易的に算出される値であってもよいが、類似ランキングは、オブジェクト認識で検索された検索対象画像を、類似度順に並べたデータであるため、例えば検索された全ての検索対象画像の類似度が低い場合では、類似ランキングが上位の検索対象画像でも類似度が低い場合がある。これに対して、類似度に基づいて確信度を求める場合、上記のような問題が生じず、より信頼できる確信度を算出することができる。
【００６４】
なお、本実施形態では、結果表示手段４４は、表示率算出手段４６により算出された表示率が閾値を超える確信度上位画像５２を消去するとし、検索除外手段４７は、消去された確信度上位画像５２を結果蓄積部３２から除外するとしたが、これに限らない。
例えば、表示率が閾値を超える確信度上位画像５２がある場合、まず、検索除外手段４７により結果蓄積部３２に蓄積された認識結果から当該確信度上位画像５２（検索対象画像）を除外し、確信度算出手段４３により結果蓄積部３２の認識結果に基づいて確信度を算出し直し、その後に、結果表示手段４４が当該算出された確信度に基づいて確信度上位画像５２を表示部５に表示させて、表示更新を行うとしてもよい。この場合であっても、上述第一実施形態と同様の認識結果表示を行うことができる。
【００６５】
［第二実施形態］
上記第一実施形態の画像検索装置１では、結果表示手段４４は、表示率算出手段４６により算出された表示率に基づいて、表示部５に表示された確信度上位画像５２の表示率が閾値を超えた場合に、当該確信度上位画像５２を表示部５から削除して、新たな検索対象画像を表示部５に繰り上げて表示させた。これに対して、第二実施形態の画像検索装置は、結果表示手段は、確信度上位画像が表示部に表示されてから、一定の判定時間が経過するまでの間に、画像選択手段により確信度上位画像が選択されない場合に、当該確信度上位画像の表示を消去して、新たな検索対象画像を表示させる点で相違する。
【００６６】
第二実施形態の画像検索装置は、第一実施形態の画像検索装置１と略同様の構成を有するものであるため、図１に基づいて、以下第二実施形態について説明する。
なお、本実施形態の画像検索装置１では、制御手段４の機能構成として、表示率算出手段４６が設けられない構成としてもよい。
本実施形態では、結果表示手段４４は、第一実施形態と同様に、カメラ２により撮影されている撮影対象画像５１を表示部５の全体に表示させるとともに、確信度が大きい順に確信度上位画像５２として表示する。また、結果表示手段４４は、確信度算出手段４３により確信度が更新される度に、確信度の順位に変動がある場合、表示部５に表示させる確信度上位画像５２の順序を入れ替える。
【００６７】
そして、結果表示手段４４は、表示部５に確信度上位画像５２が表示させたタイミングから、予め設定された所定の判定時間（例えば３０秒）が経過するまでの間に、画像選択手段４５により確信度上位画像５２が選択されなかった場合に、当該確信度上位画像５２を除外して、確信度上位画像５２を更新する。
すなわち、結果表示手段４４は、表示率ではなく、確信度上位画像５２が表示部５に表示されてからの時間に基づいて、当該確信度上位画像５２の表示、非表示（消去）を切り替える。このため、本実施形態では、上記のように、表示率算出手段４６を設ける必要がない。
【００６８】
上記のような第二実施形態の画像検索装置１の画像検索方法について図面に基づいて説明する。
図５は、第二実施形態の画像検索装置１における動作を示すフローチャートである。
図５に示すように、第二実施形態の画像検索装置１では、第一実施形態と略同様の処理により最適画像検索処理を実施するものであり、ステップＳ６で「Ｎｏ」と判定された場合に、ステップＳ７の代わりにステップＳ１１を実施する。
【００６９】
つまり、このステップＳ１１では、結果表手段４４は、ステップＳ６において画像取得手段４１により取得される撮影画像がないと判定された場合に、各確信度上位画像５２が表示されてからの時間を計測する。そして、判定時間が経過するまでの間に、ユーザーの選択操作により確信度上位画像５２が選択されたか否かを判定する。
そして、このステップＳ１１において、判定時間が経過するまでの間に、確信度上位画像５２が選択されなかった場合、ステップＳ１０を実施し、結果表示手段４４は、その確信度上位画像５２を除外して、表示部５に表示させる確信度上位画像５２の表示ランキングを更新する。つまり、結果表示手段４４は、判定時間が経過するまでの間に、画像選択手段４５により選択されなかった確信度上位画像５２を、表示部５から消去し、消去した確信度上位画像５２の代わりに、当該確信度上位画像５２の次に確信度が大きい検索対象画像を表示させて、以降、順次、表示位置を繰り上げて表示させる。
一方、ステップＳ１１において、ユーザーによる選択操作があり、画像選択手段４５により確信度上位画像５２が選択された場合、ステップＳ８の処理を実施する。
【００７０】
［第二実施形態の作用効果］
上述したような第二実施形態の画像検索装置１では、結果表示手段４４は、判定時間が経過するまでの間に、ユーザーの操作がなく、画像選択手段４５により確信度上位画像５２が選択されなかった場合、当該確信度上位画像５２を除外して、表示部５に表示させる確信度上位画像５２の表示ランキングを更新する。
このため、ユーザーにより選択されない画像を除外して確信度上位画像５２を更新するので、目的画像がより迅速に表示部５に表示される確率を高めることができる。
【００７１】
［第三実施形態］
次に、本発明に係る第三実施形態について、図面に基づいて説明する。
上記第二実施形態の画像検索装置１では、結果表示手段４４により表示部５に確信度上位画像５２が表示されて、判定時間が経過するまでの間に、画像選択手段４５による当該確信度上位画像５２の選択がなかった場合、結果表示手段４４は、選択されなかった確信度上位画像５２を表示部５から削除して、新たな検索対象画像を表示部５に繰り上げて表示させた。これに対して、第三実施形態の画像検索装置は、結果表示手段は、画像選択手段により確信度上位画像が選択されなかった場合に、当該選択されなかった確信度上位画像の表示位置を下位ランクの表示位置に落として表示させる点で、上記第二実施形態と相違する。
【００７２】
第三実施形態の画像検索装置は、第一実施形態の画像検索装置１と略同様の構成を有するものであるため、図１に基づいて、以下第三実施形態について説明する。
本実施形態では、画像検索装置１は、表示部５に確信度上位画像５２が表示させたタイミングから、予め設定された所定の判定時間（例えば３０秒）が経過するまでの間に、画像選択手段４５により確信度上位画像５２が選択されなかった場合に、当該確信度上位画像５２の表示上のランクを下位に段階的に低下させて表示を更新する。
【００７３】
例えば、図６の（Ａ）に示すように、確信度が大きい順にＡ，Ｂ，Ｃ，Ｄの検索対象画像が確信度上位画像５２として表示されており、複数回のオブジェクト認識を実施した結果、確信度のランキングが、Ｂ，Ｅ，Ｆ，Ｃに変化したとする。この場合、結果表示手段４４は、図６の（Ｂ）に示すように、最上位表示位置５２Ａから最下位表示位置５２Ｂまでの確信度上位画像５２の表示順をＢ，Ｅ，Ｆ、Ｃとして、表示を更新する。
そして、検索対象画像Ｂ，Ｃが、表示部５に表示された後、予め設定された判定時間が経過すると、結果表示手段４４は、検索対象画像Ｂの表示位置を１ランク分最下位表示位置５２Ｂ側に移動させる。すなわち、検索対象画像Ｂの表示位置と、検索対象画像Ｅの表示位置とを入れ替えて表示させる。したがって、検索対象画像Ｂは、ユーザーによる選択操作がなく、画像選択手段４５に選択されない場合、時間経過とともに、表示ランキングを段階的に低下することになる。
一方、最下位表示位置５２Ｂに表示されていた検索対象画像Ｃの表示位置を１ランク分移動させることはできないため、結果表示手段４４は、検索対象画像Ｃを消去し、検索対象画像Ｃの次に確信度が大きい検索対象画像Ｇを、新たに表示部５の最下位表示位置５２Ｂに表示する。
【００７４】
そして、検索除外手段４７は、表示上から消去された検索対象画像Ｃを、結果蓄積部３２の認識結果から除外する。これにより、検索対象画像Ｃは、一連の最適画像検索処理における検索対象から除外され、以降の画像検索手段４２によるオブジェクト認識において、検索対象画像Ｃが検索された場合でも、結果蓄積部３２に蓄積されず、確信度が算出されることもないため、表示部５に表示されることがなくなる。
なお、検索対象画像Ｂも、引き続き画像選択手段４５により選択されなかった場合は、時間経過により、徐々に表示位置が最下位表示位置５２Ｂ側に移動し、最終的に表示部５から消去され、検索対象から除外されることとなる。
【００７５】
なお、結果表示手段４４は、最下位表示位置５２Ｂに表示された検索対象画像に対して、例えば最初の判定時間経過時のみ削除しない処理を行ってもよい。
すなわち、表示部５に表示される確信度上位画像５２のうち、最下位表示位置５２Ｂ以外の位置に表示された確信度上位画像５２は、判定時間経過後も表示位置が移動するだけで、除外されることはない。これにより、ユーザーの見落とし等により判定時間が経過した場合でも、これらの確信度上位画像５２は表示部５に表示された状態となり、ユーザーは、これらの確信度上位画像５２を確認することができる。したがって、例えばこれらの確信度上位画像５２が目的画像であった場合、ユーザーは目的画像を選択することが可能となる。
一方、最下位表示位置５２Ｂに表示された確信度上位画像５２は、最初の判定時間経過後に即座に削除されてしまうことになる。この場合、ユーザーの見落とし等により判定時間が経過していた場合、検索対象から最下位表示位置５２Ｂに表示されていた確信度上位画像５２が除外されてしまうため、認識結果として表示されなくなってしまう。これに対して、例えば最初の判定時間経過時は、最下位表示位置５２Ｂに表示された確信度上位画像５２を削除せずに表示し続ける処理を実施することで、ユーザーに当該確信度上位画像５２の確認を促すことができる。
【００７６】
［第三実施形態の作用効果］
上述したような第三実施形態の画像検索装置１では、第二実施形態における効果に加え、以下の効果を奏する。
結果表示手段４４は、ユーザーの操作がなく、画像選択手段４５により確信度上位画像５２が選択されなかった場合、当該確信度上位画像５２の表示位置が最下位表示位置５２Ｂ以外である場合に、最下位表示位置５２Ｂ側に表示位置を移動させ、当該確信度上位画像５２の表示位置が最下位表示位置５２Ｂである場合に表示部５から消去する。したがって、表示部５に表示された確信度上位画像５２が判定時間の経過後に即座に消去されず、徐々に表示上のランキングが低下していき、最終的に表示部５から消去されることになる。
このため、例えば、ユーザーが脇見等によって表示部５の表示を見ていなかった場合でも、確信度上位画像５２が即座に削除されてしまう不都合を回避できる。したがって、ユーザーに確信度上位画像５２を選択させる十分な時間を与えることができ、快適な操作を支援することができる。
【００７７】
［第四実施形態］
次に、本発明の第四実施形態の画像検索装置について、図面に基づいて説明する。
上記第一から第三実施形態では、表示部５に確信度上位画像５２が表示されて、所定の判定時間が経過するまでの間に、画像選択手段４５による当該確信度上位画像５２の選択がなかった場合、当該確信度上位画像５２を除外する例を示した。これに対して、第四実施形態の画像検索装置では、画像選択手段により確信度上位画像が選択されなかった場合に、確信度算出手段が、当該選択されなかった確信度上位画像（検索対象画像）の確信度を低下させる点で相違する。
【００７８】
第四実施形態の画像検索装置は、第一実施形態の画像検索装置１と略同様の構成を有するものであるため、図１に基づいて、以下第四実施形態について説明する。
なお、本実施形態の画像検索装置１では、制御手段４の機能構成として、表示率算出手段４６及び検索除外手段４７が設けられない構成としてもよい。
本実施形態の画像検索装置１の結果表示手段４４は、上記第一から第三実施形態と同様に、確信度算出手段４３により確信度が更新される度に、更新された確信度のランキングに応じて、表示部５に表示させる確信度上位画像５２の順序を入れ替える。
また、本実施形態の結果表示手段４４は、確信度の変化がない場合には、表示部５における確信度上位画像５２の表示順を変化させない。したがって、表示部５に確信度上位画像５２が表示させたタイミングから、予め設定された所定の判定時間（例えば３０秒）が経過するまでの間に、画像選択手段４５により確信度上位画像５２が選択されなかった場合でも、確信度のランキングに変動がない場合は、確信度上位画像５２の表示順を変化させず、確信度上位画像５２を表示部５から除外することはない。
【００７９】
一方、本実施形態の確信度算出手段４３は、結果蓄積部３２に蓄積された認識結果に基づいて、各検索対象画像の確信度を算出することに加え、以下の処理を実施する。
すなわち、確信度算出手段４３は、結果表示手段４４により表示部５に確信度上位画像５２が表示されたタイミングから、予め設定された所定の判定時間（例えば３０秒）の間、画像選択手段４５により確信度上位画像５２が選択されなかった場合に、当該確信度上位画像５２（検索対象画像）の確信度を低下させる処理をする。
ここで、本実施形態では、確信度算出手段４３は、画像選択手段４５により選択されなかった確信度上位画像５２（検索対象画像）の確信度を最低値である「０」に固定する。
また、結果表示手段４４は、確信度が更新されるタイミングで、表示部５の表示を更新するため、確信度算出手段４３により確信度が最低値に更新された確信度上位画像５２は、表示部５から削除されることとなり、新たな確信度に基づいた確信度上位画像５２が表示されることとなる。これにより、図３に示すような画像認識結果の表示を行うことが可能となる。
なお、ここでは、確信度算出手段４３は、判定時間が経過するまでの間に画像選択手段４５により選択されなかった確信度上位画像５２（検索対象画像）の確信度を、最低値である「０」に設定したが、最低値としては例えばマイナスの値に固定してもよい。これにより、ユーザーにより選択されなかった検索対象画像が確実に表示部５上に表示されなくなる。
【００８０】
［画像検索装置の動作］
次に、第四実施形態の画像検索装置１の画像検索方法について説明する。
本実施形態の画像検索装置１では、上記第二実施形態と略同様の処理により最適画像検索処理を実施するため、図５に基づいて画像検索方法を説明する。
第二実施形態では、図５のステップＳ１０において、結果表示手段４４が、判定時間を経過し、かつユーザーによる選択操作がない確信度上位画像５２の確信度を変化させずに、表示上から除外し、検索除外手段４７により認識結果からも除外する構成とした。
これに対して、本実施形態のステップＳ１０では、確信度算出手段４３は、判定時間を経過し、かつユーザーによる選択操作がない確信度上位画像５２の確信度を最低値に設定する。そして、結果表示手段４４は、この更新された確信度に基づいて、確信度が高い順にランキングした検索対象画像の上位４つを、確信度上位画像５２として表示部５に表示させる。
【００８１】
［第四実施形態の作用効果］
上述したような第四実施形態の画像検索装置１では、結果表示手段４４は、判定時間が経過するまでの間に、ユーザーの操作がなく、画像選択手段４５により確信度上位画像５２が選択されなかった場合、確信度算出手段４３は、当該確信度上位画像５２の確信度を最低値に固定し、結果表示手段４４は、この確信度の更新の後に確信度に基づいて確信度上位画像５２を表示部５に表示させる。
このため、上記第一から第三実施形態と同様に、ユーザーにより選択されない画像を除外して確信度上位画像５２を更新するので、目的画像が表示部５に表示される確率を高めることができる。
【００８２】
［第五実施形態］
次に、本発明に係る第五実施形態について、図面に基づいて説明する。
上記第四実施形態の画像検索装置１では、結果表示手段４４により表示部５に確信度上位画像５２が表示されて、所定の判定時間が経過するまでの間に、画像選択手段４５による当該確信度上位画像５２の選択がなかった場合、確信度算出手段４３は、選択されなかった確信度上位画像５２の確信度を最低値に設定した。これに対して、第五実施形態の画像検索装置では、確信度変化手段は、画像選択手段により確信度上位画像が選択されなかった場合に、当該選択されなかった確信度上位画像の確信度を所定の設定値だけ低下させる点で、上記第四実施形態と相違する。
【００８３】
第五実施形態の画像検索装置は、第一実施形態の画像検索装置１と略同様の構成を有するものであるため、図５に基づいて、以下第五実施形態について説明する。
本実施形態の画像検索装置１の確信度算出手段４３は、結果表示手段４４により表示部５に確信度上位画像５２が表示されたタイミングから、予め設定された所定の判定時間（例えば３０秒）の間、画像選択手段４５により確信度上位画像５２が選択されなかった場合に、当該確信度上位画像５２（検索対象画像）の確信度を所定の設定値（例えば０．５）だけ低下させて固定する。
ここで、設定値としては、予め設定されて記憶手段に記憶されていてもよく、例えばユーザーにより適宜設定、変更可能な値を用いてもよい。
本実施形態では、確信度算出手段４３により確信度を設定値ずつ低減させることで、画像選択手段４５により選択されなかった検索対象画像の確信度は、段階的に低下していくことになる。したがって、確信度の更新毎に、結果表示手段４４により表示部５の表示が更新されると、画像選択手段４５により選択されなかった確信度上位画像５２の表示位置も徐々に最下位表示位置５２Ｂ側に移動する。そして、最終的には、当該確信度上位画像５２の確信度が、表示部５に表示されていない他の検索対象画像の確信度よりも小さくなることで、表示部５に表示されなくなる。すなわち、図６に示す表示例と略同様の表示が行われることになり、ユーザーにより選択されなかった確信度上位画像５２の表示ランキングが段階的に低下することとなる。
【００８４】
［第五実施形態の作用効果］
上述したような第五実施形態の画像検索装置１では、第三実施形態と略同様の作用効果を奏することができる。
すなわち、画像検索装置１の確信度算出手段４３は、ユーザーの操作がなく、画像選択手段４５により確信度上位画像５２が選択されなかった場合、当該確信度上位画像５２の確信度を所定の設定値だけ低減させた値に固定する。このため、時間が経過するに伴って、画像選択手段４５により選択されなかった確信度上位画像５２の確信度は徐々に低下していくことになる。したがって、確信度が更新される毎に結果表示手段４４により表示部５の表示が更新されることで、当該確信度上位画像５２の表示位置が徐々に最下位表示位置５２Ｂ側に移動していき、最終的には、表示部５に表示されなくなる。
このような構成では、表示部５に表示された確信度上位画像５２が判定時間の経過後に即座に削除されることがないため、例えば、ユーザーが脇見等によって表示部５の表示を見ていなかった場合でも、確信度上位画像５２が即座に削除されてしまう不都合を回避できる。したがって、ユーザーに確信度上位画像５２を選択させる十分な時間を与えることができ、快適な操作を支援することができる。
【００８５】
［第六実施形態］
次に、本発明の第六実施形態の画像検索装置について、図面に基づいて説明する。
上記した第一から第五実施形態の画像検索装置１、１では、結果表示手段４４は、図２に示すように、表示部５の下部領域に、最上位表示位置５２Ａから最下位表示位置５２Ｂに向かって、確信度が大きい順に同一サイズの確信度上位画像５２を表示させた。これに対して、第六実施形態は、結果表示手段により表示される確信度上位画像の順位が変動した場合に、表示形態を変えて表示される点で相違する。
【００８６】
図７は、第六実施形態における表示部の表示例を示す図である。
また、第六実施形態の画像検索装置は、第一実施形態の画像検索装置１と略同様の構成を有するものであるため、図１に基づいて、以下第六実施形態について説明する。
本実施形態の画像検索装置１の結果表示手段４４は、上記第一から第五実施形態と同様に、撮影対象画像５１及び確信度上位画像５２を表示させる。
ここで、本実施形態の結果表示手段４４は、例えば確信度算出手段４３により確信度が新たに算出された場合や、表示率が閾値を超えた確信度上位画像５２を消して、他の検索対象画像を表示させる場合などにおいて、表示部５に表示させる確信度上位画像５２の表示サイズを変化させる。
【００８７】
例えば、図４のステップＳ５において、確信度算出手段４３により各検索対象画像の確信度を算出した際に、確信度のランキングに変動があった場合、結果表示手段４４は、ランクが上昇した確信度上位画像５２を、図８に示すように拡大表示させる。一方、結果表示手段４４は、ランクが下降した確信度上位画像５２を縮小表示させる。
【００８８】
また、図４におけるステップＳ１０では、結果表示手段４４は、画像選択手段４５により確信度上位画像５２が選択されなかった場合、当該確信度上位画像５２を消去し、消去した確信度上位画像よりも確信度が低い検索対象画像の表示ランキングを順次上位に繰り上げて表示させるが、この際、順位を繰り上げて表示させる確信度上位画像５２を拡大表示させる。また、結果表示手段４４は、最下位表示位置５２Ｂに新たに表示する確信度上位画像５２を、さらに表示サイズを大きくして表示させてもよい。
【００８９】
［第六実施形態の作用効果］
第六実施形態の画像表示装置では、上記各実施形態の作用効果に加えて、以下のような作用効果を奏する。
すなわち、結果表示手段４４は、確信度のランキングが変動した際に、ランクが上昇した確信度上位画像５２に対して表示サイズを大きくし、ランクが下降した確信度上位画像５２に対して表示サイズを小さくして表示する。このため、ユーザーは表示された各確信度上位画像５２の表示サイズを確認することで、確信度のランキングがどのように変動しているかを確認することができる。
また、新たに表示部５に表示される確信度上位画像５２がある場合では、当該新たに表示される確信度上位画像５２を強調して表示することができる。これにより、ユーザーの目が、この新たに表示された表示サイズが大きい確信度上位画像５２に向くこととなり、ユーザーによる確信度上位画像５２の確認作業を良好に支援することができる。
【００９０】
なお、本実施形態では、第一実施形態の結果表示手段４４に対して表示形態を変化させて表示させる例を示したが、第二から第五実施形態の結果表示手段４４においても同様に、確信度上位画像５２の表示形態を変化させてもよい。
【００９１】
［第七実施形態］
次に、本発明の第七実施形態に係る画像検索システムについて、図面に基づいて説明する。
上記第一から第六実施形態では、画像検索装置の記憶手段３に画像データベース３１が記憶され、この画像データベース３１から撮影画像に対応した検索対象画像を検索する装置を例示した。これに対して、第七実施形態は、サーバ装置に設けられた記憶手段に画像データベースが記憶され、サーバ装置において、端末装置から送信された撮影画像を用いたオブジェクト認識を実施し、検索対象を再び画像端末装置に送信する点で第一から第六実施形態とは相違する。
【００９２】
［画像検索システムの構成］
図８は、第七実施形態の画像検索システムの概略構成を示す図である。なお、第七実施形態の説明に当たり、第一から第六実施形態で説明した構成については同符号を付し、その説明を省略、または簡略する。
図８に示すように、本実施形態の画像検索システム１００は、端末装置２００と、サーバ装置３００とが、インターネット１１０を介して通信可能に接続されている。
ここで、本実施形態では、ネットワークとして、ＴＣＰ／ＩＰなどの汎用のプロトコルに基づくインターネット１１０を例示するが、これに限られない。例えば、無線媒体により情報が送受信可能な複数の基地局がネットワークを構成する通信回線網などのネットワークなど、データを送受信させるいずれの構成も利用できる。
【００９３】
［端末装置の構成］
端末装置２００は、例えば、携帯電話、スマートフォン、モバイルコンピュータなどのモバイル機器の他、パーソナルコンピュータ等の汎用コンピュータを使用することができる。この端末装置２００は、ハードウェア構成として、カメラ２と、表示部５と、操作部６と、記憶手段２１０と、制御手段２２０と、を備えている。
【００９４】
記憶手段２１０は、データなどを一時的に記憶できる一時領域などを有するＲＡＭ（Random Access Memory）や、ＯＳ（Operating System：基本ソフトウェア）や各種サーバを制御するプログラム、各種アプリケーション、各種データ等が格納されるＲＯＭ（Read Only Memory）等により構成されている。この記憶手段２１０は、サーバ装置３００から送信されたオブジェクト認識の認識結果を蓄積する結果蓄積部３２を備えている。
【００９５】
制御手段２２０は、ＣＰＵ等の集積回路や、インターネット１１０を介してサーバ装置３００と通信するための通信手段を備えて構成されている。また、制御手段２２０は、記憶手段２１０に格納されているプログラムを読み出し、このプログラムに従って各種処理を行う。
そして、制御手段２２０は、機能構成として、画像取得手段４１と、撮影画像送信手段２２１と、結果受信手段２２２と、確信度算出手段４３と、結果表示手段４４と、画像選択手段４５と、表示率算出手段４６と、検索除外手段４７と、を備えている。
【００９６】
撮影画像送信手段２２１は、画像取得手段４１により撮影画像が取得される毎に、取得された撮影画像をインターネット１１０と介してサーバ装置３００に送信する。この際、撮影画像送信手段２２１は、端末装置２００を特定するためのユーザーＩＤとともに、撮影画像を送信する。
【００９７】
結果受信手段２２２は、サーバ装置３００から送信された撮影画像に対するオブジェクト認識の認識結果を受信する。この認識結果としては、第一実施形態と同様、撮影画像に対する類似度が大きい検索対象画像と、当該検索対象画像の類似度が含まれる。また、結果受信手段２２２は、受信したオブジェクト認識の認識結果を記憶手段２１０の結果蓄積部３２に蓄積する。
【００９８】
［サーバ装置の構成］
サーバ装置３００は、図９に示すように、ハードウェア構成として、記憶手段３１０と、制御手段３２０と、を備えている。
記憶手段３１０は、データなどを一時的に記憶できる一時領域などを有するＲＡＭや、ＯＳや各種サーバを制御するプログラム、各種アプリケーション、各種データ等が格納されるＲＯＭ等により構成される。
この記憶手段３１０には、撮影画像に対してオブジェクト認識を実施するための画像データベース３１が記憶されている。
【００９９】
制御手段３２０は、ＣＰＵ等の集積回路や、インターネット１１０を介して端末装置２００等と通信するための通信手段を備えて構成されている。また、制御手段３２０は、記憶手段３１０に格納されているプログラムを読み出し、このプログラムに従って各種処理を行う。
そして、制御手段３２０は、機能構成として、画像受信手段３２１と、画像検索手段４２と、検索結果送信手段３２２と、を備えている。
【０１００】
画像受信手段３２１は、インターネット１１０を介して端末装置２００から送信された撮影画像を受信する。
画像検索手段４２は、第一実施形態における画像検索手段４２と同様であり、画像受信手段３２１により受信された撮影画像を用いて、記憶手段３１０の画像データベース３１から当該撮影画像と類似する検索対象画像を検索する。
検索結果送信手段３２２は、画像検索手段４２によるオブジェクト認識の認識結果である検索対象画像及び類似度を、インターネット１１０を介して端末装置２００に送信する。この時、検索結果送信手段３２２は、画像受信手段３２１で撮影画像とともに受信したユーザーＩＤに基づいて、撮影画像の送信元である端末装置２００に検索結果を送信する。
【０１０１】
［画像検索システムにおける画像検索方法］
次に、上述したような画像検索システム１００における画像検索方法（最適画像検索処理）について、図面に基づいて説明する。
図９は、画像検索システムにおける最適画像検索処理のフローチャートである。
【０１０２】
画像検索システム１００による最適画像検索処理は、図９に示すように、画像検索装置１による最適画像検索処理と略同様の手法により実施される。したがって、画像検索装置１の最適画像検索処理と同様のステップについては、同符号を付し、その説明を省略又は簡略する。
【０１０３】
端末装置２００を操作するユーザーにより、最適画像検索処理を実行するプログラムが起動されると、カメラ２が起動され、カメラ２により取り込まれた画像が、結果表示手段４４によりリアルタイムで端末装置２００の表示部５に表示される。そして、端末装置２００の制御手段２２０は、ステップＳ１を実施して、結果蓄積部３２を初期化する。
次に、ステップＳ２が実施され、画像取得手段４１は、カメラ２により撮影された撮影画像を取得する。
【０１０４】
この後、端末装置２００の撮影画像送信手段２２１は、ステップＳ２で取得した撮影画像を、ユーザーＩＤとともに、インターネット１１０を介してサーバ装置３００に送信する（ステップＳ２１）。
サーバ装置３００は、端末装置２００から送信された撮影画像を取得すると（ステップＳ２２）、図４のステップＳ３と同様の処理を実施し、ステップＳ２２で取得した撮影画像と類似する検索対象画像を、記憶手段３１０の画像データベース３１から検索する。
そして、サーバ装置３００の検索結果送信手段３２２は、ステップＳ２の認識結果を、インターネット１１０を介して端末装置２００に送信する（ステップＳ２３）。
【０１０５】
端末装置２００は、結果受信手段２２２により、サーバ装置３００から送信された認識結果を受信すると（ステップＳ２４）、受信した認識結果を結果蓄積部３２に蓄積する。この後、端末装置２００は、第一実施形態の画像検索装置１におけるステップＳ４〜ステップＳ１０の各処理を実施し、確信度の付与及び更新、確信度に基づいた確信度上位画像５２の表示を行う。
なお、確信度上位画像５２の表示では、結果表示手段４４は、第六実施形態のように、確信度の順位が変動した確信度上位画像５２を、他の確信度上位画像５２とは異なる表示形態で表示させてもよい。
【０１０６】
［第七実施形態の作用効果］
第七実施形態では、上記第一実施形態と同様の作用効果が得られる。
つまり、本実施形態の画像検索システム１００では、端末装置２００では、サーバ装置３００から送信されたオブジェクト認識の認識結果を結果蓄積部３２に蓄積し、この蓄積された認識結果に基づいて各検索対象画像の確信度を算出する。そして、端末装置の結果表示手段４４は、確信度が大きい順に、表示部５に確信度上位画像５２を表示させる。また、表示部５に確信度上位画像５２が表示されてから、所定の判定時間が経過するまでの間に、画像選択手段４５により確信度上位画像５２が選択されない場合、結果表示手段４４は、当該確信度上位画像５２を除外し、確信度に基づいて確信度上位画像５２を更新する。
このため、ユーザーが求める目的画像が確信度上位画像５２として表示部５に表示される確率を高めることができる。
【０１０７】
また、本実施形態の画像検索システム１００では、端末装置２００により取得された撮影画像をサーバ装置３００に送信し、サーバ装置３００でオブジェクト認識を実施して、その結果を端末装置２００に送信する。このような構成では、例えば端末装置２００として、記憶手段２１０の記憶容量が限られた携帯電話やスマートフォン等のモバイル機器を用いた場合でも、サーバ装置３００に設けられた大容量の記憶手段３１０の画像データベース３１から検索対象画像を検索することができる。このため、より多くの検索対象画像が記憶された画像データベース３１から、ユーザーが求める目的画像を検索することができ、検索精度をより向上させることができる。
また、サーバ装置３００の画像検索手段４２は、従来の検索エンジンと同様のアルゴリズムにより、類似度に基づいた検索対象画像を検索すればよいため、本発明の最適画像検索処理のために、新規アルゴリズムの検索エンジンを組み直す等の手間がなく、構成を簡単にできる。
【０１０８】
なお、本実施形態では、結果表示手段４４は、表示率に基づいて、表示部５に表示させた確信度上位画像５２の表示ランキングを更新したが、例えば第二から第五実施形態に示すように、判定時間に基づいて、表示ランキングを更新する構成としてもよい。
また、結果表示手段４４は、表示ランキングを低下させる際に、ユーザーにより選択されない確信度上位画像５２を即座に除外する構成としたが、例えば、第三実施形態のように、結果表示手段４４が、確信度上位画像の表示ランキングを段階的に低下させる処理、第四実施形態のように、確信度を最低値に設定する処理、第五実施形態のように、確信度を段階的に低下させる処理などを実施してもよい。
【０１０９】
［第八実施形態］
次に、本発明の第八実施形態について、図面に基づいて説明する。
上記第七実施形態の画像検索システム１００では、サーバ装置３００において撮影画像を用いたオブジェクト認識を行った後、オブジェクト認識の結果を端末装置２００に送信し、端末装置２００において、確信度の算出を行った。これに対して、第八実施形態の画像検索システムでは、サーバ装置３００において、撮影画像を用いたオブジェクト認識と、オブジェクト認識の認識結果を用いた確信度の算出とを実施する点で、上記第七実施形態の画像検索システム１００と相違する。
なお、第八実施形態の説明にあたり、上記第一から第七実施形態と同様の構成については、同符号を付し、その説明を省略または簡略する。
【０１１０】
［画像検索システムの構成］
図１０は、本実施形態の画像検索システムの概略構成を示す図である。
第八実施形態の画像検索システムは、第七実施形態と同様、端末装置２００と、サーバ装置３００とを備え、インターネット１１０等のネットワークを介して、これらの端末装置２００及びサーバ装置３００が通信可能に接続されている。
【０１１１】
［端末装置の構成］
本実施形態の端末装置２００は、ハードウェア構成として、カメラ２と、表示部５と、操作部６と、記憶手段（図示略）と、制御手段２２０と、を備えている。
【０１１２】
記憶手段は、データなどを一時的に記憶できる一時領域などを有するＲＡＭや、ＯＳや各種サーバを制御するプログラム、各種アプリケーション、各種データ等が格納されるＲＯＭ等により構成されている。なお、本実施形態では、図１０に示すように、記憶手段に画像データベース３１や結果蓄積部３２が設けられない。
【０１１３】
そして、本実施形態の端末装置２００における制御手段２２０は、図１０に示すように、機能構成として、画像取得手段４１と、撮影画像送信手段２２１と、結果受信手段２２２と、結果表示手段４４と、画像選択手段４５と、を備えている。
【０１１４】
撮影画像送信手段２２１は、画像取得手段４１により撮影画像が取得される毎に、取得された撮影画像をインターネット１１０と介してサーバ装置３００に送信する。この際、撮影画像送信手段２２１は、端末装置２００を特定するためのユーザーＩＤとともに、撮影画像を送信する。
【０１１５】
結果受信手段２２２は、サーバ装置３００から送信された撮影画像に対する最適画像検索処理の認識結果を受信する。ここで、この認識結果としては、確信度が付与された検索対象画像であり、結果受信手段２２２は、表示部５に表示させる表示数分だけ検索対象画像を取得すればよい。
結果表示手段４４は、結果受信手段２２２により取得した検索対象画像を確信度上位画像５２として、確信度が大きい順に並べて表示部５に表示させる。また、この結果表示手段４４は、結果受信手段２２２により認識結果を受信した場合にのみ表示部５に表示する確信度上位画像５２を更新する。
【０１１６】
画像選択手段４５は、ユーザーの操作に基づいて、表示部５に表示された確信度上位画像５２を選択するとともに、当該選択された確信度上位画像５２又は選択された確信度上位画像５２を特定する画像ＩＤを、選択画像としてサーバ装置に送信する。
【０１１７】
［サーバ装置の構成］
本実施形態のサーバ装置３００では、図１０に示すように、記憶手段３１０は、画像データベース３１に加え、結果蓄積部３２を備えている。
【０１１８】
また、本実施形態のサーバ装置３００の制御手段３２０は、機能構成として、図１１に示すように、画像受信手段３２１と、画像検索手段４２と、確信度算出手段４３と、検索結果送信手段３２２と、選択画像受信手段３２３と、検索除外手段４７と、を備えている。
【０１１９】
検索結果送信手段３２２は、確信度算出手段４３により確信度が算出された検索対象画像、及び当該検索対象画像の確信度を認識結果として、インターネット１１０を介して端末装置２００に送信する。この時、検索結果送信手段３２２は、端末装置２００の表示部５に確信度上位画像５２として表示させる表示数分の検索対象画像を、確信度が大きい順に送信する。
【０１２０】
選択画像受信手段３２３は、端末装置２００の画像選択手段４５により送信された選択画像を受信する。
検索除外手段４７は、検索結果送信手段３２２により認識結果を送信してからの時間を計測する。そして、検索除外手段４７は、所定の判定時間が経過するまでの間に、選択画像受信手段３２３により選択画像が受信されなかった場合に、検索結果送信手段３２２により送信した認識結果である検索対象画像を、結果蓄積部３２から除外する。
【０１２１】
［画像検索システムにおける画像検索方法］
次に、上述したような画像検索システムにおける画像検索方法（最適画像検索処理）について、図面に基づいて説明する。
図１１は、画像検索システムにおける最適画像検索処理のフローチャートである。
なお、本実施形態の画像検索システムによる最適画像検索処理の説明にあたり、上記実施形態において説明したステップについては、同符号を付し、その説明を省略又は簡略する。
【０１２２】
本実施形態の画像検索システムにおいて、端末装置２００を操作するユーザーにより、最適画像検索処理を実行するプログラムが起動されると、カメラ２が起動され、カメラ２により取り込まれた画像が、結果表示手段４４によりリアルタイムで端末装置２００の表示部５に表示される。そして、画像取得手段４１によりステップＳ２が実施され、カメラ２により撮影された撮影画像が周期的に取得される。また、ステップＳ２が実施される毎にステップＳ２１が実行され、撮影画像送信手段２２１は、取得された撮影画像を、インターネット１１０を介してサーバ装置３００に送信する。
この際、撮影画像送信手段２２１は、端末装置２００を判別するためのユーザーＩＤを撮影画像とともに、サーバ装置３００に送信する。また、各端末装置２００において、表示部５に表示させる確信度上位画像５２の表示数が異なる場合、撮影画像送信手段２２１は、撮影画像とともに、確信度上位画像５２の表示数を送信してもよい。
【０１２３】
一方、サーバ装置３００は、最適画像処理が実行されると、まず、結果蓄積部３２を初期化する（ステップＳ３１）。
そして、サーバ装置３００の画像受信手段３２１は、ステップＳ２２を実施し、端末装置２００から送信された撮影画像を受信する。
この後、画像検索手段４２は、ステップＳ３のオブジェクト認識処理（画像検索処理）を実施し、撮影画像と類似する検索対象画像を、記憶手段３１０の画像データベース３１から検索する。また、画像検索手段４２は、オブジェクト認識により認識された認識結果を結果蓄積部３２に蓄積する。
さらに、サーバ装置３００は、ステップＳ４の処理を実施し、結果蓄積部３２に蓄積された過去の認識結果に基づいて、各検索対象画像に対して確信度を算出する。
【０１２４】
この後、サーバ装置３００の検索結果送信手段３２２は、ステップＳ２３を実施し、認識結果を端末装置２００に送信する。この時、検索結果送信手段３２２は、検索された検索対象画像から、確信度上位画像５２の表示数分の検索対象画像を、確信度の大きい順に選択し、選択した検索対象画像を端末装置２００に送信する。
ここで、本実施形態では、ステップＳ２３において、検索対象画像とともに、当該検索対象画像の確信度を端末装置２００に送信する。
【０１２５】
端末装置２００は、ステップＳ２４により、サーバ装置３００から認識結果である検索対象画像を受信すると、ステップＳ５を実施し、結果表示手段４４は、受信した検索対象画像を確信度上位画像５２として、確信度が大きい順に、表示部５に表示させる。
この後、端末装置２００の制御手段２２０は、ステップＳ６〜Ｓ７を実施し、画像取得手段４１により次の撮影画像が取得されたか否か、及び画像選択手段４５により次の撮影画像が取得されたか否かを判定する。
このステップＳ７において、端末装置２００は、所定の判定時間が経過するまでの間に、選択画像が取得されたか否かを判定する必要がない。すなわち、画像選択手段４５により確信度上位画像５２が選択されない場合、ステップＳ６、及びステップＳ７を繰り返し、撮影画像の取得の有無、選択画像の有無の判定を繰り返す。
また、このステップＳ７において、ユーザーの操作に基づいて、画像選択手段４５により確信度上位画像５２が選択されると、画像選択手段４５は、当該選択した確信度上位画像５２（選択画像）をサーバ装置３００に送信する（ステップＳ３２）。
【０１２６】
一方、サーバ装置３００では、ステップＳ２３の後、選択画像の受信待ち（待機状態）となっており、ステップＳ３２により、選択画像が送信されると、これを受信する（ステップＳ３３）。また、サーバ装置３００は、ステップＳ２３における認識結果の送信タイミングから、所定の判定時間が経過するまでの間に、選択画像が受信した否かを判定する（ステップＳ３４）。このステップＳ３４では、ステップＳ３３の選択画像の受信が判定時間以内である場合、当該選択画像に関する詳細な情報を端末装置２００に送信する（ステップＳ３５）。これにより、端末装置２００は、ステップＳ８の処理を実施し、選択画像に関する詳細情報をユーザーに提供する。
【０１２７】
また、サーバ装置３００は、ステップＳ３４の判定処理において、判定時間が経過するまでの間に、ステップＳ３３による選択画像の受信がなかった場合、検索除外手段４７は、結果蓄積部３２から、ステップＳ２３で送信した認識結果の検索対象画像を除外する（ステップＳ３６）。この後、サーバ装置３００は、ステップＳ４に戻り、確信度算出手段４３により確信度を再度算出させ、ステップＳ２３により、その結果を端末装置２００に送信する。
これにより、端末装置２００の表示部５には、ユーザーが所定の判定時間の間に選択しなかった確信度上位画像５２が表示されなくなり、新たな検索対象画像に基づいた確信度上位画像５２が表示されることとなる。すなわち、上述した第一、二、第四実施形態と同様の表示ランキングの表示を行うことができる。
また、ステップＳ３６の処理において、ステップＳ２３にて送信した検索対象画像の確信度を段階的に低下させる処理をすることで、第三、第五実施形態と同様の表示ランキングの表示を行うことができる。
【０１２８】
［第八実施形態の作用効果］
本実施形態の画像検索システムでは、サーバ装置３００において、結果蓄積部３２に蓄積された認識結果に基づいて、各検索対象画像の確信度が算出され、確信度が大きい順に表示数分の検索対象画像が端末装置２００に送信される。これにより、端末装置２００の表示部５には、過去の認識結果に基づいた精度の高い確信度上位画像５２を表示させることができる。
また、サーバ装置３００から端末装置２００に認識結果を送信してから、所定の判定時間が経過するまでの間に、端末装置２００からサーバ装置３００に選択画像が送信されない場合、検索除外手段４７は、結果蓄積部３２から、送信した認識結果に対応する検索対象画像を除外する。このため、ユーザーが選択しなかった確信度上位画像を検索対象から除外することができ、より迅速に目的画像を提供することができる。
【０１２９】
また、本実施形態の画像検索システムでは、第七実施形態と同様の効果が得られ、例えば端末装置２００として、記憶手段の記憶容量が限られた携帯電話やスマートフォン等のモバイル機器を用いた場合でも、サーバ装置３００に設けられた大容量の記憶手段３１０の画像データベース３１から検索対象画像を検索することができる。このため、より多くの検索対象画像が記憶された画像データベース３１から、ユーザーが求める目的画像を検索することができ、検索精度をより向上させることができる。
更に、本実施形態の端末装置２００は、確信度の算出を実施せず、サーバ装置３００から送信された認識結果である確信度が付与された検索対象画像を確信度上位画像５２として表示部５に表示させるのみである。このため、端末装置２００の機能構成をより簡単にでき、例えば、処理能力が低い携帯電話等においても、上記のように検出精度が高く、かつ、目的画像が表示される確率が高い最適画像検索処理を実施することができる。
［変形例］
なお、本発明は、上述した実施形態に限定されるものではなく、本発明の目的を達成できる範囲で、以下に示される変形をも含むものである。
例えば、上述した第一〜第八実施形態では、確信度算出手段４３は、オブジェクト認識により得られた類似度と、オブジェクト認識が実施された回数に基づいて、式（１）に基づいて確信度を算出したが、これに限定されない。
例えば、確信度算出手段は、オブジェクト認識により得られた各検索対象画像の撮影画像に対する類似度に基づいて設定される類似ランキングと、当該検索対象画像が検索された回数（Ｈｉｔｃｏｕｎｔ）とに基づいて確信度を算出してもよい。
この場合、確信度算出手段は、例えば、以下の式（２）に基づいて、確信度を算出する。
【０１３０】
［数２］
【０１３１】
上記式において、各符号は以下の意味である。
Ｉ＝｛Ａ，Ｂ，Ｃ・・・｝ 検索対象画像の集合
Ｒ＝｛Ｒ１，Ｒ２，Ｒ３・・・，Ｒｎ｝ 類似ランキング（認識結果）の集合
ＲＡＮＫ（ｒ，ｉ） 類似ランキングＲで、検索対象画像ｉにおけるランク
Ｈｉｔｃｏｕｎｔ（ｉ） 検索対象画像ｉを含む類似ランキングの数（検索対象画像ｉが検索（認識）された回数）
上述のような確信度の算出方法では、類似ランキングに基づいてより簡単に確信度を算出することができ、処理の高速化を図ることができる。
【０１３２】
さらには、以下の式（３）に基づいて、確信度を算出してもよい。
【０１３３】
［数３］
【０１３４】
上記式において、各符号は以下の意味である。
Ｉ＝｛Ａ，Ｂ，Ｃ・・・｝ 検索対象画像の集合
Ｆ＝｛Ｆ１，Ｆ２，Ｆ３・・・，Ｆｎ｝ オブジェクト認識結果の集合
Ｓ（ｆ，ｉ） ｆ回目の検索における、検索対象画像ｉの撮影画像に対する類似度
Ｈｉｔｃｏｕｎｔ（ｉ） 検索対象画像ｉが検索された回数
上述のような確信度の算出方法を用いる場合でも、１回の検索処理による類似度に基づいた検索結果表示よりも、精度の高い検出結果を表示することができる。
【０１３５】
また、確信度算出手段４３は、結果蓄積部３２に蓄積された過去のオブジェクト認識の認識結果に基づいて、確信度を算出したが、例えば、確信度変化手段は、オブジェクト認識が実施される毎に、その認識結果に基づいた確信度加算値を、検索対象画像に付与されている確信度に加算してもよい。
この場合、記憶手段は、各検索対象画像に対する確信度を記憶し、確信度変化手段は、オブジェクト認識が実施される毎に、記憶されている確信度を更新する。また、確信度加算値としては、例えば類似ランキングの各ランクに対して加算値が設定されていてもよく、類似度に基づいて、加算値を算出してもよい。
【０１３６】
さらに、画像取得手段４１は、自動的に撮影画像を取得する例を示したが、ユーザーのシャッター操作に基づいて、撮影画像を取得する構成としてもよい。また、撮影された動画から、複数のフレーム画像を取得する構成としてもよい。また、複数の撮影画像を一度に取得し、これらの撮影画像に対してそれぞれオブジェクト認識を実施して確信度を算出してもよい。
【０１３７】
上記実施形態では、オブジェクトの撮影画像に対して、検索対象用オブジェクトの画像を有する検索対象画像から、撮影画像に類似する検索対象画像を検索する画像検索装置１、画像検索システム１００を例示したが、これに限定されない。例えば、撮影画像として、撮影対象となるオブジェクトがない、例えば風景等の画像を取得してもよい。
【０１３８】
また、第一実施形態において、表示率が閾値を超えた確信度上位画像５２を認識結果から除外して、表示ランキングを更新する例を示したが、これに限定されない。例えば、結果表示手段４４は、表示率が閾値を超えた確信度上位画像５２の表示ランキングを、段階的に低下させてもよい。また、確信度算出手段４３により表示率が閾値を超えた確信度上位画像５２の確信度を最低値に設定させたり、所定の設定値ずつ段階的に低下させたりして確信度を更新させ、結果表示手段４４は、更新された確信度に基づいて表示部５に表示させる確信度上位画像５２の表示ランキングを更新してもよい。
【０１３９】
第六実施形態において、結果表示手段は、確信度のランキングが変動した確信度上位画像５２に対して、表示サイズを変更して表示する例を示したが、これに限定されない。つまり、結果表示手段は、確信度のランキングの変動が明確に分かるように、確信度上位画像５２を表示できれば、いかなる表示形態を用いてもよい。例えば、結果表示手段は、確信度の変動があった確信度上位画像５２の表示色や明度、解像度等を変えて表示させてもよく、確信度上位画像５２の外周に外枠を表示させ、当該外枠の枠幅寸法や色を確信度のランキングの変動や、確信度の変化量に応じて変化させてもよい。また、確信度上位画像５２上に、算出された確信度の数値を重畳して表示させてもよい。
【０１４０】
さらに、結果表示手段は、確信度のランキングや、確信度の変化量に基づいて、表示形態を変化させたが、例えば、確信度の大きさに比例して、確信度上位画像５２の表示サイズを変更してもよい。この場合でも、確信度の増減を容易に確認することが可能となる。
【０１４１】
その他、本発明の実施の際の具体的な構造および手順は、本発明の目的を達成できる範囲で他の構造などに適宜変更できる。
【産業上の利用可能性】
【０１４２】
本発明は、撮影画像から、当該撮影画像と類似した検索対象画像を検索する画像検索装置、画像検索システム、画像検索方法、及び画像検索プログラム
として利用できる。
【符号の説明】
【０１４３】
１…画像検索装置
５…表示部
３１…画像データベース（画像記憶部）
３２…結果蓄積部
４１…画像取得手段
４２…画像検索手段
４３…確信度算出手段
４４…結果表示手段
４５…画像選択手段
４６…表示率算出手段
１００…画像検索システム
１１０…インターネット（ネットワーク）
２００…端末装置
２２１…撮影画像送信手段
３００…サーバ装置
３２２…検索結果送信手段
【技術分野】
【０００１】
本発明は、撮影画像から、当該撮影画像と類似した検索対象画像を検索する画像検索装置、画像検索システム、画像検索方法、及び画像検索プログラムに関する。
【背景技術】
【０００２】
従来、画像検索対象となる対象物が撮像された撮影画像から、当該対象物を検索する画像検索装置が知られている（例えば、特許文献１参照）。
この特許文献１に記載の画像検索装置では、複数の撮影画像のうち、対象物の検索に最適な画像を、例えばユーザーの選択操作により取得し、この取得した画像を用いて対象物の検索を実施している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−６６９５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、特許文献１に記載の画像検索装置では、対象物を撮影した撮影画像を用いて画像検索処理を行って対象物を検索する。ここで、画像検索処理では、一般に、対象物の画像が蓄積されたデータベースから、取得した画像との類似度が大きい対象物の画像が検索され、所定数表示される。しかしながら、対象物を撮影した撮影画像は、撮影時の照度や角度などの撮影環境により、画像の状態が変化する。したがって、上述のように、撮影画像と類似度が大きい対象物を取得したとしても、必ずしも目的の対象物を検索できるとは限らない。
【０００５】
これに対して、連続して撮影された複数の撮影画像に対して、それぞれ画像検索を実施し、これらの複数の撮影画像毎に、画像検索の結果を表示させることも考えられている。この場合、表示された検索結果の検索対象画像の中に、ユーザーが求める画像（目的画像）がない場合、当該目的画像が表示されるまで、撮影画像の取得、及び画像検索を繰り返し実施する必要がある。しかしながら、撮影画像を取得、及び画像検索を繰り返し実施した場合であっても、撮影時の撮影環境等の影響により、目的画像が検索結果として表示されないことがある。この場合、やはり、ユーザーの望む目的画像が得られなかったり、目的画像が表示されるまでに長時間を要したりするという課題がある。
【０００６】
本発明の目的は、ユーザーが求める目的画像が検索結果として表示されやすい画像検索装置、画像検索システム、画像検索方法、及び画像検索プログラムを提供することである。
【課題を解決するための手段】
【０００７】
本発明の画像検索装置は、撮影画像を取得し、当該撮影画像と類似する検索対象画像を検索する画像検索装置であって、前記撮影画像を順次取得する画像取得手段と、前記撮影画像が取得される毎に、前記撮影画像に類似する検索対象画像を検索し、当該検索された検索対象画像と、その類似度とを含む検索結果を取得する画像検索手段と、前記検索結果を蓄積する結果蓄積部と、前記結果蓄積部に蓄積された前記検索結果を用いて算出された各検索対象画像の確信度に基づいて、前記確信度が大きい順にランキングして前記検索対象画像を表示させる結果表示手段と、を具備し、前記結果表示手段は、前記検索対象画像が表示されてから所定時間が経過するまでの間のユーザーの選択操作の有無に応じて、前記表示された検索対象画像の表示ランキングを更新することを特徴とする。
ここで、本発明で述べる確信度は、撮影画像と検索対象画像との類似度に基づいて算出されるものである。この類似度に基づいて算出される確信度とは、画像検索を実施した際に検索された検索対象画像を、類似度が大きい順に並び替えた類似ランキングを取得し、当該類似ランキングの順位（ランク）に基づいて設定されるものであってもよく、撮影画像と検索対象画像との類似度に基づいて、直接確信度が算出されるものであってもよい。
【０００８】
本発明では、画像取得手段により、撮影画像が順次取得され、画像検索手段は、これらの取得した各撮影画像に対して、画像記憶部から類似度が大きい検索対象画像を検索する。ここで、画像検索手段は、例えば、撮影画像が有する特徴量等のパラメータと、検索対象画像が有する特徴量等のパラメータとを比較して、撮影画像と類似した検索対象画像を検索する。この画像検索手段により検索された検索結果としては、撮影画像と類似する検索対象画像、及びその検索対象画像の撮影画像に対する類似度が含まれ、この検索結果は順次、結果蓄積部に記憶されて蓄積される。そして、本発明の画像検索装置では、この結果蓄積部に蓄積された検索結果に基づいて算出された確信度が高い順に検索対象画像を表示する。すなわち、結果表示手段は、撮影画像が取得される度に確信度に基づいた検索対象画像を表示させることとなり、リアルタイムで検索結果表示が更新されることになる。
【０００９】
そして、本発明の画像検索装置では、結果表示手段は、表示された検索対象画像に対してユーザーの選択操作の有無に応じて、表示された検索対象画像の表示ランキングを更新し、新たな検索対象画像を表示させる。
つまり、撮影画像と類似度が高い検索対象画像が撮影された場合でも、当該検索対象画像がユーザーの求める画像ではない場合がある。このような場合、類似度に基づいた検索結果のみでは、ユーザーが満足する検索結果を提供できない。これに対して、本発明では、ユーザーが目的の画像を選択するという操作の有無に応じて、その表示ランキングを更新する。この場合、１回の画像検索のみで検索結果に表示されなかった目的画像でも、時間経過とともに検索結果として表示される可能性が大きくなる。すなわち、本発明では、ユーザーが求める目的画像が検索結果として表示されやすい画像検索を実施することができる。
【００１０】
本発明の画像検索装置では、前記結果表示手段は、前記表示された検索対象画像に対するユーザーの選択操作がなく、かつ所定時間が経過した場合に、当該検索対象画像の表示ランキングを低下させることが好ましい。
【００１１】
本発明では、ユーザーにより選択操作がなく、所定時間経過した後に、表示された検索対象画像の表示ランキングを更新する。つまり、表示された検索対象画像がユーザーにより選択されないということは、表示された検索対象画像が、ユーザーが求める検索対象画像（以降、目的画像と称す）ではないことを示す。このような検索対象画像が表示されていると、表示された検索対象画像よりも確信度が低く設定された目的画像をなかなか表示させることができない。例えば、画像検索により検索された検索対象画像に対して確信度を上昇させるような処理を行う場合、目的画像の確信度が検索対象画像の確信度よりも大きくなるまで画像検索を繰り返す必要が生じる。このような場合、目的画像が表示されるまでに、長い時間を要することがある。
これに対して、本発明では、上述のように、検索された検索対象画像を、確信度が大きい順にランキングして表示させ、所定時間が経過した後に、表示された検索対象画像の表示ランキングを低下させている。これにより、表示されていなかった検索対象画像が、確信度が上位の検索対象画像として新たに表示されるようになるため、ユーザーは、より早く目的画像を見つけることが可能となる。
【００１２】
一方、表示された検索対象画像を、ある程度の時間が経過する前に削除してしまうと、その表示された検索対象画像の中に目的画像が存在する場合、当該目的画像を選択することができなくなる。これに対して、本発明では、検索対象画像が表示されてから、所定の時間が経過した後に、上述のような検索対象画像の表示削除処理をする。ここで、所定時間については後述するが、例えば、ユーザーが表示された全ての検索対象画像を確認できる程度に設定された判定時間や、本発明の画像検索装置による検索処理を開始してからのトータル時間に対する各検索対象画像の表示時間の割合（表示率）などを挙げることができる。
このような所定時間の経過後に表示ランキングを更新する構成では、ユーザーによる検査対象画像の確認の前に、表示された検査対象画像が削除される不都合を回避できる。
【００１３】
本発明の画像検索装置では、前記結果蓄積部に蓄積された前記検索結果を用いて各検索対象画像の確信度を算出する確信度更新手段を備え、前記確信度算出手段は、前記表示された検索対象画像に対するユーザーの選択操作がない場合に、当該検索対象画像の確信度を低下させて更新し、前記結果表示手段は、更新された確信度に基づいて、確信度が大きい順に前記検索対象画像を表示させることが好ましい。
【００１４】
本発明では、結果表示手段は、ユーザーによる検索対象画像の選択操作がない場合に、当該検索対象画像の確信度を低下させることで、表示ランキングを低下させる。この場合、結果表示手段は、確信度が更新される毎に、その更新された確信度に基づいて検索対象画像の表示を行うだけでよく、例えば他のパラメータに基づいた表示ランキングの更新等を考慮する必要がなく、結果表示手段の処理を簡略化できる。
【００１５】
本発明の画像検索装置では、前記結果表示手段は、前記表示された検索対象画像に対するユーザーの選択操作がない場合に、当該検索対象画像を表示から除外することが好ましい。
ここで、結果表示手段が、確信度算出手段により更新された確信度に基づいて、表示ランキングを更新する場合、確信度算出手段により、除外対象の検索対象画像の確信度を例えば「０」等の最低値に設定すればよい。また、結果表手段が、確信度に関わらず、直接表示ランキングを更新する場合では、除外対象の検索対象画像を表示上から削除し、その他の検索対象画像の表示ランキングを繰り上げて表示すればよい。
本発明では、ユーザーの選択操作がない検索対象画像を、即座に表示から除外する。この場合、より迅速に表示する検索対象画像を切り替えることができるため、目的画像が早期に表示される確率を高めることができる。
【００１６】
本発明の画像検索装置では、前記結果表示手段は、前記表示された検索対象画像に対するユーザーの選択操作がない場合に、当該検索対象画像の表示ランキングを段階的に低下させることが好ましい。
ここで、結果表示手段が、確信度算出手段により更新された確信度に基づいて、表示ランキングを更新する場合、確信度算出手段により、除外対象の検索対象画像の確信度を例えば「０．５」等の予め設定された設定値ずつ、段階的に低下させて更新すればよい。また、結果表手段が、確信度に関わらず、直接表示ランキングを更新する場合では、除外対象の検索対象画像の表示ランキングを、下位のランキングの検索対象画像を入れ替えることで、表示ランキングを低下させればよい。
本発明では、表示された検索対象画像に対してユーザーの選択操作がない場合でも、即座に表示から除外されず、当該検索対象画像の表示上のランキングが段階的に徐々に低下する。このような場合、例えばユーザーが脇見等によって表示された検索対象画像を確認できなかった場合でも、その検索対象画像が即座に除外されることがなく、ユーザーによる検索対象画像の選択操作の時間を十分に確保することができる。
【００１７】
本発明の画像検索装置では、前記結果表示手段により前記検索対象画像を表示させたトータル時間に対する、各検索対象画像が表示された時間の割合である表示率を算出する表示率算出手段を備え、前記結果表示手段は、前記表示された検索対象画像に対するユーザーの選択操作がなく、かつ当該検索対象画像の表示率が閾値を超えた場合に、当該検索対象画像の表示ランキングを低下させることが好ましい。
【００１８】
本発明では、表示率算出手段により、各検索対象画像における表示率を算出し、表示率が閾値を超えた場合に、表示ランキングを更新する。
つまり、上述したように、表示率が大きい検索対象画像は、長く表示されている検索対象画像であることを示し、その検索対象画像がユーザーによる選択操作によって選択されていないということは、当該検索対象画像が、ユーザーの求める目的画像ではないことを示す。表示ランキングの更新によりこのような画像を表示から外し、新たな検索対象画像を表示させることで、上記したように、ユーザーが求める目的画像をより迅速に検索結果として表示させることが可能となる。
【００１９】
また、本発明の画像検索装置では、前記結果表示手段は、前記表示された検索対象画像に対するユーザーの選択操作がなく、予め設定された判定時間が経過した場合に、当該検索対象画像の表示ランキングを低下させてもよい。
【００２０】
本発明では、結果表示手段は、予め設定された判定時間が経過するまでの間に、ユーザーにより検索対象画像の選択操作がない場合に、当該検索対象画像の表示ランキングを低下させる。この場合であっても、上記発明と同様に、表示ランキングの更新により、ユーザーにより選択されない検索対象画像を表示から外すことで、新たな検索対象画像を表示させることができ、ユーザーが求める目的画像をより迅速に検索結果として表示させることが可能となる。
【００２１】
本発明の画像検索装置では、前記結果表示手段は、前記表示された検索対象画像に対するユーザーの選択操作がなく、前記所定時間以内である場合に、当該検索対象画像の表示ランキングを上昇させることが好ましい。
本発明では、ユーザーの選択がなく、かつ所定時間が経過していない状態では、結果表示手段は、画像検索手段により検索された検索対象画像の表示ランキングを上昇させる。つまり、検索された回数が多いほど、撮影画像に対して類似していることを意味するので、このような検索対象画像を表示ランキングの上位に設定することで、ユーザーが求める目的画像が表示される確率を高めることができる。
【００２２】
本発明の画像検索装置では、前記結果蓄積部に蓄積された前記検索結果を用いて各検索対象画像の確信度を算出する確信度更新手段を備え、前記確信度算出手段は、前記撮影画像及び前記検索対象画像の類似度と、前記画像検索手段により検索処理が実施された回数とに基づいて、各検索対象画像の類似度の平均値を算出し、前記検索対象画像の確信度とすることが好ましい。
【００２３】
本発明では、撮影画像及び検索対象画像の類似度に基づいて、検索対象画像に確信度を付与し、類似度及び検索処理が実施された回数に基づいて、各検索対象画像に対する類似度の平均値を確信度として算出する。
上述したように、画像検索では、撮影画像と検索対象画像との類似度が近い順に、検索対象画像が検索されるが、類似ランキングが高い場合であっても、撮影画像と検索対象画像の類似度が低い場合がある。このような場合、類似ランキングに基づいた確信度の計算を行うと、目的画像とは類似度が大きく異なる検索対象画像が表示されるおそれがある。これに対して、本発明では、類似度に基づいて、確信度の計算を実施するため、類似ランキングに関わらず、類似度が高い検索対象画像には、高い確信度を付与することができる。このため、目的画像と類似する適切な検索対象画像を表示させることができる。
【００２４】
本発明の画像検索装置では、前記結果表示手段は、前記表示された検索対象画像を更新する場合に、当該更新する検索対象画像の表示形態を、他の検索対象画像と異なる表示形態で表示させることが好ましい。
【００２５】
本発明によれば、結果表示手段は、表示された検索対象画像の表示位置の順番を入れ替えたり、新たな検索対象画像を表示させたりする場合に、当該検索対象画像の表示形態を他の検索対象画像と異なる表示形態で表示させる。ここで、「異なる表示形態」としては、例えば、確信度が増大した場合と、減少した場合とで、表示させる検索対象画像の表示サイズを変更したり、検索対象画像の表示色を変更したりすることが挙げられる。
このように、検索対象画像の表示形態を変化させることで、ユーザーは、表示位置が変動した検索対象画像を容易に確認することができる。例えば、１つの検索対象画像を削除し、削除された検索対象画像に代わって新たに他の検索対象画像が表示させる場合、結果表示手段は、既に表示されている検索対象画像に対して、新たに表示させた検索対象画像を異なる表示形態で表示させる。この場合、ユーザーは、新たに表示された検索対象画像を容易に確認することができ、ユーザーによる目的画像の確認作業を好適に支援することができる。
【００２６】
本発明の画像検索装置では、前記画像取得手段は、オブジェクトが撮影された撮影画像を取得し、前記画像取得手段は、前記撮影画像のオブジェクトと類似するオブジェクトの画像を有する前記検索対象画像を検索することが好ましい。
【００２７】
本発明では、オブジェクトを撮影した撮影画像を用い、複数の検索対象画像から、オブジェクトと類似するオブジェクトの画像を含む検索対象画像を検索する。つまり、本発明では、撮影画像に含まれるオブジェクトが何であるかを画像検索により調べる、いわゆるオブジェクト検索（オブジェクト認識）を実施することができる。本発明では、このようなオブジェクト認識において、ユーザーが調査したいオブジェクトが含まれる画像が表示される可能性を高めることができる。
【図面の簡単な説明】
【００２８】
【図１】第一実施形態の画像検索装置の概略構成を示すブロック図。
【図２】第一実施形態の画像検索装置の表示部における表示例を示す図。
【図３】第一実施形態の表示部の表示変化例を示す図。
【図４】第一実施形態における画像検索方法を示すフローチャート。
【図５】第二実施形態における画像検索方法を示すフローチャート。
【図６】第三実施形態の表示部の表示変化例を示す図。
【図７】第六実施形態における表示部の表示例を示す図。
【図８】第七実施形態の画像検索システムの概略構成を示す図。
【図９】第七実施形態の画像検索システムにおける画像検索方法を示すフローチャート。
【図１０】第八実施形態の画像検索システムの概略構成を示す図。
【図１１】第八実施形態の画像検索システムにおける画像検索方法を示すフローチャート。
【発明を実施するための形態】
【００２９】
［第一実施形態］
以下、本発明に係る第一実施形態の画像検索装置について、図面に基づいて説明する。
［画像検索装置の構成］
図１は、第一実施形態の画像検索装置の概略構成を示すブロック図である。
図１において、画像検索装置１は、カメラ２と、各種プログラムや各種データを記憶する記憶手段３と、各種演算を実施するＣＰＵ（Central Processing Unit）等により構成された制御手段４と、ディスプレイ等の表示部５と、キーボード、タッチパネル等の操作部６と、を備えている。この画像検索装置１としては、例えば、カメラ機能が付いた携帯電話、スマートフォン、携帯情報端末、パーソナルコンピュータ等のいわゆるコンピュータを用いることができる。
【００３０】
この画像検索装置１は、カメラ２によりオブジェクトを撮影し、その撮影画像を用いて、撮影画像と類似する検索対象画像を検索して表示させる装置である。
より具体的には、画像検索装置１の制御手段４は、ユーザーにより撮影画像に用いた画像検索を実施するように操作されると、まず、カメラ２を起動させる。そして、１つのオブジェクトに対してカメラ２が向けられると、制御手段４は、自動的に当該オブジェクトを撮影した撮影画像を一定の撮影周期で取得して、各撮影画像を用いて画像検索（オブジェクト認識）を実施する。この時、制御手段４は、カメラが起動している間、周期的に撮影画像を取得し、これらの取得した撮影画像に対してそれぞれオブジェクト認識（画像検索）を実施する。そして、制御手段４は、各撮影画像に対するオブジェクト認識の認識結果（検索結果）に基づいて、検索対象画像の確信度を算出し、確信度に基づいた画像認識結果をリアルタイムで表示部５に表示させる。そして、制御手段４は、ユーザーの操作によりカメラが停止されると、一連の検索処理を停止する。
すなわち、本実施形態の画像検索装置１は、複数回のオブジェクト認識の認識結果に基づいて、撮影画像に対する最適なオブジェクト画像を検索するものであり、以降の説明に当たり、このような一連の検索処理を最適画像検索処理と称す。
以下において、上述のような最適画像検索処理を実施するための画像検索装置１の構成について説明する。
【００３１】
画像検索装置１の記憶手段３には、上記のような最適画像検索処理を実施するための各種情報として、画像データベース３１（画像記憶部）を備えている。また、記憶手段３には、オブジェクト認識の結果を蓄積する結果蓄積部３２が設けられている。
【００３２】
画像データベース３１は、検索対象画像と、インデックスデータとが関連付けられて１つのレコードとして記憶されたテーブル構造となっている。
ここで、画像データベース３１に記憶される検索対象画像は、検索対象用オブジェクトを含む画像である。なお、本実施形態では、オブジェクトを撮影した撮影画像に対して、当該オブジェクトと類似する検索対象用オブジェクトを有する検索対象画像を検索する、いわゆるオブジェクト認識を実施するため、画像データベース３１には、検索対象用オブジェクトが含まれた検索対象画像が記録されるが、これに限定されるものではない。例えば、画像検索を実施した撮影画像として風景や絵画等を用いる場合、検索対象画像として、特定の検索対象用オブジェクトが含まれない画像（風景や絵画等）を記憶するものであってもよい。
また、画像データベース３１に記憶されるインデックスデータには、検索対象画像を特徴付ける特徴量や、特徴量の検索のための索引、検索対象画像を判別するための画像ＩＤなどが記録されている。
【００３３】
結果蓄積部３２は、撮影画像を用いてオブジェクト認識が実施された際に、その認識結果を蓄積する一時記憶領域である。
ここで、オブジェクト認識の認識結果としては、後述の画像検索手段４２により検索された検索対象画像と、当該検索対象画像及び撮影画像の類似度とが記録される。また、検索対象画像の代わりに、検索対象画像を特定する画像ＩＤが記録されてもよい。
ここで、検索対象画像と撮影画像との類似度とは、検索対象画像の特徴量と、撮影画像の特徴量との比較により算出される値であり、検索対象画像がどの程度撮影画像に類似しているかを示す値である。この類似度としては、例えば、検索対象画像と撮影画像とが完全に一致する場合を１として、０〜１の値として表される。
【００３４】
また、画像検索装置１は、制御手段４の機能構成として、画像取得手段４１、画像検索手段４２、確信度算出手段４３、結果表示手段４４、画像選択手段４５、表示率算出手段４６、及び検索除外手段４７を備えている。
【００３５】
画像取得手段４１は、ユーザーの操作により、撮影画像に対するオブジェクト認識処理プログラムが実行されると、カメラ２を起動し、カメラ２により撮影された撮影画像を取得する。ここで、画像取得手段４１は、予め設定された一定の撮影周期で、撮影画像を取得する。
なお、本実施形態では、画像取得手段４１により自動的に撮影画像を取得する例を示すが、例えばユーザーのシャッター操作により、撮影画像を取得する構成としてもよい。
【００３６】
画像検索手段４２は、画像取得手段４１により取得された撮影画像を用い、記憶手段３の画像データベース３１から撮影画像と類似する検索対象画像を取得するオブジェクト認識を実施する。
具体的には、画像検索手段４２は、撮影画像の特徴量を算出して、結果蓄積部３２のインデックスデータに記憶される特徴量の索引から、撮影画像の特徴量に対応した検索対象画像を抽出する。また、画像検索手段４２は、撮影画像の特徴量と、インデックスデータに記憶される検索対象画像の特徴量とを比較して、検索対象画像の撮影画像に対する類似度を算出し、当該類似度が予め設定された閾値以上となる検索対象画像を検索する。
そして、画像検索手段４２は、このオブジェクト認識の認識結果を、記憶手段３の結果蓄積部３２に蓄積する。
【００３７】
確信度算出手段４３は、結果蓄積部３２に記録された過去の検索結果に基づいて、画像検索手段４２により検索された各検索対象画像に対する確信度を算出する。この確信度は、検索対象画像と撮影画像との類似度に基づいて算出されるものであり、その検索対象画像が、ユーザーが求める目的画像として信頼できるものであるか否かを示す信頼性を示すパラメータとなる。
この確信度算出手段４３は、画像検索手段４２によりオブジェクト認識が実施され、その検索結果が結果蓄積部３２に蓄積される度に、蓄積された検索結果に基づいて確信度を算出する。
この表示率算出手段４６による確信度の算出方法としては、例えば、検索対象画像毎に、過去Ｋ回の類似度を平均化したものを用いることができる。この時、オブジェクト認識により検索されなかった場合は、類似度を０として算出すればよい。また、一連の最適画像検索処理において、最初にオブジェクト認識を実施した結果に基づいて確信度を算出する場合は、１つの検索結果に基づいた確信度が算出されることになる。この場合は、確信度算出手段４３は、検索対象画像の撮影画像に対する類似度を、当該検索対象画像の確信度とすることができる。
【００３８】
結果表示手段４４は、カメラ２により取得されている撮影画像、及び検索された検索対象画像をリアルタイムで表示部５に表示させる。
ここで、図２に、最適画像検索処理において表示部５に表示される１つの表示画面例を示す。
図２に示すように、結果表示手段４４は、カメラ２により撮影されている撮影対象画像５１を表示部５の全体に表示させる。また、結果表示手段４４は、検索された検索対象画像のうち、確信度が大きい順に、予め設定された表示数分（例えば４つ）だけ取得し、表示部５の下部領域に確信度上位画像５２として表示する。
また、この表示部５の下部領域において、左端の領域が最上位表示位置５２Ａであり、右端の領域が最下位表示位置５２Ｂとなる。結果表示手段４４は、確信度上位画像５２を確信度順に、最上位表示位置５２Ａから最下位表示位置５２Ｂに亘って配列させて表示させる。したがって、確信度上位画像５２のうち、確信度が最大のものは最上位表示位置５２Ａに表示され、確信度が最小のものは最下位表示位置５２Ｂに表示される。つまり、結果表示手段４４は、確信度上位画像５２を確信度が大きい順にランキングし、その表示ランキングを表示部５に表示させる。
なお、ここでは、確信度上位画像５２が表示部５の下部領域に示す例を示すが、これに限定されない。例えば表示部５の上部領域に表示されてもよく、その他の表域に表示されていてもよい。また、確信度が大きい順に並べて表示させているが、例えば確信度が大きい順が分かるように、確信度上位画像５２の一部に確信度の順位を示す数字を重畳させて、表示部５の制御手段４隅に確信度上位画像５２を表示させてもよい。
【００３９】
ここで、各検索対象画像の確信度は、確信度算出手段４３により算出される毎（更新される毎）に、表示部５に表示させる確信度上位画像５２を更新する。すなわち、確信度算出手段４３により各検索対象画像の確信度を算出した際に、確信度の順位に変動がある場合、当該変動した順位に基づいて、表示部５に表示させる確信度上位画像５２を更新する。これにより、表示部５に表示される確信度上位画像５２は、時間経過に伴って、更新されて表示されることになる。
【００４０】
例えば、確信度が大きい順に検索対象画像Ａ，Ｂ，Ｃ，Ｄが検索されている場合、結果表示手段４４は、図３の（Ａ）に示すように、表示部５に検索対象画像Ａ，Ｂ，Ｃ，Ｄを順に表示させる。この後、確信度算出手段４３による確信度の算出により、確信度のランキングが、Ａ，Ｂ，Ｅ，Ｆに変化すると、結果表示手段４４は、図３の（Ｂ）に示すように、検索対象画像Ｃ，Ｄを表示から削除し、変わって検索対象画像Ｅ，Ｆを表示部５に確信度上位画像５２として表示させる。
この際、結果表示手段４４は、確信度が更新される度に、既に表示されている確信度上位画像５２をスクロールしてフレームアウトさせ、新たに表示させる確信度上位画像５２をスクロールしてフレームインされるなどの表示方法を用いることができる。
【００４１】
また、本実施形態の最適画像検索処理では、結果表示手段４４により、表示部５に、確信度順で確信度上位画像５２を表示されると、表示された確信度上位画像５２のいずれかがユーザーにより選択可能となる。したがって、ユーザーは、表示された複数の確信度上位画像５２の中に、撮影対象のオブジェクトと同一オブジェクトを含む確信度上位画像５２（目的画像）がある場合、その確信度上位画像５２を選択することで、当該確信度上位画像５２に関する情報を取得することができる。
一方、例えば表示された確信度上位画像５２の中に目的画像がない場合、ユーザーが求める目的画像の確信度が、既に表示部５に表示されている確信度上位画像５２の確信度以上となるまで、表示部５に表示されないことになる。この場合、既に表示部５に表示されている確信度上位画像５２の確信度が高いままであると、目的画像が表示部５に表示されない、または表示部５に表示されるまでに長時間を要するおそれがある。
【００４２】
これに対して、本実施形態の画像検索装置１では、目的画像を表示させやすくするために、一定時間の間に確信度算出手段４３による確信度上位画像５２の選択がなかった場合に、結果表示手段４４は、表示部５に表示された確信度上位画像５２（検索対象画像）の表示を消去又は表示ランキングを下げる等して表示ランキングを更新していく。
この処理では、結果表示手段４４は、後述する表示率算出手段４６により算出される表示率に基づいて実施する。つまり、結果表示手段４４は、最適画像検索処理が開始されてからからの時間を計測し、所定の設定時間が経過した後に、表示率算出手段４６により算出された表示率が予め設定された閾値（例えば、０．８など）を超える確信度上位画像５２を表示部５から消去し、新たな検索対象画像を表示部５に表示させる。つまり、結果表示手段４４は、表示率が閾値を超える検索対象画像を除外して、確信度に基づいて、表示部５に表示させる確信度上位画像５２を更新する。
【００４３】
例えば、図３（Ａ）〜（Ｃ）に示すように、一連の最適画像検索処理において、最初に確信度上位画像５２が表示部５に表示されてからＤ秒が経過しており、そのうち、表示部５に表示された検索対象画像Ａ，Ｂは、ｄ秒間、表示部５に表示されていたものとする。この場合、検索対象画像Ａ，Ｂの表示率は、ｄ／Ｄで算出される。
そして、検索対象画像Ａ，Ｂの表示率が予め設定された閾値Ｘ以上である場合、結果表示手段４４は、図３（Ｃ）に示すように、表示部５に表示された検索対象画像Ａ，Ｂの確信度上位画像５２を消去する。そして、結果表示手段４４は、検索対象画像Ｅ，Ｆを検索対象画像Ａ，Ｂが表示されていた位置に表示させる。また、検索対象画像Ｆの次に確信度が大きい検索対象画像Ｇ，Ｈを、検索対象画像Ｅ，Ｆが表示されていた位置に新たに表示する。
【００４４】
画像選択手段４５は、ユーザーの選択操作に基づいて、表示部５に表示された確信度上位画像５２の少なくともいずれか１つを選択する。
ここで、画像選択手段４５により、確信度上位画像５２が選択されると、制御手段４は、例えばネットワーク等を介して、選択された確信度上位画像５２の詳細情報（例えば、オブジェクトに関する商品情報）を取得し、取得した詳細情報を表示部５に表示させる。
【００４５】
表示率算出手段４６は、表示部５に表示された各確信度上位画像５２の表示率を算出する。表示率算出手段４６は、上述したように、最適画像検索処理において、最初に表示部５に確信度上位画像５２が表示された時点から現時点までの経過時間Ｄと、各確信度上位画像５２が表示部５に表示された表示時間ｄとを取得し、表示率（ｄ／Ｄ）を算出する。
【００４６】
また、検索除外手段４７は、表示率が閾値を超えるとして、表示部５から消去された検索対象画像を、一連の最適画像検索処理における検索対象から除外する。
つまり、検索除外手段４７は、表示率が閾値を超えたために、結果表示手段４４により消去された確信度上位画像５２（検索対象画像）を、結果蓄積部３２に蓄積される認識結果から除外する。また、この検索除外手段４７は、以降の画像検索手段４２によるオブジェクト認識において、結果表示手段４４により表示部５から消去された検索対象画像が検索された場合に、当該検索対象画像を認識結果から除外する。これにより、結果蓄積部３２に当該検索対象画像が記録されなくなり、確信度算出手段４３による当該検索対象画像に対する確信度の算出も実施されなくなるため、結果表示手段４４により表示部５に表示されることがない。
【００４７】
［画像検索装置による画像検索方法］
次に、上述したような画像検索装置１の最適画像検索処理について、図面に基づいて説明する。
図４は、本実施形態の画像検索装置１の動作における最適画像検索処理のフローチャートである。
画像検索装置１を用いて最適画像検索処理を実施する場合、まず、ユーザーは、最適画像検索処理を実行するプログラムを起動させる。これにより、カメラ２が起動され、カメラ２により取り込まれた画像は、結果表示手段４４によりリアルタイムで表示部５に表示される。また、制御手段４は、最適画像検索処理で各オブジェクト認識の認識結果を蓄積する結果蓄積部３２を初期化し、前回の最適画像検索処理で用いた認識結果がある場合に、これを削除する（ステップＳ１）。
【００４８】
次に、画像取得手段４１は、カメラ２により撮影された撮影画像を取得する（ステップＳ２：画像取得ステップ）。ここで、画像取得手段４１は、予め設定された一定の撮影周期で撮影画像を取得し、各撮影画像が取得される度に、以下のステップＳ３〜ステップＳ５の処理を実施する。なお、撮影周期としては、ユーザーにより適宜設定される周期を用いてもよく、予め設定された周期を用いてもよい。本実施形態では、リアルタイムで表示部５の表示を更新していくために、例えば１０秒程度に設定されている。
【００４９】
ステップＳ３は、本発明の画像検索ステップであり、ステップＳ２により取得した撮影画像を用いてオブジェクト認識を実施する。このステップＳ３では、上述したように、画像検索手段４２は、画像取得手段４１により取得された撮影画像の特徴量を算出し、この撮影画像の特徴量と、画像データベース３１に記憶された検索対象画像の特徴量とから、各検索対象画像の類似度を求める。そして、このステップＳ３で検索された認識結果（検索対象画像、及び当該検索対象画像の撮影画像に対する類似度）は、結果蓄積部３２に記憶され蓄積される。
ここで、このステップＳ３では、検索除外手段４７は、オブジェクト認識により検索された検索対象画像に、表示率が閾値を超える検索対象画像があるか否かを判定する。そして、検索された検索対象画像に、表示率が閾値を超えるものがある場合、検索除外手段４７は、当該検索対象画像を、認識結果から除外する。
したがって、このステップＳ３におけるオブジェクト認識における検索個数としては、除外される検索対象画像の個数を考慮して、少なくとも、表示部５に表示させる表示数Ｎ＋α個の検索対象画像を検索する必要がある。すなわち、検索対象画像の除外により表示させる検索対象画像が不足しないように、余分に検索対象画像を取得する。
【００５０】
ステップＳ４は、ステップＳ３の後、結果蓄積部３２に蓄積された認識結果に基づいて、確信度を算出する。
このステップＳ４では、確信度算出手段４３は、結果蓄積部３２に蓄積された複数の認識結果に基づいて、下記式（１）に示すように、各検索対象画像ｉにおける類似度の平均値を確信度Ｘ（ｉ）として算出する。
【００５１】
【００５２】
上記式（１）において、各符号は以下の意味である。
Ｉ＝｛Ａ，Ｂ，Ｃ・・・｝：検索対象画像の集合
Ａ（ｋ，ｉ） ：ｋ回目のオブジェクト認識における検索対象画像ｉの撮影画像に対する類似度
【００５３】
ステップＳ５は、本発明の結果表示ステップであり、ステップＳ４により算出された確信度に基づいて、確信度が大きい表示数分（例えば４つ）の検索対象画像を確信度上位画像５２として表示部５に表示させる。この時、結果表示手段４４は、表示部５の下部領域に最上位表示位置５２Ａから最下位表示位置５２Ｂに向かうに従って、確信度が小さくなるように並べて、確信度上位画像５２を表示させる。
【００５４】
また、このステップＳ５では、表示率算出手段４６は、結果表示手段４４により検索対象画像の表示が行われたトータル時間と、各検索対象画像が確信度上位画像５２として表示された表示時間とに基づいて、各検索対象画像の表示率を算出する。つまり、表示率算出手段４６は、一連の最適画像検索処理が実施されてから、各確信度上位画像５２がどの程度の割合で、表示部５に表示されているかを示す表示率を算出する。
【００５５】
この後、制御手段４は、画像取得手段４１により次の撮影画像が取得されたか否かを判断する（ステップＳ６）。このステップＳ６において、画像取得手段４１により次の撮影画像が取得された場合、ステップＳ２に戻る。すなわち、ステップＳ２からステップＳ５の撮影画像を用いたオブジェクト認識、確信度の算出を実施して、更新された確信度に基づいた確信度上位画像５２の表示を行う。
【００５６】
このステップＳ６において、画像取得手段４１により次の撮影画像が取得されない場合、制御手段４は、ユーザーの操作に基づいて画像選択手段４５が確信度上位画像５２を選択したか否かを判定する（ステップＳ７）。
このステップＳ７で、画像選択手段４５により確信度上位画像５２が選択されると、制御手段４は、当該選択された確信度上位画像５２に関する詳細な情報を表示部５に表示させて提供し、一連の最適画像検索処理を終了する（ステップＳ８）。
【００５７】
一方、ステップＳ７において、ユーザーの選択がないと判断した場合、ステップＳ５で表示された各確信度上位画像５２の表示率が、閾値以上であるか否かを判定する（ステップＳ９）。
つまり、本実施形態では、確信度上位画像５２の表示率が閾値以上となる場合に、結果表示手段４４は、当該確信度上位画像５２を表示部５から消去し、新たな検索対象画像を確信度上位画像５２として表示させる。
なお、このステップＳ９の処理は、最適画像検索処理が開始されてから、予め設定された設定時間が経過した後に実施される。つまり、一連の最適画像検索処理において、初めて表示部５に表示される確信度上位画像５２は、表示率が１となる。このような確信度上位画像５２を表示率に基づいて表示部５から消去し、認識結果からも除外してしまうと、当該確信度上位画像５２が目的画像である場合、ユーザーが選択することができない。また、表示部５に当該確信度上位画像５２が表示された直後に、表示部５から表示が消えてしまっては、ユーザーが確信度上位画像５２の確認を十分に実施できないという問題が生じる。これに対して、本実施形態では、最適画像検索処理が開始されてから、設定時間が経過するまでの間は、当該確信度上位画像５２の表示率が高い場合であっても、当該確信度上位画像５２を表示部５に表示させる。これにより、上記のような問題を回避することができ、ユーザーに確信度上位画像５２の確認時間を十分に与えることが可能となる。
【００５８】
そして、ステップＳ９において、表示部５に表示された各確信度上位画像５２の表示率が閾値より小さい場合は、結果表示手段４４は、これらの確信度上位画像５２を引き続き表示部５に表示させて、ステップＳ６に戻る。
一方、ステップＳ９において、表示部５に表示された確信度上位画像５２のうち、表示率が閾値以上となる確信度上位画像５２がある場合、結果表示手段４４は、当該確信度上位画像５２の表示を消去し、当該確信度上位画像５２の次に確信度が大きい検索対象画像を、消去した確信度上位画像５２の表示位置に、移動させて表示させる（ステップＳ１０）。すなわち、結果表示手段４４は、表示率が閾値を超える確信度上位画像５２を除外して、確信度に基づいて検索対象画像を順に表示部５に表示させることで、表示ランキングを更新する。
また、このステップＳ１０では、検索除外手段４７は、消去された確信度上位画像５２（検索対象画像）を結果蓄積部３２の認識結果から除外する。
この後、再びステップＳ６の判定処理に戻る。
【００５９】
［第一実施形態の作用効果］
上述した第１実施形態の画像検索装置１では、以下に示す作用効果を奏することができる。
画像検索装置１は、画像取得手段４１により、撮影画像が取得されると、画像検索手段４２は、この取得した撮影画像を用いて、画像データベース３１から撮影画像と類似する検索対象画像を検索して、結果蓄積部３２に蓄積する。また、確信度算出手段４３は、結果蓄積部３２に蓄積された認識結果に基づいて、各検索対象画像に対する確信度を算出する。そして、結果表示手段４４は、検索された複数の検索対象画像のうち、確信度が大きい検索対象画像を確信度上位画像５２として表示部５に表示させ、所定の判定時間が経過するまでの間に、画像選択手段４５による確信度上位画像５２の選択がない場合に、表示部５に表示された確信度上位画像５２の表示ランキングを更新する。
【００６０】
このような構成では、撮影画像に対して画像検索手段４２により検索された検索対象画像に対して初期の確信度を付与した後、撮影周期毎に確信度が更新されると、結果表示手段４４は、更新された更新度に基づいて、表示部５に表示させる確信度上位画像５２を更新する。このため、１回のオブジェクト認識による類似度に基づいた検索処理では、表示部５に表示されなかった検索対象画像でも、過去の認識結果に基づいて算出される確信度に基づいた表示を行うことで、表示部５に表示される可能性が高くなる。また、時間の経過により、表示部５に表示された確信度上位画像５２の表示ランキングが更新されるため、更新により、表示部５に表示されていなかった検索対象画像が表示部５に表示される可能性が更に高くなる。
以上により、ユーザーが求める目的画像が確信度上位画像５２として表示部５に表示される確率を高めることができる。つまり、ユーザーの求める目的画像が表示されやすい最適画像検索処理を実施することができる。
【００６１】
これに加え、結果表示手段４４は、画像選択手段４５により当該確信度上位画像５２が選択されず、表示率が所定の上限値を超えた確信度上位画像５２を、表示部５から消去し、次に確信度が高い検索対象画像を確信度上位画像５２として表示部５に表示する。
このような構成では、ユーザーにより選択されない画像を目的画像ではないとして、表示部５から消去することができる。したがって、ユーザーが求める目的画像をより迅速に表示部５に表示させることができる。
また、結果表示手段４４による確信度上位画像５２の表示消去は、最適画像検索処理が開始されてから、所定の設定時間が経過した後に行うことが好ましい。つまり、最適画像検索処理を開始した直後では、経過時間が小さいため、各確信度上位画像５２の表示率も大きくなってしまう。これに対して、上述のように設定時間を設けることで、ユーザーの操作時間を十分に確保することができる。
【００６２】
最適画像検索処理において、画像取得手段４１は、撮影周期毎に撮影画像を取得し、画像検索手段４２は、これらの各撮影画像に対してそれぞれオブジェクト認識を実施する。そして、確信度算出手段４３は、これらの各オブジェクト認識の認識結果に基づいて、各検索対象画像に対する確信度を算出する。
このような構成では、同じオブジェクトに対して撮影された複数の撮影画像に対して、それぞれオブジェクト認識を実施し、これらのオブジェクト認識の認識結果を用いて総合的に考慮した確信度を算出する。このような確信度に基づいた表示を行うことで、１つのオブジェクト認識の類似度に基づいた認識結果に比べて、ユーザーが求めるオブジェクトにより類似した確信度上位画像５２を表示させることができる。
【００６３】
ここで、確信度算出手段４３は、撮影画像に対する検索対象画像の類似度Ａ（ｋ，ｉ）と、オブジェクト認識の実施回数ｎとに基づいて、確信度を算出する。
このような確信度の算出方法では、検索回数が多い検索対象画像の確信度を高めることができ、撮影画像に対する一連の検索結果による類似度に基づいて、ユーザーが求めるオブジェクトが含まれる確率の高い検出結果を確信度上位画像５２として表示することができる。
また、確信度としては、例えば類似ランキング等に基づいて簡易的に算出される値であってもよいが、類似ランキングは、オブジェクト認識で検索された検索対象画像を、類似度順に並べたデータであるため、例えば検索された全ての検索対象画像の類似度が低い場合では、類似ランキングが上位の検索対象画像でも類似度が低い場合がある。これに対して、類似度に基づいて確信度を求める場合、上記のような問題が生じず、より信頼できる確信度を算出することができる。
【００６４】
なお、本実施形態では、結果表示手段４４は、表示率算出手段４６により算出された表示率が閾値を超える確信度上位画像５２を消去するとし、検索除外手段４７は、消去された確信度上位画像５２を結果蓄積部３２から除外するとしたが、これに限らない。
例えば、表示率が閾値を超える確信度上位画像５２がある場合、まず、検索除外手段４７により結果蓄積部３２に蓄積された認識結果から当該確信度上位画像５２（検索対象画像）を除外し、確信度算出手段４３により結果蓄積部３２の認識結果に基づいて確信度を算出し直し、その後に、結果表示手段４４が当該算出された確信度に基づいて確信度上位画像５２を表示部５に表示させて、表示更新を行うとしてもよい。この場合であっても、上述第一実施形態と同様の認識結果表示を行うことができる。
【００６５】
［第二実施形態］
上記第一実施形態の画像検索装置１では、結果表示手段４４は、表示率算出手段４６により算出された表示率に基づいて、表示部５に表示された確信度上位画像５２の表示率が閾値を超えた場合に、当該確信度上位画像５２を表示部５から削除して、新たな検索対象画像を表示部５に繰り上げて表示させた。これに対して、第二実施形態の画像検索装置は、結果表示手段は、確信度上位画像が表示部に表示されてから、一定の判定時間が経過するまでの間に、画像選択手段により確信度上位画像が選択されない場合に、当該確信度上位画像の表示を消去して、新たな検索対象画像を表示させる点で相違する。
【００６６】
第二実施形態の画像検索装置は、第一実施形態の画像検索装置１と略同様の構成を有するものであるため、図１に基づいて、以下第二実施形態について説明する。
なお、本実施形態の画像検索装置１では、制御手段４の機能構成として、表示率算出手段４６が設けられない構成としてもよい。
本実施形態では、結果表示手段４４は、第一実施形態と同様に、カメラ２により撮影されている撮影対象画像５１を表示部５の全体に表示させるとともに、確信度が大きい順に確信度上位画像５２として表示する。また、結果表示手段４４は、確信度算出手段４３により確信度が更新される度に、確信度の順位に変動がある場合、表示部５に表示させる確信度上位画像５２の順序を入れ替える。
【００６７】
そして、結果表示手段４４は、表示部５に確信度上位画像５２が表示させたタイミングから、予め設定された所定の判定時間（例えば３０秒）が経過するまでの間に、画像選択手段４５により確信度上位画像５２が選択されなかった場合に、当該確信度上位画像５２を除外して、確信度上位画像５２を更新する。
すなわち、結果表示手段４４は、表示率ではなく、確信度上位画像５２が表示部５に表示されてからの時間に基づいて、当該確信度上位画像５２の表示、非表示（消去）を切り替える。このため、本実施形態では、上記のように、表示率算出手段４６を設ける必要がない。
【００６８】
上記のような第二実施形態の画像検索装置１の画像検索方法について図面に基づいて説明する。
図５は、第二実施形態の画像検索装置１における動作を示すフローチャートである。
図５に示すように、第二実施形態の画像検索装置１では、第一実施形態と略同様の処理により最適画像検索処理を実施するものであり、ステップＳ６で「Ｎｏ」と判定された場合に、ステップＳ７の代わりにステップＳ１１を実施する。
【００６９】
つまり、このステップＳ１１では、結果表手段４４は、ステップＳ６において画像取得手段４１により取得される撮影画像がないと判定された場合に、各確信度上位画像５２が表示されてからの時間を計測する。そして、判定時間が経過するまでの間に、ユーザーの選択操作により確信度上位画像５２が選択されたか否かを判定する。
そして、このステップＳ１１において、判定時間が経過するまでの間に、確信度上位画像５２が選択されなかった場合、ステップＳ１０を実施し、結果表示手段４４は、その確信度上位画像５２を除外して、表示部５に表示させる確信度上位画像５２の表示ランキングを更新する。つまり、結果表示手段４４は、判定時間が経過するまでの間に、画像選択手段４５により選択されなかった確信度上位画像５２を、表示部５から消去し、消去した確信度上位画像５２の代わりに、当該確信度上位画像５２の次に確信度が大きい検索対象画像を表示させて、以降、順次、表示位置を繰り上げて表示させる。
一方、ステップＳ１１において、ユーザーによる選択操作があり、画像選択手段４５により確信度上位画像５２が選択された場合、ステップＳ８の処理を実施する。
【００７０】
［第二実施形態の作用効果］
上述したような第二実施形態の画像検索装置１では、結果表示手段４４は、判定時間が経過するまでの間に、ユーザーの操作がなく、画像選択手段４５により確信度上位画像５２が選択されなかった場合、当該確信度上位画像５２を除外して、表示部５に表示させる確信度上位画像５２の表示ランキングを更新する。
このため、ユーザーにより選択されない画像を除外して確信度上位画像５２を更新するので、目的画像がより迅速に表示部５に表示される確率を高めることができる。
【００７１】
［第三実施形態］
次に、本発明に係る第三実施形態について、図面に基づいて説明する。
上記第二実施形態の画像検索装置１では、結果表示手段４４により表示部５に確信度上位画像５２が表示されて、判定時間が経過するまでの間に、画像選択手段４５による当該確信度上位画像５２の選択がなかった場合、結果表示手段４４は、選択されなかった確信度上位画像５２を表示部５から削除して、新たな検索対象画像を表示部５に繰り上げて表示させた。これに対して、第三実施形態の画像検索装置は、結果表示手段は、画像選択手段により確信度上位画像が選択されなかった場合に、当該選択されなかった確信度上位画像の表示位置を下位ランクの表示位置に落として表示させる点で、上記第二実施形態と相違する。
【００７２】
第三実施形態の画像検索装置は、第一実施形態の画像検索装置１と略同様の構成を有するものであるため、図１に基づいて、以下第三実施形態について説明する。
本実施形態では、画像検索装置１は、表示部５に確信度上位画像５２が表示させたタイミングから、予め設定された所定の判定時間（例えば３０秒）が経過するまでの間に、画像選択手段４５により確信度上位画像５２が選択されなかった場合に、当該確信度上位画像５２の表示上のランクを下位に段階的に低下させて表示を更新する。
【００７３】
例えば、図６の（Ａ）に示すように、確信度が大きい順にＡ，Ｂ，Ｃ，Ｄの検索対象画像が確信度上位画像５２として表示されており、複数回のオブジェクト認識を実施した結果、確信度のランキングが、Ｂ，Ｅ，Ｆ，Ｃに変化したとする。この場合、結果表示手段４４は、図６の（Ｂ）に示すように、最上位表示位置５２Ａから最下位表示位置５２Ｂまでの確信度上位画像５２の表示順をＢ，Ｅ，Ｆ、Ｃとして、表示を更新する。
そして、検索対象画像Ｂ，Ｃが、表示部５に表示された後、予め設定された判定時間が経過すると、結果表示手段４４は、検索対象画像Ｂの表示位置を１ランク分最下位表示位置５２Ｂ側に移動させる。すなわち、検索対象画像Ｂの表示位置と、検索対象画像Ｅの表示位置とを入れ替えて表示させる。したがって、検索対象画像Ｂは、ユーザーによる選択操作がなく、画像選択手段４５に選択されない場合、時間経過とともに、表示ランキングを段階的に低下することになる。
一方、最下位表示位置５２Ｂに表示されていた検索対象画像Ｃの表示位置を１ランク分移動させることはできないため、結果表示手段４４は、検索対象画像Ｃを消去し、検索対象画像Ｃの次に確信度が大きい検索対象画像Ｇを、新たに表示部５の最下位表示位置５２Ｂに表示する。
【００７４】
そして、検索除外手段４７は、表示上から消去された検索対象画像Ｃを、結果蓄積部３２の認識結果から除外する。これにより、検索対象画像Ｃは、一連の最適画像検索処理における検索対象から除外され、以降の画像検索手段４２によるオブジェクト認識において、検索対象画像Ｃが検索された場合でも、結果蓄積部３２に蓄積されず、確信度が算出されることもないため、表示部５に表示されることがなくなる。
なお、検索対象画像Ｂも、引き続き画像選択手段４５により選択されなかった場合は、時間経過により、徐々に表示位置が最下位表示位置５２Ｂ側に移動し、最終的に表示部５から消去され、検索対象から除外されることとなる。
【００７５】
なお、結果表示手段４４は、最下位表示位置５２Ｂに表示された検索対象画像に対して、例えば最初の判定時間経過時のみ削除しない処理を行ってもよい。
すなわち、表示部５に表示される確信度上位画像５２のうち、最下位表示位置５２Ｂ以外の位置に表示された確信度上位画像５２は、判定時間経過後も表示位置が移動するだけで、除外されることはない。これにより、ユーザーの見落とし等により判定時間が経過した場合でも、これらの確信度上位画像５２は表示部５に表示された状態となり、ユーザーは、これらの確信度上位画像５２を確認することができる。したがって、例えばこれらの確信度上位画像５２が目的画像であった場合、ユーザーは目的画像を選択することが可能となる。
一方、最下位表示位置５２Ｂに表示された確信度上位画像５２は、最初の判定時間経過後に即座に削除されてしまうことになる。この場合、ユーザーの見落とし等により判定時間が経過していた場合、検索対象から最下位表示位置５２Ｂに表示されていた確信度上位画像５２が除外されてしまうため、認識結果として表示されなくなってしまう。これに対して、例えば最初の判定時間経過時は、最下位表示位置５２Ｂに表示された確信度上位画像５２を削除せずに表示し続ける処理を実施することで、ユーザーに当該確信度上位画像５２の確認を促すことができる。
【００７６】
［第三実施形態の作用効果］
上述したような第三実施形態の画像検索装置１では、第二実施形態における効果に加え、以下の効果を奏する。
結果表示手段４４は、ユーザーの操作がなく、画像選択手段４５により確信度上位画像５２が選択されなかった場合、当該確信度上位画像５２の表示位置が最下位表示位置５２Ｂ以外である場合に、最下位表示位置５２Ｂ側に表示位置を移動させ、当該確信度上位画像５２の表示位置が最下位表示位置５２Ｂである場合に表示部５から消去する。したがって、表示部５に表示された確信度上位画像５２が判定時間の経過後に即座に消去されず、徐々に表示上のランキングが低下していき、最終的に表示部５から消去されることになる。
このため、例えば、ユーザーが脇見等によって表示部５の表示を見ていなかった場合でも、確信度上位画像５２が即座に削除されてしまう不都合を回避できる。したがって、ユーザーに確信度上位画像５２を選択させる十分な時間を与えることができ、快適な操作を支援することができる。
【００７７】
［第四実施形態］
次に、本発明の第四実施形態の画像検索装置について、図面に基づいて説明する。
上記第一から第三実施形態では、表示部５に確信度上位画像５２が表示されて、所定の判定時間が経過するまでの間に、画像選択手段４５による当該確信度上位画像５２の選択がなかった場合、当該確信度上位画像５２を除外する例を示した。これに対して、第四実施形態の画像検索装置では、画像選択手段により確信度上位画像が選択されなかった場合に、確信度算出手段が、当該選択されなかった確信度上位画像（検索対象画像）の確信度を低下させる点で相違する。
【００７８】
第四実施形態の画像検索装置は、第一実施形態の画像検索装置１と略同様の構成を有するものであるため、図１に基づいて、以下第四実施形態について説明する。
なお、本実施形態の画像検索装置１では、制御手段４の機能構成として、表示率算出手段４６及び検索除外手段４７が設けられない構成としてもよい。
本実施形態の画像検索装置１の結果表示手段４４は、上記第一から第三実施形態と同様に、確信度算出手段４３により確信度が更新される度に、更新された確信度のランキングに応じて、表示部５に表示させる確信度上位画像５２の順序を入れ替える。
また、本実施形態の結果表示手段４４は、確信度の変化がない場合には、表示部５における確信度上位画像５２の表示順を変化させない。したがって、表示部５に確信度上位画像５２が表示させたタイミングから、予め設定された所定の判定時間（例えば３０秒）が経過するまでの間に、画像選択手段４５により確信度上位画像５２が選択されなかった場合でも、確信度のランキングに変動がない場合は、確信度上位画像５２の表示順を変化させず、確信度上位画像５２を表示部５から除外することはない。
【００７９】
一方、本実施形態の確信度算出手段４３は、結果蓄積部３２に蓄積された認識結果に基づいて、各検索対象画像の確信度を算出することに加え、以下の処理を実施する。
すなわち、確信度算出手段４３は、結果表示手段４４により表示部５に確信度上位画像５２が表示されたタイミングから、予め設定された所定の判定時間（例えば３０秒）の間、画像選択手段４５により確信度上位画像５２が選択されなかった場合に、当該確信度上位画像５２（検索対象画像）の確信度を低下させる処理をする。
ここで、本実施形態では、確信度算出手段４３は、画像選択手段４５により選択されなかった確信度上位画像５２（検索対象画像）の確信度を最低値である「０」に固定する。
また、結果表示手段４４は、確信度が更新されるタイミングで、表示部５の表示を更新するため、確信度算出手段４３により確信度が最低値に更新された確信度上位画像５２は、表示部５から削除されることとなり、新たな確信度に基づいた確信度上位画像５２が表示されることとなる。これにより、図３に示すような画像認識結果の表示を行うことが可能となる。
なお、ここでは、確信度算出手段４３は、判定時間が経過するまでの間に画像選択手段４５により選択されなかった確信度上位画像５２（検索対象画像）の確信度を、最低値である「０」に設定したが、最低値としては例えばマイナスの値に固定してもよい。これにより、ユーザーにより選択されなかった検索対象画像が確実に表示部５上に表示されなくなる。
【００８０】
［画像検索装置の動作］
次に、第四実施形態の画像検索装置１の画像検索方法について説明する。
本実施形態の画像検索装置１では、上記第二実施形態と略同様の処理により最適画像検索処理を実施するため、図５に基づいて画像検索方法を説明する。
第二実施形態では、図５のステップＳ１０において、結果表示手段４４が、判定時間を経過し、かつユーザーによる選択操作がない確信度上位画像５２の確信度を変化させずに、表示上から除外し、検索除外手段４７により認識結果からも除外する構成とした。
これに対して、本実施形態のステップＳ１０では、確信度算出手段４３は、判定時間を経過し、かつユーザーによる選択操作がない確信度上位画像５２の確信度を最低値に設定する。そして、結果表示手段４４は、この更新された確信度に基づいて、確信度が高い順にランキングした検索対象画像の上位４つを、確信度上位画像５２として表示部５に表示させる。
【００８１】
［第四実施形態の作用効果］
上述したような第四実施形態の画像検索装置１では、結果表示手段４４は、判定時間が経過するまでの間に、ユーザーの操作がなく、画像選択手段４５により確信度上位画像５２が選択されなかった場合、確信度算出手段４３は、当該確信度上位画像５２の確信度を最低値に固定し、結果表示手段４４は、この確信度の更新の後に確信度に基づいて確信度上位画像５２を表示部５に表示させる。
このため、上記第一から第三実施形態と同様に、ユーザーにより選択されない画像を除外して確信度上位画像５２を更新するので、目的画像が表示部５に表示される確率を高めることができる。
【００８２】
［第五実施形態］
次に、本発明に係る第五実施形態について、図面に基づいて説明する。
上記第四実施形態の画像検索装置１では、結果表示手段４４により表示部５に確信度上位画像５２が表示されて、所定の判定時間が経過するまでの間に、画像選択手段４５による当該確信度上位画像５２の選択がなかった場合、確信度算出手段４３は、選択されなかった確信度上位画像５２の確信度を最低値に設定した。これに対して、第五実施形態の画像検索装置では、確信度変化手段は、画像選択手段により確信度上位画像が選択されなかった場合に、当該選択されなかった確信度上位画像の確信度を所定の設定値だけ低下させる点で、上記第四実施形態と相違する。
【００８３】
第五実施形態の画像検索装置は、第一実施形態の画像検索装置１と略同様の構成を有するものであるため、図５に基づいて、以下第五実施形態について説明する。
本実施形態の画像検索装置１の確信度算出手段４３は、結果表示手段４４により表示部５に確信度上位画像５２が表示されたタイミングから、予め設定された所定の判定時間（例えば３０秒）の間、画像選択手段４５により確信度上位画像５２が選択されなかった場合に、当該確信度上位画像５２（検索対象画像）の確信度を所定の設定値（例えば０．５）だけ低下させて固定する。
ここで、設定値としては、予め設定されて記憶手段に記憶されていてもよく、例えばユーザーにより適宜設定、変更可能な値を用いてもよい。
本実施形態では、確信度算出手段４３により確信度を設定値ずつ低減させることで、画像選択手段４５により選択されなかった検索対象画像の確信度は、段階的に低下していくことになる。したがって、確信度の更新毎に、結果表示手段４４により表示部５の表示が更新されると、画像選択手段４５により選択されなかった確信度上位画像５２の表示位置も徐々に最下位表示位置５２Ｂ側に移動する。そして、最終的には、当該確信度上位画像５２の確信度が、表示部５に表示されていない他の検索対象画像の確信度よりも小さくなることで、表示部５に表示されなくなる。すなわち、図６に示す表示例と略同様の表示が行われることになり、ユーザーにより選択されなかった確信度上位画像５２の表示ランキングが段階的に低下することとなる。
【００８４】
［第五実施形態の作用効果］
上述したような第五実施形態の画像検索装置１では、第三実施形態と略同様の作用効果を奏することができる。
すなわち、画像検索装置１の確信度算出手段４３は、ユーザーの操作がなく、画像選択手段４５により確信度上位画像５２が選択されなかった場合、当該確信度上位画像５２の確信度を所定の設定値だけ低減させた値に固定する。このため、時間が経過するに伴って、画像選択手段４５により選択されなかった確信度上位画像５２の確信度は徐々に低下していくことになる。したがって、確信度が更新される毎に結果表示手段４４により表示部５の表示が更新されることで、当該確信度上位画像５２の表示位置が徐々に最下位表示位置５２Ｂ側に移動していき、最終的には、表示部５に表示されなくなる。
このような構成では、表示部５に表示された確信度上位画像５２が判定時間の経過後に即座に削除されることがないため、例えば、ユーザーが脇見等によって表示部５の表示を見ていなかった場合でも、確信度上位画像５２が即座に削除されてしまう不都合を回避できる。したがって、ユーザーに確信度上位画像５２を選択させる十分な時間を与えることができ、快適な操作を支援することができる。
【００８５】
［第六実施形態］
次に、本発明の第六実施形態の画像検索装置について、図面に基づいて説明する。
上記した第一から第五実施形態の画像検索装置１、１では、結果表示手段４４は、図２に示すように、表示部５の下部領域に、最上位表示位置５２Ａから最下位表示位置５２Ｂに向かって、確信度が大きい順に同一サイズの確信度上位画像５２を表示させた。これに対して、第六実施形態は、結果表示手段により表示される確信度上位画像の順位が変動した場合に、表示形態を変えて表示される点で相違する。
【００８６】
図７は、第六実施形態における表示部の表示例を示す図である。
また、第六実施形態の画像検索装置は、第一実施形態の画像検索装置１と略同様の構成を有するものであるため、図１に基づいて、以下第六実施形態について説明する。
本実施形態の画像検索装置１の結果表示手段４４は、上記第一から第五実施形態と同様に、撮影対象画像５１及び確信度上位画像５２を表示させる。
ここで、本実施形態の結果表示手段４４は、例えば確信度算出手段４３により確信度が新たに算出された場合や、表示率が閾値を超えた確信度上位画像５２を消して、他の検索対象画像を表示させる場合などにおいて、表示部５に表示させる確信度上位画像５２の表示サイズを変化させる。
【００８７】
例えば、図４のステップＳ５において、確信度算出手段４３により各検索対象画像の確信度を算出した際に、確信度のランキングに変動があった場合、結果表示手段４４は、ランクが上昇した確信度上位画像５２を、図８に示すように拡大表示させる。一方、結果表示手段４４は、ランクが下降した確信度上位画像５２を縮小表示させる。
【００８８】
また、図４におけるステップＳ１０では、結果表示手段４４は、画像選択手段４５により確信度上位画像５２が選択されなかった場合、当該確信度上位画像５２を消去し、消去した確信度上位画像よりも確信度が低い検索対象画像の表示ランキングを順次上位に繰り上げて表示させるが、この際、順位を繰り上げて表示させる確信度上位画像５２を拡大表示させる。また、結果表示手段４４は、最下位表示位置５２Ｂに新たに表示する確信度上位画像５２を、さらに表示サイズを大きくして表示させてもよい。
【００８９】
［第六実施形態の作用効果］
第六実施形態の画像表示装置では、上記各実施形態の作用効果に加えて、以下のような作用効果を奏する。
すなわち、結果表示手段４４は、確信度のランキングが変動した際に、ランクが上昇した確信度上位画像５２に対して表示サイズを大きくし、ランクが下降した確信度上位画像５２に対して表示サイズを小さくして表示する。このため、ユーザーは表示された各確信度上位画像５２の表示サイズを確認することで、確信度のランキングがどのように変動しているかを確認することができる。
また、新たに表示部５に表示される確信度上位画像５２がある場合では、当該新たに表示される確信度上位画像５２を強調して表示することができる。これにより、ユーザーの目が、この新たに表示された表示サイズが大きい確信度上位画像５２に向くこととなり、ユーザーによる確信度上位画像５２の確認作業を良好に支援することができる。
【００９０】
なお、本実施形態では、第一実施形態の結果表示手段４４に対して表示形態を変化させて表示させる例を示したが、第二から第五実施形態の結果表示手段４４においても同様に、確信度上位画像５２の表示形態を変化させてもよい。
【００９１】
［第七実施形態］
次に、本発明の第七実施形態に係る画像検索システムについて、図面に基づいて説明する。
上記第一から第六実施形態では、画像検索装置の記憶手段３に画像データベース３１が記憶され、この画像データベース３１から撮影画像に対応した検索対象画像を検索する装置を例示した。これに対して、第七実施形態は、サーバ装置に設けられた記憶手段に画像データベースが記憶され、サーバ装置において、端末装置から送信された撮影画像を用いたオブジェクト認識を実施し、検索対象を再び画像端末装置に送信する点で第一から第六実施形態とは相違する。
【００９２】
［画像検索システムの構成］
図８は、第七実施形態の画像検索システムの概略構成を示す図である。なお、第七実施形態の説明に当たり、第一から第六実施形態で説明した構成については同符号を付し、その説明を省略、または簡略する。
図８に示すように、本実施形態の画像検索システム１００は、端末装置２００と、サーバ装置３００とが、インターネット１１０を介して通信可能に接続されている。
ここで、本実施形態では、ネットワークとして、ＴＣＰ／ＩＰなどの汎用のプロトコルに基づくインターネット１１０を例示するが、これに限られない。例えば、無線媒体により情報が送受信可能な複数の基地局がネットワークを構成する通信回線網などのネットワークなど、データを送受信させるいずれの構成も利用できる。
【００９３】
［端末装置の構成］
端末装置２００は、例えば、携帯電話、スマートフォン、モバイルコンピュータなどのモバイル機器の他、パーソナルコンピュータ等の汎用コンピュータを使用することができる。この端末装置２００は、ハードウェア構成として、カメラ２と、表示部５と、操作部６と、記憶手段２１０と、制御手段２２０と、を備えている。
【００９４】
記憶手段２１０は、データなどを一時的に記憶できる一時領域などを有するＲＡＭ（Random Access Memory）や、ＯＳ（Operating System：基本ソフトウェア）や各種サーバを制御するプログラム、各種アプリケーション、各種データ等が格納されるＲＯＭ（Read Only Memory）等により構成されている。この記憶手段２１０は、サーバ装置３００から送信されたオブジェクト認識の認識結果を蓄積する結果蓄積部３２を備えている。
【００９５】
制御手段２２０は、ＣＰＵ等の集積回路や、インターネット１１０を介してサーバ装置３００と通信するための通信手段を備えて構成されている。また、制御手段２２０は、記憶手段２１０に格納されているプログラムを読み出し、このプログラムに従って各種処理を行う。
そして、制御手段２２０は、機能構成として、画像取得手段４１と、撮影画像送信手段２２１と、結果受信手段２２２と、確信度算出手段４３と、結果表示手段４４と、画像選択手段４５と、表示率算出手段４６と、検索除外手段４７と、を備えている。
【００９６】
撮影画像送信手段２２１は、画像取得手段４１により撮影画像が取得される毎に、取得された撮影画像をインターネット１１０と介してサーバ装置３００に送信する。この際、撮影画像送信手段２２１は、端末装置２００を特定するためのユーザーＩＤとともに、撮影画像を送信する。
【００９７】
結果受信手段２２２は、サーバ装置３００から送信された撮影画像に対するオブジェクト認識の認識結果を受信する。この認識結果としては、第一実施形態と同様、撮影画像に対する類似度が大きい検索対象画像と、当該検索対象画像の類似度が含まれる。また、結果受信手段２２２は、受信したオブジェクト認識の認識結果を記憶手段２１０の結果蓄積部３２に蓄積する。
【００９８】
［サーバ装置の構成］
サーバ装置３００は、図９に示すように、ハードウェア構成として、記憶手段３１０と、制御手段３２０と、を備えている。
記憶手段３１０は、データなどを一時的に記憶できる一時領域などを有するＲＡＭや、ＯＳや各種サーバを制御するプログラム、各種アプリケーション、各種データ等が格納されるＲＯＭ等により構成される。
この記憶手段３１０には、撮影画像に対してオブジェクト認識を実施するための画像データベース３１が記憶されている。
【００９９】
制御手段３２０は、ＣＰＵ等の集積回路や、インターネット１１０を介して端末装置２００等と通信するための通信手段を備えて構成されている。また、制御手段３２０は、記憶手段３１０に格納されているプログラムを読み出し、このプログラムに従って各種処理を行う。
そして、制御手段３２０は、機能構成として、画像受信手段３２１と、画像検索手段４２と、検索結果送信手段３２２と、を備えている。
【０１００】
画像受信手段３２１は、インターネット１１０を介して端末装置２００から送信された撮影画像を受信する。
画像検索手段４２は、第一実施形態における画像検索手段４２と同様であり、画像受信手段３２１により受信された撮影画像を用いて、記憶手段３１０の画像データベース３１から当該撮影画像と類似する検索対象画像を検索する。
検索結果送信手段３２２は、画像検索手段４２によるオブジェクト認識の認識結果である検索対象画像及び類似度を、インターネット１１０を介して端末装置２００に送信する。この時、検索結果送信手段３２２は、画像受信手段３２１で撮影画像とともに受信したユーザーＩＤに基づいて、撮影画像の送信元である端末装置２００に検索結果を送信する。
【０１０１】
［画像検索システムにおける画像検索方法］
次に、上述したような画像検索システム１００における画像検索方法（最適画像検索処理）について、図面に基づいて説明する。
図９は、画像検索システムにおける最適画像検索処理のフローチャートである。
【０１０２】
画像検索システム１００による最適画像検索処理は、図９に示すように、画像検索装置１による最適画像検索処理と略同様の手法により実施される。したがって、画像検索装置１の最適画像検索処理と同様のステップについては、同符号を付し、その説明を省略又は簡略する。
【０１０３】
端末装置２００を操作するユーザーにより、最適画像検索処理を実行するプログラムが起動されると、カメラ２が起動され、カメラ２により取り込まれた画像が、結果表示手段４４によりリアルタイムで端末装置２００の表示部５に表示される。そして、端末装置２００の制御手段２２０は、ステップＳ１を実施して、結果蓄積部３２を初期化する。
次に、ステップＳ２が実施され、画像取得手段４１は、カメラ２により撮影された撮影画像を取得する。
【０１０４】
この後、端末装置２００の撮影画像送信手段２２１は、ステップＳ２で取得した撮影画像を、ユーザーＩＤとともに、インターネット１１０を介してサーバ装置３００に送信する（ステップＳ２１）。
サーバ装置３００は、端末装置２００から送信された撮影画像を取得すると（ステップＳ２２）、図４のステップＳ３と同様の処理を実施し、ステップＳ２２で取得した撮影画像と類似する検索対象画像を、記憶手段３１０の画像データベース３１から検索する。
そして、サーバ装置３００の検索結果送信手段３２２は、ステップＳ２の認識結果を、インターネット１１０を介して端末装置２００に送信する（ステップＳ２３）。
【０１０５】
端末装置２００は、結果受信手段２２２により、サーバ装置３００から送信された認識結果を受信すると（ステップＳ２４）、受信した認識結果を結果蓄積部３２に蓄積する。この後、端末装置２００は、第一実施形態の画像検索装置１におけるステップＳ４〜ステップＳ１０の各処理を実施し、確信度の付与及び更新、確信度に基づいた確信度上位画像５２の表示を行う。
なお、確信度上位画像５２の表示では、結果表示手段４４は、第六実施形態のように、確信度の順位が変動した確信度上位画像５２を、他の確信度上位画像５２とは異なる表示形態で表示させてもよい。
【０１０６】
［第七実施形態の作用効果］
第七実施形態では、上記第一実施形態と同様の作用効果が得られる。
つまり、本実施形態の画像検索システム１００では、端末装置２００では、サーバ装置３００から送信されたオブジェクト認識の認識結果を結果蓄積部３２に蓄積し、この蓄積された認識結果に基づいて各検索対象画像の確信度を算出する。そして、端末装置の結果表示手段４４は、確信度が大きい順に、表示部５に確信度上位画像５２を表示させる。また、表示部５に確信度上位画像５２が表示されてから、所定の判定時間が経過するまでの間に、画像選択手段４５により確信度上位画像５２が選択されない場合、結果表示手段４４は、当該確信度上位画像５２を除外し、確信度に基づいて確信度上位画像５２を更新する。
このため、ユーザーが求める目的画像が確信度上位画像５２として表示部５に表示される確率を高めることができる。
【０１０７】
また、本実施形態の画像検索システム１００では、端末装置２００により取得された撮影画像をサーバ装置３００に送信し、サーバ装置３００でオブジェクト認識を実施して、その結果を端末装置２００に送信する。このような構成では、例えば端末装置２００として、記憶手段２１０の記憶容量が限られた携帯電話やスマートフォン等のモバイル機器を用いた場合でも、サーバ装置３００に設けられた大容量の記憶手段３１０の画像データベース３１から検索対象画像を検索することができる。このため、より多くの検索対象画像が記憶された画像データベース３１から、ユーザーが求める目的画像を検索することができ、検索精度をより向上させることができる。
また、サーバ装置３００の画像検索手段４２は、従来の検索エンジンと同様のアルゴリズムにより、類似度に基づいた検索対象画像を検索すればよいため、本発明の最適画像検索処理のために、新規アルゴリズムの検索エンジンを組み直す等の手間がなく、構成を簡単にできる。
【０１０８】
なお、本実施形態では、結果表示手段４４は、表示率に基づいて、表示部５に表示させた確信度上位画像５２の表示ランキングを更新したが、例えば第二から第五実施形態に示すように、判定時間に基づいて、表示ランキングを更新する構成としてもよい。
また、結果表示手段４４は、表示ランキングを低下させる際に、ユーザーにより選択されない確信度上位画像５２を即座に除外する構成としたが、例えば、第三実施形態のように、結果表示手段４４が、確信度上位画像の表示ランキングを段階的に低下させる処理、第四実施形態のように、確信度を最低値に設定する処理、第五実施形態のように、確信度を段階的に低下させる処理などを実施してもよい。
【０１０９】
［第八実施形態］
次に、本発明の第八実施形態について、図面に基づいて説明する。
上記第七実施形態の画像検索システム１００では、サーバ装置３００において撮影画像を用いたオブジェクト認識を行った後、オブジェクト認識の結果を端末装置２００に送信し、端末装置２００において、確信度の算出を行った。これに対して、第八実施形態の画像検索システムでは、サーバ装置３００において、撮影画像を用いたオブジェクト認識と、オブジェクト認識の認識結果を用いた確信度の算出とを実施する点で、上記第七実施形態の画像検索システム１００と相違する。
なお、第八実施形態の説明にあたり、上記第一から第七実施形態と同様の構成については、同符号を付し、その説明を省略または簡略する。
【０１１０】
［画像検索システムの構成］
図１０は、本実施形態の画像検索システムの概略構成を示す図である。
第八実施形態の画像検索システムは、第七実施形態と同様、端末装置２００と、サーバ装置３００とを備え、インターネット１１０等のネットワークを介して、これらの端末装置２００及びサーバ装置３００が通信可能に接続されている。
【０１１１】
［端末装置の構成］
本実施形態の端末装置２００は、ハードウェア構成として、カメラ２と、表示部５と、操作部６と、記憶手段（図示略）と、制御手段２２０と、を備えている。
【０１１２】
記憶手段は、データなどを一時的に記憶できる一時領域などを有するＲＡＭや、ＯＳや各種サーバを制御するプログラム、各種アプリケーション、各種データ等が格納されるＲＯＭ等により構成されている。なお、本実施形態では、図１０に示すように、記憶手段に画像データベース３１や結果蓄積部３２が設けられない。
【０１１３】
そして、本実施形態の端末装置２００における制御手段２２０は、図１０に示すように、機能構成として、画像取得手段４１と、撮影画像送信手段２２１と、結果受信手段２２２と、結果表示手段４４と、画像選択手段４５と、を備えている。
【０１１４】
撮影画像送信手段２２１は、画像取得手段４１により撮影画像が取得される毎に、取得された撮影画像をインターネット１１０と介してサーバ装置３００に送信する。この際、撮影画像送信手段２２１は、端末装置２００を特定するためのユーザーＩＤとともに、撮影画像を送信する。
【０１１５】
結果受信手段２２２は、サーバ装置３００から送信された撮影画像に対する最適画像検索処理の認識結果を受信する。ここで、この認識結果としては、確信度が付与された検索対象画像であり、結果受信手段２２２は、表示部５に表示させる表示数分だけ検索対象画像を取得すればよい。
結果表示手段４４は、結果受信手段２２２により取得した検索対象画像を確信度上位画像５２として、確信度が大きい順に並べて表示部５に表示させる。また、この結果表示手段４４は、結果受信手段２２２により認識結果を受信した場合にのみ表示部５に表示する確信度上位画像５２を更新する。
【０１１６】
画像選択手段４５は、ユーザーの操作に基づいて、表示部５に表示された確信度上位画像５２を選択するとともに、当該選択された確信度上位画像５２又は選択された確信度上位画像５２を特定する画像ＩＤを、選択画像としてサーバ装置に送信する。
【０１１７】
［サーバ装置の構成］
本実施形態のサーバ装置３００では、図１０に示すように、記憶手段３１０は、画像データベース３１に加え、結果蓄積部３２を備えている。
【０１１８】
また、本実施形態のサーバ装置３００の制御手段３２０は、機能構成として、図１１に示すように、画像受信手段３２１と、画像検索手段４２と、確信度算出手段４３と、検索結果送信手段３２２と、選択画像受信手段３２３と、検索除外手段４７と、を備えている。
【０１１９】
検索結果送信手段３２２は、確信度算出手段４３により確信度が算出された検索対象画像、及び当該検索対象画像の確信度を認識結果として、インターネット１１０を介して端末装置２００に送信する。この時、検索結果送信手段３２２は、端末装置２００の表示部５に確信度上位画像５２として表示させる表示数分の検索対象画像を、確信度が大きい順に送信する。
【０１２０】
選択画像受信手段３２３は、端末装置２００の画像選択手段４５により送信された選択画像を受信する。
検索除外手段４７は、検索結果送信手段３２２により認識結果を送信してからの時間を計測する。そして、検索除外手段４７は、所定の判定時間が経過するまでの間に、選択画像受信手段３２３により選択画像が受信されなかった場合に、検索結果送信手段３２２により送信した認識結果である検索対象画像を、結果蓄積部３２から除外する。
【０１２１】
［画像検索システムにおける画像検索方法］
次に、上述したような画像検索システムにおける画像検索方法（最適画像検索処理）について、図面に基づいて説明する。
図１１は、画像検索システムにおける最適画像検索処理のフローチャートである。
なお、本実施形態の画像検索システムによる最適画像検索処理の説明にあたり、上記実施形態において説明したステップについては、同符号を付し、その説明を省略又は簡略する。
【０１２２】
本実施形態の画像検索システムにおいて、端末装置２００を操作するユーザーにより、最適画像検索処理を実行するプログラムが起動されると、カメラ２が起動され、カメラ２により取り込まれた画像が、結果表示手段４４によりリアルタイムで端末装置２００の表示部５に表示される。そして、画像取得手段４１によりステップＳ２が実施され、カメラ２により撮影された撮影画像が周期的に取得される。また、ステップＳ２が実施される毎にステップＳ２１が実行され、撮影画像送信手段２２１は、取得された撮影画像を、インターネット１１０を介してサーバ装置３００に送信する。
この際、撮影画像送信手段２２１は、端末装置２００を判別するためのユーザーＩＤを撮影画像とともに、サーバ装置３００に送信する。また、各端末装置２００において、表示部５に表示させる確信度上位画像５２の表示数が異なる場合、撮影画像送信手段２２１は、撮影画像とともに、確信度上位画像５２の表示数を送信してもよい。
【０１２３】
一方、サーバ装置３００は、最適画像処理が実行されると、まず、結果蓄積部３２を初期化する（ステップＳ３１）。
そして、サーバ装置３００の画像受信手段３２１は、ステップＳ２２を実施し、端末装置２００から送信された撮影画像を受信する。
この後、画像検索手段４２は、ステップＳ３のオブジェクト認識処理（画像検索処理）を実施し、撮影画像と類似する検索対象画像を、記憶手段３１０の画像データベース３１から検索する。また、画像検索手段４２は、オブジェクト認識により認識された認識結果を結果蓄積部３２に蓄積する。
さらに、サーバ装置３００は、ステップＳ４の処理を実施し、結果蓄積部３２に蓄積された過去の認識結果に基づいて、各検索対象画像に対して確信度を算出する。
【０１２４】
この後、サーバ装置３００の検索結果送信手段３２２は、ステップＳ２３を実施し、認識結果を端末装置２００に送信する。この時、検索結果送信手段３２２は、検索された検索対象画像から、確信度上位画像５２の表示数分の検索対象画像を、確信度の大きい順に選択し、選択した検索対象画像を端末装置２００に送信する。
ここで、本実施形態では、ステップＳ２３において、検索対象画像とともに、当該検索対象画像の確信度を端末装置２００に送信する。
【０１２５】
端末装置２００は、ステップＳ２４により、サーバ装置３００から認識結果である検索対象画像を受信すると、ステップＳ５を実施し、結果表示手段４４は、受信した検索対象画像を確信度上位画像５２として、確信度が大きい順に、表示部５に表示させる。
この後、端末装置２００の制御手段２２０は、ステップＳ６〜Ｓ７を実施し、画像取得手段４１により次の撮影画像が取得されたか否か、及び画像選択手段４５により次の撮影画像が取得されたか否かを判定する。
このステップＳ７において、端末装置２００は、所定の判定時間が経過するまでの間に、選択画像が取得されたか否かを判定する必要がない。すなわち、画像選択手段４５により確信度上位画像５２が選択されない場合、ステップＳ６、及びステップＳ７を繰り返し、撮影画像の取得の有無、選択画像の有無の判定を繰り返す。
また、このステップＳ７において、ユーザーの操作に基づいて、画像選択手段４５により確信度上位画像５２が選択されると、画像選択手段４５は、当該選択した確信度上位画像５２（選択画像）をサーバ装置３００に送信する（ステップＳ３２）。
【０１２６】
一方、サーバ装置３００では、ステップＳ２３の後、選択画像の受信待ち（待機状態）となっており、ステップＳ３２により、選択画像が送信されると、これを受信する（ステップＳ３３）。また、サーバ装置３００は、ステップＳ２３における認識結果の送信タイミングから、所定の判定時間が経過するまでの間に、選択画像が受信した否かを判定する（ステップＳ３４）。このステップＳ３４では、ステップＳ３３の選択画像の受信が判定時間以内である場合、当該選択画像に関する詳細な情報を端末装置２００に送信する（ステップＳ３５）。これにより、端末装置２００は、ステップＳ８の処理を実施し、選択画像に関する詳細情報をユーザーに提供する。
【０１２７】
また、サーバ装置３００は、ステップＳ３４の判定処理において、判定時間が経過するまでの間に、ステップＳ３３による選択画像の受信がなかった場合、検索除外手段４７は、結果蓄積部３２から、ステップＳ２３で送信した認識結果の検索対象画像を除外する（ステップＳ３６）。この後、サーバ装置３００は、ステップＳ４に戻り、確信度算出手段４３により確信度を再度算出させ、ステップＳ２３により、その結果を端末装置２００に送信する。
これにより、端末装置２００の表示部５には、ユーザーが所定の判定時間の間に選択しなかった確信度上位画像５２が表示されなくなり、新たな検索対象画像に基づいた確信度上位画像５２が表示されることとなる。すなわち、上述した第一、二、第四実施形態と同様の表示ランキングの表示を行うことができる。
また、ステップＳ３６の処理において、ステップＳ２３にて送信した検索対象画像の確信度を段階的に低下させる処理をすることで、第三、第五実施形態と同様の表示ランキングの表示を行うことができる。
【０１２８】
［第八実施形態の作用効果］
本実施形態の画像検索システムでは、サーバ装置３００において、結果蓄積部３２に蓄積された認識結果に基づいて、各検索対象画像の確信度が算出され、確信度が大きい順に表示数分の検索対象画像が端末装置２００に送信される。これにより、端末装置２００の表示部５には、過去の認識結果に基づいた精度の高い確信度上位画像５２を表示させることができる。
また、サーバ装置３００から端末装置２００に認識結果を送信してから、所定の判定時間が経過するまでの間に、端末装置２００からサーバ装置３００に選択画像が送信されない場合、検索除外手段４７は、結果蓄積部３２から、送信した認識結果に対応する検索対象画像を除外する。このため、ユーザーが選択しなかった確信度上位画像を検索対象から除外することができ、より迅速に目的画像を提供することができる。
【０１２９】
また、本実施形態の画像検索システムでは、第七実施形態と同様の効果が得られ、例えば端末装置２００として、記憶手段の記憶容量が限られた携帯電話やスマートフォン等のモバイル機器を用いた場合でも、サーバ装置３００に設けられた大容量の記憶手段３１０の画像データベース３１から検索対象画像を検索することができる。このため、より多くの検索対象画像が記憶された画像データベース３１から、ユーザーが求める目的画像を検索することができ、検索精度をより向上させることができる。
更に、本実施形態の端末装置２００は、確信度の算出を実施せず、サーバ装置３００から送信された認識結果である確信度が付与された検索対象画像を確信度上位画像５２として表示部５に表示させるのみである。このため、端末装置２００の機能構成をより簡単にでき、例えば、処理能力が低い携帯電話等においても、上記のように検出精度が高く、かつ、目的画像が表示される確率が高い最適画像検索処理を実施することができる。
［変形例］
なお、本発明は、上述した実施形態に限定されるものではなく、本発明の目的を達成できる範囲で、以下に示される変形をも含むものである。
例えば、上述した第一〜第八実施形態では、確信度算出手段４３は、オブジェクト認識により得られた類似度と、オブジェクト認識が実施された回数に基づいて、式（１）に基づいて確信度を算出したが、これに限定されない。
例えば、確信度算出手段は、オブジェクト認識により得られた各検索対象画像の撮影画像に対する類似度に基づいて設定される類似ランキングと、当該検索対象画像が検索された回数（Ｈｉｔｃｏｕｎｔ）とに基づいて確信度を算出してもよい。
この場合、確信度算出手段は、例えば、以下の式（２）に基づいて、確信度を算出する。
【０１３０】
［数２］
【０１３１】
上記式において、各符号は以下の意味である。
Ｉ＝｛Ａ，Ｂ，Ｃ・・・｝ 検索対象画像の集合
Ｒ＝｛Ｒ１，Ｒ２，Ｒ３・・・，Ｒｎ｝ 類似ランキング（認識結果）の集合
ＲＡＮＫ（ｒ，ｉ） 類似ランキングＲで、検索対象画像ｉにおけるランク
Ｈｉｔｃｏｕｎｔ（ｉ） 検索対象画像ｉを含む類似ランキングの数（検索対象画像ｉが検索（認識）された回数）
上述のような確信度の算出方法では、類似ランキングに基づいてより簡単に確信度を算出することができ、処理の高速化を図ることができる。
【０１３２】
さらには、以下の式（３）に基づいて、確信度を算出してもよい。
【０１３３】
［数３］
【０１３４】
上記式において、各符号は以下の意味である。
Ｉ＝｛Ａ，Ｂ，Ｃ・・・｝ 検索対象画像の集合
Ｆ＝｛Ｆ１，Ｆ２，Ｆ３・・・，Ｆｎ｝ オブジェクト認識結果の集合
Ｓ（ｆ，ｉ） ｆ回目の検索における、検索対象画像ｉの撮影画像に対する類似度
Ｈｉｔｃｏｕｎｔ（ｉ） 検索対象画像ｉが検索された回数
上述のような確信度の算出方法を用いる場合でも、１回の検索処理による類似度に基づいた検索結果表示よりも、精度の高い検出結果を表示することができる。
【０１３５】
また、確信度算出手段４３は、結果蓄積部３２に蓄積された過去のオブジェクト認識の認識結果に基づいて、確信度を算出したが、例えば、確信度変化手段は、オブジェクト認識が実施される毎に、その認識結果に基づいた確信度加算値を、検索対象画像に付与されている確信度に加算してもよい。
この場合、記憶手段は、各検索対象画像に対する確信度を記憶し、確信度変化手段は、オブジェクト認識が実施される毎に、記憶されている確信度を更新する。また、確信度加算値としては、例えば類似ランキングの各ランクに対して加算値が設定されていてもよく、類似度に基づいて、加算値を算出してもよい。
【０１３６】
さらに、画像取得手段４１は、自動的に撮影画像を取得する例を示したが、ユーザーのシャッター操作に基づいて、撮影画像を取得する構成としてもよい。また、撮影された動画から、複数のフレーム画像を取得する構成としてもよい。また、複数の撮影画像を一度に取得し、これらの撮影画像に対してそれぞれオブジェクト認識を実施して確信度を算出してもよい。
【０１３７】
上記実施形態では、オブジェクトの撮影画像に対して、検索対象用オブジェクトの画像を有する検索対象画像から、撮影画像に類似する検索対象画像を検索する画像検索装置１、画像検索システム１００を例示したが、これに限定されない。例えば、撮影画像として、撮影対象となるオブジェクトがない、例えば風景等の画像を取得してもよい。
【０１３８】
また、第一実施形態において、表示率が閾値を超えた確信度上位画像５２を認識結果から除外して、表示ランキングを更新する例を示したが、これに限定されない。例えば、結果表示手段４４は、表示率が閾値を超えた確信度上位画像５２の表示ランキングを、段階的に低下させてもよい。また、確信度算出手段４３により表示率が閾値を超えた確信度上位画像５２の確信度を最低値に設定させたり、所定の設定値ずつ段階的に低下させたりして確信度を更新させ、結果表示手段４４は、更新された確信度に基づいて表示部５に表示させる確信度上位画像５２の表示ランキングを更新してもよい。
【０１３９】
第六実施形態において、結果表示手段は、確信度のランキングが変動した確信度上位画像５２に対して、表示サイズを変更して表示する例を示したが、これに限定されない。つまり、結果表示手段は、確信度のランキングの変動が明確に分かるように、確信度上位画像５２を表示できれば、いかなる表示形態を用いてもよい。例えば、結果表示手段は、確信度の変動があった確信度上位画像５２の表示色や明度、解像度等を変えて表示させてもよく、確信度上位画像５２の外周に外枠を表示させ、当該外枠の枠幅寸法や色を確信度のランキングの変動や、確信度の変化量に応じて変化させてもよい。また、確信度上位画像５２上に、算出された確信度の数値を重畳して表示させてもよい。
【０１４０】
さらに、結果表示手段は、確信度のランキングや、確信度の変化量に基づいて、表示形態を変化させたが、例えば、確信度の大きさに比例して、確信度上位画像５２の表示サイズを変更してもよい。この場合でも、確信度の増減を容易に確認することが可能となる。
【０１４１】
その他、本発明の実施の際の具体的な構造および手順は、本発明の目的を達成できる範囲で他の構造などに適宜変更できる。
【産業上の利用可能性】
【０１４２】
本発明は、撮影画像から、当該撮影画像と類似した検索対象画像を検索する画像検索装置、画像検索システム、画像検索方法、及び画像検索プログラム
として利用できる。
【符号の説明】
【０１４３】
１…画像検索装置
５…表示部
３１…画像データベース（画像記憶部）
３２…結果蓄積部
４１…画像取得手段
４２…画像検索手段
４３…確信度算出手段
４４…結果表示手段
４５…画像選択手段
４６…表示率算出手段
１００…画像検索システム
１１０…インターネット（ネットワーク）
２００…端末装置
２２１…撮影画像送信手段
３００…サーバ装置
３２２…検索結果送信手段
【特許請求の範囲】
【請求項１】
撮影画像を取得し、当該撮影画像と類似する検索対象画像を検索する画像検索装置であって、
前記撮影画像を順次取得する画像取得手段と、
前記撮影画像が取得される毎に、前記撮影画像に類似する検索対象画像を検索し、当該検索された検索対象画像と、その類似度とを含む検索結果を取得する画像検索手段と、
前記検索結果を蓄積する結果蓄積部と、
前記結果蓄積部に蓄積された前記検索結果を用いて算出された各検索対象画像の確信度に基づいて、前記確信度が大きい順にランキングして前記検索対象画像を表示させる結果表示手段と、
を具備し、
前記結果表示手段は、前記検索対象画像が表示されてから所定時間が経過するまでの間のユーザーの選択操作の有無に応じて、前記表示された検索対象画像の表示ランキングを更新する
ことを特徴とする画像検索装置。
【請求項２】
請求項１に記載の画像検索装置において、
前記結果表示手段は、前記表示された検索対象画像に対するユーザーの選択操作がなく、かつ所定時間が経過した場合に、当該検索対象画像の表示ランキングを低下させる
ことを特徴とする画像検索装置。
【請求項３】
請求項２に記載の画像検索装置において、
前記結果蓄積部に蓄積された前記検索結果を用いて各検索対象画像の確信度を算出する確信度更新手段を備え、
前記確信度算出手段は、前記表示された検索対象画像に対するユーザーの選択操作がない場合に、当該検索対象画像の確信度を低下させて更新し、
前記結果表示手段は、更新された確信度に基づいて、確信度が大きい順に前記検索対象画像を表示させる
ことを特徴とする画像検索装置。
【請求項４】
請求項２または請求項３に記載の画像検索装置において、
前記結果表示手段は、前記表示された検索対象画像に対するユーザーの選択操作がない場合に、当該検索対象画像を表示から除外する
ことを特徴とする画像検索装置。
【請求項５】
請求項２または請求項３に記載の画像検索装置において、
前記結果表示手段は、前記表示された検索対象画像に対するユーザーの選択操作がない場合に、当該検索対象画像の表示ランキングを段階的に低下させる
ことを特徴とする画像検索装置。
【請求項６】
請求項２から請求項５のいずれかに記載の画像検索装置において、
前記結果表示手段により前記検索対象画像を表示させたトータル時間に対する、各検索対象画像が表示された時間の割合である表示率を算出する表示率算出手段を備え、
前記結果表示手段は、前記表示された検索対象画像に対するユーザーの選択操作がなく、かつ当該検索対象画像の表示率が閾値を超えた場合に、当該検索対象画像の表示ランキングを低下させる
ことを特徴とする画像検索装置。
【請求項７】
請求項２から請求項５のいずれかに記載の画像検索装置において、
前記結果表示手段は、前記表示された検索対象画像に対するユーザーの選択操作がなく、予め設定された判定時間が経過した場合に、当該検索対象画像の表示ランキングを低下させる
ことを特徴とする画像検索装置。
【請求項８】
請求項１から請求項７のいずれかに記載の画像検索装置において、
前記結果表示手段は、前記表示された検索対象画像に対するユーザーの選択操作がなく、前記所定時間以内である場合に、当該検索対象画像の表示ランキングを上昇させる
ことを特徴とする画像検索装置。
【請求項９】
請求項１から請求項８のいずれかに記載の画像検索装置において、
前記結果蓄積部に蓄積された前記検索結果を用いて各検索対象画像の確信度を算出する確信度更新手段を備え、
前記確信度算出手段は、前記撮影画像及び前記検索対象画像の類似度と、前記画像検索手段により検索処理が実施された回数とに基づいて、各検索対象画像の類似度の平均値を算出し、前記検索対象画像の確信度とする
ことを特徴とする画像検索装置。
【請求項１０】
請求項１から請求項９のいずれかに記載の画像検索装置において、
前記結果表示手段は、前記表示された検索対象画像を更新する場合に、当該更新する検索対象画像の表示形態を、他の検索対象画像と異なる表示形態で表示させる
ことを特徴とする画像検索装置。
【請求項１１】
請求項１から請求項１０のいずれかに記載の画像検索装置において、
前記画像取得手段は、オブジェクトが撮影された撮影画像を取得し、
前記画像取得手段は、前記撮影画像のオブジェクトと類似するオブジェクトの画像を有する前記検索対象画像を検索する
ことを特徴とする画像検索装置。
【請求項１２】
撮影画像を取得する端末装置と、前記撮影画像と類似する検索対象画像を検索するサーバ装置と、がネットワークを介してそれぞれ接続された画像検索システムであって、
前記サーバ装置は、
前記検索対象画像を記憶する画像記憶部と、
前記端末装置から送信された前記撮影画像と類似する前記検索対象画像を検索し、当該検索された検索対象画像と、その類似度を含む検索結果を取得する画像検索手段と、
前記検索結果を前記端末装置に送信する検索結果送信手段と、を備え、
前記端末装置は、
前記撮影画像を順次取得する画像取得手段と、
取得した前記撮影画像を順次、前記サーバ装置に送信する撮影画像送信手段と、
前記サーバ装置から送信された前記検索結果を蓄積する結果蓄積部と、
前記結果蓄積部に蓄積された前記検索結果を用いて算出された各検索対象画像の確信度に基づいて、前記確信度が大きい順にランキングして前記検索対象画像を表示させる結果表示手段と、
を備え、
前記結果表示手段は、前記検索対象画像が表示されてから所定時間が経過するまでの間のユーザーの選択操作の有無に応じて、前記表示された検索対象画像の表示ランキングを更新する
ことを特徴とする画像検索システム。
【請求項１３】
撮影画像を取得する端末装置と、前記撮影画像と類似する検索対象画像を検索するサーバ装置と、がネットワークを介してそれぞれ接続された画像検索システムであって、
前記サーバ装置は、
前記検索対象画像を記憶する画像記憶部と、
前記端末装置から送信された前記撮影画像と類似する前記検索対象画像を検索し、当該検索された検索対象画像と、その類似度を含む検索結果を取得する画像検索手段と、
前記検索結果を蓄積する検索結果蓄積部と、
前記検索結果蓄積部に蓄積された検索結果に基づいて、前記画像検索手段により検索された各検索対象画像の確信度を算出する確信度算出手段と、
前記検索対象画像とその確信度とを前記端末装置に送信する検索対象画像送信手段と、を備え、
前記端末装置は、
前記撮影画像を順次取得する画像取得手段と、
取得した複数の前記撮影画像を前記サーバ装置に送信する撮影画像送信手段と、
前記サーバ装置から送信された前記検索対象画像を、前記確信度が大きい順に表示させる結果表示手段と、を備え、
前記結果表示手段は、前記検索対象画像が表示されてから所定時間が経過するまでの間のユーザーの選択操作の有無に応じて、前記表示された検索対象画像の表示ランキングを更新する
ことを特徴とする画像検索システム。
【請求項１４】
コンピュータにより、撮影画像と類似する検索対象画像を検索させる画像検索方法であって、
前記コンピュータは、
前記撮影画像を順次取得する画像取得ステップと、
前記撮影画像が取得される毎に、前記撮影画像に類似する検索対象画像を検索し、当該検索された検索対象画像と、その類似度とを含む検索結果を取得し、結果蓄積部に蓄積する画像検索ステップと、
前記結果蓄積部に蓄積された前記検索結果を用いて算出された各検索対象画像の確信度に基づいて、前記確信度が大きい順にランキングして前記検索対象画像を表示させる結果表示ステップと、
を備え、
前記結果表示ステップは、前記検索対象画像が表示されてから所定時間が経過するまでの間のユーザーの選択操作の有無に応じて、前記表示された検索対象画像の表示ランキングを更新する
ことを特徴とする画像検索方法。
【請求項１５】
撮影画像と類似する検索対象画像を検索させる画像検索プログラムであって、
前記撮影画像を順次取得する画像取得ステップと、
前記撮影画像が取得される毎に、前記撮影画像に類似する検索対象画像を検索し、当該検索された検索対象画像と、その類似度とを含む検索結果を取得し、結果蓄積部に蓄積する画像検索ステップと、
前記結果蓄積部に蓄積された前記検索結果を用いて算出された各検索対象画像の確信度に基づいて、前記確信度が大きい順にランキングして前記検索対象画像を表示させる結果表示ステップと、をコンピュータに実行させ、
前記結果表示ステップは、前記検索対象画像が表示されてから所定時間が経過するまでの間のユーザーの選択操作の有無に応じて、前記表示された検索対象画像の表示ランキングを更新する
ことを特徴とする画像検索プログラム。
【請求項１】
撮影画像を取得し、当該撮影画像と類似する検索対象画像を検索する画像検索装置であって、
前記撮影画像を順次取得する画像取得手段と、
前記撮影画像が取得される毎に、前記撮影画像に類似する検索対象画像を検索し、当該検索された検索対象画像と、その類似度とを含む検索結果を取得する画像検索手段と、
前記検索結果を蓄積する結果蓄積部と、
前記結果蓄積部に蓄積された前記検索結果を用いて算出された各検索対象画像の確信度に基づいて、前記確信度が大きい順にランキングして前記検索対象画像を表示させる結果表示手段と、
を具備し、
前記結果表示手段は、前記検索対象画像が表示されてから所定時間が経過するまでの間のユーザーの選択操作の有無に応じて、前記表示された検索対象画像の表示ランキングを更新する
ことを特徴とする画像検索装置。
【請求項２】
請求項１に記載の画像検索装置において、
前記結果表示手段は、前記表示された検索対象画像に対するユーザーの選択操作がなく、かつ所定時間が経過した場合に、当該検索対象画像の表示ランキングを低下させる
ことを特徴とする画像検索装置。
【請求項３】
請求項２に記載の画像検索装置において、
前記結果蓄積部に蓄積された前記検索結果を用いて各検索対象画像の確信度を算出する確信度更新手段を備え、
前記確信度算出手段は、前記表示された検索対象画像に対するユーザーの選択操作がない場合に、当該検索対象画像の確信度を低下させて更新し、
前記結果表示手段は、更新された確信度に基づいて、確信度が大きい順に前記検索対象画像を表示させる
ことを特徴とする画像検索装置。
【請求項４】
請求項２または請求項３に記載の画像検索装置において、
前記結果表示手段は、前記表示された検索対象画像に対するユーザーの選択操作がない場合に、当該検索対象画像を表示から除外する
ことを特徴とする画像検索装置。
【請求項５】
請求項２または請求項３に記載の画像検索装置において、
前記結果表示手段は、前記表示された検索対象画像に対するユーザーの選択操作がない場合に、当該検索対象画像の表示ランキングを段階的に低下させる
ことを特徴とする画像検索装置。
【請求項６】
請求項２から請求項５のいずれかに記載の画像検索装置において、
前記結果表示手段により前記検索対象画像を表示させたトータル時間に対する、各検索対象画像が表示された時間の割合である表示率を算出する表示率算出手段を備え、
前記結果表示手段は、前記表示された検索対象画像に対するユーザーの選択操作がなく、かつ当該検索対象画像の表示率が閾値を超えた場合に、当該検索対象画像の表示ランキングを低下させる
ことを特徴とする画像検索装置。
【請求項７】
請求項２から請求項５のいずれかに記載の画像検索装置において、
前記結果表示手段は、前記表示された検索対象画像に対するユーザーの選択操作がなく、予め設定された判定時間が経過した場合に、当該検索対象画像の表示ランキングを低下させる
ことを特徴とする画像検索装置。
【請求項８】
請求項１から請求項７のいずれかに記載の画像検索装置において、
前記結果表示手段は、前記表示された検索対象画像に対するユーザーの選択操作がなく、前記所定時間以内である場合に、当該検索対象画像の表示ランキングを上昇させる
ことを特徴とする画像検索装置。
【請求項９】
請求項１から請求項８のいずれかに記載の画像検索装置において、
前記結果蓄積部に蓄積された前記検索結果を用いて各検索対象画像の確信度を算出する確信度更新手段を備え、
前記確信度算出手段は、前記撮影画像及び前記検索対象画像の類似度と、前記画像検索手段により検索処理が実施された回数とに基づいて、各検索対象画像の類似度の平均値を算出し、前記検索対象画像の確信度とする
ことを特徴とする画像検索装置。
【請求項１０】
請求項１から請求項９のいずれかに記載の画像検索装置において、
前記結果表示手段は、前記表示された検索対象画像を更新する場合に、当該更新する検索対象画像の表示形態を、他の検索対象画像と異なる表示形態で表示させる
ことを特徴とする画像検索装置。
【請求項１１】
請求項１から請求項１０のいずれかに記載の画像検索装置において、
前記画像取得手段は、オブジェクトが撮影された撮影画像を取得し、
前記画像取得手段は、前記撮影画像のオブジェクトと類似するオブジェクトの画像を有する前記検索対象画像を検索する
ことを特徴とする画像検索装置。
【請求項１２】
撮影画像を取得する端末装置と、前記撮影画像と類似する検索対象画像を検索するサーバ装置と、がネットワークを介してそれぞれ接続された画像検索システムであって、
前記サーバ装置は、
前記検索対象画像を記憶する画像記憶部と、
前記端末装置から送信された前記撮影画像と類似する前記検索対象画像を検索し、当該検索された検索対象画像と、その類似度を含む検索結果を取得する画像検索手段と、
前記検索結果を前記端末装置に送信する検索結果送信手段と、を備え、
前記端末装置は、
前記撮影画像を順次取得する画像取得手段と、
取得した前記撮影画像を順次、前記サーバ装置に送信する撮影画像送信手段と、
前記サーバ装置から送信された前記検索結果を蓄積する結果蓄積部と、
前記結果蓄積部に蓄積された前記検索結果を用いて算出された各検索対象画像の確信度に基づいて、前記確信度が大きい順にランキングして前記検索対象画像を表示させる結果表示手段と、
を備え、
前記結果表示手段は、前記検索対象画像が表示されてから所定時間が経過するまでの間のユーザーの選択操作の有無に応じて、前記表示された検索対象画像の表示ランキングを更新する
ことを特徴とする画像検索システム。
【請求項１３】
撮影画像を取得する端末装置と、前記撮影画像と類似する検索対象画像を検索するサーバ装置と、がネットワークを介してそれぞれ接続された画像検索システムであって、
前記サーバ装置は、
前記検索対象画像を記憶する画像記憶部と、
前記端末装置から送信された前記撮影画像と類似する前記検索対象画像を検索し、当該検索された検索対象画像と、その類似度を含む検索結果を取得する画像検索手段と、
前記検索結果を蓄積する検索結果蓄積部と、
前記検索結果蓄積部に蓄積された検索結果に基づいて、前記画像検索手段により検索された各検索対象画像の確信度を算出する確信度算出手段と、
前記検索対象画像とその確信度とを前記端末装置に送信する検索対象画像送信手段と、を備え、
前記端末装置は、
前記撮影画像を順次取得する画像取得手段と、
取得した複数の前記撮影画像を前記サーバ装置に送信する撮影画像送信手段と、
前記サーバ装置から送信された前記検索対象画像を、前記確信度が大きい順に表示させる結果表示手段と、を備え、
前記結果表示手段は、前記検索対象画像が表示されてから所定時間が経過するまでの間のユーザーの選択操作の有無に応じて、前記表示された検索対象画像の表示ランキングを更新する
ことを特徴とする画像検索システム。
【請求項１４】
コンピュータにより、撮影画像と類似する検索対象画像を検索させる画像検索方法であって、
前記コンピュータは、
前記撮影画像を順次取得する画像取得ステップと、
前記撮影画像が取得される毎に、前記撮影画像に類似する検索対象画像を検索し、当該検索された検索対象画像と、その類似度とを含む検索結果を取得し、結果蓄積部に蓄積する画像検索ステップと、
前記結果蓄積部に蓄積された前記検索結果を用いて算出された各検索対象画像の確信度に基づいて、前記確信度が大きい順にランキングして前記検索対象画像を表示させる結果表示ステップと、
を備え、
前記結果表示ステップは、前記検索対象画像が表示されてから所定時間が経過するまでの間のユーザーの選択操作の有無に応じて、前記表示された検索対象画像の表示ランキングを更新する
ことを特徴とする画像検索方法。
【請求項１５】
撮影画像と類似する検索対象画像を検索させる画像検索プログラムであって、
前記撮影画像を順次取得する画像取得ステップと、
前記撮影画像が取得される毎に、前記撮影画像に類似する検索対象画像を検索し、当該検索された検索対象画像と、その類似度とを含む検索結果を取得し、結果蓄積部に蓄積する画像検索ステップと、
前記結果蓄積部に蓄積された前記検索結果を用いて算出された各検索対象画像の確信度に基づいて、前記確信度が大きい順にランキングして前記検索対象画像を表示させる結果表示ステップと、をコンピュータに実行させ、
前記結果表示ステップは、前記検索対象画像が表示されてから所定時間が経過するまでの間のユーザーの選択操作の有無に応じて、前記表示された検索対象画像の表示ランキングを更新する
ことを特徴とする画像検索プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１３−１５９０２（Ｐ２０１３−１５９０２Ａ）
【公開日】平成２５年１月２４日（２０１３．１．２４）
【国際特許分類】
【出願番号】特願２０１１−１４６４８０（Ｐ２０１１−１４６４８０）
【出願日】平成２３年６月３０日（２０１１．６．３０）
【出願人】（５００２５７３００）ヤフー株式会社 (1,128)
【Ｆターム（参考）】
【公開日】平成２５年１月２４日（２０１３．１．２４）
【国際特許分類】
【出願日】平成２３年６月３０日（２０１１．６．３０）
【出願人】（５００２５７３００）ヤフー株式会社 (1,128)
【Ｆターム（参考）】
[ Back to top ]