画像検索システム及び画像検索プログラム
【課題】光相関演算と計算機による相関演算とによって、検索画像情報と相関の高い画像情報を速く正確に検索する。
【解決手段】複数の画像情報から検索画像情報に類似する画像情報を検索する画像検索システムであって、情報処理装置１と、複数の画像情報に基づいて形成された複数のホログラムが記録されたホログラフィック記録媒体２０と、ホログラフィック記録媒体２０を含む光相関演算装置２と、複数の画像情報が記憶された記憶装置６と、を有し、情報処理装置１は、光相関演算装置２において、ホログラフィック記録媒体２０に記録された複数の画像情報と検索画像情報とを光相関演算させて２次検索候補を特定し、記憶装置６に記憶された複数の画像情報の中から、２次検索候補に対応する画像情報について検索画像情報と相関演算させて検索結果を取得する。
【解決手段】複数の画像情報から検索画像情報に類似する画像情報を検索する画像検索システムであって、情報処理装置１と、複数の画像情報に基づいて形成された複数のホログラムが記録されたホログラフィック記録媒体２０と、ホログラフィック記録媒体２０を含む光相関演算装置２と、複数の画像情報が記憶された記憶装置６と、を有し、情報処理装置１は、光相関演算装置２において、ホログラフィック記録媒体２０に記録された複数の画像情報と検索画像情報とを光相関演算させて２次検索候補を特定し、記憶装置６に記憶された複数の画像情報の中から、２次検索候補に対応する画像情報について検索画像情報と相関演算させて検索結果を取得する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データベースに格納された複数の画像情報から検索したい画像情報に類似する画像情報を検索する画像検索の技術に関し、特に、ホログラフィを利用した光相関演算と、計算機による相関演算とを利用して、画像情報を検索する技術に関する。
【背景技術】
【０００２】
光軸の同軸上で情報光と参照光とを干渉させて体積型（厚い）ホログラムを記録するコリニア方式のホログラフィックメモリが提案されている（例えば、特許文献１参照）。ホログラムの干渉縞の間隔に比べて記録層の膜厚が大きい体積型ホログラムを利用すると、記録容量及び記録密度を大きくすることができる。コリニア方式の光情報記録再生装置では、空間光変調器によって空間的に変調された情報光と参照光とが同軸上に配置され、情報光と参照光とが記録媒体に照射される。ホログラフィック記録媒体に照射された情報光と参照光との干渉によって、記録媒体のホログラム記録層内の感光性材料に光反応が生じると、ホログラム記録層にホログラムが定着する。
【０００３】
コリニア方式のホログラフィックメモリでは、ディスク状のホログラフィック記録媒体を回転させながら情報を記録再生するので、既存の光ディスク技術（ＤＶＤ、ＣＤ等）との親和性が高く、光学系を簡易かつ小型化することができる。また、ホログラフィックメモリでは、既存のＤＶＤ及びＣＤに類似したアドレス方式、サーボ技術等を利用することによって、厳密な位置合わせが実現可能である。よって、ホログラフィックメモリは次世代の記録媒体として期待されている。
【０００４】
さらに、体積型ホログラムを利用し、光相関演算によって顔の画像情報を検索することが提案されている（例えば、非特許文献１参照）。非特許文献１に記載された技術では、ホログラムの書き込み時（記録時）には、空間光変調器の１画素をオン状態として参照光とし、その付近に顔の画像情報を表示して情報光とし、それらの光を対物レンズによってフーリエ変換し、記録媒体中で重ね合わせて干渉させることによって、ホログラフィックメモリにホログラムを記録する。また、光相関演算時には、記録時と同じ位置に、検索したい顔の画像情報を表示し、ホログラムから再生された光を検出する。ホログラムとして記録された顔の画像情報と検索したい顔の画像情報とが同一又は類似していると、ホログラムからは記録時の参照光に相当する光（再生光）が再生される。再生光の強度は、記録された顔の画像情報と検索したい顔の画像情報との類似度が高いほど強いので、ホログラムから再生された再生光の強度を相関値として利用することができる。
【０００５】
また、従来から、計算機による相関演算を用い、検索したい画像情報とデータベースに記録された画像情報との相互相関係数等を演算し、画像情報を検索する検索する技術が知られている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第３４０３０６８号公報
【非特許文献】
【０００７】
【非特許文献１】「全光型超高速光相関による画像検索エンジン」 Ｏｐｔｉｃｓ Ｊａｐａｎ ２００５ 講演予稿集 ｐｐ２６０−２６１、２００５年 渡邉恵理子他
【発明の概要】
【発明が解決しようとする課題】
【０００８】
前述した非特許文献１に記載された光相関演算を用いた技術によると、光ディスク技術を利用することによって、従来の計算機による相関演算によって画像情報を検索する技術よりも、速い検索速度を実現することが可能である。しかしながら、ホログラムを用いた光相関演算は、ホログラフィック媒体、光学系、サーボ系及び条件のばらつきによって、ホログラムとして記録された画像情報と検索したい画像情報（以下、「検索画像情報」という。）との相関値が理論値と異なるという問題がある。ホログラフィック媒体、光学系、サーボ系及び条件のばらつきとは、具体的には、ホログラフィック記録媒体の感度、Ｍ／＃（ダイナミックレンジ）に起因するばらつき、ホログラフィック記録媒体（ディスク）の反り、厚み、面ぶれ、偏心、反射率、経年劣化及び汚れ等に起因するばらつき、光学系の光量、感度、収差等に起因するばらつき、サーボ系の特性、位置ずれ、振動等に起因するばらつき、記録時と再生時（検索時）との温度、湿度等の条件に起因するばらつき等である。これらのばらつきは光相関演算に誤差を与えることがあるので、光相関演算によって演算された相関値(演算値)は理論値から外れることがある。
【０００９】
図６（Ａ）は、ホログラフィを利用した光相関演算において、ホログラムとして記録された各画像情報（顔画像情報）と検索画像情報との相関値の関係を説明する図である。図６（Ａ）では、横軸に相関値の理論値を示し、縦軸に実際の相関値の演算値と理論値との比を示した。例えば、ある検索画像情報を選択し、選択された検索画像情報とホログラムとして記録された各画像情報との類似度を示す相関値を光相関演算によって演算した場合、前述した各種の「ばらつき」によって、演算値は理論値から何％か外れることがある。図６（Ａ）における丸のグラフは、理想状態における演算値を示すものであるが、実際には、例えば、±１０％の誤差を含んでいる場合、各画像情報に対する相関値は、最大で四角のグラフまで、最小で三角のグラフまで変動する可能性がある。
【００１０】
そして、例えば、検索画像情報に一致する画像情報を検出するための閾値を低く設定した場合、光相関演算によって演算された相関値（演算値）が＋１０％の誤差を含むと、検索画像情報には一致しない複数の画像情報が検出されることがある。一方、閾値を高く設定した場合、相関値（演算値）が−１０％の誤差を含むと、検索画像情報と一致するはずの自己相関の画像情報ですら検出されないことがある。さらに、これらの誤差がランダムに生じることで、理論値では、より相関値が高いはずの画像情報が、実際の相関値では低くなることもあるため、検索の信頼性が低下してしまう。このように、光相関を用いた画像検索では、従来の計算機による相関演算を用いた画像検索に比べて、検索速度は高速であるが、光相関の演算値が誤差を含むので、設定する閾値によっては、検索画像情報に類似する複数の画像情報が検索結果として検出される、又は、類似する画像情報が検索結果として検出されないという問題がある。
【００１１】
一方、従来の計算機による相関演算を用いた画像検索では、計算機の処理装置、記憶装置（ハードディスク装置、ストレージシステム等）には演算値に誤差を与える要因が少ないので、演算値は理論値とほぼ同じであり、誤差をほとんど含まない。
【００１２】
図６（Ｂ）は、従来の計算機による相関演算において、記憶装置に格納された各画像情報（顔画像情報）と検索画像情報との相関値を示す説明図である。図６（Ｂ）では、横軸に相関値の理論値を示し、縦軸に実際の相関値の演算値と理論値との比を示した。このように、計算機による相関演算によれば、所定の閾値によって、複数の検索結果が検出されることなく、検索画像情報と一致する画像情報を検出することができる。ただし、従来の計算機による相関演算を用いた画像検索は、光相関演算を用いた画像検索に比べて検索速度が遅いという問題がある。
【００１３】
例えば、１Ｇｂｐｓにてデータ転送が可能な記憶装置を利用して、深さ１ビット（白黒）、６４０×４８０ｐｉｘｅｌの検索画像情報と、記憶装置に格納された深さ１ビット（白黒）、６４０ｘ４８０ｐｉｘｅｌの各画像情報とを相関演算を行う場合、一画像の相関演算に６４０×４８０＝３０７，２００ビットのデータを転送する必要があるため、１Ｇｂｐｓの転送速度からすると、データ転送とほぼ同時に相関演算を計算できたとしても、３２５５画像／ｓの検索速度が最大である。これに対し、非特許文献１によれば、光相関演算の場合、約１〜１０μｓの速度で演算の実現が可能であると記載されており、これは、１０万〜１００万画像／ｓの検索速度に相当するので、計算機による相関演算と比べて２〜３桁高速な相関演算が可能である。
【００１４】
本発明は、前述した問題に鑑みてなされたものであって、複数の画像情報から、検索画像情報と相関の高い画像情報をデータベースから速く正確に検索する画像検索システム及び画像検索プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１５】
前述した課題を解決するため、本発明の画像検索システムは、複数の画像情報から検索画像情報に類似する画像情報を検索する画像検索システムであって、情報処理装置と、前記複数の画像情報に基づいて形成された複数のホログラムが記録されたホログラフィック記録媒体と、前記ホログラフィック記録媒体を含む光相関演算装置と、前記複数の画像情報が記憶された記憶装置と、を有し、前記情報処理装置と前記記憶装置とは直接又はネットワークを介して接続され、前記情報処理装置と前記光相関演算装置とは直接又はネットワークを介して接続され、前記情報処理装置は、前記光相関演算装置において、前記ホログラフィック記録媒体に記録された前記複数の画像情報と前記検索画像情報とを光相関演算させて２次検索候補を特定し、前記記憶装置に記憶された前記複数の画像情報の中から、前記２次検索候補に対応する画像情報について前記検索画像情報と相関演算させて検索結果を取得することを特徴とする。
【００１６】
さらに、上記画像検索システムにおいて、前記情報処理装置は、前記光相関演算によって、前記ホログラフィック記録媒体に記録された前記複数の画像情報と前記検索画像情報との類似度を表す第１相関値を検出し、前記検出された第１相関値を第１閾値と比較して、前記第１閾値よりも大きい前記画像情報を前記２次検索候補とし、前記相関演算によって、前記記憶装置に記憶された前記複数の画像情報と前記検索画像情報との類似度を表す第２相関値を検出し、前記検出された第２相関値に基づいて、前記検索結果を取得することが好ましい。この場合、前記情報処理装置は、前記検出された第２相関値を第２閾値と比較して、前記第２閾値よりも大きい前記画像情報を前記検索結果としてもよいし、前記検出された第２相関値が最も大きい画像情報を前記検索結果としてもよい。
【００１７】
さらに、上記画像検索システムにおいて、前記情報処理装置は、前記２次検索候補を一つ特定するたびに、前記第２相関値を検出してもよい。
【００１８】
さらに、上記画像検索システムにおいて、前記情報処理装置は、前記ホログラフィック記録媒体に記録された前記複数の画像情報のアドレス情報と、前記記憶装置に記憶された前記複数の画像情報のアドレス情報とが関連付けられた情報を参照して、前記記憶装置に記憶された前記複数の画像情報の中から前記２次検索候補に対応する画像情報を抽出してもよい。
【００１９】
さらに、上記画像検索システムにおいて、前記光相関演算装置は、前記検索画像情報から生成された二次元パターン情報を空間的に光変調することによって検索光を生成する空間光変調器を備え、前記生成された検索光を前記ホログラフィック記録媒体に照射することによって、前記ホログラフィック記録媒体に記録された前記複数のホログラムから再生光を再生し、前記再生された再生光の光強度に基づいて、前記２次検索候補を特定してもよい。この場合、前記情報処理装置は、前記検索画像情報を前処理し、前処理された検索画像情報から前記二次元パターン情報を生成してもよい。
【００２０】
また、本発明の画像検索プログラムは、複数の画像情報から検索画像情報に類似する画像情報を検索する画像検索システムにおいて実行される画像検索プログラムであって、前記画像検索システムは、情報処理装置と、前記複数の画像情報に基づいて形成された複数のホログラムが記録されたホログラフィック記録媒体と、前記ホログラフィック記録媒体を含む光相関演算装置と、前記複数の画像情報が記憶された記憶装置と、を有し、前記画像検索プログラムは、前記情報処理装置に、前記光相関演算装置を制御して前記ホログラフィック記録媒体に記録された前記複数の画像情報と前記検索画像情報とを光相関演算させて、前記複数の画像情報と前記検索画像情報との類似度を表す第１相関値を検出する第１手順と、前記検出された第１相関値を第１閾値と比較して、前記第１閾値よりも大きい前記画像情報を前記２次検索候補とする第２手順と、前記記憶装置に記憶された前記複数の画像情報の中から、前記２次検索候補に対応する画像情報について前記検索画像情報と相関演算させて、前記２次検索候補に対応する画像情報と前記検索画像情報との類似度を表す第２相関値を検出する第３手順と、前記検出された第２相関値に基づいて検索結果を取得する第４手順と、を実行させることを特徴とする。
【００２１】
さらに、上記画像検索プログラムにおいて、前記第４手順は、前記検出された第２相関値を第２閾値と比較して、前記第２閾値よりも大きい前記画像情報を検索結果とする手順を含んでいてもよいし、前記検出された第２相関値が最も大きい画像情報を前記検索結果とする手順を含んでいてもよい。
【００２２】
さらに、上記画像検索プログラムにおいて、前記第３手順は、前記第２手順において、前記２次検索候補を一つ特定するたびに、前記第２相関値を検出する手順を含んでいてもよい。
【００２３】
さらに、上記画像検索プログラムにおいて、前記第３手順は、前記２次検索候補が特定されると、前記ホログラフィック記録媒体に記録された前記複数の画像情報のアドレス情報と、前記記憶装置に記憶された前記複数の画像情報のアドレス情報とが関連付けられた情報に基づいて、前記記憶装置に記憶された前記複数の画像情報の中から前記２次検索候補に対応する画像情報を抽出する手順を含んでいてもよい。
【発明の効果】
【００２４】
本発明によれば、ホログラフィック記録媒体に記録された複数の画像情報と検索画像情報とを光相関演算させて複数の画像情報から２次検索候補を特定し、記憶装置に記憶された複数の画像情報の中から、２次検索候補に対応する画像情報について検索画像情報と相関演算させて検索結果を取得するので、高速検索が可能な光相関演算によって複数の画像情報から２次検索候補を特定し、選別された２次検索候補に対応する画像情報については、検索速度は遅いが正確な計算機による相関演算によって検索するため、検索速度を向上させることができる。その他の効果については、発明を実施するための形態において述べる。
【図面の簡単な説明】
【００２５】
【図１】本発明の画像検索システムの構成の例を示す概略構成図
【図２】アドレス情報テーブルの例を示す説明図
【図３】光相関演算装置の構成の例を示す概略構成図
【図４】（Ａ）及び（Ｂ）、（Ｃ）及び（Ｄ）は、それぞれ、ホログラム記録時の空間光変調器４３における表示面及び動作、検索時の空間光変調器４３における表示面及び動作
【図５】画像検索システムの検索処理を示すフローチャート
【図６】（Ａ）、（Ｂ）は、それぞれ、ホログラフィを利用した光相関演算による相関値、従来の計算機による相関演算による相関値を示す説明図
【発明を実施するための形態】
【００２６】
以下、本発明の実施形態について図面を参照して説明する。なお、本発明は、以下の例に限定されるものではない。
【００２７】
図１は、本発明の画像検索システムの構成の例を示す概略構成図である。画像検索システムは、ホログラフィを利用した光相関演算によって、複数の画像情報から検索画像情報に類似するいくつかの画像情報を２次検索候補として特定し、さらに、従来の計算機による相関演算によって、特定された２次検索候補のうち検索画像情報に一致又は類似する画像情報を検索結果に特定するシステムである。以下、ホログラフィを利用した光相関演算を「光相関演算」といい、従来の計算機による相関演算を単に「相関演算」という。さらに、光相関演算による画像検索を「第１検索」といい、相関演算による画像検索を「第２検索」という。また、本明細書において「画像情報」とは、例えば、顔画像、人物画像、指紋、虹彩、手のひら静脈等のデジタルデータが含まれるが、写真や絵だけではなく、二次元に展開されたデジタル情報、例えば二次元バーコード等も含む。画像情報の画像形式は、特に制限はなく、例えば、ＪＰＥＧ、ＰＮＧ、ＧＩＦ、ＢＭＰ、ＴＩＦＦ形式等を使用することができる。また、画像情報は、後述する第１データベース７０及び第２データベース８０に格納される際に、前処理等が施されることもあるが、これらの前処理が施されたものも含む。なお、前処理が施される前の画像情報を以下「原画像情報」という。
【００２８】
本発明の画像検索システムは、例えば、情報処理装置１、光相関演算装置２、記憶装置６を備える。情報処理装置１と光相関演算装置２とは、直接又はネットワーク１００を介して相互に接続される。また、情報処理装置１と記憶装置６とは、直接又はネットワーク１００を介して相互に接続される。なお、ネットワーク１００とは、例えば、ＬＡＮ、ＷＡＮ、ＩＰネットワーク等である。また、ここでは、情報処理装置１は、直接又はネットワーク１００を介して光相関演算装置２及び記憶装置６に接続されると説明したが、情報処理装置１が光相関演算装置２又は記憶装置６（例えば、ハードディスク装置）を備える構成であってもよい。
【００２９】
情報処理装置１は、少なくとも第１検索処理及び第２検索処理を実行する装置であり、さらに好ましくは、記憶装置６への複数の画像情報の記録処理、光相関演算装置２におけるホログラムの記録処理等を実行してもよい。情報処理装置１は、例えば、ＣＰＵ４、メモリ１０及びインターフェース５を備える。各部は内部バスで接続される。また、情報処理装置１は、インターフェース５によって、ネットワーク１００に接続される。情報処理装置１は、図示しない入出力装置を備えてもよい。なお、入出力装置とは、例えば、ディスプレイ、キーボード及びマウス等である。情報処理装置１には、例えば、コンピュータ（サーバ、パーソナルコンピュータ等）を使用することができる。情報処理装置１は、ネットワーク１００を介して接続された端末９０に画像検索サービスを提供してもよい。
【００３０】
光相関演算装置２は、光学系４０及びホログラフィック記録媒体２０を備え、情報処理装置１の制御に基づいて、ホログラフィック記録媒体２０にホログラムとして記録された複数の画像情報と検索画像情報との類似を示す相関値を演算する装置である。さらに、光相関演算装置２は、情報処理装置１の制御に基づいて、複数の画像情報を複数のホログラムとして記録してもよい。光学系４０は、情報処理装置１の制御に基づいて、情報光及び参照光をホログラフィック記録媒体２０に照射し、画像情報をホログラムとしてホログラフィック記録媒体２０に記録する。また、検索光をホログラムに照射し、ホログラムから再生光を再生し、再生された再生光を検出することができる。再生光の光強度に基づいて、相関値が演算される（以下、光相関演算によって演算した相関値を「第１相関値」という。）。ホログラフィック記録媒体２０は、ホログラムを記録する媒体であり、カード状、ディスク状のものが好ましい。ホログラフィック記録媒体２０にホログラムとして記録された複数の画像情報は、第１データベース７０を構成する。以下、ホログラフィック記録媒体２０に記録されているホログラムを第１データベース７０に格納された画像情報ということもある。光相関演算装置２（光学系４０及びホログラフィック記録媒体２０）の詳細な構成については、図３を用いて後述する。なお、図１においては、１台の光相関演算装置２しか図示されていないが、複数の光相関演算装置２が備えられてもよいし、１台の光相関演算装置２に複数のホログラフィック記録媒体２０が備えられていてもよい。この場合、情報処理装置１は、複数のホログラフィック記録媒体２０に構成された第１データベース７０を並列的に検索することができる。
【００３１】
記憶装置６は、複数の画像情報を格納する第２データベース８０を構成しており、ハードディスク装置、半導体メモリ、ストレージシステム等から構成される。さらに、記憶装置６には、後述する図２に示すアドレス情報テーブル２００の全部又は一部が記憶されていてもよい。なお、アドレス情報テーブル２００の全部又は一部は、ホログラフィック記録媒体２０又はメモリ１０に記憶されていてもよい。
【００３２】
端末９０は、ネットワーク１００に接続された端末装置であり、第１データベース７０及び第２データベース８０に記憶される原画像情報の入力、第１データベース７０及び第２データベース８０において検索される検索画像情報の入力又は検索結果の出力等を実行させることができる。端末９０は、図示しない入出力装置を備えてもよい。入出力装置とは、例えば、ディスプレイ、キーボード及びマウス等である。端末９０として、例えば、パーソナルコンピュータ、携帯電話、携帯情報端末（ＰＤＡ）、携帯ゲーム機、家庭用ゲーム機、業務用ゲーム機、監視カメラシステム等を使用することができる。また、端末９０は、情報処理装置１の処理の一部を実行してもよい。検索者は、これらの入出力装置によって、端末９０を通じて情報処理装置１に実行させる処理を指示し、また、情報処理装置１が処理した結果を閲覧することができる。なお、図１では、１台の端末９０が図示されているが、図示された台数以上の端末９０がネットワーク１００に接続されてもよい。
【００３３】
また、図１では、情報処理装置１と光相関演算装置２と端末９０とがネットワーク１００を経由して接続するシステムとして構成したが、利用の形態に応じて、例えば、情報処理装置１と光相関演算装置２とを一つの装置として構成してもよいし、情報処理装置１と端末９０とを一つの装置として構成してもよい。また、端末９０を含まない構成にしてもよい。
【００３４】
情報処理装置１が備えるＣＰＵ４は、各種処理を実行するプロセッサである。また、情報処理装置１が記憶装置６を備える場合、記憶装置６は、図示しない各種プログラム及び各種データを格納する。ＣＰＵ４は、記憶装置６に格納された各種プログラムをメモリ１０に格納し、メモリ１０に格納された各種プログラムを実行することによって、ホログラム記録処理部１１、第１検索処理部１２及び第２検索処理部１３の処理を実現する。
【００３５】
ホログラム記録処理部１１は、光相関演算装置２を制御し、画像情報に基づいて形成されたホログラムをホログラフィック記録媒体２０に記録する。なお、ホログラム記録処理部１１の処理については、図３及び図４を用いて後述する。
【００３６】
第１検索処理部１２は、光相関演算装置２を制御し、第１データベース７０を利用した光相関演算及び第１検索処理を実行する。光相関演算において、第１検索処理部１２は、ホログラフィック記録媒体２０に記録されたホログラムからの再生光の強度を検出し、検索画像情報とホログラムとして記録された画像情報との類似を示す第１相関値を演算する。また、第１検索において、第１検索処理部１２は、第１相関値に基づいて、検索画像情報に類似する画像情報を取得し、取得した画像情報を２次検索候補に特定する。ここで、２次検索候補とは、第２検索処理部１３が実行する第２検索の対象となる画像情報である。また、第１検索処理部１２は、特定された２次画像候補を第２検索処理部１３に出力する。なお、第１検索処理部１２が実行する光相関演算及び第１検索については、図３から図５を用いて後述する。
【００３７】
第２検索処理部１３は、第２データベース８０を利用した相関演算及び第２検索処理を実行する。相関演算において、第２検索処理部１３は、２次検索候補を取得すると、例えば、アドレス情報テーブル２００を参照し、２次検索候補に対応する第２データベース８０のアドレス情報を特定し、第２データベース８０から２次検索候補の画像情報を取得し、取得した画像情報と検索画像情報との類似度を示す相関値を演算する。以下、相関演算によって演算した相関値を「第２相関値」という。また、第２検索において、第２検索処理部１３は、第２相関値に基づいて、検索画像情報に一致する画像情報又は類似する少なくとも一つ以上の画像情報を検索する。なお、第２検索処理部１３が実行する相関演算及び第２検索については、図５を用いて後述する。
【００３８】
図２は、アドレス情報テーブル２００を示す説明図である。アドレス情報テーブル２００は、記憶装置６、ホログラフィック記録媒体２０又はメモリ１０に記憶されていることが好ましく、複数の原画像情報と、第１データベース７０に記憶された複数の画像情報と、第２データベース８０に記憶された複数の画像情報とをそれぞれ関連付けるものである。図２において、アドレス情報テーブル２００は、画像ＩＤ２０１、第１データベースのアドレス情報２０２、第２データベースのアドレス情報２０３を含む。また、そのほかに、サムネイル２０４、キーワード２０５等を含んでもよい。なお、アドレス情報テーブル２００は、原画像情報と、第１データベース７０に記憶された複数の画像情報と、第２データベース８０に記憶された複数の画像情報との対応関係を識別可能であれば足りる。例えば、原画像情報がそのまま第１データベース７０又は第２データベースに記録されていれば、第１データベース７０のアドレス情報２０２と、第２データベースのアドレス情報２０３との対応が特定できればよい。また、アドレス情報テーブル２００は、図２に示すようなテーブル（表）の形式に限定されるものではない。
【００３９】
画像ＩＤ２０１は、原画像情報、及び当該原画像情報に対応する第１データベース７０及び第２データベース８０に格納された画像情報を一意に識別する識別情報である。画像ＩＤ２０１は、原画像情報を取得する毎に個別の情報が付与されるものであり、例えば、記録する順番に付与される連続する画像ナンバーでもよいし、各原画像情報のデータ名であってもよい。
【００４０】
第１データベースのアドレス情報２０２は、第１データベース７０に格納された画像情報（言い換えると、ホログラフィック記録媒体２０に記録されたホログラム）のアドレスを示す情報である。ホログラム記録処理部１１は、光相関演算装置２を制御し、原画像情報に基づいてホログラムを記録すると、記録されたホログラムのアドレス情報を取得し、取得したアドレス情報をアドレス情報テーブル２００の当該原画像情報の画像ＩＤ欄に記録する。これによって、画像情報の識別情報と第１データベース７０に格納された画像情報のアドレス情報（言い換えると、ホログラムの記録位置）とが対応付けられる。原画像情報に基づくホログラムの記録方法については後述する。
【００４１】
第２データベースのアドレス情報２０３は、第２データベース８０に格納された画像情報のアドレスを示す情報である。原画像情報に基づく画像情報を第２データベース８０に格納する際に、そのアドレスをアドレス情報テーブル２００の当該原画像情報の画像ＩＤ欄に記録する。これによって、画像情報の識別情報と第２データベース８０に格納された画像情報のアドレス情報とが対応付けられる。これらの結果、第１データベースのアドレス情報２０２と第２データベースのアドレス情報２０３とが対応付けられる。なお、第２データベース８０には、原画像情報と同じものを記録してもよいし、第１データベース７０に格納された画像情報と同じもの（例えば前処理された画像情報）を記録してもよいし、あるいは原画像情報に第１データベース７０に格納された画像情報とは異なる前処理を施した画像情報を記録していてもよい。
【００４２】
サムネイル２０４は、原画像情報又は第２データベース８０に記録された画像情報（例えば、ＪＰＥＧ形式）を縮小したものである。サムネイル２０４は、検索結果として画像情報の画像ＩＤ、第１データベースのアドレス情報２０２又は第２データベースのアドレス情報２０３アドレス情報とともに情報処理装置１又は端末９０に出力（表示）させてもよい。
【００４３】
キーワード２０５は、格納された画像情報に関連付けられた検索用のキーワードである。例えば、検索者によって検索画像情報とともにキーワードが入力された場合に、第２検索候補から当該キーワードに該当しないものを除くことにより、第２検索を効率的に行うことが可能である。
【００４４】
また、アドレス情報テーブル２００の項目には、これらのほか、例えば、画像情報の撮影日時、撮影場所等を含んでもよい。さらに、第２検索の相関演算において使用される画像情報の特徴量（例えば、色、テクスチャー、形状等に基づく多次元ベクトル）について、第２データベース８０に格納された各画像情報の特徴量を予め計算しておき、特徴量をアドレス情報テーブル２００に格納することで、第２検索の速度を向上させてもよい。
【００４５】
図３は、光相関演算装置２の構成の例を示す概略構成図である。光相関演算装置２は、ホログラフィック記録媒体２０及び光学系４０を備えており、さらに情報処理装置１の一部の機能を実行する情報処理装置３０を備えてもよい。情報処理装置３０は、情報処理装置１の各処理部が実行する処理のうち、例えば、ホログラム記録処理部１１及び第１検索処理部１２の処理を実行してもよい。また、複数の光学系４０と複数のホログラフィック記録媒体２０とを備えた画像検索システムを構築する場合、一台の情報処理装置３０がこれらを制御し、複数のホログラフィック記録媒体２０を並列的に検索してもよい。また、情報処理装置３０は、情報処理装置１から又はネットワーク１００を介して接続された端末９０から、動画情報を取得し、取得した動画情報から静止画の画像情報を抽出し、抽出さされた静止画の画像情報を検索画像に用いてもよい
以下、まず、ホログラフィック記録媒体２０の構成について説明する。ホログラフィック記録媒体２０は、表面保護層２２と反射層２３との間に感光材料を含有するホログラム記録層２１を挟み込んだ反射型の記録媒体である。ホログラム記録層２１は、情報光と参照光とを干渉させて形成されたホログラム２４を記録する。ホログラム記録層２１の厚さをホログラムの干渉縞の間隔に比べて大きく設計し、ホログラムをホログラム記録層２１の厚み方向に立体的に記録することによって、画像情報を体積型のホログラム（厚いホログラムともいう）として記録することができる。
【００４６】
また、ホログラフィック記録媒体２０は、アドレス層を備えるのが好ましい。アドレス層は、ホログラム２４の位置を特定する「アドレス情報」及び／又は位置合わせ（サーボ）をする「サーボ情報」を記録する。以下、アドレス情報とサーボ情報とを合わせて単に「アドレス情報」という。例えば、アドレス層として反射層２３を利用した場合、反射層２３の表面に設けられた凹凸形状のピットを形成し、このピットをアドレス情報としてもよい。表面保護層２２には、例えば、ガラス基板、プラスチック基板、有機樹脂コーティング膜を利用することができる。この表面保護層２２によって、温度変化等による収縮等を抑えることができる。反射層２３には、アルミニウム等の金属材料を利用することができる。
【００４７】
なお、ホログラフィック記録媒体２０は、図示しない記録媒体保持機構によって保持されている。記録媒体保持機構は、回転駆動装置を備え、ホログラフィック記録媒体２０を回転可能に構成するのが好ましい。さらに、位置合わせ（サーボ）のため、ホログラフィック記録媒体２０と光学系４０とは、相対的に移動可能に構成されるのが好ましい。具体的には、記録媒体保持機構は、駆動装置を備え、駆動装置によって、ホログラフィック記録媒体２０をＸ軸、Ｙ軸又はＺ軸方向に移動させる。ここで、Ｘ軸方向は、光軸に対して垂直な任意の方向である。Ｙ軸方向は、光軸及びＸ軸方向に対して垂直な方向である。Ｚ軸方向は、光軸と平行な方向である。なお、ホログラフィック記録媒体２０を移動させるのではなく、光学系４０を移動させることによって、位置合わせ（サーボ）してもよい。
【００４８】
記録速度及び検索速度を高めるためには、ホログラフィック記録媒体２０を回転させながら記録及び検索することが好ましい。特に、迅速性が求められる検索時においては、ホログラフィック記録媒体２０を回転させながら検索することが好ましい。画像情報（ホログラム）の記録処理は、画像情報が逐次追加される可能性はあるが、データベース（ホログラフィック記録媒体２０）の情報量を上限とする有限な処理である。これに対し、画像情報の検索では、検索対象が入力された後、できるだけ早くデータベース内に検索画像情報に一致する画像情報が存在するか否かを判定しなければならない。しかも、例えば、顔認証、指紋認証等のバイオメトリクス認証を利用した管理システムでは、本人確認のために、同じ検索画像情報を何度も検索する必要があり、検索が無限に実行されることがある。
【００４９】
このため、検索においてはより迅速性が求められる。この場合、ホログラフィック記録媒体２０の形状としては、円盤状とすることが好ましいが、その他の形状、例えば矩形のカード状として回転させる構成であってもよい。さらに、ホログラフィック記録媒体２０を回転させつつ、光学系４０又はホログラフィック記録媒体２０を半径方向に移動させてトラッキングサーボを行うことができる。
【００５０】
次に、光学系４０について説明する。光学系４０は、例えば、ホログラム用光源４１、ミラー４２、空間光変調器４３、偏光ビームスプリッタ４４、第１リレーレンズ４５、ミラー４６、第２リレーレンズ４７、ビームスプリッタ４８、四分の一波長板４９、対物レンズ５０、アパーチャー５１、集光レンズ５２、再生光検出器５３を備える。さらに、アドレス用レーザー６０、ビームスプリッタ６１、ミラー６２及びアドレス光検出器６３を備えるのが好ましい。なお、図３において、記録時の情報光及び参照光の光路並びに検索時の検索光の光路は点線で、検索時の再生光の光路は一点鎖線で、アドレス光の光路は二点鎖線で示されている。
【００５１】
ホログラム用光源４１は、ホログラムを記録するための情報光及び参照光の光源、又は、画像情報を検索するための検索光の光源である。ホログラム用光源４１には、例えば、断続的にレーザー光を出す高出力のパルスレーザーが使用される。パルスレーザーは、複数の波長で位相をそろえて同時に発振させるモード同期法及びＱスイッチ法によって、瞬間的に非常に強いレーザーを出力することができる。ホログラム用光源４１のパルスレーザーとしては、例えば、ＹＡＧレーザー等の固体レーザー、及びＨｅ−Ｎｅレーザー等の気体レーザーが好ましい。ホログラム用光源４１では、ホログラフィック記録媒体２０のホログラム記録層２１内の感光材料が感度を示す波長の光が選択される。
【００５２】
ここで、ホログラム用光源４１として高出力のパルスレーザーを使用すると、瞬間的に照射される高出力の情報光及び参照光によってホログラムが記録される。このため、ホログラフィック記録媒体２０を回転させながら複数のホログラムを記録することができる。すなわち、回転するホログラフィック記録媒体２０に対し、パルス状の情報光及び参照光を照射すると、最初のパルスの情報光及び参照光は、回転するホログラフィック記録媒体２０の所定の位置に瞬間的に照射され、最初のホログラムが記録される。次のパルスの情報光及び参照光は、回転によって、最初のホログラムから移動したホログラフィック記録媒体２０の別の位置に瞬間的に照射され、次のホログラムが記録される。そして、ホログラフィック記録媒体２０を回転させながら光学系４０を回転の中心から半径方向に連続的に移動させることにより、複数のホログラムを螺旋状に配列させて記録することができ、ホログラフィック記録媒体２０の全面にホログラムを比較的高速で記録することができる。なお、ホログラフィック記録媒体２０を回転させながら光学系４０を回転の中心から半径方向に段階的に移動させれば、複数のホログラムを同心円状に配列させて記録することができる。
【００５３】
なお、ホログラムを記録するための光源と画像情報を検索するための光源とをそれぞれ別に設けてもよい。ホログラムを記録するための光源は、現時点においては高出力のパルスレーザーである必要があるが、画像情報を検索するための光源は、検索光の光強度が記録時の情報光及び参照光に比べて弱くてもよいので、例えば、ＣＷレーザー（Ｃｏｎｔｉｎｕｏｕｓ ｗａｖｅ ｌａｓｅｒ）であってもよい。
【００５４】
ＣＷレーザーは、パルスレーザーと比べると瞬間的なパワーは低いが、一定の強度の光を照射し続けることができ、また、小型、軽量かつ安価である。記録用の光源とは別に検索用の光源を設ける場合、検索用の光源には、ホログラム記録層２１内に記録されたホログラムと干渉する波長の光を持つものを使用し、好ましくは記録用光源からの光の波長と同じ波長の光を持つものを選択するのがよい。なお、画像情報を記録せず、検索するだけの画像検索システムにおいては、画像情報を検索するための光源としてＣＷレーザーだけを設ければよい。
【００５５】
ここで、検索用の光源としてＣＷレーザーを使用すると、検索光を照射しながらホログラフィック記録媒体２０を回転させることによって、円周方向に配列して記録された複数のホログラムに対し、連続的に検索光を照射することができる。このため、各ホログラムからの再生光の光強度も連続的に検出できるので、ホログラフィック記録媒体２０の回転速度を速くすることができ、さらに検索速度（画像情報の転送速度）も速くすることができる。そして、ホログラフィック記録媒体２０を回転させながら光学系４０を回転の中心から半径方向に連続的又は段階的に移動させることにより、ホログラフィック記録媒体２０の全面に記録された複数のホログラムを高速で検索することができる。一方、検索用の光源としてパルスレーザーを使用した場合には、各ホログラムが検索光の照射位置を通過するタイミングとパルスレーザーの周波数とを同期させる必要があり、回転速度の制限となり、また照射位置ずれが誤差となり、信頼性が低下する。
【００５６】
空間光変調器４３は、複数の画素を有し、各画素毎に光の属性を変化させることによって、光を空間的に変調する。空間光変調器４３には、例えば、液晶表示装置、ＤＭＤ（Ｄｉｇｉｔａｌ Ｍｉｃｒｏｍｉｒｒｏｒ Ｄｅｖｉｃｅ）等を利用することができる。ここでは、空間光変調器４３にＤＭＤを用いている。このため、ミラー４２は、ホログラム用光源４１から照射された光を空間光変調器４３に向けて反射させる。
【００５７】
なお、記録時において、空間光変調器４３は、一部の表示領域４３ａ（図４参照）に記録用の二次元パターン情報３１（図４参照）を表示し、他の一部の表示領域４３ｂ（図４参照）に参照光のパターンを表示し、情報光及び参照光を生成する。また、検索時において、空間光変調器４３は、前述した一部の表示領域４３ａに、記録用の二次元パターン情報３１の代わりに、検索用の二次元パターン情報３５（図４参照）を表示し、検索光を生成する。
【００５８】
参照光のパターンは、空間光変調器４３の記録用の二次元パターン情報３１を表示した表示領域の周囲に少なくとも一つ配置される。参照光のパターンとしては、一塊の数画素〜数百画素の領域をオン画素とし、参照光を強度分布のない一様な光としてもよい。また、かかる一塊の数画素〜数百画素の領域を複数設けて、全体として空間的に変調された強度分布を有する光としてもよい。さらに、広い領域において、オン画素とオフ画素からなるパターンによって空間的に変調された強度分布を有する光としてもよい。
【００５９】
また、記録用の二次元パターン情報３１を複数の離間した領域に分割し、その離間した領域に参照光の少なくとも一部を配置してもよい。再生光のパターンの大きさを再生光検出器５３の受光領域よりも小さくすれば、アパーチャー５１や集光レンズ５２を設けなくても、再生光が結像する位置に再生光検出器５３を配置するだけで再生光の光強度を検出できる。
【００６０】
偏光ビームスプリッタ４４は、直交する偏光方向の一方を透過し、他方を反射するものであり、図３においては、空間光変調器４３から照射された情報光、参照光及び検索光を透過し、ホログラフィック記録媒体２０から再生された再生光を、再生光検出器５３に向けて反射させる。なお、光学系の構成に応じて、情報光、参照光及び検索光をホログラフィック記録媒体２０に向けて反射させ、再生光を再生光検出器５３に向けて透過させる構成であってもよい。第１リレーレンズ４５及び第２リレーレンズ４７は、空間光変調器４３に表示された二次元パターン情報３１及び参照光のパターンを対物レンズ５０の焦点面（入射瞳面）に結像させる。ミラー４６は、第１リレーレンズ４５と第２リレーレンズ４７との間の焦点位置に配置されており、情報光、参照光及び検索光を反射する。ミラー４６は、光学系４０の大きさを小型化するために設けられている。
【００６１】
ビームスプリッタ４８は、アドレス用レーザー６０からの光をホログラフィック記録媒体２０に向けて反射させる。四分の一波長板４９は、直線偏光を円偏光に変換するものであり、直線偏光を２回透過させることで偏光方向を９０度回転させることができる。この四分の一波長板４９によって、照射時に偏光ビームスプリッタ４４を透過した参照光は、ホログラフィック記録媒体２０で反射されて戻ってきた時には、偏光ビームスプリッタ４４で反射されることになる。再生光は、ホログラフィック記録媒体２０で反射されて戻ってきた参照光と同じものであるから、再生光も偏光ビームスプリッタ４４によって反射される。対物レンズ５０は、情報光及び参照光をフーリエ変換してホログラフィック記録媒体２０のホログラム記録層２１に照射し、情報光と参照光との干渉によって形成されたホログラム２４をホログラム記録層２１に記録する。また、対物レンズ５０は、検索光をフーリエ変換してホログラム記録層２１に記録されたホログラム２４に照射する。検索光とホログラム２４との干渉によって再生された再生光は、ホログラフィック記録媒体２０から対物レンズ５０に向かって進行し、対物レンズ５０を通過する。
【００６２】
なお、対物レンズ５０によってフーリエ変換された情報光と参照光とを記録媒体において干渉させてホログラムを記録する場合、情報光及び参照光の空間変調パターンは、対物レンズ５０の入射瞳面において結像されている必要がある。また、ホログラムに対しフーリエ変換された検索光を照射する場合、検索光の空間変調パターンは、対物レンズ５０の入射瞳面において結像されている必要がある。このため、第１リレーレンズ４５及び第２リレーレンズ４７によって、空間光変調器４３に表示された二次元パターン情報３１、３５及び参照光のパターンを対物レンズ５０の入射瞳面において結像させる。
【００６３】
アパーチャー５１は、ホログラフィック記録媒体２０で反射された検索光を遮光し、再生された再生光のみを再生光検出器５３に通過させる開口を有する。アパーチャー５１を第１リレーレンズ４５の焦点面に配置すると、検索光の回折光によるノイズを低減することができるので好ましい。ここでは、アパーチャー５１には、中心に開口が設けられているが、開口の位置は中心に限られない。再生光が通過する位置に、再生光が通過できる形状の開口が設けられてよい。例えば、再生光が複数の場合には、アパーチャー５１に複数の開口を設ければよいし、再生光が空間的に変調されている場合（つまり、記録時における参照光が二次元パターン情報で空間的に変調されている場合）には、参照光のパターンと相似の形状の開口を設ければよい。
【００６４】
再生光検出器５３は、再生光の光強度を検出する。再生光のパターンが再生光検出器５３の受光領域よりも小さい場合（つまり、記録時における参照光のパターンが再生光検出器５３の受光領域よりも小さい場合）、再生光検出器５３として、非常に感度の高い光検出素子（例えば、光電子倍増管（ｐｈｏｔｏｍｕｌｔｉｐｌｉｅｒ ｔｕｂｅ：ＰＭＴ））を利用することができる。また、安価で小型な半導体検出器として、例えば、ピンフォトダイオード、ＣＭＯＳセンサ、ＣＣＤセンサ等を利用することができる。
【００６５】
再生光のパターンが空間的に変調されており強度分布を有している場合（つまり、記録時における参照光が複数の場合や二次元パターン情報で空間的に変調されている場合）には、集光レンズ５２を設け、再生光を集光してもよい。また、再生光のパターンが再生光検出器の受光領域よりも大きい場合にも、集光レンズ５２によって再生光を集光してもよい。再生光のパターンが再生光検出器の受光領域よりも小さい場合であっても、集光レンズ５２を利用すれば信頼性を高めることができる。なお、光検出素子が二次元的に配置された光強度分布を検出できる光検出器でも、すべての光検出素子の強度を総和することで再生光の光強度を検出することができ、再生光検出器５３として利用できる。
【００６６】
アドレス用レーザー６０、ビームスプリッタ６１、ミラー６２及びアドレス光検出器６３は、ホログラフィック記録媒体２０にアドレス層が設けられた場合、このアドレス層からアドレス情報を取得し、照射位置を特定し、また、位置合わせするために使用される。アドレス用レーザー６０としては、ホログラム記録層２１の感光材料が感光しない波長が好ましく、赤色光等の比較的長波長の半導体レーザーを利用することが好ましい。アドレス光検出器６３としては、安価で小型な半導体検出器を使用することができる。
【００６７】
続いて、アドレス用レーザー６０によるアドレス情報を取得する動作を簡単に説明する。アドレス用レーザー６０は、アドレス光を照射する。照射されたアドレス光は、ビームスプリッタ６１を透過してミラー６２によって反射され、さらにビームスプリッタ４８によって反射され、四分の一波長板４９を透過し、対物レンズ５０によってホログラフィック記録媒体２０のアドレス層に照射される。ホログラフィック記録媒体２０のアドレス層によって反射された反射光は、対物レンズ５０、４９、４８、６２を逆方向に通過し、ビームスプリッタ６１によって反射され、アドレス光検出器６３に入射する。アドレス光検出器６３は、入射した反射光から、ホログラフィック記録媒体２０のアドレス情報を取得する。
【００６８】
図４（Ａ）及び（Ｂ）は、ホログラム記録時の空間光変調器４３における表示面及び動作を示す概略図である。空間光変調器４３の表示面は、対物レンズ５０の入射瞳面３４又は入射瞳面と共役な位置に配置される。以下、図３を合わせて参照しながら、ホログラムの記録の動作について説明する。
【００６９】
ホログラム記録時には、ホログラム記録処理部１１又は情報処理装置３０（以下、単に「ホログラム記録処理部１１」という。）は、画像情報を取得すると、取得した原画像情報から記録用の二次元パターン情報３１を生成し、生成された記録用の二次元パターン情報３１を空間光変調器４３の表示面の一部の領域４３ａに表示する。また、ホログラム記録処理部１１は、表示面の他の一部の領域４３ｂに参照光３３のパターンを表示する。
【００７０】
記録用の二次元パターン情報３１は、原画像情報をそのまま使用してもよいし、一つ又は複数の前処理を施したものであってもよい。前処理としては、例えば、グレースケール化処理、２値画像化処理、解像度を変更する画像処理、原画像情報の一部を切り取るトリミング処理、エッジ強調処理等である。特に、エッジ強調処理は、画像情報の特徴である構図の要素を明らかにするので、有効な前処理である。さらに、画像を分割して並び変えるランダム変換処理を施してもよい。なお、前処理やランダム変換処理については、本願の出願人が出願した特開２０１０−６０６０５号公報に記載されているので、詳細な説明を省略する。
【００７１】
前処理を実行した場合には、情報量が削減された画像情報が第１データベース７０に格納されるので、第１データベース７０に格納された画像情報は、原画像情報とは、厳密にいえば異なるものであるが、原画像情報の特徴を有しており、原画像情報と対応するものである。なお、第２データベース８０に格納された画像情報には、原画像情報と同じものを記憶してもよいし、第１データベース７０に格納された画像情報と同じものを記録してもよいし、あるいは原画像情報に他の前処理を施した画像情報を記録していてもよい。
【００７２】
また、空間光変調器４３の領域４３ｂは、記録用の二次元パターン情報３１が表示される領域４３ａの周囲に少なくとも一つ配置される。例えば、領域４３ｂは、図４（Ａ）に示したように、領域４３ａの上方に配置されてもよい。図４（Ａ）の領域４３ｂは、領域４３ａに比べて極めて小さい４画素（例えば、２×２画素）の領域である。このため、参照光３３は点光源のように発散する。そして、情報光３２及び参照光３３は、対物レンズ５０によってフーリエ変換され、ホログラフィック記録媒体２０の厚いホログラム記録層２１において干渉し、干渉縞を形成する。ホログラム記録層２１は、干渉縞を立体的に記録する。すなわち、体積ホログラムが形成される。
【００７３】
ただし、参照光のパターンは、これに限定されるものではない。例えば、本願発明の出願人が出願した特開２０１０−６０６０５号公報の図９（Ａ）に記載されたとおり、参照光のパターンを複数箇所に表示して、複数の参照光によって干渉縞を形成してもよい。領域４３ｂの大きさと数は適宜変更することができる。
【００７４】
ここで、図３を参照すると、空間光変調器４３は、二次元パターン情報３１を表示し、表示された二次元パターン情報３１によってホログラム用光源４１からの光を空間的に変調することによって、情報光３２を生成することができ、情報光生成手段として機能する。また、空間光変調器４３は、参照光のパターンを表示し、表示された参照光のパターンによってホログラム用光源４１からの光を空間的に変調することによって参照光３３を生成することができ、参照光生成手段として機能する。なお、ホログラム用光源４１から照射された光は、図示しないビーム成形光学系によって、空間光変調器４３の表示面よりも大きな断面を有する略平行光に成形される。ビーム成形光学系としては、例えば、発散光を平行光に加工するコリメータレンズ、ビームの口径を大きくするビームエキスパンダー等が含まれる。略平行光は、ミラー４２によって空間光変調器４３に向かって反射され、空間光変調器４３に表示された記録用の二次元パターン情報３１及び参照光のパターンによって空間的に変調される。このように、情報光３２と参照光３３とを同一の空間光変調器４３によって生成することによって、情報光及び参照光の位相を揃えることができ、強い干渉縞を形成することができる。ただし、情報光生成手段と参照光生成手段とを別々に設けて、それぞれ独立して情報光及び参照光を生成してもよい。
【００７５】
生成された情報光３２及び参照光３３は、偏光ビームスプリッタ４４を透過し、第１リレーレンズ４５及び第２リレーレンズ４７によって対物レンズ５０の入射瞳面３４に伝達され、その途中、ミラー４６によって反射され、ビームスプリッタ４８を透過し、四分の一波長板４９によって円偏光に変換される。そして、図４（Ｂ）に示すとおり、情報光３２及び参照光３３は、対物レンズ５０によってフーリエ変換され、平行光となって、ホログラフィック記録媒体２０のホログラム記録層２１に照射される。この結果、ホログラム記録層２１には、情報光３２と参照光３３との干渉によって形成されたホログラム２４が記録される。なお、ホログラム記録処理部１１は、サーボ情報に基づいて、図示しない記録媒体保持機構のサーボを制御し、情報光３２及び参照光３３が照射される位置を合わせている。同様にして、ホログラム記録処理部１１は、他の原画像情報から生成された記録用の二次元パターン情報３１についても、ホログラム記録層２１の異なる位置に、一部を重畳させて順次記録し、ホログラフィック記録媒体２０にホログラム２４を多重記録する。ホログラム記録処理部１１は、記録されたホログラム２４の各アドレス情報をアドレス情報テーブル２００の対応するエントリに格納することが好ましい。
【００７６】
図４（Ｃ）及び（Ｄ）は、画像検索時の空間光変調器４３における表示面及び動作を示す概略図である。以下、図３を合わせて参照しながら、ホログラムの再生の動作について説明する。
【００７７】
画像検索時には、第１検索処理部１２又は情報処理装置３０（以下、単に「第１検索処理部１２」という。）は、検索画像情報を取得すると、取得した検索画像情報から検索用の二次元パターン情報３５を生成し、生成された検索用の二次元パターン情報３５を空間光変調器４３の表示面の一部の領域４３ａに表示する。なお、ホログラム記録時に、取得した画像情報に前処理が実行していた場合、第１検索処理部１２は、取得した検索画像情報に対しても、同様の前処理を実行し、検索用の二次元パターン情報３５を生成する。
【００７８】
ここで、図３を参照すると、空間光変調器４３は、ホログラム用光源４１からの光を用いて、検索画像情報の二次元パターン情報３５を空間的に変調することによって、検索光３６を生成する。ホログラム用光源４１から照射された光は、図示しないビーム成形光学系によって略平行光とされる。略平行光は、ミラー４２によって空間光変調器４３に向かって反射され、空間光変調器４３に表示された検索用の二次元パターン情報３５によって空間的に変調され、検索光３６が生成される。
【００７９】
生成された検索光３６は、偏光ビームスプリッタ４４を透過し、第１リレーレンズ４５及び第２リレーレンズ４７によって対物レンズ５０の入射瞳面３４に伝達され、その途中、ミラー４６によって反射され、ビームスプリッタ４８を透過し、四分の一波長板４９によって円偏光に変換される。そして、図４（Ｄ）に示すとおり、検索光３６は、入射瞳面３４から射出され、対物レンズ５０によってフーリエ変換され、平行光となって、ホログラフィック記録媒体２０のホログラム記録層２１に記録されたホログラム２４に照射される。この結果、ホログラム２４と検索光３６とが干渉して、記録時の参照光３３に相当する再生光３７が再生される。なお、第１検索処理部１２は、サーボ情報に基づいて、図示しない記録媒体保持機構のサーボを制御し、検索光３６が照射される位置を合わせている。
【００８０】
再生光検出器５３は、再生光３７を検出する。具体的には、図３を参照すると、反射層２３で反射された再生光３７は、ホログラフィック記録媒体２０から射出され、照射時とは反対方向に、対物レンズ５０、四分の一波長板４９、ビームスプリッタ４８、第２リレーレンズ４７、ミラー４６及び第１リレーレンズ４５を経て、偏光ビームスプリッタ４４に入射する。再生光３７は、記録時の参照光３３に相当するものであるところ、参照光３３は、ホログラフィック記録媒体２０に照射される際に四分の一波長板４９を通過して円偏光に変換されていたため、再度、再生光３７として四分の一波長板４９を通過すると、参照光３３とは直交する偏光方向の直線偏光となる。よって、再生光３７は、参照光３３を透過した偏光ビームスプリッタ４４によって反射され、アパーチャー５１を通過し、集光レンズ５２によって再生光検出器５３に集光される。なお、反射層２３で反射された検索光３６は、ホログラフィック記録媒体２０から射出され、再生光３７と同様の光学系を経て偏光ビームスプリッタ４４によって反射されるが、アパーチャー５１によって遮光される。
【００８１】
再生光検出器５３が検出した再生光３７の光強度は、ホログラム２４を記録したときの記録用の二次元パターン情報３５と検索用の二次元パターン情報３５との類似度によって変化する。すなわち、光強度の値が大きいほど二つの二次元パターン情報が類似していることになる。第１検索処理部１２は、検出された再生光３７の光強度をそのまま、又は光強度を補正して、検索画像情報とホログラム２４として記録された各画像情報との類似度を表す第１相関値を演算する。なお、第１検索処理部１２は、検索光を照射したホログラムについて、アドレス光に基づいてアドレス光検出器６３がホログラフィック記録媒体２０のアドレス層から読み出したアドレス情報を取得しておき、検出した再生光の強度又は演算された第１相関値と、そのホログラムのアドレス情報とを関連付けて記録することが好ましい。さらに、アドレス情報テーブル２００を参照して、アドレス情報から画像ＩＤを特定し、再生光の強度又は第１相関値と関連付けて画像ＩＤを記録してもよい。
【００８２】
なお、図３及び図４においては、記録時において、情報光の光軸と参照光の光軸とが同軸上に配置されたコリニア方式の光情報記録再生装置を利用しているが、本発明の光相関演算装置２は、かかる構成に限定されるものではない。情報光の光軸と参照光の光軸が異なる方式であっても、本発明の第１検索を実施することは可能である。
【００８３】
図５は、画像検索システムの検索処理を示すフローチャートである。検索は、大きく２段階に分かれており、ステップＳ３０１からＳ３０６までの処理が光相関演算による第１検索であり、ステップＳ４０１からＳ４０６までの処理が相関演算による第２検索である。
【００８４】
まず、情報処理装置１は、検索画像情報を取得する（Ｓ３０１）。検索画像情報は、端末９０を操作することによって検索者から入力されてもよいし、図示しないＷｅｂサーバ、ストレージシステム、監視カメラシステム等から入力されてもよい。情報処理装置１は、取得した検索画像情報を第１検索処理部１２及び第２検索処理部１３に入力する。
【００８５】
次に、第１検索処理部１２は、検索画像情報を取得すると、取得した検索画像情報の二次元パターン情報３５を生成し、光相関演算装置２の空間光変調器４３に表示し、表示された表示された検索用の二次元パターン情報３５を空間的に変調することによって、検索光を生成する。そして、上記図４（Ｃ）及び（Ｄ）において説明した光相関演算処理をホログラフィック記録媒体２０に記録された各ホログラムに対して実行し、第１データベース７０に格納された複数の画像情報についての第１相関値を取得する（Ｓ３０２）。検索画像情報の二次元パターン情報３５は、ホログラム記録時に、各画像情報の二次元パターン情報３１の生成方法と同様の方法によって生成される。例えば、記録時において原画像情報に前処理がなされていた場合には、取得した検索画像情報にも同様の前処理を実行する。第１検索処理部１２は、演算された各画像情報の第１相関値とアドレス情報又は画像ＩＤとを対応付け、対応付けられた情報をメモリ１０に格納してもよいし、各第１相関値をアドレス情報テーブル２００の対応する画像ＩＤのエントリに格納してもよい。
【００８６】
そして、第１相関値と所定の第１閾値とを比較し、第１相関値が第１閾値を超えるか否かを判定する（Ｓ３０３）。なお、第１閾値は、あらかじめ実験等によって定められた値であり、必要とされる類似度に応じて複数設定されていてもよい。なお、ステップＳ３０３に先立ち、第１検索処理部１２は、演算された第１相関値に基づいて、ステップＳ３０３の比較する順番を変更してもよい。例えば、第１相関値の高い順に並べ替えれば、ステップＳ３０３では、第１相関値の高い順に比較の処理が実行されるので、処理を速くすることができる。また、ステップＳ３０４では、第１相関値の高い順に２次検索候補が出力されるので、ステップＳ４０１以降の第２検索に好ましい。
【００８７】
ステップＳ３０３において、第１相関値が第１閾値を超えると判定された場合（Ｓ３０３のＹｅｓ）、第１検索処理部１２は、その第１相関値に対応する画像情報を２次検索候補として特定し、その画像情報のアドレス情報又は付与された画像ＩＤを第２検索処理部１３に出力する（Ｓ３０４）。そして、第１検索処理部１２は、ステップＳ３０３の比較処理の対象となる第１相関値が残存しているか否かを判定するステップＳ３０５に進む。
【００８８】
一方、ステップＳ３０３において、画像情報の第１相関値が第１閾値を超えないと判定された場合（Ｓ３０３のＮｏ）、その画像情報は検索画像情報と相関が低く類似していないので、第１検索処理部１２は、ステップＳ３０５の処理に進む。
【００８９】
第１検索処理部１２は、ステップＳ３０３の比較処理の対象となる第１相関値が残存しているか否かを判定する（Ｓ３０５）。ステップＳ３０５において、未処理の第１相関値があると判定された場合（Ｓ３０５のＮｏ）、第１検索処理部１２は、未処理の第１相関値を選択し、ステップＳ３０３において、第１相関値が第１閾値を超えるか否かを判定する（Ｓ３０３）。一方、ステップＳ３０５において、未処理の第１相関値がない判定された場合、第１検索処理部１２は、第１検索を終了する（Ｓ３０６）。第１検索処理部１２は、第１検索が終了した旨を第２検索処理部１３に通知してもよい。なお、ステップＳ３０３の比較処理は、通常、検出された全ての第１相関値が対象となるが、前述したように、第１相関値を高い順に並び変えていれば、第１閾値を超えないと判定されるまでの部分が対象となる。したがって、このように第１相関値を並び変えていた場合には、ステップＳ３０５において、第１閾値を超えないと判定された時点で第１検索が終了する。換言すれば、第１相関値を高い順に並び変えた場合は、ステップＳ３０５は不要となる。
【００９０】
なお、図５においては、第１検索処理部１２は、第１閾値を超える第１相関値をもった２次検索候補を一つ検出する毎に、その画像ＩＤを第２検索処理部１３に出力し、第２検索処理部１３が第２検索を開始している。このため、第１検索の途中から第２検索を開始することが可能であり、終的な検索時間を短縮することができ好ましい。ただし、複数の２次検索候補を併せて第２検索処理部１３に出力したり、第１検索が終了した後に、第１検索の結果として得られた２次検索候補の画像ＩＤを一括して第２検索処理部１３に出力することも可能である。
【００９１】
第２検索処理部１３は、第１検索処理部１２から出力された２次検索候補のアドレス情報又は画像ＩＤを取得し、アドレス情報テーブル２００を参照して、そのアドレス情報又は画像ＩＤに対応する画像情報を第２データベース８０から取得する（Ｓ４０１）。
【００９２】
次に、第２検索処理部１３は、検索画像情報と取得した第２データベース８０における２次検索候補の画像情報との第２相関値を演算する（Ｓ４０２）。相関演算として、例えば、検索画像情報と２次検索候補の画像情報との内積、ユークリッド距離又は相関係数を求めることにより、類似度を算出することができる。Ｎ×Ｎ画素の画像情報Ｆ、Ｇの各画素の要素について、一次元の列ベクトルｆ、列ベクトルｇとして表現した場合、内積は数式（１）で算出でき、ユークリッド距離は数式（２）で算出でき、相関係数は数式（３）で算出できる。なお、第２相関値の算出はこれらの方式に限定されるものではない。
【００９３】
【数１】
（１）
【００９４】
【数２】
（２）
【００９５】
【数３】
（３）
【００９６】
次に、第２検索処理部１３は、取得した２次検索候補の画像情報の第２相関値と所定の第２閾値とを比較し、第２相関値が第２閾値を超えるか否かを判定する（Ｓ４０３）。ステップＳ４０３において用いる第２閾値は、あらかじめ実験等によって定められた値であり、必要とされる類似度に応じて複数設定されていてもよい。ステップＳ３０５において用いる第１閾値より高く設定されるのが好ましい。この場合、第１相関値と第２相関値とは規格化等によって値を共通化しておくことが好ましい。なお、第１閾値と第２閾値とを同じにしてもよい。ステップＳ４０３において、第２相関値が第２閾値を超えると判定された場合（Ｓ４０３のＹｅｓ）、第２検索処理部１３は、その２次検索候補に対応する画像情報を検索結果として特定する（Ｓ４０４）。その後、第２検索の対象となる２次検索候補があるか否かを判定する（Ｓ４０５）。
【００９７】
一方、ステップＳ４０３において、第２相関値が第２閾値を超えないと判定された場合（Ｓ４０３のＮｏ）、検索結果として特定せずに、第２検索の対象となる２次検索候補があるか否か判定する（Ｓ４０５）。なお、第２相関値が第２閾値を超えなかった場合であっても、参考として２次検索候補を出力するように構成してもよい。
【００９８】
第２検索処理部１３は、第２検索の対象となる２次検索候補があるか否かを判定する（Ｓ４０５）。ステップＳ４０５において、未処理の２次検索候補があると判定された場合（Ｓ４０５のＮｏ）、第２検索処理部１３は、未処理の２次検索候補を選択し、ステップＳ４０２において、検索画像情報との第２相関値を演算し、ステップＳ４０３において、第２相関値が第２閾値を超えるか否かを判定する（Ｓ４０３）。一方、ステップＳ４０５において、第２検索の対象となる２次検索候補がないと判定された場合（Ｓ４０５のＹｅｓ）、第２検索処理部１３は、第２検索を終了する（Ｓ４０６）。なお、ここでは、第２検索処理部１３は、所定の待ち時間が経過しても第１検索処理部１２から２次検索候補が出力されないことに基づいて、２次検索候補を対象とした２次検索を終了することを決定してもよいし、第１検索処理部１２から第１検索の終了した通知に基づいて、２次検索候補の範囲を決定し、かかる範囲の第２検索を終了した時点で終了することを決定してもよい。
【００９９】
第２検索の結果得られた検索結果は、情報処理装置１又は端末９０に出力（表示）させることができる。出力の形式は特に限定されるものではないが、画像ＩＤ、原画像情報、第１データベースのアドレス情報２０２又は第２データベースのアドレス情報２０３を出力したり、サムネイル２０４、キーワード２０５等を含めて出力してもよい。ステップＳ４０４において、複数の画像情報が第２閾値を超えており、検索結果が複数となった場合、第２検索処理部１３は、最も高い第２相関値を持つ画像情報を検索結果として出力してもよいし、第２相関値の高い順に出力してもよい。さらに、第２検索処理部１３は、検索結果として複数の画像情報又はサムネイルを端末９０に出力し、検索者に対し、検索画像情報と類似する画像情報を選択させることもできる。また、第２検索の結果、第２閾値を超える画像情報が検索されなかった場合、第２検索処理部１３は、第２閾値を低く設定して第２検索を繰り返してもよい。
【０１００】
また、図５においては、第２検索において第２相関値と第２閾値とを比較しているが、２次検索候補の第２相関値同士を比較して、検索結果を取得することも可能である。この場合、ステップＳ４０３は不要であるが、２次検索候補の第２相関値同士を比較するステップが必要となる。比較した結果、検出された第２相関値が最も大きい画像情報を検索結果として出力してもよいし、上位の複数画像情報を検索結果として出力してもよいし、第２相関値の大きい順に全ての２次検索候補を検索結果として出力してもよい。
【０１０１】
以上説明したように、本発明の実施形態によると、第１検索において、ホログラフィック記録媒体に記録された複数の画像情報と検索画像情報とを光相関演算させて２次検索候補を特定し、次に、第２検索において、記憶装置に記憶された複数の画像情報の中から、２次検索候補に対応する画像情報について検索画像情報と相関演算させて検索結果を取得するので、検索速度及び検索精度を向上させることができる。また、第１検索において、一つの２次検索候補が特定されるたびに第２検索が開始されるので、第１検索及び第２検索の合計の処理時間を短縮することができる。
【０１０２】
なお、本発明の画像検索システムは、上述した第１検索及び第２検索の２段階の検索を行うモードとは別に、第１データベースのみを利用した光相関演算による検索モードや、第２データベースのみを利用した相関演算による検索モードを行うことができてもよい。
【符号の説明】
【０１０３】
１ 情報処理装置
２ 光相関演算装置
４ ＣＰＵ
６ 記憶装置
１０ メモリ
１１ ホログラム記録処理部
１２ 第１検索処理部
１３ 第２検索処理部
２０ ホログラフィック記録媒体
３０ 情報処理装置
４０ 光学系
７０ 第１データベース
８０ 第２データベース
９０ 端末
１００ ネットワーク
２００ アドレス情報テーブル
【技術分野】
【０００１】
本発明は、データベースに格納された複数の画像情報から検索したい画像情報に類似する画像情報を検索する画像検索の技術に関し、特に、ホログラフィを利用した光相関演算と、計算機による相関演算とを利用して、画像情報を検索する技術に関する。
【背景技術】
【０００２】
光軸の同軸上で情報光と参照光とを干渉させて体積型（厚い）ホログラムを記録するコリニア方式のホログラフィックメモリが提案されている（例えば、特許文献１参照）。ホログラムの干渉縞の間隔に比べて記録層の膜厚が大きい体積型ホログラムを利用すると、記録容量及び記録密度を大きくすることができる。コリニア方式の光情報記録再生装置では、空間光変調器によって空間的に変調された情報光と参照光とが同軸上に配置され、情報光と参照光とが記録媒体に照射される。ホログラフィック記録媒体に照射された情報光と参照光との干渉によって、記録媒体のホログラム記録層内の感光性材料に光反応が生じると、ホログラム記録層にホログラムが定着する。
【０００３】
コリニア方式のホログラフィックメモリでは、ディスク状のホログラフィック記録媒体を回転させながら情報を記録再生するので、既存の光ディスク技術（ＤＶＤ、ＣＤ等）との親和性が高く、光学系を簡易かつ小型化することができる。また、ホログラフィックメモリでは、既存のＤＶＤ及びＣＤに類似したアドレス方式、サーボ技術等を利用することによって、厳密な位置合わせが実現可能である。よって、ホログラフィックメモリは次世代の記録媒体として期待されている。
【０００４】
さらに、体積型ホログラムを利用し、光相関演算によって顔の画像情報を検索することが提案されている（例えば、非特許文献１参照）。非特許文献１に記載された技術では、ホログラムの書き込み時（記録時）には、空間光変調器の１画素をオン状態として参照光とし、その付近に顔の画像情報を表示して情報光とし、それらの光を対物レンズによってフーリエ変換し、記録媒体中で重ね合わせて干渉させることによって、ホログラフィックメモリにホログラムを記録する。また、光相関演算時には、記録時と同じ位置に、検索したい顔の画像情報を表示し、ホログラムから再生された光を検出する。ホログラムとして記録された顔の画像情報と検索したい顔の画像情報とが同一又は類似していると、ホログラムからは記録時の参照光に相当する光（再生光）が再生される。再生光の強度は、記録された顔の画像情報と検索したい顔の画像情報との類似度が高いほど強いので、ホログラムから再生された再生光の強度を相関値として利用することができる。
【０００５】
また、従来から、計算機による相関演算を用い、検索したい画像情報とデータベースに記録された画像情報との相互相関係数等を演算し、画像情報を検索する検索する技術が知られている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第３４０３０６８号公報
【非特許文献】
【０００７】
【非特許文献１】「全光型超高速光相関による画像検索エンジン」 Ｏｐｔｉｃｓ Ｊａｐａｎ ２００５ 講演予稿集 ｐｐ２６０−２６１、２００５年 渡邉恵理子他
【発明の概要】
【発明が解決しようとする課題】
【０００８】
前述した非特許文献１に記載された光相関演算を用いた技術によると、光ディスク技術を利用することによって、従来の計算機による相関演算によって画像情報を検索する技術よりも、速い検索速度を実現することが可能である。しかしながら、ホログラムを用いた光相関演算は、ホログラフィック媒体、光学系、サーボ系及び条件のばらつきによって、ホログラムとして記録された画像情報と検索したい画像情報（以下、「検索画像情報」という。）との相関値が理論値と異なるという問題がある。ホログラフィック媒体、光学系、サーボ系及び条件のばらつきとは、具体的には、ホログラフィック記録媒体の感度、Ｍ／＃（ダイナミックレンジ）に起因するばらつき、ホログラフィック記録媒体（ディスク）の反り、厚み、面ぶれ、偏心、反射率、経年劣化及び汚れ等に起因するばらつき、光学系の光量、感度、収差等に起因するばらつき、サーボ系の特性、位置ずれ、振動等に起因するばらつき、記録時と再生時（検索時）との温度、湿度等の条件に起因するばらつき等である。これらのばらつきは光相関演算に誤差を与えることがあるので、光相関演算によって演算された相関値(演算値)は理論値から外れることがある。
【０００９】
図６（Ａ）は、ホログラフィを利用した光相関演算において、ホログラムとして記録された各画像情報（顔画像情報）と検索画像情報との相関値の関係を説明する図である。図６（Ａ）では、横軸に相関値の理論値を示し、縦軸に実際の相関値の演算値と理論値との比を示した。例えば、ある検索画像情報を選択し、選択された検索画像情報とホログラムとして記録された各画像情報との類似度を示す相関値を光相関演算によって演算した場合、前述した各種の「ばらつき」によって、演算値は理論値から何％か外れることがある。図６（Ａ）における丸のグラフは、理想状態における演算値を示すものであるが、実際には、例えば、±１０％の誤差を含んでいる場合、各画像情報に対する相関値は、最大で四角のグラフまで、最小で三角のグラフまで変動する可能性がある。
【００１０】
そして、例えば、検索画像情報に一致する画像情報を検出するための閾値を低く設定した場合、光相関演算によって演算された相関値（演算値）が＋１０％の誤差を含むと、検索画像情報には一致しない複数の画像情報が検出されることがある。一方、閾値を高く設定した場合、相関値（演算値）が−１０％の誤差を含むと、検索画像情報と一致するはずの自己相関の画像情報ですら検出されないことがある。さらに、これらの誤差がランダムに生じることで、理論値では、より相関値が高いはずの画像情報が、実際の相関値では低くなることもあるため、検索の信頼性が低下してしまう。このように、光相関を用いた画像検索では、従来の計算機による相関演算を用いた画像検索に比べて、検索速度は高速であるが、光相関の演算値が誤差を含むので、設定する閾値によっては、検索画像情報に類似する複数の画像情報が検索結果として検出される、又は、類似する画像情報が検索結果として検出されないという問題がある。
【００１１】
一方、従来の計算機による相関演算を用いた画像検索では、計算機の処理装置、記憶装置（ハードディスク装置、ストレージシステム等）には演算値に誤差を与える要因が少ないので、演算値は理論値とほぼ同じであり、誤差をほとんど含まない。
【００１２】
図６（Ｂ）は、従来の計算機による相関演算において、記憶装置に格納された各画像情報（顔画像情報）と検索画像情報との相関値を示す説明図である。図６（Ｂ）では、横軸に相関値の理論値を示し、縦軸に実際の相関値の演算値と理論値との比を示した。このように、計算機による相関演算によれば、所定の閾値によって、複数の検索結果が検出されることなく、検索画像情報と一致する画像情報を検出することができる。ただし、従来の計算機による相関演算を用いた画像検索は、光相関演算を用いた画像検索に比べて検索速度が遅いという問題がある。
【００１３】
例えば、１Ｇｂｐｓにてデータ転送が可能な記憶装置を利用して、深さ１ビット（白黒）、６４０×４８０ｐｉｘｅｌの検索画像情報と、記憶装置に格納された深さ１ビット（白黒）、６４０ｘ４８０ｐｉｘｅｌの各画像情報とを相関演算を行う場合、一画像の相関演算に６４０×４８０＝３０７，２００ビットのデータを転送する必要があるため、１Ｇｂｐｓの転送速度からすると、データ転送とほぼ同時に相関演算を計算できたとしても、３２５５画像／ｓの検索速度が最大である。これに対し、非特許文献１によれば、光相関演算の場合、約１〜１０μｓの速度で演算の実現が可能であると記載されており、これは、１０万〜１００万画像／ｓの検索速度に相当するので、計算機による相関演算と比べて２〜３桁高速な相関演算が可能である。
【００１４】
本発明は、前述した問題に鑑みてなされたものであって、複数の画像情報から、検索画像情報と相関の高い画像情報をデータベースから速く正確に検索する画像検索システム及び画像検索プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１５】
前述した課題を解決するため、本発明の画像検索システムは、複数の画像情報から検索画像情報に類似する画像情報を検索する画像検索システムであって、情報処理装置と、前記複数の画像情報に基づいて形成された複数のホログラムが記録されたホログラフィック記録媒体と、前記ホログラフィック記録媒体を含む光相関演算装置と、前記複数の画像情報が記憶された記憶装置と、を有し、前記情報処理装置と前記記憶装置とは直接又はネットワークを介して接続され、前記情報処理装置と前記光相関演算装置とは直接又はネットワークを介して接続され、前記情報処理装置は、前記光相関演算装置において、前記ホログラフィック記録媒体に記録された前記複数の画像情報と前記検索画像情報とを光相関演算させて２次検索候補を特定し、前記記憶装置に記憶された前記複数の画像情報の中から、前記２次検索候補に対応する画像情報について前記検索画像情報と相関演算させて検索結果を取得することを特徴とする。
【００１６】
さらに、上記画像検索システムにおいて、前記情報処理装置は、前記光相関演算によって、前記ホログラフィック記録媒体に記録された前記複数の画像情報と前記検索画像情報との類似度を表す第１相関値を検出し、前記検出された第１相関値を第１閾値と比較して、前記第１閾値よりも大きい前記画像情報を前記２次検索候補とし、前記相関演算によって、前記記憶装置に記憶された前記複数の画像情報と前記検索画像情報との類似度を表す第２相関値を検出し、前記検出された第２相関値に基づいて、前記検索結果を取得することが好ましい。この場合、前記情報処理装置は、前記検出された第２相関値を第２閾値と比較して、前記第２閾値よりも大きい前記画像情報を前記検索結果としてもよいし、前記検出された第２相関値が最も大きい画像情報を前記検索結果としてもよい。
【００１７】
さらに、上記画像検索システムにおいて、前記情報処理装置は、前記２次検索候補を一つ特定するたびに、前記第２相関値を検出してもよい。
【００１８】
さらに、上記画像検索システムにおいて、前記情報処理装置は、前記ホログラフィック記録媒体に記録された前記複数の画像情報のアドレス情報と、前記記憶装置に記憶された前記複数の画像情報のアドレス情報とが関連付けられた情報を参照して、前記記憶装置に記憶された前記複数の画像情報の中から前記２次検索候補に対応する画像情報を抽出してもよい。
【００１９】
さらに、上記画像検索システムにおいて、前記光相関演算装置は、前記検索画像情報から生成された二次元パターン情報を空間的に光変調することによって検索光を生成する空間光変調器を備え、前記生成された検索光を前記ホログラフィック記録媒体に照射することによって、前記ホログラフィック記録媒体に記録された前記複数のホログラムから再生光を再生し、前記再生された再生光の光強度に基づいて、前記２次検索候補を特定してもよい。この場合、前記情報処理装置は、前記検索画像情報を前処理し、前処理された検索画像情報から前記二次元パターン情報を生成してもよい。
【００２０】
また、本発明の画像検索プログラムは、複数の画像情報から検索画像情報に類似する画像情報を検索する画像検索システムにおいて実行される画像検索プログラムであって、前記画像検索システムは、情報処理装置と、前記複数の画像情報に基づいて形成された複数のホログラムが記録されたホログラフィック記録媒体と、前記ホログラフィック記録媒体を含む光相関演算装置と、前記複数の画像情報が記憶された記憶装置と、を有し、前記画像検索プログラムは、前記情報処理装置に、前記光相関演算装置を制御して前記ホログラフィック記録媒体に記録された前記複数の画像情報と前記検索画像情報とを光相関演算させて、前記複数の画像情報と前記検索画像情報との類似度を表す第１相関値を検出する第１手順と、前記検出された第１相関値を第１閾値と比較して、前記第１閾値よりも大きい前記画像情報を前記２次検索候補とする第２手順と、前記記憶装置に記憶された前記複数の画像情報の中から、前記２次検索候補に対応する画像情報について前記検索画像情報と相関演算させて、前記２次検索候補に対応する画像情報と前記検索画像情報との類似度を表す第２相関値を検出する第３手順と、前記検出された第２相関値に基づいて検索結果を取得する第４手順と、を実行させることを特徴とする。
【００２１】
さらに、上記画像検索プログラムにおいて、前記第４手順は、前記検出された第２相関値を第２閾値と比較して、前記第２閾値よりも大きい前記画像情報を検索結果とする手順を含んでいてもよいし、前記検出された第２相関値が最も大きい画像情報を前記検索結果とする手順を含んでいてもよい。
【００２２】
さらに、上記画像検索プログラムにおいて、前記第３手順は、前記第２手順において、前記２次検索候補を一つ特定するたびに、前記第２相関値を検出する手順を含んでいてもよい。
【００２３】
さらに、上記画像検索プログラムにおいて、前記第３手順は、前記２次検索候補が特定されると、前記ホログラフィック記録媒体に記録された前記複数の画像情報のアドレス情報と、前記記憶装置に記憶された前記複数の画像情報のアドレス情報とが関連付けられた情報に基づいて、前記記憶装置に記憶された前記複数の画像情報の中から前記２次検索候補に対応する画像情報を抽出する手順を含んでいてもよい。
【発明の効果】
【００２４】
本発明によれば、ホログラフィック記録媒体に記録された複数の画像情報と検索画像情報とを光相関演算させて複数の画像情報から２次検索候補を特定し、記憶装置に記憶された複数の画像情報の中から、２次検索候補に対応する画像情報について検索画像情報と相関演算させて検索結果を取得するので、高速検索が可能な光相関演算によって複数の画像情報から２次検索候補を特定し、選別された２次検索候補に対応する画像情報については、検索速度は遅いが正確な計算機による相関演算によって検索するため、検索速度を向上させることができる。その他の効果については、発明を実施するための形態において述べる。
【図面の簡単な説明】
【００２５】
【図１】本発明の画像検索システムの構成の例を示す概略構成図
【図２】アドレス情報テーブルの例を示す説明図
【図３】光相関演算装置の構成の例を示す概略構成図
【図４】（Ａ）及び（Ｂ）、（Ｃ）及び（Ｄ）は、それぞれ、ホログラム記録時の空間光変調器４３における表示面及び動作、検索時の空間光変調器４３における表示面及び動作
【図５】画像検索システムの検索処理を示すフローチャート
【図６】（Ａ）、（Ｂ）は、それぞれ、ホログラフィを利用した光相関演算による相関値、従来の計算機による相関演算による相関値を示す説明図
【発明を実施するための形態】
【００２６】
以下、本発明の実施形態について図面を参照して説明する。なお、本発明は、以下の例に限定されるものではない。
【００２７】
図１は、本発明の画像検索システムの構成の例を示す概略構成図である。画像検索システムは、ホログラフィを利用した光相関演算によって、複数の画像情報から検索画像情報に類似するいくつかの画像情報を２次検索候補として特定し、さらに、従来の計算機による相関演算によって、特定された２次検索候補のうち検索画像情報に一致又は類似する画像情報を検索結果に特定するシステムである。以下、ホログラフィを利用した光相関演算を「光相関演算」といい、従来の計算機による相関演算を単に「相関演算」という。さらに、光相関演算による画像検索を「第１検索」といい、相関演算による画像検索を「第２検索」という。また、本明細書において「画像情報」とは、例えば、顔画像、人物画像、指紋、虹彩、手のひら静脈等のデジタルデータが含まれるが、写真や絵だけではなく、二次元に展開されたデジタル情報、例えば二次元バーコード等も含む。画像情報の画像形式は、特に制限はなく、例えば、ＪＰＥＧ、ＰＮＧ、ＧＩＦ、ＢＭＰ、ＴＩＦＦ形式等を使用することができる。また、画像情報は、後述する第１データベース７０及び第２データベース８０に格納される際に、前処理等が施されることもあるが、これらの前処理が施されたものも含む。なお、前処理が施される前の画像情報を以下「原画像情報」という。
【００２８】
本発明の画像検索システムは、例えば、情報処理装置１、光相関演算装置２、記憶装置６を備える。情報処理装置１と光相関演算装置２とは、直接又はネットワーク１００を介して相互に接続される。また、情報処理装置１と記憶装置６とは、直接又はネットワーク１００を介して相互に接続される。なお、ネットワーク１００とは、例えば、ＬＡＮ、ＷＡＮ、ＩＰネットワーク等である。また、ここでは、情報処理装置１は、直接又はネットワーク１００を介して光相関演算装置２及び記憶装置６に接続されると説明したが、情報処理装置１が光相関演算装置２又は記憶装置６（例えば、ハードディスク装置）を備える構成であってもよい。
【００２９】
情報処理装置１は、少なくとも第１検索処理及び第２検索処理を実行する装置であり、さらに好ましくは、記憶装置６への複数の画像情報の記録処理、光相関演算装置２におけるホログラムの記録処理等を実行してもよい。情報処理装置１は、例えば、ＣＰＵ４、メモリ１０及びインターフェース５を備える。各部は内部バスで接続される。また、情報処理装置１は、インターフェース５によって、ネットワーク１００に接続される。情報処理装置１は、図示しない入出力装置を備えてもよい。なお、入出力装置とは、例えば、ディスプレイ、キーボード及びマウス等である。情報処理装置１には、例えば、コンピュータ（サーバ、パーソナルコンピュータ等）を使用することができる。情報処理装置１は、ネットワーク１００を介して接続された端末９０に画像検索サービスを提供してもよい。
【００３０】
光相関演算装置２は、光学系４０及びホログラフィック記録媒体２０を備え、情報処理装置１の制御に基づいて、ホログラフィック記録媒体２０にホログラムとして記録された複数の画像情報と検索画像情報との類似を示す相関値を演算する装置である。さらに、光相関演算装置２は、情報処理装置１の制御に基づいて、複数の画像情報を複数のホログラムとして記録してもよい。光学系４０は、情報処理装置１の制御に基づいて、情報光及び参照光をホログラフィック記録媒体２０に照射し、画像情報をホログラムとしてホログラフィック記録媒体２０に記録する。また、検索光をホログラムに照射し、ホログラムから再生光を再生し、再生された再生光を検出することができる。再生光の光強度に基づいて、相関値が演算される（以下、光相関演算によって演算した相関値を「第１相関値」という。）。ホログラフィック記録媒体２０は、ホログラムを記録する媒体であり、カード状、ディスク状のものが好ましい。ホログラフィック記録媒体２０にホログラムとして記録された複数の画像情報は、第１データベース７０を構成する。以下、ホログラフィック記録媒体２０に記録されているホログラムを第１データベース７０に格納された画像情報ということもある。光相関演算装置２（光学系４０及びホログラフィック記録媒体２０）の詳細な構成については、図３を用いて後述する。なお、図１においては、１台の光相関演算装置２しか図示されていないが、複数の光相関演算装置２が備えられてもよいし、１台の光相関演算装置２に複数のホログラフィック記録媒体２０が備えられていてもよい。この場合、情報処理装置１は、複数のホログラフィック記録媒体２０に構成された第１データベース７０を並列的に検索することができる。
【００３１】
記憶装置６は、複数の画像情報を格納する第２データベース８０を構成しており、ハードディスク装置、半導体メモリ、ストレージシステム等から構成される。さらに、記憶装置６には、後述する図２に示すアドレス情報テーブル２００の全部又は一部が記憶されていてもよい。なお、アドレス情報テーブル２００の全部又は一部は、ホログラフィック記録媒体２０又はメモリ１０に記憶されていてもよい。
【００３２】
端末９０は、ネットワーク１００に接続された端末装置であり、第１データベース７０及び第２データベース８０に記憶される原画像情報の入力、第１データベース７０及び第２データベース８０において検索される検索画像情報の入力又は検索結果の出力等を実行させることができる。端末９０は、図示しない入出力装置を備えてもよい。入出力装置とは、例えば、ディスプレイ、キーボード及びマウス等である。端末９０として、例えば、パーソナルコンピュータ、携帯電話、携帯情報端末（ＰＤＡ）、携帯ゲーム機、家庭用ゲーム機、業務用ゲーム機、監視カメラシステム等を使用することができる。また、端末９０は、情報処理装置１の処理の一部を実行してもよい。検索者は、これらの入出力装置によって、端末９０を通じて情報処理装置１に実行させる処理を指示し、また、情報処理装置１が処理した結果を閲覧することができる。なお、図１では、１台の端末９０が図示されているが、図示された台数以上の端末９０がネットワーク１００に接続されてもよい。
【００３３】
また、図１では、情報処理装置１と光相関演算装置２と端末９０とがネットワーク１００を経由して接続するシステムとして構成したが、利用の形態に応じて、例えば、情報処理装置１と光相関演算装置２とを一つの装置として構成してもよいし、情報処理装置１と端末９０とを一つの装置として構成してもよい。また、端末９０を含まない構成にしてもよい。
【００３４】
情報処理装置１が備えるＣＰＵ４は、各種処理を実行するプロセッサである。また、情報処理装置１が記憶装置６を備える場合、記憶装置６は、図示しない各種プログラム及び各種データを格納する。ＣＰＵ４は、記憶装置６に格納された各種プログラムをメモリ１０に格納し、メモリ１０に格納された各種プログラムを実行することによって、ホログラム記録処理部１１、第１検索処理部１２及び第２検索処理部１３の処理を実現する。
【００３５】
ホログラム記録処理部１１は、光相関演算装置２を制御し、画像情報に基づいて形成されたホログラムをホログラフィック記録媒体２０に記録する。なお、ホログラム記録処理部１１の処理については、図３及び図４を用いて後述する。
【００３６】
第１検索処理部１２は、光相関演算装置２を制御し、第１データベース７０を利用した光相関演算及び第１検索処理を実行する。光相関演算において、第１検索処理部１２は、ホログラフィック記録媒体２０に記録されたホログラムからの再生光の強度を検出し、検索画像情報とホログラムとして記録された画像情報との類似を示す第１相関値を演算する。また、第１検索において、第１検索処理部１２は、第１相関値に基づいて、検索画像情報に類似する画像情報を取得し、取得した画像情報を２次検索候補に特定する。ここで、２次検索候補とは、第２検索処理部１３が実行する第２検索の対象となる画像情報である。また、第１検索処理部１２は、特定された２次画像候補を第２検索処理部１３に出力する。なお、第１検索処理部１２が実行する光相関演算及び第１検索については、図３から図５を用いて後述する。
【００３７】
第２検索処理部１３は、第２データベース８０を利用した相関演算及び第２検索処理を実行する。相関演算において、第２検索処理部１３は、２次検索候補を取得すると、例えば、アドレス情報テーブル２００を参照し、２次検索候補に対応する第２データベース８０のアドレス情報を特定し、第２データベース８０から２次検索候補の画像情報を取得し、取得した画像情報と検索画像情報との類似度を示す相関値を演算する。以下、相関演算によって演算した相関値を「第２相関値」という。また、第２検索において、第２検索処理部１３は、第２相関値に基づいて、検索画像情報に一致する画像情報又は類似する少なくとも一つ以上の画像情報を検索する。なお、第２検索処理部１３が実行する相関演算及び第２検索については、図５を用いて後述する。
【００３８】
図２は、アドレス情報テーブル２００を示す説明図である。アドレス情報テーブル２００は、記憶装置６、ホログラフィック記録媒体２０又はメモリ１０に記憶されていることが好ましく、複数の原画像情報と、第１データベース７０に記憶された複数の画像情報と、第２データベース８０に記憶された複数の画像情報とをそれぞれ関連付けるものである。図２において、アドレス情報テーブル２００は、画像ＩＤ２０１、第１データベースのアドレス情報２０２、第２データベースのアドレス情報２０３を含む。また、そのほかに、サムネイル２０４、キーワード２０５等を含んでもよい。なお、アドレス情報テーブル２００は、原画像情報と、第１データベース７０に記憶された複数の画像情報と、第２データベース８０に記憶された複数の画像情報との対応関係を識別可能であれば足りる。例えば、原画像情報がそのまま第１データベース７０又は第２データベースに記録されていれば、第１データベース７０のアドレス情報２０２と、第２データベースのアドレス情報２０３との対応が特定できればよい。また、アドレス情報テーブル２００は、図２に示すようなテーブル（表）の形式に限定されるものではない。
【００３９】
画像ＩＤ２０１は、原画像情報、及び当該原画像情報に対応する第１データベース７０及び第２データベース８０に格納された画像情報を一意に識別する識別情報である。画像ＩＤ２０１は、原画像情報を取得する毎に個別の情報が付与されるものであり、例えば、記録する順番に付与される連続する画像ナンバーでもよいし、各原画像情報のデータ名であってもよい。
【００４０】
第１データベースのアドレス情報２０２は、第１データベース７０に格納された画像情報（言い換えると、ホログラフィック記録媒体２０に記録されたホログラム）のアドレスを示す情報である。ホログラム記録処理部１１は、光相関演算装置２を制御し、原画像情報に基づいてホログラムを記録すると、記録されたホログラムのアドレス情報を取得し、取得したアドレス情報をアドレス情報テーブル２００の当該原画像情報の画像ＩＤ欄に記録する。これによって、画像情報の識別情報と第１データベース７０に格納された画像情報のアドレス情報（言い換えると、ホログラムの記録位置）とが対応付けられる。原画像情報に基づくホログラムの記録方法については後述する。
【００４１】
第２データベースのアドレス情報２０３は、第２データベース８０に格納された画像情報のアドレスを示す情報である。原画像情報に基づく画像情報を第２データベース８０に格納する際に、そのアドレスをアドレス情報テーブル２００の当該原画像情報の画像ＩＤ欄に記録する。これによって、画像情報の識別情報と第２データベース８０に格納された画像情報のアドレス情報とが対応付けられる。これらの結果、第１データベースのアドレス情報２０２と第２データベースのアドレス情報２０３とが対応付けられる。なお、第２データベース８０には、原画像情報と同じものを記録してもよいし、第１データベース７０に格納された画像情報と同じもの（例えば前処理された画像情報）を記録してもよいし、あるいは原画像情報に第１データベース７０に格納された画像情報とは異なる前処理を施した画像情報を記録していてもよい。
【００４２】
サムネイル２０４は、原画像情報又は第２データベース８０に記録された画像情報（例えば、ＪＰＥＧ形式）を縮小したものである。サムネイル２０４は、検索結果として画像情報の画像ＩＤ、第１データベースのアドレス情報２０２又は第２データベースのアドレス情報２０３アドレス情報とともに情報処理装置１又は端末９０に出力（表示）させてもよい。
【００４３】
キーワード２０５は、格納された画像情報に関連付けられた検索用のキーワードである。例えば、検索者によって検索画像情報とともにキーワードが入力された場合に、第２検索候補から当該キーワードに該当しないものを除くことにより、第２検索を効率的に行うことが可能である。
【００４４】
また、アドレス情報テーブル２００の項目には、これらのほか、例えば、画像情報の撮影日時、撮影場所等を含んでもよい。さらに、第２検索の相関演算において使用される画像情報の特徴量（例えば、色、テクスチャー、形状等に基づく多次元ベクトル）について、第２データベース８０に格納された各画像情報の特徴量を予め計算しておき、特徴量をアドレス情報テーブル２００に格納することで、第２検索の速度を向上させてもよい。
【００４５】
図３は、光相関演算装置２の構成の例を示す概略構成図である。光相関演算装置２は、ホログラフィック記録媒体２０及び光学系４０を備えており、さらに情報処理装置１の一部の機能を実行する情報処理装置３０を備えてもよい。情報処理装置３０は、情報処理装置１の各処理部が実行する処理のうち、例えば、ホログラム記録処理部１１及び第１検索処理部１２の処理を実行してもよい。また、複数の光学系４０と複数のホログラフィック記録媒体２０とを備えた画像検索システムを構築する場合、一台の情報処理装置３０がこれらを制御し、複数のホログラフィック記録媒体２０を並列的に検索してもよい。また、情報処理装置３０は、情報処理装置１から又はネットワーク１００を介して接続された端末９０から、動画情報を取得し、取得した動画情報から静止画の画像情報を抽出し、抽出さされた静止画の画像情報を検索画像に用いてもよい
以下、まず、ホログラフィック記録媒体２０の構成について説明する。ホログラフィック記録媒体２０は、表面保護層２２と反射層２３との間に感光材料を含有するホログラム記録層２１を挟み込んだ反射型の記録媒体である。ホログラム記録層２１は、情報光と参照光とを干渉させて形成されたホログラム２４を記録する。ホログラム記録層２１の厚さをホログラムの干渉縞の間隔に比べて大きく設計し、ホログラムをホログラム記録層２１の厚み方向に立体的に記録することによって、画像情報を体積型のホログラム（厚いホログラムともいう）として記録することができる。
【００４６】
また、ホログラフィック記録媒体２０は、アドレス層を備えるのが好ましい。アドレス層は、ホログラム２４の位置を特定する「アドレス情報」及び／又は位置合わせ（サーボ）をする「サーボ情報」を記録する。以下、アドレス情報とサーボ情報とを合わせて単に「アドレス情報」という。例えば、アドレス層として反射層２３を利用した場合、反射層２３の表面に設けられた凹凸形状のピットを形成し、このピットをアドレス情報としてもよい。表面保護層２２には、例えば、ガラス基板、プラスチック基板、有機樹脂コーティング膜を利用することができる。この表面保護層２２によって、温度変化等による収縮等を抑えることができる。反射層２３には、アルミニウム等の金属材料を利用することができる。
【００４７】
なお、ホログラフィック記録媒体２０は、図示しない記録媒体保持機構によって保持されている。記録媒体保持機構は、回転駆動装置を備え、ホログラフィック記録媒体２０を回転可能に構成するのが好ましい。さらに、位置合わせ（サーボ）のため、ホログラフィック記録媒体２０と光学系４０とは、相対的に移動可能に構成されるのが好ましい。具体的には、記録媒体保持機構は、駆動装置を備え、駆動装置によって、ホログラフィック記録媒体２０をＸ軸、Ｙ軸又はＺ軸方向に移動させる。ここで、Ｘ軸方向は、光軸に対して垂直な任意の方向である。Ｙ軸方向は、光軸及びＸ軸方向に対して垂直な方向である。Ｚ軸方向は、光軸と平行な方向である。なお、ホログラフィック記録媒体２０を移動させるのではなく、光学系４０を移動させることによって、位置合わせ（サーボ）してもよい。
【００４８】
記録速度及び検索速度を高めるためには、ホログラフィック記録媒体２０を回転させながら記録及び検索することが好ましい。特に、迅速性が求められる検索時においては、ホログラフィック記録媒体２０を回転させながら検索することが好ましい。画像情報（ホログラム）の記録処理は、画像情報が逐次追加される可能性はあるが、データベース（ホログラフィック記録媒体２０）の情報量を上限とする有限な処理である。これに対し、画像情報の検索では、検索対象が入力された後、できるだけ早くデータベース内に検索画像情報に一致する画像情報が存在するか否かを判定しなければならない。しかも、例えば、顔認証、指紋認証等のバイオメトリクス認証を利用した管理システムでは、本人確認のために、同じ検索画像情報を何度も検索する必要があり、検索が無限に実行されることがある。
【００４９】
このため、検索においてはより迅速性が求められる。この場合、ホログラフィック記録媒体２０の形状としては、円盤状とすることが好ましいが、その他の形状、例えば矩形のカード状として回転させる構成であってもよい。さらに、ホログラフィック記録媒体２０を回転させつつ、光学系４０又はホログラフィック記録媒体２０を半径方向に移動させてトラッキングサーボを行うことができる。
【００５０】
次に、光学系４０について説明する。光学系４０は、例えば、ホログラム用光源４１、ミラー４２、空間光変調器４３、偏光ビームスプリッタ４４、第１リレーレンズ４５、ミラー４６、第２リレーレンズ４７、ビームスプリッタ４８、四分の一波長板４９、対物レンズ５０、アパーチャー５１、集光レンズ５２、再生光検出器５３を備える。さらに、アドレス用レーザー６０、ビームスプリッタ６１、ミラー６２及びアドレス光検出器６３を備えるのが好ましい。なお、図３において、記録時の情報光及び参照光の光路並びに検索時の検索光の光路は点線で、検索時の再生光の光路は一点鎖線で、アドレス光の光路は二点鎖線で示されている。
【００５１】
ホログラム用光源４１は、ホログラムを記録するための情報光及び参照光の光源、又は、画像情報を検索するための検索光の光源である。ホログラム用光源４１には、例えば、断続的にレーザー光を出す高出力のパルスレーザーが使用される。パルスレーザーは、複数の波長で位相をそろえて同時に発振させるモード同期法及びＱスイッチ法によって、瞬間的に非常に強いレーザーを出力することができる。ホログラム用光源４１のパルスレーザーとしては、例えば、ＹＡＧレーザー等の固体レーザー、及びＨｅ−Ｎｅレーザー等の気体レーザーが好ましい。ホログラム用光源４１では、ホログラフィック記録媒体２０のホログラム記録層２１内の感光材料が感度を示す波長の光が選択される。
【００５２】
ここで、ホログラム用光源４１として高出力のパルスレーザーを使用すると、瞬間的に照射される高出力の情報光及び参照光によってホログラムが記録される。このため、ホログラフィック記録媒体２０を回転させながら複数のホログラムを記録することができる。すなわち、回転するホログラフィック記録媒体２０に対し、パルス状の情報光及び参照光を照射すると、最初のパルスの情報光及び参照光は、回転するホログラフィック記録媒体２０の所定の位置に瞬間的に照射され、最初のホログラムが記録される。次のパルスの情報光及び参照光は、回転によって、最初のホログラムから移動したホログラフィック記録媒体２０の別の位置に瞬間的に照射され、次のホログラムが記録される。そして、ホログラフィック記録媒体２０を回転させながら光学系４０を回転の中心から半径方向に連続的に移動させることにより、複数のホログラムを螺旋状に配列させて記録することができ、ホログラフィック記録媒体２０の全面にホログラムを比較的高速で記録することができる。なお、ホログラフィック記録媒体２０を回転させながら光学系４０を回転の中心から半径方向に段階的に移動させれば、複数のホログラムを同心円状に配列させて記録することができる。
【００５３】
なお、ホログラムを記録するための光源と画像情報を検索するための光源とをそれぞれ別に設けてもよい。ホログラムを記録するための光源は、現時点においては高出力のパルスレーザーである必要があるが、画像情報を検索するための光源は、検索光の光強度が記録時の情報光及び参照光に比べて弱くてもよいので、例えば、ＣＷレーザー（Ｃｏｎｔｉｎｕｏｕｓ ｗａｖｅ ｌａｓｅｒ）であってもよい。
【００５４】
ＣＷレーザーは、パルスレーザーと比べると瞬間的なパワーは低いが、一定の強度の光を照射し続けることができ、また、小型、軽量かつ安価である。記録用の光源とは別に検索用の光源を設ける場合、検索用の光源には、ホログラム記録層２１内に記録されたホログラムと干渉する波長の光を持つものを使用し、好ましくは記録用光源からの光の波長と同じ波長の光を持つものを選択するのがよい。なお、画像情報を記録せず、検索するだけの画像検索システムにおいては、画像情報を検索するための光源としてＣＷレーザーだけを設ければよい。
【００５５】
ここで、検索用の光源としてＣＷレーザーを使用すると、検索光を照射しながらホログラフィック記録媒体２０を回転させることによって、円周方向に配列して記録された複数のホログラムに対し、連続的に検索光を照射することができる。このため、各ホログラムからの再生光の光強度も連続的に検出できるので、ホログラフィック記録媒体２０の回転速度を速くすることができ、さらに検索速度（画像情報の転送速度）も速くすることができる。そして、ホログラフィック記録媒体２０を回転させながら光学系４０を回転の中心から半径方向に連続的又は段階的に移動させることにより、ホログラフィック記録媒体２０の全面に記録された複数のホログラムを高速で検索することができる。一方、検索用の光源としてパルスレーザーを使用した場合には、各ホログラムが検索光の照射位置を通過するタイミングとパルスレーザーの周波数とを同期させる必要があり、回転速度の制限となり、また照射位置ずれが誤差となり、信頼性が低下する。
【００５６】
空間光変調器４３は、複数の画素を有し、各画素毎に光の属性を変化させることによって、光を空間的に変調する。空間光変調器４３には、例えば、液晶表示装置、ＤＭＤ（Ｄｉｇｉｔａｌ Ｍｉｃｒｏｍｉｒｒｏｒ Ｄｅｖｉｃｅ）等を利用することができる。ここでは、空間光変調器４３にＤＭＤを用いている。このため、ミラー４２は、ホログラム用光源４１から照射された光を空間光変調器４３に向けて反射させる。
【００５７】
なお、記録時において、空間光変調器４３は、一部の表示領域４３ａ（図４参照）に記録用の二次元パターン情報３１（図４参照）を表示し、他の一部の表示領域４３ｂ（図４参照）に参照光のパターンを表示し、情報光及び参照光を生成する。また、検索時において、空間光変調器４３は、前述した一部の表示領域４３ａに、記録用の二次元パターン情報３１の代わりに、検索用の二次元パターン情報３５（図４参照）を表示し、検索光を生成する。
【００５８】
参照光のパターンは、空間光変調器４３の記録用の二次元パターン情報３１を表示した表示領域の周囲に少なくとも一つ配置される。参照光のパターンとしては、一塊の数画素〜数百画素の領域をオン画素とし、参照光を強度分布のない一様な光としてもよい。また、かかる一塊の数画素〜数百画素の領域を複数設けて、全体として空間的に変調された強度分布を有する光としてもよい。さらに、広い領域において、オン画素とオフ画素からなるパターンによって空間的に変調された強度分布を有する光としてもよい。
【００５９】
また、記録用の二次元パターン情報３１を複数の離間した領域に分割し、その離間した領域に参照光の少なくとも一部を配置してもよい。再生光のパターンの大きさを再生光検出器５３の受光領域よりも小さくすれば、アパーチャー５１や集光レンズ５２を設けなくても、再生光が結像する位置に再生光検出器５３を配置するだけで再生光の光強度を検出できる。
【００６０】
偏光ビームスプリッタ４４は、直交する偏光方向の一方を透過し、他方を反射するものであり、図３においては、空間光変調器４３から照射された情報光、参照光及び検索光を透過し、ホログラフィック記録媒体２０から再生された再生光を、再生光検出器５３に向けて反射させる。なお、光学系の構成に応じて、情報光、参照光及び検索光をホログラフィック記録媒体２０に向けて反射させ、再生光を再生光検出器５３に向けて透過させる構成であってもよい。第１リレーレンズ４５及び第２リレーレンズ４７は、空間光変調器４３に表示された二次元パターン情報３１及び参照光のパターンを対物レンズ５０の焦点面（入射瞳面）に結像させる。ミラー４６は、第１リレーレンズ４５と第２リレーレンズ４７との間の焦点位置に配置されており、情報光、参照光及び検索光を反射する。ミラー４６は、光学系４０の大きさを小型化するために設けられている。
【００６１】
ビームスプリッタ４８は、アドレス用レーザー６０からの光をホログラフィック記録媒体２０に向けて反射させる。四分の一波長板４９は、直線偏光を円偏光に変換するものであり、直線偏光を２回透過させることで偏光方向を９０度回転させることができる。この四分の一波長板４９によって、照射時に偏光ビームスプリッタ４４を透過した参照光は、ホログラフィック記録媒体２０で反射されて戻ってきた時には、偏光ビームスプリッタ４４で反射されることになる。再生光は、ホログラフィック記録媒体２０で反射されて戻ってきた参照光と同じものであるから、再生光も偏光ビームスプリッタ４４によって反射される。対物レンズ５０は、情報光及び参照光をフーリエ変換してホログラフィック記録媒体２０のホログラム記録層２１に照射し、情報光と参照光との干渉によって形成されたホログラム２４をホログラム記録層２１に記録する。また、対物レンズ５０は、検索光をフーリエ変換してホログラム記録層２１に記録されたホログラム２４に照射する。検索光とホログラム２４との干渉によって再生された再生光は、ホログラフィック記録媒体２０から対物レンズ５０に向かって進行し、対物レンズ５０を通過する。
【００６２】
なお、対物レンズ５０によってフーリエ変換された情報光と参照光とを記録媒体において干渉させてホログラムを記録する場合、情報光及び参照光の空間変調パターンは、対物レンズ５０の入射瞳面において結像されている必要がある。また、ホログラムに対しフーリエ変換された検索光を照射する場合、検索光の空間変調パターンは、対物レンズ５０の入射瞳面において結像されている必要がある。このため、第１リレーレンズ４５及び第２リレーレンズ４７によって、空間光変調器４３に表示された二次元パターン情報３１、３５及び参照光のパターンを対物レンズ５０の入射瞳面において結像させる。
【００６３】
アパーチャー５１は、ホログラフィック記録媒体２０で反射された検索光を遮光し、再生された再生光のみを再生光検出器５３に通過させる開口を有する。アパーチャー５１を第１リレーレンズ４５の焦点面に配置すると、検索光の回折光によるノイズを低減することができるので好ましい。ここでは、アパーチャー５１には、中心に開口が設けられているが、開口の位置は中心に限られない。再生光が通過する位置に、再生光が通過できる形状の開口が設けられてよい。例えば、再生光が複数の場合には、アパーチャー５１に複数の開口を設ければよいし、再生光が空間的に変調されている場合（つまり、記録時における参照光が二次元パターン情報で空間的に変調されている場合）には、参照光のパターンと相似の形状の開口を設ければよい。
【００６４】
再生光検出器５３は、再生光の光強度を検出する。再生光のパターンが再生光検出器５３の受光領域よりも小さい場合（つまり、記録時における参照光のパターンが再生光検出器５３の受光領域よりも小さい場合）、再生光検出器５３として、非常に感度の高い光検出素子（例えば、光電子倍増管（ｐｈｏｔｏｍｕｌｔｉｐｌｉｅｒ ｔｕｂｅ：ＰＭＴ））を利用することができる。また、安価で小型な半導体検出器として、例えば、ピンフォトダイオード、ＣＭＯＳセンサ、ＣＣＤセンサ等を利用することができる。
【００６５】
再生光のパターンが空間的に変調されており強度分布を有している場合（つまり、記録時における参照光が複数の場合や二次元パターン情報で空間的に変調されている場合）には、集光レンズ５２を設け、再生光を集光してもよい。また、再生光のパターンが再生光検出器の受光領域よりも大きい場合にも、集光レンズ５２によって再生光を集光してもよい。再生光のパターンが再生光検出器の受光領域よりも小さい場合であっても、集光レンズ５２を利用すれば信頼性を高めることができる。なお、光検出素子が二次元的に配置された光強度分布を検出できる光検出器でも、すべての光検出素子の強度を総和することで再生光の光強度を検出することができ、再生光検出器５３として利用できる。
【００６６】
アドレス用レーザー６０、ビームスプリッタ６１、ミラー６２及びアドレス光検出器６３は、ホログラフィック記録媒体２０にアドレス層が設けられた場合、このアドレス層からアドレス情報を取得し、照射位置を特定し、また、位置合わせするために使用される。アドレス用レーザー６０としては、ホログラム記録層２１の感光材料が感光しない波長が好ましく、赤色光等の比較的長波長の半導体レーザーを利用することが好ましい。アドレス光検出器６３としては、安価で小型な半導体検出器を使用することができる。
【００６７】
続いて、アドレス用レーザー６０によるアドレス情報を取得する動作を簡単に説明する。アドレス用レーザー６０は、アドレス光を照射する。照射されたアドレス光は、ビームスプリッタ６１を透過してミラー６２によって反射され、さらにビームスプリッタ４８によって反射され、四分の一波長板４９を透過し、対物レンズ５０によってホログラフィック記録媒体２０のアドレス層に照射される。ホログラフィック記録媒体２０のアドレス層によって反射された反射光は、対物レンズ５０、４９、４８、６２を逆方向に通過し、ビームスプリッタ６１によって反射され、アドレス光検出器６３に入射する。アドレス光検出器６３は、入射した反射光から、ホログラフィック記録媒体２０のアドレス情報を取得する。
【００６８】
図４（Ａ）及び（Ｂ）は、ホログラム記録時の空間光変調器４３における表示面及び動作を示す概略図である。空間光変調器４３の表示面は、対物レンズ５０の入射瞳面３４又は入射瞳面と共役な位置に配置される。以下、図３を合わせて参照しながら、ホログラムの記録の動作について説明する。
【００６９】
ホログラム記録時には、ホログラム記録処理部１１又は情報処理装置３０（以下、単に「ホログラム記録処理部１１」という。）は、画像情報を取得すると、取得した原画像情報から記録用の二次元パターン情報３１を生成し、生成された記録用の二次元パターン情報３１を空間光変調器４３の表示面の一部の領域４３ａに表示する。また、ホログラム記録処理部１１は、表示面の他の一部の領域４３ｂに参照光３３のパターンを表示する。
【００７０】
記録用の二次元パターン情報３１は、原画像情報をそのまま使用してもよいし、一つ又は複数の前処理を施したものであってもよい。前処理としては、例えば、グレースケール化処理、２値画像化処理、解像度を変更する画像処理、原画像情報の一部を切り取るトリミング処理、エッジ強調処理等である。特に、エッジ強調処理は、画像情報の特徴である構図の要素を明らかにするので、有効な前処理である。さらに、画像を分割して並び変えるランダム変換処理を施してもよい。なお、前処理やランダム変換処理については、本願の出願人が出願した特開２０１０−６０６０５号公報に記載されているので、詳細な説明を省略する。
【００７１】
前処理を実行した場合には、情報量が削減された画像情報が第１データベース７０に格納されるので、第１データベース７０に格納された画像情報は、原画像情報とは、厳密にいえば異なるものであるが、原画像情報の特徴を有しており、原画像情報と対応するものである。なお、第２データベース８０に格納された画像情報には、原画像情報と同じものを記憶してもよいし、第１データベース７０に格納された画像情報と同じものを記録してもよいし、あるいは原画像情報に他の前処理を施した画像情報を記録していてもよい。
【００７２】
また、空間光変調器４３の領域４３ｂは、記録用の二次元パターン情報３１が表示される領域４３ａの周囲に少なくとも一つ配置される。例えば、領域４３ｂは、図４（Ａ）に示したように、領域４３ａの上方に配置されてもよい。図４（Ａ）の領域４３ｂは、領域４３ａに比べて極めて小さい４画素（例えば、２×２画素）の領域である。このため、参照光３３は点光源のように発散する。そして、情報光３２及び参照光３３は、対物レンズ５０によってフーリエ変換され、ホログラフィック記録媒体２０の厚いホログラム記録層２１において干渉し、干渉縞を形成する。ホログラム記録層２１は、干渉縞を立体的に記録する。すなわち、体積ホログラムが形成される。
【００７３】
ただし、参照光のパターンは、これに限定されるものではない。例えば、本願発明の出願人が出願した特開２０１０−６０６０５号公報の図９（Ａ）に記載されたとおり、参照光のパターンを複数箇所に表示して、複数の参照光によって干渉縞を形成してもよい。領域４３ｂの大きさと数は適宜変更することができる。
【００７４】
ここで、図３を参照すると、空間光変調器４３は、二次元パターン情報３１を表示し、表示された二次元パターン情報３１によってホログラム用光源４１からの光を空間的に変調することによって、情報光３２を生成することができ、情報光生成手段として機能する。また、空間光変調器４３は、参照光のパターンを表示し、表示された参照光のパターンによってホログラム用光源４１からの光を空間的に変調することによって参照光３３を生成することができ、参照光生成手段として機能する。なお、ホログラム用光源４１から照射された光は、図示しないビーム成形光学系によって、空間光変調器４３の表示面よりも大きな断面を有する略平行光に成形される。ビーム成形光学系としては、例えば、発散光を平行光に加工するコリメータレンズ、ビームの口径を大きくするビームエキスパンダー等が含まれる。略平行光は、ミラー４２によって空間光変調器４３に向かって反射され、空間光変調器４３に表示された記録用の二次元パターン情報３１及び参照光のパターンによって空間的に変調される。このように、情報光３２と参照光３３とを同一の空間光変調器４３によって生成することによって、情報光及び参照光の位相を揃えることができ、強い干渉縞を形成することができる。ただし、情報光生成手段と参照光生成手段とを別々に設けて、それぞれ独立して情報光及び参照光を生成してもよい。
【００７５】
生成された情報光３２及び参照光３３は、偏光ビームスプリッタ４４を透過し、第１リレーレンズ４５及び第２リレーレンズ４７によって対物レンズ５０の入射瞳面３４に伝達され、その途中、ミラー４６によって反射され、ビームスプリッタ４８を透過し、四分の一波長板４９によって円偏光に変換される。そして、図４（Ｂ）に示すとおり、情報光３２及び参照光３３は、対物レンズ５０によってフーリエ変換され、平行光となって、ホログラフィック記録媒体２０のホログラム記録層２１に照射される。この結果、ホログラム記録層２１には、情報光３２と参照光３３との干渉によって形成されたホログラム２４が記録される。なお、ホログラム記録処理部１１は、サーボ情報に基づいて、図示しない記録媒体保持機構のサーボを制御し、情報光３２及び参照光３３が照射される位置を合わせている。同様にして、ホログラム記録処理部１１は、他の原画像情報から生成された記録用の二次元パターン情報３１についても、ホログラム記録層２１の異なる位置に、一部を重畳させて順次記録し、ホログラフィック記録媒体２０にホログラム２４を多重記録する。ホログラム記録処理部１１は、記録されたホログラム２４の各アドレス情報をアドレス情報テーブル２００の対応するエントリに格納することが好ましい。
【００７６】
図４（Ｃ）及び（Ｄ）は、画像検索時の空間光変調器４３における表示面及び動作を示す概略図である。以下、図３を合わせて参照しながら、ホログラムの再生の動作について説明する。
【００７７】
画像検索時には、第１検索処理部１２又は情報処理装置３０（以下、単に「第１検索処理部１２」という。）は、検索画像情報を取得すると、取得した検索画像情報から検索用の二次元パターン情報３５を生成し、生成された検索用の二次元パターン情報３５を空間光変調器４３の表示面の一部の領域４３ａに表示する。なお、ホログラム記録時に、取得した画像情報に前処理が実行していた場合、第１検索処理部１２は、取得した検索画像情報に対しても、同様の前処理を実行し、検索用の二次元パターン情報３５を生成する。
【００７８】
ここで、図３を参照すると、空間光変調器４３は、ホログラム用光源４１からの光を用いて、検索画像情報の二次元パターン情報３５を空間的に変調することによって、検索光３６を生成する。ホログラム用光源４１から照射された光は、図示しないビーム成形光学系によって略平行光とされる。略平行光は、ミラー４２によって空間光変調器４３に向かって反射され、空間光変調器４３に表示された検索用の二次元パターン情報３５によって空間的に変調され、検索光３６が生成される。
【００７９】
生成された検索光３６は、偏光ビームスプリッタ４４を透過し、第１リレーレンズ４５及び第２リレーレンズ４７によって対物レンズ５０の入射瞳面３４に伝達され、その途中、ミラー４６によって反射され、ビームスプリッタ４８を透過し、四分の一波長板４９によって円偏光に変換される。そして、図４（Ｄ）に示すとおり、検索光３６は、入射瞳面３４から射出され、対物レンズ５０によってフーリエ変換され、平行光となって、ホログラフィック記録媒体２０のホログラム記録層２１に記録されたホログラム２４に照射される。この結果、ホログラム２４と検索光３６とが干渉して、記録時の参照光３３に相当する再生光３７が再生される。なお、第１検索処理部１２は、サーボ情報に基づいて、図示しない記録媒体保持機構のサーボを制御し、検索光３６が照射される位置を合わせている。
【００８０】
再生光検出器５３は、再生光３７を検出する。具体的には、図３を参照すると、反射層２３で反射された再生光３７は、ホログラフィック記録媒体２０から射出され、照射時とは反対方向に、対物レンズ５０、四分の一波長板４９、ビームスプリッタ４８、第２リレーレンズ４７、ミラー４６及び第１リレーレンズ４５を経て、偏光ビームスプリッタ４４に入射する。再生光３７は、記録時の参照光３３に相当するものであるところ、参照光３３は、ホログラフィック記録媒体２０に照射される際に四分の一波長板４９を通過して円偏光に変換されていたため、再度、再生光３７として四分の一波長板４９を通過すると、参照光３３とは直交する偏光方向の直線偏光となる。よって、再生光３７は、参照光３３を透過した偏光ビームスプリッタ４４によって反射され、アパーチャー５１を通過し、集光レンズ５２によって再生光検出器５３に集光される。なお、反射層２３で反射された検索光３６は、ホログラフィック記録媒体２０から射出され、再生光３７と同様の光学系を経て偏光ビームスプリッタ４４によって反射されるが、アパーチャー５１によって遮光される。
【００８１】
再生光検出器５３が検出した再生光３７の光強度は、ホログラム２４を記録したときの記録用の二次元パターン情報３５と検索用の二次元パターン情報３５との類似度によって変化する。すなわち、光強度の値が大きいほど二つの二次元パターン情報が類似していることになる。第１検索処理部１２は、検出された再生光３７の光強度をそのまま、又は光強度を補正して、検索画像情報とホログラム２４として記録された各画像情報との類似度を表す第１相関値を演算する。なお、第１検索処理部１２は、検索光を照射したホログラムについて、アドレス光に基づいてアドレス光検出器６３がホログラフィック記録媒体２０のアドレス層から読み出したアドレス情報を取得しておき、検出した再生光の強度又は演算された第１相関値と、そのホログラムのアドレス情報とを関連付けて記録することが好ましい。さらに、アドレス情報テーブル２００を参照して、アドレス情報から画像ＩＤを特定し、再生光の強度又は第１相関値と関連付けて画像ＩＤを記録してもよい。
【００８２】
なお、図３及び図４においては、記録時において、情報光の光軸と参照光の光軸とが同軸上に配置されたコリニア方式の光情報記録再生装置を利用しているが、本発明の光相関演算装置２は、かかる構成に限定されるものではない。情報光の光軸と参照光の光軸が異なる方式であっても、本発明の第１検索を実施することは可能である。
【００８３】
図５は、画像検索システムの検索処理を示すフローチャートである。検索は、大きく２段階に分かれており、ステップＳ３０１からＳ３０６までの処理が光相関演算による第１検索であり、ステップＳ４０１からＳ４０６までの処理が相関演算による第２検索である。
【００８４】
まず、情報処理装置１は、検索画像情報を取得する（Ｓ３０１）。検索画像情報は、端末９０を操作することによって検索者から入力されてもよいし、図示しないＷｅｂサーバ、ストレージシステム、監視カメラシステム等から入力されてもよい。情報処理装置１は、取得した検索画像情報を第１検索処理部１２及び第２検索処理部１３に入力する。
【００８５】
次に、第１検索処理部１２は、検索画像情報を取得すると、取得した検索画像情報の二次元パターン情報３５を生成し、光相関演算装置２の空間光変調器４３に表示し、表示された表示された検索用の二次元パターン情報３５を空間的に変調することによって、検索光を生成する。そして、上記図４（Ｃ）及び（Ｄ）において説明した光相関演算処理をホログラフィック記録媒体２０に記録された各ホログラムに対して実行し、第１データベース７０に格納された複数の画像情報についての第１相関値を取得する（Ｓ３０２）。検索画像情報の二次元パターン情報３５は、ホログラム記録時に、各画像情報の二次元パターン情報３１の生成方法と同様の方法によって生成される。例えば、記録時において原画像情報に前処理がなされていた場合には、取得した検索画像情報にも同様の前処理を実行する。第１検索処理部１２は、演算された各画像情報の第１相関値とアドレス情報又は画像ＩＤとを対応付け、対応付けられた情報をメモリ１０に格納してもよいし、各第１相関値をアドレス情報テーブル２００の対応する画像ＩＤのエントリに格納してもよい。
【００８６】
そして、第１相関値と所定の第１閾値とを比較し、第１相関値が第１閾値を超えるか否かを判定する（Ｓ３０３）。なお、第１閾値は、あらかじめ実験等によって定められた値であり、必要とされる類似度に応じて複数設定されていてもよい。なお、ステップＳ３０３に先立ち、第１検索処理部１２は、演算された第１相関値に基づいて、ステップＳ３０３の比較する順番を変更してもよい。例えば、第１相関値の高い順に並べ替えれば、ステップＳ３０３では、第１相関値の高い順に比較の処理が実行されるので、処理を速くすることができる。また、ステップＳ３０４では、第１相関値の高い順に２次検索候補が出力されるので、ステップＳ４０１以降の第２検索に好ましい。
【００８７】
ステップＳ３０３において、第１相関値が第１閾値を超えると判定された場合（Ｓ３０３のＹｅｓ）、第１検索処理部１２は、その第１相関値に対応する画像情報を２次検索候補として特定し、その画像情報のアドレス情報又は付与された画像ＩＤを第２検索処理部１３に出力する（Ｓ３０４）。そして、第１検索処理部１２は、ステップＳ３０３の比較処理の対象となる第１相関値が残存しているか否かを判定するステップＳ３０５に進む。
【００８８】
一方、ステップＳ３０３において、画像情報の第１相関値が第１閾値を超えないと判定された場合（Ｓ３０３のＮｏ）、その画像情報は検索画像情報と相関が低く類似していないので、第１検索処理部１２は、ステップＳ３０５の処理に進む。
【００８９】
第１検索処理部１２は、ステップＳ３０３の比較処理の対象となる第１相関値が残存しているか否かを判定する（Ｓ３０５）。ステップＳ３０５において、未処理の第１相関値があると判定された場合（Ｓ３０５のＮｏ）、第１検索処理部１２は、未処理の第１相関値を選択し、ステップＳ３０３において、第１相関値が第１閾値を超えるか否かを判定する（Ｓ３０３）。一方、ステップＳ３０５において、未処理の第１相関値がない判定された場合、第１検索処理部１２は、第１検索を終了する（Ｓ３０６）。第１検索処理部１２は、第１検索が終了した旨を第２検索処理部１３に通知してもよい。なお、ステップＳ３０３の比較処理は、通常、検出された全ての第１相関値が対象となるが、前述したように、第１相関値を高い順に並び変えていれば、第１閾値を超えないと判定されるまでの部分が対象となる。したがって、このように第１相関値を並び変えていた場合には、ステップＳ３０５において、第１閾値を超えないと判定された時点で第１検索が終了する。換言すれば、第１相関値を高い順に並び変えた場合は、ステップＳ３０５は不要となる。
【００９０】
なお、図５においては、第１検索処理部１２は、第１閾値を超える第１相関値をもった２次検索候補を一つ検出する毎に、その画像ＩＤを第２検索処理部１３に出力し、第２検索処理部１３が第２検索を開始している。このため、第１検索の途中から第２検索を開始することが可能であり、終的な検索時間を短縮することができ好ましい。ただし、複数の２次検索候補を併せて第２検索処理部１３に出力したり、第１検索が終了した後に、第１検索の結果として得られた２次検索候補の画像ＩＤを一括して第２検索処理部１３に出力することも可能である。
【００９１】
第２検索処理部１３は、第１検索処理部１２から出力された２次検索候補のアドレス情報又は画像ＩＤを取得し、アドレス情報テーブル２００を参照して、そのアドレス情報又は画像ＩＤに対応する画像情報を第２データベース８０から取得する（Ｓ４０１）。
【００９２】
次に、第２検索処理部１３は、検索画像情報と取得した第２データベース８０における２次検索候補の画像情報との第２相関値を演算する（Ｓ４０２）。相関演算として、例えば、検索画像情報と２次検索候補の画像情報との内積、ユークリッド距離又は相関係数を求めることにより、類似度を算出することができる。Ｎ×Ｎ画素の画像情報Ｆ、Ｇの各画素の要素について、一次元の列ベクトルｆ、列ベクトルｇとして表現した場合、内積は数式（１）で算出でき、ユークリッド距離は数式（２）で算出でき、相関係数は数式（３）で算出できる。なお、第２相関値の算出はこれらの方式に限定されるものではない。
【００９３】
【数１】
（１）
【００９４】
【数２】
（２）
【００９５】
【数３】
（３）
【００９６】
次に、第２検索処理部１３は、取得した２次検索候補の画像情報の第２相関値と所定の第２閾値とを比較し、第２相関値が第２閾値を超えるか否かを判定する（Ｓ４０３）。ステップＳ４０３において用いる第２閾値は、あらかじめ実験等によって定められた値であり、必要とされる類似度に応じて複数設定されていてもよい。ステップＳ３０５において用いる第１閾値より高く設定されるのが好ましい。この場合、第１相関値と第２相関値とは規格化等によって値を共通化しておくことが好ましい。なお、第１閾値と第２閾値とを同じにしてもよい。ステップＳ４０３において、第２相関値が第２閾値を超えると判定された場合（Ｓ４０３のＹｅｓ）、第２検索処理部１３は、その２次検索候補に対応する画像情報を検索結果として特定する（Ｓ４０４）。その後、第２検索の対象となる２次検索候補があるか否かを判定する（Ｓ４０５）。
【００９７】
一方、ステップＳ４０３において、第２相関値が第２閾値を超えないと判定された場合（Ｓ４０３のＮｏ）、検索結果として特定せずに、第２検索の対象となる２次検索候補があるか否か判定する（Ｓ４０５）。なお、第２相関値が第２閾値を超えなかった場合であっても、参考として２次検索候補を出力するように構成してもよい。
【００９８】
第２検索処理部１３は、第２検索の対象となる２次検索候補があるか否かを判定する（Ｓ４０５）。ステップＳ４０５において、未処理の２次検索候補があると判定された場合（Ｓ４０５のＮｏ）、第２検索処理部１３は、未処理の２次検索候補を選択し、ステップＳ４０２において、検索画像情報との第２相関値を演算し、ステップＳ４０３において、第２相関値が第２閾値を超えるか否かを判定する（Ｓ４０３）。一方、ステップＳ４０５において、第２検索の対象となる２次検索候補がないと判定された場合（Ｓ４０５のＹｅｓ）、第２検索処理部１３は、第２検索を終了する（Ｓ４０６）。なお、ここでは、第２検索処理部１３は、所定の待ち時間が経過しても第１検索処理部１２から２次検索候補が出力されないことに基づいて、２次検索候補を対象とした２次検索を終了することを決定してもよいし、第１検索処理部１２から第１検索の終了した通知に基づいて、２次検索候補の範囲を決定し、かかる範囲の第２検索を終了した時点で終了することを決定してもよい。
【００９９】
第２検索の結果得られた検索結果は、情報処理装置１又は端末９０に出力（表示）させることができる。出力の形式は特に限定されるものではないが、画像ＩＤ、原画像情報、第１データベースのアドレス情報２０２又は第２データベースのアドレス情報２０３を出力したり、サムネイル２０４、キーワード２０５等を含めて出力してもよい。ステップＳ４０４において、複数の画像情報が第２閾値を超えており、検索結果が複数となった場合、第２検索処理部１３は、最も高い第２相関値を持つ画像情報を検索結果として出力してもよいし、第２相関値の高い順に出力してもよい。さらに、第２検索処理部１３は、検索結果として複数の画像情報又はサムネイルを端末９０に出力し、検索者に対し、検索画像情報と類似する画像情報を選択させることもできる。また、第２検索の結果、第２閾値を超える画像情報が検索されなかった場合、第２検索処理部１３は、第２閾値を低く設定して第２検索を繰り返してもよい。
【０１００】
また、図５においては、第２検索において第２相関値と第２閾値とを比較しているが、２次検索候補の第２相関値同士を比較して、検索結果を取得することも可能である。この場合、ステップＳ４０３は不要であるが、２次検索候補の第２相関値同士を比較するステップが必要となる。比較した結果、検出された第２相関値が最も大きい画像情報を検索結果として出力してもよいし、上位の複数画像情報を検索結果として出力してもよいし、第２相関値の大きい順に全ての２次検索候補を検索結果として出力してもよい。
【０１０１】
以上説明したように、本発明の実施形態によると、第１検索において、ホログラフィック記録媒体に記録された複数の画像情報と検索画像情報とを光相関演算させて２次検索候補を特定し、次に、第２検索において、記憶装置に記憶された複数の画像情報の中から、２次検索候補に対応する画像情報について検索画像情報と相関演算させて検索結果を取得するので、検索速度及び検索精度を向上させることができる。また、第１検索において、一つの２次検索候補が特定されるたびに第２検索が開始されるので、第１検索及び第２検索の合計の処理時間を短縮することができる。
【０１０２】
なお、本発明の画像検索システムは、上述した第１検索及び第２検索の２段階の検索を行うモードとは別に、第１データベースのみを利用した光相関演算による検索モードや、第２データベースのみを利用した相関演算による検索モードを行うことができてもよい。
【符号の説明】
【０１０３】
１ 情報処理装置
２ 光相関演算装置
４ ＣＰＵ
６ 記憶装置
１０ メモリ
１１ ホログラム記録処理部
１２ 第１検索処理部
１３ 第２検索処理部
２０ ホログラフィック記録媒体
３０ 情報処理装置
４０ 光学系
７０ 第１データベース
８０ 第２データベース
９０ 端末
１００ ネットワーク
２００ アドレス情報テーブル
【特許請求の範囲】
【請求項１】
複数の画像情報から検索画像情報に類似する画像情報を検索する画像検索システムであって、
情報処理装置と、
前記複数の画像情報に基づいて形成された複数のホログラムが記録されたホログラフィック記録媒体と、
前記ホログラフィック記録媒体を含む光相関演算装置と、
前記複数の画像情報が記憶された記憶装置と、を有し、
前記情報処理装置と前記記憶装置とは直接又はネットワークを介して接続され、
前記情報処理装置と前記光相関演算装置とは直接又はネットワークを介して接続され、
前記情報処理装置は、前記光相関演算装置において、前記ホログラフィック記録媒体に記録された前記複数の画像情報と前記検索画像情報とを光相関演算させて２次検索候補を特定し、前記記憶装置に記憶された前記複数の画像情報の中から、前記２次検索候補に対応する画像情報について前記検索画像情報と相関演算させて検索結果を取得することを特徴とする画像検索システム。
【請求項２】
前記情報処理装置は、
前記光相関演算によって、前記ホログラフィック記録媒体に記録された前記複数の画像情報と前記検索画像情報との類似度を表す第１相関値を検出し、
前記検出された第１相関値を第１閾値と比較して、前記第１閾値よりも大きい前記画像情報を前記２次検索候補とし、
前記相関演算によって、前記記憶装置に記憶された前記複数の画像情報と前記検索画像情報との類似度を表す第２相関値を検出し、
前記検出された第２相関値に基づいて、前記検索結果を取得することを特徴とする請求項１に記載の画像検索システム。
【請求項３】
前記情報処理装置は、前記検出された第２相関値を第２閾値と比較して、前記第２閾値よりも大きい前記画像情報を前記検索結果とすることを特徴とする請求項２に記載の画像検索システム。
【請求項４】
前記情報処理装置は、前記検出された第２相関値が最も大きい画像情報を前記検索結果とすることを特徴とする請求項２に記載の画像検索システム。
【請求項５】
前記情報処理装置は、前記２次検索候補を一つ特定するたびに、前記第２相関値を検出することを特徴とする請求項２から４のいずれかに記載の画像検索システム。
【請求項６】
前記情報処理装置は、前記ホログラフィック記録媒体に記録された前記複数の画像情報のアドレス情報と、前記記憶装置に記憶された前記複数の画像情報のアドレス情報とが関連付けられた情報を参照して、前記記憶装置に記憶された前記複数の画像情報の中から前記２次検索候補に対応する画像情報を抽出することを特徴とする請求項１から５のいずれかに記載の画像検索システム。
【請求項７】
前記光相関演算装置は、
前記検索画像情報から生成された二次元パターン情報を空間的に光変調することによって検索光を生成する空間光変調器を備え、
前記生成された検索光を前記ホログラフィック記録媒体に照射することによって、前記ホログラフィック記録媒体に記録された前記複数のホログラムから再生光を再生し、
前記再生された再生光の光強度に基づいて、前記２次検索候補を特定することを特徴とする請求項１から６のいずれかに記載の画像検索システム。
【請求項８】
前記情報処理装置は、前記検索画像情報を前処理し、前処理された検索画像情報から前記二次元パターン情報を生成することを特徴とする請求項７に記載の画像検索システム。
【請求項９】
複数の画像情報から検索画像情報に類似する画像情報を検索する画像検索システムにおいて実行される画像検索プログラムであって、
前記画像検索システムは、情報処理装置と、前記複数の画像情報に基づいて形成された複数のホログラムが記録されたホログラフィック記録媒体と、前記ホログラフィック記録媒体を含む光相関演算装置と、前記複数の画像情報が記憶された記憶装置と、を有し、
前記画像検索プログラムは、前記情報処理装置に、
前記光相関演算装置を制御して前記ホログラフィック記録媒体に記録された前記複数の画像情報と前記検索画像情報とを光相関演算させて、前記複数の画像情報と前記検索画像情報との類似度を表す第１相関値を検出する第１手順と、
前記検出された第１相関値を第１閾値と比較して、前記第１閾値よりも大きい前記画像情報を前記２次検索候補とする第２手順と、
前記記憶装置に記憶された前記複数の画像情報の中から、前記２次検索候補に対応する画像情報について前記検索画像情報と相関演算させて、前記２次検索候補に対応する画像情報と前記検索画像情報との類似度を表す第２相関値を検出する第３手順と、
前記検出された第２相関値に基づいて検索結果を取得する第４手順と、
を実行させることを特徴とする画像検索プログラム。
【請求項１０】
前記第４手順は、前記検出された第２相関値を第２閾値と比較して、前記第２閾値よりも大きい前記画像情報を検索結果とする手順を含むことを特徴とする請求項９に記載の画像検索プログラム。
【請求項１１】
前記第４手順は、前記検出された第２相関値が最も大きい画像情報を前記検索結果とする手順を含むことを特徴とする請求項９に記載の画像検索プログラム。
【請求項１２】
前記第３手順は、前記第２手順において、前記２次検索候補を一つ特定するたびに、前記第２相関値を検出する手順を含むことを特徴とする請求項９から１１のいずれかに記載の画像検索プログラム。
【請求項１３】
前記第３手順は、前記２次検索候補が特定されると、前記ホログラフィック記録媒体に記録された前記複数の画像情報のアドレス情報と、前記記憶装置に記憶された前記複数の画像情報のアドレス情報とが関連付けられた情報に基づいて、前記記憶装置に記憶された前記複数の画像情報の中から前記２次検索候補に対応する画像情報を抽出する手順を含むことを特徴とする請求項９から１２のいずれかに記載の画像検索プログラム。
【請求項１】
複数の画像情報から検索画像情報に類似する画像情報を検索する画像検索システムであって、
情報処理装置と、
前記複数の画像情報に基づいて形成された複数のホログラムが記録されたホログラフィック記録媒体と、
前記ホログラフィック記録媒体を含む光相関演算装置と、
前記複数の画像情報が記憶された記憶装置と、を有し、
前記情報処理装置と前記記憶装置とは直接又はネットワークを介して接続され、
前記情報処理装置と前記光相関演算装置とは直接又はネットワークを介して接続され、
前記情報処理装置は、前記光相関演算装置において、前記ホログラフィック記録媒体に記録された前記複数の画像情報と前記検索画像情報とを光相関演算させて２次検索候補を特定し、前記記憶装置に記憶された前記複数の画像情報の中から、前記２次検索候補に対応する画像情報について前記検索画像情報と相関演算させて検索結果を取得することを特徴とする画像検索システム。
【請求項２】
前記情報処理装置は、
前記光相関演算によって、前記ホログラフィック記録媒体に記録された前記複数の画像情報と前記検索画像情報との類似度を表す第１相関値を検出し、
前記検出された第１相関値を第１閾値と比較して、前記第１閾値よりも大きい前記画像情報を前記２次検索候補とし、
前記相関演算によって、前記記憶装置に記憶された前記複数の画像情報と前記検索画像情報との類似度を表す第２相関値を検出し、
前記検出された第２相関値に基づいて、前記検索結果を取得することを特徴とする請求項１に記載の画像検索システム。
【請求項３】
前記情報処理装置は、前記検出された第２相関値を第２閾値と比較して、前記第２閾値よりも大きい前記画像情報を前記検索結果とすることを特徴とする請求項２に記載の画像検索システム。
【請求項４】
前記情報処理装置は、前記検出された第２相関値が最も大きい画像情報を前記検索結果とすることを特徴とする請求項２に記載の画像検索システム。
【請求項５】
前記情報処理装置は、前記２次検索候補を一つ特定するたびに、前記第２相関値を検出することを特徴とする請求項２から４のいずれかに記載の画像検索システム。
【請求項６】
前記情報処理装置は、前記ホログラフィック記録媒体に記録された前記複数の画像情報のアドレス情報と、前記記憶装置に記憶された前記複数の画像情報のアドレス情報とが関連付けられた情報を参照して、前記記憶装置に記憶された前記複数の画像情報の中から前記２次検索候補に対応する画像情報を抽出することを特徴とする請求項１から５のいずれかに記載の画像検索システム。
【請求項７】
前記光相関演算装置は、
前記検索画像情報から生成された二次元パターン情報を空間的に光変調することによって検索光を生成する空間光変調器を備え、
前記生成された検索光を前記ホログラフィック記録媒体に照射することによって、前記ホログラフィック記録媒体に記録された前記複数のホログラムから再生光を再生し、
前記再生された再生光の光強度に基づいて、前記２次検索候補を特定することを特徴とする請求項１から６のいずれかに記載の画像検索システム。
【請求項８】
前記情報処理装置は、前記検索画像情報を前処理し、前処理された検索画像情報から前記二次元パターン情報を生成することを特徴とする請求項７に記載の画像検索システム。
【請求項９】
複数の画像情報から検索画像情報に類似する画像情報を検索する画像検索システムにおいて実行される画像検索プログラムであって、
前記画像検索システムは、情報処理装置と、前記複数の画像情報に基づいて形成された複数のホログラムが記録されたホログラフィック記録媒体と、前記ホログラフィック記録媒体を含む光相関演算装置と、前記複数の画像情報が記憶された記憶装置と、を有し、
前記画像検索プログラムは、前記情報処理装置に、
前記光相関演算装置を制御して前記ホログラフィック記録媒体に記録された前記複数の画像情報と前記検索画像情報とを光相関演算させて、前記複数の画像情報と前記検索画像情報との類似度を表す第１相関値を検出する第１手順と、
前記検出された第１相関値を第１閾値と比較して、前記第１閾値よりも大きい前記画像情報を前記２次検索候補とする第２手順と、
前記記憶装置に記憶された前記複数の画像情報の中から、前記２次検索候補に対応する画像情報について前記検索画像情報と相関演算させて、前記２次検索候補に対応する画像情報と前記検索画像情報との類似度を表す第２相関値を検出する第３手順と、
前記検出された第２相関値に基づいて検索結果を取得する第４手順と、
を実行させることを特徴とする画像検索プログラム。
【請求項１０】
前記第４手順は、前記検出された第２相関値を第２閾値と比較して、前記第２閾値よりも大きい前記画像情報を検索結果とする手順を含むことを特徴とする請求項９に記載の画像検索プログラム。
【請求項１１】
前記第４手順は、前記検出された第２相関値が最も大きい画像情報を前記検索結果とする手順を含むことを特徴とする請求項９に記載の画像検索プログラム。
【請求項１２】
前記第３手順は、前記第２手順において、前記２次検索候補を一つ特定するたびに、前記第２相関値を検出する手順を含むことを特徴とする請求項９から１１のいずれかに記載の画像検索プログラム。
【請求項１３】
前記第３手順は、前記２次検索候補が特定されると、前記ホログラフィック記録媒体に記録された前記複数の画像情報のアドレス情報と、前記記憶装置に記憶された前記複数の画像情報のアドレス情報とが関連付けられた情報に基づいて、前記記憶装置に記憶された前記複数の画像情報の中から前記２次検索候補に対応する画像情報を抽出する手順を含むことを特徴とする請求項９から１２のいずれかに記載の画像検索プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−１４１６９３（Ｐ２０１２−１４１６９３Ａ）
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願番号】特願２０１０−２９２７３２（Ｐ２０１０−２９２７３２）
【出願日】平成２２年１２月２８日（２０１０．１２．２８）
【出願人】（５０３２１６５２４）
【Ｆターム（参考）】
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願日】平成２２年１２月２８日（２０１０．１２．２８）
【出願人】（５０３２１６５２４）
【Ｆターム（参考）】
[ Back to top ]