画像照合プログラム、画像照合方法、及び画像照合装置
【課題】画像検索に必要な処理時間を短縮できる画像照合プログラム、画像照合装置、画像照合方法、及び画像検索システムを提供することを目的とする。
【解決手段】入力画像を取得する入力画像取得部２１と、入力画像を輝度値に応じた領域に分割する領域分割部２３と、領域毎に領域内の一点を示す代表点座標を取得する代表点座標生成部２５と、代表点座標における入力画像の輝度値を取得する第１輝度値テーブル作成部２７と、蓄積画像を取得する蓄積画像取得部３１と、代表点座標における蓄積画像の輝度値を取得する第２輝度値テーブル作成部３５と、入力画像と蓄積画像の代表点座標における輝度値の差が所定範囲内か否かを、全ての前記代表点座標について判別することにより前記第１の画像と前記第２の画像とを照合する画像照合部１３により画像照合装置を構成することにより、上記課題の解決を図る。
【解決手段】入力画像を取得する入力画像取得部２１と、入力画像を輝度値に応じた領域に分割する領域分割部２３と、領域毎に領域内の一点を示す代表点座標を取得する代表点座標生成部２５と、代表点座標における入力画像の輝度値を取得する第１輝度値テーブル作成部２７と、蓄積画像を取得する蓄積画像取得部３１と、代表点座標における蓄積画像の輝度値を取得する第２輝度値テーブル作成部３５と、入力画像と蓄積画像の代表点座標における輝度値の差が所定範囲内か否かを、全ての前記代表点座標について判別することにより前記第１の画像と前記第２の画像とを照合する画像照合部１３により画像照合装置を構成することにより、上記課題の解決を図る。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像照合プログラム、画像照合方法、画像照合装置、及び画像検索システムに関する。
【背景技術】
【０００２】
大量の蓄積画像から入力画像と一致する画像を高速に検索する画像検索の応用例として、例えば映像監視システムがある。このような映像監視システムを異常検知システムとして用いる際には、正常な状態のときに撮影した大量の蓄積画像全てと入力画像とを比較する。そして、蓄積画像の中に入力画像と一致する画像があるか否かを確認することにより、監視対象に異常が発生していないか否かを判定する。また、著作権違反の画像があるか否かを確認する画像検索システムにも、上記のような画像検索の応用が可能である。このような大量の蓄積画像の中から入力画像と一致する画像を検索するシステムの実現においては、比較する画像の数が多いため、画像照合処理の高速化が求められる。
【０００３】
２枚の画像が一致するか否かを高速に比較する代表的な方法として、ｃｏａｒｓｅ−ｔｏ−ｆｉｎｅ法（粗密探索法）がある。この方法では、最初に解像度の低い画像で比較した結果を基にして、より高い解像度の画像で探索を行う。この方法について、図１を参照しながら説明する。図１は、ｃｏａｒｓｅ−ｔｏ−ｆｉｎｅ法の処理を概念的に示す図である。図１に示すように、入力画像４００がある場合に、まず例えば画像４０１のように、破線で４分割してそれぞれの領域の平均輝度値を求め、解像度の低い画像４０２を作成する。
【０００４】
同様に、データベース４１０に蓄積された画像４１２についても、４分割した領域の平均輝度値を求め、解像度の低い画像データ４１４を作成する。そして、画像４０２と画像４１４との平均輝度値を比較することにより、入力画像に類似した画像を探索する。画像４１６、４２０についても、４分割した領域の平均輝度値を求め、画像データ４１８、４２２を作成することにより画像４０２と比較する。このように最初に低解像度の画像で比較を行い、一致しないものを検索対象から除去することにより、効率のよい検索を行うことを目的としている。
【０００５】
また、画像データベースの対象画像の中から、索引となる画像と同一もしくは類似する画像を検索する方法が提案されている。この方法では、画像の平均色や代表色などの特徴量を抽出して、画像を共通する特徴量を有する多角形の領域に分割し、索引となる画像の分割領域と画像データベース内の画像の分割領域との類似度を比較する。この方法により、精度の高い照合を行うことを目的としている。
【０００６】
さらに、２つの画像のうち第１の画像を小領域に分割し、１つの小領域を選択して相関を計算することにより求められる類似度に基づいて、類似する領域を検出する方法も提案されている。
【０００７】
他の領域分割の方法としては、一つの画像において、明るさ、色、テクスチャなど局所的な特徴が一様な部分画像に分割する手法も知られている。例えば、単純領域拡張法は、画像平面上で、隣接画素間の濃度レベル差に基づいて分割を行う方法である。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平１１−１６７６３４号公報
【特許文献２】特開２００３−１３２３５４号公報
【非特許文献】
【０００９】
【非特許文献１】尾上守夫、曽根光男、“ピラミッド構造の階層間の幾何学的対応に基づいた画像の高速重ね合わせ、” 信学論（Ｄ）、ｖｏｌ．Ｊ７０−Ｄ、ｎｏ．１、ｐｐ．１３９−１４７、１９８７
【非特許文献２】新編 画像解析ハンドブック：高木幹雄・下田陽久 監修 ２００４年９月１０日初版、東京大学出版会、１６５１−１６６８ページ
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、上記のようなｃｏａｒｓｅ−ｔｏ−ｆｉｎｅ法では、図１に示したような画像４１２、４１６、４２０は、異なる画像であるにもかかわらず、画像データ４１４、４１８、４２２が同一になってしまう。このように、入力画像に類似した画像では、最初に分解能が低い粗い解像度で比較したときには差がほとんどないため、初期段階からより高い解像度による比較が必要になり、処理時間の短縮効果が得られないという問題がある。
【００１１】
また、画像の類似度で判定する上記のような方法を、入力画像と大量の蓄積画像との比較において適用するためには、全ての蓄積画像に対して領域分割処理が必要となり、処理時間がかかるという問題がある。
【００１２】
そこで、本発明は、大量で入力画像に類似する画像が多い蓄積画像と入力画像を比較する画像検索においても適用が可能で、画像検索の全体の処理時間を短縮することが可能な画像照合プログラム、画像照合方法、画像照合装置、および画像検索システムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
一つの態様である画像照合プログラムは、第１の画像取得部を介して第１の画像を取得し、前記第１の画像を画素値に応じた領域に分割する処理を行い、前記領域に分割する処理の結果得られた一つ以上の領域において各領域内の一点を示す代表点の座標を取得する。また、前記代表点における前記第１の画像の画素値を取得し、前記代表点の座標と、前記第１の画像の画素値とを関連付けて記憶部に格納する。さらに、第２の画像取得部を介して第２の画像を取得し、前記記憶部から前記代表点の座標を読み出し、前記代表点における前記第２の画像の画素値を取得する。そして、前記記憶部から前記第１の画像の前記代表点における画素値を読み出し、前記第１の画像の前記代表点における画素値と前記第２の画像の前記代表点における画素値との差が所定範囲内か否かを判別する。この判別を前記一つ以上の領域の各代表点について行うことにより、前記第１の画像と前記第２の画像とを照合する、処理を行わせることを特徴としている。
【００１４】
また、別の態様である画像照合装置は、第１の画像を取得する第１の画像取得部と、前記第１の画像を画素値に応じた領域に分割する処理を行う領域分割部と、を有している。また、前記領域分割部の処理の結果得られた一つ以上の領域において各領域内の一点を示す代表点の座標を取得する代表点座標生成部と、前記代表点における前記第１の画像の画素値を取得する第１の画素値取得部と、を有している。前記代表点の座標と、前記第１の画像の画素値とを対応付けて記憶する記憶部も備えている。さらに、第２の画像を取得する第２の画像取得部と、前記記憶部から前記代表点の座標を読み出し、前記代表点における前記第２の画像の画素値を取得する第２の画素値取得部を有する。前記記憶部から前記第１の画像の前記代表点における画素値を読出し、前記第１の画像の前記代表点における画素値と前記第２の画素値取得部が取得した前記第２の画像の前記代表点における画素値との差が所定範囲内か否かを判別する照合部も有する。照合部は、前記一つ以上の領域の各代表点について上記判別を行うことにより、前記第１の画像と前記第２の画像とを照合することを特徴としている。
【００１５】
さらに別の態様である画像照合方法は、第１の画像を取得する工程と、前記第１の画像を画素値に応じた領域に分割する処理を行う工程と、その結果得られた一つ以上の領域において各領域内の一点を示す代表点の座標を取得する工程と、を有している。また、前記一つ以上の領域の各代表点における前記第１の画像の画素値を取得する工程と、前記代表点の座標と、前記第１の画像の画素値とを対応付けて記憶する工程とを有している。さらに、第２の画像を取得する工程と、前記記憶する工程において記憶された前記代表点の座標を読み出し、前記代表点における前記第２の画像の画素値を取得する工程を有している。また、前記第１の画像と前記第２の画像とを照合する工程も有している。前記照合する工程では、前記記憶する工程において記憶された前記第１の画像の前記代表点における画素値を読出し、前記第１の画像の前記代表点における画素値と前記第２の画像の前記代表点における画素値との差が所定範囲内か否かを判別することを特徴としている。
【００１６】
また、画像を撮影し、画像データを出力する撮影装置と、前記撮影装置で撮影した画像を蓄積する画像蓄積装置と、上記画像照合装置と、を有し、前記第１の画像は、前記撮影装置から前記第１の画像取得部に送出され、前記第２の画像は、前記画像蓄積装置から前記第２の画像取得部により取得され、前記画像蓄積装置に蓄積された前記第２の画像の中で、前記第１の画像と一致する画像があるか否かを検索することを特徴とする画像検索システムによっても、上記課題の解決を図ることができる。
【発明の効果】
【００１７】
上述した態様の画像照合プログラム、画像照合装置、画像照合方法、及び画像検索システムによれば、画像検索に必要な処理時間を短縮することが可能になる。
【図面の簡単な説明】
【００１８】
【図１】ｃｏａｒｓｅ−ｔｏ−ｆｉｎｅ法の処理を概念的に示す図である。
【図２】第１の実施の形態による画像検索システム１を説明する図であり、（ａ）は画像検索システム１の構成を示す図、（ｂ）は、画像検索を説明する図である。
【図３】第１の実施の形態による画像照合装置の構成の概要を示す図である。
【図４】第１の実施の形態による画像照合装置の構成を詳細に示すブロック図である。
【図５】第１の実施の形態による画像検索システムの動作を示すフローチャートである。
【図６】第１の実施の形態による前処理の詳細を示すフローチャートである。
【図７】第１の実施の形態による領域分割の処理の一例を示すフローチャートである。
【図８】第１の実施の形態による画像の領域分割の一例を示す図であり、（ａ）は、入力画像を示す図であり、（ｂ）は、領域分割された画像を示す図である。
【図９】第１の実施の形態による代表点座標算出処理の動作を示すフローチャートである。
【図１０】第１の実施の形態による代表点算出の処理の一例を説明する図であり、（ａ）は領域と代表点の位置関係を示す図、（ｂ）は、入力画像における代表点の位置を示す図である。
【図１１】第１の実施の形態による入力画像用輝度値テーブルの一例を示す図である。
【図１２】第１の実施の形態による蓄積画像用輝度値テーブルの一例を示す図である。
【図１３】第１の実施の形態による照合テーブルの一例を示す図である。
【図１４】第１の実施の形態による入力画像と蓄積画像との照合処理を説明する図である。
【図１５】第１の実施の形態による輝度値の判別の基準について説明する図である。
【図１６】第１の実施の形態の変形例による代表点座標生成の動作を示すフローチャートである。
【図１７】第２の実施の形態による画像照合装置の構成の概要を示す図である。
【図１８】第２の実施の形態による画像照合装置の構成を詳細に示すブロック図である。
【図１９】第２の実施の形態による画像照合装置の動作を示すフローチャートである。
【図２０】第２の実施の形態による対応点算出の処理を説明する図である。
【図２１】標準的なコンピュータのハードウエア構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１９】
（第１の実施の形態）
以下、図面を参照しながら第１の実施の形態による画像検索システムについて説明する。まず、図２〜図４を参照しながら、第１の実施の形態による画像検索システム１の構成について説明する。図２は、第１の実施の形態による画像検索システム１を説明する図であり、（ａ）は画像検索システム１の構成を示す図、（ｂ）は、画像検索を説明する図である。図３は、第１の実施の形態による画像照合装置の構成を示す図、図４は画像照合装置の構成を詳細に示すブロック図である。
【００２０】
図２（ａ）、（ｂ）に示すように、画像検索システム１は、カメラ３と、画像照合装置５と、画像データベース７とを有している。画像検索システム１は、カメラ３から入力された画像と同一の画像が、画像データベース７に蓄積されているか否かを、画像照合装置５による画像照合を用いて検索するシステムである。カメラ３は、例えば固体撮像素子等を有する撮影機器であり、撮影対象を撮影して電気信号に変換し、画像データとして画像照合装置５に送出する。カメラ３としては、画像を電気信号に変換できるものであれば、静止画用、動画用、両用のいずれでもよい。画像照合装置５は、カメラ３により送出された入力画像１３０の画像データを取得し、画像データベース７から読み出す蓄積画像１９０等の画像データと比較し、比較結果を出力する装置である。画像照合装置５の詳細については後述する。画像データベース７は、画像データを格納する記憶装置である。画像データベース７には、入力画像１３０と比較する蓄積画像として、入力画像１３０を撮影する同じカメラ３で撮影した画像を蓄積する。
【００２１】
図３に示すように、画像照合装置５は、画像入力部９、代表点座標算出部１１、記憶部１２、蓄積画像部１５、画像照合部１３、出力部１７を有している。図４に示すように、画像入力部９は、入力画像取得部２１を有している。入力画像取得部２１は、カメラ３が撮影した画像を電気信号に変換した画像データを取得する。以下、画像の画像データを取得することを、単に画像を取得するということにする。代表点座標算出部１１は、領域分割部２３、代表点座標生成部２５、および第１輝度値テーブル作成部２７を有している。領域分割部２３は、入力画像の画像データにおける各画素の輝度値に応じて、入力画像を領域分割する。代表点座標生成部２５は、領域分割部２３で分割された領域のそれぞれについて、その領域内の一点を代表点とし、代表点座標を生成し、記憶部１２に格納する。第１輝度値テーブル作成部２７は、入力画像の代表点座標における輝度値を取得し、輝度値テーブルを作成し、記憶部１２に記憶する。代表点座標算出部１１の動作の詳細については、後述する。
【００２２】
蓄積画像部１５は、蓄積画像取得部３１、代表点座標取得部３３、及び第２輝度値テーブル作成部３５を有している。蓄積画像取得部３１は、蓄積画像データベース７から、蓄積画像を取得する。代表点座標取得部３３は、代表点座標算出部１１で算出された代表点座標を記憶部１２から取得する。第２輝度値テーブル作成部３５は、蓄積画像の代表点座標における輝度値を取得し、輝度値テーブルを作成し、記憶部１２に格納する。
【００２３】
画像照合部１３は、照合テーブル作成部２９を有している。照合テーブル作成部２９は、代表点座標算出部１１で作成された入力画像の輝度値テーブルと、蓄積画像部１５で作成された蓄積画像の輝度値テーブルとの内容を記憶部１２から読み出し、照合テーブルを作成し、一枚の蓄積画像について入力画像と全ての代表点における輝度値が所定範囲内であるか否かを判別する。記憶部１２は、代表点座標、輝度値テーブル、照合テーブルなどを記憶する。出力部１７は、照合結果作成部３７を有しており、画像照合部１３で判別された結果を出力するためのデータを作成し、出力する。上記画像照合装置５の各構成要素は、いずれもバス１９に接続され、各種のデータを相互に授受することができる。
【００２４】
次に、図５から図１４を主に参照しながら、第１の実施の形態による画像検索システム１の動作について説明する。図５は、第１の実施の形態による画像検索システム１の動作を示すフローチャートである。図５に示すように、まず、画像検索システム１の画像照合装置５は、前処理を行う（Ｓ８１）。前処理とは、入力画像の各領域における代表点の輝度を抽出する処理である。
【００２５】
ここで、図６〜図１０を参照しながら、前処理の詳細について説明する。図６は、前処理の詳細を示すフローチャート、図７は、領域分割の処理の一例を示すフローチャート、図８は、画像の領域分割の一例を示す図、図９は、代表点座標算出部１１の動作を示すフローチャート、図１０は、代表点算出の処理の一例を説明する図である。図６に示すように、まず、入力画像取得部２１は、カメラ３が撮影した入力画像を取得する（Ｓ９１）。続いて、領域分割部２３は、入力画像の領域分割を行う（Ｓ９２）。領域分割においては、単純領域拡張法、反復型領域拡張法など公知の方法を用いることができる。このような領域分割法については、例えば「」非特許文献２に詳細が記載されている。
【００２６】
一例として、単純領域拡張法を用いる場合には、図７に示すように、領域分割部２３は、入力画像をラスタ走査し（Ｓ１０１）、どの領域にもまだ属していない画素を探す（Ｓ１０２）。画素が抽出された場合には（Ｓ１０２：ＹＥＳ）、その画素を基準画素として基準画素の近傍（４連結または８連結）でどの領域にもまだ属していない画素との輝度値の差を比較する（１０３）。このとき、領域分割部２３は、基準画素とその近傍の画素との輝度値の差がある閾値Ｔ１以下であるか否かを判別し（Ｓ１０４）、閾値Ｔ１以下の場合には（Ｓ１０４：ＹＥＳ）、近傍の画素を基準画素と同一の領域に統合し、一つの領域であることを示すラベルを付加する（Ｓ１０５）。さらに、領域分割部２３は、新たに統合された画素を基準画素として（Ｓ１０６）、Ｓ１０３に戻り、上記輝度比較によるラベル付加処理を行う。Ｓ１０４で、領域分割部２３が、基準画素とその近傍の画素との輝度値の差がある閾値Ｔ１より大きいと判別した場合には（Ｓ１０４：ＮＯ）基準画素の近傍が全て比較済みであるか否か判別する（Ｓ１０７）。全て比較済みである場合には、領域分割部２３は、それ以上領域を広げられないと判断し、Ｓ１０１に戻る。まだ比較していない画素が近傍にある場合には、領域分割部２３は、以上の処理を、輝度値の差が閾値Ｔ１以下の画素が近傍になくなり領域がそれ以上広げられなくなるまで反復する（Ｓ１０７:ＮＯ）。以上の処理により、領域分割部２３は、画像を閾値Ｔ１以下の輝度差を持つ領域に分割する。このようにして、入力画像は、輝度値に応じて領域分割される。
【００２７】
例えば、図８（ａ）に示すように、入力画像が画像１３０であるとすると、画像１３０は、図８（ｂ）に示す画像１３２のように、輝度に応じて領域Ａ１〜Ａ５に分割される。ここで、閾値Ｔ１は、予めカメラ３で同一の撮影対象を撮影して輝度値の誤差を算出し、算出した誤差に基づき決定することができる。また、蓄積画像の数や、画像検索システム１として要求されている検索精度に基づき決定することもできる。
【００２８】
図６の処理に戻って、代表点座標算出部１１は、各領域から代表点座標を算出し、記憶部１２に格納する（Ｓ９３）。座標は、図８（ａ）の画像１３０において、左上端の点１３１を原点とし、左右方向がＸ軸、上下方向をＹ軸として定義する。ここで、図９を参照しながら、代表点座標の算出の詳細について説明する。図９に示すように、代表点座標生成部２５は、Ｓ９２で分割された領域の一つを選択する（Ｓ１２１）。代表点座標生成部２５は、選択した領域の中でＹ座標が最小（Ｙｍｉｎ）の画素位置を選択する（Ｓ１２２）。また、代表点座標生成部２５は、Ｙ座標が最小の画素位置で、Ｘ座標の最小値（Ｘｍｉｎ）を選択し（Ｓ１２３）、選択した最小値座標（Ｘｍｉｎ、Ｙｍｉｎ）を代表点座標とする（Ｓ１２４）。この代表点は、第１の実施の形態においては、上記領域分割処理におけるそれぞれの領域を示すラベル付加の開始点座標、すなわちそれぞれの領域において初めに基準画素とされた画素の座標となる。代表点座標を算出する際には、領域分割の際に、それぞれの領域のラベル付加の開始点座標を代表点座標として記憶しておくようにしてもよい。ここで、代表点座標生成部２５が、例えば領域Ａ１を選択しているとすると、図１０（ａ）（ｂ）の画像１３４、画像１３６に示すように、代表点はＰ１であり、代表点座標は（ｘ１、ｙ１）となる。
【００２９】
図６の処理に戻って、代表点座標生成部２５は、全ての領域から代表点座標を算出したか否かを判別する（Ｓ９４）。終了していない場合には、代表点座標生成部２５は、図１０（ａ）、（ｂ）に示すように、領域Ａ１〜領域Ａ５の全てについて図９の処理を繰り返し、代表点Ｐ１〜Ｐ５の座標（ｘ１、ｙ１）、（ｘ２、ｙ２）、・・・、（ｘ５、ｙ５）を取得し、記憶部１２に格納する。
【００３０】
代表点座標の取得が全て終了した場合には、第１輝度値テーブル作成部２７は、入力画像においてそれぞれの代表点座標に位置する画素の輝度値を取得し、代表点座標と輝度値とを関連付けた輝度値テーブルを作成し、記憶部１２に格納する（Ｓ９５）。図１１は、入力画像用輝度値テーブルの一例を示す図である。図１１に示すように、輝度値テーブル１４０は、項目１４２として、領域の代表点Ｐの番号（「００１」は、「Ｐ１」に相当する。以下同様）、項目１４４に、代表点の座標、項目１４６に、輝度値を格納している。例えば、輝度値テーブル１４０において、代表点Ｐ１の座標は（ｘ１、ｙ１）であり、輝度値が１９２であることが格納されている。以上で前処理が終了する。なお、この前処理は、１枚の入力画像に対し１回行われる。
【００３１】
図５の処理に戻って、画像照合部１３は、全ての蓄積画像との照合処理が終了したか否かを判別する（Ｓ８２）。照合処理が終了したと判別されると、処理はＳ８８に進んで、画像照合部１３は、一致画像なしと判別する。
【００３２】
照合処理が終了したと判別されない場合には、以下、Ｓ８３、Ｓ８４による高速化処理を行う。高速化処理とは、大量の蓄積画像から、入力画像に一致する可能性のあるもの抽出する処理であり、全体の画像検索の処理時間を短縮することを意図して行う処理である。蓄積画像部１５の蓄積画像取得部３１は、画像データベース７から照合処理を行っていない一枚の画像を選択して取得する（Ｓ８３）。代表点座標取得部３３、第２輝度値テーブル作成部３５は、代表点座標生成部２５が生成した代表点座標代表点座標位置で輝度値が一致するか否か判別する（Ｓ８４）。ここで一致するとは、輝度値の差が所定の範囲内であることをいう。
【００３３】
まず、代表点座標取得部３３は、代表点座標生成部２５が生成した代表点座標を記憶部１２から取得する。また、第２輝度値テーブル作成部３５は、蓄積画像において、代表点座標取得部３３が取得した代表点座標、例えば代表点Ｐ１〜Ｐ５の座標（ｘ１、ｙ１）、（ｘ２、ｙ２）、・・・、（ｘ５、ｙ５）に位置する画素の輝度値を取得する。また、第２輝度値テーブル作成部３５は、取得した代表点座標と輝度値とを関連付けた輝度値テーブルを作成し、記憶部１２に格納する。図１２は、蓄積画像用輝度値テーブルの一例を示す図である。図１２に示すように、輝度値テーブル１５０は、項目１５２として、領域の代表点Ｐの番号、項目１５４に、代表点の座標、項目１５６に、輝度値を格納している。例えば、輝度値テーブル１５０において、代表点Ｐ１の座標は（ｘ１、ｙ１）であり、輝度値が１９２であることが格納されている。
【００３４】
画像照合部１３においては、照合テーブル作成部１３が、入力画像の輝度値テーブル１４０と、蓄積画像の輝度値テーブル１５０とを記憶部１２から取得し、照合テーブルを作成し、記憶部１２に格納する。図１３は、照合テーブルの一例を示す図、図１４は、入力画像と蓄積画像との照合処理を説明する図である。図１３に示すように、照合テーブル１６０は、項目１６２として、領域の代表点Ｐの番号、項目１６４に、代表点の座標、項目１６６に、入力画像の輝度値、項目１６８に、蓄積画像の輝度値、項目１７０に、照合結果を格納している。例えば、照合テーブル１６０において、代表点Ｐ１の座標は（ｘ１、ｙ１）であり、入力画像の輝度値が１９２、蓄積画像の輝度値が１９２であり、照合結果は、一致をあらわす「０」であることが格納されている。ここで、代表点Ｐ４においては、入力画像の輝度値が１２８、蓄積画像の輝度値が２５５であり、照合結果は、不一致を表わす「１」であることが格納されている。画像照合部１３は、全ての代表点座標位置での照合結果を数値として足し合わせ、足し合わせた数Ｎが「０」の場合は、入力画像と蓄積画像の代表点輝度値が一致するとし、Ｎが「０」より大きければ入力画像と蓄積画像が不一致とする。画像照合部１３は、入力画像と蓄積画像の一致、不一致を示す照合結果を出力部１７に送出する。
【００３５】
上記のような画像の照合処理においては、図１４に示すように、入力画像１３０について、代表点座標生成部２５が、画像１３８のように代表点Ｐ１〜Ｐ５の座標（ｘ１、ｙ１）、（ｘ２、ｙ２）、・・・、（ｘ５、ｙ５）を生成する。第１輝度値テーブル作成部２７は、各代表点における輝度値１８０を取得する。一方蓄積画像が取得されると、代表点座標取得部３３は、代表点座標生成部２５で生成された代表点Ｐ１〜Ｐ５の座標を取得する。第２輝度テーブル作成部３５は、代表点Ｐ１〜Ｐ５における輝度値を、図１４の画像１９０について取得し、輝度値１８２を取得する。以上の処理を、他の蓄積画像、すなわち例えば図１４の画像１９０、１９２、１９４についてそれぞれ繰り返し、輝度値１８２、１８４、１８６を取得する。
【００３６】
ここで、画像照合部１３における、入力画像と蓄積画像の輝度値が一致しているか否かの判別について説明する。図１５は、輝度値の判別の基準について説明する図である。図１５において、画像２０２、・・・、２１４は、時刻ｔ−ｎ、・・・、ｔにおいて撮影された画像として表わされている。画像２０２、・・・、２１４は、同一のカメラで同一対象を撮影した連続画像であるが、画像データにはノイズが含まれるために、必ず輝度値が一致するとは限らない。例えば、画像２０２における画素２０４の輝度値は１２７であるが、画像２０６、・・・、２１４の同一座標の画素２０８、２１２、２１６の輝度値は、それぞれ１２６、１２５、１２８と、いずれも画素２０４の輝度値とは異なっている。これは、画像が異なることによる輝度値の相違ではないので、ノイズによる変動範囲内は同じ輝度値であると判別することが好ましい。
【００３７】
そこで、同じカメラで撮影される画像のノイズによる変動範囲を予め計測しておき、蓄積画像と入力画像の輝度値の差分がノイズによる変動範囲以内であれば一致画像とする判定基準を用いることができる。例えば、画素数がＮ×Ｍの蓄積画像と入力画像の各画素の輝度値の差分示す差分画像をＤ（ｉ、ｊ）、各画素の輝度値の差分の平均値をＤａｖｅとすると、標準偏差σは下記の式１で求めることができる。
【００３８】
【数１】
【００３９】
輝度値が一致しているか否かの判定は、上記標準偏差に基づいて行うことができる。例えば、入力画像と蓄積画像の輝度値の差が標準偏差の３倍（３σ）以内であれば、一致していると判定し、３σより大きい場合には一致しないと判定する。
【００４０】
図５の処理に戻って、照合の結果、画像照合部１３が、入力画像が蓄積画像と不一致であると判別した場合には（Ｓ８４、ＮＯ）、Ｓ８２に戻って、全ての蓄積画像と照合処理を行ったか否か判別する。照合結果が、一致を表わす「０」である場合には、画像照合装置５は、Ｓ８５、Ｓ８６において、詳細処理を行う。詳細処理とは、高速化処理において抽出された蓄積画像について、入力画像とさらに詳細に比較して、一致しているか否かを判別する処理である。図５に示すように、Ｓ８５でさらに詳細な比較を行なう。Ｓ８５の詳細な比較は、各画素毎に輝度値を比較するマッチング処理など、公知の方法で行う。
【００４１】
画像照合部１３は、入力画像と蓄積画像の輝度値の差が閾値以下か否かを判別する（Ｓ８６）。このとき、上記標準偏差σを用いて、入力画像と蓄積画像との輝度値の差分が３σ以内の画素が、全体の画素数の例えば、９９．７％以上である場合に、入力画像と蓄積画像が一致すると判定するという条件を用いることができる。
【００４２】
出力部３７は、画像照合部１３が送出した判別結果に基づき、照合結果作成部３７で結果を出力するためのデータを作成する。判別結果が、入力画像と蓄積画像とが一致したことを示す場合には、「一致画像あり」を示すデータを出力し（Ｓ８７）、処理を終了する。入力画像と蓄積画像とが一致しないと判別された場合には、Ｓ８２の処理に戻り、全ての蓄積画像の照合が終了していなければ、別の一枚の蓄積画像についてＳ８３からの処理を繰り返す。
【００４３】
以上説明したように、第１の実施の形態による画像検索システムによれば、入力画像取得部２１がカメラ３からの入力画像を取得する。領域分割部２３は、入力画像を輝度値に基づいて領域分割し、代表点座標生成部２５が、各領域毎の代表点座標を生成し、第１輝度値テーブル作成部２７は、代表点座標と代表点における入力画像の輝度値とを関連付けて格納する輝度値テーブルを作成する。蓄積画像取得部３１は、蓄積画像データベース７から蓄積画像を１枚取得し、代表点座標取得部３３は、代表点座標生成部２５が生成した代表点座標を取得する。第２輝度値テーブル作成部３５は、代表点座標と蓄積画像の代表点における輝度値を関連付けて格納する輝度値テーブルを作成する。照合テーブル作成部２９は、入力画像と蓄積画像の輝度値テーブルから照合テーブルを作成し、輝度値の差がカメラ３における誤差範囲内であるか否かを判別する。１枚の蓄積画像について全ての代表点で誤差範囲以内である場合には、画像照合部１３はさらに詳細な比較を行い、入力画像と蓄積画像が一致するか否かを判別する。出力部１７は、全ての蓄積画像について判別が終了すると、判別結果を出力する。
【００４４】
以上のように、第１の実施の形態による画像検索システムによれば、入力画像を輝度値に基づいて領域分割し、領域内の代表点を自動的に求める。ここで、領域分割の際に、それぞれの領域のラベル付加の開始点座標を代表点座標として記憶しておくようにすれば、さらに、その後の代表点座標生成処理を省略することができ、処理時間をさらに短縮できる。そして代表点について輝度値を比較するので、入力画像の構造に適合した比較を行うことができる。
【００４５】
例えば、類似する画像間の差分は、輝度値に現れる画像の構造的な変化、または同一構造内の同じ画素位置での輝度値の変化によって生じる。よって、画像の輝度値に基づいて領域分割を行い、代表点を算出することにより、画像の構造を少ない点で記述することができ、少ない点を比較するだけで差の有無が分かるので、高速に比較が可能になる。このように、画像を詳細レベルですべて細かく比較することなく、構造的に変化のあるところ、すなわち輝度値変化があるところのみを比較することで、処理時間が短縮できる。
【００４６】
第１の実施の形態においては、前処理を含まない従来の検索方法に比べて、代表点を求める前処理の処理時間が追加されるが、入力画像に付１回で済むので、大量の蓄積画像と入力画像とを詳細に比較する処理時間と比べて、全体の処理時間から占める割合は無視できる程度になる。
【００４７】
蓄積画像については、入力画像に基づいて算出された代表点座標における輝度値を抽出するのみでよいので、蓄積画像についても領域分割などの処理を行う画像検索に比べて、処理時間を短縮することが可能である。輝度値の比較を行う際には、カメラの誤差範囲を予め求め、誤差範囲内の差は一致すると判別するので、ノイズによる誤判定を回避することができる。
【００４８】
大量の検索対象の画像から、できるだけ短い処理時間で検索対象を絞り込む高速化処理と、その後のより精度の高い検索を行う詳細処理とを有する画像検索において、高速処理に上記領域分割を利用した検索方法を適用することができる。また、上記検索方法を適用して一致すると判定された画像について詳細処理を行うようにすることにより、詳細比較に必要な時間を多く省略することができ、画像検索全体の処理時間も短縮できる効果がある。
【００４９】
このように画像検索処理の処理時間が短縮できることにより、映像監視システムにおいては、異常事象に対してリアルタイムで警報を発するなど、窃盗犯罪を未然に防止することが可能になる。また、著作権違反の画像検索においても高速な検索が可能で、より違反を発見しやすくなる。
【００５０】
（第１の実施の形態の変形例）
次に、第１の実施の形態による画像検索システムの変形例について説明する。本変形例は、第１の実施の形態による代表点座標生成部２５の動作の変形例である。本変形例による画像検索システムの構成、及び代表点座標生成部２５以外の動作は、第１の実施の形態による画像検索システム１と同様であるので、重複説明を省略する。
【００５１】
図１６は、第１の実施の形態の変形例による代表点座標生成の動作を示すフローチャートである。図１６に示された処理は、図６のＳ９３に相当する処理として行われるものである。図１６に示すように、本変形例において、代表点座標生成部２５は、分割された領域の一つを選択し（Ｓ２２１）、座標の原点（０、０）と選択した領域内の各画素との距離を求める（Ｓ２２２）。代表点座標生成部２５は、求めた距離が最短となる画素の位置を代表点として代表点座標を生成する（Ｓ２２３）。その他の処理は、第１の実施の形態と同様である。
【００５２】
本変形例によれば、第１の実施の形態による画像検索システムと同様の作用及び効果を得ることができる。
【００５３】
（第２の実施の形態）
次に、第２の実施の形態による画像検索システムについて図１７から図２０を参照しながら説明する。第２の実施の形態による画像検索システムは、カメラ３が水平または垂直方向へ移動した場合において、移動を考慮して入力画像と蓄積画像とを比較するための実施形態である。画像の水平または垂直方向への移動を考慮して一致画像を検索する場合は、予め撮影した背景画像（移動体が写っていない画像）と入力画像との移動量を算出し、代表点座標を移動量に応じて変換することが考えられる。なお、第２の実施の形態において、第１の実施の形態及びその変形例と同一の構成については、同一番号を付し、重複説明を省略する。
【００５４】
図１７は、第２の実施の形態による画像照合装置の構成を示す図、図１８は画像照合装置の構成を詳細に示すブロック図である。第２の実施の形態による画像検索システムは、第１の実施の形態による画像検索システム１における画像照合装置５を画像照合装置５０に置き換えたシステムである。図１７に示すように、画像照合装置５０は、画像入力部４０、代表点座標算出部１１、記憶部１２、対応点座標算出部５５、蓄積画像部１５、画像照合部１３、出力部１７を有している。画像照合装置５０は、第１の実施の形態による画像照合装置５における画像入力部９に代えて画像入力部４０を有し、対応点座標算出部５５を追加した構成である。
【００５５】
図１８に示すように、画像入力部４０は、入力画像取得部２１及び背景画像取得部４２を有している。背景画像取得部４２は、カメラ３により基準となる背景画像を予め撮影して取得する。ここで背景画像とは、蓄積画像データベースに記憶された蓄積画像と同一のカメラ３で同じ位置で撮影され、移動体が写っていない、すなわち固定物のみを含む画像をいう。対応点座標算出部５５は、移動量算出部５７および対応点座標生成部５９を有している。移動量算出部５７は、入力画像が背景画像と同じ固定物を含む撮影対象をカメラ３が移動した状態で撮影した画像であるか否か、及び移動している場合には画像の移動量を算出する。対応点座標生成部５９は、移動量算出部５７が算出した移動量に応じて、入力画像の代表点に応じた対応点の座標を生成する。
【００５６】
続いて、図１９及び図２０を参照しながら、第２の実施の形態による画像照合装置５０の動作について説明する。図１９は、第２の実施の形態による画像照合装置５０の動作を示すフローチャート、図２０は、対応点算出の処理を説明する図である。図１９に示すように、移動量を算出するための基準となる画像として、カメラ３により、移動体が写っていない背景画像を取得する（Ｓ２５０）。なおＳ２５０の処理は、必ずしも以下の処理を行うたびに行うものではなく、蓄積画像を取得したカメラ３の状態において適宜取得しておくことが好ましい。
【００５７】
入力画像取得部２１は、カメラ３が撮影した入力画像を取得する（Ｓ２５１）。続いて、領域分割部２３は、入力画像の領域分割を行う（Ｓ２５２）。代表点座標生成部２５は、各領域から代表点座標を算出し（Ｓ２５３）、記憶部１２に格納する。第１輝度値テーブル作成部２７は、代表点座標における輝度値を取得し、記憶部１２に格納する（Ｓ２５４）。以上の処理は、第１の実施の形態によるＳ８１の前処理と同様であるので、詳細説明は省略する。
【００５８】
続いて、移動量算出部５７は、入力画像と背景画像との移動量を算出する（Ｓ２５６）。図２０に示すように、背景画像２６０と、入力画像２６２があり、入力画像２６２において、代表点ｐ１〜ｐ５の代表点座標（ｘ１、ｙ１）〜（ｘ５、ｙ５）が生成され、各代表点における輝度値２６４が取得されているとする。このとき、移動量算出部５７は、背景画像２６０と入力画像２６２とが同じ固定物を含む撮影対象の異なる位置を撮影した画像か否かを判別し、異なる位置の画像ならば移動量を算出し、記憶部１２に格納する。図２０においては、ｘ方向のみのずれについて示している。
【００５９】
移動量は、公知の方法を用いて算出することができる。移動量算出部５７は、例えばマッチング処理により、背景画像と入力画像の輝度値の差の合計が所定値以下になる場所がある場合に、入力画像が背景画像に対し異なる位置を撮影した画像であると判別するようにしてもよい。また移動量算出部５７は、そのときの水平または垂直方向に移動した移動量（Δｘ、Δｙ）を算出し、記憶部１２に格納する。図２０の例では、移動量はΔｘと算出される。
【００６０】
図１９に戻って、対応点座標算出部５５は、記憶部１２に記憶された移動量（Δｘ、Δｙ）に基づき代表点の座標を変換し、対応点座標を生成する（Ｓ２５５）。すなわち、対応点座標算出部５５は、例えば代表点ｐ１（ｘ１、ｙ１）をＰ１（ｘ＋Δｘ、ｙ１＋Δｙ）と変換し、記憶部１２に格納する。図２０において、Δｘは負の値、Δｙはゼロとなっており、ｘ＝０となる代表点ｐ１、ｐ３、ｐ５については、変換後の座標は、蓄積画像上に存在しない。このように対応点座標位置は画像サイズと同様な範囲内とし、範囲外になる場合は、比較対象外とする。よって、代表点ｐ２、ｐ４についてのみ、対応点Ｐ２、Ｐ４の座標が生成される。
【００６１】
代表点座標取得部３３は、代表点座標として、記憶部１２から対応点座標を取得し、第２輝度値テーブル作成部３５は、対応点における輝度値を取得する（Ｓ２５７）。例えば蓄積画像２６６については、輝度値２６８が得られ、蓄積画像２７０については、輝度値２７２が得られ、蓄積画像２７４については、輝度値２７６が得られる。照合テーブル作成部２７は、記憶部１２に記憶された入力画像の輝度値テーブルと、蓄積画像の照合テーブルとを比較し、照合テーブルを作成して、入力画像と蓄積画像とが一致しているか否かを判別する（Ｓ２５８）。以上の処理は、詳細処理の前に図５のＳ８１の前処理として行われる処理である。
【００６２】
以上説明したように、第２の実施の形態による画像検索システムによれば、第１の実施の形態及びその変形例による画像検索システムが奏する作用効果に加え、カメラ３の位置または撮影する方向がずれてしまったときに、画像の移動量を補正することが可能になる。よって、例えば監視カメラなど屋外に配置されるものが風などにより動いてしまった場合に、撮影した画像の移動量を補償した状態で比較が可能となる。第２の実施の形態を応用することにより、移動式のカメラによる画像においても、画像の移動量を補正した状態で画像検索が可能となる。
【００６３】
ここで、上記それぞれの実施の形態による画像照合方法の動作をコンピュータに行わせるために共通に適用されるコンピュータの例について説明する。図２１は、標準的なコンピュータのハードウエア構成の一例を示すブロック図である。図２１に示すように、コンピュータ３００は、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）３０２、メモリ３０４、入力装置３０６、出力装置３０８、外部記憶装置３１２、媒体駆動装置３１４、ネットワーク接続装置等がバス３１０を介して接続されている。
【００６４】
ＣＰＵ３０２は、コンピュータ３００全体の動作を制御する演算処理装置である。メモリ３０４は、コンピュータ３００の動作を制御するプログラムを予め記憶したり、プログラムを実行する際に必要に応じて作業領域として使用したりするための記憶部である。メモリ３０４は、例えばＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）等である。入力装置３０６は、コンピュータの使用者により操作されると、その操作内容に対応付けられている使用者からの各種情報の入力を取得し、取得した入力情報をＣＰＵ３０２に送付する装置であり、例えばキーボード装置、マウス装置などである。出力装置３０８は、コンピュータ３００による処理結果を出力する装置であり、表示装置などが含まれる。例えば表示装置は、ＣＰＵ３０２により送付される表示データに応じてテキストや画像を表示する。
【００６５】
外部記憶装置３１２は、例えば、ハードディスクなどの記憶装置であり、ＣＰＵ３０２により実行される各種制御プログラムや、取得したデータ等を記憶しておく装置である。媒体駆動装置３１４は、可搬記録媒体３１６に書き込みおよび読み出しを行うための装置である。ＣＰＵ３０２は、可搬型記録媒体３１６に記録されている所定の制御プログラムを、記録媒体駆動装置３１４を介して読み出して実行することによって、各種の制御処理を行うようにすることもできる。可搬記録媒体３１６は、例えばＣｏｎｐａｃｔ Ｄｉｓｃ（ＣＤ）−ＲＯＭ、Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ（ＤＶＤ）、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ（ＵＳＢ）メモリ等である。ネットワーク接続装置３１８は、有線または無線により外部との間で行われる各種データの授受の管理を行うインタフェース装置である。バス３１０は、上記各装置等を互いに接続し、データのやり取りを行う通信経路である。
【００６６】
上記それぞれの実施の形態による画像検索処理をコンピュータに実行させるプログラムは、例えば外部記憶装置３１２に記憶される。ＣＰＵ３０２は、外部記憶装置３１２からプログラムを読み出し、画像検索の動作を行う。このとき、まず、画像検索の処理をＣＰＵ３０２に行わせるための制御プログラムを作成して外部記憶装置３１２に記憶させておく。そして、入力装置３０６から所定の指示をＣＰＵ３０２に与えて、この制御プログラムを外部記憶装置３１２から読み出させて実行させるようにする。また、このプログラムは、可搬記録媒体３１６に記憶するようにしてもよい。
【００６７】
上記実施の形態において、入力画像取得部２１は、第１の画像取得部の一例であり、領域分割部２３は、領域分割部の一例であり、代表点座標生成部２５は、代表点座標生成部の一例であり、第１輝度テーブル作成部２７は、第１の画素値取得部の一例である。また、蓄積画像取得部３１は、第２の画像取得部の一例であり、第２画素値テーブル作成部３５は、第２の画素値取得部の一例である。
【００６８】
なお、本発明は、以上に述べた実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または実施形態を採ることができる。例えば、画像入力部９が取得する画像データは、各画素毎の画素値が取得できるものであれば、例えば、Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ（ＲＧＢ）方式、輝度成分と２つの色差成分を使用する方式等、どのような形式のものでもよい。第１の実施形態、その変形例及び第２の実施形態においては、画素値の一例として輝度値を用いたが、輝度値としては、例えば、白黒画像の輝度値、光の３原色のいずれか少なくとも一つの輝度値、または光の３原色のいずれか２つ以上の輝度値を所定の計算式により演算したもの等を用いるようにしてもよい。また、画素値として、色差成分の画素値を用いてもよい。領域分割の方法は上記に限定されず、輝度値に応じた領域分割が可能であれば、他の方法でもよい。代表点座標の算出方法も、上記の例には限定されず、各領域における一点であればよい。詳細処理の方法も、公知の別の方法を用いてもよい。
【００６９】
以上、第１の実施形態、その変形例及び第２の実施形態に関し、さらに以下の付記を開示する。
（付記１）
第１の画像取得部を介して第１の画像を取得し、
前記第１の画像を画素値に応じた領域に分割する処理を行い、
前記領域に分割する処理の結果得られた一つ以上の領域において各領域内の一点を示す代表点の座標を取得し、
前記代表点における前記第１の画像の画素値を取得し、
前記代表点の座標と、前記第１の画像の画素値とを関連付けて記憶部に格納し、
第２の画像取得部を介して第２の画像を取得し、
前記記憶部から前記代表点の座標を読み出し、前記代表点における前記第２の画像の画素値を取得し、
前記記憶部から前記第１の画像の前記代表点における画素値を読み出し、前記第１の画像の前記代表点における画素値と前記第２の画像の前記代表点における画素値との差が所定範囲内か否かを、前記一つ以上の領域の各代表点について判別することにより、前記第１の画像と前記第２の画像とを照合する、
処理をコンピュータに行わせることを特徴とする画像照合プログラム。
（付記２）
前記コンピュータは、さらに、
第３の画像取得部を介して、前記第２の画像と同一の撮影装置により同一の位置で撮影された固定物の部分画像を含む第３の画像を取得し、
前記第１の画像が、前記第３の画像が含む前記固定物の部分画像とは異なる前記固定物の別の部分画像を含むか否かを、前記第１の画像と前記第３の画像の画像データを比較することにより判別し、
前記第１の画像が前記固定物の別の部分画像を含むと判別されると、前記第１の画像と前記第３の画像との移動量を算出し、
前記移動量に応じて前記代表点の座標を変換することにより、前記代表点に対応する対応点の座標を生成し、
前記第２の画像の画素値を取得する処理においては、前記対応点における前記第２の画像の画素値を前記第２の画像の前記代表点における画素値として取得する、
ことを特徴とする付記１に記載の画像照合プログラム。
（付記３）
前記コンピュータは、前記一つ以上の領域の各代表点において前記画素値の差が所定値以内の場合には、前記第１の画像と前記第２の画像とをさらに詳細比較する必要があると判定し、前記画素値の差が所定値より大きい場合には、詳細比較する必要はないと判別することを特徴とする付記１または付記２に記載の画像照合プログラム。
（付記４）
前記領域は、前記画素値が前記画素値の誤差に応じて決められた所定の範囲にある画素で形成されることを特徴とする付記１から付記３のいずれかに記載の画像照合プログラム。
（付記５）
前記第１の画像を前記画素値に応じた領域に分割する処理は、領域拡張法を用いて行われ、
前記代表点は、前記領域分割を領域拡張法を用いて行う場合に、当該領域内において、第１番目に当該領域として識別された点であることを特徴とする付記１から付記４のいずれかに記載の画像照合プログラム。
（付記６）
第１の画像を取得する第１の画像取得部と、
前記第１の画像を画素値に応じた領域に分割する処理を行う領域分割部と、
前記領域分割部の処理の結果得られた一つ以上の領域において各領域内の一点を示す代表点の座標を取得する代表点座標生成部と、
前記代表点における前記第１の画像の画素値を取得する第１の画素値取得部と、
前記代表点の座標と、前記第１の画像の画素値とを対応付けて記憶する記憶部と、
第２の画像を取得する第２の画像取得部と、
前記記憶部から前記代表点の座標を読み出し、前記代表点における前記第２の画像の画素値を取得する第２の画素値取得部と、
前記記憶部から前記第１の画像の前記代表点における画素値を読出し、前記第１の画像の前記代表点における画素値と前記第２の画素値取得部が取得した前記第２の画像の前記代表点における画素値との差が所定範囲内か否かを、前記一つ以上の領域の各代表点について判別することにより、前記第１の画像と前記第２の画像とを照合する照合部と、
を有することを特徴とする画像照合装置。
（付記７）
前記第２の画像と同一の撮影装置により同一の位置で撮影された固定物の部分画像を含む第３の画像を取得する第３の画像取得部と、
前記第１の画像が、前記第３の画像が含む前記固定物の部分画像とは異なる前記固定物の別の部分画像を含むか否かを、前記第１の画像と前記第３の画像の画像データを比較することにより判別する移動判別部と、
前記移動判別部が前記第１の画像が前記固定物の別の部分画像を含むと判別すると、前記第３の画像と前記第１の画像との移動量を算出する移動量算出部と、
前記移動量に応じて前記代表点の座標を変換することにより、前記代表点に対応する対応点の座標を生成する対応点座標生成部と、
をさらに有し、
前記第２の画素値取得部は、前記対応点における前記第２の画像の画素値を前記第２の画像の前記代表点における画素値として取得することを特徴とする付記６に記載の画像照合装置。
（付記８）
前記照合部は、前記一つ以上の領域の各代表点において前記画素値の差が所定値以内の場合には、前記第１の画像と前記第２の画像とをさらに詳細比較する必要があると判定し、前記画素値の差が所定値より大きい場合には、詳細比較する必要はないと判別することを特徴とする付記７に記載の画像照合装置。
（付記９）
前記領域分割部は、前記領域を、前記画素値が前記画素値の誤差に応じて決められた所定の範囲にある画素で形成されるように分割することを特徴とする付記６から付記８のいずれかに記載の画像照合装置。
（付記１０）
前記領域分割部は、前記第１の画像を領域拡張法を用いて分割し、
前記代表点は、前記領域分割を領域拡張法を用いて行う場合に、当該領域内において、第１番目に当該領域として識別された点であることを特徴とする付記６から付記９のいずれかに記載の画像照合装置。
（付記１１）
第１の画像を取得する工程と、
前記第１の画像を画素値に応じた領域に分割する処理を行う工程と、
前記領域に分割する処理を行う工程の結果得られた一つ以上の領域において各領域内の一点を示す代表点の座標を取得する工程と、
前記一つ以上の領域の各代表点における前記第１の画像の画素値を取得する工程と、
前記代表点の座標と、前記第１の画像の画素値とを対応付けて記憶する工程と、
第２の画像を取得する工程と、
前記記憶する工程において記憶された前記代表点の座標を読み出し、前記代表点における前記第２の画像の画素値を取得する工程と、
前記記憶する工程において記憶された前記第１の画像の前記代表点における画素値を読出し、前記第１の画像の前記代表点における画素値と前記第２の画像の前記代表点における画素値との差が所定範囲内か否かを、前記一つ以上の領域の各代表点座標について判別することにより、前記第１の画像と前記第２の画像とを照合する工程と、
を有することを特徴とする画像照合方法。
（付記１２）
さらに、
前記第２の画像と同一の撮影装置により同一の位置で撮影された固定物の部分画像を含む第３の画像を取得する工程と、
前記第１の画像が、前記第３の画像が含む前記固定物の部分画像とは異なる前記固定物の別の部分画像を含むか否かを、前記第１の画像と前記第３の画像の画像データを比較することにより判別する工程と、
前記第１の画像が前記固定物の別の部分画像を含むと判別されると、前記第１の画像と前記第３の画像との移動量を算出する工程と、
前記移動量に応じて前記代表点の座標を変換することにより、前記代表点の座標に対応する対応点の座標を生成する工程と、
を有し、
前記第２の画像の画素値を取得する工程においては、前記対応点における前記第２の画像の画素値を前記第２の画像の前記代表点における画素値として取得する、
ことを特徴とする付記１１に記載の画像照合方法。
（付記１３）
前記第１の画像と前記第２の画像とを照合する工程において、前記一つ以上の領域の各代表点座標において前記画素値の差が所定値以内と判別された場合には、前記第１の画像と前記第２の画像とをさらに詳細比較する必要があると判定し、前記画素値の差が所定値より大きい場合には、詳細比較する必要はないと判別する工程、
をさらに有することを特徴とする付記１１または付記１２に記載の画像照合方法。
（付記１４）
前記領域に分割する工程は、前記領域を、前記画素値が前記画素値の誤差に応じて決められた所定の範囲にある画素で形成されるようにすることを特徴とする付記１１から付記１３のいずれかに記載の画像照合方法。
（付記１５）
前記第１の画像を前記画素値に応じた領域に分割する工程は、領域拡張法を用いて行われ、
前記一点は、前記領域分割を領域拡張法を用いて行う場合に、当該領域内において、第１番目に当該領域として識別された点であることを特徴とする付記１１から付記１４のいずれかに記載の画像照合方法。
（付記１６）
画像を撮影し、画像データを出力する撮影装置と、
前記撮影装置で撮影した画像を蓄積する画像蓄積装置と、
付記６から付記１０のいずれかに記載の画像照合装置と、
を有し、
前記第１の画像は、前記撮影装置から前記第１の画像取得部に送出され、
前記第２の画像は、前記画像蓄積装置から前記第２の画像取得部により取得され、
前記画像蓄積装置に蓄積された前記第２の画像の中で、前記第１の画像と一致する画像があるか否かを検索することを特徴とする画像検索システム。
【符号の説明】
【００７０】
１ 画像検索システム
３ カメラ
５ 画像照合装置
７ 画像蓄積データベース
９ 画像入力部
１１ 代表点座標算出部
１２ 記憶部
１３ 画像照合部
１５ 蓄積画像部
１７ 出力部
１９ バス
２１ 入力画像取得部
２３ 領域分割部
２５ 代表点座標生成部
２７ 第１輝度値テーブル作成部
２９ 照合テーブル作成部
３１ 蓄積画像取得部
３３ 代表点座標取得部
３５ 第２輝度値テーブル作成部
３７ 照合結果作成部
【技術分野】
【０００１】
本発明は、画像照合プログラム、画像照合方法、画像照合装置、及び画像検索システムに関する。
【背景技術】
【０００２】
大量の蓄積画像から入力画像と一致する画像を高速に検索する画像検索の応用例として、例えば映像監視システムがある。このような映像監視システムを異常検知システムとして用いる際には、正常な状態のときに撮影した大量の蓄積画像全てと入力画像とを比較する。そして、蓄積画像の中に入力画像と一致する画像があるか否かを確認することにより、監視対象に異常が発生していないか否かを判定する。また、著作権違反の画像があるか否かを確認する画像検索システムにも、上記のような画像検索の応用が可能である。このような大量の蓄積画像の中から入力画像と一致する画像を検索するシステムの実現においては、比較する画像の数が多いため、画像照合処理の高速化が求められる。
【０００３】
２枚の画像が一致するか否かを高速に比較する代表的な方法として、ｃｏａｒｓｅ−ｔｏ−ｆｉｎｅ法（粗密探索法）がある。この方法では、最初に解像度の低い画像で比較した結果を基にして、より高い解像度の画像で探索を行う。この方法について、図１を参照しながら説明する。図１は、ｃｏａｒｓｅ−ｔｏ−ｆｉｎｅ法の処理を概念的に示す図である。図１に示すように、入力画像４００がある場合に、まず例えば画像４０１のように、破線で４分割してそれぞれの領域の平均輝度値を求め、解像度の低い画像４０２を作成する。
【０００４】
同様に、データベース４１０に蓄積された画像４１２についても、４分割した領域の平均輝度値を求め、解像度の低い画像データ４１４を作成する。そして、画像４０２と画像４１４との平均輝度値を比較することにより、入力画像に類似した画像を探索する。画像４１６、４２０についても、４分割した領域の平均輝度値を求め、画像データ４１８、４２２を作成することにより画像４０２と比較する。このように最初に低解像度の画像で比較を行い、一致しないものを検索対象から除去することにより、効率のよい検索を行うことを目的としている。
【０００５】
また、画像データベースの対象画像の中から、索引となる画像と同一もしくは類似する画像を検索する方法が提案されている。この方法では、画像の平均色や代表色などの特徴量を抽出して、画像を共通する特徴量を有する多角形の領域に分割し、索引となる画像の分割領域と画像データベース内の画像の分割領域との類似度を比較する。この方法により、精度の高い照合を行うことを目的としている。
【０００６】
さらに、２つの画像のうち第１の画像を小領域に分割し、１つの小領域を選択して相関を計算することにより求められる類似度に基づいて、類似する領域を検出する方法も提案されている。
【０００７】
他の領域分割の方法としては、一つの画像において、明るさ、色、テクスチャなど局所的な特徴が一様な部分画像に分割する手法も知られている。例えば、単純領域拡張法は、画像平面上で、隣接画素間の濃度レベル差に基づいて分割を行う方法である。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平１１−１６７６３４号公報
【特許文献２】特開２００３−１３２３５４号公報
【非特許文献】
【０００９】
【非特許文献１】尾上守夫、曽根光男、“ピラミッド構造の階層間の幾何学的対応に基づいた画像の高速重ね合わせ、” 信学論（Ｄ）、ｖｏｌ．Ｊ７０−Ｄ、ｎｏ．１、ｐｐ．１３９−１４７、１９８７
【非特許文献２】新編 画像解析ハンドブック：高木幹雄・下田陽久 監修 ２００４年９月１０日初版、東京大学出版会、１６５１−１６６８ページ
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、上記のようなｃｏａｒｓｅ−ｔｏ−ｆｉｎｅ法では、図１に示したような画像４１２、４１６、４２０は、異なる画像であるにもかかわらず、画像データ４１４、４１８、４２２が同一になってしまう。このように、入力画像に類似した画像では、最初に分解能が低い粗い解像度で比較したときには差がほとんどないため、初期段階からより高い解像度による比較が必要になり、処理時間の短縮効果が得られないという問題がある。
【００１１】
また、画像の類似度で判定する上記のような方法を、入力画像と大量の蓄積画像との比較において適用するためには、全ての蓄積画像に対して領域分割処理が必要となり、処理時間がかかるという問題がある。
【００１２】
そこで、本発明は、大量で入力画像に類似する画像が多い蓄積画像と入力画像を比較する画像検索においても適用が可能で、画像検索の全体の処理時間を短縮することが可能な画像照合プログラム、画像照合方法、画像照合装置、および画像検索システムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
一つの態様である画像照合プログラムは、第１の画像取得部を介して第１の画像を取得し、前記第１の画像を画素値に応じた領域に分割する処理を行い、前記領域に分割する処理の結果得られた一つ以上の領域において各領域内の一点を示す代表点の座標を取得する。また、前記代表点における前記第１の画像の画素値を取得し、前記代表点の座標と、前記第１の画像の画素値とを関連付けて記憶部に格納する。さらに、第２の画像取得部を介して第２の画像を取得し、前記記憶部から前記代表点の座標を読み出し、前記代表点における前記第２の画像の画素値を取得する。そして、前記記憶部から前記第１の画像の前記代表点における画素値を読み出し、前記第１の画像の前記代表点における画素値と前記第２の画像の前記代表点における画素値との差が所定範囲内か否かを判別する。この判別を前記一つ以上の領域の各代表点について行うことにより、前記第１の画像と前記第２の画像とを照合する、処理を行わせることを特徴としている。
【００１４】
また、別の態様である画像照合装置は、第１の画像を取得する第１の画像取得部と、前記第１の画像を画素値に応じた領域に分割する処理を行う領域分割部と、を有している。また、前記領域分割部の処理の結果得られた一つ以上の領域において各領域内の一点を示す代表点の座標を取得する代表点座標生成部と、前記代表点における前記第１の画像の画素値を取得する第１の画素値取得部と、を有している。前記代表点の座標と、前記第１の画像の画素値とを対応付けて記憶する記憶部も備えている。さらに、第２の画像を取得する第２の画像取得部と、前記記憶部から前記代表点の座標を読み出し、前記代表点における前記第２の画像の画素値を取得する第２の画素値取得部を有する。前記記憶部から前記第１の画像の前記代表点における画素値を読出し、前記第１の画像の前記代表点における画素値と前記第２の画素値取得部が取得した前記第２の画像の前記代表点における画素値との差が所定範囲内か否かを判別する照合部も有する。照合部は、前記一つ以上の領域の各代表点について上記判別を行うことにより、前記第１の画像と前記第２の画像とを照合することを特徴としている。
【００１５】
さらに別の態様である画像照合方法は、第１の画像を取得する工程と、前記第１の画像を画素値に応じた領域に分割する処理を行う工程と、その結果得られた一つ以上の領域において各領域内の一点を示す代表点の座標を取得する工程と、を有している。また、前記一つ以上の領域の各代表点における前記第１の画像の画素値を取得する工程と、前記代表点の座標と、前記第１の画像の画素値とを対応付けて記憶する工程とを有している。さらに、第２の画像を取得する工程と、前記記憶する工程において記憶された前記代表点の座標を読み出し、前記代表点における前記第２の画像の画素値を取得する工程を有している。また、前記第１の画像と前記第２の画像とを照合する工程も有している。前記照合する工程では、前記記憶する工程において記憶された前記第１の画像の前記代表点における画素値を読出し、前記第１の画像の前記代表点における画素値と前記第２の画像の前記代表点における画素値との差が所定範囲内か否かを判別することを特徴としている。
【００１６】
また、画像を撮影し、画像データを出力する撮影装置と、前記撮影装置で撮影した画像を蓄積する画像蓄積装置と、上記画像照合装置と、を有し、前記第１の画像は、前記撮影装置から前記第１の画像取得部に送出され、前記第２の画像は、前記画像蓄積装置から前記第２の画像取得部により取得され、前記画像蓄積装置に蓄積された前記第２の画像の中で、前記第１の画像と一致する画像があるか否かを検索することを特徴とする画像検索システムによっても、上記課題の解決を図ることができる。
【発明の効果】
【００１７】
上述した態様の画像照合プログラム、画像照合装置、画像照合方法、及び画像検索システムによれば、画像検索に必要な処理時間を短縮することが可能になる。
【図面の簡単な説明】
【００１８】
【図１】ｃｏａｒｓｅ−ｔｏ−ｆｉｎｅ法の処理を概念的に示す図である。
【図２】第１の実施の形態による画像検索システム１を説明する図であり、（ａ）は画像検索システム１の構成を示す図、（ｂ）は、画像検索を説明する図である。
【図３】第１の実施の形態による画像照合装置の構成の概要を示す図である。
【図４】第１の実施の形態による画像照合装置の構成を詳細に示すブロック図である。
【図５】第１の実施の形態による画像検索システムの動作を示すフローチャートである。
【図６】第１の実施の形態による前処理の詳細を示すフローチャートである。
【図７】第１の実施の形態による領域分割の処理の一例を示すフローチャートである。
【図８】第１の実施の形態による画像の領域分割の一例を示す図であり、（ａ）は、入力画像を示す図であり、（ｂ）は、領域分割された画像を示す図である。
【図９】第１の実施の形態による代表点座標算出処理の動作を示すフローチャートである。
【図１０】第１の実施の形態による代表点算出の処理の一例を説明する図であり、（ａ）は領域と代表点の位置関係を示す図、（ｂ）は、入力画像における代表点の位置を示す図である。
【図１１】第１の実施の形態による入力画像用輝度値テーブルの一例を示す図である。
【図１２】第１の実施の形態による蓄積画像用輝度値テーブルの一例を示す図である。
【図１３】第１の実施の形態による照合テーブルの一例を示す図である。
【図１４】第１の実施の形態による入力画像と蓄積画像との照合処理を説明する図である。
【図１５】第１の実施の形態による輝度値の判別の基準について説明する図である。
【図１６】第１の実施の形態の変形例による代表点座標生成の動作を示すフローチャートである。
【図１７】第２の実施の形態による画像照合装置の構成の概要を示す図である。
【図１８】第２の実施の形態による画像照合装置の構成を詳細に示すブロック図である。
【図１９】第２の実施の形態による画像照合装置の動作を示すフローチャートである。
【図２０】第２の実施の形態による対応点算出の処理を説明する図である。
【図２１】標準的なコンピュータのハードウエア構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１９】
（第１の実施の形態）
以下、図面を参照しながら第１の実施の形態による画像検索システムについて説明する。まず、図２〜図４を参照しながら、第１の実施の形態による画像検索システム１の構成について説明する。図２は、第１の実施の形態による画像検索システム１を説明する図であり、（ａ）は画像検索システム１の構成を示す図、（ｂ）は、画像検索を説明する図である。図３は、第１の実施の形態による画像照合装置の構成を示す図、図４は画像照合装置の構成を詳細に示すブロック図である。
【００２０】
図２（ａ）、（ｂ）に示すように、画像検索システム１は、カメラ３と、画像照合装置５と、画像データベース７とを有している。画像検索システム１は、カメラ３から入力された画像と同一の画像が、画像データベース７に蓄積されているか否かを、画像照合装置５による画像照合を用いて検索するシステムである。カメラ３は、例えば固体撮像素子等を有する撮影機器であり、撮影対象を撮影して電気信号に変換し、画像データとして画像照合装置５に送出する。カメラ３としては、画像を電気信号に変換できるものであれば、静止画用、動画用、両用のいずれでもよい。画像照合装置５は、カメラ３により送出された入力画像１３０の画像データを取得し、画像データベース７から読み出す蓄積画像１９０等の画像データと比較し、比較結果を出力する装置である。画像照合装置５の詳細については後述する。画像データベース７は、画像データを格納する記憶装置である。画像データベース７には、入力画像１３０と比較する蓄積画像として、入力画像１３０を撮影する同じカメラ３で撮影した画像を蓄積する。
【００２１】
図３に示すように、画像照合装置５は、画像入力部９、代表点座標算出部１１、記憶部１２、蓄積画像部１５、画像照合部１３、出力部１７を有している。図４に示すように、画像入力部９は、入力画像取得部２１を有している。入力画像取得部２１は、カメラ３が撮影した画像を電気信号に変換した画像データを取得する。以下、画像の画像データを取得することを、単に画像を取得するということにする。代表点座標算出部１１は、領域分割部２３、代表点座標生成部２５、および第１輝度値テーブル作成部２７を有している。領域分割部２３は、入力画像の画像データにおける各画素の輝度値に応じて、入力画像を領域分割する。代表点座標生成部２５は、領域分割部２３で分割された領域のそれぞれについて、その領域内の一点を代表点とし、代表点座標を生成し、記憶部１２に格納する。第１輝度値テーブル作成部２７は、入力画像の代表点座標における輝度値を取得し、輝度値テーブルを作成し、記憶部１２に記憶する。代表点座標算出部１１の動作の詳細については、後述する。
【００２２】
蓄積画像部１５は、蓄積画像取得部３１、代表点座標取得部３３、及び第２輝度値テーブル作成部３５を有している。蓄積画像取得部３１は、蓄積画像データベース７から、蓄積画像を取得する。代表点座標取得部３３は、代表点座標算出部１１で算出された代表点座標を記憶部１２から取得する。第２輝度値テーブル作成部３５は、蓄積画像の代表点座標における輝度値を取得し、輝度値テーブルを作成し、記憶部１２に格納する。
【００２３】
画像照合部１３は、照合テーブル作成部２９を有している。照合テーブル作成部２９は、代表点座標算出部１１で作成された入力画像の輝度値テーブルと、蓄積画像部１５で作成された蓄積画像の輝度値テーブルとの内容を記憶部１２から読み出し、照合テーブルを作成し、一枚の蓄積画像について入力画像と全ての代表点における輝度値が所定範囲内であるか否かを判別する。記憶部１２は、代表点座標、輝度値テーブル、照合テーブルなどを記憶する。出力部１７は、照合結果作成部３７を有しており、画像照合部１３で判別された結果を出力するためのデータを作成し、出力する。上記画像照合装置５の各構成要素は、いずれもバス１９に接続され、各種のデータを相互に授受することができる。
【００２４】
次に、図５から図１４を主に参照しながら、第１の実施の形態による画像検索システム１の動作について説明する。図５は、第１の実施の形態による画像検索システム１の動作を示すフローチャートである。図５に示すように、まず、画像検索システム１の画像照合装置５は、前処理を行う（Ｓ８１）。前処理とは、入力画像の各領域における代表点の輝度を抽出する処理である。
【００２５】
ここで、図６〜図１０を参照しながら、前処理の詳細について説明する。図６は、前処理の詳細を示すフローチャート、図７は、領域分割の処理の一例を示すフローチャート、図８は、画像の領域分割の一例を示す図、図９は、代表点座標算出部１１の動作を示すフローチャート、図１０は、代表点算出の処理の一例を説明する図である。図６に示すように、まず、入力画像取得部２１は、カメラ３が撮影した入力画像を取得する（Ｓ９１）。続いて、領域分割部２３は、入力画像の領域分割を行う（Ｓ９２）。領域分割においては、単純領域拡張法、反復型領域拡張法など公知の方法を用いることができる。このような領域分割法については、例えば「」非特許文献２に詳細が記載されている。
【００２６】
一例として、単純領域拡張法を用いる場合には、図７に示すように、領域分割部２３は、入力画像をラスタ走査し（Ｓ１０１）、どの領域にもまだ属していない画素を探す（Ｓ１０２）。画素が抽出された場合には（Ｓ１０２：ＹＥＳ）、その画素を基準画素として基準画素の近傍（４連結または８連結）でどの領域にもまだ属していない画素との輝度値の差を比較する（１０３）。このとき、領域分割部２３は、基準画素とその近傍の画素との輝度値の差がある閾値Ｔ１以下であるか否かを判別し（Ｓ１０４）、閾値Ｔ１以下の場合には（Ｓ１０４：ＹＥＳ）、近傍の画素を基準画素と同一の領域に統合し、一つの領域であることを示すラベルを付加する（Ｓ１０５）。さらに、領域分割部２３は、新たに統合された画素を基準画素として（Ｓ１０６）、Ｓ１０３に戻り、上記輝度比較によるラベル付加処理を行う。Ｓ１０４で、領域分割部２３が、基準画素とその近傍の画素との輝度値の差がある閾値Ｔ１より大きいと判別した場合には（Ｓ１０４：ＮＯ）基準画素の近傍が全て比較済みであるか否か判別する（Ｓ１０７）。全て比較済みである場合には、領域分割部２３は、それ以上領域を広げられないと判断し、Ｓ１０１に戻る。まだ比較していない画素が近傍にある場合には、領域分割部２３は、以上の処理を、輝度値の差が閾値Ｔ１以下の画素が近傍になくなり領域がそれ以上広げられなくなるまで反復する（Ｓ１０７:ＮＯ）。以上の処理により、領域分割部２３は、画像を閾値Ｔ１以下の輝度差を持つ領域に分割する。このようにして、入力画像は、輝度値に応じて領域分割される。
【００２７】
例えば、図８（ａ）に示すように、入力画像が画像１３０であるとすると、画像１３０は、図８（ｂ）に示す画像１３２のように、輝度に応じて領域Ａ１〜Ａ５に分割される。ここで、閾値Ｔ１は、予めカメラ３で同一の撮影対象を撮影して輝度値の誤差を算出し、算出した誤差に基づき決定することができる。また、蓄積画像の数や、画像検索システム１として要求されている検索精度に基づき決定することもできる。
【００２８】
図６の処理に戻って、代表点座標算出部１１は、各領域から代表点座標を算出し、記憶部１２に格納する（Ｓ９３）。座標は、図８（ａ）の画像１３０において、左上端の点１３１を原点とし、左右方向がＸ軸、上下方向をＹ軸として定義する。ここで、図９を参照しながら、代表点座標の算出の詳細について説明する。図９に示すように、代表点座標生成部２５は、Ｓ９２で分割された領域の一つを選択する（Ｓ１２１）。代表点座標生成部２５は、選択した領域の中でＹ座標が最小（Ｙｍｉｎ）の画素位置を選択する（Ｓ１２２）。また、代表点座標生成部２５は、Ｙ座標が最小の画素位置で、Ｘ座標の最小値（Ｘｍｉｎ）を選択し（Ｓ１２３）、選択した最小値座標（Ｘｍｉｎ、Ｙｍｉｎ）を代表点座標とする（Ｓ１２４）。この代表点は、第１の実施の形態においては、上記領域分割処理におけるそれぞれの領域を示すラベル付加の開始点座標、すなわちそれぞれの領域において初めに基準画素とされた画素の座標となる。代表点座標を算出する際には、領域分割の際に、それぞれの領域のラベル付加の開始点座標を代表点座標として記憶しておくようにしてもよい。ここで、代表点座標生成部２５が、例えば領域Ａ１を選択しているとすると、図１０（ａ）（ｂ）の画像１３４、画像１３６に示すように、代表点はＰ１であり、代表点座標は（ｘ１、ｙ１）となる。
【００２９】
図６の処理に戻って、代表点座標生成部２５は、全ての領域から代表点座標を算出したか否かを判別する（Ｓ９４）。終了していない場合には、代表点座標生成部２５は、図１０（ａ）、（ｂ）に示すように、領域Ａ１〜領域Ａ５の全てについて図９の処理を繰り返し、代表点Ｐ１〜Ｐ５の座標（ｘ１、ｙ１）、（ｘ２、ｙ２）、・・・、（ｘ５、ｙ５）を取得し、記憶部１２に格納する。
【００３０】
代表点座標の取得が全て終了した場合には、第１輝度値テーブル作成部２７は、入力画像においてそれぞれの代表点座標に位置する画素の輝度値を取得し、代表点座標と輝度値とを関連付けた輝度値テーブルを作成し、記憶部１２に格納する（Ｓ９５）。図１１は、入力画像用輝度値テーブルの一例を示す図である。図１１に示すように、輝度値テーブル１４０は、項目１４２として、領域の代表点Ｐの番号（「００１」は、「Ｐ１」に相当する。以下同様）、項目１４４に、代表点の座標、項目１４６に、輝度値を格納している。例えば、輝度値テーブル１４０において、代表点Ｐ１の座標は（ｘ１、ｙ１）であり、輝度値が１９２であることが格納されている。以上で前処理が終了する。なお、この前処理は、１枚の入力画像に対し１回行われる。
【００３１】
図５の処理に戻って、画像照合部１３は、全ての蓄積画像との照合処理が終了したか否かを判別する（Ｓ８２）。照合処理が終了したと判別されると、処理はＳ８８に進んで、画像照合部１３は、一致画像なしと判別する。
【００３２】
照合処理が終了したと判別されない場合には、以下、Ｓ８３、Ｓ８４による高速化処理を行う。高速化処理とは、大量の蓄積画像から、入力画像に一致する可能性のあるもの抽出する処理であり、全体の画像検索の処理時間を短縮することを意図して行う処理である。蓄積画像部１５の蓄積画像取得部３１は、画像データベース７から照合処理を行っていない一枚の画像を選択して取得する（Ｓ８３）。代表点座標取得部３３、第２輝度値テーブル作成部３５は、代表点座標生成部２５が生成した代表点座標代表点座標位置で輝度値が一致するか否か判別する（Ｓ８４）。ここで一致するとは、輝度値の差が所定の範囲内であることをいう。
【００３３】
まず、代表点座標取得部３３は、代表点座標生成部２５が生成した代表点座標を記憶部１２から取得する。また、第２輝度値テーブル作成部３５は、蓄積画像において、代表点座標取得部３３が取得した代表点座標、例えば代表点Ｐ１〜Ｐ５の座標（ｘ１、ｙ１）、（ｘ２、ｙ２）、・・・、（ｘ５、ｙ５）に位置する画素の輝度値を取得する。また、第２輝度値テーブル作成部３５は、取得した代表点座標と輝度値とを関連付けた輝度値テーブルを作成し、記憶部１２に格納する。図１２は、蓄積画像用輝度値テーブルの一例を示す図である。図１２に示すように、輝度値テーブル１５０は、項目１５２として、領域の代表点Ｐの番号、項目１５４に、代表点の座標、項目１５６に、輝度値を格納している。例えば、輝度値テーブル１５０において、代表点Ｐ１の座標は（ｘ１、ｙ１）であり、輝度値が１９２であることが格納されている。
【００３４】
画像照合部１３においては、照合テーブル作成部１３が、入力画像の輝度値テーブル１４０と、蓄積画像の輝度値テーブル１５０とを記憶部１２から取得し、照合テーブルを作成し、記憶部１２に格納する。図１３は、照合テーブルの一例を示す図、図１４は、入力画像と蓄積画像との照合処理を説明する図である。図１３に示すように、照合テーブル１６０は、項目１６２として、領域の代表点Ｐの番号、項目１６４に、代表点の座標、項目１６６に、入力画像の輝度値、項目１６８に、蓄積画像の輝度値、項目１７０に、照合結果を格納している。例えば、照合テーブル１６０において、代表点Ｐ１の座標は（ｘ１、ｙ１）であり、入力画像の輝度値が１９２、蓄積画像の輝度値が１９２であり、照合結果は、一致をあらわす「０」であることが格納されている。ここで、代表点Ｐ４においては、入力画像の輝度値が１２８、蓄積画像の輝度値が２５５であり、照合結果は、不一致を表わす「１」であることが格納されている。画像照合部１３は、全ての代表点座標位置での照合結果を数値として足し合わせ、足し合わせた数Ｎが「０」の場合は、入力画像と蓄積画像の代表点輝度値が一致するとし、Ｎが「０」より大きければ入力画像と蓄積画像が不一致とする。画像照合部１３は、入力画像と蓄積画像の一致、不一致を示す照合結果を出力部１７に送出する。
【００３５】
上記のような画像の照合処理においては、図１４に示すように、入力画像１３０について、代表点座標生成部２５が、画像１３８のように代表点Ｐ１〜Ｐ５の座標（ｘ１、ｙ１）、（ｘ２、ｙ２）、・・・、（ｘ５、ｙ５）を生成する。第１輝度値テーブル作成部２７は、各代表点における輝度値１８０を取得する。一方蓄積画像が取得されると、代表点座標取得部３３は、代表点座標生成部２５で生成された代表点Ｐ１〜Ｐ５の座標を取得する。第２輝度テーブル作成部３５は、代表点Ｐ１〜Ｐ５における輝度値を、図１４の画像１９０について取得し、輝度値１８２を取得する。以上の処理を、他の蓄積画像、すなわち例えば図１４の画像１９０、１９２、１９４についてそれぞれ繰り返し、輝度値１８２、１８４、１８６を取得する。
【００３６】
ここで、画像照合部１３における、入力画像と蓄積画像の輝度値が一致しているか否かの判別について説明する。図１５は、輝度値の判別の基準について説明する図である。図１５において、画像２０２、・・・、２１４は、時刻ｔ−ｎ、・・・、ｔにおいて撮影された画像として表わされている。画像２０２、・・・、２１４は、同一のカメラで同一対象を撮影した連続画像であるが、画像データにはノイズが含まれるために、必ず輝度値が一致するとは限らない。例えば、画像２０２における画素２０４の輝度値は１２７であるが、画像２０６、・・・、２１４の同一座標の画素２０８、２１２、２１６の輝度値は、それぞれ１２６、１２５、１２８と、いずれも画素２０４の輝度値とは異なっている。これは、画像が異なることによる輝度値の相違ではないので、ノイズによる変動範囲内は同じ輝度値であると判別することが好ましい。
【００３７】
そこで、同じカメラで撮影される画像のノイズによる変動範囲を予め計測しておき、蓄積画像と入力画像の輝度値の差分がノイズによる変動範囲以内であれば一致画像とする判定基準を用いることができる。例えば、画素数がＮ×Ｍの蓄積画像と入力画像の各画素の輝度値の差分示す差分画像をＤ（ｉ、ｊ）、各画素の輝度値の差分の平均値をＤａｖｅとすると、標準偏差σは下記の式１で求めることができる。
【００３８】
【数１】
【００３９】
輝度値が一致しているか否かの判定は、上記標準偏差に基づいて行うことができる。例えば、入力画像と蓄積画像の輝度値の差が標準偏差の３倍（３σ）以内であれば、一致していると判定し、３σより大きい場合には一致しないと判定する。
【００４０】
図５の処理に戻って、照合の結果、画像照合部１３が、入力画像が蓄積画像と不一致であると判別した場合には（Ｓ８４、ＮＯ）、Ｓ８２に戻って、全ての蓄積画像と照合処理を行ったか否か判別する。照合結果が、一致を表わす「０」である場合には、画像照合装置５は、Ｓ８５、Ｓ８６において、詳細処理を行う。詳細処理とは、高速化処理において抽出された蓄積画像について、入力画像とさらに詳細に比較して、一致しているか否かを判別する処理である。図５に示すように、Ｓ８５でさらに詳細な比較を行なう。Ｓ８５の詳細な比較は、各画素毎に輝度値を比較するマッチング処理など、公知の方法で行う。
【００４１】
画像照合部１３は、入力画像と蓄積画像の輝度値の差が閾値以下か否かを判別する（Ｓ８６）。このとき、上記標準偏差σを用いて、入力画像と蓄積画像との輝度値の差分が３σ以内の画素が、全体の画素数の例えば、９９．７％以上である場合に、入力画像と蓄積画像が一致すると判定するという条件を用いることができる。
【００４２】
出力部３７は、画像照合部１３が送出した判別結果に基づき、照合結果作成部３７で結果を出力するためのデータを作成する。判別結果が、入力画像と蓄積画像とが一致したことを示す場合には、「一致画像あり」を示すデータを出力し（Ｓ８７）、処理を終了する。入力画像と蓄積画像とが一致しないと判別された場合には、Ｓ８２の処理に戻り、全ての蓄積画像の照合が終了していなければ、別の一枚の蓄積画像についてＳ８３からの処理を繰り返す。
【００４３】
以上説明したように、第１の実施の形態による画像検索システムによれば、入力画像取得部２１がカメラ３からの入力画像を取得する。領域分割部２３は、入力画像を輝度値に基づいて領域分割し、代表点座標生成部２５が、各領域毎の代表点座標を生成し、第１輝度値テーブル作成部２７は、代表点座標と代表点における入力画像の輝度値とを関連付けて格納する輝度値テーブルを作成する。蓄積画像取得部３１は、蓄積画像データベース７から蓄積画像を１枚取得し、代表点座標取得部３３は、代表点座標生成部２５が生成した代表点座標を取得する。第２輝度値テーブル作成部３５は、代表点座標と蓄積画像の代表点における輝度値を関連付けて格納する輝度値テーブルを作成する。照合テーブル作成部２９は、入力画像と蓄積画像の輝度値テーブルから照合テーブルを作成し、輝度値の差がカメラ３における誤差範囲内であるか否かを判別する。１枚の蓄積画像について全ての代表点で誤差範囲以内である場合には、画像照合部１３はさらに詳細な比較を行い、入力画像と蓄積画像が一致するか否かを判別する。出力部１７は、全ての蓄積画像について判別が終了すると、判別結果を出力する。
【００４４】
以上のように、第１の実施の形態による画像検索システムによれば、入力画像を輝度値に基づいて領域分割し、領域内の代表点を自動的に求める。ここで、領域分割の際に、それぞれの領域のラベル付加の開始点座標を代表点座標として記憶しておくようにすれば、さらに、その後の代表点座標生成処理を省略することができ、処理時間をさらに短縮できる。そして代表点について輝度値を比較するので、入力画像の構造に適合した比較を行うことができる。
【００４５】
例えば、類似する画像間の差分は、輝度値に現れる画像の構造的な変化、または同一構造内の同じ画素位置での輝度値の変化によって生じる。よって、画像の輝度値に基づいて領域分割を行い、代表点を算出することにより、画像の構造を少ない点で記述することができ、少ない点を比較するだけで差の有無が分かるので、高速に比較が可能になる。このように、画像を詳細レベルですべて細かく比較することなく、構造的に変化のあるところ、すなわち輝度値変化があるところのみを比較することで、処理時間が短縮できる。
【００４６】
第１の実施の形態においては、前処理を含まない従来の検索方法に比べて、代表点を求める前処理の処理時間が追加されるが、入力画像に付１回で済むので、大量の蓄積画像と入力画像とを詳細に比較する処理時間と比べて、全体の処理時間から占める割合は無視できる程度になる。
【００４７】
蓄積画像については、入力画像に基づいて算出された代表点座標における輝度値を抽出するのみでよいので、蓄積画像についても領域分割などの処理を行う画像検索に比べて、処理時間を短縮することが可能である。輝度値の比較を行う際には、カメラの誤差範囲を予め求め、誤差範囲内の差は一致すると判別するので、ノイズによる誤判定を回避することができる。
【００４８】
大量の検索対象の画像から、できるだけ短い処理時間で検索対象を絞り込む高速化処理と、その後のより精度の高い検索を行う詳細処理とを有する画像検索において、高速処理に上記領域分割を利用した検索方法を適用することができる。また、上記検索方法を適用して一致すると判定された画像について詳細処理を行うようにすることにより、詳細比較に必要な時間を多く省略することができ、画像検索全体の処理時間も短縮できる効果がある。
【００４９】
このように画像検索処理の処理時間が短縮できることにより、映像監視システムにおいては、異常事象に対してリアルタイムで警報を発するなど、窃盗犯罪を未然に防止することが可能になる。また、著作権違反の画像検索においても高速な検索が可能で、より違反を発見しやすくなる。
【００５０】
（第１の実施の形態の変形例）
次に、第１の実施の形態による画像検索システムの変形例について説明する。本変形例は、第１の実施の形態による代表点座標生成部２５の動作の変形例である。本変形例による画像検索システムの構成、及び代表点座標生成部２５以外の動作は、第１の実施の形態による画像検索システム１と同様であるので、重複説明を省略する。
【００５１】
図１６は、第１の実施の形態の変形例による代表点座標生成の動作を示すフローチャートである。図１６に示された処理は、図６のＳ９３に相当する処理として行われるものである。図１６に示すように、本変形例において、代表点座標生成部２５は、分割された領域の一つを選択し（Ｓ２２１）、座標の原点（０、０）と選択した領域内の各画素との距離を求める（Ｓ２２２）。代表点座標生成部２５は、求めた距離が最短となる画素の位置を代表点として代表点座標を生成する（Ｓ２２３）。その他の処理は、第１の実施の形態と同様である。
【００５２】
本変形例によれば、第１の実施の形態による画像検索システムと同様の作用及び効果を得ることができる。
【００５３】
（第２の実施の形態）
次に、第２の実施の形態による画像検索システムについて図１７から図２０を参照しながら説明する。第２の実施の形態による画像検索システムは、カメラ３が水平または垂直方向へ移動した場合において、移動を考慮して入力画像と蓄積画像とを比較するための実施形態である。画像の水平または垂直方向への移動を考慮して一致画像を検索する場合は、予め撮影した背景画像（移動体が写っていない画像）と入力画像との移動量を算出し、代表点座標を移動量に応じて変換することが考えられる。なお、第２の実施の形態において、第１の実施の形態及びその変形例と同一の構成については、同一番号を付し、重複説明を省略する。
【００５４】
図１７は、第２の実施の形態による画像照合装置の構成を示す図、図１８は画像照合装置の構成を詳細に示すブロック図である。第２の実施の形態による画像検索システムは、第１の実施の形態による画像検索システム１における画像照合装置５を画像照合装置５０に置き換えたシステムである。図１７に示すように、画像照合装置５０は、画像入力部４０、代表点座標算出部１１、記憶部１２、対応点座標算出部５５、蓄積画像部１５、画像照合部１３、出力部１７を有している。画像照合装置５０は、第１の実施の形態による画像照合装置５における画像入力部９に代えて画像入力部４０を有し、対応点座標算出部５５を追加した構成である。
【００５５】
図１８に示すように、画像入力部４０は、入力画像取得部２１及び背景画像取得部４２を有している。背景画像取得部４２は、カメラ３により基準となる背景画像を予め撮影して取得する。ここで背景画像とは、蓄積画像データベースに記憶された蓄積画像と同一のカメラ３で同じ位置で撮影され、移動体が写っていない、すなわち固定物のみを含む画像をいう。対応点座標算出部５５は、移動量算出部５７および対応点座標生成部５９を有している。移動量算出部５７は、入力画像が背景画像と同じ固定物を含む撮影対象をカメラ３が移動した状態で撮影した画像であるか否か、及び移動している場合には画像の移動量を算出する。対応点座標生成部５９は、移動量算出部５７が算出した移動量に応じて、入力画像の代表点に応じた対応点の座標を生成する。
【００５６】
続いて、図１９及び図２０を参照しながら、第２の実施の形態による画像照合装置５０の動作について説明する。図１９は、第２の実施の形態による画像照合装置５０の動作を示すフローチャート、図２０は、対応点算出の処理を説明する図である。図１９に示すように、移動量を算出するための基準となる画像として、カメラ３により、移動体が写っていない背景画像を取得する（Ｓ２５０）。なおＳ２５０の処理は、必ずしも以下の処理を行うたびに行うものではなく、蓄積画像を取得したカメラ３の状態において適宜取得しておくことが好ましい。
【００５７】
入力画像取得部２１は、カメラ３が撮影した入力画像を取得する（Ｓ２５１）。続いて、領域分割部２３は、入力画像の領域分割を行う（Ｓ２５２）。代表点座標生成部２５は、各領域から代表点座標を算出し（Ｓ２５３）、記憶部１２に格納する。第１輝度値テーブル作成部２７は、代表点座標における輝度値を取得し、記憶部１２に格納する（Ｓ２５４）。以上の処理は、第１の実施の形態によるＳ８１の前処理と同様であるので、詳細説明は省略する。
【００５８】
続いて、移動量算出部５７は、入力画像と背景画像との移動量を算出する（Ｓ２５６）。図２０に示すように、背景画像２６０と、入力画像２６２があり、入力画像２６２において、代表点ｐ１〜ｐ５の代表点座標（ｘ１、ｙ１）〜（ｘ５、ｙ５）が生成され、各代表点における輝度値２６４が取得されているとする。このとき、移動量算出部５７は、背景画像２６０と入力画像２６２とが同じ固定物を含む撮影対象の異なる位置を撮影した画像か否かを判別し、異なる位置の画像ならば移動量を算出し、記憶部１２に格納する。図２０においては、ｘ方向のみのずれについて示している。
【００５９】
移動量は、公知の方法を用いて算出することができる。移動量算出部５７は、例えばマッチング処理により、背景画像と入力画像の輝度値の差の合計が所定値以下になる場所がある場合に、入力画像が背景画像に対し異なる位置を撮影した画像であると判別するようにしてもよい。また移動量算出部５７は、そのときの水平または垂直方向に移動した移動量（Δｘ、Δｙ）を算出し、記憶部１２に格納する。図２０の例では、移動量はΔｘと算出される。
【００６０】
図１９に戻って、対応点座標算出部５５は、記憶部１２に記憶された移動量（Δｘ、Δｙ）に基づき代表点の座標を変換し、対応点座標を生成する（Ｓ２５５）。すなわち、対応点座標算出部５５は、例えば代表点ｐ１（ｘ１、ｙ１）をＰ１（ｘ＋Δｘ、ｙ１＋Δｙ）と変換し、記憶部１２に格納する。図２０において、Δｘは負の値、Δｙはゼロとなっており、ｘ＝０となる代表点ｐ１、ｐ３、ｐ５については、変換後の座標は、蓄積画像上に存在しない。このように対応点座標位置は画像サイズと同様な範囲内とし、範囲外になる場合は、比較対象外とする。よって、代表点ｐ２、ｐ４についてのみ、対応点Ｐ２、Ｐ４の座標が生成される。
【００６１】
代表点座標取得部３３は、代表点座標として、記憶部１２から対応点座標を取得し、第２輝度値テーブル作成部３５は、対応点における輝度値を取得する（Ｓ２５７）。例えば蓄積画像２６６については、輝度値２６８が得られ、蓄積画像２７０については、輝度値２７２が得られ、蓄積画像２７４については、輝度値２７６が得られる。照合テーブル作成部２７は、記憶部１２に記憶された入力画像の輝度値テーブルと、蓄積画像の照合テーブルとを比較し、照合テーブルを作成して、入力画像と蓄積画像とが一致しているか否かを判別する（Ｓ２５８）。以上の処理は、詳細処理の前に図５のＳ８１の前処理として行われる処理である。
【００６２】
以上説明したように、第２の実施の形態による画像検索システムによれば、第１の実施の形態及びその変形例による画像検索システムが奏する作用効果に加え、カメラ３の位置または撮影する方向がずれてしまったときに、画像の移動量を補正することが可能になる。よって、例えば監視カメラなど屋外に配置されるものが風などにより動いてしまった場合に、撮影した画像の移動量を補償した状態で比較が可能となる。第２の実施の形態を応用することにより、移動式のカメラによる画像においても、画像の移動量を補正した状態で画像検索が可能となる。
【００６３】
ここで、上記それぞれの実施の形態による画像照合方法の動作をコンピュータに行わせるために共通に適用されるコンピュータの例について説明する。図２１は、標準的なコンピュータのハードウエア構成の一例を示すブロック図である。図２１に示すように、コンピュータ３００は、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）３０２、メモリ３０４、入力装置３０６、出力装置３０８、外部記憶装置３１２、媒体駆動装置３１４、ネットワーク接続装置等がバス３１０を介して接続されている。
【００６４】
ＣＰＵ３０２は、コンピュータ３００全体の動作を制御する演算処理装置である。メモリ３０４は、コンピュータ３００の動作を制御するプログラムを予め記憶したり、プログラムを実行する際に必要に応じて作業領域として使用したりするための記憶部である。メモリ３０４は、例えばＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）等である。入力装置３０６は、コンピュータの使用者により操作されると、その操作内容に対応付けられている使用者からの各種情報の入力を取得し、取得した入力情報をＣＰＵ３０２に送付する装置であり、例えばキーボード装置、マウス装置などである。出力装置３０８は、コンピュータ３００による処理結果を出力する装置であり、表示装置などが含まれる。例えば表示装置は、ＣＰＵ３０２により送付される表示データに応じてテキストや画像を表示する。
【００６５】
外部記憶装置３１２は、例えば、ハードディスクなどの記憶装置であり、ＣＰＵ３０２により実行される各種制御プログラムや、取得したデータ等を記憶しておく装置である。媒体駆動装置３１４は、可搬記録媒体３１６に書き込みおよび読み出しを行うための装置である。ＣＰＵ３０２は、可搬型記録媒体３１６に記録されている所定の制御プログラムを、記録媒体駆動装置３１４を介して読み出して実行することによって、各種の制御処理を行うようにすることもできる。可搬記録媒体３１６は、例えばＣｏｎｐａｃｔ Ｄｉｓｃ（ＣＤ）−ＲＯＭ、Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ（ＤＶＤ）、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ（ＵＳＢ）メモリ等である。ネットワーク接続装置３１８は、有線または無線により外部との間で行われる各種データの授受の管理を行うインタフェース装置である。バス３１０は、上記各装置等を互いに接続し、データのやり取りを行う通信経路である。
【００６６】
上記それぞれの実施の形態による画像検索処理をコンピュータに実行させるプログラムは、例えば外部記憶装置３１２に記憶される。ＣＰＵ３０２は、外部記憶装置３１２からプログラムを読み出し、画像検索の動作を行う。このとき、まず、画像検索の処理をＣＰＵ３０２に行わせるための制御プログラムを作成して外部記憶装置３１２に記憶させておく。そして、入力装置３０６から所定の指示をＣＰＵ３０２に与えて、この制御プログラムを外部記憶装置３１２から読み出させて実行させるようにする。また、このプログラムは、可搬記録媒体３１６に記憶するようにしてもよい。
【００６７】
上記実施の形態において、入力画像取得部２１は、第１の画像取得部の一例であり、領域分割部２３は、領域分割部の一例であり、代表点座標生成部２５は、代表点座標生成部の一例であり、第１輝度テーブル作成部２７は、第１の画素値取得部の一例である。また、蓄積画像取得部３１は、第２の画像取得部の一例であり、第２画素値テーブル作成部３５は、第２の画素値取得部の一例である。
【００６８】
なお、本発明は、以上に述べた実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または実施形態を採ることができる。例えば、画像入力部９が取得する画像データは、各画素毎の画素値が取得できるものであれば、例えば、Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ（ＲＧＢ）方式、輝度成分と２つの色差成分を使用する方式等、どのような形式のものでもよい。第１の実施形態、その変形例及び第２の実施形態においては、画素値の一例として輝度値を用いたが、輝度値としては、例えば、白黒画像の輝度値、光の３原色のいずれか少なくとも一つの輝度値、または光の３原色のいずれか２つ以上の輝度値を所定の計算式により演算したもの等を用いるようにしてもよい。また、画素値として、色差成分の画素値を用いてもよい。領域分割の方法は上記に限定されず、輝度値に応じた領域分割が可能であれば、他の方法でもよい。代表点座標の算出方法も、上記の例には限定されず、各領域における一点であればよい。詳細処理の方法も、公知の別の方法を用いてもよい。
【００６９】
以上、第１の実施形態、その変形例及び第２の実施形態に関し、さらに以下の付記を開示する。
（付記１）
第１の画像取得部を介して第１の画像を取得し、
前記第１の画像を画素値に応じた領域に分割する処理を行い、
前記領域に分割する処理の結果得られた一つ以上の領域において各領域内の一点を示す代表点の座標を取得し、
前記代表点における前記第１の画像の画素値を取得し、
前記代表点の座標と、前記第１の画像の画素値とを関連付けて記憶部に格納し、
第２の画像取得部を介して第２の画像を取得し、
前記記憶部から前記代表点の座標を読み出し、前記代表点における前記第２の画像の画素値を取得し、
前記記憶部から前記第１の画像の前記代表点における画素値を読み出し、前記第１の画像の前記代表点における画素値と前記第２の画像の前記代表点における画素値との差が所定範囲内か否かを、前記一つ以上の領域の各代表点について判別することにより、前記第１の画像と前記第２の画像とを照合する、
処理をコンピュータに行わせることを特徴とする画像照合プログラム。
（付記２）
前記コンピュータは、さらに、
第３の画像取得部を介して、前記第２の画像と同一の撮影装置により同一の位置で撮影された固定物の部分画像を含む第３の画像を取得し、
前記第１の画像が、前記第３の画像が含む前記固定物の部分画像とは異なる前記固定物の別の部分画像を含むか否かを、前記第１の画像と前記第３の画像の画像データを比較することにより判別し、
前記第１の画像が前記固定物の別の部分画像を含むと判別されると、前記第１の画像と前記第３の画像との移動量を算出し、
前記移動量に応じて前記代表点の座標を変換することにより、前記代表点に対応する対応点の座標を生成し、
前記第２の画像の画素値を取得する処理においては、前記対応点における前記第２の画像の画素値を前記第２の画像の前記代表点における画素値として取得する、
ことを特徴とする付記１に記載の画像照合プログラム。
（付記３）
前記コンピュータは、前記一つ以上の領域の各代表点において前記画素値の差が所定値以内の場合には、前記第１の画像と前記第２の画像とをさらに詳細比較する必要があると判定し、前記画素値の差が所定値より大きい場合には、詳細比較する必要はないと判別することを特徴とする付記１または付記２に記載の画像照合プログラム。
（付記４）
前記領域は、前記画素値が前記画素値の誤差に応じて決められた所定の範囲にある画素で形成されることを特徴とする付記１から付記３のいずれかに記載の画像照合プログラム。
（付記５）
前記第１の画像を前記画素値に応じた領域に分割する処理は、領域拡張法を用いて行われ、
前記代表点は、前記領域分割を領域拡張法を用いて行う場合に、当該領域内において、第１番目に当該領域として識別された点であることを特徴とする付記１から付記４のいずれかに記載の画像照合プログラム。
（付記６）
第１の画像を取得する第１の画像取得部と、
前記第１の画像を画素値に応じた領域に分割する処理を行う領域分割部と、
前記領域分割部の処理の結果得られた一つ以上の領域において各領域内の一点を示す代表点の座標を取得する代表点座標生成部と、
前記代表点における前記第１の画像の画素値を取得する第１の画素値取得部と、
前記代表点の座標と、前記第１の画像の画素値とを対応付けて記憶する記憶部と、
第２の画像を取得する第２の画像取得部と、
前記記憶部から前記代表点の座標を読み出し、前記代表点における前記第２の画像の画素値を取得する第２の画素値取得部と、
前記記憶部から前記第１の画像の前記代表点における画素値を読出し、前記第１の画像の前記代表点における画素値と前記第２の画素値取得部が取得した前記第２の画像の前記代表点における画素値との差が所定範囲内か否かを、前記一つ以上の領域の各代表点について判別することにより、前記第１の画像と前記第２の画像とを照合する照合部と、
を有することを特徴とする画像照合装置。
（付記７）
前記第２の画像と同一の撮影装置により同一の位置で撮影された固定物の部分画像を含む第３の画像を取得する第３の画像取得部と、
前記第１の画像が、前記第３の画像が含む前記固定物の部分画像とは異なる前記固定物の別の部分画像を含むか否かを、前記第１の画像と前記第３の画像の画像データを比較することにより判別する移動判別部と、
前記移動判別部が前記第１の画像が前記固定物の別の部分画像を含むと判別すると、前記第３の画像と前記第１の画像との移動量を算出する移動量算出部と、
前記移動量に応じて前記代表点の座標を変換することにより、前記代表点に対応する対応点の座標を生成する対応点座標生成部と、
をさらに有し、
前記第２の画素値取得部は、前記対応点における前記第２の画像の画素値を前記第２の画像の前記代表点における画素値として取得することを特徴とする付記６に記載の画像照合装置。
（付記８）
前記照合部は、前記一つ以上の領域の各代表点において前記画素値の差が所定値以内の場合には、前記第１の画像と前記第２の画像とをさらに詳細比較する必要があると判定し、前記画素値の差が所定値より大きい場合には、詳細比較する必要はないと判別することを特徴とする付記７に記載の画像照合装置。
（付記９）
前記領域分割部は、前記領域を、前記画素値が前記画素値の誤差に応じて決められた所定の範囲にある画素で形成されるように分割することを特徴とする付記６から付記８のいずれかに記載の画像照合装置。
（付記１０）
前記領域分割部は、前記第１の画像を領域拡張法を用いて分割し、
前記代表点は、前記領域分割を領域拡張法を用いて行う場合に、当該領域内において、第１番目に当該領域として識別された点であることを特徴とする付記６から付記９のいずれかに記載の画像照合装置。
（付記１１）
第１の画像を取得する工程と、
前記第１の画像を画素値に応じた領域に分割する処理を行う工程と、
前記領域に分割する処理を行う工程の結果得られた一つ以上の領域において各領域内の一点を示す代表点の座標を取得する工程と、
前記一つ以上の領域の各代表点における前記第１の画像の画素値を取得する工程と、
前記代表点の座標と、前記第１の画像の画素値とを対応付けて記憶する工程と、
第２の画像を取得する工程と、
前記記憶する工程において記憶された前記代表点の座標を読み出し、前記代表点における前記第２の画像の画素値を取得する工程と、
前記記憶する工程において記憶された前記第１の画像の前記代表点における画素値を読出し、前記第１の画像の前記代表点における画素値と前記第２の画像の前記代表点における画素値との差が所定範囲内か否かを、前記一つ以上の領域の各代表点座標について判別することにより、前記第１の画像と前記第２の画像とを照合する工程と、
を有することを特徴とする画像照合方法。
（付記１２）
さらに、
前記第２の画像と同一の撮影装置により同一の位置で撮影された固定物の部分画像を含む第３の画像を取得する工程と、
前記第１の画像が、前記第３の画像が含む前記固定物の部分画像とは異なる前記固定物の別の部分画像を含むか否かを、前記第１の画像と前記第３の画像の画像データを比較することにより判別する工程と、
前記第１の画像が前記固定物の別の部分画像を含むと判別されると、前記第１の画像と前記第３の画像との移動量を算出する工程と、
前記移動量に応じて前記代表点の座標を変換することにより、前記代表点の座標に対応する対応点の座標を生成する工程と、
を有し、
前記第２の画像の画素値を取得する工程においては、前記対応点における前記第２の画像の画素値を前記第２の画像の前記代表点における画素値として取得する、
ことを特徴とする付記１１に記載の画像照合方法。
（付記１３）
前記第１の画像と前記第２の画像とを照合する工程において、前記一つ以上の領域の各代表点座標において前記画素値の差が所定値以内と判別された場合には、前記第１の画像と前記第２の画像とをさらに詳細比較する必要があると判定し、前記画素値の差が所定値より大きい場合には、詳細比較する必要はないと判別する工程、
をさらに有することを特徴とする付記１１または付記１２に記載の画像照合方法。
（付記１４）
前記領域に分割する工程は、前記領域を、前記画素値が前記画素値の誤差に応じて決められた所定の範囲にある画素で形成されるようにすることを特徴とする付記１１から付記１３のいずれかに記載の画像照合方法。
（付記１５）
前記第１の画像を前記画素値に応じた領域に分割する工程は、領域拡張法を用いて行われ、
前記一点は、前記領域分割を領域拡張法を用いて行う場合に、当該領域内において、第１番目に当該領域として識別された点であることを特徴とする付記１１から付記１４のいずれかに記載の画像照合方法。
（付記１６）
画像を撮影し、画像データを出力する撮影装置と、
前記撮影装置で撮影した画像を蓄積する画像蓄積装置と、
付記６から付記１０のいずれかに記載の画像照合装置と、
を有し、
前記第１の画像は、前記撮影装置から前記第１の画像取得部に送出され、
前記第２の画像は、前記画像蓄積装置から前記第２の画像取得部により取得され、
前記画像蓄積装置に蓄積された前記第２の画像の中で、前記第１の画像と一致する画像があるか否かを検索することを特徴とする画像検索システム。
【符号の説明】
【００７０】
１ 画像検索システム
３ カメラ
５ 画像照合装置
７ 画像蓄積データベース
９ 画像入力部
１１ 代表点座標算出部
１２ 記憶部
１３ 画像照合部
１５ 蓄積画像部
１７ 出力部
１９ バス
２１ 入力画像取得部
２３ 領域分割部
２５ 代表点座標生成部
２７ 第１輝度値テーブル作成部
２９ 照合テーブル作成部
３１ 蓄積画像取得部
３３ 代表点座標取得部
３５ 第２輝度値テーブル作成部
３７ 照合結果作成部
【特許請求の範囲】
【請求項１】
第１の画像取得部を介して第１の画像を取得し、
前記第１の画像を画素値に応じた領域に分割する処理を行い、
前記領域に分割する処理の結果得られた一つ以上の領域において各領域内の一点を示す代表点の座標を取得し、
前記代表点における前記第１の画像の画素値を取得し、
前記代表点の座標と、前記第１の画像の画素値とを関連付けて記憶部に格納し、
第２の画像取得部を介して第２の画像を取得し、
前記記憶部から前記代表点の座標を読み出し、前記代表点における前記第２の画像の画素値を取得し、
前記記憶部から前記第１の画像の前記代表点における画素値を読み出し、前記第１の画像の前記代表点における画素値と前記第２の画像の前記代表点における画素値との差が所定範囲内か否かを、前記一つ以上の領域の各代表点について判別することにより、前記第１の画像と前記第２の画像とを照合する、
処理をコンピュータに行わせることを特徴とする画像照合プログラム。
【請求項２】
前記コンピュータは、さらに、
第３の画像取得部を介して、前記第２の画像と同一の撮影装置により同一の位置で撮影された固定物の部分画像を含む第３の画像を取得し、
前記第１の画像が、前記第３の画像が含む前記固定物の部分画像とは異なる前記固定物の別の部分画像を含むか否かを、前記第１の画像と前記第３の画像の画像データを比較することにより判別し、
前記第１の画像が前記固定物の別の部分画像を含むと判別されると、前記第１の画像と前記第３の画像との移動量を算出し、
前記移動量に応じて前記代表点の座標を変換することにより、前記代表点に対応する対応点の座標を生成し、
前記第２の画像の画素値を取得する処理においては、前記対応点における前記第２の画像の画素値を前記第２の画像の前記代表点における画素値として取得する
処理を行わせることを特徴とする請求項１に記載の画像照合プログラム。
【請求項３】
前記コンピュータは、前記一つ以上の領域の各代表点において前記画素値の差が所定値以内の場合には、前記第１の画像と前記第２の画像とをさらに詳細比較する必要があると判定し、前記画素値の差が所定値より大きい場合には、詳細比較する必要はないと判別する
ことを特徴とする請求項１または請求項２に記載の画像照合プログラム。
【請求項４】
前記領域は、前記画素値が前記画素値の誤差に応じて決められた所定の範囲にある画素で形成されることを特徴とする請求項１から請求項３のいずれかに記載の画像照合プログラム。
【請求項５】
前記第１の画像を前記画素値に応じた領域に分割する処理は、領域拡張法を用いて行われ、
前記代表点は、前記領域分割を領域拡張法を用いて行う場合に、当該領域内において、第１番目に当該領域として識別された点であることを特徴とする請求項１から請求項４のいずれかに記載の画像照合プログラム。
【請求項６】
第１の画像を取得する第１の画像取得部と、
前記第１の画像を画素値に応じた領域に分割する処理を行う領域分割部と、
前記領域分割部の処理の結果得られた一つ以上の領域において各領域内の一点を示す代表点の座標を取得する代表点座標生成部と、
前記代表点における前記第１の画像の画素値を取得する第１の画素値取得部と、
前記代表点の座標と、前記第１の画像の画素値とを対応付けて記憶する記憶部と、
第２の画像を取得する第２の画像取得部と、
前記記憶部から前記代表点の座標を読み出し、前記代表点における前記第２の画像の画素値を取得する第２の画素値取得部と、
前記記憶部から前記第１の画像の前記代表点における画素値を読出し、前記第１の画像の前記代表点における画素値と前記第２の画素値取得部が取得した前記第２の画像の前記代表点における画素値との差が所定範囲内か否かを、前記一つ以上の領域の各代表点について判別することにより、前記第１の画像と前記第２の画像とを照合する照合部と、
を有することを特徴とする画像照合装置。
【請求項７】
第１の画像を取得する工程と、
前記第１の画像を画素値に応じた領域に分割する処理を行う工程と、
前記領域に分割する処理を行う工程の結果得られた一つ以上の領域において各領域内の一点を示す代表点の座標を取得する工程と、
前記一つ以上の領域の各代表点における前記第１の画像の画素値を取得する工程と、
前記代表点の座標と、前記第１の画像の画素値とを対応付けて記憶する工程と、
第２の画像を取得する工程と、
前記記憶する工程において記憶された前記代表点の座標を読み出し、前記代表点における前記第２の画像の画素値を取得する工程と、
前記記憶する工程において記憶された前記第１の画像の前記代表点における画素値を読出し、前記第１の画像の前記代表点における画素値と前記第２の画像の前記代表点における画素値との差が所定範囲内か否かを、前記一つ以上の領域の各代表点座標について判別することにより、前記第１の画像と前記第２の画像とを照合する工程と、
を有することを特徴とする画像照合方法。
【請求項８】
画像を撮影し、画像データを出力する撮影装置と、
前記撮影装置で撮影した画像を蓄積する画像蓄積装置と、
請求項６に記載の画像照合装置と、
を有し、
前記第１の画像は、前記撮影装置から前記第１の画像取得部に送出され、
前記第２の画像は、前記画像蓄積装置から前記第２の画像取得部により取得され、
前記画像蓄積装置に蓄積された前記第２の画像の中で、前記第１の画像と一致する画像があるか否かを検索することを特徴とする画像検索システム。
【請求項１】
第１の画像取得部を介して第１の画像を取得し、
前記第１の画像を画素値に応じた領域に分割する処理を行い、
前記領域に分割する処理の結果得られた一つ以上の領域において各領域内の一点を示す代表点の座標を取得し、
前記代表点における前記第１の画像の画素値を取得し、
前記代表点の座標と、前記第１の画像の画素値とを関連付けて記憶部に格納し、
第２の画像取得部を介して第２の画像を取得し、
前記記憶部から前記代表点の座標を読み出し、前記代表点における前記第２の画像の画素値を取得し、
前記記憶部から前記第１の画像の前記代表点における画素値を読み出し、前記第１の画像の前記代表点における画素値と前記第２の画像の前記代表点における画素値との差が所定範囲内か否かを、前記一つ以上の領域の各代表点について判別することにより、前記第１の画像と前記第２の画像とを照合する、
処理をコンピュータに行わせることを特徴とする画像照合プログラム。
【請求項２】
前記コンピュータは、さらに、
第３の画像取得部を介して、前記第２の画像と同一の撮影装置により同一の位置で撮影された固定物の部分画像を含む第３の画像を取得し、
前記第１の画像が、前記第３の画像が含む前記固定物の部分画像とは異なる前記固定物の別の部分画像を含むか否かを、前記第１の画像と前記第３の画像の画像データを比較することにより判別し、
前記第１の画像が前記固定物の別の部分画像を含むと判別されると、前記第１の画像と前記第３の画像との移動量を算出し、
前記移動量に応じて前記代表点の座標を変換することにより、前記代表点に対応する対応点の座標を生成し、
前記第２の画像の画素値を取得する処理においては、前記対応点における前記第２の画像の画素値を前記第２の画像の前記代表点における画素値として取得する
処理を行わせることを特徴とする請求項１に記載の画像照合プログラム。
【請求項３】
前記コンピュータは、前記一つ以上の領域の各代表点において前記画素値の差が所定値以内の場合には、前記第１の画像と前記第２の画像とをさらに詳細比較する必要があると判定し、前記画素値の差が所定値より大きい場合には、詳細比較する必要はないと判別する
ことを特徴とする請求項１または請求項２に記載の画像照合プログラム。
【請求項４】
前記領域は、前記画素値が前記画素値の誤差に応じて決められた所定の範囲にある画素で形成されることを特徴とする請求項１から請求項３のいずれかに記載の画像照合プログラム。
【請求項５】
前記第１の画像を前記画素値に応じた領域に分割する処理は、領域拡張法を用いて行われ、
前記代表点は、前記領域分割を領域拡張法を用いて行う場合に、当該領域内において、第１番目に当該領域として識別された点であることを特徴とする請求項１から請求項４のいずれかに記載の画像照合プログラム。
【請求項６】
第１の画像を取得する第１の画像取得部と、
前記第１の画像を画素値に応じた領域に分割する処理を行う領域分割部と、
前記領域分割部の処理の結果得られた一つ以上の領域において各領域内の一点を示す代表点の座標を取得する代表点座標生成部と、
前記代表点における前記第１の画像の画素値を取得する第１の画素値取得部と、
前記代表点の座標と、前記第１の画像の画素値とを対応付けて記憶する記憶部と、
第２の画像を取得する第２の画像取得部と、
前記記憶部から前記代表点の座標を読み出し、前記代表点における前記第２の画像の画素値を取得する第２の画素値取得部と、
前記記憶部から前記第１の画像の前記代表点における画素値を読出し、前記第１の画像の前記代表点における画素値と前記第２の画素値取得部が取得した前記第２の画像の前記代表点における画素値との差が所定範囲内か否かを、前記一つ以上の領域の各代表点について判別することにより、前記第１の画像と前記第２の画像とを照合する照合部と、
を有することを特徴とする画像照合装置。
【請求項７】
第１の画像を取得する工程と、
前記第１の画像を画素値に応じた領域に分割する処理を行う工程と、
前記領域に分割する処理を行う工程の結果得られた一つ以上の領域において各領域内の一点を示す代表点の座標を取得する工程と、
前記一つ以上の領域の各代表点における前記第１の画像の画素値を取得する工程と、
前記代表点の座標と、前記第１の画像の画素値とを対応付けて記憶する工程と、
第２の画像を取得する工程と、
前記記憶する工程において記憶された前記代表点の座標を読み出し、前記代表点における前記第２の画像の画素値を取得する工程と、
前記記憶する工程において記憶された前記第１の画像の前記代表点における画素値を読出し、前記第１の画像の前記代表点における画素値と前記第２の画像の前記代表点における画素値との差が所定範囲内か否かを、前記一つ以上の領域の各代表点座標について判別することにより、前記第１の画像と前記第２の画像とを照合する工程と、
を有することを特徴とする画像照合方法。
【請求項８】
画像を撮影し、画像データを出力する撮影装置と、
前記撮影装置で撮影した画像を蓄積する画像蓄積装置と、
請求項６に記載の画像照合装置と、
を有し、
前記第１の画像は、前記撮影装置から前記第１の画像取得部に送出され、
前記第２の画像は、前記画像蓄積装置から前記第２の画像取得部により取得され、
前記画像蓄積装置に蓄積された前記第２の画像の中で、前記第１の画像と一致する画像があるか否かを検索することを特徴とする画像検索システム。
【図３】
【図４】
【図５】
【図６】
【図７】
【図９】
【図１１】
【図１２】
【図１３】
【図１６】
【図１７】
【図１８】
【図１９】
【図２１】
【図１】
【図２】
【図８】
【図１０】
【図１４】
【図１５】
【図２０】
【図４】
【図５】
【図６】
【図７】
【図９】
【図１１】
【図１２】
【図１３】
【図１６】
【図１７】
【図１８】
【図１９】
【図２１】
【図１】
【図２】
【図８】
【図１０】
【図１４】
【図１５】
【図２０】
【公開番号】特開２０１２−１３３６７９（Ｐ２０１２−１３３６７９Ａ）
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願番号】特願２０１０−２８６７０３（Ｐ２０１０−２８６７０３）
【出願日】平成２２年１２月２２日（２０１０．１２．２２）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願日】平成２２年１２月２２日（２０１０．１２．２２）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]