画像検索システム
【課題】
ナンバプレートの画像特徴量を用いた画像検索において、操作者が用意に検索のキーとなる画像を取得できる。
【解決手段】
ナンバプレートを含む画角で車両を撮影するカメラと、画像からナンバプレートを切出すプレート画像切出し部と、ナンバプレートの画像から画像特徴量を抽出するプレート画像特徴抽出部と、少なくともナンバプレートの画像と画像特徴量とを組にして蓄積する検索データベースと、検索データベース中から操作者が指定した画像と画像特徴量の類似度が高い画像を検索する検索部と、操作者から検索対象の車番情報を受け取るプレート合成指定部と、プレート合成指定部の受け取った合成条件に応じたナンバプレートの画像を合成するプレート画像合成部と、合成したプレート画像を一覧表示して操作者の選択を受け取るプレート選択部と、検索結果を表示する検索結果表示部を備えることを最も主な特徴とする。
ナンバプレートの画像特徴量を用いた画像検索において、操作者が用意に検索のキーとなる画像を取得できる。
【解決手段】
ナンバプレートを含む画角で車両を撮影するカメラと、画像からナンバプレートを切出すプレート画像切出し部と、ナンバプレートの画像から画像特徴量を抽出するプレート画像特徴抽出部と、少なくともナンバプレートの画像と画像特徴量とを組にして蓄積する検索データベースと、検索データベース中から操作者が指定した画像と画像特徴量の類似度が高い画像を検索する検索部と、操作者から検索対象の車番情報を受け取るプレート合成指定部と、プレート合成指定部の受け取った合成条件に応じたナンバプレートの画像を合成するプレート画像合成部と、合成したプレート画像を一覧表示して操作者の選択を受け取るプレート選択部と、検索結果を表示する検索結果表示部を備えることを最も主な特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は路上に設置したカメラによって撮影された車両の画像から、画像処理によって抽出した画像特徴量を用いて車両を検索するシステムに関する。
【背景技術】
【０００２】
従来から車両画像を入力とした画像処理によって自動認識したナンバプレートの車番情報や、車両画像のテクスチャや色の画像特徴量を用いて車両を検索する技術が開示されている。例えば特許文献１では、路上の定点カメラで撮影した車両の画像からナンバプレートの車番情報や色やテクスチャなどの画像特徴量を抽出してデータベース中に蓄積しておき、操作者が車番情報あるいは画像特徴量の検索条件を指定すると、該当車両の画像の２次元空間あるいは３次元空間に一覧表示する車両検索の技術が開示されている。
【０００３】
ここでナンバプレートの自動認識には、車両の所持者が故意に認識を妨害する目的で大きな角度で傾けた場合等には、カメラが撮影する画像中のナンバプレートが歪んで自動認識による車番情報の取得が不可能になる問題があった。あるいは、ナンバプレートの自動認識には車両の所持者に故意の意図が無くても、ナンバプレートにカバーを装着してナンバプレート画像のコントラストが低下した場合や、ナンバプレートに枠を装着してナンバプレート中の文字と接触した場合には、自動認識による車番情報の取得が困難になる問題があった。道路交通網の長期に渡る通過車両の画像を扱う大規模なシステムに特許文献１の技術を適用すると、車番情報が取得できない場合においては色やテクスチャなどの画像特徴量だけ検索する必要があるが、道路交通網の中には検索対象の車両以外にも同一の車種や色の車が多数通過するために該当車両が非常に多くなり総数を目視で確認することは多くの労力を要してしまう。
【０００４】
上記の問題の解決のために、車両の識別情報を含むナンバプレート部位を画像から切出して、ナンバプレート部位の画像特徴量を用いて画像検索の検索精度を向上させることが考えられる。画像中のナンバプレート部位の切出しは特許文献２の技術で実現でき、画像中の特定部位の画像特徴量および特定部位と画像全体の画像特徴量とを複合させた画像検索は特許文献３の技術で実現できる。ただし、画像検索において操作者は検索キーの画像特徴量の数値あるいは画像特徴量を抽出する画像を指定する必要があるが、操作者が直接的にナンバプレート画像を代表する画像の色やテクスチャの数値を直接指定することは困難である。一方で、操作者が検索のキーとなるナンバプレートの画像を指定するには、カメラで撮影した画像をデータベースに蓄積しておき、データベース中の画像を閲覧して選択する方法や、システム外部のカメラで撮影した画像からナンバプレートを自動あるいは手動により切出す方法があるが、前者はデータベースの多くの画像を閲覧する手間を要求し、後者は検索対象の撮影画像がない場合には適用できない問題がある。
【０００５】
【特許文献１】特開２００５−２０９１７７号公報
【特許文献２】特開２００４−３０５５２号公報
【特許文献３】特開２００７−８８８１４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は上記問題点を解決するために、操作者が指定した車番情報と適合したナンバプレート画像を合成して検索キーとすること、およびデータベース中において繰り返し出現するナンバプレート画像を操作者が検索キーに指定することを可能にした画像検索システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、撮像手段，演算手段，記憶手段，通信手段を有するカメラと、演算手段，記憶手段，通信手段を有するサーバと、表示手段，入力手段，演算手段，通信手段を有する計算機と、を有する画像検索システムにおいて、カメラは、ナンバプレートを含む画角で車両を撮影し、サーバは、画像からナンバプレートを切出すプレート画像切出し部と、ナンバプレートの画像から画像特徴量を抽出するプレート画像特徴抽出部と、少なくともナンバプレートの画像と画像特徴量とを組にして蓄積する検索データベースと、検索データベース中から操作者が指定した画像と画像特徴量の類似度が高い画像を検索する検索部と、を備え、計算機が、操作者から検索対象の車番情報を受け取るプレート合成指定部と、
プレート合成指定部の受け取った合成条件に応じたナンバプレートの画像を合成するプレート画像合成部と、合成したプレート画像を一覧表示して操作者の選択を受け取るプレート選択部と、検索結果を表示する検索結果表示部と、を備えることを第１の特徴とする。
【０００８】
また、画像検索システムは、前記プレート合成指定部の合成したナンバプレートを加工する指定を操作者から受け取るプレート加工指定部と、前記ナンバプレートを加工するプレート画像加工部とを備えることを第２の特徴とする。
【０００９】
さらに、画像検索システムは、プレート画像合成部が合成したプレート画像あるいはプレート画像合成部が合成語にプレート画像加工部が加工したプレート画像の画像特徴量と、車両画像の画像特徴量とを複合させて検索することを第３の特徴とする。
【００１０】
また、画像検索システムは、ナンバプレートを含む画角で車両を撮影するカメラと、画像からナンバプレートを切出すプレート画像切出し部と、ナンバプレートの画像から画像特徴量を抽出するプレート画像特徴抽出部と、少なくともナンバプレートの画像と画像特徴量とを組にして蓄積する検索データベースと、検索データベース中から操作者が指定した画像と画像特徴量の類似度が高い画像を検索する検索部と、検索結果を表示する検索結果表示部と、検索データベースの中から画像特徴量の集約度が高いデータを抽出する頻出車両抽出部と、頻出車両抽出部が選択したデータの表示と検索キーの指定を受け取る頻出車両選択部とを備えることを第４の特徴とする。
【発明の効果】
【００１１】
本発明の画像検索システムによれば第１の特徴により、車両のナンバプレートが自動認識できない場合でも、操作者が検索したい車番情報に応じたナンバプレートの画像を合成することによって、合成したナンバプレート画像の画像特徴量を用いた画像検索によって、データベース中の車両を効率的に検索することが可能になる。
【００１２】
本発明の画像検索システムによれば第２の特徴により、前記の合成したナンバプレート画像を実際の車両のナンバプレートに近づける加工を施すことにより、画像特徴量の精度を高めて画像検索の精度を向上させることができる。
【００１３】
本発明の画像検索システムによれば第３の特徴により、合成あるいは加工したナンバプレート画像の画像特徴量と、車両画像の画像特徴量とを複合させることによって、検索したい車両の車番情報と外観の情報とを複合させて画像検索の精度を向上させることができる。
【００１４】
本発明の画像検索システムによれば第４の特徴により、ナンバプレート画像の画像特徴量あるいはナンバプレート画像と車両画像の画像特徴量のデータベース中における集約度から、繰り返し出現する車両を検索キーの候補を一覧表示することで、操作者がデータベースの中から検索キーを容易に指定して画像検索を実施することが可能になる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明にかかる車両検索システムのより具体的な実施形態について、図面を参照しながら説明する。なお、本実施形態では、車両の一例として自動車を挙げて説明を行うが発明にかかる「車両」とは自動車に限定されず、路上を走行するあらゆる種類の乗り物を含む。
【実施例１】
【００１６】
図１は、本発明の実施例１の機能構成の概略を示すブロック図である。
【００１７】
図１において、カメラ１とサーバ２とクライアント３は、通信ネットワークで相互に接続されている。カメラ１およびクライアント３の数は、１以上で複数であってもよい。
【００１８】
カメラ１は撮像装置，演算装置，記憶装置，通信装置を有すカメラで路上に設置されている。カメラ１は演算装置のフレーム間差分処理によって通行する車両を検出し、車両の前面あるいは後面のナンバプレートを含む画角で画像を自動的に撮影する。カメラ１は、撮影画像および記憶装置内の地点および演算装置が保持する日時を組にしてサーバ２に送信する。
【００１９】
サーバ２は、演算装置，記憶装置，通信装置を持つ汎用的な計算機である。クライアント３は操作者に情報を表示するディスプレイのような表示装置，キーボードやマウスなどの操作者からの入力をうけとる入力装置，演算装置，通信装置を持つ。クライアント３は、たとえば汎用的な計算機で実現できる。
【００２０】
図１において、１０３，１０４，１０７，１０８，１０９はサーバ２の機能、２０１，２０２，２０４，２１０，２１２，２１５，２２０はクライアント３の機能である。
【００２１】
図１において管理ＤＢ１０９は、図示していない接続線で１０３，１０４，１０７，１０８，１０９，２０１，２０２，２０４，２１０，２１２，２１５，２２０等の各機能と接続されていて、各機能の信号処理に必要なパラメータを蓄積している。なお、個々のクライアント３管理ＤＢ１０９の一部コピーを保持していても同じ機能を実現できる。
【００２２】
図１においてプレート画像切出し部１０３は、カメラ１から受け取った車両の画像から特定物体の切出しアルゴリズムを適用して、プレート画像の外接矩形で切出す。特定物体の切出しアルゴリズムは、公知文献１に記載された一般的なハール状特徴を用いたアルゴリズムを適用することで実現できるがこの例に限らない。
【００２３】
図１（ａ）はプレート画像切出し部１０３が、車両画像１５から特定物体の切出しアルゴリズムによって切出したプレート画像１０の例である。図１（ｂ）は、特定物体の切出しアルゴリズムが車両画像１５においてナンバプレートに類似したいくつかの候補を切出した結果の例である。このように複数の候補を抽出しておくと、特定物体の切出しアルゴリズムの精度が低くても正しいナンバプレート画像を高い精度で切出すことができる。
【００２４】
プレート画像切出し部１０３は特定物体の切出しアルゴリズム以外でも、車両画像１０中においてナンバプレートの出現頻度が高い領域をプレート画像の候補にとることができる。図１（ｃ）はプレート画像切出し部１０３が、車両の下端１２、および左右中心軸１３を抽出して車両の基準位置１４を抽出した後に、基準位置１４と統計的にナンバプレートの出現頻度が高い矩形領域を、プレートの切出し画像１０として切出した例を示している。前記出現頻度が高い矩形領域の数は、図１（ｃ）では２つ示しているがこの数に限らず１つ以上の任意の数であってよい。図１（ｃ）の下端１２および左右中心軸１３は公知文献２の手法により抽出できる。また、統計的にナンバプレートの出現頻度が高い矩形領域は、手作業により抽出した基準位置１４と切出したプレート画像１０の画像上の縦横の位置の差の頻度ヒストグラムから作成することができる。なお、車両の基準位置１４は図２（ｃ）に例示した車両の左右中心軸と下端の交点以外でもよい。
【００２５】
プレート画像切出し部１０３は管理ＤＢ１０９に記された設定条件にしたがって、特定物体の切出しアルゴリズムあるいはナンバプレートの出現頻度を基準としたアルゴリズムによって車両画像１５からプレート画像１０を切出す。
【００２６】
ナンバプレートが傾けられていたり、ナンバプレートに透過率の低いカバーが取り付けられている場合には、車両画像１５中のナンバプレート部位は歪んだりコントラストが低下して特定物体の切出しアルゴリズム単体で精度よくプレート画像１０を切出すことは困難になるが、プレート画像切出し部１０３は図１（ｂ）のように特定物体のアルゴリズムから複数の候補や、図１（ｃ）のように車両画像１５中において統計的にナンバプレートの出現頻度が高い領域を出力することで、高い精度でプレート画像１０を切出すことを可能としている。
【００２７】
図１においてプレート画像特徴抽出部１０４は、プレート画像切出し部１０３が切出したプレート画像から色とテクスチャの画像特徴量を抽出する。色の画像特徴量はＨＳＩのヒストグラム、テクスチャの画像特徴量には高次局所自己相関を用いることで実現できるが、この例に限らない。
【００２８】
図１において、検索ＤＢ１０７はプレート画像特徴抽出部１０４が切出したプレート画像１０の画像特徴量、カメラ１から受信した撮影画像の日時，地点、プレート画像１０を組にして蓄積する。
【００２９】
図１５は検索ＤＢ１０７が蓄積するデータを示してあり、検索ＤＢ１０７はデータにＩＤ７を付加して管理する。検索ＤＢ１０７は、図１５のほか、車両に関連する参照情報として車両画像１５など任意の情報もＩＤ７と組にして記録してもよい。
【００３０】
図１においてプレート合成指定部２１０は、操作者からユーザインタフェースを介して、操作者から検索したい車両の車番情報の指定を受ける。
【００３１】
図３（ａ）はプレート合成指定部２１０の画面例でありＧ１，Ｇ２，Ｇ３，Ｇ４はそれぞれナンバプレート上の一連番号，用途コード，車種コード，陸支コードの入力を受けとるテキストボックスである。Ｇ９は車両サイズを大型，普通，軽自動車，バイク，原付の５区分で受け取るテキストボックスである。Ｇ１０は用途区分を自家用，事業用の２区分で受け取るテキストボックスである。Ｇ５，Ｇ６，Ｇ７，Ｇ８はそれぞれ、一連番号，用途コード，車種コード，陸支コードのフォントの選択するためのサブメニューを呼び出すためのボタンである。図３（ｂ）はＧ６のボタンを押したときの用途コードのフォントを選択するサブメニューの画面の一例であり、Ｇ１４は全フォントの一覧であり、Ｇ１３はＧ１４の各フォントに対応したチェックボックスであり、操作者からひとつ以上の選択を受けとる。操作者はＧ１４の画面を目視しながらＧ１３を選択することで、検索した車両のフォントの候補を指定，確認することができる。Ｇ１５のチェックボックスは、Ｇ１４のチェックボックスを全てオンにする機能をもつチェックボックスであり、操作者のＧ１４への入力の手間を軽減する。Ｇ５，Ｇ７，Ｇ８のボタンを操作者が選択した場合、図３（ｂ）のようなレイアウトのサブメニューが出現して、それぞれ一連番号，車種コード，陸支コードのフォントを指定することができる。
【００３２】
Ｇ１１は地域別のフォントを設定するチェックボックスでありオンにすると、Ｇ４の陸支コードの指定に応じて、あらかじめ陸支ごとに設定された一連番号，用途コード，車種コードのフォントのうちいずれかひとつ以上を選択することができる。Ｇ１１のチェックボックスの選択により、ナンバプレートの各コードのフォントが地域別に違うこと、陸支コードがおおよそ地域に対応していることを反映してフォントを指定することが可能になる。
【００３３】
Ｇ１２のチェックボックスはオンにすることにより、一連番号，用途コード，車種コード，車種コードの全てのコードの全てのフォントを選択する機能を持つ。
【００３４】
図１において、プレート画像合成部２０１は、プレート合成指定部２１０の操作者の指定に応じたナンバプレート画像を合成する。図４を用いて、プレート画像合成部２０１の処理を説明すると、まずプレート合成指定部２１０の指定結果から、ナンバプレート上の各コードの文字の種類およびフォントの指定を読み込む（Ｓ２）。次に、各コードのナンバプレート中の位置，大きさのレイアウトをＧ９の車両サイズの区分に応じて決定する（Ｓ３）。次に、Ｇ１０で選択された用途区分とＧ９で選択された車両サイズから、ナンバプレートの背面と文字の色の組み合わせを定める（Ｓ４）。具体的に述べるとＳ４は一例として、Ｇ１０の用途区分が事業用かつＧ９で選択された車両サイズが軽自動車以外の場合には、ナンバプレートの背面を緑、ナンバプレートの文字を白色、Ｇ１０の用途区分が事業用かつＧ９で選択された車両サイズが軽自動車の場合にはナンバプレートの背面を黒色、ナンバプレートの文字を黄色、Ｇ１０の用途区分が自家用かつＧ９で選択された車両サイズが軽自動車の場合にはナンバプレートの背面を黄色、ナンバプレートの文字を黒色、Ｇ１０の用途区分とＧ９の車両サイズが前記以外の場合には、ナンバプレートの背面を白色、ナンバプレートの文字を緑色とする。次に、Ｓ２で読み込んだナンバプレート上の文字とフォントを組み合わせで変えながら（Ｓ５からＳ７のループ）、文字とフォントとＳ２で決定したレイアウトとプレートの背面とプレートの文字の色に従ってプレート画像を合成する（Ｓ６）。なお、Ｇ１あるいはＧ２あるいはＧ３あるいはＧ４の中に文字の指定がない場合、平均的な画像特徴量が求まるように、全文字種，全フォントの平均画像を代用に用いる。Ｓ６の処理に必要なデータは、全て管理ＤＢ１０９内のデータを用いる。
【００３５】
図５（ａ）と図５（ｂ）はプレート画像合成部２０１が出力したプレート画像Ｃ１０の例であり、図３（ａ）と図３（ｂ）のプレート合成指定部２１０の図３の入力例に対応している。図５（ａ）と図５（ｂ）において、Ｃ１，Ｃ２，Ｃ３，Ｃ４はそれぞれ普通車両の一連番号，用途コード，車種コード，陸支コードのレイアウト枠を示してあり実際の画像上には描画されない。Ｇ９の車両サイズが普通以外（大型，軽自動車，バイク，原付）の場合、Ｃ１，Ｃ２，Ｃ３，Ｃ４それぞれの位置や大きさは、図５（ａ）および（ｂ）から車両のサイズの指定に応じて変更される。図５（ａ）のＣ３内の用途コードは図３（ｂ）のＧ１４ａのフォントに対応し、図５（ｂ）のＣ３内の用途コードは図３（ｂ）のＧ１４ｂのフォントに対応している。図３の車両サイズの指定が普通であることより、図５（ａ）と図５（ｂ）の背面の色は白色，文字の色は緑色である。
【００３６】
以上述べたプレート合成指定部２１０への入力とプレート画像合成部２０１の処理によって、操作者は検索したい車両の車番情報およびフォント指定に応じたナンバプレート画像を合成することができる。
【００３７】
図１においてプレート加工指定部２１２は、操作者からユーザインタフェースを介して、操作者から検索したいナンバプレートの加工条件の指定を受けとる。
【００３８】
図６（ａ）においてＧ８０はプレート加工指定２１０の画面例である。図６（ａ）において、Ｇ３１はナンバプレートの傾きの加工の有無の指定するチェックボックスであり、Ｇ４１は傾きの加工の詳細を指定するサブメニューを呼び出すためのボタンである。図７（ｂ）は傾きの加工のサブメニューＧ８１の画面の一例であり、Ｇ５０，Ｇ５１，Ｇ５２は順番に加工後のカメラの空間中の位置（Ｘ，Ｙ，Ｚ）を入力するテキストボックスであり、Ｇ５３，Ｇ５４，Ｇ５５は順番に加工後カメラの空間中の角度（Ｐ，Ｔ，Ｒ）を入力するテキストボックス、である。また、Ｇ６０，Ｇ６１，Ｇ６２は順番に加工後プレートの空間中の位置（Ｘ，Ｙ，Ｚ）を入力するテキストボックスであり、Ｇ６３，Ｇ６４，Ｇ６５は順番に加工後プレートの空間中の角度（Ｐ，Ｔ，Ｒ）を入力するテキストボックス、である。
【００３９】
図８は、カメラおよびプレートの空間中の位置と角度の一例を示す図であり、２１は原点をＯ、座標軸をＸＹＺ、Ｘ軸周りの角度をＴ、Ｙ軸周りの角度をＲ、Ｚ軸周りの角度をＰとした座標系である。座標系２１は例えば車両２４が走行する車線２２の進行方向をＹ軸、鉛直方向をＺ軸、車線に直行する方向をＸ軸、原点ＯをＸ軸について車線２２の中央線２３かつＹ軸についてカメラ１と同じ位置かつＺ軸について地上面とすることができる。カメラ１およびプレート４の位置と角度は座標系２１によって定義される。
【００４０】
なお、Ｇ５０からＧ５５およびＧ６０からＧ６５の各テキストックスは代表値のほか範囲を入力することも可能であり、例えばＧ５０にカメラ角度Ｐを−３０度から＋３０度まで５度刻みのような指定によって、操作者が範囲を指定することを可能とする。
【００４１】
図６（ａ）において、Ｇ３２はナンバプレートの枠の加工の有無の選択を受け取るチェックボックスであり、Ｇ４２は枠の加工の詳細を指定するサブメニューを呼び出すためのボタンである。
【００４２】
図７（ｃ）においてＧ８２は枠の加工の詳細を指定するサブメニューの画面の一例であり、Ｇ７１はナンバプレートの枠の一覧であり、Ｇ７０はＧ７１の個々の枠を選択するチェックボックスであり、ひとつ以上の選択を受け付ける。Ｇ７１の枠には様々なデザイン、色のものが含まれるが、これは例えばナンバプレート枠の製造メーカのカタログから作成することができる。
【００４３】
図６（ａ）において、Ｇ３３はナンバプレートのカバーの加工の有無の指定を受け取るチェックボックスであり、Ｇ４３はナンバプレートのカバーの加工条件の詳細を入力するサブメニューを呼び出すためのボタンである。
【００４４】
図７（ｄ）においてＧ８３はカバーの加工の詳細を指定するサブメニューの画面の一例であり、Ｇ７２はカバーの一覧であり、Ｇ７３はＧ７２の個々のカバーを選択するチェックボックスであり、ひとつ以上の選択を受け付ける。Ｇ７３のカバーには様々なデザイン、色のものが含まれる。Ｇ７３は例えばナンバプレートのカバーの製造メーカのカタログから作成することができる。
【００４５】
図６（ａ）において、Ｇ３４はナンバプレートの字発光の加工の有無の指定を受け取るチェックボックスであり、Ｇ４４は字発光の加工の詳細を指定するサブメニューを呼び出すためのボタンである。
【００４６】
図７（ｅ）においてＧ８４は字発光の加工の詳細を指定するサブメニューの画面の一例であり、Ｇ７４は字発光の方式の一覧であり、Ｇ７５はＧ７４の個々の字発光の方式を選択するチェックボックスであり、ひとつ以上の選択を受け付ける。Ｇ７４の一覧は図示すような種別の文字のほか、各方式を代表するアイコンであってもよい。
【００４７】
プレート画像加工部２０２は、プレート加工指定部２１２が受け取ったナンバプレート画像の加工の指定に応じて、プレート画像合成部２０１が合成したプレート画像Ｃ１０を加工する。なお、プレート加工指定部２１２が操作者からひとつも加工の指定を受け取らなかった場合、プレート画像加工部２０２はプレート画像Ｃ１０に何の処理もしない。
【００４８】
図９を用いてプレート画像加工部２０２の処理を説明すると、まず最初にプレート画像合成部２０１が合成したプレート画像Ｃ１０を全て読み込み（Ｓ２０）、次にプレート加工指定部２１２が受け取ったプレート画像の加工条件を全て読み込む（Ｓ２１）。
【００４９】
次に、プレート画像合成部２０１が合成した各々のプレート画像Ｃ１０について（Ｓ２３からＳ３４のループ）、プレート加工指定部２１２が受け取った加工の指定を総当りの組み合わせで変えながら（Ｓ２４からＳ３３のループ）、Ｓ２５からＳ３２の処理を繰り返す。Ｓ２４からＳ３３のループは、Ｇ７０やＧ７２やＧ７４のチェックボックスが複数の選択を受け取った場合には、詳細条件も組み合わせも繰り返す。またＳ２４からＳ３３のループは、Ｓ５０，Ｓ５１，Ｓ５２，Ｇ５３，Ｓ５４，Ｓ６０，Ｓ６１，Ｓ６２，Ｓ６３，Ｓ６４，Ｓ６５のひとつ以上が範囲で指定を受け取ったときには、範囲内で変化する複数の角度あるいは位置の組み合わせも前記の詳細条件と同様に組み合わせに含む。
【００５０】
Ｓ２６では、Ｓ２４のループが指定する加工条件の中に枠の加工が含まれるとき（Ｓ２５の判定がｙｅｓ）、Ｓ２３のループが指定するプレート画像Ｃ１０上に枠を描画する。枠の描画は、Ｇ７０の１つのチェックボックスの選択に応じた枠の画像データおよびプレート画像Ｃ１０上の枠の位置と大きさを管理ＤＢ１０９から呼び出し、プレート画像Ｃ１０上に上書きする。
【００５１】
Ｓ２８では、Ｓ２４のループが指定する加工条件の中にカバーの加工が含まれるとき（Ｓ２７の判定がｙｅｓ）、Ｓ２３のループが指定するプレート画像Ｃ１０にカバー装着を模擬した加工を施す。前記のカバー装着を模擬した加工とは、Ｇ７３の１つのチェックボックスの選択に応じたカバーのプレート画像Ｃ１０上の位置と大きさとカバーの色相とカバーの透過率のデータを管理ＤＢ１０９から呼び出し、プレート画像Ｃ１０上においてカバーと重なる領域の色相と彩度に前記のカバーの色相と彩度を加算し、プレート画像Ｃ１０上においてカバーと重なる領域の明度を前記のカバーの透過率だけ減衰させることである。
【００５２】
Ｓ３０では、Ｓ２４のループが指定する加工条件の中に字発光の加工が含まれるとき（Ｓ２９の判定がｙｅｓ）、Ｓ２３のループが指定するプレート画像Ｃ１０に字発光を模擬した加工を施す。
【００５３】
図２１は字発光をＳ３０の加工を説明する図であり、３０はナンバプレート盤面、３１はナンバプレート盤面３０の文字部、３２はナンバプレート盤面３０の背面部、３３は発光体である、３４は筐体枠である。筐体枠３４はナンバプレート盤面３０と発光体３３を保持し、車両に取り付けられる。なお発光体３３は図１１に示した例に限らず、Ｇ７５に一覧表示された字発光の種別毎に、数，配置，サイズが異なる。また、光源３３の発光強度および発光パターンはＧ７５に一覧表示された字発光の種別毎に異なる。Ｓ３０は、Ｓ２４のループが指定する発光光３３の数，配置，サイズ，発光強度，発光パターンおよびナンバプレート盤面３０発光体３３の距離および文字部３１の透過率と背面部３０の透過率から、一般的なコンピュータグラフィクスにおける発光体の合成の技術を用いてプレートＣ１０の明度と彩度と色相を加工する。
【００５４】
なお、Ｓ３０の処理で必要な発光光３３の数，配置，サイズ，発光強度，発光パターンおよびナンバプレート盤面３０，発光体３３の距離および文字部３１の透過率と背面部３０の透過率のデータは、管理部１０９が蓄積するデータを用いる。前記の発光体３３およびプレート盤面３０のデータは、例えば製造メーカのカタログから作成することができる。
【００５５】
なお、プレート画像Ｃ１０上においてＳ２６，Ｓ２８，Ｓ３０の加工が重複する領域がある場合、個々の加工について明度，彩度，色相のプレート画像Ｃ１０からの差分を求めておき、各加工のプレート画像Ｃ１０からの差分の総和をプレート画像Ｃ１０の明度，彩度，色相に加工する。
【００５６】
Ｓ３２では、Ｓ２４のループが指定する加工条件の中にカバーの加工が含まれるとき（Ｓ３１の判定がｙｅｓ）、Ｓ２３のループが指定するプレート画像Ｃ１０に傾きの加工を施す。前記傾きの加工とは、カメラおよびプレートの位置と角度を基準の値から、Ｇ８１のサブメニューで指定を受けたカメラおよびプレートの位置と角度に変化させたときのプレート画像Ｃ１０の見え方を一般的な射影変換でモデル化して、前記の射影変換をプレート画像Ｃ１０に施すことで実現できる。前記のカメラおよびプレートの位置と角度の基準の値は管理ＤＢ１０９が保持する値を用いる。前記のカメラおよびプレートの位置と角度の基準の値は例えば、カメラの位置を座標系２１でＸ＝０，Ｙ＝０，Ｚ＝０.５ｍ、カメラの角度をＰ＝０，Ｔ＝０，Ｒ＝０、プレートの位置をＸ＝０，Ｙ＝１０，Ｚ＝０.５ｍ、Ｐ＝１８０°，Ｔ＝０，Ｒ＝０、のように車線の中心線２３上においてプレートの平均的な地上高０.５ｍで１０ｍ離して正面を向け合うように設定できる。
【００５７】
図１においてプレート画像選択部２１３は、プレート画像合成部２０１が合成したプレート画像Ｃ１０およびプレート画像加工部２０２がプレート画像Ｃ１０を加工したナンバプレートの画像を一覧表示し、操作者から検索キーの指定を受け取る。
【００５８】
図１０においてＧ１００はプレート画像選択部２１３のインタフェース画面の例であり、Ｃ３０はおよびプレート画像加工部２０２がプレート画像Ｃ１０を加工したプレート画像、Ｇ９０は加工したプレート画像Ｃ３０それぞれに対応したチェックボックスであり操作者から１つ以上の選択を受け付ける。Ｃ３０ａはプレート画像Ｃ１０にカバーを加工した例であり、Ｃ３０ｂはプレート画像Ｃ１０に枠を加工した例であり、Ｃ３０ｃはプレート画像Ｃ１０に傾きと枠を組み合わせて加工したプレート画像の例である。Ｇ９０ａ，Ｇ９０ｂ，Ｇ９０ｃは、それぞれＣ３０ａ，Ｃ３０ｂ，Ｃ３０ｃに対応したチェックボックスを示している。図１０においてインタフェース画面Ｇ１００には加工したプレート画像を３つ表示しているが、表示する数はこの数に限らない。また、インタフェース画面Ｇ１００は画面の大きさや解像度の制限でプレート画像Ｃ３０を全て表示できない場合には、スクロールバーによる表示範囲の推移等によりプレート画像Ｃ３０の中で表示する範囲を変えて表示する。また、プレート画像選択部２１３は加工以前のプレート画像Ｃ１０も加工したプレート画像Ｃ３０のうちに含めて、チェックボックスと組にして表示する。
【００５９】
図１０においてＧ９９はＧ１００上の全てのプレート画像Ｃ３０を選択するチェックボックスであり、操作者はＧ９９の選択により、Ｇ９０の個別のチェックボックスを選択する手間を省くことができる。
【００６０】
図１においてプレート画像特徴抽出部２０４は、プレート画像選択部２１３が操作者からの選択を受けたプレート画像Ｃ３０から、プレート画像特徴抽出部１０４と同一の信号処理によって、色とテクスチャの画像特徴量を抽出する。
【００６１】
検索範囲指定部２１５は、検索部１０８が検索する検索ＤＢ１０７の範囲を限定する。検索範囲指定部２１５はテキストボックス他のユーザインタフェースを介して、操作者から日時や地点や画像特徴量の数値の指定をテキストボックス他のユーザインタフェースを介して受け取る。操作者が日時と地点の検索範囲を指定しない場合、検索ＤＢ１０７中の全データが検索部１０８の処理の対象範囲となる。なお、検索範囲指定部２１５は実施例１において必須ではなく省略が可能であり、省略する場合は検索範囲指定部２１５に操作者が入力を与えない場合と等価になる。
【００６２】
検索部１０８は検索キーの画像特徴量と検索ＤＢ１０７中の各データの画像特徴量の類似度を計算する機能と、計算した類似度をソートする機能と、ソートした類似度の順位が高いデータのＩＤ７を出力する機能を持つ。
【００６３】
まず検索キーがひとつの場合、検索部１０８は検索キーの画像特徴量と検索ＤＢ１０７中のあるＩＤ７の画像特徴量の類似度を下記の数式１によって計算する。
（数１）
Ｓ＝(Σi=1,Nαｉdist(ｙｉ，ｘｉ))-1
数式１においてΣi=1,Nは添え字ｉについて１からＮで和をとることを意味し、αｉは特徴量のｉ番目の要素の荷重係数、ｙｉはプレート画像特徴抽出部２０４が抽出した画像特徴量のｉ番目の要素、ｘｉは検索ＤＢ中の一枚の画像特徴量のｉ番目の要素、dist（）はｘｉとｙｉのユークリッド距離を計算する関数、Ｓは類似度である。数式１において画像特徴量の数Ｎは２であり、画像特徴量の１番目の要素はプレート画像１０およびプＣ３０のテクスチャ、２番目の要素はプレート画像１０およびＣ３０の色を示す。なお荷重係数αｉには、管理ＤＢ１０９が蓄積するデータを用いる。検索ＤＢ１０７中のプレート画像１０の中で数式１の類似度Ｓが高いものは、操作者が検索キーに選択したプレート画像Ｃ３０と色やテクスチャが近い傾向をもつ。次に検索キーが複数の場合には、全ての検索キーの画像特徴量とあるＩＤ７の画像特徴量との間で数式１の類似度を計算した後に最大値を計算する。
【００６４】
検索部１０８は、検索範囲指定部２１５が指定する検索ＤＢ１０７の範囲あるいは検索ＤＢ１０７中の全範囲について数式１の類似度を計算した後、類似度が高い順にソートする。検索部１０８は前記の類似度をソートした後、類似度が高い順に上位から検索ＤＢ１０７中のＩＤ７を出力する。
【００６５】
検索結果表示部２２０は、検索部１０８が類似度の高い順にソートした検索ＤＢ１０７中のデータを上位から順番に一覧表示する。
【００６６】
図１１において検索結果表示部１０９の表示画面の一例であり、Ｇ２００はプレート画像Ｃ３０ａをキー画像に選択したことを想定した検索結果を示している。Ｇ２００は検索部１０８が計算した画像特徴量の類似度が高い順番に最上行の左から右、次に２行目の左から右の順番にプレート画像１０を表示している。
【００６７】
図１２においてＧ２０１は検索結果表示部１０９の表示画面のもうひとつの例であり、同じくプレート画像Ｃ３０ａをキー画像に選択したことを想定している。Ｇ２０１は検索部１０８が計算した画像特徴量の類似度が高い順番に最上行の左から右、次に２行目の左から右の順番に、車両画像１５とプレート画像１０とを組にして表示している。
【００６８】
検索結果表示部１０９は、Ｇ２００に例を示したプレート画像１０の一覧や、Ｇ２０１に例を示したプレート画像１０と車両画像１５の一覧以外にもの変わりに検索ＤＢ１０７がＩＤ７で組にしているデータ、例えば日時や地点などを表示してもよい。
【００６９】
以上述べた実施例１における図１の機能構成によって、操作者はプレート合成指定部２１０に検索対象の車番条件を入力することによって、プレート画像合成部２０１が車番条件に応じて合成したプレート画像Ｃ３０を検索キーとした検索部１０８の画像検索処理によって、検索結果表示部２２０の画面上に検索ＤＢ１０７中における検索対象の候補を一覧表示を取得することが可能になる。
【００７０】
また、実施例１の図１の機能構成において、操作者はプレート加工指定部２１２にナンバプレートの加工条件を入力することによって、プレート画像合成部２１０が合成したプレート画像Ｃ１０をより実際のプレート画像１０に近づけることによって（プレート画像Ｃ３０）、プレート画像特徴抽出部２０４が計算する画像特徴量を実際のプレート画像１０の画像特徴量に近づけて検索部１０８の検索精度および検索結果表示部２２０の検索結果の精度を向上させることが可能となる。
【実施例２】
【００７１】
実施例２の機能構成を図１３に示す。図１３において、１０３，１０４，１０９，２１０，２１２，２０１，２０２，２１３，２０４，２１５，２２０の機能は実施例１と共通である。図１３において、車両画像特徴抽出部１０２はカメラ１が撮影した車両画像１５から色とテクスチャの特徴量を抽出する。色の画像特徴量はＨＳＩのヒストグラム、テクスチャの画像特徴量には高次局所自己相関を用いることで実現できるが、この例に限らない。図１３において検索ＤＢ１０７は、図１５に示したデータに加えて、車両画像１５の画像特徴量をＩＤ７と組にして記録する。
【００７２】
図１３において、車両画像選択部２１４は操作者から車両画像の検索キーの選択を受け取る。図１４において、Ｇ２０２は車両画像選択部２１４のユーザインタフェースの一例であり、Ｃ３１は検索ＤＢ１０７からランダム抽出された車両画像の一覧であり、Ｇ９１はＣ３１の個々の車両画像に対応したチェックボックスであり、操作者から検索キーの選択を１つ以上受け取る。車両画像選択部２１４はＧ２０２に例を示したユーザインタフェース以外でも例えば、操作者が手持ちの画像をアップロードするような形式をとることができる。
【００７３】
図１３において車両画像特徴抽出部２０７は、車両画像特徴抽出部１０２と同じ信号処理によって、車両画像選択部２１４で指定された車両画像Ｃ３１から画像特徴量を抽出する。
【００７４】
図１３において検索部１０８は、検索キーの画像特徴量と検索ＤＢ１０７中のデータの画像特徴量の類似度の計算の機能を数式１の画像特徴量の数Ｎを４として、画像特徴量の１番目の要素をプレート画像Ｃ１０およびＣ３０のテクスチャ、画像特徴量の２番目の要素をプレート画像Ｃ１０およびＣ３０の色、画像特徴量の３番目の要素を車両画像１５およびＣ３１のテクスチャ、画像特徴量の４番目の要素を車両画像１５およびＣ３１の色として類似度を計算する。検索ＤＢ１０７中のデータから類似度を計算した後の類似度のソートする機能および、類似度が高いデータのＩＤ７を出力する機能は実施例１と同一である。
【００７５】
本発明の実施例２では、操作者は車番情報と車両画像の見え方を複合させた検索が可能となる。例えば、普通車の特定番号のナンバプレートを装着したトラックや、大きな角度で傾けた赤いスポーツカーなどの条件を操作者が指定して検索をすることが可能になる。
【実施例３】
【００７６】
実施例３の機能構成を図１６に示す。図１６において、１０３，１０４，１０７，１０８，１０９，２１５，２２０の機能は実施例１と共通である。
【００７７】
頻出探索条件指定部２１６は操作者から検索ＤＢ１０７中において、繰り返し出現する車両を探索する条件の指定を受け取る。
【００７８】
図１７においてＧ３００は頻出探索条件指定部２１６の画面例であり、Ｇ３０１は検索ＤＢ１０７において頻出車両の候補を探す範囲を入力するテキストボックスであり、Ｇ３０２は頻出車両の出現を探索する範囲を入力するテキストボックスである。Ｇ３０２およびＧ３０２のテキストボックスで指定する範囲は日時，地点のほか、画像特徴量の値を直接してもよい。Ｇ３０３は頻出車両がＧ３０２で指定した範囲で何回出現するかを指定するテキストボックスである。Ｇ３０１の範囲はたとえばある１地点のカメラ１から正午前後に受信したデータであり、Ｇ３０２の範囲は前記地点と前記地点の周辺地点のカメラ１から正午から日没までに受信したデータである。
【００７９】
Ｇ３０１，Ｇ３０２，Ｇ３０３のテキストボックスに入力がない場合には、管理ＤＢ１０９内のデフォルト値が入力されたものとする。あるいは、Ｇ３０１，Ｇ３０２，Ｇ３０３のうちひとつ以上はテキストボックスを設けず、管理ＤＢ１０９内のデフォルト値を使うようにしてもよい。
【００８０】
図１６において頻出車両抽出部２０５は、検索ＤＢ１０７に格納されたデータの中から、画像特徴量の集約度が高いデータを抽出する。図１８を用いて頻出車両抽出部２０５の処理を説明すると頻出車両抽出部２０５はまず、Ｇ３０１で指定された検索ＤＢ１０７中のＩＤ７を変えながら（Ｓ４０からＳ４３のループ）、Ｓ４０のループが指定するＩＤ７のプレート画像１０の画像特徴量を検索のキーとして、Ｇ３０２で指定された検索ＤＢ１０７の範囲を検索部１０８と等価な信号処理で類似度を計算し上位からソートする（Ｓ４１）。Ｓ４２はＳ４１で上位からソートされた類似度の集約度を、１位からＧ３０３で指定された順位までの平均値で計算する。
【００８１】
ここで検索部１０８の計算する類似度は検索キーと検索ＤＢ１０７のデータのプレート画像１０の色とテクスチャが近いほど高くなり、反対に検索部１０８の計算する類似度は検索キーと検索ＤＢ１０７のデータのプレート画像１０の色あるいはテクスチャが離れるほど低くなる。そこで、Ｓ４０のループが指定するＩＤ７の車両と同一の車両がＧ３０２の範囲内にいくつも含まれる場合には、Ｓ４１で計算する類似度の中には高いものがいくつか含まれるのでソートした上位には高い類似度が集中して、Ｓ４２が計算する集約度は高くなる。一方で、Ｓ４０のループが指定するＩＤ７の車両と同一の車両がＧ３０２の範囲内にひとつも含まれない場合には、Ｓ４１で計算する類似度はどれも低いのでソートした上位の類似度もいずれも低く、Ｓ４２が計算する集約度は低くなる。よって、Ｓ４２の集約度は、Ｓ４０のループが指定するＩＤ７の車両と同一の車両がＧ３０２の範囲で繰り返し出現する程度の基準とみなすことができる。
【００８２】
なお、Ｓ４２で計算する集約度は類似度の平均のほか、メジアンやモーメントのようなほかの統計量でも平均と同様の効果を発揮できる。
【００８３】
Ｓ４４はＳ４０からＳ４３のループで計算されたＳ４２の集約度を高い順にソートして、集約度が高いデータのＩＤ７を上位から順番に出力する。
【００８４】
頻出車両選択部２１７は、頻出車両抽出部２０５が出力した集約度が上位のデータを一覧表示し、操作者から検索のキーの指定を受ける。図１９においてＧ４００は頻出車両選択部２１７の画面の一例であり、Ｃ３２は頻出車両抽出部２０５が出力した集約度が高い順に左から右に表示したプレート画像１０の一覧表示、Ｇ９２は個々の頻出候補Ｃ３２に対応して操作者から検索キーの指定を受け取るチェックボックスである。図１９において、Ｃ３３はＣ３２の画像それぞれを検索キーとしてＳ４１で検索した検索結果を上位から順に上から下へ表示したものであり、Ｃ３３ａ，Ｃ３３ｂ，Ｃ３３ｃはそれぞれ、Ｃ３２ａ，Ｃ３２ｂ，Ｃ３３ｃの検索結果である。
【００８５】
検索結果Ｃ３３ａの１位，２位，３位いずれのプレート画像１０も検索キーとしたＣ３２ａと同一であり、一覧表示Ｃ３２の中にはＣ３２ａのように検索結果Ｃ３３の中にＣ３２と同じプレート画像１０が多数含まれるほどＳ４２の集約度が高く上位の左側に表示される傾向がある。検索結果Ｃ３３ｂの１位は検索キーとしたＣ３２ｂと同一のプレート画像１０であり残る２位，３位はＣ３２ｂと異なるプレート画像１０である。一覧表示Ｃ３２の中にはＣ３２ａのように検索結果Ｃ３３の中に同一のプレート画像１０が多数含まれるものの次に、検索結果Ｃ３３の中に少なくとも１つはＣ３２と同じものが含まれるものほどＳ４２の集約度が比較的高く上位の左側に表示される傾向がある。検索結果Ｃ３３ｃ中のどのプレート画像１０も検索キーとしたＣ３２ｃとは異なり、一覧表示Ｃ３２の中にはＣ３２ｃのように検索結果Ｃ３３ｃの中にＣ３２と同じプレート画像がひとつも含まれないものはＳ４２の集約度が低く下位の右側に表示される傾向にある。
【００８６】
頻出車両抽出部２０５は、操作者が確認するためにＣ４２のように頻出候補Ｃ３２の集約度を表示してもよい。また、頻出候補Ｃ３２や頻出候補の検索結果Ｃ３３の画像には、操作者が車両画像も確認できるように、Ｇ４００に示したプレート画像１０のほか車両画像１５やＧ２０１に例示したようなプレート画像１０と車両画像１５の組み合わせであってもよい。
【００８７】
頻出車両抽出部２０５は、一覧表示３２の画像の数が多い場合にはスライドバーのようなユーザインタフェースにより表示する範囲を変えてもよい。また、表示画面のレイアウトを簡素にする場合には、頻出候補の検索結果Ｃ３３を省略してもよい。
【００８８】
実施例３において操作者は、頻出探索条件指定部２１６および頻出車両選択部２１７のインタフェースによって、プレート画像１０の画像特徴量の集約度を用いて検索ＤＢ１０７中でも繰り返し出現するデータに絞って検索キーを指定することが可能となる。
【実施例４】
【００８９】
本発明の実施例４の機能構成の概略を図２０に示す。図２０において、１０３，１０４，１０９，２１５，２２０の各機能は実施例１と同一であり、１０２，１０７，１０８の各機能は実施例２と同一であり、２１６，２１７の各機能は実施例３と同一である。
【００９０】
図２０の頻出車両抽出部２０５はＳ４１の類似度およびＳ４２の集約度をプレート画像１０と車両画像１５の画像特徴量から計算する。
【００９１】
実施例４において操作者は、頻出探索条件指定部２１６および頻出車両選択部２１７のインタフェースによって、プレート画像１０と車両画像１５の画像特徴量の集約度を用いて検索ＤＢ１０７中でも繰り返し出現するデータに絞って検索キーを指定することが可能となる。
【００９２】
補足として実施例１および実施例２および実施例３および実施例４において、カメラ１からサーバ２へのデータ通信量および検索ＤＢ１０７の記録量を削減するために、カメラ１内の処理装置によってプレート画像切出し部１０３と同様の処理を実施して車両画像１５をプレート画像１０周辺にクリッピングしてもよい。あるいは上記と同様の処理をサーバ２内の処理装置で実施してもよい。
【００９３】
補足として実施例１および実施例２および実施例３および実施例４において、検索部１０８の検索範囲を絞り込むために、カメラ１内の処理装置によって、ナンバプレート上の文字や車体色の自動認識等を行い、認識結果を車両画像１０と組にして検索ＤＢ１０７に蓄積しておき、操作者が検索するときに検索範囲指定部２１５において日時や地点にくわえて前記の自動認識結果で検索部１０８が検索する検索ＤＢ１０７の範囲を絞る構成をとってもよい。実施例３および実施例４では頻出探索条件指定部２１６のＧ３０１およびＧ３０２で指定する検索ＤＢ１０７の範囲に、前記の自動認識の結果を加えてもよい。また上記の自動認識の少なくとも一部をサーバ２の処理装置で実施してもよい。
【００９４】
補足として実施例１および実施例２および実施例３および実施例４において検索部１０８の検索範囲を絞り込むために、カメラ１の周辺に赤外線方式による車両センサや照度センサ等の外部センサや自動料金収受装置の路側アンテナのような通信装置を設置しておき、外部センサのセンサ情報や通信情報をカメラ１の撮影画像と同期を取ってサーバ２に送信するとともに検索ＤＢ１０中にプレート画像１０と組にして蓄積しておき、操作者が検索するときに検索範囲指定部２１５において日時や地点にくわえて前記のセンサ情報や通信情報で検索部１０８が検索する範囲を絞る構成をとってもよい。実施例３および実施例４では頻出探索条件指定部２１６のＧ３０１およびＧ３０２で指定する検索ＤＢ１０７の範囲に、センサ情報あるいは通信情報を加えてもよい。
【００９５】
補足として実施例１および実施例２および実施例３および実施例４において、カメラ１とサーバ２内の計算負荷の分散の観点から、カメラ１内の信号処理の一部以上をサーバ２で分担したり、プレート画像切出し部１０３やプレート画像特徴抽出部１０４，車両画像特徴抽出部１０２の処理の一部以上をカメラ１で分担してもよい。またサーバ２とクライアント３の計算負荷の分散の観点から、検索部１０８や検索ＤＢ１０７の一部以上をクライアント３で分担したり、プレート画像合成部２０１やプレート画像加工部２０２やプレート画像特徴抽出部２０４や車両画像特徴抽出部２０７や頻出車両抽出部２０５などの処理の一部以上を一部以上をサーバ２で分担してもよい。サーバ２内の全ての機能をカメラ１，クライアント３のいずれかひとつ以上で分担した場合、クライアント３の計算機がサーバ２を兼ねてもよい。
【００９６】
補足として実施例１および実施例２において説明したプレート合成指定部２１０，プレート加工指定部２１２，プレート画像選択部２１３，車両画像選択部２１４のユーザインタフェースはあくまで一例であり、Ｇ１をはじめとしたテキストボックスはプルダウンメニューなどのほかのユーザインタフェースに置き換え可能であり、Ｇ５をはじめとしたボタンはメニュー選択など他のユーザインタフェースに置き換え可能であり、Ｇ１１をはじめとしたチェックボックスも他のユーザインタフェースに置き換え可能である。また、プレート合成指定部２１０，プレート加工指定部２１２，プレート画像選択部２１３，車両画像選択部２１４，検索結果表示部２２０のうち１つ以上をまとめて１つの画面に構成してもよい。
【産業上の利用可能性】
【００９７】
ナンバプレートのような特定フォーマット上に特定の文字やマークが描画された識別タグを備えた物体一般の画像検索に適用することが可能である。
【図面の簡単な説明】
【００９８】
【図１】本発明の実施例１の機能構成の概略を示すブロック図である。
【図２】本発明の実施例のプレート画像切出し部１０３を補足する図である。
【図３】本発明の実施例のプレート画像合成指定部２１０のユーザインタフェースの一例である。
【図４】本発明の実施例のプレート画像合成部２０１のフローである。
【図５】本発明の実施例のプレート画像合成部２０１が合成したプレート画像Ｃ１０の一例である。
【図６】本発明の実施例のプレート加工指定部２１１のユーザインタフェースの一例である。
【図７】本発明の実施例のプレート加工指定部２１１のユーザインタフェースの一例である。
【図８】本発明の実施例のプレート加工指定部２１１の傾きの指定を説明する図である。
【図９】本発明の実施例のプレート画像加工部２０２のフローである。
【図１０】本発明の実施例のプレート画像選択部２１３のインタフェースの一例である。
【図１１】本発明の実施例の検索結果表示部２２０の画面の一例である。
【図１２】本発明の実施例の検索結果表示部２２０の画面のもうひとつの一例である。
【図１３】本発明の実施例２の機能構成の概略を示すブロック図である。
【図１４】本発明の実施例の車両画像選択部２１４のインタフェース画面の一例である。
【図１５】本発明の実施例の検索ＤＢ１０７が蓄積するデータを説明する図である。
【図１６】本発明の実施例３の機能構成の概略を示すブロック図である。
【図１７】本発明の実施例の頻出探索条件指定部２１６のインタフェース画面の一例である。
【図１８】本発明の実施例の頻出車両抽出部２０５のフローである。
【図１９】本発明の実施例の頻出車両選択部２１７のインタフェース画面の一例である。
【図２０】本発明の実施例４の機能構成の概略を示すブロック図である。
【図２１】本発明の実施例の字発光をＳ３０の加工を説明する図である。
【符号の説明】
【００９９】
１ カメラ
２ サーバ
３ クライアント
１０６ 特徴抽出部
１０７ 検索ＤＢ
１０８ 検索部
２０１ プレート画像合成部
２０２ プレート画像加工部
２０５ 頻出車両抽出部
２１７ 頻出車両選択部
【技術分野】
【０００１】
本発明は路上に設置したカメラによって撮影された車両の画像から、画像処理によって抽出した画像特徴量を用いて車両を検索するシステムに関する。
【背景技術】
【０００２】
従来から車両画像を入力とした画像処理によって自動認識したナンバプレートの車番情報や、車両画像のテクスチャや色の画像特徴量を用いて車両を検索する技術が開示されている。例えば特許文献１では、路上の定点カメラで撮影した車両の画像からナンバプレートの車番情報や色やテクスチャなどの画像特徴量を抽出してデータベース中に蓄積しておき、操作者が車番情報あるいは画像特徴量の検索条件を指定すると、該当車両の画像の２次元空間あるいは３次元空間に一覧表示する車両検索の技術が開示されている。
【０００３】
ここでナンバプレートの自動認識には、車両の所持者が故意に認識を妨害する目的で大きな角度で傾けた場合等には、カメラが撮影する画像中のナンバプレートが歪んで自動認識による車番情報の取得が不可能になる問題があった。あるいは、ナンバプレートの自動認識には車両の所持者に故意の意図が無くても、ナンバプレートにカバーを装着してナンバプレート画像のコントラストが低下した場合や、ナンバプレートに枠を装着してナンバプレート中の文字と接触した場合には、自動認識による車番情報の取得が困難になる問題があった。道路交通網の長期に渡る通過車両の画像を扱う大規模なシステムに特許文献１の技術を適用すると、車番情報が取得できない場合においては色やテクスチャなどの画像特徴量だけ検索する必要があるが、道路交通網の中には検索対象の車両以外にも同一の車種や色の車が多数通過するために該当車両が非常に多くなり総数を目視で確認することは多くの労力を要してしまう。
【０００４】
上記の問題の解決のために、車両の識別情報を含むナンバプレート部位を画像から切出して、ナンバプレート部位の画像特徴量を用いて画像検索の検索精度を向上させることが考えられる。画像中のナンバプレート部位の切出しは特許文献２の技術で実現でき、画像中の特定部位の画像特徴量および特定部位と画像全体の画像特徴量とを複合させた画像検索は特許文献３の技術で実現できる。ただし、画像検索において操作者は検索キーの画像特徴量の数値あるいは画像特徴量を抽出する画像を指定する必要があるが、操作者が直接的にナンバプレート画像を代表する画像の色やテクスチャの数値を直接指定することは困難である。一方で、操作者が検索のキーとなるナンバプレートの画像を指定するには、カメラで撮影した画像をデータベースに蓄積しておき、データベース中の画像を閲覧して選択する方法や、システム外部のカメラで撮影した画像からナンバプレートを自動あるいは手動により切出す方法があるが、前者はデータベースの多くの画像を閲覧する手間を要求し、後者は検索対象の撮影画像がない場合には適用できない問題がある。
【０００５】
【特許文献１】特開２００５−２０９１７７号公報
【特許文献２】特開２００４−３０５５２号公報
【特許文献３】特開２００７−８８８１４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は上記問題点を解決するために、操作者が指定した車番情報と適合したナンバプレート画像を合成して検索キーとすること、およびデータベース中において繰り返し出現するナンバプレート画像を操作者が検索キーに指定することを可能にした画像検索システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、撮像手段，演算手段，記憶手段，通信手段を有するカメラと、演算手段，記憶手段，通信手段を有するサーバと、表示手段，入力手段，演算手段，通信手段を有する計算機と、を有する画像検索システムにおいて、カメラは、ナンバプレートを含む画角で車両を撮影し、サーバは、画像からナンバプレートを切出すプレート画像切出し部と、ナンバプレートの画像から画像特徴量を抽出するプレート画像特徴抽出部と、少なくともナンバプレートの画像と画像特徴量とを組にして蓄積する検索データベースと、検索データベース中から操作者が指定した画像と画像特徴量の類似度が高い画像を検索する検索部と、を備え、計算機が、操作者から検索対象の車番情報を受け取るプレート合成指定部と、
プレート合成指定部の受け取った合成条件に応じたナンバプレートの画像を合成するプレート画像合成部と、合成したプレート画像を一覧表示して操作者の選択を受け取るプレート選択部と、検索結果を表示する検索結果表示部と、を備えることを第１の特徴とする。
【０００８】
また、画像検索システムは、前記プレート合成指定部の合成したナンバプレートを加工する指定を操作者から受け取るプレート加工指定部と、前記ナンバプレートを加工するプレート画像加工部とを備えることを第２の特徴とする。
【０００９】
さらに、画像検索システムは、プレート画像合成部が合成したプレート画像あるいはプレート画像合成部が合成語にプレート画像加工部が加工したプレート画像の画像特徴量と、車両画像の画像特徴量とを複合させて検索することを第３の特徴とする。
【００１０】
また、画像検索システムは、ナンバプレートを含む画角で車両を撮影するカメラと、画像からナンバプレートを切出すプレート画像切出し部と、ナンバプレートの画像から画像特徴量を抽出するプレート画像特徴抽出部と、少なくともナンバプレートの画像と画像特徴量とを組にして蓄積する検索データベースと、検索データベース中から操作者が指定した画像と画像特徴量の類似度が高い画像を検索する検索部と、検索結果を表示する検索結果表示部と、検索データベースの中から画像特徴量の集約度が高いデータを抽出する頻出車両抽出部と、頻出車両抽出部が選択したデータの表示と検索キーの指定を受け取る頻出車両選択部とを備えることを第４の特徴とする。
【発明の効果】
【００１１】
本発明の画像検索システムによれば第１の特徴により、車両のナンバプレートが自動認識できない場合でも、操作者が検索したい車番情報に応じたナンバプレートの画像を合成することによって、合成したナンバプレート画像の画像特徴量を用いた画像検索によって、データベース中の車両を効率的に検索することが可能になる。
【００１２】
本発明の画像検索システムによれば第２の特徴により、前記の合成したナンバプレート画像を実際の車両のナンバプレートに近づける加工を施すことにより、画像特徴量の精度を高めて画像検索の精度を向上させることができる。
【００１３】
本発明の画像検索システムによれば第３の特徴により、合成あるいは加工したナンバプレート画像の画像特徴量と、車両画像の画像特徴量とを複合させることによって、検索したい車両の車番情報と外観の情報とを複合させて画像検索の精度を向上させることができる。
【００１４】
本発明の画像検索システムによれば第４の特徴により、ナンバプレート画像の画像特徴量あるいはナンバプレート画像と車両画像の画像特徴量のデータベース中における集約度から、繰り返し出現する車両を検索キーの候補を一覧表示することで、操作者がデータベースの中から検索キーを容易に指定して画像検索を実施することが可能になる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明にかかる車両検索システムのより具体的な実施形態について、図面を参照しながら説明する。なお、本実施形態では、車両の一例として自動車を挙げて説明を行うが発明にかかる「車両」とは自動車に限定されず、路上を走行するあらゆる種類の乗り物を含む。
【実施例１】
【００１６】
図１は、本発明の実施例１の機能構成の概略を示すブロック図である。
【００１７】
図１において、カメラ１とサーバ２とクライアント３は、通信ネットワークで相互に接続されている。カメラ１およびクライアント３の数は、１以上で複数であってもよい。
【００１８】
カメラ１は撮像装置，演算装置，記憶装置，通信装置を有すカメラで路上に設置されている。カメラ１は演算装置のフレーム間差分処理によって通行する車両を検出し、車両の前面あるいは後面のナンバプレートを含む画角で画像を自動的に撮影する。カメラ１は、撮影画像および記憶装置内の地点および演算装置が保持する日時を組にしてサーバ２に送信する。
【００１９】
サーバ２は、演算装置，記憶装置，通信装置を持つ汎用的な計算機である。クライアント３は操作者に情報を表示するディスプレイのような表示装置，キーボードやマウスなどの操作者からの入力をうけとる入力装置，演算装置，通信装置を持つ。クライアント３は、たとえば汎用的な計算機で実現できる。
【００２０】
図１において、１０３，１０４，１０７，１０８，１０９はサーバ２の機能、２０１，２０２，２０４，２１０，２１２，２１５，２２０はクライアント３の機能である。
【００２１】
図１において管理ＤＢ１０９は、図示していない接続線で１０３，１０４，１０７，１０８，１０９，２０１，２０２，２０４，２１０，２１２，２１５，２２０等の各機能と接続されていて、各機能の信号処理に必要なパラメータを蓄積している。なお、個々のクライアント３管理ＤＢ１０９の一部コピーを保持していても同じ機能を実現できる。
【００２２】
図１においてプレート画像切出し部１０３は、カメラ１から受け取った車両の画像から特定物体の切出しアルゴリズムを適用して、プレート画像の外接矩形で切出す。特定物体の切出しアルゴリズムは、公知文献１に記載された一般的なハール状特徴を用いたアルゴリズムを適用することで実現できるがこの例に限らない。
【００２３】
図１（ａ）はプレート画像切出し部１０３が、車両画像１５から特定物体の切出しアルゴリズムによって切出したプレート画像１０の例である。図１（ｂ）は、特定物体の切出しアルゴリズムが車両画像１５においてナンバプレートに類似したいくつかの候補を切出した結果の例である。このように複数の候補を抽出しておくと、特定物体の切出しアルゴリズムの精度が低くても正しいナンバプレート画像を高い精度で切出すことができる。
【００２４】
プレート画像切出し部１０３は特定物体の切出しアルゴリズム以外でも、車両画像１０中においてナンバプレートの出現頻度が高い領域をプレート画像の候補にとることができる。図１（ｃ）はプレート画像切出し部１０３が、車両の下端１２、および左右中心軸１３を抽出して車両の基準位置１４を抽出した後に、基準位置１４と統計的にナンバプレートの出現頻度が高い矩形領域を、プレートの切出し画像１０として切出した例を示している。前記出現頻度が高い矩形領域の数は、図１（ｃ）では２つ示しているがこの数に限らず１つ以上の任意の数であってよい。図１（ｃ）の下端１２および左右中心軸１３は公知文献２の手法により抽出できる。また、統計的にナンバプレートの出現頻度が高い矩形領域は、手作業により抽出した基準位置１４と切出したプレート画像１０の画像上の縦横の位置の差の頻度ヒストグラムから作成することができる。なお、車両の基準位置１４は図２（ｃ）に例示した車両の左右中心軸と下端の交点以外でもよい。
【００２５】
プレート画像切出し部１０３は管理ＤＢ１０９に記された設定条件にしたがって、特定物体の切出しアルゴリズムあるいはナンバプレートの出現頻度を基準としたアルゴリズムによって車両画像１５からプレート画像１０を切出す。
【００２６】
ナンバプレートが傾けられていたり、ナンバプレートに透過率の低いカバーが取り付けられている場合には、車両画像１５中のナンバプレート部位は歪んだりコントラストが低下して特定物体の切出しアルゴリズム単体で精度よくプレート画像１０を切出すことは困難になるが、プレート画像切出し部１０３は図１（ｂ）のように特定物体のアルゴリズムから複数の候補や、図１（ｃ）のように車両画像１５中において統計的にナンバプレートの出現頻度が高い領域を出力することで、高い精度でプレート画像１０を切出すことを可能としている。
【００２７】
図１においてプレート画像特徴抽出部１０４は、プレート画像切出し部１０３が切出したプレート画像から色とテクスチャの画像特徴量を抽出する。色の画像特徴量はＨＳＩのヒストグラム、テクスチャの画像特徴量には高次局所自己相関を用いることで実現できるが、この例に限らない。
【００２８】
図１において、検索ＤＢ１０７はプレート画像特徴抽出部１０４が切出したプレート画像１０の画像特徴量、カメラ１から受信した撮影画像の日時，地点、プレート画像１０を組にして蓄積する。
【００２９】
図１５は検索ＤＢ１０７が蓄積するデータを示してあり、検索ＤＢ１０７はデータにＩＤ７を付加して管理する。検索ＤＢ１０７は、図１５のほか、車両に関連する参照情報として車両画像１５など任意の情報もＩＤ７と組にして記録してもよい。
【００３０】
図１においてプレート合成指定部２１０は、操作者からユーザインタフェースを介して、操作者から検索したい車両の車番情報の指定を受ける。
【００３１】
図３（ａ）はプレート合成指定部２１０の画面例でありＧ１，Ｇ２，Ｇ３，Ｇ４はそれぞれナンバプレート上の一連番号，用途コード，車種コード，陸支コードの入力を受けとるテキストボックスである。Ｇ９は車両サイズを大型，普通，軽自動車，バイク，原付の５区分で受け取るテキストボックスである。Ｇ１０は用途区分を自家用，事業用の２区分で受け取るテキストボックスである。Ｇ５，Ｇ６，Ｇ７，Ｇ８はそれぞれ、一連番号，用途コード，車種コード，陸支コードのフォントの選択するためのサブメニューを呼び出すためのボタンである。図３（ｂ）はＧ６のボタンを押したときの用途コードのフォントを選択するサブメニューの画面の一例であり、Ｇ１４は全フォントの一覧であり、Ｇ１３はＧ１４の各フォントに対応したチェックボックスであり、操作者からひとつ以上の選択を受けとる。操作者はＧ１４の画面を目視しながらＧ１３を選択することで、検索した車両のフォントの候補を指定，確認することができる。Ｇ１５のチェックボックスは、Ｇ１４のチェックボックスを全てオンにする機能をもつチェックボックスであり、操作者のＧ１４への入力の手間を軽減する。Ｇ５，Ｇ７，Ｇ８のボタンを操作者が選択した場合、図３（ｂ）のようなレイアウトのサブメニューが出現して、それぞれ一連番号，車種コード，陸支コードのフォントを指定することができる。
【００３２】
Ｇ１１は地域別のフォントを設定するチェックボックスでありオンにすると、Ｇ４の陸支コードの指定に応じて、あらかじめ陸支ごとに設定された一連番号，用途コード，車種コードのフォントのうちいずれかひとつ以上を選択することができる。Ｇ１１のチェックボックスの選択により、ナンバプレートの各コードのフォントが地域別に違うこと、陸支コードがおおよそ地域に対応していることを反映してフォントを指定することが可能になる。
【００３３】
Ｇ１２のチェックボックスはオンにすることにより、一連番号，用途コード，車種コード，車種コードの全てのコードの全てのフォントを選択する機能を持つ。
【００３４】
図１において、プレート画像合成部２０１は、プレート合成指定部２１０の操作者の指定に応じたナンバプレート画像を合成する。図４を用いて、プレート画像合成部２０１の処理を説明すると、まずプレート合成指定部２１０の指定結果から、ナンバプレート上の各コードの文字の種類およびフォントの指定を読み込む（Ｓ２）。次に、各コードのナンバプレート中の位置，大きさのレイアウトをＧ９の車両サイズの区分に応じて決定する（Ｓ３）。次に、Ｇ１０で選択された用途区分とＧ９で選択された車両サイズから、ナンバプレートの背面と文字の色の組み合わせを定める（Ｓ４）。具体的に述べるとＳ４は一例として、Ｇ１０の用途区分が事業用かつＧ９で選択された車両サイズが軽自動車以外の場合には、ナンバプレートの背面を緑、ナンバプレートの文字を白色、Ｇ１０の用途区分が事業用かつＧ９で選択された車両サイズが軽自動車の場合にはナンバプレートの背面を黒色、ナンバプレートの文字を黄色、Ｇ１０の用途区分が自家用かつＧ９で選択された車両サイズが軽自動車の場合にはナンバプレートの背面を黄色、ナンバプレートの文字を黒色、Ｇ１０の用途区分とＧ９の車両サイズが前記以外の場合には、ナンバプレートの背面を白色、ナンバプレートの文字を緑色とする。次に、Ｓ２で読み込んだナンバプレート上の文字とフォントを組み合わせで変えながら（Ｓ５からＳ７のループ）、文字とフォントとＳ２で決定したレイアウトとプレートの背面とプレートの文字の色に従ってプレート画像を合成する（Ｓ６）。なお、Ｇ１あるいはＧ２あるいはＧ３あるいはＧ４の中に文字の指定がない場合、平均的な画像特徴量が求まるように、全文字種，全フォントの平均画像を代用に用いる。Ｓ６の処理に必要なデータは、全て管理ＤＢ１０９内のデータを用いる。
【００３５】
図５（ａ）と図５（ｂ）はプレート画像合成部２０１が出力したプレート画像Ｃ１０の例であり、図３（ａ）と図３（ｂ）のプレート合成指定部２１０の図３の入力例に対応している。図５（ａ）と図５（ｂ）において、Ｃ１，Ｃ２，Ｃ３，Ｃ４はそれぞれ普通車両の一連番号，用途コード，車種コード，陸支コードのレイアウト枠を示してあり実際の画像上には描画されない。Ｇ９の車両サイズが普通以外（大型，軽自動車，バイク，原付）の場合、Ｃ１，Ｃ２，Ｃ３，Ｃ４それぞれの位置や大きさは、図５（ａ）および（ｂ）から車両のサイズの指定に応じて変更される。図５（ａ）のＣ３内の用途コードは図３（ｂ）のＧ１４ａのフォントに対応し、図５（ｂ）のＣ３内の用途コードは図３（ｂ）のＧ１４ｂのフォントに対応している。図３の車両サイズの指定が普通であることより、図５（ａ）と図５（ｂ）の背面の色は白色，文字の色は緑色である。
【００３６】
以上述べたプレート合成指定部２１０への入力とプレート画像合成部２０１の処理によって、操作者は検索したい車両の車番情報およびフォント指定に応じたナンバプレート画像を合成することができる。
【００３７】
図１においてプレート加工指定部２１２は、操作者からユーザインタフェースを介して、操作者から検索したいナンバプレートの加工条件の指定を受けとる。
【００３８】
図６（ａ）においてＧ８０はプレート加工指定２１０の画面例である。図６（ａ）において、Ｇ３１はナンバプレートの傾きの加工の有無の指定するチェックボックスであり、Ｇ４１は傾きの加工の詳細を指定するサブメニューを呼び出すためのボタンである。図７（ｂ）は傾きの加工のサブメニューＧ８１の画面の一例であり、Ｇ５０，Ｇ５１，Ｇ５２は順番に加工後のカメラの空間中の位置（Ｘ，Ｙ，Ｚ）を入力するテキストボックスであり、Ｇ５３，Ｇ５４，Ｇ５５は順番に加工後カメラの空間中の角度（Ｐ，Ｔ，Ｒ）を入力するテキストボックス、である。また、Ｇ６０，Ｇ６１，Ｇ６２は順番に加工後プレートの空間中の位置（Ｘ，Ｙ，Ｚ）を入力するテキストボックスであり、Ｇ６３，Ｇ６４，Ｇ６５は順番に加工後プレートの空間中の角度（Ｐ，Ｔ，Ｒ）を入力するテキストボックス、である。
【００３９】
図８は、カメラおよびプレートの空間中の位置と角度の一例を示す図であり、２１は原点をＯ、座標軸をＸＹＺ、Ｘ軸周りの角度をＴ、Ｙ軸周りの角度をＲ、Ｚ軸周りの角度をＰとした座標系である。座標系２１は例えば車両２４が走行する車線２２の進行方向をＹ軸、鉛直方向をＺ軸、車線に直行する方向をＸ軸、原点ＯをＸ軸について車線２２の中央線２３かつＹ軸についてカメラ１と同じ位置かつＺ軸について地上面とすることができる。カメラ１およびプレート４の位置と角度は座標系２１によって定義される。
【００４０】
なお、Ｇ５０からＧ５５およびＧ６０からＧ６５の各テキストックスは代表値のほか範囲を入力することも可能であり、例えばＧ５０にカメラ角度Ｐを−３０度から＋３０度まで５度刻みのような指定によって、操作者が範囲を指定することを可能とする。
【００４１】
図６（ａ）において、Ｇ３２はナンバプレートの枠の加工の有無の選択を受け取るチェックボックスであり、Ｇ４２は枠の加工の詳細を指定するサブメニューを呼び出すためのボタンである。
【００４２】
図７（ｃ）においてＧ８２は枠の加工の詳細を指定するサブメニューの画面の一例であり、Ｇ７１はナンバプレートの枠の一覧であり、Ｇ７０はＧ７１の個々の枠を選択するチェックボックスであり、ひとつ以上の選択を受け付ける。Ｇ７１の枠には様々なデザイン、色のものが含まれるが、これは例えばナンバプレート枠の製造メーカのカタログから作成することができる。
【００４３】
図６（ａ）において、Ｇ３３はナンバプレートのカバーの加工の有無の指定を受け取るチェックボックスであり、Ｇ４３はナンバプレートのカバーの加工条件の詳細を入力するサブメニューを呼び出すためのボタンである。
【００４４】
図７（ｄ）においてＧ８３はカバーの加工の詳細を指定するサブメニューの画面の一例であり、Ｇ７２はカバーの一覧であり、Ｇ７３はＧ７２の個々のカバーを選択するチェックボックスであり、ひとつ以上の選択を受け付ける。Ｇ７３のカバーには様々なデザイン、色のものが含まれる。Ｇ７３は例えばナンバプレートのカバーの製造メーカのカタログから作成することができる。
【００４５】
図６（ａ）において、Ｇ３４はナンバプレートの字発光の加工の有無の指定を受け取るチェックボックスであり、Ｇ４４は字発光の加工の詳細を指定するサブメニューを呼び出すためのボタンである。
【００４６】
図７（ｅ）においてＧ８４は字発光の加工の詳細を指定するサブメニューの画面の一例であり、Ｇ７４は字発光の方式の一覧であり、Ｇ７５はＧ７４の個々の字発光の方式を選択するチェックボックスであり、ひとつ以上の選択を受け付ける。Ｇ７４の一覧は図示すような種別の文字のほか、各方式を代表するアイコンであってもよい。
【００４７】
プレート画像加工部２０２は、プレート加工指定部２１２が受け取ったナンバプレート画像の加工の指定に応じて、プレート画像合成部２０１が合成したプレート画像Ｃ１０を加工する。なお、プレート加工指定部２１２が操作者からひとつも加工の指定を受け取らなかった場合、プレート画像加工部２０２はプレート画像Ｃ１０に何の処理もしない。
【００４８】
図９を用いてプレート画像加工部２０２の処理を説明すると、まず最初にプレート画像合成部２０１が合成したプレート画像Ｃ１０を全て読み込み（Ｓ２０）、次にプレート加工指定部２１２が受け取ったプレート画像の加工条件を全て読み込む（Ｓ２１）。
【００４９】
次に、プレート画像合成部２０１が合成した各々のプレート画像Ｃ１０について（Ｓ２３からＳ３４のループ）、プレート加工指定部２１２が受け取った加工の指定を総当りの組み合わせで変えながら（Ｓ２４からＳ３３のループ）、Ｓ２５からＳ３２の処理を繰り返す。Ｓ２４からＳ３３のループは、Ｇ７０やＧ７２やＧ７４のチェックボックスが複数の選択を受け取った場合には、詳細条件も組み合わせも繰り返す。またＳ２４からＳ３３のループは、Ｓ５０，Ｓ５１，Ｓ５２，Ｇ５３，Ｓ５４，Ｓ６０，Ｓ６１，Ｓ６２，Ｓ６３，Ｓ６４，Ｓ６５のひとつ以上が範囲で指定を受け取ったときには、範囲内で変化する複数の角度あるいは位置の組み合わせも前記の詳細条件と同様に組み合わせに含む。
【００５０】
Ｓ２６では、Ｓ２４のループが指定する加工条件の中に枠の加工が含まれるとき（Ｓ２５の判定がｙｅｓ）、Ｓ２３のループが指定するプレート画像Ｃ１０上に枠を描画する。枠の描画は、Ｇ７０の１つのチェックボックスの選択に応じた枠の画像データおよびプレート画像Ｃ１０上の枠の位置と大きさを管理ＤＢ１０９から呼び出し、プレート画像Ｃ１０上に上書きする。
【００５１】
Ｓ２８では、Ｓ２４のループが指定する加工条件の中にカバーの加工が含まれるとき（Ｓ２７の判定がｙｅｓ）、Ｓ２３のループが指定するプレート画像Ｃ１０にカバー装着を模擬した加工を施す。前記のカバー装着を模擬した加工とは、Ｇ７３の１つのチェックボックスの選択に応じたカバーのプレート画像Ｃ１０上の位置と大きさとカバーの色相とカバーの透過率のデータを管理ＤＢ１０９から呼び出し、プレート画像Ｃ１０上においてカバーと重なる領域の色相と彩度に前記のカバーの色相と彩度を加算し、プレート画像Ｃ１０上においてカバーと重なる領域の明度を前記のカバーの透過率だけ減衰させることである。
【００５２】
Ｓ３０では、Ｓ２４のループが指定する加工条件の中に字発光の加工が含まれるとき（Ｓ２９の判定がｙｅｓ）、Ｓ２３のループが指定するプレート画像Ｃ１０に字発光を模擬した加工を施す。
【００５３】
図２１は字発光をＳ３０の加工を説明する図であり、３０はナンバプレート盤面、３１はナンバプレート盤面３０の文字部、３２はナンバプレート盤面３０の背面部、３３は発光体である、３４は筐体枠である。筐体枠３４はナンバプレート盤面３０と発光体３３を保持し、車両に取り付けられる。なお発光体３３は図１１に示した例に限らず、Ｇ７５に一覧表示された字発光の種別毎に、数，配置，サイズが異なる。また、光源３３の発光強度および発光パターンはＧ７５に一覧表示された字発光の種別毎に異なる。Ｓ３０は、Ｓ２４のループが指定する発光光３３の数，配置，サイズ，発光強度，発光パターンおよびナンバプレート盤面３０発光体３３の距離および文字部３１の透過率と背面部３０の透過率から、一般的なコンピュータグラフィクスにおける発光体の合成の技術を用いてプレートＣ１０の明度と彩度と色相を加工する。
【００５４】
なお、Ｓ３０の処理で必要な発光光３３の数，配置，サイズ，発光強度，発光パターンおよびナンバプレート盤面３０，発光体３３の距離および文字部３１の透過率と背面部３０の透過率のデータは、管理部１０９が蓄積するデータを用いる。前記の発光体３３およびプレート盤面３０のデータは、例えば製造メーカのカタログから作成することができる。
【００５５】
なお、プレート画像Ｃ１０上においてＳ２６，Ｓ２８，Ｓ３０の加工が重複する領域がある場合、個々の加工について明度，彩度，色相のプレート画像Ｃ１０からの差分を求めておき、各加工のプレート画像Ｃ１０からの差分の総和をプレート画像Ｃ１０の明度，彩度，色相に加工する。
【００５６】
Ｓ３２では、Ｓ２４のループが指定する加工条件の中にカバーの加工が含まれるとき（Ｓ３１の判定がｙｅｓ）、Ｓ２３のループが指定するプレート画像Ｃ１０に傾きの加工を施す。前記傾きの加工とは、カメラおよびプレートの位置と角度を基準の値から、Ｇ８１のサブメニューで指定を受けたカメラおよびプレートの位置と角度に変化させたときのプレート画像Ｃ１０の見え方を一般的な射影変換でモデル化して、前記の射影変換をプレート画像Ｃ１０に施すことで実現できる。前記のカメラおよびプレートの位置と角度の基準の値は管理ＤＢ１０９が保持する値を用いる。前記のカメラおよびプレートの位置と角度の基準の値は例えば、カメラの位置を座標系２１でＸ＝０，Ｙ＝０，Ｚ＝０.５ｍ、カメラの角度をＰ＝０，Ｔ＝０，Ｒ＝０、プレートの位置をＸ＝０，Ｙ＝１０，Ｚ＝０.５ｍ、Ｐ＝１８０°，Ｔ＝０，Ｒ＝０、のように車線の中心線２３上においてプレートの平均的な地上高０.５ｍで１０ｍ離して正面を向け合うように設定できる。
【００５７】
図１においてプレート画像選択部２１３は、プレート画像合成部２０１が合成したプレート画像Ｃ１０およびプレート画像加工部２０２がプレート画像Ｃ１０を加工したナンバプレートの画像を一覧表示し、操作者から検索キーの指定を受け取る。
【００５８】
図１０においてＧ１００はプレート画像選択部２１３のインタフェース画面の例であり、Ｃ３０はおよびプレート画像加工部２０２がプレート画像Ｃ１０を加工したプレート画像、Ｇ９０は加工したプレート画像Ｃ３０それぞれに対応したチェックボックスであり操作者から１つ以上の選択を受け付ける。Ｃ３０ａはプレート画像Ｃ１０にカバーを加工した例であり、Ｃ３０ｂはプレート画像Ｃ１０に枠を加工した例であり、Ｃ３０ｃはプレート画像Ｃ１０に傾きと枠を組み合わせて加工したプレート画像の例である。Ｇ９０ａ，Ｇ９０ｂ，Ｇ９０ｃは、それぞれＣ３０ａ，Ｃ３０ｂ，Ｃ３０ｃに対応したチェックボックスを示している。図１０においてインタフェース画面Ｇ１００には加工したプレート画像を３つ表示しているが、表示する数はこの数に限らない。また、インタフェース画面Ｇ１００は画面の大きさや解像度の制限でプレート画像Ｃ３０を全て表示できない場合には、スクロールバーによる表示範囲の推移等によりプレート画像Ｃ３０の中で表示する範囲を変えて表示する。また、プレート画像選択部２１３は加工以前のプレート画像Ｃ１０も加工したプレート画像Ｃ３０のうちに含めて、チェックボックスと組にして表示する。
【００５９】
図１０においてＧ９９はＧ１００上の全てのプレート画像Ｃ３０を選択するチェックボックスであり、操作者はＧ９９の選択により、Ｇ９０の個別のチェックボックスを選択する手間を省くことができる。
【００６０】
図１においてプレート画像特徴抽出部２０４は、プレート画像選択部２１３が操作者からの選択を受けたプレート画像Ｃ３０から、プレート画像特徴抽出部１０４と同一の信号処理によって、色とテクスチャの画像特徴量を抽出する。
【００６１】
検索範囲指定部２１５は、検索部１０８が検索する検索ＤＢ１０７の範囲を限定する。検索範囲指定部２１５はテキストボックス他のユーザインタフェースを介して、操作者から日時や地点や画像特徴量の数値の指定をテキストボックス他のユーザインタフェースを介して受け取る。操作者が日時と地点の検索範囲を指定しない場合、検索ＤＢ１０７中の全データが検索部１０８の処理の対象範囲となる。なお、検索範囲指定部２１５は実施例１において必須ではなく省略が可能であり、省略する場合は検索範囲指定部２１５に操作者が入力を与えない場合と等価になる。
【００６２】
検索部１０８は検索キーの画像特徴量と検索ＤＢ１０７中の各データの画像特徴量の類似度を計算する機能と、計算した類似度をソートする機能と、ソートした類似度の順位が高いデータのＩＤ７を出力する機能を持つ。
【００６３】
まず検索キーがひとつの場合、検索部１０８は検索キーの画像特徴量と検索ＤＢ１０７中のあるＩＤ７の画像特徴量の類似度を下記の数式１によって計算する。
（数１）
Ｓ＝(Σi=1,Nαｉdist(ｙｉ，ｘｉ))-1
数式１においてΣi=1,Nは添え字ｉについて１からＮで和をとることを意味し、αｉは特徴量のｉ番目の要素の荷重係数、ｙｉはプレート画像特徴抽出部２０４が抽出した画像特徴量のｉ番目の要素、ｘｉは検索ＤＢ中の一枚の画像特徴量のｉ番目の要素、dist（）はｘｉとｙｉのユークリッド距離を計算する関数、Ｓは類似度である。数式１において画像特徴量の数Ｎは２であり、画像特徴量の１番目の要素はプレート画像１０およびプＣ３０のテクスチャ、２番目の要素はプレート画像１０およびＣ３０の色を示す。なお荷重係数αｉには、管理ＤＢ１０９が蓄積するデータを用いる。検索ＤＢ１０７中のプレート画像１０の中で数式１の類似度Ｓが高いものは、操作者が検索キーに選択したプレート画像Ｃ３０と色やテクスチャが近い傾向をもつ。次に検索キーが複数の場合には、全ての検索キーの画像特徴量とあるＩＤ７の画像特徴量との間で数式１の類似度を計算した後に最大値を計算する。
【００６４】
検索部１０８は、検索範囲指定部２１５が指定する検索ＤＢ１０７の範囲あるいは検索ＤＢ１０７中の全範囲について数式１の類似度を計算した後、類似度が高い順にソートする。検索部１０８は前記の類似度をソートした後、類似度が高い順に上位から検索ＤＢ１０７中のＩＤ７を出力する。
【００６５】
検索結果表示部２２０は、検索部１０８が類似度の高い順にソートした検索ＤＢ１０７中のデータを上位から順番に一覧表示する。
【００６６】
図１１において検索結果表示部１０９の表示画面の一例であり、Ｇ２００はプレート画像Ｃ３０ａをキー画像に選択したことを想定した検索結果を示している。Ｇ２００は検索部１０８が計算した画像特徴量の類似度が高い順番に最上行の左から右、次に２行目の左から右の順番にプレート画像１０を表示している。
【００６７】
図１２においてＧ２０１は検索結果表示部１０９の表示画面のもうひとつの例であり、同じくプレート画像Ｃ３０ａをキー画像に選択したことを想定している。Ｇ２０１は検索部１０８が計算した画像特徴量の類似度が高い順番に最上行の左から右、次に２行目の左から右の順番に、車両画像１５とプレート画像１０とを組にして表示している。
【００６８】
検索結果表示部１０９は、Ｇ２００に例を示したプレート画像１０の一覧や、Ｇ２０１に例を示したプレート画像１０と車両画像１５の一覧以外にもの変わりに検索ＤＢ１０７がＩＤ７で組にしているデータ、例えば日時や地点などを表示してもよい。
【００６９】
以上述べた実施例１における図１の機能構成によって、操作者はプレート合成指定部２１０に検索対象の車番条件を入力することによって、プレート画像合成部２０１が車番条件に応じて合成したプレート画像Ｃ３０を検索キーとした検索部１０８の画像検索処理によって、検索結果表示部２２０の画面上に検索ＤＢ１０７中における検索対象の候補を一覧表示を取得することが可能になる。
【００７０】
また、実施例１の図１の機能構成において、操作者はプレート加工指定部２１２にナンバプレートの加工条件を入力することによって、プレート画像合成部２１０が合成したプレート画像Ｃ１０をより実際のプレート画像１０に近づけることによって（プレート画像Ｃ３０）、プレート画像特徴抽出部２０４が計算する画像特徴量を実際のプレート画像１０の画像特徴量に近づけて検索部１０８の検索精度および検索結果表示部２２０の検索結果の精度を向上させることが可能となる。
【実施例２】
【００７１】
実施例２の機能構成を図１３に示す。図１３において、１０３，１０４，１０９，２１０，２１２，２０１，２０２，２１３，２０４，２１５，２２０の機能は実施例１と共通である。図１３において、車両画像特徴抽出部１０２はカメラ１が撮影した車両画像１５から色とテクスチャの特徴量を抽出する。色の画像特徴量はＨＳＩのヒストグラム、テクスチャの画像特徴量には高次局所自己相関を用いることで実現できるが、この例に限らない。図１３において検索ＤＢ１０７は、図１５に示したデータに加えて、車両画像１５の画像特徴量をＩＤ７と組にして記録する。
【００７２】
図１３において、車両画像選択部２１４は操作者から車両画像の検索キーの選択を受け取る。図１４において、Ｇ２０２は車両画像選択部２１４のユーザインタフェースの一例であり、Ｃ３１は検索ＤＢ１０７からランダム抽出された車両画像の一覧であり、Ｇ９１はＣ３１の個々の車両画像に対応したチェックボックスであり、操作者から検索キーの選択を１つ以上受け取る。車両画像選択部２１４はＧ２０２に例を示したユーザインタフェース以外でも例えば、操作者が手持ちの画像をアップロードするような形式をとることができる。
【００７３】
図１３において車両画像特徴抽出部２０７は、車両画像特徴抽出部１０２と同じ信号処理によって、車両画像選択部２１４で指定された車両画像Ｃ３１から画像特徴量を抽出する。
【００７４】
図１３において検索部１０８は、検索キーの画像特徴量と検索ＤＢ１０７中のデータの画像特徴量の類似度の計算の機能を数式１の画像特徴量の数Ｎを４として、画像特徴量の１番目の要素をプレート画像Ｃ１０およびＣ３０のテクスチャ、画像特徴量の２番目の要素をプレート画像Ｃ１０およびＣ３０の色、画像特徴量の３番目の要素を車両画像１５およびＣ３１のテクスチャ、画像特徴量の４番目の要素を車両画像１５およびＣ３１の色として類似度を計算する。検索ＤＢ１０７中のデータから類似度を計算した後の類似度のソートする機能および、類似度が高いデータのＩＤ７を出力する機能は実施例１と同一である。
【００７５】
本発明の実施例２では、操作者は車番情報と車両画像の見え方を複合させた検索が可能となる。例えば、普通車の特定番号のナンバプレートを装着したトラックや、大きな角度で傾けた赤いスポーツカーなどの条件を操作者が指定して検索をすることが可能になる。
【実施例３】
【００７６】
実施例３の機能構成を図１６に示す。図１６において、１０３，１０４，１０７，１０８，１０９，２１５，２２０の機能は実施例１と共通である。
【００７７】
頻出探索条件指定部２１６は操作者から検索ＤＢ１０７中において、繰り返し出現する車両を探索する条件の指定を受け取る。
【００７８】
図１７においてＧ３００は頻出探索条件指定部２１６の画面例であり、Ｇ３０１は検索ＤＢ１０７において頻出車両の候補を探す範囲を入力するテキストボックスであり、Ｇ３０２は頻出車両の出現を探索する範囲を入力するテキストボックスである。Ｇ３０２およびＧ３０２のテキストボックスで指定する範囲は日時，地点のほか、画像特徴量の値を直接してもよい。Ｇ３０３は頻出車両がＧ３０２で指定した範囲で何回出現するかを指定するテキストボックスである。Ｇ３０１の範囲はたとえばある１地点のカメラ１から正午前後に受信したデータであり、Ｇ３０２の範囲は前記地点と前記地点の周辺地点のカメラ１から正午から日没までに受信したデータである。
【００７９】
Ｇ３０１，Ｇ３０２，Ｇ３０３のテキストボックスに入力がない場合には、管理ＤＢ１０９内のデフォルト値が入力されたものとする。あるいは、Ｇ３０１，Ｇ３０２，Ｇ３０３のうちひとつ以上はテキストボックスを設けず、管理ＤＢ１０９内のデフォルト値を使うようにしてもよい。
【００８０】
図１６において頻出車両抽出部２０５は、検索ＤＢ１０７に格納されたデータの中から、画像特徴量の集約度が高いデータを抽出する。図１８を用いて頻出車両抽出部２０５の処理を説明すると頻出車両抽出部２０５はまず、Ｇ３０１で指定された検索ＤＢ１０７中のＩＤ７を変えながら（Ｓ４０からＳ４３のループ）、Ｓ４０のループが指定するＩＤ７のプレート画像１０の画像特徴量を検索のキーとして、Ｇ３０２で指定された検索ＤＢ１０７の範囲を検索部１０８と等価な信号処理で類似度を計算し上位からソートする（Ｓ４１）。Ｓ４２はＳ４１で上位からソートされた類似度の集約度を、１位からＧ３０３で指定された順位までの平均値で計算する。
【００８１】
ここで検索部１０８の計算する類似度は検索キーと検索ＤＢ１０７のデータのプレート画像１０の色とテクスチャが近いほど高くなり、反対に検索部１０８の計算する類似度は検索キーと検索ＤＢ１０７のデータのプレート画像１０の色あるいはテクスチャが離れるほど低くなる。そこで、Ｓ４０のループが指定するＩＤ７の車両と同一の車両がＧ３０２の範囲内にいくつも含まれる場合には、Ｓ４１で計算する類似度の中には高いものがいくつか含まれるのでソートした上位には高い類似度が集中して、Ｓ４２が計算する集約度は高くなる。一方で、Ｓ４０のループが指定するＩＤ７の車両と同一の車両がＧ３０２の範囲内にひとつも含まれない場合には、Ｓ４１で計算する類似度はどれも低いのでソートした上位の類似度もいずれも低く、Ｓ４２が計算する集約度は低くなる。よって、Ｓ４２の集約度は、Ｓ４０のループが指定するＩＤ７の車両と同一の車両がＧ３０２の範囲で繰り返し出現する程度の基準とみなすことができる。
【００８２】
なお、Ｓ４２で計算する集約度は類似度の平均のほか、メジアンやモーメントのようなほかの統計量でも平均と同様の効果を発揮できる。
【００８３】
Ｓ４４はＳ４０からＳ４３のループで計算されたＳ４２の集約度を高い順にソートして、集約度が高いデータのＩＤ７を上位から順番に出力する。
【００８４】
頻出車両選択部２１７は、頻出車両抽出部２０５が出力した集約度が上位のデータを一覧表示し、操作者から検索のキーの指定を受ける。図１９においてＧ４００は頻出車両選択部２１７の画面の一例であり、Ｃ３２は頻出車両抽出部２０５が出力した集約度が高い順に左から右に表示したプレート画像１０の一覧表示、Ｇ９２は個々の頻出候補Ｃ３２に対応して操作者から検索キーの指定を受け取るチェックボックスである。図１９において、Ｃ３３はＣ３２の画像それぞれを検索キーとしてＳ４１で検索した検索結果を上位から順に上から下へ表示したものであり、Ｃ３３ａ，Ｃ３３ｂ，Ｃ３３ｃはそれぞれ、Ｃ３２ａ，Ｃ３２ｂ，Ｃ３３ｃの検索結果である。
【００８５】
検索結果Ｃ３３ａの１位，２位，３位いずれのプレート画像１０も検索キーとしたＣ３２ａと同一であり、一覧表示Ｃ３２の中にはＣ３２ａのように検索結果Ｃ３３の中にＣ３２と同じプレート画像１０が多数含まれるほどＳ４２の集約度が高く上位の左側に表示される傾向がある。検索結果Ｃ３３ｂの１位は検索キーとしたＣ３２ｂと同一のプレート画像１０であり残る２位，３位はＣ３２ｂと異なるプレート画像１０である。一覧表示Ｃ３２の中にはＣ３２ａのように検索結果Ｃ３３の中に同一のプレート画像１０が多数含まれるものの次に、検索結果Ｃ３３の中に少なくとも１つはＣ３２と同じものが含まれるものほどＳ４２の集約度が比較的高く上位の左側に表示される傾向がある。検索結果Ｃ３３ｃ中のどのプレート画像１０も検索キーとしたＣ３２ｃとは異なり、一覧表示Ｃ３２の中にはＣ３２ｃのように検索結果Ｃ３３ｃの中にＣ３２と同じプレート画像がひとつも含まれないものはＳ４２の集約度が低く下位の右側に表示される傾向にある。
【００８６】
頻出車両抽出部２０５は、操作者が確認するためにＣ４２のように頻出候補Ｃ３２の集約度を表示してもよい。また、頻出候補Ｃ３２や頻出候補の検索結果Ｃ３３の画像には、操作者が車両画像も確認できるように、Ｇ４００に示したプレート画像１０のほか車両画像１５やＧ２０１に例示したようなプレート画像１０と車両画像１５の組み合わせであってもよい。
【００８７】
頻出車両抽出部２０５は、一覧表示３２の画像の数が多い場合にはスライドバーのようなユーザインタフェースにより表示する範囲を変えてもよい。また、表示画面のレイアウトを簡素にする場合には、頻出候補の検索結果Ｃ３３を省略してもよい。
【００８８】
実施例３において操作者は、頻出探索条件指定部２１６および頻出車両選択部２１７のインタフェースによって、プレート画像１０の画像特徴量の集約度を用いて検索ＤＢ１０７中でも繰り返し出現するデータに絞って検索キーを指定することが可能となる。
【実施例４】
【００８９】
本発明の実施例４の機能構成の概略を図２０に示す。図２０において、１０３，１０４，１０９，２１５，２２０の各機能は実施例１と同一であり、１０２，１０７，１０８の各機能は実施例２と同一であり、２１６，２１７の各機能は実施例３と同一である。
【００９０】
図２０の頻出車両抽出部２０５はＳ４１の類似度およびＳ４２の集約度をプレート画像１０と車両画像１５の画像特徴量から計算する。
【００９１】
実施例４において操作者は、頻出探索条件指定部２１６および頻出車両選択部２１７のインタフェースによって、プレート画像１０と車両画像１５の画像特徴量の集約度を用いて検索ＤＢ１０７中でも繰り返し出現するデータに絞って検索キーを指定することが可能となる。
【００９２】
補足として実施例１および実施例２および実施例３および実施例４において、カメラ１からサーバ２へのデータ通信量および検索ＤＢ１０７の記録量を削減するために、カメラ１内の処理装置によってプレート画像切出し部１０３と同様の処理を実施して車両画像１５をプレート画像１０周辺にクリッピングしてもよい。あるいは上記と同様の処理をサーバ２内の処理装置で実施してもよい。
【００９３】
補足として実施例１および実施例２および実施例３および実施例４において、検索部１０８の検索範囲を絞り込むために、カメラ１内の処理装置によって、ナンバプレート上の文字や車体色の自動認識等を行い、認識結果を車両画像１０と組にして検索ＤＢ１０７に蓄積しておき、操作者が検索するときに検索範囲指定部２１５において日時や地点にくわえて前記の自動認識結果で検索部１０８が検索する検索ＤＢ１０７の範囲を絞る構成をとってもよい。実施例３および実施例４では頻出探索条件指定部２１６のＧ３０１およびＧ３０２で指定する検索ＤＢ１０７の範囲に、前記の自動認識の結果を加えてもよい。また上記の自動認識の少なくとも一部をサーバ２の処理装置で実施してもよい。
【００９４】
補足として実施例１および実施例２および実施例３および実施例４において検索部１０８の検索範囲を絞り込むために、カメラ１の周辺に赤外線方式による車両センサや照度センサ等の外部センサや自動料金収受装置の路側アンテナのような通信装置を設置しておき、外部センサのセンサ情報や通信情報をカメラ１の撮影画像と同期を取ってサーバ２に送信するとともに検索ＤＢ１０中にプレート画像１０と組にして蓄積しておき、操作者が検索するときに検索範囲指定部２１５において日時や地点にくわえて前記のセンサ情報や通信情報で検索部１０８が検索する範囲を絞る構成をとってもよい。実施例３および実施例４では頻出探索条件指定部２１６のＧ３０１およびＧ３０２で指定する検索ＤＢ１０７の範囲に、センサ情報あるいは通信情報を加えてもよい。
【００９５】
補足として実施例１および実施例２および実施例３および実施例４において、カメラ１とサーバ２内の計算負荷の分散の観点から、カメラ１内の信号処理の一部以上をサーバ２で分担したり、プレート画像切出し部１０３やプレート画像特徴抽出部１０４，車両画像特徴抽出部１０２の処理の一部以上をカメラ１で分担してもよい。またサーバ２とクライアント３の計算負荷の分散の観点から、検索部１０８や検索ＤＢ１０７の一部以上をクライアント３で分担したり、プレート画像合成部２０１やプレート画像加工部２０２やプレート画像特徴抽出部２０４や車両画像特徴抽出部２０７や頻出車両抽出部２０５などの処理の一部以上を一部以上をサーバ２で分担してもよい。サーバ２内の全ての機能をカメラ１，クライアント３のいずれかひとつ以上で分担した場合、クライアント３の計算機がサーバ２を兼ねてもよい。
【００９６】
補足として実施例１および実施例２において説明したプレート合成指定部２１０，プレート加工指定部２１２，プレート画像選択部２１３，車両画像選択部２１４のユーザインタフェースはあくまで一例であり、Ｇ１をはじめとしたテキストボックスはプルダウンメニューなどのほかのユーザインタフェースに置き換え可能であり、Ｇ５をはじめとしたボタンはメニュー選択など他のユーザインタフェースに置き換え可能であり、Ｇ１１をはじめとしたチェックボックスも他のユーザインタフェースに置き換え可能である。また、プレート合成指定部２１０，プレート加工指定部２１２，プレート画像選択部２１３，車両画像選択部２１４，検索結果表示部２２０のうち１つ以上をまとめて１つの画面に構成してもよい。
【産業上の利用可能性】
【００９７】
ナンバプレートのような特定フォーマット上に特定の文字やマークが描画された識別タグを備えた物体一般の画像検索に適用することが可能である。
【図面の簡単な説明】
【００９８】
【図１】本発明の実施例１の機能構成の概略を示すブロック図である。
【図２】本発明の実施例のプレート画像切出し部１０３を補足する図である。
【図３】本発明の実施例のプレート画像合成指定部２１０のユーザインタフェースの一例である。
【図４】本発明の実施例のプレート画像合成部２０１のフローである。
【図５】本発明の実施例のプレート画像合成部２０１が合成したプレート画像Ｃ１０の一例である。
【図６】本発明の実施例のプレート加工指定部２１１のユーザインタフェースの一例である。
【図７】本発明の実施例のプレート加工指定部２１１のユーザインタフェースの一例である。
【図８】本発明の実施例のプレート加工指定部２１１の傾きの指定を説明する図である。
【図９】本発明の実施例のプレート画像加工部２０２のフローである。
【図１０】本発明の実施例のプレート画像選択部２１３のインタフェースの一例である。
【図１１】本発明の実施例の検索結果表示部２２０の画面の一例である。
【図１２】本発明の実施例の検索結果表示部２２０の画面のもうひとつの一例である。
【図１３】本発明の実施例２の機能構成の概略を示すブロック図である。
【図１４】本発明の実施例の車両画像選択部２１４のインタフェース画面の一例である。
【図１５】本発明の実施例の検索ＤＢ１０７が蓄積するデータを説明する図である。
【図１６】本発明の実施例３の機能構成の概略を示すブロック図である。
【図１７】本発明の実施例の頻出探索条件指定部２１６のインタフェース画面の一例である。
【図１８】本発明の実施例の頻出車両抽出部２０５のフローである。
【図１９】本発明の実施例の頻出車両選択部２１７のインタフェース画面の一例である。
【図２０】本発明の実施例４の機能構成の概略を示すブロック図である。
【図２１】本発明の実施例の字発光をＳ３０の加工を説明する図である。
【符号の説明】
【００９９】
１ カメラ
２ サーバ
３ クライアント
１０６ 特徴抽出部
１０７ 検索ＤＢ
１０８ 検索部
２０１ プレート画像合成部
２０２ プレート画像加工部
２０５ 頻出車両抽出部
２１７ 頻出車両選択部
【特許請求の範囲】
【請求項１】
撮像手段，演算手段，記憶手段，通信手段を有するカメラと、演算手段，記憶手段，通信手段を有するサーバと、表示手段，入力手段，演算手段，通信手段を有する計算機と、を有する画像検索システムにおいて、
前記カメラは、ナンバプレートを含む画角で車両を撮影し、
前記サーバは、
画像からナンバプレートを切出すプレート画像切出し部と、
ナンバプレートの画像から画像特徴量を抽出するプレート画像特徴抽出部と、
少なくともナンバプレートの画像と画像特徴量とを組にして蓄積する検索データベースと、
検索データベース中から操作者が指定した画像と画像特徴量の類似度が高い画像を検索する検索部と、を備え、
前記計算機が、
操作者から検索対象の車番情報を受け取るプレート合成指定部と、
プレート合成指定部の受け取った合成条件に応じたナンバプレートの画像を合成するプレート画像合成部と、
合成したプレート画像を一覧表示して操作者の選択を受け取るプレート選択部と、
検索結果を表示する検索結果表示部と、
を備えることを特徴とする画像検索システム。
【請求項２】
前記プレート画像合成部の合成したナンバプレート画像を加工する指定を操作者から受け取るプレート加工指定部と、
前記ナンバプレートを加工するプレート画像加工部と、
を備えることを特徴とする請求項１に記載の画像検索システム。
【請求項３】
合成又は加工した前記ナンバプレートの画像の前記画像特徴量と、車両画像の画像特徴量とを複合させて検索することを特徴とする請求項１に記載の画像検索システム。
【請求項４】
前記プレート画像切出し部が、車両の画像から複数のナンバプレートの候補を切出すことを特徴とする請求項１に記載の画像検索システム。
【請求項５】
前記ナンバプレート画像の合成において、前記ナンバプレート上の文字のフォントを合成することを特徴とする請求項１に記載の画像検索システム。
【請求項６】
前記ナンバプレート画像の合成において、前記ナンバプレート上の文字のフォントを陸支コードに応じて決定する請求項１に記載の画像検索システム。
【請求項７】
前記プレート加工指定部が、前記ナンバプレートの傾き，枠，カバー，字光式の少なくとも１つを加工することを特徴とする請求項２に記載の画像検索システム。
【請求項８】
車両の画像から切出した前記ナンバプレート画像の画像特徴量と、操作者が指定する車番情報に応じて合成したナンバプレート画像の画像特徴量を用いることを特徴とする画像検索方法および同画像検索方法を計算机上で実現したプログラムおよび同プログラムを格納した媒体。
【請求項９】
車両の画像から切出した前記ナンバプレートの画像特徴量と、操作者が指定する車番情報に応じて合成したナンバプレート画像に加工を加えたナンバプレート画像の画像特徴量を用いることを特徴とする画像検索方法および同画像検索方法を計算机上で実現したプログラムおよび同プログラムを格納した媒体。
【請求項１０】
撮像手段，演算手段，記憶手段，通信手段を有するカメラと、演算手段，記憶手段，通信手段を有するサーバと、表示手段，入力手段，演算手段，通信手段を有する計算機と、を有する画像検索システムにおいて、
前記カメラは、ナンバプレートを含む画角で車両を撮影し、
前記サーバ又は前記計算機が、
画像からナンバプレートを切出すプレート画像切出し部と、
ナンバプレートの画像から画像特徴量を抽出するプレート画像特徴抽出部と、
少なくともナンバプレートの画像と画像特徴量とを組にして蓄積する検索データベースと、
検索データベース中から操作者が指定した画像と画像特徴量の類似度が高い画像を検索する検索部と、
検索結果を表示する検索結果表示部と、
検索データベースの中から画像特徴量の集約度が高いデータを抽出する頻出車両抽出部と、頻出車両抽出部が選択したデータの表示と検索キーの指定を受け取る頻出車両選択部と、
を備えることを特徴とする画像検索システム。
【請求項１１】
ナンバプレート画像の画像特徴量あるいはナンバプレート画像と車両画像の画像特徴量の集約度が高いデータを一覧表示して検索キーを受け取るユーザインタフェースを用いた画像検索方法。
【請求項１】
撮像手段，演算手段，記憶手段，通信手段を有するカメラと、演算手段，記憶手段，通信手段を有するサーバと、表示手段，入力手段，演算手段，通信手段を有する計算機と、を有する画像検索システムにおいて、
前記カメラは、ナンバプレートを含む画角で車両を撮影し、
前記サーバは、
画像からナンバプレートを切出すプレート画像切出し部と、
ナンバプレートの画像から画像特徴量を抽出するプレート画像特徴抽出部と、
少なくともナンバプレートの画像と画像特徴量とを組にして蓄積する検索データベースと、
検索データベース中から操作者が指定した画像と画像特徴量の類似度が高い画像を検索する検索部と、を備え、
前記計算機が、
操作者から検索対象の車番情報を受け取るプレート合成指定部と、
プレート合成指定部の受け取った合成条件に応じたナンバプレートの画像を合成するプレート画像合成部と、
合成したプレート画像を一覧表示して操作者の選択を受け取るプレート選択部と、
検索結果を表示する検索結果表示部と、
を備えることを特徴とする画像検索システム。
【請求項２】
前記プレート画像合成部の合成したナンバプレート画像を加工する指定を操作者から受け取るプレート加工指定部と、
前記ナンバプレートを加工するプレート画像加工部と、
を備えることを特徴とする請求項１に記載の画像検索システム。
【請求項３】
合成又は加工した前記ナンバプレートの画像の前記画像特徴量と、車両画像の画像特徴量とを複合させて検索することを特徴とする請求項１に記載の画像検索システム。
【請求項４】
前記プレート画像切出し部が、車両の画像から複数のナンバプレートの候補を切出すことを特徴とする請求項１に記載の画像検索システム。
【請求項５】
前記ナンバプレート画像の合成において、前記ナンバプレート上の文字のフォントを合成することを特徴とする請求項１に記載の画像検索システム。
【請求項６】
前記ナンバプレート画像の合成において、前記ナンバプレート上の文字のフォントを陸支コードに応じて決定する請求項１に記載の画像検索システム。
【請求項７】
前記プレート加工指定部が、前記ナンバプレートの傾き，枠，カバー，字光式の少なくとも１つを加工することを特徴とする請求項２に記載の画像検索システム。
【請求項８】
車両の画像から切出した前記ナンバプレート画像の画像特徴量と、操作者が指定する車番情報に応じて合成したナンバプレート画像の画像特徴量を用いることを特徴とする画像検索方法および同画像検索方法を計算机上で実現したプログラムおよび同プログラムを格納した媒体。
【請求項９】
車両の画像から切出した前記ナンバプレートの画像特徴量と、操作者が指定する車番情報に応じて合成したナンバプレート画像に加工を加えたナンバプレート画像の画像特徴量を用いることを特徴とする画像検索方法および同画像検索方法を計算机上で実現したプログラムおよび同プログラムを格納した媒体。
【請求項１０】
撮像手段，演算手段，記憶手段，通信手段を有するカメラと、演算手段，記憶手段，通信手段を有するサーバと、表示手段，入力手段，演算手段，通信手段を有する計算機と、を有する画像検索システムにおいて、
前記カメラは、ナンバプレートを含む画角で車両を撮影し、
前記サーバ又は前記計算機が、
画像からナンバプレートを切出すプレート画像切出し部と、
ナンバプレートの画像から画像特徴量を抽出するプレート画像特徴抽出部と、
少なくともナンバプレートの画像と画像特徴量とを組にして蓄積する検索データベースと、
検索データベース中から操作者が指定した画像と画像特徴量の類似度が高い画像を検索する検索部と、
検索結果を表示する検索結果表示部と、
検索データベースの中から画像特徴量の集約度が高いデータを抽出する頻出車両抽出部と、頻出車両抽出部が選択したデータの表示と検索キーの指定を受け取る頻出車両選択部と、
を備えることを特徴とする画像検索システム。
【請求項１１】
ナンバプレート画像の画像特徴量あるいはナンバプレート画像と車両画像の画像特徴量の集約度が高いデータを一覧表示して検索キーを受け取るユーザインタフェースを用いた画像検索方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２００９−１５１５８６（Ｐ２００９−１５１５８６Ａ）
【公開日】平成２１年７月９日（２００９．７．９）
【国際特許分類】
【出願番号】特願２００７−３２９４８１（Ｐ２００７−３２９４８１）
【出願日】平成１９年１２月２１日（２００７．１２．２１）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
【公開日】平成２１年７月９日（２００９．７．９）
【国際特許分類】
【出願日】平成１９年１２月２１日（２００７．１２．２１）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
[ Back to top ]