画像検索方法及び画像検索システム
【課題】通行路等に設置されたカメラで撮像された対象物の複数の画像から、特定の対象物の画像を検索し易くするとともに、検索精度を向上させる。
【解決手段】通行路等に設置されたカメラ(1)で撮像された車両又は人物等の対象物の画像を取り込み、対象物の画像を複数の形状モデルにカメラ視点を変えて投影して複数の投影マップを生成し、各投影マップに基づいて形状モデルの正面にカメラ視点を変えた正面画像を生成し、正面画像の左右対称度が最も高い正面画像に対応する形状モデルを最適形状モデルとし、かつ対応する視点を最適カメラ視点として選択し(105)、対象物の画像を最適形状モデルに最適カメラ視点から投影した投影マップを予め設定された基準カメラ視点に射影して視点を変換した検策用画像を生成し(105)、検索用画像を検索データベースに登録して対象物の検索に供する(107)。
【解決手段】通行路等に設置されたカメラ(1)で撮像された車両又は人物等の対象物の画像を取り込み、対象物の画像を複数の形状モデルにカメラ視点を変えて投影して複数の投影マップを生成し、各投影マップに基づいて形状モデルの正面にカメラ視点を変えた正面画像を生成し、正面画像の左右対称度が最も高い正面画像に対応する形状モデルを最適形状モデルとし、かつ対応する視点を最適カメラ視点として選択し(105)、対象物の画像を最適形状モデルに最適カメラ視点から投影した投影マップを予め設定された基準カメラ視点に射影して視点を変換した検策用画像を生成し(105)、検索用画像を検索データベースに登録して対象物の検索に供する(107)。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、通行路等に設置されたカメラで撮像された車両又は人物等の対象物の複数の画像から、特定の対象物が写っている画像を検索するのに好適な画像検索方法及び画像検索システムに関する。
【背景技術】
【0002】
カメラで撮像された車両又は人物等の対象物の複数の画像から特定の対象物を検索する方法としては、例えば、特許文献1に記載された車両検索方法が知られている。これによれば、機械式駐車場にて利用者が駐車券をなくした場合に、駐車車両を速やかに特定するため、駐車場の入口に設置したカメラで撮影した複数の画像から特定の駐車車両を検索する方法が提案されている。すなわち、入庫時に撮影した車両の画像を画像処理してナンバープレートを文字認識し、車番並びに車両の全体像から抽出した輪郭形状を特徴量として蓄積しておく。そして、出庫時に利用者が大まかな車番と輪郭形状の特徴を指定すれば、その車番と特微量の組み合わせから該当する車両を検索するようにしている。
【0003】
一方、特許文献2には、路上の定点カメラで撮影した車両の画像から車番や色や形状などの特微量を抽出して蓄積しておき、ユーザが車番あるいは特微量の検索条件を指定すると、該当検索条件に合致する車両の画像を検索して、2次元空間あるいは3次元空間に一覧表示する技術が開示されている。
【0004】
ところで、車両の製造メーカを示すエンブレム、あるいはライトの損傷程度といった詳細情報を車両の画像から画像処理により抽出するには、高い解像度で車両を撮影する必要がある。また、検索システムの操作者が目視で特定の車両を識別するためには、高い解像度で車両を撮影する必要がある。
しかし、ビデオグラフィックアレイ(VGA)のような普及型の安価で解像度が低いカメラにより、高い解像度の車両を撮影するためには、画角を狭くする必要があるが、車両を狭い画角で撮影した場合、車両の全体像を画角に収めることが難しくなり、特許文献1の技術では、輪郭情報を抽出することが困難になる。
【0005】
これに対し、特許文献2の技術によれば、車両の画像が画面内に占める面積から形状を抽出するので、画角が狭く車両の全体像が捉えられていなくても形状を抽出することができる。ところが、道路網中の広い範囲の車両を検索するために、複数地点にカメラを設置すると、各地点のカメラの撮影画像はそれぞれの撮影方向と車両の形状に応じて幾何歪みを有するので、精度よく形状を比較することができない。
【0006】
このような幾何歪みを補正する技術として、特許文献3に、人間の顔面形状をモデル化したワイヤフレームと撮影方向が異なる顔画像を用いて、正面方向から撮影した顔面の画像を合成する技術が特許文献3に開示されている。
【0007】
【特許文献1】特開2001−067599公報
【特許文献2】特開2005−209177公報
【特許文献3】特開2003−263639公報
【発明の開示】
【発明が解決しようとする課題】
【0008】
しかしながら、特許文献3に記載の技術は、トラックのように角張ったものから、スポーツカーのように流線型まで、多くのバリエーションが存在する車両の検索については配慮されていない。
【0009】
また、顔画像により特定の人物を特定する場合、正面の画像よりも少し横を向いた顔画像のほうが識別しやすい場合があるが、特許文献3には、この点について考慮されていない。
【0010】
本発明が解決しようとする課題は、通行路等に設置されたカメラで撮像された車両又は人物等の対象物の複数の画像から、特定の対象物の画像を検索し易くするとともに、検索精度を向上させることにある。
【課題を解決するための手段】
【0011】
上記の課題を解決するため、本発明の画像検索方法又は画像検索システムは、通行路等に設置されたカメラで撮像された車両又は人物等の対象物の画像を取り込み、該対象物の画像を予め用意された複数の形状モデルにカメラ視点を変えて投影して複数の投影マップを生成し、該各投影マップに基づいて前記形状モデルの正面にカメラ視点を変えて射影した正面画像を生成し、該正面画像の左右対称度が最も高い正面画像に対応する前記形状モデルを最適形状モデルとし、かつ対応するカメラ視点を最適カメラ視点として選択し、前記対象物の画像を前記最適形状モデルに前記最適カメラ視点から投影した投影マップを予め設定された基準カメラ視点から射影して視点を変換した検索用画像を生成し、該検索用画像を検索データベースに登録して前記対象物の検索に供することを特徴とする。
【0012】
すなわち、本発明は、対象物について複数の形状モデルを用意し、それらの形状モデルについて対象物の画像の投影マップを生成して形状モデルの正面画像に変換し、その正面画像の左右対称度が最も高い形状モデルを最適形状モデルとして対象物の画像を基準カメラ視点から射影した検索用画像を生成して、検索データベースに登録しているから、様々な撮影方向(視点)からカメラで撮影した複数の対象物の検索用画像の幾何歪みを均一にすることができる。
【0013】
その結果、複数地点に設置されたカメラ視点(撮影方向)が異なる複数のカメラで撮影した車両等の画像でも、カメラ視点の違いによる幾何歪みのばらつきに影響されること無く高精度で検索することが可能になる。
【0014】
この場合において、カメラ視点は、カメラの少なくとも撮影方向を含む撮影パラメータとすることができる。また、撮影パラメータは、撮影方向、撮影位置又は焦点位置を含み、撮影方向は、水平方向の角度と、垂直方向の角度と、光軸周りの角度であり、撮影位置は、形状モデルの左右中心を原点とする横方向位置と、形状モデルの前端を原点とする奥行き方向位置と、形状モデルの下端を原点とする高さ方向位置とすることができる。また、基準視点は、対象物を識別し易い視点に設定する。例えば、車両の場合は、水平方向の角度及び光軸周りの角度を0°とし、垂直方向の角度を識別し易い角度に設定することができる。
【0015】
また、本発明は、検索データベースに登録された検索用画像の一部又は全部を表示画面に一覧表示するようにすることができる。これにより、幾何歪みが均一化された複数の検索用画像を観察することにより、対象物の画像の識別が容易になる。
【0016】
さらに、本発明は、検索用画像の特徴量を求めて検索用画像に対応付けて検索データベースに登録し、一覧表示された検索用画像の一つが指定されたとき、指定された検索用画像の特徴量を検索特徴量として、検索特徴量に一致又は類似する特徴量を有する一又は複数の検索用画像を表示画面に表示するようにすることができる。あるいはこれに代えて、検索用画像の特徴量を求めて検索用画像に対応付けて前記検索データベースに登録し、入力手段を介して入力される検索特徴量に一致又は類似する特徴量を有する一又は複数の検索用画像を検索データベースから検索して抽出し、抽出された検索用画像を表示画面に表示するようにすることができる。
【0017】
これらの場合において、検索特徴量に一致又は類似する特徴量を有する一又は複数の検索用画像を検索データベースから検索するとき、検索特徴量と検索用画像の特徴量の類似度を求め、求めた類似度が高い順に並べて検索用画像を一覧表示することができる。
【0018】
さらに、検索用画像の特徴量は、対象物の識別に関係する特徴量と、最適形状モデルのモデル特徴量と、最適形状モデルの種別の少なくとも一つを含むようにすることができる。
【0019】
また、画像の特微量に形状モデルの特微量を追加することで、画像上の色やテクスチャが類似していても形状が異なる車両を分離することが可能になり、検索の精度を向上させることができる。また、検索の際にユーザインタフェースから形状モデルの種別を指定することにより、検索結果の中から画像上の色やテクスチャが類似していても形状が異なる車両を除外して検索結果を絞り込むことで、検索の精度を向上させることができる。
【発明の効果】
【0020】
本発明によれば、通行路等に設置されたカメラで撮像された車両又は人物等の対象物の複数の画像から、特定の対象物の画像を検索し易くでき、かつ検索精度を向上させることができる。
【発明を実施するための最良の形態】
【0021】
以下、本発明の画像検索方法を適用した画像検索システムを、通行路等に設置されたカメラで撮像された車両の複数の画像から特定の車両の画像を検索する車両検索システムの実施形態について、図面を参照しながら説明する。なお、本実施形態では、車両の一例として自動車を挙げて説明を行うが、自動車に限定されず、左右対称なあらゆる種類の車両を対象とすることができる。また、車両に限定されず、通行する人物を撮影した複数の画像から特定の人物の画像を検索する画像検索システムにも適用できる。つまり、本発明は、左右が対称な対象を撮影した複数の画像から特定の対象の画像を検索するのに好適である。
【0022】
<実施形態1>
図1は、本発明の一実施形態の車両検索システムの概略を示す構成図である。図示のように、複数のカメラ1とサーバ計算機2と複数のクライアント計算機3が、通信ネットワークを介して互いに接続されている。
【0023】
カメラ1は、撮像装置と、画像処理装置と、通信装置を有して構成され、例えば路上に設置されている。カメラ1は、画像処理装置において撮像された画像のフレーム間の差分処理によって通行する車両を検出し、検出した車両を自動的に撮影してサーバ計算機2に送信するようになっている。複数のカメラ1の設置場所は任意に設定できるが、一般に、通過する車両を正面方向以外の角度で撮影するように設置されている。 サーバ計算機2は、演算装置と、主記憶装置と、記憶装置と、通信装置を備えた汎用計算機を用いて構成されている。クライアント計算機3は、演算装置と、操作者に情報を表示するディスプレイのような表示装置と、キーボードやマウスなどの操作員からの入力を受け取る入力装置と、通信装置を備えて構成されている。クライアント計算機3は、例えば汎用的なWindows(登録商標)OSを搭載したパーソナルコンピュータで実現できる。また、クライアント計算機3の台数は、車両検索システムの規模に応じて設けられ、1台でも複数台でもよい。
【0024】
図2に、サーバ計算機2とクライアント計算機3の機能構成をブロック図で示す。図2に示すように、サーバ計算機2は、管理データベース(DB)103と、形状モデル選択部104と、視点変換画像合成部105と、特徴抽出部106と、検索データベース(DB)107と、検索部108を備えて構成されている。また、クライアント計算機3は、検索条件指定部109と検索結果表示部110を備えて構成されている。なお、図示していないが、管理データベース103は、形状モデル選択部104と、視点変換画像合成部105と、特徴抽出部106と、検索データベース107と、検索部108に接続され、各機能の信号処理に必要なパラメータを蓄積している。
【0025】
以下、本実施形態の車両検索システムの詳細構成について、動作とともに説明する。管理データベース103には、検索対象に係る車両の種類等に応じて車両の形状モデルが複数登録されている。例えば、形状モデルは、全てポリゴンの3次元のメッシュモデルのデータ形式で蓄積される。図5に形状モデル30の例を示す。図5(a)は流線的なスポーツカーの形状モデル30の一例であり、図5(b)は角張ったセダンの形状モデル30の一例であり、図5(c)はワンボックス車の形状モデル30の一例である。
【0026】
図5(a)、(b)、(c)の各形状モデル30は、車両のCAD設計図のポリゴンのメッシュを再分割曲面により近似することで取得することができる。形状モデルの近似程度は、図5ほど単純化せず、車両のCAD設計図に近いレベルで保持してもよい。車両のCAD設計図は、厳密な車両の型式1つ1つで異なるので、道路を走行する車両の形状モデル30を網羅するにはかなりの数となる。しかし、同じメーカであればパーツの共通化により形状のデザインに共通性があること、異なるメーカの車両の間でも大人数の家族向けや、2人乗りといった乗員の想定数や、荷物の積載量といった想定用途により設計が類似する。したがって、形状モデル30の数は車両の型式の数よりも少ない数に集約することができる。
形状モデル選択部104は、カメラ1から受け取った車両の画像に対して、管理データベース103に蓄積されている形状モデルの中で、最も適切な形状モデルを選択する。また、形状モデル選択部104は、カメラ1から受け取った車両の画像を形状モデルに投影マップするのに最適な撮影パラメータを選択する。
【0027】
[形状モデル選択部104]
図3、図4のフローを用いて、形状モデル選択部104の具体的な処理を説明する。
【0028】
(ステップS1)
まず、車両の形状モデルのデータを管理データベース103からサーバ計算機2の主記憶に読み込むとともに、形状モデルのデータのほか、形状モデル選択部104の処理に必要なデータを主記憶に読み込む。
【0029】
(ステップS2)
次いで、カメラ1から送信される車両の画像を主記憶に読み込む。カメラ1が撮影した車両の画像の例を図6に示す。図6に示すカメラ1が撮影した車両の画像40は、いずれも車両の前面部を中心として車両を大きく捉えた画像となっている。画像40を撮影したカメラ1の撮影方向の水平角度(車両正面に対する水平方向の視点角度)は、大きい順に並べると図6(a)、図6(b)、図6(c)である。また、画像40の幾何歪みを大きい順に並べると図6(a)、図6(b)、図6(c)であり、水平角度の大きさの順番と等しい。なお、画像40の中には、車両のほかに路面などの背景も映りこんでいる。
【0030】
(ステップS3〜S7) 次に、複数の形状モデルを切り替えながら、画像40の撮影パラメータを変化させて、正面画像の合成と左右対称度の計算の処理(S5)を繰り返す。つまり、 ステップS3〜S7のループは、管理データベース103が蓄積する形状モデルの全ての種別で繰り返す。また、ステップS4〜S6のループは、カメラ1の撮像系を射影変換で近似したときの視点である撮影パラメータの要素(撮影位置、撮影方向、焦点距離)を、それぞれ設定刻み及び設定範囲内で、変更しながら繰り返す。
【0031】
ここで、撮影パラメータの範囲は、管理データベース103が蓄積するカメラ1の撮影パラメータの設計値の範囲から定める。例えば、カメラ1の水平方向の角度の設計値が10°〜40°であれば、撮影パラメータの範囲のうち水平方向の角度の範囲を10°〜40°とする。また、カメラ1から形状モデル選択部104に撮影パラメータを画像に対応付けて送信するようにした場合は、撮影パラメータの変更範囲を絞り込むことができる。また、管理データベース103にカメラ1の設置点情報と撮影パラメータを蓄積しておき、カメラ1から形状モデル選択部104にカメラの設置点情報を送信するようにすると、形状モデル選択部104はカメラ1の設置点情報を検索キーとして管理データベース103から撮影パラメータを抽出して取得することができる。
【0032】
ステップS5では、図4のステップS9〜S11に示す手順により、正面画像を合成して、その正面画像の左右対称度を求める。
【0033】
(ステップS9)
ステップS2で読み込んだ画像40と、ステップS4〜S6のループで選択している複数の撮影パラメータと、ステップS3〜S7のループで選択している複数の形状モデルから、図7に示すように、それぞれ投影マップを求める。
【0034】
すなわち、図7において、形状モデル130は、ステップS3〜S7のループで選択している形状モデル30の例である。正面部分131は、形状モデル130の正面部分である。撮影パラメータ55は、ステップS4〜S6のループで選択している撮影パラメータである。仮想カメラ56は、撮影パラメータ55で射影変換する仮想的なカメラである。
【0035】
撮影パラメータ55は、空間中における、水平方向の角度P、垂直方向の角度T、光軸周りの角度R、形状モデル130の横方向の座標X、形状モデル130の奥行き方向の座標Y、形状モデル130の高さ方向の座標Z、焦点距離Fの要素からなる。座標Xの原点は形状モデル130の左右中心、座標Yの原点は形状モデル130の前端、座標Zの原点は形状モデル130の下端である。
【0036】
このようにして、ステップS9では、仮想カメラ56から画像40を形状モデル130の正面部分131に投影マップする処理を、撮影パラメータ55を変更しながら繰返し、さらに、形状モデル130を変更しながら繰り返して、複数の投影マップを生成する。
【0037】
(ステップS10)
ステップS9で求めた複数の投影マップから、視点を形状モデル正面に移動したときの正面画像をそれぞれ合成する。
【0038】
図7において、撮影パラメータ57は、仮想カメラ56を形状モデル130の正面方向に視点変換させる正面画像の撮影パラメータである。仮想カメラ58は、正面画像の撮影パラメータ57に対応した仮想的なカメラである。仮想撮像面59は、仮想カメラ58の仮想撮像面である。正面画像60は、ステップS9で計算した仮想カメラ56から画像40を形状モデル130へ投影した投影マップを、仮想カメラ58で仮想撮像面59上に射影変換した画像である。
【0039】
正面画像の撮影パラメータ57のうち、水平方向の角度P’は0、光軸方向の角度R’は0、形状モデルの横方向の座標X’は0である。残りの垂直方向の角度T’、形状モデル130の奥行き方向の座標Y’、形状モデル130の高さ方向の座標Z’、焦点距離F’は、撮影パラメータ55の各要素をステップS4〜S6のループで変化させる範囲の中央値である。
このようにして、ステップS10では、ステップS9の処理で仮想カメラ56から画像40を形状モデル130の正面部分131へ投影マップしたものを、仮想カメラ58から仮想撮像面59上へ射影変換することにより正面画像60を合成する。
【0040】
なお、ステップS9の投影マップにおいて、形状モデル130の前面部分131の全領域に投影マップされない場合、ステップS10ではステップS9の投影マップの範囲から外れた形状モデル130の前面部分131の領域を、ブランクにして正面画像60に射影変換する。
【0041】
(ステップS11)
ステップS11では、ステップS10で合成した正面画像60の左右の対称度を計算する。
【0042】
すなわち、図8に示すように、正面画像60の左右の中心線61よりも左側の画像62と、中心線61よりも右側の画像を左右反転した画像63を求める。そして、画像62と画像63の正規化相関によって求めた相関値を、左右の対称度とする。この相関値の計算は、正規化相関以外にも、2乗誤差の逆数のような他の相関値の計算アルゴリズムを用いてもよい。正面画像60が左右対称に近づくほど、画像62と画像63は相似に近づいて相関値が高くなり、左右対称度も高くなる。
【0043】
ところで、ステップS4〜S6で選択している撮影パラメータ55が、実際のカメラ1の撮影パラメータから離れている場合は、ステップS9では画像40中の背景部分が形状モデル130の正面部分131に投影マップされるから、ステップS10では正面画像60中に画像40中の背景部分が混入する。あるいは、ステップS4〜S6で選択している撮影パラメータ55が、実際のカメラ1の撮影パラメータから離れている場合は、形状モデル130の正面部分131の中でステップS9における投影マップの範囲から外れる領域が多くなるから、ステップS10では正面画像60にブランクな領域が多くなる。
【0044】
一方、ステップS4〜S6で選択している撮影パラメータ55が、実際のカメラ1の撮影パラメータに近づくにつれて、ステップS9では形状モデル130の正面部分131のうち、画像40中の背景部分が投影マップされる領域、あるいは形状モデル130の正面部分131のうち投影マップの範囲から外れる領域が縮小して、ステップS10の正面画像60は画像40中の車両の実際の正面画像に近づく。
【0045】
また、形状モデル130の種別が実空間の車両に近くなるほど、ステップS9における投影マップが実空間の車両に近くなり、ステップS10の正面画像60は画像40中の車両の実際の正面画像に近づく。
【0046】
しかし、画像40中の車両の種別を問わず、実際の車両の正面部分はほぼ左右対称なので、ステップS11で計算する正面画像60の左右の対称度は、正面画像60が画像40中の実際の正面画像に近いほど高くなる。
【0047】
(ステップS8)
このようにして正面画像60の左右対称度を求めた後、図3のステップS8に戻り、正面画像60の左右対称度が最も高くなる正面画像に対応する形状モデル130と撮影パラメータ55を、最適な形状モデルと最適な撮影パラメータとして選択する。
【0048】
このようにして、形状モデル選択部104は、ステップS8で選択した最適な形状モデルと最適な撮影パラメータ、並びにステップS2で読み込んだ画像40を視点変換画像合成部105に送信する。
【0049】
[視点変換画像合成部105]
視点変換画像合成部105は、形状モデル選択部104から受信した最適な形状モデルと最適な撮影パラメータと画像40に基づいて、撮影パラメータを基準撮影パラメータ変えて視点を変換した検索用画像を合成する。 図9を用いて、視点変換画像合成部105の処理を説明する。図9において、最適形状モデル230は形状モデル選択部104が選択した最適な形状モデルである。また、最適撮影パラメータ255は、形状モデル選択部104が選択した最適な撮影パラメータである。仮想カメラ256は最適撮影パラメータ255に対応した仮想カメラである。基準撮影パラメータ257は、基準の撮影パラメータである。仮想カメラ258は、基準撮影パラメータ257に対応した仮想カメラである。撮像面259は仮想カメラ258の撮像面である。
【0050】
視点変換画像合成部105は、仮想カメラ256から画像40を最適形状モデル230に投影マップしたものを、仮想カメラ258から射影変換することで撮像面259上に検索用画像260を合成する。なお、撮像面259の検索用画像260以外のブランクな部分は白などの所定の色で塗りつぶす、あるいは基準背景359のような背景画像と合成する。ここで、基準背景359の画像は任意であるが、カメラ1で撮影する地点の代表的な背景画像と合成すれば、撮像面259上の画像が実際にカメラ1で撮影された画像に近づき、操作者からみて自然な画像にすることができる。
【0051】
また、基準撮影パラメータ257は、例えば、各設置点におけるカメラ1の撮影パラメータの平均値に基づいて定めることができ、管理データベース103に蓄積されている。
【0052】
なお、検索用画像260に射影変換される形状モデル230のポリゴンの一部が、投影マップの範囲から外れた場合、視点変換画像合成部105は検索用画像260の中で投影マップの範囲から外れたポリゴン部分をブランクにして射影変換する。ただし、画像40中の車両も形状モデル230も正面部分がほぼ左右対称なので、視点変換画像合成部105は投影マップの範囲から外れたポリゴンと形状モデル230において左右対称な部分が、ステップS9の投影マップの範囲内ならば、ステップS9の投影マップの範囲から形状モデル230の部分の代わりに射影変換して検索用画像260のブランクを埋めてもよい。
【0053】
視点変換画像合成部105は、合成した撮像面259上の画像を検索用画像として特徴抽出部106に送信する。
【0054】
[特徴抽出部106]
特徴抽出部106は、視点変換画像合成部105が合成した画像から特微量を抽出する。特徴抽出部106は、特微量の要素に、高次局所自己相関によるテクスチャ(模様)の特微量や、HSIのヒストグラムによる色の特微量を抽出するようになっている。テクスチャの特徴量、並びに色の特微量は1次元以上のベクトル量である。なお、テクスチャの特微量は、フーリエ変換のスペクトルや画像中の画素の分散値等の他の手法を使っても計算できる。また、色の特微量には、画像中の画素の赤成分、青成分、緑成分の平均値など他の手法を使っても計算できる。
【0055】
このようにして特徴抽出部106によって抽出された検索用画像の特徴量は、視点変換画像合成部105が合成した検索用画像に対応付けて検索データベース107に蓄積される。
【0056】
[検索条件指定部109]
検索条件指定部109は、操作者に向けてクライアント計算機3の表示装置上に検索のメニュー画面を表示し、クライアント計算機3の入力装置を通じて操作者から入力される検索条件を受け取るようになっている。
【0057】
図10に、検索条件指定部109の類似画像検索方式のメニュー画面の一例を示す。図10の画像一覧20は、検索データベース107が蓄積する検索用画像の中からランダムに抽出した画像の一覧である。画像一覧20中の各検索用画像は、カメラ1の撮影方向が異なっていても、擬似的に撮影方向が基準視点に統一されている。
【0058】
操作者が画像一覧20の中から検索したい車両に類似した検索用画像を1つ選択する。操作者は、検索したい車両に類似した画像が画像一覧20に含まれない場合には、検索したい車両に類似した画像が表示されるまで、クライアント計算機3の入力装置を所定の手順で操作することにより、他の画像一覧20を繰り返して表示させることができる。
【0059】
操作者が、画像一覧20の中から特定の検索用画像21を選択すると、検索条件指定部109は検索データベース107から抽出した検索用画像21の特微量を検索部108に送信する。
【0060】
なお、検索条件指定部109は、図10の類似画像検索方式のほか、特微量をテキストボックスやスライドバーのようなユーザインタフェースにより指定する方式により、類似画像検索方式と同様に特微量を検索部108に送信することができる。
【0061】
[検索部108]
検索部108は検索条件指定部109から受信した特微量と、検索部108中の画像の特微量の類似度を下記の式(1)によって計算する。
【0062】
S=(Σi=1,N αi dist (yi,xi))−1 (1)
式(1)において、Σi=1,N は添え字iについて1からNで和をとることを意味し、αiは特微量のi番目の要素の荷重係数、yiは検索条件指定部109から受信した特微量のi番目の要素、xiは検索データベース中の1枚の画像の特微量のi番目の要素、dist(yi,xi)はxiとyiのユークリッド距離を計算する関数、Sは類似度である。
【0063】
式(1)において、例えば、特微量の数Nは2であり、特微量の1番目の要素はテクスチャ、2番目の要素は色を示す。なお、荷重係数αiには、管理データベース103が蓄積するデータを用いる。検索データベース107の画像の中で式(1)の類似度Sが高い画像は、操作者が選択した検索用画像21と色やテクスチャが近い傾向をことになる。検索部108は、全ての画像から式(1)による類似度を計算した後、類似度を高い順に並べ直して、予め管理データベース103に設定されている所定数の上位の類似度を有する検索用画像21を検索結果表示部110に送信する。
【0064】
検索結果表示部110は検索部108から受信した画像の一覧をクライアント計算機3の表示装置に表示する。図11に、検索結果表示部110の表示画面の一例を示す。検索結果22には、検索条件指定部109で選択された検索用画像21に色あるいはテクスチャが類似した検索用画像21が一覧表示されている。
【0065】
以上述べたように、本実施形態によれば、複数の設置点の撮影パラメータが違うカメラの画像でも、撮影パラメータを擬似的にそろえた画像検索システムを実現することができる。
【0066】
また、本実施形態において、特徴抽出部106、検索部108、検索条件指定部109などを省略して、検索データベース107に格納された検索用画像を一覧にして表示画面に表示して、対象物の画像を検索するようにすることができる。
【0067】
<実施形態2>
ここで、本発明の車両検索システムの実施形態2について説明する。本実施形態が実施形態1と異なる点は、特徴抽出部106の機能に、形状モデルの特微量を抽出する機能を持たせたことにある。形状モデルの特微量を抽出することは、公知文献“不変特微量を用いた3次元物体の形状類似検索 PRMIJ Vol.103 N0.296 pp.85-90”に紹介されている。つまり、形状モデルを構成するポリゴンのすべての2組について計算した面積和、相対距離、法線間の角度のヒストグラムを計算して、形状モデルの特微量を抽出することができる。
【0068】
そして、特徴抽出部106は、抽出した形状モデルの特徴量を、検索用画像21に対応付けて検索データベース107に格納する。
【0069】
一方、本実施形態の検索部108は、検索用画像の特徴量と形状モデルの特徴量の2つの特微量の類似度の計算を式(2)により計算する。
【0070】
S=(Σi=1,N+1 αi dist (yi,xi))−1 (2)
式(2)において、Σi=1,N+1 は添え字iについて1からN+1で和をとることを意味する。式(2)において、S、N、αi、dist(yi,xi)、yi、xiは数(1)と共通である。
【0071】
式(2)においてiが3になるときのα3、x3、y3は,それぞれ形状モデルの荷重係数、検索データベース107中の1枚の画像の形状モデルの特徴量、検索条件指定部109から受信した特微量である。
【0072】
本実施形態の検索条件指定部109は、検索部108の類似度の計算における式(1)の荷重係数αiを調整する機能を持つ。図12に、本実施形態の検索条件指定部109が荷重係数αiを調整するユーザインタフェースの例を示す。同図において、チェックボックス23がONであれば、荷重係数αiを管理データベース103が蓄積する値に設定する。一方、チェックボックス23がOFFであれば荷重係数αiを0とする。図12のチェックボックス23の設定例では、テクスチャのチェックボックスの状態がOFFなので、テクスチャの荷重係数α1を0とする。また、色と形状モデルのチェックボックス23はONなので、色の荷重係数α2と形状モデルの荷重係数α3は、それぞれ管理データベース103に蓄積された設定値とする。
【0073】
図12に示したスライダック24は、式(1)の荷重係数αiを調整するユーザインタフェースの他の例である。スライダック24を小に近づけるほど、荷重係数αiを管理データベース103に蓄積された設定値より所定の比率で小さくし、スライダック24を大に近づけるほど、荷重係数αiを管理データベース103に蓄積された設定値より所定の比率で大きくする。図12のスライダック24の設定例では、テクスチャの荷重係数α1は管理データベース103に蓄積された設定値、色の荷重係数α2は管理データベース103に蓄積された設定値よりも小さな値、形状モデルの荷重係数α3は管理データベース103に蓄積された設定値より大きな値となる。
【0074】
本実施形態によれば、実施形態1に比べて、検索用画像の特微量に加えて、形状モデルの特微量を考慮していることから、検索条件指定部109において選択された検索用画像21と色やテクスチャが似通っていても、形状モデルが異なる車両が検索結果22に含まれることが防止されるから、画像検索の精度が向上する。
【0075】
<実施形態3>
ここで、本発明の車両検索システムの実施形態2について説明する。本実施形態が実施形態1と異なる点は、形状モデル選択部104は、選択した最適形状モデル230の種別をサーバ計算機2の主記憶装置上の所定位置に記憶し、検索データベース107は、形状モデル選択部104が選択した最適形状モデル230の種別をサーバ計算機2の主記憶装置上の所定位置から読み取り、検索用画像21と組にして蓄積するようにしたことにある。さらに、本実施形態の検索部108は、検索条件指定部109から形状モデルの種別による検索範囲の絞り込みの指示を受けた場合、検索データベース107の中で形状モデルの種別が検索範囲の絞り込み外の検索用画像21については、類似度を検索しないようになっている。
【0076】
図13に、形状モデルの種別による検索範囲の絞込みの指定を操作者から受け取るユーザインタフェースの一例を示す。この検索条件入力画面は、検索条件指定部109がクライアント計算機3の表示装置上に表示するようになっている。
【0077】
検索条件入力画面のテキストボックス25は、形状モデルの種別をキーワードの形式で受け取るようになっている。テキストボックス25に形状モデルの種別を示すキーワードが入力されると、検索条件指定部109は検索部108に向けて形状モデルの種別をテキストボックス25の指定に一致するものに絞り込む指示を送信する。形状モデルの種別を示すキーワードは、予め形状モデルごとに与えておき、管理データベース103に設定しておく。形状モデルの種別のキーワードとしては、例えば、図5(a)の車両には流線型、同図(b)の車両には角張ったセダン、同図(c)の車両にはワンボックス(1BOX)のように設定することができる。しかし、キーワードのつけ方は任意である。
【0078】
図13の例では、テキストボックス25に流線型と角張りセダンが指定されているので、検索条件指定部109は形状モデルの種別を流線型あるいは角張りセダンに限定した検索範囲の絞込りみを検索部108に送信する。
【0079】
なお、図13において、プルダウンメニュー26は、形状モデルのキーワードの一覧を示しており、プルダウンメニュー26のキーワードを指定すると、テキストボックス25と同様に形状モデルのキーワードの指定を入力できるようになっている。また、図13において、プルダウンメニュー27は、形状モデルの概略図を示し、テキストボックス26と同様に形状モデルのキーワードの指定を入力できるようになっている。
【0080】
本実施形態によれば、実施形態1と比べて、形状モデルの種別により検索データベース107中の検索範囲を絞り込むことができるから、検索条件指定部109において選択された検索用画像21の車両と、色やテクスチャが似通っていても形状モデルが異なる車両が検索結果22に含まれることを防止でき、画像検索の精度が向上する。
【0081】
以上説明した実施形態1〜3において、計算負荷の分散の観点から、形状モデル選択部104や視点変換画像合成部105や特徴抽出部106の信号処理の一部以上をカメラ1の画像処理装置に分担させてもよい。同様に、計算負荷の分散の観点から、検索部108の信号処理の一部以上をクライアント計算機3に分担させてもよい。これらの場合は、カメラ1の画像処理装置あるいはクライアント計算機3に、管理データベース103にアクセスする機能、あるいは管理データベース103中のデータのうち分担する信号処理に必要なデータのコピーを蓄積する機能を追加する。
【0082】
以上、本発明を車両検索システムに適用した実施形態を説明したが、本発明の画像検索システムは、上記実施形態に限られるものではなく、左右対称で3次元形状を有限個の形状モデルで近似可能な物体であれば物体の種類を問わず、本発明を適用できる。特に、撮影方向が異なる複数のカメラで撮影した画像の撮影方向を均一にして、画像検索の精度を向上させることができる。例えば、監視用途における顔画面の画像検索において、多数人物の顔面のレーザスキャナによる計測データを複数の形状モデルに分類しておき、複数の方向から撮影された撮影された顔面の画像を正面方向に視点変換して検索の精度向上することに応用できる。
【図面の簡単な説明】
【0083】
【図1】本発明の実施形態1の車両検査システムのブロック図である。
【図2】実施形態1の主要部の機能構成を示すブロック図である。
【図3】実施形態1の形状モデル選択部の処理のフロー図である。
【図4】図3のステップS5の処理のフロー図である。
【図5】車両の形状モデルの一例を示す図である。
【図6】カメラで撮影した車両の画像の一例を示す図である。
【図7】図3のステップS9、S10の処理を説明する図である。
【図8】図4のステップS11の処理を説明する図である。
【図9】実施形態1の視点変換画像合成部の処理を説明する図である。
【図10】実施形態1の検索条件指定に係る検索用画像の表示例を示す図である。
【図11】実施形態1の検索結果の表示画面の一例を示す図である。
【図12】本発明の実施形態2における形状モデルの特微量の荷重係数を調整するインタフェース画面の一例を示す図である。
【図13】本発明の実施形態3における形状モデルの種別により検索範囲を絞り込むインタフェース画面の一例を示す図である。
【符号の説明】
【0084】
1 カメラ
2 サーバ計算機
3 クライアント計算機
103 管理データベース
104 形状モデル選択部
105 視点変換画像合成部
106 特徴抽出部
107 検索データベース
108 検索部
109 検索条件指定部
110 検索結果表示部
【技術分野】
【0001】
本発明は、通行路等に設置されたカメラで撮像された車両又は人物等の対象物の複数の画像から、特定の対象物が写っている画像を検索するのに好適な画像検索方法及び画像検索システムに関する。
【背景技術】
【0002】
カメラで撮像された車両又は人物等の対象物の複数の画像から特定の対象物を検索する方法としては、例えば、特許文献1に記載された車両検索方法が知られている。これによれば、機械式駐車場にて利用者が駐車券をなくした場合に、駐車車両を速やかに特定するため、駐車場の入口に設置したカメラで撮影した複数の画像から特定の駐車車両を検索する方法が提案されている。すなわち、入庫時に撮影した車両の画像を画像処理してナンバープレートを文字認識し、車番並びに車両の全体像から抽出した輪郭形状を特徴量として蓄積しておく。そして、出庫時に利用者が大まかな車番と輪郭形状の特徴を指定すれば、その車番と特微量の組み合わせから該当する車両を検索するようにしている。
【0003】
一方、特許文献2には、路上の定点カメラで撮影した車両の画像から車番や色や形状などの特微量を抽出して蓄積しておき、ユーザが車番あるいは特微量の検索条件を指定すると、該当検索条件に合致する車両の画像を検索して、2次元空間あるいは3次元空間に一覧表示する技術が開示されている。
【0004】
ところで、車両の製造メーカを示すエンブレム、あるいはライトの損傷程度といった詳細情報を車両の画像から画像処理により抽出するには、高い解像度で車両を撮影する必要がある。また、検索システムの操作者が目視で特定の車両を識別するためには、高い解像度で車両を撮影する必要がある。
しかし、ビデオグラフィックアレイ(VGA)のような普及型の安価で解像度が低いカメラにより、高い解像度の車両を撮影するためには、画角を狭くする必要があるが、車両を狭い画角で撮影した場合、車両の全体像を画角に収めることが難しくなり、特許文献1の技術では、輪郭情報を抽出することが困難になる。
【0005】
これに対し、特許文献2の技術によれば、車両の画像が画面内に占める面積から形状を抽出するので、画角が狭く車両の全体像が捉えられていなくても形状を抽出することができる。ところが、道路網中の広い範囲の車両を検索するために、複数地点にカメラを設置すると、各地点のカメラの撮影画像はそれぞれの撮影方向と車両の形状に応じて幾何歪みを有するので、精度よく形状を比較することができない。
【0006】
このような幾何歪みを補正する技術として、特許文献3に、人間の顔面形状をモデル化したワイヤフレームと撮影方向が異なる顔画像を用いて、正面方向から撮影した顔面の画像を合成する技術が特許文献3に開示されている。
【0007】
【特許文献1】特開2001−067599公報
【特許文献2】特開2005−209177公報
【特許文献3】特開2003−263639公報
【発明の開示】
【発明が解決しようとする課題】
【0008】
しかしながら、特許文献3に記載の技術は、トラックのように角張ったものから、スポーツカーのように流線型まで、多くのバリエーションが存在する車両の検索については配慮されていない。
【0009】
また、顔画像により特定の人物を特定する場合、正面の画像よりも少し横を向いた顔画像のほうが識別しやすい場合があるが、特許文献3には、この点について考慮されていない。
【0010】
本発明が解決しようとする課題は、通行路等に設置されたカメラで撮像された車両又は人物等の対象物の複数の画像から、特定の対象物の画像を検索し易くするとともに、検索精度を向上させることにある。
【課題を解決するための手段】
【0011】
上記の課題を解決するため、本発明の画像検索方法又は画像検索システムは、通行路等に設置されたカメラで撮像された車両又は人物等の対象物の画像を取り込み、該対象物の画像を予め用意された複数の形状モデルにカメラ視点を変えて投影して複数の投影マップを生成し、該各投影マップに基づいて前記形状モデルの正面にカメラ視点を変えて射影した正面画像を生成し、該正面画像の左右対称度が最も高い正面画像に対応する前記形状モデルを最適形状モデルとし、かつ対応するカメラ視点を最適カメラ視点として選択し、前記対象物の画像を前記最適形状モデルに前記最適カメラ視点から投影した投影マップを予め設定された基準カメラ視点から射影して視点を変換した検索用画像を生成し、該検索用画像を検索データベースに登録して前記対象物の検索に供することを特徴とする。
【0012】
すなわち、本発明は、対象物について複数の形状モデルを用意し、それらの形状モデルについて対象物の画像の投影マップを生成して形状モデルの正面画像に変換し、その正面画像の左右対称度が最も高い形状モデルを最適形状モデルとして対象物の画像を基準カメラ視点から射影した検索用画像を生成して、検索データベースに登録しているから、様々な撮影方向(視点)からカメラで撮影した複数の対象物の検索用画像の幾何歪みを均一にすることができる。
【0013】
その結果、複数地点に設置されたカメラ視点(撮影方向)が異なる複数のカメラで撮影した車両等の画像でも、カメラ視点の違いによる幾何歪みのばらつきに影響されること無く高精度で検索することが可能になる。
【0014】
この場合において、カメラ視点は、カメラの少なくとも撮影方向を含む撮影パラメータとすることができる。また、撮影パラメータは、撮影方向、撮影位置又は焦点位置を含み、撮影方向は、水平方向の角度と、垂直方向の角度と、光軸周りの角度であり、撮影位置は、形状モデルの左右中心を原点とする横方向位置と、形状モデルの前端を原点とする奥行き方向位置と、形状モデルの下端を原点とする高さ方向位置とすることができる。また、基準視点は、対象物を識別し易い視点に設定する。例えば、車両の場合は、水平方向の角度及び光軸周りの角度を0°とし、垂直方向の角度を識別し易い角度に設定することができる。
【0015】
また、本発明は、検索データベースに登録された検索用画像の一部又は全部を表示画面に一覧表示するようにすることができる。これにより、幾何歪みが均一化された複数の検索用画像を観察することにより、対象物の画像の識別が容易になる。
【0016】
さらに、本発明は、検索用画像の特徴量を求めて検索用画像に対応付けて検索データベースに登録し、一覧表示された検索用画像の一つが指定されたとき、指定された検索用画像の特徴量を検索特徴量として、検索特徴量に一致又は類似する特徴量を有する一又は複数の検索用画像を表示画面に表示するようにすることができる。あるいはこれに代えて、検索用画像の特徴量を求めて検索用画像に対応付けて前記検索データベースに登録し、入力手段を介して入力される検索特徴量に一致又は類似する特徴量を有する一又は複数の検索用画像を検索データベースから検索して抽出し、抽出された検索用画像を表示画面に表示するようにすることができる。
【0017】
これらの場合において、検索特徴量に一致又は類似する特徴量を有する一又は複数の検索用画像を検索データベースから検索するとき、検索特徴量と検索用画像の特徴量の類似度を求め、求めた類似度が高い順に並べて検索用画像を一覧表示することができる。
【0018】
さらに、検索用画像の特徴量は、対象物の識別に関係する特徴量と、最適形状モデルのモデル特徴量と、最適形状モデルの種別の少なくとも一つを含むようにすることができる。
【0019】
また、画像の特微量に形状モデルの特微量を追加することで、画像上の色やテクスチャが類似していても形状が異なる車両を分離することが可能になり、検索の精度を向上させることができる。また、検索の際にユーザインタフェースから形状モデルの種別を指定することにより、検索結果の中から画像上の色やテクスチャが類似していても形状が異なる車両を除外して検索結果を絞り込むことで、検索の精度を向上させることができる。
【発明の効果】
【0020】
本発明によれば、通行路等に設置されたカメラで撮像された車両又は人物等の対象物の複数の画像から、特定の対象物の画像を検索し易くでき、かつ検索精度を向上させることができる。
【発明を実施するための最良の形態】
【0021】
以下、本発明の画像検索方法を適用した画像検索システムを、通行路等に設置されたカメラで撮像された車両の複数の画像から特定の車両の画像を検索する車両検索システムの実施形態について、図面を参照しながら説明する。なお、本実施形態では、車両の一例として自動車を挙げて説明を行うが、自動車に限定されず、左右対称なあらゆる種類の車両を対象とすることができる。また、車両に限定されず、通行する人物を撮影した複数の画像から特定の人物の画像を検索する画像検索システムにも適用できる。つまり、本発明は、左右が対称な対象を撮影した複数の画像から特定の対象の画像を検索するのに好適である。
【0022】
<実施形態1>
図1は、本発明の一実施形態の車両検索システムの概略を示す構成図である。図示のように、複数のカメラ1とサーバ計算機2と複数のクライアント計算機3が、通信ネットワークを介して互いに接続されている。
【0023】
カメラ1は、撮像装置と、画像処理装置と、通信装置を有して構成され、例えば路上に設置されている。カメラ1は、画像処理装置において撮像された画像のフレーム間の差分処理によって通行する車両を検出し、検出した車両を自動的に撮影してサーバ計算機2に送信するようになっている。複数のカメラ1の設置場所は任意に設定できるが、一般に、通過する車両を正面方向以外の角度で撮影するように設置されている。 サーバ計算機2は、演算装置と、主記憶装置と、記憶装置と、通信装置を備えた汎用計算機を用いて構成されている。クライアント計算機3は、演算装置と、操作者に情報を表示するディスプレイのような表示装置と、キーボードやマウスなどの操作員からの入力を受け取る入力装置と、通信装置を備えて構成されている。クライアント計算機3は、例えば汎用的なWindows(登録商標)OSを搭載したパーソナルコンピュータで実現できる。また、クライアント計算機3の台数は、車両検索システムの規模に応じて設けられ、1台でも複数台でもよい。
【0024】
図2に、サーバ計算機2とクライアント計算機3の機能構成をブロック図で示す。図2に示すように、サーバ計算機2は、管理データベース(DB)103と、形状モデル選択部104と、視点変換画像合成部105と、特徴抽出部106と、検索データベース(DB)107と、検索部108を備えて構成されている。また、クライアント計算機3は、検索条件指定部109と検索結果表示部110を備えて構成されている。なお、図示していないが、管理データベース103は、形状モデル選択部104と、視点変換画像合成部105と、特徴抽出部106と、検索データベース107と、検索部108に接続され、各機能の信号処理に必要なパラメータを蓄積している。
【0025】
以下、本実施形態の車両検索システムの詳細構成について、動作とともに説明する。管理データベース103には、検索対象に係る車両の種類等に応じて車両の形状モデルが複数登録されている。例えば、形状モデルは、全てポリゴンの3次元のメッシュモデルのデータ形式で蓄積される。図5に形状モデル30の例を示す。図5(a)は流線的なスポーツカーの形状モデル30の一例であり、図5(b)は角張ったセダンの形状モデル30の一例であり、図5(c)はワンボックス車の形状モデル30の一例である。
【0026】
図5(a)、(b)、(c)の各形状モデル30は、車両のCAD設計図のポリゴンのメッシュを再分割曲面により近似することで取得することができる。形状モデルの近似程度は、図5ほど単純化せず、車両のCAD設計図に近いレベルで保持してもよい。車両のCAD設計図は、厳密な車両の型式1つ1つで異なるので、道路を走行する車両の形状モデル30を網羅するにはかなりの数となる。しかし、同じメーカであればパーツの共通化により形状のデザインに共通性があること、異なるメーカの車両の間でも大人数の家族向けや、2人乗りといった乗員の想定数や、荷物の積載量といった想定用途により設計が類似する。したがって、形状モデル30の数は車両の型式の数よりも少ない数に集約することができる。
形状モデル選択部104は、カメラ1から受け取った車両の画像に対して、管理データベース103に蓄積されている形状モデルの中で、最も適切な形状モデルを選択する。また、形状モデル選択部104は、カメラ1から受け取った車両の画像を形状モデルに投影マップするのに最適な撮影パラメータを選択する。
【0027】
[形状モデル選択部104]
図3、図4のフローを用いて、形状モデル選択部104の具体的な処理を説明する。
【0028】
(ステップS1)
まず、車両の形状モデルのデータを管理データベース103からサーバ計算機2の主記憶に読み込むとともに、形状モデルのデータのほか、形状モデル選択部104の処理に必要なデータを主記憶に読み込む。
【0029】
(ステップS2)
次いで、カメラ1から送信される車両の画像を主記憶に読み込む。カメラ1が撮影した車両の画像の例を図6に示す。図6に示すカメラ1が撮影した車両の画像40は、いずれも車両の前面部を中心として車両を大きく捉えた画像となっている。画像40を撮影したカメラ1の撮影方向の水平角度(車両正面に対する水平方向の視点角度)は、大きい順に並べると図6(a)、図6(b)、図6(c)である。また、画像40の幾何歪みを大きい順に並べると図6(a)、図6(b)、図6(c)であり、水平角度の大きさの順番と等しい。なお、画像40の中には、車両のほかに路面などの背景も映りこんでいる。
【0030】
(ステップS3〜S7) 次に、複数の形状モデルを切り替えながら、画像40の撮影パラメータを変化させて、正面画像の合成と左右対称度の計算の処理(S5)を繰り返す。つまり、 ステップS3〜S7のループは、管理データベース103が蓄積する形状モデルの全ての種別で繰り返す。また、ステップS4〜S6のループは、カメラ1の撮像系を射影変換で近似したときの視点である撮影パラメータの要素(撮影位置、撮影方向、焦点距離)を、それぞれ設定刻み及び設定範囲内で、変更しながら繰り返す。
【0031】
ここで、撮影パラメータの範囲は、管理データベース103が蓄積するカメラ1の撮影パラメータの設計値の範囲から定める。例えば、カメラ1の水平方向の角度の設計値が10°〜40°であれば、撮影パラメータの範囲のうち水平方向の角度の範囲を10°〜40°とする。また、カメラ1から形状モデル選択部104に撮影パラメータを画像に対応付けて送信するようにした場合は、撮影パラメータの変更範囲を絞り込むことができる。また、管理データベース103にカメラ1の設置点情報と撮影パラメータを蓄積しておき、カメラ1から形状モデル選択部104にカメラの設置点情報を送信するようにすると、形状モデル選択部104はカメラ1の設置点情報を検索キーとして管理データベース103から撮影パラメータを抽出して取得することができる。
【0032】
ステップS5では、図4のステップS9〜S11に示す手順により、正面画像を合成して、その正面画像の左右対称度を求める。
【0033】
(ステップS9)
ステップS2で読み込んだ画像40と、ステップS4〜S6のループで選択している複数の撮影パラメータと、ステップS3〜S7のループで選択している複数の形状モデルから、図7に示すように、それぞれ投影マップを求める。
【0034】
すなわち、図7において、形状モデル130は、ステップS3〜S7のループで選択している形状モデル30の例である。正面部分131は、形状モデル130の正面部分である。撮影パラメータ55は、ステップS4〜S6のループで選択している撮影パラメータである。仮想カメラ56は、撮影パラメータ55で射影変換する仮想的なカメラである。
【0035】
撮影パラメータ55は、空間中における、水平方向の角度P、垂直方向の角度T、光軸周りの角度R、形状モデル130の横方向の座標X、形状モデル130の奥行き方向の座標Y、形状モデル130の高さ方向の座標Z、焦点距離Fの要素からなる。座標Xの原点は形状モデル130の左右中心、座標Yの原点は形状モデル130の前端、座標Zの原点は形状モデル130の下端である。
【0036】
このようにして、ステップS9では、仮想カメラ56から画像40を形状モデル130の正面部分131に投影マップする処理を、撮影パラメータ55を変更しながら繰返し、さらに、形状モデル130を変更しながら繰り返して、複数の投影マップを生成する。
【0037】
(ステップS10)
ステップS9で求めた複数の投影マップから、視点を形状モデル正面に移動したときの正面画像をそれぞれ合成する。
【0038】
図7において、撮影パラメータ57は、仮想カメラ56を形状モデル130の正面方向に視点変換させる正面画像の撮影パラメータである。仮想カメラ58は、正面画像の撮影パラメータ57に対応した仮想的なカメラである。仮想撮像面59は、仮想カメラ58の仮想撮像面である。正面画像60は、ステップS9で計算した仮想カメラ56から画像40を形状モデル130へ投影した投影マップを、仮想カメラ58で仮想撮像面59上に射影変換した画像である。
【0039】
正面画像の撮影パラメータ57のうち、水平方向の角度P’は0、光軸方向の角度R’は0、形状モデルの横方向の座標X’は0である。残りの垂直方向の角度T’、形状モデル130の奥行き方向の座標Y’、形状モデル130の高さ方向の座標Z’、焦点距離F’は、撮影パラメータ55の各要素をステップS4〜S6のループで変化させる範囲の中央値である。
このようにして、ステップS10では、ステップS9の処理で仮想カメラ56から画像40を形状モデル130の正面部分131へ投影マップしたものを、仮想カメラ58から仮想撮像面59上へ射影変換することにより正面画像60を合成する。
【0040】
なお、ステップS9の投影マップにおいて、形状モデル130の前面部分131の全領域に投影マップされない場合、ステップS10ではステップS9の投影マップの範囲から外れた形状モデル130の前面部分131の領域を、ブランクにして正面画像60に射影変換する。
【0041】
(ステップS11)
ステップS11では、ステップS10で合成した正面画像60の左右の対称度を計算する。
【0042】
すなわち、図8に示すように、正面画像60の左右の中心線61よりも左側の画像62と、中心線61よりも右側の画像を左右反転した画像63を求める。そして、画像62と画像63の正規化相関によって求めた相関値を、左右の対称度とする。この相関値の計算は、正規化相関以外にも、2乗誤差の逆数のような他の相関値の計算アルゴリズムを用いてもよい。正面画像60が左右対称に近づくほど、画像62と画像63は相似に近づいて相関値が高くなり、左右対称度も高くなる。
【0043】
ところで、ステップS4〜S6で選択している撮影パラメータ55が、実際のカメラ1の撮影パラメータから離れている場合は、ステップS9では画像40中の背景部分が形状モデル130の正面部分131に投影マップされるから、ステップS10では正面画像60中に画像40中の背景部分が混入する。あるいは、ステップS4〜S6で選択している撮影パラメータ55が、実際のカメラ1の撮影パラメータから離れている場合は、形状モデル130の正面部分131の中でステップS9における投影マップの範囲から外れる領域が多くなるから、ステップS10では正面画像60にブランクな領域が多くなる。
【0044】
一方、ステップS4〜S6で選択している撮影パラメータ55が、実際のカメラ1の撮影パラメータに近づくにつれて、ステップS9では形状モデル130の正面部分131のうち、画像40中の背景部分が投影マップされる領域、あるいは形状モデル130の正面部分131のうち投影マップの範囲から外れる領域が縮小して、ステップS10の正面画像60は画像40中の車両の実際の正面画像に近づく。
【0045】
また、形状モデル130の種別が実空間の車両に近くなるほど、ステップS9における投影マップが実空間の車両に近くなり、ステップS10の正面画像60は画像40中の車両の実際の正面画像に近づく。
【0046】
しかし、画像40中の車両の種別を問わず、実際の車両の正面部分はほぼ左右対称なので、ステップS11で計算する正面画像60の左右の対称度は、正面画像60が画像40中の実際の正面画像に近いほど高くなる。
【0047】
(ステップS8)
このようにして正面画像60の左右対称度を求めた後、図3のステップS8に戻り、正面画像60の左右対称度が最も高くなる正面画像に対応する形状モデル130と撮影パラメータ55を、最適な形状モデルと最適な撮影パラメータとして選択する。
【0048】
このようにして、形状モデル選択部104は、ステップS8で選択した最適な形状モデルと最適な撮影パラメータ、並びにステップS2で読み込んだ画像40を視点変換画像合成部105に送信する。
【0049】
[視点変換画像合成部105]
視点変換画像合成部105は、形状モデル選択部104から受信した最適な形状モデルと最適な撮影パラメータと画像40に基づいて、撮影パラメータを基準撮影パラメータ変えて視点を変換した検索用画像を合成する。 図9を用いて、視点変換画像合成部105の処理を説明する。図9において、最適形状モデル230は形状モデル選択部104が選択した最適な形状モデルである。また、最適撮影パラメータ255は、形状モデル選択部104が選択した最適な撮影パラメータである。仮想カメラ256は最適撮影パラメータ255に対応した仮想カメラである。基準撮影パラメータ257は、基準の撮影パラメータである。仮想カメラ258は、基準撮影パラメータ257に対応した仮想カメラである。撮像面259は仮想カメラ258の撮像面である。
【0050】
視点変換画像合成部105は、仮想カメラ256から画像40を最適形状モデル230に投影マップしたものを、仮想カメラ258から射影変換することで撮像面259上に検索用画像260を合成する。なお、撮像面259の検索用画像260以外のブランクな部分は白などの所定の色で塗りつぶす、あるいは基準背景359のような背景画像と合成する。ここで、基準背景359の画像は任意であるが、カメラ1で撮影する地点の代表的な背景画像と合成すれば、撮像面259上の画像が実際にカメラ1で撮影された画像に近づき、操作者からみて自然な画像にすることができる。
【0051】
また、基準撮影パラメータ257は、例えば、各設置点におけるカメラ1の撮影パラメータの平均値に基づいて定めることができ、管理データベース103に蓄積されている。
【0052】
なお、検索用画像260に射影変換される形状モデル230のポリゴンの一部が、投影マップの範囲から外れた場合、視点変換画像合成部105は検索用画像260の中で投影マップの範囲から外れたポリゴン部分をブランクにして射影変換する。ただし、画像40中の車両も形状モデル230も正面部分がほぼ左右対称なので、視点変換画像合成部105は投影マップの範囲から外れたポリゴンと形状モデル230において左右対称な部分が、ステップS9の投影マップの範囲内ならば、ステップS9の投影マップの範囲から形状モデル230の部分の代わりに射影変換して検索用画像260のブランクを埋めてもよい。
【0053】
視点変換画像合成部105は、合成した撮像面259上の画像を検索用画像として特徴抽出部106に送信する。
【0054】
[特徴抽出部106]
特徴抽出部106は、視点変換画像合成部105が合成した画像から特微量を抽出する。特徴抽出部106は、特微量の要素に、高次局所自己相関によるテクスチャ(模様)の特微量や、HSIのヒストグラムによる色の特微量を抽出するようになっている。テクスチャの特徴量、並びに色の特微量は1次元以上のベクトル量である。なお、テクスチャの特微量は、フーリエ変換のスペクトルや画像中の画素の分散値等の他の手法を使っても計算できる。また、色の特微量には、画像中の画素の赤成分、青成分、緑成分の平均値など他の手法を使っても計算できる。
【0055】
このようにして特徴抽出部106によって抽出された検索用画像の特徴量は、視点変換画像合成部105が合成した検索用画像に対応付けて検索データベース107に蓄積される。
【0056】
[検索条件指定部109]
検索条件指定部109は、操作者に向けてクライアント計算機3の表示装置上に検索のメニュー画面を表示し、クライアント計算機3の入力装置を通じて操作者から入力される検索条件を受け取るようになっている。
【0057】
図10に、検索条件指定部109の類似画像検索方式のメニュー画面の一例を示す。図10の画像一覧20は、検索データベース107が蓄積する検索用画像の中からランダムに抽出した画像の一覧である。画像一覧20中の各検索用画像は、カメラ1の撮影方向が異なっていても、擬似的に撮影方向が基準視点に統一されている。
【0058】
操作者が画像一覧20の中から検索したい車両に類似した検索用画像を1つ選択する。操作者は、検索したい車両に類似した画像が画像一覧20に含まれない場合には、検索したい車両に類似した画像が表示されるまで、クライアント計算機3の入力装置を所定の手順で操作することにより、他の画像一覧20を繰り返して表示させることができる。
【0059】
操作者が、画像一覧20の中から特定の検索用画像21を選択すると、検索条件指定部109は検索データベース107から抽出した検索用画像21の特微量を検索部108に送信する。
【0060】
なお、検索条件指定部109は、図10の類似画像検索方式のほか、特微量をテキストボックスやスライドバーのようなユーザインタフェースにより指定する方式により、類似画像検索方式と同様に特微量を検索部108に送信することができる。
【0061】
[検索部108]
検索部108は検索条件指定部109から受信した特微量と、検索部108中の画像の特微量の類似度を下記の式(1)によって計算する。
【0062】
S=(Σi=1,N αi dist (yi,xi))−1 (1)
式(1)において、Σi=1,N は添え字iについて1からNで和をとることを意味し、αiは特微量のi番目の要素の荷重係数、yiは検索条件指定部109から受信した特微量のi番目の要素、xiは検索データベース中の1枚の画像の特微量のi番目の要素、dist(yi,xi)はxiとyiのユークリッド距離を計算する関数、Sは類似度である。
【0063】
式(1)において、例えば、特微量の数Nは2であり、特微量の1番目の要素はテクスチャ、2番目の要素は色を示す。なお、荷重係数αiには、管理データベース103が蓄積するデータを用いる。検索データベース107の画像の中で式(1)の類似度Sが高い画像は、操作者が選択した検索用画像21と色やテクスチャが近い傾向をことになる。検索部108は、全ての画像から式(1)による類似度を計算した後、類似度を高い順に並べ直して、予め管理データベース103に設定されている所定数の上位の類似度を有する検索用画像21を検索結果表示部110に送信する。
【0064】
検索結果表示部110は検索部108から受信した画像の一覧をクライアント計算機3の表示装置に表示する。図11に、検索結果表示部110の表示画面の一例を示す。検索結果22には、検索条件指定部109で選択された検索用画像21に色あるいはテクスチャが類似した検索用画像21が一覧表示されている。
【0065】
以上述べたように、本実施形態によれば、複数の設置点の撮影パラメータが違うカメラの画像でも、撮影パラメータを擬似的にそろえた画像検索システムを実現することができる。
【0066】
また、本実施形態において、特徴抽出部106、検索部108、検索条件指定部109などを省略して、検索データベース107に格納された検索用画像を一覧にして表示画面に表示して、対象物の画像を検索するようにすることができる。
【0067】
<実施形態2>
ここで、本発明の車両検索システムの実施形態2について説明する。本実施形態が実施形態1と異なる点は、特徴抽出部106の機能に、形状モデルの特微量を抽出する機能を持たせたことにある。形状モデルの特微量を抽出することは、公知文献“不変特微量を用いた3次元物体の形状類似検索 PRMIJ Vol.103 N0.296 pp.85-90”に紹介されている。つまり、形状モデルを構成するポリゴンのすべての2組について計算した面積和、相対距離、法線間の角度のヒストグラムを計算して、形状モデルの特微量を抽出することができる。
【0068】
そして、特徴抽出部106は、抽出した形状モデルの特徴量を、検索用画像21に対応付けて検索データベース107に格納する。
【0069】
一方、本実施形態の検索部108は、検索用画像の特徴量と形状モデルの特徴量の2つの特微量の類似度の計算を式(2)により計算する。
【0070】
S=(Σi=1,N+1 αi dist (yi,xi))−1 (2)
式(2)において、Σi=1,N+1 は添え字iについて1からN+1で和をとることを意味する。式(2)において、S、N、αi、dist(yi,xi)、yi、xiは数(1)と共通である。
【0071】
式(2)においてiが3になるときのα3、x3、y3は,それぞれ形状モデルの荷重係数、検索データベース107中の1枚の画像の形状モデルの特徴量、検索条件指定部109から受信した特微量である。
【0072】
本実施形態の検索条件指定部109は、検索部108の類似度の計算における式(1)の荷重係数αiを調整する機能を持つ。図12に、本実施形態の検索条件指定部109が荷重係数αiを調整するユーザインタフェースの例を示す。同図において、チェックボックス23がONであれば、荷重係数αiを管理データベース103が蓄積する値に設定する。一方、チェックボックス23がOFFであれば荷重係数αiを0とする。図12のチェックボックス23の設定例では、テクスチャのチェックボックスの状態がOFFなので、テクスチャの荷重係数α1を0とする。また、色と形状モデルのチェックボックス23はONなので、色の荷重係数α2と形状モデルの荷重係数α3は、それぞれ管理データベース103に蓄積された設定値とする。
【0073】
図12に示したスライダック24は、式(1)の荷重係数αiを調整するユーザインタフェースの他の例である。スライダック24を小に近づけるほど、荷重係数αiを管理データベース103に蓄積された設定値より所定の比率で小さくし、スライダック24を大に近づけるほど、荷重係数αiを管理データベース103に蓄積された設定値より所定の比率で大きくする。図12のスライダック24の設定例では、テクスチャの荷重係数α1は管理データベース103に蓄積された設定値、色の荷重係数α2は管理データベース103に蓄積された設定値よりも小さな値、形状モデルの荷重係数α3は管理データベース103に蓄積された設定値より大きな値となる。
【0074】
本実施形態によれば、実施形態1に比べて、検索用画像の特微量に加えて、形状モデルの特微量を考慮していることから、検索条件指定部109において選択された検索用画像21と色やテクスチャが似通っていても、形状モデルが異なる車両が検索結果22に含まれることが防止されるから、画像検索の精度が向上する。
【0075】
<実施形態3>
ここで、本発明の車両検索システムの実施形態2について説明する。本実施形態が実施形態1と異なる点は、形状モデル選択部104は、選択した最適形状モデル230の種別をサーバ計算機2の主記憶装置上の所定位置に記憶し、検索データベース107は、形状モデル選択部104が選択した最適形状モデル230の種別をサーバ計算機2の主記憶装置上の所定位置から読み取り、検索用画像21と組にして蓄積するようにしたことにある。さらに、本実施形態の検索部108は、検索条件指定部109から形状モデルの種別による検索範囲の絞り込みの指示を受けた場合、検索データベース107の中で形状モデルの種別が検索範囲の絞り込み外の検索用画像21については、類似度を検索しないようになっている。
【0076】
図13に、形状モデルの種別による検索範囲の絞込みの指定を操作者から受け取るユーザインタフェースの一例を示す。この検索条件入力画面は、検索条件指定部109がクライアント計算機3の表示装置上に表示するようになっている。
【0077】
検索条件入力画面のテキストボックス25は、形状モデルの種別をキーワードの形式で受け取るようになっている。テキストボックス25に形状モデルの種別を示すキーワードが入力されると、検索条件指定部109は検索部108に向けて形状モデルの種別をテキストボックス25の指定に一致するものに絞り込む指示を送信する。形状モデルの種別を示すキーワードは、予め形状モデルごとに与えておき、管理データベース103に設定しておく。形状モデルの種別のキーワードとしては、例えば、図5(a)の車両には流線型、同図(b)の車両には角張ったセダン、同図(c)の車両にはワンボックス(1BOX)のように設定することができる。しかし、キーワードのつけ方は任意である。
【0078】
図13の例では、テキストボックス25に流線型と角張りセダンが指定されているので、検索条件指定部109は形状モデルの種別を流線型あるいは角張りセダンに限定した検索範囲の絞込りみを検索部108に送信する。
【0079】
なお、図13において、プルダウンメニュー26は、形状モデルのキーワードの一覧を示しており、プルダウンメニュー26のキーワードを指定すると、テキストボックス25と同様に形状モデルのキーワードの指定を入力できるようになっている。また、図13において、プルダウンメニュー27は、形状モデルの概略図を示し、テキストボックス26と同様に形状モデルのキーワードの指定を入力できるようになっている。
【0080】
本実施形態によれば、実施形態1と比べて、形状モデルの種別により検索データベース107中の検索範囲を絞り込むことができるから、検索条件指定部109において選択された検索用画像21の車両と、色やテクスチャが似通っていても形状モデルが異なる車両が検索結果22に含まれることを防止でき、画像検索の精度が向上する。
【0081】
以上説明した実施形態1〜3において、計算負荷の分散の観点から、形状モデル選択部104や視点変換画像合成部105や特徴抽出部106の信号処理の一部以上をカメラ1の画像処理装置に分担させてもよい。同様に、計算負荷の分散の観点から、検索部108の信号処理の一部以上をクライアント計算機3に分担させてもよい。これらの場合は、カメラ1の画像処理装置あるいはクライアント計算機3に、管理データベース103にアクセスする機能、あるいは管理データベース103中のデータのうち分担する信号処理に必要なデータのコピーを蓄積する機能を追加する。
【0082】
以上、本発明を車両検索システムに適用した実施形態を説明したが、本発明の画像検索システムは、上記実施形態に限られるものではなく、左右対称で3次元形状を有限個の形状モデルで近似可能な物体であれば物体の種類を問わず、本発明を適用できる。特に、撮影方向が異なる複数のカメラで撮影した画像の撮影方向を均一にして、画像検索の精度を向上させることができる。例えば、監視用途における顔画面の画像検索において、多数人物の顔面のレーザスキャナによる計測データを複数の形状モデルに分類しておき、複数の方向から撮影された撮影された顔面の画像を正面方向に視点変換して検索の精度向上することに応用できる。
【図面の簡単な説明】
【0083】
【図1】本発明の実施形態1の車両検査システムのブロック図である。
【図2】実施形態1の主要部の機能構成を示すブロック図である。
【図3】実施形態1の形状モデル選択部の処理のフロー図である。
【図4】図3のステップS5の処理のフロー図である。
【図5】車両の形状モデルの一例を示す図である。
【図6】カメラで撮影した車両の画像の一例を示す図である。
【図7】図3のステップS9、S10の処理を説明する図である。
【図8】図4のステップS11の処理を説明する図である。
【図9】実施形態1の視点変換画像合成部の処理を説明する図である。
【図10】実施形態1の検索条件指定に係る検索用画像の表示例を示す図である。
【図11】実施形態1の検索結果の表示画面の一例を示す図である。
【図12】本発明の実施形態2における形状モデルの特微量の荷重係数を調整するインタフェース画面の一例を示す図である。
【図13】本発明の実施形態3における形状モデルの種別により検索範囲を絞り込むインタフェース画面の一例を示す図である。
【符号の説明】
【0084】
1 カメラ
2 サーバ計算機
3 クライアント計算機
103 管理データベース
104 形状モデル選択部
105 視点変換画像合成部
106 特徴抽出部
107 検索データベース
108 検索部
109 検索条件指定部
110 検索結果表示部
【特許請求の範囲】
【請求項1】
通行路等に設置されたカメラで撮像された車両又は人物等の対象物の画像を取り込み、該対象物の画像を予め用意された複数の形状モデルにカメラ視点を変えて投影して複数の投影マップを生成し、該各投影マップに基づいて前記形状モデルの正面にカメラ視点を変えて射影した正面画像を生成し、該正面画像の左右対称度が最も高い正面画像に対応する前記形状モデルを最適形状モデルとし、かつ対応するカメラ視点を最適カメラ視点として選択し、前記対象物の画像を前記最適形状モデルに前記最適カメラ視点から投影した投影マップを予め設定された基準カメラ視点から射影して視点を変換した検索用画像を生成し、該検索用画像を検索データベースに登録して前記対象物の検索に供する画像検索方法。
【請求項2】
請求項1に記載の画像検索方法において、
前記カメラ視点は、前記カメラの少なくとも撮影方向を含む撮影パラメータであることを特徴とする画像検索方法。
【請求項3】
請求項1に記載の画像検索方法において、
前記検索データベースに登録された前記検索用画像の一部又は全部を表示画面に一覧表示することを特徴とする画像検索方法。
【請求項4】
請求項3に記載の画像検索方法において、
前記検索用画像の特徴量を求めて前記検索用画像に対応付けて前記検索データベースに登録し、
前記一覧表示された前記検索用画像の一つが指定されたとき、該指定された前記検索用画像の特徴量を検索特徴量として、該検索特徴量に一致又は類似する特徴量を有する一又は複数の前記検索用画像を前記表示画面に表示することを特徴とする画像検索方法。
【請求項5】
請求項1に記載の画像検索方法において、
前記検索用画像の特徴量を求めて前記検索用画像に対応付けて前記検索データベースに登録し、
入力手段を介して入力される検索特徴量に一致又は類似する特徴量を有する一又は複数の前記検索用画像を前記データベースから検索して抽出し、抽出された前記検索用画像を前記表示画面に表示することを特徴とする画像検索方法。
【請求項6】
請求項4又は5に記載の画像検索方法において、
前記検索特徴量に一致又は類似する特徴量を有する一又は複数の前記検索用画像を前記データベースから検索するとき、前記検索特徴量と前記検索用画像の特徴量の類似度を求め、該求めた類似度が高い順に並べて前記検索用画像を一覧表示することを特徴とする画像検索方法。
【請求項7】
請求項4又は5に記載の画像検索方法において、
前記検索用画像の特徴量は、前記対象物の識別に関係する特徴量と、前記最適形状モデルのモデル特徴量と、前記最適形状モデルの種別の少なくとも一つを含むことを特徴とする画像検索方法。
【請求項8】
車両又は人の通行路等に設置されたカメラと、該カメラにより撮影される車両又は人物の対象物の種類等に対応させて予め生成された複数の形状モデルが格納された管理データベースと、前記カメラで撮影された前記対象物の画像をカメラ視点を設定範囲内で変更して前記複数の形状モデルに投影して複数の投影マップを生成する手段と、該生成された各投影マップに基づいて前記形状モデルの正面にカメラ視点を変換した正面画像を生成する手段と、該生成された正面画像の左右対称度を算出して該左右対称度が最も高い前記正面画像に対応する形状モデルを最適形状モデルとし、かつ対応するカメラ視点を最適カメラ視点として選択する手段と、前記対象物の画像を前記最適形状モデルに前記最適カメラ視点から投影した投影マップを、予め設定された基準カメラ視点で射影して視点を変換した検索用画像を生成する手段と、該検索用画像が登録された検索データベースと、前記対象物の検索条件を入力する入力手段と、該入力手段から入力される前記検索条件に対応する前記対象物が写っている検索用画像を前記検索データベースから抽出して表示画面に表示する検索手段と有してなる画像検索システム。
【請求項9】
請求項8に記載の画像検索システムにおいて、
前記カメラ視点は、前記カメラの少なくとも撮影方向を含む撮影パラメータであることを特徴とする画像検索システム。
【請求項10】
請求項8に記載の画像検索システムにおいて、
さらに、前記検索用画像の特徴量を求めて前記検索用画像に対応付けて前記検索データベースに登録する手段を備え、
前記検索手段は、前記検索データベースに登録された前記検索用画像の一部又は全部を表示画面に一覧表示し、該一覧表示された前記検索用画像の一つが前記入力手段により指定されたとき、該指定された前記検索用画像の特徴量に一致又は類似する特徴量を有する一又は複数の前記検索用画像を前記検索データベースから抽出して前記表示画面に表示することを特徴とする画像検索システム。
【請求項11】
請求項8に記載の画像検索システムにおいて、
さらに、前記検索用画像の特徴量を求めて前記検索用画像に対応付けて前記検索データベースに登録する手段を備え、
前記検索手段は、入力手段を介して入力される検索特徴量に一致又は類似する特徴量を有する一又は複数の前記検索用画像前記データベースから検索して抽出し、抽出された前記検索用画像を前記表示画面に表示することを特徴とする画像検索システム。
【請求項12】
請求項10又は11に記載の画像検索システムにおいて、
前記検索用画像の特徴量は、前記対象物の識別に関係する特徴量と、前記最適形状モデルのモデル特徴量と、前記最適形状モデルの種別の少なくとも一つを含むことを特徴とする画像検索システム。
【請求項13】
請求項12に記載の画像検索システムにおいて、
前記対象物の識別に関係する特徴量は、模様、色であることを特徴とする画像検索システム。
【請求項14】
請求項10又は11に記載の画像検索システムにおいて、
前記検索手段は、前記検索特徴量に一致又は類似する特徴量を有する一又は複数の前記検索用画像前記データベースから検索するとき、前記検索特徴量と前記検索用画像の特徴量の類似度を求め、該求めた類似度が高い順に並べて前記検索用画像を一覧表示することを特徴とする画像検索システム。
【請求項1】
通行路等に設置されたカメラで撮像された車両又は人物等の対象物の画像を取り込み、該対象物の画像を予め用意された複数の形状モデルにカメラ視点を変えて投影して複数の投影マップを生成し、該各投影マップに基づいて前記形状モデルの正面にカメラ視点を変えて射影した正面画像を生成し、該正面画像の左右対称度が最も高い正面画像に対応する前記形状モデルを最適形状モデルとし、かつ対応するカメラ視点を最適カメラ視点として選択し、前記対象物の画像を前記最適形状モデルに前記最適カメラ視点から投影した投影マップを予め設定された基準カメラ視点から射影して視点を変換した検索用画像を生成し、該検索用画像を検索データベースに登録して前記対象物の検索に供する画像検索方法。
【請求項2】
請求項1に記載の画像検索方法において、
前記カメラ視点は、前記カメラの少なくとも撮影方向を含む撮影パラメータであることを特徴とする画像検索方法。
【請求項3】
請求項1に記載の画像検索方法において、
前記検索データベースに登録された前記検索用画像の一部又は全部を表示画面に一覧表示することを特徴とする画像検索方法。
【請求項4】
請求項3に記載の画像検索方法において、
前記検索用画像の特徴量を求めて前記検索用画像に対応付けて前記検索データベースに登録し、
前記一覧表示された前記検索用画像の一つが指定されたとき、該指定された前記検索用画像の特徴量を検索特徴量として、該検索特徴量に一致又は類似する特徴量を有する一又は複数の前記検索用画像を前記表示画面に表示することを特徴とする画像検索方法。
【請求項5】
請求項1に記載の画像検索方法において、
前記検索用画像の特徴量を求めて前記検索用画像に対応付けて前記検索データベースに登録し、
入力手段を介して入力される検索特徴量に一致又は類似する特徴量を有する一又は複数の前記検索用画像を前記データベースから検索して抽出し、抽出された前記検索用画像を前記表示画面に表示することを特徴とする画像検索方法。
【請求項6】
請求項4又は5に記載の画像検索方法において、
前記検索特徴量に一致又は類似する特徴量を有する一又は複数の前記検索用画像を前記データベースから検索するとき、前記検索特徴量と前記検索用画像の特徴量の類似度を求め、該求めた類似度が高い順に並べて前記検索用画像を一覧表示することを特徴とする画像検索方法。
【請求項7】
請求項4又は5に記載の画像検索方法において、
前記検索用画像の特徴量は、前記対象物の識別に関係する特徴量と、前記最適形状モデルのモデル特徴量と、前記最適形状モデルの種別の少なくとも一つを含むことを特徴とする画像検索方法。
【請求項8】
車両又は人の通行路等に設置されたカメラと、該カメラにより撮影される車両又は人物の対象物の種類等に対応させて予め生成された複数の形状モデルが格納された管理データベースと、前記カメラで撮影された前記対象物の画像をカメラ視点を設定範囲内で変更して前記複数の形状モデルに投影して複数の投影マップを生成する手段と、該生成された各投影マップに基づいて前記形状モデルの正面にカメラ視点を変換した正面画像を生成する手段と、該生成された正面画像の左右対称度を算出して該左右対称度が最も高い前記正面画像に対応する形状モデルを最適形状モデルとし、かつ対応するカメラ視点を最適カメラ視点として選択する手段と、前記対象物の画像を前記最適形状モデルに前記最適カメラ視点から投影した投影マップを、予め設定された基準カメラ視点で射影して視点を変換した検索用画像を生成する手段と、該検索用画像が登録された検索データベースと、前記対象物の検索条件を入力する入力手段と、該入力手段から入力される前記検索条件に対応する前記対象物が写っている検索用画像を前記検索データベースから抽出して表示画面に表示する検索手段と有してなる画像検索システム。
【請求項9】
請求項8に記載の画像検索システムにおいて、
前記カメラ視点は、前記カメラの少なくとも撮影方向を含む撮影パラメータであることを特徴とする画像検索システム。
【請求項10】
請求項8に記載の画像検索システムにおいて、
さらに、前記検索用画像の特徴量を求めて前記検索用画像に対応付けて前記検索データベースに登録する手段を備え、
前記検索手段は、前記検索データベースに登録された前記検索用画像の一部又は全部を表示画面に一覧表示し、該一覧表示された前記検索用画像の一つが前記入力手段により指定されたとき、該指定された前記検索用画像の特徴量に一致又は類似する特徴量を有する一又は複数の前記検索用画像を前記検索データベースから抽出して前記表示画面に表示することを特徴とする画像検索システム。
【請求項11】
請求項8に記載の画像検索システムにおいて、
さらに、前記検索用画像の特徴量を求めて前記検索用画像に対応付けて前記検索データベースに登録する手段を備え、
前記検索手段は、入力手段を介して入力される検索特徴量に一致又は類似する特徴量を有する一又は複数の前記検索用画像前記データベースから検索して抽出し、抽出された前記検索用画像を前記表示画面に表示することを特徴とする画像検索システム。
【請求項12】
請求項10又は11に記載の画像検索システムにおいて、
前記検索用画像の特徴量は、前記対象物の識別に関係する特徴量と、前記最適形状モデルのモデル特徴量と、前記最適形状モデルの種別の少なくとも一つを含むことを特徴とする画像検索システム。
【請求項13】
請求項12に記載の画像検索システムにおいて、
前記対象物の識別に関係する特徴量は、模様、色であることを特徴とする画像検索システム。
【請求項14】
請求項10又は11に記載の画像検索システムにおいて、
前記検索手段は、前記検索特徴量に一致又は類似する特徴量を有する一又は複数の前記検索用画像前記データベースから検索するとき、前記検索特徴量と前記検索用画像の特徴量の類似度を求め、該求めた類似度が高い順に並べて前記検索用画像を一覧表示することを特徴とする画像検索システム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2008−217220(P2008−217220A)
【公開日】平成20年9月18日(2008.9.18)
【国際特許分類】
【出願番号】特願2007−51493(P2007−51493)
【出願日】平成19年3月1日(2007.3.1)
【出願人】(000005108)株式会社日立製作所 (27,607)
【Fターム(参考)】
【公開日】平成20年9月18日(2008.9.18)
【国際特許分類】
【出願日】平成19年3月1日(2007.3.1)
【出願人】(000005108)株式会社日立製作所 (27,607)
【Fターム(参考)】
[ Back to top ]