画像照合装置
【課題】変形された２つの画像を照合し、照合結果を出力する画像照合装置を提供すること。
【解決手段】画像照合装置は、第一の画像に含まれる物体形状の特徴点の位置を基準形状の特徴点の位置に合わせることにより前記第一の画像を変形する際に変化した前記第一の画像に含まれる物体形状の特徴点の位置の変化量を格納する変化量データベースと、前記変化量を用いて第二の画像に含まれる物体形状の特徴点の位置を移動することにより前記第二の画像を変形する画像変形部と、前記変形された第一の画像と前記変形された第二の画像を照合し、照合結果を出力する照合部と、を備える。
【解決手段】画像照合装置は、第一の画像に含まれる物体形状の特徴点の位置を基準形状の特徴点の位置に合わせることにより前記第一の画像を変形する際に変化した前記第一の画像に含まれる物体形状の特徴点の位置の変化量を格納する変化量データベースと、前記変化量を用いて第二の画像に含まれる物体形状の特徴点の位置を移動することにより前記第二の画像を変形する画像変形部と、前記変形された第一の画像と前記変形された第二の画像を照合し、照合結果を出力する照合部と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に含まれる物体を照合する画像照合装置に関する。
【背景技術】
【０００２】
従来の画像照合装置としては、顔画像の特徴点が標準的な顔画像の特徴点と一致するように変形された顔画像と、新たに入力された顔画像の特徴点を標準的な顔画像の特徴点と一致するように変形された顔画像との相関値に基づいて個人識別を行うものがあった（例えば、特許文献１参照）。図１１は、特許文献１に記載された従来の画像照合装置を示す。
【０００３】
図１１において、画像入力部１１１１は、識別対象者の顔画像を取り込む。一次顔正規化部１１１２は、識別対象者の顔画像を、眼と口の位置が予め指定した位置にくるように正規化する。特徴点抽出部１１１３は、正規化された顔画像から特徴点の位置情報を抽出する。二次顔正規化部１１１５は、特徴点抽出部１１１３で検出された特徴点が標準顔画像特徴点データベース部１１１４に登録された人間の標準的な顔の特徴点位置にくるように、正規化された顔画像を変形する。画像相関演算部１１１７は、標準的な顔画像の特徴点と一致するように変形された人物毎の基準顔画像（データベース部１１１６）と、二次顔正規化部１１１５で変形された顔画像との相関を求める。また、変位量演算部１１２１は、特徴点抽出部１１１３で抽出された位置情報と標準顔の特徴点座標との変位量を演算する。そして、変位量相関演算部１１２３は、標準顔画像の特徴点に対する人物毎の顔画像の特徴点の変位量と、変位量演算部１１２１で演算された特徴点の変位量との相関を求める。判断部１１１８は、画像相関演算部１１１７と変位量相関演算部１１２３でそれぞれ演算された２つの相関値に基づき、画像入力部１１１１から画像が入力された顔の人物を特定していた。
【特許文献１】特開平１１−１６１７９１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記した従来の画像照合装置においては、画像相関演算部１１１７で演算された顔画像の相関と、変位量相関演算部１１２３で演算された特徴点位置の変位量の相関は、異なる傾向を持つ相関である。ここで、２つの異なる相関を統合しなければならないという課題を有していた。
【０００５】
本発明は、かかる点に鑑みてなされたものであり、変形された２つの画像を照合し、照合結果を出力する画像照合装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像照合装置は、第一の画像に含まれる物体形状の特徴点の位置を基準形状の特徴点の位置に合わせることにより前記第一の画像を変形する際に変化した前記第一の画像に含まれる物体形状の特徴点の位置の変化量を格納する変化量データベースと、前記変化量を用いて第二の画像に含まれる物体形状の特徴点の位置を移動することにより前記第二の画像を変形する画像変形部と、前記変形された第一の画像と前記変形された第二の画像を照合し、照合結果を出力する照合部と、を具備する構成を採る。
【０００７】
本発明の画像照合装置は、登録画像に含まれる物体形状の特徴点の位置を基準形状の特徴点の位置に合わせることにより前記登録画像を変形する際に変化した前記物体形状の特徴点の位置の変化量を格納する変化量データベースと、前記変形された登録画像を変形登録画像として格納する変形登録画像データベースと、画像を照合画像として入力する照合画像入力部と、前記照合画像に含まれる物体形状の特徴点を照合特徴点として検出する照合特徴点検出部と、前記変化量を用いて前記照合特徴点の位置を移動することにより前記照合画像を変形し、変形照合画像を生成する照合画像変形部と、前記変形登録画像と前記変形照合画像を照合し、照合結果を出力する照合部と、を具備する構成を採る。
【０００８】
本発明の画像照合装置は、登録画像と、前記登録画像に含まれる物体形状の特徴点の位置を登録特徴点の位置として格納する登録画像データベースと、画像を照合画像として入力する照合画像入力部と、前記照合画像の特徴点を照合特徴点として検出する照合画像特徴点検出部と、基準形状の特徴点の位置を基準特徴点の位置として格納する基準特徴点データベースと、前記照合特徴点の位置を前記基準特徴点の位置に合わせることにより前記照合画像を変形し、変形照合画像を生成し、前記照合特徴点の位置の変化量と前記変形照合画像を出力する照合画像変形部と、前記出力された変化量を格納する変化量データベースと、前記変化量データベースに格納されている変化量を用いて前記登録特徴点の位置を移動することにより前記登録画像を変形し、変形登録画像を生成する登録画像変形部と、前記変形照合画像と前記変形登録画像とを照合し、照合結果を出力する照合部と、を具備する構成を採る。
【発明の効果】
【０００９】
本発明によれば、変形された２つの画像を照合し、照合結果を出力できる。
【発明を実施するための最良の形態】
【００１０】
以下、本実施の形態について、図面を参照しながら説明する。以下、本実施の形態において、照合対象の物体を人の顔として説明する。しかし、本実施の形態は、動物等の物体または人の全身のみならず、動物等の物体または人の手、動物の顔など物体の一部を照合対象として適用することができる。
【００１１】
（実施の形態１）
図１は、本発明の実施の形態１における画像照合装置の構成を示すブロック図である。
【００１２】
図１において、１００は照合画像入力部である。照合画像入力部１００は、カメラなどを用いて照合用の顔画像（物体形状）を含む画像を照合画像として撮影し、照合画像を出力する。
【００１３】
１０１は、照合画像入力部１００で撮影した画像から顔画像（顔の領域）を検出し、顔画像と照合特徴点を出力する照合画像特徴点検出部である。照合画像特徴点検出部１０１は、顔画像に対して、眉頭・眉尻・目頭・目尻・口の両端・顔の輪郭上の点などの特徴点を照合特徴点として検出し、照合特徴点の位置を推定して、顔画像と照合特徴点を出力する。
【００１４】
１０２は、照合画像特徴点検出部１０１から出力された顔画像と照合特徴点の位置を入力し、各照合特徴点を予め指定された位置に合わせることにより顔画像を変形し、変形後の顔画像を変形照合画像として出力する照合画像変形部である。
【００１５】
１０３は、照合画像変形部１０２が出力する変形照合画像と、変形登録画像データベース１０４に予め登録されている変形登録画像とを照合する照合部である。
【００１６】
１０４は、カメラなどで撮影される画像又は撮影済みの画像である登録画像に含まれる顔画像の特徴点の位置を基準的な顔画像（基準形状）の特徴点の位置に合わせることにより、変形された登録画像を格納する変形登録画像データベースである。
【００１７】
１０５は、登録画像（第一の画像）に含まれる顔画像の特徴点の位置を基準的な顔画像（基準形状）の特徴点の位置に合わせることにより登録画像を変形する際に変化した登録画像に含まれる顔画像の特徴点の位置の変化量（移動量）を格納する変化量データベースである。
【００１８】
かかる構成において、照合画像入力部１００は、顔画像を含む画像を照合画像として撮影する。照合画像特徴点検出部１０１は、照合画像に含まれる顔の領域を検出し、図２に示すような眉頭・眉尻・目頭・目尻・鼻頭・口の左右端・口の上下端・顔の輪郭上の点といった照合特徴点を検出する。
【００１９】
ここで、撮影時において顔の領域の検出を容易にするために、図３に示すように、撮影時に矩形領域を表示し、その矩形領域に顔が納まるようユーザに撮影時の注意を促してもよい。また、テンプレートマッチングやブースティング（boosting）などの手法を用いて、顔の領域を自動的に検出するようにしてもよい。
【００２０】
顔の領域から画像面内の特徴点の座標を検出する際は、テンプレートマッチングやエッジに基づいて眉領域、目領域、口領などを検出してもよいし、Active Shape ModelsやActive Appearance Modelsなど予め顔のモデルを作成し、モデルとのマッチングにより特徴点位置を検出する手法を用いてもよい。
【００２１】
顔の領域から画像面内の特徴点の座標と顔の凹凸を表す奥行き方向の位置を検出する際は、Active Shape ModelsやActive Appearance ModelsやBundle adjustmentといった手法を用いるとよい。
【００２２】
図４は、正面に向いた顔の登録画像を平均顔のような基準的な顔形状に変形させた際の各特徴点の位置の変化量を示す図である。変化量データベース１０５は、登録対象人物毎の変化量を予め格納している。照合画像変形部１０２は、これらの変化量（一組の変化量）を用いて、検出された照合特徴点の位置を移動することにより、入力した照合用の照合画像全体を変形し、変形照合画像を生成する。
【００２３】
図４において、x、y座標は画像面に平行な平面上の座標であり、ｚ座標は画像面に垂直な座標、つまり、顔の奥行き方向の顔の凹凸を表す座標を示す。図４では座標を三次元座標にしているが、x、y座標のみの二次元座標でもよい。二次元座標の場合、照合画像変形部１０２は、画像平面内での照合特徴点の位置を移動して照合画像を変形する。三次元座標の場合、照合画像変形部１０２は、顔の立体形状を考慮した照合特徴点の位置を移動し、照合画像を変形する。二次元座標の場合は、三次元座標に比べて比較的処理量が少なく、且つ、高速な位置合わせが可能となる。三次元座標の場合は、顔の凹凸を考慮した正確な位置合わせが可能となる。
【００２４】
照合画像変形部１０２で行う画像の変形について、更に具体的に説明する。まず、照合画像変形部１０２は、変化量データベース１０５に格納されている各変化量を照合画像特徴点検出部１０１で検出した各照合特徴点の座標に加算し、変形後の特徴点の位置を求め、照合画像全体を変形する。特徴点の座標が三次元座標の場合は、照合画像変形部１０２は、三次元座標を画像面に射影し、画像面内における二次元座標を求める。照合画像変形部１０２は、ここで求めた座標位置に変形前の特徴点の位置の画素値を与える。
【００２５】
＜画像の濃淡パターンの比較＞
次に、変形登録画像の濃淡パターンと変形照合画像の濃淡パターンとを比較することにより、顔画像の照合を行う例について説明する。
【００２６】
顔画像の濃淡パターンは、３つの特徴点で囲まれる領域の画素値を顔領域全体で求めることにより得られる。
【００２７】
例えば、照合画像変形部１０２は、図５に示すように、３つの特徴点を繋ぐ３角形領域ごとに画素値の合計を求める。図５は、照合画像変形部１０２で変形後の顔の形状を示している。具体的に、図５の三角形ａｂｃについて説明する。頂点ａ，ｂ，ｃの座標をそれぞれ（xａ，yａ），（xｂ，yｂ），（xｃ，yｃ）とすると、三角形ａｂｃ内の任意の座標は（x，y）は、（xａ，yａ），（xｂ，yｂ），（xｃ，yｃ）を用いて、次の２式のように表すことができる。
（x，y）＝α（xａ，yａ）＋β（xｂ，yｂ）＋γ（xｃ，yｃ） （式１）
α＋β＋γ＝１ （式２）
変形後の特徴点の座標は、この２式を満たすα、β、γを用いて求められる。
【００２８】
次に、変形前の特徴点の座標をα、β、γを用いて求める。変形前の頂点ａ，ｂ，ｃの座標をそれぞれ（x'ａ，y'ａ），（x'ｂ，y'ｂ），（x'ｃ，y'ｃ）とし、変形前の三角形ａｂｃ内の任意の座標を（x'，y'）とすると、次の式のように表すことができる。
（x'，y'）＝α（x'ａ，y'ａ）＋β（x'ｂ，y'ｂ）＋γ（x'ｃ，y'ｃ） （式３）
α＋β＋γ＝１ （式２）
このとき、変形後の座標（x，y）の画素値を変形前の（x'，y'）の画素値とする。
【００２９】
以上のようにして照合画像変形部１０２で照合用の変形照合画像が生成されると、照合部１０３は、変形登録画像データベース１０４に格納されている変形登録画像と、変形照合画像とを照合する。これにより、照合する物体の幾何学的形状特徴を反映した変形を照合画像に施して、２つの画像を照合することができる。ここで、照合の手法はパターンマッチングにおける任意の手法でよい。例えば、照合部１０３は、２つの画像の濃淡パターンの類似度を照合し、顔画像が同一人物であるか否かを判定する。具体的には、２つの画像間で、同じ画素位置にある濃淡値の類似度を照合する。ここで、類似度の算出方法としては、一つの画像の濃淡値の並びをラスタスキャン順に一列に並べて一つのベクトルを作り、２つの画像間の類似度を、２つのベクトルの相関値で判定する方法などがある。
【００３０】
ここで、変形登録画像は、上述の手法で登録画像を基準的な顔の形状に変形させた画像である。基準的な顔の形状は、任意の顔の形状を用いてよいが、平均的な顔の形状を用いてもよい。以上により、登録画像の顔画像を基準形状に変換するときに求められる変化量（Δ）を照合画像に施すことで、図６に示すように、照合画像が登録画像と同一人物の顔であれば基準形状の顔の形状に類似した変形照合画像となる。また、図６に示すように、照合画像が登録画像と異なる人物（Ａさん）の顔、つまり、照合画像が登録画像（Ｂさんの画像）の顔と異なる形状の顔であれば、変形量Δ２で照合画像を変形すると基準形状とは異なる形状の顔の照合画像となる。これにより、照合部１０３は、変形登録画像と変形照合画像とについて、画像の濃淡パターン特徴の照合と顔の形状特徴の照合とを行う。図６に示す例では、照合部１０３は、照合画像がＡさんであるか又はＢさんであるかを照合する。そして、照合部１０３は、照合画像がＡさんであること示す信号を結果として出力する。
【００３１】
一般的に、笑顔の時は、口元が上がる傾向がある。図６に示す照合画像は、Ａさんの普通の顔の登録画像と比べて、口元の形状に差分（変化）が現れる。また、表情に変化がない時は口に差分はでない。そのため、変形登録画像と変形照合画像を照合する場合は、口元の形状を除いた他の形状を比較し、変形登録画像と変形照合画像を照合することで、照合精度が向上する。
【００３２】
ここで、変形登録画像に含まれる顔の形状と基準形状とは同じ形になるが、本実施の形態では、変形登録画像と変形照合画像の画像間の濃淡パターンの照合を行うため、変形登録画像データベース１０４には、複数の登録対象者用の複数の変形登録画像を格納する必要がある。
【００３３】
そして、照合画像変形部１０２は、各変形登録画像に対応する変化量を用いて１つの照合画像を複数の登録画像について変形する。照合部１０３は、変形登録画像と、この変形登録画像に対応する変化量を用いて変形された１つの変形照合画像とを照合し、顔画像の照合結果を出力する。出力結果をディスプレイに表示したり、出力結果を音声で通知したり、又は出力結果を他の照合処理に利用してもよい。
【００３４】
図７は、照合画像が特定の人であるか否かを照合する例を説明する図である。図７に示す例では、照合画像がＢさんであるか否かを照合する。照合画像変形部１０２は、照合画像をＢさんの変化量Δ２で変形する。照合部１０３は、Ｂさんの変形登録画像と変形照合画像の画像とについて、画像の濃淡パターン特徴の照合および顔の形状特徴の照合を行う。照合部１０３は、照合結果として、Ｂさんでないことを示す信号を出力する。
【００３５】
上述のように、本実施の形態では、照合する２つの物体画像に関する濃淡パターンの相関と、特徴点位置の相関という異なる傾向を持つ相関を統合した変形登録画像および変形照合画像を照合することで、照合結果を出力することができる。
【００３６】
（変形例）
なお、本実施の形態において、登録画像を基準形状に変形し照合画像を登録画像の変形量（Δ）を用いて変形した。これに限らず、照合画像を基準形状に変形した際に求められる変化量（Δ’）を用いて登録画像を変形し、照合してもよい。また、本実施の形態では、照合時について述べたが、学習時にも同様の変形を行うようにしてもよい。
【００３７】
（実施の形態２）
図８は、本発明の実施の形態２における画像照合装置のブロック図である。本実施の形態では、実施の形態１の構成に、登録画像入力部１１０、登録画像特徴点検出部１１１、登録画像変形部１１２、および基準特徴点データベース１１３が新たな構成として追加されている。他の構成は、実施の形態１の構成と同様であるため、その説明を省略する。
【００３８】
登録画像入力部１１０は、カメラなどを用いて登録用の顔画像（物体形状）を含む画像を登録画像として撮影し、登録画像を出力する。
【００３９】
登録画像特徴点検出部１１１は、登録画像入力部１１０で撮影した画像から顔画像（顔の領域）を検出し、登録画像としての顔画像と登録特徴点を出力する。登録画像特徴点検出部１１１は、顔画像に対して、眉頭・眉尻・目頭・目尻・口の両端・顔の輪郭上の点などの特徴点を登録特徴点として検出し、登録特徴点の位置を推定して、登録画像と登録特徴点を登録画像変形部１１２に出力する。
【００４０】
登録画像変形部１１２は、登録画像特徴点検出部１１１から出力された登録画像と登録特徴点の位置を入力し、各登録特徴点を予め指定された基準特徴点の位置に合わせることにより登録画像を変形して変形登録画像を生成する。登録画像変形部１１２は、登録特徴点の位置の変化量を変化量データベースに１０５格納し、変形登録画像を変形登録画像データベース１０４に格納する。
【００４１】
基準特徴点データベース１１３は、基準形状の特徴点の位置を基準特徴点の位置として格納する。
【００４２】
本実施の形態によれば、照合対象者の登録特徴点の位置の変化量を変化量データベースに１０５格納し、変形登録画像を変形登録画像データベース１０４に新たに登録することができる。
【００４３】
（実施の形態３）
図９は、本発明の実施の形態３における画像照合装置のブロック図である。実施の形態１では、登録特徴点の位置の変化量を用いて照合特徴点の位置を移動することにより照合画像を変形する例を説明した。本実施の形態では、照合特徴点の位置の変化量を用いて登録特徴点の位置を移動することにより照合画像を変形する例を説明する。
【００４４】
照合画像入力部１００は、カメラなどを用いて照合用の顔画像（物体形状）を含む画像を照合画像として撮影し、照合画像を出力する。
【００４５】
照合画像特徴点検出部１０１は、照合画像入力部１００で撮影した画像から顔画像（顔の領域）を検出し、照合画像としての顔画像と照合特徴点を出力する。照合画像特徴点検出部１０１は、顔画像に対して、眉頭・眉尻・目頭・目尻・口の両端・顔の輪郭上の点などの特徴点を照合特徴点として検出し、照合特徴点の位置を推定して、照合画像と照合特徴点を出力する。
【００４６】
照合画像変形部１０２は、照合画像特徴点検出部１０１から出力された照合画像と照合特徴点の位置を入力し、各照合特徴点を予め指定された基準特徴点の位置に合わせることにより照合画像を変形して変形照合画像を生成する。照合画像変形部１０２は、照合特徴点の位置の変化量を変化量データベースに１０５格納し、変形照合画像を照合部１０３に出力する。
【００４７】
基準特徴点データベース１１３は、基準形状の特徴点の位置を基準特徴点の位置として格納する。
【００４８】
登録画像データベース１１４は、登録画像と登録画像特徴点を予め格納する。
【００４９】
登録画像変形部１１２は、登録画像データベース１１４から出力された登録画像と登録特徴点の位置を入力し、変化量データベース１０５に格納された変化量を用いて各登録特徴点の位置を移動することにより登録画像を変形し、変形登録画像を生成し、変形登録画像を照合部１０３に出力する。
【００５０】
照合部１０３は、変形照合画像と変形登録画像とを照合し、照合結果を出力する。
【００５１】
本実施の形態によれば、照合対象者の照合特徴点の位置の変化量を変化量データベース１０５に格納するだけで、複数の変形登録画像と変形照合画像を照合できる。
【００５２】
（実施の形態４）
図１０は、本発明の実施の形態４における画像照合装置のブロック図である。本実施の形態では、実施の形態３の構成に、登録画像入力部１１０、登録画像特徴点検出部１１１が新たな構成として追加されている。他の構成は、実施の形態３の構成と同様であるため、その説明を省略する。
【００５３】
登録画像入力部１１０は、カメラなどを用いて登録用の顔画像（物体形状）を含む画像を登録画像として撮影し、登録画像を出力する。
【００５４】
登録画像特徴点検出部１１１は、登録画像入力部１１０で撮影した画像から顔画像（顔の領域）を検出し、登録画像としての顔画像と登録特徴点を出力する。登録画像特徴点検出部１１１は、顔画像に対して、眉頭・眉尻・目頭・目尻・口の両端・顔の輪郭上の点などの特徴点を登録特徴点として検出し、登録特徴点の位置を推定して、登録画像と登録特徴点を登録画像データベース１１４に出力する。
【００５５】
登録画像データベース１１４は、登録画像特徴点検出部１１１から出力された登録画像と登録画像特徴点を格納する。
【００５６】
本実施の形態によれば、照合対象者の登録画像と登録画像特徴点を登録画像データベース１１４に新たに登録することができる。
【産業上の利用可能性】
【００５７】
本発明に係る画像照合装置は、形状と濃淡パターンの変化の少ない任意の物体の照合に適用可能であり、任意の物体照合に応用できる。
【図面の簡単な説明】
【００５８】
【図１】本発明の実施の形態１における画像照合装置のブロック図
【図２】本発明の実施の形態１における画像照合装置で検出する特徴点の一例を表す図
【図３】本発明の実施の形態１における画像照合装置での撮影時のディスプレイの一例を表す図
【図４】本発明の実施の形態１における画像照合装置で登録画像の特徴点の変化量の一例を表す図
【図５】本発明の実施の形態１における画像照合装置で顔を変形する際の領域分割の一例を表す図
【図６】本発明の実施の形態１における画像照合装置の照合例１を表す図
【図７】本発明の実施の形態１における画像照合装置の照合例２を表す図
【図８】本発明の実施の形態２における画像照合装置のブロック図
【図９】本発明の実施の形態３における画像照合装置のブロック図
【図１０】本発明の実施の形態４における画像照合装置のブロック図
【図１１】従来の画像照合装置のブロック図
【符号の説明】
【００５９】
１００ 照合画像入力部
１０１ 照合画像特徴点検出部
１０２ 照合画像変形部
１０３ 照合部
１０４ 変形登録画像データベース
１０５ 変化量データベース
１１０ 登録画像入力部
１１１ 登録画像特徴点検出部
１１２ 登録画像変形部
１１３ 基準特徴点データベース
１１４ 登録画像データベース
【技術分野】
【０００１】
本発明は、画像に含まれる物体を照合する画像照合装置に関する。
【背景技術】
【０００２】
従来の画像照合装置としては、顔画像の特徴点が標準的な顔画像の特徴点と一致するように変形された顔画像と、新たに入力された顔画像の特徴点を標準的な顔画像の特徴点と一致するように変形された顔画像との相関値に基づいて個人識別を行うものがあった（例えば、特許文献１参照）。図１１は、特許文献１に記載された従来の画像照合装置を示す。
【０００３】
図１１において、画像入力部１１１１は、識別対象者の顔画像を取り込む。一次顔正規化部１１１２は、識別対象者の顔画像を、眼と口の位置が予め指定した位置にくるように正規化する。特徴点抽出部１１１３は、正規化された顔画像から特徴点の位置情報を抽出する。二次顔正規化部１１１５は、特徴点抽出部１１１３で検出された特徴点が標準顔画像特徴点データベース部１１１４に登録された人間の標準的な顔の特徴点位置にくるように、正規化された顔画像を変形する。画像相関演算部１１１７は、標準的な顔画像の特徴点と一致するように変形された人物毎の基準顔画像（データベース部１１１６）と、二次顔正規化部１１１５で変形された顔画像との相関を求める。また、変位量演算部１１２１は、特徴点抽出部１１１３で抽出された位置情報と標準顔の特徴点座標との変位量を演算する。そして、変位量相関演算部１１２３は、標準顔画像の特徴点に対する人物毎の顔画像の特徴点の変位量と、変位量演算部１１２１で演算された特徴点の変位量との相関を求める。判断部１１１８は、画像相関演算部１１１７と変位量相関演算部１１２３でそれぞれ演算された２つの相関値に基づき、画像入力部１１１１から画像が入力された顔の人物を特定していた。
【特許文献１】特開平１１−１６１７９１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記した従来の画像照合装置においては、画像相関演算部１１１７で演算された顔画像の相関と、変位量相関演算部１１２３で演算された特徴点位置の変位量の相関は、異なる傾向を持つ相関である。ここで、２つの異なる相関を統合しなければならないという課題を有していた。
【０００５】
本発明は、かかる点に鑑みてなされたものであり、変形された２つの画像を照合し、照合結果を出力する画像照合装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像照合装置は、第一の画像に含まれる物体形状の特徴点の位置を基準形状の特徴点の位置に合わせることにより前記第一の画像を変形する際に変化した前記第一の画像に含まれる物体形状の特徴点の位置の変化量を格納する変化量データベースと、前記変化量を用いて第二の画像に含まれる物体形状の特徴点の位置を移動することにより前記第二の画像を変形する画像変形部と、前記変形された第一の画像と前記変形された第二の画像を照合し、照合結果を出力する照合部と、を具備する構成を採る。
【０００７】
本発明の画像照合装置は、登録画像に含まれる物体形状の特徴点の位置を基準形状の特徴点の位置に合わせることにより前記登録画像を変形する際に変化した前記物体形状の特徴点の位置の変化量を格納する変化量データベースと、前記変形された登録画像を変形登録画像として格納する変形登録画像データベースと、画像を照合画像として入力する照合画像入力部と、前記照合画像に含まれる物体形状の特徴点を照合特徴点として検出する照合特徴点検出部と、前記変化量を用いて前記照合特徴点の位置を移動することにより前記照合画像を変形し、変形照合画像を生成する照合画像変形部と、前記変形登録画像と前記変形照合画像を照合し、照合結果を出力する照合部と、を具備する構成を採る。
【０００８】
本発明の画像照合装置は、登録画像と、前記登録画像に含まれる物体形状の特徴点の位置を登録特徴点の位置として格納する登録画像データベースと、画像を照合画像として入力する照合画像入力部と、前記照合画像の特徴点を照合特徴点として検出する照合画像特徴点検出部と、基準形状の特徴点の位置を基準特徴点の位置として格納する基準特徴点データベースと、前記照合特徴点の位置を前記基準特徴点の位置に合わせることにより前記照合画像を変形し、変形照合画像を生成し、前記照合特徴点の位置の変化量と前記変形照合画像を出力する照合画像変形部と、前記出力された変化量を格納する変化量データベースと、前記変化量データベースに格納されている変化量を用いて前記登録特徴点の位置を移動することにより前記登録画像を変形し、変形登録画像を生成する登録画像変形部と、前記変形照合画像と前記変形登録画像とを照合し、照合結果を出力する照合部と、を具備する構成を採る。
【発明の効果】
【０００９】
本発明によれば、変形された２つの画像を照合し、照合結果を出力できる。
【発明を実施するための最良の形態】
【００１０】
以下、本実施の形態について、図面を参照しながら説明する。以下、本実施の形態において、照合対象の物体を人の顔として説明する。しかし、本実施の形態は、動物等の物体または人の全身のみならず、動物等の物体または人の手、動物の顔など物体の一部を照合対象として適用することができる。
【００１１】
（実施の形態１）
図１は、本発明の実施の形態１における画像照合装置の構成を示すブロック図である。
【００１２】
図１において、１００は照合画像入力部である。照合画像入力部１００は、カメラなどを用いて照合用の顔画像（物体形状）を含む画像を照合画像として撮影し、照合画像を出力する。
【００１３】
１０１は、照合画像入力部１００で撮影した画像から顔画像（顔の領域）を検出し、顔画像と照合特徴点を出力する照合画像特徴点検出部である。照合画像特徴点検出部１０１は、顔画像に対して、眉頭・眉尻・目頭・目尻・口の両端・顔の輪郭上の点などの特徴点を照合特徴点として検出し、照合特徴点の位置を推定して、顔画像と照合特徴点を出力する。
【００１４】
１０２は、照合画像特徴点検出部１０１から出力された顔画像と照合特徴点の位置を入力し、各照合特徴点を予め指定された位置に合わせることにより顔画像を変形し、変形後の顔画像を変形照合画像として出力する照合画像変形部である。
【００１５】
１０３は、照合画像変形部１０２が出力する変形照合画像と、変形登録画像データベース１０４に予め登録されている変形登録画像とを照合する照合部である。
【００１６】
１０４は、カメラなどで撮影される画像又は撮影済みの画像である登録画像に含まれる顔画像の特徴点の位置を基準的な顔画像（基準形状）の特徴点の位置に合わせることにより、変形された登録画像を格納する変形登録画像データベースである。
【００１７】
１０５は、登録画像（第一の画像）に含まれる顔画像の特徴点の位置を基準的な顔画像（基準形状）の特徴点の位置に合わせることにより登録画像を変形する際に変化した登録画像に含まれる顔画像の特徴点の位置の変化量（移動量）を格納する変化量データベースである。
【００１８】
かかる構成において、照合画像入力部１００は、顔画像を含む画像を照合画像として撮影する。照合画像特徴点検出部１０１は、照合画像に含まれる顔の領域を検出し、図２に示すような眉頭・眉尻・目頭・目尻・鼻頭・口の左右端・口の上下端・顔の輪郭上の点といった照合特徴点を検出する。
【００１９】
ここで、撮影時において顔の領域の検出を容易にするために、図３に示すように、撮影時に矩形領域を表示し、その矩形領域に顔が納まるようユーザに撮影時の注意を促してもよい。また、テンプレートマッチングやブースティング（boosting）などの手法を用いて、顔の領域を自動的に検出するようにしてもよい。
【００２０】
顔の領域から画像面内の特徴点の座標を検出する際は、テンプレートマッチングやエッジに基づいて眉領域、目領域、口領などを検出してもよいし、Active Shape ModelsやActive Appearance Modelsなど予め顔のモデルを作成し、モデルとのマッチングにより特徴点位置を検出する手法を用いてもよい。
【００２１】
顔の領域から画像面内の特徴点の座標と顔の凹凸を表す奥行き方向の位置を検出する際は、Active Shape ModelsやActive Appearance ModelsやBundle adjustmentといった手法を用いるとよい。
【００２２】
図４は、正面に向いた顔の登録画像を平均顔のような基準的な顔形状に変形させた際の各特徴点の位置の変化量を示す図である。変化量データベース１０５は、登録対象人物毎の変化量を予め格納している。照合画像変形部１０２は、これらの変化量（一組の変化量）を用いて、検出された照合特徴点の位置を移動することにより、入力した照合用の照合画像全体を変形し、変形照合画像を生成する。
【００２３】
図４において、x、y座標は画像面に平行な平面上の座標であり、ｚ座標は画像面に垂直な座標、つまり、顔の奥行き方向の顔の凹凸を表す座標を示す。図４では座標を三次元座標にしているが、x、y座標のみの二次元座標でもよい。二次元座標の場合、照合画像変形部１０２は、画像平面内での照合特徴点の位置を移動して照合画像を変形する。三次元座標の場合、照合画像変形部１０２は、顔の立体形状を考慮した照合特徴点の位置を移動し、照合画像を変形する。二次元座標の場合は、三次元座標に比べて比較的処理量が少なく、且つ、高速な位置合わせが可能となる。三次元座標の場合は、顔の凹凸を考慮した正確な位置合わせが可能となる。
【００２４】
照合画像変形部１０２で行う画像の変形について、更に具体的に説明する。まず、照合画像変形部１０２は、変化量データベース１０５に格納されている各変化量を照合画像特徴点検出部１０１で検出した各照合特徴点の座標に加算し、変形後の特徴点の位置を求め、照合画像全体を変形する。特徴点の座標が三次元座標の場合は、照合画像変形部１０２は、三次元座標を画像面に射影し、画像面内における二次元座標を求める。照合画像変形部１０２は、ここで求めた座標位置に変形前の特徴点の位置の画素値を与える。
【００２５】
＜画像の濃淡パターンの比較＞
次に、変形登録画像の濃淡パターンと変形照合画像の濃淡パターンとを比較することにより、顔画像の照合を行う例について説明する。
【００２６】
顔画像の濃淡パターンは、３つの特徴点で囲まれる領域の画素値を顔領域全体で求めることにより得られる。
【００２７】
例えば、照合画像変形部１０２は、図５に示すように、３つの特徴点を繋ぐ３角形領域ごとに画素値の合計を求める。図５は、照合画像変形部１０２で変形後の顔の形状を示している。具体的に、図５の三角形ａｂｃについて説明する。頂点ａ，ｂ，ｃの座標をそれぞれ（xａ，yａ），（xｂ，yｂ），（xｃ，yｃ）とすると、三角形ａｂｃ内の任意の座標は（x，y）は、（xａ，yａ），（xｂ，yｂ），（xｃ，yｃ）を用いて、次の２式のように表すことができる。
（x，y）＝α（xａ，yａ）＋β（xｂ，yｂ）＋γ（xｃ，yｃ） （式１）
α＋β＋γ＝１ （式２）
変形後の特徴点の座標は、この２式を満たすα、β、γを用いて求められる。
【００２８】
次に、変形前の特徴点の座標をα、β、γを用いて求める。変形前の頂点ａ，ｂ，ｃの座標をそれぞれ（x'ａ，y'ａ），（x'ｂ，y'ｂ），（x'ｃ，y'ｃ）とし、変形前の三角形ａｂｃ内の任意の座標を（x'，y'）とすると、次の式のように表すことができる。
（x'，y'）＝α（x'ａ，y'ａ）＋β（x'ｂ，y'ｂ）＋γ（x'ｃ，y'ｃ） （式３）
α＋β＋γ＝１ （式２）
このとき、変形後の座標（x，y）の画素値を変形前の（x'，y'）の画素値とする。
【００２９】
以上のようにして照合画像変形部１０２で照合用の変形照合画像が生成されると、照合部１０３は、変形登録画像データベース１０４に格納されている変形登録画像と、変形照合画像とを照合する。これにより、照合する物体の幾何学的形状特徴を反映した変形を照合画像に施して、２つの画像を照合することができる。ここで、照合の手法はパターンマッチングにおける任意の手法でよい。例えば、照合部１０３は、２つの画像の濃淡パターンの類似度を照合し、顔画像が同一人物であるか否かを判定する。具体的には、２つの画像間で、同じ画素位置にある濃淡値の類似度を照合する。ここで、類似度の算出方法としては、一つの画像の濃淡値の並びをラスタスキャン順に一列に並べて一つのベクトルを作り、２つの画像間の類似度を、２つのベクトルの相関値で判定する方法などがある。
【００３０】
ここで、変形登録画像は、上述の手法で登録画像を基準的な顔の形状に変形させた画像である。基準的な顔の形状は、任意の顔の形状を用いてよいが、平均的な顔の形状を用いてもよい。以上により、登録画像の顔画像を基準形状に変換するときに求められる変化量（Δ）を照合画像に施すことで、図６に示すように、照合画像が登録画像と同一人物の顔であれば基準形状の顔の形状に類似した変形照合画像となる。また、図６に示すように、照合画像が登録画像と異なる人物（Ａさん）の顔、つまり、照合画像が登録画像（Ｂさんの画像）の顔と異なる形状の顔であれば、変形量Δ２で照合画像を変形すると基準形状とは異なる形状の顔の照合画像となる。これにより、照合部１０３は、変形登録画像と変形照合画像とについて、画像の濃淡パターン特徴の照合と顔の形状特徴の照合とを行う。図６に示す例では、照合部１０３は、照合画像がＡさんであるか又はＢさんであるかを照合する。そして、照合部１０３は、照合画像がＡさんであること示す信号を結果として出力する。
【００３１】
一般的に、笑顔の時は、口元が上がる傾向がある。図６に示す照合画像は、Ａさんの普通の顔の登録画像と比べて、口元の形状に差分（変化）が現れる。また、表情に変化がない時は口に差分はでない。そのため、変形登録画像と変形照合画像を照合する場合は、口元の形状を除いた他の形状を比較し、変形登録画像と変形照合画像を照合することで、照合精度が向上する。
【００３２】
ここで、変形登録画像に含まれる顔の形状と基準形状とは同じ形になるが、本実施の形態では、変形登録画像と変形照合画像の画像間の濃淡パターンの照合を行うため、変形登録画像データベース１０４には、複数の登録対象者用の複数の変形登録画像を格納する必要がある。
【００３３】
そして、照合画像変形部１０２は、各変形登録画像に対応する変化量を用いて１つの照合画像を複数の登録画像について変形する。照合部１０３は、変形登録画像と、この変形登録画像に対応する変化量を用いて変形された１つの変形照合画像とを照合し、顔画像の照合結果を出力する。出力結果をディスプレイに表示したり、出力結果を音声で通知したり、又は出力結果を他の照合処理に利用してもよい。
【００３４】
図７は、照合画像が特定の人であるか否かを照合する例を説明する図である。図７に示す例では、照合画像がＢさんであるか否かを照合する。照合画像変形部１０２は、照合画像をＢさんの変化量Δ２で変形する。照合部１０３は、Ｂさんの変形登録画像と変形照合画像の画像とについて、画像の濃淡パターン特徴の照合および顔の形状特徴の照合を行う。照合部１０３は、照合結果として、Ｂさんでないことを示す信号を出力する。
【００３５】
上述のように、本実施の形態では、照合する２つの物体画像に関する濃淡パターンの相関と、特徴点位置の相関という異なる傾向を持つ相関を統合した変形登録画像および変形照合画像を照合することで、照合結果を出力することができる。
【００３６】
（変形例）
なお、本実施の形態において、登録画像を基準形状に変形し照合画像を登録画像の変形量（Δ）を用いて変形した。これに限らず、照合画像を基準形状に変形した際に求められる変化量（Δ’）を用いて登録画像を変形し、照合してもよい。また、本実施の形態では、照合時について述べたが、学習時にも同様の変形を行うようにしてもよい。
【００３７】
（実施の形態２）
図８は、本発明の実施の形態２における画像照合装置のブロック図である。本実施の形態では、実施の形態１の構成に、登録画像入力部１１０、登録画像特徴点検出部１１１、登録画像変形部１１２、および基準特徴点データベース１１３が新たな構成として追加されている。他の構成は、実施の形態１の構成と同様であるため、その説明を省略する。
【００３８】
登録画像入力部１１０は、カメラなどを用いて登録用の顔画像（物体形状）を含む画像を登録画像として撮影し、登録画像を出力する。
【００３９】
登録画像特徴点検出部１１１は、登録画像入力部１１０で撮影した画像から顔画像（顔の領域）を検出し、登録画像としての顔画像と登録特徴点を出力する。登録画像特徴点検出部１１１は、顔画像に対して、眉頭・眉尻・目頭・目尻・口の両端・顔の輪郭上の点などの特徴点を登録特徴点として検出し、登録特徴点の位置を推定して、登録画像と登録特徴点を登録画像変形部１１２に出力する。
【００４０】
登録画像変形部１１２は、登録画像特徴点検出部１１１から出力された登録画像と登録特徴点の位置を入力し、各登録特徴点を予め指定された基準特徴点の位置に合わせることにより登録画像を変形して変形登録画像を生成する。登録画像変形部１１２は、登録特徴点の位置の変化量を変化量データベースに１０５格納し、変形登録画像を変形登録画像データベース１０４に格納する。
【００４１】
基準特徴点データベース１１３は、基準形状の特徴点の位置を基準特徴点の位置として格納する。
【００４２】
本実施の形態によれば、照合対象者の登録特徴点の位置の変化量を変化量データベースに１０５格納し、変形登録画像を変形登録画像データベース１０４に新たに登録することができる。
【００４３】
（実施の形態３）
図９は、本発明の実施の形態３における画像照合装置のブロック図である。実施の形態１では、登録特徴点の位置の変化量を用いて照合特徴点の位置を移動することにより照合画像を変形する例を説明した。本実施の形態では、照合特徴点の位置の変化量を用いて登録特徴点の位置を移動することにより照合画像を変形する例を説明する。
【００４４】
照合画像入力部１００は、カメラなどを用いて照合用の顔画像（物体形状）を含む画像を照合画像として撮影し、照合画像を出力する。
【００４５】
照合画像特徴点検出部１０１は、照合画像入力部１００で撮影した画像から顔画像（顔の領域）を検出し、照合画像としての顔画像と照合特徴点を出力する。照合画像特徴点検出部１０１は、顔画像に対して、眉頭・眉尻・目頭・目尻・口の両端・顔の輪郭上の点などの特徴点を照合特徴点として検出し、照合特徴点の位置を推定して、照合画像と照合特徴点を出力する。
【００４６】
照合画像変形部１０２は、照合画像特徴点検出部１０１から出力された照合画像と照合特徴点の位置を入力し、各照合特徴点を予め指定された基準特徴点の位置に合わせることにより照合画像を変形して変形照合画像を生成する。照合画像変形部１０２は、照合特徴点の位置の変化量を変化量データベースに１０５格納し、変形照合画像を照合部１０３に出力する。
【００４７】
基準特徴点データベース１１３は、基準形状の特徴点の位置を基準特徴点の位置として格納する。
【００４８】
登録画像データベース１１４は、登録画像と登録画像特徴点を予め格納する。
【００４９】
登録画像変形部１１２は、登録画像データベース１１４から出力された登録画像と登録特徴点の位置を入力し、変化量データベース１０５に格納された変化量を用いて各登録特徴点の位置を移動することにより登録画像を変形し、変形登録画像を生成し、変形登録画像を照合部１０３に出力する。
【００５０】
照合部１０３は、変形照合画像と変形登録画像とを照合し、照合結果を出力する。
【００５１】
本実施の形態によれば、照合対象者の照合特徴点の位置の変化量を変化量データベース１０５に格納するだけで、複数の変形登録画像と変形照合画像を照合できる。
【００５２】
（実施の形態４）
図１０は、本発明の実施の形態４における画像照合装置のブロック図である。本実施の形態では、実施の形態３の構成に、登録画像入力部１１０、登録画像特徴点検出部１１１が新たな構成として追加されている。他の構成は、実施の形態３の構成と同様であるため、その説明を省略する。
【００５３】
登録画像入力部１１０は、カメラなどを用いて登録用の顔画像（物体形状）を含む画像を登録画像として撮影し、登録画像を出力する。
【００５４】
登録画像特徴点検出部１１１は、登録画像入力部１１０で撮影した画像から顔画像（顔の領域）を検出し、登録画像としての顔画像と登録特徴点を出力する。登録画像特徴点検出部１１１は、顔画像に対して、眉頭・眉尻・目頭・目尻・口の両端・顔の輪郭上の点などの特徴点を登録特徴点として検出し、登録特徴点の位置を推定して、登録画像と登録特徴点を登録画像データベース１１４に出力する。
【００５５】
登録画像データベース１１４は、登録画像特徴点検出部１１１から出力された登録画像と登録画像特徴点を格納する。
【００５６】
本実施の形態によれば、照合対象者の登録画像と登録画像特徴点を登録画像データベース１１４に新たに登録することができる。
【産業上の利用可能性】
【００５７】
本発明に係る画像照合装置は、形状と濃淡パターンの変化の少ない任意の物体の照合に適用可能であり、任意の物体照合に応用できる。
【図面の簡単な説明】
【００５８】
【図１】本発明の実施の形態１における画像照合装置のブロック図
【図２】本発明の実施の形態１における画像照合装置で検出する特徴点の一例を表す図
【図３】本発明の実施の形態１における画像照合装置での撮影時のディスプレイの一例を表す図
【図４】本発明の実施の形態１における画像照合装置で登録画像の特徴点の変化量の一例を表す図
【図５】本発明の実施の形態１における画像照合装置で顔を変形する際の領域分割の一例を表す図
【図６】本発明の実施の形態１における画像照合装置の照合例１を表す図
【図７】本発明の実施の形態１における画像照合装置の照合例２を表す図
【図８】本発明の実施の形態２における画像照合装置のブロック図
【図９】本発明の実施の形態３における画像照合装置のブロック図
【図１０】本発明の実施の形態４における画像照合装置のブロック図
【図１１】従来の画像照合装置のブロック図
【符号の説明】
【００５９】
１００ 照合画像入力部
１０１ 照合画像特徴点検出部
１０２ 照合画像変形部
１０３ 照合部
１０４ 変形登録画像データベース
１０５ 変化量データベース
１１０ 登録画像入力部
１１１ 登録画像特徴点検出部
１１２ 登録画像変形部
１１３ 基準特徴点データベース
１１４ 登録画像データベース
【特許請求の範囲】
【請求項１】
第一の画像に含まれる物体形状の特徴点の位置を基準形状の特徴点の位置に合わせることにより前記第一の画像を変形する際に変化した前記第一の画像に含まれる物体形状の特徴点の位置の変化量を格納する変化量データベースと、
前記変化量を用いて第二の画像に含まれる物体形状の特徴点の位置を移動することにより前記第二の画像を変形する画像変形部と、
前記変形された第一の画像と前記変形された第二の画像を照合し、照合結果を出力する照合部と、
を具備する画像照合装置。
【請求項２】
前記特徴点の位置は、画像中の二次元座標である、
請求項１記載の画像照合装置。
【請求項３】
前記特徴点の位置は、物体上の三次元座標である、
請求項１記載の画像照合装置。
【請求項４】
前記照合部は、前記変形された第一の画像の物体形状と前記変形された第二の画像の物体形状とを照合し、照合結果を出力する、
請求項１から請求項３のいずれかに記載の画像照合装置。
【請求項５】
前記照合部は、前記変形された第一の画像の濃淡パターンと前記変形された第二の画像の濃淡パターンとを照合し、照合結果を出力する、
請求項１から請求項４のいずれかに記載の画像照合装置。
【請求項６】
前記第一の画像は、１つまたは複数の登録画像であり、
前記第二の画像は、１つの照合画像であり、
前記変化量データベースは、複数の登録画像に対応する複数の変化量を格納する、
請求項１から請求項５のいずれかに記載の画像照合装置。
【請求項７】
前記画像変形部は、前記変形された各登録画像に対応する各変化量を用いて１つの照合画像を変形し、
前記照合部は、前記変形された登録画像と、前記変形された登録画像に対応する変化量を用いて変形された１つの照合画像とを照合し、照合結果を出力する、
請求項６記載の画像照合装置。
【請求項８】
前記複数の変化量のうち特定の登録画像に対応する１組の変化量を指定する指定手段、を更に具備し、
前記画像変形部は、前記特定の登録画像に対応する変化量を用いて１つの照合画像を変形し、
前記照合部は、前記変形された特定の登録画像と、前記変形された特定の登録画像に対応する変化量を用いて変形された１つの照合画像とを照合し、照合結果を出力する、
請求項６記載の画像照合装置。
【請求項９】
前記第一の画像は、１つの照合画像であり、
前記第二の画像は、１つまたは複数の登録画像であり、
前記変化量データベースは、１つの照合画像に対応する変化量を格納し、
前記画像変形部は、前記１つの照合画像に対応する変化量を用いて各登録画像を変形し、
前記照合部は、前記変形された各登録画像と前記変形された１つの照合画像とを照合し、照合結果を出力する、
請求項１記載の画像照合装置。
【請求項１０】
登録画像に含まれる物体形状の特徴点の位置を基準形状の特徴点の位置に合わせることにより前記登録画像を変形する際に変化した前記物体形状の特徴点の位置の変化量を格納する変化量データベースと、
前記変形された登録画像を変形登録画像として格納する変形登録画像データベースと、
画像を照合画像として入力する照合画像入力部と、
前記照合画像に含まれる物体形状の特徴点を照合特徴点として検出する照合特徴点検出部と、
前記変化量を用いて前記照合特徴点の位置を移動することにより前記照合画像を変形し、変形照合画像を生成する照合画像変形部と、
前記変形登録画像と前記変形照合画像を照合し、照合結果を出力する照合部と、
を具備する画像照合装置。
【請求項１１】
前記特徴点の位置は、画像中の二次元座標である、
請求項１０記載の画像照合装置。
【請求項１２】
前記特徴点の位置は、物体上の三次元座標である、
請求項１０記載の画像照合装置。
【請求項１３】
前記登録画像を入力する登録画像入力部と、
前記登録画像に含まれる物体形状の特徴点を登録特徴点として検出する登録画像特徴点検出部と、
前記登録特徴点の位置を基準形状の特徴点の位置に合わせることにより前記登録画像を変形して前記変形登録画像を生成し、前記登録特徴点の位置の変化量を前記変化量データベースに格納し、前記変形登録画像を前記変形画像データベースに格納する登録画像変形部と、
基準形状の特徴点の位置を基準特徴点の位置として格納する基準特徴点データベースと、
を更に具備する請求項１０から請求項１２のいずれかに記載の画像照合装置。
【請求項１４】
登録画像と、前記登録画像に含まれる物体形状の特徴点の位置を登録特徴点の位置として格納する登録画像データベースと、
画像を照合画像として入力する照合画像入力部と、
前記照合画像の特徴点を照合特徴点として検出する照合画像特徴点検出部と、
基準形状の特徴点の位置を基準特徴点の位置として格納する基準特徴点データベースと、
前記照合特徴点の位置を前記基準特徴点の位置に合わせることにより前記照合画像を変形し、変形照合画像を生成し、前記照合特徴点の位置の変化量と前記変形照合画像を出力する照合画像変形部と、
前記出力された変化量を格納する変化量データベースと、
前記変化量データベースに格納されている変化量を用いて前記登録特徴点の位置を移動することにより前記登録画像を変形し、変形登録画像を生成する登録画像変形部と、
前記変形照合画像と前記変形登録画像とを照合し、照合結果を出力する照合部と、
を具備する画像照合装置。
【請求項１５】
前記特徴点の位置は、画像中の二次元座標である、
請求項１４記載の画像照合装置。
【請求項１６】
前記特徴点の位置は、物体上の三次元座標である、
請求項１４記載の画像照合装置。
【請求項１７】
前記登録画像を入力する登録画像入力部と、
前記登録画像から登録特徴点の位置を検出し前記登録画像データベースに登録画像と共に格納する登録画像特徴点検出部と、
を更に具備する請求項１４から請求項１６のいずれかに記載の画像照合装置。
【請求項１】
第一の画像に含まれる物体形状の特徴点の位置を基準形状の特徴点の位置に合わせることにより前記第一の画像を変形する際に変化した前記第一の画像に含まれる物体形状の特徴点の位置の変化量を格納する変化量データベースと、
前記変化量を用いて第二の画像に含まれる物体形状の特徴点の位置を移動することにより前記第二の画像を変形する画像変形部と、
前記変形された第一の画像と前記変形された第二の画像を照合し、照合結果を出力する照合部と、
を具備する画像照合装置。
【請求項２】
前記特徴点の位置は、画像中の二次元座標である、
請求項１記載の画像照合装置。
【請求項３】
前記特徴点の位置は、物体上の三次元座標である、
請求項１記載の画像照合装置。
【請求項４】
前記照合部は、前記変形された第一の画像の物体形状と前記変形された第二の画像の物体形状とを照合し、照合結果を出力する、
請求項１から請求項３のいずれかに記載の画像照合装置。
【請求項５】
前記照合部は、前記変形された第一の画像の濃淡パターンと前記変形された第二の画像の濃淡パターンとを照合し、照合結果を出力する、
請求項１から請求項４のいずれかに記載の画像照合装置。
【請求項６】
前記第一の画像は、１つまたは複数の登録画像であり、
前記第二の画像は、１つの照合画像であり、
前記変化量データベースは、複数の登録画像に対応する複数の変化量を格納する、
請求項１から請求項５のいずれかに記載の画像照合装置。
【請求項７】
前記画像変形部は、前記変形された各登録画像に対応する各変化量を用いて１つの照合画像を変形し、
前記照合部は、前記変形された登録画像と、前記変形された登録画像に対応する変化量を用いて変形された１つの照合画像とを照合し、照合結果を出力する、
請求項６記載の画像照合装置。
【請求項８】
前記複数の変化量のうち特定の登録画像に対応する１組の変化量を指定する指定手段、を更に具備し、
前記画像変形部は、前記特定の登録画像に対応する変化量を用いて１つの照合画像を変形し、
前記照合部は、前記変形された特定の登録画像と、前記変形された特定の登録画像に対応する変化量を用いて変形された１つの照合画像とを照合し、照合結果を出力する、
請求項６記載の画像照合装置。
【請求項９】
前記第一の画像は、１つの照合画像であり、
前記第二の画像は、１つまたは複数の登録画像であり、
前記変化量データベースは、１つの照合画像に対応する変化量を格納し、
前記画像変形部は、前記１つの照合画像に対応する変化量を用いて各登録画像を変形し、
前記照合部は、前記変形された各登録画像と前記変形された１つの照合画像とを照合し、照合結果を出力する、
請求項１記載の画像照合装置。
【請求項１０】
登録画像に含まれる物体形状の特徴点の位置を基準形状の特徴点の位置に合わせることにより前記登録画像を変形する際に変化した前記物体形状の特徴点の位置の変化量を格納する変化量データベースと、
前記変形された登録画像を変形登録画像として格納する変形登録画像データベースと、
画像を照合画像として入力する照合画像入力部と、
前記照合画像に含まれる物体形状の特徴点を照合特徴点として検出する照合特徴点検出部と、
前記変化量を用いて前記照合特徴点の位置を移動することにより前記照合画像を変形し、変形照合画像を生成する照合画像変形部と、
前記変形登録画像と前記変形照合画像を照合し、照合結果を出力する照合部と、
を具備する画像照合装置。
【請求項１１】
前記特徴点の位置は、画像中の二次元座標である、
請求項１０記載の画像照合装置。
【請求項１２】
前記特徴点の位置は、物体上の三次元座標である、
請求項１０記載の画像照合装置。
【請求項１３】
前記登録画像を入力する登録画像入力部と、
前記登録画像に含まれる物体形状の特徴点を登録特徴点として検出する登録画像特徴点検出部と、
前記登録特徴点の位置を基準形状の特徴点の位置に合わせることにより前記登録画像を変形して前記変形登録画像を生成し、前記登録特徴点の位置の変化量を前記変化量データベースに格納し、前記変形登録画像を前記変形画像データベースに格納する登録画像変形部と、
基準形状の特徴点の位置を基準特徴点の位置として格納する基準特徴点データベースと、
を更に具備する請求項１０から請求項１２のいずれかに記載の画像照合装置。
【請求項１４】
登録画像と、前記登録画像に含まれる物体形状の特徴点の位置を登録特徴点の位置として格納する登録画像データベースと、
画像を照合画像として入力する照合画像入力部と、
前記照合画像の特徴点を照合特徴点として検出する照合画像特徴点検出部と、
基準形状の特徴点の位置を基準特徴点の位置として格納する基準特徴点データベースと、
前記照合特徴点の位置を前記基準特徴点の位置に合わせることにより前記照合画像を変形し、変形照合画像を生成し、前記照合特徴点の位置の変化量と前記変形照合画像を出力する照合画像変形部と、
前記出力された変化量を格納する変化量データベースと、
前記変化量データベースに格納されている変化量を用いて前記登録特徴点の位置を移動することにより前記登録画像を変形し、変形登録画像を生成する登録画像変形部と、
前記変形照合画像と前記変形登録画像とを照合し、照合結果を出力する照合部と、
を具備する画像照合装置。
【請求項１５】
前記特徴点の位置は、画像中の二次元座標である、
請求項１４記載の画像照合装置。
【請求項１６】
前記特徴点の位置は、物体上の三次元座標である、
請求項１４記載の画像照合装置。
【請求項１７】
前記登録画像を入力する登録画像入力部と、
前記登録画像から登録特徴点の位置を検出し前記登録画像データベースに登録画像と共に格納する登録画像特徴点検出部と、
を更に具備する請求項１４から請求項１６のいずれかに記載の画像照合装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００９−３１９９６（Ｐ２００９−３１９９６Ａ）
【公開日】平成２１年２月１２日（２００９．２．１２）
【国際特許分類】
【出願番号】特願２００７−１９４７５１（Ｐ２００７−１９４７５１）
【出願日】平成１９年７月２６日（２００７．７．２６）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２１年２月１２日（２００９．２．１２）
【国際特許分類】
【出願日】平成１９年７月２６日（２００７．７．２６）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]