画像合成装置及び画像合成方法

【課題】ランダムに撮像された複数の画像から容易に合成画像を生成することができる画像合成装置及び画像合成方法を提供する。
【解決手段】本発明の画像合成装置１０は、撮像手段によりランダムに撮像した複数の画像ごとに特徴点及び特徴量を抽出する特徴点・特徴量抽出手段３０と、前記画像間で一致する前記特徴量を対応付けて合成対象候補とし、前記一致する前記特徴量が予め定めた閾値を満たすか否かの判断を行う合成対象探索手段４０と、前記合成対象候補の対応する前記特徴点の距離及び角度のヒストグラムを作成し、前記ヒストグラムの最頻値に絞り込み、前記特徴点間の距離が最小となる合成位置の探索を行って合成画像を生成する合成位置探索手段５０と、前記合成対象候補が存在しないとき前記合成画像を終了する終了判定手段６０と、を備えたことを特徴としている。

【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に撮像した複数の画像に対しアルゴリズムを用いて連続した画像に合成する画像合成装置及び画像合成方法に関する。
【背景技術】
【０００２】
防犯や福祉のために、監視カメラが利用されている。一台の監視カメラでは死角が生じるため、複数台の固定カメラを用いたり、あるいは移動カメラを用いたりして連続した画像を撮像している。撮像した複数の画像は一枚の連続した画像に合成処理を行い、防犯等の対象領域を特定している。
また食品容器の外観検査等の分野において、一枚の写真では、容器全体の構成が認識できない場合に画像の合成処理を行う場合がある。
【０００３】
従来、複数の画像に係る特徴点の対応の判定を適正に行って画像の合成を行う特許文献１が挙げられる。特許文献１では連続して撮像された複数の画像に基づいて、各画像の特徴点を抽出し、特徴点包含領域内の画素値の差分の絶対値和を算出し、所定の閾値以上となっているか否かに応じて特徴点同士が対応しているか否かを判定し、対応している画像を合成するプログラムが開示されている。
【０００４】
また従来の画像合成装置又は画像合成方法では、合成対象となる画像の取得を時間・空間的に連続に行っているものが多い。一例としてカメラを回転軸に固定して回転させることにより３６０度のパノラマ画像を生成する装置や車両にカメラを取り付けて走行し、順に画像を取得して合成する方法があるが、これらの方法は、画像の撮影順や撮像日時、場所を情報として蓄える必要があった。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−６３４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、合成画像を生成する際、複数台のカメラはそれぞれ独立しているため、画像の撮影順や撮影位置等の取得情報が正しく入手できない可能性があり、撮像画像と取得情報が一致しないケースがある。画像の取得情報が入手できないと合成画像を生成することができない場合がある。
同様に人手を用いて大量の画像を取得した場合、画像取得情報を記憶し忘れて、合成画像を生成することができない場合がある。
【０００７】
また画像の合成処理において合成対象とは無関係の画像が入力された撮像画像に混ざっていると、画像の合成処理ができない場合がある。
特許文献１では、連続的に撮像された複数の画像に対する構成装置およびプログラムとなっており、ランダムに取得された画像に対して適用することができない。
【０００８】
ところで、従来、アルゴリズムを用いた画像処理が行われていたが、各画像間の特徴点の対応付けの処理に時間がかかり、また生成された合成画像は位置ズレが生じるなどの問題があった。そこで局所的特徴点・特徴量を用いる利点である処理速度の面での優位性を損なうことがないように、処理量のオーダーが局所的特徴点・特徴量の計算処理よりも大きくならずに合成位置の精度を高める方法の開発が望まれていた。
【０００９】
また合成の対象となる画像群が、天井、床などの変化に乏しい画像である場合には、合成画像に位置ずれが生じるなど精度良く行われない場合があった。
そこで上記従来技術の問題点を解決するため、本発明はランダムに撮像された複数の画像から精度良い合成画像を生成することができる画像合成装置及び画像合成方法を提供することを目的としている。
【課題を解決するための手段】
【００１０】
本発明の画像合成装置は、ランダムに撮像した複数の画像ごとに特徴点及び特徴量を抽出しておき、前記画像間で一致する前記特徴量を対応付けて合成対象候補とし、前記一致する前記特徴量が予め定めた閾値を満たすか否かの判断を行う合成対象選定手段と、前記合成対象選定手段による前記合成対象候補の対応する前記特徴点のヒストグラムを作成し、前記ヒストグラムの最頻値に絞り込み、前記特徴点間の距離が最小となる合成位置の探索を行って合成画像を生成する合成位置探索手段と、を備えたことを特徴としている。
【００１１】
本発明の画像合成装置は、撮像手段によりランダムに撮像した複数の画像を記録する記憶手段と、前記画像ごとに特徴点及び特徴量を抽出する特徴点・特徴量抽出手段と、前記画像間で一致する前記特徴量を対応付けて合成対象候補とし、前記一致する前記特徴量が予め定めた閾値を満たすか否かの判断を行う合成対象探索手段と、前記合成対象候補の対応する前記特徴点の距離及び角度のヒストグラムを作成し、前記ヒストグラムの最頻値に絞り込み、前記特徴点間の距離が最小となる合成位置の探索を行って合成画像を生成する合成位置探索手段と、前記合成対象候補が存在しないとき前記合成画像を終了する終了判定手段と、を備えたことを特徴としている。
この場合において、前記合成画像の取得漏れ箇所を警告する画像漏れ警告手段を備えているとよい。
【００１２】
本発明の画像合成方法は、ランダムに撮像した複数の画像ごとに特徴点及び特徴量を抽出し、前記画像間で一致する前記特徴量を対応付けて合成対象候補とし、前記一致する前記特徴量が予め定めた閾値を満たすか否かの判断を行い、前記合成対象候補の対応する前記特徴点の距離及び角度のヒストグラムを作成し、前記ヒストグラムの最頻値に絞り込み、前記特徴点間の距離が最小となる合成位置の探索を行って合成画像を生成することを特徴としている。
この場合において、前記ヒストグラムは、前記特徴点間の距離及び角度に基づいて行うとよい。
また前記合成画像に画像の取得漏れがあった場合に警告するとよい。
【発明の効果】
【００１３】
上記構成による本発明の画像合成装置及び画像合成方法によれば、撮像手段による画像の撮影順や撮影位置などの画像取得情報がない場合、又は連続して撮像された画像でなくランダムに撮像された画像の場合であっても、合成画像を生成することができる。
【００１４】
また合成対象となる画像と無関係の画像が入力された場合であっても、合成画像の対象から除去することにより他の合成対象候補を用いて画像合成処理を続行して合成画像を生成することができる。
【００１５】
天井、床など変化の少ない画像に対しても、特徴点間の距離が最小となる合成位置の探索を行うことにより精度良く画像合成が行える。
また合成対象候補の対応する特徴点のヒストグラムを作成し、ヒストグラムの最頻値に絞り込んでいるため、画像の対応付け処理速度を上げることができ、従来の画像処理方法に比べて合成画像処理を迅速に行うことができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の画像合成装置のブロック図である。
【図２】本発明の画像合成方法のフローチャートである。
【図３】撮像画像の説明図である。
【図４】図３に示す各画像の特徴点・特徴量の説明図である。
【図５】画像ＡＢ間の対応付けした特徴点・特徴量の説明図である。
【図６】合成対象候補の説明図である。
【図７】対応する特徴点の角度及び距離のヒストグラムの説明図である。
【図８】ヒストグラムで最頻値となる特徴点の絞り込みの説明図である。
【図９】２分探索法の説明図である。
【図１０】合成画像の説明図である。
【図１１】合成画像と新たな画像の対応する特徴点の説明図である。
【図１２】完了した合成画像の説明図である。
【発明を実施するための形態】
【００１７】
本発明の画像合成装置及び画像合成方法の実施形態を添付の図面を参照しながら以下詳細に説明する。
図１は画像合成装置のブロック図である。図示のように画像合成装置１０は、データ記憶手段２０と、特徴点・特徴量抽出手段３０と、合成対象選定手段４０と、合成位置探索手段５０と、終了判定手段６０と、画像漏れ判断・警告手段６２とから構成されている。
【００１８】
データ記憶手段２０は、後述する撮像手段と有線又は無線で接続し、撮像手段からの画像が入力されて、一時的に記憶するデータベースである。記憶する撮像画像は、撮像場所、撮像日時などの取得情報がなくてもよい。また連続して撮像された画像でなく撮像位置、撮像場所が異なるなどランダムに撮像された画像であってもよい。なお撮像手段の画像データを記憶する記憶媒体から入力するように構成することもできる。
【００１９】
撮像手段２２は、撮像対象を撮像するカメラであり、画像データを前記データ記憶手段２０へ出力するものである。また撮像手段２２は、単一又は複数の広角カメラを用いることにより１枚の画像で広範囲を撮像することができる。なお合成画像の対象となる撮像手段２２による撮像画像は、少なくとも倍率が同一であり、撮像対象物から撮像手段２２までの距離が一定のものであることが望ましい。
【００２０】
特徴点・特徴量抽出手段３０は、データ記憶手段２２で記憶された複数の入力画像のそれぞれに対して、局所的特徴点及び特徴量を抽出するものである。特徴点及び特徴量を抽出するアルゴリズムとしては、一例としてＨＯＧ（ＨｉｓｔｏｇｒａｍｓｏｆＯｒｉｅｎｔｅｄＧｒａｎｄｉｅｎｔｓ）、ＳＩＦＴ（Ｓｃａｌｅ−ＩｎｖａｒｉａｎｔＦｅａｔｕｒｅＴｒａｎｓｆｏｒｍ）、ＳＵＲＦ（ＳｐｅｅｄｅｄＵｐＲｏｂｕｓｔＦｅａｔｕｒｅｓ）などを用いることができる。ＳＩＦＴアルゴリズムは、画像における特徴点を抽出した後に各特徴点の強さと方向性の性質を示す特徴量を抽出するアルゴリズムである。なおＨＯＧ、ＳＩＦＴを用いた場合の、特徴点は座標位置、特徴量はベクトルとして表すことができる。
【００２１】
合成対象選定手段４０は、各画像間で特徴量の一致する特徴量を対応付けして、合成対象候補とするものである。具体的に合成対象選定手段４０は画像間で一致する特徴量が予め定めた閾値以上であるか否かを判定している。閾値は、画像合成対象とすることができる２つの画像間で一致する特徴量の個数を示し、一例として手動式又は統計的に定めることができる。手動式に定める場合は合成対象候補とする画像が適宜存在するように設定することができる。一方、統計的に定める場合は全体のヒストグラムを作成し、上位若しくは下位の数割を閾値として設定することができる。
【００２２】
合成位置探索手段５０は、対応する特徴量の特徴点間の距離及び角度のヒストグラムを作成する。そしてヒストグラムの最頻値を求め、最頻値の距離及び角度の特徴点の絞込みを行っている。ついで２分探索法を用いて特徴点間の距離の平均が最小値となる合成位置の探索を行い、探索した位置で画像合成を行うものである。具体的には２つの画像のうち一方を固定画像とし、他方の移動画像を縦方向、横方向、回転方向などで２分探索を行って、特徴点間の距離の平均が最小となる位置を探索する。
【００２３】
終了判定手段６０は、前述の合成対象候補の有無を判断するものである。具体的には、合成対象候補が存在する場合は、合成対象を選定し、合成位置探索を行い画像の合成を行う。一方、合成対象候補が存在しない場合には、画像合成を終了する。
【００２４】
画像漏れ警告手段６２は、判定終了手段６０と合成結果表示手段７０と電気的に接続し、合成画像に画像の取得漏れが発生した場合に警告を発するものである。画像漏れ警告手段６２による警告は、画面上の画像取得漏れ箇所に警告表示をするように構成、又はアラーム音を発生させるように構成することもできる。
【００２５】
合成結果表示手段７０は、画像合成装置１０と画像漏れ警告手段６２と電気的に接続し、生成した合成画像をモニターに表示し、ユーザが視認できるようにするものである。
次に上記構成による画像合成装置を用いた画像合成方法について以下説明する。図２は画像合成方法のフローチャートを示している。図３は撮像画像の説明図である。
【００２６】
撮像手段２２からデータ記憶手段２０へ撮像した画像を入力する（ステップ１）。図３の（Ａ）から（Ｆ）に示すように撮像手段２２による画像は、連続的又はランダムな画像であってもよい。また入力する画像は撮像順・撮像位置などの履歴がなくてもよい。さらに（Ｆ）のように合成対象となる画像と無関係の画像が入力されても良い。
【００２７】
各入力画像に対して、局所的特徴点、特徴量を抽出する（ステップ２）。特徴点、特徴量を抽出するアルゴリズムとしては、ＨＯＧ、ＳＩＦＴ、ＳＵＲＦなどを用いることができる。入力画像のそれぞれについて局所的特徴点、その特徴点における特徴量を抽出する。図４は、図３に示す各画像の局所的特徴点・特徴量の説明図である。本実施形態ではＳＩＦＴアルゴリズムを用いて各画像における特徴点を抽出した後に各特徴点の強さと方向性の性質を示す特徴量を抽出する。このような局所的特徴点及び特徴量を抽出した後、図示のように画像上に複数の局所的特徴点・特徴量を矢印で示すことができる。ここで特徴点は座標、特徴量はベクトルで表すことができる。
【００２８】
次に合成対象選定手段４０により各画像間で特徴量の一致する特徴量を対応付けして合成対象候補とする（ステップ３）。具体的には各画像間で対応する特徴点の個数と特徴量の一致する特徴点の組を調べて、それぞれを合成対象候補とする。図５は画像ＡＢ間の対応付けした特徴点・特徴量の説明図である。画像ＡＢ間で対応する特徴点の個数と特徴量の一致する特徴点の組を調べ、それぞれを合成対象候補とする。図示のように画像ＡＢ間で特徴量の一致する特徴点同士を線で結び対応付けしている。
【００２９】
合成対象候補の有無を判定する（ステップ４）。即ち画像間で対応する特徴点の個数と一致する特徴点の組がある合成対象候補が存在する場合は、次工程（ステップ５）に進む。
【００３０】
対応する特徴点の数が最大となる画像の組を以下の後工程の対象とする（ステップ５）。図６は合成対象候補の説明図である。図示のように、一例として対応付けした画像ＥＡ間、ＡＤ間、ＡＦ間、ＥＦ間で、一致する特徴量の個数はそれぞれ６８、６０、１、０となる場合を示している。
【００３１】
ここで一致する特徴量の数について予め閾値を定めている。そして一致する特徴量の数が閾値以下か否かの判定を行う。（ステップ６）。閾値は、画像合成対象とすることができる２つの画像間で一致する特徴量の個数を示し、一例として手動式又は統計的に定めることができる。一例として閾値を６０としたとき、画像ＡＦ、画像ＥＦは閾値以下となるため、合成対象候補から除外する（ステップ７）。そして新たな画像間で特徴量の一致する特徴量を対応付けする（ステップ３）。なおステップ３からステップ７までの処理は合成対象選定手段４０により行う。
【００３２】
一方、一致する特徴量の数が閾値を満たす場合、合成位置探索手段５０により対応する特徴点の距離・角度ヒストグラムを作成する（ステップ８）。図７は対応する特徴点の角度及び距離のヒストグラムの説明図である。同図縦軸は頻度、横軸は角度（１）、距離（２）をそれぞれ示している。なお（１）は、−４５°から＋４５°の角度範囲を示しているが、角度の許容範囲は−９０°から＋９０°の範囲とする。また距離の許容範囲は、各画像を平面上に並べた範囲内で設定することができる。まず画像間の特徴量の一致する特徴点間を結ぶ各線分の距離及び角度を算出する。そして距離又は角度のそれぞれについてヒストグラムを作成する。図７（１）に示すように角度ヒストグラムの場合、４５度が最頻値となる。また（２）に示すように距離についても同様にヒストグラムを作成し、距離１８０が最頻値を求める。
【００３３】
次にヒストグラムで最頻値となる距離・角度の特徴点の組に絞り込む（ステップ９）。図８はヒストグラムで最頻値となる特徴点の絞り込みの説明図である。図５に示す絞り込み前の画像に対し、ヒストグラムで最頻値となる４５度で特徴点の絞り込みを行うと図８に示すように特定される。また、距離についてもヒストグラムの最頻値に基づいて同様に行う。このように角度及び距離に基づいて絞込みを行うことにより、画像合成の位置ずれを生ずることがなく、精度良い画像処理を行うことができる。
【００３４】
２分探索法を用いて特徴点間の距離の平均が最小となる合成位置の探索を行う（ステップ１０）。
２分探索法は、探索範囲を二分割した後、さらに二分割して探索範囲を狭めながら探索する方法である。具体的には、片方の画像を固定画像とし、もう一方の画像（移動画像）を縦方向・横方向・回転方向などへ移動する２分探索を行って、特徴点間の距離の平均、換言すれば図中の線分の長さの平均が最小となる位置を探索する。
【００３５】
図９は２分探索法の説明図である。一例として、同図（１）に示すように横方向の探索であれば、最初に、３つの位置（移動画像Ａの右端と固定画像Ｂの左端を合わせる。移動画像Ａ及び固定画像Ｂの中央を合わせる。移動画像Ａの左端と固定画像Ｂの右端を合わせる。）で特徴点間の距離の平均を比較する。
【００３６】
このとき移動画像Ａと固定画像Ｂの中央同士を合わせたものが最小であり、次に移動画像Ａの左端と固定画像Ｂの右端を合わせたものが最小であった場合には、同図（２）に示すような３つの位置（移動画像Ａ及び固定画像Ｂの中央を合わせる。固定画像Ｂの中央と移動画像Ａの左端を合わせる。移動画像Ａの左端と固定画像Ｂの右端を合わせる。）で探索する。このようにステップごとに探索する範囲を狭めていく。
【００３７】
特徴点間の距離の平均が最小となる合成位置を局所的に全探索する（ステップ１１）。前述の２分探索法で求めた位置には多少のずれが生じる場合がある。そこで２分探索法で求めた位置に対して、移動画像を一例として、縦横に±５ピクセル、角度±３度ずらして全探索を行い、特徴点間の距離の平均が最小となる点を求める。
【００３８】
探索した位置の合成を行なう（ステップ１２）。図１０は合成画像の説明図である。画像Ａと画像Ｂを特徴点間の距離の平均が最小となる合成位置を局所的に全探索した位置で合成し、合成画像Ａ＋Ｂを生成する。なお合成位置探索手段５０により合成画像上の画像取得漏れの箇所（図中の黒色領域）を記憶しておく。
【００３９】
次に合成画像Ａ＋Ｂに対して、新たな画像Ｃの特徴点と対応する特徴点をまとめる（ステップ１３）。図１１は合成画像と新たな画像の対応する特徴点の説明図である。前述のステップ３に示したように各画像間（画像Ａ＋Ｂと画像Ｃ）で特徴量の一致する特徴量を対応付けして合成対象候補とする。次に合成対象候補の有無を判定する（ステップ４）。
【００４０】
次にステップ４の合成対象となる画像候補の有無を判定する。合成対象候補がある場合には、対応する特徴点の数が最大となる画像の組を以下の後工程の対象とするステップ５移行を実行する。
そして合成対象候補が無い場合には、画像の合成処理が終わり、合成画像の完了となる（ステップ１４）。
【００４１】
次に合成画像が画像漏れ警告手段６２及び合成結果表示手段７０に出力される。画像漏れ警告手段６２では、合成画像上に画像の取得漏れが存在する場合には、取得漏れ箇所に警告信号を表示する、又はアラームを発生させる（ステップ１５）。画像漏れ警告手段６２による画像取得漏れの判断は、例えば、合成位置探索手段５０による探索した位置で合成を行う処理（ステップ１２）において、画像取得漏れの箇所を記憶しておき、この画像取得漏れ箇所が最終的な合成画像の完了時において、存在するか否かにより判断することができる。
【００４２】
合成結果表示手段７０により合成画像を出力する（ステップ１６）。図１２は完了した合成画像の説明図である。画像合成の出力は、画像データを画像表示手段のモニター上に表示することにより行われる。図１２は図１に示す（Ａ）から（Ｅ）までの画像の合成画像であり、合成画像の左右上端に取得漏れ箇所（黒色領域）が生じている。このような画像の取得漏れが生じている場合には、モニター上に取得漏れ箇所に警告信号を表示、又はアラーム音を発生させることにより画像取得漏れを確認することができる。
【００４３】
このような画像合成装置によれば、撮像手段による画像の撮影順や撮影位置などの画像取得情報がない場合であっても、合成画像を容易に生成することができる。合成対象となる画像と無関係の画像が入力された場合であっても、合成画像の対象から除去することにより他の合成対象候補を用いて画像合成処理を続行して合成画像を生成することができる。天井、床など変化の少ない画像に対しても、局所的特徴点及び特徴量を用いているため精度良く画像合成が行える。
【産業上の利用可能性】
【００４４】
本発明の画像合成装置及び画像合成方法は、ランダムに撮像された画像であっても、精度良く合成画像を容易に生成することができ、建築物等の外観検査などの分野において特に有用である。
【符号の説明】
【００４５】
１０………画像合成装置、２０………データ記憶手段、２２………撮像手段、３０………特徴点・特徴量抽出手段、４０………合成対象選定手段、５０………合成位置探索手段、６０………終了判定手段、６２………画像漏れ警告手段、７０………合成結果表示手段。

【特許請求の範囲】
【請求項１】
ランダムに撮像した複数の画像ごとに特徴点及び特徴量を抽出しておき、前記画像間で一致する前記特徴量を対応付けて合成対象候補とし、前記一致する前記特徴量が予め定めた閾値を満たすか否かの判断を行う合成対象選定手段と、
前記合成対象選定手段による前記合成対象候補の対応する前記特徴点のヒストグラムを作成し、前記ヒストグラムの最頻値に絞り込み、前記特徴点間の距離が最小となる合成位置の探索を行って合成画像を生成する合成位置探索手段と、
を備えたことを特徴とする画像合成装置。
【請求項２】
撮像手段によりランダムに撮像した複数の画像を記録する記憶手段と、
前記画像ごとに特徴点及び特徴量を抽出する特徴点・特徴量抽出手段と、
前記画像間で一致する前記特徴量を対応付けて合成対象候補とし、前記一致する前記特徴量が予め定めた閾値を満たすか否かの判断を行う合成対象探索手段と、
前記合成対象候補の対応する前記特徴点の距離及び角度のヒストグラムを作成し、前記ヒストグラムの最頻値に絞り込み、前記特徴点間の距離が最小となる合成位置の探索を行って合成画像を生成する合成位置探索手段と、
前記合成対象候補が存在しないとき前記合成画像を終了する終了判定手段と、
を備えたことを特徴とする画像合成装置。
【請求項３】
前記合成画像の取得漏れ箇所を警告する画像漏れ警告手段を備えたことを特徴とする請求項１又は２に記載の画像合成装置。
【請求項４】
ランダムに撮像した複数の画像ごとに特徴点及び特徴量を抽出し、
前記画像間で一致する前記特徴量を対応付けて合成対象候補とし、前記一致する前記特徴量が予め定めた閾値を満たすか否かの判断を行い、
前記合成対象候補の対応する前記特徴点の距離及び角度のヒストグラムを作成し、前記ヒストグラムの最頻値に絞り込み、前記特徴点間の距離が最小となる合成位置の探索を行って合成画像を生成することを特徴とする画像生成方法。
【請求項５】
前記ヒストグラムは、前記特徴点間の距離及び角度に基づいて行うことを特徴とする請求項４に記載の画像合成方法。
【請求項６】
前記合成画像に画像の取得漏れがあった場合に警告することを特徴とする請求項４又は５に記載の画像合成方法。

【図１】