画像処理装置及びプログラム
【課題】合成される複数の画像間にて照明変動による輝度変化が生じた場合であっても画像の追跡を精度良く、且つ、より高速に行う。
【解決手段】画像処理装置１００であって、映像信号処理部１３は、複数の画像の画像信号に基づいて、第二段階の画像追跡処理よりも複数の画像間における照明変動による輝度変化の影響を受け難いグローバルマッチングにて画像の追跡を行う第一の画像追跡処理と、照明変動による輝度変化に係る輝度変化情報に基づいて輝度が調整された複数の画像に係る画像信号、及び第一の画像追跡処理による画像の追跡結果に基づいて、当該第一の画像追跡処理による追跡方法よりも高速な勾配法にて画像の特徴点の追跡を行う第二の画像追跡処理とを行う。
【解決手段】画像処理装置１００であって、映像信号処理部１３は、複数の画像の画像信号に基づいて、第二段階の画像追跡処理よりも複数の画像間における照明変動による輝度変化の影響を受け難いグローバルマッチングにて画像の追跡を行う第一の画像追跡処理と、照明変動による輝度変化に係る輝度変化情報に基づいて輝度が調整された複数の画像に係る画像信号、及び第一の画像追跡処理による画像の追跡結果に基づいて、当該第一の画像追跡処理による追跡方法よりも高速な勾配法にて画像の特徴点の追跡を行う第二の画像追跡処理とを行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の追跡を行う画像処理装置及びプログラムに関する。
【背景技術】
【０００２】
近年、デジタルカメラ等の撮像装置は、複数回の撮像にて取得した画像を合成することにより、ノイズを押さえた画像やパノラマ画像等の取得を行うことができるようになっている。また、画像合成にあたって、画像がずれるのを防止するために、２つの画像からオプティカルフローを算出して、当該オプティカルフローに基づいて画像の合成位置を調整するものが開発されている。
【０００３】
ところで、オプティカルフローは、例えば、画像の特徴点の近傍にて勾配法を用いて算出されるようになっており、この勾配法は、具体的には、特徴点近傍にて下記式（１）を計算することにより行われるようになっている。
ここで、本来、合成される２つの画像（フレーム）において、対応する特定の画素どうしの輝度はほぼ等しくなるはずであるが、例えば、蛍光灯などの時間に応じて照度が変動する光源（照明）下にて撮像されると、フレームのサンプリング間隔にもよるが、対応する画素どうしの輝度が異なる場合がある。この場合に、式（１）をそのまま用いると、特徴点の勾配法による追跡の精度が低下してしまう虞があり、２つの画像の合成を適正に行うことができないといった問題がある。
ｇｒａｄ（ｐ）・ｖ＝−（∂ｆ／∂ｔ）ｐ（ｐ∈Ｕ） （１）
〔式（１）中、ｖはオプティカルフローであり、ｔは時間であり、ｆは画像（画素の位置（ｘ、ｙ）と時間ｔの関数として、ｆ（ｘ、ｙ、ｔ）と表される。）であり、ｐは画像中の所定の特徴点の画素であり、Ｕは特徴点の近傍の領域である。〕
【０００４】
そこで、輝度変化に対応するために、動きベクトルの検出にあたって、２つの画像の各々から輝度データに対する直流平均値を減算するよう構成された動きベクトル検出回路が開発されている（例えば、特許文献１参照）。
【特許文献１】特開平８−１４９４８２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、上記特許文献１に記載の技術を適用することにより、複数の画像間にて照明変動による輝度変化が生じた場合であっても画像の追跡を適正に行うことができることとなるといった利点があるが、当該処理はブロックマッチング法により行うものであることから計算に多くの時間がかかるといった問題がある。このため、デジタルカメラ等の撮像装置に適用することは現実的には困難となる。
【０００６】
そこで、本発明の課題は、合成される複数の画像間にて照明変動による輝度変化が生じた場合であっても画像の追跡を精度良く、且つ、より高速に行うことができる画像処理装置及びプログラムを提供することである。
【課題を解決するための手段】
【０００７】
請求項１に記載の発明の画像処理装置（例えば、図１の撮像装置１００等）は、
複数の画像の画像情報に基づいて、前記画像の追跡を行う第一の画像追跡手段（例えば、図２のオプティカルフロー検出部１３１等）と、
前記複数の画像情報に基づいて、前記複数の画像間における照明変動による輝度変化に係る輝度変化情報を算出する輝度変化情報算出手段（例えば、図２のオプティカルフロー検出部１３１等）と、
前記輝度変化情報算出手段により算出された前記輝度変化情報に基づいて、前記複数の画像の輝度を調整する輝度調整手段（例えば、図２のオプティカルフロー検出部１３１等）と、
前記輝度調整手段により輝度が調整された前記複数の画像に係る画像情報、及び前記第一の画像追跡手段による前記画像の追跡結果に基づいて、前記画像の追跡を行う第二の画像追跡手段（例えば、図２のオプティカルフロー検出部１３１等）と、
を備え、
前記第一の画像追跡手段による前記画像の追跡方法は、前記第二の画像追跡手段による前記画像の追跡方法よりも前記照明変動による輝度変化の影響を受け難い方法であることを特徴としている。
【０００８】
照明変動とは、画像が撮像される環境の光源の照度が時間に応じて変動することを言う。
【０００９】
請求項２に記載の発明は、請求項１に記載の画像処理装置において、
前記第一の画像追跡手段は、グローバルマッチングにより前記画像の追跡を行うことを特徴としている。
【００１０】
請求項３に記載の発明は、請求項１に記載の画像処理装置において、
前記複数の画像情報に基づいて、当該画像情報に係る画像の解像度を低減させた低解像度画像を作成する低解像度画像作成手段（例えば、図２のオプティカルフロー検出部１３１等）を備え、
前記第一の画像追跡手段は、前記低解像度画像作成手段により作成された前記低解像度画像に基づいて、グローバルマッチングにより前記画像の追跡を行うことを特徴としている。
【００１１】
請求項４に記載の発明は、請求項３に記載の画像処理装置において、
前記複数の画像のうち、少なくとも何れか一の画像の特徴点を抽出する特徴点抽出手段（例えば、図２のオプティカルフロー検出部１３１等）を備え、
前記第一の画像追跡手段は、前記低解像度画像においての前記特徴点抽出手段により抽出された前記特徴点を含む特徴点包含領域に基づいてグローバルマッチングを行い、
前記輝度変化情報算出手段は、前記第一の画像追跡手段により追跡された前記特徴点包含領域に係る画像情報に基づいて、前記輝度変化情報を算出し、
前記輝度調整手段は、前記輝度変化情報算出手段により算出された前記輝度変化情報に基づいて、前記複数の画像における前記特徴点包含領域の輝度を調整し、
前記第二の画像追跡手段は、前記複数の画像のうち、前記一の画像と異なる他の画像に係り、前記輝度調整手段により輝度が調整された前記特徴点包含領域に基づいて、前記特徴点を勾配法により追跡することを特徴としている。
【００１２】
請求項５に記載の発明のプログラムは、
画像処理装置（例えば、図１の撮像装置１００等）に、
複数の画像の画像情報に基づいて、前記画像の追跡を行う第一の画像追跡処理に係る機能と、
前記複数の画像情報に基づいて、前記複数の画像間における照明変動による輝度変化に係る輝度変化情報を算出する輝度変化情報算出処理に係る機能と、
前記輝度変化情報算出処理により算出された前記輝度変化情報に基づいて、前記複数の画像の輝度を調整する輝度調整処理に係る機能と、
前記輝度調整処理により輝度が調整された前記複数の画像に係る画像情報、及び前記第一の画像追跡処理による前記画像の追跡結果に基づいて、前記画像の追跡を行う第二の画像追跡処理に係る機能と、
を実現させるためのプログラムであって、
前記第一の画像追跡処理による前記画像の追跡方法は、前記第二の画像追跡処理による前記画像の追跡方法よりも前記照明変動による輝度変化の影響を受け難い方法であることを特徴としている。
【発明の効果】
【００１３】
請求項１に記載の発明によれば、合成される複数の画像間における照明変動による輝度変化の影響を第二段階の処理よりも受け難い第一段階の処理により画像の追跡を精度良く行うことができ、また、当該追跡結果を考慮し、且つ、照明変動による輝度変化に係る輝度変化情報に基づいて画像の輝度が調整された複数の画像情報に基づいて、第二段階の画像の追跡処理を行うことができる。これにより、第二段階の処理を、画像の追跡精度を低下させることなく、より高速に行うことができることとなる。
従って、複数の画像間にて照明変動による輝度変化が生じた場合であっても画像の追跡を精度良く、且つ、より高速に行うことができる。
【００１４】
請求項２に記載の発明によれば、請求項１に記載の発明と同様の効果が得られるのは無論のこと、特に、グローバルマッチングにより第一段階の処理に係る画像の追跡を行うことで当該画像の追跡精度をより高めることができる。
【００１５】
請求項３に記載の発明によれば、請求項１に記載の発明と同様の効果が得られるのは無論のこと、特に、グローバルマッチングにより第一段階の処理に係る画像の追跡を行うことで当該画像の追跡精度をより高めることができるとともに、画像の解像度を低減させた低解像度画像に基づいてグローバルマッチングを行うことにより、当該グローバルマッチングによる画像の追跡処理の速度をより高速化することができる。
【００１６】
請求項４に記載の発明によれば、請求項３に記載の発明と同様の効果が得られるのは無論のこと、特に、第一段階の画像の追跡処理としてのグローバルマッチングに用いられる特徴点包含領域に係る画像情報に基づいて輝度変化情報を算出して、当該輝度変化情報に基づいて複数の画像における特徴点包含領域の輝度を調整し、当該特徴点包含領域に基づいて特徴点を勾配法により追跡することができる。つまり、第二段階の処理に係る勾配法による特徴点の追跡に必要な領域の輝度を調整することができることとなり、第二段階の処理による画像の追跡の精度をより高めることができるとともに、その処理速度をより高速化することができる。
【００１７】
請求項５に記載の発明によれば、合成される複数の画像間における照明変動による輝度変化の影響を第二段階の処理よりも受け難い第一段階の処理により画像の追跡を精度良く行うことができ、また、当該追跡結果を考慮し、且つ、照明変動による輝度変化に係る輝度変化情報に基づいて画像の輝度が調整された複数の画像情報に基づいて、第二段階の画像の追跡処理を行うことができる。これにより、第二段階の処理を、画像の追跡精度を低下させることなく、より高速に行うことができることとなる。
従って、複数の画像間にて照明変動による輝度変化が生じた場合であっても画像の追跡を精度良く、且つ、より高速に行うことができる。
【発明を実施するための最良の形態】
【００１８】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
ここで、図１は、本発明を適用した画像処理装置の一実施形態として例示する撮像装置１００の要部構成を示すブロック図である。また、図２は、撮像装置１００の映像信号処理部１３を模式的に示した図である。
【００１９】
撮像装置１００は、例えば、デジタルカメラ等が適用され、具体的には、図１に示すように、被写体を撮像する撮像部１と、この撮像部１による被写体の撮像の際に駆動する撮像補助部２と、撮像部１により撮像された画像を表示する表示部３、当該撮像装置１００の所定操作を行うための操作部４と、撮像された画像を記録する記録媒体５と、外部機器との接続用のＵＳＢ端子６と、これら各部を制御する制御部７等を備えて構成されている。
【００２０】
撮像部１は、例えば、フォーカス機能及びズーム機能を有する撮像レンズ群１１と、この撮像レンズ群１１を通過した被写体像を二次元の画像信号に変換するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等からなる電子撮像部１２と、この電子撮像部１２から出力される画像信号に対して所定の画像処理を施す映像信号処理部１３と、画像処理後の画像信号を一時的に記憶する画像メモリ１４と、制御回路７１のＣＰＵの制御下にて、電子撮像部１２及び映像信号処理部１３を制御するための撮影制御部１５等を備えている。
【００２１】
映像信号処理部１３は、例えば、図２に示すように、合成される複数の画像に係る画像信号のピラミッド階層構造化、所定画像からの特徴点の抽出、抽出された特徴点の勾配法による追跡（トラック）等を行うオプティカルフロー検出部１３１と、特徴点どうしが対応付けられた特徴点対応表からランダムに所定数の特徴点を選択して、これらの特徴点を用いた射影変換（Ｈ計算）及び他の特徴点を用いたサポート計算等を行うＲＡＮＳＡＣ処理部１３２、画素どうしが対応する位置を計算して画像信号を加算（合成）する画像合成部１３３等を備えている。
【００２２】
制御部７は、例えば、撮像装置１００の各部を統括的に制御するＣＰＵを備える制御回路７１と、ＣＰＵの動作に必要な各種プログラムやデータを記憶するプログラムメモリ７２と、画像データ記憶用の内蔵フラッシュメモリであるデータメモリ７３等を備えている。
【００２３】
プログラムメモリ７２は、例えば、ピラミッド階層構造化プログラム７２ａ、特徴点抽出プログラム７２ｂ、第一の画像追跡プログラム７２ｃ、第二の画像追跡プログラム７２ｄ、輝度変化情報算出プログラム７２ｅ、輝度調整プログラム７２ｆ等を記憶している。
【００２４】
ピラミッド階層構造化プログラム７２ａは、ＣＰＵからの所定の制御信号に従って駆動する撮影制御部１５の制御下にて、撮像部１の映像信号処理部１３に、撮像部１による画像の撮像により入力された複数の画像信号に基づいて、例えば画像の縦横の画素を順次１／２倍ずつすることで画像（レイヤ）Ｇ１〜Ｇｎをピラミッド階層構造化（図３参照）させるピラミッド階層構造化処理に係る機能を実現させるためのプログラムである。
即ち、ＣＰＵによるピラミッド階層構造化プログラム７２ａの実行に基づいて、映像信号処理部１３のオプティカルフロー検出部１３１が、低解像度画像作成手段として、複数の画像信号に基づいて当該画像信号に係る画像の解像度を低減させた低解像度画像を作成するようになっている。
【００２５】
特徴点抽出プログラム７２ｂは、ＣＰＵからの所定の制御信号に従って駆動する撮影制御部１５の制御下にて、撮像部１の映像信号処理部１３に、特徴点抽出手段として、電子撮像部１２により所定間隔を空けて連続撮影された複数の画像（フレーム）に係る画像信号に基づいて、少なくとも何れか一の画像の特徴点を所定数抽出する特徴点抽出処理に係る機能を実現させるためのプログラムである。具体的には、ＣＰＵによる特徴点抽出プログラム７２ｂの実行に基づいて、例えば、映像信号処理部１３のオプティカルフロー検出部１３１が、２つの画像のうち、一方の画像から複数の特徴点を抽出するようになっている。
【００２６】
第一の画像追跡プログラム７２ｃは、ＣＰＵからの所定の制御信号に従って駆動する撮影制御部１５の制御下にて、撮像部１の映像信号処理部１３に、第一の画像追跡手段として、複数の画像の画像信号に基づいて、第二の画像追跡処理（後述）よりも複数の画像間における照明変動による輝度変化の影響を受け難い方法にて画像の追跡を行う第一の画像追跡処理に係る機能を実現させるためのプログラムである。具体的には、ＣＰＵによる第一の画像追跡プログラム７２ｃの実行に基づいて、例えば、映像信号処理部１３のオプティカルフロー検出部１３１が、時間に応じて照度が変動する蛍光灯などの光源（照明）下にて複数の画像が撮像されてもこれら複数の画像間における照明変動による輝度変化の影響を受け難いグローバルマッチングにより画像の追跡を行うようになっている。
より具体的には、オプティカルフロー検出部１３１は、画像信号のピラミッド階層構造化処理により作成される最も解像度の低いレイヤＧｎの中で略中心近傍の所定の特徴点を特徴点包含領域Ｒに基づいて、グローバルマッチングにより画像の追跡を行うようになっている（図４（ａ）及び図４（ｂ）参照）。即ち、グローバルマッチングは、合成される複数の画像におけるそれぞれの最も解像度の低いレイヤＧｎに対して、一の画像に係るレイヤの中心近傍の特徴点包含領域Ｒとほぼ等しくなる領域を他の画像に係るレイヤＧ全体の中で探索するものである。
【００２７】
第二の画像追跡プログラム７２ｄは、ＣＰＵからの所定の制御信号に従って駆動する撮影制御部１５の制御下にて、撮像部１の映像信号処理部１３に、第二の画像追跡手段として、後述する輝度調整処理にて輝度が調整された複数の画像信号、及び第一の画像追跡処理による画像の追跡結果に基づいて、当該画像の追跡を行う第二の画像追跡処理に係る機能を実現させるためのプログラムである。
具体的には、ＣＰＵによる第二の画像追跡プログラム７２ｄの実行に基づいて、例えば、映像信号処理部１３のオプティカルフロー検出部１３１が、特徴点抽出処理にて特徴点が抽出された一の画像と異なる他の画像における、第一の画像追跡処理にて画像が追跡（探索）された特徴点包含領域Ｒに相当する領域内にて、所定の特徴点の追跡を勾配法により行うようになっている。より具体的には、第二の画像追跡処理に係る勾配法にあっては、オプティカルフロー検出部１３１は、例えば、ピラミッド階層構造化された画像（レイヤ）Ｇ１〜Ｇｎのうち、最も解像度が低いものＧｎの次に解像度が高いレイヤＧｎ−１の画像から解像度が高い方に順次勾配法により特徴点の追跡を行うようになっている（図３参照）。
なお、勾配法による特徴点の追跡は、解像度が最も高い実際に合成される元の画像Ｇ１に対してまで行う必要はなく、ある段階のレイヤに対する特徴点の追跡により推定されたオプティカルフローを画像合成に用いるようにしても良い。
【００２８】
また、本発明に係る第二の画像追跡処理は、複数の画像間における照明変動による輝度変化を考慮した勾配法により行われるようになっている。
即ち、合成される複数の画像は、撮像環境によっては照明変動が生じることにより当該画像間において輝度が異なる照明変動による輝度変化が生じている場合があり、この場合には、式（２）を用いた特徴点の勾配法による画像の追跡の精度が低下してしまう虞がある。
ｇｒａｄ（ｐ）・ｖ＝−（∂ｆ／∂ｔ）ｐ（ｐ∈Ｕ） （２）
そこで、輝度変化値ｋｔを画素の位置には関係しない時間の関数として、当該輝度変化値ｋｔを用いて上記式（２）を下記式（３）のように変形することで、照明変動による輝度変化を考慮した勾配法により画像の追跡を行うことができることとなる。
ｇｒａｄ（ｐ）・ｖ＝−（∂ｆ／∂ｔ）ｐ＋ｋｔ（ｐ∈Ｕ） （３）
【００２９】
輝度変化情報算出プログラム７２ｅは、ＣＰＵからの所定の制御信号に従って駆動する撮影制御部１５の制御下にて、撮像部１の映像信号処理部１３に、輝度変化情報算出手段として、合成される複数の画像信号に基づいて、合成される複数の画像間における照明変動による輝度変化に係る輝度変化値ｋｔを算出する輝度変化情報算出処理に係る機能を実現させるためのプログラムである。
以下に、輝度変化値ｋｔの算出方法について具体的に説明する。
即ち、例えば、デジタルカメラにより撮像された連続画像の一枚目の指定領域内での位置（ｘ、ｙ）の輝度をＹ（ｘ、ｙ、０）＝ｆ（ｘ、ｙ、０）とすると、二枚目で対応する位置の輝度については、Ｙ（ｘ、ｙ、１）＝ｆ（ｘ、ｙ、１）＋ｋｔとなり、ｋｔ＝Ｙ（ｘ、ｙ、１）−Ｙ（ｘ、ｙ、０）と求めることができる。
そして、上記の演算処理は、指定領域内の一点についてだけでは信頼性に欠けるので、例えば、指定領域全体について行うと、輝度変化値ｋｔは、下記式（４）のように指定領域間の輝度差の合計を指定領域の画素数Ｐｒで除算した値となる。
ｋｔ＝Σ（｜Ｙｔ−Ｙｔ−１｜）／Ｐｒ （４）
【００３０】
なお、本実施形態における輝度変化情報算出処理にあっては、演算処理時間の低減を図る上で、例えば、映像信号処理部１３のオプティカルフロー検出部１３１が、第一の画像追跡処理により画像の追跡が行われた最も解像度の低い画像における特徴点包含領域Ｒに係る画像信号に基づいて、輝度変化値ｋｔの算出を行うようになっている。
【００３１】
輝度調整プログラム７２ｆは、ＣＰＵからの所定の制御信号に従って駆動する撮影制御部１５の制御下にて、撮像部１の映像信号処理部１３に、輝度調整手段として、輝度変化情報算出処理にて算出された輝度変化値ｋｔに基づいて、合成される複数の画像の輝度を調整する輝度調整処理に係る機能を実現させるためのプログラムである。
具体的には、ＣＰＵによる輝度調整プログラム７２ｆの実行に基づいて、例えば、映像信号処理部１３のオプティカルフロー検出部１３１が、輝度変化情報算出処理にて算出された輝度変化値ｋｔを式（３）に代入することで、第二の画像追跡処理にて輝度調整が行われた画像信号を用いて勾配法による追跡を行うことができるようになっている。
【００３２】
撮像補助部２は、例えば、撮像レンズ群１１に接続されたフォーカス機構部（図示略）を駆動させるためのフォーカス駆動部２１と、撮像レンズ群１１に接続されたズーム機構部（図示略）を駆動させるためのズーム駆動部２２と、ストロボ発光部２３を発光させるためのストロボ駆動部２４等を備えている。
これらフォーカス駆動部２１、ズーム駆動部２２及びストロボ駆動部２４は、例えば、撮影制御部１５に接続され、撮影制御部１５の制御下にて駆動するようになっている。
【００３３】
表示部３は、例えば、ＣＰＵから適宜出力される表示データを一時的に保存するビデオメモリ（ＶＲＡＭ）を備える表示制御部３１と、この表示制御部３１からの出力信号に基づいて所定の画像を表示する液晶モニタ等の画像表示部３２等を備えている。
【００３４】
操作部４は、例えば、当該撮像装置１００の各部に設けられた撮影スイッチ、各種操作スイッチ等を備える操作入力部４１と、この操作入力部４１から入力された操作信号をＣＰＵに入力するための入力回路４２等を備えている。
【００３５】
記録媒体５としては、例えば、カード型のフラッシュメモリやハードディスク等を適用することができる。
【００３６】
次に、画像追跡処理について図５を参照して説明する。
ここで、図５は、撮像装置１００による画像追跡処理に係る動作の一例を示すフローチャートである。
【００３７】
図５に示すように、先ず、撮像装置１００のユーザによる所定操作に基づいて連続して画像が撮像されて映像信号処理部１３に入力されると（ステップＳ１）、映像信号処理部１３は、ＣＰＵによるピラミッド階層構造化プログラム７２ａの実行に基づいて、入力された画像信号（例えば、ＲＧＢ信号のうちのＧ信号）をピラミッド階層構造化する処理を行う（ステップＳ２；図３参照）。
【００３８】
次に、映像信号処理部１３は、ＣＰＵによる特徴点抽出プログラム７２ｂの実行に基づいて、例えば、撮像された２つ画像のうちの何れか一方の画像の特徴点を所定数抽出する特徴点抽出処理を行う（ステップＳ３）。
続けて、映像信号処理部１３は、ＣＰＵによる第一の画像追跡プログラム７２ｃの実行に基づいて、ピラミッド階層構造化処理により作成された最も解像度の低いレイヤＧｎの中で所定の特徴点包含領域Ｒに対してグローバルマッチング（第一の画像追跡処理）を行う（ステップＳ４；図４（ａ）及び図４（ｂ）参照））。
【００３９】
その後、映像信号処理部１３は、ＣＰＵによる輝度変化情報算出プログラム７２ｅの実行に基づいて、第一の画像追跡処理により画像の追跡が行われた特徴点包含領域Ｒを指定領域としてこれに係る画像信号を用いて、上記式（４）により複数の画像間における照明変動による輝度変化に係る輝度変化値ｋｔを算出する輝度変化情報算出処理を行う（ステップＳ５）。
次に、映像信号処理部１３は、ＣＰＵによる輝度調整プログラム７２ｆの実行に基づいて、輝度変化情報算出処理にて算出された輝度変化値ｋｔを上記式（３）に代入し、続けて、ＣＰＵによる第二の画像追跡プログラム７２ｄの実行に基づいて、残りのレイヤＧ１〜Ｇｎ−１に対して上記式（３）を用いて勾配法により特徴点の追跡を行う（ステップＳ６）。具体的には、映像信号処理部１３は、先ず、第一の画像追跡処理に用いられた最も解像度が低いものの次に解像度が高いレイヤＧｎ−１に対して上記式（３）により特徴点の勾配法による追跡を行った後、当該追跡結果を参考にして、次に解像度が高いレイヤＧｎ−２に対して特徴点の追跡を行うように、各レイヤＧ１〜Ｇｎ−１に対して順次勾配法により特徴点の追跡を行う。
【００４０】
上記のようにして、合成される複数の画像におけるオプティカルフローが推定されると（ステップＳ７）、画像追跡処理が終了となる。
その後、映像信号処理部１３は、全ての特徴点について特徴点対応表を作成し、続けて、映像信号処理部１３のＲＡＮＳＡＣ処理部１３２は、特徴点対応表からの特徴点のランダムな選択及びこれらの特徴点を用いた射影変換を繰り返し行った後、画像合成部１３３は、特徴点どうしが対応する画像どうしを合成する処理を行うようになっている。
【００４１】
以上のように、本実施形態の撮像装置１００によれば、合成される複数の画像間における照明変動による輝度変化の影響を勾配法による第二段階の処理よりも受け難いグローバルマッチングによる第一段階の処理によって、画像の追跡を精度良く行うことができ、さらに、当該追跡結果を考慮し、且つ、照明変動による輝度変化に係る輝度変化値ｋｔに基づいて画像の輝度が調整された複数の画像信号に基づいて、勾配法による第二段階の画像追跡処理を行うことができる。これにより、第二段階の画像追跡処理を、精度を低下させることなく、より高速に行うことができることとなる。
従って、複数の画像間にて照明変動による輝度変化が生じた場合であっても画像の追跡を精度良く、且つ、より高速に行うことができる。
このように、デジタルカメラ等の撮像装置１００に現実に適用することができる画像追跡方法を提供することができる。
【００４２】
また、最も解像度の低いレイヤＧｎに基づいてグローバルマッチングを行うことによって、第一段階の画像の追跡処理の速度をより高速化することができる。
さらに、特徴点包含領域Ｒに係る画像信号に基づいて輝度変化値ｋｔを算出して、当該輝度変化値ｋｔに基づいて複数の画像における特徴点包含領域Ｒの輝度を調整し、当該特徴点包含領域Ｒに基づいて特徴点の追跡を勾配法により行うことができる。つまり、第二段階の処理に係る勾配法による特徴点の追跡に必要な領域Ｒの輝度を調整することができることとなり、第二段階の処理による画像の追跡の精度をより高めることができるとともに、その処理速度をより高速化することができる。
【００４３】
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、特徴点包含領域Ｒに係る画像信号を用いて、複数の画像間における照明変動による輝度変化に係る輝度変化値ｋｔを算出して、当該輝度変化値ｋｔに基づいて、複数の画像の輝度を調整するようにしたが、これに限られるものではなく、特徴点近傍領域Ｒ内の特徴点の近傍の領域のみを用いて輝度変化値ｋｔを算出しても良い。これにより、輝度調整に係る処理の高速化を図り、結果として、画像の追跡処理の速度をより高速化することができる。
【００４４】
また、上記実施形態では、本発明に係る画像処理装置として、撮像された複数の画像の合成を行う撮像装置１００を例示したが、これに限られるものではなく、少なくとも特徴点の追跡処理を行うことができる装置であれば如何なるものであっても良い。
また、第一段階の画像追跡処理は、グローバルマッチングに限られるものではなく、第二段階の画像追跡処理よりも複数の画像間における照明変動による輝度変化の影響を受け難い方法であれば如何なる方法であっても良く、また、第二段階の画像追跡処理は、勾配法に限られるものではない。
【図面の簡単な説明】
【００４５】
【図１】本発明を適用した画像処理装置の一実施形態として例示する撮像装置の要部構成を示すブロック図である。
【図２】図１の撮像装置の映像信号処理部を模式的に示した図である。
【図３】図１の撮像装置による画像追跡処理に係るピラミッド階層構造化処理を模式的に示した図である。
【図４】図１の撮像装置による画像追跡処理に係るグローバルマッチングを模式的に示した図である。
【図５】図１の撮像装置による画像追跡処理に係る動作の一例を示すフローチャートである。
【符号の説明】
【００４６】
１００ 撮像装置（画像処理装置）
１ 撮像部
１２ 電子撮像部
１３ 映像信号処理部
１３１ オプティカルフロー検出部（第一の画像追跡手段、輝度変化情報算出手段、輝度調整手段、第二の画像追跡手段、低解像度画像作成手段、特徴点抽出手段）
１３２ ＲＡＮＳＡＣ処理部
１３３ 画像合成部
１５ 撮影制御部
７ 制御部
７１ 制御回路
７２ プログラムメモリ
Ｒ 特徴点包含領域
【技術分野】
【０００１】
本発明は、画像の追跡を行う画像処理装置及びプログラムに関する。
【背景技術】
【０００２】
近年、デジタルカメラ等の撮像装置は、複数回の撮像にて取得した画像を合成することにより、ノイズを押さえた画像やパノラマ画像等の取得を行うことができるようになっている。また、画像合成にあたって、画像がずれるのを防止するために、２つの画像からオプティカルフローを算出して、当該オプティカルフローに基づいて画像の合成位置を調整するものが開発されている。
【０００３】
ところで、オプティカルフローは、例えば、画像の特徴点の近傍にて勾配法を用いて算出されるようになっており、この勾配法は、具体的には、特徴点近傍にて下記式（１）を計算することにより行われるようになっている。
ここで、本来、合成される２つの画像（フレーム）において、対応する特定の画素どうしの輝度はほぼ等しくなるはずであるが、例えば、蛍光灯などの時間に応じて照度が変動する光源（照明）下にて撮像されると、フレームのサンプリング間隔にもよるが、対応する画素どうしの輝度が異なる場合がある。この場合に、式（１）をそのまま用いると、特徴点の勾配法による追跡の精度が低下してしまう虞があり、２つの画像の合成を適正に行うことができないといった問題がある。
ｇｒａｄ（ｐ）・ｖ＝−（∂ｆ／∂ｔ）ｐ（ｐ∈Ｕ） （１）
〔式（１）中、ｖはオプティカルフローであり、ｔは時間であり、ｆは画像（画素の位置（ｘ、ｙ）と時間ｔの関数として、ｆ（ｘ、ｙ、ｔ）と表される。）であり、ｐは画像中の所定の特徴点の画素であり、Ｕは特徴点の近傍の領域である。〕
【０００４】
そこで、輝度変化に対応するために、動きベクトルの検出にあたって、２つの画像の各々から輝度データに対する直流平均値を減算するよう構成された動きベクトル検出回路が開発されている（例えば、特許文献１参照）。
【特許文献１】特開平８−１４９４８２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、上記特許文献１に記載の技術を適用することにより、複数の画像間にて照明変動による輝度変化が生じた場合であっても画像の追跡を適正に行うことができることとなるといった利点があるが、当該処理はブロックマッチング法により行うものであることから計算に多くの時間がかかるといった問題がある。このため、デジタルカメラ等の撮像装置に適用することは現実的には困難となる。
【０００６】
そこで、本発明の課題は、合成される複数の画像間にて照明変動による輝度変化が生じた場合であっても画像の追跡を精度良く、且つ、より高速に行うことができる画像処理装置及びプログラムを提供することである。
【課題を解決するための手段】
【０００７】
請求項１に記載の発明の画像処理装置（例えば、図１の撮像装置１００等）は、
複数の画像の画像情報に基づいて、前記画像の追跡を行う第一の画像追跡手段（例えば、図２のオプティカルフロー検出部１３１等）と、
前記複数の画像情報に基づいて、前記複数の画像間における照明変動による輝度変化に係る輝度変化情報を算出する輝度変化情報算出手段（例えば、図２のオプティカルフロー検出部１３１等）と、
前記輝度変化情報算出手段により算出された前記輝度変化情報に基づいて、前記複数の画像の輝度を調整する輝度調整手段（例えば、図２のオプティカルフロー検出部１３１等）と、
前記輝度調整手段により輝度が調整された前記複数の画像に係る画像情報、及び前記第一の画像追跡手段による前記画像の追跡結果に基づいて、前記画像の追跡を行う第二の画像追跡手段（例えば、図２のオプティカルフロー検出部１３１等）と、
を備え、
前記第一の画像追跡手段による前記画像の追跡方法は、前記第二の画像追跡手段による前記画像の追跡方法よりも前記照明変動による輝度変化の影響を受け難い方法であることを特徴としている。
【０００８】
照明変動とは、画像が撮像される環境の光源の照度が時間に応じて変動することを言う。
【０００９】
請求項２に記載の発明は、請求項１に記載の画像処理装置において、
前記第一の画像追跡手段は、グローバルマッチングにより前記画像の追跡を行うことを特徴としている。
【００１０】
請求項３に記載の発明は、請求項１に記載の画像処理装置において、
前記複数の画像情報に基づいて、当該画像情報に係る画像の解像度を低減させた低解像度画像を作成する低解像度画像作成手段（例えば、図２のオプティカルフロー検出部１３１等）を備え、
前記第一の画像追跡手段は、前記低解像度画像作成手段により作成された前記低解像度画像に基づいて、グローバルマッチングにより前記画像の追跡を行うことを特徴としている。
【００１１】
請求項４に記載の発明は、請求項３に記載の画像処理装置において、
前記複数の画像のうち、少なくとも何れか一の画像の特徴点を抽出する特徴点抽出手段（例えば、図２のオプティカルフロー検出部１３１等）を備え、
前記第一の画像追跡手段は、前記低解像度画像においての前記特徴点抽出手段により抽出された前記特徴点を含む特徴点包含領域に基づいてグローバルマッチングを行い、
前記輝度変化情報算出手段は、前記第一の画像追跡手段により追跡された前記特徴点包含領域に係る画像情報に基づいて、前記輝度変化情報を算出し、
前記輝度調整手段は、前記輝度変化情報算出手段により算出された前記輝度変化情報に基づいて、前記複数の画像における前記特徴点包含領域の輝度を調整し、
前記第二の画像追跡手段は、前記複数の画像のうち、前記一の画像と異なる他の画像に係り、前記輝度調整手段により輝度が調整された前記特徴点包含領域に基づいて、前記特徴点を勾配法により追跡することを特徴としている。
【００１２】
請求項５に記載の発明のプログラムは、
画像処理装置（例えば、図１の撮像装置１００等）に、
複数の画像の画像情報に基づいて、前記画像の追跡を行う第一の画像追跡処理に係る機能と、
前記複数の画像情報に基づいて、前記複数の画像間における照明変動による輝度変化に係る輝度変化情報を算出する輝度変化情報算出処理に係る機能と、
前記輝度変化情報算出処理により算出された前記輝度変化情報に基づいて、前記複数の画像の輝度を調整する輝度調整処理に係る機能と、
前記輝度調整処理により輝度が調整された前記複数の画像に係る画像情報、及び前記第一の画像追跡処理による前記画像の追跡結果に基づいて、前記画像の追跡を行う第二の画像追跡処理に係る機能と、
を実現させるためのプログラムであって、
前記第一の画像追跡処理による前記画像の追跡方法は、前記第二の画像追跡処理による前記画像の追跡方法よりも前記照明変動による輝度変化の影響を受け難い方法であることを特徴としている。
【発明の効果】
【００１３】
請求項１に記載の発明によれば、合成される複数の画像間における照明変動による輝度変化の影響を第二段階の処理よりも受け難い第一段階の処理により画像の追跡を精度良く行うことができ、また、当該追跡結果を考慮し、且つ、照明変動による輝度変化に係る輝度変化情報に基づいて画像の輝度が調整された複数の画像情報に基づいて、第二段階の画像の追跡処理を行うことができる。これにより、第二段階の処理を、画像の追跡精度を低下させることなく、より高速に行うことができることとなる。
従って、複数の画像間にて照明変動による輝度変化が生じた場合であっても画像の追跡を精度良く、且つ、より高速に行うことができる。
【００１４】
請求項２に記載の発明によれば、請求項１に記載の発明と同様の効果が得られるのは無論のこと、特に、グローバルマッチングにより第一段階の処理に係る画像の追跡を行うことで当該画像の追跡精度をより高めることができる。
【００１５】
請求項３に記載の発明によれば、請求項１に記載の発明と同様の効果が得られるのは無論のこと、特に、グローバルマッチングにより第一段階の処理に係る画像の追跡を行うことで当該画像の追跡精度をより高めることができるとともに、画像の解像度を低減させた低解像度画像に基づいてグローバルマッチングを行うことにより、当該グローバルマッチングによる画像の追跡処理の速度をより高速化することができる。
【００１６】
請求項４に記載の発明によれば、請求項３に記載の発明と同様の効果が得られるのは無論のこと、特に、第一段階の画像の追跡処理としてのグローバルマッチングに用いられる特徴点包含領域に係る画像情報に基づいて輝度変化情報を算出して、当該輝度変化情報に基づいて複数の画像における特徴点包含領域の輝度を調整し、当該特徴点包含領域に基づいて特徴点を勾配法により追跡することができる。つまり、第二段階の処理に係る勾配法による特徴点の追跡に必要な領域の輝度を調整することができることとなり、第二段階の処理による画像の追跡の精度をより高めることができるとともに、その処理速度をより高速化することができる。
【００１７】
請求項５に記載の発明によれば、合成される複数の画像間における照明変動による輝度変化の影響を第二段階の処理よりも受け難い第一段階の処理により画像の追跡を精度良く行うことができ、また、当該追跡結果を考慮し、且つ、照明変動による輝度変化に係る輝度変化情報に基づいて画像の輝度が調整された複数の画像情報に基づいて、第二段階の画像の追跡処理を行うことができる。これにより、第二段階の処理を、画像の追跡精度を低下させることなく、より高速に行うことができることとなる。
従って、複数の画像間にて照明変動による輝度変化が生じた場合であっても画像の追跡を精度良く、且つ、より高速に行うことができる。
【発明を実施するための最良の形態】
【００１８】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
ここで、図１は、本発明を適用した画像処理装置の一実施形態として例示する撮像装置１００の要部構成を示すブロック図である。また、図２は、撮像装置１００の映像信号処理部１３を模式的に示した図である。
【００１９】
撮像装置１００は、例えば、デジタルカメラ等が適用され、具体的には、図１に示すように、被写体を撮像する撮像部１と、この撮像部１による被写体の撮像の際に駆動する撮像補助部２と、撮像部１により撮像された画像を表示する表示部３、当該撮像装置１００の所定操作を行うための操作部４と、撮像された画像を記録する記録媒体５と、外部機器との接続用のＵＳＢ端子６と、これら各部を制御する制御部７等を備えて構成されている。
【００２０】
撮像部１は、例えば、フォーカス機能及びズーム機能を有する撮像レンズ群１１と、この撮像レンズ群１１を通過した被写体像を二次元の画像信号に変換するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等からなる電子撮像部１２と、この電子撮像部１２から出力される画像信号に対して所定の画像処理を施す映像信号処理部１３と、画像処理後の画像信号を一時的に記憶する画像メモリ１４と、制御回路７１のＣＰＵの制御下にて、電子撮像部１２及び映像信号処理部１３を制御するための撮影制御部１５等を備えている。
【００２１】
映像信号処理部１３は、例えば、図２に示すように、合成される複数の画像に係る画像信号のピラミッド階層構造化、所定画像からの特徴点の抽出、抽出された特徴点の勾配法による追跡（トラック）等を行うオプティカルフロー検出部１３１と、特徴点どうしが対応付けられた特徴点対応表からランダムに所定数の特徴点を選択して、これらの特徴点を用いた射影変換（Ｈ計算）及び他の特徴点を用いたサポート計算等を行うＲＡＮＳＡＣ処理部１３２、画素どうしが対応する位置を計算して画像信号を加算（合成）する画像合成部１３３等を備えている。
【００２２】
制御部７は、例えば、撮像装置１００の各部を統括的に制御するＣＰＵを備える制御回路７１と、ＣＰＵの動作に必要な各種プログラムやデータを記憶するプログラムメモリ７２と、画像データ記憶用の内蔵フラッシュメモリであるデータメモリ７３等を備えている。
【００２３】
プログラムメモリ７２は、例えば、ピラミッド階層構造化プログラム７２ａ、特徴点抽出プログラム７２ｂ、第一の画像追跡プログラム７２ｃ、第二の画像追跡プログラム７２ｄ、輝度変化情報算出プログラム７２ｅ、輝度調整プログラム７２ｆ等を記憶している。
【００２４】
ピラミッド階層構造化プログラム７２ａは、ＣＰＵからの所定の制御信号に従って駆動する撮影制御部１５の制御下にて、撮像部１の映像信号処理部１３に、撮像部１による画像の撮像により入力された複数の画像信号に基づいて、例えば画像の縦横の画素を順次１／２倍ずつすることで画像（レイヤ）Ｇ１〜Ｇｎをピラミッド階層構造化（図３参照）させるピラミッド階層構造化処理に係る機能を実現させるためのプログラムである。
即ち、ＣＰＵによるピラミッド階層構造化プログラム７２ａの実行に基づいて、映像信号処理部１３のオプティカルフロー検出部１３１が、低解像度画像作成手段として、複数の画像信号に基づいて当該画像信号に係る画像の解像度を低減させた低解像度画像を作成するようになっている。
【００２５】
特徴点抽出プログラム７２ｂは、ＣＰＵからの所定の制御信号に従って駆動する撮影制御部１５の制御下にて、撮像部１の映像信号処理部１３に、特徴点抽出手段として、電子撮像部１２により所定間隔を空けて連続撮影された複数の画像（フレーム）に係る画像信号に基づいて、少なくとも何れか一の画像の特徴点を所定数抽出する特徴点抽出処理に係る機能を実現させるためのプログラムである。具体的には、ＣＰＵによる特徴点抽出プログラム７２ｂの実行に基づいて、例えば、映像信号処理部１３のオプティカルフロー検出部１３１が、２つの画像のうち、一方の画像から複数の特徴点を抽出するようになっている。
【００２６】
第一の画像追跡プログラム７２ｃは、ＣＰＵからの所定の制御信号に従って駆動する撮影制御部１５の制御下にて、撮像部１の映像信号処理部１３に、第一の画像追跡手段として、複数の画像の画像信号に基づいて、第二の画像追跡処理（後述）よりも複数の画像間における照明変動による輝度変化の影響を受け難い方法にて画像の追跡を行う第一の画像追跡処理に係る機能を実現させるためのプログラムである。具体的には、ＣＰＵによる第一の画像追跡プログラム７２ｃの実行に基づいて、例えば、映像信号処理部１３のオプティカルフロー検出部１３１が、時間に応じて照度が変動する蛍光灯などの光源（照明）下にて複数の画像が撮像されてもこれら複数の画像間における照明変動による輝度変化の影響を受け難いグローバルマッチングにより画像の追跡を行うようになっている。
より具体的には、オプティカルフロー検出部１３１は、画像信号のピラミッド階層構造化処理により作成される最も解像度の低いレイヤＧｎの中で略中心近傍の所定の特徴点を特徴点包含領域Ｒに基づいて、グローバルマッチングにより画像の追跡を行うようになっている（図４（ａ）及び図４（ｂ）参照）。即ち、グローバルマッチングは、合成される複数の画像におけるそれぞれの最も解像度の低いレイヤＧｎに対して、一の画像に係るレイヤの中心近傍の特徴点包含領域Ｒとほぼ等しくなる領域を他の画像に係るレイヤＧ全体の中で探索するものである。
【００２７】
第二の画像追跡プログラム７２ｄは、ＣＰＵからの所定の制御信号に従って駆動する撮影制御部１５の制御下にて、撮像部１の映像信号処理部１３に、第二の画像追跡手段として、後述する輝度調整処理にて輝度が調整された複数の画像信号、及び第一の画像追跡処理による画像の追跡結果に基づいて、当該画像の追跡を行う第二の画像追跡処理に係る機能を実現させるためのプログラムである。
具体的には、ＣＰＵによる第二の画像追跡プログラム７２ｄの実行に基づいて、例えば、映像信号処理部１３のオプティカルフロー検出部１３１が、特徴点抽出処理にて特徴点が抽出された一の画像と異なる他の画像における、第一の画像追跡処理にて画像が追跡（探索）された特徴点包含領域Ｒに相当する領域内にて、所定の特徴点の追跡を勾配法により行うようになっている。より具体的には、第二の画像追跡処理に係る勾配法にあっては、オプティカルフロー検出部１３１は、例えば、ピラミッド階層構造化された画像（レイヤ）Ｇ１〜Ｇｎのうち、最も解像度が低いものＧｎの次に解像度が高いレイヤＧｎ−１の画像から解像度が高い方に順次勾配法により特徴点の追跡を行うようになっている（図３参照）。
なお、勾配法による特徴点の追跡は、解像度が最も高い実際に合成される元の画像Ｇ１に対してまで行う必要はなく、ある段階のレイヤに対する特徴点の追跡により推定されたオプティカルフローを画像合成に用いるようにしても良い。
【００２８】
また、本発明に係る第二の画像追跡処理は、複数の画像間における照明変動による輝度変化を考慮した勾配法により行われるようになっている。
即ち、合成される複数の画像は、撮像環境によっては照明変動が生じることにより当該画像間において輝度が異なる照明変動による輝度変化が生じている場合があり、この場合には、式（２）を用いた特徴点の勾配法による画像の追跡の精度が低下してしまう虞がある。
ｇｒａｄ（ｐ）・ｖ＝−（∂ｆ／∂ｔ）ｐ（ｐ∈Ｕ） （２）
そこで、輝度変化値ｋｔを画素の位置には関係しない時間の関数として、当該輝度変化値ｋｔを用いて上記式（２）を下記式（３）のように変形することで、照明変動による輝度変化を考慮した勾配法により画像の追跡を行うことができることとなる。
ｇｒａｄ（ｐ）・ｖ＝−（∂ｆ／∂ｔ）ｐ＋ｋｔ（ｐ∈Ｕ） （３）
【００２９】
輝度変化情報算出プログラム７２ｅは、ＣＰＵからの所定の制御信号に従って駆動する撮影制御部１５の制御下にて、撮像部１の映像信号処理部１３に、輝度変化情報算出手段として、合成される複数の画像信号に基づいて、合成される複数の画像間における照明変動による輝度変化に係る輝度変化値ｋｔを算出する輝度変化情報算出処理に係る機能を実現させるためのプログラムである。
以下に、輝度変化値ｋｔの算出方法について具体的に説明する。
即ち、例えば、デジタルカメラにより撮像された連続画像の一枚目の指定領域内での位置（ｘ、ｙ）の輝度をＹ（ｘ、ｙ、０）＝ｆ（ｘ、ｙ、０）とすると、二枚目で対応する位置の輝度については、Ｙ（ｘ、ｙ、１）＝ｆ（ｘ、ｙ、１）＋ｋｔとなり、ｋｔ＝Ｙ（ｘ、ｙ、１）−Ｙ（ｘ、ｙ、０）と求めることができる。
そして、上記の演算処理は、指定領域内の一点についてだけでは信頼性に欠けるので、例えば、指定領域全体について行うと、輝度変化値ｋｔは、下記式（４）のように指定領域間の輝度差の合計を指定領域の画素数Ｐｒで除算した値となる。
ｋｔ＝Σ（｜Ｙｔ−Ｙｔ−１｜）／Ｐｒ （４）
【００３０】
なお、本実施形態における輝度変化情報算出処理にあっては、演算処理時間の低減を図る上で、例えば、映像信号処理部１３のオプティカルフロー検出部１３１が、第一の画像追跡処理により画像の追跡が行われた最も解像度の低い画像における特徴点包含領域Ｒに係る画像信号に基づいて、輝度変化値ｋｔの算出を行うようになっている。
【００３１】
輝度調整プログラム７２ｆは、ＣＰＵからの所定の制御信号に従って駆動する撮影制御部１５の制御下にて、撮像部１の映像信号処理部１３に、輝度調整手段として、輝度変化情報算出処理にて算出された輝度変化値ｋｔに基づいて、合成される複数の画像の輝度を調整する輝度調整処理に係る機能を実現させるためのプログラムである。
具体的には、ＣＰＵによる輝度調整プログラム７２ｆの実行に基づいて、例えば、映像信号処理部１３のオプティカルフロー検出部１３１が、輝度変化情報算出処理にて算出された輝度変化値ｋｔを式（３）に代入することで、第二の画像追跡処理にて輝度調整が行われた画像信号を用いて勾配法による追跡を行うことができるようになっている。
【００３２】
撮像補助部２は、例えば、撮像レンズ群１１に接続されたフォーカス機構部（図示略）を駆動させるためのフォーカス駆動部２１と、撮像レンズ群１１に接続されたズーム機構部（図示略）を駆動させるためのズーム駆動部２２と、ストロボ発光部２３を発光させるためのストロボ駆動部２４等を備えている。
これらフォーカス駆動部２１、ズーム駆動部２２及びストロボ駆動部２４は、例えば、撮影制御部１５に接続され、撮影制御部１５の制御下にて駆動するようになっている。
【００３３】
表示部３は、例えば、ＣＰＵから適宜出力される表示データを一時的に保存するビデオメモリ（ＶＲＡＭ）を備える表示制御部３１と、この表示制御部３１からの出力信号に基づいて所定の画像を表示する液晶モニタ等の画像表示部３２等を備えている。
【００３４】
操作部４は、例えば、当該撮像装置１００の各部に設けられた撮影スイッチ、各種操作スイッチ等を備える操作入力部４１と、この操作入力部４１から入力された操作信号をＣＰＵに入力するための入力回路４２等を備えている。
【００３５】
記録媒体５としては、例えば、カード型のフラッシュメモリやハードディスク等を適用することができる。
【００３６】
次に、画像追跡処理について図５を参照して説明する。
ここで、図５は、撮像装置１００による画像追跡処理に係る動作の一例を示すフローチャートである。
【００３７】
図５に示すように、先ず、撮像装置１００のユーザによる所定操作に基づいて連続して画像が撮像されて映像信号処理部１３に入力されると（ステップＳ１）、映像信号処理部１３は、ＣＰＵによるピラミッド階層構造化プログラム７２ａの実行に基づいて、入力された画像信号（例えば、ＲＧＢ信号のうちのＧ信号）をピラミッド階層構造化する処理を行う（ステップＳ２；図３参照）。
【００３８】
次に、映像信号処理部１３は、ＣＰＵによる特徴点抽出プログラム７２ｂの実行に基づいて、例えば、撮像された２つ画像のうちの何れか一方の画像の特徴点を所定数抽出する特徴点抽出処理を行う（ステップＳ３）。
続けて、映像信号処理部１３は、ＣＰＵによる第一の画像追跡プログラム７２ｃの実行に基づいて、ピラミッド階層構造化処理により作成された最も解像度の低いレイヤＧｎの中で所定の特徴点包含領域Ｒに対してグローバルマッチング（第一の画像追跡処理）を行う（ステップＳ４；図４（ａ）及び図４（ｂ）参照））。
【００３９】
その後、映像信号処理部１３は、ＣＰＵによる輝度変化情報算出プログラム７２ｅの実行に基づいて、第一の画像追跡処理により画像の追跡が行われた特徴点包含領域Ｒを指定領域としてこれに係る画像信号を用いて、上記式（４）により複数の画像間における照明変動による輝度変化に係る輝度変化値ｋｔを算出する輝度変化情報算出処理を行う（ステップＳ５）。
次に、映像信号処理部１３は、ＣＰＵによる輝度調整プログラム７２ｆの実行に基づいて、輝度変化情報算出処理にて算出された輝度変化値ｋｔを上記式（３）に代入し、続けて、ＣＰＵによる第二の画像追跡プログラム７２ｄの実行に基づいて、残りのレイヤＧ１〜Ｇｎ−１に対して上記式（３）を用いて勾配法により特徴点の追跡を行う（ステップＳ６）。具体的には、映像信号処理部１３は、先ず、第一の画像追跡処理に用いられた最も解像度が低いものの次に解像度が高いレイヤＧｎ−１に対して上記式（３）により特徴点の勾配法による追跡を行った後、当該追跡結果を参考にして、次に解像度が高いレイヤＧｎ−２に対して特徴点の追跡を行うように、各レイヤＧ１〜Ｇｎ−１に対して順次勾配法により特徴点の追跡を行う。
【００４０】
上記のようにして、合成される複数の画像におけるオプティカルフローが推定されると（ステップＳ７）、画像追跡処理が終了となる。
その後、映像信号処理部１３は、全ての特徴点について特徴点対応表を作成し、続けて、映像信号処理部１３のＲＡＮＳＡＣ処理部１３２は、特徴点対応表からの特徴点のランダムな選択及びこれらの特徴点を用いた射影変換を繰り返し行った後、画像合成部１３３は、特徴点どうしが対応する画像どうしを合成する処理を行うようになっている。
【００４１】
以上のように、本実施形態の撮像装置１００によれば、合成される複数の画像間における照明変動による輝度変化の影響を勾配法による第二段階の処理よりも受け難いグローバルマッチングによる第一段階の処理によって、画像の追跡を精度良く行うことができ、さらに、当該追跡結果を考慮し、且つ、照明変動による輝度変化に係る輝度変化値ｋｔに基づいて画像の輝度が調整された複数の画像信号に基づいて、勾配法による第二段階の画像追跡処理を行うことができる。これにより、第二段階の画像追跡処理を、精度を低下させることなく、より高速に行うことができることとなる。
従って、複数の画像間にて照明変動による輝度変化が生じた場合であっても画像の追跡を精度良く、且つ、より高速に行うことができる。
このように、デジタルカメラ等の撮像装置１００に現実に適用することができる画像追跡方法を提供することができる。
【００４２】
また、最も解像度の低いレイヤＧｎに基づいてグローバルマッチングを行うことによって、第一段階の画像の追跡処理の速度をより高速化することができる。
さらに、特徴点包含領域Ｒに係る画像信号に基づいて輝度変化値ｋｔを算出して、当該輝度変化値ｋｔに基づいて複数の画像における特徴点包含領域Ｒの輝度を調整し、当該特徴点包含領域Ｒに基づいて特徴点の追跡を勾配法により行うことができる。つまり、第二段階の処理に係る勾配法による特徴点の追跡に必要な領域Ｒの輝度を調整することができることとなり、第二段階の処理による画像の追跡の精度をより高めることができるとともに、その処理速度をより高速化することができる。
【００４３】
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、特徴点包含領域Ｒに係る画像信号を用いて、複数の画像間における照明変動による輝度変化に係る輝度変化値ｋｔを算出して、当該輝度変化値ｋｔに基づいて、複数の画像の輝度を調整するようにしたが、これに限られるものではなく、特徴点近傍領域Ｒ内の特徴点の近傍の領域のみを用いて輝度変化値ｋｔを算出しても良い。これにより、輝度調整に係る処理の高速化を図り、結果として、画像の追跡処理の速度をより高速化することができる。
【００４４】
また、上記実施形態では、本発明に係る画像処理装置として、撮像された複数の画像の合成を行う撮像装置１００を例示したが、これに限られるものではなく、少なくとも特徴点の追跡処理を行うことができる装置であれば如何なるものであっても良い。
また、第一段階の画像追跡処理は、グローバルマッチングに限られるものではなく、第二段階の画像追跡処理よりも複数の画像間における照明変動による輝度変化の影響を受け難い方法であれば如何なる方法であっても良く、また、第二段階の画像追跡処理は、勾配法に限られるものではない。
【図面の簡単な説明】
【００４５】
【図１】本発明を適用した画像処理装置の一実施形態として例示する撮像装置の要部構成を示すブロック図である。
【図２】図１の撮像装置の映像信号処理部を模式的に示した図である。
【図３】図１の撮像装置による画像追跡処理に係るピラミッド階層構造化処理を模式的に示した図である。
【図４】図１の撮像装置による画像追跡処理に係るグローバルマッチングを模式的に示した図である。
【図５】図１の撮像装置による画像追跡処理に係る動作の一例を示すフローチャートである。
【符号の説明】
【００４６】
１００ 撮像装置（画像処理装置）
１ 撮像部
１２ 電子撮像部
１３ 映像信号処理部
１３１ オプティカルフロー検出部（第一の画像追跡手段、輝度変化情報算出手段、輝度調整手段、第二の画像追跡手段、低解像度画像作成手段、特徴点抽出手段）
１３２ ＲＡＮＳＡＣ処理部
１３３ 画像合成部
１５ 撮影制御部
７ 制御部
７１ 制御回路
７２ プログラムメモリ
Ｒ 特徴点包含領域
【特許請求の範囲】
【請求項１】
複数の画像の画像情報に基づいて、前記画像の追跡を行う第一の画像追跡手段と、
前記複数の画像情報に基づいて、前記複数の画像間における照明変動による輝度変化に係る輝度変化情報を算出する輝度変化情報算出手段と、
前記輝度変化情報算出手段により算出された前記輝度変化情報に基づいて、前記複数の画像の輝度を調整する輝度調整手段と、
前記輝度調整手段により輝度が調整された前記複数の画像に係る画像情報、及び前記第一の画像追跡手段による前記画像の追跡結果に基づいて、前記画像の追跡を行う第二の画像追跡手段と、
を備え、
前記第一の画像追跡手段による前記画像の追跡方法は、前記第二の画像追跡手段による前記画像の追跡方法よりも前記照明変動による輝度変化の影響を受け難い方法であることを特徴とする画像処理装置。
【請求項２】
前記第一の画像追跡手段は、グローバルマッチングにより前記画像の追跡を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記複数の画像情報に基づいて、当該画像情報に係る画像の解像度を低減させた低解像度画像を作成する低解像度画像作成手段を備え、
前記第一の画像追跡手段は、前記低解像度画像作成手段により作成された前記低解像度画像に基づいて、グローバルマッチングにより前記画像の追跡を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記複数の画像のうち、少なくとも何れか一の画像の特徴点を抽出する特徴点抽出手段を備え、
前記第一の画像追跡手段は、前記低解像度画像においての前記特徴点抽出手段により抽出された前記特徴点を含む特徴点包含領域に基づいてグローバルマッチングを行い、
前記輝度変化情報算出手段は、前記第一の画像追跡手段により追跡された前記特徴点包含領域に係る画像情報に基づいて、前記輝度変化情報を算出し、
前記輝度調整手段は、前記輝度変化情報算出手段により算出された前記輝度変化情報に基づいて、前記複数の画像における前記特徴点包含領域の輝度を調整し、
前記第二の画像追跡手段は、前記複数の画像のうち、前記一の画像と異なる他の画像に係り、前記輝度調整手段により輝度が調整された前記特徴点包含領域に基づいて、前記特徴点を勾配法により追跡することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
画像処理装置に、
複数の画像の画像情報に基づいて、前記画像の追跡を行う第一の画像追跡処理に係る機能と、
前記複数の画像情報に基づいて、前記複数の画像間における照明変動による輝度変化に係る輝度変化情報を算出する輝度変化情報算出処理に係る機能と、
前記輝度変化情報算出処理により算出された前記輝度変化情報に基づいて、前記複数の画像の輝度を調整する輝度調整処理に係る機能と、
前記輝度調整処理により輝度が調整された前記複数の画像に係る画像情報、及び前記第一の画像追跡処理による前記画像の追跡結果に基づいて、前記画像の追跡を行う第二の画像追跡処理に係る機能と、
を実現させるためのプログラムであって、
前記第一の画像追跡処理による前記画像の追跡方法は、前記第二の画像追跡処理による前記画像の追跡方法よりも前記照明変動による輝度変化の影響を受け難い方法であることを特徴とするプログラム。
【請求項１】
複数の画像の画像情報に基づいて、前記画像の追跡を行う第一の画像追跡手段と、
前記複数の画像情報に基づいて、前記複数の画像間における照明変動による輝度変化に係る輝度変化情報を算出する輝度変化情報算出手段と、
前記輝度変化情報算出手段により算出された前記輝度変化情報に基づいて、前記複数の画像の輝度を調整する輝度調整手段と、
前記輝度調整手段により輝度が調整された前記複数の画像に係る画像情報、及び前記第一の画像追跡手段による前記画像の追跡結果に基づいて、前記画像の追跡を行う第二の画像追跡手段と、
を備え、
前記第一の画像追跡手段による前記画像の追跡方法は、前記第二の画像追跡手段による前記画像の追跡方法よりも前記照明変動による輝度変化の影響を受け難い方法であることを特徴とする画像処理装置。
【請求項２】
前記第一の画像追跡手段は、グローバルマッチングにより前記画像の追跡を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記複数の画像情報に基づいて、当該画像情報に係る画像の解像度を低減させた低解像度画像を作成する低解像度画像作成手段を備え、
前記第一の画像追跡手段は、前記低解像度画像作成手段により作成された前記低解像度画像に基づいて、グローバルマッチングにより前記画像の追跡を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記複数の画像のうち、少なくとも何れか一の画像の特徴点を抽出する特徴点抽出手段を備え、
前記第一の画像追跡手段は、前記低解像度画像においての前記特徴点抽出手段により抽出された前記特徴点を含む特徴点包含領域に基づいてグローバルマッチングを行い、
前記輝度変化情報算出手段は、前記第一の画像追跡手段により追跡された前記特徴点包含領域に係る画像情報に基づいて、前記輝度変化情報を算出し、
前記輝度調整手段は、前記輝度変化情報算出手段により算出された前記輝度変化情報に基づいて、前記複数の画像における前記特徴点包含領域の輝度を調整し、
前記第二の画像追跡手段は、前記複数の画像のうち、前記一の画像と異なる他の画像に係り、前記輝度調整手段により輝度が調整された前記特徴点包含領域に基づいて、前記特徴点を勾配法により追跡することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
画像処理装置に、
複数の画像の画像情報に基づいて、前記画像の追跡を行う第一の画像追跡処理に係る機能と、
前記複数の画像情報に基づいて、前記複数の画像間における照明変動による輝度変化に係る輝度変化情報を算出する輝度変化情報算出処理に係る機能と、
前記輝度変化情報算出処理により算出された前記輝度変化情報に基づいて、前記複数の画像の輝度を調整する輝度調整処理に係る機能と、
前記輝度調整処理により輝度が調整された前記複数の画像に係る画像情報、及び前記第一の画像追跡処理による前記画像の追跡結果に基づいて、前記画像の追跡を行う第二の画像追跡処理に係る機能と、
を実現させるためのプログラムであって、
前記第一の画像追跡処理による前記画像の追跡方法は、前記第二の画像追跡処理による前記画像の追跡方法よりも前記照明変動による輝度変化の影響を受け難い方法であることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２００７−４８１２２（Ｐ２００７−４８１２２Ａ）
【公開日】平成１９年２月２２日（２００７．２．２２）
【国際特許分類】
【出願番号】特願２００５−２３３１２１（Ｐ２００５−２３３１２１）
【出願日】平成１７年８月１１日（２００５．８．１１）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成１９年２月２２日（２００７．２．２２）
【国際特許分類】
【出願日】平成１７年８月１１日（２００５．８．１１）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]