画像処理装置、それを備えたデジタルカメラ及び画像処理プログラム
【課題】 動画等の時系列的に前後する画像間の位置ずれ量の検出を高精度に行える画像処理装置、それを備えたデジタルカメラ及び画像処理プログラムを提供する。
【解決手段】 画像処理装置（１６，２０）は、時系列的に前後する画像１と画像２との間の変化量を検出する為、手段Ａ（２０）が、入力の位置ずれ量をパラメータにして画像１での画素群αに幾何変換を実施し、変換後の画像１における画素群αの画素と、該画素群αの画素と同一座標にある画像２中の画素との輝度差に基づきゲインを算出する。また手段Ｂ（２０）が、入力のゲインを画像２に乗算し、画像１から画素群βを抽出し、画像１とゲイン乗算後の画像２との間における画素群βの位置の変化量を推定して位置ずれ量を算出する。そして検出手段（２０）が、手段Ａに手段Ｂ算出の位置ずれ量を入力し、手段Ｂに手段Ａ算出のゲインを入力して、手段Ａと手段Ｂとを少なくとも１回以上実行する。
【解決手段】 画像処理装置（１６，２０）は、時系列的に前後する画像１と画像２との間の変化量を検出する為、手段Ａ（２０）が、入力の位置ずれ量をパラメータにして画像１での画素群αに幾何変換を実施し、変換後の画像１における画素群αの画素と、該画素群αの画素と同一座標にある画像２中の画素との輝度差に基づきゲインを算出する。また手段Ｂ（２０）が、入力のゲインを画像２に乗算し、画像１から画素群βを抽出し、画像１とゲイン乗算後の画像２との間における画素群βの位置の変化量を推定して位置ずれ量を算出する。そして検出手段（２０）が、手段Ａに手段Ｂ算出の位置ずれ量を入力し、手段Ｂに手段Ａ算出のゲインを入力して、手段Ａと手段Ｂとを少なくとも１回以上実行する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、それを備えたデジタルカメラ及び画像処理プログラムに関する。
【背景技術】
【０００２】
デジタルカメラによって撮影された動画などの時系列的に前後する画像の位置合わせを行うために、画像間の位置ずれ量（画像間における被写体等の変化量）を検出する手法が従来から知られている。
【０００３】
ところで、位置ずれ量を検出する場合、検出の対象となる画像間で露出条件が異なると、検出精度が低下してしまうという問題がある。
【０００４】
そこで、その問題を解決する従来技術の一例として、例えば、特許文献１には、動画撮影中、自動露出制御動作により露出条件（シャッター速度やゲインなど）が変化した場合に、順次取得される画像の輝度値を変化した露出条件の情報を用いて正規化することで画像間の露光の状態を一致させて、画像間の位置ずれ量の検出を高精度に行えるようにするという技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−１３５８３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、この従来技術は、露出条件が既知である場合に、その情報を用いて画像間の露光状態を一致させるというものであるため、画像の露出条件が不明な場合には適用することができず、結局、画像間の位置ずれ量の検出を高精度に行うことはできなかった。
【０００７】
本発明は、上記従来技術の課題を解決するためのものである。本発明の目的は、動画などの時系列的に前後する画像間の位置ずれ量の検出を高精度に行うことができる画像処理装置、それを備えたデジタルカメラ及び画像処理プログラムを提供することである。
【課題を解決するための手段】
【０００８】
第１の発明の画像処理装置は、時系列的に前後する第一の画像と第二の画像との間の変化量を検出する画像処理装置であって、ゲイン算出手段と、位置ずれ量算出手段と、検出手段とを備える。ゲイン算出手段は、入力された位置ずれ量を幾何変換パラメータとして、第一の画像から抽出した特定画素群αに対して幾何変換を実施し、その幾何変換実施後の第一の画像における特定画素群αの画素と、その特定画素群αの画素と同一座標にある第二の画像中の画素との輝度差に基づきゲイン値を算出する。また、位置ずれ量算出手段は、入力されたゲイン値を第二の画像に対して乗算し、第一の画像から特定画素群βを抽出し、第一の画像とゲイン値が乗算された第二の画像との間における特定画素群βの位置の変化量を推定して位置ずれ量を算出する。そして、検出手段は、ゲイン算出手段に対しては、位置ずれ量算出手段により算出される位置ずれ量を入力とし、位置ずれ量算出手段に対しては、ゲイン算出手段により算出されるゲイン値を入力として、ゲイン算出手段と位置ずれ量算出手段とを少なくとも１回以上実行することにより、第一の画像と第二の画像との間の変化量を検出する。
【０００９】
第２の発明は、第１の発明において、特定画素群αは、第一の画像中の中間階調値を有する画素の集合である。
【００１０】
第３の発明は、第１の発明において、特定画素群αは、中間階調値を有する画素が所定の数以上含まれる第一の画像中の矩形の領域内に存在する画素の全てである。
【００１１】
第４の発明は、第１ないし第３の発明の何れか一の発明において、特定画素群βは、第一の画像中の画素のうち隣接画素との輝度差が所定の閾値以上である画素の集合である。
【００１２】
第５の発明は、第１ないし第３の発明の何れか一の発明において、特定画素群βは、隣接画素との輝度差が所定の閾値以上である画素が、所定の数以上含まれる第一の画像中の矩形の領域内に存在する画素の全てである。
【００１３】
第６の発明のデジタルカメラは、時系列的に前後する複数枚の画像を撮像する撮像手段と、その撮像手段により撮像された複数枚の画像を画像処理の対象として扱う第１ないし第５の発明の何れか一の発明の画像処理装置とを備える。
【００１４】
第７の発明の画像処理プログラムは、時系列的に前後する第一の画像と第二の画像との間の変化量を検出する画像処理プログラムであって、ゲイン算出ステップと、位置ずれ量算出ステップと、検出ステップとをコンピュータに実行させる。ゲイン算出ステップでは、入力された位置ずれ量を幾何変換パラメータとして、第一の画像から抽出した特定画素群αに対して幾何変換を実施し、その幾何変換実施後の第一の画像における特定画素群αの画素と、その特定画素群αの画素と同一座標にある第二の画像中の画素との輝度差に基づきゲイン値を算出する。また、位置ずれ量算出ステップでは、入力されたゲイン値を第二の画像に対して乗算し、第一の画像から特定画素群βを抽出し、第一の画像とゲイン値が乗算された第二の画像との間における特定画素群βの位置の変化量を推定して位置ずれ量を算出する。そして、検出ステップでは、ゲイン算出ステップに対しては、位置ずれ量算出ステップにより算出される位置ずれ量を入力とし、位置ずれ量算出ステップに対しては、ゲイン算出ステップにより算出されるゲイン値を入力として、ゲイン算出ステップと位置ずれ量算出ステップとを少なくとも１回以上実行することにより、第一の画像と第二の画像との間の変化量を検出する。
【００１５】
第８の発明は、第７の発明において、特定画素群αは、第一の画像中の中間階調値を有する画素の集合である。
【００１６】
第９の発明は、第７の発明において、特定画素群αは、中間階調値を有する画素が所定の数以上含まれる第一の画像中の矩形の領域内に存在する画素の全てである。
【００１７】
第１０の発明は、第７ないし第９の発明の何れか一の発明において、特定画素群βは、第一の画像中の画素のうち隣接画素との輝度差が所定の閾値以上である画素の集合である。
【００１８】
第１１の発明は、第７ないし第９の発明の何れか一の発明において、特定画素群βは、隣接画素との輝度差が所定の閾値以上である画素が、所定の数以上含まれる第一の画像中の矩形の領域内に存在する画素の全てである。
【発明の効果】
【００１９】
本発明を利用すれば、動画などの時系列的に前後する画像間の位置ずれ量の検出を高精度に行うことができる。
【図面の簡単な説明】
【００２０】
【図１】本発明を適用したデジタルカメラの構成の一例を示すブロック図である。
【図２】デジタルカメラが行う位置ずれ検出に係る動作を示す流れ図である。
【図３】ゲイン算出処理（サブルーチン１）の流れ図である。
【図４】特定画素群αの抽出の例について説明する図である。
【図５】位置ずれ量算出処理（サブルーチン２）の流れ図である。
【発明を実施するための形態】
【００２１】
以下、本発明の実施形態を説明する。本実施形態は、デジタルカメラの実施形態である。
【００２２】
図１は、本実施形態のデジタルカメラのブロック図である。
【００２３】
デジタルカメラは、撮像レンズ１１およびレンズ駆動部１２と、撮像素子１３と、アナログ信号処理部１４と、タイミングジェネレータ（ＴＧ）１５と、バッファメモリ１６と、画像処理部１７と、表示制御部１８と、表示部１９と、制御部２０と、圧縮／復号部２１と、記録インターフェース（記録Ｉ／Ｆ）２２と、記録媒体２３と、操作部２４と、バス２５とを有している。ここで、バッファメモリ１６、画像処理部１７、表示制御部１８、制御部２０、圧縮／復号部２１、記録Ｉ／Ｆ２２は、バス２５を介して接続されている。また、レンズ駆動部１２、アナログ信号処理部１４、ＴＧ１５、操作部２４は、それぞれ制御部２０に接続されている。
【００２４】
撮像レンズ１１は、フォーカスレンズやズームレンズを含む複数のレンズ群で構成されている。なお、簡単のため、図１では撮像レンズ１１を１枚のレンズとして図示している。
【００２５】
レンズ駆動部１２は、制御部２０の指示に応じてレンズ駆動信号を発生し、撮像レンズ１１を光軸方向に移動させてフォーカス調整やズーム調整を行うと共に、撮像レンズ１１を通過した光束による被写体像を撮像素子１３の受光面に形成する。
【００２６】
撮像素子１３は、動画の撮影が可能な撮像素子であり、例えば、ＣＣＤ型撮像素子、あるいはＣＭＯＳ型撮像素子などによって構成される。なお、撮像素子１３は、勿論、１フレーム毎の静止画の撮影も可能である。
【００２７】
撮像素子１３は、撮像レンズ１１の像空間側に配置され、その受光面に形成された被写体像を光電変換してアナログ画像信号を生成する。この撮像素子１３の出力はアナログ信号処理部１４に接続されている。
【００２８】
アナログ信号処理部１４は、制御部２０の指示に応じて、撮像素子１３から出力されたアナログ画像信号に対し、ＣＤＳ（相関二重サンプリング）、ゲイン調整、Ａ／Ｄ変換などのアナログ信号処理を施すと共に、その処理後の画像信号を出力する。なお、アナログ信号処理部１４の出力はバッファメモリ１６に接続されている。
【００２９】
また、アナログ信号処理部１４は、制御部２０の指示に基づいてゲイン調整の調整量を設定し、それによってＩＳＯ感度に相当する撮影感度の調整を行う。
【００３０】
ＴＧ１５は、制御部２０の指示に基づき撮像素子１３およびアナログ信号処理部１４に対してタイミングパルスを供給する。撮像素子１３およびアナログ信号処理部１４の駆動タイミングはそのタイミングパルスによって制御される。
【００３１】
バッファメモリ１６は、アナログ信号処理部１４から出力される画像信号を画像データとして一時的に記憶する。また、バッファメモリ１６は、制御部２０により記録媒体２３から読み出された画像データや、制御部２０による処理の過程で作成された画像データを一時的に記憶する。
【００３２】
画像処理部１７は、制御部２０の指示に応じて、バッファメモリ１６の画像データに対し、ホワイトバランス調整、補間、輪郭強調、ガンマ補正、解像度変換（画素数変換）などの画像処理を施す。なお、解像度変換（画素数変換）は、画像データのサムネイルを作成する場合や、表示部１９に画像データを表示させる場合などに必要な処理である。画像処理部１７は、ＡＳＩＣなどとして構成される。
【００３３】
表示制御部１８は、制御部２０の指示に応じて、画像処理後の画像データに所定の信号処理（例えば、ＮＴＳＣ方式の複合映像信号に変換するための信号処理）を施して表示部１９へ出力する。この出力により、画像データが表示部１９に表示される。なお、表示部１９は、デジタルカメラ筐体の背面などに設けられたＬＣＤモニタや、接眼部を備えた電子ファインダなどである。
【００３４】
圧縮／復号部２１は、制御部２０の指示に応じて、バッファメモリ１６の画像データに圧縮処理又は復号処理を施す。なお、圧縮処理及び復号処理は、静止画撮影時には、例えばＪＰＥＧ（Joint Photographic Experts Group）形式などによって行われ、動画撮影時には、例えばＭＰＥＧ（Moving Picture Experts Group）形式などによって行われる。
【００３５】
また、圧縮／復号部２１は、可逆圧縮（いわゆるロスレス符号化）を行うことも可能な構成となっている。
【００３６】
記録Ｉ／Ｆ２２には、記録媒体２３を接続するためのコネクタが形成されている。記録Ｉ／Ｆ２２は、そのコネクタに接続された記録媒体２３にアクセスして、各種データの書き込みや読み出しを行う。制御部２０は、撮影時には、この記録Ｉ／Ｆ２２を介して、バッファメモリ１６の圧縮処理後の画像データを記録媒体２３へ記録する。但し、デジタルカメラが非圧縮記録モードに設定された場合には、制御部２０は、バッファメモリ１６の画像処理後の画像データを、圧縮処理を施さずに非圧縮のまま記録媒体２３へ記録する。また、制御部２０は、画像再生時には、記録Ｉ／Ｆ２２を介して、その記録された画像データを記録媒体２３から読み出してバッファメモリ１６へ記録する。なお、記録媒体２３は、半導体メモリを内蔵したメモリカードや、小型のハードディスクなどである。
【００３７】
操作部２４は、モード設定ボタン、レリーズボタン、動画撮影ボタン等の各種の操作部材を含み、撮影者などのユーザーによる部材操作の内容に応じた操作信号を制御部２０に送る。
【００３８】
制御部２０は、ユーザーによる操作部材の操作内容に応じてデジタルカメラの各部を統括制御する。
【００３９】
例えば、撮影モードで動作中に動画撮影ボタンが押下されると、制御部２０は、レンズ駆動部１２、アナログ信号処理部１４およびＴＧ１５を駆動して動画の撮影を開始する。このとき、撮像素子１３は、所定の画素数の画像が所定のフレームレートで取得されるように駆動され、動画の各フレームに対応する画像データがアナログ信号処理部１４を介してバッファメモリ１６へ順次記録される。この後、制御部２０は、画像処理部１７を駆動して、バッファメモリ１６に記録された各フレームの画像データに対し画像処理を施す。また、制御部２０は、表示制御部１８を駆動して、その画像処理後の画像データを表示部１９に表示させる。そして、制御部２０は、圧縮／復号部２１を駆動して、その画像処理後の画像データに対しＭＰＥＧ形式などによる圧縮処理を施すと共に、その圧縮されたデータ（動画データ）を記録Ｉ／Ｆ２２を介して記録媒体２３へ記録する。
【００４０】
また、動画撮影中に、もう一度、動画撮影ボタンが押下されると、制御部２０は動画の撮影を停止する。
【００４１】
以下、本実施形態のデジタルカメラが行う位置ずれ検出に係る動作を、図２の流れ図を参照して説明する。
【００４２】
なお、位置ずれ検出は、動画などの時系列的に前後するフレーム画像間において着目した被写体等の変化（移動、回転、変形、拡大／縮小など）の量（位置ずれ量）を検出する処理であり、例えば、動画撮影時のＭＰＥＧ（特に、ＭＰＥＧ−４）圧縮符号化の際に行われる動き補償での動き検出処理として実行されるものである。
【００４３】
図２に示す位置ずれ検出の処理では、入力された２つの画像、つまり、バッファメモリ１６に記録された動画のフレームから検出の対象として選択された時系列的に前後する２つのフレーム、例えば、ｎ−１番目のフレームとｎ番目のフレームの画像について位置ずれ検出を行い、位置ずれ量を出力する。
【００４４】
ステップＳ１０１：制御部２０は、入力された画像を基に輝度成分のみを抽出した画像を作成する。具体的には、制御部２０は、時系列的に前となるフレーム（ｎ−１番目）の画像を基に輝度成分のみを抽出した第一の画像と、時系列的に後となるフレーム（ｎ番目）の画像を基に輝度成分のみを抽出した第二の画像との２つの画像を作成する。なお、選択したフレームの画像にガンマ補正（ガンマ変換）が施されている場合は、輝度成分をリニア特性の状態に戻すため、そのフレームの画像に対し、一旦、逆ガンマ補正（逆ガンマ変換）を施した後で、輝度成分のみを抽出した画像を作成するようにする。
【００４５】
そして、制御部２０は、作成した第一の画像と第二の画像とに対して、以下のステップに示す位置ずれ検出の処理行う。
【００４６】
ステップＳ１０２：制御部２０は、第一の画像および第二の画像と、後述の位置ずれ量算出処理によって算出される幾何変換パラメータとを入力として、図３に示すゲイン算出処理（サブルーチン１）を呼び出す。
【００４７】
（ゲイン算出処理）
ステップＳ１０２−１（図３）：制御部２０は、入力された第一の画像から特定画素群αの抽出を行う。なお、ゲインの算出は、その特定画素群αに基づいて行うので、そこに含まれる画素が白とび又は黒つぶれしていては正しい結果が得られない。そのため、ここでは、第一の画像中の中間階調値を有する画素（の集合）を特定画素群αとして抽出する。具体的には、例えば、図４に示すように、第一の画像に含まれる画素の輝度平均値を算出し、その輝度平均値近傍の輝度値（階調値）を有する画素（輝度平均値を有する画素も含む）を第一の画像中から特定して、それらの画素を特定画素群αとして抽出するようにする。或いは、中間階調値を有する画素に代えて、白とび又は黒つぶれのないＡＦ（オートフォーカス）ポイント近傍の画素を特定画素群αとして抽出するようにしてもよい。
【００４８】
なお、特定画素群αは、上記のように画素を単位とした括り（集合）であってもよく、中間階調値を有する画素が多く含まれる（例えば、所定の数以上含まれる）画像中の矩形領域というように領域を単位とした括り（集合）であってもよい。
【００４９】
ステップＳ１０２−２（図３）：制御部２０は、抽出した特定画素群αの画素（ｘ，ｙ）に対して幾何変換を行う。本実施形態のデジタルカメラにおいては、下記の（式１）に示す幾何変換モデルを用いることとする。そして、そのパラメータｐ（ｐ0 〜ｐ5 ）に入力された幾何変換パラメータを指定して、特定画素群αの画素（ｘ，ｙ）に対して幾何変換を行う。但し、本サブルーチン１の初回の実行時には、幾何変換パラメータｐ（ｐ0 〜ｐ5 ）が未だ算出されておらず入力されないため、幾何変換を行わずにステップＳ１０２−３へ移行する。
【００５０】
【数１】
【００５１】
ステップＳ１０２−３（図３）：制御部２０は、幾何変換された第一の画像における特定画素群αの画素と、それと同一の座標位置にある第二の画像中の画素との輝度差に基づきゲインの算出を行う。但し、本サブルーチン１の初回の実行時には、上記のとおり幾何変換が行われないので、単純に、第一の画像における特定画素群αの画素と、それと同一の座標位置にある第二の画像中の画素との輝度差に基づきゲインの算出を行うようにする。
【００５２】
ここで、第一の画像における特定画素群αの画素をＡα、そのＡαと同一の座標位置にある第二の画像中の画素（の集合）をＢα、そして、算出されるゲインをｒとすると、ＡαとＢαとの画素間の差分の二乗和Ｓは、下記の（式２）によって表される。なお、（式２）中のｎは、特定画素群αに含まれる画素の数とする。
【００５３】
【数２】
【００５４】
そのため、上記（式２）のＳが最も小さくなるｒ（ゲイン）を最小二乗法で求めると、ｒは下記の（式３）によって表すことができる。
【００５５】
【数３】
【００５６】
制御部２０は、上記（式３）により求まるｒ（ゲイン）を本サブルーチン１の出力のゲイン値として算出した後、図２のフローチャートの処理へ復帰してステップＳ１０３へ移行する。
【００５７】
ステップＳ１０３：制御部２０は、第一の画像および第二の画像と、上記のゲイン算出処理（サブルーチン１）によって算出されたゲイン値とを入力として、図５に示す位置ずれ量算出処理（サブルーチン２）を呼び出す。
【００５８】
なお、ここでの入力として使用される第一の画像および第二の画像は、上記ステップＳ１０１の処理が行われた時点で作成されたオリジナルの画像である。
【００５９】
（位置ずれ量算出処理）
ステップＳ１０３−１（図５）：制御部２０は、入力された第二の画像の画像信号に対して、入力されたゲイン値、即ち、上記（式３）によって求まったｒを乗算する。これにより位置ずれ検出を行いたい２つの画像、即ち、入力された第一の画像と第二の画像との露光の状態を一致させるようにする。
【００６０】
ステップＳ１０３−２（図５）：制御部２０は、入力された第一の画像から特定画素群βの抽出を行う。なお、ここでは、位置ずれ量の算出に適した画素群を抽出する必要がある。そのため上記のゲイン算出処理（サブルーチン１）で特定画素群αを抽出したのとは異なる条件で抽出を行う。具体的には、例えば、隣接画素との輝度差が所定の閾値以上である画素というような条件で特定画素群βを抽出するようにする。
【００６１】
なお、特定画素群βについても、画素を単位とした括り（集合）、あるいは矩形などの領域を単位とした括り（集合）であってよい。
【００６２】
ステップＳ１０３−３（図５）：制御部２０は、第一の画像と第二の画像との位置ずれ量を算出する。
【００６３】
具体的には、上記（式１）を用いて幾何変換した場合の第一の画像における特定画素群βの画素をＡβ、そのＡβと同一の座標位置にある第二の画像中の画素（の集合）をＢβとしたときに、下記の（式４）を満たす評価値ΔＥが最も小さくなる幾何変換パラメータｐ（ｐ0 〜ｐ5 ）を位置ずれ量として算出する。
【００６４】
【数４】
【００６５】
なお、幾何変換を上記（式１）以外の手法（例えば、アフィン変換など）を用いて行う場合には、上記ステップＳ１０３−２では、その幾何変換に用いる手法に適した条件で特定画素群βを抽出するようにすることが好ましい。
【００６６】
制御部２０は、幾何変換パラメータｐ（ｐ0 〜ｐ5 ）を本サブルーチン２の出力の位置ずれ量として算出した後、図２のフローチャートの処理へ復帰してステップＳ１０４へ移行する。
【００６７】
ステップＳ１０４：制御部２０は、位置ずれ検出の処理を終了させるか否かを判定する。
【００６８】
具体的には、ゲイン算出処理（サブルーチン１）および位置ずれ量算出処理（サブルーチン２）を所定回数実行した場合、又は、今回算出された位置ずれ量（幾何変換パラメータｐ）と前回算出された位置ずれ量との差が小さい（例えば、所定の閾値を下回る）場合には、制御部２０は、位置ずれ検出の処理を終了させるためステップＳ１０５へ移行する。
【００６９】
一方、ゲイン算出処理および位置ずれ量算出処理を所定回数実行していない場合、又は、今回算出された位置ずれ量と前回算出された位置ずれ量との差が、例えば、所定の閾値以上である場合には、制御部２０は、上記の処理を繰り返すためステップＳ１０２へ移行する。なお、この場合に、移行後のステップＳ１０２においてゲイン算出処理（サブルーチン１）の呼び出しで入力として使用される第一の画像および第二の画像は、上記ステップＳ１０１の処理が行われた時点で作成されたオリジナルの画像である。また、その際、ゲイン算出処理（サブルーチン１）のもう一つの入力の幾何変換パラメータには、上記の位置ずれ量算出処理（サブルーチン２）によって出力された位置ずれ量（つまり、幾何変換パラメータｐ（ｐ0 〜ｐ5 ））が指定される。
【００７０】
ステップＳ１０５：制御部２０は、位置ずれ量算出処理（サブルーチン２）で算出された幾何変換パラメータｐ（ｐ0 〜ｐ5 ）を、入力された２つの画像間（例えば、ｎ−１番目のフレームとｎ番目のフレームの画像間）の位置ずれ量として出力して、本フローチャート（図２）の処理を終了する。
【００７１】
（実施形態の補足事項）
なお、上記（式１）の幾何変換モデルでは、幾何変換パラメータｐをｐ0 〜ｐ5 の６つとしたが、パラメータの数は６つよりも多くしてよい。パラメータが多いほど、より詳細な位置ずれ検出が可能となる。
【００７２】
また、上記の特定画素群αと特定画素群βの抽出においては、上記のゲイン算出処理（サブルーチン１）と位置ずれ量算出処理（サブルーチン２）の繰り返し実行回数に応じて、抽出の条件（又は基準）を厳しくする、若しくは特定画素群として抽出した画素をその数が少なくなるように更に絞り込むようにしてもよい。そうすれば、位置ずれ検出における演算の高速化を図ることが可能となる。
【００７３】
また、上記では、ゲイン算出処理（サブルーチン１）を実行した後に、位置ずれ量算出処理（サブルーチン２）を実行するように説明したが、それらの実行順序は逆であってもよい。その場合、先に実行する位置ずれ量算出処理（サブルーチン２）においては、初回の実行時には、未だゲイン値（上記（式３）によって求まるｒ）が算出されていないので、ゲイン値を第二の画像の画像信号に乗算するステップＳ１０３−１の処理を省略して、そのままステップＳ１０３−２へ移行するようにする。
【００７４】
また、それらの実行順序を逆にした場合は、上記ステップＳ１０４での位置ずれ検出の処理を終了させるか否かの判定に、前回算出されたゲイン値と今回算出されたゲイン値との差が小さいか否かの判定を加えるようにしてもよい。
【００７５】
なお、判定を加えた場合、ステップＳ１０４では、位置ずれ量算出処理（サブルーチン２）およびゲイン算出処理（サブルーチン１）を所定回数実行した場合、又は、前回算出された位置ずれ量（幾何変換パラメータｐ）と今回算出された位置ずれ量との差が小さい（例えば、所定の閾値を下回る）場合、又は、前回算出されたゲイン値（上記（式３）によって求まるｒ）と今回算出されたゲイン値との差が小さい（例えば、所定の閾値を下回る）場合には、制御部２０は、位置ずれ検出の処理を終了させるためステップＳ１０５へ移行するようにする。
【００７６】
一方、位置ずれ量算出処理およびゲイン算出処理を所定回数実行していない場合、又は、今回算出された位置ずれ量と前回算出された位置ずれ量との差が、例えば、所定の閾値以上である場合、又は、前回算出されたゲイン値と今回算出されたゲイン値との差が、例えば、所定の閾値以上である場合には、制御部２０は、位置ずれ検出の処理を繰り返すためステップＳ１０２へ移行するようにする。
【００７７】
（実施形態の作用効果）
以上、本実施形態のデジタルカメラでは、時系列的に前後する第一の画像と第二の画像との間の変化量を検出するための画像処理として、以下の演算が実行される。
【００７８】
ゲイン算出処理（サブルーチン１）において、第一の画像から特定画素群αが抽出されると共に、その特定画素群αに対して幾何変換が実施される。なお、この幾何変換においては、入力された位置ずれ量が幾何変換パラメータとして指定される。この位置ずれ量は、後述の位置ずれ量算出処理（サブルーチン２）によって算出されるものである。そして、幾何変換実施後の第一の画像における特定画素群αの画素と、その特定画素群αの画素と同一座標にある第二の画像中の画素との輝度差に基づいてゲイン値が算出される。
【００７９】
また、位置ずれ量算出処理（サブルーチン２）において、第二の画像に対して入力のゲイン値が乗算される。なお、このゲイン値は、上記のゲイン算出処理（サブルーチン１）によって算出されるものである。そして、第一の画像から特定画素群βが抽出されると共に、第一の画像とゲイン値が乗算された第二の画像との間における特定画素群βの位置の変化量を推定して位置ずれ量が算出される。具体的には、（式１）を用いて幾何変換した場合の第一の画像における特定画素群βの画素をＡβ、そのＡβと同一の座標位置にある第二の画像中の画素（の集合）をＢβとしたときに、（式４）を満たす評価値ΔＥが最も小さくなる幾何変換パラメータｐ（ｐ0 〜ｐ5 ）が位置ずれ量として算出される。
【００８０】
そして、これらゲイン算出処理（サブルーチン１）と位置ずれ量算出処理（サブルーチン２）とが少なくとも１回以上実行されることにより、第一の画像と第二の画像との間の変化量が検出される。
【００８１】
すなわち、ゲイン算出処理（サブルーチン１）において算出されるゲイン値は、位置ずれ量算出処理（サブルーチン２）により算出された位置ずれ量（幾何変換パラメータ）を用いて幾何変換を実施した後の第一の画像における特定画素群αの画素と、その特定画素群αの画素と同一座標にある第二の画像中の画素との輝度差に基づいて算出されるものである。なお、特定画素群αは、第一の画像中の中間階調値を有する画素の集合、又は、中間階調値を有する画素が所定の数以上含まれる第一の画像中の矩形の領域内に存在する画素の全てである。従って、このように算出されるゲイン値は、第一の画像と第二の画像との露光の状態を一致させるための好適な値となる。
【００８２】
また、位置ずれ量算出処理（サブルーチン２）において算出される位置ずれ量は、ゲイン算出処理（サブルーチン１）により算出されたゲイン値を用いて露光の状態を一致させた第一の画像と第二の画像との間における特定画素群βの位置の変化量を推定することにより算出されるものである。なお、特定画素群βは、第一の画像中の画素のうち隣接画素との輝度差が所定の閾値以上である画素の集合、又は、隣接画素との輝度差が所定の閾値以上である画素が、所定の数以上含まれる第一の画像中の矩形の領域内に存在する画素の全てである。従って、このように算出される位置ずれ量（幾何変換パラメータ）は、第一の画像と第二の画像と間の変化量を高精度に表したものとなる。
【００８３】
そして、これらゲイン算出処理（サブルーチン１）と位置ずれ量算出処理（サブルーチン２）とが少なくとも１回以上実行される。従って、算出されるゲイン値と位置ずれ量（幾何変換パラメータ）との値は、より精度の高いものとなる。
【００８４】
よって、本実施形態のデジタルカメラによれば、動画などの時系列的に前後する画像間の位置ずれ量の検出を高精度に行うことができる。特に、検出の対象となる画像間で露出条件が異なり、かつ、その露出条件が不明な場合であっても、本実施形態のデジタルカメラによれば、画像間の位置ずれ量の検出を高精度に行うことができる。
【００８５】
（その他）
なお、上述したデジタルカメラの動作に係るプログラムは、その一部または全部をコンピュータなどの外部処理装置に実行させてもよい。その場合、必要なプログラムがＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記憶媒体やインターネット等の通信網などを介して外部処理装置へインストールされる。
【００８６】
また、上記ではデジタルカメラの実施例を説明したが、本発明は、動画などの時系列的に前後する画像を撮影することが可能な他の機器、例えば、デジタルビデオカメラや携帯電話などにも適用することが可能である。
【符号の説明】
【００８７】
１１…撮像レンズ，１２…レンズ駆動部，１３…撮像素子，１４…アナログ信号処理部，１５…タイミングジェネレータ（ＴＧ），１６…バッファメモリ，１７…画像処理部，１８…表示制御部，１９…表示部，２０…制御部，２１…圧縮／復号部，２２…記録インターフェース（記録Ｉ／Ｆ），２３…記録媒体，２４…操作部，２５…バス
【技術分野】
【０００１】
本発明は、画像処理装置、それを備えたデジタルカメラ及び画像処理プログラムに関する。
【背景技術】
【０００２】
デジタルカメラによって撮影された動画などの時系列的に前後する画像の位置合わせを行うために、画像間の位置ずれ量（画像間における被写体等の変化量）を検出する手法が従来から知られている。
【０００３】
ところで、位置ずれ量を検出する場合、検出の対象となる画像間で露出条件が異なると、検出精度が低下してしまうという問題がある。
【０００４】
そこで、その問題を解決する従来技術の一例として、例えば、特許文献１には、動画撮影中、自動露出制御動作により露出条件（シャッター速度やゲインなど）が変化した場合に、順次取得される画像の輝度値を変化した露出条件の情報を用いて正規化することで画像間の露光の状態を一致させて、画像間の位置ずれ量の検出を高精度に行えるようにするという技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−１３５８３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、この従来技術は、露出条件が既知である場合に、その情報を用いて画像間の露光状態を一致させるというものであるため、画像の露出条件が不明な場合には適用することができず、結局、画像間の位置ずれ量の検出を高精度に行うことはできなかった。
【０００７】
本発明は、上記従来技術の課題を解決するためのものである。本発明の目的は、動画などの時系列的に前後する画像間の位置ずれ量の検出を高精度に行うことができる画像処理装置、それを備えたデジタルカメラ及び画像処理プログラムを提供することである。
【課題を解決するための手段】
【０００８】
第１の発明の画像処理装置は、時系列的に前後する第一の画像と第二の画像との間の変化量を検出する画像処理装置であって、ゲイン算出手段と、位置ずれ量算出手段と、検出手段とを備える。ゲイン算出手段は、入力された位置ずれ量を幾何変換パラメータとして、第一の画像から抽出した特定画素群αに対して幾何変換を実施し、その幾何変換実施後の第一の画像における特定画素群αの画素と、その特定画素群αの画素と同一座標にある第二の画像中の画素との輝度差に基づきゲイン値を算出する。また、位置ずれ量算出手段は、入力されたゲイン値を第二の画像に対して乗算し、第一の画像から特定画素群βを抽出し、第一の画像とゲイン値が乗算された第二の画像との間における特定画素群βの位置の変化量を推定して位置ずれ量を算出する。そして、検出手段は、ゲイン算出手段に対しては、位置ずれ量算出手段により算出される位置ずれ量を入力とし、位置ずれ量算出手段に対しては、ゲイン算出手段により算出されるゲイン値を入力として、ゲイン算出手段と位置ずれ量算出手段とを少なくとも１回以上実行することにより、第一の画像と第二の画像との間の変化量を検出する。
【０００９】
第２の発明は、第１の発明において、特定画素群αは、第一の画像中の中間階調値を有する画素の集合である。
【００１０】
第３の発明は、第１の発明において、特定画素群αは、中間階調値を有する画素が所定の数以上含まれる第一の画像中の矩形の領域内に存在する画素の全てである。
【００１１】
第４の発明は、第１ないし第３の発明の何れか一の発明において、特定画素群βは、第一の画像中の画素のうち隣接画素との輝度差が所定の閾値以上である画素の集合である。
【００１２】
第５の発明は、第１ないし第３の発明の何れか一の発明において、特定画素群βは、隣接画素との輝度差が所定の閾値以上である画素が、所定の数以上含まれる第一の画像中の矩形の領域内に存在する画素の全てである。
【００１３】
第６の発明のデジタルカメラは、時系列的に前後する複数枚の画像を撮像する撮像手段と、その撮像手段により撮像された複数枚の画像を画像処理の対象として扱う第１ないし第５の発明の何れか一の発明の画像処理装置とを備える。
【００１４】
第７の発明の画像処理プログラムは、時系列的に前後する第一の画像と第二の画像との間の変化量を検出する画像処理プログラムであって、ゲイン算出ステップと、位置ずれ量算出ステップと、検出ステップとをコンピュータに実行させる。ゲイン算出ステップでは、入力された位置ずれ量を幾何変換パラメータとして、第一の画像から抽出した特定画素群αに対して幾何変換を実施し、その幾何変換実施後の第一の画像における特定画素群αの画素と、その特定画素群αの画素と同一座標にある第二の画像中の画素との輝度差に基づきゲイン値を算出する。また、位置ずれ量算出ステップでは、入力されたゲイン値を第二の画像に対して乗算し、第一の画像から特定画素群βを抽出し、第一の画像とゲイン値が乗算された第二の画像との間における特定画素群βの位置の変化量を推定して位置ずれ量を算出する。そして、検出ステップでは、ゲイン算出ステップに対しては、位置ずれ量算出ステップにより算出される位置ずれ量を入力とし、位置ずれ量算出ステップに対しては、ゲイン算出ステップにより算出されるゲイン値を入力として、ゲイン算出ステップと位置ずれ量算出ステップとを少なくとも１回以上実行することにより、第一の画像と第二の画像との間の変化量を検出する。
【００１５】
第８の発明は、第７の発明において、特定画素群αは、第一の画像中の中間階調値を有する画素の集合である。
【００１６】
第９の発明は、第７の発明において、特定画素群αは、中間階調値を有する画素が所定の数以上含まれる第一の画像中の矩形の領域内に存在する画素の全てである。
【００１７】
第１０の発明は、第７ないし第９の発明の何れか一の発明において、特定画素群βは、第一の画像中の画素のうち隣接画素との輝度差が所定の閾値以上である画素の集合である。
【００１８】
第１１の発明は、第７ないし第９の発明の何れか一の発明において、特定画素群βは、隣接画素との輝度差が所定の閾値以上である画素が、所定の数以上含まれる第一の画像中の矩形の領域内に存在する画素の全てである。
【発明の効果】
【００１９】
本発明を利用すれば、動画などの時系列的に前後する画像間の位置ずれ量の検出を高精度に行うことができる。
【図面の簡単な説明】
【００２０】
【図１】本発明を適用したデジタルカメラの構成の一例を示すブロック図である。
【図２】デジタルカメラが行う位置ずれ検出に係る動作を示す流れ図である。
【図３】ゲイン算出処理（サブルーチン１）の流れ図である。
【図４】特定画素群αの抽出の例について説明する図である。
【図５】位置ずれ量算出処理（サブルーチン２）の流れ図である。
【発明を実施するための形態】
【００２１】
以下、本発明の実施形態を説明する。本実施形態は、デジタルカメラの実施形態である。
【００２２】
図１は、本実施形態のデジタルカメラのブロック図である。
【００２３】
デジタルカメラは、撮像レンズ１１およびレンズ駆動部１２と、撮像素子１３と、アナログ信号処理部１４と、タイミングジェネレータ（ＴＧ）１５と、バッファメモリ１６と、画像処理部１７と、表示制御部１８と、表示部１９と、制御部２０と、圧縮／復号部２１と、記録インターフェース（記録Ｉ／Ｆ）２２と、記録媒体２３と、操作部２４と、バス２５とを有している。ここで、バッファメモリ１６、画像処理部１７、表示制御部１８、制御部２０、圧縮／復号部２１、記録Ｉ／Ｆ２２は、バス２５を介して接続されている。また、レンズ駆動部１２、アナログ信号処理部１４、ＴＧ１５、操作部２４は、それぞれ制御部２０に接続されている。
【００２４】
撮像レンズ１１は、フォーカスレンズやズームレンズを含む複数のレンズ群で構成されている。なお、簡単のため、図１では撮像レンズ１１を１枚のレンズとして図示している。
【００２５】
レンズ駆動部１２は、制御部２０の指示に応じてレンズ駆動信号を発生し、撮像レンズ１１を光軸方向に移動させてフォーカス調整やズーム調整を行うと共に、撮像レンズ１１を通過した光束による被写体像を撮像素子１３の受光面に形成する。
【００２６】
撮像素子１３は、動画の撮影が可能な撮像素子であり、例えば、ＣＣＤ型撮像素子、あるいはＣＭＯＳ型撮像素子などによって構成される。なお、撮像素子１３は、勿論、１フレーム毎の静止画の撮影も可能である。
【００２７】
撮像素子１３は、撮像レンズ１１の像空間側に配置され、その受光面に形成された被写体像を光電変換してアナログ画像信号を生成する。この撮像素子１３の出力はアナログ信号処理部１４に接続されている。
【００２８】
アナログ信号処理部１４は、制御部２０の指示に応じて、撮像素子１３から出力されたアナログ画像信号に対し、ＣＤＳ（相関二重サンプリング）、ゲイン調整、Ａ／Ｄ変換などのアナログ信号処理を施すと共に、その処理後の画像信号を出力する。なお、アナログ信号処理部１４の出力はバッファメモリ１６に接続されている。
【００２９】
また、アナログ信号処理部１４は、制御部２０の指示に基づいてゲイン調整の調整量を設定し、それによってＩＳＯ感度に相当する撮影感度の調整を行う。
【００３０】
ＴＧ１５は、制御部２０の指示に基づき撮像素子１３およびアナログ信号処理部１４に対してタイミングパルスを供給する。撮像素子１３およびアナログ信号処理部１４の駆動タイミングはそのタイミングパルスによって制御される。
【００３１】
バッファメモリ１６は、アナログ信号処理部１４から出力される画像信号を画像データとして一時的に記憶する。また、バッファメモリ１６は、制御部２０により記録媒体２３から読み出された画像データや、制御部２０による処理の過程で作成された画像データを一時的に記憶する。
【００３２】
画像処理部１７は、制御部２０の指示に応じて、バッファメモリ１６の画像データに対し、ホワイトバランス調整、補間、輪郭強調、ガンマ補正、解像度変換（画素数変換）などの画像処理を施す。なお、解像度変換（画素数変換）は、画像データのサムネイルを作成する場合や、表示部１９に画像データを表示させる場合などに必要な処理である。画像処理部１７は、ＡＳＩＣなどとして構成される。
【００３３】
表示制御部１８は、制御部２０の指示に応じて、画像処理後の画像データに所定の信号処理（例えば、ＮＴＳＣ方式の複合映像信号に変換するための信号処理）を施して表示部１９へ出力する。この出力により、画像データが表示部１９に表示される。なお、表示部１９は、デジタルカメラ筐体の背面などに設けられたＬＣＤモニタや、接眼部を備えた電子ファインダなどである。
【００３４】
圧縮／復号部２１は、制御部２０の指示に応じて、バッファメモリ１６の画像データに圧縮処理又は復号処理を施す。なお、圧縮処理及び復号処理は、静止画撮影時には、例えばＪＰＥＧ（Joint Photographic Experts Group）形式などによって行われ、動画撮影時には、例えばＭＰＥＧ（Moving Picture Experts Group）形式などによって行われる。
【００３５】
また、圧縮／復号部２１は、可逆圧縮（いわゆるロスレス符号化）を行うことも可能な構成となっている。
【００３６】
記録Ｉ／Ｆ２２には、記録媒体２３を接続するためのコネクタが形成されている。記録Ｉ／Ｆ２２は、そのコネクタに接続された記録媒体２３にアクセスして、各種データの書き込みや読み出しを行う。制御部２０は、撮影時には、この記録Ｉ／Ｆ２２を介して、バッファメモリ１６の圧縮処理後の画像データを記録媒体２３へ記録する。但し、デジタルカメラが非圧縮記録モードに設定された場合には、制御部２０は、バッファメモリ１６の画像処理後の画像データを、圧縮処理を施さずに非圧縮のまま記録媒体２３へ記録する。また、制御部２０は、画像再生時には、記録Ｉ／Ｆ２２を介して、その記録された画像データを記録媒体２３から読み出してバッファメモリ１６へ記録する。なお、記録媒体２３は、半導体メモリを内蔵したメモリカードや、小型のハードディスクなどである。
【００３７】
操作部２４は、モード設定ボタン、レリーズボタン、動画撮影ボタン等の各種の操作部材を含み、撮影者などのユーザーによる部材操作の内容に応じた操作信号を制御部２０に送る。
【００３８】
制御部２０は、ユーザーによる操作部材の操作内容に応じてデジタルカメラの各部を統括制御する。
【００３９】
例えば、撮影モードで動作中に動画撮影ボタンが押下されると、制御部２０は、レンズ駆動部１２、アナログ信号処理部１４およびＴＧ１５を駆動して動画の撮影を開始する。このとき、撮像素子１３は、所定の画素数の画像が所定のフレームレートで取得されるように駆動され、動画の各フレームに対応する画像データがアナログ信号処理部１４を介してバッファメモリ１６へ順次記録される。この後、制御部２０は、画像処理部１７を駆動して、バッファメモリ１６に記録された各フレームの画像データに対し画像処理を施す。また、制御部２０は、表示制御部１８を駆動して、その画像処理後の画像データを表示部１９に表示させる。そして、制御部２０は、圧縮／復号部２１を駆動して、その画像処理後の画像データに対しＭＰＥＧ形式などによる圧縮処理を施すと共に、その圧縮されたデータ（動画データ）を記録Ｉ／Ｆ２２を介して記録媒体２３へ記録する。
【００４０】
また、動画撮影中に、もう一度、動画撮影ボタンが押下されると、制御部２０は動画の撮影を停止する。
【００４１】
以下、本実施形態のデジタルカメラが行う位置ずれ検出に係る動作を、図２の流れ図を参照して説明する。
【００４２】
なお、位置ずれ検出は、動画などの時系列的に前後するフレーム画像間において着目した被写体等の変化（移動、回転、変形、拡大／縮小など）の量（位置ずれ量）を検出する処理であり、例えば、動画撮影時のＭＰＥＧ（特に、ＭＰＥＧ−４）圧縮符号化の際に行われる動き補償での動き検出処理として実行されるものである。
【００４３】
図２に示す位置ずれ検出の処理では、入力された２つの画像、つまり、バッファメモリ１６に記録された動画のフレームから検出の対象として選択された時系列的に前後する２つのフレーム、例えば、ｎ−１番目のフレームとｎ番目のフレームの画像について位置ずれ検出を行い、位置ずれ量を出力する。
【００４４】
ステップＳ１０１：制御部２０は、入力された画像を基に輝度成分のみを抽出した画像を作成する。具体的には、制御部２０は、時系列的に前となるフレーム（ｎ−１番目）の画像を基に輝度成分のみを抽出した第一の画像と、時系列的に後となるフレーム（ｎ番目）の画像を基に輝度成分のみを抽出した第二の画像との２つの画像を作成する。なお、選択したフレームの画像にガンマ補正（ガンマ変換）が施されている場合は、輝度成分をリニア特性の状態に戻すため、そのフレームの画像に対し、一旦、逆ガンマ補正（逆ガンマ変換）を施した後で、輝度成分のみを抽出した画像を作成するようにする。
【００４５】
そして、制御部２０は、作成した第一の画像と第二の画像とに対して、以下のステップに示す位置ずれ検出の処理行う。
【００４６】
ステップＳ１０２：制御部２０は、第一の画像および第二の画像と、後述の位置ずれ量算出処理によって算出される幾何変換パラメータとを入力として、図３に示すゲイン算出処理（サブルーチン１）を呼び出す。
【００４７】
（ゲイン算出処理）
ステップＳ１０２−１（図３）：制御部２０は、入力された第一の画像から特定画素群αの抽出を行う。なお、ゲインの算出は、その特定画素群αに基づいて行うので、そこに含まれる画素が白とび又は黒つぶれしていては正しい結果が得られない。そのため、ここでは、第一の画像中の中間階調値を有する画素（の集合）を特定画素群αとして抽出する。具体的には、例えば、図４に示すように、第一の画像に含まれる画素の輝度平均値を算出し、その輝度平均値近傍の輝度値（階調値）を有する画素（輝度平均値を有する画素も含む）を第一の画像中から特定して、それらの画素を特定画素群αとして抽出するようにする。或いは、中間階調値を有する画素に代えて、白とび又は黒つぶれのないＡＦ（オートフォーカス）ポイント近傍の画素を特定画素群αとして抽出するようにしてもよい。
【００４８】
なお、特定画素群αは、上記のように画素を単位とした括り（集合）であってもよく、中間階調値を有する画素が多く含まれる（例えば、所定の数以上含まれる）画像中の矩形領域というように領域を単位とした括り（集合）であってもよい。
【００４９】
ステップＳ１０２−２（図３）：制御部２０は、抽出した特定画素群αの画素（ｘ，ｙ）に対して幾何変換を行う。本実施形態のデジタルカメラにおいては、下記の（式１）に示す幾何変換モデルを用いることとする。そして、そのパラメータｐ（ｐ0 〜ｐ5 ）に入力された幾何変換パラメータを指定して、特定画素群αの画素（ｘ，ｙ）に対して幾何変換を行う。但し、本サブルーチン１の初回の実行時には、幾何変換パラメータｐ（ｐ0 〜ｐ5 ）が未だ算出されておらず入力されないため、幾何変換を行わずにステップＳ１０２−３へ移行する。
【００５０】
【数１】
【００５１】
ステップＳ１０２−３（図３）：制御部２０は、幾何変換された第一の画像における特定画素群αの画素と、それと同一の座標位置にある第二の画像中の画素との輝度差に基づきゲインの算出を行う。但し、本サブルーチン１の初回の実行時には、上記のとおり幾何変換が行われないので、単純に、第一の画像における特定画素群αの画素と、それと同一の座標位置にある第二の画像中の画素との輝度差に基づきゲインの算出を行うようにする。
【００５２】
ここで、第一の画像における特定画素群αの画素をＡα、そのＡαと同一の座標位置にある第二の画像中の画素（の集合）をＢα、そして、算出されるゲインをｒとすると、ＡαとＢαとの画素間の差分の二乗和Ｓは、下記の（式２）によって表される。なお、（式２）中のｎは、特定画素群αに含まれる画素の数とする。
【００５３】
【数２】
【００５４】
そのため、上記（式２）のＳが最も小さくなるｒ（ゲイン）を最小二乗法で求めると、ｒは下記の（式３）によって表すことができる。
【００５５】
【数３】
【００５６】
制御部２０は、上記（式３）により求まるｒ（ゲイン）を本サブルーチン１の出力のゲイン値として算出した後、図２のフローチャートの処理へ復帰してステップＳ１０３へ移行する。
【００５７】
ステップＳ１０３：制御部２０は、第一の画像および第二の画像と、上記のゲイン算出処理（サブルーチン１）によって算出されたゲイン値とを入力として、図５に示す位置ずれ量算出処理（サブルーチン２）を呼び出す。
【００５８】
なお、ここでの入力として使用される第一の画像および第二の画像は、上記ステップＳ１０１の処理が行われた時点で作成されたオリジナルの画像である。
【００５９】
（位置ずれ量算出処理）
ステップＳ１０３−１（図５）：制御部２０は、入力された第二の画像の画像信号に対して、入力されたゲイン値、即ち、上記（式３）によって求まったｒを乗算する。これにより位置ずれ検出を行いたい２つの画像、即ち、入力された第一の画像と第二の画像との露光の状態を一致させるようにする。
【００６０】
ステップＳ１０３−２（図５）：制御部２０は、入力された第一の画像から特定画素群βの抽出を行う。なお、ここでは、位置ずれ量の算出に適した画素群を抽出する必要がある。そのため上記のゲイン算出処理（サブルーチン１）で特定画素群αを抽出したのとは異なる条件で抽出を行う。具体的には、例えば、隣接画素との輝度差が所定の閾値以上である画素というような条件で特定画素群βを抽出するようにする。
【００６１】
なお、特定画素群βについても、画素を単位とした括り（集合）、あるいは矩形などの領域を単位とした括り（集合）であってよい。
【００６２】
ステップＳ１０３−３（図５）：制御部２０は、第一の画像と第二の画像との位置ずれ量を算出する。
【００６３】
具体的には、上記（式１）を用いて幾何変換した場合の第一の画像における特定画素群βの画素をＡβ、そのＡβと同一の座標位置にある第二の画像中の画素（の集合）をＢβとしたときに、下記の（式４）を満たす評価値ΔＥが最も小さくなる幾何変換パラメータｐ（ｐ0 〜ｐ5 ）を位置ずれ量として算出する。
【００６４】
【数４】
【００６５】
なお、幾何変換を上記（式１）以外の手法（例えば、アフィン変換など）を用いて行う場合には、上記ステップＳ１０３−２では、その幾何変換に用いる手法に適した条件で特定画素群βを抽出するようにすることが好ましい。
【００６６】
制御部２０は、幾何変換パラメータｐ（ｐ0 〜ｐ5 ）を本サブルーチン２の出力の位置ずれ量として算出した後、図２のフローチャートの処理へ復帰してステップＳ１０４へ移行する。
【００６７】
ステップＳ１０４：制御部２０は、位置ずれ検出の処理を終了させるか否かを判定する。
【００６８】
具体的には、ゲイン算出処理（サブルーチン１）および位置ずれ量算出処理（サブルーチン２）を所定回数実行した場合、又は、今回算出された位置ずれ量（幾何変換パラメータｐ）と前回算出された位置ずれ量との差が小さい（例えば、所定の閾値を下回る）場合には、制御部２０は、位置ずれ検出の処理を終了させるためステップＳ１０５へ移行する。
【００６９】
一方、ゲイン算出処理および位置ずれ量算出処理を所定回数実行していない場合、又は、今回算出された位置ずれ量と前回算出された位置ずれ量との差が、例えば、所定の閾値以上である場合には、制御部２０は、上記の処理を繰り返すためステップＳ１０２へ移行する。なお、この場合に、移行後のステップＳ１０２においてゲイン算出処理（サブルーチン１）の呼び出しで入力として使用される第一の画像および第二の画像は、上記ステップＳ１０１の処理が行われた時点で作成されたオリジナルの画像である。また、その際、ゲイン算出処理（サブルーチン１）のもう一つの入力の幾何変換パラメータには、上記の位置ずれ量算出処理（サブルーチン２）によって出力された位置ずれ量（つまり、幾何変換パラメータｐ（ｐ0 〜ｐ5 ））が指定される。
【００７０】
ステップＳ１０５：制御部２０は、位置ずれ量算出処理（サブルーチン２）で算出された幾何変換パラメータｐ（ｐ0 〜ｐ5 ）を、入力された２つの画像間（例えば、ｎ−１番目のフレームとｎ番目のフレームの画像間）の位置ずれ量として出力して、本フローチャート（図２）の処理を終了する。
【００７１】
（実施形態の補足事項）
なお、上記（式１）の幾何変換モデルでは、幾何変換パラメータｐをｐ0 〜ｐ5 の６つとしたが、パラメータの数は６つよりも多くしてよい。パラメータが多いほど、より詳細な位置ずれ検出が可能となる。
【００７２】
また、上記の特定画素群αと特定画素群βの抽出においては、上記のゲイン算出処理（サブルーチン１）と位置ずれ量算出処理（サブルーチン２）の繰り返し実行回数に応じて、抽出の条件（又は基準）を厳しくする、若しくは特定画素群として抽出した画素をその数が少なくなるように更に絞り込むようにしてもよい。そうすれば、位置ずれ検出における演算の高速化を図ることが可能となる。
【００７３】
また、上記では、ゲイン算出処理（サブルーチン１）を実行した後に、位置ずれ量算出処理（サブルーチン２）を実行するように説明したが、それらの実行順序は逆であってもよい。その場合、先に実行する位置ずれ量算出処理（サブルーチン２）においては、初回の実行時には、未だゲイン値（上記（式３）によって求まるｒ）が算出されていないので、ゲイン値を第二の画像の画像信号に乗算するステップＳ１０３−１の処理を省略して、そのままステップＳ１０３−２へ移行するようにする。
【００７４】
また、それらの実行順序を逆にした場合は、上記ステップＳ１０４での位置ずれ検出の処理を終了させるか否かの判定に、前回算出されたゲイン値と今回算出されたゲイン値との差が小さいか否かの判定を加えるようにしてもよい。
【００７５】
なお、判定を加えた場合、ステップＳ１０４では、位置ずれ量算出処理（サブルーチン２）およびゲイン算出処理（サブルーチン１）を所定回数実行した場合、又は、前回算出された位置ずれ量（幾何変換パラメータｐ）と今回算出された位置ずれ量との差が小さい（例えば、所定の閾値を下回る）場合、又は、前回算出されたゲイン値（上記（式３）によって求まるｒ）と今回算出されたゲイン値との差が小さい（例えば、所定の閾値を下回る）場合には、制御部２０は、位置ずれ検出の処理を終了させるためステップＳ１０５へ移行するようにする。
【００７６】
一方、位置ずれ量算出処理およびゲイン算出処理を所定回数実行していない場合、又は、今回算出された位置ずれ量と前回算出された位置ずれ量との差が、例えば、所定の閾値以上である場合、又は、前回算出されたゲイン値と今回算出されたゲイン値との差が、例えば、所定の閾値以上である場合には、制御部２０は、位置ずれ検出の処理を繰り返すためステップＳ１０２へ移行するようにする。
【００７７】
（実施形態の作用効果）
以上、本実施形態のデジタルカメラでは、時系列的に前後する第一の画像と第二の画像との間の変化量を検出するための画像処理として、以下の演算が実行される。
【００７８】
ゲイン算出処理（サブルーチン１）において、第一の画像から特定画素群αが抽出されると共に、その特定画素群αに対して幾何変換が実施される。なお、この幾何変換においては、入力された位置ずれ量が幾何変換パラメータとして指定される。この位置ずれ量は、後述の位置ずれ量算出処理（サブルーチン２）によって算出されるものである。そして、幾何変換実施後の第一の画像における特定画素群αの画素と、その特定画素群αの画素と同一座標にある第二の画像中の画素との輝度差に基づいてゲイン値が算出される。
【００７９】
また、位置ずれ量算出処理（サブルーチン２）において、第二の画像に対して入力のゲイン値が乗算される。なお、このゲイン値は、上記のゲイン算出処理（サブルーチン１）によって算出されるものである。そして、第一の画像から特定画素群βが抽出されると共に、第一の画像とゲイン値が乗算された第二の画像との間における特定画素群βの位置の変化量を推定して位置ずれ量が算出される。具体的には、（式１）を用いて幾何変換した場合の第一の画像における特定画素群βの画素をＡβ、そのＡβと同一の座標位置にある第二の画像中の画素（の集合）をＢβとしたときに、（式４）を満たす評価値ΔＥが最も小さくなる幾何変換パラメータｐ（ｐ0 〜ｐ5 ）が位置ずれ量として算出される。
【００８０】
そして、これらゲイン算出処理（サブルーチン１）と位置ずれ量算出処理（サブルーチン２）とが少なくとも１回以上実行されることにより、第一の画像と第二の画像との間の変化量が検出される。
【００８１】
すなわち、ゲイン算出処理（サブルーチン１）において算出されるゲイン値は、位置ずれ量算出処理（サブルーチン２）により算出された位置ずれ量（幾何変換パラメータ）を用いて幾何変換を実施した後の第一の画像における特定画素群αの画素と、その特定画素群αの画素と同一座標にある第二の画像中の画素との輝度差に基づいて算出されるものである。なお、特定画素群αは、第一の画像中の中間階調値を有する画素の集合、又は、中間階調値を有する画素が所定の数以上含まれる第一の画像中の矩形の領域内に存在する画素の全てである。従って、このように算出されるゲイン値は、第一の画像と第二の画像との露光の状態を一致させるための好適な値となる。
【００８２】
また、位置ずれ量算出処理（サブルーチン２）において算出される位置ずれ量は、ゲイン算出処理（サブルーチン１）により算出されたゲイン値を用いて露光の状態を一致させた第一の画像と第二の画像との間における特定画素群βの位置の変化量を推定することにより算出されるものである。なお、特定画素群βは、第一の画像中の画素のうち隣接画素との輝度差が所定の閾値以上である画素の集合、又は、隣接画素との輝度差が所定の閾値以上である画素が、所定の数以上含まれる第一の画像中の矩形の領域内に存在する画素の全てである。従って、このように算出される位置ずれ量（幾何変換パラメータ）は、第一の画像と第二の画像と間の変化量を高精度に表したものとなる。
【００８３】
そして、これらゲイン算出処理（サブルーチン１）と位置ずれ量算出処理（サブルーチン２）とが少なくとも１回以上実行される。従って、算出されるゲイン値と位置ずれ量（幾何変換パラメータ）との値は、より精度の高いものとなる。
【００８４】
よって、本実施形態のデジタルカメラによれば、動画などの時系列的に前後する画像間の位置ずれ量の検出を高精度に行うことができる。特に、検出の対象となる画像間で露出条件が異なり、かつ、その露出条件が不明な場合であっても、本実施形態のデジタルカメラによれば、画像間の位置ずれ量の検出を高精度に行うことができる。
【００８５】
（その他）
なお、上述したデジタルカメラの動作に係るプログラムは、その一部または全部をコンピュータなどの外部処理装置に実行させてもよい。その場合、必要なプログラムがＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記憶媒体やインターネット等の通信網などを介して外部処理装置へインストールされる。
【００８６】
また、上記ではデジタルカメラの実施例を説明したが、本発明は、動画などの時系列的に前後する画像を撮影することが可能な他の機器、例えば、デジタルビデオカメラや携帯電話などにも適用することが可能である。
【符号の説明】
【００８７】
１１…撮像レンズ，１２…レンズ駆動部，１３…撮像素子，１４…アナログ信号処理部，１５…タイミングジェネレータ（ＴＧ），１６…バッファメモリ，１７…画像処理部，１８…表示制御部，１９…表示部，２０…制御部，２１…圧縮／復号部，２２…記録インターフェース（記録Ｉ／Ｆ），２３…記録媒体，２４…操作部，２５…バス
【特許請求の範囲】
【請求項１】
時系列的に前後する第一の画像と第二の画像との間の変化量を検出する画像処理装置であって、
入力された位置ずれ量を幾何変換パラメータとして、前記第一の画像から抽出した特定画素群αに対して幾何変換を実施し、前記幾何変換の実施後の第一の画像における特定画素群αの画素と、その特定画素群αの画素と同一座標にある前記第二の画像中の画素との輝度差に基づきゲイン値を算出するゲイン算出手段と、
入力されたゲイン値を前記第二の画像に対して乗算し、前記第一の画像から特定画素群βを抽出し、前記第一の画像と前記ゲイン値が乗算された第二の画像との間における前記特定画素群βの位置の変化量を推定して位置ずれ量を算出する位置ずれ量算出手段と、
前記ゲイン算出手段に対しては、前記位置ずれ量算出手段により算出される前記位置ずれ量を入力とし、前記位置ずれ量算出手段に対しては、前記ゲイン算出手段により算出される前記ゲイン値を入力として、前記ゲイン算出手段と前記位置ずれ量算出手段とを少なくとも１回以上実行することにより、前記変化量を検出する検出手段と
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
特定画素群αは、前記第一の画像中の中間階調値を有する画素の集合である
ことを特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理装置において、
特定画素群αは、中間階調値を有する画素が所定の数以上含まれる前記第一の画像中の矩形の領域内に存在する画素の全てである
ことを特徴とする画像処理装置。
【請求項４】
請求項１ないし請求項３の何れか一項に記載の画像処理装置において、
特定画素群βは、前記第一の画像中の画素のうち隣接画素との輝度差が所定の閾値以上である画素の集合である
ことを特徴とする画像処理装置。
【請求項５】
請求項１ないし請求項３の何れか一項に記載の画像処理装置において、
特定画素群βは、隣接画素との輝度差が所定の閾値以上である画素が、所定の数以上含まれる前記第一の画像中の矩形の領域内に存在する画素の全てである
ことを特徴とする画像処理装置。
【請求項６】
時系列的に前後する複数枚の画像を撮像する撮像手段と、
前記撮像手段により撮像された前記複数枚の画像を画像処理の対象として扱う請求項１ないし請求項５の何れか一項に記載の画像処理装置と
を備えることを特徴とするデジタルカメラ。
【請求項７】
時系列的に前後する第一の画像と第二の画像との間の変化量を検出する画像処理プログラムであって、
入力された位置ずれ量を幾何変換パラメータとして、前記第一の画像から抽出した特定画素群αに対して幾何変換を実施し、前記幾何変換の実施後の第一の画像における特定画素群αの画素と、その特定画素群αの画素と同一座標にある前記第二の画像中の画素との輝度差に基づきゲイン値を算出するゲイン算出ステップと、
入力されたゲイン値を前記第二の画像に対して乗算し、前記第一の画像から特定画素群βを抽出し、前記第一の画像と前記ゲイン値が乗算された第二の画像との間における前記特定画素群βの位置の変化量を推定して位置ずれ量を算出する位置ずれ量算出ステップと、
前記ゲイン算出ステップに対しては、前記位置ずれ量算出ステップにより算出される前記位置ずれ量を入力とし、前記位置ずれ量算出ステップに対しては、前記ゲイン算出ステップにより算出される前記ゲイン値を入力として、前記ゲイン算出ステップと前記位置ずれ量算出ステップとを少なくとも１回以上実行することにより、前記変化量を検出する検出ステップと
をコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項８】
請求項７に記載の画像処理プログラムにおいて、
特定画素群αは、前記第一の画像中の中間階調値を有する画素の集合である
ことを特徴とする画像処理プログラム。
【請求項９】
請求項７に記載の画像処理プログラムにおいて、
特定画素群αは、中間階調値を有する画素が所定の数以上含まれる前記第一の画像中の矩形の領域内に存在する画素の全てである
ことを特徴とする画像処理プログラム。
【請求項１０】
請求項７ないし請求項９の何れか一項に記載の画像処理プログラムにおいて、
特定画素群βは、前記第一の画像中の画素のうち隣接画素との輝度差が所定の閾値以上である画素の集合である
ことを特徴とする画像処理プログラム。
【請求項１１】
請求項７ないし請求項９の何れか一項に記載の画像処理プログラムにおいて、
特定画素群βは、隣接画素との輝度差が所定の閾値以上である画素が、所定の数以上含まれる前記第一の画像中の矩形の領域内に存在する画素の全てである
ことを特徴とする画像処理プログラム。
【請求項１】
時系列的に前後する第一の画像と第二の画像との間の変化量を検出する画像処理装置であって、
入力された位置ずれ量を幾何変換パラメータとして、前記第一の画像から抽出した特定画素群αに対して幾何変換を実施し、前記幾何変換の実施後の第一の画像における特定画素群αの画素と、その特定画素群αの画素と同一座標にある前記第二の画像中の画素との輝度差に基づきゲイン値を算出するゲイン算出手段と、
入力されたゲイン値を前記第二の画像に対して乗算し、前記第一の画像から特定画素群βを抽出し、前記第一の画像と前記ゲイン値が乗算された第二の画像との間における前記特定画素群βの位置の変化量を推定して位置ずれ量を算出する位置ずれ量算出手段と、
前記ゲイン算出手段に対しては、前記位置ずれ量算出手段により算出される前記位置ずれ量を入力とし、前記位置ずれ量算出手段に対しては、前記ゲイン算出手段により算出される前記ゲイン値を入力として、前記ゲイン算出手段と前記位置ずれ量算出手段とを少なくとも１回以上実行することにより、前記変化量を検出する検出手段と
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
特定画素群αは、前記第一の画像中の中間階調値を有する画素の集合である
ことを特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理装置において、
特定画素群αは、中間階調値を有する画素が所定の数以上含まれる前記第一の画像中の矩形の領域内に存在する画素の全てである
ことを特徴とする画像処理装置。
【請求項４】
請求項１ないし請求項３の何れか一項に記載の画像処理装置において、
特定画素群βは、前記第一の画像中の画素のうち隣接画素との輝度差が所定の閾値以上である画素の集合である
ことを特徴とする画像処理装置。
【請求項５】
請求項１ないし請求項３の何れか一項に記載の画像処理装置において、
特定画素群βは、隣接画素との輝度差が所定の閾値以上である画素が、所定の数以上含まれる前記第一の画像中の矩形の領域内に存在する画素の全てである
ことを特徴とする画像処理装置。
【請求項６】
時系列的に前後する複数枚の画像を撮像する撮像手段と、
前記撮像手段により撮像された前記複数枚の画像を画像処理の対象として扱う請求項１ないし請求項５の何れか一項に記載の画像処理装置と
を備えることを特徴とするデジタルカメラ。
【請求項７】
時系列的に前後する第一の画像と第二の画像との間の変化量を検出する画像処理プログラムであって、
入力された位置ずれ量を幾何変換パラメータとして、前記第一の画像から抽出した特定画素群αに対して幾何変換を実施し、前記幾何変換の実施後の第一の画像における特定画素群αの画素と、その特定画素群αの画素と同一座標にある前記第二の画像中の画素との輝度差に基づきゲイン値を算出するゲイン算出ステップと、
入力されたゲイン値を前記第二の画像に対して乗算し、前記第一の画像から特定画素群βを抽出し、前記第一の画像と前記ゲイン値が乗算された第二の画像との間における前記特定画素群βの位置の変化量を推定して位置ずれ量を算出する位置ずれ量算出ステップと、
前記ゲイン算出ステップに対しては、前記位置ずれ量算出ステップにより算出される前記位置ずれ量を入力とし、前記位置ずれ量算出ステップに対しては、前記ゲイン算出ステップにより算出される前記ゲイン値を入力として、前記ゲイン算出ステップと前記位置ずれ量算出ステップとを少なくとも１回以上実行することにより、前記変化量を検出する検出ステップと
をコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項８】
請求項７に記載の画像処理プログラムにおいて、
特定画素群αは、前記第一の画像中の中間階調値を有する画素の集合である
ことを特徴とする画像処理プログラム。
【請求項９】
請求項７に記載の画像処理プログラムにおいて、
特定画素群αは、中間階調値を有する画素が所定の数以上含まれる前記第一の画像中の矩形の領域内に存在する画素の全てである
ことを特徴とする画像処理プログラム。
【請求項１０】
請求項７ないし請求項９の何れか一項に記載の画像処理プログラムにおいて、
特定画素群βは、前記第一の画像中の画素のうち隣接画素との輝度差が所定の閾値以上である画素の集合である
ことを特徴とする画像処理プログラム。
【請求項１１】
請求項７ないし請求項９の何れか一項に記載の画像処理プログラムにおいて、
特定画素群βは、隣接画素との輝度差が所定の閾値以上である画素が、所定の数以上含まれる前記第一の画像中の矩形の領域内に存在する画素の全てである
ことを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１０−２４５６５８（Ｐ２０１０−２４５６５８Ａ）
【公開日】平成２２年１０月２８日（２０１０．１０．２８）
【国際特許分類】
【出願番号】特願２００９−８９７８５（Ｐ２００９−８９７８５）
【出願日】平成２１年４月２日（２００９．４．２）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２２年１０月２８日（２０１０．１０．２８）
【国際特許分類】
【出願日】平成２１年４月２日（２００９．４．２）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]