画像合成処理方法及び記録媒体
【課題】 一般的なカメラによる撮影画像に対しても適用可能で高速なパンフォーカス画像合成方法を提供する。
【解決手段】 焦点位置等が異なる２枚の画像を入力し（１００）、入力画像間相対位置を推定する（１０２）。各入力画像の合焦領域を推定し（１０８）、一方の入力画像の合焦領域画像をぼかした画像と他方の入力画像の対応した非合焦領域画像とのマッチングによりぼけ関数を推定し（１１２）、推定したぼけ関数によって決まるフィルタ係数を用いて各入力画像をフィルタ処理した後に加算することによりパンフォーカス画像を合成する（１１８）。相対位置、合焦領域、ぼけ関数の推定結果に対し、ユーザは画面上で必要な修正を行う（１０４，１１０，１１４）。
【解決手段】 焦点位置等が異なる２枚の画像を入力し（１００）、入力画像間相対位置を推定する（１０２）。各入力画像の合焦領域を推定し（１０８）、一方の入力画像の合焦領域画像をぼかした画像と他方の入力画像の対応した非合焦領域画像とのマッチングによりぼけ関数を推定し（１１２）、推定したぼけ関数によって決まるフィルタ係数を用いて各入力画像をフィルタ処理した後に加算することによりパンフォーカス画像を合成する（１１８）。相対位置、合焦領域、ぼけ関数の推定結果に対し、ユーザは画面上で必要な修正を行う（１０４，１１０，１１４）。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、デジタルカメラ等で同一被写体を撮影した複数の画像データからパンフォーカス画像データを合成する技術に関する。
【０００２】
【従来の技術】焦点位置の異なる条件で同一シーンを撮影した複数の画像データから、床なる奥行きを持つ画像全体に焦点の合ったパンフォーカス画像を生成する様々な手法が提案されている。それらの従来技術を、ここでは「選択法」と「反復復元法」とに大別して説明する。
【０００３】選択法に属する従来技術の一つとして、特開平３−８０６７６号公報に述べられているように、各入力画像をブロックに分割し、複数の入力画像間で、ブロック毎に、高周波成分の大きさを比較することによって鮮明さを評価し、高周波成分の大きい（より鮮明な）ほうの画像を選択し、選択したブロック単位の画像をつなぎ合わせることによって全焦点画像を合成する方法がある。
【０００４】選択法に属するもう一つの従来技術として、特開平８−３０７７５６号公報に述べられているように、近距離の被写体に合焦した第１の画像から、例えば輝度の変化率によって鮮明な画像部分を選択し、この画像部分を遠距離の被写体に合焦した第２の画像の対応部分にはめ込む。あるいは、第１の画像の鮮明な画像部分を第２の画像の対応部分に重ね合わせる。その重ね合わせは、第１の画像と第２の画像の画素値の平均をとるか、輝度の変化率に基づいた加重平均をとることによる、方法がある。
【０００５】選択法に属する別の従来技術として、論文［内藤、児玉、相澤、羽島、「複数の異なる焦点画像からの焦点外れ画像の生成を利用した全焦点画像の強調的取得」、電子情報通信学会論文誌 D-II、Vol.79-D-II、No.6、pp.1046-1053年］に述べられているに、第１の画像を徐々にぼかしながら他方の画像と画素ごとに比較し、ほぼ一致した場合に、その位置では第１の画像が合焦と判定することにより、第１の画像の合焦領域を選択する。このようにして各画像から選択した合焦領域を統合することにより全焦点画像を生成する方法がある。
【０００６】反復復元法に属する従来技術としては、論文［児玉、相澤、羽島、「複数画像からの全焦点画像の再構成」、電子情報通信学会論文誌 D-II、Vol.J80-D-II、No.9、pp.2298-2307］に述べられているように、異なった奥行き対象シーンにそれぞれ焦点を合わせた画像と目的とする全焦点画像との関係式を導き、それに基づく反復式を用いて全焦点画像を再構成する方法がある。同様にして、それぞれの奥行き毎に任意のぼけを持つような任意焦点画像を再構成する方法も知られている（児玉、相澤、羽島、「複数画像からの任意焦点画像の生成」、映像メディア処理シンポジウム、IMS96 I-8.15）。
【０００７】この反復復元法を、より具体的に説明すれば、近景画像、遠景画像をそれぞれｆ（ｘ）、ｇ（ｘ）とし、撮影画像をＩ1（ｘ）、Ｉ2（ｘ）について次のようなモデルを考える。全焦点画像をＩ（ｘ）、対象シーンの奥行きをｄ（ｘ）＝ｄ1ｏｒ ｄ2 とし、
【数１】
【数２】
【数３】
【数４】
【０００８】とする。このモデルに沿って考えれば、式（２）乃至式（４）より、
【数５】
【数６】
【数７】
【０００９】という関係が導かれる。そうすると、各入力画像についての、ぼけ関数（ｈ1，ｈ2）が分かれば、初期復元画像Ｉ^0＝Ｉ1 ｏｒ Ｉ2 を使い
【数８】
の反復演算により全焦点画像を復元できる。
【００１０】同様に、次式のように、近景画像ｆ（ｘ）をぼけ関数ｈaで、遠景画像ｇ（ｘ）をぼけ関数ｈbで、それぞれぼかした任意焦点画像Ｉab
【数９】
についても、式（８）の代わりに次式のＧab
【数１０】
を考えると
【数１１】
の反復演算により任意焦点画像を復元できる。
【００１１】また、前記論文には、ぼけ関数を取得する方法としては次の２方法が提案されている。
（１）測定法：あらかじめ各撮影条件（焦点位置、絞り等）での、各距離における対象物のぼけ関数を測定、記録しておき、測定した条件で撮影する。
（２）画像から推定する方法：前記論文「複数の異なる焦点画像からの使用点外れ画像の生成を利用した全焦点画像の強調的取得」におけると同様に、画素毎に合焦／非合焦を判別し、一方の画像を徐々にぼかしながら他方の画像と比較し、一致するぼけの程度を求める。
【００１２】
【発明が解決しようとする課題】選択法として述べた従来技術には、選択間違いによる画質劣化が生じやすいという問題がある。特に、エッジ周辺では合焦画像より非合焦画像の方が輝度変化が大きいため、選択間違いが起こりやすい。
【００１３】反復復元法として述べた従来技術には、選択法のような選択間違いによる画質劣化がなく、ぼけの程度のみしか必要としない（空間的に、どこがぼけているかの情報は不要）、全焦点画像のみならず任意焦点画像の合成も可能という利点がある。しかし、前記論文には３回程度の反復でほぼ収束するとあるが、実際に何回反復すれば十分か明らかでなく、また、多数回の反復には多くの演算が必要で処理時間が長くなるという問題がある。また、ぼけ関数の取得に関して２つの方法が提案されているが、次のような問題がある。まず、「測定法」では、あらかじめカメラの特性を測定しておく必要があり、さらに、各入力画像について、撮影時の焦点距離、絞り等のぼけ関数に影響を与える撮影条件の情報が必要となる。そのため、一般的な自動焦点カメラ等で撮影した、撮影時の焦点位置等が不明な画像データに対しては「測定法」は適用不可能である。もう１つの「画像から推定する方法」は、演算量が多く実行に時間がかかり、また、ユーザによる修正が困難であるという問題がある。
【００１４】また、前記各従来技術には次のような問題もある。カメラの焦点距離を変えると一般に倍率も変化するので、前記各従来技術には、複数の撮影画像の相互の位置合わせのため、画像に対する倍率補正が含まれる。しかし、例えば、一般的な自動焦点カメラを使用し、（１）対象物が中心に来るようにカメラを向け、対象物に焦点を合わせて１枚を撮影し、（２）カメラの方向を変えて対象物を中心から外し、背景に焦点を合わせた状態でレリーズボタンの半押し操作等で焦点を固定し、（３）焦点を固定したまま対象物が中心に来るようにカメラの向きを変えて２枚目を撮影する、というような方法で撮影した２枚の画像データは、倍率のみならず、位置、方向等も微妙に異なっているはずであり、倍率補正だけでは、画像間の位置合わせを精度よく行うことはできない。ビームスプリッタと２枚のＣＣＤ等を持つような専用のカメラではなく、一般的なカメラで撮影された画像を扱うためには、平行移動、回転を含む、より自由度の高い位置合わせが不可欠である。
【００１５】本発明は、前記従来技術の諸問題点を解決し、一般的な自動焦点機能や自動露出機能を持つデジタルカメラ等で同一対象物を撮影した複数の画像データから、短時間で、高品質なパンフォーカス画像データの合成を可能にすることを究極の目的とするものである。また、この究極目的を達成するため、（１）ぼけ関数を使用した画像合成処理を高速化すること、（２）ぼけ関数の推定処理を高速化すること、（３）ぼけ関数の推定結果の確認、修正を容易にすること、（４）画像データ間の相対位置を推定し、倍率補正のみでは補正困難な画像データ間の位置合わせを可能にすること、（５）画像データ間の相対位置の推定結果の確認、修正を容易にすること等も本発明の目的に含まれる。
【００１６】
【課題を解決するための手段】前記目的を達成するため、請求項１記載の発明は、焦点位置を含む撮影条件を相違させて同一の対象物を撮影した複数の画像データを入力し、複数の入力画像データに基づいて各入力画像データのぼけ関数を推定し、複数の入力画像データを、それぞれの推定されたぼけ関数に基づき決定される係数を使ったフィルタ処理を施した後に加算することにより、パンフォーカス画像を生成することを特徴とするものである。
【００１７】請求項２記載の発明は、焦点位置を含む撮影条件を相違させて同一の対象物を撮影した複数の画像データを入力し、各入力画像データの合焦領域を推定し、各入力画像データの推定された合焦領域の画像データをぼかした画像データと、これに対応した他の入力画像データの非合焦領域の画像データとのマッチングをとることにより、各入力画像データのぼけ関数を推定し、複数の入力画像データから、それぞれの推定されたぼけ関数を利用してパンフォーカス画像を合成することを特徴とするものである。
【００１８】請求項３記載の発明は、焦点位置を含む撮影条件を相違させて同一の対象物を撮影した複数の画像データを入力し、各入力画像データの合焦領域を推定し、各入力画像データの推定された合焦領域の画像データをぼかした画像データと、これに対応した他の入力画像データの非合焦領域の画像データとのマッチングをとることにより、各入力画像データのぼけ関数を推定し、複数の入力画像データを、それぞれの推定されたぼけ関数に基づき決定される係数を使ったフィルタ処理を施した後に加算することにより、パンフォーカス画像を生成することを特徴とするものである。
【００１９】請求項４記載の発明は、請求項２又は３記載の発明の画像合成処理方法において、一つの入力画像データの合焦領域に対応した他の入力画像データの非合焦領域の画像データと、該他の入力画像データの推定されたぼけ関数を該一つの入力画像データの合焦領域の画像データに作用させてぼかした画像データとを画面表示し、該他の入力画像データの推定されたぼけ関数の適否をユーザに確認させることを特徴とするものである。
【００２０】請求項５記載の発明は、請求項２又は３記載の発明の画像合成処理方法において、一つの入力画像データの合焦領域に対応した他の入力画像の非合焦領域の画像データと、該一つの入力画像データの合焦領域の画像データに、該他の入力画像データの推定されたぼけ関数、及び、該推定されたぼけ関数よりぼけの程度が異なるぼけ関数をそれぞれ作用させてぼかした複数の画像データとを画面表示し、ユーザにぼけ関数の推定結果を修正させることを特徴とするものである。
【００２１】請求項６記載の発明は、請求項１、２、３、４又は５記載の画像合成処理方法において、各入力画像データの局所的な平行移動量を輝度勾配に基づいて求め、求めた各局所的平行移動量を全体として多項式近似することにより各入力画像データの相対位置を推定し、推定された相対位置に基づいて各入力画像データ相互の位置合わせを行うことを特徴とするものである。
【００２２】請求項７記載の発明は、請求項６記載の画像合成処理方法において、二つの入力画像データのうちの一方の画像データと、他方の画像データを推定された相対位置に基づいて変形させた画像データとを重ねて画面表示し、ユーザに相対位置の推定結果の確認及び修正をさせることを特徴とするものである。
【００２３】
【発明の実施の形態】図１は本発明の一実施例による画像合成処理のフローチャートを示す。この画像合成処理は、ユーザーインターフェースを有するコンピュータ上でソフトウェアにより実施される。ここでは、一例として、図２に示すようなＣＰＵ２００に接続されたバス２０１に、メモリ２０２、ディスプレイコントローラ２０３を介してＣＲＴディスプレイ２０４、入力インターフェース２０６を介してキーボード２０７やマウス（ポインティングデバイス）２０８、ディスクコントローラ２０９を介してハードディスク２１０やフロッピー（登録商標）ディスクドライブ２１１が接続され、また、入力インターフェース２１３を介してデジタルカメラやスキャナ等の画像入力装置２１４を接続できるような構成のコンピュータ上で実施されるものとして説明する。画像合成処理のためのプログラムは、例えば、それが記録されたフロッピーディスク２１２よりフロッピーディスクドライブ２１１を介して読み込まれてハードディスク２１０に保存されており、処理実行時にメモリ２０２にロードされる。なお、フロッピーディスク以外の記録媒体、例えば光磁気ディスクなどの媒体を読み書きできるドライブを用意し、その媒体に記録したプログラムを読み込むようにしてもよい。
【００２４】以下、図１のフローチャートに従い、画像合成処理の各処理ステップについて順に説明する。まず、ステップ１００において、同じ対象物を焦点位置を変えて撮影した２枚の画像データを入力する。具体的な入力方法は、例えば、画像の撮影に利用したデジタルカメラ等から、デジタル画像データを入力インターフェース２１３を介して直接入力したり、デジタルカメラや銀塩フィルムを用いるカメラで撮影した画像のプリントを、スキャナで読み取って入力インターフェース２１３を介して入力したり、あるいは、フロッピーディスク２１２に記録した画像データを読み込む等々の方法が可能である。入力される２枚の画像の間に、倍率、位置、方向の多少の違いがあってもよい。なお、ここでは、入力画像はグレースケール画像とする。
【００２５】次のステップ１０２において、２枚の画像データ間の相対位置を推定する。本実施例では、特開平９−７３５３６号公報に述べられているように、２枚の画像データをそれぞれ適当なサイズの複数のブロック分割し、輝度変化の大きさが所定値を越えるブロックに関し、ブロック毎に、輝度勾配に基づいて２枚の画像データ間の相対的な平行移動量を計算し、次に、求めた各ブロックの平行移動量を全体として多項式近似することにより、２枚の画像データ間の相対位置を推定する。この方法によれば、平行移動、回転等の様々な変形を含む２枚の画像間の相対位置を推定可能である。また、このような輝度勾配を線形近似して相対位置を推定する方法は、画像データの低周波成分のみを利用し細かな濃淡変化は無視するので、画像の合焦／非合焦にかかわらず適用可能である。
【００２６】なお、上に述べた推定方法は画像データが輝度にリニアなレベルを持つことを前提としているが、一般にデジタル画像データはＣＲＴディスプレイ等の出力（ガンマ）特性にあわせてレベル補正がなされている。したがって、入力画像データがガンマ補正を施された画像データの場合には、上に述べた相対位置推定の前処理として、各画像データに対して、それを輝度リニアなデータに逆補正する処理を施す。この逆補正の際のガンマ特性としては、画像データにガンマ特性が記録されているならば、そのガンマ特性を利用すればよく、ガンマ特性が不明な場合には一般的な２．２を用いればよい。
【００２７】次のステップ１０４において、前ステップ１０２で推定された相対位置に従って、２枚の画像データのうちの一方の画像データ（１）を基準として、２枚の画像データを位置合わせするため、もう一方の画像データ（２）を変形させ、この変形後の画像データ（２）と基準側の画像データ（１）を、ＣＲＴディスプレイ２０４の画面上に、図３に示すように重ねて表示させる。図３において、３０１は基準側の画像データ（１）の画像を示し、３０２は変形後の画像データ（２）の画像を示す。画面には、図３に示すように、ユーザの指示を求めるためのメッセージ３０３と、指示のための「確定」ボタン３０４及び「再推定」ボタン３０５も表示される。
【００２８】ユーザは、２つの画像３０１，３０２の重なりを観察し、正しく重なっていると判断した場合にはマウス２０８を利用して「確定」ボタン３０４を押す。ユーザが２つの画像３０１，３０２の重なりが不正確であると判断した場合には、そのまま「再推定」ボタン３０５を押すか、あるいは、マウス２０８を利用して画像３０２を正しい重なりになるように移動させる操作を行ってから「確定」ボタン３０４又は「再推定」ボタン３０５を押す。
【００２９】「確定」ボタンが押された場合（ステップ１０６、ＮＯ）、現在画面に表示されている画像３０１，３０２間の相対位置を画像データ（１），（２）間の相対位置として確定し、次のステップ１０８の処理に進む。「再推定」ボタン３０５が押された場合（ステップ１０６、ＹＥＳ）、ステップ１０２に戻り２画像データ間の相対位置の自動推定が再度実行されるが、この際は現在画面に表示されている画像３０１，３０２間の相対位置が初期値として利用される。
【００３０】このようにして２つの画像データ（１），（２）間の相対位置が確定すると、ステップ１０８の処理に進むが、このステップ１０８以降においては、確定した相対位置に従って画像データ（２）を変形した後の画像データが、画像データ（２）として用いられる。
【００３１】ステップ１０８においては、各画像データ（１），（２）の合焦領域を推定する。この合焦領域の推定には、合焦した鮮明な領域では非合焦領域に比べ高周波成分が増加するという性質を利用する。具体的手順は次の通りである。各画像データを例えば１６×１６画素のブロックに分割する。各画像データに対し、例えば図４に示すようなハイパスフィルタ係数によるハイパスフィルタ処理を施し、処理後の画素値をブロック毎に加算する。ここで、画像データ（ｉ）のブロック（ｊ）の加算結果をＢijとすると、画像データ（１），（２）のブロック（１）について、Ｂ1j−Ｂ2j は、画像データ（１）が画像データ（２）に比べ鮮明であるほど（高周波成分が多いほど）大きな値をとる。そこで、Ｂ1j−Ｂ2j が最大値をとるブロック（ｊ）を画像データ（１）の合焦領域と推定する。同様に、Ｂ1j−Ｂ2j が最小値をとるブロック（ｊ）、つまりＢ2j−Ｂ1j が最大値をとるブロック（ｊ）を画像データ（２）の合焦領域と推定する。
【００３２】このようして各画像データの合焦領域が推定されるが、その推定結果に対するユーザによる確認又は修正を可能にするため、次のステップ１１０において、ＣＲＴディスプレイ画面上に、例えば図５に示すように、各画像データとその推定された合焦領域が表示される。図５において、５０１は画像データ（１）又は画像データ（２）の画像を示し、５０２はその画像データの推定された合焦領域を表す枠である。画面には、図５に示すように、ユーザの指示を求めるためのメッセージ５０３と、指示のための「確定」ボタン５０４も表示される。
【００３３】ユーザは、画面上で枠５０２で囲まれた領域が合焦領域として正しいと判断した場合には、マウス２０８を利用して「確定」ボタン５０４を押す。枠５０２で囲まれた領域が合焦領域からずれているとユーザが判断した場合には、マウス２０８を利用して、枠５０２を正しい合焦領域に移動させる修正操作を行ってから「確定」ボタン５０４を押す。画像データ（１）と画像データ（２）のそれぞれについて、同様の操作を行う。「確定」ボタン５０４が押された時に画面上に表示されている枠５０２に対応するブロックが、合焦領域として確定される。
【００３４】次のステップ１１２において、前ステップ１１０で確定された合焦領域のみに限定して、前記論文「複数の異なる焦点画像からの焦点外れ画像の生成を利用した全焦点画像の強調的取得」と同様に、合焦画像を徐々にぼかして非合焦画像とマッチングをとることにより非合焦画像のぼけ関数を推定する。
【００３５】画像データ（２）のぼけ関数を推定する場合、画像データ（１）の合焦領域内の画像データをＡ、画像データ（２）の同じ領域の画像データをＢとする。画像データＡに、例えば図６に示すようなローパスフィルタ係数を使用したローパスフィルタ処理（ぼかし処理）を連続的に施すことにより、徐々にぼかしていく。画像データＡにローパスフィルタ処理を１回施した後の画像データをＡ（１）、これにローパスフィルタ処理を１回施した後の画像データをＡ（２）、同様に画像データＡ（ｎ−１）にローパスフィルタ処理を施した後の画像データをＡ（ｎ）とする。そして、各段階の画像データＡ（ｉ）と画像データＢの対応画素値の差の絶対値の合計Ｄ（ｉ）を計算する。このようにしてＤ（１），Ｄ（２），Ｄ（３），．．．と順に計算し、その極小値を探す。すなわち、Ｄ（１），Ｄ（２），．．．と順次減少していってＤ（ｎ）＞Ｄ（ｎ＋１）となると、Ｄ（ｎ）を極小値と判定し、対応した画像データＡ（ｎ）が画像データＢと最も近いと判断する。そして、例えば図６に示すような係数のローパスフィルタをｎ回かけたものを、画像データ（２）に対する、ぼけ関数と推定する。画像データ（１）に対するぼけ関数の推定も同様の手順で行う。ただし、この場合は、画像データ（２）の合焦領域の画像データを徐々にぼかしながら、画像データ（１）の対応した非合焦領域の画像データとの間でマッチングをとる。
【００３６】このようにして推定したぼけ関数の精度の確認と修正を可能にするため、次のステップ１１４において、例えば図７に示すように、ＣＲＴディスプレイ２０４の画面上に、画像データ（１）の合焦領域の画像データＡに、推定したぼけ関数を掛けてぼかした画像データＡ（ｎ）（これはステップ１１２で作成済み）を、画像７０１として拡大表示し、画像データ（２）の同じ領域の画像データＢを画像７０２として拡大表示し、ユーザへのメッセージ７０３と指示のための「一致している」ボタン７０４及び「一致していない」ボタン７０５を表示する。
【００３７】ユーザは、画像７０１と画像７０２の一致の具合を観察し、十分に一致していると判断した場合はマウス２０８を使用して「一致している」ボタン７０４を押す操作を行う。この場合は、画像データ（２）に対し自動推定されたぼけ関数が、そのままぼけ関数として確定される。
【００３８】ユーザは、画像７０１と画像７０２の一致が不十分であると判断した場合、マウス２０８を使用して「一致していない」ボタン７０５を押す操作を行う。「一致していない」ボタン７０５が押されると、ＣＲＴディスプレイ２０４の画面上に、例えば図８に示すように、図ステップ１１２において作成されたぼけ画像データＡ（ｎ）とその前後のぼけ画像データＡ（ｎ−２），Ａ（ｎ−１），Ａ（ｎ＋１）を画像８０１，８０２，８０３，８０４として表示し、画像データＢを画像８０５として表示し、また、ユーザへのメッセージ８０６を表示する。ユーザは、画像８０１〜８０４の中から画像８０５と最もよく一致するものを選び、それをマウス２０８を使用して指示する。そうすると、その指示された画像（８０１〜８０４）に対応するぼけ関数が、画像データ（２）に対するぼけ関数として確定される。
【００３９】このようにして一方の画像データ（２）に対するぼけ関数が確定されると、次に他方の画像データ（１）に対するぼけ関数の確認、修正が行われる。この場合、図７の画像７０１として、画像データ（２）の合焦領域の画像データＡに、推定したぼけ関数を掛けた画像データＡ（ｎ）が表示され、画像７０２として、画像データ（１）の同じ領域の画像データＢが表示される。また、修正をする場合には、図８の画像８０１〜８０４として、画像データ（２）の合焦領域の画像データＡのぼけ画像データＡ（ｎ），Ａ（ｎ−２），Ａ（ｎ−１），Ａ（ｎ＋１）が表示され、画像８０５として、画像データ（１）の同じ領域の画像データＢが表示されることになる。
【００４０】このようにして２つの画像データ（１），（２）のぼけ関数が確定されると、次のステップ１１６に進む。このステップ１１６は、（９）式の（ｈa,ｈb）に相当する出力結果に対するぼけ関数を指定するために、つまり任意焦点画像を出力できるようにするために挿入された処理ステップであり、全焦点画像のみを出力する場合には不要である。ステップ１１６においては、直前のステップ１１４と同様に、各入力画像データの合焦領域の画像データＡと、それに異なったぼけ関数をかけた複数の画像データをＣＲＴディスプレイ２０４の画面に表示し、その中からユーザに一つの画像データを選択させ、選択された画像データに対応したぼけ関数を出力ぼけ関数（ｈa，ｈb）とする。ぼけ関数をかけない画像データＡが選択された場合には、全焦点画像が出力されることになる。
【００４１】次にステップ１１８において、ステップ１１４及びステップ１１６で確定されたぼけ関数（ｈ1，ｈ2，ｈa，ｈb）を使い、フィルタ演算と加算処理によって出力画像を合成する。この合成処理は原理的には「反復復元法」によるが、すでに求められている相対位置に従って位置合わせ後の２つの入力画像データ（１），（２）を画素毎に平均したデータは、多少のぼけがあるが全焦点画像に近いものである点に着目し、その平均画像データを初期値とし、反復を１回だけで済ますことにより処理時間の大幅な短縮を図る。
【００４２】すなわち、初期復元画像をＩ^0＝（Ｉ1＋Ｉ2）／２とし、（１１）式を１回だけ行う。したがって、復元画像Ｉ^1は次式で表される。
【数１２】
【００４３】この演算は、位置合わせ後の各画像データＩ1，Ｉ2に対し、ぼけ関数（ｈ1，ｈ2，ｈa，ｈb）から決まる（ｈ1ｈ2／２−ｈ1ｈb＋ｈa），（ｈ1ｈ2／２−ｈ2ｈa＋ｈb）なるフィルタをそれぞれ１回かけた後に加算する演算である。
【００４４】このようにして合成された全焦点画像データ又は任意焦点画像データは、ステップ１２０により、ハードディスク２１０やフロッピーディスク２１２、ＣＲＴディスプレイ２０４などへ出力される。
【００４５】以上に述べたように、本実施例によれば、画像データ以外の付加情報を用意することなく、２枚のグレースケール画像から全焦点画像又は任意焦点画像を合成することができるが、３枚以上の画像に対しても同様に相対位置、ぼけ関数を推定し合成することができる。また、カラー画像に対しても各コンポーネントのプレーン毎に、又は輝度データに対し同様の処理を行って合成画像を生成することができる。また、推定結果をユーザが確認、修正するステップ（図１のステップ１０４，１１０，１１４）を省き完全な自動処理とすることも可能である。
【００４６】
【発明の効果】請求項１記載の発明によれば、画像撮影に使用されたカメラの特性や撮影時の焦点距離、絞り等のぼけ関数に影響を及ぼす情報を与えることなく、入力画像データのみからパンフォーカス画像データを生成可能である。ぼけ関数を利用した画像合成に、従来の反復復元法のような反復演算を用いないため、画像合成のための処理時間を大幅に短縮可能である。選択法のような選択間違いによる画質劣化のない高画質のパンフォーカス画像データを生成可能である、等の効果を得られる。
【００４７】請求項２又は３記載の発明によれば、画像撮影に使用されたカメラの特性や撮影時の焦点距離、絞り等のぼけ関数に影響を及ぼす情報を与えることなく、入力画像データのみからパンフォーカス画像データを生成可能である。選択法のような選択間違いによる画質劣化のない高画質のパンフォーカス画像データを生成可能である。ある入力画像データの合焦領域と、それに対応した他の入力画像データの非合焦領域との間のマッチングによってぼけ関数を推定するため、画像全体を対象範囲とする方法に比べ、ぼけ関数推定のための処理時間を大幅に短縮可能であり、また、請求項４又は５記載の発明のように、ユーザが、画面上に表示された画像の比較により、ぼけ関数の推定結果の確認、修正を容易に行うことができるようになる。特に、請求項３記載の発明によれば、ぼけ関数を利用した画像合成に、従来の反復復元法のような反復演算を用いないため、画像合成のための処理時間も短縮可能であるため、ぼけ関数推定時間も含めた全体の処理時間を大幅に短縮可能である、等の効果を得られる。
【００４８】請求項４又は５記載の発明によれば、ユーザが、画面上に表示された画像の比較により、ぼけ関数の推定結果の適否確認又は修正を容易に行って、ぼけ関数の推定間違いによる処理エラーを回避できる等の効果も得られる。
【００４９】請求項６記載の発明によれば、入力画像データの合焦領域、非合焦領域にかかわらず局所的な平行移動量を求め、倍率補正のみによっては補正が難しい平行移動、回転など様々な変形を含む複数の入力画像データ間の相対位置を精度良く推定し、入力画像データ間の位置合わせを行うことができるようになる。したがって、そのような画像の変形が伴いやすい、一般的な自動焦点カメラ等で撮影した画像データから、高精度のパンフォーカス画像データを生成可能になる等の効果も得られる。
【００５０】請求項７記載の発明によれば、ユーザが、画面上に表示された画像の比較により、相対位置推定の結果の適否の確認又は修正を容易に行って、相対位置推定間違いによる処理エラーを回避できる等の効果も得られる。
【００５１】請求項８記載の発明によれば、請求項１乃至７の各項記載の発明を一般的なコンピュータを利用し、容易に実施できる。
【図面の簡単な説明】
【図１】本発明の一実施例の処理内容を示すフローチャートである。
【図２】本発明の実施に利用されるコンピュータの一例を示すフロック図である。
【図３】相対位置の推定結果の確認、修正のための画面表示例を示す図である。
【図４】合焦領域の推定に使用されるハイパスフィルタ係数の一例を示す図である。
【図５】合焦領域の推定結果の確認、修正のための画面表示例を示す図である。
【図６】ぼけ関数の推定に使用されるローパスフィルタ係数の一例を示す図である。
【図７】ぼけ関数の推定結果の確認のための画面表示例を示す図である。
【図８】ぼけ関数の推定結果の修正のための画面表示例を示す図である。
【符号の説明】
２００ ＣＰＵ
２０２ メモリ
２０４ ＣＲＴディスプレイ
２０８ マウス
２１１ フロッピーディスクドライブ
２１２ フロッピーディスク
２１４ 画像入力装置
３０１，３０２ 入力画像
３０４ 「確定」ボタン
３０５ 「再推定」ボタン
５０１ 入力画像
５０２ 合焦領域を示す枠
５０４ 「確定」ボタン
７０１ ぼかした合焦領域の画像
７０２ 非合焦領域の画像
７０４ 「一致している」ボタン
７０５ 「一致していない」ボタン
８０１〜８０４ ぼかした合焦領域の画像
８０５ 非合焦領域の画像
【０００１】
【発明の属する技術分野】本発明は、デジタルカメラ等で同一被写体を撮影した複数の画像データからパンフォーカス画像データを合成する技術に関する。
【０００２】
【従来の技術】焦点位置の異なる条件で同一シーンを撮影した複数の画像データから、床なる奥行きを持つ画像全体に焦点の合ったパンフォーカス画像を生成する様々な手法が提案されている。それらの従来技術を、ここでは「選択法」と「反復復元法」とに大別して説明する。
【０００３】選択法に属する従来技術の一つとして、特開平３−８０６７６号公報に述べられているように、各入力画像をブロックに分割し、複数の入力画像間で、ブロック毎に、高周波成分の大きさを比較することによって鮮明さを評価し、高周波成分の大きい（より鮮明な）ほうの画像を選択し、選択したブロック単位の画像をつなぎ合わせることによって全焦点画像を合成する方法がある。
【０００４】選択法に属するもう一つの従来技術として、特開平８−３０７７５６号公報に述べられているように、近距離の被写体に合焦した第１の画像から、例えば輝度の変化率によって鮮明な画像部分を選択し、この画像部分を遠距離の被写体に合焦した第２の画像の対応部分にはめ込む。あるいは、第１の画像の鮮明な画像部分を第２の画像の対応部分に重ね合わせる。その重ね合わせは、第１の画像と第２の画像の画素値の平均をとるか、輝度の変化率に基づいた加重平均をとることによる、方法がある。
【０００５】選択法に属する別の従来技術として、論文［内藤、児玉、相澤、羽島、「複数の異なる焦点画像からの焦点外れ画像の生成を利用した全焦点画像の強調的取得」、電子情報通信学会論文誌 D-II、Vol.79-D-II、No.6、pp.1046-1053年］に述べられているに、第１の画像を徐々にぼかしながら他方の画像と画素ごとに比較し、ほぼ一致した場合に、その位置では第１の画像が合焦と判定することにより、第１の画像の合焦領域を選択する。このようにして各画像から選択した合焦領域を統合することにより全焦点画像を生成する方法がある。
【０００６】反復復元法に属する従来技術としては、論文［児玉、相澤、羽島、「複数画像からの全焦点画像の再構成」、電子情報通信学会論文誌 D-II、Vol.J80-D-II、No.9、pp.2298-2307］に述べられているように、異なった奥行き対象シーンにそれぞれ焦点を合わせた画像と目的とする全焦点画像との関係式を導き、それに基づく反復式を用いて全焦点画像を再構成する方法がある。同様にして、それぞれの奥行き毎に任意のぼけを持つような任意焦点画像を再構成する方法も知られている（児玉、相澤、羽島、「複数画像からの任意焦点画像の生成」、映像メディア処理シンポジウム、IMS96 I-8.15）。
【０００７】この反復復元法を、より具体的に説明すれば、近景画像、遠景画像をそれぞれｆ（ｘ）、ｇ（ｘ）とし、撮影画像をＩ1（ｘ）、Ｉ2（ｘ）について次のようなモデルを考える。全焦点画像をＩ（ｘ）、対象シーンの奥行きをｄ（ｘ）＝ｄ1ｏｒ ｄ2 とし、
【数１】
【数２】
【数３】
【数４】
【０００８】とする。このモデルに沿って考えれば、式（２）乃至式（４）より、
【数５】
【数６】
【数７】
【０００９】という関係が導かれる。そうすると、各入力画像についての、ぼけ関数（ｈ1，ｈ2）が分かれば、初期復元画像Ｉ^0＝Ｉ1 ｏｒ Ｉ2 を使い
【数８】
の反復演算により全焦点画像を復元できる。
【００１０】同様に、次式のように、近景画像ｆ（ｘ）をぼけ関数ｈaで、遠景画像ｇ（ｘ）をぼけ関数ｈbで、それぞれぼかした任意焦点画像Ｉab
【数９】
についても、式（８）の代わりに次式のＧab
【数１０】
を考えると
【数１１】
の反復演算により任意焦点画像を復元できる。
【００１１】また、前記論文には、ぼけ関数を取得する方法としては次の２方法が提案されている。
（１）測定法：あらかじめ各撮影条件（焦点位置、絞り等）での、各距離における対象物のぼけ関数を測定、記録しておき、測定した条件で撮影する。
（２）画像から推定する方法：前記論文「複数の異なる焦点画像からの使用点外れ画像の生成を利用した全焦点画像の強調的取得」におけると同様に、画素毎に合焦／非合焦を判別し、一方の画像を徐々にぼかしながら他方の画像と比較し、一致するぼけの程度を求める。
【００１２】
【発明が解決しようとする課題】選択法として述べた従来技術には、選択間違いによる画質劣化が生じやすいという問題がある。特に、エッジ周辺では合焦画像より非合焦画像の方が輝度変化が大きいため、選択間違いが起こりやすい。
【００１３】反復復元法として述べた従来技術には、選択法のような選択間違いによる画質劣化がなく、ぼけの程度のみしか必要としない（空間的に、どこがぼけているかの情報は不要）、全焦点画像のみならず任意焦点画像の合成も可能という利点がある。しかし、前記論文には３回程度の反復でほぼ収束するとあるが、実際に何回反復すれば十分か明らかでなく、また、多数回の反復には多くの演算が必要で処理時間が長くなるという問題がある。また、ぼけ関数の取得に関して２つの方法が提案されているが、次のような問題がある。まず、「測定法」では、あらかじめカメラの特性を測定しておく必要があり、さらに、各入力画像について、撮影時の焦点距離、絞り等のぼけ関数に影響を与える撮影条件の情報が必要となる。そのため、一般的な自動焦点カメラ等で撮影した、撮影時の焦点位置等が不明な画像データに対しては「測定法」は適用不可能である。もう１つの「画像から推定する方法」は、演算量が多く実行に時間がかかり、また、ユーザによる修正が困難であるという問題がある。
【００１４】また、前記各従来技術には次のような問題もある。カメラの焦点距離を変えると一般に倍率も変化するので、前記各従来技術には、複数の撮影画像の相互の位置合わせのため、画像に対する倍率補正が含まれる。しかし、例えば、一般的な自動焦点カメラを使用し、（１）対象物が中心に来るようにカメラを向け、対象物に焦点を合わせて１枚を撮影し、（２）カメラの方向を変えて対象物を中心から外し、背景に焦点を合わせた状態でレリーズボタンの半押し操作等で焦点を固定し、（３）焦点を固定したまま対象物が中心に来るようにカメラの向きを変えて２枚目を撮影する、というような方法で撮影した２枚の画像データは、倍率のみならず、位置、方向等も微妙に異なっているはずであり、倍率補正だけでは、画像間の位置合わせを精度よく行うことはできない。ビームスプリッタと２枚のＣＣＤ等を持つような専用のカメラではなく、一般的なカメラで撮影された画像を扱うためには、平行移動、回転を含む、より自由度の高い位置合わせが不可欠である。
【００１５】本発明は、前記従来技術の諸問題点を解決し、一般的な自動焦点機能や自動露出機能を持つデジタルカメラ等で同一対象物を撮影した複数の画像データから、短時間で、高品質なパンフォーカス画像データの合成を可能にすることを究極の目的とするものである。また、この究極目的を達成するため、（１）ぼけ関数を使用した画像合成処理を高速化すること、（２）ぼけ関数の推定処理を高速化すること、（３）ぼけ関数の推定結果の確認、修正を容易にすること、（４）画像データ間の相対位置を推定し、倍率補正のみでは補正困難な画像データ間の位置合わせを可能にすること、（５）画像データ間の相対位置の推定結果の確認、修正を容易にすること等も本発明の目的に含まれる。
【００１６】
【課題を解決するための手段】前記目的を達成するため、請求項１記載の発明は、焦点位置を含む撮影条件を相違させて同一の対象物を撮影した複数の画像データを入力し、複数の入力画像データに基づいて各入力画像データのぼけ関数を推定し、複数の入力画像データを、それぞれの推定されたぼけ関数に基づき決定される係数を使ったフィルタ処理を施した後に加算することにより、パンフォーカス画像を生成することを特徴とするものである。
【００１７】請求項２記載の発明は、焦点位置を含む撮影条件を相違させて同一の対象物を撮影した複数の画像データを入力し、各入力画像データの合焦領域を推定し、各入力画像データの推定された合焦領域の画像データをぼかした画像データと、これに対応した他の入力画像データの非合焦領域の画像データとのマッチングをとることにより、各入力画像データのぼけ関数を推定し、複数の入力画像データから、それぞれの推定されたぼけ関数を利用してパンフォーカス画像を合成することを特徴とするものである。
【００１８】請求項３記載の発明は、焦点位置を含む撮影条件を相違させて同一の対象物を撮影した複数の画像データを入力し、各入力画像データの合焦領域を推定し、各入力画像データの推定された合焦領域の画像データをぼかした画像データと、これに対応した他の入力画像データの非合焦領域の画像データとのマッチングをとることにより、各入力画像データのぼけ関数を推定し、複数の入力画像データを、それぞれの推定されたぼけ関数に基づき決定される係数を使ったフィルタ処理を施した後に加算することにより、パンフォーカス画像を生成することを特徴とするものである。
【００１９】請求項４記載の発明は、請求項２又は３記載の発明の画像合成処理方法において、一つの入力画像データの合焦領域に対応した他の入力画像データの非合焦領域の画像データと、該他の入力画像データの推定されたぼけ関数を該一つの入力画像データの合焦領域の画像データに作用させてぼかした画像データとを画面表示し、該他の入力画像データの推定されたぼけ関数の適否をユーザに確認させることを特徴とするものである。
【００２０】請求項５記載の発明は、請求項２又は３記載の発明の画像合成処理方法において、一つの入力画像データの合焦領域に対応した他の入力画像の非合焦領域の画像データと、該一つの入力画像データの合焦領域の画像データに、該他の入力画像データの推定されたぼけ関数、及び、該推定されたぼけ関数よりぼけの程度が異なるぼけ関数をそれぞれ作用させてぼかした複数の画像データとを画面表示し、ユーザにぼけ関数の推定結果を修正させることを特徴とするものである。
【００２１】請求項６記載の発明は、請求項１、２、３、４又は５記載の画像合成処理方法において、各入力画像データの局所的な平行移動量を輝度勾配に基づいて求め、求めた各局所的平行移動量を全体として多項式近似することにより各入力画像データの相対位置を推定し、推定された相対位置に基づいて各入力画像データ相互の位置合わせを行うことを特徴とするものである。
【００２２】請求項７記載の発明は、請求項６記載の画像合成処理方法において、二つの入力画像データのうちの一方の画像データと、他方の画像データを推定された相対位置に基づいて変形させた画像データとを重ねて画面表示し、ユーザに相対位置の推定結果の確認及び修正をさせることを特徴とするものである。
【００２３】
【発明の実施の形態】図１は本発明の一実施例による画像合成処理のフローチャートを示す。この画像合成処理は、ユーザーインターフェースを有するコンピュータ上でソフトウェアにより実施される。ここでは、一例として、図２に示すようなＣＰＵ２００に接続されたバス２０１に、メモリ２０２、ディスプレイコントローラ２０３を介してＣＲＴディスプレイ２０４、入力インターフェース２０６を介してキーボード２０７やマウス（ポインティングデバイス）２０８、ディスクコントローラ２０９を介してハードディスク２１０やフロッピー（登録商標）ディスクドライブ２１１が接続され、また、入力インターフェース２１３を介してデジタルカメラやスキャナ等の画像入力装置２１４を接続できるような構成のコンピュータ上で実施されるものとして説明する。画像合成処理のためのプログラムは、例えば、それが記録されたフロッピーディスク２１２よりフロッピーディスクドライブ２１１を介して読み込まれてハードディスク２１０に保存されており、処理実行時にメモリ２０２にロードされる。なお、フロッピーディスク以外の記録媒体、例えば光磁気ディスクなどの媒体を読み書きできるドライブを用意し、その媒体に記録したプログラムを読み込むようにしてもよい。
【００２４】以下、図１のフローチャートに従い、画像合成処理の各処理ステップについて順に説明する。まず、ステップ１００において、同じ対象物を焦点位置を変えて撮影した２枚の画像データを入力する。具体的な入力方法は、例えば、画像の撮影に利用したデジタルカメラ等から、デジタル画像データを入力インターフェース２１３を介して直接入力したり、デジタルカメラや銀塩フィルムを用いるカメラで撮影した画像のプリントを、スキャナで読み取って入力インターフェース２１３を介して入力したり、あるいは、フロッピーディスク２１２に記録した画像データを読み込む等々の方法が可能である。入力される２枚の画像の間に、倍率、位置、方向の多少の違いがあってもよい。なお、ここでは、入力画像はグレースケール画像とする。
【００２５】次のステップ１０２において、２枚の画像データ間の相対位置を推定する。本実施例では、特開平９−７３５３６号公報に述べられているように、２枚の画像データをそれぞれ適当なサイズの複数のブロック分割し、輝度変化の大きさが所定値を越えるブロックに関し、ブロック毎に、輝度勾配に基づいて２枚の画像データ間の相対的な平行移動量を計算し、次に、求めた各ブロックの平行移動量を全体として多項式近似することにより、２枚の画像データ間の相対位置を推定する。この方法によれば、平行移動、回転等の様々な変形を含む２枚の画像間の相対位置を推定可能である。また、このような輝度勾配を線形近似して相対位置を推定する方法は、画像データの低周波成分のみを利用し細かな濃淡変化は無視するので、画像の合焦／非合焦にかかわらず適用可能である。
【００２６】なお、上に述べた推定方法は画像データが輝度にリニアなレベルを持つことを前提としているが、一般にデジタル画像データはＣＲＴディスプレイ等の出力（ガンマ）特性にあわせてレベル補正がなされている。したがって、入力画像データがガンマ補正を施された画像データの場合には、上に述べた相対位置推定の前処理として、各画像データに対して、それを輝度リニアなデータに逆補正する処理を施す。この逆補正の際のガンマ特性としては、画像データにガンマ特性が記録されているならば、そのガンマ特性を利用すればよく、ガンマ特性が不明な場合には一般的な２．２を用いればよい。
【００２７】次のステップ１０４において、前ステップ１０２で推定された相対位置に従って、２枚の画像データのうちの一方の画像データ（１）を基準として、２枚の画像データを位置合わせするため、もう一方の画像データ（２）を変形させ、この変形後の画像データ（２）と基準側の画像データ（１）を、ＣＲＴディスプレイ２０４の画面上に、図３に示すように重ねて表示させる。図３において、３０１は基準側の画像データ（１）の画像を示し、３０２は変形後の画像データ（２）の画像を示す。画面には、図３に示すように、ユーザの指示を求めるためのメッセージ３０３と、指示のための「確定」ボタン３０４及び「再推定」ボタン３０５も表示される。
【００２８】ユーザは、２つの画像３０１，３０２の重なりを観察し、正しく重なっていると判断した場合にはマウス２０８を利用して「確定」ボタン３０４を押す。ユーザが２つの画像３０１，３０２の重なりが不正確であると判断した場合には、そのまま「再推定」ボタン３０５を押すか、あるいは、マウス２０８を利用して画像３０２を正しい重なりになるように移動させる操作を行ってから「確定」ボタン３０４又は「再推定」ボタン３０５を押す。
【００２９】「確定」ボタンが押された場合（ステップ１０６、ＮＯ）、現在画面に表示されている画像３０１，３０２間の相対位置を画像データ（１），（２）間の相対位置として確定し、次のステップ１０８の処理に進む。「再推定」ボタン３０５が押された場合（ステップ１０６、ＹＥＳ）、ステップ１０２に戻り２画像データ間の相対位置の自動推定が再度実行されるが、この際は現在画面に表示されている画像３０１，３０２間の相対位置が初期値として利用される。
【００３０】このようにして２つの画像データ（１），（２）間の相対位置が確定すると、ステップ１０８の処理に進むが、このステップ１０８以降においては、確定した相対位置に従って画像データ（２）を変形した後の画像データが、画像データ（２）として用いられる。
【００３１】ステップ１０８においては、各画像データ（１），（２）の合焦領域を推定する。この合焦領域の推定には、合焦した鮮明な領域では非合焦領域に比べ高周波成分が増加するという性質を利用する。具体的手順は次の通りである。各画像データを例えば１６×１６画素のブロックに分割する。各画像データに対し、例えば図４に示すようなハイパスフィルタ係数によるハイパスフィルタ処理を施し、処理後の画素値をブロック毎に加算する。ここで、画像データ（ｉ）のブロック（ｊ）の加算結果をＢijとすると、画像データ（１），（２）のブロック（１）について、Ｂ1j−Ｂ2j は、画像データ（１）が画像データ（２）に比べ鮮明であるほど（高周波成分が多いほど）大きな値をとる。そこで、Ｂ1j−Ｂ2j が最大値をとるブロック（ｊ）を画像データ（１）の合焦領域と推定する。同様に、Ｂ1j−Ｂ2j が最小値をとるブロック（ｊ）、つまりＢ2j−Ｂ1j が最大値をとるブロック（ｊ）を画像データ（２）の合焦領域と推定する。
【００３２】このようして各画像データの合焦領域が推定されるが、その推定結果に対するユーザによる確認又は修正を可能にするため、次のステップ１１０において、ＣＲＴディスプレイ画面上に、例えば図５に示すように、各画像データとその推定された合焦領域が表示される。図５において、５０１は画像データ（１）又は画像データ（２）の画像を示し、５０２はその画像データの推定された合焦領域を表す枠である。画面には、図５に示すように、ユーザの指示を求めるためのメッセージ５０３と、指示のための「確定」ボタン５０４も表示される。
【００３３】ユーザは、画面上で枠５０２で囲まれた領域が合焦領域として正しいと判断した場合には、マウス２０８を利用して「確定」ボタン５０４を押す。枠５０２で囲まれた領域が合焦領域からずれているとユーザが判断した場合には、マウス２０８を利用して、枠５０２を正しい合焦領域に移動させる修正操作を行ってから「確定」ボタン５０４を押す。画像データ（１）と画像データ（２）のそれぞれについて、同様の操作を行う。「確定」ボタン５０４が押された時に画面上に表示されている枠５０２に対応するブロックが、合焦領域として確定される。
【００３４】次のステップ１１２において、前ステップ１１０で確定された合焦領域のみに限定して、前記論文「複数の異なる焦点画像からの焦点外れ画像の生成を利用した全焦点画像の強調的取得」と同様に、合焦画像を徐々にぼかして非合焦画像とマッチングをとることにより非合焦画像のぼけ関数を推定する。
【００３５】画像データ（２）のぼけ関数を推定する場合、画像データ（１）の合焦領域内の画像データをＡ、画像データ（２）の同じ領域の画像データをＢとする。画像データＡに、例えば図６に示すようなローパスフィルタ係数を使用したローパスフィルタ処理（ぼかし処理）を連続的に施すことにより、徐々にぼかしていく。画像データＡにローパスフィルタ処理を１回施した後の画像データをＡ（１）、これにローパスフィルタ処理を１回施した後の画像データをＡ（２）、同様に画像データＡ（ｎ−１）にローパスフィルタ処理を施した後の画像データをＡ（ｎ）とする。そして、各段階の画像データＡ（ｉ）と画像データＢの対応画素値の差の絶対値の合計Ｄ（ｉ）を計算する。このようにしてＤ（１），Ｄ（２），Ｄ（３），．．．と順に計算し、その極小値を探す。すなわち、Ｄ（１），Ｄ（２），．．．と順次減少していってＤ（ｎ）＞Ｄ（ｎ＋１）となると、Ｄ（ｎ）を極小値と判定し、対応した画像データＡ（ｎ）が画像データＢと最も近いと判断する。そして、例えば図６に示すような係数のローパスフィルタをｎ回かけたものを、画像データ（２）に対する、ぼけ関数と推定する。画像データ（１）に対するぼけ関数の推定も同様の手順で行う。ただし、この場合は、画像データ（２）の合焦領域の画像データを徐々にぼかしながら、画像データ（１）の対応した非合焦領域の画像データとの間でマッチングをとる。
【００３６】このようにして推定したぼけ関数の精度の確認と修正を可能にするため、次のステップ１１４において、例えば図７に示すように、ＣＲＴディスプレイ２０４の画面上に、画像データ（１）の合焦領域の画像データＡに、推定したぼけ関数を掛けてぼかした画像データＡ（ｎ）（これはステップ１１２で作成済み）を、画像７０１として拡大表示し、画像データ（２）の同じ領域の画像データＢを画像７０２として拡大表示し、ユーザへのメッセージ７０３と指示のための「一致している」ボタン７０４及び「一致していない」ボタン７０５を表示する。
【００３７】ユーザは、画像７０１と画像７０２の一致の具合を観察し、十分に一致していると判断した場合はマウス２０８を使用して「一致している」ボタン７０４を押す操作を行う。この場合は、画像データ（２）に対し自動推定されたぼけ関数が、そのままぼけ関数として確定される。
【００３８】ユーザは、画像７０１と画像７０２の一致が不十分であると判断した場合、マウス２０８を使用して「一致していない」ボタン７０５を押す操作を行う。「一致していない」ボタン７０５が押されると、ＣＲＴディスプレイ２０４の画面上に、例えば図８に示すように、図ステップ１１２において作成されたぼけ画像データＡ（ｎ）とその前後のぼけ画像データＡ（ｎ−２），Ａ（ｎ−１），Ａ（ｎ＋１）を画像８０１，８０２，８０３，８０４として表示し、画像データＢを画像８０５として表示し、また、ユーザへのメッセージ８０６を表示する。ユーザは、画像８０１〜８０４の中から画像８０５と最もよく一致するものを選び、それをマウス２０８を使用して指示する。そうすると、その指示された画像（８０１〜８０４）に対応するぼけ関数が、画像データ（２）に対するぼけ関数として確定される。
【００３９】このようにして一方の画像データ（２）に対するぼけ関数が確定されると、次に他方の画像データ（１）に対するぼけ関数の確認、修正が行われる。この場合、図７の画像７０１として、画像データ（２）の合焦領域の画像データＡに、推定したぼけ関数を掛けた画像データＡ（ｎ）が表示され、画像７０２として、画像データ（１）の同じ領域の画像データＢが表示される。また、修正をする場合には、図８の画像８０１〜８０４として、画像データ（２）の合焦領域の画像データＡのぼけ画像データＡ（ｎ），Ａ（ｎ−２），Ａ（ｎ−１），Ａ（ｎ＋１）が表示され、画像８０５として、画像データ（１）の同じ領域の画像データＢが表示されることになる。
【００４０】このようにして２つの画像データ（１），（２）のぼけ関数が確定されると、次のステップ１１６に進む。このステップ１１６は、（９）式の（ｈa,ｈb）に相当する出力結果に対するぼけ関数を指定するために、つまり任意焦点画像を出力できるようにするために挿入された処理ステップであり、全焦点画像のみを出力する場合には不要である。ステップ１１６においては、直前のステップ１１４と同様に、各入力画像データの合焦領域の画像データＡと、それに異なったぼけ関数をかけた複数の画像データをＣＲＴディスプレイ２０４の画面に表示し、その中からユーザに一つの画像データを選択させ、選択された画像データに対応したぼけ関数を出力ぼけ関数（ｈa，ｈb）とする。ぼけ関数をかけない画像データＡが選択された場合には、全焦点画像が出力されることになる。
【００４１】次にステップ１１８において、ステップ１１４及びステップ１１６で確定されたぼけ関数（ｈ1，ｈ2，ｈa，ｈb）を使い、フィルタ演算と加算処理によって出力画像を合成する。この合成処理は原理的には「反復復元法」によるが、すでに求められている相対位置に従って位置合わせ後の２つの入力画像データ（１），（２）を画素毎に平均したデータは、多少のぼけがあるが全焦点画像に近いものである点に着目し、その平均画像データを初期値とし、反復を１回だけで済ますことにより処理時間の大幅な短縮を図る。
【００４２】すなわち、初期復元画像をＩ^0＝（Ｉ1＋Ｉ2）／２とし、（１１）式を１回だけ行う。したがって、復元画像Ｉ^1は次式で表される。
【数１２】
【００４３】この演算は、位置合わせ後の各画像データＩ1，Ｉ2に対し、ぼけ関数（ｈ1，ｈ2，ｈa，ｈb）から決まる（ｈ1ｈ2／２−ｈ1ｈb＋ｈa），（ｈ1ｈ2／２−ｈ2ｈa＋ｈb）なるフィルタをそれぞれ１回かけた後に加算する演算である。
【００４４】このようにして合成された全焦点画像データ又は任意焦点画像データは、ステップ１２０により、ハードディスク２１０やフロッピーディスク２１２、ＣＲＴディスプレイ２０４などへ出力される。
【００４５】以上に述べたように、本実施例によれば、画像データ以外の付加情報を用意することなく、２枚のグレースケール画像から全焦点画像又は任意焦点画像を合成することができるが、３枚以上の画像に対しても同様に相対位置、ぼけ関数を推定し合成することができる。また、カラー画像に対しても各コンポーネントのプレーン毎に、又は輝度データに対し同様の処理を行って合成画像を生成することができる。また、推定結果をユーザが確認、修正するステップ（図１のステップ１０４，１１０，１１４）を省き完全な自動処理とすることも可能である。
【００４６】
【発明の効果】請求項１記載の発明によれば、画像撮影に使用されたカメラの特性や撮影時の焦点距離、絞り等のぼけ関数に影響を及ぼす情報を与えることなく、入力画像データのみからパンフォーカス画像データを生成可能である。ぼけ関数を利用した画像合成に、従来の反復復元法のような反復演算を用いないため、画像合成のための処理時間を大幅に短縮可能である。選択法のような選択間違いによる画質劣化のない高画質のパンフォーカス画像データを生成可能である、等の効果を得られる。
【００４７】請求項２又は３記載の発明によれば、画像撮影に使用されたカメラの特性や撮影時の焦点距離、絞り等のぼけ関数に影響を及ぼす情報を与えることなく、入力画像データのみからパンフォーカス画像データを生成可能である。選択法のような選択間違いによる画質劣化のない高画質のパンフォーカス画像データを生成可能である。ある入力画像データの合焦領域と、それに対応した他の入力画像データの非合焦領域との間のマッチングによってぼけ関数を推定するため、画像全体を対象範囲とする方法に比べ、ぼけ関数推定のための処理時間を大幅に短縮可能であり、また、請求項４又は５記載の発明のように、ユーザが、画面上に表示された画像の比較により、ぼけ関数の推定結果の確認、修正を容易に行うことができるようになる。特に、請求項３記載の発明によれば、ぼけ関数を利用した画像合成に、従来の反復復元法のような反復演算を用いないため、画像合成のための処理時間も短縮可能であるため、ぼけ関数推定時間も含めた全体の処理時間を大幅に短縮可能である、等の効果を得られる。
【００４８】請求項４又は５記載の発明によれば、ユーザが、画面上に表示された画像の比較により、ぼけ関数の推定結果の適否確認又は修正を容易に行って、ぼけ関数の推定間違いによる処理エラーを回避できる等の効果も得られる。
【００４９】請求項６記載の発明によれば、入力画像データの合焦領域、非合焦領域にかかわらず局所的な平行移動量を求め、倍率補正のみによっては補正が難しい平行移動、回転など様々な変形を含む複数の入力画像データ間の相対位置を精度良く推定し、入力画像データ間の位置合わせを行うことができるようになる。したがって、そのような画像の変形が伴いやすい、一般的な自動焦点カメラ等で撮影した画像データから、高精度のパンフォーカス画像データを生成可能になる等の効果も得られる。
【００５０】請求項７記載の発明によれば、ユーザが、画面上に表示された画像の比較により、相対位置推定の結果の適否の確認又は修正を容易に行って、相対位置推定間違いによる処理エラーを回避できる等の効果も得られる。
【００５１】請求項８記載の発明によれば、請求項１乃至７の各項記載の発明を一般的なコンピュータを利用し、容易に実施できる。
【図面の簡単な説明】
【図１】本発明の一実施例の処理内容を示すフローチャートである。
【図２】本発明の実施に利用されるコンピュータの一例を示すフロック図である。
【図３】相対位置の推定結果の確認、修正のための画面表示例を示す図である。
【図４】合焦領域の推定に使用されるハイパスフィルタ係数の一例を示す図である。
【図５】合焦領域の推定結果の確認、修正のための画面表示例を示す図である。
【図６】ぼけ関数の推定に使用されるローパスフィルタ係数の一例を示す図である。
【図７】ぼけ関数の推定結果の確認のための画面表示例を示す図である。
【図８】ぼけ関数の推定結果の修正のための画面表示例を示す図である。
【符号の説明】
２００ ＣＰＵ
２０２ メモリ
２０４ ＣＲＴディスプレイ
２０８ マウス
２１１ フロッピーディスクドライブ
２１２ フロッピーディスク
２１４ 画像入力装置
３０１，３０２ 入力画像
３０４ 「確定」ボタン
３０５ 「再推定」ボタン
５０１ 入力画像
５０２ 合焦領域を示す枠
５０４ 「確定」ボタン
７０１ ぼかした合焦領域の画像
７０２ 非合焦領域の画像
７０４ 「一致している」ボタン
７０５ 「一致していない」ボタン
８０１〜８０４ ぼかした合焦領域の画像
８０５ 非合焦領域の画像
【特許請求の範囲】
【請求項１】 焦点位置を含む撮影条件を相違させて同一の対象物を撮影した複数の画像データを入力するステップ、複数の入力画像データに基づいて各入力画像データのぼけ関数を推定するステップ、複数の入力画像データを、それぞれの推定されたぼけ関数に基づき決定される係数を使ったフィルタ処理を施した後に加算することにより、パンフォーカス画像を生成するステップを含むことを特徴とする画像合成処理方法。
【請求項２】 焦点位置を含む撮影条件を相違させて同一の対象物を撮影した複数の画像データを入力するステップ、各入力画像データの合焦領域を推定するステップ、各入力画像データの推定された合焦領域の画像データをぼかした画像データと、これに対応した他の入力画像データの非合焦領域の画像データとのマッチングをとることにより、各入力画像データのぼけ関数を推定するステップ、複数の入力画像データから、それぞれの推定されたぼけ関数を利用してパンフォーカス画像を合成するステップを含むことを特徴とする画像合成処理方法。
【請求項３】 焦点位置を含む撮影条件を相違させて同一の対象物を撮影した複数の画像データを入力するステップ、各入力画像データの合焦領域を推定するステップ、各入力画像データの推定された合焦領域の画像データをぼかした画像データと、これに対応した他の入力画像データの非合焦領域の画像データとのマッチングをとることにより、各入力画像データのぼけ関数を推定するステップ、複数の入力画像データを、それぞれの推定されたぼけ関数に基づき決定される係数を使ったフィルタ処理を施した後に加算することにより、パンフォーカス画像を生成するステップを含むことを特徴とする画像合成処理方法。
【請求項４】 一つの入力画像データの合焦領域に対応した他の入力画像データの非合焦領域の画像データと、該他の入力画像データの推定されたぼけ関数を該一つの入力画像データの合焦領域の画像データに作用させてぼかした画像データとを画面表示し、該他の入力画像データの推定されたぼけ関数の適否をユーザに確認させるためのステップをさらに含むことを特徴とする請求項２又は３記載の画像合成処理方法。
【請求項５】 一つの入力画像データの合焦領域に対応した他の入力画像の非合焦領域の画像データと、該一つの入力画像データの合焦領域の画像データに、該他の入力画像データの推定されたぼけ関数、及び、該推定されたぼけ関数よりぼけの程度が異なるぼけ関数をそれぞれ作用させてぼかした複数の画像データとを画面表示し、ユーザにぼけ関数の推定結果を修正させるためのステップをさらに含むことを特徴とする請求項２又は３記載の画像合成処理方法。
【請求項６】 各入力画像データの局所的な平行移動量を輝度勾配に基づいて求め、求めた各局所的平行移動量を全体として多項式近似することにより各入力画像データの相対位置を推定するステップをさらに含み、推定された相対位置に基づいて各入力画像データ相互の位置合わせが行われることを特徴とする請求項１、２、３、４又は５記載の画像合成処理方法。
【請求項７】 二つの入力画像データのうちの一方の画像データと、他方の画像データを推定された相対位置に基づいて変形させた画像データとを重ねて画面表示し、ユーザに相対位置の推定結果の確認及び修正をさせるためのステップをさらに含むことを特徴とする請求項６記載の画像合成処理方法。
【請求項８】 請求項１乃至７のいずれか１項記載の画像合成処理方法の各処理ステップをコンピュータに実行させるためのプログラムが記録されたことを特徴とするコンピュータ読み取り可能記録媒体。
【請求項１】 焦点位置を含む撮影条件を相違させて同一の対象物を撮影した複数の画像データを入力するステップ、複数の入力画像データに基づいて各入力画像データのぼけ関数を推定するステップ、複数の入力画像データを、それぞれの推定されたぼけ関数に基づき決定される係数を使ったフィルタ処理を施した後に加算することにより、パンフォーカス画像を生成するステップを含むことを特徴とする画像合成処理方法。
【請求項２】 焦点位置を含む撮影条件を相違させて同一の対象物を撮影した複数の画像データを入力するステップ、各入力画像データの合焦領域を推定するステップ、各入力画像データの推定された合焦領域の画像データをぼかした画像データと、これに対応した他の入力画像データの非合焦領域の画像データとのマッチングをとることにより、各入力画像データのぼけ関数を推定するステップ、複数の入力画像データから、それぞれの推定されたぼけ関数を利用してパンフォーカス画像を合成するステップを含むことを特徴とする画像合成処理方法。
【請求項３】 焦点位置を含む撮影条件を相違させて同一の対象物を撮影した複数の画像データを入力するステップ、各入力画像データの合焦領域を推定するステップ、各入力画像データの推定された合焦領域の画像データをぼかした画像データと、これに対応した他の入力画像データの非合焦領域の画像データとのマッチングをとることにより、各入力画像データのぼけ関数を推定するステップ、複数の入力画像データを、それぞれの推定されたぼけ関数に基づき決定される係数を使ったフィルタ処理を施した後に加算することにより、パンフォーカス画像を生成するステップを含むことを特徴とする画像合成処理方法。
【請求項４】 一つの入力画像データの合焦領域に対応した他の入力画像データの非合焦領域の画像データと、該他の入力画像データの推定されたぼけ関数を該一つの入力画像データの合焦領域の画像データに作用させてぼかした画像データとを画面表示し、該他の入力画像データの推定されたぼけ関数の適否をユーザに確認させるためのステップをさらに含むことを特徴とする請求項２又は３記載の画像合成処理方法。
【請求項５】 一つの入力画像データの合焦領域に対応した他の入力画像の非合焦領域の画像データと、該一つの入力画像データの合焦領域の画像データに、該他の入力画像データの推定されたぼけ関数、及び、該推定されたぼけ関数よりぼけの程度が異なるぼけ関数をそれぞれ作用させてぼかした複数の画像データとを画面表示し、ユーザにぼけ関数の推定結果を修正させるためのステップをさらに含むことを特徴とする請求項２又は３記載の画像合成処理方法。
【請求項６】 各入力画像データの局所的な平行移動量を輝度勾配に基づいて求め、求めた各局所的平行移動量を全体として多項式近似することにより各入力画像データの相対位置を推定するステップをさらに含み、推定された相対位置に基づいて各入力画像データ相互の位置合わせが行われることを特徴とする請求項１、２、３、４又は５記載の画像合成処理方法。
【請求項７】 二つの入力画像データのうちの一方の画像データと、他方の画像データを推定された相対位置に基づいて変形させた画像データとを重ねて画面表示し、ユーザに相対位置の推定結果の確認及び修正をさせるためのステップをさらに含むことを特徴とする請求項６記載の画像合成処理方法。
【請求項８】 請求項１乃至７のいずれか１項記載の画像合成処理方法の各処理ステップをコンピュータに実行させるためのプログラムが記録されたことを特徴とするコンピュータ読み取り可能記録媒体。
【図４】
【図６】
【図１】
【図２】
【図３】
【図５】
【図７】
【図８】
【図６】
【図１】
【図２】
【図３】
【図５】
【図７】
【図８】
【公開番号】特開２０００−２５１０６０（Ｐ２０００−２５１０６０Ａ）
【公開日】平成１２年９月１４日（２０００．９．１４）
【国際特許分類】
【出願番号】特願平１１−５６４６１
【出願日】平成１１年３月４日（１９９９．３．４）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成１２年９月１４日（２０００．９．１４）
【国際特許分類】
【出願日】平成１１年３月４日（１９９９．３．４）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]