被写界深度制御方法、画像処理装置及びプログラムと記録媒体
【課題】本発明ではディジタルカメラで撮影した画像の被写界深度を使用者の希望する程度、あるいはフィルムカメラで撮影した画像と同程度に制御する画像処理を提供する。
【解決手段】
入力画像データの２次元離散２進ウェーブレット変換部１により出力される最小スケールの２次元ウェーブレット係数に対するしきい値の設定部２で設定されたしきい値以上のウェーブレット係数を持つ座標ではピントが合っているとみなし、ウェーブレット係数を保持するが、しきい値未満の座標については、各スケールのウェーブレット係数に制御係数設定乗算部３により制御係数を乗じたウェーブレット係数から逆ウェーブレット変換部４により画像を出力することにより、入力画像データにおいて焦点の合っている座標のピントは保持しながら、入力画像データより被写界深度の浅い画像データを出力する画像処理装置が提供される。
【解決手段】
入力画像データの２次元離散２進ウェーブレット変換部１により出力される最小スケールの２次元ウェーブレット係数に対するしきい値の設定部２で設定されたしきい値以上のウェーブレット係数を持つ座標ではピントが合っているとみなし、ウェーブレット係数を保持するが、しきい値未満の座標については、各スケールのウェーブレット係数に制御係数設定乗算部３により制御係数を乗じたウェーブレット係数から逆ウェーブレット変換部４により画像を出力することにより、入力画像データにおいて焦点の合っている座標のピントは保持しながら、入力画像データより被写界深度の浅い画像データを出力する画像処理装置が提供される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、画像処理方法及びプログラム及び記録媒体に係り、特に小型の撮像素子を備えたディジタルカメラ等で撮影した被写界深度の深い画像データにおいて焦点の合っている座標のピントを保持しながら、被写界深度の浅い画像を生成する画像処理装置、画像処理方法及びプログラム及び記録媒体に関する。
【背景技術】
【０００２】
写真撮影では人物等の主要な被写体に焦点を合わせて背景をぼかすことにより主要な被写体を注視させる表現技法がある。しかしながら、小型の撮像素子を備えた多くのディジタルカメラでは被写界深度が深く、被写体の背景をぼかすという使用者の写真表現に対する要求を満たすことができないという課題がある。
【０００３】
この課題は、撮影に用いるレンズの口径比、被写体距離及び、背景距離が一定の条件下において、画像上の光学的なぼけの大きさを決定する錯乱円径はレンズの焦点距離の２乗に比例するという光学原理により、撮影画角が同じならばレンズの焦点距離は画面サイズに比例するため、画面サイズが従来のフィルムカメラに比べて３〜５分の１程度の大きさの撮像素子を用いたディジタルカメラ等の出力画像データに現れる。
【０００４】
この課題に対応するため、一部の一眼レフ型ディジタルカメラではフィルムカメラと同等の画面サイズ(約36mm×24mm)を持つ大型の撮像素子を搭載している。
【０００５】
また、この課題に対応するため、複数の画像を合成する特許文献１の方法や、特殊な光学系を用いて被写界深度を浅くする特許文献２，特許文献３の方法が公開されている。
【特許文献１】：特開2003-283902号公報
【特許文献２】：特開2004-312097号公報
【特許文献３】：特開2005-017637号公報
【０００６】
また、この課題に対応するため、パーソナルコンピュータ用の画像処理ソフトウェアを用いて、入力画像データの一部をぼかすために、マウス操作によってぼかしたい箇所の境界を指定してフィルタによる平滑化処理を行い、フィルタ処理により発生した境界部の不自然なエッジの修正をマウス等による手動操作で行う方法がある。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、フィルムカメラと同じ画面サイズの大型の撮像素子を搭載したディジタルカメラでは、撮像素子の製造コストが嵩むためカメラの価格も高く光学系のサイズも画面サイズに比例するためカメラの小型化が困難である。また特許文献１、特許文献２，特許文献３の方法も、特殊な光学系や機構を必要とするため、製造コストの増加やカメラの大型化に繋がるという課題がある。
【０００８】
本発明では以上の点に鑑み、大型の撮像素子及び、特別な光学系や機構を用いることなく、フィルムカメラに比べて３〜５分の１程度の大きさの撮像素子を用いた一般的なディジタルカメラ等を用いて撮影された画像データを用いて、画像データの軽微なぼけを強調することにより、被写体の背景を使用者の希望する程度、あるいはフィルムカメラで撮影した画像と同程度にぼかした画像データを出力することができる画像処理装置、画像処理方法及びプログラム及び記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の第１の解決手段によると、
入力画像データの２次元離散２進ウェーブレット変換部と、前記２次元離散２進ウェーブレット変換部により出力される多重スケールの２次元ウェーブレット係数の内、最小スケールの２次元ウェーブレット係数に対するしきい値設定部と、前記しきい値設定部で設定されたしきい値以上のウェーブレット係数を持つ座標ではピントが合っているとみなし、ウェーブレット係数を保持するが、一方、しきい値未満の座標については、各スケールのウェーブレット係数には制御係数の乗算を行うための制御係数設定乗算部と、制御係数を乗じた各スケールのウェーブレット係数から画像を出力する逆ウェーブレット変換部を備え、入力画像データにおいて焦点の合っている座標のピントは保持しながら、入力画像データより被写界深度の浅い画像データを出力する画像処理装置が提供される。
また、前記しきい値設定部及び前記制御係数設定乗算部は、使用者が任意のしきい値と制御係数を入力できる機能を備え、出力画像を確認できる表示部を備えることにより、しきい値と制御係数を調整して使用者が想定する被写界深度の画像を出力することができる。
また、前記制御係数設定乗算部は、
使用者が想定するレンズの焦点距離に応じた被写界深度の画像を出力するために、被写体距離と背景距離から制御係数を自動的に調整する計算機能を備えることができる。
【００１０】
本発明の第２の解決手段によると、
入力画像データの２次元離散２進ウェーブレット変換を行い、得られた２次元ウェーブレット係数の内、最小スケールの２次元ウェーブレット係数に対して使用者が設定したしきい値に満たない座標を特定すること、
前記しきい値に満たない座標の各スケールのウェーブレット係数に使用者が設定した制御係数を乗じること、
前記制御係数を乗じた各スケールのウェーブレット係数から２次元離散２進逆ウェーブレット変換により画像データを出力すること、
を含み、入力画像データにおいて焦点の合っている座標のピントは保持しながら、入力画像データより被写界深度の浅い画像データを出力する画像処理方法が提供される。
【００１１】
本発明の第３の解決手段によると、
処理部は、記憶部又は入力部から入力画像データを読み取るステップと、
処理部は、入力画像データの２次元離散２進ウェーブレット変換を行い、得られた２次元ウェーブレット係数の内、最小スケールの２次元ウェーブレット係数に対して使用者が設定したしきい値に満たない座標を特定するステップと、
処理部は、前記しきい値に満たない座標の各スケールのウェーブレット係数に使用者が設定した制御係数を乗じるステップと、
処理部は、前記制御係数を乗じた各スケールのウェーブレット係数から２次元離散２進逆ウェーブレット変換により画像データを出力するステップと、
処理部は、得られた出力画像データを記憶部に記憶及び／又は出力部若しくは表示部に出力するステップを、
コンピュータに実行させるための入力画像データにおいて、焦点の合っている座標のピントは保持しながら入力画像データより被写界深度の浅い画像データを出力する画像処理プログラム、及び当該プログラムを記録したコンピュータ読み取り可能な記録媒体が提供される。
【発明の効果】
【００１２】
本発明によると、大型の撮像素子及び特殊な光学系や機構を用いることなく、小型の撮像素子を用いたディジタルカメラ等を用いても、コンピュータのプログラムによる画像処理により、被写体の背景を使用者の希望する程度、あるいはフィルムカメラで撮影した画像と同等程度にぼかした画像データを出力することができるため、一般的な小型のディジタルカメラ等でも、被写体の背景をぼかすという使用者の写真表現に対する要求を満たすことができる。
【００１３】
本発明によると、使用者は1回の画像処理操作で入力画像データの軽微なぼけを基にして、使用者が望む大きさのぼけを持つ画像データを自動的に出力できるため、従来の画像処理ソフトで行っている、ぼかしたい箇所のセグメンテーション（分離）を必要としないため、マウスのドラッグによる境界部の指定、境界部のレタッチ（修正）等のマウス等による煩雑な手動操作を一切必要としない。また、出力画像のぼけの大きさは使用者が設定した係数により、入力画像データのぼけの大きさに比例して決定されるため、被写界深度の浅いカメラで撮影した写真と同様の自然なぼけ方の画像データを出力することができる。
【発明を実施するための最良の形態】
【００１４】
本実施の形態の画像処理装置の構成図を図１に示す。図１の画像処理装置は入力画像データの２次元離散２進ウェーブレット変換部１と、最小スケールのウェーブレット係数に対するしきい値設定部２と、各スケールのウェーブレット係数に乗じる制御係数を設定して乗算を行う制御係数設定乗算部３と、ウェーブレット係数を再構成して画像データを出力するための２次元離散２進逆ウェーブレット変換部４を備えている。
【００１５】
本実施の形態の画像処理装置は、入力画像データf(m,n)から離散２進ウェーブレット変換部１によりウェーブレット係数を得る。得られたウェーブレット係数の内、最小スケールのウェーブレット係数W1f(m,n)が、しきい値設定部２に設定されているしきい値th以上の値を持つ座標(m,n)はピントが合っているとみなし、ピントを保持するためにウェーブレット係数の変更を行わず、しきい値th未満の値の座標(m,n)については、ピントが合っていないと見なし、制御係数乗算部３に設定されたスケールjごとの制御係数Cjを、各スケールｊのウェーブレット係数Wjf(m,n)に乗ずることにより、ウェーブレット係数の値を制御する。その後、２次元離散２進逆ウェーブレット変換部４により出力画像データf' (m,n)を得る。この出力画像データでは、入力画像データf(m,n)においてピントの合っていた個所はぼけることなく、ピントの合っていなかった箇所は入力画像データのぼけの大きさに比例して、より大きなぼけが得られる。つまり元々ピントの合っている箇所のピントは保持しながら、入力画像データより被写界深度の浅い画像データを出力することができる。
【００１６】
ここで本発明で用いる離散２進ウェーブレット変換について説明する。例として、非特許文献１に示された離散2進ウェーブレット変換を用いると、離散化された1次元入力データf (n)の各スケールjのウェーブレット係数Wj f(n)の絶対値は数１で示される関係を満たす。
【非特許文献１】S. Mallat and S. Zhong, ”Characterization of signals from multiscale edges,” IEEE Trans. on Pattern Analysis and Machine Intelligence, vol. 14, no. 7, pp. 710-732, July 1992.
【００１７】
【数１】
【００１８】
数１において、ｋは信号で決まる係数であり、アルファはウェーブレット係数のスケールj間の減衰を表す指数である。入力信号においてピントが合っている座標はステップ状のエッジとなるためウェーブレット変換のスケールjをいくら小さくしてもウェーブレット係数の値は同じであるためアルファ＝0である。それに対し、ピントの合っていない座標ではエッジは滑らかであるためにウェーブレット変換のスケールjを小さくするにつれてウェーブレット係数の絶対値は減少していく。更にこの離散2進ウェーブレット変換は、逆変換により入力データを再構成することができる。以上の性質を利用して、このウェーブレット変換を２次元に拡張して用いれば、入力画像データの各スケールjのウェーブレット係数に使用者がスケールjごとに設定した制御係数Cjを乗じた後、離散２進逆ウェーブレット変換を行うことにより、被写界深度を制御した画像データを出力することができる。
【００１９】
（２次元離散２進ウェーブレット変換部１）
前記離散２進ウェーブレット変換を２次元に拡張した図１の２次元離散２進ウェーブレット変換部１は、例として、図２に示すフィルタバンク構成を用いて実現することができる。図２のスケールｊ+１の水平方向ウェーブレット係数WHj+1 f(m, n)は、スケールｊの平滑化成分Sj f(m, n)に対して水平方向の１ラインごとの畳み込み演算を数２に示す計算により行う。
【００２０】
【数２】
【００２１】
前記の数２に示す畳み込み演算に用いられるフィルタ係数は、例として表１に示すｇ(i)を用いてフィルタのインデックスiに対応した入力画像データとの畳み込みの後、例として表２に示す係数λｊによる除算の結果をスケールj+1の水平ウェーブレット係数とすることができる。
【００２２】
【表１】
【００２３】
【表２】
【００２４】
また、図２の垂直方向ウェーブレット係数WVj+1 f(m, n)は、入力画像データSj f (m, n)の垂直方向の１ラインごとの畳み込み演算を数３の計算により得ることができる。
【００２５】
【数３】
【００２６】
また、図２のスケールｊ+１の平滑化成分Sj+1 f (m, n)は、スケールｊの平滑化成分Sj f(m, n)に対して水平方向及び、垂直方向の１ラインごとの畳み込み演算を数４、数５に示す計算により行う。まず、入力画像データの水平方向１ラインごとの畳み込み演算を数４の計算により行う。この畳み込み演算に用いられるフィルタ係数は例として表１に示すh(i)を用いる。次に垂直方向１ラインごとの畳み込み演算を数５に示す計算により行うことにより平滑化成分Sj+1f(m, n)を得ることができる。
【００２７】
【数４】
【００２８】
【数５】
【００２９】
以上の数２、数３、数４、数５を用いた計算を、図１に示した画像処理装置に入力する画像データf(m, n)をスケールj=0の平滑化成分S0 f(m, n)とみなして、順次スケールjを0,1,2,・・Jと進めながら、各スケールｊの平滑化成分Sj f(m, n)に対して前記の畳み込み演算を繰り返すことにより、次のスケールj+１の水平方向ウェーブレット係数WHj+1 f(m, n)、垂直方向ウェーブレット係数WVj+1 f(m, n)及び平滑化成分Sj+1 f(m, n)を得ることができる。
【００３０】
（しきい値設定部２）
図１のしきい値設定部２では、入力画像データにおいてピントの合っている座標を判別するために、前記２次元離散２進ウェーブレット変換部１により出力される最小スケールj=1の水平方向ウェーブレット係数WH1 f(m, n)、垂直方向ウェーブレット係数WV1 f(m, n)に対するしきい値thを設定する。また、しきい値設定部２は、使用者が入力画像データの焦点の合っている座標のピントを保持するために任意のしきい値を入力できる機能を備えることができる。設定したしきい値th以上の値を持つ座標(m,n)はピントが合っているとみなし、ピントを保持するためにウェーブレット係数の変更を行わず、しきい値th未満の値の座標(m,n)については、ピントが合っていないと見なす。
【００３１】
（制御係数設定乗算部３）
図１の制御係数設定乗算部３では、前記しきい値設定部２で設定されたしきい値th以上のウェーブレット係数を持つ座標(m,n)ではピントが合っているとみなし、ウェーブレット係数を保持するが、しきい値th未満のウェーブレット係数を持つ座標(m,n)については、数６の計算により、各スケールの水平方向ウェーブレット係数WHj f(m, n)及び垂直方向ウェーブレット係数WVj f(m, n)に対して制御係数Cjの乗算を行う。
【００３２】
【数６】
【００３３】
制御係数設定乗算部３は、使用者が入力画像データを元にして、より被写界深度の浅い出力画像データを得るために、各スケールのウェーブレット係数に乗ずる任意の制御係数Cjを入力する機能を備えることができる。図１に示した画像処理装置において、使用者が画像データを入力すれば、出力される画像データを直ちに確認できる機能を備えることにより。使用者の希望する出力画像のぼけが得られるまで、制御係数の設定と画像処理を繰り返すことができる。
【００３４】
また、制御係数設定乗算部３は、カメラの自動焦点部等から得られる被写体距離データに基づき、制御係数Cjを自動的に決定することができる。そのために、予め光学ぼけのモデルをガウス関数として設定する。ガウス関数の形状を決定する標準偏差Sは入力画像データとして使用が想定されるディジタルカメラ等と、目標とする画像を出力するフィルムカメラ等により同一条件で撮影された両画像内で、焦点の合っていないエッジ部のぼけから求める。また、各カメラから得られたぼけデータの標準偏差から、光学的ぼけによるエネルギー和不変の原理に基づき、ガウス関数のピーク値の比を求め、ぼけのモデルデータを作成する。これらのモデルデータを入力データとした離散２進ウェーブレット変換による各スケールjのディジタルカメラのぼけモデルのウェーブレット係数Wj f D(m, n)のピーク値に対するフィルムカメラのぼけモデルのウェーブレット係数のピーク値Wj f F(m, n)の比Rjを数７より得る。
【００３５】
【数７】
【００３６】
ここで、焦点を合わせる被写体への距離aとぼかしたい背景までの距離a'に対するボケの大きさεは数８の関係にある。
【００３７】
【数８】
【００３８】
前記の数８で光学レンズの焦点距離fと口径比Fが一定であれば、被写体への距離aと、ぼかしたい背景までの距離a'に対するウェーブレット係数のピーク値Pは数９の関係にある。
【００３９】
【数９】
【００４０】
前記、数７よりRjを求めた際の焦点を合わせた箇所への被写体距離a及びボケのデータを得た箇所までの背景距離a'に対する実際の撮影時の被写体距離arと背景距離ar'との比から制御係数を決定するための距離による補正係数βを数１０により得る。
【００４１】
【数１０】
【００４２】
数７と数１０より得られたRjとβから制御係数Cjは数１１により求めることができる。
【００４３】
【数１１】
【００４４】
（２次元離散２進逆ウェーブレット変換部４）
図１の２次元離散２進逆ウェーブレット変換部４は、例として、図３に示すフィルタバンクにより構成することができる。実際の計算では、次に述べる数１２、数１３、数１４、数１５、数１６、数１７、数１８を用いた計算により、表３のフィルタ係数を用いて行うことができる。
【００４５】
【表３】
【００４６】
スケールjの水平方向ウェーブレット係数WHj f(m, n)に対して水平方向に表３に示すフィルタK(i)を用いて数１２の計算による畳み込みの後、垂直方向に表３に示すフィルタL(i) を用いて数１３の計算によるを畳み込みと表２に示す係数λｊによる乗算の結果WH”j-1 f(m, n)を得る。
【００４７】
【数１２】
【００４８】
【数１３】
【００４９】
スケールjの垂直方向ウェーブレット係数WVj f(m, n)に対して水平方向に表３に示すフィルタＬ(i)を用いて数１４の計算による畳み込みの後、垂直方向に表３に示すフィルタＫ(i) を用いて数１５の計算による畳み込みと表２に示す係数λｊによる乗算の結果WV”j-1 f(m, n)を得る。
【００５０】
【数１４】
【００５１】
【数１５】
【００５２】
スケールjの平滑化成分Sj f(m, n)に対して水平方向に表３に示すフィルタHC(i)を用いて数１６の計算による畳み込みの後、垂直方向に表３に示すフィルタHC(i)を用いて数１７の計算による畳み込みによる乗算の結果S”j-1 f(m, n)を得る。
【００５３】
【数１６】
【００５４】
【数１７】
【００５５】
前記の数１３，数１５、数１７の計算により得られた２次元データWH”j-1 f(m, n)、WV”j-1 f(m, n)、S”j-1 f(m, n)を用いて数１８の計算により、次のスケールj-1の平滑化成分Sj-1 f(m, n)が得られる。
【００５６】
【数１８】
【００５７】
図１の制御系数乗算部３による乗算の後、前記の数１２、数１３、数１４、数１５、数１６、数１７、数１８の計算を、最大スケールJの水平方向ウェーブレット係数WHJ f(m, n)、垂直方向ウェーブレット係数WVJ f(m, n)及び平滑化成分SJ f(m, n)から順次スケールjをJ・・2, 1, 0と下げながら繰り返し、得られたスケールj=0の平滑化成分S0 f(m, n)が図１に示す画像処理装置の最終的な出力画像データf' (m,n)となる。
【実施例１】
【００５８】
制御係数設定乗算部３で、カメラの自動焦点部等から得られる被写体距離データに基づき、制御係数Cjを自動的に決定して図５（ａ）、図６（ａ）の画像を処理した例を次に示す。ここで、実験に用いたディジタルカメラとフィルムカメラのレンズの画角は同等であり、ディジタルカメラの撮像素子のサイズと焦点距離はフィルムカメラの約５分の１である。実験ではディジタルカメラとフィルムカメラで撮影された画像のサイズを２５６×２５６画素として、１画素のデータは８ビットで輝度値は０から２５５の範囲で表現される画像データとした。
【００５９】
まず、光学ぼけのモデルとなるガウス関数の形状を決定する標準偏差Sは、図４（ａ）、（ｂ）のサンプル画像を用いて求めた。入力画像データとして使用が想定されるディジタルカメラによる図４（ａ）の画像と、目標とする画像を出力するフィルムカメラにより同一条件で撮影された図４（ｂ）の画像内で焦点の合っていない左から３番目の縦の目地の箇所の図４（ｃ）に示す輝度情報を抽出して図４（ｃ）のデータが得られた。このデータから得られたディジタルカメラ画像の標準偏差SD=1.0、フィルムカメラ画像の標準偏差SF=1.4であった。これらのぼけ画像データの標準偏差から、光学的ぼけによるエネルギー和不変の原理に基づき、最大値の比を求め、ぼけのモデルデータを作成した。これらのモデルデータを入力データとした離散２進ウェーブレット変換によるディジタルカメラのぼけモデルのウェーブレット係数Wj f D(m, n)のピーク値、フィルムカメラのぼけモデルのウェーブレット係数のピーク値Wj f F(m, n)及び、数７の計算によるこれらの値の比Rjを表４に示す。
【００６０】
【表４】
【００６１】
次に、ぼけのモデル作成に用いた図４（ａ）の撮影距離と処理対象となる図５（ａ）、図６（ａ）の画像の撮影距離及び、数１０から得られた補正係数βを表５に示す。
【００６２】
【表５】
【００６３】
ディジタルカメラで撮影された図５（ａ）の画像データを図１に示す画像処理装置に入力して、２次元離散２進ウェーブレット変換部１でスケールj=1から3までのウェーブレット変換を実施した。しきい値設定部２ではしきい値をth=50に設定した。制御係数設定乗算部３では各スケールの制御係数を表４よりC1=0.63、C2=0.68、C3=0.86として乗算を行い、２次元離散２進逆ウェーブレット変換部４により出力画像データ図５（ｃ）が得られた。得られた出力画像データは、フィルムカメラにより撮影された図５（ｂ）の画像データを近似している。
【００６４】
ディジタルカメラで撮影された図６（ａ）の画像データについては、表４のRjと表５から計算された補正係数β=0.25によって、数１１の計算から制御係数C1=0.16, C2=0.17, C3=0.22 が得られた。これらの制御係数により、ディジタルカメラで撮影された図６（ａ）の画像を処理した出力画像データを図６（ｃ）に示す。図６（ａ）の入力画像では主要な被写体である花以外の背景のぼけが小さいが、図６（ｃ）の画像処理による出力画像では花のピントは保持されたまま背景を大きくぼかしている。また、図６（ａ）の入力画像では僅かにぼけている花の葉も図６（ｃ）の出力画像では容易に葉のぼけを確認でき、同じ場所からフィルムカメラにより撮影された図６（ｂ）の画像を近似している。
【実施例２】
【００６５】
制御係数設定乗算部３において制御係数Cjを手動設定した画像処理の例を示す。例として制御係数を手動設定によりC1=0.2，C2=0.4，C3=0.8とした図１の画像処理装置に図６（ａ）の画像を入力して出力された画像データを図６（ｄ）に示す。
【００６６】
以上の実施例１と実施例２の結果から、本発明によると、出力画像データのぼけの大きさは入力画像データのぼけの大きさに比例するため、被写界深度の浅いカメラで撮影した写真と同様の自然なぼけ方の画像データを出力することができるという特徴が確認できる。また、レンズから被写体までの距離とレンズから背景までの距離データが得られれば、使用者が制御係数を設定しなくとも、フィルムカメラと同程度の被写界深度の画像データを出力可能であることが確認できる。
【産業上の利用可能性】
【００６７】
本発明の画像処理方法をコンピュータのプログラムとして用いれば、小さな撮像素子を持つコンパクトなディジタルカメラやカメラ付携帯電話等で撮影を行い、撮影した画像データをコンピュータの画像処理プログラムにより処理すれば、使用者の希望する程度、あるいはフィルムカメラで撮影した写真と同程度の被写界深度の画像をプリンタに出力することができる。
【００６８】
本発明の画像処理方法を用いたプログラムを小さな撮像素子を持つコンパクトなディジタルカメラやカメラ付携帯電話等の本体に組み込めば、ディジタルカメラや携帯電話で撮影を行い、被写体距離データをカメラに組み込まれた自動焦点のための測距部等から得ることにより、使用者が制御係数を設定しなくとも、自動的に画像の被写界深度が制御され、フィルムカメラで撮影した写真と同程度の被写界深度の画像を直接プリンタに出力することができる。
【図面の簡単な説明】
【００６９】
【図１】画像処理装置の構成図である。
【図２】２次元離散２進ウェーブレット変換を実現するフィルタバンクの構成図である。
【図３】２次元離散２進逆ウェーブレット変換を実現するフィルタバンクの構成図である。
【図４】制御係数を自動的に求めるために使用したサンプル画像の図である。
【図５】自動的に求めた制御係数により画像処理を行った実施例を示す図である。
【図６】サンプル画像と撮影距離の異なる画像の処理を行った実施例を示す図である。
【符号の説明】
【００７０】
１ ２次元離散２進ウェーブレット変換部
２ しきい値設定部
３ 制御係数設定乗算部
４ ２次元離散２進逆ウェーブレット変換部
【技術分野】
【０００１】
本発明は画像処理装置、画像処理方法及びプログラム及び記録媒体に係り、特に小型の撮像素子を備えたディジタルカメラ等で撮影した被写界深度の深い画像データにおいて焦点の合っている座標のピントを保持しながら、被写界深度の浅い画像を生成する画像処理装置、画像処理方法及びプログラム及び記録媒体に関する。
【背景技術】
【０００２】
写真撮影では人物等の主要な被写体に焦点を合わせて背景をぼかすことにより主要な被写体を注視させる表現技法がある。しかしながら、小型の撮像素子を備えた多くのディジタルカメラでは被写界深度が深く、被写体の背景をぼかすという使用者の写真表現に対する要求を満たすことができないという課題がある。
【０００３】
この課題は、撮影に用いるレンズの口径比、被写体距離及び、背景距離が一定の条件下において、画像上の光学的なぼけの大きさを決定する錯乱円径はレンズの焦点距離の２乗に比例するという光学原理により、撮影画角が同じならばレンズの焦点距離は画面サイズに比例するため、画面サイズが従来のフィルムカメラに比べて３〜５分の１程度の大きさの撮像素子を用いたディジタルカメラ等の出力画像データに現れる。
【０００４】
この課題に対応するため、一部の一眼レフ型ディジタルカメラではフィルムカメラと同等の画面サイズ(約36mm×24mm)を持つ大型の撮像素子を搭載している。
【０００５】
また、この課題に対応するため、複数の画像を合成する特許文献１の方法や、特殊な光学系を用いて被写界深度を浅くする特許文献２，特許文献３の方法が公開されている。
【特許文献１】：特開2003-283902号公報
【特許文献２】：特開2004-312097号公報
【特許文献３】：特開2005-017637号公報
【０００６】
また、この課題に対応するため、パーソナルコンピュータ用の画像処理ソフトウェアを用いて、入力画像データの一部をぼかすために、マウス操作によってぼかしたい箇所の境界を指定してフィルタによる平滑化処理を行い、フィルタ処理により発生した境界部の不自然なエッジの修正をマウス等による手動操作で行う方法がある。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、フィルムカメラと同じ画面サイズの大型の撮像素子を搭載したディジタルカメラでは、撮像素子の製造コストが嵩むためカメラの価格も高く光学系のサイズも画面サイズに比例するためカメラの小型化が困難である。また特許文献１、特許文献２，特許文献３の方法も、特殊な光学系や機構を必要とするため、製造コストの増加やカメラの大型化に繋がるという課題がある。
【０００８】
本発明では以上の点に鑑み、大型の撮像素子及び、特別な光学系や機構を用いることなく、フィルムカメラに比べて３〜５分の１程度の大きさの撮像素子を用いた一般的なディジタルカメラ等を用いて撮影された画像データを用いて、画像データの軽微なぼけを強調することにより、被写体の背景を使用者の希望する程度、あるいはフィルムカメラで撮影した画像と同程度にぼかした画像データを出力することができる画像処理装置、画像処理方法及びプログラム及び記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の第１の解決手段によると、
入力画像データの２次元離散２進ウェーブレット変換部と、前記２次元離散２進ウェーブレット変換部により出力される多重スケールの２次元ウェーブレット係数の内、最小スケールの２次元ウェーブレット係数に対するしきい値設定部と、前記しきい値設定部で設定されたしきい値以上のウェーブレット係数を持つ座標ではピントが合っているとみなし、ウェーブレット係数を保持するが、一方、しきい値未満の座標については、各スケールのウェーブレット係数には制御係数の乗算を行うための制御係数設定乗算部と、制御係数を乗じた各スケールのウェーブレット係数から画像を出力する逆ウェーブレット変換部を備え、入力画像データにおいて焦点の合っている座標のピントは保持しながら、入力画像データより被写界深度の浅い画像データを出力する画像処理装置が提供される。
また、前記しきい値設定部及び前記制御係数設定乗算部は、使用者が任意のしきい値と制御係数を入力できる機能を備え、出力画像を確認できる表示部を備えることにより、しきい値と制御係数を調整して使用者が想定する被写界深度の画像を出力することができる。
また、前記制御係数設定乗算部は、
使用者が想定するレンズの焦点距離に応じた被写界深度の画像を出力するために、被写体距離と背景距離から制御係数を自動的に調整する計算機能を備えることができる。
【００１０】
本発明の第２の解決手段によると、
入力画像データの２次元離散２進ウェーブレット変換を行い、得られた２次元ウェーブレット係数の内、最小スケールの２次元ウェーブレット係数に対して使用者が設定したしきい値に満たない座標を特定すること、
前記しきい値に満たない座標の各スケールのウェーブレット係数に使用者が設定した制御係数を乗じること、
前記制御係数を乗じた各スケールのウェーブレット係数から２次元離散２進逆ウェーブレット変換により画像データを出力すること、
を含み、入力画像データにおいて焦点の合っている座標のピントは保持しながら、入力画像データより被写界深度の浅い画像データを出力する画像処理方法が提供される。
【００１１】
本発明の第３の解決手段によると、
処理部は、記憶部又は入力部から入力画像データを読み取るステップと、
処理部は、入力画像データの２次元離散２進ウェーブレット変換を行い、得られた２次元ウェーブレット係数の内、最小スケールの２次元ウェーブレット係数に対して使用者が設定したしきい値に満たない座標を特定するステップと、
処理部は、前記しきい値に満たない座標の各スケールのウェーブレット係数に使用者が設定した制御係数を乗じるステップと、
処理部は、前記制御係数を乗じた各スケールのウェーブレット係数から２次元離散２進逆ウェーブレット変換により画像データを出力するステップと、
処理部は、得られた出力画像データを記憶部に記憶及び／又は出力部若しくは表示部に出力するステップを、
コンピュータに実行させるための入力画像データにおいて、焦点の合っている座標のピントは保持しながら入力画像データより被写界深度の浅い画像データを出力する画像処理プログラム、及び当該プログラムを記録したコンピュータ読み取り可能な記録媒体が提供される。
【発明の効果】
【００１２】
本発明によると、大型の撮像素子及び特殊な光学系や機構を用いることなく、小型の撮像素子を用いたディジタルカメラ等を用いても、コンピュータのプログラムによる画像処理により、被写体の背景を使用者の希望する程度、あるいはフィルムカメラで撮影した画像と同等程度にぼかした画像データを出力することができるため、一般的な小型のディジタルカメラ等でも、被写体の背景をぼかすという使用者の写真表現に対する要求を満たすことができる。
【００１３】
本発明によると、使用者は1回の画像処理操作で入力画像データの軽微なぼけを基にして、使用者が望む大きさのぼけを持つ画像データを自動的に出力できるため、従来の画像処理ソフトで行っている、ぼかしたい箇所のセグメンテーション（分離）を必要としないため、マウスのドラッグによる境界部の指定、境界部のレタッチ（修正）等のマウス等による煩雑な手動操作を一切必要としない。また、出力画像のぼけの大きさは使用者が設定した係数により、入力画像データのぼけの大きさに比例して決定されるため、被写界深度の浅いカメラで撮影した写真と同様の自然なぼけ方の画像データを出力することができる。
【発明を実施するための最良の形態】
【００１４】
本実施の形態の画像処理装置の構成図を図１に示す。図１の画像処理装置は入力画像データの２次元離散２進ウェーブレット変換部１と、最小スケールのウェーブレット係数に対するしきい値設定部２と、各スケールのウェーブレット係数に乗じる制御係数を設定して乗算を行う制御係数設定乗算部３と、ウェーブレット係数を再構成して画像データを出力するための２次元離散２進逆ウェーブレット変換部４を備えている。
【００１５】
本実施の形態の画像処理装置は、入力画像データf(m,n)から離散２進ウェーブレット変換部１によりウェーブレット係数を得る。得られたウェーブレット係数の内、最小スケールのウェーブレット係数W1f(m,n)が、しきい値設定部２に設定されているしきい値th以上の値を持つ座標(m,n)はピントが合っているとみなし、ピントを保持するためにウェーブレット係数の変更を行わず、しきい値th未満の値の座標(m,n)については、ピントが合っていないと見なし、制御係数乗算部３に設定されたスケールjごとの制御係数Cjを、各スケールｊのウェーブレット係数Wjf(m,n)に乗ずることにより、ウェーブレット係数の値を制御する。その後、２次元離散２進逆ウェーブレット変換部４により出力画像データf' (m,n)を得る。この出力画像データでは、入力画像データf(m,n)においてピントの合っていた個所はぼけることなく、ピントの合っていなかった箇所は入力画像データのぼけの大きさに比例して、より大きなぼけが得られる。つまり元々ピントの合っている箇所のピントは保持しながら、入力画像データより被写界深度の浅い画像データを出力することができる。
【００１６】
ここで本発明で用いる離散２進ウェーブレット変換について説明する。例として、非特許文献１に示された離散2進ウェーブレット変換を用いると、離散化された1次元入力データf (n)の各スケールjのウェーブレット係数Wj f(n)の絶対値は数１で示される関係を満たす。
【非特許文献１】S. Mallat and S. Zhong, ”Characterization of signals from multiscale edges,” IEEE Trans. on Pattern Analysis and Machine Intelligence, vol. 14, no. 7, pp. 710-732, July 1992.
【００１７】
【数１】
【００１８】
数１において、ｋは信号で決まる係数であり、アルファはウェーブレット係数のスケールj間の減衰を表す指数である。入力信号においてピントが合っている座標はステップ状のエッジとなるためウェーブレット変換のスケールjをいくら小さくしてもウェーブレット係数の値は同じであるためアルファ＝0である。それに対し、ピントの合っていない座標ではエッジは滑らかであるためにウェーブレット変換のスケールjを小さくするにつれてウェーブレット係数の絶対値は減少していく。更にこの離散2進ウェーブレット変換は、逆変換により入力データを再構成することができる。以上の性質を利用して、このウェーブレット変換を２次元に拡張して用いれば、入力画像データの各スケールjのウェーブレット係数に使用者がスケールjごとに設定した制御係数Cjを乗じた後、離散２進逆ウェーブレット変換を行うことにより、被写界深度を制御した画像データを出力することができる。
【００１９】
（２次元離散２進ウェーブレット変換部１）
前記離散２進ウェーブレット変換を２次元に拡張した図１の２次元離散２進ウェーブレット変換部１は、例として、図２に示すフィルタバンク構成を用いて実現することができる。図２のスケールｊ+１の水平方向ウェーブレット係数WHj+1 f(m, n)は、スケールｊの平滑化成分Sj f(m, n)に対して水平方向の１ラインごとの畳み込み演算を数２に示す計算により行う。
【００２０】
【数２】
【００２１】
前記の数２に示す畳み込み演算に用いられるフィルタ係数は、例として表１に示すｇ(i)を用いてフィルタのインデックスiに対応した入力画像データとの畳み込みの後、例として表２に示す係数λｊによる除算の結果をスケールj+1の水平ウェーブレット係数とすることができる。
【００２２】
【表１】
【００２３】
【表２】
【００２４】
また、図２の垂直方向ウェーブレット係数WVj+1 f(m, n)は、入力画像データSj f (m, n)の垂直方向の１ラインごとの畳み込み演算を数３の計算により得ることができる。
【００２５】
【数３】
【００２６】
また、図２のスケールｊ+１の平滑化成分Sj+1 f (m, n)は、スケールｊの平滑化成分Sj f(m, n)に対して水平方向及び、垂直方向の１ラインごとの畳み込み演算を数４、数５に示す計算により行う。まず、入力画像データの水平方向１ラインごとの畳み込み演算を数４の計算により行う。この畳み込み演算に用いられるフィルタ係数は例として表１に示すh(i)を用いる。次に垂直方向１ラインごとの畳み込み演算を数５に示す計算により行うことにより平滑化成分Sj+1f(m, n)を得ることができる。
【００２７】
【数４】
【００２８】
【数５】
【００２９】
以上の数２、数３、数４、数５を用いた計算を、図１に示した画像処理装置に入力する画像データf(m, n)をスケールj=0の平滑化成分S0 f(m, n)とみなして、順次スケールjを0,1,2,・・Jと進めながら、各スケールｊの平滑化成分Sj f(m, n)に対して前記の畳み込み演算を繰り返すことにより、次のスケールj+１の水平方向ウェーブレット係数WHj+1 f(m, n)、垂直方向ウェーブレット係数WVj+1 f(m, n)及び平滑化成分Sj+1 f(m, n)を得ることができる。
【００３０】
（しきい値設定部２）
図１のしきい値設定部２では、入力画像データにおいてピントの合っている座標を判別するために、前記２次元離散２進ウェーブレット変換部１により出力される最小スケールj=1の水平方向ウェーブレット係数WH1 f(m, n)、垂直方向ウェーブレット係数WV1 f(m, n)に対するしきい値thを設定する。また、しきい値設定部２は、使用者が入力画像データの焦点の合っている座標のピントを保持するために任意のしきい値を入力できる機能を備えることができる。設定したしきい値th以上の値を持つ座標(m,n)はピントが合っているとみなし、ピントを保持するためにウェーブレット係数の変更を行わず、しきい値th未満の値の座標(m,n)については、ピントが合っていないと見なす。
【００３１】
（制御係数設定乗算部３）
図１の制御係数設定乗算部３では、前記しきい値設定部２で設定されたしきい値th以上のウェーブレット係数を持つ座標(m,n)ではピントが合っているとみなし、ウェーブレット係数を保持するが、しきい値th未満のウェーブレット係数を持つ座標(m,n)については、数６の計算により、各スケールの水平方向ウェーブレット係数WHj f(m, n)及び垂直方向ウェーブレット係数WVj f(m, n)に対して制御係数Cjの乗算を行う。
【００３２】
【数６】
【００３３】
制御係数設定乗算部３は、使用者が入力画像データを元にして、より被写界深度の浅い出力画像データを得るために、各スケールのウェーブレット係数に乗ずる任意の制御係数Cjを入力する機能を備えることができる。図１に示した画像処理装置において、使用者が画像データを入力すれば、出力される画像データを直ちに確認できる機能を備えることにより。使用者の希望する出力画像のぼけが得られるまで、制御係数の設定と画像処理を繰り返すことができる。
【００３４】
また、制御係数設定乗算部３は、カメラの自動焦点部等から得られる被写体距離データに基づき、制御係数Cjを自動的に決定することができる。そのために、予め光学ぼけのモデルをガウス関数として設定する。ガウス関数の形状を決定する標準偏差Sは入力画像データとして使用が想定されるディジタルカメラ等と、目標とする画像を出力するフィルムカメラ等により同一条件で撮影された両画像内で、焦点の合っていないエッジ部のぼけから求める。また、各カメラから得られたぼけデータの標準偏差から、光学的ぼけによるエネルギー和不変の原理に基づき、ガウス関数のピーク値の比を求め、ぼけのモデルデータを作成する。これらのモデルデータを入力データとした離散２進ウェーブレット変換による各スケールjのディジタルカメラのぼけモデルのウェーブレット係数Wj f D(m, n)のピーク値に対するフィルムカメラのぼけモデルのウェーブレット係数のピーク値Wj f F(m, n)の比Rjを数７より得る。
【００３５】
【数７】
【００３６】
ここで、焦点を合わせる被写体への距離aとぼかしたい背景までの距離a'に対するボケの大きさεは数８の関係にある。
【００３７】
【数８】
【００３８】
前記の数８で光学レンズの焦点距離fと口径比Fが一定であれば、被写体への距離aと、ぼかしたい背景までの距離a'に対するウェーブレット係数のピーク値Pは数９の関係にある。
【００３９】
【数９】
【００４０】
前記、数７よりRjを求めた際の焦点を合わせた箇所への被写体距離a及びボケのデータを得た箇所までの背景距離a'に対する実際の撮影時の被写体距離arと背景距離ar'との比から制御係数を決定するための距離による補正係数βを数１０により得る。
【００４１】
【数１０】
【００４２】
数７と数１０より得られたRjとβから制御係数Cjは数１１により求めることができる。
【００４３】
【数１１】
【００４４】
（２次元離散２進逆ウェーブレット変換部４）
図１の２次元離散２進逆ウェーブレット変換部４は、例として、図３に示すフィルタバンクにより構成することができる。実際の計算では、次に述べる数１２、数１３、数１４、数１５、数１６、数１７、数１８を用いた計算により、表３のフィルタ係数を用いて行うことができる。
【００４５】
【表３】
【００４６】
スケールjの水平方向ウェーブレット係数WHj f(m, n)に対して水平方向に表３に示すフィルタK(i)を用いて数１２の計算による畳み込みの後、垂直方向に表３に示すフィルタL(i) を用いて数１３の計算によるを畳み込みと表２に示す係数λｊによる乗算の結果WH”j-1 f(m, n)を得る。
【００４７】
【数１２】
【００４８】
【数１３】
【００４９】
スケールjの垂直方向ウェーブレット係数WVj f(m, n)に対して水平方向に表３に示すフィルタＬ(i)を用いて数１４の計算による畳み込みの後、垂直方向に表３に示すフィルタＫ(i) を用いて数１５の計算による畳み込みと表２に示す係数λｊによる乗算の結果WV”j-1 f(m, n)を得る。
【００５０】
【数１４】
【００５１】
【数１５】
【００５２】
スケールjの平滑化成分Sj f(m, n)に対して水平方向に表３に示すフィルタHC(i)を用いて数１６の計算による畳み込みの後、垂直方向に表３に示すフィルタHC(i)を用いて数１７の計算による畳み込みによる乗算の結果S”j-1 f(m, n)を得る。
【００５３】
【数１６】
【００５４】
【数１７】
【００５５】
前記の数１３，数１５、数１７の計算により得られた２次元データWH”j-1 f(m, n)、WV”j-1 f(m, n)、S”j-1 f(m, n)を用いて数１８の計算により、次のスケールj-1の平滑化成分Sj-1 f(m, n)が得られる。
【００５６】
【数１８】
【００５７】
図１の制御系数乗算部３による乗算の後、前記の数１２、数１３、数１４、数１５、数１６、数１７、数１８の計算を、最大スケールJの水平方向ウェーブレット係数WHJ f(m, n)、垂直方向ウェーブレット係数WVJ f(m, n)及び平滑化成分SJ f(m, n)から順次スケールjをJ・・2, 1, 0と下げながら繰り返し、得られたスケールj=0の平滑化成分S0 f(m, n)が図１に示す画像処理装置の最終的な出力画像データf' (m,n)となる。
【実施例１】
【００５８】
制御係数設定乗算部３で、カメラの自動焦点部等から得られる被写体距離データに基づき、制御係数Cjを自動的に決定して図５（ａ）、図６（ａ）の画像を処理した例を次に示す。ここで、実験に用いたディジタルカメラとフィルムカメラのレンズの画角は同等であり、ディジタルカメラの撮像素子のサイズと焦点距離はフィルムカメラの約５分の１である。実験ではディジタルカメラとフィルムカメラで撮影された画像のサイズを２５６×２５６画素として、１画素のデータは８ビットで輝度値は０から２５５の範囲で表現される画像データとした。
【００５９】
まず、光学ぼけのモデルとなるガウス関数の形状を決定する標準偏差Sは、図４（ａ）、（ｂ）のサンプル画像を用いて求めた。入力画像データとして使用が想定されるディジタルカメラによる図４（ａ）の画像と、目標とする画像を出力するフィルムカメラにより同一条件で撮影された図４（ｂ）の画像内で焦点の合っていない左から３番目の縦の目地の箇所の図４（ｃ）に示す輝度情報を抽出して図４（ｃ）のデータが得られた。このデータから得られたディジタルカメラ画像の標準偏差SD=1.0、フィルムカメラ画像の標準偏差SF=1.4であった。これらのぼけ画像データの標準偏差から、光学的ぼけによるエネルギー和不変の原理に基づき、最大値の比を求め、ぼけのモデルデータを作成した。これらのモデルデータを入力データとした離散２進ウェーブレット変換によるディジタルカメラのぼけモデルのウェーブレット係数Wj f D(m, n)のピーク値、フィルムカメラのぼけモデルのウェーブレット係数のピーク値Wj f F(m, n)及び、数７の計算によるこれらの値の比Rjを表４に示す。
【００６０】
【表４】
【００６１】
次に、ぼけのモデル作成に用いた図４（ａ）の撮影距離と処理対象となる図５（ａ）、図６（ａ）の画像の撮影距離及び、数１０から得られた補正係数βを表５に示す。
【００６２】
【表５】
【００６３】
ディジタルカメラで撮影された図５（ａ）の画像データを図１に示す画像処理装置に入力して、２次元離散２進ウェーブレット変換部１でスケールj=1から3までのウェーブレット変換を実施した。しきい値設定部２ではしきい値をth=50に設定した。制御係数設定乗算部３では各スケールの制御係数を表４よりC1=0.63、C2=0.68、C3=0.86として乗算を行い、２次元離散２進逆ウェーブレット変換部４により出力画像データ図５（ｃ）が得られた。得られた出力画像データは、フィルムカメラにより撮影された図５（ｂ）の画像データを近似している。
【００６４】
ディジタルカメラで撮影された図６（ａ）の画像データについては、表４のRjと表５から計算された補正係数β=0.25によって、数１１の計算から制御係数C1=0.16, C2=0.17, C3=0.22 が得られた。これらの制御係数により、ディジタルカメラで撮影された図６（ａ）の画像を処理した出力画像データを図６（ｃ）に示す。図６（ａ）の入力画像では主要な被写体である花以外の背景のぼけが小さいが、図６（ｃ）の画像処理による出力画像では花のピントは保持されたまま背景を大きくぼかしている。また、図６（ａ）の入力画像では僅かにぼけている花の葉も図６（ｃ）の出力画像では容易に葉のぼけを確認でき、同じ場所からフィルムカメラにより撮影された図６（ｂ）の画像を近似している。
【実施例２】
【００６５】
制御係数設定乗算部３において制御係数Cjを手動設定した画像処理の例を示す。例として制御係数を手動設定によりC1=0.2，C2=0.4，C3=0.8とした図１の画像処理装置に図６（ａ）の画像を入力して出力された画像データを図６（ｄ）に示す。
【００６６】
以上の実施例１と実施例２の結果から、本発明によると、出力画像データのぼけの大きさは入力画像データのぼけの大きさに比例するため、被写界深度の浅いカメラで撮影した写真と同様の自然なぼけ方の画像データを出力することができるという特徴が確認できる。また、レンズから被写体までの距離とレンズから背景までの距離データが得られれば、使用者が制御係数を設定しなくとも、フィルムカメラと同程度の被写界深度の画像データを出力可能であることが確認できる。
【産業上の利用可能性】
【００６７】
本発明の画像処理方法をコンピュータのプログラムとして用いれば、小さな撮像素子を持つコンパクトなディジタルカメラやカメラ付携帯電話等で撮影を行い、撮影した画像データをコンピュータの画像処理プログラムにより処理すれば、使用者の希望する程度、あるいはフィルムカメラで撮影した写真と同程度の被写界深度の画像をプリンタに出力することができる。
【００６８】
本発明の画像処理方法を用いたプログラムを小さな撮像素子を持つコンパクトなディジタルカメラやカメラ付携帯電話等の本体に組み込めば、ディジタルカメラや携帯電話で撮影を行い、被写体距離データをカメラに組み込まれた自動焦点のための測距部等から得ることにより、使用者が制御係数を設定しなくとも、自動的に画像の被写界深度が制御され、フィルムカメラで撮影した写真と同程度の被写界深度の画像を直接プリンタに出力することができる。
【図面の簡単な説明】
【００６９】
【図１】画像処理装置の構成図である。
【図２】２次元離散２進ウェーブレット変換を実現するフィルタバンクの構成図である。
【図３】２次元離散２進逆ウェーブレット変換を実現するフィルタバンクの構成図である。
【図４】制御係数を自動的に求めるために使用したサンプル画像の図である。
【図５】自動的に求めた制御係数により画像処理を行った実施例を示す図である。
【図６】サンプル画像と撮影距離の異なる画像の処理を行った実施例を示す図である。
【符号の説明】
【００７０】
１ ２次元離散２進ウェーブレット変換部
２ しきい値設定部
３ 制御係数設定乗算部
４ ２次元離散２進逆ウェーブレット変換部
【特許請求の範囲】
【請求項１】
入力画像データの２次元離散２進ウェーブレット変換部と、前記２次元離散２進ウェーブレット変換部により出力される多重スケールの２次元ウェーブレット係数の内、最小スケールの２次元ウェーブレット係数に対するしきい値設定部と、前記しきい値設定部で設定したしきい値未満の座標について各スケールの２次元ウェーブレット係数に制御係数の乗算を行う制御係数設定乗算部と、前記制御係数設定部により制御係数を乗じた各スケールの２次元ウェーブレット係数から画像データを出力する２次元離散２進逆ウェーブレット変換部を備え、入力画像データにおいて焦点の合っている座標のピントは保持しながら、入力画像データより被写界深度の浅い画像データを出力する画像処理装置。
【請求項２】
前記しきい値設定部及び前記制御係数設定乗算部は、使用者が任意のしきい値と制御係数を入力できる機能を備え、出力画像を確認できる表示部を備えることにより、しきい値と制御係数を調整して使用者が想定する被写界深度の画像を出力する請求項１に記載の画像処理装置。
【請求項３】
前記制御係数設定乗算部は、使用者が想定するレンズの焦点距離に応じた被写界深度の画像を出力するために、被写体距離と背景距離から制御係数を自動的に調整する計算機能を備える請求項１に記載の画像処理装置。
【請求項４】
入力画像データの２次元離散２進ウェーブレット変換を行い、得られた２次元ウェーブレット係数の内、最小スケールの２次元ウェーブレット係数に対して使用者が設定したしきい値に満たない座標を特定すること、前記しきい値に満たない座標の各スケールのウェーブレット係数に使用者が設定した制御係数を乗じること、前記制御係数を乗じた各スケールのウェーブレット係数から２次元離散２進逆ウェーブレット変換により画像データを出力することを含み、入力画像データの焦点の合っている座標のピントは保持しながら、入力画像データより被写界深度の浅い画像データを出力する画像処理方法。
【請求項５】
処理部は、記憶部又は入力部から入力画像データを読み取るステップと、処理部は、入力画像データの２次元離散２進ウェーブレット変換を行い、得られた２次元ウェーブレット係数の内、最小スケールの２次元ウェーブレット係数に対して使用者が設定したしきい値に満たない座標を特定するステップと、処理部は、前記しきい値に満たない座標の各スケールのウェーブレット係数に使用者が設定した制御係数を乗じるステップと、処理部は、前記制御係数を乗じた各スケールのウェーブレット係数から２次元離散２進逆ウェーブレット変換により画像データを出力するステップと、処理部は、得られた出力画像データを記憶部に記憶及び／又は出力部若しくは表示部に出力するステップをコンピュータに実行させるための入力画像データにおいて焦点の合っている座標のピントは保持しながら、入力画像データより被写界深度の浅い画像データを出力する画像処理プログラム。
【請求項６】
処理部は、記憶部又は入力部から入力画像データを読み取るステップと、処理部は、入力画像データの２次元離散２進ウェーブレット変換を行い、得られた２次元ウェーブレット係数の内、最小スケールの２次元ウェーブレット係数に対して使用者が設定したしきい値に満たない座標を特定するステップと、処理部は、前記しきい値に満たない座標の各スケールのウェーブレット係数に使用者が設定した制御係数を乗じるステップと、処理部は、前記制御係数を乗じた各スケールのウェーブレット係数から２次元離散２進逆ウェーブレット変換により画像データを出力するステップと、処理部は、得られた出力画像データを記憶部に記憶及び／又は出力部若しくは表示部に出力するステップをコンピュータに実行させるための入力画像データにおいて焦点の合っている座標のピントは保持しながら、入力画像データより被写界深度の浅い画像データを出力する画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
入力画像データの２次元離散２進ウェーブレット変換部と、前記２次元離散２進ウェーブレット変換部により出力される多重スケールの２次元ウェーブレット係数の内、最小スケールの２次元ウェーブレット係数に対するしきい値設定部と、前記しきい値設定部で設定したしきい値未満の座標について各スケールの２次元ウェーブレット係数に制御係数の乗算を行う制御係数設定乗算部と、前記制御係数設定部により制御係数を乗じた各スケールの２次元ウェーブレット係数から画像データを出力する２次元離散２進逆ウェーブレット変換部を備え、入力画像データにおいて焦点の合っている座標のピントは保持しながら、入力画像データより被写界深度の浅い画像データを出力する画像処理装置。
【請求項２】
前記しきい値設定部及び前記制御係数設定乗算部は、使用者が任意のしきい値と制御係数を入力できる機能を備え、出力画像を確認できる表示部を備えることにより、しきい値と制御係数を調整して使用者が想定する被写界深度の画像を出力する請求項１に記載の画像処理装置。
【請求項３】
前記制御係数設定乗算部は、使用者が想定するレンズの焦点距離に応じた被写界深度の画像を出力するために、被写体距離と背景距離から制御係数を自動的に調整する計算機能を備える請求項１に記載の画像処理装置。
【請求項４】
入力画像データの２次元離散２進ウェーブレット変換を行い、得られた２次元ウェーブレット係数の内、最小スケールの２次元ウェーブレット係数に対して使用者が設定したしきい値に満たない座標を特定すること、前記しきい値に満たない座標の各スケールのウェーブレット係数に使用者が設定した制御係数を乗じること、前記制御係数を乗じた各スケールのウェーブレット係数から２次元離散２進逆ウェーブレット変換により画像データを出力することを含み、入力画像データの焦点の合っている座標のピントは保持しながら、入力画像データより被写界深度の浅い画像データを出力する画像処理方法。
【請求項５】
処理部は、記憶部又は入力部から入力画像データを読み取るステップと、処理部は、入力画像データの２次元離散２進ウェーブレット変換を行い、得られた２次元ウェーブレット係数の内、最小スケールの２次元ウェーブレット係数に対して使用者が設定したしきい値に満たない座標を特定するステップと、処理部は、前記しきい値に満たない座標の各スケールのウェーブレット係数に使用者が設定した制御係数を乗じるステップと、処理部は、前記制御係数を乗じた各スケールのウェーブレット係数から２次元離散２進逆ウェーブレット変換により画像データを出力するステップと、処理部は、得られた出力画像データを記憶部に記憶及び／又は出力部若しくは表示部に出力するステップをコンピュータに実行させるための入力画像データにおいて焦点の合っている座標のピントは保持しながら、入力画像データより被写界深度の浅い画像データを出力する画像処理プログラム。
【請求項６】
処理部は、記憶部又は入力部から入力画像データを読み取るステップと、処理部は、入力画像データの２次元離散２進ウェーブレット変換を行い、得られた２次元ウェーブレット係数の内、最小スケールの２次元ウェーブレット係数に対して使用者が設定したしきい値に満たない座標を特定するステップと、処理部は、前記しきい値に満たない座標の各スケールのウェーブレット係数に使用者が設定した制御係数を乗じるステップと、処理部は、前記制御係数を乗じた各スケールのウェーブレット係数から２次元離散２進逆ウェーブレット変換により画像データを出力するステップと、処理部は、得られた出力画像データを記憶部に記憶及び／又は出力部若しくは表示部に出力するステップをコンピュータに実行させるための入力画像データにおいて焦点の合っている座標のピントは保持しながら、入力画像データより被写界深度の浅い画像データを出力する画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００８−２４５０３３（Ｐ２００８−２４５０３３Ａ）
【公開日】平成２０年１０月９日（２００８．１０．９）
【国際特許分類】
【出願番号】特願２００７−８４６３０（Ｐ２００７−８４６３０）
【出願日】平成１９年３月２８日（２００７．３．２８）
【出願人】（５０４２３７０５０）独立行政法人国立高等専門学校機構 (656)
【Ｆターム（参考）】
【公開日】平成２０年１０月９日（２００８．１０．９）
【国際特許分類】
【出願日】平成１９年３月２８日（２００７．３．２８）
【出願人】（５０４２３７０５０）独立行政法人国立高等専門学校機構 (656)
【Ｆターム（参考）】
[ Back to top ]