画像処理装置及び画像処理プログラム
【課題】複数枚の画像を撮像して合成画像を得る場合において、複数枚の画像に位置ずれが存在する場合であっても、ダイナミックレンジを拡大させ画質を向上させることを目的とする。
【解決手段】露光量の異なる複数枚の映像信号を取得し、映像信号のそれぞれから低周波数成分を抽出して複数の低周波映像信号を生成し、この複数の低周波映像信号を合成して合成低周波映像信号を生成する。また、複数の映像信号から第一の映像信号を抽出し、抽出された第一の映像信号から高周波数成分を抽出して高周波映像信号を生成する。そして、合成低周波映像信号と高周波映像信号とを合成することにより合成映像信号を生成する。
【解決手段】露光量の異なる複数枚の映像信号を取得し、映像信号のそれぞれから低周波数成分を抽出して複数の低周波映像信号を生成し、この複数の低周波映像信号を合成して合成低周波映像信号を生成する。また、複数の映像信号から第一の映像信号を抽出し、抽出された第一の映像信号から高周波数成分を抽出して高周波映像信号を生成する。そして、合成低周波映像信号と高周波映像信号とを合成することにより合成映像信号を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像信号のダイナミックレンジを拡大する画像処理装置に関する。
【背景技術】
【０００２】
一般に、電子カメラに用いられるＣＣＤイメージセンサやＣＭＯＳ型イメージセンサ等種々の固体撮像素子のダイナミックレンジは、被写体の持つダイナミックレンジに比べて狭く、高輝度部においては白飛びが発生したり、低輝度部においては黒つぶれが発生したりすることがあった。このため、露光量の異なる複数枚の映像信号を１枚の映像信号に合成することで、ダイナミックレンジを拡大させた画像を生成する手法が提案されている。しかしながら、複数枚の画像を撮影して合成画像を得る場合には、撮影時にカメラぶれや被写体ぶれ等が原因で合成時の映像信号に二重像等のアーティファクトが起きるという問題があった。
特開平７−７５０２６号公報（特許文献１）には、２枚の画像の第１の明度値および第２の明度値に対する重みを何れか一方を基準にして定めることにより、カメラの特性変化、照明強度の変動及び撮像素子上の位置ずれがある場合でも適切な広ダイナミックレンジ画像を生成させる手法が開示されている。また、特開平５−７３３６号公報（特許文献２）では複数枚の撮像時の経時的な位置ずれに対応して、複数の画像に対して座標変換を行った後に合成を行う手法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平７−７５０２６号公報
【特許文献２】特開平５−７３３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記した特許文献１及び特許文献２のいずれの手法においても複数枚の映像信号間の複雑な位置ずれ、例えば、三次元的な動きに起因した位置ずれ等に関しては完全に位置あわせを行うことは困難である。
【０００５】
本発明は、上記問題に鑑みてなされたもので、複数枚の画像を撮像して合成画像を得る場合において、例えば、複数枚の画像に三次元的な動きに起因した位置ずれが存在する場合であっても、ダイナミックレンジを拡大させ画質を向上させることが可能な画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明は以下の手段を採用する。
本発明は、露光量の異なる複数の映像信号を合成することでダイナミックレンジを拡大する画像処理装置であって、前記複数の映像信号のそれぞれから低周波数成分を抽出して複数の低周波映像信号を生成する低周波映像信号生成手段と、前記複数の低周波映像信号を合成し、合成低周波映像信号を生成する合成低周波信号生成手段と、前記複数の映像信号から第一の映像信号を抽出する抽出手段と、前記第一の映像信号から高周波数成分を抽出して高周波映像信号を生成する高周波映像信号生成手段と、前記合成低周波映像信号と前記高周波映像信号とを合成することにより合成映像信号を生成する画像合成手段と、を備えたことを特徴とする画像処理装置を提供する。
【０００７】
また、本発明は、露光量の異なる複数の映像信号を合成することでダイナミックレンジを拡大する画像処理プログラムであって、前記複数の映像信号のそれぞれから低周波数成分を抽出して複数の低周波映像信号を生成するステップと、前記複数の低周波映像信号を合成し、合成低周波映像信号を生成するステップと、前記複数の映像信号から第一の映像信号を抽出するステップと、前記第一の映像信号から高周波数成分を抽出して高周波映像信号を生成するステップと、前記合成低周波映像信号と前記高周波映像信号とを合成することにより合成映像信号を生成するステップと、をコンピュータに実行させる画像処理プログラムを提供する。
【発明の効果】
【０００８】
このように、映像信号のうち位置ずれが目立ちにくい低周波数成分については複数枚の画像について画像合成処理の対象とする一方で、位置ずれの目立ちやすい高周波数成分については任意の一枚のみを画像合成処理の対象とすることで、ブレのある複数枚の映像信号に対しても二重線等のアーティファクトがないダイナミックレンジの広い合成信号を生成することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１の実施形態にかかる画像処理装置の概略構成を示すブロック図である。
【図２】本発明の第１の実施形態にかかる画像処理装置の変換部の概略構成を示すブロック図である。
【図３】本発明の第１の実施形態にかかる画像処理装置の抽出部の概略構成を示すブロック図である。
【図４】本発明の第１の実施形態にかかる画像処理装置の抽出部において生成されるヒストグラムの例を示す図であり、（ａ）、（ｂ）、（ｃ）は夫々一枚の映像信号に対するヒストグラムであって、（ａ）は映像信号が適正に露光されている場合の例を示し、（ｂ）及び（ｃ）は、映像信号に黒つぶれや白飛びが発生している場合の例を示す。
【図５】本発明の第１の実施形態にかかる画像処理装置の低周波数成分生成部の概略構成を示すブロック図である。
【図６】本発明の第１の実施形態にかかる画像処理装置における重み付け係数に関する説明図である。
【図７】本発明の第１の実施形態にかかる画像処理装置の画像合成部の概略構成を示すブロック図である。
【図８】本発明の第１の実施形態にかかる画像処理装置における画像合成処理の過程を示すフローチャートである。
【図９】本発明の第２の実施形態にかかる画像処理装置の概略構成を示すブロック図である。
【図１０】本発明の第２の実施形態にかかる画像処理装置の抽出部の概略構成を示すブロック図である。
【図１１】本発明の第２の実施形態にかかる画像処理装置の高周波数成分生成部の概略構成を示すブロック図である。
【図１２】本発明の第２の実施形態にかかる画像処理装置の低周波数成分生成部の概略構成を示すブロック図である。
【図１３】本発明の第２の実施形態にかかる画像処理装置における画像合成処理の過程を示すフローチャートである。
【図１４】本発明の第３の実施形態にかかる画像処理装置の概略構成を示すブロック図である。
【図１５】本発明の第３の実施形態にかかる画像処理装置の特徴量算出部の概略構成を示すブロック図である。
【図１６】本発明の第３の実施形態にかかる画像処理装置の特徴量算出に際して、重み付けを考慮する際の参考図である。
【図１７】本発明の第３の実施形態にかかる画像処理装置の特徴量算出部の他の概略構成を示すブロック図である。
【発明を実施するための形態】
【００１０】
以下、本発明に係る画像処理装置の実施形態について、図面を参照して説明する。
【００１１】
〔第１の実施形態〕
図１は、本発明の第１の実施形態に係る画像処理装置の概略構成を示したブロック図である。
【００１２】
本実施形態にかかる画像処理装置は、図１に示すように、レンズ系１００、絞り１０１、ＡＦモータ１０２、カラーフィルタ１０３、ＣＣＤ１０４、Ａ／Ｄ変換部１０５、バッファ１０６、撮影制御部１０７、画像処理部１２０、圧縮部１１５、出力部１１６、制御部１１７、外部Ｉ／Ｆ部１１８を備えている。
【００１３】
レンズ１００系は絞り１０１を介して被写体の像を結像し、カラーフィルタ１０３を介して撮像素子であるＣＣＤ１０４上に像を結像するように配置されている。ＡＦモータ１０２は、後述する撮影制御部１０７によって駆動制御され、撮影制御部１０７からの制御信号に基づいて、被写体に対してレンズ系１００を合焦させるように駆動される。ＣＣＤ１０４は、レンズ系１００により結像された被写体の像に基づいて電気的な画像情報を生成し、この電気的な画像情報をＡ／Ｄ変換部１０５に出力する。なお、本実施形態においては、ＣＣＤ１０４はＲＧＢ原色系の単板ＣＣＤを用いるものとして説明する。Ａ／Ｄ変換部１０５では、ＣＣＤ１０４で生成された画像情報を画像処理部１２０において所定の処理が可能な離散化されたデジタルデータとしての映像信号に変換し、変換された映像信号を一旦バッファ１０６に記憶し、バッファ１０６から画像処理部１２０へ出力する。以上の処理を繰り返すことにより複数枚の映像信号が取得される。圧縮部１１５は、後述する画像処理部１２０で所定の処理がなされた映像信号を圧縮し、出力部１１６へ出力する。
【００１４】
撮影制御部１０７は、映像信号のＡＦエリア内のコントラスト情報を検出し、コントラストが最大となるように、もしくは、プリ撮影時に映像信号を取得せずに、例えば、図示しない外部赤外線センサを用いて主要被写体との距離を測定し、この距離に応じてＡＦモータ１０２を駆動制御する。また、撮影制御部１０７は、映像信号中の輝度レベルや図示しない輝度センサを用いて入射光量の調整のため絞り１０１およびＣＣＤ１０４の電子シャッター速度などを制御する。撮影制御部１０７による制御は本撮影における撮影回数と同じ回数だけ行われる。すなわち、上記した処理が複数回行われ、撮影された複数枚分の画像の映像信号がバッファ１０６に一旦記憶され、バッファ１０６から映像信号が一枚分ずつ順次画像処理部１２０へ出力される。
【００１５】
制御部１１７は、撮影制御部１１７、後述する画像処理部１２０の信号処理部１０８、変換部１０９、抽出部１１０、低周波数成分生成部１１１、高周波数成分生成部１１２、画像合成部１１３、階調変換部１１４および圧縮部１１５と双方向に接続され、夫々を駆動制御する。外部Ｉ／Ｆ部１１８は、電源スイッチ、シャッターボタン、撮影時の各種モードの切り替えを行うためのインターフェースを備えている。
【００１６】
画像処理部１２０は、信号処理部１０８、周波数信号生成手段としての変換部１０９、抽出手段としての抽出部１１０、低周波映像信号生成手段及び合成低周波信号生成手段としての低周波数成分生成部１１１、高周波映像信号生成手段としての高周波数成分生成部１１２、画像合成手段としての画像合成部１１３、及び階調変換部１１４を備えている。
【００１７】
信号処理部１０８は、制御部１１７の制御に基づきバッファ１０６から入力された単板状態の映像信号を読み込み、補間処理、ホワイトバランスの調整処理、電子ズーム処理、ノイズ抑制処理等の所定の画像処理を行い、各画素ＲＧＢの三板状態の映像信号を生成し、変換部１０９へ出力する。さらに、以下の数１式を用いてＲＧＢ信号をＹＣｂＣｒ信号に変換してもよい。
【００１８】
【数１】
【００１９】
変換部１０９は、入力された映像信号を周波数変換することにより周波数成分に対応する周波数信号を生成するものであり、図２ｂに示すように、バッファ２００，２１７、ＲＯＭ２０１、係数読み込み部２０２、水平ハイパスフィルタ２０３、水平ローパスフィルタ２０４、ダウンサンプル部２０５，２０６，２１１，２１２，２１３，２１４、垂直ハイパスフィルタ２０７，２０９、垂直ローパスフィルタ２０８，２１０、転送部２１５，２１６を備えている。映像信号から周波数信号への変換は、フーリエ変換における処理や多重解像度変換等を用いることが出来るが、本実施形態では、多重解像度変換を用いた例を説明する。
【００２０】
バッファ２００は、信号処理部１０８から転送された映像信号を一旦記憶するものであり、記憶された映像信号を一枚分ずつ水平ハイパスフィルタ部２０３及び水平ローパスフィルタ部２０４へ夫々転送する。係数読み込み部２０２は、制御部１１７の制御によりＲＯＭ２０１にあるフィルタリング処理に用いるハイパスおよびローパス用の係数を読み込む。ハイパスフィルタリングおよびローパスフィルタリングに用いる係数は、例えば、ラプラシアンやガウシアンを用いることができる。また、ウェーブレット変換に用いられるドベシーやハールの係数を用いてもよい。ハイパスフィルタｈおよびローパスフィルタｌの係数は、例えばハールの場合、以下の数２式及び数３式となる。
【００２１】
【数２】
【００２２】
【数３】
【００２３】
上記フィルタ係数は、映像信号の水平方向および垂直方向のフィルタリングの際に用いられる。水平ハイパスフィルタ部２０３は、係数読み込み部２０２から転送されたハイパスフィルタ係数ｈを用いて映像信号の水平方向にフィルタｈを作用させる。フィルタリング処理後の映像信号は、ダウンサンプル部２０５へ転送される。水平ローパスフィルタ部２０４も、同様にローパスフィルタ係数ｌを用いて映像信号の水平方向にフィルタｌを作用させる。フィルタリング処理後の映像信号はダウンサンプル部２０６へ転送される。ダウンサンプル部２０５およびダウンサンプル部２０６はそれぞれフィルタリング処理後の映像信号を水平方向に１/２ダウンサンプリングする。ダウンサンプル部２０５は垂直ハイパスフィルタ部２０７および垂直ローパスフィルタ部２０８へダウンサンプル後の映像信号を転送し、ダウンサンプル部２０６は垂直ハイパスフィルタ部２０９および垂直ローパスフィルタ部２１０へダウンサンプル後の映像信号を転送する。
【００２４】
垂直ハイパスフィルタ部２０７係数読み込み部２０２から転送されたハイパスフィルタ係数ｈを用いて映像信号の垂直方向にフィルタｈを作用させる。フィルタリング処理後の映像信号は、ダウンサンプル部２１１へ転送される。垂直ローパスフィルタ部２０８も、同様にローパスフィルタ係数ｌを用いて映像信号の垂直方向にフィルタｌを作用させる。フィルタリング処理後の映像信号は、ダウンサンプル部２１２へ転送される。同様に、垂直ハイパスフィルタ部２０９および垂直ローパスフィルタ部２１０もそれぞれ垂直方向にフィルタｈおよびｌを作用させ、ダウンサンプル部２１３およびダウンサンプル部２１４へ転送する。
【００２５】
ダウンサンプル部２１１、ダウンサンプル部２１２、ダウンサンプル部２１３およびダウンサンプル部２１４は、それぞれフィルタリング処理後の映像信号を垂直方向に１/２ダウンサンプリングする。ダウンサンプル後の映像信号は転送部２１６へ転送される。
【００２６】
ダウンサンプル部２１４は、転送部２１５へも映像信号を転送する。転送部２１５は制御部１１７の制御によりダウンサンプル後の映像信号をバッファ２００へ転送する。バッファ２００の映像信号、すなわち水平および垂直のローパスのフィルタを作用させた映像信号は、再び水平および垂直のフィルタリング処理が行われる。ダウンサンプル部２１４の映像信号は再び転送部２１５へ転送され同じ処理が繰り返される。
【００２７】
ダウンサンプル部２１４から転送部２１５を介してバッファ２００に転送する処理の回数は制御部１１７の制御により転送部２１５が制御している。この転送回数は撮影者によって映像信号の撮影のたびに決められてもよいし、事前に回数を指定してもよい。
【００２８】
転送部２１６に転送された映像信号はバッファ２１７に転送されそこで一端記憶される。転送部２１５の転送回数が１回以上の場合、バッファ２００から転送部２１６までの処理が再び行われ、その信号はバッファ２１７に記憶される。転送部２１５による転送処理が終了した後、バッファ２１７に記憶された映像信号、すなわち水平および垂直のローパスのフィルタを多重解像度的に作用させた映像信号は抽出部１１０及び低周波数成分生成部１１１に転送される。
【００２９】
抽出部１１０は、変換部１０９から映像信号の周波数成分にかかる周波数信号を受信し、これに基づいて、複数枚分の映像信号から合成画像を得るために最も適した１つの映像信号を選択し、抽出するものである。このため、抽出部１１０は、図３に示すように、バッファ４００、逆変換部４０１、ヒストグラム算出部４０２、評価値算出部４０３、および選択部４０４を備えている。
【００３０】
バッファ４００は、変換部１０９から受信した複数枚分の周波数信号を記憶する。逆変換部４０１は、バッファ４００内の周波数信号に対してフーリエ逆変換や多重解像度逆変換等を行い、実空間における映像信号に逆変換する。ヒストグラム算出部４０２は、逆変換部４０２で逆変換された映像信号を読み込み、これに基づいて、図４に示すようにヒストグラムの算出を行う。算出されたヒストグラムの情報は、評価値算出部４０３へ転送される。評価値算出部４０３は、ヒストグラムの情報を用いて評価値の算出を行う。
【００３１】
図４（ａ）、（ｂ）、（ｃ）はそれぞれ1枚の映像信号に対するヒストグラムを表している。評価値としては例えば、数４式のようにヒストグラムの分散σを用いる。
【００３２】
【数４】
【００３３】
ここでＹｊはｊ番目の画素の輝度値を表し、Ｎは映像信号の総画素数、Ｙ(−)は輝度値の平均値を表す。ここでは輝度値を用いているが、ＲＧＢ信号の場合、Ｇ信号でもよい。映像信号に黒つぶれや白飛びが発生している場合、ヒストグラムは図４(ｂ)および(ｃ)のようにヒストグラムの分散値、すなわち評価値は小さくなる。一方、映像信号が適正に露光されている場合は、ヒストグラムは図４(ａ)のようになり、ヒストグラムの分散値、すなわち評価値は大きくなる。
なお、分散の他にヒストグラムのエントロピー値を評価値として用いてもよく、ヒストグラムのエントロピーＥは数５式で表される。
【００３４】
【数５】
【００３５】
ここで、ｂｉｔは映像信号のビット数、ｆ（Ｙ）は輝度値Ｙにおける頻度を表している。ただし、頻度ｆ（Ｙ）は頻度の合計が１になるように正規化されている。このエントロピーは、ヒストグラムが輝度方向に対して平坦、すなわち、頻度ｆ（Ｙ）が常に一定の時最も大きくなる。従って、図４のヒストグラムの場合、頻度ｆ（Ｙ）がある程度均等に分布している図４(ａ)のヒストグラムのエントロピー、すなわち評価値は最も高くなる。評価値はバッファ４００から転送された複数枚分の映像信号すべてに対して算出され、算出された評価値は選択部４０４に転送される。選択部４０４は評価値算出部４０３から転送された最も高い評価値に対応する周波数成分の信号をバッファ４００から抽出し高周波数成分生成部１１２に転送する。
【００３６】
低周波数成分生成部１１１は、変換部１０９で得られた複数枚分の周波数信号のうち低周波数成分のみを抽出し、これらを逆変換して合成する。すなわち、数枚分の周波数信号から低周波数成分のみの周波数信号を抽出し、低周波数成分のみの周波数信号についてそれぞれ実空間の映像信号に変換して、低周波数成分のみを含む映像信号である低周波映像信号を生成し、変換された低周波映像信号について加算処理を行う。また、この際、複数の低周波映像信号のそれぞれに対する合成の割合を適宜定めることができる。このため、低周波数成分生成部１１は、図５に示すように、バッファ３００、低周波数成分生成部３０１、逆変換部３０２、重み付け係数算出部３０３及び加算部３０４を備えている。
【００３７】
バッファ３００は、変換部１０９から転送された複数枚の周波数信号を記憶し、これを低周波数成分生成部３０１に転送する。低周波数成分生成部３０１は、バッファ３００から１枚ずつ周波数信号を読み込み、読み込まれた周波数信号から、低周波数成分の抽出を行う。周波数信号が、本実施形態の変換部１０９のように多重解像度変換により得られた場合には、水平ローパスフィルタ部２０４および垂直ローパスフィルタ部２１０を最終的に通過した信号を周波数信号の低周波数成分として抽出する。逆変換部３０２は、低周波数成分生成部３０１から転送された低周波数成分の周波数信号をフーリエ逆変換や多重解像度逆変換等を用いて低周波数成分のみを含む実空間の低周波映像信号に変換する。この処理をバッファ３００に記憶されている信号の枚数分行う。
【００３８】
重み付け係数算出部３０３は複数枚の画像の合成割合である重み付け係数αを算出する。図６は、重み付け係数の例を示すグラフである。図６のグラフは、映像信号が２枚ある場合の例であり、重み付け係数αは複数枚の低周波映像信号のうち、１枚目の低周波映像信号を入力信号Ｉ１として、この入力信号Ｉ１に対する関数として表され、低周波映像信号Ｉ２が低周波映像信号Ｉ１より露光量が少ない場合を示している。すなわち、低周波映像信号が飽和する可能性のある閾値Ｔｈより大きな信号値に対しては暗く撮像された低周波映像信号Ｉ２の重みを大きくし、閾値Ｔｈ以下の信号値に対しては適正露光で撮像された低周波映像信号Ｉ１の重みを大きくする。このような重み係数を用いることによって、信号の飽和部を考慮した加算が可能となる。
【００３９】
加算部３０４は、逆変換部３０２から転送された複数枚の低周波映像信号に対して、以下の数６式を用いて、重み付け係数算出部３０３で算出された重み付け係数に基づいて、同じ座標の信号値を合成し、合成低周波映像信号を生成し、この合成低周波映像信号を画像合成部１１３へ出力する。
【００４０】
【数６】
【００４１】
ここで、この数６式は、低周波映像信号が２枚の場合であり、I´は合成後の信号である合成低周波映像信号、Ｉ１、Ｉ２は逆変換部３０２から転送されたそれぞれ１枚目および２枚目の低周波映像信号を表し、（ｘ，ｙ）は低周波映像信号の座標を表す。I１、I２はＲＧＢ信号の各チャンネルの信号を表し、ＹＣｂＣｒ信号でもよい。低周波映像信号が３枚以上である場合には、以下の数７式を用いて合成を行う。
【００４２】
【数７】
ここで、Ｉｉは、ｉ枚目の映像信号、βｉは重み付け係数を示す。
【００４３】
なお、本実施形態においては、複数枚の画像に重み付けをして合成することとしたが、これに限られることはなく、複数枚の画像の合成割合を等しくし単純加算による合成とすることも出来る。
【００４４】
高周波数成分生成部１１２は抽出部１１０から転送された１枚の周波数信号から高周波数成分のみを抽出し、抽出された高周波数成分のみの周波数信号に対して上述した逆変換処理を行い、高周波数成分のみを含む実空間の高周波映像信号に変換し、画像合成部１１３へ転送する。
【００４５】
画像合成部１１３は、高周波数成分生成部１１２の高周波映像信号および低周波数成分生成部１１１にて合成された合成低周波映像信号に対して同じ座標の信号値を加算し、階調変換部１１４へ転送する。高周波映像信号はノイズが含まれている可能性があるため、ノイズ低減の後に加算処理を行うことが好ましい。このため、画像合成部１１３は、バッファ５００，５０１、ノイズ低減部５０２および加算部５０３を備えている。バッファ５００は、高周波数成分生成部１１２から転送された高周波映像信号を一旦記憶し、これをノイズ低減部５０２に転送する。ノイズ低減部５０２は、高周波映像信号に対して平滑化フィルタや、メディアンフィルタ等を用いてノイズを低減する。加算部５０３は、ノイズ低減後の高周波映像信号およびバッファ５０１から転送される合成された合成低周波映像信号との同じ座標における加算処理を行い合成映像信号を生成し、階調変換部１１４へ転送する。
【００４６】
階調変換部１１４は、画像合成部１１３から転送された合成映像信号に対して、ガンマ変換やトーンカーブによる階調変換処理を行い、圧縮部１１５に転送する。
【００４７】
以下、このように構成された本実施形態の画像処理装置における画像合成処理の過程について図８のフローチャートを用いて説明する。
【００４８】
画像処理装置では、外部Ｉ／Ｆ部１１８を介してＩＳＯ感度，露出などの撮影条件を設定した後，図示しないシャッターボタンを半押しにすることでプリ撮影モードに入る。そして、本撮影における撮影回数と同じ回数のプリ撮影が終了すると、外部Ｉ／Ｆ部１１８を介して図示しないシャッターボタンを全押しすることにより本撮影が行われる。本撮影は、撮影制御部１０７にて求められた合焦条件および露光条件に基づき行われ、これらの撮影時の情報は制御部１１７へ転送される。以下、説明の便宜上、本撮影における撮影回数を２回とし、この２回の撮影により入射光量が適正な映像信号Ｓ１と、映像信号Ｓ１に対して入射光量を半分とするなど、入射光量を異ならせた映像信号Ｓ２を得ることとして説明する。
【００４９】
ステップＳ１１では、ＣＣＤ１０４からの映像信号をＲａｗデータとして、ＩＳＯ感度情報や映像信号サイズなどをヘッダー情報として読み込み次のステップＳ２に進む。ステップＳ１２では、レンズ系１００、絞り１０１、カラーフィルタ１０３、ＣＣＤ１０４を介して撮影されたＳ１及びＳ２の映像信号が、Ａ／Ｄ変換部１０５にてデジタルの映像信号へ変換されてバッファ１０６へ入力される。ステップＳ１３では、信号処理部１０８により補間処理、ホワイトバランスの調整処理、Ｙ／Ｃ信号生成処理、電子ズーム処理、ノイズ抑制処理等の信号処理を行い、ステップＳ１４に進む。
【００５０】
ステップＳ１４では、変換部１０９により所定の信号処理がなされたＳ１及びＳ２の映像信号を多重解像度変換することでそれぞれ周波数成分の信号である周波数信号に変換し、ステップＳ１５に進む。ステップＳ１５では、抽出部１１０により、Ｓ１及びＳ２の２枚分の周波数信号に基づいてヒストグラムを生成するなどしていずれの映像信号が画像合成に最も適しているかの評価を行い、画像合成に最も適した１枚分の映像信号にかかる周波数信号を抽出し、この一枚の周波数信号を高周波数成分生成部１１２に出力する。
【００５１】
ステップＳ１７では、高周波数成分生成部１１２により、抽出部１１０から入力された映像信号Ｓ１の１枚分の周波数信号から高周波数成分の信号を抽出し、高周波数成分のみを含む実空間の映像信号に変換し、高周波数成分のみを含む高周波映像信号を生成する。そして、生成された高周波数成分のみを含むＳ１の高周波映像信号を画像合成部１１３へ出力する。
【００５２】
ステップＳ１６では、低周波数成分生成部１１１によりＳ１及びＳ２の周波数成分の信号から低周波数成分を抽出し、これらを夫々実空間の映像信号に変換して、低周波数成分のみを含む低周波映像信号を生成し、変換されたＳ１及びＳ２の低周波映像信号について夫々の重み付けを考慮して加算処理を行い、合成低周波映像信号を生成する。
【００５３】
ステップＳ１８では、画像合成部１１３によりＳ１の高周波映像信号および合成された合成低周波映像信号に対して加算処理、すなわち画像合成を行い合成映像信号を生成する。合成映像信号は階調変換部１１４へ出力され、ステップＳ１９へ進む。ステップＳ１９では、階調変換部１１４により、入力された合成映像信号に対して、所定の階調変換処理を行い、本ルーチンを終了する。なお、階調変換処理がなされた合成映像信号は圧縮部１１５へ出力され、圧縮部１１５において、ＪＰＥＧ圧縮等の圧縮処理を施し、出力部１１６へ出力される。
【００５４】
このように、映像信号のうちブレが目立ちにくい低周波数成分については複数枚の画像について画像合成処理の対象とする一方で、ブレの目立ちやすい高周波数成分については任意の一枚のみを画像合成処理の対象とすることで、ブレのある複数枚の映像信号に対しても二重線等のアーティファクトがないダイナミックレンジの広い合成信号を生成することができる。
【００５５】
〔第２の実施形態〕
以下、本発明の第２の実施形態について図面を参照して説明する。
本実施形態の画像処理装置では、その画像処理部１３０の構成が、上述した第１の実施形態の画像処理装置における画像処理部１２０の構成と異なっている。すなわち、画像処理部１３０では、第１の実施形態のように、映像信号を周波数信号に変換することなく、映像信号から低周波数成分に該当する低周波映像信号を抽出するとともに、映像信号から低周波映像信号との差分を算出することにより高周波映像信号を抽出することで、以降の画像合成処理を行う。以下、第１の実施形態と共通する構成については同一の符号を付すとともにその説明を省略し、異なる構成について主に説明する。
【００５６】
図９に示すように、画像処理部１３０は、信号処理部１０８、低周波映像信号生成手段としての変換部６０９、抽出手段としての抽出部６１０、合成低周波信号生成手段としての低周波数成分生成部６１１、高周波映像信号生成手段としての高周波数成分生成部６１２、画像合成手段としての画像合成部１１３、及び階調変換部１１４を備えている。
【００５７】
変換部６０９は、信号処理部１０８から転送された映像信号に対して平滑化フィルタ等を用いて低周波数成分のみを含む低周波映像信号を生成し、低周波映像信号は低周波数成分生成部６１１及び高周波数成分生成部６１２へ転送する。
【００５８】
抽出部６１０は信号処理部１０８から転送される複数枚の映像信号から、画像合成に際して最も適した所定の１枚を抽出するものであり、図１０に示すように、バッファ４００、ヒストグラム算出部４０２、評価値算出部４０３及び選択部４０４を備えている。なお、第１の実施形態における抽出部１１０の構成とは逆変換部４０１がない点が異なる。バッファ４００は信号処理部１０８から転送された複数枚の映像信号を記憶する。ヒストグラム算出部４０２及び評価値算出部４０３は第１の実施形態におけるヒストグラム算出部４０２及び評価値算出部４０３と同様に、バッファ４００に記憶された映像信号に基づいてヒストグラムの算出を行い、算出されたヒストグラムの情報から評価値の算出を行う。選択部４０４は、評価値に基づいて、バッファ４００から選択された映像信号を１枚抽出する。抽出された１枚の映像信号は高周波数成分生成部６１２へ転送される。
【００５９】
高周波数成分生成部６１２は、抽出部６１０で抽出された１枚の映像信号から低周波映像信号を差し引くことで高周波映像信号を生成するものであり、図１１に示すように、バッファ７００，７０１、及び差分信号算出部７０２を備えている。バッファ７００は変換部６０９から入力される複数枚の低周波の映像信号が記憶される。バッファ７０１は抽出部６１０により入力された１枚の映像信号が記憶される。差分信号算出部７０２は制御部１１７による制御に基づいてバッファ７００から抽出部６１０により抽出された映像信号に相当する低周波映像信号を読み出し、バッファ７０１の１枚の映像信号から低周波映像信号を差し引くことで、すなわち、次の数７式で表されるような各座標（ｘ，ｙ）における差分処理を行うことで高周波映像信号を生成する。
【００６０】
【数８】
【００６１】
ここで、Ｈ（ｘ，ｙ）は差分処理後の高周波映像信号、Ｓ１は抽出部６１０により入力された１枚の映像信号、Ｔ１は抽出部６１０により抽出された映像信号に相当する低周波映像信号を示す。生成された高周波映像信号Ｈ（ｘ，ｙ）は画像合成部１１３に出力される。
【００６２】
低周波数成分生成部６１１は、変換部６０９から転送された複数の低周波映像信号を合成して合成低周波映像信号を生成する。このため、図１２に示すように、バッファ８００、重み付け係数算出部８０１及び加算部８０２を備えている。第１の実施形態における低周波数成分生成部１１１とは低周波数成分抽出部３０１及び逆変換部３０２がない点が異なる。変換部６０９から入力された複数枚の低周波映像信号はバッファ８００に記憶される。加算部８０２は、バッファ８００から出力される低周波映像信号に対して第１の実施形態と同様に単純加算あるいは重み付け加算を行い、低周波映像信号を合成し、合成低周波映像信号を生成する。生成された合成低周波映像信号は画像合成部１１３へ出力される。
【００６３】
画像合成部６１３では、周波数成分生成部６１２の高周波映像信号および低周波数成分生成部６１１にて合成された合成低周波映像信号に対して同じ座標の信号値を加算し、階調変換部１１４へ転送する。なお、高周波数成分の映像信号はノイズが含まれている可能性があるため、ノイズ低減の後に加算処理を行うことが好ましい。
【００６４】
以下、このように構成された本実施形態の画像処理装置における画像合成処理の過程について、図１３のフローチャートを用いて説明する。
【００６５】
画像処理装置では、外部Ｉ／Ｆ部１１８を介してＩＳＯ感度，露出などの撮影条件を設定した後，図示しないシャッターボタンを半押しにすることでプリ撮影モードに入る。そして、本撮影における撮影回数と同じ回数のプリ撮影が終了すると、外部Ｉ／Ｆ部１１８を介して図示しないシャッターボタンを全押しすることにより本撮影が行われる。本撮影は、撮影制御部１０７にて求められた合焦条件および露光条件に基づき行われ、これらの撮影時の情報は制御部１１７へ転送される。以下、説明の便宜上、本撮影における撮影回数を２回とし、この２回の撮影により入射光量が適正な映像信号Ｓ１と、映像信号Ｓ１に対して入射光量を半分とするなど、入射光量を異ならせた映像信号Ｓ２を得ていることとして説明する。
【００６６】
ステップＳ２１では、ＣＣＤ１０４からの映像信号をＲａｗデータとして、ＩＳＯ感度情報や映像信号サイズなどをヘッダー情報として読み込み次のステップＳ２２に進む。ステップＳ２２では、レンズ系１００、絞り１０１、カラーフィルタ１０３、ＣＣＤ１０４を介して撮影されたＳ１及びＳ２の映像信号が、Ａ／Ｄ変換部１０５にてデジタルの映像信号へ変換されてバッファ１０６へ入力される。ステップＳ２３では、信号処理部１０８により補間処理、ホワイトバランスの調整処理、Ｙ／Ｃ信号生成処理、電子ズーム処理、ノイズ抑制処理等の信号処理を行い、ステップＳ２４に進む。
【００６７】
Ｓ２４では、変換部６０９にて映像信号から低周波の映像信号を生成し、生成した低周波の映像信号を高周波数成分生成部６１２へ出力してステップＳ２５に進む。ステップＳ２５では、抽出部６１０により、Ｓ１及びＳ２の２枚分の周波数信号に基づいてヒストグラムを生成するなどしていずれの映像信号が画像合成に最も適しているかの評価を行い、画像合成に最も適したＳ１の１枚分の映像信号にかかる周波数信号を抽出し、この一枚の周波数信号を高周波数成分生成部６１２に出力する。ステップＳ２７では、高周波数成分生成部６１２により、１枚の映像信号とこの１枚の映像信号に相当する低周波映像信号とから差分処理を行うことにより高周波映像信号を生成する。
【００６８】
ステップＳ２６では、低周波数成分生成部６１１によりＳ１及びＳ２の低周波映像信号の加算処理を行い、合成低周波映像信号を生成する。ステップＳ２８では、画像合成部１１３によりＳ１の高周波映像信号および合成された合成低周波映像信号との加算処理を行うことで合成映像信号を生成し、合成された合成映像信号を階調変換部１１４に出力する。ステップＳ２９で、階調変換部１１４が、入力された合成映像信号に対して、所定の階調変換処理を行い、本ルーチンを終了する。なお、階調変換処理がなされた合成映像信号は圧縮部１１５へ出力され、圧縮部１１５において、ＪＰＥＧ圧縮等の圧縮処理を施し、出力部１１６へ出力される。
【００６９】
このように、第１の実施形態と同様に、映像信号のうちブレが目立ちにくい低周波数成分のみについては複数枚の画像について合成処理の対象とする一方で、ブレの目立ちやすい高周波数成分について任意の一枚のみを合成処理の対象とすることで、ブレのある複数枚の映像信号に対しても二重線等のアーティファクトがないダイナミックレンジの広い合成信号を生成することができる。また、低周波信号の抽出を実空間で行うことにより高速な映像信号処理が可能となる。
【００７０】
〔第３の実施形態〕
以下、本発明の第３の実施形態について図面を参照して説明する。
本実施形態の画像処理装置では、その画像処理部１４０の構成が、上述した第１の実施形態及び第２の実施形態の画像処理装置における画像処理部１２０，１３０の構成と異なっている。すなわち、画像処理部１４０は、特徴量算出部９００を備えており、この特徴量算出部９００が信号処理部１０８により所定の信号処理がなされた映像信号の特徴量、例えば、エッジ量や周波数成分などを算出する。そして、抽出部１１０で、特徴量算出部９００により得られた特徴量に基づいて、複数枚分の映像信号から合成画像を得るために最も適した１つの映像信号を選択し、抽出してその後の処理を行う。
【００７１】
また、本実施形態は、第２の実施形態と同様に、映像信号を周波数信号に変換することなく、映像信号から低周波数成分に該当する低周波映像信号を抽出するとともに、映像信号から低周波映像信号との差分を算出することにより高周波映像信号を抽出することで、以降の画像合成処理を行う例について説明する。以下、第１の実施形態及び第２の実施形態と共通する構成については同一の符号を付すとともにその説明を省略し、異なる構成について主に説明する。
【００７２】
図１４に示すように、画像処理部１４０は、信号処理部１０８、特徴量抽出手段としての特徴量算出部９００、低周波映像信号生成手段としての変換部９０９、抽出手段としての抽出部９１０、合成低周波信号生成手段としての低周波数成分生成部６１１、高周波映像信号生成手段としての高周波数成分生成部６１２、画像合成手段としての画像合成部１１３、及び階調変換部１１４を備えている。
【００７３】
変換部９０９ は信号処理部１０８から転送された映像信号に対してローパスフィルタ等の平滑化フィルタを用いた公知のフィルタリング処理を行い、低周波数成分のみを含む低周波映像信号を生成する。生成された低周波映像信号は低周波数成分生成部６１１及び高周波数成分生成部６１２へ転送される。
【００７４】
特徴量算出部９００は、特徴量として複数の映像信号の各々のエッジ量を算出するものであり、図１５に示すように特徴量算出部９００は、バッファ２９０、局所領域抽出部２９１、エッジ量算出部２９２、総エッジ量算出部２９３及び重み付け係数算出部２９４を備えている。
【００７５】
バッファ２９０は、信号処理部１０８から転送された映像信号を一時的に保存し、局所領域抽出部２９１へ映像信号を出力する。局所領域抽出部２９１は、バッファ２９０から転送された映像信号に対して任意の注目画素を中心とした局所領域、例えば７×７画素領域を局所領域として抽出する。エッジ量算出部２９２では、局所領域抽出部２９１により抽出された局所領域の信号に対して、公知のＳｏｂｅｌフィルタを用いたフィルタリング処理を行い任意の注目画素のエッジ量を算出する。エッジ量の算出は映像信号の全画素に対して行われる。総エッジ量算出部２９３は、エッジ量算出部２９２から転送される画素毎のエッジ量を用いて映像信号全体のエッジ量を算出する。エッジ量算出には数１式における輝度信号Ｙ又はＧ信号を用いてもよい。映像信号全体のエッジ量は各画素のエッジ量を単純に加算してもよいし、以下の数９式のように、重み付け係数算出部２９４から転送される重み付け係数を用いて加算してもよい。
【００７６】
【数９】
【００７７】
ここで，Ｏｉはｉ枚目の映像信号のエッジ量を表し、Ｅｉ（ｘ，ｙ）はｉ枚目の映像信号の座標（ｘ，ｙ）におけるエッジ量、Ｗｉ（Ｉ，ｘ，ｙ）はｉ枚目の映像信号の画素値Ｉおよび座標（ｘ，ｙ）における重み付け係数を表している。重み付け係数は映像信号の被写体の位置や明るさによって変化し、例えば、撮影されたシーンが図１６のような場合、明るい領域を重視する場合はＡの領域の重みが大きくなり，暗い領域を重視する場合，ＢおよびＣの領域の重みが大きくなる。また、被写体である人間を重視する場合、Ｂの領域の重みが大きくなる。明るい領域および暗い領域の判別は映像信号の画素値の情報を用いて判別し，人間を判別には公知の顔認識の技術を使い判別を行う。総エッジ量算出部２９３にて算出された映像信号のエッジ量は抽出部９１０に転送される。
【００７８】
抽出部９１０は信号処理部１０８から転送される複数枚の映像信号から、画像合成に際して最も適した所定の１枚を抽出するものであり、特徴量算出部９００から転送されたエッジ量の値が一番大きい映像信号を画像合成に最も適した映像信号として抽出し、抽出した映像信号を高周波数成分生成部１１２に転送する。
【００７９】
図１６の例では、明るい領域Ａを重視する場合は領域Ａのエッジ量が一番大きい映像信号が抽出され，暗い領域Ｂおよび領域Ｃを重視する場合は領域Ｂおよび領域Ｃのエッジ量が一番大きい映像信号が抽出される。これらの領域が白飛びや黒つぶれしているような場合はエッジ量が小さくなるため、これらの領域が適切な明るさで撮像されている映像信号が１枚抽出される。
【００８０】
特徴量算出部は、図１７に示すような構成とすることもできる。図１７における特徴量算出部９２０は、特徴量として複数の映像信号の各々の周波数成分を算出するものであり、バッファ３９０、分割部３９１、周波数算出部３９２、総周波数算出部３９３及び重み付け係数算出部３９４を備えている。
【００８１】
バッファ３９０には、信号処理部１０８から映像信号が転送される。分割部３９１は、バッファ３９０から転送された映像信号の輝度信号を、その明るさに応じて複数のグループに分割する。映像信号に含まれる各画素は、被写体の位置等に応じて輝度信号が異なり、何れの被写体又は領域を重視するかは映像信号によって異なる。このため、輝度信号を明るさに応じて複数のグループに分割することで、例えば、グループ毎に重み付けを行ったり、後の画像合成処理に使用しない領域と使用する領域とを区別することができる。具体的には、輝度信号の複数のグループへの分割は、例えば、以下の数１０式のように行う。
【００８２】
【数１０】
【００８３】
ここでＹｍｉｎ，Ｙｍａｘは輝度信号の最小値，最大値をそれぞれ表し，Ｄは輝度信号の分割数、ｊは０−Ｄ−１の整数を表す。Ｄ個のグループに分割された信号は周波数算出部３９２に転送される。
【００８４】
周波数算出部３９２は、上記Ｄ個のグループごとに公知のフーリエ変換を行い周波数信号に変換する。総周波数算出部３９３は重み付け係数算出部３９４から転送される重み付け係数を用いて、以下の数１１式のように映像信号全体の周波数成分を算出する。
【００８５】
【数１１】
【００８６】
ここで，Ｐｉはｉ枚目の映像信号の周波数成分を表し，Ｆｉ，ｊ（ｕ，ｖ）はｉ枚目の映像信号のＹｊ（ｘ，ｙ）に対する周波数成分を表し、Ｗｉ，ｊはｉ枚目の映像信号のｊ番目のグループの輝度信号における重み付け係数を表している。重み付け係数は、映像信号の被写体の位置や明るさによって異ならせることができ、すなわち、先に分割したＤ個のグループそれぞれに対して、そのグループの明るさに応じて重み付け係数を定めることができる。次に、総周波数算出部３９３は、Ｐｉ（ｕ，ｖ）の絶対値を周波数空間の座標（ｕ，ｖ）において積分した値を抽出部９１０に転送する。抽出部９１０は特徴量算出部９２０から転送された積分値が一番大きい映像信号を画像合成に最も適した１枚として抽出し、抽出した映像信号を高周波数成分生成部１１２に転送する。
【００８７】
以下、このように構成された本実施形態の画像処理装置における画像合成処理の過程について説明する。本実施形態における画像合成処理の過程は、概ね第２の実施形態における処理の過程と同様であるので、以下、第２の実施形態におけるフローチャートである図１３に基づいて説明する。
【００８８】
画像処理装置では、外部Ｉ／Ｆ部１１８を介してＩＳＯ感度，露出などの撮影条件を設定した後，図示しないシャッターボタンを半押しにすることでプリ撮影モードに入る。そして、本撮影における撮影回数と同じ回数のプリ撮影が終了すると、外部Ｉ／Ｆ部１１８を介して図示しないシャッターボタンを全押しすることにより本撮影が行われる。本撮影は、撮影制御部１０７にて求められた合焦条件および露光条件に基づき行われ、これらの撮影時の情報は制御部１１７へ転送される。以下、説明の便宜上、本撮影における撮影回数を２回とし、この２回の撮影により入射光量が適正な映像信号Ｓ１と、映像信号Ｓ１に対して入射光量を半分とするなど、入射光量を異ならせた映像信号Ｓ２を得ることとして説明する。
【００８９】
ステップＳ２１では、ＣＣＤ１０４からの映像信号をＲａｗデータとして、ＩＳＯ感度情報や映像信号サイズなどをヘッダー情報として読み込み次のステップＳ２２に進む。ステップＳ２２では、レンズ系１００、絞り１０１、カラーフィルタ１０３、ＣＣＤ１０４を介して撮影されたＳ１及びＳ２の映像信号が、Ａ／Ｄ変換部１０５にてデジタルの映像信号へ変換されてバッファ１０６へ入力される。ステップＳ２３では、信号処理部１０８により補間処理、ホワイトバランスの調整処理、Ｙ／Ｃ信号生成処理、電子ズーム処理、ノイズ抑制処理等の信号処理を行い、ステップＳ２４に進む。
【００９０】
ステップＳ２４では、映像信号から低周波の映像信号を生成し、生成した低周波の映像信号を高周波数成分生成部６１２へ出力してステップＳ２５に進む。ステップＳ２５では、特徴量算出部が図１５に示す構成である場合には、特徴量算出部９００により、信号処理部１０８から映像信号Ｓ１及びＳ２のエッジ量を算出し、算出した結果を抽出部９１０に出力する。抽出部９１０では、Ｓ１及びＳ２の２枚の映像信号のエッジ量のうち、何れのエッジ量が大きいかを判断する。ここで、Ｓ１がＳ２よりもエッジ量が大きい映像信号であったとすると、抽出部９１０は、エッジ量が大きい映像信号Ｓ１を画像合成に最も適した１枚分の映像信号として抽出し、この一枚の映像信号Ｓ１を高周波数成分生成部１１２に出力する。
【００９１】
また、特徴量算出部が図１７に示す構成である場合には、特徴量算出部９２０により、映像信号Ｓ１及びＳ２の周波数成分を算出し、さらにこの周波数成分の絶対値を周波数空間の座標における積分値を抽出部９１０に出力する。抽出部９１０では、Ｓ１及びＳ２の映像信号の積分値のうち、何れの積分値が大きいかを判断し、大きい方の映像信号を画像合成に最も適した映像信号として抽出する。すなわち、Ｓ１がＳ２よりも積分値が大きい映像信号であったとすると、積分値が大きい映像信号Ｓ１を画像合成に最も適した映像信号として抽出し、この映像信号Ｓ１を高周波数成分生成部１１２に出力する。
【００９２】
ステップＳ２７では、高周波数成分生成部６１２により、１枚の映像信号とこの１枚の映像信号に相当する低周波映像信号とから差分処理を行うことにより高周波映像信号を生成する。ステップＳ２６では、低周波数成分生成部６１１によりＳ１及びＳ２の低周波映像信号の加算処理を行い、合成低周波映像信号を生成する。ステップＳ２８では、画像合成部１１３によりＳ１の高周波映像信号および合成された合成低周波映像信号との加算処理を行うことで合成映像信号を生成し、合成された合成映像信号を階調変換部１１４に出力する。ステップＳ２９で、階調変換部１１４が、入力された合成映像信号に対して、所定の階調変換処理を行い、本ルーチンを終了する。なお、階調変換処理がなされた合成映像信号は圧縮部１１５へ出力され、圧縮部１１５において、ＪＰＥＧ圧縮等の圧縮処理を施し、出力部１１６へ出力される。
【００９３】
このように、第１の実施形態及び第２の実施形態と同様に、映像信号のうちブレが目立ちにくい低周波数成分のみについては複数枚の画像について合成処理の対象とする一方で、ブレの目立ちやすい高周波数成分について任意の一枚のみを合成処理の対象とすることで、ブレのある複数枚の映像信号に対しても二重線等のアーティファクトがないダイナミックレンジの広い合成信号を生成することができる。また、低周波信号の抽出を実空間で行うことにより高速な映像信号処理が可能となる。
【００９４】
このように、映像信号のうちブレが目立ちにくい低周波数成分については複数枚の画像について画像合成処理の対象とする一方で、ブレの目立ちやすい高周波数成分については任意の一枚のみを画像合成処理の対象とすることで、ブレのある複数枚の映像信号に対しても二重線等のアーティファクトがないダイナミックレンジの広い合成信号を生成することができる。
【００９５】
なお、上述した実施形態では、ハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。この場合、画像処理装置は、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を備えている。そして、ＣＰＵが上記記憶媒体に記録されているプログラムを読み出して、情報の加工・演算処理を実行することにより、上述の画像処理装置と同様の処理を実現させる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【符号の説明】
【００９６】
１０９ 変換部
１１０ 抽出部
１１１ 低周波数成分生成部
１１２ 高周波数成分生成部
１１３ 画像合成部
２９２ エッジ量算出部
３０１ 低周波数成分抽出部
３０２ 逆変換部
３０３ 重み付け係数算出部
３０４ 加算部
３９２ 周波数算出部
４０１ 逆変換部
４０２ ヒストグラム算出部
４０３ 評価値算出部
４０４ 選択部
５０２ ノイズ低減部
５０３ 加算部
６０９ 変換部
６１０ 抽出部
６１１ 低周波数成分生成部
６１２ 高周波数成分生成部
６１３ 画像合成部
７０２ 差分信号算出部
８０１ 重み付け係数算出部
８０２ 加算部
９００ 特徴量算出部
９０９ 変換部
９１０ 抽出部
【技術分野】
【０００１】
本発明は、映像信号のダイナミックレンジを拡大する画像処理装置に関する。
【背景技術】
【０００２】
一般に、電子カメラに用いられるＣＣＤイメージセンサやＣＭＯＳ型イメージセンサ等種々の固体撮像素子のダイナミックレンジは、被写体の持つダイナミックレンジに比べて狭く、高輝度部においては白飛びが発生したり、低輝度部においては黒つぶれが発生したりすることがあった。このため、露光量の異なる複数枚の映像信号を１枚の映像信号に合成することで、ダイナミックレンジを拡大させた画像を生成する手法が提案されている。しかしながら、複数枚の画像を撮影して合成画像を得る場合には、撮影時にカメラぶれや被写体ぶれ等が原因で合成時の映像信号に二重像等のアーティファクトが起きるという問題があった。
特開平７−７５０２６号公報（特許文献１）には、２枚の画像の第１の明度値および第２の明度値に対する重みを何れか一方を基準にして定めることにより、カメラの特性変化、照明強度の変動及び撮像素子上の位置ずれがある場合でも適切な広ダイナミックレンジ画像を生成させる手法が開示されている。また、特開平５−７３３６号公報（特許文献２）では複数枚の撮像時の経時的な位置ずれに対応して、複数の画像に対して座標変換を行った後に合成を行う手法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平７−７５０２６号公報
【特許文献２】特開平５−７３３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記した特許文献１及び特許文献２のいずれの手法においても複数枚の映像信号間の複雑な位置ずれ、例えば、三次元的な動きに起因した位置ずれ等に関しては完全に位置あわせを行うことは困難である。
【０００５】
本発明は、上記問題に鑑みてなされたもので、複数枚の画像を撮像して合成画像を得る場合において、例えば、複数枚の画像に三次元的な動きに起因した位置ずれが存在する場合であっても、ダイナミックレンジを拡大させ画質を向上させることが可能な画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明は以下の手段を採用する。
本発明は、露光量の異なる複数の映像信号を合成することでダイナミックレンジを拡大する画像処理装置であって、前記複数の映像信号のそれぞれから低周波数成分を抽出して複数の低周波映像信号を生成する低周波映像信号生成手段と、前記複数の低周波映像信号を合成し、合成低周波映像信号を生成する合成低周波信号生成手段と、前記複数の映像信号から第一の映像信号を抽出する抽出手段と、前記第一の映像信号から高周波数成分を抽出して高周波映像信号を生成する高周波映像信号生成手段と、前記合成低周波映像信号と前記高周波映像信号とを合成することにより合成映像信号を生成する画像合成手段と、を備えたことを特徴とする画像処理装置を提供する。
【０００７】
また、本発明は、露光量の異なる複数の映像信号を合成することでダイナミックレンジを拡大する画像処理プログラムであって、前記複数の映像信号のそれぞれから低周波数成分を抽出して複数の低周波映像信号を生成するステップと、前記複数の低周波映像信号を合成し、合成低周波映像信号を生成するステップと、前記複数の映像信号から第一の映像信号を抽出するステップと、前記第一の映像信号から高周波数成分を抽出して高周波映像信号を生成するステップと、前記合成低周波映像信号と前記高周波映像信号とを合成することにより合成映像信号を生成するステップと、をコンピュータに実行させる画像処理プログラムを提供する。
【発明の効果】
【０００８】
このように、映像信号のうち位置ずれが目立ちにくい低周波数成分については複数枚の画像について画像合成処理の対象とする一方で、位置ずれの目立ちやすい高周波数成分については任意の一枚のみを画像合成処理の対象とすることで、ブレのある複数枚の映像信号に対しても二重線等のアーティファクトがないダイナミックレンジの広い合成信号を生成することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１の実施形態にかかる画像処理装置の概略構成を示すブロック図である。
【図２】本発明の第１の実施形態にかかる画像処理装置の変換部の概略構成を示すブロック図である。
【図３】本発明の第１の実施形態にかかる画像処理装置の抽出部の概略構成を示すブロック図である。
【図４】本発明の第１の実施形態にかかる画像処理装置の抽出部において生成されるヒストグラムの例を示す図であり、（ａ）、（ｂ）、（ｃ）は夫々一枚の映像信号に対するヒストグラムであって、（ａ）は映像信号が適正に露光されている場合の例を示し、（ｂ）及び（ｃ）は、映像信号に黒つぶれや白飛びが発生している場合の例を示す。
【図５】本発明の第１の実施形態にかかる画像処理装置の低周波数成分生成部の概略構成を示すブロック図である。
【図６】本発明の第１の実施形態にかかる画像処理装置における重み付け係数に関する説明図である。
【図７】本発明の第１の実施形態にかかる画像処理装置の画像合成部の概略構成を示すブロック図である。
【図８】本発明の第１の実施形態にかかる画像処理装置における画像合成処理の過程を示すフローチャートである。
【図９】本発明の第２の実施形態にかかる画像処理装置の概略構成を示すブロック図である。
【図１０】本発明の第２の実施形態にかかる画像処理装置の抽出部の概略構成を示すブロック図である。
【図１１】本発明の第２の実施形態にかかる画像処理装置の高周波数成分生成部の概略構成を示すブロック図である。
【図１２】本発明の第２の実施形態にかかる画像処理装置の低周波数成分生成部の概略構成を示すブロック図である。
【図１３】本発明の第２の実施形態にかかる画像処理装置における画像合成処理の過程を示すフローチャートである。
【図１４】本発明の第３の実施形態にかかる画像処理装置の概略構成を示すブロック図である。
【図１５】本発明の第３の実施形態にかかる画像処理装置の特徴量算出部の概略構成を示すブロック図である。
【図１６】本発明の第３の実施形態にかかる画像処理装置の特徴量算出に際して、重み付けを考慮する際の参考図である。
【図１７】本発明の第３の実施形態にかかる画像処理装置の特徴量算出部の他の概略構成を示すブロック図である。
【発明を実施するための形態】
【００１０】
以下、本発明に係る画像処理装置の実施形態について、図面を参照して説明する。
【００１１】
〔第１の実施形態〕
図１は、本発明の第１の実施形態に係る画像処理装置の概略構成を示したブロック図である。
【００１２】
本実施形態にかかる画像処理装置は、図１に示すように、レンズ系１００、絞り１０１、ＡＦモータ１０２、カラーフィルタ１０３、ＣＣＤ１０４、Ａ／Ｄ変換部１０５、バッファ１０６、撮影制御部１０７、画像処理部１２０、圧縮部１１５、出力部１１６、制御部１１７、外部Ｉ／Ｆ部１１８を備えている。
【００１３】
レンズ１００系は絞り１０１を介して被写体の像を結像し、カラーフィルタ１０３を介して撮像素子であるＣＣＤ１０４上に像を結像するように配置されている。ＡＦモータ１０２は、後述する撮影制御部１０７によって駆動制御され、撮影制御部１０７からの制御信号に基づいて、被写体に対してレンズ系１００を合焦させるように駆動される。ＣＣＤ１０４は、レンズ系１００により結像された被写体の像に基づいて電気的な画像情報を生成し、この電気的な画像情報をＡ／Ｄ変換部１０５に出力する。なお、本実施形態においては、ＣＣＤ１０４はＲＧＢ原色系の単板ＣＣＤを用いるものとして説明する。Ａ／Ｄ変換部１０５では、ＣＣＤ１０４で生成された画像情報を画像処理部１２０において所定の処理が可能な離散化されたデジタルデータとしての映像信号に変換し、変換された映像信号を一旦バッファ１０６に記憶し、バッファ１０６から画像処理部１２０へ出力する。以上の処理を繰り返すことにより複数枚の映像信号が取得される。圧縮部１１５は、後述する画像処理部１２０で所定の処理がなされた映像信号を圧縮し、出力部１１６へ出力する。
【００１４】
撮影制御部１０７は、映像信号のＡＦエリア内のコントラスト情報を検出し、コントラストが最大となるように、もしくは、プリ撮影時に映像信号を取得せずに、例えば、図示しない外部赤外線センサを用いて主要被写体との距離を測定し、この距離に応じてＡＦモータ１０２を駆動制御する。また、撮影制御部１０７は、映像信号中の輝度レベルや図示しない輝度センサを用いて入射光量の調整のため絞り１０１およびＣＣＤ１０４の電子シャッター速度などを制御する。撮影制御部１０７による制御は本撮影における撮影回数と同じ回数だけ行われる。すなわち、上記した処理が複数回行われ、撮影された複数枚分の画像の映像信号がバッファ１０６に一旦記憶され、バッファ１０６から映像信号が一枚分ずつ順次画像処理部１２０へ出力される。
【００１５】
制御部１１７は、撮影制御部１１７、後述する画像処理部１２０の信号処理部１０８、変換部１０９、抽出部１１０、低周波数成分生成部１１１、高周波数成分生成部１１２、画像合成部１１３、階調変換部１１４および圧縮部１１５と双方向に接続され、夫々を駆動制御する。外部Ｉ／Ｆ部１１８は、電源スイッチ、シャッターボタン、撮影時の各種モードの切り替えを行うためのインターフェースを備えている。
【００１６】
画像処理部１２０は、信号処理部１０８、周波数信号生成手段としての変換部１０９、抽出手段としての抽出部１１０、低周波映像信号生成手段及び合成低周波信号生成手段としての低周波数成分生成部１１１、高周波映像信号生成手段としての高周波数成分生成部１１２、画像合成手段としての画像合成部１１３、及び階調変換部１１４を備えている。
【００１７】
信号処理部１０８は、制御部１１７の制御に基づきバッファ１０６から入力された単板状態の映像信号を読み込み、補間処理、ホワイトバランスの調整処理、電子ズーム処理、ノイズ抑制処理等の所定の画像処理を行い、各画素ＲＧＢの三板状態の映像信号を生成し、変換部１０９へ出力する。さらに、以下の数１式を用いてＲＧＢ信号をＹＣｂＣｒ信号に変換してもよい。
【００１８】
【数１】
【００１９】
変換部１０９は、入力された映像信号を周波数変換することにより周波数成分に対応する周波数信号を生成するものであり、図２ｂに示すように、バッファ２００，２１７、ＲＯＭ２０１、係数読み込み部２０２、水平ハイパスフィルタ２０３、水平ローパスフィルタ２０４、ダウンサンプル部２０５，２０６，２１１，２１２，２１３，２１４、垂直ハイパスフィルタ２０７，２０９、垂直ローパスフィルタ２０８，２１０、転送部２１５，２１６を備えている。映像信号から周波数信号への変換は、フーリエ変換における処理や多重解像度変換等を用いることが出来るが、本実施形態では、多重解像度変換を用いた例を説明する。
【００２０】
バッファ２００は、信号処理部１０８から転送された映像信号を一旦記憶するものであり、記憶された映像信号を一枚分ずつ水平ハイパスフィルタ部２０３及び水平ローパスフィルタ部２０４へ夫々転送する。係数読み込み部２０２は、制御部１１７の制御によりＲＯＭ２０１にあるフィルタリング処理に用いるハイパスおよびローパス用の係数を読み込む。ハイパスフィルタリングおよびローパスフィルタリングに用いる係数は、例えば、ラプラシアンやガウシアンを用いることができる。また、ウェーブレット変換に用いられるドベシーやハールの係数を用いてもよい。ハイパスフィルタｈおよびローパスフィルタｌの係数は、例えばハールの場合、以下の数２式及び数３式となる。
【００２１】
【数２】
【００２２】
【数３】
【００２３】
上記フィルタ係数は、映像信号の水平方向および垂直方向のフィルタリングの際に用いられる。水平ハイパスフィルタ部２０３は、係数読み込み部２０２から転送されたハイパスフィルタ係数ｈを用いて映像信号の水平方向にフィルタｈを作用させる。フィルタリング処理後の映像信号は、ダウンサンプル部２０５へ転送される。水平ローパスフィルタ部２０４も、同様にローパスフィルタ係数ｌを用いて映像信号の水平方向にフィルタｌを作用させる。フィルタリング処理後の映像信号はダウンサンプル部２０６へ転送される。ダウンサンプル部２０５およびダウンサンプル部２０６はそれぞれフィルタリング処理後の映像信号を水平方向に１/２ダウンサンプリングする。ダウンサンプル部２０５は垂直ハイパスフィルタ部２０７および垂直ローパスフィルタ部２０８へダウンサンプル後の映像信号を転送し、ダウンサンプル部２０６は垂直ハイパスフィルタ部２０９および垂直ローパスフィルタ部２１０へダウンサンプル後の映像信号を転送する。
【００２４】
垂直ハイパスフィルタ部２０７係数読み込み部２０２から転送されたハイパスフィルタ係数ｈを用いて映像信号の垂直方向にフィルタｈを作用させる。フィルタリング処理後の映像信号は、ダウンサンプル部２１１へ転送される。垂直ローパスフィルタ部２０８も、同様にローパスフィルタ係数ｌを用いて映像信号の垂直方向にフィルタｌを作用させる。フィルタリング処理後の映像信号は、ダウンサンプル部２１２へ転送される。同様に、垂直ハイパスフィルタ部２０９および垂直ローパスフィルタ部２１０もそれぞれ垂直方向にフィルタｈおよびｌを作用させ、ダウンサンプル部２１３およびダウンサンプル部２１４へ転送する。
【００２５】
ダウンサンプル部２１１、ダウンサンプル部２１２、ダウンサンプル部２１３およびダウンサンプル部２１４は、それぞれフィルタリング処理後の映像信号を垂直方向に１/２ダウンサンプリングする。ダウンサンプル後の映像信号は転送部２１６へ転送される。
【００２６】
ダウンサンプル部２１４は、転送部２１５へも映像信号を転送する。転送部２１５は制御部１１７の制御によりダウンサンプル後の映像信号をバッファ２００へ転送する。バッファ２００の映像信号、すなわち水平および垂直のローパスのフィルタを作用させた映像信号は、再び水平および垂直のフィルタリング処理が行われる。ダウンサンプル部２１４の映像信号は再び転送部２１５へ転送され同じ処理が繰り返される。
【００２７】
ダウンサンプル部２１４から転送部２１５を介してバッファ２００に転送する処理の回数は制御部１１７の制御により転送部２１５が制御している。この転送回数は撮影者によって映像信号の撮影のたびに決められてもよいし、事前に回数を指定してもよい。
【００２８】
転送部２１６に転送された映像信号はバッファ２１７に転送されそこで一端記憶される。転送部２１５の転送回数が１回以上の場合、バッファ２００から転送部２１６までの処理が再び行われ、その信号はバッファ２１７に記憶される。転送部２１５による転送処理が終了した後、バッファ２１７に記憶された映像信号、すなわち水平および垂直のローパスのフィルタを多重解像度的に作用させた映像信号は抽出部１１０及び低周波数成分生成部１１１に転送される。
【００２９】
抽出部１１０は、変換部１０９から映像信号の周波数成分にかかる周波数信号を受信し、これに基づいて、複数枚分の映像信号から合成画像を得るために最も適した１つの映像信号を選択し、抽出するものである。このため、抽出部１１０は、図３に示すように、バッファ４００、逆変換部４０１、ヒストグラム算出部４０２、評価値算出部４０３、および選択部４０４を備えている。
【００３０】
バッファ４００は、変換部１０９から受信した複数枚分の周波数信号を記憶する。逆変換部４０１は、バッファ４００内の周波数信号に対してフーリエ逆変換や多重解像度逆変換等を行い、実空間における映像信号に逆変換する。ヒストグラム算出部４０２は、逆変換部４０２で逆変換された映像信号を読み込み、これに基づいて、図４に示すようにヒストグラムの算出を行う。算出されたヒストグラムの情報は、評価値算出部４０３へ転送される。評価値算出部４０３は、ヒストグラムの情報を用いて評価値の算出を行う。
【００３１】
図４（ａ）、（ｂ）、（ｃ）はそれぞれ1枚の映像信号に対するヒストグラムを表している。評価値としては例えば、数４式のようにヒストグラムの分散σを用いる。
【００３２】
【数４】
【００３３】
ここでＹｊはｊ番目の画素の輝度値を表し、Ｎは映像信号の総画素数、Ｙ(−)は輝度値の平均値を表す。ここでは輝度値を用いているが、ＲＧＢ信号の場合、Ｇ信号でもよい。映像信号に黒つぶれや白飛びが発生している場合、ヒストグラムは図４(ｂ)および(ｃ)のようにヒストグラムの分散値、すなわち評価値は小さくなる。一方、映像信号が適正に露光されている場合は、ヒストグラムは図４(ａ)のようになり、ヒストグラムの分散値、すなわち評価値は大きくなる。
なお、分散の他にヒストグラムのエントロピー値を評価値として用いてもよく、ヒストグラムのエントロピーＥは数５式で表される。
【００３４】
【数５】
【００３５】
ここで、ｂｉｔは映像信号のビット数、ｆ（Ｙ）は輝度値Ｙにおける頻度を表している。ただし、頻度ｆ（Ｙ）は頻度の合計が１になるように正規化されている。このエントロピーは、ヒストグラムが輝度方向に対して平坦、すなわち、頻度ｆ（Ｙ）が常に一定の時最も大きくなる。従って、図４のヒストグラムの場合、頻度ｆ（Ｙ）がある程度均等に分布している図４(ａ)のヒストグラムのエントロピー、すなわち評価値は最も高くなる。評価値はバッファ４００から転送された複数枚分の映像信号すべてに対して算出され、算出された評価値は選択部４０４に転送される。選択部４０４は評価値算出部４０３から転送された最も高い評価値に対応する周波数成分の信号をバッファ４００から抽出し高周波数成分生成部１１２に転送する。
【００３６】
低周波数成分生成部１１１は、変換部１０９で得られた複数枚分の周波数信号のうち低周波数成分のみを抽出し、これらを逆変換して合成する。すなわち、数枚分の周波数信号から低周波数成分のみの周波数信号を抽出し、低周波数成分のみの周波数信号についてそれぞれ実空間の映像信号に変換して、低周波数成分のみを含む映像信号である低周波映像信号を生成し、変換された低周波映像信号について加算処理を行う。また、この際、複数の低周波映像信号のそれぞれに対する合成の割合を適宜定めることができる。このため、低周波数成分生成部１１は、図５に示すように、バッファ３００、低周波数成分生成部３０１、逆変換部３０２、重み付け係数算出部３０３及び加算部３０４を備えている。
【００３７】
バッファ３００は、変換部１０９から転送された複数枚の周波数信号を記憶し、これを低周波数成分生成部３０１に転送する。低周波数成分生成部３０１は、バッファ３００から１枚ずつ周波数信号を読み込み、読み込まれた周波数信号から、低周波数成分の抽出を行う。周波数信号が、本実施形態の変換部１０９のように多重解像度変換により得られた場合には、水平ローパスフィルタ部２０４および垂直ローパスフィルタ部２１０を最終的に通過した信号を周波数信号の低周波数成分として抽出する。逆変換部３０２は、低周波数成分生成部３０１から転送された低周波数成分の周波数信号をフーリエ逆変換や多重解像度逆変換等を用いて低周波数成分のみを含む実空間の低周波映像信号に変換する。この処理をバッファ３００に記憶されている信号の枚数分行う。
【００３８】
重み付け係数算出部３０３は複数枚の画像の合成割合である重み付け係数αを算出する。図６は、重み付け係数の例を示すグラフである。図６のグラフは、映像信号が２枚ある場合の例であり、重み付け係数αは複数枚の低周波映像信号のうち、１枚目の低周波映像信号を入力信号Ｉ１として、この入力信号Ｉ１に対する関数として表され、低周波映像信号Ｉ２が低周波映像信号Ｉ１より露光量が少ない場合を示している。すなわち、低周波映像信号が飽和する可能性のある閾値Ｔｈより大きな信号値に対しては暗く撮像された低周波映像信号Ｉ２の重みを大きくし、閾値Ｔｈ以下の信号値に対しては適正露光で撮像された低周波映像信号Ｉ１の重みを大きくする。このような重み係数を用いることによって、信号の飽和部を考慮した加算が可能となる。
【００３９】
加算部３０４は、逆変換部３０２から転送された複数枚の低周波映像信号に対して、以下の数６式を用いて、重み付け係数算出部３０３で算出された重み付け係数に基づいて、同じ座標の信号値を合成し、合成低周波映像信号を生成し、この合成低周波映像信号を画像合成部１１３へ出力する。
【００４０】
【数６】
【００４１】
ここで、この数６式は、低周波映像信号が２枚の場合であり、I´は合成後の信号である合成低周波映像信号、Ｉ１、Ｉ２は逆変換部３０２から転送されたそれぞれ１枚目および２枚目の低周波映像信号を表し、（ｘ，ｙ）は低周波映像信号の座標を表す。I１、I２はＲＧＢ信号の各チャンネルの信号を表し、ＹＣｂＣｒ信号でもよい。低周波映像信号が３枚以上である場合には、以下の数７式を用いて合成を行う。
【００４２】
【数７】
ここで、Ｉｉは、ｉ枚目の映像信号、βｉは重み付け係数を示す。
【００４３】
なお、本実施形態においては、複数枚の画像に重み付けをして合成することとしたが、これに限られることはなく、複数枚の画像の合成割合を等しくし単純加算による合成とすることも出来る。
【００４４】
高周波数成分生成部１１２は抽出部１１０から転送された１枚の周波数信号から高周波数成分のみを抽出し、抽出された高周波数成分のみの周波数信号に対して上述した逆変換処理を行い、高周波数成分のみを含む実空間の高周波映像信号に変換し、画像合成部１１３へ転送する。
【００４５】
画像合成部１１３は、高周波数成分生成部１１２の高周波映像信号および低周波数成分生成部１１１にて合成された合成低周波映像信号に対して同じ座標の信号値を加算し、階調変換部１１４へ転送する。高周波映像信号はノイズが含まれている可能性があるため、ノイズ低減の後に加算処理を行うことが好ましい。このため、画像合成部１１３は、バッファ５００，５０１、ノイズ低減部５０２および加算部５０３を備えている。バッファ５００は、高周波数成分生成部１１２から転送された高周波映像信号を一旦記憶し、これをノイズ低減部５０２に転送する。ノイズ低減部５０２は、高周波映像信号に対して平滑化フィルタや、メディアンフィルタ等を用いてノイズを低減する。加算部５０３は、ノイズ低減後の高周波映像信号およびバッファ５０１から転送される合成された合成低周波映像信号との同じ座標における加算処理を行い合成映像信号を生成し、階調変換部１１４へ転送する。
【００４６】
階調変換部１１４は、画像合成部１１３から転送された合成映像信号に対して、ガンマ変換やトーンカーブによる階調変換処理を行い、圧縮部１１５に転送する。
【００４７】
以下、このように構成された本実施形態の画像処理装置における画像合成処理の過程について図８のフローチャートを用いて説明する。
【００４８】
画像処理装置では、外部Ｉ／Ｆ部１１８を介してＩＳＯ感度，露出などの撮影条件を設定した後，図示しないシャッターボタンを半押しにすることでプリ撮影モードに入る。そして、本撮影における撮影回数と同じ回数のプリ撮影が終了すると、外部Ｉ／Ｆ部１１８を介して図示しないシャッターボタンを全押しすることにより本撮影が行われる。本撮影は、撮影制御部１０７にて求められた合焦条件および露光条件に基づき行われ、これらの撮影時の情報は制御部１１７へ転送される。以下、説明の便宜上、本撮影における撮影回数を２回とし、この２回の撮影により入射光量が適正な映像信号Ｓ１と、映像信号Ｓ１に対して入射光量を半分とするなど、入射光量を異ならせた映像信号Ｓ２を得ることとして説明する。
【００４９】
ステップＳ１１では、ＣＣＤ１０４からの映像信号をＲａｗデータとして、ＩＳＯ感度情報や映像信号サイズなどをヘッダー情報として読み込み次のステップＳ２に進む。ステップＳ１２では、レンズ系１００、絞り１０１、カラーフィルタ１０３、ＣＣＤ１０４を介して撮影されたＳ１及びＳ２の映像信号が、Ａ／Ｄ変換部１０５にてデジタルの映像信号へ変換されてバッファ１０６へ入力される。ステップＳ１３では、信号処理部１０８により補間処理、ホワイトバランスの調整処理、Ｙ／Ｃ信号生成処理、電子ズーム処理、ノイズ抑制処理等の信号処理を行い、ステップＳ１４に進む。
【００５０】
ステップＳ１４では、変換部１０９により所定の信号処理がなされたＳ１及びＳ２の映像信号を多重解像度変換することでそれぞれ周波数成分の信号である周波数信号に変換し、ステップＳ１５に進む。ステップＳ１５では、抽出部１１０により、Ｓ１及びＳ２の２枚分の周波数信号に基づいてヒストグラムを生成するなどしていずれの映像信号が画像合成に最も適しているかの評価を行い、画像合成に最も適した１枚分の映像信号にかかる周波数信号を抽出し、この一枚の周波数信号を高周波数成分生成部１１２に出力する。
【００５１】
ステップＳ１７では、高周波数成分生成部１１２により、抽出部１１０から入力された映像信号Ｓ１の１枚分の周波数信号から高周波数成分の信号を抽出し、高周波数成分のみを含む実空間の映像信号に変換し、高周波数成分のみを含む高周波映像信号を生成する。そして、生成された高周波数成分のみを含むＳ１の高周波映像信号を画像合成部１１３へ出力する。
【００５２】
ステップＳ１６では、低周波数成分生成部１１１によりＳ１及びＳ２の周波数成分の信号から低周波数成分を抽出し、これらを夫々実空間の映像信号に変換して、低周波数成分のみを含む低周波映像信号を生成し、変換されたＳ１及びＳ２の低周波映像信号について夫々の重み付けを考慮して加算処理を行い、合成低周波映像信号を生成する。
【００５３】
ステップＳ１８では、画像合成部１１３によりＳ１の高周波映像信号および合成された合成低周波映像信号に対して加算処理、すなわち画像合成を行い合成映像信号を生成する。合成映像信号は階調変換部１１４へ出力され、ステップＳ１９へ進む。ステップＳ１９では、階調変換部１１４により、入力された合成映像信号に対して、所定の階調変換処理を行い、本ルーチンを終了する。なお、階調変換処理がなされた合成映像信号は圧縮部１１５へ出力され、圧縮部１１５において、ＪＰＥＧ圧縮等の圧縮処理を施し、出力部１１６へ出力される。
【００５４】
このように、映像信号のうちブレが目立ちにくい低周波数成分については複数枚の画像について画像合成処理の対象とする一方で、ブレの目立ちやすい高周波数成分については任意の一枚のみを画像合成処理の対象とすることで、ブレのある複数枚の映像信号に対しても二重線等のアーティファクトがないダイナミックレンジの広い合成信号を生成することができる。
【００５５】
〔第２の実施形態〕
以下、本発明の第２の実施形態について図面を参照して説明する。
本実施形態の画像処理装置では、その画像処理部１３０の構成が、上述した第１の実施形態の画像処理装置における画像処理部１２０の構成と異なっている。すなわち、画像処理部１３０では、第１の実施形態のように、映像信号を周波数信号に変換することなく、映像信号から低周波数成分に該当する低周波映像信号を抽出するとともに、映像信号から低周波映像信号との差分を算出することにより高周波映像信号を抽出することで、以降の画像合成処理を行う。以下、第１の実施形態と共通する構成については同一の符号を付すとともにその説明を省略し、異なる構成について主に説明する。
【００５６】
図９に示すように、画像処理部１３０は、信号処理部１０８、低周波映像信号生成手段としての変換部６０９、抽出手段としての抽出部６１０、合成低周波信号生成手段としての低周波数成分生成部６１１、高周波映像信号生成手段としての高周波数成分生成部６１２、画像合成手段としての画像合成部１１３、及び階調変換部１１４を備えている。
【００５７】
変換部６０９は、信号処理部１０８から転送された映像信号に対して平滑化フィルタ等を用いて低周波数成分のみを含む低周波映像信号を生成し、低周波映像信号は低周波数成分生成部６１１及び高周波数成分生成部６１２へ転送する。
【００５８】
抽出部６１０は信号処理部１０８から転送される複数枚の映像信号から、画像合成に際して最も適した所定の１枚を抽出するものであり、図１０に示すように、バッファ４００、ヒストグラム算出部４０２、評価値算出部４０３及び選択部４０４を備えている。なお、第１の実施形態における抽出部１１０の構成とは逆変換部４０１がない点が異なる。バッファ４００は信号処理部１０８から転送された複数枚の映像信号を記憶する。ヒストグラム算出部４０２及び評価値算出部４０３は第１の実施形態におけるヒストグラム算出部４０２及び評価値算出部４０３と同様に、バッファ４００に記憶された映像信号に基づいてヒストグラムの算出を行い、算出されたヒストグラムの情報から評価値の算出を行う。選択部４０４は、評価値に基づいて、バッファ４００から選択された映像信号を１枚抽出する。抽出された１枚の映像信号は高周波数成分生成部６１２へ転送される。
【００５９】
高周波数成分生成部６１２は、抽出部６１０で抽出された１枚の映像信号から低周波映像信号を差し引くことで高周波映像信号を生成するものであり、図１１に示すように、バッファ７００，７０１、及び差分信号算出部７０２を備えている。バッファ７００は変換部６０９から入力される複数枚の低周波の映像信号が記憶される。バッファ７０１は抽出部６１０により入力された１枚の映像信号が記憶される。差分信号算出部７０２は制御部１１７による制御に基づいてバッファ７００から抽出部６１０により抽出された映像信号に相当する低周波映像信号を読み出し、バッファ７０１の１枚の映像信号から低周波映像信号を差し引くことで、すなわち、次の数７式で表されるような各座標（ｘ，ｙ）における差分処理を行うことで高周波映像信号を生成する。
【００６０】
【数８】
【００６１】
ここで、Ｈ（ｘ，ｙ）は差分処理後の高周波映像信号、Ｓ１は抽出部６１０により入力された１枚の映像信号、Ｔ１は抽出部６１０により抽出された映像信号に相当する低周波映像信号を示す。生成された高周波映像信号Ｈ（ｘ，ｙ）は画像合成部１１３に出力される。
【００６２】
低周波数成分生成部６１１は、変換部６０９から転送された複数の低周波映像信号を合成して合成低周波映像信号を生成する。このため、図１２に示すように、バッファ８００、重み付け係数算出部８０１及び加算部８０２を備えている。第１の実施形態における低周波数成分生成部１１１とは低周波数成分抽出部３０１及び逆変換部３０２がない点が異なる。変換部６０９から入力された複数枚の低周波映像信号はバッファ８００に記憶される。加算部８０２は、バッファ８００から出力される低周波映像信号に対して第１の実施形態と同様に単純加算あるいは重み付け加算を行い、低周波映像信号を合成し、合成低周波映像信号を生成する。生成された合成低周波映像信号は画像合成部１１３へ出力される。
【００６３】
画像合成部６１３では、周波数成分生成部６１２の高周波映像信号および低周波数成分生成部６１１にて合成された合成低周波映像信号に対して同じ座標の信号値を加算し、階調変換部１１４へ転送する。なお、高周波数成分の映像信号はノイズが含まれている可能性があるため、ノイズ低減の後に加算処理を行うことが好ましい。
【００６４】
以下、このように構成された本実施形態の画像処理装置における画像合成処理の過程について、図１３のフローチャートを用いて説明する。
【００６５】
画像処理装置では、外部Ｉ／Ｆ部１１８を介してＩＳＯ感度，露出などの撮影条件を設定した後，図示しないシャッターボタンを半押しにすることでプリ撮影モードに入る。そして、本撮影における撮影回数と同じ回数のプリ撮影が終了すると、外部Ｉ／Ｆ部１１８を介して図示しないシャッターボタンを全押しすることにより本撮影が行われる。本撮影は、撮影制御部１０７にて求められた合焦条件および露光条件に基づき行われ、これらの撮影時の情報は制御部１１７へ転送される。以下、説明の便宜上、本撮影における撮影回数を２回とし、この２回の撮影により入射光量が適正な映像信号Ｓ１と、映像信号Ｓ１に対して入射光量を半分とするなど、入射光量を異ならせた映像信号Ｓ２を得ていることとして説明する。
【００６６】
ステップＳ２１では、ＣＣＤ１０４からの映像信号をＲａｗデータとして、ＩＳＯ感度情報や映像信号サイズなどをヘッダー情報として読み込み次のステップＳ２２に進む。ステップＳ２２では、レンズ系１００、絞り１０１、カラーフィルタ１０３、ＣＣＤ１０４を介して撮影されたＳ１及びＳ２の映像信号が、Ａ／Ｄ変換部１０５にてデジタルの映像信号へ変換されてバッファ１０６へ入力される。ステップＳ２３では、信号処理部１０８により補間処理、ホワイトバランスの調整処理、Ｙ／Ｃ信号生成処理、電子ズーム処理、ノイズ抑制処理等の信号処理を行い、ステップＳ２４に進む。
【００６７】
Ｓ２４では、変換部６０９にて映像信号から低周波の映像信号を生成し、生成した低周波の映像信号を高周波数成分生成部６１２へ出力してステップＳ２５に進む。ステップＳ２５では、抽出部６１０により、Ｓ１及びＳ２の２枚分の周波数信号に基づいてヒストグラムを生成するなどしていずれの映像信号が画像合成に最も適しているかの評価を行い、画像合成に最も適したＳ１の１枚分の映像信号にかかる周波数信号を抽出し、この一枚の周波数信号を高周波数成分生成部６１２に出力する。ステップＳ２７では、高周波数成分生成部６１２により、１枚の映像信号とこの１枚の映像信号に相当する低周波映像信号とから差分処理を行うことにより高周波映像信号を生成する。
【００６８】
ステップＳ２６では、低周波数成分生成部６１１によりＳ１及びＳ２の低周波映像信号の加算処理を行い、合成低周波映像信号を生成する。ステップＳ２８では、画像合成部１１３によりＳ１の高周波映像信号および合成された合成低周波映像信号との加算処理を行うことで合成映像信号を生成し、合成された合成映像信号を階調変換部１１４に出力する。ステップＳ２９で、階調変換部１１４が、入力された合成映像信号に対して、所定の階調変換処理を行い、本ルーチンを終了する。なお、階調変換処理がなされた合成映像信号は圧縮部１１５へ出力され、圧縮部１１５において、ＪＰＥＧ圧縮等の圧縮処理を施し、出力部１１６へ出力される。
【００６９】
このように、第１の実施形態と同様に、映像信号のうちブレが目立ちにくい低周波数成分のみについては複数枚の画像について合成処理の対象とする一方で、ブレの目立ちやすい高周波数成分について任意の一枚のみを合成処理の対象とすることで、ブレのある複数枚の映像信号に対しても二重線等のアーティファクトがないダイナミックレンジの広い合成信号を生成することができる。また、低周波信号の抽出を実空間で行うことにより高速な映像信号処理が可能となる。
【００７０】
〔第３の実施形態〕
以下、本発明の第３の実施形態について図面を参照して説明する。
本実施形態の画像処理装置では、その画像処理部１４０の構成が、上述した第１の実施形態及び第２の実施形態の画像処理装置における画像処理部１２０，１３０の構成と異なっている。すなわち、画像処理部１４０は、特徴量算出部９００を備えており、この特徴量算出部９００が信号処理部１０８により所定の信号処理がなされた映像信号の特徴量、例えば、エッジ量や周波数成分などを算出する。そして、抽出部１１０で、特徴量算出部９００により得られた特徴量に基づいて、複数枚分の映像信号から合成画像を得るために最も適した１つの映像信号を選択し、抽出してその後の処理を行う。
【００７１】
また、本実施形態は、第２の実施形態と同様に、映像信号を周波数信号に変換することなく、映像信号から低周波数成分に該当する低周波映像信号を抽出するとともに、映像信号から低周波映像信号との差分を算出することにより高周波映像信号を抽出することで、以降の画像合成処理を行う例について説明する。以下、第１の実施形態及び第２の実施形態と共通する構成については同一の符号を付すとともにその説明を省略し、異なる構成について主に説明する。
【００７２】
図１４に示すように、画像処理部１４０は、信号処理部１０８、特徴量抽出手段としての特徴量算出部９００、低周波映像信号生成手段としての変換部９０９、抽出手段としての抽出部９１０、合成低周波信号生成手段としての低周波数成分生成部６１１、高周波映像信号生成手段としての高周波数成分生成部６１２、画像合成手段としての画像合成部１１３、及び階調変換部１１４を備えている。
【００７３】
変換部９０９ は信号処理部１０８から転送された映像信号に対してローパスフィルタ等の平滑化フィルタを用いた公知のフィルタリング処理を行い、低周波数成分のみを含む低周波映像信号を生成する。生成された低周波映像信号は低周波数成分生成部６１１及び高周波数成分生成部６１２へ転送される。
【００７４】
特徴量算出部９００は、特徴量として複数の映像信号の各々のエッジ量を算出するものであり、図１５に示すように特徴量算出部９００は、バッファ２９０、局所領域抽出部２９１、エッジ量算出部２９２、総エッジ量算出部２９３及び重み付け係数算出部２９４を備えている。
【００７５】
バッファ２９０は、信号処理部１０８から転送された映像信号を一時的に保存し、局所領域抽出部２９１へ映像信号を出力する。局所領域抽出部２９１は、バッファ２９０から転送された映像信号に対して任意の注目画素を中心とした局所領域、例えば７×７画素領域を局所領域として抽出する。エッジ量算出部２９２では、局所領域抽出部２９１により抽出された局所領域の信号に対して、公知のＳｏｂｅｌフィルタを用いたフィルタリング処理を行い任意の注目画素のエッジ量を算出する。エッジ量の算出は映像信号の全画素に対して行われる。総エッジ量算出部２９３は、エッジ量算出部２９２から転送される画素毎のエッジ量を用いて映像信号全体のエッジ量を算出する。エッジ量算出には数１式における輝度信号Ｙ又はＧ信号を用いてもよい。映像信号全体のエッジ量は各画素のエッジ量を単純に加算してもよいし、以下の数９式のように、重み付け係数算出部２９４から転送される重み付け係数を用いて加算してもよい。
【００７６】
【数９】
【００７７】
ここで，Ｏｉはｉ枚目の映像信号のエッジ量を表し、Ｅｉ（ｘ，ｙ）はｉ枚目の映像信号の座標（ｘ，ｙ）におけるエッジ量、Ｗｉ（Ｉ，ｘ，ｙ）はｉ枚目の映像信号の画素値Ｉおよび座標（ｘ，ｙ）における重み付け係数を表している。重み付け係数は映像信号の被写体の位置や明るさによって変化し、例えば、撮影されたシーンが図１６のような場合、明るい領域を重視する場合はＡの領域の重みが大きくなり，暗い領域を重視する場合，ＢおよびＣの領域の重みが大きくなる。また、被写体である人間を重視する場合、Ｂの領域の重みが大きくなる。明るい領域および暗い領域の判別は映像信号の画素値の情報を用いて判別し，人間を判別には公知の顔認識の技術を使い判別を行う。総エッジ量算出部２９３にて算出された映像信号のエッジ量は抽出部９１０に転送される。
【００７８】
抽出部９１０は信号処理部１０８から転送される複数枚の映像信号から、画像合成に際して最も適した所定の１枚を抽出するものであり、特徴量算出部９００から転送されたエッジ量の値が一番大きい映像信号を画像合成に最も適した映像信号として抽出し、抽出した映像信号を高周波数成分生成部１１２に転送する。
【００７９】
図１６の例では、明るい領域Ａを重視する場合は領域Ａのエッジ量が一番大きい映像信号が抽出され，暗い領域Ｂおよび領域Ｃを重視する場合は領域Ｂおよび領域Ｃのエッジ量が一番大きい映像信号が抽出される。これらの領域が白飛びや黒つぶれしているような場合はエッジ量が小さくなるため、これらの領域が適切な明るさで撮像されている映像信号が１枚抽出される。
【００８０】
特徴量算出部は、図１７に示すような構成とすることもできる。図１７における特徴量算出部９２０は、特徴量として複数の映像信号の各々の周波数成分を算出するものであり、バッファ３９０、分割部３９１、周波数算出部３９２、総周波数算出部３９３及び重み付け係数算出部３９４を備えている。
【００８１】
バッファ３９０には、信号処理部１０８から映像信号が転送される。分割部３９１は、バッファ３９０から転送された映像信号の輝度信号を、その明るさに応じて複数のグループに分割する。映像信号に含まれる各画素は、被写体の位置等に応じて輝度信号が異なり、何れの被写体又は領域を重視するかは映像信号によって異なる。このため、輝度信号を明るさに応じて複数のグループに分割することで、例えば、グループ毎に重み付けを行ったり、後の画像合成処理に使用しない領域と使用する領域とを区別することができる。具体的には、輝度信号の複数のグループへの分割は、例えば、以下の数１０式のように行う。
【００８２】
【数１０】
【００８３】
ここでＹｍｉｎ，Ｙｍａｘは輝度信号の最小値，最大値をそれぞれ表し，Ｄは輝度信号の分割数、ｊは０−Ｄ−１の整数を表す。Ｄ個のグループに分割された信号は周波数算出部３９２に転送される。
【００８４】
周波数算出部３９２は、上記Ｄ個のグループごとに公知のフーリエ変換を行い周波数信号に変換する。総周波数算出部３９３は重み付け係数算出部３９４から転送される重み付け係数を用いて、以下の数１１式のように映像信号全体の周波数成分を算出する。
【００８５】
【数１１】
【００８６】
ここで，Ｐｉはｉ枚目の映像信号の周波数成分を表し，Ｆｉ，ｊ（ｕ，ｖ）はｉ枚目の映像信号のＹｊ（ｘ，ｙ）に対する周波数成分を表し、Ｗｉ，ｊはｉ枚目の映像信号のｊ番目のグループの輝度信号における重み付け係数を表している。重み付け係数は、映像信号の被写体の位置や明るさによって異ならせることができ、すなわち、先に分割したＤ個のグループそれぞれに対して、そのグループの明るさに応じて重み付け係数を定めることができる。次に、総周波数算出部３９３は、Ｐｉ（ｕ，ｖ）の絶対値を周波数空間の座標（ｕ，ｖ）において積分した値を抽出部９１０に転送する。抽出部９１０は特徴量算出部９２０から転送された積分値が一番大きい映像信号を画像合成に最も適した１枚として抽出し、抽出した映像信号を高周波数成分生成部１１２に転送する。
【００８７】
以下、このように構成された本実施形態の画像処理装置における画像合成処理の過程について説明する。本実施形態における画像合成処理の過程は、概ね第２の実施形態における処理の過程と同様であるので、以下、第２の実施形態におけるフローチャートである図１３に基づいて説明する。
【００８８】
画像処理装置では、外部Ｉ／Ｆ部１１８を介してＩＳＯ感度，露出などの撮影条件を設定した後，図示しないシャッターボタンを半押しにすることでプリ撮影モードに入る。そして、本撮影における撮影回数と同じ回数のプリ撮影が終了すると、外部Ｉ／Ｆ部１１８を介して図示しないシャッターボタンを全押しすることにより本撮影が行われる。本撮影は、撮影制御部１０７にて求められた合焦条件および露光条件に基づき行われ、これらの撮影時の情報は制御部１１７へ転送される。以下、説明の便宜上、本撮影における撮影回数を２回とし、この２回の撮影により入射光量が適正な映像信号Ｓ１と、映像信号Ｓ１に対して入射光量を半分とするなど、入射光量を異ならせた映像信号Ｓ２を得ることとして説明する。
【００８９】
ステップＳ２１では、ＣＣＤ１０４からの映像信号をＲａｗデータとして、ＩＳＯ感度情報や映像信号サイズなどをヘッダー情報として読み込み次のステップＳ２２に進む。ステップＳ２２では、レンズ系１００、絞り１０１、カラーフィルタ１０３、ＣＣＤ１０４を介して撮影されたＳ１及びＳ２の映像信号が、Ａ／Ｄ変換部１０５にてデジタルの映像信号へ変換されてバッファ１０６へ入力される。ステップＳ２３では、信号処理部１０８により補間処理、ホワイトバランスの調整処理、Ｙ／Ｃ信号生成処理、電子ズーム処理、ノイズ抑制処理等の信号処理を行い、ステップＳ２４に進む。
【００９０】
ステップＳ２４では、映像信号から低周波の映像信号を生成し、生成した低周波の映像信号を高周波数成分生成部６１２へ出力してステップＳ２５に進む。ステップＳ２５では、特徴量算出部が図１５に示す構成である場合には、特徴量算出部９００により、信号処理部１０８から映像信号Ｓ１及びＳ２のエッジ量を算出し、算出した結果を抽出部９１０に出力する。抽出部９１０では、Ｓ１及びＳ２の２枚の映像信号のエッジ量のうち、何れのエッジ量が大きいかを判断する。ここで、Ｓ１がＳ２よりもエッジ量が大きい映像信号であったとすると、抽出部９１０は、エッジ量が大きい映像信号Ｓ１を画像合成に最も適した１枚分の映像信号として抽出し、この一枚の映像信号Ｓ１を高周波数成分生成部１１２に出力する。
【００９１】
また、特徴量算出部が図１７に示す構成である場合には、特徴量算出部９２０により、映像信号Ｓ１及びＳ２の周波数成分を算出し、さらにこの周波数成分の絶対値を周波数空間の座標における積分値を抽出部９１０に出力する。抽出部９１０では、Ｓ１及びＳ２の映像信号の積分値のうち、何れの積分値が大きいかを判断し、大きい方の映像信号を画像合成に最も適した映像信号として抽出する。すなわち、Ｓ１がＳ２よりも積分値が大きい映像信号であったとすると、積分値が大きい映像信号Ｓ１を画像合成に最も適した映像信号として抽出し、この映像信号Ｓ１を高周波数成分生成部１１２に出力する。
【００９２】
ステップＳ２７では、高周波数成分生成部６１２により、１枚の映像信号とこの１枚の映像信号に相当する低周波映像信号とから差分処理を行うことにより高周波映像信号を生成する。ステップＳ２６では、低周波数成分生成部６１１によりＳ１及びＳ２の低周波映像信号の加算処理を行い、合成低周波映像信号を生成する。ステップＳ２８では、画像合成部１１３によりＳ１の高周波映像信号および合成された合成低周波映像信号との加算処理を行うことで合成映像信号を生成し、合成された合成映像信号を階調変換部１１４に出力する。ステップＳ２９で、階調変換部１１４が、入力された合成映像信号に対して、所定の階調変換処理を行い、本ルーチンを終了する。なお、階調変換処理がなされた合成映像信号は圧縮部１１５へ出力され、圧縮部１１５において、ＪＰＥＧ圧縮等の圧縮処理を施し、出力部１１６へ出力される。
【００９３】
このように、第１の実施形態及び第２の実施形態と同様に、映像信号のうちブレが目立ちにくい低周波数成分のみについては複数枚の画像について合成処理の対象とする一方で、ブレの目立ちやすい高周波数成分について任意の一枚のみを合成処理の対象とすることで、ブレのある複数枚の映像信号に対しても二重線等のアーティファクトがないダイナミックレンジの広い合成信号を生成することができる。また、低周波信号の抽出を実空間で行うことにより高速な映像信号処理が可能となる。
【００９４】
このように、映像信号のうちブレが目立ちにくい低周波数成分については複数枚の画像について画像合成処理の対象とする一方で、ブレの目立ちやすい高周波数成分については任意の一枚のみを画像合成処理の対象とすることで、ブレのある複数枚の映像信号に対しても二重線等のアーティファクトがないダイナミックレンジの広い合成信号を生成することができる。
【００９５】
なお、上述した実施形態では、ハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。この場合、画像処理装置は、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を備えている。そして、ＣＰＵが上記記憶媒体に記録されているプログラムを読み出して、情報の加工・演算処理を実行することにより、上述の画像処理装置と同様の処理を実現させる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【符号の説明】
【００９６】
１０９ 変換部
１１０ 抽出部
１１１ 低周波数成分生成部
１１２ 高周波数成分生成部
１１３ 画像合成部
２９２ エッジ量算出部
３０１ 低周波数成分抽出部
３０２ 逆変換部
３０３ 重み付け係数算出部
３０４ 加算部
３９２ 周波数算出部
４０１ 逆変換部
４０２ ヒストグラム算出部
４０３ 評価値算出部
４０４ 選択部
５０２ ノイズ低減部
５０３ 加算部
６０９ 変換部
６１０ 抽出部
６１１ 低周波数成分生成部
６１２ 高周波数成分生成部
６１３ 画像合成部
７０２ 差分信号算出部
８０１ 重み付け係数算出部
８０２ 加算部
９００ 特徴量算出部
９０９ 変換部
９１０ 抽出部
【特許請求の範囲】
【請求項１】
露光量の異なる複数の映像信号を合成することでダイナミックレンジを拡大する画像処理装置であって、
前記複数の映像信号のそれぞれから低周波数成分を抽出して複数の低周波映像信号を生成する低周波映像信号生成手段と、
前記複数の低周波映像信号を合成し、合成低周波映像信号を生成する合成低周波信号生成手段と、
前記複数の映像信号から第一の映像信号を抽出する抽出手段と、
前記第一の映像信号から高周波数成分を抽出して高周波映像信号を生成する高周波映像信号生成手段と、
前記合成低周波映像信号と前記高周波映像信号とを合成することにより合成映像信号を生成する画像合成手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記映像信号を周波数変換することにより周波数信号を生成する周波数信号生成手段を備え、
前記低周波映像信号生成手段は、前記周波数信号から低周波数成分を抽出して低周波数信号を生成し、該低周波数信号を逆変換することにより低周波映像信号を生成するとともに、
前記高周波映像信号生成手段は、第一の映像信号に対応する前記周波数信号から高周波数成分を抽出して高周波数信号を生成し、該高周波数信号を逆変換することにより高周波映像信号を抽出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記周波数信号生成手段は、前記映像信号に対して多重解像度変換を行うことにより周波数信号を生成することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記低周波映像信号の画素値に基づいて、前記複数の低周波映像信号の合成割合である重み付け係数を算出する重み付け算出手段を備え、
前記合成低周波映像信号生成手段は、前記重み付け係数に基づいて、前記低周波映像信号を重み付けして合成を行うことを特徴とする請求項１乃至請求項３の何れか１項に記載の画像処理装置。
【請求項５】
前記映像信号の特徴量を算出する特徴量算出手段を備え、
前記抽出部は、前記特徴量算出手段による算出結果に基づいて、前記第一の映像信号を抽出することを特徴とする請求項１乃至請求項４の何れか１項に記載の画像処理装置。
【請求項６】
前記特徴量算出手段は、
前記映像信号の画素毎にエッジ量を算出するエッジ量算出手段と、
該画素毎のエッジ量に基づいて前記映像信号全体の総エッジ量を算出する総エッジ量算出手段と、を備え、
前記抽出部は、前記総エッジ量が最大値となる前記映像信号を前記第一の映像信号として抽出することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記総エッジ量算出手段は、前記画素毎のエッジ量を前記映像信号に応じた重み付けを行って加算することにより前記映像信号全体の総エッジ量を算出することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記特徴量算出手段は、
前記映像信号の輝度信号を、輝度値に基づいて複数のグループに分割する分割手段と、
該グループに含まれる輝度信号に基づいて、該グループ毎に周波数信号を算出する周波数算出手段と、
該グループ毎の周波数信号を前記映像信号に応じた重み付けを行って加算することにより前記映像信号全体の総周波数信号を算出する総周波数算出手段と、を備え、
前記抽出部は、前記総周波数信号の値が最大値となる前記映像信号を前記第一の映像信号として抽出することを特徴とする請求項５に記載の画像処理装置。
【請求項９】
前記抽出手段は、
前記複数の映像信号のそれぞれについて、映像信号を構成する各画素の輝度値の分散度合いを表すヒストグラムを算出するヒストグラム算出手段と、
前記ヒストグラムから各画素の輝度値の分散値を算出し、評価値とする評価値算出手段と、
前記評価値が最大となる映像信号を前記第一の映像信号として選択する選択手段と、
を備えることを特徴とする請求項１又は請求項４に記載の画像処理装置。
【請求項１０】
前記高周波映像信号生成手段は、前記第一の映像信号と前記低周波映像信号との差分を算出することにより、高周波映像信号を生成することを特徴とする請求項１又は請求項５乃至請求項９の何れか１項に記載の画像処理装置。
【請求項１１】
前記画像合成手段は、前記合成低周波映像信号と前記高周波映像信号を加算することを特徴とする請求項１乃至請求項１０の何れか１項に記載の画像処理装置。
【請求項１２】
前記画像合成手段が、前記高周波映像信号に対してノイズ低減処理を行うノイズ低減手段を備え、
前記合成低周波数映像信号と前記ノイズ低減手段によりノイズが低減された高周波映像信号とを加算することを特徴とする請求項１乃至請求項１１の何れか１項に記載の画像処理装置。
【請求項１３】
露光量の異なる複数の映像信号を合成することでダイナミックレンジを拡大する画像処理プログラムであって、
前記複数の映像信号のそれぞれから低周波数成分を抽出して複数の低周波映像信号を生成するステップと、
前記複数の低周波映像信号を合成し、合成低周波映像信号を生成するステップと、
前記複数の映像信号から第一の映像信号を抽出するステップと、
前記第一の映像信号から高周波数成分を抽出して高周波映像信号を生成するステップと、
前記合成低周波映像信号と前記高周波映像信号とを合成することにより合成映像信号を生成するステップと、
をコンピュータに実行させる画像処理プログラム。
【請求項１】
露光量の異なる複数の映像信号を合成することでダイナミックレンジを拡大する画像処理装置であって、
前記複数の映像信号のそれぞれから低周波数成分を抽出して複数の低周波映像信号を生成する低周波映像信号生成手段と、
前記複数の低周波映像信号を合成し、合成低周波映像信号を生成する合成低周波信号生成手段と、
前記複数の映像信号から第一の映像信号を抽出する抽出手段と、
前記第一の映像信号から高周波数成分を抽出して高周波映像信号を生成する高周波映像信号生成手段と、
前記合成低周波映像信号と前記高周波映像信号とを合成することにより合成映像信号を生成する画像合成手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記映像信号を周波数変換することにより周波数信号を生成する周波数信号生成手段を備え、
前記低周波映像信号生成手段は、前記周波数信号から低周波数成分を抽出して低周波数信号を生成し、該低周波数信号を逆変換することにより低周波映像信号を生成するとともに、
前記高周波映像信号生成手段は、第一の映像信号に対応する前記周波数信号から高周波数成分を抽出して高周波数信号を生成し、該高周波数信号を逆変換することにより高周波映像信号を抽出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記周波数信号生成手段は、前記映像信号に対して多重解像度変換を行うことにより周波数信号を生成することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記低周波映像信号の画素値に基づいて、前記複数の低周波映像信号の合成割合である重み付け係数を算出する重み付け算出手段を備え、
前記合成低周波映像信号生成手段は、前記重み付け係数に基づいて、前記低周波映像信号を重み付けして合成を行うことを特徴とする請求項１乃至請求項３の何れか１項に記載の画像処理装置。
【請求項５】
前記映像信号の特徴量を算出する特徴量算出手段を備え、
前記抽出部は、前記特徴量算出手段による算出結果に基づいて、前記第一の映像信号を抽出することを特徴とする請求項１乃至請求項４の何れか１項に記載の画像処理装置。
【請求項６】
前記特徴量算出手段は、
前記映像信号の画素毎にエッジ量を算出するエッジ量算出手段と、
該画素毎のエッジ量に基づいて前記映像信号全体の総エッジ量を算出する総エッジ量算出手段と、を備え、
前記抽出部は、前記総エッジ量が最大値となる前記映像信号を前記第一の映像信号として抽出することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記総エッジ量算出手段は、前記画素毎のエッジ量を前記映像信号に応じた重み付けを行って加算することにより前記映像信号全体の総エッジ量を算出することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記特徴量算出手段は、
前記映像信号の輝度信号を、輝度値に基づいて複数のグループに分割する分割手段と、
該グループに含まれる輝度信号に基づいて、該グループ毎に周波数信号を算出する周波数算出手段と、
該グループ毎の周波数信号を前記映像信号に応じた重み付けを行って加算することにより前記映像信号全体の総周波数信号を算出する総周波数算出手段と、を備え、
前記抽出部は、前記総周波数信号の値が最大値となる前記映像信号を前記第一の映像信号として抽出することを特徴とする請求項５に記載の画像処理装置。
【請求項９】
前記抽出手段は、
前記複数の映像信号のそれぞれについて、映像信号を構成する各画素の輝度値の分散度合いを表すヒストグラムを算出するヒストグラム算出手段と、
前記ヒストグラムから各画素の輝度値の分散値を算出し、評価値とする評価値算出手段と、
前記評価値が最大となる映像信号を前記第一の映像信号として選択する選択手段と、
を備えることを特徴とする請求項１又は請求項４に記載の画像処理装置。
【請求項１０】
前記高周波映像信号生成手段は、前記第一の映像信号と前記低周波映像信号との差分を算出することにより、高周波映像信号を生成することを特徴とする請求項１又は請求項５乃至請求項９の何れか１項に記載の画像処理装置。
【請求項１１】
前記画像合成手段は、前記合成低周波映像信号と前記高周波映像信号を加算することを特徴とする請求項１乃至請求項１０の何れか１項に記載の画像処理装置。
【請求項１２】
前記画像合成手段が、前記高周波映像信号に対してノイズ低減処理を行うノイズ低減手段を備え、
前記合成低周波数映像信号と前記ノイズ低減手段によりノイズが低減された高周波映像信号とを加算することを特徴とする請求項１乃至請求項１１の何れか１項に記載の画像処理装置。
【請求項１３】
露光量の異なる複数の映像信号を合成することでダイナミックレンジを拡大する画像処理プログラムであって、
前記複数の映像信号のそれぞれから低周波数成分を抽出して複数の低周波映像信号を生成するステップと、
前記複数の低周波映像信号を合成し、合成低周波映像信号を生成するステップと、
前記複数の映像信号から第一の映像信号を抽出するステップと、
前記第一の映像信号から高周波数成分を抽出して高周波映像信号を生成するステップと、
前記合成低周波映像信号と前記高周波映像信号とを合成することにより合成映像信号を生成するステップと、
をコンピュータに実行させる画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１０−２２０２０７（Ｐ２０１０−２２０２０７Ａ）
【公開日】平成２２年９月３０日（２０１０．９．３０）
【国際特許分類】
【出願番号】特願２０１０−３１６４５（Ｐ２０１０−３１６４５）
【出願日】平成２２年２月１６日（２０１０．２．１６）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２２年９月３０日（２０１０．９．３０）
【国際特許分類】
【出願日】平成２２年２月１６日（２０１０．２．１６）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]