撮像装置及び画像処理方法
【課題】複数枚の画像によるダイナミックレンジ拡大画像を合成するとき、画像間のずれを検知し、位置合わせ処理を高速に行える撮像装置を提供する。
【解決手段】画像情報を取得する第一の画像情報取得手段１０６と、第一の画像情報取得手段で取得した画像情報から画像情報の特徴量を求め、画像の特徴量による画像の特徴を現す部分領域を特定する画像特定手段１０５と、画像情報を取得する第二の画像情報取得手段１０１と、第二の画像情報取得手段により、露光時間の長さが異なる複数画像情報を入力し、前記画像特定手段で特定した画像部分領域情報を用いて、画像間のずれ量を検知する画像位置ずれ手段１０２と、画像位置ずれ手段で検知された画像間のずれ量による画像間ずれ補正処理する補正手段１０３と、
前記補正手段でずれ補正処理された画像を用いて、広いダイナミックレンジ画像を合成処理する画像合成処理手段１０４とを備える。
【解決手段】画像情報を取得する第一の画像情報取得手段１０６と、第一の画像情報取得手段で取得した画像情報から画像情報の特徴量を求め、画像の特徴量による画像の特徴を現す部分領域を特定する画像特定手段１０５と、画像情報を取得する第二の画像情報取得手段１０１と、第二の画像情報取得手段により、露光時間の長さが異なる複数画像情報を入力し、前記画像特定手段で特定した画像部分領域情報を用いて、画像間のずれ量を検知する画像位置ずれ手段１０２と、画像位置ずれ手段で検知された画像間のずれ量による画像間ずれ補正処理する補正手段１０３と、
前記補正手段でずれ補正処理された画像を用いて、広いダイナミックレンジ画像を合成処理する画像合成処理手段１０４とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、画像処理方法に関するものである。
【背景技術】
【０００２】
一般に、デジタルカメラ等の撮影装置においては、ＣＣＤ撮像素子などの固体撮像素子が用いられているが、固体撮像素子のダイナミックレンジは銀塩写真フィルムに比べ極めて狭いという問題点がある。そこで、従来から撮影装置のダイナミックレンジ拡大のために種々の技術が開発されている。
【０００３】
例えば、特許文献１，２に開示されているように、同一被写体に対して露光量の異なる複数回の撮影、すなわち長時間露光と短時間露光の撮影を行って合成処理をし、通常の撮影画像に比べてダイナミックレンジの拡大を図るという方式がある。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記複数回撮影によるダイナミックレンジの拡大方式では、ダイナミックレンジの拡大効果はあるが、複数回の撮影のため、撮影時に手ぶれが生じないように注意する必要がある。手ぶれが発生すると、そのまま合成した画像は２重像になってしまう。三脚などを使って撮影装置を固定すれば、ダイナミックレンジの拡大を図りつつも手ぶれを抑制して画像間のずれを防ぐことができるが、三脚を使えない場合はよくある。
【０００５】
そこで、画像間のずれ量を測定し、画像間の位置合わせ後、画像合成する方法も考えられるが、得られてから画像間位置ずれの測定とずれ補正処理を撮影装置の内部で行うと、処理時間が長くなるという課題がある。
【０００６】
本発明は、複数枚の画像によるダイナミックレンジ拡大画像を合成するとき、画像間のずれを検知し、位置合わせ処理を高速に行える画像処理方法と撮像装置を提供することを、その目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明にかかる撮影装置では、画像情報を取得する第一の画像情報取得手段と、第一の画像情報取得手段で取得した画像情報から画像情報の特徴量を求め、画像の特徴量による画像の特徴を現す部分領域を特定する画像特定手段と、画像情報を取得する第二の画像情報取得手段と、第二の画像情報取得手段により、露光時間の長さが異なる複数画像情報を入力し、画像特定手段で特定した画像部分領域情報を用いて画像間のずれ量を検知する画像位置ずれ手段と、画像位置ずれ手段で検知された画像間のずれ量による画像間ずれ補正処理する補正手段と、補正手段でずれ補正処理された画像を用いて広いダイナミックレンジ画像を合成処理する画像合成処理手段とを備えている。
【０００８】
本発明にかかる撮影装置において、第一の画像情報取得手段で取得した画像情報の特徴量が画像のコントラストの場合、画像特定手段は、画像情報をブロックに分割し、ブロック毎にコントラストの平均値を求め、コントラスト平均値の高いブロック位置を特定する画像部分領域を特定し、補正手段は、画像特定手段で特定した部分領域情報を用いて、画像間のずれ量を検知、補正する。
【０００９】
本発明にかかる撮影装置において、第一の画像情報取得手段で取得した画像情報の特徴量が画像に映った人物の顔領域の場合、画像特定手段は、顔領域を画像の特徴を現す部分領域とし、補正手段は、画像特定手段で特定した部分領域情報を用いて、画像間のずれ量を検知、補正する。
【００１０】
本発明に係る画像処理方法は、画像情報を取得する第一の画像情報取得ステップと、第一の画像情報取得ステップで取得した画像情報から画像情報の特徴量を求め、画像の特徴量による画像の特徴を現す部分領域を特定する画像特定ステップと、画像情報を取得す第二の画像情報取得ステップと、第二の画像情報取得ステップにより露光時間の長さが異なる複数画像情報を入力し、画像特定ステップで特定した画像部分領域情報を用いて、画像間のずれ量を検知する画像位置ずれステップと、画像位置ずれステップで検知された画像間のずれ量による画像間ずれ補正処理する補正ステップと、補正ステップでずれ補正処理された画像を用いて、広いダイナミックレンジ画像を合成処理する画像合成処理ステップを備えている。
【００１１】
本発明に係る画像処理方法において、第一の画像情報取得ステップで取得した画像情報の特徴量が画像のコントラストの場合、画像特定ステップでは、画像情報をブロックに分割し、ブロック毎にコントラストの平均値を求め、コントラスト平均値の高いブロック位置を特定する画像部分領域を特定し、補正ステップでは、画像特定ステップで特定した部分領域情報を用いて、画像間のずれ量を検知、補正する。
【００１２】
本発明に係る画像処理方法において、第一の画像情報取得ステップで取得した画像情報の特徴量が画像に映った人物の顔領域の場合、画像特定ステップでは、顔領域を画像の特徴を現す部分領域とし、補正ステップでは、画像特定ステップで特定した部分領域情報を用いて、画像間のずれ量を検知、補正する。
【００１３】
本発明にかかる画像形成プログラムでは、コンピュータに、上記の何れかに記載の画像処理方法を実行させることを特徴とし、本発明にかかる、コンピュータによって読み取り可能な画像処理プログラムを記録する記憶媒体として、上記画像処理プログラムが記録されていることを特徴としている。
【００１４】
本発明にかかる画像処理方法では、第一の画像情報取得手段で画像の特徴を検出するための画像を入力し、入力した画像の縮小処理を行う。次に縮小した画像から画像の特徴を抽出する。特徴量は画像のコントラスト、もしくは人物の顔とする。例えば、画像をブロックに分割し、各ブロック内でコントラスト値の平均値を求め、ブロックの座標と各ブロックのコントラストの平均値を出力する。別の例としては、画像内に人物の顔領域を抽出し、顔領域の座標を出力する。
【００１５】
本発明では、第二の画像情報取得手段による異なる露光時間の複数枚の画像を入力する。ここでは露光時間の長い画像と露光時間の短い画像を入力する。縮小した画像から画像の特徴を抽出した画像の特徴量を用いて、画像間ずれ量を測定する。ここでは、分割された画像のブロックごとのコントラスト平均値を高い順で並べ、コントラストの高い少数ブロックを選択する。選択されたブロックの座標付近における、第二の画像情報取得手段で入力した画像のずれ検知を行う。選択されたブロックは画像の全画面の一部しか占めない。この部分はコントラストの高いブロックなので、それらのブロックを利用することで、効果的なずれ計測ができる。また、全画像に対してずれ検知しなくてもよいので、処理時間の短縮ができる。
【００１６】
顔検知モード付撮影装置、つまり顔領域を検知し、顔領域に合わせて焦点、明るさ、色の調整の可能な撮影装置では、コントラストの高いブロック検出の代わりに、画像から人間の顔領域を検知し、顔領域付近で、第二の画像情報取得手段で入力した画像のずれ量計測を行う。顔領域は画像の全領域の一部にしかないので、顔領域付近でずれ量測定の処理時間は全画面でのずれ検知より大幅に処理時間短縮できる。顔領域は注目領域なので、顔領域に合わせて、位置ずれ補正を行うと、全画面の位置ずれ補正誤差があっても、顔領域に確実に精度良く位置ずれ補正ができる。また検知された画像間のずれ量を用いて、画像間のずれ補正を行い、広いダイナミックレンジ画像を合成する。
【発明の効果】
【００１７】
本発明によれば、画像情報を取得する第一の画像情報取得手段で画像の特徴を検出するための画像を入力し、この画像から画像特定手段で特徴量を検出して、画面上にもっとも特徴のある領域を抽出するので、特徴領域が画像全体の一部しか占めなくなり、この領域でのずれ検知が効果的に行える。このため、複数枚の画像によるダイナミックレンジ拡大画像を合成するとき、画像間の位置合わせ処理を高速に行え、処理時間の短縮を図ることができる。
【００１８】
本発明によれば、画像情報を取得する第二の画像情報取得手段で、露光時間の長い画像と露光時間の短い画像の複数画像情報を入力し、第一の画像情報取得手段で抽出された特徴領域の付近で、画像間のずれ量を求めてずれ補正を行う。このため、画像間のずれを補正することで、ダイナミックレンジ拡大画像を合成するとき、２重像を解消することができる。また、顔検知を設定するとき、画像から検知された顔領域を特徴領域とすると、顔領域は画面全体の一部しかないので、顔領域付近でずれ検知処理すれば、複数枚の画像によるダイナミックレンジ拡大画像を合成するとき、画像間の位置合わせ処理を高速に行え、処理時間の短縮を図ることができる。
【００１９】
このため、効果的、高速な画像のずれ検知、ずれ補正を行えるので、広いダイナミックレンジ拡大画像を合成するとき、合成画像の２重像を解消でき、複数枚の画像によるダイナミックレンジ拡大画像を合成するとき、画像間のずれを検知し、位置合わせ処理を高速に行える画像処理方法と撮像装置を提供することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の第一の実施形態にかかる撮影装置に含まれる画像処理部の構成を示すブロック図である。
【図２】画像特徴検知部の一構成例を示すブロック図である。
【図３】画像特徴検知部において画像のコントラスト情報を特徴量として抽出する際の、画像を分割した状態と、その処理内容を説明するためのブロック図である。
【図４】画像特徴検知部におけるエッジ抽出フィルタによるエッジ抽出の例を説明するための図である。
【図５】エッジフィルタ処理後のエッジ画像を示す図である。
【図６】（ａ）は選択されたコントラストの高いブロック位置を第二の画像入力部で入力した１つの画像に示した図、（ｂ）は第二の画像入力部で入力した別な画像にコントラストの高いブロック位置を示した図である。
【図７】画像合成処理部で画像合成に用いる重み関数を示す図である。
【図８】第一の実施形態が適用された撮影装置の構成を示すブロック図である。
【図９】図８に示す撮影装置の内部で実行される画像ずれ検知、ずれ補正及び画像合成に係る処理内容を示すフローチャートである。
【図１０】本発明の第二の実施形態にかかる撮影装置に含まれる画像処理部の構成を示すブロック図である。
【図１１】（ａ）は選択された顔領域の位置を第二の画像入力部で入力した１つの画像に示した図、（ｂ）は第二の画像入力部で入力した別な画像に顔領域の位置を示した図である。
【図１２】第二の実施形態が適用された撮影装置の構成を示すブロック図である。
【図１３】図１２に示す撮影装置の内部で実行される顔領域認識、画像ずれ補正及び画像合成に係る処理内容を示すフローチャートである。
【発明を実施するための形態】
【００２１】
以下、本発明にかかる撮像装置、画像処理方法および画像処理プログラムを実施するための形態について、図面を参照して詳細に説明する。各図中、同一又は相当する部分には同一の符号を付し、その重複説明は簡略化ないし省略する。
【００２２】
また、以下に説明する各撮像装置には、予め本発明にかかる画像処理プログラムがインストールされて記憶されている。画像処理プログラムはコンピュータで読み取り可能なもので、周知の図示しないＣＤやＤＶＤなどの光学的な記憶媒体となるメディアに記憶されていて、各撮像装置の記憶手段にインストールされることで起動して、本発明に係る画像処理方法が実行されるように構成されている。
（第一の実施の形態）
本発明が適用される撮影装置となるデジタルカメラ２００が備えている画像処理部１００の構成例について説明する。図１は、本実施の形態にかかる画像処理部１００の構成を示すブロック図である。
【００２３】
図１において、画像処理部１００は、第二の画像情報取得手段となる第二の画像入力部１０１、画像位置ずれ手段となる画像ずれ検知部１０２、補正手段となる画像ずれ補正部１０３、画像合成処理手段となる画像合成理部１０４、画像特定手段となる画像特徴検知部１０５、第一の画像情報取得手段となる第一の画像入力部１０６及び画像出力部１０７を備えている。
【００２４】
第二の画像入力部１０１はデジタルカメラ２００による画像を入力するもので、広いダイナミックレンジ画像を合成するための露光時間異なる複数の画像情報を入力するためのものである。ここでは、露光時間の長い画像と短い画像のそれぞれの情報を入力する。
【００２５】
第一の画像入力部１０６は、第二の画像入力部１０１と同じ撮影対象を撮影して、その画像を入力するためのものである。画像特徴検知部１０５の構成と処理の詳細について図２を用いて説明する。画像特徴検知部１０５は、第一の画像入力部１０６から入力された画像を縮小画像生成部２０１により画像を縮小し、縮小画像に対して、その特徴量を特徴情報として画像特徴情報抽出部２０２を用いて抽出する。本形態において、画像特徴情報抽出部２０２は、画像のコントラスト情報、つまりエッジ情報を特徴量として抽出する。抽出方法としては、縮小画像に対して、エッジ抽出フィルタによるエッジ抽出フィルタ処理を行う。本形態では、エッジ抽出の例として、表１のエッジ抽出フィルタとなる周知のラプラシアンフィルタを使用する。
【００２６】
【表１】
【００２７】
本形態では、エッジ抽出フィルタ処理で用いるエッジ抽出フィルタで抽出したエッジ情報（画像情報）に対して図３に示すようにブロック分割を行い、各ブロック内で、エッジ抽出フィルタ処理後のエッジ情報をブロック内で平均化する処理を行なう。本形態では、エッジ抽出フィルタの例としてラプラシアンフィルタの例を説明したが、他のエッジ抽出フィルタを使っても良い。
【００２８】
次にエッジ抽出フィルタによるエッジ抽出の例を説明する。
【００２９】
図４は横軸にx座標、縦軸に輝度値をとった図である。図４に示すような特性の画像に対して、エッジ抽出すると、図５に示すようなエッジが得られる。つまり、図４において輝度値が屈曲して変化する部分をエッジとして捉える。このエッジの平均値を図３に示す。図３において、色の濃いブロックはコントラストの高いブロックを示す。
【００３０】
図１に示す画像ずれ検知部１０２は、第二の画像入力部１０１により入力された複数枚画像に対して、画像間のずれ量を検知する。ここではまず画像特徴検知部１０５から入力した図３に示す画像特徴検知結果を入力する。その結果からコントラスト平均値の高いブロック（色の濃いブロック）を選択する。選択されたコントラストの高いブロック位置は、第二の画像入力部１０１で入力した図６（ａ）に示す画像１での位置を黒いブロックＡ，Ｂ，Ｃ，Ｄで示す。第二の画像入力部１０１により入力されたもう一枚の画像２の画面上の対応するブロックの位置を、図６（ｂ）の画像２に黒いブロックＡ’，Ｂ’，Ｃ’，Ｄ’で示す。
【００３１】
次にコントラストの高い黒いブロック付近で、画像間のずれ量検知を行う。図６（ａ）の画像１のコントラストの高い黒いブロックＡ，Ｂ，Ｃ，Ｄをスタート位置とすると、以下のずれ検知法で図６（ｂ）の画像２のブロックＡ’，Ｂ’，Ｃ’，Ｄ’のずれ量を検知する。
【００３２】
このずれ量の検知方法を数１に示す。図６（ａ）の画像１のコントラストの高い黒いブロックサイズをＭ×Ｎとする。領域内の画像１の画素値ｆ（ｉ，ｊ）と画像２の画素値ｇ（ｉ，ｊ）を用いて下記数１の値を計算する。ここで、（ｉ，ｊ）は画像１上での画素の座標値である。ｇ（ｉ，ｊ）は画像２上での画素の座標値である。Ｅ（ｕ，ｖ）は最小となるときの位置（ｕ，ｖ）を求めている。この値は、画像１と画像２の間の対応するブロックのずれ量となる。
【００３３】
【数１】
【００３４】
求めた各黒いブロックのずれ量から、画像２と画像１との間の全体のずれ量を計算する。各ブロックのずれ量から画像の平均移動と回転量を求めて、画像間全体のずれ量を求める。
【００３５】
画像ずれ補正部１０３は、画像１と画像２の画像間ずれを補正するものである。ここでは、画像ずれ検知部１０２で検知した画像間のずれ量を用い、画像２を全体的にずれ量分で補正する。つまり画像ずれ検知部１０２で検知した画像の平行移動と回転量を用いて、画像１と画像２の間のずれに対して補正が行われる。補正方法として、画像２を測定された画像の平行移動量と回転量を用いて、画像２のずれを補正する。
【００３６】
画像合成処理部１０４は、画像ずれの補正後に、ダイナミックレンジ拡大画像合成処理を行うものである。ここで、長い露光時間で撮影した画像と、短い露光時間で撮影した画像の合成例を説明する。図７は画像合成の重み関数を示し、横軸は画像の輝度値であり、縦軸は画像合成の重み係数である。
【００３７】
露光時間の異なる画像を合成するとき、まず下記数２で露光時間の短い画像の正規化を行う。ここで、Ｉ'Ｓは正規化した短い露光画像の画素値であり、ＩＳは正規化前の画素値である。Ｋは正規化係数であり、長い露光時間と短い露光時間の比である。
【００３８】
【数２】
【００３９】
次に正規化した画像を、図７に示す重み関数を用いて画像を合成する。図７に示すように画素の輝度値はＭ２より大きい場合、露光時間の短い画像の画素値を選択する。輝度知Ｍ１より小さい場合、露光時間の長い画像の画素値を選択する。輝度値はＭ１とＭ２の間であれば、２枚の画像の加重平均で画素値を求める。加重平均の重み係数は、図７に示すＭ１とＭ２の間の斜線部分の重み係数を使う。輝度知Ｍ１とＭ２は実験で予め決めている。このようにして、ダイナミックレンジ拡大用の複数の画像を画像合成処理部１０４で合成する。
図１に示す画像出力部１０７は処理した画像やそれ以外の画像を出力するものである。
【００４０】
次に、上述した画像処理を実施するデジタルカメラ２００のハードウェア構成について説明する。
図８は、本実施の形態にかかるデジタルカメラ２００のハードウェア構成を示すブロック図である。図８に示すように、デジタルカメラ２００は、撮影光学系１、メカシャッタ２、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）３、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ：相関２重サンプリング）回路４、Ａ／Ｄ変換器５、駆動源となるモータ６、タイミング信号を発生するタイミング信号発生器７、信号処理回路８、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１１、ＳＤＲＡＭ（ＳｙｎｃｈｒｏｎｏｕｓＤＲＡＭ）１２、画像圧縮伸張回路１３、メモリカード１４、操作部１５、液晶ディスプレイ１６（以下、「ＬＣＤ１６」と記す）を備えている。
【００４１】
そして、被写体光Ｌが撮影光学系１を通してＣＣＤ３に入射される。撮影光学系１とＣＣＤ３との間には、メカシャッタ２が配置されており、このメカシャッタ２によりＣＣＤ３への入射光を遮断することができる。なお、撮影光学系１及びメカシャッタ２は、モータ６でそれぞれ駆動される。
【００４２】
ＣＣＤ３は、撮像面に結像された光学像を電気信号に変換して、アナログの画像データとして出力するものである。ＣＣＤ３から出力された画像情報は、ＣＤＳ回路４によりノイズ成分を除去され、Ａ／Ｄ変換器５によりデジタル値に変換された後、画像処理回路８に対して出力される。
【００４３】
信号処理回路８は、画像データを一時格納するＳＤＲＡＭ１２を用いて、ＹCrCb変換処理、ホワイトバランス制御処理、コントラスト補正処理、エッジ強調処理、色変換処理などの各種画像処理を行う機能を備えている。なお、ホワイトバランス処理は、画像情報の色濃さを調整し、コントラスト補正処理は、画像情報のコントラストを調整する画像処理である。エッジ強調処理は、画像情報のシャープネスを調整し、色変換処理は、画像情報の色合いを調整する周知の画像処理である。画像処理回路８は、信号処理や画像処理が施された画像情報を液晶ディスプレイ１６（以下、「ＬＣＤ１６」と略記する）に表示する。また、信号処理、画像処理が施された画像情報は、画像圧縮伸張回路１３を介して、メモリカード１４に記録される。画像圧縮伸張回路１３は、操作部１５から取得した指示によって、画像処理回路８から出力される画像情報を圧縮してメモリカード１４に出力すると共に、メモリカード１４から読み出した画像情報を伸張して信号処理回路８に出力する回路である。
【００４４】
ＣＣＤ３、ＣＤＳ回路４及びＡ／Ｄ変換器５は、タイミング信号発生器７を介してＣＰＵ９によってタイミングが制御されている。さらに、画像処理回路８、画像圧縮伸張回路１３、メモリカード１４も、ＣＰＵ９によって制御されている。
【００４５】
デジタルカメラ２００では、ＣＰＵ９はプログラムに従って各種演算処理を行い、各種プログラムなどを記憶手段となる読み出し専用メモリであるＲＯＭ１１に格納し、読み出し書き込み自在のメモリであるＲＡＭ１０が有する各種の処理過程で利用するワークエリア、各種データ格納エリアなどに各種データを展開する。これら画像処理回路８から操作部１５までは、バスラインによって相互に通信可能に接続されている。本形態では、画像処理プログラムがＲＯＭ１１に製品出荷前から記憶されている。無論、プログラムのバージョンアップを図る場合には、製品出荷後に最新の画像処理プログラムがＲＯＭ１１にインストールされることになる。
【００４６】
このような構成のデジタルカメラ２００による処理ステップを図９に示すフローチャートに沿って説明する。
【００４７】
まずデジタルカメラ２００では、画像の特徴情報を取得するための画像情報を第一の画像入力部１０１で入力し、画像処理回路８を通して縮小した画像情報をＳＤＲＡＭ１２のメモリ領域に一時的に保存する。このメモリ領域上の縮小画像データを再度、画像処理回路８により画像のブロックごとのコントラスト平均値を算出して求め、求めたブロック毎のコントラスト平均値をＳＤＲＡＭ１２の画像メモリ領域に保存する。これにより、ブロックの番号とブロック毎のコントラスト平均値が保存される。
【００４８】
次に本撮影を行う。ここでは、画像露光量の異なる２枚の画像を撮影し、第二の画像入力部１０１から入力された撮影画像をＳＤＲＡＭ１２に一時保存する。
【００４９】
デジタルカメラ２００では、ＲＯＭ１１に予め記憶された画像処理プログラムの１つである画像ずれ検知プログラムを起動してずれ検知処理を行う。この画像ずれ検知プログラムは、ＳＤＲＡＭ１２に保存したブロック番号とブロックごとのコントラスト平均値からコントラスト値のもっとも高い複数のブロックを選択する。選択されたブロックの位置で、ＳＤＲＡＭ１２に保存した本撮影の複数枚の画像情報からずれ量検知を行う。すなわち画像のずれ量を求めて、ブロックのずれ量から画像の平均移動係数と回転係数を求める。
【００５０】
次に、求めたずれ量から求めた画像間の平行移動係数と回転係数およびＲＯＭ１１に保存してある画像合成重み係数パラメータ（図７参照）を呼び出し、ＳＤＲＡＭ１２に保存してある異なる露光時間の画像情報とともに、画像処理回路８に転送し、画像処理回路８の内部で、画像の平行移動、回転処理による画像間のずれ補正を行い、合成重み係数による広いダイナミックレンジ画像合成処理を行う。各種処理を行われた画像はＬＣＤ１６に表示されることで画像出力されることとなる。
（第２の実施の形態）
本実施の形態に係る撮影装置となるデジタルカメラ２０１は、人間の顔を検知して、画像を入力してダイナミックレンジ拡大画像合成する場合、画像間の位置ずれを高速に検知し、画像ずれを補正するものである。
【００５１】
第２の実施形態にかかるデジタルカメラ２０１が備えている画像処理部１００Ａの構成例について図１０を用いて説明する。図１０は、本形態に係る画像処理部１００Ａの構成を示すブロック図である。画像処理部１００Ａは、第二の画像入力部１０１、画像ずれ検知部１０２、画像ずれ補正部１０３、画像合成理部１０４、第一の画像入力部１０６、画像出力部１０７とともに、ここでは、画像特徴検知部として顔領域検知部１０５Ａを備えている。
【００５２】
第二の画像入力部１０１はデジタルカメラ２０１による画像を入力するもので、広いダイナミックレンジ画像を合成するための露光時間の異なる複数の画像情報を入力するものである。ここでは、露光時間の長い画像と露光時間の短い画像のそれぞれの情報を入力する。
【００５３】
第一の画像入力部１０６は、第二の画像入力部１０１と同じ撮影対象を撮影し、画像を入力するものである。画像顔領域検知部１０５Ａは入力した画像を縮小し、縮小画像に対して、人間の顔領域を検知し、検知した顔領域の座標を出力する機能を備えている。なお、人間の顔を検知する構成については既に公知であるので、ここではその説明を省略する。
【００５４】
画像ずれ検知部１０２は第二の画像入力部１０１により入力した複数枚の画像情報に対して、画像間のずれ量を検知する。ここでは、まず顔領域検知部１０５Ａから入力した顔領域検知結果を入力する。その結果を用いて、図１１（ａ）の画像１に示す顔領域と第二の画像入力部１０１が入力したもう一枚の画像２の画面上の対応する顔領域の位置を図１１（ｂ）に示す画像２に示す。
【００５５】
次に画像１の検知された顔領域付近で、画像ずれ検知を行う。図１１（ａ）の画像１の顔領域をスタート位置として、以下のずれ検知法で図１１（ｂ）画像２のずれ量を検知する。
【００５６】
ずれ量の検知方法には上記の数１を用いる。ここで画像１の顔領域サイズはＭ×Ｎとする。領域内の画像１の画素値ｆ（ｉ，ｊ）とずれ対象となる画像２の画素値ｇ（ｉ，ｊ）を用いて数１の値を計算する。ここで、（ｉ，ｊ）は画像１上での画素の座標値である。Ｅ（ｕ，ｖ）は最小となるときの位置（ｕ，ｖ）を求める。この値は画像１と画像２の間のずれ量となる。
【００５７】
求めた各顔領域のずれ量から、画像２と画像１間の全体のずれ量を計算する。画像が複数ある場合、各顔領域のずれ量を平均すれば、画像間全体のずれを求められる。
【００５８】
画像のずれ量を求めた後、画像のずれ補正、画像合成処理は、第１の実施形態と同一の処理内容となる。
【００５９】
次に、上述した画像処理を実施するデジタルカメラ２０１のハードウェア構成について説明する。図１２は、本実施の形態にかかるデジタルカメラ２０１のハードウェア構成を示すブロック図である。図１２に示すように、デジタルカメラ２０１は、撮影光学系１、メカシャッタ２、ＣＣＤ３、ＣＤＳ回路４、Ａ／Ｄ変換器５、駆動源となるモータ６、タイミング信号を発生するタイミング信号発生器７、信号処理回路８、ＣＰＵ９、ＲＡＭ１０、ＲＯＭ１１、ＳＤＲＡＭ１２、画像圧縮伸張回路１３、メモリカード１４、操作部１５、ＬＣＤ１６を備えている。
【００６０】
そして、被写体光Ｌ１が、まず撮影光学系１を通してＣＣＤ３に入射される。また、撮影光学系１とＣＣＤ３との間には、メカシャッタ２が配置されており、このメカシャッタ２によりＣＣＤ３への入射光を遮断することができる。なお、撮影光学系１及びメカシャッタ２は、モータ６より駆動される。
【００６１】
ＣＣＤ３は、撮像面に結像された光学像をアナログの画像データとして出力する。ＣＣＤ３から出力された画像情報は、ＣＤＳ回路４によりノイズ成分を除去され、Ａ／Ｄ変換器５によりデジタル値に変換された後、画像処理回路８に対して出力される。
【００６２】
画像処理回路８は、画像情報を一時格納するＳＤＲＡＭ１２を用いて、ＹＣｒＣｂ変換処理、ホワイトバランス制御処理、コントラスト補正処理、エッジ強調処理、色変換処理などの各種画像処理を行う。なお、ホワイトバランス処理は、画像情報の色濃さを調整し、コントラスト補正処理は、画像情報のコントラストを調整する画像処理である。エッジ強調処理は、画像情報のシャープネスを調整し、色変換処理は、画像情報の色合いを調整する画像処理である。画像処理回路８は、信号処理や画像処理が施された画像情報をＬＣＤ１６に表示する。また、信号処理、画像処理が施された画像情報は、画像圧縮伸張回路１３を介して、メモリカード１４に記録される。画像圧縮伸張回路１３は、操作部１５から取得した指示によって、画像処理回路８から出力される画像情報を圧縮してメモリカード１４に出力すると共に、メモリカード１４から読み出した画像情報を伸張して信号処理回路８に出力する回路である。
ＣＣＤ３、ＣＤＳ回路４及びＡ／Ｄ変換器５は、タイミング信号発生器７を介してＣＰＵ９によってタイミングが制御されている。さらに、画像処理回路８、画像圧縮伸張回路１３、メモリカード１４も、ＣＰＵ９によって制御されている。
【００６３】
デジタルカメラ２０１では、ＣＰＵ９はプログラムに従って各種演算処理を行い、各種プログラムなどを記憶手段となる読み出し専用メモリであるＲＯＭ１１に格納し、読み出し書き込み自在のメモリであるＲＡＭ１０が有する各種の処理過程で利用するワークエリア、各種データ格納エリアなどに各種データを展開する。これら画像処理回路８から操作部１５までは、バスラインによって相互に通信可能に接続されている。本形態では、画像処理プログラムがＲＯＭ１１に製品出荷前から記憶されている。無論、プログラムのバージョンアップを図る場合には、製品出荷後に最新の画像処理プログラムがＲＯＭ１１にインストールされることになる。
【００６４】
このような構成のデジタルカメラ２０１による処理ステップを図１３に示すフローチャートに沿って説明する。
【００６５】
デジタルカメラ２０１では、第一の画像入力部１０１により顔領域検知するための画像データが入力されると、画像処理入力回路８を通して、縮小した画像データをメモリ領域ＳＤＲＡＭ１２に一時的に保存する。次にＲＯＭ１１に予め記憶されている画像処理プログラムを構成する顔検知プログラム１１を起動し、顔検知処理を行う。顔検知結果、つまり検知された顔領域を示す図１１（ａ）の座標値Ａ，Ｂ，Ｃ，ＤをＳＤＲＡＭ１２に保存する。
【００６６】
次に第二の画像入力部１０１による本撮影を行い、露光量の異なる２枚の画像を撮影し、撮影した画像データをＳＤＲＡＭ１２に一時保存する。次にＲＯＭ１１に予め記憶されている画像処理プログラムを構成する画像ずれ検知プログラムを起動し、ずれ検知処理を行う。ずれ検知プログラムでは、ＳＤＲＡＭ１２に保存した顔領域の座標値Ａ，Ｂ，Ｃ，Ｄを入力する。そして顔領域の位置データを用いて、ＳＤＲＡＭ１２に保存した画像からずれ量検知を行う。
【００６７】
次に求めたずれ量およびＲＯＭ１１に保存してある画像合成重み係数パラメータ（図７参照）を呼び出し、ＳＤＲＡＭ１２にある異なる露光時間の画像、求めた画像のずれ量、重み係数とともに、画像処理回路８に転送し、画像処理回路８の内部で、画像ずれ補正と画像合成処理を行う。各種処理を行われた画像はＬＣＤ１６に表示されることで画像出力されることとなる。
【００６８】
このように、上記各形態では、画像情報を取得する第一の画像入力部１０６で画像の特徴を検出するための画像を入力し、この画像から画像特徴検知部１０５で特徴量を検出して、画面上にもっとも特徴のある領域を抽出するので、特徴領域が画像全体の一部しか占めなくなり、この領域でのずれ検知が効果的に行える。このため、複数枚の画像によるダイナミックレンジ拡大画像を合成するとき、画像間の位置合わせ処理を高速に行え、処理時間の短縮を図ることができる。
【００６９】
また、画像情報を取得する第二の画像入力部１０１で、露光時間の長い画像と露光時間の短い画像の複数の画像情報を入力し、第一の画像入力部１０６で抽出された特徴領域の付近で、画像ずれ検知部１０２と画像ずれ補正部１０３により画像間のずれ量を求めてずれ補正を行う。このため、画像間のずれを補正することで、画像合成処理部１０４でダイナミックレンジ拡大画像を合成するとき、２重像を解消することができる。
【００７０】
このため、効果的、高速な画像のずれ検知、ずれ補正を行えるので、広いダイナミックレンジ拡大画像を合成するとき、合成画像の２重像を解消でき、複数枚の画像によるダイナミックレンジ拡大画像を合成するとき、画像間のずれを検知し、位置合わせ処理を高速に行える画像処理方法と撮像装置を提供することができる。
【００７１】
また、第二の実施形態のように、顔検知を設定するとき、画像から検知された顔領域を特徴領域とすると、顔領域は画面全体の一部しか存在しないので、顔領域付近でずれ検知処理すれば、複数枚の画像によるダイナミックレンジ拡大画像を合成するとき、画像間の位置合わせ処理を高速に行え、処理時間の短縮を図ることができる。
【符号の説明】
【００７２】
１０１ 第二の画像情報取得手段
１０２ 画像位置ずれ手段
１０３ 補正手段
１０４ 画像合成処理手段
１０５ 画像特定手段
１０６ 第一の画像情報取得手段
２００，２０１ 撮影装置
３００ 記憶媒体
【先行技術文献】
【特許文献】
【００７３】
【特許文献１】特開２０００−９２３７８号公報
【特許文献２】特許第３９７４７９９号公報
【技術分野】
【０００１】
本発明は、撮像装置、画像処理方法に関するものである。
【背景技術】
【０００２】
一般に、デジタルカメラ等の撮影装置においては、ＣＣＤ撮像素子などの固体撮像素子が用いられているが、固体撮像素子のダイナミックレンジは銀塩写真フィルムに比べ極めて狭いという問題点がある。そこで、従来から撮影装置のダイナミックレンジ拡大のために種々の技術が開発されている。
【０００３】
例えば、特許文献１，２に開示されているように、同一被写体に対して露光量の異なる複数回の撮影、すなわち長時間露光と短時間露光の撮影を行って合成処理をし、通常の撮影画像に比べてダイナミックレンジの拡大を図るという方式がある。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記複数回撮影によるダイナミックレンジの拡大方式では、ダイナミックレンジの拡大効果はあるが、複数回の撮影のため、撮影時に手ぶれが生じないように注意する必要がある。手ぶれが発生すると、そのまま合成した画像は２重像になってしまう。三脚などを使って撮影装置を固定すれば、ダイナミックレンジの拡大を図りつつも手ぶれを抑制して画像間のずれを防ぐことができるが、三脚を使えない場合はよくある。
【０００５】
そこで、画像間のずれ量を測定し、画像間の位置合わせ後、画像合成する方法も考えられるが、得られてから画像間位置ずれの測定とずれ補正処理を撮影装置の内部で行うと、処理時間が長くなるという課題がある。
【０００６】
本発明は、複数枚の画像によるダイナミックレンジ拡大画像を合成するとき、画像間のずれを検知し、位置合わせ処理を高速に行える画像処理方法と撮像装置を提供することを、その目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明にかかる撮影装置では、画像情報を取得する第一の画像情報取得手段と、第一の画像情報取得手段で取得した画像情報から画像情報の特徴量を求め、画像の特徴量による画像の特徴を現す部分領域を特定する画像特定手段と、画像情報を取得する第二の画像情報取得手段と、第二の画像情報取得手段により、露光時間の長さが異なる複数画像情報を入力し、画像特定手段で特定した画像部分領域情報を用いて画像間のずれ量を検知する画像位置ずれ手段と、画像位置ずれ手段で検知された画像間のずれ量による画像間ずれ補正処理する補正手段と、補正手段でずれ補正処理された画像を用いて広いダイナミックレンジ画像を合成処理する画像合成処理手段とを備えている。
【０００８】
本発明にかかる撮影装置において、第一の画像情報取得手段で取得した画像情報の特徴量が画像のコントラストの場合、画像特定手段は、画像情報をブロックに分割し、ブロック毎にコントラストの平均値を求め、コントラスト平均値の高いブロック位置を特定する画像部分領域を特定し、補正手段は、画像特定手段で特定した部分領域情報を用いて、画像間のずれ量を検知、補正する。
【０００９】
本発明にかかる撮影装置において、第一の画像情報取得手段で取得した画像情報の特徴量が画像に映った人物の顔領域の場合、画像特定手段は、顔領域を画像の特徴を現す部分領域とし、補正手段は、画像特定手段で特定した部分領域情報を用いて、画像間のずれ量を検知、補正する。
【００１０】
本発明に係る画像処理方法は、画像情報を取得する第一の画像情報取得ステップと、第一の画像情報取得ステップで取得した画像情報から画像情報の特徴量を求め、画像の特徴量による画像の特徴を現す部分領域を特定する画像特定ステップと、画像情報を取得す第二の画像情報取得ステップと、第二の画像情報取得ステップにより露光時間の長さが異なる複数画像情報を入力し、画像特定ステップで特定した画像部分領域情報を用いて、画像間のずれ量を検知する画像位置ずれステップと、画像位置ずれステップで検知された画像間のずれ量による画像間ずれ補正処理する補正ステップと、補正ステップでずれ補正処理された画像を用いて、広いダイナミックレンジ画像を合成処理する画像合成処理ステップを備えている。
【００１１】
本発明に係る画像処理方法において、第一の画像情報取得ステップで取得した画像情報の特徴量が画像のコントラストの場合、画像特定ステップでは、画像情報をブロックに分割し、ブロック毎にコントラストの平均値を求め、コントラスト平均値の高いブロック位置を特定する画像部分領域を特定し、補正ステップでは、画像特定ステップで特定した部分領域情報を用いて、画像間のずれ量を検知、補正する。
【００１２】
本発明に係る画像処理方法において、第一の画像情報取得ステップで取得した画像情報の特徴量が画像に映った人物の顔領域の場合、画像特定ステップでは、顔領域を画像の特徴を現す部分領域とし、補正ステップでは、画像特定ステップで特定した部分領域情報を用いて、画像間のずれ量を検知、補正する。
【００１３】
本発明にかかる画像形成プログラムでは、コンピュータに、上記の何れかに記載の画像処理方法を実行させることを特徴とし、本発明にかかる、コンピュータによって読み取り可能な画像処理プログラムを記録する記憶媒体として、上記画像処理プログラムが記録されていることを特徴としている。
【００１４】
本発明にかかる画像処理方法では、第一の画像情報取得手段で画像の特徴を検出するための画像を入力し、入力した画像の縮小処理を行う。次に縮小した画像から画像の特徴を抽出する。特徴量は画像のコントラスト、もしくは人物の顔とする。例えば、画像をブロックに分割し、各ブロック内でコントラスト値の平均値を求め、ブロックの座標と各ブロックのコントラストの平均値を出力する。別の例としては、画像内に人物の顔領域を抽出し、顔領域の座標を出力する。
【００１５】
本発明では、第二の画像情報取得手段による異なる露光時間の複数枚の画像を入力する。ここでは露光時間の長い画像と露光時間の短い画像を入力する。縮小した画像から画像の特徴を抽出した画像の特徴量を用いて、画像間ずれ量を測定する。ここでは、分割された画像のブロックごとのコントラスト平均値を高い順で並べ、コントラストの高い少数ブロックを選択する。選択されたブロックの座標付近における、第二の画像情報取得手段で入力した画像のずれ検知を行う。選択されたブロックは画像の全画面の一部しか占めない。この部分はコントラストの高いブロックなので、それらのブロックを利用することで、効果的なずれ計測ができる。また、全画像に対してずれ検知しなくてもよいので、処理時間の短縮ができる。
【００１６】
顔検知モード付撮影装置、つまり顔領域を検知し、顔領域に合わせて焦点、明るさ、色の調整の可能な撮影装置では、コントラストの高いブロック検出の代わりに、画像から人間の顔領域を検知し、顔領域付近で、第二の画像情報取得手段で入力した画像のずれ量計測を行う。顔領域は画像の全領域の一部にしかないので、顔領域付近でずれ量測定の処理時間は全画面でのずれ検知より大幅に処理時間短縮できる。顔領域は注目領域なので、顔領域に合わせて、位置ずれ補正を行うと、全画面の位置ずれ補正誤差があっても、顔領域に確実に精度良く位置ずれ補正ができる。また検知された画像間のずれ量を用いて、画像間のずれ補正を行い、広いダイナミックレンジ画像を合成する。
【発明の効果】
【００１７】
本発明によれば、画像情報を取得する第一の画像情報取得手段で画像の特徴を検出するための画像を入力し、この画像から画像特定手段で特徴量を検出して、画面上にもっとも特徴のある領域を抽出するので、特徴領域が画像全体の一部しか占めなくなり、この領域でのずれ検知が効果的に行える。このため、複数枚の画像によるダイナミックレンジ拡大画像を合成するとき、画像間の位置合わせ処理を高速に行え、処理時間の短縮を図ることができる。
【００１８】
本発明によれば、画像情報を取得する第二の画像情報取得手段で、露光時間の長い画像と露光時間の短い画像の複数画像情報を入力し、第一の画像情報取得手段で抽出された特徴領域の付近で、画像間のずれ量を求めてずれ補正を行う。このため、画像間のずれを補正することで、ダイナミックレンジ拡大画像を合成するとき、２重像を解消することができる。また、顔検知を設定するとき、画像から検知された顔領域を特徴領域とすると、顔領域は画面全体の一部しかないので、顔領域付近でずれ検知処理すれば、複数枚の画像によるダイナミックレンジ拡大画像を合成するとき、画像間の位置合わせ処理を高速に行え、処理時間の短縮を図ることができる。
【００１９】
このため、効果的、高速な画像のずれ検知、ずれ補正を行えるので、広いダイナミックレンジ拡大画像を合成するとき、合成画像の２重像を解消でき、複数枚の画像によるダイナミックレンジ拡大画像を合成するとき、画像間のずれを検知し、位置合わせ処理を高速に行える画像処理方法と撮像装置を提供することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の第一の実施形態にかかる撮影装置に含まれる画像処理部の構成を示すブロック図である。
【図２】画像特徴検知部の一構成例を示すブロック図である。
【図３】画像特徴検知部において画像のコントラスト情報を特徴量として抽出する際の、画像を分割した状態と、その処理内容を説明するためのブロック図である。
【図４】画像特徴検知部におけるエッジ抽出フィルタによるエッジ抽出の例を説明するための図である。
【図５】エッジフィルタ処理後のエッジ画像を示す図である。
【図６】（ａ）は選択されたコントラストの高いブロック位置を第二の画像入力部で入力した１つの画像に示した図、（ｂ）は第二の画像入力部で入力した別な画像にコントラストの高いブロック位置を示した図である。
【図７】画像合成処理部で画像合成に用いる重み関数を示す図である。
【図８】第一の実施形態が適用された撮影装置の構成を示すブロック図である。
【図９】図８に示す撮影装置の内部で実行される画像ずれ検知、ずれ補正及び画像合成に係る処理内容を示すフローチャートである。
【図１０】本発明の第二の実施形態にかかる撮影装置に含まれる画像処理部の構成を示すブロック図である。
【図１１】（ａ）は選択された顔領域の位置を第二の画像入力部で入力した１つの画像に示した図、（ｂ）は第二の画像入力部で入力した別な画像に顔領域の位置を示した図である。
【図１２】第二の実施形態が適用された撮影装置の構成を示すブロック図である。
【図１３】図１２に示す撮影装置の内部で実行される顔領域認識、画像ずれ補正及び画像合成に係る処理内容を示すフローチャートである。
【発明を実施するための形態】
【００２１】
以下、本発明にかかる撮像装置、画像処理方法および画像処理プログラムを実施するための形態について、図面を参照して詳細に説明する。各図中、同一又は相当する部分には同一の符号を付し、その重複説明は簡略化ないし省略する。
【００２２】
また、以下に説明する各撮像装置には、予め本発明にかかる画像処理プログラムがインストールされて記憶されている。画像処理プログラムはコンピュータで読み取り可能なもので、周知の図示しないＣＤやＤＶＤなどの光学的な記憶媒体となるメディアに記憶されていて、各撮像装置の記憶手段にインストールされることで起動して、本発明に係る画像処理方法が実行されるように構成されている。
（第一の実施の形態）
本発明が適用される撮影装置となるデジタルカメラ２００が備えている画像処理部１００の構成例について説明する。図１は、本実施の形態にかかる画像処理部１００の構成を示すブロック図である。
【００２３】
図１において、画像処理部１００は、第二の画像情報取得手段となる第二の画像入力部１０１、画像位置ずれ手段となる画像ずれ検知部１０２、補正手段となる画像ずれ補正部１０３、画像合成処理手段となる画像合成理部１０４、画像特定手段となる画像特徴検知部１０５、第一の画像情報取得手段となる第一の画像入力部１０６及び画像出力部１０７を備えている。
【００２４】
第二の画像入力部１０１はデジタルカメラ２００による画像を入力するもので、広いダイナミックレンジ画像を合成するための露光時間異なる複数の画像情報を入力するためのものである。ここでは、露光時間の長い画像と短い画像のそれぞれの情報を入力する。
【００２５】
第一の画像入力部１０６は、第二の画像入力部１０１と同じ撮影対象を撮影して、その画像を入力するためのものである。画像特徴検知部１０５の構成と処理の詳細について図２を用いて説明する。画像特徴検知部１０５は、第一の画像入力部１０６から入力された画像を縮小画像生成部２０１により画像を縮小し、縮小画像に対して、その特徴量を特徴情報として画像特徴情報抽出部２０２を用いて抽出する。本形態において、画像特徴情報抽出部２０２は、画像のコントラスト情報、つまりエッジ情報を特徴量として抽出する。抽出方法としては、縮小画像に対して、エッジ抽出フィルタによるエッジ抽出フィルタ処理を行う。本形態では、エッジ抽出の例として、表１のエッジ抽出フィルタとなる周知のラプラシアンフィルタを使用する。
【００２６】
【表１】
【００２７】
本形態では、エッジ抽出フィルタ処理で用いるエッジ抽出フィルタで抽出したエッジ情報（画像情報）に対して図３に示すようにブロック分割を行い、各ブロック内で、エッジ抽出フィルタ処理後のエッジ情報をブロック内で平均化する処理を行なう。本形態では、エッジ抽出フィルタの例としてラプラシアンフィルタの例を説明したが、他のエッジ抽出フィルタを使っても良い。
【００２８】
次にエッジ抽出フィルタによるエッジ抽出の例を説明する。
【００２９】
図４は横軸にx座標、縦軸に輝度値をとった図である。図４に示すような特性の画像に対して、エッジ抽出すると、図５に示すようなエッジが得られる。つまり、図４において輝度値が屈曲して変化する部分をエッジとして捉える。このエッジの平均値を図３に示す。図３において、色の濃いブロックはコントラストの高いブロックを示す。
【００３０】
図１に示す画像ずれ検知部１０２は、第二の画像入力部１０１により入力された複数枚画像に対して、画像間のずれ量を検知する。ここではまず画像特徴検知部１０５から入力した図３に示す画像特徴検知結果を入力する。その結果からコントラスト平均値の高いブロック（色の濃いブロック）を選択する。選択されたコントラストの高いブロック位置は、第二の画像入力部１０１で入力した図６（ａ）に示す画像１での位置を黒いブロックＡ，Ｂ，Ｃ，Ｄで示す。第二の画像入力部１０１により入力されたもう一枚の画像２の画面上の対応するブロックの位置を、図６（ｂ）の画像２に黒いブロックＡ’，Ｂ’，Ｃ’，Ｄ’で示す。
【００３１】
次にコントラストの高い黒いブロック付近で、画像間のずれ量検知を行う。図６（ａ）の画像１のコントラストの高い黒いブロックＡ，Ｂ，Ｃ，Ｄをスタート位置とすると、以下のずれ検知法で図６（ｂ）の画像２のブロックＡ’，Ｂ’，Ｃ’，Ｄ’のずれ量を検知する。
【００３２】
このずれ量の検知方法を数１に示す。図６（ａ）の画像１のコントラストの高い黒いブロックサイズをＭ×Ｎとする。領域内の画像１の画素値ｆ（ｉ，ｊ）と画像２の画素値ｇ（ｉ，ｊ）を用いて下記数１の値を計算する。ここで、（ｉ，ｊ）は画像１上での画素の座標値である。ｇ（ｉ，ｊ）は画像２上での画素の座標値である。Ｅ（ｕ，ｖ）は最小となるときの位置（ｕ，ｖ）を求めている。この値は、画像１と画像２の間の対応するブロックのずれ量となる。
【００３３】
【数１】
【００３４】
求めた各黒いブロックのずれ量から、画像２と画像１との間の全体のずれ量を計算する。各ブロックのずれ量から画像の平均移動と回転量を求めて、画像間全体のずれ量を求める。
【００３５】
画像ずれ補正部１０３は、画像１と画像２の画像間ずれを補正するものである。ここでは、画像ずれ検知部１０２で検知した画像間のずれ量を用い、画像２を全体的にずれ量分で補正する。つまり画像ずれ検知部１０２で検知した画像の平行移動と回転量を用いて、画像１と画像２の間のずれに対して補正が行われる。補正方法として、画像２を測定された画像の平行移動量と回転量を用いて、画像２のずれを補正する。
【００３６】
画像合成処理部１０４は、画像ずれの補正後に、ダイナミックレンジ拡大画像合成処理を行うものである。ここで、長い露光時間で撮影した画像と、短い露光時間で撮影した画像の合成例を説明する。図７は画像合成の重み関数を示し、横軸は画像の輝度値であり、縦軸は画像合成の重み係数である。
【００３７】
露光時間の異なる画像を合成するとき、まず下記数２で露光時間の短い画像の正規化を行う。ここで、Ｉ'Ｓは正規化した短い露光画像の画素値であり、ＩＳは正規化前の画素値である。Ｋは正規化係数であり、長い露光時間と短い露光時間の比である。
【００３８】
【数２】
【００３９】
次に正規化した画像を、図７に示す重み関数を用いて画像を合成する。図７に示すように画素の輝度値はＭ２より大きい場合、露光時間の短い画像の画素値を選択する。輝度知Ｍ１より小さい場合、露光時間の長い画像の画素値を選択する。輝度値はＭ１とＭ２の間であれば、２枚の画像の加重平均で画素値を求める。加重平均の重み係数は、図７に示すＭ１とＭ２の間の斜線部分の重み係数を使う。輝度知Ｍ１とＭ２は実験で予め決めている。このようにして、ダイナミックレンジ拡大用の複数の画像を画像合成処理部１０４で合成する。
図１に示す画像出力部１０７は処理した画像やそれ以外の画像を出力するものである。
【００４０】
次に、上述した画像処理を実施するデジタルカメラ２００のハードウェア構成について説明する。
図８は、本実施の形態にかかるデジタルカメラ２００のハードウェア構成を示すブロック図である。図８に示すように、デジタルカメラ２００は、撮影光学系１、メカシャッタ２、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）３、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ：相関２重サンプリング）回路４、Ａ／Ｄ変換器５、駆動源となるモータ６、タイミング信号を発生するタイミング信号発生器７、信号処理回路８、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１１、ＳＤＲＡＭ（ＳｙｎｃｈｒｏｎｏｕｓＤＲＡＭ）１２、画像圧縮伸張回路１３、メモリカード１４、操作部１５、液晶ディスプレイ１６（以下、「ＬＣＤ１６」と記す）を備えている。
【００４１】
そして、被写体光Ｌが撮影光学系１を通してＣＣＤ３に入射される。撮影光学系１とＣＣＤ３との間には、メカシャッタ２が配置されており、このメカシャッタ２によりＣＣＤ３への入射光を遮断することができる。なお、撮影光学系１及びメカシャッタ２は、モータ６でそれぞれ駆動される。
【００４２】
ＣＣＤ３は、撮像面に結像された光学像を電気信号に変換して、アナログの画像データとして出力するものである。ＣＣＤ３から出力された画像情報は、ＣＤＳ回路４によりノイズ成分を除去され、Ａ／Ｄ変換器５によりデジタル値に変換された後、画像処理回路８に対して出力される。
【００４３】
信号処理回路８は、画像データを一時格納するＳＤＲＡＭ１２を用いて、ＹCrCb変換処理、ホワイトバランス制御処理、コントラスト補正処理、エッジ強調処理、色変換処理などの各種画像処理を行う機能を備えている。なお、ホワイトバランス処理は、画像情報の色濃さを調整し、コントラスト補正処理は、画像情報のコントラストを調整する画像処理である。エッジ強調処理は、画像情報のシャープネスを調整し、色変換処理は、画像情報の色合いを調整する周知の画像処理である。画像処理回路８は、信号処理や画像処理が施された画像情報を液晶ディスプレイ１６（以下、「ＬＣＤ１６」と略記する）に表示する。また、信号処理、画像処理が施された画像情報は、画像圧縮伸張回路１３を介して、メモリカード１４に記録される。画像圧縮伸張回路１３は、操作部１５から取得した指示によって、画像処理回路８から出力される画像情報を圧縮してメモリカード１４に出力すると共に、メモリカード１４から読み出した画像情報を伸張して信号処理回路８に出力する回路である。
【００４４】
ＣＣＤ３、ＣＤＳ回路４及びＡ／Ｄ変換器５は、タイミング信号発生器７を介してＣＰＵ９によってタイミングが制御されている。さらに、画像処理回路８、画像圧縮伸張回路１３、メモリカード１４も、ＣＰＵ９によって制御されている。
【００４５】
デジタルカメラ２００では、ＣＰＵ９はプログラムに従って各種演算処理を行い、各種プログラムなどを記憶手段となる読み出し専用メモリであるＲＯＭ１１に格納し、読み出し書き込み自在のメモリであるＲＡＭ１０が有する各種の処理過程で利用するワークエリア、各種データ格納エリアなどに各種データを展開する。これら画像処理回路８から操作部１５までは、バスラインによって相互に通信可能に接続されている。本形態では、画像処理プログラムがＲＯＭ１１に製品出荷前から記憶されている。無論、プログラムのバージョンアップを図る場合には、製品出荷後に最新の画像処理プログラムがＲＯＭ１１にインストールされることになる。
【００４６】
このような構成のデジタルカメラ２００による処理ステップを図９に示すフローチャートに沿って説明する。
【００４７】
まずデジタルカメラ２００では、画像の特徴情報を取得するための画像情報を第一の画像入力部１０１で入力し、画像処理回路８を通して縮小した画像情報をＳＤＲＡＭ１２のメモリ領域に一時的に保存する。このメモリ領域上の縮小画像データを再度、画像処理回路８により画像のブロックごとのコントラスト平均値を算出して求め、求めたブロック毎のコントラスト平均値をＳＤＲＡＭ１２の画像メモリ領域に保存する。これにより、ブロックの番号とブロック毎のコントラスト平均値が保存される。
【００４８】
次に本撮影を行う。ここでは、画像露光量の異なる２枚の画像を撮影し、第二の画像入力部１０１から入力された撮影画像をＳＤＲＡＭ１２に一時保存する。
【００４９】
デジタルカメラ２００では、ＲＯＭ１１に予め記憶された画像処理プログラムの１つである画像ずれ検知プログラムを起動してずれ検知処理を行う。この画像ずれ検知プログラムは、ＳＤＲＡＭ１２に保存したブロック番号とブロックごとのコントラスト平均値からコントラスト値のもっとも高い複数のブロックを選択する。選択されたブロックの位置で、ＳＤＲＡＭ１２に保存した本撮影の複数枚の画像情報からずれ量検知を行う。すなわち画像のずれ量を求めて、ブロックのずれ量から画像の平均移動係数と回転係数を求める。
【００５０】
次に、求めたずれ量から求めた画像間の平行移動係数と回転係数およびＲＯＭ１１に保存してある画像合成重み係数パラメータ（図７参照）を呼び出し、ＳＤＲＡＭ１２に保存してある異なる露光時間の画像情報とともに、画像処理回路８に転送し、画像処理回路８の内部で、画像の平行移動、回転処理による画像間のずれ補正を行い、合成重み係数による広いダイナミックレンジ画像合成処理を行う。各種処理を行われた画像はＬＣＤ１６に表示されることで画像出力されることとなる。
（第２の実施の形態）
本実施の形態に係る撮影装置となるデジタルカメラ２０１は、人間の顔を検知して、画像を入力してダイナミックレンジ拡大画像合成する場合、画像間の位置ずれを高速に検知し、画像ずれを補正するものである。
【００５１】
第２の実施形態にかかるデジタルカメラ２０１が備えている画像処理部１００Ａの構成例について図１０を用いて説明する。図１０は、本形態に係る画像処理部１００Ａの構成を示すブロック図である。画像処理部１００Ａは、第二の画像入力部１０１、画像ずれ検知部１０２、画像ずれ補正部１０３、画像合成理部１０４、第一の画像入力部１０６、画像出力部１０７とともに、ここでは、画像特徴検知部として顔領域検知部１０５Ａを備えている。
【００５２】
第二の画像入力部１０１はデジタルカメラ２０１による画像を入力するもので、広いダイナミックレンジ画像を合成するための露光時間の異なる複数の画像情報を入力するものである。ここでは、露光時間の長い画像と露光時間の短い画像のそれぞれの情報を入力する。
【００５３】
第一の画像入力部１０６は、第二の画像入力部１０１と同じ撮影対象を撮影し、画像を入力するものである。画像顔領域検知部１０５Ａは入力した画像を縮小し、縮小画像に対して、人間の顔領域を検知し、検知した顔領域の座標を出力する機能を備えている。なお、人間の顔を検知する構成については既に公知であるので、ここではその説明を省略する。
【００５４】
画像ずれ検知部１０２は第二の画像入力部１０１により入力した複数枚の画像情報に対して、画像間のずれ量を検知する。ここでは、まず顔領域検知部１０５Ａから入力した顔領域検知結果を入力する。その結果を用いて、図１１（ａ）の画像１に示す顔領域と第二の画像入力部１０１が入力したもう一枚の画像２の画面上の対応する顔領域の位置を図１１（ｂ）に示す画像２に示す。
【００５５】
次に画像１の検知された顔領域付近で、画像ずれ検知を行う。図１１（ａ）の画像１の顔領域をスタート位置として、以下のずれ検知法で図１１（ｂ）画像２のずれ量を検知する。
【００５６】
ずれ量の検知方法には上記の数１を用いる。ここで画像１の顔領域サイズはＭ×Ｎとする。領域内の画像１の画素値ｆ（ｉ，ｊ）とずれ対象となる画像２の画素値ｇ（ｉ，ｊ）を用いて数１の値を計算する。ここで、（ｉ，ｊ）は画像１上での画素の座標値である。Ｅ（ｕ，ｖ）は最小となるときの位置（ｕ，ｖ）を求める。この値は画像１と画像２の間のずれ量となる。
【００５７】
求めた各顔領域のずれ量から、画像２と画像１間の全体のずれ量を計算する。画像が複数ある場合、各顔領域のずれ量を平均すれば、画像間全体のずれを求められる。
【００５８】
画像のずれ量を求めた後、画像のずれ補正、画像合成処理は、第１の実施形態と同一の処理内容となる。
【００５９】
次に、上述した画像処理を実施するデジタルカメラ２０１のハードウェア構成について説明する。図１２は、本実施の形態にかかるデジタルカメラ２０１のハードウェア構成を示すブロック図である。図１２に示すように、デジタルカメラ２０１は、撮影光学系１、メカシャッタ２、ＣＣＤ３、ＣＤＳ回路４、Ａ／Ｄ変換器５、駆動源となるモータ６、タイミング信号を発生するタイミング信号発生器７、信号処理回路８、ＣＰＵ９、ＲＡＭ１０、ＲＯＭ１１、ＳＤＲＡＭ１２、画像圧縮伸張回路１３、メモリカード１４、操作部１５、ＬＣＤ１６を備えている。
【００６０】
そして、被写体光Ｌ１が、まず撮影光学系１を通してＣＣＤ３に入射される。また、撮影光学系１とＣＣＤ３との間には、メカシャッタ２が配置されており、このメカシャッタ２によりＣＣＤ３への入射光を遮断することができる。なお、撮影光学系１及びメカシャッタ２は、モータ６より駆動される。
【００６１】
ＣＣＤ３は、撮像面に結像された光学像をアナログの画像データとして出力する。ＣＣＤ３から出力された画像情報は、ＣＤＳ回路４によりノイズ成分を除去され、Ａ／Ｄ変換器５によりデジタル値に変換された後、画像処理回路８に対して出力される。
【００６２】
画像処理回路８は、画像情報を一時格納するＳＤＲＡＭ１２を用いて、ＹＣｒＣｂ変換処理、ホワイトバランス制御処理、コントラスト補正処理、エッジ強調処理、色変換処理などの各種画像処理を行う。なお、ホワイトバランス処理は、画像情報の色濃さを調整し、コントラスト補正処理は、画像情報のコントラストを調整する画像処理である。エッジ強調処理は、画像情報のシャープネスを調整し、色変換処理は、画像情報の色合いを調整する画像処理である。画像処理回路８は、信号処理や画像処理が施された画像情報をＬＣＤ１６に表示する。また、信号処理、画像処理が施された画像情報は、画像圧縮伸張回路１３を介して、メモリカード１４に記録される。画像圧縮伸張回路１３は、操作部１５から取得した指示によって、画像処理回路８から出力される画像情報を圧縮してメモリカード１４に出力すると共に、メモリカード１４から読み出した画像情報を伸張して信号処理回路８に出力する回路である。
ＣＣＤ３、ＣＤＳ回路４及びＡ／Ｄ変換器５は、タイミング信号発生器７を介してＣＰＵ９によってタイミングが制御されている。さらに、画像処理回路８、画像圧縮伸張回路１３、メモリカード１４も、ＣＰＵ９によって制御されている。
【００６３】
デジタルカメラ２０１では、ＣＰＵ９はプログラムに従って各種演算処理を行い、各種プログラムなどを記憶手段となる読み出し専用メモリであるＲＯＭ１１に格納し、読み出し書き込み自在のメモリであるＲＡＭ１０が有する各種の処理過程で利用するワークエリア、各種データ格納エリアなどに各種データを展開する。これら画像処理回路８から操作部１５までは、バスラインによって相互に通信可能に接続されている。本形態では、画像処理プログラムがＲＯＭ１１に製品出荷前から記憶されている。無論、プログラムのバージョンアップを図る場合には、製品出荷後に最新の画像処理プログラムがＲＯＭ１１にインストールされることになる。
【００６４】
このような構成のデジタルカメラ２０１による処理ステップを図１３に示すフローチャートに沿って説明する。
【００６５】
デジタルカメラ２０１では、第一の画像入力部１０１により顔領域検知するための画像データが入力されると、画像処理入力回路８を通して、縮小した画像データをメモリ領域ＳＤＲＡＭ１２に一時的に保存する。次にＲＯＭ１１に予め記憶されている画像処理プログラムを構成する顔検知プログラム１１を起動し、顔検知処理を行う。顔検知結果、つまり検知された顔領域を示す図１１（ａ）の座標値Ａ，Ｂ，Ｃ，ＤをＳＤＲＡＭ１２に保存する。
【００６６】
次に第二の画像入力部１０１による本撮影を行い、露光量の異なる２枚の画像を撮影し、撮影した画像データをＳＤＲＡＭ１２に一時保存する。次にＲＯＭ１１に予め記憶されている画像処理プログラムを構成する画像ずれ検知プログラムを起動し、ずれ検知処理を行う。ずれ検知プログラムでは、ＳＤＲＡＭ１２に保存した顔領域の座標値Ａ，Ｂ，Ｃ，Ｄを入力する。そして顔領域の位置データを用いて、ＳＤＲＡＭ１２に保存した画像からずれ量検知を行う。
【００６７】
次に求めたずれ量およびＲＯＭ１１に保存してある画像合成重み係数パラメータ（図７参照）を呼び出し、ＳＤＲＡＭ１２にある異なる露光時間の画像、求めた画像のずれ量、重み係数とともに、画像処理回路８に転送し、画像処理回路８の内部で、画像ずれ補正と画像合成処理を行う。各種処理を行われた画像はＬＣＤ１６に表示されることで画像出力されることとなる。
【００６８】
このように、上記各形態では、画像情報を取得する第一の画像入力部１０６で画像の特徴を検出するための画像を入力し、この画像から画像特徴検知部１０５で特徴量を検出して、画面上にもっとも特徴のある領域を抽出するので、特徴領域が画像全体の一部しか占めなくなり、この領域でのずれ検知が効果的に行える。このため、複数枚の画像によるダイナミックレンジ拡大画像を合成するとき、画像間の位置合わせ処理を高速に行え、処理時間の短縮を図ることができる。
【００６９】
また、画像情報を取得する第二の画像入力部１０１で、露光時間の長い画像と露光時間の短い画像の複数の画像情報を入力し、第一の画像入力部１０６で抽出された特徴領域の付近で、画像ずれ検知部１０２と画像ずれ補正部１０３により画像間のずれ量を求めてずれ補正を行う。このため、画像間のずれを補正することで、画像合成処理部１０４でダイナミックレンジ拡大画像を合成するとき、２重像を解消することができる。
【００７０】
このため、効果的、高速な画像のずれ検知、ずれ補正を行えるので、広いダイナミックレンジ拡大画像を合成するとき、合成画像の２重像を解消でき、複数枚の画像によるダイナミックレンジ拡大画像を合成するとき、画像間のずれを検知し、位置合わせ処理を高速に行える画像処理方法と撮像装置を提供することができる。
【００７１】
また、第二の実施形態のように、顔検知を設定するとき、画像から検知された顔領域を特徴領域とすると、顔領域は画面全体の一部しか存在しないので、顔領域付近でずれ検知処理すれば、複数枚の画像によるダイナミックレンジ拡大画像を合成するとき、画像間の位置合わせ処理を高速に行え、処理時間の短縮を図ることができる。
【符号の説明】
【００７２】
１０１ 第二の画像情報取得手段
１０２ 画像位置ずれ手段
１０３ 補正手段
１０４ 画像合成処理手段
１０５ 画像特定手段
１０６ 第一の画像情報取得手段
２００，２０１ 撮影装置
３００ 記憶媒体
【先行技術文献】
【特許文献】
【００７３】
【特許文献１】特開２０００−９２３７８号公報
【特許文献２】特許第３９７４７９９号公報
【特許請求の範囲】
【請求項１】
画像情報を取得する第一の画像情報取得手段と、
第一の画像情報取得手段で取得した画像情報から画像情報の特徴量を求め、画像の特徴量による画像の特徴を現す部分領域を特定する画像特定手段と、
画像情報を取得する第二の画像情報取得手段と、
前記第二の画像情報取得手段により、露光時間の長さが異なる複数画像情報を入力し、前記画像特定手段で特定した画像部分領域情報を用いて、画像間のずれ量を検知する画像位置ずれ手段と、
前記画像位置ずれ手段で検知された画像間のずれ量による画像間ずれ補正処理する補正手段と、
前記補正手段でずれ補正処理された画像を用いて、広いダイナミックレンジ画像を合成処理する画像合成処理手段とを備えることを特徴とする撮影装置。
【請求項２】
前記第一の画像情報取得手段で取得した画像情報の特徴量は、画像のコントラストであり、
前記画像特定手段は、前記画像情報をブロックに分割し、ブロック毎にコントラストの平均値を求め、コントラスト平均値の高いブロック位置を特定する画像部分領域を特定し、
前記補正手段は、前記画像特定手段で特定した部分領域情報を用いて、画像間のずれ量を検知、補正することを特徴とする請求項１に記載の撮影装置。
【請求項３】
前記第一の画像情報取得手段で取得した画像情報の特徴量は、画像に映った人物の顔領域であり、
前記画像特定手段は、前記顔領域を画像の特徴を現す部分領域とし、
前記補正手段は、前記画像特定手段で特定した部分領域情報を用いて、画像間のずれ量を検知、補正することを特徴とする請求項１に記載の撮影装置。
【請求項４】
画像情報を取得する第一の画像情報取得ステップと、
第一の画像情報取得ステップで取得した画像情報から画像情報の特徴量を求め、画像の特徴量による画像の特徴を現す部分領域を特定する画像特定ステップと、
画像情報を取得す第二の画像情報取得ステップと、
前記第二の画像情報取得ステップにより露光時間の長さが異なる複数画像情報を入力し、前記画像特定ステップで特定した画像部分領域情報を用いて、画像間のずれ量を検知する画像位置ずれステップと、
前記画像位置ずれステップで検知された画像間のずれ量による画像間ずれ補正処理する補正ステップと、
前記補正ステップでずれ補正処理された画像を用いて、広いダイナミックレンジ画像を合成処理する画像合成処理ステップを備えることを特徴とする画像処理方法。
【請求項５】
前記第一の画像情報取得ステップで取得した画像情報の特徴量は、画像のコントラストであり、
前記画像特定ステップは、前記画像情報をブロックに分割し、ブロック毎にコントラストの平均値を求め、コントラスト平均値の高いブロック位置を特定する画像部分領域を特定し、
前記補正ステップは、前記画像特定ステップで特定した部分領域情報を用いて、画像間のずれ量を検知、補正することを特徴とする請求項４に記載の画像処理方法。
【請求項６】
前記第一の画像情報取得ステップで取得した画像情報の特徴量は、画像に映った人物の顔領域であり、
前記画像特定ステップは、前記顔領域を画像の特徴を現す部分領域とし、
前記補正ステップは、前記画像特定ステップで特定した部分領域情報を用いて、画像間のずれ量を検知、補正することを特徴とする請求項４に記載の画像処理方法。
【請求項７】
コンピュータに、請求項４ないし６の何れかに記載の画像処理方法を実行させることを特徴とする画像形成プログラム。
【請求項８】
コンピュータによって読み取り可能な画像処理プログラムを記録する記憶媒体であって、
前記画像処理プログラムとして請求項７記載の画像処理プログラムが記録されていることを特徴とする記憶媒体。
【請求項１】
画像情報を取得する第一の画像情報取得手段と、
第一の画像情報取得手段で取得した画像情報から画像情報の特徴量を求め、画像の特徴量による画像の特徴を現す部分領域を特定する画像特定手段と、
画像情報を取得する第二の画像情報取得手段と、
前記第二の画像情報取得手段により、露光時間の長さが異なる複数画像情報を入力し、前記画像特定手段で特定した画像部分領域情報を用いて、画像間のずれ量を検知する画像位置ずれ手段と、
前記画像位置ずれ手段で検知された画像間のずれ量による画像間ずれ補正処理する補正手段と、
前記補正手段でずれ補正処理された画像を用いて、広いダイナミックレンジ画像を合成処理する画像合成処理手段とを備えることを特徴とする撮影装置。
【請求項２】
前記第一の画像情報取得手段で取得した画像情報の特徴量は、画像のコントラストであり、
前記画像特定手段は、前記画像情報をブロックに分割し、ブロック毎にコントラストの平均値を求め、コントラスト平均値の高いブロック位置を特定する画像部分領域を特定し、
前記補正手段は、前記画像特定手段で特定した部分領域情報を用いて、画像間のずれ量を検知、補正することを特徴とする請求項１に記載の撮影装置。
【請求項３】
前記第一の画像情報取得手段で取得した画像情報の特徴量は、画像に映った人物の顔領域であり、
前記画像特定手段は、前記顔領域を画像の特徴を現す部分領域とし、
前記補正手段は、前記画像特定手段で特定した部分領域情報を用いて、画像間のずれ量を検知、補正することを特徴とする請求項１に記載の撮影装置。
【請求項４】
画像情報を取得する第一の画像情報取得ステップと、
第一の画像情報取得ステップで取得した画像情報から画像情報の特徴量を求め、画像の特徴量による画像の特徴を現す部分領域を特定する画像特定ステップと、
画像情報を取得す第二の画像情報取得ステップと、
前記第二の画像情報取得ステップにより露光時間の長さが異なる複数画像情報を入力し、前記画像特定ステップで特定した画像部分領域情報を用いて、画像間のずれ量を検知する画像位置ずれステップと、
前記画像位置ずれステップで検知された画像間のずれ量による画像間ずれ補正処理する補正ステップと、
前記補正ステップでずれ補正処理された画像を用いて、広いダイナミックレンジ画像を合成処理する画像合成処理ステップを備えることを特徴とする画像処理方法。
【請求項５】
前記第一の画像情報取得ステップで取得した画像情報の特徴量は、画像のコントラストであり、
前記画像特定ステップは、前記画像情報をブロックに分割し、ブロック毎にコントラストの平均値を求め、コントラスト平均値の高いブロック位置を特定する画像部分領域を特定し、
前記補正ステップは、前記画像特定ステップで特定した部分領域情報を用いて、画像間のずれ量を検知、補正することを特徴とする請求項４に記載の画像処理方法。
【請求項６】
前記第一の画像情報取得ステップで取得した画像情報の特徴量は、画像に映った人物の顔領域であり、
前記画像特定ステップは、前記顔領域を画像の特徴を現す部分領域とし、
前記補正ステップは、前記画像特定ステップで特定した部分領域情報を用いて、画像間のずれ量を検知、補正することを特徴とする請求項４に記載の画像処理方法。
【請求項７】
コンピュータに、請求項４ないし６の何れかに記載の画像処理方法を実行させることを特徴とする画像形成プログラム。
【請求項８】
コンピュータによって読み取り可能な画像処理プログラムを記録する記憶媒体であって、
前記画像処理プログラムとして請求項７記載の画像処理プログラムが記録されていることを特徴とする記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１０−２５８８８５（Ｐ２０１０−２５８８８５Ａ）
【公開日】平成２２年１１月１１日（２０１０．１１．１１）
【国際特許分類】
【出願番号】特願２００９−１０８０５９（Ｐ２００９−１０８０５９）
【出願日】平成２１年４月２７日（２００９．４．２７）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２２年１１月１１日（２０１０．１１．１１）
【国際特許分類】
【出願日】平成２１年４月２７日（２００９．４．２７）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]