画像処理装置、プログラムおよび記録媒体
【課題】 シェーディングの影響を考慮して画像を合成することが可能となる画像処理装置を提供する。
【解決手段】画像処理装置であるデジタルカメラ１は、同一被写体に対して時間的に異なるタイミングで第１画像および第２画像の撮影を行うように制御される。デジタルカメラ１のシェーディングＲＯＭ１５３には予めシェーディング補正に用いる補正テーブルが複数用意されている。取得される第１画像Ｆ１および第２画像Ｆ２それぞれに対し、画像取り込み時においてシェーディング補正回路１２３において、補正テーブルの乗算処理を行うことによってシェーディング補正を行う。シェーディング補正が行われた第１画像Ｆ１および第２画像Ｆ２を画像メモリにそれぞれ取り込み、全体制御部１５０において、位置合わせ処理を行い、さらに、合成画像処理を行う。
【解決手段】画像処理装置であるデジタルカメラ１は、同一被写体に対して時間的に異なるタイミングで第１画像および第２画像の撮影を行うように制御される。デジタルカメラ１のシェーディングＲＯＭ１５３には予めシェーディング補正に用いる補正テーブルが複数用意されている。取得される第１画像Ｆ１および第２画像Ｆ２それぞれに対し、画像取り込み時においてシェーディング補正回路１２３において、補正テーブルの乗算処理を行うことによってシェーディング補正を行う。シェーディング補正が行われた第１画像Ｆ１および第２画像Ｆ２を画像メモリにそれぞれ取り込み、全体制御部１５０において、位置合わせ処理を行い、さらに、合成画像処理を行う。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、同一被写体に対して撮影された二枚の画像を合成して、画質や映像効果を向上させた合成画像を取得する画像処理技術に関する。
【０００２】
【従来の技術】従来より、同一被写体に対して撮影された画質の異なる二枚の画像を用いて、元の画像より画質や映像効果を高めた画像として合成する画像処理技術が提案されている。
【０００３】例えば、特開平９−２６１５２６号公報では、ブレの影響がない程度の短いシャッタースピードに設定し、撮影した複数枚の画像をブレ量に応じて加算合成することにより、ブレ補正を行う技術が開示されている。
【０００４】また、特開平１０−１０８０５７号公報では、合焦位置を変更した撮影によって得られた画像データを合成することにより、距離の異なる被写体全てにピントの合った画像データを得ることが開示されている。
【０００５】また、特公平８−１７４５６号公報では、奇数フィールドと偶数フィールドとで露出時間を変えて撮影し、両者のうちつぶれていない部分を合成することにより、実質的にダイナミックレンジを拡げたカメラが開示されている。
【０００６】また、特許第２６３５９１７号公報には、撮像素子を移動させて撮影した画像データから画像を合成することにより、画像の高解像度化をはかる技術が開示されている。
【０００７】
【発明が解決しようとする課題】ところで、実際にデジタルカメラ等によって同一被写体に対して二枚の画像を撮影する場合には、時間的に異なるタイミングで画像が撮影されることとなり、この撮影間隔において微妙な被写体の移動やカメラ自体の移動が発生する。このことから撮影された二枚の画像間には位置的に微妙な相違が生じることとなる。
【０００８】上記のような二枚の画像を合成する際においては、このような画像間の位置的な相違を考慮して、画像の合成を行う前に、二枚の画像の位置合わせを行う必要がある。この位置合わせが正確に行われないまま画像の合成を行うと逆に画像が劣化してしまう結果となる。
【０００９】また、一般に、デジタルカメラ等においてレンズを使用して画像を撮影する場合、画像の中心点から周辺に離れるほど画素データのレベルが低下する、いわゆるシェーディングが発生する。しかしながら、従来、上記のような二枚の画像を合成する際においては、このシェーディングの影響を考慮せずに画像の位置合わせを行っていたため、シーンによっては画像間の位置合わせがうまくいかずに、逆に画質の劣化が生じることとなっていた。
【００１０】本発明は、上記課題に鑑みてなされたものであり、シェーディングの影響を考慮して画像を合成することが可能となる画像処理装置、プログラムおよびその記録媒体を提供することを目的とする。
【００１１】
【課題を解決するための手段】上記課題を解決するため、請求項１の発明は、画像処理装置であって、同一被写体に対して時間的に異なるタイミングで第１画像および第２画像の撮影を行う撮像手段と、前記撮像手段において撮影された前記第１画像および前記第２画像それぞれに対して、シェーディング補正を行うシェーディング補正手段と、前記シェーディング補正手段によってシェーディング補正が行われた前記第１画像および前記第２画像の位置合わせを行う位置合わせ手段と、前記位置合わせ手段によって位置合わせを行った前記第１画像および前記第２画像の画素データを用いて合成画像を作成する画像合成手段と、を備えている。
【００１２】また、請求項２の発明は、請求項１の発明に係る画像処理装置において、前記シェーディング補正手段は、シェーディング補正用の係数が登録された補正テーブルを保持するシェーディングＲＯＭと、前記撮像手段において撮影された画像に対して、前記補正テーブルを用いて係数処理を行う係数処理ハードウェア回路と、を備えている。
【００１３】また、請求項３の発明は、請求項２の発明に係る画像処理装置において、複数枚の画像を格納可能な画像メモリと、前記第１画像および前記第２画像がそれぞれ撮影されるごとにシェーディング補正手段によってシェーディング補正を行い、シェーディング補正済画像として前記画像メモリに格納させる制御手段と、をさらに備え、前記位置合わせ手段は、前記第１画像および前記第２画像のうち、後に撮影された画像がシェーディング補正済画像として前記画像メモリに格納されるのに応答して位置合わせを行うことを特徴とする。
【００１４】また、請求項４の発明は、請求項１の発明に係る画像処理装置において、複数枚の画像を格納可能な画像メモリと、前記撮像手段において撮影された前記第１画像および前記第２画像のそれぞれを前記画像メモリに格納させる画像格納手段と、をさらに備え、前記シェーディング補正手段は、前記画像メモリに格納された前記第１画像および前記第２画像それぞれに対して、シェーディング補正を行うことを特徴とする。
【００１５】また、請求項５の発明は、請求項４の発明に係る画像処理装置において、前記シェーディング補正手段は、シェーディング補正に用いる補正テーブルを保持するシェーディングＲＯＭと、前記画像メモリに格納された画像に対して、前記補正テーブルを用いて演算処理をソフトウェア的に行う演算処理手段と、を備えている。
【００１６】また、請求項６の発明は、画像処理装置であって、同一被写体に対して時間的に異なるタイミングで第１画像および第２画像の撮影を行う撮像手段と、前記第１画像および前記第２画像の露光量が異なるように前記撮像手段を制御する露光量制御手段と、前記第１画像および前記第２画像を用いて合成画像を作成する画像合成手段と、前記撮像手段において撮影された画像に対して、シェーディング補正を行うシェーディング補正手段と、を備え、前記シェーディング補正手段は、前記第１画像および前記第２画像のうち露光量の多い画像に対してのみシェーディング補正を行うことを特徴とする。
【００１７】また、請求項７の発明は、請求項６の発明に係る画像処理装置において、前記第１画像および前記第２画像のうち露光量の少ない画像を先に撮影するように前記撮像手段を制御する手段、をさらに備えている。
【００１８】また、請求項８の発明は、画像処理を行うプログラムであって、前記プログラムのコンピュータによる実行は、前記コンピュータに、第１画像および第２画像をそれぞれユーザに指定させる画像指定工程、を実行させ、前記第１画像および前記第２画像を合成する合成処理の指示に応答して、前記第１画像および前記第２画像それぞれに対して、シェーディング補正を行うシェーディング補正工程と、前記シェーディング補正工程においてシェーディング補正が行われた前記第１画像および前記第２画像の位置合わせを行う位置合わせ工程と、をさらに実行させている。
【００１９】また、請求項９の発明は、請求項８の発明に係るプログラムにおいて、前記プログラムの前記コンピュータによる実行は、前記コンピュータに、前記第１画像および前記第２画像の位置合わせに使用する位置合わせ領域をユーザに指定させる領域指定工程、をさらに実行させている。
【００２０】また、請求項１０の発明は、請求項９の発明に係るプログラムにおいて、前記シェーディング補正工程は、前記領域指定工程において指定された前記位置合わせ領域に限定して、シェーディング補正を行うことを特徴とする。
【００２１】また、請求項１１の発明は、請求項９の発明に係るプログラムにおいて、前記プログラムの前記コンピュータによる実行は、前記コンピュータに、前記領域指定工程において指定された前記位置合わせ領域のシェーディング補正が不要か否かを判定する判定工程、をさらに実行させ、前記判定工程において判定の基準によりシェーディング補正が不要と判定された場合は、前記シェーディング補正工程はシェーディング補正を行わないことを特徴とする。
【００２２】また、請求項１２の発明は、請求項８の発明に係るプログラムにおいて、前記プログラムの前記コンピュータによる実行は、前記コンピュータに、前記第１画像および前記第２画像を撮影した撮影機材に応じたシェーディング補正に用いる補正テーブルをユーザに指定させる補正テーブル指定工程、をさらに実行させている。
【００２３】また、請求項１３の発明は、請求項８の発明に係るプログラムにおいて、前記プログラムの前記コンピュータによる実行は、前記コンピュータに、前記第１画像および前記第２画像にそれぞれ付随させた撮影時の撮影条件情報を取得する撮影条件取得工程と、前記撮影条件情報に応じたシェーディング補正に用いる補正テーブルを選択する補正テーブル選択工程と、をさらに実行させている。
【００２４】また、請求項１４の発明は、請求項１３の発明に係るプログラムにおいて、前記プログラムの前記コンピュータによる実行は、前記コンピュータに、前記撮影条件取得工程において前記撮影条件情報が取得できない場合は、前記第１画像および前記第２画像の位置合わせに使用する位置合わせ領域を狭くする工程、をさらに実行させている。
【００２５】また、請求項１５の発明は、画像処理装置であって、撮影された画像を記憶する画像記憶手段と、前記画像記憶手段において記憶された第１画像および第２画像をそれぞれユーザに指定させる画像指定手段と、前記第１画像および前記第２画像を合成する合成処理の指示に応答して、前記第１画像および前記第２画像それぞれに対して、シェーディング補正を行うシェーディング補正手段と、前記シェーディング補正手段においてシェーディング補正が行われた前記第１画像および前記第２画像の位置合わせを行う位置合わせ手段と、を備えている。
【００２６】また、請求項１６の発明は、画像処理装置であって、同一被写体に対して時間的に異なるタイミングで第１画像および第２画像の撮影を行う撮像手段と、前記第１画像および前記第２画像のそれぞれはシェーディングの影響のある周辺領域とシェーディングの影響を無視できる中央側領域とに分割され、前記撮像手段において撮影された前記第１画像および前記第２画像の前記中央側領域のみを位置合わせ領域として使用して位置合わせを行う位置合わせ手段と、前記位置合わせ手段によって位置合わせを行った前記第１画像および前記第２画像の画素データを用いて合成画像を作成する画像合成手段と、を備えている。
【００２７】また、請求項１７の発明は、請求項１６の発明に係る画像処理装置において、焦点距離を変更可能な撮影レンズと、前記撮影レンズの焦点距離に応じて、前記位置合わせ領域を変更する領域変更手段と、をさらに備えている。
【００２８】また、請求項１８の発明は、請求項１７の発明に係る画像処理装置において、前記領域変更手段は、前記焦点距離が所定位置よりワイド側の場合は所定領域より前記位置合わせ領域を狭くし、前記焦点距離が前記所定位置よりテレ側の場合は前記所定領域より前記位置合わせ領域を広くすることを特徴とする。
【００２９】また、請求項１９の発明は、請求項１６の発明に係る画像処理装置において、焦点距離を変更可能な撮影レンズをさらに備え、前記焦点距離がワイド端の場合における非シェーディング領域を前記位置合わせ領域として用いることを特徴とする。
【００３０】また、請求項２０の発明は、請求項１６の発明に係る画像処理装置において、絞り値を変更可能な撮影レンズと、前記撮影レンズの絞り値に応じて、前記位置合わせ領域を変更する領域変更手段と、をさらに備えている。
【００３１】また、請求項２１の発明は、請求項２０の発明に係る画像処理装置において、前記領域変更手段は、前記絞り値が所定値より小さい場合は所定領域より前記位置合わせ領域を狭くし、前記絞り値が前記所定値より大きい場合は前記所定領域より前記位置合わせ領域を広くすることを特徴とする。
【００３２】また、請求項２２の発明は、請求項１６の発明に係る画像処理装置において、絞り値を変更可能な撮影レンズをさらに備え、前記絞り値が開放の場合における非シェーディング領域を前記位置合わせ領域として用いることを特徴とする。
【００３３】また、請求項２３の発明は、画像処理装置であって、同一被写体に対して時間的に異なるタイミングで第１画像および第２画像の撮影を行う撮像手段と、前記撮像手段において撮影された前記第１画像および前記第２画像の位置合わせを行う位置合わせ手段と、前記位置合わせ手段によって位置合わせを行った前記第１画像および前記第２画像の画素データを用いて合成画像を作成する画像合成手段と、前記位置合わせにあたって前記第１画像と前記第２画像とをフレーム一致状態から相対的に移動させた移動量に応じたシェーディング補正係数を用いてシェーディング補正を行うシェーディング補正手段と、を備えている。
【００３４】また、請求項２４の発明は、請求項２３の発明に係る画像処理装置において、前記第１画像および前記第２画像それぞれのシェーディング補正係数の分布が一定である曲線が略円形曲線であり、前記移動量に応じたシェーディング補正係数の分布が一定である曲線が、移動方向を短径とする略楕円的曲線となることを特徴とする。
【００３５】また、請求項２５の発明は、請求項２３の発明に係る画像処理装置において、前記画像合成手段は、前記第１画像と前記第２画像とを、ｋ：（１−ｋ） …ただし０＜ｋ＜１の比率で加算合成し、前記移動量に応じたシェーディング補正係数は、所定の関数Ｓを用いた加重平均値：ｋ・Ｓ（ｒ）＋（１−ｋ）・Ｓ（ｒ’）
ただし、ｒ ＝sqrt（ｘ2＋ｙ2）；
ｒ’＝sqrt｛（ｘ−δｘ）2＋（ｙ−δｙ）2 ｝；
"sqrt"は、平方根；ｘ，ｙは、前記第１画像と前記第２画像とのうちの一方の画像中心を原点とする直角ＸＹ平面座標系における座標変数；δｘ、δｙは、それぞれＸ座標方向、Ｙ座標方向の前記移動量、に基づいて決定されることを特徴とする。
【００３６】また、請求項２６の発明は、プログラムであって、画像処理装置に含まれるコンピュータによって実行されることにより、前記画像処理装置が請求項１６ないし２５のいずれかに記載の画像処理装置として動作することを特徴とする。
【００３７】また、請求項２７の発明は、コンピュータ読み取り可能な記録媒体であって、請求項８ないし１４のいずれかまたは請求項２６に記載のプログラムを記録してあることを特徴とする。
【００３８】
【発明の背景】この発明の実施形態の具体的構成と動作とを説明する前に、この発明の背景を具体例を用いて説明しておく。
【００３９】撮影レンズを備えるデジタルカメラ等の画像処理装置においてＣＣＤ等の撮像素子を用いて被写体を撮影すると、入射光の受光面に対する入射方向等に起因して、画像の中心点から周辺に離れるほど画素データのレベルが低下する現象、いわゆるシェーディングが生じる。
【００４０】図１は、あるデジタルカメラによって撮影された画像のシェーディングの影響の例を示した図である。この図によって示す画像は、画像を構成する全ての画素が、同一の輝度の被写体から入射光を受光した場合のものである。横軸は、各画素データの光軸からの距離を、画像の対角線の距離を１として相対距離で示している。つまり、光軸の画素データである画像の中心点が原点である。また、縦軸は、各画素データのレベルを、光軸の画素データのレベルを１として相対値で示している。この相対値は各画素位置におけるシェーディングによる画素データのレベルの低下率を示していることとなる。
【００４１】Ｌ１〜Ｌ４の符号によって示す曲線はそれぞれ、同一デジタルカメラおよび同一撮影レンズを使用して、撮影レンズの焦点距離及び絞りを変更した場合の画素データのレベルの低下率を示している。曲線Ｌ１は焦点距離が１０５ｍｍ（３５ｍｍフィルムカメラにおける換算値、以下同様）でＦ値が８．０の場合であり、曲線Ｌ２は焦点距離が３５ｍｍでＦ値が８．０の場合であり、曲線Ｌ３は焦点距離が１０５ｍｍでＦ値が２．４の場合であり、曲線Ｌ１は焦点距離が３５ｍｍでＦ値が２．４の場合である。
【００４２】この図に示すように、光軸である画像の中心点から周辺に離れるほど画素データのレベルが低下している。すなわち、画像の周辺部の画素データほど、シェーディングの影響（レベル低下率）が大きくなっている。
【００４３】また、同一のデジタルカメラ及び同一の撮影レンズを使用する場合においては、焦点距離及び露光量に応じてシェーディングの影響は変化する。図に示すように、焦点距離が短い（ワイド側）ほどシェーディングの影響（影響範囲及びレベル低下率）が大きくなり、焦点距離が長い（テレ側）ほどシェーディングの影響が小さくなる。また、同様に、露光量が多いほどシェーディングの影響が大きくなり、露光量が少ないほどシェーディングの影響が小さくなる。図においては、Ｆ値が小さい（絞りの絞り値が小さい）ほどシェーディングの影響が大きく、Ｆ値が大きい（絞りの絞り値が大きい）ほどシェーディングの影響は小さくなっている。
【００４４】ところで、デジタルカメラ等において被写体を撮影すると、被写体像の明るい部分が白くなりすぎる現象が生じる一方、被写体像の暗い部分が黒くなりすぎる現象が生じることがある。この現象は、一般的な撮像素子のダイナミックレンジが狭いことに起因するものであり、画質低下の要因となっている。このような現象を解消するために、同一被写体に対して露出の異なる二枚の画像を時間的に異なるタイミングで撮影して、それらを合成することによって階調制御処理を行い、実質的にダイナミックレンジを拡げた画像を生成することが提案されている。
【００４５】このような合成画像を得るために時間的に異なるタイミングで二枚の画像を撮影する場合、この撮影タイミングの違いから撮影された二枚の画像間には位置的に微妙な相違が生じる。このため、二枚の画像を合成する際においては、このような画像間の位置的な相違を考慮して、画像の合成を行う前に位置合わせ処理を行う必要がある。しかしながら、前述したシェーディングの影響を考慮しなければ、正確な位置合わせ処理を行うことができないこととなる。以下に説明する実施の形態においては、このような二枚の画像の位置合わせを行う場合において、前記シェーディングの影響を考慮するようにしている。
【００４６】
【発明の実施の形態】以下、図面を参照しつつ本発明の実施の形態について詳細に説明する。
【００４７】＜１．第１の実施の形態＞図２〜図４は、本発明の第１の実施の形態に係る画像処理装置であるデジタルカメラ１の外観の概略構成を示す図である。図２はデジタルカメラ１の平面図、図３は図２のII−II位置から見た断面図、図４はデジタルカメラ１の背面図に相当する。
【００４８】これらの図に示すように、デジタルカメラ１は略直方体状をしているカメラ本体部２と、カメラ本体部２に着脱可能に装着される撮影レンズ３から構成される。図２に示すように、デジタルカメラ１は撮影画像を記録するメモリカード８が着脱可能に収納されるようになっている。また、デジタルカメラ１は、４本の単三形乾電池Ｅ１〜Ｅ４を直列接続する電源電池Ｅを駆動源としている。
【００４９】図３に示すように、マクロ機能付きズームレンズである撮影レンズ３はズーム用レンズ３００とフォーカス用レンズ３０１とを含むレンズ群３０を備えている。一方、カメラ本体部２の内部には、ズーム用レンズ３００のズーム比の変更を行うためのズームモータＭ１、およびフォーカス用レンズ３０１を駆動して合焦を行うためのフォーカスモータＭ２とが設けられている。また、撮影レンズ３のレンズ群３０の後方位置の適所にカラー撮像素子３０３が設けられている。カラー撮像素子３０３は、ＣＣＤからなるエリアセンサの各画素の表面に、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタが市松模様状に貼り付けられた単板式カラーエリアセンサで構成される。このカラー撮像素子（以下、「ＣＣＤ」）３０３は、例えば、水平方向１６００画素、縦方向１２００画素の１９２万画素を有している。
【００５０】カメラ本体部２の前面には、図２のようにグリップ部Ｇが設けられ、カメラ本体部２の上端点の適所にポップアップ形式の内蔵フラッシュ５が設けられている。また、図４の如く、カメラ本体部２の上面にはシャッタボタン９が設けられている。このシャッタボタン９については、フォーカス調整用などのトリガーとして用いる半押し状態（Ｓ１）と、記録用撮影のトリガーとして用いる全押し状態（Ｓ２）とを検出し、判別する機能を有してる。
【００５１】一方、カメラ本体部２の背面には、電子ビューファインダ（以下、「ＥＶＦ」）２０と液晶ディスプレイ（以下、「ＬＣＤ」）１０とが設けられている。なお、光学ファインダーとは異なり、撮影待機状態においてＣＣＤ３０３からの画像信号のライブビュー表示を行うＥＶＦ２０とＬＣＤ１０とがファインダーとしての機能を担っている。
【００５２】また、ＬＣＤ１０は記録モードにおいて撮影モードや撮影条件等を設定するためのメニュー画面を表示したり、再生モードにおいてメモリカード８に記録された撮影画像を再生表示することが可能である。
【００５３】カメラ本体部２の背面左方には、電源スイッチ１４が設けられている。この電源スイッチ１４は記録モード（写真撮影の機能を果たすモード）と再生モード（記録画像をＬＣＤ１０に再生するモード）とを切換設定するモード設定スイッチを兼ねている。すなわち、電源スイッチ１４は３点スライドスイッチからなり、接点を中央の「ＯＦＦ」位置に設定すると電源がオフになり、接点を上方の「ＲＥＣ」位置に設定すると電源がオンになるとともに記録モードとして設定され、接点を下方の「ＰＬＡＹ」位置に設定すると電源がオンになるとともに再生モードとして設定される。
【００５４】カメラ本体部２の背面右方には、４連スイッチ１５が設けられている。４連スイッチ１５は円形の操作ボタンを有し、この操作ボタンにおける上下左右の４方向のボタンＵ、Ｄ、Ｌ、Ｒを押下することによって各種操作を行うことが可能となっている。例えば、ＬＣＤ１０に表示されるメニュー画面で選択された項目を変更したり、インデックス画面で選択された再生対象のコマを変更するためのスイッチとして機能する。また、記録モードにおいて左右方向のボタンＬ，Ｒは、ズーム比を変更するためのスイッチとして機能する。右方向スイッチＲを押下するとズームモータＭ１の駆動によりズーム用レンズ３００がワイド側に連続的に移動し、左方向スイッチＬを押下するとズームモータＭ１の駆動によりズーム用レンズ３００がテレ側に連続的に移動する。
【００５５】また、４連スイッチ１５の下方には、取消スイッチ３３、実行スイッチ３２、メニュー表示スイッチ３４及びＬＣＤ表示スイッチ３１等のスイッチ群１６が設けられている。取消スイッチ３３は、メニュー画面で選択された内容を取り消すためのスイッチである。実行スイッチ３２は、メニュー画面で選択された内容を確定するまたは実行するためのスイッチである。メニュー表示スイッチ３４は、ＬＣＤ１０にメニュー画面を表示させたり、メニュー画面の内容を切り換えたりするためのスイッチである。ＬＣＤ表示スイッチ３１は、ＬＣＤ１０の表示のオンオフ切り替えスイッチである。
【００５６】ユーザは、４連スイッチ１５及びスイッチ群１６等の操作によって、撮影モード選択用のメニュー画面を開いて撮影モードを選択することが可能である。撮影モードは、通常の一枚毎の撮影を行う通常撮影モードと、階調制御処理モードとを備えている。階調制御処理モードとは、同一被写体に対して露出の異なる二枚の画像を時間的に異なるタイミングで撮影して、それらを適当な加算比率で合成することによって階調制御し、実質的にダイナミックレンジを拡げた合成画像を得ることを目的とするモードである。１回のシャッタボタン９の操作で露出条件を変化させて２回の撮影を行い、二枚の画像を取得するようになっている。
【００５７】次に、デジタルカメラ１の内部構成について説明する。図５は、デジタルカメラ１の内部構成を示す概略ブロック図である。
【００５８】撮影レンズ３は、ズーム用レンズ３００とフォーカス用レンズ３０１とともに、内部に透過光量を調節するための絞り３０２を備えている。
【００５９】撮像部１１０は撮影レンズ３を通して入射した被写体光源を画像信号に光電変換して取り込むものであり、ＣＣＤ３０３とともに、タイミングジェネレータ１１１とタイミング制御回路１１２を備えている。ＣＣＤ３０３はタイミングジェネレータ１１１から入力される駆動制御信号に基づいて被写体光源を所定の露光時間だけ受光して画像信号に変換し、その画像信号をタイミングジェネレータ１１１から入力される読み出し制御信号を用いて信号処理部１２０に出力する。このとき、画像信号はＲ，Ｇ，Ｂの各色成分に分離されて信号処理部１２０に出力される。
【００６０】タイミングジェネレータ１１１はタイミング制御回路１１２から入力される制御信号に基づいて駆動制御信号を生成するとともに、基準クロックに基づいて読み出し信号を生成し、ＣＣＤ３０３に出力する。タイミング制御回路１１２は撮像部１１０の撮影動作を制御するものである。タイミング制御回路１１２は全体制御部１５０から入力される制御信号に基づいて撮影制御信号を生成する。この撮影制御信号には、被写体を撮影するための制御信号、基準クロック、ＣＣＤ３０３から出力された画像信号を信号処理部１２０で信号処理するためのタイミング制御信号（同期クロック）などが含まれる。このタイミング制御信号は信号処理部１２０内の信号処理回路１２１、Ａ／Ｄ変換回路１２２、シェーディング補正回路１２３等に入力される。
【００６１】信号処理部１２０は、ＣＣＤ３０３から出力される画像信号に所定のアナログ信号処理及びデジタル信号処理を行うものである。画像信号の信号処理は画像データを構成する各画素の受光信号毎に行われる。信号処理部１２０には信号処理回路１２１、Ａ／Ｄ変換回路１２２、シェーディング補正回路１２３、ＷＢ回路１２４、γ補正回路１２５及び画像メモリ１２６を備えている。
【００６２】信号処理回路１２１はアナログ信号処理を行うものであり、主にＣＤＳ（相関二重サンプリング）回路及びＡＧＣ（オートゲインコントロール）回路からなり、ＣＣＤ３０３から出力される画素信号のサンプリングノイズの低減と信号レベルの調整を行う。ＡＧＣ回路におけるゲインコントロールには、絞り３０２の絞り値とＣＣＤ３０３の露光時間とで適正露出が得られなかった場合の撮影画像のレベル不足を補償する場合も含まれる。
【００６３】Ａ／Ｄ変換回路１２２は信号処理回路１２１から出力されるアナログ信号である画素信号をデジタル信号である画素データに変換するものである。Ａ／Ｄ変換回路１２２は各画素で受光された画素信号を、例えば、１０ビットのデジタル信号に変換し、０〜１０２３の階調値を有する画素データとする。
【００６４】シェーディング補正回路１２３は、Ａ／Ｄ変換された画素データに対して、光学系によるシェーディングを補正するものである。シェーディング補正回路は、図６に示すように乗算器１２３ａを備えており、タイミング制御回路１１２から入力されるタイミング制御信号を受けて、Ａ／Ｄ変換回路１２２において変換された画像データと、全体制御部１５０から入力される補正テーブルとの乗算処理を行う。
【００６５】図７は、この補正テーブルの一例を示す図である。図７に示すように、補正テーブルは、ＣＣＤ３０３の１６００画素×１２００画素＝１９２万画素のそれぞれの画素に対応するように、１９２万個の補正係数（正確には補正係数の逆数）を有している。補正係数は図１によって示した各画素データのレベルの低下率に相当するものであり、その補正係数の逆数が予め補正テーブルに保持されている。ここで、図１に示す曲線で表される画素それぞれに対してこの補正係数の逆数を乗算すると、この曲線は画素データのレベルが１で一定となる直線に変換される。つまり、画素データそれぞれに対してこの補正係数の逆数を乗算すること（係数処理）によって、シェーディングを補正することが可能となる。なお、この乗算処理においてオーバーフローした場合は、その画素データのレベルを最大値すなわち１０２３にするようにしている。
【００６６】補正テーブルは、撮影時の焦点距離や絞り値の光学条件をパラメータとしてパラメータ毎に複数用意され、全体制御部１５０に備えられたシェーディングＲＯＭ１５３に格納されている。全体制御部１５０は、撮影時における焦点距離や絞り値の光学条件に応じて、シェーディングＲＯＭ１５３からこの補正テーブルの選択を行うようにしている。このため、シェーディング補正回路１２３は、光学条件に応じたシェーディング補正を行うことができる。
【００６７】なお、ここで補正テーブルは１画素単位で補正係数が設定されているが、このようにするとデータサイズが膨大になる。このため、例えば、４×４画素のブロック単位で１つの補正データを設定し、画素のブロック毎に補正を行うようにしてもよい。また、ブロック単位の補正データをブロックの基準値として設定しておき、対象画素の属するブロックと周辺ブロックの基準値を画素の位置（距離）で重み付け演算し、画素毎の補正係数を算出するようにしてもよい。このようにした場合、補正テーブルのデータサイズを、各画素毎に補正係数を用意する場合と比較して１／１６に減らすことが可能である。
【００６８】図５に戻り、ＷＢ回路１２４は撮影画像のホワイトバランスを調整するものである。ＷＢ回路１２４は全体制御部１５０から入力されるレベル変換テーブルを用いてＲ，Ｇ，Ｂの各色成分の画素データのレベルを変換することで撮影画像のホワイトバランスを調整する。γ補正回路１２５は画素データのγ特性を補正するものである。γ補正回路１２５は予め設定されたγ補正用テーブルを用いて各画素データのレベルを補正する。
【００６９】画像メモリ１２６は信号処理の終了した画像データを一時保持するメモリである。画像メモリ１２６は２フレーム分の画像データを格納し得るように、２つのメモリ領域、具体的には、第１メモリ１２６ａ及び第２メモリ１２６ｂを備えている。第１メモリ１２６ａ及び第２メモリ１２６ｂは、それぞれ１フレーム分の画像データを格納し得る記憶容量を備えている。本実施の形態においてはＣＣＤ３０３の画素数が１９２万画素であるため、１９２万個の画素データを記憶し得る容量である。
【００７０】発光制御部１０２は、全体制御部１５０から入力される発光制御信号に基づいてフラッシュ５の発光を制御する。発光制御信号には発光準備の指示、発光タイミング及び発光量とが含まれる。
【００７１】レンズ制御部１３０は撮影レンズ３内のズーム用レンズ３００、フォーカス用レンズ３０１及び絞り３０２の各部材の駆動を制御するものである。レンズ制御部１３０は絞り３０２の絞り値を制御する絞り制御回路１３１、ズームモータＭ１の駆動を制御するズーム制御回路１３２、フォーカスモータＭ２の駆動を制御するフォーカス制御回路１３３を備えている。
【００７２】絞り制御回路１３１は全体制御部１５０から入力される絞り値に基づいて絞り３０２を駆動し、その開口量を当該絞り値に設定する。フォーカス制御回路１３３は全体制御部１５０から入力されるＡＦ制御信号に基づいてフォーカスモータＭ２の駆動量を制御し、フォーカス用レンズ３０１を焦点位置に設定する。ズーム制御回路１３２は全体制御部１５０から入力されるズーム制御信号に基づいてズームモータＭ１を駆動し、ズーム用レンズ３００を４連スイッチ１５で指定された方向に移動させる。
【００７３】表示部１４０は、ＬＣＤ１０及びＥＶＦ２０への表示を行うものである。表示部１４０には、ＬＣＤ１０、ＥＶＦ２０とともに、ＬＣＤ１０に再生表示されるの画像データのバッファメモリとなるＬＣＤＶＲＡＭ１４１及びＥＶＦ２０に再生表示される画像データのバッファメモリとなるＥＶＦＶＲＡＭ１４２を備えている。
【００７４】撮影待機状態においては、ＣＣＤ３０３により１／３０（秒）毎に撮影された画像の各画素データが、信号処理部１２０による所定の信号処理を施された後、画像メモリ１２６に一時記憶される。そして、全体制御部１５０によって読み出され、データサイズが調整された後にＬＣＤＶＲＡＭ１４１及びＥＶＦＶＲＡＭ１４２に転送され、ＬＣＤ１０及びＥＶＦ２０にライブビュー表示として表示される。これによりユーザは、被写体像を視認することができる。また、再生モードにおいては、メモリカード８から読み出された画像が全体制御部１５０によって所定の信号処理が施された後に、ＬＣＤＶＲＡＭ１４１に転送され、ＬＣＤ１０に再生表示されることとなる。
【００７５】ＲＴＣ１０４は、撮影日時を管理するための時計回路である。ここで取得した撮影日時は、撮影された画像データに関連付けられてメモリカード８に記憶されることとなる。
【００７６】操作部１０１は、上述したカメラ本体部２に設けられた撮影や再生に関する操作部材の操作情報を全体制御部に入力するものである。操作部１０１から入力される操作情報にはシャッタボタン９、電源スイッチ１４、４連スイッチ１５及びスイッチ群１６等の各操作部材の操作情報が含まれる。
【００７７】全体制御部１５０は、マイクロコンピュータからなり、撮影機能及び再生機能を集中制御するものである。全体制御部１５０にはカードインターフェース１０３を介してメモリカード８が接続されている。また、通信用インターフェース１０５を介してパーソナルコンピュータＰＣが外部接続されるようになっている。
【００７８】全体制御部１５０は、撮影機能及び再生機能における数々の具体的な処理を行うための処理プログラムや上述したデジタルカメラ１の各部材の駆動を制御するための制御プログラムが記憶されたＲＯＭ１５１と、処理プログラム及び制御プログラムに従って数々の演算作業を行うための作業領域となるＲＡＭ１５２を備えている。なお、記録媒体であるメモリカード８に記録されているプログラムデータをカードインターフェース１０３を介して読み出し、ＲＯＭ１５１に格納することができるようになっている。従って、これらの処理プログラム及び制御プログラムは、メモリカード８からデジタルカメラ１中にインストールされることが可能である。なお、処理プログラム及び制御プログラムは、通信用インターフェース１０５を介してパーソナルコンピュータＰＣからインストールされるようになっていてもよい。
【００７９】図５において、露出設定部１５４、表示制御部１５５、記録制御部１５６、再生制御部１５７、特殊撮影制御部１５８、画像合成部１５９は、全体制御部１５０の処理プログラムによって実現される機能を機能ブロックとして表したものである。
【００８０】露出設定部１５４は、露出制御処理を行うもので、ライブビュー画像のＧの色成分の画像データを用いて被写体の輝度を判定し、その判定結果に基づいて露出制御値を演算する。
【００８１】表示制御部１５５は、画像表示処理を行うもので、上述の表示部１４０の表示動作、すなわち、画像メモリ１２６に一時保存されている画像データを読み出し、必要に応じて画像サイズを表示先の画像サイズに調整した後、ＬＣＤＶＲＡＭ１４１またはＥＶＦＶＲＡＭ１４２に転送する動作を行う。
【００８２】記録制御部１５６は、記録処理を行うものである。記録制御部１５６は、通常撮影モードにおいて、撮影指示後に画像メモリ１２６に一時記憶された画像データをＲＡＭ１５２に読み出し、２次元ＤＴＣ変換、ハフマン符号化等のＪＰＥＧ方式による所定の圧縮処理を行って記録用の画像データを撮影画像データとして作成する。また、画像メモリ１２６から縦横両方向でそれぞれ８画素毎に画素データをＲＡＭ１５２に読み出すことで、サムネイル画像を作成する。さらに、これらの撮影画像データに付随して記録される撮影画像データに関するタグ情報を作成する。そして、記録制御部１５６は、圧縮された撮影画像及びサムネイル画像にタグ情報を添付した画像ファイルを作成し、この画像ファイルをメモリカード８に記録する。なお、階調制御処理モードにおいて二枚の画像が撮影される場合は、画像合成部１５９によって合成処理が施された結果の合成画像に対して、上記と同様の記録処理を行うこととなる。
【００８３】図８は、メモリカード８への画像ファイルの記録方法を示す図である。メモリカード８の先頭の記憶領域には、フォルダ情報と各フォルダに属する画像ファイルの情報とを記憶するインデックス領域が設けられ、その後の領域に各画像ファイルが撮影された順に記憶されている。メモリカード８における各画像ファイルの記憶領域は３つの領域からなり、上から順にタグ情報、撮影画像データ及びサムネイル画像が記憶される。図に示すように、タグ情報には、カメラ名称、レンズ名称、撮影時の焦点距離、撮影時の絞り値（Ｆ値）、撮影モード、焦点位置、ファイル名、被写体輝度、ホワイトバランス調整値、撮影日等が含まれる。撮影モードは、通常撮影モードで撮影されたものであるか、階調制御処理モードで撮影されたものであるかの情報を示している。
【００８４】再生制御部１５７は、メモリカード８に記録された撮影画像のＬＣＤ１０への再生処理を行うものである。再生制御部１５７は、電源スイッチ１４により再生モードが設定されると、メモリカード８に記録された各画像ファイルからサムネイル画像を読み出し、順次所定のインデックスフォーマットに従ってＬＣＤＶＲＡＭ１４１に記憶する。これにより、サムネイル画像がＬＣＤ１０にインデックス表示される。インデックス表示されたサムネイル画像に対して再生すべきコマのサムネイル画像が４連スイッチ１５及びスイッチ群１６によって指定されると、再生制御部１５７は、そのコマに対応する画像ファイルから撮影画像データを読み出し、圧縮された撮影画像データに所定の伸長処理を行った後、ＬＣＤＶＲＡＭ１４１に転送し、ＬＣＤ１０に表示させる。
【００８５】特殊撮影制御部１５８は、撮影モードが階調制御処理モードに設定されている状態で、シャッタボタン９が全押し（Ｓ２）されたときのＣＣＤ３０３の露光動作を制御するものである。特殊撮影制御部１５８は、シャッタボタン９がＳ２状態となると、階調制御処理を行う合成用の画像を取り込むため、シャッタスピードに相当するＣＣＤ３０３の露光時間をそれぞれ変化させて、所定間隔で露光動作を２回繰り返すように制御を行う。
【００８６】画像合成部１５９は、階調制御処理モードにおいて撮影された露光量の異なる二枚の画像データの合成処理を行うものである。この合成処理においては、二枚の画像間での位置合わせ（位置合わせ処理）を行い、それらを適当な加算比率で加算することにより実際の合成画像を作成する処理（画像合成処理）を行うこととなるが、詳細は後述する。
【００８７】次に、上記のように構成されたデジタルカメラ１の階調制御処理モードにおける撮影動作を説明する。図９は、階調制御処理モードにおける撮影動作の手順を示すフローチャートである。
【００８８】ステップＳ１１において、シャッタボタン９が半押しされると画像撮影のための準備として、撮影レンズ３のレンズ群３０の焦点が主被写体に調整されるとともに、ライブビュー画像を用いて露出制御値が算出され、ホワイトバランス調整値が設定される。この時算出された露出制御値は適正露出となる値であり、具体的には、適正値となるシャッタスピードおよび絞り値が取得される（ステップＳ１２）。
【００８９】続いて、ステップＳ１３においてシャッタボタン９が全押しされると、適正値であるシャッタスピードより、２段階アンダーのシャッタースピードに設定する（ステップＳ１４）。そして、このシャッタスピードに相当する露光時間だけＣＣＤ３０３を露光して被写体の第１画像Ｆ１が取り込まれる（ステップＳ１５）。露光の後、ＣＣＤ３０３から出力される画像信号は、信号処理回路１２１で所定のアナログ信号処理が施され、Ａ／Ｄ変換回路１２２において１０ビットの画素データに変換される。
【００９０】続いて、シェーディング補正回路１２３において、シェーディング補正が行われる（ステップＳ１６）。この時、全体制御部１５０によって、撮影時の焦点距離および絞り値の光学条件に応じた補正テーブルが選択され、シェーディング補正回路１２３に入力される。シェーディング補正回路１２３は、Ａ／Ｄ変換回路１２２から出力された画像データと、入力された補正テーブルとの乗算処理を行うことで、シェーディング補正を行う（図６参照）。
【００９１】その後、ＷＢ回路１２４及びγ補正回路１２５によって所定の処理が行われて、画像メモリ１２６の第１メモリ１２６ａに格納される（ステップＳ１７）。この第１画像Ｆ１は、ＣＣＤ３０３の露光時間を適正値より短くしているので、通常撮影モードで撮影される画像よりも露光量が少なく、全体的に暗い画像となっている。また、シェーディング補正回路１２３においてシェーディング補正が行われているので、シェーディングの影響は無くなっている。
【００９２】続いて、適正値であるシャッタスピードより、２段階オーバーのシャッタースピードが設定され（ステップＳ１８）、このシャッタスピードに相当する露光時間だけＣＣＤ３０３を露光して被写体の第２画像Ｆ２が取り込まれる（ステップＳ１９）。露光の後、ＣＣＤ３０３から出力される画像信号は、第１画像Ｆ１と同様に、信号処理回路１２１で所定のアナログ信号処理が施され、Ａ／Ｄ変換回路１２２において１０ビットの画素データに変換され、シェーディング補正回路１２３においてシェーディング補正が行われ、ＷＢ１２３及びγ補正回路１２５によって所定の処理が行われて、画像メモリ１２６の第２メモリ１２６ｂに格納される（ステップＳ２０，Ｓ２１）。この第２画像Ｆ２は、ＣＣＤ３０３の露光時間を適正値より長くしているため、通常撮影モードで撮影される画像よりも露光量が多く、全体的に明るい画像となっている。また、第１画像Ｆ１と同様に、シェーディング補正回路１２３においてシェーディング補正が行われているので、シェーディングの影響は無くなっている。
【００９３】続いて、全体制御部１５０の画像合成部１５９は、第２画像Ｆ２が画像メモリ１２６の第２メモリ１２６ｂに格納されるのに応答して、画像メモリ１２６から撮影された第１画像Ｆ１および第２画像Ｆ２を読み出して、両画像の位置合わせ処理を行う（ステップＳ２２）。この位置合わせ処理は、画像合成処理において画面内の同一の図柄を正確に合成するため、合成対象となる両画像の位置を合わせるものである。この位置合わせ処理においては、第１画像Ｆ１を基準画像として第２画像Ｆ２を移動させることとなる。図１０は、この位置合わせ処理の流れを示すフローチャートである。
【００９４】ステップＳ３１においては、第２画像Ｆ２の直角ＸＹ平面座標系における移動量を算出する。これは、第２画像Ｆ２をＸ方向およびＹ方向に平行移動するものとして、下記の数１の式で示す相関係数Ｃ（ξ，η）が最小となる移動量を求めるようにする。
【００９５】
【数１】
【００９６】ここで、ｘ，ｙは画像中心を原点とする直角ＸＹ平面座標系における座標変数であり、Ｐ１（ｘ，ｙ）は第１画像Ｆ１の座標位置（ｘ，ｙ）における画素データのレベルを表し、Ｐ２（ｘ−ξ，ｙ−η）は第２画像Ｆ２の座標位置（ｘーξ，ｙーη）における画素データのレベルを表している。すなわち、数１の式で示す相関係数Ｃ（ξ，η）は、両画像の対応する画素データのレベルの差を二乗し、その値を全画素データにおいて総和したものである。そして、第２画像Ｆ２の移動量となる（ξ，η）を変化させた時、相関係数Ｃが最小となる（ξ，η）が、最も両画像の図柄がマッチングする第２画像Ｆ２の移動量となるわけである。
【００９７】本実施の形態では、例えば第２画像Ｆ２のＸ座標の移動量となるξを−８０〜＋８０まで、Ｙ座標の移動量であるηを−６０〜＋６０までそれぞれ変化させて、相関係数Ｃが最小となる移動量（ξ，η）を（ｘ３，ｙ３）として算出するようにしている。なお、階調制御モードにおいては、第１画像Ｆ１と第２画像Ｆ２はＣＣＤ３０３の露光時間を変更して撮影しているために画像全体の輝度レベルの差がある。このため、両画像データをそれぞれの平均輝度で割って正規化した後に、相関係数Ｃを求めるようにするのが好ましい。
【００９８】また、この位置合わせ処理においては、人間の視覚特性上解像度に与える影響の大きいＧの色成分のみを用いるようにしてもよい。このようにした場合、人間の視覚特性上解像度に与える影響の小さいＲ，Ｂの色成分については、Ｇの色成分で算出された移動量を利用することで、位置合わせ処理の簡略化を図ることができる。
【００９９】続いて、ステップＳ３２においては、図１１に示すように、算出された移動量（ｘ３，ｙ３）の第２画像Ｆ２の平行移動を行う。そして、平行移動を行った後に第２画像Ｆ２の画素データのうち、第１画像Ｆ１と重ならない部分を削除する。続いて、ステップＳ３３においては、第１画像Ｆ１においても第２画像Ｆ２と重ならない部分の画素データを削除する。このようにして、画像の合成に必要にならない部分（図１１のハッチングによって示した部分）の画素データの削除を行い、正確な位置合わせが行われた、合成に必要な画素データのみを取得することができる。
【０１００】また、第１画像Ｆ１と第２画像Ｆ２の両画像は、画像取り込み時においてシェーディング補正回路１２３によってシェーディング補正が行われているため、シェーディングの影響を受けることなく画像の位置合わせ処理を行うことができる。
【０１０１】続いて、全体制御部１５０の画像合成部１５９により、位置合わせ処理が行われた画像の合成処理を行う（図９、ステップＳ２３）。ここで、第１画像Ｆ１および第２画像Ｆ２における被写体の輝度レベルに対するＡ／Ｄ変換出力レベルについて説明する。図１２（ａ）に示すように、露出アンダーの第１画像Ｆ１は露光量が抑えられるので、その階調特性は特性ＬＵに示すように被写体の輝度レベルに対してＡ／Ｄ変換出力レベルは低く抑えられたものとなっている。一方、露出オーバーの第２画像Ｆ２は、露光量が過剰になるのでその階調特性は特性ＬＯに示すように、被写体の輝度レベルに対してＡ／Ｄ変換出力レベルは高く強調されたものとなっている。
【０１０２】画像合成処理においては、画素毎に第１画像Ｆ１の画像データと第２画像Ｆ２の画像データとを適当な加算比率で加算することにより、図１２（ａ）の階調特性ＬＵと階調特性ＬＯとで挟まれた範囲内で任意の階調特性を有する画像データが作成される。図１２（ｂ）は、露出オーバーの第２画像Ｆ２のレベルを基準にして、各レベルにおける加算比率を曲線Ｒで示した図である。図に示すように、加算比率は画像データのレベルに無関係に一定ではなく、露出オーバーの第２画像Ｆ２のレベルが低くなるのに応じて、露出オーバーの第２画像Ｆ２の加算比率が高くなるように変化させている。このように、露出オーバーの第２画像Ｆ２の加算比率を大きくしているのは、被写体の暗い部分を見やすくするためである。
【０１０３】具体的には、第２画像Ｆ２の座標位置（ｉ，ｊ）の画素データのレベルＰ２（ｉ，ｊ）が、例えば図に示すようにＤであるとすると、画素データのレベルＰ２（ｉ，ｊ）と、第１画像Ｆ１の座標位置（ｉ，ｊ）の画素データのレベルＰ１（ｉ，ｊ）とを、Ｒ２：Ｒ１で加算して、階調制御された合成画像の画素データのレベルＰ３（ｉ，ｊ）を作成する。このように、露出オーバーの第２画像Ｆ２の画素データのレベルに応じた加算比率によって、全ての画素データを加算してやることによって、階調制御された合成画像の全ての画素データが作成されることとなる。その結果として第１画像Ｆ１の階調特性と、第２画像Ｆ２の階調特性との間の階調特性を有する階調制御された合成画像が作成される。
【０１０４】続いて、全体制御部１５０の記録制御部１５６において、作成された合成画像の所定の圧縮処理を行って撮影画像データが作成される。それとともに、サムネイル画像及びタグ情報のデータが作成される。そして、作成された合成画像の撮影画像データと、サムネイル画像及びタグ情報のデータとから画像ファイルが作成され、メモリカード８に記録される（図９、ステップＳ２４）。
【０１０５】以上、第１の実施の形態について説明を行ったが、本実施の形態においては、合成に使用される二枚の画像データの取り込み時において、それぞれ、計数処理ハードウェア回路であるシェーディング補正回路１２３によってシェーディング補正が行われる。このため、シェーディングの影響を受けることなく、その後の位置合わせ処理を行うことが可能である。また、シェーディング補正を専用のハードウェア回路で行うために、比較的高速にシェーディング補正を行うことが可能である。
【０１０６】なお、本実施の形態においては、画像データの取り込み時において、２枚の画像の両方についてそれぞれシェーディング補正が行われている。ここで、前述したように、比較的露光量の少ない画像はシェーディングの影響が小さくなるため、シェーディング補正をする必要性は少ない。また、このように比較的露光量の少ない画像にシェーディング補正を行うと、逆にノイズの影響が強くなることがある。このような理由から、撮影された二枚の画像両方に対してシェーディング補正を行わずに、露光量の多い第２画像Ｆ２に対してのみシェーディング補正を行うように制御してもよい。
【０１０７】具体的には、露光量の少ない２段アンダーの第１画像Ｆ１のデータ取り込み時において、Ａ／Ｄ変換された画像データを、シェーディング補正回路１２３に入力せずに、ＷＢ回路１２４に入力して所定の処理を行うようにする。つまり、図９のステップＳ１６のシェーディング補正処理を行わないようにすればよい。
【０１０８】このような場合、上述したように、比較的露光量の少ない２段アンダーの第１画像Ｆ１を先に撮影するようにすれば、第１画像Ｆ１と第２画像Ｆ２の撮影間にシェーディング補正処理が行われないため、撮影間隔を短くすることとなる。従って、撮影時間のタイミングの違いによる画像間の位置的な相違を減少させることができ、より正確な位置合わせを行うことが可能となる。
【０１０９】＜２．第２の実施の形態＞次に、本発明の第２の実施の形態について説明する。第１の実施の形態においては、画像データ取り込み時において専用回路である計数処理ハードウェア回路によってシェーディング補正を行っていたが、本実施の形態では画像データをそのまま画像メモリに格納し、ソフトウェアでシェーディング補正を行うという点で相違している。なお、本実施の形態における画像処理装置は、図２〜図４の外観構成の概略図に示すデジタルカメラ１と同様である。
【０１１０】図１３は、本実施の形態における画像処理装置であるデジタルカメラ１の内部構成を示す概略ブロック図である。この図において、第１の実施の形態と同じ機能を有するものには同一の符号を付しているため、詳細な説明は省略する。
【０１１１】本実施の形態のデジタルカメラ１は、ソフトウェアでシェーディング補正を行うため、シェーディング補正回路１２３の代わりに全体制御部１５０の処理プログラムによって実現される機能としてシェーディング補正部１６０を備えている。
【０１１２】シェーディング補正部１６０は、第１の実施の形態におけるシェーディング補正回路１２３の処理と同様の処理をソフトウェアとして実現するものである。すなわち、取得された画像データと、シェーディングＲＯＭ１５３に格納された補正テーブルとの乗算処理を行うことにより、シェーディング補正を行うものである。なお、第１の実施の形態においては、Ａ／Ｄ変換された画像データに対してシェーディング補正を行っていたが、本実施の形態においては、画像メモリ１２６に格納された画像データに対してシェーディング補正を行うという点で相違している。
【０１１３】また、同様に、ホワイトバランス調整処理及びγ補正処理もソフトウェアで実現されるようになっている。このため、ＷＢ回路１２４及びγ補正回路１２５の代わりに、全体制御部１５０の処理プログラムによって実現される機能としてＷＢ・γ補正部１６１を備えている。このＷＢ・γ補正部１６１の処理内容は、ＷＢ回路１２４及びγ補正部１２５の処理と同様である。このＷＢ・γ補正部１６１は、通常撮影モードにおいては、シェーディング補正部１６０においてシェーディング補正が行われた画像データに対して所定の処理を行う。一方、階調制御処理モードにおいては、画像合成部１５９によって合成処理が施された結果の合成画像に対して、所定の処理を行うようになっている。
【０１１４】また、第１の実施の形態においては、画像取り込み時において画像メモリ１２６は、ＣＣＤ３０３から出力されて所定の信号処理の終了した画像データを格納していた。これに対し本実施の形態においては、ＣＣＤ３０３から出力されてＡ／Ｄ変換が行われただけのＣＣＤ−ＲＡＷ形式の画像データが格納される。全体制御部１５０は、このＣＣＤ−ＲＡＷ形式の画像データを画像メモリ１２６から読み出して、上記シェーディング補正等の処理を行うこととなる。
【０１１５】次に、このように構成されたデジタルカメラ１の階調制御処理モードにおける撮影動作を説明する。図１４は、階調制御処理モードにおける撮影動作の手順を示すフローチャートである。
【０１１６】まず、ステップＳ４１において、シャッタボタンが半押しされると画像撮影のための準備として、撮影レンズ３のレンズ群３０の焦点が主被写体に調整されるとともに、ライブビュー画像を用いて露出制御値が算出され、ホワイトバランス調整値が設定される。この時算出された露出制御値は適正露出となる値であり、具体的には、適正値となるシャッタスピードおよび絞り値が取得される（ステップＳ４２）。
【０１１７】続いて、ステップＳ４３において、シャッタボタン９が全押しされると、適正値であるシャッタスピードより、２段階アンダーのシャッタースピードに設定する（ステップＳ４４）。そして、このシャッタスピードに相当する露光時間だけＣＣＤ３０３を露光して被写体の第１画像Ｆ１が取り込まれる（ステップＳ４５）。
【０１１８】露光の後、ＣＣＤ３０３から出力される画像信号は、信号処理回路１２１で所定のアナログ信号処理が施され、Ａ／Ｄ変換回路１２２において１０ビットの画素データに変換される。そして、Ａ／Ｄ変換された第１画像Ｆ１は、ＣＣＤ−ＲＡＷ形式のまま画像メモリ１２６の第１メモリ１２６ａに格納される（ステップＳ４６）。この第１画像Ｆ１は、ＣＣＤ３０３の露光時間を適正値より短くしているので、通常撮影モードで撮影される画像よりも露光量が少なく、全体的に暗い画像となっている。
【０１１９】続いて、適正値であるシャッタースピードより、２段階オーバーのシャッタースピードが設定され（ステップＳ４７）、このシャッタスピードに相当する露光時間だけＣＣＤ３０３を露光して被写体の第２画像Ｆ２が取り込まれる（ステップＳ４８）。露光の後、ＣＣＤ３０３から出力される画像信号は、第１画像Ｆ１と同様に、信号処理回路１２１で所定のアナログ信号処理が施され、Ａ／Ｄ変換回路１２２において１０ビットの画素データに変換され、ＣＣＤ−ＲＡＷ形式で画像メモリの第２メモリ１２６ｂに格納される（ステップＳ４９）。この第２画像Ｆ２は、ＣＣＤ３０３の露光時間を適正値より長くしているため、通常撮影モードで撮影される画像よりも露光量が多く、全体的に明るい画像となっている。
【０１２０】続いて、全体制御部１５０のシェーディング補正部１６０は、画像メモリ１２６の第１メモリ１２６ａから第１画像Ｆ１を読み出してシェーディング補正を行う（ステップＳ５０）。この処理は、第１の実施の形態と同様の処理、つまり、画像データと補正テーブルの乗算処理をソフトウェアで行うことで可能となる。そして、シェーディング補正部１６０は、シェーディング補正を行った第１画像Ｆ１を再び第１メモリ１２６ａに格納する。同様に、シェーディング補正部１６０は、画像メモリ１２６の第２メモリ１２６ｂから第２画像Ｆ２を読み出してシェーディング補正を行い、再び第２メモリ１２６ｂに格納する（ステップＳ５１）。
【０１２１】続いて、全体制御部１５０の画像合成部１５９は、画像メモリ１２６からシェーディング補正の行われた第１画像Ｆ１および第２画像Ｆ２を読み出して、両画像の位置合わせ処理及び合成処理を行い階調制御された合成画像を作成する（ステップＳ５２，Ｓ５３）。これらの処理は、図９のステップＳ２２及びステップＳ２３と同様である。なお、本実施の形態においても位置合わせ処理を行う前にシェーディング補正が行われているため、シェーディングの影響を受けることなく画像の位置合わせ処理を行うことが可能である。
【０１２２】続いて、全体制御部１５０のＷＢ・γ補正部１６１は、作成された合成画像に対してホワイトバランスの調整及びγ補正を行う（ステップＳ５４）。その後、ステップＳ５５の処理は、図９のステップＳ２４と同様である。
【０１２３】以上、第２の実施の形態について説明を行ったが、本実施の形態においては、合成に使用される二枚の画像データをそれぞれ画像メモリに格納し、合成処理を行う前にソフトウェア的にシェーディング補正を行っている。このため、シェーディングの影響を受けることなく、その後の位置合わせ処理を行うことが可能である。
【０１２４】また、第１画像Ｆ１と第２画像Ｆ２の撮影間にシェーディング補正等の画像処理が行われないため、撮影間隔を短くすることができる。従って、撮影時間のタイミングの違いによる画像間の位置的な相違を減少させることができ、より正確な位置合わせを行うことが可能である。
【０１２５】なお、第１の実施の形態と同様に、比較的露光量の少ない２段アンダーの第１画像Ｆ１のシェーディング補正を行わないように制御してもよい。すなわち、図１４のステップＳ５０を行わないようにしてもよい。このようにすれば、階調制御された合成画像を作成するまでのトータルの時間を短縮することが可能である。
【０１２６】＜３．第３の実施の形態＞次に、本発明の第３の実施の形態について説明する。第２の実施の形態においては、記録モードにおいてシェーディング補正を行って画像を合成し階調制御処理の行われた合成画像としてメモリカード８に記憶していたが、本実施の形態では記録モードにおいて撮影された二枚の画像をそのままメモリカード８に記憶した後、再生モードにおいて画像合成処理が行えるようになっている点で相違している。
【０１２７】本実施の形態における画像処理装置は、図２〜図４の概略構成図と同様の外観構成であり、また、図１３に示す概略ブロック図と同様の内部構成であるデジタルカメラ１である。
【０１２８】本実施の形態におけるデジタルカメラ１の撮影モードは、通常の一枚毎の撮影を行う通常撮影モードとともに、階調制御用撮影モードを備えている。階調制御用撮影モードは、上記実施の形態における階調制御処理モードと違い、画像合成処理を行うことはせず、同一被写体に対して露出の異なる二枚の画像を時間的に異なるタイミングで撮影しそれぞれメモリカード８に記録することに限定したモードである。
【０１２９】階調制御用撮影モードにおいては、全体制御部１５０の記録制御部１５６は、取得された画像データを後の画像合成処理等に使用するため、画質の低下要因となる圧縮処理は行わないで、そのまま撮影画像データとして記憶するようにしている。すなわち、画像メモリ１２６に格納されたＡ／Ｄ変換されただけのＣＣＤ−ＲＡＷ形式の画像データを、そのままの状態で撮影画像データとして記録処理を行う。もっとも、階調制御用撮影モードにおいては１回のシャッタ操作で露出の異なる二枚の撮影画像データが生じるので、二枚の画像それぞれにおいて、ＣＣＤ−ＲＡＷ形式の撮影画像データ及びサムネイル画像にタグ情報を添付した画像ファイルを作成し、メモリカード８に記憶することとなる。作成される画像ファイルのタグ情報の撮影モードには「階調制御用撮影モード１／２」のように階調制御用の撮影画像であることが認識できる情報が付与される。この「階調制御用撮影モード１／２」は、階調制御用撮影モードで撮影された１枚目の画像ファイルであることを示している。
【０１３０】図１５は、メモリカード８に記憶された画像ファイルの構成例を示すものである。図１５において、「Ｐ０００００１．ＪＰＧ」「Ｐ０００００２．ＪＰＧ」等は、画像ファイル名を示している。本実施の形態では画像ファイル名を「ＰＬ．Ｍ」で表記しており、「ＰＬ．Ｍ」の「Ｌ」は画像ファイルが作成された順番を示す６桁の番号であり、「Ｍ」は撮影画像データの形式を示す拡張子である。「Ｍ」において「ＪＰＧ」はＪＰＥＧ形式で圧縮されて記録された撮影画像データであり、「ＲＡＷ」はＣＣＤ−ＲＡＷ形式で記録された撮影画像データである。通常撮影モードで撮影された撮影画像データは拡張子「ＪＰＧ」となっており、階調制御用撮影モードにおいて撮影された撮影画像データは拡張子「ＲＡＷ」となっている。
【０１３１】階調制御用撮影モードでは、連続して二枚の画像データが取り込まれ、これらの撮影画像データについてそれぞれ画像ファイルが作成されるため、本実施の形態においては両画像ファイルを１つのフォルダにまとめてメモリカード８に記録するようになっている。図においては、「１ｔ」，「２ｔ」等が階調制御用撮影モードで撮影された画像ファイルのフォルダ名を示している。本実施の形態ではフォルダ名は「Ｎｔ」で表記しており、「Ｎ」は階調制御用撮影モードにおける撮影順を示す番号である。
【０１３２】次に、このように構成されたデジタルカメラ１の再生モードにおける階調制御処理について説明する。図１６は、この再生モードにおける階調制御処理の流れを示す図である。
【０１３３】電源スイッチ１４によって再生モードに設定され、メニュー表示スイッチ３４が押下されると、図１７（ａ）の如き再生メニュー画面がＬＣＤ１０に表示される。再生メニュー画面においては、通常の撮影された画像の再生表示以外の特殊再生方法を選択することが可能である。この特殊再生方法の中に、階調制御処理が含まれている。ユーザは、４連スイッチ１５の操作により、ＬＣＤ１０に表示されているカーソルＣ１を移動させて階調制御処理に位置を合わせ、実行スイッチ３２を押すことによって階調制御処理をデジタルカメラ１に指示することができる（ステップＳ６１）。
【０１３４】なお、この再生メニュー画面において、スライドショー等の階調制御処理以外の特殊再生方法が指示された場合は、指示された特殊再生方法に基づいた所定の処理が行われることとなる（ステップＳ６３）。
【０１３５】続いて、全体制御部１５０の再生制御部１５７は、メモリカード８に記憶された撮影画像の中から、階調制御用撮影モードで撮影された画像ファイルのフォルダのみを検索しサムネイル画像を読み出す（ステップＳ６２）。具体的には、フォルダ名が「Ｎｔ」で表記してあるフォルダのみをメモリカード８の中から順次検索していき、当該フォルダの中に含まれる第１画像Ｆ１及び第２画像Ｆ２のサムネイル画像のみを読み出すこととなる。
【０１３６】続いて、再生制御部１５７は、例えば、ＬＣＤ１０の画面１ページあたり４枚のサムネイル画像が２×２に２次配列されるようなインデックスフォーマットに従ってＬＣＤＶＲＡＭ１４１に記憶する。これにより、ＬＣＤ１０には、階調制御用撮影モードで撮影された二枚のサムネイル画像の組み合わせが、図１７（ｂ）の如く、二組表示されることとなる（ステップＳ６４）。
【０１３７】階調制御用撮影モードで撮影された画像が表示されると、ユーザは、４連スイッチ１５及びスイッチ群１６の操作により、ＬＣＤ１０に表示されているカーソルＣ２を移動させて、階調制御処理を行う第１画像Ｆ１及び第２画像Ｆ２を指定する（ステップＳ６５）。この画像選択用のカーソルＣ２は、階調制御用撮影モードで撮影された画像を指定する場合は、二枚のサムネイル画像の組み合わせ毎に指定することが可能である。つまり、ユーザは１回の指定操作により、任意の第１画像Ｆ１及び第２画像Ｆ２を指定できるようになっている。
【０１３８】階調制御処理を行う第１画像Ｆ１及び第２画像Ｆ２が指定されると、再生制御部１５７は、指定された２枚の画像のＣＣＤ−ＲＡＷ形式の撮影画像データを読み出し、その後の処理を行えるように画像メモリ１２６に格納する（ステップＳ６６）。さらに、再生制御部１５７は、指定された２枚の画像ファイルのそれぞれのタグ情報を読み出し、ＲＡＭ１５２に記憶する（ステップＳ６７）。
【０１３９】続いて、全体制御部１５０のシェーディング補正部１６０は、画像メモリ１２６から第１画像Ｆ１を読み出してシェーディング補正を行う（ステップＳ６８）。この処理は、第２の実施の形態と同様に、画像データと補正テーブルの乗算処理をソフトウェアで行う。このシェーディング補正で使用される補正テーブルは、第１画像Ｆ１のファイルから読み出されたタグ情報を利用してシェーディングＲＯＭ１５３から選択される。これは、タグ情報に撮影時の焦点距離及び絞り値が含まれているため、撮影時の光学条件に応じた補正テーブルを選択することが可能である。シェーディング補正部１６０は、シェーディング補正を行った第１画像Ｆ１を再び画像メモリ１２６に格納し、同様に、画像メモリ１２６から第２画像Ｆ２を読み出してシェーディング補正を行う（ステップＳ６９）。
【０１４０】続いて、全体制御部１５０の画像合成部１５９は、画像メモリ１２６からシェーディング補正の行われた第１画像Ｆ１および第２画像Ｆ２を読み出して、両画像の位置合わせ処理及び合成処理を行い階調制御された合成画像を作成する（ステップＳ７０，Ｓ７１）。これらの処理は、図９のステップＳ２２及びステップＳ２３と同様である。作成された合成画像はＬＣＤ１０に表示され、ユーザは当該ＬＣＤ１０を参照することで合成処理結果を確認することとなる（ステップＳ７２）。なお、本実施の形態においても位置合わせ処理を行う前にシェーディング補正が行われているため、シェーディングの影響を受けることなく画像の位置合わせ処理を行うことが可能である。
【０１４１】続いて、合成画像がＬＣＤ１０に表示された後、所定時間経過すると、ＬＣＤ１０に作成された合成画像を記録するか否かを選択できる画面が表示される。この画面においてユーザによって記録することが指示されると、全体制御部１５０の記録制御部１５６が作成された合成画像の記録処理を行うこととなる。すなわち、所定の圧縮処理を行って撮影画像データが作成されるとともに、サムネイル画像及びタグ情報のデータが付加されて、画像ファイルとしてメモリカード８に記録される（ステップＳ７３，Ｓ７４）。
【０１４２】以上、第３の実施の形態について説明を行ったが、本実施の形態においては、メモリカード８から画像を読み出して、合成処理を行う前にソフトウェア的にシェーディング補正を行っている。このため、シェーディングの影響を受けることなく、その後の位置合わせ処理を行うことが可能である。
【０１４３】また、シェーディング補正、位置合わせ処理及び画像合成処理等の処理は一般に長時間を要し、記録モードにおいてこれらの処理を行うと、画像取り込みからメモリカード８へ記録するまでの処理時間が長くなる。本実施の形態においては、ユーザの都合の良い任意の時間においてこれらの処理を行うことが可能である。
【０１４４】＜４．第４の実施の形態＞次に、第４の実施の形態について説明する。上記第３の実施の形態においては、記録された撮影画像データに対しての合成処理等の階調制御処理をデジタルカメラにおいて行っていたが、本実施の形態においてはパーソナルコンピュータ等で構成される画像処理装置において行うようにしている。すなわち、デジタルカメラ等の撮像手段を備える画像処理装置では合成に用いる二枚の画像の連続撮影のみを行い、これらの２枚の画像の位置合わせや画像合成処理等の階調制御処理はパーソナルコンピュータ等で構成される画像処理装置によって行う。
【０１４５】階調制御処理において使用される二枚の画像は、第３の実施の形態におけるデジタルカメラの階調制御用撮影モード等において撮影されたものである。つまり、それぞれ、Ａ／Ｄ変換が行われただけのＣＣＤ−ＲＡＷ形式で記録された、適正露出より露出アンダーの撮影画像データ（第１画像Ｆ１）と、適正露出より露出オーバーの撮影画像データ（第２画像Ｆ２）とを使用する。さらに、このＣＣＤ−ＲＡＷ形式の撮影画像データに、撮影時の光学条件を含むタグ情報及びサムネイル画像が付加された画像ファイルを使用することが好ましい。
【０１４６】図１８は、本実施の形態に係る画像処理装置の構成を示す外観図である。図１８に示すように、画像処理装置５０は、パーソナルコンピュータ６０とその出力装置であるプリンタ７０とを備えている。
【０１４７】パーソナルコンピュータ６０は、コンピュータ本体６１と、各種情報の表示を行うディスプレイ６２と、ユーザからの入力を受け付けるキーボード６３及びマウス６４を備えている。また、コンピュータ本体６１は、光磁気ディスク等の記録媒体９０から各種データの読み取りを行う読取装置６１ａ，６１ｃ及びメモリカードの読み取りを行うメモリカードリーダ６１ｂを備えている。
【０１４８】パーソナルコンピュータ６０は、コンピュータ本体６１内部の所定の記憶装置である固定ディスクに、シェーディング補正に使用する複数の補正テーブルを記憶している。これらの補正テーブルは、それぞれ、階調制御処理に使用する画像を撮影すると想定されるカメラ（同一被写体に対して露光量を変更して２枚の画像を撮影する機能を有するデジタルカメラ等。以下、「想定カメラ」）の種類と予め関連付けられている。さらに、想定カメラにおける撮影時の焦点距離や絞り値の光学条件をパラメータとして、パラメータ毎に複数の補正テーブルが記憶されている。すなわち、階調制御処理を行う二枚の撮影画像データが撮影されたカメラ及び当該撮影画像データの撮影時の光学条件（以下、「補正テーブル選択条件」）を指定してやれば、シェーディング補正に用いる最適な補正テーブルを選択することができることとなる。
【０１４９】また、パーソナルコンピュータ６０は、コンピュータ本体６１内部の固定ディスクに、露光量の異なる二枚の撮影画像データを合成して所望の階調を有する合成画像を作成する階調制御プログラムを記憶している。パーソナルコンピュータ６０は、固定ディスクからこの階調制御プログラム読み出して実行することにより階調制御処理を行う画像処理装置として機能することとなる。この階調制御プログラムは、当該プログラムが記録された光磁気ディスク等の記録媒体から読取装置６１ａまたは６１ｂを介してコンピュータ本体６１に予めインストールされている。なお、この階調制御プログラムは、所定のサーバー記憶装置からインターネット等の通信回線を介してダウンロードされてインストールされるようになっていてもよい。
【０１５０】図１９は、パーソナルコンピュータ６０において、階調制御プログラムを実行した場合におけるディスプレイ６２に表示される作業ウィンドウの一例を示す図である。作業ウィンドウ２００には階調制御処理に関係する画像データのサムネイル画像を表示する２つの表示領域２０１〜２０３と、処理内容や処理条件等を指示するためのコマンドボタン２０４〜２０８が表示される。
【０１５１】表示領域２０１及び表示領域２０２は画面上部に配置され、表示領域２０１には露出オーバーの第２画像Ｆ２のサムネイル画像ｆ２が表示され、表示領域２０２には露出アンダーの第１画像Ｆ１のサムネイル画像ｆ１が表示される。また、表示領域２０３は表示領域２０１の下部に配置され、サムネイル画像ｆ１及びサムネイル画像ｆ２とを合成して階調制御シミュレートを行ったサムネイル画像ｆ３が表示される。
【０１５２】また、コマンドボタン２０４〜２０８は表示領域２０２の下部に縦配列されて表示される。マウスカーソルＣ３によってこれらのコマンドボタンをクリックすることにより、各コマンドボタンに予め設定された処理を指示できるようになっている。
【０１５３】「ファイル」と表示されたコマンドボタン（以下、「ファイルボタン」）２０４は画像ファイルを指定するためのものである。このファイルボタン２０４をクリックすることによってファイル指定ウィンドウが開き、メモリカードリーダ６１ｂに装着されたメモリカード等から階調制御処理を行う第１画像Ｆ１及び第２画像Ｆ２の画像ファイルを指定することが可能である。第３の実施の形態のデジタルカメラによって撮影された画像ファイルを使用する場合は、同一フォルダ「Ｎｔ」内に第１画像Ｆ１及び第２画像Ｆ２の画像ファイルが含まれているため、フォルダ指定のみで両画像ファイルを指定することが可能である。
【０１５４】「実行」と表示されたコマンドボタン（以下、「実行ボタン」）２０６は、露光量の異なる二枚の撮影画像データを用いて実際に階調制御処理を実行するためのものである。この階調制御処理の詳細については後述する。
【０１５５】「カメラの種類選択」と表示されたコマンドボタン（以下、「カメラ選択ボタン」）２０５は、階調制御処理を行う二枚の撮影画像データが撮影されたカメラ及び当該撮影画像データの撮影時の光学条件を指定するためのものである。すなわち、このカメラ選択ボタン２０５の操作によって、補正テーブル選択条件を指定することとなる。
【０１５６】カメラ選択ボタン２０５をクリックすると、図２０の如きカメラ選択ウィンドウ２１０がディスプレイ６２に表示される。カメラ選択ウィンドウ２１０は、自動選択ボタン２１１ａと想定カメラの名称が付された想定カメラボタン２１１ｂ〜２１１ｄとを備えたオプションボタン群２１１を備えている。想定カメラボタン２１１ｂ〜２１１ｄは、図においては３つ表示されているが、想定カメラとして予め登録されてある種類の数と同数表示される。ユーザは、マウスカーソルＣ２によってクリックすることにより、自動選択ボタン２１１ａまたは想定カメラボタン２１１ｂ〜２１１ｄのうち任意のものを選択指定することが可能である。
【０１５７】補正テーブル選択条件をマニュアル的に入力する場合は、想定カメラボタン２１１ｂ〜２１１ｄから該当するカメラ名称を指定するようにする。この想定カメラボタン２１１ｂ〜２１１ｄのいずれかを指定してＯＫボタン２１３をクリックすると、さらに、焦点距離及び絞り値を入力する光学条件入力ウィンドウが表示される。ユーザは、この光学条件入力ウィンドウにおいて、撮影時の焦点距離及び絞り値をキーボード６３を介して入力する。このような操作により、補正テーブル選択条件をマニュアル的に指定することとなる。
【０１５８】一方、タグ情報が付加された画像ファイルを利用する場合は、自動選択ボタン２１１ａを選択するようにする。タグ情報には、前述したようにカメラ名称、焦点距離及び絞り値の撮影条件情報が予め記載されており、これらを自動的に読み取ることによって補正テーブル選択条件として設定することが可能であるためである。従って、自動選択ボタン２１１ａを選択した場合は、ユーザは補正テーブル選択条件をマニュアル的に入力する必要はない。なお、カメラ選択ボタン２０５を操作してカメラ及び撮影時の光学条件の指定が行われない場合は、この自動選択ボタン２１１ａがデフォルトで選択される。
【０１５９】図１９に戻り、「エリア指定」と表示されたコマンドボタン（以下、「エリア指定ボタン」）２０７は、二枚の撮影画像データの位置合わせに使用する位置合わせ領域Ａ１を指定するためのものである。本実施の形態においては、位置合わせ処理における前述した相関係数Ｃを算出する際において、全画素データに関して総和するのではなく、指定された位置合わせ領域Ａ１のみの画素データに関して総和を行い、相関係数Ｃを求めることとなる。
【０１６０】この位置合わせ領域の指定は、図２１に示すように表示領域２０１に表示されたサムネイル画像ｆ２を用いて、実際の撮影画像データにおける位置合わせ領域に相当する領域を、位置合わせ仮領域Ａ０として指定することによって行われる。このサムネイル画像ｆ２で指定される位置合わせ仮領域Ａ０に基づいて、階調制御処理時において実際の撮影画像データの位置合わせ領域Ａ１が設定されることとなる。矩形である位置合わせ仮領域Ａ０は、その左上端点となる点ＡＬ０及び右下端点となる点ＡＲ０の画像中心を原点とする直角ＸＹ平面座標位置で指定される。具体的には、サムネイル画像ｆ２においてユーザによって最初にクリックされた位置が左上端点ＡＬ０の座標位置として指定され、次にクリックされた位置が右下端点ＡＲ０の座標位置として指定されることとなる。
【０１６１】図１９に戻り、「終了」と表示されたコマンドボタン（以下、「終了ボタン」）２０８は、階調制御プログラムの実行を終了させるためのものである。ユーザは、この終了ボタンをクリックすることによりすべての処理を終了する。
【０１６２】また、作業ウィンドウ２００の表示領域２０３の下部には、スライダー２０９が表示される。このスライダー２０９は、サムネイル画像を用いた階調調整処理のシミュレーションにおけるサムネイル画像ｆ１とサムネイル画像ｆ２との合成比を設定するものである。ここにいう合成比は、図１２（ｂ）に示す露出オーバーの画像データのレベル毎の加算比ではなく、全体的なサムネイル画像ｆ１とサムネイル画像ｆ２との合成割合である。図１２（ｂ）では、加算比率特性を示す曲線Ｒによって仕切られる上部領域（露出アンダーの第１画像Ｆ１が加算される領域）と下部領域（露出オーバーの第２画像Ｆ２が加算される領域）との面積比に類似したものである。
【０１６３】従って、スライダー２０９をマウスカーソルＣ３を用いて左右に移動させることで、図１２（ｂ）における加算比率特性を示す曲線Ｒが上下方向に変化されて合成比が任意に設定される。具体的には、スライダー２０９を中央位置から右側に移動させると、露出オーバーの第２画像Ｆ２の合成割合が大きくなり、左側に移動すると露出アンダーの第１画像Ｆ１の合成割合が大きくなる。
【０１６４】次に、このように構成された画像処理装置５０における階調制御処理について説明する。図２２及び図２３は、階調制御処理の手順を示すフローチャートである。
【０１６５】まず、ユーザにより階調制御処理に使用する二枚の画像ファイルの指定が行われる。ファイルボタン２０４をクリックすることによって画像ファイルが指定されると、指定された画像ファイルからそれぞれサムネイル画像ｆ１，ｆ２が読み出され、作業ウィンドウ２００の表示領域に表示される（ステップＳ１０１，Ｓ１０２）。
【０１６６】続いて、スライダー２０９の設定位置から加算比率特性が読みとられ（ステップＳ１０３）、その加算比率特性を用いてサムネイル画像による階調制御シミュレーションが行われる（ステップＳ１０４）。
【０１６７】階調制御シミュレーションは、まず、二枚のサムネイル画像ｆ１，ｆ２の全ての画素データを用いて位置合わせ処理が行われる。この位置合わせ処理は、図９のステップＳ２２と同様である。ここで、全ての画素データを用いて位置合わせ処理を行っているが、画素データ数の少ないサムネイル画像を用いるため比較的高速に行われる。続いて、設定された加算比率特性に基づいて、サムネイル画像ｆ１及びサムネイル画像ｆ２との合成処理が行われ、その結果が表示領域２０３に表示される（ステップＳ１０５）。
【０１６８】サムネイル画像による階調制御シミュレーションが終了すると、スライダー２０９が移動されたか否かが判別される（ステップＳ１０６）。ここで、スライダーが移動していれば、ステップＳ１０３に戻り、サムネイル画像による階調制御シミュレーションを行うこととなる（ステップＳ１０３〜Ｓ１０５）。
【０１６９】一方、スライダー２０９が移動されていなければ、実行ボタン２０６が操作されたか否かが判別される（ステップＳ１０７）。スライダー２０９の移動及び実行ボタン２０６の操作がなければ、ステップＳ１０６に戻り、サムネイル画像による階調調整のシミュレーション結果を表示した状態で待機状態となる。カメラ選択ボタン２０５による補正テーブル選択条件の指定、及び、エリア指定ボタン２０７による位置合わせ仮領域Ａ０の指定は、この待機状態において行うことが可能である。
【０１７０】ステップＳ１０７において実行ボタン２０６が操作されると、図２３のステップＳ１１１に移行し、二枚の指定された画像ファイルからそれぞれ撮影画像データ（露出アンダーの第１画像Ｆ１及び露出オーバーの第２画像Ｆ２）が読み出される。
【０１７１】続いて、第１画像Ｆ１及び第２画像Ｆ２の撮影画像データの位置合わせに使用する位置合わせ領域Ａ１が設定される（ステップＳ１１２）。この位置合わせ領域は、上述した図２１に示すサムネイル画像ｆ２においてユーザによって予め位置合わせ仮領域Ａ０が指定されていなければ、撮影画像データ全体が位置合わせ領域Ａ１として設定される。位置合わせ仮領域Ａ０が指定されていた場合は、サムネイル画像ｆ２における座標位置を、撮影画像データにおける座標位置に変換して設定する。例えば、サムネイル画像が撮影画像データのサイズを１／ｎに縮小して作成されたものであるならば、位置合わせ仮領域Ａ０の左上端点ＡＬ０の座標位置を（ｌ，ｍ）とすると、位置合わせ領域Ａ１の左上端点ＡＬ１の座標位置は（ｎ・ｌ，ｎ・ｍ）となる。同様に、位置合わせ領域Ａ１の右下端点ＡＲ１の座標位置も設定されることになる。
【０１７２】続いて、設定された位置合わせ領域Ａ１が、シェーディング補正が必要か否かが判別される（ステップＳ１１３）。ここで、図２４を参照してこのシェーディング補正が必要か否かの判別について説明する。図２４の上部は、図１と同様のシェーディングの影響の例を示した図である。すなわち、横軸は各画素データの撮影画像データの中心点からの距離を、撮影画像データの対角線の長さを１として相対距離で示している。また、縦軸は各画素データのレベルを相対値で示している。ここで、画素データのレベルの相対値において、シェーディングの影響が無いとする所定の閾値を例えば０．９以上とする。同図においては焦点距離や絞り値の光学条件にかかわらず、撮影画像データの中心から０．３の距離範囲の領域においては、画素データのレベルの相対値が０．９以上となっている。すなわち、対角線の長さの３０％の距離範囲の領域であれば、どのような光学条件であっても、シェーディングの影響を受けないと判断できる。
【０１７３】図２４の下部は、撮影画像データにおけるこのシェーディングの影響を受けない領域（以下、「非シェーディング領域」）Ａ２を、撮影画像データの中心を原点とした直角ＸＹ平面座標で示したものである。非シェーディング領域Ａ２とシェーディングの影響のある領域の境界曲線ＬＡは、撮影画像データの中心点から同一の距離であるため略円形状となる。図において、境界曲線ＬＡの中央側領域が非シェーディング領域Ａ２であり、境界曲線ＬＡの周辺側領域がシェーディングの影響のある領域である。位置合わせ領域Ａ１を構成する画素データが、この非シェーディング領域Ａ２内に全て含まれていれば、位置合わせ領域Ａ１はシェーディング補正が必要ないと判別される。具体的には、撮影画像データの対角線の長さを１として、位置合わせ領域Ａ１の左上端点ＡＬ１の座標位置の原点からの相対距離、および、右下端点ＡＲ１の座標位置の原点からの相対距離が０．３以下であれば、シェーディング補正が必要ないと判別されることとなる。逆に、左上端点ＡＬ１または右下端点ＡＲ１が、非シェーディング領域Ａ２に含まれていなければ、シェーディング補正が必要であると判別されることとなる。
【０１７４】このような処理によって、位置合わせ領域Ａ１のシェーディング補正が必要ないと判別された場合（ステップＳ１１３においてＮｏの場合）は、シェーディング補正をすることなく、ステップＳ１２３に移行し位置合わせ処理を行うこととなる。
【０１７５】位置合わせ領域Ａ１のシェーディング補正が必要であると判別された場合（ステップＳ１１３においてＹｅｓの場合）は、続いて、カメラ選択が自動選択であるか否かが判別される（ステップＳ１１４）。このとき、カメラ選択が自動選択でない場合、すなわち、上述した図２０に示す画面において、ユーザによって補正テーブル選択条件がマニュアル的に指定されていた場合は、この補正テーブル選択条件に従って補正テーブルを選択することが可能である。従って、ステップＳ１２０に移行して補正テーブルを選択することとなる。
【０１７６】一方、カメラ選択が自動選択である場合、すなわち、上述した図２０に示す画面において自動選択ボタン２１１ａが選択されていた場合は、使用する画像ファイルのタグ情報を参照して、カメラ名称、焦点距離及び絞り値の撮影条件情報を読み取る（ステップＳ１１５，Ｓ１１６，Ｓ１１７）。このタグ情報からの撮影条件情報の読み取りにより、補正テーブル選択条件が自動的に設定される。
【０１７７】続いて、このタグ情報からの撮影条件情報の読み取りが正常に行われたか否かを判別し（ステップＳ１１８）、正常に読み取られた場合は、ステップＳ１２０に移行して補正テーブルを選択することとなる。
【０１７８】一方、撮影条件情報の読み取りが正常に行われなかった場合は、補正テーブル選択条件が設定できないため、シェーディング補正を行うことができず、正確な位置合わせ処理を行うことができない。従って、位置合わせ処理に使用する位置合わせ領域Ａ１を、シェーディングの影響の無い範囲内になるように狭くするようにする（ステップＳ１１９）。このシェーディングの影響のない範囲とは、例えば、図２４の例で示したように、画像の中心から画像の対角線の長さの３０％の距離範囲のことである。
【０１７９】本実施の形態においては、正確に位置合わせ処理を行うため、位置合わせ領域Ａ１のサイズを撮影画像データのサイズの２０％に設定される。つまり、１６００×１２００の画素データから構成される撮影画像データであれば、位置合わせ領域Ａ１は、３２０×２４０の画素データで構成されるように設定される。撮影画像データの中心点と位置合わせ領域Ａ１の中心点は同一にする。このように、位置合わせ領域Ａ１をシェーディングの影響のない範囲内になるように狭くした場合は、シェーディング補正をする必要が無くなるため、ステップＳ１２３に移行して位置合わせ処理を行うこととなる。
【０１８０】ステップＳ１１４〜Ｓ１１８において、補正テーブル選択条件が設定された場合は、この補正テーブル選択条件に従って補正テーブルが選択される（ステップＳ１２０）。続いて、撮影画像データと補正テーブルを乗算処理することによって、第１画像Ｆ１及び第２画像Ｆ２のそれぞれのシェーディング補正が行われる（ステップＳ１２１，Ｓ１２２）。
【０１８１】このシェーディング補正処理は、本実施の形態においては、位置合わせ領域Ａ１のみに対してシェーディング補正を行うようにしている。すなわち、撮影画像データの位置合わせ領域Ａ１に含まれる画素データのみに対して対応する補正係数の逆数を乗算して、シェーディング補正を行うようにする。このことによって、位置合わせ領域Ａ１にはシェーディング補正が行われて、その後の位置合わせ処理が正確に行えるようになるとともに、シェーディング補正の処理時間の短縮を図ることが可能となる。
【０１８２】続いて、ステップＳ１２３においては、位置合わせ領域Ａ１のみを用いて位置合わせ処理を行う。この位置合わせ処理は、前述した第２画像Ｆ２の相関係数Ｃ（ξ，η）が最小となる移動量（ｘ３，ｙ３）を算出するにあたって、位置合わせ領域Ａ１のみの画素データを総和するようにする。そして、図１１に示した場合と同様に、算出された移動量（ｘ３，ｙ３）の第２画像Ｆ２の全体の平行移動を行う。そして、平行移動を行った後に第１画像Ｆ１と重ならない部分の画素データと、第１画像Ｆ１の第２画像Ｆ２と重ならない部分の画素データを削除する。このように位置合わせ領域Ａ１のみを利用して相関係数Ｃを求めることによって、ユーザの求める画像位置に関して正確に位置合わせできるようになるとともに、位置合わせ処理の処理時間の短縮を図ることが可能となる。
【０１８３】続いて、スライダー２０９によって設定された加算比率特性に従って、第１画像Ｆ１及び第２画像Ｆ２の画像合成処理が行われる（ステップＳ１２４）。そして、図２５に示すようにディスプレイ６２に処理結果表示ウィンドウ２２０を表示させ、その表示領域２２１に合成画像が表示される（ステップＳ１２５）。この処理結果表示ウィンドウ２２０は、保存ボタン２２２及びキャンセルボタン２２３を備えており、保存ボタン２２２をマウスカーソルＣ３によってクリックすることによって、作成された合成画像を所定の記憶手段に保存することができる（ステップＳ１２６，Ｓ１２７）。なお、キャンセルボタン２２３をクリックした場合は、保存は行われることはない。
【０１８４】以上、第４の実施の形態において説明したが、本実施の形態においては、位置合わせ領域Ａ１を指定し、その位置合わせ領域Ａ１のシェーディング補正が必要な場合のみに、シェーディング補正を行うようにしている。このようにすることで、シェーディング補正および位置合わせ処理の簡略化と処理時間の短縮を図ることが可能である。
【０１８５】なお、本実施の形態においては、補正テーブル選択条件として、カメラの種類、焦点距離及び絞り値を利用していたが、さらに撮影時に使用された撮影レンズの種類を設定できるようになっていてもよい。
【０１８６】また、本実施の形態においては、パーソナルコンピュータに階調制御プログラムを実行させた画像処理装置において処理を行っていたが、デジタルカメラにおいて同様の階調制御プログラムを実行させて上述した処理を行うようにしてもよい。
【０１８７】＜５．第５の実施の形態＞次に、第５の実施の形態について説明する。上記実施の形態においては、シェーディング補正を行ってから位置合わせ処理及び画像合成処理を行っていたが、第５の実施の形態におけるシェーディング補正部１６０は、第１画像Ｆ１と第２画像Ｆ２との位置合わせと画像合成とを先に行い、その後にシェーディング補正を行う。
【０１８８】このうち、位置合わせ処理の際の相関係数Ｃの算出は、限定された領域としての位置合わせ領域Ａ１を利用するが、この領域Ａ１は全体制御部１５０中の画像合成部１５９によって自動的に設定されるようになっている。
【０１８９】ところで、第１画像Ｆ１と第２画像Ｆ２とのフレーム一致状態を基準として、画像内容が相互にマッチング（適合）するような画像Ｆ１，Ｆ２の相対的な空間移動量を「適合移動量」と呼ぶことにすれば、シェーディング補正係数の分布は適合移動量に応じて変化する。それは、合成画像では元の二枚の画像Ｆ１、Ｆ２のそれぞれにおけるシェーディングの影響が混合された状態となっているが、それらの影響の大きさが適合移動量によって異なっているためである。
【０１９０】なお、本実施の形態における画像処理装置の他の基本構成は、第３の実施の形態における画像処理装置であるデジタルカメラ１の構成と同様である。再生モードにおいてメモリカード８に記憶されたＣＣＤ−ＲＡＷ形式の撮影画像データを使用して、位置合わせ処理及び画像合成処理等の画像処理を行うことも同様である。
【０１９１】次に、本実施の形態のデジタルカメラ１の再生モードにおける階調制御処理について説明する。図２６は、再生モードにおける階調制御処理の流れを示す図である。
【０１９２】ステップＳ８１〜Ｓ８７における処理は、図１６のステップＳ６１〜Ｓ６７と同様である。ステップＳ８７が終了した時点で、階調制御処理に使用する第１画像Ｆ１及び第２画像Ｆ２それぞれのＣＣＤ−ＲＡＷ形式の撮影画像データが読み出され、それぞれ画像メモリ１２６に格納されている。さらに、二枚の画像ファイルそれぞれのタグ情報が読み出され、ＲＡＭ１５２に記憶されている。
【０１９３】続いて、全体制御部１５０の画像合成部１５９において、位置合わせ処理を行うこととなる。本実施の形態においては、第１画像Ｆ１及び第２画像Ｆ２のそれぞれはシェーディング補正が行われていない。このため、撮影画像データ全体で位置合わせ処理を行うとシェーディングの影響を受けることとなり、位置合わせ処理が正確に行われないこととなる。このため、位置合わせ処理を行う前に、シェーディングの影響のない領域（非シェーディング領域Ａ２）から、位置合わせ処理に利用する位置合わせ領域Ａ１を設定する（ステップＳ８８）。
【０１９４】この位置合わせ領域Ａ１の設定にあたっては、まず、位置合わせを行う撮影画像データの非シェーディング領域Ａ２を取得し、取得された非シェーディング領域Ａ２内に全ての画素データが含まれるような位置合わせ領域Ａ１の設定が行われることとなる。前述したように、撮影レンズ３の焦点距離及び絞り値に応じてシェーディングの影響範囲が変化する。つまり、撮影画像データの撮影時の焦点距離及び絞り値に応じて非シェーディング領域Ａ２は変化することとなる。このため、非シェーディング領域Ａ２を取得するにあたって、撮影時の焦点距離および絞り値をパラメータとした補正テーブルを参照することとなる。具体的には、位置合わせを行う撮影画像データの撮影時の焦点距離および絞り値から補正テーブルを選択し、この補正テーブルに設定された補正係数が所定の閾値例えば０．９以上の値になる領域が、非シェーディング領域Ａ２として取得されることとなる。なお、補正テーブルの選択に使用される焦点距離及び絞り値の情報はＲＯＭ１５１に記憶されたタグ情報から取得される。
【０１９５】図２７は、撮影時の焦点距離及び絞り値に応じて取得された非シェーディング領域Ａ２の例を撮影画像データＦにおける直角ＸＹ平面座標系で示した図である。図２７に示すように、非シェーディング領域Ａ２の境界曲線ＬＡａ〜ＬＡｂは、撮影画像データの中心点を中心とする略円形状となる。すなわち、この境界曲線ＬＡａ〜ＬＡｂの中央側領域が非シェーディング領域Ａ２であり、周辺側領域がシェーディングの影響のある領域である。
【０１９６】図において実線Ｌ２ａに囲まれる領域Ａ２ａは、デジタルカメラ１の初期状態で撮影した撮影画像データの場合において、取得された非シェーディング領域Ａ２を示している。なお、ここでデジタルカメラ１の初期状態とは、撮影レンズ３の焦点距離及び絞り値が初期値（電源がオンになった時点の値）である状態のことである。
【０１９７】また、点線Ｌ２ｂ，Ｌ２ｃに囲まれる領域Ａ２ｂ，Ａ２ｃは、焦点距離または絞り値が初期値から変更されて撮影された撮影画像データの場合において、取得された非シェーディング領域Ａ２を示している。このように、焦点距離または絞り値が初期値から変更された場合は、それに応じて領域Ａ２ａに対して広さが変更された非シェーディング領域Ａ２が取得されることとなる。すなわち、非シェーディング領域Ａ２は、焦点距離が初期値よりワイド側になるほど領域Ａ２ｂのように狭くなり、逆に、焦点距離が初期値よりテレ側になるほど領域Ａ２ｃのように広くなる。また同様に、非シェーディング領域Ａ２は、絞り値が初期値より小さくなるほど領域Ａ２ｂのように狭くなり、逆に、絞り値が大きくなるほど非シェーディングＡ２は領域Ａ２ｃのように広くなる。
【０１９８】画像合成部１５９は、このような焦点距離及び絞り値に応じた非シェーディング領域Ａ２を取得後に、矩形の位置合わせ領域Ａ１の設定を行うこととなる。この位置合わせ領域Ａ１設定は、非シェーディング領域Ａ２の境界曲線ＬＡａ〜ＬＡｂと、撮影画像データの対角線ＤＬとの２つの交点を、それぞれ、位置合わせ領域Ａ１の左上端点及び右下端点として設定することで行われる。従って、設定される位置合わせ領域Ａ１の全ての画素データは、非シェーディング領域Ａ２内に含まれることとなる。
【０１９９】図２７に示す実線Ｌ１ａで囲まれる領域Ａ１ａは、デジタルカメラ１の初期状態で撮影画像データの場合において、設定された位置合わせ領域Ａ１を示している。また、点線Ｌ１ｂ，Ｌ１ｃに囲まれる領域Ａ１ａ，Ａ１ｃは、焦点距離または絞り値が初期値から変更されて撮影された撮影画像データの場合において、設定された位置合わせ領域Ａ１を示している。
【０２００】位置合わせ領域Ａ１は、非シェーディング領域Ａ２の大きさに応じて設定されることから、焦点距離または絞り値が初期値から変更された場合は、それに応じて領域Ａ１ａに対して広さが変更された位置合わせ領域Ａ１が取得される。すなわち、位置合わせ領域Ａ１は、焦点距離が初期値よりワイド側になるほど領域Ａ１ｂのように狭く設定され、逆に、焦点距離が初期値よりテレ側になるほど領域Ａ１ｃのように広く設定される。また同様に、位置合わせ領域Ａ１は、絞り値が初期値より小さくなるほど領域Ａ１ｂのように狭く設定され、逆に、絞り値が初期値より大きくなるほど領域Ａ１ｃのように広く設定されることとなる。
【０２０１】なおここで、「焦点距離がワイド端」かつ「絞り値が開放」の場合における非シェーディング領域Ａ２は、あらゆる焦点距離及び絞り値の光学条件における非シェーディング領域Ａ２の中で最も狭くなることとなる。つまり、「焦点距離がワイド端」かつ「絞り値が開放」の場合における非シェーディング領域Ａ２内に、位置合わせ領域Ａ１が含まれるように設定すれば、あらゆる光学条件において必ず非シェーディング領域Ａ２内に含まれることとなる。還元すれば、当該位置合わせ領域Ａ１は、全ての光学条件において利用することが可能である。従って、前述したように焦点距離及び絞り値に応じた位置合わせ領域Ａ１の変更を行わずに、「焦点距離がワイド端」かつ「絞り値が開放」の場合における非シェーディング領域Ａ２に含まれる領域を、固定の位置合わせ領域Ａ１として設定をしてもよい。
【０２０２】このような処理によって位置合わせ領域Ａ１の設定を行うと、画像合成部１５９は、この位置合わせ領域Ａ１を用いて、第１画像Ｆ１及び第２画像Ｆ２の位置合わせ処理が行われる（ステップＳ８９）。この位置合わせ処理は、図２３のステップＳ１２３と同様の処理である。そして、第１画像Ｆ１及び第２画像Ｆ２の合成処理が行われる（ステップＳ９０）。この合成処理は、図９のステップＳ２３と同様の処理である。
【０２０３】続いて、合成画像が作成されると、シェーディング補正部１６０は、作成された合成画像に対してシェーディング補正を行う（ステップＳ９１）。このシェーディング補正は、位置合わせ処理において第１画像Ｆ１と第２画像Ｆ２とのフレーム一致状態から相対的に移動させた移動量に応じた補正係数を用いてシェーディング補正を行うこととなる。
【０２０４】図２８（ａ）は、位置合わせ処理を行う前の第１画像Ｆ１及び第２画像Ｆ２のフレームが一致した状態から、位置合わせ処理において第２画像Ｆ２の移動をした場合における、シェーディング補正に用いる補正係数の分布が一定である曲線について示したものである。図においては、移動した第２画像Ｆ２は点線によって示し、位置合わせ処理の後に合成処理によって得られる合成画像Ｆ３は太線で示されている。
【０２０５】また、図２８（ａ）に示す移動線Ｌ１は、画像マッチング状態における第１画像Ｆ１と第２画像Ｆ２のそれぞれの中心間の相対的変位を示している。この移動線Ｌ１の長さは上記第１画像Ｆ１と第２画像Ｆ２のフレーム一致状態を基準としたときの第２画像Ｆ２の相対的移動量を示しており、移動線Ｌ１上の元の中心点から移動量の１／２にあたる位置は合成画像Ｆ３の中心点となる。
【０２０６】図２８（ａ）に示すように、補正係数の分布が一定である曲線は、第１画像Ｆ１及び第２画像Ｆ２それぞれの中心点を中心とした略円形状となる。ところで、合成画像Ｆ３の中心点において移動線Ｌ１に対する垂線Ｌ２を想定すると、合成画像Ｆ３の部分にあたる補正係数はこの垂線Ｌ２に対して対象的に分布することとなる。つまり、合成画像Ｆ３に対する補正係数の分布が一定である曲線は、図２８（ｂ）に示すように、第２画像Ｆ２の移動方向を短径とする略楕円的曲線となる。このような補正係数を用いてシェーディング補正を行うことで、合成画像に対してシェーディング補正を行うことが可能である。
【０２０７】ところで、第１画像Ｆ１や第２画像Ｆ２のシェーディング補正に利用する補正係数の空間分布は、"sqrt"を平方根として、撮影画像データの中心点からの距離sqrt（ｘ2＋ｙ2）に依存する関数Ｓ（sqrt（ｘ2＋ｙ2））で表される。そして、第１画像Ｆ１と第２画像Ｆ２とを、ｋ：（１−ｋ）の比率（０＜ｋ＜１）で加算合成する場合には、合成画像Ｆ３のシェーディング補正に利用する補正係数は、下記の式(A)に示すように、関数Ｓを用いた加重平均値に基づいて決定することが好ましい。
【０２０８】
ｋ・Ｓ（ｒ）＋（１−ｋ）・Ｓ（ｒ’） …式(A)ただし、ｒ ＝sqrt（ｘ2＋ｙ2）；
ｒ’＝sqrt｛（ｘ−δｘ）2＋（ｙ−δｙ）2 ｝；
ｘ，ｙは、第１画像Ｆ１と第２画像Ｆ２とのうちの一方の画像中心を原点とする直角ＸＹ平面座標系における座標変数；δｘ、δｙは、適合移動量のＸ，Ｙ成分値、である。
【０２０９】その後のステップＳ９２〜Ｓ９４は、図１６のステップＳ７２〜Ｓ７４と同様である。
【０２１０】以上、第５の実施の形態において説明したが、本実施の形態においては、位置合わせ領域Ａ１をシェーディングの影響に合わせて設定するため、シェーディング補正を行うことなく、位置合わせ処理を行うことが可能である。
【０２１１】なお、本実施の形態においては、合成画像に対してシェーディング補正を行っているが、シェーディングの影響を考慮した位置合わせ領域Ａ１を設定することによって位置合わせ処理が正確に行えることとなるので、シェーディング補正は行われなくてもよい。
【０２１２】＜６．変形例＞以上、本発明の実施の形態について説明したが、この発明は上記実施の形態に限定されるものではない。例えば、上記実施形態においては、同一被写体に対して露出の異なる二枚の画像を時間的に異なるタイミングで撮影してそれらを適当な加算比率で合成することによって階調制御を行た合成画像を取得していたが、これに限定されるものではなく、例えば、主被写体に対して焦点を合わせた第１画像と、主被写体の背景に焦点を合わせた第２画像を合成して所望のボケ具合を有する合成画像を取得するような処理であってもよい。また、被写体に対する撮影位置が互いに微小変化した第１画像と第２画像を合成して、元の撮影画像よりも解像度の高い合成画像を取得するような処理であってもよい。つまりは、二枚の画像を時間的に異なるタイミングで撮影してそれらを合成する処理においては、どのようなものであっても本発明を適用することが可能である。
【０２１３】
【発明の効果】以上、説明したように、請求項１ないし請求項２７の発明によれば、シェーディングの影響を考慮して、同一被写体に対して時間的に異なるタイミングで撮影された画像の位置合わせを正確に行うことでき、画像合成処理における画質の劣化を防止することができる。
【０２１４】また特に、請求項２の発明によれば、シェーディング補正をハードウェアで行うので、シェーディング補正に係る処理時間の短縮を図ることができ、画像の合成後に直ちに次の撮影に移ることができる。
【０２１５】また特に、請求項３の発明によれば、第１画像及び第２画像のうち、後に撮影された画像がシェーディング補正済画像として画像メモリに格納されるのに応答して位置合わせ処理を行うために、処理の最適化を図ることができる。
【０２１６】また特に、請求項４の発明によれば、第１画像及び第２画像が画像メモリに格納されてから、それぞれに対してシェーディング補正を行うために、第１画像と第２画像の撮影間隔を短くすることができる。
【０２１７】また特に、請求項５の発明によれば、演算処理をソフトウェア的に行う場合であっても、第１画像と第２画像の撮影間隔を短くすることができる。
【０２１８】また特に、請求項６の発明によれば、異なる露光量において撮影された第１画像および第２画像のうち露光量の多い画像に対してのみシェーディング補正を行うため、処理の簡略化及び処理時間の短縮を図ることができる。
【０２１９】また特に、請求項７の発明によれば、シェーディング補正を行わない露光量の少ない画像を先に撮影を行うため、第１画像と第２画像の撮影間隔を短くすることができる。
【０２２０】また特に、請求項９の発明によれば、ユーザが位置合わせに使用する位置合わせ領域を指定することができるため、画像におけるユーザの任意の被写体に対して、さらに正確な位置合わせを行うことができるとともに、位置合わせ処理における処理時間の短縮を図ることができる。
【０２２１】また特に、請求項１０の発明によれば、位置合わせ領域に限定して、シェーディング補正を行うため、シェーディング補正処理における処理時間の短縮を図ることができる。
【０２２２】また特に、請求項１１の発明によれば、シェーディング補正が不要と判定された場合は、シェーディング補正が行われないため、トータルの処理時間の短縮を図ることができる。
【０２２３】また特に、請求項１２の発明によれば、撮影機材に応じたシェーディング補正に用いる補正テーブルを指定することができるため、適切な補正テーブルを用いて、シェーディング補正処理を行うことができる。
【０２２４】また特に、請求項１３の発明によれば、撮影時の撮影条件情報を取得してその撮影条件情報に基づいて補正テーブルが選択されるため、自動的に適切な補正テーブルを選択することができ、シェーディング補正処理における操作性の向上を図ることができる。
【０２２５】また特に、請求項１４の発明によれば、撮影時の撮影条件情報が取得できない場合は、位置合わせに使用する位置合わせ領域を狭くするため、撮影時の撮影条件情報が無くても、シェーディングの影響を考慮して位置合わせ処理を正確に行うことができる。
【０２２６】また特に、請求項１５の発明によれば、記憶された第１画像および第２画像を指定してシェーディング補正及び位置合わせ処理が行えるため、ユーザの任意の時間において、シェーディング補正及び位置合わせ処理を行うことができる。
【０２２７】また特に、請求項１６の発明によれば、第１画像および第２画像のシェーディングの影響のない中央側領域のみを位置合わせ領域として使用して位置合わせを行うため、シェーディング補正を行わなくても正確な位置合わせ処理を行うことが可能である。
【０２２８】また特に、請求項１７の発明によれば、撮影レンズの焦点距離に応じて位置合わせ領域を変更するため、撮影時の撮影レンズの焦点距離に応じて最適な位置合わせ処理を行うことができる。
【０２２９】また特に、請求項１８の発明によれば、撮影時の撮影レンズの焦点距離がワイド側の場合は位置合わせ領域を狭くし、テレ側の場合は位置合わせ領域を広くするため、撮影時の撮影レンズの焦点距離に応じてさらに最適な位置合わせ処理を行うことができる。
【０２３０】また特に、請求項１９の発明によれば、撮影時の撮影レンズの焦点距離がワイド端の場合における非シェーディング領域を位置合わせ領域として用いるため、位置合わせ領域を変更することなく、正確な位置合わせ処理を行うことができる。
【０２３１】また特に、請求項２０の発明によれば、撮影レンズの絞り値に応じて位置合わせ領域を変更するため、撮影時の撮影レンズの絞り値に応じて最適な位置合わせ処理を行うことができる。
【０２３２】また特に、請求項２１の発明によれば、撮影時の撮影レンズの絞り値が小さい場合は位置合わせ領域を狭くし、大きいの場合は位置合わせ領域を広くするため、撮影時の撮影レンズの絞り値に応じてさらに最適な位置合わせ処理を行うことができる。
【０２３３】また特に、請求項２２の発明によれば、撮影時の撮影レンズの絞り値が開放の場合における非シェーディング領域を位置合わせ領域として用いるため、位置合わせ領域を変更することなく、正確な位置合わせ処理を行うことができる。
【０２３４】また特に、請求項２３の発明によれば、フレーム一致状態から相対的に移動させた移動量に応じたシェーディング補正係数を用いてシェーディング補正を行うため、合成画像に対してシェーディング補正を行うことができる。
【０２３５】また特に、請求項２４及び２５の発明によれば、簡易に合成画像に対してのシェーディング補正係数を設定することができる。
【図面の簡単な説明】
【図１】画像におけるシェーディングの影響の例を示した図である。
【図２】本発明の実施の形態に係る画像処理装置の平面図である。
【図３】本発明の実施の形態に係る画像処理装置の断面図である。
【図４】本発明の実施の形態に係る画像処理装置の正面図である。
【図５】第１の実施の形態における画像処理装置の機能構成を示すブロック図である。
【図６】シェーディング補正を行う係数処理ハードウェア回路を示す図である。
【図７】シェーディング補正に用いる補正テーブルの一例を示す図である。
【図８】メモリカードへの画像ファイルの記録方法を示す図である。
【図９】第１の実施の形態における階調制御処理の処理手順を示す図である。
【図１０】位置合わせ処理の処理手順を示す図である。
【図１１】位置合わせ処理における、画像の移動を示す図である。
【図１２】階調制御処理における露出オーバーの画像と露出アンダーの画像との合成比率を示す図である。
【図１３】第２の実施の形態における画像処理装置の機能構成を示すブロック図である。
【図１４】第２の実施の形態における階調制御処理の処理手順を示す図である。
【図１５】メモリカードに記憶された画像ファイルの構成例を示す図である。
【図１６】第３の実施の形態における階調制御処理の処理手順を示す図である。
【図１７】再生モードにおける再生メニュー画面及び階調制御処理を行う画像の選択画面を示す図である。
【図１８】第４の実施の形態における画像処理装置の構成を示す外観図である。
【図１９】階調制御プログラムを実行した場合におけるディスプレイに表示される作業ウィンドウの一例を示す図である。
【図２０】ディスプレイに表示されるカメラ選択ウィンドウの一例を示す図である。
【図２１】ディスプレイに表示されたサムネイル画像を用いた位置合わせ領域の指定の例を示す図である。
【図２２】階調制御プログラムの処理手順を示す図である。
【図２３】階調制御プログラムの処理手順を示す図である。
【図２４】撮影画像データにおけるシェーディングの影響及び非シェーディング領域を示す図である。
【図２５】ディスプレイに表示される処理結果表示ウィンドウの一例を示す図である。
【図２６】第５の実施の形態における階調制御処理の処理手順を示す図である。
【図２７】撮影時の焦点距離及び絞り値に応じた非シェーディング領域の例を示す図である。
【図２８】撮影画像データ及び合成画像におけるシェーディング補正に用いる補正係数の分布が一定である曲線を示す図である。
【符号の説明】
１ デジタルカメラ
２ カメラ本体部
３ 撮影レンズ
８ メモリカード
１４ 電源スイッチ
５０ 画像処理装置
６０ パーソナルコンピュータ
９０ 記録媒体
１２３ シェーディング補正回路
１２６ 画像メモリ
１５０ 全体制御部
１５３ シェーディングＲＯＭ
１５９ 画像合成部
１６０ シェーディング補正部
２００ 作業ウィンドウ
２１０ カメラ選択ウィンドウ
【０００１】
【発明の属する技術分野】本発明は、同一被写体に対して撮影された二枚の画像を合成して、画質や映像効果を向上させた合成画像を取得する画像処理技術に関する。
【０００２】
【従来の技術】従来より、同一被写体に対して撮影された画質の異なる二枚の画像を用いて、元の画像より画質や映像効果を高めた画像として合成する画像処理技術が提案されている。
【０００３】例えば、特開平９−２６１５２６号公報では、ブレの影響がない程度の短いシャッタースピードに設定し、撮影した複数枚の画像をブレ量に応じて加算合成することにより、ブレ補正を行う技術が開示されている。
【０００４】また、特開平１０−１０８０５７号公報では、合焦位置を変更した撮影によって得られた画像データを合成することにより、距離の異なる被写体全てにピントの合った画像データを得ることが開示されている。
【０００５】また、特公平８−１７４５６号公報では、奇数フィールドと偶数フィールドとで露出時間を変えて撮影し、両者のうちつぶれていない部分を合成することにより、実質的にダイナミックレンジを拡げたカメラが開示されている。
【０００６】また、特許第２６３５９１７号公報には、撮像素子を移動させて撮影した画像データから画像を合成することにより、画像の高解像度化をはかる技術が開示されている。
【０００７】
【発明が解決しようとする課題】ところで、実際にデジタルカメラ等によって同一被写体に対して二枚の画像を撮影する場合には、時間的に異なるタイミングで画像が撮影されることとなり、この撮影間隔において微妙な被写体の移動やカメラ自体の移動が発生する。このことから撮影された二枚の画像間には位置的に微妙な相違が生じることとなる。
【０００８】上記のような二枚の画像を合成する際においては、このような画像間の位置的な相違を考慮して、画像の合成を行う前に、二枚の画像の位置合わせを行う必要がある。この位置合わせが正確に行われないまま画像の合成を行うと逆に画像が劣化してしまう結果となる。
【０００９】また、一般に、デジタルカメラ等においてレンズを使用して画像を撮影する場合、画像の中心点から周辺に離れるほど画素データのレベルが低下する、いわゆるシェーディングが発生する。しかしながら、従来、上記のような二枚の画像を合成する際においては、このシェーディングの影響を考慮せずに画像の位置合わせを行っていたため、シーンによっては画像間の位置合わせがうまくいかずに、逆に画質の劣化が生じることとなっていた。
【００１０】本発明は、上記課題に鑑みてなされたものであり、シェーディングの影響を考慮して画像を合成することが可能となる画像処理装置、プログラムおよびその記録媒体を提供することを目的とする。
【００１１】
【課題を解決するための手段】上記課題を解決するため、請求項１の発明は、画像処理装置であって、同一被写体に対して時間的に異なるタイミングで第１画像および第２画像の撮影を行う撮像手段と、前記撮像手段において撮影された前記第１画像および前記第２画像それぞれに対して、シェーディング補正を行うシェーディング補正手段と、前記シェーディング補正手段によってシェーディング補正が行われた前記第１画像および前記第２画像の位置合わせを行う位置合わせ手段と、前記位置合わせ手段によって位置合わせを行った前記第１画像および前記第２画像の画素データを用いて合成画像を作成する画像合成手段と、を備えている。
【００１２】また、請求項２の発明は、請求項１の発明に係る画像処理装置において、前記シェーディング補正手段は、シェーディング補正用の係数が登録された補正テーブルを保持するシェーディングＲＯＭと、前記撮像手段において撮影された画像に対して、前記補正テーブルを用いて係数処理を行う係数処理ハードウェア回路と、を備えている。
【００１３】また、請求項３の発明は、請求項２の発明に係る画像処理装置において、複数枚の画像を格納可能な画像メモリと、前記第１画像および前記第２画像がそれぞれ撮影されるごとにシェーディング補正手段によってシェーディング補正を行い、シェーディング補正済画像として前記画像メモリに格納させる制御手段と、をさらに備え、前記位置合わせ手段は、前記第１画像および前記第２画像のうち、後に撮影された画像がシェーディング補正済画像として前記画像メモリに格納されるのに応答して位置合わせを行うことを特徴とする。
【００１４】また、請求項４の発明は、請求項１の発明に係る画像処理装置において、複数枚の画像を格納可能な画像メモリと、前記撮像手段において撮影された前記第１画像および前記第２画像のそれぞれを前記画像メモリに格納させる画像格納手段と、をさらに備え、前記シェーディング補正手段は、前記画像メモリに格納された前記第１画像および前記第２画像それぞれに対して、シェーディング補正を行うことを特徴とする。
【００１５】また、請求項５の発明は、請求項４の発明に係る画像処理装置において、前記シェーディング補正手段は、シェーディング補正に用いる補正テーブルを保持するシェーディングＲＯＭと、前記画像メモリに格納された画像に対して、前記補正テーブルを用いて演算処理をソフトウェア的に行う演算処理手段と、を備えている。
【００１６】また、請求項６の発明は、画像処理装置であって、同一被写体に対して時間的に異なるタイミングで第１画像および第２画像の撮影を行う撮像手段と、前記第１画像および前記第２画像の露光量が異なるように前記撮像手段を制御する露光量制御手段と、前記第１画像および前記第２画像を用いて合成画像を作成する画像合成手段と、前記撮像手段において撮影された画像に対して、シェーディング補正を行うシェーディング補正手段と、を備え、前記シェーディング補正手段は、前記第１画像および前記第２画像のうち露光量の多い画像に対してのみシェーディング補正を行うことを特徴とする。
【００１７】また、請求項７の発明は、請求項６の発明に係る画像処理装置において、前記第１画像および前記第２画像のうち露光量の少ない画像を先に撮影するように前記撮像手段を制御する手段、をさらに備えている。
【００１８】また、請求項８の発明は、画像処理を行うプログラムであって、前記プログラムのコンピュータによる実行は、前記コンピュータに、第１画像および第２画像をそれぞれユーザに指定させる画像指定工程、を実行させ、前記第１画像および前記第２画像を合成する合成処理の指示に応答して、前記第１画像および前記第２画像それぞれに対して、シェーディング補正を行うシェーディング補正工程と、前記シェーディング補正工程においてシェーディング補正が行われた前記第１画像および前記第２画像の位置合わせを行う位置合わせ工程と、をさらに実行させている。
【００１９】また、請求項９の発明は、請求項８の発明に係るプログラムにおいて、前記プログラムの前記コンピュータによる実行は、前記コンピュータに、前記第１画像および前記第２画像の位置合わせに使用する位置合わせ領域をユーザに指定させる領域指定工程、をさらに実行させている。
【００２０】また、請求項１０の発明は、請求項９の発明に係るプログラムにおいて、前記シェーディング補正工程は、前記領域指定工程において指定された前記位置合わせ領域に限定して、シェーディング補正を行うことを特徴とする。
【００２１】また、請求項１１の発明は、請求項９の発明に係るプログラムにおいて、前記プログラムの前記コンピュータによる実行は、前記コンピュータに、前記領域指定工程において指定された前記位置合わせ領域のシェーディング補正が不要か否かを判定する判定工程、をさらに実行させ、前記判定工程において判定の基準によりシェーディング補正が不要と判定された場合は、前記シェーディング補正工程はシェーディング補正を行わないことを特徴とする。
【００２２】また、請求項１２の発明は、請求項８の発明に係るプログラムにおいて、前記プログラムの前記コンピュータによる実行は、前記コンピュータに、前記第１画像および前記第２画像を撮影した撮影機材に応じたシェーディング補正に用いる補正テーブルをユーザに指定させる補正テーブル指定工程、をさらに実行させている。
【００２３】また、請求項１３の発明は、請求項８の発明に係るプログラムにおいて、前記プログラムの前記コンピュータによる実行は、前記コンピュータに、前記第１画像および前記第２画像にそれぞれ付随させた撮影時の撮影条件情報を取得する撮影条件取得工程と、前記撮影条件情報に応じたシェーディング補正に用いる補正テーブルを選択する補正テーブル選択工程と、をさらに実行させている。
【００２４】また、請求項１４の発明は、請求項１３の発明に係るプログラムにおいて、前記プログラムの前記コンピュータによる実行は、前記コンピュータに、前記撮影条件取得工程において前記撮影条件情報が取得できない場合は、前記第１画像および前記第２画像の位置合わせに使用する位置合わせ領域を狭くする工程、をさらに実行させている。
【００２５】また、請求項１５の発明は、画像処理装置であって、撮影された画像を記憶する画像記憶手段と、前記画像記憶手段において記憶された第１画像および第２画像をそれぞれユーザに指定させる画像指定手段と、前記第１画像および前記第２画像を合成する合成処理の指示に応答して、前記第１画像および前記第２画像それぞれに対して、シェーディング補正を行うシェーディング補正手段と、前記シェーディング補正手段においてシェーディング補正が行われた前記第１画像および前記第２画像の位置合わせを行う位置合わせ手段と、を備えている。
【００２６】また、請求項１６の発明は、画像処理装置であって、同一被写体に対して時間的に異なるタイミングで第１画像および第２画像の撮影を行う撮像手段と、前記第１画像および前記第２画像のそれぞれはシェーディングの影響のある周辺領域とシェーディングの影響を無視できる中央側領域とに分割され、前記撮像手段において撮影された前記第１画像および前記第２画像の前記中央側領域のみを位置合わせ領域として使用して位置合わせを行う位置合わせ手段と、前記位置合わせ手段によって位置合わせを行った前記第１画像および前記第２画像の画素データを用いて合成画像を作成する画像合成手段と、を備えている。
【００２７】また、請求項１７の発明は、請求項１６の発明に係る画像処理装置において、焦点距離を変更可能な撮影レンズと、前記撮影レンズの焦点距離に応じて、前記位置合わせ領域を変更する領域変更手段と、をさらに備えている。
【００２８】また、請求項１８の発明は、請求項１７の発明に係る画像処理装置において、前記領域変更手段は、前記焦点距離が所定位置よりワイド側の場合は所定領域より前記位置合わせ領域を狭くし、前記焦点距離が前記所定位置よりテレ側の場合は前記所定領域より前記位置合わせ領域を広くすることを特徴とする。
【００２９】また、請求項１９の発明は、請求項１６の発明に係る画像処理装置において、焦点距離を変更可能な撮影レンズをさらに備え、前記焦点距離がワイド端の場合における非シェーディング領域を前記位置合わせ領域として用いることを特徴とする。
【００３０】また、請求項２０の発明は、請求項１６の発明に係る画像処理装置において、絞り値を変更可能な撮影レンズと、前記撮影レンズの絞り値に応じて、前記位置合わせ領域を変更する領域変更手段と、をさらに備えている。
【００３１】また、請求項２１の発明は、請求項２０の発明に係る画像処理装置において、前記領域変更手段は、前記絞り値が所定値より小さい場合は所定領域より前記位置合わせ領域を狭くし、前記絞り値が前記所定値より大きい場合は前記所定領域より前記位置合わせ領域を広くすることを特徴とする。
【００３２】また、請求項２２の発明は、請求項１６の発明に係る画像処理装置において、絞り値を変更可能な撮影レンズをさらに備え、前記絞り値が開放の場合における非シェーディング領域を前記位置合わせ領域として用いることを特徴とする。
【００３３】また、請求項２３の発明は、画像処理装置であって、同一被写体に対して時間的に異なるタイミングで第１画像および第２画像の撮影を行う撮像手段と、前記撮像手段において撮影された前記第１画像および前記第２画像の位置合わせを行う位置合わせ手段と、前記位置合わせ手段によって位置合わせを行った前記第１画像および前記第２画像の画素データを用いて合成画像を作成する画像合成手段と、前記位置合わせにあたって前記第１画像と前記第２画像とをフレーム一致状態から相対的に移動させた移動量に応じたシェーディング補正係数を用いてシェーディング補正を行うシェーディング補正手段と、を備えている。
【００３４】また、請求項２４の発明は、請求項２３の発明に係る画像処理装置において、前記第１画像および前記第２画像それぞれのシェーディング補正係数の分布が一定である曲線が略円形曲線であり、前記移動量に応じたシェーディング補正係数の分布が一定である曲線が、移動方向を短径とする略楕円的曲線となることを特徴とする。
【００３５】また、請求項２５の発明は、請求項２３の発明に係る画像処理装置において、前記画像合成手段は、前記第１画像と前記第２画像とを、ｋ：（１−ｋ） …ただし０＜ｋ＜１の比率で加算合成し、前記移動量に応じたシェーディング補正係数は、所定の関数Ｓを用いた加重平均値：ｋ・Ｓ（ｒ）＋（１−ｋ）・Ｓ（ｒ’）
ただし、ｒ ＝sqrt（ｘ2＋ｙ2）；
ｒ’＝sqrt｛（ｘ−δｘ）2＋（ｙ−δｙ）2 ｝；
"sqrt"は、平方根；ｘ，ｙは、前記第１画像と前記第２画像とのうちの一方の画像中心を原点とする直角ＸＹ平面座標系における座標変数；δｘ、δｙは、それぞれＸ座標方向、Ｙ座標方向の前記移動量、に基づいて決定されることを特徴とする。
【００３６】また、請求項２６の発明は、プログラムであって、画像処理装置に含まれるコンピュータによって実行されることにより、前記画像処理装置が請求項１６ないし２５のいずれかに記載の画像処理装置として動作することを特徴とする。
【００３７】また、請求項２７の発明は、コンピュータ読み取り可能な記録媒体であって、請求項８ないし１４のいずれかまたは請求項２６に記載のプログラムを記録してあることを特徴とする。
【００３８】
【発明の背景】この発明の実施形態の具体的構成と動作とを説明する前に、この発明の背景を具体例を用いて説明しておく。
【００３９】撮影レンズを備えるデジタルカメラ等の画像処理装置においてＣＣＤ等の撮像素子を用いて被写体を撮影すると、入射光の受光面に対する入射方向等に起因して、画像の中心点から周辺に離れるほど画素データのレベルが低下する現象、いわゆるシェーディングが生じる。
【００４０】図１は、あるデジタルカメラによって撮影された画像のシェーディングの影響の例を示した図である。この図によって示す画像は、画像を構成する全ての画素が、同一の輝度の被写体から入射光を受光した場合のものである。横軸は、各画素データの光軸からの距離を、画像の対角線の距離を１として相対距離で示している。つまり、光軸の画素データである画像の中心点が原点である。また、縦軸は、各画素データのレベルを、光軸の画素データのレベルを１として相対値で示している。この相対値は各画素位置におけるシェーディングによる画素データのレベルの低下率を示していることとなる。
【００４１】Ｌ１〜Ｌ４の符号によって示す曲線はそれぞれ、同一デジタルカメラおよび同一撮影レンズを使用して、撮影レンズの焦点距離及び絞りを変更した場合の画素データのレベルの低下率を示している。曲線Ｌ１は焦点距離が１０５ｍｍ（３５ｍｍフィルムカメラにおける換算値、以下同様）でＦ値が８．０の場合であり、曲線Ｌ２は焦点距離が３５ｍｍでＦ値が８．０の場合であり、曲線Ｌ３は焦点距離が１０５ｍｍでＦ値が２．４の場合であり、曲線Ｌ１は焦点距離が３５ｍｍでＦ値が２．４の場合である。
【００４２】この図に示すように、光軸である画像の中心点から周辺に離れるほど画素データのレベルが低下している。すなわち、画像の周辺部の画素データほど、シェーディングの影響（レベル低下率）が大きくなっている。
【００４３】また、同一のデジタルカメラ及び同一の撮影レンズを使用する場合においては、焦点距離及び露光量に応じてシェーディングの影響は変化する。図に示すように、焦点距離が短い（ワイド側）ほどシェーディングの影響（影響範囲及びレベル低下率）が大きくなり、焦点距離が長い（テレ側）ほどシェーディングの影響が小さくなる。また、同様に、露光量が多いほどシェーディングの影響が大きくなり、露光量が少ないほどシェーディングの影響が小さくなる。図においては、Ｆ値が小さい（絞りの絞り値が小さい）ほどシェーディングの影響が大きく、Ｆ値が大きい（絞りの絞り値が大きい）ほどシェーディングの影響は小さくなっている。
【００４４】ところで、デジタルカメラ等において被写体を撮影すると、被写体像の明るい部分が白くなりすぎる現象が生じる一方、被写体像の暗い部分が黒くなりすぎる現象が生じることがある。この現象は、一般的な撮像素子のダイナミックレンジが狭いことに起因するものであり、画質低下の要因となっている。このような現象を解消するために、同一被写体に対して露出の異なる二枚の画像を時間的に異なるタイミングで撮影して、それらを合成することによって階調制御処理を行い、実質的にダイナミックレンジを拡げた画像を生成することが提案されている。
【００４５】このような合成画像を得るために時間的に異なるタイミングで二枚の画像を撮影する場合、この撮影タイミングの違いから撮影された二枚の画像間には位置的に微妙な相違が生じる。このため、二枚の画像を合成する際においては、このような画像間の位置的な相違を考慮して、画像の合成を行う前に位置合わせ処理を行う必要がある。しかしながら、前述したシェーディングの影響を考慮しなければ、正確な位置合わせ処理を行うことができないこととなる。以下に説明する実施の形態においては、このような二枚の画像の位置合わせを行う場合において、前記シェーディングの影響を考慮するようにしている。
【００４６】
【発明の実施の形態】以下、図面を参照しつつ本発明の実施の形態について詳細に説明する。
【００４７】＜１．第１の実施の形態＞図２〜図４は、本発明の第１の実施の形態に係る画像処理装置であるデジタルカメラ１の外観の概略構成を示す図である。図２はデジタルカメラ１の平面図、図３は図２のII−II位置から見た断面図、図４はデジタルカメラ１の背面図に相当する。
【００４８】これらの図に示すように、デジタルカメラ１は略直方体状をしているカメラ本体部２と、カメラ本体部２に着脱可能に装着される撮影レンズ３から構成される。図２に示すように、デジタルカメラ１は撮影画像を記録するメモリカード８が着脱可能に収納されるようになっている。また、デジタルカメラ１は、４本の単三形乾電池Ｅ１〜Ｅ４を直列接続する電源電池Ｅを駆動源としている。
【００４９】図３に示すように、マクロ機能付きズームレンズである撮影レンズ３はズーム用レンズ３００とフォーカス用レンズ３０１とを含むレンズ群３０を備えている。一方、カメラ本体部２の内部には、ズーム用レンズ３００のズーム比の変更を行うためのズームモータＭ１、およびフォーカス用レンズ３０１を駆動して合焦を行うためのフォーカスモータＭ２とが設けられている。また、撮影レンズ３のレンズ群３０の後方位置の適所にカラー撮像素子３０３が設けられている。カラー撮像素子３０３は、ＣＣＤからなるエリアセンサの各画素の表面に、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタが市松模様状に貼り付けられた単板式カラーエリアセンサで構成される。このカラー撮像素子（以下、「ＣＣＤ」）３０３は、例えば、水平方向１６００画素、縦方向１２００画素の１９２万画素を有している。
【００５０】カメラ本体部２の前面には、図２のようにグリップ部Ｇが設けられ、カメラ本体部２の上端点の適所にポップアップ形式の内蔵フラッシュ５が設けられている。また、図４の如く、カメラ本体部２の上面にはシャッタボタン９が設けられている。このシャッタボタン９については、フォーカス調整用などのトリガーとして用いる半押し状態（Ｓ１）と、記録用撮影のトリガーとして用いる全押し状態（Ｓ２）とを検出し、判別する機能を有してる。
【００５１】一方、カメラ本体部２の背面には、電子ビューファインダ（以下、「ＥＶＦ」）２０と液晶ディスプレイ（以下、「ＬＣＤ」）１０とが設けられている。なお、光学ファインダーとは異なり、撮影待機状態においてＣＣＤ３０３からの画像信号のライブビュー表示を行うＥＶＦ２０とＬＣＤ１０とがファインダーとしての機能を担っている。
【００５２】また、ＬＣＤ１０は記録モードにおいて撮影モードや撮影条件等を設定するためのメニュー画面を表示したり、再生モードにおいてメモリカード８に記録された撮影画像を再生表示することが可能である。
【００５３】カメラ本体部２の背面左方には、電源スイッチ１４が設けられている。この電源スイッチ１４は記録モード（写真撮影の機能を果たすモード）と再生モード（記録画像をＬＣＤ１０に再生するモード）とを切換設定するモード設定スイッチを兼ねている。すなわち、電源スイッチ１４は３点スライドスイッチからなり、接点を中央の「ＯＦＦ」位置に設定すると電源がオフになり、接点を上方の「ＲＥＣ」位置に設定すると電源がオンになるとともに記録モードとして設定され、接点を下方の「ＰＬＡＹ」位置に設定すると電源がオンになるとともに再生モードとして設定される。
【００５４】カメラ本体部２の背面右方には、４連スイッチ１５が設けられている。４連スイッチ１５は円形の操作ボタンを有し、この操作ボタンにおける上下左右の４方向のボタンＵ、Ｄ、Ｌ、Ｒを押下することによって各種操作を行うことが可能となっている。例えば、ＬＣＤ１０に表示されるメニュー画面で選択された項目を変更したり、インデックス画面で選択された再生対象のコマを変更するためのスイッチとして機能する。また、記録モードにおいて左右方向のボタンＬ，Ｒは、ズーム比を変更するためのスイッチとして機能する。右方向スイッチＲを押下するとズームモータＭ１の駆動によりズーム用レンズ３００がワイド側に連続的に移動し、左方向スイッチＬを押下するとズームモータＭ１の駆動によりズーム用レンズ３００がテレ側に連続的に移動する。
【００５５】また、４連スイッチ１５の下方には、取消スイッチ３３、実行スイッチ３２、メニュー表示スイッチ３４及びＬＣＤ表示スイッチ３１等のスイッチ群１６が設けられている。取消スイッチ３３は、メニュー画面で選択された内容を取り消すためのスイッチである。実行スイッチ３２は、メニュー画面で選択された内容を確定するまたは実行するためのスイッチである。メニュー表示スイッチ３４は、ＬＣＤ１０にメニュー画面を表示させたり、メニュー画面の内容を切り換えたりするためのスイッチである。ＬＣＤ表示スイッチ３１は、ＬＣＤ１０の表示のオンオフ切り替えスイッチである。
【００５６】ユーザは、４連スイッチ１５及びスイッチ群１６等の操作によって、撮影モード選択用のメニュー画面を開いて撮影モードを選択することが可能である。撮影モードは、通常の一枚毎の撮影を行う通常撮影モードと、階調制御処理モードとを備えている。階調制御処理モードとは、同一被写体に対して露出の異なる二枚の画像を時間的に異なるタイミングで撮影して、それらを適当な加算比率で合成することによって階調制御し、実質的にダイナミックレンジを拡げた合成画像を得ることを目的とするモードである。１回のシャッタボタン９の操作で露出条件を変化させて２回の撮影を行い、二枚の画像を取得するようになっている。
【００５７】次に、デジタルカメラ１の内部構成について説明する。図５は、デジタルカメラ１の内部構成を示す概略ブロック図である。
【００５８】撮影レンズ３は、ズーム用レンズ３００とフォーカス用レンズ３０１とともに、内部に透過光量を調節するための絞り３０２を備えている。
【００５９】撮像部１１０は撮影レンズ３を通して入射した被写体光源を画像信号に光電変換して取り込むものであり、ＣＣＤ３０３とともに、タイミングジェネレータ１１１とタイミング制御回路１１２を備えている。ＣＣＤ３０３はタイミングジェネレータ１１１から入力される駆動制御信号に基づいて被写体光源を所定の露光時間だけ受光して画像信号に変換し、その画像信号をタイミングジェネレータ１１１から入力される読み出し制御信号を用いて信号処理部１２０に出力する。このとき、画像信号はＲ，Ｇ，Ｂの各色成分に分離されて信号処理部１２０に出力される。
【００６０】タイミングジェネレータ１１１はタイミング制御回路１１２から入力される制御信号に基づいて駆動制御信号を生成するとともに、基準クロックに基づいて読み出し信号を生成し、ＣＣＤ３０３に出力する。タイミング制御回路１１２は撮像部１１０の撮影動作を制御するものである。タイミング制御回路１１２は全体制御部１５０から入力される制御信号に基づいて撮影制御信号を生成する。この撮影制御信号には、被写体を撮影するための制御信号、基準クロック、ＣＣＤ３０３から出力された画像信号を信号処理部１２０で信号処理するためのタイミング制御信号（同期クロック）などが含まれる。このタイミング制御信号は信号処理部１２０内の信号処理回路１２１、Ａ／Ｄ変換回路１２２、シェーディング補正回路１２３等に入力される。
【００６１】信号処理部１２０は、ＣＣＤ３０３から出力される画像信号に所定のアナログ信号処理及びデジタル信号処理を行うものである。画像信号の信号処理は画像データを構成する各画素の受光信号毎に行われる。信号処理部１２０には信号処理回路１２１、Ａ／Ｄ変換回路１２２、シェーディング補正回路１２３、ＷＢ回路１２４、γ補正回路１２５及び画像メモリ１２６を備えている。
【００６２】信号処理回路１２１はアナログ信号処理を行うものであり、主にＣＤＳ（相関二重サンプリング）回路及びＡＧＣ（オートゲインコントロール）回路からなり、ＣＣＤ３０３から出力される画素信号のサンプリングノイズの低減と信号レベルの調整を行う。ＡＧＣ回路におけるゲインコントロールには、絞り３０２の絞り値とＣＣＤ３０３の露光時間とで適正露出が得られなかった場合の撮影画像のレベル不足を補償する場合も含まれる。
【００６３】Ａ／Ｄ変換回路１２２は信号処理回路１２１から出力されるアナログ信号である画素信号をデジタル信号である画素データに変換するものである。Ａ／Ｄ変換回路１２２は各画素で受光された画素信号を、例えば、１０ビットのデジタル信号に変換し、０〜１０２３の階調値を有する画素データとする。
【００６４】シェーディング補正回路１２３は、Ａ／Ｄ変換された画素データに対して、光学系によるシェーディングを補正するものである。シェーディング補正回路は、図６に示すように乗算器１２３ａを備えており、タイミング制御回路１１２から入力されるタイミング制御信号を受けて、Ａ／Ｄ変換回路１２２において変換された画像データと、全体制御部１５０から入力される補正テーブルとの乗算処理を行う。
【００６５】図７は、この補正テーブルの一例を示す図である。図７に示すように、補正テーブルは、ＣＣＤ３０３の１６００画素×１２００画素＝１９２万画素のそれぞれの画素に対応するように、１９２万個の補正係数（正確には補正係数の逆数）を有している。補正係数は図１によって示した各画素データのレベルの低下率に相当するものであり、その補正係数の逆数が予め補正テーブルに保持されている。ここで、図１に示す曲線で表される画素それぞれに対してこの補正係数の逆数を乗算すると、この曲線は画素データのレベルが１で一定となる直線に変換される。つまり、画素データそれぞれに対してこの補正係数の逆数を乗算すること（係数処理）によって、シェーディングを補正することが可能となる。なお、この乗算処理においてオーバーフローした場合は、その画素データのレベルを最大値すなわち１０２３にするようにしている。
【００６６】補正テーブルは、撮影時の焦点距離や絞り値の光学条件をパラメータとしてパラメータ毎に複数用意され、全体制御部１５０に備えられたシェーディングＲＯＭ１５３に格納されている。全体制御部１５０は、撮影時における焦点距離や絞り値の光学条件に応じて、シェーディングＲＯＭ１５３からこの補正テーブルの選択を行うようにしている。このため、シェーディング補正回路１２３は、光学条件に応じたシェーディング補正を行うことができる。
【００６７】なお、ここで補正テーブルは１画素単位で補正係数が設定されているが、このようにするとデータサイズが膨大になる。このため、例えば、４×４画素のブロック単位で１つの補正データを設定し、画素のブロック毎に補正を行うようにしてもよい。また、ブロック単位の補正データをブロックの基準値として設定しておき、対象画素の属するブロックと周辺ブロックの基準値を画素の位置（距離）で重み付け演算し、画素毎の補正係数を算出するようにしてもよい。このようにした場合、補正テーブルのデータサイズを、各画素毎に補正係数を用意する場合と比較して１／１６に減らすことが可能である。
【００６８】図５に戻り、ＷＢ回路１２４は撮影画像のホワイトバランスを調整するものである。ＷＢ回路１２４は全体制御部１５０から入力されるレベル変換テーブルを用いてＲ，Ｇ，Ｂの各色成分の画素データのレベルを変換することで撮影画像のホワイトバランスを調整する。γ補正回路１２５は画素データのγ特性を補正するものである。γ補正回路１２５は予め設定されたγ補正用テーブルを用いて各画素データのレベルを補正する。
【００６９】画像メモリ１２６は信号処理の終了した画像データを一時保持するメモリである。画像メモリ１２６は２フレーム分の画像データを格納し得るように、２つのメモリ領域、具体的には、第１メモリ１２６ａ及び第２メモリ１２６ｂを備えている。第１メモリ１２６ａ及び第２メモリ１２６ｂは、それぞれ１フレーム分の画像データを格納し得る記憶容量を備えている。本実施の形態においてはＣＣＤ３０３の画素数が１９２万画素であるため、１９２万個の画素データを記憶し得る容量である。
【００７０】発光制御部１０２は、全体制御部１５０から入力される発光制御信号に基づいてフラッシュ５の発光を制御する。発光制御信号には発光準備の指示、発光タイミング及び発光量とが含まれる。
【００７１】レンズ制御部１３０は撮影レンズ３内のズーム用レンズ３００、フォーカス用レンズ３０１及び絞り３０２の各部材の駆動を制御するものである。レンズ制御部１３０は絞り３０２の絞り値を制御する絞り制御回路１３１、ズームモータＭ１の駆動を制御するズーム制御回路１３２、フォーカスモータＭ２の駆動を制御するフォーカス制御回路１３３を備えている。
【００７２】絞り制御回路１３１は全体制御部１５０から入力される絞り値に基づいて絞り３０２を駆動し、その開口量を当該絞り値に設定する。フォーカス制御回路１３３は全体制御部１５０から入力されるＡＦ制御信号に基づいてフォーカスモータＭ２の駆動量を制御し、フォーカス用レンズ３０１を焦点位置に設定する。ズーム制御回路１３２は全体制御部１５０から入力されるズーム制御信号に基づいてズームモータＭ１を駆動し、ズーム用レンズ３００を４連スイッチ１５で指定された方向に移動させる。
【００７３】表示部１４０は、ＬＣＤ１０及びＥＶＦ２０への表示を行うものである。表示部１４０には、ＬＣＤ１０、ＥＶＦ２０とともに、ＬＣＤ１０に再生表示されるの画像データのバッファメモリとなるＬＣＤＶＲＡＭ１４１及びＥＶＦ２０に再生表示される画像データのバッファメモリとなるＥＶＦＶＲＡＭ１４２を備えている。
【００７４】撮影待機状態においては、ＣＣＤ３０３により１／３０（秒）毎に撮影された画像の各画素データが、信号処理部１２０による所定の信号処理を施された後、画像メモリ１２６に一時記憶される。そして、全体制御部１５０によって読み出され、データサイズが調整された後にＬＣＤＶＲＡＭ１４１及びＥＶＦＶＲＡＭ１４２に転送され、ＬＣＤ１０及びＥＶＦ２０にライブビュー表示として表示される。これによりユーザは、被写体像を視認することができる。また、再生モードにおいては、メモリカード８から読み出された画像が全体制御部１５０によって所定の信号処理が施された後に、ＬＣＤＶＲＡＭ１４１に転送され、ＬＣＤ１０に再生表示されることとなる。
【００７５】ＲＴＣ１０４は、撮影日時を管理するための時計回路である。ここで取得した撮影日時は、撮影された画像データに関連付けられてメモリカード８に記憶されることとなる。
【００７６】操作部１０１は、上述したカメラ本体部２に設けられた撮影や再生に関する操作部材の操作情報を全体制御部に入力するものである。操作部１０１から入力される操作情報にはシャッタボタン９、電源スイッチ１４、４連スイッチ１５及びスイッチ群１６等の各操作部材の操作情報が含まれる。
【００７７】全体制御部１５０は、マイクロコンピュータからなり、撮影機能及び再生機能を集中制御するものである。全体制御部１５０にはカードインターフェース１０３を介してメモリカード８が接続されている。また、通信用インターフェース１０５を介してパーソナルコンピュータＰＣが外部接続されるようになっている。
【００７８】全体制御部１５０は、撮影機能及び再生機能における数々の具体的な処理を行うための処理プログラムや上述したデジタルカメラ１の各部材の駆動を制御するための制御プログラムが記憶されたＲＯＭ１５１と、処理プログラム及び制御プログラムに従って数々の演算作業を行うための作業領域となるＲＡＭ１５２を備えている。なお、記録媒体であるメモリカード８に記録されているプログラムデータをカードインターフェース１０３を介して読み出し、ＲＯＭ１５１に格納することができるようになっている。従って、これらの処理プログラム及び制御プログラムは、メモリカード８からデジタルカメラ１中にインストールされることが可能である。なお、処理プログラム及び制御プログラムは、通信用インターフェース１０５を介してパーソナルコンピュータＰＣからインストールされるようになっていてもよい。
【００７９】図５において、露出設定部１５４、表示制御部１５５、記録制御部１５６、再生制御部１５７、特殊撮影制御部１５８、画像合成部１５９は、全体制御部１５０の処理プログラムによって実現される機能を機能ブロックとして表したものである。
【００８０】露出設定部１５４は、露出制御処理を行うもので、ライブビュー画像のＧの色成分の画像データを用いて被写体の輝度を判定し、その判定結果に基づいて露出制御値を演算する。
【００８１】表示制御部１５５は、画像表示処理を行うもので、上述の表示部１４０の表示動作、すなわち、画像メモリ１２６に一時保存されている画像データを読み出し、必要に応じて画像サイズを表示先の画像サイズに調整した後、ＬＣＤＶＲＡＭ１４１またはＥＶＦＶＲＡＭ１４２に転送する動作を行う。
【００８２】記録制御部１５６は、記録処理を行うものである。記録制御部１５６は、通常撮影モードにおいて、撮影指示後に画像メモリ１２６に一時記憶された画像データをＲＡＭ１５２に読み出し、２次元ＤＴＣ変換、ハフマン符号化等のＪＰＥＧ方式による所定の圧縮処理を行って記録用の画像データを撮影画像データとして作成する。また、画像メモリ１２６から縦横両方向でそれぞれ８画素毎に画素データをＲＡＭ１５２に読み出すことで、サムネイル画像を作成する。さらに、これらの撮影画像データに付随して記録される撮影画像データに関するタグ情報を作成する。そして、記録制御部１５６は、圧縮された撮影画像及びサムネイル画像にタグ情報を添付した画像ファイルを作成し、この画像ファイルをメモリカード８に記録する。なお、階調制御処理モードにおいて二枚の画像が撮影される場合は、画像合成部１５９によって合成処理が施された結果の合成画像に対して、上記と同様の記録処理を行うこととなる。
【００８３】図８は、メモリカード８への画像ファイルの記録方法を示す図である。メモリカード８の先頭の記憶領域には、フォルダ情報と各フォルダに属する画像ファイルの情報とを記憶するインデックス領域が設けられ、その後の領域に各画像ファイルが撮影された順に記憶されている。メモリカード８における各画像ファイルの記憶領域は３つの領域からなり、上から順にタグ情報、撮影画像データ及びサムネイル画像が記憶される。図に示すように、タグ情報には、カメラ名称、レンズ名称、撮影時の焦点距離、撮影時の絞り値（Ｆ値）、撮影モード、焦点位置、ファイル名、被写体輝度、ホワイトバランス調整値、撮影日等が含まれる。撮影モードは、通常撮影モードで撮影されたものであるか、階調制御処理モードで撮影されたものであるかの情報を示している。
【００８４】再生制御部１５７は、メモリカード８に記録された撮影画像のＬＣＤ１０への再生処理を行うものである。再生制御部１５７は、電源スイッチ１４により再生モードが設定されると、メモリカード８に記録された各画像ファイルからサムネイル画像を読み出し、順次所定のインデックスフォーマットに従ってＬＣＤＶＲＡＭ１４１に記憶する。これにより、サムネイル画像がＬＣＤ１０にインデックス表示される。インデックス表示されたサムネイル画像に対して再生すべきコマのサムネイル画像が４連スイッチ１５及びスイッチ群１６によって指定されると、再生制御部１５７は、そのコマに対応する画像ファイルから撮影画像データを読み出し、圧縮された撮影画像データに所定の伸長処理を行った後、ＬＣＤＶＲＡＭ１４１に転送し、ＬＣＤ１０に表示させる。
【００８５】特殊撮影制御部１５８は、撮影モードが階調制御処理モードに設定されている状態で、シャッタボタン９が全押し（Ｓ２）されたときのＣＣＤ３０３の露光動作を制御するものである。特殊撮影制御部１５８は、シャッタボタン９がＳ２状態となると、階調制御処理を行う合成用の画像を取り込むため、シャッタスピードに相当するＣＣＤ３０３の露光時間をそれぞれ変化させて、所定間隔で露光動作を２回繰り返すように制御を行う。
【００８６】画像合成部１５９は、階調制御処理モードにおいて撮影された露光量の異なる二枚の画像データの合成処理を行うものである。この合成処理においては、二枚の画像間での位置合わせ（位置合わせ処理）を行い、それらを適当な加算比率で加算することにより実際の合成画像を作成する処理（画像合成処理）を行うこととなるが、詳細は後述する。
【００８７】次に、上記のように構成されたデジタルカメラ１の階調制御処理モードにおける撮影動作を説明する。図９は、階調制御処理モードにおける撮影動作の手順を示すフローチャートである。
【００８８】ステップＳ１１において、シャッタボタン９が半押しされると画像撮影のための準備として、撮影レンズ３のレンズ群３０の焦点が主被写体に調整されるとともに、ライブビュー画像を用いて露出制御値が算出され、ホワイトバランス調整値が設定される。この時算出された露出制御値は適正露出となる値であり、具体的には、適正値となるシャッタスピードおよび絞り値が取得される（ステップＳ１２）。
【００８９】続いて、ステップＳ１３においてシャッタボタン９が全押しされると、適正値であるシャッタスピードより、２段階アンダーのシャッタースピードに設定する（ステップＳ１４）。そして、このシャッタスピードに相当する露光時間だけＣＣＤ３０３を露光して被写体の第１画像Ｆ１が取り込まれる（ステップＳ１５）。露光の後、ＣＣＤ３０３から出力される画像信号は、信号処理回路１２１で所定のアナログ信号処理が施され、Ａ／Ｄ変換回路１２２において１０ビットの画素データに変換される。
【００９０】続いて、シェーディング補正回路１２３において、シェーディング補正が行われる（ステップＳ１６）。この時、全体制御部１５０によって、撮影時の焦点距離および絞り値の光学条件に応じた補正テーブルが選択され、シェーディング補正回路１２３に入力される。シェーディング補正回路１２３は、Ａ／Ｄ変換回路１２２から出力された画像データと、入力された補正テーブルとの乗算処理を行うことで、シェーディング補正を行う（図６参照）。
【００９１】その後、ＷＢ回路１２４及びγ補正回路１２５によって所定の処理が行われて、画像メモリ１２６の第１メモリ１２６ａに格納される（ステップＳ１７）。この第１画像Ｆ１は、ＣＣＤ３０３の露光時間を適正値より短くしているので、通常撮影モードで撮影される画像よりも露光量が少なく、全体的に暗い画像となっている。また、シェーディング補正回路１２３においてシェーディング補正が行われているので、シェーディングの影響は無くなっている。
【００９２】続いて、適正値であるシャッタスピードより、２段階オーバーのシャッタースピードが設定され（ステップＳ１８）、このシャッタスピードに相当する露光時間だけＣＣＤ３０３を露光して被写体の第２画像Ｆ２が取り込まれる（ステップＳ１９）。露光の後、ＣＣＤ３０３から出力される画像信号は、第１画像Ｆ１と同様に、信号処理回路１２１で所定のアナログ信号処理が施され、Ａ／Ｄ変換回路１２２において１０ビットの画素データに変換され、シェーディング補正回路１２３においてシェーディング補正が行われ、ＷＢ１２３及びγ補正回路１２５によって所定の処理が行われて、画像メモリ１２６の第２メモリ１２６ｂに格納される（ステップＳ２０，Ｓ２１）。この第２画像Ｆ２は、ＣＣＤ３０３の露光時間を適正値より長くしているため、通常撮影モードで撮影される画像よりも露光量が多く、全体的に明るい画像となっている。また、第１画像Ｆ１と同様に、シェーディング補正回路１２３においてシェーディング補正が行われているので、シェーディングの影響は無くなっている。
【００９３】続いて、全体制御部１５０の画像合成部１５９は、第２画像Ｆ２が画像メモリ１２６の第２メモリ１２６ｂに格納されるのに応答して、画像メモリ１２６から撮影された第１画像Ｆ１および第２画像Ｆ２を読み出して、両画像の位置合わせ処理を行う（ステップＳ２２）。この位置合わせ処理は、画像合成処理において画面内の同一の図柄を正確に合成するため、合成対象となる両画像の位置を合わせるものである。この位置合わせ処理においては、第１画像Ｆ１を基準画像として第２画像Ｆ２を移動させることとなる。図１０は、この位置合わせ処理の流れを示すフローチャートである。
【００９４】ステップＳ３１においては、第２画像Ｆ２の直角ＸＹ平面座標系における移動量を算出する。これは、第２画像Ｆ２をＸ方向およびＹ方向に平行移動するものとして、下記の数１の式で示す相関係数Ｃ（ξ，η）が最小となる移動量を求めるようにする。
【００９５】
【数１】
【００９６】ここで、ｘ，ｙは画像中心を原点とする直角ＸＹ平面座標系における座標変数であり、Ｐ１（ｘ，ｙ）は第１画像Ｆ１の座標位置（ｘ，ｙ）における画素データのレベルを表し、Ｐ２（ｘ−ξ，ｙ−η）は第２画像Ｆ２の座標位置（ｘーξ，ｙーη）における画素データのレベルを表している。すなわち、数１の式で示す相関係数Ｃ（ξ，η）は、両画像の対応する画素データのレベルの差を二乗し、その値を全画素データにおいて総和したものである。そして、第２画像Ｆ２の移動量となる（ξ，η）を変化させた時、相関係数Ｃが最小となる（ξ，η）が、最も両画像の図柄がマッチングする第２画像Ｆ２の移動量となるわけである。
【００９７】本実施の形態では、例えば第２画像Ｆ２のＸ座標の移動量となるξを−８０〜＋８０まで、Ｙ座標の移動量であるηを−６０〜＋６０までそれぞれ変化させて、相関係数Ｃが最小となる移動量（ξ，η）を（ｘ３，ｙ３）として算出するようにしている。なお、階調制御モードにおいては、第１画像Ｆ１と第２画像Ｆ２はＣＣＤ３０３の露光時間を変更して撮影しているために画像全体の輝度レベルの差がある。このため、両画像データをそれぞれの平均輝度で割って正規化した後に、相関係数Ｃを求めるようにするのが好ましい。
【００９８】また、この位置合わせ処理においては、人間の視覚特性上解像度に与える影響の大きいＧの色成分のみを用いるようにしてもよい。このようにした場合、人間の視覚特性上解像度に与える影響の小さいＲ，Ｂの色成分については、Ｇの色成分で算出された移動量を利用することで、位置合わせ処理の簡略化を図ることができる。
【００９９】続いて、ステップＳ３２においては、図１１に示すように、算出された移動量（ｘ３，ｙ３）の第２画像Ｆ２の平行移動を行う。そして、平行移動を行った後に第２画像Ｆ２の画素データのうち、第１画像Ｆ１と重ならない部分を削除する。続いて、ステップＳ３３においては、第１画像Ｆ１においても第２画像Ｆ２と重ならない部分の画素データを削除する。このようにして、画像の合成に必要にならない部分（図１１のハッチングによって示した部分）の画素データの削除を行い、正確な位置合わせが行われた、合成に必要な画素データのみを取得することができる。
【０１００】また、第１画像Ｆ１と第２画像Ｆ２の両画像は、画像取り込み時においてシェーディング補正回路１２３によってシェーディング補正が行われているため、シェーディングの影響を受けることなく画像の位置合わせ処理を行うことができる。
【０１０１】続いて、全体制御部１５０の画像合成部１５９により、位置合わせ処理が行われた画像の合成処理を行う（図９、ステップＳ２３）。ここで、第１画像Ｆ１および第２画像Ｆ２における被写体の輝度レベルに対するＡ／Ｄ変換出力レベルについて説明する。図１２（ａ）に示すように、露出アンダーの第１画像Ｆ１は露光量が抑えられるので、その階調特性は特性ＬＵに示すように被写体の輝度レベルに対してＡ／Ｄ変換出力レベルは低く抑えられたものとなっている。一方、露出オーバーの第２画像Ｆ２は、露光量が過剰になるのでその階調特性は特性ＬＯに示すように、被写体の輝度レベルに対してＡ／Ｄ変換出力レベルは高く強調されたものとなっている。
【０１０２】画像合成処理においては、画素毎に第１画像Ｆ１の画像データと第２画像Ｆ２の画像データとを適当な加算比率で加算することにより、図１２（ａ）の階調特性ＬＵと階調特性ＬＯとで挟まれた範囲内で任意の階調特性を有する画像データが作成される。図１２（ｂ）は、露出オーバーの第２画像Ｆ２のレベルを基準にして、各レベルにおける加算比率を曲線Ｒで示した図である。図に示すように、加算比率は画像データのレベルに無関係に一定ではなく、露出オーバーの第２画像Ｆ２のレベルが低くなるのに応じて、露出オーバーの第２画像Ｆ２の加算比率が高くなるように変化させている。このように、露出オーバーの第２画像Ｆ２の加算比率を大きくしているのは、被写体の暗い部分を見やすくするためである。
【０１０３】具体的には、第２画像Ｆ２の座標位置（ｉ，ｊ）の画素データのレベルＰ２（ｉ，ｊ）が、例えば図に示すようにＤであるとすると、画素データのレベルＰ２（ｉ，ｊ）と、第１画像Ｆ１の座標位置（ｉ，ｊ）の画素データのレベルＰ１（ｉ，ｊ）とを、Ｒ２：Ｒ１で加算して、階調制御された合成画像の画素データのレベルＰ３（ｉ，ｊ）を作成する。このように、露出オーバーの第２画像Ｆ２の画素データのレベルに応じた加算比率によって、全ての画素データを加算してやることによって、階調制御された合成画像の全ての画素データが作成されることとなる。その結果として第１画像Ｆ１の階調特性と、第２画像Ｆ２の階調特性との間の階調特性を有する階調制御された合成画像が作成される。
【０１０４】続いて、全体制御部１５０の記録制御部１５６において、作成された合成画像の所定の圧縮処理を行って撮影画像データが作成される。それとともに、サムネイル画像及びタグ情報のデータが作成される。そして、作成された合成画像の撮影画像データと、サムネイル画像及びタグ情報のデータとから画像ファイルが作成され、メモリカード８に記録される（図９、ステップＳ２４）。
【０１０５】以上、第１の実施の形態について説明を行ったが、本実施の形態においては、合成に使用される二枚の画像データの取り込み時において、それぞれ、計数処理ハードウェア回路であるシェーディング補正回路１２３によってシェーディング補正が行われる。このため、シェーディングの影響を受けることなく、その後の位置合わせ処理を行うことが可能である。また、シェーディング補正を専用のハードウェア回路で行うために、比較的高速にシェーディング補正を行うことが可能である。
【０１０６】なお、本実施の形態においては、画像データの取り込み時において、２枚の画像の両方についてそれぞれシェーディング補正が行われている。ここで、前述したように、比較的露光量の少ない画像はシェーディングの影響が小さくなるため、シェーディング補正をする必要性は少ない。また、このように比較的露光量の少ない画像にシェーディング補正を行うと、逆にノイズの影響が強くなることがある。このような理由から、撮影された二枚の画像両方に対してシェーディング補正を行わずに、露光量の多い第２画像Ｆ２に対してのみシェーディング補正を行うように制御してもよい。
【０１０７】具体的には、露光量の少ない２段アンダーの第１画像Ｆ１のデータ取り込み時において、Ａ／Ｄ変換された画像データを、シェーディング補正回路１２３に入力せずに、ＷＢ回路１２４に入力して所定の処理を行うようにする。つまり、図９のステップＳ１６のシェーディング補正処理を行わないようにすればよい。
【０１０８】このような場合、上述したように、比較的露光量の少ない２段アンダーの第１画像Ｆ１を先に撮影するようにすれば、第１画像Ｆ１と第２画像Ｆ２の撮影間にシェーディング補正処理が行われないため、撮影間隔を短くすることとなる。従って、撮影時間のタイミングの違いによる画像間の位置的な相違を減少させることができ、より正確な位置合わせを行うことが可能となる。
【０１０９】＜２．第２の実施の形態＞次に、本発明の第２の実施の形態について説明する。第１の実施の形態においては、画像データ取り込み時において専用回路である計数処理ハードウェア回路によってシェーディング補正を行っていたが、本実施の形態では画像データをそのまま画像メモリに格納し、ソフトウェアでシェーディング補正を行うという点で相違している。なお、本実施の形態における画像処理装置は、図２〜図４の外観構成の概略図に示すデジタルカメラ１と同様である。
【０１１０】図１３は、本実施の形態における画像処理装置であるデジタルカメラ１の内部構成を示す概略ブロック図である。この図において、第１の実施の形態と同じ機能を有するものには同一の符号を付しているため、詳細な説明は省略する。
【０１１１】本実施の形態のデジタルカメラ１は、ソフトウェアでシェーディング補正を行うため、シェーディング補正回路１２３の代わりに全体制御部１５０の処理プログラムによって実現される機能としてシェーディング補正部１６０を備えている。
【０１１２】シェーディング補正部１６０は、第１の実施の形態におけるシェーディング補正回路１２３の処理と同様の処理をソフトウェアとして実現するものである。すなわち、取得された画像データと、シェーディングＲＯＭ１５３に格納された補正テーブルとの乗算処理を行うことにより、シェーディング補正を行うものである。なお、第１の実施の形態においては、Ａ／Ｄ変換された画像データに対してシェーディング補正を行っていたが、本実施の形態においては、画像メモリ１２６に格納された画像データに対してシェーディング補正を行うという点で相違している。
【０１１３】また、同様に、ホワイトバランス調整処理及びγ補正処理もソフトウェアで実現されるようになっている。このため、ＷＢ回路１２４及びγ補正回路１２５の代わりに、全体制御部１５０の処理プログラムによって実現される機能としてＷＢ・γ補正部１６１を備えている。このＷＢ・γ補正部１６１の処理内容は、ＷＢ回路１２４及びγ補正部１２５の処理と同様である。このＷＢ・γ補正部１６１は、通常撮影モードにおいては、シェーディング補正部１６０においてシェーディング補正が行われた画像データに対して所定の処理を行う。一方、階調制御処理モードにおいては、画像合成部１５９によって合成処理が施された結果の合成画像に対して、所定の処理を行うようになっている。
【０１１４】また、第１の実施の形態においては、画像取り込み時において画像メモリ１２６は、ＣＣＤ３０３から出力されて所定の信号処理の終了した画像データを格納していた。これに対し本実施の形態においては、ＣＣＤ３０３から出力されてＡ／Ｄ変換が行われただけのＣＣＤ−ＲＡＷ形式の画像データが格納される。全体制御部１５０は、このＣＣＤ−ＲＡＷ形式の画像データを画像メモリ１２６から読み出して、上記シェーディング補正等の処理を行うこととなる。
【０１１５】次に、このように構成されたデジタルカメラ１の階調制御処理モードにおける撮影動作を説明する。図１４は、階調制御処理モードにおける撮影動作の手順を示すフローチャートである。
【０１１６】まず、ステップＳ４１において、シャッタボタンが半押しされると画像撮影のための準備として、撮影レンズ３のレンズ群３０の焦点が主被写体に調整されるとともに、ライブビュー画像を用いて露出制御値が算出され、ホワイトバランス調整値が設定される。この時算出された露出制御値は適正露出となる値であり、具体的には、適正値となるシャッタスピードおよび絞り値が取得される（ステップＳ４２）。
【０１１７】続いて、ステップＳ４３において、シャッタボタン９が全押しされると、適正値であるシャッタスピードより、２段階アンダーのシャッタースピードに設定する（ステップＳ４４）。そして、このシャッタスピードに相当する露光時間だけＣＣＤ３０３を露光して被写体の第１画像Ｆ１が取り込まれる（ステップＳ４５）。
【０１１８】露光の後、ＣＣＤ３０３から出力される画像信号は、信号処理回路１２１で所定のアナログ信号処理が施され、Ａ／Ｄ変換回路１２２において１０ビットの画素データに変換される。そして、Ａ／Ｄ変換された第１画像Ｆ１は、ＣＣＤ−ＲＡＷ形式のまま画像メモリ１２６の第１メモリ１２６ａに格納される（ステップＳ４６）。この第１画像Ｆ１は、ＣＣＤ３０３の露光時間を適正値より短くしているので、通常撮影モードで撮影される画像よりも露光量が少なく、全体的に暗い画像となっている。
【０１１９】続いて、適正値であるシャッタースピードより、２段階オーバーのシャッタースピードが設定され（ステップＳ４７）、このシャッタスピードに相当する露光時間だけＣＣＤ３０３を露光して被写体の第２画像Ｆ２が取り込まれる（ステップＳ４８）。露光の後、ＣＣＤ３０３から出力される画像信号は、第１画像Ｆ１と同様に、信号処理回路１２１で所定のアナログ信号処理が施され、Ａ／Ｄ変換回路１２２において１０ビットの画素データに変換され、ＣＣＤ−ＲＡＷ形式で画像メモリの第２メモリ１２６ｂに格納される（ステップＳ４９）。この第２画像Ｆ２は、ＣＣＤ３０３の露光時間を適正値より長くしているため、通常撮影モードで撮影される画像よりも露光量が多く、全体的に明るい画像となっている。
【０１２０】続いて、全体制御部１５０のシェーディング補正部１６０は、画像メモリ１２６の第１メモリ１２６ａから第１画像Ｆ１を読み出してシェーディング補正を行う（ステップＳ５０）。この処理は、第１の実施の形態と同様の処理、つまり、画像データと補正テーブルの乗算処理をソフトウェアで行うことで可能となる。そして、シェーディング補正部１６０は、シェーディング補正を行った第１画像Ｆ１を再び第１メモリ１２６ａに格納する。同様に、シェーディング補正部１６０は、画像メモリ１２６の第２メモリ１２６ｂから第２画像Ｆ２を読み出してシェーディング補正を行い、再び第２メモリ１２６ｂに格納する（ステップＳ５１）。
【０１２１】続いて、全体制御部１５０の画像合成部１５９は、画像メモリ１２６からシェーディング補正の行われた第１画像Ｆ１および第２画像Ｆ２を読み出して、両画像の位置合わせ処理及び合成処理を行い階調制御された合成画像を作成する（ステップＳ５２，Ｓ５３）。これらの処理は、図９のステップＳ２２及びステップＳ２３と同様である。なお、本実施の形態においても位置合わせ処理を行う前にシェーディング補正が行われているため、シェーディングの影響を受けることなく画像の位置合わせ処理を行うことが可能である。
【０１２２】続いて、全体制御部１５０のＷＢ・γ補正部１６１は、作成された合成画像に対してホワイトバランスの調整及びγ補正を行う（ステップＳ５４）。その後、ステップＳ５５の処理は、図９のステップＳ２４と同様である。
【０１２３】以上、第２の実施の形態について説明を行ったが、本実施の形態においては、合成に使用される二枚の画像データをそれぞれ画像メモリに格納し、合成処理を行う前にソフトウェア的にシェーディング補正を行っている。このため、シェーディングの影響を受けることなく、その後の位置合わせ処理を行うことが可能である。
【０１２４】また、第１画像Ｆ１と第２画像Ｆ２の撮影間にシェーディング補正等の画像処理が行われないため、撮影間隔を短くすることができる。従って、撮影時間のタイミングの違いによる画像間の位置的な相違を減少させることができ、より正確な位置合わせを行うことが可能である。
【０１２５】なお、第１の実施の形態と同様に、比較的露光量の少ない２段アンダーの第１画像Ｆ１のシェーディング補正を行わないように制御してもよい。すなわち、図１４のステップＳ５０を行わないようにしてもよい。このようにすれば、階調制御された合成画像を作成するまでのトータルの時間を短縮することが可能である。
【０１２６】＜３．第３の実施の形態＞次に、本発明の第３の実施の形態について説明する。第２の実施の形態においては、記録モードにおいてシェーディング補正を行って画像を合成し階調制御処理の行われた合成画像としてメモリカード８に記憶していたが、本実施の形態では記録モードにおいて撮影された二枚の画像をそのままメモリカード８に記憶した後、再生モードにおいて画像合成処理が行えるようになっている点で相違している。
【０１２７】本実施の形態における画像処理装置は、図２〜図４の概略構成図と同様の外観構成であり、また、図１３に示す概略ブロック図と同様の内部構成であるデジタルカメラ１である。
【０１２８】本実施の形態におけるデジタルカメラ１の撮影モードは、通常の一枚毎の撮影を行う通常撮影モードとともに、階調制御用撮影モードを備えている。階調制御用撮影モードは、上記実施の形態における階調制御処理モードと違い、画像合成処理を行うことはせず、同一被写体に対して露出の異なる二枚の画像を時間的に異なるタイミングで撮影しそれぞれメモリカード８に記録することに限定したモードである。
【０１２９】階調制御用撮影モードにおいては、全体制御部１５０の記録制御部１５６は、取得された画像データを後の画像合成処理等に使用するため、画質の低下要因となる圧縮処理は行わないで、そのまま撮影画像データとして記憶するようにしている。すなわち、画像メモリ１２６に格納されたＡ／Ｄ変換されただけのＣＣＤ−ＲＡＷ形式の画像データを、そのままの状態で撮影画像データとして記録処理を行う。もっとも、階調制御用撮影モードにおいては１回のシャッタ操作で露出の異なる二枚の撮影画像データが生じるので、二枚の画像それぞれにおいて、ＣＣＤ−ＲＡＷ形式の撮影画像データ及びサムネイル画像にタグ情報を添付した画像ファイルを作成し、メモリカード８に記憶することとなる。作成される画像ファイルのタグ情報の撮影モードには「階調制御用撮影モード１／２」のように階調制御用の撮影画像であることが認識できる情報が付与される。この「階調制御用撮影モード１／２」は、階調制御用撮影モードで撮影された１枚目の画像ファイルであることを示している。
【０１３０】図１５は、メモリカード８に記憶された画像ファイルの構成例を示すものである。図１５において、「Ｐ０００００１．ＪＰＧ」「Ｐ０００００２．ＪＰＧ」等は、画像ファイル名を示している。本実施の形態では画像ファイル名を「ＰＬ．Ｍ」で表記しており、「ＰＬ．Ｍ」の「Ｌ」は画像ファイルが作成された順番を示す６桁の番号であり、「Ｍ」は撮影画像データの形式を示す拡張子である。「Ｍ」において「ＪＰＧ」はＪＰＥＧ形式で圧縮されて記録された撮影画像データであり、「ＲＡＷ」はＣＣＤ−ＲＡＷ形式で記録された撮影画像データである。通常撮影モードで撮影された撮影画像データは拡張子「ＪＰＧ」となっており、階調制御用撮影モードにおいて撮影された撮影画像データは拡張子「ＲＡＷ」となっている。
【０１３１】階調制御用撮影モードでは、連続して二枚の画像データが取り込まれ、これらの撮影画像データについてそれぞれ画像ファイルが作成されるため、本実施の形態においては両画像ファイルを１つのフォルダにまとめてメモリカード８に記録するようになっている。図においては、「１ｔ」，「２ｔ」等が階調制御用撮影モードで撮影された画像ファイルのフォルダ名を示している。本実施の形態ではフォルダ名は「Ｎｔ」で表記しており、「Ｎ」は階調制御用撮影モードにおける撮影順を示す番号である。
【０１３２】次に、このように構成されたデジタルカメラ１の再生モードにおける階調制御処理について説明する。図１６は、この再生モードにおける階調制御処理の流れを示す図である。
【０１３３】電源スイッチ１４によって再生モードに設定され、メニュー表示スイッチ３４が押下されると、図１７（ａ）の如き再生メニュー画面がＬＣＤ１０に表示される。再生メニュー画面においては、通常の撮影された画像の再生表示以外の特殊再生方法を選択することが可能である。この特殊再生方法の中に、階調制御処理が含まれている。ユーザは、４連スイッチ１５の操作により、ＬＣＤ１０に表示されているカーソルＣ１を移動させて階調制御処理に位置を合わせ、実行スイッチ３２を押すことによって階調制御処理をデジタルカメラ１に指示することができる（ステップＳ６１）。
【０１３４】なお、この再生メニュー画面において、スライドショー等の階調制御処理以外の特殊再生方法が指示された場合は、指示された特殊再生方法に基づいた所定の処理が行われることとなる（ステップＳ６３）。
【０１３５】続いて、全体制御部１５０の再生制御部１５７は、メモリカード８に記憶された撮影画像の中から、階調制御用撮影モードで撮影された画像ファイルのフォルダのみを検索しサムネイル画像を読み出す（ステップＳ６２）。具体的には、フォルダ名が「Ｎｔ」で表記してあるフォルダのみをメモリカード８の中から順次検索していき、当該フォルダの中に含まれる第１画像Ｆ１及び第２画像Ｆ２のサムネイル画像のみを読み出すこととなる。
【０１３６】続いて、再生制御部１５７は、例えば、ＬＣＤ１０の画面１ページあたり４枚のサムネイル画像が２×２に２次配列されるようなインデックスフォーマットに従ってＬＣＤＶＲＡＭ１４１に記憶する。これにより、ＬＣＤ１０には、階調制御用撮影モードで撮影された二枚のサムネイル画像の組み合わせが、図１７（ｂ）の如く、二組表示されることとなる（ステップＳ６４）。
【０１３７】階調制御用撮影モードで撮影された画像が表示されると、ユーザは、４連スイッチ１５及びスイッチ群１６の操作により、ＬＣＤ１０に表示されているカーソルＣ２を移動させて、階調制御処理を行う第１画像Ｆ１及び第２画像Ｆ２を指定する（ステップＳ６５）。この画像選択用のカーソルＣ２は、階調制御用撮影モードで撮影された画像を指定する場合は、二枚のサムネイル画像の組み合わせ毎に指定することが可能である。つまり、ユーザは１回の指定操作により、任意の第１画像Ｆ１及び第２画像Ｆ２を指定できるようになっている。
【０１３８】階調制御処理を行う第１画像Ｆ１及び第２画像Ｆ２が指定されると、再生制御部１５７は、指定された２枚の画像のＣＣＤ−ＲＡＷ形式の撮影画像データを読み出し、その後の処理を行えるように画像メモリ１２６に格納する（ステップＳ６６）。さらに、再生制御部１５７は、指定された２枚の画像ファイルのそれぞれのタグ情報を読み出し、ＲＡＭ１５２に記憶する（ステップＳ６７）。
【０１３９】続いて、全体制御部１５０のシェーディング補正部１６０は、画像メモリ１２６から第１画像Ｆ１を読み出してシェーディング補正を行う（ステップＳ６８）。この処理は、第２の実施の形態と同様に、画像データと補正テーブルの乗算処理をソフトウェアで行う。このシェーディング補正で使用される補正テーブルは、第１画像Ｆ１のファイルから読み出されたタグ情報を利用してシェーディングＲＯＭ１５３から選択される。これは、タグ情報に撮影時の焦点距離及び絞り値が含まれているため、撮影時の光学条件に応じた補正テーブルを選択することが可能である。シェーディング補正部１６０は、シェーディング補正を行った第１画像Ｆ１を再び画像メモリ１２６に格納し、同様に、画像メモリ１２６から第２画像Ｆ２を読み出してシェーディング補正を行う（ステップＳ６９）。
【０１４０】続いて、全体制御部１５０の画像合成部１５９は、画像メモリ１２６からシェーディング補正の行われた第１画像Ｆ１および第２画像Ｆ２を読み出して、両画像の位置合わせ処理及び合成処理を行い階調制御された合成画像を作成する（ステップＳ７０，Ｓ７１）。これらの処理は、図９のステップＳ２２及びステップＳ２３と同様である。作成された合成画像はＬＣＤ１０に表示され、ユーザは当該ＬＣＤ１０を参照することで合成処理結果を確認することとなる（ステップＳ７２）。なお、本実施の形態においても位置合わせ処理を行う前にシェーディング補正が行われているため、シェーディングの影響を受けることなく画像の位置合わせ処理を行うことが可能である。
【０１４１】続いて、合成画像がＬＣＤ１０に表示された後、所定時間経過すると、ＬＣＤ１０に作成された合成画像を記録するか否かを選択できる画面が表示される。この画面においてユーザによって記録することが指示されると、全体制御部１５０の記録制御部１５６が作成された合成画像の記録処理を行うこととなる。すなわち、所定の圧縮処理を行って撮影画像データが作成されるとともに、サムネイル画像及びタグ情報のデータが付加されて、画像ファイルとしてメモリカード８に記録される（ステップＳ７３，Ｓ７４）。
【０１４２】以上、第３の実施の形態について説明を行ったが、本実施の形態においては、メモリカード８から画像を読み出して、合成処理を行う前にソフトウェア的にシェーディング補正を行っている。このため、シェーディングの影響を受けることなく、その後の位置合わせ処理を行うことが可能である。
【０１４３】また、シェーディング補正、位置合わせ処理及び画像合成処理等の処理は一般に長時間を要し、記録モードにおいてこれらの処理を行うと、画像取り込みからメモリカード８へ記録するまでの処理時間が長くなる。本実施の形態においては、ユーザの都合の良い任意の時間においてこれらの処理を行うことが可能である。
【０１４４】＜４．第４の実施の形態＞次に、第４の実施の形態について説明する。上記第３の実施の形態においては、記録された撮影画像データに対しての合成処理等の階調制御処理をデジタルカメラにおいて行っていたが、本実施の形態においてはパーソナルコンピュータ等で構成される画像処理装置において行うようにしている。すなわち、デジタルカメラ等の撮像手段を備える画像処理装置では合成に用いる二枚の画像の連続撮影のみを行い、これらの２枚の画像の位置合わせや画像合成処理等の階調制御処理はパーソナルコンピュータ等で構成される画像処理装置によって行う。
【０１４５】階調制御処理において使用される二枚の画像は、第３の実施の形態におけるデジタルカメラの階調制御用撮影モード等において撮影されたものである。つまり、それぞれ、Ａ／Ｄ変換が行われただけのＣＣＤ−ＲＡＷ形式で記録された、適正露出より露出アンダーの撮影画像データ（第１画像Ｆ１）と、適正露出より露出オーバーの撮影画像データ（第２画像Ｆ２）とを使用する。さらに、このＣＣＤ−ＲＡＷ形式の撮影画像データに、撮影時の光学条件を含むタグ情報及びサムネイル画像が付加された画像ファイルを使用することが好ましい。
【０１４６】図１８は、本実施の形態に係る画像処理装置の構成を示す外観図である。図１８に示すように、画像処理装置５０は、パーソナルコンピュータ６０とその出力装置であるプリンタ７０とを備えている。
【０１４７】パーソナルコンピュータ６０は、コンピュータ本体６１と、各種情報の表示を行うディスプレイ６２と、ユーザからの入力を受け付けるキーボード６３及びマウス６４を備えている。また、コンピュータ本体６１は、光磁気ディスク等の記録媒体９０から各種データの読み取りを行う読取装置６１ａ，６１ｃ及びメモリカードの読み取りを行うメモリカードリーダ６１ｂを備えている。
【０１４８】パーソナルコンピュータ６０は、コンピュータ本体６１内部の所定の記憶装置である固定ディスクに、シェーディング補正に使用する複数の補正テーブルを記憶している。これらの補正テーブルは、それぞれ、階調制御処理に使用する画像を撮影すると想定されるカメラ（同一被写体に対して露光量を変更して２枚の画像を撮影する機能を有するデジタルカメラ等。以下、「想定カメラ」）の種類と予め関連付けられている。さらに、想定カメラにおける撮影時の焦点距離や絞り値の光学条件をパラメータとして、パラメータ毎に複数の補正テーブルが記憶されている。すなわち、階調制御処理を行う二枚の撮影画像データが撮影されたカメラ及び当該撮影画像データの撮影時の光学条件（以下、「補正テーブル選択条件」）を指定してやれば、シェーディング補正に用いる最適な補正テーブルを選択することができることとなる。
【０１４９】また、パーソナルコンピュータ６０は、コンピュータ本体６１内部の固定ディスクに、露光量の異なる二枚の撮影画像データを合成して所望の階調を有する合成画像を作成する階調制御プログラムを記憶している。パーソナルコンピュータ６０は、固定ディスクからこの階調制御プログラム読み出して実行することにより階調制御処理を行う画像処理装置として機能することとなる。この階調制御プログラムは、当該プログラムが記録された光磁気ディスク等の記録媒体から読取装置６１ａまたは６１ｂを介してコンピュータ本体６１に予めインストールされている。なお、この階調制御プログラムは、所定のサーバー記憶装置からインターネット等の通信回線を介してダウンロードされてインストールされるようになっていてもよい。
【０１５０】図１９は、パーソナルコンピュータ６０において、階調制御プログラムを実行した場合におけるディスプレイ６２に表示される作業ウィンドウの一例を示す図である。作業ウィンドウ２００には階調制御処理に関係する画像データのサムネイル画像を表示する２つの表示領域２０１〜２０３と、処理内容や処理条件等を指示するためのコマンドボタン２０４〜２０８が表示される。
【０１５１】表示領域２０１及び表示領域２０２は画面上部に配置され、表示領域２０１には露出オーバーの第２画像Ｆ２のサムネイル画像ｆ２が表示され、表示領域２０２には露出アンダーの第１画像Ｆ１のサムネイル画像ｆ１が表示される。また、表示領域２０３は表示領域２０１の下部に配置され、サムネイル画像ｆ１及びサムネイル画像ｆ２とを合成して階調制御シミュレートを行ったサムネイル画像ｆ３が表示される。
【０１５２】また、コマンドボタン２０４〜２０８は表示領域２０２の下部に縦配列されて表示される。マウスカーソルＣ３によってこれらのコマンドボタンをクリックすることにより、各コマンドボタンに予め設定された処理を指示できるようになっている。
【０１５３】「ファイル」と表示されたコマンドボタン（以下、「ファイルボタン」）２０４は画像ファイルを指定するためのものである。このファイルボタン２０４をクリックすることによってファイル指定ウィンドウが開き、メモリカードリーダ６１ｂに装着されたメモリカード等から階調制御処理を行う第１画像Ｆ１及び第２画像Ｆ２の画像ファイルを指定することが可能である。第３の実施の形態のデジタルカメラによって撮影された画像ファイルを使用する場合は、同一フォルダ「Ｎｔ」内に第１画像Ｆ１及び第２画像Ｆ２の画像ファイルが含まれているため、フォルダ指定のみで両画像ファイルを指定することが可能である。
【０１５４】「実行」と表示されたコマンドボタン（以下、「実行ボタン」）２０６は、露光量の異なる二枚の撮影画像データを用いて実際に階調制御処理を実行するためのものである。この階調制御処理の詳細については後述する。
【０１５５】「カメラの種類選択」と表示されたコマンドボタン（以下、「カメラ選択ボタン」）２０５は、階調制御処理を行う二枚の撮影画像データが撮影されたカメラ及び当該撮影画像データの撮影時の光学条件を指定するためのものである。すなわち、このカメラ選択ボタン２０５の操作によって、補正テーブル選択条件を指定することとなる。
【０１５６】カメラ選択ボタン２０５をクリックすると、図２０の如きカメラ選択ウィンドウ２１０がディスプレイ６２に表示される。カメラ選択ウィンドウ２１０は、自動選択ボタン２１１ａと想定カメラの名称が付された想定カメラボタン２１１ｂ〜２１１ｄとを備えたオプションボタン群２１１を備えている。想定カメラボタン２１１ｂ〜２１１ｄは、図においては３つ表示されているが、想定カメラとして予め登録されてある種類の数と同数表示される。ユーザは、マウスカーソルＣ２によってクリックすることにより、自動選択ボタン２１１ａまたは想定カメラボタン２１１ｂ〜２１１ｄのうち任意のものを選択指定することが可能である。
【０１５７】補正テーブル選択条件をマニュアル的に入力する場合は、想定カメラボタン２１１ｂ〜２１１ｄから該当するカメラ名称を指定するようにする。この想定カメラボタン２１１ｂ〜２１１ｄのいずれかを指定してＯＫボタン２１３をクリックすると、さらに、焦点距離及び絞り値を入力する光学条件入力ウィンドウが表示される。ユーザは、この光学条件入力ウィンドウにおいて、撮影時の焦点距離及び絞り値をキーボード６３を介して入力する。このような操作により、補正テーブル選択条件をマニュアル的に指定することとなる。
【０１５８】一方、タグ情報が付加された画像ファイルを利用する場合は、自動選択ボタン２１１ａを選択するようにする。タグ情報には、前述したようにカメラ名称、焦点距離及び絞り値の撮影条件情報が予め記載されており、これらを自動的に読み取ることによって補正テーブル選択条件として設定することが可能であるためである。従って、自動選択ボタン２１１ａを選択した場合は、ユーザは補正テーブル選択条件をマニュアル的に入力する必要はない。なお、カメラ選択ボタン２０５を操作してカメラ及び撮影時の光学条件の指定が行われない場合は、この自動選択ボタン２１１ａがデフォルトで選択される。
【０１５９】図１９に戻り、「エリア指定」と表示されたコマンドボタン（以下、「エリア指定ボタン」）２０７は、二枚の撮影画像データの位置合わせに使用する位置合わせ領域Ａ１を指定するためのものである。本実施の形態においては、位置合わせ処理における前述した相関係数Ｃを算出する際において、全画素データに関して総和するのではなく、指定された位置合わせ領域Ａ１のみの画素データに関して総和を行い、相関係数Ｃを求めることとなる。
【０１６０】この位置合わせ領域の指定は、図２１に示すように表示領域２０１に表示されたサムネイル画像ｆ２を用いて、実際の撮影画像データにおける位置合わせ領域に相当する領域を、位置合わせ仮領域Ａ０として指定することによって行われる。このサムネイル画像ｆ２で指定される位置合わせ仮領域Ａ０に基づいて、階調制御処理時において実際の撮影画像データの位置合わせ領域Ａ１が設定されることとなる。矩形である位置合わせ仮領域Ａ０は、その左上端点となる点ＡＬ０及び右下端点となる点ＡＲ０の画像中心を原点とする直角ＸＹ平面座標位置で指定される。具体的には、サムネイル画像ｆ２においてユーザによって最初にクリックされた位置が左上端点ＡＬ０の座標位置として指定され、次にクリックされた位置が右下端点ＡＲ０の座標位置として指定されることとなる。
【０１６１】図１９に戻り、「終了」と表示されたコマンドボタン（以下、「終了ボタン」）２０８は、階調制御プログラムの実行を終了させるためのものである。ユーザは、この終了ボタンをクリックすることによりすべての処理を終了する。
【０１６２】また、作業ウィンドウ２００の表示領域２０３の下部には、スライダー２０９が表示される。このスライダー２０９は、サムネイル画像を用いた階調調整処理のシミュレーションにおけるサムネイル画像ｆ１とサムネイル画像ｆ２との合成比を設定するものである。ここにいう合成比は、図１２（ｂ）に示す露出オーバーの画像データのレベル毎の加算比ではなく、全体的なサムネイル画像ｆ１とサムネイル画像ｆ２との合成割合である。図１２（ｂ）では、加算比率特性を示す曲線Ｒによって仕切られる上部領域（露出アンダーの第１画像Ｆ１が加算される領域）と下部領域（露出オーバーの第２画像Ｆ２が加算される領域）との面積比に類似したものである。
【０１６３】従って、スライダー２０９をマウスカーソルＣ３を用いて左右に移動させることで、図１２（ｂ）における加算比率特性を示す曲線Ｒが上下方向に変化されて合成比が任意に設定される。具体的には、スライダー２０９を中央位置から右側に移動させると、露出オーバーの第２画像Ｆ２の合成割合が大きくなり、左側に移動すると露出アンダーの第１画像Ｆ１の合成割合が大きくなる。
【０１６４】次に、このように構成された画像処理装置５０における階調制御処理について説明する。図２２及び図２３は、階調制御処理の手順を示すフローチャートである。
【０１６５】まず、ユーザにより階調制御処理に使用する二枚の画像ファイルの指定が行われる。ファイルボタン２０４をクリックすることによって画像ファイルが指定されると、指定された画像ファイルからそれぞれサムネイル画像ｆ１，ｆ２が読み出され、作業ウィンドウ２００の表示領域に表示される（ステップＳ１０１，Ｓ１０２）。
【０１６６】続いて、スライダー２０９の設定位置から加算比率特性が読みとられ（ステップＳ１０３）、その加算比率特性を用いてサムネイル画像による階調制御シミュレーションが行われる（ステップＳ１０４）。
【０１６７】階調制御シミュレーションは、まず、二枚のサムネイル画像ｆ１，ｆ２の全ての画素データを用いて位置合わせ処理が行われる。この位置合わせ処理は、図９のステップＳ２２と同様である。ここで、全ての画素データを用いて位置合わせ処理を行っているが、画素データ数の少ないサムネイル画像を用いるため比較的高速に行われる。続いて、設定された加算比率特性に基づいて、サムネイル画像ｆ１及びサムネイル画像ｆ２との合成処理が行われ、その結果が表示領域２０３に表示される（ステップＳ１０５）。
【０１６８】サムネイル画像による階調制御シミュレーションが終了すると、スライダー２０９が移動されたか否かが判別される（ステップＳ１０６）。ここで、スライダーが移動していれば、ステップＳ１０３に戻り、サムネイル画像による階調制御シミュレーションを行うこととなる（ステップＳ１０３〜Ｓ１０５）。
【０１６９】一方、スライダー２０９が移動されていなければ、実行ボタン２０６が操作されたか否かが判別される（ステップＳ１０７）。スライダー２０９の移動及び実行ボタン２０６の操作がなければ、ステップＳ１０６に戻り、サムネイル画像による階調調整のシミュレーション結果を表示した状態で待機状態となる。カメラ選択ボタン２０５による補正テーブル選択条件の指定、及び、エリア指定ボタン２０７による位置合わせ仮領域Ａ０の指定は、この待機状態において行うことが可能である。
【０１７０】ステップＳ１０７において実行ボタン２０６が操作されると、図２３のステップＳ１１１に移行し、二枚の指定された画像ファイルからそれぞれ撮影画像データ（露出アンダーの第１画像Ｆ１及び露出オーバーの第２画像Ｆ２）が読み出される。
【０１７１】続いて、第１画像Ｆ１及び第２画像Ｆ２の撮影画像データの位置合わせに使用する位置合わせ領域Ａ１が設定される（ステップＳ１１２）。この位置合わせ領域は、上述した図２１に示すサムネイル画像ｆ２においてユーザによって予め位置合わせ仮領域Ａ０が指定されていなければ、撮影画像データ全体が位置合わせ領域Ａ１として設定される。位置合わせ仮領域Ａ０が指定されていた場合は、サムネイル画像ｆ２における座標位置を、撮影画像データにおける座標位置に変換して設定する。例えば、サムネイル画像が撮影画像データのサイズを１／ｎに縮小して作成されたものであるならば、位置合わせ仮領域Ａ０の左上端点ＡＬ０の座標位置を（ｌ，ｍ）とすると、位置合わせ領域Ａ１の左上端点ＡＬ１の座標位置は（ｎ・ｌ，ｎ・ｍ）となる。同様に、位置合わせ領域Ａ１の右下端点ＡＲ１の座標位置も設定されることになる。
【０１７２】続いて、設定された位置合わせ領域Ａ１が、シェーディング補正が必要か否かが判別される（ステップＳ１１３）。ここで、図２４を参照してこのシェーディング補正が必要か否かの判別について説明する。図２４の上部は、図１と同様のシェーディングの影響の例を示した図である。すなわち、横軸は各画素データの撮影画像データの中心点からの距離を、撮影画像データの対角線の長さを１として相対距離で示している。また、縦軸は各画素データのレベルを相対値で示している。ここで、画素データのレベルの相対値において、シェーディングの影響が無いとする所定の閾値を例えば０．９以上とする。同図においては焦点距離や絞り値の光学条件にかかわらず、撮影画像データの中心から０．３の距離範囲の領域においては、画素データのレベルの相対値が０．９以上となっている。すなわち、対角線の長さの３０％の距離範囲の領域であれば、どのような光学条件であっても、シェーディングの影響を受けないと判断できる。
【０１７３】図２４の下部は、撮影画像データにおけるこのシェーディングの影響を受けない領域（以下、「非シェーディング領域」）Ａ２を、撮影画像データの中心を原点とした直角ＸＹ平面座標で示したものである。非シェーディング領域Ａ２とシェーディングの影響のある領域の境界曲線ＬＡは、撮影画像データの中心点から同一の距離であるため略円形状となる。図において、境界曲線ＬＡの中央側領域が非シェーディング領域Ａ２であり、境界曲線ＬＡの周辺側領域がシェーディングの影響のある領域である。位置合わせ領域Ａ１を構成する画素データが、この非シェーディング領域Ａ２内に全て含まれていれば、位置合わせ領域Ａ１はシェーディング補正が必要ないと判別される。具体的には、撮影画像データの対角線の長さを１として、位置合わせ領域Ａ１の左上端点ＡＬ１の座標位置の原点からの相対距離、および、右下端点ＡＲ１の座標位置の原点からの相対距離が０．３以下であれば、シェーディング補正が必要ないと判別されることとなる。逆に、左上端点ＡＬ１または右下端点ＡＲ１が、非シェーディング領域Ａ２に含まれていなければ、シェーディング補正が必要であると判別されることとなる。
【０１７４】このような処理によって、位置合わせ領域Ａ１のシェーディング補正が必要ないと判別された場合（ステップＳ１１３においてＮｏの場合）は、シェーディング補正をすることなく、ステップＳ１２３に移行し位置合わせ処理を行うこととなる。
【０１７５】位置合わせ領域Ａ１のシェーディング補正が必要であると判別された場合（ステップＳ１１３においてＹｅｓの場合）は、続いて、カメラ選択が自動選択であるか否かが判別される（ステップＳ１１４）。このとき、カメラ選択が自動選択でない場合、すなわち、上述した図２０に示す画面において、ユーザによって補正テーブル選択条件がマニュアル的に指定されていた場合は、この補正テーブル選択条件に従って補正テーブルを選択することが可能である。従って、ステップＳ１２０に移行して補正テーブルを選択することとなる。
【０１７６】一方、カメラ選択が自動選択である場合、すなわち、上述した図２０に示す画面において自動選択ボタン２１１ａが選択されていた場合は、使用する画像ファイルのタグ情報を参照して、カメラ名称、焦点距離及び絞り値の撮影条件情報を読み取る（ステップＳ１１５，Ｓ１１６，Ｓ１１７）。このタグ情報からの撮影条件情報の読み取りにより、補正テーブル選択条件が自動的に設定される。
【０１７７】続いて、このタグ情報からの撮影条件情報の読み取りが正常に行われたか否かを判別し（ステップＳ１１８）、正常に読み取られた場合は、ステップＳ１２０に移行して補正テーブルを選択することとなる。
【０１７８】一方、撮影条件情報の読み取りが正常に行われなかった場合は、補正テーブル選択条件が設定できないため、シェーディング補正を行うことができず、正確な位置合わせ処理を行うことができない。従って、位置合わせ処理に使用する位置合わせ領域Ａ１を、シェーディングの影響の無い範囲内になるように狭くするようにする（ステップＳ１１９）。このシェーディングの影響のない範囲とは、例えば、図２４の例で示したように、画像の中心から画像の対角線の長さの３０％の距離範囲のことである。
【０１７９】本実施の形態においては、正確に位置合わせ処理を行うため、位置合わせ領域Ａ１のサイズを撮影画像データのサイズの２０％に設定される。つまり、１６００×１２００の画素データから構成される撮影画像データであれば、位置合わせ領域Ａ１は、３２０×２４０の画素データで構成されるように設定される。撮影画像データの中心点と位置合わせ領域Ａ１の中心点は同一にする。このように、位置合わせ領域Ａ１をシェーディングの影響のない範囲内になるように狭くした場合は、シェーディング補正をする必要が無くなるため、ステップＳ１２３に移行して位置合わせ処理を行うこととなる。
【０１８０】ステップＳ１１４〜Ｓ１１８において、補正テーブル選択条件が設定された場合は、この補正テーブル選択条件に従って補正テーブルが選択される（ステップＳ１２０）。続いて、撮影画像データと補正テーブルを乗算処理することによって、第１画像Ｆ１及び第２画像Ｆ２のそれぞれのシェーディング補正が行われる（ステップＳ１２１，Ｓ１２２）。
【０１８１】このシェーディング補正処理は、本実施の形態においては、位置合わせ領域Ａ１のみに対してシェーディング補正を行うようにしている。すなわち、撮影画像データの位置合わせ領域Ａ１に含まれる画素データのみに対して対応する補正係数の逆数を乗算して、シェーディング補正を行うようにする。このことによって、位置合わせ領域Ａ１にはシェーディング補正が行われて、その後の位置合わせ処理が正確に行えるようになるとともに、シェーディング補正の処理時間の短縮を図ることが可能となる。
【０１８２】続いて、ステップＳ１２３においては、位置合わせ領域Ａ１のみを用いて位置合わせ処理を行う。この位置合わせ処理は、前述した第２画像Ｆ２の相関係数Ｃ（ξ，η）が最小となる移動量（ｘ３，ｙ３）を算出するにあたって、位置合わせ領域Ａ１のみの画素データを総和するようにする。そして、図１１に示した場合と同様に、算出された移動量（ｘ３，ｙ３）の第２画像Ｆ２の全体の平行移動を行う。そして、平行移動を行った後に第１画像Ｆ１と重ならない部分の画素データと、第１画像Ｆ１の第２画像Ｆ２と重ならない部分の画素データを削除する。このように位置合わせ領域Ａ１のみを利用して相関係数Ｃを求めることによって、ユーザの求める画像位置に関して正確に位置合わせできるようになるとともに、位置合わせ処理の処理時間の短縮を図ることが可能となる。
【０１８３】続いて、スライダー２０９によって設定された加算比率特性に従って、第１画像Ｆ１及び第２画像Ｆ２の画像合成処理が行われる（ステップＳ１２４）。そして、図２５に示すようにディスプレイ６２に処理結果表示ウィンドウ２２０を表示させ、その表示領域２２１に合成画像が表示される（ステップＳ１２５）。この処理結果表示ウィンドウ２２０は、保存ボタン２２２及びキャンセルボタン２２３を備えており、保存ボタン２２２をマウスカーソルＣ３によってクリックすることによって、作成された合成画像を所定の記憶手段に保存することができる（ステップＳ１２６，Ｓ１２７）。なお、キャンセルボタン２２３をクリックした場合は、保存は行われることはない。
【０１８４】以上、第４の実施の形態において説明したが、本実施の形態においては、位置合わせ領域Ａ１を指定し、その位置合わせ領域Ａ１のシェーディング補正が必要な場合のみに、シェーディング補正を行うようにしている。このようにすることで、シェーディング補正および位置合わせ処理の簡略化と処理時間の短縮を図ることが可能である。
【０１８５】なお、本実施の形態においては、補正テーブル選択条件として、カメラの種類、焦点距離及び絞り値を利用していたが、さらに撮影時に使用された撮影レンズの種類を設定できるようになっていてもよい。
【０１８６】また、本実施の形態においては、パーソナルコンピュータに階調制御プログラムを実行させた画像処理装置において処理を行っていたが、デジタルカメラにおいて同様の階調制御プログラムを実行させて上述した処理を行うようにしてもよい。
【０１８７】＜５．第５の実施の形態＞次に、第５の実施の形態について説明する。上記実施の形態においては、シェーディング補正を行ってから位置合わせ処理及び画像合成処理を行っていたが、第５の実施の形態におけるシェーディング補正部１６０は、第１画像Ｆ１と第２画像Ｆ２との位置合わせと画像合成とを先に行い、その後にシェーディング補正を行う。
【０１８８】このうち、位置合わせ処理の際の相関係数Ｃの算出は、限定された領域としての位置合わせ領域Ａ１を利用するが、この領域Ａ１は全体制御部１５０中の画像合成部１５９によって自動的に設定されるようになっている。
【０１８９】ところで、第１画像Ｆ１と第２画像Ｆ２とのフレーム一致状態を基準として、画像内容が相互にマッチング（適合）するような画像Ｆ１，Ｆ２の相対的な空間移動量を「適合移動量」と呼ぶことにすれば、シェーディング補正係数の分布は適合移動量に応じて変化する。それは、合成画像では元の二枚の画像Ｆ１、Ｆ２のそれぞれにおけるシェーディングの影響が混合された状態となっているが、それらの影響の大きさが適合移動量によって異なっているためである。
【０１９０】なお、本実施の形態における画像処理装置の他の基本構成は、第３の実施の形態における画像処理装置であるデジタルカメラ１の構成と同様である。再生モードにおいてメモリカード８に記憶されたＣＣＤ−ＲＡＷ形式の撮影画像データを使用して、位置合わせ処理及び画像合成処理等の画像処理を行うことも同様である。
【０１９１】次に、本実施の形態のデジタルカメラ１の再生モードにおける階調制御処理について説明する。図２６は、再生モードにおける階調制御処理の流れを示す図である。
【０１９２】ステップＳ８１〜Ｓ８７における処理は、図１６のステップＳ６１〜Ｓ６７と同様である。ステップＳ８７が終了した時点で、階調制御処理に使用する第１画像Ｆ１及び第２画像Ｆ２それぞれのＣＣＤ−ＲＡＷ形式の撮影画像データが読み出され、それぞれ画像メモリ１２６に格納されている。さらに、二枚の画像ファイルそれぞれのタグ情報が読み出され、ＲＡＭ１５２に記憶されている。
【０１９３】続いて、全体制御部１５０の画像合成部１５９において、位置合わせ処理を行うこととなる。本実施の形態においては、第１画像Ｆ１及び第２画像Ｆ２のそれぞれはシェーディング補正が行われていない。このため、撮影画像データ全体で位置合わせ処理を行うとシェーディングの影響を受けることとなり、位置合わせ処理が正確に行われないこととなる。このため、位置合わせ処理を行う前に、シェーディングの影響のない領域（非シェーディング領域Ａ２）から、位置合わせ処理に利用する位置合わせ領域Ａ１を設定する（ステップＳ８８）。
【０１９４】この位置合わせ領域Ａ１の設定にあたっては、まず、位置合わせを行う撮影画像データの非シェーディング領域Ａ２を取得し、取得された非シェーディング領域Ａ２内に全ての画素データが含まれるような位置合わせ領域Ａ１の設定が行われることとなる。前述したように、撮影レンズ３の焦点距離及び絞り値に応じてシェーディングの影響範囲が変化する。つまり、撮影画像データの撮影時の焦点距離及び絞り値に応じて非シェーディング領域Ａ２は変化することとなる。このため、非シェーディング領域Ａ２を取得するにあたって、撮影時の焦点距離および絞り値をパラメータとした補正テーブルを参照することとなる。具体的には、位置合わせを行う撮影画像データの撮影時の焦点距離および絞り値から補正テーブルを選択し、この補正テーブルに設定された補正係数が所定の閾値例えば０．９以上の値になる領域が、非シェーディング領域Ａ２として取得されることとなる。なお、補正テーブルの選択に使用される焦点距離及び絞り値の情報はＲＯＭ１５１に記憶されたタグ情報から取得される。
【０１９５】図２７は、撮影時の焦点距離及び絞り値に応じて取得された非シェーディング領域Ａ２の例を撮影画像データＦにおける直角ＸＹ平面座標系で示した図である。図２７に示すように、非シェーディング領域Ａ２の境界曲線ＬＡａ〜ＬＡｂは、撮影画像データの中心点を中心とする略円形状となる。すなわち、この境界曲線ＬＡａ〜ＬＡｂの中央側領域が非シェーディング領域Ａ２であり、周辺側領域がシェーディングの影響のある領域である。
【０１９６】図において実線Ｌ２ａに囲まれる領域Ａ２ａは、デジタルカメラ１の初期状態で撮影した撮影画像データの場合において、取得された非シェーディング領域Ａ２を示している。なお、ここでデジタルカメラ１の初期状態とは、撮影レンズ３の焦点距離及び絞り値が初期値（電源がオンになった時点の値）である状態のことである。
【０１９７】また、点線Ｌ２ｂ，Ｌ２ｃに囲まれる領域Ａ２ｂ，Ａ２ｃは、焦点距離または絞り値が初期値から変更されて撮影された撮影画像データの場合において、取得された非シェーディング領域Ａ２を示している。このように、焦点距離または絞り値が初期値から変更された場合は、それに応じて領域Ａ２ａに対して広さが変更された非シェーディング領域Ａ２が取得されることとなる。すなわち、非シェーディング領域Ａ２は、焦点距離が初期値よりワイド側になるほど領域Ａ２ｂのように狭くなり、逆に、焦点距離が初期値よりテレ側になるほど領域Ａ２ｃのように広くなる。また同様に、非シェーディング領域Ａ２は、絞り値が初期値より小さくなるほど領域Ａ２ｂのように狭くなり、逆に、絞り値が大きくなるほど非シェーディングＡ２は領域Ａ２ｃのように広くなる。
【０１９８】画像合成部１５９は、このような焦点距離及び絞り値に応じた非シェーディング領域Ａ２を取得後に、矩形の位置合わせ領域Ａ１の設定を行うこととなる。この位置合わせ領域Ａ１設定は、非シェーディング領域Ａ２の境界曲線ＬＡａ〜ＬＡｂと、撮影画像データの対角線ＤＬとの２つの交点を、それぞれ、位置合わせ領域Ａ１の左上端点及び右下端点として設定することで行われる。従って、設定される位置合わせ領域Ａ１の全ての画素データは、非シェーディング領域Ａ２内に含まれることとなる。
【０１９９】図２７に示す実線Ｌ１ａで囲まれる領域Ａ１ａは、デジタルカメラ１の初期状態で撮影画像データの場合において、設定された位置合わせ領域Ａ１を示している。また、点線Ｌ１ｂ，Ｌ１ｃに囲まれる領域Ａ１ａ，Ａ１ｃは、焦点距離または絞り値が初期値から変更されて撮影された撮影画像データの場合において、設定された位置合わせ領域Ａ１を示している。
【０２００】位置合わせ領域Ａ１は、非シェーディング領域Ａ２の大きさに応じて設定されることから、焦点距離または絞り値が初期値から変更された場合は、それに応じて領域Ａ１ａに対して広さが変更された位置合わせ領域Ａ１が取得される。すなわち、位置合わせ領域Ａ１は、焦点距離が初期値よりワイド側になるほど領域Ａ１ｂのように狭く設定され、逆に、焦点距離が初期値よりテレ側になるほど領域Ａ１ｃのように広く設定される。また同様に、位置合わせ領域Ａ１は、絞り値が初期値より小さくなるほど領域Ａ１ｂのように狭く設定され、逆に、絞り値が初期値より大きくなるほど領域Ａ１ｃのように広く設定されることとなる。
【０２０１】なおここで、「焦点距離がワイド端」かつ「絞り値が開放」の場合における非シェーディング領域Ａ２は、あらゆる焦点距離及び絞り値の光学条件における非シェーディング領域Ａ２の中で最も狭くなることとなる。つまり、「焦点距離がワイド端」かつ「絞り値が開放」の場合における非シェーディング領域Ａ２内に、位置合わせ領域Ａ１が含まれるように設定すれば、あらゆる光学条件において必ず非シェーディング領域Ａ２内に含まれることとなる。還元すれば、当該位置合わせ領域Ａ１は、全ての光学条件において利用することが可能である。従って、前述したように焦点距離及び絞り値に応じた位置合わせ領域Ａ１の変更を行わずに、「焦点距離がワイド端」かつ「絞り値が開放」の場合における非シェーディング領域Ａ２に含まれる領域を、固定の位置合わせ領域Ａ１として設定をしてもよい。
【０２０２】このような処理によって位置合わせ領域Ａ１の設定を行うと、画像合成部１５９は、この位置合わせ領域Ａ１を用いて、第１画像Ｆ１及び第２画像Ｆ２の位置合わせ処理が行われる（ステップＳ８９）。この位置合わせ処理は、図２３のステップＳ１２３と同様の処理である。そして、第１画像Ｆ１及び第２画像Ｆ２の合成処理が行われる（ステップＳ９０）。この合成処理は、図９のステップＳ２３と同様の処理である。
【０２０３】続いて、合成画像が作成されると、シェーディング補正部１６０は、作成された合成画像に対してシェーディング補正を行う（ステップＳ９１）。このシェーディング補正は、位置合わせ処理において第１画像Ｆ１と第２画像Ｆ２とのフレーム一致状態から相対的に移動させた移動量に応じた補正係数を用いてシェーディング補正を行うこととなる。
【０２０４】図２８（ａ）は、位置合わせ処理を行う前の第１画像Ｆ１及び第２画像Ｆ２のフレームが一致した状態から、位置合わせ処理において第２画像Ｆ２の移動をした場合における、シェーディング補正に用いる補正係数の分布が一定である曲線について示したものである。図においては、移動した第２画像Ｆ２は点線によって示し、位置合わせ処理の後に合成処理によって得られる合成画像Ｆ３は太線で示されている。
【０２０５】また、図２８（ａ）に示す移動線Ｌ１は、画像マッチング状態における第１画像Ｆ１と第２画像Ｆ２のそれぞれの中心間の相対的変位を示している。この移動線Ｌ１の長さは上記第１画像Ｆ１と第２画像Ｆ２のフレーム一致状態を基準としたときの第２画像Ｆ２の相対的移動量を示しており、移動線Ｌ１上の元の中心点から移動量の１／２にあたる位置は合成画像Ｆ３の中心点となる。
【０２０６】図２８（ａ）に示すように、補正係数の分布が一定である曲線は、第１画像Ｆ１及び第２画像Ｆ２それぞれの中心点を中心とした略円形状となる。ところで、合成画像Ｆ３の中心点において移動線Ｌ１に対する垂線Ｌ２を想定すると、合成画像Ｆ３の部分にあたる補正係数はこの垂線Ｌ２に対して対象的に分布することとなる。つまり、合成画像Ｆ３に対する補正係数の分布が一定である曲線は、図２８（ｂ）に示すように、第２画像Ｆ２の移動方向を短径とする略楕円的曲線となる。このような補正係数を用いてシェーディング補正を行うことで、合成画像に対してシェーディング補正を行うことが可能である。
【０２０７】ところで、第１画像Ｆ１や第２画像Ｆ２のシェーディング補正に利用する補正係数の空間分布は、"sqrt"を平方根として、撮影画像データの中心点からの距離sqrt（ｘ2＋ｙ2）に依存する関数Ｓ（sqrt（ｘ2＋ｙ2））で表される。そして、第１画像Ｆ１と第２画像Ｆ２とを、ｋ：（１−ｋ）の比率（０＜ｋ＜１）で加算合成する場合には、合成画像Ｆ３のシェーディング補正に利用する補正係数は、下記の式(A)に示すように、関数Ｓを用いた加重平均値に基づいて決定することが好ましい。
【０２０８】
ｋ・Ｓ（ｒ）＋（１−ｋ）・Ｓ（ｒ’） …式(A)ただし、ｒ ＝sqrt（ｘ2＋ｙ2）；
ｒ’＝sqrt｛（ｘ−δｘ）2＋（ｙ−δｙ）2 ｝；
ｘ，ｙは、第１画像Ｆ１と第２画像Ｆ２とのうちの一方の画像中心を原点とする直角ＸＹ平面座標系における座標変数；δｘ、δｙは、適合移動量のＸ，Ｙ成分値、である。
【０２０９】その後のステップＳ９２〜Ｓ９４は、図１６のステップＳ７２〜Ｓ７４と同様である。
【０２１０】以上、第５の実施の形態において説明したが、本実施の形態においては、位置合わせ領域Ａ１をシェーディングの影響に合わせて設定するため、シェーディング補正を行うことなく、位置合わせ処理を行うことが可能である。
【０２１１】なお、本実施の形態においては、合成画像に対してシェーディング補正を行っているが、シェーディングの影響を考慮した位置合わせ領域Ａ１を設定することによって位置合わせ処理が正確に行えることとなるので、シェーディング補正は行われなくてもよい。
【０２１２】＜６．変形例＞以上、本発明の実施の形態について説明したが、この発明は上記実施の形態に限定されるものではない。例えば、上記実施形態においては、同一被写体に対して露出の異なる二枚の画像を時間的に異なるタイミングで撮影してそれらを適当な加算比率で合成することによって階調制御を行た合成画像を取得していたが、これに限定されるものではなく、例えば、主被写体に対して焦点を合わせた第１画像と、主被写体の背景に焦点を合わせた第２画像を合成して所望のボケ具合を有する合成画像を取得するような処理であってもよい。また、被写体に対する撮影位置が互いに微小変化した第１画像と第２画像を合成して、元の撮影画像よりも解像度の高い合成画像を取得するような処理であってもよい。つまりは、二枚の画像を時間的に異なるタイミングで撮影してそれらを合成する処理においては、どのようなものであっても本発明を適用することが可能である。
【０２１３】
【発明の効果】以上、説明したように、請求項１ないし請求項２７の発明によれば、シェーディングの影響を考慮して、同一被写体に対して時間的に異なるタイミングで撮影された画像の位置合わせを正確に行うことでき、画像合成処理における画質の劣化を防止することができる。
【０２１４】また特に、請求項２の発明によれば、シェーディング補正をハードウェアで行うので、シェーディング補正に係る処理時間の短縮を図ることができ、画像の合成後に直ちに次の撮影に移ることができる。
【０２１５】また特に、請求項３の発明によれば、第１画像及び第２画像のうち、後に撮影された画像がシェーディング補正済画像として画像メモリに格納されるのに応答して位置合わせ処理を行うために、処理の最適化を図ることができる。
【０２１６】また特に、請求項４の発明によれば、第１画像及び第２画像が画像メモリに格納されてから、それぞれに対してシェーディング補正を行うために、第１画像と第２画像の撮影間隔を短くすることができる。
【０２１７】また特に、請求項５の発明によれば、演算処理をソフトウェア的に行う場合であっても、第１画像と第２画像の撮影間隔を短くすることができる。
【０２１８】また特に、請求項６の発明によれば、異なる露光量において撮影された第１画像および第２画像のうち露光量の多い画像に対してのみシェーディング補正を行うため、処理の簡略化及び処理時間の短縮を図ることができる。
【０２１９】また特に、請求項７の発明によれば、シェーディング補正を行わない露光量の少ない画像を先に撮影を行うため、第１画像と第２画像の撮影間隔を短くすることができる。
【０２２０】また特に、請求項９の発明によれば、ユーザが位置合わせに使用する位置合わせ領域を指定することができるため、画像におけるユーザの任意の被写体に対して、さらに正確な位置合わせを行うことができるとともに、位置合わせ処理における処理時間の短縮を図ることができる。
【０２２１】また特に、請求項１０の発明によれば、位置合わせ領域に限定して、シェーディング補正を行うため、シェーディング補正処理における処理時間の短縮を図ることができる。
【０２２２】また特に、請求項１１の発明によれば、シェーディング補正が不要と判定された場合は、シェーディング補正が行われないため、トータルの処理時間の短縮を図ることができる。
【０２２３】また特に、請求項１２の発明によれば、撮影機材に応じたシェーディング補正に用いる補正テーブルを指定することができるため、適切な補正テーブルを用いて、シェーディング補正処理を行うことができる。
【０２２４】また特に、請求項１３の発明によれば、撮影時の撮影条件情報を取得してその撮影条件情報に基づいて補正テーブルが選択されるため、自動的に適切な補正テーブルを選択することができ、シェーディング補正処理における操作性の向上を図ることができる。
【０２２５】また特に、請求項１４の発明によれば、撮影時の撮影条件情報が取得できない場合は、位置合わせに使用する位置合わせ領域を狭くするため、撮影時の撮影条件情報が無くても、シェーディングの影響を考慮して位置合わせ処理を正確に行うことができる。
【０２２６】また特に、請求項１５の発明によれば、記憶された第１画像および第２画像を指定してシェーディング補正及び位置合わせ処理が行えるため、ユーザの任意の時間において、シェーディング補正及び位置合わせ処理を行うことができる。
【０２２７】また特に、請求項１６の発明によれば、第１画像および第２画像のシェーディングの影響のない中央側領域のみを位置合わせ領域として使用して位置合わせを行うため、シェーディング補正を行わなくても正確な位置合わせ処理を行うことが可能である。
【０２２８】また特に、請求項１７の発明によれば、撮影レンズの焦点距離に応じて位置合わせ領域を変更するため、撮影時の撮影レンズの焦点距離に応じて最適な位置合わせ処理を行うことができる。
【０２２９】また特に、請求項１８の発明によれば、撮影時の撮影レンズの焦点距離がワイド側の場合は位置合わせ領域を狭くし、テレ側の場合は位置合わせ領域を広くするため、撮影時の撮影レンズの焦点距離に応じてさらに最適な位置合わせ処理を行うことができる。
【０２３０】また特に、請求項１９の発明によれば、撮影時の撮影レンズの焦点距離がワイド端の場合における非シェーディング領域を位置合わせ領域として用いるため、位置合わせ領域を変更することなく、正確な位置合わせ処理を行うことができる。
【０２３１】また特に、請求項２０の発明によれば、撮影レンズの絞り値に応じて位置合わせ領域を変更するため、撮影時の撮影レンズの絞り値に応じて最適な位置合わせ処理を行うことができる。
【０２３２】また特に、請求項２１の発明によれば、撮影時の撮影レンズの絞り値が小さい場合は位置合わせ領域を狭くし、大きいの場合は位置合わせ領域を広くするため、撮影時の撮影レンズの絞り値に応じてさらに最適な位置合わせ処理を行うことができる。
【０２３３】また特に、請求項２２の発明によれば、撮影時の撮影レンズの絞り値が開放の場合における非シェーディング領域を位置合わせ領域として用いるため、位置合わせ領域を変更することなく、正確な位置合わせ処理を行うことができる。
【０２３４】また特に、請求項２３の発明によれば、フレーム一致状態から相対的に移動させた移動量に応じたシェーディング補正係数を用いてシェーディング補正を行うため、合成画像に対してシェーディング補正を行うことができる。
【０２３５】また特に、請求項２４及び２５の発明によれば、簡易に合成画像に対してのシェーディング補正係数を設定することができる。
【図面の簡単な説明】
【図１】画像におけるシェーディングの影響の例を示した図である。
【図２】本発明の実施の形態に係る画像処理装置の平面図である。
【図３】本発明の実施の形態に係る画像処理装置の断面図である。
【図４】本発明の実施の形態に係る画像処理装置の正面図である。
【図５】第１の実施の形態における画像処理装置の機能構成を示すブロック図である。
【図６】シェーディング補正を行う係数処理ハードウェア回路を示す図である。
【図７】シェーディング補正に用いる補正テーブルの一例を示す図である。
【図８】メモリカードへの画像ファイルの記録方法を示す図である。
【図９】第１の実施の形態における階調制御処理の処理手順を示す図である。
【図１０】位置合わせ処理の処理手順を示す図である。
【図１１】位置合わせ処理における、画像の移動を示す図である。
【図１２】階調制御処理における露出オーバーの画像と露出アンダーの画像との合成比率を示す図である。
【図１３】第２の実施の形態における画像処理装置の機能構成を示すブロック図である。
【図１４】第２の実施の形態における階調制御処理の処理手順を示す図である。
【図１５】メモリカードに記憶された画像ファイルの構成例を示す図である。
【図１６】第３の実施の形態における階調制御処理の処理手順を示す図である。
【図１７】再生モードにおける再生メニュー画面及び階調制御処理を行う画像の選択画面を示す図である。
【図１８】第４の実施の形態における画像処理装置の構成を示す外観図である。
【図１９】階調制御プログラムを実行した場合におけるディスプレイに表示される作業ウィンドウの一例を示す図である。
【図２０】ディスプレイに表示されるカメラ選択ウィンドウの一例を示す図である。
【図２１】ディスプレイに表示されたサムネイル画像を用いた位置合わせ領域の指定の例を示す図である。
【図２２】階調制御プログラムの処理手順を示す図である。
【図２３】階調制御プログラムの処理手順を示す図である。
【図２４】撮影画像データにおけるシェーディングの影響及び非シェーディング領域を示す図である。
【図２５】ディスプレイに表示される処理結果表示ウィンドウの一例を示す図である。
【図２６】第５の実施の形態における階調制御処理の処理手順を示す図である。
【図２７】撮影時の焦点距離及び絞り値に応じた非シェーディング領域の例を示す図である。
【図２８】撮影画像データ及び合成画像におけるシェーディング補正に用いる補正係数の分布が一定である曲線を示す図である。
【符号の説明】
１ デジタルカメラ
２ カメラ本体部
３ 撮影レンズ
８ メモリカード
１４ 電源スイッチ
５０ 画像処理装置
６０ パーソナルコンピュータ
９０ 記録媒体
１２３ シェーディング補正回路
１２６ 画像メモリ
１５０ 全体制御部
１５３ シェーディングＲＯＭ
１５９ 画像合成部
１６０ シェーディング補正部
２００ 作業ウィンドウ
２１０ カメラ選択ウィンドウ
【特許請求の範囲】
【請求項１】 画像処理装置であって、同一被写体に対して時間的に異なるタイミングで第１画像および第２画像の撮影を行う撮像手段と、前記撮像手段において撮影された前記第１画像および前記第２画像それぞれに対して、シェーディング補正を行うシェーディング補正手段と、前記シェーディング補正手段によってシェーディング補正が行われた前記第１画像および前記第２画像の位置合わせを行う位置合わせ手段と、前記位置合わせ手段によって位置合わせを行った前記第１画像および前記第２画像の画素データを用いて合成画像を作成する画像合成手段と、を備えることを特徴とする画像処理装置。
【請求項２】 請求項１に記載の画像処理装置において、前記シェーディング補正手段は、シェーディング補正用の係数が登録された補正テーブルを保持するシェーディングＲＯＭと、前記撮像手段において撮影された画像に対して、前記補正テーブルを用いて係数処理を行う係数処理ハードウェア回路と、を備えていることを特徴とする画像処理装置。
【請求項３】 請求項２に記載の画像処理装置において、複数枚の画像を格納可能な画像メモリと、前記第１画像および前記第２画像がそれぞれ撮影されるごとにシェーディング補正手段によってシェーディング補正を行い、シェーディング補正済画像として前記画像メモリに格納させる制御手段と、をさらに備え、前記位置合わせ手段は、前記第１画像および前記第２画像のうち、後に撮影された画像がシェーディング補正済画像として前記画像メモリに格納されるのに応答して位置合わせを行うことを特徴とする画像処理装置。
【請求項４】 請求項１に記載の画像処理装置において、複数枚の画像を格納可能な画像メモリと、前記撮像手段において撮影された前記第１画像および前記第２画像のそれぞれを前記画像メモリに格納させる画像格納手段と、をさらに備え、前記シェーディング補正手段は、前記画像メモリに格納された前記第１画像および前記第２画像それぞれに対して、シェーディング補正を行うことを特徴とする画像処理装置。
【請求項５】 請求項４に記載の画像処理装置において、前記シェーディング補正手段は、シェーディング補正に用いる補正テーブルを保持するシェーディングＲＯＭと、前記画像メモリに格納された画像に対して、前記補正テーブルを用いて演算処理をソフトウェア的に行う演算処理手段と、を備えることを特徴とする画像処理装置。
【請求項６】 画像処理装置であって、同一被写体に対して時間的に異なるタイミングで第１画像および第２画像の撮影を行う撮像手段と、前記第１画像および前記第２画像の露光量が異なるように前記撮像手段を制御する露光量制御手段と、前記第１画像および前記第２画像を用いて合成画像を作成する画像合成手段と、前記撮像手段において撮影された画像に対して、シェーディング補正を行うシェーディング補正手段と、を備え、前記シェーディング補正手段は、前記第１画像および前記第２画像のうち露光量の多い画像に対してのみシェーディング補正を行うことを特徴とする画像処理装置。
【請求項７】 請求項６に記載の画像処理装置において、前記第１画像および前記第２画像のうち露光量の少ない画像を先に撮影するように前記撮像手段を制御する手段、をさらに備えることを特徴とする画像処理装置。
【請求項８】 画像処理を行うプログラムであって、前記プログラムのコンピュータによる実行は、前記コンピュータに、第１画像および第２画像をそれぞれユーザに指定させる画像指定工程、を実行させ、前記第１画像および前記第２画像を合成する合成処理の指示に応答して、前記第１画像および前記第２画像それぞれに対して、シェーディング補正を行うシェーディング補正工程と、前記シェーディング補正工程においてシェーディング補正が行われた前記第１画像および前記第２画像の位置合わせを行う位置合わせ工程と、をさらに実行させることを特徴とするプログラム。
【請求項９】 請求項８に記載のプログラムにおいて、前記プログラムの前記コンピュータによる実行は、前記コンピュータに、前記第１画像および前記第２画像の位置合わせに使用する位置合わせ領域をユーザに指定させる領域指定工程、をさらに実行させることを特徴とするプログラム。
【請求項１０】 請求項９に記載のプログラムにおいて、前記シェーディング補正工程は、前記領域指定工程において指定された前記位置合わせ領域に限定して、シェーディング補正を行うことを特徴とするプログラム。
【請求項１１】 請求項９に記載のプログラムにおいて、前記プログラムの前記コンピュータによる実行は、前記コンピュータに、前記領域指定工程において指定された前記位置合わせ領域のシェーディング補正が不要か否かを判定する判定工程、をさらに実行させ、前記判定工程において判定の基準によりシェーディング補正が不要と判定された場合は、前記シェーディング補正工程はシェーディング補正を行わないことを特徴とするプログラム。
【請求項１２】 請求項８に記載のプログラムにおいて、前記プログラムの前記コンピュータによる実行は、前記コンピュータに、前記第１画像および前記第２画像を撮影した撮影機材に応じたシェーディング補正に用いる補正テーブルをユーザに指定させる補正テーブル指定工程、をさらに実行させることを特徴とするプログラム。
【請求項１３】 請求項８に記載のプログラムにおいて、前記プログラムの前記コンピュータによる実行は、前記コンピュータに、前記第１画像および前記第２画像にそれぞれ付随させた撮影時の撮影条件情報を取得する撮影条件取得工程と、前記撮影条件情報に応じたシェーディング補正に用いる補正テーブルを選択する補正テーブル選択工程と、をさらに実行させることを特徴とするプログラム。
【請求項１４】 請求項１３に記載のプログラムにおいて、前記プログラムの前記コンピュータによる実行は、前記コンピュータに、前記撮影条件取得工程において前記撮影条件情報が取得できない場合は、前記第１画像および前記第２画像の位置合わせに使用する位置合わせ領域を狭くする工程、をさらに実行させることを特徴とするプログラム。
【請求項１５】 画像処理装置であって、撮影された画像を記憶する画像記憶手段と、前記画像記憶手段において記憶された第１画像および第２画像をそれぞれユーザに指定させる画像指定手段と、前記第１画像および前記第２画像を合成する合成処理の指示に応答して、前記第１画像および前記第２画像それぞれに対して、シェーディング補正を行うシェーディング補正手段と、前記シェーディング補正手段においてシェーディング補正が行われた前記第１画像および前記第２画像の位置合わせを行う位置合わせ手段と、を備えることを特徴とする画像処理装置。
【請求項１６】 画像処理装置であって、同一被写体に対して時間的に異なるタイミングで第１画像および第２画像の撮影を行う撮像手段と、前記第１画像および前記第２画像のそれぞれはシェーディングの影響のある周辺領域とシェーディングの影響を無視できる中央側領域とに分割され、前記撮像手段において撮影された前記第１画像および前記第２画像の前記中央側領域のみを位置合わせ領域として使用して位置合わせを行う位置合わせ手段と、前記位置合わせ手段によって位置合わせを行った前記第１画像および前記第２画像の画素データを用いて合成画像を作成する画像合成手段と、を備えることを特徴とする画像処理装置。
【請求項１７】 請求項１６に記載の画像処理装置において、焦点距離を変更可能な撮影レンズと、前記撮影レンズの焦点距離に応じて、前記位置合わせ領域を変更する領域変更手段と、をさらに備えることを特徴とする画像処理装置。
【請求項１８】 請求項１７に記載の画像処理装置において、前記領域変更手段は、前記焦点距離が所定位置よりワイド側の場合は所定領域より前記位置合わせ領域を狭くし、前記焦点距離が前記所定位置よりテレ側の場合は前記所定領域より前記位置合わせ領域を広くすることを特徴とする画像処理装置。
【請求項１９】 請求項１６に記載の画像処理装置において、焦点距離を変更可能な撮影レンズをさらに備え、前記焦点距離がワイド端の場合における非シェーディング領域を前記位置合わせ領域として用いることを特徴とする画像処理装置。
【請求項２０】 請求項１６に記載の画像処理装置において、絞り値を変更可能な撮影レンズと、前記撮影レンズの絞り値に応じて、前記位置合わせ領域を変更する領域変更手段と、をさらに備えることを特徴とする画像処理装置。
【請求項２１】 請求項２０に記載の画像処理装置において、前記領域変更手段は、前記絞り値が所定値より小さい場合は所定領域より前記位置合わせ領域を狭くし、前記絞り値が前記所定値より大きい場合は前記所定領域より前記位置合わせ領域を広くすることを特徴とする画像処理装置。
【請求項２２】 請求項１６に記載の画像処理装置において、絞り値を変更可能な撮影レンズをさらに備え、前記絞り値が開放の場合における非シェーディング領域を前記位置合わせ領域として用いることを特徴とする画像処理装置。
【請求項２３】 画像処理装置であって、同一被写体に対して時間的に異なるタイミングで第１画像および第２画像の撮影を行う撮像手段と、前記撮像手段において撮影された前記第１画像および前記第２画像の位置合わせを行う位置合わせ手段と、前記位置合わせ手段によって位置合わせを行った前記第１画像および前記第２画像の画素データを用いて合成画像を作成する画像合成手段と、前記位置合わせにあたって前記第１画像と前記第２画像とをフレーム一致状態から相対的に移動させた移動量に応じたシェーディング補正係数を用いてシェーディング補正を行うシェーディング補正手段と、を備えることを特徴とする画像処理装置。
【請求項２４】 請求項２３に記載の画像処理装置において、前記第１画像および前記第２画像それぞれのシェーディング補正係数の分布が一定である曲線が略円形曲線であり、前記移動量に応じたシェーディング補正係数の分布が一定である曲線が、移動方向を短径とする略楕円的曲線となることを特徴とする画像処理装置。
【請求項２５】 請求項２３に記載の画像処理装置において、前記画像合成手段は、前記第１画像と前記第２画像とを、ｋ：（１−ｋ） …ただし０＜ｋ＜１の比率で加算合成し、前記移動量に応じたシェーディング補正係数は、所定の関数Ｓを用いた加重平均値：ｋ・Ｓ（ｒ）＋（１−ｋ）・Ｓ（ｒ’）
ただし、ｒ ＝sqrt（ｘ2＋ｙ2）；
ｒ’＝sqrt｛（ｘ−δｘ）2＋（ｙ−δｙ）2 ｝；
"sqrt"は、平方根；ｘ，ｙは、前記第１画像と前記第２画像とのうちの一方の画像中心を原点とする直角ＸＹ平面座標系における座標変数；δｘ、δｙは、それぞれＸ座標方向、Ｙ座標方向の前記移動量、に基づいて決定されることを特徴とする画像処理装置。
【請求項２６】 画像処理装置に含まれるコンピュータによって実行されることにより、前記画像処理装置が請求項１６ないし２５のいずれかに記載の画像処理装置として動作することを特徴とするプログラム。
【請求項２７】 請求項８ないし１４のいずれかまたは請求項２６に記載のプログラムを記録してあることを特徴とするコンピュータ読み取り可能な記録媒体。
【請求項１】 画像処理装置であって、同一被写体に対して時間的に異なるタイミングで第１画像および第２画像の撮影を行う撮像手段と、前記撮像手段において撮影された前記第１画像および前記第２画像それぞれに対して、シェーディング補正を行うシェーディング補正手段と、前記シェーディング補正手段によってシェーディング補正が行われた前記第１画像および前記第２画像の位置合わせを行う位置合わせ手段と、前記位置合わせ手段によって位置合わせを行った前記第１画像および前記第２画像の画素データを用いて合成画像を作成する画像合成手段と、を備えることを特徴とする画像処理装置。
【請求項２】 請求項１に記載の画像処理装置において、前記シェーディング補正手段は、シェーディング補正用の係数が登録された補正テーブルを保持するシェーディングＲＯＭと、前記撮像手段において撮影された画像に対して、前記補正テーブルを用いて係数処理を行う係数処理ハードウェア回路と、を備えていることを特徴とする画像処理装置。
【請求項３】 請求項２に記載の画像処理装置において、複数枚の画像を格納可能な画像メモリと、前記第１画像および前記第２画像がそれぞれ撮影されるごとにシェーディング補正手段によってシェーディング補正を行い、シェーディング補正済画像として前記画像メモリに格納させる制御手段と、をさらに備え、前記位置合わせ手段は、前記第１画像および前記第２画像のうち、後に撮影された画像がシェーディング補正済画像として前記画像メモリに格納されるのに応答して位置合わせを行うことを特徴とする画像処理装置。
【請求項４】 請求項１に記載の画像処理装置において、複数枚の画像を格納可能な画像メモリと、前記撮像手段において撮影された前記第１画像および前記第２画像のそれぞれを前記画像メモリに格納させる画像格納手段と、をさらに備え、前記シェーディング補正手段は、前記画像メモリに格納された前記第１画像および前記第２画像それぞれに対して、シェーディング補正を行うことを特徴とする画像処理装置。
【請求項５】 請求項４に記載の画像処理装置において、前記シェーディング補正手段は、シェーディング補正に用いる補正テーブルを保持するシェーディングＲＯＭと、前記画像メモリに格納された画像に対して、前記補正テーブルを用いて演算処理をソフトウェア的に行う演算処理手段と、を備えることを特徴とする画像処理装置。
【請求項６】 画像処理装置であって、同一被写体に対して時間的に異なるタイミングで第１画像および第２画像の撮影を行う撮像手段と、前記第１画像および前記第２画像の露光量が異なるように前記撮像手段を制御する露光量制御手段と、前記第１画像および前記第２画像を用いて合成画像を作成する画像合成手段と、前記撮像手段において撮影された画像に対して、シェーディング補正を行うシェーディング補正手段と、を備え、前記シェーディング補正手段は、前記第１画像および前記第２画像のうち露光量の多い画像に対してのみシェーディング補正を行うことを特徴とする画像処理装置。
【請求項７】 請求項６に記載の画像処理装置において、前記第１画像および前記第２画像のうち露光量の少ない画像を先に撮影するように前記撮像手段を制御する手段、をさらに備えることを特徴とする画像処理装置。
【請求項８】 画像処理を行うプログラムであって、前記プログラムのコンピュータによる実行は、前記コンピュータに、第１画像および第２画像をそれぞれユーザに指定させる画像指定工程、を実行させ、前記第１画像および前記第２画像を合成する合成処理の指示に応答して、前記第１画像および前記第２画像それぞれに対して、シェーディング補正を行うシェーディング補正工程と、前記シェーディング補正工程においてシェーディング補正が行われた前記第１画像および前記第２画像の位置合わせを行う位置合わせ工程と、をさらに実行させることを特徴とするプログラム。
【請求項９】 請求項８に記載のプログラムにおいて、前記プログラムの前記コンピュータによる実行は、前記コンピュータに、前記第１画像および前記第２画像の位置合わせに使用する位置合わせ領域をユーザに指定させる領域指定工程、をさらに実行させることを特徴とするプログラム。
【請求項１０】 請求項９に記載のプログラムにおいて、前記シェーディング補正工程は、前記領域指定工程において指定された前記位置合わせ領域に限定して、シェーディング補正を行うことを特徴とするプログラム。
【請求項１１】 請求項９に記載のプログラムにおいて、前記プログラムの前記コンピュータによる実行は、前記コンピュータに、前記領域指定工程において指定された前記位置合わせ領域のシェーディング補正が不要か否かを判定する判定工程、をさらに実行させ、前記判定工程において判定の基準によりシェーディング補正が不要と判定された場合は、前記シェーディング補正工程はシェーディング補正を行わないことを特徴とするプログラム。
【請求項１２】 請求項８に記載のプログラムにおいて、前記プログラムの前記コンピュータによる実行は、前記コンピュータに、前記第１画像および前記第２画像を撮影した撮影機材に応じたシェーディング補正に用いる補正テーブルをユーザに指定させる補正テーブル指定工程、をさらに実行させることを特徴とするプログラム。
【請求項１３】 請求項８に記載のプログラムにおいて、前記プログラムの前記コンピュータによる実行は、前記コンピュータに、前記第１画像および前記第２画像にそれぞれ付随させた撮影時の撮影条件情報を取得する撮影条件取得工程と、前記撮影条件情報に応じたシェーディング補正に用いる補正テーブルを選択する補正テーブル選択工程と、をさらに実行させることを特徴とするプログラム。
【請求項１４】 請求項１３に記載のプログラムにおいて、前記プログラムの前記コンピュータによる実行は、前記コンピュータに、前記撮影条件取得工程において前記撮影条件情報が取得できない場合は、前記第１画像および前記第２画像の位置合わせに使用する位置合わせ領域を狭くする工程、をさらに実行させることを特徴とするプログラム。
【請求項１５】 画像処理装置であって、撮影された画像を記憶する画像記憶手段と、前記画像記憶手段において記憶された第１画像および第２画像をそれぞれユーザに指定させる画像指定手段と、前記第１画像および前記第２画像を合成する合成処理の指示に応答して、前記第１画像および前記第２画像それぞれに対して、シェーディング補正を行うシェーディング補正手段と、前記シェーディング補正手段においてシェーディング補正が行われた前記第１画像および前記第２画像の位置合わせを行う位置合わせ手段と、を備えることを特徴とする画像処理装置。
【請求項１６】 画像処理装置であって、同一被写体に対して時間的に異なるタイミングで第１画像および第２画像の撮影を行う撮像手段と、前記第１画像および前記第２画像のそれぞれはシェーディングの影響のある周辺領域とシェーディングの影響を無視できる中央側領域とに分割され、前記撮像手段において撮影された前記第１画像および前記第２画像の前記中央側領域のみを位置合わせ領域として使用して位置合わせを行う位置合わせ手段と、前記位置合わせ手段によって位置合わせを行った前記第１画像および前記第２画像の画素データを用いて合成画像を作成する画像合成手段と、を備えることを特徴とする画像処理装置。
【請求項１７】 請求項１６に記載の画像処理装置において、焦点距離を変更可能な撮影レンズと、前記撮影レンズの焦点距離に応じて、前記位置合わせ領域を変更する領域変更手段と、をさらに備えることを特徴とする画像処理装置。
【請求項１８】 請求項１７に記載の画像処理装置において、前記領域変更手段は、前記焦点距離が所定位置よりワイド側の場合は所定領域より前記位置合わせ領域を狭くし、前記焦点距離が前記所定位置よりテレ側の場合は前記所定領域より前記位置合わせ領域を広くすることを特徴とする画像処理装置。
【請求項１９】 請求項１６に記載の画像処理装置において、焦点距離を変更可能な撮影レンズをさらに備え、前記焦点距離がワイド端の場合における非シェーディング領域を前記位置合わせ領域として用いることを特徴とする画像処理装置。
【請求項２０】 請求項１６に記載の画像処理装置において、絞り値を変更可能な撮影レンズと、前記撮影レンズの絞り値に応じて、前記位置合わせ領域を変更する領域変更手段と、をさらに備えることを特徴とする画像処理装置。
【請求項２１】 請求項２０に記載の画像処理装置において、前記領域変更手段は、前記絞り値が所定値より小さい場合は所定領域より前記位置合わせ領域を狭くし、前記絞り値が前記所定値より大きい場合は前記所定領域より前記位置合わせ領域を広くすることを特徴とする画像処理装置。
【請求項２２】 請求項１６に記載の画像処理装置において、絞り値を変更可能な撮影レンズをさらに備え、前記絞り値が開放の場合における非シェーディング領域を前記位置合わせ領域として用いることを特徴とする画像処理装置。
【請求項２３】 画像処理装置であって、同一被写体に対して時間的に異なるタイミングで第１画像および第２画像の撮影を行う撮像手段と、前記撮像手段において撮影された前記第１画像および前記第２画像の位置合わせを行う位置合わせ手段と、前記位置合わせ手段によって位置合わせを行った前記第１画像および前記第２画像の画素データを用いて合成画像を作成する画像合成手段と、前記位置合わせにあたって前記第１画像と前記第２画像とをフレーム一致状態から相対的に移動させた移動量に応じたシェーディング補正係数を用いてシェーディング補正を行うシェーディング補正手段と、を備えることを特徴とする画像処理装置。
【請求項２４】 請求項２３に記載の画像処理装置において、前記第１画像および前記第２画像それぞれのシェーディング補正係数の分布が一定である曲線が略円形曲線であり、前記移動量に応じたシェーディング補正係数の分布が一定である曲線が、移動方向を短径とする略楕円的曲線となることを特徴とする画像処理装置。
【請求項２５】 請求項２３に記載の画像処理装置において、前記画像合成手段は、前記第１画像と前記第２画像とを、ｋ：（１−ｋ） …ただし０＜ｋ＜１の比率で加算合成し、前記移動量に応じたシェーディング補正係数は、所定の関数Ｓを用いた加重平均値：ｋ・Ｓ（ｒ）＋（１−ｋ）・Ｓ（ｒ’）
ただし、ｒ ＝sqrt（ｘ2＋ｙ2）；
ｒ’＝sqrt｛（ｘ−δｘ）2＋（ｙ−δｙ）2 ｝；
"sqrt"は、平方根；ｘ，ｙは、前記第１画像と前記第２画像とのうちの一方の画像中心を原点とする直角ＸＹ平面座標系における座標変数；δｘ、δｙは、それぞれＸ座標方向、Ｙ座標方向の前記移動量、に基づいて決定されることを特徴とする画像処理装置。
【請求項２６】 画像処理装置に含まれるコンピュータによって実行されることにより、前記画像処理装置が請求項１６ないし２５のいずれかに記載の画像処理装置として動作することを特徴とするプログラム。
【請求項２７】 請求項８ないし１４のいずれかまたは請求項２６に記載のプログラムを記録してあることを特徴とするコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図６】
【図７】
【図５】
【図８】
【図１０】
【図１１】
【図９】
【図１２】
【図１３】
【図１４】
【図１５】
【図１７】
【図２２】
【図１６】
【図１８】
【図２３】
【図１９】
【図２０】
【図２１】
【図２４】
【図２６】
【図２５】
【図２７】
【図２８】
【図２】
【図３】
【図４】
【図６】
【図７】
【図５】
【図８】
【図１０】
【図１１】
【図９】
【図１２】
【図１３】
【図１４】
【図１５】
【図１７】
【図２２】
【図１６】
【図１８】
【図２３】
【図１９】
【図２０】
【図２１】
【図２４】
【図２６】
【図２５】
【図２７】
【図２８】
【公開番号】特開２００２−２９０８２９（Ｐ２００２−２９０８２９Ａ）
【公開日】平成１４年１０月４日（２００２．１０．４）
【国際特許分類】
【出願番号】特願２００１−８８０１５（Ｐ２００１−８８０１５）
【出願日】平成１３年３月２６日（２００１．３．２６）
【出願人】（０００００６０７９）ミノルタ株式会社 (155)
【Ｆターム（参考）】
【公開日】平成１４年１０月４日（２００２．１０．４）
【国際特許分類】
【出願日】平成１３年３月２６日（２００１．３．２６）
【出願人】（０００００６０７９）ミノルタ株式会社 (155)
【Ｆターム（参考）】
[ Back to top ]