撮像装置、撮像方法、およびプログラム
【課題】ＨＤＲ効果と特殊効果の双方の効果が適切に付加された画像を生成することが可能な撮像装置、撮像方法、およびプログラムを提供する。
【解決手段】異なる露出条件で複数の画像データを取得し（Ｓ６１〜Ｓ６５）、複数の画像データの少なくとも１枚の画像データに対して合成前処理を行い（Ｓ８１）、複数の画像データを合成しダイナミックレンジを広げたＨＤＲ画像データを生成し（Ｓ８７）、ＨＤＲ画像データに対して特殊効果を適用する（Ｓ８９）。
【解決手段】異なる露出条件で複数の画像データを取得し（Ｓ６１〜Ｓ６５）、複数の画像データの少なくとも１枚の画像データに対して合成前処理を行い（Ｓ８１）、複数の画像データを合成しダイナミックレンジを広げたＨＤＲ画像データを生成し（Ｓ８７）、ＨＤＲ画像データに対して特殊効果を適用する（Ｓ８９）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮影画像等を合成しダイナミックレンジを広げると共に特殊効果処理を施した画像を生成可能な撮像装置、撮像方法、およびプログラムに関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置を用いて撮影する際、日中の屋外等の撮影シーンにおいて、撮影可能な輝度レンジよりも撮影シーンの輝度レンジが広い場合がある。このような場合には、撮影可能な輝度レンジ外の階調特性については階調情報を記録することができないために、白飛び・黒潰れといった現象が発生してしまう。この問題を解決するために、特許文献１に開示の画像処理装置においては、階調の異なる複数の画像を撮影し、この複数の画像を合成することにより、単体の画像では再現できない階調特性を再現するＨＤＲ（High Dynamic Range）効果技術が示されている。
【０００３】
また、特許文献２に開示の特殊効果を持つ電子カメラにおいては、撮影した画像データの高輝度部にクロス等のパターンを描画する特殊効果や、画像のエッジ部を抽出しエッジ部を強調することでエッジ部を線で縁取ったようにする特殊効果や、周辺を減光する特殊効果など、様々な特殊効果を適用した画像を生成することが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−００４３５３号公報
【特許文献２】特開平６−０３０３７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述のＨＤＲ効果と、上記特殊効果を同時に適用した画像を生成する場合、例えば先に特殊効果を適用した複数の画像を生成し、この複数の画像を用いてＨＤＲ効果画像を生成する方法と、先にＨＤＲ効果画像を生成し、このＨＤＲ効果画像に特殊効果を適用することが考えられる。
【０００６】
前者の方法では、ＨＤＲ効果による階調特性の変更により、クロス等のバターンを描画する特殊効果や周辺を減光する特殊効果などでは、適用した効果が著しく変化する場合がある。また、後者の方法では、ＨＤＲ効果によって画像本来の階調特性や色情報が失われてしまう場合があり、上述したような特殊効果を実現するために必要な情報を正確に取得できない場合がある。
【０００７】
本発明は、このような事情を鑑みてなされたものであり、ＨＤＲ効果と特殊効果の双方の効果が適切に付加された画像を生成することが可能な撮像装置、撮像方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため第１の発明に係わる撮像装置は、画像データを取得する撮像部と、上記撮像部での撮像時間を制御する露出制御部と、上記撮像部で得た画像の少なくとも１枚の画像データに対して合成前処理を行う合成前処理部と、上記撮像部で得た複数の画像データを合成しダイナミックレンジを広げたＨＤＲ画像データを生成するＨＤＲ合成処理部と、上記ＨＤＲ画像データに対して特殊効果を適用する特殊効果処理部と、を具備する。
【０００９】
第２の発明に係わる撮像装置は、上記第１の発明において、上記合成前処理部は、ＨＤＲ合成前の画像データから特徴量を抽出する特徴量抽出部を含み、上記特殊効果処理部は上記特徴量抽出部で抽出された上記特徴量に基づき、上記ＨＤＲ画像データに対して特殊効果を適用する。
【００１０】
第３の発明に係わる撮像装置は、上記第２の発明において、上記特徴量抽出部は、上記複数の画像データにおけるいずれか１つの画像データから特徴量を抽出する。
第４の発明に係わる撮像装置は、上記第３の発明において、上記ＨＤＲ合成処理部は、上記特徴量抽出部において上記特徴量の抽出を行った画像データに対して合成処理における画像位置の位置合わせを行う。
【００１１】
第５の発明に係わる撮像装置は、上記第３の発明において、上記特徴量抽出は、上記撮像部で取得した画像データの中で最も露光時間が短い時間で撮影された画像データから高輝度点の座標位置を取得し、上記特殊効果処理部は、上記ＨＤＲ画像データにおいて、上記座標位置に対応する位置にパターンを描画する。
【００１２】
第６の発明に係わる撮像装置は、上記第５の発明において、上記ＨＤＲ画像データから上記特徴量抽出部によって検出した高輝度点の座標位置に対応する位置近傍の色情報を検索するＨＤＲ合成後処理部を更に有し、上記特徴量抽出部は、さらに上記高輝度点の明るさを取得し、上記特殊効果処理部は、上記ＨＤＲ画像データにおいて、上記座標位置に対応する位置に上記色情報と上記明るさに基づくパターンを描画する。
第７の発明に係わる撮像装置は、上記第５および第６の発明において、上記パターンは、クロスパターンである。
【００１３】
第８の発明に係わる撮像装置は、上記第２および第３の発明において、上記特徴量抽出部は、画像データにおけるエッジ成分を抽出し、上記特殊効果処理部は、上記ＨＤＲ画像データに対し上記エッジ成分を合成する。
【００１４】
第９の発明に係わる撮像装置は、上記第２および第３の発明において、上記特徴量抽出部は、画像データにおける特定の色が分布している領域情報を抽出し、上記特殊効果処理部は、上記ＨＤＲ画像データに対し上記領域情報に該当する領域以外の領域の色を変更する。
【００１５】
第１０の発明に係わる撮像装置は、上記第１の発明において、上記合成前処理部は、撮影時のレンズシェーディングを補正するシェーディング補正部を含み、上記ＨＤＲ合成処理部は、上記シェーディング補正部によってシェーディング補正された複数の画像データを用いて上記ＨＤＲ画像データを生成し、上記特殊効果処理部は、上記ＨＤＲ画像データに対し上記レンズシェーディングに依存しない特性のシェーディングを付与する。
【００１６】
第１１の発明に係わる画像処理方法は、異なる露出条件で複数の画像データを取得し、上記複数の画像データの少なくとも１枚の画像データに対して合成前処理を行い、上記複数の画像データを合成しダイナミックレンジを広げたＨＤＲ画像データを生成し、上記ＨＤＲ画像データに対して特殊効果を適用する。
【００１７】
第１２の発明に係わるプログラムは、異なる露出条件で取得した複数の画像データを記憶するステップと、上記複数の画像データの少なくとも１枚の画像データに対して合成前処理を行うステップと、上記複数の画像データを合成しダイナミックレンジを広げたＨＤＲ画像データを生成するステップと、上記ＨＤＲ画像データに対して特殊効果を適用するステップと、をコンピュータに実行させる。
【発明の効果】
【００１８】
本発明によれば、ＨＤＲ効果処理前の画像を用いて特殊効果処理に必要となる合成前処理を行い、ＨＤＲ効果処理後の画像に対して特殊効果を適用するようにしたので、ＨＤＲ効果と特殊効果の双方の効果が適切に付加された画像を生成することが可能な撮像装置、撮像方法、およびプログラムを提供することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施形態に係わるカメラの主として電気系の全体構成を示すブロック図である。
【図２】本発明の一実施形態に係わるカメラのメインフローを示すフローチャートである。
【図３】本発明の一実施形態に係わるカメラのメインフローを示すフローチャートである。
【図４】本発明の一実施形態に係わるカメラのＨＤＲモード撮影の動作を示すフローチャートである。
【図５】本発明の一実施形態に係わるカメラのＨＤＲ・特殊画像処理の動作を示すフローチャートである。
【図６】本発明の一実施形態に係わるカメラの画像処理の動作を示すフローチャートである。
【図７】本発明の一実施形態に係わるカメラにおいて、クロスパターン効果を施した画像の例を示す。
【図８】本発明の一実施形態に係わるカメラにおいて、顔認識を行い、クロスパターン効果を施した画像の例を示す。
【図９】本発明の一実施形態に係わるカメラにおいて、線画特殊効果を施した画像の例を示す。
【図１０】本発明の一実施形態に係わるカメラにおいて、周辺減光特殊効果を施した画像の例を示す。
【図１１】本発明の一実施形態に係わるカメラにおいて、スポットカラー効果を施した画像の例を示す。
【図１２】本発明の一実施形態に係わるカメラのＨＤＲモード撮影の動作の変形例を示すフローチャートである。
【図１３】本発明の一実施形態に係わるカメラのＨＤＲ・特殊画像処理の動作の変形例を示すフローチャートである。
【発明を実施するための形態】
【００２０】
以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。本発明の好ましい一実施形態に係わるカメラは、デジタルカメラであり、撮像素子１０３等を含む撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体の背面に配置したＬＣＤ１３５からなる表示部にライブビュー表示する。撮影者はライブビュー表示を観察することにより、構図やシャッタチャンスを決定する。レリーズ釦の操作時には、静止画画像データが記録媒体１３１に記録され、また動画釦の操作時には動画画像データが記録媒体に記録される。
【００２１】
また、ユーザの設定により、撮影モードとしてＨＤＲモードが設定されている場合には、露出条件の異なる複数の画像データを取得し、この複数の画像データを用いて、ダイナミックレンジを広げたＨＤＲ画像を合成する。また、ユーザの設定により、クロスフィルタ効果、線画効果、シェーディング効果、スポットカラー効果等の特殊効果モードが設定されている場合には、取得した画像データに対して、これらの画像処理を施す。さらに、ＨＤＲモードと特殊効果モードの両方が設定されている場合には、ＨＤＲ効果処理前の画像を用いて特殊効果処理に必要となる合成前処理を行い、ＨＤＲ効果処理後の画像に対して特殊効果を適用することで、ＨＤＲ効果と特殊効果の双方の効果が適切に付加された画像を合成する。
【００２２】
図１は、本発明の一実施形態に係わるカメラの主として電気的構成を示すブロック図である。このカメラは、カメラ本体１００と、これに脱着可能な交換式レンズ２００とから構成される。なお、本実施形態においては、撮影レンズは交換レンズ式としたが、これに限らず、カメラ本体に撮影レンズが固定されるタイプのデジタルカメラであっても勿論かまわない。
【００２３】
交換式レンズ２００は、撮影レンズ２０１、絞り２０３、ドライバ２０５、マイクロコンピュータ２０７、フラッシュメモリ２０９から構成され、後述するカメラ本体１００との間にインターフェース（以後、Ｉ／Ｆと称す）３００を有する。
【００２４】
撮影レンズ２０１は、被写体像を形成するための複数の光学レンズから構成され、単焦点レンズまたはズームレンズである。この撮影レンズ２０１の光軸の後方には、絞り２０３が配置されており、絞り２０３は口径が可変であり、撮影レンズ２０１を通過した被写体光束の光量を制限する。また、撮影レンズ２０１はドライバ２０５によって光軸方向に移動可能であり、マイクロコンピュータ２０７からの制御信号に基づいて、撮影レンズ２０１のピント位置が制御され、ズームレンズの場合には、焦点距離も制御される。また、ドライバ２０５は、絞り２０３の口径の制御も行う。
【００２５】
ドライバ２０５に接続されたマイクロコンピュータ２０７は、Ｉ／Ｆ３００およびフラッシュメモリ２０９に接続されている。マイクロコンピュータ２０７は、フラッシュメモリ２０９に記憶されているプログラムに従って動作し、後述するカメラ本体１００内のマイクロコンピュータ１２１と通信を行い、マイクロコンピュータ１２１からの制御信号に基づいて交換式レンズ２００の制御を行う。
【００２６】
フラッシュメモリ２０９には、前述したプログラムの他、交換式レンズ２００の光学的特性や調整値等の種々の情報が記憶されている。交換レンズ２００の光学的特性としては、例えば、焦点距離情報、開放絞り値、シェーディング情報等がある。Ｉ／Ｆ３００は、交換式レンズ２００内のマイクロコンピュータ２０７とカメラ本体１００内のマイクロコンピュータ１２１の相互間の通信を行うためのインターフェースである。
【００２７】
カメラ本体１００内であって、撮影レンズ２０１の光軸上には、メカシャッタ１０１が配置されている。このメカシャッタ１０１は、被写体光束の通過時間を制御し、公知のフォーカルプレーンシャッタ等が採用される。このメカシャッタ１０１の後方であって、撮影レンズ２０１によって被写体像が形成される位置には、撮像素子１０３が配置されている。
【００２８】
撮像素子１０３は、撮影レンズ２０１によって形成された被写体像の画像データを取得する撮像部として機能する。撮像素子１０３は、各画素を構成するフォトダイオードが二次元的にマトリックス状に配置されており、各フォトダイオードは受光量に応じた光電変換電流を発生し、この光電変換電流は各フォトダイオードに接続するキャパシタによって電荷蓄積される。各画素の前面には、ベイヤ―配列のＲＧＢフィルタが配置されている。なお、撮像素子１０３はベイヤ配列に限定されず、例えばＦｏｖｉｏｎのような形式でも勿論かまわない。また、撮像素子１０３は電子シャッタを有しており、電気的に撮像時間を制御する露出制御部としても機能する。
【００２９】
撮像素子１０３はアナログ処理部１０５に接続されており、このアナログ処理部１０５は、撮像素子１０３から読み出した光電変換信号（アナログ画像信号）に対し、リセットノイズ等を低減した上で波形整形を行い、さらに適切な輝度になるようにゲインアップを行う。アナログ処理部１０５はＡ／Ｄ変換部１０７に接続されており、このＡ／Ｄ変換部１０７は、アナログ画像信号をアナログ―デジタル変換し、デジタル画像信号（以後、画像データという）をバス１１０に出力する。なお、本明細書においては、画像処理部１０９において画像処理される前の生の画像データをＲＡＷデータと称する。
【００３０】
バス１１０は、カメラ本体１００の内部で読み出され若しくは生成された各種データをカメラ本体１００の内部に転送するための転送路である。バス１１０には、前述のＡ／Ｄ変換部１０７の他、画像処理部１０９、ＡＥ（Auto Exposure）処理部１１１、ＡＦ（Auto Focus）処理部１１３、ＨＤＲ合成処理部１１５、画像圧縮展開部１１７、マイクロコンピュータ１２１、ＳＤＲＡＭ（Synchronous DRAM）１２７、メモリインターフェース（以後、メモリＩ／Ｆという）１２９、液晶ディスプレイ（以後、ＬＣＤという）ドライバ１３３が接続されている。
【００３１】
画像処理部１０９は、基本的な画像処理を行う基本画像処理部１０９ａと、特殊効果モード（アートフィルタとも言う）が設定された場合に特殊効果を施すための特殊画像処理部１０９ｂを有している。基本画像処理部１０９ａは、ＲＡＷデータに対して、オプティカルブラック（ＯＢ）減算処理、ホワイトバランス（ＷＢ）補正、ベイヤデータの場合に行う同時化処理、ガンマ・色再現処理、カラーマトリックス演算、ノイズリダクション（ＮＲ）処理、エッジ強調処理等を行う。また、基本画像処理部１０９ａは、上記ガンマ・色再現処理において、特殊効果モードに対応したガンマ補正（階調変換）を行う階調変換部として機能する。なお、色再現処理（色補正、彩度補正）についても特殊効果に対応した処理を行う。
【００３２】
また、特殊画像処理部１０９ｂは、後述するＨＤＲ合成処理部１１５によって生成されたＨＤＲ画像データに対して特殊効果を適用する特殊効果処理部としての機能を有する。具体的には、特殊画像処理部１０９ｂは、設定された特殊効果モードに応じて、クロスフィルタ効果付加、線画効果、シェーディング付加、スポットカラー効果等の種々の視覚的な特殊効果を付与する特殊画像処理を行う。これらの種々の画像処理を行うために、画像処理部１０９は、ＳＤＲＡＭ１２７に一時記憶された画像データを読出し、この画像データに対して画像処理を施し、画像処理を施した画像データをバス１１０に出力する。
【００３３】
画像処理部１０９は、撮像部として機能する撮像素子１０３から得た複数の画像データの少なくとも１枚の画像データに対して合成前処理を行う合成前処理部としての機能を有する。また、画像処理部１０９は、合成前処理部の機能として、さらにＨＤＲ合成前の少なくとも１つの画像データから特徴量を抽出する特徴量抽出部としての機能も果たし、この抽出された特徴量に基づいて特殊画像処理部１０９ｂは、ＨＤＲ画像データに対して特殊効果を適用する。
【００３４】
特徴量については、詳しくは後述するが、クロスパターン描画の場合には、高輝度点情報であり、線画効果の場合にはエッジ成分の抽出であり、スポットカラー効果の場合には色を残す領域等である。特徴量抽出部は複数の画像データのおけるいずれか１つの画像データから特徴量を抽出する。合成前処理部は、撮影時のレンズシェーディングを補正するシェーディング補正部としての機能を有する。なお、本実施形態においては、合成前処理部は、画像処理部１０９の機能として説明したが、画像処理部１０９と別に設けてもよく、また画像処理部１０９やマイクロコンピュータ１２１等が共同して機能するようにしてもよい。
【００３５】
ＡＥ処理部１１１は、バス１１０を介して入力した画像データに基づいて被写体輝度を測定し、この被写体輝度情報を、バス１１０を介してマイクロコンピュータ１２１に出力する。被写体輝度の測定のために専用の測光センサを設けても良いが、本実施形態においては、画像データに基づいて被写体輝度を算出する。
【００３６】
ＡＦ処理部１１３は、画像データから高周波成分の信号を抽出し、積算処理により合焦評価値を取得し、バス１１０を介してマイクロコンピュータ１２１に出力する。本実施形態においては、いわゆるコントラスト法によって撮影レンズ２０１のピント合わせを行う。
【００３７】
ＨＤＲ合成処理部１１５は、複数枚の画像データを合成し、ダイナミックレンジを広げ、高階調のＨＤＲ画像データを生成する。具体的には、撮影モードとして、ＨＤＲモードが設定された場合には、撮像部が露出条件を変えて複数の画像データを取得し、ＳＤＲＡＭ１２７に一時記憶する。ＨＤＲ合成処理部１１５は、一時記憶された複数の画像データを用いて、ＨＤＲ合成を行う。ＨＤＲ合成処理部１１５は、また、特徴量抽出部として機能する画像処理部１０９において特徴量の抽出を行った画像データに対して合成処理における画像位置の位置合わせを行う。
【００３８】
画像圧縮展開部１１７は、画像データの記録媒体１３１への記録時に、ＳＤＲＡＭ１２７から読み出した画像データを、静止画の場合にはＪＰＥＧ圧縮方式等、また動画の場合にはＭＰＥＧ等の各種圧縮方式に従って圧縮する。マイクロコンピュータ１２１は、ＪＰＥＧ画像データやＭＰＥＧ画像データに対して、ＪＰＥＧファイルやＭＰＯファイル、ＭＰＥＧファイルを構成するために必要なヘッダを付加してＪＰＥＧファイルやＭＰＯファイル、ＭＰＥＧファイルを作成し、この作成したファイルをメモリＩ／Ｆ１２９を介して記録媒体１３１に記録する。
【００３９】
また、画像圧縮展開部１１７は、画像再生表示用にＪＰＥＧ画像データやＭＰＥＧ画像データの伸張も行う。伸張にあたっては、記録媒体１３１に記録されているファイルを読み出し、画像圧縮展開部１１７において伸張処理を施した上で、伸張した画像データをＳＤＲＡＭ１２７に一時記憶する。なお、本実施形態においては、画像圧縮方式としては、ＪＰＥＧ圧縮方式やＭＰＥＧ圧縮方式を採用するが、圧縮方式はこれに限らずＴＩＦＦ、Ｈ．２６４等、他の圧縮方式でも勿論かまわない。
【００４０】
マイクロコンピュータ１２１は、このカメラ全体の制御部としての機能を果たし、カメラの各種シーケンスを総括的に制御する。マイクロコンピュータ１２１には、前述のＩ／Ｆ３００以外に、操作部１２３およびフラッシュメモリ１２５が接続されている。
【００４１】
操作部１２３は、電源釦、レリーズ釦、動画釦、再生釦、メニュー釦、十字釦、ＯＫ釦等、各種入力釦や各種入力キー等の操作部材を含み、これらの操作部材の操作状態を検知し、検知結果をマイクロコンピュータ１２１に出力する。マイクロコンピュータ１２１は、操作部１２３からの操作部材の検知結果に基づいて、ユーザの操作に応じた各種シーケンスを実行する。
【００４２】
電源釦は、当該デジタルカメラの電源のオン／オフを指示するための操作部材である。電源釦が押されると当該デジタルカメラの電源はオンとなり、再度、電源釦が押されると当該デジタルカメラの電源はオフとなる。
【００４３】
レリーズ釦は、半押しでオンになるファーストレリーズスイッチと、半押しから更に押し込み全押しとなるとオンになるセカンドレリーズスイッチからなる。マイクロコンピュータ１２１は、ファーストレリーズスイッチがオンとなると、ＡＥ動作やＡＦ動作等の撮影準備シーケンスを実行する。また、セカンドレリーズスイッチがオンとなると、メカシャッタ１０１等を制御し、撮像素子１０３等から被写体画像に基づく画像データを取得し、この画像データを記録媒体１３１に記録する一連の撮影シーケンスを実行して撮影を行う。
【００４４】
動画釦は、動画の撮影を開始させ、また終了させるための釦である。初期状態では動画未撮影状態であるので、この状態で動画釦を押すと動画の撮影を開始し、動画撮影中に動画釦を押すと、動画の撮影を終了する。従って、動画釦を押すたびに、動画の撮影開始と終了を交互に繰り返す。再生釦は、再生モードの設定と解除するための操作釦であり、再生モードが設定されると、記録媒体１３１から撮影画像の画像データを読み出し、ＬＣＤ１３５に撮影画像を再生表示する。
【００４５】
メニュー釦は、メニュー画面をＬＣＤ１３５に表示させるための操作釦である。メニュー画面上では、各種のカメラ設定を行うことができる。カメラ設定としては、特殊効果モード（アートフィルタとも言う）の設定がある。特殊効果としては、前述したように、クロスフィルタ効果付加、線画効果、シェーディング付加、スポットカラー効果等、種々の特殊効果が設定可能である。
【００４６】
また、メニュー画面上では、撮影モードとして、複数の画像を合成して輝度レンジの広い画像を生成するＨＤＲモードの設定も行うことができる。なお、本実施形態においては、特殊効果モードおよびＨＤＲモードをメニュー画面上で設定するようにしているが、専用の操作釦等、他の操作部材を設けるようにしても勿論かまわない。
【００４７】
フラッシュメモリ１２５は、マイクロコンピュータ１２１の各種シーケンスを実行するためのプログラムを記憶している。マイクロコンピュータ１２１はこのプログラムに基づいてカメラ全体の制御を行う。また、フラッシュメモリ１２５は、カラーマトリックス係数、ホワイトバランスモードに応じたＲゲインとＢゲイン、ガンマテーブル、露出条件決定テーブル等の種々の調整値を記憶している。これらの係数は、設定される特殊効果モードに応じて異なる値を記憶している。
【００４８】
ＳＤＲＡＭ１２７は、画像データ等の一時記憶用の電気的書き換え可能な揮発性メモリである。このＳＤＲＡＭ１２７は、Ａ／Ｄ変換部１０７から出力された画像データや、画像処理部１０９や画像圧縮展開部１１７等において処理された画像データを一時記憶する。前述したように、ＨＤＲモードが設定された場合には、撮像素子１０３から出力される露出条件の異なる複数の画像データが一時記憶される。
【００４９】
メモリＩ／Ｆ１２９は、記録媒体１３１に接続されており、画像データや画像データに添付されたヘッダ等のデータを、記録媒体１３１に書き込みおよび読出しの制御を行う。記録媒体１３１は、例えば、カメラ本体１００に着脱自在なメモリカード等の記録媒体であるが、これに限らず、カメラ本体１００に内蔵されたハードディスク等であっても良い。
【００５０】
ＬＣＤドライバ１３３は、ＬＣＤ１３５に接続されており、ＳＤＲＡＭ１２７や記録媒体１３１から読み出され、画像圧縮展開部１１７によって伸張された画像データに基づいて画像をＬＣＤ１３５において表示させる。ＬＣＤ１３５は、カメラ本体１００の背面等に配置された液晶パネルを含み、画像表示を行う。画像表示としては、撮影直後、記録される画像データを短時間だけ表示するレックビュー表示、記録媒体１３１に記録された静止画や動画の画像ファイルの再生表示、およびライブビュー表示等の動画表示が含まれる。なお、表示部としては、ＬＣＤに限らず、有機ＥＬ等、他の表示パネルを採用しても勿論かまわない。
【００５１】
次に、図２および図３に示すフローチャートを用いて、本実施形態におけるカメラのメイン処理について説明する。なお、図２ないし図６に示すフローチャートはフラッシュメモリ１２５に記憶されているプログラムに従ってマイクロコンピュータ１２１が実行する。
【００５２】
操作部１２３の内の電源釦が操作され、電源オンとなると、図２に示すメインフローが動作を開始する。動作を開始すると、まず、初期化を実行する（Ｓ１）。初期化としては、機械的初期化や各種フラグ等の初期化等の電気的初期化を行う。例えば、各種フラグの１つとして動画記録中かを示す記録中フラグをオフにリセットする。
【００５３】
初期化を行うと、次に、再生釦が押されたか否かを判定する（Ｓ３）。ここでは、操作部１２３内の再生釦の操作状態を検知し、判定する。この判定の結果、再生釦が押された場合には、再生モードを実行する（Ｓ５）。ここでは、記録媒体１３１から画像データを読み出し、ＬＣＤ１３５に静止画と動画の一覧を表示する。ユーザは十字釦を操作することにより、一覧の中から画像を選択し、ＯＫ釦により画像を確定する。画像が確定されると、ＬＣＤ１３５に画像が再生表示される。再生が終わると、ステップＳ３に戻る。
【００５４】
ステップＳ３における判定の結果、再生釦が押されていなかった場合には、次に、メニュー釦が操作されたか否かを判定する（Ｓ７）。ここでは、操作部１２３内のメニュー釦の操作状態を検知し、判定する。
【００５５】
ステップＳ７における判定の結果、メニュー釦が押された場合には、カメラ設定を行う（Ｓ９）。前述したように、種々のカメラ設定をメニュー画面で行うことができる。カメラ設定としては、例えば、撮影モードとして通常モードとＨＤＲモードの設定がある。撮影モードとしては、デフォルトとしては通常モードが設定されており、ユーザは、メニュー画面で、複数の画像を合成し輝度レンジの広い画像を得たい場合にはＨＤＲモードを設定すればよい。また、撮影モード以外にも、静止画記録モードとして、ＪＰＥＧ記録、ＪＰＥＧ＋ＲＡＷ記録、ＲＡＷ記録の設定を行うことができ、動画記録モードとして、Ｍｏｔｉｏｎ−ＪＰＥＧ記録、Ｈ．２６４記録等、種々のカメラ設定が可能である。カメラ設定を行うと、ステップＳ３に戻る。
【００５６】
ステップＳ７における判定の結果、メニュー釦が押されていなかった場合には、次に、動画釦が押されたか否かの判定を行う（Ｓ１１）。ここでは、操作部１２３内の動画釦の操作状態を検知し、判定する。
【００５７】
ステップＳ２５における判定の結果、動画釦が押された場合には、次に、記録中フラグの反転を行う（Ｓ１３）。前述したように、動画釦は押されるたびに、動画撮影開始と終了を交互に繰り返すので、このステップでは、記録中フラグがオフであった場合にはオンに、またオンであった場合にはオフに、記録中フラグを反転させる。
【００５８】
記録中フラグを反転させると、次に、動画記録中か否かの判定を行う（Ｓ１５）。記録中フラグが動画の記録状態を示しているので、このステップでは、記録中フラグがオンであるか否かの判定を行う。
【００５９】
ステップＳ１５における判定の結果、動画記録中であった場合には、動画ファイルの作成を行う（Ｓ１７）。動画釦が押され、記録中フラグを反転させた結果、動画記録中であることから、動画記録を開始したタイミングである。そこで、このステップでは、動画の記録用の新しい動画ファイルを生成する。
【００６０】
ステップＳ１７において動画ファイルを生成すると、またはステップＳ１５における判定の結果、動画記録中でなかった場合には、またはステップＳ１１における判定の結果、動画釦が押されていなかった場合には、次に、ステップＳ１５と同様に、動画記録中であるか否かの判定を行う（Ｓ２１）。
【００６１】
ステップＳ２１における判定の結果、動画記録中でなかった場合には、次に、レリーズ釦が半押しされたか否か、言い換えると、ファーストレリーズスイッチがオフからオンとなったか否かの判定を行う（Ｓ２３）。この判定は、レリーズ釦に連動するファーストレリーズスイッチの状態を操作部１２３によって検知し、この検知結果に基づいて行う。検知の結果、ファーストレリーズスイッチがオフからオンに遷移した場合には判定結果はＹｅｓとなり、一方、オン状態またはオフ状態が維持されている場合には、判定結果はＮｏとなる。
【００６２】
ステップＳ２３における判定の結果、レリーズ釦が半押しされ、オフからファーストレリーズに遷移した場合には、ＡＥ・ＡＦ動作を実行する（Ｓ２５）。ここでは、ＡＥ処理部１１１が、撮像素子１０３によって取得された画像データに基づいて被写体輝度を検出し、この被写体輝度に基づいて、適正露出となるシャッタ速度、絞り値等を算出する。
【００６３】
また、ＡＦ処理部１１３によって取得された合焦評価値がピーク値となるように、交換式レンズ２００内のマイクロコンピュータ２０７を介してドライバ２０５が撮影レンズ２０１のピント位置を移動させる。したがって、動画撮影を行っていない場合に、レリーズ釦が半押しされると、その時点で、撮影レンズ２０１のピント合わせを行う。
【００６４】
ステップＳ２３における判定の結果、レリーズ釦がオフからファーストレリーズに遷移しなかった場合には、次に、レリーズ釦が全押しされ、セカンドレリーズスイッチがオンになったか否かの判定を行う（Ｓ３１）。このステップでは、レリーズ釦に連動するセカンドレリーズスイッチの状態を操作部１２３によって検知し、この検知結果に基づいて判定を行う。
【００６５】
ステップＳ３１における判定の結果、レリーズ釦が全押しされ、セカンドレリーズスイッチがオンになった場合には、ＨＤＲモードか否かの判定を行う（Ｓ３３）。前述したように、ＨＤＲモードは、メニュー画面において設定されるので、ここでは、メニュー画面における設定状態に基づいて判定する。
【００６６】
ステップＳ３３における判定の結果、ＨＤＲモードでなかった場合には、通常撮影モードであることから、通常の静止画撮影を行う（Ｓ３５）。ここでは、ステップＳ２５において演算された絞り値で絞り２０３が制御され、また演算されたシャッタ速度でメカシャッタ１０１のシャッタ速度が制御される。そして、シャッタ速度に応じた露光時間が経過すると、撮像素子１０３から画像信号が読み出され、アナログ処理部１０５およびＡ／Ｄ変換部１０７によって処理された画像データがバス１１０に出力される。なお、本実施形態においては、シャッタ速度はメカシャッタ１０１によって制御していたが、撮像素子１０３の電子シャッタによってシャッタ速度の制御を行うようにしても勿論かまわない。
【００６７】
撮影を行うと、次に、画像処理を行う（Ｓ３９）。ここでは、ステップＳ３５において取得した画像データに対して、基本画像処理部１０９ａがオプティカルブラック（ＯＢ）減算、ホワイトバランス（ＷＢ）補正、同時化処理、カラーマトリックス演算、ガンマ変換、色補正等の画像処理を施す。この画像処理の詳細については、図６を用いて後述する。
【００６８】
一方、ステップＳ３３における判定の結果、ＨＤＲモードであった場合には、ＨＤＲモードにおける撮影を行う（Ｓ３７）。ここでは、階調の異なる複数の画像を撮影し、この複数の画像を合成することにより、輝度レンジの広いＨＤＲ画像を生成する。また、特殊効果モードが設定されている場合には、特殊効果を施し、かつ輝度レンジの広いＨＤＲ画像を生成する。このＨＤＲモード撮影の詳しい処理については、図４を用いて後述する。
【００６９】
ステップＳ３７においてＨＤＲモード撮影を行うと、またはステップＳ３９において画像処理を行うと、次に静止画記録を行う（Ｓ４１）。ここでは、ステップＳ３７またはＳ３９において画像処理を行った静止画の画像データを、メニュー画面において設定したＪＰＥＧ記録モード等の静止画記録モードに従い、画像圧縮展開部１１７において画像圧縮処理を行った後に、記録媒体１３１に記録を行う。
【００７０】
ステップＳ３１における判定の結果、レリーズ釦が全押しされていない場合には、またはステップＳ２１（図２参照）における判定の結果、動画記録中でなかった場合には、次に、ステップＳ３３と同様に、ＨＤＲモードか否かの判定を行う（Ｓ４３）。このステップＳ４３における判定を行う場合は、動画記録中（ステップＳ２１Ｙｅｓ）の場合か、またはライブビュー表示中（ステップＳ２１Ｎｏ→Ｓ２３Ｎｏ→Ｓ２７Ｎｏ）のいずれかである。
【００７１】
ステップＳ４３における判定の結果、ＨＤＲモードでなかった場合には、通常撮影時におけるライブビュー表示または動画記録中の場合である。まず、ＡＥ・ＡＦを行う（Ｓ４５）。ここでは、撮影レンズ２０１のピント合わせを行うと共に、被写体輝度を測光し、適正露光となる露出制御値の算出を行う。ライブビュー表示または動画記録用であることから、メカシャッタ１０１は開放したままとし、撮像素子１０３の電子シャッタによるシャッタ速度およびＩＳＯ感度、絞り値等の露出制御値の算出を行う。
【００７２】
ＡＥ・ＡＦを行うと、次に、電子シャッタによる撮影を行う（Ｓ４７）。ここでは、動画撮影用またはライブビュー表示用に撮像素子１０３によって画像データを取得する。この撮影にあたっては、ステップ４５において算出した露出条件に従って撮影を行う。
【００７３】
電子シャッタによる撮影を行うと、次に、画像処理を行う（Ｓ４９）。ここでは、取得した画像データに対して、動画用の画像処理を施す。ステップＳ４９における画像処理の詳しい動作については、図６を用いて後述する。
【００７４】
ステップＳ４３における判定の結果、ＨＤＲモードであった場合には、ステップＳ４５と同様に、ＡＥ・ＡＦを行う（Ｓ５１）。ＡＥ・ＡＦを行うと、次に、ステップＳ３７と同様に、ＨＤＲモード撮影を行う（Ｓ５３）。なお、ステップＳ３７は、静止画撮影におけるＨＤＲモード撮影であるのに対して、ステップＳ５３は、動画撮影（記録用またはライブビュー表示用）であるために、処理時間を考慮して、ＨＤＲ画像を得るために撮影する撮影枚数は、静止画の場合に比較して、少なくしている。このＨＤＲモード撮影の詳しい動作については、図４を用いて後述する。
【００７５】
ステップＳ５３においてＨＤＲモード撮影を行うと、またはステップＳ４９において画像処理を行うと、次に、ライブビュー表示を行う（Ｓ５５）。ここでは、ステップＳ４９またはＳ５３において処理された画像データを用いてＬＣＤ１３５にライブビュー表示を行う。動画記録中の場合には、撮影画像の確認を行うことができる。また、ＨＤＲモードが設定されている場合には、ステップＳ５３において生成されたＨＤＲ画像に基づいてライブビュー表示がなされる。同様に、特殊効果モードが設定されている場合には、特殊効果が施された画像がライブビュー表示される。なお、ライブビュー表示にあたって、特殊効果やＨＤＲ効果を付加する前の画像を表示するようにしても、勿論かまわない。
【００７６】
ライブビュー表示を行うと、次に、ステップＳ１５、Ｓ２１と同様に、動画記録中か否かの判定を行う（Ｓ５７）。この判定の結果、動画記録中であった場合には、動画記録を行う（Ｓ５９）。ここでは、ステップＳ１７において生成した動画ファイルに、通常撮影の場合には、ステップＳ４９において画像処理された画像データを圧縮処理し、またＨＤＲ撮影の場合には、ステップＳ５３において画像処理された画像データを圧縮処理し、記録媒体１３１に動画の画像データを記録する。この記録にあたっては、メニュー画面において設定した動画の記録モードに従って行う。
【００７７】
ステップＳ５９において動画記録を行うと、またはステップＳ５７における判定の結果、動画記録中でなかった場合には、またはステップＳ４１において静止画記録を行うと、またはステップＳ２５においてＡＥ・ＡＦを行うと、電源オフか否かの判定を行う（図２のＳ２７）。このステップでは、操作部１２３の電源釦が再度、押されたか否かを判定する。この判定の結果、電源オフではなかった場合には、ステップＳ３に戻る。一方、判定の結果、電源オフであった場合には、メインのフローの終了動作を行ったのち、メインフローを終了する。
【００７８】
このように本発明の一実施形態におけるメインフローにおいては、ＨＤＲモードが設定されている場合には、ステップＳ３７またはＳ５３におけるＨＤＲモード撮影において複数の画像を取得し、輝度レンジの広いＨＤＲ画像を生成する。
【００７９】
次に、ステップＳ３７およびＳ５３におけるＨＤＲモード撮影の動作の詳細について、図４に示すフローチャートを用いて説明する。
【００８０】
ＨＤＲモードのフローに入ると、まず、露出条件の変更を行う（Ｓ６１）。前述したように、ＨＤＲモード撮影においては、露出条件の異なる複数の画像データを取得し、これらの画像データを用いて輝度レンジの広い画像を生成する。このステップでは、複数の異なる露出条件の撮影を行うために露出条件の変更を行う。
【００８１】
露出条件の変更として、ステップＳ３７における静止画撮影の際のＨＤＲモードの撮影の場合には、ステップＳ２５において取得した適正露光となる露出条件を基にし、静止画の１枚目は適正露出条件とし、２枚目は適正露光条件から１段分オーバーな露出条件とし、３枚目は適正露出条件から１段分アンダーな露出条件に変更する。また、ステップＳ５３における動画撮影の際のＨＤＲモードの撮影の場合には、ステップＳ５１において取得した適正露出条件を基準とし、動画の１枚目は適正露出条件から０．５段分オーバーな露出条件に、２枚目は適正露出上から０．５段アンダーな露出条件に変更する。
【００８２】
本実施形態においては、静止画の場合には３枚の撮影を行い、動画の場合には２枚の撮影を行っているが、この枚数は例示であり、これと異なる枚数としてもよい。また、処理時間を考慮して、動画の撮影枚数を静止画の場合よりも少なくしているが、処理時間が早い場合には、静止画と動画の撮影枚数を同数としても、勿論かまわない。
【００８３】
ステップＳ６１において、露出条件の変更を行うと、次に、撮影を行う（Ｓ６３）。ここでは、ステップＳ６１において設定した露出条件で撮影を行う。露出条件の内のシャッタ速度は、撮像素子１０３の電子シャッタまたはメカシャッタ１０１で制御を行う。ただし、動画記録時またはライブビュー表示時には、メカシャッタ１０１による制御は困難であることから、電子シャッタによる制御を行う。露光時間が経過すると、画像データ（ベイヤデータ）を読出し、ＳＤＲＡＭ１２７に一時記憶する。
【００８４】
撮影を行うと、次に、ＨＤＲモード撮影終了か否かの判定を行う（Ｓ６５）。ここでは、ＨＤＲモードとして必要な撮影枚数の全てを完了したか否かを判定する。本実施形態における例では、静止画の場合には３枚であり、動画（ライブビュー表示を含む）の場合には２枚である。この判定の結果、撮影終了でなかった場合には、ステップＳ６１に戻り、露出条件を変更して次の撮影を行う。この間、異なる露出条件で画像データが順次取得され、この取得された複数の画像データが順次ＳＤＲＡＭ１２７に一時記憶される。
【００８５】
ステップＳ６５における判定の結果、ＨＤＲモード撮影終了であった場合には、次に、特殊効果処理が有るか否かの判定を行う（Ｓ６７）。前述したように、クロスフィルタ効果、線画効果、シェーディング効果、スポットカラー効果等の特殊効果モードは、メニュー画面において設定するので、このステップにおいては、メニュー画面における設定に基づいて判定する。
【００８６】
ステップＳ６７における判定の結果、特殊効果処理がない場合には、画像処理を行う（Ｓ６９）。ここでは、ステップＳ６３における撮影において取得した複数の画像データ（ベイヤーデータ）の内の１つの画像データをＳＤＲＡＭ１２７から読出し、基本画像処理部１０９ａにおいてＯＢ減算、ＷＢ補正等の種々の画像処理を施し、ＹＣデータを生成する。ここでは、例えば、画像処理を行う画像ごとに輝度ガンマやＮＲのような画像処理パラメータを変えるようにしてもよい。
【００８７】
ステップＳ６９において画像処理を行うと、次に、全画像について画像処理が終了したか否かを判定する（Ｓ７１）。ステップＳ６５において撮影終了するまでに撮影した枚数の画像データについて、画像処理を行ったか否かを判定する。本実施形態においては、静止画の場合には３枚、動画の場合には２枚である。この判定の結果、全画像について処理が終わっていなかった場合には、ステップＳ６９に戻り、次の画像データ（ベイヤ―データ）を読出し、画像処理を施す。
【００８８】
ステップＳ７１における判定の結果、全画像について画像処理が終了すると、次に、ＨＤＲ合成を行う（Ｓ７３）。ここでは、ステップＳ６９において画像処理された複数の画像データを用いて、ＨＤＲ合成処理部１１５が、輝度レンジの広いＨＤＲ画像を生成する。これにより、階調特性が拡大した効果を有する画像が生成される。
【００８９】
ステップＳ６７における判定の結果、特殊効果処理が有る場合には、次にＨＤＲ・特殊画像処理を行う（Ｓ７５）。ここでは、ＳＤＲＡＭ１２７に一時記憶されている複数の画像データの内、少なくとも１枚の画像データに対して合成前処理を行い、ＳＤＲＡＭ１２７に一時記憶されている複数の画像データを合成しダイナミックレンジを広げたＨＤＲ画像データを生成し、この生成されたＨＤＲ画像データに対して特殊効果を適用する。このＨＤＲ・特殊画像処理の詳しい動作については、図５を用いて後述する。
【００９０】
ステップＳ７５におけるＨＤＲ・特殊画像処理を行うと、またはステップＳ７３におけるＨＤＲ合成を行うと、ＨＤＲモード撮影のフローを終了し、元のフローに戻る。
【００９１】
このように、本実施形態におけるＨＤＲモード撮影のフローにおいては、特殊効果処理がない場合には、複数の撮影を行った後、各画像に対して画像処理を行ってからＨＤＲ合成を行うようにしている。
【００９２】
次に、ステップＳ７５におけるＨＤＲ・特殊画像処理の動作の詳細について、図５に示すフローチャートを用いて説明する。
【００９３】
ＨＤＲ・特殊画像処理のフローに入ると、まず、ＨＤＲ合成前処理を行う（Ｓ８１）。ここでは、画像処理部１０９内の合成前処理部が、ＨＤＲ合成を行う前段階の少なくとも１枚の画像からデータを抽出し、または画像処理を施す等の前処理を行う。
【００９４】
例えば、特殊効果モードとしてクロスフィルタ効果が設定されている場合には、クロスパターンを施す位置やその周辺の色情報を検出するために画像データ内の検索を行う。ＨＤＲ合成後には、階調特性が変更されてしまい、適正な位置や色情報を検索することができなくなる。そこで、本実施形態においては、特徴量抽出部は、ＨＤＲ合成を行う前の画像データに基づいて、高輝度点の位置の検索を行い、高輝度点の明るさと色情報を取得する。特に、露出条件がもっとも低い画像データで行う方が高輝度部の階調特性が豊富に残っていて最適なため、検索対象とする基準画像はＨＤＲ用に撮影した複数の画像の中で露出条件がもっとも低く撮影された、例えば露光時間がもっとも短い時間で撮影された画像データとする。
【００９５】
また、特殊効果モードとして、例えば、線画効果が設定されている場合には、特徴量抽出部は、画像内のエッジ成分の抽出を行う。抽出する基準画像はＨＤＲ合成時に位置合わせを行う画像データとする。これによってＨＤＲ合成処理の画像に対してエッジ成分を合成した際に位置ズレが発生することがない。
【００９６】
また、特殊効果モードとして、例えば、周辺減光効果が設定されている場合には、撮影した全ての画像データに対してレンズシェーディング除去を行う。撮影レンズ２０１には光軸から離れた周辺の光量が低下するレンズシェーディング特性を有し、しかもレンズ機種ごとに異なった特性を有している。レンズシェーディングを除去しないままで周辺減光効果を付与すると、機種によって周辺の光量が極端に減少する場合がある。そこで、本実施形態においては、ＨＤＲ合成の前段階として、シェーディング補正部が、個々の画像データに対してレンズシェーディング除去を行うようにしている。なお、レンズシェーディング除去のためのデータは交換式レンズ２００から通信によって取得するが、撮影レンズが固定式の場合には、このデータをカメラ本体内に記憶しておけばよい。
【００９７】
また、特殊効果モードとして、例えば、スポットカラー効果が設定されている場合には、ユーザが指定した色彩を残す領域の抽出が必要である。この合成前処理において、特徴量抽出部が、抽出する基準画像として適正露出条件で撮影された画像データを選択し、領域を抽出する。なお、スポットカラー効果は、特定の領域のみ色彩を残し、特定領域以外は、特定の色、例えば無彩色とする特殊効果である。
【００９８】
ステップＳ８１においてＨＤＲ合成前処理を行うと、次に、ステップＳ６９と同様に、画像処理を行う（Ｓ８３）。ここでは、ステップＳ６３において取得した複数の画像データ（ベイヤーデータ）の内の１つの画像データをＳＤＲＡＭ１２７から読出し、基本画像処理部１０９ａにおいてＯＢ減算、ＷＢ補正等の種々の画像処理を施し、ＹＣデータを生成する。画像処理を行う画像ごとに輝度ガンマやＮＲのような画像処理パラメータを変えるようにしてもよい。
【００９９】
画像処理を行うと、次に、ステップＳ７１と同様に、全画像の画像処理が終了したか否かを判定する（Ｓ８５）。この判定の結果、全画像の画像処理が終了していなかった場合には、ステップＳ８３に戻り、次の画像データ（ベイヤ―データ）をＳＤＲＡＭ１２７から読出し、画像処理を施す。
【０１００】
ステップＳ８５における判定の結果、全画像について画像処理が終了した場合には、次に、ＨＤＲ合成を行う（Ｓ８７）。ここでは、ステップＳ８３において画像処理を行った複数の画像データを用いて、ＨＤＲ合成処理部１１５が輝度レンジの広い画像を生成し、階調特性が拡大する効果が生ずる。
【０１０１】
ＨＤＲ合成を行うと、次に、ＨＤＲ合成後特殊効果処理を行う（Ｓ８９）。ここでは、ＨＤＲ合成を行った画像データに対して、設定された特殊効果モードに従って、特殊画像処理部１０９ｂが特殊効果を施す。
【０１０２】
例えば、特殊効果モードとしてクロスフィルタ効果が設定されている場合には、特殊画像処理部１０９ｂが、ＨＤＲ合成前処理における画像データ内の高輝度部の位置とこの位置の明るさや周辺の色情報の検索結果に基づいて、ステップＳ８７において生成したＨＤＲ画像に対して、クロスパターンを描画し、このクロスパターンをＨＤＲ画像に重畳する。ＨＤＲ合成後の画像データを用いて、高輝度部の位置と周辺の色情報の検索を行うと、ＨＤＲ合成の影響で色情報が変更される場合があるが、ＨＤＲ合成前のデータを用いているために、ＨＤＲ合成による悪影響を除去することができる。
【０１０３】
また、特殊効果モードとして、例えば、線画効果が設定されている場合には、特殊効果処理部１０９ｂが、ＨＤＲ合成で生成されたＨＤＲ画像に対してぼかし効果を施し、ステップＳ８１において取得したＨＤＲ合成前のエッジ抽出結果を用いて、ぼかし効果を施した画像に対して太いエッジを位置合わせの上、重畳させることにより、線画効果を施す。
【０１０４】
また、特殊効果モードとして、例えば、周辺減光効果が設定されている場合には、シェーディング除去された複数の画像がステップＳ８７においてＨＤＲ合成されていることから、特殊効果処理部１０９ｂがこのＨＤＲ画像に対して周辺減光効果を施す。
【０１０５】
また、特殊効果モードとして、例えば、スポットカラー効果が設定されている場合には、特殊画像処理部１０９ｂが、ステップＳ８１における前処理で抽出した領域と、ＨＤＲ合成で生成されたＨＤＲ画像の位置合わせを行い、再度領域設定を行い、抽出した領域以外の色再現を無彩色とする特殊効果を施す。
【０１０６】
ＨＤＲ合成後特殊効果処理を行うと、元のフローに戻る。各特殊効果モードを設定した場合の画像効果については、図７ないし図１０を用いて後述する。
【０１０７】
このように、本実施形態におけるＨＤＲ特殊画像処理のフローにおいては、複数の画像データに対する画像処理（Ｓ８３）に先だって、ＨＤＲ合成前処理を行っている（Ｓ８１）。ＨＤＲ合成前処理としては、具体的には、予め高輝度位置やエッジ成分等の特徴量を求め、またシェーディング補正等の画像処理を施している。また複数の画像データを用いて、ＨＤＲ合成を行うと、予め求めた特徴量を用いて、ＨＤＲ画像に対して特殊効果を施すようにしている。このため、ＨＤＲ効果と特殊効果の双方の効果が適切に付加された画像を生成することができる。
【０１０８】
次に、ステップＳ３９、Ｓ４９、Ｓ６９、Ｓ８３における画像処理の動作の詳細について、図６に示すフローチャートを用いて説明する。
【０１０９】
画像処理のフローに入ると、まず、オプティカルブラック（ＯＢ）演算を行う（Ｓ１０１）。このステップでは、基本画像処理部１０９ａ内のＯＢ演算部によって、画像データを構成する各画素の画素値から、撮像素子１０３の暗電流等に起因するオプティカルブラック値をそれぞれ減算する。
【０１１０】
ＯＢ演算を行うと、次に、ホワイトバランス（ＷＢ）補正を行う（Ｓ１０３）。このステップでは、基本画像処理部１０９ａ内のＷＢ補正部によって、設定されているホワイトバランスモードに応じて、画像データに対してＷＢ補正を行う。具体的には、ベイヤ配列の画像データに対して、ユーザが設定したホワイトバランスモードに応じたＲゲインとＢゲインをカメラ本体のフラッシュメモリ１２５から読み出し、その値を乗じることで補正を行う。またはオートホワイトバランスの場合には、ＲＡＷデータからＲゲインおよびＢゲインを算出し、これらを用いて補正する。
【０１１１】
続いて、同時化処理を行う（Ｓ１０５）。このステップでは、ホワイトバランス補正を行った画像データに対して、基本画像処理部１０９ａ内の同時化処理部によって、各画素がＲＧＢデータで構成されるデータに変換する。具体的には、その画素にないデータを周辺から補間によって求め、ＲＧＢデータに変換する。
【０１１２】
同時化処理を行うと、次に、カラーマトリックス演算を行う（Ｓ１０７）。このステップでは、基本画像処理部１０９ａ内のカラーマトリックス演算部によって、画像データに対して設定されているホワイトバランスモードに応じたカラーマトリックス係数を乗じる線形変換を行って画像データの色を補正する。カラーマトリックス係数はフラッシュメモリ１２５に記憶されているので、読み出して使用する。
【０１１３】
カラーマトリックス演算を行うと、次に、ガンマ変換および色補正を行う（Ｓ１０９）。このステップでは、基本画像処理部１０９ａ内のガンマ処理部によって、フラッシュメモリ１２５に記憶されているガンマテーブルを読み出し、画像データに対してガンマ補正処理を行う。ガンマテーブルは、仕上がりの設定に応じて設計した値がフラッシュメモリ１２５に記憶されている。
【０１１４】
ガンマ変換および色補正を行うと、次に、エッジ強調を行う（Ｓ１１１）。このステップでは、ガンマ変換および色補正の行われた画像データに対して、基本画像処理部１０９ａ内のエッジ強調処理部が、バンドパスフィルタによりエッジ成分を抽出し、エッジ強調度に応じて係数を乗じて画像データに加算することにより、画像データのエッジを強調する。
【０１１５】
次にＮＲ（ノイズ除去）を行う（Ｓ１１３）。このステップでは、画像を周波数分解し、周波数に応じてコアリング処理等を行うことによりノイズを低減する。ＮＲ処理を行うと、画像処理のフローを終了し、元のフローに戻る。
【０１１６】
次に、特殊効果モードに応じた画像効果の例について、図７ないし図１１を用いて説明する。まず、特殊効果モードとしてクロスフィルタ効果が設定されている場合について、図７を用いて説明する。前述したように、クロスフィルタ効果は、高輝度点を検出し、検出された高輝度点の位置にクロスパターンを重畳させる特殊効果である。図７（ａ）は、ＨＤＲ合成前に、高輝度点を検出する際に使用する基準画像を示す。本実施形態においては、基準画像は最も低い露出で撮影された画像を用いる。最も低い露出で撮影されていることから、輝度の絶対値が高くないと高輝度点として検出されない。
【０１１７】
図７（ｂ）はＨＤＲ合成後の画像を示す。前述したように、本実施形態の静止画においては、適正露光の画像、１段分オーバーの画像、および１段分アンダーの画像の合計３枚、動画においては、適正より０．５段分オーバーの画像、および０．５段分アンダーの画像の合計２枚の画像を用いて、ＨＤＲ画像を合成している。
【０１１８】
図７（ｃ）は、図７（ｂ）に示したＨＤＲ画像に対して、図７（ａ）に示した基準画像から高輝度点を検出して、クロスパターンを重畳させた画像を示す。また、図７（ｄ）は図７（ｂ）に示したＨＤＲ合成を行った後のＨＤＲ画像から高輝度点を検出して、クロスパターンを重畳させた画像を示す。両者を対比すると分かるように、図７（ｄ）に示すＨＤＲ合成後に高輝度点を検出するやり方では、クロスパターンの数が過剰となってしまう。ＨＤＲ画像から高輝度点を検出すると、もともと輝度が高くない点についても高輝度点と判定するために、必要以上にクロスパターンが描画されてしまう。
【０１１９】
次に、クロスフィルタ効果の変形例として、被写体認識、例えば顔認識やペット動物認識と組み合わせた例について図８を用いて説明する。この例では、図１に示すブロック図において、画像データに基づいて、顔が存在するか否かを検出する顔検出部を設け、バス１１０に接続する。
【０１２０】
特殊効果モードとしてクロスフィルタ効果が設定されると、顔検出部によって顔があると判定された場合には、顔の領域にクロスパターンが重畳しないように制御する。顔認識機能は、適正露出で撮影された画像で最も認識性能が発揮されるように設計されているために、顔認識機能は、階調変換が行われる前であるＨＤＲ合成前処理において行うのが最適である。そのため、顔認識は、ＨＤＲ合成前の適正露出で撮影された画像を基準画像とし、また高輝度点検出はＨＤＲ合成前の最も低い露出で撮影された画像を基準画像とする。
【０１２１】
図８（ａ）は、ＨＤＲ合成前の適正露光で撮影され、顔認識検索の対象となる基準画像を示す。図８（ｂ）は、顔認識を行わず、高輝度点にクロスパターンを重畳させた例を示す。図８（ｂ）から分かるように、顔の部分にクロスパターンが重畳しており、クロスパターンが過剰な印象を与える画像となる。一方、図８（ｃ）は、顔認識を行い、顔の部分には、クロスパターンを重畳しないようにした画像を示す。クロスパターンが適正な位置に配置されている。なお、目、歯、眼鏡のように、反射しやすい部分はクロスパターンとの相性がよいことから、顔検出部がこれらの部分を検出した場合には、クロスパターンを重畳させるようにしてもよい。
【０１２２】
次に、特殊効果モードとして線画効果が設定されている場合について、図９を用いて説明する。線画効果では、前述したように、画像データからエッジ成分を抽出する必要がある。ＨＤＲ合成処理後のＨＤＲ画像に線画特殊効果を付加した場合に、エッジの位置ズレを発生させないようにするために、エッジを抽出する基準画像は、ＨＤＲ合成前のＨＤＲ合成の位置合わせの目標となる画像データとする。ＨＤＲ合成処理後のＨＤＲ画像は、ガンマ処理による階調変換やＨＤＲ合成処理での階調変換が行われるため、明部のエッジ部分が正確に抽出することができない。そこで、ステップＳ８１（図５参照）のＨＤＲ合成前処理において、ＨＤＲ合成前の画像を用いてエッジを抽出するようにしている。
【０１２３】
図９（ａ）〜（ｃ）は、ステップＳ６３（図４参照）において撮影した３枚の画像を示し、図９（ａ）は適正露光の画像、図９（ｂ）は１段分アンダーの画像、図９（ｃ）は１段分オーバーの画像である。図９（ｃ）は、図９（ａ）を基準画像として、ＨＤＲ合成処理前の位置合わせの基準画像からエッジ部を抽出し、このエッジ部を太く強調した線画を示す。
【０１２４】
図９（ｅ）は図９（ａ）〜（ｃ）に示した露出の異なる３枚の画像からＨＤＲ合成処理を行い生成したＨＤＲ画像を示す。図９（ｆ）は、図９（ｅ）に示したＨＤＲ画像に、図９（ｄ）に示した線画を重畳し、線画効果を付加した画像を示す。ＨＤＲ処理前の画像（図９（ａ）に示す画像）を用いて、エッジ部を抽出していることから、明部のエッジ成分を正確に抽出することができる。
【０１２５】
次に、特殊効果モードとして周辺減光効果が設定されている場合について、図１０を用いて説明する。周辺減光効果は、通常、レンズシェーディング＋周辺減光変更効果を合わせたシェーディングテーブルを作成し、このテーブルに従い周辺減光特殊効果を画像に付加することにより得ている。ＨＤＲ処理を行うと、レンズシェーディングは処理前とは異なることから、ＨＤＲ処理後に周辺減光効果を付加すると、周辺減光の効果量が安定しない。そこで、本実施形態においては、ＨＤＲ合成処理前にレンズシェーディングを除去し、除去した後に、ＨＤＲ合成処理を行い、周辺効果のみのシェーディングテーブルを作成し、周辺減光効果を付加するようにしている。このため、周辺減光の効果量を安定させることができる。
【０１２６】
図１０（ａ）は、適正露光で撮影された画像を示しており、この画像はレンズシェーディングによって周辺光量が減光している。図１０（ｂ）は、図１０（ａ）に示す画像においてレンズシェーディングを除去することなく、周辺減光効果を付加した画像を示す。図１０（ｃ）は、レンズシェーディングを除去しない複数の画像を用いて、ＨＤＲ合成処理を行い、さらに周辺減光効果を付加した画像を示す。レンズシェーディングと周辺減光効果の両方が重畳しているために、画面周辺の光量の落ち込みが大きい。
【０１２７】
図１０（ｄ）は、レンズシェーディングを除去した複数の画像を用いて、ＨＤＲ合成処理を行い、さらに周辺減光効果を付加した画像を示す。レンズシェーディングを除去していることから、１枚の画像で周辺減光効果を施した場合と同等の周辺減光効果を安定して付加することができる。
【０１２８】
次に、特殊効果モードとしてスポットカラー効果が設定されている場合について、図１１を用いて説明する。スポットカラー効果では、前述したように、ユーザが指定した色のみを残して残りの色は無彩色にする。ＨＤＲ合成を行うと、階調特性が変更されるに伴い色再現がＨＤＲ合成前の画像から変化することがある。そこで、本実施形態においては、ステップＳ８１（図５参照）のＨＤＲ合成前処理において、適正露出の画像を基準画像としてスポットカラー効果の色を残す領域を抽出しておくことにより、ＨＤＲ合成によって色再現が変化した場合であっても、ユーザが指定した色の領域を正確に残すことができるようにしている。
【０１２９】
図１１（ａ）は、適正露光で撮影された基準画像を示す。図１１（ｂ）は複数の画像を用いて生成されたＨＤＲ画像を示す。このＨＤＲ画像は、ＨＤＲ合成処理を行うことにより、色再現が少し変化している。図１１（ｃ）は、適正露光で撮影された基準画像の単体に対してスポットカラー効果を施した場合の画像を示す。本実施形態に示す例では、ユーザは家の屋根の部分をスポットカラー効果の色を残す領域として指定しており、この部分のみに色が残され、他の部分は無彩色になっている。
【０１３０】
図１１（ｄ）は、ＨＤＲ合成前処理において、ユーザの指定領域を抽出し、この抽出された領域を用いて、ＨＤＲ合成後にＨＤＲ画像から指定された領域（家の屋根の部分）の色を残し、他の領域を無彩色した様子を示す。ただし、ＨＤＲ画像は色再現が変化することにより、指定領域の色再現はオリジナルの色とは変化し、ＨＤＲ画像の色となっている。
【０１３１】
図１１（ｅ）は、ＨＤＲ合成処理後、ＨＤＲ画像からユーザ指定の色を抽出しようとした場合を示している。この場合には、ＨＤＲ合成により色再現が変化してしまった影響で、ユーザが指定した色がなくなり、全ての領域（ユーザが指定した家の屋根の部分を含む）が無彩色となってしまう。
【０１３２】
このように、ＨＤＲ合成前にユーザ指定の色の領域を抽出しておくことにより、ＨＤＲ画像に対してユーザが指定した色の領域を的確に残すことが可能となる。
【０１３３】
以上、説明したように、本発明の一実施形態においては、ＨＤＲモードが設定されると、撮像部で複数の画像を取得し、このうちの少なくとも１枚の画像データに対して合成前処理を行い、高輝度点、エッジ部等の特徴量の抽出を行い、複数の画像データを合成してダイナミックレンジを広げたＨＤＲ画像を生成し、このＨＤＲ画像に対して抽出した特徴量を用いて特殊効果を適用するようにしている。このため、ＨＤＲ効果と特殊効果の双方の効果が適切に付加された画像を得ることができる。
【０１３４】
また、本実施形態においては、ＨＤＲモードが設定されると、撮像部で複数の画像を取得し、レンズシェーディング補正処理等を行ってから、複数の画像データを合成してダイナミックレンジを広げたＨＤＲ画像を生成している。このため、ＨＤＲ効果と特殊効果の双方の効果が適切に付加された画像を得ることができる。
【０１３５】
次に、本実施形態の図４に示したＨＤＲモード撮影と、図５に示したＨＤＲ・特殊画像処理の変形例を図１２および図１３に示すフローチャートを用いて説明する。本発明の一実施形態においては、画像処理を行ってからＨＤＲ合成を行っていたが（図４のＳ６９およびＳ７３、図５のＳ８３およびＳ８７参照）、本変形例においては、ＨＤＲ合成を行ってから画像処理を行う点で相違している。
【０１３６】
図４に示したＨＤＲモード撮影のフローの変形例は図１２に示すフローが対応し、図５に示したＨＤＲ・特殊画像処理のフローの変形例は図１３に示すフローが対応する。なお、本変形例においても、フラッシュメモリ１２５に記憶されているプログラムに従ってマイクロコンピュータ１２１が実行する。また、本変形例においては、画像処理部１０９内にＨＤＲ画像データから特徴量抽出部によって検出した高輝度点の座標位置に対応する位置近傍の色情報を検索するＨＤＲ合成後処理部を有する。
【０１３７】
図１２に示すＨＤＲモード撮影のフローの内、複数の画像を得るステップＳ６１〜Ｓ６７は、図４に示したフローと同様であることから、詳しい説明を省略する。ステップＳ６７における特殊効果処理が有るか否かの判定の結果、特殊効果処理がない場合には、ＨＤＲ合成を行う（Ｓ７３）。ここでは、ステップＳ６３において取得した複数の画像データを用いて、ＨＤＲ合成処理部１１５がＨＤＲ合成を行う。一実施形態におけるステップＳ７３においては、基本画像処理部１０９ａによって画像処理されたＹＣデータを用いてＨＤＲ合成を行ったが、本変形例においては、複数の画像のベイヤデータを合成することにより、階調特性を拡大したＨＤＲ画像を合成する。
【０１３８】
ステップＳ７３においてＨＤＲ合成を行うと、次に、画像処理を行う（Ｓ７７）。ここでの画像処理は、図６に示したフローに沿って行う。但し、一実施形態における画像処理は、基本画像処理部１０９ａは複数の画像データ（ベイヤデータ）ごとに画像処理を行い、それぞれＹＣデータを出力していたが、本変形例においては、ステップＳ７３において生成された１つのベイヤデータのＨＤＲ画像のデータに対して画像処理を行う点で相違する。
【０１３９】
ステップＳ６７における判定の結果、特殊効果処理が有る場合には、ＨＤＲ・特殊画像処理を行う（Ｓ７９）。ここでは、先に各画像に対して前処理を行ってから、複数の画像を用いてＨＤＲ合成を行い、このＨＤＲ合成により取得したＨＤＲ画像に対して画像処理を行い、その後、特殊効果処理を施す。すなわち、一実施形態においては、複数の画像に対して先に画像処理を行ってからＨＤＲ合成を行っていたが、本変形例においては先に複数の画像を用いてＨＤＲ合成を行い、その後、画像処理を行い、特殊効果処理を行う点で相違呈している。このＨＤＲ・特殊画像処理の詳しい動作については、図１３を用いて後述する。
【０１４０】
ステップＳ７７において画像処理を行うと、またはステップＳ７９においてＨＤＲ・特殊画像処理を行うと、ＨＤＲモード撮影のフローを終了し、元のフローに戻る。
【０１４１】
次に、ステップＳ７９におけるＨＤＲ・特殊画像処理の動作の詳細について、図１３に示すフローチャートを用いて説明する。ＨＤＲ・特殊画像処理のフローに入ると、図５の場合と同様、まずＨＤＲ合成前処理を行う（Ｓ８１）。このステップにおける処理は、図５に示した一実施形態における処理と同様であることから、詳しい説明を省略する。
【０１４２】
ＨＤＲ合成前処理を行うと、次に、ステップＳ７３（図１２参照）と同様に、ＨＤＲ合成を行う（Ｓ９１）。ここでは、ステップＳ６３において取得した複数の画像データ（ベイヤデータ）を用いて、ＨＤＲ合成処理部１１５はＨＤＲ画像（ベイヤデータ）を生成する。これにより、階調特性が拡大した画像データを生成できる。
【０１４３】
ＨＤＲ合成を行うと、次にステップＳ７７（図１２参照）と同様に、画像処理を行う（Ｓ９３）。ここでは、前述したように、ＨＤＲ合成されたベイヤデータに対して、基本画像処理部１０９ａが、図６に示す画像処理のフローに沿って処理する。
【０１４４】
画像処理を行うと、次に、ＨＤＲ合成後処理を行う（Ｓ９５）。ここでは、画像処理部１０９内のＨＤＲ合成後処理部が、ＨＤＲ合成を行った後の段階で画像からデータを取得したり、画像データに対して処理等を行う。例えば、クロスパターンを描画する特殊効果では画像データ内の高輝度部周辺の色情報の検索が必要となる。ＨＤＲ合成によって色情報も変更されることもあるため、ＨＤＲ合成処理後の画像データから検索する方が理想的であることから、このステップで、検索を行う。
【０１４５】
ＨＤＲ合成後処理を行うと、次に、特殊効果処理を行う（Ｓ９７）。ここでは、設定された特殊効果モードに従った特殊効果処理を行う。例えば、クロスパターン効果が設定されている場合には、ステップＳ８１のＨＤＲ合成前処理において取得した高輝度点の情報と、ステップＳ９５のＨＤＲ合成後処理において取得した色情報を用いて、ステップＳ９１において取得されたＨＤＲ画像に対して、クロスパターンを重畳させる。線画効果、周辺減光効果、スポットカラー処理については、一実施形態におけるステップＳ８９における処理と同様であることから、詳しい説明は省略する。
【０１４６】
このように、本変形例においては、先にＨＤＲ合成を行ってから画像処理を実行するようにしている。このため、複数の画像データに対してそれぞれ画像処理を行う一実施形態に比較し、処理時間を短縮することが可能となる。
【０１４７】
以上説明したように、本発明の一実施形態や変形例においては、撮像部で得た画像の少なくとも１枚の画像データに対して合成前処理を行い、また複数の画像データを合成しダイナミックレンジを広げたＨＤＲ画像データを生成し、この生成されたＨＤＲ画像データに対して特殊効果を適用するようにしている。このため、ＨＤＲ効果と特殊効果の双方の効果が適切に付加された画像を生成することができる。
【０１４８】
なお、本発明の一実施形態や変形例においては、ＨＤＲ合成を行う前に合成前処理を行い特徴量の抽出等を行っていたが、この合成前処理は、必ずしもＨＤＲ合成前に行わなくてもよい。たとえば、ＨＤＲ合成中も複数の画像データを一時記憶しておき、ＨＤＲ合成後に合成前処理で特徴量の抽出等を行い、この特徴量を用いて、ＨＤＲ画像データに対して特殊効果を適用するようにしてもよい。これ以外にも、ＨＤＲ効果および特殊効果を施す順番は、実施形態における例以外にも適宜変更しても勿論かまわない。
【０１４９】
また、本発明の一実施形態や変形例においては、特殊効果として、クロスフィルタ効果付加、線画効果、シェーディング付加、スポットカラー効果を用いた例を挙げて説明したが、特殊効果としては、これ以外の効果についても本発明を適用することが可能である。
【０１５０】
また、本発明の一実施形態や変形例においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォーンや携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない。
【０１５１】
また、本発明の一実施形態や変形例には、カメラで撮像を行うと共に、ＨＤＲ効果と特殊効果を付与する画像処理を行っていた。しかし、カメラで撮像した複数の画像データをパーソナルコンピュータ等の画像処理装置に記憶させ、この複数の画像データに対して、ＨＤＲ効果と特殊効果を付与する画像処理を行うようにしても勿論かまわない。
【０１５２】
また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【０１５３】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【０１５４】
１００・・・カメラ本体、１０１・・・メカシャッタ、１０３・・・撮像素子、１０５・・・アナログ処理部、１０７・・・Ａ／Ｄ変換部、１０９・・・画像処理部、１０９ａ・・・基本画像処理部、１０９ｂ・・・特殊画像処理部、１１０・・・バス、１１１・・・ＡＥ処理部、１１３・・・ＡＦ処理部、１１５・・・ＨＤＲ合成処理部、１１７・・・画像圧縮展開部、１２１・・・マイクロコンピュータ、１２３・・・操作部、１２５・・・フラッシュメモリ、１２７・・・ＳＤＲＡＭ、１２９・・・メモリＩ／Ｆ、１３１・・・記録媒体、１３３・・・ＬＣＤドライバ、１３５・・・ＬＣＤ、２００・・・交換式レンズ、２０１・・・撮影レンズ、２０３・・・絞り、２０５・・・ドライバ、２０７・・・マイクロコンピュータ、２０９・・・フラッシュメモリ、３００・・・Ｉ／Ｆ
【技術分野】
【０００１】
本発明は、複数の撮影画像等を合成しダイナミックレンジを広げると共に特殊効果処理を施した画像を生成可能な撮像装置、撮像方法、およびプログラムに関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置を用いて撮影する際、日中の屋外等の撮影シーンにおいて、撮影可能な輝度レンジよりも撮影シーンの輝度レンジが広い場合がある。このような場合には、撮影可能な輝度レンジ外の階調特性については階調情報を記録することができないために、白飛び・黒潰れといった現象が発生してしまう。この問題を解決するために、特許文献１に開示の画像処理装置においては、階調の異なる複数の画像を撮影し、この複数の画像を合成することにより、単体の画像では再現できない階調特性を再現するＨＤＲ（High Dynamic Range）効果技術が示されている。
【０００３】
また、特許文献２に開示の特殊効果を持つ電子カメラにおいては、撮影した画像データの高輝度部にクロス等のパターンを描画する特殊効果や、画像のエッジ部を抽出しエッジ部を強調することでエッジ部を線で縁取ったようにする特殊効果や、周辺を減光する特殊効果など、様々な特殊効果を適用した画像を生成することが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−００４３５３号公報
【特許文献２】特開平６−０３０３７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述のＨＤＲ効果と、上記特殊効果を同時に適用した画像を生成する場合、例えば先に特殊効果を適用した複数の画像を生成し、この複数の画像を用いてＨＤＲ効果画像を生成する方法と、先にＨＤＲ効果画像を生成し、このＨＤＲ効果画像に特殊効果を適用することが考えられる。
【０００６】
前者の方法では、ＨＤＲ効果による階調特性の変更により、クロス等のバターンを描画する特殊効果や周辺を減光する特殊効果などでは、適用した効果が著しく変化する場合がある。また、後者の方法では、ＨＤＲ効果によって画像本来の階調特性や色情報が失われてしまう場合があり、上述したような特殊効果を実現するために必要な情報を正確に取得できない場合がある。
【０００７】
本発明は、このような事情を鑑みてなされたものであり、ＨＤＲ効果と特殊効果の双方の効果が適切に付加された画像を生成することが可能な撮像装置、撮像方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため第１の発明に係わる撮像装置は、画像データを取得する撮像部と、上記撮像部での撮像時間を制御する露出制御部と、上記撮像部で得た画像の少なくとも１枚の画像データに対して合成前処理を行う合成前処理部と、上記撮像部で得た複数の画像データを合成しダイナミックレンジを広げたＨＤＲ画像データを生成するＨＤＲ合成処理部と、上記ＨＤＲ画像データに対して特殊効果を適用する特殊効果処理部と、を具備する。
【０００９】
第２の発明に係わる撮像装置は、上記第１の発明において、上記合成前処理部は、ＨＤＲ合成前の画像データから特徴量を抽出する特徴量抽出部を含み、上記特殊効果処理部は上記特徴量抽出部で抽出された上記特徴量に基づき、上記ＨＤＲ画像データに対して特殊効果を適用する。
【００１０】
第３の発明に係わる撮像装置は、上記第２の発明において、上記特徴量抽出部は、上記複数の画像データにおけるいずれか１つの画像データから特徴量を抽出する。
第４の発明に係わる撮像装置は、上記第３の発明において、上記ＨＤＲ合成処理部は、上記特徴量抽出部において上記特徴量の抽出を行った画像データに対して合成処理における画像位置の位置合わせを行う。
【００１１】
第５の発明に係わる撮像装置は、上記第３の発明において、上記特徴量抽出は、上記撮像部で取得した画像データの中で最も露光時間が短い時間で撮影された画像データから高輝度点の座標位置を取得し、上記特殊効果処理部は、上記ＨＤＲ画像データにおいて、上記座標位置に対応する位置にパターンを描画する。
【００１２】
第６の発明に係わる撮像装置は、上記第５の発明において、上記ＨＤＲ画像データから上記特徴量抽出部によって検出した高輝度点の座標位置に対応する位置近傍の色情報を検索するＨＤＲ合成後処理部を更に有し、上記特徴量抽出部は、さらに上記高輝度点の明るさを取得し、上記特殊効果処理部は、上記ＨＤＲ画像データにおいて、上記座標位置に対応する位置に上記色情報と上記明るさに基づくパターンを描画する。
第７の発明に係わる撮像装置は、上記第５および第６の発明において、上記パターンは、クロスパターンである。
【００１３】
第８の発明に係わる撮像装置は、上記第２および第３の発明において、上記特徴量抽出部は、画像データにおけるエッジ成分を抽出し、上記特殊効果処理部は、上記ＨＤＲ画像データに対し上記エッジ成分を合成する。
【００１４】
第９の発明に係わる撮像装置は、上記第２および第３の発明において、上記特徴量抽出部は、画像データにおける特定の色が分布している領域情報を抽出し、上記特殊効果処理部は、上記ＨＤＲ画像データに対し上記領域情報に該当する領域以外の領域の色を変更する。
【００１５】
第１０の発明に係わる撮像装置は、上記第１の発明において、上記合成前処理部は、撮影時のレンズシェーディングを補正するシェーディング補正部を含み、上記ＨＤＲ合成処理部は、上記シェーディング補正部によってシェーディング補正された複数の画像データを用いて上記ＨＤＲ画像データを生成し、上記特殊効果処理部は、上記ＨＤＲ画像データに対し上記レンズシェーディングに依存しない特性のシェーディングを付与する。
【００１６】
第１１の発明に係わる画像処理方法は、異なる露出条件で複数の画像データを取得し、上記複数の画像データの少なくとも１枚の画像データに対して合成前処理を行い、上記複数の画像データを合成しダイナミックレンジを広げたＨＤＲ画像データを生成し、上記ＨＤＲ画像データに対して特殊効果を適用する。
【００１７】
第１２の発明に係わるプログラムは、異なる露出条件で取得した複数の画像データを記憶するステップと、上記複数の画像データの少なくとも１枚の画像データに対して合成前処理を行うステップと、上記複数の画像データを合成しダイナミックレンジを広げたＨＤＲ画像データを生成するステップと、上記ＨＤＲ画像データに対して特殊効果を適用するステップと、をコンピュータに実行させる。
【発明の効果】
【００１８】
本発明によれば、ＨＤＲ効果処理前の画像を用いて特殊効果処理に必要となる合成前処理を行い、ＨＤＲ効果処理後の画像に対して特殊効果を適用するようにしたので、ＨＤＲ効果と特殊効果の双方の効果が適切に付加された画像を生成することが可能な撮像装置、撮像方法、およびプログラムを提供することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施形態に係わるカメラの主として電気系の全体構成を示すブロック図である。
【図２】本発明の一実施形態に係わるカメラのメインフローを示すフローチャートである。
【図３】本発明の一実施形態に係わるカメラのメインフローを示すフローチャートである。
【図４】本発明の一実施形態に係わるカメラのＨＤＲモード撮影の動作を示すフローチャートである。
【図５】本発明の一実施形態に係わるカメラのＨＤＲ・特殊画像処理の動作を示すフローチャートである。
【図６】本発明の一実施形態に係わるカメラの画像処理の動作を示すフローチャートである。
【図７】本発明の一実施形態に係わるカメラにおいて、クロスパターン効果を施した画像の例を示す。
【図８】本発明の一実施形態に係わるカメラにおいて、顔認識を行い、クロスパターン効果を施した画像の例を示す。
【図９】本発明の一実施形態に係わるカメラにおいて、線画特殊効果を施した画像の例を示す。
【図１０】本発明の一実施形態に係わるカメラにおいて、周辺減光特殊効果を施した画像の例を示す。
【図１１】本発明の一実施形態に係わるカメラにおいて、スポットカラー効果を施した画像の例を示す。
【図１２】本発明の一実施形態に係わるカメラのＨＤＲモード撮影の動作の変形例を示すフローチャートである。
【図１３】本発明の一実施形態に係わるカメラのＨＤＲ・特殊画像処理の動作の変形例を示すフローチャートである。
【発明を実施するための形態】
【００２０】
以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。本発明の好ましい一実施形態に係わるカメラは、デジタルカメラであり、撮像素子１０３等を含む撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体の背面に配置したＬＣＤ１３５からなる表示部にライブビュー表示する。撮影者はライブビュー表示を観察することにより、構図やシャッタチャンスを決定する。レリーズ釦の操作時には、静止画画像データが記録媒体１３１に記録され、また動画釦の操作時には動画画像データが記録媒体に記録される。
【００２１】
また、ユーザの設定により、撮影モードとしてＨＤＲモードが設定されている場合には、露出条件の異なる複数の画像データを取得し、この複数の画像データを用いて、ダイナミックレンジを広げたＨＤＲ画像を合成する。また、ユーザの設定により、クロスフィルタ効果、線画効果、シェーディング効果、スポットカラー効果等の特殊効果モードが設定されている場合には、取得した画像データに対して、これらの画像処理を施す。さらに、ＨＤＲモードと特殊効果モードの両方が設定されている場合には、ＨＤＲ効果処理前の画像を用いて特殊効果処理に必要となる合成前処理を行い、ＨＤＲ効果処理後の画像に対して特殊効果を適用することで、ＨＤＲ効果と特殊効果の双方の効果が適切に付加された画像を合成する。
【００２２】
図１は、本発明の一実施形態に係わるカメラの主として電気的構成を示すブロック図である。このカメラは、カメラ本体１００と、これに脱着可能な交換式レンズ２００とから構成される。なお、本実施形態においては、撮影レンズは交換レンズ式としたが、これに限らず、カメラ本体に撮影レンズが固定されるタイプのデジタルカメラであっても勿論かまわない。
【００２３】
交換式レンズ２００は、撮影レンズ２０１、絞り２０３、ドライバ２０５、マイクロコンピュータ２０７、フラッシュメモリ２０９から構成され、後述するカメラ本体１００との間にインターフェース（以後、Ｉ／Ｆと称す）３００を有する。
【００２４】
撮影レンズ２０１は、被写体像を形成するための複数の光学レンズから構成され、単焦点レンズまたはズームレンズである。この撮影レンズ２０１の光軸の後方には、絞り２０３が配置されており、絞り２０３は口径が可変であり、撮影レンズ２０１を通過した被写体光束の光量を制限する。また、撮影レンズ２０１はドライバ２０５によって光軸方向に移動可能であり、マイクロコンピュータ２０７からの制御信号に基づいて、撮影レンズ２０１のピント位置が制御され、ズームレンズの場合には、焦点距離も制御される。また、ドライバ２０５は、絞り２０３の口径の制御も行う。
【００２５】
ドライバ２０５に接続されたマイクロコンピュータ２０７は、Ｉ／Ｆ３００およびフラッシュメモリ２０９に接続されている。マイクロコンピュータ２０７は、フラッシュメモリ２０９に記憶されているプログラムに従って動作し、後述するカメラ本体１００内のマイクロコンピュータ１２１と通信を行い、マイクロコンピュータ１２１からの制御信号に基づいて交換式レンズ２００の制御を行う。
【００２６】
フラッシュメモリ２０９には、前述したプログラムの他、交換式レンズ２００の光学的特性や調整値等の種々の情報が記憶されている。交換レンズ２００の光学的特性としては、例えば、焦点距離情報、開放絞り値、シェーディング情報等がある。Ｉ／Ｆ３００は、交換式レンズ２００内のマイクロコンピュータ２０７とカメラ本体１００内のマイクロコンピュータ１２１の相互間の通信を行うためのインターフェースである。
【００２７】
カメラ本体１００内であって、撮影レンズ２０１の光軸上には、メカシャッタ１０１が配置されている。このメカシャッタ１０１は、被写体光束の通過時間を制御し、公知のフォーカルプレーンシャッタ等が採用される。このメカシャッタ１０１の後方であって、撮影レンズ２０１によって被写体像が形成される位置には、撮像素子１０３が配置されている。
【００２８】
撮像素子１０３は、撮影レンズ２０１によって形成された被写体像の画像データを取得する撮像部として機能する。撮像素子１０３は、各画素を構成するフォトダイオードが二次元的にマトリックス状に配置されており、各フォトダイオードは受光量に応じた光電変換電流を発生し、この光電変換電流は各フォトダイオードに接続するキャパシタによって電荷蓄積される。各画素の前面には、ベイヤ―配列のＲＧＢフィルタが配置されている。なお、撮像素子１０３はベイヤ配列に限定されず、例えばＦｏｖｉｏｎのような形式でも勿論かまわない。また、撮像素子１０３は電子シャッタを有しており、電気的に撮像時間を制御する露出制御部としても機能する。
【００２９】
撮像素子１０３はアナログ処理部１０５に接続されており、このアナログ処理部１０５は、撮像素子１０３から読み出した光電変換信号（アナログ画像信号）に対し、リセットノイズ等を低減した上で波形整形を行い、さらに適切な輝度になるようにゲインアップを行う。アナログ処理部１０５はＡ／Ｄ変換部１０７に接続されており、このＡ／Ｄ変換部１０７は、アナログ画像信号をアナログ―デジタル変換し、デジタル画像信号（以後、画像データという）をバス１１０に出力する。なお、本明細書においては、画像処理部１０９において画像処理される前の生の画像データをＲＡＷデータと称する。
【００３０】
バス１１０は、カメラ本体１００の内部で読み出され若しくは生成された各種データをカメラ本体１００の内部に転送するための転送路である。バス１１０には、前述のＡ／Ｄ変換部１０７の他、画像処理部１０９、ＡＥ（Auto Exposure）処理部１１１、ＡＦ（Auto Focus）処理部１１３、ＨＤＲ合成処理部１１５、画像圧縮展開部１１７、マイクロコンピュータ１２１、ＳＤＲＡＭ（Synchronous DRAM）１２７、メモリインターフェース（以後、メモリＩ／Ｆという）１２９、液晶ディスプレイ（以後、ＬＣＤという）ドライバ１３３が接続されている。
【００３１】
画像処理部１０９は、基本的な画像処理を行う基本画像処理部１０９ａと、特殊効果モード（アートフィルタとも言う）が設定された場合に特殊効果を施すための特殊画像処理部１０９ｂを有している。基本画像処理部１０９ａは、ＲＡＷデータに対して、オプティカルブラック（ＯＢ）減算処理、ホワイトバランス（ＷＢ）補正、ベイヤデータの場合に行う同時化処理、ガンマ・色再現処理、カラーマトリックス演算、ノイズリダクション（ＮＲ）処理、エッジ強調処理等を行う。また、基本画像処理部１０９ａは、上記ガンマ・色再現処理において、特殊効果モードに対応したガンマ補正（階調変換）を行う階調変換部として機能する。なお、色再現処理（色補正、彩度補正）についても特殊効果に対応した処理を行う。
【００３２】
また、特殊画像処理部１０９ｂは、後述するＨＤＲ合成処理部１１５によって生成されたＨＤＲ画像データに対して特殊効果を適用する特殊効果処理部としての機能を有する。具体的には、特殊画像処理部１０９ｂは、設定された特殊効果モードに応じて、クロスフィルタ効果付加、線画効果、シェーディング付加、スポットカラー効果等の種々の視覚的な特殊効果を付与する特殊画像処理を行う。これらの種々の画像処理を行うために、画像処理部１０９は、ＳＤＲＡＭ１２７に一時記憶された画像データを読出し、この画像データに対して画像処理を施し、画像処理を施した画像データをバス１１０に出力する。
【００３３】
画像処理部１０９は、撮像部として機能する撮像素子１０３から得た複数の画像データの少なくとも１枚の画像データに対して合成前処理を行う合成前処理部としての機能を有する。また、画像処理部１０９は、合成前処理部の機能として、さらにＨＤＲ合成前の少なくとも１つの画像データから特徴量を抽出する特徴量抽出部としての機能も果たし、この抽出された特徴量に基づいて特殊画像処理部１０９ｂは、ＨＤＲ画像データに対して特殊効果を適用する。
【００３４】
特徴量については、詳しくは後述するが、クロスパターン描画の場合には、高輝度点情報であり、線画効果の場合にはエッジ成分の抽出であり、スポットカラー効果の場合には色を残す領域等である。特徴量抽出部は複数の画像データのおけるいずれか１つの画像データから特徴量を抽出する。合成前処理部は、撮影時のレンズシェーディングを補正するシェーディング補正部としての機能を有する。なお、本実施形態においては、合成前処理部は、画像処理部１０９の機能として説明したが、画像処理部１０９と別に設けてもよく、また画像処理部１０９やマイクロコンピュータ１２１等が共同して機能するようにしてもよい。
【００３５】
ＡＥ処理部１１１は、バス１１０を介して入力した画像データに基づいて被写体輝度を測定し、この被写体輝度情報を、バス１１０を介してマイクロコンピュータ１２１に出力する。被写体輝度の測定のために専用の測光センサを設けても良いが、本実施形態においては、画像データに基づいて被写体輝度を算出する。
【００３６】
ＡＦ処理部１１３は、画像データから高周波成分の信号を抽出し、積算処理により合焦評価値を取得し、バス１１０を介してマイクロコンピュータ１２１に出力する。本実施形態においては、いわゆるコントラスト法によって撮影レンズ２０１のピント合わせを行う。
【００３７】
ＨＤＲ合成処理部１１５は、複数枚の画像データを合成し、ダイナミックレンジを広げ、高階調のＨＤＲ画像データを生成する。具体的には、撮影モードとして、ＨＤＲモードが設定された場合には、撮像部が露出条件を変えて複数の画像データを取得し、ＳＤＲＡＭ１２７に一時記憶する。ＨＤＲ合成処理部１１５は、一時記憶された複数の画像データを用いて、ＨＤＲ合成を行う。ＨＤＲ合成処理部１１５は、また、特徴量抽出部として機能する画像処理部１０９において特徴量の抽出を行った画像データに対して合成処理における画像位置の位置合わせを行う。
【００３８】
画像圧縮展開部１１７は、画像データの記録媒体１３１への記録時に、ＳＤＲＡＭ１２７から読み出した画像データを、静止画の場合にはＪＰＥＧ圧縮方式等、また動画の場合にはＭＰＥＧ等の各種圧縮方式に従って圧縮する。マイクロコンピュータ１２１は、ＪＰＥＧ画像データやＭＰＥＧ画像データに対して、ＪＰＥＧファイルやＭＰＯファイル、ＭＰＥＧファイルを構成するために必要なヘッダを付加してＪＰＥＧファイルやＭＰＯファイル、ＭＰＥＧファイルを作成し、この作成したファイルをメモリＩ／Ｆ１２９を介して記録媒体１３１に記録する。
【００３９】
また、画像圧縮展開部１１７は、画像再生表示用にＪＰＥＧ画像データやＭＰＥＧ画像データの伸張も行う。伸張にあたっては、記録媒体１３１に記録されているファイルを読み出し、画像圧縮展開部１１７において伸張処理を施した上で、伸張した画像データをＳＤＲＡＭ１２７に一時記憶する。なお、本実施形態においては、画像圧縮方式としては、ＪＰＥＧ圧縮方式やＭＰＥＧ圧縮方式を採用するが、圧縮方式はこれに限らずＴＩＦＦ、Ｈ．２６４等、他の圧縮方式でも勿論かまわない。
【００４０】
マイクロコンピュータ１２１は、このカメラ全体の制御部としての機能を果たし、カメラの各種シーケンスを総括的に制御する。マイクロコンピュータ１２１には、前述のＩ／Ｆ３００以外に、操作部１２３およびフラッシュメモリ１２５が接続されている。
【００４１】
操作部１２３は、電源釦、レリーズ釦、動画釦、再生釦、メニュー釦、十字釦、ＯＫ釦等、各種入力釦や各種入力キー等の操作部材を含み、これらの操作部材の操作状態を検知し、検知結果をマイクロコンピュータ１２１に出力する。マイクロコンピュータ１２１は、操作部１２３からの操作部材の検知結果に基づいて、ユーザの操作に応じた各種シーケンスを実行する。
【００４２】
電源釦は、当該デジタルカメラの電源のオン／オフを指示するための操作部材である。電源釦が押されると当該デジタルカメラの電源はオンとなり、再度、電源釦が押されると当該デジタルカメラの電源はオフとなる。
【００４３】
レリーズ釦は、半押しでオンになるファーストレリーズスイッチと、半押しから更に押し込み全押しとなるとオンになるセカンドレリーズスイッチからなる。マイクロコンピュータ１２１は、ファーストレリーズスイッチがオンとなると、ＡＥ動作やＡＦ動作等の撮影準備シーケンスを実行する。また、セカンドレリーズスイッチがオンとなると、メカシャッタ１０１等を制御し、撮像素子１０３等から被写体画像に基づく画像データを取得し、この画像データを記録媒体１３１に記録する一連の撮影シーケンスを実行して撮影を行う。
【００４４】
動画釦は、動画の撮影を開始させ、また終了させるための釦である。初期状態では動画未撮影状態であるので、この状態で動画釦を押すと動画の撮影を開始し、動画撮影中に動画釦を押すと、動画の撮影を終了する。従って、動画釦を押すたびに、動画の撮影開始と終了を交互に繰り返す。再生釦は、再生モードの設定と解除するための操作釦であり、再生モードが設定されると、記録媒体１３１から撮影画像の画像データを読み出し、ＬＣＤ１３５に撮影画像を再生表示する。
【００４５】
メニュー釦は、メニュー画面をＬＣＤ１３５に表示させるための操作釦である。メニュー画面上では、各種のカメラ設定を行うことができる。カメラ設定としては、特殊効果モード（アートフィルタとも言う）の設定がある。特殊効果としては、前述したように、クロスフィルタ効果付加、線画効果、シェーディング付加、スポットカラー効果等、種々の特殊効果が設定可能である。
【００４６】
また、メニュー画面上では、撮影モードとして、複数の画像を合成して輝度レンジの広い画像を生成するＨＤＲモードの設定も行うことができる。なお、本実施形態においては、特殊効果モードおよびＨＤＲモードをメニュー画面上で設定するようにしているが、専用の操作釦等、他の操作部材を設けるようにしても勿論かまわない。
【００４７】
フラッシュメモリ１２５は、マイクロコンピュータ１２１の各種シーケンスを実行するためのプログラムを記憶している。マイクロコンピュータ１２１はこのプログラムに基づいてカメラ全体の制御を行う。また、フラッシュメモリ１２５は、カラーマトリックス係数、ホワイトバランスモードに応じたＲゲインとＢゲイン、ガンマテーブル、露出条件決定テーブル等の種々の調整値を記憶している。これらの係数は、設定される特殊効果モードに応じて異なる値を記憶している。
【００４８】
ＳＤＲＡＭ１２７は、画像データ等の一時記憶用の電気的書き換え可能な揮発性メモリである。このＳＤＲＡＭ１２７は、Ａ／Ｄ変換部１０７から出力された画像データや、画像処理部１０９や画像圧縮展開部１１７等において処理された画像データを一時記憶する。前述したように、ＨＤＲモードが設定された場合には、撮像素子１０３から出力される露出条件の異なる複数の画像データが一時記憶される。
【００４９】
メモリＩ／Ｆ１２９は、記録媒体１３１に接続されており、画像データや画像データに添付されたヘッダ等のデータを、記録媒体１３１に書き込みおよび読出しの制御を行う。記録媒体１３１は、例えば、カメラ本体１００に着脱自在なメモリカード等の記録媒体であるが、これに限らず、カメラ本体１００に内蔵されたハードディスク等であっても良い。
【００５０】
ＬＣＤドライバ１３３は、ＬＣＤ１３５に接続されており、ＳＤＲＡＭ１２７や記録媒体１３１から読み出され、画像圧縮展開部１１７によって伸張された画像データに基づいて画像をＬＣＤ１３５において表示させる。ＬＣＤ１３５は、カメラ本体１００の背面等に配置された液晶パネルを含み、画像表示を行う。画像表示としては、撮影直後、記録される画像データを短時間だけ表示するレックビュー表示、記録媒体１３１に記録された静止画や動画の画像ファイルの再生表示、およびライブビュー表示等の動画表示が含まれる。なお、表示部としては、ＬＣＤに限らず、有機ＥＬ等、他の表示パネルを採用しても勿論かまわない。
【００５１】
次に、図２および図３に示すフローチャートを用いて、本実施形態におけるカメラのメイン処理について説明する。なお、図２ないし図６に示すフローチャートはフラッシュメモリ１２５に記憶されているプログラムに従ってマイクロコンピュータ１２１が実行する。
【００５２】
操作部１２３の内の電源釦が操作され、電源オンとなると、図２に示すメインフローが動作を開始する。動作を開始すると、まず、初期化を実行する（Ｓ１）。初期化としては、機械的初期化や各種フラグ等の初期化等の電気的初期化を行う。例えば、各種フラグの１つとして動画記録中かを示す記録中フラグをオフにリセットする。
【００５３】
初期化を行うと、次に、再生釦が押されたか否かを判定する（Ｓ３）。ここでは、操作部１２３内の再生釦の操作状態を検知し、判定する。この判定の結果、再生釦が押された場合には、再生モードを実行する（Ｓ５）。ここでは、記録媒体１３１から画像データを読み出し、ＬＣＤ１３５に静止画と動画の一覧を表示する。ユーザは十字釦を操作することにより、一覧の中から画像を選択し、ＯＫ釦により画像を確定する。画像が確定されると、ＬＣＤ１３５に画像が再生表示される。再生が終わると、ステップＳ３に戻る。
【００５４】
ステップＳ３における判定の結果、再生釦が押されていなかった場合には、次に、メニュー釦が操作されたか否かを判定する（Ｓ７）。ここでは、操作部１２３内のメニュー釦の操作状態を検知し、判定する。
【００５５】
ステップＳ７における判定の結果、メニュー釦が押された場合には、カメラ設定を行う（Ｓ９）。前述したように、種々のカメラ設定をメニュー画面で行うことができる。カメラ設定としては、例えば、撮影モードとして通常モードとＨＤＲモードの設定がある。撮影モードとしては、デフォルトとしては通常モードが設定されており、ユーザは、メニュー画面で、複数の画像を合成し輝度レンジの広い画像を得たい場合にはＨＤＲモードを設定すればよい。また、撮影モード以外にも、静止画記録モードとして、ＪＰＥＧ記録、ＪＰＥＧ＋ＲＡＷ記録、ＲＡＷ記録の設定を行うことができ、動画記録モードとして、Ｍｏｔｉｏｎ−ＪＰＥＧ記録、Ｈ．２６４記録等、種々のカメラ設定が可能である。カメラ設定を行うと、ステップＳ３に戻る。
【００５６】
ステップＳ７における判定の結果、メニュー釦が押されていなかった場合には、次に、動画釦が押されたか否かの判定を行う（Ｓ１１）。ここでは、操作部１２３内の動画釦の操作状態を検知し、判定する。
【００５７】
ステップＳ２５における判定の結果、動画釦が押された場合には、次に、記録中フラグの反転を行う（Ｓ１３）。前述したように、動画釦は押されるたびに、動画撮影開始と終了を交互に繰り返すので、このステップでは、記録中フラグがオフであった場合にはオンに、またオンであった場合にはオフに、記録中フラグを反転させる。
【００５８】
記録中フラグを反転させると、次に、動画記録中か否かの判定を行う（Ｓ１５）。記録中フラグが動画の記録状態を示しているので、このステップでは、記録中フラグがオンであるか否かの判定を行う。
【００５９】
ステップＳ１５における判定の結果、動画記録中であった場合には、動画ファイルの作成を行う（Ｓ１７）。動画釦が押され、記録中フラグを反転させた結果、動画記録中であることから、動画記録を開始したタイミングである。そこで、このステップでは、動画の記録用の新しい動画ファイルを生成する。
【００６０】
ステップＳ１７において動画ファイルを生成すると、またはステップＳ１５における判定の結果、動画記録中でなかった場合には、またはステップＳ１１における判定の結果、動画釦が押されていなかった場合には、次に、ステップＳ１５と同様に、動画記録中であるか否かの判定を行う（Ｓ２１）。
【００６１】
ステップＳ２１における判定の結果、動画記録中でなかった場合には、次に、レリーズ釦が半押しされたか否か、言い換えると、ファーストレリーズスイッチがオフからオンとなったか否かの判定を行う（Ｓ２３）。この判定は、レリーズ釦に連動するファーストレリーズスイッチの状態を操作部１２３によって検知し、この検知結果に基づいて行う。検知の結果、ファーストレリーズスイッチがオフからオンに遷移した場合には判定結果はＹｅｓとなり、一方、オン状態またはオフ状態が維持されている場合には、判定結果はＮｏとなる。
【００６２】
ステップＳ２３における判定の結果、レリーズ釦が半押しされ、オフからファーストレリーズに遷移した場合には、ＡＥ・ＡＦ動作を実行する（Ｓ２５）。ここでは、ＡＥ処理部１１１が、撮像素子１０３によって取得された画像データに基づいて被写体輝度を検出し、この被写体輝度に基づいて、適正露出となるシャッタ速度、絞り値等を算出する。
【００６３】
また、ＡＦ処理部１１３によって取得された合焦評価値がピーク値となるように、交換式レンズ２００内のマイクロコンピュータ２０７を介してドライバ２０５が撮影レンズ２０１のピント位置を移動させる。したがって、動画撮影を行っていない場合に、レリーズ釦が半押しされると、その時点で、撮影レンズ２０１のピント合わせを行う。
【００６４】
ステップＳ２３における判定の結果、レリーズ釦がオフからファーストレリーズに遷移しなかった場合には、次に、レリーズ釦が全押しされ、セカンドレリーズスイッチがオンになったか否かの判定を行う（Ｓ３１）。このステップでは、レリーズ釦に連動するセカンドレリーズスイッチの状態を操作部１２３によって検知し、この検知結果に基づいて判定を行う。
【００６５】
ステップＳ３１における判定の結果、レリーズ釦が全押しされ、セカンドレリーズスイッチがオンになった場合には、ＨＤＲモードか否かの判定を行う（Ｓ３３）。前述したように、ＨＤＲモードは、メニュー画面において設定されるので、ここでは、メニュー画面における設定状態に基づいて判定する。
【００６６】
ステップＳ３３における判定の結果、ＨＤＲモードでなかった場合には、通常撮影モードであることから、通常の静止画撮影を行う（Ｓ３５）。ここでは、ステップＳ２５において演算された絞り値で絞り２０３が制御され、また演算されたシャッタ速度でメカシャッタ１０１のシャッタ速度が制御される。そして、シャッタ速度に応じた露光時間が経過すると、撮像素子１０３から画像信号が読み出され、アナログ処理部１０５およびＡ／Ｄ変換部１０７によって処理された画像データがバス１１０に出力される。なお、本実施形態においては、シャッタ速度はメカシャッタ１０１によって制御していたが、撮像素子１０３の電子シャッタによってシャッタ速度の制御を行うようにしても勿論かまわない。
【００６７】
撮影を行うと、次に、画像処理を行う（Ｓ３９）。ここでは、ステップＳ３５において取得した画像データに対して、基本画像処理部１０９ａがオプティカルブラック（ＯＢ）減算、ホワイトバランス（ＷＢ）補正、同時化処理、カラーマトリックス演算、ガンマ変換、色補正等の画像処理を施す。この画像処理の詳細については、図６を用いて後述する。
【００６８】
一方、ステップＳ３３における判定の結果、ＨＤＲモードであった場合には、ＨＤＲモードにおける撮影を行う（Ｓ３７）。ここでは、階調の異なる複数の画像を撮影し、この複数の画像を合成することにより、輝度レンジの広いＨＤＲ画像を生成する。また、特殊効果モードが設定されている場合には、特殊効果を施し、かつ輝度レンジの広いＨＤＲ画像を生成する。このＨＤＲモード撮影の詳しい処理については、図４を用いて後述する。
【００６９】
ステップＳ３７においてＨＤＲモード撮影を行うと、またはステップＳ３９において画像処理を行うと、次に静止画記録を行う（Ｓ４１）。ここでは、ステップＳ３７またはＳ３９において画像処理を行った静止画の画像データを、メニュー画面において設定したＪＰＥＧ記録モード等の静止画記録モードに従い、画像圧縮展開部１１７において画像圧縮処理を行った後に、記録媒体１３１に記録を行う。
【００７０】
ステップＳ３１における判定の結果、レリーズ釦が全押しされていない場合には、またはステップＳ２１（図２参照）における判定の結果、動画記録中でなかった場合には、次に、ステップＳ３３と同様に、ＨＤＲモードか否かの判定を行う（Ｓ４３）。このステップＳ４３における判定を行う場合は、動画記録中（ステップＳ２１Ｙｅｓ）の場合か、またはライブビュー表示中（ステップＳ２１Ｎｏ→Ｓ２３Ｎｏ→Ｓ２７Ｎｏ）のいずれかである。
【００７１】
ステップＳ４３における判定の結果、ＨＤＲモードでなかった場合には、通常撮影時におけるライブビュー表示または動画記録中の場合である。まず、ＡＥ・ＡＦを行う（Ｓ４５）。ここでは、撮影レンズ２０１のピント合わせを行うと共に、被写体輝度を測光し、適正露光となる露出制御値の算出を行う。ライブビュー表示または動画記録用であることから、メカシャッタ１０１は開放したままとし、撮像素子１０３の電子シャッタによるシャッタ速度およびＩＳＯ感度、絞り値等の露出制御値の算出を行う。
【００７２】
ＡＥ・ＡＦを行うと、次に、電子シャッタによる撮影を行う（Ｓ４７）。ここでは、動画撮影用またはライブビュー表示用に撮像素子１０３によって画像データを取得する。この撮影にあたっては、ステップ４５において算出した露出条件に従って撮影を行う。
【００７３】
電子シャッタによる撮影を行うと、次に、画像処理を行う（Ｓ４９）。ここでは、取得した画像データに対して、動画用の画像処理を施す。ステップＳ４９における画像処理の詳しい動作については、図６を用いて後述する。
【００７４】
ステップＳ４３における判定の結果、ＨＤＲモードであった場合には、ステップＳ４５と同様に、ＡＥ・ＡＦを行う（Ｓ５１）。ＡＥ・ＡＦを行うと、次に、ステップＳ３７と同様に、ＨＤＲモード撮影を行う（Ｓ５３）。なお、ステップＳ３７は、静止画撮影におけるＨＤＲモード撮影であるのに対して、ステップＳ５３は、動画撮影（記録用またはライブビュー表示用）であるために、処理時間を考慮して、ＨＤＲ画像を得るために撮影する撮影枚数は、静止画の場合に比較して、少なくしている。このＨＤＲモード撮影の詳しい動作については、図４を用いて後述する。
【００７５】
ステップＳ５３においてＨＤＲモード撮影を行うと、またはステップＳ４９において画像処理を行うと、次に、ライブビュー表示を行う（Ｓ５５）。ここでは、ステップＳ４９またはＳ５３において処理された画像データを用いてＬＣＤ１３５にライブビュー表示を行う。動画記録中の場合には、撮影画像の確認を行うことができる。また、ＨＤＲモードが設定されている場合には、ステップＳ５３において生成されたＨＤＲ画像に基づいてライブビュー表示がなされる。同様に、特殊効果モードが設定されている場合には、特殊効果が施された画像がライブビュー表示される。なお、ライブビュー表示にあたって、特殊効果やＨＤＲ効果を付加する前の画像を表示するようにしても、勿論かまわない。
【００７６】
ライブビュー表示を行うと、次に、ステップＳ１５、Ｓ２１と同様に、動画記録中か否かの判定を行う（Ｓ５７）。この判定の結果、動画記録中であった場合には、動画記録を行う（Ｓ５９）。ここでは、ステップＳ１７において生成した動画ファイルに、通常撮影の場合には、ステップＳ４９において画像処理された画像データを圧縮処理し、またＨＤＲ撮影の場合には、ステップＳ５３において画像処理された画像データを圧縮処理し、記録媒体１３１に動画の画像データを記録する。この記録にあたっては、メニュー画面において設定した動画の記録モードに従って行う。
【００７７】
ステップＳ５９において動画記録を行うと、またはステップＳ５７における判定の結果、動画記録中でなかった場合には、またはステップＳ４１において静止画記録を行うと、またはステップＳ２５においてＡＥ・ＡＦを行うと、電源オフか否かの判定を行う（図２のＳ２７）。このステップでは、操作部１２３の電源釦が再度、押されたか否かを判定する。この判定の結果、電源オフではなかった場合には、ステップＳ３に戻る。一方、判定の結果、電源オフであった場合には、メインのフローの終了動作を行ったのち、メインフローを終了する。
【００７８】
このように本発明の一実施形態におけるメインフローにおいては、ＨＤＲモードが設定されている場合には、ステップＳ３７またはＳ５３におけるＨＤＲモード撮影において複数の画像を取得し、輝度レンジの広いＨＤＲ画像を生成する。
【００７９】
次に、ステップＳ３７およびＳ５３におけるＨＤＲモード撮影の動作の詳細について、図４に示すフローチャートを用いて説明する。
【００８０】
ＨＤＲモードのフローに入ると、まず、露出条件の変更を行う（Ｓ６１）。前述したように、ＨＤＲモード撮影においては、露出条件の異なる複数の画像データを取得し、これらの画像データを用いて輝度レンジの広い画像を生成する。このステップでは、複数の異なる露出条件の撮影を行うために露出条件の変更を行う。
【００８１】
露出条件の変更として、ステップＳ３７における静止画撮影の際のＨＤＲモードの撮影の場合には、ステップＳ２５において取得した適正露光となる露出条件を基にし、静止画の１枚目は適正露出条件とし、２枚目は適正露光条件から１段分オーバーな露出条件とし、３枚目は適正露出条件から１段分アンダーな露出条件に変更する。また、ステップＳ５３における動画撮影の際のＨＤＲモードの撮影の場合には、ステップＳ５１において取得した適正露出条件を基準とし、動画の１枚目は適正露出条件から０．５段分オーバーな露出条件に、２枚目は適正露出上から０．５段アンダーな露出条件に変更する。
【００８２】
本実施形態においては、静止画の場合には３枚の撮影を行い、動画の場合には２枚の撮影を行っているが、この枚数は例示であり、これと異なる枚数としてもよい。また、処理時間を考慮して、動画の撮影枚数を静止画の場合よりも少なくしているが、処理時間が早い場合には、静止画と動画の撮影枚数を同数としても、勿論かまわない。
【００８３】
ステップＳ６１において、露出条件の変更を行うと、次に、撮影を行う（Ｓ６３）。ここでは、ステップＳ６１において設定した露出条件で撮影を行う。露出条件の内のシャッタ速度は、撮像素子１０３の電子シャッタまたはメカシャッタ１０１で制御を行う。ただし、動画記録時またはライブビュー表示時には、メカシャッタ１０１による制御は困難であることから、電子シャッタによる制御を行う。露光時間が経過すると、画像データ（ベイヤデータ）を読出し、ＳＤＲＡＭ１２７に一時記憶する。
【００８４】
撮影を行うと、次に、ＨＤＲモード撮影終了か否かの判定を行う（Ｓ６５）。ここでは、ＨＤＲモードとして必要な撮影枚数の全てを完了したか否かを判定する。本実施形態における例では、静止画の場合には３枚であり、動画（ライブビュー表示を含む）の場合には２枚である。この判定の結果、撮影終了でなかった場合には、ステップＳ６１に戻り、露出条件を変更して次の撮影を行う。この間、異なる露出条件で画像データが順次取得され、この取得された複数の画像データが順次ＳＤＲＡＭ１２７に一時記憶される。
【００８５】
ステップＳ６５における判定の結果、ＨＤＲモード撮影終了であった場合には、次に、特殊効果処理が有るか否かの判定を行う（Ｓ６７）。前述したように、クロスフィルタ効果、線画効果、シェーディング効果、スポットカラー効果等の特殊効果モードは、メニュー画面において設定するので、このステップにおいては、メニュー画面における設定に基づいて判定する。
【００８６】
ステップＳ６７における判定の結果、特殊効果処理がない場合には、画像処理を行う（Ｓ６９）。ここでは、ステップＳ６３における撮影において取得した複数の画像データ（ベイヤーデータ）の内の１つの画像データをＳＤＲＡＭ１２７から読出し、基本画像処理部１０９ａにおいてＯＢ減算、ＷＢ補正等の種々の画像処理を施し、ＹＣデータを生成する。ここでは、例えば、画像処理を行う画像ごとに輝度ガンマやＮＲのような画像処理パラメータを変えるようにしてもよい。
【００８７】
ステップＳ６９において画像処理を行うと、次に、全画像について画像処理が終了したか否かを判定する（Ｓ７１）。ステップＳ６５において撮影終了するまでに撮影した枚数の画像データについて、画像処理を行ったか否かを判定する。本実施形態においては、静止画の場合には３枚、動画の場合には２枚である。この判定の結果、全画像について処理が終わっていなかった場合には、ステップＳ６９に戻り、次の画像データ（ベイヤ―データ）を読出し、画像処理を施す。
【００８８】
ステップＳ７１における判定の結果、全画像について画像処理が終了すると、次に、ＨＤＲ合成を行う（Ｓ７３）。ここでは、ステップＳ６９において画像処理された複数の画像データを用いて、ＨＤＲ合成処理部１１５が、輝度レンジの広いＨＤＲ画像を生成する。これにより、階調特性が拡大した効果を有する画像が生成される。
【００８９】
ステップＳ６７における判定の結果、特殊効果処理が有る場合には、次にＨＤＲ・特殊画像処理を行う（Ｓ７５）。ここでは、ＳＤＲＡＭ１２７に一時記憶されている複数の画像データの内、少なくとも１枚の画像データに対して合成前処理を行い、ＳＤＲＡＭ１２７に一時記憶されている複数の画像データを合成しダイナミックレンジを広げたＨＤＲ画像データを生成し、この生成されたＨＤＲ画像データに対して特殊効果を適用する。このＨＤＲ・特殊画像処理の詳しい動作については、図５を用いて後述する。
【００９０】
ステップＳ７５におけるＨＤＲ・特殊画像処理を行うと、またはステップＳ７３におけるＨＤＲ合成を行うと、ＨＤＲモード撮影のフローを終了し、元のフローに戻る。
【００９１】
このように、本実施形態におけるＨＤＲモード撮影のフローにおいては、特殊効果処理がない場合には、複数の撮影を行った後、各画像に対して画像処理を行ってからＨＤＲ合成を行うようにしている。
【００９２】
次に、ステップＳ７５におけるＨＤＲ・特殊画像処理の動作の詳細について、図５に示すフローチャートを用いて説明する。
【００９３】
ＨＤＲ・特殊画像処理のフローに入ると、まず、ＨＤＲ合成前処理を行う（Ｓ８１）。ここでは、画像処理部１０９内の合成前処理部が、ＨＤＲ合成を行う前段階の少なくとも１枚の画像からデータを抽出し、または画像処理を施す等の前処理を行う。
【００９４】
例えば、特殊効果モードとしてクロスフィルタ効果が設定されている場合には、クロスパターンを施す位置やその周辺の色情報を検出するために画像データ内の検索を行う。ＨＤＲ合成後には、階調特性が変更されてしまい、適正な位置や色情報を検索することができなくなる。そこで、本実施形態においては、特徴量抽出部は、ＨＤＲ合成を行う前の画像データに基づいて、高輝度点の位置の検索を行い、高輝度点の明るさと色情報を取得する。特に、露出条件がもっとも低い画像データで行う方が高輝度部の階調特性が豊富に残っていて最適なため、検索対象とする基準画像はＨＤＲ用に撮影した複数の画像の中で露出条件がもっとも低く撮影された、例えば露光時間がもっとも短い時間で撮影された画像データとする。
【００９５】
また、特殊効果モードとして、例えば、線画効果が設定されている場合には、特徴量抽出部は、画像内のエッジ成分の抽出を行う。抽出する基準画像はＨＤＲ合成時に位置合わせを行う画像データとする。これによってＨＤＲ合成処理の画像に対してエッジ成分を合成した際に位置ズレが発生することがない。
【００９６】
また、特殊効果モードとして、例えば、周辺減光効果が設定されている場合には、撮影した全ての画像データに対してレンズシェーディング除去を行う。撮影レンズ２０１には光軸から離れた周辺の光量が低下するレンズシェーディング特性を有し、しかもレンズ機種ごとに異なった特性を有している。レンズシェーディングを除去しないままで周辺減光効果を付与すると、機種によって周辺の光量が極端に減少する場合がある。そこで、本実施形態においては、ＨＤＲ合成の前段階として、シェーディング補正部が、個々の画像データに対してレンズシェーディング除去を行うようにしている。なお、レンズシェーディング除去のためのデータは交換式レンズ２００から通信によって取得するが、撮影レンズが固定式の場合には、このデータをカメラ本体内に記憶しておけばよい。
【００９７】
また、特殊効果モードとして、例えば、スポットカラー効果が設定されている場合には、ユーザが指定した色彩を残す領域の抽出が必要である。この合成前処理において、特徴量抽出部が、抽出する基準画像として適正露出条件で撮影された画像データを選択し、領域を抽出する。なお、スポットカラー効果は、特定の領域のみ色彩を残し、特定領域以外は、特定の色、例えば無彩色とする特殊効果である。
【００９８】
ステップＳ８１においてＨＤＲ合成前処理を行うと、次に、ステップＳ６９と同様に、画像処理を行う（Ｓ８３）。ここでは、ステップＳ６３において取得した複数の画像データ（ベイヤーデータ）の内の１つの画像データをＳＤＲＡＭ１２７から読出し、基本画像処理部１０９ａにおいてＯＢ減算、ＷＢ補正等の種々の画像処理を施し、ＹＣデータを生成する。画像処理を行う画像ごとに輝度ガンマやＮＲのような画像処理パラメータを変えるようにしてもよい。
【００９９】
画像処理を行うと、次に、ステップＳ７１と同様に、全画像の画像処理が終了したか否かを判定する（Ｓ８５）。この判定の結果、全画像の画像処理が終了していなかった場合には、ステップＳ８３に戻り、次の画像データ（ベイヤ―データ）をＳＤＲＡＭ１２７から読出し、画像処理を施す。
【０１００】
ステップＳ８５における判定の結果、全画像について画像処理が終了した場合には、次に、ＨＤＲ合成を行う（Ｓ８７）。ここでは、ステップＳ８３において画像処理を行った複数の画像データを用いて、ＨＤＲ合成処理部１１５が輝度レンジの広い画像を生成し、階調特性が拡大する効果が生ずる。
【０１０１】
ＨＤＲ合成を行うと、次に、ＨＤＲ合成後特殊効果処理を行う（Ｓ８９）。ここでは、ＨＤＲ合成を行った画像データに対して、設定された特殊効果モードに従って、特殊画像処理部１０９ｂが特殊効果を施す。
【０１０２】
例えば、特殊効果モードとしてクロスフィルタ効果が設定されている場合には、特殊画像処理部１０９ｂが、ＨＤＲ合成前処理における画像データ内の高輝度部の位置とこの位置の明るさや周辺の色情報の検索結果に基づいて、ステップＳ８７において生成したＨＤＲ画像に対して、クロスパターンを描画し、このクロスパターンをＨＤＲ画像に重畳する。ＨＤＲ合成後の画像データを用いて、高輝度部の位置と周辺の色情報の検索を行うと、ＨＤＲ合成の影響で色情報が変更される場合があるが、ＨＤＲ合成前のデータを用いているために、ＨＤＲ合成による悪影響を除去することができる。
【０１０３】
また、特殊効果モードとして、例えば、線画効果が設定されている場合には、特殊効果処理部１０９ｂが、ＨＤＲ合成で生成されたＨＤＲ画像に対してぼかし効果を施し、ステップＳ８１において取得したＨＤＲ合成前のエッジ抽出結果を用いて、ぼかし効果を施した画像に対して太いエッジを位置合わせの上、重畳させることにより、線画効果を施す。
【０１０４】
また、特殊効果モードとして、例えば、周辺減光効果が設定されている場合には、シェーディング除去された複数の画像がステップＳ８７においてＨＤＲ合成されていることから、特殊効果処理部１０９ｂがこのＨＤＲ画像に対して周辺減光効果を施す。
【０１０５】
また、特殊効果モードとして、例えば、スポットカラー効果が設定されている場合には、特殊画像処理部１０９ｂが、ステップＳ８１における前処理で抽出した領域と、ＨＤＲ合成で生成されたＨＤＲ画像の位置合わせを行い、再度領域設定を行い、抽出した領域以外の色再現を無彩色とする特殊効果を施す。
【０１０６】
ＨＤＲ合成後特殊効果処理を行うと、元のフローに戻る。各特殊効果モードを設定した場合の画像効果については、図７ないし図１０を用いて後述する。
【０１０７】
このように、本実施形態におけるＨＤＲ特殊画像処理のフローにおいては、複数の画像データに対する画像処理（Ｓ８３）に先だって、ＨＤＲ合成前処理を行っている（Ｓ８１）。ＨＤＲ合成前処理としては、具体的には、予め高輝度位置やエッジ成分等の特徴量を求め、またシェーディング補正等の画像処理を施している。また複数の画像データを用いて、ＨＤＲ合成を行うと、予め求めた特徴量を用いて、ＨＤＲ画像に対して特殊効果を施すようにしている。このため、ＨＤＲ効果と特殊効果の双方の効果が適切に付加された画像を生成することができる。
【０１０８】
次に、ステップＳ３９、Ｓ４９、Ｓ６９、Ｓ８３における画像処理の動作の詳細について、図６に示すフローチャートを用いて説明する。
【０１０９】
画像処理のフローに入ると、まず、オプティカルブラック（ＯＢ）演算を行う（Ｓ１０１）。このステップでは、基本画像処理部１０９ａ内のＯＢ演算部によって、画像データを構成する各画素の画素値から、撮像素子１０３の暗電流等に起因するオプティカルブラック値をそれぞれ減算する。
【０１１０】
ＯＢ演算を行うと、次に、ホワイトバランス（ＷＢ）補正を行う（Ｓ１０３）。このステップでは、基本画像処理部１０９ａ内のＷＢ補正部によって、設定されているホワイトバランスモードに応じて、画像データに対してＷＢ補正を行う。具体的には、ベイヤ配列の画像データに対して、ユーザが設定したホワイトバランスモードに応じたＲゲインとＢゲインをカメラ本体のフラッシュメモリ１２５から読み出し、その値を乗じることで補正を行う。またはオートホワイトバランスの場合には、ＲＡＷデータからＲゲインおよびＢゲインを算出し、これらを用いて補正する。
【０１１１】
続いて、同時化処理を行う（Ｓ１０５）。このステップでは、ホワイトバランス補正を行った画像データに対して、基本画像処理部１０９ａ内の同時化処理部によって、各画素がＲＧＢデータで構成されるデータに変換する。具体的には、その画素にないデータを周辺から補間によって求め、ＲＧＢデータに変換する。
【０１１２】
同時化処理を行うと、次に、カラーマトリックス演算を行う（Ｓ１０７）。このステップでは、基本画像処理部１０９ａ内のカラーマトリックス演算部によって、画像データに対して設定されているホワイトバランスモードに応じたカラーマトリックス係数を乗じる線形変換を行って画像データの色を補正する。カラーマトリックス係数はフラッシュメモリ１２５に記憶されているので、読み出して使用する。
【０１１３】
カラーマトリックス演算を行うと、次に、ガンマ変換および色補正を行う（Ｓ１０９）。このステップでは、基本画像処理部１０９ａ内のガンマ処理部によって、フラッシュメモリ１２５に記憶されているガンマテーブルを読み出し、画像データに対してガンマ補正処理を行う。ガンマテーブルは、仕上がりの設定に応じて設計した値がフラッシュメモリ１２５に記憶されている。
【０１１４】
ガンマ変換および色補正を行うと、次に、エッジ強調を行う（Ｓ１１１）。このステップでは、ガンマ変換および色補正の行われた画像データに対して、基本画像処理部１０９ａ内のエッジ強調処理部が、バンドパスフィルタによりエッジ成分を抽出し、エッジ強調度に応じて係数を乗じて画像データに加算することにより、画像データのエッジを強調する。
【０１１５】
次にＮＲ（ノイズ除去）を行う（Ｓ１１３）。このステップでは、画像を周波数分解し、周波数に応じてコアリング処理等を行うことによりノイズを低減する。ＮＲ処理を行うと、画像処理のフローを終了し、元のフローに戻る。
【０１１６】
次に、特殊効果モードに応じた画像効果の例について、図７ないし図１１を用いて説明する。まず、特殊効果モードとしてクロスフィルタ効果が設定されている場合について、図７を用いて説明する。前述したように、クロスフィルタ効果は、高輝度点を検出し、検出された高輝度点の位置にクロスパターンを重畳させる特殊効果である。図７（ａ）は、ＨＤＲ合成前に、高輝度点を検出する際に使用する基準画像を示す。本実施形態においては、基準画像は最も低い露出で撮影された画像を用いる。最も低い露出で撮影されていることから、輝度の絶対値が高くないと高輝度点として検出されない。
【０１１７】
図７（ｂ）はＨＤＲ合成後の画像を示す。前述したように、本実施形態の静止画においては、適正露光の画像、１段分オーバーの画像、および１段分アンダーの画像の合計３枚、動画においては、適正より０．５段分オーバーの画像、および０．５段分アンダーの画像の合計２枚の画像を用いて、ＨＤＲ画像を合成している。
【０１１８】
図７（ｃ）は、図７（ｂ）に示したＨＤＲ画像に対して、図７（ａ）に示した基準画像から高輝度点を検出して、クロスパターンを重畳させた画像を示す。また、図７（ｄ）は図７（ｂ）に示したＨＤＲ合成を行った後のＨＤＲ画像から高輝度点を検出して、クロスパターンを重畳させた画像を示す。両者を対比すると分かるように、図７（ｄ）に示すＨＤＲ合成後に高輝度点を検出するやり方では、クロスパターンの数が過剰となってしまう。ＨＤＲ画像から高輝度点を検出すると、もともと輝度が高くない点についても高輝度点と判定するために、必要以上にクロスパターンが描画されてしまう。
【０１１９】
次に、クロスフィルタ効果の変形例として、被写体認識、例えば顔認識やペット動物認識と組み合わせた例について図８を用いて説明する。この例では、図１に示すブロック図において、画像データに基づいて、顔が存在するか否かを検出する顔検出部を設け、バス１１０に接続する。
【０１２０】
特殊効果モードとしてクロスフィルタ効果が設定されると、顔検出部によって顔があると判定された場合には、顔の領域にクロスパターンが重畳しないように制御する。顔認識機能は、適正露出で撮影された画像で最も認識性能が発揮されるように設計されているために、顔認識機能は、階調変換が行われる前であるＨＤＲ合成前処理において行うのが最適である。そのため、顔認識は、ＨＤＲ合成前の適正露出で撮影された画像を基準画像とし、また高輝度点検出はＨＤＲ合成前の最も低い露出で撮影された画像を基準画像とする。
【０１２１】
図８（ａ）は、ＨＤＲ合成前の適正露光で撮影され、顔認識検索の対象となる基準画像を示す。図８（ｂ）は、顔認識を行わず、高輝度点にクロスパターンを重畳させた例を示す。図８（ｂ）から分かるように、顔の部分にクロスパターンが重畳しており、クロスパターンが過剰な印象を与える画像となる。一方、図８（ｃ）は、顔認識を行い、顔の部分には、クロスパターンを重畳しないようにした画像を示す。クロスパターンが適正な位置に配置されている。なお、目、歯、眼鏡のように、反射しやすい部分はクロスパターンとの相性がよいことから、顔検出部がこれらの部分を検出した場合には、クロスパターンを重畳させるようにしてもよい。
【０１２２】
次に、特殊効果モードとして線画効果が設定されている場合について、図９を用いて説明する。線画効果では、前述したように、画像データからエッジ成分を抽出する必要がある。ＨＤＲ合成処理後のＨＤＲ画像に線画特殊効果を付加した場合に、エッジの位置ズレを発生させないようにするために、エッジを抽出する基準画像は、ＨＤＲ合成前のＨＤＲ合成の位置合わせの目標となる画像データとする。ＨＤＲ合成処理後のＨＤＲ画像は、ガンマ処理による階調変換やＨＤＲ合成処理での階調変換が行われるため、明部のエッジ部分が正確に抽出することができない。そこで、ステップＳ８１（図５参照）のＨＤＲ合成前処理において、ＨＤＲ合成前の画像を用いてエッジを抽出するようにしている。
【０１２３】
図９（ａ）〜（ｃ）は、ステップＳ６３（図４参照）において撮影した３枚の画像を示し、図９（ａ）は適正露光の画像、図９（ｂ）は１段分アンダーの画像、図９（ｃ）は１段分オーバーの画像である。図９（ｃ）は、図９（ａ）を基準画像として、ＨＤＲ合成処理前の位置合わせの基準画像からエッジ部を抽出し、このエッジ部を太く強調した線画を示す。
【０１２４】
図９（ｅ）は図９（ａ）〜（ｃ）に示した露出の異なる３枚の画像からＨＤＲ合成処理を行い生成したＨＤＲ画像を示す。図９（ｆ）は、図９（ｅ）に示したＨＤＲ画像に、図９（ｄ）に示した線画を重畳し、線画効果を付加した画像を示す。ＨＤＲ処理前の画像（図９（ａ）に示す画像）を用いて、エッジ部を抽出していることから、明部のエッジ成分を正確に抽出することができる。
【０１２５】
次に、特殊効果モードとして周辺減光効果が設定されている場合について、図１０を用いて説明する。周辺減光効果は、通常、レンズシェーディング＋周辺減光変更効果を合わせたシェーディングテーブルを作成し、このテーブルに従い周辺減光特殊効果を画像に付加することにより得ている。ＨＤＲ処理を行うと、レンズシェーディングは処理前とは異なることから、ＨＤＲ処理後に周辺減光効果を付加すると、周辺減光の効果量が安定しない。そこで、本実施形態においては、ＨＤＲ合成処理前にレンズシェーディングを除去し、除去した後に、ＨＤＲ合成処理を行い、周辺効果のみのシェーディングテーブルを作成し、周辺減光効果を付加するようにしている。このため、周辺減光の効果量を安定させることができる。
【０１２６】
図１０（ａ）は、適正露光で撮影された画像を示しており、この画像はレンズシェーディングによって周辺光量が減光している。図１０（ｂ）は、図１０（ａ）に示す画像においてレンズシェーディングを除去することなく、周辺減光効果を付加した画像を示す。図１０（ｃ）は、レンズシェーディングを除去しない複数の画像を用いて、ＨＤＲ合成処理を行い、さらに周辺減光効果を付加した画像を示す。レンズシェーディングと周辺減光効果の両方が重畳しているために、画面周辺の光量の落ち込みが大きい。
【０１２７】
図１０（ｄ）は、レンズシェーディングを除去した複数の画像を用いて、ＨＤＲ合成処理を行い、さらに周辺減光効果を付加した画像を示す。レンズシェーディングを除去していることから、１枚の画像で周辺減光効果を施した場合と同等の周辺減光効果を安定して付加することができる。
【０１２８】
次に、特殊効果モードとしてスポットカラー効果が設定されている場合について、図１１を用いて説明する。スポットカラー効果では、前述したように、ユーザが指定した色のみを残して残りの色は無彩色にする。ＨＤＲ合成を行うと、階調特性が変更されるに伴い色再現がＨＤＲ合成前の画像から変化することがある。そこで、本実施形態においては、ステップＳ８１（図５参照）のＨＤＲ合成前処理において、適正露出の画像を基準画像としてスポットカラー効果の色を残す領域を抽出しておくことにより、ＨＤＲ合成によって色再現が変化した場合であっても、ユーザが指定した色の領域を正確に残すことができるようにしている。
【０１２９】
図１１（ａ）は、適正露光で撮影された基準画像を示す。図１１（ｂ）は複数の画像を用いて生成されたＨＤＲ画像を示す。このＨＤＲ画像は、ＨＤＲ合成処理を行うことにより、色再現が少し変化している。図１１（ｃ）は、適正露光で撮影された基準画像の単体に対してスポットカラー効果を施した場合の画像を示す。本実施形態に示す例では、ユーザは家の屋根の部分をスポットカラー効果の色を残す領域として指定しており、この部分のみに色が残され、他の部分は無彩色になっている。
【０１３０】
図１１（ｄ）は、ＨＤＲ合成前処理において、ユーザの指定領域を抽出し、この抽出された領域を用いて、ＨＤＲ合成後にＨＤＲ画像から指定された領域（家の屋根の部分）の色を残し、他の領域を無彩色した様子を示す。ただし、ＨＤＲ画像は色再現が変化することにより、指定領域の色再現はオリジナルの色とは変化し、ＨＤＲ画像の色となっている。
【０１３１】
図１１（ｅ）は、ＨＤＲ合成処理後、ＨＤＲ画像からユーザ指定の色を抽出しようとした場合を示している。この場合には、ＨＤＲ合成により色再現が変化してしまった影響で、ユーザが指定した色がなくなり、全ての領域（ユーザが指定した家の屋根の部分を含む）が無彩色となってしまう。
【０１３２】
このように、ＨＤＲ合成前にユーザ指定の色の領域を抽出しておくことにより、ＨＤＲ画像に対してユーザが指定した色の領域を的確に残すことが可能となる。
【０１３３】
以上、説明したように、本発明の一実施形態においては、ＨＤＲモードが設定されると、撮像部で複数の画像を取得し、このうちの少なくとも１枚の画像データに対して合成前処理を行い、高輝度点、エッジ部等の特徴量の抽出を行い、複数の画像データを合成してダイナミックレンジを広げたＨＤＲ画像を生成し、このＨＤＲ画像に対して抽出した特徴量を用いて特殊効果を適用するようにしている。このため、ＨＤＲ効果と特殊効果の双方の効果が適切に付加された画像を得ることができる。
【０１３４】
また、本実施形態においては、ＨＤＲモードが設定されると、撮像部で複数の画像を取得し、レンズシェーディング補正処理等を行ってから、複数の画像データを合成してダイナミックレンジを広げたＨＤＲ画像を生成している。このため、ＨＤＲ効果と特殊効果の双方の効果が適切に付加された画像を得ることができる。
【０１３５】
次に、本実施形態の図４に示したＨＤＲモード撮影と、図５に示したＨＤＲ・特殊画像処理の変形例を図１２および図１３に示すフローチャートを用いて説明する。本発明の一実施形態においては、画像処理を行ってからＨＤＲ合成を行っていたが（図４のＳ６９およびＳ７３、図５のＳ８３およびＳ８７参照）、本変形例においては、ＨＤＲ合成を行ってから画像処理を行う点で相違している。
【０１３６】
図４に示したＨＤＲモード撮影のフローの変形例は図１２に示すフローが対応し、図５に示したＨＤＲ・特殊画像処理のフローの変形例は図１３に示すフローが対応する。なお、本変形例においても、フラッシュメモリ１２５に記憶されているプログラムに従ってマイクロコンピュータ１２１が実行する。また、本変形例においては、画像処理部１０９内にＨＤＲ画像データから特徴量抽出部によって検出した高輝度点の座標位置に対応する位置近傍の色情報を検索するＨＤＲ合成後処理部を有する。
【０１３７】
図１２に示すＨＤＲモード撮影のフローの内、複数の画像を得るステップＳ６１〜Ｓ６７は、図４に示したフローと同様であることから、詳しい説明を省略する。ステップＳ６７における特殊効果処理が有るか否かの判定の結果、特殊効果処理がない場合には、ＨＤＲ合成を行う（Ｓ７３）。ここでは、ステップＳ６３において取得した複数の画像データを用いて、ＨＤＲ合成処理部１１５がＨＤＲ合成を行う。一実施形態におけるステップＳ７３においては、基本画像処理部１０９ａによって画像処理されたＹＣデータを用いてＨＤＲ合成を行ったが、本変形例においては、複数の画像のベイヤデータを合成することにより、階調特性を拡大したＨＤＲ画像を合成する。
【０１３８】
ステップＳ７３においてＨＤＲ合成を行うと、次に、画像処理を行う（Ｓ７７）。ここでの画像処理は、図６に示したフローに沿って行う。但し、一実施形態における画像処理は、基本画像処理部１０９ａは複数の画像データ（ベイヤデータ）ごとに画像処理を行い、それぞれＹＣデータを出力していたが、本変形例においては、ステップＳ７３において生成された１つのベイヤデータのＨＤＲ画像のデータに対して画像処理を行う点で相違する。
【０１３９】
ステップＳ６７における判定の結果、特殊効果処理が有る場合には、ＨＤＲ・特殊画像処理を行う（Ｓ７９）。ここでは、先に各画像に対して前処理を行ってから、複数の画像を用いてＨＤＲ合成を行い、このＨＤＲ合成により取得したＨＤＲ画像に対して画像処理を行い、その後、特殊効果処理を施す。すなわち、一実施形態においては、複数の画像に対して先に画像処理を行ってからＨＤＲ合成を行っていたが、本変形例においては先に複数の画像を用いてＨＤＲ合成を行い、その後、画像処理を行い、特殊効果処理を行う点で相違呈している。このＨＤＲ・特殊画像処理の詳しい動作については、図１３を用いて後述する。
【０１４０】
ステップＳ７７において画像処理を行うと、またはステップＳ７９においてＨＤＲ・特殊画像処理を行うと、ＨＤＲモード撮影のフローを終了し、元のフローに戻る。
【０１４１】
次に、ステップＳ７９におけるＨＤＲ・特殊画像処理の動作の詳細について、図１３に示すフローチャートを用いて説明する。ＨＤＲ・特殊画像処理のフローに入ると、図５の場合と同様、まずＨＤＲ合成前処理を行う（Ｓ８１）。このステップにおける処理は、図５に示した一実施形態における処理と同様であることから、詳しい説明を省略する。
【０１４２】
ＨＤＲ合成前処理を行うと、次に、ステップＳ７３（図１２参照）と同様に、ＨＤＲ合成を行う（Ｓ９１）。ここでは、ステップＳ６３において取得した複数の画像データ（ベイヤデータ）を用いて、ＨＤＲ合成処理部１１５はＨＤＲ画像（ベイヤデータ）を生成する。これにより、階調特性が拡大した画像データを生成できる。
【０１４３】
ＨＤＲ合成を行うと、次にステップＳ７７（図１２参照）と同様に、画像処理を行う（Ｓ９３）。ここでは、前述したように、ＨＤＲ合成されたベイヤデータに対して、基本画像処理部１０９ａが、図６に示す画像処理のフローに沿って処理する。
【０１４４】
画像処理を行うと、次に、ＨＤＲ合成後処理を行う（Ｓ９５）。ここでは、画像処理部１０９内のＨＤＲ合成後処理部が、ＨＤＲ合成を行った後の段階で画像からデータを取得したり、画像データに対して処理等を行う。例えば、クロスパターンを描画する特殊効果では画像データ内の高輝度部周辺の色情報の検索が必要となる。ＨＤＲ合成によって色情報も変更されることもあるため、ＨＤＲ合成処理後の画像データから検索する方が理想的であることから、このステップで、検索を行う。
【０１４５】
ＨＤＲ合成後処理を行うと、次に、特殊効果処理を行う（Ｓ９７）。ここでは、設定された特殊効果モードに従った特殊効果処理を行う。例えば、クロスパターン効果が設定されている場合には、ステップＳ８１のＨＤＲ合成前処理において取得した高輝度点の情報と、ステップＳ９５のＨＤＲ合成後処理において取得した色情報を用いて、ステップＳ９１において取得されたＨＤＲ画像に対して、クロスパターンを重畳させる。線画効果、周辺減光効果、スポットカラー処理については、一実施形態におけるステップＳ８９における処理と同様であることから、詳しい説明は省略する。
【０１４６】
このように、本変形例においては、先にＨＤＲ合成を行ってから画像処理を実行するようにしている。このため、複数の画像データに対してそれぞれ画像処理を行う一実施形態に比較し、処理時間を短縮することが可能となる。
【０１４７】
以上説明したように、本発明の一実施形態や変形例においては、撮像部で得た画像の少なくとも１枚の画像データに対して合成前処理を行い、また複数の画像データを合成しダイナミックレンジを広げたＨＤＲ画像データを生成し、この生成されたＨＤＲ画像データに対して特殊効果を適用するようにしている。このため、ＨＤＲ効果と特殊効果の双方の効果が適切に付加された画像を生成することができる。
【０１４８】
なお、本発明の一実施形態や変形例においては、ＨＤＲ合成を行う前に合成前処理を行い特徴量の抽出等を行っていたが、この合成前処理は、必ずしもＨＤＲ合成前に行わなくてもよい。たとえば、ＨＤＲ合成中も複数の画像データを一時記憶しておき、ＨＤＲ合成後に合成前処理で特徴量の抽出等を行い、この特徴量を用いて、ＨＤＲ画像データに対して特殊効果を適用するようにしてもよい。これ以外にも、ＨＤＲ効果および特殊効果を施す順番は、実施形態における例以外にも適宜変更しても勿論かまわない。
【０１４９】
また、本発明の一実施形態や変形例においては、特殊効果として、クロスフィルタ効果付加、線画効果、シェーディング付加、スポットカラー効果を用いた例を挙げて説明したが、特殊効果としては、これ以外の効果についても本発明を適用することが可能である。
【０１５０】
また、本発明の一実施形態や変形例においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォーンや携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない。
【０１５１】
また、本発明の一実施形態や変形例には、カメラで撮像を行うと共に、ＨＤＲ効果と特殊効果を付与する画像処理を行っていた。しかし、カメラで撮像した複数の画像データをパーソナルコンピュータ等の画像処理装置に記憶させ、この複数の画像データに対して、ＨＤＲ効果と特殊効果を付与する画像処理を行うようにしても勿論かまわない。
【０１５２】
また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【０１５３】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【０１５４】
１００・・・カメラ本体、１０１・・・メカシャッタ、１０３・・・撮像素子、１０５・・・アナログ処理部、１０７・・・Ａ／Ｄ変換部、１０９・・・画像処理部、１０９ａ・・・基本画像処理部、１０９ｂ・・・特殊画像処理部、１１０・・・バス、１１１・・・ＡＥ処理部、１１３・・・ＡＦ処理部、１１５・・・ＨＤＲ合成処理部、１１７・・・画像圧縮展開部、１２１・・・マイクロコンピュータ、１２３・・・操作部、１２５・・・フラッシュメモリ、１２７・・・ＳＤＲＡＭ、１２９・・・メモリＩ／Ｆ、１３１・・・記録媒体、１３３・・・ＬＣＤドライバ、１３５・・・ＬＣＤ、２００・・・交換式レンズ、２０１・・・撮影レンズ、２０３・・・絞り、２０５・・・ドライバ、２０７・・・マイクロコンピュータ、２０９・・・フラッシュメモリ、３００・・・Ｉ／Ｆ
【特許請求の範囲】
【請求項１】
画像データを取得する撮像部と、
上記撮像部での撮像時間を制御する露出制御部と、
上記撮像部で得た画像の少なくとも１枚の画像データに対して合成前処理を行う合成前処理部と、
上記撮像部で得た複数の画像データを合成しダイナミックレンジを広げたＨＤＲ画像データを生成するＨＤＲ合成処理部と、
上記ＨＤＲ画像データに対して特殊効果を適用する特殊効果処理部と、
を具備することを特徴とする撮像装置。
【請求項２】
上記合成前処理部は、ＨＤＲ合成前の画像データから特徴量を抽出する特徴量抽出部を含み、
上記特殊効果処理部は上記特徴量抽出部で抽出された上記特徴量に基づき、上記ＨＤＲ画像データに対して特殊効果を適用することを特徴とする請求項１に記載の撮像装置。
【請求項３】
上記特徴量抽出部は、上記複数の画像データにおけるいずれか１つの画像データから特徴量を抽出することを特徴とする請求項２に記載の撮像装置。
【請求項４】
上記ＨＤＲ合成処理部は、上記特徴量抽出部において上記特徴量の抽出を行った画像データに対して合成処理における画像位置の位置合わせを行うことを特徴とする請求項３に記載の撮像装置。
【請求項５】
上記特徴量抽出は、上記撮像部で取得した画像データの中で最も露光時間が短い時間で撮影された画像データから高輝度点の座標位置を取得し、
上記特殊効果処理部は、上記ＨＤＲ画像データにおいて、上記座標位置に対応する位置にパターンを描画する、
ことを特徴とする請求項２および請求項３に記載の撮像装置。
【請求項６】
上記ＨＤＲ画像データから上記特徴量抽出部によって検出した高輝度点の座標位置に対応する位置近傍の色情報を検索するＨＤＲ合成後処理部を更に有し、
上記特徴量抽出部は、さらに上記高輝度点の明るさを取得し、
上記特殊効果処理部は、上記ＨＤＲ画像データにおいて、上記座標位置に対応する位置に上記色情報と上記明るさに基づくパターンを描画する、
ことを特徴とする請求項５に記載の撮像装置。
【請求項７】
上記パターンは、クロスパターンであることを特徴とする請求項５および請求項６に記載の撮像装置。
【請求項８】
上記特徴量抽出部は、画像データにおけるエッジ成分を抽出し、
上記特殊効果処理部は、上記ＨＤＲ画像データに対し上記エッジ成分を合成する、
ことを特徴とする請求項２および請求項３に記載の撮像装置。
【請求項９】
上記特徴量抽出部は、画像データにおける特定の色が分布している領域情報を抽出し、
上記特殊効果処理部は、上記ＨＤＲ画像データに対し上記領域情報に該当する領域以外の領域の色を変更する、
ことを特徴とする請求項２および請求項３に記載の撮像装置。
【請求項１０】
上記合成前処理部は、撮影時のレンズシェーディングを補正するシェーディング補正部を含み、
上記ＨＤＲ合成処理部は、上記シェーディング補正部によってシェーディング補正された複数の画像データを用いて上記ＨＤＲ画像データを生成し、
上記特殊効果処理部は、上記ＨＤＲ画像データに対し上記レンズシェーディングに依存しない特性のシェーディングを付与する、
ことを特徴とする請求項１に記載の撮像装置。
【請求項１１】
異なる露出条件で複数の画像データを取得し、
上記複数の画像データの少なくとも１枚の画像データに対して合成前処理を行い、
上記複数の画像データを合成しダイナミックレンジを広げたＨＤＲ画像データを生成し、
上記ＨＤＲ画像データに対して特殊効果を適用する、
ことを特徴とする画像処理方法。
【請求項１２】
異なる露出条件で取得した複数の画像データを記憶するステップと、
上記複数の画像データの少なくとも１枚の画像データに対して合成前処理を行うステップと、
上記複数の画像データを合成しダイナミックレンジを広げたＨＤＲ画像データを生成するステップと、
上記ＨＤＲ画像データに対して特殊効果を適用するステップと、
をコンピュータに実行させることを特徴とするプログラム。
【請求項１】
画像データを取得する撮像部と、
上記撮像部での撮像時間を制御する露出制御部と、
上記撮像部で得た画像の少なくとも１枚の画像データに対して合成前処理を行う合成前処理部と、
上記撮像部で得た複数の画像データを合成しダイナミックレンジを広げたＨＤＲ画像データを生成するＨＤＲ合成処理部と、
上記ＨＤＲ画像データに対して特殊効果を適用する特殊効果処理部と、
を具備することを特徴とする撮像装置。
【請求項２】
上記合成前処理部は、ＨＤＲ合成前の画像データから特徴量を抽出する特徴量抽出部を含み、
上記特殊効果処理部は上記特徴量抽出部で抽出された上記特徴量に基づき、上記ＨＤＲ画像データに対して特殊効果を適用することを特徴とする請求項１に記載の撮像装置。
【請求項３】
上記特徴量抽出部は、上記複数の画像データにおけるいずれか１つの画像データから特徴量を抽出することを特徴とする請求項２に記載の撮像装置。
【請求項４】
上記ＨＤＲ合成処理部は、上記特徴量抽出部において上記特徴量の抽出を行った画像データに対して合成処理における画像位置の位置合わせを行うことを特徴とする請求項３に記載の撮像装置。
【請求項５】
上記特徴量抽出は、上記撮像部で取得した画像データの中で最も露光時間が短い時間で撮影された画像データから高輝度点の座標位置を取得し、
上記特殊効果処理部は、上記ＨＤＲ画像データにおいて、上記座標位置に対応する位置にパターンを描画する、
ことを特徴とする請求項２および請求項３に記載の撮像装置。
【請求項６】
上記ＨＤＲ画像データから上記特徴量抽出部によって検出した高輝度点の座標位置に対応する位置近傍の色情報を検索するＨＤＲ合成後処理部を更に有し、
上記特徴量抽出部は、さらに上記高輝度点の明るさを取得し、
上記特殊効果処理部は、上記ＨＤＲ画像データにおいて、上記座標位置に対応する位置に上記色情報と上記明るさに基づくパターンを描画する、
ことを特徴とする請求項５に記載の撮像装置。
【請求項７】
上記パターンは、クロスパターンであることを特徴とする請求項５および請求項６に記載の撮像装置。
【請求項８】
上記特徴量抽出部は、画像データにおけるエッジ成分を抽出し、
上記特殊効果処理部は、上記ＨＤＲ画像データに対し上記エッジ成分を合成する、
ことを特徴とする請求項２および請求項３に記載の撮像装置。
【請求項９】
上記特徴量抽出部は、画像データにおける特定の色が分布している領域情報を抽出し、
上記特殊効果処理部は、上記ＨＤＲ画像データに対し上記領域情報に該当する領域以外の領域の色を変更する、
ことを特徴とする請求項２および請求項３に記載の撮像装置。
【請求項１０】
上記合成前処理部は、撮影時のレンズシェーディングを補正するシェーディング補正部を含み、
上記ＨＤＲ合成処理部は、上記シェーディング補正部によってシェーディング補正された複数の画像データを用いて上記ＨＤＲ画像データを生成し、
上記特殊効果処理部は、上記ＨＤＲ画像データに対し上記レンズシェーディングに依存しない特性のシェーディングを付与する、
ことを特徴とする請求項１に記載の撮像装置。
【請求項１１】
異なる露出条件で複数の画像データを取得し、
上記複数の画像データの少なくとも１枚の画像データに対して合成前処理を行い、
上記複数の画像データを合成しダイナミックレンジを広げたＨＤＲ画像データを生成し、
上記ＨＤＲ画像データに対して特殊効果を適用する、
ことを特徴とする画像処理方法。
【請求項１２】
異なる露出条件で取得した複数の画像データを記憶するステップと、
上記複数の画像データの少なくとも１枚の画像データに対して合成前処理を行うステップと、
上記複数の画像データを合成しダイナミックレンジを広げたＨＤＲ画像データを生成するステップと、
上記ＨＤＲ画像データに対して特殊効果を適用するステップと、
をコンピュータに実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１３−９００９５（Ｐ２０１３−９００９５Ａ）
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願番号】特願２０１１−２２７９８７（Ｐ２０１１−２２７９８７）
【出願日】平成２３年１０月１７日（２０１１．１０．１７）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願日】平成２３年１０月１７日（２０１１．１０．１７）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
[ Back to top ]