画像処理装置、撮影装置、画像処理方法及び画像処理プログラム
【課題】高輝度部分の周辺の色を反映させたクロスフィルター効果を効果的に現すために、高輝度部分の周辺の色の検索を効率よく行って処理時間を短縮させること。
【解決手段】画像データにおける輝点を検索してその輝点座標を求め、この輝点座標を含む周辺に予め設定されている複数の検索座標の中から輝点座標との距離が所定距離以上離れている１つ以上の検索座標を検索対象の座標とし、当該検索対象の座標における輝点色を推定するための条件を有する画素値すなわち輝度値が飽和していない画素値に基づいて輝点の輝点色を推定し、この推定された輝点色に応じて輝点座標の近傍にクロスパターン等を描画する。
【解決手段】画像データにおける輝点を検索してその輝点座標を求め、この輝点座標を含む周辺に予め設定されている複数の検索座標の中から輝点座標との距離が所定距離以上離れている１つ以上の検索座標を検索対象の座標とし、当該検索対象の座標における輝点色を推定するための条件を有する画素値すなわち輝度値が飽和していない画素値に基づいて輝点の輝点色を推定し、この推定された輝点色に応じて輝点座標の近傍にクロスパターン等を描画する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影等により取得された画像データ中における高輝度な部分に対して所定のパターンを描画等する画像処理を行う画像処理装置、撮影装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
カメラ等の撮影装置は、被写体を撮影するとき、レンズと被写体との間に光学的なフィルターを挿入することで、高輝度を有する被写体の周辺に所定のパターン、例えばクロスパターン（十字形状のパターン）を追加したような効果、すなわちクロスフィルター効果を有する写真の撮影をすることができる。パターンとしては、クロスパターン以外にも、クロスパターンを２つ重ねたような８本線のパターンを生じるフィルターや、６本線のパターンを生じるフィルターなどが存在する。
【０００３】
一方、デジタルカメラでは、撮影により取得した画像データ中の高輝度の部分に上記パターンを描画することで、光学的なフィルターを用いて撮影したような画像データを作成する機能を持つものがある。かかる技術を有するものとしては、例えば特許文献１、２がある。
特許文献１は、ある閾値を超える輝点を検索し、検索された輝点の周辺をさらに検索して光源と考えられる領域の中心を算出し、クロスのパターンを描画することで、クロスフィルター効果を画像処理で実現する方法を開示する。特許文献２は、撮影画像における光輝度部を検索し、光輝度部に係数を乗算しながら位置をずらし加算することで、クロス効果を画像処理で実現する方法を開示する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４２０７１２４号公報
【特許文献２】特公平７−１１３９６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
デジタルカメラでは、ＪＰＥＧ形式の画像データに対する編集等において、画像データ中の高輝度部分を検索し、この検索された高輝度部分の近傍にクロスパターンを描画することで、クロスフィルター効果を生じさせた画像データを生成する。
クロスフィルター効果を生じさせるためには、撮影画像データ内の各画素が高輝度部分か否かを判断しなければいけない。しかしながら、昨今のデジタルカメラは、画素数が増大している影響で、クロスフィルター効果を生じさせる場合、高輝度部分の画素を検索するための処理に時間を要し、通常の撮影時の処理と比較して処理に時間がかかる傾向にある。さらに、クロスフィルター効果を生じさせる場合、高輝度部分の周辺の色を反映させると、クロスフィルター効果をより効果的に現すことが出来る。
【０００６】
しかしながら、高輝度部分を判別した後、更に当該高輝度部分の周辺の色を検索するとなると、処理時間が益々増大してしまう。クロスフィルター効果に高輝度部分として例えば光源等の色を反映させないと、光学クロスフィルターと比較して味気ない画像になってしまう。
そこで本発明の目的は、高輝度部分の周辺の色を反映させたクロスフィルター効果を効果的に現すために、高輝度部分の周辺の色の検索を効率よく行って処理時間を短縮させることができる画像処理装置、撮影装置、画像処理方法及び画像処理プログラムを提供することにある。
【課題を解決するための手段】
【０００７】
本発明の主要な局面に係る画像処理装置は、画像データにおける輝点を検索する輝点検索部と、前記輝点検索部により検索された前記輝点の前記画像データにおける輝点座標を求める輝点座標取得部と、前記画像データにおける前記輝点座標を含む周辺に予め設定されている複数の検索座標の中から前記輝点座標との距離が所定距離以上離れている１つ以上の前記検索座標を検索対象の座標とし、当該検索対象の座標における前記輝点色を推定するための条件を有する画素値に基づいて前記輝点色を推定する輝点色推定部と、前記輝点色に応じて前記輝点座標の近傍にパターンを描画する描画処理部とを具備する。
【０００８】
本発明の主要な局面に係る画像処理方法は、画像データにおける輝点を検索し、前記検索された前記輝点の前記画像データにおける輝点座標を求め、前記輝点座標を含む周辺に予め設定されている複数の検索座標の中から前記輝点座標との距離が所定距離以上離れている１つ以上の前記検索座標を検索対象の座標とし、当該検索対象の座標における前記輝点色を推定するための条件を有する画素値に基づいて前記輝点の輝点色を推定し、前記推定された前記輝点色に応じて前記輝点座標の近傍にパターンを描画する。
【０００９】
本発明の主要な局面に係る画像処理プログラムは、コンピュータに、画像データにおける輝点を検索する輝点検索機能と、前記検索された前記輝点の前記画像データにおける輝点座標を求める輝点座標取得機能と、前記輝点座標を含む周辺に予め設定されている複数の検索座標の中から前記輝点座標との距離が所定距離以上離れている１つ以上の前記検索座標を検索対象の座標とし、当該検索対象の座標における前記輝点色を推定するための条件を有する画素値に基づいて前記輝点の輝点色を推定する輝点色推定機能と、前記推定された前記輝点色に応じて前記輝点座標の近傍にパターンを描画する描画処理機能とを実現する。
【発明の効果】
【００１０】
本発明によれば、高輝度部分の周辺の色を反映させたクロスフィルター効果を効果的に現すために、高輝度部分の周辺の色の検索を効率よく行って処理時間を短縮させることができる画像処理装置、撮影装置、画像処理方法及び画像処理プログラムを提供できる。
【図面の簡単な説明】
【００１１】
【図１】本発明に係る撮像装置としてのデジタルカメラの第１の実施の形態を示す構成図。
【図２】同カメラによる画像データに合成する所定のパターンの一例を示す摸式図。
【図３】同カメラにおけるメイン動作を示すフローチャート。
【図４】同カメラにおける静止画処理を示すフローチャート。
【図５】同カメラにおける動画処理を示すフローチャート。
【図６】同カメラにおける再生処理を示すフローチャート。
【図７】同カメラにおける画像処理を示すフローチャート。
【図８】同カメラにおける現像処理を示すフローチャート。
【図９】同カメラにおける輝点検索処理を示すフローチャート。
【図１０】同カメラにおける輝点検索処理を説明するための模式図。
【図１１】同カメラにおける光源色検索処理を示すフローチャート。
【図１２】同カメラの輝点色推定部による検索する座標Ｖ（Ｘ，Ｙ）の移動の具体的な一例を示す模式図。
【図１３】同カメラにおける画素レベルでの検索座標の移動の一例を示す模式図。
【図１４】同カメラにおける画素レベルでの検索座標の移動の一例を示す模式図。
【図１５】同カメラにおける画素レベルでの検索座標の移動の一例を示す模式図。
【図１６】同カメラにおける水平垂直判別部により設定した垂直方向及び水平方向上の検索座標の除外を示す図。
【図１７】同カメラにおけるパターン合成処理を示すフローチャート。
【図１８】本発明に係る撮像装置としてのデジタルカメラの第２の実施の形態における輝点検索処理フローチャート。
【図１９】同カメラにおけるパターン合成処理を示すフローチャート。
【発明を実施するための形態】
【００１２】
以下、本発明の第１の実施の形態について図面を参照して説明する。
図１は撮像装置の一例としてのデジタルカメラの構成図を示す。このデジタルカメラは、交換式レンズ１００と、カメラ本体２００とを有するレンズ交換式デジタルカメラの例を示す。但し、以下に説明する本発明の実施形態に係る技術はコンパクト式デジタルカメラや携帯電話、携帯情報端末、ゲーム機器等にも適用可能である。
【００１３】
交換式レンズ１００は、レンズ１０１と、絞り１０２と、ドライバ１０３と、レンズマイクロコンピュータ１０４と、フラッシュ（Ｆｌａｓｈ）メモリ１０５とを有する。交換式レンズ１００がカメラ本体２００に装着された際に、交換式レンズ１００のレンズマイクロコンピュータ１０４は、インターフェイス（Ｉ/Ｆ）１０６を介してカメラ本体２００のマイクロコンピュータ２１８と通信可能に接続される。
【００１４】
レンズ１０１は、フォーカスレンズやズームレンズ等の１つ以上のレンズから構成されており、図示しない被写体からの光学像（被写体像）を撮像素子２０２に集光する。絞り１０２は、撮像素子２０２に集光される被写体像の光量を調節する。
ドライバ１０３は、モータ等を有し、レンズマイクロコンピュータ１０４の制御の下、レンズ１０１を構成するフォーカスレンズやズームレンズをその光軸方向に駆動する。また、ドライバ１０３は、レンズマイクロコンピュータ１０４の制御の下、絞り１０２を開閉する。
【００１５】
レンズマイクロコンピュータ１０４は、カメラ本体２００のマイクロコンピュータ２１８の制御に従って交換式レンズ１００の動作を制御する。また、レンズマイクロコンピュータ１０４は、Ｆｌａｓｈメモリ１０５に記憶されているレンズ情報をマイクロコンピュータ２１８に送信することも行う。Ｆｌａｓｈメモリ１０５は、レンズ１０１の収差といったレンズ情報等の交換式レンズ１００の各種動作に必要な情報を記憶している。
【００１６】
カメラ本体２００は、メカシャッタ２０１と、撮像素子２０２と、アナログ処理部２０３と、アナログ/デジタル（Ａ/Ｄ）変換部２０４と、バス２０５と、ＳＤＲＡＭ２０６と、画像処理部２０７と、ＡＥ処理部２０８と、ＡＦ処理部２０９と、水平垂直判別部２１０と、輝点検索部２１１と、パターン合成部２１２と、画像圧縮展開部２１３と、メモリインターフェイス（Ｉ/Ｆ）２１４と、記録媒体２１５と、表示ドライバ２１６と、表示部２１７と、マイクロコンピュータ２１８と、操作部２１９と、フラッシュ（Ｆｌａｓｈ）メモリ２２０とを有する。
【００１７】
メカシャッタ２０１は、撮像素子２０２の光電変換面を遮光状態又は露出状態とすることで撮像素子２０２の露光時間を調節する機械的機構である。
撮像素子２０２は、被写体像を電気信号に変換するための光電変換面を有する。光電変換面は、２次元平面状に配列された複数のフォトダイオードと、これらフォトダイオードの前面に設けられたカラーフィルターとを有する。カラーフィルターは、例えば原色系ベイヤ配列のカラーフィルターである。このような撮像素子２０２は、レンズ１０１を介して集光された被写体像を撮像し、被写体像を電気信号（以降、アナログ撮像信号と称する）として出力する。ここで、撮像素子２０２は、ＣＭＯＳ方式の撮像素子でもＣＣＤ方式の撮像素子でも良い。また、撮像素子２０２は、露光時間を電子的に制御する電子シャッタ機能を有していることが望ましい。
【００１８】
アナログ処理部２０３は、撮像素子２０２から出力されたアナログ撮像信号に対して各種のアナログ処理を行う。このアナログ処理としては、例えば、リセットノイズの低減処理、波形整形処理、ゲイン制御処理が含まれる。
Ａ/Ｄ変換部２０４は、アナログ処理部２０３から出力されたアナログ撮像信号をデジタル信号（以降、撮像データと言う）に変換する。この撮像データは、画像処理部２０７による画像処理前のデジタル画像であり、ＲＡＷデータとも呼ばれる。
【００１９】
バス２０５は、カメラ本体２００の内部で発生した各種のデータを転送する。ＳＤＲＡＭ２０６は、カメラ本体２００内部で発生した各種のデータを一時的に記憶する。
画像処理部２０７は、撮像データに対する各種の画像処理を行って画像データを生成する。この画像処理部２０７は、オプティカルブラック（ＯＢ）減算部２０７１と、ホワイトバランス（ＷＢ）補正部２０７２と、同時化処理部２０７３と、カラーマトリクス演算部２０７４と、ガンマ・色再現処理部２０７５と、エッジ強調処理部２０７６と、ノイズ低減（ＮＲ）処理部２０７７とを有する。
【００２０】
ＯＢ減算部２０７１は、撮像データにおける暗電流成分の影響を除去するためのＯＢ減算を行う。ＷＢ補正部２０７２は、撮像データの色バランスを補正するＷＢ補正処理を行う。同時化処理部２０７３は、１画素が１つの色成分に対応している撮像データを、１画素が３つの色成分に対応している撮像データに変換する同時化処理を行う。カラーマトリクス演算部２０７４は、撮像データ全体の色相や彩度の調節を行う。ガンマ・色再現処理部２０７５は、撮像データに対するガンマ変換処理、色再現処理を行う。エッジ強調処理部２０７６は、撮像データにおけるエッジ成分を強調するエッジ強調処理を行う。ＮＲ処理部２０７７は、撮像データにおけるノイズ成分を除去するＮＲ処理を行う。
本実施の形態では、ＯＢ減算部２０７１、ＷＢ補正部２０７２、同時化処理部２０７３、カラーマトリクス演算部２０７４、ガンマ・色再現処理部２０７５、エッジ強調処理部２０７６及びＮＲ処理部２０７７による処理が施された撮像データを画像データと言うこととする。
【００２１】
ＡＥ処理部２０８は、撮像データを用いて被写体の輝度を算出する。さらに、ＡＥ処理部２０８は、算出した被写体の輝度に応じて、撮影時における撮像素子２０２の感度（ＩＳＯ感度）、撮影時における絞り１０２の開放量（絞り値）、撮影時における撮像素子２０２の露光時間（シャッタ速）を決定する。なお、被写体の輝度は、撮像データから算出するだけでなく、例えば専用の測光センサで測定するようにしても良い。
ＡＦ処理部２０９は、撮像データから高周波成分の信号を取り出し、取り出した高周波成分の信号を積算してＡＦ用の合焦評価値を取得する。
【００２２】
水平垂直判別部２１０は、画像データ中の被写体の水平方向と垂直方向とを判別する。ここで、水平方向と垂直方向とは、画像データ自体の垂直方向及び水平方向と、画像データ中の被写体に対する垂直方向及び水平方向とを含む。
輝点検索部２１１は、画像処理部２０７で得られた画像データにおける高輝度画素（輝点）を抽出する。
パターン合成部（描画処理部）２１２は、輝点検索部２１１により検索された輝点色に応じて輝点座標の近傍にパターンを描画する。すなわち、このパターン合成部２１２は、輝点検索部２１１による輝点の抽出結果に応じて画像処理部２０７で得られた画像データに合成用パターンを合成することで画像データにクロスフィルター効果を与える。なお、輝点検索部２１１及びパターン合成部２１２の動作の詳細については後述する。
【００２３】
画像圧縮展開部２１３は、画像の記録時において、画像処理部２０７における画像処理によって得られた画像データに対してＪＰＥＧ方式等の静止画圧縮処理又はＭＰＥＧ方式等の動画圧縮処理を施す。また、画像圧縮展開部２１３は、画像の再生時において、圧縮処理が施された画像データに対して展開（伸張）処理を施す。
メモリＩ/Ｆ２１４は、マイクロコンピュータ２１８等が記録媒体２１５にアクセスするためのインターフェイスである。記録媒体２１５は、例えばカメラ本体２００に着脱自在になされたメモリカードであって、画像圧縮展開部２１３によって圧縮された画像データを含む画像ファイル等が記録される。
【００２４】
表示ドライバ２１６は、画像処理部２０７で得られた画像データ又は画像圧縮展開部２１３で伸張された画像データを映像信号に変換して表示部２１７に出力する。この表示部２１７は、例えば液晶ディスプレイ（ＬＣＤ）であり、表示ドライバ２１６からの映像信号に基づく画像を表示する。
【００２５】
マイクロコンピュータ２１８は、メカシャッタ２０１や撮像素子２０２の動作制御等のカメラ本体２００の各種シーケンスを統括的に制御する。また、マイクロコンピュータ２１８は、交換式レンズ１００の装着時には交換式レンズ１００の動作も制御する。マイクロコンピュータ２１８には、操作部２１９と、Ｆｌａｓｈメモリ２２０とが接続されている。
【００２６】
操作部２１９は、例えば電源ボタン、レリーズボタン、再生ボタン、動画ボタン、各種入力キー等の操作部材である。この操作部２１９は、タッチパネル等で構成されていても良い。ユーザにより操作部２１９の操作がなされると、マイクロコンピュータ２１８は、操作部２１９の操作に対応したシーケンスを実行する。
【００２７】
Ｆｌａｓｈメモリ２２０は、例えばホワイトバランス補正用のホワイトバランスゲイン、カラーマトリクス演算用のカラーマトリクス係数、ガンマ変換用のガンマテーブルといった画像処理部２０７の動作に必要なパラメータ等の、カメラ本体２００の動作に必要な各種のパラメータを記憶している。
【００２８】
さらに、本実施形態において、Ｆｌａｓｈメモリ２２０は、パターン記憶部としての機能も有し、パターン合成部２１２において合成用パターンを生成するために必要なパターンを示すデータ（パターンデータ）も記憶する。このＦｌａｓｈメモリ２２０に記憶させるパターンは、例えば図２（ａ）に示すクロスパターンである。このクロスパターンは、中心部から放射状に伸びる複数の直線から構成される。例えば図２（ａ）で示すクロスパターンは、中央部から伸びる４本の直線で構成されている。そして、クロスパターンを構成する４本の直線は、それぞれ、中央部からの距離に応じて輝度値が低下するとともに線の太さが細くなっている。
【００２９】
クロスパターンを構成する直線の本数は４本に限るものではなく、任意の複数本で良い。例えば、図２（ｂ）で示すスノークロスパターンのように、中央部から伸びる６本の直線でパターンを構成するようにしても良いし、図２（ｃ）で示すサニークロスパターンのように、中央部から伸びる８本の直線でパターンを構成するようにしても良い。また、直線の他に曲線を含めるようにしてパターンを構成するようにしても良い。例えば、図２（ｄ）で示すような星型のパターンや、図２（ｅ）で示すようなハート型のパターン等、各種の形状のパターンをＦｌａｓｈメモリ２２０に記憶させるようにして良い。さらに、図２（ａ）〜図２（ｅ）で示したパターンを示すパターンデータは、図２（ａ）〜図２（ｅ）で示したパターンを含む矩形データとして構成しておいても良い。
【００３０】
また、Ｆｌａｓｈメモリ２２０は、マイクロコンピュータ２１８が実行する種々のプログラム、例えば画像処理プログラムも記憶する。この画像処理プログラムは、コンピュータであるマイクロコンピュータ２１８に、画像データにおける輝点を検索する輝点検索機能と、この検索された輝点の画像データにおける輝点座標を求める輝点座標取得機能と、輝点座標を含む周辺に予め設定されている複数の検索座標の中から輝点座標との距離が所定距離以上離れている１つ以上の検索座標を検索対象の座標とし、当該検索対象の座標における輝点色を推定するための条件を有する画素値すなわち輝度値が飽和していない画素値に基づいて輝点の輝点色を推定する輝点色推定機能と、この推定された輝点色に応じて輝点座標の近傍に上記図２（ａ）に示すようなクロスパターンパターンを描画する描画処理機能とを実現する。
【００３１】
上記マイクロコンピュータ２１８は、輝点座標取得部２１８ａと、輝点色推定部２１８ｂとを有する。
輝点座標取得部２１８ａは、輝点検索部２１１により検索された輝点の画像データにおける輝点座標を求める。
輝点色推定部２１８ｂは、画像データにおける輝点座標を含む周辺に予め設定されている複数の検索座標の中から輝点座標との距離が所定距離以上離れている１つ以上の検索座標を検索対象の座標とし、当該検索対象の座標における輝点色を推定するための条件を有する画素値すなわち輝度値が飽和していない画素値に基づいて輝点色を推定する。
【００３２】
この輝点色推定部２１８ｂは、複数の検索座標のうち輝点座標からの距離が短い検索座標から遠い検索座標に向かって検索対象とする。
この輝点色推定部２１８ｂは、輝点座標を中心として放射状に延びる１本以上の線上に複数の検索座標を設定する。この場合、輝点色推定部２１８ｂは、放射状に延びる１本以上の線を垂直方向及び水平方向を除く方向に複数の検索座標を設定する。
この輝点色推定部２１８ｂは、垂直方向及び前記水平方向として画像データ自体の垂直方向及び水平方向と、画像データ中の被写体に対する垂直方向及び水平方向とを含む。
そして、輝点色推定部２１８ｂは、水平垂直判別部２１０により判別された水平方向と垂直方向との各線上への検索座標の設定を除外する。しかるに、輝点色推定部２１８ｂは、水平垂直判別部２１０により判別された撮影装置の撮影時の傾きに基づいて被写体の水平方向と垂直方向とを判別し、かつ水平垂直判別部２１０により判別された水平方向と垂直方向との各線上への検索座標の設定を除外する。
又、輝点色推定部２１８ｂは、輝点色を推定するための条件を有する画素値として例えば所定の彩度以上の彩度を有する画素値を用いて輝点色を推定する。この輝点色推定部２１８ｂは、所定の値以下の画素値を用いて輝点色を推定する。
【００３３】
パターン合成部（描画処理部）２１２は、パターン記憶部としてのＦｌａｓｈメモリ２２０に記憶されている例えば図２（ａ）で示すクロスパターン等の所定のパターンを、輝点座標に対応する位置に合成する。この場合、パターン合成部２１２は、Ｆｌａｓｈメモリ２２０に記憶されているクロスパターン等の所定のパターンの色相及び彩度を輝点色に応じて変更し、当該変更した所定のパターンを輝点座標に対応する位置に合成する。
【００３４】
次に、上記の如く構成されたデジタルカメラの動作について図３に示すメイン動作のフローチャートを参照して説明する。このメイン動作のフローチャートは、例えばユーザによって操作部２１９の電源ボタンが押される等して本デジタルカメラの電源がオンされた場合に行われる。
【００３５】
電源投入後等において、マイクロコンピュータ２１８は、先ず、自身が有するレジスタに設定されている記録中フラグをＯｆｆにする（ステップＳ１０１）。記録中フラグは、動画記録中であるか否かを示すフラグである。記録中フラグがＯｆｆになっている間は、動画記録中でないことを示す。一方、記録中フラグがＯｎになっている間は、動画記録中であることを示す。
【００３６】
次に、マイクロコンピュータ２１８は、ユーザによって操作部２１９の再生ボタンが押されたか否かを判定する（ステップＳ１０２）。この判定の結果、再生ボタンが押された場合、マイクロコンピュータ２１８は、再生処理を実行する（ステップＳ１０３）。再生処理の詳細については後述する。
再生処理の実行後又は上記ステップＳ１０２の判定の結果で再生ボタンが押されていない場合、マイクロコンピュータ２１８は、ユーザによって操作部２１９の動画ボタンが押されたか否かを判定する（ステップＳ１０４）。この判定の結果、動画ボタンが押された場合、マイクロコンピュータ２１８は、記録中フラグを反転させる（ステップＳ１０５）。即ち、マイクロコンピュータ２１８は、記録中フラグがＯｆｆの場合にはＯｎに、Ｏｎの場合にはＯｆｆにする。
【００３７】
記録中フラグの反転後又は上記ステップＳ１０５の判定の結果で動画ボタンが押されていない場合、マイクロコンピュータ２１８は、現在、動画記録中であるか否か、即ち記録中フラグがＯｎであるか否かを判定する（ステップＳ１０６）。この判定の結果、記録中フラグがＯｎである場合、マイクロコンピュータ２１８は、動画処理を実行する（ステップＳ１０７）。動画処理の詳細については後述する。
【００３８】
また、上記ステップＳ１０６の判定の結果、記録中フラグがＯｆｆである場合、マイクロコンピュータ２１８は、ユーザによって操作部２１９のレリーズボタンが半押しされてレリーズボタンの状態がＯｆｆ状態から１ｓｔレリーズスイッチのＯｎ状態に遷移したか否かを判定する（ステップＳ１０８）。この判定の結果、レリーズボタンの状態が１ｓｔレリーズスイッチのＯｎ状態に遷移した場合、マイクロコンピュータ２１８は、ＡＥ処理を行う（ステップＳ１０９）。このＡＥ処理において、マイクロコンピュータ２１８は、ＡＥ処理部２０８により撮像データを用いて被写体の輝度を算出させ、この算出させた被写体の輝度に応じて撮影時における撮像素子２０２の感度（ＩＳＯ感度）、撮影時における絞り１０２の開放量（絞り値）、撮影時における撮像素子２０２の露光時間（シャッタ速）を決定させる。
【００３９】
次に、マイクロコンピュータ２１８は、ＡＦ処理を行う（ステップＳ１１０）。このＡＦ処理において、マイクロコンピュータ２１８は、ＡＦ処理部２０９により合焦評価値を取得させる。このマイクロコンピュータ２１８は、ＡＦ処理部２０９で取得された合焦評価値により、撮像データにおけるコントラストを評価しつつ、レンズ１０１のフォーカスレンズを微少量ずつ駆動させるようにレンズマイクロコンピュータ１０４に指示する。その後、マイクロコンピュータ２１８は、コントラストが最大となった時点でフォーカスレンズの駆動を停止させるようにレンズマイクロコンピュータ１０４に指示する。このようなＡＦ処理は、所謂コントラスト方式のＡＦ処理である。ＡＦ処理として位相差ＡＦ処理を用いるようにしても良い。
【００４０】
また、ＡＦ処理は、レリーズボタンの状態が１ｓｔレリーズスイッチのＯｎ状態に遷移したタイミングにおいて実行されるものである。即ち、レリーズボタンの状態が１ｓｔレリーズスイッチのＯｎ状態に遷移しないタイミング、例えば、レリーズボタンの状態がＯｆｆ状態のままである場合、１ｓｔレリーズスイッチのＯｎ状態のままである場合、後述する２ｎｄレリーズスイッチのＯｎ状態のままである場合等では、ＡＦ処理は実行されない。
【００４１】
また、上記ステップＳ１０８の判定の結果、レリーズボタンの状態が１ｓｔレリーズスイッチのＯｎ状態に遷移していない場合、マイクロコンピュータ２１８は、ユーザによって操作部２１９のレリーズボタンが全押しされてレリーズボタンの状態が２ｎｄレリーズスイッチのＯｎ状態となっているか否かを判定する（ステップＳ１１１）。この判定の結果、レリーズボタンの状態が２ｎｄレリーズスイッチのＯｎ状態である場合、マイクロコンピュータ２１８は、静止画処理を実行する（ステップＳ１１２）。この静止画処理は、レリーズボタンの状態が２ｎｄレリーズスイッチのＯｎ状態である間は実行されるものである。例えば、１枚の静止画像が記録された後であってもレリーズボタンの状態が２ｎｄレリーズスイッチのＯｎ状態であれば、次の静止画撮影を実行する。この静止画処理の詳細については後述する。
【００４２】
上記ステップＳ１１１の判定の結果、レリーズボタンの状態が２ｎｄレリーズスイッチのＯｎ状態でない場合、マイクロコンピュータ２１８は、ステップＳ１０７の動画処理を実行する。
上記ステップＳ１０７、Ｓ１１０、Ｓ１１２の後、マイクロコンピュータ２１８は、ユーザによって操作部２１９の電源ボタンが押される等してデジタルカメラの電源がオフされたか否かを判定する（ステップＳ１１３）。この判定の結果、デジタルカメラの電源がオフされていない場合、マイクロコンピュータ２１８は、上記ステップＳ１０２に戻る。一方、ステップＳ１１３の判定の結果、デジタルカメラの電源がオフされた場合、マイクロコンピュータ２１８は、図３に示すメイン動作のフローチャートの処理を終了させる。
【００４３】
次に、静止画処理について図４に示す静止画処理フローチャートを参照して説明する。
マイクロコンピュータ２１８は、先ず、撮影処理を実行する（ステップＳ２０１）。この撮影処理において、マイクロコンピュータ２１８は、上記図３に示すステップＳ１０９のＡＥ処理において決定されたＩＳＯ感度、絞り値、シャッタ速に応じて撮像素子２０２の露光を行う。即ち、マイクロコンピュータ２１８は、ＩＳＯ感度に応じてアナログ処理部２０３におけるゲイン制御量（増幅率）を設定するとともに、絞り値をレンズマイクロコンピュータ１０４に送信する。レンズマイクロコンピュータ１０４による制御による絞り１０２の駆動と同期して、マイクロコンピュータ２１８は、シャッタ速に応じてメカシャッタ２０１を動作させて撮像素子２０２の露光量を制御する。
【００４４】
撮影処理の後、マイクロコンピュータ２１８は、撮影の結果としてＳＤＲＡＭ２０６に記憶された撮像データに対する画像処理を実行するための制御を行う（ステップＳ２０２）。この画像処理は、動画処理の際の画像処理と同一である。詳細については後述する。
画像処理の後、マイクロコンピュータ２１８は、画像処理の結果としてＳＤＲＡＭ２０６に記憶された画像データを再生するように表示ドライバ２１６に指示する。この指示を受けて表示ドライバ２１６は、ＳＤＲＡＭ２０６から画像データを読み出し、読み出した画像データを映像信号に変換して表示部２１７に出力する。表示部２１７は、この映像信号に基づいて画像（レックビュー画像）を再生する（ステップＳ２０３）。
【００４５】
続いて、マイクロコンピュータ２１８は、画像処理の結果としてＳＤＲＡＭ２０６に記憶された画像データを静止画ファイルとして記録する処理を行う（ステップＳ２０４）。先ず、マイクロコンピュータ２１８は、静止画ファイルの記録画質等に応じて、画像処理の結果としてＳＤＲＡＭ２０６に記憶された画像データに対するリサイズ処理を実行するようにリサイズ処理部２０７９に指示する。その後、マイクロコンピュータ２１８は、リサイズ処理の結果としてＳＤＲＡＭ２０６に記憶された画像データに対する静止画圧縮処理を実行するように画像圧縮展開部２１３に指示する。この指示を受けて画像圧縮展開部２１３は、ＪＰＥＧ方式等の静止画圧縮処理を行い、圧縮した画像データをＳＤＲＡＭ２０６に記憶させる。その後、マイクロコンピュータ２１８は、画像圧縮展開部２１３により圧縮された画像データをＳＤＲＡＭ２０６から読み出し、読み出した画像データに所定のヘッダ情報を付与した静止画ファイルを作成し、作成した静止画ファイルを記録媒体２１５に記録する（ステップＳ２０５）。静止画ファイルの記録後、マイクロコンピュータ２１８は、図４に示す静止画処理を終了する。
【００４６】
次に、動画処理について図５に示す動画処理フローチャートを参照して説明する。
マイクロコンピュータ２１８は、先ず、ＡＥ処理を実行する（ステップＳ３０１）。このＡＥ処理において、マイクロコンピュータ２１８は、ＡＥ処理部２０８によってＩＳＯ感度、絞り値、シャッタ速を決定させる。ＡＥ処理の後、マイクロコンピュータ２１８は、撮影処理を実行する（ステップＳ３０２）。撮影処理において、マイクロコンピュータ２１８は、ＩＳＯ感度に応じてアナログ処理部２０３におけるゲイン制御量（増幅率）を設定するとともに、絞り値をレンズマイクロコンピュータ１０４に送信する。このレンズマイクロコンピュータ１０４による制御による絞り１０２の駆動と同期して、マイクロコンピュータ２１８は、シャッタ速に応じて撮像素子２０２の電子シャッタ機能を動作させて撮像素子２０２の露光量を制御する。撮像素子２０２の露光により得られた撮像データはＳＤＲＡＭ２０６に記憶される。
【００４７】
撮影処理の後、マイクロコンピュータ２１８は、撮影処理の結果としてＳＤＲＡＭ２０６に記憶された撮像データに対する画像処理を実行するための制御を行う（ステップＳ３０３）。この画像処理の詳細については後述する。
画像処理の後、マイクロコンピュータ２１８は、画像処理の結果としてＳＤＲＡＭ２０６に記憶された画像データを再生するように表示ドライバ２１６に指示する。この指示を受けて表示ドライバ２１６は、ＳＤＲＡＭ２０６から画像データを読み出し、読み出した画像データを映像信号に変換して表示部２１７に出力する。表示部２１７は、この映像信号に基づいて画像（ライブビュー画像）を再生する（ステップＳ３０４）。
【００４８】
続いて、マイクロコンピュータ２１８は、現在、動画記録中であるか否か、即ち記録中フラグがＯｎであるか否かを判定する（ステップＳ３０５）。この判定の結果、記録中フラグがＯｆｆである場合、マイクロコンピュータ２１８は、図５に示す動画処理を終了する。この場合、撮影により得られた画像（動画像）が表示部２１７に表示されるのみとなる。このようにして表示部２１７に表示される動画像は、静止画撮影前の構図確認等に用いられるライブビュー画像として利用される。
【００４９】
また、上記ステップＳ３０５の判定の結果、記録中フラグがＯｎである場合、マイクロコンピュータ２１８は、画像処理の結果としてＳＤＲＡＭ２０６に記憶された画像データを動画ファイルとして記録する処理を行う（ステップＳ３０６）。すなわち、マイクロコンピュータ２１８は、動画ファイルの記録画質等に応じて、画像処理の結果としてＳＤＲＡＭ２０６に記憶された画像データに対するリサイズ処理を実行するようにリサイズ処理部２０７９に指示する。その後、マイクロコンピュータ２１８は、リサイズ処理の結果としてＳＤＲＡＭ２０６に記憶された画像データに対する動画圧縮処理を実行するように画像圧縮展開部２１３に指示する。この指示を受けて画像圧縮展開部２１３は、記録する動画像ファイルの形式に応じた圧縮処理を行い、圧縮した画像データをＳＤＲＡＭ２０６に記憶させる。その後、マイクロコンピュータ２１８は、画像圧縮展開部２１３により圧縮された画像データをＳＤＲＡＭ２０６から読み出し、読み出した画像データに所定のヘッダ情報を付与した動画ファイルを作成または追記し、この作成した動画ファイルを記録媒体２１５に記録する。動画ファイルの記録後、マイクロコンピュータ２１８は、図５に示す動画処理を終了する。
【００５０】
次に、再生処理について図６に示す再生処理フローチャートを参照して説明する。
マイクロコンピュータ２１８は、ユーザによる操作部２１９に対する入力キーを受けてファイルを選択する（ステップＳ４０１）。このファイルの選択は、例えば記録媒体２１５に記録されている動画ファイル及び静止画ファイルの一覧を表示部２１７に表示する。なお、この表示では、動画ファイルであれば最初のフレーム画像を表示する。ユーザは、操作部２１９における例えば十字キーを操作して再生したい動画ファイル及び静止画ファイルを選択し、かつ同操作部２１９における決定ボタンを押し操作することにより再生するファイルを決定する。
【００５１】
ファイルの選択がなされると、マイクロコンピュータ２１８は、選択されたファイルが動画ファイルであるか否かを判定する（ステップＳ４０２）。この判定の結果、選択されたファイルが動画ファイルである場合、マイクロコンピュータ２１８は、動画ファイルのヘッダ情報を参照して動画像ファイルを構成する画像データの数（フレーム数）を取得する（ステップＳ４０３）。
次に、マイクロコンピュータ２１８は、表示部２１７に表示させるべき画像データのフレーム番号を示す変数Ｎを１（最初のフレームを示す値：Ｎ＝１）にリセットする（ステップＳ４０４）。その後、マイクロコンピュータ２１８は、選択された動画ファイルのＮフレーム目の画像データを展開するように画像圧縮展開部２１３に指示する（ステップＳ４０５）。この指示を受けて画像圧縮展開部２１３は、選択された動画像ファイルを展開し、展開の結果として得られた動画像ファイルのＮフレーム目の画像データをＳＤＲＡＭ２０６に記憶する。
【００５２】
画像データが展開された後、マイクロコンピュータ２１８は、ＳＤＲＡＭ２０６に記憶されたＮフレーム目の画像データを再生するように表示ドライバ２１６に指示する。この指示を受けて表示ドライバ２１６は、ＳＤＲＡＭ２０６から画像データを読み出し、読み出した画像データを映像信号に変換して表示部２１７に出力する。表示部２１７は、この映像信号に基づいて画像を再生する（ステップＳ４０６）。Ｎフレーム目に対応した画像の表示後、マイクロコンピュータ２１８は、Ｎに１を加算（Ｎ＝Ｎ＋１）する（ステップＳ４０７）。その後、マイクロコンピュータ２１８は、Ｎがフレーム数以下であるか否かを判定する（ステップＳ４０８）。
【００５３】
上記ステップＳ４０８の判定の結果、Ｎがフレーム数以下である、即ち最終フレーム目までの画像表示が終了していない場合、マイクロコンピュータ２１８は、上記ステップＳ４０５に戻り、次のフレームの画像表示を行う。一方、上記ステップＳ４０８の判定の結果、Ｎがフレーム数を越えた場合、マイクロコンピュータ２１８は、図６に示す再生処理を終了する。
【００５４】
また、上記ステップＳ４０２の判定の結果、選択されたファイルが動画ファイルでない、即ち静止画ファイルである場合、マイクロコンピュータ２１８は、選択された静止画ファイルを展開するように画像圧縮展開部２１３に指示する（ステップＳ４０９）。この指示を受けて画像圧縮展開部２１３は、選択された静止画ファイルを展開し、展開の結果として得られた画像データをＳＤＲＡＭ２０６に記憶する。
【００５５】
画像データが展開された後、マイクロコンピュータ２１８は、ＳＤＲＡＭ２０６に記憶された画像データを再生するように表示ドライバ２１６に指示する。この指示を受けて表示ドライバ２１６は、ＳＤＲＡＭ２０６から画像データを読み出し、読み出した画像データを映像信号に変換して表示部２１７に出力する。表示部２１７は、この映像信号に基づいて画像を再生する（ステップＳ４１０）。その後、マイクロコンピュータ２１８は、図６に示す再生処理を終了する。
【００５６】
次に、画像処理について図７に示す画像処理フローチャートを参照して説明する。
マイクロコンピュータ２１８は、先ず、撮影処理の結果としてＳＤＲＡＭ２０６に記憶された撮像データに対して通常の画像処理用の画像処理パラメータを用いた現像処理を実行するように画像処理部２０７に指示する。この指示を受けて、画像処理部２０７は、通常の画像処理用の画像処理パラメータをＦｌａｓｈメモリ２２０から読み込む（ステップＳ５０１）。
【００５７】
通常の画像処理用の画像処理パラメータの読み込み後、画像処理部２０７は、通常の画像処理用の画像処理パラメータを用いてＳＤＲＡＭ２０６に撮像データに対する現像処理を実行し、通常の画像処理用の画像処理パラメータを用いた現像処理の結果として得られた画像データ（以下、通常画像データと称する）を、ＳＤＲＡＭ２０６における撮像データの記憶領域とは別の記憶領域に記憶する（ステップＳ５０２）。現像処理の詳細については後述する。
【００５８】
ここで、通常画像処理用の画像処理パラメータとしては、例えばＷＢ補正に用いられるＷＢゲイン、カラーマトリクス演算に用いられるカラーマトリクス、ガンマ変換処理に用いられるガンマテーブル、ＮＲ低減処理に用いられるＮＲパラメータ、が含まれる。
通常の画像処理用の画像処理パラメータを用いた現像処理の後、マイクロコンピュータ２１８は、画像処理モードとしてクロスフィルターモードが設定されているか否かを判定する（ステップＳ５０３）。画像処理モードは、例えば操作部２１９の入力キーの操作によって設定することができる。なお、クロスフィルターモードの設定の際には、通常画像データ中の輝点に対応した画素に合成するパターンの形状を例えば上記図２（ａ）〜図２（ｅ）に示すパターンの中から選択しておく。
上記ステップＳ５０３の判定の結果、画像処理モードとしてクロスフィルターモードが設定されていない場合、マイクロコンピュータ２１８は、図７に示す画像処理を終了する。
【００５９】
一方、上記ステップＳ５０３の判定の結果、画像処理モードとしてクロスフィルターモードが設定されている場合、マイクロコンピュータ２１８は、撮影処理の結果としてＳＤＲＡＭ２０６に記憶された撮像データに対してクロスフィルター処理を施すように画像処理部２０７に指示する。この指示を受けて、画像処理部２０７は、輝度検出画像処理用の画像処理パラメータをＦｌａｓｈメモリ２２０から読み込む（ステップＳ５０４）。
【００６０】
輝度検出画像処理用の画像処理パラメータの読み込み後、画像処理部２０７は、輝度検出画像処理用の画像処理パラメータを用いてＳＤＲＡＭ２０６に記憶された撮像データに対する現像処理を実行し、輝度検出画像処理用の画像処理パラメータを用いた現像処理の結果として得られた画像データ（以下、輝度検出画像データと言う）を、ＳＤＲＡＭ２０６における通常画像データの記憶領域とは別の記憶領域に記憶させる（ステップＳ５０５）。輝度検出画像処理用の画像処理パラメータを用いた現像処理は、現像処理に使用する画像処理パラメータを輝度検出画像処理用の画像処理パラメータとするだけである。
【００６１】
輝度検出画像処理用の画像処理パラメータも通常画像処理用の画像処理パラメータと同様に、ＷＢゲイン、カラーマトリクス、ガンマテーブル、ＮＲパラメータが含まれる。ただし、輝度検出画像処理用の画像処理パラメータは、ガンマテーブルとＮＲパラメータとが通常画像処理用の画像処理パラメータと異なっている。輝度検出画像処理用のガンマテーブルは、通常画像処理用の画像処理パラメータに比べて低輝度側をより圧縮する特性を有しているものとする。このような輝度検出画像処理用のガンマテーブルでガンマ変換を行った場合には撮像データにおける低輝度部が０になり易くなる。また、ＮＲパラメータとしては、コアリング閾値や孤立点判定用閾値等がある。コアリング閾値は、細かなノイズを抑えるためのコアリング処理に用いるある所定の範囲を持った閾値である。コアリング処理では、コアリング閾値内の画素値を有する画素の画素値をある一定の値（例えばコアリング閾値の中央値）とする。孤立点判定用閾値は、周辺画素と画素値が異なる孤立点を判定するための閾値である。孤立点は、周辺画素の画素値を用いた補間処理によって除去される。輝度検出画像処理は、通常画像処理に比べてノイズを低減できたほうが良いので、コアリング閾値は大きくし、孤立点と判定する閾値は小さくする。
【００６２】
次に、マイクロコンピュータ２１８は、水平垂直判別部２１０により画像データ中の被写体の水平方向と垂直方向とを判別させる（ステップＳ５０６）。ここで、水平方向と垂直方向とは、画像データ自体の垂直方向及び水平方向と、画像データ中の被写体に対する垂直方向及び水平方向とを含む。
【００６３】
次に、マイクロコンピュータ２１８は、輝点検索部２１１に対して輝点検索処理の実行を指示する。これを受けて、輝点検索部２１１は、輝点検索処理を行う（ステップＳ５０７）。この輝点検索処理は、画像処理部２０７で得られた画像データにおける高輝度画素（輝点）とこの画素に関するデータとを抽出する。
輝点検索処理の終了後、マイクロコンピュータ２１８は、パターン変更処理を行うようにパターン合成部２１２に指示する。パターン変更処理の後、マイクロコンピュータ２１８は、パターン合成処理を行うようにパターン合成部２１２に指示する（ステップＳ５０８）。パターン合成処理の後、マイクロコンピュータ２１８は、図７に示す画像処理を終了する。
【００６４】
次に、現像処理について図８に示す現像処理フローチャートを参照して説明する。
画像処理部２０７は、ＯＢ減算部２０７１によりＯＢ減算処理を行う（ステップＳ６０１）。ＯＢ減算部２０７１は、入力された撮像データからオプティカルブラック（ＯＢ）値を減算することで撮像データにおける暗電流成分を除去する。ＯＢ減算の後、画像処理部２０７は、ＷＢ補正部２０７２によりＷＢ補正処理を行う（ステップＳ６０２）。ＷＢ補正部２０７２は、入力された撮像データの色成分毎にＷＢゲインを乗じることで撮像データの色バランスを補正する。ＷＢ補正の後、画像処理部２０７は、同時化処理部２０７３により同時化処理を行う（ステップＳ６０３）。同時化処理部２０７３は、入力された撮像データを、補間処理を用いて同時化する。これにより、１画素が原色系ベイヤ配列に対応した１つの色成分を有している撮像データを１画素がＲＧＢ３つの色成分を有する撮像データに変換する。
【００６５】
同時化処理の後、画像処理部２０７は、カラーマトリクス演算部２０７４によってカラーマトリクス演算を行う（ステップＳ６０４）。カラーマトリクス演算部２０７４は、入力された撮像データの各画素にカラーマトリクス係数を乗じることで撮像データの色を変換する。カラーマトリクス演算の後、画像処理部２０７は、ガンマ・色再現処理部２０７５によりガンマ変換処理を行う（ステップＳ６０５）。ガンマ・色再現処理部２０７５は、入力された撮像データをマイクロコンピュータ２１８によって設定されたガンマテーブルを用いてガンマ変換する。ガンマ変換処理の後、画像処理部２０７は、ガンマ・色再現処理部２０７５により色補正処理を行う（ステップＳ６０６）。色補正処理において、ガンマ・色再現処理部２０７５は、入力された撮像データの各画素に輝度・色差変換マトリクス係数を乗じることでＲＧＢ３つの色成分を有する撮像データを輝度（Ｙ）・色差（Ｃｂ、Ｃｒ）データに変換する。そして、ガンマ・色再現処理部２０７５は、色差データに彩度補正係数、色相補正係数を乗じることで撮像データの色補正を行う。
【００６６】
色補正処理の後、画像処理部２０７は、エッジ強調処理部２０７６によりエッジ強調処理を行う（ステップＳ６０７）。エッジ強調処理部２０７６は、入力された輝度データに対してバンドパスフィルター処理を施して撮像データにおけるエッジ成分を抽出し、この抽出したエッジ成分にエッジ強調量に応じた係数を乗じる。そして、エッジ強調処理部２０７６は、係数を乗じたエッジ成分をもとの輝度データに加算することで撮像データのエッジ成分を強調する（ステップＳ６０７）。エッジ強調処理の後、画像処理部２０７は、ＮＲ処理部２０７７によりＮＲ処理を行う（ステップＳ６０８）。ＮＲ処理部２０７７は、入力された輝度データに対して上述したようなコアリング処理等を施して撮像データにおけるノイズ成分を低減する。
【００６７】
ＮＲ処理の後、画像処理部２０７は、一連の現像処理によって得られた画像データをＳＤＲＡＭ２０６に記憶させた後、図８に示す現像処理を終了する。図８に示す現像処理の順番は、一例であって適宜変更可能である。例えば、ＷＢ補正処理の前に同時化処理を行ったり、ガンマ変換処理の前に輝度・色差データへの変換を行ったりしても良い。また、輝度・色差データへの変換は必ずしも行わなくとも良い。
【００６８】
次に、輝点検索処理について図９に示す輝点検索処理フローチャートを参照して説明する。
ここで、以下の説明に先立って、輝度検出画像の水平方向画素数（ピクセル）をＷ、垂直方向画素数（ピクセル）をＨと定義する。例えば、図１０で示す輝度検出画像データは、Ｗ＝８、Ｈ＝４の例を示す。
輝点検索部２１１は、先ず、輝度検出画像データにおいて輝点検索の対象となる画素の座標を示す変数Ｘ、Ｙ（Ｘは水平位置、Ｙは垂直位置を示す）のそれぞれを１に初期化する（ステップＳ７０１）。座標（Ｘ，Ｙ）＝（１，１）は、例えば輝度検出画像データにおける左上端の画素であることを示す。
【００６９】
変数Ｘ、Ｙに１を設定した後、輝点検索部２１１は、ＳＤＲＡＭ２０６に記憶された輝度検出画像データを取得する（ステップＳ７０２）。
ここで、図８に示す現像処理では、輝度データと色差データとを有する輝度検出画像データが生成されるようになっている。しかしながら、図９に示す輝点検索処理は、輝度データに対して行う処理である。従って、上記ステップＳ７０２の処理の際には、輝度データのみを取得すれば良く、色差データについては取得する必要がない。このため、輝度検出画像処理パラメータを用いた現像処理の時点で色差データを生成しないようにしても良い。
【００７０】
また、本実施形態では、輝度検出画像データを取得する際、１個の画素の輝度データをＳＤＲＡＭ２０６から取得する。この画素は、例えば、図１０の太線枠で示す座標（Ｘ，Ｙ）の輝度値Ｄｙ（Ｘ，Ｙ）を含む画素である。
ＳＤＲＡＭ２０６から１個の画素の輝度データを取得した後、輝点検索部２１１は、取得した画素の輝度データが示す輝度値が０を超えているか否かを判定する。なお、ステップＳ７０３の例では０としているが、必ずしも０とすることはなく、所定の低輝度閾値で良い。輝度値Ｄｙ（Ｘ，Ｙ）が０を超えている場合、取得した画素の輝度データが０でないことを示す。
【００７１】
次に、輝点検索部２１１は、座標（Ｘ，Ｙ）の画素の輝度データが示す輝度値Ｄｙ（Ｘ，Ｙ）が予め設定された高輝度閾値Ｔｈを超えているか否かを判定する（ステップＳ７０３）。
この判定の結果、輝度値Ｄｙ（Ｘ，Ｙ）が高輝度閾値Ｔｈを超えている場合、輝点検索部２１１は、座標（Ｘ，Ｙ）の画素が輝点であると判定する。これにより、輝点検索部２１１は、輝度値Ｄｙ（Ｘ，Ｙ）を輝点の輝度値としてＳＤＲＡＭ２０６に記憶させるとともに、座標（Ｘ，Ｙ）を輝点位置としてＳＤＲＡＭ２０６に記憶する。
【００７２】
次に、輝点検索部２１１は、高輝度閾値Ｔｈ以上の輝度で、かつ座標（Ｘ，Ｙ）が含まれる領域をスキャンし、当該領域の水平方向と垂直方向との長さの平均を輝点サイズとし、当該領域の中心を輝点位置とする。輝点検索部２１１は、輝点サイズと輝点位置と当該輝点位置における輝度をまとめて輝点サイズ・輝点位置・輝度情報としてＳＤＲＡＭ２０６に記憶する（ステップＳ７０４）。
【００７３】
この後、輝点検索部２１１は、通常画像データにおける座標（Ｘ，Ｙ）の画素の色から輝点位置における光源色を特定する（ステップＳ７０５）。そして、輝点検索部２１１は、特定した光源色を、上記記憶した輝度値Ｄｙ（Ｘ，Ｙ）及び輝点位置（Ｘ，Ｙ）と関連付けてＳＤＲＡＭ２０６に記憶する。ここで、座標（Ｘ，Ｙ）の画素の色は、例えば通常画像データの座標（Ｘ，Ｙ）における画素の色差データから彩度及び色相を算出することによって特定できる。この他、輝度及び色差データからＲＧＢデータを算出する等して光源色の特定を行っても良い。
【００７４】
光源色の判定の後、輝点検索部２１１は、Ｘに水平方向に加算（Ｘ＝Ｘ＋１）する（ステップ７０６）。
次に、輝点検索部２１１は、ＸがＷ以下であるか否かを判定する（ステップＳ７０７）。この判定の結果、ＸがＷ以下である場合、輝度検出画像データの１行分の画素に対する輝点検索が終了していないことを示す。この場合、輝点検索部２１１は、上記ステップＳ７０３に戻る。
【００７５】
また、上記ステップＳ７０７の判定の結果、ＸがＷを越えた場合、輝度検出画像データの１行分の画素に対する輝点検索が終了したことを示す。この場合、輝点検索部２１１は、Ｙに垂直方向の離散ステップｈを加算するとともに、Ｘに１を設定する（ステップ７０８）。続いて、輝点検索部２１１は、ＹがＨ以下であるか否かを判定する（ステップＳ７０９）。
【００７６】
上記ステップＳ７０９の判定の結果、ＹがＨ以下である場合、輝度検出画像データの全画素に対する輝点検索が終了していないことを示す。この場合、輝点検索部２１１は、上記ステップＳ７０３に戻る。
一方、上記ステップＳ７０９の判定の結果、ＹがＨを越えた場合、輝度検出画像データの全画素に対する輝点検索処理が終了したことを示す。この場合に、輝点検索部２１１は、図９に示す輝点検索処理を終了する。
【００７７】
次に、光源色検索処理について図１１に示す光源色検索処理フローチャートを参照して説明する。
ここで、色情報を検索する座標をＶ（Ｘ，Ｙ）、検索された色情報のデータをＤｖ（Ｘ，Ｙ）、色情報を検索する上限回数をＬとする。
先ず、輝点色推定部２１８ｂは、検索する座標Ｖ（Ｘ，Ｙ）に対して色情報の検索が何回目なのかを示すカウンタＮを（Ｎ＝１）に初期化する（ステップＳ８０１）。
次に、輝点色推定部２１８ｂは、ＳＤＲＡＭ２０６に一時記憶されている輝点サイズと輝点位置と当該輝点位置における輝度の情報を読み込む（ステップＳ８０２）。
【００７８】
次に、輝点色推定部２１８ｂは、ＳＤＲＡＭ２０６に一時記憶されている被写体の傾き情報から光源色の検索で除外する検索ラインを指定する（ステップＳ８０３）。この場合、輝点色推定部２１８ｂは、例えば後述する図１６（ａ）（ｂ）に示すような画像データ中の主に建築物に対して垂直方向Ｈａ及び水平方向Ｈｂとなるラインを除外するように指定する。なお、水平垂直判別部２１０は、画像データ中の被写体の垂直方向Ｈａ及び水平方向Ｈｂを判別する。ここで、水平方向と垂直方向とは、図１６（ａ）（ｂ）に示すような画像データ自体の垂直方向Ｈａ及び水平方向Ｈｂと、画像データ中の被写体に対する垂直方向Ｈａ及び水平方向Ｈｂとを含む。従って、輝点色推定部２１８ｂは、水平垂直判別部２１０により判別された垂直方向Ｈａ及び水平方向Ｈｂに基づいて除外する当該垂直方向Ｈａ及び水平方向Ｈｂとなるラインを指定する。
【００７９】
次に、輝点色推定部２１８ｂは、取得した輝点サイズと輝点位置と当該輝点位置における輝度の情報を使用して、光源色の検索開始位置の座標を指定する（ステップＳ８０４）。この場合、サイズが大きく輝点位置の輝度が飽和しているような場合、輝点位置の周辺では、輝度値が飽和している画像データが多い可能性が高い。このため、色情報を読み取れない可能性が高いので、輝点色推定部２１８ｂは、光源色の検索開始位置の座標を、輝点位置から距離が離れた座標に指定する。
これとは反対に輝点サイズが小さく、輝点位置の輝度値が飽和していないような場合、輝点色推定部２１８ｂは、光源色の検索開始位置の座標を、上記の場合と比較して、輝点位置からの距離が近い座標に指定する。
次に、輝点色推定部２１８ｂは、検索された色情報のデータＤｖ（Ｘ，Ｙ）を予め設定された閾値Ｔｈと比較する（ステップＳ８０５）。この比較の結果、色情報のデータＤｖ（Ｘ，Ｙ）が閾値Ｔｈよりも小さければ、輝点色推定部２１８ｂは、ステップＳ８０１に戻る。なお、画素値の色情報としては彩度を用いる。画素値の色情報として彩度の場合、閾値Ｔｈは、予め設定された彩度を用いる。又は、閾値Ｔｈは、ＲＧＢの値が不均一になる値、例えばＲＧＢの差分又は比の値が不均一になる値とする。閾値Ｔｈは、ＲＧＢの値のうちいずれかに対して予め設定された値以下とする。
【００８０】
色情報のデータＤｖ（Ｘ，Ｙ）が閾値Ｔｈよりも大きければ、輝点色推定部２１８ｂは、検索する座標Ｖ（Ｘ，Ｙ）を次の座標Ｖ（Ｘ，Ｙ）に移動し（ステップＳ８０６）、色情報の検索の回数をカウントするためのカウンタＮを（Ｎ＝Ｎ＋１）にカウントする（ステップＳ８０７）。次に、輝点色推定部２１８ｂは、カウンタＮのカウント値が色情報を検索する上限回数をＬよりも大きいか否かを判別する。この判別の結果、カウンタＮのカウント値が上限回数Ｌよりも小さければ、輝点色推定部２１８ｂは、上記ステップＳ８０５に戻る。カウンタＮのカウント値が上限回数Ｌよりも多きければ、輝点色推定部２１８ｂは、光源色を白と決定する（ステップＳ８０９）。
【００８１】
なお、輝点検索部２１１は、上記したようにステップＳ７０５において、通常画像データにおける座標（Ｘ，Ｙ）の画素の色から輝点位置における光源色を特定する。この輝点検索部２１１は、特定した光源色を、上記記憶した輝度値Ｄｙ（Ｘ，Ｙ）及び輝点位置（Ｘ，Ｙ）と関連付けてＳＤＲＡＭ２０６に記憶する。座標（Ｘ，Ｙ）の画素の色は、例えば通常画像データの座標（Ｘ，Ｙ）における画素の色差データから彩度及び色相を算出することによって特定される。この他、輝度及び色差データからＲＧＢデータを算出する等して光源色の特定を行っても良い。
【００８２】
ここで、輝点色推定部２１８ｂは、上記ステップＳ８０６において、検索する座標Ｖ（Ｘ，Ｙ）を次の座標Ｖ（Ｘ，Ｙ）に移動して色情報の検索を行う。すなわち、輝点色推定部２１８ｂは、画像データにおける輝点座標を含む周辺に予め設定されている複数の検索座標の中から輝点座標との距離が所定距離以上離れている１つ以上の検索座標を検索対象の座標とし、当該検索対象の座標における輝点色を推定するための条件を有する画素値すなわち輝度値が飽和していない画素値に基づいて輝点色を推定する。
この輝点色推定部２１８ｂは、複数の検索座標のうち輝点座標からの距離が短い検索座標から遠い検索座標に向かって検索対象とする。
この輝点色推定部２１８ｂは、輝点座標を中心として放射状に延びる１本以上の線上に複数の検索座標を設定する。この場合、輝点色推定部２１８ｂは、図１２に示すように放射状に延びる１本以上の線を垂直方向Ｖｅ及び水平方向Ｈｏを除く方向に複数の検索座標を設定する。
この輝点色推定部２１８ｂは、垂直方向Ｖｅ及び水平方向Ｈｏとして画像データ自体の垂直方向及び水平方向と、画像データ中の被写体に対する垂直方向及び水平方向とを含む。
そして、輝点色推定部２１８ｂは、水平垂直判別部２１０により判別された垂直方向Ｖｅ及び水平方向Ｈｏとの各線上への検索座標の設定を除外する。
【００８３】
図１２は検索する座標Ｖ（Ｘ，Ｙ）の移動の具体的な一例を示す。輝点色推定部２１８ｂは、放射状に延びる１本以上の線、例えば２本の線Ｌａ、Ｌｂを垂直方向Ｖｅ及び水平方向Ｈｏを除く方向に設定し、これら線Ｌａ、Ｌｂ上に複数の検索座標を設定する。
輝点色推定部２１８ｂは、輝点座標（中心座標）Ｋの周辺部、例えば輝点座標Ｋから予め設定された距離の離れた周辺座標を起点Ｑとし、この起点Ｑから次第に距離が離れると共に、当該起点Ｑの周囲を回るような同心円的な検索用曲線Ｒを設定し、この検索用曲線Ｒ上に複数の検索座標を設定する。
【００８４】
この検索用曲線Ｒ上の各検索座標は、輝点座標Ｋから次第に距離が離れるが、この輝点座標Ｋから各検索座標までの距離ｄｎは、次式により表される。
【００８５】
【数１】
ここで、ｎ＝０，１，２，３，…（整数）、Ｘは輝点座標のｘ方向の値、Ｙは輝点座標のｙ方向の値、ｔは検索開始座標へのオフセット量、ｎは検索回数である。
図１３乃至図１５は画素レベルでの検索座標の移動の一例を模式的に示す。図１３は画像データ上で斜め方向のみで、かつ離散的に検索座標を設定して色検索を行う場合を示す。この検索する座標Ｖ（Ｘ，Ｙ）の移動は、検索座標「１」「２」…「５」の各画素の順に行われる。
図１４は輝点座標Ｋが飽和している場合の画素レベルでの検索座標の移動の一例を模式的に示す。輝点座標Ｋの輝度値が飽和している場合、輝点座標Ｋの付近に色情報がないので、輝点座標Ｋの輝度値に応じて検索開始座標へのオフセット量ｔを設定する。このオフセット量ｔは、輝点座標Ｋの輝度値が大きい程大きな量となり、輝度値が小さければ小さな量となる。すなわち、輝点座標Ｋの輝度値が大きる成る程、輝度値の飽和している領域が広くなるので、オフセット量ｔは、輝点座標Ｋの輝度値が大きる成る程、大きな量に設定される。輝点座標Ｋの輝度値とオフセット量ｔとの関係は、予め設定しておけばよい。
【００８６】
図１５は輝点座標Ｋが飽和していない場合の画素レベルでの検索座標の移動の一例を模式的に示す。この場合、輝点座標Ｋの付近に色情報があるので、オフセット量ｔをなくし、例えば輝点座標Ｋの隣の画素に検索開始座標を設定する。
以上のように輝点座標Ｋの周辺部から同心円的でかつ離散的な検索座標Ｖ（Ｘ，Ｙ）の移動であれば、全ての画素を検索するよりも高速に色検索を行うことが出来る。
【００８７】
又、輝点色推定部２１８ｂは、図１２に示すように画像データ中の垂直方向Ｖｅ及び水平方向Ｈｏを除く方向に複数の検索座標を設定するが、水平垂直判別部２１０により判別された撮像装置の傾きに応じて画像データ中の被写体に対する垂直方向及び水平方向を設定し、これら垂直方向及び水平方向上における検索座標の設定を除外する。
【００８８】
図１６（ａ）は画像データ中に建築物Ｈが存在する。水平垂直判別部２１０は、画像データ中の建築物Ｈに対する垂直方向Ｈａ及び水平方向Ｈｂを設定し、これら垂直方向Ｈａ及び水平方向Ｈｂ上における検索座標の設定を除外する。すなわち、建築物Ｈを被写体とする場合、光源が建築物Ｈに対して垂直方向Ｈａ及び水平方向Ｈｂに連なっているケースが多い。このような建築物Ｈ等の被写体では、光源の色検索を建築物Ｈに対して垂直方向Ｈａ及び水平方向Ｈｂに行うと、これら垂直方向Ｈａ及び水平方向Ｈｂに輝度の飽和する画素が連なるために、これら垂直方向Ｈａ及び水平方向Ｈｂで色情報を検索するのが容易でない。このため、画像データ中の建築物Ｈに対する垂直方向Ｈａ及び水平方向Ｈｂに検索座標を設定することが除外される。これにより、建築物Ｈに対する垂直方向Ｈａ及び水平方向Ｈｂで色情報を検索することがなく、色情報の検索を高速化できる。
【００８９】
図１６（ｂ）は例えばユーザによって本デジタルカメラを意図的に傾けて撮影したときの画像データを示す。この画像データ中には、画像データ自体の垂直方向及び水平方向に対して建築物Ｈの垂直方向Ｈａ及び水平方向Ｈｂが傾いている。水平垂直判別部２１０は、画像データ中で傾いている建築物Ｈに対する垂直方向Ｈａ及び水平方向Ｈｂを設定し、これら垂直方向Ｈａ及び水平方向Ｈｂ上における検索座標の設定を除外する。これにより、上記同様に、建築物Ｈに対する垂直方向Ｈａ及び水平方向Ｈｂで色情報を検索することがなく、色情報の検索を高速化できる。
【００９０】
次に、パターン合成処理について図１７に示すパターン合成処理フローチャートを参照して説明する。
パターン合成部２１２は、何番目の輝点情報を読み出すのかを示す変数Ｎを１にリセットする（ステップＳ９０１）。続いて、パターン合成部２１２は、Ｎ番目の輝点情報をＳＤＲＡＭ２０６から取得する（ステップＳ９０２）。その後、パターン合成部２１２は、ステップＳ９０２で取得した輝度値Ｄｙ（Ｘ，Ｙ）に応じたゲインを上記図２（ａ）乃至（ｂ）のいずれかに示すようなクロスパターン等の合成用パターンデータの各画素に乗じて当該合成用パターンデータをリサイズする（ステップＳ９０３）。このゲインは、例えば輝度値Ｄｙ（Ｘ，Ｙ）が大きいほど１．０に近い値とし、輝度値Ｄｙ（Ｘ，Ｙ）が小さいほど０に近い値とする。このようなゲインを合成用パターンデータに乗じることで、輝点の輝度に応じた輝度を有する合成用パターンデータを作成することが可能である。
【００９１】
合成用パターンに輝度値Ｄｙ（Ｘ，Ｙ）に応じたゲインを乗じた後、パターン合成部２１２は、合成用パターンの色を上記ステップＳ９０２で取得した光源色に変更する（ステップＳ９０４）。この場合、パターン合成部２１２は、例えば合成用パターンの全体に色を付けても良いし、又は合成用パターンの一部分に色を付けたり、多色を付けたり、透明にしたり、さらには３次元（３Ｄ）化の表示にしたり、グラデーションを付けても良い。
【００９２】
次に、パターン合成部２１２は、通常画像データに合成用パターンデータを合成する（ステップＳ９０５）。この際、パターン合成部２１２は、合成用パターンデータにおける中心と通常画像データにおける座標（Ｘ，Ｙ）に対応した画素位置とを一致させるようにして合成を行う。
【００９３】
合成用パターンを合成した後、パターン合成部２１２は、Ｎに１を加える（ステップＳ９０６）。続いて、パターン合成部２１２は、Ｎが輝度情報の数Ｃ以下であるか否かを判定する（ステップＳ９０７）。この判定の結果、ＮがＣ以下である場合、パターン合成部２１２は、上記ステップＳ９０２に戻る。この場合、次の輝点に対するパターン合成が行われる。一方、ＮがＣを越えた場合、パターン合成部２１２は、図１６に示すパターン合成処理を終了する。
【００９４】
このように上記第１の実施の形態によれば、画像データにおける輝点を検索してその輝点座標を求め、この輝点座標を含む周辺に予め設定されている複数の検索座標の中から輝点座標との距離が所定距離以上離れている１つ以上の検索座標を検索対象の座標とし、当該検索対象の座標における輝点色を推定するための条件を有する画素値すなわち輝度値が飽和していない画素値に基づいて輝点の輝点色を推定し、この推定された輝点色に応じて輝点座標の近傍にクロスパターン等を描画するので、高輝度部分の周辺の色を反映させたクロスフィルター効果を効果的に現すために、高輝度部分の周辺の色の検索を効率よく行って処理時間を短縮させることができる。すなわち、画像データの全ての画素を検索することがなく、例えば図１２に示すように輝点座標Ｋの周辺部から同心円的でかつ離散的に検索座標Ｖ（Ｘ，Ｙ）を設定するので、色検索を検索するための処理量を少なくし、色検索に要する処理時間を短縮して高速処理を実現できる。このように高速処理ができるので、例えば輝点の多い夜景の撮影や、ライブビュー表示を行うときなどでも通常の画像表示と同様な速度で光源色を反映した画像を表示することができる。
【００９５】
輝点座標Ｋの輝度値が飽和している場合、例えば図１３に示すように輝点座標Ｋの輝度値に応じて検索開始座標へのオフセット量ｔを設定するので、色情報の無い輝点座標Ｋの付近で色検索を行うことなく、色検索を検索するための処理量を少なくし、色検索に要する処理時間を短縮できる。又、図１５に示すように輝点座標Ｋが飽和していない場合は、オフセット量ｔを無くし、例えば輝点座標Ｋの隣の画素に検索開始座標を設定することにより、色情報を取得するのに要する時間を短縮できる。
【００９６】
輝点の検索座標Ｖ（Ｘ，Ｙ）を設定する場合、輝点の検索を行う処理時間や検索座標Ｖ（Ｘ，Ｙ）の数を予め設定してもよい。これにより、色検索の処理の高速化を図れる。
又、図１６（ａ）に示すように建築物Ｈを被写体とする場合、光源が建築物Ｈに対して垂直方向Ｈａ及び水平方向Ｈｂに連なっているケースが多いので、これら垂直方向Ｈａ及び水平方向Ｈｂでは輝度の飽和する画素が連なり、色情報を検索するのが容易でないが、これら垂直方向Ｈａ及び水平方向Ｈｂへの検索座標の設定を除外するので、建築物Ｈに対する垂直方向Ｈａ及び水平方向Ｈｂで色情報を検索することがなく、色情報の検索を高速化できる。
図１６（ｂ）に示すように本デジタルカメラを意図的に傾けて撮影を行った場合でも、画像データ中で傾いている建築物Ｈに対する垂直方向Ｈａ及び水平方向Ｈｂ上における検索座標の設定を除外するので、上記同様に色情報の検索を高速化できる。
【００９７】
従って、光源色である高輝度部の周辺の色をクロスフィルター効果に反映させることができ、より光学フィルターに近い自然な効果を画像処理で得ることが出来る。さらに、建築物Ｈ等の主要被写体の形状等の特性を活かした検索方法の改善を行なうことによって、高輝度部の周辺の全ての画素を検索する場合に比べて、品質を落とすことなく、大幅に処理時間も短縮することが出来る。
【００９８】
次に、本発明の第２の実施の形態として輝点検索処理及びパターン合成処理について説明する。
図１８は輝点検索処理フローチャートを示す。なお、図９と同一部分には同一符号を付してその詳しい説明は省略する。この輝点検索処理は、上記図９に示す輝点検索処理フローチャートにおける上記ステップＳ７０４の輝点サイズの算出処理を行わないものとなっている。すなわち、この輝点検索処理は、上記ステップＳ７０３の判定の結果、輝度値Ｄｙ（Ｘ，Ｙ）が閾値Ｔｈを超えていれば、ステップＳ１００１において、座標（Ｘ，Ｙ）の輝度を算出し、輝点位置と輝度値Ｄｙ（Ｘ，Ｙ）の情報をＳＤＲＡＭ２０６に記憶する。この後、光源色検索に移る。
【００９９】
図１９はパターン合成処理フローチャートを示す。なお、図１７と同一部分には同一符号を付してその詳しい説明は省略する。このパターン合成処理は、上記図１８に示す輝点検索処理が行われた後の処理である。このパターン合成処理は、輝点の輝度に応じてクロスパターン等のパターンに係数を乗じ、この係数を乗じたクロスパターン等を画像データに合成する。すなわち、このパターン合成処理は、上記ステップＳ９０２におけるＮ番目の輝点情報をＳＤＲＡＭ２０６から取得の後、上記ステップＳ１０１１において、輝点の輝度に応じてクロスパターン等のパターンに係数を乗じる。例えば、輝点の輝度が高い程１．０に近い係数をパターンに乗じ、輝点の輝度が低い程０に近い係数をパターンに乗じる。これにより、被写体の輝度に応じた輝度に強弱を有するクロスパターン等のパターンが作成される。
【０１００】
このように第２の実施の形態であれば、輝点サイズの算出処理を行わないので、上記第１の実施の形態よりも輝点検索の処理が容易となり、輝点検索処理に要する時間を短縮できる。輝点サイズの算出処理を行わなくても、クロスパターン等の輝線の幅がある程度狭ければ、クロスフィルター効果を反映した効果的な画像にすることができる。又、ハードウェア構成によっては処理を高速化することが可能である。
【０１０１】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、上述の実施形態では、クロスフィルター処理をデジタルカメラにおいて行っている。これに対し、例えばデジタルカメラで得られた画像ファイルに対し、デジタルカメラとは別の画像処理装置においてクロスフィルター処理を行うような場合であっても本実施形態の技術を適用することができる。
【０１０２】
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【符号の説明】
【０１０３】
１００：交換式レンズ、２００：カメラ本体、１０１：レンズ、１０２：絞り、１０３：ドライバ、１０４：レンズマイクロコンピュータ、１０５：フラッシュ（Ｆｌａｓｈ）メモリ、１０６：インターフェイス（Ｉ/Ｆ）、２０１：メカシャッタ、２０２：撮像素子、２０３：アナログ処理部、２０４：アナログ/デジタル（Ａ/Ｄ）変換部、２０５：バス、２０６：ＳＤＲＡＭ、２０７：画像処理部、２０８：ＡＥ処理部、２０９：ＡＦ処理部、２１０：水平垂直判別部、２１１：輝点検索部、２１２：パターン合成部、２１３：画像圧縮展開部、２１４：メモリインターフェイス（Ｉ/Ｆ）、２１５：記録媒体、２１６：表示ドライバ、２１７：表示部、２１８：マイクロコンピュータ、２１９：操作部、２２０：フラッシュ（Ｆｌａｓｈ）メモリ、２０７１：オプティカルブラック（ＯＢ）減算部、２０７２：ホワイトバランス（ＷＢ）補正部、２０７３：同時化処理部、２０７４：カラーマトリクス演算部、２０７５：ガンマ・色再現処理部、２０７６：エッジ強調処理部、２０７７：ノイズ低減（ＮＲ）処理部、２１８ａ：輝点座標取得部、２１８ｂ：輝点色推定部。
【技術分野】
【０００１】
本発明は、撮影等により取得された画像データ中における高輝度な部分に対して所定のパターンを描画等する画像処理を行う画像処理装置、撮影装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
カメラ等の撮影装置は、被写体を撮影するとき、レンズと被写体との間に光学的なフィルターを挿入することで、高輝度を有する被写体の周辺に所定のパターン、例えばクロスパターン（十字形状のパターン）を追加したような効果、すなわちクロスフィルター効果を有する写真の撮影をすることができる。パターンとしては、クロスパターン以外にも、クロスパターンを２つ重ねたような８本線のパターンを生じるフィルターや、６本線のパターンを生じるフィルターなどが存在する。
【０００３】
一方、デジタルカメラでは、撮影により取得した画像データ中の高輝度の部分に上記パターンを描画することで、光学的なフィルターを用いて撮影したような画像データを作成する機能を持つものがある。かかる技術を有するものとしては、例えば特許文献１、２がある。
特許文献１は、ある閾値を超える輝点を検索し、検索された輝点の周辺をさらに検索して光源と考えられる領域の中心を算出し、クロスのパターンを描画することで、クロスフィルター効果を画像処理で実現する方法を開示する。特許文献２は、撮影画像における光輝度部を検索し、光輝度部に係数を乗算しながら位置をずらし加算することで、クロス効果を画像処理で実現する方法を開示する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４２０７１２４号公報
【特許文献２】特公平７−１１３９６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
デジタルカメラでは、ＪＰＥＧ形式の画像データに対する編集等において、画像データ中の高輝度部分を検索し、この検索された高輝度部分の近傍にクロスパターンを描画することで、クロスフィルター効果を生じさせた画像データを生成する。
クロスフィルター効果を生じさせるためには、撮影画像データ内の各画素が高輝度部分か否かを判断しなければいけない。しかしながら、昨今のデジタルカメラは、画素数が増大している影響で、クロスフィルター効果を生じさせる場合、高輝度部分の画素を検索するための処理に時間を要し、通常の撮影時の処理と比較して処理に時間がかかる傾向にある。さらに、クロスフィルター効果を生じさせる場合、高輝度部分の周辺の色を反映させると、クロスフィルター効果をより効果的に現すことが出来る。
【０００６】
しかしながら、高輝度部分を判別した後、更に当該高輝度部分の周辺の色を検索するとなると、処理時間が益々増大してしまう。クロスフィルター効果に高輝度部分として例えば光源等の色を反映させないと、光学クロスフィルターと比較して味気ない画像になってしまう。
そこで本発明の目的は、高輝度部分の周辺の色を反映させたクロスフィルター効果を効果的に現すために、高輝度部分の周辺の色の検索を効率よく行って処理時間を短縮させることができる画像処理装置、撮影装置、画像処理方法及び画像処理プログラムを提供することにある。
【課題を解決するための手段】
【０００７】
本発明の主要な局面に係る画像処理装置は、画像データにおける輝点を検索する輝点検索部と、前記輝点検索部により検索された前記輝点の前記画像データにおける輝点座標を求める輝点座標取得部と、前記画像データにおける前記輝点座標を含む周辺に予め設定されている複数の検索座標の中から前記輝点座標との距離が所定距離以上離れている１つ以上の前記検索座標を検索対象の座標とし、当該検索対象の座標における前記輝点色を推定するための条件を有する画素値に基づいて前記輝点色を推定する輝点色推定部と、前記輝点色に応じて前記輝点座標の近傍にパターンを描画する描画処理部とを具備する。
【０００８】
本発明の主要な局面に係る画像処理方法は、画像データにおける輝点を検索し、前記検索された前記輝点の前記画像データにおける輝点座標を求め、前記輝点座標を含む周辺に予め設定されている複数の検索座標の中から前記輝点座標との距離が所定距離以上離れている１つ以上の前記検索座標を検索対象の座標とし、当該検索対象の座標における前記輝点色を推定するための条件を有する画素値に基づいて前記輝点の輝点色を推定し、前記推定された前記輝点色に応じて前記輝点座標の近傍にパターンを描画する。
【０００９】
本発明の主要な局面に係る画像処理プログラムは、コンピュータに、画像データにおける輝点を検索する輝点検索機能と、前記検索された前記輝点の前記画像データにおける輝点座標を求める輝点座標取得機能と、前記輝点座標を含む周辺に予め設定されている複数の検索座標の中から前記輝点座標との距離が所定距離以上離れている１つ以上の前記検索座標を検索対象の座標とし、当該検索対象の座標における前記輝点色を推定するための条件を有する画素値に基づいて前記輝点の輝点色を推定する輝点色推定機能と、前記推定された前記輝点色に応じて前記輝点座標の近傍にパターンを描画する描画処理機能とを実現する。
【発明の効果】
【００１０】
本発明によれば、高輝度部分の周辺の色を反映させたクロスフィルター効果を効果的に現すために、高輝度部分の周辺の色の検索を効率よく行って処理時間を短縮させることができる画像処理装置、撮影装置、画像処理方法及び画像処理プログラムを提供できる。
【図面の簡単な説明】
【００１１】
【図１】本発明に係る撮像装置としてのデジタルカメラの第１の実施の形態を示す構成図。
【図２】同カメラによる画像データに合成する所定のパターンの一例を示す摸式図。
【図３】同カメラにおけるメイン動作を示すフローチャート。
【図４】同カメラにおける静止画処理を示すフローチャート。
【図５】同カメラにおける動画処理を示すフローチャート。
【図６】同カメラにおける再生処理を示すフローチャート。
【図７】同カメラにおける画像処理を示すフローチャート。
【図８】同カメラにおける現像処理を示すフローチャート。
【図９】同カメラにおける輝点検索処理を示すフローチャート。
【図１０】同カメラにおける輝点検索処理を説明するための模式図。
【図１１】同カメラにおける光源色検索処理を示すフローチャート。
【図１２】同カメラの輝点色推定部による検索する座標Ｖ（Ｘ，Ｙ）の移動の具体的な一例を示す模式図。
【図１３】同カメラにおける画素レベルでの検索座標の移動の一例を示す模式図。
【図１４】同カメラにおける画素レベルでの検索座標の移動の一例を示す模式図。
【図１５】同カメラにおける画素レベルでの検索座標の移動の一例を示す模式図。
【図１６】同カメラにおける水平垂直判別部により設定した垂直方向及び水平方向上の検索座標の除外を示す図。
【図１７】同カメラにおけるパターン合成処理を示すフローチャート。
【図１８】本発明に係る撮像装置としてのデジタルカメラの第２の実施の形態における輝点検索処理フローチャート。
【図１９】同カメラにおけるパターン合成処理を示すフローチャート。
【発明を実施するための形態】
【００１２】
以下、本発明の第１の実施の形態について図面を参照して説明する。
図１は撮像装置の一例としてのデジタルカメラの構成図を示す。このデジタルカメラは、交換式レンズ１００と、カメラ本体２００とを有するレンズ交換式デジタルカメラの例を示す。但し、以下に説明する本発明の実施形態に係る技術はコンパクト式デジタルカメラや携帯電話、携帯情報端末、ゲーム機器等にも適用可能である。
【００１３】
交換式レンズ１００は、レンズ１０１と、絞り１０２と、ドライバ１０３と、レンズマイクロコンピュータ１０４と、フラッシュ（Ｆｌａｓｈ）メモリ１０５とを有する。交換式レンズ１００がカメラ本体２００に装着された際に、交換式レンズ１００のレンズマイクロコンピュータ１０４は、インターフェイス（Ｉ/Ｆ）１０６を介してカメラ本体２００のマイクロコンピュータ２１８と通信可能に接続される。
【００１４】
レンズ１０１は、フォーカスレンズやズームレンズ等の１つ以上のレンズから構成されており、図示しない被写体からの光学像（被写体像）を撮像素子２０２に集光する。絞り１０２は、撮像素子２０２に集光される被写体像の光量を調節する。
ドライバ１０３は、モータ等を有し、レンズマイクロコンピュータ１０４の制御の下、レンズ１０１を構成するフォーカスレンズやズームレンズをその光軸方向に駆動する。また、ドライバ１０３は、レンズマイクロコンピュータ１０４の制御の下、絞り１０２を開閉する。
【００１５】
レンズマイクロコンピュータ１０４は、カメラ本体２００のマイクロコンピュータ２１８の制御に従って交換式レンズ１００の動作を制御する。また、レンズマイクロコンピュータ１０４は、Ｆｌａｓｈメモリ１０５に記憶されているレンズ情報をマイクロコンピュータ２１８に送信することも行う。Ｆｌａｓｈメモリ１０５は、レンズ１０１の収差といったレンズ情報等の交換式レンズ１００の各種動作に必要な情報を記憶している。
【００１６】
カメラ本体２００は、メカシャッタ２０１と、撮像素子２０２と、アナログ処理部２０３と、アナログ/デジタル（Ａ/Ｄ）変換部２０４と、バス２０５と、ＳＤＲＡＭ２０６と、画像処理部２０７と、ＡＥ処理部２０８と、ＡＦ処理部２０９と、水平垂直判別部２１０と、輝点検索部２１１と、パターン合成部２１２と、画像圧縮展開部２１３と、メモリインターフェイス（Ｉ/Ｆ）２１４と、記録媒体２１５と、表示ドライバ２１６と、表示部２１７と、マイクロコンピュータ２１８と、操作部２１９と、フラッシュ（Ｆｌａｓｈ）メモリ２２０とを有する。
【００１７】
メカシャッタ２０１は、撮像素子２０２の光電変換面を遮光状態又は露出状態とすることで撮像素子２０２の露光時間を調節する機械的機構である。
撮像素子２０２は、被写体像を電気信号に変換するための光電変換面を有する。光電変換面は、２次元平面状に配列された複数のフォトダイオードと、これらフォトダイオードの前面に設けられたカラーフィルターとを有する。カラーフィルターは、例えば原色系ベイヤ配列のカラーフィルターである。このような撮像素子２０２は、レンズ１０１を介して集光された被写体像を撮像し、被写体像を電気信号（以降、アナログ撮像信号と称する）として出力する。ここで、撮像素子２０２は、ＣＭＯＳ方式の撮像素子でもＣＣＤ方式の撮像素子でも良い。また、撮像素子２０２は、露光時間を電子的に制御する電子シャッタ機能を有していることが望ましい。
【００１８】
アナログ処理部２０３は、撮像素子２０２から出力されたアナログ撮像信号に対して各種のアナログ処理を行う。このアナログ処理としては、例えば、リセットノイズの低減処理、波形整形処理、ゲイン制御処理が含まれる。
Ａ/Ｄ変換部２０４は、アナログ処理部２０３から出力されたアナログ撮像信号をデジタル信号（以降、撮像データと言う）に変換する。この撮像データは、画像処理部２０７による画像処理前のデジタル画像であり、ＲＡＷデータとも呼ばれる。
【００１９】
バス２０５は、カメラ本体２００の内部で発生した各種のデータを転送する。ＳＤＲＡＭ２０６は、カメラ本体２００内部で発生した各種のデータを一時的に記憶する。
画像処理部２０７は、撮像データに対する各種の画像処理を行って画像データを生成する。この画像処理部２０７は、オプティカルブラック（ＯＢ）減算部２０７１と、ホワイトバランス（ＷＢ）補正部２０７２と、同時化処理部２０７３と、カラーマトリクス演算部２０７４と、ガンマ・色再現処理部２０７５と、エッジ強調処理部２０７６と、ノイズ低減（ＮＲ）処理部２０７７とを有する。
【００２０】
ＯＢ減算部２０７１は、撮像データにおける暗電流成分の影響を除去するためのＯＢ減算を行う。ＷＢ補正部２０７２は、撮像データの色バランスを補正するＷＢ補正処理を行う。同時化処理部２０７３は、１画素が１つの色成分に対応している撮像データを、１画素が３つの色成分に対応している撮像データに変換する同時化処理を行う。カラーマトリクス演算部２０７４は、撮像データ全体の色相や彩度の調節を行う。ガンマ・色再現処理部２０７５は、撮像データに対するガンマ変換処理、色再現処理を行う。エッジ強調処理部２０７６は、撮像データにおけるエッジ成分を強調するエッジ強調処理を行う。ＮＲ処理部２０７７は、撮像データにおけるノイズ成分を除去するＮＲ処理を行う。
本実施の形態では、ＯＢ減算部２０７１、ＷＢ補正部２０７２、同時化処理部２０７３、カラーマトリクス演算部２０７４、ガンマ・色再現処理部２０７５、エッジ強調処理部２０７６及びＮＲ処理部２０７７による処理が施された撮像データを画像データと言うこととする。
【００２１】
ＡＥ処理部２０８は、撮像データを用いて被写体の輝度を算出する。さらに、ＡＥ処理部２０８は、算出した被写体の輝度に応じて、撮影時における撮像素子２０２の感度（ＩＳＯ感度）、撮影時における絞り１０２の開放量（絞り値）、撮影時における撮像素子２０２の露光時間（シャッタ速）を決定する。なお、被写体の輝度は、撮像データから算出するだけでなく、例えば専用の測光センサで測定するようにしても良い。
ＡＦ処理部２０９は、撮像データから高周波成分の信号を取り出し、取り出した高周波成分の信号を積算してＡＦ用の合焦評価値を取得する。
【００２２】
水平垂直判別部２１０は、画像データ中の被写体の水平方向と垂直方向とを判別する。ここで、水平方向と垂直方向とは、画像データ自体の垂直方向及び水平方向と、画像データ中の被写体に対する垂直方向及び水平方向とを含む。
輝点検索部２１１は、画像処理部２０７で得られた画像データにおける高輝度画素（輝点）を抽出する。
パターン合成部（描画処理部）２１２は、輝点検索部２１１により検索された輝点色に応じて輝点座標の近傍にパターンを描画する。すなわち、このパターン合成部２１２は、輝点検索部２１１による輝点の抽出結果に応じて画像処理部２０７で得られた画像データに合成用パターンを合成することで画像データにクロスフィルター効果を与える。なお、輝点検索部２１１及びパターン合成部２１２の動作の詳細については後述する。
【００２３】
画像圧縮展開部２１３は、画像の記録時において、画像処理部２０７における画像処理によって得られた画像データに対してＪＰＥＧ方式等の静止画圧縮処理又はＭＰＥＧ方式等の動画圧縮処理を施す。また、画像圧縮展開部２１３は、画像の再生時において、圧縮処理が施された画像データに対して展開（伸張）処理を施す。
メモリＩ/Ｆ２１４は、マイクロコンピュータ２１８等が記録媒体２１５にアクセスするためのインターフェイスである。記録媒体２１５は、例えばカメラ本体２００に着脱自在になされたメモリカードであって、画像圧縮展開部２１３によって圧縮された画像データを含む画像ファイル等が記録される。
【００２４】
表示ドライバ２１６は、画像処理部２０７で得られた画像データ又は画像圧縮展開部２１３で伸張された画像データを映像信号に変換して表示部２１７に出力する。この表示部２１７は、例えば液晶ディスプレイ（ＬＣＤ）であり、表示ドライバ２１６からの映像信号に基づく画像を表示する。
【００２５】
マイクロコンピュータ２１８は、メカシャッタ２０１や撮像素子２０２の動作制御等のカメラ本体２００の各種シーケンスを統括的に制御する。また、マイクロコンピュータ２１８は、交換式レンズ１００の装着時には交換式レンズ１００の動作も制御する。マイクロコンピュータ２１８には、操作部２１９と、Ｆｌａｓｈメモリ２２０とが接続されている。
【００２６】
操作部２１９は、例えば電源ボタン、レリーズボタン、再生ボタン、動画ボタン、各種入力キー等の操作部材である。この操作部２１９は、タッチパネル等で構成されていても良い。ユーザにより操作部２１９の操作がなされると、マイクロコンピュータ２１８は、操作部２１９の操作に対応したシーケンスを実行する。
【００２７】
Ｆｌａｓｈメモリ２２０は、例えばホワイトバランス補正用のホワイトバランスゲイン、カラーマトリクス演算用のカラーマトリクス係数、ガンマ変換用のガンマテーブルといった画像処理部２０７の動作に必要なパラメータ等の、カメラ本体２００の動作に必要な各種のパラメータを記憶している。
【００２８】
さらに、本実施形態において、Ｆｌａｓｈメモリ２２０は、パターン記憶部としての機能も有し、パターン合成部２１２において合成用パターンを生成するために必要なパターンを示すデータ（パターンデータ）も記憶する。このＦｌａｓｈメモリ２２０に記憶させるパターンは、例えば図２（ａ）に示すクロスパターンである。このクロスパターンは、中心部から放射状に伸びる複数の直線から構成される。例えば図２（ａ）で示すクロスパターンは、中央部から伸びる４本の直線で構成されている。そして、クロスパターンを構成する４本の直線は、それぞれ、中央部からの距離に応じて輝度値が低下するとともに線の太さが細くなっている。
【００２９】
クロスパターンを構成する直線の本数は４本に限るものではなく、任意の複数本で良い。例えば、図２（ｂ）で示すスノークロスパターンのように、中央部から伸びる６本の直線でパターンを構成するようにしても良いし、図２（ｃ）で示すサニークロスパターンのように、中央部から伸びる８本の直線でパターンを構成するようにしても良い。また、直線の他に曲線を含めるようにしてパターンを構成するようにしても良い。例えば、図２（ｄ）で示すような星型のパターンや、図２（ｅ）で示すようなハート型のパターン等、各種の形状のパターンをＦｌａｓｈメモリ２２０に記憶させるようにして良い。さらに、図２（ａ）〜図２（ｅ）で示したパターンを示すパターンデータは、図２（ａ）〜図２（ｅ）で示したパターンを含む矩形データとして構成しておいても良い。
【００３０】
また、Ｆｌａｓｈメモリ２２０は、マイクロコンピュータ２１８が実行する種々のプログラム、例えば画像処理プログラムも記憶する。この画像処理プログラムは、コンピュータであるマイクロコンピュータ２１８に、画像データにおける輝点を検索する輝点検索機能と、この検索された輝点の画像データにおける輝点座標を求める輝点座標取得機能と、輝点座標を含む周辺に予め設定されている複数の検索座標の中から輝点座標との距離が所定距離以上離れている１つ以上の検索座標を検索対象の座標とし、当該検索対象の座標における輝点色を推定するための条件を有する画素値すなわち輝度値が飽和していない画素値に基づいて輝点の輝点色を推定する輝点色推定機能と、この推定された輝点色に応じて輝点座標の近傍に上記図２（ａ）に示すようなクロスパターンパターンを描画する描画処理機能とを実現する。
【００３１】
上記マイクロコンピュータ２１８は、輝点座標取得部２１８ａと、輝点色推定部２１８ｂとを有する。
輝点座標取得部２１８ａは、輝点検索部２１１により検索された輝点の画像データにおける輝点座標を求める。
輝点色推定部２１８ｂは、画像データにおける輝点座標を含む周辺に予め設定されている複数の検索座標の中から輝点座標との距離が所定距離以上離れている１つ以上の検索座標を検索対象の座標とし、当該検索対象の座標における輝点色を推定するための条件を有する画素値すなわち輝度値が飽和していない画素値に基づいて輝点色を推定する。
【００３２】
この輝点色推定部２１８ｂは、複数の検索座標のうち輝点座標からの距離が短い検索座標から遠い検索座標に向かって検索対象とする。
この輝点色推定部２１８ｂは、輝点座標を中心として放射状に延びる１本以上の線上に複数の検索座標を設定する。この場合、輝点色推定部２１８ｂは、放射状に延びる１本以上の線を垂直方向及び水平方向を除く方向に複数の検索座標を設定する。
この輝点色推定部２１８ｂは、垂直方向及び前記水平方向として画像データ自体の垂直方向及び水平方向と、画像データ中の被写体に対する垂直方向及び水平方向とを含む。
そして、輝点色推定部２１８ｂは、水平垂直判別部２１０により判別された水平方向と垂直方向との各線上への検索座標の設定を除外する。しかるに、輝点色推定部２１８ｂは、水平垂直判別部２１０により判別された撮影装置の撮影時の傾きに基づいて被写体の水平方向と垂直方向とを判別し、かつ水平垂直判別部２１０により判別された水平方向と垂直方向との各線上への検索座標の設定を除外する。
又、輝点色推定部２１８ｂは、輝点色を推定するための条件を有する画素値として例えば所定の彩度以上の彩度を有する画素値を用いて輝点色を推定する。この輝点色推定部２１８ｂは、所定の値以下の画素値を用いて輝点色を推定する。
【００３３】
パターン合成部（描画処理部）２１２は、パターン記憶部としてのＦｌａｓｈメモリ２２０に記憶されている例えば図２（ａ）で示すクロスパターン等の所定のパターンを、輝点座標に対応する位置に合成する。この場合、パターン合成部２１２は、Ｆｌａｓｈメモリ２２０に記憶されているクロスパターン等の所定のパターンの色相及び彩度を輝点色に応じて変更し、当該変更した所定のパターンを輝点座標に対応する位置に合成する。
【００３４】
次に、上記の如く構成されたデジタルカメラの動作について図３に示すメイン動作のフローチャートを参照して説明する。このメイン動作のフローチャートは、例えばユーザによって操作部２１９の電源ボタンが押される等して本デジタルカメラの電源がオンされた場合に行われる。
【００３５】
電源投入後等において、マイクロコンピュータ２１８は、先ず、自身が有するレジスタに設定されている記録中フラグをＯｆｆにする（ステップＳ１０１）。記録中フラグは、動画記録中であるか否かを示すフラグである。記録中フラグがＯｆｆになっている間は、動画記録中でないことを示す。一方、記録中フラグがＯｎになっている間は、動画記録中であることを示す。
【００３６】
次に、マイクロコンピュータ２１８は、ユーザによって操作部２１９の再生ボタンが押されたか否かを判定する（ステップＳ１０２）。この判定の結果、再生ボタンが押された場合、マイクロコンピュータ２１８は、再生処理を実行する（ステップＳ１０３）。再生処理の詳細については後述する。
再生処理の実行後又は上記ステップＳ１０２の判定の結果で再生ボタンが押されていない場合、マイクロコンピュータ２１８は、ユーザによって操作部２１９の動画ボタンが押されたか否かを判定する（ステップＳ１０４）。この判定の結果、動画ボタンが押された場合、マイクロコンピュータ２１８は、記録中フラグを反転させる（ステップＳ１０５）。即ち、マイクロコンピュータ２１８は、記録中フラグがＯｆｆの場合にはＯｎに、Ｏｎの場合にはＯｆｆにする。
【００３７】
記録中フラグの反転後又は上記ステップＳ１０５の判定の結果で動画ボタンが押されていない場合、マイクロコンピュータ２１８は、現在、動画記録中であるか否か、即ち記録中フラグがＯｎであるか否かを判定する（ステップＳ１０６）。この判定の結果、記録中フラグがＯｎである場合、マイクロコンピュータ２１８は、動画処理を実行する（ステップＳ１０７）。動画処理の詳細については後述する。
【００３８】
また、上記ステップＳ１０６の判定の結果、記録中フラグがＯｆｆである場合、マイクロコンピュータ２１８は、ユーザによって操作部２１９のレリーズボタンが半押しされてレリーズボタンの状態がＯｆｆ状態から１ｓｔレリーズスイッチのＯｎ状態に遷移したか否かを判定する（ステップＳ１０８）。この判定の結果、レリーズボタンの状態が１ｓｔレリーズスイッチのＯｎ状態に遷移した場合、マイクロコンピュータ２１８は、ＡＥ処理を行う（ステップＳ１０９）。このＡＥ処理において、マイクロコンピュータ２１８は、ＡＥ処理部２０８により撮像データを用いて被写体の輝度を算出させ、この算出させた被写体の輝度に応じて撮影時における撮像素子２０２の感度（ＩＳＯ感度）、撮影時における絞り１０２の開放量（絞り値）、撮影時における撮像素子２０２の露光時間（シャッタ速）を決定させる。
【００３９】
次に、マイクロコンピュータ２１８は、ＡＦ処理を行う（ステップＳ１１０）。このＡＦ処理において、マイクロコンピュータ２１８は、ＡＦ処理部２０９により合焦評価値を取得させる。このマイクロコンピュータ２１８は、ＡＦ処理部２０９で取得された合焦評価値により、撮像データにおけるコントラストを評価しつつ、レンズ１０１のフォーカスレンズを微少量ずつ駆動させるようにレンズマイクロコンピュータ１０４に指示する。その後、マイクロコンピュータ２１８は、コントラストが最大となった時点でフォーカスレンズの駆動を停止させるようにレンズマイクロコンピュータ１０４に指示する。このようなＡＦ処理は、所謂コントラスト方式のＡＦ処理である。ＡＦ処理として位相差ＡＦ処理を用いるようにしても良い。
【００４０】
また、ＡＦ処理は、レリーズボタンの状態が１ｓｔレリーズスイッチのＯｎ状態に遷移したタイミングにおいて実行されるものである。即ち、レリーズボタンの状態が１ｓｔレリーズスイッチのＯｎ状態に遷移しないタイミング、例えば、レリーズボタンの状態がＯｆｆ状態のままである場合、１ｓｔレリーズスイッチのＯｎ状態のままである場合、後述する２ｎｄレリーズスイッチのＯｎ状態のままである場合等では、ＡＦ処理は実行されない。
【００４１】
また、上記ステップＳ１０８の判定の結果、レリーズボタンの状態が１ｓｔレリーズスイッチのＯｎ状態に遷移していない場合、マイクロコンピュータ２１８は、ユーザによって操作部２１９のレリーズボタンが全押しされてレリーズボタンの状態が２ｎｄレリーズスイッチのＯｎ状態となっているか否かを判定する（ステップＳ１１１）。この判定の結果、レリーズボタンの状態が２ｎｄレリーズスイッチのＯｎ状態である場合、マイクロコンピュータ２１８は、静止画処理を実行する（ステップＳ１１２）。この静止画処理は、レリーズボタンの状態が２ｎｄレリーズスイッチのＯｎ状態である間は実行されるものである。例えば、１枚の静止画像が記録された後であってもレリーズボタンの状態が２ｎｄレリーズスイッチのＯｎ状態であれば、次の静止画撮影を実行する。この静止画処理の詳細については後述する。
【００４２】
上記ステップＳ１１１の判定の結果、レリーズボタンの状態が２ｎｄレリーズスイッチのＯｎ状態でない場合、マイクロコンピュータ２１８は、ステップＳ１０７の動画処理を実行する。
上記ステップＳ１０７、Ｓ１１０、Ｓ１１２の後、マイクロコンピュータ２１８は、ユーザによって操作部２１９の電源ボタンが押される等してデジタルカメラの電源がオフされたか否かを判定する（ステップＳ１１３）。この判定の結果、デジタルカメラの電源がオフされていない場合、マイクロコンピュータ２１８は、上記ステップＳ１０２に戻る。一方、ステップＳ１１３の判定の結果、デジタルカメラの電源がオフされた場合、マイクロコンピュータ２１８は、図３に示すメイン動作のフローチャートの処理を終了させる。
【００４３】
次に、静止画処理について図４に示す静止画処理フローチャートを参照して説明する。
マイクロコンピュータ２１８は、先ず、撮影処理を実行する（ステップＳ２０１）。この撮影処理において、マイクロコンピュータ２１８は、上記図３に示すステップＳ１０９のＡＥ処理において決定されたＩＳＯ感度、絞り値、シャッタ速に応じて撮像素子２０２の露光を行う。即ち、マイクロコンピュータ２１８は、ＩＳＯ感度に応じてアナログ処理部２０３におけるゲイン制御量（増幅率）を設定するとともに、絞り値をレンズマイクロコンピュータ１０４に送信する。レンズマイクロコンピュータ１０４による制御による絞り１０２の駆動と同期して、マイクロコンピュータ２１８は、シャッタ速に応じてメカシャッタ２０１を動作させて撮像素子２０２の露光量を制御する。
【００４４】
撮影処理の後、マイクロコンピュータ２１８は、撮影の結果としてＳＤＲＡＭ２０６に記憶された撮像データに対する画像処理を実行するための制御を行う（ステップＳ２０２）。この画像処理は、動画処理の際の画像処理と同一である。詳細については後述する。
画像処理の後、マイクロコンピュータ２１８は、画像処理の結果としてＳＤＲＡＭ２０６に記憶された画像データを再生するように表示ドライバ２１６に指示する。この指示を受けて表示ドライバ２１６は、ＳＤＲＡＭ２０６から画像データを読み出し、読み出した画像データを映像信号に変換して表示部２１７に出力する。表示部２１７は、この映像信号に基づいて画像（レックビュー画像）を再生する（ステップＳ２０３）。
【００４５】
続いて、マイクロコンピュータ２１８は、画像処理の結果としてＳＤＲＡＭ２０６に記憶された画像データを静止画ファイルとして記録する処理を行う（ステップＳ２０４）。先ず、マイクロコンピュータ２１８は、静止画ファイルの記録画質等に応じて、画像処理の結果としてＳＤＲＡＭ２０６に記憶された画像データに対するリサイズ処理を実行するようにリサイズ処理部２０７９に指示する。その後、マイクロコンピュータ２１８は、リサイズ処理の結果としてＳＤＲＡＭ２０６に記憶された画像データに対する静止画圧縮処理を実行するように画像圧縮展開部２１３に指示する。この指示を受けて画像圧縮展開部２１３は、ＪＰＥＧ方式等の静止画圧縮処理を行い、圧縮した画像データをＳＤＲＡＭ２０６に記憶させる。その後、マイクロコンピュータ２１８は、画像圧縮展開部２１３により圧縮された画像データをＳＤＲＡＭ２０６から読み出し、読み出した画像データに所定のヘッダ情報を付与した静止画ファイルを作成し、作成した静止画ファイルを記録媒体２１５に記録する（ステップＳ２０５）。静止画ファイルの記録後、マイクロコンピュータ２１８は、図４に示す静止画処理を終了する。
【００４６】
次に、動画処理について図５に示す動画処理フローチャートを参照して説明する。
マイクロコンピュータ２１８は、先ず、ＡＥ処理を実行する（ステップＳ３０１）。このＡＥ処理において、マイクロコンピュータ２１８は、ＡＥ処理部２０８によってＩＳＯ感度、絞り値、シャッタ速を決定させる。ＡＥ処理の後、マイクロコンピュータ２１８は、撮影処理を実行する（ステップＳ３０２）。撮影処理において、マイクロコンピュータ２１８は、ＩＳＯ感度に応じてアナログ処理部２０３におけるゲイン制御量（増幅率）を設定するとともに、絞り値をレンズマイクロコンピュータ１０４に送信する。このレンズマイクロコンピュータ１０４による制御による絞り１０２の駆動と同期して、マイクロコンピュータ２１８は、シャッタ速に応じて撮像素子２０２の電子シャッタ機能を動作させて撮像素子２０２の露光量を制御する。撮像素子２０２の露光により得られた撮像データはＳＤＲＡＭ２０６に記憶される。
【００４７】
撮影処理の後、マイクロコンピュータ２１８は、撮影処理の結果としてＳＤＲＡＭ２０６に記憶された撮像データに対する画像処理を実行するための制御を行う（ステップＳ３０３）。この画像処理の詳細については後述する。
画像処理の後、マイクロコンピュータ２１８は、画像処理の結果としてＳＤＲＡＭ２０６に記憶された画像データを再生するように表示ドライバ２１６に指示する。この指示を受けて表示ドライバ２１６は、ＳＤＲＡＭ２０６から画像データを読み出し、読み出した画像データを映像信号に変換して表示部２１７に出力する。表示部２１７は、この映像信号に基づいて画像（ライブビュー画像）を再生する（ステップＳ３０４）。
【００４８】
続いて、マイクロコンピュータ２１８は、現在、動画記録中であるか否か、即ち記録中フラグがＯｎであるか否かを判定する（ステップＳ３０５）。この判定の結果、記録中フラグがＯｆｆである場合、マイクロコンピュータ２１８は、図５に示す動画処理を終了する。この場合、撮影により得られた画像（動画像）が表示部２１７に表示されるのみとなる。このようにして表示部２１７に表示される動画像は、静止画撮影前の構図確認等に用いられるライブビュー画像として利用される。
【００４９】
また、上記ステップＳ３０５の判定の結果、記録中フラグがＯｎである場合、マイクロコンピュータ２１８は、画像処理の結果としてＳＤＲＡＭ２０６に記憶された画像データを動画ファイルとして記録する処理を行う（ステップＳ３０６）。すなわち、マイクロコンピュータ２１８は、動画ファイルの記録画質等に応じて、画像処理の結果としてＳＤＲＡＭ２０６に記憶された画像データに対するリサイズ処理を実行するようにリサイズ処理部２０７９に指示する。その後、マイクロコンピュータ２１８は、リサイズ処理の結果としてＳＤＲＡＭ２０６に記憶された画像データに対する動画圧縮処理を実行するように画像圧縮展開部２１３に指示する。この指示を受けて画像圧縮展開部２１３は、記録する動画像ファイルの形式に応じた圧縮処理を行い、圧縮した画像データをＳＤＲＡＭ２０６に記憶させる。その後、マイクロコンピュータ２１８は、画像圧縮展開部２１３により圧縮された画像データをＳＤＲＡＭ２０６から読み出し、読み出した画像データに所定のヘッダ情報を付与した動画ファイルを作成または追記し、この作成した動画ファイルを記録媒体２１５に記録する。動画ファイルの記録後、マイクロコンピュータ２１８は、図５に示す動画処理を終了する。
【００５０】
次に、再生処理について図６に示す再生処理フローチャートを参照して説明する。
マイクロコンピュータ２１８は、ユーザによる操作部２１９に対する入力キーを受けてファイルを選択する（ステップＳ４０１）。このファイルの選択は、例えば記録媒体２１５に記録されている動画ファイル及び静止画ファイルの一覧を表示部２１７に表示する。なお、この表示では、動画ファイルであれば最初のフレーム画像を表示する。ユーザは、操作部２１９における例えば十字キーを操作して再生したい動画ファイル及び静止画ファイルを選択し、かつ同操作部２１９における決定ボタンを押し操作することにより再生するファイルを決定する。
【００５１】
ファイルの選択がなされると、マイクロコンピュータ２１８は、選択されたファイルが動画ファイルであるか否かを判定する（ステップＳ４０２）。この判定の結果、選択されたファイルが動画ファイルである場合、マイクロコンピュータ２１８は、動画ファイルのヘッダ情報を参照して動画像ファイルを構成する画像データの数（フレーム数）を取得する（ステップＳ４０３）。
次に、マイクロコンピュータ２１８は、表示部２１７に表示させるべき画像データのフレーム番号を示す変数Ｎを１（最初のフレームを示す値：Ｎ＝１）にリセットする（ステップＳ４０４）。その後、マイクロコンピュータ２１８は、選択された動画ファイルのＮフレーム目の画像データを展開するように画像圧縮展開部２１３に指示する（ステップＳ４０５）。この指示を受けて画像圧縮展開部２１３は、選択された動画像ファイルを展開し、展開の結果として得られた動画像ファイルのＮフレーム目の画像データをＳＤＲＡＭ２０６に記憶する。
【００５２】
画像データが展開された後、マイクロコンピュータ２１８は、ＳＤＲＡＭ２０６に記憶されたＮフレーム目の画像データを再生するように表示ドライバ２１６に指示する。この指示を受けて表示ドライバ２１６は、ＳＤＲＡＭ２０６から画像データを読み出し、読み出した画像データを映像信号に変換して表示部２１７に出力する。表示部２１７は、この映像信号に基づいて画像を再生する（ステップＳ４０６）。Ｎフレーム目に対応した画像の表示後、マイクロコンピュータ２１８は、Ｎに１を加算（Ｎ＝Ｎ＋１）する（ステップＳ４０７）。その後、マイクロコンピュータ２１８は、Ｎがフレーム数以下であるか否かを判定する（ステップＳ４０８）。
【００５３】
上記ステップＳ４０８の判定の結果、Ｎがフレーム数以下である、即ち最終フレーム目までの画像表示が終了していない場合、マイクロコンピュータ２１８は、上記ステップＳ４０５に戻り、次のフレームの画像表示を行う。一方、上記ステップＳ４０８の判定の結果、Ｎがフレーム数を越えた場合、マイクロコンピュータ２１８は、図６に示す再生処理を終了する。
【００５４】
また、上記ステップＳ４０２の判定の結果、選択されたファイルが動画ファイルでない、即ち静止画ファイルである場合、マイクロコンピュータ２１８は、選択された静止画ファイルを展開するように画像圧縮展開部２１３に指示する（ステップＳ４０９）。この指示を受けて画像圧縮展開部２１３は、選択された静止画ファイルを展開し、展開の結果として得られた画像データをＳＤＲＡＭ２０６に記憶する。
【００５５】
画像データが展開された後、マイクロコンピュータ２１８は、ＳＤＲＡＭ２０６に記憶された画像データを再生するように表示ドライバ２１６に指示する。この指示を受けて表示ドライバ２１６は、ＳＤＲＡＭ２０６から画像データを読み出し、読み出した画像データを映像信号に変換して表示部２１７に出力する。表示部２１７は、この映像信号に基づいて画像を再生する（ステップＳ４１０）。その後、マイクロコンピュータ２１８は、図６に示す再生処理を終了する。
【００５６】
次に、画像処理について図７に示す画像処理フローチャートを参照して説明する。
マイクロコンピュータ２１８は、先ず、撮影処理の結果としてＳＤＲＡＭ２０６に記憶された撮像データに対して通常の画像処理用の画像処理パラメータを用いた現像処理を実行するように画像処理部２０７に指示する。この指示を受けて、画像処理部２０７は、通常の画像処理用の画像処理パラメータをＦｌａｓｈメモリ２２０から読み込む（ステップＳ５０１）。
【００５７】
通常の画像処理用の画像処理パラメータの読み込み後、画像処理部２０７は、通常の画像処理用の画像処理パラメータを用いてＳＤＲＡＭ２０６に撮像データに対する現像処理を実行し、通常の画像処理用の画像処理パラメータを用いた現像処理の結果として得られた画像データ（以下、通常画像データと称する）を、ＳＤＲＡＭ２０６における撮像データの記憶領域とは別の記憶領域に記憶する（ステップＳ５０２）。現像処理の詳細については後述する。
【００５８】
ここで、通常画像処理用の画像処理パラメータとしては、例えばＷＢ補正に用いられるＷＢゲイン、カラーマトリクス演算に用いられるカラーマトリクス、ガンマ変換処理に用いられるガンマテーブル、ＮＲ低減処理に用いられるＮＲパラメータ、が含まれる。
通常の画像処理用の画像処理パラメータを用いた現像処理の後、マイクロコンピュータ２１８は、画像処理モードとしてクロスフィルターモードが設定されているか否かを判定する（ステップＳ５０３）。画像処理モードは、例えば操作部２１９の入力キーの操作によって設定することができる。なお、クロスフィルターモードの設定の際には、通常画像データ中の輝点に対応した画素に合成するパターンの形状を例えば上記図２（ａ）〜図２（ｅ）に示すパターンの中から選択しておく。
上記ステップＳ５０３の判定の結果、画像処理モードとしてクロスフィルターモードが設定されていない場合、マイクロコンピュータ２１８は、図７に示す画像処理を終了する。
【００５９】
一方、上記ステップＳ５０３の判定の結果、画像処理モードとしてクロスフィルターモードが設定されている場合、マイクロコンピュータ２１８は、撮影処理の結果としてＳＤＲＡＭ２０６に記憶された撮像データに対してクロスフィルター処理を施すように画像処理部２０７に指示する。この指示を受けて、画像処理部２０７は、輝度検出画像処理用の画像処理パラメータをＦｌａｓｈメモリ２２０から読み込む（ステップＳ５０４）。
【００６０】
輝度検出画像処理用の画像処理パラメータの読み込み後、画像処理部２０７は、輝度検出画像処理用の画像処理パラメータを用いてＳＤＲＡＭ２０６に記憶された撮像データに対する現像処理を実行し、輝度検出画像処理用の画像処理パラメータを用いた現像処理の結果として得られた画像データ（以下、輝度検出画像データと言う）を、ＳＤＲＡＭ２０６における通常画像データの記憶領域とは別の記憶領域に記憶させる（ステップＳ５０５）。輝度検出画像処理用の画像処理パラメータを用いた現像処理は、現像処理に使用する画像処理パラメータを輝度検出画像処理用の画像処理パラメータとするだけである。
【００６１】
輝度検出画像処理用の画像処理パラメータも通常画像処理用の画像処理パラメータと同様に、ＷＢゲイン、カラーマトリクス、ガンマテーブル、ＮＲパラメータが含まれる。ただし、輝度検出画像処理用の画像処理パラメータは、ガンマテーブルとＮＲパラメータとが通常画像処理用の画像処理パラメータと異なっている。輝度検出画像処理用のガンマテーブルは、通常画像処理用の画像処理パラメータに比べて低輝度側をより圧縮する特性を有しているものとする。このような輝度検出画像処理用のガンマテーブルでガンマ変換を行った場合には撮像データにおける低輝度部が０になり易くなる。また、ＮＲパラメータとしては、コアリング閾値や孤立点判定用閾値等がある。コアリング閾値は、細かなノイズを抑えるためのコアリング処理に用いるある所定の範囲を持った閾値である。コアリング処理では、コアリング閾値内の画素値を有する画素の画素値をある一定の値（例えばコアリング閾値の中央値）とする。孤立点判定用閾値は、周辺画素と画素値が異なる孤立点を判定するための閾値である。孤立点は、周辺画素の画素値を用いた補間処理によって除去される。輝度検出画像処理は、通常画像処理に比べてノイズを低減できたほうが良いので、コアリング閾値は大きくし、孤立点と判定する閾値は小さくする。
【００６２】
次に、マイクロコンピュータ２１８は、水平垂直判別部２１０により画像データ中の被写体の水平方向と垂直方向とを判別させる（ステップＳ５０６）。ここで、水平方向と垂直方向とは、画像データ自体の垂直方向及び水平方向と、画像データ中の被写体に対する垂直方向及び水平方向とを含む。
【００６３】
次に、マイクロコンピュータ２１８は、輝点検索部２１１に対して輝点検索処理の実行を指示する。これを受けて、輝点検索部２１１は、輝点検索処理を行う（ステップＳ５０７）。この輝点検索処理は、画像処理部２０７で得られた画像データにおける高輝度画素（輝点）とこの画素に関するデータとを抽出する。
輝点検索処理の終了後、マイクロコンピュータ２１８は、パターン変更処理を行うようにパターン合成部２１２に指示する。パターン変更処理の後、マイクロコンピュータ２１８は、パターン合成処理を行うようにパターン合成部２１２に指示する（ステップＳ５０８）。パターン合成処理の後、マイクロコンピュータ２１８は、図７に示す画像処理を終了する。
【００６４】
次に、現像処理について図８に示す現像処理フローチャートを参照して説明する。
画像処理部２０７は、ＯＢ減算部２０７１によりＯＢ減算処理を行う（ステップＳ６０１）。ＯＢ減算部２０７１は、入力された撮像データからオプティカルブラック（ＯＢ）値を減算することで撮像データにおける暗電流成分を除去する。ＯＢ減算の後、画像処理部２０７は、ＷＢ補正部２０７２によりＷＢ補正処理を行う（ステップＳ６０２）。ＷＢ補正部２０７２は、入力された撮像データの色成分毎にＷＢゲインを乗じることで撮像データの色バランスを補正する。ＷＢ補正の後、画像処理部２０７は、同時化処理部２０７３により同時化処理を行う（ステップＳ６０３）。同時化処理部２０７３は、入力された撮像データを、補間処理を用いて同時化する。これにより、１画素が原色系ベイヤ配列に対応した１つの色成分を有している撮像データを１画素がＲＧＢ３つの色成分を有する撮像データに変換する。
【００６５】
同時化処理の後、画像処理部２０７は、カラーマトリクス演算部２０７４によってカラーマトリクス演算を行う（ステップＳ６０４）。カラーマトリクス演算部２０７４は、入力された撮像データの各画素にカラーマトリクス係数を乗じることで撮像データの色を変換する。カラーマトリクス演算の後、画像処理部２０７は、ガンマ・色再現処理部２０７５によりガンマ変換処理を行う（ステップＳ６０５）。ガンマ・色再現処理部２０７５は、入力された撮像データをマイクロコンピュータ２１８によって設定されたガンマテーブルを用いてガンマ変換する。ガンマ変換処理の後、画像処理部２０７は、ガンマ・色再現処理部２０７５により色補正処理を行う（ステップＳ６０６）。色補正処理において、ガンマ・色再現処理部２０７５は、入力された撮像データの各画素に輝度・色差変換マトリクス係数を乗じることでＲＧＢ３つの色成分を有する撮像データを輝度（Ｙ）・色差（Ｃｂ、Ｃｒ）データに変換する。そして、ガンマ・色再現処理部２０７５は、色差データに彩度補正係数、色相補正係数を乗じることで撮像データの色補正を行う。
【００６６】
色補正処理の後、画像処理部２０７は、エッジ強調処理部２０７６によりエッジ強調処理を行う（ステップＳ６０７）。エッジ強調処理部２０７６は、入力された輝度データに対してバンドパスフィルター処理を施して撮像データにおけるエッジ成分を抽出し、この抽出したエッジ成分にエッジ強調量に応じた係数を乗じる。そして、エッジ強調処理部２０７６は、係数を乗じたエッジ成分をもとの輝度データに加算することで撮像データのエッジ成分を強調する（ステップＳ６０７）。エッジ強調処理の後、画像処理部２０７は、ＮＲ処理部２０７７によりＮＲ処理を行う（ステップＳ６０８）。ＮＲ処理部２０７７は、入力された輝度データに対して上述したようなコアリング処理等を施して撮像データにおけるノイズ成分を低減する。
【００６７】
ＮＲ処理の後、画像処理部２０７は、一連の現像処理によって得られた画像データをＳＤＲＡＭ２０６に記憶させた後、図８に示す現像処理を終了する。図８に示す現像処理の順番は、一例であって適宜変更可能である。例えば、ＷＢ補正処理の前に同時化処理を行ったり、ガンマ変換処理の前に輝度・色差データへの変換を行ったりしても良い。また、輝度・色差データへの変換は必ずしも行わなくとも良い。
【００６８】
次に、輝点検索処理について図９に示す輝点検索処理フローチャートを参照して説明する。
ここで、以下の説明に先立って、輝度検出画像の水平方向画素数（ピクセル）をＷ、垂直方向画素数（ピクセル）をＨと定義する。例えば、図１０で示す輝度検出画像データは、Ｗ＝８、Ｈ＝４の例を示す。
輝点検索部２１１は、先ず、輝度検出画像データにおいて輝点検索の対象となる画素の座標を示す変数Ｘ、Ｙ（Ｘは水平位置、Ｙは垂直位置を示す）のそれぞれを１に初期化する（ステップＳ７０１）。座標（Ｘ，Ｙ）＝（１，１）は、例えば輝度検出画像データにおける左上端の画素であることを示す。
【００６９】
変数Ｘ、Ｙに１を設定した後、輝点検索部２１１は、ＳＤＲＡＭ２０６に記憶された輝度検出画像データを取得する（ステップＳ７０２）。
ここで、図８に示す現像処理では、輝度データと色差データとを有する輝度検出画像データが生成されるようになっている。しかしながら、図９に示す輝点検索処理は、輝度データに対して行う処理である。従って、上記ステップＳ７０２の処理の際には、輝度データのみを取得すれば良く、色差データについては取得する必要がない。このため、輝度検出画像処理パラメータを用いた現像処理の時点で色差データを生成しないようにしても良い。
【００７０】
また、本実施形態では、輝度検出画像データを取得する際、１個の画素の輝度データをＳＤＲＡＭ２０６から取得する。この画素は、例えば、図１０の太線枠で示す座標（Ｘ，Ｙ）の輝度値Ｄｙ（Ｘ，Ｙ）を含む画素である。
ＳＤＲＡＭ２０６から１個の画素の輝度データを取得した後、輝点検索部２１１は、取得した画素の輝度データが示す輝度値が０を超えているか否かを判定する。なお、ステップＳ７０３の例では０としているが、必ずしも０とすることはなく、所定の低輝度閾値で良い。輝度値Ｄｙ（Ｘ，Ｙ）が０を超えている場合、取得した画素の輝度データが０でないことを示す。
【００７１】
次に、輝点検索部２１１は、座標（Ｘ，Ｙ）の画素の輝度データが示す輝度値Ｄｙ（Ｘ，Ｙ）が予め設定された高輝度閾値Ｔｈを超えているか否かを判定する（ステップＳ７０３）。
この判定の結果、輝度値Ｄｙ（Ｘ，Ｙ）が高輝度閾値Ｔｈを超えている場合、輝点検索部２１１は、座標（Ｘ，Ｙ）の画素が輝点であると判定する。これにより、輝点検索部２１１は、輝度値Ｄｙ（Ｘ，Ｙ）を輝点の輝度値としてＳＤＲＡＭ２０６に記憶させるとともに、座標（Ｘ，Ｙ）を輝点位置としてＳＤＲＡＭ２０６に記憶する。
【００７２】
次に、輝点検索部２１１は、高輝度閾値Ｔｈ以上の輝度で、かつ座標（Ｘ，Ｙ）が含まれる領域をスキャンし、当該領域の水平方向と垂直方向との長さの平均を輝点サイズとし、当該領域の中心を輝点位置とする。輝点検索部２１１は、輝点サイズと輝点位置と当該輝点位置における輝度をまとめて輝点サイズ・輝点位置・輝度情報としてＳＤＲＡＭ２０６に記憶する（ステップＳ７０４）。
【００７３】
この後、輝点検索部２１１は、通常画像データにおける座標（Ｘ，Ｙ）の画素の色から輝点位置における光源色を特定する（ステップＳ７０５）。そして、輝点検索部２１１は、特定した光源色を、上記記憶した輝度値Ｄｙ（Ｘ，Ｙ）及び輝点位置（Ｘ，Ｙ）と関連付けてＳＤＲＡＭ２０６に記憶する。ここで、座標（Ｘ，Ｙ）の画素の色は、例えば通常画像データの座標（Ｘ，Ｙ）における画素の色差データから彩度及び色相を算出することによって特定できる。この他、輝度及び色差データからＲＧＢデータを算出する等して光源色の特定を行っても良い。
【００７４】
光源色の判定の後、輝点検索部２１１は、Ｘに水平方向に加算（Ｘ＝Ｘ＋１）する（ステップ７０６）。
次に、輝点検索部２１１は、ＸがＷ以下であるか否かを判定する（ステップＳ７０７）。この判定の結果、ＸがＷ以下である場合、輝度検出画像データの１行分の画素に対する輝点検索が終了していないことを示す。この場合、輝点検索部２１１は、上記ステップＳ７０３に戻る。
【００７５】
また、上記ステップＳ７０７の判定の結果、ＸがＷを越えた場合、輝度検出画像データの１行分の画素に対する輝点検索が終了したことを示す。この場合、輝点検索部２１１は、Ｙに垂直方向の離散ステップｈを加算するとともに、Ｘに１を設定する（ステップ７０８）。続いて、輝点検索部２１１は、ＹがＨ以下であるか否かを判定する（ステップＳ７０９）。
【００７６】
上記ステップＳ７０９の判定の結果、ＹがＨ以下である場合、輝度検出画像データの全画素に対する輝点検索が終了していないことを示す。この場合、輝点検索部２１１は、上記ステップＳ７０３に戻る。
一方、上記ステップＳ７０９の判定の結果、ＹがＨを越えた場合、輝度検出画像データの全画素に対する輝点検索処理が終了したことを示す。この場合に、輝点検索部２１１は、図９に示す輝点検索処理を終了する。
【００７７】
次に、光源色検索処理について図１１に示す光源色検索処理フローチャートを参照して説明する。
ここで、色情報を検索する座標をＶ（Ｘ，Ｙ）、検索された色情報のデータをＤｖ（Ｘ，Ｙ）、色情報を検索する上限回数をＬとする。
先ず、輝点色推定部２１８ｂは、検索する座標Ｖ（Ｘ，Ｙ）に対して色情報の検索が何回目なのかを示すカウンタＮを（Ｎ＝１）に初期化する（ステップＳ８０１）。
次に、輝点色推定部２１８ｂは、ＳＤＲＡＭ２０６に一時記憶されている輝点サイズと輝点位置と当該輝点位置における輝度の情報を読み込む（ステップＳ８０２）。
【００７８】
次に、輝点色推定部２１８ｂは、ＳＤＲＡＭ２０６に一時記憶されている被写体の傾き情報から光源色の検索で除外する検索ラインを指定する（ステップＳ８０３）。この場合、輝点色推定部２１８ｂは、例えば後述する図１６（ａ）（ｂ）に示すような画像データ中の主に建築物に対して垂直方向Ｈａ及び水平方向Ｈｂとなるラインを除外するように指定する。なお、水平垂直判別部２１０は、画像データ中の被写体の垂直方向Ｈａ及び水平方向Ｈｂを判別する。ここで、水平方向と垂直方向とは、図１６（ａ）（ｂ）に示すような画像データ自体の垂直方向Ｈａ及び水平方向Ｈｂと、画像データ中の被写体に対する垂直方向Ｈａ及び水平方向Ｈｂとを含む。従って、輝点色推定部２１８ｂは、水平垂直判別部２１０により判別された垂直方向Ｈａ及び水平方向Ｈｂに基づいて除外する当該垂直方向Ｈａ及び水平方向Ｈｂとなるラインを指定する。
【００７９】
次に、輝点色推定部２１８ｂは、取得した輝点サイズと輝点位置と当該輝点位置における輝度の情報を使用して、光源色の検索開始位置の座標を指定する（ステップＳ８０４）。この場合、サイズが大きく輝点位置の輝度が飽和しているような場合、輝点位置の周辺では、輝度値が飽和している画像データが多い可能性が高い。このため、色情報を読み取れない可能性が高いので、輝点色推定部２１８ｂは、光源色の検索開始位置の座標を、輝点位置から距離が離れた座標に指定する。
これとは反対に輝点サイズが小さく、輝点位置の輝度値が飽和していないような場合、輝点色推定部２１８ｂは、光源色の検索開始位置の座標を、上記の場合と比較して、輝点位置からの距離が近い座標に指定する。
次に、輝点色推定部２１８ｂは、検索された色情報のデータＤｖ（Ｘ，Ｙ）を予め設定された閾値Ｔｈと比較する（ステップＳ８０５）。この比較の結果、色情報のデータＤｖ（Ｘ，Ｙ）が閾値Ｔｈよりも小さければ、輝点色推定部２１８ｂは、ステップＳ８０１に戻る。なお、画素値の色情報としては彩度を用いる。画素値の色情報として彩度の場合、閾値Ｔｈは、予め設定された彩度を用いる。又は、閾値Ｔｈは、ＲＧＢの値が不均一になる値、例えばＲＧＢの差分又は比の値が不均一になる値とする。閾値Ｔｈは、ＲＧＢの値のうちいずれかに対して予め設定された値以下とする。
【００８０】
色情報のデータＤｖ（Ｘ，Ｙ）が閾値Ｔｈよりも大きければ、輝点色推定部２１８ｂは、検索する座標Ｖ（Ｘ，Ｙ）を次の座標Ｖ（Ｘ，Ｙ）に移動し（ステップＳ８０６）、色情報の検索の回数をカウントするためのカウンタＮを（Ｎ＝Ｎ＋１）にカウントする（ステップＳ８０７）。次に、輝点色推定部２１８ｂは、カウンタＮのカウント値が色情報を検索する上限回数をＬよりも大きいか否かを判別する。この判別の結果、カウンタＮのカウント値が上限回数Ｌよりも小さければ、輝点色推定部２１８ｂは、上記ステップＳ８０５に戻る。カウンタＮのカウント値が上限回数Ｌよりも多きければ、輝点色推定部２１８ｂは、光源色を白と決定する（ステップＳ８０９）。
【００８１】
なお、輝点検索部２１１は、上記したようにステップＳ７０５において、通常画像データにおける座標（Ｘ，Ｙ）の画素の色から輝点位置における光源色を特定する。この輝点検索部２１１は、特定した光源色を、上記記憶した輝度値Ｄｙ（Ｘ，Ｙ）及び輝点位置（Ｘ，Ｙ）と関連付けてＳＤＲＡＭ２０６に記憶する。座標（Ｘ，Ｙ）の画素の色は、例えば通常画像データの座標（Ｘ，Ｙ）における画素の色差データから彩度及び色相を算出することによって特定される。この他、輝度及び色差データからＲＧＢデータを算出する等して光源色の特定を行っても良い。
【００８２】
ここで、輝点色推定部２１８ｂは、上記ステップＳ８０６において、検索する座標Ｖ（Ｘ，Ｙ）を次の座標Ｖ（Ｘ，Ｙ）に移動して色情報の検索を行う。すなわち、輝点色推定部２１８ｂは、画像データにおける輝点座標を含む周辺に予め設定されている複数の検索座標の中から輝点座標との距離が所定距離以上離れている１つ以上の検索座標を検索対象の座標とし、当該検索対象の座標における輝点色を推定するための条件を有する画素値すなわち輝度値が飽和していない画素値に基づいて輝点色を推定する。
この輝点色推定部２１８ｂは、複数の検索座標のうち輝点座標からの距離が短い検索座標から遠い検索座標に向かって検索対象とする。
この輝点色推定部２１８ｂは、輝点座標を中心として放射状に延びる１本以上の線上に複数の検索座標を設定する。この場合、輝点色推定部２１８ｂは、図１２に示すように放射状に延びる１本以上の線を垂直方向Ｖｅ及び水平方向Ｈｏを除く方向に複数の検索座標を設定する。
この輝点色推定部２１８ｂは、垂直方向Ｖｅ及び水平方向Ｈｏとして画像データ自体の垂直方向及び水平方向と、画像データ中の被写体に対する垂直方向及び水平方向とを含む。
そして、輝点色推定部２１８ｂは、水平垂直判別部２１０により判別された垂直方向Ｖｅ及び水平方向Ｈｏとの各線上への検索座標の設定を除外する。
【００８３】
図１２は検索する座標Ｖ（Ｘ，Ｙ）の移動の具体的な一例を示す。輝点色推定部２１８ｂは、放射状に延びる１本以上の線、例えば２本の線Ｌａ、Ｌｂを垂直方向Ｖｅ及び水平方向Ｈｏを除く方向に設定し、これら線Ｌａ、Ｌｂ上に複数の検索座標を設定する。
輝点色推定部２１８ｂは、輝点座標（中心座標）Ｋの周辺部、例えば輝点座標Ｋから予め設定された距離の離れた周辺座標を起点Ｑとし、この起点Ｑから次第に距離が離れると共に、当該起点Ｑの周囲を回るような同心円的な検索用曲線Ｒを設定し、この検索用曲線Ｒ上に複数の検索座標を設定する。
【００８４】
この検索用曲線Ｒ上の各検索座標は、輝点座標Ｋから次第に距離が離れるが、この輝点座標Ｋから各検索座標までの距離ｄｎは、次式により表される。
【００８５】
【数１】
ここで、ｎ＝０，１，２，３，…（整数）、Ｘは輝点座標のｘ方向の値、Ｙは輝点座標のｙ方向の値、ｔは検索開始座標へのオフセット量、ｎは検索回数である。
図１３乃至図１５は画素レベルでの検索座標の移動の一例を模式的に示す。図１３は画像データ上で斜め方向のみで、かつ離散的に検索座標を設定して色検索を行う場合を示す。この検索する座標Ｖ（Ｘ，Ｙ）の移動は、検索座標「１」「２」…「５」の各画素の順に行われる。
図１４は輝点座標Ｋが飽和している場合の画素レベルでの検索座標の移動の一例を模式的に示す。輝点座標Ｋの輝度値が飽和している場合、輝点座標Ｋの付近に色情報がないので、輝点座標Ｋの輝度値に応じて検索開始座標へのオフセット量ｔを設定する。このオフセット量ｔは、輝点座標Ｋの輝度値が大きい程大きな量となり、輝度値が小さければ小さな量となる。すなわち、輝点座標Ｋの輝度値が大きる成る程、輝度値の飽和している領域が広くなるので、オフセット量ｔは、輝点座標Ｋの輝度値が大きる成る程、大きな量に設定される。輝点座標Ｋの輝度値とオフセット量ｔとの関係は、予め設定しておけばよい。
【００８６】
図１５は輝点座標Ｋが飽和していない場合の画素レベルでの検索座標の移動の一例を模式的に示す。この場合、輝点座標Ｋの付近に色情報があるので、オフセット量ｔをなくし、例えば輝点座標Ｋの隣の画素に検索開始座標を設定する。
以上のように輝点座標Ｋの周辺部から同心円的でかつ離散的な検索座標Ｖ（Ｘ，Ｙ）の移動であれば、全ての画素を検索するよりも高速に色検索を行うことが出来る。
【００８７】
又、輝点色推定部２１８ｂは、図１２に示すように画像データ中の垂直方向Ｖｅ及び水平方向Ｈｏを除く方向に複数の検索座標を設定するが、水平垂直判別部２１０により判別された撮像装置の傾きに応じて画像データ中の被写体に対する垂直方向及び水平方向を設定し、これら垂直方向及び水平方向上における検索座標の設定を除外する。
【００８８】
図１６（ａ）は画像データ中に建築物Ｈが存在する。水平垂直判別部２１０は、画像データ中の建築物Ｈに対する垂直方向Ｈａ及び水平方向Ｈｂを設定し、これら垂直方向Ｈａ及び水平方向Ｈｂ上における検索座標の設定を除外する。すなわち、建築物Ｈを被写体とする場合、光源が建築物Ｈに対して垂直方向Ｈａ及び水平方向Ｈｂに連なっているケースが多い。このような建築物Ｈ等の被写体では、光源の色検索を建築物Ｈに対して垂直方向Ｈａ及び水平方向Ｈｂに行うと、これら垂直方向Ｈａ及び水平方向Ｈｂに輝度の飽和する画素が連なるために、これら垂直方向Ｈａ及び水平方向Ｈｂで色情報を検索するのが容易でない。このため、画像データ中の建築物Ｈに対する垂直方向Ｈａ及び水平方向Ｈｂに検索座標を設定することが除外される。これにより、建築物Ｈに対する垂直方向Ｈａ及び水平方向Ｈｂで色情報を検索することがなく、色情報の検索を高速化できる。
【００８９】
図１６（ｂ）は例えばユーザによって本デジタルカメラを意図的に傾けて撮影したときの画像データを示す。この画像データ中には、画像データ自体の垂直方向及び水平方向に対して建築物Ｈの垂直方向Ｈａ及び水平方向Ｈｂが傾いている。水平垂直判別部２１０は、画像データ中で傾いている建築物Ｈに対する垂直方向Ｈａ及び水平方向Ｈｂを設定し、これら垂直方向Ｈａ及び水平方向Ｈｂ上における検索座標の設定を除外する。これにより、上記同様に、建築物Ｈに対する垂直方向Ｈａ及び水平方向Ｈｂで色情報を検索することがなく、色情報の検索を高速化できる。
【００９０】
次に、パターン合成処理について図１７に示すパターン合成処理フローチャートを参照して説明する。
パターン合成部２１２は、何番目の輝点情報を読み出すのかを示す変数Ｎを１にリセットする（ステップＳ９０１）。続いて、パターン合成部２１２は、Ｎ番目の輝点情報をＳＤＲＡＭ２０６から取得する（ステップＳ９０２）。その後、パターン合成部２１２は、ステップＳ９０２で取得した輝度値Ｄｙ（Ｘ，Ｙ）に応じたゲインを上記図２（ａ）乃至（ｂ）のいずれかに示すようなクロスパターン等の合成用パターンデータの各画素に乗じて当該合成用パターンデータをリサイズする（ステップＳ９０３）。このゲインは、例えば輝度値Ｄｙ（Ｘ，Ｙ）が大きいほど１．０に近い値とし、輝度値Ｄｙ（Ｘ，Ｙ）が小さいほど０に近い値とする。このようなゲインを合成用パターンデータに乗じることで、輝点の輝度に応じた輝度を有する合成用パターンデータを作成することが可能である。
【００９１】
合成用パターンに輝度値Ｄｙ（Ｘ，Ｙ）に応じたゲインを乗じた後、パターン合成部２１２は、合成用パターンの色を上記ステップＳ９０２で取得した光源色に変更する（ステップＳ９０４）。この場合、パターン合成部２１２は、例えば合成用パターンの全体に色を付けても良いし、又は合成用パターンの一部分に色を付けたり、多色を付けたり、透明にしたり、さらには３次元（３Ｄ）化の表示にしたり、グラデーションを付けても良い。
【００９２】
次に、パターン合成部２１２は、通常画像データに合成用パターンデータを合成する（ステップＳ９０５）。この際、パターン合成部２１２は、合成用パターンデータにおける中心と通常画像データにおける座標（Ｘ，Ｙ）に対応した画素位置とを一致させるようにして合成を行う。
【００９３】
合成用パターンを合成した後、パターン合成部２１２は、Ｎに１を加える（ステップＳ９０６）。続いて、パターン合成部２１２は、Ｎが輝度情報の数Ｃ以下であるか否かを判定する（ステップＳ９０７）。この判定の結果、ＮがＣ以下である場合、パターン合成部２１２は、上記ステップＳ９０２に戻る。この場合、次の輝点に対するパターン合成が行われる。一方、ＮがＣを越えた場合、パターン合成部２１２は、図１６に示すパターン合成処理を終了する。
【００９４】
このように上記第１の実施の形態によれば、画像データにおける輝点を検索してその輝点座標を求め、この輝点座標を含む周辺に予め設定されている複数の検索座標の中から輝点座標との距離が所定距離以上離れている１つ以上の検索座標を検索対象の座標とし、当該検索対象の座標における輝点色を推定するための条件を有する画素値すなわち輝度値が飽和していない画素値に基づいて輝点の輝点色を推定し、この推定された輝点色に応じて輝点座標の近傍にクロスパターン等を描画するので、高輝度部分の周辺の色を反映させたクロスフィルター効果を効果的に現すために、高輝度部分の周辺の色の検索を効率よく行って処理時間を短縮させることができる。すなわち、画像データの全ての画素を検索することがなく、例えば図１２に示すように輝点座標Ｋの周辺部から同心円的でかつ離散的に検索座標Ｖ（Ｘ，Ｙ）を設定するので、色検索を検索するための処理量を少なくし、色検索に要する処理時間を短縮して高速処理を実現できる。このように高速処理ができるので、例えば輝点の多い夜景の撮影や、ライブビュー表示を行うときなどでも通常の画像表示と同様な速度で光源色を反映した画像を表示することができる。
【００９５】
輝点座標Ｋの輝度値が飽和している場合、例えば図１３に示すように輝点座標Ｋの輝度値に応じて検索開始座標へのオフセット量ｔを設定するので、色情報の無い輝点座標Ｋの付近で色検索を行うことなく、色検索を検索するための処理量を少なくし、色検索に要する処理時間を短縮できる。又、図１５に示すように輝点座標Ｋが飽和していない場合は、オフセット量ｔを無くし、例えば輝点座標Ｋの隣の画素に検索開始座標を設定することにより、色情報を取得するのに要する時間を短縮できる。
【００９６】
輝点の検索座標Ｖ（Ｘ，Ｙ）を設定する場合、輝点の検索を行う処理時間や検索座標Ｖ（Ｘ，Ｙ）の数を予め設定してもよい。これにより、色検索の処理の高速化を図れる。
又、図１６（ａ）に示すように建築物Ｈを被写体とする場合、光源が建築物Ｈに対して垂直方向Ｈａ及び水平方向Ｈｂに連なっているケースが多いので、これら垂直方向Ｈａ及び水平方向Ｈｂでは輝度の飽和する画素が連なり、色情報を検索するのが容易でないが、これら垂直方向Ｈａ及び水平方向Ｈｂへの検索座標の設定を除外するので、建築物Ｈに対する垂直方向Ｈａ及び水平方向Ｈｂで色情報を検索することがなく、色情報の検索を高速化できる。
図１６（ｂ）に示すように本デジタルカメラを意図的に傾けて撮影を行った場合でも、画像データ中で傾いている建築物Ｈに対する垂直方向Ｈａ及び水平方向Ｈｂ上における検索座標の設定を除外するので、上記同様に色情報の検索を高速化できる。
【００９７】
従って、光源色である高輝度部の周辺の色をクロスフィルター効果に反映させることができ、より光学フィルターに近い自然な効果を画像処理で得ることが出来る。さらに、建築物Ｈ等の主要被写体の形状等の特性を活かした検索方法の改善を行なうことによって、高輝度部の周辺の全ての画素を検索する場合に比べて、品質を落とすことなく、大幅に処理時間も短縮することが出来る。
【００９８】
次に、本発明の第２の実施の形態として輝点検索処理及びパターン合成処理について説明する。
図１８は輝点検索処理フローチャートを示す。なお、図９と同一部分には同一符号を付してその詳しい説明は省略する。この輝点検索処理は、上記図９に示す輝点検索処理フローチャートにおける上記ステップＳ７０４の輝点サイズの算出処理を行わないものとなっている。すなわち、この輝点検索処理は、上記ステップＳ７０３の判定の結果、輝度値Ｄｙ（Ｘ，Ｙ）が閾値Ｔｈを超えていれば、ステップＳ１００１において、座標（Ｘ，Ｙ）の輝度を算出し、輝点位置と輝度値Ｄｙ（Ｘ，Ｙ）の情報をＳＤＲＡＭ２０６に記憶する。この後、光源色検索に移る。
【００９９】
図１９はパターン合成処理フローチャートを示す。なお、図１７と同一部分には同一符号を付してその詳しい説明は省略する。このパターン合成処理は、上記図１８に示す輝点検索処理が行われた後の処理である。このパターン合成処理は、輝点の輝度に応じてクロスパターン等のパターンに係数を乗じ、この係数を乗じたクロスパターン等を画像データに合成する。すなわち、このパターン合成処理は、上記ステップＳ９０２におけるＮ番目の輝点情報をＳＤＲＡＭ２０６から取得の後、上記ステップＳ１０１１において、輝点の輝度に応じてクロスパターン等のパターンに係数を乗じる。例えば、輝点の輝度が高い程１．０に近い係数をパターンに乗じ、輝点の輝度が低い程０に近い係数をパターンに乗じる。これにより、被写体の輝度に応じた輝度に強弱を有するクロスパターン等のパターンが作成される。
【０１００】
このように第２の実施の形態であれば、輝点サイズの算出処理を行わないので、上記第１の実施の形態よりも輝点検索の処理が容易となり、輝点検索処理に要する時間を短縮できる。輝点サイズの算出処理を行わなくても、クロスパターン等の輝線の幅がある程度狭ければ、クロスフィルター効果を反映した効果的な画像にすることができる。又、ハードウェア構成によっては処理を高速化することが可能である。
【０１０１】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、上述の実施形態では、クロスフィルター処理をデジタルカメラにおいて行っている。これに対し、例えばデジタルカメラで得られた画像ファイルに対し、デジタルカメラとは別の画像処理装置においてクロスフィルター処理を行うような場合であっても本実施形態の技術を適用することができる。
【０１０２】
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【符号の説明】
【０１０３】
１００：交換式レンズ、２００：カメラ本体、１０１：レンズ、１０２：絞り、１０３：ドライバ、１０４：レンズマイクロコンピュータ、１０５：フラッシュ（Ｆｌａｓｈ）メモリ、１０６：インターフェイス（Ｉ/Ｆ）、２０１：メカシャッタ、２０２：撮像素子、２０３：アナログ処理部、２０４：アナログ/デジタル（Ａ/Ｄ）変換部、２０５：バス、２０６：ＳＤＲＡＭ、２０７：画像処理部、２０８：ＡＥ処理部、２０９：ＡＦ処理部、２１０：水平垂直判別部、２１１：輝点検索部、２１２：パターン合成部、２１３：画像圧縮展開部、２１４：メモリインターフェイス（Ｉ/Ｆ）、２１５：記録媒体、２１６：表示ドライバ、２１７：表示部、２１８：マイクロコンピュータ、２１９：操作部、２２０：フラッシュ（Ｆｌａｓｈ）メモリ、２０７１：オプティカルブラック（ＯＢ）減算部、２０７２：ホワイトバランス（ＷＢ）補正部、２０７３：同時化処理部、２０７４：カラーマトリクス演算部、２０７５：ガンマ・色再現処理部、２０７６：エッジ強調処理部、２０７７：ノイズ低減（ＮＲ）処理部、２１８ａ：輝点座標取得部、２１８ｂ：輝点色推定部。
【特許請求の範囲】
【請求項１】
画像データにおける輝点を検索する輝点検索部と、
前記輝点検索部により検索された前記輝点の前記画像データにおける輝点座標を求める輝点座標取得部と、
前記画像データにおける前記輝点座標を含む周辺に予め設定されている複数の検索座標の中から前記輝点座標との距離が所定距離以上離れている１つ以上の前記検索座標を検索対象の座標とし、当該検索対象の座標における前記輝点色を推定するための条件を有する画素値に基づいて前記輝点色を推定する輝点色推定部と、
前記輝点色に応じて前記輝点座標の近傍にパターンを描画する描画処理部と、
を具備することを特徴とする画像処理装置。
【請求項２】
前記輝点色推定部は、前記複数の検索座標のうち前記輝点座標からの距離が近い前記検索座標から遠い前記検索座標に向かって前記検索対象とする請求項１に記載の画像処理装置。
【請求項３】
前記輝点色推定部は、前記輝点座標を中心として放射状に延びる１本以上の線上に前記複数の検索座標を設定することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記輝点色推定部は、前記放射状に延びる１本以上の線を垂直方向及び水平方向を除く方向に設定することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記輝点色推定部は、前記垂直方向及び前記水平方向として前記画像データの垂直方向及び水平方向と、前記画像データ中の被写体の垂直方向及び水平方向とを含むことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記画像データ中の被写体の水平方向と垂直方向とを判別する水平垂直判別部を備え、
前記輝点色推定部は、前記水平垂直判別部により判別された前記水平方向と前記垂直方向との前記各線上への前記検索座標の設定を除外する、
ことを特徴とする請求項１乃至４のうちいずれか１項に記載の画像処理装置。
【請求項７】
撮影を行って前記画像データを取得する撮像装置の傾きを認識する傾き認識部と、
前記撮像装置により取得された前記画像データ中の被写体の水平方向と垂直方向とを判別する水平垂直判別部を備え、
前記輝点色推定部は、前記傾き認識部により認識された前記撮影装置の撮影時の傾きに基づいて前記被写体の水平方向と垂直方向とを判別し、かつ前記水平垂直判別部により判別された前記水平方向と前記垂直方向との前記各線上への前記検索座標の設定を除外する、
ことを特徴とする請求項１乃至４のうちいずれか１項に記載の画像処理装置。
【請求項８】
前記輝点色推定部は、前記輝点色を推定するための前記条件を有する前記画素値として所定の彩度以上の彩度を有する画素値を用いて前記輝点色を推定することを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記輝点色推定部は、所定の値以下の前記画素値を用いて前記輝点色を推定することを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
所定のパターンを記憶するパターン記憶部を備え、
前記描画処理部は、前記パターン記憶部に記憶されている前記所定のパターンを、前記輝点座標に対応する位置に合成することを特徴とする請求項１に記載の画像処理装置。
【請求項１１】
前記描画処理部は、前記パターン記憶部に記憶されている前記所定のパターンの色相及び彩度を前記輝点色に応じて変更し、当該変更した前記所定のパターンを前記輝点座標に対応する位置に合成することを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記パターン記憶部に記憶する前記所定のパターンは、当該パターンの中心から放射状に伸びる複数の直線を有し、
前記複数の直線は、それぞれ前記パターン中心からの距離に応じて輝度が変化する、
ことを特徴とする請求項１０に記載の画像処理装置。
【請求項１３】
前記所定のパターンは、前記パターン中心からの距離に応じて前記輝度が低下することを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
請求項１乃至１３のうちいずれか１項記載の画像処理装置を備え、被写体を撮像して前記画像データを取得することを特徴とする撮影装置。
【請求項１５】
画像データにおける輝点を検索し、
前記検索された前記輝点の前記画像データにおける輝点座標を求め、
前記輝点座標を含む周辺に予め設定されている複数の検索座標の中から前記輝点座標との距離が所定距離以上離れている１つ以上の前記検索座標を検索対象の座標とし、当該検索対象の座標における前記輝点色を推定するための条件を有する画素値に基づいて前記輝点の輝点色を推定し、
前記推定された前記輝点色に応じて前記輝点座標の近傍にパターンを描画する、
ことを特徴とする画像処理方法。
【請求項１６】
コンピュータに、
画像データにおける輝点を検索する輝点検索機能と、
前記検索された前記輝点の前記画像データにおける輝点座標を求める輝点座標取得機能と、
前記輝点座標を含む周辺に予め設定されている複数の検索座標の中から前記輝点座標との距離が所定距離以上離れている１つ以上の前記検索座標を検索対象の座標とし、当該検索対象の座標における前記輝点色を推定するための条件を有する画素値に基づいて前記輝点の輝点色を推定する輝点色推定機能と、
前記推定された前記輝点色に応じて前記輝点座標の近傍にパターンを描画する描画処理機能と、
を実現するための画像処理プログラム。
【請求項１】
画像データにおける輝点を検索する輝点検索部と、
前記輝点検索部により検索された前記輝点の前記画像データにおける輝点座標を求める輝点座標取得部と、
前記画像データにおける前記輝点座標を含む周辺に予め設定されている複数の検索座標の中から前記輝点座標との距離が所定距離以上離れている１つ以上の前記検索座標を検索対象の座標とし、当該検索対象の座標における前記輝点色を推定するための条件を有する画素値に基づいて前記輝点色を推定する輝点色推定部と、
前記輝点色に応じて前記輝点座標の近傍にパターンを描画する描画処理部と、
を具備することを特徴とする画像処理装置。
【請求項２】
前記輝点色推定部は、前記複数の検索座標のうち前記輝点座標からの距離が近い前記検索座標から遠い前記検索座標に向かって前記検索対象とする請求項１に記載の画像処理装置。
【請求項３】
前記輝点色推定部は、前記輝点座標を中心として放射状に延びる１本以上の線上に前記複数の検索座標を設定することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記輝点色推定部は、前記放射状に延びる１本以上の線を垂直方向及び水平方向を除く方向に設定することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記輝点色推定部は、前記垂直方向及び前記水平方向として前記画像データの垂直方向及び水平方向と、前記画像データ中の被写体の垂直方向及び水平方向とを含むことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記画像データ中の被写体の水平方向と垂直方向とを判別する水平垂直判別部を備え、
前記輝点色推定部は、前記水平垂直判別部により判別された前記水平方向と前記垂直方向との前記各線上への前記検索座標の設定を除外する、
ことを特徴とする請求項１乃至４のうちいずれか１項に記載の画像処理装置。
【請求項７】
撮影を行って前記画像データを取得する撮像装置の傾きを認識する傾き認識部と、
前記撮像装置により取得された前記画像データ中の被写体の水平方向と垂直方向とを判別する水平垂直判別部を備え、
前記輝点色推定部は、前記傾き認識部により認識された前記撮影装置の撮影時の傾きに基づいて前記被写体の水平方向と垂直方向とを判別し、かつ前記水平垂直判別部により判別された前記水平方向と前記垂直方向との前記各線上への前記検索座標の設定を除外する、
ことを特徴とする請求項１乃至４のうちいずれか１項に記載の画像処理装置。
【請求項８】
前記輝点色推定部は、前記輝点色を推定するための前記条件を有する前記画素値として所定の彩度以上の彩度を有する画素値を用いて前記輝点色を推定することを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記輝点色推定部は、所定の値以下の前記画素値を用いて前記輝点色を推定することを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
所定のパターンを記憶するパターン記憶部を備え、
前記描画処理部は、前記パターン記憶部に記憶されている前記所定のパターンを、前記輝点座標に対応する位置に合成することを特徴とする請求項１に記載の画像処理装置。
【請求項１１】
前記描画処理部は、前記パターン記憶部に記憶されている前記所定のパターンの色相及び彩度を前記輝点色に応じて変更し、当該変更した前記所定のパターンを前記輝点座標に対応する位置に合成することを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記パターン記憶部に記憶する前記所定のパターンは、当該パターンの中心から放射状に伸びる複数の直線を有し、
前記複数の直線は、それぞれ前記パターン中心からの距離に応じて輝度が変化する、
ことを特徴とする請求項１０に記載の画像処理装置。
【請求項１３】
前記所定のパターンは、前記パターン中心からの距離に応じて前記輝度が低下することを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
請求項１乃至１３のうちいずれか１項記載の画像処理装置を備え、被写体を撮像して前記画像データを取得することを特徴とする撮影装置。
【請求項１５】
画像データにおける輝点を検索し、
前記検索された前記輝点の前記画像データにおける輝点座標を求め、
前記輝点座標を含む周辺に予め設定されている複数の検索座標の中から前記輝点座標との距離が所定距離以上離れている１つ以上の前記検索座標を検索対象の座標とし、当該検索対象の座標における前記輝点色を推定するための条件を有する画素値に基づいて前記輝点の輝点色を推定し、
前記推定された前記輝点色に応じて前記輝点座標の近傍にパターンを描画する、
ことを特徴とする画像処理方法。
【請求項１６】
コンピュータに、
画像データにおける輝点を検索する輝点検索機能と、
前記検索された前記輝点の前記画像データにおける輝点座標を求める輝点座標取得機能と、
前記輝点座標を含む周辺に予め設定されている複数の検索座標の中から前記輝点座標との距離が所定距離以上離れている１つ以上の前記検索座標を検索対象の座標とし、当該検索対象の座標における前記輝点色を推定するための条件を有する画素値に基づいて前記輝点の輝点色を推定する輝点色推定機能と、
前記推定された前記輝点色に応じて前記輝点座標の近傍にパターンを描画する描画処理機能と、
を実現するための画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１２−１４６４５（Ｐ２０１２−１４６４５Ａ）
【公開日】平成２４年１月１９日（２０１２．１．１９）
【国際特許分類】
【出願番号】特願２０１０−１５３２６７（Ｐ２０１０−１５３２６７）
【出願日】平成２２年７月５日（２０１０．７．５）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
【公開日】平成２４年１月１９日（２０１２．１．１９）
【国際特許分類】
【出願日】平成２２年７月５日（２０１０．７．５）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
[ Back to top ]