撮像装置、画像処理方法および画像処理プログラム
【課題】画像内の輝点をより確実に検出し、輝点の検出された位置にパターンを合成することにより、視覚効果に優れた画像を得ることを可能とする。
【解決手段】撮影画像データに対して異なる現像処理パラメータを用いた２回の現像処理（Ｓ６２０、Ｓ６５０）が行われ、描画用画像データと輝点検出用画像データが生成される。輝点検出用画像データを用いて輝点検出処理（Ｓ６６０）が行われ、検出された輝点の位置またはその近傍にパターンを合成する処理が描画用画像データに対して行われる（Ｓ６７０）。
【解決手段】撮影画像データに対して異なる現像処理パラメータを用いた２回の現像処理（Ｓ６２０、Ｓ６５０）が行われ、描画用画像データと輝点検出用画像データが生成される。輝点検出用画像データを用いて輝点検出処理（Ｓ６６０）が行われ、検出された輝点の位置またはその近傍にパターンを合成する処理が描画用画像データに対して行われる（Ｓ６７０）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像して得られた撮影画像データに対して特殊な視覚効果を与えることの可能な技術に関する。
【背景技術】
【０００２】
ガラス等の表面に細かい溝を格子状に形成したフィルタを、撮影レンズの前面に装着することにより、画像内の明るい場所（輝点）を中心として放射状の光芒（光条）が形成され、幻想的な写真を得ることができる。また、デジタルカメラや、ＰＣ上で動作するソフトウェアに備えられる機能として、画像処理により、あたかも上述したフィルタを用いて撮影し、得られたかのような画像を生成するものがある。以下では、上述した画像処理をクロスフィルタ処理、クロスフィルタ処理によって得られる視覚効果をクロスフィルタ効果と称する。
【０００３】
特許文献１には、デジタルカメラで撮影されたデジタル画像や写真フィルム等をスキャナで読み取り得られたデジタル画像に対して、クロスフィルタ処理を施す技術が開示される。また、特許文献２には、被写体を撮像する撮像手段により得られた原画像中の高輝度部分の信号を抽出し、この高輝度部分に輝線を合成してクロスフィルタ効果を得るものが開示される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４２０７１２４号公報
【特許文献２】特公平７−１１３９６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
デジタル写真では、撮影したＲＡＷデータに対してモニターのガンマを考慮したガンマ変換が行われる。その特性は、暗部を伸張して明部を圧縮したような特性であるため、デジタル写真において明るい被写体の階調の差が失われることになる。そのため、ある閾値を越す輝度値（画素値）を有する画素を検出してそれを輝点と見なそうとしたとき、本当は画面中に散在するいくつかの点が輝点として検出されるのが理想であるが、画面中に散在するいくつかの領域が輝点として検出されてしまう。逆に、閾値を上げると、画面中から輝点が検出されにくくなり、思うような視覚効果が得られないという問題がある。
【０００６】
特許文献１には、その従来技術として、適正露光の画像と、適正露光の露光量よりも低い露出値での画像とを得て、低い露出値での画像を用いて輝点を検出することが開示されている。しかし、一つの画像を得るために２回の露出動作をしなくてはならず、連続撮影時のコマ速を上げることが難しい。このとき、動体を撮影した場合には２回の露光で同じ画像を得ることができないので処理が難しくなる。また、動画撮影時にはフレームレートを２倍に上げて撮像をしないとスムーズな動画像を得ることができない。加えて、２回の露出動作をしていなかったために適正露光の画像データしか無い場合には、後処理によってクロスフィルタ処理をすることが難しい。
【０００７】
本発明の課題は、撮像時および後処理のいずれにおいても、より的確に輝点を検出することができ、良好な視覚効果を得ることを可能とすることにある。
【課題を解決するための手段】
【０００８】
（１） 本発明のある態様に係る撮像装置は、撮影光学系によって形成された被写体像を撮像して撮影画像データを出力する撮像部と、
前記撮影画像データに対し、第１の画像処理を施して輝点検出用画像データを生成するとともに、前記第１の画像処理とは異なる第２の画像処理を施して描画用画像データを生成する画像処理部と、
前記画像処理部で生成された前記輝点検出用画像データから、画像内における輝点を検出し、前記画像内における前記輝点の位置と明るさに関する情報を少なくとも含む輝点情報を生成する輝点検出部と、
前記描画用画像データに対し、前記輝点情報で特定される輝点の位置またはその近傍にパターンを合成する処理を施す合成処理部と
を備える。
（２） 本発明の別の態様に係る画像処理方法は、
撮像装置によって生成された撮影画像データに対し、第１の画像処理を施して輝点検出用画像データを生成することと、
前記撮影画像データに対し、前記第１の画像処理とは異なる第２の画像処理を施して描画用画像データを生成することと、
前記輝点検出用画像データを生成することで生成された前記輝点検出用画像データから、画像内における輝点を検出し、前記画像内における前記輝点の位置と明るさに関する情報を少なくとも含む輝点情報を生成することと、
前記描画用画像データに対し、前記輝点情報で特定される輝点の位置またはその近傍にパターンを合成する処理を施すことと
を備える。
（３） 本発明のさらに別の態様に係る画像処理プログラムは、
撮像装置によって生成された撮影画像データに対し、第１の画像処理を施して輝点検出用画像データを生成する輝点検出用画像データ生成手順と、
前記撮影画像データに対し、前記第１の画像処理とは異なる第２の画像処理を施して描画用画像データを生成する描画用画像データ生成手順と、
前記輝点検出用画像データ生成手順で生成された前記輝点検出用画像データから、画像内における輝点を検出し、前記画像内における前記輝点の位置と明るさに関する情報を少なくとも含む輝点情報を生成する輝点情報生成手順と、
前記描画用画像データに対し、前記輝点情報で特定される輝点の位置またはその近傍にパターンを合成する処理を施すパターン合成手順と
を備える。
【発明の効果】
【０００９】
本発明によれば、画像中の輝点をより的確に検出することが可能となり、画像中の輝点の存在する位置にパターンが合成されて視覚効果のより高められた画像を生成することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係る撮像装置の構成を示すブロック図である。
【図２】第１の実施形態に係る撮像装置で行われるメインの処理フローを示すフローチャートである。
【図３】静止画撮影・画像処理の処理フローを示すフローチャートである。
【図４】ライブビュー表示・動画撮影・画像処理の処理フローを示すフローチャートである。
【図５】再生処理の処理フローを示すフローチャートである。
【図６】画像処理の処理フローを示すフローチャートである。
【図７】現像処理の処理フローを示すフローチャートである。
【図８】輝点検出処理の処理フローを示すフローチャートである。
【図９】パターン合成処理の処理フローを示すフローチャートである。
【図１０】階調変換処理に際して適用されるガンマ特性の例を示す図であり、（ａ）は描画用画像データを生成する際の、（ｂ）および（ｃ）は輝点検出用画像データを生成する際のガンマ特性の例を示す図である。
【図１１】画像に合成されるパターンの例を示す図であり、（ａ）は十字パターンの、（ｂ）は放射状８条パターンの、（ｃ）は放射状６条パターンの、（ｄ）は星形パターンの、（ｅ）はハート形パターンの例を示す図である。
【図１２】輝点検出処理が行われる様子を概念的に示す図であり、（ａ）は輝点検出処理が行われる前の輝点検出用画像データを、（ｂ）は輝点検出処理の途中で一部の輝点検出用画像データに輝度値変更の処理が行われた後の輝点検出用画像データを示す図である。
【図１３】第２の実施形態に係る撮像装置で実行される輝点検出処理の処理フローを示すフローチャートである。
【図１４】第２の実施形態に係る撮像装置で実行されるパターン合成処理の処理フローを示すフローチャートである。
【図１５】画像処理プログラムを実行するための情報処理装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１１】
＜第１の実施形態＞
図１は、第１の実施形態における撮像装置を適用したデジタルスチルカメラの構成を示すブロック図である。図１に示すデジタルスチルカメラは、カメラ本体１と交換式レンズ２から構成される。なお、本発明は撮影レンズ固定式の撮像装置にも適用可能であるが、以下では交換式のレンズが着脱可能であるものとして説明をする。
【００１２】
交換式レンズ２は、レンズ１０１０と、Ｆｌａｓｈメモリ１０１１と、マイクロコンピュータ１０１２と、ドライバ１０１３と、絞り１０１４と、を有している。交換式レンズ２は、Ｉ／Ｆ９９９を介して、カメラ本体１と通信可能に接続されている。
【００１３】
カメラ本体１は、メカシャッター１０１と、撮像素子１０２と、アナログ処理部１０３と、アナログ／デジタル変換部１０４（以下、Ａ／Ｄ変換部１０４）と、バス１０５と、ＳＤＲＡＭ１０６と、画像処理部１０７と、ＡＥ処理部１０８と、ＡＦ処理部１０９と、画像圧縮展開部１１０と、メモリインターフェース１１１（以下、メモリＩ／Ｆ１１１）と、記録媒体１１２と、ＬＣＤドライバ１１３と、ＬＣＤ１１４と、マイクロコンピュータ１１５と、操作部１１６と、Ｆｌａｓｈメモリ１１７と、輝点検出部１１８と、合成処理部１１９と、を有している。
【００１４】
レンズ１０１０は、被写体の光学像を撮像素子１０２に集光させる。レンズ１０１０は、単焦点レンズであってもよいし、ズームレンズであってもよい。
【００１５】
マイクロコンピュータ１０１２は、Ｉ／Ｆ９９９、Ｆｌａｓｈメモリ１０１１、および、ドライバ１０１３と接続されていて、Ｆｌａｓｈメモリ１０１１に記憶されている情報の読み込み・書き込みを行うとともに、ドライバ１０１３を制御する。Ｆｌａｓｈメモリ１０１１に記憶されている情報には、交換式レンズ２の焦点距離のデータなどが含まれる。
【００１６】
マイクロコンピュータ１０１２は、さらに、Ｉ／Ｆ９９９を介して、マイクロコンピュータ１１５と通信することができ、様々な情報をマイクロコンピュータ１１５へ送信し、また、マイクロコンピュータ１１５から絞り値等の情報を受信する。
【００１７】
ドライバ１０１３は、マイクロコンピュータ１０１２の指示を受けて、レンズ１０１０を駆動して、フォーカス位置の変更を行うとともに、絞り１０１４を駆動する。絞り１０１４は、レンズ１０１０の近傍に設けられ、撮像素子１０２に導く光量を調節する。
【００１８】
メカシャッター１０１は、マイクロコンピュータ１１５の指示を受けて作動し、撮像素子１０２の露光時間を制御する。
【００１９】
撮像素子１０２は、単板式のものであっても多板式のものであってもよいが、本明細書中ではベイヤ配列のオンチップカラーフィルタが受光面上に配列された単板式のものとして説明する。すなわち、撮像素子１０２は、各画素を構成するフォトダイオードの前面に、ベイヤー配列のカラーフィルタが配置された撮像素子である。ベイヤー配列は、水平方向にＲ画素とＧ（Ｇｒ）画素が交互に配置されたラインと、Ｇ（Ｇｂ）画素とＢ画素が交互に配置されたラインとを有し、さらにその２つのラインを垂直方向にも交互に配置することで構成されている。この撮像素子１０２は、レンズ１０１０により集光された光を、画素を構成するフォトダイオードで受光して光電変換して生成された信号電荷の量に対応した信号をアナログ処理部１０３へ出力する。なお、撮像素子１０２は、ＣＭＯＳ方式のものでもＣＣＤ方式のものでも良い。また、撮像素子１０２としては、上述したベイヤー配列式のものに代えて、レンズ１０１０の光軸方向に沿って撮像素子１０２の厚み方向に三つ（あるいは四つ以上）の異なる分光感度特性を有する光電変換部が積層されたものを用いることも可能である。
【００２０】
アナログ処理部１０３は、撮像素子１０２から読み出された電気信号（アナログ画像信号）に対し、リセットノイズ等を低減し、さらに目的の信号値が得られるように、増幅する。Ａ／Ｄ変換部１０４は、アナログ処理部１０３から出力されたアナログ画像信号をデジタル画像信号（以後、撮影画像データという）に変換する。
【００２１】
バス１０５は、デジタルカメラ内部で発生した各種データをデジタルカメラ内の各部に転送するための転送路である。バス１０５は、Ａ／Ｄ変換部１０４と、ＳＤＲＡＭ１０６と、画像処理部１０７と、ＡＥ処理部１０８と、ＡＦ処理部１０９と、画像圧縮展開部１１０と、メモリＩ／Ｆ１１１と、ＬＣＤドライバ１１３と、マイクロコンピュータ１１５と、輝点検出部１１８と、合成処理部１１９に接続されている。
【００２２】
Ａ／Ｄ変換部１０４から出力される撮影画像データは、バス１０５を介して一旦ＳＤＲＡＭ１０６に記憶される。ＳＤＲＡＭ１０６には、Ａ／Ｄ変換部１０４において得られた撮影画像データや、画像処理部１０７で生成される輝点検出用画像データ、描画用画像データも一時的に記憶される。これらの輝点検出用画像データ、描画用画像データについては後で説明する。
【００２３】
画像処理部１０７は、オプティカルブラック減算部１０７１（以下、ＯＢ減算部１０７１）、ホワイトバランス補正部１０７２（以下、ＷＢ補正部１０７２）、同時化処理部１０７３、カラーマトリクス演算部１０７４、ガンマ・色再現処理部１０７５、エッジ強調処理部１０７６、および、ノイズ低減処理部１０７７（以下、ＮＲ処理部１０７７）を含み、ＳＤＲＡＭ１０６から読み出した撮影画像データに対して様々な画像処理を施す。
【００２４】
ＯＢ減算部１０７１は、撮影画像データに対して、オプティカルブラック減算処理（以下、ＯＢ減算処理）を行う。ＯＢ減算処理は、撮影画像データを構成する各画素の画素値から、撮像素子１０２の暗電流等に起因するオプティカルブラック値（以下、ＯＢ値）を減算する処理である。
【００２５】
ＷＢ補正部１０７２は、撮影画像データに対して、ホワイトバランスモードに応じたホワイトバランスゲインを乗じて、ホワイトバランスを補正する処理を行う。ホワイトバランスモードは、自動モード、あるいは晴天、曇天、電球、蛍光灯等のプリセットモードの中から、ユーザが自由に設定可能である。また、マニュアルホワイトバランスモードに設定されているときには、予め測定された結果に基づいて生成されたホワイトバランスゲインでホワイトバランス補正の処理が行われる。
【００２６】
同時化処理部１０７３は、ベイヤー配列による撮影画像データから、１画素あたりＲ、Ｇ、Ｂの情報からなる画像データへ同時化する処理を行う。カラーマトリクス演算部１０７４は、撮影画像データに対して、カラーマトリクス係数を乗じる線形変換を行って、画像データの色を補正する。ガンマ・色再現処理部１０７５は、ガンマ補正処理、および、画像の色味を変化させる色再現処理を行う。
【００２７】
エッジ強調処理部１０７６は、バンドパスフィルタを用いて、画像データからエッジ成分を抽出し、抽出したエッジ成分のデータに、エッジ強調度に応じた係数を乗じてから、画像データに加算することにより、画像データのエッジを強調する処理を行う。
【００２８】
ＮＲ処理部１０７７は、高空間周波数成分を低減するフィルタを用いた処理や、コアリング処理、メディアンフィルタ処理等により、画像データ中のノイズを低減する処理を行う。
【００２９】
画像処理部１０７によって各処理が行われた結果、輝点検出用画像データと描画用画像データが生成される。これらの輝点検出用画像データおよび描画用画像データは、ＳＤＲＡＭ１０６に記憶される。ところで、画像処理部１０７は、静止画像データを生成する処理と動画像データを生成する処理とのうち、カメラ本体１で設定されている動作モードに応じた処理を行うことが可能に構成されている。
【００３０】
描画用画像データは、後述する処理が施されて最終的には画像データとして記録媒体１１２に記録されるデータである。一方、輝点検出用画像データは、画像中から輝点を検出する処理が輝点検出部１１８で行われる際に参照されるデータである。
【００３１】
ＡＥ処理部１０８は、画像データから被写体輝度を算出する。被写体輝度を算出するためのデータは、専用の測光センサからの出力であってもよい。ＡＦ処理部１０９は、画像データから高周波成分の信号を取り出し、ＡＦ（Auto Focus）積算処理により、合焦評価値を取得する。
【００３２】
画像圧縮展開部１１０は、静止画像データの記録時には、ＳＤＲＡＭ１０６から描画用画像データを読み出し、読み出した描画用画像データをＪＰＥＧ圧縮方式に従って圧縮して、圧縮したＪＰＥＧ画像データを、ＳＤＲＡＭ１０６に一旦記憶する。マイクロコンピュータ１１５は、ＳＤＲＡＭ１０６に記憶されたＪＰＥＧ画像データに対して、ＪＰＥＧファイルを構成するために必要なＪＰＥＧヘッダを付加してＪＰＥＧファイルを作成し、作成したＪＰＥＧファイルを、メモリＩ／Ｆ１１１を介して記録媒体１１２に記録する。
【００３３】
画像圧縮展開部１１０は、また、動画データの記録時には、画像処理部１０７によって逐次生成されて記録された動画データをＳＤＲＡＭ１０６から読み出し、読み出した動画データを、Ｍｏｔｉｏｎ ＪＰＥＧ形式やＭＰＥＧ形式、あるいはＨ．２６４形式等、動画像を圧縮して記録するための形式に従って圧縮して、圧縮した動画データをＳＤＲＡＭ１０６に一旦記憶する。マイクロコンピュータ１１５は、ＳＤＲＡＭ１０６に記憶された動画データに対して、ヘッダ情報を付加する等の処理をして所定のフォーマットの動画ファイルを作成し、メモリＩ／Ｆ１１１を介して記録媒体１１２に記録する。
【００３４】
画像圧縮展開部１１０は、さらに、マイクロコンピュータ１１５からの指令に基づいて、静止画あるいは動画の圧縮データを展開（伸長）する処理を行う。
【００３５】
以上では静止画像データとしてＪＰＥＧファイルが記録媒体１１２に記録される例について説明したが、ＲＡＷ画像データを記録することも可能に構成される。その場合、マイクロコンピュータ１１５は、Ａ／Ｄ変換部１０４から出力された撮影画像データにタグ情報等を付加して所定のファイルフォーマットのＲＡＷ画像データを生成し、記録媒体１１２に記録する。
【００３６】
ＲＡＷ画像データは、非圧縮の撮影画像データであり、一つの画素に対する階調情報（ビット深度）がＪＰＥＧ圧縮された画像データのビット深度よりも大きい（深い）。ＪＰＥＧ画像データがＲ、Ｇ、Ｂ各色８ビット程度の階調情報を有するのに対し、ＲＡＷ画像データは例えば各色１２ビット、あるいはそれよりも多いビット深度を有し、従ってより多くの階調情報を含むことが可能である。
【００３７】
記録媒体１１２は、例えばカメラ本体１に着脱可能なメモリカードであってもよいし、他の記録媒体であってもよい。また、記録媒体１１２はカメラ内蔵式のものであってもよい。
【００３８】
ここで、画像の表示には、撮影直後に画像を表示するレックビュー表示、記録媒体１１２に記録されたＪＰＥＧファイルやＲＡＷ画像ファイルの再生表示、および、ライブビュー表示や動画再生等の動画の表示が含まれる。記録媒体１１２に記録された圧縮データを再生する場合、画像圧縮展開部１１０は、記録媒体１１２に記録されている圧縮データを読み出して展開（伸長）処理を施した上で、展開したデータを一旦ＳＤＲＡＭ１０６に記憶させる。
【００３９】
このとき、ＬＣＤ１１４の表示解像度に対応した表示用画像データが生成されてＳＤＲＡＭ１０６のＶＲＡＭ領域に記憶される。ＬＣＤドライバ１１３は、この表示用画像データに基づく画像をＳＤＲＡＭ１０６のＶＲＡＭ領域から読み出し、ＬＣＤ１１４に表示する処理を行う。ＬＣＤ１１４は、ＴＦＴ等で構成される透過型液晶表示素子とバックライト装置等を備え、カラーの画像を表示することが可能に構成される。このＬＣＤ１１４に代えて、他のカラー表示素子、例えば有機ＥＬ表示素子等を用いることも可能である。
【００４０】
制御部としての機能を有するマイクロコンピュータ１１５は、デジタルカメラ本体１の各種シーケンスを統括的に制御する。マイクロコンピュータ１１５には、操作部１１６およびＦｌａｓｈメモリ１１７が接続されている。
【００４１】
操作部１１６は、電源ボタン、レリーズボタン、動画ボタン、再生ボタン、各種入力キー等の操作部材である。ユーザによって、操作部１１６の何れかの操作部材が操作されることにより、マイクロコンピュータ１１５は、ユーザの操作に応じた各種シーケンスを実行する。電源ボタンは、当該デジタルカメラの電源のオン／オフ指示を行うための操作部材である。電源ボタンが押されると、当該デジタルカメラの電源がオンとなる。再度、電源ボタンが押されると当該デジタルカメラの電源はオフとなる。レリーズボタンは、ファーストレリーズスイッチとセカンドレリーズスイッチの２段スイッチを有して構成されている。レリーズボタンが半押しされて、ファーストレリーズスイッチがオンされた場合に、マイクロコンピュータ１１５は、ＡＥ処理やＡＦ処理等の撮影準備シーケンスを行う。また、レリーズボタンが全押しされて、セカンドレリーズスイッチがオンされた場合に、マイクロコンピュータ１１５は、撮影シーケンスを実行して撮影を行う。
【００４２】
再生ボタンは、撮影により得られた静止画または動画をＬＣＤ１１４に表示させるためのボタンである。
【００４３】
動画ボタンは、動画の撮影を開始させ、また終了させるためのボタンである。初期状態では動画未撮影状態である（動画撮影は停止状態となっている）ので、この状態で動画ボタンを押すと動画の撮影を開始する。一方、動画撮影中に動画ボタンを押すと、動画の撮影を終了する。従って、動画ボタンを押すたびに、動画の撮影開始と終了を交互に繰り返す。
【００４４】
Ｆｌａｓｈメモリ１１７は、ホワイトバランスモードに応じたホワイトバランスゲインやカラーマトリクス係数、ローパスフィルタ係数等のデジタルカメラの動作に必要な各種パラメータ、および、デジタルスチルカメラを特定するための製造番号などを記憶している。また、Ｆｌａｓｈメモリ１１７は、マイクロコンピュータ１１５にて実行する各種プログラム（ファームウェア）も記憶している。マイクロコンピュータ１１５は、Ｆｌａｓｈメモリ１１７に記憶されているプログラムに従い、またＦｌａｓｈメモリ１１７から各種シーケンスに必要なパラメータを読み込み、各処理を実行する。
【００４５】
輝点検出部１１８は、画像処理部１０７で生成された輝点検出用画像データを解析して、画像中の輝点の位置と明るさに関する情報を少なくとも含む輝点情報を生成する。輝点とは、画像中で比較的大きな輝度値を有する部分を意味する。例えば、夜景の画像中で照明光や月、星等の写っている部分が輝点である。あるいは、さざ波等によって反射されてきらめく陽光、木漏れ日等の写っている部分が輝点である。また、画面中に太陽が写っていれば、太陽も輝点である。すなわち、画面中で、他の部分よりも比較的高い輝度値を有していて、輝いているように見える部分が輝点とみなすことができる。輝点情報は、上述したように画像中の輝点の位置と明るさに関する情報を少なくとも含むものであるが、さらに輝点の画面内における大きさに関する情報を含んでいてもよい。また、輝点の色に関する情報も含むことが可能である。
【００４６】
輝点検出のための輝点検出用画像データの解析に関しては、予め定められた輝度値を越す画素が輝点に対応する画素であるものとすることも可能であるが、輝点検出用画像データを統計的に処理することも可能である。つまり、画像全体が暗めである場合には輝度値がさほど大きくなくても輝点と判定されやすくすることができる。逆に、画像全体が明るめである場合には、その中でも輝度値の比較的大きい部分が輝点と判定されるようにしてもよい。
【００４７】
ところで、本発明では、画面中で検出された輝点に対応する部分にクロスパターン等を合成するので、輝点をより的確に検出することが、より良い視覚効果を得る上で必要となる。撮影画面内における輝点をより的確に検出するために画像処理部１０７で生成されるのが輝点検出用画像データである。
【００４８】
ここで、Ａ／Ｄ変換部１０４から出力される撮影画像データは１２ビットのビット深度を有し、画像処理部１０７で生成される輝点検出用画像データおよび描画用画像データのビット深度は８ビットであるものとする。つまり、撮影画像データはＲ、Ｇ、Ｂ各色４０９６階調を有するのに対して、画像処理部１０７で生成される輝点検出用画像データおよび描画用画像データの階調はＲ、Ｇ、Ｂ各色２５６階調を有するものとする。結果として、各色の階調情報はそれぞれ１／１６に減じられる。
【００４９】
１２ビット深度の画像データを８ビット深度の画像データに変換する際には、階調変換用のルックアップテーブル（以下ＬＵＴと称する）が用いられる。図１０（ａ）は、描画用画像データの生成に際して適用されるガンマ特性の一例を概念的に示す図である。この例では、低輝度域でガンマ特性が立っていて、高輝度域でガンマ特性が寝ている。別の表現を用いると、階調変換された後の８ビットの出力画像データ中、高輝度域において割り当てられる階調情報の量が、高輝度域以外の輝度域（低輝度域、中輝度域）において割り当てられる階調情報の量に比して少なくなるようなガンマ特性となっている。
【００５０】
つまり、高輝度域では８ビットの出力画像データ中、１ビットの違いが１２ビットの入力画像中における輝度値の大きな違いとなる。その結果、８ビットの出力画像データ中で輝点と判定する際の閾値が僅か１変わるだけで非常に異なる輝点検出結果となり、安定した輝点検出処理を行うことが難しい。ただし、図１０（ａ）のガンマ特性で変換され、生成された描画用画像データは、低輝度域から中輝度域にかけての階調情報が比較的多めに保存されている。したがって、図１０（ａ）のガンマ特性で変換され、生成された描画用画像データをもとに再生される画像はコントラストが高めでメリハリがあり、見栄えのする画像となる。
【００５１】
ところで、描画用画像データの生成に際して適用されるガンマ特性に関しては、図１０（ａ）に例示されるようなもの以外に、いわゆるＳ字カーブを描くようなものとしてもよい。その場合、低輝度域、高輝度域の両方でガンマ特性を寝かせて、中輝度域のガンマ特性を立てたものとすることが可能である。
【００５２】
図１０（ｂ）は、画像処理部１０７で輝点検出用画像データが生成される際に適用されるガンマ特性の一例を概念的に示す図である。図１０（ｂ）の例では、低輝度域から中輝度域におけるガンマ特性が寝ていて、高輝度域で立っている。別の表現を用いると、階調変換された後の８ビットの出力画像データ中、高輝度域において割り当てられる階調情報の量が、高輝度域以外の輝度域（低輝度域、中輝度域）において割り当てられる階調情報の量に比して多くなるようなガンマ特性となっている。
【００５３】
つまり、図１０（ｂ）に例示されるガンマ特性は、図１０（ａ）に例示されるガンマ特性よりも、ガンマ変換（階調変換）処理後に生成される輝点検出用画像データ中、高輝度域において割り当てられる階調情報の量が高輝度域以外の輝度域において割り当てられる階調情報の量に比して多くなる特性が付与される。結果として、８ビットの出力画像データ中、１ビットあたりの輝度値の分解能が低輝度域から中輝度域にかけては比較的低く（階調情報が圧縮されていて）、高輝度域では比較的高い（階調情報が比較的多めに保存されている）。つまり、図１０（ａ）に例示されるガンマ特性で階調変換された場合に比して、高輝度域では８ビットの出力画像データにおける１ビットの違いに対応して十分な階調情報が保存されている。その結果、安定した輝点検出処理を行うことが可能となる。
【００５４】
図１０（ｂ）には、低輝度域から高輝度域にかけてガンマ特性をなめらかに変化させる例を示したが、輝点検出用画像データの生成に際して図１０（ｃ）に示されるようなガンマ特性を与えてもよい。図１０（ｃ）に例示されるものでは二つの直線的なガンマ特性をつなげたものとなっている。そして、低輝度域から中輝度域にかけて付与されるガンマ特性を、入力画素値の変化に比して出力画素値の変化が非常に少なく、出力画素値が０または０に近い値で有り続ける特性（図１０中における水平方向の座標軸に略平行となる特性）とする。その結果、１２ビットの入力画像データ中、低輝度域から中輝度域にかけての階調情報が実質的に破棄される。その分、中輝度域から高輝度域にかけてはより大きなガンマ特性を付与することが可能となる。つまり、１２ビットの入力画像データ中、輝点検出処理に際して重要な中輝度域から高輝度域にかけての階調情報を８ビットの出力画像データに多く割り当てることが可能となる。
【００５５】
合成処理部１１９は、画像処理部１０７で生成された描画用画像データに対し、輝点検出部１１８で生成された輝点情報により特定される輝点の位置、あるいはその近傍にパターンを合成する処理を行う。図１１は、合成処理部１１９で合成されるパターンの例を示す図であり、図１１（ａ）は十字パターンの、図１１（ｂ）は放射状８条パターンの、図１１（ｃ）は放射状６条パターンの例をそれぞれ示す図である。また、図１１（ｄ）は星形パターンの、図１１（ｅ）はハート型パターンの例を示す図である。
【００５６】
図１１中の各図は見やすくすることを目的として白地に黒で描かれているが、実際には図１１の白黒を反転させたものとすることが望ましい。無論、パターンの色は自由に定めることが可能であり、無彩色としてもよいし、有彩色としてもよい。例えば、検出された輝点の色を輝点検出部１１８が画像データを解析して検出し、輝点の色に関する情報を輝点情報中に含めることが可能である。そして、輝点情報で特定される輝点の色、あるいはそれに近い色のパターンを合成することも可能である。また、輝点の色と補色の関係にある色のパターンを合成することも可能である。さらに、ユーザによって設定された色あるいは色調でパターンを合成することも可能である。
【００５７】
また、描画用画像データ中に合成するパターンの大きさや明るさを、輝点情報中に含まれる情報に基づいて変化させることも可能である。例えば、輝点の明るさや大きさに関する情報に基づき、輝点の輝度値が大きいほど、あるいは輝点の大きさが大きいほど、さらには輝点の輝度値が大きく、かつ輝点の大きさが大きいほど、合成するパターンの大きさ、あるいは光芒の長さを増してもよいし、合成するパターンの明度や彩度を増してもよい。また、輝点の輝度値が大きいほどパターンの明度を明るくし、輝点の大きさが大きいほどパターンの大きさを大きくすることも可能である。
【００５８】
図１１（ａ）から図１１（ｃ）に示されるパターンでは、パターンの中心からの距離に応じてパターンを形成する画素の輝度値が変化している。このとき、パターンの中心からの距離が増すのに応じて輝度値が単調に減じられるようにしてもよいし、パターンの中心からの距離が増すのに応じて輝度値の増減を繰り返しつつ、全体の傾向として輝度値が減じられてゆくようにしてもよい。また、パターンの中心からの距離が増すのに応じて、パターンを形成する画素の色バランスあるいは色相を変化させることにより、虹色のパターンを合成して視覚効果を高めることが可能となる。
【００５９】
図１１（ｄ）、図１１（ｅ）に示されるパターンについては、線画として描かれるようにしても、星型やハート型の輪郭の内側が塗りつぶされたものが描かれるようにしてもよい。その際、パターンの中心からの距離に応じてパターンを形成する画素の輝度値や色相等を変化させてもよい。
【００６０】
描画用画像データ中にパターンを合成する際には、パターンが合成される部分の画像の画素値にパターンの画素値を単純加算してもよいし、アルファブレンディング等の処理によってパターンに透明感を付与してもよい。この場合、パターンの中心からの距離が増すのに応じて合成されるパターンの透明度が増すようにすることが可能である。また、パターンを合成する際に、画面内の位置等に応じてパターンを傾けて合成してもよい。合成されるパターンについては、ユーザが選択可能に構成されていることが望ましいが、いずれかの合成パターンが自動的に選択されてもよい。このとき、一種類のパターンが合成されるように構成されていても、複数種類のパターンが合成されるように構成されていてもよい。例えば、顔認識の技術を用いて、画像中で顔が認識された領域の近傍に存在する輝点に対応してハート型のパターンを合成し、それ以外の領域に存在する輝点に対しては他の形状のパターンを合成することも可能である。
【００６１】
以上、図１１（ａ）から図１１（ｅ）を参照して説明したパターンを合成するためのパターンデータは、Ｆｌａｓｈメモリ１１７中に記憶しておくことが可能である。あるいは、マイクロコンピュータ１１５がＦｌａｓｈメモリ１１７内に記憶されるプログラムを実行したときにパターンデータを生成し、そのパターンデータがＳＤＲＡＭ１０６に記憶されるようにしてもよい。
【００６２】
図２は、第１の実施形態に係る撮像装置を適用したデジタルスチルカメラで行われるメインの処理フローを示すフローチャートである。ユーザにより電源ボタンが押されて、デジタルスチルカメラの電源がオンになると、マイクロコンピュータ１１５は、ステップＳ２０１の処理を開始する。
【００６３】
ステップＳ２０１では、記録中フラグをオフに初期化する。記録中フラグは、動画撮影中にオン、動画を撮影していない時にオフとなるフラグである。
【００６４】
ステップＳ２０２では、ユーザによって、再生ボタンが操作されたか否かを判定する。再生ボタンが操作されたと判定するとステップＳ２０３に進み、操作されていないと判定すると、ステップＳ２０４に進む。
【００６５】
ステップＳ２０３では、撮影により得られた静止画または動画を再生する処理を行う。再生処理の詳細については、図５を用いて後述する。
【００６６】
ステップＳ２０４では、ユーザによって動画ボタンが操作されたか否かを判定する。動画ボタンが操作されたと判定するとステップＳ２０５に進み、操作されていないと判定すると、ステップＳ２０６に進む。
【００６７】
ステップＳ２０５では、記録中フラグを反転させて、ステップＳ２０６に進む。前述したように、動画ボタンは押されるたびに、動画撮影開始と終了を交互に繰り返すので、このステップでは、記録中フラグがオフであった場合にはオンに、またオンであった場合にはオフに、記録中フラグを反転させる。
【００６８】
ステップＳ２０６では、記録中フラグがオンであるか否かを判定する。記録中フラグがオンであると判定すると、ステップＳ２１１に進む。ステップＳ２１１では、動画記録中であると判定すると、撮像素子１０２からの画像信号に基づく動画の画像データについて画像処理および画像圧縮を行った後、記録媒体１１２に記録する。また、動画記録中ではないと判定すると、静止画撮影における被写体構図やシャッタタイミングの決定を行うためのライブビュー表示を行う。ステップＳ２１１のライブビュー表示・動画撮影・画像処理の詳細については、図４を用いて後述する。
【００６９】
一方、ステップＳ２０６において、記録中フラグがオフであると判定すると、ステップＳ２０７に進む。ステップＳ２０７では、ユーザによってレリーズボタンが半押しされて、ファーストレリーズスイッチがオフからオンに遷移したか否かを判定する。ファーストレリーズスイッチがオフからオンに遷移したと判定すると、ステップＳ２０８に進む。
【００７０】
ステップＳ２０８では、ＡＥ・ＡＦ処理を行う。具体的には、ＡＥ処理部１０８において、測光処理を行い、被写体の輝度が計測される。マイクロコンピュータ１１５は、被写体輝度の計測結果に基づき、静止画撮影時の露出パラメータを決定する。この露出パラメータには、撮像素子１０２の等価ＩＳＯ感度（アナログ処理部１０３のゲイン）、メカシャッター１０１による露光時間、絞り１０１４の設定絞り値等が含まれる。
【００７１】
上記ＡＥの処理に続き、ＡＦの処理が行われる。すなわち、ＡＦ処理部１０９において、合焦評価値を算出する。マイクロコンピュータ１１５は、合焦評価値に基づいて、レンズ１０１０を駆動させる指令をドライバ１０１３に出す。ドライバ１０１３は、この指令に基づいて、レンズ１０１０を駆動させて、フォーカス位置の変更を行う。
【００７２】
ステップＳ２０７において、ファーストレリーズスイッチがオフからオンに推移していない場合、または、ファーストレリーズスイッチがオンされたままの状態もしくはオフされたままの状態の場合には、ステップＳ２０９に進む。ステップＳ２０９では、ユーザによってレリーズボタンが全押しされて、セカンドレリーズスイッチがオンされたか否かを判定する。セカンドレリーズスイッチがオンされたと判定するとステップＳ２１０に進み、セカンドレリーズスイッチがオンされていないと判定すると、ステップＳ２１１に進む。
【００７３】
ステップＳ２１０では、静止画撮影・画像処理を行う。静止画撮影・画像処理の詳細については、図３を用いて後述する。
【００７４】
ステップＳ２１２では、デジタルスチルカメラの電源がオフされたか否かを判定する。電源がオフされていないと判定すると、ステップＳ２０２に戻り、上述した処理を行う。一方、ユーザにより電源ボタンが押されて、電源がオフされると、フローチャートの処理を終了する。
【００７５】
このように、本実施形態におけるメインフローでは、初期設定では静止画撮影モードになっており、この状態では、ステップＳ２０２→Ｓ２０４→Ｓ２０６→Ｓ２０７→Ｓ２０９→Ｓ２１１→Ｓ２１２→Ｓ２０２を順次実行し、この間ライブビュー表示を行う。ライブビュー表示中に、レリーズボタンが半押しされると、ステップＳ２０８においてＡＥ・ＡＦ動作を行い、またレリーズボタンが全押しされると、ステップＳ２１０において静止画の撮影を行う。また、動画ボタンを押すと、ステップＳ２０５において記録中フラグをオンとし、ステップＳ２０６→Ｓ２１１→Ｓ２１２→Ｓ２０２→Ｓ２０４→Ｓ２０６を繰り返し実行することにより、動画撮影を継続する。この状態で再度、動画ボタンを押すと、ステップＳ２０５において記録中フラグがオフとなることから、前述の静止画のフローに戻る。
【００７６】
図３は、図２に示すフローチャートのステップＳ２１０の処理、すなわち、静止画撮影・画像処理の詳細を示すフローチャートである。
【００７７】
ステップＳ３２０では、撮影を行う。撮影（静止画撮影）に関しては、従来から用いられている手法と同様である。ドライバ１０１３は、マイクロコンピュータ１０１２の指示に基づいて、設定された絞り値になるように絞り１０１４を駆動させる。そしてマイクロコンピュータ１１５は、決定したシャッター速に基づいて、メカシャッター１０１を制御して露光動作を行い、アナログ処理部１０３では予め設定されたＩＳＯ感度に応じたゲインでアナログ画像信号を増幅し、Ａ／Ｄ変換部１０４でＡ／Ｄ変換が行われて撮影画像データがＳＤＲＡＭ１０６に記憶される。
【００７８】
ステップＳ３３０では、ステップＳ３２０の撮影で得られた撮影画像データ（ベイヤーデータ）に対して様々な画像処理を施して、輝度（Ｙ）および色差（Ｃｂ、Ｃｒ）信号データに変換する処理を行う。画像処理の詳細については、図６を用いて後述する。
【００７９】
ステップＳ３４０では、上記画像処理によって得られた描画用画像データに基づく画像をＬＣＤ１１４に表示させる。この表示は、いわゆるレックビュー表示であある。
【００８０】
ステップＳ３５０では、画像圧縮展開部１１０において、Ｓ３３０の処理で生成された描画用画像データに対して、ＪＰＥＧ圧縮を行い、画像サイズや撮影条件などのヘッダ情報を付加して、ＪＰＥＧファイルを生成する。
【００８１】
ステップＳ３６０では、ステップＳ３５０で生成したＪＰＥＧファイルを、メモリＩ／Ｆ１１１を介して記録媒体１１２に記録する。なお、Ｓ３５０、Ｓ３６０の処理は、静止画像データの記録モードがＪＰＥＧ圧縮画像データを記録するモードである場合の例を示しており、ＪＰＥＧ圧縮画像データとともに、あるいはＪＰＥＧ圧縮画像データに代えてＲＡＷ画像データが記録されるようにしてもよい。
【００８２】
図４は、図２に示すフローチャートのステップＳ２１１の処理、すなわち、ライブビュー表示・動画撮影・画像処理の詳細を示すフローチャートである。
【００８３】
ステップＳ４１０では、ＡＥ処理を行う。この処理は、測光用のセンサや撮像素子１０２から得た被写体輝度の情報をもとに、Ｆｌａｓｈメモリ１１７に予め記録されている露出条件決定用のテーブルを参照し、絞り、シャッター速度（電子シャッターによる露光時間）、等価ＩＳＯ感度を決定する処理である。
【００８４】
ステップＳ４２０では、撮像を行う。撮像に関しては、従来から用いられている手法と同様である。すなわち、Ｓ４１０でのＡＥ処理によって決定した絞り、シャッター速、ＩＳＯ感度に基づいて、いわゆる電子シャッターを制御して撮像を行う。
【００８５】
ステップＳ４３０では、ステップＳ４２０の撮像で得られた画像データ（ベイヤーデータ）に対して様々な画像処理を施して、輝度（Ｙ）および色差（Ｃｂ、Ｃｒ）信号データに変換する処理を行う。画像処理の詳細については、図６を用いて後述する。
【００８６】
ステップＳ４４０では、ＬＣＤドライバ１１３により、画像データをＬＣＤ１１４に表示させる。この表示は、いわゆるライブビュー表示である。
【００８７】
ステップＳ４５０では、動画が記録中であるか否かを判定する。記録中フラグがオフの場合には、動画記録中ではないと判定して、本フローチャートの処理を終了し、記録中フラグがオンの場合には、動画記録中であると判定して、ステップＳ４６０に進む。
【００８８】
ステップＳ４６０では、動画ファイルを生成して、記録媒体１１２に記録する。すなわち、画像圧縮展開部１１０において、画像データに対して、動画ファイルの形式に応じた圧縮を行い、所定のヘッダ情報を付加して、動画ファイルを生成する。動画ファイルのフォーマットは、「Ｈ．２６４」、「Ｍｏｔｉｏｎ ＪＰＥＧ」、「ＭＰＥＧ」、あるいは「ＡＶＣＨＤ」などがある。そして、生成した動画ファイルを、メモリＩ／Ｆ１１１を介して記録媒体１１２に記録する。
【００８９】
図５は、図２に示すフローチャートのステップＳ２０３の処理、すなわち、再生処理の詳細を示すフローチャートである。
【００９０】
ステップＳ５００では、ユーザによる操作部１１６の操作に基づいて、ＬＣＤ１１４に表示する画像ファイルを決定する。ユーザによって、再生ボタンが押されると、記録媒体１１２に記録されている動画ファイルおよび静止画ファイルをＬＣＤ１１４に一覧表示（サムネイル表示）させる。動画ファイルについては、最初のフレーム、途中のフレーム、あるいは最後のフレームの画像をサムネイル表示させる。ユーザは、操作部１１６に含まれる十字キーなどを操作することによって、ＬＣＤ１１４に表示させたいファイルを選択する。この選択されたファイルを、ＬＣＤ１１４に表示する画像ファイルとして決定する。
【００９１】
ステップＳ５１０では、ステップＳ５００で決定した画像ファイルが動画ファイルであるか否かを判定する。動画ファイルではなく静止画ファイルであると判定すると、ステップＳ５８０に進む。
【００９２】
ステップＳ５８０では、画像圧縮展開部１１０において、記録媒体１１２に記録されているファイルの中から、ステップＳ５００で決定した静止画ファイルを選択して展開することにより、ＬＣＤ１１４に表示させる画像データを取得する。
【００９３】
ステップＳ５９０では、ＬＣＤドライバ１１３により、ステップＳ５８０で取得した画像データをＬＣＤ１１４に表示させる。
【００９４】
一方、ステップＳ５１０において、ステップＳ５００で決定した画像ファイルが動画ファイルであると判定するとステップＳ５２０に進む。ステップＳ５２０では、動画ファイルのヘッダ情報に含まれるフレーム数の情報を取得する。
【００９５】
ステップＳ５３０では、フレーム数をカウントするパラメータＮを初期値の１に設定する。
【００９６】
ステップＳ５４０では、画像圧縮展開部１１０において、記録媒体１１２に記録されているファイルの中から、ステップＳ５００で決定した動画ファイルを選択し、Ｎフレーム目の画像データを展開する処理を行う。
【００９７】
ステップＳ５５０では、ＬＣＤドライバ１１３により、ステップＳ５４０で取得したＮフレーム目の画像データをＬＣＤ１１４に表示させる。
【００９８】
ステップＳ５６０では、パラメータＮに１を加算して、ステップＳ５７０に進む。
【００９９】
ステップＳ５７０では、パラメータＮが動画ファイルのフレーム数より大きいか否かを判定する。Ｓ５７０の判定が否定される、すなわちパラメータＮが動画ファイルのフレーム数以下であると判定されると、ステップＳ５４０に戻って、次のフレームの画像データを展開し（ステップＳ５４０）、ＬＣＤ１１４に表示させる（ステップＳ５５０）処理を行う。一方、Ｓ５７０の判定が肯定される、すなわちパラメータＮが動画ファイルのフレーム数より大きいと判定されると、再生処理を終了する。
【０１００】
以上ではＳ５７０での判定が肯定された場合またはＳ５９０の処理が完了した場合に図５の処理から抜ける例が示されているが、これに代えてＳ５００に戻り、再生処理を継続して行うようにしてもよい。その場合、ユーザが操作部１１６を操作して再生モードから他のモードに切り替えたことを検出したときに図５の処理から抜けるようにすればよい。
【０１０１】
図６は、図３に示すフローチャートのステップＳ３３０の処理および図４に示すフローチャートのＳ４３０の処理、すなわち、画像処理の詳細を示すフローチャートである。Ｓ６１０では、描画用画像データ生成のための画像処理パラメータがＦｌａｓｈメモリ１１７から読み込まれる。
【０１０２】
Ｓ６２０では、Ｓ６１０で読み込まれた現像処理パラメータに基づく現像処理が行われ、描画用画像データが生成されてＳＤＲＡＭ１０６に一時的に記憶される。
【０１０３】
Ｓ６３０では、クロスフィルタ合成モードが有効に設定されているか否かの判定がなされる。Ｓ６３０で、クロスフィルタ合成モードが有効であると判定されると処理はＳ６４０に進む一方、否定されると図６の処理を終了する。
【０１０４】
Ｓ６３０の判定が肯定された場合の分岐先であるＳ６４０において、輝点検出用画像データ生成のための画像処理パラメータがＦｌａｓｈメモリ１１７から読み込まれる。
【０１０５】
Ｓ６５０では、Ｓ６４０で読み込まれた現像処理パラメータに基づく現像処理が行われ、輝点検出用画像データが生成されてＳＤＲＡＭ１０６に一時的に記憶される。輝点検出用画像データの画素数（ピクセルサイズ）については、描画用画像データよりも小さくてもよい。輝点検出用画像データのピクセルサイズを小さくすることにより、Ｓ６６０で行われる輝点検出処理に要する処理負荷の軽減または処理時間の短縮が可能となる。
【０１０６】
ここで、描画用画像データ生成のための画像処理パラメータと、輝点検出用画像データ生成のための画像処理パラメータとの違いについて説明する。両者の違いは、階調変換時のガンマ特性とノイズ低減（以下、ＮＲ）処理における特性である。ガンマ特性は、先にも説明したように、描画用画像データの生成時には図１０（ａ）に例示されるようなガンマ特性が適用され、輝点検出用画像データの生成時には図１０（ｂ）、図１０（ｃ）に例示されるようなガンマ特性が適用される。
【０１０７】
ＮＲ処理としては、コアリング処理、平均値フィルタやメディアンフィルタ等の平滑化処理等を利用可能であるがここではコアリング処理をする例について説明する。いわゆる高感度撮影や長時間露光などをしたときに、撮影画像データ中にランダムノイズが増加する傾向が強まる。ノイズがあると、それが本当の輝点であるのか、そうでないのかの判定が困難となる。そこで、輝度値検出用画像データの生成時に適用されるＮＲ処理の強度は描画用画像データの生成に際して適用されるＮＲ処理の強度よりも強く設定される。コアリング処理によるＮＲ処理が行われる場合には、コアリング閾値を高めてノイズを抑制する。
【０１０８】
本実施の形態においては、Ｓ６５０の現像処理により、ＹＣｂＣｒの輝点検出用画像データが得られる。Ｓ６６０では、このうち、Ｙデータの大きさに基づいて輝点が検出される。無論、Ｙデータのみならず、Ｃｂ、Ｃｒのデータも参照して輝点を検出する処理が行われても良い。輝点を検出する処理が行われた結果、輝点の位置、サイズ、輝度値に関する情報を含む輝点情報が生成されてＳＤＲＡＭ１０６に一時的に記憶される。
【０１０９】
Ｓ６７０においては、パターン合成の処理が行われる。すなわち、Ｓ６６０で生成された輝点情報に基づき、ＳＤＲＡＭ１０６に一時的に記憶される描画用画像データに対して図１１を参照して先に説明したパターンを合成する処理が合成処理部１１９で行われる。
【０１１０】
以上に説明した図６の処理が図３に示すフローチャートのステップＳ３３０で行われると、画像中で輝点の検出された箇所に図１１を参照して説明したパターンの合成された静止画が生成される。また、図４に示すフローチャートのＳ４３０で行われると、図１１を参照して説明したパターンの合成された動画の一駒が生成される。
【０１１１】
図７は、図６に示すフローチャートのＳ６２０の処理、すなわち、現像処理の詳細を示すフローチャートである。
【０１１２】
ステップＳ７１０では、ＯＢ減算部１０７１により、撮影により得られた撮影画像データから、撮像時に得られたＯＢ値を減算するＯＢ減算処理を施す。
【０１１３】
ステップＳ７２０では、ＯＢ減算処理が施された撮影画像データに対して、予め設定されているホワイトバランスモードに応じたホワイトバランスゲインを乗じて、ホワイトバランスを補正する処理がＷＢ補正部１０７２で行われる。なお、ホワイトバランスモードは、ユーザが操作部１１６に含まれる入力キーを操作することによって、１回の撮影ごとに設定することができる。マイクロコンピュータ１１５は、ユーザによる操作部１１６の操作に基づいて、ホワイトバランスモードを設定する。また、デジタルスチルカメラがホワイトバランスを自動的に調整するオートホワイトバランス機能を備えている場合、マイクロコンピュータ１１５は、撮影時の光源に応じたホワイトバランスモードを自動的に設定する。
【０１１４】
ステップＳ７３０では、同時化処理部１０７３により、ホワイトバランス補正処理が施された画像データに対して、同時化処理を施す。
【０１１５】
ステップＳ７４０では、カラーマトリクス演算部１０７４により、同時化処理が施された画像データに対して、予め設定されているホワイトバランスモードに応じたカラーマトリクス係数をＦｌａｓｈメモリ１１７から読み出して乗じるカラーマトリクス演算を行う。
【０１１６】
ステップＳ７５０では、カラーマトリクス演算が行われた画像データに対して、図６のＳ６１０またはＳ６４０で読み込まれた画像処理パラメータで特定されるガンマ特性で階調変換（ガンマ変換）処理がガンマ・色再現処理部１０７５により行われる。
【０１１７】
ステップＳ７６０では、Ｓ７５０で階調変換されたＲＧＢ画像データをＹＣｂＣｒ画像データに変換する処理がガンマ・色再現処理部１０７５により行われる。このとき、必要に応じて、画像が自然な色再現となるように彩度、色相を補正する処理も行われる。
【０１１８】
ステップＳ７７０では、Ｓ７６０での色補正処理が行われた画像データに対して、エッジ強調処理部１０７６によりエッジ強調処理を行う。
【０１１９】
ステップＳ７８０では、エッジ強調処理が行われた画像データに対して、ＮＲ処理部１０７７によりＮＲ処理を行う。このＮＲ処理に際してのＮＲ強度は、図６のＳ６１０またはＳ６４０で読み込まれた画像処理パラメータによって特定される強度が設定される。つまり、描画用画像データが生成される際のＮＲ強度に比して、輝点検出用画像データが生成される際のＮＲ強度は強めに設定され、輝点検出用画像データ中のノイズはより強く抑制される。その結果、ノイズによる点を輝点と判断してしまう不具合を抑制可能となる。特に高感度撮影時においてノイズを発生しやすいので、このようにＮＲ処理をすることが効果的である。以上に説明した一連の処理が完了するとリターンする。
【０１２０】
図７のフローチャート中、同時化処理されて階調変換され、さらにＹＣｂＣｒ画像に変換された画像データに対してＮＲ処理が行われる例が示されているが、ＮＲ処理を行う順番は図７に示されるものに限られない。例えば、Ｓ７３０の同時化処理の前にＮＲ処理が行われるようにしても良い。
【０１２１】
図８は、図６に示すフローチャートのステップＳ６６０の処理、すなわち輝点検出処理の詳細を示すフローチャートである。この輝点検出処理は、輝点検出用画像データに対して行われる。ここで、輝点検出用画像データは横方向にＷ画素、縦方向にＨ画素のピクセルサイズを有し、各画素にＸＹ座標値が付与されるものとして説明する。例えば、矩形の画像の左下隅に位置する画素には座標値として（１，１）が付与されるものとし、右下隅に位置する画素には座標値として（Ｗ，１）が付与されるものとして説明する。このように座標値が付与されたとすると、右上隅に位置する画素には座標値として（Ｗ，Ｈ）が付与されることになる。また、以下で説明する輝点検出処理においては、ＹＣｂＣｒデータ中、Ｙデータのみが参照されるものとするが、無論、ＣｂＣｒのデータを参照してもよい。座標（Ｘ，Ｙ）に位置する画素のＹ値を以下ではＤｙ（Ｘ，Ｙ）と表すものとする。なお、座標値の付与のしかたとしては上記の例に限られるものでは無く、例えば左上隅の画素に（１，１）の座標値が付与され、右下隅の画素に（Ｗ，Ｈ）の座標値が付与されるようにしてもよい。あるいは、このような座標値を付与せずに処理することも可能である。
【０１２２】
ステップＳ８１０では、輝点検出処理対象の画素を特定するポインタＸ、Ｙの値をそれぞれ１に設定する。
【０１２３】
Ｓ８２０では、ＳＤＲＡＭ１０６に一時的に記憶されている輝点検出用画像データを取得する。このとき、輝点検出用画像データを所定のワークエリア内に読み込んでもよいし、ＳＤＲＡＭ１０６内で輝点検出用画像データが記憶される領域の先頭アドレス、および輝点検出用画像データのサイズ等に関する情報を取得してもよい。
【０１２４】
Ｓ８３０では、Ｄｙ（Ｘ，Ｙ）が予め設定された閾値Ｔｈよりも大きいか否か（輝度値が高いか否か）を判定し、肯定されるとＳ８４０へ、否定されるとＳ８６０へ進む。
【０１２５】
Ｓ８３０での判定が肯定された場合、Ｓ８４０において、輝点位置、輝点サイズ、輝点輝度を導出して登録する処理が行われ、続くＳ８５０で輝度値検出用画像データ中のＤｙ（Ｘ，Ｙ）の値を変更する処理が行われる。このＳ８４０、Ｓ８５０で行われる処理について図１２を参照して説明する。
【０１２６】
図１２は、横方向にＷ画素、縦方向にＨ画素を有する輝点検出用画像の輝度値Ｄｙ（Ｘ，Ｙ）を三次元的にプロットした様子を概念的に示す図である。先ず、図１２（ａ）を参照して説明する。画素の座標位置（Ｘ，Ｙ）を（１，１）から（Ｗ，１）へ、そして（１，２）から（Ｗ，２）へ、（１，３）から（Ｗ，３）へ、…と移動しながら探索を続けると、やがて輝度値Ｄｙ（Ｘ，Ｙ）が閾値Ｔｈよりも大きい画素が検出される。例えば図１２（ａ）において、画面の左下隅に存在するローカルピークＰｋ１を山に例えて説明すると、この山の中腹で標高Ｔｈを越す位置の画素が特定される。
【０１２７】
Ｓ８４０では、閾値Ｔｈよりも大きい輝度値Ｄｙ（Ｘ，Ｙ）を有するとＳ８３０で判定された画素の近傍に存在する他の画素中、閾値Ｔｈを越す画素が探索される。その結果、Ｓ８３０で輝度値Ｄｙ（Ｘ，Ｙ）が閾値Ｔｈよりも大きいと判定された画素の近傍に存在する、輝度値Ｄｙ（Ｘ，Ｙ）が閾値Ｔｈよりも大きい画素のエリアが導出される。このエリアが図１２（ｂ）において領域Ａ１として示されている。
【０１２８】
Ｓ８４０ではさらに、上記の処理に基づいて輝点情報が生成され、登録される。この輝点情報中には、一例として、輝度輝度（輝点の明るさ）、輝点位置、輝点サイズに関する情報が含まれる。
【０１２９】
輝点情報に含まれる上記情報について説明すると、ローカルピークＰｋ１の標高、すなわち輝度値の局所最大値に対応する情報をローカルピークＰｋ１に対応する輝点輝度情報とすることが可能である。また、上記の局所最大値を示す画素の座標位置や領域Ａ１の中心座標位置、あるいは重心の座標位置等を輝点位置情報とすることが可能である。さらに、領域Ａ１のサイズ（例えば画素数）を輝点サイズ情報とすることが可能である。上述した輝点情報は、テーブル化されてＳＤＲＡＭ１０６に一時的に記憶される。
【０１３０】
Ｓ８５０では、Ｓ８４０で上述した輝点位置輝点サイズ、輝点輝度の導出および登録の処理が行われた対象の画素、すなわち図１２（ｂ）における領域Ａ１内の画素の輝度値Ｄｙ（Ｘ，Ｙ）を閾値Ｔｈ以下の値に変更する処理が行われる。このようにすることにより、後続する処理において、既にＳ８４０処理が行われた対象の画素が重複して処理されることが無くなる。何故ならば、Ｓ８５０で処理された画素については以降の処理に際してＳ８３０での判定が否定され、Ｓ８４０、Ｓ８５０の処理がスキップされるからである。
【０１３１】
再び図８のフローチャートを参照しての説明に戻り、Ｓ８６０ではＸ方向の座標値をインクリメントする処理が行われる。
【０１３２】
Ｓ８７０では、座標値ＸがＷよりも大きいか否かが判定される。Ｓ８７０での判定が否定される間、Ｓ８３０からＳ８６０の処理が繰り返し行われる。一方、Ｓ８７０での判定が肯定されると、Ｓ８８０においてＸ方向の座標値が１にリセットされ、Ｙ方向の座標値がインクリメントされる。
【０１３３】
Ｓ８９０では、座標値ＹがＨよりも大きいか否かが判定される。Ｓ８９０での判定が否定される間、Ｓ８３０からＳ８８０の処理が繰り返し行われる。一方、Ｓ８９０での判定が肯定されると、輝点検出処理を完了してリターンする。
【０１３４】
図９は、図６のＳ６７０の処理、すなわちパターン合成処理の詳細を示すフローチャートである。以下の説明では、図８のフローチャートに示す輝点検出の処理が行われた結果、Ｃ個の組の輝点情報が生成されてＳＤＲＡＭ１０６に登録されているものとする。
【０１３５】
ステップＳ９１０では、Ｃ個の組の輝点情報中の一つを指定するポインタＮが初期値の１に設定される。Ｓ９２０では、ＳＤＲＡＭ１０６中からＮ番目の輝点情報が取得される。
【０１３６】
Ｓ９３０では、パターンリサイズの処理が行われる。パターンリサイズの処理とは、輝点情報中に含まれる輝点輝度情報の大小に応じてパターンのサイズ（描画用画像データ上で合成されるパターンの大きさ）を変更する処理である。パターンリサイズの処理に際しては、輝点輝度の大小と、輝点サイズの大小との両方を加味してパターンのサイズを変更してもよい。あるいは、輝点サイズの大小のみに応じてパターンのサイズを変更してもよい。パターンリサイズの処理においては、予め用意される複数のサイズのパターンの中から、輝点輝度に基づいていずれかのサイズのパターンを決定するようにしてもよい。
【０１３７】
Ｓ９４０では、描画用画像データに基づく画像中、輝点情報中の輝点位置情報に対応する位置に、Ｓ９３０でリサイズ処理されたパターンが図１１を参照して先に説明したように合成される。続いて、Ｓ９５０でポインタをインクリメントする処理が行われる。
【０１３８】
Ｓ９６０では、ポインタＮの値が輝点情報の組数Ｃよりも大きいか否かが判定され、この判定が否定される間、Ｓ９２０からＳ９５０の処理が繰り返し行われる。一方、Ｓ９６０の判定が肯定された場合、すなわちＣ個の組全部の輝点情報に基づくパターン合成の処理が完了したと判定されると図９の処理を終えてリターンする。
【０１３９】
以上、本発明の第１の実施形態に係る撮像装置によれば、撮影画像データが、異なる階調変換特性、異なるＮＲ強度で処理されて描画用画像データ、輝点検出用画像データが生成され、輝点検出用画像データを用いて輝点検出処理が行われる。このため、輝点検出をより的確に行うことが可能となり、描画用画像データに基づく画像中、輝点の存在する位置にパターンが合成されて視覚効果のより高められた画像を生成することが可能となる。
【０１４０】
＜第２の実施形態＞
第１の実施形態における撮像装置では、図１２を参照して説明したように、輝点検出用画像データの輝度値が閾値Ｔｈを越す画素が検出されたとき、その画素の近傍の領域において閾値Ｔｈを越す輝度値の画素を探索する処理が行われて輝点サイズが導出される。これに対して、第２の実施形態における撮像装置では、輝点サイズを導出する処理が省略される。第２の実施形態における撮像装置も、図１に示されるものと同様の構成を有するのでその説明を省略する。第１実施形態と第２実施形態とでは、輝点検出処理およびパターン合成処理のみが異なるので、これら二つの処理を中心に説明をする。
【０１４１】
図１３は、図６に示すフローチャートのステップＳ６６０の処理、すなわち輝点検出処理の詳細を示すフローチャートである。この輝点検出処理は、輝点検出用画像データに対して行われる。第１の実施形態と同様、輝点検出用画像データは横方向にＷ画素、縦方向にＨ画素のピクセルサイズを有し、各画素にＸＹ座標値が付与されるものとする。また、以下で説明する輝点検出処理においては、ＹＣｂＣｒデータ中、Ｙデータのみが参照されるものとするが、第１の実施形態と同様、ＣｂＣｒのデータを参照してもよい。座標（Ｘ，Ｙ）に位置する画素のＹ値を以下ではＤｙ（Ｘ，Ｙ）と表す。
【０１４２】
ステップＳ１３１０では、輝点検出処理対象の画素を特定するポインタＸ、Ｙの値をそれぞれ１に設定する。
【０１４３】
Ｓ１３２０では、ＳＤＲＡＭ１０６に一時的に記憶されている輝点検出用画像データを取得する。このとき、輝点検出用画像データを所定のワークエリア内に読み込んでもよいし、ＳＤＲＡＭ１０６内で輝点検出用画像データが記憶される領域の先頭アドレス、および輝点検出用画像データのサイズ等に関する情報を取得してもよい。
【０１４４】
Ｓ１３３０では、Ｄｙ（Ｘ，Ｙ）が予め設定された閾値Ｔｈよりも大きいか否か（輝度値が高いか否か）を判定し、肯定されるとＳ１３４０へ、否定されるとＳ１３５０へ進む。
【０１４５】
Ｓ１３３０での判定が肯定された場合、Ｓ１３４０において、輝点輝度を導出して登録する処理が行われる。この、輝点輝度を導出して登録する処理については、輝度値検出用画像データから読み出された輝度値Ｄｙ（Ｘ，Ｙ）そのものを登録してもよいし、輝度値Ｄｙ（Ｘ，Ｙ）に対して所定の変換式を適用して導出された輝点輝度を登録してもよい。あるいは、輝度値検出用画像データから読み出された輝度値Ｄｙ（Ｘ，Ｙ）をもとにルックアップテーブル等を参照してＤｙ（Ｘ，Ｙ）の値に対応する輝点輝度を読み出してもよい。このとき、ルックアップテーブルから読み出される輝点輝度は、統計学で扱われるところの階級値（例えば、輝度値検出用画像データから読み出された１０１から１５０の輝度値に対しては１２５を、１５１から２００の輝度値に対しては１７５割り当てる等）、あるいはそれに類するものであってもよいし、輝度値の大小に対応して予め割り当てられたＡ、Ｂ、Ｃといった符号が読み出されてもよい。輝点位置情報としては、Ｘ、Ｙ座標値をそのまま利用可能である。
【０１４６】
Ｓ１３４０での処理の結果、輝度値検出用画像データから読み出された輝度値Ｄｙ（Ｘ，Ｙ）が閾値Ｔｈを越す画素の位置を特定可能な輝点位置情報と、輝点輝度情報とを含む輝点情報が生成され、ＳＤＲＡＭ１０６にテーブルとして登録される。
【０１４７】
Ｓ１３５０ではＸ方向の座標値をインクリメントする処理が行われる。Ｓ１３６０では、座標値ＸがＷよりも大きいか否かが判定される。Ｓ１３６０での判定が否定される間、Ｓ１３３０からＳ１３５０の処理が繰り返し行われる。一方、Ｓ１３６０での判定が肯定されると、Ｓ１３７０においてＸ方向の座標値が１にリセットされ、Ｙ方向の座標値がインクリメントされる。
【０１４８】
Ｓ１３８０では、座標値ＹがＨよりも大きいか否かが判定される。Ｓ１３８０での判定が否定される間、Ｓ１３３０からＳ１３７０の処理が繰り返し行われる。一方、Ｓ１３８０での判定が肯定されると、輝点検出処理を完了してリターンする。
【０１４９】
図１４は、図６のＳ６７０の処理、すなわちパターン合成処理の詳細を示すフローチャートである。以下の説明では、図１３のフローチャートに示す輝点検出の処理が行われた結果、Ｃ個の組の輝点情報が生成されてＳＤＲＡＭ１０６に登録されているものとする。
【０１５０】
ステップＳ１４１０では、Ｃ個の組の輝点情報中の一つを指定するポインタＮが初期値の１に設定される。Ｓ１４２０では、ＳＤＲＡＭ１０６中からＮ番目の輝点情報が取得される。
【０１５１】
Ｓ１４３０では、パターンにゲインを乗じる処理が行われる。パターンにゲインを乗じる処理とは、輝点情報中に含まれる輝点輝度の情報に応じて、パターンを形成するデータに対してある係数を乗じる処理である。そして、輝度値の高い輝点に対応するパターンの明度がより増すようにする。あるいは、先に説明したアルファブレンディングの処理が行われる場合には透明度が変更されてもよい。この場合、輝度値の高い輝点に対応するパターンの透明度が減じられる（不透明度が増される）ようにすることが可能である。パターンにゲインを乗じる処理においては、予め用意される複数の明度あるいは透明度のパターンの中から、輝点輝度の情報に基づいていずれかのパターンを決定するようにしてもよい。
【０１５２】
Ｓ１４４０では、描画用画像データに基づく画像中、輝点情報中の輝点位置情報に対応する位置に、Ｓ１４３０でゲインを乗じる処理がなされたパターンが図１１を参照して先に説明したように合成される。続いて、Ｓ１４５０でポインタをインクリメントする処理が行われる。
【０１５３】
Ｓ１４６０では、ポインタＮの値が輝点情報の組数Ｃよりも大きいか否かが判定され、この判定が否定される間、Ｓ１４２０からＳ１４５０の処理が繰り返し行われる。一方、Ｓ１４６０の判定が肯定された場合、すなわちＣ個の組全部の輝点情報に基づくパターン合成の処理が完了したと判定されると図１４の処理を終えてリターンする。
【０１５４】
以上、本発明の第２の実施形態に係る撮像装置によれば、輝点検出処理を単純化して処理速度を高めることが可能となる。例えば、ライブビュー表示や動画の記録に際してフレームレートの低下を抑制したり、処理負荷の低減によって電池寿命を延ばしたりすることが可能となる。
【０１５５】
第２の実施形態においては、輝点検出用画像中の画素のひとつ一つに対応して輝点情報が生成される。したがって、描画用画像データによって形成される画像中の比較的広い領域が明るい場合、その明るい領域内の画素ひとつ一つに対応してパターンが合成される。この場合、細めのパターン（図１１の（ａ）、（ｂ）、（ｃ）に例示されるパターン形状において放射状に伸びる光芒の幅を減じた物）を合成することにより、視覚効果に優れた画像を得ることが可能となる。
【０１５６】
上述した第１、第２の実施形態中の一連の画像処理は、ハードウェアによって実施することも可能であるし、ＣＰＵがソフトウェアを解釈・実行することにより実施することも可能である。あるいは、一部の処理はソフトウェアにより、残りの処理はハードウェアにより実行することも可能である。
【０１５７】
また、上述した画像処理は、撮像装置と異なる情報処理装置上で実行することも可能である。すなわち、撮像装置で撮影して生成された撮影画像データが含まれるＲＡＷデータファイルを情報処理装置に読み込み、情報処理装置がＲＡＷデータファイル中の撮影画像データに現像処理をして描画用画像データを生成する際に上述した一連の画像処理をすることが可能となる。
【０１５８】
図１５は、情報処理装置２００の概略的構成を説明するブロック図である。情報処理装置２００は、ＣＰＵ２０２と、主記憶装置としてのＲＡＭ２０４と、補助記憶装置２０６と、ビデオインターフェース（以下ビデオＩ／Ｆ）２１２と、ディスプレイ２１４と、ネットワークインターフェース（以下ネットワークＩ／Ｆ）２１６と、光ディスクドライブ２２２と、メモリカードリーダ２２４と、インターフェース２２０と、キーボード２２６と、コンピュータマウス等のポインティングデバイス（以下、マウス）２２８と、システムバス２１８を備える。ＣＰＵ２０２、ＲＡＭ２０４、補助記憶装置２０６、ビデオＩ／Ｆ２１２、ネットワークＩ／Ｆ２１６、インターフェース２２０はシステムバス２１８に電気的に接続される。
【０１５９】
補助記憶装置２０６は、ハードディスクドライブやシリコンディスクドライブ等で構成可能である。補助記憶装置２０６中には画像処理プログラム２０８と画像ファイル２１０とが記憶される。画像ファイル２１０はＲＡＷデータファイル、ＪＰＥＧデータファイル、動画像データファイル等を含む。
【０１６０】
ディスプレイ２１４は、ビデオＩ／Ｆから出力される映像信号を入力してカラー画像を表示可能に構成され、液晶表示装置、有機ＥＬ表示装置、プロジェクタ等を利用可能である。
【０１６１】
情報処理装置２００はネットワークＩ／Ｆ２１６を介してＬＡＮ、ＷＡＮ等のネットワークＮＷに接続される。光ディスクドライブ２２２は、インターフェース２２０に接続され、ＣＤ、ＤＶＤ、あるいはブルーレイ（登録商標）ディスク等の光ディスクＯＤから情報を読み取り可能に構成される。
【０１６２】
メモリカードリーダ２２４は、インターフェース２２０に接続されていて、装着されるメモリカードＭＣから情報を読み取り、あるいは情報をメモリカードＭＣに書き込み可能に構成される。
【０１６３】
画像処理プログラム２０８は、光ディスクＯＤやメモリカードＭＣ等のコンピュータ読み取り可能な記憶媒体に記憶されてユーザに提供され、補助記憶装置２０６に記憶される。あるいは、ネットワークＮＷを介して情報処理装置２００と接続されるサーバ等から画像処理プログラム２０８が提供されて補助記憶装置２０６に記憶されてもよい。
【０１６４】
情報処理装置２００は、補助記憶装置２０６から画像処理プログラム２０８を読み込んでＲＡＭ２０４上にロードし、この画像処理プログラムをＣＰＵ２０２が解釈・実行する。ユーザはキーボード２２６やマウス２２８を操作し、ディスプレイ２１４上に表示されるファイルの一覧中から所望のＲＡＷデータファイルを選択し、パターン合成を実行するメニューを選択する。
【０１６５】
その結果、指定されたＲＡＷデータファイルをＣＰＵ２０２は補助記憶装置２０６から読み出し、図６のフローチャートを参照して説明した処理手順にしたがってＲＡＷデータファイル中の撮影画像データに対して画像処理を行う。このとき、Ｓ６２０の現像処理によって描画用画像データが生成され、Ｓ６５０の現像処理によって輝点検出用画像データが生成される。
【０１６６】
そしてＳ６６０では図８または図１３のフローチャートを参照して説明した輝点検出処理が行われる。Ｓ６７０では、図９または図１４のフローチャートを参照して説明したパターン合成処理が行われ、輝点の位置にクロスパターン等が合成された画像が生成される。このようにして生成された画像はディスプレイ２１４に表示され、必要に応じて圧縮処理等が施されて補助記憶装置２０６に画像ファイルとして記憶される。
【０１６７】
本発明は、上述した第１、第２の実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば、輝点検出処理はＹＣｂＣｒ色空間の画像データを解析する例について説明したが、ＲＧＢ等の色空間の画像データに対して解析してもよい。また、パターン合成処理される際のパターンについては図１１に例示されるものだけでなく、様々な形状とすることが可能である。
【０１６８】
上述した実施形態では、撮像装置としてデジタルスチルカメラに本発明を適用する例を挙げて説明したが、デジタルビデオカメラや他の電子機器にも適用することができる。
【符号の説明】
【０１６９】
１…カメラ本体
２…交換式レンズ
１０１…メカシャッター
１０２…撮像素子
１０３…アナログ処理部
１０４…アナログ／デジタル変換部
１０７…画像処理部
１１０…画像圧縮展開部
１１３…ＬＣＤドライバ
１１４…ＬＣＤ
１１５…マイクロコンピュータ
１１７…Ｆｌａｓｈメモリ
１１８…輝点検出部
１１９…合成処理部
２００…情報処理装置
２０２…ＣＰＵ
２０４…ＲＡＭ
２０６…補助記憶装置
２０８…画像処理プログラム
【技術分野】
【０００１】
本発明は、撮像して得られた撮影画像データに対して特殊な視覚効果を与えることの可能な技術に関する。
【背景技術】
【０００２】
ガラス等の表面に細かい溝を格子状に形成したフィルタを、撮影レンズの前面に装着することにより、画像内の明るい場所（輝点）を中心として放射状の光芒（光条）が形成され、幻想的な写真を得ることができる。また、デジタルカメラや、ＰＣ上で動作するソフトウェアに備えられる機能として、画像処理により、あたかも上述したフィルタを用いて撮影し、得られたかのような画像を生成するものがある。以下では、上述した画像処理をクロスフィルタ処理、クロスフィルタ処理によって得られる視覚効果をクロスフィルタ効果と称する。
【０００３】
特許文献１には、デジタルカメラで撮影されたデジタル画像や写真フィルム等をスキャナで読み取り得られたデジタル画像に対して、クロスフィルタ処理を施す技術が開示される。また、特許文献２には、被写体を撮像する撮像手段により得られた原画像中の高輝度部分の信号を抽出し、この高輝度部分に輝線を合成してクロスフィルタ効果を得るものが開示される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４２０７１２４号公報
【特許文献２】特公平７−１１３９６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
デジタル写真では、撮影したＲＡＷデータに対してモニターのガンマを考慮したガンマ変換が行われる。その特性は、暗部を伸張して明部を圧縮したような特性であるため、デジタル写真において明るい被写体の階調の差が失われることになる。そのため、ある閾値を越す輝度値（画素値）を有する画素を検出してそれを輝点と見なそうとしたとき、本当は画面中に散在するいくつかの点が輝点として検出されるのが理想であるが、画面中に散在するいくつかの領域が輝点として検出されてしまう。逆に、閾値を上げると、画面中から輝点が検出されにくくなり、思うような視覚効果が得られないという問題がある。
【０００６】
特許文献１には、その従来技術として、適正露光の画像と、適正露光の露光量よりも低い露出値での画像とを得て、低い露出値での画像を用いて輝点を検出することが開示されている。しかし、一つの画像を得るために２回の露出動作をしなくてはならず、連続撮影時のコマ速を上げることが難しい。このとき、動体を撮影した場合には２回の露光で同じ画像を得ることができないので処理が難しくなる。また、動画撮影時にはフレームレートを２倍に上げて撮像をしないとスムーズな動画像を得ることができない。加えて、２回の露出動作をしていなかったために適正露光の画像データしか無い場合には、後処理によってクロスフィルタ処理をすることが難しい。
【０００７】
本発明の課題は、撮像時および後処理のいずれにおいても、より的確に輝点を検出することができ、良好な視覚効果を得ることを可能とすることにある。
【課題を解決するための手段】
【０００８】
（１） 本発明のある態様に係る撮像装置は、撮影光学系によって形成された被写体像を撮像して撮影画像データを出力する撮像部と、
前記撮影画像データに対し、第１の画像処理を施して輝点検出用画像データを生成するとともに、前記第１の画像処理とは異なる第２の画像処理を施して描画用画像データを生成する画像処理部と、
前記画像処理部で生成された前記輝点検出用画像データから、画像内における輝点を検出し、前記画像内における前記輝点の位置と明るさに関する情報を少なくとも含む輝点情報を生成する輝点検出部と、
前記描画用画像データに対し、前記輝点情報で特定される輝点の位置またはその近傍にパターンを合成する処理を施す合成処理部と
を備える。
（２） 本発明の別の態様に係る画像処理方法は、
撮像装置によって生成された撮影画像データに対し、第１の画像処理を施して輝点検出用画像データを生成することと、
前記撮影画像データに対し、前記第１の画像処理とは異なる第２の画像処理を施して描画用画像データを生成することと、
前記輝点検出用画像データを生成することで生成された前記輝点検出用画像データから、画像内における輝点を検出し、前記画像内における前記輝点の位置と明るさに関する情報を少なくとも含む輝点情報を生成することと、
前記描画用画像データに対し、前記輝点情報で特定される輝点の位置またはその近傍にパターンを合成する処理を施すことと
を備える。
（３） 本発明のさらに別の態様に係る画像処理プログラムは、
撮像装置によって生成された撮影画像データに対し、第１の画像処理を施して輝点検出用画像データを生成する輝点検出用画像データ生成手順と、
前記撮影画像データに対し、前記第１の画像処理とは異なる第２の画像処理を施して描画用画像データを生成する描画用画像データ生成手順と、
前記輝点検出用画像データ生成手順で生成された前記輝点検出用画像データから、画像内における輝点を検出し、前記画像内における前記輝点の位置と明るさに関する情報を少なくとも含む輝点情報を生成する輝点情報生成手順と、
前記描画用画像データに対し、前記輝点情報で特定される輝点の位置またはその近傍にパターンを合成する処理を施すパターン合成手順と
を備える。
【発明の効果】
【０００９】
本発明によれば、画像中の輝点をより的確に検出することが可能となり、画像中の輝点の存在する位置にパターンが合成されて視覚効果のより高められた画像を生成することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係る撮像装置の構成を示すブロック図である。
【図２】第１の実施形態に係る撮像装置で行われるメインの処理フローを示すフローチャートである。
【図３】静止画撮影・画像処理の処理フローを示すフローチャートである。
【図４】ライブビュー表示・動画撮影・画像処理の処理フローを示すフローチャートである。
【図５】再生処理の処理フローを示すフローチャートである。
【図６】画像処理の処理フローを示すフローチャートである。
【図７】現像処理の処理フローを示すフローチャートである。
【図８】輝点検出処理の処理フローを示すフローチャートである。
【図９】パターン合成処理の処理フローを示すフローチャートである。
【図１０】階調変換処理に際して適用されるガンマ特性の例を示す図であり、（ａ）は描画用画像データを生成する際の、（ｂ）および（ｃ）は輝点検出用画像データを生成する際のガンマ特性の例を示す図である。
【図１１】画像に合成されるパターンの例を示す図であり、（ａ）は十字パターンの、（ｂ）は放射状８条パターンの、（ｃ）は放射状６条パターンの、（ｄ）は星形パターンの、（ｅ）はハート形パターンの例を示す図である。
【図１２】輝点検出処理が行われる様子を概念的に示す図であり、（ａ）は輝点検出処理が行われる前の輝点検出用画像データを、（ｂ）は輝点検出処理の途中で一部の輝点検出用画像データに輝度値変更の処理が行われた後の輝点検出用画像データを示す図である。
【図１３】第２の実施形態に係る撮像装置で実行される輝点検出処理の処理フローを示すフローチャートである。
【図１４】第２の実施形態に係る撮像装置で実行されるパターン合成処理の処理フローを示すフローチャートである。
【図１５】画像処理プログラムを実行するための情報処理装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１１】
＜第１の実施形態＞
図１は、第１の実施形態における撮像装置を適用したデジタルスチルカメラの構成を示すブロック図である。図１に示すデジタルスチルカメラは、カメラ本体１と交換式レンズ２から構成される。なお、本発明は撮影レンズ固定式の撮像装置にも適用可能であるが、以下では交換式のレンズが着脱可能であるものとして説明をする。
【００１２】
交換式レンズ２は、レンズ１０１０と、Ｆｌａｓｈメモリ１０１１と、マイクロコンピュータ１０１２と、ドライバ１０１３と、絞り１０１４と、を有している。交換式レンズ２は、Ｉ／Ｆ９９９を介して、カメラ本体１と通信可能に接続されている。
【００１３】
カメラ本体１は、メカシャッター１０１と、撮像素子１０２と、アナログ処理部１０３と、アナログ／デジタル変換部１０４（以下、Ａ／Ｄ変換部１０４）と、バス１０５と、ＳＤＲＡＭ１０６と、画像処理部１０７と、ＡＥ処理部１０８と、ＡＦ処理部１０９と、画像圧縮展開部１１０と、メモリインターフェース１１１（以下、メモリＩ／Ｆ１１１）と、記録媒体１１２と、ＬＣＤドライバ１１３と、ＬＣＤ１１４と、マイクロコンピュータ１１５と、操作部１１６と、Ｆｌａｓｈメモリ１１７と、輝点検出部１１８と、合成処理部１１９と、を有している。
【００１４】
レンズ１０１０は、被写体の光学像を撮像素子１０２に集光させる。レンズ１０１０は、単焦点レンズであってもよいし、ズームレンズであってもよい。
【００１５】
マイクロコンピュータ１０１２は、Ｉ／Ｆ９９９、Ｆｌａｓｈメモリ１０１１、および、ドライバ１０１３と接続されていて、Ｆｌａｓｈメモリ１０１１に記憶されている情報の読み込み・書き込みを行うとともに、ドライバ１０１３を制御する。Ｆｌａｓｈメモリ１０１１に記憶されている情報には、交換式レンズ２の焦点距離のデータなどが含まれる。
【００１６】
マイクロコンピュータ１０１２は、さらに、Ｉ／Ｆ９９９を介して、マイクロコンピュータ１１５と通信することができ、様々な情報をマイクロコンピュータ１１５へ送信し、また、マイクロコンピュータ１１５から絞り値等の情報を受信する。
【００１７】
ドライバ１０１３は、マイクロコンピュータ１０１２の指示を受けて、レンズ１０１０を駆動して、フォーカス位置の変更を行うとともに、絞り１０１４を駆動する。絞り１０１４は、レンズ１０１０の近傍に設けられ、撮像素子１０２に導く光量を調節する。
【００１８】
メカシャッター１０１は、マイクロコンピュータ１１５の指示を受けて作動し、撮像素子１０２の露光時間を制御する。
【００１９】
撮像素子１０２は、単板式のものであっても多板式のものであってもよいが、本明細書中ではベイヤ配列のオンチップカラーフィルタが受光面上に配列された単板式のものとして説明する。すなわち、撮像素子１０２は、各画素を構成するフォトダイオードの前面に、ベイヤー配列のカラーフィルタが配置された撮像素子である。ベイヤー配列は、水平方向にＲ画素とＧ（Ｇｒ）画素が交互に配置されたラインと、Ｇ（Ｇｂ）画素とＢ画素が交互に配置されたラインとを有し、さらにその２つのラインを垂直方向にも交互に配置することで構成されている。この撮像素子１０２は、レンズ１０１０により集光された光を、画素を構成するフォトダイオードで受光して光電変換して生成された信号電荷の量に対応した信号をアナログ処理部１０３へ出力する。なお、撮像素子１０２は、ＣＭＯＳ方式のものでもＣＣＤ方式のものでも良い。また、撮像素子１０２としては、上述したベイヤー配列式のものに代えて、レンズ１０１０の光軸方向に沿って撮像素子１０２の厚み方向に三つ（あるいは四つ以上）の異なる分光感度特性を有する光電変換部が積層されたものを用いることも可能である。
【００２０】
アナログ処理部１０３は、撮像素子１０２から読み出された電気信号（アナログ画像信号）に対し、リセットノイズ等を低減し、さらに目的の信号値が得られるように、増幅する。Ａ／Ｄ変換部１０４は、アナログ処理部１０３から出力されたアナログ画像信号をデジタル画像信号（以後、撮影画像データという）に変換する。
【００２１】
バス１０５は、デジタルカメラ内部で発生した各種データをデジタルカメラ内の各部に転送するための転送路である。バス１０５は、Ａ／Ｄ変換部１０４と、ＳＤＲＡＭ１０６と、画像処理部１０７と、ＡＥ処理部１０８と、ＡＦ処理部１０９と、画像圧縮展開部１１０と、メモリＩ／Ｆ１１１と、ＬＣＤドライバ１１３と、マイクロコンピュータ１１５と、輝点検出部１１８と、合成処理部１１９に接続されている。
【００２２】
Ａ／Ｄ変換部１０４から出力される撮影画像データは、バス１０５を介して一旦ＳＤＲＡＭ１０６に記憶される。ＳＤＲＡＭ１０６には、Ａ／Ｄ変換部１０４において得られた撮影画像データや、画像処理部１０７で生成される輝点検出用画像データ、描画用画像データも一時的に記憶される。これらの輝点検出用画像データ、描画用画像データについては後で説明する。
【００２３】
画像処理部１０７は、オプティカルブラック減算部１０７１（以下、ＯＢ減算部１０７１）、ホワイトバランス補正部１０７２（以下、ＷＢ補正部１０７２）、同時化処理部１０７３、カラーマトリクス演算部１０７４、ガンマ・色再現処理部１０７５、エッジ強調処理部１０７６、および、ノイズ低減処理部１０７７（以下、ＮＲ処理部１０７７）を含み、ＳＤＲＡＭ１０６から読み出した撮影画像データに対して様々な画像処理を施す。
【００２４】
ＯＢ減算部１０７１は、撮影画像データに対して、オプティカルブラック減算処理（以下、ＯＢ減算処理）を行う。ＯＢ減算処理は、撮影画像データを構成する各画素の画素値から、撮像素子１０２の暗電流等に起因するオプティカルブラック値（以下、ＯＢ値）を減算する処理である。
【００２５】
ＷＢ補正部１０７２は、撮影画像データに対して、ホワイトバランスモードに応じたホワイトバランスゲインを乗じて、ホワイトバランスを補正する処理を行う。ホワイトバランスモードは、自動モード、あるいは晴天、曇天、電球、蛍光灯等のプリセットモードの中から、ユーザが自由に設定可能である。また、マニュアルホワイトバランスモードに設定されているときには、予め測定された結果に基づいて生成されたホワイトバランスゲインでホワイトバランス補正の処理が行われる。
【００２６】
同時化処理部１０７３は、ベイヤー配列による撮影画像データから、１画素あたりＲ、Ｇ、Ｂの情報からなる画像データへ同時化する処理を行う。カラーマトリクス演算部１０７４は、撮影画像データに対して、カラーマトリクス係数を乗じる線形変換を行って、画像データの色を補正する。ガンマ・色再現処理部１０７５は、ガンマ補正処理、および、画像の色味を変化させる色再現処理を行う。
【００２７】
エッジ強調処理部１０７６は、バンドパスフィルタを用いて、画像データからエッジ成分を抽出し、抽出したエッジ成分のデータに、エッジ強調度に応じた係数を乗じてから、画像データに加算することにより、画像データのエッジを強調する処理を行う。
【００２８】
ＮＲ処理部１０７７は、高空間周波数成分を低減するフィルタを用いた処理や、コアリング処理、メディアンフィルタ処理等により、画像データ中のノイズを低減する処理を行う。
【００２９】
画像処理部１０７によって各処理が行われた結果、輝点検出用画像データと描画用画像データが生成される。これらの輝点検出用画像データおよび描画用画像データは、ＳＤＲＡＭ１０６に記憶される。ところで、画像処理部１０７は、静止画像データを生成する処理と動画像データを生成する処理とのうち、カメラ本体１で設定されている動作モードに応じた処理を行うことが可能に構成されている。
【００３０】
描画用画像データは、後述する処理が施されて最終的には画像データとして記録媒体１１２に記録されるデータである。一方、輝点検出用画像データは、画像中から輝点を検出する処理が輝点検出部１１８で行われる際に参照されるデータである。
【００３１】
ＡＥ処理部１０８は、画像データから被写体輝度を算出する。被写体輝度を算出するためのデータは、専用の測光センサからの出力であってもよい。ＡＦ処理部１０９は、画像データから高周波成分の信号を取り出し、ＡＦ（Auto Focus）積算処理により、合焦評価値を取得する。
【００３２】
画像圧縮展開部１１０は、静止画像データの記録時には、ＳＤＲＡＭ１０６から描画用画像データを読み出し、読み出した描画用画像データをＪＰＥＧ圧縮方式に従って圧縮して、圧縮したＪＰＥＧ画像データを、ＳＤＲＡＭ１０６に一旦記憶する。マイクロコンピュータ１１５は、ＳＤＲＡＭ１０６に記憶されたＪＰＥＧ画像データに対して、ＪＰＥＧファイルを構成するために必要なＪＰＥＧヘッダを付加してＪＰＥＧファイルを作成し、作成したＪＰＥＧファイルを、メモリＩ／Ｆ１１１を介して記録媒体１１２に記録する。
【００３３】
画像圧縮展開部１１０は、また、動画データの記録時には、画像処理部１０７によって逐次生成されて記録された動画データをＳＤＲＡＭ１０６から読み出し、読み出した動画データを、Ｍｏｔｉｏｎ ＪＰＥＧ形式やＭＰＥＧ形式、あるいはＨ．２６４形式等、動画像を圧縮して記録するための形式に従って圧縮して、圧縮した動画データをＳＤＲＡＭ１０６に一旦記憶する。マイクロコンピュータ１１５は、ＳＤＲＡＭ１０６に記憶された動画データに対して、ヘッダ情報を付加する等の処理をして所定のフォーマットの動画ファイルを作成し、メモリＩ／Ｆ１１１を介して記録媒体１１２に記録する。
【００３４】
画像圧縮展開部１１０は、さらに、マイクロコンピュータ１１５からの指令に基づいて、静止画あるいは動画の圧縮データを展開（伸長）する処理を行う。
【００３５】
以上では静止画像データとしてＪＰＥＧファイルが記録媒体１１２に記録される例について説明したが、ＲＡＷ画像データを記録することも可能に構成される。その場合、マイクロコンピュータ１１５は、Ａ／Ｄ変換部１０４から出力された撮影画像データにタグ情報等を付加して所定のファイルフォーマットのＲＡＷ画像データを生成し、記録媒体１１２に記録する。
【００３６】
ＲＡＷ画像データは、非圧縮の撮影画像データであり、一つの画素に対する階調情報（ビット深度）がＪＰＥＧ圧縮された画像データのビット深度よりも大きい（深い）。ＪＰＥＧ画像データがＲ、Ｇ、Ｂ各色８ビット程度の階調情報を有するのに対し、ＲＡＷ画像データは例えば各色１２ビット、あるいはそれよりも多いビット深度を有し、従ってより多くの階調情報を含むことが可能である。
【００３７】
記録媒体１１２は、例えばカメラ本体１に着脱可能なメモリカードであってもよいし、他の記録媒体であってもよい。また、記録媒体１１２はカメラ内蔵式のものであってもよい。
【００３８】
ここで、画像の表示には、撮影直後に画像を表示するレックビュー表示、記録媒体１１２に記録されたＪＰＥＧファイルやＲＡＷ画像ファイルの再生表示、および、ライブビュー表示や動画再生等の動画の表示が含まれる。記録媒体１１２に記録された圧縮データを再生する場合、画像圧縮展開部１１０は、記録媒体１１２に記録されている圧縮データを読み出して展開（伸長）処理を施した上で、展開したデータを一旦ＳＤＲＡＭ１０６に記憶させる。
【００３９】
このとき、ＬＣＤ１１４の表示解像度に対応した表示用画像データが生成されてＳＤＲＡＭ１０６のＶＲＡＭ領域に記憶される。ＬＣＤドライバ１１３は、この表示用画像データに基づく画像をＳＤＲＡＭ１０６のＶＲＡＭ領域から読み出し、ＬＣＤ１１４に表示する処理を行う。ＬＣＤ１１４は、ＴＦＴ等で構成される透過型液晶表示素子とバックライト装置等を備え、カラーの画像を表示することが可能に構成される。このＬＣＤ１１４に代えて、他のカラー表示素子、例えば有機ＥＬ表示素子等を用いることも可能である。
【００４０】
制御部としての機能を有するマイクロコンピュータ１１５は、デジタルカメラ本体１の各種シーケンスを統括的に制御する。マイクロコンピュータ１１５には、操作部１１６およびＦｌａｓｈメモリ１１７が接続されている。
【００４１】
操作部１１６は、電源ボタン、レリーズボタン、動画ボタン、再生ボタン、各種入力キー等の操作部材である。ユーザによって、操作部１１６の何れかの操作部材が操作されることにより、マイクロコンピュータ１１５は、ユーザの操作に応じた各種シーケンスを実行する。電源ボタンは、当該デジタルカメラの電源のオン／オフ指示を行うための操作部材である。電源ボタンが押されると、当該デジタルカメラの電源がオンとなる。再度、電源ボタンが押されると当該デジタルカメラの電源はオフとなる。レリーズボタンは、ファーストレリーズスイッチとセカンドレリーズスイッチの２段スイッチを有して構成されている。レリーズボタンが半押しされて、ファーストレリーズスイッチがオンされた場合に、マイクロコンピュータ１１５は、ＡＥ処理やＡＦ処理等の撮影準備シーケンスを行う。また、レリーズボタンが全押しされて、セカンドレリーズスイッチがオンされた場合に、マイクロコンピュータ１１５は、撮影シーケンスを実行して撮影を行う。
【００４２】
再生ボタンは、撮影により得られた静止画または動画をＬＣＤ１１４に表示させるためのボタンである。
【００４３】
動画ボタンは、動画の撮影を開始させ、また終了させるためのボタンである。初期状態では動画未撮影状態である（動画撮影は停止状態となっている）ので、この状態で動画ボタンを押すと動画の撮影を開始する。一方、動画撮影中に動画ボタンを押すと、動画の撮影を終了する。従って、動画ボタンを押すたびに、動画の撮影開始と終了を交互に繰り返す。
【００４４】
Ｆｌａｓｈメモリ１１７は、ホワイトバランスモードに応じたホワイトバランスゲインやカラーマトリクス係数、ローパスフィルタ係数等のデジタルカメラの動作に必要な各種パラメータ、および、デジタルスチルカメラを特定するための製造番号などを記憶している。また、Ｆｌａｓｈメモリ１１７は、マイクロコンピュータ１１５にて実行する各種プログラム（ファームウェア）も記憶している。マイクロコンピュータ１１５は、Ｆｌａｓｈメモリ１１７に記憶されているプログラムに従い、またＦｌａｓｈメモリ１１７から各種シーケンスに必要なパラメータを読み込み、各処理を実行する。
【００４５】
輝点検出部１１８は、画像処理部１０７で生成された輝点検出用画像データを解析して、画像中の輝点の位置と明るさに関する情報を少なくとも含む輝点情報を生成する。輝点とは、画像中で比較的大きな輝度値を有する部分を意味する。例えば、夜景の画像中で照明光や月、星等の写っている部分が輝点である。あるいは、さざ波等によって反射されてきらめく陽光、木漏れ日等の写っている部分が輝点である。また、画面中に太陽が写っていれば、太陽も輝点である。すなわち、画面中で、他の部分よりも比較的高い輝度値を有していて、輝いているように見える部分が輝点とみなすことができる。輝点情報は、上述したように画像中の輝点の位置と明るさに関する情報を少なくとも含むものであるが、さらに輝点の画面内における大きさに関する情報を含んでいてもよい。また、輝点の色に関する情報も含むことが可能である。
【００４６】
輝点検出のための輝点検出用画像データの解析に関しては、予め定められた輝度値を越す画素が輝点に対応する画素であるものとすることも可能であるが、輝点検出用画像データを統計的に処理することも可能である。つまり、画像全体が暗めである場合には輝度値がさほど大きくなくても輝点と判定されやすくすることができる。逆に、画像全体が明るめである場合には、その中でも輝度値の比較的大きい部分が輝点と判定されるようにしてもよい。
【００４７】
ところで、本発明では、画面中で検出された輝点に対応する部分にクロスパターン等を合成するので、輝点をより的確に検出することが、より良い視覚効果を得る上で必要となる。撮影画面内における輝点をより的確に検出するために画像処理部１０７で生成されるのが輝点検出用画像データである。
【００４８】
ここで、Ａ／Ｄ変換部１０４から出力される撮影画像データは１２ビットのビット深度を有し、画像処理部１０７で生成される輝点検出用画像データおよび描画用画像データのビット深度は８ビットであるものとする。つまり、撮影画像データはＲ、Ｇ、Ｂ各色４０９６階調を有するのに対して、画像処理部１０７で生成される輝点検出用画像データおよび描画用画像データの階調はＲ、Ｇ、Ｂ各色２５６階調を有するものとする。結果として、各色の階調情報はそれぞれ１／１６に減じられる。
【００４９】
１２ビット深度の画像データを８ビット深度の画像データに変換する際には、階調変換用のルックアップテーブル（以下ＬＵＴと称する）が用いられる。図１０（ａ）は、描画用画像データの生成に際して適用されるガンマ特性の一例を概念的に示す図である。この例では、低輝度域でガンマ特性が立っていて、高輝度域でガンマ特性が寝ている。別の表現を用いると、階調変換された後の８ビットの出力画像データ中、高輝度域において割り当てられる階調情報の量が、高輝度域以外の輝度域（低輝度域、中輝度域）において割り当てられる階調情報の量に比して少なくなるようなガンマ特性となっている。
【００５０】
つまり、高輝度域では８ビットの出力画像データ中、１ビットの違いが１２ビットの入力画像中における輝度値の大きな違いとなる。その結果、８ビットの出力画像データ中で輝点と判定する際の閾値が僅か１変わるだけで非常に異なる輝点検出結果となり、安定した輝点検出処理を行うことが難しい。ただし、図１０（ａ）のガンマ特性で変換され、生成された描画用画像データは、低輝度域から中輝度域にかけての階調情報が比較的多めに保存されている。したがって、図１０（ａ）のガンマ特性で変換され、生成された描画用画像データをもとに再生される画像はコントラストが高めでメリハリがあり、見栄えのする画像となる。
【００５１】
ところで、描画用画像データの生成に際して適用されるガンマ特性に関しては、図１０（ａ）に例示されるようなもの以外に、いわゆるＳ字カーブを描くようなものとしてもよい。その場合、低輝度域、高輝度域の両方でガンマ特性を寝かせて、中輝度域のガンマ特性を立てたものとすることが可能である。
【００５２】
図１０（ｂ）は、画像処理部１０７で輝点検出用画像データが生成される際に適用されるガンマ特性の一例を概念的に示す図である。図１０（ｂ）の例では、低輝度域から中輝度域におけるガンマ特性が寝ていて、高輝度域で立っている。別の表現を用いると、階調変換された後の８ビットの出力画像データ中、高輝度域において割り当てられる階調情報の量が、高輝度域以外の輝度域（低輝度域、中輝度域）において割り当てられる階調情報の量に比して多くなるようなガンマ特性となっている。
【００５３】
つまり、図１０（ｂ）に例示されるガンマ特性は、図１０（ａ）に例示されるガンマ特性よりも、ガンマ変換（階調変換）処理後に生成される輝点検出用画像データ中、高輝度域において割り当てられる階調情報の量が高輝度域以外の輝度域において割り当てられる階調情報の量に比して多くなる特性が付与される。結果として、８ビットの出力画像データ中、１ビットあたりの輝度値の分解能が低輝度域から中輝度域にかけては比較的低く（階調情報が圧縮されていて）、高輝度域では比較的高い（階調情報が比較的多めに保存されている）。つまり、図１０（ａ）に例示されるガンマ特性で階調変換された場合に比して、高輝度域では８ビットの出力画像データにおける１ビットの違いに対応して十分な階調情報が保存されている。その結果、安定した輝点検出処理を行うことが可能となる。
【００５４】
図１０（ｂ）には、低輝度域から高輝度域にかけてガンマ特性をなめらかに変化させる例を示したが、輝点検出用画像データの生成に際して図１０（ｃ）に示されるようなガンマ特性を与えてもよい。図１０（ｃ）に例示されるものでは二つの直線的なガンマ特性をつなげたものとなっている。そして、低輝度域から中輝度域にかけて付与されるガンマ特性を、入力画素値の変化に比して出力画素値の変化が非常に少なく、出力画素値が０または０に近い値で有り続ける特性（図１０中における水平方向の座標軸に略平行となる特性）とする。その結果、１２ビットの入力画像データ中、低輝度域から中輝度域にかけての階調情報が実質的に破棄される。その分、中輝度域から高輝度域にかけてはより大きなガンマ特性を付与することが可能となる。つまり、１２ビットの入力画像データ中、輝点検出処理に際して重要な中輝度域から高輝度域にかけての階調情報を８ビットの出力画像データに多く割り当てることが可能となる。
【００５５】
合成処理部１１９は、画像処理部１０７で生成された描画用画像データに対し、輝点検出部１１８で生成された輝点情報により特定される輝点の位置、あるいはその近傍にパターンを合成する処理を行う。図１１は、合成処理部１１９で合成されるパターンの例を示す図であり、図１１（ａ）は十字パターンの、図１１（ｂ）は放射状８条パターンの、図１１（ｃ）は放射状６条パターンの例をそれぞれ示す図である。また、図１１（ｄ）は星形パターンの、図１１（ｅ）はハート型パターンの例を示す図である。
【００５６】
図１１中の各図は見やすくすることを目的として白地に黒で描かれているが、実際には図１１の白黒を反転させたものとすることが望ましい。無論、パターンの色は自由に定めることが可能であり、無彩色としてもよいし、有彩色としてもよい。例えば、検出された輝点の色を輝点検出部１１８が画像データを解析して検出し、輝点の色に関する情報を輝点情報中に含めることが可能である。そして、輝点情報で特定される輝点の色、あるいはそれに近い色のパターンを合成することも可能である。また、輝点の色と補色の関係にある色のパターンを合成することも可能である。さらに、ユーザによって設定された色あるいは色調でパターンを合成することも可能である。
【００５７】
また、描画用画像データ中に合成するパターンの大きさや明るさを、輝点情報中に含まれる情報に基づいて変化させることも可能である。例えば、輝点の明るさや大きさに関する情報に基づき、輝点の輝度値が大きいほど、あるいは輝点の大きさが大きいほど、さらには輝点の輝度値が大きく、かつ輝点の大きさが大きいほど、合成するパターンの大きさ、あるいは光芒の長さを増してもよいし、合成するパターンの明度や彩度を増してもよい。また、輝点の輝度値が大きいほどパターンの明度を明るくし、輝点の大きさが大きいほどパターンの大きさを大きくすることも可能である。
【００５８】
図１１（ａ）から図１１（ｃ）に示されるパターンでは、パターンの中心からの距離に応じてパターンを形成する画素の輝度値が変化している。このとき、パターンの中心からの距離が増すのに応じて輝度値が単調に減じられるようにしてもよいし、パターンの中心からの距離が増すのに応じて輝度値の増減を繰り返しつつ、全体の傾向として輝度値が減じられてゆくようにしてもよい。また、パターンの中心からの距離が増すのに応じて、パターンを形成する画素の色バランスあるいは色相を変化させることにより、虹色のパターンを合成して視覚効果を高めることが可能となる。
【００５９】
図１１（ｄ）、図１１（ｅ）に示されるパターンについては、線画として描かれるようにしても、星型やハート型の輪郭の内側が塗りつぶされたものが描かれるようにしてもよい。その際、パターンの中心からの距離に応じてパターンを形成する画素の輝度値や色相等を変化させてもよい。
【００６０】
描画用画像データ中にパターンを合成する際には、パターンが合成される部分の画像の画素値にパターンの画素値を単純加算してもよいし、アルファブレンディング等の処理によってパターンに透明感を付与してもよい。この場合、パターンの中心からの距離が増すのに応じて合成されるパターンの透明度が増すようにすることが可能である。また、パターンを合成する際に、画面内の位置等に応じてパターンを傾けて合成してもよい。合成されるパターンについては、ユーザが選択可能に構成されていることが望ましいが、いずれかの合成パターンが自動的に選択されてもよい。このとき、一種類のパターンが合成されるように構成されていても、複数種類のパターンが合成されるように構成されていてもよい。例えば、顔認識の技術を用いて、画像中で顔が認識された領域の近傍に存在する輝点に対応してハート型のパターンを合成し、それ以外の領域に存在する輝点に対しては他の形状のパターンを合成することも可能である。
【００６１】
以上、図１１（ａ）から図１１（ｅ）を参照して説明したパターンを合成するためのパターンデータは、Ｆｌａｓｈメモリ１１７中に記憶しておくことが可能である。あるいは、マイクロコンピュータ１１５がＦｌａｓｈメモリ１１７内に記憶されるプログラムを実行したときにパターンデータを生成し、そのパターンデータがＳＤＲＡＭ１０６に記憶されるようにしてもよい。
【００６２】
図２は、第１の実施形態に係る撮像装置を適用したデジタルスチルカメラで行われるメインの処理フローを示すフローチャートである。ユーザにより電源ボタンが押されて、デジタルスチルカメラの電源がオンになると、マイクロコンピュータ１１５は、ステップＳ２０１の処理を開始する。
【００６３】
ステップＳ２０１では、記録中フラグをオフに初期化する。記録中フラグは、動画撮影中にオン、動画を撮影していない時にオフとなるフラグである。
【００６４】
ステップＳ２０２では、ユーザによって、再生ボタンが操作されたか否かを判定する。再生ボタンが操作されたと判定するとステップＳ２０３に進み、操作されていないと判定すると、ステップＳ２０４に進む。
【００６５】
ステップＳ２０３では、撮影により得られた静止画または動画を再生する処理を行う。再生処理の詳細については、図５を用いて後述する。
【００６６】
ステップＳ２０４では、ユーザによって動画ボタンが操作されたか否かを判定する。動画ボタンが操作されたと判定するとステップＳ２０５に進み、操作されていないと判定すると、ステップＳ２０６に進む。
【００６７】
ステップＳ２０５では、記録中フラグを反転させて、ステップＳ２０６に進む。前述したように、動画ボタンは押されるたびに、動画撮影開始と終了を交互に繰り返すので、このステップでは、記録中フラグがオフであった場合にはオンに、またオンであった場合にはオフに、記録中フラグを反転させる。
【００６８】
ステップＳ２０６では、記録中フラグがオンであるか否かを判定する。記録中フラグがオンであると判定すると、ステップＳ２１１に進む。ステップＳ２１１では、動画記録中であると判定すると、撮像素子１０２からの画像信号に基づく動画の画像データについて画像処理および画像圧縮を行った後、記録媒体１１２に記録する。また、動画記録中ではないと判定すると、静止画撮影における被写体構図やシャッタタイミングの決定を行うためのライブビュー表示を行う。ステップＳ２１１のライブビュー表示・動画撮影・画像処理の詳細については、図４を用いて後述する。
【００６９】
一方、ステップＳ２０６において、記録中フラグがオフであると判定すると、ステップＳ２０７に進む。ステップＳ２０７では、ユーザによってレリーズボタンが半押しされて、ファーストレリーズスイッチがオフからオンに遷移したか否かを判定する。ファーストレリーズスイッチがオフからオンに遷移したと判定すると、ステップＳ２０８に進む。
【００７０】
ステップＳ２０８では、ＡＥ・ＡＦ処理を行う。具体的には、ＡＥ処理部１０８において、測光処理を行い、被写体の輝度が計測される。マイクロコンピュータ１１５は、被写体輝度の計測結果に基づき、静止画撮影時の露出パラメータを決定する。この露出パラメータには、撮像素子１０２の等価ＩＳＯ感度（アナログ処理部１０３のゲイン）、メカシャッター１０１による露光時間、絞り１０１４の設定絞り値等が含まれる。
【００７１】
上記ＡＥの処理に続き、ＡＦの処理が行われる。すなわち、ＡＦ処理部１０９において、合焦評価値を算出する。マイクロコンピュータ１１５は、合焦評価値に基づいて、レンズ１０１０を駆動させる指令をドライバ１０１３に出す。ドライバ１０１３は、この指令に基づいて、レンズ１０１０を駆動させて、フォーカス位置の変更を行う。
【００７２】
ステップＳ２０７において、ファーストレリーズスイッチがオフからオンに推移していない場合、または、ファーストレリーズスイッチがオンされたままの状態もしくはオフされたままの状態の場合には、ステップＳ２０９に進む。ステップＳ２０９では、ユーザによってレリーズボタンが全押しされて、セカンドレリーズスイッチがオンされたか否かを判定する。セカンドレリーズスイッチがオンされたと判定するとステップＳ２１０に進み、セカンドレリーズスイッチがオンされていないと判定すると、ステップＳ２１１に進む。
【００７３】
ステップＳ２１０では、静止画撮影・画像処理を行う。静止画撮影・画像処理の詳細については、図３を用いて後述する。
【００７４】
ステップＳ２１２では、デジタルスチルカメラの電源がオフされたか否かを判定する。電源がオフされていないと判定すると、ステップＳ２０２に戻り、上述した処理を行う。一方、ユーザにより電源ボタンが押されて、電源がオフされると、フローチャートの処理を終了する。
【００７５】
このように、本実施形態におけるメインフローでは、初期設定では静止画撮影モードになっており、この状態では、ステップＳ２０２→Ｓ２０４→Ｓ２０６→Ｓ２０７→Ｓ２０９→Ｓ２１１→Ｓ２１２→Ｓ２０２を順次実行し、この間ライブビュー表示を行う。ライブビュー表示中に、レリーズボタンが半押しされると、ステップＳ２０８においてＡＥ・ＡＦ動作を行い、またレリーズボタンが全押しされると、ステップＳ２１０において静止画の撮影を行う。また、動画ボタンを押すと、ステップＳ２０５において記録中フラグをオンとし、ステップＳ２０６→Ｓ２１１→Ｓ２１２→Ｓ２０２→Ｓ２０４→Ｓ２０６を繰り返し実行することにより、動画撮影を継続する。この状態で再度、動画ボタンを押すと、ステップＳ２０５において記録中フラグがオフとなることから、前述の静止画のフローに戻る。
【００７６】
図３は、図２に示すフローチャートのステップＳ２１０の処理、すなわち、静止画撮影・画像処理の詳細を示すフローチャートである。
【００７７】
ステップＳ３２０では、撮影を行う。撮影（静止画撮影）に関しては、従来から用いられている手法と同様である。ドライバ１０１３は、マイクロコンピュータ１０１２の指示に基づいて、設定された絞り値になるように絞り１０１４を駆動させる。そしてマイクロコンピュータ１１５は、決定したシャッター速に基づいて、メカシャッター１０１を制御して露光動作を行い、アナログ処理部１０３では予め設定されたＩＳＯ感度に応じたゲインでアナログ画像信号を増幅し、Ａ／Ｄ変換部１０４でＡ／Ｄ変換が行われて撮影画像データがＳＤＲＡＭ１０６に記憶される。
【００７８】
ステップＳ３３０では、ステップＳ３２０の撮影で得られた撮影画像データ（ベイヤーデータ）に対して様々な画像処理を施して、輝度（Ｙ）および色差（Ｃｂ、Ｃｒ）信号データに変換する処理を行う。画像処理の詳細については、図６を用いて後述する。
【００７９】
ステップＳ３４０では、上記画像処理によって得られた描画用画像データに基づく画像をＬＣＤ１１４に表示させる。この表示は、いわゆるレックビュー表示であある。
【００８０】
ステップＳ３５０では、画像圧縮展開部１１０において、Ｓ３３０の処理で生成された描画用画像データに対して、ＪＰＥＧ圧縮を行い、画像サイズや撮影条件などのヘッダ情報を付加して、ＪＰＥＧファイルを生成する。
【００８１】
ステップＳ３６０では、ステップＳ３５０で生成したＪＰＥＧファイルを、メモリＩ／Ｆ１１１を介して記録媒体１１２に記録する。なお、Ｓ３５０、Ｓ３６０の処理は、静止画像データの記録モードがＪＰＥＧ圧縮画像データを記録するモードである場合の例を示しており、ＪＰＥＧ圧縮画像データとともに、あるいはＪＰＥＧ圧縮画像データに代えてＲＡＷ画像データが記録されるようにしてもよい。
【００８２】
図４は、図２に示すフローチャートのステップＳ２１１の処理、すなわち、ライブビュー表示・動画撮影・画像処理の詳細を示すフローチャートである。
【００８３】
ステップＳ４１０では、ＡＥ処理を行う。この処理は、測光用のセンサや撮像素子１０２から得た被写体輝度の情報をもとに、Ｆｌａｓｈメモリ１１７に予め記録されている露出条件決定用のテーブルを参照し、絞り、シャッター速度（電子シャッターによる露光時間）、等価ＩＳＯ感度を決定する処理である。
【００８４】
ステップＳ４２０では、撮像を行う。撮像に関しては、従来から用いられている手法と同様である。すなわち、Ｓ４１０でのＡＥ処理によって決定した絞り、シャッター速、ＩＳＯ感度に基づいて、いわゆる電子シャッターを制御して撮像を行う。
【００８５】
ステップＳ４３０では、ステップＳ４２０の撮像で得られた画像データ（ベイヤーデータ）に対して様々な画像処理を施して、輝度（Ｙ）および色差（Ｃｂ、Ｃｒ）信号データに変換する処理を行う。画像処理の詳細については、図６を用いて後述する。
【００８６】
ステップＳ４４０では、ＬＣＤドライバ１１３により、画像データをＬＣＤ１１４に表示させる。この表示は、いわゆるライブビュー表示である。
【００８７】
ステップＳ４５０では、動画が記録中であるか否かを判定する。記録中フラグがオフの場合には、動画記録中ではないと判定して、本フローチャートの処理を終了し、記録中フラグがオンの場合には、動画記録中であると判定して、ステップＳ４６０に進む。
【００８８】
ステップＳ４６０では、動画ファイルを生成して、記録媒体１１２に記録する。すなわち、画像圧縮展開部１１０において、画像データに対して、動画ファイルの形式に応じた圧縮を行い、所定のヘッダ情報を付加して、動画ファイルを生成する。動画ファイルのフォーマットは、「Ｈ．２６４」、「Ｍｏｔｉｏｎ ＪＰＥＧ」、「ＭＰＥＧ」、あるいは「ＡＶＣＨＤ」などがある。そして、生成した動画ファイルを、メモリＩ／Ｆ１１１を介して記録媒体１１２に記録する。
【００８９】
図５は、図２に示すフローチャートのステップＳ２０３の処理、すなわち、再生処理の詳細を示すフローチャートである。
【００９０】
ステップＳ５００では、ユーザによる操作部１１６の操作に基づいて、ＬＣＤ１１４に表示する画像ファイルを決定する。ユーザによって、再生ボタンが押されると、記録媒体１１２に記録されている動画ファイルおよび静止画ファイルをＬＣＤ１１４に一覧表示（サムネイル表示）させる。動画ファイルについては、最初のフレーム、途中のフレーム、あるいは最後のフレームの画像をサムネイル表示させる。ユーザは、操作部１１６に含まれる十字キーなどを操作することによって、ＬＣＤ１１４に表示させたいファイルを選択する。この選択されたファイルを、ＬＣＤ１１４に表示する画像ファイルとして決定する。
【００９１】
ステップＳ５１０では、ステップＳ５００で決定した画像ファイルが動画ファイルであるか否かを判定する。動画ファイルではなく静止画ファイルであると判定すると、ステップＳ５８０に進む。
【００９２】
ステップＳ５８０では、画像圧縮展開部１１０において、記録媒体１１２に記録されているファイルの中から、ステップＳ５００で決定した静止画ファイルを選択して展開することにより、ＬＣＤ１１４に表示させる画像データを取得する。
【００９３】
ステップＳ５９０では、ＬＣＤドライバ１１３により、ステップＳ５８０で取得した画像データをＬＣＤ１１４に表示させる。
【００９４】
一方、ステップＳ５１０において、ステップＳ５００で決定した画像ファイルが動画ファイルであると判定するとステップＳ５２０に進む。ステップＳ５２０では、動画ファイルのヘッダ情報に含まれるフレーム数の情報を取得する。
【００９５】
ステップＳ５３０では、フレーム数をカウントするパラメータＮを初期値の１に設定する。
【００９６】
ステップＳ５４０では、画像圧縮展開部１１０において、記録媒体１１２に記録されているファイルの中から、ステップＳ５００で決定した動画ファイルを選択し、Ｎフレーム目の画像データを展開する処理を行う。
【００９７】
ステップＳ５５０では、ＬＣＤドライバ１１３により、ステップＳ５４０で取得したＮフレーム目の画像データをＬＣＤ１１４に表示させる。
【００９８】
ステップＳ５６０では、パラメータＮに１を加算して、ステップＳ５７０に進む。
【００９９】
ステップＳ５７０では、パラメータＮが動画ファイルのフレーム数より大きいか否かを判定する。Ｓ５７０の判定が否定される、すなわちパラメータＮが動画ファイルのフレーム数以下であると判定されると、ステップＳ５４０に戻って、次のフレームの画像データを展開し（ステップＳ５４０）、ＬＣＤ１１４に表示させる（ステップＳ５５０）処理を行う。一方、Ｓ５７０の判定が肯定される、すなわちパラメータＮが動画ファイルのフレーム数より大きいと判定されると、再生処理を終了する。
【０１００】
以上ではＳ５７０での判定が肯定された場合またはＳ５９０の処理が完了した場合に図５の処理から抜ける例が示されているが、これに代えてＳ５００に戻り、再生処理を継続して行うようにしてもよい。その場合、ユーザが操作部１１６を操作して再生モードから他のモードに切り替えたことを検出したときに図５の処理から抜けるようにすればよい。
【０１０１】
図６は、図３に示すフローチャートのステップＳ３３０の処理および図４に示すフローチャートのＳ４３０の処理、すなわち、画像処理の詳細を示すフローチャートである。Ｓ６１０では、描画用画像データ生成のための画像処理パラメータがＦｌａｓｈメモリ１１７から読み込まれる。
【０１０２】
Ｓ６２０では、Ｓ６１０で読み込まれた現像処理パラメータに基づく現像処理が行われ、描画用画像データが生成されてＳＤＲＡＭ１０６に一時的に記憶される。
【０１０３】
Ｓ６３０では、クロスフィルタ合成モードが有効に設定されているか否かの判定がなされる。Ｓ６３０で、クロスフィルタ合成モードが有効であると判定されると処理はＳ６４０に進む一方、否定されると図６の処理を終了する。
【０１０４】
Ｓ６３０の判定が肯定された場合の分岐先であるＳ６４０において、輝点検出用画像データ生成のための画像処理パラメータがＦｌａｓｈメモリ１１７から読み込まれる。
【０１０５】
Ｓ６５０では、Ｓ６４０で読み込まれた現像処理パラメータに基づく現像処理が行われ、輝点検出用画像データが生成されてＳＤＲＡＭ１０６に一時的に記憶される。輝点検出用画像データの画素数（ピクセルサイズ）については、描画用画像データよりも小さくてもよい。輝点検出用画像データのピクセルサイズを小さくすることにより、Ｓ６６０で行われる輝点検出処理に要する処理負荷の軽減または処理時間の短縮が可能となる。
【０１０６】
ここで、描画用画像データ生成のための画像処理パラメータと、輝点検出用画像データ生成のための画像処理パラメータとの違いについて説明する。両者の違いは、階調変換時のガンマ特性とノイズ低減（以下、ＮＲ）処理における特性である。ガンマ特性は、先にも説明したように、描画用画像データの生成時には図１０（ａ）に例示されるようなガンマ特性が適用され、輝点検出用画像データの生成時には図１０（ｂ）、図１０（ｃ）に例示されるようなガンマ特性が適用される。
【０１０７】
ＮＲ処理としては、コアリング処理、平均値フィルタやメディアンフィルタ等の平滑化処理等を利用可能であるがここではコアリング処理をする例について説明する。いわゆる高感度撮影や長時間露光などをしたときに、撮影画像データ中にランダムノイズが増加する傾向が強まる。ノイズがあると、それが本当の輝点であるのか、そうでないのかの判定が困難となる。そこで、輝度値検出用画像データの生成時に適用されるＮＲ処理の強度は描画用画像データの生成に際して適用されるＮＲ処理の強度よりも強く設定される。コアリング処理によるＮＲ処理が行われる場合には、コアリング閾値を高めてノイズを抑制する。
【０１０８】
本実施の形態においては、Ｓ６５０の現像処理により、ＹＣｂＣｒの輝点検出用画像データが得られる。Ｓ６６０では、このうち、Ｙデータの大きさに基づいて輝点が検出される。無論、Ｙデータのみならず、Ｃｂ、Ｃｒのデータも参照して輝点を検出する処理が行われても良い。輝点を検出する処理が行われた結果、輝点の位置、サイズ、輝度値に関する情報を含む輝点情報が生成されてＳＤＲＡＭ１０６に一時的に記憶される。
【０１０９】
Ｓ６７０においては、パターン合成の処理が行われる。すなわち、Ｓ６６０で生成された輝点情報に基づき、ＳＤＲＡＭ１０６に一時的に記憶される描画用画像データに対して図１１を参照して先に説明したパターンを合成する処理が合成処理部１１９で行われる。
【０１１０】
以上に説明した図６の処理が図３に示すフローチャートのステップＳ３３０で行われると、画像中で輝点の検出された箇所に図１１を参照して説明したパターンの合成された静止画が生成される。また、図４に示すフローチャートのＳ４３０で行われると、図１１を参照して説明したパターンの合成された動画の一駒が生成される。
【０１１１】
図７は、図６に示すフローチャートのＳ６２０の処理、すなわち、現像処理の詳細を示すフローチャートである。
【０１１２】
ステップＳ７１０では、ＯＢ減算部１０７１により、撮影により得られた撮影画像データから、撮像時に得られたＯＢ値を減算するＯＢ減算処理を施す。
【０１１３】
ステップＳ７２０では、ＯＢ減算処理が施された撮影画像データに対して、予め設定されているホワイトバランスモードに応じたホワイトバランスゲインを乗じて、ホワイトバランスを補正する処理がＷＢ補正部１０７２で行われる。なお、ホワイトバランスモードは、ユーザが操作部１１６に含まれる入力キーを操作することによって、１回の撮影ごとに設定することができる。マイクロコンピュータ１１５は、ユーザによる操作部１１６の操作に基づいて、ホワイトバランスモードを設定する。また、デジタルスチルカメラがホワイトバランスを自動的に調整するオートホワイトバランス機能を備えている場合、マイクロコンピュータ１１５は、撮影時の光源に応じたホワイトバランスモードを自動的に設定する。
【０１１４】
ステップＳ７３０では、同時化処理部１０７３により、ホワイトバランス補正処理が施された画像データに対して、同時化処理を施す。
【０１１５】
ステップＳ７４０では、カラーマトリクス演算部１０７４により、同時化処理が施された画像データに対して、予め設定されているホワイトバランスモードに応じたカラーマトリクス係数をＦｌａｓｈメモリ１１７から読み出して乗じるカラーマトリクス演算を行う。
【０１１６】
ステップＳ７５０では、カラーマトリクス演算が行われた画像データに対して、図６のＳ６１０またはＳ６４０で読み込まれた画像処理パラメータで特定されるガンマ特性で階調変換（ガンマ変換）処理がガンマ・色再現処理部１０７５により行われる。
【０１１７】
ステップＳ７６０では、Ｓ７５０で階調変換されたＲＧＢ画像データをＹＣｂＣｒ画像データに変換する処理がガンマ・色再現処理部１０７５により行われる。このとき、必要に応じて、画像が自然な色再現となるように彩度、色相を補正する処理も行われる。
【０１１８】
ステップＳ７７０では、Ｓ７６０での色補正処理が行われた画像データに対して、エッジ強調処理部１０７６によりエッジ強調処理を行う。
【０１１９】
ステップＳ７８０では、エッジ強調処理が行われた画像データに対して、ＮＲ処理部１０７７によりＮＲ処理を行う。このＮＲ処理に際してのＮＲ強度は、図６のＳ６１０またはＳ６４０で読み込まれた画像処理パラメータによって特定される強度が設定される。つまり、描画用画像データが生成される際のＮＲ強度に比して、輝点検出用画像データが生成される際のＮＲ強度は強めに設定され、輝点検出用画像データ中のノイズはより強く抑制される。その結果、ノイズによる点を輝点と判断してしまう不具合を抑制可能となる。特に高感度撮影時においてノイズを発生しやすいので、このようにＮＲ処理をすることが効果的である。以上に説明した一連の処理が完了するとリターンする。
【０１２０】
図７のフローチャート中、同時化処理されて階調変換され、さらにＹＣｂＣｒ画像に変換された画像データに対してＮＲ処理が行われる例が示されているが、ＮＲ処理を行う順番は図７に示されるものに限られない。例えば、Ｓ７３０の同時化処理の前にＮＲ処理が行われるようにしても良い。
【０１２１】
図８は、図６に示すフローチャートのステップＳ６６０の処理、すなわち輝点検出処理の詳細を示すフローチャートである。この輝点検出処理は、輝点検出用画像データに対して行われる。ここで、輝点検出用画像データは横方向にＷ画素、縦方向にＨ画素のピクセルサイズを有し、各画素にＸＹ座標値が付与されるものとして説明する。例えば、矩形の画像の左下隅に位置する画素には座標値として（１，１）が付与されるものとし、右下隅に位置する画素には座標値として（Ｗ，１）が付与されるものとして説明する。このように座標値が付与されたとすると、右上隅に位置する画素には座標値として（Ｗ，Ｈ）が付与されることになる。また、以下で説明する輝点検出処理においては、ＹＣｂＣｒデータ中、Ｙデータのみが参照されるものとするが、無論、ＣｂＣｒのデータを参照してもよい。座標（Ｘ，Ｙ）に位置する画素のＹ値を以下ではＤｙ（Ｘ，Ｙ）と表すものとする。なお、座標値の付与のしかたとしては上記の例に限られるものでは無く、例えば左上隅の画素に（１，１）の座標値が付与され、右下隅の画素に（Ｗ，Ｈ）の座標値が付与されるようにしてもよい。あるいは、このような座標値を付与せずに処理することも可能である。
【０１２２】
ステップＳ８１０では、輝点検出処理対象の画素を特定するポインタＸ、Ｙの値をそれぞれ１に設定する。
【０１２３】
Ｓ８２０では、ＳＤＲＡＭ１０６に一時的に記憶されている輝点検出用画像データを取得する。このとき、輝点検出用画像データを所定のワークエリア内に読み込んでもよいし、ＳＤＲＡＭ１０６内で輝点検出用画像データが記憶される領域の先頭アドレス、および輝点検出用画像データのサイズ等に関する情報を取得してもよい。
【０１２４】
Ｓ８３０では、Ｄｙ（Ｘ，Ｙ）が予め設定された閾値Ｔｈよりも大きいか否か（輝度値が高いか否か）を判定し、肯定されるとＳ８４０へ、否定されるとＳ８６０へ進む。
【０１２５】
Ｓ８３０での判定が肯定された場合、Ｓ８４０において、輝点位置、輝点サイズ、輝点輝度を導出して登録する処理が行われ、続くＳ８５０で輝度値検出用画像データ中のＤｙ（Ｘ，Ｙ）の値を変更する処理が行われる。このＳ８４０、Ｓ８５０で行われる処理について図１２を参照して説明する。
【０１２６】
図１２は、横方向にＷ画素、縦方向にＨ画素を有する輝点検出用画像の輝度値Ｄｙ（Ｘ，Ｙ）を三次元的にプロットした様子を概念的に示す図である。先ず、図１２（ａ）を参照して説明する。画素の座標位置（Ｘ，Ｙ）を（１，１）から（Ｗ，１）へ、そして（１，２）から（Ｗ，２）へ、（１，３）から（Ｗ，３）へ、…と移動しながら探索を続けると、やがて輝度値Ｄｙ（Ｘ，Ｙ）が閾値Ｔｈよりも大きい画素が検出される。例えば図１２（ａ）において、画面の左下隅に存在するローカルピークＰｋ１を山に例えて説明すると、この山の中腹で標高Ｔｈを越す位置の画素が特定される。
【０１２７】
Ｓ８４０では、閾値Ｔｈよりも大きい輝度値Ｄｙ（Ｘ，Ｙ）を有するとＳ８３０で判定された画素の近傍に存在する他の画素中、閾値Ｔｈを越す画素が探索される。その結果、Ｓ８３０で輝度値Ｄｙ（Ｘ，Ｙ）が閾値Ｔｈよりも大きいと判定された画素の近傍に存在する、輝度値Ｄｙ（Ｘ，Ｙ）が閾値Ｔｈよりも大きい画素のエリアが導出される。このエリアが図１２（ｂ）において領域Ａ１として示されている。
【０１２８】
Ｓ８４０ではさらに、上記の処理に基づいて輝点情報が生成され、登録される。この輝点情報中には、一例として、輝度輝度（輝点の明るさ）、輝点位置、輝点サイズに関する情報が含まれる。
【０１２９】
輝点情報に含まれる上記情報について説明すると、ローカルピークＰｋ１の標高、すなわち輝度値の局所最大値に対応する情報をローカルピークＰｋ１に対応する輝点輝度情報とすることが可能である。また、上記の局所最大値を示す画素の座標位置や領域Ａ１の中心座標位置、あるいは重心の座標位置等を輝点位置情報とすることが可能である。さらに、領域Ａ１のサイズ（例えば画素数）を輝点サイズ情報とすることが可能である。上述した輝点情報は、テーブル化されてＳＤＲＡＭ１０６に一時的に記憶される。
【０１３０】
Ｓ８５０では、Ｓ８４０で上述した輝点位置輝点サイズ、輝点輝度の導出および登録の処理が行われた対象の画素、すなわち図１２（ｂ）における領域Ａ１内の画素の輝度値Ｄｙ（Ｘ，Ｙ）を閾値Ｔｈ以下の値に変更する処理が行われる。このようにすることにより、後続する処理において、既にＳ８４０処理が行われた対象の画素が重複して処理されることが無くなる。何故ならば、Ｓ８５０で処理された画素については以降の処理に際してＳ８３０での判定が否定され、Ｓ８４０、Ｓ８５０の処理がスキップされるからである。
【０１３１】
再び図８のフローチャートを参照しての説明に戻り、Ｓ８６０ではＸ方向の座標値をインクリメントする処理が行われる。
【０１３２】
Ｓ８７０では、座標値ＸがＷよりも大きいか否かが判定される。Ｓ８７０での判定が否定される間、Ｓ８３０からＳ８６０の処理が繰り返し行われる。一方、Ｓ８７０での判定が肯定されると、Ｓ８８０においてＸ方向の座標値が１にリセットされ、Ｙ方向の座標値がインクリメントされる。
【０１３３】
Ｓ８９０では、座標値ＹがＨよりも大きいか否かが判定される。Ｓ８９０での判定が否定される間、Ｓ８３０からＳ８８０の処理が繰り返し行われる。一方、Ｓ８９０での判定が肯定されると、輝点検出処理を完了してリターンする。
【０１３４】
図９は、図６のＳ６７０の処理、すなわちパターン合成処理の詳細を示すフローチャートである。以下の説明では、図８のフローチャートに示す輝点検出の処理が行われた結果、Ｃ個の組の輝点情報が生成されてＳＤＲＡＭ１０６に登録されているものとする。
【０１３５】
ステップＳ９１０では、Ｃ個の組の輝点情報中の一つを指定するポインタＮが初期値の１に設定される。Ｓ９２０では、ＳＤＲＡＭ１０６中からＮ番目の輝点情報が取得される。
【０１３６】
Ｓ９３０では、パターンリサイズの処理が行われる。パターンリサイズの処理とは、輝点情報中に含まれる輝点輝度情報の大小に応じてパターンのサイズ（描画用画像データ上で合成されるパターンの大きさ）を変更する処理である。パターンリサイズの処理に際しては、輝点輝度の大小と、輝点サイズの大小との両方を加味してパターンのサイズを変更してもよい。あるいは、輝点サイズの大小のみに応じてパターンのサイズを変更してもよい。パターンリサイズの処理においては、予め用意される複数のサイズのパターンの中から、輝点輝度に基づいていずれかのサイズのパターンを決定するようにしてもよい。
【０１３７】
Ｓ９４０では、描画用画像データに基づく画像中、輝点情報中の輝点位置情報に対応する位置に、Ｓ９３０でリサイズ処理されたパターンが図１１を参照して先に説明したように合成される。続いて、Ｓ９５０でポインタをインクリメントする処理が行われる。
【０１３８】
Ｓ９６０では、ポインタＮの値が輝点情報の組数Ｃよりも大きいか否かが判定され、この判定が否定される間、Ｓ９２０からＳ９５０の処理が繰り返し行われる。一方、Ｓ９６０の判定が肯定された場合、すなわちＣ個の組全部の輝点情報に基づくパターン合成の処理が完了したと判定されると図９の処理を終えてリターンする。
【０１３９】
以上、本発明の第１の実施形態に係る撮像装置によれば、撮影画像データが、異なる階調変換特性、異なるＮＲ強度で処理されて描画用画像データ、輝点検出用画像データが生成され、輝点検出用画像データを用いて輝点検出処理が行われる。このため、輝点検出をより的確に行うことが可能となり、描画用画像データに基づく画像中、輝点の存在する位置にパターンが合成されて視覚効果のより高められた画像を生成することが可能となる。
【０１４０】
＜第２の実施形態＞
第１の実施形態における撮像装置では、図１２を参照して説明したように、輝点検出用画像データの輝度値が閾値Ｔｈを越す画素が検出されたとき、その画素の近傍の領域において閾値Ｔｈを越す輝度値の画素を探索する処理が行われて輝点サイズが導出される。これに対して、第２の実施形態における撮像装置では、輝点サイズを導出する処理が省略される。第２の実施形態における撮像装置も、図１に示されるものと同様の構成を有するのでその説明を省略する。第１実施形態と第２実施形態とでは、輝点検出処理およびパターン合成処理のみが異なるので、これら二つの処理を中心に説明をする。
【０１４１】
図１３は、図６に示すフローチャートのステップＳ６６０の処理、すなわち輝点検出処理の詳細を示すフローチャートである。この輝点検出処理は、輝点検出用画像データに対して行われる。第１の実施形態と同様、輝点検出用画像データは横方向にＷ画素、縦方向にＨ画素のピクセルサイズを有し、各画素にＸＹ座標値が付与されるものとする。また、以下で説明する輝点検出処理においては、ＹＣｂＣｒデータ中、Ｙデータのみが参照されるものとするが、第１の実施形態と同様、ＣｂＣｒのデータを参照してもよい。座標（Ｘ，Ｙ）に位置する画素のＹ値を以下ではＤｙ（Ｘ，Ｙ）と表す。
【０１４２】
ステップＳ１３１０では、輝点検出処理対象の画素を特定するポインタＸ、Ｙの値をそれぞれ１に設定する。
【０１４３】
Ｓ１３２０では、ＳＤＲＡＭ１０６に一時的に記憶されている輝点検出用画像データを取得する。このとき、輝点検出用画像データを所定のワークエリア内に読み込んでもよいし、ＳＤＲＡＭ１０６内で輝点検出用画像データが記憶される領域の先頭アドレス、および輝点検出用画像データのサイズ等に関する情報を取得してもよい。
【０１４４】
Ｓ１３３０では、Ｄｙ（Ｘ，Ｙ）が予め設定された閾値Ｔｈよりも大きいか否か（輝度値が高いか否か）を判定し、肯定されるとＳ１３４０へ、否定されるとＳ１３５０へ進む。
【０１４５】
Ｓ１３３０での判定が肯定された場合、Ｓ１３４０において、輝点輝度を導出して登録する処理が行われる。この、輝点輝度を導出して登録する処理については、輝度値検出用画像データから読み出された輝度値Ｄｙ（Ｘ，Ｙ）そのものを登録してもよいし、輝度値Ｄｙ（Ｘ，Ｙ）に対して所定の変換式を適用して導出された輝点輝度を登録してもよい。あるいは、輝度値検出用画像データから読み出された輝度値Ｄｙ（Ｘ，Ｙ）をもとにルックアップテーブル等を参照してＤｙ（Ｘ，Ｙ）の値に対応する輝点輝度を読み出してもよい。このとき、ルックアップテーブルから読み出される輝点輝度は、統計学で扱われるところの階級値（例えば、輝度値検出用画像データから読み出された１０１から１５０の輝度値に対しては１２５を、１５１から２００の輝度値に対しては１７５割り当てる等）、あるいはそれに類するものであってもよいし、輝度値の大小に対応して予め割り当てられたＡ、Ｂ、Ｃといった符号が読み出されてもよい。輝点位置情報としては、Ｘ、Ｙ座標値をそのまま利用可能である。
【０１４６】
Ｓ１３４０での処理の結果、輝度値検出用画像データから読み出された輝度値Ｄｙ（Ｘ，Ｙ）が閾値Ｔｈを越す画素の位置を特定可能な輝点位置情報と、輝点輝度情報とを含む輝点情報が生成され、ＳＤＲＡＭ１０６にテーブルとして登録される。
【０１４７】
Ｓ１３５０ではＸ方向の座標値をインクリメントする処理が行われる。Ｓ１３６０では、座標値ＸがＷよりも大きいか否かが判定される。Ｓ１３６０での判定が否定される間、Ｓ１３３０からＳ１３５０の処理が繰り返し行われる。一方、Ｓ１３６０での判定が肯定されると、Ｓ１３７０においてＸ方向の座標値が１にリセットされ、Ｙ方向の座標値がインクリメントされる。
【０１４８】
Ｓ１３８０では、座標値ＹがＨよりも大きいか否かが判定される。Ｓ１３８０での判定が否定される間、Ｓ１３３０からＳ１３７０の処理が繰り返し行われる。一方、Ｓ１３８０での判定が肯定されると、輝点検出処理を完了してリターンする。
【０１４９】
図１４は、図６のＳ６７０の処理、すなわちパターン合成処理の詳細を示すフローチャートである。以下の説明では、図１３のフローチャートに示す輝点検出の処理が行われた結果、Ｃ個の組の輝点情報が生成されてＳＤＲＡＭ１０６に登録されているものとする。
【０１５０】
ステップＳ１４１０では、Ｃ個の組の輝点情報中の一つを指定するポインタＮが初期値の１に設定される。Ｓ１４２０では、ＳＤＲＡＭ１０６中からＮ番目の輝点情報が取得される。
【０１５１】
Ｓ１４３０では、パターンにゲインを乗じる処理が行われる。パターンにゲインを乗じる処理とは、輝点情報中に含まれる輝点輝度の情報に応じて、パターンを形成するデータに対してある係数を乗じる処理である。そして、輝度値の高い輝点に対応するパターンの明度がより増すようにする。あるいは、先に説明したアルファブレンディングの処理が行われる場合には透明度が変更されてもよい。この場合、輝度値の高い輝点に対応するパターンの透明度が減じられる（不透明度が増される）ようにすることが可能である。パターンにゲインを乗じる処理においては、予め用意される複数の明度あるいは透明度のパターンの中から、輝点輝度の情報に基づいていずれかのパターンを決定するようにしてもよい。
【０１５２】
Ｓ１４４０では、描画用画像データに基づく画像中、輝点情報中の輝点位置情報に対応する位置に、Ｓ１４３０でゲインを乗じる処理がなされたパターンが図１１を参照して先に説明したように合成される。続いて、Ｓ１４５０でポインタをインクリメントする処理が行われる。
【０１５３】
Ｓ１４６０では、ポインタＮの値が輝点情報の組数Ｃよりも大きいか否かが判定され、この判定が否定される間、Ｓ１４２０からＳ１４５０の処理が繰り返し行われる。一方、Ｓ１４６０の判定が肯定された場合、すなわちＣ個の組全部の輝点情報に基づくパターン合成の処理が完了したと判定されると図１４の処理を終えてリターンする。
【０１５４】
以上、本発明の第２の実施形態に係る撮像装置によれば、輝点検出処理を単純化して処理速度を高めることが可能となる。例えば、ライブビュー表示や動画の記録に際してフレームレートの低下を抑制したり、処理負荷の低減によって電池寿命を延ばしたりすることが可能となる。
【０１５５】
第２の実施形態においては、輝点検出用画像中の画素のひとつ一つに対応して輝点情報が生成される。したがって、描画用画像データによって形成される画像中の比較的広い領域が明るい場合、その明るい領域内の画素ひとつ一つに対応してパターンが合成される。この場合、細めのパターン（図１１の（ａ）、（ｂ）、（ｃ）に例示されるパターン形状において放射状に伸びる光芒の幅を減じた物）を合成することにより、視覚効果に優れた画像を得ることが可能となる。
【０１５６】
上述した第１、第２の実施形態中の一連の画像処理は、ハードウェアによって実施することも可能であるし、ＣＰＵがソフトウェアを解釈・実行することにより実施することも可能である。あるいは、一部の処理はソフトウェアにより、残りの処理はハードウェアにより実行することも可能である。
【０１５７】
また、上述した画像処理は、撮像装置と異なる情報処理装置上で実行することも可能である。すなわち、撮像装置で撮影して生成された撮影画像データが含まれるＲＡＷデータファイルを情報処理装置に読み込み、情報処理装置がＲＡＷデータファイル中の撮影画像データに現像処理をして描画用画像データを生成する際に上述した一連の画像処理をすることが可能となる。
【０１５８】
図１５は、情報処理装置２００の概略的構成を説明するブロック図である。情報処理装置２００は、ＣＰＵ２０２と、主記憶装置としてのＲＡＭ２０４と、補助記憶装置２０６と、ビデオインターフェース（以下ビデオＩ／Ｆ）２１２と、ディスプレイ２１４と、ネットワークインターフェース（以下ネットワークＩ／Ｆ）２１６と、光ディスクドライブ２２２と、メモリカードリーダ２２４と、インターフェース２２０と、キーボード２２６と、コンピュータマウス等のポインティングデバイス（以下、マウス）２２８と、システムバス２１８を備える。ＣＰＵ２０２、ＲＡＭ２０４、補助記憶装置２０６、ビデオＩ／Ｆ２１２、ネットワークＩ／Ｆ２１６、インターフェース２２０はシステムバス２１８に電気的に接続される。
【０１５９】
補助記憶装置２０６は、ハードディスクドライブやシリコンディスクドライブ等で構成可能である。補助記憶装置２０６中には画像処理プログラム２０８と画像ファイル２１０とが記憶される。画像ファイル２１０はＲＡＷデータファイル、ＪＰＥＧデータファイル、動画像データファイル等を含む。
【０１６０】
ディスプレイ２１４は、ビデオＩ／Ｆから出力される映像信号を入力してカラー画像を表示可能に構成され、液晶表示装置、有機ＥＬ表示装置、プロジェクタ等を利用可能である。
【０１６１】
情報処理装置２００はネットワークＩ／Ｆ２１６を介してＬＡＮ、ＷＡＮ等のネットワークＮＷに接続される。光ディスクドライブ２２２は、インターフェース２２０に接続され、ＣＤ、ＤＶＤ、あるいはブルーレイ（登録商標）ディスク等の光ディスクＯＤから情報を読み取り可能に構成される。
【０１６２】
メモリカードリーダ２２４は、インターフェース２２０に接続されていて、装着されるメモリカードＭＣから情報を読み取り、あるいは情報をメモリカードＭＣに書き込み可能に構成される。
【０１６３】
画像処理プログラム２０８は、光ディスクＯＤやメモリカードＭＣ等のコンピュータ読み取り可能な記憶媒体に記憶されてユーザに提供され、補助記憶装置２０６に記憶される。あるいは、ネットワークＮＷを介して情報処理装置２００と接続されるサーバ等から画像処理プログラム２０８が提供されて補助記憶装置２０６に記憶されてもよい。
【０１６４】
情報処理装置２００は、補助記憶装置２０６から画像処理プログラム２０８を読み込んでＲＡＭ２０４上にロードし、この画像処理プログラムをＣＰＵ２０２が解釈・実行する。ユーザはキーボード２２６やマウス２２８を操作し、ディスプレイ２１４上に表示されるファイルの一覧中から所望のＲＡＷデータファイルを選択し、パターン合成を実行するメニューを選択する。
【０１６５】
その結果、指定されたＲＡＷデータファイルをＣＰＵ２０２は補助記憶装置２０６から読み出し、図６のフローチャートを参照して説明した処理手順にしたがってＲＡＷデータファイル中の撮影画像データに対して画像処理を行う。このとき、Ｓ６２０の現像処理によって描画用画像データが生成され、Ｓ６５０の現像処理によって輝点検出用画像データが生成される。
【０１６６】
そしてＳ６６０では図８または図１３のフローチャートを参照して説明した輝点検出処理が行われる。Ｓ６７０では、図９または図１４のフローチャートを参照して説明したパターン合成処理が行われ、輝点の位置にクロスパターン等が合成された画像が生成される。このようにして生成された画像はディスプレイ２１４に表示され、必要に応じて圧縮処理等が施されて補助記憶装置２０６に画像ファイルとして記憶される。
【０１６７】
本発明は、上述した第１、第２の実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば、輝点検出処理はＹＣｂＣｒ色空間の画像データを解析する例について説明したが、ＲＧＢ等の色空間の画像データに対して解析してもよい。また、パターン合成処理される際のパターンについては図１１に例示されるものだけでなく、様々な形状とすることが可能である。
【０１６８】
上述した実施形態では、撮像装置としてデジタルスチルカメラに本発明を適用する例を挙げて説明したが、デジタルビデオカメラや他の電子機器にも適用することができる。
【符号の説明】
【０１６９】
１…カメラ本体
２…交換式レンズ
１０１…メカシャッター
１０２…撮像素子
１０３…アナログ処理部
１０４…アナログ／デジタル変換部
１０７…画像処理部
１１０…画像圧縮展開部
１１３…ＬＣＤドライバ
１１４…ＬＣＤ
１１５…マイクロコンピュータ
１１７…Ｆｌａｓｈメモリ
１１８…輝点検出部
１１９…合成処理部
２００…情報処理装置
２０２…ＣＰＵ
２０４…ＲＡＭ
２０６…補助記憶装置
２０８…画像処理プログラム
【特許請求の範囲】
【請求項１】
撮影光学系によって形成された被写体像を撮像して撮影画像データを出力する撮像部と、
前記撮影画像データに対し、第１の画像処理を施して輝点検出用画像データを生成するとともに、前記第１の画像処理とは異なる第２の画像処理を施して描画用画像データを生成する画像処理部と、
前記画像処理部で生成された前記輝点検出用画像データから、画像内における輝点を検出し、前記画像内における前記輝点の位置と明るさに関する情報を少なくとも含む輝点情報を生成する輝点検出部と、
前記描画用画像データに対し、前記輝点情報で特定される輝点の位置またはその近傍にパターンを合成する処理を施す合成処理部と
を備えたことを特徴とする撮像装置。
【請求項２】
前記第１の画像処理および第２の画像処理は、前記撮影画像データに対してそれぞれ所定のガンマ特性に基づくガンマ変換を施すガンマ変換処理を含み、
前記第１の画像処理と前記第２の画像処理とで、前記ガンマ変換処理におけるガンマ変換特性を互いに異なるものとしたことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第１の画像処理における前記ガンマ変換処理のガンマ変換特性は、前記第２の画像処理における前記ガンマ変換処理のガンマ変換特性よりも、前記ガンマ変換処理後に生成される前記輝点検出用画像データ中、高輝度域において割り当てられる階調情報の量が前記高輝度域以外の輝度域において割り当てられる階調情報の量に比して多くなる特性が付与されていることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記第１の画像処理における前記ガンマ変換処理のガンマ変換特性は、前記第２の画像処理における前記ガンマ変換処理のガンマ変換特性よりも、前記ガンマ変換処理後に生成される前記輝点検出用画像データ中、低輝度域において割り当てられる階調情報の量が前記低輝度域以外の輝度域において割り当てられる階調情報の量に比して少なくなる特性が付与されていることを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記輝点情報は、前記輝点検出部で検出された輝点の、前記描画用画像データにおける対応位置を特定可能な情報である輝点位置情報を含むことを特徴とする請求項１から４のいずれか一つに記載の撮像装置。
【請求項６】
前記輝点検出部は、前記輝点の明るさを導出する輝点輝度導出部を含み、
前記輝点情報は、前記輝点輝度導出部において導出された前記輝点の明るさに関連する情報である輝点輝度情報を含むことを特徴とする請求項１から５のいずれか一つに記載の撮像装置。
【請求項７】
前記輝点検出部は、前記輝点のサイズを導出する輝点サイズ導出部を含み、
前記輝点情報は、前記輝点サイズ導出部において導出された前記輝点のサイズに関連する情報である輝点サイズ情報を含むことを特徴とする請求項１から６のいずれか一つに記載の撮像装置。
【請求項８】
前記画像処理部はさらに、
前記画像データに対してノイズ低減の処理をするＮＲ処理部と、
前記ノイズ低減の処理におけるノイズ低減の強度を設定するＮＲ強度設定部とを含み、
前記ＮＲ強度設定部は、前記第１の画像処理における前記ノイズ低減の強度と前記第２の画像処理における前記ノイズ低減の強度とで、互いに異なる強度を設定することを特徴とする請求項１から７のいずれか一つに記載の撮像装置。
【請求項９】
前記ＮＲ強度設定部は、前記第１の画像処理における前記ノイズ低減の強度が前記第２の画像処理における前記ノイズ低減の強度よりも強くなるように前記ノイズ低減の強度を設定することを特徴とする請求項８に記載の撮像装置。
【請求項１０】
１または複数のパターンデータを記憶するパターン記憶部をさらに備え、
前記合成処理部は、前記パターン記憶部に記憶されるパターンデータに基づき、前記パターンを合成する処理を施すことを特徴とする請求項１から９のいずれか一つに記載の撮像装置。
【請求項１１】
前記パターンを合成する処理に際して、合成するパターンの輝度値または透明度を前記輝点情報に基づいて増減させるパターン合成輝度値変更部をさらに備え、
前記合成処理部は、前記パターン合成輝度値変更部によって輝度値または透明度の変更されたパターンを合成することを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
前記パターンを合成する処理に際して、合成するパターンのサイズを前記輝点情報に基づいてリサイズ処理し、拡大または縮小させるパターン合成サイズ変更部をさらに備え、
前記合成処理部は、前記パターン合成サイズ変更部によってリサイズ処理されたパターンを合成することを特徴とする請求項１０または１１に記載の撮像装置。
【請求項１３】
前記１または複数のパターンデータ中には、パターンの中心であるパターン中心から放射状に広がる光芒を模したパターンである放射状パターンを生成するパターンデータを含み、
前記放射状パターンを生成するパターンデータは、前記パターン中心からの距離に応じて、前記放射状パターンの輝度値または透明度が漸次変化するように構成されることを特徴とする請求項１０から１２のいずれか一つに記載の撮像装置。
【請求項１４】
前記撮影画像データのビット深度に比して前記描画用画像データおよび前記輝点検出用画像データのビット深度が小さいことを特徴とする請求項１から１３のいずれか一つに記載の撮像装置。
【請求項１５】
撮像装置によって生成された撮影画像データに対し、第１の画像処理を施して輝点検出用画像データを生成することと、
前記撮影画像データに対し、前記第１の画像処理とは異なる第２の画像処理を施して描画用画像データを生成することと、
前記輝点検出用画像データを生成することで生成された前記輝点検出用画像データから、画像内における輝点を検出し、前記画像内における前記輝点の位置と明るさに関する情報を少なくとも含む輝点情報を生成することと、
前記描画用画像データに対し、前記輝点情報で特定される輝点の位置またはその近傍にパターンを合成する処理を施すことと
を備えたことを特徴とする画像処理方法。
【請求項１６】
撮像装置によって生成された撮影画像データに対し、第１の画像処理を施して輝点検出用画像データを生成する輝点検出用画像データ生成手順と、
前記撮影画像データに対し、前記第１の画像処理とは異なる第２の画像処理を施して描画用画像データを生成する描画用画像データ生成手順と、
前記輝点検出用画像データ生成手順で生成された前記輝点検出用画像データから、画像内における輝点を検出し、前記画像内における前記輝点の位置と明るさに関する情報を少なくとも含む輝点情報を生成する輝点情報生成手順と、
前記描画用画像データに対し、前記輝点情報で特定される輝点の位置またはその近傍にパターンを合成する処理を施すパターン合成手順と
を備えたことを特徴とする画像処理プログラム。
【請求項１】
撮影光学系によって形成された被写体像を撮像して撮影画像データを出力する撮像部と、
前記撮影画像データに対し、第１の画像処理を施して輝点検出用画像データを生成するとともに、前記第１の画像処理とは異なる第２の画像処理を施して描画用画像データを生成する画像処理部と、
前記画像処理部で生成された前記輝点検出用画像データから、画像内における輝点を検出し、前記画像内における前記輝点の位置と明るさに関する情報を少なくとも含む輝点情報を生成する輝点検出部と、
前記描画用画像データに対し、前記輝点情報で特定される輝点の位置またはその近傍にパターンを合成する処理を施す合成処理部と
を備えたことを特徴とする撮像装置。
【請求項２】
前記第１の画像処理および第２の画像処理は、前記撮影画像データに対してそれぞれ所定のガンマ特性に基づくガンマ変換を施すガンマ変換処理を含み、
前記第１の画像処理と前記第２の画像処理とで、前記ガンマ変換処理におけるガンマ変換特性を互いに異なるものとしたことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第１の画像処理における前記ガンマ変換処理のガンマ変換特性は、前記第２の画像処理における前記ガンマ変換処理のガンマ変換特性よりも、前記ガンマ変換処理後に生成される前記輝点検出用画像データ中、高輝度域において割り当てられる階調情報の量が前記高輝度域以外の輝度域において割り当てられる階調情報の量に比して多くなる特性が付与されていることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記第１の画像処理における前記ガンマ変換処理のガンマ変換特性は、前記第２の画像処理における前記ガンマ変換処理のガンマ変換特性よりも、前記ガンマ変換処理後に生成される前記輝点検出用画像データ中、低輝度域において割り当てられる階調情報の量が前記低輝度域以外の輝度域において割り当てられる階調情報の量に比して少なくなる特性が付与されていることを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記輝点情報は、前記輝点検出部で検出された輝点の、前記描画用画像データにおける対応位置を特定可能な情報である輝点位置情報を含むことを特徴とする請求項１から４のいずれか一つに記載の撮像装置。
【請求項６】
前記輝点検出部は、前記輝点の明るさを導出する輝点輝度導出部を含み、
前記輝点情報は、前記輝点輝度導出部において導出された前記輝点の明るさに関連する情報である輝点輝度情報を含むことを特徴とする請求項１から５のいずれか一つに記載の撮像装置。
【請求項７】
前記輝点検出部は、前記輝点のサイズを導出する輝点サイズ導出部を含み、
前記輝点情報は、前記輝点サイズ導出部において導出された前記輝点のサイズに関連する情報である輝点サイズ情報を含むことを特徴とする請求項１から６のいずれか一つに記載の撮像装置。
【請求項８】
前記画像処理部はさらに、
前記画像データに対してノイズ低減の処理をするＮＲ処理部と、
前記ノイズ低減の処理におけるノイズ低減の強度を設定するＮＲ強度設定部とを含み、
前記ＮＲ強度設定部は、前記第１の画像処理における前記ノイズ低減の強度と前記第２の画像処理における前記ノイズ低減の強度とで、互いに異なる強度を設定することを特徴とする請求項１から７のいずれか一つに記載の撮像装置。
【請求項９】
前記ＮＲ強度設定部は、前記第１の画像処理における前記ノイズ低減の強度が前記第２の画像処理における前記ノイズ低減の強度よりも強くなるように前記ノイズ低減の強度を設定することを特徴とする請求項８に記載の撮像装置。
【請求項１０】
１または複数のパターンデータを記憶するパターン記憶部をさらに備え、
前記合成処理部は、前記パターン記憶部に記憶されるパターンデータに基づき、前記パターンを合成する処理を施すことを特徴とする請求項１から９のいずれか一つに記載の撮像装置。
【請求項１１】
前記パターンを合成する処理に際して、合成するパターンの輝度値または透明度を前記輝点情報に基づいて増減させるパターン合成輝度値変更部をさらに備え、
前記合成処理部は、前記パターン合成輝度値変更部によって輝度値または透明度の変更されたパターンを合成することを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
前記パターンを合成する処理に際して、合成するパターンのサイズを前記輝点情報に基づいてリサイズ処理し、拡大または縮小させるパターン合成サイズ変更部をさらに備え、
前記合成処理部は、前記パターン合成サイズ変更部によってリサイズ処理されたパターンを合成することを特徴とする請求項１０または１１に記載の撮像装置。
【請求項１３】
前記１または複数のパターンデータ中には、パターンの中心であるパターン中心から放射状に広がる光芒を模したパターンである放射状パターンを生成するパターンデータを含み、
前記放射状パターンを生成するパターンデータは、前記パターン中心からの距離に応じて、前記放射状パターンの輝度値または透明度が漸次変化するように構成されることを特徴とする請求項１０から１２のいずれか一つに記載の撮像装置。
【請求項１４】
前記撮影画像データのビット深度に比して前記描画用画像データおよび前記輝点検出用画像データのビット深度が小さいことを特徴とする請求項１から１３のいずれか一つに記載の撮像装置。
【請求項１５】
撮像装置によって生成された撮影画像データに対し、第１の画像処理を施して輝点検出用画像データを生成することと、
前記撮影画像データに対し、前記第１の画像処理とは異なる第２の画像処理を施して描画用画像データを生成することと、
前記輝点検出用画像データを生成することで生成された前記輝点検出用画像データから、画像内における輝点を検出し、前記画像内における前記輝点の位置と明るさに関する情報を少なくとも含む輝点情報を生成することと、
前記描画用画像データに対し、前記輝点情報で特定される輝点の位置またはその近傍にパターンを合成する処理を施すことと
を備えたことを特徴とする画像処理方法。
【請求項１６】
撮像装置によって生成された撮影画像データに対し、第１の画像処理を施して輝点検出用画像データを生成する輝点検出用画像データ生成手順と、
前記撮影画像データに対し、前記第１の画像処理とは異なる第２の画像処理を施して描画用画像データを生成する描画用画像データ生成手順と、
前記輝点検出用画像データ生成手順で生成された前記輝点検出用画像データから、画像内における輝点を検出し、前記画像内における前記輝点の位置と明るさに関する情報を少なくとも含む輝点情報を生成する輝点情報生成手順と、
前記描画用画像データに対し、前記輝点情報で特定される輝点の位置またはその近傍にパターンを合成する処理を施すパターン合成手順と
を備えたことを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１２】
【図１３】
【図１４】
【図１５】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１２】
【図１３】
【図１４】
【図１５】
【図１１】
【公開番号】特開２０１２−９９９５（Ｐ２０１２−９９９５Ａ）
【公開日】平成２４年１月１２日（２０１２．１．１２）
【国際特許分類】
【出願番号】特願２０１０−１４２４７２（Ｐ２０１０−１４２４７２）
【出願日】平成２２年６月２３日（２０１０．６．２３）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
【公開日】平成２４年１月１２日（２０１２．１．１２）
【国際特許分類】
【出願日】平成２２年６月２３日（２０１０．６．２３）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
[ Back to top ]