撮像装置および撮像方法
【課題】ライブビュー表示や動画に相応しいクロスフィルタ処理が可能な撮像装置および撮像方法を提供する。
【解決手段】 撮像素子１０７からの画像データに対して、効果付与領域を設定し（Ｓ４５）、この効果付与領域内の飽和点を検出し（Ｓ６１）、この検出された飽和点の位置においてクロスフィルタ処理を行い（Ｓ６３）、クロスフィルタ処理された画像を表示や記録を行っている（Ｓ５１、Ｓ１４１）。撮像素子１０７の撮像領域の全てについてクロスフィルタ処理を行うのではなく、効果付与領域内の飽和点に対して輝点処理を行う。
【解決手段】 撮像素子１０７からの画像データに対して、効果付与領域を設定し（Ｓ４５）、この効果付与領域内の飽和点を検出し（Ｓ６１）、この検出された飽和点の位置においてクロスフィルタ処理を行い（Ｓ６３）、クロスフィルタ処理された画像を表示や記録を行っている（Ｓ５１、Ｓ１４１）。撮像素子１０７の撮像領域の全てについてクロスフィルタ処理を行うのではなく、効果付与領域内の飽和点に対して輝点処理を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、クロスフィルタと類似の特殊効果を施すことが可能な撮像装置および撮像方法に関する。
【背景技術】
【０００２】
従来より、静止画撮影の際に、光学フィルタであるクロスフィルタを装着し、特殊効果を施す手法が知られている。また、近年、デジタルカメラ等の撮像装置において、静止画撮影を行う際に、クロスフィルタを装着して撮影する代わりに、画像処理によりクロスフィルタと類似の特殊効果を施すことが提案されている。
【０００３】
例えば、特許文献１には、静止画撮影された画像の中から輝度の高い部分を抽出し、高輝度の中心に光のスジ（以下、光条という）を画像処理によって施し、クロスフィルタと類似の特殊効果を達成する可能な電子スチルカメラが開示されている。この電子スチルカメラによれば、光学クロスフィルタを装着することなく、電気的なスイッチによりデジタル処理だけで手軽に光条効果を得ることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平６−３０３７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
近年のデジタルカメラでは、液晶モニタ等の表示部に動画で被写体像を表示するライブビュー表示を行い、撮影者はライブビュー表示を確認しながら静止画や動画の撮影を行うのが一般的となっている。このライブビュー表示においても、前述のクロスフィルタと類似の特殊効果を付与する画像処理ができると便利である。しかしながら、動画であるライブビュー表示を行う際に、クロスフィルタ効果を与える画像処理を行うのは、困難であった。
【０００６】
すなわち、クロスフィルタ効果を与えるためには、画像全体をスキャンして輝点を探し出し、探し出した輝点の輝度や色に応じてクロス画像を描写しなければならず、これらの一連の処理を行うには、非常に時間がかかってしまう。特に、（１）対象画像が大きければ大きい程、輝点を探すための時間が増加し、（２）クロスフィルタの光条の数が多い程、また長さが長い程、処理時間が増加する。さらに、（３）被写体の輝点数が多い程、処理時間が増加し、また処理時間が変動してしまう。
【０００７】
従来のように静止画を撮影し、記録済みの静止画を編集処理するのであれば、クロスフィルタ効果を与えるための画像処理は可能である。しかし、ライブビュー表示や、動画撮影のように、所定のフレームレート、例えば、３０ｆｐｓ（frame-per-second）程度の高速で動画処理される場合には、クロスフィルタ効果を与えるための画像処理は、前述の（１）〜（３）のため処理負担が大きく、現実にはクロスフィルタ効果を与えることは困難であった。また、前述の（３）のため、通常のライブビュー表示や動画撮影において、撮影方向を変化させると、処理時間の変動に伴い、フレームレートが変動してしまい、不自然なライブビュー表示や動画表現になってしまった。
【０００８】
本発明は、このような事情を鑑みてなされたものであり、ライブビュー表示や動画に相応しいクロスフィルタ処理が可能な撮像装置および撮像方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため第１の発明に係わる撮像装置は、被写体像を電気信号に変換しライブビューで画像データを出力する撮像部と、上記画像データに対して、輝点検出領域を設定する輝点領域設定部と、上記輝点領域設定部によって設定された上記輝点検出領域内の輝点を検出する輝点検出部と、上記輝点検出部によって検出された上記輝点の輝点位置において輝点処理を行う輝点処理部と、上記輝点処理部によって輝点処理された画像を表示用または記録用に出力する画像出力部と、を有する。
【００１０】
第２の発明に係わる撮像装置は、上記第１の発明において、上記輝点領域設定部は、ランダムな位置または大きさに切換えて上記輝点領域を設定する。
第３の発明に係わる撮像装置は、上記第１の発明において、上記輝点領域設定部は、縦横に最小限のサイズ以上に上記輝点領域を設定する。
第４の発明に係わる撮像装置は、上記第１の発明において、上記輝点領域設定部は、予め設定した上記輝点領域を順番に設定する。
【００１１】
第５の発明に係わる撮像装置は、上記第１の発明において、上記輝点処理部における輝点処理は、クロスフィルタ処理である。
第６の発明に係わる撮像装置は、上記第１の発明において、上記輝点処理部は、連続するフレームの輝点処理の際に、少なくとも一部の明るさ、クロスの長さ、色、大きさの何れかのサイズを変える。
【００１２】
第７の発明に係わる撮像装置は、上記第１の発明において、上記輝点領域設定部は、上記輝点領域の設定にあたって、複数フレームで同一の領域を含む領域を少なくとも一度は設定する。
第８の発明に係わる撮像装置は、上記第１の発明において、上記輝点処理部は、設定された輝点領域内で処理する輝点の数を限定する。
【００１３】
第９の発明に係わる撮像装置は、上記第１の発明において、上記輝点処理部は、上記撮像部から出力される画像データの内、所定フレーム毎に上記輝点処理を行う。
第１０の発明に係わる撮像装置は、上記第９の発明において、上記輝点処理部は、上記所定フレーム毎に上記輝点処理を行う際には、取得フレームとは別個にクロスフィルタ画像を生成し、この生成したクロスフィルタ画像に取得フレームの画像を合成した合成画像を出力し、上記所定フレームに当たらないフレームの際には、上記取得フレームによる画像を出力する。
【００１４】
第１１の発明に係わる撮像方法は、被写体像を電気信号に変換しライブビューで画像データを出力し、上記画像データに対して、輝点検出領域を設定し、上記設定された上記輝点検出領域内の輝点を検出し、上記検出された輝点の輝点位置において輝点処理を行い、上記輝点処理された画像を表示用または記録用に出力する。
【発明の効果】
【００１５】
本発明によれば、ライブビュー表示や動画に相応しいクロスフィルタ処理が可能な撮像装置および撮像方法を提供することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態に係わるカメラの主として電気的構成を示すブロック図である。
【図２】本発明の一実施形態に係わるカメラの背面側から見た外観斜視図である。
【図３】本発明の一実施形態に係わるカメラにおいて、クロスフィルタ効果を与える領域を説明する図である。
【図４】本発明の一実施形態に係わるカメラのメイン動作を示すフローチャートである。
【図５】本発明の一実施形態に係わるカメラのライブビュー動作を示すフローチャートである。
【図６】本発明の一実施形態に係わるカメラのクロスフィルタ処理の動作を示すフローチャートである。
【図７】本発明の一実施形態に係わるカメラの飽和点検出処理の動作を示すフローチャートである。
【図８】本発明の一実施形態に係わるカメラのクロスフィルタ描画処理の動作を示すフローチャートである。
【図９】本発明の一実施形態に係わるカメラのライブビュー動作の変形例を示すフローチャートである。
【図１０】本発明の一実施形態に係わるカメラのクロスフィルタ動画撮影の動作を示すフローチャートである。
【図１１】本発明の一実施形態に係わるカメラのクロスフィルタ動画撮影の第１変形例の動作を示すフローチャートである。
【図１２】本発明の一実施形態に係わるカメラのクロスフィルタ動画撮影の第１変形例における演出効果設定の動作を示すフローチャートである。
【図１３】本発明の一実施形態に係わるカメラのクロスフィルタ動画撮影の第２の変形例の動作を示すフローチャートである。
【図１４】本発明の一実施形態に係わるカメラのクロスフィルタでの画像を説明する図である。
【図１５】本発明の一実施形態に係わるカメラのクロスフィルタ動画撮影の第２の変形例における画像を説明する図である。
【発明を実施するための形態】
【００１７】
以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。本発明の好ましい一実施形態に係わるカメラは、デジタルカメラであり、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体の背面等に配置した表示部にライブビュー表示する。撮影者はライブビュー表示を観察することにより、構図やシャッタチャンスを決定する。レリーズ操作時には、画像データが記録媒体に記録される。記録媒体に記録された画像データは、再生モードを選択すると、表示部に再生表示することができる。また、クロスフィルタモードを設定すると、クロスフィルタ処理が施されたライブビュー表示がなされ、また、動作撮影の際には、クロスフィルタ処理が施された画像データが記録される。
【００１８】
図１は、本発明の一実施形態に係わるカメラ１００の主として電気的構成を示すブロック図である。撮影レンズ１０１の光軸上に、絞り機構１０３、シャッタ１０５および撮像素子１０７が配置されている。撮像素子１０７の出力はＡ／Ｄ変換部１０９に接続され、Ａ／Ｄ変換部１０９の出力はメモリ１１０に接続されている。メモリ１１０は画像処理部１１１とシステム制御部１１６に接続されている。システム制御部１１６には、撮像制御部１０８、シャッタ制御部１０６、絞り制御部１０４、レンズ制御部１０２、露出制御部１１２、ＡＦ処理部１１３、フラッシュ制御部１２１、不揮発性メモリ１１８、外部メモリ１１４、表示部１１５、操作部１１７、電源制御部１２０がそれぞれ接続されている。上述の撮像制御部１０８は撮像素子１０７に接続されており、シャッタ制御部１０６はシャッタ１０５に接続されており、絞り制御部１０４は絞り１０３に接続されており、レンズ制御部１０２は撮影レンズ１０１に接続されている。また、電源制御部１２０は電源部１１９に接続されており、フラッシュ制御部１２１はフラッシュ充電部１２２とフラッシュ発光部１２３にそれぞれ接続されている。
【００１９】
撮影レンズ１０１は、被写体光束を撮像素子１０７に集光させ、被写体像を結像させるための光学系である。この撮影レンズ１０１は、システム制御部１１６からの指示に応じて動作するレンズ制御部１０２により光軸方向に移動され、焦点状態が変化する。絞り機構１０３は、撮影レンズ１０１を介して撮像素子１０７に入射する被写体光束の入射量を調節する。絞り機構１０３は、システム制御部１１６からの指示に応じて動作する絞り制御部１０４により開口量が制御される。
【００２０】
シャッタ１０５は、撮影レンズ１０１によって形成される被写体像の光束の開閉を行うものであり、公知のレンズシャッタやフォーカルプレーンシャッタ等によって構成される。シャッタ１０５は、システム制御部１１６からの指示に応じて動作するシャッタ制御部１０６によりシャッタ開口時間（シャッタ速度値）が制御される。
【００２１】
撮像部として機能する撮像素子１０７は、ＣＭＯＳイメージセンサやＣＣＤイメージセンサ等の二次元撮像センサであり、前面に配置されたベイヤ―配列のカラーフィルタと、このカラーフィルタに対応して配列されたフォトダイオード等の光電変換素子から構成される。各カラーフィルタとこれに対応する各光電変換素子から構成される画素群によって撮像領域が構成される。撮像素子１０７は、撮影レンズ１０１により集光された光を各画素で受光し光電流に変換し、この光電流をコンデンサに蓄積し、アナログ電圧信号（画像信号）としてＡ／Ｄ変換部１０９に出力する。撮像制御部１０８は、システム制御部１１６からの指示に応じて撮像素子１０７の動作制御を行う。
【００２２】
Ａ／Ｄ変換部１０９は、撮像素子１０７から出力されるアナログ電圧信号（画像信号）をデジタル画像信号（画像データ）に変換する。メモリ１１０は、Ａ／Ｄ変換部１０９において得られた画像データや、画像処理部１１１において処理された画像データ等、各種データを一時的に記憶する記憶部である。なお、本明細書においては、撮像素子１０７から出力される画像信号に基づく信号であれば、Ａ／Ｄ変換部１０９によってＡ／Ｄ変換された信号のみならず画像処理された信号も含めて画像データと称する場合がある。
【００２３】
画像処理部１１１は、メモリ１１０に一時記憶された画像データを読み出し、この画像データに対して、ホワイトバランス補正処理、同時化処理、色変換処理等の画像処理を行う。また、画像処理部１１１は、後述する外部メモリ１１４に記録する際に画像圧縮を行い、また外部メモリ１１４から読み出した圧縮された画像データの伸張を行う。
【００２４】
露出制御部１１２はメモリ１１０に一時記憶された画像データを用いて被写体輝度（被写体を含むシーンの明るさ）を算出する。なお、専用の測光センサを用いて被写体輝度を算出するようにしても勿論かまわない。
【００２５】
ＡＦ（Auto Focus）処理部１１３は、メモリ１１０に一時記憶された画像データから高周波成分の信号を抽出し、ＡＦ積算処理により合焦評価値を取得する。システム制御部１１６は、合焦評価値に基づいてレンズ制御部１０２を通じて、撮影レンズ１０１が合焦位置となるように駆動制御を行う。なお、ＡＦ処理部１１３は、ＴＴＬ位相差ＡＦセンサ等、専用のセンサを設け、この専用センサの出力に基づいて撮影レンズ１０１の焦点ずれ量を求めるようにしても勿論かまわない。露出制御部１１２およびＡＦ処理部１１３は、静止画撮影時と動画撮影時ではそれぞれの撮影モードに適した処理を行い、両者の処理は異なっている。
【００２６】
システム制御部１１６は、ＣＰＵ（Central Processing Unit：中央処理装置）等を含むＡＳＩＣ（Application Specific Circuit：特定用途向け集積回路）で構成され、撮像制御部１０８やフラッシュ制御部１２１等のカメラ１００の各種シーケンスを統括的に制御する。システム制御部１１６は、後述するように、撮像素子１０７からの画像データに対して輝点領域を設定する輝点領域設定部として機能する。また、設定された輝点領域内で、輝点を検出する輝点検出部として、また検出された輝点の輝点位置において輝点処理を行う輝点処理部として、また輝点処理された画像を表示用または記録用に出力する画像出力部としても機能する。
【００２７】
操作部１１７は、図２に示すような電源釦１１７ａ、レリーズ釦１１７ｂ、撮影モードダイヤル１１７ｃ、動画釦１１７ｄ、ファンクション釦１１７ｅ、十字釦１１７ｆ、ＯＫ釦１１７ｇ、メニュー釦、各種入力キー等の操作部材を含む。ユーザが操作部１１７のいずれかの操作部材を操作すると、システム制御部１１６は、ユーザの操作に応じた各種シーケンスを実行する。
【００２８】
操作部１１７の内の電源釦１１７ａはカメラ１００の電源のオンオフを指示するための操作部材であり、電源釦１１７ａが押されるとシステム制御部１１６は電源オンとし、再度押されると電源オフとする。レリーズ釦１１７ｂは、１ｓｔレリーズスイッチと２ｎｄレリーズスイッチの２段スイッチを有している。レリーズ釦１１７ｂが半押しされると１ｓｔレリーズスイッチがオンとなり、半押しから更に押し込まれ全押しされると２ｎｄレリーズスイッチがオンとなる。１ｓｔレリーズスイッチがオンとなると、システム制御部１１６は、ＡＥ処理やＡＦ処理等撮影準備シーケンスを実行する。また２ｎｄレリーズスイッチがオンとなると、システム制御部１１６は、静止画の撮影シーケンスを実行し、撮影を行う。
【００２９】
操作部１１７の内の動画釦１１７ｄは、動画撮影の開始と停止を指示する釦である。最初に動画釦１１７ｄを押下げると動画撮影を開始し、再度、動画釦１１７ｄを押下げると動画撮影を停止する。撮影モードダイヤル１１７ｃは、オートモード、絞り優先モード、シャッタ速度優先モード、ムービー撮影モード（動画撮影モード）、シーンモード、バルブ撮影モード等を設定するためのダイヤルである。
【００３０】
外部メモリ１１４は、例えば、カメラ本体に着脱自在に記憶媒体であり、画像処理部１１１において圧縮された画像データおよびその付随データが記録される。また、記憶された画像データは読み出され、表示部１１５に再生表示される。なお、画像データ等を記録するための記録媒体として、カメラ本体に着脱可能な外部メモリに限らず、カメラ本体に内蔵のハードディスク等の記録媒体であってもかまわない。
【００３１】
表示部１１５は、カメラ本体の背面等に配置された液晶モニタ１１５ａ（図２参照）等を含み、画像データに基づいてライブビュー表示を行う。また、表示部１１５は、外部メモリ１１４に記録された撮影画像の再生表示を行い、さらに露出制御値等の表示や撮影モード等設定のためのメニュー画面の表示を行う。このメニュー画面において、後述するクロスフィルタモードの設定を行う。メニュー画面以外にも、ファンクション釦１１７ｅ等の操作部材によって設定するようにしても構わない。なお、画像等を表示できるものであれば、液晶モニタに限らず、有機ＥＬ等のディスプレイでもよい。
【００３２】
不揮発性メモリ１１８は、電気的に書き換え可能な不揮発性メモリであり、カメラ１００の動作に必要な各種パラメータを記憶している。また、不揮発性メモリ１１８は、システム制御部１１６において実行するプログラムも記憶している。システム制御部１１６は、不揮発性メモリ１１８に記憶されているプログラムに従い、また不揮発性メモリ１１８に記憶されているパラメータを読み込み、各種シーケンスを実行する。
【００３３】
電源部１１９は、カメラ１００の各部の動作に必要な電力を供給し、例えば、２次電池等の電源電池で構成される。電源制御部１２０は、電源部１１９を構成する電池の電源電圧や残量の検出等、電源部１１９の制御を行う。
【００３４】
フラッシュ制御部１２１は、システム制御部１１６からの指示に応じてフラッシュ充電部１２２における充電動作、およびフラッシュ発光部１２３における発光動作を制御する。フラッシュ充電部１２２は、電源部１１９の電源電圧を昇圧する昇圧回路や、ここで昇圧された電圧でエネルギを蓄積するコンデンサを有し、フラッシュ発光部１２３の発光を行うに必要なエネルギを蓄積する。フラッシュ発光部１２３は、例えば、キセノン（Ｘｅ）管等の発光管や反射傘を備えており、フラッシュ制御部１２１から発光指示を受信した際に、フラッシュ充電部１２２のコンデンサに蓄積されたエネルギを利用して発光する。
【００３５】
次に、本実施形態に係わるカメラ１００の外観について、図２を用いて説明する。図２は、背面側からみたカメラ１００の外観図であり、カメラ本体１０に交換レンズ２０が装着されている。カメラ本体１０の上面には、電源釦１１７ａ、レリーズ釦１１７ｂ、撮影モードダイヤル１１７ｃが配置されている。
【００３６】
また、カメラ本体１０の背面には、液晶モニタ１１５ａが配置されており、これによって被写体像のライブビュー表示やメニュー画面表示、記録画像の再生表示等の各種表示を行う。カメラ本体１０の背面の右上側には、動画釦１１７ｄ、ファンクション釦１１７ｅが配置されており、また、これらの釦の下側には、十字釦１１７ｇとＯＫ釦１１７ｆが配置されている。十字釦１１７ｇは、液晶モニタ１１５ａに表示されるメニュー画面等において、カーソルを画面上で移動させ、ＯＫ釦１１７ｆを押下げるとカーソルによって選択された項目を確定させることができる。
【００３７】
次に、本実施形態におけるクロスフィルタ処理について、図３を用いて説明する。図３（ａ）は、撮像素子１０７の画素群を縦４・横６の２４のエリアに分割した様子を示す。本実施形態においては、１フレームごとにランダマイズ関数によって、乱数を発生させ、この乱数に基づいて、２４分割されたエリアを選択し、このエリアとこのエリアに隣接する全４エリアを効果付与領域（輝点処理を施す輝点検出領域）とし、その効果付与領域に対して輝点処理を施す。
【００３８】
例えば、図３（ｂ）は１フレーム目であり、ここでは、（１，１）、（１，２）、（２，１）、（２，２）の各エリアにクロスフィルタ処理等の輝点処理が施される。続く２フレーム目では、図３（ｃ）に示すように、（４，１）、（４，２）、（５，１）、（５，２）の各エリアにクロスフィルタ処理等の輝点処理が施される。続く３フレーム目では、図３（ｄ）に示すように、（３，２）、（３，３）、（４，２）、（４，３）の各エリアにクロスフィルタ処理等の輝点処理が施される。
【００３９】
４フレーム目では、図３（ｅ）に示すように、（２，３）、（２，４）、（３，３）、（３，４）の各エリアにクロスフィルタ処理等の輝点処理が施される。続く５フレーム目では、図３（ｆ）に示すように、（５，２）、（５，３）、（６，２）、（６，３）の各エリアにクロスフィルタ処理等の輝点処理が施される。続く６フレーム目では、図３（ｇ）に示すように、（１，３）、（１，４）、（２，３）、（２，４）の各エリアにクロスフィルタ処理等の輝点処理が施される。
【００４０】
７フレーム目では、図３（ｈ）に示すように、（２，１）、（２，２）、（３，１）、（３，２）の各エリアにクロスフィルタ処理等の輝点処理が施される。続く８フレーム目では、図３（ｉ）に示すように、（４，３）、（４，４）、（５，３）、（５，４）の各エリアにクロスフィルタ処理等の輝点処理が施される。続く９フレーム目では、図３（ｊ）に示すように、（５，１）、（５，２）、（６，１）、（６，２）の各エリアにクロスフィルタ処理等の輝点処理が施される。
【００４１】
１０フレーム目では、図３（ｋ）に示すように、（５，３）、（５，４）、（６，３）、（６，４）の各エリアにクロスフィルタ処理等の輝点処理が施される。本実施形態においては、１０フレーム目に効果を施すと、再度、１フレーム目に戻る。図３から分かるように、１フレーム目から１０フレームまで、エリア選択が一巡すると、全てのエリアでクロスフィルタ処理が実行される。これらのエリアの設定と輝点処理としてのクロスフィルタ処理は、システム制御部１１６によって実行される。
【００４２】
次に、本実施形態におけるカメラ１００の動作について、図４ないし図１３に示すフローチャートを用いて説明する。これらのフローは不揮発性メモリ１１８に記憶されているプログラムに従ってシステム制御部１１６によって実行される。図４に示すフローはメインルーチン動作である。このメインルーチンは、操作部１１７の電源釦１１７ａがオンとなると実行を開始する。
【００４３】
メインルーチンの動作が開始すると、まず、ライブビュー動作を行う（Ｓ１）。ライブビュー動作では、撮像素子１０７から出力される画像信号が、画像処理部１１１によってライブビュー表示用に画像処理され、この処理された画像データが表示部１１５の液晶モニタ１１５ａに表示される。撮影者はこのライブビュー表示を見て、静止画や動画の構図を決定し、シャッタタイミングを決める。また、クロスフィルタモード設定時に、ライブビュー表示を行う際には、図３を用いて説明したような効果付与領域（輝点検出領域）に対してクロスフィルタ処理を画像データに施し、表示を行う。ライブビュー動作の詳細については、図５を用いて後述する。
【００４４】
ライブビュー動作を行うと、次に、操作部１１７のレリーズ釦１１７ｂが半押しされたか、すなわち、１ｓｔレリーズスイッチがオンか否かの判定を行う（Ｓ３）。この判定の結果、１ｓｔレリーズスイッチがオンとなると、ＡＦ処理を実行する（Ｓ５）。このステップでは、システム制御部１１６は、ＡＦ処理部１１３によって得られる合焦評価値に基づいて、撮像素子１０７上に結像される被写体像が最も鮮明になるように、言い換えると合焦状態となるように、レンズ制御部１０２を介して撮影レンズ１０１の焦点状態を制御する。
【００４５】
ＡＦ処理を行うと、続いて、測光を行い（Ｓ７）、露出演算を行う（Ｓ９）。これらのステップにおいて、露出制御部１１２は被写体輝度の算出を行い、システム制御部１１６は算出された被写体輝度を用いて絞り値とシャッタ速度等の露出制御値を求める。絞り値とシャッタ速度の算出にあたっては、アペックス演算またはテーブル参照により決定する。
【００４６】
ステップＳ９において露出演算を行うと、または、ステップＳ３における判定の結果、１ｓｔレリーズがオンでなかった場合には、次に、動画釦１１７ｄに連動してオンオフする動画スイッチがオフからオンに変化したか否かの判定を行う（Ｓ１１）。ここでは、操作部１１７の動画釦１１７ｄの状態に基づいて判定する。
【００４７】
ステップＳ１１における判定の結果、動画スイッチがオフからオンに変化した場合には、次に、動画撮影のフラグが０、静止画撮影のフラグがｘであるか否かを判定する（Ｓ１３）。ここで、動画フラグの０は動画撮影が停止状態にあることを示し、動画フラグの１は動画撮影が続行中であることを示す。また、静止画撮影フラグの１は静止画撮影中であることを示し、静止画撮影フラグの０は静止画撮影終了であることを示す。動画撮影または静止画撮影のフラグのｘは、任意状態、すなわち、いずれの状態であってもよく、それまでの状態を示すフラグが保持される。なお、カメラ１００のリセット時に、動画撮影のフラグおよび静止画撮影のフラグは、共に０にリセットされる。
【００４８】
ステップＳ１３における判定の結果、動画撮影フラグが０、すなわち動画撮影が停止状態にあった場合には、動画撮影フラグを１とし、静止画撮影フラグをｘとする（Ｓ１５）。ここで、ｘとするとは、フラグに変更をかけずに、保持することを意味する。このフラグ設定を行うと、動画の撮影を開始する（Ｓ１７）。ここでは、撮像素子１０７によって取得した画像データを画像処理部１１１によって動画処理した後、外部メモリ１１４に記録する。また、同時に表示部１１５にライブビュー表示を行う。なお、クロスフィルタモードの設定時に、動画撮影を行う場合には、図３を用いて説明したようなクロスフィルタ処理を記録用の画像データに施し、記録する。このクロスフィルタモード設定時の動画撮影の詳細については、図１０を用いて後述する。
【００４９】
一方、ステップＳ１３における判定の結果、動画撮影フラグ１、すなわち動画撮影中であった場合には、動画撮影フラグを０とし、静止画撮影フラグをｘとする（Ｓ１９）。動画撮影中にステップＳ１１において、動画釦１１７ｄが押下げられたことを検出したことから、このステップでは動画撮影停止のためのフラグ処理を行う。このフラグ設定を行うと、動画の撮影を停止する（Ｓ２１）。ここでは、動画の画像データの記録動作を終了するための処理を行う。
【００５０】
ステップＳ１７において動画の撮影を開始すると、またはステップＳ２１において動画の撮影を停止すると、次に、静止画が撮影終了であるか否かを判定する（Ｓ２３）。後述するステップＳ２７において２ｎｄレリーズがオンすると、静止画撮影が開始し、静止画の画像データを外部メモリ１１４に記録すると静止画撮影が終了する。そこで、このステップでは、これらの一連の動作中であるか否かに基づいて判定する。
【００５１】
ステップＳ２３における判定の結果、静止画撮影が終了していれば、次に、動画撮影フラグをｘとし、静止画撮影フラグを０とする（Ｓ２５）。このフラグ設定を行うと、次に、２ｎｄレリーズがオンか否かを判定する（Ｓ２７）。ここでは、操作部１１７のレリーズ釦１１７ｂが全押しされたか否かを判定する。
【００５２】
ステップＳ２７における判定の結果、２ｎｄレリーズがオンであった場合には、次に、動画撮影フラグをｘとし、静止画撮影フラグを１とする（Ｓ２９）。そして、静止画撮影を実行する（Ｓ３１）。ここでは、撮像素子１０７によって取得した画像データを画像処理部１１１によって静止画処理した後、外部メモリ１１４に記録する。
【００５３】
静止画撮影を行うと、次に、動画撮影フラグが０、静止画撮影フラグが０であるか否かを判定する（Ｓ３３）。ここでは、動画撮影中でもなく静止画撮影中でもないか否かを判定する。この判定の結果、Ｙｅｓの場合、すなわち、動画撮影も終了し、また静止画撮影も終了している場合には、ステップＳ１に戻る。
【００５４】
ステップＳ３３における判定の結果、Ｎｏであった場合、すなわち、動画撮影中であるか又は静止画撮影中であった場合には、次に、動画撮影フラグが１、静止画撮影フラグが０であるか否かを判定する（Ｓ３５）。ここでは、動画撮影中であるが静止画撮影中ではないかを判定する。
【００５５】
ステップＳ３５における判定の結果、Ｙｅｓであった場合、すなわち、静止画撮影が終了し、動画撮影が行われている場合には、ステップＳ３に戻り、動画撮影を続行する。一方、ステップＳ３５における判定の結果、Ｎｏであった場合、すなわち、動画撮影は終了しているが、静止画撮影が終了していない場合には、ステップＳ１１に戻り、静止画撮影を続行する。
【００５６】
このように、本実施形態におけるメインフローにおいては、ライブビュー表示を行うと共に、動画釦１１７ｄが操作されるたびに動画撮影の開始と停止を交互に実行し、またレリーズ釦１１７ｂの全押しに応じて静止画撮影を実行する。クロスフィルタモードが設定されている場合には、ライブビュー表示や動画撮影時に効果付与領域に対してクロスフィルタ処理が施される。
【００５７】
次に、ステップＳ１におけるライブビュー動作の詳細について図５を用いて説明する。ライブビュー動作に入ると、クロスフィルタモードが設定されているか否かを判定する（Ｓ４１）。
【００５８】
ステップＳ４１における判定の結果、クロスフィルタモードが設定されていた場合には、次に、乱数を発生し（Ｓ４３）、効果付与領域の決定を行う（Ｓ４５）。ここでは、図３を用いて説明したように、撮像素子１０７の画素を縦４分割、横６分割の合計２４のエリア、この中から、ランダムにエリアを選択し、この選択されたエリアに基づいて効果付与領域（輝点検出領域）を決定する。
【００５９】
まず、乱数を発生させ、乱数によって決まるエリアと、そのエリアの右隣、下、右斜め下の合計４エリアを効果付与領域とする。なお、本実施形態においては、４つのエリアを効果付与領域（輝点検出領域）としているが、輝点検出領域の数や、その輝点検出領域内の画素数等に応じて、エリアの数としては４より多くても少なくても構わない。
【００６０】
ステップＳ４３において乱数を発生させるが、本実施形態においては、乱数（ＲＮＤ）は、０．００００００・・・〜０．９９９９９９・・・の値を発生する。図３に示した例では、縦４分割、横６分割であることから、
ｘ＝ＩＮＴ（ＲＮＤ×６＋１）、ｙ＝ＩＮＴ（ＲＮＤ×４＋１）
をエリアの位置と定義し、このエリアとエリアの右隣、下、右斜め下を輝点検出領域とすればよい。ここで、ＩＮＴは括弧内の整数部分を意味する。
【００６１】
乱数発生および効果付与領域の決定を行うと、次に、クロスフィルタ処理を行う（Ｓ４７）。ここでは、ステップＳ４５において決定された効果付与領域内において、明るく輝いている輝点部分を検出し、この検出された輝点部分に対して、光学クロスフィルタと同様の効果を与えるクロスフィルタ描画処理を施す。このクロスフィルタ処理の詳細については、図６ないし図８を用いて後述する。
【００６２】
ステップＳ４７においてクロスフィルタ処理を行うと、またはステップＳ４１における判定の結果、クロスフィルタモードが設定されていなかった場合には、次に、表示を行う（Ｓ５１）。ここでは、撮像素子１０７からの画像データに基づいて、表示部１１５にライブビュー表示を行う。クロスフィルタモードが設定されている場合には、クロスフィルタ処理を施したライブビュー表示を行う。
【００６３】
表示を行うと、次に、次のフレームの取得が完了した否かを判定する（Ｓ５３）。撮像素子１０７が次のフレームの画像データを取得したか否かを判定する。フレームレートが３０ｆｐｓの場合には、１／３０秒に１回の割合でフレームが取得される。この判定の結果、次のフレームの取得が完了していなかった場合には、ステップＳ５１に戻り、一方、取得完了の場合には、ステップＳ４１に戻る。
【００６４】
次に、ステップＳ４７のクロスフィルタ処理について、図６を用いて説明する。クロスフィルタ処理に入ると、まず、飽和点検出処理を行う（Ｓ６１）。ここでは、ステップＳ４５において決定された効果付与領域内の全画素のＲＧＢの画像データについて、飽和値に対応する輝度値以上であるか否かを判定し、飽和値以上の輝点を検出する。この飽和点検出処理の詳細については、図７を用いて後述する。
【００６５】
飽和点検出処理を行うと、次に、クロスフィルタ描画処理を行う（Ｓ６３）。ここでは、ステップＳ６１において検出された輝点に対して、光学クロスフィルタを装着した場合と同様の効果を生ずる画像処理を施す。このクロスフィルタ描画処理の詳細については、図８を用いて後述する。
【００６６】
次に、ステップＳ６１の飽和点検出処理について、図７を用いて説明する。飽和点検出処理のフローに入ると、まず、飽和点を示すフラグｆを０にリセットする（Ｓ７１）。続いて、画素の位置を示す座標（ｘ，ｙ）をｘ＝１、ｙ＝１に初期化する（Ｓ７３）。なお、画素の座標は、設定された効果付与領域内の左上隅等を（１，１）の位置とする。
【００６７】
続いて、位置（ｘ，ｙ）のＲデータが２５５より大きいか否かを判定する（Ｓ７５）。本実施形態においえは、画像データを構成するＲＧＢの各データは、８ビットで構成されおり、その最大値を１０進数で表わすと、２５５となる。従って、この数値２５５は、画像データのビット数に基づいて適宜決めればよく、また、飽和状態とみなせる程度であれば、ビット数で決まる最大値よりも小さな値でも構わない。
【００６８】
ステップＳ７５における判定の結果、Ｒ（ｘ，ｙ）≧２５５であった場合には、次に、（Ｒ，Ｇ，Ｂ，ｆ）（ｘ，ｙ）＝（Ｒ，Ｇ，Ｂ，１）とする（Ｓ７７）。ここでは、位置（ｘ，ｙ）の画像データの内、Ｒデータ、Ｇデータ、Ｂデータは取得した値のままとし、飽和点を示すフラグｆを１とする。フラグｆ＝１とすることにより、位置（ｘ，ｙ）の画素の画像データは、飽和しており、輝点であることを示す。
【００６９】
ステップＳ７７において（Ｒ，Ｇ，Ｂ，ｆ）（ｘ，ｙ）＝（Ｒ，Ｇ，Ｂ，１）とすると、またはステップＳ７５における判定の結果、Ｒ（ｘ、ｙ）＜２５５であった場合には、次に、Ｇ（ｘ，ｙ）≧２５５であるか否かを判定する（Ｓ７９）。ここでは、位置（ｘ，ｙ）のＧデータが２５５より大きいか否かを判定する。
【００７０】
ステップＳ７９における判定の結果、Ｇ（ｘ，ｙ）≧２５５であった場合には、ステップＳ７７と同様に、（Ｒ，Ｇ，Ｂ，ｆ）（ｘ，ｙ）＝（Ｒ，Ｇ，Ｂ，１）とする（Ｓ８１）。この処理を行うと、またはステップＳ７９における判定の結果、Ｇ（ｘ，ｙ）＜２５５であった場合には、次に、Ｂ（ｘ，ｙ）≧２５５であるか否かを判定する（Ｓ８３）。ここでは、位置（ｘ，ｙ）のＢデータが２５５より大きいか否かを判定する。
【００７１】
ステップＳ８３における判定の結果、Ｂ（ｘ，ｙ）≧２５５であった場合には、ステップＳ７７と同様に、（Ｒ，Ｇ，Ｂ，ｆ）（ｘ，ｙ）＝（Ｒ，Ｇ，Ｂ，１）とする（Ｓ８５）。この処理を行うと、またはステップＳ８３における判定の結果、Ｂ（ｘ，ｙ）＜２５５であった場合には、次に、画素の位置を表わすｘをインクリメント、すなわち、ｘに１を加算する（Ｓ８７）。
【００７２】
ステップＳ８７において、ｘをインクリメントすると、次に、ｘ＞最大座標であるか否かを判定する（Ｓ８９）。前述したように、ステップＳ４５において効果付与領域が決定されており、この決定された効果付与領域内のｘ座標について最大座標に達したか否かを判定する。この判定の結果、ｘが最大座標に達していなかった場合には、ステップＳ７５に戻り、隣のｘ座標の位置における画素について、ＲＧＢデータのいずれかが飽和していないか検出する。
【００７３】
ステップＳ８９における判定の結果、ｘが最大座標に達した場合には、次に、画素の位置を表わすｙをインクリメント、すなわち、ｙに１を加算する（Ｓ９１）。続いて、画素の位置を表わすｘに１を設定する（Ｓ９３）。
【００７４】
次に、ｙ＞最大座標であるか否かを判定する（Ｓ９５）。ステップＳ４５において決定された効果付与領域内のｙ座標について最大座標に達したか否かを判定する。この判定の結果、ｙが最大座標に達していなかった場合には、ステップＳ７５に戻り、隣のｙ座標の位置における画素について、ｘ＝１から順次、ＲＧＢデータのいずれかが飽和していないか検出する。一方、判定の結果、ｙが最大座標に達すると、元のフローに戻る。
【００７５】
次に、ステップＳ６３のクロスフィルタ描画処理について、図８を用いて説明する。クロスフィルタ描画処理のフローに入ると、まず、ステップＳ７３と同様に、画像データの画素の位置（ｘ，ｙ）をｘ＝１、ｙ＝１に初期化する（Ｓ１０１）。
【００７６】
画素位置を初期化すると、次に、（Ｒ，Ｇ，Ｂ，ｆ）のｆ＝１であるか否かを判定する（Ｓ１０３）。ステップＳ７７、Ｓ８１、またはＳ８５において、ＲＧＢの画像データの内、少なくとも１つが飽和していると、飽和フラグｆに１が設定される。このステップでは、画素位置（ｘ，ｙ）の画像データについて、飽和フラグｆに１が設定されているか否かを判定する。
【００７７】
ステップＳ１０３における判定の結果、飽和フラグ１に１が設定されていた場合には、次に、（Ｒ、Ｇ，Ｂ）の色のクロスフィルタパターンの描画を行う（Ｓ１０５）。ここでは、飽和フラグ１が設定されていた画素位置（ｘ，ｙ）を中心としてその周辺に、光条を施す画像処理を行う。
【００７８】
クロスフィルタパターンの描画を行うと、またはステップＳ１０３における判定の結果、（Ｒ，Ｇ，Ｂ，ｆ）のｆ＝１でなかった場合には、次に、ステップＳ８７と同様に、画素の位置を表わすｘをインクリメントする（Ｓ１０７）。ｘのインクリメントを行うと、次に、ステップＳ８９と同様に、ｘ＞最大座標であるか否かを判定する（Ｓ１０９）。この判定の結果、ｘ＞最大座標でなかった場合には、ステップＳ１０３に戻り、インクリメントしたｘの座標位置の画素の画像データに対して前述の処理を繰り返す。
【００７９】
一方、ステップＳ１０９における判定の結果、ｘ＞最大座標であった場合には、ステップＳ９１と同様に、画素の位置を表わすｙをインクリメントする（Ｓ１１１）。ｙのインクリメントを行うと、次に、ステップＳ９３と同様に、画素の位置を表わすｘに１を設定する（Ｓ１１３）。
【００８０】
続いて、ステップＳ９５と同様に、ｙ＞最大座標であるか否かを判定する（Ｓ１１５）。この判定の結果、ｙ＞最大座標でなかった場合には、ステップＳ１０３に戻り、インクリメントしたｙ座標について、ｘ＝１から順次、前述の処理を繰り返す。一方、ステップＳ１１５における判定の結果、ｙ＞最大座標であった場合には、元のフローに戻る。
【００８１】
このように、本実施形態におけるライブビュー動作のフローにおいて、クロスフィルタモード設定時には、ライブビュー表示を行うためのフレーム画像を取得するたびに、効果付与領域を決定し、この決定された効果付与領域内で輝点検出（飽和点検出）を行い、この検出された輝点（飽和点）に対してクロスフィルタを装着したと同様の効果を与える画像処理（Ｓ１０５参照）を行っている。このクロスフィルタ処理の施された画像は、ライブビュー表示として表示部１１５に表示される。このため、撮影者は、クロスフィルタ処理が施された画像を容易に確認することができる。
【００８２】
次に、本実施形態におけるライブビュー動作の変形例について、図９を用いて説明する。図５ないし図８を用いて説明した本発明の一実施形態に係わるライブビュー動作では、１フレームの画像を取得するたびに、飽和点を検出し、この検出した飽和点の画像データに対して光条を表現するためのクロスフィルタ処理を施していた。このクロスフィルタ処理を行う領域を広くとると、処理に要する時間が長くなり、１フレームごとに処理することが困難となる。そこで、本変形例においては、数フレームごとにクロスフィルタ処理を行い、処理時間の短縮を図っている。
【００８３】
本変形例に係わるライブビュー動作のフローは、図５のライブビュー動作と比較し、ステップＳ４８〜Ｓ５０、Ｓ５５、およびＳ５７が追加されているだけであるので、この追加部分を中心に説明する。
【００８４】
本変形例のライブビュー動作のフローに入り、クロスフィルタモードが設定されていた場合には（Ｓ４１Ｙｅｓ）、乱数を発生し（Ｓ４３）、効果付与領域を決定する（Ｓ４３）。続いて、クロスフィルタ画像生成処理を行う（Ｓ４８）。今、取得したライブビュー表示用のフレーム画像２０３（図１４（ａ）参照）とすると、ステップＳ４８において、このフレーム画像２０３とは別画像で、画像合成用クロスフィルタ画像２０１を生成する。この画像合成用クロスフィルタ画像２０１は、ライブビュー表示用のフレーム画像に基づいて、ステップＳ４５において決定した効果付与領域の領域に光条２０１ａを生成し、この光条２０１ａのみを抽出した画像である。
【００８５】
ステップＳ４８において、クロスフィルタ画像を生成すると、次に、効果付与フラグとしてＮを設定する（Ｓ４９）。効果付与フラグは、何フレームごとにクロスフィルタによる効果を付与するかを示す自然数Ｎである。Ｎ回目の取得画像にクロスフィルタ処理を実行する。
【００８６】
効果付与フラグを設定すると、次に、クロスフィルタ画像合成処理を行う（Ｓ５０）。ここでは、図１４（ｂ）に示すように、ステップＳ４８において生成した画像合成用クロスフィルタ画像２０１に、ライブビュー表示用のフレーム画像２０３を合成し、表示用の合成画像２０５を生成する。
【００８７】
クロスフィルタ画像合成処理を行うと、次に、表示を行い（Ｓ５１）、次のフレーム画像の取得が完了したか否かを判定する（Ｓ５３）。この判定の結果、次のフレーム画像の取得が完了していなかった場合には、ステップＳ５１に戻る。
【００８８】
一方、ステップＳ５３における判定の結果、次のフレーム画像の取得が完了した場合には、効果フラグから１を減算し、この減算値を効果付与フラグとする（Ｓ５５）。続いて、この効果付与フラグが０か否かの判定を行う（Ｓ５７）。この判定の結果、効果フラグが０でなかった場合には、ステップＳ５０に戻る。したがって、効果付与フラグが０になるまでは、ステップＳ４８において新たにクロスフィルタ画像を生成することなく、同じクロスフィルタ画像を、新たに取得したライブビュー表示用のフレーム画像と合成し、表示用合成画像を生成し、ライブビュー表示する。
【００８９】
ステップＳ５７における判定の結果、効果付与フラグが０となると、ステップＳ４１に戻る。このため、クロスフィルタモードが設定されていれば、新たな画像合成用クロスフィルタ画像を生成し、前述の処理を繰り返す。
【００９０】
このように、本変形例においては、所定フレーム（ここではＮフレーム）毎に、画像合成用クロスフィルタ画像を生成しており、クロスフィルタ処理がＮフレーム分ほど、長くかかっても、ライブビューのフレームレートを落とさずに済む。
【００９１】
次に、ステップＳ１７において開始し、ステップＳ２１において停止する動画撮影において、クロスフィルタモードが設定されているときのクロスフィルタ動画撮影の詳細について、図１０を用いて説明する。クロスフィルタ動画撮影のフローに入ると、まず、ステップＳ４１と同様に、クロスフィルタモードに設定されているか否かを判定する（Ｓ１２１）。
【００９２】
ステップＳ１２１における判定の結果、クロスフィルタモードが設定されていた場合には、図９のステップＳ４３〜Ｓ５７と同様の処理を行う。すなわち、ステップＳ４３と同様に、乱数を発生し（Ｓ１２３）、この乱数に基づいて、ステップＳ４５と同様に、効果付与領域を決定する（Ｓ１２５）。
【００９３】
効果付与領域を決定すると、次に、ステップＳ４８と同様に、クロスフィルタ画像生成処理を行う（Ｓ１２７）。ここでは、図１４（ａ）に示すように、フレーム画像２０３とは別画像で、画像合成用クロスフィルタ画像２０１を生成する。ただし、ライブビュー動作時には、ライブビュー表示用の画素数の画像データを用いていたが、動画撮影の際には、外部メモリ１１４に記録するレベルの画素数のフレーム画像２０３と画像合成用クロスフィルタ画像２０１を処理する。
【００９４】
画像合成用クロスフィルタ画像を生成すると、次に、ステップＳ４９と同様に、効果付与フラグにＮを設定し（Ｓ１２９）、ステップＳ５０と同様に、クロスフィルタ画像合成処理を行う（Ｓ１３１）。
【００９５】
ステップＳ１２１における判定の結果、クロスフィルタモードが設定されていなかった場合、またはステップＳ１３１においてクロスフィルタ画像合成処理を行うと、次に、表示を行う（Ｓ１４１）。ここでは、クロスフィルタ処理された動画撮影中の記録用画像データを、表示用画像データに変換して、表示部１１５に表示する。また、この表示と並行して、クロスフィルタ処理された画像データを、圧縮処理した後、外部メモリ１１４に記録する。なお、クロスフィルタモードが設定されていない場合には、通常の撮影画像の表示と、記録を行う。
【００９６】
表示を行うと、次に、ステップＳ５３と同様に、次のフレームの取得が完了した否かを判定する（Ｓ１４３）。この判定の結果、取得が完了していなければ、ステップＳ１４１に戻る。一方、次のフレームの取得が完了した場合には、次に、ステップＳ５５と同様に、効果フラグから１を減算し、この減算値を効果付与フラグとし（Ｓ１４５）、この効果付与フラグが０か否かの判定を行う（Ｓ１４７）。この効果フラグが０でなければ、ステップＳ１３１に戻る。したがって、効果付与フラグが０になるまでは、ステップＳ１２７において新たにクロスフィルタ画像を生成することなく、同じクロスフィルタ画像を、新たに取得した記録用の撮影画像のフレーム画像と合成し、記録用合成画像を生成し、外部メモリ１１４に記録する。また、クロスフィルタ処理された撮影画像を、表示用に変換し、表示部１１５に表示する。
【００９７】
一方、ステップＳ１４７における判定の結果、効果付与フラグが０となると、ステップＳ１２１に戻る。このため、クロスフィルタモードが設定されていれば、新たな画像合成用クロスフィルタ画像を生成し、動画の撮影を続行する。
【００９８】
このように、本実施形態におけるクロスフィルタ動画撮影では、図９を用いて説明したライブビュー動作とほぼ同様の処理を行うことにより、クロスフィルタ処理を施した動画を表示すると共に記録することができる。特に動画撮影の場合には、記録する画像データの容量が大きくなり、処理時間もかかることから、所定フレーム毎にクロスフィルタ処理を行うことにより、処理時間の短縮を図ることができる。
【００９９】
次に、本実施形態におけるクロスフィルタ動画撮影の第１の変形例を図１１および図１２を用いて説明する。本実施形態においては、クロスフィルタ動画撮影時のクロスフィルタ処理では、一律の光条を追加する画像処理であった。本変形例においては、クロスフィルタ処理にあたって、乱数を発生させ、この乱数によってランダムな変化を与えるようにしている。
【０１００】
図１１に示す本変形例におけるクロスフィルタ動画撮影のフローは、図１０に示した本発明の一実施形態におけるクロスフィルタ動画撮影のフローに対して、ステップＳ１２６を追加しただけであり、他のステップは一実施形態と同様である。ステップＳ１２６は、ステップＳ１２５において決定した効果付与領域に対するクロスフィルタ処理の演出効果を設定する。この演出効果設定の詳細について、図１２を用いて説明する。
【０１０１】
演出効果設定のフローに入ると、まず、乱数を発生させ（Ｓ１５１）、続いて、発生した乱数に応じて光条の本数を設定する（Ｓ１５３）。光条の数としては、例えば、４本、６本、８本等、発生させた乱数に近い本数を設定する。
【０１０２】
光条の本数を設定すると、再び、乱数を発生させ（Ｓ１５５）、続いて、光条の長さを設定する（Ｓ１５７）。光条の長さとしては、例えば、ショート（＝４）、ミドル（＝６）、ロング（＝８）の内、発生させた乱数が近い長さを設定する。なお、括弧内の数値は乱数の値である。
【０１０３】
光条の長さを設定すると、再び乱数を発生させ（Ｓ１５９）、続いて、光条角度を設定する（Ｓ１６１）。光条角度としては、例えば、０度（＝４）、３０度（＝６）、４５度（＝８）の内、発生させた乱数が近い角度を設定する。なお、括弧内の数値は乱数の値である。
【０１０４】
光条角度を設定すると、再び、乱数を発生させ、光条色を設定する（Ｓ１６５）。光条色としては、例えば、赤（＝４）、緑（＝６）、青（＝８）の内、発生させた乱数が近い色を設定する。なお、括弧内の数値は乱数の値である。光条色を設定すると、元のフローに戻る。
【０１０５】
このように、本変形例においては、光条の本数や、長さ、角度、色等について、クロスフィルタ処理を行うたびに異なるようにしている。このため、変化に富んだクロスフィルタ処理が施され、興味をそそる画像となる。なお、本変形例においては、乱数を発生させ、この乱数に応じて演出を設定していたが、これに限らず、数フレームに亘って所定のプログラムされた変化を与えるようにしても勿論かまわない。また、光条の変化も、例示したものに限らず、またその一部であっても構わない。
【０１０６】
次に、本実施形態におけるクロスフィルタ動画撮影の第２の変形例を図１３および図１５を用いて説明する。一実施形態や第１変形例においては、効果付与フラグＮフレーム間隔で、画像合成用クロスフィルタ画像を生成していた。この処理は、モーションＪＰＥＧに最適なクロスフィルタ処理であるが、ＭＰＥＧを採用する場合には、キーフレームのみにクロスフィルタ処理による効果を付するようにしてもよい。キーフレームは通常２秒おきに現われるので、処理時間を十分にとることができ、このため、効果付与領域としては、前述の実施例や変形例よりも広くとることが可能となる。
【０１０７】
本変形例は、図１１に示した第１変形例のフローチャートにおいて、ステップＳ１２９における効果付与フラグの設定と、ステップＳ１４５における効果付与フラグから１を減算するステップを省略し、ステップＳ１４７における判定をキーフレームか否かの判定に変更した以外は、同様である。図１１のフローと同一の処理を行うステップについては、同一のステップ番号を付し、相違点を中心に説明する。
【０１０８】
ステップＳ１２１における判定の結果、クロスフィルタモードが設定されていた場合には、乱数を発生させ（Ｓ１２３）、この乱数に応じて効果付与領域の決定を行い（１２５）、演出効果を設定し（Ｓ１２６）、この設定された演出効果に従って、クロスフィルタ画像の生成処理を行う（Ｓ１２７）。ここでは、図１５（ａ）に示すように、フレーム画像２０３とは別に、クロスフィルタ処理に用いる画像合成用クロスフィルタ画像２０１を生成する。
【０１０９】
ステップＳ１２７においてクロスフィルタ画像の生成処理を行うと、第１変形例では、次に効果付与フラグの設定を行っていたが、本変形例では効果付与フラグを使用しないことからのこの設定を省略し、次に、クロスフィルタ画像合成処理を行う（Ｓ１３１）。ここでは、図１５（ｂ）に示すように、フレーム画像２０３に画像合成用クロスフィルタ画像２０１を合成し、合成画像２０５を生成する。
【０１１０】
クロスフィルタ画像合成処理を行うと、次に、表示と記録を行い（Ｓ１４１）、次のフレームの取得が完了したか否かを判定する（Ｓ１４３）。この判定の結果、次のフレームの取得が完了していない場合には、ステップＳ１４１に戻り、表示を続行する。
【０１１１】
一方、ステップＳ１４３における判定の結果、次のフレームの取得が完了すると、キーフレームか否かの判定を行う（Ｓ１４８）。前述したようにＭＰＥＧでは、所定時間間隔でキーフレームが現われる。このステップでは、現在、取得したフレームがキーフレームか否かを判定する。
【０１１２】
ステップＳ１４８における判定の結果、キーフレームでない場合には、ステップＳ１４１に戻り、ステップＳ１２７において新たにクロスフィルタ画像を生成することなく、同じクロスフィルタ画像を、新たに取得した記録用の撮影画像のフレーム画像と合成し、記録用合成画像を生成し、外部メモリ１１４に記録する。また、クロスフィルタ処理された撮影画像を、表示用に変換し、表示部１１５に表示する。
【０１１３】
一方、ステップＳ１４８における判定の結果、キーフレームであった場合には、ステップＳ１２１に戻る。ステップＳ１２１に戻り、クロスフィルタモードが設定されていれば、新たな画像合成用クロスフィルタ画像を生成し、動画の撮影を続行する。
【０１１４】
本変形例においては、図１５（ｃ）に示すように、所定時間間隔でキーフレームが現われ、キーフレームに対してのみ、合成画像２０５が表示・記録され、その間はフレーム画像２０３のみが表示・記録される。
【０１１５】
このように、本発明の第２変形例においては、キーフレームを巧みに活用し、キーフレームに対してクロスフィルタ処理を施すようにしている。このため、効果付与フラグの管理が不要になる。
【０１１６】
以上説明したように、本発明の一実施形態やその変形例においては、撮像素子１０７からの画像データに対して、輝点検出領域を設定し（Ｓ４５）、この輝点検出領域内の輝点を検出し（Ｓ６１）、この検出された輝点の輝点位置において輝点処理を行い（Ｓ６３）、輝点処理された画像を表示や記録を行っている（Ｓ５１、Ｓ１４１）。このように撮像素子１０７の撮像領域の全てについて輝点処理を行うのではなく、輝点検出領域内の輝点に対して輝点処理を行うようにしている。このため、ライブビュー表示や動画に相応しいクロスフィルタ処理が可能となる。
【０１１７】
なお、本発明の一実施形態や変形例においては、効果付与領域（輝点検出領域）の設定にあたって、撮像領域を２４のエリアに分割し、その中から４エリアを設定するようにしていたが、撮像領域の分割数や、また効果付与領域のエリア数は、適宜変更しても構わない。縦横に最小限サイズ以上に効果付与領域を設定すればよい。また、そのエリアの大きさは、一定であったが、フレーム毎に変更しても構わない。また、本発明の一実施形態や変形例においては、効果付与領域（輝点検出領域）の設定は、乱数を発生させランダムに設定したが、輝点領域を順番に選択するようにしても構わない。
【０１１８】
また、本発明の一実施形態や変形例においては、設定された効果付与領域（輝点検出領域）で処理する輝点の数を制限しなかったが、処理する輝点の数を制限するようにしてもよい。輝点の数を制限することにより、処理時間が長時間になることを防止することができる。
【０１１９】
また、本発明の一実施形態においては、輝点処理として高輝度の中心に光のスジを追加するクロスフィルタ処理を施した。しかしながら、輝点を検出した場合に、クロスフィルタ処理以外にも輝点周辺を円形に飽和（白く）させたり、また星型に飽和させたり等、他の輝点処理を施すようにしても構わない。
【０１２０】
また、本発明の一実施形態や変形例においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない。
【０１２１】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【０１２２】
１０・・・カメラ本体、２０・・・交換レンズ、１００・・・デジタルカメラ、１０１・・・撮影レンズ、１０２・・・レンズ制御部、１０３・・・絞り機構、１０４・・・絞り制御部、１０５・・・シャッタ、１０６・・・シャッタ制御部、１０７・・・撮像素子、１０８・・・撮像制御部、１０９・・・Ａ／Ｄ変換部、１１０・・・メモリ、１１１・・・画像処理部、１１２・・・露出制御部、１１３・・・ＡＦ処理部、１１４・・・外部メモリ、１１５・・・表示部、１１５ａ・・・液晶モニタ、１１６・・・システム制御部、１１７・・・操作部、１１７ａ・・・電源釦、１１７ｂ・・・レリーズ釦、１１７ｃ・・・撮影モードダイヤル、１１７ｄ・・・動画釦、１１７ｅ・・・ファンクション釦、１１７ｆ・・・十字釦、１１７ｇ・・・ＯＫ釦、１１８・・・不揮発性メモリ、１１９・・・電源部、１２０・・・電源制御部、１２１・・・フラッシュ制御部、１２２・・・フラッシュ充電部、１２３・・・フラッシュ発光部、２０１・・・画像合成用クロスフィルタ画像、２０１ａ・・・光条、２０３・・・フレーム画像、２０５・・・合成画像
【技術分野】
【０００１】
本発明は、クロスフィルタと類似の特殊効果を施すことが可能な撮像装置および撮像方法に関する。
【背景技術】
【０００２】
従来より、静止画撮影の際に、光学フィルタであるクロスフィルタを装着し、特殊効果を施す手法が知られている。また、近年、デジタルカメラ等の撮像装置において、静止画撮影を行う際に、クロスフィルタを装着して撮影する代わりに、画像処理によりクロスフィルタと類似の特殊効果を施すことが提案されている。
【０００３】
例えば、特許文献１には、静止画撮影された画像の中から輝度の高い部分を抽出し、高輝度の中心に光のスジ（以下、光条という）を画像処理によって施し、クロスフィルタと類似の特殊効果を達成する可能な電子スチルカメラが開示されている。この電子スチルカメラによれば、光学クロスフィルタを装着することなく、電気的なスイッチによりデジタル処理だけで手軽に光条効果を得ることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平６−３０３７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
近年のデジタルカメラでは、液晶モニタ等の表示部に動画で被写体像を表示するライブビュー表示を行い、撮影者はライブビュー表示を確認しながら静止画や動画の撮影を行うのが一般的となっている。このライブビュー表示においても、前述のクロスフィルタと類似の特殊効果を付与する画像処理ができると便利である。しかしながら、動画であるライブビュー表示を行う際に、クロスフィルタ効果を与える画像処理を行うのは、困難であった。
【０００６】
すなわち、クロスフィルタ効果を与えるためには、画像全体をスキャンして輝点を探し出し、探し出した輝点の輝度や色に応じてクロス画像を描写しなければならず、これらの一連の処理を行うには、非常に時間がかかってしまう。特に、（１）対象画像が大きければ大きい程、輝点を探すための時間が増加し、（２）クロスフィルタの光条の数が多い程、また長さが長い程、処理時間が増加する。さらに、（３）被写体の輝点数が多い程、処理時間が増加し、また処理時間が変動してしまう。
【０００７】
従来のように静止画を撮影し、記録済みの静止画を編集処理するのであれば、クロスフィルタ効果を与えるための画像処理は可能である。しかし、ライブビュー表示や、動画撮影のように、所定のフレームレート、例えば、３０ｆｐｓ（frame-per-second）程度の高速で動画処理される場合には、クロスフィルタ効果を与えるための画像処理は、前述の（１）〜（３）のため処理負担が大きく、現実にはクロスフィルタ効果を与えることは困難であった。また、前述の（３）のため、通常のライブビュー表示や動画撮影において、撮影方向を変化させると、処理時間の変動に伴い、フレームレートが変動してしまい、不自然なライブビュー表示や動画表現になってしまった。
【０００８】
本発明は、このような事情を鑑みてなされたものであり、ライブビュー表示や動画に相応しいクロスフィルタ処理が可能な撮像装置および撮像方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため第１の発明に係わる撮像装置は、被写体像を電気信号に変換しライブビューで画像データを出力する撮像部と、上記画像データに対して、輝点検出領域を設定する輝点領域設定部と、上記輝点領域設定部によって設定された上記輝点検出領域内の輝点を検出する輝点検出部と、上記輝点検出部によって検出された上記輝点の輝点位置において輝点処理を行う輝点処理部と、上記輝点処理部によって輝点処理された画像を表示用または記録用に出力する画像出力部と、を有する。
【００１０】
第２の発明に係わる撮像装置は、上記第１の発明において、上記輝点領域設定部は、ランダムな位置または大きさに切換えて上記輝点領域を設定する。
第３の発明に係わる撮像装置は、上記第１の発明において、上記輝点領域設定部は、縦横に最小限のサイズ以上に上記輝点領域を設定する。
第４の発明に係わる撮像装置は、上記第１の発明において、上記輝点領域設定部は、予め設定した上記輝点領域を順番に設定する。
【００１１】
第５の発明に係わる撮像装置は、上記第１の発明において、上記輝点処理部における輝点処理は、クロスフィルタ処理である。
第６の発明に係わる撮像装置は、上記第１の発明において、上記輝点処理部は、連続するフレームの輝点処理の際に、少なくとも一部の明るさ、クロスの長さ、色、大きさの何れかのサイズを変える。
【００１２】
第７の発明に係わる撮像装置は、上記第１の発明において、上記輝点領域設定部は、上記輝点領域の設定にあたって、複数フレームで同一の領域を含む領域を少なくとも一度は設定する。
第８の発明に係わる撮像装置は、上記第１の発明において、上記輝点処理部は、設定された輝点領域内で処理する輝点の数を限定する。
【００１３】
第９の発明に係わる撮像装置は、上記第１の発明において、上記輝点処理部は、上記撮像部から出力される画像データの内、所定フレーム毎に上記輝点処理を行う。
第１０の発明に係わる撮像装置は、上記第９の発明において、上記輝点処理部は、上記所定フレーム毎に上記輝点処理を行う際には、取得フレームとは別個にクロスフィルタ画像を生成し、この生成したクロスフィルタ画像に取得フレームの画像を合成した合成画像を出力し、上記所定フレームに当たらないフレームの際には、上記取得フレームによる画像を出力する。
【００１４】
第１１の発明に係わる撮像方法は、被写体像を電気信号に変換しライブビューで画像データを出力し、上記画像データに対して、輝点検出領域を設定し、上記設定された上記輝点検出領域内の輝点を検出し、上記検出された輝点の輝点位置において輝点処理を行い、上記輝点処理された画像を表示用または記録用に出力する。
【発明の効果】
【００１５】
本発明によれば、ライブビュー表示や動画に相応しいクロスフィルタ処理が可能な撮像装置および撮像方法を提供することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態に係わるカメラの主として電気的構成を示すブロック図である。
【図２】本発明の一実施形態に係わるカメラの背面側から見た外観斜視図である。
【図３】本発明の一実施形態に係わるカメラにおいて、クロスフィルタ効果を与える領域を説明する図である。
【図４】本発明の一実施形態に係わるカメラのメイン動作を示すフローチャートである。
【図５】本発明の一実施形態に係わるカメラのライブビュー動作を示すフローチャートである。
【図６】本発明の一実施形態に係わるカメラのクロスフィルタ処理の動作を示すフローチャートである。
【図７】本発明の一実施形態に係わるカメラの飽和点検出処理の動作を示すフローチャートである。
【図８】本発明の一実施形態に係わるカメラのクロスフィルタ描画処理の動作を示すフローチャートである。
【図９】本発明の一実施形態に係わるカメラのライブビュー動作の変形例を示すフローチャートである。
【図１０】本発明の一実施形態に係わるカメラのクロスフィルタ動画撮影の動作を示すフローチャートである。
【図１１】本発明の一実施形態に係わるカメラのクロスフィルタ動画撮影の第１変形例の動作を示すフローチャートである。
【図１２】本発明の一実施形態に係わるカメラのクロスフィルタ動画撮影の第１変形例における演出効果設定の動作を示すフローチャートである。
【図１３】本発明の一実施形態に係わるカメラのクロスフィルタ動画撮影の第２の変形例の動作を示すフローチャートである。
【図１４】本発明の一実施形態に係わるカメラのクロスフィルタでの画像を説明する図である。
【図１５】本発明の一実施形態に係わるカメラのクロスフィルタ動画撮影の第２の変形例における画像を説明する図である。
【発明を実施するための形態】
【００１７】
以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。本発明の好ましい一実施形態に係わるカメラは、デジタルカメラであり、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体の背面等に配置した表示部にライブビュー表示する。撮影者はライブビュー表示を観察することにより、構図やシャッタチャンスを決定する。レリーズ操作時には、画像データが記録媒体に記録される。記録媒体に記録された画像データは、再生モードを選択すると、表示部に再生表示することができる。また、クロスフィルタモードを設定すると、クロスフィルタ処理が施されたライブビュー表示がなされ、また、動作撮影の際には、クロスフィルタ処理が施された画像データが記録される。
【００１８】
図１は、本発明の一実施形態に係わるカメラ１００の主として電気的構成を示すブロック図である。撮影レンズ１０１の光軸上に、絞り機構１０３、シャッタ１０５および撮像素子１０７が配置されている。撮像素子１０７の出力はＡ／Ｄ変換部１０９に接続され、Ａ／Ｄ変換部１０９の出力はメモリ１１０に接続されている。メモリ１１０は画像処理部１１１とシステム制御部１１６に接続されている。システム制御部１１６には、撮像制御部１０８、シャッタ制御部１０６、絞り制御部１０４、レンズ制御部１０２、露出制御部１１２、ＡＦ処理部１１３、フラッシュ制御部１２１、不揮発性メモリ１１８、外部メモリ１１４、表示部１１５、操作部１１７、電源制御部１２０がそれぞれ接続されている。上述の撮像制御部１０８は撮像素子１０７に接続されており、シャッタ制御部１０６はシャッタ１０５に接続されており、絞り制御部１０４は絞り１０３に接続されており、レンズ制御部１０２は撮影レンズ１０１に接続されている。また、電源制御部１２０は電源部１１９に接続されており、フラッシュ制御部１２１はフラッシュ充電部１２２とフラッシュ発光部１２３にそれぞれ接続されている。
【００１９】
撮影レンズ１０１は、被写体光束を撮像素子１０７に集光させ、被写体像を結像させるための光学系である。この撮影レンズ１０１は、システム制御部１１６からの指示に応じて動作するレンズ制御部１０２により光軸方向に移動され、焦点状態が変化する。絞り機構１０３は、撮影レンズ１０１を介して撮像素子１０７に入射する被写体光束の入射量を調節する。絞り機構１０３は、システム制御部１１６からの指示に応じて動作する絞り制御部１０４により開口量が制御される。
【００２０】
シャッタ１０５は、撮影レンズ１０１によって形成される被写体像の光束の開閉を行うものであり、公知のレンズシャッタやフォーカルプレーンシャッタ等によって構成される。シャッタ１０５は、システム制御部１１６からの指示に応じて動作するシャッタ制御部１０６によりシャッタ開口時間（シャッタ速度値）が制御される。
【００２１】
撮像部として機能する撮像素子１０７は、ＣＭＯＳイメージセンサやＣＣＤイメージセンサ等の二次元撮像センサであり、前面に配置されたベイヤ―配列のカラーフィルタと、このカラーフィルタに対応して配列されたフォトダイオード等の光電変換素子から構成される。各カラーフィルタとこれに対応する各光電変換素子から構成される画素群によって撮像領域が構成される。撮像素子１０７は、撮影レンズ１０１により集光された光を各画素で受光し光電流に変換し、この光電流をコンデンサに蓄積し、アナログ電圧信号（画像信号）としてＡ／Ｄ変換部１０９に出力する。撮像制御部１０８は、システム制御部１１６からの指示に応じて撮像素子１０７の動作制御を行う。
【００２２】
Ａ／Ｄ変換部１０９は、撮像素子１０７から出力されるアナログ電圧信号（画像信号）をデジタル画像信号（画像データ）に変換する。メモリ１１０は、Ａ／Ｄ変換部１０９において得られた画像データや、画像処理部１１１において処理された画像データ等、各種データを一時的に記憶する記憶部である。なお、本明細書においては、撮像素子１０７から出力される画像信号に基づく信号であれば、Ａ／Ｄ変換部１０９によってＡ／Ｄ変換された信号のみならず画像処理された信号も含めて画像データと称する場合がある。
【００２３】
画像処理部１１１は、メモリ１１０に一時記憶された画像データを読み出し、この画像データに対して、ホワイトバランス補正処理、同時化処理、色変換処理等の画像処理を行う。また、画像処理部１１１は、後述する外部メモリ１１４に記録する際に画像圧縮を行い、また外部メモリ１１４から読み出した圧縮された画像データの伸張を行う。
【００２４】
露出制御部１１２はメモリ１１０に一時記憶された画像データを用いて被写体輝度（被写体を含むシーンの明るさ）を算出する。なお、専用の測光センサを用いて被写体輝度を算出するようにしても勿論かまわない。
【００２５】
ＡＦ（Auto Focus）処理部１１３は、メモリ１１０に一時記憶された画像データから高周波成分の信号を抽出し、ＡＦ積算処理により合焦評価値を取得する。システム制御部１１６は、合焦評価値に基づいてレンズ制御部１０２を通じて、撮影レンズ１０１が合焦位置となるように駆動制御を行う。なお、ＡＦ処理部１１３は、ＴＴＬ位相差ＡＦセンサ等、専用のセンサを設け、この専用センサの出力に基づいて撮影レンズ１０１の焦点ずれ量を求めるようにしても勿論かまわない。露出制御部１１２およびＡＦ処理部１１３は、静止画撮影時と動画撮影時ではそれぞれの撮影モードに適した処理を行い、両者の処理は異なっている。
【００２６】
システム制御部１１６は、ＣＰＵ（Central Processing Unit：中央処理装置）等を含むＡＳＩＣ（Application Specific Circuit：特定用途向け集積回路）で構成され、撮像制御部１０８やフラッシュ制御部１２１等のカメラ１００の各種シーケンスを統括的に制御する。システム制御部１１６は、後述するように、撮像素子１０７からの画像データに対して輝点領域を設定する輝点領域設定部として機能する。また、設定された輝点領域内で、輝点を検出する輝点検出部として、また検出された輝点の輝点位置において輝点処理を行う輝点処理部として、また輝点処理された画像を表示用または記録用に出力する画像出力部としても機能する。
【００２７】
操作部１１７は、図２に示すような電源釦１１７ａ、レリーズ釦１１７ｂ、撮影モードダイヤル１１７ｃ、動画釦１１７ｄ、ファンクション釦１１７ｅ、十字釦１１７ｆ、ＯＫ釦１１７ｇ、メニュー釦、各種入力キー等の操作部材を含む。ユーザが操作部１１７のいずれかの操作部材を操作すると、システム制御部１１６は、ユーザの操作に応じた各種シーケンスを実行する。
【００２８】
操作部１１７の内の電源釦１１７ａはカメラ１００の電源のオンオフを指示するための操作部材であり、電源釦１１７ａが押されるとシステム制御部１１６は電源オンとし、再度押されると電源オフとする。レリーズ釦１１７ｂは、１ｓｔレリーズスイッチと２ｎｄレリーズスイッチの２段スイッチを有している。レリーズ釦１１７ｂが半押しされると１ｓｔレリーズスイッチがオンとなり、半押しから更に押し込まれ全押しされると２ｎｄレリーズスイッチがオンとなる。１ｓｔレリーズスイッチがオンとなると、システム制御部１１６は、ＡＥ処理やＡＦ処理等撮影準備シーケンスを実行する。また２ｎｄレリーズスイッチがオンとなると、システム制御部１１６は、静止画の撮影シーケンスを実行し、撮影を行う。
【００２９】
操作部１１７の内の動画釦１１７ｄは、動画撮影の開始と停止を指示する釦である。最初に動画釦１１７ｄを押下げると動画撮影を開始し、再度、動画釦１１７ｄを押下げると動画撮影を停止する。撮影モードダイヤル１１７ｃは、オートモード、絞り優先モード、シャッタ速度優先モード、ムービー撮影モード（動画撮影モード）、シーンモード、バルブ撮影モード等を設定するためのダイヤルである。
【００３０】
外部メモリ１１４は、例えば、カメラ本体に着脱自在に記憶媒体であり、画像処理部１１１において圧縮された画像データおよびその付随データが記録される。また、記憶された画像データは読み出され、表示部１１５に再生表示される。なお、画像データ等を記録するための記録媒体として、カメラ本体に着脱可能な外部メモリに限らず、カメラ本体に内蔵のハードディスク等の記録媒体であってもかまわない。
【００３１】
表示部１１５は、カメラ本体の背面等に配置された液晶モニタ１１５ａ（図２参照）等を含み、画像データに基づいてライブビュー表示を行う。また、表示部１１５は、外部メモリ１１４に記録された撮影画像の再生表示を行い、さらに露出制御値等の表示や撮影モード等設定のためのメニュー画面の表示を行う。このメニュー画面において、後述するクロスフィルタモードの設定を行う。メニュー画面以外にも、ファンクション釦１１７ｅ等の操作部材によって設定するようにしても構わない。なお、画像等を表示できるものであれば、液晶モニタに限らず、有機ＥＬ等のディスプレイでもよい。
【００３２】
不揮発性メモリ１１８は、電気的に書き換え可能な不揮発性メモリであり、カメラ１００の動作に必要な各種パラメータを記憶している。また、不揮発性メモリ１１８は、システム制御部１１６において実行するプログラムも記憶している。システム制御部１１６は、不揮発性メモリ１１８に記憶されているプログラムに従い、また不揮発性メモリ１１８に記憶されているパラメータを読み込み、各種シーケンスを実行する。
【００３３】
電源部１１９は、カメラ１００の各部の動作に必要な電力を供給し、例えば、２次電池等の電源電池で構成される。電源制御部１２０は、電源部１１９を構成する電池の電源電圧や残量の検出等、電源部１１９の制御を行う。
【００３４】
フラッシュ制御部１２１は、システム制御部１１６からの指示に応じてフラッシュ充電部１２２における充電動作、およびフラッシュ発光部１２３における発光動作を制御する。フラッシュ充電部１２２は、電源部１１９の電源電圧を昇圧する昇圧回路や、ここで昇圧された電圧でエネルギを蓄積するコンデンサを有し、フラッシュ発光部１２３の発光を行うに必要なエネルギを蓄積する。フラッシュ発光部１２３は、例えば、キセノン（Ｘｅ）管等の発光管や反射傘を備えており、フラッシュ制御部１２１から発光指示を受信した際に、フラッシュ充電部１２２のコンデンサに蓄積されたエネルギを利用して発光する。
【００３５】
次に、本実施形態に係わるカメラ１００の外観について、図２を用いて説明する。図２は、背面側からみたカメラ１００の外観図であり、カメラ本体１０に交換レンズ２０が装着されている。カメラ本体１０の上面には、電源釦１１７ａ、レリーズ釦１１７ｂ、撮影モードダイヤル１１７ｃが配置されている。
【００３６】
また、カメラ本体１０の背面には、液晶モニタ１１５ａが配置されており、これによって被写体像のライブビュー表示やメニュー画面表示、記録画像の再生表示等の各種表示を行う。カメラ本体１０の背面の右上側には、動画釦１１７ｄ、ファンクション釦１１７ｅが配置されており、また、これらの釦の下側には、十字釦１１７ｇとＯＫ釦１１７ｆが配置されている。十字釦１１７ｇは、液晶モニタ１１５ａに表示されるメニュー画面等において、カーソルを画面上で移動させ、ＯＫ釦１１７ｆを押下げるとカーソルによって選択された項目を確定させることができる。
【００３７】
次に、本実施形態におけるクロスフィルタ処理について、図３を用いて説明する。図３（ａ）は、撮像素子１０７の画素群を縦４・横６の２４のエリアに分割した様子を示す。本実施形態においては、１フレームごとにランダマイズ関数によって、乱数を発生させ、この乱数に基づいて、２４分割されたエリアを選択し、このエリアとこのエリアに隣接する全４エリアを効果付与領域（輝点処理を施す輝点検出領域）とし、その効果付与領域に対して輝点処理を施す。
【００３８】
例えば、図３（ｂ）は１フレーム目であり、ここでは、（１，１）、（１，２）、（２，１）、（２，２）の各エリアにクロスフィルタ処理等の輝点処理が施される。続く２フレーム目では、図３（ｃ）に示すように、（４，１）、（４，２）、（５，１）、（５，２）の各エリアにクロスフィルタ処理等の輝点処理が施される。続く３フレーム目では、図３（ｄ）に示すように、（３，２）、（３，３）、（４，２）、（４，３）の各エリアにクロスフィルタ処理等の輝点処理が施される。
【００３９】
４フレーム目では、図３（ｅ）に示すように、（２，３）、（２，４）、（３，３）、（３，４）の各エリアにクロスフィルタ処理等の輝点処理が施される。続く５フレーム目では、図３（ｆ）に示すように、（５，２）、（５，３）、（６，２）、（６，３）の各エリアにクロスフィルタ処理等の輝点処理が施される。続く６フレーム目では、図３（ｇ）に示すように、（１，３）、（１，４）、（２，３）、（２，４）の各エリアにクロスフィルタ処理等の輝点処理が施される。
【００４０】
７フレーム目では、図３（ｈ）に示すように、（２，１）、（２，２）、（３，１）、（３，２）の各エリアにクロスフィルタ処理等の輝点処理が施される。続く８フレーム目では、図３（ｉ）に示すように、（４，３）、（４，４）、（５，３）、（５，４）の各エリアにクロスフィルタ処理等の輝点処理が施される。続く９フレーム目では、図３（ｊ）に示すように、（５，１）、（５，２）、（６，１）、（６，２）の各エリアにクロスフィルタ処理等の輝点処理が施される。
【００４１】
１０フレーム目では、図３（ｋ）に示すように、（５，３）、（５，４）、（６，３）、（６，４）の各エリアにクロスフィルタ処理等の輝点処理が施される。本実施形態においては、１０フレーム目に効果を施すと、再度、１フレーム目に戻る。図３から分かるように、１フレーム目から１０フレームまで、エリア選択が一巡すると、全てのエリアでクロスフィルタ処理が実行される。これらのエリアの設定と輝点処理としてのクロスフィルタ処理は、システム制御部１１６によって実行される。
【００４２】
次に、本実施形態におけるカメラ１００の動作について、図４ないし図１３に示すフローチャートを用いて説明する。これらのフローは不揮発性メモリ１１８に記憶されているプログラムに従ってシステム制御部１１６によって実行される。図４に示すフローはメインルーチン動作である。このメインルーチンは、操作部１１７の電源釦１１７ａがオンとなると実行を開始する。
【００４３】
メインルーチンの動作が開始すると、まず、ライブビュー動作を行う（Ｓ１）。ライブビュー動作では、撮像素子１０７から出力される画像信号が、画像処理部１１１によってライブビュー表示用に画像処理され、この処理された画像データが表示部１１５の液晶モニタ１１５ａに表示される。撮影者はこのライブビュー表示を見て、静止画や動画の構図を決定し、シャッタタイミングを決める。また、クロスフィルタモード設定時に、ライブビュー表示を行う際には、図３を用いて説明したような効果付与領域（輝点検出領域）に対してクロスフィルタ処理を画像データに施し、表示を行う。ライブビュー動作の詳細については、図５を用いて後述する。
【００４４】
ライブビュー動作を行うと、次に、操作部１１７のレリーズ釦１１７ｂが半押しされたか、すなわち、１ｓｔレリーズスイッチがオンか否かの判定を行う（Ｓ３）。この判定の結果、１ｓｔレリーズスイッチがオンとなると、ＡＦ処理を実行する（Ｓ５）。このステップでは、システム制御部１１６は、ＡＦ処理部１１３によって得られる合焦評価値に基づいて、撮像素子１０７上に結像される被写体像が最も鮮明になるように、言い換えると合焦状態となるように、レンズ制御部１０２を介して撮影レンズ１０１の焦点状態を制御する。
【００４５】
ＡＦ処理を行うと、続いて、測光を行い（Ｓ７）、露出演算を行う（Ｓ９）。これらのステップにおいて、露出制御部１１２は被写体輝度の算出を行い、システム制御部１１６は算出された被写体輝度を用いて絞り値とシャッタ速度等の露出制御値を求める。絞り値とシャッタ速度の算出にあたっては、アペックス演算またはテーブル参照により決定する。
【００４６】
ステップＳ９において露出演算を行うと、または、ステップＳ３における判定の結果、１ｓｔレリーズがオンでなかった場合には、次に、動画釦１１７ｄに連動してオンオフする動画スイッチがオフからオンに変化したか否かの判定を行う（Ｓ１１）。ここでは、操作部１１７の動画釦１１７ｄの状態に基づいて判定する。
【００４７】
ステップＳ１１における判定の結果、動画スイッチがオフからオンに変化した場合には、次に、動画撮影のフラグが０、静止画撮影のフラグがｘであるか否かを判定する（Ｓ１３）。ここで、動画フラグの０は動画撮影が停止状態にあることを示し、動画フラグの１は動画撮影が続行中であることを示す。また、静止画撮影フラグの１は静止画撮影中であることを示し、静止画撮影フラグの０は静止画撮影終了であることを示す。動画撮影または静止画撮影のフラグのｘは、任意状態、すなわち、いずれの状態であってもよく、それまでの状態を示すフラグが保持される。なお、カメラ１００のリセット時に、動画撮影のフラグおよび静止画撮影のフラグは、共に０にリセットされる。
【００４８】
ステップＳ１３における判定の結果、動画撮影フラグが０、すなわち動画撮影が停止状態にあった場合には、動画撮影フラグを１とし、静止画撮影フラグをｘとする（Ｓ１５）。ここで、ｘとするとは、フラグに変更をかけずに、保持することを意味する。このフラグ設定を行うと、動画の撮影を開始する（Ｓ１７）。ここでは、撮像素子１０７によって取得した画像データを画像処理部１１１によって動画処理した後、外部メモリ１１４に記録する。また、同時に表示部１１５にライブビュー表示を行う。なお、クロスフィルタモードの設定時に、動画撮影を行う場合には、図３を用いて説明したようなクロスフィルタ処理を記録用の画像データに施し、記録する。このクロスフィルタモード設定時の動画撮影の詳細については、図１０を用いて後述する。
【００４９】
一方、ステップＳ１３における判定の結果、動画撮影フラグ１、すなわち動画撮影中であった場合には、動画撮影フラグを０とし、静止画撮影フラグをｘとする（Ｓ１９）。動画撮影中にステップＳ１１において、動画釦１１７ｄが押下げられたことを検出したことから、このステップでは動画撮影停止のためのフラグ処理を行う。このフラグ設定を行うと、動画の撮影を停止する（Ｓ２１）。ここでは、動画の画像データの記録動作を終了するための処理を行う。
【００５０】
ステップＳ１７において動画の撮影を開始すると、またはステップＳ２１において動画の撮影を停止すると、次に、静止画が撮影終了であるか否かを判定する（Ｓ２３）。後述するステップＳ２７において２ｎｄレリーズがオンすると、静止画撮影が開始し、静止画の画像データを外部メモリ１１４に記録すると静止画撮影が終了する。そこで、このステップでは、これらの一連の動作中であるか否かに基づいて判定する。
【００５１】
ステップＳ２３における判定の結果、静止画撮影が終了していれば、次に、動画撮影フラグをｘとし、静止画撮影フラグを０とする（Ｓ２５）。このフラグ設定を行うと、次に、２ｎｄレリーズがオンか否かを判定する（Ｓ２７）。ここでは、操作部１１７のレリーズ釦１１７ｂが全押しされたか否かを判定する。
【００５２】
ステップＳ２７における判定の結果、２ｎｄレリーズがオンであった場合には、次に、動画撮影フラグをｘとし、静止画撮影フラグを１とする（Ｓ２９）。そして、静止画撮影を実行する（Ｓ３１）。ここでは、撮像素子１０７によって取得した画像データを画像処理部１１１によって静止画処理した後、外部メモリ１１４に記録する。
【００５３】
静止画撮影を行うと、次に、動画撮影フラグが０、静止画撮影フラグが０であるか否かを判定する（Ｓ３３）。ここでは、動画撮影中でもなく静止画撮影中でもないか否かを判定する。この判定の結果、Ｙｅｓの場合、すなわち、動画撮影も終了し、また静止画撮影も終了している場合には、ステップＳ１に戻る。
【００５４】
ステップＳ３３における判定の結果、Ｎｏであった場合、すなわち、動画撮影中であるか又は静止画撮影中であった場合には、次に、動画撮影フラグが１、静止画撮影フラグが０であるか否かを判定する（Ｓ３５）。ここでは、動画撮影中であるが静止画撮影中ではないかを判定する。
【００５５】
ステップＳ３５における判定の結果、Ｙｅｓであった場合、すなわち、静止画撮影が終了し、動画撮影が行われている場合には、ステップＳ３に戻り、動画撮影を続行する。一方、ステップＳ３５における判定の結果、Ｎｏであった場合、すなわち、動画撮影は終了しているが、静止画撮影が終了していない場合には、ステップＳ１１に戻り、静止画撮影を続行する。
【００５６】
このように、本実施形態におけるメインフローにおいては、ライブビュー表示を行うと共に、動画釦１１７ｄが操作されるたびに動画撮影の開始と停止を交互に実行し、またレリーズ釦１１７ｂの全押しに応じて静止画撮影を実行する。クロスフィルタモードが設定されている場合には、ライブビュー表示や動画撮影時に効果付与領域に対してクロスフィルタ処理が施される。
【００５７】
次に、ステップＳ１におけるライブビュー動作の詳細について図５を用いて説明する。ライブビュー動作に入ると、クロスフィルタモードが設定されているか否かを判定する（Ｓ４１）。
【００５８】
ステップＳ４１における判定の結果、クロスフィルタモードが設定されていた場合には、次に、乱数を発生し（Ｓ４３）、効果付与領域の決定を行う（Ｓ４５）。ここでは、図３を用いて説明したように、撮像素子１０７の画素を縦４分割、横６分割の合計２４のエリア、この中から、ランダムにエリアを選択し、この選択されたエリアに基づいて効果付与領域（輝点検出領域）を決定する。
【００５９】
まず、乱数を発生させ、乱数によって決まるエリアと、そのエリアの右隣、下、右斜め下の合計４エリアを効果付与領域とする。なお、本実施形態においては、４つのエリアを効果付与領域（輝点検出領域）としているが、輝点検出領域の数や、その輝点検出領域内の画素数等に応じて、エリアの数としては４より多くても少なくても構わない。
【００６０】
ステップＳ４３において乱数を発生させるが、本実施形態においては、乱数（ＲＮＤ）は、０．００００００・・・〜０．９９９９９９・・・の値を発生する。図３に示した例では、縦４分割、横６分割であることから、
ｘ＝ＩＮＴ（ＲＮＤ×６＋１）、ｙ＝ＩＮＴ（ＲＮＤ×４＋１）
をエリアの位置と定義し、このエリアとエリアの右隣、下、右斜め下を輝点検出領域とすればよい。ここで、ＩＮＴは括弧内の整数部分を意味する。
【００６１】
乱数発生および効果付与領域の決定を行うと、次に、クロスフィルタ処理を行う（Ｓ４７）。ここでは、ステップＳ４５において決定された効果付与領域内において、明るく輝いている輝点部分を検出し、この検出された輝点部分に対して、光学クロスフィルタと同様の効果を与えるクロスフィルタ描画処理を施す。このクロスフィルタ処理の詳細については、図６ないし図８を用いて後述する。
【００６２】
ステップＳ４７においてクロスフィルタ処理を行うと、またはステップＳ４１における判定の結果、クロスフィルタモードが設定されていなかった場合には、次に、表示を行う（Ｓ５１）。ここでは、撮像素子１０７からの画像データに基づいて、表示部１１５にライブビュー表示を行う。クロスフィルタモードが設定されている場合には、クロスフィルタ処理を施したライブビュー表示を行う。
【００６３】
表示を行うと、次に、次のフレームの取得が完了した否かを判定する（Ｓ５３）。撮像素子１０７が次のフレームの画像データを取得したか否かを判定する。フレームレートが３０ｆｐｓの場合には、１／３０秒に１回の割合でフレームが取得される。この判定の結果、次のフレームの取得が完了していなかった場合には、ステップＳ５１に戻り、一方、取得完了の場合には、ステップＳ４１に戻る。
【００６４】
次に、ステップＳ４７のクロスフィルタ処理について、図６を用いて説明する。クロスフィルタ処理に入ると、まず、飽和点検出処理を行う（Ｓ６１）。ここでは、ステップＳ４５において決定された効果付与領域内の全画素のＲＧＢの画像データについて、飽和値に対応する輝度値以上であるか否かを判定し、飽和値以上の輝点を検出する。この飽和点検出処理の詳細については、図７を用いて後述する。
【００６５】
飽和点検出処理を行うと、次に、クロスフィルタ描画処理を行う（Ｓ６３）。ここでは、ステップＳ６１において検出された輝点に対して、光学クロスフィルタを装着した場合と同様の効果を生ずる画像処理を施す。このクロスフィルタ描画処理の詳細については、図８を用いて後述する。
【００６６】
次に、ステップＳ６１の飽和点検出処理について、図７を用いて説明する。飽和点検出処理のフローに入ると、まず、飽和点を示すフラグｆを０にリセットする（Ｓ７１）。続いて、画素の位置を示す座標（ｘ，ｙ）をｘ＝１、ｙ＝１に初期化する（Ｓ７３）。なお、画素の座標は、設定された効果付与領域内の左上隅等を（１，１）の位置とする。
【００６７】
続いて、位置（ｘ，ｙ）のＲデータが２５５より大きいか否かを判定する（Ｓ７５）。本実施形態においえは、画像データを構成するＲＧＢの各データは、８ビットで構成されおり、その最大値を１０進数で表わすと、２５５となる。従って、この数値２５５は、画像データのビット数に基づいて適宜決めればよく、また、飽和状態とみなせる程度であれば、ビット数で決まる最大値よりも小さな値でも構わない。
【００６８】
ステップＳ７５における判定の結果、Ｒ（ｘ，ｙ）≧２５５であった場合には、次に、（Ｒ，Ｇ，Ｂ，ｆ）（ｘ，ｙ）＝（Ｒ，Ｇ，Ｂ，１）とする（Ｓ７７）。ここでは、位置（ｘ，ｙ）の画像データの内、Ｒデータ、Ｇデータ、Ｂデータは取得した値のままとし、飽和点を示すフラグｆを１とする。フラグｆ＝１とすることにより、位置（ｘ，ｙ）の画素の画像データは、飽和しており、輝点であることを示す。
【００６９】
ステップＳ７７において（Ｒ，Ｇ，Ｂ，ｆ）（ｘ，ｙ）＝（Ｒ，Ｇ，Ｂ，１）とすると、またはステップＳ７５における判定の結果、Ｒ（ｘ、ｙ）＜２５５であった場合には、次に、Ｇ（ｘ，ｙ）≧２５５であるか否かを判定する（Ｓ７９）。ここでは、位置（ｘ，ｙ）のＧデータが２５５より大きいか否かを判定する。
【００７０】
ステップＳ７９における判定の結果、Ｇ（ｘ，ｙ）≧２５５であった場合には、ステップＳ７７と同様に、（Ｒ，Ｇ，Ｂ，ｆ）（ｘ，ｙ）＝（Ｒ，Ｇ，Ｂ，１）とする（Ｓ８１）。この処理を行うと、またはステップＳ７９における判定の結果、Ｇ（ｘ，ｙ）＜２５５であった場合には、次に、Ｂ（ｘ，ｙ）≧２５５であるか否かを判定する（Ｓ８３）。ここでは、位置（ｘ，ｙ）のＢデータが２５５より大きいか否かを判定する。
【００７１】
ステップＳ８３における判定の結果、Ｂ（ｘ，ｙ）≧２５５であった場合には、ステップＳ７７と同様に、（Ｒ，Ｇ，Ｂ，ｆ）（ｘ，ｙ）＝（Ｒ，Ｇ，Ｂ，１）とする（Ｓ８５）。この処理を行うと、またはステップＳ８３における判定の結果、Ｂ（ｘ，ｙ）＜２５５であった場合には、次に、画素の位置を表わすｘをインクリメント、すなわち、ｘに１を加算する（Ｓ８７）。
【００７２】
ステップＳ８７において、ｘをインクリメントすると、次に、ｘ＞最大座標であるか否かを判定する（Ｓ８９）。前述したように、ステップＳ４５において効果付与領域が決定されており、この決定された効果付与領域内のｘ座標について最大座標に達したか否かを判定する。この判定の結果、ｘが最大座標に達していなかった場合には、ステップＳ７５に戻り、隣のｘ座標の位置における画素について、ＲＧＢデータのいずれかが飽和していないか検出する。
【００７３】
ステップＳ８９における判定の結果、ｘが最大座標に達した場合には、次に、画素の位置を表わすｙをインクリメント、すなわち、ｙに１を加算する（Ｓ９１）。続いて、画素の位置を表わすｘに１を設定する（Ｓ９３）。
【００７４】
次に、ｙ＞最大座標であるか否かを判定する（Ｓ９５）。ステップＳ４５において決定された効果付与領域内のｙ座標について最大座標に達したか否かを判定する。この判定の結果、ｙが最大座標に達していなかった場合には、ステップＳ７５に戻り、隣のｙ座標の位置における画素について、ｘ＝１から順次、ＲＧＢデータのいずれかが飽和していないか検出する。一方、判定の結果、ｙが最大座標に達すると、元のフローに戻る。
【００７５】
次に、ステップＳ６３のクロスフィルタ描画処理について、図８を用いて説明する。クロスフィルタ描画処理のフローに入ると、まず、ステップＳ７３と同様に、画像データの画素の位置（ｘ，ｙ）をｘ＝１、ｙ＝１に初期化する（Ｓ１０１）。
【００７６】
画素位置を初期化すると、次に、（Ｒ，Ｇ，Ｂ，ｆ）のｆ＝１であるか否かを判定する（Ｓ１０３）。ステップＳ７７、Ｓ８１、またはＳ８５において、ＲＧＢの画像データの内、少なくとも１つが飽和していると、飽和フラグｆに１が設定される。このステップでは、画素位置（ｘ，ｙ）の画像データについて、飽和フラグｆに１が設定されているか否かを判定する。
【００７７】
ステップＳ１０３における判定の結果、飽和フラグ１に１が設定されていた場合には、次に、（Ｒ、Ｇ，Ｂ）の色のクロスフィルタパターンの描画を行う（Ｓ１０５）。ここでは、飽和フラグ１が設定されていた画素位置（ｘ，ｙ）を中心としてその周辺に、光条を施す画像処理を行う。
【００７８】
クロスフィルタパターンの描画を行うと、またはステップＳ１０３における判定の結果、（Ｒ，Ｇ，Ｂ，ｆ）のｆ＝１でなかった場合には、次に、ステップＳ８７と同様に、画素の位置を表わすｘをインクリメントする（Ｓ１０７）。ｘのインクリメントを行うと、次に、ステップＳ８９と同様に、ｘ＞最大座標であるか否かを判定する（Ｓ１０９）。この判定の結果、ｘ＞最大座標でなかった場合には、ステップＳ１０３に戻り、インクリメントしたｘの座標位置の画素の画像データに対して前述の処理を繰り返す。
【００７９】
一方、ステップＳ１０９における判定の結果、ｘ＞最大座標であった場合には、ステップＳ９１と同様に、画素の位置を表わすｙをインクリメントする（Ｓ１１１）。ｙのインクリメントを行うと、次に、ステップＳ９３と同様に、画素の位置を表わすｘに１を設定する（Ｓ１１３）。
【００８０】
続いて、ステップＳ９５と同様に、ｙ＞最大座標であるか否かを判定する（Ｓ１１５）。この判定の結果、ｙ＞最大座標でなかった場合には、ステップＳ１０３に戻り、インクリメントしたｙ座標について、ｘ＝１から順次、前述の処理を繰り返す。一方、ステップＳ１１５における判定の結果、ｙ＞最大座標であった場合には、元のフローに戻る。
【００８１】
このように、本実施形態におけるライブビュー動作のフローにおいて、クロスフィルタモード設定時には、ライブビュー表示を行うためのフレーム画像を取得するたびに、効果付与領域を決定し、この決定された効果付与領域内で輝点検出（飽和点検出）を行い、この検出された輝点（飽和点）に対してクロスフィルタを装着したと同様の効果を与える画像処理（Ｓ１０５参照）を行っている。このクロスフィルタ処理の施された画像は、ライブビュー表示として表示部１１５に表示される。このため、撮影者は、クロスフィルタ処理が施された画像を容易に確認することができる。
【００８２】
次に、本実施形態におけるライブビュー動作の変形例について、図９を用いて説明する。図５ないし図８を用いて説明した本発明の一実施形態に係わるライブビュー動作では、１フレームの画像を取得するたびに、飽和点を検出し、この検出した飽和点の画像データに対して光条を表現するためのクロスフィルタ処理を施していた。このクロスフィルタ処理を行う領域を広くとると、処理に要する時間が長くなり、１フレームごとに処理することが困難となる。そこで、本変形例においては、数フレームごとにクロスフィルタ処理を行い、処理時間の短縮を図っている。
【００８３】
本変形例に係わるライブビュー動作のフローは、図５のライブビュー動作と比較し、ステップＳ４８〜Ｓ５０、Ｓ５５、およびＳ５７が追加されているだけであるので、この追加部分を中心に説明する。
【００８４】
本変形例のライブビュー動作のフローに入り、クロスフィルタモードが設定されていた場合には（Ｓ４１Ｙｅｓ）、乱数を発生し（Ｓ４３）、効果付与領域を決定する（Ｓ４３）。続いて、クロスフィルタ画像生成処理を行う（Ｓ４８）。今、取得したライブビュー表示用のフレーム画像２０３（図１４（ａ）参照）とすると、ステップＳ４８において、このフレーム画像２０３とは別画像で、画像合成用クロスフィルタ画像２０１を生成する。この画像合成用クロスフィルタ画像２０１は、ライブビュー表示用のフレーム画像に基づいて、ステップＳ４５において決定した効果付与領域の領域に光条２０１ａを生成し、この光条２０１ａのみを抽出した画像である。
【００８５】
ステップＳ４８において、クロスフィルタ画像を生成すると、次に、効果付与フラグとしてＮを設定する（Ｓ４９）。効果付与フラグは、何フレームごとにクロスフィルタによる効果を付与するかを示す自然数Ｎである。Ｎ回目の取得画像にクロスフィルタ処理を実行する。
【００８６】
効果付与フラグを設定すると、次に、クロスフィルタ画像合成処理を行う（Ｓ５０）。ここでは、図１４（ｂ）に示すように、ステップＳ４８において生成した画像合成用クロスフィルタ画像２０１に、ライブビュー表示用のフレーム画像２０３を合成し、表示用の合成画像２０５を生成する。
【００８７】
クロスフィルタ画像合成処理を行うと、次に、表示を行い（Ｓ５１）、次のフレーム画像の取得が完了したか否かを判定する（Ｓ５３）。この判定の結果、次のフレーム画像の取得が完了していなかった場合には、ステップＳ５１に戻る。
【００８８】
一方、ステップＳ５３における判定の結果、次のフレーム画像の取得が完了した場合には、効果フラグから１を減算し、この減算値を効果付与フラグとする（Ｓ５５）。続いて、この効果付与フラグが０か否かの判定を行う（Ｓ５７）。この判定の結果、効果フラグが０でなかった場合には、ステップＳ５０に戻る。したがって、効果付与フラグが０になるまでは、ステップＳ４８において新たにクロスフィルタ画像を生成することなく、同じクロスフィルタ画像を、新たに取得したライブビュー表示用のフレーム画像と合成し、表示用合成画像を生成し、ライブビュー表示する。
【００８９】
ステップＳ５７における判定の結果、効果付与フラグが０となると、ステップＳ４１に戻る。このため、クロスフィルタモードが設定されていれば、新たな画像合成用クロスフィルタ画像を生成し、前述の処理を繰り返す。
【００９０】
このように、本変形例においては、所定フレーム（ここではＮフレーム）毎に、画像合成用クロスフィルタ画像を生成しており、クロスフィルタ処理がＮフレーム分ほど、長くかかっても、ライブビューのフレームレートを落とさずに済む。
【００９１】
次に、ステップＳ１７において開始し、ステップＳ２１において停止する動画撮影において、クロスフィルタモードが設定されているときのクロスフィルタ動画撮影の詳細について、図１０を用いて説明する。クロスフィルタ動画撮影のフローに入ると、まず、ステップＳ４１と同様に、クロスフィルタモードに設定されているか否かを判定する（Ｓ１２１）。
【００９２】
ステップＳ１２１における判定の結果、クロスフィルタモードが設定されていた場合には、図９のステップＳ４３〜Ｓ５７と同様の処理を行う。すなわち、ステップＳ４３と同様に、乱数を発生し（Ｓ１２３）、この乱数に基づいて、ステップＳ４５と同様に、効果付与領域を決定する（Ｓ１２５）。
【００９３】
効果付与領域を決定すると、次に、ステップＳ４８と同様に、クロスフィルタ画像生成処理を行う（Ｓ１２７）。ここでは、図１４（ａ）に示すように、フレーム画像２０３とは別画像で、画像合成用クロスフィルタ画像２０１を生成する。ただし、ライブビュー動作時には、ライブビュー表示用の画素数の画像データを用いていたが、動画撮影の際には、外部メモリ１１４に記録するレベルの画素数のフレーム画像２０３と画像合成用クロスフィルタ画像２０１を処理する。
【００９４】
画像合成用クロスフィルタ画像を生成すると、次に、ステップＳ４９と同様に、効果付与フラグにＮを設定し（Ｓ１２９）、ステップＳ５０と同様に、クロスフィルタ画像合成処理を行う（Ｓ１３１）。
【００９５】
ステップＳ１２１における判定の結果、クロスフィルタモードが設定されていなかった場合、またはステップＳ１３１においてクロスフィルタ画像合成処理を行うと、次に、表示を行う（Ｓ１４１）。ここでは、クロスフィルタ処理された動画撮影中の記録用画像データを、表示用画像データに変換して、表示部１１５に表示する。また、この表示と並行して、クロスフィルタ処理された画像データを、圧縮処理した後、外部メモリ１１４に記録する。なお、クロスフィルタモードが設定されていない場合には、通常の撮影画像の表示と、記録を行う。
【００９６】
表示を行うと、次に、ステップＳ５３と同様に、次のフレームの取得が完了した否かを判定する（Ｓ１４３）。この判定の結果、取得が完了していなければ、ステップＳ１４１に戻る。一方、次のフレームの取得が完了した場合には、次に、ステップＳ５５と同様に、効果フラグから１を減算し、この減算値を効果付与フラグとし（Ｓ１４５）、この効果付与フラグが０か否かの判定を行う（Ｓ１４７）。この効果フラグが０でなければ、ステップＳ１３１に戻る。したがって、効果付与フラグが０になるまでは、ステップＳ１２７において新たにクロスフィルタ画像を生成することなく、同じクロスフィルタ画像を、新たに取得した記録用の撮影画像のフレーム画像と合成し、記録用合成画像を生成し、外部メモリ１１４に記録する。また、クロスフィルタ処理された撮影画像を、表示用に変換し、表示部１１５に表示する。
【００９７】
一方、ステップＳ１４７における判定の結果、効果付与フラグが０となると、ステップＳ１２１に戻る。このため、クロスフィルタモードが設定されていれば、新たな画像合成用クロスフィルタ画像を生成し、動画の撮影を続行する。
【００９８】
このように、本実施形態におけるクロスフィルタ動画撮影では、図９を用いて説明したライブビュー動作とほぼ同様の処理を行うことにより、クロスフィルタ処理を施した動画を表示すると共に記録することができる。特に動画撮影の場合には、記録する画像データの容量が大きくなり、処理時間もかかることから、所定フレーム毎にクロスフィルタ処理を行うことにより、処理時間の短縮を図ることができる。
【００９９】
次に、本実施形態におけるクロスフィルタ動画撮影の第１の変形例を図１１および図１２を用いて説明する。本実施形態においては、クロスフィルタ動画撮影時のクロスフィルタ処理では、一律の光条を追加する画像処理であった。本変形例においては、クロスフィルタ処理にあたって、乱数を発生させ、この乱数によってランダムな変化を与えるようにしている。
【０１００】
図１１に示す本変形例におけるクロスフィルタ動画撮影のフローは、図１０に示した本発明の一実施形態におけるクロスフィルタ動画撮影のフローに対して、ステップＳ１２６を追加しただけであり、他のステップは一実施形態と同様である。ステップＳ１２６は、ステップＳ１２５において決定した効果付与領域に対するクロスフィルタ処理の演出効果を設定する。この演出効果設定の詳細について、図１２を用いて説明する。
【０１０１】
演出効果設定のフローに入ると、まず、乱数を発生させ（Ｓ１５１）、続いて、発生した乱数に応じて光条の本数を設定する（Ｓ１５３）。光条の数としては、例えば、４本、６本、８本等、発生させた乱数に近い本数を設定する。
【０１０２】
光条の本数を設定すると、再び、乱数を発生させ（Ｓ１５５）、続いて、光条の長さを設定する（Ｓ１５７）。光条の長さとしては、例えば、ショート（＝４）、ミドル（＝６）、ロング（＝８）の内、発生させた乱数が近い長さを設定する。なお、括弧内の数値は乱数の値である。
【０１０３】
光条の長さを設定すると、再び乱数を発生させ（Ｓ１５９）、続いて、光条角度を設定する（Ｓ１６１）。光条角度としては、例えば、０度（＝４）、３０度（＝６）、４５度（＝８）の内、発生させた乱数が近い角度を設定する。なお、括弧内の数値は乱数の値である。
【０１０４】
光条角度を設定すると、再び、乱数を発生させ、光条色を設定する（Ｓ１６５）。光条色としては、例えば、赤（＝４）、緑（＝６）、青（＝８）の内、発生させた乱数が近い色を設定する。なお、括弧内の数値は乱数の値である。光条色を設定すると、元のフローに戻る。
【０１０５】
このように、本変形例においては、光条の本数や、長さ、角度、色等について、クロスフィルタ処理を行うたびに異なるようにしている。このため、変化に富んだクロスフィルタ処理が施され、興味をそそる画像となる。なお、本変形例においては、乱数を発生させ、この乱数に応じて演出を設定していたが、これに限らず、数フレームに亘って所定のプログラムされた変化を与えるようにしても勿論かまわない。また、光条の変化も、例示したものに限らず、またその一部であっても構わない。
【０１０６】
次に、本実施形態におけるクロスフィルタ動画撮影の第２の変形例を図１３および図１５を用いて説明する。一実施形態や第１変形例においては、効果付与フラグＮフレーム間隔で、画像合成用クロスフィルタ画像を生成していた。この処理は、モーションＪＰＥＧに最適なクロスフィルタ処理であるが、ＭＰＥＧを採用する場合には、キーフレームのみにクロスフィルタ処理による効果を付するようにしてもよい。キーフレームは通常２秒おきに現われるので、処理時間を十分にとることができ、このため、効果付与領域としては、前述の実施例や変形例よりも広くとることが可能となる。
【０１０７】
本変形例は、図１１に示した第１変形例のフローチャートにおいて、ステップＳ１２９における効果付与フラグの設定と、ステップＳ１４５における効果付与フラグから１を減算するステップを省略し、ステップＳ１４７における判定をキーフレームか否かの判定に変更した以外は、同様である。図１１のフローと同一の処理を行うステップについては、同一のステップ番号を付し、相違点を中心に説明する。
【０１０８】
ステップＳ１２１における判定の結果、クロスフィルタモードが設定されていた場合には、乱数を発生させ（Ｓ１２３）、この乱数に応じて効果付与領域の決定を行い（１２５）、演出効果を設定し（Ｓ１２６）、この設定された演出効果に従って、クロスフィルタ画像の生成処理を行う（Ｓ１２７）。ここでは、図１５（ａ）に示すように、フレーム画像２０３とは別に、クロスフィルタ処理に用いる画像合成用クロスフィルタ画像２０１を生成する。
【０１０９】
ステップＳ１２７においてクロスフィルタ画像の生成処理を行うと、第１変形例では、次に効果付与フラグの設定を行っていたが、本変形例では効果付与フラグを使用しないことからのこの設定を省略し、次に、クロスフィルタ画像合成処理を行う（Ｓ１３１）。ここでは、図１５（ｂ）に示すように、フレーム画像２０３に画像合成用クロスフィルタ画像２０１を合成し、合成画像２０５を生成する。
【０１１０】
クロスフィルタ画像合成処理を行うと、次に、表示と記録を行い（Ｓ１４１）、次のフレームの取得が完了したか否かを判定する（Ｓ１４３）。この判定の結果、次のフレームの取得が完了していない場合には、ステップＳ１４１に戻り、表示を続行する。
【０１１１】
一方、ステップＳ１４３における判定の結果、次のフレームの取得が完了すると、キーフレームか否かの判定を行う（Ｓ１４８）。前述したようにＭＰＥＧでは、所定時間間隔でキーフレームが現われる。このステップでは、現在、取得したフレームがキーフレームか否かを判定する。
【０１１２】
ステップＳ１４８における判定の結果、キーフレームでない場合には、ステップＳ１４１に戻り、ステップＳ１２７において新たにクロスフィルタ画像を生成することなく、同じクロスフィルタ画像を、新たに取得した記録用の撮影画像のフレーム画像と合成し、記録用合成画像を生成し、外部メモリ１１４に記録する。また、クロスフィルタ処理された撮影画像を、表示用に変換し、表示部１１５に表示する。
【０１１３】
一方、ステップＳ１４８における判定の結果、キーフレームであった場合には、ステップＳ１２１に戻る。ステップＳ１２１に戻り、クロスフィルタモードが設定されていれば、新たな画像合成用クロスフィルタ画像を生成し、動画の撮影を続行する。
【０１１４】
本変形例においては、図１５（ｃ）に示すように、所定時間間隔でキーフレームが現われ、キーフレームに対してのみ、合成画像２０５が表示・記録され、その間はフレーム画像２０３のみが表示・記録される。
【０１１５】
このように、本発明の第２変形例においては、キーフレームを巧みに活用し、キーフレームに対してクロスフィルタ処理を施すようにしている。このため、効果付与フラグの管理が不要になる。
【０１１６】
以上説明したように、本発明の一実施形態やその変形例においては、撮像素子１０７からの画像データに対して、輝点検出領域を設定し（Ｓ４５）、この輝点検出領域内の輝点を検出し（Ｓ６１）、この検出された輝点の輝点位置において輝点処理を行い（Ｓ６３）、輝点処理された画像を表示や記録を行っている（Ｓ５１、Ｓ１４１）。このように撮像素子１０７の撮像領域の全てについて輝点処理を行うのではなく、輝点検出領域内の輝点に対して輝点処理を行うようにしている。このため、ライブビュー表示や動画に相応しいクロスフィルタ処理が可能となる。
【０１１７】
なお、本発明の一実施形態や変形例においては、効果付与領域（輝点検出領域）の設定にあたって、撮像領域を２４のエリアに分割し、その中から４エリアを設定するようにしていたが、撮像領域の分割数や、また効果付与領域のエリア数は、適宜変更しても構わない。縦横に最小限サイズ以上に効果付与領域を設定すればよい。また、そのエリアの大きさは、一定であったが、フレーム毎に変更しても構わない。また、本発明の一実施形態や変形例においては、効果付与領域（輝点検出領域）の設定は、乱数を発生させランダムに設定したが、輝点領域を順番に選択するようにしても構わない。
【０１１８】
また、本発明の一実施形態や変形例においては、設定された効果付与領域（輝点検出領域）で処理する輝点の数を制限しなかったが、処理する輝点の数を制限するようにしてもよい。輝点の数を制限することにより、処理時間が長時間になることを防止することができる。
【０１１９】
また、本発明の一実施形態においては、輝点処理として高輝度の中心に光のスジを追加するクロスフィルタ処理を施した。しかしながら、輝点を検出した場合に、クロスフィルタ処理以外にも輝点周辺を円形に飽和（白く）させたり、また星型に飽和させたり等、他の輝点処理を施すようにしても構わない。
【０１２０】
また、本発明の一実施形態や変形例においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない。
【０１２１】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【０１２２】
１０・・・カメラ本体、２０・・・交換レンズ、１００・・・デジタルカメラ、１０１・・・撮影レンズ、１０２・・・レンズ制御部、１０３・・・絞り機構、１０４・・・絞り制御部、１０５・・・シャッタ、１０６・・・シャッタ制御部、１０７・・・撮像素子、１０８・・・撮像制御部、１０９・・・Ａ／Ｄ変換部、１１０・・・メモリ、１１１・・・画像処理部、１１２・・・露出制御部、１１３・・・ＡＦ処理部、１１４・・・外部メモリ、１１５・・・表示部、１１５ａ・・・液晶モニタ、１１６・・・システム制御部、１１７・・・操作部、１１７ａ・・・電源釦、１１７ｂ・・・レリーズ釦、１１７ｃ・・・撮影モードダイヤル、１１７ｄ・・・動画釦、１１７ｅ・・・ファンクション釦、１１７ｆ・・・十字釦、１１７ｇ・・・ＯＫ釦、１１８・・・不揮発性メモリ、１１９・・・電源部、１２０・・・電源制御部、１２１・・・フラッシュ制御部、１２２・・・フラッシュ充電部、１２３・・・フラッシュ発光部、２０１・・・画像合成用クロスフィルタ画像、２０１ａ・・・光条、２０３・・・フレーム画像、２０５・・・合成画像
【特許請求の範囲】
【請求項１】
被写体像を電気信号に変換しライブビューで画像データを出力する撮像部と、
上記画像データに対して、輝点検出領域を設定する輝点領域設定部と、
上記輝点領域設定部によって設定された上記輝点検出領域内の輝点を検出する輝点検出部と、
上記輝点検出部によって検出された上記輝点の輝点位置において輝点処理を行う輝点処理部と、
上記輝点処理部によって輝点処理された画像を表示用または記録用に出力する画像出力部と、
を有することを特徴とする撮像装置。
【請求項２】
上記輝点領域設定部は、ランダムな位置または大きさに切換えて上記輝点領域を設定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
上記輝点領域設定部は、縦横に最小限のサイズ以上に上記輝点領域を設定することを特徴とする請求項１に記載の撮像装置。
【請求項４】
上記輝点領域設定部は、予め設定した上記輝点領域を順番に設定することを特徴とする請求項１に記載に撮像装置。
【請求項５】
上記輝点処理部における輝点処理は、クロスフィルタ処理であることを特徴とする請求項１に記載の撮像装置。
【請求項６】
上記輝点処理部は、連続するフレームの輝点処理の際に、少なくとも一部の明るさ、クロスの長さ、色、大きさの何れかのサイズを変えることを特徴とする請求項１に記載の撮像装置。
【請求項７】
上記輝点領域設定部は、上記輝点領域の設定にあたって、複数フレームで同一の領域を含む領域を少なくとも一度は設定することを特徴とする請求項１に記載の撮像装置。
【請求項８】
上記輝点処理部は、設定された輝点領域内で処理する輝点の数を限定することを特徴とする請求項１に記載の撮像装置。
【請求項９】
上記輝点処理部は、上記撮像部から出力される画像データの内、所定フレーム毎に上記輝点処理を行うことを特徴とする請求項１に記載の撮像装置。
【請求項１０】
上記輝点処理部は、上記所定フレーム毎に上記輝点処理を行う際には、取得フレームとは別個にクロスフィルタ画像を生成し、この生成したクロスフィルタ画像に取得フレームの画像を合成した合成画像を出力し、上記所定フレームに当たらないフレームの際には、上記取得フレームによる画像を出力することを特徴とする請求項９に記載の撮像装置。
【請求項１１】
被写体像を電気信号に変換しライブビューで画像データを出力し、
上記画像データに対して、輝点検出領域を設定し、
上記設定された上記輝点検出領域内の輝点を検出し、
上記検出された輝点の輝点位置において輝点処理を行い、
上記輝点処理された画像を表示用または記録用に出力する、
ことを特徴とする撮像方法。
【請求項１】
被写体像を電気信号に変換しライブビューで画像データを出力する撮像部と、
上記画像データに対して、輝点検出領域を設定する輝点領域設定部と、
上記輝点領域設定部によって設定された上記輝点検出領域内の輝点を検出する輝点検出部と、
上記輝点検出部によって検出された上記輝点の輝点位置において輝点処理を行う輝点処理部と、
上記輝点処理部によって輝点処理された画像を表示用または記録用に出力する画像出力部と、
を有することを特徴とする撮像装置。
【請求項２】
上記輝点領域設定部は、ランダムな位置または大きさに切換えて上記輝点領域を設定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
上記輝点領域設定部は、縦横に最小限のサイズ以上に上記輝点領域を設定することを特徴とする請求項１に記載の撮像装置。
【請求項４】
上記輝点領域設定部は、予め設定した上記輝点領域を順番に設定することを特徴とする請求項１に記載に撮像装置。
【請求項５】
上記輝点処理部における輝点処理は、クロスフィルタ処理であることを特徴とする請求項１に記載の撮像装置。
【請求項６】
上記輝点処理部は、連続するフレームの輝点処理の際に、少なくとも一部の明るさ、クロスの長さ、色、大きさの何れかのサイズを変えることを特徴とする請求項１に記載の撮像装置。
【請求項７】
上記輝点領域設定部は、上記輝点領域の設定にあたって、複数フレームで同一の領域を含む領域を少なくとも一度は設定することを特徴とする請求項１に記載の撮像装置。
【請求項８】
上記輝点処理部は、設定された輝点領域内で処理する輝点の数を限定することを特徴とする請求項１に記載の撮像装置。
【請求項９】
上記輝点処理部は、上記撮像部から出力される画像データの内、所定フレーム毎に上記輝点処理を行うことを特徴とする請求項１に記載の撮像装置。
【請求項１０】
上記輝点処理部は、上記所定フレーム毎に上記輝点処理を行う際には、取得フレームとは別個にクロスフィルタ画像を生成し、この生成したクロスフィルタ画像に取得フレームの画像を合成した合成画像を出力し、上記所定フレームに当たらないフレームの際には、上記取得フレームによる画像を出力することを特徴とする請求項９に記載の撮像装置。
【請求項１１】
被写体像を電気信号に変換しライブビューで画像データを出力し、
上記画像データに対して、輝点検出領域を設定し、
上記設定された上記輝点検出領域内の輝点を検出し、
上記検出された輝点の輝点位置において輝点処理を行い、
上記輝点処理された画像を表示用または記録用に出力する、
ことを特徴とする撮像方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１２−１０４９３２（Ｐ２０１２−１０４９３２Ａ）
【公開日】平成２４年５月３１日（２０１２．５．３１）
【国際特許分類】
【出願番号】特願２０１０−２４９８６０（Ｐ２０１０−２４９８６０）
【出願日】平成２２年１１月８日（２０１０．１１．８）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
【公開日】平成２４年５月３１日（２０１２．５．３１）
【国際特許分類】
【出願日】平成２２年１１月８日（２０１０．１１．８）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
[ Back to top ]