撮像装置
【課題】画像信号の読出回数に応じたノイズを低減しながら、バルブ撮影中の画像をより正確に予測して表示する撮像装置を提供する。
【解決手段】撮像センサ１５の撮像面を表示・記録用画像部１５ｂと検出用画像部１５ａとに分ける。露光を開始し時間Ｔ０経過後に表示・記録用画像部１５ｂから第１画像Ｅ０を、検出用画像部１５ａから第２画像Ｄ０を各読み出し、その後第２時間ｔ経過毎に検出用画像部１５ａから第２画像Ｄ１１，Ｄ１２，…を読み出すと共に、第１時間Ｔ１，Ｔ２，…経過毎に表示・記録用画像部１５ｂから第１画像Ｅ１，…および検出用画像部１５ａから第２画像Ｄ１６，…を各読み出す。第１画像は読出毎に積算され表示基礎画像Ｅ０，Ｅ０＋Ｅ１，…となる。第２画像も読出毎に積算され、ゲインｇの算出に用いられる。バルブ撮影中の表示画像は、表示基礎画像または表示基礎画像に表示時点までのゲインｇを乗算した画像となる。
【解決手段】撮像センサ１５の撮像面を表示・記録用画像部１５ｂと検出用画像部１５ａとに分ける。露光を開始し時間Ｔ０経過後に表示・記録用画像部１５ｂから第１画像Ｅ０を、検出用画像部１５ａから第２画像Ｄ０を各読み出し、その後第２時間ｔ経過毎に検出用画像部１５ａから第２画像Ｄ１１，Ｄ１２，…を読み出すと共に、第１時間Ｔ１，Ｔ２，…経過毎に表示・記録用画像部１５ｂから第１画像Ｅ１，…および検出用画像部１５ａから第２画像Ｄ１６，…を各読み出す。第１画像は読出毎に積算され表示基礎画像Ｅ０，Ｅ０＋Ｅ１，…となる。第２画像も読出毎に積算され、ゲインｇの算出に用いられる。バルブ撮影中の表示画像は、表示基礎画像または表示基礎画像に表示時点までのゲインｇを乗算した画像となる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、バルブ撮影中の画像を表示する撮像装置に関する。
【背景技術】
【０００２】
明るい環境下での一般的な静止画像の撮影においては、露光時間は例えば１／２５０秒等の比較的短時間であるために、撮影して得られた画像は撮影後に表示が行われるのみである。しかし、夜景や夜空などの暗い被写体を撮影する場合には、例えば１分などの長時間露光が必要になるが、その間、露光中の画像が全く表示されないと、撮影者が露光の経過を把握することができず不便である。
【０００３】
そこで、長時間露光の場合に露光中の画像を表示する技術が提案されている。
【０００４】
例えば、特開２００５−１１７３９５号公報には、長秒撮影の本露光動作を行っている期間中、所定の周期で撮像素子から画素信号を読み出すとともに、読み出した画素信号をその都度加算して、加算した画素信号を表示デバイスに画像として表示する撮像装置が記載されている。これにより、撮影者は露光経過中の画像の様子を視認することが可能となる。
【０００５】
このような従来の技術の具体例を、図８を参照して説明する。図８は、露光中に全画素の画像信号を１回以上読み出して表示するとともに、読み出した画像信号を加算して最終画像を得る様子を示すタイミングチャートである。
【０００６】
なおこの図８には、撮像センサが例えばＣＭＯＳセンサである場合、すなわち、いわゆるローリング読み出しを行っているために、１ライン目を読み出す時点と、最終ライン目を読み出す時点とで時間差が生じている場合を図示している。
【０００７】
露光開始から露光終了までの期間は、規定時間を単位として幾つかに区切られており、規定時間が経過する毎に撮像センサから全画素の画像信号が読み出される。１回目に読み出された画像信号は、それ以前に加算された画像がないために、そのまま加算画像となり、さらに表示画像として用いられる。２回目もしくはそれ以降に読み出された画像信号は、それまでの加算画像に対して加算され（つまり積算され）、加算後の画像が表示画像として用いられる。その後、撮影が終了したら、撮影終了時までに電荷が蓄積された画像をさらに読み出してそれまでの加算画像に対して加算し、最終画像を得ることになる。
【０００８】
また、特開２００９−２３９５９９号公報には、所定の周期で被写体像を繰り返し撮像し、それによって得られた複数の画像を加算演算して加算画像を生成する撮像装置において、繰り返し撮像動作の実行中に手動操作部材が操作された場合に、それまでの加算画像に基づいて未来のタイミングにおける加算画像をシミュレートした画像を生成し、生成したシミュレーション画像を表示する撮像装置が記載されている。そして、それまでの加算画像にかけるゲインに比例した値が、未来のタイミングを示す時間となっている。
【０００９】
ところで、画像信号を読み出すときには、回路的なノイズが撮影画像に重畳することが知られている。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００５−１１７３９５号公報
【特許文献２】特開２００９−２３９５９９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
従って、上記特開２００５−１１７３９５号公報に記載されたような画像全体（すなわち、全画素）を複数回読み出す技術では、画像を読み出す回数が各画素を読み出す回数と等しくなるために、読み出し回数（ひいては画像の加算枚数）に応じた量のノイズが最終的に得られる撮影画像に重畳し、画質が劣化してしまうことになる。
【００１２】
また、特開２００９−２３９５９９号公報に記載の技術では、任意の時点の画像をシミュレーションにより得ることができるために、被写体像を繰り返し撮像する所定の周期を長く設定することが可能であり、すなわち、読み出す回数を少なくすればノイズを低減することは可能である。しかしながら、該公報に記載されたような時間に応じたゲインをかける技術では、例えば夜明けのシーン等のような、被写体の輝度が徐々に変化する場合には対応することができず、シミュレーション画像と現実に得られる画像との間に相違が生じることになってしまう。
【００１３】
本発明は上記事情に鑑みてなされたものであり、画像信号の読み出し回数に応じたノイズを低減しながら、バルブ撮影中の画像をより正確に予測して表示することができる撮像装置を提供することを目的としている。
【課題を解決するための手段】
【００１４】
上記の目的を達成するために、本発明のある態様による撮像装置は、バルブ撮影中に、露光を開始してから所定時間が経過するまでの該バルブ撮影によって得られる画像信号を予測して、予測した該画像信号よって表される画像を表示する撮像装置において、撮影レンズにより結像された被写体像を画像信号に変換する画素が複数配列された第１画素部および第２画素部を含む撮像面を有する撮像素子と、露光開始後の初期時間が経過した後に上記第１画素部から第１画像信号を、上記第２画素部から第２画像信号をそれぞれ読み出し、その後の露光期間中に所定の第１時間が経過する毎に上記第１画素部から第１画像信号を、上記第２画素部から第２画像信号をそれぞれ読み出すとともに、上記第１時間が経過するまでの間に、上記第１時間よりも短い第２時間が経過する毎に上記第２画素部から第２画像信号を読み出す読出制御部と、上記第１画像信号が読み出される毎に、該第１画像信号を画素単位で積算し、表示の基礎となる表示基礎画像データを生成する表示基礎画像データ生成部と、上記第２画像信号が読み出される毎に該第２画像信号を積算し、最新の第１画像信号が読み出された時点までの第２画像信号の積算値と、最新の第２画像信号が読み出された時点までの第２画像信号の積算値と、上記表示基礎画像データと、に基づいて、露光を開始してから上記最新の第２画像信号が読み出された時点まで上記第１画素部により露光したときに得られるであろうと予測される表示用画像データを生成する表示用画像データ生成部と、上記第１画像信号が読み出された直後には上記表示基礎画像データによって表される画像を表示し、それ以外の上記第２時間が経過する毎には上記表示用画像データによって表される画像を表示する画像表示部と、を備えたものである。
【発明の効果】
【００１５】
本発明の撮像装置によれば、画像信号の読み出し回数に応じたノイズを低減しながら、バルブ撮影中の画像をより正確に予測して表示することが可能となる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施形態１における撮像装置の回路構成等を示すブロック図。
【図２】上記実施形態１の撮像装置における、ライブビューバルブ動作時の露光および画像読み出しの例を示すタイミングチャート。
【図３】上記実施形態１の撮像装置における、ライブビューバルブ動作時の露光および画像読み出しの例を、表示画像の様子も含めて示すタイミングチャート。
【図４】上記実施形態１の撮像装置におけるライブビューバルブ動作時の処理の流れを示すフローチャート。
【図５】上記実施形態１の撮像装置がライブビューバルブ動作を行っているときに、レリーズ終了インタラプトが入ったときの割り込み処理の流れを示すフローチャート。
【図６】上記実施形態１の撮像装置において、コンピュータにより実行される図４の処理の具体例を示すフローチャート。
【図７】上記実施形態１の撮像装置において、コンピュータにより実行される図５の処理の具体例を示すフローチャート。
【図８】従来において、露光中に全画素の画像信号を１回以上読み出して表示するとともに、読み出した画像信号を加算して最終画像を得る様子を示すタイミングチャート。
【発明を実施するための形態】
【００１７】
以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］
【００１８】
図１から図７は本発明の実施形態１を示したものであり、図１は撮像装置１１の回路構成等を示すブロック図である。
【００１９】
この撮像装置１１は、例えばデジタルカメラとして構成されていて、フォーカスレンズ１２と絞り機構１３とを含む撮影レンズと、シャッタ機構１４と、撮像センサ１５と、フォーカス制御部１６と、モータ１７と、絞り制御部１８と、モータ１９と、シャッタ制御部２０と、シャッタ機構１４用の制御装置２１と、ＴＧ回路２３と、信号処理回路２４と、データバス２５と、ＡＥ処理部２６と、メインＣＰＵ２７と、ＡＦ処理部２８と、画像処理回路２９と、内蔵メモリ３０と、圧縮伸張部３１と、着脱メモリ３２と、ＬＣＤドライバ３３と、ＬＣＤ３４と、不揮発性メモリ３５と、入力部３６と、電源部３８と、画像演算部３９と、を備えている。
【００２０】
撮影レンズは、被写体の光学像を撮像センサ１５の撮像面上に結像するための撮影光学系である。フォーカスレンズ１２は、撮影レンズの焦点位置を調節することにより、撮像センサ１５の撮像面上に結像される光学像が合焦するようにするためのものである。絞り機構１３は、撮影レンズを通過する光束の通過範囲を規制することにより、露出を制御するためのものである。
【００２１】
シャッタ機構１４は、撮影レンズから撮像センサ１５へ至る光束の通過時間を規制することにより、露出を制御するためのものである。ここにシャッタ機構１４は、本実施形態においては、例えばメカニカルシャッタとして構成されている。
【００２２】
撮像センサ１５は、受光した光量に応じた量の電荷を蓄積する画素が二次元状に複数配列された撮像面を有する撮像素子である。そして、撮像センサ１５は、シャッタ機構１４を介して撮影レンズにより結像された被写体の光学像を画素によって光電変換して、電気的な画像信号を生成し出力するようになっている。なお、この撮像センサ１５は、撮像面全体を読み出すことができかつ撮像面内の一部の領域のみを読み出すことができるものであれば良く、例えばＸ−Ｙアドレス型の撮像素子、より具体的にはＣＭＯＳセンサが一例として挙げられる。これにより、撮像センサ１５は、後述するライブビューバルブ動作時には、撮像面全体の読み出しが第１時間が経過する毎に行われ、この第１時間が経過するまでの期間内において、さらに第１時間よりも短い第２時間が経過する毎に第２画素部である検出用画像部の読み出しが行われる。すなわち、図３にも示すように、撮像センサ１５の撮像面は、ライブビューバルブ動作時に、第１画素部である表示・記録用画像部１５ｂと、第２画素部である検出用画像部１５ａと、の２つの領域に分かれて機能するようになっている。これらの内の表示・記録用画像部１５ｂは静止画像信号の生成に用いられるが、検出用画像部１５ａは撮像センサ１５への信号電荷の蓄積の時間経過をモニタするために用いられ、静止画像信号の生成には用いられない。従って、検出用画像部１５ａは、撮像センサ１５の撮像領域の例えば周辺における上端、下端、左端、右端などに、表示・記録用画像部１５ｂよりも小さな面積の領域として設けられることになる。
【００２３】
フォーカス制御部１６は、メインＣＰＵ２７の制御に基づき、モータ１７を介してフォーカスレンズ１２を駆動し、合焦させるように制御するものである。
【００２４】
絞り制御部１８は、メインＣＰＵ２７の制御に基づき、モータ１９を介して絞り機構１３を駆動し、露出値に応じた絞り開口径となるように制御するものである。
【００２５】
シャッタ制御部２０は、メインＣＰＵ２７の制御に基づき、シャッタ機構１４用の制御装置２１を介してシャッタ機構１４を駆動し、露出値に応じた露光時間となるように制御するものである。
【００２６】
ＴＧ回路２３は、メインＣＰＵ２７の制御に基づき、撮像センサ１５を駆動するためのタイミング信号を出力するものである。撮像センサ１５からの画像信号の読み出し（撮像面全体の読み出し、あるいは検出用画像部１５ａのみの読み出し（さらにあるいは、必要である場合には表示・記録用画像部１５ｂのみの読み出し））は、メインＣＰＵ２７の制御に基づいて、読出制御部であるこのＴＧ回路２３により行われる。
【００２７】
信号処理回路２４は、撮像センサ１５から読み出された画像信号に対して、相関二重サンプリングを行うためのＣＤＳ（Correlated Double Sampling）、信号レベルを増幅する（所定増幅量を基準とすれば、増減する）ためのアンプ回路、アナログ信号をデジタルデータに変換するためのＡＤＣ（Analog to Digital converter）等を含んで構成されている。そして、信号処理回路２４の出力側はデータバス２５に接続されている。従って、信号処理回路２４は、処理結果として得られるデジタルデータを、このデータバス２５を介して、例えば内蔵メモリ３０やその他の各回路へ出力するようになっている。
【００２８】
データバス２５は、信号処理回路２４が接続されるとともに、ＡＥ処理部２６と、メインＣＰＵ２７と、ＡＦ処理部２８と、画像処理回路２９と、内蔵メモリ３０と、圧縮伸張部３１と、着脱メモリ３２と、ＬＣＤドライバ３３と、不揮発性メモリ３５と、画像演算部３９とが双方向に接続されていて、制御信号や各種のデータを相互に授受するためのものである。
【００２９】
ＡＥ処理部２６は、撮像センサ１５からの撮影画像信号に基づいてＡＥ評価値を算出し、算出結果をメインＣＰＵ２７に出力するものである。
【００３０】
ＡＦ処理部２８は、撮像センサ１５からの撮影画像信号に基づいてＡＦ評価値を算出し、算出結果をメインＣＰＵ２７に出力するものである。
【００３１】
画像処理回路２９は、内蔵メモリ３０に格納されている画像信号に対して、ホワイトバランス調整、エッジ処理等の処理を施して、処理結果の画像信号を内蔵メモリ３０に再び格納するものである。
【００３２】
内蔵メモリ３０は、処理中の画像信号を記憶するのに用いられると共に、メインＣＰＵ２７が処理を行う際のメモリとしても用いられる例えば揮発性の記憶媒体である。この内蔵メモリ３０は、メインＣＰＵ２７およびＴＧ回路２３により表示・記録用画像部１５ｂの画像信号（第１画像信号）が読み出される毎に、読み出された第１画像信号をメインＣＰＵ２７が画素単位で積算することにより生成される、表示の基礎となる表示基礎画像データを記憶する。また、内蔵メモリ３０は、メインＣＰＵ２７およびＴＧ回路２３により検出用画像部１５ａの画像信号（第２画像信号）が読み出される毎に、読み出された第２画像信号を一時的に記憶する。
【００３３】
圧縮伸張部３１は、画像信号を圧縮して着脱メモリ３２に格納すると共に、着脱メモリ３２に圧縮して格納されている画像信号を伸張するものである。
【００３４】
着脱メモリ３２は、処理後の画像信号（例えば圧縮処理後の画像信号）を不揮発に記録するための記録媒体であり、例えばメモリカードなどとして撮像装置１１に対して着脱可能に構成されている。従って、この着脱メモリ３２は、撮像装置１１に固有の構成でなくても構わない。
【００３５】
ＬＣＤドライバ３３は、液晶表示部であるＬＣＤ３４を駆動して、信号処理回路２４から出力されるライブビュー画像（撮像センサ１５によりリアルタイムで撮影されている画像）を表示させたり、撮影された画像を撮影後に確認するために表示させたりするものである。このＬＣＤ３４は、ライブビューバルブ動作時に、表示・記録用画像部１５ｂが読み出された直後には表示基礎画像データによって表される画像を表示し、それ以外の第２時間が経過する毎には表示基礎画像データに基づいて後述するように生成される表示用画像データによって表される画像を表示する画像表示部となっている。
【００３６】
不揮発性メモリ３５は、メインＣＰＵ２７により実行される種々の処理プログラムや、処理プログラムを実行する際に必要な各種のデータ、さらにはユーザの設定データ等を格納する記録媒体である。
【００３７】
入力部３６は、この撮像装置１１の電源をオン／オフするための電源スイッチ、撮影動作を行わせるためのレリーズボタン、バルブ撮影モードを含む撮影モードやライブビューモードの設定等を行うための操作スイッチ、などを含んで構成される操作入力手段である。なお、撮影レンズが電動ズームレンズである場合には、この入力部３６は、ズームスイッチをさらに含んで構成される。また、バルブ撮影モードとライブビューモードとが同時に設定されている場合には、後述するようなライブビューバルブの動作（バルブ撮影中に露光中の画像がＬＣＤ３４に随時表示される動作）が行われることになる。
【００３８】
電源部３８は、バッテリや乾電池等を含んで構成され、メインＣＰＵ２７等の回路を動作させる電流、モータ１７，１９等の駆動源を駆動する電流、ＬＣＤ３４を駆動するための電流などを、それぞれに応じた電圧で供給するものである。
【００３９】
画像演算部３９は、内蔵メモリ３０に格納されている撮影画像信号に対して、加算平均処理を行い、その結果得られた生成画像を内蔵メモリ３０に再び格納するものである。
【００４０】
メインＣＰＵ２７は、この撮像装置１１全体の動作を制御するものである。例えば、メインＣＰＵ２７は、上述したＡＦ評価値に基づいて被写体距離を算出しフォーカス制御部１６を制御してモータ１７を駆動させるとともに、上述したＡＥ評価値に基づいて絞り値および露光時間（シャッタ速度）を算出し絞り制御部１８およびシャッタ制御部２０を制御してモータ１９および制御装置２１を駆動させる。さらに、メインＣＰＵ２７は、ＴＧ回路２３を介して、撮像センサ１５の動作（例えば、撮像センサ１５からの読出動作）の制御を行う読出制御部である。加えて、メインＣＰＵ２７は、ライブビューを設定する操作が入力部３６に対して行われた場合には、ライブビューの動作を開始するように制御を行う。このライブビューモードが設定されているときにバルブ撮影が行われれば、メインＣＰＵ２７は、後述するようなライブビューバルブの動作を行うように制御することになる。そして、メインＣＰＵ２７は、後述するように、表示基礎画像データ生成部および表示用画像データ生成部としても機能するようになっている。また、メインＣＰＵ２７は、バルブ撮影の終了を表す信号に応答して表示・記録用画像部１５ｂを読み出し、読み出した第１画像信号を画素単位で表示基礎画像データに加算することにより、静止画像信号をさらに生成する静止画像信号生成部としても機能するようになっている。
【００４１】
次に、図２は撮像装置におけるライブビューバルブ動作時の撮像面における露光および画像読み出しの例を示すタイミングチャート、図３は撮像装置におけるライブビューバルブ動作時の露光および画像読み出しの例を表示画像の様子も含めて示すタイミングチャート、図４は撮像装置におけるライブビューバルブ動作時の処理の流れを示すフローチャートである。なお、図３には図２におけるＴ０およびＴ１の期間までを図示し、その後の期間の図示は省略している。
【００４２】
ライブビューモードとバルブ撮影モードとが同時に設定されると、このライブビューバルブ動作が開始され、メインＣＰＵ２７は、入力部３６のレリーズボタンが押下されるのを待機する（ステップＳ１）。
【００４３】
そして、レリーズボタンが押下され、バルブ撮影の開始を表す信号が発生されたと判定された場合には、メインＣＰＵ２７は、シャッタ制御部２０および制御装置２１を介してシャッタ機構１４を駆動し、シャッタを開放することにより撮像センサ１５の露光を開始する（ステップＳ２）。この露光開始とともに、メインＣＰＵ２７は、自己の内部に備えたクロックを用いて時間の計測を行う。
【００４４】
次に、メインＣＰＵ２７は、露光を開始してから規定の初期時間Ｔ０（図２、図３参照）が経過するのを待機する（ステップＳ３）。この規定の初期時間Ｔ０は、検出用画像部１５ａから後述するように第２画像信号を読み出す第２時間ｔと（同一であっても良いが）同一である必要はなく、また、表示・記録用画像部１５ｂから後述するように第１画像信号を読み出す各期間Ｔ１，Ｔ２，Ｔ３，…の長さである第１時間と（同一であっても良いが）同一である必要もない。
【００４５】
こうして、初期時間Ｔ０が経過したと判定された場合には、メインＣＰＵ２７は、読出制御部として機能して、図２および図３に示すように、検出用画像部１５ａから第２画像信号Ｄ０を読み出すとともに、表示・記録用画像部１５ｂから第１画像信号Ｅ０を読み出して、信号処理回路２４により処理を行った後に、内蔵メモリ３０に記憶させる（ステップＳ４）。ここで読み出した第１画像信号Ｅ０は、次の期間Ｔ１における表示基礎画像データとなる。また、ここで読み出した第２画像信号Ｄ０は、次の期間Ｔ１における表示用画像データを生成するためのゲインを算出する際の基準として用いられる。
【００４６】
そして、第１画像信号Ｅ０に対して、画像処理回路２９等により画素数変換や表示用のガンマ補正等の必要な画像処理を行った後に、ＬＣＤドライバ３３を介してＬＣＤ３４に画像を表示する（ステップＳ５）。
【００４７】
次に、変数ｉ，ｊにそれぞれ１を代入する初期設定を行う（ステップＳ６）。ここに、変数ｉは期間Ｔ１，Ｔ２，Ｔ３，…の何れの期間Ｔｉであるかを示す指標である。また、変数ｊは、変数ｉで定まる期間Ｔｉにおいて、上述した第１時間よりも短い第２時間ｔの何倍の時間が経過したかを示す指標である。
【００４８】
そして、上述したステップＳ４において第１画像信号Ｅ０および第２画像信号Ｄ０を読み出してからの経過時間が、第２時間ｔに達するのを待機する（ステップＳ７）。
【００４９】
こうして第２時間ｔに達したと判定されたところで、メインＣＰＵ２７は、読出制御部として機能して、図２および図３に示すように、検出用画像部１５ａから第２画像信号Ｄｉｊ（最初の時点ではｉ＝ｊ＝１であるためにＤ１１）を読み出して、信号処理回路２４により処理を行った後に、内蔵メモリ３０に記憶させる（ステップＳ８）。このように、この時点では例えば第２画像信号Ｄ１１のみを読み出し、第１画像信号Ｅ０の読み出しは行わない。
【００５０】
そして、メインＣＰＵ２７は、ｊがｊｍａｘに達したか否かを判定する（ステップＳ９）。ここに、ｊｍａｘは、期間Ｔｉにおいて第２画像信号Ｄｉｊを読み出す回数を示す正の整数（変数ｊが取り得る上限値）であり、図２や図３に示す例においては６となる。従って、各期間Ｔ１，Ｔ２，Ｔ３，…の時間的長さがＴであるとするとｔ×ｊｍａｘ＝Ｔ（すなわち、時間Ｔは時間ｔのｊｍａｘ倍となる）である。
【００５１】
ただし、ｊｍａｘは一定値である必要はなく、各期間Ｔ１，Ｔ２，Ｔ３，…毎に異なる値であっても構わない。さらに、各期間Ｔ１，Ｔ２，Ｔ３，…は同一の時間的長さＴである必要もない。そして、各期間Ｔ１，Ｔ２，Ｔ３，…の時間的長さを同様の符号Ｔｉにより表すとすると、時間Ｔｉは時間ｔの整数倍となるに限るものではなく、ｔ×ｊｍａｘ≧Ｔｉ＞ｔ×（ｊｍａｘ−１）となれば良い（例えば、図２、図３に示す期間Ｔ１において、Ｄ１１〜Ｄ１５の時間はｔであるが、最後のＤ１６はｔよりも短くなる場合が挙げられる）。
【００５２】
ここで、ｊがｊｍａｘに達していないと判定された場合には、次の数式１に基づきゲインｇを算出する（ステップＳ１０）。
［数１］
【００５３】
ここに、数式１に現れる記号＜＞は、例えば平均値をとることを表し、Ｎが検出用画像部１５ａに含まれる画素の総数であるとすると、＜Ｄ０＞は次の数式２、＜Ｄｋｌ＞は次の数式３にそれぞれ示すようになる。
［数２］
［数３］
【００５４】
ここに、（ｘ，ｙ）は画素位置を、Ｄ０（ｘ，ｙ）およびＤｋｌ（ｘ，ｙ）は画素位置（ｘ，ｙ）における画素値をそれぞれ示し、記号Σは検出用画像部１５ａに含まれる全ての画素位置（ｘ，ｙ）の画素について画素値の総和をとることを示している。
【００５５】
ただし、数式１の右辺が分子および分母から構成されていて、１／Ｎが相殺されてしまうために、＜Ｄ０＞を次の数式４、＜Ｄｋｌ＞を次の数式５にそれぞれ示すように算出して、つまり数式１に現れる記号＜＞が検出用画像部１５ａ内の全画素値の総和をとることを表すものとしても構わない（数式１の結果として得られる値は等価である）。
［数４］
［数５］
【００５６】
なお、数式１の右辺の分母第２項は、ｉ＝１のときには該当する第２画像信号Ｄｋｌが存在しないために、このときの数式１の右辺の分母は＜Ｄ０＞のみとなる。
【００５７】
ここで、図２の例に従った数式１の計算例を幾つか示しておく。例えば、第２画像信号Ｄ１４が読み出されたときのゲインｇは、
ｇ＝（＜Ｄ０＞＋＜Ｄ１１＞＋＜Ｄ１２＞＋＜Ｄ１３＞＋＜Ｄ１４＞）／＜Ｄ０＞
となり、このときの表示基礎画像データはＥ０である。
【００５８】
また、第２画像信号Ｄ２２が読み出されたときのゲインｇは、
ｇ＝（＜Ｄ０＞＋＜Ｄ１１＞＋＜Ｄ１２＞＋＜Ｄ１３＞＋＜Ｄ１４＞＋＜Ｄ１５＞
＋＜Ｄ１６＞＋＜Ｄ２１＞＋＜Ｄ２２＞）
／（＜Ｄ０＞＋＜Ｄ１１＞＋＜Ｄ１２＞＋＜Ｄ１３＞＋＜Ｄ１４＞＋＜Ｄ１５＞
＋＜Ｄ１６＞）
となり、このときの表示基礎画像データは画素単位で積算したＥ０＋Ｅ１である。
【００５９】
さらに、撮像センサ１５がモノクロ撮像センサである場合には画素値の加算を単純に行って構わないが、カラー撮像センサである場合には輝度信号を算出した後に輝度信号について加算するか、もしくは輝度相当信号（例えば緑（Ｇ）信号）のみについて加算するかを行えば良い。
【００６０】
こうしてステップＳ１０においてゲインｇが算出されたら、次に、数式６に示すようにして、画素単位で積算された現時点の表示基礎画像データΣＥｋを算出し（ただし、毎回算出しなくても、一度算出した表示基礎画像データΣＥｋを記憶しておいて読み出しても良い）、さらに算出した表示基礎画像データΣＥｋにゲインｇを乗算することにより、表示用画像データを算出する（ステップＳ１１）。
［数６］
【００６１】
このようにメインＣＰＵ２７は、第１画像信号が読み出される毎に、第１画像信号を画素単位で積算し、表示の基礎となる表示基礎画像データを生成する表示基礎画像データ生成部として機能するようになっている。さらに、メインＣＰＵ２７は、第２画像信号が読み出される毎に第２画像信号を積算し、最新の第１画像信号が読み出された時点までの第２画像信号の積算値と、最新の第２画像信号が読み出された時点までの第２画像信号の積算値と、上述した表示基礎画像データと、に基づいて、露光を開始してから最新の第２画像信号が読み出された時点まで表示・記録用画像部１５ｂにより露光したときに得られるであろうと予測される表示用画像データを生成する表示用画像データ生成部としても機能するようになっている。
【００６２】
そして、算出された表示用画像データに対して、画像処理回路２９等により画素数変換や表示用のガンマ補正等の必要な画像処理を行った後に、ＬＣＤドライバ３３を介してＬＣＤ３４に画像を表示する（ステップＳ１２）。
【００６３】
その後、ｊをインクリメントしてから（ステップＳ１３）、ステップＳ７へ戻って上述したような処理を行う。
【００６４】
このような処理を行っている最中に、ステップＳ９においてｊがｊｍａｘに達したと判定された場合（すなわち、所定の第１時間Ｔｉが経過したと判定された場合）には、ステップＳ８において検出用画像部１５ａから第２画像信号Ｄｉｊｍａｘを読み出したのに加えて、さらに表示・記録用画像部１５ｂから第１画像信号Ｅｉを読み出す（ステップＳ１４）。図２や図３に示す例においては、ステップＳ８において例えば第２画像信号Ｄ１６が読み出され、このステップＳ１４において第１画像信号Ｅ１が読み出されることになる。
【００６５】
続いて、数式７に示すようにして、読み出された第１画像信号Ｅｉを表示基礎画像データに画素単位で積算して、その結果を表示用画像データとする（ステップＳ１５）。
［数７］
【００６６】
そして、算出された表示用画像データに対して、画像処理回路２９等により画素数変換や表示用のガンマ補正等の必要な画像処理を行った後に、ＬＣＤドライバ３３を介してＬＣＤ３４に画像を表示する（ステップＳ１６）。従って、このステップＳ１６では、ゲインｇが乗算されていない表示基礎画像データが表示に用いられることになる。
【００６７】
その後、ｉをインクリメントし、かつｊを１にリセットしてから（ステップＳ１７）、ステップＳ７へ戻って上述したような処理を行う。
【００６８】
図４に示す処理は、レリーズボタンが押下されている間、継続的に行われる。そして、レリーズボタンが開放され、バルブ撮影の終了を表す信号が発生されたと判定された場合には、メインＣＰＵ２７は、図５に示すような割り込み処理を行う。ここに図５は、撮像装置がライブビューバルブ動作を行っているときに、レリーズ終了インタラプトが入ったときの割り込み処理の流れを示すフローチャートである。
【００６９】
この割り込み処理に入ると、メインＣＰＵ２７は、シャッタ制御部２０および制御装置２１を介してシャッタ機構１４を駆動し、シャッタを閉じることにより撮像センサ１５の露光を終了する（ステップＳ２１）。
【００７０】
次に、表示・記録用画像部１５ｂから、未だ読み出していない最終の第１画像信号ＥＦを読み出す（ステップＳ２２）。なお、ここでは第１画像信号ＥＦのみを読み出しているが、撮像面全体の画像信号を読み出して、その中の第１画像信号ＥＦ部分を抽出するようにしても勿論構わない。
【００７１】
そして、読み出した最終の第１画像信号ＥＦを画素単位で表示基礎画像データΣＥｋに加算することにより、静止画像信号として用いるための表示・記録用画像信号を生成する（ステップＳ２３）。
【００７２】
そして、生成した静止画像信号に対して、画像処理回路２９等により画素数変換や表示用のガンマ補正等の必要な画像処理を行った後に、ＬＣＤドライバ３３を介してＬＣＤ３４に画像を表示する（ステップＳ２４）。
【００７３】
さらに、静止画像信号に対して画像処理回路２９等により記録用の画像処理を行い、圧縮伸張部３１により圧縮処理を行って、着脱メモリ３２に記録し（ステップＳ２５）、この処理を終了する。なお、ステップＳ２４の画像表示と、ステップＳ２５の画像記録とは、逆の順序で行っても構わないし、同時に並列処理しても良いことはいうまでもない。
【００７４】
次に、図６は、撮像装置において、コンピュータにより実行される図４の処理の具体例を示すフローチャートである。この図６を参照して、図４に示した処理をメインＣＰＵ２７により実行するときの具体的な処理プログラムの例を説明する。なお、図６および後述する図７においては、左辺がメモリを示す場合の左向き矢印は、右辺のデータを左辺のメモリに記憶させることを意味している。さらに、メモリに大括弧[]が付されているときは、そのメモリに記憶されているデータを表している。
【００７５】
この処理が開始されると、レリーズボタンが押下されるのを待機する（ステップＳ３１）。
【００７６】
ここで、レリーズボタンが押下されたと判定された場合には、メモリ領域の初期化を含む各種の初期設定を行う（ステップＳ３２）。この初期設定におけるメモリ領域の初期化としては、撮像面全体の画像データの読み出しを行ったときに得られる全画像データを累積加算したデータを記憶するメモリimg_all_add、全画像データの読み出しを行ったときにこの全画像データから抽出した検出用画像部１５ａの画像データと、検出用画像部１５ａのみの読み出しを行ったときに得られる画像データと、を累積加算したデータを記憶するメモリimg_part_add、にデータ０を記憶させることが行われる。
【００７７】
次に、シャッタ機構１４を開くことにより、撮像センサ１５の露光を開始する（ステップＳ３３）。
【００７８】
そして、露光を開始してから規定の初期時間Ｔ０（図２、図３参照）が経過するのを待機する（ステップＳ３４）。
【００７９】
ここで初期時間Ｔ０が経過したと判定された場合には、撮像面の全画素（図２および図３に示すような、第２画像信号Ｄ０および第１画像信号Ｅ０）を読み出して、メモリimg_allに記憶させる（ステップＳ３５）。ここにメモリimg_allは、撮像面全体の画像データの読み出しを行ったときに得られる全画像データを記憶するメモリである。
【００８０】
続いて、ステップＳ３５においてメモリimg_allに記憶した全画像データ中の、検出用画像部１５ａの画像データをメモリimg_part_from_allに記憶させる（ステップＳ３６）。
【００８１】
さらに、メモリimg_allに記憶されているデータと、メモリimg_all_addに記憶されているデータとを画素単位で加算して、その加算結果をメモリimg_all_addに上書きして記憶させる（ステップＳ３７）。
【００８２】
加えて、メモリimg_part_from_allに記憶されているデータと、メモリimg_part_addに記憶されているデータとを画素単位で加算して、その加算結果をメモリimg_part_addに上書きして記憶させる（ステップＳ３８）。
【００８３】
次に、メモリimg_all_addに記憶されているデータ中の、表示・記録用画像部１５ｂから読み出したデータ部分（表示・記録用画像データ）を、ＬＣＤ３４に画像として表示する（ステップＳ３９）。
【００８４】
そして、検出用画像部１５ａのみの読み出しを行うに当たっての初期設定を行う（ステップＳ４０）。ここでは、上述したステップＳ６において説明したように変数ｊに１を記憶させるとともに、メモリimg_part_addに記憶されているデータをメモリimg_part_add_baseに記憶させる。ここに、メモリimg_part_add_baseは、各期間Ｔ１，Ｔ２，Ｔ３，…における表示基礎画像データ（メモリimg_all_addに記憶されているデータ中の表示・記録用画像データ）を得た時点までに累積加算された検出用画像データを記憶するメモリであり、表示用画像データを得るために表示基礎画像データに乗算するゲインｇの分母を算出するための画像データを記憶するメモリである。
【００８５】
そして、検出用画像部１５ａのみの読み出しを行う際の露光時間である第２時間ｔが経過するのを待機する（ステップＳ４１）。
【００８６】
こうして第２時間ｔが経過したと判定されたところで、検出用画像部１５ａを読み出して、メモリimg_partに記憶させる（ステップＳ４２）。ここにメモリimg_partは、検出用画像部１５ａのみの読み出しを行ったときに得られる画像データを記憶するメモリである。
【００８７】
続いて、メモリimg_partに記憶されているデータと、メモリimg_part_addに記憶されているデータとを画素単位で加算して、その加算結果をメモリimg_part_addに上書きして記憶させる（ステップＳ４３）。これにより、メモリimg_part_addには、検出用画像部１５ａから最新の読み出しを行った時点までの検出用画像データの累積加算値が記憶されていることになる。
【００８８】
次に、メモリimg_part_add_baseに記憶されている全画素の平均値（または加算値）を算出するとともに、メモリimg_part_addに記憶されている全画素の平均値（または加算値）を算出して、後者を前者で割ることにより、ゲインｇを算出する。この処理は、図４に示したステップＳ１０の処理に相当する。そして、このゲインｇをメモリimg_all_addに記憶されている画像データに画素単位で乗算し、その結果をメモリimg_predictに記憶させる（ステップＳ４４）。ここに、メモリimg_predictは、露光を開始してから、検出用画像部１５ａから最新の読み出しを行った時点まで表示・記録用画像部１５ｂにより露光したときに得られるであろうと予測される画像データを含む全画像データを記憶するためのメモリである。なお、この処理は、図４に示したステップＳ１１の処理にほぼ相当している。
【００８９】
そして、メモリimg_predictに記憶されているデータ中の、表示・記録用画像データを、ＬＣＤ３４に画像として表示する（ステップＳ４５）。
【００９０】
その後、メモリｊに記憶されている値に１を加算して、その結果をメモリｊに上書きし（ステップＳ４６）、ｊに記憶されている値がｊｍａｘに達したか否かを判定する（ステップＳ４７）。
【００９１】
ここで、ｊがｊｍａｘに達していないと判定された場合には、ステップＳ４２へ戻って、検出用画像部１５ａから次の読み出しを行う。
【００９２】
一方、ステップＳ４７においてｊがｊｍａｘに達したと判定された場合には、検出用画像部１５ａのみの読み出しを行う際の露光時間である第２時間ｔが経過するのを待機して（ステップＳ４８）、第２時間ｔが経過したところでステップＳ３５へ戻って全画素読み出しの処理を行う。
【００９３】
次に、図７は、撮像装置において、コンピュータにより実行される図５の処理の具体例を示すフローチャートである。この図７を参照して、図５に示した処理をメインＣＰＵ２７により実行するときの具体的な処理プログラムの例を説明する。
【００９４】
この割り込み処理に入ると、まず、シャッタ機構１４を閉じることにより撮像センサ１５の露光を終了する（ステップＳ５１）。
【００９５】
次に、撮像面の全画素を読み出して、メモリimg_allに記憶させる（ステップＳ５２）。
【００９６】
続いて、メモリimg_allに記憶されているデータと、メモリimg_all_addに記憶されているデータとを画素単位で加算して、その加算結果をメモリimg_all_addに上書きして記憶させる（ステップＳ５３）。
【００９７】
そして、メモリimg_all_addに記憶されているデータから表示・記録用画像部分のみを抽出するトリミングを行い、抽出した表示・記録用画像データをメモリimg_validに記憶させる（ステップＳ５４）。ここに、メモリimg_validは、静止画像として確定した画像データを記憶するためのメモリである。
【００９８】
このメモリimg_validに記憶されているデータを、ＬＣＤ３４に画像として表示するとともに（ステップＳ５５）、着脱メモリ３２に記録して（ステップＳ５６）、この処理を終了する。
【００９９】
なお、上述では撮像面内の周縁部の例えば上端部に検出用画像部を設けたが、この場合には撮像面全体の画像信号を静止画像信号として用いる撮影（例えば、バルブ撮影でない通常の撮影や、ライブビューを行わないバルブ撮影）とはアスペクト比が異なってしまうことになる。そこで、ライブビューバルブ動作時には、得られる静止画像信号の周縁をさらにカットしてアスペクト比を通常撮影時と同一とするようにしても良い（ただし、パノラマ撮影等の通常とは異なるアスペクト比の画像を撮像するときには、アスペクト比調整が不要となる場合もある）。
【０１００】
また、上述では検出用画像部を撮像面内に１つ設ける場合を想定して説明したが、撮像面内の上端部および下端部の２箇所、あるいは上下左右各端部の４箇所、等のように複数設けて、これら複数箇所の平均値（あるいは加算値）をさらに求めてゲインｇを算出するようにしても良い。または、複数箇所の内の例えば最大の値を与える箇所（Ｓ／Ｎが良いと考えられる箇所）を選択してゲインｇを算出するようにすることも可能である。さらには、撮影者が複数箇所の内のどの箇所を検出用画像部として使用するかを選択することができるようにしても良いし、予備撮影を行って得られた画像を解析することにより最適と考えられる検出用画像部を撮像装置１１が自動的に選択するようにしても構わない。加えて、検出用画像部として用いる撮像面内の領域の大きさや形状なども固定的であるに限るものではなく、撮影者が任意に設定可能となるようにしても良い。これにより、検出用画像部から取得する第２画像信号を、撮影シーン等に応じて最適化することができる。
【０１０１】
そして、上述においては、撮像面内の周縁部を検出用画像部とする場合を想定して説明したが、これに限るものではなく、画像全体から選択した離散的な画素の集合を検出用画像部としても構わない。ただし、この場合には、検出用画像部を構成する各画素の近傍に位置する他の画素のデータを用いて補間を行い、最終的な静止画像データを求める必要がある。
【０１０２】
このような実施形態１によれば、バルブ撮影中に、露光を開始してから所定時間が経過するまでのバルブ撮影によって得られる画像信号を予測して、予測した画像信号よって表される画像を表示することができるために、画像の露光の経過を確認することが可能となり、バルブ撮影において所望の露光量の画像を容易に得ることが可能となる。
【０１０３】
また、静止画像信号の生成に供される第１画像信号の読み出し回数（ひいては加算回数）を、画像を表示する毎に読み出す場合に比して約数分の１に低減することができ、画像信号の読み出し回数に応じたノイズを低減することが可能となる。
【０１０４】
このとき、バルブ撮影中の画像の予測を、撮影レンズにより結像された被写体像を光電変換して得られた画像信号の一部に基づき行っているために、例えば夜明けのシーン等のような、被写体の輝度が徐々に変化する場合であっても、より正確な予測画像を表示することが可能となる。
【０１０５】
このような正確な予測は、最新の第２画像信号が読み出された時点までの第２画像信号の全画素を加算して得られる積算値を、最新の第１画像信号が読み出された時点までの第２画像信号の全画素を加算して得られる積算値で割った値をゲインとして算出し、算出したゲインを表示基礎画像データに乗算して表示用画像データを生成することにより行われる。
【０１０６】
そして、バルブ撮影の終了を表す信号に応答して第１画像信号を読み出し、読み出した第１画像信号を画素単位で表示基礎画像データに加算することにより静止画像信号を生成しているために、ユーザが操作したタイミング通りの露光時間の静止画像を得ることが可能となる。
【０１０７】
なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【符号の説明】
【０１０８】
１１…撮像装置
１２…フォーカスレンズ（撮影レンズ）
１３…絞り機構（撮影レンズ）
１４…シャッタ機構
１５…撮像センサ（撮像素子）
１５ａ…検出用画像部
１５ｂ…表示・記録用画像部
１６…フォーカス制御部
１７…モータ
１８…絞り制御部
１９…モータ
２０…シャッタ制御部
２１…制御装置
２３…ＴＧ回路（読出制御部）
２４…信号処理回路
２５…データバス
２６…ＡＥ処理部
２７…メインＣＰＵ（読出制御部、表示基礎画像データ生成部、表示用画像データ生成部、静止画像信号生成部）
２８…ＡＦ処理部
２９…画像処理回路
３０…内蔵メモリ
３１…圧縮伸張部
３２…着脱メモリ
３３…ＬＣＤドライバ
３４…ＬＣＤ（画像表示部）
３５…不揮発性メモリ
３６…入力部
３８…電源部
３９…画像演算部
【技術分野】
【０００１】
本発明は、バルブ撮影中の画像を表示する撮像装置に関する。
【背景技術】
【０００２】
明るい環境下での一般的な静止画像の撮影においては、露光時間は例えば１／２５０秒等の比較的短時間であるために、撮影して得られた画像は撮影後に表示が行われるのみである。しかし、夜景や夜空などの暗い被写体を撮影する場合には、例えば１分などの長時間露光が必要になるが、その間、露光中の画像が全く表示されないと、撮影者が露光の経過を把握することができず不便である。
【０００３】
そこで、長時間露光の場合に露光中の画像を表示する技術が提案されている。
【０００４】
例えば、特開２００５−１１７３９５号公報には、長秒撮影の本露光動作を行っている期間中、所定の周期で撮像素子から画素信号を読み出すとともに、読み出した画素信号をその都度加算して、加算した画素信号を表示デバイスに画像として表示する撮像装置が記載されている。これにより、撮影者は露光経過中の画像の様子を視認することが可能となる。
【０００５】
このような従来の技術の具体例を、図８を参照して説明する。図８は、露光中に全画素の画像信号を１回以上読み出して表示するとともに、読み出した画像信号を加算して最終画像を得る様子を示すタイミングチャートである。
【０００６】
なおこの図８には、撮像センサが例えばＣＭＯＳセンサである場合、すなわち、いわゆるローリング読み出しを行っているために、１ライン目を読み出す時点と、最終ライン目を読み出す時点とで時間差が生じている場合を図示している。
【０００７】
露光開始から露光終了までの期間は、規定時間を単位として幾つかに区切られており、規定時間が経過する毎に撮像センサから全画素の画像信号が読み出される。１回目に読み出された画像信号は、それ以前に加算された画像がないために、そのまま加算画像となり、さらに表示画像として用いられる。２回目もしくはそれ以降に読み出された画像信号は、それまでの加算画像に対して加算され（つまり積算され）、加算後の画像が表示画像として用いられる。その後、撮影が終了したら、撮影終了時までに電荷が蓄積された画像をさらに読み出してそれまでの加算画像に対して加算し、最終画像を得ることになる。
【０００８】
また、特開２００９−２３９５９９号公報には、所定の周期で被写体像を繰り返し撮像し、それによって得られた複数の画像を加算演算して加算画像を生成する撮像装置において、繰り返し撮像動作の実行中に手動操作部材が操作された場合に、それまでの加算画像に基づいて未来のタイミングにおける加算画像をシミュレートした画像を生成し、生成したシミュレーション画像を表示する撮像装置が記載されている。そして、それまでの加算画像にかけるゲインに比例した値が、未来のタイミングを示す時間となっている。
【０００９】
ところで、画像信号を読み出すときには、回路的なノイズが撮影画像に重畳することが知られている。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００５−１１７３９５号公報
【特許文献２】特開２００９−２３９５９９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
従って、上記特開２００５−１１７３９５号公報に記載されたような画像全体（すなわち、全画素）を複数回読み出す技術では、画像を読み出す回数が各画素を読み出す回数と等しくなるために、読み出し回数（ひいては画像の加算枚数）に応じた量のノイズが最終的に得られる撮影画像に重畳し、画質が劣化してしまうことになる。
【００１２】
また、特開２００９−２３９５９９号公報に記載の技術では、任意の時点の画像をシミュレーションにより得ることができるために、被写体像を繰り返し撮像する所定の周期を長く設定することが可能であり、すなわち、読み出す回数を少なくすればノイズを低減することは可能である。しかしながら、該公報に記載されたような時間に応じたゲインをかける技術では、例えば夜明けのシーン等のような、被写体の輝度が徐々に変化する場合には対応することができず、シミュレーション画像と現実に得られる画像との間に相違が生じることになってしまう。
【００１３】
本発明は上記事情に鑑みてなされたものであり、画像信号の読み出し回数に応じたノイズを低減しながら、バルブ撮影中の画像をより正確に予測して表示することができる撮像装置を提供することを目的としている。
【課題を解決するための手段】
【００１４】
上記の目的を達成するために、本発明のある態様による撮像装置は、バルブ撮影中に、露光を開始してから所定時間が経過するまでの該バルブ撮影によって得られる画像信号を予測して、予測した該画像信号よって表される画像を表示する撮像装置において、撮影レンズにより結像された被写体像を画像信号に変換する画素が複数配列された第１画素部および第２画素部を含む撮像面を有する撮像素子と、露光開始後の初期時間が経過した後に上記第１画素部から第１画像信号を、上記第２画素部から第２画像信号をそれぞれ読み出し、その後の露光期間中に所定の第１時間が経過する毎に上記第１画素部から第１画像信号を、上記第２画素部から第２画像信号をそれぞれ読み出すとともに、上記第１時間が経過するまでの間に、上記第１時間よりも短い第２時間が経過する毎に上記第２画素部から第２画像信号を読み出す読出制御部と、上記第１画像信号が読み出される毎に、該第１画像信号を画素単位で積算し、表示の基礎となる表示基礎画像データを生成する表示基礎画像データ生成部と、上記第２画像信号が読み出される毎に該第２画像信号を積算し、最新の第１画像信号が読み出された時点までの第２画像信号の積算値と、最新の第２画像信号が読み出された時点までの第２画像信号の積算値と、上記表示基礎画像データと、に基づいて、露光を開始してから上記最新の第２画像信号が読み出された時点まで上記第１画素部により露光したときに得られるであろうと予測される表示用画像データを生成する表示用画像データ生成部と、上記第１画像信号が読み出された直後には上記表示基礎画像データによって表される画像を表示し、それ以外の上記第２時間が経過する毎には上記表示用画像データによって表される画像を表示する画像表示部と、を備えたものである。
【発明の効果】
【００１５】
本発明の撮像装置によれば、画像信号の読み出し回数に応じたノイズを低減しながら、バルブ撮影中の画像をより正確に予測して表示することが可能となる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施形態１における撮像装置の回路構成等を示すブロック図。
【図２】上記実施形態１の撮像装置における、ライブビューバルブ動作時の露光および画像読み出しの例を示すタイミングチャート。
【図３】上記実施形態１の撮像装置における、ライブビューバルブ動作時の露光および画像読み出しの例を、表示画像の様子も含めて示すタイミングチャート。
【図４】上記実施形態１の撮像装置におけるライブビューバルブ動作時の処理の流れを示すフローチャート。
【図５】上記実施形態１の撮像装置がライブビューバルブ動作を行っているときに、レリーズ終了インタラプトが入ったときの割り込み処理の流れを示すフローチャート。
【図６】上記実施形態１の撮像装置において、コンピュータにより実行される図４の処理の具体例を示すフローチャート。
【図７】上記実施形態１の撮像装置において、コンピュータにより実行される図５の処理の具体例を示すフローチャート。
【図８】従来において、露光中に全画素の画像信号を１回以上読み出して表示するとともに、読み出した画像信号を加算して最終画像を得る様子を示すタイミングチャート。
【発明を実施するための形態】
【００１７】
以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］
【００１８】
図１から図７は本発明の実施形態１を示したものであり、図１は撮像装置１１の回路構成等を示すブロック図である。
【００１９】
この撮像装置１１は、例えばデジタルカメラとして構成されていて、フォーカスレンズ１２と絞り機構１３とを含む撮影レンズと、シャッタ機構１４と、撮像センサ１５と、フォーカス制御部１６と、モータ１７と、絞り制御部１８と、モータ１９と、シャッタ制御部２０と、シャッタ機構１４用の制御装置２１と、ＴＧ回路２３と、信号処理回路２４と、データバス２５と、ＡＥ処理部２６と、メインＣＰＵ２７と、ＡＦ処理部２８と、画像処理回路２９と、内蔵メモリ３０と、圧縮伸張部３１と、着脱メモリ３２と、ＬＣＤドライバ３３と、ＬＣＤ３４と、不揮発性メモリ３５と、入力部３６と、電源部３８と、画像演算部３９と、を備えている。
【００２０】
撮影レンズは、被写体の光学像を撮像センサ１５の撮像面上に結像するための撮影光学系である。フォーカスレンズ１２は、撮影レンズの焦点位置を調節することにより、撮像センサ１５の撮像面上に結像される光学像が合焦するようにするためのものである。絞り機構１３は、撮影レンズを通過する光束の通過範囲を規制することにより、露出を制御するためのものである。
【００２１】
シャッタ機構１４は、撮影レンズから撮像センサ１５へ至る光束の通過時間を規制することにより、露出を制御するためのものである。ここにシャッタ機構１４は、本実施形態においては、例えばメカニカルシャッタとして構成されている。
【００２２】
撮像センサ１５は、受光した光量に応じた量の電荷を蓄積する画素が二次元状に複数配列された撮像面を有する撮像素子である。そして、撮像センサ１５は、シャッタ機構１４を介して撮影レンズにより結像された被写体の光学像を画素によって光電変換して、電気的な画像信号を生成し出力するようになっている。なお、この撮像センサ１５は、撮像面全体を読み出すことができかつ撮像面内の一部の領域のみを読み出すことができるものであれば良く、例えばＸ−Ｙアドレス型の撮像素子、より具体的にはＣＭＯＳセンサが一例として挙げられる。これにより、撮像センサ１５は、後述するライブビューバルブ動作時には、撮像面全体の読み出しが第１時間が経過する毎に行われ、この第１時間が経過するまでの期間内において、さらに第１時間よりも短い第２時間が経過する毎に第２画素部である検出用画像部の読み出しが行われる。すなわち、図３にも示すように、撮像センサ１５の撮像面は、ライブビューバルブ動作時に、第１画素部である表示・記録用画像部１５ｂと、第２画素部である検出用画像部１５ａと、の２つの領域に分かれて機能するようになっている。これらの内の表示・記録用画像部１５ｂは静止画像信号の生成に用いられるが、検出用画像部１５ａは撮像センサ１５への信号電荷の蓄積の時間経過をモニタするために用いられ、静止画像信号の生成には用いられない。従って、検出用画像部１５ａは、撮像センサ１５の撮像領域の例えば周辺における上端、下端、左端、右端などに、表示・記録用画像部１５ｂよりも小さな面積の領域として設けられることになる。
【００２３】
フォーカス制御部１６は、メインＣＰＵ２７の制御に基づき、モータ１７を介してフォーカスレンズ１２を駆動し、合焦させるように制御するものである。
【００２４】
絞り制御部１８は、メインＣＰＵ２７の制御に基づき、モータ１９を介して絞り機構１３を駆動し、露出値に応じた絞り開口径となるように制御するものである。
【００２５】
シャッタ制御部２０は、メインＣＰＵ２７の制御に基づき、シャッタ機構１４用の制御装置２１を介してシャッタ機構１４を駆動し、露出値に応じた露光時間となるように制御するものである。
【００２６】
ＴＧ回路２３は、メインＣＰＵ２７の制御に基づき、撮像センサ１５を駆動するためのタイミング信号を出力するものである。撮像センサ１５からの画像信号の読み出し（撮像面全体の読み出し、あるいは検出用画像部１５ａのみの読み出し（さらにあるいは、必要である場合には表示・記録用画像部１５ｂのみの読み出し））は、メインＣＰＵ２７の制御に基づいて、読出制御部であるこのＴＧ回路２３により行われる。
【００２７】
信号処理回路２４は、撮像センサ１５から読み出された画像信号に対して、相関二重サンプリングを行うためのＣＤＳ（Correlated Double Sampling）、信号レベルを増幅する（所定増幅量を基準とすれば、増減する）ためのアンプ回路、アナログ信号をデジタルデータに変換するためのＡＤＣ（Analog to Digital converter）等を含んで構成されている。そして、信号処理回路２４の出力側はデータバス２５に接続されている。従って、信号処理回路２４は、処理結果として得られるデジタルデータを、このデータバス２５を介して、例えば内蔵メモリ３０やその他の各回路へ出力するようになっている。
【００２８】
データバス２５は、信号処理回路２４が接続されるとともに、ＡＥ処理部２６と、メインＣＰＵ２７と、ＡＦ処理部２８と、画像処理回路２９と、内蔵メモリ３０と、圧縮伸張部３１と、着脱メモリ３２と、ＬＣＤドライバ３３と、不揮発性メモリ３５と、画像演算部３９とが双方向に接続されていて、制御信号や各種のデータを相互に授受するためのものである。
【００２９】
ＡＥ処理部２６は、撮像センサ１５からの撮影画像信号に基づいてＡＥ評価値を算出し、算出結果をメインＣＰＵ２７に出力するものである。
【００３０】
ＡＦ処理部２８は、撮像センサ１５からの撮影画像信号に基づいてＡＦ評価値を算出し、算出結果をメインＣＰＵ２７に出力するものである。
【００３１】
画像処理回路２９は、内蔵メモリ３０に格納されている画像信号に対して、ホワイトバランス調整、エッジ処理等の処理を施して、処理結果の画像信号を内蔵メモリ３０に再び格納するものである。
【００３２】
内蔵メモリ３０は、処理中の画像信号を記憶するのに用いられると共に、メインＣＰＵ２７が処理を行う際のメモリとしても用いられる例えば揮発性の記憶媒体である。この内蔵メモリ３０は、メインＣＰＵ２７およびＴＧ回路２３により表示・記録用画像部１５ｂの画像信号（第１画像信号）が読み出される毎に、読み出された第１画像信号をメインＣＰＵ２７が画素単位で積算することにより生成される、表示の基礎となる表示基礎画像データを記憶する。また、内蔵メモリ３０は、メインＣＰＵ２７およびＴＧ回路２３により検出用画像部１５ａの画像信号（第２画像信号）が読み出される毎に、読み出された第２画像信号を一時的に記憶する。
【００３３】
圧縮伸張部３１は、画像信号を圧縮して着脱メモリ３２に格納すると共に、着脱メモリ３２に圧縮して格納されている画像信号を伸張するものである。
【００３４】
着脱メモリ３２は、処理後の画像信号（例えば圧縮処理後の画像信号）を不揮発に記録するための記録媒体であり、例えばメモリカードなどとして撮像装置１１に対して着脱可能に構成されている。従って、この着脱メモリ３２は、撮像装置１１に固有の構成でなくても構わない。
【００３５】
ＬＣＤドライバ３３は、液晶表示部であるＬＣＤ３４を駆動して、信号処理回路２４から出力されるライブビュー画像（撮像センサ１５によりリアルタイムで撮影されている画像）を表示させたり、撮影された画像を撮影後に確認するために表示させたりするものである。このＬＣＤ３４は、ライブビューバルブ動作時に、表示・記録用画像部１５ｂが読み出された直後には表示基礎画像データによって表される画像を表示し、それ以外の第２時間が経過する毎には表示基礎画像データに基づいて後述するように生成される表示用画像データによって表される画像を表示する画像表示部となっている。
【００３６】
不揮発性メモリ３５は、メインＣＰＵ２７により実行される種々の処理プログラムや、処理プログラムを実行する際に必要な各種のデータ、さらにはユーザの設定データ等を格納する記録媒体である。
【００３７】
入力部３６は、この撮像装置１１の電源をオン／オフするための電源スイッチ、撮影動作を行わせるためのレリーズボタン、バルブ撮影モードを含む撮影モードやライブビューモードの設定等を行うための操作スイッチ、などを含んで構成される操作入力手段である。なお、撮影レンズが電動ズームレンズである場合には、この入力部３６は、ズームスイッチをさらに含んで構成される。また、バルブ撮影モードとライブビューモードとが同時に設定されている場合には、後述するようなライブビューバルブの動作（バルブ撮影中に露光中の画像がＬＣＤ３４に随時表示される動作）が行われることになる。
【００３８】
電源部３８は、バッテリや乾電池等を含んで構成され、メインＣＰＵ２７等の回路を動作させる電流、モータ１７，１９等の駆動源を駆動する電流、ＬＣＤ３４を駆動するための電流などを、それぞれに応じた電圧で供給するものである。
【００３９】
画像演算部３９は、内蔵メモリ３０に格納されている撮影画像信号に対して、加算平均処理を行い、その結果得られた生成画像を内蔵メモリ３０に再び格納するものである。
【００４０】
メインＣＰＵ２７は、この撮像装置１１全体の動作を制御するものである。例えば、メインＣＰＵ２７は、上述したＡＦ評価値に基づいて被写体距離を算出しフォーカス制御部１６を制御してモータ１７を駆動させるとともに、上述したＡＥ評価値に基づいて絞り値および露光時間（シャッタ速度）を算出し絞り制御部１８およびシャッタ制御部２０を制御してモータ１９および制御装置２１を駆動させる。さらに、メインＣＰＵ２７は、ＴＧ回路２３を介して、撮像センサ１５の動作（例えば、撮像センサ１５からの読出動作）の制御を行う読出制御部である。加えて、メインＣＰＵ２７は、ライブビューを設定する操作が入力部３６に対して行われた場合には、ライブビューの動作を開始するように制御を行う。このライブビューモードが設定されているときにバルブ撮影が行われれば、メインＣＰＵ２７は、後述するようなライブビューバルブの動作を行うように制御することになる。そして、メインＣＰＵ２７は、後述するように、表示基礎画像データ生成部および表示用画像データ生成部としても機能するようになっている。また、メインＣＰＵ２７は、バルブ撮影の終了を表す信号に応答して表示・記録用画像部１５ｂを読み出し、読み出した第１画像信号を画素単位で表示基礎画像データに加算することにより、静止画像信号をさらに生成する静止画像信号生成部としても機能するようになっている。
【００４１】
次に、図２は撮像装置におけるライブビューバルブ動作時の撮像面における露光および画像読み出しの例を示すタイミングチャート、図３は撮像装置におけるライブビューバルブ動作時の露光および画像読み出しの例を表示画像の様子も含めて示すタイミングチャート、図４は撮像装置におけるライブビューバルブ動作時の処理の流れを示すフローチャートである。なお、図３には図２におけるＴ０およびＴ１の期間までを図示し、その後の期間の図示は省略している。
【００４２】
ライブビューモードとバルブ撮影モードとが同時に設定されると、このライブビューバルブ動作が開始され、メインＣＰＵ２７は、入力部３６のレリーズボタンが押下されるのを待機する（ステップＳ１）。
【００４３】
そして、レリーズボタンが押下され、バルブ撮影の開始を表す信号が発生されたと判定された場合には、メインＣＰＵ２７は、シャッタ制御部２０および制御装置２１を介してシャッタ機構１４を駆動し、シャッタを開放することにより撮像センサ１５の露光を開始する（ステップＳ２）。この露光開始とともに、メインＣＰＵ２７は、自己の内部に備えたクロックを用いて時間の計測を行う。
【００４４】
次に、メインＣＰＵ２７は、露光を開始してから規定の初期時間Ｔ０（図２、図３参照）が経過するのを待機する（ステップＳ３）。この規定の初期時間Ｔ０は、検出用画像部１５ａから後述するように第２画像信号を読み出す第２時間ｔと（同一であっても良いが）同一である必要はなく、また、表示・記録用画像部１５ｂから後述するように第１画像信号を読み出す各期間Ｔ１，Ｔ２，Ｔ３，…の長さである第１時間と（同一であっても良いが）同一である必要もない。
【００４５】
こうして、初期時間Ｔ０が経過したと判定された場合には、メインＣＰＵ２７は、読出制御部として機能して、図２および図３に示すように、検出用画像部１５ａから第２画像信号Ｄ０を読み出すとともに、表示・記録用画像部１５ｂから第１画像信号Ｅ０を読み出して、信号処理回路２４により処理を行った後に、内蔵メモリ３０に記憶させる（ステップＳ４）。ここで読み出した第１画像信号Ｅ０は、次の期間Ｔ１における表示基礎画像データとなる。また、ここで読み出した第２画像信号Ｄ０は、次の期間Ｔ１における表示用画像データを生成するためのゲインを算出する際の基準として用いられる。
【００４６】
そして、第１画像信号Ｅ０に対して、画像処理回路２９等により画素数変換や表示用のガンマ補正等の必要な画像処理を行った後に、ＬＣＤドライバ３３を介してＬＣＤ３４に画像を表示する（ステップＳ５）。
【００４７】
次に、変数ｉ，ｊにそれぞれ１を代入する初期設定を行う（ステップＳ６）。ここに、変数ｉは期間Ｔ１，Ｔ２，Ｔ３，…の何れの期間Ｔｉであるかを示す指標である。また、変数ｊは、変数ｉで定まる期間Ｔｉにおいて、上述した第１時間よりも短い第２時間ｔの何倍の時間が経過したかを示す指標である。
【００４８】
そして、上述したステップＳ４において第１画像信号Ｅ０および第２画像信号Ｄ０を読み出してからの経過時間が、第２時間ｔに達するのを待機する（ステップＳ７）。
【００４９】
こうして第２時間ｔに達したと判定されたところで、メインＣＰＵ２７は、読出制御部として機能して、図２および図３に示すように、検出用画像部１５ａから第２画像信号Ｄｉｊ（最初の時点ではｉ＝ｊ＝１であるためにＤ１１）を読み出して、信号処理回路２４により処理を行った後に、内蔵メモリ３０に記憶させる（ステップＳ８）。このように、この時点では例えば第２画像信号Ｄ１１のみを読み出し、第１画像信号Ｅ０の読み出しは行わない。
【００５０】
そして、メインＣＰＵ２７は、ｊがｊｍａｘに達したか否かを判定する（ステップＳ９）。ここに、ｊｍａｘは、期間Ｔｉにおいて第２画像信号Ｄｉｊを読み出す回数を示す正の整数（変数ｊが取り得る上限値）であり、図２や図３に示す例においては６となる。従って、各期間Ｔ１，Ｔ２，Ｔ３，…の時間的長さがＴであるとするとｔ×ｊｍａｘ＝Ｔ（すなわち、時間Ｔは時間ｔのｊｍａｘ倍となる）である。
【００５１】
ただし、ｊｍａｘは一定値である必要はなく、各期間Ｔ１，Ｔ２，Ｔ３，…毎に異なる値であっても構わない。さらに、各期間Ｔ１，Ｔ２，Ｔ３，…は同一の時間的長さＴである必要もない。そして、各期間Ｔ１，Ｔ２，Ｔ３，…の時間的長さを同様の符号Ｔｉにより表すとすると、時間Ｔｉは時間ｔの整数倍となるに限るものではなく、ｔ×ｊｍａｘ≧Ｔｉ＞ｔ×（ｊｍａｘ−１）となれば良い（例えば、図２、図３に示す期間Ｔ１において、Ｄ１１〜Ｄ１５の時間はｔであるが、最後のＤ１６はｔよりも短くなる場合が挙げられる）。
【００５２】
ここで、ｊがｊｍａｘに達していないと判定された場合には、次の数式１に基づきゲインｇを算出する（ステップＳ１０）。
［数１］
【００５３】
ここに、数式１に現れる記号＜＞は、例えば平均値をとることを表し、Ｎが検出用画像部１５ａに含まれる画素の総数であるとすると、＜Ｄ０＞は次の数式２、＜Ｄｋｌ＞は次の数式３にそれぞれ示すようになる。
［数２］
［数３］
【００５４】
ここに、（ｘ，ｙ）は画素位置を、Ｄ０（ｘ，ｙ）およびＤｋｌ（ｘ，ｙ）は画素位置（ｘ，ｙ）における画素値をそれぞれ示し、記号Σは検出用画像部１５ａに含まれる全ての画素位置（ｘ，ｙ）の画素について画素値の総和をとることを示している。
【００５５】
ただし、数式１の右辺が分子および分母から構成されていて、１／Ｎが相殺されてしまうために、＜Ｄ０＞を次の数式４、＜Ｄｋｌ＞を次の数式５にそれぞれ示すように算出して、つまり数式１に現れる記号＜＞が検出用画像部１５ａ内の全画素値の総和をとることを表すものとしても構わない（数式１の結果として得られる値は等価である）。
［数４］
［数５］
【００５６】
なお、数式１の右辺の分母第２項は、ｉ＝１のときには該当する第２画像信号Ｄｋｌが存在しないために、このときの数式１の右辺の分母は＜Ｄ０＞のみとなる。
【００５７】
ここで、図２の例に従った数式１の計算例を幾つか示しておく。例えば、第２画像信号Ｄ１４が読み出されたときのゲインｇは、
ｇ＝（＜Ｄ０＞＋＜Ｄ１１＞＋＜Ｄ１２＞＋＜Ｄ１３＞＋＜Ｄ１４＞）／＜Ｄ０＞
となり、このときの表示基礎画像データはＥ０である。
【００５８】
また、第２画像信号Ｄ２２が読み出されたときのゲインｇは、
ｇ＝（＜Ｄ０＞＋＜Ｄ１１＞＋＜Ｄ１２＞＋＜Ｄ１３＞＋＜Ｄ１４＞＋＜Ｄ１５＞
＋＜Ｄ１６＞＋＜Ｄ２１＞＋＜Ｄ２２＞）
／（＜Ｄ０＞＋＜Ｄ１１＞＋＜Ｄ１２＞＋＜Ｄ１３＞＋＜Ｄ１４＞＋＜Ｄ１５＞
＋＜Ｄ１６＞）
となり、このときの表示基礎画像データは画素単位で積算したＥ０＋Ｅ１である。
【００５９】
さらに、撮像センサ１５がモノクロ撮像センサである場合には画素値の加算を単純に行って構わないが、カラー撮像センサである場合には輝度信号を算出した後に輝度信号について加算するか、もしくは輝度相当信号（例えば緑（Ｇ）信号）のみについて加算するかを行えば良い。
【００６０】
こうしてステップＳ１０においてゲインｇが算出されたら、次に、数式６に示すようにして、画素単位で積算された現時点の表示基礎画像データΣＥｋを算出し（ただし、毎回算出しなくても、一度算出した表示基礎画像データΣＥｋを記憶しておいて読み出しても良い）、さらに算出した表示基礎画像データΣＥｋにゲインｇを乗算することにより、表示用画像データを算出する（ステップＳ１１）。
［数６］
【００６１】
このようにメインＣＰＵ２７は、第１画像信号が読み出される毎に、第１画像信号を画素単位で積算し、表示の基礎となる表示基礎画像データを生成する表示基礎画像データ生成部として機能するようになっている。さらに、メインＣＰＵ２７は、第２画像信号が読み出される毎に第２画像信号を積算し、最新の第１画像信号が読み出された時点までの第２画像信号の積算値と、最新の第２画像信号が読み出された時点までの第２画像信号の積算値と、上述した表示基礎画像データと、に基づいて、露光を開始してから最新の第２画像信号が読み出された時点まで表示・記録用画像部１５ｂにより露光したときに得られるであろうと予測される表示用画像データを生成する表示用画像データ生成部としても機能するようになっている。
【００６２】
そして、算出された表示用画像データに対して、画像処理回路２９等により画素数変換や表示用のガンマ補正等の必要な画像処理を行った後に、ＬＣＤドライバ３３を介してＬＣＤ３４に画像を表示する（ステップＳ１２）。
【００６３】
その後、ｊをインクリメントしてから（ステップＳ１３）、ステップＳ７へ戻って上述したような処理を行う。
【００６４】
このような処理を行っている最中に、ステップＳ９においてｊがｊｍａｘに達したと判定された場合（すなわち、所定の第１時間Ｔｉが経過したと判定された場合）には、ステップＳ８において検出用画像部１５ａから第２画像信号Ｄｉｊｍａｘを読み出したのに加えて、さらに表示・記録用画像部１５ｂから第１画像信号Ｅｉを読み出す（ステップＳ１４）。図２や図３に示す例においては、ステップＳ８において例えば第２画像信号Ｄ１６が読み出され、このステップＳ１４において第１画像信号Ｅ１が読み出されることになる。
【００６５】
続いて、数式７に示すようにして、読み出された第１画像信号Ｅｉを表示基礎画像データに画素単位で積算して、その結果を表示用画像データとする（ステップＳ１５）。
［数７］
【００６６】
そして、算出された表示用画像データに対して、画像処理回路２９等により画素数変換や表示用のガンマ補正等の必要な画像処理を行った後に、ＬＣＤドライバ３３を介してＬＣＤ３４に画像を表示する（ステップＳ１６）。従って、このステップＳ１６では、ゲインｇが乗算されていない表示基礎画像データが表示に用いられることになる。
【００６７】
その後、ｉをインクリメントし、かつｊを１にリセットしてから（ステップＳ１７）、ステップＳ７へ戻って上述したような処理を行う。
【００６８】
図４に示す処理は、レリーズボタンが押下されている間、継続的に行われる。そして、レリーズボタンが開放され、バルブ撮影の終了を表す信号が発生されたと判定された場合には、メインＣＰＵ２７は、図５に示すような割り込み処理を行う。ここに図５は、撮像装置がライブビューバルブ動作を行っているときに、レリーズ終了インタラプトが入ったときの割り込み処理の流れを示すフローチャートである。
【００６９】
この割り込み処理に入ると、メインＣＰＵ２７は、シャッタ制御部２０および制御装置２１を介してシャッタ機構１４を駆動し、シャッタを閉じることにより撮像センサ１５の露光を終了する（ステップＳ２１）。
【００７０】
次に、表示・記録用画像部１５ｂから、未だ読み出していない最終の第１画像信号ＥＦを読み出す（ステップＳ２２）。なお、ここでは第１画像信号ＥＦのみを読み出しているが、撮像面全体の画像信号を読み出して、その中の第１画像信号ＥＦ部分を抽出するようにしても勿論構わない。
【００７１】
そして、読み出した最終の第１画像信号ＥＦを画素単位で表示基礎画像データΣＥｋに加算することにより、静止画像信号として用いるための表示・記録用画像信号を生成する（ステップＳ２３）。
【００７２】
そして、生成した静止画像信号に対して、画像処理回路２９等により画素数変換や表示用のガンマ補正等の必要な画像処理を行った後に、ＬＣＤドライバ３３を介してＬＣＤ３４に画像を表示する（ステップＳ２４）。
【００７３】
さらに、静止画像信号に対して画像処理回路２９等により記録用の画像処理を行い、圧縮伸張部３１により圧縮処理を行って、着脱メモリ３２に記録し（ステップＳ２５）、この処理を終了する。なお、ステップＳ２４の画像表示と、ステップＳ２５の画像記録とは、逆の順序で行っても構わないし、同時に並列処理しても良いことはいうまでもない。
【００７４】
次に、図６は、撮像装置において、コンピュータにより実行される図４の処理の具体例を示すフローチャートである。この図６を参照して、図４に示した処理をメインＣＰＵ２７により実行するときの具体的な処理プログラムの例を説明する。なお、図６および後述する図７においては、左辺がメモリを示す場合の左向き矢印は、右辺のデータを左辺のメモリに記憶させることを意味している。さらに、メモリに大括弧[]が付されているときは、そのメモリに記憶されているデータを表している。
【００７５】
この処理が開始されると、レリーズボタンが押下されるのを待機する（ステップＳ３１）。
【００７６】
ここで、レリーズボタンが押下されたと判定された場合には、メモリ領域の初期化を含む各種の初期設定を行う（ステップＳ３２）。この初期設定におけるメモリ領域の初期化としては、撮像面全体の画像データの読み出しを行ったときに得られる全画像データを累積加算したデータを記憶するメモリimg_all_add、全画像データの読み出しを行ったときにこの全画像データから抽出した検出用画像部１５ａの画像データと、検出用画像部１５ａのみの読み出しを行ったときに得られる画像データと、を累積加算したデータを記憶するメモリimg_part_add、にデータ０を記憶させることが行われる。
【００７７】
次に、シャッタ機構１４を開くことにより、撮像センサ１５の露光を開始する（ステップＳ３３）。
【００７８】
そして、露光を開始してから規定の初期時間Ｔ０（図２、図３参照）が経過するのを待機する（ステップＳ３４）。
【００７９】
ここで初期時間Ｔ０が経過したと判定された場合には、撮像面の全画素（図２および図３に示すような、第２画像信号Ｄ０および第１画像信号Ｅ０）を読み出して、メモリimg_allに記憶させる（ステップＳ３５）。ここにメモリimg_allは、撮像面全体の画像データの読み出しを行ったときに得られる全画像データを記憶するメモリである。
【００８０】
続いて、ステップＳ３５においてメモリimg_allに記憶した全画像データ中の、検出用画像部１５ａの画像データをメモリimg_part_from_allに記憶させる（ステップＳ３６）。
【００８１】
さらに、メモリimg_allに記憶されているデータと、メモリimg_all_addに記憶されているデータとを画素単位で加算して、その加算結果をメモリimg_all_addに上書きして記憶させる（ステップＳ３７）。
【００８２】
加えて、メモリimg_part_from_allに記憶されているデータと、メモリimg_part_addに記憶されているデータとを画素単位で加算して、その加算結果をメモリimg_part_addに上書きして記憶させる（ステップＳ３８）。
【００８３】
次に、メモリimg_all_addに記憶されているデータ中の、表示・記録用画像部１５ｂから読み出したデータ部分（表示・記録用画像データ）を、ＬＣＤ３４に画像として表示する（ステップＳ３９）。
【００８４】
そして、検出用画像部１５ａのみの読み出しを行うに当たっての初期設定を行う（ステップＳ４０）。ここでは、上述したステップＳ６において説明したように変数ｊに１を記憶させるとともに、メモリimg_part_addに記憶されているデータをメモリimg_part_add_baseに記憶させる。ここに、メモリimg_part_add_baseは、各期間Ｔ１，Ｔ２，Ｔ３，…における表示基礎画像データ（メモリimg_all_addに記憶されているデータ中の表示・記録用画像データ）を得た時点までに累積加算された検出用画像データを記憶するメモリであり、表示用画像データを得るために表示基礎画像データに乗算するゲインｇの分母を算出するための画像データを記憶するメモリである。
【００８５】
そして、検出用画像部１５ａのみの読み出しを行う際の露光時間である第２時間ｔが経過するのを待機する（ステップＳ４１）。
【００８６】
こうして第２時間ｔが経過したと判定されたところで、検出用画像部１５ａを読み出して、メモリimg_partに記憶させる（ステップＳ４２）。ここにメモリimg_partは、検出用画像部１５ａのみの読み出しを行ったときに得られる画像データを記憶するメモリである。
【００８７】
続いて、メモリimg_partに記憶されているデータと、メモリimg_part_addに記憶されているデータとを画素単位で加算して、その加算結果をメモリimg_part_addに上書きして記憶させる（ステップＳ４３）。これにより、メモリimg_part_addには、検出用画像部１５ａから最新の読み出しを行った時点までの検出用画像データの累積加算値が記憶されていることになる。
【００８８】
次に、メモリimg_part_add_baseに記憶されている全画素の平均値（または加算値）を算出するとともに、メモリimg_part_addに記憶されている全画素の平均値（または加算値）を算出して、後者を前者で割ることにより、ゲインｇを算出する。この処理は、図４に示したステップＳ１０の処理に相当する。そして、このゲインｇをメモリimg_all_addに記憶されている画像データに画素単位で乗算し、その結果をメモリimg_predictに記憶させる（ステップＳ４４）。ここに、メモリimg_predictは、露光を開始してから、検出用画像部１５ａから最新の読み出しを行った時点まで表示・記録用画像部１５ｂにより露光したときに得られるであろうと予測される画像データを含む全画像データを記憶するためのメモリである。なお、この処理は、図４に示したステップＳ１１の処理にほぼ相当している。
【００８９】
そして、メモリimg_predictに記憶されているデータ中の、表示・記録用画像データを、ＬＣＤ３４に画像として表示する（ステップＳ４５）。
【００９０】
その後、メモリｊに記憶されている値に１を加算して、その結果をメモリｊに上書きし（ステップＳ４６）、ｊに記憶されている値がｊｍａｘに達したか否かを判定する（ステップＳ４７）。
【００９１】
ここで、ｊがｊｍａｘに達していないと判定された場合には、ステップＳ４２へ戻って、検出用画像部１５ａから次の読み出しを行う。
【００９２】
一方、ステップＳ４７においてｊがｊｍａｘに達したと判定された場合には、検出用画像部１５ａのみの読み出しを行う際の露光時間である第２時間ｔが経過するのを待機して（ステップＳ４８）、第２時間ｔが経過したところでステップＳ３５へ戻って全画素読み出しの処理を行う。
【００９３】
次に、図７は、撮像装置において、コンピュータにより実行される図５の処理の具体例を示すフローチャートである。この図７を参照して、図５に示した処理をメインＣＰＵ２７により実行するときの具体的な処理プログラムの例を説明する。
【００９４】
この割り込み処理に入ると、まず、シャッタ機構１４を閉じることにより撮像センサ１５の露光を終了する（ステップＳ５１）。
【００９５】
次に、撮像面の全画素を読み出して、メモリimg_allに記憶させる（ステップＳ５２）。
【００９６】
続いて、メモリimg_allに記憶されているデータと、メモリimg_all_addに記憶されているデータとを画素単位で加算して、その加算結果をメモリimg_all_addに上書きして記憶させる（ステップＳ５３）。
【００９７】
そして、メモリimg_all_addに記憶されているデータから表示・記録用画像部分のみを抽出するトリミングを行い、抽出した表示・記録用画像データをメモリimg_validに記憶させる（ステップＳ５４）。ここに、メモリimg_validは、静止画像として確定した画像データを記憶するためのメモリである。
【００９８】
このメモリimg_validに記憶されているデータを、ＬＣＤ３４に画像として表示するとともに（ステップＳ５５）、着脱メモリ３２に記録して（ステップＳ５６）、この処理を終了する。
【００９９】
なお、上述では撮像面内の周縁部の例えば上端部に検出用画像部を設けたが、この場合には撮像面全体の画像信号を静止画像信号として用いる撮影（例えば、バルブ撮影でない通常の撮影や、ライブビューを行わないバルブ撮影）とはアスペクト比が異なってしまうことになる。そこで、ライブビューバルブ動作時には、得られる静止画像信号の周縁をさらにカットしてアスペクト比を通常撮影時と同一とするようにしても良い（ただし、パノラマ撮影等の通常とは異なるアスペクト比の画像を撮像するときには、アスペクト比調整が不要となる場合もある）。
【０１００】
また、上述では検出用画像部を撮像面内に１つ設ける場合を想定して説明したが、撮像面内の上端部および下端部の２箇所、あるいは上下左右各端部の４箇所、等のように複数設けて、これら複数箇所の平均値（あるいは加算値）をさらに求めてゲインｇを算出するようにしても良い。または、複数箇所の内の例えば最大の値を与える箇所（Ｓ／Ｎが良いと考えられる箇所）を選択してゲインｇを算出するようにすることも可能である。さらには、撮影者が複数箇所の内のどの箇所を検出用画像部として使用するかを選択することができるようにしても良いし、予備撮影を行って得られた画像を解析することにより最適と考えられる検出用画像部を撮像装置１１が自動的に選択するようにしても構わない。加えて、検出用画像部として用いる撮像面内の領域の大きさや形状なども固定的であるに限るものではなく、撮影者が任意に設定可能となるようにしても良い。これにより、検出用画像部から取得する第２画像信号を、撮影シーン等に応じて最適化することができる。
【０１０１】
そして、上述においては、撮像面内の周縁部を検出用画像部とする場合を想定して説明したが、これに限るものではなく、画像全体から選択した離散的な画素の集合を検出用画像部としても構わない。ただし、この場合には、検出用画像部を構成する各画素の近傍に位置する他の画素のデータを用いて補間を行い、最終的な静止画像データを求める必要がある。
【０１０２】
このような実施形態１によれば、バルブ撮影中に、露光を開始してから所定時間が経過するまでのバルブ撮影によって得られる画像信号を予測して、予測した画像信号よって表される画像を表示することができるために、画像の露光の経過を確認することが可能となり、バルブ撮影において所望の露光量の画像を容易に得ることが可能となる。
【０１０３】
また、静止画像信号の生成に供される第１画像信号の読み出し回数（ひいては加算回数）を、画像を表示する毎に読み出す場合に比して約数分の１に低減することができ、画像信号の読み出し回数に応じたノイズを低減することが可能となる。
【０１０４】
このとき、バルブ撮影中の画像の予測を、撮影レンズにより結像された被写体像を光電変換して得られた画像信号の一部に基づき行っているために、例えば夜明けのシーン等のような、被写体の輝度が徐々に変化する場合であっても、より正確な予測画像を表示することが可能となる。
【０１０５】
このような正確な予測は、最新の第２画像信号が読み出された時点までの第２画像信号の全画素を加算して得られる積算値を、最新の第１画像信号が読み出された時点までの第２画像信号の全画素を加算して得られる積算値で割った値をゲインとして算出し、算出したゲインを表示基礎画像データに乗算して表示用画像データを生成することにより行われる。
【０１０６】
そして、バルブ撮影の終了を表す信号に応答して第１画像信号を読み出し、読み出した第１画像信号を画素単位で表示基礎画像データに加算することにより静止画像信号を生成しているために、ユーザが操作したタイミング通りの露光時間の静止画像を得ることが可能となる。
【０１０７】
なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【符号の説明】
【０１０８】
１１…撮像装置
１２…フォーカスレンズ（撮影レンズ）
１３…絞り機構（撮影レンズ）
１４…シャッタ機構
１５…撮像センサ（撮像素子）
１５ａ…検出用画像部
１５ｂ…表示・記録用画像部
１６…フォーカス制御部
１７…モータ
１８…絞り制御部
１９…モータ
２０…シャッタ制御部
２１…制御装置
２３…ＴＧ回路（読出制御部）
２４…信号処理回路
２５…データバス
２６…ＡＥ処理部
２７…メインＣＰＵ（読出制御部、表示基礎画像データ生成部、表示用画像データ生成部、静止画像信号生成部）
２８…ＡＦ処理部
２９…画像処理回路
３０…内蔵メモリ
３１…圧縮伸張部
３２…着脱メモリ
３３…ＬＣＤドライバ
３４…ＬＣＤ（画像表示部）
３５…不揮発性メモリ
３６…入力部
３８…電源部
３９…画像演算部
【特許請求の範囲】
【請求項１】
バルブ撮影中に、露光を開始してから所定時間が経過するまでの該バルブ撮影によって得られる画像信号を予測して、予測した該画像信号よって表される画像を表示する撮像装置において、
撮影レンズにより結像された被写体像を画像信号に変換する画素が複数配列された第１画素部および第２画素部を含む撮像面を有する撮像素子と、
露光開始後の初期時間が経過した後に上記第１画素部から第１画像信号を、上記第２画素部から第２画像信号をそれぞれ読み出し、その後の露光期間中に所定の第１時間が経過する毎に上記第１画素部から第１画像信号を、上記第２画素部から第２画像信号をそれぞれ読み出すとともに、上記第１時間が経過するまでの間に、上記第１時間よりも短い第２時間が経過する毎に上記第２画素部から第２画像信号を読み出す読出制御部と、
上記第１画像信号が読み出される毎に、該第１画像信号を画素単位で積算し、表示の基礎となる表示基礎画像データを生成する表示基礎画像データ生成部と、
上記第２画像信号が読み出される毎に該第２画像信号を積算し、最新の第１画像信号が読み出された時点までの第２画像信号の積算値と、最新の第２画像信号が読み出された時点までの第２画像信号の積算値と、上記表示基礎画像データと、に基づいて、露光を開始してから上記最新の第２画像信号が読み出された時点まで上記第１画素部により露光したときに得られるであろうと予測される表示用画像データを生成する表示用画像データ生成部と、
上記第１画像信号が読み出された直後には上記表示基礎画像データによって表される画像を表示し、それ以外の上記第２時間が経過する毎には上記表示用画像データによって表される画像を表示する画像表示部と、
を備えたことを特徴とする撮像装置。
【請求項２】
上記表示用画像データ生成部は、上記第２画素部の全画素の画素値の加算値を最新の第２画像信号が読み出された時点まで積算して得られる積算値を、該第２画素部の全画素の画素値の加算値を最新の第１画像信号が読み出された時点まで積算して得られる積算値で割った値をゲインとして算出し、算出したゲインを上記表示基礎画像データに乗算することにより、上記表示用画像データを生成するものであることを特徴とする請求項１に記載の撮像装置。
【請求項３】
上記読出制御部は、バルブ撮影の終了を表す信号に応答してさらに上記第１画素部から第１画像信号を読み出すものであり、
上記表示基礎画像データ生成部は、読み出した第１画像信号を画素単位で上記表示基礎画像データに加算することにより、静止画像信号をさらに生成するものであることを特徴とする請求項１または請求項２に記載の撮像装置。
【請求項１】
バルブ撮影中に、露光を開始してから所定時間が経過するまでの該バルブ撮影によって得られる画像信号を予測して、予測した該画像信号よって表される画像を表示する撮像装置において、
撮影レンズにより結像された被写体像を画像信号に変換する画素が複数配列された第１画素部および第２画素部を含む撮像面を有する撮像素子と、
露光開始後の初期時間が経過した後に上記第１画素部から第１画像信号を、上記第２画素部から第２画像信号をそれぞれ読み出し、その後の露光期間中に所定の第１時間が経過する毎に上記第１画素部から第１画像信号を、上記第２画素部から第２画像信号をそれぞれ読み出すとともに、上記第１時間が経過するまでの間に、上記第１時間よりも短い第２時間が経過する毎に上記第２画素部から第２画像信号を読み出す読出制御部と、
上記第１画像信号が読み出される毎に、該第１画像信号を画素単位で積算し、表示の基礎となる表示基礎画像データを生成する表示基礎画像データ生成部と、
上記第２画像信号が読み出される毎に該第２画像信号を積算し、最新の第１画像信号が読み出された時点までの第２画像信号の積算値と、最新の第２画像信号が読み出された時点までの第２画像信号の積算値と、上記表示基礎画像データと、に基づいて、露光を開始してから上記最新の第２画像信号が読み出された時点まで上記第１画素部により露光したときに得られるであろうと予測される表示用画像データを生成する表示用画像データ生成部と、
上記第１画像信号が読み出された直後には上記表示基礎画像データによって表される画像を表示し、それ以外の上記第２時間が経過する毎には上記表示用画像データによって表される画像を表示する画像表示部と、
を備えたことを特徴とする撮像装置。
【請求項２】
上記表示用画像データ生成部は、上記第２画素部の全画素の画素値の加算値を最新の第２画像信号が読み出された時点まで積算して得られる積算値を、該第２画素部の全画素の画素値の加算値を最新の第１画像信号が読み出された時点まで積算して得られる積算値で割った値をゲインとして算出し、算出したゲインを上記表示基礎画像データに乗算することにより、上記表示用画像データを生成するものであることを特徴とする請求項１に記載の撮像装置。
【請求項３】
上記読出制御部は、バルブ撮影の終了を表す信号に応答してさらに上記第１画素部から第１画像信号を読み出すものであり、
上記表示基礎画像データ生成部は、読み出した第１画像信号を画素単位で上記表示基礎画像データに加算することにより、静止画像信号をさらに生成するものであることを特徴とする請求項１または請求項２に記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−８０４５８（Ｐ２０１２−８０４５８Ａ）
【公開日】平成２４年４月１９日（２０１２．４．１９）
【国際特許分類】
【出願番号】特願２０１０−２２５９１３（Ｐ２０１０−２２５９１３）
【出願日】平成２２年１０月５日（２０１０．１０．５）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
【公開日】平成２４年４月１９日（２０１２．４．１９）
【国際特許分類】
【出願日】平成２２年１０月５日（２０１０．１０．５）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
[ Back to top ]