説明

撮像装置および撮像装置の制御方法

【課題】構成を複雑にすることなく、グローバルリセットシャッタ方式とローリングシャッタ方式との双方で本撮影を適切に行うことができる撮像装置および撮像装置の制御方法を提供する。
【解決手段】CMOSセンサの画素ラインごとに電荷リセット動作を行うローリングシャッタ方式により本撮影を行う場合に、CMOSセンサの全画素同時に電荷リセット動作を行うグローバルリセットシャッタ方式により本撮影を行う場合よりも、CMOSセンサから画像信号を読み出す速度を速くする。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置および撮像装置の制御方法に関する。
【背景技術】
【0002】
近年、画像を電子的に記録するデジタルカメラなどの撮像装置では、CMOS型の撮像素子を搭載するものが多くなってきている。デジタルカメラに搭載されたCMOS型の撮像素子の駆動方法としては、ローリングシャッタ方式と、グローバルリセットシャッタ方式とが知られている。
【0003】
ローリングシャッタ方式は、撮像素子の画素ライン(水平ライン)ごとに電荷リセット動作を行う方式である。ローリングシャッタ方式では、露光や読み出しも画素ラインごとの動作となり、露光や読み出しのタイミングが画素ラインごとに異なるため、特に被写体が高速で移動している場合には画像に歪みが発生しやすく、また手ぶれの影響を受けやすいことが知られている。
【0004】
一方、グローバルリセットシャッタ方式は、撮像素子の全画素同時に電荷リセット動作を行う方式である。グローバルリセットシャッタ方式の場合、全画素同時に露光が開始されるため画像の歪みは発生しないが、読み出しは画像の上側の画素ラインから順次行われるため、読み出し時に下側の画素ラインほど露光が進んでしまい、下側にいくほど画像が明るくなってしまう。そこで、グローバルルセットシャッタ方式で撮影を行う場合には、撮像素子に入射する光を機械的に遮断するメカシャッタを併用することで、読み出し時に露光が進まないようにしているのが一般的である。
【0005】
ローリングシャッタ方式は、撮像素子から読み出す画素ラインの行数が多くなるほど上記のような画像の歪みや手ぶれの影響が大きくなるため、高解像度の画像撮影が求められる記録用の本撮影には不向きとされている。このため、ローリングシャッタ方式でモニタリング用のライブビュー画像(スルー画像)を取得し、本撮影の際は撮像素子の駆動方法をローリングシャッタ方式からグローバルリセットシャッタ方式に切り替えて、グローバルリセットシャッタ方式で本撮影を行う場合が多い。ライブビュー画像は、通常、リアルタイム性を確保するために画素ラインを間引いて読み出しが行われるため、ローリングシャッタ方式による画像の歪みや手ぶれの影響が少ない。
【0006】
しかし、ローリングシャッタ方式はメカシャッタを使用しないため、グローバルリセットシャッタ方式に対して以下の点で優位性があり、記録用の本撮影においてもローリングシャッタ方式により適切に撮影を行えるようにすることが望まれている。
・メカシャッタ動作による振動ぶれが発生しない。
・シャッタ音が発生しないため、コンサートホールなどの静かな場所での撮影や、撮影していることを意識させないで自然な様子を撮影したい場合などに適している。
・高速シャッタを実現するためにメカシャッタの閉じ精度を高精度に確保する必要がなく、電子シャッタの本数や位置を指定するだけで高速シャッタが簡単に実現できる。
【0007】
CMOS型の撮像素子を搭載した撮像装置に関し、特許文献1には、本撮影の前に得られる被写体のスルー画像を解析して、その解析結果に基づき、複数のシャッタ駆動モードの中から1つを自動的に選択し、選択したシャッタ駆動モードでCMOS型の撮像素子を駆動するという技術が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【0008】
ところで、撮像素子から読み出した画像信号はデジタル画像データに変換され、後段のLSI(信号処理IC)において種々の画像処理が行われる。このため、撮像素子から画像信号を読み出す速度は、通常、後段のLSIの性能に合わせて、撮像素子から読み出した画像信号を取りこぼしなくLSIで処理できる速度に定められる。このとき、グローバルリセットシャッタ方式では、読み出しと露光が同時に行われることはないため、後段のLSIの性能に合わせた速度で画像信号の読み出しを行っても問題は生じない。一方、ローリングシャッタ方式では、画像の上側の画素ラインの読み出しと画像の下側の画素ラインの露光が同時に行われるため、後段のLSIの性能に合わせて撮像素子から画像信号を読み出す速度を定めると、読み出す画素ラインの行数が多い本撮影時において上述した画像の歪みや手ぶれの影響が大きい。したがって、グローバルリセットシャッタ方式とローリングシャッタ方式との双方で本撮影を適切に行えるようにするには、それぞれの方式に適した読み出しを行うことが求められる。
【0009】
上記の特許文献1に記載の技術では、被写体の動き状況などに応じて撮像素子の駆動モードを自動的に選択するようにしているが、それぞれの駆動モードでの読み出しについては考慮されていない。このため、スルー画像を解析して被写体の動きベクトルを検出する機能や、ジャイロセンサの検出値に基づいて手ぶれ量を検出する機能などを備え、被写体の動きが少なく手ぶれ量が少ない場合のみローリングシャッタ方式で本撮影を行う必要があり、構成が複雑になる。
【0010】
本発明は、上記に鑑みてなされたものであって、構成を複雑にすることなく、グローバルリセットシャッタ方式とローリングシャッタ方式との双方で本撮影を適切に行うことができる撮像装置および撮像装置の制御方法を提供することを目的としている。
【課題を解決するための手段】
【0011】
上述した課題を解決し、目的を達成するために、本発明に係る撮像装置は、撮像素子と、前記撮像素子の画素ラインごとに電荷リセット動作を行う第1のモードで撮影を行う場合に、前記撮像素子の全画素同時に電荷リセット動作を行う第2のモードで撮影を行う場合よりも、前記撮像素子から画像信号を読み出す速度を速くする第1の制御手段と、を備えることを特徴とする。
【0012】
また、本発明に係る撮像装置の制御方法は、撮像素子と、制御手段と、を備える撮像装置の制御方法であって、前記制御手段が、前記撮像素子の画素ラインごとに電荷リセット動作を行う第1のモードで撮影を行う場合に、前記撮像素子の全画素同時に電荷リセット動作を行う第2のモードで撮影を行う場合よりも、前記撮像素子から画像信号を読み出す速度を速くすることを特徴とする。
【発明の効果】
【0013】
本発明によれば、撮像素子の画素ラインごとに電荷リセット動作を行う第1のモード(ローリングシャッタ方式)で撮影を行う場合に、撮像素子の全画素同時に電荷リセット動作を行う第2のモード(グローバルリセットシャッタ方式)で撮影を行う場合よりも、撮像素子から画像信号を読み出す速度を速くするようにしているので、構成を複雑にすることなく、グローバルリセットシャッタ方式とローリングシャッタ方式との双方で本撮影を適切に行うことができるという効果を奏する。
【図面の簡単な説明】
【0014】
【図1−1】図1−1は、デジタルカメラの上面図である。
【図1−2】図1−2は、デジタルカメラの正面図である。
【図1−3】図1−3は、デジタルカメラの裏面図である。
【図2】図2は、デジタルカメラのハードウェア構成を示すブロック図である。
【図3】図3は、グローバルリセットシャッタ方式により静止画を撮影する場合の撮影制御シーケンスを示す図である。
【図4】図4は、ローリングシャッタ方式により静止画を撮影する場合の撮影制御シーケンスを示す図である。
【図5】図5は、静止画撮影(本撮影)時の信号処理ICにおける処理フローの一例を示すイメージ図である。
【図6】図6は、静止画撮影(本撮影)時の信号処理ICにおける処理フローの他の例を示すイメージ図である。
【図7】図7は、ローリングシャッタ方式により連写撮影を行った場合の信号処理ICにおける処理フローの一例を示すイメージ図である。
【図8】図8は、ローリングシャッタ方式により連写撮影を行った場合の信号処理ICにおける処理フローの他の例を示すイメージ図である。
【図9】図9は、ローリングシャッタ方式により長時間露光で静止画を撮影する場合の撮影制御シーケンスを示す図である。
【発明を実施するための形態】
【0015】
以下に添付図面を参照して、この発明に係る撮像装置および撮像装置の制御方法の実施の形態を詳細に説明する。以下で示す実施形態は、本発明をデジタルカメラに適用した例である。
【0016】
<第1の実施形態>
図1−1乃至図1−3は、本実施形態に係るデジタルカメラの外観を示す図であり、図1−1は同デジタルカメラの上面図、図1−2は同デジタルカメラの正面図、図1−3は同デジタルカメラの裏面図である。
【0017】
本実施形態に係るデジタルカメラは、図1−1に示すように、その上面に、静止画撮影が可能な枚数などを表示するサブLCD1と、静止画撮影の際に押圧操作されるレリーズシャッタボタン2と、画像を記録する記録(撮影)モードや記録された画像を再生する再生モード、カメラ設定のためのSETUPモードなどの各種モードの切り替えの際に操作されるモードダイヤル3を有する。
【0018】
また、本実施形態に係るデジタルカメラは、図1−2に示すように、その正面に、ストロボを発光させるストロボ発光部4と、被写体までの距離を測定する測距ユニット5と、図示しないリモコン端末からの赤外線信号を受信するリモコン受光部6と、ズームレンズやフォーカスレンズ、メカシャッタなどの光学部材を含む鏡胴ユニット7と、光学ファインダ(正面)8を有する。また、本実施形態に係るデジタルカメラの側面には、メモリカードを挿入するメモリカードスロットルや電池を収容する電池収容部が設けられており、これらメモリカードスロットルや電池収容部は蓋体9により閉塞されている。
【0019】
また、本実施形態に係るデジタルカメラは、その裏面に、オートフォーカス作動時に点灯するオートフォーカスLED(AFLED)10と、ストロボ発光時に点灯するストロボLED11と、各種設定画面の表示や再生画像の表示および撮影時の電子ファインダとして用いられるLCDモニタ12と、光学ファインダ(裏面)13と、広角側ズーム時に操作されるズームボタン(WIDE)14および望遠側ズーム時に操作されるズームボタン(TELE)15と、電源スイッチ16と、セルフタイマの作動時に操作されるセルフタイマ/削除スイッチ17を有する。
【0020】
さらに、本実施形態に係るデジタルカメラは、その裏面に、メニュー選択の際に操作されるメニュースイッチ18と、選択した事項を確定させる際に操作されるOKスイッチ19と、LCDモニタ12に表示する再生画像を切り替える際に操作される画像確認スイッチ(左)20および画像確認スイッチ(右)21と、マクロ撮影を行う際に操作されるマクロスイッチ22と、ストロボ発光モードの切り替え時に操作されるストロボスイッチ23と、LCDモニタ12の表示の切り替え時に操作されるディスプレイスイッチ24を有する。
【0021】
図2は、本実施形態に係るデジタルカメラのハードウェア構成を示すブロック図である。本実施形態に係るデジタルカメラは、図2に示すように、フロントエンドIC30と、信号処理IC40と、SDRAM50と、ROM60と、クロック生成部70と、モータドライバ80とを備える。上述したLCDモニタ12やデジタルカメラの操作部90は、信号処理IC40に接続されている。なお、操作部90は、デジタルカメラを操作するための各種ボタンやスイッチ(図1−1乃至図1−3参照)の総称である。
【0022】
クロック生成部70は、デジタルカメラの動作の基準となるクロックを生成する。クロック生成部70が生成したクロックは、フロントエンドIC30および信号処理IC40に供給される。
【0023】
モータドライバ80は、後述する信号処理IC40内部のCPU100からの命令に応じて、ズームレンズ81やフォーカスレンズ82、メカシャッタ83などの光学部材を駆動する。
【0024】
SDRAM50は、信号処理IC40で処理されるデジタル画像データを一時的に記憶する画像メモリとしての機能と、信号処理IC40内部のCPU100がプログラムを実行するためのワークエリアとしての機能とを有する。ROM60は、デジタルカメラの制御を行うためのプログラムや制御データを格納する。
【0025】
フロントエンドIC30は、CMOS型の撮像素子(以下、CMOSセンサという。)31と、CDS32と、AGC33と、A/D34とを含む。CMOSセンサ31から読み出されたアナログ画像信号は、CDS32にて相関二重サンプリングが行われた後、AGC33にてゲイン調整され、A/D34にてデジタル画像データに変換されて信号処理IC40に入力される。
【0026】
信号処理IC40は、センサI/F部41と、メモリコントローラ42と、カメラI/F部43と、画像処理部44と、圧縮・伸張部45と、表示出力制御部46と、メディアI/F部47と、水平・垂直同期信号生成部48と、CPU100とを含む。
【0027】
センサI/F部41は、フロントエンドIC30から出力されたデジタル画像データ(RAW−DATA)を信号処理IC40の内部に入力する。
【0028】
メモリコントローラ42は、SDRAM50に対するデータの書き込みや読み出しを制御する。
【0029】
カメラI/F部43は、センサI/F部41が入力したRAW−DATAに対して、光学的な補正(黒レベル補正や欠損画素の補正、シェーディング補正など)や検波処理などの画像処理を行う。本明細書においては、このカメラI/F部43によりRAW−DATAに対して行われる画像処理を、第1の画像処理と呼ぶ。
【0030】
画像処理部44は、第1の画像処理が行われてSDRAM50に一旦書き込まれたRAW−DATAに対して、ホワイトバランスのゲイン乗算やガンマ補正、RGB補間処理(ベイヤ補間)を行い、さらにエッジ強調や色設定などを行うとともに、輝度/色差信号であるYUV画像データへの変換を行う。さらに、画像処理部44は、変換したYUV画像データに対して、表示や記録のサイズに合わせて画像サイズを変更するリサイズ処理を行う。本明細書においては、この画像処理部44により行われる画像処理を、第2の画像処理と呼ぶ。
【0031】
圧縮・伸張部45は、画像処理部44により生成されたYUV画像データを、所定のフォーマット(例えばJPEG)に従って圧縮および伸張する。
【0032】
表示出力制御部46は、LCDモニタ12や外部表示装置(図示せず)への表示データの出力を制御する。具体的には、表示出力制御部46は、SDRAM50に保存されたYUV画像データと、撮影モードアイコンなどを表示するためのOSD(オンスクリーンディスプレイ)データとを合成して表示用データを生成し、同期信号などの信号を付加してLCDモニタ12や外部表示装置に出力する。
【0033】
メディアI/F部47は、メモリカードへのデータの書き込みや読み出しを制御する。
【0034】
水平・垂直同期信号生成部48は、CPU100からの指令に応じて水平同期信号HDおよび垂直同期信号VDを生成する。水平同期信号HDは、画像の1水平ライン(CMOSセンサ31の1画素ライン)の処理の基準となる同期信号であり、垂直同期信号VDは、画像の1フレーム分の処理の基準となる同期信号である。水平・垂直同期信号生成部48が生成した水平同期信号HDおよび垂直同期信号VDは、フロントエンドIC30およびセンサI/F部41に供給される。フロントエンドIC30の各部は、水平同期信号HDおよび垂直同期信号VDに基づいて動作し、センサI/F部41は、水平同期信号HDおよび垂直同期信号VDに基づき、フロントエンドIC30の動作に同期してデジタル画像データの入力を行う。
【0035】
CPU100は、ROM60に格納されたデジタルカメラの制御を行うためのプログラムおよび制御データをSDRAM50上にロードし、そのプログラムコードに基づいてデジタルカメラ全体の動作を統括的に制御する。すなわち、CPU100は、操作部90による指示や図示しないリモコン端末からの動作指示などに基づいて、指示に応じた画像を適切に撮影、表示、記録できるように、モータドライバ80やフロントエンドIC30、信号処理IC40内部の各処理部などを制御する。
【0036】
特に本実施形態に係るデジタルカメラにおいては、CPU100が、ローリングシャッタ方式(第1のモード)により本撮影を行う場合に、グローバルリセットシャッタ方式(第2のモード)により本撮影を行う場合よりも、CMOSセンサ31から画像信号を読み出す速度を速くする機能(第1の制御手段)を有する。なお、ローリングシャッタ方式により本撮影を行うか、あるいは、グローバルリセットシャッタ方式により本撮影を行うかの選択は、例えば、撮影者による設定に基づいて行うようにしてもよいし、デジタルカメラが撮影シーンを判定して自動的に行うようにしてもよい。
【0037】
ローリングシャッタ方式は、CMOSセンサ31の画素ライン(水平ライン)ごとに電荷リセット動作を行う方式である。グローバルリセットシャッタ方式は、CMOSセンサ31の全画素同時に電荷リセット動作を行う方式である。グローバルリセットシャッタ方式では、メカシャッタ83を閉じた状態でCMOSセンサ31からの画像信号の読み出しが行われるため、読み出しに時間がかかっても画質に対する影響はない。一方、ローリングシャッタ方式の場合には、露光や読み出しが画素ラインごとの動作となり、ある画素ラインの読み出しと別の画素ラインの露光が同時に行われるため、読み出しに時間がかかると画像の歪みや手ぶれの影響が大きくなり、画質の劣化を招く。そこで、本実施形態に係るデジタルカメラでは、ローリングシャッタ方式により本撮影を行う場合に、CMOSセンサ31から画像信号を読み出す速度をグローバルリセットシャッタ方式の場合よりも速くすることで、画像の歪みや手ぶれの影響を小さくし、ローリングシャッタ方式であっても高画質の画像を撮影できるようにしている。
【0038】
図3は、グローバルリセットシャッタ方式により静止画を撮影する場合の撮影制御シーケンスを示す図である。図中のRLはレリーズシャッタボタン2が押下されたタイミングを示しており、レリーズシャッタボタン2が押下されたときのフレーム期間をV1期間、レリーズシャッタボタン2押下後の最初の垂直同期信号VDにより開始されるフレーム期間をV2期間とし、以降、その後の垂直同期信号VDにより開始されるフレーム期間を順番にV3期間、V4期間、V5期間・・・としている。なお、フレーム期間は、水平・垂直同期信号生成部48により生成される垂直同期信号VDによって区分けされる期間である。また、図中のハッチングを付した領域は、それぞれが1つの画像を表しており、ハッチングを付した領域の上下がCMOSセンサ31の画素ライン(水平ライン)の上下に対応する。
【0039】
本実施形態に係るデジタルカメラでは、モードダイヤル3で撮影モードが選択されている状態で電源スイッチ16がオンされると、CMOSセンサ31が画像モニタモードで起動される。画像モニタモードでは、ローリングシャッタ方式によりライブビュー画像の取得が行われ、LCDモニタ12にライブビュー画像が表示される。ライブビュー画像は高精細な画像である必要がないため、例えば1/3程度に画素ラインを間引いた状態でCMOSセンサ31からの画像信号の読み出しが行われる。撮影者は、LCDモニタ12に表示されるライブビュー画像を見ながら被写体の状態などを確認し、構図を決めて、所望のタイミングでレリーズシャッタボタン2を押下する。このとき、レリーズシャッタボタン2が半押しと全押しの2段階スイッチを有する場合、レリーズシャッタボタン2が半押しされると、AF(オートフォーカス)処理が行われる。AF処理は、例えばフォーカスレンズ82を移動させながらコントラストの最大値を見つける山登りAFなどが行われる。
【0040】
その後、レリーズシャッタボタン2が全押しされると、レリーズシャッタボタン2押下後のV1期間の間に、撮影する静止画の露出の設定(電子シャッタの設定やAGCの設定、絞りの設定など)が行われる。電子シャッタの設定は、CPU100からの命令に応じて規定の設定値(電子シャッタ本数)を書き込むことで実施される。そして、レリーズシャッタボタン2押下後の最初の垂直同期信号VDが立ち上がってV2期間が開始されると、CPU100により画像モニタモードから静止画撮影モードへの切り替えが行われ、グローバルリセットシャッタ方式によるCMOSセンサ31の駆動が開始される。また、このとき、メカシャッタ83を閉じるタイミングを制御するためのタイマがスタートする。
【0041】
そして、V2期間の開始から電子シャッタによって定められた時間が経過したタイミングでCMOSセンサ31の全画素同時に電荷をリセットする処理が行われ、CMOSセンサ31の露光が全画素同時に開始される。その後、V2期間の開始とともにスタートさせたタイマが所定時間を経過したタイミングでメカシャッタ83が閉じられ、露光が終了する。つまり、グローバルリセットシャッタ方式では、電子シャッタとメカシャッタ83との併用によりCMOSセンサ31の露光時間が定められ、V2期間の間に全画素の露光が同時に行われる。
【0042】
そして、次の垂直同期信号VDが立ち上がってV3期間が開始されると、CMOSセンサ31の上側の画素ラインから順次読み出しが行われる。このとき、メカシャッタ83は閉じた状態であり、CMOSセンサ31に光は入射しないため、V3期間において画素の露光が進むことはなく、適切な画像を読み出すことができる。グローバルリセットシャッタ方式では、このようにCMOSセンサ31の露光と読み出しとが異なるフレーム期間でそれぞれ独立して行われる。そして、CMOSセンサ31から全画素ラインの読み出しが終了すると、その後のフレーム期間(V4期間、V5期間・・・)において、再び、ローリングシャッタ方式によるライブビュー画像の取得が行われる。
【0043】
図4は、ローリングシャッタ方式により静止画を撮影する場合の撮影制御シーケンスを示す図である。図3と同様に、図中のRLはレリーズシャッタボタン2が押下されたタイミングを示しており、レリーズシャッタボタン2が押下されたときのフレーム期間をV1期間、レリーズシャッタボタン2押下後の最初の垂直同期信号VDにより開始されるフレーム期間をV2期間とし、以降、その後の垂直同期信号VDにより開始されるフレーム期間を順番にV3期間、V4期間、V5期間・・・としている。また、図中のハッチングを付した領域がそれぞれ1つの画像を表しており、ハッチングを付した領域の上下がCMOSセンサ31の画素ライン(水平ライン)の上下に対応する。
【0044】
V1期間では、グローバルリセットシャッタ方式により静止画を撮影する場合と同様に、CMOSセンサ31が画像モニタモードで動作しており、ローリングシャッタ方式によりライブビュー画像の取得が行われている。そして、レリーズシャッタボタン2押下後の最初の垂直同期信号VDが立ち上がってV2期間が開始されると、CPU100により画像モニタモードから静止画撮影モードへの切り替えが行われる。図4の例では、ローリングシャッタ方式により静止画の撮影が行われるため、画像モニタモードから静止画撮影モードに切り替わってもCMOSセンサ31の駆動方法はローリングシャッタ方式のままである。ただし、静止画撮影モードでは画像モニタモードよりも高精細な画像を取得する必要があるため、CMOSセンサ31の全ての画素ラインで読み出しが行われる。
【0045】
そして、V2期間でローリングシャッタ方式での静止画の露光が開始され、次のV3期間で読み出しが行われる。ローリングシャッタ方式の場合、電荷リセット動作は画素ラインごとに発生し、CMOSセンサ31の上側の画素ラインから電荷をリセットする処理が順次行われる。また、露光時間は電子シャッタのみによって定められ、露光が終了した上側の画素ラインから順に読み出しが行われる。このため、画素ラインごとに露光のタイミングが異なり、V2期間とV3期間の2つのフレーム期間に跨がって1つの画像の露光が行われる。
【0046】
図4のV3期間におけるハッチングを付した領域の傾きは、ローリングシャッタ方式で静止画を撮影した場合の読み出し速度に対応し、1つの画素ラインを読み出してから次の画素ラインの読み出しを開始するまでの時間で定義できる。1つの画素ラインを読み出してから次の画素ラインの読み出しを開始するまでの時間は、水平同期信号HDが出力される周期(HD期間)に依存し、HD期間を構成するクロック数と、CMOSセンサ31の駆動周波数とにより定まる。したがって、HD期間を構成するクロック数を変化させることで、読み出し速度を変化させることができる。
【0047】
本実施形態に係るデジタルカメラでは、ローリングシャッタ方式により静止画を撮影する場合に、静止画の読み出しを行うV3期間において、グローバルリセットシャッタ方式により静止画を撮影するときよりも、HD期間を構成するクロック数を少なくすることで読み出し速度を速くする。このような制御は、CPU100が、水平同期信号HDを生成する水平・垂直同期信号生成部48に対して、HD期間を構成するクロック数を指定した命令を行うことにより実現できる。ただし、画像モニタモードと静止画撮影モードのそれぞれで、最低HD期間(主としてブランキング期間と読み出し所要時間とで構成される)が定められているため、CPU100は、HD期間が静止画撮影モードの最低HD期間よりも短くならない範囲で、HD期間を構成するクロック数を少なくして読み出し速度を速くする。
【0048】
そして、CMOSセンサ31から全画素ラインの読み出しが終了すると、静止画撮影モードから画像モニタモードへの切り替えが行われ、その後のフレーム期間(V4期間、V5期間・・・)において、再び、ローリングシャッタ方式によるライブビュー画像の取得が行われる。なお、ローリングシャッタ方式では、1つの画像の露光が2つのフレーム期間に跨がって行われるが、図4のV3期間とV4期間との間では静止画撮影モードから画像モニタモードへの切り替えが行われるため、適正な露光ができない。このため、V3期間とV4期間とに跨がって露光される画像は捨てフレームとなり、次のV5期間で読み出されるライブビュー画像からLCDモニタ12に表示される。
【0049】
以上、具体的な例を挙げながら説明したように、本実施形態に係るデジタルカメラは、ローリングシャッタ方式により静止画の撮影(本撮影)を行う場合に、CMOSセンサ31から画像信号を読み出す速度をグローバルリセットシャッタ方式の場合よりも速くするようにしているので、ローリングシャッタ方式の欠点である画像の歪みや手ぶれの影響を有効に抑制して、ローリングシャッタ方式による静止画の撮影を適切に行うことができる。また、グローバルシャッタ方式により静止画の撮影(本撮影)を行う場合には、後段の信号処理IC40の処理性能に合わせて比較的低速でCMOSセンサ31から画像信号を読み出すことができるので、信号処理IC40を高性能化することによるコストアップや、消費電力の増大を有効に抑制することができる。このように、本実施形態に係るデジタルカメラによれば、構成を複雑にすることなく、グローバルリセットシャッタ方式とローリングシャッタ方式との双方で本撮影を適切に行うことができる。
【0050】
<第2の実施形態>
次に、第2の実施形態について説明する。第2の実施形態に係るデジタルカメラは、ローリングシャッタ方式により本撮影を行う場合に、フロントエンドIC30から出力されたデジタル画像データ(RAW−DATA)をSDRAM50に書き込んでいる間、信号処理IC40において実施される画像処理のうち、少なくとも一部の画像処理の処理速度を、グローバルリセットシャッタ方式により本撮影を行う場合よりも遅くする。なお、デジタルカメラのハードウェア構成や動作の概要は第1の実施形態と同様であるため、以下では、本実施形態の特徴部分についてのみ説明し、第1の実施形態と重複する説明は適宜省略する。
【0051】
本実施形態に係るデジタルカメラでは、CPU100が、ローリングシャッタ方式により本撮影を行う場合に、CMOSセンサ31から画像信号を読み出す速度をグローバルリセットシャッタ方式の場合よりも速くする機能(第1の制御手段)に加えて、フロントエンドIC30から出力されたデジタル画像データ(RAW−DATA)をSDRAM50に書き込んでいる間、信号処理IC40において実施される少なくとも一部の画像処理の処理速度を遅くする機能(第2の制御手段)を有する。
【0052】
CMOSセンサ31から画像信号を高速で読み出すためには、フロントエンドIC30から高い出力レートで出力されるデジタル画像データを、後段の信号処理IC40が取りこぼしなくSDRAM50に書き込めるようにする必要があり、信号処理IC40とSDRAM50との間のデータライン(バス)の負荷が高まる。このとき、特に連写撮影などを行う場合には、前のフレームのデジタル画像データに対する画像処理と、後のフレームのデジタル画像データをSDRAM50に書き込む処理とが並行して行われ、SDRAM50へのデジタル画像データの書き込みに使用できるバスの帯域が制限されるため、CMOSセンサ31から画像信号を高速で読み出すことが難しくなる。また、連写撮影だけでなく、1つのフレームの画像に対して所定ライン数のデータごとに処理を進める場合においても、SDRAM50への書き込みと画像処理とが並行して行われ、同様の問題が生じる。
【0053】
上記問題を解決する方法としては、デジタルカメラのアーキテクチャを見直して、信号処理IC40やSDRAM50を高速化するとともにこれらの間のバスの性能を高めることが考えられる。しかし、このような対応ではデジタルカメラの大幅なコストアップに繋がり、また、消費電力の増大を招く結果となる。
【0054】
そこで、本実施形態に係るデジタルカメラでは、ローリングシャッタ方式により本撮影を行う場合に、フロントエンドIC30から出力されたデジタル画像データ(RAW−DATA)をSDRAM50に書き込んでいる間は、信号処理IC40において実施される少なくとも一部の画像処理の処理速度を遅くすることで、上記問題を解決する。なお、画像処理の処理速度を低速にするのは、必ずしもフロントエンドIC30から出力されたRAW−DATAをSDRAM50に書き込んでいる全ての期間で行う必要はなく、RAW−DATAをSDRAM50に書き込んでいる間の一部の期間において、画像処理の処理速度を低速にするようにしてもよい。
【0055】
信号処理IC40において実施される画像処理の処理速度は、CPU100の命令により設定される画像処理クロックに応じて定まる。本実施形態に係るデジタルカメラでは、CPU100が、ローリングシャッタ方式による本撮影を行う際に、SDRAM50にRAW−DATAを書き込んでいる間の少なくとも一部の期間において、画像処理クロックを一時的に遅くする。これにより、信号処理IC40とSDRAM50との間のデータライン(バス)を、RAW−DATAの書き込みに優先的に割り当てることができ、結果として、バス性能を高めることなく、CMOSセンサ31から画像信号を高速で読み出すことが可能になる。
【0056】
図5は、静止画撮影(本撮影)時の信号処理IC40における処理フローの一例を示すイメージ図である。図中の各ブロックは図2に示した信号処理IC40内部の各処理ブロックに対応し、図の左から右に向かって順に処理が行われることを示している。なお、SDRAM50に対するデータの書き込みや読み出しはメモリコントローラ42を介して行われるが、図5においてはメモリコントローラ42の図示を省略している。
【0057】
フロントエンドIC30から出力されるデジタル画像データ(RAW−DATA)は、センサI/F部41により信号処理IC40内部に取り込まれる。信号処理IC40内部に取り込まれたRAW−DATAは、センサI/F部41からメモリコントローラ42を介してカメラI/F部43に渡されて、カメラI/F部43により第1の画像処理が行われる。そして、第1の画像処理が行われたRAW−DATAがメモリコントローラ42によりSDRAM50に書き込まれる。
【0058】
SDRAM50に保存されたRAW−DATAは、メモリコントローラ42によりSDRAM50から読み出され、画像処理部44に渡される。そして、画像処理部44により第2の画像処理が行われた後、YUV画像データとして、メモリコントローラ42により再度SDRAM50に書き込まれる。
【0059】
SDRAM50に保存されたYUV画像データは、メモリコントローラ42によりSDRAM50から読み出され、圧縮・伸張部45に渡される。そして、圧縮・伸張部45によりYUV画像データに対して例えばJPEG形式での圧縮が行われ、JPEG画像データがメモリコントローラ42により再度SDRAM50に書き込まれる。
【0060】
SDRAM50に保存されたJPEG画像データは、メモリコントローラ42によりSDRAM50から読み出され、メディアI/F部47に渡される。そして、メディアI/F部47により、JPEG画像データがメモリカードに記録される。
【0061】
図5に示す例では、例えば、連写撮影により複数フレームのデジタル画像データを同時に処理する場合や、1つのフレームの画像に対して所定ライン数のデータごとに処理を進める場合に、第1の画像処理が行われたRAW−DATAをSDRAM50に書き込む処理と、第1の画像処理が行われたRAW−DATAをSDRAM50から読み出して、画像処理部44により第2の画像処理を行った後に、YUV画像データをSDRAM50に再度書き込む処理とが競合する。そこで、ローリングシャッタ方式により本撮影を行う場合は、画像処理部44による第2の画像処理の処理速度を、グローバルリセットシャッタ方式により本撮影を行う場合よりも低速にし、第1の画像処理が行われたRAW−DATAをSDRAM50に書き込む処理を優先させることによって、バス性能を高めることなく、CMOSセンサ31から画像信号を高速で読み出せるようにする。CMOSセンサ31から画像信号を高速で読み出すことができれば、第1の実施形態で説明したように、ローリングシャッタ方式の欠点である画像の歪みや手ぶれの影響を抑制することができ、高品位な画像の撮影が可能になる。なお、グローバルリセットシャッタ方式により本撮影を行う場合には、画像信号の読み出しが低速であっても画質に影響がないため、後段の信号処理IC40において実施する画像処理の負荷に応じて読み出し速度を定めればよく、画像処理の処理速度を遅くする必要がない。
【0062】
図6は、静止画撮影(本撮影)時の信号処理IC40における処理フローの他の例を示すイメージ図である。図5と同様、図中の各ブロックは図2に示した信号処理IC40内部の各処理ブロックに対応し、図の左から右に向かって順に処理が行われることを示している。
【0063】
図6に示す例は、RAW−DATAをSDRAM50に書き込む処理が、図5に示した例と異なる。すなわち、図5の例では、センサI/F部41により信号処理IC40内部に取り込まれたRAW−DATAに対して、カメラI/F部43による第1の画像処理を行った上で、SDRAM50に書き込んでいる。これに対して、図6の例では、センサI/F部41により信号処理IC40内部に取り込まれたRAW−DATAがそのままSDRAM50に書き込まれ、その後、SDRAM50から読み出されたRAW−DATAに対し、カメラI/F部43による第1の画像処理が行われ、第1の画像処理が行われたRAW−DATAが、再度SDRAM50に書き込まれる。その他の処理は図5の例と同じである。
【0064】
図6の例では、RAW−DATAをSDRAM50に書き込む処理に対して、RAW−DATAをSDRAM50から読み出してカメラI/F部43による第1の画像処理を行ってSDRAM50に再度書き込む処理と、第1の画像処理が行われたRAW−DATAをSDRAM50から読み出して画像処理部44による第2の画像処理を行ってSDRAM50に再度書き込む処理とが競合する。そこで、ローリングシャッタ方式により本撮影を行う場合は、カメラI/F部43による第1の画像処理の処理速度と、画像処理部44による第2の画像処理の処理速度とを、グローバルリセットシャッタ方式により本撮影を行う場合よりも低速にし、RAW−DATAをSDRAM50に書き込む処理を優先させることによって、バス性能を高めることなく、CMOSセンサ31から画像信号を高速で読み出せるようにする。
【0065】
図6の例では、センサI/F部41により信号処理IC40内部に取り込まれたRAW−DATAをそのままSDRAM50に書き込むようにしており、RAW−DATAを取り込みながらカメラI/F部43による第1の画像処理を行う必要がない。このため、RAW−DATAを取り込みながら第1の画像処理を行う図5の例と比較して、CMOSセンサ31から画像信号を読み出す速度の高速化が容易である。ただし、図6の例では、SDRAM50に対するデジタル画像データの読み書きを行う回数が増えるため、図5の例と比較してトータルの処理時間が増加する。したがって、図6の例は、ローリングシャッタ方式により本撮影を行う場合のみに適用し、グローバルリセットシャッタ方式により本撮影を行う場合には図5の例を適用することが望ましい。
【0066】
以上、具体的な例を挙げながら説明したように、本実施形態に係るデジタルカメラは、ローリングシャッタ方式により本撮影を行う場合に、フロントエンドIC30から出力されたRAW−DATAをSDRAM50に書き込んでいる間、信号処理IC40において実施される少なくとも一部の画像処理の処理速度を、グローバルリセットシャッタ方式により本撮影を行う場合よりも遅くするようにしているので、バス性能を高めることなく、CMOSセンサ31から画像信号を高速で読み出して、ローリングシャッタ方式の欠点である画像の歪みや手ぶれの影響を有効に抑制することができる。
【0067】
<第3の実施形態>
次に、第3の実施形態について説明する。第3の実施形態に係るデジタルカメラは、ローリングシャッタ方式により本撮影を行う場合に、フロントエンドIC30から出力されたデジタル画像データ(RAW−DATA)をSDRAM50に書き込んでいる間、信号処理IC40において実施される画像処理のうち、少なくとも一部の画像処理を停止する。なお、デジタルカメラのハードウェア構成や動作の概要は第1の実施形態と同様であるため、以下では、本実施形態の特徴部分についてのみ説明し、第1の実施形態と重複する説明は適宜省略する。
【0068】
第2の実施形態では、ローリングシャッタ方式により本撮影を行う場合に、フロントエンドIC30から出力されたRAW−DATAをSDRAM50に書き込んでいる間、信号処理IC40において実施される少なくとも一部の画像処理の処理速度を、グローバルリセットシャッタ方式により本撮影を行う場合よりも遅くすることで、RAW−DATAをSDRAM50に書き込む処理を優先的に行えるようにし、結果として、バス性能を高めることなく、CMOSセンサ31からの画像信号の読み出しを高速に行えることを説明した。これに対して、第3の実施形態では、ローリングシャッタ方式により本撮影を行う場合に、フロントエンドIC30から出力されたRAW−DATAをSDRAM50に書き込んでいる間、信号処理IC40において実施される少なくとも一部の画像処理を停止させることで、RAW−DATAをSDRAM50に書き込む処理を優先的に行えるようにし、結果として、バス性能を高めることなく、CMOSセンサ31からの画像信号の読み出しを高速に行えるようにしている。
【0069】
本実施形態に係るデジタルカメラでは、CPU100が、ローリングシャッタ方式により本撮影を行う場合に、CMOSセンサ31から画像信号を読み出す速度をグローバルリセットシャッタ方式の場合よりも速くする機能(第1の制御手段)に加えて、フロントエンドIC30から出力されたデジタル画像データ(RAW−DATA)をSDRAM50に書き込んでいる間、信号処理IC40において実施される少なくとも一部の画像処理を停止させる機能(第3の制御手段)を有する。なお、この画像処理の停止は、必ずしもフロントエンドIC30から出力されたRAW−DATAをSDRAM50に書き込んでいる全ての期間で行う必要はなく、RAW−DATAをSDRAM50に書き込んでいる間の一部の期間において、画像処理を停止するようにしてもよい。
【0070】
信号処理IC40の動作はCPU100によって制御され、CPU100の命令により、カメラI/F部43が第1の画像処理を実施するタイミングや、画像処理部44が第2の画像処理を実施するタイミングを制御することができる。本実施形態に係るデジタルカメラでは、CPU100が、ローリングシャッタ方式による本撮影を行う際に、SDRAM50にRAW−DATAを書き込んでいる間の少なくとも一部の期間において、少なくとも一部の画像処理を停止させる。これにより、信号処理IC40とSDRAM50との間のデータライン(バス)を、RAW−DATAの書き込みに占有させることができ、CMOSセンサ31から画像信号を読み出す速度を、第2の実施形態よりもさらに高速にすることが可能になる。
【0071】
図7は、本実施形態に係るデジタルカメラにおいて、ローリングシャッタ方式により連写撮影を行い、前フレーム(先に撮影された画像)の処理と後フレーム(次に撮影された画像)の処理とを並行して行う場合の信号処理IC40における処理フローの一例を示すイメージ図であり、図5の例に対応したものである。
【0072】
図7の例では、カメラI/F部43が後フレームのRAW−DATAをSDRAM50に書き込んでいる間、画像処理部44による前フレームに対する第2の画像処理を停止させ、後フレームのRAW−DATAがSDRAM50に書き込まれた後に、画像処理部44による前フレームに対する第2の画像処理を開始させるようにしている。
【0073】
図8は、本実施形態に係るデジタルカメラにおいて、ローリングシャッタ方式により連写撮影を行い、前フレームの処理と後フレームの処理とを並行して行う場合の信号処理IC40における処理フローの一例を示すイメージ図であり、図6の例に対応したものである。
【0074】
図8の例では、センサI/F部41が後フレームのRAW−DATAをSDRAM50に書き込んでいる間、前フレームに対するカメラI/F43による第1の画像処理および画像処理部44による第2の画像処理を停止させ、後フレームのRAW−DATAがSDRAM50に書き込まれた後に、前フレームに対するカメラI/F43による第1の画像処理と画像処理部44による第2の画像処理とを順次開始させるようにしている。
【0075】
以上、具体的な例を挙げながら説明したように、本実施形態に係るデジタルカメラは、ローリングシャッタ方式により本撮影を行う場合に、フロントエンドIC30から出力されたRAW−DATAをSDRAM50に書き込んでいる間、信号処理IC40において実施される少なくとも一部の画像処理を停止させるようにしているので、バス性能を高めることなく、CMOSセンサ31から画像信号を読み出す速度を第2の実施形態よりもさらに高速にして、ローリングシャッタ方式の欠点である画像の歪みや手ぶれの影響を有効に抑制することができる。
【0076】
<第4の実施形態>
次に、第4の実施形態について説明する。第4の実施形態に係るデジタルカメラは、ローリングシャッタ方式により本撮影を行う場合であっても、撮影時の露光時間が所定値より長いときは、CMOSセンサ31から画像信号を読み出す速度を、グローバルリセットシャッタ方式により本撮影を行う場合と同じ速度にする。なお、デジタルカメラのハードウェア構成や動作の概要は第1の実施形態と同様であるため、以下では、本実施形態の特徴部分についてのみ説明し、第1の実施形態と重複する説明は適宜省略する。
【0077】
第1の実施形態に係るデジタルカメラでは、ローリングシャッタ方式により本撮影を行う場合に、CMOSセンサ31から画像信号を読み出す速度をグローバルリセットシャッタ方式の場合よりも速くすることで、画像の歪みや手ぶれの影響を小さくしていた。しかし、ローリングシャッタ方式により本撮影を行う場合であっても、長時間露光の撮影であれば、CMOSセンサ31から画像信号を読み出す速度を高速化しても、画質に対して大きなメリットは得られない。例えば、CMOSセンサ31からの画像信号の読み出しに要する時間を200msecとすると、CMOSセンサ31の最上部の画素ラインと最下部の画素ラインとの間で露光開始タイミングの差は200msecであるが、例えば露光時間が5secであるとすると、この露光開始タイミングの差は露光時間と比較して極めて小さい値であり、CMOSセンサ31から画像信号を読み出す速度を高速化してこの値をさらに小さくしても、画質に対するメリットは期待できない。
【0078】
図9は、ローリングシャッタ方式により長時間露光で静止画を撮影する場合の撮影制御シーケンスを示す図である。図9の例では、V2期間で上側の画素ラインから順に露光が開始され、V3期間では全画素ラインの露光が継続され、V4期間で上側の画素ラインから順に読み出しが行われる。さらに長時間の露光の場合には、その露光時間の長さに応じてV3期間が繰り返された後、V4期間で上側の画素ラインから順に読み出しが行われることになる。
【0079】
このように撮影時の露光時間が長ければ、CMOSセンサ31から画像信号を読み出す速度を高速化しても画質に対するメリットは期待できない。そこで、本実施形態に係るデジタルカメラでは、CPU100が、ローリングシャッタ方式により本撮影を行う場合に、撮影時の露光時間を予め定めた所定値と比較し、露光時間が所定値以下の場合にのみ、CMOSセンサ31から画像信号を読み出す速度をグローバルリセットシャッタ方式により本撮影を行う場合よりも速くし、露光時間が所定値よりも大きければ、CMOSセンサ31から画像信号を読み出す速度をグローバルリセットシャッタ方式と同じにする。なお、判定に用いる所定値は、デジタルカメラの性能や要求される画質に応じて最適な値を定めておけばよい。
【0080】
以上のように、本実施形態に係るデジタルカメラは、ローリングシャッタ方式により本撮影を行う場合であっても、撮影時の露光時間が所定値より長いときは、CMOSセンサ31から画像信号を読み出す速度を、グローバルリセットシャッタ方式により本撮影を行う場合と同じ速度にするので、読み出し速度を必要以上に高速化することによる消費電力の増大や、読み出し速度の高速化に伴って画像処理を停止あるいは処理速度を遅くすることによる処理時間の増大といった問題を有効に回避することができる。
【0081】
以上、本発明の実施形態について具体的に説明したが、本発明は、上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で様々な変形を加えて具体化することができる。つまり、上述したデジタルカメラの構成や動作はあくまで具体的な一例を例示したものであり、用途や目的に応じて様々な変形が可能である。
【符号の説明】
【0082】
30 フロントエンドIC
31 CMOSセンサ
34 A/D
40 信号処理IC
43 カメラI/F部
44 画像処理部
50 SDRAM
100 CPU
【先行技術文献】
【特許文献】
【0083】
【特許文献1】特開2009−159459号公報

【特許請求の範囲】
【請求項1】
撮像素子と、
前記撮像素子の画素ラインごとに電荷リセット動作を行う第1のモードで撮影を行う場合に、前記撮像素子の全画素同時に電荷リセット動作を行う第2のモードで撮影を行う場合よりも、前記撮像素子から画像信号を読み出す速度を速くする第1の制御手段と、を備えることを特徴とする撮像装置。
【請求項2】
前記撮像素子から読み出した前記画像信号をデジタル画像データに変換する変換手段と、
前記デジタル画像データを記憶する記憶手段と、
前記デジタル画像データに対して画像処理を行う画像処理手段と、
前記第1のモードで撮影を行う場合に、前記デジタル画像データが前記記憶手段に書き込まれている間の少なくとも一部の期間に、前記画像処理手段による画像処理の処理速度を、前記第2のモードで撮影を行う場合よりも遅くする第2の制御手段と、をさらに備えることを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記撮像素子から読み出した前記画像信号をデジタル画像データに変換する変換手段と、
前記デジタル画像データを記憶する記憶手段と、
前記デジタル画像データに対して画像処理を行う画像処理手段と、
前記第1のモードで撮影を行う場合に、前記デジタル画像データが前記記憶手段に書き込まれている間の少なくとも一部の期間に、前記画像処理手段による画像処理の少なくとも一部を停止させる第3の制御手段と、をさらに備えることを特徴とする請求項1に記載の撮像装置。
【請求項4】
前記第3の制御手段は、前記第1のモードで撮影を行う場合に、前記記憶手段に対する前記デジタル画像データの書き込みが終了した後に、前記画像処理手段による画像処理を開始させることを特徴とする請求項3に記載の撮像装置。
【請求項5】
前記第1の制御手段は、前記第1のモードで撮影を行う場合であっても、撮影時の露光時間が所定値より長いときは、前記撮像素子から前記画像信号を読み出す速度を前記第2のモードで撮影を行う場合と同じ速度にすることを特徴とする請求項1〜4のいずれか一項に記載の撮像装置。
【請求項6】
撮像素子と、制御手段と、を備える撮像装置の制御方法であって、
前記制御手段が、前記撮像素子の画素ラインごとに電荷リセット動作を行う第1のモードで撮影を行う場合に、前記撮像素子の全画素同時に電荷リセット動作を行う第2のモードで撮影を行う場合よりも、前記撮像素子から画像信号を読み出す速度を速くすることを特徴とする撮像装置の制御方法。

【図1−1】
image rotate

【図1−2】
image rotate

【図1−3】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate


【公開番号】特開2013−98792(P2013−98792A)
【公開日】平成25年5月20日(2013.5.20)
【国際特許分類】
【出願番号】特願2011−240480(P2011−240480)
【出願日】平成23年11月1日(2011.11.1)
【出願人】(000006747)株式会社リコー (37,907)
【Fターム(参考)】