撮像装置
【課題】 要求される動画の仕様に従い、撮像素子読出し方式を最適化することが可能な撮像装置を提供する。
【解決手段】 撮影モードに応じて、撮像素子からの画素の信号読出し動作として、（ａ）撮像素子の全ての画素の信号を読み出す第１の読出し動作、（ｂ）撮像素子の行方向及び列方向ともに間引きして画素の信号を読み出す第２の読出し動作、（ｃ）間引きされた特定の行においてのみ行方向における全ての画素の信号を読み出す第３の読出し動作、のうちのいずれかが選択される。撮影処理において、前記選択された信号読出し動作を実行して得られた画素の信号を用いて静止画又は動画が生成される。
【解決手段】 撮影モードに応じて、撮像素子からの画素の信号読出し動作として、（ａ）撮像素子の全ての画素の信号を読み出す第１の読出し動作、（ｂ）撮像素子の行方向及び列方向ともに間引きして画素の信号を読み出す第２の読出し動作、（ｃ）間引きされた特定の行においてのみ行方向における全ての画素の信号を読み出す第３の読出し動作、のうちのいずれかが選択される。撮影処理において、前記選択された信号読出し動作を実行して得られた画素の信号を用いて静止画又は動画が生成される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子を有する撮像装置に関し、特に静止画撮影と動画撮影とを実行可能な撮像装置に関する。
【背景技術】
【０００２】
最近のデジタルスチルカメラ等の撮像装置に搭載されている固体撮像素子は、その画素数が大幅に増大し、高精細な静止画像を撮影可能となっている。さらに、静止画像だけでなく、動画像の表示・記録が可能な電子カメラも実現されている。
【０００３】
動画像を表示・記録する場合には、より高精細な時間方向の解像力を得るために、最低でも２４コマ〜３０コマ／秒程度のフレームレートを確保する必要がある。
【０００４】
また近年では、６０コマ／秒、またはそれ以上のフレームレートを記録する撮像装置や、このフレームレートの動画データを再生する再生装置の技術開発も進められている。
【０００５】
高精細な静止画を撮影可能で、かつ動画記録も可能とする撮像装置においては、静止画撮影時の高画素数の画像データの生成処理と、動画撮影時の高フレームレートの読出し処理を両立させるために、動画撮影時には固体撮像素子の出力画素数を低減させている。
【０００６】
例えば、固体撮像素子の全画素領域の読出しを高速に行う場合には、固体撮像素子の水平方向、垂直方向それぞれ所定画素数おきに読み出す、いわゆる間引き読出しを行うことにより、出力画素数を低減することができる。
【０００７】
他の出力画素数の低減方法としては、いわゆる画素混合による画素加算間引き読出しが知られている。この画素加算間引き読出しは、単純に間引き読出しを行うと、空間的にサンプリング周波数が低減し、空間的な折返しノイズが増加するため、固体撮像素子上で、実際には読出しを行わない画素出力を実際に読出しを行う画素出力に加算して、読み出すものである。
【０００８】
このような画素加算間引き読出しについては、例えば特許文献１に、水平、垂直方向のいずれか、あるいは両方の撮像素子からの出力を１／（２ｎ＋１）に間引く、あるいは画素加算したのちに間引く方法が提案されている。
【０００９】
また、特許文献２には、水平、垂直方向のいずれかの間引き率を変化させた場合に後段で画像サイズを維持するように画素補間処理を行う方法が開示されている。
【００１０】
また、静止画撮影時も含めた、撮像素子そのものの読出し速度向上のための取り組みも進められている。ＣＭＯＳ型撮像素子においては同時に複数画素の信号を読み出す多チャネル化等の手法により静止画撮影時、動画撮影時とも読出し速度向上の手法が採られている。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００２−１３５７９３号公報
【特許文献２】特開２００３−２３４９６４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
上述の特許文献に開示された従来技術を用いると、読み出すべき画素数は、例えば水平、垂直方向においてそれぞれ1/3に間引く場合、総画素数の1/9となり、大幅な読出し時間の短縮が可能となり、所望のフレームレートを実現しやすくなる。
【００１３】
また、フレームレートに対して実際の読出し時間が短ければ、不要期間に撮像素子や周辺回路ブロックの消費電力を適宜オフ又は低減することで平均の消費電力を抑える効果がある。
【００１４】
しかしながら、例えば水平、垂直方向においてそれぞれ1/3に間引く場合、撮像素子の３×３画素の領域を１画素の出力に圧縮することになる。ここで、Ｒ，Ｇ，Ｇ，Ｂの各色からなるベイヤ配列の撮像素子を考えると、Ｒが３×３画素の中心にある場合は３×３画素の中に他のＲ画素は存在しない。Ｂ画素が中心にある場合も同様である。一方、Ｇ画素が中心にある場合には３×３画素内に他に４個のＧ画素が存在することになる。
【００１５】
したがって、この３×３の間引き後の単位画素内での画素加算を考えると、Ｇについてはこの単位画素内で他のＧ画素の出力との加算を行うことができるが、Ｒ，Ｂは不可能であることがわかる。
【００１６】
Ｒ，Ｂ画素については加算効果が得られないため、Ｒ，Ｂに関しては単純な間引き動作時と同じように折り返しノイズが発生するという問題がある。
【００１７】
さらに、３×３画素のさらに周辺のＲ，Ｂ画素の出力を用いて同色の加算処理を行うことも可能である。しかし、これを行うと折り返しノイズは低減するものの、実質的に隣接する画素出力との加算平均処理を行うことと等価であるため、解像度が低下するという課題が生じる。
【００１８】
また、上述の特許文献に開示された従来技術では、水平、垂直方向とも１／（２ｎ＋１）に間引くこととしているため、水平、垂直方向とも１／３間引き時に１／９の画素数となる。また、その次の間引き率である水平、垂直方向とも１／５間引き時には画素数は１／２５となり、間引きの変化率は２．８倍となる。この変化率は、動画フォーマットで一般的なフルＨＤ（１９２０×１０８０、約２０７万画素）とＨＤ（１２８０×７２０、約９２万画素）との比２．２４倍よりもやや大きい。したがって、この間引きの変化率は、フルＨＤとＨＤの２つのフォーマットに対応させることを考えると大きすぎである。
【００１９】
間引き処理を撮像素子内の画素加算動作で行うためには、加算時の切り替え回路を組み込む必要がある。しかし、そのために複雑な回路を組み込むことは、回路規模の増大、配線レイアウト上の制約から困難である。そのため、撮像素子内の回路で、高解像度及び折り返しノイズの対応に加え、所望の間引き率の実現と読出し速度とを両立させることは非常に大きな課題であった。
【００２０】
一方、水平方向と垂直方向の動作に関しては回路的に独立性が高い。そのため、水平及び垂直を同時に１／（２ｎ＋１）間引きにするのではなく、水平又は垂直のいずれかを１／（２ｎ＋１）間引きにすることは回路規模的には比較的容易に実現可能である。
【００２１】
ただし、このような間引き処理の場合、撮像素子から読み出した画像の縦横比が異なるため、後段のＡ／Ｄ変換後のデジタル処理で、水平方向と垂直方向で異なる画像変倍率を乗じる処理を行う必要がある。
【００２２】
上述の特許文献２においては、間引き率は１／（２ｎ＋１）に限定されていないが、間引き率に応じて後段で水平方向と垂直方向で異なる画像変倍率を乗じる処理が開示されている。
【００２３】
しかし、いったん間引いた画像信号を後段で補間すると、解像度が低下し、画質の低下につながる。
【００２４】
そこで、本発明は、要求される動画の仕様に従い、撮像素子読出し方式を最適化することが可能な撮像装置を提供する。
【課題を解決するための手段】
【００２５】
本発明の一側面によれば、被写体像を光電変換する光電変換素子を含む複数の画素が行方向及び列方向に配置された撮像素子と、撮影モードを設定する設定手段と、前記設定された撮影モードに応じて、前記撮像素子からの画素の信号読出し動作として、（ａ）前記撮像素子の全ての画素の信号を読み出す第１の読出し動作、（ｂ）前記複数の画素のうち、行方向及び列方向ともに間引きして画素の信号を読み出す第２の読出し動作、（ｃ）前記複数の画素のうち、間引きされた特定の列においてのみ行方向における全ての画素の信号を読み出す第３の読出し動作、のうちのいずれかを選択する選択手段と、撮影処理において、前記選択された信号読出し動作を実行して得られた画素の信号を用いて静止画又は動画を生成する処理手段とを有することを特徴とする撮像装置が提供される。
【発明の効果】
【００２６】
本発明によれば、要求される動画の仕様に従い、撮像素子読出し方式を最適化することが可能な撮像装置を提供することができる。
【図面の簡単な説明】
【００２７】
【図１】実施形態における撮像装置の構成例を示すブロック図。
【図２】実施形態における撮像装置の動作例を示すフローチャート。
【図３】実施形態における撮像装置の静止画撮影時の動作例を示すフローチャート。
【図４】実施形態における撮像装置の静止画撮影時の撮影動作を示すフローチャート。
【図５】実施形態における撮像装置のＤＳＰの構成を示すブロック図。
【図６】実施形態における撮像装置の動画撮影時の動作例を示すフローチャート。
【図７】実施形態における撮像装置の静止画用読出し動作を示す図。
【図８】実施形態における撮像装置の動画撮影時の水平画素加算、垂直間引き読出し動作を示す図。
【図９】実施形態における撮像装置の動画撮影時の水平全画素読み、垂直間引き読出し動作を示す図。
【発明を実施するための形態】
【００２８】
以下、本発明の実施形態について添付の図面を参照して具体的に説明する。
【００２９】
図１は、本発明の実施形態に係る撮像装置の構成を示すブロック図である。図示の如く、本実施形態の撮像装置は、撮像素子１０１、ＡＦＥ（アナログ・フロント・エンド）１０２、ＤＳＰ（デジタル・シグナル・プロセッサ）１０３、タイミング発生回路１０４、ＣＰＵ１０５を備える。
【００３０】
撮像素子１０１は、被写体像を光電変換する光電変換素子を含む複数の画素が行方向及び列方向に配置されたものである。なお、本明細書においては、「行方向」及び「列方向」のことをそれぞれ、「水平方向」及び「垂直方向」ともいう。撮像素子１０１は例えばＣＭＯＳセンサであり、ＣＭＯＳセンサの内部にＩＳＯ感度に応じてゲインを切り替える不図示のアンプ回路が内蔵されている。また、このＣＭＯＳセンサは、画素の信号読出し動作モードとして、先に説明したような、以下のモードを有する。
（１）全画素を読み出す全画素読出しモード。
（２）画素を間引きして読み出す間引き読出しモード。
（３）間引き読出しモード時にＣＭＯＳセンサ上の複数の画素の出力を加算平均して出力する画素加算間引き読出しモード。
（４）水平、垂直方向の読出し開始位置、読出し終了位置を選択し、切出し位置を切り替え可能な切出し読出しモード。
【００３１】
これらの読出し方式について、図７を参照して説明する。同図は、通常の全画素読出しを示しており、図の左側に撮像素子１０１の物理的な画素配置を示している。各画素に記載のＲ，Ｇｒ，Ｇｂ，Ｂは原色ベイヤ−配列されたカラーフィルタの色を示している。
【００３２】
この撮像素子を水平方向、垂直方向に順次スキャンし、全画素の出力を時系列に得ることにより得られる画像イメージを同図右側に示している。この場合、全画素読出しであるので、当然得られる画像イメージも、物理配置と同様となる。
【００３３】
ＡＦＥ１０２は、撮像素子１０１からの信号をアナログ−デジタル変換するＡ／Ｄ変換器を内蔵しており、ダークオフセットレベルをクランプする機能を備えている。ＤＳＰ１０３は、ＡＦＥ１０２からのデータに対して各種補正処理及び現像、圧縮処理を行う。また、ＤＳＰ１０３は、ＲＯＭ１０６、ＲＡＭ１０７等の各種メモリの制御を行ったり、記録媒体１０８への画像データの書込み処理等を行ったり、ＬＣＤ１１４に対して各種データの表示処理を行う。また、ＤＳＰ１０３は、内部にキズ画素補正回路を有しており、指定された画素の出力データを周辺の画素の出力データを用いて補正する機能を有している。
【００３４】
タイミング発生回路１０４は、ＣＰＵ１０５からの指示により、撮像素子１０１、ＡＦＥ１０２及びＤＳＰ１０３にクロック信号や制御信号を供給し、ＤＳＰ１０３と協働し、ＣＭＯＳセンサの各種読出しモードに対応したタイミング信号を生成する。
【００３５】
ＣＰＵ１０５は、ＤＳＰ１０３及びタイミング発生回路１０４の制御並びに測光・測距等の不図示の各部を使ったカメラ機能の制御を行う。ＣＰＵ１０５には、例えば、電源スイッチ１０９、第一段目のシャッタースイッチSW1 １１０、第二段目のシャッタースイッチSW2 １１１、モードダイアル１１２及びＩＳＯ感度設定スイッチ１１３が接続されている。ＣＰＵ１０５は、これらのスイッチ及びダイアルの設定状態に応じた処理を実行する。
【００３６】
ＲＯＭ１０６は、撮像装置の制御プログラム（即ちＣＰＵ１０５が実行するプログラム）及び各種補正データ等を記憶しており、一般的にはフラッシュメモリを用いている。ＲＡＭ１０７は、ＤＳＰ１０３により処理される画像データ及び補正データ等を一時的に記憶する。ＣＰＵ１０５が処理時に使用する各種補正データはＲＯＭ１０６に記憶されており、撮影時にＲＡＭ１０７に展開されて使用される。また、ＲＡＭ１０７は、ＲＯＭ１０６より高速のアクセスが可能なように構成されている。
【００３７】
記録媒体１０８としては、例えば撮影された画像を保存するメモリカード等が用いられる。記録媒体１０８は、例えば不図示のコネクタを介してＤＳＰ１０３に接続される。
【００３８】
電源スイッチ１０９は、撮像装置を起動させる際にユーザにより操作される。
【００３９】
シャッタースイッチSW1 １１０は、測光処理、測距処理等の動作開始を指示する際にユーザにより操作される。シャッタースイッチSW2 １１１は、不図示のミラー及びシャッターを駆動し、撮像素子１０１から読み出した信号をＡＦＥ１０２及びＤＳＰ１０３を介して記録媒体１０８に書き込む一連の撮像動作の開始を指示する際にユーザにより操作される。モードダイアル１１２は、撮像装置の撮影モードを選択する際にユーザにより操作される。ＩＳＯ感度設定スイッチ１１３は、撮像装置の撮影ＩＳＯ感度を設定する際にユーザにより操作される。ＬＣＤ１１４は、カメラの情報を表示し、撮影した画像を再生表示し、あるいは動画像データを表示する。
【００４０】
次に、上述のように構成された撮像装置の制御方法について説明する。
【００４１】
図２は、実施形態に係る撮像装置の制御方法を示すフローチャートである。この制御は、主にＣＰＵ１０５により実行される。
【００４２】
まず、Ｓ２０１において電源スイッチ１０９がＯＮされているか否かを判定し、ＯＮになっていることを検出するまでこの判定を繰り返す。そして、電源スイッチ１０９がＯＮにされると、Ｓ２０２へ進む。Ｓ２０２では、バッテリのチェックを行う。撮影のために十分な電力が供給できないと判断された場合は、Ｓ２１１にて例えばＬＣＤ１１４に警告表示を行い、再度、電源スイッチがオンされるのを待つ。電力を十分供給できると判断された場合には、Ｓ２０３にて記録媒体のチェックを行う。Ｓ２０３にて記憶媒体がセットされていない、あるいは記録できる容量が不十分である場合には、Ｓ２１１に進み、ＬＣＤ１１４にて警告表示を行う。
【００４３】
十分な容量の記録媒体がセットされていることが確認されたら、Ｓ２０４にてモードダイアル１１２が静止画撮影モードに設定されているか動画撮影モードに設定されているかの判定を行う。静止画撮影モードに設定されていればＳ２０５の静止画撮影に進み、動画撮影モードに設定されていればＳ２０６の動画撮影に進む。
【００４４】
以下、Ｓ２０５の静止画撮影の動作を図３のフローチャートに従い説明する。Ｓ３０１では、シャッタースイッチSW1 １１０がＯＮしているか否かを判定し、ＯＮになっていることを検出するまでこの判定を繰り返す。そして、シャッタースイッチSW1 １１０がＯＮにされると、Ｓ３０２に進む。
【００４５】
Ｓ３０２では、不図示の測光制御部及び測距制御部を用いて、絞り値及びシャッター速度を決定する測光処理、撮影レンズ焦点を被写体に合わせる測距処理を行う。
【００４６】
次に、Ｓ３０３において、シャッタースイッチSW2 １１１がＯＮしているか否かを判定し、ＯＮになっていることを検出するまでこの判定を繰り返す。シャッタースイッチSW1が押されていないことをＳ３０４にて検出したら、再度Ｓ３０１にてシャッタースイッチSW1が押されるのを待つ。シャッタースイッチSW2 １１１がＯＮにされると、Ｓ３０５に進む。
【００４７】
Ｓ３０５では、撮影処理を実行する。この撮影処理の詳細については後述する。次に、Ｓ３０６において、ＤＳＰ１０３に撮影した画像データの現像処理を行わせる。続いて、Ｓ３０７において、ＤＳＰ１０３に現像処理の終了した画像データに対する圧縮処理を行わせ、ＲＡＭ１０７の空き領域に格納させる。
【００４８】
そして、Ｓ３０８において、ＲＡＭ１０７に格納されている画像データをＤＳＰ１０３に読み出させ、記録媒体１０８への記録処理を実行させる。記録処理終了後に、Ｓ３０９にて電源スイッチのチェックを行う。電源スイッチがオフされていなければ、再度Ｓ３０１へ戻り、次の撮影に備え、電源スイッチがオフされていることを検出した場合には、図２のＳ２０１に戻り再度電源スイッチがオンされるのを待つ。
【００４９】
次に、Ｓ３０５の撮影処理の詳細について、図４のフローチャートに従い説明する。まず、Ｓ４００で、ＩＳＯ感度設定ＳＷにて設定された感度となるよう撮像素子１０１内のアンプゲインや、ＡＦＥ１０２内部のゲイン等を設定する。次にＳ４０２において、ミラーをミラーアップ位置に移動させる。次に、Ｓ４０３において、Ｓ３０２の測光処理において取得した測光データに基づいて、所定の絞り値まで絞りを駆動する。次いで、Ｓ４０４において、撮像素子１０１の電荷を消去する（クリア）。その後、Ｓ４０５において、撮像素子１０１での電荷蓄積を開始する。
【００５０】
続いて、Ｓ４０６において、シャッターを開き、Ｓ４０７にて撮像素子１０１の露光を開始する。そして、Ｓ４０８において、測光データに従って露光終了時間が経過するまで待機し、露光終了時間が経過すると、Ｓ４０９において、シャッターを閉じる。
【００５１】
次に、Ｓ４１０において、開放の絞り値まで絞りを駆動する。次いで、Ｓ４１１において、ミラーダウン位置までミラーを駆動する。その後、Ｓ４１２において、設定した電荷蓄積時間が経過するまで待機し、電荷蓄積時間が経過すると、Ｓ４１３において、撮像素子１０１の電荷蓄積を終了する。
【００５２】
続いて、Ｓ４１４において、撮像素子１０１の信号を読み出す。また、ダークオフセットレベルをクランプする機能を備えたＡＦＥ１０２は、撮像素子１０１の不図示のオプティカルブラック部からの出力を用いて、クランプ動作を行う。ＡＦＥ１０２から入力されたデータは、ＤＳＰ１０３で、Ｓ３０６、Ｓ３０７、Ｓ３０８の現像、圧縮、記録といった各種処理動作が行われる。
【００５３】
図５のＤＳＰ１０３の構成図を用いて、その動作を説明する。図示の如く、ＤＳＰ１０３は、水平変倍部１０３２、画像生成部１０３３、変倍部１０３４、動画像生成部１０３５、メモリ制御部１０３６、記録媒体制御部１０３７、及び、上記各部を接続するバス１０３１で構成される。
【００５４】
静止画撮影時における水平方向と垂直方向の倍率は等しいため、ＤＳＰ１０３では水平方向の画像サイズを縮小する水平変倍処理を行う必要はない。画像生成部１０３３は、入力されたＲＧＢデータに対して、現像、圧縮等の演算処理を行って画像データを生成し、記録媒体制御部１０３７を制御して記録媒体に記録する。
【００５５】
次に、Ｓ２０６の動画撮影の動作を図６のフローチャートに従い説明する。なお、本実施形態においては、動画撮影モードに関して、次のような仕様を想定している。すなわち、（１）動画撮影モードになると、不図示のミラーをアップし、シャッターを開き、撮像素子から読み出される画像データを現像しＬＣＤ上に表示し続けるモニター動作を行う。
（２）シャッタースイッチSW2 １１１が押されている間、動画データを記録媒体１０８に記録する。
（３）モードダイアル１１２の設定が変更されたとき、又は、電源スイッチ１０９がオフされるときに、動画撮影モードを終了する。
【００５６】
また、記録される動画像の大きさ、位置、フレームレート等は別途不図示の設定部によって設定できるものとする。
【００５７】
動画撮影時の撮像素子の読出し方法、画像の大きさ、位置、フレームレートの組み合わせの例として本実施形態では次のような設定を想定している。
【００５８】
１：高速動画モード
まず図７に静止画撮影時の撮像素子の画素の対応を示す。撮像素子上の画素は水平、垂直方向とも順次走査され、全ての画素の信号が読み出される（第１の読出し動作）。
【００５９】
これに対し、高フレームレートの動画撮影を行う高速撮影モードでは、図８に示すように、読出し対象行の読出し動作前に、水平方向に２画素離れた両隣の同色画素の出力との間で加算平均化処理を行う。
【００６０】
撮像素子内にアナログ的に画素出力を混合する手段を有し、読出し前に水平方向に２画素離れた同色画素との画素混合動作を行う。これにより読み出される画素の出力は周辺画素との平均値出力となる。
【００６１】
次に、行方向（水平方向）及び列方向（垂直方向）ともに間引きして画素の信号を読み出す（第２の読出し動作）。例えば、水平転送時に水平方向に３画素ずつ間引いて読み出す。これより、水平方向の読出し画素数は静止画読出し時の１／３となる。さらに、垂直読出し時にも３画素ずつ間引いて読み出す。これにより、垂直方向の読出し画素数は静止画読出し時の１／３となる。
【００６２】
この結果、図８の下段に示すように、出力画像のサイズは、静止画サイズを基準としたとき、水平、垂直とも１／３となる。トータルの読出し画素数は１／９となり、大幅な読出し時間の短縮が可能である。
【００６３】
動画の出力サイズはHDサイズ、フレームレートは60fpsである。
【００６４】
２：高解像度モード
高解像度モードでは、間引きされた特定の行においてのみ行方向（水平方向）における全ての画素の信号を読み出す（第３の読出し動作）。図９は水平方向は全画素読出し、垂直方向は等間隔に３画素中１画素を読み出す１／３間引き読出しのイメージを示している。この図９の例に示されるように、読出し対象行の水平方向は間引くことなく全画素読み出す。一方、垂直読出し時には３画素ずつ間引いて読み出す。これにより、垂直方向の読出し画素数は静止画読出し時の１／３となる。
【００６５】
この結果、図９の下段に示すように、出力画像のサイズは、静止画サイズを基準としたとき、水平方向は静止画と同じ、垂直方向は１／３となる。
【００６６】
動画の出力サイズはHDサイズ、フレームレートは30fpsである。
【００６７】
３：低消費電力モード
撮像素子を行方向（水平方向）において同色３画素を加算することにより該３画素中１画素のみを読み出す、１／３加算間引き読出しを行う。列方向（垂直方向）についても、３画素中１画素のみ読み出す、１／３間引き読出しを行う。読出し方法は、上述の高速動画モードと同じでよい。
【００６８】
動画の出力サイズはHDサイズ、フレームレートは30fpsである。
【００６９】
いずれの場合においても、ここには記載していないが垂直方向においても画素混合が可能な撮像素子においては垂直方向も合わせて画素混合を行うことで、水平、垂直両方向の空間サンプリング時の信号の折り返し成分除去が可能となる。
【００７０】
上記の読出し方式は、ＣＭＯＳ型撮像素子を想定しており、水平、垂直方向のシフトレジスタのシフト動作を読出し方式ごとに切り替えることにより各種の読出し方式に対応可能である。
【００７１】
以下、これを踏まえてＳ２０６の動画撮影処理を説明する。Ｓ２０４にて動画撮影モードであると判断されると、図６に示す動画撮影モードに入る。まずＳ６００にて動画モードの設定を行う。この設定はモードダイアル１１２にて高速動画モード、高解像度モード、低消費電力モードが選択できるものとする。
【００７２】
Ｓ６０２にて不図示のミラーアップ及び不図示のシャッターの開動作を行う。これにより撮像素子１０１に常時被写体像が入射するようになる。
【００７３】
次にＳ６０３にてシャッタースイッチSW２ １１１が押されているかどうか判別する。SW2 １１１が押されていなければ、ＬＣＤ１１４への画像データのモニター表示のみを繰り返すモニター動作を行い、SW2 １１１が押されていれば同時に記録媒体に動画像データを書き込む記録動作に入る。
【００７４】
以下モニター動作時について説明する。Ｓ６０３にてシャッタースイッチＳＷ２がオフであると判断されたときは、まずＳ６０４にて、現在記録動作中であれば記録動作を停止する処理を行う。現在記録動作を行っていない場合には何もしない。その後、Ｓ６０６にて、露出調整を行う。
【００７５】
露出調整は直前に撮影した画像から露光量を判断し、適切な露光量となるように、レンズの絞りや、ゲイン設定を行うことによって実行される。動画撮影の最初は直前のデータが存在しないため、初期設定値によって制御される。
【００７６】
以降、Ｓ６０７にて動画撮影処理を行う。動画撮影時、撮像素子１０１は、タイミング発生回路１０４からの駆動信号によって、電荷クリア−蓄積−読出しを繰り返す動作を継続する。ここで、撮像素子１０１は、タイミング発生回路１０４にて設定された動画像の大きさに対応した読出し方式の動画撮影モードで駆動し、所定のフレームレートで読出し動作を繰り返す。ＤＳＰ１０３にて、現像処理、動画像生成、及びモニター表示のための圧縮処理を行い、その結果をカメラのＬＣＤ１１４に表示する。動画撮影時は、Ｓ６０７の中でこの一連の動作を必要なフレームレートで繰り返すこととなる。
【００７７】
Ｓ６０３にて、SW2 １１１が押されていると判別された場合には、Ｓ６０５にて記録動作を開始する。記録動作が設定されると、ＤＳＰ１０３にて、現像処理を、Ｓ６０７にて動画像生成及びモニター表示のための圧縮処理を行い、その結果をカメラのＬＣＤ１１４に表示する。動画撮影時はＳ６０７の中でこの一連の動作を必要なフレームレートで繰り返すこととなる。この結果を記録媒体１０８に書き込み保存していく。以降、SW2 １１１がオフするまで記録動作を継続する。
【００７８】
もちろん、安全のために、SW2 １１１がオフしていなくても、所定時間が経過した場合や、記録媒体１０８の残り容量が不足するような場合には記録動作を停止してもかまわない。なお、Ｓ６１２にて電源スイッチのオン状態が検出されている場合には、Ｓ６１３にてモードダイアルの状態の検出を行う。
【００７９】
Ｓ６１２で電源スイッチがオフにされたとき、又は、Ｓ６１３で静止画撮影モードが選択されたときは、それぞれ、Ｓ６１４、Ｓ６１５の動画終了処理に進む。具体的には、Ｓ６１４、Ｓ６１５では、記録動作時であれば記録動作の終了を行い、撮像素子１０１の駆動停止、ＤＳＰ１０３の読出し処理の停止を行い、不図示のシャッターを閉じ、不図示のミラーをダウンし、それぞれＳ２０１、Ｓ２０４に移行する。
【００８０】
次に、動作モードごとのＳ６０７でのＤＳＰ１０３内の処理を、図５を参照して説明する。
【００８１】
１：高速動画モード
高速動画モードでは、静止画の水平方向１／３、垂直方向１／３の画素数のデータを処理することになる。このときの撮像素子から読み出される画素の様子及び全体の画素サイズについて説明する。ＤＳＰ１０３に入った画像データはまず、撮像素子の縦横の画素数の比率を動画のアスペクト比に揃える切出し処理に付される。これは、メモリ制御部１０３６にて、入力された画像データに対して必要な領域のみのデータをメモリに書き出すことで実現される。
【００８２】
その後、画像生成部１０３３で、切出し後の画像データのＲＧＢデータに対して現像等の演算処理が行われる。次に、変倍部１０３４で、所定の動画サイズへ水平、垂直方向の変倍処理が行われ、その後、動画像生成部１０３５で、所定のフレームレートで生成される画像データが圧縮符号化されて、最終的な動画データが生成される。
【００８３】
なお、本モードでは読出し画素数を１／９に削減したため、読出し速度の向上が図られ６０fpsを実現することが可能となるので、ＤＳＰ１０３は６０fpsに対応した処理を行うこととなる。
【００８４】
２：高解像度モード
高解像度モードでは、水平方向は静止画と同じ画素数、垂直方向は１／３の画素数のデータを処理する。よって、高速動画モードに比べると概略３倍の読出し時間を要するため、60fpsでの動作は困難である。また、水平方向と垂直方向の倍率が異なるため、ＤＳＰ１０３では水平方向の画像サイズを縮小する水平変倍処理を行う必要がある。撮像素子上で水平画素加算を行うと単純な処理、例えば加算平均処理などに限定されてしまう。これに対し、ＤＳＰ１０３では、水平変倍部１０３２にて水平変倍処理のアルゴリズムとして各種フィルタ処理を適用する縮小アルゴリズムに基づいて演算することが可能である。
【００８５】
これにより、撮像素子での画素加算平均を算出する場合に比較し、より高精細で、かつ折り返しノイズの影響を受けない高品質な縮小画像を得ることが可能である。
【００８６】
上述の処理は、図５に示したような専用の処理回路で処理するように記載しているが、ＤＳＰ用のプログラムによって上述の処理を実行させることも可能である。
【００８７】
次に、高速動画モードと同じように、撮像素子の縦横の画素数の比率を動画の画素数の縦横比に揃える切出し処理を行う。これは、メモリ制御部１０３６にて、入力された画像データに対して必要な領域のみのデータをメモリに書き出すことで実現される。
【００８８】
その後、画像生成部１０３３で、切出し後の画像データのＲＧＢデータに対して現像等の演算処理が行われる。次に、変倍部１０３４で、所望の動画サイズへ水平、垂直方向の変倍処理が行われ、その後、動画像生成部１０３５で、所定のフレームレートで生成される画像データが圧縮符号化されて、最終的な動画データが生成される。
【００８９】
なお、本モードでは読出し画素数は静止画の１／３にしか削減されていないため、読出し速度は高速動画モードと比較すると向上しておらず、３０fpsのフレームレートとして処理される。よってＤＳＰ１０３は３０fpsに対応した処理を行うこととなる。
【００９０】
３：低消費電力モード
低消費電力モードにおいては、動作シーケンスそのものは高速動画モードと同じである。ただし、フレームレートを３０fpsとしている。つまり、１フレームの時間（１／３０sec）の間で撮像素子の読出しに要する時間は６０fpsの場合と同じであるため、少なくともフレーム毎に１／６０sec以上の垂直ブランキング時間が発生する。この期間にタイミング発生回路１０４や、ＣＰＵ１０５からの指示により、撮像素子１０１やＡＦＥ１０２、ＤＳＰ１０３内の撮像系の回路ブロック等のパワーコントロールを行うことで、単位時間当たりの消費電力を低減できる。そのため、電池で動作する撮像装置においては電池あたりの記録時間を大幅に伸ばす効果がある。
【００９１】
以上説明したように、本実施形態では、同じサイズの動画出力を得る場合にも、動作モードに応じて撮像素子の読出し方法を切り替えるとともに、それぞれの読出し方式に対応した変倍処理を適切に行う。これにより、同一の撮像素子を用いたシステムにおいても条件に応じて、フレームレート優先、解像度優先、低消費電力優先、のいずれかを選択することも可能となる。
【００９２】
また、上述の実施形態では、水平変倍部１０３２は水平方向に限定して変倍処理を行う構成としているが、回路規模は大きくなるものの、水平、垂直方向に変倍できる構成であってもよい。その際に水平、垂直方向に独立して変倍率を設定できるようにしておき、垂直変倍率を１と設定しておけば、上述の実施形態と等価な構成とできる。
【００９３】
また、上述の実施形態では、静止画時の全画素読みと動画モード時の水平１／３間引き、垂直方向は１／３間引きの動作例の場合、変倍部１０３４に入力される画像データの縦横比は静止画時と同じであるため、水平、垂直とも同じ変倍率で対応できる。しかし、例えば水平変倍部１０３２の変倍率が正確に１／３と設定することができない場合には、変倍部１０３４側で水平の変倍率を垂直変倍率とは異なる値に設定するとよい。こうすることで、画像データのアスペクト比を静止画時と同一にすることが可能となる。
【技術分野】
【０００１】
本発明は、撮像素子を有する撮像装置に関し、特に静止画撮影と動画撮影とを実行可能な撮像装置に関する。
【背景技術】
【０００２】
最近のデジタルスチルカメラ等の撮像装置に搭載されている固体撮像素子は、その画素数が大幅に増大し、高精細な静止画像を撮影可能となっている。さらに、静止画像だけでなく、動画像の表示・記録が可能な電子カメラも実現されている。
【０００３】
動画像を表示・記録する場合には、より高精細な時間方向の解像力を得るために、最低でも２４コマ〜３０コマ／秒程度のフレームレートを確保する必要がある。
【０００４】
また近年では、６０コマ／秒、またはそれ以上のフレームレートを記録する撮像装置や、このフレームレートの動画データを再生する再生装置の技術開発も進められている。
【０００５】
高精細な静止画を撮影可能で、かつ動画記録も可能とする撮像装置においては、静止画撮影時の高画素数の画像データの生成処理と、動画撮影時の高フレームレートの読出し処理を両立させるために、動画撮影時には固体撮像素子の出力画素数を低減させている。
【０００６】
例えば、固体撮像素子の全画素領域の読出しを高速に行う場合には、固体撮像素子の水平方向、垂直方向それぞれ所定画素数おきに読み出す、いわゆる間引き読出しを行うことにより、出力画素数を低減することができる。
【０００７】
他の出力画素数の低減方法としては、いわゆる画素混合による画素加算間引き読出しが知られている。この画素加算間引き読出しは、単純に間引き読出しを行うと、空間的にサンプリング周波数が低減し、空間的な折返しノイズが増加するため、固体撮像素子上で、実際には読出しを行わない画素出力を実際に読出しを行う画素出力に加算して、読み出すものである。
【０００８】
このような画素加算間引き読出しについては、例えば特許文献１に、水平、垂直方向のいずれか、あるいは両方の撮像素子からの出力を１／（２ｎ＋１）に間引く、あるいは画素加算したのちに間引く方法が提案されている。
【０００９】
また、特許文献２には、水平、垂直方向のいずれかの間引き率を変化させた場合に後段で画像サイズを維持するように画素補間処理を行う方法が開示されている。
【００１０】
また、静止画撮影時も含めた、撮像素子そのものの読出し速度向上のための取り組みも進められている。ＣＭＯＳ型撮像素子においては同時に複数画素の信号を読み出す多チャネル化等の手法により静止画撮影時、動画撮影時とも読出し速度向上の手法が採られている。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００２−１３５７９３号公報
【特許文献２】特開２００３−２３４９６４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
上述の特許文献に開示された従来技術を用いると、読み出すべき画素数は、例えば水平、垂直方向においてそれぞれ1/3に間引く場合、総画素数の1/9となり、大幅な読出し時間の短縮が可能となり、所望のフレームレートを実現しやすくなる。
【００１３】
また、フレームレートに対して実際の読出し時間が短ければ、不要期間に撮像素子や周辺回路ブロックの消費電力を適宜オフ又は低減することで平均の消費電力を抑える効果がある。
【００１４】
しかしながら、例えば水平、垂直方向においてそれぞれ1/3に間引く場合、撮像素子の３×３画素の領域を１画素の出力に圧縮することになる。ここで、Ｒ，Ｇ，Ｇ，Ｂの各色からなるベイヤ配列の撮像素子を考えると、Ｒが３×３画素の中心にある場合は３×３画素の中に他のＲ画素は存在しない。Ｂ画素が中心にある場合も同様である。一方、Ｇ画素が中心にある場合には３×３画素内に他に４個のＧ画素が存在することになる。
【００１５】
したがって、この３×３の間引き後の単位画素内での画素加算を考えると、Ｇについてはこの単位画素内で他のＧ画素の出力との加算を行うことができるが、Ｒ，Ｂは不可能であることがわかる。
【００１６】
Ｒ，Ｂ画素については加算効果が得られないため、Ｒ，Ｂに関しては単純な間引き動作時と同じように折り返しノイズが発生するという問題がある。
【００１７】
さらに、３×３画素のさらに周辺のＲ，Ｂ画素の出力を用いて同色の加算処理を行うことも可能である。しかし、これを行うと折り返しノイズは低減するものの、実質的に隣接する画素出力との加算平均処理を行うことと等価であるため、解像度が低下するという課題が生じる。
【００１８】
また、上述の特許文献に開示された従来技術では、水平、垂直方向とも１／（２ｎ＋１）に間引くこととしているため、水平、垂直方向とも１／３間引き時に１／９の画素数となる。また、その次の間引き率である水平、垂直方向とも１／５間引き時には画素数は１／２５となり、間引きの変化率は２．８倍となる。この変化率は、動画フォーマットで一般的なフルＨＤ（１９２０×１０８０、約２０７万画素）とＨＤ（１２８０×７２０、約９２万画素）との比２．２４倍よりもやや大きい。したがって、この間引きの変化率は、フルＨＤとＨＤの２つのフォーマットに対応させることを考えると大きすぎである。
【００１９】
間引き処理を撮像素子内の画素加算動作で行うためには、加算時の切り替え回路を組み込む必要がある。しかし、そのために複雑な回路を組み込むことは、回路規模の増大、配線レイアウト上の制約から困難である。そのため、撮像素子内の回路で、高解像度及び折り返しノイズの対応に加え、所望の間引き率の実現と読出し速度とを両立させることは非常に大きな課題であった。
【００２０】
一方、水平方向と垂直方向の動作に関しては回路的に独立性が高い。そのため、水平及び垂直を同時に１／（２ｎ＋１）間引きにするのではなく、水平又は垂直のいずれかを１／（２ｎ＋１）間引きにすることは回路規模的には比較的容易に実現可能である。
【００２１】
ただし、このような間引き処理の場合、撮像素子から読み出した画像の縦横比が異なるため、後段のＡ／Ｄ変換後のデジタル処理で、水平方向と垂直方向で異なる画像変倍率を乗じる処理を行う必要がある。
【００２２】
上述の特許文献２においては、間引き率は１／（２ｎ＋１）に限定されていないが、間引き率に応じて後段で水平方向と垂直方向で異なる画像変倍率を乗じる処理が開示されている。
【００２３】
しかし、いったん間引いた画像信号を後段で補間すると、解像度が低下し、画質の低下につながる。
【００２４】
そこで、本発明は、要求される動画の仕様に従い、撮像素子読出し方式を最適化することが可能な撮像装置を提供する。
【課題を解決するための手段】
【００２５】
本発明の一側面によれば、被写体像を光電変換する光電変換素子を含む複数の画素が行方向及び列方向に配置された撮像素子と、撮影モードを設定する設定手段と、前記設定された撮影モードに応じて、前記撮像素子からの画素の信号読出し動作として、（ａ）前記撮像素子の全ての画素の信号を読み出す第１の読出し動作、（ｂ）前記複数の画素のうち、行方向及び列方向ともに間引きして画素の信号を読み出す第２の読出し動作、（ｃ）前記複数の画素のうち、間引きされた特定の列においてのみ行方向における全ての画素の信号を読み出す第３の読出し動作、のうちのいずれかを選択する選択手段と、撮影処理において、前記選択された信号読出し動作を実行して得られた画素の信号を用いて静止画又は動画を生成する処理手段とを有することを特徴とする撮像装置が提供される。
【発明の効果】
【００２６】
本発明によれば、要求される動画の仕様に従い、撮像素子読出し方式を最適化することが可能な撮像装置を提供することができる。
【図面の簡単な説明】
【００２７】
【図１】実施形態における撮像装置の構成例を示すブロック図。
【図２】実施形態における撮像装置の動作例を示すフローチャート。
【図３】実施形態における撮像装置の静止画撮影時の動作例を示すフローチャート。
【図４】実施形態における撮像装置の静止画撮影時の撮影動作を示すフローチャート。
【図５】実施形態における撮像装置のＤＳＰの構成を示すブロック図。
【図６】実施形態における撮像装置の動画撮影時の動作例を示すフローチャート。
【図７】実施形態における撮像装置の静止画用読出し動作を示す図。
【図８】実施形態における撮像装置の動画撮影時の水平画素加算、垂直間引き読出し動作を示す図。
【図９】実施形態における撮像装置の動画撮影時の水平全画素読み、垂直間引き読出し動作を示す図。
【発明を実施するための形態】
【００２８】
以下、本発明の実施形態について添付の図面を参照して具体的に説明する。
【００２９】
図１は、本発明の実施形態に係る撮像装置の構成を示すブロック図である。図示の如く、本実施形態の撮像装置は、撮像素子１０１、ＡＦＥ（アナログ・フロント・エンド）１０２、ＤＳＰ（デジタル・シグナル・プロセッサ）１０３、タイミング発生回路１０４、ＣＰＵ１０５を備える。
【００３０】
撮像素子１０１は、被写体像を光電変換する光電変換素子を含む複数の画素が行方向及び列方向に配置されたものである。なお、本明細書においては、「行方向」及び「列方向」のことをそれぞれ、「水平方向」及び「垂直方向」ともいう。撮像素子１０１は例えばＣＭＯＳセンサであり、ＣＭＯＳセンサの内部にＩＳＯ感度に応じてゲインを切り替える不図示のアンプ回路が内蔵されている。また、このＣＭＯＳセンサは、画素の信号読出し動作モードとして、先に説明したような、以下のモードを有する。
（１）全画素を読み出す全画素読出しモード。
（２）画素を間引きして読み出す間引き読出しモード。
（３）間引き読出しモード時にＣＭＯＳセンサ上の複数の画素の出力を加算平均して出力する画素加算間引き読出しモード。
（４）水平、垂直方向の読出し開始位置、読出し終了位置を選択し、切出し位置を切り替え可能な切出し読出しモード。
【００３１】
これらの読出し方式について、図７を参照して説明する。同図は、通常の全画素読出しを示しており、図の左側に撮像素子１０１の物理的な画素配置を示している。各画素に記載のＲ，Ｇｒ，Ｇｂ，Ｂは原色ベイヤ−配列されたカラーフィルタの色を示している。
【００３２】
この撮像素子を水平方向、垂直方向に順次スキャンし、全画素の出力を時系列に得ることにより得られる画像イメージを同図右側に示している。この場合、全画素読出しであるので、当然得られる画像イメージも、物理配置と同様となる。
【００３３】
ＡＦＥ１０２は、撮像素子１０１からの信号をアナログ−デジタル変換するＡ／Ｄ変換器を内蔵しており、ダークオフセットレベルをクランプする機能を備えている。ＤＳＰ１０３は、ＡＦＥ１０２からのデータに対して各種補正処理及び現像、圧縮処理を行う。また、ＤＳＰ１０３は、ＲＯＭ１０６、ＲＡＭ１０７等の各種メモリの制御を行ったり、記録媒体１０８への画像データの書込み処理等を行ったり、ＬＣＤ１１４に対して各種データの表示処理を行う。また、ＤＳＰ１０３は、内部にキズ画素補正回路を有しており、指定された画素の出力データを周辺の画素の出力データを用いて補正する機能を有している。
【００３４】
タイミング発生回路１０４は、ＣＰＵ１０５からの指示により、撮像素子１０１、ＡＦＥ１０２及びＤＳＰ１０３にクロック信号や制御信号を供給し、ＤＳＰ１０３と協働し、ＣＭＯＳセンサの各種読出しモードに対応したタイミング信号を生成する。
【００３５】
ＣＰＵ１０５は、ＤＳＰ１０３及びタイミング発生回路１０４の制御並びに測光・測距等の不図示の各部を使ったカメラ機能の制御を行う。ＣＰＵ１０５には、例えば、電源スイッチ１０９、第一段目のシャッタースイッチSW1 １１０、第二段目のシャッタースイッチSW2 １１１、モードダイアル１１２及びＩＳＯ感度設定スイッチ１１３が接続されている。ＣＰＵ１０５は、これらのスイッチ及びダイアルの設定状態に応じた処理を実行する。
【００３６】
ＲＯＭ１０６は、撮像装置の制御プログラム（即ちＣＰＵ１０５が実行するプログラム）及び各種補正データ等を記憶しており、一般的にはフラッシュメモリを用いている。ＲＡＭ１０７は、ＤＳＰ１０３により処理される画像データ及び補正データ等を一時的に記憶する。ＣＰＵ１０５が処理時に使用する各種補正データはＲＯＭ１０６に記憶されており、撮影時にＲＡＭ１０７に展開されて使用される。また、ＲＡＭ１０７は、ＲＯＭ１０６より高速のアクセスが可能なように構成されている。
【００３７】
記録媒体１０８としては、例えば撮影された画像を保存するメモリカード等が用いられる。記録媒体１０８は、例えば不図示のコネクタを介してＤＳＰ１０３に接続される。
【００３８】
電源スイッチ１０９は、撮像装置を起動させる際にユーザにより操作される。
【００３９】
シャッタースイッチSW1 １１０は、測光処理、測距処理等の動作開始を指示する際にユーザにより操作される。シャッタースイッチSW2 １１１は、不図示のミラー及びシャッターを駆動し、撮像素子１０１から読み出した信号をＡＦＥ１０２及びＤＳＰ１０３を介して記録媒体１０８に書き込む一連の撮像動作の開始を指示する際にユーザにより操作される。モードダイアル１１２は、撮像装置の撮影モードを選択する際にユーザにより操作される。ＩＳＯ感度設定スイッチ１１３は、撮像装置の撮影ＩＳＯ感度を設定する際にユーザにより操作される。ＬＣＤ１１４は、カメラの情報を表示し、撮影した画像を再生表示し、あるいは動画像データを表示する。
【００４０】
次に、上述のように構成された撮像装置の制御方法について説明する。
【００４１】
図２は、実施形態に係る撮像装置の制御方法を示すフローチャートである。この制御は、主にＣＰＵ１０５により実行される。
【００４２】
まず、Ｓ２０１において電源スイッチ１０９がＯＮされているか否かを判定し、ＯＮになっていることを検出するまでこの判定を繰り返す。そして、電源スイッチ１０９がＯＮにされると、Ｓ２０２へ進む。Ｓ２０２では、バッテリのチェックを行う。撮影のために十分な電力が供給できないと判断された場合は、Ｓ２１１にて例えばＬＣＤ１１４に警告表示を行い、再度、電源スイッチがオンされるのを待つ。電力を十分供給できると判断された場合には、Ｓ２０３にて記録媒体のチェックを行う。Ｓ２０３にて記憶媒体がセットされていない、あるいは記録できる容量が不十分である場合には、Ｓ２１１に進み、ＬＣＤ１１４にて警告表示を行う。
【００４３】
十分な容量の記録媒体がセットされていることが確認されたら、Ｓ２０４にてモードダイアル１１２が静止画撮影モードに設定されているか動画撮影モードに設定されているかの判定を行う。静止画撮影モードに設定されていればＳ２０５の静止画撮影に進み、動画撮影モードに設定されていればＳ２０６の動画撮影に進む。
【００４４】
以下、Ｓ２０５の静止画撮影の動作を図３のフローチャートに従い説明する。Ｓ３０１では、シャッタースイッチSW1 １１０がＯＮしているか否かを判定し、ＯＮになっていることを検出するまでこの判定を繰り返す。そして、シャッタースイッチSW1 １１０がＯＮにされると、Ｓ３０２に進む。
【００４５】
Ｓ３０２では、不図示の測光制御部及び測距制御部を用いて、絞り値及びシャッター速度を決定する測光処理、撮影レンズ焦点を被写体に合わせる測距処理を行う。
【００４６】
次に、Ｓ３０３において、シャッタースイッチSW2 １１１がＯＮしているか否かを判定し、ＯＮになっていることを検出するまでこの判定を繰り返す。シャッタースイッチSW1が押されていないことをＳ３０４にて検出したら、再度Ｓ３０１にてシャッタースイッチSW1が押されるのを待つ。シャッタースイッチSW2 １１１がＯＮにされると、Ｓ３０５に進む。
【００４７】
Ｓ３０５では、撮影処理を実行する。この撮影処理の詳細については後述する。次に、Ｓ３０６において、ＤＳＰ１０３に撮影した画像データの現像処理を行わせる。続いて、Ｓ３０７において、ＤＳＰ１０３に現像処理の終了した画像データに対する圧縮処理を行わせ、ＲＡＭ１０７の空き領域に格納させる。
【００４８】
そして、Ｓ３０８において、ＲＡＭ１０７に格納されている画像データをＤＳＰ１０３に読み出させ、記録媒体１０８への記録処理を実行させる。記録処理終了後に、Ｓ３０９にて電源スイッチのチェックを行う。電源スイッチがオフされていなければ、再度Ｓ３０１へ戻り、次の撮影に備え、電源スイッチがオフされていることを検出した場合には、図２のＳ２０１に戻り再度電源スイッチがオンされるのを待つ。
【００４９】
次に、Ｓ３０５の撮影処理の詳細について、図４のフローチャートに従い説明する。まず、Ｓ４００で、ＩＳＯ感度設定ＳＷにて設定された感度となるよう撮像素子１０１内のアンプゲインや、ＡＦＥ１０２内部のゲイン等を設定する。次にＳ４０２において、ミラーをミラーアップ位置に移動させる。次に、Ｓ４０３において、Ｓ３０２の測光処理において取得した測光データに基づいて、所定の絞り値まで絞りを駆動する。次いで、Ｓ４０４において、撮像素子１０１の電荷を消去する（クリア）。その後、Ｓ４０５において、撮像素子１０１での電荷蓄積を開始する。
【００５０】
続いて、Ｓ４０６において、シャッターを開き、Ｓ４０７にて撮像素子１０１の露光を開始する。そして、Ｓ４０８において、測光データに従って露光終了時間が経過するまで待機し、露光終了時間が経過すると、Ｓ４０９において、シャッターを閉じる。
【００５１】
次に、Ｓ４１０において、開放の絞り値まで絞りを駆動する。次いで、Ｓ４１１において、ミラーダウン位置までミラーを駆動する。その後、Ｓ４１２において、設定した電荷蓄積時間が経過するまで待機し、電荷蓄積時間が経過すると、Ｓ４１３において、撮像素子１０１の電荷蓄積を終了する。
【００５２】
続いて、Ｓ４１４において、撮像素子１０１の信号を読み出す。また、ダークオフセットレベルをクランプする機能を備えたＡＦＥ１０２は、撮像素子１０１の不図示のオプティカルブラック部からの出力を用いて、クランプ動作を行う。ＡＦＥ１０２から入力されたデータは、ＤＳＰ１０３で、Ｓ３０６、Ｓ３０７、Ｓ３０８の現像、圧縮、記録といった各種処理動作が行われる。
【００５３】
図５のＤＳＰ１０３の構成図を用いて、その動作を説明する。図示の如く、ＤＳＰ１０３は、水平変倍部１０３２、画像生成部１０３３、変倍部１０３４、動画像生成部１０３５、メモリ制御部１０３６、記録媒体制御部１０３７、及び、上記各部を接続するバス１０３１で構成される。
【００５４】
静止画撮影時における水平方向と垂直方向の倍率は等しいため、ＤＳＰ１０３では水平方向の画像サイズを縮小する水平変倍処理を行う必要はない。画像生成部１０３３は、入力されたＲＧＢデータに対して、現像、圧縮等の演算処理を行って画像データを生成し、記録媒体制御部１０３７を制御して記録媒体に記録する。
【００５５】
次に、Ｓ２０６の動画撮影の動作を図６のフローチャートに従い説明する。なお、本実施形態においては、動画撮影モードに関して、次のような仕様を想定している。すなわち、（１）動画撮影モードになると、不図示のミラーをアップし、シャッターを開き、撮像素子から読み出される画像データを現像しＬＣＤ上に表示し続けるモニター動作を行う。
（２）シャッタースイッチSW2 １１１が押されている間、動画データを記録媒体１０８に記録する。
（３）モードダイアル１１２の設定が変更されたとき、又は、電源スイッチ１０９がオフされるときに、動画撮影モードを終了する。
【００５６】
また、記録される動画像の大きさ、位置、フレームレート等は別途不図示の設定部によって設定できるものとする。
【００５７】
動画撮影時の撮像素子の読出し方法、画像の大きさ、位置、フレームレートの組み合わせの例として本実施形態では次のような設定を想定している。
【００５８】
１：高速動画モード
まず図７に静止画撮影時の撮像素子の画素の対応を示す。撮像素子上の画素は水平、垂直方向とも順次走査され、全ての画素の信号が読み出される（第１の読出し動作）。
【００５９】
これに対し、高フレームレートの動画撮影を行う高速撮影モードでは、図８に示すように、読出し対象行の読出し動作前に、水平方向に２画素離れた両隣の同色画素の出力との間で加算平均化処理を行う。
【００６０】
撮像素子内にアナログ的に画素出力を混合する手段を有し、読出し前に水平方向に２画素離れた同色画素との画素混合動作を行う。これにより読み出される画素の出力は周辺画素との平均値出力となる。
【００６１】
次に、行方向（水平方向）及び列方向（垂直方向）ともに間引きして画素の信号を読み出す（第２の読出し動作）。例えば、水平転送時に水平方向に３画素ずつ間引いて読み出す。これより、水平方向の読出し画素数は静止画読出し時の１／３となる。さらに、垂直読出し時にも３画素ずつ間引いて読み出す。これにより、垂直方向の読出し画素数は静止画読出し時の１／３となる。
【００６２】
この結果、図８の下段に示すように、出力画像のサイズは、静止画サイズを基準としたとき、水平、垂直とも１／３となる。トータルの読出し画素数は１／９となり、大幅な読出し時間の短縮が可能である。
【００６３】
動画の出力サイズはHDサイズ、フレームレートは60fpsである。
【００６４】
２：高解像度モード
高解像度モードでは、間引きされた特定の行においてのみ行方向（水平方向）における全ての画素の信号を読み出す（第３の読出し動作）。図９は水平方向は全画素読出し、垂直方向は等間隔に３画素中１画素を読み出す１／３間引き読出しのイメージを示している。この図９の例に示されるように、読出し対象行の水平方向は間引くことなく全画素読み出す。一方、垂直読出し時には３画素ずつ間引いて読み出す。これにより、垂直方向の読出し画素数は静止画読出し時の１／３となる。
【００６５】
この結果、図９の下段に示すように、出力画像のサイズは、静止画サイズを基準としたとき、水平方向は静止画と同じ、垂直方向は１／３となる。
【００６６】
動画の出力サイズはHDサイズ、フレームレートは30fpsである。
【００６７】
３：低消費電力モード
撮像素子を行方向（水平方向）において同色３画素を加算することにより該３画素中１画素のみを読み出す、１／３加算間引き読出しを行う。列方向（垂直方向）についても、３画素中１画素のみ読み出す、１／３間引き読出しを行う。読出し方法は、上述の高速動画モードと同じでよい。
【００６８】
動画の出力サイズはHDサイズ、フレームレートは30fpsである。
【００６９】
いずれの場合においても、ここには記載していないが垂直方向においても画素混合が可能な撮像素子においては垂直方向も合わせて画素混合を行うことで、水平、垂直両方向の空間サンプリング時の信号の折り返し成分除去が可能となる。
【００７０】
上記の読出し方式は、ＣＭＯＳ型撮像素子を想定しており、水平、垂直方向のシフトレジスタのシフト動作を読出し方式ごとに切り替えることにより各種の読出し方式に対応可能である。
【００７１】
以下、これを踏まえてＳ２０６の動画撮影処理を説明する。Ｓ２０４にて動画撮影モードであると判断されると、図６に示す動画撮影モードに入る。まずＳ６００にて動画モードの設定を行う。この設定はモードダイアル１１２にて高速動画モード、高解像度モード、低消費電力モードが選択できるものとする。
【００７２】
Ｓ６０２にて不図示のミラーアップ及び不図示のシャッターの開動作を行う。これにより撮像素子１０１に常時被写体像が入射するようになる。
【００７３】
次にＳ６０３にてシャッタースイッチSW２ １１１が押されているかどうか判別する。SW2 １１１が押されていなければ、ＬＣＤ１１４への画像データのモニター表示のみを繰り返すモニター動作を行い、SW2 １１１が押されていれば同時に記録媒体に動画像データを書き込む記録動作に入る。
【００７４】
以下モニター動作時について説明する。Ｓ６０３にてシャッタースイッチＳＷ２がオフであると判断されたときは、まずＳ６０４にて、現在記録動作中であれば記録動作を停止する処理を行う。現在記録動作を行っていない場合には何もしない。その後、Ｓ６０６にて、露出調整を行う。
【００７５】
露出調整は直前に撮影した画像から露光量を判断し、適切な露光量となるように、レンズの絞りや、ゲイン設定を行うことによって実行される。動画撮影の最初は直前のデータが存在しないため、初期設定値によって制御される。
【００７６】
以降、Ｓ６０７にて動画撮影処理を行う。動画撮影時、撮像素子１０１は、タイミング発生回路１０４からの駆動信号によって、電荷クリア−蓄積−読出しを繰り返す動作を継続する。ここで、撮像素子１０１は、タイミング発生回路１０４にて設定された動画像の大きさに対応した読出し方式の動画撮影モードで駆動し、所定のフレームレートで読出し動作を繰り返す。ＤＳＰ１０３にて、現像処理、動画像生成、及びモニター表示のための圧縮処理を行い、その結果をカメラのＬＣＤ１１４に表示する。動画撮影時は、Ｓ６０７の中でこの一連の動作を必要なフレームレートで繰り返すこととなる。
【００７７】
Ｓ６０３にて、SW2 １１１が押されていると判別された場合には、Ｓ６０５にて記録動作を開始する。記録動作が設定されると、ＤＳＰ１０３にて、現像処理を、Ｓ６０７にて動画像生成及びモニター表示のための圧縮処理を行い、その結果をカメラのＬＣＤ１１４に表示する。動画撮影時はＳ６０７の中でこの一連の動作を必要なフレームレートで繰り返すこととなる。この結果を記録媒体１０８に書き込み保存していく。以降、SW2 １１１がオフするまで記録動作を継続する。
【００７８】
もちろん、安全のために、SW2 １１１がオフしていなくても、所定時間が経過した場合や、記録媒体１０８の残り容量が不足するような場合には記録動作を停止してもかまわない。なお、Ｓ６１２にて電源スイッチのオン状態が検出されている場合には、Ｓ６１３にてモードダイアルの状態の検出を行う。
【００７９】
Ｓ６１２で電源スイッチがオフにされたとき、又は、Ｓ６１３で静止画撮影モードが選択されたときは、それぞれ、Ｓ６１４、Ｓ６１５の動画終了処理に進む。具体的には、Ｓ６１４、Ｓ６１５では、記録動作時であれば記録動作の終了を行い、撮像素子１０１の駆動停止、ＤＳＰ１０３の読出し処理の停止を行い、不図示のシャッターを閉じ、不図示のミラーをダウンし、それぞれＳ２０１、Ｓ２０４に移行する。
【００８０】
次に、動作モードごとのＳ６０７でのＤＳＰ１０３内の処理を、図５を参照して説明する。
【００８１】
１：高速動画モード
高速動画モードでは、静止画の水平方向１／３、垂直方向１／３の画素数のデータを処理することになる。このときの撮像素子から読み出される画素の様子及び全体の画素サイズについて説明する。ＤＳＰ１０３に入った画像データはまず、撮像素子の縦横の画素数の比率を動画のアスペクト比に揃える切出し処理に付される。これは、メモリ制御部１０３６にて、入力された画像データに対して必要な領域のみのデータをメモリに書き出すことで実現される。
【００８２】
その後、画像生成部１０３３で、切出し後の画像データのＲＧＢデータに対して現像等の演算処理が行われる。次に、変倍部１０３４で、所定の動画サイズへ水平、垂直方向の変倍処理が行われ、その後、動画像生成部１０３５で、所定のフレームレートで生成される画像データが圧縮符号化されて、最終的な動画データが生成される。
【００８３】
なお、本モードでは読出し画素数を１／９に削減したため、読出し速度の向上が図られ６０fpsを実現することが可能となるので、ＤＳＰ１０３は６０fpsに対応した処理を行うこととなる。
【００８４】
２：高解像度モード
高解像度モードでは、水平方向は静止画と同じ画素数、垂直方向は１／３の画素数のデータを処理する。よって、高速動画モードに比べると概略３倍の読出し時間を要するため、60fpsでの動作は困難である。また、水平方向と垂直方向の倍率が異なるため、ＤＳＰ１０３では水平方向の画像サイズを縮小する水平変倍処理を行う必要がある。撮像素子上で水平画素加算を行うと単純な処理、例えば加算平均処理などに限定されてしまう。これに対し、ＤＳＰ１０３では、水平変倍部１０３２にて水平変倍処理のアルゴリズムとして各種フィルタ処理を適用する縮小アルゴリズムに基づいて演算することが可能である。
【００８５】
これにより、撮像素子での画素加算平均を算出する場合に比較し、より高精細で、かつ折り返しノイズの影響を受けない高品質な縮小画像を得ることが可能である。
【００８６】
上述の処理は、図５に示したような専用の処理回路で処理するように記載しているが、ＤＳＰ用のプログラムによって上述の処理を実行させることも可能である。
【００８７】
次に、高速動画モードと同じように、撮像素子の縦横の画素数の比率を動画の画素数の縦横比に揃える切出し処理を行う。これは、メモリ制御部１０３６にて、入力された画像データに対して必要な領域のみのデータをメモリに書き出すことで実現される。
【００８８】
その後、画像生成部１０３３で、切出し後の画像データのＲＧＢデータに対して現像等の演算処理が行われる。次に、変倍部１０３４で、所望の動画サイズへ水平、垂直方向の変倍処理が行われ、その後、動画像生成部１０３５で、所定のフレームレートで生成される画像データが圧縮符号化されて、最終的な動画データが生成される。
【００８９】
なお、本モードでは読出し画素数は静止画の１／３にしか削減されていないため、読出し速度は高速動画モードと比較すると向上しておらず、３０fpsのフレームレートとして処理される。よってＤＳＰ１０３は３０fpsに対応した処理を行うこととなる。
【００９０】
３：低消費電力モード
低消費電力モードにおいては、動作シーケンスそのものは高速動画モードと同じである。ただし、フレームレートを３０fpsとしている。つまり、１フレームの時間（１／３０sec）の間で撮像素子の読出しに要する時間は６０fpsの場合と同じであるため、少なくともフレーム毎に１／６０sec以上の垂直ブランキング時間が発生する。この期間にタイミング発生回路１０４や、ＣＰＵ１０５からの指示により、撮像素子１０１やＡＦＥ１０２、ＤＳＰ１０３内の撮像系の回路ブロック等のパワーコントロールを行うことで、単位時間当たりの消費電力を低減できる。そのため、電池で動作する撮像装置においては電池あたりの記録時間を大幅に伸ばす効果がある。
【００９１】
以上説明したように、本実施形態では、同じサイズの動画出力を得る場合にも、動作モードに応じて撮像素子の読出し方法を切り替えるとともに、それぞれの読出し方式に対応した変倍処理を適切に行う。これにより、同一の撮像素子を用いたシステムにおいても条件に応じて、フレームレート優先、解像度優先、低消費電力優先、のいずれかを選択することも可能となる。
【００９２】
また、上述の実施形態では、水平変倍部１０３２は水平方向に限定して変倍処理を行う構成としているが、回路規模は大きくなるものの、水平、垂直方向に変倍できる構成であってもよい。その際に水平、垂直方向に独立して変倍率を設定できるようにしておき、垂直変倍率を１と設定しておけば、上述の実施形態と等価な構成とできる。
【００９３】
また、上述の実施形態では、静止画時の全画素読みと動画モード時の水平１／３間引き、垂直方向は１／３間引きの動作例の場合、変倍部１０３４に入力される画像データの縦横比は静止画時と同じであるため、水平、垂直とも同じ変倍率で対応できる。しかし、例えば水平変倍部１０３２の変倍率が正確に１／３と設定することができない場合には、変倍部１０３４側で水平の変倍率を垂直変倍率とは異なる値に設定するとよい。こうすることで、画像データのアスペクト比を静止画時と同一にすることが可能となる。
【特許請求の範囲】
【請求項１】
被写体像を光電変換する光電変換素子を含む複数の画素が行方向及び列方向に配置された撮像素子と、
撮影モードを設定する設定手段と、
前記設定手段により設定された撮影モードに応じて、前記撮像素子からの画素の信号読出し動作として、
（ａ）前記撮像素子の全ての画素の信号を読み出す第１の読出し動作、
（ｂ）前記複数の画素のうち、行方向及び列方向ともに間引きして画素の信号を読み出す第２の読出し動作、
（ｃ）前記複数の画素のうち、間引きされた特定の行においてのみ行方向における全ての画素の信号を読み出す第３の読出し動作、
のうちのいずれかを選択する選択手段と、
撮影処理において、前記選択された信号読出し動作を実行して得られた画素の信号を用いて静止画又は動画を生成する処理手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記設定手段により、静止画撮影モードが設定されたときは、前記選択手段は前記第１の読出し動作を選択し、
前記設定手段により、高フレームレートの動画撮影を行う高速動画モード又は低消費電力優先の動画撮影を行う低消費電力モードが選択されたときは、前記選択手段は前記第２の読出し動作を選択し、
前記設定手段により、高解像度の動画撮影を行う高解像度モードが設定されたときは、前記選択手段は、前記第３の読み出し動作を選択する、
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記処理手段により生成された動画のアスペクト比を前記静止画撮影モードにおいて生成される静止画のアスペクト比と同一にするよう前記動画の変倍処理を行う変倍手段を更に有することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記低消費電力モードにおいて生成される動画のフレームレートは前記高速動画モードにおいて生成される動画のフレームレートよりも低いことを特徴とする請求項２又は３に記載の撮像装置。
【請求項１】
被写体像を光電変換する光電変換素子を含む複数の画素が行方向及び列方向に配置された撮像素子と、
撮影モードを設定する設定手段と、
前記設定手段により設定された撮影モードに応じて、前記撮像素子からの画素の信号読出し動作として、
（ａ）前記撮像素子の全ての画素の信号を読み出す第１の読出し動作、
（ｂ）前記複数の画素のうち、行方向及び列方向ともに間引きして画素の信号を読み出す第２の読出し動作、
（ｃ）前記複数の画素のうち、間引きされた特定の行においてのみ行方向における全ての画素の信号を読み出す第３の読出し動作、
のうちのいずれかを選択する選択手段と、
撮影処理において、前記選択された信号読出し動作を実行して得られた画素の信号を用いて静止画又は動画を生成する処理手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記設定手段により、静止画撮影モードが設定されたときは、前記選択手段は前記第１の読出し動作を選択し、
前記設定手段により、高フレームレートの動画撮影を行う高速動画モード又は低消費電力優先の動画撮影を行う低消費電力モードが選択されたときは、前記選択手段は前記第２の読出し動作を選択し、
前記設定手段により、高解像度の動画撮影を行う高解像度モードが設定されたときは、前記選択手段は、前記第３の読み出し動作を選択する、
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記処理手段により生成された動画のアスペクト比を前記静止画撮影モードにおいて生成される静止画のアスペクト比と同一にするよう前記動画の変倍処理を行う変倍手段を更に有することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記低消費電力モードにおいて生成される動画のフレームレートは前記高速動画モードにおいて生成される動画のフレームレートよりも低いことを特徴とする請求項２又は３に記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１３−３０９３９（Ｐ２０１３−３０９３９Ａ）
【公開日】平成２５年２月７日（２０１３．２．７）
【国際特許分類】
【出願番号】特願２０１１−１６４７６７（Ｐ２０１１−１６４７６７）
【出願日】平成２３年７月２７日（２０１１．７．２７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年２月７日（２０１３．２．７）
【国際特許分類】
【出願日】平成２３年７月２７日（２０１１．７．２７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]