撮像装置
【課題】１つのイメージセンサで画角の異なる画像を同時に記録する撮像装置を提供する。
【解決手段】固体撮像素子（イメージセンサ）１の１つの受光面を少なくとも２つに分け、撮像レンズ部１０１からの光学像を各々の受光面に結像し、１つの受光面の読み出しを画素混合読み出しで、他方の読み出しを全画素読み出しでそれぞれ読み出すように駆動を切り替える。
【解決手段】固体撮像素子（イメージセンサ）１の１つの受光面を少なくとも２つに分け、撮像レンズ部１０１からの光学像を各々の受光面に結像し、１つの受光面の読み出しを画素混合読み出しで、他方の読み出しを全画素読み出しでそれぞれ読み出すように駆動を切り替える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルスチルカメラ、デジタルビデオカメラ等の撮像装置に関する。詳しくは、広角撮影と高倍率撮影との同時記録可能な撮像装置に関するものである。
【背景技術】
【０００２】
近年、撮像装置の光電変換素子アレイについては、半導体技術の発展により画素数の飛躍的な増加が実現されている。
【０００３】
静止画撮影においては、光電変換素子アレイの全画素の画素データを利用する形態で撮影を行う。これが全画素読み出しモードであり、光電変換素子アレイから読み出した画素データを１画素分ずつ順次に全画素分出力する。これにより、高精細な静止画撮影が可能となっている。
【０００４】
一方、静止画撮影と動画記録との両モードを切り替え可能に構成した撮像装置もある。現状ではデジタル信号処理回路の動作速度に一定の限界があり、また消費電力の面からも、動画記録においては、静止画撮影と同様の全画素読み出しモードでの撮影は難しい。そこで、動画記録時には画素間引きを行い、単位時間当たりのフレーム枚数を増やして画素データ処理を行うのが一般的である。これが垂直水平画素混合読み出しモードである。
【０００５】
光電変換素子アレイから読み出した画素データにつき、アレイの垂直方向と水平方向とで複数画素分を混合した上で、その混合画素データを１単位の画素データとして出力する。これにより、単位時間当たりのフレーム枚数が増え、高画素の光電変換素子アレイを搭載した撮像装置においても、滑らかで高速な動画像撮影が可能となっている。
【０００６】
上記のような画素間引き・画素混合読み出しの切り替えは、特にＭＯＳ（Metal Oxide Semiconductor）イメージセンサが得意とするものである。ＭＯＳイメージセンサは、ＣＣＤ（Charge Coupled Device）イメージセンサのようなポテンシャル井戸の移動による電荷の転送を必要とせず、信号ライン（ワイヤ）を利用して任意ラインの画素データ読み出しが自在であるからである。また、ＭＯＳイメージセンサの利点として、低電圧動作、少ないリーク電流、ＣＣＤと同じサイズでのより大きい開口率、高い感度、データ読み出しがＣＣＤより簡単等を挙げることができる。特に、任意画素抽出読み出し、画素混合の利点が大きい。
【０００７】
しかしながら、高精細な静止画と単位時間あたりのフレーム枚数を確保する動画との同時記録は、読み出し方法が異なるため時分割の処理となり、両方を実現するためにはより高速な装置が必要である。
【０００８】
また、同時記録が可能な撮像装置においても動画記録中の注目領域の静止画、あるいは動画記録をする場合、通常デジタルズームが用いられるため、倍率が高くなると解像度が低下する。
【０００９】
例えば、特許文献１では、第１及び第２のイメージセンサを有し、かつ第２のイメージセンサにズームレンズを備え、光反射部材を用いて第１、第２のイメージセンサそれぞれ交互に光を入射することで、第１のイメージセンサで広角な撮影を、第２のイメージセンサで高倍率の撮影をそれぞれ行うことを可能にしている。
【００１０】
特許文献２には、９画素混合における動画記録が示されている。
【００１１】
特許文献３には、垂直列（カラム）毎にＡＤ変換回路やその他の信号処理を行う信号処理部を配置したＭＯＳイメージセンサが示されている。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開２０１０−０１６６５９号公報
【特許文献２】特開２００５−１０７２５２号公報
【特許文献３】特開２００６−０３３４５４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
しかしながら、特許文献１では、広角と高倍率の撮影をするために２つのイメージセンサ、反射部材、機械的なズームレンズ制御機構、機械的な第２のイメージセンサ制御機構が必要で高コストである。また、反射部材により光を２つのセンサに交互に入力するため各々の露光時間が個別記録に比べて１／２と短くなり、かつ純粋な同時記録はできない。また、同時記録を可能にするため、反射部材を光変調素子としても、どちらかの光量は低下する。
【００１４】
特許文献２においても同様で、当然ながら、動画撮影と静止画撮影との両者において、固体撮像素子の読み出しタイミングが異なっている。つまり、露光タイミングが異なっているため、動画と静止画とで同一の被写体像を捉えることができなかった。
【００１５】
本発明の目的は、１つのイメージセンサで画角の異なる画像を同時に記録する撮像装置を提供することにある。
【課題を解決するための手段】
【００１６】
上記の課題を解決するために、本発明の撮像装置では、１つの受光面を持つイメージセンサと、１つの被写体の光学像を少なくとも２つ結像する光学系を備えた撮像レンズ部とを備え、１つの受光面を少なくとも２つに分け、撮像レンズ部からの光学像を各々の受光面に結像し、１つの受光面の読み出しを画素混合読み出しで、他方の読み出しを全画素読み出しでそれぞれ読み出すように駆動を切り替える。
【００１７】
この撮像装置においては、画素混合読み出しで撮像した画像で、単位時間当たりのフレームを確保できる動画が記録可能で、全画素読み出しで撮像した画像で、高精細な静止画記録が可能である。
【００１８】
また、全画素読み出し側から任意の領域を切り取って出力する撮像装置を提供する。この撮像装置においては、画素混合読み出しで撮像した画像とは異なる解像度の画像を、単位時間当たりのフレームを確保できる動画として記録が可能である。
【００１９】
また、更に動体検知手段を備え、全画素読み出し側の任意の領域指定は、動体検知の情報に基づいて指定する。この撮像装置においては、例えば監視カメラ等で記録画像内で動きがあった物体に注視して同時記録が可能である。
【００２０】
また、更に人物認識手段を備え、全画素読み出し側の任意の領域指定は、人物認識手段の情報に基づいて指定する。この撮像装置においては、指定された人物に注視して同時記録が可能である。
【００２１】
また、更に全画素読み出しと画素混合読み出しとの読み出しの駆動の出力系統を個別に持つ構成とする。この撮像装置においては、平行して読み出し可能になることから更に単位時間あたりのフレームを確保できる動画を記録することが可能である。
【００２２】
また、画素混合読み出し画像と全画素読み出し画像との同時記録に加えて、動体検知や人物認識手段の情報に基づいて画像符号化を切り替える手段を持つ構成とする。この撮像装置においては、２つの画像を１つの動画符号化データとして記録が可能である。
【発明の効果】
【００２３】
以上より、本発明は同時刻、同期間の露光を確保した上で、１つのイメージセンサで少なくとも２つの異なる解像度の画像を同時に記録することが可能である。
【図面の簡単な説明】
【００２４】
【図１】本発明の実施形態１における撮像装置の構成を示すブロック図である。
【図２】図１中の固体撮像素子（イメージセンサ）の外観図である。
【図３】図１中のイメージセンサの詳細構成例を示すブロック図である。
【図４】図３のイメージセンサの動作を示すタイミングチャートである。
【図５】図４に続くタイミングチャートである。
【図６】図５に続くタイミングチャートである。
【図７】図３のイメージセンサにおける画素混合読み出しによる出力画像の説明図である。
【図８】図３のイメージセンサにおける全画素読み出しによる出力画像の説明図である。
【図９】図３中のＨ加算制御部の構成例を示すブロック図である。
【図１０】図３中のＶ駆動制御部の構成例を示すブロック図である。
【図１１】図１中のカメラ信号処理部の構成例を示すブロック図である。
【図１２】図２のイメージセンサの変形例に係る外観図である。
【図１３】図１中のイメージセンサの他の詳細構成例を示すブロック図である。
【図１４】図１３中の領域Ｂの読み出し動作を示すタイミングチャートである。
【図１５】図１４に続くタイミングチャートである。
【図１６】図１５に続くタイミングチャートである。
【図１７】図１３中の領域Ａの読み出し動作を示すタイミングチャートである。
【図１８】図１７に続くタイミングチャートである。
【図１９】図１８に続くタイミングチャートである。
【図２０】本発明の実施形態２におけるイメージセンサの詳細構成を示すブロック図である。
【図２１】図２０のイメージセンサにおける通常全画素読み出し動作を示すタイミングチャートである。
【図２２】図２０のイメージセンサにおける任意指定読み出し動作を示すタイミングチャートである。
【図２３】図２０のイメージセンサに動体検知部を追加した構成を示すブロック図である。
【図２４】図２３中の動体検知部の制御フローチャートである。
【図２５】図２０のイメージセンサに人物認識部を追加した構成を示すブロック図である。
【図２６】本発明の実施形態３におけるイメージセンサの詳細構成を示すブロック図である。
【図２７】本発明の実施形態４における撮像装置の構成を示すブロック図である。
【図２８】図２７中の動体検知部の制御フローチャートである。
【発明を実施するための形態】
【００２５】
以下、本発明の実施形態について図面を参照しながら説明する。なお、以下の各実施形態や各変形例の説明は例示を目的としており、本発明がこれらに限定されることを意図しない。また一度説明した構成要素と同様の機能を有する構成要素については、同一の符号を付して説明を省略する。
【００２６】
《実施形態１》
図１は、本発明の実施形態１における撮像装置の構成を示すブロック図である。図１の撮像装置は、撮像レンズ部１０１と、画像信号処理部１００と、記憶部１０２と、記録保存部１０３とを備える。画像信号処理部１００は、固体撮像素子（イメージセンサ）１と、制御部２と、カメラ信号処理部３と、解像度変換部４と、画像符号化部５とを備える。
【００２７】
撮像レンズ部１０１は、図２に示すように、入射される被写体の同じ光学像を固体撮像素子１の受光面の領域Ａ、領域Ｂに結像する。領域Ａ，Ｂはイメージサークル１０１１内の領域で、互いのイメージサークル１０１１の光学像の影響を受けない領域である。領域Ｃは領域Ａ，Ｂに結像する光学像が重なる部分のため後段の画像処理に使用されない領域である。
【００２８】
固体撮像素子１は、図３に示すように、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３色のカラーフィルタをベイヤ配列にもつ固体撮像素子（ｇは、Ｒ列のＧを表す）であって、複数の光電変換素子からなる画素２０１が水平、垂直のアレイ状（行列状）に配列されており受光面を形成している。更に垂直列毎にＡＤ変換回路２０２、Ｖ加算器２０３及びラインメモリ２０４が構成されている。
【００２９】
画素２０１において発生した画素信号は、垂直駆動回路２０５により行単位で順次出力され、ＡＤ変換回路２０２によってＡＤ変換が実行され、水平駆動回路２０６により、順次、Ｈ加算器２０７を通じて、固体撮像素子１から出力される。このとき、垂直駆動回路２０５は、Ｖ駆動制御部２０９により、画素２０１の読み出し及びＡＤ変換回路２０２、Ｖ加算器２０３を垂直単位で制御する。一方、Ｈ加算器２０７は、Ｈ加算制御部２０８により、水平加算されるかどうかが水平転送画素単位で決定される。
【００３０】
次に、図３に示す構成図と、図４、図５及び図６に示すタイミングチャートとを用いて、固体撮像素子１の駆動について説明する。ここでは領域Ａを画素混合読み出し、領域Ｂを全画素読み出しとし、画素混合読み出しは水平２画素、垂直２画素混合を例として説明する。
【００３１】
まず、図４の水平期間２’では、垂直転送パルスに同期して、ＡＤ変換回路２０２によってＶ０行の画素信号がＡＤ変換される（ＡＤ０部）。Ｖ０行の全画素のＡＤ変換が完了すると、ラインメモリ２０４がクリアされた後（ＣＬＲ部）、ＡＤ変換結果はラインメモリ２０４へ転送される（ＭＥＭ部）。
【００３２】
続く、図５の水平期間１では、垂直転送パルスに同期して、Ｖ２行の画素信号がＡＤ変換される（ＡＤ２部）。このとき、ＣＬＲ動作は領域Ｂ，Ｃに付属するラインメモリ２０４に対して施され、領域Ａのラインメモリ２０４のクリアはされない。同時にラインメモリ２０４内のＶ０行の画素信号データが水平転送され、Ｈ加算器２０７へ入力される。Ｈ加算器２０７は、Ｈ加算制御部２０８内の水平転送パルスカウンタに則り、水平転送パルスカウンタが領域Ｂの数まで画像データが出力されず、領域Ｂのカウンタ数に到達するとＨ加算制御信号に基づき‘Ｌ’のため入力信号をそのまま出力する。この動作により、図８の領域Ｂの全画素データＶ０行が出力される。Ｖ２行の全画素のＡＤ変換（ＡＤ２部）が完了すると、Ｖ２行のＡＤ変換結果はラインメモリ２０４内部へ転送されるが、領域Ａについてはクリアされていないためデータ加算されることとなる（ＭＥＭ部）。
【００３３】
続く、図６の水平期間２では、垂直転送パルスに同期して、Ｖ１行の画素信号がＡＤ変換される（ＡＤ１部）。このとき、ＣＬＲ動作は全領域のラインメモリ２０４に対して施される。同時にラインメモリ２０４内の領域ＡについてはＶ０行とＶ２行の画素混合信号データが、領域ＢについてはＶ２行の画素信号データが水平転送され、Ｈ加算器２０７へ入力される。Ｈ加算器２０７は、水平転送パルスカウンタに則りＨ加算制御信号として‘Ｈ’を出力し、領域Ａの画素信号については２画素毎に加算しながら固体撮像素子１から出力する。
【００３４】
この動作により、図７のＶ０’行の画素混合信号が出力される。その後、領域Ｂについては入力信号がそのまま出力され、図８の領域Ｂの全画素データＶ２行が出力される。引き続き水平期間１と２とを垂直奇数列に対して繰り返すことで図７のＶ１’行、及び図８のＶ１，Ｖ３行を得ることができる。以下繰り返すことで、領域Ａの画素混合データと領域Ｂの全画素データとのＲ，Ｇ，ｇ，Ｂ全色を得ることができる。
【００３５】
図４、図５及び図６のタイミングチャートのとおり、Ｖ駆動制御部２０９は垂直駆動回路２０５に対して、偶数行、奇数行をそれぞれ２回ずつ繰り返し変更する制御を行い、ラインメモリ２０４のクリア制御は領域Ａについては２水平期間毎に、領域Ｂ，Ｃについては毎水平期間クリアする制御を行う。
【００３６】
領域Ｃの画素信号についてはＨ加算器２０７から出力しなくてもよいし、出力した場合、カメラ信号処理部３で破棄してもよい。
【００３７】
図９は、Ｈ加算制御部２０８の構成例を示すブロック図である。まず、領域判定部２０８１にアレイ状に配置された画素で構成された受光面においての領域Ａ及び領域Ｂの水平位置が設定される。例えば図３で左下画素位置Ｂ００を０として右に１つ進むにつれ１カウントするとして、領域Ａの水平開始位置は０で、領域Ｂの水平開始位置は１２となり、また領域Ｃの水平開始位置は８となる。
【００３８】
水平カウンタ部２０８２は、図４、図５及び図６に示す水平転送パルスが発生する度に１カウントアップし垂直転送パルス毎にリセットされる。垂直カウンタ部２０８３は、図４、図５及び図６に示す垂直転送パルスが発生する度に１カウントアップし、１フレーム分カウントされた時点でリセットされる。
【００３９】
領域判定部２０８１には、水平カウンタ部２０８２からの水平カウント値と垂直カウンタ部２０８３からの垂直カウント値とが入力される。領域判定部２０８１は、垂直カウント値０を除く偶数ライン時の水平カウント値０から７までの間のみＨ加算制御信号２０８４を‘Ｈ’にしＨ加算器２０７の動作を有効にする。それ以外は‘Ｌ’を出力しＨ加算器２０７の動作を無効（スルー動作：入力信号をそのまま出力する）にする。また、別に領域Ｃの位置である水平カウント値が８から次の領域Ｂのカウント値１２になるまでＨ加算器２０７を停止させるためのＨ加算停止信号２０８５を出力し、Ｈ加算器２０７の動作を停止することができる。Ｈ加算器２０７は停止信号２０８５を受けている間は出力しない。
【００４０】
図１０は、Ｖ駆動制御部２０９の構成例を示すブロック図である。まず、領域判定部２０９１に、アレイ状に配置された画素で構成された受光面においての領域Ａ及び領域Ｂの水平位置が設定される。例えば図３で左下画素位置Ｂ００を０として右に１つ進むにつれ１カウントするとして、領域Ａの水平開始位置は０で、領域Ｂの水平開始位置は１２となり、また領域Ｃの水平開始位置は８となる。
【００４１】
垂直カウンタ部２０９３は、図４、図５及び図６に示す垂直転送パルスが発生する度に１カウントアップし、１フレーム分カウントされた時点でリセットされる。
【００４２】
領域判定部２０９１には、垂直カウンタ部２０９３から垂直カウント値が入力される。そして、垂直４ラインを１セットとして（０〜３ラインをセット１、４〜７ラインをセット２）、垂直カウント値が４更新する度に次の対象セットに更新し、垂直カウント値が１更新する度にセット内の０→２→１→３ライン目を駆動するＶ駆動制御信号２０９４を出力する。垂直駆動回路２０５は、Ｖ駆動制御信号２０９４の値と同じラインの画素２０１をＡＤ変換回路２０２に読み出す。
【００４３】
また、領域判定部２０９１は領域Ａとして設定された水平位置０から領域Ｂとして設定された水平位置１２の手前の水平位置１１までのＡＤ変換回路２０２とＶ加算器２０３とラインメモリ２０４とを制御する制御信号２０９５と、領域Ｂとして指定された水平位置１２から右端位置１９までのＡＤ変換回路２０２とＶ加算器２０３とラインメモリ２０４とを制御する制御信号２０９６とを出力する。領域Ａの制御信号２０９５は偶数ライン毎にＶ加算器２０３を有効にし同時にラインメモリ２０４をクリアする。領域Ｂを制御する制御信号２０９６は１ライン毎にＶ加算器２０３を無効にし、ラインメモリ２０４をクリアする。
【００４４】
さて、図１中の制御部２は、固体撮像素子１、カメラ信号処理部３、解像度変換部４、画像符号化部５の動作を制御する。結像された被写体は、固体撮像素子１によって電気信号（以下、画素信号）に変換され、カメラ信号処理部３に入力される。
【００４５】
図１１は、カメラ信号処理部３の構成例を示すブロック図である。一般的には、カメラ信号処理部３は、画像並び替え回路７２０と、ホワイトバランス処理回路（図中ではＷＢと略記）７２１と、輝度信号生成回路７２２と、色分離回路７２３と、アパーチャ補正処理回路（図中ではＡＰと略記）７２４と、マトリクス処理回路７２５とを備えている。画像並び替え回路７２０は、固体撮像素子１からの領域Ｂの全画素読み出しデータが偶数２ライン、奇数２ライン交互に出力されるため、画像イメージどおりに偶数、奇数、偶数、奇数に並べ替える機能を有する。ホワイトバランス処理回路７２１は、白い被写体がどのような光源下でも白く撮影されるように、固体撮像素子１のカラーフィルタによる色成分を正しい割合で補正することにより補正信号７３１を生成する。輝度信号生成回路７２２は、補正信号（ＲＡＷデータ）７３１から輝度信号（Ｙ信号）７３２を生成する。色分離回路７２３は、補正信号（ＲＡＷデータ）７３１から色差信号（Ｃｒ／Ｃｂ信号）７３３を生成する。アパーチャ補正処理回路７２４は、輝度信号生成回路７２２が生成した輝度信号７３２に高周波数成分を足し合わせて解像度を高く見せる処理を行う。マトリクス処理回路７２５は、固体撮像素子１の分光特性や画像処理で崩れた色相バランスの調整を、色分離回路７２３が生成した色差信号７３３に対して行う。
【００４６】
解像度変換部４は、画像の拡大及び縮小処理を行う。画像符号化部５は、記憶部１０２に記憶されるデータをＪＰＥＧ等の所定の規格で圧縮変換することにより画像データを生成し、生成した画像データを記録保存部１０３に出力する。
【００４７】
なお、ここでは画像並び替え回路７２０にて並べ替えたが、固体撮像素子１からの出力データを一旦記憶部１０２に保持する場合は、記憶部１０２への書き込みを図８の順に並べ替える機能を有してもよい。その場合、画像並び替え回路７２０は不要となる。
【００４８】
また、ここでは画素混合方式を、ＡＤ変換回路２０２とＶ加算器２０３とラインメモリ２０４とで構成したが、特許文献３にあるようなカウンタ方式のＡＤ変換回路であっても、同様に構成できる。本発明の特徴は、画素混合読み出しと全画素読み出しとを任意の位置から変更することにあり、ＡＤ変換方式やラインメモリの構成には依存しないで実現可能なものである。
【００４９】
また、図３では領域Ａ，Ｂのそれぞれの各色を水平４画素、垂直４画素で示しているが、当然これに限られるものではない。
【００５０】
また、領域Ａと領域Ｂとの読み出しは、領域Ａを画素混合読み出し、領域Ｂを全画素読み出しとしたが、これに限定されない。
【００５１】
また、画素混合読み出しは特許文献２で示されているような９画素混合であってもよい。
【００５２】
図１２に示すように、領域Ａ，Ｂを垂直方向に配置してもかまわない。この場合の固体撮像素子１の駆動について、図１３と図１４〜図１９とを用いて説明する。ただし、図１３において、領域Ａと領域Ｂとの間の領域Ｃは省略する。
【００５３】
まず、領域Ｂの転送について説明する。図１４の水平期間２Ｂ’では、垂直転送パルスに同期して、ＡＤ変換回路２０２によってＶ０行の画素信号がＡＤ変換される（ＡＤ０部）。Ｖ０行の全画素のＡＤ変換が完了すると、ラインメモリ２０４がクリアされた後（ＣＬＲ部）、ＡＤ変換結果はラインメモリ２０４へ転送される（ＭＥＭ部）。
【００５４】
続く、図１５の水平期間１Ｂでは、垂直転送パルスに同期して、Ｖ１行の画素信号がＡＤ変換される（ＡＤ１部）。Ｖ１行の全画素のＡＤ変換が完了すると、ラインメモリ２０４がクリアされた後（ＣＬＲ部）、ＡＤ変換結果はラインメモリ２０４へ転送される（ＭＥＭ部）。同時にラインメモリ２０４内のＶ０行の画素信号データが水平転送され、Ｈ加算器２０７へ入力され入力信号をそのまま出力する。この動作により、全画素データＶ０行が出力される。
【００５５】
続く、図１６の水平期間２Ｂは水平期間１Ｂと同じ動作が繰り返され、Ｖ２行のＡＤ変換、及びＶ１行の水平出力が実施される。
【００５６】
次に、領域Ａの転送について説明する。図１７の水平期間２Ａ’では、垂直転送パルスに同期して、ＡＤ変換回路２０２によってＶ４行の画素信号がＡＤ変換される（ＡＤ４部）。Ｖ４行の全画素のＡＤ変換が完了すると、ラインメモリ２０４がクリアされた後（ＣＬＲ部）、ＡＤ変換結果はラインメモリ２０４へ転送される（ＭＥＭ部）。
【００５７】
続く、図１８の水平期間１Ａでは、垂直転送パルスに同期して、Ｖ５行の画素信号がＡＤ変換される（ＡＤ５部）。Ｖ５行の全画素のＡＤ変換が完了すると、Ｖ５行のＡＤ変換結果はラインメモリ２０４内部へ転送されるが、クリアされていないためＶ４行とＶ５行とデータ加算されることとなる（ＭＥＭ部）。
【００５８】
続く、図１９の水平期間２Ａでは、垂直転送パルスに同期して、Ｖ６行の画素信号がＡＤ変換される（ＡＤ６部）。このとき、ＣＬＲ動作は全領域のラインメモリ２０４に対して施される。同時にラインメモリ２０４内のＶ４行とＶ５行との画素混合信号データが水平転送され、Ｈ加算器２０７へ入力される。Ｈ加算器２０７は、水平転送パルスカウンタに則りＨ加算制御信号として‘Ｈ’を出力し、全画素信号については２画素毎に加算しながら、固体撮像素子１から出力する。この動作により、画素混合信号が出力される。
【００５９】
以下繰り返すことで、領域Ａと領域Ｂとの画素混合データと全画素データのＲ，Ｇ，ｇ，Ｂ全色を得ることができる。
【００６０】
上記のとおり、Ｖ駆動制御部２０９は垂直駆動回路２０５に対して、領域Ｂのライン時、毎行変更し、領域Ａのライン時は偶数行、奇数行をそれぞれ２回ずつ繰り返し変更する制御を行い、ラインメモリ２０４のクリア制御は領域Ａについては２水平期間毎に、領域Ｂについては毎水平期間クリアする制御を行う。
【００６１】
Ｈ加算制御部２０８は、領域Ａについては２水平期間毎にＨ加算制御信号として‘Ｈ’を出力し、Ｈ加算器２０７にて画素加算を制御し、領域ＢについてはＨ加算制御信号として‘Ｌ’を出力し、加算動作せず、そのまま出力する。
【００６２】
領域Ｃの画素信号についてはＨ加算器２０７から出力しなくてもよいし、出力した場合、カメラ信号処理部３で破棄してもよい。
【００６３】
《実施形態２》
図２０に、実施形態２のブロック図を示す。図２０に示すように新たに領域指定部２１０を備える。領域指定部２１０は、例えば全画素読み出し側の領域Ｄを指定する。
【００６４】
領域Ｄの指定により、Ｖ駆動制御部２０９は領域Ｄに該当しないＶ０、１、６、７行目の時はＡＤ変換及びラインメモリ転送を行わない。また、図２１及び図２２に示すとおり、水平駆動回路２０６は通常はＨＢ０からカウントするが（図２１）、指定領域読み出し時は指定されたカウント値ＨＢ２からカウントし、ＨＢ２に該当する画素から読み出す（図２２）。
【００６５】
以上の構成にすることで、全画素読み出しより高速に読み出すことが可能である。
【００６６】
なお、領域指定部２１０は固体撮像素子１側に配置したが、図１の制御部２に内包してもよい。
【００６７】
また、図２３に示すように動体検知部２１１を備えてもよい。動体検知については種々先行例があるが、例えば動画符号化（ＭＰＥＧ）で使用されているフレーム間差分による動き検出を用いて動きが大きいところを領域指定とする。
【００６８】
図２４のフローチャートを用いて動作を説明する。開始時、任意の初期領域Ｄを設定する（Ｓ１０１）と同時に取得フレーム数カウンタを初期化する（Ｓ１０２）。まず全体の被写体を記録する領域Ａの第ｎフレーム画像と第ｎ＋１画像とを取得する（Ｓ１０３，Ｓ１０４）。第ｎ＋１と第ｎとの画像のフレーム間差分を取得し（Ｓ１０５）、差分最大領域Ｄｎｅｗを取得する（Ｓ１０６）。差分が全くなかったり、初期設定領域Ｄとの間に差分がなかったりする場合は領域を更新せず、異なる場合には更新する（Ｓ１０７，Ｓ１０８）。取得フレーム数カウンタを更新し（Ｓ１０９）、動体検知が終了するまで繰り返される。
【００６９】
また、図２５に示すように人物認識部２１２を備えてもよい。人物認識についても種々先行例があるが、例えば顔検出による特徴抽出機能を使用し、取得特徴を保持しておき、以降顔検出の度に取得しておいた特徴と比較し合致した場合、領域を更新する。
【００７０】
以上の構成にすることで、使用者が選択せずとも自動で領域を指定することが可能になる。
【００７１】
《実施形態３》
図２６に、実施形態３のブロック図を示す。図２６に示すように新たに、第２垂直駆動回路２１５、第２水平駆動回路２１６、第２Ｈ加算器２１７、第２Ｈ加算制御部２１８、第２Ｖ駆動制御部２１９を有する。
【００７２】
第２垂直駆動回路２１５、第２水平駆動回路２１６、第２Ｈ加算器２１７、第２Ｈ加算制御部２１８、第２Ｖ駆動制御部２１９にて領域Ｂの駆動を制御することで、領域Ａと同時に読み出すことが可能になる。読み出しタイミングは図４、図５及び図６の領域Ａ、領域Ｂを各々独立タイミングで駆動する。
【００７３】
《実施形態４》
図２７に、実施形態４のブロック図を示す。図２７の撮像装置において、画像符号化部５は動体検知部２１１の情報に基づいて画像符号化する対象画像を切り替える。
【００７４】
図２８のフローチャートを用いて動作を説明する。開始時、領域Ａを画像符号化対象と設定する（Ｓ２０１）と同時に取得フレーム数カウンタを初期化する（Ｓ２０２）。まず全体の被写体を記録する領域Ａの第ｎフレーム画像と第ｎ＋１画像とを取得する（Ｓ２０３，２０４）。第ｎ＋１と第ｎとの画像のフレーム間差分を取得し（Ｓ２０５）、差分最大領域Ｄｎｅｗを取得する（Ｓ２０６）。差分が任意の設定閾値以上の場合（Ｓ２０７）、画像符号化対象を領域Ｂの画像に切り替える（Ｓ２０８）。差分が全くなく閾値以下の場合、領域Ａを記録する（Ｓ２１０）。取得フレーム数カウンタを更新し（Ｓ２０９）、動体検知が終了するまで繰り返される。
【００７５】
以上の構成とすることで、画像符号化部５が１つのシステムでも、注視したい画像を自動で記録することが可能である。
【００７６】
なお、上記では動体検知としたが、人物認識部２１２と置き換えてもよい。また、使用者が任意で記録画像を切り替えてもよい。
【産業上の利用可能性】
【００７７】
本発明は、一体型ビデオカメラやデジタルスチルカメラ、ムービーカメラ等のモバイルカメラに適用できる撮像装置であって、読み出しの画素数を減数しても高解像度の画像を取得することができる撮像装置として、特に、監視カメラ、ＷＥＢカメラ等のネットワークカメラや、車載カメラ、ドライブレコーダ等の自動車搭載用カメラに利用可能である。
【符号の説明】
【００７８】
１ 固体撮像素子（イメージセンサ）
２ 制御部
３ カメラ信号処理部
４ 解像度変換部
５ 画像符号化部
１００ 画像信号処理部
１０１ 撮像レンズ部
１０２ 記憶部
１０３ 記録保存部
２０１ 画素
２０２ ＡＤ変換回路
２０３ Ｖ加算器
２０４ ラインメモリ
２０５ 垂直駆動回路
２０６ 水平駆動回路
２０７ Ｈ加算器
２０８ Ｈ加算制御部
２０９ Ｖ駆動制御部
２１０ 領域指定部
２１１ 動体検知部
２１２ 人物認識部
２１５ 第２垂直駆動回路
２１６ 第２水平駆動回路
２１７ 第２Ｈ加算器
２１８ 第２Ｈ加算制御部
２１９ 第２Ｖ駆動制御部
７２０ 画像並び替え回路
７２１ ホワイトバランス処理回路
７２２ 輝度信号生成回路
７２３ 色分離回路
７２４ アパーチャ補正処理回路
７２５ マトリクス処理回路
７３１ 補正信号
７３２ 輝度信号
７３３ 色差信号
１０１１ イメージサークル
２０８１ 領域判定部
２０８２ 水平カウンタ部
２０８３ 垂直カウンタ部
２０８４ Ｈ加算制御信号
２０８５ Ｈ加算停止信号
２０９１ 領域判定部
２０９３ 垂直カウンタ部
２０９４ Ｖ駆動制御信号
２０９５ 領域ＡのＡＤ変換回路及びラインメモリの制御信号
２０９６ 領域ＢのＡＤ変換回路及びラインメモリの制御信号
Ａ 任意駆動の領域
Ｂ 任意駆動の領域
Ｃ 光学像重複部
Ｄ 指定領域
【技術分野】
【０００１】
本発明は、デジタルスチルカメラ、デジタルビデオカメラ等の撮像装置に関する。詳しくは、広角撮影と高倍率撮影との同時記録可能な撮像装置に関するものである。
【背景技術】
【０００２】
近年、撮像装置の光電変換素子アレイについては、半導体技術の発展により画素数の飛躍的な増加が実現されている。
【０００３】
静止画撮影においては、光電変換素子アレイの全画素の画素データを利用する形態で撮影を行う。これが全画素読み出しモードであり、光電変換素子アレイから読み出した画素データを１画素分ずつ順次に全画素分出力する。これにより、高精細な静止画撮影が可能となっている。
【０００４】
一方、静止画撮影と動画記録との両モードを切り替え可能に構成した撮像装置もある。現状ではデジタル信号処理回路の動作速度に一定の限界があり、また消費電力の面からも、動画記録においては、静止画撮影と同様の全画素読み出しモードでの撮影は難しい。そこで、動画記録時には画素間引きを行い、単位時間当たりのフレーム枚数を増やして画素データ処理を行うのが一般的である。これが垂直水平画素混合読み出しモードである。
【０００５】
光電変換素子アレイから読み出した画素データにつき、アレイの垂直方向と水平方向とで複数画素分を混合した上で、その混合画素データを１単位の画素データとして出力する。これにより、単位時間当たりのフレーム枚数が増え、高画素の光電変換素子アレイを搭載した撮像装置においても、滑らかで高速な動画像撮影が可能となっている。
【０００６】
上記のような画素間引き・画素混合読み出しの切り替えは、特にＭＯＳ（Metal Oxide Semiconductor）イメージセンサが得意とするものである。ＭＯＳイメージセンサは、ＣＣＤ（Charge Coupled Device）イメージセンサのようなポテンシャル井戸の移動による電荷の転送を必要とせず、信号ライン（ワイヤ）を利用して任意ラインの画素データ読み出しが自在であるからである。また、ＭＯＳイメージセンサの利点として、低電圧動作、少ないリーク電流、ＣＣＤと同じサイズでのより大きい開口率、高い感度、データ読み出しがＣＣＤより簡単等を挙げることができる。特に、任意画素抽出読み出し、画素混合の利点が大きい。
【０００７】
しかしながら、高精細な静止画と単位時間あたりのフレーム枚数を確保する動画との同時記録は、読み出し方法が異なるため時分割の処理となり、両方を実現するためにはより高速な装置が必要である。
【０００８】
また、同時記録が可能な撮像装置においても動画記録中の注目領域の静止画、あるいは動画記録をする場合、通常デジタルズームが用いられるため、倍率が高くなると解像度が低下する。
【０００９】
例えば、特許文献１では、第１及び第２のイメージセンサを有し、かつ第２のイメージセンサにズームレンズを備え、光反射部材を用いて第１、第２のイメージセンサそれぞれ交互に光を入射することで、第１のイメージセンサで広角な撮影を、第２のイメージセンサで高倍率の撮影をそれぞれ行うことを可能にしている。
【００１０】
特許文献２には、９画素混合における動画記録が示されている。
【００１１】
特許文献３には、垂直列（カラム）毎にＡＤ変換回路やその他の信号処理を行う信号処理部を配置したＭＯＳイメージセンサが示されている。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開２０１０−０１６６５９号公報
【特許文献２】特開２００５−１０７２５２号公報
【特許文献３】特開２００６−０３３４５４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
しかしながら、特許文献１では、広角と高倍率の撮影をするために２つのイメージセンサ、反射部材、機械的なズームレンズ制御機構、機械的な第２のイメージセンサ制御機構が必要で高コストである。また、反射部材により光を２つのセンサに交互に入力するため各々の露光時間が個別記録に比べて１／２と短くなり、かつ純粋な同時記録はできない。また、同時記録を可能にするため、反射部材を光変調素子としても、どちらかの光量は低下する。
【００１４】
特許文献２においても同様で、当然ながら、動画撮影と静止画撮影との両者において、固体撮像素子の読み出しタイミングが異なっている。つまり、露光タイミングが異なっているため、動画と静止画とで同一の被写体像を捉えることができなかった。
【００１５】
本発明の目的は、１つのイメージセンサで画角の異なる画像を同時に記録する撮像装置を提供することにある。
【課題を解決するための手段】
【００１６】
上記の課題を解決するために、本発明の撮像装置では、１つの受光面を持つイメージセンサと、１つの被写体の光学像を少なくとも２つ結像する光学系を備えた撮像レンズ部とを備え、１つの受光面を少なくとも２つに分け、撮像レンズ部からの光学像を各々の受光面に結像し、１つの受光面の読み出しを画素混合読み出しで、他方の読み出しを全画素読み出しでそれぞれ読み出すように駆動を切り替える。
【００１７】
この撮像装置においては、画素混合読み出しで撮像した画像で、単位時間当たりのフレームを確保できる動画が記録可能で、全画素読み出しで撮像した画像で、高精細な静止画記録が可能である。
【００１８】
また、全画素読み出し側から任意の領域を切り取って出力する撮像装置を提供する。この撮像装置においては、画素混合読み出しで撮像した画像とは異なる解像度の画像を、単位時間当たりのフレームを確保できる動画として記録が可能である。
【００１９】
また、更に動体検知手段を備え、全画素読み出し側の任意の領域指定は、動体検知の情報に基づいて指定する。この撮像装置においては、例えば監視カメラ等で記録画像内で動きがあった物体に注視して同時記録が可能である。
【００２０】
また、更に人物認識手段を備え、全画素読み出し側の任意の領域指定は、人物認識手段の情報に基づいて指定する。この撮像装置においては、指定された人物に注視して同時記録が可能である。
【００２１】
また、更に全画素読み出しと画素混合読み出しとの読み出しの駆動の出力系統を個別に持つ構成とする。この撮像装置においては、平行して読み出し可能になることから更に単位時間あたりのフレームを確保できる動画を記録することが可能である。
【００２２】
また、画素混合読み出し画像と全画素読み出し画像との同時記録に加えて、動体検知や人物認識手段の情報に基づいて画像符号化を切り替える手段を持つ構成とする。この撮像装置においては、２つの画像を１つの動画符号化データとして記録が可能である。
【発明の効果】
【００２３】
以上より、本発明は同時刻、同期間の露光を確保した上で、１つのイメージセンサで少なくとも２つの異なる解像度の画像を同時に記録することが可能である。
【図面の簡単な説明】
【００２４】
【図１】本発明の実施形態１における撮像装置の構成を示すブロック図である。
【図２】図１中の固体撮像素子（イメージセンサ）の外観図である。
【図３】図１中のイメージセンサの詳細構成例を示すブロック図である。
【図４】図３のイメージセンサの動作を示すタイミングチャートである。
【図５】図４に続くタイミングチャートである。
【図６】図５に続くタイミングチャートである。
【図７】図３のイメージセンサにおける画素混合読み出しによる出力画像の説明図である。
【図８】図３のイメージセンサにおける全画素読み出しによる出力画像の説明図である。
【図９】図３中のＨ加算制御部の構成例を示すブロック図である。
【図１０】図３中のＶ駆動制御部の構成例を示すブロック図である。
【図１１】図１中のカメラ信号処理部の構成例を示すブロック図である。
【図１２】図２のイメージセンサの変形例に係る外観図である。
【図１３】図１中のイメージセンサの他の詳細構成例を示すブロック図である。
【図１４】図１３中の領域Ｂの読み出し動作を示すタイミングチャートである。
【図１５】図１４に続くタイミングチャートである。
【図１６】図１５に続くタイミングチャートである。
【図１７】図１３中の領域Ａの読み出し動作を示すタイミングチャートである。
【図１８】図１７に続くタイミングチャートである。
【図１９】図１８に続くタイミングチャートである。
【図２０】本発明の実施形態２におけるイメージセンサの詳細構成を示すブロック図である。
【図２１】図２０のイメージセンサにおける通常全画素読み出し動作を示すタイミングチャートである。
【図２２】図２０のイメージセンサにおける任意指定読み出し動作を示すタイミングチャートである。
【図２３】図２０のイメージセンサに動体検知部を追加した構成を示すブロック図である。
【図２４】図２３中の動体検知部の制御フローチャートである。
【図２５】図２０のイメージセンサに人物認識部を追加した構成を示すブロック図である。
【図２６】本発明の実施形態３におけるイメージセンサの詳細構成を示すブロック図である。
【図２７】本発明の実施形態４における撮像装置の構成を示すブロック図である。
【図２８】図２７中の動体検知部の制御フローチャートである。
【発明を実施するための形態】
【００２５】
以下、本発明の実施形態について図面を参照しながら説明する。なお、以下の各実施形態や各変形例の説明は例示を目的としており、本発明がこれらに限定されることを意図しない。また一度説明した構成要素と同様の機能を有する構成要素については、同一の符号を付して説明を省略する。
【００２６】
《実施形態１》
図１は、本発明の実施形態１における撮像装置の構成を示すブロック図である。図１の撮像装置は、撮像レンズ部１０１と、画像信号処理部１００と、記憶部１０２と、記録保存部１０３とを備える。画像信号処理部１００は、固体撮像素子（イメージセンサ）１と、制御部２と、カメラ信号処理部３と、解像度変換部４と、画像符号化部５とを備える。
【００２７】
撮像レンズ部１０１は、図２に示すように、入射される被写体の同じ光学像を固体撮像素子１の受光面の領域Ａ、領域Ｂに結像する。領域Ａ，Ｂはイメージサークル１０１１内の領域で、互いのイメージサークル１０１１の光学像の影響を受けない領域である。領域Ｃは領域Ａ，Ｂに結像する光学像が重なる部分のため後段の画像処理に使用されない領域である。
【００２８】
固体撮像素子１は、図３に示すように、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３色のカラーフィルタをベイヤ配列にもつ固体撮像素子（ｇは、Ｒ列のＧを表す）であって、複数の光電変換素子からなる画素２０１が水平、垂直のアレイ状（行列状）に配列されており受光面を形成している。更に垂直列毎にＡＤ変換回路２０２、Ｖ加算器２０３及びラインメモリ２０４が構成されている。
【００２９】
画素２０１において発生した画素信号は、垂直駆動回路２０５により行単位で順次出力され、ＡＤ変換回路２０２によってＡＤ変換が実行され、水平駆動回路２０６により、順次、Ｈ加算器２０７を通じて、固体撮像素子１から出力される。このとき、垂直駆動回路２０５は、Ｖ駆動制御部２０９により、画素２０１の読み出し及びＡＤ変換回路２０２、Ｖ加算器２０３を垂直単位で制御する。一方、Ｈ加算器２０７は、Ｈ加算制御部２０８により、水平加算されるかどうかが水平転送画素単位で決定される。
【００３０】
次に、図３に示す構成図と、図４、図５及び図６に示すタイミングチャートとを用いて、固体撮像素子１の駆動について説明する。ここでは領域Ａを画素混合読み出し、領域Ｂを全画素読み出しとし、画素混合読み出しは水平２画素、垂直２画素混合を例として説明する。
【００３１】
まず、図４の水平期間２’では、垂直転送パルスに同期して、ＡＤ変換回路２０２によってＶ０行の画素信号がＡＤ変換される（ＡＤ０部）。Ｖ０行の全画素のＡＤ変換が完了すると、ラインメモリ２０４がクリアされた後（ＣＬＲ部）、ＡＤ変換結果はラインメモリ２０４へ転送される（ＭＥＭ部）。
【００３２】
続く、図５の水平期間１では、垂直転送パルスに同期して、Ｖ２行の画素信号がＡＤ変換される（ＡＤ２部）。このとき、ＣＬＲ動作は領域Ｂ，Ｃに付属するラインメモリ２０４に対して施され、領域Ａのラインメモリ２０４のクリアはされない。同時にラインメモリ２０４内のＶ０行の画素信号データが水平転送され、Ｈ加算器２０７へ入力される。Ｈ加算器２０７は、Ｈ加算制御部２０８内の水平転送パルスカウンタに則り、水平転送パルスカウンタが領域Ｂの数まで画像データが出力されず、領域Ｂのカウンタ数に到達するとＨ加算制御信号に基づき‘Ｌ’のため入力信号をそのまま出力する。この動作により、図８の領域Ｂの全画素データＶ０行が出力される。Ｖ２行の全画素のＡＤ変換（ＡＤ２部）が完了すると、Ｖ２行のＡＤ変換結果はラインメモリ２０４内部へ転送されるが、領域Ａについてはクリアされていないためデータ加算されることとなる（ＭＥＭ部）。
【００３３】
続く、図６の水平期間２では、垂直転送パルスに同期して、Ｖ１行の画素信号がＡＤ変換される（ＡＤ１部）。このとき、ＣＬＲ動作は全領域のラインメモリ２０４に対して施される。同時にラインメモリ２０４内の領域ＡについてはＶ０行とＶ２行の画素混合信号データが、領域ＢについてはＶ２行の画素信号データが水平転送され、Ｈ加算器２０７へ入力される。Ｈ加算器２０７は、水平転送パルスカウンタに則りＨ加算制御信号として‘Ｈ’を出力し、領域Ａの画素信号については２画素毎に加算しながら固体撮像素子１から出力する。
【００３４】
この動作により、図７のＶ０’行の画素混合信号が出力される。その後、領域Ｂについては入力信号がそのまま出力され、図８の領域Ｂの全画素データＶ２行が出力される。引き続き水平期間１と２とを垂直奇数列に対して繰り返すことで図７のＶ１’行、及び図８のＶ１，Ｖ３行を得ることができる。以下繰り返すことで、領域Ａの画素混合データと領域Ｂの全画素データとのＲ，Ｇ，ｇ，Ｂ全色を得ることができる。
【００３５】
図４、図５及び図６のタイミングチャートのとおり、Ｖ駆動制御部２０９は垂直駆動回路２０５に対して、偶数行、奇数行をそれぞれ２回ずつ繰り返し変更する制御を行い、ラインメモリ２０４のクリア制御は領域Ａについては２水平期間毎に、領域Ｂ，Ｃについては毎水平期間クリアする制御を行う。
【００３６】
領域Ｃの画素信号についてはＨ加算器２０７から出力しなくてもよいし、出力した場合、カメラ信号処理部３で破棄してもよい。
【００３７】
図９は、Ｈ加算制御部２０８の構成例を示すブロック図である。まず、領域判定部２０８１にアレイ状に配置された画素で構成された受光面においての領域Ａ及び領域Ｂの水平位置が設定される。例えば図３で左下画素位置Ｂ００を０として右に１つ進むにつれ１カウントするとして、領域Ａの水平開始位置は０で、領域Ｂの水平開始位置は１２となり、また領域Ｃの水平開始位置は８となる。
【００３８】
水平カウンタ部２０８２は、図４、図５及び図６に示す水平転送パルスが発生する度に１カウントアップし垂直転送パルス毎にリセットされる。垂直カウンタ部２０８３は、図４、図５及び図６に示す垂直転送パルスが発生する度に１カウントアップし、１フレーム分カウントされた時点でリセットされる。
【００３９】
領域判定部２０８１には、水平カウンタ部２０８２からの水平カウント値と垂直カウンタ部２０８３からの垂直カウント値とが入力される。領域判定部２０８１は、垂直カウント値０を除く偶数ライン時の水平カウント値０から７までの間のみＨ加算制御信号２０８４を‘Ｈ’にしＨ加算器２０７の動作を有効にする。それ以外は‘Ｌ’を出力しＨ加算器２０７の動作を無効（スルー動作：入力信号をそのまま出力する）にする。また、別に領域Ｃの位置である水平カウント値が８から次の領域Ｂのカウント値１２になるまでＨ加算器２０７を停止させるためのＨ加算停止信号２０８５を出力し、Ｈ加算器２０７の動作を停止することができる。Ｈ加算器２０７は停止信号２０８５を受けている間は出力しない。
【００４０】
図１０は、Ｖ駆動制御部２０９の構成例を示すブロック図である。まず、領域判定部２０９１に、アレイ状に配置された画素で構成された受光面においての領域Ａ及び領域Ｂの水平位置が設定される。例えば図３で左下画素位置Ｂ００を０として右に１つ進むにつれ１カウントするとして、領域Ａの水平開始位置は０で、領域Ｂの水平開始位置は１２となり、また領域Ｃの水平開始位置は８となる。
【００４１】
垂直カウンタ部２０９３は、図４、図５及び図６に示す垂直転送パルスが発生する度に１カウントアップし、１フレーム分カウントされた時点でリセットされる。
【００４２】
領域判定部２０９１には、垂直カウンタ部２０９３から垂直カウント値が入力される。そして、垂直４ラインを１セットとして（０〜３ラインをセット１、４〜７ラインをセット２）、垂直カウント値が４更新する度に次の対象セットに更新し、垂直カウント値が１更新する度にセット内の０→２→１→３ライン目を駆動するＶ駆動制御信号２０９４を出力する。垂直駆動回路２０５は、Ｖ駆動制御信号２０９４の値と同じラインの画素２０１をＡＤ変換回路２０２に読み出す。
【００４３】
また、領域判定部２０９１は領域Ａとして設定された水平位置０から領域Ｂとして設定された水平位置１２の手前の水平位置１１までのＡＤ変換回路２０２とＶ加算器２０３とラインメモリ２０４とを制御する制御信号２０９５と、領域Ｂとして指定された水平位置１２から右端位置１９までのＡＤ変換回路２０２とＶ加算器２０３とラインメモリ２０４とを制御する制御信号２０９６とを出力する。領域Ａの制御信号２０９５は偶数ライン毎にＶ加算器２０３を有効にし同時にラインメモリ２０４をクリアする。領域Ｂを制御する制御信号２０９６は１ライン毎にＶ加算器２０３を無効にし、ラインメモリ２０４をクリアする。
【００４４】
さて、図１中の制御部２は、固体撮像素子１、カメラ信号処理部３、解像度変換部４、画像符号化部５の動作を制御する。結像された被写体は、固体撮像素子１によって電気信号（以下、画素信号）に変換され、カメラ信号処理部３に入力される。
【００４５】
図１１は、カメラ信号処理部３の構成例を示すブロック図である。一般的には、カメラ信号処理部３は、画像並び替え回路７２０と、ホワイトバランス処理回路（図中ではＷＢと略記）７２１と、輝度信号生成回路７２２と、色分離回路７２３と、アパーチャ補正処理回路（図中ではＡＰと略記）７２４と、マトリクス処理回路７２５とを備えている。画像並び替え回路７２０は、固体撮像素子１からの領域Ｂの全画素読み出しデータが偶数２ライン、奇数２ライン交互に出力されるため、画像イメージどおりに偶数、奇数、偶数、奇数に並べ替える機能を有する。ホワイトバランス処理回路７２１は、白い被写体がどのような光源下でも白く撮影されるように、固体撮像素子１のカラーフィルタによる色成分を正しい割合で補正することにより補正信号７３１を生成する。輝度信号生成回路７２２は、補正信号（ＲＡＷデータ）７３１から輝度信号（Ｙ信号）７３２を生成する。色分離回路７２３は、補正信号（ＲＡＷデータ）７３１から色差信号（Ｃｒ／Ｃｂ信号）７３３を生成する。アパーチャ補正処理回路７２４は、輝度信号生成回路７２２が生成した輝度信号７３２に高周波数成分を足し合わせて解像度を高く見せる処理を行う。マトリクス処理回路７２５は、固体撮像素子１の分光特性や画像処理で崩れた色相バランスの調整を、色分離回路７２３が生成した色差信号７３３に対して行う。
【００４６】
解像度変換部４は、画像の拡大及び縮小処理を行う。画像符号化部５は、記憶部１０２に記憶されるデータをＪＰＥＧ等の所定の規格で圧縮変換することにより画像データを生成し、生成した画像データを記録保存部１０３に出力する。
【００４７】
なお、ここでは画像並び替え回路７２０にて並べ替えたが、固体撮像素子１からの出力データを一旦記憶部１０２に保持する場合は、記憶部１０２への書き込みを図８の順に並べ替える機能を有してもよい。その場合、画像並び替え回路７２０は不要となる。
【００４８】
また、ここでは画素混合方式を、ＡＤ変換回路２０２とＶ加算器２０３とラインメモリ２０４とで構成したが、特許文献３にあるようなカウンタ方式のＡＤ変換回路であっても、同様に構成できる。本発明の特徴は、画素混合読み出しと全画素読み出しとを任意の位置から変更することにあり、ＡＤ変換方式やラインメモリの構成には依存しないで実現可能なものである。
【００４９】
また、図３では領域Ａ，Ｂのそれぞれの各色を水平４画素、垂直４画素で示しているが、当然これに限られるものではない。
【００５０】
また、領域Ａと領域Ｂとの読み出しは、領域Ａを画素混合読み出し、領域Ｂを全画素読み出しとしたが、これに限定されない。
【００５１】
また、画素混合読み出しは特許文献２で示されているような９画素混合であってもよい。
【００５２】
図１２に示すように、領域Ａ，Ｂを垂直方向に配置してもかまわない。この場合の固体撮像素子１の駆動について、図１３と図１４〜図１９とを用いて説明する。ただし、図１３において、領域Ａと領域Ｂとの間の領域Ｃは省略する。
【００５３】
まず、領域Ｂの転送について説明する。図１４の水平期間２Ｂ’では、垂直転送パルスに同期して、ＡＤ変換回路２０２によってＶ０行の画素信号がＡＤ変換される（ＡＤ０部）。Ｖ０行の全画素のＡＤ変換が完了すると、ラインメモリ２０４がクリアされた後（ＣＬＲ部）、ＡＤ変換結果はラインメモリ２０４へ転送される（ＭＥＭ部）。
【００５４】
続く、図１５の水平期間１Ｂでは、垂直転送パルスに同期して、Ｖ１行の画素信号がＡＤ変換される（ＡＤ１部）。Ｖ１行の全画素のＡＤ変換が完了すると、ラインメモリ２０４がクリアされた後（ＣＬＲ部）、ＡＤ変換結果はラインメモリ２０４へ転送される（ＭＥＭ部）。同時にラインメモリ２０４内のＶ０行の画素信号データが水平転送され、Ｈ加算器２０７へ入力され入力信号をそのまま出力する。この動作により、全画素データＶ０行が出力される。
【００５５】
続く、図１６の水平期間２Ｂは水平期間１Ｂと同じ動作が繰り返され、Ｖ２行のＡＤ変換、及びＶ１行の水平出力が実施される。
【００５６】
次に、領域Ａの転送について説明する。図１７の水平期間２Ａ’では、垂直転送パルスに同期して、ＡＤ変換回路２０２によってＶ４行の画素信号がＡＤ変換される（ＡＤ４部）。Ｖ４行の全画素のＡＤ変換が完了すると、ラインメモリ２０４がクリアされた後（ＣＬＲ部）、ＡＤ変換結果はラインメモリ２０４へ転送される（ＭＥＭ部）。
【００５７】
続く、図１８の水平期間１Ａでは、垂直転送パルスに同期して、Ｖ５行の画素信号がＡＤ変換される（ＡＤ５部）。Ｖ５行の全画素のＡＤ変換が完了すると、Ｖ５行のＡＤ変換結果はラインメモリ２０４内部へ転送されるが、クリアされていないためＶ４行とＶ５行とデータ加算されることとなる（ＭＥＭ部）。
【００５８】
続く、図１９の水平期間２Ａでは、垂直転送パルスに同期して、Ｖ６行の画素信号がＡＤ変換される（ＡＤ６部）。このとき、ＣＬＲ動作は全領域のラインメモリ２０４に対して施される。同時にラインメモリ２０４内のＶ４行とＶ５行との画素混合信号データが水平転送され、Ｈ加算器２０７へ入力される。Ｈ加算器２０７は、水平転送パルスカウンタに則りＨ加算制御信号として‘Ｈ’を出力し、全画素信号については２画素毎に加算しながら、固体撮像素子１から出力する。この動作により、画素混合信号が出力される。
【００５９】
以下繰り返すことで、領域Ａと領域Ｂとの画素混合データと全画素データのＲ，Ｇ，ｇ，Ｂ全色を得ることができる。
【００６０】
上記のとおり、Ｖ駆動制御部２０９は垂直駆動回路２０５に対して、領域Ｂのライン時、毎行変更し、領域Ａのライン時は偶数行、奇数行をそれぞれ２回ずつ繰り返し変更する制御を行い、ラインメモリ２０４のクリア制御は領域Ａについては２水平期間毎に、領域Ｂについては毎水平期間クリアする制御を行う。
【００６１】
Ｈ加算制御部２０８は、領域Ａについては２水平期間毎にＨ加算制御信号として‘Ｈ’を出力し、Ｈ加算器２０７にて画素加算を制御し、領域ＢについてはＨ加算制御信号として‘Ｌ’を出力し、加算動作せず、そのまま出力する。
【００６２】
領域Ｃの画素信号についてはＨ加算器２０７から出力しなくてもよいし、出力した場合、カメラ信号処理部３で破棄してもよい。
【００６３】
《実施形態２》
図２０に、実施形態２のブロック図を示す。図２０に示すように新たに領域指定部２１０を備える。領域指定部２１０は、例えば全画素読み出し側の領域Ｄを指定する。
【００６４】
領域Ｄの指定により、Ｖ駆動制御部２０９は領域Ｄに該当しないＶ０、１、６、７行目の時はＡＤ変換及びラインメモリ転送を行わない。また、図２１及び図２２に示すとおり、水平駆動回路２０６は通常はＨＢ０からカウントするが（図２１）、指定領域読み出し時は指定されたカウント値ＨＢ２からカウントし、ＨＢ２に該当する画素から読み出す（図２２）。
【００６５】
以上の構成にすることで、全画素読み出しより高速に読み出すことが可能である。
【００６６】
なお、領域指定部２１０は固体撮像素子１側に配置したが、図１の制御部２に内包してもよい。
【００６７】
また、図２３に示すように動体検知部２１１を備えてもよい。動体検知については種々先行例があるが、例えば動画符号化（ＭＰＥＧ）で使用されているフレーム間差分による動き検出を用いて動きが大きいところを領域指定とする。
【００６８】
図２４のフローチャートを用いて動作を説明する。開始時、任意の初期領域Ｄを設定する（Ｓ１０１）と同時に取得フレーム数カウンタを初期化する（Ｓ１０２）。まず全体の被写体を記録する領域Ａの第ｎフレーム画像と第ｎ＋１画像とを取得する（Ｓ１０３，Ｓ１０４）。第ｎ＋１と第ｎとの画像のフレーム間差分を取得し（Ｓ１０５）、差分最大領域Ｄｎｅｗを取得する（Ｓ１０６）。差分が全くなかったり、初期設定領域Ｄとの間に差分がなかったりする場合は領域を更新せず、異なる場合には更新する（Ｓ１０７，Ｓ１０８）。取得フレーム数カウンタを更新し（Ｓ１０９）、動体検知が終了するまで繰り返される。
【００６９】
また、図２５に示すように人物認識部２１２を備えてもよい。人物認識についても種々先行例があるが、例えば顔検出による特徴抽出機能を使用し、取得特徴を保持しておき、以降顔検出の度に取得しておいた特徴と比較し合致した場合、領域を更新する。
【００７０】
以上の構成にすることで、使用者が選択せずとも自動で領域を指定することが可能になる。
【００７１】
《実施形態３》
図２６に、実施形態３のブロック図を示す。図２６に示すように新たに、第２垂直駆動回路２１５、第２水平駆動回路２１６、第２Ｈ加算器２１７、第２Ｈ加算制御部２１８、第２Ｖ駆動制御部２１９を有する。
【００７２】
第２垂直駆動回路２１５、第２水平駆動回路２１６、第２Ｈ加算器２１７、第２Ｈ加算制御部２１８、第２Ｖ駆動制御部２１９にて領域Ｂの駆動を制御することで、領域Ａと同時に読み出すことが可能になる。読み出しタイミングは図４、図５及び図６の領域Ａ、領域Ｂを各々独立タイミングで駆動する。
【００７３】
《実施形態４》
図２７に、実施形態４のブロック図を示す。図２７の撮像装置において、画像符号化部５は動体検知部２１１の情報に基づいて画像符号化する対象画像を切り替える。
【００７４】
図２８のフローチャートを用いて動作を説明する。開始時、領域Ａを画像符号化対象と設定する（Ｓ２０１）と同時に取得フレーム数カウンタを初期化する（Ｓ２０２）。まず全体の被写体を記録する領域Ａの第ｎフレーム画像と第ｎ＋１画像とを取得する（Ｓ２０３，２０４）。第ｎ＋１と第ｎとの画像のフレーム間差分を取得し（Ｓ２０５）、差分最大領域Ｄｎｅｗを取得する（Ｓ２０６）。差分が任意の設定閾値以上の場合（Ｓ２０７）、画像符号化対象を領域Ｂの画像に切り替える（Ｓ２０８）。差分が全くなく閾値以下の場合、領域Ａを記録する（Ｓ２１０）。取得フレーム数カウンタを更新し（Ｓ２０９）、動体検知が終了するまで繰り返される。
【００７５】
以上の構成とすることで、画像符号化部５が１つのシステムでも、注視したい画像を自動で記録することが可能である。
【００７６】
なお、上記では動体検知としたが、人物認識部２１２と置き換えてもよい。また、使用者が任意で記録画像を切り替えてもよい。
【産業上の利用可能性】
【００７７】
本発明は、一体型ビデオカメラやデジタルスチルカメラ、ムービーカメラ等のモバイルカメラに適用できる撮像装置であって、読み出しの画素数を減数しても高解像度の画像を取得することができる撮像装置として、特に、監視カメラ、ＷＥＢカメラ等のネットワークカメラや、車載カメラ、ドライブレコーダ等の自動車搭載用カメラに利用可能である。
【符号の説明】
【００７８】
１ 固体撮像素子（イメージセンサ）
２ 制御部
３ カメラ信号処理部
４ 解像度変換部
５ 画像符号化部
１００ 画像信号処理部
１０１ 撮像レンズ部
１０２ 記憶部
１０３ 記録保存部
２０１ 画素
２０２ ＡＤ変換回路
２０３ Ｖ加算器
２０４ ラインメモリ
２０５ 垂直駆動回路
２０６ 水平駆動回路
２０７ Ｈ加算器
２０８ Ｈ加算制御部
２０９ Ｖ駆動制御部
２１０ 領域指定部
２１１ 動体検知部
２１２ 人物認識部
２１５ 第２垂直駆動回路
２１６ 第２水平駆動回路
２１７ 第２Ｈ加算器
２１８ 第２Ｈ加算制御部
２１９ 第２Ｖ駆動制御部
７２０ 画像並び替え回路
７２１ ホワイトバランス処理回路
７２２ 輝度信号生成回路
７２３ 色分離回路
７２４ アパーチャ補正処理回路
７２５ マトリクス処理回路
７３１ 補正信号
７３２ 輝度信号
７３３ 色差信号
１０１１ イメージサークル
２０８１ 領域判定部
２０８２ 水平カウンタ部
２０８３ 垂直カウンタ部
２０８４ Ｈ加算制御信号
２０８５ Ｈ加算停止信号
２０９１ 領域判定部
２０９３ 垂直カウンタ部
２０９４ Ｖ駆動制御信号
２０９５ 領域ＡのＡＤ変換回路及びラインメモリの制御信号
２０９６ 領域ＢのＡＤ変換回路及びラインメモリの制御信号
Ａ 任意駆動の領域
Ｂ 任意駆動の領域
Ｃ 光学像重複部
Ｄ 指定領域
【特許請求の範囲】
【請求項１】
１つの受光面を持つ複数の画素を備えたイメージセンサと、
１つの被写体の光学像を少なくとも２つ結像する光学系を備えた撮像レンズ部とを備え、
前記イメージセンサの受光面を少なくとも２つに分け、前記撮像レンズ部からの光学像を前記各々の受光面に結像し、
前記各々の受光面の画像データの読み出し駆動を各々個別に切り替える読み出し駆動部を更に備えたことを特徴とする撮像装置。
【請求項２】
請求項１記載の撮像装置において、
前記読み出し駆動部は、画素混合読み出しと全画素読み出しとを切り替えることを特徴とする撮像装置。
【請求項３】
請求項１又は２に記載の撮像装置において、
前記読み出し駆動部は、水平加算制御部及び垂直駆動制御部を有し、
前記水平加算制御部は、垂直カウンタ部及び水平カウンタ部と、これらのカウンタ部からの出力カウント値を受け取る領域判定部とを有し、
前記垂直駆動制御部は、垂直カウンタと、その出力カウント値を受け取る領域判定部とを有し、
前記両領域判定部が指定する前記受光面の領域を表す位置情報に従って駆動を切り替えることを特徴とする撮像装置。
【請求項４】
請求項１〜３のいずれか１項に記載の撮像装置において、
前記読み出し駆動部を前記イメージセンサ内に備えたことを特徴とする撮像装置。
【請求項５】
請求項１〜４のいずれか１項に記載の撮像装置において、
前記全画素読み出しの読み出し領域を指定する手段を更に備えたことを特徴とする撮像装置。
【請求項６】
請求項５記載の撮像装置において、
前記読み出し領域指定は動体検知の情報に基づいて指定されることを特徴とする撮像装置。
【請求項７】
請求項５記載の撮像装置において、
前記読み出し領域指定は人物認識情報に基づいて指定されることを特徴とする撮像装置。
【請求項８】
請求項１〜４のいずれか１項に記載の撮像装置において、
前記読み出し駆動部を読み出し駆動別に持つことを特徴とする撮像装置。
【請求項９】
請求項１〜８のいずれか１項に記載の撮像装置において、
カメラ信号処理部と、解像度変換部と、画像符号化部とを更に備えたことを特徴とする撮像装置。
【請求項１０】
請求項９記載の撮像装置において、
前記画像符号化部は、前記各々の受光面の画像データを個別に記録することを特徴とする撮像装置。
【請求項１１】
請求項９記載の撮像装置において、
前記画像符号化部は、前記動体検知の情報に基づいて、記録する前記受光面の画像を選択することを特徴とする撮像装置。
【請求項１２】
請求項９記載の撮像装置において、
前記画像符号化部は、前記人物認識情報に基づいて、記録する前記受光面の画像を選択することを特徴とする撮像装置。
【請求項１】
１つの受光面を持つ複数の画素を備えたイメージセンサと、
１つの被写体の光学像を少なくとも２つ結像する光学系を備えた撮像レンズ部とを備え、
前記イメージセンサの受光面を少なくとも２つに分け、前記撮像レンズ部からの光学像を前記各々の受光面に結像し、
前記各々の受光面の画像データの読み出し駆動を各々個別に切り替える読み出し駆動部を更に備えたことを特徴とする撮像装置。
【請求項２】
請求項１記載の撮像装置において、
前記読み出し駆動部は、画素混合読み出しと全画素読み出しとを切り替えることを特徴とする撮像装置。
【請求項３】
請求項１又は２に記載の撮像装置において、
前記読み出し駆動部は、水平加算制御部及び垂直駆動制御部を有し、
前記水平加算制御部は、垂直カウンタ部及び水平カウンタ部と、これらのカウンタ部からの出力カウント値を受け取る領域判定部とを有し、
前記垂直駆動制御部は、垂直カウンタと、その出力カウント値を受け取る領域判定部とを有し、
前記両領域判定部が指定する前記受光面の領域を表す位置情報に従って駆動を切り替えることを特徴とする撮像装置。
【請求項４】
請求項１〜３のいずれか１項に記載の撮像装置において、
前記読み出し駆動部を前記イメージセンサ内に備えたことを特徴とする撮像装置。
【請求項５】
請求項１〜４のいずれか１項に記載の撮像装置において、
前記全画素読み出しの読み出し領域を指定する手段を更に備えたことを特徴とする撮像装置。
【請求項６】
請求項５記載の撮像装置において、
前記読み出し領域指定は動体検知の情報に基づいて指定されることを特徴とする撮像装置。
【請求項７】
請求項５記載の撮像装置において、
前記読み出し領域指定は人物認識情報に基づいて指定されることを特徴とする撮像装置。
【請求項８】
請求項１〜４のいずれか１項に記載の撮像装置において、
前記読み出し駆動部を読み出し駆動別に持つことを特徴とする撮像装置。
【請求項９】
請求項１〜８のいずれか１項に記載の撮像装置において、
カメラ信号処理部と、解像度変換部と、画像符号化部とを更に備えたことを特徴とする撮像装置。
【請求項１０】
請求項９記載の撮像装置において、
前記画像符号化部は、前記各々の受光面の画像データを個別に記録することを特徴とする撮像装置。
【請求項１１】
請求項９記載の撮像装置において、
前記画像符号化部は、前記動体検知の情報に基づいて、記録する前記受光面の画像を選択することを特徴とする撮像装置。
【請求項１２】
請求項９記載の撮像装置において、
前記画像符号化部は、前記人物認識情報に基づいて、記録する前記受光面の画像を選択することを特徴とする撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【公開番号】特開２０１２−１０５０５９（Ｐ２０１２−１０５０５９Ａ）
【公開日】平成２４年５月３１日（２０１２．５．３１）
【国際特許分類】
【出願番号】特願２０１０−２５１７６７（Ｐ２０１０−２５１７６７）
【出願日】平成２２年１１月１０日（２０１０．１１．１０）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年５月３１日（２０１２．５．３１）
【国際特許分類】
【出願日】平成２２年１１月１０日（２０１０．１１．１０）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]