撮像装置およびその画像生成方法
【課題】従来にない新規な撮像方式を有する撮像装置およびその画像生成方法を提供する。
【解決手段】第２の圧縮画像の一画面を指定すると、第２の圧縮画像とその前後の第１の圧縮画像を含めた他の圧縮画像により伸長復号して指定した一画面を示す高解像度の静止画像データを生成する撮像装置１は、一動画像データを取り込み中に、高画素のデータをイントラフレーム圧縮した第１の圧縮画像と、第１の圧縮画像を生成する期間の前後の期間で、間引きによる低画素のデータをインターフレーム圧縮した第２の圧縮画像とを一連のストリームとして生成し、第１の圧縮画像の画像レベルと第２の圧縮画像の画像レベルとを略等しいレベルに補正する画像処理部１４と、第１の圧縮画像および第２の圧縮画像の一連のストリームデータが記憶されるメモリ１５とを有する。
【解決手段】第２の圧縮画像の一画面を指定すると、第２の圧縮画像とその前後の第１の圧縮画像を含めた他の圧縮画像により伸長復号して指定した一画面を示す高解像度の静止画像データを生成する撮像装置１は、一動画像データを取り込み中に、高画素のデータをイントラフレーム圧縮した第１の圧縮画像と、第１の圧縮画像を生成する期間の前後の期間で、間引きによる低画素のデータをインターフレーム圧縮した第２の圧縮画像とを一連のストリームとして生成し、第１の圧縮画像の画像レベルと第２の圧縮画像の画像レベルとを略等しいレベルに補正する画像処理部１４と、第１の圧縮画像および第２の圧縮画像の一連のストリームデータが記憶されるメモリ１５とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディジタルカメラ等の撮像装置および撮像方法に係り、より詳しくは、動画主体として取り出す画像（比較的低画素数）と静止側として取り扱える画像（比較的高画素数）を同一ストリーム上で取り扱う撮像装置およびその画像生成方法に関するものである。
【背景技術】
【０００２】
従来より、撮像素子を用いて撮像した撮像信号に基づくディジタルビデオ信号を離散コサイン変換（ＤＣＴ）やウエーブレット変換と可変長符号により圧縮し、磁気テープや磁気ディスクや光ディスク等の記録媒体に記録するディジタルカメラが提案されている。
このディジタルカメラは、動画記録モードおよび静止画記録モードを有し、動画記録モードにおいては動画用の圧縮記録を行って記録媒体に記録し、静止画記録モードにおいては静止画用の圧縮を行って記録媒体に記録する。
【０００３】
また、従来より、動画撮影中に、高解像の静止画を撮影可能な撮像装置が、以下に第１〜第１１の撮像装置として示すように、種々提案されている。
【０００４】
第１の撮像装置は、動画像のフレーム周期の整数倍の周期毎に自動的に１フレームの高解像度静止画を撮影するものであって、動画像撮影時は間引き読み出し、静止画撮影時は全画素信号を２フィールドに分けて読み出す（特許文献１参照）。
【０００５】
第２の撮像装置は、動画撮影中に所定周期で静止画を撮影するものである（特許文献２参照）。
【０００６】
第３の撮像装置は、通常解像度の動画撮影中に操作者の操作により、または、自動的に一定間隔で高解像度の静止画を撮影するものであって、静止画は静止画デ一タとして記録し、動画は動画デ一タとして記録するものであり、動画再生中に静止画データありを表示し、操作者の操作でその静止画表示に切り替わる（特許文献３参照）。
【０００７】
第４の撮像装置は、所定期間の動画を撮影しつつ操作者のシャツタボタン操作により静止画を撮影する画像記録装置であって、撮影した静止画をその前後の動画を用いて修正するものである。
【０００８】
第５の撮像装置は、動画撮影時にシャッタボタンを操作すると高精細の静止画を撮影するカムコーダなどの動画記録装置であって、シャッタボタン操作時の高精細の静止画を強制的にイントラ符号化画像（Ｉピクチャ）として符号化するものである（特許文献４参照）。
【０００９】
第６の撮像装置は、動画撮影中に静止画撮影が可能なものであって、希望する静止画がない場合には、所望する動画像に対応する高解像度画像を、所望する動画像とそれと関連する静止画像とで合成するものである（特許文献５参照）。
【００１０】
第７の撮像装置は、シャッタボタンの半押で動画記録開始し、シャッタボタンの押込みで動作記録中に静止画の撮影を行うデジタルカメラであって、動画撮影中に撮影した静止画デ一夕を動画デ一夕と関連付けて記憶するものである（特許文献６参照）。
【００１１】
第８の撮像装置は、動画撮影中に操作者のシャッタボタン操作により静止画を撮影する画像記録装置であって、撮影した静止画をその前後の動画を用いて修正するものである（特許文献７参照）。
【００１２】
第９の撮像装置は、動画と静止画のデータを一連のファイルとして記録するもの、動画は、ＭＰ＠ＭＬ（Ｍａｉｎ Ｐｒｏｆｉｌｅ ａｔ Ｍａｉｎ Ｌｅｖｅｌ）で記録し、静止画はＭＰ＠ＨＬ（Ｍａｉｎ Ｐｒｏｆｉｌｅ ａｔ Ｈｉｇｈ Ｌｅｖｅｌ）で記録するものである（特許文献８参照）。
【００１３】
第１０の撮像装置は、一連の連写画像を一時記憶し、操作者が選択した画像のみをメモリカードに記憶するものである（特許文献９参照）。
【００１４】
第１１の撮像装置は、記録されている画像を減色、切り出し、あるいは解像度を落とす等の処理を行って記録し直すものである（特許文献１０参照）。
【特許文献１】特開平２００２−４４５３１号公報
【特許文献２】特開平７−２４５７２２号公報
【特許文献３】特開平９−５１４９８号公報
【特許文献４】特開平７−２８４０５８号公報
【特許文献５】特開２００２−５１２５２号公報
【特許文献６】特開２００２−８４４４２号公報
【特許文献７】特開平７−１４３４３９号公報
【特許文献８】特開平１１−２３４６２３号公報
【特許文献９】特開２００１−７８１３６号公報
【特許文献１０】特開２００２−１０２０９号公報
【発明の開示】
【発明が解決しようとする課題】
【００１５】
ところで、上述した各撮像装置においては、通常、動画程度の画像を取り込む場合は、ローリングシャッタを繰り返し露光−データ転送を順次行う。また、静止画の連続撮影を行う場合は、同様にローリングシャッタを連続させるか、メカニカルシャッタを用いる。 ここで、ローリングシャッタのみの画像取り込みでは、画像の上下で画像の歪みが発生することとなる。但し、あくまで動画像なので許容できる。
しかしながら、それが静止画像の取り込みとなると、この画像歪みを許容できなくなる。そのために、メカニカルシャッタが必要となるが、限りなく、高速で連続画像取り込みを行うには、メカニカルシャッタ駆動にも限界がある。
【００１６】
また、ディジタルカメラ等においては、高解像度で所望する画像を得るために、操作者が撮影対象を観察し、ここと思うタイミングでレリーズボタンを操作する必要がある。
しかしながら、ここと思うタイミングで操作したとしても、必ずしも所望する画像は得られないことが多く、これを解消する連写機能が実用化されている。
しかし、高解像度で、たとえば１０秒間も秒数コマで撮影したとすると、その記録した画像データは膨大となり、現在のメモリカード等の容量を考えると実用性に乏しい。
また、このような連写機能を有するものは、数百万画素の高解像度の静止画連写の場合、連写速度の上限がＣＣＤ等の読み出し処理能力に大きく依存するため、秒数コマ程度が上限となり、所望する画像が動きの早い被写体であると、たとえば連写を用いたとしても所望する画像を得ることはむずかしいものとなる。
【００１７】
また、解像度の異なる動画と静止画が一つのストリームとして記録される第１のモードと、動画だけの撮影を行う第２のモードとを有するディジタルカメラにおいて、第１のモードでの撮影データは解像度の高い静止画が一定間隔ごとにあることで、単なる動画のみで撮影した場合より保存されるファイルのサイズが大きくなってしまう。その結果、記録メモリの容量が大きくなり、実用的な記録容量を確保することが困難であるという不利益がある。
【００１８】
そこで、連写等の速度を気にせずに、かつ記録容量も実用的に抑えた上で、操作者がシャッタタイミングを気にせずに所望の高解像度静止画を得ることが可能な撮像装置を新規に開発した。
【００１９】
本発明はかかる開発にて生じた全く新規なものであり、特に、上記した高解像度生成画を得る等の課題を背景とするものではなく、従来にない全く新規な撮像方式を有する撮像装置およびその画像生成方法を提供することを目的とする。
【課題を解決するための手段】
【００２０】
本発明の第１の観点は、被写体の光学像を撮像素子に結像させ当該撮像素子から高解像度の高画像データまたは低解像度の低画像データを読み出し、これら画像データに対して所定の画像処理を行う撮像装置であって、一動画像データを取り込み中に、上記高画素のデータをイントラフレーム圧縮した第１の圧縮画像と、上記第１の圧縮画像を生成する期間の前後の期間で、間引きによる低画素のデータをインターフレーム圧縮した第２の圧縮画像とを一連のストリームとして生成し、上記第１の圧縮画像の画像レベルと上記第２の圧縮画像の画像レベルとを略等しいレベルに補正する画像処理部と、上記第１の圧縮画像および上記第２の圧縮画像の一連のストリームデータが記憶される記憶手段とを有する。
【００２１】
好適には、上記画像処理部は、上記第２の圧縮画像の一画面を指定すると、当該第２の圧縮画像の画面を前後の上記第１の圧縮画像を含めた他の画像により伸長復号した高精細静止画を生成する。
【００２２】
好適には、上記画像処理部は、一ストリームデータ上の上記第１の圧縮画像を一画面指定すると、当該第１の圧縮画像の解像度を上記第２の圧縮画像と同程度に低減し、上記一ストリームデータの当該第１の圧縮画像を上記解像度を低減した第１の圧縮画像に置き換えて上記記憶手段に記録し直す。
【００２３】
好適には、一ストリームデータの複数の上記第１の圧縮画像の解像度全てを、上記第２の圧縮画像と同程度に低減し、上記一ストリームデータの第１の圧縮画像を上記解像度を低減した第１の圧縮画像に置き換えて上記記憶手段に記録し直す。
【００２４】
好適には、上記高画像データは、上記撮像素子から間引かずに読み出した画像データまたは任意の間引き量で間引いて読み出した画像データであり、上記低画像データは、上記撮像素子から当該高画像データより低い解像度となるような任意の間引き量で間引いて読み出した画像である。
【００２５】
好適には、シャッタ機能としてグローバルシャッタ機能とローリングシャッタ機能とを含み、上記画像処理部は、上記グローバルシャッタで取り込んだ画素のデータより第１の圧縮画像を生成し、上記ローリングシャッタで取り込んだ画素のデータより第２の圧縮画像を生成する。
【００２６】
好適には、上記画像処理部は、上記第２の圧縮画像の一画面を指定すると、当該第２の圧縮画像の画面を前後の上記第１の圧縮画像を含めた他の画像により伸長復号して当該指定した一画面を示す高解像度の静止画像データを生成する。
【００２７】
好適には、高解像度の第１の圧縮画像と、低解像度の第２の圧縮画像とにより低解像度の連続したビデオストリームを出力するストリーム出力手段と、上記第１の圧縮画像が高解像度か低解像度かを判別する判別手段と、上記判別手段により上記第１の圧縮画像が高解像度か低解像度かを示す信号を出力する判別信号出力手段と、を有する。
【００２８】
本発明の第２の観点は、被写体の光学像を撮像素子に結像させ当該撮像素子から高解像度の高画像データまたは低解像度の低画像データを読み出し、これら画像データに対して所定の画像処理を行う撮像装置の画像生成方法であって、一動画像データを取り込み中に、上記高画素のデータをイントラフレーム圧縮して第１の圧縮画像を生成し、上記第１の圧縮画像を生成する期間の前後の期間で、低画素のデータをインターフレーム圧縮して第２の圧縮画像とを一ストリームとして生成し、上記第１の圧縮画像の画像レベルと上記第２の圧縮画像の画像レベルとを略等しいレベルに補正する。
【発明の効果】
【００２９】
本発明によれば、従来にない新規な撮像装置およびその画像生成方法が提供できる。
【発明を実施するための最良の形態】
【００３０】
以下、本発明に係る撮像装置の実施形態について、添付図面に関連付けて説明する。
【００３１】
図１は、本実施形態における撮像装置１の全体構成を例示する図である。本撮像装置１は、大別して光学系、信号処理系、記録系、表示系、および制御系から構成される。
【００３２】
本実施形態に係る撮像装置１は、動画撮影中、信号処理系において高画素の画像データをイントラフレーム圧縮して第１の圧縮画像を生成し、第１の圧縮画像を生成する期間の前後の期間で、低画素の画像データをインターフレーム圧縮して第２の圧縮画像を生成し、第２の圧縮画像の一画面を指定すると、第２の圧縮画像とその前後の第１の圧縮画像を含めた他の圧縮画像により伸長復号して指定した一画面を示す高解像度の静止画像データを生成する。
そして、本実施形態に係る撮像装置１は、一動画像データ取り込み中に、ローリングシャッタ機能とグローバルシャッタ機能とを併用する。
また、本実施形態に係る撮像装置１は、高解像度の第１の圧縮画像の画像レベルと低解像度の第２の圧縮画像の画像レベルとを略等しいレベルに補正し、第１の圧縮画像と第２の圧縮画像の出力レベルを一定するにするように制御する。
また、本実施形態に係る撮像装置１は、再生モードと、静止画再現モードと、ストリームデータ変更モードの３モードを備えている。
以下、各部の構成および機能について説明する。
【００３３】
光学系は、レンズ光学系１０およびＣＭＯＳセンサ等のイメージセンサ１１から構成される。
レンズ光学系１０は、被写体に対向する光学レンズ１０１、および図示しない光学ローパスフィルタ等を備えている。レンズ光学系１０においては、光学レンズ１０１により被写体の光学像を集光して、イメージセンサ１１上に被写体の像を結像する。
【００３４】
撮像素子としてのイメージセンサ１１は、たとえば、カラーフィルタが設けられたＣＭＯＳイメージセンサから構成され、レンズ光学系１０により結像された被写体の像を光電変換する。
また、グローバルシャッタ機能とローリングシャッタ機能とを含むシャッタ機能を有する。
シャッタ機能は、制御系の制御に従ってグローバルシャッタ機能またはローリングシャッタ機能を選択的に用いられ、ローリングシャッタで画素を取り込ませている間に、グローバルシャッタで画像を取り込ませることが可能なように制御される。すなわち、一動画像データ取り込み中に、ローリングシャッタ機能とグローバルシャッタ機能とが併用される。
【００３５】
信号処理系は、イメージセンサ１１から出力される電気信号をサンプリングすることによってノイズを低減させるための相関２重サンプリング回路（ＣＤＳ：Correlated Double Sampling）であるＣＤＳ１２と、ＣＤＳ１２が出力するアナログ信号をディジタル信号に変換するＡ／Ｄ変換器１３と、Ａ／Ｄ変換器１３が出力するディジタル信号に対して、後述する所定の画像処理を行う画像処理部１４とから構成される。
【００３６】
本実施形態に係る画像処理部１４は、基本的には、グローバルシャッタで取り込んだ画素のデータをイントラフレーム圧縮して第１の圧縮画像を生成し、第１の圧縮画像を生成する期間の前後の期間で、ローリングシャッタで取り込んだ画素のデータをインターフレーム圧縮して第２の圧縮画像を生成する。
後で詳述するように、画像処理部１４は、第１の圧縮画像をイメージセンサから画像データを間引かずに読み出して生成し、第２の圧縮画像をイメージセンサから画像データを間引いて読み出して生成する。
画像処理部１４は、第１の圧縮画像の生成時は高画素の画像データをイントラフレーム圧縮し、第２の圧縮画像の生成時は、低画素の画像データをインターフレーム圧縮する。 また、画像処理部１４は、第２の圧縮画像をイメージセンサからのデータを間引いて読み出して生成する場合、同色の近傍の画素の積分処理を行って間引き読み出しを行う。
画像処理部１４は、第１の圧縮画像の画像レベルと第２の圧縮画像の画像レベルとを略等しいレベルに補正する機能を有している。
【００３７】
画像処理部１４は、後で詳述するように、第２の圧縮画像の積分処理読み出しを行ったＲレベルに基づき第１の圧縮画像の画像レベルを補正することにより、第１の圧縮画像の画像レベルと上記第２の圧縮画像の画像レベルとを略等しいレベルに補正する機能を有している。
また、画像処理部１４は、第１の圧縮画像の画像レベルを維持し、第２の圧縮画像の画像レベルは、積分処理の積分量で除して補正することにより、第１の圧縮画像の画像レベルと第２の圧縮画像の画像レベルとを略等しいレベルに補正する機能を有している。
そして、画像処理部１４は、第２の圧縮画像の一画面を指定すると、第２の圧縮画像とその前後の第１の圧縮画像を含めた他の圧縮画像により伸長復号して当該指定した一画面を示す高解像度の静止画像データを生成する機能を有する。
【００３８】
画像処理部１４は、一ストリームデータ上の上記第１の圧縮画像を一画面指定すると、第１の圧縮画像の解像度を第２の圧縮画像と同程度に低減し、一ストリームデータの当該第１の圧縮画像を解像度を低減した第１の圧縮画像に置き換えてメモリ１５に記録し直す。
画像処理部１４は、一ストリームデータの複数の第１の圧縮画像の解像度を、一括で第２の圧縮画像と同程度に低減し、一ストリームデータの第１の圧縮画像を解像度を低減した第１の圧縮画像に置き換えてメモリ１５に記録し直す。
【００３９】
以上の機能を有する画像処理部１４は、上述した３モード、すなわち、再生モードと、静止画再現モードと、ストリームデータ変更モードにおいて、以下の処理を行う。
【００４０】
画像処理部１４は、再生モード時においては、高解像度の第１の圧縮画像と、低解像度の第２の圧縮画像とにより低解像度の連続したビデオストリームを生成し、表示する。
【００４１】
静止画再現モードにおいては、高解像度の第１の圧縮画像と、低解像度の第２の圧縮画像とにより低解像度の連続したビデオストリームを再生中に、操作者により特定画像の指定を行う。
画像処理部１４は、静止画再現モード時においては、操作者が指定した画像が第１の圧縮画像の場合は、その第１の圧縮画像の高精度静止画を出力し、表示する。
また、指定した画像が第２の圧縮画像の場合は、その画像および前後の第１の圧縮画像および第２の圧縮画像の少なくとも１以上の画面から指定した画像に対応する高解像度の画像を生成して出力し、表示する。
または、静止画再現モードにおいては、高解像度の第１の圧縮画像と、低解像度の第２の圧縮画像とにより低解像度の連続したサムネイルのような連続画像を表示し、操作者のキー操作等に画像指定を行い、画像処理部１４は、同様の処理を行う。
【００４２】
画像処理部１４は、ストリームデータ変更モードにおいては、操作者のキー操作等により、指定した一ストリームデータ中の高解像度の第１の圧縮画像を全て低解像度の第１の圧縮画像に自動的に置き換える処理を行う。
このストリームデータ変更モードの処理によりファイルサイズを小さくできる。この処理についてさらに詳述する。
【００４３】
単なる動画ファイルを再生中にある一画像で静止させても、動画の解像度が低いため、これを静止がとして保存したり、プリントアウトしても画質の粗いものになる。
これを解決するため、撮像装置１においては、図２に示すように、１秒間に複数フレーム（たとえば３０フレーム）の画像（たとえばＶＧＡサイズ）を撮影し、動画としてファイルを形成し、動画ファイルのうち１秒間に数フレーム（たとえば５フレーム）は動画よりも解像度の高い静止画（たとえばＳＸＧＡサイズ）で撮影し、一つのストリームとして記録する機能を有する。
これは、単なる動画ファイルの中に数枚の高解像度の静止画を差し込むことで、このストリームのどこで止めても、ＶＧＡサイズの画像と等間隔に撮影した高解像度の静止画を補完することで、高画質な静止画としての保存やプリントを可能とするものである。
しかし、このままでは、動画ファイル中に高解像度の静止画が存在することでファイルサイズが大きくなり、容量に制限のある記録メモリ１５の残り容量を占有してしまうおそれがある。
そこで、本実施形態に係る撮像装置１の画像処理部１４においては、操作者が静止画動画混在モードで撮影したものをプリントアウト等の必要がないと判断した場合、図２に示すように、データファイルから高解像度の静止画（ＳＸＧＡサイズ）を解像度の低い画像（ＶＧＡサイズ）に変換し、単なる動画のファイルを形成することでファイルサイズを小さくすることができるようにしている。
これは、操作者自身がキー操作等で実行することができ、メモリ１５の残り容量に余裕を持たせることができる。しかも、静止画の高解像度情報だけをカットするため、動画として再生する分には画質が劣化するなどの問題はない。
【００４４】
また、画像処理部１４は、ビデオストリームを出力するストリーム出力機能に加えて、上記３モードにおいて、データを高解像度の第１の圧縮画像と、低解像度の第２の圧縮画像とにより低解像度の連続したビデオストリームを出力する際、同時の出力中の第１の圧縮画像が高解像か低解像かを判別し、第１の圧縮画像が高解像か低解像かを示す信号を出力する機能を有する。
具体的には、Ｎ分割のマルチ表示画面上に第１の圧縮画像が存在する場合には、その第１の圧縮画像の画面近傍に高解像度または低解像度を判別可能なマークを表示する。また、動画的表示態様においては、高解像度を示すマークを重畳的に画面に表示する。
また、さらなる態様として、他の機器やメモリカード等の記録媒体に転送中に、各第１の圧縮画像に対して高か低かを示すフラグ信号を付加して転送する。
また、ビデオストリーム群を示すファイル一覧表示画面において、一ストリームデータ中に高解像度の第１の圧縮画像が存在するか否か、存在する場合には何画面存在するか、存在するストリームデータ上の位置データ（時間情報）を一緒に転送する。
【００４５】
記録系は、制御部１６により実行される制御用プログラムと、画像処理部１４により生成された画像データの圧縮データと、を格納するメモリ１５を含んで構成される。
記憶手段としてのメモリ１５には、画像処理部１４により第１の圧縮画像および第２の圧縮画像の一連のストリームデータが記憶される。
【００４６】
表示系は、画像処理部１４が処理し、内蔵する画像メモリに格納する画像データをアナログ化するＤ／Ａ変換器１８と、入力される画像を表示することによりファインダとして機能するＬＣＤ(Liquid Crystal Display)等よりなる表示部１９を含んで構成される。
【００４７】
制御系は、イメージセンサ１１乃至Ａ／Ｄ変換器１３の動作タイミングを制御するタイミングジェネレータ１７と、ユーザによるシャッタ操作やその他のコマンドを入力するための操作入力部２０と、画像処理部１４と、メモリ１５に記憶されている制御用プログラムを読み出し、読み出した制御用プログラムと、操作入力部２０から入力されるユーザからのコマンド等に基づいて、撮像装置１の全体を制御するＣＰＵ(Central Processing Unit) などよりなる制御部１６とを含んで構成される。
【００４８】
制御部１６は、一つのストリーム上で異なった画素数の画像データを取り込む際、動画の場合にはローリングシャッタ機能を用い、静止画の際にはグローバルシャッタを用いるように制御する。
【００４９】
ここでは、一つのストリーム上で異なった画素数の画像データを取り込む際、動画はローリングシャッタ、静止画はローリングシャッタ若しくはグローバルシャッタを用いる、用いないときのカメラ状態において判断する。
【００５０】
すなわち、本実施形態に係る撮像装置１は、制御部１６が一連の動作の中で、違う画素数を撮像素子から取り出すシステムにおいて、動画主体として取り出す画像（比較的低画素数）と静止画として取り扱える画像（比較的高画素数）を同一ストリーム上で取り扱う場合、低画素取り込みの場合、グローバルシャッタは用いず、高画素取り込みの場合のみグローバルシャッタ（若しくはメカニカルシャッタ）を用いる若しくは用いない判断を行う。
【００５１】
通常、動画程度の画像を取り込む場合は、ローリングシャッタを繰り返し露光−データ転送を順次行う。また、静止画の連続撮影を行う場合は、同様にローリングシャッタを連続させるか、メカニカルシャッタを用いるか、グローバルシャッタを用いて制御する。
ここで、ローリングシャッタのみの画像取り込みでは、画像の上下で画像の歪みが発生することとなる。但し、あくまで動画像なので許容できる。
しかしながら、それが静止画像の取り込みとなると、この画像歪みを許容できなくなる。そのために、メカニカルシャッタおよびグローバルシャッタが必要となる。限りなく、高速で連続画像取り込みを行うには、メカニカルシャッタ駆動にも限界があり、グローバルシャッタが不可欠となってくる。
ここでは、一つのストリーム上で異なった画素数の画像データを取り込む際、動画はローリングシャッタ機能を用い、静止画はローリングシャッタ若しくはグローバルシャッタを用いる、用いないときのカメラ状態において判断する。
【００５２】
図３は、ローリングシャッタ使用時の撮像素子（イメージセンサ）の一例を示す図である。
図３のように、Ａ〜Ｆまでのラインが素子に存在すると仮定すると、その画像の制御は図４に示すようになる。
通常、このローリングシャッタを使用する場合はＡ〜Ｆライン間で露光時間のズレを生じるために画像歪みを生じさせる
【００５３】
図５は、グローバルシャッタ使用時の図２のように、Ａ〜Ｆまでのラインが素子に存在すると仮定したときの画像の制御波形例を示す図である。
【００５４】
この場合、グローバルシャッタ使用時は露光時間にズレを生じさせないため、画像に歪みを生じさせない。但し、露出終了が同時に起こるため、露光開始を全画素同時に行う必要がある。また、ローリングシャッタに比べ、画像転送時間が一斉に発生するため、長い時間要する。
したがって、ローリングシャッタの長所としては、その取り込みのスピードがグローバルシャッタやメカニカルシャッタに比べ高速なことである。短所としては、ライン間の画像歪みを生じさせることである。
それに比べ、グローバルシャッタ（またはメカニカルシャッタ）の長所は、画像の歪みを生じさせないデータを得ることができる一方、取り込みのスピードは、ローリングシャッタに比べ遅くなる。
これらの長所、短所をカメラシステムとして、予め予測しておけば、カメラの状況に応じ（たとえば、ユーザー設定）、画像歪みは許容できるがスピード優先は絶対必要な場合はどのような、画素数の画像であろうと全てローリングシャッタで取り込みをを行い、画質優先の場合は、その必要な画像データに関してはグローバルシャッタを用いる。
なお、一連の動作の中で、違う画素数を撮像素子から取り出すシステムに限らず、同一の画素数を取り扱う場合も同様なことが言える。
【００５５】
撮像装置１においては、被写体の光学像は、レンズ光学系１０を介してイメージセンサ１１に入射され、イメージセンサ１１により光電変換されて電気信号となる。得られた電気信号は、ＣＤＳ１２によりノイズ成分が除去され、Ａ／Ｄ変換器１３によってディジタル化された後、画像処理部１４が内蔵する画像メモリに一時格納される。
通常の状態では、タイミングジェネレータ１７による信号処理系に対する制御により、画像処理部１４が内蔵する画像メモリには、一定のフレームレートで絶えず画像信号が上書きされるようになされている。画像処理部１４が内蔵する画像メモリの画像信号は、Ｄ／Ａ変換器１８によってアナログ信号に変換され、対応する画像が表示部１９に表示される。
【００５６】
表示部１９は、撮像装置１のファインダの役割も担っている。ユーザが操作入力部２０に含まれるシャッタボタンを押下（操作）した後、制御部１６は、タイミングジェネレータ１７に対し、シャッタボタンが押下された直後の画像信号を保持するように、すなわち、画像処理部１４の画像メモリに画像信号が上書きされないように、信号処理系を制御する。そして、画像処理部１４の画像メモリに保持された画像データは、所定の方式により圧縮されてメモリ１５に記録される。
【００５７】
次に、画像処理部１４において実行される特徴的な処理について説明する。
【００５８】
画素数の違う画像の取り込みにおけるゲイン変倍若しくは平均制御
一連の動作の中で、違う画素数を撮像素子から取り出すシステムにおいて、動画主体として取り出す画像（比較的低画素数）と静止画として取り扱える画像（比較的高画素数）を同一ストリーム上で取り扱う場合、低画素取り込みの場合、出力される画素は最低でもその同一色画素の１画素以上の積分された画素データからなる。高画素取り込みの場合は、その低画素取り込み時の積分画素数に比べるとそれ以下の画素数となる。
その出力された画素の１画素の出力は、元の積分された画素数の差によりおのずと異なる。その異なった１画素１画素の出力を同一なものと判断すると、画像処理において、特にその画像の輝度が異なった画像を連続して生成してしまうため、おかしな画像となってしまう。
それを解消するため、画像処理部１４は、画素が出力される部分で、その画素数に応じたディジタルゲインの回路（若しくはアナログゲインの回路）、もしくは画素数分平均化する回路を設け、１画素、１画素の画像出力に差異が発生することを補正する回路を設ける。
【００５９】
図６は、イメージセンサの概念図である。なお、図６においてＲＧＢは色の３原色の赤、青、緑を示している。
【００６０】
図６のようなセンサ図において、静止画（高画素）を取り込む際は、ほぼ全画素に相当する画素を取り込む。それに対し、動画（低画素）の場合は画素数的にも少なくて済むために、全画素の取り込みは必要なく必要最小限の画素の取り込みを行う。
通常は不必要な画素は単純な間引きにより排除されるが、動画等のクオリティを求める場合、図６の（Ｒ）のように周辺のＲを積分して取り出す。
その際出力された画素データが静止画（高画素）の場合と動画（低画素）の場合では異なり、出力のレベルの差がでる。
これを補正するため、高画素と低画素時では、その積分された画素の比に応じた係数を出力データに掛け補正するか若しくは積分された画素データをその積分された画素数に応じた係数で平均化することにより、静止画と動画時の出力レベルを補正する。
図７に、本実施形態に係る補正処理の概念図を示す。
【００６１】
高画素時のＳ／Ｎ情報制御
一連の動作の中で、違う画素数を撮像素子から取り出すシステムにおいて、動画主体として取り出す画像（比較的低画素数）と静止画として取り扱える画像（比較的高画素数）を同一ストリーム上で取り扱う場合、低画素キャプチャーの場合、出力される画素は最低でもその同一色画素の１画素以上の積分された画素データからなり、高画素キャプチャーの場合は、その低画素キャプチヤー時の積分画素数に比べるとそれ以下の画素数となる。 低画素取り込みの場合その１画素データは複数画素の積分から生成されており、短画素取り込み時のそれと比較すると、出力は積分数だけ大きくなり、Ｓ／Ｎとしても一般的に短画素のＳ／Ｎと、比較するとＳ／Ｎ的に優れた情報である。
本実施形態においては、その積分されたデータ（動画時の情報のＳ／Ｎ情報を利用し、比較的ノイズの多いとされる短画素データ（静止画の情報）の画質向上を達成させる。
【００６２】
その出力された画素の１画素の出力は、元の積分された画素数の差によりおのずと異なる。その異なった１画素１画素の出力を同一なものと判断すると、画像処理において、特にその画像の輝度が異なった画像を連続して生成してしまうため、おかしな画像となってしまう。
それを解消するため、画素が出力される部分で、上述したように、画素数に応じたディジタルゲインの回路（あるいはアナログゲインの回路）、若しくは画素数分平均化する回路を設け、１画素、１画素の画像出力に差異が発生することを補正する回路を設ける。
【００６３】
図６を参照すると、図６は、４画素を積分している図を示している。
これは、すなわち単画素に比べると、そこから出力される（Ｒ）は約４倍の出力を持った画像出力となる。これはＩＳＯの感度で言えば約２段分有利に働く。この（Ｒ）情報を常時利用しているのが低画素出力時である。
それに比べ高画素出力時には、単画素出力情報ｒｌ〜ｒ４の情報を利用している。
イメージセンサ１１から出力されるレベル調整のため、同一ストリーム上では、この単画素ｒｌ〜ｒ４はアナログ若しくはデジタルによるゲインアップにより補正される。このゲインアップがＳ／Ｎに対し重大な劣化を招く。
元を正せば（Ｒ）情報はｒｌ〜ｒ４の積分情報であるので、ノイズの少ない（Ｒ）情報から類推することができる。
一方、単画素ｒｎは、最終的にはゲインアップされたＲｎとなる。
【００６４】
すなわち、単画素が各々ゲインアップされたデータの和（Ｒ１＋Ｒ２＋Ｒ３＋Ｒ４）は論理的には大元の（ｒ１＋ｒ２＋ｒ３＋ｒ４）の和である（Ｒ）と等しくなければならない。ところが、ゲインアップ等のノイズ増大により、一般的に次の関係が成立する。
ｒ１＋ｒ２＋ｒ３＋ｒ４＞＞（Ｒ）
【００６５】
したがって、動画情報（Ｒ）と単画素のアドレスから一致する（Ｒ１＋Ｒ２＋Ｒ３＋Ｒ４）の成分が存在する場合は、各々に掛けられたゲインが逆算し、その大元の成分である（ｒ１＋ｒ２＋ｒ３＋ｒ４）に戻した内容とその積分で構成されているはずの（Ｒ）と比較し、
ｒ１＋ｒ２＋ｒ３＋ｒ４＞＞（Ｒ）
に関係が成立した場合は、そのオーバ分はノイズと判断し、各々のＲｎに
（ｒ１−ｎ１）＋（ｒ２−ｎ２）＋（ｒ３−ｎ３）＋（ｒ４−ｎ４）・・（１）
のｎ１〜ｎ４に相当するＮ１〜Ｎ４を減じる補正を施す。
【００６６】
この際、ｎ１〜ｎ４は一定値である可能性も、ｒｌ〜ｒ４の出力比である可能性も、その混合の可能性もある。それはそのカメラシステムにおけるノイズ成分がどのようなノイズが支配的かによる。
また計算上（量子化誤差等）の誤差もあるため（１）式の右辺は（Ｒ）固定ではなく、（Ｒ）±ｘである。
このときのｘは、計算上の丸め込み等の誤差で生じる誤差補正数である。
【００６７】
動画タイミング時の再生でも静止画画質を生成する方法
一連の動作の中で、違う画素数を撮像素子から取り出すシステムにおいて、動画主体として取り出す画像（比較的低画素数）と静止画として取り扱える画像（比較的高画素数）を同一ストリーム上で取り扱い制御する方式で、その再生時に動画の画質（低画素数）しかないタイミングであっても、周囲の静止画の情報から予測された情報により動画画質を静止画として復元させる。
【００６８】
動画（低画素）と静止画（高画素）混在のストリーム上では、図８のようになる。
ここで高画素（静止画）画像データＩｎと低画素（動画）画像データｂｎとの違いは、出力される１画素相当画像情報の中、Ｉｎは相当する１画素の情報、ｂｎは積分する画素情報、の違いがある。
また、Ｉｎはディジタル的には、積分は可能なため、実質的にはＩｎ時の情報は、静止画情報および動画情報をもつことになる。
ここで、Ｉから予測される情報も含んだ動画情報ｂｎからは、積分された情報を一塊とする、物体移動情報が算出される。
また、Ｉｎからは、その積分される各々の単画素の含有比率情報が得られる。
したがって、動画画素数の情報しか持たない、たとえばｂ５の静止画生成には、Ｉ情報の変動から予想される各々の積分される単画素の構成比率を乗ずれば、ここの画素成分に復元できる。その個々の単画素情報から画像を生成することにより、静止画画質の画像を作り出せる。また、上述の理由によりｂとｂの間の画像もｂｎの物体移動情報及びＩｎの含有比率情報から作り出すことが可能である。
【００６９】
以上説明したように、本実施形態における撮像装置１によれば、信号処理系において動画撮影中、高画素の画像データをイントラフレーム圧縮して第１の圧縮画像を生成し、第１の圧縮画像を生成する期間の前後の期間で、低画素の画像データをインターフレーム圧縮して第２の圧縮画像を生成し、第２の圧縮画像の一画面を指定すると、第２の圧縮画像とその前後の第１の圧縮画像を含めた他の圧縮画像により伸長復号して指定した一画面を示す高解像度の静止画像データを生成する。
そして、本実施形態に係る撮像装置１は、一動画像データ取り込み中に、ローリングシャッタ機能とグローバルシャッタ機能とを併用することから、画像の歪みの発生を抑止しつつ、高速で連続画像取り込みを行うことが可能となる利点がある。
また、本実施形態に係る撮像装置１は、第１の圧縮画像の画像レベルと第２の圧縮画像の画像レベルとを略等しいレベルの補正することができ、画像の輝度が異なった画像を連続して生成してしまうためことを防止できる利点がある。
また、本実施形態に係る撮像装置１は、操作者が静止画動画混在モードで撮影したものをプリントアウト等の必要がないと判断した場合、データファイルから高解像度の静止画を解像度の低い画像に変換し、単なる動画のファイルを形成することでファイルサイズを小さくすることができ、操作者自身がキー操作等で実行することができ、メモリ１５の残り容量に余裕を持たせることができる。しかも、静止画の高解像度情報だけをカットするため、動画として再生する分には画質が劣化するなどの問題はないという利点がある。
【図面の簡単な説明】
【００７０】
【図１】本実施形態に係る撮像装置の一実施形態を示すブロック図である。
【図２】本実施形態におけるストリームデータ変更モード時の動作を説明するための図である。
【図３】ローリングシャッタ使用時の撮像素子（イメージセンサ）の一例を示す図である。
【図４】図３のように、Ａ〜Ｆまでのラインが素子に存在すると仮定したときの画像の制御波形例を示す図である。
【図５】グローバルシャッタ使用時の図３のように、Ａ〜Ｆまでのラインが素子に存在すると仮定したときの画像の制御波形例を示す図である。
【図６】イメージセンサの概念図である。
【図７】本実施形態に係る補正処理の概念図を示す図である。
【図８】動画（低画素）と静止画（高画素）混在のストリーム上の概念図である。
【符号の説明】
【００７１】
１…撮像装置
１０…レンズ光学系
１１…イメージセンサ
１２…ＣＤＳ
１３…Ａ／Ｄ変換器
１４…画像処理部
１５…メモリ
１６…制御部
１７…タイミングジェネレータ
１８…Ｄ／Ａ変換器
１９…表示部
２０…操作入力部
【技術分野】
【０００１】
本発明は、ディジタルカメラ等の撮像装置および撮像方法に係り、より詳しくは、動画主体として取り出す画像（比較的低画素数）と静止側として取り扱える画像（比較的高画素数）を同一ストリーム上で取り扱う撮像装置およびその画像生成方法に関するものである。
【背景技術】
【０００２】
従来より、撮像素子を用いて撮像した撮像信号に基づくディジタルビデオ信号を離散コサイン変換（ＤＣＴ）やウエーブレット変換と可変長符号により圧縮し、磁気テープや磁気ディスクや光ディスク等の記録媒体に記録するディジタルカメラが提案されている。
このディジタルカメラは、動画記録モードおよび静止画記録モードを有し、動画記録モードにおいては動画用の圧縮記録を行って記録媒体に記録し、静止画記録モードにおいては静止画用の圧縮を行って記録媒体に記録する。
【０００３】
また、従来より、動画撮影中に、高解像の静止画を撮影可能な撮像装置が、以下に第１〜第１１の撮像装置として示すように、種々提案されている。
【０００４】
第１の撮像装置は、動画像のフレーム周期の整数倍の周期毎に自動的に１フレームの高解像度静止画を撮影するものであって、動画像撮影時は間引き読み出し、静止画撮影時は全画素信号を２フィールドに分けて読み出す（特許文献１参照）。
【０００５】
第２の撮像装置は、動画撮影中に所定周期で静止画を撮影するものである（特許文献２参照）。
【０００６】
第３の撮像装置は、通常解像度の動画撮影中に操作者の操作により、または、自動的に一定間隔で高解像度の静止画を撮影するものであって、静止画は静止画デ一タとして記録し、動画は動画デ一タとして記録するものであり、動画再生中に静止画データありを表示し、操作者の操作でその静止画表示に切り替わる（特許文献３参照）。
【０００７】
第４の撮像装置は、所定期間の動画を撮影しつつ操作者のシャツタボタン操作により静止画を撮影する画像記録装置であって、撮影した静止画をその前後の動画を用いて修正するものである。
【０００８】
第５の撮像装置は、動画撮影時にシャッタボタンを操作すると高精細の静止画を撮影するカムコーダなどの動画記録装置であって、シャッタボタン操作時の高精細の静止画を強制的にイントラ符号化画像（Ｉピクチャ）として符号化するものである（特許文献４参照）。
【０００９】
第６の撮像装置は、動画撮影中に静止画撮影が可能なものであって、希望する静止画がない場合には、所望する動画像に対応する高解像度画像を、所望する動画像とそれと関連する静止画像とで合成するものである（特許文献５参照）。
【００１０】
第７の撮像装置は、シャッタボタンの半押で動画記録開始し、シャッタボタンの押込みで動作記録中に静止画の撮影を行うデジタルカメラであって、動画撮影中に撮影した静止画デ一夕を動画デ一夕と関連付けて記憶するものである（特許文献６参照）。
【００１１】
第８の撮像装置は、動画撮影中に操作者のシャッタボタン操作により静止画を撮影する画像記録装置であって、撮影した静止画をその前後の動画を用いて修正するものである（特許文献７参照）。
【００１２】
第９の撮像装置は、動画と静止画のデータを一連のファイルとして記録するもの、動画は、ＭＰ＠ＭＬ（Ｍａｉｎ Ｐｒｏｆｉｌｅ ａｔ Ｍａｉｎ Ｌｅｖｅｌ）で記録し、静止画はＭＰ＠ＨＬ（Ｍａｉｎ Ｐｒｏｆｉｌｅ ａｔ Ｈｉｇｈ Ｌｅｖｅｌ）で記録するものである（特許文献８参照）。
【００１３】
第１０の撮像装置は、一連の連写画像を一時記憶し、操作者が選択した画像のみをメモリカードに記憶するものである（特許文献９参照）。
【００１４】
第１１の撮像装置は、記録されている画像を減色、切り出し、あるいは解像度を落とす等の処理を行って記録し直すものである（特許文献１０参照）。
【特許文献１】特開平２００２−４４５３１号公報
【特許文献２】特開平７−２４５７２２号公報
【特許文献３】特開平９−５１４９８号公報
【特許文献４】特開平７−２８４０５８号公報
【特許文献５】特開２００２−５１２５２号公報
【特許文献６】特開２００２−８４４４２号公報
【特許文献７】特開平７−１４３４３９号公報
【特許文献８】特開平１１−２３４６２３号公報
【特許文献９】特開２００１−７８１３６号公報
【特許文献１０】特開２００２−１０２０９号公報
【発明の開示】
【発明が解決しようとする課題】
【００１５】
ところで、上述した各撮像装置においては、通常、動画程度の画像を取り込む場合は、ローリングシャッタを繰り返し露光−データ転送を順次行う。また、静止画の連続撮影を行う場合は、同様にローリングシャッタを連続させるか、メカニカルシャッタを用いる。 ここで、ローリングシャッタのみの画像取り込みでは、画像の上下で画像の歪みが発生することとなる。但し、あくまで動画像なので許容できる。
しかしながら、それが静止画像の取り込みとなると、この画像歪みを許容できなくなる。そのために、メカニカルシャッタが必要となるが、限りなく、高速で連続画像取り込みを行うには、メカニカルシャッタ駆動にも限界がある。
【００１６】
また、ディジタルカメラ等においては、高解像度で所望する画像を得るために、操作者が撮影対象を観察し、ここと思うタイミングでレリーズボタンを操作する必要がある。
しかしながら、ここと思うタイミングで操作したとしても、必ずしも所望する画像は得られないことが多く、これを解消する連写機能が実用化されている。
しかし、高解像度で、たとえば１０秒間も秒数コマで撮影したとすると、その記録した画像データは膨大となり、現在のメモリカード等の容量を考えると実用性に乏しい。
また、このような連写機能を有するものは、数百万画素の高解像度の静止画連写の場合、連写速度の上限がＣＣＤ等の読み出し処理能力に大きく依存するため、秒数コマ程度が上限となり、所望する画像が動きの早い被写体であると、たとえば連写を用いたとしても所望する画像を得ることはむずかしいものとなる。
【００１７】
また、解像度の異なる動画と静止画が一つのストリームとして記録される第１のモードと、動画だけの撮影を行う第２のモードとを有するディジタルカメラにおいて、第１のモードでの撮影データは解像度の高い静止画が一定間隔ごとにあることで、単なる動画のみで撮影した場合より保存されるファイルのサイズが大きくなってしまう。その結果、記録メモリの容量が大きくなり、実用的な記録容量を確保することが困難であるという不利益がある。
【００１８】
そこで、連写等の速度を気にせずに、かつ記録容量も実用的に抑えた上で、操作者がシャッタタイミングを気にせずに所望の高解像度静止画を得ることが可能な撮像装置を新規に開発した。
【００１９】
本発明はかかる開発にて生じた全く新規なものであり、特に、上記した高解像度生成画を得る等の課題を背景とするものではなく、従来にない全く新規な撮像方式を有する撮像装置およびその画像生成方法を提供することを目的とする。
【課題を解決するための手段】
【００２０】
本発明の第１の観点は、被写体の光学像を撮像素子に結像させ当該撮像素子から高解像度の高画像データまたは低解像度の低画像データを読み出し、これら画像データに対して所定の画像処理を行う撮像装置であって、一動画像データを取り込み中に、上記高画素のデータをイントラフレーム圧縮した第１の圧縮画像と、上記第１の圧縮画像を生成する期間の前後の期間で、間引きによる低画素のデータをインターフレーム圧縮した第２の圧縮画像とを一連のストリームとして生成し、上記第１の圧縮画像の画像レベルと上記第２の圧縮画像の画像レベルとを略等しいレベルに補正する画像処理部と、上記第１の圧縮画像および上記第２の圧縮画像の一連のストリームデータが記憶される記憶手段とを有する。
【００２１】
好適には、上記画像処理部は、上記第２の圧縮画像の一画面を指定すると、当該第２の圧縮画像の画面を前後の上記第１の圧縮画像を含めた他の画像により伸長復号した高精細静止画を生成する。
【００２２】
好適には、上記画像処理部は、一ストリームデータ上の上記第１の圧縮画像を一画面指定すると、当該第１の圧縮画像の解像度を上記第２の圧縮画像と同程度に低減し、上記一ストリームデータの当該第１の圧縮画像を上記解像度を低減した第１の圧縮画像に置き換えて上記記憶手段に記録し直す。
【００２３】
好適には、一ストリームデータの複数の上記第１の圧縮画像の解像度全てを、上記第２の圧縮画像と同程度に低減し、上記一ストリームデータの第１の圧縮画像を上記解像度を低減した第１の圧縮画像に置き換えて上記記憶手段に記録し直す。
【００２４】
好適には、上記高画像データは、上記撮像素子から間引かずに読み出した画像データまたは任意の間引き量で間引いて読み出した画像データであり、上記低画像データは、上記撮像素子から当該高画像データより低い解像度となるような任意の間引き量で間引いて読み出した画像である。
【００２５】
好適には、シャッタ機能としてグローバルシャッタ機能とローリングシャッタ機能とを含み、上記画像処理部は、上記グローバルシャッタで取り込んだ画素のデータより第１の圧縮画像を生成し、上記ローリングシャッタで取り込んだ画素のデータより第２の圧縮画像を生成する。
【００２６】
好適には、上記画像処理部は、上記第２の圧縮画像の一画面を指定すると、当該第２の圧縮画像の画面を前後の上記第１の圧縮画像を含めた他の画像により伸長復号して当該指定した一画面を示す高解像度の静止画像データを生成する。
【００２７】
好適には、高解像度の第１の圧縮画像と、低解像度の第２の圧縮画像とにより低解像度の連続したビデオストリームを出力するストリーム出力手段と、上記第１の圧縮画像が高解像度か低解像度かを判別する判別手段と、上記判別手段により上記第１の圧縮画像が高解像度か低解像度かを示す信号を出力する判別信号出力手段と、を有する。
【００２８】
本発明の第２の観点は、被写体の光学像を撮像素子に結像させ当該撮像素子から高解像度の高画像データまたは低解像度の低画像データを読み出し、これら画像データに対して所定の画像処理を行う撮像装置の画像生成方法であって、一動画像データを取り込み中に、上記高画素のデータをイントラフレーム圧縮して第１の圧縮画像を生成し、上記第１の圧縮画像を生成する期間の前後の期間で、低画素のデータをインターフレーム圧縮して第２の圧縮画像とを一ストリームとして生成し、上記第１の圧縮画像の画像レベルと上記第２の圧縮画像の画像レベルとを略等しいレベルに補正する。
【発明の効果】
【００２９】
本発明によれば、従来にない新規な撮像装置およびその画像生成方法が提供できる。
【発明を実施するための最良の形態】
【００３０】
以下、本発明に係る撮像装置の実施形態について、添付図面に関連付けて説明する。
【００３１】
図１は、本実施形態における撮像装置１の全体構成を例示する図である。本撮像装置１は、大別して光学系、信号処理系、記録系、表示系、および制御系から構成される。
【００３２】
本実施形態に係る撮像装置１は、動画撮影中、信号処理系において高画素の画像データをイントラフレーム圧縮して第１の圧縮画像を生成し、第１の圧縮画像を生成する期間の前後の期間で、低画素の画像データをインターフレーム圧縮して第２の圧縮画像を生成し、第２の圧縮画像の一画面を指定すると、第２の圧縮画像とその前後の第１の圧縮画像を含めた他の圧縮画像により伸長復号して指定した一画面を示す高解像度の静止画像データを生成する。
そして、本実施形態に係る撮像装置１は、一動画像データ取り込み中に、ローリングシャッタ機能とグローバルシャッタ機能とを併用する。
また、本実施形態に係る撮像装置１は、高解像度の第１の圧縮画像の画像レベルと低解像度の第２の圧縮画像の画像レベルとを略等しいレベルに補正し、第１の圧縮画像と第２の圧縮画像の出力レベルを一定するにするように制御する。
また、本実施形態に係る撮像装置１は、再生モードと、静止画再現モードと、ストリームデータ変更モードの３モードを備えている。
以下、各部の構成および機能について説明する。
【００３３】
光学系は、レンズ光学系１０およびＣＭＯＳセンサ等のイメージセンサ１１から構成される。
レンズ光学系１０は、被写体に対向する光学レンズ１０１、および図示しない光学ローパスフィルタ等を備えている。レンズ光学系１０においては、光学レンズ１０１により被写体の光学像を集光して、イメージセンサ１１上に被写体の像を結像する。
【００３４】
撮像素子としてのイメージセンサ１１は、たとえば、カラーフィルタが設けられたＣＭＯＳイメージセンサから構成され、レンズ光学系１０により結像された被写体の像を光電変換する。
また、グローバルシャッタ機能とローリングシャッタ機能とを含むシャッタ機能を有する。
シャッタ機能は、制御系の制御に従ってグローバルシャッタ機能またはローリングシャッタ機能を選択的に用いられ、ローリングシャッタで画素を取り込ませている間に、グローバルシャッタで画像を取り込ませることが可能なように制御される。すなわち、一動画像データ取り込み中に、ローリングシャッタ機能とグローバルシャッタ機能とが併用される。
【００３５】
信号処理系は、イメージセンサ１１から出力される電気信号をサンプリングすることによってノイズを低減させるための相関２重サンプリング回路（ＣＤＳ：Correlated Double Sampling）であるＣＤＳ１２と、ＣＤＳ１２が出力するアナログ信号をディジタル信号に変換するＡ／Ｄ変換器１３と、Ａ／Ｄ変換器１３が出力するディジタル信号に対して、後述する所定の画像処理を行う画像処理部１４とから構成される。
【００３６】
本実施形態に係る画像処理部１４は、基本的には、グローバルシャッタで取り込んだ画素のデータをイントラフレーム圧縮して第１の圧縮画像を生成し、第１の圧縮画像を生成する期間の前後の期間で、ローリングシャッタで取り込んだ画素のデータをインターフレーム圧縮して第２の圧縮画像を生成する。
後で詳述するように、画像処理部１４は、第１の圧縮画像をイメージセンサから画像データを間引かずに読み出して生成し、第２の圧縮画像をイメージセンサから画像データを間引いて読み出して生成する。
画像処理部１４は、第１の圧縮画像の生成時は高画素の画像データをイントラフレーム圧縮し、第２の圧縮画像の生成時は、低画素の画像データをインターフレーム圧縮する。 また、画像処理部１４は、第２の圧縮画像をイメージセンサからのデータを間引いて読み出して生成する場合、同色の近傍の画素の積分処理を行って間引き読み出しを行う。
画像処理部１４は、第１の圧縮画像の画像レベルと第２の圧縮画像の画像レベルとを略等しいレベルに補正する機能を有している。
【００３７】
画像処理部１４は、後で詳述するように、第２の圧縮画像の積分処理読み出しを行ったＲレベルに基づき第１の圧縮画像の画像レベルを補正することにより、第１の圧縮画像の画像レベルと上記第２の圧縮画像の画像レベルとを略等しいレベルに補正する機能を有している。
また、画像処理部１４は、第１の圧縮画像の画像レベルを維持し、第２の圧縮画像の画像レベルは、積分処理の積分量で除して補正することにより、第１の圧縮画像の画像レベルと第２の圧縮画像の画像レベルとを略等しいレベルに補正する機能を有している。
そして、画像処理部１４は、第２の圧縮画像の一画面を指定すると、第２の圧縮画像とその前後の第１の圧縮画像を含めた他の圧縮画像により伸長復号して当該指定した一画面を示す高解像度の静止画像データを生成する機能を有する。
【００３８】
画像処理部１４は、一ストリームデータ上の上記第１の圧縮画像を一画面指定すると、第１の圧縮画像の解像度を第２の圧縮画像と同程度に低減し、一ストリームデータの当該第１の圧縮画像を解像度を低減した第１の圧縮画像に置き換えてメモリ１５に記録し直す。
画像処理部１４は、一ストリームデータの複数の第１の圧縮画像の解像度を、一括で第２の圧縮画像と同程度に低減し、一ストリームデータの第１の圧縮画像を解像度を低減した第１の圧縮画像に置き換えてメモリ１５に記録し直す。
【００３９】
以上の機能を有する画像処理部１４は、上述した３モード、すなわち、再生モードと、静止画再現モードと、ストリームデータ変更モードにおいて、以下の処理を行う。
【００４０】
画像処理部１４は、再生モード時においては、高解像度の第１の圧縮画像と、低解像度の第２の圧縮画像とにより低解像度の連続したビデオストリームを生成し、表示する。
【００４１】
静止画再現モードにおいては、高解像度の第１の圧縮画像と、低解像度の第２の圧縮画像とにより低解像度の連続したビデオストリームを再生中に、操作者により特定画像の指定を行う。
画像処理部１４は、静止画再現モード時においては、操作者が指定した画像が第１の圧縮画像の場合は、その第１の圧縮画像の高精度静止画を出力し、表示する。
また、指定した画像が第２の圧縮画像の場合は、その画像および前後の第１の圧縮画像および第２の圧縮画像の少なくとも１以上の画面から指定した画像に対応する高解像度の画像を生成して出力し、表示する。
または、静止画再現モードにおいては、高解像度の第１の圧縮画像と、低解像度の第２の圧縮画像とにより低解像度の連続したサムネイルのような連続画像を表示し、操作者のキー操作等に画像指定を行い、画像処理部１４は、同様の処理を行う。
【００４２】
画像処理部１４は、ストリームデータ変更モードにおいては、操作者のキー操作等により、指定した一ストリームデータ中の高解像度の第１の圧縮画像を全て低解像度の第１の圧縮画像に自動的に置き換える処理を行う。
このストリームデータ変更モードの処理によりファイルサイズを小さくできる。この処理についてさらに詳述する。
【００４３】
単なる動画ファイルを再生中にある一画像で静止させても、動画の解像度が低いため、これを静止がとして保存したり、プリントアウトしても画質の粗いものになる。
これを解決するため、撮像装置１においては、図２に示すように、１秒間に複数フレーム（たとえば３０フレーム）の画像（たとえばＶＧＡサイズ）を撮影し、動画としてファイルを形成し、動画ファイルのうち１秒間に数フレーム（たとえば５フレーム）は動画よりも解像度の高い静止画（たとえばＳＸＧＡサイズ）で撮影し、一つのストリームとして記録する機能を有する。
これは、単なる動画ファイルの中に数枚の高解像度の静止画を差し込むことで、このストリームのどこで止めても、ＶＧＡサイズの画像と等間隔に撮影した高解像度の静止画を補完することで、高画質な静止画としての保存やプリントを可能とするものである。
しかし、このままでは、動画ファイル中に高解像度の静止画が存在することでファイルサイズが大きくなり、容量に制限のある記録メモリ１５の残り容量を占有してしまうおそれがある。
そこで、本実施形態に係る撮像装置１の画像処理部１４においては、操作者が静止画動画混在モードで撮影したものをプリントアウト等の必要がないと判断した場合、図２に示すように、データファイルから高解像度の静止画（ＳＸＧＡサイズ）を解像度の低い画像（ＶＧＡサイズ）に変換し、単なる動画のファイルを形成することでファイルサイズを小さくすることができるようにしている。
これは、操作者自身がキー操作等で実行することができ、メモリ１５の残り容量に余裕を持たせることができる。しかも、静止画の高解像度情報だけをカットするため、動画として再生する分には画質が劣化するなどの問題はない。
【００４４】
また、画像処理部１４は、ビデオストリームを出力するストリーム出力機能に加えて、上記３モードにおいて、データを高解像度の第１の圧縮画像と、低解像度の第２の圧縮画像とにより低解像度の連続したビデオストリームを出力する際、同時の出力中の第１の圧縮画像が高解像か低解像かを判別し、第１の圧縮画像が高解像か低解像かを示す信号を出力する機能を有する。
具体的には、Ｎ分割のマルチ表示画面上に第１の圧縮画像が存在する場合には、その第１の圧縮画像の画面近傍に高解像度または低解像度を判別可能なマークを表示する。また、動画的表示態様においては、高解像度を示すマークを重畳的に画面に表示する。
また、さらなる態様として、他の機器やメモリカード等の記録媒体に転送中に、各第１の圧縮画像に対して高か低かを示すフラグ信号を付加して転送する。
また、ビデオストリーム群を示すファイル一覧表示画面において、一ストリームデータ中に高解像度の第１の圧縮画像が存在するか否か、存在する場合には何画面存在するか、存在するストリームデータ上の位置データ（時間情報）を一緒に転送する。
【００４５】
記録系は、制御部１６により実行される制御用プログラムと、画像処理部１４により生成された画像データの圧縮データと、を格納するメモリ１５を含んで構成される。
記憶手段としてのメモリ１５には、画像処理部１４により第１の圧縮画像および第２の圧縮画像の一連のストリームデータが記憶される。
【００４６】
表示系は、画像処理部１４が処理し、内蔵する画像メモリに格納する画像データをアナログ化するＤ／Ａ変換器１８と、入力される画像を表示することによりファインダとして機能するＬＣＤ(Liquid Crystal Display)等よりなる表示部１９を含んで構成される。
【００４７】
制御系は、イメージセンサ１１乃至Ａ／Ｄ変換器１３の動作タイミングを制御するタイミングジェネレータ１７と、ユーザによるシャッタ操作やその他のコマンドを入力するための操作入力部２０と、画像処理部１４と、メモリ１５に記憶されている制御用プログラムを読み出し、読み出した制御用プログラムと、操作入力部２０から入力されるユーザからのコマンド等に基づいて、撮像装置１の全体を制御するＣＰＵ(Central Processing Unit) などよりなる制御部１６とを含んで構成される。
【００４８】
制御部１６は、一つのストリーム上で異なった画素数の画像データを取り込む際、動画の場合にはローリングシャッタ機能を用い、静止画の際にはグローバルシャッタを用いるように制御する。
【００４９】
ここでは、一つのストリーム上で異なった画素数の画像データを取り込む際、動画はローリングシャッタ、静止画はローリングシャッタ若しくはグローバルシャッタを用いる、用いないときのカメラ状態において判断する。
【００５０】
すなわち、本実施形態に係る撮像装置１は、制御部１６が一連の動作の中で、違う画素数を撮像素子から取り出すシステムにおいて、動画主体として取り出す画像（比較的低画素数）と静止画として取り扱える画像（比較的高画素数）を同一ストリーム上で取り扱う場合、低画素取り込みの場合、グローバルシャッタは用いず、高画素取り込みの場合のみグローバルシャッタ（若しくはメカニカルシャッタ）を用いる若しくは用いない判断を行う。
【００５１】
通常、動画程度の画像を取り込む場合は、ローリングシャッタを繰り返し露光−データ転送を順次行う。また、静止画の連続撮影を行う場合は、同様にローリングシャッタを連続させるか、メカニカルシャッタを用いるか、グローバルシャッタを用いて制御する。
ここで、ローリングシャッタのみの画像取り込みでは、画像の上下で画像の歪みが発生することとなる。但し、あくまで動画像なので許容できる。
しかしながら、それが静止画像の取り込みとなると、この画像歪みを許容できなくなる。そのために、メカニカルシャッタおよびグローバルシャッタが必要となる。限りなく、高速で連続画像取り込みを行うには、メカニカルシャッタ駆動にも限界があり、グローバルシャッタが不可欠となってくる。
ここでは、一つのストリーム上で異なった画素数の画像データを取り込む際、動画はローリングシャッタ機能を用い、静止画はローリングシャッタ若しくはグローバルシャッタを用いる、用いないときのカメラ状態において判断する。
【００５２】
図３は、ローリングシャッタ使用時の撮像素子（イメージセンサ）の一例を示す図である。
図３のように、Ａ〜Ｆまでのラインが素子に存在すると仮定すると、その画像の制御は図４に示すようになる。
通常、このローリングシャッタを使用する場合はＡ〜Ｆライン間で露光時間のズレを生じるために画像歪みを生じさせる
【００５３】
図５は、グローバルシャッタ使用時の図２のように、Ａ〜Ｆまでのラインが素子に存在すると仮定したときの画像の制御波形例を示す図である。
【００５４】
この場合、グローバルシャッタ使用時は露光時間にズレを生じさせないため、画像に歪みを生じさせない。但し、露出終了が同時に起こるため、露光開始を全画素同時に行う必要がある。また、ローリングシャッタに比べ、画像転送時間が一斉に発生するため、長い時間要する。
したがって、ローリングシャッタの長所としては、その取り込みのスピードがグローバルシャッタやメカニカルシャッタに比べ高速なことである。短所としては、ライン間の画像歪みを生じさせることである。
それに比べ、グローバルシャッタ（またはメカニカルシャッタ）の長所は、画像の歪みを生じさせないデータを得ることができる一方、取り込みのスピードは、ローリングシャッタに比べ遅くなる。
これらの長所、短所をカメラシステムとして、予め予測しておけば、カメラの状況に応じ（たとえば、ユーザー設定）、画像歪みは許容できるがスピード優先は絶対必要な場合はどのような、画素数の画像であろうと全てローリングシャッタで取り込みをを行い、画質優先の場合は、その必要な画像データに関してはグローバルシャッタを用いる。
なお、一連の動作の中で、違う画素数を撮像素子から取り出すシステムに限らず、同一の画素数を取り扱う場合も同様なことが言える。
【００５５】
撮像装置１においては、被写体の光学像は、レンズ光学系１０を介してイメージセンサ１１に入射され、イメージセンサ１１により光電変換されて電気信号となる。得られた電気信号は、ＣＤＳ１２によりノイズ成分が除去され、Ａ／Ｄ変換器１３によってディジタル化された後、画像処理部１４が内蔵する画像メモリに一時格納される。
通常の状態では、タイミングジェネレータ１７による信号処理系に対する制御により、画像処理部１４が内蔵する画像メモリには、一定のフレームレートで絶えず画像信号が上書きされるようになされている。画像処理部１４が内蔵する画像メモリの画像信号は、Ｄ／Ａ変換器１８によってアナログ信号に変換され、対応する画像が表示部１９に表示される。
【００５６】
表示部１９は、撮像装置１のファインダの役割も担っている。ユーザが操作入力部２０に含まれるシャッタボタンを押下（操作）した後、制御部１６は、タイミングジェネレータ１７に対し、シャッタボタンが押下された直後の画像信号を保持するように、すなわち、画像処理部１４の画像メモリに画像信号が上書きされないように、信号処理系を制御する。そして、画像処理部１４の画像メモリに保持された画像データは、所定の方式により圧縮されてメモリ１５に記録される。
【００５７】
次に、画像処理部１４において実行される特徴的な処理について説明する。
【００５８】
画素数の違う画像の取り込みにおけるゲイン変倍若しくは平均制御
一連の動作の中で、違う画素数を撮像素子から取り出すシステムにおいて、動画主体として取り出す画像（比較的低画素数）と静止画として取り扱える画像（比較的高画素数）を同一ストリーム上で取り扱う場合、低画素取り込みの場合、出力される画素は最低でもその同一色画素の１画素以上の積分された画素データからなる。高画素取り込みの場合は、その低画素取り込み時の積分画素数に比べるとそれ以下の画素数となる。
その出力された画素の１画素の出力は、元の積分された画素数の差によりおのずと異なる。その異なった１画素１画素の出力を同一なものと判断すると、画像処理において、特にその画像の輝度が異なった画像を連続して生成してしまうため、おかしな画像となってしまう。
それを解消するため、画像処理部１４は、画素が出力される部分で、その画素数に応じたディジタルゲインの回路（若しくはアナログゲインの回路）、もしくは画素数分平均化する回路を設け、１画素、１画素の画像出力に差異が発生することを補正する回路を設ける。
【００５９】
図６は、イメージセンサの概念図である。なお、図６においてＲＧＢは色の３原色の赤、青、緑を示している。
【００６０】
図６のようなセンサ図において、静止画（高画素）を取り込む際は、ほぼ全画素に相当する画素を取り込む。それに対し、動画（低画素）の場合は画素数的にも少なくて済むために、全画素の取り込みは必要なく必要最小限の画素の取り込みを行う。
通常は不必要な画素は単純な間引きにより排除されるが、動画等のクオリティを求める場合、図６の（Ｒ）のように周辺のＲを積分して取り出す。
その際出力された画素データが静止画（高画素）の場合と動画（低画素）の場合では異なり、出力のレベルの差がでる。
これを補正するため、高画素と低画素時では、その積分された画素の比に応じた係数を出力データに掛け補正するか若しくは積分された画素データをその積分された画素数に応じた係数で平均化することにより、静止画と動画時の出力レベルを補正する。
図７に、本実施形態に係る補正処理の概念図を示す。
【００６１】
高画素時のＳ／Ｎ情報制御
一連の動作の中で、違う画素数を撮像素子から取り出すシステムにおいて、動画主体として取り出す画像（比較的低画素数）と静止画として取り扱える画像（比較的高画素数）を同一ストリーム上で取り扱う場合、低画素キャプチャーの場合、出力される画素は最低でもその同一色画素の１画素以上の積分された画素データからなり、高画素キャプチャーの場合は、その低画素キャプチヤー時の積分画素数に比べるとそれ以下の画素数となる。 低画素取り込みの場合その１画素データは複数画素の積分から生成されており、短画素取り込み時のそれと比較すると、出力は積分数だけ大きくなり、Ｓ／Ｎとしても一般的に短画素のＳ／Ｎと、比較するとＳ／Ｎ的に優れた情報である。
本実施形態においては、その積分されたデータ（動画時の情報のＳ／Ｎ情報を利用し、比較的ノイズの多いとされる短画素データ（静止画の情報）の画質向上を達成させる。
【００６２】
その出力された画素の１画素の出力は、元の積分された画素数の差によりおのずと異なる。その異なった１画素１画素の出力を同一なものと判断すると、画像処理において、特にその画像の輝度が異なった画像を連続して生成してしまうため、おかしな画像となってしまう。
それを解消するため、画素が出力される部分で、上述したように、画素数に応じたディジタルゲインの回路（あるいはアナログゲインの回路）、若しくは画素数分平均化する回路を設け、１画素、１画素の画像出力に差異が発生することを補正する回路を設ける。
【００６３】
図６を参照すると、図６は、４画素を積分している図を示している。
これは、すなわち単画素に比べると、そこから出力される（Ｒ）は約４倍の出力を持った画像出力となる。これはＩＳＯの感度で言えば約２段分有利に働く。この（Ｒ）情報を常時利用しているのが低画素出力時である。
それに比べ高画素出力時には、単画素出力情報ｒｌ〜ｒ４の情報を利用している。
イメージセンサ１１から出力されるレベル調整のため、同一ストリーム上では、この単画素ｒｌ〜ｒ４はアナログ若しくはデジタルによるゲインアップにより補正される。このゲインアップがＳ／Ｎに対し重大な劣化を招く。
元を正せば（Ｒ）情報はｒｌ〜ｒ４の積分情報であるので、ノイズの少ない（Ｒ）情報から類推することができる。
一方、単画素ｒｎは、最終的にはゲインアップされたＲｎとなる。
【００６４】
すなわち、単画素が各々ゲインアップされたデータの和（Ｒ１＋Ｒ２＋Ｒ３＋Ｒ４）は論理的には大元の（ｒ１＋ｒ２＋ｒ３＋ｒ４）の和である（Ｒ）と等しくなければならない。ところが、ゲインアップ等のノイズ増大により、一般的に次の関係が成立する。
ｒ１＋ｒ２＋ｒ３＋ｒ４＞＞（Ｒ）
【００６５】
したがって、動画情報（Ｒ）と単画素のアドレスから一致する（Ｒ１＋Ｒ２＋Ｒ３＋Ｒ４）の成分が存在する場合は、各々に掛けられたゲインが逆算し、その大元の成分である（ｒ１＋ｒ２＋ｒ３＋ｒ４）に戻した内容とその積分で構成されているはずの（Ｒ）と比較し、
ｒ１＋ｒ２＋ｒ３＋ｒ４＞＞（Ｒ）
に関係が成立した場合は、そのオーバ分はノイズと判断し、各々のＲｎに
（ｒ１−ｎ１）＋（ｒ２−ｎ２）＋（ｒ３−ｎ３）＋（ｒ４−ｎ４）・・（１）
のｎ１〜ｎ４に相当するＮ１〜Ｎ４を減じる補正を施す。
【００６６】
この際、ｎ１〜ｎ４は一定値である可能性も、ｒｌ〜ｒ４の出力比である可能性も、その混合の可能性もある。それはそのカメラシステムにおけるノイズ成分がどのようなノイズが支配的かによる。
また計算上（量子化誤差等）の誤差もあるため（１）式の右辺は（Ｒ）固定ではなく、（Ｒ）±ｘである。
このときのｘは、計算上の丸め込み等の誤差で生じる誤差補正数である。
【００６７】
動画タイミング時の再生でも静止画画質を生成する方法
一連の動作の中で、違う画素数を撮像素子から取り出すシステムにおいて、動画主体として取り出す画像（比較的低画素数）と静止画として取り扱える画像（比較的高画素数）を同一ストリーム上で取り扱い制御する方式で、その再生時に動画の画質（低画素数）しかないタイミングであっても、周囲の静止画の情報から予測された情報により動画画質を静止画として復元させる。
【００６８】
動画（低画素）と静止画（高画素）混在のストリーム上では、図８のようになる。
ここで高画素（静止画）画像データＩｎと低画素（動画）画像データｂｎとの違いは、出力される１画素相当画像情報の中、Ｉｎは相当する１画素の情報、ｂｎは積分する画素情報、の違いがある。
また、Ｉｎはディジタル的には、積分は可能なため、実質的にはＩｎ時の情報は、静止画情報および動画情報をもつことになる。
ここで、Ｉから予測される情報も含んだ動画情報ｂｎからは、積分された情報を一塊とする、物体移動情報が算出される。
また、Ｉｎからは、その積分される各々の単画素の含有比率情報が得られる。
したがって、動画画素数の情報しか持たない、たとえばｂ５の静止画生成には、Ｉ情報の変動から予想される各々の積分される単画素の構成比率を乗ずれば、ここの画素成分に復元できる。その個々の単画素情報から画像を生成することにより、静止画画質の画像を作り出せる。また、上述の理由によりｂとｂの間の画像もｂｎの物体移動情報及びＩｎの含有比率情報から作り出すことが可能である。
【００６９】
以上説明したように、本実施形態における撮像装置１によれば、信号処理系において動画撮影中、高画素の画像データをイントラフレーム圧縮して第１の圧縮画像を生成し、第１の圧縮画像を生成する期間の前後の期間で、低画素の画像データをインターフレーム圧縮して第２の圧縮画像を生成し、第２の圧縮画像の一画面を指定すると、第２の圧縮画像とその前後の第１の圧縮画像を含めた他の圧縮画像により伸長復号して指定した一画面を示す高解像度の静止画像データを生成する。
そして、本実施形態に係る撮像装置１は、一動画像データ取り込み中に、ローリングシャッタ機能とグローバルシャッタ機能とを併用することから、画像の歪みの発生を抑止しつつ、高速で連続画像取り込みを行うことが可能となる利点がある。
また、本実施形態に係る撮像装置１は、第１の圧縮画像の画像レベルと第２の圧縮画像の画像レベルとを略等しいレベルの補正することができ、画像の輝度が異なった画像を連続して生成してしまうためことを防止できる利点がある。
また、本実施形態に係る撮像装置１は、操作者が静止画動画混在モードで撮影したものをプリントアウト等の必要がないと判断した場合、データファイルから高解像度の静止画を解像度の低い画像に変換し、単なる動画のファイルを形成することでファイルサイズを小さくすることができ、操作者自身がキー操作等で実行することができ、メモリ１５の残り容量に余裕を持たせることができる。しかも、静止画の高解像度情報だけをカットするため、動画として再生する分には画質が劣化するなどの問題はないという利点がある。
【図面の簡単な説明】
【００７０】
【図１】本実施形態に係る撮像装置の一実施形態を示すブロック図である。
【図２】本実施形態におけるストリームデータ変更モード時の動作を説明するための図である。
【図３】ローリングシャッタ使用時の撮像素子（イメージセンサ）の一例を示す図である。
【図４】図３のように、Ａ〜Ｆまでのラインが素子に存在すると仮定したときの画像の制御波形例を示す図である。
【図５】グローバルシャッタ使用時の図３のように、Ａ〜Ｆまでのラインが素子に存在すると仮定したときの画像の制御波形例を示す図である。
【図６】イメージセンサの概念図である。
【図７】本実施形態に係る補正処理の概念図を示す図である。
【図８】動画（低画素）と静止画（高画素）混在のストリーム上の概念図である。
【符号の説明】
【００７１】
１…撮像装置
１０…レンズ光学系
１１…イメージセンサ
１２…ＣＤＳ
１３…Ａ／Ｄ変換器
１４…画像処理部
１５…メモリ
１６…制御部
１７…タイミングジェネレータ
１８…Ｄ／Ａ変換器
１９…表示部
２０…操作入力部
【特許請求の範囲】
【請求項１】
被写体の光学像を撮像素子に結像させ当該撮像素子から高解像度の高画像データまたは低解像度の低画像データを読み出し、これら画像データに対して所定の画像処理を行う撮像装置であって、
一動画像データを取り込み中に、上記高画素のデータをイントラフレーム圧縮した第１の圧縮画像と、上記第１の圧縮画像を生成する期間の前後の期間で、間引きによる低画素のデータをインターフレーム圧縮した第２の圧縮画像とを一連のストリームとして生成し、上記第１の圧縮画像の画像レベルと上記第２の圧縮画像の画像レベルとを略等しいレベルに補正する画像処理部と、
上記第１の圧縮画像および上記第２の圧縮画像の一連のストリームデータが記憶される記憶手段と
を有する撮像装置。
【請求項２】
上記画像処理部は、上記第２の圧縮画像の一画面を指定すると、当該第２の圧縮画像の画面を前後の上記第１の圧縮画像を含めた他の画像により伸長復号した高精細静止画を生成する
請求項１記載の撮像装置。
【請求項３】
上記画像処理部は、一ストリームデータ上の上記第１の圧縮画像を一画面指定すると、当該第１の圧縮画像の解像度を上記第２の圧縮画像と同程度に低減し、上記一ストリームデータの当該第１の圧縮画像を上記解像度を低減した第１の圧縮画像に置き換えて上記記憶手段に記録し直す
請求項１または２記載の撮像装置。
【請求項４】
一ストリームデータの複数の上記第１の圧縮画像の解像度全てを、上記第２の圧縮画像と同程度に低減し、上記一ストリームデータの第１の圧縮画像を上記解像度を低減した第１の圧縮画像に置き換えて上記記憶手段に記録し直す
請求項１または２記載の撮像装置。
【請求項５】
上記高画像データは、上記撮像素子から間引かずに読み出した画像データまたは任意の間引き量で間引いて読み出した画像データであり、上記低画像データは、上記撮像素子から当該高画像データより低い解像度となるような任意の間引き量で間引いて読み出した画像である
請求項１乃至４のうちのいずれか一に記載の撮像装置。
【請求項６】
シャッタ機能としてグローバルシャッタ機能とローリングシャッタ機能とを含み、
上記画像処理部は、上記グローバルシャッタで取り込んだ画素のデータより第１の圧縮画像を生成し、上記ローリングシャッタで取り込んだ画素のデータより第２の圧縮画像を生成する
請求項１乃至５のうちのいずれか一に記載の撮像装置。
【請求項７】
上記画像処理部は、上記第２の圧縮画像の一画面を指定すると、当該第２の圧縮画像の画面を前後の上記第１の圧縮画像を含めた他の画像により伸長復号して当該指定した一画面を示す高解像度の静止画像データを生成する
請求項１乃至６のうちのいずれか一に記載の撮像装置。
【請求項８】
高解像度の第１の圧縮画像と、低解像度の第２の圧縮画像とにより低解像度の連続したビデオストリームを出力するストリーム出力手段と、
上記第１の圧縮画像が高解像度か低解像度かを判別する判別手段と、
上記判別手段により上記第１の圧縮画像が高解像度か低解像度かを示す信号を出力する判別信号出力手段と、を有する
請求項１乃至７のうちのいずれか一に記載の撮像装置。
【請求項９】
被写体の光学像を撮像素子に結像させ当該撮像素子から高解像度の高画像データまたは低解像度の低画像データを読み出し、これら画像データに対して所定の画像処理を行う撮像装置の画像生成方法であって、
一動画像データを取り込み中に、上記高画素のデータをイントラフレーム圧縮して第１の圧縮画像を生成し、
上記第１の圧縮画像を生成する期間の前後の期間で、間引きによる低画素のデータをインターフレーム圧縮して第２の圧縮画像とを一ストリームとして生成し、
上記第１の圧縮画像の画像レベルと上記第２の圧縮画像の画像レベルとを略等しいレベルに補正する
撮像装置の画像生成方法。
【請求項１】
被写体の光学像を撮像素子に結像させ当該撮像素子から高解像度の高画像データまたは低解像度の低画像データを読み出し、これら画像データに対して所定の画像処理を行う撮像装置であって、
一動画像データを取り込み中に、上記高画素のデータをイントラフレーム圧縮した第１の圧縮画像と、上記第１の圧縮画像を生成する期間の前後の期間で、間引きによる低画素のデータをインターフレーム圧縮した第２の圧縮画像とを一連のストリームとして生成し、上記第１の圧縮画像の画像レベルと上記第２の圧縮画像の画像レベルとを略等しいレベルに補正する画像処理部と、
上記第１の圧縮画像および上記第２の圧縮画像の一連のストリームデータが記憶される記憶手段と
を有する撮像装置。
【請求項２】
上記画像処理部は、上記第２の圧縮画像の一画面を指定すると、当該第２の圧縮画像の画面を前後の上記第１の圧縮画像を含めた他の画像により伸長復号した高精細静止画を生成する
請求項１記載の撮像装置。
【請求項３】
上記画像処理部は、一ストリームデータ上の上記第１の圧縮画像を一画面指定すると、当該第１の圧縮画像の解像度を上記第２の圧縮画像と同程度に低減し、上記一ストリームデータの当該第１の圧縮画像を上記解像度を低減した第１の圧縮画像に置き換えて上記記憶手段に記録し直す
請求項１または２記載の撮像装置。
【請求項４】
一ストリームデータの複数の上記第１の圧縮画像の解像度全てを、上記第２の圧縮画像と同程度に低減し、上記一ストリームデータの第１の圧縮画像を上記解像度を低減した第１の圧縮画像に置き換えて上記記憶手段に記録し直す
請求項１または２記載の撮像装置。
【請求項５】
上記高画像データは、上記撮像素子から間引かずに読み出した画像データまたは任意の間引き量で間引いて読み出した画像データであり、上記低画像データは、上記撮像素子から当該高画像データより低い解像度となるような任意の間引き量で間引いて読み出した画像である
請求項１乃至４のうちのいずれか一に記載の撮像装置。
【請求項６】
シャッタ機能としてグローバルシャッタ機能とローリングシャッタ機能とを含み、
上記画像処理部は、上記グローバルシャッタで取り込んだ画素のデータより第１の圧縮画像を生成し、上記ローリングシャッタで取り込んだ画素のデータより第２の圧縮画像を生成する
請求項１乃至５のうちのいずれか一に記載の撮像装置。
【請求項７】
上記画像処理部は、上記第２の圧縮画像の一画面を指定すると、当該第２の圧縮画像の画面を前後の上記第１の圧縮画像を含めた他の画像により伸長復号して当該指定した一画面を示す高解像度の静止画像データを生成する
請求項１乃至６のうちのいずれか一に記載の撮像装置。
【請求項８】
高解像度の第１の圧縮画像と、低解像度の第２の圧縮画像とにより低解像度の連続したビデオストリームを出力するストリーム出力手段と、
上記第１の圧縮画像が高解像度か低解像度かを判別する判別手段と、
上記判別手段により上記第１の圧縮画像が高解像度か低解像度かを示す信号を出力する判別信号出力手段と、を有する
請求項１乃至７のうちのいずれか一に記載の撮像装置。
【請求項９】
被写体の光学像を撮像素子に結像させ当該撮像素子から高解像度の高画像データまたは低解像度の低画像データを読み出し、これら画像データに対して所定の画像処理を行う撮像装置の画像生成方法であって、
一動画像データを取り込み中に、上記高画素のデータをイントラフレーム圧縮して第１の圧縮画像を生成し、
上記第１の圧縮画像を生成する期間の前後の期間で、間引きによる低画素のデータをインターフレーム圧縮して第２の圧縮画像とを一ストリームとして生成し、
上記第１の圧縮画像の画像レベルと上記第２の圧縮画像の画像レベルとを略等しいレベルに補正する
撮像装置の画像生成方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００６−４１８６１（Ｐ２００６−４１８６１Ａ）
【公開日】平成１８年２月９日（２００６．２．９）
【国際特許分類】
【出願番号】特願２００４−２１８２０４（Ｐ２００４−２１８２０４）
【出願日】平成１６年７月２７日（２００４．７．２７）
【出願人】（０００００６６３３）京セラ株式会社 (13,660)
【Ｆターム（参考）】
【公開日】平成１８年２月９日（２００６．２．９）
【国際特許分類】
【出願日】平成１６年７月２７日（２００４．７．２７）
【出願人】（０００００６６３３）京セラ株式会社 (13,660)
【Ｆターム（参考）】
[ Back to top ]