撮像方法及び撮像装置
【課題】移動する被写体でも誤差が無く、より正しい動画像を生成する撮像方法、及び撮像装置を提供することを目的とする。
【解決手段】撮像装置は、画像を撮像する第一の撮像部と、連続撮像するよう前記第一の撮像部を制御する第一の撮像制御部と、前記第一の撮像部と同期して画像を撮像する第二の撮像部と、前記第二の撮像部の能力に応じて、前記第二の撮像部が撮像する画像の解像度と、間欠撮像する間隔を制御する第二の撮像制御部と、前記第一の撮像部が連続撮像した第一の画像列と、前記第二の撮像部が間欠撮像した第二の画像列を記録媒体に記録する記録部とを、備える。
【解決手段】撮像装置は、画像を撮像する第一の撮像部と、連続撮像するよう前記第一の撮像部を制御する第一の撮像制御部と、前記第一の撮像部と同期して画像を撮像する第二の撮像部と、前記第二の撮像部の能力に応じて、前記第二の撮像部が撮像する画像の解像度と、間欠撮像する間隔を制御する第二の撮像制御部と、前記第一の撮像部が連続撮像した第一の画像列と、前記第二の撮像部が間欠撮像した第二の画像列を記録媒体に記録する記録部とを、備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルビデオカメラやデジタルスチルカメラの動画の撮像方法、及び撮像装置に関するものである。
【背景技術】
【０００２】
近年、動画像も静止画像も撮像できる撮像装置が拡大してきているが、このような撮像装置の技術に関して、図９〜１２を用いて説明をする。
【０００３】
動画像も静止画像も撮像できる撮像装置において、動画像の場合、いわゆるハイディフィニション画質（HD画質）の動画像でも1280ｘ1024（130万画素）、あるいは1920ｘ1080（200万画素）程度の解像度である。一方、静止画像は1000万画素を超える解像度で記録できる装置が現れている。
【０００４】
これは動画と静止画を撮影する際に同じ撮像素子を利用していても、動画像の撮影では毎秒当たりに撮影すべき画像（フレーム）の数（フレームレート）が多い（高フレームレート）ことに起因し、画素数を200万画素程度に抑えることで単位時間あたりの記録媒体（メディア）への記録データ量（記録ビットレート）を抑えているためである。静止画像の撮影では記録ビットレートの制約が動画像の撮影時よりも少ないために、撮像素子の画素数を最大限に利用した撮影ができる。
【０００５】
このような撮像装置の技術と課題について以下もう少し詳しく述べる。
【０００６】
多画素数（高解像度）の静止画像を撮影可能な撮像素子を利用して動画像を撮影する場合、例えばNTSC方式のTVシステムの場合、フレームレートが29.97フレーム/秒であることから、撮影した画像をメディア等に記録するためには、撮像素子から少なくとも毎秒30フレーム分以上の画素信号（画像データ）の読み出しが必要となる。そのため動画像の解像度を上げるためには、撮像素子や読み出し制御回路等を高速に駆動して読み出し速度を上げる必要がある。結果として回路規模が拡大したり、素子がコストアップしたり、消費電力及び発熱量が増大するという課題を発生させてしまう。
【０００７】
このように消費電力の増大などの課題を招くことなく高解像度の動画像の記録を実現するために、高解像度で低フレームレートの映像と低解像度で高フレームレートの映像を交互に記録する技術が提案されている。（例えば、下記特許文献１参照）。
【０００８】
そのような従来技術においても以下に述べる課題があり、その課題について説明する。動画像を撮影するために必要となる一定の記録インターバルＤt（NTSCの場合Ｄt＝１/29.97秒）毎に1枚の画像を撮像素子で記録し、その途中に一定の記録インターバルで高解像度の画像を記録するように構成し、そのインターバルをＤHtと定義する。また、仮に高解像度の画像は低解像度の画像の4倍の解像度を持ち、高解像度の画像の記録インターバルをＤHt＝９Ｄtとする。この場合図９の示すように、時刻t1, t9のＤHtのインターバルで高解像度な画像H1, H9が記録され、その間のt2〜t8では低解像度な画像L2〜L8が記録されるようになる。
【０００９】
このような構成では、動画像の撮像時に解像度を高くすると、素子の駆動速度等を上げないと、毎秒30画像分必要となる画素信号の読み出しが処理時間内に終わらなくなるため、その読み出し時間の間は画像の撮影ができなくなって画像が欠落することになる。このように画素信号の読み出しが間に合わないために欠落した画像を、撮像された高解像度な画像と読み出しが可能となった低解像度な画像から補間処理して生成する技術も提案されている。（例えば、下記特許文献２参照）。
【００１０】
この補間処理技術について図１０、１１、１２を用いてもう少し詳しく説明しつつ、その課題について説明する。
【００１１】
例えば図１０のように、左上を原点とし、水平方向にｘ軸、垂直方向にｙ軸のｘ、ｙの２次元の座標があり、この上に撮像素子の受光画素配列が存在し、低解像度の撮像素子（a）は４ｘ４の１６画素で構成され、高解像度の撮像素子(b)はその４倍の面積となる８ｘ８の６４画素で構成されているとする。この場合低解像度の撮像素子から、画素データがP(1,1)、P(2,1)、・、P(4,1)、P(1,2)、P(2,2)、・・・、P(4,4)と読み出され、読み出し速度を１クロック（1t）あたり１画素とすると、1画像全てを読み出す時間16tとなる。またこの時間間隔で毎画像データの読み出しができれば欠落するフレームなく撮像された映像を記録できる。
【００１２】
撮像素子から1枚の画像の画素信号を全て読み出すのに必要な読み出し時間をTreadと定義し、低解像度の画像の読み出しに要する時間をＤLtとすると、低解像度な画像の場合にはLread＝ＤLt＝16tとなる。
【００１３】
一方高解像度の受光素子では、P(1,1)、P(2,1)、・、P(8,1)、P(1,2)、P(2,2)、・・P(8,2)、・・・P(8,8)と読み出されることになるため、読み出し速度が低解像度のものと同じく1tあたり１画素とすると、高解像度な1画像全てを読み出す時間をHreadとするとHreadは低解像度に比べて4倍の画素数があるため64tとなる。つまりHread＝64t＝4ＤLtとなり、低解像度の場合に比べて4倍の時間が必要となることが分かる。
【００１４】
但しこの場合でも、素子を高速駆動することで素子からの読み出し速度を1tあたり４画素読み出せれば、1画像全てを読み出す時間は低解像度と同じ4t＝Ｄtとすることもできる。図９はこのように高速駆動できる理想的な場合のフレームの並びを示している。しかし、この場合には上記で説明したように、素子や制御回路を高速駆動することにより回路規模は拡大し、素子はコストアップし、消費電力及び発熱量は増大するという従来の課題が顕在化する。
【００１５】
次に、素子の駆動速度を高解像度と低解像度で同じとした場合、図１１に示すように高解像度の画像の読み出しに必要となるHreadは4ＤLtとなり、この4ＤLtの時間は低解像度の画像も撮像することができなくなる。つまりL2〜L4の低解像度の画像は撮像されないため、H1及びL5、H9の画像を参照しつつ補間処理を施してL2〜L4の画像を新たに生成する構成が特許文献２に記載されている。
【００１６】
しかしこのような構成で補間処理をして画像を生成できる構成にしても、高速に移動している被写体あるいは加速度をもった被写体などを撮影する場合などでは、算出して補間する画像の誤差が大きくなったり画質が劣化したりするという課題が発生してしまう。
【００１７】
例えば、図１２のように(a)の時刻ｔ１におけるH1の高解像度の撮像画像には高速に移動する車が写っているが、(b)時刻ｔ5のL5の低解像度の撮像画像にはもはや車が走り去っていて写っていないような場合、このH1の画像及びL5の画像からL2, L3, L4の画像を補完して生成することは困難であることが分かる。例えば時刻t2のL2の予測画像としては、図１２の(c)なのか、図１２の(d)なのか推定したり、算出することが困難であった。
【先行技術文献】
【特許文献】
【００１８】
【特許文献１】国際公開第２００９／０９８８７７号
【特許文献２】特開２０１０−２８７２２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１９】
この従来の構成では、高解像度の画像列を撮像素子から取得した後、その読み出し処理による待ち時間のため２，３フレーム分は撮像できない期間が発生していた。被写体が高速に移動していたり、あるいは被写体が加速度をもって移動していたりする場合、算出された補間画像の誤差が大きくなる。撮像できない期間が発生している場合、正確に被写体を再現したフレームを作成することが困難となり、結果として画質が劣化したりするという課題があった。
【００２０】
本発明では、移動する被写体でも誤差が無く、より正しい動画像を生成する撮像方法、及び撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００２１】
上記課題を解決するために、本発明の撮像装置は、画像を撮像する第一の撮像部と、連続撮像するよう前記第一の撮像部を制御する第一の撮像制御部と、前記第一の撮像部と同期して画像を撮像する第二の撮像部と、前記第二の撮像部の能力に応じて、前記第二の撮像部が撮像する画像の解像度と、間欠撮像する間隔を制御する第二の撮像制御部と、前記第一の撮像部が連続撮像した第一の画像列と、前記第二の撮像部が間欠撮像した第二の画像列を記録媒体に記録する記録部とを、備える。
【発明の効果】
【００２２】
本発明によれば、移動する被写体でも誤差が無く、より正しい動画像を生成する撮像方法、及び撮像装置を提供できる。
【図面の簡単な説明】
【００２３】
【図１】本発明の実施の形態１における撮像装置のブロック図
【図２】本発明の実施の形態２における撮像装置のブロック図
【図３】本発明の実施の形態２における低解像度の画像データ及び高解像度の画像データの出力イメージの図
【図４】本発明の実施の形態２における低解像度の画像データ及び高解像度の画像データの出力イメージの図
【図５】本発明の実施の形態２における低解像度の画像データ及び高解像度の画像データの出力イメージの図
【図６】本発明の実施の形態３における撮像装置のブロック図
【図７】本発明の実施の形態３における単純補間画像および最終予測画像を得るための補正イメージ図
【図８】本発明の実施の形態３における低解像度の画像データ及び高解像度の画像データから高解像度の画像データを補間するさいの出力イメージの図
【図９】従来例における、理想的な高解像度と低解像度の画像データの配置イメージ図
【図１０】低解像度な撮像素子と高解像度な撮像素子の受光画素配列の図
【図１１】従来例における、現実的な高解像度と低解像度の画像データの配置イメージ図
【図１２】従来例における、画像補間処理での予測イメージ図
【発明を実施するための形態】
【００２４】
以下に、本発明の実施の形態について、図面を参照しながら説明する。
【００２５】
（実施の形態１）
図１は、本発明の実施の形態１における撮像装置のブロック図である。
【００２６】
第一の撮像部１では、第一の映像画像が撮影される。第一の撮像部としては、例えばCCDやCMOS、イメージセンサー等からなる固体撮像素子である。
【００２７】
第一の撮像制御部２は、前記第一の撮像部に読み出し信号１００を送り、撮影された第一の画像データ１０１を読み出す。また読み出された画像信号はフレームあるいはフィールドの単位にまとめて第一の撮像画像１０３として出力される。
【００２８】
第二の撮像部３では、第二の映像画像が撮影される。第二の撮像部も第一の撮像部と同じくCCDやCMOS、イメージセンサー等からなる固体撮像素子で構成される。
【００２９】
第二の撮像制御部４は、前記第二の撮像部に読み出し信号１００を送り、撮影された第二の画像データ１０２を読み出す。また読み出された画像信号はフレームあるいはフィールドの単位にまとめて第二の撮像画像１０４として出力される。
【００３０】
記録部５では、第一の撮像画像１０３と第二の撮像画像１０４および音声データ１０６を入力し、
１０３あるいは１０４の撮像画像は必要に応じて一旦MPEG2やH.264、MotionJPEG等のビデオフォーマットに圧縮処理する。また１０６の音声データも必要に応じて一旦DolbyDigital(AC3)やAAC、MP3などの音声フォーマットに圧縮処理をする。さらに上記の圧縮された画像と音声のデータをMPEG2のプログラムストリームやトランスポートストリーム、あるいはMPEG4形式に多重化して１つのストリームデータにフォーマット変換して記録データ１０５を生成し、例えばDVDやBDなどの光ディスクメディアあるいはSDカードなどの半導体記憶メディアといった記録媒体に記録データを記録する。
【００３１】
記録部では通常は第一の撮像画像が入力され、H.264のビデオフォーマットに圧縮処理をし、音声データをAC3の音声フォーマットに圧縮処理をして、MPEG2のトランスポートストリーム形式に多重化してBDディスクに記録する。同様に、第二の撮像画像が記録部に入力された場合、第二の画像をH.264のビデオフォーマットに変換して、AC3の音声フォーマットと共にMPEG2のトランスポートストリーム形式に多重化してBDディスクに記録する。
【００３２】
以上のように、実施の形態１における撮像装置では、第一の撮像部１および、第二の撮像部２により、それぞれ撮像を行い、それぞれから撮像画像を得ることができる。すなわち、実施の形態１における撮像装置では、撮像画像を得るための撮像部が、第一、第二と存在する。
【００３３】
（実施の形態2）
図２は、本発明の実施の形態２における撮像装置のブロック図である。
【００３４】
第一の撮像部１では、第一の映像画像が撮影される。第一の撮像部としては、例えばCCDやCMOS、イメージセンサー等からなる固体撮像素子である。
【００３５】
低解像度撮像制御部６は、前記第一の撮像部に読み出し信号１００を送り、撮影された低解像度（例えば、７２０×４８０＜動画撮影の場合＞又は、１９２０×１０８０＜静止画撮影の場合＞）の画像データ１１１を読み出す。また読み出された画像信号はフレームあるいはフィールドの単位にまとめて低解像度の撮像画像１１３として出力される。低解像度撮像制御部６は、第一の撮像部１を間欠撮像することなく、連続撮像するよう制御する。
【００３６】
第二の撮像部３では、第二の映像画像が撮影される。第二の撮像部も第一の撮像部と同じくCCDやCMOS、イメージセンサー等からなる固体撮像素子で構成される。
【００３７】
高解像度撮像制御部７は、前記第二の撮像部に読み出し信号１００を送り、撮影された高解像度（例えば、１４４０×９６０＜動画撮影の場合＞又は、３８４０×２１６０＜静止画撮影の場合＞）の画像データ１１２を読み出す。また読み出された画像信号はフレームあるいはフィールドの単位にまとめて高解像度の撮像画像１１４として出力される。また、高解像度撮像制御部７は、撮像素子の撮像能力や、撮像制御部のデータ転送能力に応じて、撮像される画像の解像度と間欠撮像する間隔を制御することできる。
【００３８】
記録部５では、低解像度の撮像画像１１３と高解像度の撮像画像１１４および音声データ１０６を入力し、１１３あるいは１１４の撮像画像は必要に応じて一旦MPEG2やH.264、MotionJPEG等のビデオフォーマットに圧縮処理する。また１０６の音声データも必要に応じて一旦DolbyDigital(AC3)やAAC、MP3などの音声フォーマットに圧縮処理をする。さらに上記の圧縮された画像と音声のデータをMPEG2のプログラムストリームやトランスポートストリーム、あるいはMPEG4形式に多重化して１つのストリームデータにフォーマット変換して記録データ１１５を生成し、例えばDVDやBDなどの光ディスクメディアあるいはSDカードなどの半導体記憶メディアといった記録媒体に記録データを記録する。
【００３９】
次に、記録部５の具体的な動作について図３、４及び図５を交えて説明する。
【００４０】
図３は、記録部５に入力される低解像度の画像データ及び高解像度の画像データのイメージ図であり、撮像素子の撮像能力や、撮像制御部のデータ転送能力が十分に高いため、低解像度の撮像画像と高解像度の撮像画像のどちらの画像も、まったく欠落することなく同じフレームレートで記録部に入力されてくる場合のイメージ図を示している。すなわち、高解像度撮像制御部７は、撮像素子の撮像能力や、撮像制御部のデータ転送能力が十分に高いために、間欠撮像する間隔がゼロに制御している。
【００４１】
記録部５は、低解像度の撮像画像１１３が入力されると、H.264のビデオフォーマットに圧縮処理をする。低解像度の画像を例えばH.264のビデオフォーマットなどに圧縮・変換処理すると同時に、同じタイミングで入力された高解像度の撮像画像１１４も圧縮・変換処理する。この変換によって得られる２つのビデオストリーム（低解像度のビデオストリームと、高解像度のビデオストリーム）を、別途入力される例えばAC3の音声データ１０６と共に例えばMPEG2のトランスポートストリーム形式で多重化して、低解像度のストリームと高解像度の２つのビデオストリームおよび１つの音声ストリームが１つのストリームとして多重化された記録データ１１５を作成してBDディスクに記録する。
【００４２】
具体的には、時刻ｔ１からｔ９の時間の間に、記録部５に入力されてくる低解像度の画像データをL1からL9とし、高解像度の画像データをH1からH9とする。このとき、ｔ１の時刻に入力される低解像度のフレームあるいはフィールド画像がL1、高解像度のフレームあるいはフィールド画像がH1というように添え字の数字が同じものは同じ時刻に入力される画像として示している。
【００４３】
図３では、低解像度の画像データのみならず、高解像度の画像データも低解像度と同一タイミングで入力することができるくらい高速にデータ転送が行えるため、高解像度のフレームあるいはフィールド画像もH1からH9までどのフレームあるいはフィールドが欠落することなく記録部５に入力されている。
【００４４】
この場合、記録部５では、上述したようにL1からL9を圧縮処理した低解像度の画像データとH1からH9を圧縮処理した高解像度の画像データという2つのストリームと例えばAC３の音声データをMPEG2のトランスポート形式で多重化した画像データを作成し、例えばＢＤディスクといったディスクの記録媒体に記録する構成にすることが可能となる。
【００４５】
このような構成の撮像画像データを作成することで、例えば、再生装置のデコード能力が低い場合は、BDディスクの記録媒体に記録された低解像度のストリームを読み出し、一方、再生装置のデコード能力が高い場合は、BDディスクの記録媒体に記録された高解像度のストリームを読み出すことができる。すなわち、再生装置のデコード能力によって標準画質、あるいはハイビジョン画質を切り替えることのできるデータを生成することが可能となる。
【００４６】
撮像素子のデータ転送能力を超えた高解像度の読み出し処理を行なう場合、次のフレームを撮像すべきタイミングにおいても、今だ前のフレームの読み出し処理が終了していないことになる。すなわち、前のフレームの読み出し処理が終了するまでは、新しいフレームの撮像が開始できなった。その結果、撮像できないフレームが生じていた。一方、実施の形態２における撮像装置は、第一の撮像部１と、第二の撮像部２のそれぞれにおいて、一方は低解像度の画像の撮像、他方は高解像度の画像の撮像を行なう。そのため、第二の撮像部２が撮像素子のデータ転送能力を超えた高解像度の読み出し処理を行なったとしても、第一の撮像部１は、低解像度の画像の撮像を連続して続けることができる。従って、実施の形態２における撮像装置では、撮像できないフレームの発生を回避することができる。撮像できないフレームの発生を回避した結果、移動する被写体を撮像したとしても、取得されるフレーム間において誤差がなく、正しい映像が記録できる撮像装置を提供することができる。
【００４７】
図４は、図３と同じく記録部５に入力される低解像度の画像データ及び高解像度の画像データのイメージ図であるが、低解像度撮像制御部および高解像度撮像制御部のデータ転送能力がいづれも低解像度の撮像画像を転送する能力しか持たない場合に、記録部に入力されてくる低解像度の画像データ及び高解像度の画像データのフレームイメージ図を示している。すなわち、高解像度撮像制御部７は、撮像素子の撮像能力や、撮像制御部のデータ転送能力が十分に高くないために、間欠撮像する間隔を長くしている。例えば低解像度の画像サイズが７２０ｘ４８０ドットで、高解像度の画像サイズが１４４０ｘ９６０ドットである場合、低解像度の１フレーム（1画像）の画素数が345600ドットであるのに対して、高解像度の１フレーム（1画像）の画素数は1382400ドットとなり、高解像度の画素数は低解像度の画素数の4倍となる。一方で上述したように第一の撮像部１と第二の撮像部３の撮像素子からの画素データを低解像度撮像制御部６と高解像度撮像制御部７を介してデータ転送するための処理能力としては、低解像度の撮像画像を転送する能力しか持たない。
【００４８】
この場合、低解像度の345600ドットのデータを読み出しに要する時間をＤtとして、ｔ１からｔ２までの時間で345600ドットのデータが読み出しできるとするとＤｔ＝ｔ２−ｔ１となる。このとき時間ｔ１からｔ９の時間の間に、記録部５に入力されてくる低解像度の画像データをL1からL9、高解像度の画像データをH1からH9とし、ｔ１の時刻には低解像度のフレームあるいはフィールド画像がL1、高解像度のフレームあるいはフィールド画像がH1というように添え字の数字が同じものは同じ時刻に入力される画像として表示するとしたら、図４に示すように低解像度の画像データはt1,t2,t3,・・・・・,t9の時刻にそれぞれL1、L2、L3、・・・・・、L9と１フレームづつ記録部に入力ができる。一方高解像度の1382400ドットの１フレームのデータを読み出すには４Ｄｔだけの時間が必要となるためｔ0からｔ９までの時間では高解像度の画像はH1,H5,H9の３フレームの画像データしか転送できない。
【００４９】
撮像素子のデータ転送能力を超えた高解像度の読み出し処理を行なう場合、次のフレームを撮像すべきタイミングにおいても、今だ前のフレームの読み出し処理が終了していないことになる。すなわち、前のフレームの読み出し処理が終了するまでは、新しいフレームの撮像が開始できなった。その結果、撮像できないフレームが生じていた。一方、実施の形態２における撮像装置は、第一の撮像部１と、第二の撮像部２のそれぞれにおいて、一方は低解像度の画像の撮像、他方は高解像度の画像の撮像を行なう。そのため、第二の撮像部２が撮像素子のデータ転送能力を超えた高解像度の読み出し処理を行なったとしても、第一の撮像部１は、低解像度の画像の撮像を連続して続けることができる。従って、実施の形態２における撮像装置では、撮像できないフレームの発生を回避することができる。撮像できないフレームの発生を回避した結果、移動する被写体を撮像したとしても、取得されるフレーム間において誤差がなく、正しい映像が記録できる撮像装置を提供することができる。
【００５０】
図５は、図４のようにｔ0からｔ９まで９Ｄｔの時間の内に低解像度の撮像画像はL1、L2、L3、・・・・・、L9と９フレームの画像データを転送でき、高解像度の画素数はH1,H5,H9の３フレームの画像データしか転送できない場合に、記録部５においてｔ０からｔ９までの各時刻に高解像度の画像か低解像度の画像かいづれか片方だけを選択する構成とし、高解像度の画像も低解像度の画像も転送される時刻の画像には高解像度の画像を、低解像度の画像のみしか転送されない時刻では低解像度の画像を選択するように構成した際のメディアに記録されるビデオデータの画像サイズをしめしたイメージ図である。
【００５１】
あるいは、記録部５では低解像度の撮像画像のみが入力された場合には、低解像度の撮像画像を選択し、高解像度の撮像画像も記録部に入力された場合には、同じタイミングで入力された低解像度の画像を選択する代わりに、高解像度の撮像画像を選択するように動作して、選択された撮像画像を順番に例えばH.264のビデオフォーマットに変換して１つのビデオストリームを作成し、別途入力される例えばAC3の音声データ１０６と共にMPEG2のトランスポートストリーム形式に多重化して１つのビデオストリームと１つの音声ストリームが多重化された記録データ１１５を作成してBDディスクに記録する構成にしても良い。
【００５２】
この場合、高解像度の画像も低解像度の画像も入力される時刻ｔ１、ｔ５、ｔ１０では高解像度の画像H1、H５、H10が選択され、それ以外のt２、t３、ｔ４、ｔ６、ｔ７、ｔ８、ｔ９では低解像度の画像L2、L3、L4、L6、L7、L8、L9が選択されたビデオストリームができる。記録部５ではさらに、このように低解像度の画像の間に定間隔で高解像度の画像が挿入されたビデオストリームを例えばH.264の形式で圧縮したストリームと、例えば別途入力されるAC３の音声データをMPEG2のトランスポート形式で多重化して画像データを作成し、例えばＢＤディスクといったディスクの記録媒体に記録する。
【００５３】
このような構成の画像データを作成することで、再生装置のデコーダによって、標準画質の画像をその前後に定間隔で挿入されている高画質の画像を参照して補間処理することで、擬似的に高解像度の画質に変換しながら表示するような応用のできるデータを生成することが可能となる。このとき、図４に示すように、H1、H5,H9および、L1〜L9を記録した場合のよりも、図５に示すように、H1、L2、L3、L4、H5、L6、L7、L8、H９を記録した場合の方が、総記録容量を少なくすることができる。また、再生装置のデコーダによっては、図５に示すデータ列を処理することで、すべて高解像度のフレームとなるよう、低解像度のフレームに対して補完処理を施すことができる。
【００５４】
（実施の形態3）
図６は、本発明の実施の形態３における撮像装置のブロック図である。
【００５５】
第一の撮像部１では、第一の映像画像が撮影される。第一の撮像部としては、例えばCCDやCMOS、イメージセンサー等からなる固体撮像素子である。
【００５６】
低解像度撮像制御部６は、前記第一の撮像部に読み出し信号１００を送り、撮影された低解像度の画像データ１１１を読み出す。また読み出された画像信号はフレームあるいはフィールドの単位にまとめて低解像度の撮像画像１１３として出力される。低解像度撮像制御部６は、第一の撮像部１を間欠撮像することなく、連続撮像するよう制御する。
【００５７】
第二の撮像部３では、第二の映像画像が撮影される。第二の撮像部も第一の撮像部と同じくCCDやCMOS、イメージセンサー等からなる固体撮像素子で構成される。
【００５８】
高解像度撮像制御部７は、前記第二の撮像部に読み出し信号１００を送り、撮影された高解像度の画像データ１１２を読み出す。また読み出された画像信号はフレームあるいはフィールドの単位にまとめて高解像度の撮像画像１１４として出力される。また、高解像度撮像制御部７は、撮像素子の撮像能力や、撮像制御部のデータ転送能力に応じて、撮像される画像の解像度と間欠撮像する間隔を制御することできる。
【００５９】
画像処理部８は、入力される高解像度の撮像画像１１４および低解像度の撮像画像１１３を用いて、高解像度の画像を参照しながら、低解像度の画像をリサイズ・補間して高解像度な画像に変換処理をして高解像処理データ１２０として出力する。
次に、画像処理部８の具体的な動作について図７を用いて説明する。
【００６０】
例えば図４に示すように低解像度の画像データはt1,t2,t3,・・・・・,t9の時刻にそれぞれL1、L2、L3、・・・・・、L9と１フレームづつ記録部に入力ができるが、一方高解像度の画像はH1,H5,H9の３フレームの画像データしか記録部に入力できないような場合に、これらの画像データから、補間などの技術を用いて欠落した高解像度の画像データH2、H3、H4などを推測する方法について図７の図を用いて説明する。高解像度の画像はH１＜図７の（a）＞,およびH5＜図７の（b）＞しか撮像できていないため、この２つの画像データを用いて例えばH1とH5との撮像時間間隔に応じて重み付けをした補間画像からH3‘の単純な補間画像＜図７の（c）＞が算出できる。次にH3’の時刻と一致しているt3に撮像されたL3の映像＜図７の（d）＞に移っている被写体の位置などに合致するように、単純な補間画像＜図７の（c）＞の映像の位置を補正することで最終的なH3‘の予測画像＜図７の（e）＞を得る。同様の方法によって、H1とH5の単純補間画像を低解像度の画像データL2,L3,L4で補正することでH2’、H3’、H4’の最終補正画像を算出し、H5とH9の単純補間画像を低解像度の画像データL6,L7,L8で補正することでH6’、H7’、H8’の最終補正画像を算出して図８に示す高解像処理データH1、H2’、H3’、H4’、H5、H6’、H7’、H8’、H9を出力する。
【００６１】
多重・記録部９では、高解像度に変換された高解像処理データ１２０および音声データ１０６を入力し、１２０の撮像画像は必要に応じて一旦MPEG2やH.264、MotionJPEG等のビデオフォーマットに圧縮処理する。また１０６の音声データも必要に応じて一旦DolbyDigital(AC3)やAAC、MP3などの音声フォーマットに圧縮処理をする。さらに上記の圧縮された画像と音声のデータをMPEG2のプログラムストリームやトランスポートストリーム、あるいはMPEG4形式に多重化して１つのストリームデータにフォーマット変換して記録データ１１５を生成し、例えばDVDやBDなどの光ディスクメディアあるいはSDカードなどの半導体記憶メディアといった記録媒体に記録データを記録する。
【００６２】
以上のように、実施の形態３における撮像装置は、高解像度の画像を出力する第二の撮像部と、低解像度の画像を、第二の撮像部よりも高フレームレートで出力することができる第一の撮像部とを備えている。実施の形態３における撮像装置において、第二の撮像部は、高解像度の画像を高フレームレートでそのまま出力することはできないが、第二の撮像部よりも高フレームレートで出力可能な第一の撮像部が出力する低解像度の画像を用いて、画像処理部は、より高解像度な画像を補完処理により作成することができる。その結果、画像処理部は、より高解像度の画像を、高フレームレートにより出力することが可能となる。
【００６３】
本発明では、高解像度の撮像部と低解像度の撮像部を独立させる構成としているため、高解像度の撮像部からの画素信号を読み出している間の待ち時間が発生することによって、それに続く低解像度の撮像ができなくなることが無いため、低解像度のフレームの欠落は発生しない。結果として被写体が高速に移動していたり、あるいは被写体が加速度をもって移動していたりする場合でも、画質が劣化することなく、高解像度の画像の撮像と低解像度の画像の撮像を切り替えられる撮像装置を提供することができる。
【００６４】
また高解像度と低解像度の画像を同時に撮像し、同一時刻に撮像された低解像度の画像と高解像度の画像を比較したり、参照したりしながら画像処理ができる。
更に高解像度と低解像度の撮像素子が独立しているため、高解像度時の撮像インターバルを自由に設定するが可能である。そのため、動きの速い被写体を撮影する際には、高解像度の撮像制御部を解像度を抑えて間欠撮像するインターバルを短くし、動きの緩やかな被写体を撮影する際には、撮像素子を最大限に利用した超高解像度とするかわりに撮像インターバルを長くするといった撮像制御も可能となり、後の画像処理によって高解像度で高フレームレートのデータを高画質に生成できる撮像装置を安価に提供することが可能となる。
【００６５】
上記実施の形態において、第一の撮像部と、第二の撮像部について説明した。これらの撮像部は、単眼の光学系を形成された被写体像を撮像するために、同一の撮像センサ上に設けられた第一の撮像領域および、第二の撮像領域であってもよい。また、これらの撮像部は、複眼の光学系において、左目画像撮像用の光学系を介して形成される被写体像を撮像する第一の撮像センサと、右眼画像撮像用の光学系を介して形成される被写体像を撮像する第二の撮像センサであってもよい。この場合、第一の撮像センサと、第二の撮像センサとは、同一の撮像センサであってもよいし、別々の撮像センサであってもよい。
【産業上の利用可能性】
【００６６】
本発明は、撮像装置に適用可能である。ここで、撮像装置の例として、デジタルスチルカメラ、ムービーカメラ、カメラ付き情報端末等に適用可能である。
【符号の説明】
【００６７】
１ 第一の撮像部
２ 第一の撮像制御部
３ 第二の撮像部
４ 第二の撮像制御部
５ 記録部
６ 低解像度撮像制御部
７ 高解像度撮像制御部
８ 画像処理部
９ 多重・記録部
１００ 読み出し信号
１０１ 第一の画像データ
１０２ 第二の画像データ
１０３ 第一の撮像画像
１０４ 第二の撮像画像
１０５ 記録データ
１０６ 音声データ
１１１ 低解像度の画像データ
１１２ 高解像度の画像データ
１１３ 低解像度の撮像画像
１１４ 高解像度の撮像画像
１１５ 記録データ
１１６ 音声データ
１２０ 高解像処理データ
１２１ 高解像記録データ
【技術分野】
【０００１】
本発明は、デジタルビデオカメラやデジタルスチルカメラの動画の撮像方法、及び撮像装置に関するものである。
【背景技術】
【０００２】
近年、動画像も静止画像も撮像できる撮像装置が拡大してきているが、このような撮像装置の技術に関して、図９〜１２を用いて説明をする。
【０００３】
動画像も静止画像も撮像できる撮像装置において、動画像の場合、いわゆるハイディフィニション画質（HD画質）の動画像でも1280ｘ1024（130万画素）、あるいは1920ｘ1080（200万画素）程度の解像度である。一方、静止画像は1000万画素を超える解像度で記録できる装置が現れている。
【０００４】
これは動画と静止画を撮影する際に同じ撮像素子を利用していても、動画像の撮影では毎秒当たりに撮影すべき画像（フレーム）の数（フレームレート）が多い（高フレームレート）ことに起因し、画素数を200万画素程度に抑えることで単位時間あたりの記録媒体（メディア）への記録データ量（記録ビットレート）を抑えているためである。静止画像の撮影では記録ビットレートの制約が動画像の撮影時よりも少ないために、撮像素子の画素数を最大限に利用した撮影ができる。
【０００５】
このような撮像装置の技術と課題について以下もう少し詳しく述べる。
【０００６】
多画素数（高解像度）の静止画像を撮影可能な撮像素子を利用して動画像を撮影する場合、例えばNTSC方式のTVシステムの場合、フレームレートが29.97フレーム/秒であることから、撮影した画像をメディア等に記録するためには、撮像素子から少なくとも毎秒30フレーム分以上の画素信号（画像データ）の読み出しが必要となる。そのため動画像の解像度を上げるためには、撮像素子や読み出し制御回路等を高速に駆動して読み出し速度を上げる必要がある。結果として回路規模が拡大したり、素子がコストアップしたり、消費電力及び発熱量が増大するという課題を発生させてしまう。
【０００７】
このように消費電力の増大などの課題を招くことなく高解像度の動画像の記録を実現するために、高解像度で低フレームレートの映像と低解像度で高フレームレートの映像を交互に記録する技術が提案されている。（例えば、下記特許文献１参照）。
【０００８】
そのような従来技術においても以下に述べる課題があり、その課題について説明する。動画像を撮影するために必要となる一定の記録インターバルＤt（NTSCの場合Ｄt＝１/29.97秒）毎に1枚の画像を撮像素子で記録し、その途中に一定の記録インターバルで高解像度の画像を記録するように構成し、そのインターバルをＤHtと定義する。また、仮に高解像度の画像は低解像度の画像の4倍の解像度を持ち、高解像度の画像の記録インターバルをＤHt＝９Ｄtとする。この場合図９の示すように、時刻t1, t9のＤHtのインターバルで高解像度な画像H1, H9が記録され、その間のt2〜t8では低解像度な画像L2〜L8が記録されるようになる。
【０００９】
このような構成では、動画像の撮像時に解像度を高くすると、素子の駆動速度等を上げないと、毎秒30画像分必要となる画素信号の読み出しが処理時間内に終わらなくなるため、その読み出し時間の間は画像の撮影ができなくなって画像が欠落することになる。このように画素信号の読み出しが間に合わないために欠落した画像を、撮像された高解像度な画像と読み出しが可能となった低解像度な画像から補間処理して生成する技術も提案されている。（例えば、下記特許文献２参照）。
【００１０】
この補間処理技術について図１０、１１、１２を用いてもう少し詳しく説明しつつ、その課題について説明する。
【００１１】
例えば図１０のように、左上を原点とし、水平方向にｘ軸、垂直方向にｙ軸のｘ、ｙの２次元の座標があり、この上に撮像素子の受光画素配列が存在し、低解像度の撮像素子（a）は４ｘ４の１６画素で構成され、高解像度の撮像素子(b)はその４倍の面積となる８ｘ８の６４画素で構成されているとする。この場合低解像度の撮像素子から、画素データがP(1,1)、P(2,1)、・、P(4,1)、P(1,2)、P(2,2)、・・・、P(4,4)と読み出され、読み出し速度を１クロック（1t）あたり１画素とすると、1画像全てを読み出す時間16tとなる。またこの時間間隔で毎画像データの読み出しができれば欠落するフレームなく撮像された映像を記録できる。
【００１２】
撮像素子から1枚の画像の画素信号を全て読み出すのに必要な読み出し時間をTreadと定義し、低解像度の画像の読み出しに要する時間をＤLtとすると、低解像度な画像の場合にはLread＝ＤLt＝16tとなる。
【００１３】
一方高解像度の受光素子では、P(1,1)、P(2,1)、・、P(8,1)、P(1,2)、P(2,2)、・・P(8,2)、・・・P(8,8)と読み出されることになるため、読み出し速度が低解像度のものと同じく1tあたり１画素とすると、高解像度な1画像全てを読み出す時間をHreadとするとHreadは低解像度に比べて4倍の画素数があるため64tとなる。つまりHread＝64t＝4ＤLtとなり、低解像度の場合に比べて4倍の時間が必要となることが分かる。
【００１４】
但しこの場合でも、素子を高速駆動することで素子からの読み出し速度を1tあたり４画素読み出せれば、1画像全てを読み出す時間は低解像度と同じ4t＝Ｄtとすることもできる。図９はこのように高速駆動できる理想的な場合のフレームの並びを示している。しかし、この場合には上記で説明したように、素子や制御回路を高速駆動することにより回路規模は拡大し、素子はコストアップし、消費電力及び発熱量は増大するという従来の課題が顕在化する。
【００１５】
次に、素子の駆動速度を高解像度と低解像度で同じとした場合、図１１に示すように高解像度の画像の読み出しに必要となるHreadは4ＤLtとなり、この4ＤLtの時間は低解像度の画像も撮像することができなくなる。つまりL2〜L4の低解像度の画像は撮像されないため、H1及びL5、H9の画像を参照しつつ補間処理を施してL2〜L4の画像を新たに生成する構成が特許文献２に記載されている。
【００１６】
しかしこのような構成で補間処理をして画像を生成できる構成にしても、高速に移動している被写体あるいは加速度をもった被写体などを撮影する場合などでは、算出して補間する画像の誤差が大きくなったり画質が劣化したりするという課題が発生してしまう。
【００１７】
例えば、図１２のように(a)の時刻ｔ１におけるH1の高解像度の撮像画像には高速に移動する車が写っているが、(b)時刻ｔ5のL5の低解像度の撮像画像にはもはや車が走り去っていて写っていないような場合、このH1の画像及びL5の画像からL2, L3, L4の画像を補完して生成することは困難であることが分かる。例えば時刻t2のL2の予測画像としては、図１２の(c)なのか、図１２の(d)なのか推定したり、算出することが困難であった。
【先行技術文献】
【特許文献】
【００１８】
【特許文献１】国際公開第２００９／０９８８７７号
【特許文献２】特開２０１０−２８７２２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１９】
この従来の構成では、高解像度の画像列を撮像素子から取得した後、その読み出し処理による待ち時間のため２，３フレーム分は撮像できない期間が発生していた。被写体が高速に移動していたり、あるいは被写体が加速度をもって移動していたりする場合、算出された補間画像の誤差が大きくなる。撮像できない期間が発生している場合、正確に被写体を再現したフレームを作成することが困難となり、結果として画質が劣化したりするという課題があった。
【００２０】
本発明では、移動する被写体でも誤差が無く、より正しい動画像を生成する撮像方法、及び撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００２１】
上記課題を解決するために、本発明の撮像装置は、画像を撮像する第一の撮像部と、連続撮像するよう前記第一の撮像部を制御する第一の撮像制御部と、前記第一の撮像部と同期して画像を撮像する第二の撮像部と、前記第二の撮像部の能力に応じて、前記第二の撮像部が撮像する画像の解像度と、間欠撮像する間隔を制御する第二の撮像制御部と、前記第一の撮像部が連続撮像した第一の画像列と、前記第二の撮像部が間欠撮像した第二の画像列を記録媒体に記録する記録部とを、備える。
【発明の効果】
【００２２】
本発明によれば、移動する被写体でも誤差が無く、より正しい動画像を生成する撮像方法、及び撮像装置を提供できる。
【図面の簡単な説明】
【００２３】
【図１】本発明の実施の形態１における撮像装置のブロック図
【図２】本発明の実施の形態２における撮像装置のブロック図
【図３】本発明の実施の形態２における低解像度の画像データ及び高解像度の画像データの出力イメージの図
【図４】本発明の実施の形態２における低解像度の画像データ及び高解像度の画像データの出力イメージの図
【図５】本発明の実施の形態２における低解像度の画像データ及び高解像度の画像データの出力イメージの図
【図６】本発明の実施の形態３における撮像装置のブロック図
【図７】本発明の実施の形態３における単純補間画像および最終予測画像を得るための補正イメージ図
【図８】本発明の実施の形態３における低解像度の画像データ及び高解像度の画像データから高解像度の画像データを補間するさいの出力イメージの図
【図９】従来例における、理想的な高解像度と低解像度の画像データの配置イメージ図
【図１０】低解像度な撮像素子と高解像度な撮像素子の受光画素配列の図
【図１１】従来例における、現実的な高解像度と低解像度の画像データの配置イメージ図
【図１２】従来例における、画像補間処理での予測イメージ図
【発明を実施するための形態】
【００２４】
以下に、本発明の実施の形態について、図面を参照しながら説明する。
【００２５】
（実施の形態１）
図１は、本発明の実施の形態１における撮像装置のブロック図である。
【００２６】
第一の撮像部１では、第一の映像画像が撮影される。第一の撮像部としては、例えばCCDやCMOS、イメージセンサー等からなる固体撮像素子である。
【００２７】
第一の撮像制御部２は、前記第一の撮像部に読み出し信号１００を送り、撮影された第一の画像データ１０１を読み出す。また読み出された画像信号はフレームあるいはフィールドの単位にまとめて第一の撮像画像１０３として出力される。
【００２８】
第二の撮像部３では、第二の映像画像が撮影される。第二の撮像部も第一の撮像部と同じくCCDやCMOS、イメージセンサー等からなる固体撮像素子で構成される。
【００２９】
第二の撮像制御部４は、前記第二の撮像部に読み出し信号１００を送り、撮影された第二の画像データ１０２を読み出す。また読み出された画像信号はフレームあるいはフィールドの単位にまとめて第二の撮像画像１０４として出力される。
【００３０】
記録部５では、第一の撮像画像１０３と第二の撮像画像１０４および音声データ１０６を入力し、
１０３あるいは１０４の撮像画像は必要に応じて一旦MPEG2やH.264、MotionJPEG等のビデオフォーマットに圧縮処理する。また１０６の音声データも必要に応じて一旦DolbyDigital(AC3)やAAC、MP3などの音声フォーマットに圧縮処理をする。さらに上記の圧縮された画像と音声のデータをMPEG2のプログラムストリームやトランスポートストリーム、あるいはMPEG4形式に多重化して１つのストリームデータにフォーマット変換して記録データ１０５を生成し、例えばDVDやBDなどの光ディスクメディアあるいはSDカードなどの半導体記憶メディアといった記録媒体に記録データを記録する。
【００３１】
記録部では通常は第一の撮像画像が入力され、H.264のビデオフォーマットに圧縮処理をし、音声データをAC3の音声フォーマットに圧縮処理をして、MPEG2のトランスポートストリーム形式に多重化してBDディスクに記録する。同様に、第二の撮像画像が記録部に入力された場合、第二の画像をH.264のビデオフォーマットに変換して、AC3の音声フォーマットと共にMPEG2のトランスポートストリーム形式に多重化してBDディスクに記録する。
【００３２】
以上のように、実施の形態１における撮像装置では、第一の撮像部１および、第二の撮像部２により、それぞれ撮像を行い、それぞれから撮像画像を得ることができる。すなわち、実施の形態１における撮像装置では、撮像画像を得るための撮像部が、第一、第二と存在する。
【００３３】
（実施の形態2）
図２は、本発明の実施の形態２における撮像装置のブロック図である。
【００３４】
第一の撮像部１では、第一の映像画像が撮影される。第一の撮像部としては、例えばCCDやCMOS、イメージセンサー等からなる固体撮像素子である。
【００３５】
低解像度撮像制御部６は、前記第一の撮像部に読み出し信号１００を送り、撮影された低解像度（例えば、７２０×４８０＜動画撮影の場合＞又は、１９２０×１０８０＜静止画撮影の場合＞）の画像データ１１１を読み出す。また読み出された画像信号はフレームあるいはフィールドの単位にまとめて低解像度の撮像画像１１３として出力される。低解像度撮像制御部６は、第一の撮像部１を間欠撮像することなく、連続撮像するよう制御する。
【００３６】
第二の撮像部３では、第二の映像画像が撮影される。第二の撮像部も第一の撮像部と同じくCCDやCMOS、イメージセンサー等からなる固体撮像素子で構成される。
【００３７】
高解像度撮像制御部７は、前記第二の撮像部に読み出し信号１００を送り、撮影された高解像度（例えば、１４４０×９６０＜動画撮影の場合＞又は、３８４０×２１６０＜静止画撮影の場合＞）の画像データ１１２を読み出す。また読み出された画像信号はフレームあるいはフィールドの単位にまとめて高解像度の撮像画像１１４として出力される。また、高解像度撮像制御部７は、撮像素子の撮像能力や、撮像制御部のデータ転送能力に応じて、撮像される画像の解像度と間欠撮像する間隔を制御することできる。
【００３８】
記録部５では、低解像度の撮像画像１１３と高解像度の撮像画像１１４および音声データ１０６を入力し、１１３あるいは１１４の撮像画像は必要に応じて一旦MPEG2やH.264、MotionJPEG等のビデオフォーマットに圧縮処理する。また１０６の音声データも必要に応じて一旦DolbyDigital(AC3)やAAC、MP3などの音声フォーマットに圧縮処理をする。さらに上記の圧縮された画像と音声のデータをMPEG2のプログラムストリームやトランスポートストリーム、あるいはMPEG4形式に多重化して１つのストリームデータにフォーマット変換して記録データ１１５を生成し、例えばDVDやBDなどの光ディスクメディアあるいはSDカードなどの半導体記憶メディアといった記録媒体に記録データを記録する。
【００３９】
次に、記録部５の具体的な動作について図３、４及び図５を交えて説明する。
【００４０】
図３は、記録部５に入力される低解像度の画像データ及び高解像度の画像データのイメージ図であり、撮像素子の撮像能力や、撮像制御部のデータ転送能力が十分に高いため、低解像度の撮像画像と高解像度の撮像画像のどちらの画像も、まったく欠落することなく同じフレームレートで記録部に入力されてくる場合のイメージ図を示している。すなわち、高解像度撮像制御部７は、撮像素子の撮像能力や、撮像制御部のデータ転送能力が十分に高いために、間欠撮像する間隔がゼロに制御している。
【００４１】
記録部５は、低解像度の撮像画像１１３が入力されると、H.264のビデオフォーマットに圧縮処理をする。低解像度の画像を例えばH.264のビデオフォーマットなどに圧縮・変換処理すると同時に、同じタイミングで入力された高解像度の撮像画像１１４も圧縮・変換処理する。この変換によって得られる２つのビデオストリーム（低解像度のビデオストリームと、高解像度のビデオストリーム）を、別途入力される例えばAC3の音声データ１０６と共に例えばMPEG2のトランスポートストリーム形式で多重化して、低解像度のストリームと高解像度の２つのビデオストリームおよび１つの音声ストリームが１つのストリームとして多重化された記録データ１１５を作成してBDディスクに記録する。
【００４２】
具体的には、時刻ｔ１からｔ９の時間の間に、記録部５に入力されてくる低解像度の画像データをL1からL9とし、高解像度の画像データをH1からH9とする。このとき、ｔ１の時刻に入力される低解像度のフレームあるいはフィールド画像がL1、高解像度のフレームあるいはフィールド画像がH1というように添え字の数字が同じものは同じ時刻に入力される画像として示している。
【００４３】
図３では、低解像度の画像データのみならず、高解像度の画像データも低解像度と同一タイミングで入力することができるくらい高速にデータ転送が行えるため、高解像度のフレームあるいはフィールド画像もH1からH9までどのフレームあるいはフィールドが欠落することなく記録部５に入力されている。
【００４４】
この場合、記録部５では、上述したようにL1からL9を圧縮処理した低解像度の画像データとH1からH9を圧縮処理した高解像度の画像データという2つのストリームと例えばAC３の音声データをMPEG2のトランスポート形式で多重化した画像データを作成し、例えばＢＤディスクといったディスクの記録媒体に記録する構成にすることが可能となる。
【００４５】
このような構成の撮像画像データを作成することで、例えば、再生装置のデコード能力が低い場合は、BDディスクの記録媒体に記録された低解像度のストリームを読み出し、一方、再生装置のデコード能力が高い場合は、BDディスクの記録媒体に記録された高解像度のストリームを読み出すことができる。すなわち、再生装置のデコード能力によって標準画質、あるいはハイビジョン画質を切り替えることのできるデータを生成することが可能となる。
【００４６】
撮像素子のデータ転送能力を超えた高解像度の読み出し処理を行なう場合、次のフレームを撮像すべきタイミングにおいても、今だ前のフレームの読み出し処理が終了していないことになる。すなわち、前のフレームの読み出し処理が終了するまでは、新しいフレームの撮像が開始できなった。その結果、撮像できないフレームが生じていた。一方、実施の形態２における撮像装置は、第一の撮像部１と、第二の撮像部２のそれぞれにおいて、一方は低解像度の画像の撮像、他方は高解像度の画像の撮像を行なう。そのため、第二の撮像部２が撮像素子のデータ転送能力を超えた高解像度の読み出し処理を行なったとしても、第一の撮像部１は、低解像度の画像の撮像を連続して続けることができる。従って、実施の形態２における撮像装置では、撮像できないフレームの発生を回避することができる。撮像できないフレームの発生を回避した結果、移動する被写体を撮像したとしても、取得されるフレーム間において誤差がなく、正しい映像が記録できる撮像装置を提供することができる。
【００４７】
図４は、図３と同じく記録部５に入力される低解像度の画像データ及び高解像度の画像データのイメージ図であるが、低解像度撮像制御部および高解像度撮像制御部のデータ転送能力がいづれも低解像度の撮像画像を転送する能力しか持たない場合に、記録部に入力されてくる低解像度の画像データ及び高解像度の画像データのフレームイメージ図を示している。すなわち、高解像度撮像制御部７は、撮像素子の撮像能力や、撮像制御部のデータ転送能力が十分に高くないために、間欠撮像する間隔を長くしている。例えば低解像度の画像サイズが７２０ｘ４８０ドットで、高解像度の画像サイズが１４４０ｘ９６０ドットである場合、低解像度の１フレーム（1画像）の画素数が345600ドットであるのに対して、高解像度の１フレーム（1画像）の画素数は1382400ドットとなり、高解像度の画素数は低解像度の画素数の4倍となる。一方で上述したように第一の撮像部１と第二の撮像部３の撮像素子からの画素データを低解像度撮像制御部６と高解像度撮像制御部７を介してデータ転送するための処理能力としては、低解像度の撮像画像を転送する能力しか持たない。
【００４８】
この場合、低解像度の345600ドットのデータを読み出しに要する時間をＤtとして、ｔ１からｔ２までの時間で345600ドットのデータが読み出しできるとするとＤｔ＝ｔ２−ｔ１となる。このとき時間ｔ１からｔ９の時間の間に、記録部５に入力されてくる低解像度の画像データをL1からL9、高解像度の画像データをH1からH9とし、ｔ１の時刻には低解像度のフレームあるいはフィールド画像がL1、高解像度のフレームあるいはフィールド画像がH1というように添え字の数字が同じものは同じ時刻に入力される画像として表示するとしたら、図４に示すように低解像度の画像データはt1,t2,t3,・・・・・,t9の時刻にそれぞれL1、L2、L3、・・・・・、L9と１フレームづつ記録部に入力ができる。一方高解像度の1382400ドットの１フレームのデータを読み出すには４Ｄｔだけの時間が必要となるためｔ0からｔ９までの時間では高解像度の画像はH1,H5,H9の３フレームの画像データしか転送できない。
【００４９】
撮像素子のデータ転送能力を超えた高解像度の読み出し処理を行なう場合、次のフレームを撮像すべきタイミングにおいても、今だ前のフレームの読み出し処理が終了していないことになる。すなわち、前のフレームの読み出し処理が終了するまでは、新しいフレームの撮像が開始できなった。その結果、撮像できないフレームが生じていた。一方、実施の形態２における撮像装置は、第一の撮像部１と、第二の撮像部２のそれぞれにおいて、一方は低解像度の画像の撮像、他方は高解像度の画像の撮像を行なう。そのため、第二の撮像部２が撮像素子のデータ転送能力を超えた高解像度の読み出し処理を行なったとしても、第一の撮像部１は、低解像度の画像の撮像を連続して続けることができる。従って、実施の形態２における撮像装置では、撮像できないフレームの発生を回避することができる。撮像できないフレームの発生を回避した結果、移動する被写体を撮像したとしても、取得されるフレーム間において誤差がなく、正しい映像が記録できる撮像装置を提供することができる。
【００５０】
図５は、図４のようにｔ0からｔ９まで９Ｄｔの時間の内に低解像度の撮像画像はL1、L2、L3、・・・・・、L9と９フレームの画像データを転送でき、高解像度の画素数はH1,H5,H9の３フレームの画像データしか転送できない場合に、記録部５においてｔ０からｔ９までの各時刻に高解像度の画像か低解像度の画像かいづれか片方だけを選択する構成とし、高解像度の画像も低解像度の画像も転送される時刻の画像には高解像度の画像を、低解像度の画像のみしか転送されない時刻では低解像度の画像を選択するように構成した際のメディアに記録されるビデオデータの画像サイズをしめしたイメージ図である。
【００５１】
あるいは、記録部５では低解像度の撮像画像のみが入力された場合には、低解像度の撮像画像を選択し、高解像度の撮像画像も記録部に入力された場合には、同じタイミングで入力された低解像度の画像を選択する代わりに、高解像度の撮像画像を選択するように動作して、選択された撮像画像を順番に例えばH.264のビデオフォーマットに変換して１つのビデオストリームを作成し、別途入力される例えばAC3の音声データ１０６と共にMPEG2のトランスポートストリーム形式に多重化して１つのビデオストリームと１つの音声ストリームが多重化された記録データ１１５を作成してBDディスクに記録する構成にしても良い。
【００５２】
この場合、高解像度の画像も低解像度の画像も入力される時刻ｔ１、ｔ５、ｔ１０では高解像度の画像H1、H５、H10が選択され、それ以外のt２、t３、ｔ４、ｔ６、ｔ７、ｔ８、ｔ９では低解像度の画像L2、L3、L4、L6、L7、L8、L9が選択されたビデオストリームができる。記録部５ではさらに、このように低解像度の画像の間に定間隔で高解像度の画像が挿入されたビデオストリームを例えばH.264の形式で圧縮したストリームと、例えば別途入力されるAC３の音声データをMPEG2のトランスポート形式で多重化して画像データを作成し、例えばＢＤディスクといったディスクの記録媒体に記録する。
【００５３】
このような構成の画像データを作成することで、再生装置のデコーダによって、標準画質の画像をその前後に定間隔で挿入されている高画質の画像を参照して補間処理することで、擬似的に高解像度の画質に変換しながら表示するような応用のできるデータを生成することが可能となる。このとき、図４に示すように、H1、H5,H9および、L1〜L9を記録した場合のよりも、図５に示すように、H1、L2、L3、L4、H5、L6、L7、L8、H９を記録した場合の方が、総記録容量を少なくすることができる。また、再生装置のデコーダによっては、図５に示すデータ列を処理することで、すべて高解像度のフレームとなるよう、低解像度のフレームに対して補完処理を施すことができる。
【００５４】
（実施の形態3）
図６は、本発明の実施の形態３における撮像装置のブロック図である。
【００５５】
第一の撮像部１では、第一の映像画像が撮影される。第一の撮像部としては、例えばCCDやCMOS、イメージセンサー等からなる固体撮像素子である。
【００５６】
低解像度撮像制御部６は、前記第一の撮像部に読み出し信号１００を送り、撮影された低解像度の画像データ１１１を読み出す。また読み出された画像信号はフレームあるいはフィールドの単位にまとめて低解像度の撮像画像１１３として出力される。低解像度撮像制御部６は、第一の撮像部１を間欠撮像することなく、連続撮像するよう制御する。
【００５７】
第二の撮像部３では、第二の映像画像が撮影される。第二の撮像部も第一の撮像部と同じくCCDやCMOS、イメージセンサー等からなる固体撮像素子で構成される。
【００５８】
高解像度撮像制御部７は、前記第二の撮像部に読み出し信号１００を送り、撮影された高解像度の画像データ１１２を読み出す。また読み出された画像信号はフレームあるいはフィールドの単位にまとめて高解像度の撮像画像１１４として出力される。また、高解像度撮像制御部７は、撮像素子の撮像能力や、撮像制御部のデータ転送能力に応じて、撮像される画像の解像度と間欠撮像する間隔を制御することできる。
【００５９】
画像処理部８は、入力される高解像度の撮像画像１１４および低解像度の撮像画像１１３を用いて、高解像度の画像を参照しながら、低解像度の画像をリサイズ・補間して高解像度な画像に変換処理をして高解像処理データ１２０として出力する。
次に、画像処理部８の具体的な動作について図７を用いて説明する。
【００６０】
例えば図４に示すように低解像度の画像データはt1,t2,t3,・・・・・,t9の時刻にそれぞれL1、L2、L3、・・・・・、L9と１フレームづつ記録部に入力ができるが、一方高解像度の画像はH1,H5,H9の３フレームの画像データしか記録部に入力できないような場合に、これらの画像データから、補間などの技術を用いて欠落した高解像度の画像データH2、H3、H4などを推測する方法について図７の図を用いて説明する。高解像度の画像はH１＜図７の（a）＞,およびH5＜図７の（b）＞しか撮像できていないため、この２つの画像データを用いて例えばH1とH5との撮像時間間隔に応じて重み付けをした補間画像からH3‘の単純な補間画像＜図７の（c）＞が算出できる。次にH3’の時刻と一致しているt3に撮像されたL3の映像＜図７の（d）＞に移っている被写体の位置などに合致するように、単純な補間画像＜図７の（c）＞の映像の位置を補正することで最終的なH3‘の予測画像＜図７の（e）＞を得る。同様の方法によって、H1とH5の単純補間画像を低解像度の画像データL2,L3,L4で補正することでH2’、H3’、H4’の最終補正画像を算出し、H5とH9の単純補間画像を低解像度の画像データL6,L7,L8で補正することでH6’、H7’、H8’の最終補正画像を算出して図８に示す高解像処理データH1、H2’、H3’、H4’、H5、H6’、H7’、H8’、H9を出力する。
【００６１】
多重・記録部９では、高解像度に変換された高解像処理データ１２０および音声データ１０６を入力し、１２０の撮像画像は必要に応じて一旦MPEG2やH.264、MotionJPEG等のビデオフォーマットに圧縮処理する。また１０６の音声データも必要に応じて一旦DolbyDigital(AC3)やAAC、MP3などの音声フォーマットに圧縮処理をする。さらに上記の圧縮された画像と音声のデータをMPEG2のプログラムストリームやトランスポートストリーム、あるいはMPEG4形式に多重化して１つのストリームデータにフォーマット変換して記録データ１１５を生成し、例えばDVDやBDなどの光ディスクメディアあるいはSDカードなどの半導体記憶メディアといった記録媒体に記録データを記録する。
【００６２】
以上のように、実施の形態３における撮像装置は、高解像度の画像を出力する第二の撮像部と、低解像度の画像を、第二の撮像部よりも高フレームレートで出力することができる第一の撮像部とを備えている。実施の形態３における撮像装置において、第二の撮像部は、高解像度の画像を高フレームレートでそのまま出力することはできないが、第二の撮像部よりも高フレームレートで出力可能な第一の撮像部が出力する低解像度の画像を用いて、画像処理部は、より高解像度な画像を補完処理により作成することができる。その結果、画像処理部は、より高解像度の画像を、高フレームレートにより出力することが可能となる。
【００６３】
本発明では、高解像度の撮像部と低解像度の撮像部を独立させる構成としているため、高解像度の撮像部からの画素信号を読み出している間の待ち時間が発生することによって、それに続く低解像度の撮像ができなくなることが無いため、低解像度のフレームの欠落は発生しない。結果として被写体が高速に移動していたり、あるいは被写体が加速度をもって移動していたりする場合でも、画質が劣化することなく、高解像度の画像の撮像と低解像度の画像の撮像を切り替えられる撮像装置を提供することができる。
【００６４】
また高解像度と低解像度の画像を同時に撮像し、同一時刻に撮像された低解像度の画像と高解像度の画像を比較したり、参照したりしながら画像処理ができる。
更に高解像度と低解像度の撮像素子が独立しているため、高解像度時の撮像インターバルを自由に設定するが可能である。そのため、動きの速い被写体を撮影する際には、高解像度の撮像制御部を解像度を抑えて間欠撮像するインターバルを短くし、動きの緩やかな被写体を撮影する際には、撮像素子を最大限に利用した超高解像度とするかわりに撮像インターバルを長くするといった撮像制御も可能となり、後の画像処理によって高解像度で高フレームレートのデータを高画質に生成できる撮像装置を安価に提供することが可能となる。
【００６５】
上記実施の形態において、第一の撮像部と、第二の撮像部について説明した。これらの撮像部は、単眼の光学系を形成された被写体像を撮像するために、同一の撮像センサ上に設けられた第一の撮像領域および、第二の撮像領域であってもよい。また、これらの撮像部は、複眼の光学系において、左目画像撮像用の光学系を介して形成される被写体像を撮像する第一の撮像センサと、右眼画像撮像用の光学系を介して形成される被写体像を撮像する第二の撮像センサであってもよい。この場合、第一の撮像センサと、第二の撮像センサとは、同一の撮像センサであってもよいし、別々の撮像センサであってもよい。
【産業上の利用可能性】
【００６６】
本発明は、撮像装置に適用可能である。ここで、撮像装置の例として、デジタルスチルカメラ、ムービーカメラ、カメラ付き情報端末等に適用可能である。
【符号の説明】
【００６７】
１ 第一の撮像部
２ 第一の撮像制御部
３ 第二の撮像部
４ 第二の撮像制御部
５ 記録部
６ 低解像度撮像制御部
７ 高解像度撮像制御部
８ 画像処理部
９ 多重・記録部
１００ 読み出し信号
１０１ 第一の画像データ
１０２ 第二の画像データ
１０３ 第一の撮像画像
１０４ 第二の撮像画像
１０５ 記録データ
１０６ 音声データ
１１１ 低解像度の画像データ
１１２ 高解像度の画像データ
１１３ 低解像度の撮像画像
１１４ 高解像度の撮像画像
１１５ 記録データ
１１６ 音声データ
１２０ 高解像処理データ
１２１ 高解像記録データ
【特許請求の範囲】
【請求項１】
画像を撮像する第一の撮像部と、
連続撮像するよう前記第一の撮像部を制御する第一の撮像制御部と、
前記第一の撮像部と同期して画像を撮像する第二の撮像部と、
前記第二の撮像部の能力に応じて、前記第二の撮像部が撮像する画像の解像度と、間欠撮像する間隔を制御する第二の撮像制御部と、
前記第一の撮像部が連続撮像した第一の画像列と、前記第二の撮像部が間欠撮像した第二の画像列を記録媒体に記録する記録部とを、備えた撮像装置。
【請求項２】
前記第一の撮像制御部は、第一の解像度で、第一のフレームレートにより画像を連続撮像するよう、前記第一の撮像部を制御し、
前記第二の撮像制御部は、前記第一の解像度よりも高解像度で、前記第一のフレームレートよりも長いフレームレートになるよう、間欠撮像する間隔を制御する、
請求項１に記載の撮像装置。
【請求項３】
前記連続撮像された前記第一の画像列と、前記間欠撮像された前記第二の画像列とに基づいて、前記第一の画像列に含まれる各画像に撮像タイミングが対応し、前記第一の解像度よりも高解像の画像列を生成する画像処理部を更に備えた、
請求項２に記載の撮像装置。
【請求項１】
画像を撮像する第一の撮像部と、
連続撮像するよう前記第一の撮像部を制御する第一の撮像制御部と、
前記第一の撮像部と同期して画像を撮像する第二の撮像部と、
前記第二の撮像部の能力に応じて、前記第二の撮像部が撮像する画像の解像度と、間欠撮像する間隔を制御する第二の撮像制御部と、
前記第一の撮像部が連続撮像した第一の画像列と、前記第二の撮像部が間欠撮像した第二の画像列を記録媒体に記録する記録部とを、備えた撮像装置。
【請求項２】
前記第一の撮像制御部は、第一の解像度で、第一のフレームレートにより画像を連続撮像するよう、前記第一の撮像部を制御し、
前記第二の撮像制御部は、前記第一の解像度よりも高解像度で、前記第一のフレームレートよりも長いフレームレートになるよう、間欠撮像する間隔を制御する、
請求項１に記載の撮像装置。
【請求項３】
前記連続撮像された前記第一の画像列と、前記間欠撮像された前記第二の画像列とに基づいて、前記第一の画像列に含まれる各画像に撮像タイミングが対応し、前記第一の解像度よりも高解像の画像列を生成する画像処理部を更に備えた、
請求項２に記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−２４４３１２（Ｐ２０１２−２４４３１２Ａ）
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願番号】特願２０１１−１１０９３４（Ｐ２０１１−１１０９３４）
【出願日】平成２３年５月１８日（２０１１．５．１８）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願日】平成２３年５月１８日（２０１１．５．１８）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]