撮像素子、撮像装置、撮像システム、撮像方法、モーションデータ生成システム、モーションデータ生成プログラム及びモーションデータ生成方法
【課題】所定露光時間に対応した通常フレームレートの画像と、所定露光時間以下の複数種類の露光時間に対応した高速フレームレートの画像とを同時に撮像できる撮像素子及び撮像装置、並びに当該撮像装置を利用したモーションデータ生成システム、モーションデータ生成プログラム及びモーションデータ生成方法を提供する。
【解決手段】撮像装置1を、光電変換素子等から構成される撮像素子100と、撮像素子100からの画素信号を破壊読み出し方式及び非破壊読み出し方式の両方式を用いて読み出す撮像処理部10と、撮像処理部10から出力される、複数回の間引き走査において非破壊読み出し方式で読み出された間引き走査画像データに基づき高フレームレート画像データを生成する画像処理部12と、通常走査画素データ、間引き走査画像データ及び高フレームレート画像データ等の各種画像データを記憶するフレームメモリ14とを含んだ構成とした。
【解決手段】撮像装置1を、光電変換素子等から構成される撮像素子100と、撮像素子100からの画素信号を破壊読み出し方式及び非破壊読み出し方式の両方式を用いて読み出す撮像処理部10と、撮像処理部10から出力される、複数回の間引き走査において非破壊読み出し方式で読み出された間引き走査画像データに基づき高フレームレート画像データを生成する画像処理部12と、通常走査画素データ、間引き走査画像データ及び高フレームレート画像データ等の各種画像データを記憶するフレームメモリ14とを含んだ構成とした。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、光電変換素子からの電荷の読み出しを、破壊読み出し方式及び非破壊読み出し方式の両方を用いて行うことが可能な撮像装置及び当該撮像装置を利用したモーションデータ生成システムに関する。
【背景技術】
【0002】
従来、リアルな動きのCG(Computer Graphics)キャラクタが要求される映画やゲームなどの分野においては、例えば、人間の身体運動をコンピュータに取り込むモーションキャプチャが良く用いられる。モーションキャプチャの手法は幾つか存在するが、比較的ポピュラーな手法は光学式である。光学式とは、撮像装置(カメラ)でマーカを付けた対象物体(人間など)を撮影し、この撮影により得た画像データを画像処理してマーカの位置を検出し、対象物体の動き(モーション)データを取得(生成)する方法である。光学式においては、高速フレームレートの撮像装置(カメラ)が使用される。これはフレームレートが高ければ、1フレームあたりのマーカの移動量が小さくなり位置検出の精度が向上するためである。しかし、高速フレームレートのカメラを用いると露光時間が短くなるため、光量不足となり、撮影画像からマーカの位置を検出することが困難になる。そのため、モーションキャプチャ装置において対象物体の動作をキャプチャする際に、例えば、補助光装置(例えば、ストロボ)及び光を反射するマーカを組み合わせて光量不足となるのを防いでいる(特許文献1参照)。
【特許文献1】特開2003―106812号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかしながら、上記特許文献1の従来技術にあっては、位置検出の精度を高めるために、高速なフレームレートで対象物体の撮影を行うと、光量の多いマーカは正確に撮影できても、対象物体の外観及び背景などを正確(精細)に撮影することができない。そのため、対象物体のモーションデータと共に対象物体の精細な外観及び背景などの画像が必要なときは、別途、対象物体の精細な外観及び背景などの画像が得られるフレームレート(通常フレームレート)で対象物体の撮影を行う必要がある。
【0004】
そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものであって、所定露光時間に対応した通常フレームレートの画像と、所定露光時間以下の複数種類の露光時間に対応した高速フレームレートの画像とを同時に撮像できる撮像素子、撮像装置、撮像システム及び撮像方法、並びに当該撮像装置、撮像システム又は撮像方法を利用したモーションデータ生成システム、モーションデータ生成プログラム及びモーションデータ生成方法を提供することを目的としている。
【課題を解決するための手段】
【0005】
〔形態1〕 上記目的を達成するために、形態1の撮像素子は、
露光した光を電荷に変換して蓄積する複数の光電変換素子がマトリクス状に配設された光電変換部と、
前記光電変換素子の構成する各画素を走査し、当該走査した各画素からの所定露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴う破壊読み出し方式で行う第1読出手段と、
前記所定露光時間の間に、前記光電変換素子の構成する各画素に対して複数回の走査を行うと共に、当該各走査における前記各画素からの、前記所定露光時間以下の複数種類の露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴わない非破壊読み出し方式で行う第2読出手段と、
前記第1読出手段で読み出される、前記所定露光時間で露光した時の電荷から構成される画素データを順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第1出力チャンネルと、
前記第2読出手段で読み出される画素データを、前記複数回の走査における各走査毎に順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第2出力チャンネルと、を備え、
前記第2読出手段は、前記複数回の走査を、前記複数の光電変換素子の構成する画素群から所定の画素を間引いた残りの画素に対して行うことを特徴としている。
【0006】
このような構成であれば、第1読出手段によって、前記光電変換素子の構成する各画素を走査し、当該走査した各画素からの所定露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴う破壊読み出し方式で行うことが可能であり、第2読出手段によって、前記所定露光時間の間に、前記光電変換素子の構成する各画素に対して複数回の走査を行うと共に、当該各走査における前記各画素からの、前記所定露光時間以下の複数種類の露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴わない非破壊読み出し方式で行うことが可能である。
【0007】
更に、第1出力チャンネルによって、前記第1読出手段で読み出される、前記所定露光時間で露光した時の電荷から構成される画素データを順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力することが可能であり、第2出力チャンネルによって、前記第2読出手段で読み出される画素データを、前記複数回の走査における各走査毎に順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力することが可能である。
【0008】
なお更に、前記第2読出手段は、前記複数回の走査を、前記複数の光電変換素子の構成する画素群から所定の画素を間引いた残りの画素に対して行うことが可能である。
つまり、第1読出手段によって、所定露光時間の露光で光電変換部の各画素から電荷の破壊読み出しを行い、一方、所定露光時間の露光が行われている期間中に、第2読出手段によって、前記光電変換部の画素のうち所定画素を間引いた残りの画素に対して、複数回の走査を行い、前記所定露光時間以下の複数種類の露光時間で露光された画素の電荷の非破壊読み出しを行うことができる。更に、第1読出手段で走査し読み出した所定露光時間で露光した時の画素データは第1出力チャンネルから出力し、第2読出手段で走査し読み出した所定露光時間以下の複数種類の露光時間で露光時の画素データは第2出力チャンネルから出力するようにしたので、破壊読み出し方式で読み出した画素データと、非破壊読み出し方式で読み出した画素データとをそれぞれ独立に出力することができる。
【0009】
また、第2読出手段においては、所定画素を間引きした残りの画素に対して走査を行うため、全画素に対して走査を行うよりも高速な走査が可能になる。更に、各画素からの電荷の読み出しを非破壊読み出し方式で行うと共に、所定露光時間の露光期間中に、所定露光時間以下の複数種類の露光時間で複数回の走査を行うようにしたので、高速なフレームレートで電荷を読み出すことができる。これにより、被写体の高速な動きに追随して、所定露光時間では捉えきれない動作中(位置変位途中)の被写体画像を撮像することが可能となる。また、電荷の読み出しを非破壊読み出し方式で行うことで、所定露光時間の露光期間において複数回の走査を行っても各画素の蓄積電荷量を維持することができる。
【0010】
例えば、比較的輝度が高く且つ動きのある被写体(例えば、モーションキャプチャのマーカなど)及び比較的輝度の低い(暗い)背景から構成される撮像対象を撮像する場合に、第1読出手段で読み出した所定露光時間で露光時の電荷から構成される画素データから、被写体及び背景が十分な露光時間で露光された鮮明な画像を得ることができると共に、第2読出手段で読み出した、複数回の走査による所定露光時間以下の複数種類の露光時間で露光時の電荷から構成される画素データから、被写体の動きに追従し被写体の動きを正確に捉えた複数の画像を得ることができる。
【0011】
つまり、所定露光時間の露光期間において、撮像対象が鮮明に撮像された撮像画像と、被写体の動きを正確に捉えた複数の撮像画像とを同時に得ることができるという効果が得られる。
また、間引きする画素数を変更することによって、簡易にフレームレートを変更(高速化)することができるという効果も得られる。
【0012】
ここで、上記「光電変換部」は、例えば、CMOS技術を用いて構成されており、CMOS技術を利用した非破壊読み出し可能な撮像素子としては、閾値変調型撮像素子(例えば、VMIS(Threshold Voltage Modulation Image Sensor))などがある。以下、形態2の撮像素子、形態3及び6の撮像装置、形態13及び14の撮像システム、形態15及び16の撮像方法において同じである。
【0013】
また、上記「破壊読読み出し方式」は、撮像装置の撮像素子(光電変換部)を構成する光電変換素子から電荷(画素信号)を読み出すときに、当該光電変換素子に蓄積された電荷を空にするリセット処理を伴うものである。以下、形態2の撮像素子、形態3及び6の撮像装置、形態13及び14の撮像システム、形態15及び16の撮像方法において同じである。
【0014】
また、上記「非破壊読み出し方式」は、前記光電変換素子から電荷(画素信号)を読み出すときに、当該光電変換素子に蓄積された電荷を空にせず蓄積状態を維持したままで読み出すものである。つまり、電荷読み出し時にリセット処理を伴わないため、設定された露光時間に至るまで、電荷の蓄積途中において、何度でも電荷の読み出しを行うことができる。以下、形態2の撮像素子、形態3及び6の撮像装置、形態13及び14の撮像システム、形態15及び16の撮像方法において同じである。
【0015】
〔形態2〕 また、上記目的を達成するために、形態2の撮像素子は、
露光した光を電荷に変換して蓄積する複数の光電変換素子がマトリクス状に配設された光電変換部と、
前記光電変換素子の構成する各画素を走査し、当該走査した各画素からの所定露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴う破壊読み出し方式で行う第1読出手段と、
前記各画素に対して行う複数回の走査を所定の組み合わせでN個の組に分割し、前記所定露光時間の間に、前記分割した各組の走査を、各組間の走査間隔が同じ時間間隔となるように行うと共に、当該各走査における前記各画素からの、前記所定露光時間以下の複数種類の露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴わない非破壊読み出し方式で行う第2読出手段と、
前記第1読出手段で読み出される、前記所定露光時間で露光した時の電荷から構成される画素データを順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第1出力チャンネルと、
前記第2読み出し手段で読み出される画素データを各走査毎に順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する、前記各組毎に独立したN個(Nは2以上の自然数)の第2〜第(N+1)出力チャンネルと、を備え、
前記第2読出手段は、前記各走査を、前記複数の光電変換素子の構成する画素群から所定の画素を間引いた残りの画素に対して行うことを特徴としている。
【0016】
このような構成であれば、第1読出手段によって、前記光電変換素子の構成する各画素を走査し、当該走査した各画素からの所定露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴う破壊読み出し方式で行うことが可能であり、第2読出手段によって、前記所定露光時間の間に、前記光電変換素子の構成する各画素に対して複数回の走査を行うと共に、当該各走査における前記各画素からの、前記所定露光時間以下の複数種類の露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴わない非破壊読み出し方式で行うことが可能である。
【0017】
更に、第1出力チャンネルによって、前記第1読出手段で読み出される、前記所定露光時間で露光した時の電荷から構成される画素データを順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力することが可能であり、前記各組毎に独立した第2〜第(N+1)出力チャンネルによって、前記第2読み出し手段で読み出される画素データを各走査毎に順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力することが可能である。
【0018】
なお更に、前記第2読出手段は、前記各走査を、前記複数の光電変換素子の構成する画素群から所定の画素を間引いた残りの画素に対して行うことが可能である。
つまり、第1読出手段によって、所定露光時間の露光で光電変換部の各画素から電荷の破壊読み出しを行い、一方、所定露光時間の露光が行われている期間中に、第2読出手段によって、前記光電変換部の画素のうち所定画素を間引いた残りの画素に対して、各組毎に走査を行い、各組毎に独立に前記所定露光時間以下の複数種類の露光時間で露光された画素の電荷の非破壊読み出しを行うことができる。更に、第1読出手段で走査し読み出した所定露光時間で露光した時の画素データは第1出力チャンネルから出力し、第2読出手段で走査し読み出した各組の所定露光時間以下の複数種類の露光時間で露光時の画素データは第2〜第(N+1)出力チャンネルから出力するようにしたので、破壊読み出し方式で読み出した画素データと、非破壊読み出し方式で読み出した各組の画素データとをそれぞれ独立に出力することができる。
【0019】
また、第2読出手段においては、所定画素を間引きした残りの画素に対して走査を行うため、全画素に対して走査を行うよりも高速な走査が可能になる。更に、各画素からの電荷の読み出しを非破壊読み出し方式で行うと共に、所定露光時間の露光期間中に、所定露光時間以下の複数種類の露光時間で複数回の走査を行うようにしたので、高速なフレームレートで電荷を読み出すことができる。これにより、被写体の高速な動きに追随して、所定露光時間では捉えきれない動作中(位置変位途中)の被写体画像を撮像することが可能となる。また、電荷の読み出しを非破壊読み出し方式で行うことで、所定露光時間の露光期間において複数回の走査を行っても各画素の蓄積電荷量を維持することができる。また、間引きする画素数を変更することによって、簡易にフレームレートを変更することが可能である。更に、出力チャンネル数を物理的に増やすことによって、走査回数を簡易に増加することができ、これにより、所定露光期間中における同一画素に対する電荷の読み出し回数を簡易に増加することが可能である。
【0020】
例えば、比較的輝度が高く且つ動きのある被写体(例えば、モーションキャプチャのマーカなど)及び比較的輝度の低い(暗い)背景から構成される撮像対象を撮像する場合に、第1読出手段で読み出した所定露光時間で露光時の電荷から構成される画素データから、被写体及び背景が十分な露光時間で露光された鮮明な画像を得ることができると共に、第2読出手段で読み出した、複数回の走査による所定露光時間以下の複数種類の露光時間で露光時の電荷から構成される画素データから、被写体の動きに追従し被写体の動きを正確に捉えた複数の画像を得ることができる。
【0021】
つまり、所定露光時間の露光期間において、撮像対象が鮮明に撮像された撮像画像と、被写体の動きを正確に捉えた複数の撮像画像とを同時に得ることができるという効果が得られる。
また、間引き画素数や出力チャンネル数を増やすことによって、簡易に、より高速なフレームレートで電荷を読み出すことができるという効果も得られる。
【0022】
〔形態3〕 一方、上記目的を達成するために、形態3の撮像装置は、
露光した光を電荷に変換して蓄積する複数の光電変換素子がマトリクス状に配設された光電変換部と、
前記光電変換素子の構成する各画素を走査し、当該走査した各画素からの所定露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴う破壊読み出し方式で行う第1読出手段と、
前記所定露光時間の間に、前記光電変換素子の構成する各画素に対して複数回の走査を行うと共に、当該各走査における前記各画素からの、前記所定露光時間以下の複数種類の露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴わない非破壊読み出し方式で行う第2読出手段と、
前記第1読出手段で読み出される、前記所定露光時間で露光した時の電荷から構成される画素データを順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する}第1出力チャンネルと、
前記第2読出手段で読み出される画素データを、前記複数回の走査における各走査毎に順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第2出力チャンネルと、
前記第1出力チャンネルから出力される画素データに基づき、所定露光時間で露光した時の撮像画像データを生成する通常撮像画像データ生成手段と、
前記第2出力チャンネルから出力される画素データに基づき、前記複数回の走査における各走査毎の撮像画像データをそれぞれ生成する高速撮像画像データ生成手段と、を備え、
前記第2読出手段は、前記複数回の走査を、前記複数の光電変換素子の構成する画素群から所定の画素を間引いた残りの画素に対して行うことを特徴としている。
【0023】
このような構成であれば、第1読出手段によって、前記光電変換素子の構成する各画素を走査し、当該走査した各画素からの所定露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴う破壊読み出し方式で行うことが可能であり、第2読出手段によって、前記所定露光時間の間に、前記光電変換素子の構成する各画素に対して複数回の走査を行うと共に、当該各走査における前記各画素からの、前記所定露光時間以下の複数種類の露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴わない非破壊読み出し方式で行うことが可能である。
【0024】
更に、第1出力チャンネルによって、前記第1読出手段で読み出される、前記所定露光時間で露光した時の電荷から構成される画素データを順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力することが可能であり、第2出力チャンネルによって、前記第2読出手段で読み出される画素データを、前記複数回の走査における各走査毎に順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力することが可能であり、通常撮像画像データ生成手段によって、前記第1出力チャンネルから出力される画素データに基づき、所定露光時間で露光時の撮像画像データを生成することが可能であり、高速撮像画像データ生成手段によって、前記第2出力チャンネルからそれぞれ出力される画素データに基づき、前記複数回の走査における各走査毎の撮像画像データをそれぞれ生成することが可能である。
【0025】
なお更に、前記第2読出手段は、前記複数回の走査を、前記複数の光電変換素子の構成する画素群から所定の画素を間引いた残りの画素に対して行うことが可能である。
つまり、第1読出手段によって、所定露光時間の露光で光電変換部の各画素から電荷の破壊読み出しを行い、一方、所定露光時間の露光が行われている期間中に、第2読出手段によって、前記光電変換部の画素のうち所定画素を間引いた残りの画素に対して、複数回の走査を行い、前記所定露光時間以下の複数種類の露光時間で露光された画素の電荷の非破壊読み出しを行うことができる。更に、第1読出手段で走査し読み出した所定露光時間で露光時の画素データは第1出力チャンネルから出力し、第2読出手段で走査し読み出した所定露光時間以下の複数種類の露光時間で露光時の画素データは、各走査毎に第2出力チャンネルからそれぞれ独立に出力するようにしたので、破壊読み出し方式で読み出した画素データと、非破壊読み出し方式で読み出した画素データとをそれぞれ独立に出力することができる。
【0026】
また、第2読出手段においては、所定画素を間引きした残りの画素に対して走査を行うため、全画素に対して走査を行うよりも高速な走査が可能になる。更に、各画素からの電荷の読み出しを非破壊読み出し方式で行うと共に、所定露光時間の露光期間中に、所定露光時間以下の複数種類の露光時間で複数回の走査を行うようにしたので、高速なフレームレートで電荷を読み出すことができる。これにより、被写体の高速な動きに追随して、所定露光時間では捉えきれない動作中(位置変位途中)の被写体画像を撮像することが可能となる。また、電荷の読み出しを非破壊読み出し方式で行うことで、所定露光時間の露光期間において複数回の走査を行っても各画素の蓄積電荷量を維持することができる。また、間引きする画素数を変更することによって、簡易にフレームレートを変更することが可能である。
【0027】
例えば、比較的輝度が高く且つ動きのある被写体(例えば、モーションキャプチャのマーカなど)及び比較的輝度の低い(暗い)背景から構成される撮像対象を撮像する場合に、第1読出手段で読み出した所定露光時間で露光時の電荷から構成される画素データから通常撮像画像データを生成するようにしたので、被写体及び背景が十分な露光時間で露光された鮮明な画像を得ることができる。更に、第2読出手段で読み出した、複数回の走査による所定露光時間以下の複数種類の露光時間で露光時の電荷から構成される画素データから各走査毎の高速撮像画像データを生成するようにしたので、被写体の動きに追従し且つ被写体を鮮明に捉えた複数の画像を得ることができる。
つまり、所定露光時間の露光期間において、撮像対象が鮮明に撮像された撮像画像と、被写体の動きを正確に捉えた複数の撮像画像とを同時に得ることができるという効果が得られる。
【0028】
〔形態4〕 更に、形態4の撮像装置は、形態3の撮像装置において、
前記第2出力チャンネルは、前記画素のライン毎に前記画素データを出力するようになっており、
前記第2読出手段は、前記複数回の走査を、前記画素群から所定ラインの画素を間引いた残りのラインの画素に対して行うようになっていることを特徴としている。
このような構成であれば、所定の画素をライン単位で間引くことができるので、走査を行うライン数の調整が簡易であると共に、当該走査を行う画素のライン数の調整によって、フレームレートを簡易に変更することができるという効果が得られる。
【0029】
〔形態5〕 更に、形態5の撮像装置は、形態3又は4の撮像装置において、
前記高速撮像画像データ生成手段は、前記複数回の走査における各回の走査毎に、前記第2出力チャンネルから出力される画素データの画素値と、前記第2出力チャンネルから前記各回の走査の1つ前の回の走査において出力される画素データの画素値との差分値を算出すると共に、当該差分値に基づき、前記各回の走査にそれぞれ対応する撮像画像データを生成することを特徴としている。
【0030】
このような構成であれば、前記複数回の走査における各回の走査時に読み出した画素データとその1つ前の回の走査時に読み出した画素データとの差分値を算出することができるので、各回の走査毎にそれぞれ対応する画素データから、非破壊読み出し方式で問題となる固定パターンノイズを除去又は低減することが可能となる。
従って、固定パターンノイズを除去又は低減した画素データから撮像画像データを生成することができるので、固定パターンノイズによる画質劣化を防ぐ又は低減することができるという効果が得られる。
【0031】
ここで、「固定パターンノイズ」には、長時間露光時に問題になる暗電流シェーディングや、画素ごとのセンサ感度の違いによって発生するものなどがある。以下、形態2の撮像素子、形態3及び6の撮像装置、形態13及び14の撮像システム、形態15及び16の撮像方法において同じである。
【0032】
〔形態6〕 一方、上記目的を達成するために、形態6の撮像装置は、
露光した光を電荷に変換して蓄積する複数の光電変換素子がマトリクス状に配設された光電変換部と、
前記光電変換素子の構成する各画素を走査し、当該走査した各画素からの所定露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴う破壊読み出し方式で行う第1読出手段と、
前記各画素に対して行う複数回の走査を所定の組み合わせでN個の組に分割し、前記所定露光時間の間に、前記分割した各組の走査を、各組間の走査間隔が同じ時間間隔となるように行うと共に、当該各走査における前記各画素からの、前記所定露光時間以下の複数種類の露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴わない非破壊読み出し方式で行う第2読出手段と、
前記第1読出手段で読み出される、前記所定露光時間で露光した時の電荷から構成される画素データを順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第1出力チャンネルと、
前記第2読み出し手段で読み出される画素データを各走査毎に順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する、前記各組毎に独立したN個(Nは2以上の自然数)の第2〜第(N+1)出力チャンネルと、
前記第1出力チャンネルから出力される画素データに基づき、所定露光時間で露光した時の撮像画像データを生成する通常撮像画像データ生成手段と、
前記第2〜第(N+1)出力チャンネルから出力される画素データに基づき、前記複数回の走査における各走査毎の撮像画像データをそれぞれ生成する高速撮像画像データ生成手段と、を備え、
前記第2読出手段は、前記各走査を、前記複数の光電変換素子の構成する画素群から所定の画素を間引いた残りの画素に対して行うことを特徴としている。
【0033】
このような構成であれば、第1読出手段によって、前記光電変換素子の構成する各画素を走査し、当該走査した各画素からの所定露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴う破壊読み出し方式で行うことが可能であり、第2読出手段によって、前記所定露光時間の間に、前記光電変換素子の構成する各画素に対して複数回の走査を行うと共に、当該各走査における前記各画素からの、前記所定露光時間以下の複数種類の露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴わない非破壊読み出し方式で行うことが可能である。
【0034】
更に、第1出力チャンネルによって、前記第1読出手段で読み出される、前記所定露光時間で露光した時の電荷から構成される画素データを順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力することが可能であり、前記各組毎に独立した第2〜第(N+1)出力チャンネルによって、前記第2読み出し手段で読み出される画素データを各走査毎に順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力することが可能であり、通常撮像画像データ生成手段によって、前記第1出力チャンネルから出力される画素データに基づき、所定露光時間で露光時の撮像画像データを生成することが可能であり、高速撮像画像データ生成手段によって、前記第2〜第(N+1)出力チャンネルからそれぞれ出力される画素データに基づき、前記複数回の走査における各走査毎の撮像画像データをそれぞれ生成することが可能である。
【0035】
なお更に、前記第2読出手段は、前記各走査を、前記複数の光電変換素子の構成する画素群から所定の画素を間引いた残りの画素に対して行うことが可能である。
つまり、第1読出手段によって、所定露光時間の露光で光電変換部の各画素から電荷の破壊読み出しを行い、一方、所定露光時間の露光が行われている期間中に、第2読出手段によって、前記光電変換部の画素のうち所定画素を間引いた残りの画素に対して、各組毎に走査を行い、各組毎に独立に前記所定露光時間以下の複数種類の露光時間で露光された画素の電荷の非破壊読み出しを行うことができる。更に、第1読出手段で走査し読み出した所定露光時間で露光した時の画素データは第1出力チャンネルから出力し、第2読出手段で走査し読み出した各組の所定露光時間以下の複数種類の露光時間で露光時の画素データは第2〜第(N+1)出力チャンネルから出力するようにしたので、破壊読み出し方式で読み出した画素データと、非破壊読み出し方式で読み出した各組の画素データとをそれぞれ独立に出力することができる。
【0036】
また、第2読出手段においては、所定画素を間引きした残りの画素に対して走査を行うため、全画素に対して走査を行うよりも高速な走査が可能になる。更に、各画素からの電荷の読み出しを非破壊読み出し方式で行うと共に、所定露光時間の露光期間中に、所定露光時間以下の複数種類の露光時間で複数回の走査を行うようにしたので、高速なフレームレートで電荷を読み出すことができる。これにより、被写体の高速な動きに追随して、所定露光時間では捉えきれない動作中(位置変位途中)の被写体画像を撮像することが可能となる。また、電荷の読み出しを非破壊読み出し方式で行うことで、所定露光時間の露光期間において複数回の走査を行っても各画素の蓄積電荷量を維持することができる。また、間引きする画素数を変更することによって、簡易にフレームレートを変更することが可能である。更に、出力チャンネル数を物理的に増やすことによって、走査回数を簡易に増加することができ、これにより、所定露光期間中における同一画素に対する電荷の読み出し回数を簡易に増加することが可能である。
【0037】
例えば、比較的輝度が高く且つ動きのある被写体(例えば、モーションキャプチャのマーカなど)及び比較的輝度の低い(暗い)背景から構成される撮像対象を撮像する場合に、第1読出手段で読み出した所定露光時間で露光時の電荷から構成される画素データから通常撮像画像データを生成するようにしたので、被写体及び背景が十分な露光時間で露光された鮮明な画像を得ることができる。更に、第2読出手段で読み出した、複数回の走査による所定露光時間以下の複数種類の露光時間で露光時の電荷から構成される画素データから各走査毎の高速撮像画像データを生成するようにしたので、被写体の動きに追従し且つ被写体を鮮明に捉えた複数の画像を得ることができる。
【0038】
つまり、所定露光時間の露光期間において、撮像対象が鮮明に撮像された撮像画像と、被写体の動きを正確に捉えた複数の撮像画像とを同時に得ることができるという効果が得られる。
また、間引き画素数や出力チャンネル数を増やすことによって、簡易に、より高速なフレームレートで電荷を読み出すことができるという効果も得られる。
【0039】
〔形態7〕 更に、形態7の撮像装置は、形態6の撮像装置において、
前記第2〜第(N+1)出力チャンネルは、前記画素のライン毎に前記画素データを出力するようになっており、
前記第2読出手段は、前記複数回の走査を、前記画素群から所定ラインの画素を間引いた残りのラインの画素に対して行うようになっていることを特徴としている。
このような構成であれば、所定の画素をライン単位で間引くことができるので、走査を行うライン数の調整が簡易であると共に、当該走査を行う画素のライン数の調整によって、フレームレートを簡易に変更することができるという効果が得られる。
【0040】
〔形態8〕 更に、形態8の撮像装置は、形態6又は7の撮像装置において、
前記高速撮像画像データ生成手段は、前記複数回の走査における各回の走査毎に、前記第2〜第(N+1)出力チャンネルから出力される画素データの画素値と、前記第2〜第(N+1)出力チャンネルから前記各回の走査の1つ前の回の走査において出力される画素データの画素値との差分値を算出すると共に、当該差分値に基づき、前記各回の走査にそれぞれ対応する撮像画像データを生成することを特徴としている。
このような構成であれば、所定の画素をライン単位で間引くことができるので、走査を行うライン数の調整が簡易であると共に、当該走査を行う画素のライン数の調整によって、フレームレートを簡易に変更することができるという効果が得られる。
【0041】
〔形態9〕 一方、上記目的を達成するために、形態9のモーションデータ生成システムは、
所定動作を行う動作体の動作内容を示すモーションデータを生成するモーションデータ生成システムであって、
請求項3乃至請求項8のいずれか1項に記載の撮像装置を備え、
前記撮像装置は、位置検出用のマーカが付された前記動作体を含む撮像対象に対する、前記所定露光時間で露光時の画素データを前記第1読出手段によって読み出すと共に、前記複数種類の露光時間で露光時の画素データを前記第2読出手段によって読み出し、
前記撮像装置における前記高速撮像画像データ生成手段で生成された撮像画像データに基づき、前記マーカの位置を検出する位置検出手段と、
前記位置検出手段の検出結果に基づき前記モーションデータを生成するモーションデータ生成手段と、を備えることを特徴としている。
【0042】
このような構成であれば、請求項3乃至請求項8のいずれか1項に記載の撮像装置において、位置検出用のマーカが付された前記動作体を含む撮像対象に対する、所定露光時間で露光時の画素データ及び複数種類の露光時間で露光時の画素データを読み出すことが可能である。
更に、位置検出手段によって、前記撮像装置における前記高速撮像画像データ生成手段で生成された撮像画像データに基づき、前記マーカの位置を検出することが可能であり、モーションデータ生成手段によって、前記位置検出手段の検出結果に基づき前記モーションデータを生成することが可能である。
【0043】
従って、高輝度のマーカを付された動作体に対して、高速なフレームレートで電荷を読み出すことができるので、動作体の動きに追随して、所定露光時間では捉えきれない変位中のマーカの画像を取得することが可能である。そして、このようなマーカの画像からマーカの位置を検出することができるので、動作体の動きに対して精度の高い位置検出を行うことが可能であり、これにより、動作体の動きに対してより正確なモーションデータを生成することができるという効果が得られる。また、所定露光時間に対応する撮像画像データからは、鮮明な背景画像(あるは他の動作体画像)のデータや、鮮明な動作体画像のデータが取得できるので、これらの画像データをモーションデータの生成とは別の用途に利用することが可能である。
【0044】
ここで、本システムは、単一の装置、端末その他の機器として実現するようにしてもよいし、複数の装置、端末その他の機器を通信可能に接続したネットワークシステムとして実現するようにしてもよい。後者の場合、各構成要素は、それぞれ通信可能に接続されていれば、複数の機器等のうちいずれに属していてもよい。
【0045】
〔形態10〕 更に、形態10のモーションデータ生成装置は、形態9のモーションデータ生成装置において、
前記撮像装置における前記通常撮像画像データ生成手段で生成された撮像画像データから、前記動作体のテクスチャデータを抽出するテクスチャデータ抽出手段を備えることを特徴としている。
【0046】
このような構成であれば、テクスチャデータ抽出手段によって、前記撮像装置における前記通常撮像画像データ生成手段で生成された撮像画像データから、前記動作体のテクスチャデータを抽出することが可能である。
従って、高速なフレームレートで撮像した撮像画像データからはモーションデータを、動作体を鮮明に撮像した撮像画像データからテクスチャデータを生成することができるので、モーションキャプチャ用の撮像画像と、テクスチャーデータ取得用の撮像画像とを、それぞれを別々に撮像する手間を省くことができるという効果が得られる。
【0047】
〔形態11〕 また、上記目的を達成するために、形態11のモーションデータ生成プログラムは、
所定動作を行う動作体の動作内容を示すモーションデータを生成するためのモーションデータ生成プログラムであって、
請求項3乃至請求項8のいずれか1項に記載の撮像装置における前記高速撮像画像データ生成手段で生成された、位置検出用のマーカが付された前記動作体を含む撮像対象に対する撮像画像データに基づき、前記マーカの位置を検出する位置検出ステップと、
前記位置検出ステップの検出結果に基づき前記モーションデータを生成するモーションデータ生成ステップとからなる処理をコンピュータに実行させるためのプログラムを含むことを特徴としている。
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、形態9のモーションデータ生成システムと同等の作用および効果が得られる。
【0048】
〔形態12〕 また、上記目的を達成するために、形態12のモーションデータ生成方法は、
所定動作を行う動作体の動作内容を示すモーションデータを生成するためのモーションデータ生成方法であって、
請求項3乃至請求項8のいずれか1項に記載の撮像装置における前記高速撮像画像データ生成手段で生成された、位置検出用のマーカが付された前記動作体を含む撮像対象に対する撮像画像データに基づき、前記マーカの位置を検出する位置検出ステップと、
前記位置検出ステップの検出結果に基づき前記モーションデータを生成するモーションデータ生成ステップと、を含むことを特徴としている。
これにより、形態9のモーションデータ生成システムと同等の効果が得られる。
【0049】
〔形態13〕 一方、上記目的を達成するために、形態13の撮像システムは、
露光した光を電荷に変換して蓄積する複数の光電変換素子がマトリクス状に配設された光電変換部と、
前記光電変換素子の構成する各画素を走査し、当該走査した各画素からの所定露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴う破壊読み出し方式で行う第1読出手段と、
前記所定露光時間の間に、前記光電変換素子の構成する各画素に対して複数回の走査を行うと共に、当該各走査における前記各画素からの、前記所定露光時間以下の複数種類の露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴わない非破壊読み出し方式で行う第2読出手段と、
前記第1読出手段で読み出される、前記所定露光時間で露光した時の電荷から構成される画素データを順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第1出力チャンネルと、
前記第2読出手段で読み出される画素データを、前記複数回の走査における各走査毎に順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第2出力チャンネルと、
前記第1出力チャンネルから出力される画素データに基づき、所定露光時間で露光した時の撮像画像データを生成する通常撮像画像データ生成手段と、
前記第2出力チャンネルから出力される画素データに基づき、前記複数回の走査における各走査毎の撮像画像データをそれぞれ生成する高速撮像画像データ生成手段と、を備え、
前記第2読出手段は、前記複数回の走査を、前記複数の光電変換素子の構成する画素群から所定の画素を間引いた残りの画素に対して行うことを特徴としている。
【0050】
これにより、形態3の撮像装置と同等の作用及び効果が得られる。
ここで、本システムは、単一の装置、端末その他の機器(この場合は、形態3の撮像装置と同等)として実現するようにしてもよいし、複数の装置、端末その他の機器を通信可能に接続したネットワークシステムとして実現するようにしてもよい。後者の場合、各構成要素は、それぞれ通信可能に接続されていれば、複数の機器等のうちいずれに属していてもよい。
【0051】
〔形態14〕 また、上記目的を達成するために、形態14の撮像システムは、
露光した光を電荷に変換して蓄積する複数の光電変換素子がマトリクス状に配設された光電変換部と、
前記光電変換素子の構成する各画素を走査し、当該走査した各画素からの所定露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴う破壊読み出し方式で行う第1読出手段と、
前記各画素に対して行う複数回の走査を所定の組み合わせでN個の組に分割し、前記所定露光時間の間に、前記分割した各組の走査を、各組間の走査間隔が同じ時間間隔となるように行うと共に、当該各走査における前記各画素からの、前記所定露光時間以下の複数種類の露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴わない非破壊読み出し方式で行う第2読出手段と、
前記第1読出手段で読み出される、前記所定露光時間で露光した時の電荷から構成される画素データを順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第1出力チャンネルと、
前記第2読み出し手段で読み出される画素データを各走査毎に順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する、前記各組毎に独立したN個(Nは2以上の自然数)の第2〜第(N+1)出力チャンネルと、
前記第1出力チャンネルから出力される画素データに基づき、所定露光時間で露光した時の撮像画像データを生成する通常撮像画像データ生成手段と、
前記第2〜第(N+1)出力チャンネルから出力される画素データに基づき、前記複数回の走査における各走査毎の撮像画像データをそれぞれ生成する高速撮像画像データ生成手段と、を備え、
前記第2読出手段は、前記各走査を、前記複数の光電変換素子の構成する画素群から所定の画素を間引いた残りの画素に対して行うことを特徴としている。
【0052】
これにより、形態6の撮像装置と同等の作用及び効果が得られる。
ここで、本システムは、単一の装置、端末その他の機器(この場合は、形態6の撮像装置と同等)として実現するようにしてもよいし、複数の装置、端末その他の機器を通信可能に接続したネットワークシステムとして実現するようにしてもよい。後者の場合、各構成要素は、それぞれ通信可能に接続されていれば、複数の機器等のうちいずれに属していてもよい。
【0053】
〔形態15〕 一方、上記目的を達成するために、形態15の撮像方法は、
露光した光を電荷に変換して蓄積する複数の光電変換素子がマトリクス状に配設された光電変換部を有する撮像装置に用いられる撮像方法であって、
前記光電変換素子の構成する各画素を走査し、当該走査した各画素からの所定露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴う破壊読み出し方式で行う第1読出ステップと、
前記所定露光時間の間に、前記光電変換素子の構成する各画素に対して複数回の走査を行うと共に、当該各走査における前記各画素からの、前記所定露光時間以下の複数種類の露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴わない非破壊読み出し方式で行う第2読出ステップと、
前記第1読出ステップで読み出される、前記所定露光時間で露光した時の電荷から構成される画素データを順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第1出力チャンネルから出力される画素データに基づき、所定露光時間で露光した時の撮像画像データを生成する通常撮像画像データ生成ステップと、
前記第2読出ステップで読み出される画素データを、前記複数回の走査における各走査毎に順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第2出力チャンネルから出力される画素データに基づき、前記複数回の走査における各走査毎の撮像画像データをそれぞれ生成する高速撮像画像データ生成ステップと、を含み、
前記第2読出ステップは、前記複数回の走査を、前記複数の光電変換素子の構成する画素群から所定の画素を間引いた残りの画素に対して行うことを特徴としている。
これにより、形態3の撮像装置と同等の作用及び効果が得られる。
【0054】
〔形態16〕 一方、上記目的を達成するために、形態16の撮像方法は、
露光した光を電荷に変換して蓄積する複数の光電変換素子がマトリクス状に配設された光電変換部を有する撮像装置に用いられる撮像方法であって、
前記光電変換素子の構成する各画素を走査し、当該走査した各画素からの所定露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴う破壊読み出し方式で行う第1読出ステップと、
前記各画素に対して行う複数回の走査を所定の組み合わせでN個の組に分割し、前記所定露光時間の間に、前記分割した各組の走査を、各組間の走査間隔が同じ時間間隔となるように行うと共に、当該各走査における前記各画素からの、前記所定露光時間以下の複数種類の露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴わない非破壊読み出し方式で行う第2読出ステップと、
前記第1読出ステップで読み出される、前記所定露光時間で露光した時の電荷から構成される画素データを順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第1出力チャンネルから出力される画素データに基づき、所定露光時間で露光した時の撮像画像データを生成する通常撮像画像データ生成ステップと、
前記第2読み出しステップで読み出される画素データを各走査毎に順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する、前記各組毎に独立したN個(Nは2以上の自然数)の第2〜第(N+1)出力チャンネルから出力される画素データに基づき、前記複数回の走査における各走査毎の撮像画像データをそれぞれ生成する高速撮像画像データ生成ステップと、を含み、
前記第2読出ステップは、前記各走査を、前記複数の光電変換素子の構成する画素群から所定の画素を間引いた残りの画素に対して行うことを特徴としている。
これにより、形態6の撮像装置と同等の作用及び効果が得られる。
【発明を実施するための最良の形態】
【0055】
〔第1の実施の形態〕
以下、本発明に係る撮像素子、撮像装置、撮像システム及び撮像方法の実施の形態(第1の実施の形態)を、図面に基づいて説明する。図1〜図8は、本発明に係る撮像素子、撮像装置、撮像システム及び撮像方法の第1の実施の形態を示す図である。
以下、図1に基づき、本発明に係る撮像装置1の概略構成を説明する。ここで、図1は、本発明に係る撮像装置1の概略構成を示すブロック図である。
【0056】
撮像装置1は、図1に示すように、光電変換素子等から構成される撮像素子100(後述)と、撮像素子100からの画素信号を破壊読み出し方式及び非破壊読み出し方式の両方式を用いて読み出し、当該読み出した画素信号の画素データを出力する撮像処理部10と、撮像処理部10から出力される非破壊読み出し方式で読み出された画素データに基づき、高フレームレート画像データを生成する等の画像処理を行う画像処理部12と、撮像処理部10から出力される通常走査画素データ及び間引き走査画像データ、画像処理部12で生成される高フレームレート画像データ等の各種画像データを記憶するフレームメモリ14とを含んで構成される。
【0057】
また、本実施の形態における撮像装置1は、不図示の外部装置(システムコントローラ)からの各種制御信号に基づき、後述する間引き走査処理等の各種処理が制御され且つ実行される。
撮像処理部10は、撮像素子100と、第1のAFE(Analog Front End)102と、第2のAFE104とを含んで構成される。
【0058】
撮像素子100は、被写体からの光を撮像レンズ(不図示)でセンサセルアレイ56(後述)に集光し、その集光量に応じた電荷をセンサセルアレイ56の各画素に蓄積させる。
また、撮像素子100は、駆動パルス発生器52(後述)から出力される駆動信号に基づいて、通常露光時間(ユーザ等によって任意の時間に設定可能)でセンサセルアレイ56の各画素列を順次走査(以下、通常走査と称す)する。そして、各走査された各画素列に蓄積されている電荷群を電圧群に変換して順次読み出すと共に、各画素列の蓄積電荷をリセット(蓄積電荷を空にする)する。更に、読み出した電圧群(画素信号)を、第1ラインメモリを含んで構成される第1出力チャンネル58(後述)を介して第1のAFE102に順次出力する。
【0059】
また、撮像素子100は、駆動パルス発生器52(後述)から出力される駆動信号に基づいて、センサセルアレイ56を構成する画素列群を、システムコントローラから指定される間引き量に従って、所定量の画素列を間引きながら走査(以下、間引き走査と称す)する。そして、各走査された画素列から電圧群(画素信号)を読み出す(このとき、蓄積電荷のリセットは行わない)。なお、間引き走査は、通常露光時間の露光期間において複数回行う。つまり、1回の露光期間において、複数回の間引き走査における各走査時に蓄積された電荷群を順次電圧群に変換して読み出し、当該読み出した電圧群(画素信号)を、各走査毎に第2ラインメモリを含んで構成される第2出力チャンネル60(後述)を介して第2のAFE104に順次出力する。
【0060】
このように、本実施の形態においては、破壊読み出し方式及び非破壊読み出し方式の両方式を併用して各画素からの電荷の読み出しを行うことによって、1回の露光期間(通常露光時間)において、各画素列の通常露光時間での露光時の画素信号を破壊読み出し方式で読み出すと共に、複数回の間引き走査による各画素列の通常露光時間以下の露光時間で露光時の画素信号を非破壊読み出し方式で読み出す。
【0061】
更に、図2に基づき、撮像素子100の内部構成を説明する。ここで、図2は、撮像素子100の内部構成を示す図である。
撮像素子100は、図2に示すように、基準タイミング発生器50と、駆動パルス発生器52と、走査ラインスキャナ54と、センサセルアレイ56と、第1出力チャンネル58と、第2出力チャンネル60とを含んで構成される。
【0062】
基準タイミング発生器50は、画像処理部12のタイミング制御部12b(後述)からの垂直同期信号0及び水平同期信号に基づき、基準タイミング信号を発生する。
駆動パルス発生器52は、基準タイミング発生器50からの基準タイミング信号と、走査ラインスキャナ54からのリセットライン選択信号及び読出しライン選択信号とに基づき駆動パルスを発生してセンサセルアレイ56に供給する。
【0063】
走査ラインスキャナ54は、画像処理部12の通信器12a(後述)からの間引き量の情報(駆動制御信号)に基づき、センサセルアレイ56の画素列群に対するリセットラインの位置を選択してリセットライン選択信号を生成すると共に、通常走査及び間引き走査に対する読み出しラインの位置をそれぞれ選択して読み出しライン選択信号を生成する。そして、これら生成した選択信号を駆動パルス発生器52に出力する。また、間引き走査に対する基準同期信号である垂直同期信号1を生成して、これを駆動パルス発生器52及び画像処理部12のタイミング制御部12b(後述)にそれぞれ出力する。
【0064】
センサセルアレイ56は、CMOS技術を用いて各画素が構成されており、駆動パルス発生器52から供給される駆動パルスに基づき、各画素列を通常露光時間で露光し、当該露光により各画素列に蓄積された電荷群を、各画素列毎に破壊読み出し方式で順次読み出す。つまり、電荷群の読み出し後に蓄積電荷のリセットも行う。更に、各画素列毎にリセット直後の画素信号を、非破壊読み出し方式で読み出して第1出力チャンネル58に順次出力する。また、センサセルアレイ56は、この通常露光時間の露光期間において、複数回の間引き走査を行い、各走査毎に、各画素列に蓄積された電荷群を、各走査された画素列毎に順次非破壊読み出し方式で読み出して第2出力チャンネル60に順次出力する。
【0065】
第1出力チャンネル58は、センサセルアレイ56から読み出された通常露光時間に対応する画素信号データを各画素列毎に第1ラインメモリを構成する第1ラインメモリSに記憶すると共に、リセット直後の画素信号データを、各画素列毎に第1ラインメモリを構成する第1ラインメモリNに記憶する。そして、当該記憶した通常露光時間及びリセット直後の画素信号データを、差動増幅器62(図6に図示)にそれぞれ出力する。
【0066】
差動増幅器62は、通常露光時間及びリセット直後の画素信号データに対して減算処理を行い、当該減算処理後の画素信号を第1のAFE102に出力する。
第2出力チャンネル60は、センサセルアレイ56から各走査毎にそれぞれ読み出された各走査時の露光時間に対応する画素信号データを、各走査毎に且つ各画素列毎に第2ラインメモリに記憶する。そして、当該記憶した画素信号データを第2のAFE104に出力する。
【0067】
更に、図3に基づき、センサセルアレイ56の詳細構成を説明する。ここで、図3は、センサセルアレイ56の詳細構成を示す図である。
図3に示すように、センサセルアレイ56は、CMOSを用いて構成された複数のセンサセル(画素)56aをマトリクス状に配設し、各画素列毎に、各画素列を構成するセンサセル56aに対して、アドレス線、リセット線及び読出し線が共通に接続され、この3本の制御線を介して各種駆動信号が各画素列を構成するセンサセル56aに送信される。そして、アドレス線及び読出し線が有効になると、図3に示す信号線を介して蓄積電荷を第1又は第2出力チャンネル58又は60に転送する構成となっている。このような構成によって、アドレス線により、リセット動作又は読出し動作を行わせる画素列を有効に(選択)し、当該選択信号で選択した画素列の各センサセル56aに対して、リセット動作を行わせる場合はリセット線を介してリセット動作を指示する信号を入力し、画素信号の読出しを行わせる場合は、読出し線を介して蓄積電荷の転送を指示する信号を入力する。選択信号によって選択された各センサセル56aは、リセット動作を指示する信号が入力されたときはリセット動作を行い、蓄積電荷の転送を指示する信号が入力されたときは、信号線を介して第1又は第2出力チャンネル58又は60への蓄積電荷の転送を行う。
【0068】
更に、図4に基づき、走査ラインスキャナ54の内部構成を説明する。ここで、図4は、走査ラインスキャナ54の内部構成を示す図である。
走査ラインスキャナ54は、図4に示すように、通常走査カウンタ54aと、通常走査アドレスデコーダ54bと、間引き走査カウンタ54cと、間引き走査アドレスデコーダ54dと、ORロジック54eとを含んで構成される。
【0069】
通常走査カウンタ54aは、基準タイミング発生器50からの垂直同期信号0及び水平同期信号に基づいて、カウントアップ動作を繰り返す。ここで、カウンタの値は、通常走査時の各画素列のライン番号に対応しており、このライン番号は、通常走査アドレスデコーダ54bに出力される。
通常走査アドレスデコーダ54bは、通常走査カウンタ54aからのライン番号の画素列を「読み出しライン」として有効にし、それ以外の画素列を無効にする。更に、各画素列の有効/無効を示す読み出しライン制御信号をORロジック54eに出力すると共に、この読み出しライン制御信号をリセットライン選択信号として駆動パルス発生器52に出力する。
【0070】
間引き走査カウンタ54cは、基準タイミング発生器50からの水平同期信号と、通信器12aからの間引き量を示す情報とに基づき、垂直同期信号1を生成し、当該生成した垂直同期信号1に基づきカウントアップ動作を繰り返す。ここで、カウンタの値は、間引き走査時の画素列のライン番号に対応しており、このライン番号は、間引き走査アドレスデコーダ54dに出力される。また、垂直同期信号1は、画像処理部12のタイミング制御部12bにも出力する。
【0071】
間引き走査アドレスデコーダ54dは、間引き走査カウンタ54cからのライン番号の画素列を「読み出しライン」として有効にし、それ以外の画素列を無効にする。更に、各画素列の有効/無効を示す読み出しライン制御信号をORロジック54eに出力する。
ORロジック54eは、通常走査アドレスデコーダ54bからの読み出しライン制御信号と、間引き走査アドレスデコーダ54dからの読み出しライン制御信号とに基づき、各ライン毎にOR演算を行い、通常走査に対する最終的な読み出しライン選択信号を生成すると共に、間引き走査に対する最終的な読み出しライン選択信号を生成する。これら生成した読み出しライン選択信号は駆動パルス発生器52に出力される。
【0072】
更に、図5に基づき、間引き走査について説明する。ここで、図5(a)は、間引き走査の一例を示す図であり、(b)は、(a)の間引き走査によってセンサセル56aから出力される画素信号のレベル(蓄積電荷量)の推移を示す図である。
図5(a)の例では、通常露光時間の露光期間において、第1ライン、第5ライン、第9ライン、第13ラインで一巡する間引き走査を4回行い、それぞれの走査時における蓄積電荷(画素信号)を読み出している。このように間引き走査を行うことにより、走査する画素列の数を1/4にする。このようにして、1回(1フレーム)の走査にかかる走査時間を短縮することにより、通常露光時間における走査回数を4倍にすることができるので、フレームレートを通常走査時の4倍に高速化できる。
【0073】
ここで、図5(a)の第1ラインにおける「ある画素」に着目すると、図5(b)に示すように、その画素の蓄積電荷量は、1回目の走査時と比較して、2回目、3回目、4回目と、走査が進むにつれ(時間の経過と共に)増加する。これは、間引き走査において、非破壊読み出し方式で各画素から電荷が読み出されるためで、蓄積電荷のリセットが行われないため、露光期間中に電荷の読み出しを何度行っても各画素の蓄積電荷量は維持された状態となる。つまり、図5(a)に示す間引き走査によって、図5(b)に示すように、(1)〜(4)の走査タイミングで電荷の読み出しを行っても、各タイミングまでに蓄積された電荷量はそのまま維持され、電荷の蓄積(露光)が継続される。
【0074】
このような間引き走査を行うために、間引き走査カウンタ54cは、通信器12aから出力される間引き量を指定する駆動制御信号に基づき、カウントアップ動作を行い、間引き量に応じたカウント値を間引き走査アドレスデコーダ54dに出力する。図5(a)の例では、間引き量が「4」となっており、間引き走査カウンタ54cのカウント値は、1、5、9、13と「4」ずつカウントアップし、カウント値が13(最大値(間引き量及び画素の総ライン数によって変わる))になったときに、カウント値を、「1」(開始ライン番号に対応)に戻す(リセットする)と共に、垂直同期信号1をアクティブとする。つまり、間引き走査カウンタ54cは、カウント値が最大値になる毎に垂直同期信号1をアクティブとする。
【0075】
更に、図6に基づき、撮像素子100のセンサセルアレイ56における各画素列毎の露光及び画素信号の読み出し動作について説明する。ここで、図6は、撮像素子100のセンサセルアレイ56における各画素列毎の露光及び画素信号の読み出し動作の一例を示す図である。
図6に示すように、まず、通常走査によって、センサセルアレイ56における各画素列の通常露光時間で露光時の画素信号の読み出し及び当該画素信号の読み出し後に蓄積電荷のリセットを行う第1読み出しラインを選択すると共に、複数回の間引き走査によって、センサセルアレイ56における走査対象の画素列に対して、各走査時の露光時間で露光時の画素信号の非破壊読み出しを行う第2読み出しラインを選択する。そして、1回の露光期間(通常露光時間)において、通常走査による各画素列に対する通常露光時間で露光時の画素信号の読み出し及び蓄積電荷のリセットと、複数回の間引き走査による各走査対象の画素列に対する各走査時の露光時間で露光時の画素信号の非破壊読み出しとをそれぞれ独立に実行する。
【0076】
つまり、第1読み出しライン及び第2読み出しラインは、図6に示すように、全画素列(例えば、第1〜第12ライン)においては、これら画素列のいずれか1に通常露光時間分の電荷が蓄積されると、第1読み出しラインが当該画素列の画素信号を読み出すと共に、その蓄積電荷をリセットするように選択される。また、蓄積電荷のリセットされた画素列は、第1読み出しラインが他の画素列を走査後に再び走査されたときに、丁度通常露光時間分の露光が行われているように走査タイミングが制御される。なお、通常走査による各画素列の走査は、各フレーム毎に全画素列(例えば、第1〜第12ライン)をループしながら順次走査を行う。図6の例では、第1ライン(一番下のライン)から第12ライン(一番上のライン)に向かって1ライン毎に順次走査を行い、走査が第12ラインに到達すると1フレーム期間の走査が終了し、再び第1ラインから次フレームに対する同様の走査を行う。
【0077】
一方、間引き走査においては、第1読み出しラインによる蓄積電荷のリセット後に、通常露光時間分の電荷が蓄積される間に各走査時の露光時間において走査対象の各画素列の画素信号を非破壊で順次読み出すように第2読み出しラインがそれぞれ選択される。これにより、第1読み出しラインによって走査対象の画素列の蓄積電荷がリセットされると、当該リセット後の画素列に対して、第2読み出しラインにおいて各走査時の露光時間で露光された画素の画素信号の非破壊読み出しが各走査順に順次行われる。なお、間引き走査においては、システムコントローラから指定される間引き量に従って、所定量の画素列を間引きながら走査が行われ、走査対象の画素列のうち最大番号の画素列に到達すると、走査対象の画素列のうち最小番号の画素列に戻り、通常走査と同様に、ループしながら順次走査を行う。但し、間引き走査においては、通常露光時間の1フレームにおいて、実行可能な(あるいは予め設定された)走査回数だけループが繰り返されることになる。
【0078】
なお、本実施の形態においては、図6に示すように、通常走査によって読み出された通常露光時間で露光時の画素信号(アナログデータ)は、第1出力チャンネル58(以下、CH1と称す)の第1ラインメモリSに読み出され、一方、リセット直後の画素信号は、CH1の第1ラインメモリNに読み出される。そして、これら読み出された画素信号は、図6に示すように、CH1の出力側に設けられた差動増幅器62に出力され、当該差動増幅器62において、リセット前及びリセット後のそれぞれ対応する画素信号同士の減算処理を行って信号レベルの検出及びノイズ除去を行う。そして減算処理後の画素信号は、第1のAFE102に出力されそこでデジタルデータ(画素データ)に変換される。一方、複数回の間引き走査によって読み出された各走査毎の画素信号は、第2出力チャンネル(以下、CH2と称す)の第2ラインメモリに各走査毎に読み出されて第2のAFE104に出力されそこでデジタルデータ(画素データ)に変換される。
【0079】
また、本実施の形態において、第1読み出しラインの画素信号の読み出しと、第2読み出しラインの画素信号の読み出しとがバッティングしたとき(例えば、双方が通常露光時間での読み出しを行うとき)には、例えば、水平同期信号によって設定される読み出し期間を2つの期間に分けて、一方の期間で第1読み出しラインによりCH1の第1ラインメモリに画素信号を読み出し、他方の期間で第2読み出しラインによりCH2の第2ラインメモリに画素信号を読み出すことで回避するようになっている。
【0080】
更に、図7に基づき、画像処理部12の内部構成を説明する。ここで、図7は、画像処理部12の内部構成を示す図である。
画像処理部12は、図7に示すように、通信器12aと、タイミング制御部12bと、高フレームレート画像生成部12cと、メモリアクセス部12dと、出力読出し部12eとを含んで構成される。
【0081】
通信器12aは、撮像素子100と画像処理部12とが各種データ通信を行うための手段であり、外部システムコントローラ(不図示)から、センサセルアレイ56の間引き走査に対する間引き量の情報を受信し、当該受信した間引き量の情報を撮像素子100の走査ラインスキャナ54に送信する。
タイミング制御部12bは、撮像素子100の駆動信号(ピクセルクロック、水平同期信号、垂直同期信号0)を生成し、これを撮像素子100の基準タイミング発生器50に出力する。また、タイミング制御部12bは、水平同期信号、垂直同期信号0から、撮像処理部10のCH1から出力される画素信号の、撮像素子100のセンサセルアレイ56における画素位置(画素列(ライン)番号、画素番号)が分かるので、その画素列(ライン)番号及び画素番号(以下、「アドレス情報」とも呼ぶ。)を生成し、そのアドレス情報をメモリアクセス部12dに出力する。また、タイミング制御部12bは、水平同期信号、走査ラインスキャナ54からの垂直同期信号1から、撮像処理部10のCH2からそれぞれ出力される画素信号の、撮像素子100のセンサセルアレイ56における画素位置(画素列(ライン)番号、画素番号)が分かるので、そのアドレス情報を生成し、当該アドレス情報を高フレームレート画像生成部12cに出力する。
【0082】
高フレームレート画像生成部12cは、まず、フレームメモリ14に格納された、複数回の間引き走査における各回の走査毎に撮像処理部10の第2のAFE104から出力される画像データ(以下、間引き走査画像データと称す)と、当該各回の走査毎の間引き走査画像データに対応する、各回の走査(以下、現走査と称す)の1つ前の回の走査(以下、前走査と称す)において撮像処理部10の第2のAFE104から出力された間引き走査画像データとをメモリアクセス部12dを介して読み出す。次に、これら読み出した現走査の間引き走査画像データを構成する各画素データと、当該各画素データに対応する各画素データと同位置の前走査の間引き走査画像データを構成する各画素データとの差分値をそれぞれ算出し、当該差分値に基づき各回の間引き走査毎にそれぞれ対応する画像データ(以下、高フレームレート画像データと称す)を生成する。そして、当該生成した高フレームレート画像データをメモリアクセス部12dを介してフレームメモリ14に格納する(書き込む)。
【0083】
メモリアクセス部12dは、撮像処理部10、高フレームレート画像生成部12c、及び出力読出し部12eからの画像データの書き込み・読み出し命令に基づき、フレームメモリ14に格納された各画像データへアクセスする。つまり、3系統からのアクセス要求を調停し、フレームメモリ14に対して、画像データの読み出し及び画像データの書き込みを行う。本実施の形態において、メモリアクセス部12dは、撮像処理部10の、第1のAFE102から出力される通常走査画像データと、第2のAFE104から出力される間引き走査画像データとを、フレームメモリ14に書き込む。また、高フレームレート画像生成部12cからの、読み出し命令に応じて、各間引き走査及びこれらと対応する前走査の間引き走査画像データをフレームメモリ14から読み出したり、高フレームレート画像生成部12cからの書き込み命令に応じて、高フレームレート画像データをフレームメモリ14に書き込んだりする。
【0084】
出力読出し部12eは、外部の出力装置(不図示)からの同期信号(ピクセルクロック、水平同期信号、垂直同期信号0)に同期して、フレームメモリ14内の画像データを出力する。具体的には、まず、メモリアクセス部12dに対して、高フレームレート画像データ及び通常走査画像データの読み出し要求(読み出し命令含む)を行い、高フレームレート画像データ及び通常走査画像データを取得する。そして、外部の出力装置に対して、当該出力装置からの同期信号に同期して、高フレームレート画像データ及び通常走査画像データを出力する。出力装置はこれらの出力データに基づき、表示処理や解析処理等の所定の処理を実行する。
【0085】
フレームメモリ14は、図7に示すように、CH1を介して出力される通常走査画像データ、CH2を介して出力される各間引き走査及びこれらと対応する前走査の間引き走査画像データ、高フレームレート画像生成部12cで生成される高フレームレート画像データを格納可能な容量を有したメモリであり、メモリアクセス部12dから読み出し要求があると、その要求が示す画像データを読み出す。また、フレームメモリ14は、メモリアクセス部12dから書き込み要求があると、その書き込み要求が示す画像データを書き込む。
【0086】
次に、図8に基づき、本実施の形態の撮像装置1の実際の動作を説明する。ここで、図8(a)は、通常走査及び間引き走査の一例を示す図であり、(b)は、第10ラインのある画素に対する蓄積電荷量の推移を示す図である。
なお、説明の便宜上、センサセルアレイ56が第1〜第15ラインの15本の画素列で構成されているとする。
【0087】
撮像装置1は、電源が投入され、且つ外部装置である不図示のシステムコントローラからの間引き量の情報を画像処理部12の通信器12aが受信すると、間引き量を指定する駆動制御信号を、撮像処理部10の走査ラインスキャナ54に出力する。一方、撮像処理部10は、CH1に対応する第1読み出しラインに対して通常露光時間を設定する。
また、画像処理部12は、タイミング制御部12bにおいて駆動信号(ピクセルクロック、水平同期信号、垂直同期信号0)を生成し、撮像素子100に出力する。
【0088】
撮像素子100は、駆動信号が供給されると、走査ラインスキャナ54の通常走査カウンタ54aにおいて、カウントアップ動作を開始し、カウント値を通常走査アドレスデコーダ54bに出力する。通常走査アドレスデコーダ54bは、通常走査カウンタ54aから出力されるライン番号のラインを「第1読み出しライン」として有効にし、それ以外のラインを無効にする。
【0089】
例えば、ライン番号1を第1読出しラインとして有効にした場合は、ライン番号1以外の残りのライン(第2ライン〜第15ライン)を無効にする。更に、ライン番号1が有効であることを示す第1読み出しライン制御信号をORロジック54eに出力する。
一方、間引き走査カウンタ54cは、タイミング制御部12bからの駆動信号(水平同期信号)及び通信器12aからの間引き量を指定する駆動制御信号に基づき、カウントアップ動作を開始し、カウント値を間引き走査アドレスデコーダ54dに出力する。また、間引き走査の基準同期信号である垂直同期信号1を生成してタイミング制御部12bに出力する。
【0090】
ここで、指定された間引き量が「3」であり、且つカウント値の開始番号が「1」であるとすると、間引き走査カウンタ54cは、1、4、7、10、13とカウントアップを行う。つまり、指定された間引き量である「3」をカウントアップ時の増加量としたカウントアップを行う。そして、センサセルアレイ56の画素列数が15本であることから、カウント値が「13」(最大値)になると、カウント値を「1」に戻す(リセットする)と共に垂直同期信号1をアクティブにし、再び、カウント値「1」から間引き量「3」を増加量としたカウントアップを行う。間引き走査カウンタ54cは、このようなカウントアップ動作を、通常露光時間の露光期間において、間引き走査の回数に応じて繰り返し行う。ここでは、通常露光時間の露光期間において間引き走査を3回行うこととする。
【0091】
間引き走査アドレスデコーダ54dは、通常走査アドレスデコーダ54bと同様に、間引き走査カウンタ54cから出力されるライン番号のラインを「第2読み出しライン」として有効にし、それ以外のラインを無効にする。そして、第2読み出しライン制御信号をORロジック54eに出力する。
ORロジック54eは、通常走査アドレスデコーダ54bからの第1読み出しライン制御信号と、間引き走査アドレスデコーダ54dからの第2読み出しライン制御信号とに基づき、露光領域の各ライン位置毎にOR演算を行い、通常走査及び間引き走査に対する最終的な読み出しライン選択信号を生成する。そして、これら生成した第1読み出しライン選択信号及び第2読出しライン選択信号を駆動パルス発生器52に出力する。
【0092】
これにより、図8(a)に示すように、センサセルアレイ56の全画素列に対して、第1読み出しラインの走査による通常露光時間で露光時の画素信号の破壊読み出しが行われ、一方、この破壊読み出しによって蓄積電荷がリセットされた第1ラインに対して、第2読み出しラインの間引き走査による画素信号の非破壊読み出しを行う。なお、各画素列の電荷の蓄積量は、各間引き走査の開始タイミングによって異なってくる。図8(a)の例では、時刻t4のタイミングで1回目の間引き走査を開始し、同様に、時刻t9、t14のタイミングで2回目、3回目の間引き走査をそれぞれ開始する。また、2回目の間引き走査は、1回目の間引き走査が終了してから開始され、3回目の間引き走査は2回目の間引き走査が終了してから開始される。
【0093】
第1出力チャンネル58及び第2出力チャンネル60はそれぞれ内部のラインメモリを介して前記読み出した画素信号を第1のAFE102及び第2のAFE104にそれぞれ出力する。第1のAFE102及び第2のAFE104は、画素信号をデジタルデータである画素データに変換して、画像処理部12のメモリアクセス部12dに出力する。
一方、メモリアクセス部12dは、第1のAFE102及び第2のAFE104を介して出力される通常走査画像データ及び間引き走査画像データを、タイミング制御部12bからのアドレス情報に基づき、各画素データの位置情報を保持した状態でフレームメモリ14の所定領域に書き込ませる。
【0094】
このようにして、例えば、現走査の間引き走査画像データ及び前走査の間引き走査画像データがフレームメモリ14に格納されると、高フレームレート画像生成部12cは、メモリアクセス部12dに対して、前記格納された現走査及び前走査の間引き走査画像データの読み出し要求を出力する。メモリアクセス部12dは、高フレームレート画像生成部12cからの読み出し要求に応じて、フレームメモリ14から現走査及び前走査の間引き走査画像データの読み出し、当該読み出した間引き走査画像データを高フレームレート画像生成部12cに出力する。
【0095】
一方、高フレームレート画像生成部12cは、メモリアクセス部12dを介して取得した現走査及び前走査の間引き走査画像データの各画素データの示す画素値の差分値を算出する。具体的には、現走査の間引き走査画像データの各画素データの示す画素値から、当該各画素データと同位置の前走査の間引き走査画像データの各画素データの示す画素値を減算する。そして、この減算結果の各画素値に基づき高フレームレート画像データを生成する。例えば、図8(a)に示すように、第10ラインに着目すると、2回目の間引き走査においては、時刻t12で読み出された間引き走査画像データが前走査(1回目の間引き走査)の間引き走査画像データとなり、時刻t17で読み出された間引き走査画像データが現走査(2回目の間引き走査)の間引き走査画像データとなる。従って、時刻t17の間引き走査画像データの各画素データから、当該各画素データに対応する時刻t12の間引き走査画像データの各画素データを減算して差分値を求めることになる。一方、図8(a)に示すように、第10ラインに対する4回目の間引き走査(2回目の通常走査に対する1回目の間引き走査)においては、時刻t22で読み出された間引き走査画像データが前走査(3回目の間引き走査)の間引き走査画像データとなり、時刻t27で読み出された間引き走査画像データが現走査(4回目の間引き走査)の間引き走査画像データとなる。従って、時刻t27の間引き走査画像データの各画素データから、当該各画素データに対応する時刻t22の間引き走査画像データの各画素データを減算して差分値を求めることになる。しかし、この場合は、3回目の間引き走査が1回目の通常露光時間の露光期間に行われ、4回目の間引き走査が2回目の通常露光時間の露光期間に行われるため、電荷のリセットが発生し、第10ラインの各画素に蓄積される電荷量が、図8(b)に示すように、3回目の間引き走査における電荷の蓄積量より、4回目の間引き走査における電荷の蓄積量の方が少なくなる。そのため、差分値がマイナスの値となってしまう。このような場合、本実施の形態においては、差分値を無効とし、高フレームレート画像の画素値を「0」とする。
【0096】
このようにして生成された高フレームレート画像データは、メモリアクセス部12dを介してフレームメモリ14の所定領域に格納される。
また、メモリアクセス部12dは、外部機器からの通常走査画像データの出力要求を受信すると、フレームメモリ14に格納された通常走査画像データを読み出し、当該読み出した通常走査画像データを外部機器からの同期信号(ピクセルクロック、水平同期信号及び垂直同期信号)に同期して出力する。同様に、外部機器からの高フレームレート画像データの出力要求を受信すると、フレームメモリ14に格納された高フレームレート画像データを読み出し、当該読み出した高フレームレート画像データを外部機器からの同期信号(ピクセルクロック、水平同期信号及び垂直同期信号)に同期して出力する。
【0097】
このように、本実施形態の撮像装置1では、通常露光時間で露光時の画素データから構成される通常走査画像データと、通常露光時間と同じ露光期間において、複数回の間引き走査によって高速なフレームレートで読み出された画素データから構成される複数の高速フレームレート画像データとを同時に得ることが可能である。つまり、適切な露光時間(通常露光時間)で露光され、撮像対象が鮮明に撮像された撮像画像と、動きのある被写体が鮮明且つ動きの内容が解る状態で撮像された複数の撮像画像とを同時に得ることができる。
【0098】
また、現走査の間引き走査画像データと、前走査の間引き走査画像データとの差分をとることで、高速フレームレート画像データを生成するようにしたので、これにより、固定パターンノイズを除去することが可能である。
上記第1の実施の形態において、通常走査画像データは、形態3、13及び15のいずれか1の通常撮像画像データ生成手段で生成された画像データ又は形態15の通常撮像画像データ生成ステップにおいて生成された画像データに対応し、高フレームレート画像データは、形態3、5、13及び15のいずれか1の高速撮像画像データ生成手段で生成された画像データ又は形態15の高速撮像画像データ生成ステップにおいて生成された画像データに対応し、センサセルアレイ56は、形態1、3、13及び15のいずれか1の光電変換部に対応し、撮像処理部10の撮像素子100における基準タイミング発生器50、走査ラインスキャナ54、駆動パルス発生器52によるセンサセルアレイ56からの通常露光時間で露光時の電荷の破壊読み出し処理は、形態1、3及び13のいずれか1の第1読出手段又は形態15の第1読出ステップに対応し、第1出力チャンネル58は、形態1、3、13及び15のいずれか1の第1出力チャンネルに対応し、撮像処理部10の撮像素子100における基準タイミング発生器50、走査ラインスキャナ54、駆動パルス発生器52によるセンサセルアレイ56からの複数回の間引き走査による電荷の非破壊読み出し処理は、形態1、3、4及び13のいずれか1の第2読出手段又は形態15の第2読出ステップに対応し、第2出力チャンネル60は、形態1、3、5、13及び15のいずれか1の第2出力チャンネルに対応する。
【0099】
また、上記第1の実施の形態において、画像処理部12における、タイミング制御部12b、高フレームレート画像生成部12c、メモリアクセス部12dによる高フレームレート画像データの生成処理は、形態3、5及び13のいずれか1の高速撮像画像データ生成手段又は形態15の高速撮像画像データ生成ステップに対応し、画像処理部12における、メモリアクセス部12dによる通常走査画像データのフレームメモリ14への書き込み処理は、形態3又は13の通常撮像画像データ生成手段又は形態15の通常撮像画像データ生成ステップに対応する。
〔第2の実施の形態〕
以下、本発明に係るモーションデータ生成システム、モーションデータ生成プログラム及びモーションデータ生成方法の実施の形態(第2の実施の形態)を、図面に基づいて説明する。図9〜図14は、本発明に係るモーションデータ生成システム、モーションデータ生成プログラム及びモーションデータ生成方法の第2の実施の形態を示す図である。
【0100】
ここで、図9は、本発明に係るモーションデータ生成システム3の概略構成を示すブロック図である。
モーションデータ生成システム3は、上記第1の実施の形態における撮像装置1と、モーションデータ生成装置2とを含んで構成されるもので、撮像装置1によってマーカの付された動作体(人間、動物など)の撮像を行い、モーションデータ生成装置2によって、撮像装置1から出力される画像データから、モーションデータの生成及びテクスチャデータの抽出を行う。なお、撮像装置1とモーションデータ生成装置2とは、有線又は無線によって互いにデータ通信可能に接続されている。また、接続形態としては、ケーブルによる直接接続の他、LAN、WAN、インターネットを介した接続等どのような形態でも良い。
【0101】
撮像装置1は、前述したように、上記第1の実施形態と基本的な構成は同じであり、撮像対象である反射型マーカの付された動作体(人間、動物など)を、上記第1の実施の形態で説明した通常走査及び間引き走査によって撮像し、通常走査によって得られる通常走査画像データと、間引き走査によって得られる間引き走査画像データから生成される高フレームレート画像データとをモーションデータ生成装置2に出力する。なお、撮像装置1は、図10において1台しか図示されていないが、動作体のモーションをキャプチャして3次元の動き情報を取得する場合(光学式のモーションキャプチャ)は、2台以上の構成とし(通常は6〜10台程度)、それぞれ別々の角度から動作体を撮像して、常に全てのマーカが2台以上の撮像装置で撮像されるようにすることが望ましい。
【0102】
また、本実施の形態において、撮像装置1は、反射型マーカが光を反射して発光するためのライトを有している。これにより、反射型マーカを高速なフレームレートで撮像しても、光量不足によるマーカ画像の黒潰れ等の撮像不良を防ぐことができる。
モーションデータ生成装置2は、撮像装置1において生成される高フレームレート画像データに基づき動作体の動作内容を示すモーションデータを生成し、一方、撮像装置1から出力される通常走査画像データから動作体のテクスチャデータを抽出する。
【0103】
以下、図10に基づき、モーションデータ生成装置2の詳細な構成を説明する。ここで、図10は、モーションデータ生成装置2の詳細構成を示すブロック図である。
モーションデータ生成装置2は、図10に示すように、撮像装置1からの各種画像データを取得する画像データ取得部2aと、画像データ取得部2aで取得した各種画像データを記憶する画像データ記憶部2bと、高フレームレート画像データからマーカの位置を検出する位置検出部2cと、マーカの検出結果に基づきモーションデータを生成するモーションデータ生成部2dと、通常走査画像データから動作体のテクスチャデータを抽出するテクスチャデータ抽出部2eと、モーションデータ及びテクスチャデータを記憶するモーションデータ記憶部2fとを含んだ構成となっている。
【0104】
画像データ取得部2aは、駆動信号(ピクセルクロック、水平同期信号、垂直同期信号0)を撮像装置1に供給し、これら駆動信号に同期して撮像装置1から送られてくる通常走査画像データ及び高フレームレート画像データを取得する。そして、当該取得した通常走査画像データ及び高フレームレート画像データを画像データ記憶部2bに記憶する。
画像データ記憶部2bは、画像データ取得部2aで取得された通常走査画像データ及び高フレームレート画像データを記憶する。そして、位置検出部2c又はテクスチャデータ抽出部2eからの要求に応じて、高フレームレート画像データ又は通常走査画像データを読み出し、位置検出部2c又はテクスチャデータ抽出部2eにそれぞれ出力する。
【0105】
位置検出部2cは、不図示のプロセッサからのモーションデータの生成指示に応じて、画像データ記憶部2bから高フレームレート画像データを取得し、当該取得した高フレームレート画像データに対して画像処理を行い、画像中のマーカの位置(座標)を検出する。そして、検出結果をモーションデータ生成部2dに出力する。
モーションデータ生成部2dは、位置検出部2cから入力される検出結果に基づき、各取り付け位置に対応するマーカ毎のモーションデータを生成する。そして、当該生成したモーションデータをモーションデータ記憶部2fに記憶する。
【0106】
テクスチャデータ抽出部2eは、不図示のプロセッサからのテクスチャデータの抽出指示に応じて、画像データ記憶部2bから通常走査画像データを取得し、当該取得した通常走査画像データからテクスチャデータを抽出する。テクスチャデータの抽出は、不図示の操作部を介して人手により行っても良いし。画像処理によって、自動的に行っても良い。
また、テクスチャデータ抽出部2eは、抽出したテクスチャデータを動作体の種類毎にモーションデータ記憶部2fに記憶する。
【0107】
モーションデータ記憶部2fは、モーションデータ生成部2dで生成されたモーションデータ、及びテクスチャデータ抽出部2eで抽出されたテクスチャデータを記憶する。各データは、例えば、動作体の種類毎、マーカの取り付け位置毎などに分類されて記憶される。
なお、本実施形態において、モーションデータ生成装置2は、図示しないプロセッサと、RAM(Random Access Memory)と、専用のプログラムの記憶されたROM(Read Only Memory)と、を備えており、プロセッサにより専用のプログラムを実行することにより上記各部の機能を果たす。ここで、上記各部は、専用のプログラムのみでその機能を果たすもの、専用のプログラムによりハードウェアを制御してその機能を果たすもの等が混在している。
【0108】
更に、図11に基づき、モーションデータ生成装置2におけるモーションデータの生成処理及びテクスチャデータの抽出処理の流れを説明する。ここで、図11は、モーションデータの生成処理及びテクスチャデータの抽出処理を示すフローチャートである。なお、モーションデータの生成処理及びテクスチャデータの抽出処理は、撮像装置1においてマーカを付した動作体の撮像が行われ、モーションデータ生成装置2の画像データ記憶部2bに各処理の実行に十分な量の画像データが蓄積されることによって実行可能となる。
【0109】
モーションデータの生成処理及びテクスチャデータの抽出処理は、図11に示すように、まずステップS100に移行し、位置検出部2cにおいて、プロセッサからのモーションデータの生成指示あるか否かを判定し、生成指示があると判定された場合(Yes)は、ステップS102に移行し、そうでない場合(No)は、ステップS114に移行する。
ステップS102に移行した場合は、位置検出部2cにおいて、画像データ記憶部2bから、指示に対応した高フレームレート画像データを取得してステップS104に移行する。
【0110】
ステップS104では、位置検出部2cにおいて、ステップS102で取得した高フレームレート画像データに基づき、各高フレームレート画像におけるマーカ画像の位置検出を行いステップS106に移行する。
ステップS106では、位置検出部2cにおいて、ステップS104の検出結果をモーションデータ生成部2dに出力してステップS108に移行する。
【0111】
ステップS108では、モーションデータ生成部2dにおいて、位置検出部2cから入力されたマーカ位置の検出結果に基づきモーションデータを生成してステップS110に移行する。
ステップS110では、モーションデータ生成部2dにおいて、ステップS108で生成したモーションデータを、モーションデータ記憶部2fに記憶してステップS100に移行する。
【0112】
一方、ステップS100において、モーションデータの生成指示がなくてステップS112に移行した場合は、テクスチャデータ抽出部2eにおいて、テクスチャデータの抽出指示があったか否かを判定し、抽出指示があったと判定された場合(Yes)は、ステップS114に移行し、そうでない場合(No)は、ステップS100に移行する。
ステップS114に移行した場合は、テクスチャデータ抽出部2eにおいて、画像データ記憶部2bから、指示に対応した通常走査画像データを取得してステップS116に移行する。
【0113】
ステップS116では、テクスチャデータ抽出部2eにおいて、ステップS116で取得した通常走査画像データからテクスチャデータを抽出してステップS118に移行する。
ステップS118では、テクスチャデータ抽出部2eにおいて、ステップS116で抽出したテクスチャデータを、モーションデータ記憶部2fに記憶してステップS100に移行する。
【0114】
次に、図12〜図14に基づき、本実施の形態のモーションデータ生成システム3の実際の動作を説明する。ここで、図12(a)及び(b)は、通常走査画像及び高フレームレート画像の一例を示す図である。また、図13は、フレームレートの違いによる撮像結果についての説明図である。また、図14は、モーションデータの生成方法の一例を示す図である。
【0115】
まず、撮像装置1において(ここでは、説明の便宜上1台とする)、撮像対象であるマーカの付された動作体(例えば、人間)を撮像する。撮像装置1は、上記第1の実施の形態と同様に、付属のライトで動作体を照射し、当該ライトの照射された動作対を通常走査及び複数回の間引き走査によって撮像する(画素信号の読み出しを行う)。そして、これにより得られる通常走査画像データ及び間引き走査画像データを、メモリアクセス部12dを介してフレームメモリ14に格納する。更に、撮像装置1は、高フレームレート画像生成部12cにおいて、上記第1の実施の形態と同様に、現走査(現フレーム)の間引き走査画像データと、前走査(前フレーム)の間引き走査画像データとから高フレームレート画像データを生成し、当該生成した高フレームレート画像データを、メモリアクセス部12dを介してフレームメモリ14に格納する。
【0116】
また、撮像装置1は、モーションデータ生成装置2からの駆動信号に同期して、フレームメモリ14に格納された通常走査画像データ及び高フレームレート画像データを、モーションデータ生成装置2に出力する。
一方、モーションデータ生成装置2は、撮像装置1からの通常走査画像データ及び高フレームレート画像データを、画像データ取得部2aを介して取得し、当該取得した通常走査画像データ及び高フレームレート画像データを画像データ記憶部2bに記憶する。
【0117】
そして、モーションデータ生成装置2は、画像データ記憶部2bに所定量の画像データが蓄積後に、プロセッサからモーションデータの生成指示が送られてくると(ステップS100の「Yes」の分岐)、位置検出部2cにおいて、画像データ記憶部2bから、指示に応じた高フレームレート画像データを取得する(ステップS102)。そして、取得した高フレームレート画像データに基づき、マーカの位置検出を行う。
【0118】
以下、高フレームレート画像データからマーカの位置検出を行う理由を説明する。
動作体が素早い動きをした場合に、例えば、図12(a)に示すように、通常走査画像データの画像においては、現フレームとその1フレーム後とにおいて、マーカの位置が図示のように動くことになる。これに対し、高フレームレート画像データは、通常走査の1フレームの期間において3回の間引き走査が行われるため、図12(b)に示すように、通常走査画像データの現フレームの画像内容(マーカ位置)に至るまでのマーカの動きを3段階に捉えた画像となる。
【0119】
つまり、通常走査画像データより、高フレームレート画像データの方がフレームレートが3倍となるため、図12(a)に示す通常走査画像データのフレーム間のマーカ位置の変化量よりも、間引き走査の各フレーム間のマーカ位置の変化量を小さくできる。これにより、マーカの動きを精度良く捉えることが可能である。
例えば、現フレームにおいて、図13(a)に示す状態である矩形のマーカ画像が、通常露光時間の1フレーム後において時計回りに90°回転する動作をしたとする。この場合、通常露光時間のフレームレートよりも高いフレームレートであれば、図13(b)に示すように、回転途中の画像を得ることができるので、マーカが回転をしたことを判別できる。一方、通常露光時間のフレームレートで撮像される画像は、図13(c)に示すように、90°回転した後の画像となるので、マーカが回転をしたことを判別することができない。従って、本実施の形態において、マーカの動きを精度良く捉えるためには、できる限り間引き走査回数を増やすことが望ましい。
【0120】
位置検出部2cは、画像データ記憶部2bから取得した高フレームレート画像データに対してマーカの位置検出が終了すると、当該検出結果をモーションデータ生成部2dに出力する(ステップS106)。マーカ位置の検出結果は、例えば、マーカの種別(付された位置)情報と、その座標情報とを含んで構成される。モーションデータ生成部2dは、位置検出部2cから入力された検出結果に基づき、マーカの種別毎に、その座標情報に基づきモーションデータを生成する(ステップS108)。ここで、図14に示すように、1つ前のフレームにおけるマーカの座標と、現フレームにおけるマーカの座標とから位置の変化量が算出できるので、ここでは、マーカの種別毎に、各フレームの座標情報と、位置の変化量の情報とを含むモーションデータを生成する。このようにして、モーションデータが生成されると、モーションデータ生成部2dは、生成したモーションデータをモーションデータ記憶部2fに記憶する(ステップS110)。
【0121】
また、モーションデータ生成装置2は、プロセッサからテクスチャデータの抽出指示が送られてくると(ステップS112の「Yes」の分岐)、テクスチャデータ抽出部2eにおいて、画像データ記憶部2bから、指示に応じた通常走査画像データを取得する(ステップS114)。そして、取得した通常走査画像データからテクスチャデータを抽出する(ステップS116)。
【0122】
ここで、通常走査画像データの画像は、図12(a)に示すように、動作体及びマーカの双方が鮮明な画像となっており、一方、高フレームレート画像データの画像は、図12(b)に示すように、フレームレートを高速にする分、露光時間が短くなるために、光量の大きいマーカ以外の画像が黒潰れする。つまり、高フレームレートで撮像された画像からは、3次元コンピュータグラフィックスにおいてテクスチャマッピングに用いるテクスチャデータを得ることができない。本発明に係る撮像装置1においては、高フレームレート画像データと共に、通常露光時間で露光時の画像データも得られるので、通常走査画像データからテクスチャマッピングに用いることが可能なテクスチャデータの抽出を行うことができる。
【0123】
テクスチャデータの抽出は、プログラムにより自動的に行っても良いし、ユーザによる不図示の操作部の操作によって手動で行っても良い。
テクスチャデータの抽出が終了すると、テクスチャデータ抽出部2eは、当該抽出したテクスチャデータをモーションデータ記憶部2fに記憶する(ステップS118)。
このように、本実施形態のモーションデータ生成システム3では、撮像装置1において、マーカの付された動作体に対して、通常露光時間で露光時の画素データから構成される通常走査画像データと、通常露光時間と同じ露光期間において、複数回の間引き走査によって高速なフレームレートで読み出された画素データから構成される複数の高速フレームレート画像データとを同時に得ることが可能である。
【0124】
また、本実施形態のモーションデータ生成システム3では、モーションデータ生成装置2において、高速フレームレート画像データからマーカ位置情報を検出し、この検出結果からマーカの動きに対する精度の高いモーションデータを生成することが可能であり、通常走査画像データからテクスチャデータを抽出することが可能である。つまり、動作体に対する一度の撮像データから、モーションデータ及びテクスチャデータの両方を生成することが可能である。
【0125】
上記第2の実施の形態において、通常走査画像データは、形態3、10、13及び15のいずれか1の通常撮像画像データ生成手段で生成された画像データ又は形態15の通常撮像画像データ生成ステップにおいて生成された画像データに対応し、高フレームレート画像データは、形態3、5、8、9、11、12及び13のいずれか1の高速撮像画像データ生成手段で生成された画像データ又は形態15の高速撮像画像データ生成ステップにおいて生成された画像データに対応し、センサセルアレイ56は、形態1、3、13及び15のいずれか1の光電変換部に対応し、撮像処理部10の撮像素子100における基準タイミング発生器50、走査ラインスキャナ54、駆動パルス発生器52によるセンサセルアレイ56からの通常露光時間で露光時の電荷の破壊読み出し処理は、形態1、3、9及び13のいずれか1の第1読出手段又は形態15の第1読出ステップに対応し、第1出力チャンネル58は、形態1、3、13及び15のいずれか1の第1出力チャンネルに対応し、撮像処理部10の撮像素子100における基準タイミング発生器50、走査ラインスキャナ54、駆動パルス発生器52によるセンサセルアレイ56からの複数回の間引き走査による電荷の非破壊読み出し処理は、形態1、3、4、9及び13のいずれか1の第2読出手段又は形態15の第2読出ステップに対応し、第2出力チャンネル60は、形態1、3、5、13及び15のいずれか1の第2出力チャンネルに対応する。
【0126】
また、上記第2の実施の形態において、画像処理部12における、タイミング制御部12b、高フレームレート画像生成部12c、メモリアクセス部12dによる高フレームレート画像データの生成処理は、形態3、5、9、10、12及び13のいずれか1の高速撮像画像データ生成手段又は形態15の高速撮像画像データ生成ステップに対応し、画像処理部12における、メモリアクセス部12dによる通常走査画像データのフレームメモリ14への書き込み処理は、形態3、10及び13のいずれか1の通常撮像画像データ生成手段又は形態15の通常撮像画像データ生成ステップに対応する。
【0127】
また、上記第2の実施の形態において、位置検出部2cは、形態9の位置検出手段に対応し、モーションデータ生成部2dは、形態9のモーションデータ生成手段に対応し、テクスチャデータ抽出部2eは、形態10のテクスチャデータ抽出手段に対応する。
また、上記第2の実施の形態において、ステップS100〜ステップS106は、形態11又は12の位置検出ステップに対応し、ステップS108〜ステップS110は、形態11又は12のモーションデータ生成ステップに対応する。
【0128】
なお、上記第1及び第2の実施の形態において、撮像装置1を、通常露光時の画素信号を破壊読み出しするための第1出力チャンネル1つと、複数の間引き走査において画素信号を非破壊読み出しするための第2出力チャンネル1つとの計2つの出力チャンネルを有する構成としたが、これに限らず、間引き走査をする回数に応じて、間引き走査によって非破壊読み出しをするための出力チャンネルを複数備える構成としても良い。
【0129】
以下、図15〜図17に基づき、非破壊読み出しをする出力チャンネル数を1つ増やした場合の撮像装置の構成を説明する。ここで、図15は、2つの非破壊出力チャンネルを有する撮像装置4の概略構成を示す図である。また、図16は、撮像装置4における各画素列毎の露光及び画素信号の読み出し動作の一例を示す図である。また、図17は、2つの非破壊出力チャンネルを用いた間引き走査の一例を示す図である。
【0130】
上記第1及び第2の実施の形態における撮像装置1に対して、非破壊読出しを行う第3出力チャンネルを加えた構成の撮像装置4は、図15に示すように、追加した第3出力チャンネル64から出力される画素信号をデジタルの画素データに変換する第3のAFE106が加わった構成となる。
具体的に、第3出力チャンネル64は内部のラインメモリを介して走査ラインスキャナ54で読み出した画素信号を第3のAFE106に出力する。第3のAFE106は、入力された画素信号をデジタルデータである画素データに変換して、画像処理部12のメモリアクセス部12dに出力する。
【0131】
一方、第3出力チャンネル64が加わることによって、撮像素子100のセンサセルアレイ56における各画素列毎の露光及び画素信号の読み出し動作が、図16に示すようになる。
図16に示すように、まず、通常走査によって、センサセルアレイ56における各画素列の通常露光時間で露光時の画素信号の読み出し及び当該画素信号の読み出し後に蓄積電荷のリセットを行う第1読み出しラインを選択すると共に、複数回(例えば、通常露光時間(T1〜T16)において8回)の間引き走査を2分して第1組(T1、T5、T9、T13の4回)及び第2組(T3、T7、T11、T15の4回)に分け、第1組に対する、センサセルアレイ56における走査対象の画素列に対して、各走査時の露光時間で露光時の画素信号の非破壊読み出しを行う第2読み出しラインを選択し、第2組に対する、センサセルアレイ56における走査対象の画素列に対して、各走査時の露光時間で露光時の画素信号の非破壊読み出しを行う第3読み出しラインを選択する。
【0132】
そして、1回の露光期間(通常露光時間)において、通常走査による各画素列に対する通常露光時間で露光時の画素信号の読み出し及び蓄積電荷のリセットと、第1組における複数回の間引き走査による各走査対象の画素列に対する各走査時の露光時間で露光時の画素信号の非破壊読み出しと、第2組における複数回の間引き走査による各走査対象の画素列に対する各走査時の露光時間で露光時の画素信号の非破壊読み出しとをそれぞれ独立に実行する。
【0133】
つまり、第1読み出しライン、第2読み出しライン及び第3読み出しラインは、図16に示すように、全画素列(例えば、第1〜第20ライン)においては、これら画素列のいずれか1に通常露光時間分の電荷が蓄積されると、第1読み出しラインが当該画素列の画素信号を読み出すと共に、その蓄積電荷をリセットするように選択される。また、蓄積電荷のリセットされた画素列は、第1読み出しラインが他の画素列を走査後に再び走査されたときに、丁度通常露光時間分の露光が行われているように走査タイミングが制御される。なお、通常走査による各画素列の走査は、各フレーム毎に全画素列(例えば、第1〜第20ライン)をループしながら順次走査を行う。図16の例では、第1ライン(一番下のライン)から第20ライン(一番上のライン)に向かって1ライン毎に順次走査を行い、走査が第20ラインに到達すると1フレーム期間の走査が終了し、再び第1ラインから次フレームに対する同様の走査を行う。
【0134】
一方、間引き走査においては、第1読み出しラインによる蓄積電荷のリセット後に、通常露光時間分の電荷が蓄積される間に、第1組に対する、各走査時の露光時間において走査対象の各画素列の画素信号を非破壊で順次読み出すように第2読み出しラインがそれぞれ選択される。更に、通常露光時間分の電荷が蓄積される間に、第2組に対する、各走査時の露光時間において走査対象の各画素列の画素信号を非破壊で順次読み出すように第3読み出しラインがそれぞれ選択される。
【0135】
このとき、露光時間を揃えるために、第2読み出しラインと第3読み出しラインとの走査間隔(時間間隔)が同一となるように各読み出しラインが選択される。
これにより、第1読み出しラインによって走査対象の画素列の蓄積電荷がリセットされると、当該リセット後の画素列に対して、第1組に対する、第2読み出しラインにおいて各走査時の露光時間で露光された画素の画素信号の非破壊読み出しが各走査順に順次行われる。
【0136】
更に、第2読み出しラインによる走査が開始されると、図16に示すように、走査間隔が露光時間Tとなるように、第2組に対する、第3読み出しラインにおいて各走査時の露光時間で露光された画素の画素信号の非破壊読み出しが各走査順に順次行われる。
なお、間引き走査においては、システムコントローラから指定される間引き量に従って、所定量の画素列を間引きながら走査が行われ、走査対象の画素列のうち最大番号の画素列に到達すると、走査対象の画素列のうち最小番号の画素列に戻り、通常走査と同様に、ループしながら順次走査を行う。但し、間引き走査においては、通常露光時間の1フレームにおいて、実行可能な(あるいは予め設定された)走査回数だけループが繰り返されることになる。
【0137】
そして、図16に示すように、通常走査によって読み出された通常露光時間で露光時の画素信号(アナログデータ)は、第1出力チャンネル58(CH1)の第1ラインメモリSに読み出され、一方、リセット直後の画素信号は、CH1の第1ラインメモリNに読み出される。一方、第1組に対する複数回の間引き走査によって読み出された各走査毎の画素信号は、第2出力チャンネル(CH2)の第2ラインメモリに各走査毎に読み出されて第2のAFE104に出力されそこでデジタルデータ(画素データ)に変換される。また、第2組に対する複数回の間引き走査によって読み出された各走査毎の画素信号は、第3出力チャンネル(CH3)の第3ラインメモリに各走査毎に読み出されて第3のAFE106に出力されそこでデジタルデータ(画素データ)に変換される。
【0138】
上記構成の撮像装置4であれば、例えば、図17に示すように、第2出力チャンネル(CH2)に対する4回の間引き走査とは別に、これと同じ露光期間において、第3出力チャンネル(CH3)に対する4回の間引き走査を行うことができるので、CH2だけでは通常走査時の4倍のフレームレートであったところを、その倍の8倍のフレームレートで画素信号を読み出すことができる。このように、物理的な出力チャンネルを追加することで、簡易にフレームレートを高速化することが可能である。
【0139】
また、上記撮像装置4において、複数回の走査を複数の組に分けたときの、同一の走査間隔で行われる各組の走査において、間引き走査を行わない構成とすることも可能である。この場合は、間引きを行わないことになるので、単純に非破壊読出しを行うチャンネル数倍のフレームレートで画素信号を読み出すことができる。
また、上記撮像装置4においては、非破壊読出しを行うチャンネル数をCH2及びCH3の2つを有する構成としたが、これに限らず、3つ以上のチャンネル数を有する構成としてもよい。
【0140】
また、上記第2の実施の形態においては、本発明に係る撮像装置1をモーションキャプチャ技術に適用したが、本発明に係る撮像装置1は、高フレームレート画像データを、例えば、マシンビジョンにおける画像解析などの解析処理に用い、通常走査画像データを、例えば、表示用途などの鮮明な画像が必要な用途に用いるような、撮像対象の高フレームレート画像及び通常走査画像の双方が必要となるシステムであれば、どのようなシステムにでも応用することが可能である。
【0141】
例えば、テレビ電話のカメラに本発明に係る撮像装置1を適用し、通常走査画像データを相手側のテレビ電話の表示用に、高フレームレート画像データをこちら側の話者の動作の解析用にそれぞれ用い、話者の動き(例えば、話者の指先の動き)に対応してテレビ電話の操作を行えるようなインターフェースを実現するテレビ電話システムなどに応用可能である。
【0142】
また、自動車などにおいて、他の自動車、走行路面、ガードレール等を撮像するためのカメラに本発明に係る撮像装置1を適用し、通常走査画像データを運転手に撮像画像を見せるための表示用に、高フレームレート画像データを危険等を検知するための画像処理用にそれぞれ用い、走行中の危険監視を行う監視システムなどに応用可能である。また、監視対象を撮影するカメラに本発明に係る撮像装置1を適用し、通常走査画像データを表示用に、高フレームレート画像データを侵入者などの危険物の検知用にそれぞれ用いることで、様々な監視システムに応用することが可能である。
【図面の簡単な説明】
【0143】
【図1】本発明に係る撮像装置1の概略構成を示すブロック図である。
【図2】本発明に係る撮像素子100の内部構成を示すブロック図である。
【図3】センサセルアレイ56の詳細構成を示す図である。
【図4】走査ラインスキャナ54の内部構成を示す図である。
【図5】(a)は、間引き走査の一例を示す図であり、(b)は、(a)の間引き走査によってセンサセル56aから出力される画素信号のレベル(蓄積電荷量)の推移を示す図である。
【図6】撮像素子100のセンサセルアレイ56における各画素列毎の露光及び画素信号の読み出し動作の一例を示す図である。
【図7】画像処理部12の内部構成を示す図である。
【図8】(a)は、通常走査及び間引き走査の一例を示す図であり、(b)は、第10ラインのある画素に対する蓄積電荷量の推移を示す図である。
【図9】本発明に係るモーションデータ生成システム3の概略構成を示すブロック図である。
【図10】モーションデータ生成装置2の詳細構成を示すブロック図である。
【図11】モーションデータの生成処理及びテクスチャデータの抽出処理を示すフローチャートである。
【図12】(a)及び(b)は、通常走査画像及び高フレームレート画像の一例を示す図である。
【図13】フレームレートの違いによる撮像結果についての説明図である。
【図14】モーションデータの生成方法の一例を示す図である。
【図15】2つの非破壊出力チャンネルを有する撮像装置4の概略構成を示す図である。
【図16】撮像装置4における各画素列毎の露光及び画素信号の読み出し動作の一例を示す図である。
【図17】2つの非破壊出力チャンネルを用いた間引き走査の一例を示す図である。
【符号の説明】
【0144】
1は撮像装置、2はモーションデータ生成装置、3はモーションデータ生成システム、10は撮像処理部、12は画像処理部、14はフレームメモリ、100は撮像素子、102は第1のAFE、104は第2のAFE、50は基準タイミング発生器、52は駆動パルス発生器、54は走査ラインスキャナ、56はセンサセルアレイ、58は第1出力チャンネル、60は第2出力チャンネル、54aは通常走査カウンタ、54bは通常走査アドレスデコーダ、54cは間引き走査カウンタ、54dは間引き走査アドレスデコーダ、54eはORロジック、12aは通信器、12bはタイミング制御部、12cは高フレームレート画像生成部、12dはメモリアクセス部、12eは出力読出し部、2aは画像データ取得部、2bは画像データ記憶部、2cは位置検出部、2dはモーションデータ生成部、2eはテクスチャデータ抽出部、2fはモーションデータ記憶部
【技術分野】
【0001】
本発明は、光電変換素子からの電荷の読み出しを、破壊読み出し方式及び非破壊読み出し方式の両方を用いて行うことが可能な撮像装置及び当該撮像装置を利用したモーションデータ生成システムに関する。
【背景技術】
【0002】
従来、リアルな動きのCG(Computer Graphics)キャラクタが要求される映画やゲームなどの分野においては、例えば、人間の身体運動をコンピュータに取り込むモーションキャプチャが良く用いられる。モーションキャプチャの手法は幾つか存在するが、比較的ポピュラーな手法は光学式である。光学式とは、撮像装置(カメラ)でマーカを付けた対象物体(人間など)を撮影し、この撮影により得た画像データを画像処理してマーカの位置を検出し、対象物体の動き(モーション)データを取得(生成)する方法である。光学式においては、高速フレームレートの撮像装置(カメラ)が使用される。これはフレームレートが高ければ、1フレームあたりのマーカの移動量が小さくなり位置検出の精度が向上するためである。しかし、高速フレームレートのカメラを用いると露光時間が短くなるため、光量不足となり、撮影画像からマーカの位置を検出することが困難になる。そのため、モーションキャプチャ装置において対象物体の動作をキャプチャする際に、例えば、補助光装置(例えば、ストロボ)及び光を反射するマーカを組み合わせて光量不足となるのを防いでいる(特許文献1参照)。
【特許文献1】特開2003―106812号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかしながら、上記特許文献1の従来技術にあっては、位置検出の精度を高めるために、高速なフレームレートで対象物体の撮影を行うと、光量の多いマーカは正確に撮影できても、対象物体の外観及び背景などを正確(精細)に撮影することができない。そのため、対象物体のモーションデータと共に対象物体の精細な外観及び背景などの画像が必要なときは、別途、対象物体の精細な外観及び背景などの画像が得られるフレームレート(通常フレームレート)で対象物体の撮影を行う必要がある。
【0004】
そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものであって、所定露光時間に対応した通常フレームレートの画像と、所定露光時間以下の複数種類の露光時間に対応した高速フレームレートの画像とを同時に撮像できる撮像素子、撮像装置、撮像システム及び撮像方法、並びに当該撮像装置、撮像システム又は撮像方法を利用したモーションデータ生成システム、モーションデータ生成プログラム及びモーションデータ生成方法を提供することを目的としている。
【課題を解決するための手段】
【0005】
〔形態1〕 上記目的を達成するために、形態1の撮像素子は、
露光した光を電荷に変換して蓄積する複数の光電変換素子がマトリクス状に配設された光電変換部と、
前記光電変換素子の構成する各画素を走査し、当該走査した各画素からの所定露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴う破壊読み出し方式で行う第1読出手段と、
前記所定露光時間の間に、前記光電変換素子の構成する各画素に対して複数回の走査を行うと共に、当該各走査における前記各画素からの、前記所定露光時間以下の複数種類の露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴わない非破壊読み出し方式で行う第2読出手段と、
前記第1読出手段で読み出される、前記所定露光時間で露光した時の電荷から構成される画素データを順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第1出力チャンネルと、
前記第2読出手段で読み出される画素データを、前記複数回の走査における各走査毎に順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第2出力チャンネルと、を備え、
前記第2読出手段は、前記複数回の走査を、前記複数の光電変換素子の構成する画素群から所定の画素を間引いた残りの画素に対して行うことを特徴としている。
【0006】
このような構成であれば、第1読出手段によって、前記光電変換素子の構成する各画素を走査し、当該走査した各画素からの所定露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴う破壊読み出し方式で行うことが可能であり、第2読出手段によって、前記所定露光時間の間に、前記光電変換素子の構成する各画素に対して複数回の走査を行うと共に、当該各走査における前記各画素からの、前記所定露光時間以下の複数種類の露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴わない非破壊読み出し方式で行うことが可能である。
【0007】
更に、第1出力チャンネルによって、前記第1読出手段で読み出される、前記所定露光時間で露光した時の電荷から構成される画素データを順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力することが可能であり、第2出力チャンネルによって、前記第2読出手段で読み出される画素データを、前記複数回の走査における各走査毎に順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力することが可能である。
【0008】
なお更に、前記第2読出手段は、前記複数回の走査を、前記複数の光電変換素子の構成する画素群から所定の画素を間引いた残りの画素に対して行うことが可能である。
つまり、第1読出手段によって、所定露光時間の露光で光電変換部の各画素から電荷の破壊読み出しを行い、一方、所定露光時間の露光が行われている期間中に、第2読出手段によって、前記光電変換部の画素のうち所定画素を間引いた残りの画素に対して、複数回の走査を行い、前記所定露光時間以下の複数種類の露光時間で露光された画素の電荷の非破壊読み出しを行うことができる。更に、第1読出手段で走査し読み出した所定露光時間で露光した時の画素データは第1出力チャンネルから出力し、第2読出手段で走査し読み出した所定露光時間以下の複数種類の露光時間で露光時の画素データは第2出力チャンネルから出力するようにしたので、破壊読み出し方式で読み出した画素データと、非破壊読み出し方式で読み出した画素データとをそれぞれ独立に出力することができる。
【0009】
また、第2読出手段においては、所定画素を間引きした残りの画素に対して走査を行うため、全画素に対して走査を行うよりも高速な走査が可能になる。更に、各画素からの電荷の読み出しを非破壊読み出し方式で行うと共に、所定露光時間の露光期間中に、所定露光時間以下の複数種類の露光時間で複数回の走査を行うようにしたので、高速なフレームレートで電荷を読み出すことができる。これにより、被写体の高速な動きに追随して、所定露光時間では捉えきれない動作中(位置変位途中)の被写体画像を撮像することが可能となる。また、電荷の読み出しを非破壊読み出し方式で行うことで、所定露光時間の露光期間において複数回の走査を行っても各画素の蓄積電荷量を維持することができる。
【0010】
例えば、比較的輝度が高く且つ動きのある被写体(例えば、モーションキャプチャのマーカなど)及び比較的輝度の低い(暗い)背景から構成される撮像対象を撮像する場合に、第1読出手段で読み出した所定露光時間で露光時の電荷から構成される画素データから、被写体及び背景が十分な露光時間で露光された鮮明な画像を得ることができると共に、第2読出手段で読み出した、複数回の走査による所定露光時間以下の複数種類の露光時間で露光時の電荷から構成される画素データから、被写体の動きに追従し被写体の動きを正確に捉えた複数の画像を得ることができる。
【0011】
つまり、所定露光時間の露光期間において、撮像対象が鮮明に撮像された撮像画像と、被写体の動きを正確に捉えた複数の撮像画像とを同時に得ることができるという効果が得られる。
また、間引きする画素数を変更することによって、簡易にフレームレートを変更(高速化)することができるという効果も得られる。
【0012】
ここで、上記「光電変換部」は、例えば、CMOS技術を用いて構成されており、CMOS技術を利用した非破壊読み出し可能な撮像素子としては、閾値変調型撮像素子(例えば、VMIS(Threshold Voltage Modulation Image Sensor))などがある。以下、形態2の撮像素子、形態3及び6の撮像装置、形態13及び14の撮像システム、形態15及び16の撮像方法において同じである。
【0013】
また、上記「破壊読読み出し方式」は、撮像装置の撮像素子(光電変換部)を構成する光電変換素子から電荷(画素信号)を読み出すときに、当該光電変換素子に蓄積された電荷を空にするリセット処理を伴うものである。以下、形態2の撮像素子、形態3及び6の撮像装置、形態13及び14の撮像システム、形態15及び16の撮像方法において同じである。
【0014】
また、上記「非破壊読み出し方式」は、前記光電変換素子から電荷(画素信号)を読み出すときに、当該光電変換素子に蓄積された電荷を空にせず蓄積状態を維持したままで読み出すものである。つまり、電荷読み出し時にリセット処理を伴わないため、設定された露光時間に至るまで、電荷の蓄積途中において、何度でも電荷の読み出しを行うことができる。以下、形態2の撮像素子、形態3及び6の撮像装置、形態13及び14の撮像システム、形態15及び16の撮像方法において同じである。
【0015】
〔形態2〕 また、上記目的を達成するために、形態2の撮像素子は、
露光した光を電荷に変換して蓄積する複数の光電変換素子がマトリクス状に配設された光電変換部と、
前記光電変換素子の構成する各画素を走査し、当該走査した各画素からの所定露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴う破壊読み出し方式で行う第1読出手段と、
前記各画素に対して行う複数回の走査を所定の組み合わせでN個の組に分割し、前記所定露光時間の間に、前記分割した各組の走査を、各組間の走査間隔が同じ時間間隔となるように行うと共に、当該各走査における前記各画素からの、前記所定露光時間以下の複数種類の露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴わない非破壊読み出し方式で行う第2読出手段と、
前記第1読出手段で読み出される、前記所定露光時間で露光した時の電荷から構成される画素データを順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第1出力チャンネルと、
前記第2読み出し手段で読み出される画素データを各走査毎に順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する、前記各組毎に独立したN個(Nは2以上の自然数)の第2〜第(N+1)出力チャンネルと、を備え、
前記第2読出手段は、前記各走査を、前記複数の光電変換素子の構成する画素群から所定の画素を間引いた残りの画素に対して行うことを特徴としている。
【0016】
このような構成であれば、第1読出手段によって、前記光電変換素子の構成する各画素を走査し、当該走査した各画素からの所定露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴う破壊読み出し方式で行うことが可能であり、第2読出手段によって、前記所定露光時間の間に、前記光電変換素子の構成する各画素に対して複数回の走査を行うと共に、当該各走査における前記各画素からの、前記所定露光時間以下の複数種類の露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴わない非破壊読み出し方式で行うことが可能である。
【0017】
更に、第1出力チャンネルによって、前記第1読出手段で読み出される、前記所定露光時間で露光した時の電荷から構成される画素データを順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力することが可能であり、前記各組毎に独立した第2〜第(N+1)出力チャンネルによって、前記第2読み出し手段で読み出される画素データを各走査毎に順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力することが可能である。
【0018】
なお更に、前記第2読出手段は、前記各走査を、前記複数の光電変換素子の構成する画素群から所定の画素を間引いた残りの画素に対して行うことが可能である。
つまり、第1読出手段によって、所定露光時間の露光で光電変換部の各画素から電荷の破壊読み出しを行い、一方、所定露光時間の露光が行われている期間中に、第2読出手段によって、前記光電変換部の画素のうち所定画素を間引いた残りの画素に対して、各組毎に走査を行い、各組毎に独立に前記所定露光時間以下の複数種類の露光時間で露光された画素の電荷の非破壊読み出しを行うことができる。更に、第1読出手段で走査し読み出した所定露光時間で露光した時の画素データは第1出力チャンネルから出力し、第2読出手段で走査し読み出した各組の所定露光時間以下の複数種類の露光時間で露光時の画素データは第2〜第(N+1)出力チャンネルから出力するようにしたので、破壊読み出し方式で読み出した画素データと、非破壊読み出し方式で読み出した各組の画素データとをそれぞれ独立に出力することができる。
【0019】
また、第2読出手段においては、所定画素を間引きした残りの画素に対して走査を行うため、全画素に対して走査を行うよりも高速な走査が可能になる。更に、各画素からの電荷の読み出しを非破壊読み出し方式で行うと共に、所定露光時間の露光期間中に、所定露光時間以下の複数種類の露光時間で複数回の走査を行うようにしたので、高速なフレームレートで電荷を読み出すことができる。これにより、被写体の高速な動きに追随して、所定露光時間では捉えきれない動作中(位置変位途中)の被写体画像を撮像することが可能となる。また、電荷の読み出しを非破壊読み出し方式で行うことで、所定露光時間の露光期間において複数回の走査を行っても各画素の蓄積電荷量を維持することができる。また、間引きする画素数を変更することによって、簡易にフレームレートを変更することが可能である。更に、出力チャンネル数を物理的に増やすことによって、走査回数を簡易に増加することができ、これにより、所定露光期間中における同一画素に対する電荷の読み出し回数を簡易に増加することが可能である。
【0020】
例えば、比較的輝度が高く且つ動きのある被写体(例えば、モーションキャプチャのマーカなど)及び比較的輝度の低い(暗い)背景から構成される撮像対象を撮像する場合に、第1読出手段で読み出した所定露光時間で露光時の電荷から構成される画素データから、被写体及び背景が十分な露光時間で露光された鮮明な画像を得ることができると共に、第2読出手段で読み出した、複数回の走査による所定露光時間以下の複数種類の露光時間で露光時の電荷から構成される画素データから、被写体の動きに追従し被写体の動きを正確に捉えた複数の画像を得ることができる。
【0021】
つまり、所定露光時間の露光期間において、撮像対象が鮮明に撮像された撮像画像と、被写体の動きを正確に捉えた複数の撮像画像とを同時に得ることができるという効果が得られる。
また、間引き画素数や出力チャンネル数を増やすことによって、簡易に、より高速なフレームレートで電荷を読み出すことができるという効果も得られる。
【0022】
〔形態3〕 一方、上記目的を達成するために、形態3の撮像装置は、
露光した光を電荷に変換して蓄積する複数の光電変換素子がマトリクス状に配設された光電変換部と、
前記光電変換素子の構成する各画素を走査し、当該走査した各画素からの所定露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴う破壊読み出し方式で行う第1読出手段と、
前記所定露光時間の間に、前記光電変換素子の構成する各画素に対して複数回の走査を行うと共に、当該各走査における前記各画素からの、前記所定露光時間以下の複数種類の露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴わない非破壊読み出し方式で行う第2読出手段と、
前記第1読出手段で読み出される、前記所定露光時間で露光した時の電荷から構成される画素データを順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する}第1出力チャンネルと、
前記第2読出手段で読み出される画素データを、前記複数回の走査における各走査毎に順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第2出力チャンネルと、
前記第1出力チャンネルから出力される画素データに基づき、所定露光時間で露光した時の撮像画像データを生成する通常撮像画像データ生成手段と、
前記第2出力チャンネルから出力される画素データに基づき、前記複数回の走査における各走査毎の撮像画像データをそれぞれ生成する高速撮像画像データ生成手段と、を備え、
前記第2読出手段は、前記複数回の走査を、前記複数の光電変換素子の構成する画素群から所定の画素を間引いた残りの画素に対して行うことを特徴としている。
【0023】
このような構成であれば、第1読出手段によって、前記光電変換素子の構成する各画素を走査し、当該走査した各画素からの所定露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴う破壊読み出し方式で行うことが可能であり、第2読出手段によって、前記所定露光時間の間に、前記光電変換素子の構成する各画素に対して複数回の走査を行うと共に、当該各走査における前記各画素からの、前記所定露光時間以下の複数種類の露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴わない非破壊読み出し方式で行うことが可能である。
【0024】
更に、第1出力チャンネルによって、前記第1読出手段で読み出される、前記所定露光時間で露光した時の電荷から構成される画素データを順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力することが可能であり、第2出力チャンネルによって、前記第2読出手段で読み出される画素データを、前記複数回の走査における各走査毎に順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力することが可能であり、通常撮像画像データ生成手段によって、前記第1出力チャンネルから出力される画素データに基づき、所定露光時間で露光時の撮像画像データを生成することが可能であり、高速撮像画像データ生成手段によって、前記第2出力チャンネルからそれぞれ出力される画素データに基づき、前記複数回の走査における各走査毎の撮像画像データをそれぞれ生成することが可能である。
【0025】
なお更に、前記第2読出手段は、前記複数回の走査を、前記複数の光電変換素子の構成する画素群から所定の画素を間引いた残りの画素に対して行うことが可能である。
つまり、第1読出手段によって、所定露光時間の露光で光電変換部の各画素から電荷の破壊読み出しを行い、一方、所定露光時間の露光が行われている期間中に、第2読出手段によって、前記光電変換部の画素のうち所定画素を間引いた残りの画素に対して、複数回の走査を行い、前記所定露光時間以下の複数種類の露光時間で露光された画素の電荷の非破壊読み出しを行うことができる。更に、第1読出手段で走査し読み出した所定露光時間で露光時の画素データは第1出力チャンネルから出力し、第2読出手段で走査し読み出した所定露光時間以下の複数種類の露光時間で露光時の画素データは、各走査毎に第2出力チャンネルからそれぞれ独立に出力するようにしたので、破壊読み出し方式で読み出した画素データと、非破壊読み出し方式で読み出した画素データとをそれぞれ独立に出力することができる。
【0026】
また、第2読出手段においては、所定画素を間引きした残りの画素に対して走査を行うため、全画素に対して走査を行うよりも高速な走査が可能になる。更に、各画素からの電荷の読み出しを非破壊読み出し方式で行うと共に、所定露光時間の露光期間中に、所定露光時間以下の複数種類の露光時間で複数回の走査を行うようにしたので、高速なフレームレートで電荷を読み出すことができる。これにより、被写体の高速な動きに追随して、所定露光時間では捉えきれない動作中(位置変位途中)の被写体画像を撮像することが可能となる。また、電荷の読み出しを非破壊読み出し方式で行うことで、所定露光時間の露光期間において複数回の走査を行っても各画素の蓄積電荷量を維持することができる。また、間引きする画素数を変更することによって、簡易にフレームレートを変更することが可能である。
【0027】
例えば、比較的輝度が高く且つ動きのある被写体(例えば、モーションキャプチャのマーカなど)及び比較的輝度の低い(暗い)背景から構成される撮像対象を撮像する場合に、第1読出手段で読み出した所定露光時間で露光時の電荷から構成される画素データから通常撮像画像データを生成するようにしたので、被写体及び背景が十分な露光時間で露光された鮮明な画像を得ることができる。更に、第2読出手段で読み出した、複数回の走査による所定露光時間以下の複数種類の露光時間で露光時の電荷から構成される画素データから各走査毎の高速撮像画像データを生成するようにしたので、被写体の動きに追従し且つ被写体を鮮明に捉えた複数の画像を得ることができる。
つまり、所定露光時間の露光期間において、撮像対象が鮮明に撮像された撮像画像と、被写体の動きを正確に捉えた複数の撮像画像とを同時に得ることができるという効果が得られる。
【0028】
〔形態4〕 更に、形態4の撮像装置は、形態3の撮像装置において、
前記第2出力チャンネルは、前記画素のライン毎に前記画素データを出力するようになっており、
前記第2読出手段は、前記複数回の走査を、前記画素群から所定ラインの画素を間引いた残りのラインの画素に対して行うようになっていることを特徴としている。
このような構成であれば、所定の画素をライン単位で間引くことができるので、走査を行うライン数の調整が簡易であると共に、当該走査を行う画素のライン数の調整によって、フレームレートを簡易に変更することができるという効果が得られる。
【0029】
〔形態5〕 更に、形態5の撮像装置は、形態3又は4の撮像装置において、
前記高速撮像画像データ生成手段は、前記複数回の走査における各回の走査毎に、前記第2出力チャンネルから出力される画素データの画素値と、前記第2出力チャンネルから前記各回の走査の1つ前の回の走査において出力される画素データの画素値との差分値を算出すると共に、当該差分値に基づき、前記各回の走査にそれぞれ対応する撮像画像データを生成することを特徴としている。
【0030】
このような構成であれば、前記複数回の走査における各回の走査時に読み出した画素データとその1つ前の回の走査時に読み出した画素データとの差分値を算出することができるので、各回の走査毎にそれぞれ対応する画素データから、非破壊読み出し方式で問題となる固定パターンノイズを除去又は低減することが可能となる。
従って、固定パターンノイズを除去又は低減した画素データから撮像画像データを生成することができるので、固定パターンノイズによる画質劣化を防ぐ又は低減することができるという効果が得られる。
【0031】
ここで、「固定パターンノイズ」には、長時間露光時に問題になる暗電流シェーディングや、画素ごとのセンサ感度の違いによって発生するものなどがある。以下、形態2の撮像素子、形態3及び6の撮像装置、形態13及び14の撮像システム、形態15及び16の撮像方法において同じである。
【0032】
〔形態6〕 一方、上記目的を達成するために、形態6の撮像装置は、
露光した光を電荷に変換して蓄積する複数の光電変換素子がマトリクス状に配設された光電変換部と、
前記光電変換素子の構成する各画素を走査し、当該走査した各画素からの所定露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴う破壊読み出し方式で行う第1読出手段と、
前記各画素に対して行う複数回の走査を所定の組み合わせでN個の組に分割し、前記所定露光時間の間に、前記分割した各組の走査を、各組間の走査間隔が同じ時間間隔となるように行うと共に、当該各走査における前記各画素からの、前記所定露光時間以下の複数種類の露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴わない非破壊読み出し方式で行う第2読出手段と、
前記第1読出手段で読み出される、前記所定露光時間で露光した時の電荷から構成される画素データを順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第1出力チャンネルと、
前記第2読み出し手段で読み出される画素データを各走査毎に順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する、前記各組毎に独立したN個(Nは2以上の自然数)の第2〜第(N+1)出力チャンネルと、
前記第1出力チャンネルから出力される画素データに基づき、所定露光時間で露光した時の撮像画像データを生成する通常撮像画像データ生成手段と、
前記第2〜第(N+1)出力チャンネルから出力される画素データに基づき、前記複数回の走査における各走査毎の撮像画像データをそれぞれ生成する高速撮像画像データ生成手段と、を備え、
前記第2読出手段は、前記各走査を、前記複数の光電変換素子の構成する画素群から所定の画素を間引いた残りの画素に対して行うことを特徴としている。
【0033】
このような構成であれば、第1読出手段によって、前記光電変換素子の構成する各画素を走査し、当該走査した各画素からの所定露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴う破壊読み出し方式で行うことが可能であり、第2読出手段によって、前記所定露光時間の間に、前記光電変換素子の構成する各画素に対して複数回の走査を行うと共に、当該各走査における前記各画素からの、前記所定露光時間以下の複数種類の露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴わない非破壊読み出し方式で行うことが可能である。
【0034】
更に、第1出力チャンネルによって、前記第1読出手段で読み出される、前記所定露光時間で露光した時の電荷から構成される画素データを順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力することが可能であり、前記各組毎に独立した第2〜第(N+1)出力チャンネルによって、前記第2読み出し手段で読み出される画素データを各走査毎に順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力することが可能であり、通常撮像画像データ生成手段によって、前記第1出力チャンネルから出力される画素データに基づき、所定露光時間で露光時の撮像画像データを生成することが可能であり、高速撮像画像データ生成手段によって、前記第2〜第(N+1)出力チャンネルからそれぞれ出力される画素データに基づき、前記複数回の走査における各走査毎の撮像画像データをそれぞれ生成することが可能である。
【0035】
なお更に、前記第2読出手段は、前記各走査を、前記複数の光電変換素子の構成する画素群から所定の画素を間引いた残りの画素に対して行うことが可能である。
つまり、第1読出手段によって、所定露光時間の露光で光電変換部の各画素から電荷の破壊読み出しを行い、一方、所定露光時間の露光が行われている期間中に、第2読出手段によって、前記光電変換部の画素のうち所定画素を間引いた残りの画素に対して、各組毎に走査を行い、各組毎に独立に前記所定露光時間以下の複数種類の露光時間で露光された画素の電荷の非破壊読み出しを行うことができる。更に、第1読出手段で走査し読み出した所定露光時間で露光した時の画素データは第1出力チャンネルから出力し、第2読出手段で走査し読み出した各組の所定露光時間以下の複数種類の露光時間で露光時の画素データは第2〜第(N+1)出力チャンネルから出力するようにしたので、破壊読み出し方式で読み出した画素データと、非破壊読み出し方式で読み出した各組の画素データとをそれぞれ独立に出力することができる。
【0036】
また、第2読出手段においては、所定画素を間引きした残りの画素に対して走査を行うため、全画素に対して走査を行うよりも高速な走査が可能になる。更に、各画素からの電荷の読み出しを非破壊読み出し方式で行うと共に、所定露光時間の露光期間中に、所定露光時間以下の複数種類の露光時間で複数回の走査を行うようにしたので、高速なフレームレートで電荷を読み出すことができる。これにより、被写体の高速な動きに追随して、所定露光時間では捉えきれない動作中(位置変位途中)の被写体画像を撮像することが可能となる。また、電荷の読み出しを非破壊読み出し方式で行うことで、所定露光時間の露光期間において複数回の走査を行っても各画素の蓄積電荷量を維持することができる。また、間引きする画素数を変更することによって、簡易にフレームレートを変更することが可能である。更に、出力チャンネル数を物理的に増やすことによって、走査回数を簡易に増加することができ、これにより、所定露光期間中における同一画素に対する電荷の読み出し回数を簡易に増加することが可能である。
【0037】
例えば、比較的輝度が高く且つ動きのある被写体(例えば、モーションキャプチャのマーカなど)及び比較的輝度の低い(暗い)背景から構成される撮像対象を撮像する場合に、第1読出手段で読み出した所定露光時間で露光時の電荷から構成される画素データから通常撮像画像データを生成するようにしたので、被写体及び背景が十分な露光時間で露光された鮮明な画像を得ることができる。更に、第2読出手段で読み出した、複数回の走査による所定露光時間以下の複数種類の露光時間で露光時の電荷から構成される画素データから各走査毎の高速撮像画像データを生成するようにしたので、被写体の動きに追従し且つ被写体を鮮明に捉えた複数の画像を得ることができる。
【0038】
つまり、所定露光時間の露光期間において、撮像対象が鮮明に撮像された撮像画像と、被写体の動きを正確に捉えた複数の撮像画像とを同時に得ることができるという効果が得られる。
また、間引き画素数や出力チャンネル数を増やすことによって、簡易に、より高速なフレームレートで電荷を読み出すことができるという効果も得られる。
【0039】
〔形態7〕 更に、形態7の撮像装置は、形態6の撮像装置において、
前記第2〜第(N+1)出力チャンネルは、前記画素のライン毎に前記画素データを出力するようになっており、
前記第2読出手段は、前記複数回の走査を、前記画素群から所定ラインの画素を間引いた残りのラインの画素に対して行うようになっていることを特徴としている。
このような構成であれば、所定の画素をライン単位で間引くことができるので、走査を行うライン数の調整が簡易であると共に、当該走査を行う画素のライン数の調整によって、フレームレートを簡易に変更することができるという効果が得られる。
【0040】
〔形態8〕 更に、形態8の撮像装置は、形態6又は7の撮像装置において、
前記高速撮像画像データ生成手段は、前記複数回の走査における各回の走査毎に、前記第2〜第(N+1)出力チャンネルから出力される画素データの画素値と、前記第2〜第(N+1)出力チャンネルから前記各回の走査の1つ前の回の走査において出力される画素データの画素値との差分値を算出すると共に、当該差分値に基づき、前記各回の走査にそれぞれ対応する撮像画像データを生成することを特徴としている。
このような構成であれば、所定の画素をライン単位で間引くことができるので、走査を行うライン数の調整が簡易であると共に、当該走査を行う画素のライン数の調整によって、フレームレートを簡易に変更することができるという効果が得られる。
【0041】
〔形態9〕 一方、上記目的を達成するために、形態9のモーションデータ生成システムは、
所定動作を行う動作体の動作内容を示すモーションデータを生成するモーションデータ生成システムであって、
請求項3乃至請求項8のいずれか1項に記載の撮像装置を備え、
前記撮像装置は、位置検出用のマーカが付された前記動作体を含む撮像対象に対する、前記所定露光時間で露光時の画素データを前記第1読出手段によって読み出すと共に、前記複数種類の露光時間で露光時の画素データを前記第2読出手段によって読み出し、
前記撮像装置における前記高速撮像画像データ生成手段で生成された撮像画像データに基づき、前記マーカの位置を検出する位置検出手段と、
前記位置検出手段の検出結果に基づき前記モーションデータを生成するモーションデータ生成手段と、を備えることを特徴としている。
【0042】
このような構成であれば、請求項3乃至請求項8のいずれか1項に記載の撮像装置において、位置検出用のマーカが付された前記動作体を含む撮像対象に対する、所定露光時間で露光時の画素データ及び複数種類の露光時間で露光時の画素データを読み出すことが可能である。
更に、位置検出手段によって、前記撮像装置における前記高速撮像画像データ生成手段で生成された撮像画像データに基づき、前記マーカの位置を検出することが可能であり、モーションデータ生成手段によって、前記位置検出手段の検出結果に基づき前記モーションデータを生成することが可能である。
【0043】
従って、高輝度のマーカを付された動作体に対して、高速なフレームレートで電荷を読み出すことができるので、動作体の動きに追随して、所定露光時間では捉えきれない変位中のマーカの画像を取得することが可能である。そして、このようなマーカの画像からマーカの位置を検出することができるので、動作体の動きに対して精度の高い位置検出を行うことが可能であり、これにより、動作体の動きに対してより正確なモーションデータを生成することができるという効果が得られる。また、所定露光時間に対応する撮像画像データからは、鮮明な背景画像(あるは他の動作体画像)のデータや、鮮明な動作体画像のデータが取得できるので、これらの画像データをモーションデータの生成とは別の用途に利用することが可能である。
【0044】
ここで、本システムは、単一の装置、端末その他の機器として実現するようにしてもよいし、複数の装置、端末その他の機器を通信可能に接続したネットワークシステムとして実現するようにしてもよい。後者の場合、各構成要素は、それぞれ通信可能に接続されていれば、複数の機器等のうちいずれに属していてもよい。
【0045】
〔形態10〕 更に、形態10のモーションデータ生成装置は、形態9のモーションデータ生成装置において、
前記撮像装置における前記通常撮像画像データ生成手段で生成された撮像画像データから、前記動作体のテクスチャデータを抽出するテクスチャデータ抽出手段を備えることを特徴としている。
【0046】
このような構成であれば、テクスチャデータ抽出手段によって、前記撮像装置における前記通常撮像画像データ生成手段で生成された撮像画像データから、前記動作体のテクスチャデータを抽出することが可能である。
従って、高速なフレームレートで撮像した撮像画像データからはモーションデータを、動作体を鮮明に撮像した撮像画像データからテクスチャデータを生成することができるので、モーションキャプチャ用の撮像画像と、テクスチャーデータ取得用の撮像画像とを、それぞれを別々に撮像する手間を省くことができるという効果が得られる。
【0047】
〔形態11〕 また、上記目的を達成するために、形態11のモーションデータ生成プログラムは、
所定動作を行う動作体の動作内容を示すモーションデータを生成するためのモーションデータ生成プログラムであって、
請求項3乃至請求項8のいずれか1項に記載の撮像装置における前記高速撮像画像データ生成手段で生成された、位置検出用のマーカが付された前記動作体を含む撮像対象に対する撮像画像データに基づき、前記マーカの位置を検出する位置検出ステップと、
前記位置検出ステップの検出結果に基づき前記モーションデータを生成するモーションデータ生成ステップとからなる処理をコンピュータに実行させるためのプログラムを含むことを特徴としている。
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、形態9のモーションデータ生成システムと同等の作用および効果が得られる。
【0048】
〔形態12〕 また、上記目的を達成するために、形態12のモーションデータ生成方法は、
所定動作を行う動作体の動作内容を示すモーションデータを生成するためのモーションデータ生成方法であって、
請求項3乃至請求項8のいずれか1項に記載の撮像装置における前記高速撮像画像データ生成手段で生成された、位置検出用のマーカが付された前記動作体を含む撮像対象に対する撮像画像データに基づき、前記マーカの位置を検出する位置検出ステップと、
前記位置検出ステップの検出結果に基づき前記モーションデータを生成するモーションデータ生成ステップと、を含むことを特徴としている。
これにより、形態9のモーションデータ生成システムと同等の効果が得られる。
【0049】
〔形態13〕 一方、上記目的を達成するために、形態13の撮像システムは、
露光した光を電荷に変換して蓄積する複数の光電変換素子がマトリクス状に配設された光電変換部と、
前記光電変換素子の構成する各画素を走査し、当該走査した各画素からの所定露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴う破壊読み出し方式で行う第1読出手段と、
前記所定露光時間の間に、前記光電変換素子の構成する各画素に対して複数回の走査を行うと共に、当該各走査における前記各画素からの、前記所定露光時間以下の複数種類の露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴わない非破壊読み出し方式で行う第2読出手段と、
前記第1読出手段で読み出される、前記所定露光時間で露光した時の電荷から構成される画素データを順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第1出力チャンネルと、
前記第2読出手段で読み出される画素データを、前記複数回の走査における各走査毎に順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第2出力チャンネルと、
前記第1出力チャンネルから出力される画素データに基づき、所定露光時間で露光した時の撮像画像データを生成する通常撮像画像データ生成手段と、
前記第2出力チャンネルから出力される画素データに基づき、前記複数回の走査における各走査毎の撮像画像データをそれぞれ生成する高速撮像画像データ生成手段と、を備え、
前記第2読出手段は、前記複数回の走査を、前記複数の光電変換素子の構成する画素群から所定の画素を間引いた残りの画素に対して行うことを特徴としている。
【0050】
これにより、形態3の撮像装置と同等の作用及び効果が得られる。
ここで、本システムは、単一の装置、端末その他の機器(この場合は、形態3の撮像装置と同等)として実現するようにしてもよいし、複数の装置、端末その他の機器を通信可能に接続したネットワークシステムとして実現するようにしてもよい。後者の場合、各構成要素は、それぞれ通信可能に接続されていれば、複数の機器等のうちいずれに属していてもよい。
【0051】
〔形態14〕 また、上記目的を達成するために、形態14の撮像システムは、
露光した光を電荷に変換して蓄積する複数の光電変換素子がマトリクス状に配設された光電変換部と、
前記光電変換素子の構成する各画素を走査し、当該走査した各画素からの所定露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴う破壊読み出し方式で行う第1読出手段と、
前記各画素に対して行う複数回の走査を所定の組み合わせでN個の組に分割し、前記所定露光時間の間に、前記分割した各組の走査を、各組間の走査間隔が同じ時間間隔となるように行うと共に、当該各走査における前記各画素からの、前記所定露光時間以下の複数種類の露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴わない非破壊読み出し方式で行う第2読出手段と、
前記第1読出手段で読み出される、前記所定露光時間で露光した時の電荷から構成される画素データを順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第1出力チャンネルと、
前記第2読み出し手段で読み出される画素データを各走査毎に順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する、前記各組毎に独立したN個(Nは2以上の自然数)の第2〜第(N+1)出力チャンネルと、
前記第1出力チャンネルから出力される画素データに基づき、所定露光時間で露光した時の撮像画像データを生成する通常撮像画像データ生成手段と、
前記第2〜第(N+1)出力チャンネルから出力される画素データに基づき、前記複数回の走査における各走査毎の撮像画像データをそれぞれ生成する高速撮像画像データ生成手段と、を備え、
前記第2読出手段は、前記各走査を、前記複数の光電変換素子の構成する画素群から所定の画素を間引いた残りの画素に対して行うことを特徴としている。
【0052】
これにより、形態6の撮像装置と同等の作用及び効果が得られる。
ここで、本システムは、単一の装置、端末その他の機器(この場合は、形態6の撮像装置と同等)として実現するようにしてもよいし、複数の装置、端末その他の機器を通信可能に接続したネットワークシステムとして実現するようにしてもよい。後者の場合、各構成要素は、それぞれ通信可能に接続されていれば、複数の機器等のうちいずれに属していてもよい。
【0053】
〔形態15〕 一方、上記目的を達成するために、形態15の撮像方法は、
露光した光を電荷に変換して蓄積する複数の光電変換素子がマトリクス状に配設された光電変換部を有する撮像装置に用いられる撮像方法であって、
前記光電変換素子の構成する各画素を走査し、当該走査した各画素からの所定露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴う破壊読み出し方式で行う第1読出ステップと、
前記所定露光時間の間に、前記光電変換素子の構成する各画素に対して複数回の走査を行うと共に、当該各走査における前記各画素からの、前記所定露光時間以下の複数種類の露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴わない非破壊読み出し方式で行う第2読出ステップと、
前記第1読出ステップで読み出される、前記所定露光時間で露光した時の電荷から構成される画素データを順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第1出力チャンネルから出力される画素データに基づき、所定露光時間で露光した時の撮像画像データを生成する通常撮像画像データ生成ステップと、
前記第2読出ステップで読み出される画素データを、前記複数回の走査における各走査毎に順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第2出力チャンネルから出力される画素データに基づき、前記複数回の走査における各走査毎の撮像画像データをそれぞれ生成する高速撮像画像データ生成ステップと、を含み、
前記第2読出ステップは、前記複数回の走査を、前記複数の光電変換素子の構成する画素群から所定の画素を間引いた残りの画素に対して行うことを特徴としている。
これにより、形態3の撮像装置と同等の作用及び効果が得られる。
【0054】
〔形態16〕 一方、上記目的を達成するために、形態16の撮像方法は、
露光した光を電荷に変換して蓄積する複数の光電変換素子がマトリクス状に配設された光電変換部を有する撮像装置に用いられる撮像方法であって、
前記光電変換素子の構成する各画素を走査し、当該走査した各画素からの所定露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴う破壊読み出し方式で行う第1読出ステップと、
前記各画素に対して行う複数回の走査を所定の組み合わせでN個の組に分割し、前記所定露光時間の間に、前記分割した各組の走査を、各組間の走査間隔が同じ時間間隔となるように行うと共に、当該各走査における前記各画素からの、前記所定露光時間以下の複数種類の露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴わない非破壊読み出し方式で行う第2読出ステップと、
前記第1読出ステップで読み出される、前記所定露光時間で露光した時の電荷から構成される画素データを順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第1出力チャンネルから出力される画素データに基づき、所定露光時間で露光した時の撮像画像データを生成する通常撮像画像データ生成ステップと、
前記第2読み出しステップで読み出される画素データを各走査毎に順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する、前記各組毎に独立したN個(Nは2以上の自然数)の第2〜第(N+1)出力チャンネルから出力される画素データに基づき、前記複数回の走査における各走査毎の撮像画像データをそれぞれ生成する高速撮像画像データ生成ステップと、を含み、
前記第2読出ステップは、前記各走査を、前記複数の光電変換素子の構成する画素群から所定の画素を間引いた残りの画素に対して行うことを特徴としている。
これにより、形態6の撮像装置と同等の作用及び効果が得られる。
【発明を実施するための最良の形態】
【0055】
〔第1の実施の形態〕
以下、本発明に係る撮像素子、撮像装置、撮像システム及び撮像方法の実施の形態(第1の実施の形態)を、図面に基づいて説明する。図1〜図8は、本発明に係る撮像素子、撮像装置、撮像システム及び撮像方法の第1の実施の形態を示す図である。
以下、図1に基づき、本発明に係る撮像装置1の概略構成を説明する。ここで、図1は、本発明に係る撮像装置1の概略構成を示すブロック図である。
【0056】
撮像装置1は、図1に示すように、光電変換素子等から構成される撮像素子100(後述)と、撮像素子100からの画素信号を破壊読み出し方式及び非破壊読み出し方式の両方式を用いて読み出し、当該読み出した画素信号の画素データを出力する撮像処理部10と、撮像処理部10から出力される非破壊読み出し方式で読み出された画素データに基づき、高フレームレート画像データを生成する等の画像処理を行う画像処理部12と、撮像処理部10から出力される通常走査画素データ及び間引き走査画像データ、画像処理部12で生成される高フレームレート画像データ等の各種画像データを記憶するフレームメモリ14とを含んで構成される。
【0057】
また、本実施の形態における撮像装置1は、不図示の外部装置(システムコントローラ)からの各種制御信号に基づき、後述する間引き走査処理等の各種処理が制御され且つ実行される。
撮像処理部10は、撮像素子100と、第1のAFE(Analog Front End)102と、第2のAFE104とを含んで構成される。
【0058】
撮像素子100は、被写体からの光を撮像レンズ(不図示)でセンサセルアレイ56(後述)に集光し、その集光量に応じた電荷をセンサセルアレイ56の各画素に蓄積させる。
また、撮像素子100は、駆動パルス発生器52(後述)から出力される駆動信号に基づいて、通常露光時間(ユーザ等によって任意の時間に設定可能)でセンサセルアレイ56の各画素列を順次走査(以下、通常走査と称す)する。そして、各走査された各画素列に蓄積されている電荷群を電圧群に変換して順次読み出すと共に、各画素列の蓄積電荷をリセット(蓄積電荷を空にする)する。更に、読み出した電圧群(画素信号)を、第1ラインメモリを含んで構成される第1出力チャンネル58(後述)を介して第1のAFE102に順次出力する。
【0059】
また、撮像素子100は、駆動パルス発生器52(後述)から出力される駆動信号に基づいて、センサセルアレイ56を構成する画素列群を、システムコントローラから指定される間引き量に従って、所定量の画素列を間引きながら走査(以下、間引き走査と称す)する。そして、各走査された画素列から電圧群(画素信号)を読み出す(このとき、蓄積電荷のリセットは行わない)。なお、間引き走査は、通常露光時間の露光期間において複数回行う。つまり、1回の露光期間において、複数回の間引き走査における各走査時に蓄積された電荷群を順次電圧群に変換して読み出し、当該読み出した電圧群(画素信号)を、各走査毎に第2ラインメモリを含んで構成される第2出力チャンネル60(後述)を介して第2のAFE104に順次出力する。
【0060】
このように、本実施の形態においては、破壊読み出し方式及び非破壊読み出し方式の両方式を併用して各画素からの電荷の読み出しを行うことによって、1回の露光期間(通常露光時間)において、各画素列の通常露光時間での露光時の画素信号を破壊読み出し方式で読み出すと共に、複数回の間引き走査による各画素列の通常露光時間以下の露光時間で露光時の画素信号を非破壊読み出し方式で読み出す。
【0061】
更に、図2に基づき、撮像素子100の内部構成を説明する。ここで、図2は、撮像素子100の内部構成を示す図である。
撮像素子100は、図2に示すように、基準タイミング発生器50と、駆動パルス発生器52と、走査ラインスキャナ54と、センサセルアレイ56と、第1出力チャンネル58と、第2出力チャンネル60とを含んで構成される。
【0062】
基準タイミング発生器50は、画像処理部12のタイミング制御部12b(後述)からの垂直同期信号0及び水平同期信号に基づき、基準タイミング信号を発生する。
駆動パルス発生器52は、基準タイミング発生器50からの基準タイミング信号と、走査ラインスキャナ54からのリセットライン選択信号及び読出しライン選択信号とに基づき駆動パルスを発生してセンサセルアレイ56に供給する。
【0063】
走査ラインスキャナ54は、画像処理部12の通信器12a(後述)からの間引き量の情報(駆動制御信号)に基づき、センサセルアレイ56の画素列群に対するリセットラインの位置を選択してリセットライン選択信号を生成すると共に、通常走査及び間引き走査に対する読み出しラインの位置をそれぞれ選択して読み出しライン選択信号を生成する。そして、これら生成した選択信号を駆動パルス発生器52に出力する。また、間引き走査に対する基準同期信号である垂直同期信号1を生成して、これを駆動パルス発生器52及び画像処理部12のタイミング制御部12b(後述)にそれぞれ出力する。
【0064】
センサセルアレイ56は、CMOS技術を用いて各画素が構成されており、駆動パルス発生器52から供給される駆動パルスに基づき、各画素列を通常露光時間で露光し、当該露光により各画素列に蓄積された電荷群を、各画素列毎に破壊読み出し方式で順次読み出す。つまり、電荷群の読み出し後に蓄積電荷のリセットも行う。更に、各画素列毎にリセット直後の画素信号を、非破壊読み出し方式で読み出して第1出力チャンネル58に順次出力する。また、センサセルアレイ56は、この通常露光時間の露光期間において、複数回の間引き走査を行い、各走査毎に、各画素列に蓄積された電荷群を、各走査された画素列毎に順次非破壊読み出し方式で読み出して第2出力チャンネル60に順次出力する。
【0065】
第1出力チャンネル58は、センサセルアレイ56から読み出された通常露光時間に対応する画素信号データを各画素列毎に第1ラインメモリを構成する第1ラインメモリSに記憶すると共に、リセット直後の画素信号データを、各画素列毎に第1ラインメモリを構成する第1ラインメモリNに記憶する。そして、当該記憶した通常露光時間及びリセット直後の画素信号データを、差動増幅器62(図6に図示)にそれぞれ出力する。
【0066】
差動増幅器62は、通常露光時間及びリセット直後の画素信号データに対して減算処理を行い、当該減算処理後の画素信号を第1のAFE102に出力する。
第2出力チャンネル60は、センサセルアレイ56から各走査毎にそれぞれ読み出された各走査時の露光時間に対応する画素信号データを、各走査毎に且つ各画素列毎に第2ラインメモリに記憶する。そして、当該記憶した画素信号データを第2のAFE104に出力する。
【0067】
更に、図3に基づき、センサセルアレイ56の詳細構成を説明する。ここで、図3は、センサセルアレイ56の詳細構成を示す図である。
図3に示すように、センサセルアレイ56は、CMOSを用いて構成された複数のセンサセル(画素)56aをマトリクス状に配設し、各画素列毎に、各画素列を構成するセンサセル56aに対して、アドレス線、リセット線及び読出し線が共通に接続され、この3本の制御線を介して各種駆動信号が各画素列を構成するセンサセル56aに送信される。そして、アドレス線及び読出し線が有効になると、図3に示す信号線を介して蓄積電荷を第1又は第2出力チャンネル58又は60に転送する構成となっている。このような構成によって、アドレス線により、リセット動作又は読出し動作を行わせる画素列を有効に(選択)し、当該選択信号で選択した画素列の各センサセル56aに対して、リセット動作を行わせる場合はリセット線を介してリセット動作を指示する信号を入力し、画素信号の読出しを行わせる場合は、読出し線を介して蓄積電荷の転送を指示する信号を入力する。選択信号によって選択された各センサセル56aは、リセット動作を指示する信号が入力されたときはリセット動作を行い、蓄積電荷の転送を指示する信号が入力されたときは、信号線を介して第1又は第2出力チャンネル58又は60への蓄積電荷の転送を行う。
【0068】
更に、図4に基づき、走査ラインスキャナ54の内部構成を説明する。ここで、図4は、走査ラインスキャナ54の内部構成を示す図である。
走査ラインスキャナ54は、図4に示すように、通常走査カウンタ54aと、通常走査アドレスデコーダ54bと、間引き走査カウンタ54cと、間引き走査アドレスデコーダ54dと、ORロジック54eとを含んで構成される。
【0069】
通常走査カウンタ54aは、基準タイミング発生器50からの垂直同期信号0及び水平同期信号に基づいて、カウントアップ動作を繰り返す。ここで、カウンタの値は、通常走査時の各画素列のライン番号に対応しており、このライン番号は、通常走査アドレスデコーダ54bに出力される。
通常走査アドレスデコーダ54bは、通常走査カウンタ54aからのライン番号の画素列を「読み出しライン」として有効にし、それ以外の画素列を無効にする。更に、各画素列の有効/無効を示す読み出しライン制御信号をORロジック54eに出力すると共に、この読み出しライン制御信号をリセットライン選択信号として駆動パルス発生器52に出力する。
【0070】
間引き走査カウンタ54cは、基準タイミング発生器50からの水平同期信号と、通信器12aからの間引き量を示す情報とに基づき、垂直同期信号1を生成し、当該生成した垂直同期信号1に基づきカウントアップ動作を繰り返す。ここで、カウンタの値は、間引き走査時の画素列のライン番号に対応しており、このライン番号は、間引き走査アドレスデコーダ54dに出力される。また、垂直同期信号1は、画像処理部12のタイミング制御部12bにも出力する。
【0071】
間引き走査アドレスデコーダ54dは、間引き走査カウンタ54cからのライン番号の画素列を「読み出しライン」として有効にし、それ以外の画素列を無効にする。更に、各画素列の有効/無効を示す読み出しライン制御信号をORロジック54eに出力する。
ORロジック54eは、通常走査アドレスデコーダ54bからの読み出しライン制御信号と、間引き走査アドレスデコーダ54dからの読み出しライン制御信号とに基づき、各ライン毎にOR演算を行い、通常走査に対する最終的な読み出しライン選択信号を生成すると共に、間引き走査に対する最終的な読み出しライン選択信号を生成する。これら生成した読み出しライン選択信号は駆動パルス発生器52に出力される。
【0072】
更に、図5に基づき、間引き走査について説明する。ここで、図5(a)は、間引き走査の一例を示す図であり、(b)は、(a)の間引き走査によってセンサセル56aから出力される画素信号のレベル(蓄積電荷量)の推移を示す図である。
図5(a)の例では、通常露光時間の露光期間において、第1ライン、第5ライン、第9ライン、第13ラインで一巡する間引き走査を4回行い、それぞれの走査時における蓄積電荷(画素信号)を読み出している。このように間引き走査を行うことにより、走査する画素列の数を1/4にする。このようにして、1回(1フレーム)の走査にかかる走査時間を短縮することにより、通常露光時間における走査回数を4倍にすることができるので、フレームレートを通常走査時の4倍に高速化できる。
【0073】
ここで、図5(a)の第1ラインにおける「ある画素」に着目すると、図5(b)に示すように、その画素の蓄積電荷量は、1回目の走査時と比較して、2回目、3回目、4回目と、走査が進むにつれ(時間の経過と共に)増加する。これは、間引き走査において、非破壊読み出し方式で各画素から電荷が読み出されるためで、蓄積電荷のリセットが行われないため、露光期間中に電荷の読み出しを何度行っても各画素の蓄積電荷量は維持された状態となる。つまり、図5(a)に示す間引き走査によって、図5(b)に示すように、(1)〜(4)の走査タイミングで電荷の読み出しを行っても、各タイミングまでに蓄積された電荷量はそのまま維持され、電荷の蓄積(露光)が継続される。
【0074】
このような間引き走査を行うために、間引き走査カウンタ54cは、通信器12aから出力される間引き量を指定する駆動制御信号に基づき、カウントアップ動作を行い、間引き量に応じたカウント値を間引き走査アドレスデコーダ54dに出力する。図5(a)の例では、間引き量が「4」となっており、間引き走査カウンタ54cのカウント値は、1、5、9、13と「4」ずつカウントアップし、カウント値が13(最大値(間引き量及び画素の総ライン数によって変わる))になったときに、カウント値を、「1」(開始ライン番号に対応)に戻す(リセットする)と共に、垂直同期信号1をアクティブとする。つまり、間引き走査カウンタ54cは、カウント値が最大値になる毎に垂直同期信号1をアクティブとする。
【0075】
更に、図6に基づき、撮像素子100のセンサセルアレイ56における各画素列毎の露光及び画素信号の読み出し動作について説明する。ここで、図6は、撮像素子100のセンサセルアレイ56における各画素列毎の露光及び画素信号の読み出し動作の一例を示す図である。
図6に示すように、まず、通常走査によって、センサセルアレイ56における各画素列の通常露光時間で露光時の画素信号の読み出し及び当該画素信号の読み出し後に蓄積電荷のリセットを行う第1読み出しラインを選択すると共に、複数回の間引き走査によって、センサセルアレイ56における走査対象の画素列に対して、各走査時の露光時間で露光時の画素信号の非破壊読み出しを行う第2読み出しラインを選択する。そして、1回の露光期間(通常露光時間)において、通常走査による各画素列に対する通常露光時間で露光時の画素信号の読み出し及び蓄積電荷のリセットと、複数回の間引き走査による各走査対象の画素列に対する各走査時の露光時間で露光時の画素信号の非破壊読み出しとをそれぞれ独立に実行する。
【0076】
つまり、第1読み出しライン及び第2読み出しラインは、図6に示すように、全画素列(例えば、第1〜第12ライン)においては、これら画素列のいずれか1に通常露光時間分の電荷が蓄積されると、第1読み出しラインが当該画素列の画素信号を読み出すと共に、その蓄積電荷をリセットするように選択される。また、蓄積電荷のリセットされた画素列は、第1読み出しラインが他の画素列を走査後に再び走査されたときに、丁度通常露光時間分の露光が行われているように走査タイミングが制御される。なお、通常走査による各画素列の走査は、各フレーム毎に全画素列(例えば、第1〜第12ライン)をループしながら順次走査を行う。図6の例では、第1ライン(一番下のライン)から第12ライン(一番上のライン)に向かって1ライン毎に順次走査を行い、走査が第12ラインに到達すると1フレーム期間の走査が終了し、再び第1ラインから次フレームに対する同様の走査を行う。
【0077】
一方、間引き走査においては、第1読み出しラインによる蓄積電荷のリセット後に、通常露光時間分の電荷が蓄積される間に各走査時の露光時間において走査対象の各画素列の画素信号を非破壊で順次読み出すように第2読み出しラインがそれぞれ選択される。これにより、第1読み出しラインによって走査対象の画素列の蓄積電荷がリセットされると、当該リセット後の画素列に対して、第2読み出しラインにおいて各走査時の露光時間で露光された画素の画素信号の非破壊読み出しが各走査順に順次行われる。なお、間引き走査においては、システムコントローラから指定される間引き量に従って、所定量の画素列を間引きながら走査が行われ、走査対象の画素列のうち最大番号の画素列に到達すると、走査対象の画素列のうち最小番号の画素列に戻り、通常走査と同様に、ループしながら順次走査を行う。但し、間引き走査においては、通常露光時間の1フレームにおいて、実行可能な(あるいは予め設定された)走査回数だけループが繰り返されることになる。
【0078】
なお、本実施の形態においては、図6に示すように、通常走査によって読み出された通常露光時間で露光時の画素信号(アナログデータ)は、第1出力チャンネル58(以下、CH1と称す)の第1ラインメモリSに読み出され、一方、リセット直後の画素信号は、CH1の第1ラインメモリNに読み出される。そして、これら読み出された画素信号は、図6に示すように、CH1の出力側に設けられた差動増幅器62に出力され、当該差動増幅器62において、リセット前及びリセット後のそれぞれ対応する画素信号同士の減算処理を行って信号レベルの検出及びノイズ除去を行う。そして減算処理後の画素信号は、第1のAFE102に出力されそこでデジタルデータ(画素データ)に変換される。一方、複数回の間引き走査によって読み出された各走査毎の画素信号は、第2出力チャンネル(以下、CH2と称す)の第2ラインメモリに各走査毎に読み出されて第2のAFE104に出力されそこでデジタルデータ(画素データ)に変換される。
【0079】
また、本実施の形態において、第1読み出しラインの画素信号の読み出しと、第2読み出しラインの画素信号の読み出しとがバッティングしたとき(例えば、双方が通常露光時間での読み出しを行うとき)には、例えば、水平同期信号によって設定される読み出し期間を2つの期間に分けて、一方の期間で第1読み出しラインによりCH1の第1ラインメモリに画素信号を読み出し、他方の期間で第2読み出しラインによりCH2の第2ラインメモリに画素信号を読み出すことで回避するようになっている。
【0080】
更に、図7に基づき、画像処理部12の内部構成を説明する。ここで、図7は、画像処理部12の内部構成を示す図である。
画像処理部12は、図7に示すように、通信器12aと、タイミング制御部12bと、高フレームレート画像生成部12cと、メモリアクセス部12dと、出力読出し部12eとを含んで構成される。
【0081】
通信器12aは、撮像素子100と画像処理部12とが各種データ通信を行うための手段であり、外部システムコントローラ(不図示)から、センサセルアレイ56の間引き走査に対する間引き量の情報を受信し、当該受信した間引き量の情報を撮像素子100の走査ラインスキャナ54に送信する。
タイミング制御部12bは、撮像素子100の駆動信号(ピクセルクロック、水平同期信号、垂直同期信号0)を生成し、これを撮像素子100の基準タイミング発生器50に出力する。また、タイミング制御部12bは、水平同期信号、垂直同期信号0から、撮像処理部10のCH1から出力される画素信号の、撮像素子100のセンサセルアレイ56における画素位置(画素列(ライン)番号、画素番号)が分かるので、その画素列(ライン)番号及び画素番号(以下、「アドレス情報」とも呼ぶ。)を生成し、そのアドレス情報をメモリアクセス部12dに出力する。また、タイミング制御部12bは、水平同期信号、走査ラインスキャナ54からの垂直同期信号1から、撮像処理部10のCH2からそれぞれ出力される画素信号の、撮像素子100のセンサセルアレイ56における画素位置(画素列(ライン)番号、画素番号)が分かるので、そのアドレス情報を生成し、当該アドレス情報を高フレームレート画像生成部12cに出力する。
【0082】
高フレームレート画像生成部12cは、まず、フレームメモリ14に格納された、複数回の間引き走査における各回の走査毎に撮像処理部10の第2のAFE104から出力される画像データ(以下、間引き走査画像データと称す)と、当該各回の走査毎の間引き走査画像データに対応する、各回の走査(以下、現走査と称す)の1つ前の回の走査(以下、前走査と称す)において撮像処理部10の第2のAFE104から出力された間引き走査画像データとをメモリアクセス部12dを介して読み出す。次に、これら読み出した現走査の間引き走査画像データを構成する各画素データと、当該各画素データに対応する各画素データと同位置の前走査の間引き走査画像データを構成する各画素データとの差分値をそれぞれ算出し、当該差分値に基づき各回の間引き走査毎にそれぞれ対応する画像データ(以下、高フレームレート画像データと称す)を生成する。そして、当該生成した高フレームレート画像データをメモリアクセス部12dを介してフレームメモリ14に格納する(書き込む)。
【0083】
メモリアクセス部12dは、撮像処理部10、高フレームレート画像生成部12c、及び出力読出し部12eからの画像データの書き込み・読み出し命令に基づき、フレームメモリ14に格納された各画像データへアクセスする。つまり、3系統からのアクセス要求を調停し、フレームメモリ14に対して、画像データの読み出し及び画像データの書き込みを行う。本実施の形態において、メモリアクセス部12dは、撮像処理部10の、第1のAFE102から出力される通常走査画像データと、第2のAFE104から出力される間引き走査画像データとを、フレームメモリ14に書き込む。また、高フレームレート画像生成部12cからの、読み出し命令に応じて、各間引き走査及びこれらと対応する前走査の間引き走査画像データをフレームメモリ14から読み出したり、高フレームレート画像生成部12cからの書き込み命令に応じて、高フレームレート画像データをフレームメモリ14に書き込んだりする。
【0084】
出力読出し部12eは、外部の出力装置(不図示)からの同期信号(ピクセルクロック、水平同期信号、垂直同期信号0)に同期して、フレームメモリ14内の画像データを出力する。具体的には、まず、メモリアクセス部12dに対して、高フレームレート画像データ及び通常走査画像データの読み出し要求(読み出し命令含む)を行い、高フレームレート画像データ及び通常走査画像データを取得する。そして、外部の出力装置に対して、当該出力装置からの同期信号に同期して、高フレームレート画像データ及び通常走査画像データを出力する。出力装置はこれらの出力データに基づき、表示処理や解析処理等の所定の処理を実行する。
【0085】
フレームメモリ14は、図7に示すように、CH1を介して出力される通常走査画像データ、CH2を介して出力される各間引き走査及びこれらと対応する前走査の間引き走査画像データ、高フレームレート画像生成部12cで生成される高フレームレート画像データを格納可能な容量を有したメモリであり、メモリアクセス部12dから読み出し要求があると、その要求が示す画像データを読み出す。また、フレームメモリ14は、メモリアクセス部12dから書き込み要求があると、その書き込み要求が示す画像データを書き込む。
【0086】
次に、図8に基づき、本実施の形態の撮像装置1の実際の動作を説明する。ここで、図8(a)は、通常走査及び間引き走査の一例を示す図であり、(b)は、第10ラインのある画素に対する蓄積電荷量の推移を示す図である。
なお、説明の便宜上、センサセルアレイ56が第1〜第15ラインの15本の画素列で構成されているとする。
【0087】
撮像装置1は、電源が投入され、且つ外部装置である不図示のシステムコントローラからの間引き量の情報を画像処理部12の通信器12aが受信すると、間引き量を指定する駆動制御信号を、撮像処理部10の走査ラインスキャナ54に出力する。一方、撮像処理部10は、CH1に対応する第1読み出しラインに対して通常露光時間を設定する。
また、画像処理部12は、タイミング制御部12bにおいて駆動信号(ピクセルクロック、水平同期信号、垂直同期信号0)を生成し、撮像素子100に出力する。
【0088】
撮像素子100は、駆動信号が供給されると、走査ラインスキャナ54の通常走査カウンタ54aにおいて、カウントアップ動作を開始し、カウント値を通常走査アドレスデコーダ54bに出力する。通常走査アドレスデコーダ54bは、通常走査カウンタ54aから出力されるライン番号のラインを「第1読み出しライン」として有効にし、それ以外のラインを無効にする。
【0089】
例えば、ライン番号1を第1読出しラインとして有効にした場合は、ライン番号1以外の残りのライン(第2ライン〜第15ライン)を無効にする。更に、ライン番号1が有効であることを示す第1読み出しライン制御信号をORロジック54eに出力する。
一方、間引き走査カウンタ54cは、タイミング制御部12bからの駆動信号(水平同期信号)及び通信器12aからの間引き量を指定する駆動制御信号に基づき、カウントアップ動作を開始し、カウント値を間引き走査アドレスデコーダ54dに出力する。また、間引き走査の基準同期信号である垂直同期信号1を生成してタイミング制御部12bに出力する。
【0090】
ここで、指定された間引き量が「3」であり、且つカウント値の開始番号が「1」であるとすると、間引き走査カウンタ54cは、1、4、7、10、13とカウントアップを行う。つまり、指定された間引き量である「3」をカウントアップ時の増加量としたカウントアップを行う。そして、センサセルアレイ56の画素列数が15本であることから、カウント値が「13」(最大値)になると、カウント値を「1」に戻す(リセットする)と共に垂直同期信号1をアクティブにし、再び、カウント値「1」から間引き量「3」を増加量としたカウントアップを行う。間引き走査カウンタ54cは、このようなカウントアップ動作を、通常露光時間の露光期間において、間引き走査の回数に応じて繰り返し行う。ここでは、通常露光時間の露光期間において間引き走査を3回行うこととする。
【0091】
間引き走査アドレスデコーダ54dは、通常走査アドレスデコーダ54bと同様に、間引き走査カウンタ54cから出力されるライン番号のラインを「第2読み出しライン」として有効にし、それ以外のラインを無効にする。そして、第2読み出しライン制御信号をORロジック54eに出力する。
ORロジック54eは、通常走査アドレスデコーダ54bからの第1読み出しライン制御信号と、間引き走査アドレスデコーダ54dからの第2読み出しライン制御信号とに基づき、露光領域の各ライン位置毎にOR演算を行い、通常走査及び間引き走査に対する最終的な読み出しライン選択信号を生成する。そして、これら生成した第1読み出しライン選択信号及び第2読出しライン選択信号を駆動パルス発生器52に出力する。
【0092】
これにより、図8(a)に示すように、センサセルアレイ56の全画素列に対して、第1読み出しラインの走査による通常露光時間で露光時の画素信号の破壊読み出しが行われ、一方、この破壊読み出しによって蓄積電荷がリセットされた第1ラインに対して、第2読み出しラインの間引き走査による画素信号の非破壊読み出しを行う。なお、各画素列の電荷の蓄積量は、各間引き走査の開始タイミングによって異なってくる。図8(a)の例では、時刻t4のタイミングで1回目の間引き走査を開始し、同様に、時刻t9、t14のタイミングで2回目、3回目の間引き走査をそれぞれ開始する。また、2回目の間引き走査は、1回目の間引き走査が終了してから開始され、3回目の間引き走査は2回目の間引き走査が終了してから開始される。
【0093】
第1出力チャンネル58及び第2出力チャンネル60はそれぞれ内部のラインメモリを介して前記読み出した画素信号を第1のAFE102及び第2のAFE104にそれぞれ出力する。第1のAFE102及び第2のAFE104は、画素信号をデジタルデータである画素データに変換して、画像処理部12のメモリアクセス部12dに出力する。
一方、メモリアクセス部12dは、第1のAFE102及び第2のAFE104を介して出力される通常走査画像データ及び間引き走査画像データを、タイミング制御部12bからのアドレス情報に基づき、各画素データの位置情報を保持した状態でフレームメモリ14の所定領域に書き込ませる。
【0094】
このようにして、例えば、現走査の間引き走査画像データ及び前走査の間引き走査画像データがフレームメモリ14に格納されると、高フレームレート画像生成部12cは、メモリアクセス部12dに対して、前記格納された現走査及び前走査の間引き走査画像データの読み出し要求を出力する。メモリアクセス部12dは、高フレームレート画像生成部12cからの読み出し要求に応じて、フレームメモリ14から現走査及び前走査の間引き走査画像データの読み出し、当該読み出した間引き走査画像データを高フレームレート画像生成部12cに出力する。
【0095】
一方、高フレームレート画像生成部12cは、メモリアクセス部12dを介して取得した現走査及び前走査の間引き走査画像データの各画素データの示す画素値の差分値を算出する。具体的には、現走査の間引き走査画像データの各画素データの示す画素値から、当該各画素データと同位置の前走査の間引き走査画像データの各画素データの示す画素値を減算する。そして、この減算結果の各画素値に基づき高フレームレート画像データを生成する。例えば、図8(a)に示すように、第10ラインに着目すると、2回目の間引き走査においては、時刻t12で読み出された間引き走査画像データが前走査(1回目の間引き走査)の間引き走査画像データとなり、時刻t17で読み出された間引き走査画像データが現走査(2回目の間引き走査)の間引き走査画像データとなる。従って、時刻t17の間引き走査画像データの各画素データから、当該各画素データに対応する時刻t12の間引き走査画像データの各画素データを減算して差分値を求めることになる。一方、図8(a)に示すように、第10ラインに対する4回目の間引き走査(2回目の通常走査に対する1回目の間引き走査)においては、時刻t22で読み出された間引き走査画像データが前走査(3回目の間引き走査)の間引き走査画像データとなり、時刻t27で読み出された間引き走査画像データが現走査(4回目の間引き走査)の間引き走査画像データとなる。従って、時刻t27の間引き走査画像データの各画素データから、当該各画素データに対応する時刻t22の間引き走査画像データの各画素データを減算して差分値を求めることになる。しかし、この場合は、3回目の間引き走査が1回目の通常露光時間の露光期間に行われ、4回目の間引き走査が2回目の通常露光時間の露光期間に行われるため、電荷のリセットが発生し、第10ラインの各画素に蓄積される電荷量が、図8(b)に示すように、3回目の間引き走査における電荷の蓄積量より、4回目の間引き走査における電荷の蓄積量の方が少なくなる。そのため、差分値がマイナスの値となってしまう。このような場合、本実施の形態においては、差分値を無効とし、高フレームレート画像の画素値を「0」とする。
【0096】
このようにして生成された高フレームレート画像データは、メモリアクセス部12dを介してフレームメモリ14の所定領域に格納される。
また、メモリアクセス部12dは、外部機器からの通常走査画像データの出力要求を受信すると、フレームメモリ14に格納された通常走査画像データを読み出し、当該読み出した通常走査画像データを外部機器からの同期信号(ピクセルクロック、水平同期信号及び垂直同期信号)に同期して出力する。同様に、外部機器からの高フレームレート画像データの出力要求を受信すると、フレームメモリ14に格納された高フレームレート画像データを読み出し、当該読み出した高フレームレート画像データを外部機器からの同期信号(ピクセルクロック、水平同期信号及び垂直同期信号)に同期して出力する。
【0097】
このように、本実施形態の撮像装置1では、通常露光時間で露光時の画素データから構成される通常走査画像データと、通常露光時間と同じ露光期間において、複数回の間引き走査によって高速なフレームレートで読み出された画素データから構成される複数の高速フレームレート画像データとを同時に得ることが可能である。つまり、適切な露光時間(通常露光時間)で露光され、撮像対象が鮮明に撮像された撮像画像と、動きのある被写体が鮮明且つ動きの内容が解る状態で撮像された複数の撮像画像とを同時に得ることができる。
【0098】
また、現走査の間引き走査画像データと、前走査の間引き走査画像データとの差分をとることで、高速フレームレート画像データを生成するようにしたので、これにより、固定パターンノイズを除去することが可能である。
上記第1の実施の形態において、通常走査画像データは、形態3、13及び15のいずれか1の通常撮像画像データ生成手段で生成された画像データ又は形態15の通常撮像画像データ生成ステップにおいて生成された画像データに対応し、高フレームレート画像データは、形態3、5、13及び15のいずれか1の高速撮像画像データ生成手段で生成された画像データ又は形態15の高速撮像画像データ生成ステップにおいて生成された画像データに対応し、センサセルアレイ56は、形態1、3、13及び15のいずれか1の光電変換部に対応し、撮像処理部10の撮像素子100における基準タイミング発生器50、走査ラインスキャナ54、駆動パルス発生器52によるセンサセルアレイ56からの通常露光時間で露光時の電荷の破壊読み出し処理は、形態1、3及び13のいずれか1の第1読出手段又は形態15の第1読出ステップに対応し、第1出力チャンネル58は、形態1、3、13及び15のいずれか1の第1出力チャンネルに対応し、撮像処理部10の撮像素子100における基準タイミング発生器50、走査ラインスキャナ54、駆動パルス発生器52によるセンサセルアレイ56からの複数回の間引き走査による電荷の非破壊読み出し処理は、形態1、3、4及び13のいずれか1の第2読出手段又は形態15の第2読出ステップに対応し、第2出力チャンネル60は、形態1、3、5、13及び15のいずれか1の第2出力チャンネルに対応する。
【0099】
また、上記第1の実施の形態において、画像処理部12における、タイミング制御部12b、高フレームレート画像生成部12c、メモリアクセス部12dによる高フレームレート画像データの生成処理は、形態3、5及び13のいずれか1の高速撮像画像データ生成手段又は形態15の高速撮像画像データ生成ステップに対応し、画像処理部12における、メモリアクセス部12dによる通常走査画像データのフレームメモリ14への書き込み処理は、形態3又は13の通常撮像画像データ生成手段又は形態15の通常撮像画像データ生成ステップに対応する。
〔第2の実施の形態〕
以下、本発明に係るモーションデータ生成システム、モーションデータ生成プログラム及びモーションデータ生成方法の実施の形態(第2の実施の形態)を、図面に基づいて説明する。図9〜図14は、本発明に係るモーションデータ生成システム、モーションデータ生成プログラム及びモーションデータ生成方法の第2の実施の形態を示す図である。
【0100】
ここで、図9は、本発明に係るモーションデータ生成システム3の概略構成を示すブロック図である。
モーションデータ生成システム3は、上記第1の実施の形態における撮像装置1と、モーションデータ生成装置2とを含んで構成されるもので、撮像装置1によってマーカの付された動作体(人間、動物など)の撮像を行い、モーションデータ生成装置2によって、撮像装置1から出力される画像データから、モーションデータの生成及びテクスチャデータの抽出を行う。なお、撮像装置1とモーションデータ生成装置2とは、有線又は無線によって互いにデータ通信可能に接続されている。また、接続形態としては、ケーブルによる直接接続の他、LAN、WAN、インターネットを介した接続等どのような形態でも良い。
【0101】
撮像装置1は、前述したように、上記第1の実施形態と基本的な構成は同じであり、撮像対象である反射型マーカの付された動作体(人間、動物など)を、上記第1の実施の形態で説明した通常走査及び間引き走査によって撮像し、通常走査によって得られる通常走査画像データと、間引き走査によって得られる間引き走査画像データから生成される高フレームレート画像データとをモーションデータ生成装置2に出力する。なお、撮像装置1は、図10において1台しか図示されていないが、動作体のモーションをキャプチャして3次元の動き情報を取得する場合(光学式のモーションキャプチャ)は、2台以上の構成とし(通常は6〜10台程度)、それぞれ別々の角度から動作体を撮像して、常に全てのマーカが2台以上の撮像装置で撮像されるようにすることが望ましい。
【0102】
また、本実施の形態において、撮像装置1は、反射型マーカが光を反射して発光するためのライトを有している。これにより、反射型マーカを高速なフレームレートで撮像しても、光量不足によるマーカ画像の黒潰れ等の撮像不良を防ぐことができる。
モーションデータ生成装置2は、撮像装置1において生成される高フレームレート画像データに基づき動作体の動作内容を示すモーションデータを生成し、一方、撮像装置1から出力される通常走査画像データから動作体のテクスチャデータを抽出する。
【0103】
以下、図10に基づき、モーションデータ生成装置2の詳細な構成を説明する。ここで、図10は、モーションデータ生成装置2の詳細構成を示すブロック図である。
モーションデータ生成装置2は、図10に示すように、撮像装置1からの各種画像データを取得する画像データ取得部2aと、画像データ取得部2aで取得した各種画像データを記憶する画像データ記憶部2bと、高フレームレート画像データからマーカの位置を検出する位置検出部2cと、マーカの検出結果に基づきモーションデータを生成するモーションデータ生成部2dと、通常走査画像データから動作体のテクスチャデータを抽出するテクスチャデータ抽出部2eと、モーションデータ及びテクスチャデータを記憶するモーションデータ記憶部2fとを含んだ構成となっている。
【0104】
画像データ取得部2aは、駆動信号(ピクセルクロック、水平同期信号、垂直同期信号0)を撮像装置1に供給し、これら駆動信号に同期して撮像装置1から送られてくる通常走査画像データ及び高フレームレート画像データを取得する。そして、当該取得した通常走査画像データ及び高フレームレート画像データを画像データ記憶部2bに記憶する。
画像データ記憶部2bは、画像データ取得部2aで取得された通常走査画像データ及び高フレームレート画像データを記憶する。そして、位置検出部2c又はテクスチャデータ抽出部2eからの要求に応じて、高フレームレート画像データ又は通常走査画像データを読み出し、位置検出部2c又はテクスチャデータ抽出部2eにそれぞれ出力する。
【0105】
位置検出部2cは、不図示のプロセッサからのモーションデータの生成指示に応じて、画像データ記憶部2bから高フレームレート画像データを取得し、当該取得した高フレームレート画像データに対して画像処理を行い、画像中のマーカの位置(座標)を検出する。そして、検出結果をモーションデータ生成部2dに出力する。
モーションデータ生成部2dは、位置検出部2cから入力される検出結果に基づき、各取り付け位置に対応するマーカ毎のモーションデータを生成する。そして、当該生成したモーションデータをモーションデータ記憶部2fに記憶する。
【0106】
テクスチャデータ抽出部2eは、不図示のプロセッサからのテクスチャデータの抽出指示に応じて、画像データ記憶部2bから通常走査画像データを取得し、当該取得した通常走査画像データからテクスチャデータを抽出する。テクスチャデータの抽出は、不図示の操作部を介して人手により行っても良いし。画像処理によって、自動的に行っても良い。
また、テクスチャデータ抽出部2eは、抽出したテクスチャデータを動作体の種類毎にモーションデータ記憶部2fに記憶する。
【0107】
モーションデータ記憶部2fは、モーションデータ生成部2dで生成されたモーションデータ、及びテクスチャデータ抽出部2eで抽出されたテクスチャデータを記憶する。各データは、例えば、動作体の種類毎、マーカの取り付け位置毎などに分類されて記憶される。
なお、本実施形態において、モーションデータ生成装置2は、図示しないプロセッサと、RAM(Random Access Memory)と、専用のプログラムの記憶されたROM(Read Only Memory)と、を備えており、プロセッサにより専用のプログラムを実行することにより上記各部の機能を果たす。ここで、上記各部は、専用のプログラムのみでその機能を果たすもの、専用のプログラムによりハードウェアを制御してその機能を果たすもの等が混在している。
【0108】
更に、図11に基づき、モーションデータ生成装置2におけるモーションデータの生成処理及びテクスチャデータの抽出処理の流れを説明する。ここで、図11は、モーションデータの生成処理及びテクスチャデータの抽出処理を示すフローチャートである。なお、モーションデータの生成処理及びテクスチャデータの抽出処理は、撮像装置1においてマーカを付した動作体の撮像が行われ、モーションデータ生成装置2の画像データ記憶部2bに各処理の実行に十分な量の画像データが蓄積されることによって実行可能となる。
【0109】
モーションデータの生成処理及びテクスチャデータの抽出処理は、図11に示すように、まずステップS100に移行し、位置検出部2cにおいて、プロセッサからのモーションデータの生成指示あるか否かを判定し、生成指示があると判定された場合(Yes)は、ステップS102に移行し、そうでない場合(No)は、ステップS114に移行する。
ステップS102に移行した場合は、位置検出部2cにおいて、画像データ記憶部2bから、指示に対応した高フレームレート画像データを取得してステップS104に移行する。
【0110】
ステップS104では、位置検出部2cにおいて、ステップS102で取得した高フレームレート画像データに基づき、各高フレームレート画像におけるマーカ画像の位置検出を行いステップS106に移行する。
ステップS106では、位置検出部2cにおいて、ステップS104の検出結果をモーションデータ生成部2dに出力してステップS108に移行する。
【0111】
ステップS108では、モーションデータ生成部2dにおいて、位置検出部2cから入力されたマーカ位置の検出結果に基づきモーションデータを生成してステップS110に移行する。
ステップS110では、モーションデータ生成部2dにおいて、ステップS108で生成したモーションデータを、モーションデータ記憶部2fに記憶してステップS100に移行する。
【0112】
一方、ステップS100において、モーションデータの生成指示がなくてステップS112に移行した場合は、テクスチャデータ抽出部2eにおいて、テクスチャデータの抽出指示があったか否かを判定し、抽出指示があったと判定された場合(Yes)は、ステップS114に移行し、そうでない場合(No)は、ステップS100に移行する。
ステップS114に移行した場合は、テクスチャデータ抽出部2eにおいて、画像データ記憶部2bから、指示に対応した通常走査画像データを取得してステップS116に移行する。
【0113】
ステップS116では、テクスチャデータ抽出部2eにおいて、ステップS116で取得した通常走査画像データからテクスチャデータを抽出してステップS118に移行する。
ステップS118では、テクスチャデータ抽出部2eにおいて、ステップS116で抽出したテクスチャデータを、モーションデータ記憶部2fに記憶してステップS100に移行する。
【0114】
次に、図12〜図14に基づき、本実施の形態のモーションデータ生成システム3の実際の動作を説明する。ここで、図12(a)及び(b)は、通常走査画像及び高フレームレート画像の一例を示す図である。また、図13は、フレームレートの違いによる撮像結果についての説明図である。また、図14は、モーションデータの生成方法の一例を示す図である。
【0115】
まず、撮像装置1において(ここでは、説明の便宜上1台とする)、撮像対象であるマーカの付された動作体(例えば、人間)を撮像する。撮像装置1は、上記第1の実施の形態と同様に、付属のライトで動作体を照射し、当該ライトの照射された動作対を通常走査及び複数回の間引き走査によって撮像する(画素信号の読み出しを行う)。そして、これにより得られる通常走査画像データ及び間引き走査画像データを、メモリアクセス部12dを介してフレームメモリ14に格納する。更に、撮像装置1は、高フレームレート画像生成部12cにおいて、上記第1の実施の形態と同様に、現走査(現フレーム)の間引き走査画像データと、前走査(前フレーム)の間引き走査画像データとから高フレームレート画像データを生成し、当該生成した高フレームレート画像データを、メモリアクセス部12dを介してフレームメモリ14に格納する。
【0116】
また、撮像装置1は、モーションデータ生成装置2からの駆動信号に同期して、フレームメモリ14に格納された通常走査画像データ及び高フレームレート画像データを、モーションデータ生成装置2に出力する。
一方、モーションデータ生成装置2は、撮像装置1からの通常走査画像データ及び高フレームレート画像データを、画像データ取得部2aを介して取得し、当該取得した通常走査画像データ及び高フレームレート画像データを画像データ記憶部2bに記憶する。
【0117】
そして、モーションデータ生成装置2は、画像データ記憶部2bに所定量の画像データが蓄積後に、プロセッサからモーションデータの生成指示が送られてくると(ステップS100の「Yes」の分岐)、位置検出部2cにおいて、画像データ記憶部2bから、指示に応じた高フレームレート画像データを取得する(ステップS102)。そして、取得した高フレームレート画像データに基づき、マーカの位置検出を行う。
【0118】
以下、高フレームレート画像データからマーカの位置検出を行う理由を説明する。
動作体が素早い動きをした場合に、例えば、図12(a)に示すように、通常走査画像データの画像においては、現フレームとその1フレーム後とにおいて、マーカの位置が図示のように動くことになる。これに対し、高フレームレート画像データは、通常走査の1フレームの期間において3回の間引き走査が行われるため、図12(b)に示すように、通常走査画像データの現フレームの画像内容(マーカ位置)に至るまでのマーカの動きを3段階に捉えた画像となる。
【0119】
つまり、通常走査画像データより、高フレームレート画像データの方がフレームレートが3倍となるため、図12(a)に示す通常走査画像データのフレーム間のマーカ位置の変化量よりも、間引き走査の各フレーム間のマーカ位置の変化量を小さくできる。これにより、マーカの動きを精度良く捉えることが可能である。
例えば、現フレームにおいて、図13(a)に示す状態である矩形のマーカ画像が、通常露光時間の1フレーム後において時計回りに90°回転する動作をしたとする。この場合、通常露光時間のフレームレートよりも高いフレームレートであれば、図13(b)に示すように、回転途中の画像を得ることができるので、マーカが回転をしたことを判別できる。一方、通常露光時間のフレームレートで撮像される画像は、図13(c)に示すように、90°回転した後の画像となるので、マーカが回転をしたことを判別することができない。従って、本実施の形態において、マーカの動きを精度良く捉えるためには、できる限り間引き走査回数を増やすことが望ましい。
【0120】
位置検出部2cは、画像データ記憶部2bから取得した高フレームレート画像データに対してマーカの位置検出が終了すると、当該検出結果をモーションデータ生成部2dに出力する(ステップS106)。マーカ位置の検出結果は、例えば、マーカの種別(付された位置)情報と、その座標情報とを含んで構成される。モーションデータ生成部2dは、位置検出部2cから入力された検出結果に基づき、マーカの種別毎に、その座標情報に基づきモーションデータを生成する(ステップS108)。ここで、図14に示すように、1つ前のフレームにおけるマーカの座標と、現フレームにおけるマーカの座標とから位置の変化量が算出できるので、ここでは、マーカの種別毎に、各フレームの座標情報と、位置の変化量の情報とを含むモーションデータを生成する。このようにして、モーションデータが生成されると、モーションデータ生成部2dは、生成したモーションデータをモーションデータ記憶部2fに記憶する(ステップS110)。
【0121】
また、モーションデータ生成装置2は、プロセッサからテクスチャデータの抽出指示が送られてくると(ステップS112の「Yes」の分岐)、テクスチャデータ抽出部2eにおいて、画像データ記憶部2bから、指示に応じた通常走査画像データを取得する(ステップS114)。そして、取得した通常走査画像データからテクスチャデータを抽出する(ステップS116)。
【0122】
ここで、通常走査画像データの画像は、図12(a)に示すように、動作体及びマーカの双方が鮮明な画像となっており、一方、高フレームレート画像データの画像は、図12(b)に示すように、フレームレートを高速にする分、露光時間が短くなるために、光量の大きいマーカ以外の画像が黒潰れする。つまり、高フレームレートで撮像された画像からは、3次元コンピュータグラフィックスにおいてテクスチャマッピングに用いるテクスチャデータを得ることができない。本発明に係る撮像装置1においては、高フレームレート画像データと共に、通常露光時間で露光時の画像データも得られるので、通常走査画像データからテクスチャマッピングに用いることが可能なテクスチャデータの抽出を行うことができる。
【0123】
テクスチャデータの抽出は、プログラムにより自動的に行っても良いし、ユーザによる不図示の操作部の操作によって手動で行っても良い。
テクスチャデータの抽出が終了すると、テクスチャデータ抽出部2eは、当該抽出したテクスチャデータをモーションデータ記憶部2fに記憶する(ステップS118)。
このように、本実施形態のモーションデータ生成システム3では、撮像装置1において、マーカの付された動作体に対して、通常露光時間で露光時の画素データから構成される通常走査画像データと、通常露光時間と同じ露光期間において、複数回の間引き走査によって高速なフレームレートで読み出された画素データから構成される複数の高速フレームレート画像データとを同時に得ることが可能である。
【0124】
また、本実施形態のモーションデータ生成システム3では、モーションデータ生成装置2において、高速フレームレート画像データからマーカ位置情報を検出し、この検出結果からマーカの動きに対する精度の高いモーションデータを生成することが可能であり、通常走査画像データからテクスチャデータを抽出することが可能である。つまり、動作体に対する一度の撮像データから、モーションデータ及びテクスチャデータの両方を生成することが可能である。
【0125】
上記第2の実施の形態において、通常走査画像データは、形態3、10、13及び15のいずれか1の通常撮像画像データ生成手段で生成された画像データ又は形態15の通常撮像画像データ生成ステップにおいて生成された画像データに対応し、高フレームレート画像データは、形態3、5、8、9、11、12及び13のいずれか1の高速撮像画像データ生成手段で生成された画像データ又は形態15の高速撮像画像データ生成ステップにおいて生成された画像データに対応し、センサセルアレイ56は、形態1、3、13及び15のいずれか1の光電変換部に対応し、撮像処理部10の撮像素子100における基準タイミング発生器50、走査ラインスキャナ54、駆動パルス発生器52によるセンサセルアレイ56からの通常露光時間で露光時の電荷の破壊読み出し処理は、形態1、3、9及び13のいずれか1の第1読出手段又は形態15の第1読出ステップに対応し、第1出力チャンネル58は、形態1、3、13及び15のいずれか1の第1出力チャンネルに対応し、撮像処理部10の撮像素子100における基準タイミング発生器50、走査ラインスキャナ54、駆動パルス発生器52によるセンサセルアレイ56からの複数回の間引き走査による電荷の非破壊読み出し処理は、形態1、3、4、9及び13のいずれか1の第2読出手段又は形態15の第2読出ステップに対応し、第2出力チャンネル60は、形態1、3、5、13及び15のいずれか1の第2出力チャンネルに対応する。
【0126】
また、上記第2の実施の形態において、画像処理部12における、タイミング制御部12b、高フレームレート画像生成部12c、メモリアクセス部12dによる高フレームレート画像データの生成処理は、形態3、5、9、10、12及び13のいずれか1の高速撮像画像データ生成手段又は形態15の高速撮像画像データ生成ステップに対応し、画像処理部12における、メモリアクセス部12dによる通常走査画像データのフレームメモリ14への書き込み処理は、形態3、10及び13のいずれか1の通常撮像画像データ生成手段又は形態15の通常撮像画像データ生成ステップに対応する。
【0127】
また、上記第2の実施の形態において、位置検出部2cは、形態9の位置検出手段に対応し、モーションデータ生成部2dは、形態9のモーションデータ生成手段に対応し、テクスチャデータ抽出部2eは、形態10のテクスチャデータ抽出手段に対応する。
また、上記第2の実施の形態において、ステップS100〜ステップS106は、形態11又は12の位置検出ステップに対応し、ステップS108〜ステップS110は、形態11又は12のモーションデータ生成ステップに対応する。
【0128】
なお、上記第1及び第2の実施の形態において、撮像装置1を、通常露光時の画素信号を破壊読み出しするための第1出力チャンネル1つと、複数の間引き走査において画素信号を非破壊読み出しするための第2出力チャンネル1つとの計2つの出力チャンネルを有する構成としたが、これに限らず、間引き走査をする回数に応じて、間引き走査によって非破壊読み出しをするための出力チャンネルを複数備える構成としても良い。
【0129】
以下、図15〜図17に基づき、非破壊読み出しをする出力チャンネル数を1つ増やした場合の撮像装置の構成を説明する。ここで、図15は、2つの非破壊出力チャンネルを有する撮像装置4の概略構成を示す図である。また、図16は、撮像装置4における各画素列毎の露光及び画素信号の読み出し動作の一例を示す図である。また、図17は、2つの非破壊出力チャンネルを用いた間引き走査の一例を示す図である。
【0130】
上記第1及び第2の実施の形態における撮像装置1に対して、非破壊読出しを行う第3出力チャンネルを加えた構成の撮像装置4は、図15に示すように、追加した第3出力チャンネル64から出力される画素信号をデジタルの画素データに変換する第3のAFE106が加わった構成となる。
具体的に、第3出力チャンネル64は内部のラインメモリを介して走査ラインスキャナ54で読み出した画素信号を第3のAFE106に出力する。第3のAFE106は、入力された画素信号をデジタルデータである画素データに変換して、画像処理部12のメモリアクセス部12dに出力する。
【0131】
一方、第3出力チャンネル64が加わることによって、撮像素子100のセンサセルアレイ56における各画素列毎の露光及び画素信号の読み出し動作が、図16に示すようになる。
図16に示すように、まず、通常走査によって、センサセルアレイ56における各画素列の通常露光時間で露光時の画素信号の読み出し及び当該画素信号の読み出し後に蓄積電荷のリセットを行う第1読み出しラインを選択すると共に、複数回(例えば、通常露光時間(T1〜T16)において8回)の間引き走査を2分して第1組(T1、T5、T9、T13の4回)及び第2組(T3、T7、T11、T15の4回)に分け、第1組に対する、センサセルアレイ56における走査対象の画素列に対して、各走査時の露光時間で露光時の画素信号の非破壊読み出しを行う第2読み出しラインを選択し、第2組に対する、センサセルアレイ56における走査対象の画素列に対して、各走査時の露光時間で露光時の画素信号の非破壊読み出しを行う第3読み出しラインを選択する。
【0132】
そして、1回の露光期間(通常露光時間)において、通常走査による各画素列に対する通常露光時間で露光時の画素信号の読み出し及び蓄積電荷のリセットと、第1組における複数回の間引き走査による各走査対象の画素列に対する各走査時の露光時間で露光時の画素信号の非破壊読み出しと、第2組における複数回の間引き走査による各走査対象の画素列に対する各走査時の露光時間で露光時の画素信号の非破壊読み出しとをそれぞれ独立に実行する。
【0133】
つまり、第1読み出しライン、第2読み出しライン及び第3読み出しラインは、図16に示すように、全画素列(例えば、第1〜第20ライン)においては、これら画素列のいずれか1に通常露光時間分の電荷が蓄積されると、第1読み出しラインが当該画素列の画素信号を読み出すと共に、その蓄積電荷をリセットするように選択される。また、蓄積電荷のリセットされた画素列は、第1読み出しラインが他の画素列を走査後に再び走査されたときに、丁度通常露光時間分の露光が行われているように走査タイミングが制御される。なお、通常走査による各画素列の走査は、各フレーム毎に全画素列(例えば、第1〜第20ライン)をループしながら順次走査を行う。図16の例では、第1ライン(一番下のライン)から第20ライン(一番上のライン)に向かって1ライン毎に順次走査を行い、走査が第20ラインに到達すると1フレーム期間の走査が終了し、再び第1ラインから次フレームに対する同様の走査を行う。
【0134】
一方、間引き走査においては、第1読み出しラインによる蓄積電荷のリセット後に、通常露光時間分の電荷が蓄積される間に、第1組に対する、各走査時の露光時間において走査対象の各画素列の画素信号を非破壊で順次読み出すように第2読み出しラインがそれぞれ選択される。更に、通常露光時間分の電荷が蓄積される間に、第2組に対する、各走査時の露光時間において走査対象の各画素列の画素信号を非破壊で順次読み出すように第3読み出しラインがそれぞれ選択される。
【0135】
このとき、露光時間を揃えるために、第2読み出しラインと第3読み出しラインとの走査間隔(時間間隔)が同一となるように各読み出しラインが選択される。
これにより、第1読み出しラインによって走査対象の画素列の蓄積電荷がリセットされると、当該リセット後の画素列に対して、第1組に対する、第2読み出しラインにおいて各走査時の露光時間で露光された画素の画素信号の非破壊読み出しが各走査順に順次行われる。
【0136】
更に、第2読み出しラインによる走査が開始されると、図16に示すように、走査間隔が露光時間Tとなるように、第2組に対する、第3読み出しラインにおいて各走査時の露光時間で露光された画素の画素信号の非破壊読み出しが各走査順に順次行われる。
なお、間引き走査においては、システムコントローラから指定される間引き量に従って、所定量の画素列を間引きながら走査が行われ、走査対象の画素列のうち最大番号の画素列に到達すると、走査対象の画素列のうち最小番号の画素列に戻り、通常走査と同様に、ループしながら順次走査を行う。但し、間引き走査においては、通常露光時間の1フレームにおいて、実行可能な(あるいは予め設定された)走査回数だけループが繰り返されることになる。
【0137】
そして、図16に示すように、通常走査によって読み出された通常露光時間で露光時の画素信号(アナログデータ)は、第1出力チャンネル58(CH1)の第1ラインメモリSに読み出され、一方、リセット直後の画素信号は、CH1の第1ラインメモリNに読み出される。一方、第1組に対する複数回の間引き走査によって読み出された各走査毎の画素信号は、第2出力チャンネル(CH2)の第2ラインメモリに各走査毎に読み出されて第2のAFE104に出力されそこでデジタルデータ(画素データ)に変換される。また、第2組に対する複数回の間引き走査によって読み出された各走査毎の画素信号は、第3出力チャンネル(CH3)の第3ラインメモリに各走査毎に読み出されて第3のAFE106に出力されそこでデジタルデータ(画素データ)に変換される。
【0138】
上記構成の撮像装置4であれば、例えば、図17に示すように、第2出力チャンネル(CH2)に対する4回の間引き走査とは別に、これと同じ露光期間において、第3出力チャンネル(CH3)に対する4回の間引き走査を行うことができるので、CH2だけでは通常走査時の4倍のフレームレートであったところを、その倍の8倍のフレームレートで画素信号を読み出すことができる。このように、物理的な出力チャンネルを追加することで、簡易にフレームレートを高速化することが可能である。
【0139】
また、上記撮像装置4において、複数回の走査を複数の組に分けたときの、同一の走査間隔で行われる各組の走査において、間引き走査を行わない構成とすることも可能である。この場合は、間引きを行わないことになるので、単純に非破壊読出しを行うチャンネル数倍のフレームレートで画素信号を読み出すことができる。
また、上記撮像装置4においては、非破壊読出しを行うチャンネル数をCH2及びCH3の2つを有する構成としたが、これに限らず、3つ以上のチャンネル数を有する構成としてもよい。
【0140】
また、上記第2の実施の形態においては、本発明に係る撮像装置1をモーションキャプチャ技術に適用したが、本発明に係る撮像装置1は、高フレームレート画像データを、例えば、マシンビジョンにおける画像解析などの解析処理に用い、通常走査画像データを、例えば、表示用途などの鮮明な画像が必要な用途に用いるような、撮像対象の高フレームレート画像及び通常走査画像の双方が必要となるシステムであれば、どのようなシステムにでも応用することが可能である。
【0141】
例えば、テレビ電話のカメラに本発明に係る撮像装置1を適用し、通常走査画像データを相手側のテレビ電話の表示用に、高フレームレート画像データをこちら側の話者の動作の解析用にそれぞれ用い、話者の動き(例えば、話者の指先の動き)に対応してテレビ電話の操作を行えるようなインターフェースを実現するテレビ電話システムなどに応用可能である。
【0142】
また、自動車などにおいて、他の自動車、走行路面、ガードレール等を撮像するためのカメラに本発明に係る撮像装置1を適用し、通常走査画像データを運転手に撮像画像を見せるための表示用に、高フレームレート画像データを危険等を検知するための画像処理用にそれぞれ用い、走行中の危険監視を行う監視システムなどに応用可能である。また、監視対象を撮影するカメラに本発明に係る撮像装置1を適用し、通常走査画像データを表示用に、高フレームレート画像データを侵入者などの危険物の検知用にそれぞれ用いることで、様々な監視システムに応用することが可能である。
【図面の簡単な説明】
【0143】
【図1】本発明に係る撮像装置1の概略構成を示すブロック図である。
【図2】本発明に係る撮像素子100の内部構成を示すブロック図である。
【図3】センサセルアレイ56の詳細構成を示す図である。
【図4】走査ラインスキャナ54の内部構成を示す図である。
【図5】(a)は、間引き走査の一例を示す図であり、(b)は、(a)の間引き走査によってセンサセル56aから出力される画素信号のレベル(蓄積電荷量)の推移を示す図である。
【図6】撮像素子100のセンサセルアレイ56における各画素列毎の露光及び画素信号の読み出し動作の一例を示す図である。
【図7】画像処理部12の内部構成を示す図である。
【図8】(a)は、通常走査及び間引き走査の一例を示す図であり、(b)は、第10ラインのある画素に対する蓄積電荷量の推移を示す図である。
【図9】本発明に係るモーションデータ生成システム3の概略構成を示すブロック図である。
【図10】モーションデータ生成装置2の詳細構成を示すブロック図である。
【図11】モーションデータの生成処理及びテクスチャデータの抽出処理を示すフローチャートである。
【図12】(a)及び(b)は、通常走査画像及び高フレームレート画像の一例を示す図である。
【図13】フレームレートの違いによる撮像結果についての説明図である。
【図14】モーションデータの生成方法の一例を示す図である。
【図15】2つの非破壊出力チャンネルを有する撮像装置4の概略構成を示す図である。
【図16】撮像装置4における各画素列毎の露光及び画素信号の読み出し動作の一例を示す図である。
【図17】2つの非破壊出力チャンネルを用いた間引き走査の一例を示す図である。
【符号の説明】
【0144】
1は撮像装置、2はモーションデータ生成装置、3はモーションデータ生成システム、10は撮像処理部、12は画像処理部、14はフレームメモリ、100は撮像素子、102は第1のAFE、104は第2のAFE、50は基準タイミング発生器、52は駆動パルス発生器、54は走査ラインスキャナ、56はセンサセルアレイ、58は第1出力チャンネル、60は第2出力チャンネル、54aは通常走査カウンタ、54bは通常走査アドレスデコーダ、54cは間引き走査カウンタ、54dは間引き走査アドレスデコーダ、54eはORロジック、12aは通信器、12bはタイミング制御部、12cは高フレームレート画像生成部、12dはメモリアクセス部、12eは出力読出し部、2aは画像データ取得部、2bは画像データ記憶部、2cは位置検出部、2dはモーションデータ生成部、2eはテクスチャデータ抽出部、2fはモーションデータ記憶部
【特許請求の範囲】
【請求項1】
露光した光を電荷に変換して蓄積する複数の光電変換素子がマトリクス状に配設された光電変換部と、
前記光電変換素子の構成する各画素を走査し、当該走査した各画素からの所定露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴う破壊読み出し方式で行う第1読出手段と、
前記所定露光時間の間に、前記光電変換素子の構成する各画素に対して複数回の走査を行うと共に、当該各走査における前記各画素からの、前記所定露光時間以下の複数種類の露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴わない非破壊読み出し方式で行う第2読出手段と、
前記第1読出手段で読み出される、前記所定露光時間で露光した時の電荷から構成される画素データを順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第1出力チャンネルと、
前記第2読出手段で読み出される画素データを、前記複数回の走査における各走査毎に順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第2出力チャンネルと、を備え、
前記第2読出手段は、前記複数回の走査を、前記複数の光電変換素子の構成する画素群から所定の画素を間引いた残りの画素に対して行うことを特徴とする撮像素子。
【請求項2】
露光した光を電荷に変換して蓄積する複数の光電変換素子がマトリクス状に配設された光電変換部と、
前記光電変換素子の構成する各画素を走査し、当該走査した各画素からの所定露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴う破壊読み出し方式で行う第1読出手段と、
前記各画素に対して行う複数回の走査を所定の組み合わせでN個の組に分割し、前記所定露光時間の間に、前記分割した各組の走査を、各組間の走査間隔が同じ時間間隔となるように行うと共に、当該各走査における前記各画素からの、前記所定露光時間以下の複数種類の露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴わない非破壊読み出し方式で行う第2読出手段と、
前記第1読出手段で読み出される、前記所定露光時間で露光した時の電荷から構成される画素データを順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第1出力チャンネルと、
前記第2読み出し手段で読み出される画素データを各走査毎に順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する、前記各組毎に独立したN個(Nは2以上の自然数)の第2〜第(N+1)出力チャンネルと、を備え、
前記第2読出手段は、前記各走査を、前記複数の光電変換素子の構成する画素群から所定の画素を間引いた残りの画素に対して行うことを特徴とする撮像素子。
【請求項3】
露光した光を電荷に変換して蓄積する複数の光電変換素子がマトリクス状に配設された光電変換部と、
前記光電変換素子の構成する各画素を走査し、当該走査した各画素からの所定露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴う破壊読み出し方式で行う第1読出手段と、
前記所定露光時間の間に、前記光電変換素子の構成する各画素に対して複数回の走査を行うと共に、当該各走査における前記各画素からの、前記所定露光時間以下の複数種類の露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴わない非破壊読み出し方式で行う第2読出手段と、
前記第1読出手段で読み出される、前記所定露光時間で露光した時の電荷から構成される画素データを順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する}第1出力チャンネルと、
前記第2読出手段で読み出される画素データを、前記複数回の走査における各走査毎に順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第2出力チャンネルと、
前記第1出力チャンネルから出力される画素データに基づき、所定露光時間で露光した時の撮像画像データを生成する通常撮像画像データ生成手段と、
前記第2出力チャンネルから出力される画素データに基づき、前記複数回の走査における各走査毎の撮像画像データをそれぞれ生成する高速撮像画像データ生成手段と、を備え、
前記第2読出手段は、前記複数回の走査を、前記複数の光電変換素子の構成する画素群から所定の画素を間引いた残りの画素に対して行うことを特徴とする撮像装置。
【請求項4】
前記第2出力チャンネルは、前記画素のライン毎に前記画素データを出力するようになっており、
前記第2読出手段は、前記複数回の走査を、前記画素群から所定ラインの画素を間引いた残りのラインの画素に対して行うようになっていることを特徴とする請求項3記載の撮像装置。
【請求項5】
前記高速撮像画像データ生成手段は、前記複数回の走査における各回の走査毎に、前記第2出力チャンネルから出力される画素データの画素値と、前記第2出力チャンネルから前記各回の走査の1つ前の回の走査において出力される画素データの画素値との差分値を算出すると共に、当該差分値に基づき、前記各回の走査にそれぞれ対応する撮像画像データを生成することを特徴とする請求項3又は請求項4記載の撮像装置。
【請求項6】
露光した光を電荷に変換して蓄積する複数の光電変換素子がマトリクス状に配設された光電変換部と、
前記光電変換素子の構成する各画素を走査し、当該走査した各画素からの所定露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴う破壊読み出し方式で行う第1読出手段と、
前記各画素に対して行う複数回の走査を所定の組み合わせでN個の組に分割し、前記所定露光時間の間に、前記分割した各組の走査を、各組間の走査間隔が同じ時間間隔となるように行うと共に、当該各走査における前記各画素からの、前記所定露光時間以下の複数種類の露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴わない非破壊読み出し方式で行う第2読出手段と、
前記第1読出手段で読み出される、前記所定露光時間で露光した時の電荷から構成される画素データを順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第1出力チャンネルと、
前記第2読み出し手段で読み出される画素データを各走査毎に順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する、前記各組毎に独立したN個(Nは2以上の自然数)の第2〜第(N+1)出力チャンネルと、
前記第1出力チャンネルから出力される画素データに基づき、所定露光時間で露光した時の撮像画像データを生成する通常撮像画像データ生成手段と、
前記第2〜第(N+1)出力チャンネルから出力される画素データに基づき、前記複数回の走査における各走査毎の撮像画像データをそれぞれ生成する高速撮像画像データ生成手段と、を備え、
前記第2読出手段は、前記各走査を、前記複数の光電変換素子の構成する画素群から所定の画素を間引いた残りの画素に対して行うことを特徴とする撮像装置。
【請求項7】
前記第2〜第(N+1)出力チャンネルは、前記画素のライン毎に前記画素データを出力するようになっており、
前記第2読出手段は、前記複数回の走査を、前記画素群から所定ラインの画素を間引いた残りのラインの画素に対して行うようになっていることを特徴とする請求項6記載の撮像装置。
【請求項8】
前記高速撮像画像データ生成手段は、前記複数回の走査における各回の走査毎に、前記第2〜第(N+1)出力チャンネルから出力される画素データの画素値と、前記第2〜第(N+1)出力チャンネルから前記各回の走査の1つ前の回の走査において出力される画素データの画素値との差分値を算出すると共に、当該差分値に基づき、前記各回の走査にそれぞれ対応する撮像画像データを生成することを特徴とする請求項6又は請求項7記載の撮像装置。
【請求項9】
所定動作を行う動作体の動作内容を示すモーションデータを生成するモーションデータ生成システムであって、
請求項3乃至請求項8のいずれか1項に記載の撮像装置を備え、
前記撮像装置は、位置検出用のマーカが付された前記動作体を含む撮像対象に対する、前記所定露光時間で露光時の画素データを前記第1読出手段によって読み出すと共に、前記N種類の露光時間で露光時の画素データを前記第2読出手段によって読み出し、
前記撮像装置における前記高速撮像画像データ生成手段で生成された撮像画像データに基づき、前記マーカの位置を検出する位置検出手段と、
前記位置検出手段の検出結果に基づき前記モーションデータを生成するモーションデータ生成手段と、を備えることを特徴とするモーションデータ生成システム。
【請求項10】
前記撮像装置における前記通常撮像画像データ生成手段で生成された撮像画像データから、前記動作体のテクスチャデータを抽出するテクスチャデータ抽出手段を備えることを特徴とする請求項9記載のモーションデータ生成システム。
【請求項11】
所定動作を行う動作体の動作内容を示すモーションデータを生成するためのモーションデータ生成プログラムであって、
請求項3乃至請求項8のいずれか1項に記載の撮像装置における前記高速撮像画像データ生成手段で生成された、位置検出用のマーカが付された前記動作体を含む撮像対象に対する撮像画像データに基づき、前記マーカの位置を検出する位置検出ステップと、
前記位置検出ステップの検出結果に基づき前記モーションデータを生成するモーションデータ生成ステップとからなる処理をコンピュータに実行させるためのプログラムを含むことを特徴とするモーションデータ生成プログラム。
【請求項12】
所定動作を行う動作体の動作内容を示すモーションデータを生成するためのモーションデータ生成方法であって、
請求項3乃至請求項8のいずれか1項に記載の撮像装置における前記高速撮像画像データ生成手段で生成された、位置検出用のマーカが付された前記動作体を含む撮像対象に対する撮像画像データに基づき、前記マーカの位置を検出する位置検出ステップと、
前記位置検出ステップの検出結果に基づき前記モーションデータを生成するモーションデータ生成ステップと、を含むことを特徴とするモーションデータ生成方法。
【請求項13】
露光した光を電荷に変換して蓄積する複数の光電変換素子がマトリクス状に配設された光電変換部と、
前記光電変換素子の構成する各画素を走査し、当該走査した各画素からの所定露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴う破壊読み出し方式で行う第1読出手段と、
前記所定露光時間の間に、前記光電変換素子の構成する各画素に対して複数回の走査を行うと共に、当該各走査における前記各画素からの、前記所定露光時間以下の複数種類の露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴わない非破壊読み出し方式で行う第2読出手段と、
前記第1読出手段で読み出される、前記所定露光時間で露光した時の電荷から構成される画素データを順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第1出力チャンネルと、
前記第2読出手段で読み出される画素データを、前記複数回の走査における各走査毎に順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第2出力チャンネルと、
前記第1出力チャンネルから出力される画素データに基づき、所定露光時間で露光した時の撮像画像データを生成する通常撮像画像データ生成手段と、
前記第2出力チャンネルから出力される画素データに基づき、前記複数回の走査における各走査毎の撮像画像データをそれぞれ生成する高速撮像画像データ生成手段と、を備え、
前記第2読出手段は、前記複数回の走査を、前記複数の光電変換素子の構成する画素群から所定の画素を間引いた残りの画素に対して行うことを特徴とする撮像システム。
【請求項14】
露光した光を電荷に変換して蓄積する複数の光電変換素子がマトリクス状に配設された光電変換部と、
前記光電変換素子の構成する各画素を走査し、当該走査した各画素からの所定露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴う破壊読み出し方式で行う第1読出手段と、
前記各画素に対して行う複数回の走査を所定の組み合わせでN個の組に分割し、前記所定露光時間の間に、前記分割した各組の走査を、各組間の走査間隔が同じ時間間隔となるように行うと共に、当該各走査における前記各画素からの、前記所定露光時間以下の複数種類の露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴わない非破壊読み出し方式で行う第2読出手段と、
前記第1読出手段で読み出される、前記所定露光時間で露光した時の電荷から構成される画素データを順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第1出力チャンネルと、
前記第2読み出し手段で読み出される画素データを各走査毎に順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する、前記各組毎に独立したN個(Nは2以上の自然数)の第2〜第(N+1)出力チャンネルと、
前記第1出力チャンネルから出力される画素データに基づき、所定露光時間で露光した時の撮像画像データを生成する通常撮像画像データ生成手段と、
前記第2〜第(N+1)出力チャンネルから出力される画素データに基づき、前記複数回の走査における各走査毎の撮像画像データをそれぞれ生成する高速撮像画像データ生成手段と、を備え、
前記第2読出手段は、前記各走査を、前記複数の光電変換素子の構成する画素群から所定の画素を間引いた残りの画素に対して行うことを特徴とする撮像システム。
【請求項15】
露光した光を電荷に変換して蓄積する複数の光電変換素子がマトリクス状に配設された光電変換部を有する撮像装置に用いられる撮像方法であって、
前記光電変換素子の構成する各画素を走査し、当該走査した各画素からの所定露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴う破壊読み出し方式で行う第1読出ステップと、
前記所定露光時間の間に、前記光電変換素子の構成する各画素に対して複数回の走査を行うと共に、当該各走査における前記各画素からの、前記所定露光時間以下の複数種類の露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴わない非破壊読み出し方式で行う第2読出ステップと、
前記第1読出ステップで読み出される、前記所定露光時間で露光した時の電荷から構成される画素データを順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第1出力チャンネルから出力される画素データに基づき、所定露光時間で露光した時の撮像画像データを生成する通常撮像画像データ生成ステップと、
前記第2読出ステップで読み出される画素データを、前記複数回の走査における各走査毎に順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第2出力チャンネルから出力される画素データに基づき、前記複数回の走査における各走査毎の撮像画像データをそれぞれ生成する高速撮像画像データ生成ステップと、を含み、
前記第2読出ステップは、前記複数回の走査を、前記複数の光電変換素子の構成する画素群から所定の画素を間引いた残りの画素に対して行うことを特徴とする撮像方法。
【請求項16】
露光した光を電荷に変換して蓄積する複数の光電変換素子がマトリクス状に配設された光電変換部を有する撮像装置に用いられる撮像方法であって、
前記光電変換素子の構成する各画素を走査し、当該走査した各画素からの所定露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴う破壊読み出し方式で行う第1読出ステップと、
前記各画素に対して行う複数回の走査を所定の組み合わせでN個の組に分割し、前記所定露光時間の間に、前記分割した各組の走査を、各組間の走査間隔が同じ時間間隔となるように行うと共に、当該各走査における前記各画素からの、前記所定露光時間以下の複数種類の露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴わない非破壊読み出し方式で行う第2読出ステップと、
前記第1読出ステップで読み出される、前記所定露光時間で露光した時の電荷から構成される画素データを順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第1出力チャンネルから出力される画素データに基づき、所定露光時間で露光した時の撮像画像データを生成する通常撮像画像データ生成ステップと、
前記第2読み出しステップで読み出される画素データを各走査毎に順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する、前記各組毎に独立したN個(Nは2以上の自然数)の第2〜第(N+1)出力チャンネルから出力される画素データに基づき、前記複数回の走査における各走査毎の撮像画像データをそれぞれ生成する高速撮像画像データ生成ステップと、を含み、
前記第2読出ステップは、前記各走査を、前記複数の光電変換素子の構成する画素群から所定の画素を間引いた残りの画素に対して行うことを特徴とする撮像方法。
【請求項1】
露光した光を電荷に変換して蓄積する複数の光電変換素子がマトリクス状に配設された光電変換部と、
前記光電変換素子の構成する各画素を走査し、当該走査した各画素からの所定露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴う破壊読み出し方式で行う第1読出手段と、
前記所定露光時間の間に、前記光電変換素子の構成する各画素に対して複数回の走査を行うと共に、当該各走査における前記各画素からの、前記所定露光時間以下の複数種類の露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴わない非破壊読み出し方式で行う第2読出手段と、
前記第1読出手段で読み出される、前記所定露光時間で露光した時の電荷から構成される画素データを順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第1出力チャンネルと、
前記第2読出手段で読み出される画素データを、前記複数回の走査における各走査毎に順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第2出力チャンネルと、を備え、
前記第2読出手段は、前記複数回の走査を、前記複数の光電変換素子の構成する画素群から所定の画素を間引いた残りの画素に対して行うことを特徴とする撮像素子。
【請求項2】
露光した光を電荷に変換して蓄積する複数の光電変換素子がマトリクス状に配設された光電変換部と、
前記光電変換素子の構成する各画素を走査し、当該走査した各画素からの所定露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴う破壊読み出し方式で行う第1読出手段と、
前記各画素に対して行う複数回の走査を所定の組み合わせでN個の組に分割し、前記所定露光時間の間に、前記分割した各組の走査を、各組間の走査間隔が同じ時間間隔となるように行うと共に、当該各走査における前記各画素からの、前記所定露光時間以下の複数種類の露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴わない非破壊読み出し方式で行う第2読出手段と、
前記第1読出手段で読み出される、前記所定露光時間で露光した時の電荷から構成される画素データを順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第1出力チャンネルと、
前記第2読み出し手段で読み出される画素データを各走査毎に順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する、前記各組毎に独立したN個(Nは2以上の自然数)の第2〜第(N+1)出力チャンネルと、を備え、
前記第2読出手段は、前記各走査を、前記複数の光電変換素子の構成する画素群から所定の画素を間引いた残りの画素に対して行うことを特徴とする撮像素子。
【請求項3】
露光した光を電荷に変換して蓄積する複数の光電変換素子がマトリクス状に配設された光電変換部と、
前記光電変換素子の構成する各画素を走査し、当該走査した各画素からの所定露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴う破壊読み出し方式で行う第1読出手段と、
前記所定露光時間の間に、前記光電変換素子の構成する各画素に対して複数回の走査を行うと共に、当該各走査における前記各画素からの、前記所定露光時間以下の複数種類の露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴わない非破壊読み出し方式で行う第2読出手段と、
前記第1読出手段で読み出される、前記所定露光時間で露光した時の電荷から構成される画素データを順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する}第1出力チャンネルと、
前記第2読出手段で読み出される画素データを、前記複数回の走査における各走査毎に順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第2出力チャンネルと、
前記第1出力チャンネルから出力される画素データに基づき、所定露光時間で露光した時の撮像画像データを生成する通常撮像画像データ生成手段と、
前記第2出力チャンネルから出力される画素データに基づき、前記複数回の走査における各走査毎の撮像画像データをそれぞれ生成する高速撮像画像データ生成手段と、を備え、
前記第2読出手段は、前記複数回の走査を、前記複数の光電変換素子の構成する画素群から所定の画素を間引いた残りの画素に対して行うことを特徴とする撮像装置。
【請求項4】
前記第2出力チャンネルは、前記画素のライン毎に前記画素データを出力するようになっており、
前記第2読出手段は、前記複数回の走査を、前記画素群から所定ラインの画素を間引いた残りのラインの画素に対して行うようになっていることを特徴とする請求項3記載の撮像装置。
【請求項5】
前記高速撮像画像データ生成手段は、前記複数回の走査における各回の走査毎に、前記第2出力チャンネルから出力される画素データの画素値と、前記第2出力チャンネルから前記各回の走査の1つ前の回の走査において出力される画素データの画素値との差分値を算出すると共に、当該差分値に基づき、前記各回の走査にそれぞれ対応する撮像画像データを生成することを特徴とする請求項3又は請求項4記載の撮像装置。
【請求項6】
露光した光を電荷に変換して蓄積する複数の光電変換素子がマトリクス状に配設された光電変換部と、
前記光電変換素子の構成する各画素を走査し、当該走査した各画素からの所定露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴う破壊読み出し方式で行う第1読出手段と、
前記各画素に対して行う複数回の走査を所定の組み合わせでN個の組に分割し、前記所定露光時間の間に、前記分割した各組の走査を、各組間の走査間隔が同じ時間間隔となるように行うと共に、当該各走査における前記各画素からの、前記所定露光時間以下の複数種類の露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴わない非破壊読み出し方式で行う第2読出手段と、
前記第1読出手段で読み出される、前記所定露光時間で露光した時の電荷から構成される画素データを順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第1出力チャンネルと、
前記第2読み出し手段で読み出される画素データを各走査毎に順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する、前記各組毎に独立したN個(Nは2以上の自然数)の第2〜第(N+1)出力チャンネルと、
前記第1出力チャンネルから出力される画素データに基づき、所定露光時間で露光した時の撮像画像データを生成する通常撮像画像データ生成手段と、
前記第2〜第(N+1)出力チャンネルから出力される画素データに基づき、前記複数回の走査における各走査毎の撮像画像データをそれぞれ生成する高速撮像画像データ生成手段と、を備え、
前記第2読出手段は、前記各走査を、前記複数の光電変換素子の構成する画素群から所定の画素を間引いた残りの画素に対して行うことを特徴とする撮像装置。
【請求項7】
前記第2〜第(N+1)出力チャンネルは、前記画素のライン毎に前記画素データを出力するようになっており、
前記第2読出手段は、前記複数回の走査を、前記画素群から所定ラインの画素を間引いた残りのラインの画素に対して行うようになっていることを特徴とする請求項6記載の撮像装置。
【請求項8】
前記高速撮像画像データ生成手段は、前記複数回の走査における各回の走査毎に、前記第2〜第(N+1)出力チャンネルから出力される画素データの画素値と、前記第2〜第(N+1)出力チャンネルから前記各回の走査の1つ前の回の走査において出力される画素データの画素値との差分値を算出すると共に、当該差分値に基づき、前記各回の走査にそれぞれ対応する撮像画像データを生成することを特徴とする請求項6又は請求項7記載の撮像装置。
【請求項9】
所定動作を行う動作体の動作内容を示すモーションデータを生成するモーションデータ生成システムであって、
請求項3乃至請求項8のいずれか1項に記載の撮像装置を備え、
前記撮像装置は、位置検出用のマーカが付された前記動作体を含む撮像対象に対する、前記所定露光時間で露光時の画素データを前記第1読出手段によって読み出すと共に、前記N種類の露光時間で露光時の画素データを前記第2読出手段によって読み出し、
前記撮像装置における前記高速撮像画像データ生成手段で生成された撮像画像データに基づき、前記マーカの位置を検出する位置検出手段と、
前記位置検出手段の検出結果に基づき前記モーションデータを生成するモーションデータ生成手段と、を備えることを特徴とするモーションデータ生成システム。
【請求項10】
前記撮像装置における前記通常撮像画像データ生成手段で生成された撮像画像データから、前記動作体のテクスチャデータを抽出するテクスチャデータ抽出手段を備えることを特徴とする請求項9記載のモーションデータ生成システム。
【請求項11】
所定動作を行う動作体の動作内容を示すモーションデータを生成するためのモーションデータ生成プログラムであって、
請求項3乃至請求項8のいずれか1項に記載の撮像装置における前記高速撮像画像データ生成手段で生成された、位置検出用のマーカが付された前記動作体を含む撮像対象に対する撮像画像データに基づき、前記マーカの位置を検出する位置検出ステップと、
前記位置検出ステップの検出結果に基づき前記モーションデータを生成するモーションデータ生成ステップとからなる処理をコンピュータに実行させるためのプログラムを含むことを特徴とするモーションデータ生成プログラム。
【請求項12】
所定動作を行う動作体の動作内容を示すモーションデータを生成するためのモーションデータ生成方法であって、
請求項3乃至請求項8のいずれか1項に記載の撮像装置における前記高速撮像画像データ生成手段で生成された、位置検出用のマーカが付された前記動作体を含む撮像対象に対する撮像画像データに基づき、前記マーカの位置を検出する位置検出ステップと、
前記位置検出ステップの検出結果に基づき前記モーションデータを生成するモーションデータ生成ステップと、を含むことを特徴とするモーションデータ生成方法。
【請求項13】
露光した光を電荷に変換して蓄積する複数の光電変換素子がマトリクス状に配設された光電変換部と、
前記光電変換素子の構成する各画素を走査し、当該走査した各画素からの所定露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴う破壊読み出し方式で行う第1読出手段と、
前記所定露光時間の間に、前記光電変換素子の構成する各画素に対して複数回の走査を行うと共に、当該各走査における前記各画素からの、前記所定露光時間以下の複数種類の露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴わない非破壊読み出し方式で行う第2読出手段と、
前記第1読出手段で読み出される、前記所定露光時間で露光した時の電荷から構成される画素データを順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第1出力チャンネルと、
前記第2読出手段で読み出される画素データを、前記複数回の走査における各走査毎に順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第2出力チャンネルと、
前記第1出力チャンネルから出力される画素データに基づき、所定露光時間で露光した時の撮像画像データを生成する通常撮像画像データ生成手段と、
前記第2出力チャンネルから出力される画素データに基づき、前記複数回の走査における各走査毎の撮像画像データをそれぞれ生成する高速撮像画像データ生成手段と、を備え、
前記第2読出手段は、前記複数回の走査を、前記複数の光電変換素子の構成する画素群から所定の画素を間引いた残りの画素に対して行うことを特徴とする撮像システム。
【請求項14】
露光した光を電荷に変換して蓄積する複数の光電変換素子がマトリクス状に配設された光電変換部と、
前記光電変換素子の構成する各画素を走査し、当該走査した各画素からの所定露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴う破壊読み出し方式で行う第1読出手段と、
前記各画素に対して行う複数回の走査を所定の組み合わせでN個の組に分割し、前記所定露光時間の間に、前記分割した各組の走査を、各組間の走査間隔が同じ時間間隔となるように行うと共に、当該各走査における前記各画素からの、前記所定露光時間以下の複数種類の露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴わない非破壊読み出し方式で行う第2読出手段と、
前記第1読出手段で読み出される、前記所定露光時間で露光した時の電荷から構成される画素データを順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第1出力チャンネルと、
前記第2読み出し手段で読み出される画素データを各走査毎に順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する、前記各組毎に独立したN個(Nは2以上の自然数)の第2〜第(N+1)出力チャンネルと、
前記第1出力チャンネルから出力される画素データに基づき、所定露光時間で露光した時の撮像画像データを生成する通常撮像画像データ生成手段と、
前記第2〜第(N+1)出力チャンネルから出力される画素データに基づき、前記複数回の走査における各走査毎の撮像画像データをそれぞれ生成する高速撮像画像データ生成手段と、を備え、
前記第2読出手段は、前記各走査を、前記複数の光電変換素子の構成する画素群から所定の画素を間引いた残りの画素に対して行うことを特徴とする撮像システム。
【請求項15】
露光した光を電荷に変換して蓄積する複数の光電変換素子がマトリクス状に配設された光電変換部を有する撮像装置に用いられる撮像方法であって、
前記光電変換素子の構成する各画素を走査し、当該走査した各画素からの所定露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴う破壊読み出し方式で行う第1読出ステップと、
前記所定露光時間の間に、前記光電変換素子の構成する各画素に対して複数回の走査を行うと共に、当該各走査における前記各画素からの、前記所定露光時間以下の複数種類の露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴わない非破壊読み出し方式で行う第2読出ステップと、
前記第1読出ステップで読み出される、前記所定露光時間で露光した時の電荷から構成される画素データを順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第1出力チャンネルから出力される画素データに基づき、所定露光時間で露光した時の撮像画像データを生成する通常撮像画像データ生成ステップと、
前記第2読出ステップで読み出される画素データを、前記複数回の走査における各走査毎に順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第2出力チャンネルから出力される画素データに基づき、前記複数回の走査における各走査毎の撮像画像データをそれぞれ生成する高速撮像画像データ生成ステップと、を含み、
前記第2読出ステップは、前記複数回の走査を、前記複数の光電変換素子の構成する画素群から所定の画素を間引いた残りの画素に対して行うことを特徴とする撮像方法。
【請求項16】
露光した光を電荷に変換して蓄積する複数の光電変換素子がマトリクス状に配設された光電変換部を有する撮像装置に用いられる撮像方法であって、
前記光電変換素子の構成する各画素を走査し、当該走査した各画素からの所定露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴う破壊読み出し方式で行う第1読出ステップと、
前記各画素に対して行う複数回の走査を所定の組み合わせでN個の組に分割し、前記所定露光時間の間に、前記分割した各組の走査を、各組間の走査間隔が同じ時間間隔となるように行うと共に、当該各走査における前記各画素からの、前記所定露光時間以下の複数種類の露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴わない非破壊読み出し方式で行う第2読出ステップと、
前記第1読出ステップで読み出される、前記所定露光時間で露光した時の電荷から構成される画素データを順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第1出力チャンネルから出力される画素データに基づき、所定露光時間で露光した時の撮像画像データを生成する通常撮像画像データ生成ステップと、
前記第2読み出しステップで読み出される画素データを各走査毎に順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する、前記各組毎に独立したN個(Nは2以上の自然数)の第2〜第(N+1)出力チャンネルから出力される画素データに基づき、前記複数回の走査における各走査毎の撮像画像データをそれぞれ生成する高速撮像画像データ生成ステップと、を含み、
前記第2読出ステップは、前記各走査を、前記複数の光電変換素子の構成する画素群から所定の画素を間引いた残りの画素に対して行うことを特徴とする撮像方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【公開番号】特開2007−259428(P2007−259428A)
【公開日】平成19年10月4日(2007.10.4)
【国際特許分類】
【出願番号】特願2007−41722(P2007−41722)
【出願日】平成19年2月22日(2007.2.22)
【出願人】(000002369)セイコーエプソン株式会社 (51,324)
【Fターム(参考)】
【公開日】平成19年10月4日(2007.10.4)
【国際特許分類】
【出願日】平成19年2月22日(2007.2.22)
【出願人】(000002369)セイコーエプソン株式会社 (51,324)
【Fターム(参考)】
[ Back to top ]