撮像装置および画像再生装置
【課題】連続撮影時においても、画像データのデータ容量を抑えながら、画質の高い再生画像を容易に合成可能な画像データを生成することができる撮像装置を提供する。
【解決手段】入射する被写体光に応じた画素信号を出力する複数の画素が二次元状に配置された撮像素子３と、複数の画素のうち、所定の方向に沿って所定の画素間隔ごとに配置された画素から出力される画素信号を読み出し、画像データを生成する生成手段６と、撮像素子３に、所定の時間間隔で繰り返し画素信号を出力させ、かつ、時間的に連続する前後の画像データにおいて、画素信号を読み出す画素が互いに異なるものとなるように生成手段を制御する制御手段６と、を備えることを特徴とする撮像装置。
【解決手段】入射する被写体光に応じた画素信号を出力する複数の画素が二次元状に配置された撮像素子３と、複数の画素のうち、所定の方向に沿って所定の画素間隔ごとに配置された画素から出力される画素信号を読み出し、画像データを生成する生成手段６と、撮像素子３に、所定の時間間隔で繰り返し画素信号を出力させ、かつ、時間的に連続する前後の画像データにおいて、画素信号を読み出す画素が互いに異なるものとなるように生成手段を制御する制御手段６と、を備えることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置および画像再生装置に関するものである。
【背景技術】
【０００２】
従来より、動画撮影が可能な撮像装置が知られている。このような撮像装置において、動画撮影時に、データ容量を抑えるため、撮像素子を構成する各画素の画素信号を所定の画素間隔で間欠的に読み出して再生画像を生成する技術が知られている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−３０１４７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術では、所定の画素間隔で間欠的に読み出した画素信号に基づいて、再生画像を生成しているため、再生画像の画質が低くなるという問題があった。
【０００５】
本発明が解決しようとする課題は、連続撮影時においても、画像データのデータ容量を抑えながら、画質の高い再生画像を容易に合成可能な画像データを生成することができる撮像装置を提供することである。
【課題を解決するための手段】
【０００６】
この発明は、以下の解決手段によって上記課題を解決する。なお、発明の実施形態を示す図面に対応する符号を付して説明するが、この符号は発明の理解を容易にするためだけのものであって発明を限定する趣旨ではない。
【０００７】
［１］ 本発明に係る撮像装置は、入射する被写体光に応じた画素信号を出力する複数の画素が二次元状に配置された撮像素子（３）と、前記複数の画素のうち、所定の方向に沿って所定の画素間隔ごとに配置された画素から出力される画素信号を読み出し、画像データを生成する生成手段（６）と、前記撮像素子に、所定の時間間隔で繰り返し前記画素信号を出力させ、かつ、時間的に連続する前後の画像データにおいて、前記画素信号を読み出す画素が互いに異なるものとなるように前記生成手段を制御する制御手段（６）と、を備えることを特徴とする。
【０００８】
［２］ 上記撮像装置に係る発明において、前記複数の画素は行列状に配置されており、前記所定の方向は、行列状に配置された前記画素の行方向または列方向であるように構成することができる。
【０００９】
［３］ 上記撮像装置に係る発明において、前記生成手段（６）で、Ｎ画素間隔ごとに配置された画素から出力される画素信号を読み出す場合、前記制御手段（６）は、時間的に連続する（Ｎ＋１）個の画像データにおいて、前記画素信号を読み出す画素が互いに異なるものとなるように前記生成手段を制御するように構成することができる。
【００１０】
［４］ 上記撮像装置に係る発明において、複数の前記画像データを合成する合成手段（６）をさらに備えるように構成することができる。
【００１１】
［５］ 上記撮像装置に係る発明において、前記生成手段（６）で、Ｎ画素間隔ごとに配置された画素から出力される画素信号を読み出す場合、前記合成手段（６）は、時間的に連続する（Ｎ＋１）個の画像データを合成するように構成することができる。
【００１２】
［６］ 上記撮像装置に係る発明において、前記制御手段（６）は、前記所定の時間間隔に応じて、前記所定の画素間隔を決定するように構成することができる。
【００１３】
［７］ 本発明に係る画像再生装置は、入射する被写体光に応じた画素信号を出力する複数の画素を有する撮像素子の、前記複数の画素のうち、所定の画素間隔ごとに配置された画素から出力される画素信号を読み出して生成された画像データを取得する取得手段と、前記複数の画像データを合成し、再生画像を生成する合成手段と、を備えることを特徴とする。
【００１４】
［８］ 上記画像再生装置に係る発明において、前記合成手段は、時間的に連続して生成された複数の画像データを合成するように構成することができる。
【発明の効果】
【００１５】
本発明によれば、連続撮影時においても、画像データのデータ容量を抑えながら、画質の高い再生画像を容易に合成可能な画像データを生成することができる。
【図面の簡単な説明】
【００１６】
【図１】図１は、本実施形態に係る電子カメラ１００の要部構成を示す図である。
【図２】図２は、図１に示す撮像素子３を構成する画素配列の一例を示す平面図である。
【図３】図３は、撮像素子３を構成する各画素において、画素信号の蓄積および転送のタイミングの例を示す図である。
【図４】図４は、画像データの生成方法を説明するための図である。
【図５】図５は、画像データの生成方法を説明するための図である。
【図６】図６は、画像データの生成方法を説明するための図である。
【図７】図７は、再生画像の生成方法を説明するための図である。
【図８】図８は、再生画像の生成方法を説明するための図である。
【発明を実施するための形態】
【００１７】
本発明の実施形態を図面に基づいて説明する。なお、本実施形態に係る電子カメラは、静止画像を撮像可能であることに加えて、連続撮像による動画撮影も可能となっている。
【００１８】
図１は、本実施形態に係る電子カメラ１００の要部構成を示す図である。図１に示すように、電子カメラ１００は、撮像レンズ群１、光量調節部２、撮像素子３、Ａ／Ｄ変換部４、タイミングジェネレータ（ＴＧ）５、ＣＰＵ６、カードメモリ７、カードインタフェース（カードＩ／Ｆ）８、内蔵メモリ９、操作部１０、表示回路１１、表示部１２、レンズ駆動部１４および光量調節制御部１５から構成される。ＣＰＵ６、カードＩ／Ｆ８、内蔵メモリ９、操作部１０および表示回路１１は、バス１３を介して接続されており、互いに情報の授受が可能となっている。
【００１９】
撮像レンズ群１は、複数の光学レンズにより構成され、被写体像を撮像素子３の受光面に結像する。撮像レンズ群１は、光軸Ｌ１に沿って移動可能に設けられており、レンズ駆動部１４によるフォーカシング動作およびズーミング動作により、その位置が調整される。なお、レンズ駆動部１４は、ＣＰＵ６と接続されており、ＣＰＵ６の指令により撮像レンズ群１の位置調整を制御している。
【００２０】
光量調節部２は、絞り機構およびシャッタ機構を備え、被写体像を撮像素子３で撮像させるために、被写体からの光束（光軸Ｌ１）を、シャッタ速度で決まる時間（露光時間）の間、撮像素子３の受光面へ通す。なお、光量調節部２の絞り動作およびシャッタ動作は、ＣＰＵ６の指令に基づいて、光量調節制御部１５により制御される。
【００２１】
撮像素子３は、例えば、二次元ＣＣＤイメージセンサ、ＭＯＳセンサまたはＣＩＤなどで構成される。ここで、図２は、撮像素子３を構成する画素配列の一例を示す平面図である。図２に示すように、撮像素子３には、複数の光電変換素子から構成される複数の画素が二次元状かつ行列状に配置されている。なお、図２に示す例においては、説明を簡単にするため、縦２４×横３６の画素が行列状に配置された撮像素子３を例示しているが、撮像素子３を構成する画素の数および配列態様は特に限定されるものではない。また、図２に示す撮像素子３において、行方向（縦方向）の座標をｙ＝０〜２３とし、撮像素子３を構成する画素の列方向（横方向）の座標をｘ＝０〜３５とする（後述する図４〜図６、および図８においても同じ）。
【００２２】
撮像素子３は、ＴＧ５が発するタイミングパルスに応じて、撮像レンズ群１により撮像素子３の画素上に結像された被写体像を、アナログの電気信号（画素信号）に変換して出力する。被写体光に応じて撮像素子３から出力されたアナログの画素信号は、Ａ／Ｄ変換部４でデジタルの画素信号に変換され、ＣＰＵ６へ転送される。なお、撮像素子３の動作の詳細については、後述する。
【００２３】
ＣＰＵ６は、撮像素子３から画素信号を読み出して、読み出した画素信号に基づいて画像データを生成する。また、ＣＰＵ６は、複数の画像データを連続的に合成して、再生画像を生成する。さらに、ＣＰＵ６は、画像データの補正、焦点調節状態、および絞り調節状態の検出など、電子カメラ１００全体の制御を司る。なお、画像データの生成方法、再生画像の生成方法についての詳細は、後述する。
【００２４】
内蔵メモリ９には、ＣＰＵ６により生成された画像データが記憶される他、ＣＰＵ６が電子カメラ１００を制御するための制御プログラムなどが記憶されている。内蔵メモリ９に記憶されている画像データや制御プログラムは、バス１３を介して、ＣＰＵ６から適時参照される。なお、内蔵メモリ９として、半導体メモリのうち、任意の不揮発性メモリを適宜選択して用いることができる。
【００２５】
カードＩ／Ｆ８には、カードメモリ７が着脱可能に装着される。内蔵メモリ９に記憶された画像データは、ＪＰＥＧ形式またはＹＵＶ形式などの圧縮形式に変換され、カードメモリ７に記録される。
【００２６】
操作部１０は、撮影者による操作内容に応じた操作信号をＣＰＵ６に出力する。操作部１０には、例えば、電源ボタン、撮影モードを設定するためのモード設定ボタン、フレームレートを設定するためのフレームレート設定ボタン、およびレリーズボタンなどが含まれる。本実施形態においては、モード設定ボタンにより、静止画を撮像する静止画撮影モードと、動画を撮影する動画撮影モードとを切り替えることができる。撮影者により操作部１０のモード設定ボタンを介して設定された撮影モードの情報はＣＰＵ６へ送出され、ＣＰＵ６により撮影モードに応じた電子カメラ１００の動作制御が行われる。なお、これら操作部１０に含まれる各種ボタンは、表示部１２の画面に表示されるタッチパネル形式のボタンであってもよい。
【００２７】
表示部１２は、表示回路１１を介して、撮像素子３が撮像したスルー画などの動画や静止画像、撮影モード設定画面、フレームレート設定画面などを表示部１２が備える表示モニタ上に表示する。なお、表示部１２として、液晶モニタなどを適宜選択して用いることができる。
【００２８】
次いで、撮影者により操作部１０を介して動画撮影モードが選択された場合の撮像動作を、図３に示す例に基づいて説明する。図３は、撮像素子３において、画素信号の蓄積および出力を行う際のタイミングの一例を示す図である。動画撮影モードが選択されている場合、ＣＰＵ６の制御により、ＴＧ５から撮像素子３に対して、所定の周期（フレームレート）でタイミングパルスが発せられる。図３に示す例においては、周期Ｔ１〜Ｔ６でタイミングパルスが発せられており、また、図示していないが、周期Ｔ６以降においても、タイミングパルスが所定の周期で繰り返し発せられる。
【００２９】
そして、撮像素子３は、ＴＧ５からのタイミングパルスに応じて、画素信号の蓄積と、蓄積した画素信号の出力とを繰り返す。例えば、図３に示す例では、撮像素子３は、周期Ｔ１の間、撮像レンズ１によって結像される被写体光を画素信号ＣＡ１に変換して蓄え、蓄積した画素信号ＣＡ１に基づく画素信号ＯＡ１を、周期Ｔ１に続く周期Ｔ２において、Ａ／Ｄ変換部４に出力する。さらに、撮像素子３は、周期Ｔ２の間、被写体光を画素信号ＣＢ１に変換して蓄え、蓄積した画素信号ＣＢ１に基づく画素信号ＯＢ１を、周期Ｔ２に続く周期Ｔ３において、Ａ／Ｄ変換部４に出力する。以下同様に、撮像素子３は、タイミングパルスに応じて、画素信号ＣＣ１の蓄積と画素信号ＣＣ１に基づく画素信号ＯＣ１の出力、画素信号ＣＡ２の蓄積と画素信号ＣＡ２に基づく画素信号ＯＡ２の出力、および画素信号ＣＢ２の蓄積と画素信号ＣＢ２に基づく画素信号ＯＢ２の出力というように、動画撮影モードによる撮影の間、画素信号の蓄積と、蓄積した画素信号の出力とを繰り返し行う。
【００３０】
ここで、図３に示す例では、画素信号ＯＡ１、画素信号ＯＢ１、画素信号ＯＣ１は、以下に説明するように、異なる出力態様により、撮像素子３から出力される。
【００３１】
具体的には、画素信号ＯＡ１は、図４に示す第１の出力態様により出力される。ここで、図４は、撮像素子３から画素信号を出力させる際の第１の出力態様を示す図である。図４において、撮像素子３を構成する画素のうち、画素信号を構成する信号を出力する画素を斜線で表す一方、画素信号を構成する信号を出力しない画素を白塗りで表している。すなわち、第１の出力態様においては、図４において斜線で表す画素から出力された信号が画素信号として出力される。また、図４に示すように、第１の出力態様では、撮像素子３を構成する画素のうち、ｙ軸方向（行方向）およびｘ軸方向（列方向）に沿って２画素間隔ごとに配置された複数の画素の信号が画素信号として出力される。具体的には、第１の出力態様においては、図４に示すように、画素の画素位置を（ｘＡ，ｙＡ）とした場合、ｘＡ＋ｙＡ＝３ｎ（ｎは０以上の整数）を満たす画素位置に配置された複数の画素の信号が画素信号として出力される。
【００３２】
一方、画素信号ＯＢ１は、図５に示す第２の出力態様により出力される。ここで、図５は、撮像素子３から画素信号を出力する際の第２の出力態様を示す図である。図５において、撮像素子３を構成する画素のうち、画素信号を構成する信号を出力させる画素を横線で表す一方、画素信号を構成する信号を出力させない画素を白塗りで表している。すなわち、第２の出力態様においては、図５において横線で表す画素から出力された信号が画素信号として出力される。また、上述した図４に示す第１の出力態様と、図５に示す第２の出力態様とを比べると、撮像素子３を構成する画素のうち、ｙ軸方向（行方向）およびｘ軸方向（列方向）に沿って２画素間隔ごとに配置された複数の画素の信号を画素信号として出力させる点は共通するが、図５に示す第２の出力態様では、図４に示す第１の出力態様とは異なる画素の信号を画素信号として出力させる点で異なる。具体的には、第２の出力態様においては、図５に示すように、画素の画素位置を（ｘＢ，ｙＢ）とした場合、ｘＢ＋ｙＢ＝３ｎ＋１（ｎは０以上の整数）を満たす画素位置に配置された複数の画素の信号を画素信号として出力させる。すなわち、図５に示す第２の出力態様で出力される画素信号は、図４に示す第１の出力態様で出力される画素信号に対し、１画素分だけ画素位置がずれた画素の信号からなる画素信号である。
【００３３】
また、画素信号ＯＣ１は、図６に示す第３の出力態様により出力される。ここで、図６は、撮像素子３から画素信号を出力する際の第３の出力態様を示す図である。図６においては、撮像素子３を構成する画素のうち、画素信号を構成する信号を出力させる画素を黒塗りで表す一方、画素信号を構成する信号を出力させない画素を白塗りで表している。すなわち、第３の出力態様においては、図６において黒塗りで表す画素から出力された信号が画素信号として出力される。また、上述した図４に示す第１の出力態様および図５に示す第２の出力態様と、図６に示す第３の出力態様とを比べると、撮像素子３を構成する画素のうち、ｙ軸方向（行方向）およびｘ軸方向（列方向）に沿って２画素間隔ごとに配置された複数の画素の信号が画素信号として出力される点で共通するが、図６に示す第３の出力態様は、図４に示す第１の出力態様および図５に示す第２の出力態様とは異なる画素の信号を画素信号として出力させる点で異なる。具体的には、第３の出力態様においては、図６に示すように、画素の画素位置を（ｘＣ，ｙＣ）とした場合、ｘＣ＋ｙＣ＝３ｎ＋２（ｎは０以上の整数）を満たす画素位置に配置された複数の画素の信号が画素信号として出力される。すなわち、図６に示す第３の出力態様で出力される画素信号は、図４に示す第１の出力態様で出力される画素信号に対し、２画素分だけ画素位置がずれた画素の信号からなる画素信号であり、かつ、図５に示す第２の出力態様で出力される画素信号に対し、１画素分だけ画素位置がずれた画素の信号からなる画素信号である。
【００３４】
さらに、図３に示す例では、画素信号ＯＣ１に引き続いて、画素信号ＯＡ２が出力される。ここで、画素信号ＯＡ２は、画素信号ＯＡ１と同様に、図４に示す第１の出力態様により出力される。また、画素信号ＯＡ２に引き続いて、画素信号ＯＢ２が出力される。ここで、画素信号ＯＢ２は、画素信号ＯＢ１と同様に、図５に示す第２の出力態様により出力される。このように、本実施形態では、図４に示す第１の出力態様による画素信号の出力と、図５に示す第２の出力態様による画素信号の出力と、図６に示す第３の出力態様による画素信号の出力とが繰り返し行われる。
【００３５】
このように所定の出力態様で撮像素子３により出力された画素信号は、Ａ／Ｄ変換部４に出力された後、ＣＰＵ６に読み込まれる。そして、ＣＰＵ６は、読み込んだ各画素信号に基づいて画像データを生成し、生成した画像データを内蔵メモリ９に記憶する。
【００３６】
次に、本実施形態における再生画像の生成方法について説明する。再生画像の生成は、例えば、操作部１０を介して、動画撮影モードによって撮影された画像の再生指令を受けた場合に、ＣＰＵ６によって行われる。ここで、図７および図８は、再生画像の生成方法を説明するための図である。なお、図７は、図３に示す例において、複数の画素データから合成される合成画像を示しており、周期Ｔ２〜Ｔ６および画素信号ＯＡ１〜ＯＢ２は、図３に示す例と同じである。以下、図３に示す場面における再生画像の生成例について、図７および図８を参照して説明する。
【００３７】
具体的には、ＣＰＵ６は、まず、図７に示すように、周期Ｔ２、Ｔ３、Ｔ４において出力された各画素信号ＯＡ１、ＯＢ１、ＯＣ１に基づく各画像データを合成することで、合成画像ＰＡ１＋Ｂ１＋Ｃ１を生成する。ここで、それぞれ、画素信号ＯＡ１は図４に示す第１の出力態様で出力されたものであり、また、画素信号ＯＢ１は図５に示す第２の出力態様で出力されたものであり、さらに、画素信号ＯＣ１は図６に示す第３の出力態様で出力されたものである。そのため、このようにして生成される合成画像ＰＡ１＋Ｂ１＋Ｃ１は、図８に示すように、撮像素子３の全ての画素から出力された画素信号に基づく画像データに基づく画像となることとなる。すなわち、図８中において、それぞれ、斜線で示す画素については画素信号ＯＡ１に基づく画像データ、横線で示す画素については画素信号ＯＢ１に基づく画像データ、黒塗りで示す画素については画素信号ＯＣ１に基づく画像データで構成されるものとなり、これにより、合成画像ＰＡ１＋Ｂ１＋Ｃ１は、撮像素子３を構成する全ての画素からの画像信号に基づく画像となる。
【００３８】
同様に、ＣＰＵ６は、図７に示すように、周期Ｔ３、Ｔ４、Ｔ５において出力された各画素信号ＯＢ１、ＯＣ１、ＯＡ２に基づく各画像データを合成し、合成画像ＰＢ１＋Ｃ１＋Ａ２を生成し、さらに、周期Ｔ４、Ｔ５、Ｔ６において出力された各画素信号ＯＣ１、ＯＡ２、ＯＢ２に基づく各画像データを合成し、合成画像ＰＣ１＋Ａ２＋Ｂ２を生成し、以下、同様にして、時間的に連続する３個の画像データを逐次合成し、複数の合成画像を生成する。そして、本実施形態では、このようにして得られた各合成画像を、時間的に連続したものとして（たとえば、ＰＡ１＋Ｂ１＋Ｃ１→ＰＢ１＋Ｃ１＋Ａ２→ＰＣ１＋Ａ２＋Ｂ２→・・・）、再生画像とする。
【００３９】
すなわち、本実施形態では、Ｎ画素間隔ごとに配置された複数の画素の信号を画素信号として読み出す場合には、時間的に連続する（Ｎ＋１）個の画像データを連続的に合成することで、再生画像を生成する。例えば、図３に示す例においては、２画素間隔ごとに配置された複数の画素の信号を画素信号として読み出しており、時間的に連続する３個の画像データを連続的に合成することで、再生画像を生成する。すなわち、図３に示す例において、まず、時間的に連続する画素信号ＯＡｍ、ＯＢｍ、ＯＣｍに基づく画像データ（ｍは正の整数、以下同じ）を合成して、合成画像を生成する。そして、同様に、画素信号ＯＢｍ、ＯＣｍ、ＯＡ（ｍ＋１）に基づく合成画像、画素信号ＯＣｍ、ＯＡ（ｍ＋１）、ＯＢ（ｍ＋１）に基づく合成画像、画素信号ＯＡ（ｍ＋１）、ＯＢ（ｍ＋１）、ＯＣ（ｍ＋１）に基づく合成画像というように、時間的に連続する３つの画像データを連続的に合成して、合成画像を連続的に生成することで、再生画像を生成する。
【００４０】
以上のように、本実施形態に係る電子カメラ１００では、動画撮影などの連続撮影を行う際に、撮像素子３に二次元状に配置された画素のうち、所定の画素間隔（例えば、図４〜図６に示す出力態様においては２画素間隔）ごとに配置された複数の画素の信号を画素信号として出力させ、この画素信号に基づいて画像データを生成する。このように、本実施形態で生成される画像データは、所定の画素間隔で配置された複数の画素の信号からなる画素信号に基づくものであるため、本実施形態では、高フレームレートの連続撮影においても、各画像データのデータ容量を抑えることができ、また、画像データを内蔵メモリ９などに保存する際の処理速度の向上も図れる。
【００４１】
さらに、本実施形態では、Ｎ画素間隔ごとに配置された複数の画素の信号を画素信号として読み出す場合に、時間的に連続する（Ｎ＋１）個の画像データにおいて、画素信号を読み出す画素が互いに異なるものとなるように制御し、時間的に連続する（Ｎ＋１）個の画像データを連続的に合成することで、再生画像を生成する。例えば、上述した実施形態では、図４に示す第１の出力態様、図５に示す第２の出力態様、および図６に示す第３の出力態様により出力される画素信号は、いずれも２画素間隔ごとに配置された複数の画素に基づく画素信号であり、さらに、画素信号を読み出す画素が重複することなく互いに異なっている。そのため、図４〜図６に示す各出力態様において、画素信号を構成する信号を出力する画素を重ね合わせると、図８に示すように、第１の出力態様で画素信号を読み出す画素が図８中の斜線で示す画素に対応し、第２の出力態様で画素信号を読み出す画素が図８中の横線で示す画素に対応し、第３の出力態様で画素信号を読み出す画素が図８中の黒塗りで示す画素に対応する。すなわち、図４〜図６に示す出力態様で出力した３つの画像データを重ね合わせることにより、撮像素子３の全ての画素に基づく画像と同様の高画質な合成画像を生成することができる。このように、本実施形態では、従来のような複雑な画像処理を行うことなく、時間的に連続する複数の画像データを単に重ね合わせて合成するだけで、高画質な再生画像を迅速かつ容易に生成することができ、さらに、再生画像を生成する際の処理負担も軽減することができる。
【００４２】
以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【００４３】
例えば、本実施形態においては、電子カメラ１００において、時間的に連続する複数の画像データを生成し、生成した複数の画像データを連続的に合成することで、再生画像を生成しているが、この構成に限定されるものではなく、例えば、電子カメラ１００において、時間的に連続する複数の画像データを生成し、生成した複数の画像データを出力するとともに、電子カメラ１００以外の装置、例えば、画像を再生するための画像再生装置において、電子カメラ１００により出力された複数の画像データを取得し、取得した複数の画像データを連続的に合成することで、画像再生装置において、再生画像を生成する構成としてもよい。この場合、電子カメラ１００により、上述した画像データの生成方法で複数の画像データを生成し、そして、画像再生装置により、上述した再生画像の生成方法と同様にして、電子カメラ１００により生成された複数の画像データを連続的に合成し、再生画像を生成する構成とすることができる。この場合にも、複雑な画像処理を行うことなく、時間的に連続する３個の画像データを単に重ね合わせるだけで、高画質な再生画像を迅速かつ容易に生成することができ、再生画像を合成する際の処理負担を軽減することができる。
【００４４】
また、本実施形態においては、図４〜図６に示すように、２画素間隔ごとに配置された画素の信号を画素信号として出力させているが、画素信号の出力態様はこれに限定されず、例えば、１画素間隔ごとに配置された画素の信号を画素信号として出力させてもよいし、さらに、３画素以上の画素間隔ごとに配置された画素の信号を画素信号として出力させてもよい。この場合においても、Ｎ画素間隔ごとに配置された複数の画素の信号を画素信号として読み出す場合と同様に、時間的に連続する（Ｎ＋１）個の画像データにおいて、画素信号を読み出す画素が互いに異なるものとなるように制御し、このように読み出した時間的に連続する（Ｎ＋１）個の画像データを連続的に合成することで、再生画像を生成すればよい。すなわち、画素信号を構成する信号を出力する画素を、１画素間隔ごとに配置した場合には、時間的に連続する２個の画像データを合成することで、撮像素子３の全ての画素に対応する画素信号に基づく画像と同様の高画質な再生画像を生成することができる。また、画素信号を構成する信号を出力する画素を、３画素間隔ごとに配置した場合には、時間的に連続する４個の画像データを合成することで、撮像素子３の全ての画素に対応する画素信号に基づく画像と同様の高画質な再生画像を生成することができる。
【００４５】
さらに、本実施形態においては、図４〜図６に示すように、ｙ軸方向（行方向）およびｘ軸方向（列方向）に沿って２画素間隔ごとに配置された画素の信号を画素信号として出力させているが、画素信号の出力態様はこれに限定されず、例えば、ｙ軸方向（行方向）に連続する画素列をｘ軸方向（列方向）に沿って２画素間隔ごとに配置させた画素であって、かつ、時間的に連続する３個の画像データにおいて、画素信号を読み出す画素が互いに異なるように配置された画素の信号を画素信号として出力させてもよい。具体的には、画素の画素位置を（ｘＡ，ｙＡ）とした場合に、ｘＡ＝３ｎ（ｎは０以上の整数）を満たす画素位置に配置された画素の信号を画素信号として出力する態様を第１の出力態様とし、ｘＡ＝３ｎ＋１（ｎは０以上の整数）を満たす画素位置に配置された画素の信号を画素信号として出力する態様を第２の出力態様とし、ｘＡ＝３ｎ＋２（ｎは０以上の整数）を満たす画素位置に配置された画素の信号を画素信号として出力する態様を第３の出力態様として、これら第１の出力態様から第３の出力態様により、画素信号を繰り返し出力させてもよい。また同様に、ｘ軸方向（列方向）に連続する画素列をｙ軸方向（行方向）に沿って２画素間隔ごとに配置させた画素であって、かつ、時間的に連続する３個の画像データにおいて、画素信号を読み出す画素が互いに異なるように配置された画素の信号を画素信号として出力させてもよい。具体的には、画素の画素位置を（ｘＡ，ｙＡ）とした場合に、ｙＡ＝３ｎ（ｎは０以上の整数）を満たす画素位置に配置された画素の信号を画素信号として出力する態様を第１の出力態様とし、ｙＡ＝３ｎ＋１（ｎは０以上の整数）を満たす画素位置に配置された画素の信号を画素信号として出力する態様を第２の出力態様とし、ｙＡ＝３ｎ＋２（ｎは０以上の整数）を満たす画素位置に配置された画素の信号を画素信号として出力する態様を第３の出力態様として、これら第１の出力態様から第３の出力態様により、画素信号を繰り返し出力させてもよい。これらの場合においても、時間的に連続する３つの画像データを合成することで、撮像素子３の全ての画素に対応する画素信号に基づく画像と同様の高画質な再生画像を生成することができる。
【００４６】
あるいは、本実施形態においては、画素信号を構成する信号を出力する画素の画素間隔を、フレームレート（時間間隔）に応じて決定する構成としてもよい。具体的には、フレームレートが高く設定されている場合には、画素信号を構成する信号を出力する画素の画素間隔を大きくし、フレームレートが低く設定されている場合には、画素信号を構成する信号を出力する画素の画素間隔を小さくする構成としてもよい。このように、フレームレートに応じて画素信号を出力させる画素の画素間隔を可変にすることで、フレームレートに応じた適切な画素間隔を設定することができ、例えば、高フレームレートでの連続撮影時のようにフレームレートが高い場合には、画素信号を構成する信号を出力する画素の画素間隔が大きくなり、画像データのデータ容量が増大することを有効に抑制することができる。
【００４７】
また、上述した実施形態では、複数の画像データに基づいて連続的に生成した合成画像を、動画の再生画像として再生する例について説明したが、かかる合成画像を静止画像として表示する構成であってもよい。
【００４８】
さらに、本実施形態では、撮像素子３を構成する全ての画素のうち出力態様に応じた一部の画素の信号のみを画像信号として、撮像素子３から出力させる構成としているが、例えば、撮像素子３を構成する全ての画素の信号を撮像素子３から出力させ、出力させた信号のうち、出力態様に応じた一部の信号を画素信号として、ＣＰＵ６が読み取る構成としてもよい。
【００４９】
なお、本実施形態に係る電子カメラ１００は、特に限定されず、例えば、一眼レフデジタルカメラ、デジタルコンパクトカメラ、デジタルビデオカメラ、携帯電話用のカメラなどのその他の光学機器に本発明を適用してもよい。
【符号の説明】
【００５０】
１００…電子カメラ
１…撮像レンズ群
２…光量調節部
３…撮像素子
４…Ａ／Ｄ変換部
５…タイミングジェネレータ（ＴＧ）
６…ＣＰＵ
７…カードメモリ
８…カードインタフェース（カードＩ／Ｆ）
９…内蔵メモリ
１０…操作部
１１…表示回路
１２…表示部
１３…バス
１４…レンズ駆動部
１５…光量調節制御部
【技術分野】
【０００１】
本発明は、撮像装置および画像再生装置に関するものである。
【背景技術】
【０００２】
従来より、動画撮影が可能な撮像装置が知られている。このような撮像装置において、動画撮影時に、データ容量を抑えるため、撮像素子を構成する各画素の画素信号を所定の画素間隔で間欠的に読み出して再生画像を生成する技術が知られている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−３０１４７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術では、所定の画素間隔で間欠的に読み出した画素信号に基づいて、再生画像を生成しているため、再生画像の画質が低くなるという問題があった。
【０００５】
本発明が解決しようとする課題は、連続撮影時においても、画像データのデータ容量を抑えながら、画質の高い再生画像を容易に合成可能な画像データを生成することができる撮像装置を提供することである。
【課題を解決するための手段】
【０００６】
この発明は、以下の解決手段によって上記課題を解決する。なお、発明の実施形態を示す図面に対応する符号を付して説明するが、この符号は発明の理解を容易にするためだけのものであって発明を限定する趣旨ではない。
【０００７】
［１］ 本発明に係る撮像装置は、入射する被写体光に応じた画素信号を出力する複数の画素が二次元状に配置された撮像素子（３）と、前記複数の画素のうち、所定の方向に沿って所定の画素間隔ごとに配置された画素から出力される画素信号を読み出し、画像データを生成する生成手段（６）と、前記撮像素子に、所定の時間間隔で繰り返し前記画素信号を出力させ、かつ、時間的に連続する前後の画像データにおいて、前記画素信号を読み出す画素が互いに異なるものとなるように前記生成手段を制御する制御手段（６）と、を備えることを特徴とする。
【０００８】
［２］ 上記撮像装置に係る発明において、前記複数の画素は行列状に配置されており、前記所定の方向は、行列状に配置された前記画素の行方向または列方向であるように構成することができる。
【０００９】
［３］ 上記撮像装置に係る発明において、前記生成手段（６）で、Ｎ画素間隔ごとに配置された画素から出力される画素信号を読み出す場合、前記制御手段（６）は、時間的に連続する（Ｎ＋１）個の画像データにおいて、前記画素信号を読み出す画素が互いに異なるものとなるように前記生成手段を制御するように構成することができる。
【００１０】
［４］ 上記撮像装置に係る発明において、複数の前記画像データを合成する合成手段（６）をさらに備えるように構成することができる。
【００１１】
［５］ 上記撮像装置に係る発明において、前記生成手段（６）で、Ｎ画素間隔ごとに配置された画素から出力される画素信号を読み出す場合、前記合成手段（６）は、時間的に連続する（Ｎ＋１）個の画像データを合成するように構成することができる。
【００１２】
［６］ 上記撮像装置に係る発明において、前記制御手段（６）は、前記所定の時間間隔に応じて、前記所定の画素間隔を決定するように構成することができる。
【００１３】
［７］ 本発明に係る画像再生装置は、入射する被写体光に応じた画素信号を出力する複数の画素を有する撮像素子の、前記複数の画素のうち、所定の画素間隔ごとに配置された画素から出力される画素信号を読み出して生成された画像データを取得する取得手段と、前記複数の画像データを合成し、再生画像を生成する合成手段と、を備えることを特徴とする。
【００１４】
［８］ 上記画像再生装置に係る発明において、前記合成手段は、時間的に連続して生成された複数の画像データを合成するように構成することができる。
【発明の効果】
【００１５】
本発明によれば、連続撮影時においても、画像データのデータ容量を抑えながら、画質の高い再生画像を容易に合成可能な画像データを生成することができる。
【図面の簡単な説明】
【００１６】
【図１】図１は、本実施形態に係る電子カメラ１００の要部構成を示す図である。
【図２】図２は、図１に示す撮像素子３を構成する画素配列の一例を示す平面図である。
【図３】図３は、撮像素子３を構成する各画素において、画素信号の蓄積および転送のタイミングの例を示す図である。
【図４】図４は、画像データの生成方法を説明するための図である。
【図５】図５は、画像データの生成方法を説明するための図である。
【図６】図６は、画像データの生成方法を説明するための図である。
【図７】図７は、再生画像の生成方法を説明するための図である。
【図８】図８は、再生画像の生成方法を説明するための図である。
【発明を実施するための形態】
【００１７】
本発明の実施形態を図面に基づいて説明する。なお、本実施形態に係る電子カメラは、静止画像を撮像可能であることに加えて、連続撮像による動画撮影も可能となっている。
【００１８】
図１は、本実施形態に係る電子カメラ１００の要部構成を示す図である。図１に示すように、電子カメラ１００は、撮像レンズ群１、光量調節部２、撮像素子３、Ａ／Ｄ変換部４、タイミングジェネレータ（ＴＧ）５、ＣＰＵ６、カードメモリ７、カードインタフェース（カードＩ／Ｆ）８、内蔵メモリ９、操作部１０、表示回路１１、表示部１２、レンズ駆動部１４および光量調節制御部１５から構成される。ＣＰＵ６、カードＩ／Ｆ８、内蔵メモリ９、操作部１０および表示回路１１は、バス１３を介して接続されており、互いに情報の授受が可能となっている。
【００１９】
撮像レンズ群１は、複数の光学レンズにより構成され、被写体像を撮像素子３の受光面に結像する。撮像レンズ群１は、光軸Ｌ１に沿って移動可能に設けられており、レンズ駆動部１４によるフォーカシング動作およびズーミング動作により、その位置が調整される。なお、レンズ駆動部１４は、ＣＰＵ６と接続されており、ＣＰＵ６の指令により撮像レンズ群１の位置調整を制御している。
【００２０】
光量調節部２は、絞り機構およびシャッタ機構を備え、被写体像を撮像素子３で撮像させるために、被写体からの光束（光軸Ｌ１）を、シャッタ速度で決まる時間（露光時間）の間、撮像素子３の受光面へ通す。なお、光量調節部２の絞り動作およびシャッタ動作は、ＣＰＵ６の指令に基づいて、光量調節制御部１５により制御される。
【００２１】
撮像素子３は、例えば、二次元ＣＣＤイメージセンサ、ＭＯＳセンサまたはＣＩＤなどで構成される。ここで、図２は、撮像素子３を構成する画素配列の一例を示す平面図である。図２に示すように、撮像素子３には、複数の光電変換素子から構成される複数の画素が二次元状かつ行列状に配置されている。なお、図２に示す例においては、説明を簡単にするため、縦２４×横３６の画素が行列状に配置された撮像素子３を例示しているが、撮像素子３を構成する画素の数および配列態様は特に限定されるものではない。また、図２に示す撮像素子３において、行方向（縦方向）の座標をｙ＝０〜２３とし、撮像素子３を構成する画素の列方向（横方向）の座標をｘ＝０〜３５とする（後述する図４〜図６、および図８においても同じ）。
【００２２】
撮像素子３は、ＴＧ５が発するタイミングパルスに応じて、撮像レンズ群１により撮像素子３の画素上に結像された被写体像を、アナログの電気信号（画素信号）に変換して出力する。被写体光に応じて撮像素子３から出力されたアナログの画素信号は、Ａ／Ｄ変換部４でデジタルの画素信号に変換され、ＣＰＵ６へ転送される。なお、撮像素子３の動作の詳細については、後述する。
【００２３】
ＣＰＵ６は、撮像素子３から画素信号を読み出して、読み出した画素信号に基づいて画像データを生成する。また、ＣＰＵ６は、複数の画像データを連続的に合成して、再生画像を生成する。さらに、ＣＰＵ６は、画像データの補正、焦点調節状態、および絞り調節状態の検出など、電子カメラ１００全体の制御を司る。なお、画像データの生成方法、再生画像の生成方法についての詳細は、後述する。
【００２４】
内蔵メモリ９には、ＣＰＵ６により生成された画像データが記憶される他、ＣＰＵ６が電子カメラ１００を制御するための制御プログラムなどが記憶されている。内蔵メモリ９に記憶されている画像データや制御プログラムは、バス１３を介して、ＣＰＵ６から適時参照される。なお、内蔵メモリ９として、半導体メモリのうち、任意の不揮発性メモリを適宜選択して用いることができる。
【００２５】
カードＩ／Ｆ８には、カードメモリ７が着脱可能に装着される。内蔵メモリ９に記憶された画像データは、ＪＰＥＧ形式またはＹＵＶ形式などの圧縮形式に変換され、カードメモリ７に記録される。
【００２６】
操作部１０は、撮影者による操作内容に応じた操作信号をＣＰＵ６に出力する。操作部１０には、例えば、電源ボタン、撮影モードを設定するためのモード設定ボタン、フレームレートを設定するためのフレームレート設定ボタン、およびレリーズボタンなどが含まれる。本実施形態においては、モード設定ボタンにより、静止画を撮像する静止画撮影モードと、動画を撮影する動画撮影モードとを切り替えることができる。撮影者により操作部１０のモード設定ボタンを介して設定された撮影モードの情報はＣＰＵ６へ送出され、ＣＰＵ６により撮影モードに応じた電子カメラ１００の動作制御が行われる。なお、これら操作部１０に含まれる各種ボタンは、表示部１２の画面に表示されるタッチパネル形式のボタンであってもよい。
【００２７】
表示部１２は、表示回路１１を介して、撮像素子３が撮像したスルー画などの動画や静止画像、撮影モード設定画面、フレームレート設定画面などを表示部１２が備える表示モニタ上に表示する。なお、表示部１２として、液晶モニタなどを適宜選択して用いることができる。
【００２８】
次いで、撮影者により操作部１０を介して動画撮影モードが選択された場合の撮像動作を、図３に示す例に基づいて説明する。図３は、撮像素子３において、画素信号の蓄積および出力を行う際のタイミングの一例を示す図である。動画撮影モードが選択されている場合、ＣＰＵ６の制御により、ＴＧ５から撮像素子３に対して、所定の周期（フレームレート）でタイミングパルスが発せられる。図３に示す例においては、周期Ｔ１〜Ｔ６でタイミングパルスが発せられており、また、図示していないが、周期Ｔ６以降においても、タイミングパルスが所定の周期で繰り返し発せられる。
【００２９】
そして、撮像素子３は、ＴＧ５からのタイミングパルスに応じて、画素信号の蓄積と、蓄積した画素信号の出力とを繰り返す。例えば、図３に示す例では、撮像素子３は、周期Ｔ１の間、撮像レンズ１によって結像される被写体光を画素信号ＣＡ１に変換して蓄え、蓄積した画素信号ＣＡ１に基づく画素信号ＯＡ１を、周期Ｔ１に続く周期Ｔ２において、Ａ／Ｄ変換部４に出力する。さらに、撮像素子３は、周期Ｔ２の間、被写体光を画素信号ＣＢ１に変換して蓄え、蓄積した画素信号ＣＢ１に基づく画素信号ＯＢ１を、周期Ｔ２に続く周期Ｔ３において、Ａ／Ｄ変換部４に出力する。以下同様に、撮像素子３は、タイミングパルスに応じて、画素信号ＣＣ１の蓄積と画素信号ＣＣ１に基づく画素信号ＯＣ１の出力、画素信号ＣＡ２の蓄積と画素信号ＣＡ２に基づく画素信号ＯＡ２の出力、および画素信号ＣＢ２の蓄積と画素信号ＣＢ２に基づく画素信号ＯＢ２の出力というように、動画撮影モードによる撮影の間、画素信号の蓄積と、蓄積した画素信号の出力とを繰り返し行う。
【００３０】
ここで、図３に示す例では、画素信号ＯＡ１、画素信号ＯＢ１、画素信号ＯＣ１は、以下に説明するように、異なる出力態様により、撮像素子３から出力される。
【００３１】
具体的には、画素信号ＯＡ１は、図４に示す第１の出力態様により出力される。ここで、図４は、撮像素子３から画素信号を出力させる際の第１の出力態様を示す図である。図４において、撮像素子３を構成する画素のうち、画素信号を構成する信号を出力する画素を斜線で表す一方、画素信号を構成する信号を出力しない画素を白塗りで表している。すなわち、第１の出力態様においては、図４において斜線で表す画素から出力された信号が画素信号として出力される。また、図４に示すように、第１の出力態様では、撮像素子３を構成する画素のうち、ｙ軸方向（行方向）およびｘ軸方向（列方向）に沿って２画素間隔ごとに配置された複数の画素の信号が画素信号として出力される。具体的には、第１の出力態様においては、図４に示すように、画素の画素位置を（ｘＡ，ｙＡ）とした場合、ｘＡ＋ｙＡ＝３ｎ（ｎは０以上の整数）を満たす画素位置に配置された複数の画素の信号が画素信号として出力される。
【００３２】
一方、画素信号ＯＢ１は、図５に示す第２の出力態様により出力される。ここで、図５は、撮像素子３から画素信号を出力する際の第２の出力態様を示す図である。図５において、撮像素子３を構成する画素のうち、画素信号を構成する信号を出力させる画素を横線で表す一方、画素信号を構成する信号を出力させない画素を白塗りで表している。すなわち、第２の出力態様においては、図５において横線で表す画素から出力された信号が画素信号として出力される。また、上述した図４に示す第１の出力態様と、図５に示す第２の出力態様とを比べると、撮像素子３を構成する画素のうち、ｙ軸方向（行方向）およびｘ軸方向（列方向）に沿って２画素間隔ごとに配置された複数の画素の信号を画素信号として出力させる点は共通するが、図５に示す第２の出力態様では、図４に示す第１の出力態様とは異なる画素の信号を画素信号として出力させる点で異なる。具体的には、第２の出力態様においては、図５に示すように、画素の画素位置を（ｘＢ，ｙＢ）とした場合、ｘＢ＋ｙＢ＝３ｎ＋１（ｎは０以上の整数）を満たす画素位置に配置された複数の画素の信号を画素信号として出力させる。すなわち、図５に示す第２の出力態様で出力される画素信号は、図４に示す第１の出力態様で出力される画素信号に対し、１画素分だけ画素位置がずれた画素の信号からなる画素信号である。
【００３３】
また、画素信号ＯＣ１は、図６に示す第３の出力態様により出力される。ここで、図６は、撮像素子３から画素信号を出力する際の第３の出力態様を示す図である。図６においては、撮像素子３を構成する画素のうち、画素信号を構成する信号を出力させる画素を黒塗りで表す一方、画素信号を構成する信号を出力させない画素を白塗りで表している。すなわち、第３の出力態様においては、図６において黒塗りで表す画素から出力された信号が画素信号として出力される。また、上述した図４に示す第１の出力態様および図５に示す第２の出力態様と、図６に示す第３の出力態様とを比べると、撮像素子３を構成する画素のうち、ｙ軸方向（行方向）およびｘ軸方向（列方向）に沿って２画素間隔ごとに配置された複数の画素の信号が画素信号として出力される点で共通するが、図６に示す第３の出力態様は、図４に示す第１の出力態様および図５に示す第２の出力態様とは異なる画素の信号を画素信号として出力させる点で異なる。具体的には、第３の出力態様においては、図６に示すように、画素の画素位置を（ｘＣ，ｙＣ）とした場合、ｘＣ＋ｙＣ＝３ｎ＋２（ｎは０以上の整数）を満たす画素位置に配置された複数の画素の信号が画素信号として出力される。すなわち、図６に示す第３の出力態様で出力される画素信号は、図４に示す第１の出力態様で出力される画素信号に対し、２画素分だけ画素位置がずれた画素の信号からなる画素信号であり、かつ、図５に示す第２の出力態様で出力される画素信号に対し、１画素分だけ画素位置がずれた画素の信号からなる画素信号である。
【００３４】
さらに、図３に示す例では、画素信号ＯＣ１に引き続いて、画素信号ＯＡ２が出力される。ここで、画素信号ＯＡ２は、画素信号ＯＡ１と同様に、図４に示す第１の出力態様により出力される。また、画素信号ＯＡ２に引き続いて、画素信号ＯＢ２が出力される。ここで、画素信号ＯＢ２は、画素信号ＯＢ１と同様に、図５に示す第２の出力態様により出力される。このように、本実施形態では、図４に示す第１の出力態様による画素信号の出力と、図５に示す第２の出力態様による画素信号の出力と、図６に示す第３の出力態様による画素信号の出力とが繰り返し行われる。
【００３５】
このように所定の出力態様で撮像素子３により出力された画素信号は、Ａ／Ｄ変換部４に出力された後、ＣＰＵ６に読み込まれる。そして、ＣＰＵ６は、読み込んだ各画素信号に基づいて画像データを生成し、生成した画像データを内蔵メモリ９に記憶する。
【００３６】
次に、本実施形態における再生画像の生成方法について説明する。再生画像の生成は、例えば、操作部１０を介して、動画撮影モードによって撮影された画像の再生指令を受けた場合に、ＣＰＵ６によって行われる。ここで、図７および図８は、再生画像の生成方法を説明するための図である。なお、図７は、図３に示す例において、複数の画素データから合成される合成画像を示しており、周期Ｔ２〜Ｔ６および画素信号ＯＡ１〜ＯＢ２は、図３に示す例と同じである。以下、図３に示す場面における再生画像の生成例について、図７および図８を参照して説明する。
【００３７】
具体的には、ＣＰＵ６は、まず、図７に示すように、周期Ｔ２、Ｔ３、Ｔ４において出力された各画素信号ＯＡ１、ＯＢ１、ＯＣ１に基づく各画像データを合成することで、合成画像ＰＡ１＋Ｂ１＋Ｃ１を生成する。ここで、それぞれ、画素信号ＯＡ１は図４に示す第１の出力態様で出力されたものであり、また、画素信号ＯＢ１は図５に示す第２の出力態様で出力されたものであり、さらに、画素信号ＯＣ１は図６に示す第３の出力態様で出力されたものである。そのため、このようにして生成される合成画像ＰＡ１＋Ｂ１＋Ｃ１は、図８に示すように、撮像素子３の全ての画素から出力された画素信号に基づく画像データに基づく画像となることとなる。すなわち、図８中において、それぞれ、斜線で示す画素については画素信号ＯＡ１に基づく画像データ、横線で示す画素については画素信号ＯＢ１に基づく画像データ、黒塗りで示す画素については画素信号ＯＣ１に基づく画像データで構成されるものとなり、これにより、合成画像ＰＡ１＋Ｂ１＋Ｃ１は、撮像素子３を構成する全ての画素からの画像信号に基づく画像となる。
【００３８】
同様に、ＣＰＵ６は、図７に示すように、周期Ｔ３、Ｔ４、Ｔ５において出力された各画素信号ＯＢ１、ＯＣ１、ＯＡ２に基づく各画像データを合成し、合成画像ＰＢ１＋Ｃ１＋Ａ２を生成し、さらに、周期Ｔ４、Ｔ５、Ｔ６において出力された各画素信号ＯＣ１、ＯＡ２、ＯＢ２に基づく各画像データを合成し、合成画像ＰＣ１＋Ａ２＋Ｂ２を生成し、以下、同様にして、時間的に連続する３個の画像データを逐次合成し、複数の合成画像を生成する。そして、本実施形態では、このようにして得られた各合成画像を、時間的に連続したものとして（たとえば、ＰＡ１＋Ｂ１＋Ｃ１→ＰＢ１＋Ｃ１＋Ａ２→ＰＣ１＋Ａ２＋Ｂ２→・・・）、再生画像とする。
【００３９】
すなわち、本実施形態では、Ｎ画素間隔ごとに配置された複数の画素の信号を画素信号として読み出す場合には、時間的に連続する（Ｎ＋１）個の画像データを連続的に合成することで、再生画像を生成する。例えば、図３に示す例においては、２画素間隔ごとに配置された複数の画素の信号を画素信号として読み出しており、時間的に連続する３個の画像データを連続的に合成することで、再生画像を生成する。すなわち、図３に示す例において、まず、時間的に連続する画素信号ＯＡｍ、ＯＢｍ、ＯＣｍに基づく画像データ（ｍは正の整数、以下同じ）を合成して、合成画像を生成する。そして、同様に、画素信号ＯＢｍ、ＯＣｍ、ＯＡ（ｍ＋１）に基づく合成画像、画素信号ＯＣｍ、ＯＡ（ｍ＋１）、ＯＢ（ｍ＋１）に基づく合成画像、画素信号ＯＡ（ｍ＋１）、ＯＢ（ｍ＋１）、ＯＣ（ｍ＋１）に基づく合成画像というように、時間的に連続する３つの画像データを連続的に合成して、合成画像を連続的に生成することで、再生画像を生成する。
【００４０】
以上のように、本実施形態に係る電子カメラ１００では、動画撮影などの連続撮影を行う際に、撮像素子３に二次元状に配置された画素のうち、所定の画素間隔（例えば、図４〜図６に示す出力態様においては２画素間隔）ごとに配置された複数の画素の信号を画素信号として出力させ、この画素信号に基づいて画像データを生成する。このように、本実施形態で生成される画像データは、所定の画素間隔で配置された複数の画素の信号からなる画素信号に基づくものであるため、本実施形態では、高フレームレートの連続撮影においても、各画像データのデータ容量を抑えることができ、また、画像データを内蔵メモリ９などに保存する際の処理速度の向上も図れる。
【００４１】
さらに、本実施形態では、Ｎ画素間隔ごとに配置された複数の画素の信号を画素信号として読み出す場合に、時間的に連続する（Ｎ＋１）個の画像データにおいて、画素信号を読み出す画素が互いに異なるものとなるように制御し、時間的に連続する（Ｎ＋１）個の画像データを連続的に合成することで、再生画像を生成する。例えば、上述した実施形態では、図４に示す第１の出力態様、図５に示す第２の出力態様、および図６に示す第３の出力態様により出力される画素信号は、いずれも２画素間隔ごとに配置された複数の画素に基づく画素信号であり、さらに、画素信号を読み出す画素が重複することなく互いに異なっている。そのため、図４〜図６に示す各出力態様において、画素信号を構成する信号を出力する画素を重ね合わせると、図８に示すように、第１の出力態様で画素信号を読み出す画素が図８中の斜線で示す画素に対応し、第２の出力態様で画素信号を読み出す画素が図８中の横線で示す画素に対応し、第３の出力態様で画素信号を読み出す画素が図８中の黒塗りで示す画素に対応する。すなわち、図４〜図６に示す出力態様で出力した３つの画像データを重ね合わせることにより、撮像素子３の全ての画素に基づく画像と同様の高画質な合成画像を生成することができる。このように、本実施形態では、従来のような複雑な画像処理を行うことなく、時間的に連続する複数の画像データを単に重ね合わせて合成するだけで、高画質な再生画像を迅速かつ容易に生成することができ、さらに、再生画像を生成する際の処理負担も軽減することができる。
【００４２】
以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【００４３】
例えば、本実施形態においては、電子カメラ１００において、時間的に連続する複数の画像データを生成し、生成した複数の画像データを連続的に合成することで、再生画像を生成しているが、この構成に限定されるものではなく、例えば、電子カメラ１００において、時間的に連続する複数の画像データを生成し、生成した複数の画像データを出力するとともに、電子カメラ１００以外の装置、例えば、画像を再生するための画像再生装置において、電子カメラ１００により出力された複数の画像データを取得し、取得した複数の画像データを連続的に合成することで、画像再生装置において、再生画像を生成する構成としてもよい。この場合、電子カメラ１００により、上述した画像データの生成方法で複数の画像データを生成し、そして、画像再生装置により、上述した再生画像の生成方法と同様にして、電子カメラ１００により生成された複数の画像データを連続的に合成し、再生画像を生成する構成とすることができる。この場合にも、複雑な画像処理を行うことなく、時間的に連続する３個の画像データを単に重ね合わせるだけで、高画質な再生画像を迅速かつ容易に生成することができ、再生画像を合成する際の処理負担を軽減することができる。
【００４４】
また、本実施形態においては、図４〜図６に示すように、２画素間隔ごとに配置された画素の信号を画素信号として出力させているが、画素信号の出力態様はこれに限定されず、例えば、１画素間隔ごとに配置された画素の信号を画素信号として出力させてもよいし、さらに、３画素以上の画素間隔ごとに配置された画素の信号を画素信号として出力させてもよい。この場合においても、Ｎ画素間隔ごとに配置された複数の画素の信号を画素信号として読み出す場合と同様に、時間的に連続する（Ｎ＋１）個の画像データにおいて、画素信号を読み出す画素が互いに異なるものとなるように制御し、このように読み出した時間的に連続する（Ｎ＋１）個の画像データを連続的に合成することで、再生画像を生成すればよい。すなわち、画素信号を構成する信号を出力する画素を、１画素間隔ごとに配置した場合には、時間的に連続する２個の画像データを合成することで、撮像素子３の全ての画素に対応する画素信号に基づく画像と同様の高画質な再生画像を生成することができる。また、画素信号を構成する信号を出力する画素を、３画素間隔ごとに配置した場合には、時間的に連続する４個の画像データを合成することで、撮像素子３の全ての画素に対応する画素信号に基づく画像と同様の高画質な再生画像を生成することができる。
【００４５】
さらに、本実施形態においては、図４〜図６に示すように、ｙ軸方向（行方向）およびｘ軸方向（列方向）に沿って２画素間隔ごとに配置された画素の信号を画素信号として出力させているが、画素信号の出力態様はこれに限定されず、例えば、ｙ軸方向（行方向）に連続する画素列をｘ軸方向（列方向）に沿って２画素間隔ごとに配置させた画素であって、かつ、時間的に連続する３個の画像データにおいて、画素信号を読み出す画素が互いに異なるように配置された画素の信号を画素信号として出力させてもよい。具体的には、画素の画素位置を（ｘＡ，ｙＡ）とした場合に、ｘＡ＝３ｎ（ｎは０以上の整数）を満たす画素位置に配置された画素の信号を画素信号として出力する態様を第１の出力態様とし、ｘＡ＝３ｎ＋１（ｎは０以上の整数）を満たす画素位置に配置された画素の信号を画素信号として出力する態様を第２の出力態様とし、ｘＡ＝３ｎ＋２（ｎは０以上の整数）を満たす画素位置に配置された画素の信号を画素信号として出力する態様を第３の出力態様として、これら第１の出力態様から第３の出力態様により、画素信号を繰り返し出力させてもよい。また同様に、ｘ軸方向（列方向）に連続する画素列をｙ軸方向（行方向）に沿って２画素間隔ごとに配置させた画素であって、かつ、時間的に連続する３個の画像データにおいて、画素信号を読み出す画素が互いに異なるように配置された画素の信号を画素信号として出力させてもよい。具体的には、画素の画素位置を（ｘＡ，ｙＡ）とした場合に、ｙＡ＝３ｎ（ｎは０以上の整数）を満たす画素位置に配置された画素の信号を画素信号として出力する態様を第１の出力態様とし、ｙＡ＝３ｎ＋１（ｎは０以上の整数）を満たす画素位置に配置された画素の信号を画素信号として出力する態様を第２の出力態様とし、ｙＡ＝３ｎ＋２（ｎは０以上の整数）を満たす画素位置に配置された画素の信号を画素信号として出力する態様を第３の出力態様として、これら第１の出力態様から第３の出力態様により、画素信号を繰り返し出力させてもよい。これらの場合においても、時間的に連続する３つの画像データを合成することで、撮像素子３の全ての画素に対応する画素信号に基づく画像と同様の高画質な再生画像を生成することができる。
【００４６】
あるいは、本実施形態においては、画素信号を構成する信号を出力する画素の画素間隔を、フレームレート（時間間隔）に応じて決定する構成としてもよい。具体的には、フレームレートが高く設定されている場合には、画素信号を構成する信号を出力する画素の画素間隔を大きくし、フレームレートが低く設定されている場合には、画素信号を構成する信号を出力する画素の画素間隔を小さくする構成としてもよい。このように、フレームレートに応じて画素信号を出力させる画素の画素間隔を可変にすることで、フレームレートに応じた適切な画素間隔を設定することができ、例えば、高フレームレートでの連続撮影時のようにフレームレートが高い場合には、画素信号を構成する信号を出力する画素の画素間隔が大きくなり、画像データのデータ容量が増大することを有効に抑制することができる。
【００４７】
また、上述した実施形態では、複数の画像データに基づいて連続的に生成した合成画像を、動画の再生画像として再生する例について説明したが、かかる合成画像を静止画像として表示する構成であってもよい。
【００４８】
さらに、本実施形態では、撮像素子３を構成する全ての画素のうち出力態様に応じた一部の画素の信号のみを画像信号として、撮像素子３から出力させる構成としているが、例えば、撮像素子３を構成する全ての画素の信号を撮像素子３から出力させ、出力させた信号のうち、出力態様に応じた一部の信号を画素信号として、ＣＰＵ６が読み取る構成としてもよい。
【００４９】
なお、本実施形態に係る電子カメラ１００は、特に限定されず、例えば、一眼レフデジタルカメラ、デジタルコンパクトカメラ、デジタルビデオカメラ、携帯電話用のカメラなどのその他の光学機器に本発明を適用してもよい。
【符号の説明】
【００５０】
１００…電子カメラ
１…撮像レンズ群
２…光量調節部
３…撮像素子
４…Ａ／Ｄ変換部
５…タイミングジェネレータ（ＴＧ）
６…ＣＰＵ
７…カードメモリ
８…カードインタフェース（カードＩ／Ｆ）
９…内蔵メモリ
１０…操作部
１１…表示回路
１２…表示部
１３…バス
１４…レンズ駆動部
１５…光量調節制御部
【特許請求の範囲】
【請求項１】
入射する被写体光に応じた画素信号を出力する複数の画素が二次元状に配置された撮像素子と、
前記複数の画素のうち、所定の方向に沿って所定の画素間隔ごとに配置された画素から出力される画素信号を読み出し、画像データを生成する生成手段と、
前記撮像素子に、所定の時間間隔で繰り返し前記画素信号を出力させ、かつ、時間的に連続する前後の画像データにおいて、前記画素信号を読み出す画素が互いに異なるものとなるように前記生成手段を制御する制御手段と、を備えることを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記複数の画素は行列状に配置されており、
前記所定の方向は、行列状に配置された前記画素の行方向または列方向であることを特徴とする撮像装置。
【請求項３】
請求項１または２に記載の撮像装置において、
前記生成手段で、Ｎ画素間隔ごとに配置された画素から出力される画素信号を読み出す場合、前記制御手段は、時間的に連続する（Ｎ＋１）個の画像データにおいて、前記画素信号を読み出す画素が互いに異なるものとなるように前記生成手段を制御することを特徴とする撮像装置。
【請求項４】
請求項１〜３のいずれか１項に記載の撮像装置において、
複数の前記画像データを合成する合成手段をさらに備えることを特徴とする撮像装置。
【請求項５】
請求項４に記載の撮像装置において、
前記生成手段で、Ｎ画素間隔ごとに配置された画素から出力される画素信号を読み出す場合、前記合成手段は、時間的に連続する（Ｎ＋１）個の画像データを合成することを特徴とする撮像装置。
【請求項６】
請求項１〜５のいずれか１項に記載の撮像装置において、
前記制御手段は、前記所定の時間間隔に応じて、前記所定の画素間隔を決定することを特徴とする撮像装置。
【請求項７】
入射する被写体光に応じた画素信号を出力する複数の画素を有する撮像素子の、前記複数の画素のうち、所定の画素間隔ごとに配置された画素から出力される画素信号を読み出して生成された画像データを取得する取得手段と、
前記複数の画像データを合成し、再生画像を生成する合成手段と、
を備えることを特徴とする画像再生装置。
【請求項８】
請求項７に記載の画像再生装置において、
前記合成手段は、時間的に連続して生成された複数の画像データを合成することを特徴とする画像再生装置。
【請求項１】
入射する被写体光に応じた画素信号を出力する複数の画素が二次元状に配置された撮像素子と、
前記複数の画素のうち、所定の方向に沿って所定の画素間隔ごとに配置された画素から出力される画素信号を読み出し、画像データを生成する生成手段と、
前記撮像素子に、所定の時間間隔で繰り返し前記画素信号を出力させ、かつ、時間的に連続する前後の画像データにおいて、前記画素信号を読み出す画素が互いに異なるものとなるように前記生成手段を制御する制御手段と、を備えることを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記複数の画素は行列状に配置されており、
前記所定の方向は、行列状に配置された前記画素の行方向または列方向であることを特徴とする撮像装置。
【請求項３】
請求項１または２に記載の撮像装置において、
前記生成手段で、Ｎ画素間隔ごとに配置された画素から出力される画素信号を読み出す場合、前記制御手段は、時間的に連続する（Ｎ＋１）個の画像データにおいて、前記画素信号を読み出す画素が互いに異なるものとなるように前記生成手段を制御することを特徴とする撮像装置。
【請求項４】
請求項１〜３のいずれか１項に記載の撮像装置において、
複数の前記画像データを合成する合成手段をさらに備えることを特徴とする撮像装置。
【請求項５】
請求項４に記載の撮像装置において、
前記生成手段で、Ｎ画素間隔ごとに配置された画素から出力される画素信号を読み出す場合、前記合成手段は、時間的に連続する（Ｎ＋１）個の画像データを合成することを特徴とする撮像装置。
【請求項６】
請求項１〜５のいずれか１項に記載の撮像装置において、
前記制御手段は、前記所定の時間間隔に応じて、前記所定の画素間隔を決定することを特徴とする撮像装置。
【請求項７】
入射する被写体光に応じた画素信号を出力する複数の画素を有する撮像素子の、前記複数の画素のうち、所定の画素間隔ごとに配置された画素から出力される画素信号を読み出して生成された画像データを取得する取得手段と、
前記複数の画像データを合成し、再生画像を生成する合成手段と、
を備えることを特徴とする画像再生装置。
【請求項８】
請求項７に記載の画像再生装置において、
前記合成手段は、時間的に連続して生成された複数の画像データを合成することを特徴とする画像再生装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１３−５１６６（Ｐ２０１３−５１６６Ａ）
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願番号】特願２０１１−１３３３７３（Ｐ２０１１−１３３３７３）
【出願日】平成２３年６月１５日（２０１１．６．１５）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願日】平成２３年６月１５日（２０１１．６．１５）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]