撮像装置、撮像方法および画像処理装置
【課題】高フレームレートの撮像画像データの画質改善を図る。
【解決手段】第１のイメージセンサから画素数の少ない高フレームレートの画像データを得る。第２のイメージセンサから画素数が多く低フレームレートの画像データを得る。高フレームレートの画像データに対して、所定画像領域毎に、低フレームレートの画像データの類似領域の画像データを、類似度に応じて加重加算して、高フレームレートの出力画像データを得る。例えば、高フレームレートの画像データが間引き読み出し等による折り返しが含まれた画像データである場合、偽色、ジャギーなどを低減できる。また、例えば、高フレームレートの画像データが画素数の少ないイメージセンサから出力された画像データである場合、解像度を向上できる。
【解決手段】第１のイメージセンサから画素数の少ない高フレームレートの画像データを得る。第２のイメージセンサから画素数が多く低フレームレートの画像データを得る。高フレームレートの画像データに対して、所定画像領域毎に、低フレームレートの画像データの類似領域の画像データを、類似度に応じて加重加算して、高フレームレートの出力画像データを得る。例えば、高フレームレートの画像データが間引き読み出し等による折り返しが含まれた画像データである場合、偽色、ジャギーなどを低減できる。また、例えば、高フレームレートの画像データが画素数の少ないイメージセンサから出力された画像データである場合、解像度を向上できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、撮像装置、撮像方法および画像処理装置に関する。特に、本技術は、２つのイメージセンサを持つ撮像装置、撮像方法および画像処理装置に関する。
【背景技術】
【０００２】
撮像される画像の解像度を上げるためには、イメージセンサの１画素の大きさを小さくし、単位面積あたりの画素数を多くすることが有用である。しかし、単位時間当たりに読み出せる画素数は、伝送帯域の制限、あるいはイメージセンサのチップ面積、消費電力等により制限される。
【０００３】
そのため、現状、以下の方式が広く用いられている。すなわち、時間制約の比較的ゆるい静止画撮像時（例えば、１５ｆｐｓ）には、時間をかけて全画素の読み出しが行われる。一方、連続した画像の読み出しが必要なモニタリング時や動画撮像時（例えば、６０ｆｐｓ）には、読み出し処理を行う画素数が減じられ、求められるフレームレートでの全画角での読み出しが行われる。
【０００４】
この場合、読み出し画素を縦横方向に一定間隔で間引くこと、あるいは、イメージセンサ上で隣接する複数の同色画素を足し合わせること等で、読み出し処理を行う画素数が減じられる。例えば、特許文献１には、画素を間引いて読み出すための技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−２５２３９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
一枚のイメージセンサでカラー画像を得る場合には、複数の色を一定間隔で交互に配置する（例えばBayer配列）ことで、色毎の空間解像度を上げる工夫がなされている。しかし、ある一定間隔で読み出しを間引く場合はもちろんのことながら、隣接する同色画素を足し合わせる場合においても、足し合わせた後の空間サンプリング周波数を越えるような細かい柄の部分においては、以下のような不都合が生じる。すなわち、高周波成分の低周波側への折り返しが生じ、偽色の発生や斜め線が階段状にギザギザになる現象（ジャギー）が発生し、画像の品質の劣化につながる。
【０００７】
本技術の目的は、高フレームレートの撮像画像データの画質改善を図ることにある。
【課題を解決するための手段】
【０００８】
本技術の概念は、
第１の画素数の第１の画像データを出力する第１のイメージセンサと、
上記第１の画素数より多い第２の画素数の第２の画像データを出力する第２のイメージセンサと、
上記第１のイメージセンサから出力される上記第１の画像データに基づいて第３の画素数の第３の画像データを生成し、上記第２のイメージセンサから出力される上記第２の画像データに基づいて上記第３の画素数の第４の画像データを生成する画素数変換部と、
上記第１の画像データおよび上記第２の画像データに基づいて、上記第１の画像データと上記第２の画像データによる画像の類似度を求める類似度演算部と、
上記画素数変換部で生成された上記第３の画像データに対して、上記第４の画像データの類似領域の画像データを、上記類似度演算部で求められた類似度に応じて加重加算し、第５の画像データを得る加重加算部とを備える
撮像装置にある。
【０００９】
本技術においては、第１のイメージセンサおよび第２のイメージセンサが備えられている。第１のイメージセンサからは第１の画素数の第１の画像データが出力される。第２のイメージセンサからは、第１の画素数より多い第２の画素数の第２の画像データが出力される。この場合、第１のイメージセンサおよび第２のイメージセンサの光学系は、同一あるいは別個のいずれであってもよい。
【００１０】
例えば、第１のイメージセンサおよび第２のイメージセンサとして、画素サイズが同一で同一の画素数を持つイメージセンサが使用される。この場合、例えば、第２のイメージセンサからは、例えば低フレームレートで、全画素の読み出しが行われて、第２の画像データが得られる。また、この場合、例えば、第１のイメージセンサからは、読み出す画素を縦横方向に一定間隔で間引くこと、あるいは、イメージセンサ上で隣接する複数の同色画素を足し合わせること等が行われ、例えば高フレームレートで全画角の読み出しが行われて、第１の画像データが得られる。
【００１１】
また、例えば、第１のイメージセンサおよび第２のイメージセンサとして、画素サイズが異なり、異なる画素数を持つメージセンサが使用される。すなわち、第１のイメージセンサとして、第２のイメージセンサに比べて、画素サイズが大きく、画素数の少ないイメージセンサが使用される。この場合、例えば、第２のイメージセンサからは、例えば低フレームレートで、全画素の読み出しが行われて、第２の画像データが得られる。また、この場合、例えば、第１のイメージセンサからは、例えば高フレームレートで、全画素の読み出しが行われて、第１の画像データが得られる。
【００１２】
画素数変換部により、第１のイメージセンサから出力される第１の画像データに基づいて第３の画素数の第３の画像データが生成される。この場合、第３の画素数が第１の画素数より多い場合、第１の画像データに対して画素数を拡大する拡大処理（拡大スケーリング処理）が施されて、第３の画像データが生成される。また、この画素数変換部により、第２のイメージセンサから出力される第２の画像データに基づいて第３の画素数の第４の画像データが生成される。この場合、第３の画素数が第２の画素数より少ない場合、第２の画像データに対して画素数を縮小する縮小処理（縮小スケーリング処理）が施されて、第４の画像データが生成される。
【００１３】
類似度演算部により、第１の画像データおよび第２の画像データに基づいて、第１の画像データと第２の画像データによる画像の類似度が求められる。この場合、例えば、間引き処理部により、第２の画像データに基づいて第１の画素数の第６の画像データが生成される。そして、第１の画像データおよび第６の画像データに基づいて、第１の画像データの各フレームで、この第１の画像データによる画像の所定領域毎に、第２の画像データによる画像の類似領域との間の類似度が求められてもよい。
【００１４】
この際、例えば、第１の画像データおよび第６の画像データに基づいて画像全体の動きベクトルが求められる。そして、この動きベクトルに基づいて、第１の画像データの所定領域毎の画像データに対応した第６の画像データの類似領域の画像データが求められる。そして、第１の画像データの所定領域毎の画像データと、対応する第６の画像データの類似領域の画像データに基づいて、第１の画像データの各フレームで、この第１の画像データによる画像の所定領域毎に、第２の画像データによる画像の類似領域との間の類似度が求められる。
【００１５】
加重加算部により、第３の画像データに対して、所定画像領域毎に、第４の画像データの類似領域の画像データが、類似度演算部で求められた類似度に応じて加重加算され、第３の画素数の第５の画像データが得られる。この場合、類似度が高い程、加重加算される場合における第４の画像データの類似領域の画像データの割合が大きくされる。
【００１６】
このように本技術においては、例えば、高フレームレートの画像データ（第３の画像データ）に対して、低フレームレートの画像データ（第４の画像データ）が類似度に応じて加重加算されて、高フレームレートの出力画像データ（第５の画像データ）が得られる。そのため、高フレームレートの撮像画像データの画質改善を図ることができる。例えば、高フレームレートの画像データが間引き読み出し等による折り返しが含まれた画像データである場合、偽色、ジャギーなどを低減できる。また、例えば、高フレームレートの画像データが画素数の少ないイメージセンサから出力された画像データである場合、解像度を向上できる。
【００１７】
なお、本技術において、例えば、第１の動作モードおよび第２の動作モードを有し、第１の動作モードでは、第２のイメージセンサから出力される第２の画像データを出力し、第２の動作モードでは、加重加算部で得られる第５の画像データを出力する、ようにされる。この場合、第２の動作モードにおいては、画質改善された高フレームレートの撮像画像データを出力できる。
【発明の効果】
【００１８】
本技術によれば、高フレームレートの撮像画像データの画質改善を図ることができる。
【図面の簡単な説明】
【００１９】
【図１】本技術の実施の形態としてのカメラシステムの構成例を示すブロック図である。
【図２】カメラシステムの類似度演算部における類似度算出例を説明するための図である。
【図３】画像データＳＶ１が６０ｆｐｓで、画像データＳＶ６が７．５ｆｐｓである場合における入力画像と参照画像の更新タイミングを示す図である。
【図４】カメラシステムの類似度演算部における類似度算出例を説明するための図である。
【図５】モニタリングモードにおけるカメラシステムの各ブロックの処理概要を示す図である。
【図６】静止画記録モードにおけるカメラシステムの各ブロックの処理概要を示す図である。
【図７】動画記録モードにおけるカメラシステムの各ブロックの処理概要を示す図である。
【図８】動画記録モードにおけるサブイメージセンサおよびメインイメージセンサの出力画像データの処理の流れを概略的に示す図である。
【図９】画像データＳＶ１が６０ｆｐｓで、画像データＳＶ６が３．７５ｆｐｓである場合における入力画像と参照画像の更新タイミングを示す図である。
【図１０】本技術を適用したカメラシステムの他の構成例を示すブロック図である。
【発明を実施するための形態】
【００２０】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例
【００２１】
＜１．実施の形態＞
［カメラシステムの構成例］
図１は、本技術の実施の形態としてのカメラシステム１００の構成例を示している。このカメラシステム１００は、撮像部１１０と、拡大処理部１２０と、縮小処理部１３０と、類似領域加重加算部１４０と、セレクタ１５０と、間引き処理部１６０と、類似度演算部１７０を有している。
【００２２】
撮像部１１０は、撮像レンズ１１１と、半透過ミラー１１２と、サブイメージセンサ（第１のイメージセンサ）１１３と、メインイメージセンサ（第２のイメージセンサ）１１４とを有している。この構成例は、サブイメージセンサ１１３およびメインイメージセンサ１１４の撮像面に被写体像を結像させるための撮像レンズ１１１が共通であり、双方のイメージセンサの光学系が同一とされている例である。この場合、双方のイメージセンサの受光面積は同じである。
【００２３】
この場合、撮像レンズ１１１で捉えられた被写体からの光の一部は半透過ミラー１１２で反射してサブイメージセンサ１１３に供給され、このサブイメージセンサ１１３の撮像面に被写体像が結像される。また、この場合、撮像レンズ１１１で捉えられた被写体からの光の他部は半透過ミラー１１２を透過してメインイメージセンサ１１４に供給され、このメインイメージセンサ１１４の撮像面に被写体像が結像される。
【００２４】
サブイメージセンサ１１３は、画素数が少なく高フレームレート（第１のフレームレート）、例えば、６０ｆｐｓの画像データ（第１の画像データ）ＳＶ１を出力する。この画像データＳＶ１の画素数を第１の画素数とするとき、この第１の画素数はサブイメージセンサ１１３からの読み出し画素数を意味する。
【００２５】
一方、メインイメージセンサ１１４は、画素数が多く低フレームレート（第２のフレームレート）、例えば、７．５ｆｐｓの画像データ（第２の画像データ）ＳＶ２を出力する。この画像データＳＶ２の画素数を第２の画素数とするとき、この第２の画素数はメインイメージセンサ１１４からの読み出し画素数を意味する。
【００２６】
例えば、サブイメージセンサ１１３およびメインイメージセンサ１１４として、画素サイズが同一で、同一の画素数を持つイメージセンサが使用される。この場合、例えば、メインイメージセンサ１１４からは、低フレームレート（第２のフレームレート）で、全画素の読み出しが行われて、画像データ（第２の画像データ）ＳＶ２が得られる。この画像データＳＶ２は、間引き処理等を行っていないため、偽色、ジャギーの少ない高品位な画像データである。
【００２７】
また、この場合、例えば、サブイメージセンサ１１３からは、画像データ（第１の画像データ）ＳＶ１が得られる。この場合、読み出す画素を縦横方向に一定間隔で間引くこと、あるいは、イメージセンサ上で隣接する複数の同色画素を足し合わせること等が行われて、高フレームレート（第１のフレームレート）で全画角の読み出しが行われる。この画像データＳＶ１は、画像データＳＶ２に比べて偽色、ジャギー等が多い低品位な画像データである。
【００２８】
また、例えば、サブイメージセンサ１１３およびメインイメージセンサ１１４として、画素サイズが異なり、異なる画素数を持つメージセンサが使用される。すなわち、サブイメージセンサ１１３として、メインイメージセンサ１１４に比べて、画素サイズが大きく、画素数の少ないイメージセンサが使用される。
【００２９】
この場合、例えば、メインイメージセンサ１１４からは、低フレームレート（第２のフレームレート）で、全画素の読み出しが行われて、画像データ（第２の画像データ）ＳＶ２が得られる。この画像データＳＶ２は、間引き処理等を行っていないため、偽色、ジャギーの少ない高品位な画像データである。
【００３０】
また、この場合、例えば、サブイメージセンサ１１３からは、高フレームレート（第１のフレームレート）で、全画素の読み出しが行われて、画像データ（第１の画像データ）ＳＶ１が得られる。この画像データＳＶ１は、サブイメージセンサ１１３の画素数が少ないことから低解像度の画像データであって、低品位な画像データである。
【００３１】
拡大処理部１２０は、サブイメージセンサ１１３から出力される画像データＳＶ１に対して、画素数を拡大する拡大処理（拡大スケーリング処理）を施し、出力画素数（第３の画素数）の画像データ（第３の画像データ）ＳＶ３を生成する。すなわち、縮小処理部１３０は、画像データＳＶ２の画素数を、第１の画素数から第３の画素数に変換する。なお、画素数の拡大には等倍も含まれ、等倍の場合には第３の画素数は第１の画素数と等しくなる。この画像データＳＶ３のフレームレートは、画像データＳＶ１のフレームレートと同じく、高フレームレート（第１のフレームレート）である。この拡大処理部１２０は、画素数変換部を構成している。
【００３２】
拡大処理部１２０は、画像データＳＶ１の画素数が動画記録画素数に満たない場合に、必要に応じて、拡大処理を行う。拡大後の画素数（出力画素数）は、少なくとも動画記録画素数以上で、多くとも画像データＳＶ２の画素数以下、つまりメインイメージセンサ１１４からの読み出し画素数以下の範囲で、自由に設定可能とされる。
【００３３】
縮小処理部１３０は、メインイメージセンサ１１４から出力される画像データＳＶ２に対して、画素数を縮小する縮小処理（縮小スケーリング処理）を施し、出力画素数（第３の画素数）の画像データ（第４の画像データ）ＳＶ４を生成する。すなわち、縮小処理部１３０は、画像データＳＶ２の画素数を、上述の拡大処理部１２０で拡大（等倍もあり得る）された画素数（第３の画素数）と等しくなるように、変換する。この画像データＳＶ４のフレームレートは、画像データＳＶ２のフレームレートと同じく、低フレームレート（第２のフレームレート）である。この縮小処理部１３０は、画素数変換部を構成している。
【００３４】
縮小処理部１３０は、間引き処理部１６０と異なり、適切な帯域制限フィルタを掛けた上で縮小処理を行うことで、折り返しの少ない画像データを生成する。メインイメージセンサ１１４の出力側の縮小処理は行わずに、サブイメージセンサ１１３の出力側の拡大処理で画サイズを最大にすることが理想的で、これにより画質の改善効果は高くなる。しかし、実際には、処理時間や回路規模、消費電力等の兼ね合いから、縮小後の画素数は、上述の拡大後の画素数と同様に、少なくとも動画記録画素数以上で、多くともメインイメージセンサ１１４からの読み出し画素数以下の範囲で、自由に設定可能とされる。
【００３５】
間引き処理部１６０は、メインイメージセンサ１１４で得られる画像データＳＶ２に間引き処理を施し、画像データＳＶ１と同じ画素数で、低フレームレート（第２のフレームレート）の画像データ（第６の画像データ）ＳＶ６を生成する。
【００３６】
類似度演算部１７０は、サブイメージセンサ１１３から出力される画像データＳＶ１の各フレームで、この画像データＳＶ１による画像の所定領域毎に、メインイメージセンサ１１４から出力される画像データＳＶ２による画像の類似領域との間の類似度を求める。この類度演算部１７０は、画像データＳＶ１と、画像データＳＶ２、この実施の形態ではこの画像データＳＶ２から間引き処理部１６０で生成される画像データＳＶ６とに基づいて、類似度を求める。
【００３７】
類似度演算部１７０における類似度算出例を説明する。図２（ａ）は、画像データＳＶ１による画像を入力画像として示している。この入力画像は、画像データＳＶ１の毎フレームで更新される。図２（ｂ）は、画像データＳＶ６による画像を参照画像として示している。この参照画像は、画像データＳＶ１の複数フレームに一回更新される。
【００３８】
図３は、画像データＳＶ１が６０ｆｐｓで、画像データＳＶ６が７．５ｆｐｓである場合における入力画像と参照画像の更新タイミングを示している。この場合、参照画像は、８フレームに一回更新される。
【００３９】
類似度演算部１７０は、画像データＳＶ１の各フレームで、この画像データＳＶ１による画像（入力画像）の所定領域毎に、画像データＳＶ２（参照画像）による画像の類似領域との間の類似度を求める。この実施の形態においては、画像データＳＶ２（参照画像）による画像の類似領域として、この画像データＳＶ２が間引き処理されて得られた画像データＳＶ６による画像の類似領域が参照される。類似度演算部１７０は、画像データＳＶ１のあるフレームの類似度を求める際には、画像データＳＶ１の当該フレームと、このフレームに対応する画像データＳＶ６のフレームとを用いて、類似度を求める。
【００４０】
例えば、図３に示す例の場合、画像データＳＶ１の（１）〜（８）のフレームに対応する画像データＳＶ６のフレームは（１）であり、画像データＳＶ１の（９）〜（１６）のフレームに対応する画像データＳＶ６のフレームは（２）である。
【００４１】
まず、類似度演算部１７０は、入力画像に対する参照画像の画像全体の動きベクトルを求める。次に、類似度演算部１７０は、入力画像の所定領域毎に、参照画像の類似領域との間の類似度を求める。ここで、所定領域は、例えば水平ｘ画素、垂直ｙ画素の矩形領域である。入力画像のある所定領域に対応した参照画像の類似領域位置は、当該所定領域を上述の動きベクトルで補正することで得ることができる。なお、図２（ｂ）の破線位置は、入力画像の位置を示している。
【００４２】
類似度演算部１７０は、入力画像のある所定領域における参照画像の類似領域との間の類似度を算出する際に、図２（ｃ），（ｄ）に示すように、所定領域および類似領域の対応する複数の画素のデータを用いて算出する。ここでは、図示のように、ベイヤ配列における９個の緑色画素データg1−g9が用いられる。
【００４３】
まず、類似度演算部１７０は、所定領域および類似領域の双方において、特徴量１、特徴量２および特徴量３を算出する。特徴量１は、ＤＣ成分であり、g1−g9を加算平均して求める。特徴量２は、横方向の高周波成分（縦縞成分）であり、［−１×（g1＋g4＋g7）］＋［＋２×（g2＋g5＋g8）］＋［−１×（g3＋g6＋g9）］のフィルタ演算を行って求める。特徴量３は、縦方向の高周波成分（横縞成分）であり、［−１×（g1＋g2＋g3）］＋［＋２×（g4＋g5＋g6）］＋［−１×（g7＋g8＋g9）］のフィルタ演算を行って求める。
【００４４】
次に、類似度演算部１７０は、所定領域および類似領域の双方で求めた特徴量１、特徴量２、特徴量３のそれぞれについて、差分をとり、例えば、図４に示すように、閾値の値で正規化する。そして、類似度演算部１７０は、この正規化後に１から引くことで、正規化された特徴量とする。
【００４５】
次に、類似度演算部１７０は、正規化された各特徴量を、以下の（１）式のように合成して、類似度を算出する。なお、この（１）式において、α、β、γは、それぞれ、０〜１の範囲の重み係数である。
類似度
＝α×（正規化特徴量１）＋β×（正規化特徴量２）＋γ×（正規化特徴量３）
・・・（１）
【００４６】
図１に戻って、類似領域加重加算部１４０は、拡大処理部１２０で得られた画像データＳＶ３と縮小処理部１３０で得られた画像データＳＶ４との加重加算を行って、出力画素数（第３の画素数）の画像データＳＶ５を得る。この場合、類似領域加重加算部１４０は、画像データＳＶ３に対して、この画像データＳＶ３による画像の所定領域毎に、画像データＳＶ４の類似領域の画像データを、類似度演算部１７０で求められた類似度に応じて加重加算する。この場合、類似度が大きくなるほど、類似領域の画像データの重みが大きくされる。
【００４７】
ここで、画像データＳＶ３による画像の所定領域およびそれに対応した画像データＳＶ４による画像の類似領域は、上述の類似度演算部１７０における画像データＳＶ１による画像の所定領域およびそれに対応した類似領域に相当する。ただし、類似領域加重加算部１４０における各領域は、上述の拡大処理部１２０における画素数の拡大率に応じて、類似度演算部１７０における各領域より拡大したものとなる。
【００４８】
セレクタ１５０は、拡大処理部１２０で得られた画像データＳＶ３または類似領域加重加算部１４０で得られた画像データＳＶ５を選択的に出力する。
【００４９】
［カメラシステムの動作］
図１に示すカメラシステム１００の動作を説明する。このカメラシステム１００は、モニタリングモード、静止画記録モード、動画記録モードの３つの動作モードを有し、ユーザは自由に変更できる。各動作モードについて説明する。
【００５０】
最初に、モニタリングモードについて説明する。このモニタリングモードでは、画質よりも消費電力を優先させるため、メインイメージセンサ１１４を休止状態にしつつ、サブイメージセンサ１１３からの高フレームレートの画像データをモニタ画像データ出力として出力する。
【００５１】
図５は、モニタリングモードにおけるカメラシステム１００の各ブロックの処理概要を示している。このモニタリングモードでは、実線で書かれた部分のみ動作し、点線で描かれた部分は休止状態となる。サブイメージセンサ１１３から高フレームレート（第１のフレームレート）の画像データＳＶ１が出力される。この画像データＳＶ１は、拡大処理部１２０に供給される。拡大処理部１２０では、画像データＳＶ１に対して、必要に応じて画素数を拡大する拡大処理が施されて、出力画素数の画像データＳＶ３が生成される。そして、この画像データＳＶ３が、セレクタ１５０からモニタ画像データ出力として出力される。
【００５２】
次に、静止画記録モードについて説明する。この静止画記録モードでは、フレームレートよりも画質を優先させる。図６は、静止画記録モードおけるカメラシステム１００の各ブロックの処理概要を示している。この静止画記録モードでは、モニタリングモードで動作するブロックに加えて、メインイメージセンサ１１４を動作させる。
【００５３】
サブイメージセンサ１１３から高フレームレート（第１のフレームレート）の画像データＳＶ１が出力される。この画像データＳＶ１は、拡大処理部１２０に供給される。拡大処理部１２０では、画像データＳＶ１に対して、必要に応じて画素数を拡大する拡大処理が施されて、出力画素数の画像データＳＶ３が生成される。そして、この画像データＳＶ３が、セレクタ１５０からモニタ画像データ出力として出力される。また、メインイメージセンサ１１４から低フレームレートの画像データＳＶ２が出力される。この画像データＳＶ２は、静止画画像データ出力として出力される。
【００５４】
次に、動画記録モードについて説明する。この動画記録モードでは、フレームレートと画質のどちらも重要な要因となる。図７は、動画記録モードおけるカメラシステム１００の各ブロックの処理概要を示している。この動画記録モードでは、全てのブロックを動作させる。
【００５５】
サブイメージセンサ１１３から高フレームレート（第１のフレームレート）の画像データＳＶ１が出力される。この画像データＳＶ１は、拡大処理部１２０に供給される。拡大処理部１２０では、画像データＳＶ１に対して、必要に応じて画素数を拡大する拡大処理が施されて、出力画素数の画像データＳＶ３が生成される。この画像データＳＶ３は、類似領域加重加算部１４０に供給される。
【００５６】
また、メインイメージセンサ１１４から低フレームレートの画像データＳＶ２が出力される。この画像データＳＶ２は、縮小処理部１３０に供給される。縮小処理部１３０では、画像データＳＶ２に対して、画素数を縮小する縮小処理が施されて、出力画素数の画像データＳＶ４が生成される。この場合、適切な帯域制限フィルタを掛けた上で縮小処理が行われ、折り返しの少ない画像データＳＶ４が生成される。この画像データＳＶ４は、類似領域加重加算部１４０に供給される。
【００５７】
また、サブイメージセンサ１１３で得られる画像データＳＶ１は、類似度演算部１７０に供給される。また、メインイメージセンサ１１４で得られる画像データＳＶ２は、間引き処理部１６０に供給される。間引き処理部１６０では、画像データＳＶ２に対して間引き処理が施され、画像データＳＶ１と同じ画素数で、低フレームレート（第２のフレームレート）の画像データＳＶ６が生成される。この画像データＳＶ６は、類似度演算部１７０に供給される。
【００５８】
類似度演算部１７０では、画像データＳＶ１および画像データＳＶ６に基づいて、画像データＳＶ１の各フレームで、この画像データＳＶ１による画像（入力画像）の所定領域毎に、画像データＳＶ２（参照画像）による画像の類似領域との間の類似度が求められる。所定領域毎の類似度の情報および所定領域に対する類似領域の位置情報は、類似領域加重加算部１４０に供給される。
【００５９】
類似領域加重加算部１４０では、画像データＳＶ３に対して、この画像データＳＶ３による画像の所定領域毎に、画像データＳＶ４の類似領域の画像データが、類似度に応じて加重加算され、出力画素数の画像データＳＶ５が得られる。なお、この類似領域加重加算部１４０では、画像データＳＶ３による画像の所定領域に対応した、画像データＳＶ４による画像の類似領域は、類似度演算部１７０から類似度の情報と共に供給される類似領域の位置情報に基づいて把握される。この画像データＳＶ５は、セレクタ１５０からモニタおよび動画の画像データ出力として出力される。
【００６０】
図８は、上述の動画記録モードにおける、サブイメージセンサ１１３の出力画像データＳＶ１およびメインイメージセンサ１１４の出力画像データＳＶ２を処理して画像出力ＳＶ５を得るための処理の流れを概略的に示している。
【００６１】
上述したように、図１に示すカメラシステム１００において、動画記録モード時には、類似領域加重加算部１４０で得られる画像データＳＶ５がセレクタ１５０を通じて動画像画像出力として出力される（図７参照）。この画像データＳＶ５は、高フレームレートの画像データ（第３の画像データ）ＳＶ３に対して、所定画像領域毎に、低フレームレートの画像データ（第４の画像データ）ＳＶ４の類似領域の画像データが類似度に応じて加重加算されて得られたものである。
【００６２】
したがって、動画像画像出力として得られる高フレームレートの撮像画像データの画質改善を図ることができる。例えば、サブイメージセンサ１１３で得られる高フレームレートの画像データＳＶ１が間引き読み出し等による折り返しが含まれた画像データである場合、偽色、ジャギーなどを低減できる。また、例えば、サブイメージセンサ１１３で得られる高フレームレートの画像データＳＶ１が画素数の少ないイメージセンサから出力された画像データである場合、解像度を向上できる。
【００６３】
また、図１に示すカメラシステム１００において、モニタリングモード、静止画録画モード、動画記録モードの３つの動作モードを有している。モニタリングモードでは、サブイメージセンサ１１３のみの高フレーム低画質動作が行われる。静止画記録モードでは、メインイメージセンサ１１４とサブイメージセンサ１１３とが互いに独立した動作が行われる。動画記録モードでは、メインイメージセンサ１１４およびサブイメージセンサ１１３の出力の類似度に応じた重ね合わせを行なう画質改善動作が行われる。これらの動作モードを自由に変更できることから、画質とフレームレート、消費電力に応じた動作が可能になる。例えば、モニタリングモード時および静止画記録モード時には、不要なイメージセンサおよびその他の回路部分は休止状態とされる（図５、図６の破線部分参照）。そのため、消費電力の節約を図ることができる。
【００６４】
また、図１に示すカメラシステム１００において、類似度演算部１７０では、画像データＳＶ１の各フレームで、この画像データＳＶ１による画像の所定領域毎に、画像データＳＶ２の画像データによる画像の類似領域との間の類似度が求められる。この場合、イメージセンサ１１３で得られる画像データＳＶ１および間引き処理部１６０で生成された画像データＳＶ６に基づいて、類似度が求められる。この画像データＳＶ６は、画像データＳＶ２に対して間引き処理が施されて得られたものであり、画像データＳＶ１と同じ画素数を持つものとされる。そのため、画像データＳＶ２を直接用いて類似度を求める場合と比べて、所定領域とそれに対応した類似領域のサイズが等しいことから、簡単な処理で、類似度を求めることが可能となる（図２、図４参照）。
【００６５】
＜２．変形例＞
なお、上述実施の形態においては、メインイメージセンサ１１４で得られる画像データＳＶ２のフレームレートが例えば７．５ｆｐｓであるものとして説明した。しかし、メインイメージセンサ１１４側のフレームレートは自由に変えられるものとしてもよい。その場合、低照度時や動きの少ない被写体の場合には、メインイメージセンサ１１４側のフレームレート（およびシャッタースピード）をさらに遅くすることで、より低ノイズの参照画像を元に画質改善を図ることができる。
【００６６】
図９は、図３に対応した図であり、画像データＳＶ１が６０ｆｐｓで、画像データＳＶ６が３．７５ｆｐｓである場合における入力画像と参照画像の更新タイミングを示している。この場合、参照画像は、１６フレームに一回更新される。また、この場合、画像データＳＶ２の（１）〜（１６）のフレームに対応する画像データＳＶ６のフレームは（１）である。
【００６７】
また、上述実施の形態においては、サブイメージセンサ１１３およびメインイメージセンサ１１４の撮像面に被写体像を結像させるための撮像レンズ１１１が共通であり、双方のイメージセンサの光学系が同一とされている例を示した。しかし、本技術は、サブイメージセンサ１１３およびメインイメージセンサ１１４の撮像面に被写体像を結像させるための撮像レンズが独立し、光学系が共通でない場合であっても適用可能である。
【００６８】
図１０は、その場合におけるカメラシステム１００Ａの構成例を示している。この図１０において、図１と対応する部分には同一符号を付し、その詳細説明は省略する。このカメラシステム１００Ａは、サブイメージセンサ１１３およびメインイメージセンサ１１４にそれぞれ対応した撮像レンズ１１１ｓおよび撮像レンズ１１１ｍを有している。撮像レンズ１１１ｓで捉えられた被写体からの光はサブイメージセンサ１１３に供給され、このサブイメージセンサ１１３の撮像面に被写体像が結像される。また、撮像レンズ１１１ｍで捉えられた被写体からの光はメインイメージセンサ１１４に供給され、このメインイメージセンサ１１４の撮像面に被写体像が結像される。このカメラシステム１００Ａにおけるその他は、図１に示すカメラシステム１００と同様に構成されている。
【００６９】
また、本技術は、以下のような構成を取ることもできる。
（１）第１の画素数の第１の画像データを出力する第１のイメージセンサと、
上記第１の画素数より多い第２の画素数の第２の画像データを出力する第２のイメージセンサと、
上記第１のイメージセンサから出力される上記第１の画像データに基づいて第３の画素数の第３の画像データを生成し、上記第２のイメージセンサから出力される上記第２の画像データに基づいて上記第３の画素数の第４の画像データを生成する画素数変換部と、
上記第１の画像データおよび上記第２の画像データに基づいて、上記第１の画像データと上記第２の画像データによる画像の類似度を求める類似度演算部と、
上記画素数変換部で生成された上記第３の画像データに対して、上記第４の画像データの類似領域の画像データを、上記類似度演算部で求められた類似度に応じて加重加算し、第５の画像データを得る加重加算部とを備える
撮像装置。
（２）第１の動作モードおよび第２の動作モードを有し、
上記第１の動作モードでは、上記第２のイメージセンサから出力される上記第２の画像データを出力し、
上記第２の動作モードでは、上記加重加算部で得られる上記第５の画像データを出力する
前記（１）に記載の撮像装置。
（３）上記第２のイメージセンサから出力される上記第２の画像データに基づいて上記第１の画素数の第６の画像データを生成する間引き処理部をさらに備え、
上記類似度演算部は、
上記第１のイメージセンサから出力される上記第１の画像データおよび上記間引き処理部で生成される上記第６の画像データに基づいて、上記第１の画像データの各フレームで、該第１の画像データによる画像の所定領域毎に、上記第２の画像データによる画像の類似度を求める
前記（１）または（２）に記載の撮像装置。
（４）上記類似度演算部は、
上記第１の画像データおよび上記第６の画像データに基づいて画像全体の動きベクトルを求め、
上記求められた動きベクトルに基づいて、上記第１の画像データの所定領域毎の画像データに対応した上記第６の画像データの類似領域の画像データを求め、
上記第１の画像データの所定領域毎の画像データと、対応する上記第６の画像データの類似領域の画像データに基づいて、上記第１の画像データの各フレームで、該第１の画像データによる画像の所定領域毎に、上記第２の画像データによる画像の類似領域との間の類似度を求める
前記（３）に記載の撮像装置。
（５）上記第１のイメージセンサおよび上記第２のイメージセンサは、光学系が同一とされている
前記（１）から（４）のいずれかに記載の撮像装置。
（６）第１のイメージセンサで得られる第１の画素数の第１の画像データに基づいて第３の画素数の第３の画像データを生成し、第２のイメージセンサで得られる上記第１の画素数より多い第２の画素数の第２の画像データに基づいて上記第３の画素数の第４の画像データを生成する画素数変換ステップと、
上記第１の画像データおよび上記第２の画像データに基づいて、上記第１の画像データと上記第２の画像データによる画像の類似度を求める類似度演算ステップと、
上記画素数変換ステップで生成された上記第３の画像データに対して、上記第４の画像データの類似領域の画像データを、上記類似度演算ステップで求められた類似度に応じて加重加算し、第５の画像データを得る加重加算ステップとを備える
撮像方法。
（７）第１の画素数の第１の画像データに基づいて第３の画素数の第３の画像データを生成し、上記第１の画素数より多い第２の画素数の第２の画像データに基づいて上記第３の画素数の第４の画像データを生成する画素数変換部と、
上記第１の画像データおよび上記第２の画像データに基づいて、上記第１の画像データと上記第２の画像データによる画像の類似度を求める類似度演算部と、
上記画素数変換部で生成された上記第３の画像データに対して、上記第４の画像データの類似領域の画像データを、上記類似度演算部で求められた類似度に応じて加重加算し、第５の画像データを得る加重加算部とを備える
画像処理装置。
【符号の説明】
【００７０】
１００，１００Ａ・・・カメラシステム
１１０・・・撮像部
１１１，１１１ｓ，１１１ｍ・・・撮像レンズ
１１２・・・半透過ミラー
１１３・・・サブイメージセンサ（第１のイメージセンサ）
１１４・・・メインイメージセンサ（第２のイメージセンサ）
１２０・・・拡大処理部
１３０・・・縮小処理部
１４０・・・類似領域加重加算部
１５０・・・セレクタ
１６０・・・間引き処理部
１７０・・・類似度演算部
【技術分野】
【０００１】
本技術は、撮像装置、撮像方法および画像処理装置に関する。特に、本技術は、２つのイメージセンサを持つ撮像装置、撮像方法および画像処理装置に関する。
【背景技術】
【０００２】
撮像される画像の解像度を上げるためには、イメージセンサの１画素の大きさを小さくし、単位面積あたりの画素数を多くすることが有用である。しかし、単位時間当たりに読み出せる画素数は、伝送帯域の制限、あるいはイメージセンサのチップ面積、消費電力等により制限される。
【０００３】
そのため、現状、以下の方式が広く用いられている。すなわち、時間制約の比較的ゆるい静止画撮像時（例えば、１５ｆｐｓ）には、時間をかけて全画素の読み出しが行われる。一方、連続した画像の読み出しが必要なモニタリング時や動画撮像時（例えば、６０ｆｐｓ）には、読み出し処理を行う画素数が減じられ、求められるフレームレートでの全画角での読み出しが行われる。
【０００４】
この場合、読み出し画素を縦横方向に一定間隔で間引くこと、あるいは、イメージセンサ上で隣接する複数の同色画素を足し合わせること等で、読み出し処理を行う画素数が減じられる。例えば、特許文献１には、画素を間引いて読み出すための技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−２５２３９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
一枚のイメージセンサでカラー画像を得る場合には、複数の色を一定間隔で交互に配置する（例えばBayer配列）ことで、色毎の空間解像度を上げる工夫がなされている。しかし、ある一定間隔で読み出しを間引く場合はもちろんのことながら、隣接する同色画素を足し合わせる場合においても、足し合わせた後の空間サンプリング周波数を越えるような細かい柄の部分においては、以下のような不都合が生じる。すなわち、高周波成分の低周波側への折り返しが生じ、偽色の発生や斜め線が階段状にギザギザになる現象（ジャギー）が発生し、画像の品質の劣化につながる。
【０００７】
本技術の目的は、高フレームレートの撮像画像データの画質改善を図ることにある。
【課題を解決するための手段】
【０００８】
本技術の概念は、
第１の画素数の第１の画像データを出力する第１のイメージセンサと、
上記第１の画素数より多い第２の画素数の第２の画像データを出力する第２のイメージセンサと、
上記第１のイメージセンサから出力される上記第１の画像データに基づいて第３の画素数の第３の画像データを生成し、上記第２のイメージセンサから出力される上記第２の画像データに基づいて上記第３の画素数の第４の画像データを生成する画素数変換部と、
上記第１の画像データおよび上記第２の画像データに基づいて、上記第１の画像データと上記第２の画像データによる画像の類似度を求める類似度演算部と、
上記画素数変換部で生成された上記第３の画像データに対して、上記第４の画像データの類似領域の画像データを、上記類似度演算部で求められた類似度に応じて加重加算し、第５の画像データを得る加重加算部とを備える
撮像装置にある。
【０００９】
本技術においては、第１のイメージセンサおよび第２のイメージセンサが備えられている。第１のイメージセンサからは第１の画素数の第１の画像データが出力される。第２のイメージセンサからは、第１の画素数より多い第２の画素数の第２の画像データが出力される。この場合、第１のイメージセンサおよび第２のイメージセンサの光学系は、同一あるいは別個のいずれであってもよい。
【００１０】
例えば、第１のイメージセンサおよび第２のイメージセンサとして、画素サイズが同一で同一の画素数を持つイメージセンサが使用される。この場合、例えば、第２のイメージセンサからは、例えば低フレームレートで、全画素の読み出しが行われて、第２の画像データが得られる。また、この場合、例えば、第１のイメージセンサからは、読み出す画素を縦横方向に一定間隔で間引くこと、あるいは、イメージセンサ上で隣接する複数の同色画素を足し合わせること等が行われ、例えば高フレームレートで全画角の読み出しが行われて、第１の画像データが得られる。
【００１１】
また、例えば、第１のイメージセンサおよび第２のイメージセンサとして、画素サイズが異なり、異なる画素数を持つメージセンサが使用される。すなわち、第１のイメージセンサとして、第２のイメージセンサに比べて、画素サイズが大きく、画素数の少ないイメージセンサが使用される。この場合、例えば、第２のイメージセンサからは、例えば低フレームレートで、全画素の読み出しが行われて、第２の画像データが得られる。また、この場合、例えば、第１のイメージセンサからは、例えば高フレームレートで、全画素の読み出しが行われて、第１の画像データが得られる。
【００１２】
画素数変換部により、第１のイメージセンサから出力される第１の画像データに基づいて第３の画素数の第３の画像データが生成される。この場合、第３の画素数が第１の画素数より多い場合、第１の画像データに対して画素数を拡大する拡大処理（拡大スケーリング処理）が施されて、第３の画像データが生成される。また、この画素数変換部により、第２のイメージセンサから出力される第２の画像データに基づいて第３の画素数の第４の画像データが生成される。この場合、第３の画素数が第２の画素数より少ない場合、第２の画像データに対して画素数を縮小する縮小処理（縮小スケーリング処理）が施されて、第４の画像データが生成される。
【００１３】
類似度演算部により、第１の画像データおよび第２の画像データに基づいて、第１の画像データと第２の画像データによる画像の類似度が求められる。この場合、例えば、間引き処理部により、第２の画像データに基づいて第１の画素数の第６の画像データが生成される。そして、第１の画像データおよび第６の画像データに基づいて、第１の画像データの各フレームで、この第１の画像データによる画像の所定領域毎に、第２の画像データによる画像の類似領域との間の類似度が求められてもよい。
【００１４】
この際、例えば、第１の画像データおよび第６の画像データに基づいて画像全体の動きベクトルが求められる。そして、この動きベクトルに基づいて、第１の画像データの所定領域毎の画像データに対応した第６の画像データの類似領域の画像データが求められる。そして、第１の画像データの所定領域毎の画像データと、対応する第６の画像データの類似領域の画像データに基づいて、第１の画像データの各フレームで、この第１の画像データによる画像の所定領域毎に、第２の画像データによる画像の類似領域との間の類似度が求められる。
【００１５】
加重加算部により、第３の画像データに対して、所定画像領域毎に、第４の画像データの類似領域の画像データが、類似度演算部で求められた類似度に応じて加重加算され、第３の画素数の第５の画像データが得られる。この場合、類似度が高い程、加重加算される場合における第４の画像データの類似領域の画像データの割合が大きくされる。
【００１６】
このように本技術においては、例えば、高フレームレートの画像データ（第３の画像データ）に対して、低フレームレートの画像データ（第４の画像データ）が類似度に応じて加重加算されて、高フレームレートの出力画像データ（第５の画像データ）が得られる。そのため、高フレームレートの撮像画像データの画質改善を図ることができる。例えば、高フレームレートの画像データが間引き読み出し等による折り返しが含まれた画像データである場合、偽色、ジャギーなどを低減できる。また、例えば、高フレームレートの画像データが画素数の少ないイメージセンサから出力された画像データである場合、解像度を向上できる。
【００１７】
なお、本技術において、例えば、第１の動作モードおよび第２の動作モードを有し、第１の動作モードでは、第２のイメージセンサから出力される第２の画像データを出力し、第２の動作モードでは、加重加算部で得られる第５の画像データを出力する、ようにされる。この場合、第２の動作モードにおいては、画質改善された高フレームレートの撮像画像データを出力できる。
【発明の効果】
【００１８】
本技術によれば、高フレームレートの撮像画像データの画質改善を図ることができる。
【図面の簡単な説明】
【００１９】
【図１】本技術の実施の形態としてのカメラシステムの構成例を示すブロック図である。
【図２】カメラシステムの類似度演算部における類似度算出例を説明するための図である。
【図３】画像データＳＶ１が６０ｆｐｓで、画像データＳＶ６が７．５ｆｐｓである場合における入力画像と参照画像の更新タイミングを示す図である。
【図４】カメラシステムの類似度演算部における類似度算出例を説明するための図である。
【図５】モニタリングモードにおけるカメラシステムの各ブロックの処理概要を示す図である。
【図６】静止画記録モードにおけるカメラシステムの各ブロックの処理概要を示す図である。
【図７】動画記録モードにおけるカメラシステムの各ブロックの処理概要を示す図である。
【図８】動画記録モードにおけるサブイメージセンサおよびメインイメージセンサの出力画像データの処理の流れを概略的に示す図である。
【図９】画像データＳＶ１が６０ｆｐｓで、画像データＳＶ６が３．７５ｆｐｓである場合における入力画像と参照画像の更新タイミングを示す図である。
【図１０】本技術を適用したカメラシステムの他の構成例を示すブロック図である。
【発明を実施するための形態】
【００２０】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例
【００２１】
＜１．実施の形態＞
［カメラシステムの構成例］
図１は、本技術の実施の形態としてのカメラシステム１００の構成例を示している。このカメラシステム１００は、撮像部１１０と、拡大処理部１２０と、縮小処理部１３０と、類似領域加重加算部１４０と、セレクタ１５０と、間引き処理部１６０と、類似度演算部１７０を有している。
【００２２】
撮像部１１０は、撮像レンズ１１１と、半透過ミラー１１２と、サブイメージセンサ（第１のイメージセンサ）１１３と、メインイメージセンサ（第２のイメージセンサ）１１４とを有している。この構成例は、サブイメージセンサ１１３およびメインイメージセンサ１１４の撮像面に被写体像を結像させるための撮像レンズ１１１が共通であり、双方のイメージセンサの光学系が同一とされている例である。この場合、双方のイメージセンサの受光面積は同じである。
【００２３】
この場合、撮像レンズ１１１で捉えられた被写体からの光の一部は半透過ミラー１１２で反射してサブイメージセンサ１１３に供給され、このサブイメージセンサ１１３の撮像面に被写体像が結像される。また、この場合、撮像レンズ１１１で捉えられた被写体からの光の他部は半透過ミラー１１２を透過してメインイメージセンサ１１４に供給され、このメインイメージセンサ１１４の撮像面に被写体像が結像される。
【００２４】
サブイメージセンサ１１３は、画素数が少なく高フレームレート（第１のフレームレート）、例えば、６０ｆｐｓの画像データ（第１の画像データ）ＳＶ１を出力する。この画像データＳＶ１の画素数を第１の画素数とするとき、この第１の画素数はサブイメージセンサ１１３からの読み出し画素数を意味する。
【００２５】
一方、メインイメージセンサ１１４は、画素数が多く低フレームレート（第２のフレームレート）、例えば、７．５ｆｐｓの画像データ（第２の画像データ）ＳＶ２を出力する。この画像データＳＶ２の画素数を第２の画素数とするとき、この第２の画素数はメインイメージセンサ１１４からの読み出し画素数を意味する。
【００２６】
例えば、サブイメージセンサ１１３およびメインイメージセンサ１１４として、画素サイズが同一で、同一の画素数を持つイメージセンサが使用される。この場合、例えば、メインイメージセンサ１１４からは、低フレームレート（第２のフレームレート）で、全画素の読み出しが行われて、画像データ（第２の画像データ）ＳＶ２が得られる。この画像データＳＶ２は、間引き処理等を行っていないため、偽色、ジャギーの少ない高品位な画像データである。
【００２７】
また、この場合、例えば、サブイメージセンサ１１３からは、画像データ（第１の画像データ）ＳＶ１が得られる。この場合、読み出す画素を縦横方向に一定間隔で間引くこと、あるいは、イメージセンサ上で隣接する複数の同色画素を足し合わせること等が行われて、高フレームレート（第１のフレームレート）で全画角の読み出しが行われる。この画像データＳＶ１は、画像データＳＶ２に比べて偽色、ジャギー等が多い低品位な画像データである。
【００２８】
また、例えば、サブイメージセンサ１１３およびメインイメージセンサ１１４として、画素サイズが異なり、異なる画素数を持つメージセンサが使用される。すなわち、サブイメージセンサ１１３として、メインイメージセンサ１１４に比べて、画素サイズが大きく、画素数の少ないイメージセンサが使用される。
【００２９】
この場合、例えば、メインイメージセンサ１１４からは、低フレームレート（第２のフレームレート）で、全画素の読み出しが行われて、画像データ（第２の画像データ）ＳＶ２が得られる。この画像データＳＶ２は、間引き処理等を行っていないため、偽色、ジャギーの少ない高品位な画像データである。
【００３０】
また、この場合、例えば、サブイメージセンサ１１３からは、高フレームレート（第１のフレームレート）で、全画素の読み出しが行われて、画像データ（第１の画像データ）ＳＶ１が得られる。この画像データＳＶ１は、サブイメージセンサ１１３の画素数が少ないことから低解像度の画像データであって、低品位な画像データである。
【００３１】
拡大処理部１２０は、サブイメージセンサ１１３から出力される画像データＳＶ１に対して、画素数を拡大する拡大処理（拡大スケーリング処理）を施し、出力画素数（第３の画素数）の画像データ（第３の画像データ）ＳＶ３を生成する。すなわち、縮小処理部１３０は、画像データＳＶ２の画素数を、第１の画素数から第３の画素数に変換する。なお、画素数の拡大には等倍も含まれ、等倍の場合には第３の画素数は第１の画素数と等しくなる。この画像データＳＶ３のフレームレートは、画像データＳＶ１のフレームレートと同じく、高フレームレート（第１のフレームレート）である。この拡大処理部１２０は、画素数変換部を構成している。
【００３２】
拡大処理部１２０は、画像データＳＶ１の画素数が動画記録画素数に満たない場合に、必要に応じて、拡大処理を行う。拡大後の画素数（出力画素数）は、少なくとも動画記録画素数以上で、多くとも画像データＳＶ２の画素数以下、つまりメインイメージセンサ１１４からの読み出し画素数以下の範囲で、自由に設定可能とされる。
【００３３】
縮小処理部１３０は、メインイメージセンサ１１４から出力される画像データＳＶ２に対して、画素数を縮小する縮小処理（縮小スケーリング処理）を施し、出力画素数（第３の画素数）の画像データ（第４の画像データ）ＳＶ４を生成する。すなわち、縮小処理部１３０は、画像データＳＶ２の画素数を、上述の拡大処理部１２０で拡大（等倍もあり得る）された画素数（第３の画素数）と等しくなるように、変換する。この画像データＳＶ４のフレームレートは、画像データＳＶ２のフレームレートと同じく、低フレームレート（第２のフレームレート）である。この縮小処理部１３０は、画素数変換部を構成している。
【００３４】
縮小処理部１３０は、間引き処理部１６０と異なり、適切な帯域制限フィルタを掛けた上で縮小処理を行うことで、折り返しの少ない画像データを生成する。メインイメージセンサ１１４の出力側の縮小処理は行わずに、サブイメージセンサ１１３の出力側の拡大処理で画サイズを最大にすることが理想的で、これにより画質の改善効果は高くなる。しかし、実際には、処理時間や回路規模、消費電力等の兼ね合いから、縮小後の画素数は、上述の拡大後の画素数と同様に、少なくとも動画記録画素数以上で、多くともメインイメージセンサ１１４からの読み出し画素数以下の範囲で、自由に設定可能とされる。
【００３５】
間引き処理部１６０は、メインイメージセンサ１１４で得られる画像データＳＶ２に間引き処理を施し、画像データＳＶ１と同じ画素数で、低フレームレート（第２のフレームレート）の画像データ（第６の画像データ）ＳＶ６を生成する。
【００３６】
類似度演算部１７０は、サブイメージセンサ１１３から出力される画像データＳＶ１の各フレームで、この画像データＳＶ１による画像の所定領域毎に、メインイメージセンサ１１４から出力される画像データＳＶ２による画像の類似領域との間の類似度を求める。この類度演算部１７０は、画像データＳＶ１と、画像データＳＶ２、この実施の形態ではこの画像データＳＶ２から間引き処理部１６０で生成される画像データＳＶ６とに基づいて、類似度を求める。
【００３７】
類似度演算部１７０における類似度算出例を説明する。図２（ａ）は、画像データＳＶ１による画像を入力画像として示している。この入力画像は、画像データＳＶ１の毎フレームで更新される。図２（ｂ）は、画像データＳＶ６による画像を参照画像として示している。この参照画像は、画像データＳＶ１の複数フレームに一回更新される。
【００３８】
図３は、画像データＳＶ１が６０ｆｐｓで、画像データＳＶ６が７．５ｆｐｓである場合における入力画像と参照画像の更新タイミングを示している。この場合、参照画像は、８フレームに一回更新される。
【００３９】
類似度演算部１７０は、画像データＳＶ１の各フレームで、この画像データＳＶ１による画像（入力画像）の所定領域毎に、画像データＳＶ２（参照画像）による画像の類似領域との間の類似度を求める。この実施の形態においては、画像データＳＶ２（参照画像）による画像の類似領域として、この画像データＳＶ２が間引き処理されて得られた画像データＳＶ６による画像の類似領域が参照される。類似度演算部１７０は、画像データＳＶ１のあるフレームの類似度を求める際には、画像データＳＶ１の当該フレームと、このフレームに対応する画像データＳＶ６のフレームとを用いて、類似度を求める。
【００４０】
例えば、図３に示す例の場合、画像データＳＶ１の（１）〜（８）のフレームに対応する画像データＳＶ６のフレームは（１）であり、画像データＳＶ１の（９）〜（１６）のフレームに対応する画像データＳＶ６のフレームは（２）である。
【００４１】
まず、類似度演算部１７０は、入力画像に対する参照画像の画像全体の動きベクトルを求める。次に、類似度演算部１７０は、入力画像の所定領域毎に、参照画像の類似領域との間の類似度を求める。ここで、所定領域は、例えば水平ｘ画素、垂直ｙ画素の矩形領域である。入力画像のある所定領域に対応した参照画像の類似領域位置は、当該所定領域を上述の動きベクトルで補正することで得ることができる。なお、図２（ｂ）の破線位置は、入力画像の位置を示している。
【００４２】
類似度演算部１７０は、入力画像のある所定領域における参照画像の類似領域との間の類似度を算出する際に、図２（ｃ），（ｄ）に示すように、所定領域および類似領域の対応する複数の画素のデータを用いて算出する。ここでは、図示のように、ベイヤ配列における９個の緑色画素データg1−g9が用いられる。
【００４３】
まず、類似度演算部１７０は、所定領域および類似領域の双方において、特徴量１、特徴量２および特徴量３を算出する。特徴量１は、ＤＣ成分であり、g1−g9を加算平均して求める。特徴量２は、横方向の高周波成分（縦縞成分）であり、［−１×（g1＋g4＋g7）］＋［＋２×（g2＋g5＋g8）］＋［−１×（g3＋g6＋g9）］のフィルタ演算を行って求める。特徴量３は、縦方向の高周波成分（横縞成分）であり、［−１×（g1＋g2＋g3）］＋［＋２×（g4＋g5＋g6）］＋［−１×（g7＋g8＋g9）］のフィルタ演算を行って求める。
【００４４】
次に、類似度演算部１７０は、所定領域および類似領域の双方で求めた特徴量１、特徴量２、特徴量３のそれぞれについて、差分をとり、例えば、図４に示すように、閾値の値で正規化する。そして、類似度演算部１７０は、この正規化後に１から引くことで、正規化された特徴量とする。
【００４５】
次に、類似度演算部１７０は、正規化された各特徴量を、以下の（１）式のように合成して、類似度を算出する。なお、この（１）式において、α、β、γは、それぞれ、０〜１の範囲の重み係数である。
類似度
＝α×（正規化特徴量１）＋β×（正規化特徴量２）＋γ×（正規化特徴量３）
・・・（１）
【００４６】
図１に戻って、類似領域加重加算部１４０は、拡大処理部１２０で得られた画像データＳＶ３と縮小処理部１３０で得られた画像データＳＶ４との加重加算を行って、出力画素数（第３の画素数）の画像データＳＶ５を得る。この場合、類似領域加重加算部１４０は、画像データＳＶ３に対して、この画像データＳＶ３による画像の所定領域毎に、画像データＳＶ４の類似領域の画像データを、類似度演算部１７０で求められた類似度に応じて加重加算する。この場合、類似度が大きくなるほど、類似領域の画像データの重みが大きくされる。
【００４７】
ここで、画像データＳＶ３による画像の所定領域およびそれに対応した画像データＳＶ４による画像の類似領域は、上述の類似度演算部１７０における画像データＳＶ１による画像の所定領域およびそれに対応した類似領域に相当する。ただし、類似領域加重加算部１４０における各領域は、上述の拡大処理部１２０における画素数の拡大率に応じて、類似度演算部１７０における各領域より拡大したものとなる。
【００４８】
セレクタ１５０は、拡大処理部１２０で得られた画像データＳＶ３または類似領域加重加算部１４０で得られた画像データＳＶ５を選択的に出力する。
【００４９】
［カメラシステムの動作］
図１に示すカメラシステム１００の動作を説明する。このカメラシステム１００は、モニタリングモード、静止画記録モード、動画記録モードの３つの動作モードを有し、ユーザは自由に変更できる。各動作モードについて説明する。
【００５０】
最初に、モニタリングモードについて説明する。このモニタリングモードでは、画質よりも消費電力を優先させるため、メインイメージセンサ１１４を休止状態にしつつ、サブイメージセンサ１１３からの高フレームレートの画像データをモニタ画像データ出力として出力する。
【００５１】
図５は、モニタリングモードにおけるカメラシステム１００の各ブロックの処理概要を示している。このモニタリングモードでは、実線で書かれた部分のみ動作し、点線で描かれた部分は休止状態となる。サブイメージセンサ１１３から高フレームレート（第１のフレームレート）の画像データＳＶ１が出力される。この画像データＳＶ１は、拡大処理部１２０に供給される。拡大処理部１２０では、画像データＳＶ１に対して、必要に応じて画素数を拡大する拡大処理が施されて、出力画素数の画像データＳＶ３が生成される。そして、この画像データＳＶ３が、セレクタ１５０からモニタ画像データ出力として出力される。
【００５２】
次に、静止画記録モードについて説明する。この静止画記録モードでは、フレームレートよりも画質を優先させる。図６は、静止画記録モードおけるカメラシステム１００の各ブロックの処理概要を示している。この静止画記録モードでは、モニタリングモードで動作するブロックに加えて、メインイメージセンサ１１４を動作させる。
【００５３】
サブイメージセンサ１１３から高フレームレート（第１のフレームレート）の画像データＳＶ１が出力される。この画像データＳＶ１は、拡大処理部１２０に供給される。拡大処理部１２０では、画像データＳＶ１に対して、必要に応じて画素数を拡大する拡大処理が施されて、出力画素数の画像データＳＶ３が生成される。そして、この画像データＳＶ３が、セレクタ１５０からモニタ画像データ出力として出力される。また、メインイメージセンサ１１４から低フレームレートの画像データＳＶ２が出力される。この画像データＳＶ２は、静止画画像データ出力として出力される。
【００５４】
次に、動画記録モードについて説明する。この動画記録モードでは、フレームレートと画質のどちらも重要な要因となる。図７は、動画記録モードおけるカメラシステム１００の各ブロックの処理概要を示している。この動画記録モードでは、全てのブロックを動作させる。
【００５５】
サブイメージセンサ１１３から高フレームレート（第１のフレームレート）の画像データＳＶ１が出力される。この画像データＳＶ１は、拡大処理部１２０に供給される。拡大処理部１２０では、画像データＳＶ１に対して、必要に応じて画素数を拡大する拡大処理が施されて、出力画素数の画像データＳＶ３が生成される。この画像データＳＶ３は、類似領域加重加算部１４０に供給される。
【００５６】
また、メインイメージセンサ１１４から低フレームレートの画像データＳＶ２が出力される。この画像データＳＶ２は、縮小処理部１３０に供給される。縮小処理部１３０では、画像データＳＶ２に対して、画素数を縮小する縮小処理が施されて、出力画素数の画像データＳＶ４が生成される。この場合、適切な帯域制限フィルタを掛けた上で縮小処理が行われ、折り返しの少ない画像データＳＶ４が生成される。この画像データＳＶ４は、類似領域加重加算部１４０に供給される。
【００５７】
また、サブイメージセンサ１１３で得られる画像データＳＶ１は、類似度演算部１７０に供給される。また、メインイメージセンサ１１４で得られる画像データＳＶ２は、間引き処理部１６０に供給される。間引き処理部１６０では、画像データＳＶ２に対して間引き処理が施され、画像データＳＶ１と同じ画素数で、低フレームレート（第２のフレームレート）の画像データＳＶ６が生成される。この画像データＳＶ６は、類似度演算部１７０に供給される。
【００５８】
類似度演算部１７０では、画像データＳＶ１および画像データＳＶ６に基づいて、画像データＳＶ１の各フレームで、この画像データＳＶ１による画像（入力画像）の所定領域毎に、画像データＳＶ２（参照画像）による画像の類似領域との間の類似度が求められる。所定領域毎の類似度の情報および所定領域に対する類似領域の位置情報は、類似領域加重加算部１４０に供給される。
【００５９】
類似領域加重加算部１４０では、画像データＳＶ３に対して、この画像データＳＶ３による画像の所定領域毎に、画像データＳＶ４の類似領域の画像データが、類似度に応じて加重加算され、出力画素数の画像データＳＶ５が得られる。なお、この類似領域加重加算部１４０では、画像データＳＶ３による画像の所定領域に対応した、画像データＳＶ４による画像の類似領域は、類似度演算部１７０から類似度の情報と共に供給される類似領域の位置情報に基づいて把握される。この画像データＳＶ５は、セレクタ１５０からモニタおよび動画の画像データ出力として出力される。
【００６０】
図８は、上述の動画記録モードにおける、サブイメージセンサ１１３の出力画像データＳＶ１およびメインイメージセンサ１１４の出力画像データＳＶ２を処理して画像出力ＳＶ５を得るための処理の流れを概略的に示している。
【００６１】
上述したように、図１に示すカメラシステム１００において、動画記録モード時には、類似領域加重加算部１４０で得られる画像データＳＶ５がセレクタ１５０を通じて動画像画像出力として出力される（図７参照）。この画像データＳＶ５は、高フレームレートの画像データ（第３の画像データ）ＳＶ３に対して、所定画像領域毎に、低フレームレートの画像データ（第４の画像データ）ＳＶ４の類似領域の画像データが類似度に応じて加重加算されて得られたものである。
【００６２】
したがって、動画像画像出力として得られる高フレームレートの撮像画像データの画質改善を図ることができる。例えば、サブイメージセンサ１１３で得られる高フレームレートの画像データＳＶ１が間引き読み出し等による折り返しが含まれた画像データである場合、偽色、ジャギーなどを低減できる。また、例えば、サブイメージセンサ１１３で得られる高フレームレートの画像データＳＶ１が画素数の少ないイメージセンサから出力された画像データである場合、解像度を向上できる。
【００６３】
また、図１に示すカメラシステム１００において、モニタリングモード、静止画録画モード、動画記録モードの３つの動作モードを有している。モニタリングモードでは、サブイメージセンサ１１３のみの高フレーム低画質動作が行われる。静止画記録モードでは、メインイメージセンサ１１４とサブイメージセンサ１１３とが互いに独立した動作が行われる。動画記録モードでは、メインイメージセンサ１１４およびサブイメージセンサ１１３の出力の類似度に応じた重ね合わせを行なう画質改善動作が行われる。これらの動作モードを自由に変更できることから、画質とフレームレート、消費電力に応じた動作が可能になる。例えば、モニタリングモード時および静止画記録モード時には、不要なイメージセンサおよびその他の回路部分は休止状態とされる（図５、図６の破線部分参照）。そのため、消費電力の節約を図ることができる。
【００６４】
また、図１に示すカメラシステム１００において、類似度演算部１７０では、画像データＳＶ１の各フレームで、この画像データＳＶ１による画像の所定領域毎に、画像データＳＶ２の画像データによる画像の類似領域との間の類似度が求められる。この場合、イメージセンサ１１３で得られる画像データＳＶ１および間引き処理部１６０で生成された画像データＳＶ６に基づいて、類似度が求められる。この画像データＳＶ６は、画像データＳＶ２に対して間引き処理が施されて得られたものであり、画像データＳＶ１と同じ画素数を持つものとされる。そのため、画像データＳＶ２を直接用いて類似度を求める場合と比べて、所定領域とそれに対応した類似領域のサイズが等しいことから、簡単な処理で、類似度を求めることが可能となる（図２、図４参照）。
【００６５】
＜２．変形例＞
なお、上述実施の形態においては、メインイメージセンサ１１４で得られる画像データＳＶ２のフレームレートが例えば７．５ｆｐｓであるものとして説明した。しかし、メインイメージセンサ１１４側のフレームレートは自由に変えられるものとしてもよい。その場合、低照度時や動きの少ない被写体の場合には、メインイメージセンサ１１４側のフレームレート（およびシャッタースピード）をさらに遅くすることで、より低ノイズの参照画像を元に画質改善を図ることができる。
【００６６】
図９は、図３に対応した図であり、画像データＳＶ１が６０ｆｐｓで、画像データＳＶ６が３．７５ｆｐｓである場合における入力画像と参照画像の更新タイミングを示している。この場合、参照画像は、１６フレームに一回更新される。また、この場合、画像データＳＶ２の（１）〜（１６）のフレームに対応する画像データＳＶ６のフレームは（１）である。
【００６７】
また、上述実施の形態においては、サブイメージセンサ１１３およびメインイメージセンサ１１４の撮像面に被写体像を結像させるための撮像レンズ１１１が共通であり、双方のイメージセンサの光学系が同一とされている例を示した。しかし、本技術は、サブイメージセンサ１１３およびメインイメージセンサ１１４の撮像面に被写体像を結像させるための撮像レンズが独立し、光学系が共通でない場合であっても適用可能である。
【００６８】
図１０は、その場合におけるカメラシステム１００Ａの構成例を示している。この図１０において、図１と対応する部分には同一符号を付し、その詳細説明は省略する。このカメラシステム１００Ａは、サブイメージセンサ１１３およびメインイメージセンサ１１４にそれぞれ対応した撮像レンズ１１１ｓおよび撮像レンズ１１１ｍを有している。撮像レンズ１１１ｓで捉えられた被写体からの光はサブイメージセンサ１１３に供給され、このサブイメージセンサ１１３の撮像面に被写体像が結像される。また、撮像レンズ１１１ｍで捉えられた被写体からの光はメインイメージセンサ１１４に供給され、このメインイメージセンサ１１４の撮像面に被写体像が結像される。このカメラシステム１００Ａにおけるその他は、図１に示すカメラシステム１００と同様に構成されている。
【００６９】
また、本技術は、以下のような構成を取ることもできる。
（１）第１の画素数の第１の画像データを出力する第１のイメージセンサと、
上記第１の画素数より多い第２の画素数の第２の画像データを出力する第２のイメージセンサと、
上記第１のイメージセンサから出力される上記第１の画像データに基づいて第３の画素数の第３の画像データを生成し、上記第２のイメージセンサから出力される上記第２の画像データに基づいて上記第３の画素数の第４の画像データを生成する画素数変換部と、
上記第１の画像データおよび上記第２の画像データに基づいて、上記第１の画像データと上記第２の画像データによる画像の類似度を求める類似度演算部と、
上記画素数変換部で生成された上記第３の画像データに対して、上記第４の画像データの類似領域の画像データを、上記類似度演算部で求められた類似度に応じて加重加算し、第５の画像データを得る加重加算部とを備える
撮像装置。
（２）第１の動作モードおよび第２の動作モードを有し、
上記第１の動作モードでは、上記第２のイメージセンサから出力される上記第２の画像データを出力し、
上記第２の動作モードでは、上記加重加算部で得られる上記第５の画像データを出力する
前記（１）に記載の撮像装置。
（３）上記第２のイメージセンサから出力される上記第２の画像データに基づいて上記第１の画素数の第６の画像データを生成する間引き処理部をさらに備え、
上記類似度演算部は、
上記第１のイメージセンサから出力される上記第１の画像データおよび上記間引き処理部で生成される上記第６の画像データに基づいて、上記第１の画像データの各フレームで、該第１の画像データによる画像の所定領域毎に、上記第２の画像データによる画像の類似度を求める
前記（１）または（２）に記載の撮像装置。
（４）上記類似度演算部は、
上記第１の画像データおよび上記第６の画像データに基づいて画像全体の動きベクトルを求め、
上記求められた動きベクトルに基づいて、上記第１の画像データの所定領域毎の画像データに対応した上記第６の画像データの類似領域の画像データを求め、
上記第１の画像データの所定領域毎の画像データと、対応する上記第６の画像データの類似領域の画像データに基づいて、上記第１の画像データの各フレームで、該第１の画像データによる画像の所定領域毎に、上記第２の画像データによる画像の類似領域との間の類似度を求める
前記（３）に記載の撮像装置。
（５）上記第１のイメージセンサおよび上記第２のイメージセンサは、光学系が同一とされている
前記（１）から（４）のいずれかに記載の撮像装置。
（６）第１のイメージセンサで得られる第１の画素数の第１の画像データに基づいて第３の画素数の第３の画像データを生成し、第２のイメージセンサで得られる上記第１の画素数より多い第２の画素数の第２の画像データに基づいて上記第３の画素数の第４の画像データを生成する画素数変換ステップと、
上記第１の画像データおよび上記第２の画像データに基づいて、上記第１の画像データと上記第２の画像データによる画像の類似度を求める類似度演算ステップと、
上記画素数変換ステップで生成された上記第３の画像データに対して、上記第４の画像データの類似領域の画像データを、上記類似度演算ステップで求められた類似度に応じて加重加算し、第５の画像データを得る加重加算ステップとを備える
撮像方法。
（７）第１の画素数の第１の画像データに基づいて第３の画素数の第３の画像データを生成し、上記第１の画素数より多い第２の画素数の第２の画像データに基づいて上記第３の画素数の第４の画像データを生成する画素数変換部と、
上記第１の画像データおよび上記第２の画像データに基づいて、上記第１の画像データと上記第２の画像データによる画像の類似度を求める類似度演算部と、
上記画素数変換部で生成された上記第３の画像データに対して、上記第４の画像データの類似領域の画像データを、上記類似度演算部で求められた類似度に応じて加重加算し、第５の画像データを得る加重加算部とを備える
画像処理装置。
【符号の説明】
【００７０】
１００，１００Ａ・・・カメラシステム
１１０・・・撮像部
１１１，１１１ｓ，１１１ｍ・・・撮像レンズ
１１２・・・半透過ミラー
１１３・・・サブイメージセンサ（第１のイメージセンサ）
１１４・・・メインイメージセンサ（第２のイメージセンサ）
１２０・・・拡大処理部
１３０・・・縮小処理部
１４０・・・類似領域加重加算部
１５０・・・セレクタ
１６０・・・間引き処理部
１７０・・・類似度演算部
【特許請求の範囲】
【請求項１】
第１の画素数の第１の画像データを出力する第１のイメージセンサと、
上記第１の画素数より多い第２の画素数の第２の画像データを出力する第２のイメージセンサと、
上記第１のイメージセンサから出力される上記第１の画像データに基づいて第３の画素数の第３の画像データを生成し、上記第２のイメージセンサから出力される上記第２の画像データに基づいて上記第３の画素数の第４の画像データを生成する画素数変換部と、
上記第１の画像データおよび上記第２の画像データに基づいて、上記第１の画像データと上記第２の画像データによる画像の類似度を求める類似度演算部と、
上記画素数変換部で生成された上記第３の画像データに対して、上記第４の画像データの類似領域の画像データを、上記類似度演算部で求められた類似度に応じて加重加算し、第５の画像データを得る加重加算部とを備える
撮像装置。
【請求項２】
第１の動作モードおよび第２の動作モードを有し、
上記第１の動作モードでは、上記第２のイメージセンサから出力される上記第２の画像データを出力し、
上記第２の動作モードでは、上記加重加算部で得られる上記第５の画像データを出力する
請求項１に記載の撮像装置。
【請求項３】
上記第２のイメージセンサから出力される上記第２の画像データに基づいて上記第１の画素数の第６の画像データを生成する間引き処理部をさらに備え、
上記類似度演算部は、
上記第１のイメージセンサから出力される上記第１の画像データおよび上記間引き処理部で生成される上記第６の画像データに基づいて、上記第１の画像データの各フレームで、該第１の画像データによる画像の所定領域毎に、上記第２の画像データによる画像の類似度を求める
請求項１に記載の撮像装置。
【請求項４】
上記類似度演算部は、
上記第１の画像データおよび上記第６の画像データに基づいて画像全体の動きベクトルを求め、
上記求められた動きベクトルに基づいて、上記第１の画像データの所定領域毎の画像データに対応した上記第６の画像データの類似領域の画像データを求め、
上記第１の画像データの所定領域毎の画像データと、対応する上記第６の画像データの類似領域の画像データに基づいて、上記第１の画像データの各フレームで、該第１の画像データによる画像の所定領域毎に、上記第２の画像データによる画像の類似領域との間の類似度を求める
請求項３に記載の撮像装置。
【請求項５】
上記第１のイメージセンサおよび上記第２のイメージセンサは、光学系が同一とされている
請求項１に記載の撮像装置。
【請求項６】
第１のイメージセンサで得られる第１の画素数の第１の画像データに基づいて第３の画素数の第３の画像データを生成し、第２のイメージセンサで得られる上記第１の画素数より多い第２の画素数の第２の画像データに基づいて上記第３の画素数の第４の画像データを生成する画素数変換ステップと、
上記第１の画像データおよび上記第２の画像データに基づいて、上記第１の画像データと上記第２の画像データによる画像の類似度を求める類似度演算ステップと、
上記画素数変換ステップで生成された上記第３の画像データに対して、上記第４の画像データの類似領域の画像データを、上記類似度演算ステップで求められた類似度に応じて加重加算し、第５の画像データを得る加重加算ステップとを備える
撮像方法。
【請求項７】
第１の画素数の第１の画像データに基づいて第３の画素数の第３の画像データを生成し、上記第１の画素数より多い第２の画素数の第２の画像データに基づいて上記第３の画素数の第４の画像データを生成する画素数変換部と、
上記第１の画像データおよび上記第２の画像データに基づいて、上記第１の画像データと上記第２の画像データによる画像の類似度を求める類似度演算部と、
上記画素数変換部で生成された上記第３の画像データに対して、上記第４の画像データの類似領域の画像データを、上記類似度演算部で求められた類似度に応じて加重加算し、第５の画像データを得る加重加算部とを備える
画像処理装置。
【請求項１】
第１の画素数の第１の画像データを出力する第１のイメージセンサと、
上記第１の画素数より多い第２の画素数の第２の画像データを出力する第２のイメージセンサと、
上記第１のイメージセンサから出力される上記第１の画像データに基づいて第３の画素数の第３の画像データを生成し、上記第２のイメージセンサから出力される上記第２の画像データに基づいて上記第３の画素数の第４の画像データを生成する画素数変換部と、
上記第１の画像データおよび上記第２の画像データに基づいて、上記第１の画像データと上記第２の画像データによる画像の類似度を求める類似度演算部と、
上記画素数変換部で生成された上記第３の画像データに対して、上記第４の画像データの類似領域の画像データを、上記類似度演算部で求められた類似度に応じて加重加算し、第５の画像データを得る加重加算部とを備える
撮像装置。
【請求項２】
第１の動作モードおよび第２の動作モードを有し、
上記第１の動作モードでは、上記第２のイメージセンサから出力される上記第２の画像データを出力し、
上記第２の動作モードでは、上記加重加算部で得られる上記第５の画像データを出力する
請求項１に記載の撮像装置。
【請求項３】
上記第２のイメージセンサから出力される上記第２の画像データに基づいて上記第１の画素数の第６の画像データを生成する間引き処理部をさらに備え、
上記類似度演算部は、
上記第１のイメージセンサから出力される上記第１の画像データおよび上記間引き処理部で生成される上記第６の画像データに基づいて、上記第１の画像データの各フレームで、該第１の画像データによる画像の所定領域毎に、上記第２の画像データによる画像の類似度を求める
請求項１に記載の撮像装置。
【請求項４】
上記類似度演算部は、
上記第１の画像データおよび上記第６の画像データに基づいて画像全体の動きベクトルを求め、
上記求められた動きベクトルに基づいて、上記第１の画像データの所定領域毎の画像データに対応した上記第６の画像データの類似領域の画像データを求め、
上記第１の画像データの所定領域毎の画像データと、対応する上記第６の画像データの類似領域の画像データに基づいて、上記第１の画像データの各フレームで、該第１の画像データによる画像の所定領域毎に、上記第２の画像データによる画像の類似領域との間の類似度を求める
請求項３に記載の撮像装置。
【請求項５】
上記第１のイメージセンサおよび上記第２のイメージセンサは、光学系が同一とされている
請求項１に記載の撮像装置。
【請求項６】
第１のイメージセンサで得られる第１の画素数の第１の画像データに基づいて第３の画素数の第３の画像データを生成し、第２のイメージセンサで得られる上記第１の画素数より多い第２の画素数の第２の画像データに基づいて上記第３の画素数の第４の画像データを生成する画素数変換ステップと、
上記第１の画像データおよび上記第２の画像データに基づいて、上記第１の画像データと上記第２の画像データによる画像の類似度を求める類似度演算ステップと、
上記画素数変換ステップで生成された上記第３の画像データに対して、上記第４の画像データの類似領域の画像データを、上記類似度演算ステップで求められた類似度に応じて加重加算し、第５の画像データを得る加重加算ステップとを備える
撮像方法。
【請求項７】
第１の画素数の第１の画像データに基づいて第３の画素数の第３の画像データを生成し、上記第１の画素数より多い第２の画素数の第２の画像データに基づいて上記第３の画素数の第４の画像データを生成する画素数変換部と、
上記第１の画像データおよび上記第２の画像データに基づいて、上記第１の画像データと上記第２の画像データによる画像の類似度を求める類似度演算部と、
上記画素数変換部で生成された上記第３の画像データに対して、上記第４の画像データの類似領域の画像データを、上記類似度演算部で求められた類似度に応じて加重加算し、第５の画像データを得る加重加算部とを備える
画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−２５３５３１（Ｐ２０１２−２５３５３１Ａ）
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願番号】特願２０１１−１２４０５５（Ｐ２０１１−１２４０５５）
【出願日】平成２３年６月２日（２０１１．６．２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願日】平成２３年６月２日（２０１１．６．２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]