撮像処理装置
【課題】色にじみの発生を低減した画像を得る。
【解決手段】撮像処理装置は、所定のフレームレートに対応する第１露光時間で画素信号が読み出される複数の第１ラインおよび所定のフレームレートよりも長い第２露光時間で画素信号が読み出される複数の第２ラインを有する単板カラー撮像素子であって、第１ラインおよび第２ラインの各々は、第１色成分の光を検出する画素、第２色成分の光を検出する画素および第３色成分の光を検出する画素の少なくとも２種類を有している単板カラー撮像素子と、第１露光時間および第２露光時間でそれぞれ読み出された画素信号に基づいて得られた、被写体の第１色成分の動画像を表す第１動画像、第２色成分の動画像を表す第２動画像、および、第３色成分の動画像を表す第３動画像を受け取り、所定のフレームレートを有する新たな動画像を生成する画像処理部とを備えている。
【解決手段】撮像処理装置は、所定のフレームレートに対応する第１露光時間で画素信号が読み出される複数の第１ラインおよび所定のフレームレートよりも長い第２露光時間で画素信号が読み出される複数の第２ラインを有する単板カラー撮像素子であって、第１ラインおよび第２ラインの各々は、第１色成分の光を検出する画素、第２色成分の光を検出する画素および第３色成分の光を検出する画素の少なくとも２種類を有している単板カラー撮像素子と、第１露光時間および第２露光時間でそれぞれ読み出された画素信号に基づいて得られた、被写体の第１色成分の動画像を表す第１動画像、第２色成分の動画像を表す第２動画像、および、第３色成分の動画像を表す第３動画像を受け取り、所定のフレームレートを有する新たな動画像を生成する画像処理部とを備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像の撮像処理に関する。具体的には、撮影された動画像の解像度およびフレームレートの少なくとも一方を画像処理によって高くした新たな動画像を生成する技術に関する。
【背景技術】
【０００２】
従来の撮像処理装置においては、高解像度化を図る目的で撮像素子の画素数が増加する傾向にあった。撮像素子全体のサイズを大きくするには限界があるため、各画素を小型化せざるを得ない。その一方、画素寸法が小型化されるほど、撮像素子の１画素に入射する光量が減少していた。その結果、各画素の信号対雑音比（Ｓ／Ｎ）の低下につながり、画質を維持することが困難であった。
【０００３】
特許文献１は、赤、緑、青のそれぞれ光を検出する３枚の撮像素子を利用し、露光時間を制御して得られる信号を処理することによって、高解像度で高フレームレートかつ高感度の画像の復元を実現している。この方法では、２種類の解像度の撮像素子が用いられている。一方の高解像度な撮像素子は長時間露光で画素信号を読み出し、他方の低解像度な撮像素子は短時間露光で画素信号を読み出す。これにより、光量を確保していた。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１０５９９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
高解像度の画素信号を長時間露光で読み取ると、被写体が動いている場合には動きぶれが入った画像になってしまう。そのため、得られた動画像の画質は結果として高かったものの、動きの検出が困難な一部の範囲においては復元した画像上に色にじみが見られることがあり、画質改善の余地があった。
【０００６】
本発明の目的は、光量を確保しつつ、色にじみの発生を低減した画像を得ることである。本発明の他の目的は、同時に高フレームで高解像度な画像を生成することである。
【課題を解決するための手段】
【０００７】
本発明のある実施形態による撮像処理装置は、所定のフレームレートに対応する第１露光時間で画素信号が読み出される複数の第１ラインおよび前記所定のフレームレートよりも長い第２露光時間で画素信号が読み出される複数の第２ラインを有する単板カラー撮像素子であって、前記第１ラインおよび前記第２ラインの各々は、前記第１色成分の光を検出する画素、第２色成分の光を検出する画素および第３色成分の光を検出する画素の少なくとも２種類を有している単板カラー撮像素子と、前記第１露光時間および前記第２露光時間でそれぞれ読み出された画素信号に基づいて得られた、被写体の前記第１色成分の動画像を表す第１動画像、前記第２色成分の動画像を表す第２動画像、および、前記第３色成分の動画像を表す第３動画像を受け取り、前記所定のフレームレートを有する新たな動画像を生成する画像処理部とを備えている。
【０００８】
前記画像処理部は、前記第１露光時間で読み出された画素信号に基づいて得られた、前記第１色成分の動画像、前記第２色成分の動画像および前記第３色成分の動画像と、前記新たな動画像を前記第１露光時間でサンプリングして得られた動画像との第１の差、および、前記第２露光時間で読み出された画素信号に基づいて得られた前記第１色成分の動画像、前記第２色成分の動画像および前記第３色成分の動画像と、前記新たな動画像を前記第２露光時間でサンプリングして得られた動画像との第２の差とを少なくとも含む評価式を設定し、前記評価式を最小化する動画像を、前記新たな動画像として求めてもよい。
【０００９】
前記画像処理部は、前記第１露光時間で読み出された画素信号に基づいて得られた前記第１色成分の動画像、前記第２色成分の動画像および前記第３色成分の動画像を利用して、前記被写体の動きを検出する動き検出部と、前記動きの検出結果を利用して前記新たな動画像の動きの分布に関する拘束条件を設定し、前記動きの分布に関する拘束条件をさらに含む前記評価式を最小化する動画像を、前記新たな動画像として求める画像生成部とを備えていてもよい。
【００１０】
前記画像処理部は、前記新たな動画像の画素値の分布の変化が少なくなるよう、または、前記新たな動画像の画素値の変化が一定になるよう、画素値の分布に関する拘束条件を設定し、前記画素値の分布に関する拘束条件をさらに含む前記評価式を最小化する動画像を、前記新たな動画像として求めてもよい。
【００１１】
前記撮像処理装置は、前記第１露光時間で読み出された画素信号に基づいて得られた前記第１色成分の動画像、前記第２色成分の動画像および前記第３色成分の動画像に、表示のために予め定められた画像処理を施す表示制御部と、前記表示制御部によって画像処理された前記第１動画像、前記第２動画像および前記第３動画像を表示する表示部とをさらに備えていてもよい。
【００１２】
本発明の他の実施形態に係る撮像処理装置は、所定のフレームレートに対応する第１露光時間で画素信号が読み出される複数の第１ラインおよび前記所定のフレームレートよりも長い第２露光時間で画素信号が読み出される複数の第２ラインをそれぞれ有する第１撮像素子、第２撮像素子および第３撮像素子であって、前記第１撮像素子は第１色成分の光を検出する画素を有し、前記第２撮像素子は第２色成分の光を検出する画素を有し、前記第３撮像素子は第３色成分の光を検出する画素を有する、第１撮像素子、第２撮像素子および第３撮像素子と、前記第１撮像素子から前記第１露光時間および前記第２露光時間でそれぞれ読み出された画素信号を受け取り、前記第２撮像素子から前記第１露光時間および前記第２露光時間でそれぞれ読み出された画素信号をそれぞれ受け取り、かつ、前記第３撮像素子から前記第１露光時間および前記第２露光時間でそれぞれ読み出された画素信号を受け取って、前記所定のフレームレートを有する新たな動画像を生成する画像処理部とを備えている。
【００１３】
前記画像処理部は、前記第１露光時間で読み出された画素信号に基づいて得られた、前記第１色成分の動画像、前記第２色成分の動画像および前記第３色成分の動画像と、前記新たな動画像を前記第１露光時間でサンプリングして得られた動画像との第１の差、および、前記第２露光時間で読み出された画素信号に基づいて得られた前記第１色成分の動画像、前記第２色成分の動画像および前記第３色成分の動画像と、前記新たな動画像を前記第２露光時間でサンプリングして得られた動画像との第２の差とを少なくとも含む評価式を設定し、前記評価式を最小化する動画像を、前記新たな動画像として求めてもよい。
【００１４】
前記画像処理部は、前記第１露光時間で読み出された画素信号に基づいて得られた前記第１色成分の動画像、前記第２色成分の動画像および前記第３色成分の動画像を利用して、前記被写体の動きを検出する動き検出部と、前記動きの検出結果を利用して前記新たな動画像の動きの分布に関する拘束条件を設定し、前記動きの分布に関する拘束条件をさらに含む前記評価式を最小化する動画像を、前記新たな動画像として求める画像生成部とを備えていてもよい。
【００１５】
前記画像処理部は、前記新たな動画像の画素値の分布の変化が少なくなるよう、または、前記新たな動画像の画素値の変化が一定になるよう、画素値の分布に関する拘束条件を設定し、前記画素値の分布に関する拘束条件をさらに含む前記評価式を最小化する動画像を、前記新たな動画像として求めてもよい。
【００１６】
前記撮像処理装置は、前記第１露光時間で読み出された画素信号に基づいて得られた前記第１色成分の動画像、前記第２色成分の動画像および前記第３色成分の動画像に、表示のために予め定められた画像処理を施す表示制御部と、前記表示制御部によって画像処理された前記第１動画像、前記第２動画像および前記第３動画像を表示する表示部とをさらに備えていてもよい。
【発明の効果】
【００１７】
本発明によれば、撮像処理装置の単板カラー撮像素子は、所定のフレームレートに対応する露光時間で露光して得られた画素信号が読み出される複数の第１ライン（短時間露光ライン）および当該所定のフレームレートよりも長い露光時間で露光して得られた画素信号が読み出される複数の第２ライン（長時間露光ライン）を有している。この単板カラー撮像素子の第１ラインおよび第２ラインの各々には、第１色成分の光を検出する画素および第２色成分の光を検出する画素が複数設けられている。この単板カラー撮像素子を用いることで、第１色成分および第２色成分のそれぞれについて、あるフレームレートで動画像の画素信号と、当該フレームレートよりも長い露光時間で撮影された動画像の画素信号とが得られる。これにより、第１色成分または第２色成分のいずれかの動画像を常に長時間露光によって撮影した場合と比較して、被写体の動きに起因する色にじみを抑制した画像信号を得ることができる。
【００１８】
本発明の撮像処理装置は、長時間露光の読み出しをしていた色成分画像の画素（たとえばＧ画素）を、２種類の画素、すなわち長時間露光の画素と、短時間露光の画素とに分けて、各種類の画素から信号を読み出し、読み出した信号を利用して画像生成処理を行うことにより、全て長時間露光によって画像信号を得た場合と比較して被写体の動きに起因する色にじみを抑制した画像信号を得ることができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態１による撮像処理装置１００の構成を示すブロック図である。
【図２】単板カラー撮像素子１０２の一例を示す図である。
【図３Ａ】長時間露光ラインと短時間露光ラインの配置の例を示す図である。
【図３Ｂ】長時間露光ラインと短時間露光ラインの配置の例を示す図である。
【図３Ｃ】長時間露光ラインと短時間露光ラインの配置の例を示す図である。
【図４Ａ】図３Ａの各画素の露光時間を模式的に示す図である。
【図４Ｂ】図３Ｂの各画素の露光時間を模式的に示す図である。
【図５Ａ】ｘ−ｙ方向に広がるフレーム画像を構成する各画素の露光時間（読み出しタイミング）を、複数のフレーム画像について示す鳥瞰図である。
【図５Ｂ】ｘ−ｙ方向に広がるフレーム画像を構成する各画素の露光時間（読み出しタイミング）を、複数のフレーム画像について示す鳥瞰図である。
【図６】画像処理部１０５の詳細な構成の一例を示す図である。
【図７】撮像処理装置１００の処理の手順を示すフローチャートである。
【図８】（ａ）および（ｂ）は、ブロックマッチングによって動き検出を行うときの基準フレームと参照フレームとを示す図である。
【図９】共役勾配法の処理手順を示す図である。
【図１０】図９に示す処理を行うための画像生成部２０２の構成例を示す図である。
【図１１】準ニュートン法の処理手順を示す図である。
【図１２】ＲＧＢ色空間と球面座標系（θ、ψ、ｒ）との対応例を示す図である。
【図１３】動き検出部２０１を含まない画像処理部１０５を有する撮像処理装置２００の構成を示すブロック図である。
【図１４】本発明の実施形態２による撮像処理装置３００の構成を示すブロック図である。
【図１５】Ｂ用制御部５０６、Ｒ用制御部５０７、Ｇ用制御部５０８による各撮像素子の露光時間、露光タイミングを示す図である。
【図１６】Ｂ用制御部５０６、Ｒ用制御部５０７、Ｇ用制御部５０８による各撮像素子の露光時間、露光タイミングを示す図である。
【図１７】本発明の実施形態３による撮像処理装置４００の構成を示すブロック図である。
【図１８】短時間露光画像を構成するＲ，Ｇ，およびＢの各色画像に補間処理を行い、その後、各色画像を縮小して表示部８０２に表示するための各色画像を生成する処理の概念図である。
【図１９】短時間露光画像を構成するＲ，Ｇ，およびＢの各色画像に補間処理およびアスペクト比の変更処理を行って表示部８０２に表示するための各色画像を生成する処理の概念図である。
【図２０】３板撮像素子５０３〜５０５およびビューファインダである表示部９０１を有する撮像処理装置５００の構成を示すブロック図である。
【発明を実施するための形態】
【００２０】
以下、添付の図面を参照しながら、本発明による撮像処理装置の実施形態を説明する。
【００２１】
（実施形態１）
図１は、本実施形態による撮像処理装置１００の構成を示すブロック図である。撮像処理装置１００は、光学系１０１と、単板カラー撮像素子１０２と、読み出し制御部１０３と、制御部１０４と、画像処理部１０５とを備えている。以下、撮像処理装置１００の各構成要素を詳細に説明する。
【００２２】
光学系１０１は、例えば、カメラレンズであり、被写体の像を撮像素子の像面に結像する。
【００２３】
単板カラー撮像素子１０２は、赤（Ｒ），緑（Ｇ），青（Ｂ）のカラーフィルターアレイが各画素に装着された撮像素子である。図２は、単板カラー撮像素子１０２の一例を示す。単板撮像素子の各画素（フォトダイオード）に対応して、ベイヤー配列と呼ばれる配列のカラーフィルターアレイが装着されている。図中の"Ｒ"、"Ｇ"、"Ｂ"はそれぞれ「赤」、「緑」、「青」のフィルターを示している。
【００２４】
単板カラー撮像素子１０２の各画素は、光学系１０１によって結ばれた光（光学像）を、それぞれに対応して設けられた赤、緑または青のフィルターを通して受け取る。各画素は、画素単位で光電変換を行い、各画素に入射した光の量に応じた画素値（画素信号）を出力する。同じフレーム時刻に撮影された、同じ色成分の画素信号により、その色成分ごとの画像が得られる。全ての色成分の画像により、カラー画像が得られる。
【００２５】
以下、本明細書および図面において、赤、緑、青の光を検出する画素を、それぞれ"Ｒ"、"Ｇ"、"Ｂ"によって表すとする。撮像素子の各画素から出力される画素信号は、Ｒ，Ｇ，Ｂいずれかの色に関する画素値を持つ。
【００２６】
この説明から明らかな通り、撮像素子の各画素は、各色のカラーフィルターを透過した光を受け、受けた光の強さに応じた信号を出力する撮像素子の１単位である。
【００２７】
読み出し制御部１０３は、図２に示す配列の単板カラー撮像素子１０２の各画素の電荷（画素値）の露光時間（または読み出しタイミング）を独立して読み出す。読み出し方法は以下に詳細に説明するとおりである。読み出し制御部１０３の読み出し動作は、制御部１０４による制御に基づいて実行される。
【００２８】
たとえば図３Ａ〜図３Ｃは、長時間露光ラインと短時間露光ラインの配置の例を示している。「ライン」とは図中、ｘ軸方向の一列の画素群を意味する。画素信号の読み出しは、ライン単位で行われる。図面には参考のためライン番号１〜６が示されている。図３Ａ〜図３Ｃにおいて、Ｒ，Ｇ，Ｂの添え字Ｌは長時間露光を示し、添え字Ｓは短時間露光を示す。
【００２９】
本願明細書では、「短時間露光」とは、一般的な動画撮影時の１フレームの時間だけ露光することを意味する。たとえば「短時間露光」とは、フレームレートが３０フレーム／秒（３０ｆｐｓ）の場合には１／３０秒の露光時間で露光することに相当する。フレームレートが６０フレーム／秒（６０ｆｐｓ）の場合には１／６０秒である。一方、長時間露光とは、１フレームの露光に要する時間よりも長い時間、たとえば２フレームから１０フレーム程度の露光することを意味する。
【００３０】
次に、図３Ａ〜図３Ｃに示されている、各撮像素子のｘ軸方向に配列された画素のライン１〜６に注目する。各ラインは、短時間露光または長時間露光に統一されていることが理解される。そして、各ラインには、複数の色の画素が混在していることも理解される。たとえば、図３Ａのライン１は、長時間露光画素の集合であり、Ｇ画素およびＲ画素が含まれている。次のライン２は短時間露光画素の集合であり、Ｂ画素およびＧ画素が含まれている。
【００３１】
図３Ａ〜図３Ｃの相違は以下のとおりである。図３Ａは、長時間露光するラインと短時間露光するラインとが交互に（すなわち２ライン周期で）配置されている例である。Ｒ画素は長時間露光画素であり、Ｂ画素は短時間露光画素である。一方、図３Ｂは、長時間露光するライン２本毎に短時間露光するライン１本が配置されている例である。図３Ｂでは、３ライン周期で長時間露光するラインと短時間露光するラインとが混在する例である。なお、図３Ｃは、図３Ａの変形例である。図３Ｃは、長／短時間露光が交互に繰り返されるが、Ｒ画素は短時間露光画素であり、Ｂ画素は長時間露光画素である。
【００３２】
図４Ａおよび図４Ｂは、それぞれ図３Ａおよび図３Ｂの各画素の露光時間を模式的に示している。図面の左右方向が時間軸ｔである。図４Ａは、ライン毎に長／短時間露光が交互に行われることが示されている。すなわち２ライン周期で長時間露光するラインと短時間露光するラインとが混在している。図４Ｂでは、３ライン毎に、長／短／長時間露光が交互に行われる。すなわち３ライン周期で長時間露光するラインと短時間露光するラインとが混在している。なお、図３Ｃに対応する露光時間の図面は省略する。図４Ａにおいて長露光時間／短露光時間を入れ替えればよい。
【００３３】
図５Ａおよび図５Ｂは、ｘ−ｙ方向に広がるフレーム画像を構成する各画素の露光時間（読み出しタイミング）を、複数のフレーム画像について示す鳥瞰図である。図５Ａは図３Ａおよび図４Ａを総合して複数のフレーム画像を時空間的に示している。また、図５Ｂは図３Ｂおよび図４Ｂを総合して複数のフレーム画像を時空間的に示している。
【００３４】
読み出し制御部１０３は、制御部１０４の制御信号に基づいて単板カラー撮像素子１０２の各ラインに対する読み出しパルス信号、リセット信号を制御することで、ライン毎に露光時間を切り替える。短時間露光時には、読み出し制御部１０３は１フレーム時間ごとに画素値を読み出し、１フレーム画像の画素信号を読み出す。また長時間露光時には、読み出し制御部１０３は、複数フレーム時間にわたって、単板カラー撮像素子１０２を露光し、露光期間が終了した後、画素信号を読み出す。
【００３５】
なお、読み出し制御部１０３は、素子から画素信号を読み出した後でそれらを加算してもよい。具体的には、読み出し制御部１０３は１フレーム期間ごとに全ての画素ラインから画素信号を読み出す。そしてあるラインについては、連続する複数フレーム分の画素信号が得られた後に、それらを加算する。このとき、複数フレームの同じ画素座標値の画素信号同士が加算される。この結果、画素信号が加算されたラインについては、読み出し制御部１０３は、複数フレーム期間にわたって露光されたラインの画素信号と実質的に同じ画素信号を出力することができる。本願明細書では、画素信号の加算によって長時間露光された画素信号が得られるラインについても、「フレーム時刻よりも長い露光時間で画素信号が読み出されるライン」と表現する。
【００３６】
再び図１を参照する。
【００３７】
画像処理部１０５は、ライン毎に異なる露光時間で撮影された動画像データを受け取り、これらに画像処理を行うことによって、各画素における画素値（例えば、Ｒ，Ｇ，Ｂの画素値）を推定し、高解像度カラー動画像を生成する。
【００３８】
図６は、画像処理部１０５の詳細な構成の一例を示す。画像処理部１０５は、動き検出部２０１および画像生成部２０２を有する。
【００３９】
図７は、撮像処理装置１００の処理の手順を示すフローチャートである。まず概要を説明する。
【００４０】
ステップＳ４０１において、画像処理部１０５は、フレームレートがライン毎に異なる動画像をそれぞれ読み出し制御部１０３から取得する。
【００４１】
ステップＳ４０２において、画像処理部１０５の動き検出部２０１は、取得した画像のうちの露光時間が短い動画像を用いて生成画像の画素毎の動きを検出する。
【００４２】
ステップＳ４０３およびＳ４０４において、画像生成部２０２は、動き拘束条件を設定し、滑らかさ拘束を設定する。
【００４３】
ステップＳ４０５において画像生成部２０２は、高フレームレートカラー画像を生成する。
【００４４】
ステップＳ４０６において、画像生成部２０２は生成した動画像を出力する。
【００４５】
以下、上述した各ステップの詳細を説明する。
【００４６】
動き検出部２０１は、１フレーム期間露光されて得られた画素信号によって形成される画像（短時間露光画像）を受け取る。動き検出部２０１は短時間露光画像を利用して、ブロックマッチング、勾配法、位相相関法等の既存の公知技術によって、短時間露光で撮影された画素値から動き（オプティカルフロー）を検出する。公知技術として、たとえばＰ． Ａｎａｎｄａｎ． “Ｃｏｍｐｕｔａｔｉｏｎａｌ ｆｒａｍｅｗｏｒｋ ａｎｄ ａｎ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｔｈｅ ｍｅａｓｕｒｅｍｅｎｔ ｏｆ ｖｉｓｕａｌ ｍｏｔｉｏｎ”， Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， Ｖｏｌ． ２， ｐｐ． ２８３−３１０， １９８９が知られている。
【００４７】
図８（ａ）および（ｂ）は、ブロックマッチングによって動き検出を行うときの基準フレームと参照フレームとを示している。動き検出部２０１は、基準とするフレーム（動きを求めるべく着目している時刻ｔにおける画像）内に、図８（ａ）に示す窓領域Ａを設定し、窓領域内のパターンと類似するパターンを参照フレーム内で探索する。参照フレームとして、たとえば着目フレームの次のフレームが利用されることが多い。
【００４８】
探索範囲は、図８（ｂ）に示すように、通常、移動量ゼロの位置Ｂを基準に予め一定の範囲Ｃが設定される。また、パターンの類似の度合い（程度）は、（数１）に示す残差平飽和（ＳＳＤ：Ｓｕｍ ｏｆ Ｓｑｕａｒｅ Ｄｉｆｆｅｒｒｅｎｃｅｓ）や、（数２）に示す残差絶対値和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅｄ Ｄｉｆｆｅｒｅｎｃｅｓ）を評価値として計算することによって評価する。
【数１】
【数２】
【００４９】
（数１）および（数２）において、Ｉ（ｘ、ｙ、ｔ）は画像すなわち画素値の時空間的な分布であり、ｘ，ｙ∈Ｗは、基準フレームの窓領域内に含まれる画素の座標値を意味する。本実施形態では、図３で短時間露光で撮影した画像の画素値を利用して、その画像をＲＧＢの各色毎に補間拡大した後、下記数３によって輝度成分を求め、動き検出を行う。
【数３】
【００５０】
なお、Ｉ（ｘ，ｙ，ｔ）は、（数３）に限らず、単純なＲＧＢ値の加算等にしてもよい。
【００５１】
動き検出部２０１は、探索範囲内で（ｕ，ｖ）を変化させることにより、上記評価値を最小とする（ｕ，ｖ）の組を探索し、これをフレーム間での動きベクトルとする。具体的には、窓領域の設定位置を順次シフトさせることによって、動きを画素毎もしくはブロック毎（例えば８画素×８画素）に求め、動きベクトルを生成する。
【００５２】
上記の様にして得られた（数１）または（数２）を最小にする（ｕ，ｖ）の近傍での（ｕ，ｖ）の値の分布に対して、１次ないし２次関数を当てはめる（等角フィッテング法やパラボラフィッティング法として知られる公知の技術）ことによって、サブピクセル精度の動き検出を行う。
【００５３】
＜各画素におけるＧの画素値の生成処理＞
画像生成部２０２は、次式で表される評価関数Ｊを最小化して、各画素におけるＲ，Ｇ，Ｂの画素値を計算する。
【数４】
【００５４】
ここで、Ｈ1は長時間露光のサンプリング過程、Ｈ2は短時間露光のサンプリング過程、ｆは新たに生成すべき高空間解像度かつ高時間解像度のＲＧＢ画像である。単板カラー撮像素子１０２によって撮像されたＲＧＢの画像のうち、長時間露光で撮像したものをｇL、短時間露光で撮像したものをｇSとする。Ｍはべき指数、Ｑは生成すべき画像ｆが満たすべき条件、すなわち拘束条件である。
【００５５】
（数４）のべき指数Ｍの値は、特に限定するものではないが、演算量の観点から、１または２が好ましい。
【００５６】
数４の第１項は、生成すべき高空間解像度かつ高時間解像度のＲＧＢ画像ｆを、長時間露光のサンプリング過程Ｈ1によってサンプリングして得られた画像と、実際に長時間露光によって得られた、ｇLとの差の演算を意味する。長時間露光のサンプリング過程Ｈ1を予め定めておき、この差分を最小化するｆを求めると、そのｆは、長時間露光によって得られたｇLと最もよく整合するといえる。第２項についても同様に、差分を最小化するｆは、短時間露光によって得られたｇsと最もよく整合するといえる。また、第３項は、解ｆを一意に決定するための拘束条件である。
【００５７】
そして、数４の評価関数Ｊを最小化するＲＧＢ画像ｆは、長時間露光および短時間露光によって得られたｇLおよびｇsの両方を総合的によく満足するといえる。画像生成部２０２は、数４を最小化するＲＧＢ画像ｆを計算することで、高空間解像度かつ高時間解像度のＲＧＢ画像の画素値を生成する。
【００５８】
数４のＪの最小化は、∂Ｊ／∂ｆ＝０となるＲＧＢ画像ｆを求めることによって行う。この計算は、評価関数Ｊがｆの２次形式の場合（数４においてＭ＝２でかつ、Ｑがｆの２次形式の場合）には、上述のＪのｆによる偏微分∂Ｊ／∂ｆがｆの１次式になるため、線形最適化問題となり連立方程式Ａｆ＝ｂの計算に帰着する。すなわち、（数４）をｆで偏微分すると以下のとおりである。
【数５】
この式を変形して以下の連立方程式を解くことにより、ＲＧＢ画像ｆを計算すればよい。
【数６】
ここで、∂Ｑ／∂ｆはＱがｆの２次形式の場合、定数マトリックス（ｆを含まないマトリックス）になる。
【００５９】
一方、Ｍ＝１の場合や、Ｍ＝３以上の整数の場合、また、Ｍが整数でない場合には、非線形最適化問題となる。
【００６０】
図９は、共役勾配法の処理手順を示す。計算が線形最適化問題になる場合、図９に示す共役勾配法の手順により評価関数Ｊを最小にするＲＧＢ画像ｆを計算することができる。図１０は、図９に示す処理を行うための画像生成部２０２の構成例を示す。画像生成部２０２は、係数演算部５０１と、ベクトル演算部５０２と、演算部５０３とを有している。
【００６１】
係数演算部５０１は、係数行列Ａを計算する。ベクトル演算部５０２は、定数ベクトルｂを計算する。演算部５０３は、演算によって得られた行列Ａおよびベクトルｂを用いて、Ａｆ＝ｂの連立方程式を解く。図９に示す処理は、主として演算部５０３の処理である。行列Ａおよびベクトルｂが求まり、制御部１０４から初期値および終了条件が与えられると図９の処理が開始される。図９の終了条件は、図９に示すｋ＋１ステップ目での残差ｒk+1が十分小さくなったときである。
【００６２】
これにより、評価関数Ｊを最小化するＲＧＢ画像ｆを求めることができる。なお、図９に示すアルゴリズムは公知であるため、詳細な説明は省略する。
【００６３】
一方、計算が非線形最適化問題となる場合には、図１１に示す準ニュートン法の手順により、Ｊを最小にするｆを計算することができる。この手法によるＪの最小化、極小化は、ｆの初期解から始めて、Ｊのｆに関する勾配を用いて、よりＪを小さくする様に、反復計算により解ｆを更新する。図１１においてＫｋは、ｓk≡ｆk+1−ｆk、ｙk＝∇Ｊ（ｆk）とおき、準ニュートン法のなかのＤＦＰ法では、以下のように計算する。
【数７】
また、準ニュートン法のなかのＢＦＧＳ法では以下のように計算する。
【数８】
【００６４】
以下、数４に関してより詳しく説明する。
【００６５】
画像ｆ、ｇLおよびｇSは、動画像の各画素値を要素とする縦ベクトルである。以下では、画像についてベクトル表記は、画素値をラスタースキャン順に並べた縦ベクトルを意味し、関数表記は、画素値の時空間的分布を意味する。画素値としては、輝度値の場合は、１画素につき１個の値を考えればよい。ｆの要素数は、例えば、生成すべき動画像を横２０００画素、縦１０００画素、３０フレームとすると、２０００×１０００×３０＝６０００００００となる。
【００６６】
ＲＧＢ画像ｆの縦横の画素数および信号処理に用いるフレーム数は、画像処理部１０５によって設定される。
【００６７】
長時間露光のサンプリング過程Ｈ1は、行数がｇLの要素数と等しく、列数がｆの要素数と等しい行列である。また、短時間露光サンプリング過程Ｈ2は、行数がｇSの要素数と等しく、列数がｆの要素数と等しい行列である。
【００６８】
現在一般に普及しているコンピュータでは、動画像の画素数（例えば幅２０００画素×高さ１０００画素）とフレーム数（例えば３０フレーム）に関する情報量が多すぎるため、（数４）を最小化するｆを単一の処理で求めることはできない。この場合、時間的、空間的な部分領域についてｆの一部を求める処理を繰り返すことにより、生成すべき動画像ｆを計算することができる。
【００６９】
次に、長時間露光のサンプリング過程Ｈ1の定式化を簡単な例を用いて説明する。以下では、幅２画素（ｘ＝１，２）、高さ２画素（ｙ＝１，２）、２フレーム（ｔ＝１，２）の画像をベイヤ配列の単板カラー撮像素子１０２で撮像し、ｙ＝１のラインにおいて２フレーム分時間加算する場合のｇLの撮像過程について考える。ここでは、たとえば図３Ａの最も左上の２画素ｘ２画素に対応して、ｙ＝１である２つの画素（ｘ，ｙ）＝（１，１）におけるＧL、および、（ｘ，ｙ）＝（２，１）におけるＲLのｔ＝１，２を想定している。
【００７０】
得られるＲＧＢ画像ｆの要素は、ｔ＝１、２を含めて以下の数９のように表される。
【数９】
【００７１】
（数９）において、Ｒ111〜Ｒ222、Ｇ111〜Ｇ222、Ｂ111〜Ｂ222は各画素におけるＲ、Ｇ、Ｂの画素値を示し、３個の添字は順にｘ、ｙ、ｔの値を示す。
【００７２】
上記数９のうち、ｙ＝１のライン、すなわち位置（１，１）および（２，１）における長時間露光を求めるために必要なのは、位置（１，１）についてはＧ111およびＧ112、位置（２，１）についてはＲ211およびＲ212である。そこで、それらの画素値のみを抽出するための行列を以下のように定義することができる。
【数１０】
【００７３】
行列Ｈ1は、長時間露光のサンプリング過程であることを考慮して設定される。すなわち、ｙ＝１のラインにおける長時間露光の画素を得るためには、（ｘ，ｙ）＝（１，１）の位置におけるｔ＝１、２の各画素値を加算し、また（ｘ，ｙ）＝（２，１）の位置におけるｔ＝１、２の各画素値を加算する必要がある。これらによれば、長時間露光ラインの撮像過程は以下のように定式化される。
【数１１】
【００７４】
次に、短時間露光のサンプリング過程Ｈ2の定式化を簡単な例を用いて説明する。先の例と同様に、幅２画素（ｘ＝１，２）、高さ２画素（ｙ＝１，２）、２フレーム（ｔ＝１、２）の画像をベイヤ配列の撮像素子で撮像する場合について考える。
【００７５】
先のサンプリング過程Ｈ1の例と同様、この例もまた、図３Ａの最も左上の２画素ｘ２画素を想定する。ただし短時間露光であるため、図３Ａのｙ＝２における短時間路高画素ＢｓおよびＧｓの画素値が、ｔ＝１および２について必要となる。すなわち、画素（ｘ，ｙ）＝（１，２）におけるＢｓ、および、（ｘ，ｙ）＝（２，２）におけるＧｓの画素値が、ｔ＝１および２について必要となる。なお、得られるＲＧＢ画像ｆの要素は、数９の通りである。
【００７６】
上記数９のうち、ｙ＝２のライン、すなわち位置（１，２）および（２，２）における長時間露光を求めるために必要なのは、位置（１，２）についてはＢ121およびＢ122、位置（２，２）についてはＧ221およびＧ222である。そこで、それらの画素値のみを抽出するための行列を以下のように定義することができる。
【数１２】
【００７７】
数１２の第１行および第２行が時刻ｔ＝１に関し、第３行および第４行が時刻ｔ＝２に関している。これらによれば、短時間露光ラインの撮像過程は以下のように定式化される。
【数１３】
【００７８】
（数１１）や（数１３）は、ＲＧＢ画像ｆをベイヤ配列の単板撮像素子によりライン毎に露光時間を変えて撮像しｇL、ｇSを得る過程を示す。逆に、ｇL、ｇSからｆを生成する問題は、一般に逆問題といわれる。拘束条件Ｑのない場合、下記（数１４）を最小化するｆは無数に存在する。
【数１４】
【００７９】
このことは、サンプリングされない画素値に任意の値を入れても（数１４）が成り立つことから、容易に説明できる。そのため、（数１４）の最小化によってＲＧＢ画像ｆを一意に解くことはできない。
【００８０】
そこで、ＲＧＢ画像ｆについての一意な解を得るために、拘束条件Ｑを導入する。Ｑとして、画素値ｆの分布に関する滑らかさの拘束や、ｆから得られる画像の動きの分布に関する滑らかさの拘束を与える。以下、それぞれの拘束の与え方を説明する。
【００８１】
まず、ＲＧＢ画像ｆの画素値の分布に関する滑らかさの拘束としては、（数１５）もしくは（数１６）の拘束式を用いる。
【数１５】
【数１６】
【００８２】
数４に示す通り、拘束条件Ｑも評価関数Ｊの一部を構成する。したがって、評価関数Ｊの値をできるだけ小さくするためには、拘束条件Ｑも小さい方が好ましい。
【００８３】
数１５に関しては、画素値ｆの分布の変化が少ないほど、Ｑの値は小さくなる。数１６に関しては、画素値ｆの分布の変化が一定であるほど、Ｑの値は小さくなる。これらが、画素値ｆの分布に関する滑らかさの拘束条件となる。
【００８４】
また、（数１４）で｜｜はベクトルのノルムを表す。べき指数ｍの値は、（数４）、（数１４）におけるべき指数Ｍと同様に、演算量の観点から１または２が望ましい。ここで、Ｃｉは以下の式でｆの要素のＲ，Ｇ，Ｂ値を変換したものである。
【数１７】
【００８５】
（数１７）において、Ｃ1、Ｃ2、Ｃ3を一般的な画像におけるＲＧＢの画素値の分布の第１主成分から、第３主成分にすることにより、滑らかさ拘束についての正則化パラメータの調整をＲＧＢ空間で行う場合よりも容易にできる。すなわち、Ｃ1成分は輝度にほぼ等しく、Ｃ2、Ｃ3成分は２つの色成分とみなせ、個別にλｃｉを調整することによって、新たに生成される画像に対する滑らかさ拘束の各項の影響を制御できる。λC1からλC3の値は、３板撮影等で全画素読み出しした画素値が事前に用意できる場合には、生成画像のＰＳＮＲ（Ｐｅａｋ Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）が最良となるように決めればよい。
【００８６】
なお、ＰＳＮＲは（数１８）で定義される。
【数１８】
ここで、ｆｍａｘは画素値の最大値（例えば、８ビット時２５５、１０ビット時１０２３）であり、σは正解画像と生成画像との差の標準偏差である。
【００８７】
一方、そうでない場合には、上記の値をもとにマニュアル操作で新たに生成した画質をみながらλｃｉ決めればよい。
【００８８】
なお、上記の偏微分値∂Ｃｉ／∂ｘ、∂Ｃｉ／∂ｙ、∂2Ｃｉ／∂ｘ2、∂2Ｃｉ／∂ｙ2は、着目画素近傍の画素値による差分展開により、例えば（数１９）により近似計算できる。
【数１９】
差分展開は上記（数１９）に限らず、例えば（数２０）の様に、近傍の他の画素を参照するようにしてもよい。
【数２０】
（数２０）は（数１９）による計算値に対して、近傍で平均化することになる。これにより、空間解像度は低下するが、ノイズの影響を受けにくくできる。さらに、両者の中間的なものとして、０≦α≦１の範囲のαで重み付けをして、以下の式を採用してもよい。
【数２１】
【００８９】
差分展開の計算方法は、処理結果の画質がより改善されるようにノイズレベルに応じてαを予め決めて行ってもよいし、もしくは、回路規模や演算量を少しでも小さくするために、（数１９）を用いてもよい。
【００９０】
なお、画像ｆの画素値の分布に関する滑らかさの拘束としては、（数１５）、（数１６）に限らず、例えば、（数２２）に示す２階の方向微分の絶対値のｍ乗を用いても良い。
【００９１】
【数２２】
ここで、ベクトルｎminおよび角度θは１階の方向微分の２乗が最小になる方向であり、下記（数２３）によって与えられる。
【００９２】
【数２３】
さらに、画像ｆの画素値の分布に関する滑らかさの拘束としては、下記（数２４）から（数２６）のいずれかのＱを用いて、ｆの画素値のこう配に応じて拘束条件を適応的に変化させてもよい。なお、こう配とは 画像ｆの画素値の分布関数ｆを位置について１階微分することによって得られる。
【数２４】
【数２５】
【数２６】
【００９３】
（数２４）から（数２６）において、ｗ（ｘ，ｙ）は画素値のこう配の関数であり、拘束条件に対する重み関数である。例えば、下記（数２７）に示す画素値のこう配成分のべき乗和が、大きい場合にはｗ（ｘ，ｙ）の値が小さく、逆の場合にはｗ（ｘ，ｙ）の値が大きくなるようにすると、ｆのこう配に応じて拘束条件を適応的に変化できる。
【数２７】
【００９４】
このような重み関数を導入することにより、新たに生成される画像ｆが必要以上に平滑化されることを防ぐことができる。
【００９５】
また、（数２７）に示す輝度こう配の成分の２乗和の代わりに、（数２８）に示す方向微分の、べき乗の大小によって、重み関数ｗ（ｘ，ｙ）を定義してもよい。
【数２８】
【００９６】
ここで、ベクトルｎmaxおよび角度θは方向微分が最大になる方向であり、下記（数２９）によって与えられる。
【数２９】
【００９７】
（数１５）、（数１６）、（数２２）〜（数２６）に示したような、動画像ｆの画素値の分布に関する滑らかさの拘束を導入して（数４）を解く問題に対しては、公知の解法、たとえば有限要素法等の変分問題の解法を用いて計算することができる。
【００９８】
次に、ＲＧＢ画像ｆに含まれる画像の動きの分布に関する滑らかさの拘束を説明する。
【００９９】
ＲＧＢ画像ｆに含まれる画像の動きの分布に関する滑らかさの拘束としては、下記（数３０）または（数３１）を用いる。
【数３０】
【数３１】
【０１００】
ここで、ｕは動画像ｆから得られる各画素についての動きベクトルのｘ方向の成分を要素とする縦ベクトル、ｖは動画像ｆから得られる各画素についての動きベクトルのｙ方向の成分を要素とする縦ベクトルである。
【０１０１】
ｆから得られる画像の動きの分布に関する滑らかさの拘束としては、（数３０）、（数３１）に限らず、例えば（数３２）、（数３３）に示す１階または２階の方向微分としてもよい。
【数３２】
【数３３】
【０１０２】
さらに、（数３４）〜（数３７）に示すように、（数３０）〜（数３３）の拘束条件を、ｆの画素値のこう配に応じて適応的に変化させてもよい。これにより、画像内のエッジ（輝度変化が不連続な境界）部分に対する滑らかさ拘束の影響を、画像の平坦部分と比べて小さくすることができるため、画像内のエッジをより鮮明に再現することができる。
【数３４】
【数３５】
【数３６】
【数３７】
【０１０３】
ここで、ｗ（ｘ，ｙ）は、ｆの画素値のこう配に関する重み関数と同一であり、（数２７）に示す画素値のこう配の成分の、べき乗和、または、（数２８）に示す方向微分の、べき乗によって定義される。
【０１０４】
このような重み関数を導入することにより、ｆの動き情報が必要以上に平滑化されることを防ぐことができ、その結果、新たに生成される画像ｆが必要以上に平滑化されることを防ぐことができる。
【０１０５】
（数３０）〜（数３７）に示したような、画像ｆから得られる動きの分布に関する滑らかさの拘束を導入して（数４）を解く問題に関しては、ｆについての滑らかさの拘束を用いる場合と比較して複雑な計算が必要となる。新たに生成すべき画像ｆと動き情報（ｕ，ｖ）が相互に依存するためである。
【０１０６】
この問題に対しては、公知の解法、たとえばＥＭアルゴリズム等を用いた変分問題の解法を用いて計算することができる。その際、繰り返し計算に、新たに生成すべき画像ｆと動き情報（ｕ，ｖ）の初期値が必要になる。
【０１０７】
ｆの初期値としては、入力画像の補間拡大画像を用いればよい。一方、動き情報（ｕ，ｖ）としては、動き検出部２０１において（数１）ないし（数２）を計算して求めた動き情報を用いる。その結果、画像処理部１０５が、上述のごとく、（数３０）〜（数３７）に示したような、画像ｆから得られる動きの分布に関する滑らかさの拘束を導入して（数４）を解くことにより、処理結果の画質を向上させることができる。
【０１０８】
画像処理部１０５における処理は、（数１５）、（数１６）、（数２２）〜（数２６）に示した画素値の分布に関する滑らかさの拘束のいずれかと、（数３０）〜（数３７）に示した動きの分布に関する滑らかさの拘束のいずれかの両方を組み合わせて、（数３８）のように同時に用いてもよい。
【数３８】
【０１０９】
ここで、Ｑf はｆの画素値のこう配に関する滑らかさの拘束、Ｑuvはｆから得られる画像の動きの分布に関する滑らかさの拘束、λ1およびλ2 はＱf とＱuvの拘束に関する重みである。
【０１１０】
なお、ここでは複数の拘束条件の式について説明したが、これらの最適な組み合わせは、コスト、演算規模、回路規模等の装置の状況に応じて決定すればよい。たとえば、画質が最もよくなるものを選択するようにすればよい。「画質が最もよくなる」とは、たとえばその映像を確認する者の主観に基づいて決定することができる。
【０１１１】
画素値の分布に関する滑らかさの拘束と、画像の動きの分布に関する滑らかさの拘束の両方を導入して（数４）を解く問題も、公知の解法（たとえばＥＭアルゴリズム等を用いた変分問題の解法）を利用することができる。
【０１１２】
また、動きに関する拘束は、（数３０）〜（数３７）に示した動きベクトルの分布の滑らかさに関するものに限らず、対応点間の残差（動きベクトルの始点と終点間における画素値の差）を評価値として、これを小さくするようにしてもよい。対応点間の残差は、ｆを関数ｆ（ｘ，ｙ，ｔ）として表すと、（数３９）のように表すことができる。
【数３９】
【０１１３】
ｆをベクトルとして、画像全体について考えると、各画素における残差は下記（数４０）に示すようにベクトル表現することができる。
【数４０】
【０１１４】
残差の平方和は下記（数４１）に示すように表すことができる。
【数４１】
【０１１５】
（数４０）、（数４１）において、Ｈmはベクトルｆの要素数（時空間の総画素数）×ｆの要素数の行列である。Ｈmでは、各行において、動きベクトルの視点と終点に相当する要素だけが０でない値を持ち、それ以外の要素は０の値を持つ。動きベクトルが整数精度の場合、視点と終点に相当する要素が、それぞれ、−１と１の値を持ち、他の要素は０である。
【０１１６】
動きベクトルがサブピクセル精度の場合には、動きベクトルのサブピクセル成分の値に応じて、終点近傍の複数の画素に相当する複数の要素が値を持つことになる。
【０１１７】
（数４１）をＱmとおき、拘束条件を（数４２）のようにしてもよい。
【数４２】
【０１１８】
ここで、λ３は拘束条件Ｑmに関する重みである。
【０１１９】
以上述べた方法により、動き検出部２０１でＧSとＲとＢの低解像度動画像から抽出した動き情報を用いることにより、ベイヤ配列の撮像素子によって撮像されたＲＧＢの動画像を画像処理部１０５で高時空間解像度化することができる。
【０１２０】
なお、上述した画像処理部１０５におけるＲ，Ｇ，Ｂの画素値の計算方法は一例であり、他の計算方法を採用してもよい。例えば画像処理部１０５において、目的とするカラー画像ｆにおける各色の画像の空間的変化パターンが近い程度を表す評価関数Ｊを設定し、評価関数Ｊを最小化する目的画像ｆを求める。空間的変化パターンが近いことは、青画像、赤画像、および緑画像の空間的変化が相互に相似していることを意味する。
【０１２１】
評価関数Ｊの一例を（数４３）に示す。
【数４３】
【０１２２】
評価関数Ｊは、生成したい高解像度カラー画像（目的画像）ｆを構成する赤、緑、および青の各色の画像の関数として定義される。ここで、（数３８）右辺の第１項、第２項は、（数３）におけるべき指数Ｍを２としたものと同一である。
【０１２３】
低解像度化画像および入力画像の対応画素位置における画素値の差の２乗和を、評価関数の評価条件として設定する（（数４３）の右辺第１項および第２項）。つまり、これらの評価条件は、低解像度化画像に含まれる各画素値を要素とするベクトルと、入力画像に含まれる各画素値を要素とするベクトルとの差分ベクトルの大きさを表す。
【０１２４】
（数４３）の右辺第３項、第４項、第５項のＱsは、画素値の空間的な滑らかさを評価する評価条件である。 Ｑsの例であるＱs1およびＱs2を（数４４）および（数４８）に示す。
【数４４】
【０１２５】
（数４４）において、θH（ｘ，ｙ）、ψH（ｘ，ｙ）、ｒH（ｘ，ｙ）は、目的画像の画素位置（ｘ，ｙ）における赤、緑、青のそれぞれの画素値で表される３次元直交色空間（いわゆるＲＧＢ色空間）内の位置を、ＲＧＢ色空間に対応する球面座標系（θ、ψ、ｒ）で表現した場合の座標値である。ここで、θH（ｘ，ｙ）とψH（ｘ，ｙ）は２種類の偏角を表し、ｒH（ｘ，ｙ）は動径を表す。
【０１２６】
図１２は、ＲＧＢ色空間と球面座標系（θ、ψ、ｒ）との対応例を示す。
【０１２７】
図１２では、一例として、θ＝０°かつψ＝０°の方向をＲＧＢ色空間のＲ軸の正方向とし、θ＝９０°かつψ＝０°の方向をＲＧＢ色空間のＧ軸の正方向としている。ここで、偏角の基準方向は、図１２に示す方向に限定されることなく、他の方向であってもよい。このような対応に従って、画素ごとに、ＲＧＢ色空間の座標値である赤、緑、青のそれぞれの画素値を、球面座標系（θ、ψ、ｒ）の座標値に変換する。
【０１２８】
目的画像の各画素の画素値をＲＧＢ色空間内の３次元ベクトルとして考えた場合に、３次元ベクトルをＲＧＢ色空間に対応付けられる球面座標系（θ、ψ、ｒ）で表現すると、画素の明るさ（信号強度、輝度も同義である）は、ベクトルの大きさを表すｒ軸の座標値に相当する。また、画素の色彩（色相、色差、彩度などを含む色情報）を表すベクトルの向きは、θ軸およびψ軸の座標値によって規定される。このため、球面座標系（θ、ψ、ｒ）を用いることにより、画素の明るさおよび色彩を規定するｒ、θ、ψの３つのパラメータを個別に取り扱うことができる。
【０１２９】
（数４４）は、目的画像の球面座標系で表現された画素値の、ｘｙ空間方向の２階差分値の２乗和を定義している。（数４４）は、目的画像内で空間的に隣り合う画素における球面座標系で表現された画素値の変化が一様であるほど、値が小さくなる条件Ｑs1を定義している。画素値の変化が一様であることは、画素の色が連続していることに対応する。条件Ｑs1の値が小さくあるべきということは、目的画像内の空間的に隣り合う画素の色が連続すべきということを表している。
【０１３０】
なお、上述の条件は、被写体が色々な模様を含んでいる場合でも実用上問題にならない。その理由は以下のとおりである。
【０１３１】
上記条件はＲＧＢを色空間で変換していることから明らかなように、色間での情報のやり取りをしている。本願で行っている画像生成処理は、色間の相関関係を用いて、解像度に関する情報を復元する処理である。大部分の被写体では、分光分布が比較的ブロードであるため、ＲＧ間ないしＧＢ間に相関関係が生じ、被写体が色々な模様を含んでいる場合であっても単色の場合にも、ＲＧＢのうちの２色以上に影響を与える。一方、レーザーやＬＥＤ等一部の被写体では、その分光分布が狭い波長域にピーキーに集中する。しかしながらこのような場合でも、撮像素子に使われているカラーフィルターアレイの分光特性が比較的ブロードであるため、その影響によりＲＧＢのうち２色以上の画像に撮影される。
【０１３２】
以上から、本願で行っている画像生成処理は、被写体が単色である場合、色々な色を含んでいる場合、または、被写体の分光特性がブロードな場合、ナローな場合のいずれの場合であっても、実用上問題なく動作する。
【０１３３】
画像中において画素の明るさの変化および画素の色彩の変化は、物理的に異なる事象から生じ得る。このため、（数４４）に示すように、画素の明るさの連続性（ｒ軸の座標値の変化の一様性）に関する条件（（数４４）の大括弧内の第３項）と、画素の色彩の連続性（θ軸およびψ軸の座標値の変化の一様性）に関する条件（（数４４）の大括弧内の第１項および第２項）とを個別に設定することにより、望ましい画質を得やすくなる。
【０１３４】
λθ（ｘ，ｙ）、λψ（ｘ，ｙ）、およびλr（ｘ，ｙ）は、それぞれ、θ軸、ψ軸、およびｒ軸の座標値を用いて設定される条件に対して、目的画像の画素位置（ｘ，ｙ）において適用される重みである。これらの値は、予め定めておく。簡単には、λθ（ｘ，ｙ）＝λψ（ｘ，ｙ）＝１．０、λr（ｘ，ｙ）＝０．０１のように、画素位置やフレームに依らずに設定してもよい。また、好ましくは、画像中の画素値の不連続性などが予測できる位置において、この重みを小さく設定してもよい。画素値が不連続であることは、入力画像のフレーム画像内の隣り合う画素における画素値の差分値や２階差分値の絶対値が一定値以上であることにより判断してもよい。
【０１３５】
画素の色彩の連続性に関する条件に適用する重みを、画素の明るさの連続性に関する条件に適用する重みよりも大きくしておくことが望ましい。これは、被写体表面の凹凸や動きによる被写体表面の向き（法線の向き）の変化によって、画像中の画素の明るさが色彩に比べて変化しやすい（一様性に乏しい）ことによる。
【０１３６】
なお、（数４４）では、目的画像の球面座標系で表現された画素値の、ｘｙ空間方向の２階差分値の２乗和を条件Ｑs1として設定したが、（数４５）に示す２階差分値の絶対値和、または（数４６）に示す１階差分値の２乗和もしくは（数４７）に示す１階差分値の絶対値和を条件として設定してもよい。
【数４５】
【数４６】
【数４７】
【０１３７】
上記説明ではＲＧＢ色空間に対応付けられる球面座標系（θ、ψ、ｒ）を用いて色空間条件を設定したが、用いる座標系は球面座標系に限るものではなく、画素の明るさと色彩とを分離しやすい座標軸を有する新たな直交座標系において条件を設定することで、前述と同様の効果が得られる。
【０１３８】
新たな直交座標系の座標軸は、例えば、入力動画像または基準となる他の動画像に含まれる画素値のＲＧＢ色空間内での頻度分布を主成分分析することで固有ベクトルの方向を求め、求めた固有ベクトルの方向に設ける（固有ベクトル軸とする）ことができる。
【数４８】
【０１３９】
（数４８）において、Ｃ1（ｘ，ｙ）、Ｃ2（ｘ，ｙ）、Ｃ3（ｘ，ｙ）は、目的画像の画素位置（ｘ，ｙ）における赤、緑、青のそれぞれの画素値であるＲＧＢ色空間の座標値を、新たな直交座標系の座標軸Ｃ1、Ｃ2、Ｃ3の座標値に変換する回転変換である。
【０１４０】
（数４８）は、目的画像の新たな直交座標系で表現された画素値の、ｘｙ空間方向の２階差分値の２乗和を定義している。（数４８）は、目的画像の各フレーム画像内で空間的に隣り合う画素における新たな直交座標系で表現された画素値の変化が一様である（つまり画素値が連続している）ほど、値が小さくなる条件Ｑｓ２を定義している。
【０１４１】
条件Ｑs2の値が小さくあるべきことは、目的画像内の空間的に隣り合う画素の色が連続すべきことを表している。
【０１４２】
λＣ1（ｘ，ｙ）、λＣ2（ｘ，ｙ）、λＣ3（ｘ，ｙ）はそれぞれ、Ｃ1軸、Ｃ2軸、Ｃ3軸の座標値を用いて設定される条件に対して、目的画像の画素位置（ｘ，ｙ）において適用される重みであり、予め定めておく。
【０１４３】
Ｃ1軸、Ｃ2軸、Ｃ3軸が固有ベクトル軸である場合、各固有ベクトル軸に沿ってλＣ1（ｘ，ｙ）、λＣ2（ｘ，ｙ）、λＣ3（ｘ，ｙ）の値を個別に設定することで、固有ベクトル軸によって異なる分散の値に応じて好適なλの値を設定できるという利点がある。すなわち、非主成分の方向には分散が小さく、２階差分の２乗和が小さくなることが期待できるため、λの値を大きくする。逆に、主成分の方向にはλの値を相対的に小さくする。
【０１４４】
以上、２種類の条件Ｑs1、Ｑs2の例を説明した。条件Ｑsとしては、Ｑs1、Ｑs2いずれを用いることもできる。
【０１４５】
例えば、（数４４）に示される条件Ｑs1を用いた場合、球面座標系（θ、ψ、ｒ）を導入することにより、色情報を表すθ軸およびψ軸の座標値、ならびに信号強度を表すｒ軸の座標値のそれぞれの座標値を個別に用いて条件を設定し、かつ条件の設定に際して色情報と信号強度とにそれぞれ好適な重みパラメータλを付与できるので、高画質の画像の生成が容易になるという利点がある。
【０１４６】
（数４８）に示される条件Ｑs2を用いた場合、ＲＧＢ色空間の座標値から線型（回転）変換によって得られる新たな直交座標系の座標値で条件を設定するため、演算が簡素化できる利点がある。
【０１４７】
また、固有ベクトル軸を新たな直交座標系の座標軸Ｃ1、Ｃ2、Ｃ3とすることにより、より多くの画素が影響を受ける色の変化を反映した固有ベクトル軸の座標値を用いて条件設定できる。このため、単純に赤、緑、青の各色成分（コンポーネント）の画素値を用いて条件を設定する場合と比べて、得られる目的画像の画質の向上が期待できる。
【０１４８】
なお、評価関数Ｊは、上記に限定するものではなく、（数４３）の項を類似式からなる項と置換し、また異なる条件を表す新たな項を追加してもよい。
【０１４９】
次に、（数４３）の評価関数Ｊの値をできるだけ小さく（望ましくは最小に）する目的画像の各画素値を求めることによって、目的画像の各色画像ＲH、ＧH、ＢHを生成する。
【０１５０】
評価関数Ｊを最小にする目的画像ｇは、例えば、Ｊを目的画像ｆの各色画像ＲH、ＧH、ＢHの各画素値成分で微分した式を全て０とおいた（数４９）の方程式を解いて求めることができる。
【数４９】
【０１５１】
各辺の微分式が０になるのは、数４３の第１項〜第３項の各項が表している各２次式の傾きが０となるときである。このときのＲH、ＧH、ＢHが、各２次式の最小値を与える望ましい目的画像であるといえる。
【０１５２】
他の方法として、たとえば最急勾配法などの反復演算型の最適化手法を用いて望ましい目的画像を求めてもよい。
【０１５３】
なお、本実施形態では、出力するカラー画像をＲＧＢとして説明したが、例えばＹＰｂＰｒ等、ＲＧＢ以外のカラー画像を出力することももちろんできる。すなわち、上記（数４９）と、下記（数５０）とから、（数５１）に示す変数変換を行うことができる。
【数５０】
【数５１】
【０１５４】
さらに、ＹＰｂＰｒ４：２：２フォーマットの場合、Ｐｂ、ＰｒはＹと比べて水平画素数が半分であることを考慮して、下記（数５２）の関係を利用することにより、ＹH、ＰｂL、ＰｒLについての連立方程式を立てることができる。
【数５２】
【０１５５】
この場合、連立方程式で解くべき変数の総数をＲＧＢの場合と比べて３分の２に低減させることができ、演算量を低減できる。
【０１５６】
以上説明したように、実施形態１によれば、単板撮像素子に時間加算と空間加算の機能を付加し、画素毎に時間加算もしくは空間加算された入力画像から新たな画像を生成することによって、撮像時に光量を確保しつつ高解像度かつ高フレームレートで、動きぶれのすくない画像（空間加算と時間加算を行なわずに全画素を読み出した画像）を推定し生成することができる。
【０１５７】
（実施形態１の変形例）
実施形態１では、画像処理部１０５における処理に、数１０や数１２を用いた劣化拘束、動き検出を用いた動き拘束、画素値の分布に関する滑らかさ拘束の全てを用いる場合を主に述べた。
【０１５８】
種々の拘束のうち、特に動き拘束については演算量が多く、装置の計算機資源を必要とする。そこで本変形例においては、これらの拘束のうち動き拘束を用いない処理を説明する。
【０１５９】
図１３は、動き検出部２０１を含まない画像処理部１０５を有する撮像処理装置２００の構成を示すブロック図である。画像処理部１０５の画像生成部１１１は、動き拘束を用いることなく、新たな画像を生成する。
【０１６０】
図１３において、図１および図６と同じ動作をする構成要素には、図１および図６と同一の符号を付し、説明を省略する。
【０１６１】
従来の技術では、動き拘束を用いない場合、処理結果に明らかな画質の低下が生じる。
【０１６２】
しかしながら、本発明では顕著な画質低下を生じさせずに動き拘束を省くことができる。その理由は、単板カラー撮像素子１０２の長時間露光および短時間露光を行うそれぞれのラインに、複数の色成分を検出する画素が混在しているためである。ＲＧＢそれぞれの色チャンネルにおいて、短時間露光によって撮影された画素と長時間露光によって撮影された画素が混在するため、動き拘束を用いずに画像を生成した際に、短時間露光によって撮影された画素値が色にじみの発生を抑える効果がある。さらに、動き拘束条件を課すことなく新たな動画像を生成するため、演算量を低減することができる。
【０１６３】
以下に、画像生成部１１１による高画質化処理を説明する。
【０１６４】
（数４）においてＭ＝２とし、Ｑとして（数１５）ないし（数１６）を用い、これらの式におけるｍを２とする。そして、１階微分、２階微分の差分展開として（数１９）、（数２０）、（数２１）のいずれかを用いると、もしくは、（数４３）においてＰ＝２とすると、評価式Ｊはｆの２次式となる。評価式を最小化するｆの計算は、数５３により、ｆについての連立方程式の計算に帰着する。
【数５３】
ここで、解くべき連立方程式を（数５４）のようにおく。
【数５４】
【０１６５】
（数５４）において、ｆは生成する画素数（１フレームの画素数×処理するフレーム数）分の要素を持つため、（数５４）の計算量は通常、非常に大規模になる。このような大規模な連立方程式の解法として、共役勾配法や最急降下法等の繰り返し計算により解ｆを収束させる方法（繰り返し法）が一般的に用いられる。
【０１６６】
動き拘束を用いずにｆを求める際には、評価関数が劣化拘束項と滑らかさ拘束項だけになるため、処理がコンテンツに依存しなくなる。このことを利用すると、連立方程式（数５４）の係数行列Ａの逆行列をあらかじめ計算でき、これを用いることで直説法により画像処理を行うようにできる。
【０１６７】
（数１６）に示す滑らかさ拘束を用いる場合、ｘおよびｙの２階偏微分は、例えば、（数１９）に示すように１，−２，１の３つの係数のフィルタとなり、その２乗は１，−４，６，−４，１の５つの係数のフィルタとなる。これらの係数は、水平方向のフーリエ変換と逆変換とで係数行列を挟むことにより、対角化することができる。同様に、長時間露光の劣化拘束も、時間方向のフーリエ変換と逆フーリエ変換とで係数行列を挟むことにより、対角化することができる。すなわち、（数５５）のように行列をΛを置くことができる。
【数５５】
【０１６８】
これにより、一行あたりのノンゼロ係数の数を係数行列Ａと比べて低減させることができる。その結果、Λの逆行列Λ-1の計算が容易になる。そして、（数５６）および（数５７）により、ｆを直接法により、繰り返し計算を行わずに、より少ない演算量と回路規模で求めることができる。
【数５６】
【数５７】
【０１６９】
（実施形態２）
実施形態１では、単板カラー撮像素子を用いる場合について述べた。しかしながら、単板カラー撮像素子を利用した処理は一例である。
【０１７０】
本実施形態においては、３板撮像素子を用いた撮像処理装置３００を説明する。
【０１７１】
図１４は、本実施形態による撮像処理装置３００の構成を示すブロック図である。実施形態の撮像処理装置３００は、光学系５０１と、ダイクロイックプリズム５０２と、Ｂ用撮像素子５０３と、Ｒ用撮像素子５０４と、Ｇ用撮像素子５０５と、Ｂ用制御部５０６と、Ｒ用制御部５０７と、Ｇ用制御部５０８と、画像処理部５０９と、制御部５１０とを備える。
【０１７２】
以下に、上記各構成要素の動作を説明する。
【０１７３】
まず、制御部５１０は、撮像処理装置３００全体の動作を制御する。後述する各構成要素の動作は制御部５１０からの指示に基づいて行われる。
【０１７４】
光学系５０１は、例えば、カメラレンズであり、被写体の像を撮像素子の像面に結像させる。
【０１７５】
ダイクロイックプリズム５０２は、光学系５０１から入ってきた入射光を波長毎（Ｒ，Ｇ，Ｂの各々）に分離して、Ｒ（レッド），Ｇ（グリーン），Ｂ（ブルー）の各色成分画像を生成する。
【０１７６】
Ｂ用撮像素子５０３、Ｒ用撮像素子５０４、Ｇ用撮像素子５０５は、ダイクロイックプリズム５０２により分光されたＢ（ブルー）、Ｒ（レッド）、Ｇ（グリーン）の各色の像を撮影する。
【０１７７】
Ｂ用制御部５０６、Ｒ用制御部５０７、Ｇ用制御部５０８は、それぞれ、Ｂ用撮像素子５０３、Ｒ用撮像素子５０４、Ｇ用撮像素子５０５の露光タイミング、読み出しタイミングを制御する。図１５および図１６は、各制御部による各撮像素子の露光時間、露光タイミングを示す。Ｒ，Ｇ，Ｂのそれぞれについて、図１５および図１６に示す露光タイミングおよび読み出しタイミングで画素信号の読み出しが制御される。より具体的には、図１５は、長時間露光ラインおよび短時間露光ラインのライン位置をそれぞれ示している。また図１６は、短時間露光ラインおよび長時間露光ラインの露光時間をそれぞれ示す。本実施形態では、長時間露光ライン２ラインと、短時間露光ライン１の組み合わせについて説明する。
【０１７８】
なお図１５および図１６の記載の意味は、図３Ａ、２Ｂ、２Ｃ、および、図４Ａおよび３Ｂの記載に準ずる。図１５および図１６では、短時間露光ラインには添え字の「Ｓ」を付し、長時間露光ラインには添え字の「Ｌ」を付している。
【０１７９】
図１５および図１６に示すように、Ｒ，Ｇ，Ｂで短時間露光ラインの位置が異なるように配置することにより、後述する画像処理部５０９における処理結果の解像度を高めることができる。
【０１８０】
画像処理部５０９は、Ｂ用撮像素子５０３、Ｒ用撮像素子５０４、Ｇ用撮像素子５０５によってそれぞれ撮像された長時間露光画素信号と短時間露光画素信号とを受け取り、上述の実施形態１の処理と同様の高画質化処理を行って、カラー動画像を生成する。以下に、実施形態１の処理との違いを主に説明する。
【０１８１】
実施形態１では単板カラー撮像素子１０２を用いて撮像を行った。本実施形態では３板撮像素子を用いて撮像を行う。そのため、実施形態１において（数１０）および（数１２）で表されていた劣化拘束が、本実施形態では異なる式となる。
【０１８２】
以下に、サンプリング過程Ｈ1およびＨ2の定式化の例を説明する。図１５および図１６に直接対応するサンプリング過程Ｈ1およびＨ2を本願明細書に具体的に記載することは可能である。しかしながら、そうすると当該Ｈ1、Ｈ2の行列の幅が１４４（＝画像の幅４×画像の高さ３×フレーム数４×ＲＧＢ３色）になり、非常に煩雑となる。
【０１８３】
そこで以下では、サンプリング過程Ｈ1およびＨ2の定式化を図１５および図１６よりも簡単な例を用いて説明する。
【０１８４】
本願明細書では、幅１画素（ｘ＝１）、高さ３画素（ｙ＝１，２，３）、２フレーム（ｔ＝１，２）の画像を３板撮像素子で撮像する。そして、Ｂ用撮像素子５０３、Ｒ用撮像素子５０４、Ｇ用撮像素子５０５の各々のｙ＝１のラインにおいて、Ｒの画素は長時間露光により２フレーム分時間加算し、ＧおよびＢの画素は短時間露光で撮影する。また各撮像素子のｙ＝２のラインにおいて、Ｇの画素は長時間露光により２フレーム分時間加算し、Ｒ，Ｂの画素は短時間露光で撮影し、ｙ＝３のラインでＢの画素は長時間露光により２フレーム分時間加算し、Ｒ，Ｇの画素は短時間露光で撮影する場合のｇL、ｇSの撮像過程について考える。
【０１８５】
まず、ｇLを以下のように定める。
【数５８】
ここで、ｇRL、ｇGL、ｇBLは、それぞれ、長時間露光によって撮影されたＲ，Ｇ，Ｂの画素値を要素とする縦ベクトルである。また、次のようにｆを定める。
【数５９】
【０１８６】
実施形態１において詳細に説明した考え方と同様の考え方により、サンプリング過程Ｈ1は以下のように定められる。
【数６０】
【０１８７】
すると、Ｈ1ｆは以下の数６１によって与えられる。
【数６１】
【０１８８】
次に、新たにｇLを以下のように定める。
【数６２】
ここで、ｇRS、ｇGS、ｇBSは、それぞれ、長時間露光によって撮影されたＲ，Ｇ，Ｂの画素値を要素とする縦ベクトルである。
【０１８９】
また、実施形態１と同様に、サンプリング過程Ｈ2は以下のように定められる。
【数６３】
【０１９０】
すると、Ｈ2ｆは以下の数６４によって与えられる。
【数６４】
【０１９１】
劣化拘束以外については、本実施形態と実施形態１の画像処理部の動作は、同一である。
【０１９２】
以上述べた処理を行うことにより、カラー動画像を生成することができる。
【０１９３】
（実施形態３）
近年、多くの機器において電子式ビューファインダが利用され始めている。しかしながら、特許文献１に記載の技術によってそのような電子式ビューファインダを実現しようとすると、撮影時にビューファインダに色にじみや遅延のない映像を表示することが困難であった。その理由は、ある１つの色について全画素で長時間露光をしているためである。
【０１９４】
これに対して、本発明の実施形態１、２では、第１色から第３色までのすべてで、一部の画素を短時間露光で撮影している。そのため、本実施形態では、短時間露光で撮影された画素の情報をビュファインダに表示することにより、遅延や色にじみのない映像を撮影者に提示する。
【０１９５】
図１７は、本実施形態における撮像処理装置４００の構成を示すブロック図である。図１７において、図１と同一の動作をするものについては、図１と同一の符号を付し、説明を省略する。
【０１９６】
撮像処理装置４００は、光学系１０１と、単板カラー撮像素子１０２と、読み出し制御部１０３と、制御部１０４と、画像処理部１０５と、表示制御部８０１と、表示部８０２とを備えている。
【０１９７】
単板カラー撮像素子１０２によって短時間露光撮影された画素信号は、表示制御部８０１に入力される。ここでは、ＲＧＢの３色が短時間露光で撮影される必要があるため、制御部１０４は読み出し制御部１０３を制御して、長時間露光と短時間露光の行毎の切り替えを、図３Ａに示す周期ではなく、図３Ｂに示す周期で行う。その理由は、図３Ａの場合、Ｒが常に長時間露光となり、Ｒの短時間露光画像が得られないためである。
【０１９８】
表示制御部８０１は、入力された短時間露光画像の画素信号に表示のための処理を施す。たとえば表示制御部８０１は、簡単な補間処理によって、ＲＧＢ各色のサンプリング位置を揃え、また、アスペクト比を調整する。
【０１９９】
一例として、図１８は、短時間露光画像を構成するＲ，Ｇ，およびＢの各色画像に補間処理を行い、その後、各色画像を縮小して表示部８０２に表示するための各色画像を生成する処理の概念図である。他の例として、図１９は、短時間露光画像を構成するＲ，Ｇ，およびＢの各色画像に補間処理およびアスペクト比の変更処理を行って表示部８０２に表示するための各色画像を生成する処理の概念図である。表示制御部８０１は、図１８および図１９に示すような処理を行った後、各色画像に、サンプリング位置を揃えるための位置合わせ処理を行い、表示部８０２に表示する。
【０２００】
撮影者は、表示された画像を見ることで、構図やフォーカス調整を行うことができる。
【０２０１】
（実施形態の３の変形例）
上述の実施形態３においては、単板カラー撮像素子１０２を用いた撮像処理装置４００のビューファインダを説明した。本変形例は、単板カラー撮像素子１０２に代えて、３板撮像素子およびビューファインダを有する撮像処理装置を説明する。
【０２０２】
図２０は、３板撮像素子５０３〜５０５およびビューファインダである表示部９０１を有する撮像処理装置５００の構成を示すブロック図である。図２０において、図１４と同一の動作をするものについては、図１４と同一の符号を付し、説明を省略する。なお、制御部５１０からの制御信号は、簡略化のため省略している。
【０２０３】
撮像素子５０３、５０４、５０５において短時間露光撮影された画素信号は、表示部（ビューファインダ）９０１に入力される。ここで、長時間露光と短時間露光の行毎の切り替えは、図１５および図１６に示す周期で行う。ビューファインダである表示部９０１では、入力された短時間露光画像を、たとえば、実施形態３と同様の簡単な補間処理によって、ＲＧＢ各色のサンプリング位置を揃え、また、アスペクト比を調整したうえで、撮影者に表示する。
【０２０４】
撮影者は、表示された画像を見ることで、構図やフォーカス調整を行うことができる。
【０２０５】
以上述べたように、本発明にかかる撮像処理装置は、光学系、撮像素子、読み出し制御部、画像処理部を有し、小型撮像素子による高解像度かつ高感度撮影向けの技術として有用である。また、そのような撮影を行う際のビューファインダ上に画像を表示する用途にも応用できる。
【０２０６】
なお、本明細書における画像処理部１０５は装置として実現されなくてもよい。たとえば、コンピュータである汎用のプロセッサがコンピュータ読み取り可能な記録媒体に記録されたコンピュータプログラムを実行することにより、上述した画像処理部１０５の動作を行ってもよい。そのようなコンピュータプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送される。
【０２０７】
上述の実施形態においては、Ｒ，ＧおよびＢの３色でカラー動画像を撮影するとして説明した。しかしながら、これらの色成分の分け方は一例である。たとえば、シアン、マゼンタ、イエローの３色のカラーフィルタを用いてもよい。また、３色ではなく、２色または４色以上のフィルタを用いてもよい。
【符号の説明】
【０２０８】
１００ 撮像処理装置
１０１ 光学系
１０２ 単板カラー撮像素子
１０３ 読み出し制御部
１０４ 制御部
１０５ 画像処理部
８０１、９０１ 表示部（ビューファインダ）
【技術分野】
【０００１】
本発明は、動画像の撮像処理に関する。具体的には、撮影された動画像の解像度およびフレームレートの少なくとも一方を画像処理によって高くした新たな動画像を生成する技術に関する。
【背景技術】
【０００２】
従来の撮像処理装置においては、高解像度化を図る目的で撮像素子の画素数が増加する傾向にあった。撮像素子全体のサイズを大きくするには限界があるため、各画素を小型化せざるを得ない。その一方、画素寸法が小型化されるほど、撮像素子の１画素に入射する光量が減少していた。その結果、各画素の信号対雑音比（Ｓ／Ｎ）の低下につながり、画質を維持することが困難であった。
【０００３】
特許文献１は、赤、緑、青のそれぞれ光を検出する３枚の撮像素子を利用し、露光時間を制御して得られる信号を処理することによって、高解像度で高フレームレートかつ高感度の画像の復元を実現している。この方法では、２種類の解像度の撮像素子が用いられている。一方の高解像度な撮像素子は長時間露光で画素信号を読み出し、他方の低解像度な撮像素子は短時間露光で画素信号を読み出す。これにより、光量を確保していた。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１０５９９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
高解像度の画素信号を長時間露光で読み取ると、被写体が動いている場合には動きぶれが入った画像になってしまう。そのため、得られた動画像の画質は結果として高かったものの、動きの検出が困難な一部の範囲においては復元した画像上に色にじみが見られることがあり、画質改善の余地があった。
【０００６】
本発明の目的は、光量を確保しつつ、色にじみの発生を低減した画像を得ることである。本発明の他の目的は、同時に高フレームで高解像度な画像を生成することである。
【課題を解決するための手段】
【０００７】
本発明のある実施形態による撮像処理装置は、所定のフレームレートに対応する第１露光時間で画素信号が読み出される複数の第１ラインおよび前記所定のフレームレートよりも長い第２露光時間で画素信号が読み出される複数の第２ラインを有する単板カラー撮像素子であって、前記第１ラインおよび前記第２ラインの各々は、前記第１色成分の光を検出する画素、第２色成分の光を検出する画素および第３色成分の光を検出する画素の少なくとも２種類を有している単板カラー撮像素子と、前記第１露光時間および前記第２露光時間でそれぞれ読み出された画素信号に基づいて得られた、被写体の前記第１色成分の動画像を表す第１動画像、前記第２色成分の動画像を表す第２動画像、および、前記第３色成分の動画像を表す第３動画像を受け取り、前記所定のフレームレートを有する新たな動画像を生成する画像処理部とを備えている。
【０００８】
前記画像処理部は、前記第１露光時間で読み出された画素信号に基づいて得られた、前記第１色成分の動画像、前記第２色成分の動画像および前記第３色成分の動画像と、前記新たな動画像を前記第１露光時間でサンプリングして得られた動画像との第１の差、および、前記第２露光時間で読み出された画素信号に基づいて得られた前記第１色成分の動画像、前記第２色成分の動画像および前記第３色成分の動画像と、前記新たな動画像を前記第２露光時間でサンプリングして得られた動画像との第２の差とを少なくとも含む評価式を設定し、前記評価式を最小化する動画像を、前記新たな動画像として求めてもよい。
【０００９】
前記画像処理部は、前記第１露光時間で読み出された画素信号に基づいて得られた前記第１色成分の動画像、前記第２色成分の動画像および前記第３色成分の動画像を利用して、前記被写体の動きを検出する動き検出部と、前記動きの検出結果を利用して前記新たな動画像の動きの分布に関する拘束条件を設定し、前記動きの分布に関する拘束条件をさらに含む前記評価式を最小化する動画像を、前記新たな動画像として求める画像生成部とを備えていてもよい。
【００１０】
前記画像処理部は、前記新たな動画像の画素値の分布の変化が少なくなるよう、または、前記新たな動画像の画素値の変化が一定になるよう、画素値の分布に関する拘束条件を設定し、前記画素値の分布に関する拘束条件をさらに含む前記評価式を最小化する動画像を、前記新たな動画像として求めてもよい。
【００１１】
前記撮像処理装置は、前記第１露光時間で読み出された画素信号に基づいて得られた前記第１色成分の動画像、前記第２色成分の動画像および前記第３色成分の動画像に、表示のために予め定められた画像処理を施す表示制御部と、前記表示制御部によって画像処理された前記第１動画像、前記第２動画像および前記第３動画像を表示する表示部とをさらに備えていてもよい。
【００１２】
本発明の他の実施形態に係る撮像処理装置は、所定のフレームレートに対応する第１露光時間で画素信号が読み出される複数の第１ラインおよび前記所定のフレームレートよりも長い第２露光時間で画素信号が読み出される複数の第２ラインをそれぞれ有する第１撮像素子、第２撮像素子および第３撮像素子であって、前記第１撮像素子は第１色成分の光を検出する画素を有し、前記第２撮像素子は第２色成分の光を検出する画素を有し、前記第３撮像素子は第３色成分の光を検出する画素を有する、第１撮像素子、第２撮像素子および第３撮像素子と、前記第１撮像素子から前記第１露光時間および前記第２露光時間でそれぞれ読み出された画素信号を受け取り、前記第２撮像素子から前記第１露光時間および前記第２露光時間でそれぞれ読み出された画素信号をそれぞれ受け取り、かつ、前記第３撮像素子から前記第１露光時間および前記第２露光時間でそれぞれ読み出された画素信号を受け取って、前記所定のフレームレートを有する新たな動画像を生成する画像処理部とを備えている。
【００１３】
前記画像処理部は、前記第１露光時間で読み出された画素信号に基づいて得られた、前記第１色成分の動画像、前記第２色成分の動画像および前記第３色成分の動画像と、前記新たな動画像を前記第１露光時間でサンプリングして得られた動画像との第１の差、および、前記第２露光時間で読み出された画素信号に基づいて得られた前記第１色成分の動画像、前記第２色成分の動画像および前記第３色成分の動画像と、前記新たな動画像を前記第２露光時間でサンプリングして得られた動画像との第２の差とを少なくとも含む評価式を設定し、前記評価式を最小化する動画像を、前記新たな動画像として求めてもよい。
【００１４】
前記画像処理部は、前記第１露光時間で読み出された画素信号に基づいて得られた前記第１色成分の動画像、前記第２色成分の動画像および前記第３色成分の動画像を利用して、前記被写体の動きを検出する動き検出部と、前記動きの検出結果を利用して前記新たな動画像の動きの分布に関する拘束条件を設定し、前記動きの分布に関する拘束条件をさらに含む前記評価式を最小化する動画像を、前記新たな動画像として求める画像生成部とを備えていてもよい。
【００１５】
前記画像処理部は、前記新たな動画像の画素値の分布の変化が少なくなるよう、または、前記新たな動画像の画素値の変化が一定になるよう、画素値の分布に関する拘束条件を設定し、前記画素値の分布に関する拘束条件をさらに含む前記評価式を最小化する動画像を、前記新たな動画像として求めてもよい。
【００１６】
前記撮像処理装置は、前記第１露光時間で読み出された画素信号に基づいて得られた前記第１色成分の動画像、前記第２色成分の動画像および前記第３色成分の動画像に、表示のために予め定められた画像処理を施す表示制御部と、前記表示制御部によって画像処理された前記第１動画像、前記第２動画像および前記第３動画像を表示する表示部とをさらに備えていてもよい。
【発明の効果】
【００１７】
本発明によれば、撮像処理装置の単板カラー撮像素子は、所定のフレームレートに対応する露光時間で露光して得られた画素信号が読み出される複数の第１ライン（短時間露光ライン）および当該所定のフレームレートよりも長い露光時間で露光して得られた画素信号が読み出される複数の第２ライン（長時間露光ライン）を有している。この単板カラー撮像素子の第１ラインおよび第２ラインの各々には、第１色成分の光を検出する画素および第２色成分の光を検出する画素が複数設けられている。この単板カラー撮像素子を用いることで、第１色成分および第２色成分のそれぞれについて、あるフレームレートで動画像の画素信号と、当該フレームレートよりも長い露光時間で撮影された動画像の画素信号とが得られる。これにより、第１色成分または第２色成分のいずれかの動画像を常に長時間露光によって撮影した場合と比較して、被写体の動きに起因する色にじみを抑制した画像信号を得ることができる。
【００１８】
本発明の撮像処理装置は、長時間露光の読み出しをしていた色成分画像の画素（たとえばＧ画素）を、２種類の画素、すなわち長時間露光の画素と、短時間露光の画素とに分けて、各種類の画素から信号を読み出し、読み出した信号を利用して画像生成処理を行うことにより、全て長時間露光によって画像信号を得た場合と比較して被写体の動きに起因する色にじみを抑制した画像信号を得ることができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態１による撮像処理装置１００の構成を示すブロック図である。
【図２】単板カラー撮像素子１０２の一例を示す図である。
【図３Ａ】長時間露光ラインと短時間露光ラインの配置の例を示す図である。
【図３Ｂ】長時間露光ラインと短時間露光ラインの配置の例を示す図である。
【図３Ｃ】長時間露光ラインと短時間露光ラインの配置の例を示す図である。
【図４Ａ】図３Ａの各画素の露光時間を模式的に示す図である。
【図４Ｂ】図３Ｂの各画素の露光時間を模式的に示す図である。
【図５Ａ】ｘ−ｙ方向に広がるフレーム画像を構成する各画素の露光時間（読み出しタイミング）を、複数のフレーム画像について示す鳥瞰図である。
【図５Ｂ】ｘ−ｙ方向に広がるフレーム画像を構成する各画素の露光時間（読み出しタイミング）を、複数のフレーム画像について示す鳥瞰図である。
【図６】画像処理部１０５の詳細な構成の一例を示す図である。
【図７】撮像処理装置１００の処理の手順を示すフローチャートである。
【図８】（ａ）および（ｂ）は、ブロックマッチングによって動き検出を行うときの基準フレームと参照フレームとを示す図である。
【図９】共役勾配法の処理手順を示す図である。
【図１０】図９に示す処理を行うための画像生成部２０２の構成例を示す図である。
【図１１】準ニュートン法の処理手順を示す図である。
【図１２】ＲＧＢ色空間と球面座標系（θ、ψ、ｒ）との対応例を示す図である。
【図１３】動き検出部２０１を含まない画像処理部１０５を有する撮像処理装置２００の構成を示すブロック図である。
【図１４】本発明の実施形態２による撮像処理装置３００の構成を示すブロック図である。
【図１５】Ｂ用制御部５０６、Ｒ用制御部５０７、Ｇ用制御部５０８による各撮像素子の露光時間、露光タイミングを示す図である。
【図１６】Ｂ用制御部５０６、Ｒ用制御部５０７、Ｇ用制御部５０８による各撮像素子の露光時間、露光タイミングを示す図である。
【図１７】本発明の実施形態３による撮像処理装置４００の構成を示すブロック図である。
【図１８】短時間露光画像を構成するＲ，Ｇ，およびＢの各色画像に補間処理を行い、その後、各色画像を縮小して表示部８０２に表示するための各色画像を生成する処理の概念図である。
【図１９】短時間露光画像を構成するＲ，Ｇ，およびＢの各色画像に補間処理およびアスペクト比の変更処理を行って表示部８０２に表示するための各色画像を生成する処理の概念図である。
【図２０】３板撮像素子５０３〜５０５およびビューファインダである表示部９０１を有する撮像処理装置５００の構成を示すブロック図である。
【発明を実施するための形態】
【００２０】
以下、添付の図面を参照しながら、本発明による撮像処理装置の実施形態を説明する。
【００２１】
（実施形態１）
図１は、本実施形態による撮像処理装置１００の構成を示すブロック図である。撮像処理装置１００は、光学系１０１と、単板カラー撮像素子１０２と、読み出し制御部１０３と、制御部１０４と、画像処理部１０５とを備えている。以下、撮像処理装置１００の各構成要素を詳細に説明する。
【００２２】
光学系１０１は、例えば、カメラレンズであり、被写体の像を撮像素子の像面に結像する。
【００２３】
単板カラー撮像素子１０２は、赤（Ｒ），緑（Ｇ），青（Ｂ）のカラーフィルターアレイが各画素に装着された撮像素子である。図２は、単板カラー撮像素子１０２の一例を示す。単板撮像素子の各画素（フォトダイオード）に対応して、ベイヤー配列と呼ばれる配列のカラーフィルターアレイが装着されている。図中の"Ｒ"、"Ｇ"、"Ｂ"はそれぞれ「赤」、「緑」、「青」のフィルターを示している。
【００２４】
単板カラー撮像素子１０２の各画素は、光学系１０１によって結ばれた光（光学像）を、それぞれに対応して設けられた赤、緑または青のフィルターを通して受け取る。各画素は、画素単位で光電変換を行い、各画素に入射した光の量に応じた画素値（画素信号）を出力する。同じフレーム時刻に撮影された、同じ色成分の画素信号により、その色成分ごとの画像が得られる。全ての色成分の画像により、カラー画像が得られる。
【００２５】
以下、本明細書および図面において、赤、緑、青の光を検出する画素を、それぞれ"Ｒ"、"Ｇ"、"Ｂ"によって表すとする。撮像素子の各画素から出力される画素信号は、Ｒ，Ｇ，Ｂいずれかの色に関する画素値を持つ。
【００２６】
この説明から明らかな通り、撮像素子の各画素は、各色のカラーフィルターを透過した光を受け、受けた光の強さに応じた信号を出力する撮像素子の１単位である。
【００２７】
読み出し制御部１０３は、図２に示す配列の単板カラー撮像素子１０２の各画素の電荷（画素値）の露光時間（または読み出しタイミング）を独立して読み出す。読み出し方法は以下に詳細に説明するとおりである。読み出し制御部１０３の読み出し動作は、制御部１０４による制御に基づいて実行される。
【００２８】
たとえば図３Ａ〜図３Ｃは、長時間露光ラインと短時間露光ラインの配置の例を示している。「ライン」とは図中、ｘ軸方向の一列の画素群を意味する。画素信号の読み出しは、ライン単位で行われる。図面には参考のためライン番号１〜６が示されている。図３Ａ〜図３Ｃにおいて、Ｒ，Ｇ，Ｂの添え字Ｌは長時間露光を示し、添え字Ｓは短時間露光を示す。
【００２９】
本願明細書では、「短時間露光」とは、一般的な動画撮影時の１フレームの時間だけ露光することを意味する。たとえば「短時間露光」とは、フレームレートが３０フレーム／秒（３０ｆｐｓ）の場合には１／３０秒の露光時間で露光することに相当する。フレームレートが６０フレーム／秒（６０ｆｐｓ）の場合には１／６０秒である。一方、長時間露光とは、１フレームの露光に要する時間よりも長い時間、たとえば２フレームから１０フレーム程度の露光することを意味する。
【００３０】
次に、図３Ａ〜図３Ｃに示されている、各撮像素子のｘ軸方向に配列された画素のライン１〜６に注目する。各ラインは、短時間露光または長時間露光に統一されていることが理解される。そして、各ラインには、複数の色の画素が混在していることも理解される。たとえば、図３Ａのライン１は、長時間露光画素の集合であり、Ｇ画素およびＲ画素が含まれている。次のライン２は短時間露光画素の集合であり、Ｂ画素およびＧ画素が含まれている。
【００３１】
図３Ａ〜図３Ｃの相違は以下のとおりである。図３Ａは、長時間露光するラインと短時間露光するラインとが交互に（すなわち２ライン周期で）配置されている例である。Ｒ画素は長時間露光画素であり、Ｂ画素は短時間露光画素である。一方、図３Ｂは、長時間露光するライン２本毎に短時間露光するライン１本が配置されている例である。図３Ｂでは、３ライン周期で長時間露光するラインと短時間露光するラインとが混在する例である。なお、図３Ｃは、図３Ａの変形例である。図３Ｃは、長／短時間露光が交互に繰り返されるが、Ｒ画素は短時間露光画素であり、Ｂ画素は長時間露光画素である。
【００３２】
図４Ａおよび図４Ｂは、それぞれ図３Ａおよび図３Ｂの各画素の露光時間を模式的に示している。図面の左右方向が時間軸ｔである。図４Ａは、ライン毎に長／短時間露光が交互に行われることが示されている。すなわち２ライン周期で長時間露光するラインと短時間露光するラインとが混在している。図４Ｂでは、３ライン毎に、長／短／長時間露光が交互に行われる。すなわち３ライン周期で長時間露光するラインと短時間露光するラインとが混在している。なお、図３Ｃに対応する露光時間の図面は省略する。図４Ａにおいて長露光時間／短露光時間を入れ替えればよい。
【００３３】
図５Ａおよび図５Ｂは、ｘ−ｙ方向に広がるフレーム画像を構成する各画素の露光時間（読み出しタイミング）を、複数のフレーム画像について示す鳥瞰図である。図５Ａは図３Ａおよび図４Ａを総合して複数のフレーム画像を時空間的に示している。また、図５Ｂは図３Ｂおよび図４Ｂを総合して複数のフレーム画像を時空間的に示している。
【００３４】
読み出し制御部１０３は、制御部１０４の制御信号に基づいて単板カラー撮像素子１０２の各ラインに対する読み出しパルス信号、リセット信号を制御することで、ライン毎に露光時間を切り替える。短時間露光時には、読み出し制御部１０３は１フレーム時間ごとに画素値を読み出し、１フレーム画像の画素信号を読み出す。また長時間露光時には、読み出し制御部１０３は、複数フレーム時間にわたって、単板カラー撮像素子１０２を露光し、露光期間が終了した後、画素信号を読み出す。
【００３５】
なお、読み出し制御部１０３は、素子から画素信号を読み出した後でそれらを加算してもよい。具体的には、読み出し制御部１０３は１フレーム期間ごとに全ての画素ラインから画素信号を読み出す。そしてあるラインについては、連続する複数フレーム分の画素信号が得られた後に、それらを加算する。このとき、複数フレームの同じ画素座標値の画素信号同士が加算される。この結果、画素信号が加算されたラインについては、読み出し制御部１０３は、複数フレーム期間にわたって露光されたラインの画素信号と実質的に同じ画素信号を出力することができる。本願明細書では、画素信号の加算によって長時間露光された画素信号が得られるラインについても、「フレーム時刻よりも長い露光時間で画素信号が読み出されるライン」と表現する。
【００３６】
再び図１を参照する。
【００３７】
画像処理部１０５は、ライン毎に異なる露光時間で撮影された動画像データを受け取り、これらに画像処理を行うことによって、各画素における画素値（例えば、Ｒ，Ｇ，Ｂの画素値）を推定し、高解像度カラー動画像を生成する。
【００３８】
図６は、画像処理部１０５の詳細な構成の一例を示す。画像処理部１０５は、動き検出部２０１および画像生成部２０２を有する。
【００３９】
図７は、撮像処理装置１００の処理の手順を示すフローチャートである。まず概要を説明する。
【００４０】
ステップＳ４０１において、画像処理部１０５は、フレームレートがライン毎に異なる動画像をそれぞれ読み出し制御部１０３から取得する。
【００４１】
ステップＳ４０２において、画像処理部１０５の動き検出部２０１は、取得した画像のうちの露光時間が短い動画像を用いて生成画像の画素毎の動きを検出する。
【００４２】
ステップＳ４０３およびＳ４０４において、画像生成部２０２は、動き拘束条件を設定し、滑らかさ拘束を設定する。
【００４３】
ステップＳ４０５において画像生成部２０２は、高フレームレートカラー画像を生成する。
【００４４】
ステップＳ４０６において、画像生成部２０２は生成した動画像を出力する。
【００４５】
以下、上述した各ステップの詳細を説明する。
【００４６】
動き検出部２０１は、１フレーム期間露光されて得られた画素信号によって形成される画像（短時間露光画像）を受け取る。動き検出部２０１は短時間露光画像を利用して、ブロックマッチング、勾配法、位相相関法等の既存の公知技術によって、短時間露光で撮影された画素値から動き（オプティカルフロー）を検出する。公知技術として、たとえばＰ． Ａｎａｎｄａｎ． “Ｃｏｍｐｕｔａｔｉｏｎａｌ ｆｒａｍｅｗｏｒｋ ａｎｄ ａｎ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｔｈｅ ｍｅａｓｕｒｅｍｅｎｔ ｏｆ ｖｉｓｕａｌ ｍｏｔｉｏｎ”， Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， Ｖｏｌ． ２， ｐｐ． ２８３−３１０， １９８９が知られている。
【００４７】
図８（ａ）および（ｂ）は、ブロックマッチングによって動き検出を行うときの基準フレームと参照フレームとを示している。動き検出部２０１は、基準とするフレーム（動きを求めるべく着目している時刻ｔにおける画像）内に、図８（ａ）に示す窓領域Ａを設定し、窓領域内のパターンと類似するパターンを参照フレーム内で探索する。参照フレームとして、たとえば着目フレームの次のフレームが利用されることが多い。
【００４８】
探索範囲は、図８（ｂ）に示すように、通常、移動量ゼロの位置Ｂを基準に予め一定の範囲Ｃが設定される。また、パターンの類似の度合い（程度）は、（数１）に示す残差平飽和（ＳＳＤ：Ｓｕｍ ｏｆ Ｓｑｕａｒｅ Ｄｉｆｆｅｒｒｅｎｃｅｓ）や、（数２）に示す残差絶対値和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅｄ Ｄｉｆｆｅｒｅｎｃｅｓ）を評価値として計算することによって評価する。
【数１】
【数２】
【００４９】
（数１）および（数２）において、Ｉ（ｘ、ｙ、ｔ）は画像すなわち画素値の時空間的な分布であり、ｘ，ｙ∈Ｗは、基準フレームの窓領域内に含まれる画素の座標値を意味する。本実施形態では、図３で短時間露光で撮影した画像の画素値を利用して、その画像をＲＧＢの各色毎に補間拡大した後、下記数３によって輝度成分を求め、動き検出を行う。
【数３】
【００５０】
なお、Ｉ（ｘ，ｙ，ｔ）は、（数３）に限らず、単純なＲＧＢ値の加算等にしてもよい。
【００５１】
動き検出部２０１は、探索範囲内で（ｕ，ｖ）を変化させることにより、上記評価値を最小とする（ｕ，ｖ）の組を探索し、これをフレーム間での動きベクトルとする。具体的には、窓領域の設定位置を順次シフトさせることによって、動きを画素毎もしくはブロック毎（例えば８画素×８画素）に求め、動きベクトルを生成する。
【００５２】
上記の様にして得られた（数１）または（数２）を最小にする（ｕ，ｖ）の近傍での（ｕ，ｖ）の値の分布に対して、１次ないし２次関数を当てはめる（等角フィッテング法やパラボラフィッティング法として知られる公知の技術）ことによって、サブピクセル精度の動き検出を行う。
【００５３】
＜各画素におけるＧの画素値の生成処理＞
画像生成部２０２は、次式で表される評価関数Ｊを最小化して、各画素におけるＲ，Ｇ，Ｂの画素値を計算する。
【数４】
【００５４】
ここで、Ｈ1は長時間露光のサンプリング過程、Ｈ2は短時間露光のサンプリング過程、ｆは新たに生成すべき高空間解像度かつ高時間解像度のＲＧＢ画像である。単板カラー撮像素子１０２によって撮像されたＲＧＢの画像のうち、長時間露光で撮像したものをｇL、短時間露光で撮像したものをｇSとする。Ｍはべき指数、Ｑは生成すべき画像ｆが満たすべき条件、すなわち拘束条件である。
【００５５】
（数４）のべき指数Ｍの値は、特に限定するものではないが、演算量の観点から、１または２が好ましい。
【００５６】
数４の第１項は、生成すべき高空間解像度かつ高時間解像度のＲＧＢ画像ｆを、長時間露光のサンプリング過程Ｈ1によってサンプリングして得られた画像と、実際に長時間露光によって得られた、ｇLとの差の演算を意味する。長時間露光のサンプリング過程Ｈ1を予め定めておき、この差分を最小化するｆを求めると、そのｆは、長時間露光によって得られたｇLと最もよく整合するといえる。第２項についても同様に、差分を最小化するｆは、短時間露光によって得られたｇsと最もよく整合するといえる。また、第３項は、解ｆを一意に決定するための拘束条件である。
【００５７】
そして、数４の評価関数Ｊを最小化するＲＧＢ画像ｆは、長時間露光および短時間露光によって得られたｇLおよびｇsの両方を総合的によく満足するといえる。画像生成部２０２は、数４を最小化するＲＧＢ画像ｆを計算することで、高空間解像度かつ高時間解像度のＲＧＢ画像の画素値を生成する。
【００５８】
数４のＪの最小化は、∂Ｊ／∂ｆ＝０となるＲＧＢ画像ｆを求めることによって行う。この計算は、評価関数Ｊがｆの２次形式の場合（数４においてＭ＝２でかつ、Ｑがｆの２次形式の場合）には、上述のＪのｆによる偏微分∂Ｊ／∂ｆがｆの１次式になるため、線形最適化問題となり連立方程式Ａｆ＝ｂの計算に帰着する。すなわち、（数４）をｆで偏微分すると以下のとおりである。
【数５】
この式を変形して以下の連立方程式を解くことにより、ＲＧＢ画像ｆを計算すればよい。
【数６】
ここで、∂Ｑ／∂ｆはＱがｆの２次形式の場合、定数マトリックス（ｆを含まないマトリックス）になる。
【００５９】
一方、Ｍ＝１の場合や、Ｍ＝３以上の整数の場合、また、Ｍが整数でない場合には、非線形最適化問題となる。
【００６０】
図９は、共役勾配法の処理手順を示す。計算が線形最適化問題になる場合、図９に示す共役勾配法の手順により評価関数Ｊを最小にするＲＧＢ画像ｆを計算することができる。図１０は、図９に示す処理を行うための画像生成部２０２の構成例を示す。画像生成部２０２は、係数演算部５０１と、ベクトル演算部５０２と、演算部５０３とを有している。
【００６１】
係数演算部５０１は、係数行列Ａを計算する。ベクトル演算部５０２は、定数ベクトルｂを計算する。演算部５０３は、演算によって得られた行列Ａおよびベクトルｂを用いて、Ａｆ＝ｂの連立方程式を解く。図９に示す処理は、主として演算部５０３の処理である。行列Ａおよびベクトルｂが求まり、制御部１０４から初期値および終了条件が与えられると図９の処理が開始される。図９の終了条件は、図９に示すｋ＋１ステップ目での残差ｒk+1が十分小さくなったときである。
【００６２】
これにより、評価関数Ｊを最小化するＲＧＢ画像ｆを求めることができる。なお、図９に示すアルゴリズムは公知であるため、詳細な説明は省略する。
【００６３】
一方、計算が非線形最適化問題となる場合には、図１１に示す準ニュートン法の手順により、Ｊを最小にするｆを計算することができる。この手法によるＪの最小化、極小化は、ｆの初期解から始めて、Ｊのｆに関する勾配を用いて、よりＪを小さくする様に、反復計算により解ｆを更新する。図１１においてＫｋは、ｓk≡ｆk+1−ｆk、ｙk＝∇Ｊ（ｆk）とおき、準ニュートン法のなかのＤＦＰ法では、以下のように計算する。
【数７】
また、準ニュートン法のなかのＢＦＧＳ法では以下のように計算する。
【数８】
【００６４】
以下、数４に関してより詳しく説明する。
【００６５】
画像ｆ、ｇLおよびｇSは、動画像の各画素値を要素とする縦ベクトルである。以下では、画像についてベクトル表記は、画素値をラスタースキャン順に並べた縦ベクトルを意味し、関数表記は、画素値の時空間的分布を意味する。画素値としては、輝度値の場合は、１画素につき１個の値を考えればよい。ｆの要素数は、例えば、生成すべき動画像を横２０００画素、縦１０００画素、３０フレームとすると、２０００×１０００×３０＝６０００００００となる。
【００６６】
ＲＧＢ画像ｆの縦横の画素数および信号処理に用いるフレーム数は、画像処理部１０５によって設定される。
【００６７】
長時間露光のサンプリング過程Ｈ1は、行数がｇLの要素数と等しく、列数がｆの要素数と等しい行列である。また、短時間露光サンプリング過程Ｈ2は、行数がｇSの要素数と等しく、列数がｆの要素数と等しい行列である。
【００６８】
現在一般に普及しているコンピュータでは、動画像の画素数（例えば幅２０００画素×高さ１０００画素）とフレーム数（例えば３０フレーム）に関する情報量が多すぎるため、（数４）を最小化するｆを単一の処理で求めることはできない。この場合、時間的、空間的な部分領域についてｆの一部を求める処理を繰り返すことにより、生成すべき動画像ｆを計算することができる。
【００６９】
次に、長時間露光のサンプリング過程Ｈ1の定式化を簡単な例を用いて説明する。以下では、幅２画素（ｘ＝１，２）、高さ２画素（ｙ＝１，２）、２フレーム（ｔ＝１，２）の画像をベイヤ配列の単板カラー撮像素子１０２で撮像し、ｙ＝１のラインにおいて２フレーム分時間加算する場合のｇLの撮像過程について考える。ここでは、たとえば図３Ａの最も左上の２画素ｘ２画素に対応して、ｙ＝１である２つの画素（ｘ，ｙ）＝（１，１）におけるＧL、および、（ｘ，ｙ）＝（２，１）におけるＲLのｔ＝１，２を想定している。
【００７０】
得られるＲＧＢ画像ｆの要素は、ｔ＝１、２を含めて以下の数９のように表される。
【数９】
【００７１】
（数９）において、Ｒ111〜Ｒ222、Ｇ111〜Ｇ222、Ｂ111〜Ｂ222は各画素におけるＲ、Ｇ、Ｂの画素値を示し、３個の添字は順にｘ、ｙ、ｔの値を示す。
【００７２】
上記数９のうち、ｙ＝１のライン、すなわち位置（１，１）および（２，１）における長時間露光を求めるために必要なのは、位置（１，１）についてはＧ111およびＧ112、位置（２，１）についてはＲ211およびＲ212である。そこで、それらの画素値のみを抽出するための行列を以下のように定義することができる。
【数１０】
【００７３】
行列Ｈ1は、長時間露光のサンプリング過程であることを考慮して設定される。すなわち、ｙ＝１のラインにおける長時間露光の画素を得るためには、（ｘ，ｙ）＝（１，１）の位置におけるｔ＝１、２の各画素値を加算し、また（ｘ，ｙ）＝（２，１）の位置におけるｔ＝１、２の各画素値を加算する必要がある。これらによれば、長時間露光ラインの撮像過程は以下のように定式化される。
【数１１】
【００７４】
次に、短時間露光のサンプリング過程Ｈ2の定式化を簡単な例を用いて説明する。先の例と同様に、幅２画素（ｘ＝１，２）、高さ２画素（ｙ＝１，２）、２フレーム（ｔ＝１、２）の画像をベイヤ配列の撮像素子で撮像する場合について考える。
【００７５】
先のサンプリング過程Ｈ1の例と同様、この例もまた、図３Ａの最も左上の２画素ｘ２画素を想定する。ただし短時間露光であるため、図３Ａのｙ＝２における短時間路高画素ＢｓおよびＧｓの画素値が、ｔ＝１および２について必要となる。すなわち、画素（ｘ，ｙ）＝（１，２）におけるＢｓ、および、（ｘ，ｙ）＝（２，２）におけるＧｓの画素値が、ｔ＝１および２について必要となる。なお、得られるＲＧＢ画像ｆの要素は、数９の通りである。
【００７６】
上記数９のうち、ｙ＝２のライン、すなわち位置（１，２）および（２，２）における長時間露光を求めるために必要なのは、位置（１，２）についてはＢ121およびＢ122、位置（２，２）についてはＧ221およびＧ222である。そこで、それらの画素値のみを抽出するための行列を以下のように定義することができる。
【数１２】
【００７７】
数１２の第１行および第２行が時刻ｔ＝１に関し、第３行および第４行が時刻ｔ＝２に関している。これらによれば、短時間露光ラインの撮像過程は以下のように定式化される。
【数１３】
【００７８】
（数１１）や（数１３）は、ＲＧＢ画像ｆをベイヤ配列の単板撮像素子によりライン毎に露光時間を変えて撮像しｇL、ｇSを得る過程を示す。逆に、ｇL、ｇSからｆを生成する問題は、一般に逆問題といわれる。拘束条件Ｑのない場合、下記（数１４）を最小化するｆは無数に存在する。
【数１４】
【００７９】
このことは、サンプリングされない画素値に任意の値を入れても（数１４）が成り立つことから、容易に説明できる。そのため、（数１４）の最小化によってＲＧＢ画像ｆを一意に解くことはできない。
【００８０】
そこで、ＲＧＢ画像ｆについての一意な解を得るために、拘束条件Ｑを導入する。Ｑとして、画素値ｆの分布に関する滑らかさの拘束や、ｆから得られる画像の動きの分布に関する滑らかさの拘束を与える。以下、それぞれの拘束の与え方を説明する。
【００８１】
まず、ＲＧＢ画像ｆの画素値の分布に関する滑らかさの拘束としては、（数１５）もしくは（数１６）の拘束式を用いる。
【数１５】
【数１６】
【００８２】
数４に示す通り、拘束条件Ｑも評価関数Ｊの一部を構成する。したがって、評価関数Ｊの値をできるだけ小さくするためには、拘束条件Ｑも小さい方が好ましい。
【００８３】
数１５に関しては、画素値ｆの分布の変化が少ないほど、Ｑの値は小さくなる。数１６に関しては、画素値ｆの分布の変化が一定であるほど、Ｑの値は小さくなる。これらが、画素値ｆの分布に関する滑らかさの拘束条件となる。
【００８４】
また、（数１４）で｜｜はベクトルのノルムを表す。べき指数ｍの値は、（数４）、（数１４）におけるべき指数Ｍと同様に、演算量の観点から１または２が望ましい。ここで、Ｃｉは以下の式でｆの要素のＲ，Ｇ，Ｂ値を変換したものである。
【数１７】
【００８５】
（数１７）において、Ｃ1、Ｃ2、Ｃ3を一般的な画像におけるＲＧＢの画素値の分布の第１主成分から、第３主成分にすることにより、滑らかさ拘束についての正則化パラメータの調整をＲＧＢ空間で行う場合よりも容易にできる。すなわち、Ｃ1成分は輝度にほぼ等しく、Ｃ2、Ｃ3成分は２つの色成分とみなせ、個別にλｃｉを調整することによって、新たに生成される画像に対する滑らかさ拘束の各項の影響を制御できる。λC1からλC3の値は、３板撮影等で全画素読み出しした画素値が事前に用意できる場合には、生成画像のＰＳＮＲ（Ｐｅａｋ Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）が最良となるように決めればよい。
【００８６】
なお、ＰＳＮＲは（数１８）で定義される。
【数１８】
ここで、ｆｍａｘは画素値の最大値（例えば、８ビット時２５５、１０ビット時１０２３）であり、σは正解画像と生成画像との差の標準偏差である。
【００８７】
一方、そうでない場合には、上記の値をもとにマニュアル操作で新たに生成した画質をみながらλｃｉ決めればよい。
【００８８】
なお、上記の偏微分値∂Ｃｉ／∂ｘ、∂Ｃｉ／∂ｙ、∂2Ｃｉ／∂ｘ2、∂2Ｃｉ／∂ｙ2は、着目画素近傍の画素値による差分展開により、例えば（数１９）により近似計算できる。
【数１９】
差分展開は上記（数１９）に限らず、例えば（数２０）の様に、近傍の他の画素を参照するようにしてもよい。
【数２０】
（数２０）は（数１９）による計算値に対して、近傍で平均化することになる。これにより、空間解像度は低下するが、ノイズの影響を受けにくくできる。さらに、両者の中間的なものとして、０≦α≦１の範囲のαで重み付けをして、以下の式を採用してもよい。
【数２１】
【００８９】
差分展開の計算方法は、処理結果の画質がより改善されるようにノイズレベルに応じてαを予め決めて行ってもよいし、もしくは、回路規模や演算量を少しでも小さくするために、（数１９）を用いてもよい。
【００９０】
なお、画像ｆの画素値の分布に関する滑らかさの拘束としては、（数１５）、（数１６）に限らず、例えば、（数２２）に示す２階の方向微分の絶対値のｍ乗を用いても良い。
【００９１】
【数２２】
ここで、ベクトルｎminおよび角度θは１階の方向微分の２乗が最小になる方向であり、下記（数２３）によって与えられる。
【００９２】
【数２３】
さらに、画像ｆの画素値の分布に関する滑らかさの拘束としては、下記（数２４）から（数２６）のいずれかのＱを用いて、ｆの画素値のこう配に応じて拘束条件を適応的に変化させてもよい。なお、こう配とは 画像ｆの画素値の分布関数ｆを位置について１階微分することによって得られる。
【数２４】
【数２５】
【数２６】
【００９３】
（数２４）から（数２６）において、ｗ（ｘ，ｙ）は画素値のこう配の関数であり、拘束条件に対する重み関数である。例えば、下記（数２７）に示す画素値のこう配成分のべき乗和が、大きい場合にはｗ（ｘ，ｙ）の値が小さく、逆の場合にはｗ（ｘ，ｙ）の値が大きくなるようにすると、ｆのこう配に応じて拘束条件を適応的に変化できる。
【数２７】
【００９４】
このような重み関数を導入することにより、新たに生成される画像ｆが必要以上に平滑化されることを防ぐことができる。
【００９５】
また、（数２７）に示す輝度こう配の成分の２乗和の代わりに、（数２８）に示す方向微分の、べき乗の大小によって、重み関数ｗ（ｘ，ｙ）を定義してもよい。
【数２８】
【００９６】
ここで、ベクトルｎmaxおよび角度θは方向微分が最大になる方向であり、下記（数２９）によって与えられる。
【数２９】
【００９７】
（数１５）、（数１６）、（数２２）〜（数２６）に示したような、動画像ｆの画素値の分布に関する滑らかさの拘束を導入して（数４）を解く問題に対しては、公知の解法、たとえば有限要素法等の変分問題の解法を用いて計算することができる。
【００９８】
次に、ＲＧＢ画像ｆに含まれる画像の動きの分布に関する滑らかさの拘束を説明する。
【００９９】
ＲＧＢ画像ｆに含まれる画像の動きの分布に関する滑らかさの拘束としては、下記（数３０）または（数３１）を用いる。
【数３０】
【数３１】
【０１００】
ここで、ｕは動画像ｆから得られる各画素についての動きベクトルのｘ方向の成分を要素とする縦ベクトル、ｖは動画像ｆから得られる各画素についての動きベクトルのｙ方向の成分を要素とする縦ベクトルである。
【０１０１】
ｆから得られる画像の動きの分布に関する滑らかさの拘束としては、（数３０）、（数３１）に限らず、例えば（数３２）、（数３３）に示す１階または２階の方向微分としてもよい。
【数３２】
【数３３】
【０１０２】
さらに、（数３４）〜（数３７）に示すように、（数３０）〜（数３３）の拘束条件を、ｆの画素値のこう配に応じて適応的に変化させてもよい。これにより、画像内のエッジ（輝度変化が不連続な境界）部分に対する滑らかさ拘束の影響を、画像の平坦部分と比べて小さくすることができるため、画像内のエッジをより鮮明に再現することができる。
【数３４】
【数３５】
【数３６】
【数３７】
【０１０３】
ここで、ｗ（ｘ，ｙ）は、ｆの画素値のこう配に関する重み関数と同一であり、（数２７）に示す画素値のこう配の成分の、べき乗和、または、（数２８）に示す方向微分の、べき乗によって定義される。
【０１０４】
このような重み関数を導入することにより、ｆの動き情報が必要以上に平滑化されることを防ぐことができ、その結果、新たに生成される画像ｆが必要以上に平滑化されることを防ぐことができる。
【０１０５】
（数３０）〜（数３７）に示したような、画像ｆから得られる動きの分布に関する滑らかさの拘束を導入して（数４）を解く問題に関しては、ｆについての滑らかさの拘束を用いる場合と比較して複雑な計算が必要となる。新たに生成すべき画像ｆと動き情報（ｕ，ｖ）が相互に依存するためである。
【０１０６】
この問題に対しては、公知の解法、たとえばＥＭアルゴリズム等を用いた変分問題の解法を用いて計算することができる。その際、繰り返し計算に、新たに生成すべき画像ｆと動き情報（ｕ，ｖ）の初期値が必要になる。
【０１０７】
ｆの初期値としては、入力画像の補間拡大画像を用いればよい。一方、動き情報（ｕ，ｖ）としては、動き検出部２０１において（数１）ないし（数２）を計算して求めた動き情報を用いる。その結果、画像処理部１０５が、上述のごとく、（数３０）〜（数３７）に示したような、画像ｆから得られる動きの分布に関する滑らかさの拘束を導入して（数４）を解くことにより、処理結果の画質を向上させることができる。
【０１０８】
画像処理部１０５における処理は、（数１５）、（数１６）、（数２２）〜（数２６）に示した画素値の分布に関する滑らかさの拘束のいずれかと、（数３０）〜（数３７）に示した動きの分布に関する滑らかさの拘束のいずれかの両方を組み合わせて、（数３８）のように同時に用いてもよい。
【数３８】
【０１０９】
ここで、Ｑf はｆの画素値のこう配に関する滑らかさの拘束、Ｑuvはｆから得られる画像の動きの分布に関する滑らかさの拘束、λ1およびλ2 はＱf とＱuvの拘束に関する重みである。
【０１１０】
なお、ここでは複数の拘束条件の式について説明したが、これらの最適な組み合わせは、コスト、演算規模、回路規模等の装置の状況に応じて決定すればよい。たとえば、画質が最もよくなるものを選択するようにすればよい。「画質が最もよくなる」とは、たとえばその映像を確認する者の主観に基づいて決定することができる。
【０１１１】
画素値の分布に関する滑らかさの拘束と、画像の動きの分布に関する滑らかさの拘束の両方を導入して（数４）を解く問題も、公知の解法（たとえばＥＭアルゴリズム等を用いた変分問題の解法）を利用することができる。
【０１１２】
また、動きに関する拘束は、（数３０）〜（数３７）に示した動きベクトルの分布の滑らかさに関するものに限らず、対応点間の残差（動きベクトルの始点と終点間における画素値の差）を評価値として、これを小さくするようにしてもよい。対応点間の残差は、ｆを関数ｆ（ｘ，ｙ，ｔ）として表すと、（数３９）のように表すことができる。
【数３９】
【０１１３】
ｆをベクトルとして、画像全体について考えると、各画素における残差は下記（数４０）に示すようにベクトル表現することができる。
【数４０】
【０１１４】
残差の平方和は下記（数４１）に示すように表すことができる。
【数４１】
【０１１５】
（数４０）、（数４１）において、Ｈmはベクトルｆの要素数（時空間の総画素数）×ｆの要素数の行列である。Ｈmでは、各行において、動きベクトルの視点と終点に相当する要素だけが０でない値を持ち、それ以外の要素は０の値を持つ。動きベクトルが整数精度の場合、視点と終点に相当する要素が、それぞれ、−１と１の値を持ち、他の要素は０である。
【０１１６】
動きベクトルがサブピクセル精度の場合には、動きベクトルのサブピクセル成分の値に応じて、終点近傍の複数の画素に相当する複数の要素が値を持つことになる。
【０１１７】
（数４１）をＱmとおき、拘束条件を（数４２）のようにしてもよい。
【数４２】
【０１１８】
ここで、λ３は拘束条件Ｑmに関する重みである。
【０１１９】
以上述べた方法により、動き検出部２０１でＧSとＲとＢの低解像度動画像から抽出した動き情報を用いることにより、ベイヤ配列の撮像素子によって撮像されたＲＧＢの動画像を画像処理部１０５で高時空間解像度化することができる。
【０１２０】
なお、上述した画像処理部１０５におけるＲ，Ｇ，Ｂの画素値の計算方法は一例であり、他の計算方法を採用してもよい。例えば画像処理部１０５において、目的とするカラー画像ｆにおける各色の画像の空間的変化パターンが近い程度を表す評価関数Ｊを設定し、評価関数Ｊを最小化する目的画像ｆを求める。空間的変化パターンが近いことは、青画像、赤画像、および緑画像の空間的変化が相互に相似していることを意味する。
【０１２１】
評価関数Ｊの一例を（数４３）に示す。
【数４３】
【０１２２】
評価関数Ｊは、生成したい高解像度カラー画像（目的画像）ｆを構成する赤、緑、および青の各色の画像の関数として定義される。ここで、（数３８）右辺の第１項、第２項は、（数３）におけるべき指数Ｍを２としたものと同一である。
【０１２３】
低解像度化画像および入力画像の対応画素位置における画素値の差の２乗和を、評価関数の評価条件として設定する（（数４３）の右辺第１項および第２項）。つまり、これらの評価条件は、低解像度化画像に含まれる各画素値を要素とするベクトルと、入力画像に含まれる各画素値を要素とするベクトルとの差分ベクトルの大きさを表す。
【０１２４】
（数４３）の右辺第３項、第４項、第５項のＱsは、画素値の空間的な滑らかさを評価する評価条件である。 Ｑsの例であるＱs1およびＱs2を（数４４）および（数４８）に示す。
【数４４】
【０１２５】
（数４４）において、θH（ｘ，ｙ）、ψH（ｘ，ｙ）、ｒH（ｘ，ｙ）は、目的画像の画素位置（ｘ，ｙ）における赤、緑、青のそれぞれの画素値で表される３次元直交色空間（いわゆるＲＧＢ色空間）内の位置を、ＲＧＢ色空間に対応する球面座標系（θ、ψ、ｒ）で表現した場合の座標値である。ここで、θH（ｘ，ｙ）とψH（ｘ，ｙ）は２種類の偏角を表し、ｒH（ｘ，ｙ）は動径を表す。
【０１２６】
図１２は、ＲＧＢ色空間と球面座標系（θ、ψ、ｒ）との対応例を示す。
【０１２７】
図１２では、一例として、θ＝０°かつψ＝０°の方向をＲＧＢ色空間のＲ軸の正方向とし、θ＝９０°かつψ＝０°の方向をＲＧＢ色空間のＧ軸の正方向としている。ここで、偏角の基準方向は、図１２に示す方向に限定されることなく、他の方向であってもよい。このような対応に従って、画素ごとに、ＲＧＢ色空間の座標値である赤、緑、青のそれぞれの画素値を、球面座標系（θ、ψ、ｒ）の座標値に変換する。
【０１２８】
目的画像の各画素の画素値をＲＧＢ色空間内の３次元ベクトルとして考えた場合に、３次元ベクトルをＲＧＢ色空間に対応付けられる球面座標系（θ、ψ、ｒ）で表現すると、画素の明るさ（信号強度、輝度も同義である）は、ベクトルの大きさを表すｒ軸の座標値に相当する。また、画素の色彩（色相、色差、彩度などを含む色情報）を表すベクトルの向きは、θ軸およびψ軸の座標値によって規定される。このため、球面座標系（θ、ψ、ｒ）を用いることにより、画素の明るさおよび色彩を規定するｒ、θ、ψの３つのパラメータを個別に取り扱うことができる。
【０１２９】
（数４４）は、目的画像の球面座標系で表現された画素値の、ｘｙ空間方向の２階差分値の２乗和を定義している。（数４４）は、目的画像内で空間的に隣り合う画素における球面座標系で表現された画素値の変化が一様であるほど、値が小さくなる条件Ｑs1を定義している。画素値の変化が一様であることは、画素の色が連続していることに対応する。条件Ｑs1の値が小さくあるべきということは、目的画像内の空間的に隣り合う画素の色が連続すべきということを表している。
【０１３０】
なお、上述の条件は、被写体が色々な模様を含んでいる場合でも実用上問題にならない。その理由は以下のとおりである。
【０１３１】
上記条件はＲＧＢを色空間で変換していることから明らかなように、色間での情報のやり取りをしている。本願で行っている画像生成処理は、色間の相関関係を用いて、解像度に関する情報を復元する処理である。大部分の被写体では、分光分布が比較的ブロードであるため、ＲＧ間ないしＧＢ間に相関関係が生じ、被写体が色々な模様を含んでいる場合であっても単色の場合にも、ＲＧＢのうちの２色以上に影響を与える。一方、レーザーやＬＥＤ等一部の被写体では、その分光分布が狭い波長域にピーキーに集中する。しかしながらこのような場合でも、撮像素子に使われているカラーフィルターアレイの分光特性が比較的ブロードであるため、その影響によりＲＧＢのうち２色以上の画像に撮影される。
【０１３２】
以上から、本願で行っている画像生成処理は、被写体が単色である場合、色々な色を含んでいる場合、または、被写体の分光特性がブロードな場合、ナローな場合のいずれの場合であっても、実用上問題なく動作する。
【０１３３】
画像中において画素の明るさの変化および画素の色彩の変化は、物理的に異なる事象から生じ得る。このため、（数４４）に示すように、画素の明るさの連続性（ｒ軸の座標値の変化の一様性）に関する条件（（数４４）の大括弧内の第３項）と、画素の色彩の連続性（θ軸およびψ軸の座標値の変化の一様性）に関する条件（（数４４）の大括弧内の第１項および第２項）とを個別に設定することにより、望ましい画質を得やすくなる。
【０１３４】
λθ（ｘ，ｙ）、λψ（ｘ，ｙ）、およびλr（ｘ，ｙ）は、それぞれ、θ軸、ψ軸、およびｒ軸の座標値を用いて設定される条件に対して、目的画像の画素位置（ｘ，ｙ）において適用される重みである。これらの値は、予め定めておく。簡単には、λθ（ｘ，ｙ）＝λψ（ｘ，ｙ）＝１．０、λr（ｘ，ｙ）＝０．０１のように、画素位置やフレームに依らずに設定してもよい。また、好ましくは、画像中の画素値の不連続性などが予測できる位置において、この重みを小さく設定してもよい。画素値が不連続であることは、入力画像のフレーム画像内の隣り合う画素における画素値の差分値や２階差分値の絶対値が一定値以上であることにより判断してもよい。
【０１３５】
画素の色彩の連続性に関する条件に適用する重みを、画素の明るさの連続性に関する条件に適用する重みよりも大きくしておくことが望ましい。これは、被写体表面の凹凸や動きによる被写体表面の向き（法線の向き）の変化によって、画像中の画素の明るさが色彩に比べて変化しやすい（一様性に乏しい）ことによる。
【０１３６】
なお、（数４４）では、目的画像の球面座標系で表現された画素値の、ｘｙ空間方向の２階差分値の２乗和を条件Ｑs1として設定したが、（数４５）に示す２階差分値の絶対値和、または（数４６）に示す１階差分値の２乗和もしくは（数４７）に示す１階差分値の絶対値和を条件として設定してもよい。
【数４５】
【数４６】
【数４７】
【０１３７】
上記説明ではＲＧＢ色空間に対応付けられる球面座標系（θ、ψ、ｒ）を用いて色空間条件を設定したが、用いる座標系は球面座標系に限るものではなく、画素の明るさと色彩とを分離しやすい座標軸を有する新たな直交座標系において条件を設定することで、前述と同様の効果が得られる。
【０１３８】
新たな直交座標系の座標軸は、例えば、入力動画像または基準となる他の動画像に含まれる画素値のＲＧＢ色空間内での頻度分布を主成分分析することで固有ベクトルの方向を求め、求めた固有ベクトルの方向に設ける（固有ベクトル軸とする）ことができる。
【数４８】
【０１３９】
（数４８）において、Ｃ1（ｘ，ｙ）、Ｃ2（ｘ，ｙ）、Ｃ3（ｘ，ｙ）は、目的画像の画素位置（ｘ，ｙ）における赤、緑、青のそれぞれの画素値であるＲＧＢ色空間の座標値を、新たな直交座標系の座標軸Ｃ1、Ｃ2、Ｃ3の座標値に変換する回転変換である。
【０１４０】
（数４８）は、目的画像の新たな直交座標系で表現された画素値の、ｘｙ空間方向の２階差分値の２乗和を定義している。（数４８）は、目的画像の各フレーム画像内で空間的に隣り合う画素における新たな直交座標系で表現された画素値の変化が一様である（つまり画素値が連続している）ほど、値が小さくなる条件Ｑｓ２を定義している。
【０１４１】
条件Ｑs2の値が小さくあるべきことは、目的画像内の空間的に隣り合う画素の色が連続すべきことを表している。
【０１４２】
λＣ1（ｘ，ｙ）、λＣ2（ｘ，ｙ）、λＣ3（ｘ，ｙ）はそれぞれ、Ｃ1軸、Ｃ2軸、Ｃ3軸の座標値を用いて設定される条件に対して、目的画像の画素位置（ｘ，ｙ）において適用される重みであり、予め定めておく。
【０１４３】
Ｃ1軸、Ｃ2軸、Ｃ3軸が固有ベクトル軸である場合、各固有ベクトル軸に沿ってλＣ1（ｘ，ｙ）、λＣ2（ｘ，ｙ）、λＣ3（ｘ，ｙ）の値を個別に設定することで、固有ベクトル軸によって異なる分散の値に応じて好適なλの値を設定できるという利点がある。すなわち、非主成分の方向には分散が小さく、２階差分の２乗和が小さくなることが期待できるため、λの値を大きくする。逆に、主成分の方向にはλの値を相対的に小さくする。
【０１４４】
以上、２種類の条件Ｑs1、Ｑs2の例を説明した。条件Ｑsとしては、Ｑs1、Ｑs2いずれを用いることもできる。
【０１４５】
例えば、（数４４）に示される条件Ｑs1を用いた場合、球面座標系（θ、ψ、ｒ）を導入することにより、色情報を表すθ軸およびψ軸の座標値、ならびに信号強度を表すｒ軸の座標値のそれぞれの座標値を個別に用いて条件を設定し、かつ条件の設定に際して色情報と信号強度とにそれぞれ好適な重みパラメータλを付与できるので、高画質の画像の生成が容易になるという利点がある。
【０１４６】
（数４８）に示される条件Ｑs2を用いた場合、ＲＧＢ色空間の座標値から線型（回転）変換によって得られる新たな直交座標系の座標値で条件を設定するため、演算が簡素化できる利点がある。
【０１４７】
また、固有ベクトル軸を新たな直交座標系の座標軸Ｃ1、Ｃ2、Ｃ3とすることにより、より多くの画素が影響を受ける色の変化を反映した固有ベクトル軸の座標値を用いて条件設定できる。このため、単純に赤、緑、青の各色成分（コンポーネント）の画素値を用いて条件を設定する場合と比べて、得られる目的画像の画質の向上が期待できる。
【０１４８】
なお、評価関数Ｊは、上記に限定するものではなく、（数４３）の項を類似式からなる項と置換し、また異なる条件を表す新たな項を追加してもよい。
【０１４９】
次に、（数４３）の評価関数Ｊの値をできるだけ小さく（望ましくは最小に）する目的画像の各画素値を求めることによって、目的画像の各色画像ＲH、ＧH、ＢHを生成する。
【０１５０】
評価関数Ｊを最小にする目的画像ｇは、例えば、Ｊを目的画像ｆの各色画像ＲH、ＧH、ＢHの各画素値成分で微分した式を全て０とおいた（数４９）の方程式を解いて求めることができる。
【数４９】
【０１５１】
各辺の微分式が０になるのは、数４３の第１項〜第３項の各項が表している各２次式の傾きが０となるときである。このときのＲH、ＧH、ＢHが、各２次式の最小値を与える望ましい目的画像であるといえる。
【０１５２】
他の方法として、たとえば最急勾配法などの反復演算型の最適化手法を用いて望ましい目的画像を求めてもよい。
【０１５３】
なお、本実施形態では、出力するカラー画像をＲＧＢとして説明したが、例えばＹＰｂＰｒ等、ＲＧＢ以外のカラー画像を出力することももちろんできる。すなわち、上記（数４９）と、下記（数５０）とから、（数５１）に示す変数変換を行うことができる。
【数５０】
【数５１】
【０１５４】
さらに、ＹＰｂＰｒ４：２：２フォーマットの場合、Ｐｂ、ＰｒはＹと比べて水平画素数が半分であることを考慮して、下記（数５２）の関係を利用することにより、ＹH、ＰｂL、ＰｒLについての連立方程式を立てることができる。
【数５２】
【０１５５】
この場合、連立方程式で解くべき変数の総数をＲＧＢの場合と比べて３分の２に低減させることができ、演算量を低減できる。
【０１５６】
以上説明したように、実施形態１によれば、単板撮像素子に時間加算と空間加算の機能を付加し、画素毎に時間加算もしくは空間加算された入力画像から新たな画像を生成することによって、撮像時に光量を確保しつつ高解像度かつ高フレームレートで、動きぶれのすくない画像（空間加算と時間加算を行なわずに全画素を読み出した画像）を推定し生成することができる。
【０１５７】
（実施形態１の変形例）
実施形態１では、画像処理部１０５における処理に、数１０や数１２を用いた劣化拘束、動き検出を用いた動き拘束、画素値の分布に関する滑らかさ拘束の全てを用いる場合を主に述べた。
【０１５８】
種々の拘束のうち、特に動き拘束については演算量が多く、装置の計算機資源を必要とする。そこで本変形例においては、これらの拘束のうち動き拘束を用いない処理を説明する。
【０１５９】
図１３は、動き検出部２０１を含まない画像処理部１０５を有する撮像処理装置２００の構成を示すブロック図である。画像処理部１０５の画像生成部１１１は、動き拘束を用いることなく、新たな画像を生成する。
【０１６０】
図１３において、図１および図６と同じ動作をする構成要素には、図１および図６と同一の符号を付し、説明を省略する。
【０１６１】
従来の技術では、動き拘束を用いない場合、処理結果に明らかな画質の低下が生じる。
【０１６２】
しかしながら、本発明では顕著な画質低下を生じさせずに動き拘束を省くことができる。その理由は、単板カラー撮像素子１０２の長時間露光および短時間露光を行うそれぞれのラインに、複数の色成分を検出する画素が混在しているためである。ＲＧＢそれぞれの色チャンネルにおいて、短時間露光によって撮影された画素と長時間露光によって撮影された画素が混在するため、動き拘束を用いずに画像を生成した際に、短時間露光によって撮影された画素値が色にじみの発生を抑える効果がある。さらに、動き拘束条件を課すことなく新たな動画像を生成するため、演算量を低減することができる。
【０１６３】
以下に、画像生成部１１１による高画質化処理を説明する。
【０１６４】
（数４）においてＭ＝２とし、Ｑとして（数１５）ないし（数１６）を用い、これらの式におけるｍを２とする。そして、１階微分、２階微分の差分展開として（数１９）、（数２０）、（数２１）のいずれかを用いると、もしくは、（数４３）においてＰ＝２とすると、評価式Ｊはｆの２次式となる。評価式を最小化するｆの計算は、数５３により、ｆについての連立方程式の計算に帰着する。
【数５３】
ここで、解くべき連立方程式を（数５４）のようにおく。
【数５４】
【０１６５】
（数５４）において、ｆは生成する画素数（１フレームの画素数×処理するフレーム数）分の要素を持つため、（数５４）の計算量は通常、非常に大規模になる。このような大規模な連立方程式の解法として、共役勾配法や最急降下法等の繰り返し計算により解ｆを収束させる方法（繰り返し法）が一般的に用いられる。
【０１６６】
動き拘束を用いずにｆを求める際には、評価関数が劣化拘束項と滑らかさ拘束項だけになるため、処理がコンテンツに依存しなくなる。このことを利用すると、連立方程式（数５４）の係数行列Ａの逆行列をあらかじめ計算でき、これを用いることで直説法により画像処理を行うようにできる。
【０１６７】
（数１６）に示す滑らかさ拘束を用いる場合、ｘおよびｙの２階偏微分は、例えば、（数１９）に示すように１，−２，１の３つの係数のフィルタとなり、その２乗は１，−４，６，−４，１の５つの係数のフィルタとなる。これらの係数は、水平方向のフーリエ変換と逆変換とで係数行列を挟むことにより、対角化することができる。同様に、長時間露光の劣化拘束も、時間方向のフーリエ変換と逆フーリエ変換とで係数行列を挟むことにより、対角化することができる。すなわち、（数５５）のように行列をΛを置くことができる。
【数５５】
【０１６８】
これにより、一行あたりのノンゼロ係数の数を係数行列Ａと比べて低減させることができる。その結果、Λの逆行列Λ-1の計算が容易になる。そして、（数５６）および（数５７）により、ｆを直接法により、繰り返し計算を行わずに、より少ない演算量と回路規模で求めることができる。
【数５６】
【数５７】
【０１６９】
（実施形態２）
実施形態１では、単板カラー撮像素子を用いる場合について述べた。しかしながら、単板カラー撮像素子を利用した処理は一例である。
【０１７０】
本実施形態においては、３板撮像素子を用いた撮像処理装置３００を説明する。
【０１７１】
図１４は、本実施形態による撮像処理装置３００の構成を示すブロック図である。実施形態の撮像処理装置３００は、光学系５０１と、ダイクロイックプリズム５０２と、Ｂ用撮像素子５０３と、Ｒ用撮像素子５０４と、Ｇ用撮像素子５０５と、Ｂ用制御部５０６と、Ｒ用制御部５０７と、Ｇ用制御部５０８と、画像処理部５０９と、制御部５１０とを備える。
【０１７２】
以下に、上記各構成要素の動作を説明する。
【０１７３】
まず、制御部５１０は、撮像処理装置３００全体の動作を制御する。後述する各構成要素の動作は制御部５１０からの指示に基づいて行われる。
【０１７４】
光学系５０１は、例えば、カメラレンズであり、被写体の像を撮像素子の像面に結像させる。
【０１７５】
ダイクロイックプリズム５０２は、光学系５０１から入ってきた入射光を波長毎（Ｒ，Ｇ，Ｂの各々）に分離して、Ｒ（レッド），Ｇ（グリーン），Ｂ（ブルー）の各色成分画像を生成する。
【０１７６】
Ｂ用撮像素子５０３、Ｒ用撮像素子５０４、Ｇ用撮像素子５０５は、ダイクロイックプリズム５０２により分光されたＢ（ブルー）、Ｒ（レッド）、Ｇ（グリーン）の各色の像を撮影する。
【０１７７】
Ｂ用制御部５０６、Ｒ用制御部５０７、Ｇ用制御部５０８は、それぞれ、Ｂ用撮像素子５０３、Ｒ用撮像素子５０４、Ｇ用撮像素子５０５の露光タイミング、読み出しタイミングを制御する。図１５および図１６は、各制御部による各撮像素子の露光時間、露光タイミングを示す。Ｒ，Ｇ，Ｂのそれぞれについて、図１５および図１６に示す露光タイミングおよび読み出しタイミングで画素信号の読み出しが制御される。より具体的には、図１５は、長時間露光ラインおよび短時間露光ラインのライン位置をそれぞれ示している。また図１６は、短時間露光ラインおよび長時間露光ラインの露光時間をそれぞれ示す。本実施形態では、長時間露光ライン２ラインと、短時間露光ライン１の組み合わせについて説明する。
【０１７８】
なお図１５および図１６の記載の意味は、図３Ａ、２Ｂ、２Ｃ、および、図４Ａおよび３Ｂの記載に準ずる。図１５および図１６では、短時間露光ラインには添え字の「Ｓ」を付し、長時間露光ラインには添え字の「Ｌ」を付している。
【０１７９】
図１５および図１６に示すように、Ｒ，Ｇ，Ｂで短時間露光ラインの位置が異なるように配置することにより、後述する画像処理部５０９における処理結果の解像度を高めることができる。
【０１８０】
画像処理部５０９は、Ｂ用撮像素子５０３、Ｒ用撮像素子５０４、Ｇ用撮像素子５０５によってそれぞれ撮像された長時間露光画素信号と短時間露光画素信号とを受け取り、上述の実施形態１の処理と同様の高画質化処理を行って、カラー動画像を生成する。以下に、実施形態１の処理との違いを主に説明する。
【０１８１】
実施形態１では単板カラー撮像素子１０２を用いて撮像を行った。本実施形態では３板撮像素子を用いて撮像を行う。そのため、実施形態１において（数１０）および（数１２）で表されていた劣化拘束が、本実施形態では異なる式となる。
【０１８２】
以下に、サンプリング過程Ｈ1およびＨ2の定式化の例を説明する。図１５および図１６に直接対応するサンプリング過程Ｈ1およびＨ2を本願明細書に具体的に記載することは可能である。しかしながら、そうすると当該Ｈ1、Ｈ2の行列の幅が１４４（＝画像の幅４×画像の高さ３×フレーム数４×ＲＧＢ３色）になり、非常に煩雑となる。
【０１８３】
そこで以下では、サンプリング過程Ｈ1およびＨ2の定式化を図１５および図１６よりも簡単な例を用いて説明する。
【０１８４】
本願明細書では、幅１画素（ｘ＝１）、高さ３画素（ｙ＝１，２，３）、２フレーム（ｔ＝１，２）の画像を３板撮像素子で撮像する。そして、Ｂ用撮像素子５０３、Ｒ用撮像素子５０４、Ｇ用撮像素子５０５の各々のｙ＝１のラインにおいて、Ｒの画素は長時間露光により２フレーム分時間加算し、ＧおよびＢの画素は短時間露光で撮影する。また各撮像素子のｙ＝２のラインにおいて、Ｇの画素は長時間露光により２フレーム分時間加算し、Ｒ，Ｂの画素は短時間露光で撮影し、ｙ＝３のラインでＢの画素は長時間露光により２フレーム分時間加算し、Ｒ，Ｇの画素は短時間露光で撮影する場合のｇL、ｇSの撮像過程について考える。
【０１８５】
まず、ｇLを以下のように定める。
【数５８】
ここで、ｇRL、ｇGL、ｇBLは、それぞれ、長時間露光によって撮影されたＲ，Ｇ，Ｂの画素値を要素とする縦ベクトルである。また、次のようにｆを定める。
【数５９】
【０１８６】
実施形態１において詳細に説明した考え方と同様の考え方により、サンプリング過程Ｈ1は以下のように定められる。
【数６０】
【０１８７】
すると、Ｈ1ｆは以下の数６１によって与えられる。
【数６１】
【０１８８】
次に、新たにｇLを以下のように定める。
【数６２】
ここで、ｇRS、ｇGS、ｇBSは、それぞれ、長時間露光によって撮影されたＲ，Ｇ，Ｂの画素値を要素とする縦ベクトルである。
【０１８９】
また、実施形態１と同様に、サンプリング過程Ｈ2は以下のように定められる。
【数６３】
【０１９０】
すると、Ｈ2ｆは以下の数６４によって与えられる。
【数６４】
【０１９１】
劣化拘束以外については、本実施形態と実施形態１の画像処理部の動作は、同一である。
【０１９２】
以上述べた処理を行うことにより、カラー動画像を生成することができる。
【０１９３】
（実施形態３）
近年、多くの機器において電子式ビューファインダが利用され始めている。しかしながら、特許文献１に記載の技術によってそのような電子式ビューファインダを実現しようとすると、撮影時にビューファインダに色にじみや遅延のない映像を表示することが困難であった。その理由は、ある１つの色について全画素で長時間露光をしているためである。
【０１９４】
これに対して、本発明の実施形態１、２では、第１色から第３色までのすべてで、一部の画素を短時間露光で撮影している。そのため、本実施形態では、短時間露光で撮影された画素の情報をビュファインダに表示することにより、遅延や色にじみのない映像を撮影者に提示する。
【０１９５】
図１７は、本実施形態における撮像処理装置４００の構成を示すブロック図である。図１７において、図１と同一の動作をするものについては、図１と同一の符号を付し、説明を省略する。
【０１９６】
撮像処理装置４００は、光学系１０１と、単板カラー撮像素子１０２と、読み出し制御部１０３と、制御部１０４と、画像処理部１０５と、表示制御部８０１と、表示部８０２とを備えている。
【０１９７】
単板カラー撮像素子１０２によって短時間露光撮影された画素信号は、表示制御部８０１に入力される。ここでは、ＲＧＢの３色が短時間露光で撮影される必要があるため、制御部１０４は読み出し制御部１０３を制御して、長時間露光と短時間露光の行毎の切り替えを、図３Ａに示す周期ではなく、図３Ｂに示す周期で行う。その理由は、図３Ａの場合、Ｒが常に長時間露光となり、Ｒの短時間露光画像が得られないためである。
【０１９８】
表示制御部８０１は、入力された短時間露光画像の画素信号に表示のための処理を施す。たとえば表示制御部８０１は、簡単な補間処理によって、ＲＧＢ各色のサンプリング位置を揃え、また、アスペクト比を調整する。
【０１９９】
一例として、図１８は、短時間露光画像を構成するＲ，Ｇ，およびＢの各色画像に補間処理を行い、その後、各色画像を縮小して表示部８０２に表示するための各色画像を生成する処理の概念図である。他の例として、図１９は、短時間露光画像を構成するＲ，Ｇ，およびＢの各色画像に補間処理およびアスペクト比の変更処理を行って表示部８０２に表示するための各色画像を生成する処理の概念図である。表示制御部８０１は、図１８および図１９に示すような処理を行った後、各色画像に、サンプリング位置を揃えるための位置合わせ処理を行い、表示部８０２に表示する。
【０２００】
撮影者は、表示された画像を見ることで、構図やフォーカス調整を行うことができる。
【０２０１】
（実施形態の３の変形例）
上述の実施形態３においては、単板カラー撮像素子１０２を用いた撮像処理装置４００のビューファインダを説明した。本変形例は、単板カラー撮像素子１０２に代えて、３板撮像素子およびビューファインダを有する撮像処理装置を説明する。
【０２０２】
図２０は、３板撮像素子５０３〜５０５およびビューファインダである表示部９０１を有する撮像処理装置５００の構成を示すブロック図である。図２０において、図１４と同一の動作をするものについては、図１４と同一の符号を付し、説明を省略する。なお、制御部５１０からの制御信号は、簡略化のため省略している。
【０２０３】
撮像素子５０３、５０４、５０５において短時間露光撮影された画素信号は、表示部（ビューファインダ）９０１に入力される。ここで、長時間露光と短時間露光の行毎の切り替えは、図１５および図１６に示す周期で行う。ビューファインダである表示部９０１では、入力された短時間露光画像を、たとえば、実施形態３と同様の簡単な補間処理によって、ＲＧＢ各色のサンプリング位置を揃え、また、アスペクト比を調整したうえで、撮影者に表示する。
【０２０４】
撮影者は、表示された画像を見ることで、構図やフォーカス調整を行うことができる。
【０２０５】
以上述べたように、本発明にかかる撮像処理装置は、光学系、撮像素子、読み出し制御部、画像処理部を有し、小型撮像素子による高解像度かつ高感度撮影向けの技術として有用である。また、そのような撮影を行う際のビューファインダ上に画像を表示する用途にも応用できる。
【０２０６】
なお、本明細書における画像処理部１０５は装置として実現されなくてもよい。たとえば、コンピュータである汎用のプロセッサがコンピュータ読み取り可能な記録媒体に記録されたコンピュータプログラムを実行することにより、上述した画像処理部１０５の動作を行ってもよい。そのようなコンピュータプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送される。
【０２０７】
上述の実施形態においては、Ｒ，ＧおよびＢの３色でカラー動画像を撮影するとして説明した。しかしながら、これらの色成分の分け方は一例である。たとえば、シアン、マゼンタ、イエローの３色のカラーフィルタを用いてもよい。また、３色ではなく、２色または４色以上のフィルタを用いてもよい。
【符号の説明】
【０２０８】
１００ 撮像処理装置
１０１ 光学系
１０２ 単板カラー撮像素子
１０３ 読み出し制御部
１０４ 制御部
１０５ 画像処理部
８０１、９０１ 表示部（ビューファインダ）
【特許請求の範囲】
【請求項１】
所定のフレームレートに対応する第１露光時間で画素信号が読み出される複数の第１ラインおよび前記所定のフレームレートよりも長い第２露光時間で画素信号が読み出される複数の第２ラインを有する単板カラー撮像素子であって、前記第１ラインおよび前記第２ラインの各々は、前記第１色成分の光を検出する画素、第２色成分の光を検出する画素および第３色成分の光を検出する画素の少なくとも２種類を有している単板カラー撮像素子と、
前記第１露光時間および前記第２露光時間でそれぞれ読み出された画素信号に基づいて得られた、被写体の前記第１色成分の動画像を表す第１動画像、前記第２色成分の動画像を表す第２動画像、および、前記第３色成分の動画像を表す第３動画像を受け取り、前記所定のフレームレートを有する新たな動画像を生成する画像処理部と
を備えた、撮像処理装置。
【請求項２】
前記画像処理部は、前記第１露光時間で読み出された画素信号に基づいて得られた、前記第１色成分の動画像、前記第２色成分の動画像および前記第３色成分の動画像と、前記新たな動画像を前記第１露光時間でサンプリングして得られた動画像との第１の差、および、前記第２露光時間で読み出された画素信号に基づいて得られた前記第１色成分の動画像、前記第２色成分の動画像および前記第３色成分の動画像と、前記新たな動画像を前記第２露光時間でサンプリングして得られた動画像との第２の差とを少なくとも含む評価式を設定し、前記評価式を最小化する動画像を、前記新たな動画像として求める、請求項１に記載の撮像処理装置。
【請求項３】
前記画像処理部は、
前記第１露光時間で読み出された画素信号に基づいて得られた前記第１色成分の動画像、前記第２色成分の動画像および前記第３色成分の動画像を利用して、前記被写体の動きを検出する動き検出部と、
前記動きの検出結果を利用して前記新たな動画像の動きの分布に関する拘束条件を設定し、前記動きの分布に関する拘束条件をさらに含む前記評価式を最小化する動画像を、前記新たな動画像として求める画像生成部と
を備えた、請求項２に記載の撮像処理装置。
【請求項４】
前記画像処理部は、前記新たな動画像の画素値の分布の変化が少なくなるよう、または、前記新たな動画像の画素値の変化が一定になるよう、画素値の分布に関する拘束条件を設定し、前記画素値の分布に関する拘束条件をさらに含む前記評価式を最小化する動画像を、前記新たな動画像として求める、請求項２または３に記載の撮像処理装置。
【請求項５】
前記第１露光時間で読み出された画素信号に基づいて得られた前記第１色成分の動画像、前記第２色成分の動画像および前記第３色成分の動画像に、表示のために予め定められた画像処理を施す表示制御部と、
前記表示制御部によって画像処理された前記第１動画像、前記第２動画像および前記第３動画像を表示する表示部と
をさらに備えた、請求項１に記載の撮像処理装置。
【請求項６】
所定のフレームレートに対応する第１露光時間で画素信号が読み出される複数の第１ラインおよび前記所定のフレームレートよりも長い第２露光時間で画素信号が読み出される複数の第２ラインをそれぞれ有する第１撮像素子、第２撮像素子および第３撮像素子であって、前記第１撮像素子は第１色成分の光を検出する画素を有し、前記第２撮像素子は第２色成分の光を検出する画素を有し、前記第３撮像素子は第３色成分の光を検出する画素を有する、第１撮像素子、第２撮像素子および第３撮像素子と、
前記第１撮像素子から前記第１露光時間および前記第２露光時間でそれぞれ読み出された画素信号を受け取り、前記第２撮像素子から前記第１露光時間および前記第２露光時間でそれぞれ読み出された画素信号をそれぞれ受け取り、かつ、前記第３撮像素子から前記第１露光時間および前記第２露光時間でそれぞれ読み出された画素信号を受け取って、前記所定のフレームレートを有する新たな動画像を生成する画像処理部と
を備えた、撮像処理装置。
【請求項７】
前記画像処理部は、前記第１露光時間で読み出された画素信号に基づいて得られた、前記第１色成分の動画像、前記第２色成分の動画像および前記第３色成分の動画像と、前記新たな動画像を前記第１露光時間でサンプリングして得られた動画像との第１の差、および、前記第２露光時間で読み出された画素信号に基づいて得られた前記第１色成分の動画像、前記第２色成分の動画像および前記第３色成分の動画像と、前記新たな動画像を前記第２露光時間でサンプリングして得られた動画像との第２の差とを少なくとも含む評価式を設定し、前記評価式を最小化する動画像を、前記新たな動画像として求める、請求項６に記載の撮像処理装置。
【請求項８】
前記画像処理部は、
前記第１露光時間で読み出された画素信号に基づいて得られた前記第１色成分の動画像、前記第２色成分の動画像および前記第３色成分の動画像を利用して、前記被写体の動きを検出する動き検出部と、
前記動きの検出結果を利用して前記新たな動画像の動きの分布に関する拘束条件を設定し、前記動きの分布に関する拘束条件をさらに含む前記評価式を最小化する動画像を、前記新たな動画像として求める画像生成部と
を備えた、請求項７に記載の撮像処理装置。
【請求項９】
前記画像処理部は、前記新たな動画像の画素値の分布の変化が少なくなるよう、または、前記新たな動画像の画素値の変化が一定になるよう、画素値の分布に関する拘束条件を設定し、前記画素値の分布に関する拘束条件をさらに含む前記評価式を最小化する動画像を、前記新たな動画像として求める、請求項７または８に記載の撮像処理装置。
【請求項１０】
前記第１露光時間で読み出された画素信号に基づいて得られた前記第１色成分の動画像、前記第２色成分の動画像および前記第３色成分の動画像に、表示のために予め定められた画像処理を施す表示制御部と、
前記表示制御部によって画像処理された前記第１動画像、前記第２動画像および前記第３動画像を表示する表示部と
をさらに備えた、請求項６に記載の撮像処理装置。
【請求項１】
所定のフレームレートに対応する第１露光時間で画素信号が読み出される複数の第１ラインおよび前記所定のフレームレートよりも長い第２露光時間で画素信号が読み出される複数の第２ラインを有する単板カラー撮像素子であって、前記第１ラインおよび前記第２ラインの各々は、前記第１色成分の光を検出する画素、第２色成分の光を検出する画素および第３色成分の光を検出する画素の少なくとも２種類を有している単板カラー撮像素子と、
前記第１露光時間および前記第２露光時間でそれぞれ読み出された画素信号に基づいて得られた、被写体の前記第１色成分の動画像を表す第１動画像、前記第２色成分の動画像を表す第２動画像、および、前記第３色成分の動画像を表す第３動画像を受け取り、前記所定のフレームレートを有する新たな動画像を生成する画像処理部と
を備えた、撮像処理装置。
【請求項２】
前記画像処理部は、前記第１露光時間で読み出された画素信号に基づいて得られた、前記第１色成分の動画像、前記第２色成分の動画像および前記第３色成分の動画像と、前記新たな動画像を前記第１露光時間でサンプリングして得られた動画像との第１の差、および、前記第２露光時間で読み出された画素信号に基づいて得られた前記第１色成分の動画像、前記第２色成分の動画像および前記第３色成分の動画像と、前記新たな動画像を前記第２露光時間でサンプリングして得られた動画像との第２の差とを少なくとも含む評価式を設定し、前記評価式を最小化する動画像を、前記新たな動画像として求める、請求項１に記載の撮像処理装置。
【請求項３】
前記画像処理部は、
前記第１露光時間で読み出された画素信号に基づいて得られた前記第１色成分の動画像、前記第２色成分の動画像および前記第３色成分の動画像を利用して、前記被写体の動きを検出する動き検出部と、
前記動きの検出結果を利用して前記新たな動画像の動きの分布に関する拘束条件を設定し、前記動きの分布に関する拘束条件をさらに含む前記評価式を最小化する動画像を、前記新たな動画像として求める画像生成部と
を備えた、請求項２に記載の撮像処理装置。
【請求項４】
前記画像処理部は、前記新たな動画像の画素値の分布の変化が少なくなるよう、または、前記新たな動画像の画素値の変化が一定になるよう、画素値の分布に関する拘束条件を設定し、前記画素値の分布に関する拘束条件をさらに含む前記評価式を最小化する動画像を、前記新たな動画像として求める、請求項２または３に記載の撮像処理装置。
【請求項５】
前記第１露光時間で読み出された画素信号に基づいて得られた前記第１色成分の動画像、前記第２色成分の動画像および前記第３色成分の動画像に、表示のために予め定められた画像処理を施す表示制御部と、
前記表示制御部によって画像処理された前記第１動画像、前記第２動画像および前記第３動画像を表示する表示部と
をさらに備えた、請求項１に記載の撮像処理装置。
【請求項６】
所定のフレームレートに対応する第１露光時間で画素信号が読み出される複数の第１ラインおよび前記所定のフレームレートよりも長い第２露光時間で画素信号が読み出される複数の第２ラインをそれぞれ有する第１撮像素子、第２撮像素子および第３撮像素子であって、前記第１撮像素子は第１色成分の光を検出する画素を有し、前記第２撮像素子は第２色成分の光を検出する画素を有し、前記第３撮像素子は第３色成分の光を検出する画素を有する、第１撮像素子、第２撮像素子および第３撮像素子と、
前記第１撮像素子から前記第１露光時間および前記第２露光時間でそれぞれ読み出された画素信号を受け取り、前記第２撮像素子から前記第１露光時間および前記第２露光時間でそれぞれ読み出された画素信号をそれぞれ受け取り、かつ、前記第３撮像素子から前記第１露光時間および前記第２露光時間でそれぞれ読み出された画素信号を受け取って、前記所定のフレームレートを有する新たな動画像を生成する画像処理部と
を備えた、撮像処理装置。
【請求項７】
前記画像処理部は、前記第１露光時間で読み出された画素信号に基づいて得られた、前記第１色成分の動画像、前記第２色成分の動画像および前記第３色成分の動画像と、前記新たな動画像を前記第１露光時間でサンプリングして得られた動画像との第１の差、および、前記第２露光時間で読み出された画素信号に基づいて得られた前記第１色成分の動画像、前記第２色成分の動画像および前記第３色成分の動画像と、前記新たな動画像を前記第２露光時間でサンプリングして得られた動画像との第２の差とを少なくとも含む評価式を設定し、前記評価式を最小化する動画像を、前記新たな動画像として求める、請求項６に記載の撮像処理装置。
【請求項８】
前記画像処理部は、
前記第１露光時間で読み出された画素信号に基づいて得られた前記第１色成分の動画像、前記第２色成分の動画像および前記第３色成分の動画像を利用して、前記被写体の動きを検出する動き検出部と、
前記動きの検出結果を利用して前記新たな動画像の動きの分布に関する拘束条件を設定し、前記動きの分布に関する拘束条件をさらに含む前記評価式を最小化する動画像を、前記新たな動画像として求める画像生成部と
を備えた、請求項７に記載の撮像処理装置。
【請求項９】
前記画像処理部は、前記新たな動画像の画素値の分布の変化が少なくなるよう、または、前記新たな動画像の画素値の変化が一定になるよう、画素値の分布に関する拘束条件を設定し、前記画素値の分布に関する拘束条件をさらに含む前記評価式を最小化する動画像を、前記新たな動画像として求める、請求項７または８に記載の撮像処理装置。
【請求項１０】
前記第１露光時間で読み出された画素信号に基づいて得られた前記第１色成分の動画像、前記第２色成分の動画像および前記第３色成分の動画像に、表示のために予め定められた画像処理を施す表示制御部と、
前記表示制御部によって画像処理された前記第１動画像、前記第２動画像および前記第３動画像を表示する表示部と
をさらに備えた、請求項６に記載の撮像処理装置。
【図１】
【図２】
【図３Ａ】
【図３Ｂ】
【図３Ｃ】
【図４Ａ】
【図４Ｂ】
【図５Ａ】
【図５Ｂ】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３Ａ】
【図３Ｂ】
【図３Ｃ】
【図４Ａ】
【図４Ｂ】
【図５Ａ】
【図５Ｂ】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１２−２１６９５７（Ｐ２０１２−２１６９５７Ａ）
【公開日】平成２４年１１月８日（２０１２．１１．８）
【国際特許分類】
【出願番号】特願２０１１−８０１４１（Ｐ２０１１−８０１４１）
【出願日】平成２３年３月３１日（２０１１．３．３１）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２２年度 独立行政法人情報通信研究機構「高度通信・放送研究開発委託研究／革新的な三次元映像技術による超臨場感コミュニケーション技術の研究開発」、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年１１月８日（２０１２．１１．８）
【国際特許分類】
【出願日】平成２３年３月３１日（２０１１．３．３１）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２２年度 独立行政法人情報通信研究機構「高度通信・放送研究開発委託研究／革新的な三次元映像技術による超臨場感コミュニケーション技術の研究開発」、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]