画像処理装置、撮像処理装置、画像処理方法、および、画像処理装置の制御プログラム
【課題】高解像度で高フレームレートの動画像を生成可能な撮像処理装置および方法を提供する。
【解決手段】本発明の撮像処理装置は、可視光を、少なくとも第１および第２色成分に分離する分離部１０２と、第１色成分の動画像を撮影する第１撮像部１０３と、第２色成分の動画像を撮影する第２撮像部１０４とを備えている。第１撮像部１０３は、第１電荷蓄積期間で露光して、動画像の各画像を第１空間解像度で、かつ、第１時間解像度で撮影する。第２撮像部１０４は、第１電荷蓄積期間よりも長い第２電荷蓄積期間で露光して、動画像の各画像を第１空間解像度よりも高い第２空間解像度で、かつ、第１時間解像度よりも低い第２時間解像度で撮影する。更に、この撮像処理装置は、第１、第２撮像部１０３、１０４における撮像条件を制御する制御部１２０と、第１色成分および第２色成分の各動画像の情報に基づいて時間解像度を高めた第２成分の動画像を生成するアップコンバータ１０６とを備えている。
【解決手段】本発明の撮像処理装置は、可視光を、少なくとも第１および第２色成分に分離する分離部１０２と、第１色成分の動画像を撮影する第１撮像部１０３と、第２色成分の動画像を撮影する第２撮像部１０４とを備えている。第１撮像部１０３は、第１電荷蓄積期間で露光して、動画像の各画像を第１空間解像度で、かつ、第１時間解像度で撮影する。第２撮像部１０４は、第１電荷蓄積期間よりも長い第２電荷蓄積期間で露光して、動画像の各画像を第１空間解像度よりも高い第２空間解像度で、かつ、第１時間解像度よりも低い第２時間解像度で撮影する。更に、この撮像処理装置は、第１、第２撮像部１０３、１０４における撮像条件を制御する制御部１２０と、第１色成分および第２色成分の各動画像の情報に基づいて時間解像度を高めた第２成分の動画像を生成するアップコンバータ１０６とを備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像の画像処理に関する。より具体的には、撮影された動画像の解像度およびフレームレートの少なくとも一方を画像処理によって高くした動画像を生成する技術に関する。
【背景技術】
【０００２】
近年、映像入力の分野では、携帯電話用カメラやデジタルスチルカメラの多画素化、画素の小型化が進んでいる。
【０００３】
空間解像度は、撮像機器に求められる画質に応じて大きく異なる。例えばＴＶ電話の解像度は、ＱＣＩＦ（Ｑｕａｒｔｅｒ Ｃｏｍｍｏｎ Ｉｎｔｅｒｍｅｄｉａｔｅ Ｆｏｒｍａｔ、横１７６画素、縦１４４画素）程度、または、ＱＶＧＡ（Ｑｕａｒｔｅｒ Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ、横３２０画素、縦１４４画素）程度の比較的低い画素数である。一方、デジタル一眼レフカメラの解像度は、１０００万画素を超えている。
【０００４】
時間解像度も使い分けられている。例えば、ＨＤＴＶまでの画素数の時間解像度については、民生機器によるビデオレート（３０フレーム／秒）での撮像が実現されている。しかしながら、それ以上の画素数での撮像については、そのフレームレートは、デジタルスチルカメラに搭載されている連写機能による毎秒数フレームにとどまっている。
【０００５】
一方、映像表示の分野では、フラットパネルディスプレイが急激な勢いで普及している。これに伴い、今後、様々な解像度のカメラとディスプレイの組み合わせにより、ユーザが映像を視聴することが予測される。
【０００６】
入力側のカメラの時空間解像度（「時間解像度および空間解像度」を意味する。以下同様）と出力側のディスプレイの時空間解像度とを比較すると、現状の民生機器では出力側のディスプレイの方が高い。そのため、出力側の性能を最大限に発揮させる映像を一般ユーザが手軽に入力できる状況にない。このような状況になった理由として、これまでは読み出しスピードがボトルネックとなっていたことが挙げられる。高空間解像度の撮影は毎秒５フレーム程度までに限られ、逆に、毎秒３０フレームの撮影はＨＤＴＶの空間解像度までに限られていた。したがって、高い空間解像度画像で、かつ高いフレームレートでの撮像は困難であった。
【０００７】
上記の課題に対し、特許文献１から３は、高空間解像度と高フレームレートの撮像を両立するための方式として、２系統のカメラにより時間解像度と空間解像度の異なる画像を入力し、信号処理によって高空間解像度で高フレームレートの画像を生成する方式を提案している。これらの特許文献には図２０に示す構成が記載されている。
【０００８】
図２０は、従来の撮像装置の構成を示す。撮像装置に入射した光は、その一部がハーフミラー１７１を透過し、第１カメラ１７２に入射する。その結果、低解像度、高フレームレートの動画像が撮影される。一方、撮像装置に入射した光のうち、ハーフミラー１７１で反射した光は、第２カメラ１７３に入射する。その結果、高解像度、低フレームレートの動画像が撮影される。
【０００９】
アップコンバータ１７４は、第１カメラ１７２および第２カメラ１７３で撮影された各動画像を受け取り、画像処理を行って高解像度かつ高フレームレートの動画像を出力する。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開平７−１４３４３９号公報
【特許文献２】特表２００５−５１５６７５号公報
【特許文献３】特開２００５―３１８５４８号公報
【特許文献４】特許３９３４１５１号
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、上述の撮像装置は、基本的にはモノクロ画像に対する処理を想定して構成されているため、赤（Ｒ），緑（Ｇ），青（Ｂ）の３チャネルからなるカラー画像に適用すると、処理量が３倍必要になる。また、処理後の画像中のエッジ付近でＲ，Ｇ，Ｂの各色に相関がなくなるために偽色が発生することがあり、画質低下を引き起こしていた。
【００１２】
本発明は上述の課題を解決するものであって、その目的は、演算量を低減させ、かつ、偽色の発生を抑えて、カラー画像の高解像度化を行うことのできる画像処理装置、撮像処理装置、画像処理方法、および、画像処理装置の制御プログラムを提供することにある。
【課題を解決するための手段】
【００１３】
本発明の画像処理装置は、第１空間解像度で、かつ、第１時間解像度で撮影された第１色成分および第３色成分の動画像の情報と、前記第１空間解像度よりも高い第２空間解像度で、かつ、前記第１時間解像度よりも低い第２時間解像度で撮影された第２色成分の動画像の情報とを受け取り、処理を行う画像処理装置であって、前記第１色成分の動画像の情報および前記第３色成分の動画像の情報に基づいて、時間解像度を高めた前記第２成分の動画像を生成する第１アップコンバータと、前記第１色成分および前記第３色成分の各動画像の情報、および、時間解像度を高めた前記第２成分の動画像の情報に基づいて、空間解像度を高めた前記第１色成分および前記第３色成分の動画像を生成する第２アップコンバータとを備え、前記第１アップコンバータは、撮像過程で決まる拘束条件と、色間にまたがる滑らかさの拘束条件とを含む評価値に基づいて時間解像度を高めた前記第２成分の動画像を生成する。
【００１４】
好ましい実施形態において、前記第１色成分、前記第２色成分、および前記第３色成分は、それぞれ、赤、緑、および青である。
【００１５】
好ましい実施形態において、前記色間にまたがる滑らかさの拘束条件は、前記第１から第３色成分によって定まる色空間内における近傍画素値間の連続性を規定する式によって表現される。
【００１６】
好ましい実施形態において、前記色空間における画素値の３つの座標成分は、それぞれ、前記第１から第３色成分の線形和である。
【００１７】
好ましい実施形態において、前記第１アップコンバータは、前記評価値が最小化するように、前記第２成分の動画像を構成する画素値を算出する。
【００１８】
好ましい実施形態において、前記評価値は、撮像したシーン中の動きに沿った画素値変化についての拘束条件を含む。
【００１９】
好ましい実施形態において、前記評価値の最小化は、疎な係数行列の連立方程式を、係数が固定のフィルタ演算と係数が画像の内容に応じて変化するフィルタ演算とに分解して演算することによって行う。
【００２０】
好ましい実施形態において、前記第１アップコンバータでの前記第２成分の動画像の時空間高解像度化は、シーン中の動きの大きさがしきい値以上の領域についてのみ演算することによって行う。
【００２１】
好ましい実施形態において、前記第１アップコンバータでの前記第２成分の動画像の時空間高解像度化は、シーン中の動きの小さい領域では、時間方向の滑らかさ拘束を強めることによって行う。
【００２２】
好ましい実施形態において、第１アップコンバータは、前記動画像の動きの大きさに応じて前記評価値を変化させる。
【００２３】
本発明の撮像処理装置は、第１色成分、第２色成分および第３色成分を含む可視光から前記第２成分を分離する分離部と、前記第１色成分および第３色成分の動画像を撮影する第１撮像部であって、第１電荷蓄積期間で露光して、前記動画像を構成する各画像を第１空間解像度で、かつ、第１時間解像度で撮影する第１撮像部と、前記第２色成分の動画像を撮影する第２撮像部であって、前記第１電荷蓄積期間よりも長い第２電荷蓄積期間で露光して、前記動画像を構成する各画像を前記第１空間解像度よりも高い第２空間解像度で、かつ、前記第１時間解像度よりも低い第２時間解像度で撮影する第２撮像部と、前記第１撮像部および前記第２撮像部における撮影条件を制御する制御部と、上記いずれかの画像処理装置とを備える。
【００２４】
本発明の他の撮像処理装置は、第１色成分、第２色成分および第３色成分を含む可視光を受け、前記第１色成分および第３色成分の光については第１電荷蓄積期間で露光することにより前記第１色成分および第３色成分の前記動画像を構成する各画像を第１空間解像度で、かつ、前記第２色成分の光については前記第１電荷蓄積期間よりも長い第２電荷蓄積期間で露光することにより前記第２色成分の前記動画像を構成する各画像を前記第１空間解像度よりも高い第２空間解像度で、かつ、前記第１時間解像度よりも低い第２時間解像度で撮影する撮像部と、前記撮像部における撮影条件を制御する制御部と、上記いずれかの画像処理装置とを備える。
【００２５】
本発明の画像処理方法は、第１空間解像度で、かつ、第１時間解像度で撮影された第１色成および第３色成分の動画像の情報と、前記第１空間解像度よりも高い第２空間解像度で、かつ、前記第１時間解像度よりも低い第２時間解像度で撮影された第２色成分の動画像の情報とを受け取るステップと、前記第１色成分および第３色成分の動画像の情報に基づいて、時間解像度を高めた前記第２成分の動画像の情報を生成する第１アップコンバートステップと、前記第１色成分および第３色成分の動画像の情報、および、時間解像度を高めた前記第２成分の動画像の情報に基づいて、空間解像度を高めた前記第１色成分および第３色成分の動画像の情報を生成する第２アップコンバートステップとを含む画像処理方法であって、前記第１アップコンバートステップは、撮像過程で決まる拘束条件と、色間にまたがる滑らかさの拘束条件とを含む評価値に基づいて時間解像度を高めた前記第２成分の動画像の情報を生成する。
【００２６】
本発明による画像処理装置の制御プログラムは、第１空間解像度で、かつ、第１時間解像度で撮影された第１色成および第３色成分の動画像の情報と、前記第１空間解像度よりも高い第２空間解像度で、かつ、前記第１時間解像度よりも低い第２時間解像度で撮影された第２色成分の動画像の情報とを受け取るステップと、前記第１色成分および第３色成分の動画像の情報に基づいて、時間解像度を高めた前記第２成分の動画像の情報を生成する第１アップコンバートステップと、前記第１色成分および第３色成分の動画像の情報、および、時間解像度を高めた前記第２成分の動画像の情報に基づいて、空間解像度を高めた前記第１色成分および第３色成分の動画像の情報を生成する第２アップコンバートステップとを前記画像処理装置に実行させ、前記第１アップコンバートステップは、撮像過程で決まる拘束条件と、色間にまたがる滑らかさの拘束条件とを含む評価値に基づいて時間解像度を高めた前記第２成分の動画像の情報を生成する。
【発明の効果】
【００２７】
本発明の撮像処理装置によれば、解像度とフレームレートが異なる複数の色成分の動画像から、解像度とフレームレートがともに高い多色動画像を生成することが可能になる。複数の色成分の動画像の各々は、ハーフミラーなどを用いることなく、例えばダイクロイックミラーを用いて、入射光を色成分ごとに分離して撮影される。そのため、ＨＤＴＶ以上に高解像度化したカラー画像を動画として得るという効果や、ＨＤＴＶ用のカラーカメラをより小型化できる。
【図面の簡単な説明】
【００２８】
【図１】実施形態１による撮像処理装置の構成を示す図である。
【図２】Ｇ用アップコンバータ１０６の構成をより詳細に示す図である。
【図３】（ａ）および（ｂ）は、それぞれ、ブロックマッチングによって動き検出を行うときの基準フレームおよび参照フレームとを示す図である。
【図４】Ｇ用アップコンバータにおける積和演算のフィルタ実装の説明図である。
【図５】Ｒ，Ｂ用アップコンバータ１０７の構成をより詳細に示す図である。
【図６】他の例によるＲ，Ｂ用アップコンバータ１０７の構成を詳細に示す図である。
【図７】相関値ρと重みＷ２との関係の例を示す図である。
【図８】Ｒ，Ｂ用アップコンバータ１０７の構成の変形例を示す図である。
【図９】実施形態１の変形例による撮像処理装置１１の構成を示す図である。
【図１０】撮像処理装置１を一般化した撮像処理装置１３の構成を示す図である。
【図１１】実施形態２の撮像処理装置におけるＧ用アップコンバータ１０６の他の構成例を示す図である。
【図１２】実施形態２における領域分割部１７２による領域分割の一例を示す。
【図１３】実施形態２における時間解像度アップコンバータの構成例を示す図である。
【図１４】実施形態３による撮像装置９０１、ネットワーク９０２および処理装置９０３で構成された画像処理システムの例を示す図である。
【図１５】本発明の入力画像の構成を示すデータ図である。
【図１６】コンピュータによって構成された画像処理装置のハードウェアを示す図である。
【図１７】本発明の処理の手順を示すフローチャートである。
【図１８】図１７に示すステップＳ１０３の詳細な処理の手順を示すフローチャートである。
【図１９】他の例によるステップＳ１０３の詳細な処理の手順を示すフローチャートである。
【図２０】従来の撮像装置の構成を示す図である。
【発明を実施するための形態】
【００２９】
以下、図面を参照しながら、本発明の実施形態を説明する。
【００３０】
（実施形態１）
図１は、本実施形態による撮像処理装置１の構成を示す図である。
【００３１】
撮像処理装置１は、レンズ系１０１と、ダイクロイックミラー１０２と、第１撮像部１０３と、第２撮像部１０４と、画像処理部１０５と、制御部１２０とを有している。以下、まず各構成要素の機能を概説し、その後、撮像処理装置１の動作に関連して各構成要素の動作を詳述する。
【００３２】
レンズ系１０１は、撮像処理装置１の外部から入射した光、すなわち被写体の像を集束させる。ダイクロイックミラー１０２は、光の赤（Ｒ）成分および青（Ｂ）成分を透過させ、光の緑（Ｇ）成分を反射する色分離部として機能する。すなわちダイクロイックミラー１０２は、入射した光を、「赤（Ｒ）成分および青（Ｂ）成分」と「緑（Ｇ）成分」とに分離する。なお、本明細書では、赤成分を「Ｒ成分」、緑成分を「Ｇ成分」、青成分を「Ｂ成分」とも記述する。
【００３３】
第１撮像部１０３は、入射光（ここでは光のＲ成分およびＢ成分）に基づいて、短時間の露光時間、低解像度および高フレームレートでＲ成分およびＢ成分の動画像をそれぞれ撮影する。そして、得られたデータを出力する。なお、Ｒ成分の動画像およびＢ成分の動画像をそれぞれ取得するために、第１撮像部１０３は、内部にダイクロイックミラーを有し、かつ、Ｒ成分およびＢ成分をそれぞれ検出する２つの撮像素子を備えていてもよい。第１撮像素子１０３の他の例は、Ｒ成分およびＢ成分の両方を含む光が１つの撮像素子（単板式）に入射する構成を有していても良い。その場合、その撮像素子の前面に、Ｒ成分を透過しＢ成分を透過しないＲフィルタと、Ｂ成分を透過しＲ成分を透過しないＢフィルタが２次元的に交互に配列されていても良い。カラーフィルタを用いると、光の利用効率が低下するため、後述するように入射光の波長に応じてフォトダイオードに進入する光の深さが異なることを利用して色信号を生成するフィルタレス撮像素子を用いても良い。
【００３４】
第２撮像部１０４は、入射光（ここでは光のＧ成分）に基づいて、長時間の露光時間、高解像度および低フレームレートで動画像を撮影し、Ｇ成分の動画像のデータを出力する。
【００３５】
画像処理部１０５は、Ｒ成分およびＢ成分の光に対応する動画像のデータ、およびＧ成分の光に対応する動画像のデータを受け取り、それぞれを、画像処理によって高解像度および高フレームレートの動画像に変換して出力する。
【００３６】
画像処理部１０５は、Ｇ用アップコンバータ１０６およびＲＢ用アップコンバータ１０７を備えている。
【００３７】
Ｇ用アップコンバータ１０６は、Ｇ成分のフレームレートを高めた高解像度、高フレームレートの動画像のデータを生成する。Ｒ，Ｂ用アップコンバータ１０７は、Ｒ成分およびＢ成分の解像度を高め、高解像度、高フレームレートの動画像のデータを生成する。動画像は、１枚または複数枚の画像を所定のフレームレートで連続して切り替えて表示される。Ｒ，Ｂ用アップコンバータ１０７による解像度を高める処理は、動画像を構成する各画像の画素数を増加させることを意味する。
【００３８】
Ｇ用アップコンバータ１０６およびＲ，Ｂ用アップコンバータ１０７の詳細は後述する。
【００３９】
制御部１２０は、第１撮像部１０３および第２撮像部１０４を利用して動画像を撮影するときの撮像条件を制御する。そしてその制御情報を、Ｇ用アップコンバータ１０６およびＲ，Ｂ用アップコンバータ１０７に出力する。
【００４０】
次に、撮像処理装置１の動作とともに各構成要素の動作を詳述する。
【００４１】
レンズ系１０１は、被写体の像が、第１撮像部１０３および第２撮像部１０４の撮像素子上に結ばれるように、その位置が調整される。レンズ系１０１を通った光は、ダイクロイックミラー１０２によって「Ｒ成分およびＢ成分」と「Ｇ成分」とに分離される。
【００４２】
上記Ｒ成分およびＢ成分の動画像は、制御部１２０から指示された撮像条件、すなわち、短時間露光、低空間解像度、高フレームレートで、第１撮像部１０３によって撮影される。ここで、「低空間解像度」とは、例えば、ＮＴＳＣの１フレームの画素数（水平７２０画素×垂直４８０画素）程度か、もしくは、それ以下のＶＧＡ（Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ：水平６４０画素×垂直４８０画素）程度の画素数の空間解像度をいう。「高フレームレート」とは、３０ｆｐｓ（フレーム／秒）ないし６０ｆｐｓ程度をいう。「短時間露光」とは、最長でもフレームレートで決まる上限値（本実施形態の場合、３０分の１秒ないし６０分の１秒）以下の時間で露光することをいう。
【００４３】
上記Ｇ成分の動画像についても、制御部１２０から指示された撮像条件、すなわち、長時間露光、高空間解像度、低フレームレートの撮像条件で、第２の撮影部１０４によって撮影される。ここで、「高空間解像度」とは、例えば、一般的なデジタルスチルカメラの画素数（例えば水平約４０００画素、垂直約３０００画素）の空間解像度をいう。「低フレームレート」とは、第１撮像部１０３の数分の１から１０分の１ないし２０分の１程度のフレームレート（例えば３ｆｐｓ（フレーム／秒））をいう。「長時間露光」とは、前記低フレームレートの値で決まる時間（例えば１／３秒）を上限として露出することをいう。
【００４４】
本実施形態においては、第１撮像部１０３および第２撮像部１０４は、制御部１２０によって同期制御されて動作する。しかしながら、同期して動作することは必須ではない。
【００４５】
なお、上述した露光時間の長短、空間解像度の高低、フレームレート（時間解像度）の高低は、第１撮像部１０３および第２撮像部１０４における相対的な撮像条件を意味する。カラー画像のＲ成分およびＢ成分の露光時間は、Ｇ成分の露光時間よりも短ければよい。Ｒ成分およびＢ成分の空間解像度（ここでは画素数に対応）は、Ｇ成分のそれよりも低ければよい。Ｒ成分およびＢ成分のフレームレートは、Ｇ成分のそれよりも高ければよい。例示した上述の数値範囲に限定されることはない。
【００４６】
以下、本明細書では、空間解像度が高く（Ｈ）フレームレートが低い（Ｌ）、Ｇの色成分の動画像をＧHLと標記する。そして、空間解像度が低く（Ｌ）、フレームレートが高い（Ｈ）、ＲおよびＢの色成分の動画像を、それぞれ、ＲLH、ＢLHと表記する。これらの各符号において、１文字目が色成分を表し、２文字目（第１の添え字）が空間解像度を表し、３文字目（第２の添え字）がフレームレート（時間解像度）を表す。
【００４７】
Ｇ用アップコンバータ１０６は、長時間露光、高空間解像度、低フレームレートで撮像されたＧ画像ＧHLのデータと、短時間露光、低空間解像度、高フレームレートで撮像されたＲ画像ＲLHおよびＢ画像ＢLHのデータを受け取る。そして、Ｇ用アップコンバータ１０６は、Ｇ画像ＧHL、Ｒ画像ＲLH、およびＢ画像ＢLHのデータに基づいて、Ｇ画像ＧHLの時間解像度を高めたＧ画像ＧHHを生成し、出力する。すなわち、Ｇ用アップコンバータ１０６は、同じ解像度でフレームレート（時間解像度）を高めた合成動画像を生成する。
【００４８】
本発明の好ましい実施形態では、空間解像度の低い領域（低空間周波数域）でのＧＢ間、ＧＲ間の局所的な相関関係をゲイン係数として用いて、Ｇ画像の高域成分（空間周波数の高い成分）をＲ、Ｂに重畳する。色間の相関関係は、色間の波長差が小さいほど高くなるため、Ｒ画像またはＢ画像を高空間解像度・低フレームレートで取得すよりも、Ｇ画像を高空間解像度・低フレームレートで取得する方が、色間の相関関係が高まり、高域成分の重畳が効率よく行える。このため、本実施形態では、長時間露光、高空間解像度、低フレームレートでＧ画像ＧHLの撮像を行っている。
【００４９】
図２は、Ｇ用アップコンバータ１０６の構成をより詳細に示す。図２において、図１の撮像処理装置の構成要素と共通する構成要素には同じ参照符号を付し、その説明を省略する。
【００５０】
Ｇ用アップコンバータ１０６は、動き検出部１０８および時間解像度アップコンバータ１０９を有している。
【００５１】
動き検出部１０８は、ブロックマッチング、勾配法、位相相関法等の既存の公知技術によって、ＲLH、ＢLHから動き（オプティカルフロー）を検出する。公知技術として、例えばＪ. Ｌ. Ｂａｒｒｏｎ, Ｄ. Ｊ. Ｆｌｅｅｔ, Ｓ. Ｓ. Ｂｅａｕｃｈｅｍｉｎ, ａｎｄ Ｔ. Ａ. Ｂｕｒｋｉｔｔ. "Ｐｅｒｆｏｒｍａｎｃｅ ｏｆ Ｏｐｔｉｃａｌ Ｆｌｏｗ Ｔｅｃｈｎｉｑｕｅｓ", Ｉｎ Ｐｒｏｃ. Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ, ｐｐ. ２３６-２４２, １９９２が知られている。
【００５２】
図３（ａ）および（ｂ）は、それぞれ、ブロックマッチングによって動き検出を行うときの基準フレームおよび参照フレームを示している。動き検出部１０８は、基準とするフレーム（動きを求めるべく着目している時刻ｔにおける画像）内に、図３（ａ）に示す窓領域Ａを設定する。そして、窓領域内のパターンと類似するパターンを参照フレーム内で探索する。参照フレームとして、例えば着目フレームの次のフレームが利用されることが多い。
【００５３】
探索範囲は、図３（ｂ）に示すように、通常、移動量ゼロの位置Ｂを基準に予め一定の範囲（同図３（ｂ）中のＣ）が設定される。また、パターンの類似の度合い（程度）は、（数１）に示す残差平方和（ＳＳＤ：Ｓｕｍ ｏｆ Ｓｑｕａｒｅ Ｄｉｆｆｅｒｒｅｎｃｅｓ）や、（数２）に示す残差絶対値和（ＳＡＤ：Ｓｕｍ ｏｆＡｂｓｏｌｕｔｅｄ Ｄｉｆｆｅｒｅｎｃｅｓ）を評価値として計算することによって評価する。
【数１】
【数２】
【００５４】
（数１）および（数２）において、ｘ，ｙ∈Ｗは、基準フレームの窓領域内に含まれる画素の座標値を意味する。
【００５５】
動き検出部１０８は、探索範囲内で（ｕ，ｖ）を変化させることにより、上記評価値を最小とする（ｕ，ｖ）の組を探索し、これをフレーム間での動きベクトルＶとする。窓領域の設定位置を順次シフトさせることによって、動きを画素毎もしくはブロック毎（例えば８画素×８画素）に求める。
【００５６】
再び図２を参照する。時間解像度アップコンバータ１０９は、第１撮像部１０３によって撮像されたＲ画像ＲLHおよびＢ画像ＢLH、第２の撮影部１０４によって撮像されたＧ画像ＧHL、および、動き検出部１０８によって検出された動きベクトルＶの各データを受け取り、ＧHLを高解像度化しＧHHとして出力する。
【００５７】
ここで、ＧHLの高解像度化は、下記の（数３）を最小化するＧHHを求めることによって行われる。
【数３】
【００５８】
（数３）の右辺における第１項はＧHHとＧHLの対応画素間の輝度差を示す項、第２項は「動き拘束」を示す項であり、第３項、第４項および第５項は「滑らか拘束」を示す項である。ここで、ＧHH、ＧHL、ＲLH、ＢLHは動画像の各画素を要素とする縦ベクトル、ＨTは長時間露光による光の加算をモデル化した行列、λｍは動き拘束に対する重み、λsC1、λsC2、λsC3は滑らかさ拘束に対する重み、Ｃ1、Ｃ2、Ｃ3は３次元の色空間中に定義したＲＧＢとは異なる３色の成分の縦ベクトル（動画像の各画素を要素とする縦ベクトル）、ＱsH、ＱsVは水平および垂直方向の滑らかさ拘束（色空間中に定義した３軸、Ｃ1、Ｃ2、Ｃ3についてそれぞれ評価する）、Ｑｍは動き拘束を、それぞれ表している。なお、ＧHHのフレームレートがＧHLのフレームレートよりも高いため、ＧHHの画素数（縦ベクトルの要素数）はＧHLの画素数（縦ベクトルの要素数）よりも大きい。
【００５９】
制御部１２０によって第１撮像部１０３よび第２撮像部１０４に設定される撮影条件は、少なくとも上記ＨT、Ｑｍ、λsC1、λsC2、λsC3に反映される。なお、数３の左辺Ｊはスカラーである。上記の「撮影条件」は、第１撮像部１０３および第２撮像部１０４の各々の空間解像度または露光時間、あるいは、空間解像度の比または露光時間の比である。これらのことから、（数３）の第１項は、「撮像過程で決まる拘束条件」であると言える。
【００６０】
上記（数３）を最小化するＧHHとは、与えられた拘束条件の線形和をもっともよく満足するＧHHを意味する。右辺の各項の導出過程は後述する。
【００６１】
上記、Ｃ1、Ｃ2、Ｃ3は、それぞれ、ＲLH、ＧHH、ＢLHから以下の式によって計算される。
【数４】
【００６２】
ここで、ｃ11からｃ33は、Ｒ、Ｇ、Ｂ色空間からＲ、Ｇ、Ｂ色空間とは異なる別の色空間Ｃ1、Ｃ2、Ｃ3への色変換係数、Ｍは空間的な拡大（いわゆる補間拡大）を行う係数行列である。すなわち、（数４）は、Ｃ1、Ｃ2、Ｃ3が補間拡大されたＲLH、ＢLHとＧHHの線形和で表されることを示している。
【００６３】
時間解像度アップコンバータ１０９は、下記（数５）に基づいて（数３）を最小化するＧHHを得る。（数５）は、上記（数４）を（数３）に代入し、ＧHHで偏微分することによって得られる。
【数５】
【００６４】
その結果、時間解像度アップコンバータ１０９は、（数６）に示す連立方程式を解くことによってＧHHを得る。
【数６】
【００６５】
（数６）は共役勾配法や最急降下法等の既存の数値計算法（連立方程式の解法）を用いることによって解くことができる。
【００６６】
時間解像度アップコンバータ１０９が、入力されたＧHLの時間解像度を上述の手順によって高めたＧHHを求める処理は、単位時間当たりのフレーム数を多くする処理（すなわち時間解像度を高める処理）だけではなく、ぼけた画像をくっきりした（シャープな）画像に変換する処理も含んでいる。Ｇ成分の動画像は、第２撮像部１０４によって高空間解像度で撮影されているが、長時間露光の影響で画像の一部がぼけていることもありえる。このため、低フレームレートで撮影された画像のフレームレートを高めると、時間解像度のみならず空間解像度も高められるという効果（シャープ化）が生じる。従って、時間解像度のアップコンバートを行うと、時間解像度および空間解像度の両方が向上するため、これらを総称して「（時空間）解像度が高められる」と表現することが可能である。
【００６７】
以下に、（数３）の各項の意味、働きについてより詳細に説明する。
【００６８】
（数３）の第１項は、解像度が高められたＧHHから予測される長時間露光画像（ＨTＧHH）と、実際の観測によって得た長時間露光画像ＧHLとの差異を示す。これは、解像度が高められたＧHHと、長時間露光画像ＧHLとの時空間的な対応関係を表している。ここで、ＨTでは行の数が列の数より少ない。これは、ＧHLが長時間露光画像であって、ＧHHよりもフレームレートが低い（すなわち、トータルの画素数が少ない）ことからも理解できる。そのため、仮に（数３）の左辺を第１項だけにすると、解くべき問題（すなわち連立方程式）が一意に解けない不良設定問題となる。
【００６９】
この不良設定問題を良設定問題に変更するために、（数３）の第１項には第２項、第３項、第４項、第５項が付加されている。
【００７０】
（数３）の第２項は、画像中の動きに関する拘束を規定する項である。ここでは、動画像中の各点が明るさを変えずに移動していくことを仮定している。第２項中の行列Ｑｍは、動画像中で検出された動きベクトルの始点と終点の画素に関係する要素だけが、それぞれ１と−１になっている。そのため（ＱｍＧHH）2は、動きベクトルの始点と終点間の差の２乗の動画像全体に関する総和となる。
【００７１】
（数３）の第３、４、５項は、画像が一般的に満たしている特性、すなわち近傍画素間の局所的な滑らかさを示す。モノクロ（単色）の動画像をI（ｘ，ｙ，ｔ）とすると、局所的な滑らかさは、
【数７】
として表すことができる。ここで、積分範囲は動画像の占める時空間全体であり、数７の被積分関数中の||・||はベクトルのノルムを示す。（数３）の第３、４、５項は、（数７）を差分展開し、ＩをＣ1、Ｃ2、Ｃ3に置き換えて、行列ＱｓとベクトルＧHHの積の形で表している。
【００７２】
滑らかさ拘束を色間にまたがる形で定義することにより、Ｇ成分の時間解像度を高めることに、Ｒ成分、Ｂ成分の情報を反映させることができる。本発明では、Ｒ、Ｇ、Ｂ成分を異なる時空間解像度で撮影しているため、このような拘束条件を用いた画像復元を行うことが有効である。ここで、ＲＧＢとは異なる色空間（Ｃ1Ｃ2Ｃ3）に分解することの利点を説明する。
【００７３】
人の視覚特性の観点から、３次元の色空間をなすＲＧＢ信号は、解像感に大きく寄与する成分と、解像感にあまり寄与しない成分とに分けられる。そのため、前者についての正則化パラメータλを小さく設定し、後者についての正則化パラメータλを大きく設定することによって、解像感のある画像を復元することができる。
【００７４】
また、復元すべきデータの分布という観点からは、解の変動の大きな方向についての正則化パラメータλを小さく設定し、解の変動の小さな方向についての正則化パラメータλを大きく設定することによって、復元精度を高めることができる。
【００７５】
自然画像を撮影した画像では、大部分の画像において、輝度成分の変動が大きく、色成分の変動が小さくなる傾向がある。
【００７６】
３色への分離の方法は、例えば、数８により、ＲＧＢからＹＣｂＣｒという輝度式差信号への変換を行う。
【数８】
【００７７】
また、３色への分離の方法は上記の方法に限らず、予め用意した画像についてＲＧＢ空間での主成分分析により、第１主成分、第２主成分、第３主成分を求め、３次元色空間中での３つの軸を決めるようにしてもよい。通常、自然画像から主成分分析によって求めた第１主成分は、輝度成分とおおむね等しくなり、第２主成分と第３主成分は色信号に相当する成分となる。
【００７８】
なお、色間にまたがる滑らかさ拘束については、Ｃ3を色空間においてＧと垂直に選ぶようにすることで、３色間にまたがるものから２色間にまたがるもので置き換えても、同様の画質の処理結果を得ることができる。その場合、（数３）の代わりに以下の式を用いる。
【数９】
【００７９】
また、ＧHHを得るのに、（数６）の代わりに以下の式を解けばよい。
【数１０】
【００８０】
以上説明した方法および手順により、ＧHHは（数６）もしくは（数１０）の連立方程式の解として得られる。連立方程式を解く計算は、変数の数（解くべき未知数の数）が多くなると、必要な演算量が莫大になる。大規模な連立方程式の効率的解法については種々提案されているが、演算効率の最適化は問題に依存するところが大きい。以下に、今回取り扱う問題の効率的な計算について説明する。
【００８１】
図４は、ＧHHを計算するための共役勾配法の手順と、共役勾配法において最も演算量を要する係数行列Ａと更新ベクトルｐｋとの積の演算を効率的に行うブロック図の一例を示す。図４においては、解くべき連立方程式を
【数１１】
として表している。なお、後述するように、拘束条件として（数３）の右辺の全ての項を用いる必要は無い。図４の例では、（数３）の右辺第５項を省略している。
【００８２】
共役勾配法では、残差ｒが小さくなるように、更新量ｐを計算し、これを用いて解ｘの更新を繰り返す。収束に必要な繰り返し数は、係数行列Ａの条件（数値的な安定性）や変数数に依存する。本実施形態の場合、１００回程度の繰り返しを行う。
【００８３】
この繰り返し計算においては、係数行列Ａと更新量ベクトルｐの積の計算が、最も演算量を必要とする。ベクトルｐは解の更新量であるので、その要素数（次元）は動画像中のＧの画素数になる。例えば、ＨＤＴＶ信号の空間解像度で４フレーム分の処理を行おうとすると、Ｇの画素数（すなわちｐの要素数）は、１９２０×１０８０×４＝８２９４４００となる。係数行列Ａは正方行列であるため、さらにこれの２乗の要素数となる。このような莫大なメモリアクセスと積和演算は、このままでは、現在通常に入手できる計算環境では計算することができない。
【００８４】
しかしながら、係数行列Ａは、（数６）もしくは（数１０）に示すように、長時間露光の過程ＨT、動き拘束Ｑｍ、滑らかさ総則ＱsH、ＱsVの２乗（自身の転置との積）の線形和になっている。これらの項は、着目画素とその近傍画素のみとの演算であるため、係数行列全体としては大部分が０となる。このような行列は疎行列と呼ばれる。係数行列中のどの画素が０になるのか、また、０でない係数の割合がどれ位になるのかということが問題により異なるため、効率的な解き方が個々の問題に依存することになる。
【００８５】
長時間露光過程ＨTは、図４中の参照符号４０１で示す用に、係数が全て１の時間方向の蓄積フィルタと考えることができる。拘束条件としてはＨTの転置とＨTの積になるが、ＨTの転置は、１画素の値を蓄積画素数分の画素に出力する作用を表す。そのため、（ＨT）TＨTは、入力を複数フレーム蓄積した値を、入力画素に相当する画素位置に出力するフィルタと解釈できる。
【００８６】
もしくは、長時間露光過程ＨＴを、係数が全て１／４の時間方向の平均化フィルタとしてもよい（４フレーム加算の場合）。なお、長時間露光過程ＨＴの係数を全て１とする場合と、加算フレーム数分の１とする場合の処理の違いは、次のようになる。
【００８７】
前者の場合の処理は、長時間露光画像に含まれる動きブレを除去するとともに、長時間露光した光量を各フレームの画像に分配する。その結果、処理結果が入力画像よりも暗くなる。一方、後者の場合の処理は、長時間露光画像に含まれる動きブレを除去するだけであり、処理結果は入力画像と同じ明るさになる。そのため前者の場合、Ｇの復元結果を使ってＲ，Ｂを高解像度化する前に、図示していない乗算器によって、Ｇの明るさ（レベル）をＲ、Ｂと揃える必要がある（本実施例の場合、４倍する必要がある）。
【００８８】
次に、滑らかさ拘束について説明する。Ｑｓは、２階微分の作用素であり、差分展開すると、以下の式で表せる。
【数１２】
【００８９】
（数１２）はＧHHを入力、∂ＧHH／∂ｘと∂ＧHH／∂ｙを出力とみると、フィルタとしては、水平もしくは垂直の係数が（−１，２，−１）の３タップのフィルタと解釈できる。これを係数行列として見ると、Qｓは対角成分が２で、左右１画素もしくは上下１ラインが−１、それ以外は全て０の対角行列となる。
【００９０】
これらは、対角行列であるために、転置行列も自身と等しくなり、転置と自身の積は、係数が（１，−４，６，−４，１）の５タップのフィルタとなる。すなわち、滑らかさ拘束（QsH）TQsH、（QsV）TQsVは、図４中に４０２で示すように、水平５タップのフィルタと垂直５タップのフィルタとして計算できる。
【００９１】
最後に、動き拘束Qｍは、動きベクトルの始点に相当する要素が１、終点に相当する要素が−１のデータ対の集まりである。行列としては、対角成分が全て１で、各行に−１の要素をひとつずつ持つ。そのため、（Qｍ）TQｍは、対角成分がすべて１で、Qｍで−１になっている要素と、その転置位置の要素が−１の値を持つ。このような行列演算は、フィルタとしては、動きベクトルの探索範囲で決まる空間サイズを持つフレーム間フィルタとして実装できる。例えば、動きの検出範囲が高解像度側で縦横±ｎ画素の範囲の場合、着目画素を含めて縦横（１＋２ｎ）画素×２フレームのフィルタとして実装できる。
【００９２】
以上述べたフィルタ実装により、共役勾配法で最も演算量を必要とする行列Ａとベクトルｐの積の演算を、係数が０の演算を省略して、数個のフィルタ演算の線形和として、必要最小限の演算量で計算することができる。これらのフィルタ演算のうち、動き拘束以外のものは、処理する画像の内容によらず固定の係数のフィルタを事前に用意できる。一方、動き拘束はシーンの動きに依存するので、処理する画像の内容（本実施形態の場合、動き検出の結果）に応じてフィルタ係数を都度決定する必要がある。
【００９３】
なお、共役勾配法によるＧHHの計算について、本実施形態では全ての画素において計算する場合について述べたが、動き検出結果（Ｇの露光時間に相当するフレーム分の動きベクトルの長さの総和）に応じて、動きのある領域についてのみＧHHの計算を行い、動きがほとんどない領域については、Ｇの入力画像をそのままＧHHとすることにより、一層の演算量低減を図ることができる。
【００９４】
また、共役勾配法によるＧHHの計算において、動きの小さい領域では、時間方向の滑らかさ拘束を強めるようにしてもよい。これにより、定性的には、Ｇの入力画像をそのままＧHHとすることと同様のこととなるとともに、数値的に安定化させることができ、繰り返し計算の収束を早めることができる。
【００９５】
なお、上述の（数３）および（数９）に関しては、右辺の拘束条件は、必ずしもそれら全てを同時に用いる必要はない。以下のような変形例を用いてもよい。すなわち、（数３）および（数９）の右辺第２項を利用せずに
【数１３】
としたり、
【数１４】
としてもよい。
【００９６】
これらの変形例によれば、全ての拘束条件を用いて（数３）もしくは（数９）によって計算するよりも少ない演算量でＧ成分の高解像度化を実現できる。ただし、拘束条件を緩和することになるため、生成される画像の高解像度感が多少低下することがある。
【００９７】
また、動き検出が難しいシーンでは、動き検出の結果を用いない数式（（数１１）または（数１２））によって高解像度化処理を行うことにより、出力される画像の画質に関して、動きの誤検出によるアーティファクト（画像の乱れ、ノイズ）の発生を抑えることができる。シーンからの動き検出が難しいか否かは、（ａ）時間的に双方向に動き検出を行った結果の差異から判断したり、（ｂ）（数１）、（数２）に示した動き検出時の評価値の探索範囲内での最小値から判断することができる。
【００９８】
前者（ａ）の場合、基準フレームの画像中の（ｘ，ｙ）において、時間的に順方向の動き検出結果が（ｕ，ｖ）であるとすると、次に順方向の動き検出時の参照フレームを基準に逆方向に動き検出をして、（ｘ＋ｕ，ｙ＋ｖ）における動き検出結果が（−ｕ，−ｖ）であれば、双方向の動き検出において一貫性があり信頼できる。一方、（−ｕ，−ｖ）と異なる場合、例えば一定のしきい値以上の差異がある場合には、動き検出が難しい状況であると判断できる。
【００９９】
また、後者（ｂ）の場合も同様に、ＳＳＤやＳＡＤの動き検出時の評価値の探索範囲内での最小値について、例えば予め定めたしきい値以上である場合、動き検出が難しい状況であると判断できる。
【０１００】
再び図１を参照する。Ｒ，Ｂ用アップコンバータ１０７は、Ｇ用アップコンバータ１０６によって高解像度化されたＧ成分の動画像を用いて、第１撮像部１０３によって、短時間露光、低解像度、高フレームレートの撮像条件で撮像されたＲ，Ｂ成分の動画像を高解像度化する。
【０１０１】
以下、図５を参照しながら、Ｒ，Ｂ成分の動画像を高解像度化する処理を詳細に説明する。
【０１０２】
図５は、Ｒ，Ｂ用アップコンバータ１０７の構成をより詳細に示す。図５において、図１の撮像処理装置の構成要素と共通する構成要素には同じ参照符号を付し、その説明を省略する。
【０１０３】
Ｒ，Ｂ用アップコンバータ１０７は、ダウンコンバータ１１０と、係数推定部１１１と、復元フィルタ１１２とを有している。
【０１０４】
ダウンコンバータ１１０は、Ｇ用アップコンバータ１０６によって高解像度化されたＧ成分（ＧHH）を空間的に低解像化し、ＧLHを出力する。係数推定部１１１は、ＧHHとＧLHから復元フィルタ１１２（復元フィルタＨ+）のフィルタ係数を推定する。復元フィルタ１１２として、ウィーナフィルタや一般逆フィルタ等の公知のフィルタを用いることができる。これらの復元フィルタは、ＧHHとＧLHの関係を用いて、低解像度側の信号から高解像度側の信号を推定するものである。復元フィルタ１１２は、係数推定部１１１によって推定されたフィルタ係数を用いて、ＲLH，ＢLHからＲHH，ＢHHを復元する。
【０１０５】
なお、Ｒ，Ｂ用アップコンバータ１０７におけるＲ，Ｂの高解像度化処理は、上述の処理に限る必要はなく、他の高解像度化処理によって行ってもよい。他の例による高解像度化処理を以下に説明する。
【０１０６】
図６は、他の例によるＲ，Ｂ用アップコンバータ１０７の構成を詳細に示す。ここで、Ｒ，Ｂ用アップコンバータ１０７は、ＲとＢの相関に応じてＧの高域成分を、補間拡大したＲ成分およびＢ成分に重畳することにより、Ｒ成分およびＢ成分を高解像度化する。
【０１０７】
図６に示されるＲ，Ｂ用アップコンバータ１０７は、ダウンコンバータ１１３と、補間拡大部１１４と、局所相関演算部１１５と、重み生成部１１６と、カウンタ１１７と、画像メモリ１１８と、正規化部１１９とを有している。
【０１０８】
Ｒ，Ｂ用アップコンバータ１０７は、動画像を構成するフレーム単位で処理を行う。まず、各フレーム処理の初めに、カウンタ１１７の内容と画像メモリ１１８の内容を、例えば０で埋めることにより、クリアする。
【０１０９】
低解像度化部１１３はＧ用アップコンバータ１０６によって高解像度化されたＧ成分（ＧHH）を空間的に低解像化し、ＧLHを出力する。
【０１１０】
補間拡大部１１４は、低解像度、高フレームレートで撮像されたＲLH，ＢLHと撮影条件とを受け取り、ＲLHとＢLHとをＧHHと同じ画素数になるように補間拡大する。
【０１１１】
局所相関演算部１１５は、２×２画素や３×３画素程度の局所的な領域に関し、ＲLHとＢLHの局所的な相関値を計算する。２×２画素について局所的な相関値ρを計算するときは、局所相関演算部１１５は、例えば（数１５）を利用することができる。
【数１５】
【０１１２】
重み生成部１１６は、局所相関演算部１１５によって計算された相関値に応じた重みを生成する。図７は、相関値ρと重みＷ２との関係の例を示す。重み生成部１１６は、相関値ρと図７に示す関係とに基づいて、重みＷ２を求める。
【０１１３】
図６に示されるように、重み生成部１１６によって生成され、出力された重みと、ＧHHとＧLHの差（すなわちＧの高域成分）とが乗算され、画像メモリ１１８が更新される。より詳しくは、乗算が行われた後、画像メモリ１１８内の画素データの格納位置に応じたアドレスが特定される。そして、乗算結果とそのアドレスに保持されていた値とが加算され、そのアドレスの値が加算結果に書き換えられる。
【０１１４】
このとき、画像メモリ１１８に書き込みを行う対象は、１画素でもよく、または、局所的な相関値を計算した範囲でもよい。ただし、後者のように複数画素について高域成分を重畳する場合、局所相関を計算する領域の設定の仕方（すなわち画像内でのインクリメントの仕方）によっては、同一画素に複数回、高域成分を重畳することになる。そのような場合を考慮して、図６のＲ，Ｂ用アップコンバータ１０７では、カウンタ１１７を利用する。カウンタ１１７は、高域成分を重畳した回数を各画素について記憶する。
【０１１５】
正規化部１１９は、複数回重畳した高域成分を、カウンタ１１７に１画素毎に記憶されている書き込み回数値で除算する。正規化された高域成分は、補間拡大部１１４によって補間拡大されたＲ，Ｂ画像に重畳され、ＲHH，ＢHHとして出力される。
【０１１６】
以上述べた方法によって、Ｒ，Ｂを高解像度化することにより、局所的な色バランスを保った状態でＲとＢとを高解像度化することができ、その結果、偽色の発生を抑えた高解像度化を行うことができる。
【０１１７】
なお、図７には相関値と重みの関係の一例として線形な関係の場合を示した。しかしこれは例であり、撮像時や表示時のγ特性を考慮して非線形な関係にしてもよい。また、前記の重みを、Ｒについては（Ｒの局所平均）／（Ｇの局所平均）で正規化し、Ｂについては（Ｂの局所平均）／（Ｇの局所平均）で正規化してもよい。この正規化により、Ｒ、Ｇ、Ｂの画素値に応じて、ＲとＢ重畳するＧの高域成分の振幅を調節することができ、過度な高域の重畳による観察時の違和感を低減できる。ここで、Ｒ、Ｇ、Ｂの局所平均としては、補間拡大したＲLH、ＢLHや図６のダウンコンバータ１１３でＧHHをダウンコンバートしたＧLHの画素値を用いればよい。
【０１１８】
なお、補間拡大したＲ、Ｂ画像に対する高域成分の重畳を１画素につき１回だけ行うように動作させるとすると、図６の画像メモリ１１８、カウンタ１１７、正規化部１１９は不要であり、図８に示す構成を採用することができる。図８は、Ｒ，Ｂ用アップコンバータ１０７の構成の変形例を示す。図８に示すように、図６と比較するとより簡単な構成でＲ，Ｂ用アップコンバータ１０７を実現することができ、かつ、同様の効果を得ることができる。
【０１１９】
なお、Ｒ，Ｂ用アップコンバータ１０７におけるＲ，Ｂの高解像度化処理は、上述したいわゆる復元フィルタを用いた処理や、Ｇの高域成分をＲおよびＢ成分に重畳する処理に限る必要はない。高解像度化したＧ成分とそれを低解像度化したもの（上記ＧLHとＧHH）との間の関係を学習し、学習結果に基づいてＲ成分、Ｂ成分を高解像度化するようにしてもよい。
【０１２０】
なお、学習は入力された画像の処理過程において行うものに限らず、予め事前に学習パターンを用意して行うようにしてもよい。この場合には、低解像度のＧ成分と高解像度のＧ成分の関係を学習する方法だけでなく、低解像のＲＧＢ成分と高解像度のＲＧＢ成分の関係を学習することも可能である。
【０１２１】
なお、Ｓ．Ｆａｒｓｉｕら、“Ｍｕｌｔｉｆｒａｍｅ Ｄｅｍｏｓａｉｃｉｎｇ ａｎｄ Ｓｕｐｅｒ−Ｒｅｓｏｌｕｔｉｏｎ ｏｆ Ｃｏｌｏｒ Ｉｍａｇｅｓ”，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｆ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，Ｖｏｌ．１５，Ｎｏ．１，２００６．Ｒｏｎ Ｋｉｍｍｅｌ，“Ｄｅｍｏｓａｉｃｉｎｇ： Ｉｍａｇｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｆｒｏｍ Ｃｏｌｏｒ ＣＣＤ Ｓａｍｐｌｅｓ”，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｆ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，Ｖｏｌ．８，Ｎｏ．９，１９９９．Ｄａｎｉｅｌ Ｋｅｒｅｎら、“Ｒｅｓｔｏｒｉｎｇ Ｓｕｂｓａｍｐｌｅｄ Ｃｏｌｏｒ Ｉｍａｇｅｓ”，Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ １１： ｐｐ．１９７−２０２，１９９９．等の文献では、画像復元時のＲＧＢ間の局所的な相関性に基づく拘束条件を用いている。自然画像では、大部分の領域でＲＧＢ間に正の相関があるため、一般にこの拘束条件は有効に機能するが、領域の色が原色やそれらの補色に近い場合、別の色との境界では、局所的な相関関係が負になり、設定している拘束条件が有効に働かず、復元画像中に色にじみ、リンギング等のアーチファクトを生じさせる原因となる。
【０１２２】
これに対し、本実施形態で用いた色間にまたがる滑らかさ拘束では、局所的な色相関に基づくような正の相関は仮定しておらず、局所的な滑らかさだけを仮定しているので、相関という観点では正の相関でも、負の相関でもよい。そのため、上記の局所的な相関関係が負になるような領域でも、復元画像中に色にじみ、リンギング等のアーチファクトが顕著に発生することがない。
【０１２３】
これまでの説明では、出力信号はＲ，Ｇ，Ｂの各色成分であるとした。以下では、ＲＧＢの各出力信号を輝度成分と色差成分に変換して出力する撮像処理装置を説明する。
【０１２４】
図９は、本実施形態の変形例による撮像処理装置１１の構成を示す。図９において、上述した撮像処理装置の構成要素と共通する構成要素には同じ参照符号を付し、その説明を省略する。
【０１２５】
画像処理部１０５は、Ｇ用アップコンバータ１０６、補間拡大部１１４、およびダウンコンバータ１１３に加え、さらに色差計算部１２９および輝度計算部１３０を有する。
【０１２６】
制御部１２０は、補間拡大部１１４によって補間拡大されたＲ成分、Ｂ成分の信号、および、低解像度化部１１３で低解像度化されたＧ成分の信号を受け取り、（数１６）の計算によって色差信号（Ｃｂ信号、Ｃｒ信号）に変換して出力する。
【数１６】
【０１２７】
輝度計算部１３０は、補間拡大部１１４によって補間拡大されたＲ成分、Ｂ成分の信号、および、Ｇ用アップコンバータで高解像度化されたＧ成分の信号を受け取り、（数１７）の計算によって輝度信号（Ｙ信号）に変換して出力する。
【数１７】
【０１２８】
上述の色差計算部１２９および輝度計算部１３０の説明から理解されるように、色差成分Ｃｂ、Ｃｒの計算には低解像度化したＧを用い、一方、輝度成分Ｙの計算には高解像度化されたＧを用いている。これにより、偽色の発生を抑えつつ、出力される画像の高解像度化を実現できる。
【０１２９】
なお、画像処理部１０５の後段にＹ、Ｃｂ、Ｃｒの各信号をＲＧＢの各信号へ変換するブロックをさらに設けて、ＲＧＢ成分の信号を出力する構成にしてもよい。
【０１３０】
なお、本実施形態による撮像処理装置およびその変形例による撮像処理装置は、Ｇ成分を高解像度、長時間露光、低フレームレートで撮像し、Ｒ成分およびＢ成分を低解像度、短時間露光、高フレームレートで撮像するとした。しかしながら、これは例である。どの色成分（波長帯）を高解像度、長時間露光、低フレームレートで撮像するかについては、他の例を採用することが可能である。
【０１３１】
例えば、海やプール等、水中のシーンを撮像する場合のように、シーン中にＢ成分が強く現れることが事前に分っている場合には、Ｂ成分を高解像度、長時間露光、低フレームレートで撮像し、Ｒ成分およびＧ成分を低解像度、短時間露光、高フレームレートで撮像することにより、観察者により高解像度感のある画像を提示することができる。
【０１３２】
例えば図１０は、撮像処理装置１を一般化した撮像処理装置１３の構成を示す。図１０において、図１の撮像処理装置の構成要素と共通する構成要素には同じ参照符号を付し、その説明を省略する。
【０１３３】
撮像処理装置１３は、Ｒ成分撮像部１３１と、Ｇ成分撮像部１３２と、Ｂ成分撮像部１３３と、制御部１３４と、切替部１３５と、ＨＬ用アップコンバータ１３６と、ＬＨ用アップコンバータ１３７と、出力部１３８とを有している。以下、撮像処理装置１３の動作とともに各構成要素の機能を説明する。
【０１３４】
光学系１０１を通った可視光は、ダイクロイックプリズムで波長分解され、Ｒ成分撮像素子１３１、Ｇ成分撮像素子１３２、Ｂ成分撮像素子１３３によって撮像される。ＲＧＢ各成分の撮像部１３１，１３２，１３３の読み出し画素数は、ビニング読み出し方法により、個別に、かつ動的に設定できる。「ビニング読み出し方法」とは、隣接する画素に蓄積された電荷を加算して読み出す方法である。また、各撮像部１３１，１３２，１３３では、露光時間、フレームレートについても同様に設定可能とする。読み出し時の条件設定は、制御部１３４によって行われる。
【０１３５】
制御部１３４は、シーン中の色成分の分布に応じて、Ｒ成分撮像素子１３１、Ｇ成分撮像素子１３２、Ｂ成分撮像素子１３３のうちのいずれかを、高解像度、長時間露光、低フレームレート（実施形態１におけるＧに相当）に設定し、残りを低解像度、短時間露光、高フレームレート（実施形態１におけるＲ，Ｂに相当）に設定する。
【０１３６】
なお、撮像開始時にはシーン中の色成分の分布が未知であるので、例えばＧを高解像度、長時間露光、低フレームレートに設定するようにすればよい。
【０１３７】
切替部１３５は、制御部によるＲＧＢ各成分の撮像部１３１，１３２，１３３の設定に応じて、高解像度、長時間露光、低フレームレートでの撮像が設定されている成分の撮像データがＨＬ用アップコンバータ１３６に入力され、残りの成分のデータがＬＨ用アップコンバータ１３７に入力されるように切り替え動作を行う。
【０１３８】
ＨＬ用アップコンバータ１３６は、Ｇ用アップコンバータ１０６（例えば図１）と同じ処理を行い、高解像度、長時間露光、低フレームレートで撮像された成分の動画像を空間的に高解像化する。
【０１３９】
ＬＨ用アップコンバータ１３７は、低解像度、短時間露光、高フレームレートで撮像された２系統（２つの色成分）の動画像と、ＨＬ用アップコンバータ１３６で高解像度化された動画像とを受け取り、Ｒ，Ｂ用アップコンバータ１０７（例えば図１）と同じ処理により、その２系統の動画像を空間的に高解像化する。
【０１４０】
出力部１３８は、ＨＬ用アップコンバータ１３６とＬＨ用アップコンバータ１３７によってそれぞれ高解像度化された動画像を受け取り、制御部１３４による設定に応じて、ＲＧＢ３系統の動画を出力する。もちろん、出力部１３８が輝度信号（Ｙ）および色差信号（Ｃｂ，Ｃｒ）信号等の、他の信号形式に変換して出力するようにしてもよい。
【０１４１】
なお、撮像部は本実施形態に示す３板構成のものに限る必要はなく、例えば、単板構成でＲ，Ｇ，Ｂ間で電荷蓄積期間を変えたり、画素加算の仕方を変えることで空間解像度を変えるようにしたり、ライン間引き読み出しをするようにしてもよい。
【０１４２】
（実施形態２）
次に、動きの大小に応じて処理効率を高めた実施形態を説明する。
【０１４３】
図１１は、本実施形態におけるＧ用アップコンバータ１０６の構成を示す。他の部分の構成は、基本的には、図１および図２を参照して説明した実施形態１の構成と同様である。このため、ここでは、相違部分を説明する。
【０１４４】
本実施形態のＧ用アップコンバータ１０６は、動きのある領域に対する処理と動きのない領域に対する処理に分け、動きのある領域のみ高解像度化する処理を実行する。本実施形態では、図１１に示すように、動き検出部１７１がＲLH、ＢLHを入力として、動き検出結果と動きの信頼性の両方を出力する。領域分割部１７２は、動き検出部１８１によって検出された動き検出結果をもとに、動画像を３次元的に領域分割する。
【０１４５】
図１２は、領域分割部１７２による領域分割の一例を示す。図１２では、動画像が動きのない領域（領域番号０）と２つの動きのある領域（領域番号１と２）に分割されている様子を示す。
【０１４６】
領域ごとの時間解像度アップコンバータ１７３は、領域分割部１７２によって動きに応じて領域分割された領域分割結果のうち、動きのある領域について、個々にそれぞれ時間解像度アップコンバート処理を施し、動きのない領域については、撮影時のＧの加算フレーム数に応じて、入力画像のＧの各画素値を等分する。例えば、Ｇの加算フレーム数が４であれば、入力画像のＧの各画素値を４分の１にして4フレーム分出力する。
【０１４７】
上記の処理を行うことにより、動きのない静止領域に対する処理を簡略化することができ、演算量を低減することができる。また、領域分割された動きのある領域に対して個々に処理を行うことにより、それぞれの領域について解くべき連立方程式の変数数を減らすことができ、演算規模を小さくできる。
【０１４８】
なお、上記では領域ごとの時間解像度アップコンバータ１７３の処理を、長時間露光画像に含まれる動きブレの除去と光量の分配の双方を含む分解処理として説明した。しかし、これに限る必要はなく、領域ごとの時間解像度アップコンバータ１７３の処理を、長時間露光画像に含まれる動きブレの除去のみにしてもよい。その場合、動きのない領域における処理は不要になり、単に入力をそのまま出力するだけでよい。
【０１４９】
上記の実施形態では、動きのある領域でのみ超解像処理をする場合について説明したが、動きの有無により処理を離散的に分けるだけでなく、動きの大小に応じて処理を連続的に切り替えるようにしてもよい。
【０１５０】
図１３は、図４に対応する図面であり、時間解像度アップコンバータの構成の一例を示すものである。図１３に示す空間滑らかさ拘束部１８２は、動きの大きさと信頼性に応じて、λsC1とλsC2を制御する。時間滑らかさ制御部１８３は、動きの大きさと信頼性に応じて、λｔを制御する。
【０１５１】
空間滑らかさ拘束部１８２は、動きが大きいほど、すなわち、動きベクトルが長いほど、λsC1とλsC2を大きくし、逆に、動きが小さいほど、すなわち、動きベクトルが短いほど、λsC1とλsC2を小さくする。また、空間滑らかさ拘束部１８２は、動きの信頼性が高いほど、動きベクトルの長さに応じた制御を強くし、逆に、動きの信頼性が低いほど、動きベクトルの長さに応じた制御を小さくする。
【０１５２】
時間滑らかさ拘束部１８３は、動きが小さいほど、すなわち、動きベクトルが短いほど、λｔを大きくし、逆に、動きが大きいほど、すなわち、動きベクトルが長いほど、λｔを小さくする。また、時間滑らかさ拘束部１８３は、動きの信頼性が高いほど、動きベクトルの長さに応じた制御を強くし、逆に、動きの信頼性が低いほど、動きベクトルの長さに応じた制御を小さくする。
【０１５３】
以上述べたλsC1、λsC2、λｔについての制御により、動きの小さい領域や静止している領域では、時間滑らかさ拘束が強くなるため、動きの大小に応じて処理を連続的または段階的に切り替えることができる。
【０１５４】
（実施形態３）
上述の実施形態１、２においては、撮像処理と高解像度化処理とが同一のシステム（撮像処理装置）によって行われる例を説明した。しかしながら、両処理は必ずしも同一のシステムで行われる必要はない。
【０１５５】
本実施形態においては、撮像処理と高解像度化処理とが異なるシステムにおいて行われる例を説明する。
【０１５６】
図１４は、本実施形態による撮像装置９０１、ネットワーク９０２および処理装置９０３で構成された画像処理システムの例を示す。ネットワーク９０２に代えて、メディア９０６を用いても、本実施形態による画像処理システムを構成することができる。図１４において、実施形態１、２の撮像処理装置（例えば図１）の構成要素と共通する構成要素には同じ参照符号を付し、その説明を省略する。
【０１５７】
撮像装置９０１は、レンズ系１０１と、ダイクロイックミラー１０２と、第１撮像部１０３と、第２撮像部１０４と、撮影モード設定部９０４とを有している。
【０１５８】
第１撮像部１０３は、カラー画像のＲ成分とＢ成分とを短時間の露光時間で、低解像度かつ高フレームレートで撮像し、Ｒ画像ＲLHおよびＢ画像ＢLHを出力する。第２撮像部１０４は、カラー画像のＧ成分を長時間の露光時間で、高解像度かつ低フレームレートで撮像し、Ｇ画像ＧHLを出力する。
【０１５９】
撮影モード設定部９０４は、例えば第２撮像部１０４におけるフレームレート、露光時間等の、設定が可変な撮影条件を設定し、設定した条件を示す情報を映像信号のヘッダ中に書き込み、または、別途データとして出力部９０５を介してネットワーク９０２に出力する。
【０１６０】
図１５は、データの構成の１例を示すものである。図１５において、ヘッダ部には、フレームレート、露光時間（もしくは、Ｇの露光時間をＲ，Ｂのフレーム数に換算した値）等の撮影条件（設定が可変な条件）が保存され、これに、Ｒ，Ｂの画像データ、Ｇの画像データが続く。
【０１６１】
出力部９０５は、撮像装置９０１によって撮像されたＧ画像ＧHL、Ｒ画像ＲLH、Ｂ画像ＢLH、および、それらの撮影条件の情報をネットワーク９０２またはメディア９０６に出力する。
【０１６２】
処理装置９０３は、画像処理部１０５を有している。画像処理部１０５は、ネットワーク９０２またはメディア９０６を介して、上記ＧHL、ＲLH、ＢLHおよびその撮影条件の情報を受け取り、実施形態１、２において説明した処理により、これらを空間的、時間的に高解像度化したＧHH、ＲHH、ＢHHを出力する。
【０１６３】
以上の構成により、撮像装置と処理装置とが別体で構成され、空間的に離れて存在していても、ネットワーク９０２またはメディア９０６を介して動画像信号および撮影条件の情報を授受できるように構成することにより、処理装置が高時空間解像度の動画像を出力できる。
【０１６４】
なお、ネットワーク９０２は家庭内に構築されたＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）でもよいし、インターネットなどのＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）でもよい。または、ＵＳＢ規格やＩＥＥＥ１３９４規格の通信回線でもよい。さらに無線でも有線でもよい。上述のメディア９０６は、光ディスクや取り外し可能なハードディスクなどのリムーバブルディスク、フラッシュメモリカードが含まれる。
【０１６５】
上述の各実施形態では、撮像処理装置は、図に示す種々の構成を有するとして説明した。例えば、各構成に含まれる画像処理部などは、機能的に見たブロックとして記載されていた。これらの機能ブロックは、ハードウェア的には、デジタル信号プロセッサ（ＤＳＰ）のような１つの半導体チップまたはＩＣによって実現することも可能であるし、例えばコンピュータとソフトウェア（コンピュータプログラム）とを用いて実現することもできる。
【０１６６】
図１６は、コンピュータによって構成された撮像処理装置のハードウェアの一例を示す。
【０１６７】
各実施形態の画像処理装置の各機能ブロックと、図１６に示すハードウェアとの対応関係は以下のとおりである。以下では例として、主に図１に示す撮像処理装置１を挙げて説明する。
【０１６８】
撮像処理装置１のレンズ系１０１、ダイクロイックミラー１０２、第１撮像部１０３および第２撮像部１０４は、図１６に示すカメラ１５１およびＡ／Ｄ変換器１５２に対応する。また、画像処理部１０５が実際の処理で利用する一時バッファ（図示せず）やメディア９０６は、図１６に示すフレームメモリ１５３またはハードディスクドライブ（ＨＤＤ）１６０に対応する。そして制御部１２０および画像処理部１０５は、コンピュータプログラムを実行した図１６のＣＰＵ１５４によって実現される。
【０１６９】
図１６のコンピュータを動作させるコンピュータプログラムは、例えばＲＯＭ１５５に保持されている。または、光ディスク、磁気ディスクに格納されていてもよい。また、有線や無線のネットワーク、放送などを介して伝送され、コンピュータのＲＡＭ１５６に取り込まれてもよい。
【０１７０】
コンピュータプログラムは、プロセッサであるＣＰＵ１５４によってＲＡＭ１５６に読み出されて展開される。ＣＰＵ１５４はコンピュータプログラムの実態であるコード化された各命令を実行する。命令の実行結果として得られたデジタル画像信号は、フレームメモリ１５７に送られて一時的に保持され、Ｄ／Ａ変換器１５８によってアナログ信号に変換され、ディスプレイ１５９に送られ、表示される。
【０１７１】
画像処理部１０５を実現するコンピュータプログラムの処理は、例えば次に説明するフローチャートにしたがって記述されている。
【０１７２】
例えば図１７は、本発明の処理の手順を示すフローチャートである。この処理は、実施形態１による処理として説明するが、実施形態２の撮像装置９０１および処理装置９０３によって個別に行われる処理として把握することもできる。
【０１７３】
まずＳ１０１において、第１撮像部１０３および第２撮像部１０４は、長時間露光高解像度低フレームレートのＧ画像ＧHLと短時間露光低解像度高フレームレートのＲ画像ＲLH、Ｂ画像ＢLHとを撮像する。ステップＳ１０２において、画像処理部１０５のＧ用アップコンバータ１０６は、Ｇ成分の動画像を高解像度化する。より具体的には、ステップＳ１０４とＳ１０５とに分けることができる。ステップＳ１０４において、Ｇ用アップコンバータ１０６の動き検出部１０８は、動き検出を行う。ステップＳ１０５において、時間解像度アップコンバータ１０９は、動き検出の結果等を利用して、（数４）もしくは（数１０）に基づいて（数３）もしくは（数９）をそれぞれ最小化するＧHHを求める。
【０１７４】
次のステップＳ１０３において、Ｒ，Ｂ用アップコンバータ１０７は、Ｒ成分およびＢ成分の各動画像を高解像度化する。その後、制御部１２０は、撮像が完了したか否かを判定し、完了していないと判定すると処理はステップＳ１０１から繰り返され、完了したと判定すると処理は終了する。
【０１７５】
図１８は、図１７に示すステップＳ１０３の詳細な処理の手順を示すフローチャートである。この処理は、図５に示すＲ，Ｂ用アップコンバータ１０７の処理に対応する。
【０１７６】
図１８のステップＳ１０６において、ダウンコンバータ１１０は、撮像条件に基づいてＧHHを低解像度化する。ステップＳ１０７において、係数推定部１１１は復元フィルタ１１２に適用するための係数を推定する。ステップＳ１０８において、推定された係数が復元フィルタ１１２に適用され、復元フィルタ１１２は、ＲLHおよびＢLHを高解像度化し、ＲHHおよびＢHHを出力する。
【０１７７】
図１９は、他の例によるステップＳ１０３の詳細な処理の手順を示すフローチャートである。この処理は、図６に示すＲ，Ｂ用アップコンバータ１０７の処理に対応する。
【０１７８】
ステップＳ１０９において、ダウンコンバータ１１３は、撮像条件に基づいてＧHHを低解像度化する。ステップＳ１１０において、ＧHHからＧLHが減算される。
【０１７９】
一方、ステップＳ１１１において、補間拡大部１１４が撮像条件に基づいてＲLHおよびＢLHを補間拡大すると、その信号に基づいて、ステップＳ１１２において局所相関演算部１１５が局所的な相関値を計算する。
【０１８０】
そしてステップＳ１１３において、重み生成部１１６が重みを生成すると、ステップＳ１１４においてカウンタ１１７が高域成分を重畳した回数を各画素について記憶する。ステップＳ１１５において、重み生成部１１６によって生成され、出力された重みと、ＧHHとＧLHの差（すなわちＧの高域成分）とが乗算され、ステップＳ１１６において画像メモリ１１８が更新される。
【０１８１】
ステップＳ１１７において、正規化部１１９は、画像メモリ１１８に保持された、複数回重畳した高域成分を、カウンタ１１７に１画素毎に記憶されている書き込み回数値で除算して、正規化する。
【０１８２】
そしてステップＳ１１８において、正規化された高域成分は、補間拡大部１１４によって補間拡大されたＲ，Ｂ画像に重畳され、ＲHH，ＢHHとして出力される。
【０１８３】
以上、本発明の各実施形態を説明した。実施形態１〜３においては、Ｒ，Ｇ，Ｂの３成分をダイクロイックミラーで分離する場合について説明したが、色成分の分離の形態はこれに限るものではない。例えば深さ方向に、順に、Ｒ＋Ｇ＋Ｂ、Ｒ＋Ｇ、Ｒと３層に分けて撮像する単一の撮像素子（ＣＣＤやＣＭＯＳセンサ）を用いても良い。このような撮像素子は、入射光の波長に応じてフォトダイオードに進入する光の深さが異なることを利用して色信号を生成するため、フィルタが不要になる。このような素子を用いる場合、例えばＲ＋ＧもしくはＲ＋Ｇ＋Ｂを高解像度、長時間露光、低フレームレートで撮像し、その他を低解像度、短時間、低フレームレートで撮像した画像を受け取って処理することで、同様の効果を得ることができる。
【産業上の利用可能性】
【０１８４】
本発明の撮像処理装置および画像処理装置は、撮像素子サイズを小型化したカメラによる高精細画像の撮像とその再生装置、システムとして有用である。また、本発明の撮像処理装置および画像処理装置は、本発明による画像処理方法を公知のコンピュータに実行させるプログラムによって実現することが可能である。
【符号の説明】
【０１８５】
１０１ レンズ系
１０２ ダイクロイックミラー
１０３ 第１撮像部
１０４ 第２撮像部
１０５ 画像処理部
１０６ Ｇ用アップコンバータ
１０７ Ｒ，Ｂ用アップコンバータ
１２０ 制御部
【技術分野】
【０００１】
本発明は、動画像の画像処理に関する。より具体的には、撮影された動画像の解像度およびフレームレートの少なくとも一方を画像処理によって高くした動画像を生成する技術に関する。
【背景技術】
【０００２】
近年、映像入力の分野では、携帯電話用カメラやデジタルスチルカメラの多画素化、画素の小型化が進んでいる。
【０００３】
空間解像度は、撮像機器に求められる画質に応じて大きく異なる。例えばＴＶ電話の解像度は、ＱＣＩＦ（Ｑｕａｒｔｅｒ Ｃｏｍｍｏｎ Ｉｎｔｅｒｍｅｄｉａｔｅ Ｆｏｒｍａｔ、横１７６画素、縦１４４画素）程度、または、ＱＶＧＡ（Ｑｕａｒｔｅｒ Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ、横３２０画素、縦１４４画素）程度の比較的低い画素数である。一方、デジタル一眼レフカメラの解像度は、１０００万画素を超えている。
【０００４】
時間解像度も使い分けられている。例えば、ＨＤＴＶまでの画素数の時間解像度については、民生機器によるビデオレート（３０フレーム／秒）での撮像が実現されている。しかしながら、それ以上の画素数での撮像については、そのフレームレートは、デジタルスチルカメラに搭載されている連写機能による毎秒数フレームにとどまっている。
【０００５】
一方、映像表示の分野では、フラットパネルディスプレイが急激な勢いで普及している。これに伴い、今後、様々な解像度のカメラとディスプレイの組み合わせにより、ユーザが映像を視聴することが予測される。
【０００６】
入力側のカメラの時空間解像度（「時間解像度および空間解像度」を意味する。以下同様）と出力側のディスプレイの時空間解像度とを比較すると、現状の民生機器では出力側のディスプレイの方が高い。そのため、出力側の性能を最大限に発揮させる映像を一般ユーザが手軽に入力できる状況にない。このような状況になった理由として、これまでは読み出しスピードがボトルネックとなっていたことが挙げられる。高空間解像度の撮影は毎秒５フレーム程度までに限られ、逆に、毎秒３０フレームの撮影はＨＤＴＶの空間解像度までに限られていた。したがって、高い空間解像度画像で、かつ高いフレームレートでの撮像は困難であった。
【０００７】
上記の課題に対し、特許文献１から３は、高空間解像度と高フレームレートの撮像を両立するための方式として、２系統のカメラにより時間解像度と空間解像度の異なる画像を入力し、信号処理によって高空間解像度で高フレームレートの画像を生成する方式を提案している。これらの特許文献には図２０に示す構成が記載されている。
【０００８】
図２０は、従来の撮像装置の構成を示す。撮像装置に入射した光は、その一部がハーフミラー１７１を透過し、第１カメラ１７２に入射する。その結果、低解像度、高フレームレートの動画像が撮影される。一方、撮像装置に入射した光のうち、ハーフミラー１７１で反射した光は、第２カメラ１７３に入射する。その結果、高解像度、低フレームレートの動画像が撮影される。
【０００９】
アップコンバータ１７４は、第１カメラ１７２および第２カメラ１７３で撮影された各動画像を受け取り、画像処理を行って高解像度かつ高フレームレートの動画像を出力する。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開平７−１４３４３９号公報
【特許文献２】特表２００５−５１５６７５号公報
【特許文献３】特開２００５―３１８５４８号公報
【特許文献４】特許３９３４１５１号
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、上述の撮像装置は、基本的にはモノクロ画像に対する処理を想定して構成されているため、赤（Ｒ），緑（Ｇ），青（Ｂ）の３チャネルからなるカラー画像に適用すると、処理量が３倍必要になる。また、処理後の画像中のエッジ付近でＲ，Ｇ，Ｂの各色に相関がなくなるために偽色が発生することがあり、画質低下を引き起こしていた。
【００１２】
本発明は上述の課題を解決するものであって、その目的は、演算量を低減させ、かつ、偽色の発生を抑えて、カラー画像の高解像度化を行うことのできる画像処理装置、撮像処理装置、画像処理方法、および、画像処理装置の制御プログラムを提供することにある。
【課題を解決するための手段】
【００１３】
本発明の画像処理装置は、第１空間解像度で、かつ、第１時間解像度で撮影された第１色成分および第３色成分の動画像の情報と、前記第１空間解像度よりも高い第２空間解像度で、かつ、前記第１時間解像度よりも低い第２時間解像度で撮影された第２色成分の動画像の情報とを受け取り、処理を行う画像処理装置であって、前記第１色成分の動画像の情報および前記第３色成分の動画像の情報に基づいて、時間解像度を高めた前記第２成分の動画像を生成する第１アップコンバータと、前記第１色成分および前記第３色成分の各動画像の情報、および、時間解像度を高めた前記第２成分の動画像の情報に基づいて、空間解像度を高めた前記第１色成分および前記第３色成分の動画像を生成する第２アップコンバータとを備え、前記第１アップコンバータは、撮像過程で決まる拘束条件と、色間にまたがる滑らかさの拘束条件とを含む評価値に基づいて時間解像度を高めた前記第２成分の動画像を生成する。
【００１４】
好ましい実施形態において、前記第１色成分、前記第２色成分、および前記第３色成分は、それぞれ、赤、緑、および青である。
【００１５】
好ましい実施形態において、前記色間にまたがる滑らかさの拘束条件は、前記第１から第３色成分によって定まる色空間内における近傍画素値間の連続性を規定する式によって表現される。
【００１６】
好ましい実施形態において、前記色空間における画素値の３つの座標成分は、それぞれ、前記第１から第３色成分の線形和である。
【００１７】
好ましい実施形態において、前記第１アップコンバータは、前記評価値が最小化するように、前記第２成分の動画像を構成する画素値を算出する。
【００１８】
好ましい実施形態において、前記評価値は、撮像したシーン中の動きに沿った画素値変化についての拘束条件を含む。
【００１９】
好ましい実施形態において、前記評価値の最小化は、疎な係数行列の連立方程式を、係数が固定のフィルタ演算と係数が画像の内容に応じて変化するフィルタ演算とに分解して演算することによって行う。
【００２０】
好ましい実施形態において、前記第１アップコンバータでの前記第２成分の動画像の時空間高解像度化は、シーン中の動きの大きさがしきい値以上の領域についてのみ演算することによって行う。
【００２１】
好ましい実施形態において、前記第１アップコンバータでの前記第２成分の動画像の時空間高解像度化は、シーン中の動きの小さい領域では、時間方向の滑らかさ拘束を強めることによって行う。
【００２２】
好ましい実施形態において、第１アップコンバータは、前記動画像の動きの大きさに応じて前記評価値を変化させる。
【００２３】
本発明の撮像処理装置は、第１色成分、第２色成分および第３色成分を含む可視光から前記第２成分を分離する分離部と、前記第１色成分および第３色成分の動画像を撮影する第１撮像部であって、第１電荷蓄積期間で露光して、前記動画像を構成する各画像を第１空間解像度で、かつ、第１時間解像度で撮影する第１撮像部と、前記第２色成分の動画像を撮影する第２撮像部であって、前記第１電荷蓄積期間よりも長い第２電荷蓄積期間で露光して、前記動画像を構成する各画像を前記第１空間解像度よりも高い第２空間解像度で、かつ、前記第１時間解像度よりも低い第２時間解像度で撮影する第２撮像部と、前記第１撮像部および前記第２撮像部における撮影条件を制御する制御部と、上記いずれかの画像処理装置とを備える。
【００２４】
本発明の他の撮像処理装置は、第１色成分、第２色成分および第３色成分を含む可視光を受け、前記第１色成分および第３色成分の光については第１電荷蓄積期間で露光することにより前記第１色成分および第３色成分の前記動画像を構成する各画像を第１空間解像度で、かつ、前記第２色成分の光については前記第１電荷蓄積期間よりも長い第２電荷蓄積期間で露光することにより前記第２色成分の前記動画像を構成する各画像を前記第１空間解像度よりも高い第２空間解像度で、かつ、前記第１時間解像度よりも低い第２時間解像度で撮影する撮像部と、前記撮像部における撮影条件を制御する制御部と、上記いずれかの画像処理装置とを備える。
【００２５】
本発明の画像処理方法は、第１空間解像度で、かつ、第１時間解像度で撮影された第１色成および第３色成分の動画像の情報と、前記第１空間解像度よりも高い第２空間解像度で、かつ、前記第１時間解像度よりも低い第２時間解像度で撮影された第２色成分の動画像の情報とを受け取るステップと、前記第１色成分および第３色成分の動画像の情報に基づいて、時間解像度を高めた前記第２成分の動画像の情報を生成する第１アップコンバートステップと、前記第１色成分および第３色成分の動画像の情報、および、時間解像度を高めた前記第２成分の動画像の情報に基づいて、空間解像度を高めた前記第１色成分および第３色成分の動画像の情報を生成する第２アップコンバートステップとを含む画像処理方法であって、前記第１アップコンバートステップは、撮像過程で決まる拘束条件と、色間にまたがる滑らかさの拘束条件とを含む評価値に基づいて時間解像度を高めた前記第２成分の動画像の情報を生成する。
【００２６】
本発明による画像処理装置の制御プログラムは、第１空間解像度で、かつ、第１時間解像度で撮影された第１色成および第３色成分の動画像の情報と、前記第１空間解像度よりも高い第２空間解像度で、かつ、前記第１時間解像度よりも低い第２時間解像度で撮影された第２色成分の動画像の情報とを受け取るステップと、前記第１色成分および第３色成分の動画像の情報に基づいて、時間解像度を高めた前記第２成分の動画像の情報を生成する第１アップコンバートステップと、前記第１色成分および第３色成分の動画像の情報、および、時間解像度を高めた前記第２成分の動画像の情報に基づいて、空間解像度を高めた前記第１色成分および第３色成分の動画像の情報を生成する第２アップコンバートステップとを前記画像処理装置に実行させ、前記第１アップコンバートステップは、撮像過程で決まる拘束条件と、色間にまたがる滑らかさの拘束条件とを含む評価値に基づいて時間解像度を高めた前記第２成分の動画像の情報を生成する。
【発明の効果】
【００２７】
本発明の撮像処理装置によれば、解像度とフレームレートが異なる複数の色成分の動画像から、解像度とフレームレートがともに高い多色動画像を生成することが可能になる。複数の色成分の動画像の各々は、ハーフミラーなどを用いることなく、例えばダイクロイックミラーを用いて、入射光を色成分ごとに分離して撮影される。そのため、ＨＤＴＶ以上に高解像度化したカラー画像を動画として得るという効果や、ＨＤＴＶ用のカラーカメラをより小型化できる。
【図面の簡単な説明】
【００２８】
【図１】実施形態１による撮像処理装置の構成を示す図である。
【図２】Ｇ用アップコンバータ１０６の構成をより詳細に示す図である。
【図３】（ａ）および（ｂ）は、それぞれ、ブロックマッチングによって動き検出を行うときの基準フレームおよび参照フレームとを示す図である。
【図４】Ｇ用アップコンバータにおける積和演算のフィルタ実装の説明図である。
【図５】Ｒ，Ｂ用アップコンバータ１０７の構成をより詳細に示す図である。
【図６】他の例によるＲ，Ｂ用アップコンバータ１０７の構成を詳細に示す図である。
【図７】相関値ρと重みＷ２との関係の例を示す図である。
【図８】Ｒ，Ｂ用アップコンバータ１０７の構成の変形例を示す図である。
【図９】実施形態１の変形例による撮像処理装置１１の構成を示す図である。
【図１０】撮像処理装置１を一般化した撮像処理装置１３の構成を示す図である。
【図１１】実施形態２の撮像処理装置におけるＧ用アップコンバータ１０６の他の構成例を示す図である。
【図１２】実施形態２における領域分割部１７２による領域分割の一例を示す。
【図１３】実施形態２における時間解像度アップコンバータの構成例を示す図である。
【図１４】実施形態３による撮像装置９０１、ネットワーク９０２および処理装置９０３で構成された画像処理システムの例を示す図である。
【図１５】本発明の入力画像の構成を示すデータ図である。
【図１６】コンピュータによって構成された画像処理装置のハードウェアを示す図である。
【図１７】本発明の処理の手順を示すフローチャートである。
【図１８】図１７に示すステップＳ１０３の詳細な処理の手順を示すフローチャートである。
【図１９】他の例によるステップＳ１０３の詳細な処理の手順を示すフローチャートである。
【図２０】従来の撮像装置の構成を示す図である。
【発明を実施するための形態】
【００２９】
以下、図面を参照しながら、本発明の実施形態を説明する。
【００３０】
（実施形態１）
図１は、本実施形態による撮像処理装置１の構成を示す図である。
【００３１】
撮像処理装置１は、レンズ系１０１と、ダイクロイックミラー１０２と、第１撮像部１０３と、第２撮像部１０４と、画像処理部１０５と、制御部１２０とを有している。以下、まず各構成要素の機能を概説し、その後、撮像処理装置１の動作に関連して各構成要素の動作を詳述する。
【００３２】
レンズ系１０１は、撮像処理装置１の外部から入射した光、すなわち被写体の像を集束させる。ダイクロイックミラー１０２は、光の赤（Ｒ）成分および青（Ｂ）成分を透過させ、光の緑（Ｇ）成分を反射する色分離部として機能する。すなわちダイクロイックミラー１０２は、入射した光を、「赤（Ｒ）成分および青（Ｂ）成分」と「緑（Ｇ）成分」とに分離する。なお、本明細書では、赤成分を「Ｒ成分」、緑成分を「Ｇ成分」、青成分を「Ｂ成分」とも記述する。
【００３３】
第１撮像部１０３は、入射光（ここでは光のＲ成分およびＢ成分）に基づいて、短時間の露光時間、低解像度および高フレームレートでＲ成分およびＢ成分の動画像をそれぞれ撮影する。そして、得られたデータを出力する。なお、Ｒ成分の動画像およびＢ成分の動画像をそれぞれ取得するために、第１撮像部１０３は、内部にダイクロイックミラーを有し、かつ、Ｒ成分およびＢ成分をそれぞれ検出する２つの撮像素子を備えていてもよい。第１撮像素子１０３の他の例は、Ｒ成分およびＢ成分の両方を含む光が１つの撮像素子（単板式）に入射する構成を有していても良い。その場合、その撮像素子の前面に、Ｒ成分を透過しＢ成分を透過しないＲフィルタと、Ｂ成分を透過しＲ成分を透過しないＢフィルタが２次元的に交互に配列されていても良い。カラーフィルタを用いると、光の利用効率が低下するため、後述するように入射光の波長に応じてフォトダイオードに進入する光の深さが異なることを利用して色信号を生成するフィルタレス撮像素子を用いても良い。
【００３４】
第２撮像部１０４は、入射光（ここでは光のＧ成分）に基づいて、長時間の露光時間、高解像度および低フレームレートで動画像を撮影し、Ｇ成分の動画像のデータを出力する。
【００３５】
画像処理部１０５は、Ｒ成分およびＢ成分の光に対応する動画像のデータ、およびＧ成分の光に対応する動画像のデータを受け取り、それぞれを、画像処理によって高解像度および高フレームレートの動画像に変換して出力する。
【００３６】
画像処理部１０５は、Ｇ用アップコンバータ１０６およびＲＢ用アップコンバータ１０７を備えている。
【００３７】
Ｇ用アップコンバータ１０６は、Ｇ成分のフレームレートを高めた高解像度、高フレームレートの動画像のデータを生成する。Ｒ，Ｂ用アップコンバータ１０７は、Ｒ成分およびＢ成分の解像度を高め、高解像度、高フレームレートの動画像のデータを生成する。動画像は、１枚または複数枚の画像を所定のフレームレートで連続して切り替えて表示される。Ｒ，Ｂ用アップコンバータ１０７による解像度を高める処理は、動画像を構成する各画像の画素数を増加させることを意味する。
【００３８】
Ｇ用アップコンバータ１０６およびＲ，Ｂ用アップコンバータ１０７の詳細は後述する。
【００３９】
制御部１２０は、第１撮像部１０３および第２撮像部１０４を利用して動画像を撮影するときの撮像条件を制御する。そしてその制御情報を、Ｇ用アップコンバータ１０６およびＲ，Ｂ用アップコンバータ１０７に出力する。
【００４０】
次に、撮像処理装置１の動作とともに各構成要素の動作を詳述する。
【００４１】
レンズ系１０１は、被写体の像が、第１撮像部１０３および第２撮像部１０４の撮像素子上に結ばれるように、その位置が調整される。レンズ系１０１を通った光は、ダイクロイックミラー１０２によって「Ｒ成分およびＢ成分」と「Ｇ成分」とに分離される。
【００４２】
上記Ｒ成分およびＢ成分の動画像は、制御部１２０から指示された撮像条件、すなわち、短時間露光、低空間解像度、高フレームレートで、第１撮像部１０３によって撮影される。ここで、「低空間解像度」とは、例えば、ＮＴＳＣの１フレームの画素数（水平７２０画素×垂直４８０画素）程度か、もしくは、それ以下のＶＧＡ（Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ：水平６４０画素×垂直４８０画素）程度の画素数の空間解像度をいう。「高フレームレート」とは、３０ｆｐｓ（フレーム／秒）ないし６０ｆｐｓ程度をいう。「短時間露光」とは、最長でもフレームレートで決まる上限値（本実施形態の場合、３０分の１秒ないし６０分の１秒）以下の時間で露光することをいう。
【００４３】
上記Ｇ成分の動画像についても、制御部１２０から指示された撮像条件、すなわち、長時間露光、高空間解像度、低フレームレートの撮像条件で、第２の撮影部１０４によって撮影される。ここで、「高空間解像度」とは、例えば、一般的なデジタルスチルカメラの画素数（例えば水平約４０００画素、垂直約３０００画素）の空間解像度をいう。「低フレームレート」とは、第１撮像部１０３の数分の１から１０分の１ないし２０分の１程度のフレームレート（例えば３ｆｐｓ（フレーム／秒））をいう。「長時間露光」とは、前記低フレームレートの値で決まる時間（例えば１／３秒）を上限として露出することをいう。
【００４４】
本実施形態においては、第１撮像部１０３および第２撮像部１０４は、制御部１２０によって同期制御されて動作する。しかしながら、同期して動作することは必須ではない。
【００４５】
なお、上述した露光時間の長短、空間解像度の高低、フレームレート（時間解像度）の高低は、第１撮像部１０３および第２撮像部１０４における相対的な撮像条件を意味する。カラー画像のＲ成分およびＢ成分の露光時間は、Ｇ成分の露光時間よりも短ければよい。Ｒ成分およびＢ成分の空間解像度（ここでは画素数に対応）は、Ｇ成分のそれよりも低ければよい。Ｒ成分およびＢ成分のフレームレートは、Ｇ成分のそれよりも高ければよい。例示した上述の数値範囲に限定されることはない。
【００４６】
以下、本明細書では、空間解像度が高く（Ｈ）フレームレートが低い（Ｌ）、Ｇの色成分の動画像をＧHLと標記する。そして、空間解像度が低く（Ｌ）、フレームレートが高い（Ｈ）、ＲおよびＢの色成分の動画像を、それぞれ、ＲLH、ＢLHと表記する。これらの各符号において、１文字目が色成分を表し、２文字目（第１の添え字）が空間解像度を表し、３文字目（第２の添え字）がフレームレート（時間解像度）を表す。
【００４７】
Ｇ用アップコンバータ１０６は、長時間露光、高空間解像度、低フレームレートで撮像されたＧ画像ＧHLのデータと、短時間露光、低空間解像度、高フレームレートで撮像されたＲ画像ＲLHおよびＢ画像ＢLHのデータを受け取る。そして、Ｇ用アップコンバータ１０６は、Ｇ画像ＧHL、Ｒ画像ＲLH、およびＢ画像ＢLHのデータに基づいて、Ｇ画像ＧHLの時間解像度を高めたＧ画像ＧHHを生成し、出力する。すなわち、Ｇ用アップコンバータ１０６は、同じ解像度でフレームレート（時間解像度）を高めた合成動画像を生成する。
【００４８】
本発明の好ましい実施形態では、空間解像度の低い領域（低空間周波数域）でのＧＢ間、ＧＲ間の局所的な相関関係をゲイン係数として用いて、Ｇ画像の高域成分（空間周波数の高い成分）をＲ、Ｂに重畳する。色間の相関関係は、色間の波長差が小さいほど高くなるため、Ｒ画像またはＢ画像を高空間解像度・低フレームレートで取得すよりも、Ｇ画像を高空間解像度・低フレームレートで取得する方が、色間の相関関係が高まり、高域成分の重畳が効率よく行える。このため、本実施形態では、長時間露光、高空間解像度、低フレームレートでＧ画像ＧHLの撮像を行っている。
【００４９】
図２は、Ｇ用アップコンバータ１０６の構成をより詳細に示す。図２において、図１の撮像処理装置の構成要素と共通する構成要素には同じ参照符号を付し、その説明を省略する。
【００５０】
Ｇ用アップコンバータ１０６は、動き検出部１０８および時間解像度アップコンバータ１０９を有している。
【００５１】
動き検出部１０８は、ブロックマッチング、勾配法、位相相関法等の既存の公知技術によって、ＲLH、ＢLHから動き（オプティカルフロー）を検出する。公知技術として、例えばＪ. Ｌ. Ｂａｒｒｏｎ, Ｄ. Ｊ. Ｆｌｅｅｔ, Ｓ. Ｓ. Ｂｅａｕｃｈｅｍｉｎ, ａｎｄ Ｔ. Ａ. Ｂｕｒｋｉｔｔ. "Ｐｅｒｆｏｒｍａｎｃｅ ｏｆ Ｏｐｔｉｃａｌ Ｆｌｏｗ Ｔｅｃｈｎｉｑｕｅｓ", Ｉｎ Ｐｒｏｃ. Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ, ｐｐ. ２３６-２４２, １９９２が知られている。
【００５２】
図３（ａ）および（ｂ）は、それぞれ、ブロックマッチングによって動き検出を行うときの基準フレームおよび参照フレームを示している。動き検出部１０８は、基準とするフレーム（動きを求めるべく着目している時刻ｔにおける画像）内に、図３（ａ）に示す窓領域Ａを設定する。そして、窓領域内のパターンと類似するパターンを参照フレーム内で探索する。参照フレームとして、例えば着目フレームの次のフレームが利用されることが多い。
【００５３】
探索範囲は、図３（ｂ）に示すように、通常、移動量ゼロの位置Ｂを基準に予め一定の範囲（同図３（ｂ）中のＣ）が設定される。また、パターンの類似の度合い（程度）は、（数１）に示す残差平方和（ＳＳＤ：Ｓｕｍ ｏｆ Ｓｑｕａｒｅ Ｄｉｆｆｅｒｒｅｎｃｅｓ）や、（数２）に示す残差絶対値和（ＳＡＤ：Ｓｕｍ ｏｆＡｂｓｏｌｕｔｅｄ Ｄｉｆｆｅｒｅｎｃｅｓ）を評価値として計算することによって評価する。
【数１】
【数２】
【００５４】
（数１）および（数２）において、ｘ，ｙ∈Ｗは、基準フレームの窓領域内に含まれる画素の座標値を意味する。
【００５５】
動き検出部１０８は、探索範囲内で（ｕ，ｖ）を変化させることにより、上記評価値を最小とする（ｕ，ｖ）の組を探索し、これをフレーム間での動きベクトルＶとする。窓領域の設定位置を順次シフトさせることによって、動きを画素毎もしくはブロック毎（例えば８画素×８画素）に求める。
【００５６】
再び図２を参照する。時間解像度アップコンバータ１０９は、第１撮像部１０３によって撮像されたＲ画像ＲLHおよびＢ画像ＢLH、第２の撮影部１０４によって撮像されたＧ画像ＧHL、および、動き検出部１０８によって検出された動きベクトルＶの各データを受け取り、ＧHLを高解像度化しＧHHとして出力する。
【００５７】
ここで、ＧHLの高解像度化は、下記の（数３）を最小化するＧHHを求めることによって行われる。
【数３】
【００５８】
（数３）の右辺における第１項はＧHHとＧHLの対応画素間の輝度差を示す項、第２項は「動き拘束」を示す項であり、第３項、第４項および第５項は「滑らか拘束」を示す項である。ここで、ＧHH、ＧHL、ＲLH、ＢLHは動画像の各画素を要素とする縦ベクトル、ＨTは長時間露光による光の加算をモデル化した行列、λｍは動き拘束に対する重み、λsC1、λsC2、λsC3は滑らかさ拘束に対する重み、Ｃ1、Ｃ2、Ｃ3は３次元の色空間中に定義したＲＧＢとは異なる３色の成分の縦ベクトル（動画像の各画素を要素とする縦ベクトル）、ＱsH、ＱsVは水平および垂直方向の滑らかさ拘束（色空間中に定義した３軸、Ｃ1、Ｃ2、Ｃ3についてそれぞれ評価する）、Ｑｍは動き拘束を、それぞれ表している。なお、ＧHHのフレームレートがＧHLのフレームレートよりも高いため、ＧHHの画素数（縦ベクトルの要素数）はＧHLの画素数（縦ベクトルの要素数）よりも大きい。
【００５９】
制御部１２０によって第１撮像部１０３よび第２撮像部１０４に設定される撮影条件は、少なくとも上記ＨT、Ｑｍ、λsC1、λsC2、λsC3に反映される。なお、数３の左辺Ｊはスカラーである。上記の「撮影条件」は、第１撮像部１０３および第２撮像部１０４の各々の空間解像度または露光時間、あるいは、空間解像度の比または露光時間の比である。これらのことから、（数３）の第１項は、「撮像過程で決まる拘束条件」であると言える。
【００６０】
上記（数３）を最小化するＧHHとは、与えられた拘束条件の線形和をもっともよく満足するＧHHを意味する。右辺の各項の導出過程は後述する。
【００６１】
上記、Ｃ1、Ｃ2、Ｃ3は、それぞれ、ＲLH、ＧHH、ＢLHから以下の式によって計算される。
【数４】
【００６２】
ここで、ｃ11からｃ33は、Ｒ、Ｇ、Ｂ色空間からＲ、Ｇ、Ｂ色空間とは異なる別の色空間Ｃ1、Ｃ2、Ｃ3への色変換係数、Ｍは空間的な拡大（いわゆる補間拡大）を行う係数行列である。すなわち、（数４）は、Ｃ1、Ｃ2、Ｃ3が補間拡大されたＲLH、ＢLHとＧHHの線形和で表されることを示している。
【００６３】
時間解像度アップコンバータ１０９は、下記（数５）に基づいて（数３）を最小化するＧHHを得る。（数５）は、上記（数４）を（数３）に代入し、ＧHHで偏微分することによって得られる。
【数５】
【００６４】
その結果、時間解像度アップコンバータ１０９は、（数６）に示す連立方程式を解くことによってＧHHを得る。
【数６】
【００６５】
（数６）は共役勾配法や最急降下法等の既存の数値計算法（連立方程式の解法）を用いることによって解くことができる。
【００６６】
時間解像度アップコンバータ１０９が、入力されたＧHLの時間解像度を上述の手順によって高めたＧHHを求める処理は、単位時間当たりのフレーム数を多くする処理（すなわち時間解像度を高める処理）だけではなく、ぼけた画像をくっきりした（シャープな）画像に変換する処理も含んでいる。Ｇ成分の動画像は、第２撮像部１０４によって高空間解像度で撮影されているが、長時間露光の影響で画像の一部がぼけていることもありえる。このため、低フレームレートで撮影された画像のフレームレートを高めると、時間解像度のみならず空間解像度も高められるという効果（シャープ化）が生じる。従って、時間解像度のアップコンバートを行うと、時間解像度および空間解像度の両方が向上するため、これらを総称して「（時空間）解像度が高められる」と表現することが可能である。
【００６７】
以下に、（数３）の各項の意味、働きについてより詳細に説明する。
【００６８】
（数３）の第１項は、解像度が高められたＧHHから予測される長時間露光画像（ＨTＧHH）と、実際の観測によって得た長時間露光画像ＧHLとの差異を示す。これは、解像度が高められたＧHHと、長時間露光画像ＧHLとの時空間的な対応関係を表している。ここで、ＨTでは行の数が列の数より少ない。これは、ＧHLが長時間露光画像であって、ＧHHよりもフレームレートが低い（すなわち、トータルの画素数が少ない）ことからも理解できる。そのため、仮に（数３）の左辺を第１項だけにすると、解くべき問題（すなわち連立方程式）が一意に解けない不良設定問題となる。
【００６９】
この不良設定問題を良設定問題に変更するために、（数３）の第１項には第２項、第３項、第４項、第５項が付加されている。
【００７０】
（数３）の第２項は、画像中の動きに関する拘束を規定する項である。ここでは、動画像中の各点が明るさを変えずに移動していくことを仮定している。第２項中の行列Ｑｍは、動画像中で検出された動きベクトルの始点と終点の画素に関係する要素だけが、それぞれ１と−１になっている。そのため（ＱｍＧHH）2は、動きベクトルの始点と終点間の差の２乗の動画像全体に関する総和となる。
【００７１】
（数３）の第３、４、５項は、画像が一般的に満たしている特性、すなわち近傍画素間の局所的な滑らかさを示す。モノクロ（単色）の動画像をI（ｘ，ｙ，ｔ）とすると、局所的な滑らかさは、
【数７】
として表すことができる。ここで、積分範囲は動画像の占める時空間全体であり、数７の被積分関数中の||・||はベクトルのノルムを示す。（数３）の第３、４、５項は、（数７）を差分展開し、ＩをＣ1、Ｃ2、Ｃ3に置き換えて、行列ＱｓとベクトルＧHHの積の形で表している。
【００７２】
滑らかさ拘束を色間にまたがる形で定義することにより、Ｇ成分の時間解像度を高めることに、Ｒ成分、Ｂ成分の情報を反映させることができる。本発明では、Ｒ、Ｇ、Ｂ成分を異なる時空間解像度で撮影しているため、このような拘束条件を用いた画像復元を行うことが有効である。ここで、ＲＧＢとは異なる色空間（Ｃ1Ｃ2Ｃ3）に分解することの利点を説明する。
【００７３】
人の視覚特性の観点から、３次元の色空間をなすＲＧＢ信号は、解像感に大きく寄与する成分と、解像感にあまり寄与しない成分とに分けられる。そのため、前者についての正則化パラメータλを小さく設定し、後者についての正則化パラメータλを大きく設定することによって、解像感のある画像を復元することができる。
【００７４】
また、復元すべきデータの分布という観点からは、解の変動の大きな方向についての正則化パラメータλを小さく設定し、解の変動の小さな方向についての正則化パラメータλを大きく設定することによって、復元精度を高めることができる。
【００７５】
自然画像を撮影した画像では、大部分の画像において、輝度成分の変動が大きく、色成分の変動が小さくなる傾向がある。
【００７６】
３色への分離の方法は、例えば、数８により、ＲＧＢからＹＣｂＣｒという輝度式差信号への変換を行う。
【数８】
【００７７】
また、３色への分離の方法は上記の方法に限らず、予め用意した画像についてＲＧＢ空間での主成分分析により、第１主成分、第２主成分、第３主成分を求め、３次元色空間中での３つの軸を決めるようにしてもよい。通常、自然画像から主成分分析によって求めた第１主成分は、輝度成分とおおむね等しくなり、第２主成分と第３主成分は色信号に相当する成分となる。
【００７８】
なお、色間にまたがる滑らかさ拘束については、Ｃ3を色空間においてＧと垂直に選ぶようにすることで、３色間にまたがるものから２色間にまたがるもので置き換えても、同様の画質の処理結果を得ることができる。その場合、（数３）の代わりに以下の式を用いる。
【数９】
【００７９】
また、ＧHHを得るのに、（数６）の代わりに以下の式を解けばよい。
【数１０】
【００８０】
以上説明した方法および手順により、ＧHHは（数６）もしくは（数１０）の連立方程式の解として得られる。連立方程式を解く計算は、変数の数（解くべき未知数の数）が多くなると、必要な演算量が莫大になる。大規模な連立方程式の効率的解法については種々提案されているが、演算効率の最適化は問題に依存するところが大きい。以下に、今回取り扱う問題の効率的な計算について説明する。
【００８１】
図４は、ＧHHを計算するための共役勾配法の手順と、共役勾配法において最も演算量を要する係数行列Ａと更新ベクトルｐｋとの積の演算を効率的に行うブロック図の一例を示す。図４においては、解くべき連立方程式を
【数１１】
として表している。なお、後述するように、拘束条件として（数３）の右辺の全ての項を用いる必要は無い。図４の例では、（数３）の右辺第５項を省略している。
【００８２】
共役勾配法では、残差ｒが小さくなるように、更新量ｐを計算し、これを用いて解ｘの更新を繰り返す。収束に必要な繰り返し数は、係数行列Ａの条件（数値的な安定性）や変数数に依存する。本実施形態の場合、１００回程度の繰り返しを行う。
【００８３】
この繰り返し計算においては、係数行列Ａと更新量ベクトルｐの積の計算が、最も演算量を必要とする。ベクトルｐは解の更新量であるので、その要素数（次元）は動画像中のＧの画素数になる。例えば、ＨＤＴＶ信号の空間解像度で４フレーム分の処理を行おうとすると、Ｇの画素数（すなわちｐの要素数）は、１９２０×１０８０×４＝８２９４４００となる。係数行列Ａは正方行列であるため、さらにこれの２乗の要素数となる。このような莫大なメモリアクセスと積和演算は、このままでは、現在通常に入手できる計算環境では計算することができない。
【００８４】
しかしながら、係数行列Ａは、（数６）もしくは（数１０）に示すように、長時間露光の過程ＨT、動き拘束Ｑｍ、滑らかさ総則ＱsH、ＱsVの２乗（自身の転置との積）の線形和になっている。これらの項は、着目画素とその近傍画素のみとの演算であるため、係数行列全体としては大部分が０となる。このような行列は疎行列と呼ばれる。係数行列中のどの画素が０になるのか、また、０でない係数の割合がどれ位になるのかということが問題により異なるため、効率的な解き方が個々の問題に依存することになる。
【００８５】
長時間露光過程ＨTは、図４中の参照符号４０１で示す用に、係数が全て１の時間方向の蓄積フィルタと考えることができる。拘束条件としてはＨTの転置とＨTの積になるが、ＨTの転置は、１画素の値を蓄積画素数分の画素に出力する作用を表す。そのため、（ＨT）TＨTは、入力を複数フレーム蓄積した値を、入力画素に相当する画素位置に出力するフィルタと解釈できる。
【００８６】
もしくは、長時間露光過程ＨＴを、係数が全て１／４の時間方向の平均化フィルタとしてもよい（４フレーム加算の場合）。なお、長時間露光過程ＨＴの係数を全て１とする場合と、加算フレーム数分の１とする場合の処理の違いは、次のようになる。
【００８７】
前者の場合の処理は、長時間露光画像に含まれる動きブレを除去するとともに、長時間露光した光量を各フレームの画像に分配する。その結果、処理結果が入力画像よりも暗くなる。一方、後者の場合の処理は、長時間露光画像に含まれる動きブレを除去するだけであり、処理結果は入力画像と同じ明るさになる。そのため前者の場合、Ｇの復元結果を使ってＲ，Ｂを高解像度化する前に、図示していない乗算器によって、Ｇの明るさ（レベル）をＲ、Ｂと揃える必要がある（本実施例の場合、４倍する必要がある）。
【００８８】
次に、滑らかさ拘束について説明する。Ｑｓは、２階微分の作用素であり、差分展開すると、以下の式で表せる。
【数１２】
【００８９】
（数１２）はＧHHを入力、∂ＧHH／∂ｘと∂ＧHH／∂ｙを出力とみると、フィルタとしては、水平もしくは垂直の係数が（−１，２，−１）の３タップのフィルタと解釈できる。これを係数行列として見ると、Qｓは対角成分が２で、左右１画素もしくは上下１ラインが−１、それ以外は全て０の対角行列となる。
【００９０】
これらは、対角行列であるために、転置行列も自身と等しくなり、転置と自身の積は、係数が（１，−４，６，−４，１）の５タップのフィルタとなる。すなわち、滑らかさ拘束（QsH）TQsH、（QsV）TQsVは、図４中に４０２で示すように、水平５タップのフィルタと垂直５タップのフィルタとして計算できる。
【００９１】
最後に、動き拘束Qｍは、動きベクトルの始点に相当する要素が１、終点に相当する要素が−１のデータ対の集まりである。行列としては、対角成分が全て１で、各行に−１の要素をひとつずつ持つ。そのため、（Qｍ）TQｍは、対角成分がすべて１で、Qｍで−１になっている要素と、その転置位置の要素が−１の値を持つ。このような行列演算は、フィルタとしては、動きベクトルの探索範囲で決まる空間サイズを持つフレーム間フィルタとして実装できる。例えば、動きの検出範囲が高解像度側で縦横±ｎ画素の範囲の場合、着目画素を含めて縦横（１＋２ｎ）画素×２フレームのフィルタとして実装できる。
【００９２】
以上述べたフィルタ実装により、共役勾配法で最も演算量を必要とする行列Ａとベクトルｐの積の演算を、係数が０の演算を省略して、数個のフィルタ演算の線形和として、必要最小限の演算量で計算することができる。これらのフィルタ演算のうち、動き拘束以外のものは、処理する画像の内容によらず固定の係数のフィルタを事前に用意できる。一方、動き拘束はシーンの動きに依存するので、処理する画像の内容（本実施形態の場合、動き検出の結果）に応じてフィルタ係数を都度決定する必要がある。
【００９３】
なお、共役勾配法によるＧHHの計算について、本実施形態では全ての画素において計算する場合について述べたが、動き検出結果（Ｇの露光時間に相当するフレーム分の動きベクトルの長さの総和）に応じて、動きのある領域についてのみＧHHの計算を行い、動きがほとんどない領域については、Ｇの入力画像をそのままＧHHとすることにより、一層の演算量低減を図ることができる。
【００９４】
また、共役勾配法によるＧHHの計算において、動きの小さい領域では、時間方向の滑らかさ拘束を強めるようにしてもよい。これにより、定性的には、Ｇの入力画像をそのままＧHHとすることと同様のこととなるとともに、数値的に安定化させることができ、繰り返し計算の収束を早めることができる。
【００９５】
なお、上述の（数３）および（数９）に関しては、右辺の拘束条件は、必ずしもそれら全てを同時に用いる必要はない。以下のような変形例を用いてもよい。すなわち、（数３）および（数９）の右辺第２項を利用せずに
【数１３】
としたり、
【数１４】
としてもよい。
【００９６】
これらの変形例によれば、全ての拘束条件を用いて（数３）もしくは（数９）によって計算するよりも少ない演算量でＧ成分の高解像度化を実現できる。ただし、拘束条件を緩和することになるため、生成される画像の高解像度感が多少低下することがある。
【００９７】
また、動き検出が難しいシーンでは、動き検出の結果を用いない数式（（数１１）または（数１２））によって高解像度化処理を行うことにより、出力される画像の画質に関して、動きの誤検出によるアーティファクト（画像の乱れ、ノイズ）の発生を抑えることができる。シーンからの動き検出が難しいか否かは、（ａ）時間的に双方向に動き検出を行った結果の差異から判断したり、（ｂ）（数１）、（数２）に示した動き検出時の評価値の探索範囲内での最小値から判断することができる。
【００９８】
前者（ａ）の場合、基準フレームの画像中の（ｘ，ｙ）において、時間的に順方向の動き検出結果が（ｕ，ｖ）であるとすると、次に順方向の動き検出時の参照フレームを基準に逆方向に動き検出をして、（ｘ＋ｕ，ｙ＋ｖ）における動き検出結果が（−ｕ，−ｖ）であれば、双方向の動き検出において一貫性があり信頼できる。一方、（−ｕ，−ｖ）と異なる場合、例えば一定のしきい値以上の差異がある場合には、動き検出が難しい状況であると判断できる。
【００９９】
また、後者（ｂ）の場合も同様に、ＳＳＤやＳＡＤの動き検出時の評価値の探索範囲内での最小値について、例えば予め定めたしきい値以上である場合、動き検出が難しい状況であると判断できる。
【０１００】
再び図１を参照する。Ｒ，Ｂ用アップコンバータ１０７は、Ｇ用アップコンバータ１０６によって高解像度化されたＧ成分の動画像を用いて、第１撮像部１０３によって、短時間露光、低解像度、高フレームレートの撮像条件で撮像されたＲ，Ｂ成分の動画像を高解像度化する。
【０１０１】
以下、図５を参照しながら、Ｒ，Ｂ成分の動画像を高解像度化する処理を詳細に説明する。
【０１０２】
図５は、Ｒ，Ｂ用アップコンバータ１０７の構成をより詳細に示す。図５において、図１の撮像処理装置の構成要素と共通する構成要素には同じ参照符号を付し、その説明を省略する。
【０１０３】
Ｒ，Ｂ用アップコンバータ１０７は、ダウンコンバータ１１０と、係数推定部１１１と、復元フィルタ１１２とを有している。
【０１０４】
ダウンコンバータ１１０は、Ｇ用アップコンバータ１０６によって高解像度化されたＧ成分（ＧHH）を空間的に低解像化し、ＧLHを出力する。係数推定部１１１は、ＧHHとＧLHから復元フィルタ１１２（復元フィルタＨ+）のフィルタ係数を推定する。復元フィルタ１１２として、ウィーナフィルタや一般逆フィルタ等の公知のフィルタを用いることができる。これらの復元フィルタは、ＧHHとＧLHの関係を用いて、低解像度側の信号から高解像度側の信号を推定するものである。復元フィルタ１１２は、係数推定部１１１によって推定されたフィルタ係数を用いて、ＲLH，ＢLHからＲHH，ＢHHを復元する。
【０１０５】
なお、Ｒ，Ｂ用アップコンバータ１０７におけるＲ，Ｂの高解像度化処理は、上述の処理に限る必要はなく、他の高解像度化処理によって行ってもよい。他の例による高解像度化処理を以下に説明する。
【０１０６】
図６は、他の例によるＲ，Ｂ用アップコンバータ１０７の構成を詳細に示す。ここで、Ｒ，Ｂ用アップコンバータ１０７は、ＲとＢの相関に応じてＧの高域成分を、補間拡大したＲ成分およびＢ成分に重畳することにより、Ｒ成分およびＢ成分を高解像度化する。
【０１０７】
図６に示されるＲ，Ｂ用アップコンバータ１０７は、ダウンコンバータ１１３と、補間拡大部１１４と、局所相関演算部１１５と、重み生成部１１６と、カウンタ１１７と、画像メモリ１１８と、正規化部１１９とを有している。
【０１０８】
Ｒ，Ｂ用アップコンバータ１０７は、動画像を構成するフレーム単位で処理を行う。まず、各フレーム処理の初めに、カウンタ１１７の内容と画像メモリ１１８の内容を、例えば０で埋めることにより、クリアする。
【０１０９】
低解像度化部１１３はＧ用アップコンバータ１０６によって高解像度化されたＧ成分（ＧHH）を空間的に低解像化し、ＧLHを出力する。
【０１１０】
補間拡大部１１４は、低解像度、高フレームレートで撮像されたＲLH，ＢLHと撮影条件とを受け取り、ＲLHとＢLHとをＧHHと同じ画素数になるように補間拡大する。
【０１１１】
局所相関演算部１１５は、２×２画素や３×３画素程度の局所的な領域に関し、ＲLHとＢLHの局所的な相関値を計算する。２×２画素について局所的な相関値ρを計算するときは、局所相関演算部１１５は、例えば（数１５）を利用することができる。
【数１５】
【０１１２】
重み生成部１１６は、局所相関演算部１１５によって計算された相関値に応じた重みを生成する。図７は、相関値ρと重みＷ２との関係の例を示す。重み生成部１１６は、相関値ρと図７に示す関係とに基づいて、重みＷ２を求める。
【０１１３】
図６に示されるように、重み生成部１１６によって生成され、出力された重みと、ＧHHとＧLHの差（すなわちＧの高域成分）とが乗算され、画像メモリ１１８が更新される。より詳しくは、乗算が行われた後、画像メモリ１１８内の画素データの格納位置に応じたアドレスが特定される。そして、乗算結果とそのアドレスに保持されていた値とが加算され、そのアドレスの値が加算結果に書き換えられる。
【０１１４】
このとき、画像メモリ１１８に書き込みを行う対象は、１画素でもよく、または、局所的な相関値を計算した範囲でもよい。ただし、後者のように複数画素について高域成分を重畳する場合、局所相関を計算する領域の設定の仕方（すなわち画像内でのインクリメントの仕方）によっては、同一画素に複数回、高域成分を重畳することになる。そのような場合を考慮して、図６のＲ，Ｂ用アップコンバータ１０７では、カウンタ１１７を利用する。カウンタ１１７は、高域成分を重畳した回数を各画素について記憶する。
【０１１５】
正規化部１１９は、複数回重畳した高域成分を、カウンタ１１７に１画素毎に記憶されている書き込み回数値で除算する。正規化された高域成分は、補間拡大部１１４によって補間拡大されたＲ，Ｂ画像に重畳され、ＲHH，ＢHHとして出力される。
【０１１６】
以上述べた方法によって、Ｒ，Ｂを高解像度化することにより、局所的な色バランスを保った状態でＲとＢとを高解像度化することができ、その結果、偽色の発生を抑えた高解像度化を行うことができる。
【０１１７】
なお、図７には相関値と重みの関係の一例として線形な関係の場合を示した。しかしこれは例であり、撮像時や表示時のγ特性を考慮して非線形な関係にしてもよい。また、前記の重みを、Ｒについては（Ｒの局所平均）／（Ｇの局所平均）で正規化し、Ｂについては（Ｂの局所平均）／（Ｇの局所平均）で正規化してもよい。この正規化により、Ｒ、Ｇ、Ｂの画素値に応じて、ＲとＢ重畳するＧの高域成分の振幅を調節することができ、過度な高域の重畳による観察時の違和感を低減できる。ここで、Ｒ、Ｇ、Ｂの局所平均としては、補間拡大したＲLH、ＢLHや図６のダウンコンバータ１１３でＧHHをダウンコンバートしたＧLHの画素値を用いればよい。
【０１１８】
なお、補間拡大したＲ、Ｂ画像に対する高域成分の重畳を１画素につき１回だけ行うように動作させるとすると、図６の画像メモリ１１８、カウンタ１１７、正規化部１１９は不要であり、図８に示す構成を採用することができる。図８は、Ｒ，Ｂ用アップコンバータ１０７の構成の変形例を示す。図８に示すように、図６と比較するとより簡単な構成でＲ，Ｂ用アップコンバータ１０７を実現することができ、かつ、同様の効果を得ることができる。
【０１１９】
なお、Ｒ，Ｂ用アップコンバータ１０７におけるＲ，Ｂの高解像度化処理は、上述したいわゆる復元フィルタを用いた処理や、Ｇの高域成分をＲおよびＢ成分に重畳する処理に限る必要はない。高解像度化したＧ成分とそれを低解像度化したもの（上記ＧLHとＧHH）との間の関係を学習し、学習結果に基づいてＲ成分、Ｂ成分を高解像度化するようにしてもよい。
【０１２０】
なお、学習は入力された画像の処理過程において行うものに限らず、予め事前に学習パターンを用意して行うようにしてもよい。この場合には、低解像度のＧ成分と高解像度のＧ成分の関係を学習する方法だけでなく、低解像のＲＧＢ成分と高解像度のＲＧＢ成分の関係を学習することも可能である。
【０１２１】
なお、Ｓ．Ｆａｒｓｉｕら、“Ｍｕｌｔｉｆｒａｍｅ Ｄｅｍｏｓａｉｃｉｎｇ ａｎｄ Ｓｕｐｅｒ−Ｒｅｓｏｌｕｔｉｏｎ ｏｆ Ｃｏｌｏｒ Ｉｍａｇｅｓ”，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｆ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，Ｖｏｌ．１５，Ｎｏ．１，２００６．Ｒｏｎ Ｋｉｍｍｅｌ，“Ｄｅｍｏｓａｉｃｉｎｇ： Ｉｍａｇｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｆｒｏｍ Ｃｏｌｏｒ ＣＣＤ Ｓａｍｐｌｅｓ”，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｆ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，Ｖｏｌ．８，Ｎｏ．９，１９９９．Ｄａｎｉｅｌ Ｋｅｒｅｎら、“Ｒｅｓｔｏｒｉｎｇ Ｓｕｂｓａｍｐｌｅｄ Ｃｏｌｏｒ Ｉｍａｇｅｓ”，Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ １１： ｐｐ．１９７−２０２，１９９９．等の文献では、画像復元時のＲＧＢ間の局所的な相関性に基づく拘束条件を用いている。自然画像では、大部分の領域でＲＧＢ間に正の相関があるため、一般にこの拘束条件は有効に機能するが、領域の色が原色やそれらの補色に近い場合、別の色との境界では、局所的な相関関係が負になり、設定している拘束条件が有効に働かず、復元画像中に色にじみ、リンギング等のアーチファクトを生じさせる原因となる。
【０１２２】
これに対し、本実施形態で用いた色間にまたがる滑らかさ拘束では、局所的な色相関に基づくような正の相関は仮定しておらず、局所的な滑らかさだけを仮定しているので、相関という観点では正の相関でも、負の相関でもよい。そのため、上記の局所的な相関関係が負になるような領域でも、復元画像中に色にじみ、リンギング等のアーチファクトが顕著に発生することがない。
【０１２３】
これまでの説明では、出力信号はＲ，Ｇ，Ｂの各色成分であるとした。以下では、ＲＧＢの各出力信号を輝度成分と色差成分に変換して出力する撮像処理装置を説明する。
【０１２４】
図９は、本実施形態の変形例による撮像処理装置１１の構成を示す。図９において、上述した撮像処理装置の構成要素と共通する構成要素には同じ参照符号を付し、その説明を省略する。
【０１２５】
画像処理部１０５は、Ｇ用アップコンバータ１０６、補間拡大部１１４、およびダウンコンバータ１１３に加え、さらに色差計算部１２９および輝度計算部１３０を有する。
【０１２６】
制御部１２０は、補間拡大部１１４によって補間拡大されたＲ成分、Ｂ成分の信号、および、低解像度化部１１３で低解像度化されたＧ成分の信号を受け取り、（数１６）の計算によって色差信号（Ｃｂ信号、Ｃｒ信号）に変換して出力する。
【数１６】
【０１２７】
輝度計算部１３０は、補間拡大部１１４によって補間拡大されたＲ成分、Ｂ成分の信号、および、Ｇ用アップコンバータで高解像度化されたＧ成分の信号を受け取り、（数１７）の計算によって輝度信号（Ｙ信号）に変換して出力する。
【数１７】
【０１２８】
上述の色差計算部１２９および輝度計算部１３０の説明から理解されるように、色差成分Ｃｂ、Ｃｒの計算には低解像度化したＧを用い、一方、輝度成分Ｙの計算には高解像度化されたＧを用いている。これにより、偽色の発生を抑えつつ、出力される画像の高解像度化を実現できる。
【０１２９】
なお、画像処理部１０５の後段にＹ、Ｃｂ、Ｃｒの各信号をＲＧＢの各信号へ変換するブロックをさらに設けて、ＲＧＢ成分の信号を出力する構成にしてもよい。
【０１３０】
なお、本実施形態による撮像処理装置およびその変形例による撮像処理装置は、Ｇ成分を高解像度、長時間露光、低フレームレートで撮像し、Ｒ成分およびＢ成分を低解像度、短時間露光、高フレームレートで撮像するとした。しかしながら、これは例である。どの色成分（波長帯）を高解像度、長時間露光、低フレームレートで撮像するかについては、他の例を採用することが可能である。
【０１３１】
例えば、海やプール等、水中のシーンを撮像する場合のように、シーン中にＢ成分が強く現れることが事前に分っている場合には、Ｂ成分を高解像度、長時間露光、低フレームレートで撮像し、Ｒ成分およびＧ成分を低解像度、短時間露光、高フレームレートで撮像することにより、観察者により高解像度感のある画像を提示することができる。
【０１３２】
例えば図１０は、撮像処理装置１を一般化した撮像処理装置１３の構成を示す。図１０において、図１の撮像処理装置の構成要素と共通する構成要素には同じ参照符号を付し、その説明を省略する。
【０１３３】
撮像処理装置１３は、Ｒ成分撮像部１３１と、Ｇ成分撮像部１３２と、Ｂ成分撮像部１３３と、制御部１３４と、切替部１３５と、ＨＬ用アップコンバータ１３６と、ＬＨ用アップコンバータ１３７と、出力部１３８とを有している。以下、撮像処理装置１３の動作とともに各構成要素の機能を説明する。
【０１３４】
光学系１０１を通った可視光は、ダイクロイックプリズムで波長分解され、Ｒ成分撮像素子１３１、Ｇ成分撮像素子１３２、Ｂ成分撮像素子１３３によって撮像される。ＲＧＢ各成分の撮像部１３１，１３２，１３３の読み出し画素数は、ビニング読み出し方法により、個別に、かつ動的に設定できる。「ビニング読み出し方法」とは、隣接する画素に蓄積された電荷を加算して読み出す方法である。また、各撮像部１３１，１３２，１３３では、露光時間、フレームレートについても同様に設定可能とする。読み出し時の条件設定は、制御部１３４によって行われる。
【０１３５】
制御部１３４は、シーン中の色成分の分布に応じて、Ｒ成分撮像素子１３１、Ｇ成分撮像素子１３２、Ｂ成分撮像素子１３３のうちのいずれかを、高解像度、長時間露光、低フレームレート（実施形態１におけるＧに相当）に設定し、残りを低解像度、短時間露光、高フレームレート（実施形態１におけるＲ，Ｂに相当）に設定する。
【０１３６】
なお、撮像開始時にはシーン中の色成分の分布が未知であるので、例えばＧを高解像度、長時間露光、低フレームレートに設定するようにすればよい。
【０１３７】
切替部１３５は、制御部によるＲＧＢ各成分の撮像部１３１，１３２，１３３の設定に応じて、高解像度、長時間露光、低フレームレートでの撮像が設定されている成分の撮像データがＨＬ用アップコンバータ１３６に入力され、残りの成分のデータがＬＨ用アップコンバータ１３７に入力されるように切り替え動作を行う。
【０１３８】
ＨＬ用アップコンバータ１３６は、Ｇ用アップコンバータ１０６（例えば図１）と同じ処理を行い、高解像度、長時間露光、低フレームレートで撮像された成分の動画像を空間的に高解像化する。
【０１３９】
ＬＨ用アップコンバータ１３７は、低解像度、短時間露光、高フレームレートで撮像された２系統（２つの色成分）の動画像と、ＨＬ用アップコンバータ１３６で高解像度化された動画像とを受け取り、Ｒ，Ｂ用アップコンバータ１０７（例えば図１）と同じ処理により、その２系統の動画像を空間的に高解像化する。
【０１４０】
出力部１３８は、ＨＬ用アップコンバータ１３６とＬＨ用アップコンバータ１３７によってそれぞれ高解像度化された動画像を受け取り、制御部１３４による設定に応じて、ＲＧＢ３系統の動画を出力する。もちろん、出力部１３８が輝度信号（Ｙ）および色差信号（Ｃｂ，Ｃｒ）信号等の、他の信号形式に変換して出力するようにしてもよい。
【０１４１】
なお、撮像部は本実施形態に示す３板構成のものに限る必要はなく、例えば、単板構成でＲ，Ｇ，Ｂ間で電荷蓄積期間を変えたり、画素加算の仕方を変えることで空間解像度を変えるようにしたり、ライン間引き読み出しをするようにしてもよい。
【０１４２】
（実施形態２）
次に、動きの大小に応じて処理効率を高めた実施形態を説明する。
【０１４３】
図１１は、本実施形態におけるＧ用アップコンバータ１０６の構成を示す。他の部分の構成は、基本的には、図１および図２を参照して説明した実施形態１の構成と同様である。このため、ここでは、相違部分を説明する。
【０１４４】
本実施形態のＧ用アップコンバータ１０６は、動きのある領域に対する処理と動きのない領域に対する処理に分け、動きのある領域のみ高解像度化する処理を実行する。本実施形態では、図１１に示すように、動き検出部１７１がＲLH、ＢLHを入力として、動き検出結果と動きの信頼性の両方を出力する。領域分割部１７２は、動き検出部１８１によって検出された動き検出結果をもとに、動画像を３次元的に領域分割する。
【０１４５】
図１２は、領域分割部１７２による領域分割の一例を示す。図１２では、動画像が動きのない領域（領域番号０）と２つの動きのある領域（領域番号１と２）に分割されている様子を示す。
【０１４６】
領域ごとの時間解像度アップコンバータ１７３は、領域分割部１７２によって動きに応じて領域分割された領域分割結果のうち、動きのある領域について、個々にそれぞれ時間解像度アップコンバート処理を施し、動きのない領域については、撮影時のＧの加算フレーム数に応じて、入力画像のＧの各画素値を等分する。例えば、Ｇの加算フレーム数が４であれば、入力画像のＧの各画素値を４分の１にして4フレーム分出力する。
【０１４７】
上記の処理を行うことにより、動きのない静止領域に対する処理を簡略化することができ、演算量を低減することができる。また、領域分割された動きのある領域に対して個々に処理を行うことにより、それぞれの領域について解くべき連立方程式の変数数を減らすことができ、演算規模を小さくできる。
【０１４８】
なお、上記では領域ごとの時間解像度アップコンバータ１７３の処理を、長時間露光画像に含まれる動きブレの除去と光量の分配の双方を含む分解処理として説明した。しかし、これに限る必要はなく、領域ごとの時間解像度アップコンバータ１７３の処理を、長時間露光画像に含まれる動きブレの除去のみにしてもよい。その場合、動きのない領域における処理は不要になり、単に入力をそのまま出力するだけでよい。
【０１４９】
上記の実施形態では、動きのある領域でのみ超解像処理をする場合について説明したが、動きの有無により処理を離散的に分けるだけでなく、動きの大小に応じて処理を連続的に切り替えるようにしてもよい。
【０１５０】
図１３は、図４に対応する図面であり、時間解像度アップコンバータの構成の一例を示すものである。図１３に示す空間滑らかさ拘束部１８２は、動きの大きさと信頼性に応じて、λsC1とλsC2を制御する。時間滑らかさ制御部１８３は、動きの大きさと信頼性に応じて、λｔを制御する。
【０１５１】
空間滑らかさ拘束部１８２は、動きが大きいほど、すなわち、動きベクトルが長いほど、λsC1とλsC2を大きくし、逆に、動きが小さいほど、すなわち、動きベクトルが短いほど、λsC1とλsC2を小さくする。また、空間滑らかさ拘束部１８２は、動きの信頼性が高いほど、動きベクトルの長さに応じた制御を強くし、逆に、動きの信頼性が低いほど、動きベクトルの長さに応じた制御を小さくする。
【０１５２】
時間滑らかさ拘束部１８３は、動きが小さいほど、すなわち、動きベクトルが短いほど、λｔを大きくし、逆に、動きが大きいほど、すなわち、動きベクトルが長いほど、λｔを小さくする。また、時間滑らかさ拘束部１８３は、動きの信頼性が高いほど、動きベクトルの長さに応じた制御を強くし、逆に、動きの信頼性が低いほど、動きベクトルの長さに応じた制御を小さくする。
【０１５３】
以上述べたλsC1、λsC2、λｔについての制御により、動きの小さい領域や静止している領域では、時間滑らかさ拘束が強くなるため、動きの大小に応じて処理を連続的または段階的に切り替えることができる。
【０１５４】
（実施形態３）
上述の実施形態１、２においては、撮像処理と高解像度化処理とが同一のシステム（撮像処理装置）によって行われる例を説明した。しかしながら、両処理は必ずしも同一のシステムで行われる必要はない。
【０１５５】
本実施形態においては、撮像処理と高解像度化処理とが異なるシステムにおいて行われる例を説明する。
【０１５６】
図１４は、本実施形態による撮像装置９０１、ネットワーク９０２および処理装置９０３で構成された画像処理システムの例を示す。ネットワーク９０２に代えて、メディア９０６を用いても、本実施形態による画像処理システムを構成することができる。図１４において、実施形態１、２の撮像処理装置（例えば図１）の構成要素と共通する構成要素には同じ参照符号を付し、その説明を省略する。
【０１５７】
撮像装置９０１は、レンズ系１０１と、ダイクロイックミラー１０２と、第１撮像部１０３と、第２撮像部１０４と、撮影モード設定部９０４とを有している。
【０１５８】
第１撮像部１０３は、カラー画像のＲ成分とＢ成分とを短時間の露光時間で、低解像度かつ高フレームレートで撮像し、Ｒ画像ＲLHおよびＢ画像ＢLHを出力する。第２撮像部１０４は、カラー画像のＧ成分を長時間の露光時間で、高解像度かつ低フレームレートで撮像し、Ｇ画像ＧHLを出力する。
【０１５９】
撮影モード設定部９０４は、例えば第２撮像部１０４におけるフレームレート、露光時間等の、設定が可変な撮影条件を設定し、設定した条件を示す情報を映像信号のヘッダ中に書き込み、または、別途データとして出力部９０５を介してネットワーク９０２に出力する。
【０１６０】
図１５は、データの構成の１例を示すものである。図１５において、ヘッダ部には、フレームレート、露光時間（もしくは、Ｇの露光時間をＲ，Ｂのフレーム数に換算した値）等の撮影条件（設定が可変な条件）が保存され、これに、Ｒ，Ｂの画像データ、Ｇの画像データが続く。
【０１６１】
出力部９０５は、撮像装置９０１によって撮像されたＧ画像ＧHL、Ｒ画像ＲLH、Ｂ画像ＢLH、および、それらの撮影条件の情報をネットワーク９０２またはメディア９０６に出力する。
【０１６２】
処理装置９０３は、画像処理部１０５を有している。画像処理部１０５は、ネットワーク９０２またはメディア９０６を介して、上記ＧHL、ＲLH、ＢLHおよびその撮影条件の情報を受け取り、実施形態１、２において説明した処理により、これらを空間的、時間的に高解像度化したＧHH、ＲHH、ＢHHを出力する。
【０１６３】
以上の構成により、撮像装置と処理装置とが別体で構成され、空間的に離れて存在していても、ネットワーク９０２またはメディア９０６を介して動画像信号および撮影条件の情報を授受できるように構成することにより、処理装置が高時空間解像度の動画像を出力できる。
【０１６４】
なお、ネットワーク９０２は家庭内に構築されたＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）でもよいし、インターネットなどのＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）でもよい。または、ＵＳＢ規格やＩＥＥＥ１３９４規格の通信回線でもよい。さらに無線でも有線でもよい。上述のメディア９０６は、光ディスクや取り外し可能なハードディスクなどのリムーバブルディスク、フラッシュメモリカードが含まれる。
【０１６５】
上述の各実施形態では、撮像処理装置は、図に示す種々の構成を有するとして説明した。例えば、各構成に含まれる画像処理部などは、機能的に見たブロックとして記載されていた。これらの機能ブロックは、ハードウェア的には、デジタル信号プロセッサ（ＤＳＰ）のような１つの半導体チップまたはＩＣによって実現することも可能であるし、例えばコンピュータとソフトウェア（コンピュータプログラム）とを用いて実現することもできる。
【０１６６】
図１６は、コンピュータによって構成された撮像処理装置のハードウェアの一例を示す。
【０１６７】
各実施形態の画像処理装置の各機能ブロックと、図１６に示すハードウェアとの対応関係は以下のとおりである。以下では例として、主に図１に示す撮像処理装置１を挙げて説明する。
【０１６８】
撮像処理装置１のレンズ系１０１、ダイクロイックミラー１０２、第１撮像部１０３および第２撮像部１０４は、図１６に示すカメラ１５１およびＡ／Ｄ変換器１５２に対応する。また、画像処理部１０５が実際の処理で利用する一時バッファ（図示せず）やメディア９０６は、図１６に示すフレームメモリ１５３またはハードディスクドライブ（ＨＤＤ）１６０に対応する。そして制御部１２０および画像処理部１０５は、コンピュータプログラムを実行した図１６のＣＰＵ１５４によって実現される。
【０１６９】
図１６のコンピュータを動作させるコンピュータプログラムは、例えばＲＯＭ１５５に保持されている。または、光ディスク、磁気ディスクに格納されていてもよい。また、有線や無線のネットワーク、放送などを介して伝送され、コンピュータのＲＡＭ１５６に取り込まれてもよい。
【０１７０】
コンピュータプログラムは、プロセッサであるＣＰＵ１５４によってＲＡＭ１５６に読み出されて展開される。ＣＰＵ１５４はコンピュータプログラムの実態であるコード化された各命令を実行する。命令の実行結果として得られたデジタル画像信号は、フレームメモリ１５７に送られて一時的に保持され、Ｄ／Ａ変換器１５８によってアナログ信号に変換され、ディスプレイ１５９に送られ、表示される。
【０１７１】
画像処理部１０５を実現するコンピュータプログラムの処理は、例えば次に説明するフローチャートにしたがって記述されている。
【０１７２】
例えば図１７は、本発明の処理の手順を示すフローチャートである。この処理は、実施形態１による処理として説明するが、実施形態２の撮像装置９０１および処理装置９０３によって個別に行われる処理として把握することもできる。
【０１７３】
まずＳ１０１において、第１撮像部１０３および第２撮像部１０４は、長時間露光高解像度低フレームレートのＧ画像ＧHLと短時間露光低解像度高フレームレートのＲ画像ＲLH、Ｂ画像ＢLHとを撮像する。ステップＳ１０２において、画像処理部１０５のＧ用アップコンバータ１０６は、Ｇ成分の動画像を高解像度化する。より具体的には、ステップＳ１０４とＳ１０５とに分けることができる。ステップＳ１０４において、Ｇ用アップコンバータ１０６の動き検出部１０８は、動き検出を行う。ステップＳ１０５において、時間解像度アップコンバータ１０９は、動き検出の結果等を利用して、（数４）もしくは（数１０）に基づいて（数３）もしくは（数９）をそれぞれ最小化するＧHHを求める。
【０１７４】
次のステップＳ１０３において、Ｒ，Ｂ用アップコンバータ１０７は、Ｒ成分およびＢ成分の各動画像を高解像度化する。その後、制御部１２０は、撮像が完了したか否かを判定し、完了していないと判定すると処理はステップＳ１０１から繰り返され、完了したと判定すると処理は終了する。
【０１７５】
図１８は、図１７に示すステップＳ１０３の詳細な処理の手順を示すフローチャートである。この処理は、図５に示すＲ，Ｂ用アップコンバータ１０７の処理に対応する。
【０１７６】
図１８のステップＳ１０６において、ダウンコンバータ１１０は、撮像条件に基づいてＧHHを低解像度化する。ステップＳ１０７において、係数推定部１１１は復元フィルタ１１２に適用するための係数を推定する。ステップＳ１０８において、推定された係数が復元フィルタ１１２に適用され、復元フィルタ１１２は、ＲLHおよびＢLHを高解像度化し、ＲHHおよびＢHHを出力する。
【０１７７】
図１９は、他の例によるステップＳ１０３の詳細な処理の手順を示すフローチャートである。この処理は、図６に示すＲ，Ｂ用アップコンバータ１０７の処理に対応する。
【０１７８】
ステップＳ１０９において、ダウンコンバータ１１３は、撮像条件に基づいてＧHHを低解像度化する。ステップＳ１１０において、ＧHHからＧLHが減算される。
【０１７９】
一方、ステップＳ１１１において、補間拡大部１１４が撮像条件に基づいてＲLHおよびＢLHを補間拡大すると、その信号に基づいて、ステップＳ１１２において局所相関演算部１１５が局所的な相関値を計算する。
【０１８０】
そしてステップＳ１１３において、重み生成部１１６が重みを生成すると、ステップＳ１１４においてカウンタ１１７が高域成分を重畳した回数を各画素について記憶する。ステップＳ１１５において、重み生成部１１６によって生成され、出力された重みと、ＧHHとＧLHの差（すなわちＧの高域成分）とが乗算され、ステップＳ１１６において画像メモリ１１８が更新される。
【０１８１】
ステップＳ１１７において、正規化部１１９は、画像メモリ１１８に保持された、複数回重畳した高域成分を、カウンタ１１７に１画素毎に記憶されている書き込み回数値で除算して、正規化する。
【０１８２】
そしてステップＳ１１８において、正規化された高域成分は、補間拡大部１１４によって補間拡大されたＲ，Ｂ画像に重畳され、ＲHH，ＢHHとして出力される。
【０１８３】
以上、本発明の各実施形態を説明した。実施形態１〜３においては、Ｒ，Ｇ，Ｂの３成分をダイクロイックミラーで分離する場合について説明したが、色成分の分離の形態はこれに限るものではない。例えば深さ方向に、順に、Ｒ＋Ｇ＋Ｂ、Ｒ＋Ｇ、Ｒと３層に分けて撮像する単一の撮像素子（ＣＣＤやＣＭＯＳセンサ）を用いても良い。このような撮像素子は、入射光の波長に応じてフォトダイオードに進入する光の深さが異なることを利用して色信号を生成するため、フィルタが不要になる。このような素子を用いる場合、例えばＲ＋ＧもしくはＲ＋Ｇ＋Ｂを高解像度、長時間露光、低フレームレートで撮像し、その他を低解像度、短時間、低フレームレートで撮像した画像を受け取って処理することで、同様の効果を得ることができる。
【産業上の利用可能性】
【０１８４】
本発明の撮像処理装置および画像処理装置は、撮像素子サイズを小型化したカメラによる高精細画像の撮像とその再生装置、システムとして有用である。また、本発明の撮像処理装置および画像処理装置は、本発明による画像処理方法を公知のコンピュータに実行させるプログラムによって実現することが可能である。
【符号の説明】
【０１８５】
１０１ レンズ系
１０２ ダイクロイックミラー
１０３ 第１撮像部
１０４ 第２撮像部
１０５ 画像処理部
１０６ Ｇ用アップコンバータ
１０７ Ｒ，Ｂ用アップコンバータ
１２０ 制御部
【特許請求の範囲】
【請求項１】
第１空間解像度で、かつ、第１時間解像度で撮影された第１色成分および第３色成分の動画像の情報と、前記第１空間解像度よりも高い第２空間解像度で、かつ、前記第１時間解像度よりも低い第２時間解像度で撮影された第２色成分の動画像の情報とを受け取り、処理を行う画像処理装置であって、
前記第１色成分の動画像の情報および前記第３色成分の動画像の情報に基づいて、時間解像度を高めた前記第２成分の動画像を生成する第１アップコンバータと、
前記第１色成分および前記第３色成分の各動画像の情報、および、時間解像度を高めた前記第２成分の動画像の情報に基づいて、空間解像度を高めた前記第１色成分および前記第３色成分の動画像を生成する第２アップコンバータと
を備え、
前記第１アップコンバータは、撮像過程で決まる拘束条件と、色間にまたがる滑らかさの拘束条件とを含む評価値に基づいて時間解像度を高めた前記第２成分の動画像を生成する画像処理装置。
【請求項２】
前記第１色成分、前記第２色成分、および前記第３色成分は、それぞれ、赤、緑、および青である、請求項１に記載の画像処理装置。
【請求項３】
前記色間にまたがる滑らかさの拘束条件は、前記第１から第３色成分によって定まる色空間内における近傍画素値間の連続性を規定する式によって表現される請求項１に記載の画像処理装置。
【請求項４】
前記色空間における画素値の３つの座標成分は、それぞれ、前記第１から第３色成分の線形和である請求項２に記載の画像処理装置。
【請求項５】
前記第１アップコンバータは、前記評価値が最小化するように、前記第２成分の動画像を構成する画素値を算出する請求項１に記載の画像処理装置。
【請求項６】
前記評価値は、撮像したシーン中の動きに沿った画素値変化についての拘束条件を含む、請求項１に記載の画像処理装置。
【請求項７】
前記評価値の最小化は、疎な係数行列の連立方程式を、係数が固定のフィルタ演算と係数が画像の内容に応じて変化するフィルタ演算とに分解して演算することによって行う請求項４に記載の画像処理装置。
【請求項８】
前記第１アップコンバータでの前記第２成分の動画像の時空間高解像度化は、シーン中の動きの大きさがしきい値以上の領域についてのみ演算することによって行う請求項１に記載の画像処理装置。
【請求項９】
前記第１アップコンバータでの前記第２成分の動画像の時空間高解像度化は、シーン中の動きの小さい領域では、時間方向の滑らかさ拘束を強めることによって行う請求項１に記載の画像処理装置。
【請求項１０】
第１アップコンバータは、前記動画像の動きの大きさに応じて前記評価値を変化させる請求項１に記載の画像処理装置。
【請求項１１】
第１色成分、第２色成分および第３色成分を含む可視光から前記第２成分を分離する分離部と、
前記第１色成分および第３色成分の動画像を撮影する第１撮像部であって、第１電荷蓄積期間で露光して、前記動画像を構成する各画像を第１空間解像度で、かつ、第１時間解像度で撮影する第１撮像部と、
前記第２色成分の動画像を撮影する第２撮像部であって、前記第１電荷蓄積期間よりも長い第２電荷蓄積期間で露光して、前記動画像を構成する各画像を前記第１空間解像度よりも高い第２空間解像度で、かつ、前記第１時間解像度よりも低い第２時間解像度で撮影する第２撮像部と、
前記第１撮像部および前記第２撮像部における撮影条件を制御する制御部と
請求項１から１０のいずれかに記載の画像処理装置と、
を備える撮像処理装置。
【請求項１２】
第１色成分、第２色成分および第３色成分を含む可視光を受け、前記第１色成分および第３色成分の光については第１電荷蓄積期間で露光することにより前記第１色成分および第３色成分の前記動画像を構成する各画像を第１空間解像度で、かつ、前記第２色成分の光については前記第１電荷蓄積期間よりも長い第２電荷蓄積期間で露光することにより前記第２色成分の前記動画像を構成する各画像を前記第１空間解像度よりも高い第２空間解像度で、かつ、前記第１時間解像度よりも低い第２時間解像度で撮影する撮像部と、
前記撮像部における撮影条件を制御する制御部と
請求項１から１０のいずれかに記載の画像処理装置と、
を備える撮像処理装置。
【請求項１３】
第１空間解像度で、かつ、第１時間解像度で撮影された第１色成および第３色成分の動画像の情報と、前記第１空間解像度よりも高い第２空間解像度で、かつ、前記第１時間解像度よりも低い第２時間解像度で撮影された第２色成分の動画像の情報とを受け取るステップと、
前記第１色成分および第３色成分の動画像の情報に基づいて、時間解像度を高めた前記第２成分の動画像の情報を生成する第１アップコンバートステップと、
前記第１色成分および第３色成分の動画像の情報、および、時間解像度を高めた前記第２成分の動画像の情報に基づいて、空間解像度を高めた前記第１色成分および第３色成分の動画像の情報を生成する第２アップコンバートステップと
を含む画像処理方法であって、
前記第１アップコンバートステップは、
撮像過程で決まる拘束条件と、色間にまたがる滑らかさの拘束条件とを含む評価値に基づいて時間解像度を高めた前記第２成分の動画像の情報を生成する、画像処理方法。
【請求項１４】
画像処理装置の制御プログラムであって、
第１空間解像度で、かつ、第１時間解像度で撮影された第１色成および第３色成分の動画像の情報と、前記第１空間解像度よりも高い第２空間解像度で、かつ、前記第１時間解像度よりも低い第２時間解像度で撮影された第２色成分の動画像の情報とを受け取るステップと、
前記第１色成分および第３色成分の動画像の情報に基づいて、時間解像度を高めた前記第２成分の動画像の情報を生成する第１アップコンバートステップと、
前記第１色成分および第３色成分の動画像の情報、および、時間解像度を高めた前記第２成分の動画像の情報に基づいて、空間解像度を高めた前記第１色成分および第３色成分の動画像の情報を生成する第２アップコンバートステップと
を前記画像処理装置に実行させ、
前記第１アップコンバートステップは、
撮像過程で決まる拘束条件と、色間にまたがる滑らかさの拘束条件とを含む評価値に基づいて時間解像度を高めた前記第２成分の動画像の情報を生成する、画像処理装置の制御プログラム。
【請求項１】
第１空間解像度で、かつ、第１時間解像度で撮影された第１色成分および第３色成分の動画像の情報と、前記第１空間解像度よりも高い第２空間解像度で、かつ、前記第１時間解像度よりも低い第２時間解像度で撮影された第２色成分の動画像の情報とを受け取り、処理を行う画像処理装置であって、
前記第１色成分の動画像の情報および前記第３色成分の動画像の情報に基づいて、時間解像度を高めた前記第２成分の動画像を生成する第１アップコンバータと、
前記第１色成分および前記第３色成分の各動画像の情報、および、時間解像度を高めた前記第２成分の動画像の情報に基づいて、空間解像度を高めた前記第１色成分および前記第３色成分の動画像を生成する第２アップコンバータと
を備え、
前記第１アップコンバータは、撮像過程で決まる拘束条件と、色間にまたがる滑らかさの拘束条件とを含む評価値に基づいて時間解像度を高めた前記第２成分の動画像を生成する画像処理装置。
【請求項２】
前記第１色成分、前記第２色成分、および前記第３色成分は、それぞれ、赤、緑、および青である、請求項１に記載の画像処理装置。
【請求項３】
前記色間にまたがる滑らかさの拘束条件は、前記第１から第３色成分によって定まる色空間内における近傍画素値間の連続性を規定する式によって表現される請求項１に記載の画像処理装置。
【請求項４】
前記色空間における画素値の３つの座標成分は、それぞれ、前記第１から第３色成分の線形和である請求項２に記載の画像処理装置。
【請求項５】
前記第１アップコンバータは、前記評価値が最小化するように、前記第２成分の動画像を構成する画素値を算出する請求項１に記載の画像処理装置。
【請求項６】
前記評価値は、撮像したシーン中の動きに沿った画素値変化についての拘束条件を含む、請求項１に記載の画像処理装置。
【請求項７】
前記評価値の最小化は、疎な係数行列の連立方程式を、係数が固定のフィルタ演算と係数が画像の内容に応じて変化するフィルタ演算とに分解して演算することによって行う請求項４に記載の画像処理装置。
【請求項８】
前記第１アップコンバータでの前記第２成分の動画像の時空間高解像度化は、シーン中の動きの大きさがしきい値以上の領域についてのみ演算することによって行う請求項１に記載の画像処理装置。
【請求項９】
前記第１アップコンバータでの前記第２成分の動画像の時空間高解像度化は、シーン中の動きの小さい領域では、時間方向の滑らかさ拘束を強めることによって行う請求項１に記載の画像処理装置。
【請求項１０】
第１アップコンバータは、前記動画像の動きの大きさに応じて前記評価値を変化させる請求項１に記載の画像処理装置。
【請求項１１】
第１色成分、第２色成分および第３色成分を含む可視光から前記第２成分を分離する分離部と、
前記第１色成分および第３色成分の動画像を撮影する第１撮像部であって、第１電荷蓄積期間で露光して、前記動画像を構成する各画像を第１空間解像度で、かつ、第１時間解像度で撮影する第１撮像部と、
前記第２色成分の動画像を撮影する第２撮像部であって、前記第１電荷蓄積期間よりも長い第２電荷蓄積期間で露光して、前記動画像を構成する各画像を前記第１空間解像度よりも高い第２空間解像度で、かつ、前記第１時間解像度よりも低い第２時間解像度で撮影する第２撮像部と、
前記第１撮像部および前記第２撮像部における撮影条件を制御する制御部と
請求項１から１０のいずれかに記載の画像処理装置と、
を備える撮像処理装置。
【請求項１２】
第１色成分、第２色成分および第３色成分を含む可視光を受け、前記第１色成分および第３色成分の光については第１電荷蓄積期間で露光することにより前記第１色成分および第３色成分の前記動画像を構成する各画像を第１空間解像度で、かつ、前記第２色成分の光については前記第１電荷蓄積期間よりも長い第２電荷蓄積期間で露光することにより前記第２色成分の前記動画像を構成する各画像を前記第１空間解像度よりも高い第２空間解像度で、かつ、前記第１時間解像度よりも低い第２時間解像度で撮影する撮像部と、
前記撮像部における撮影条件を制御する制御部と
請求項１から１０のいずれかに記載の画像処理装置と、
を備える撮像処理装置。
【請求項１３】
第１空間解像度で、かつ、第１時間解像度で撮影された第１色成および第３色成分の動画像の情報と、前記第１空間解像度よりも高い第２空間解像度で、かつ、前記第１時間解像度よりも低い第２時間解像度で撮影された第２色成分の動画像の情報とを受け取るステップと、
前記第１色成分および第３色成分の動画像の情報に基づいて、時間解像度を高めた前記第２成分の動画像の情報を生成する第１アップコンバートステップと、
前記第１色成分および第３色成分の動画像の情報、および、時間解像度を高めた前記第２成分の動画像の情報に基づいて、空間解像度を高めた前記第１色成分および第３色成分の動画像の情報を生成する第２アップコンバートステップと
を含む画像処理方法であって、
前記第１アップコンバートステップは、
撮像過程で決まる拘束条件と、色間にまたがる滑らかさの拘束条件とを含む評価値に基づいて時間解像度を高めた前記第２成分の動画像の情報を生成する、画像処理方法。
【請求項１４】
画像処理装置の制御プログラムであって、
第１空間解像度で、かつ、第１時間解像度で撮影された第１色成および第３色成分の動画像の情報と、前記第１空間解像度よりも高い第２空間解像度で、かつ、前記第１時間解像度よりも低い第２時間解像度で撮影された第２色成分の動画像の情報とを受け取るステップと、
前記第１色成分および第３色成分の動画像の情報に基づいて、時間解像度を高めた前記第２成分の動画像の情報を生成する第１アップコンバートステップと、
前記第１色成分および第３色成分の動画像の情報、および、時間解像度を高めた前記第２成分の動画像の情報に基づいて、空間解像度を高めた前記第１色成分および第３色成分の動画像の情報を生成する第２アップコンバートステップと
を前記画像処理装置に実行させ、
前記第１アップコンバートステップは、
撮像過程で決まる拘束条件と、色間にまたがる滑らかさの拘束条件とを含む評価値に基づいて時間解像度を高めた前記第２成分の動画像の情報を生成する、画像処理装置の制御プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１１−１５２２８（Ｐ２０１１−１５２２８Ａ）
【公開日】平成２３年１月２０日（２０１１．１．２０）
【国際特許分類】
【出願番号】特願２００９−１５８０２２（Ｐ２００９−１５８０２２）
【出願日】平成２１年７月２日（２００９．７．２）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２３年１月２０日（２０１１．１．２０）
【国際特許分類】
【出願日】平成２１年７月２日（２００９．７．２）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]