画像処理装置、画像処理方法および画像処理プログラム
【課題】
高速に映像が切り替わるまたは変化する際に複数フレームを使用した超解像度技術では、誤差が多く含まれ映像の精度に欠ける場合があった。
【解決手段】
本画像処理装置は、時系列的に連続して入力される入力フレームにフレーム内超解像度処理を行い第一の高解像度フレーム画像を生成する第一の画像生成手段と、複数の前記入力フレームを利用して第二の高解像度フレーム画像を生成する第二の画像生成手段と、連続して入力される前記入力フレームのフレーム間の変化ポイントを検出する検出手段と、前記検出手段が変化ポイントを検出した場合に、前記第一の高解像度フレーム画像を出力させ、前記検出手段が変化ポイントを検出しない場合は、前記第二の高解像度フレーム画像を出力させる出力手段と、
を備えることを特徴とする。
高速に映像が切り替わるまたは変化する際に複数フレームを使用した超解像度技術では、誤差が多く含まれ映像の精度に欠ける場合があった。
【解決手段】
本画像処理装置は、時系列的に連続して入力される入力フレームにフレーム内超解像度処理を行い第一の高解像度フレーム画像を生成する第一の画像生成手段と、複数の前記入力フレームを利用して第二の高解像度フレーム画像を生成する第二の画像生成手段と、連続して入力される前記入力フレームのフレーム間の変化ポイントを検出する検出手段と、前記検出手段が変化ポイントを検出した場合に、前記第一の高解像度フレーム画像を出力させ、前記検出手段が変化ポイントを検出しない場合は、前記第二の高解像度フレーム画像を出力させる出力手段と、
を備えることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【０００２】
ビル、駅構内、空港、街中等の監視のため撮像装置を用いた監視システムが展開されている。
【０００３】
この監視システム作動中に、撮像装置のズームやパン機能を用いた場合や、スイッチャで使用する撮像装置を切り替えた場合、予め記録された映像を表示する際にシーンの切り替えが含まれていた際など、表示する映像の切り替わり時や変化時に、複数フレームを用いた超解像技術を利用しようとすると、連続しないフレームを元に超解像処理を行うこととなり、誤差が含まれ易い。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２１７６５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記の事情に鑑み、出力する画像、全てについて超解像度処理を行いながらも、誤差が少ない出力フレームの高解像度化を実現する画像処理装置、画像処理方法及び画像処理プログラムを提供する。実施形態では、映像の変化や切り替わりを検出した際に、超解像処理に使用する複数フレームに映像の変化や切り替わりの前後のフレームの双方を含まないように選択させる。このようにすることで、映像の変化や切り替わりによる画素の劣化を防止する画像処理装置、画像処理方法及び画像処理プログラムを提供する。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本画像処理装置は、
時系列的に連続して入力される入力フレームにフレーム内超解像度処理を行い第一の高解像度フレーム画像を生成する第一の画像生成手段と、
複数の前記入力フレームを利用して第二の高解像度フレーム画像を生成する第二の画像生成手段と、
連続して入力される前記入力フレームのフレーム間の変化ポイントを検出する検出手段と、
前記検出手段が変化ポイントを検出した場合に、前記第一の高解像度フレーム画像を出力させ、前記検出手段が変化ポイントを検出しない場合は、前記第二の高解像度フレーム画像を出力させる出力手段と、
を備えることを特徴とする。
【０００７】
また、本画像処理方法は、
時系列的に連続して入力される入力フレームにフレーム内超解像度処理を行い第一の高解像度フレーム画像を生成し
複数の前記入力フレームを利用して第二の高解像度フレーム画像を生成し、
連続して入力される前記入力フレームのフレーム間の変化ポイントを検出し、
前記検出手段が変化ポイントを検出した場合に、前記第二の高解像度フレーム画像を出力させ、前記検出手段が変化ポイントを検出しない場合は、前記第一の高解像度フレーム画像を出力させること
を特徴とする。
【０００８】
また、本画像処理プログラムは、
時系列的に連続して入力される入力フレームにフレーム内超解像度処理を行い第一の高解像度フレーム画像を生成する第一の生成処理と、
複数の前記入力フレームを利用して第二の高解像度フレーム画像を生成する第二の生成処理と、
連続して入力される前記入力フレームのフレーム間の変化ポイントを検出する検出処理と、
前記検出手段が変化ポイントを検出した場合に、前記第二の高解像度フレーム画像を出力させ、前記検出手段が変化ポイントを検出しない場合は、前記第一の高解像度フレーム画像を出力させる出力処理と、
を画像処理装置上で動作させること
を特徴とする。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態に係る画像処理装置の構成を示すブロック図。
【図２】第１の実施形態に係る画像処理装置の変形例を示すブロック図。
【図３】第１の実施形態に係る画像処理装置の変形例を示すブロック図。
【図４】第１の実施形態に係る動作を示すフローチャート。
【図５】第１の実施形態に係る動作を説明するための図。
【図６】第１の実施形態に係る動作の説明するための図。
【図７】第２の実施形態に係る動作を示すフローチャート。
【図８】第２の実施形態に係る動作の説明するための図。
【図９】第３の実施形態に係る動作を示すフローチャート。
【図１０】第３の実施形態に係る動作を説明するための図。
【図１１】第４の実施形態に係る画像処理装置の構成を示すブロック図。
【図１２】第４の実施形態に係る動作を示すフローチャート。
【図１３】第４の実施形態に係る動作を説明するための図。
【図１４】第４の実施形態に係る動作を説明するための図。
【図１５】第４の実施形態に係る動作を説明するための図。
【図１６】第５の実施形態に係る動作を示すフローチャート。
【図１７】第５の実施形態に係る動作を説明するための図。
【図１８】第５の実施形態に係る動作を説明するための図。
【図１９】第６の実施形態に係る画像処理装置の構成を示すブロック図。
【図２０】第６の実施形態に係る動作を示すフローチャート。
【図２１】第６の実施形態に係る動作を説明するための図。
【図２２】第６の実施形態に係る動作を説明するための図。
【図２３】第６の実施形態に係る動作を説明するための図。
【図２４】第７の実施形態に係る動作を示すフローチャート。
【図２５】第７の実施形態に係る動作を説明するための図。
【図２６】第８の実施形態に係る画像処理装置の構成を示すブロック図。
【図２７】第８の実施形態に係る動作を示すフローチャート。
【図２８】第８の実施形態に係る動作を説明するための図。
【図２９】超解像度処理の変形例を説明するための図。
【発明を実施するための形態】
【００１０】
以下、各実施態様について図１乃至図２９を参照しながら説明する。
【００１１】
（第１の実施形態）
第１の実施形態について、図１乃至図６を参照しながら説明する。
【００１２】
本実施形態の画像処理装置は、図１に示すように、撮像装置１０と、画像処理装置２０と、受像装置３０とを含む構成である。
【００１３】
撮像装置１０は、被写体を撮像する装置である。デジタルカメラやアナログカメラ等をいい、例えば、ＰＴＺカメラ（パンチルトズームレンズ一体型）をいい、高速なパン・ズームを行うことが可能である。また、図２に示すように撮像装置１０は、複数台の撮像装置１０ａ…１０ｎから構成されていても良い。撮像装置が複数台の場合カメラの切替等もさらに遠隔操作等により行われることとなる。この撮像装置１０が撮像した画像から入力フレームが作成され、この作成された入力フレームを時系列的に画像処理装置２０へ送出する。このように本実施形態では入力フレームは時間の経過とともにｆ１、ｆ２、ｆ３、ｆ４、ｆ５、ｆ６、ｆ７の順に画像処理装置２０へ入力されるものとして記載している。
【００１４】
また、図３に示すように撮像装置１０に代えて映像記憶装置１２であってもよい。映像記憶装置１２は、記憶されている入力フレームを順次画像処理装置２０へ送出する。映像記憶装置１２を使用した場合には、予め変化ポイントが何点あるか等の情報を保持させることができる。よって、変化ポイントの存在を予め考慮した遅延処理等を行うことができ、出力フレームの出力間隔の調整が容易に行えることから画像の乱れをさらに少なくすることができる。
【００１５】
撮像装置制御部１１は、撮像装置１０の操作を行う。例えば、撮像装置がＰＴＺカメラである場合は、手動または自動の遠隔操作等によりパン・ズーム等を撮像装置１０への指示がなされる。撮像装置が複数あるような場合は、各撮像装置１０ａ…１０ｎの入力フレームを画像処理装置２０へ送出するカメラの変更を行うスイッチャとしての役割も行う。
【００１６】
画像処理装置２０は、複数フレーム超解像度処理部２１と、フレーム内超解像度処理部２２と、変化ポイント検出部２３と、記憶部２４と、出力フレーム選択部２５と、を含む装置である。画像処理装置２０は、撮像装置１０や映像記憶装置１２から送られてきた入力フレームを受け取り、超解像度処理を行う。超解像度処理を行った出力フレームを受像装置３０へ送出する。画像処理装置２０は、その他、画像処理等に必要な演算処理、記憶動作を行う。
【００１７】
超解像度処理とは、高解像度変換処理の一種であり、低解像度フレーム画像から高解像度フレーム画像へと変換する処理をいう。
【００１８】
複数フレーム超解像度処理部２１は、複数の入力フレーム（二または三枚以上の数フレーム）を用いて、超解像度処理を行う。本実施形態では撮像装置１０等から送られてきた複数フレーム画像を用いて超解像度処理を行い、高解像度化されたフレーム画像を生成し、出力する。なお、複数フレーム超解像度処理に使われるリファレンスフレームの位置については、予め設定されていてもよいし、画像処理装置２０の機能により設定の変更や指示が行われても良い。
【００１９】
三枚以上の複数フレームを利用して、超解像度処理を行う場合について述べる。例えば、ｆ１〜ｆ３の入力フレームが入力されたとする。この際、最初にｆ１、ｆ２から超解像度処理を行い途中段階のフレームｆ１−２を作成する。このｆ１―２とｆ３とから超解像度処理を行う。これら途中段階のｆ１−２についても記憶部２４へ送出し記憶させる。なおその他、ｆ１−３、ｆ２−３等を作成してからｆ２、ｆ１と組み合わせる超解像度処理であっても良い。
【００２０】
この複数フレーム超解像度処理は、二つの過程により行われる。一つ目の過程は、位置合せ処理である。二枚のフレーム画像を利用して超解像度処理をする場合について説明する。超解像度処理に利用する複数のフレームのうちの一枚をリファレンス（基準）フレームとして、他の入力フレームとの動きベクトルを求める。動きベクトルを求める際には、サブピクセル（小数点画素）を利用する。まず、領域ベースのテンプレートマッチング方式で整数画素精度の動きベクトルを求める（サーチ範囲は任意）。その結果に対して、パラボラフィッティングや等角直線フィッティングによって、サブピクセル精度の動きベクトルの推定値を計算して求める。もう一つの過程は、再構成処理である。リファレンスフレームの対照ブロックに他の入力フレームにおける対応するブロックと再構成（例えば重ね合せ）して高解像度画像を再構成する。本実施形態ではこのような処理で説明するが、その他複数枚のフレームを用いて低解像度フレームから高解像度フレームへ変換する処理であってもよい。
【００２１】
フレーム内超解像度処理部２２は、一枚のフレーム画像を用いて、超解像度処理を行う。本実施形態では、撮像装置１０等から送られてきた一枚のフレーム内の対応付けを用いた超解像度処理により高解像度化された出力フレームを出力する。複数フレーム超解像度処理と並行して行う際は、複数フレーム超解像度処理に利用されるリファレンスフレームと同一のフレームに対してフレーム内超解像度処理を行う。
【００２２】
このフレーム内超解像度処理は、例えば、被写体の輪郭などのエッジ部分がそのエッジに沿って輝度の変化が類似したパターンが並ぶことが多いという自然画像の性質（自己合同性）を利用する。入力フレーム中で注目するライン（縦又は横方向の画素列）と輝度パターンが類似するラインをほかの隣接する数ラインから検出する。次に、ほかのラインにある画素を、注目するライン内で対応する位置にコピーする。コピーされた画素に基づき高解像度画像を生成する。
【００２３】
このように、一枚のフレーム画像内の情報に基づき、出力フレームの画素数（ピクセル）を増加させ高解像度フレーム画像を作成する。
【００２４】
変化ポイント検出部２３は、映像の変化や切り替わり（変化ポイント）を検出する。具体的には連続して入力される二枚の入力フレームの一定以上の変化点（変化ポイント）を検出する。例えば、フレーム間差分により解析し、予め定めた一定値（閾値）以上の差分を検出した場合に変化があったとして、変化ポイントとして検出する。このほか、２フレーム間の相違を、例えば面輝度法やＴＭ法、度数分布法、ＣＴＭ法、色度数分布法、χ２検定法および分割χ２検定法等により解析し判別する方法や、動きベクトル（動き量）等の画像特微量の変化を検出する。これらの変化が一定以上である場合、変化があったとし検出する。
【００２５】
記憶部２４は、出力フレーム画像を記憶する記憶媒体である。本実施形態では、複数フレーム超解像度処理部２１やフレーム内解像度処理部２２で超解像度処理され、送られてきた高解像度フレーム画像（出力フレーム）を記憶する。出力フレーム選択部２５からの読み出し指令に応答し、受像装置３０へ出力フレームを出力する。データが記憶される媒体としては、一般に使用されるディスク装置、光ディスク装置、半導体メモリ等の各種記憶媒体が利用できる。これらの記憶媒体は一時記憶されるように利用してもよい。なお、本実施形態では、超解像度処理がなされたフレームを記憶するとしているが、その他入力フレームを一時記憶する際に利用してもよい。
【００２６】
出力フレーム選択部２５は、記憶部２４に記憶された高解像度フレーム画像から出力するフレームを選択する。本実施形態では、変化ポイント検出部２３が変化ポイントを検出した場合には、記憶部２４からリファレンスフレームに対応するフレーム内超解像度処理がなされた出力フレームの出力を指示する。変化ポイント検出部２３が変化ポイントを検出しない場合には、記憶部２４からリファレンスフレームに対応する複数フレーム超解像度処理がなされた出力フレームの出力を指示する。
【００２７】
受像装置３０は、画像処理装置２０で超解像度処理された画像を受像し、表示する。受像装置としては、画像を表示することができるものであれば良く、例えば携帯電話やパソコンの画面、テレビ画面等の液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイ等各種画像・映像表示機器を利用することができる。
【００２８】
次に、第１の実施形態の動作について図４、図５、図６を参照しながら説明する。
【００２９】
図４は、第１の実施形態の動作を示す図である。
【００３０】
撮像装置１０は、被写体の低解像度画像を撮影し、この低解像画像をフレーム化し、入力フレームとして画像処理装置２０へ送出する。
【００３１】
送出された入力フレームは、画像処理装置２０に入力される（ステップＳ１０１）。
【００３２】
画像処理装置２０は送られてきた低解像度画像を複数フレーム超解像度処理部２１およびフレーム内超解像度処理部２２に処理させる。また、変化ポイント検出部２３に、入力フレーム間の変化ポイントを検出させる。この際、入力フレームを画像処理装置内に記憶させておいて複数回の読み出しに利用してもよい。
【００３３】
複数フレーム超解像度処理部２１は、複数の入力フレーム（二または三枚以上の数フレーム）を用いて、超解像度処理を行う。例えば、二枚の入力フレームを利用した複数フレーム超解像度処理について説明する。本実施形態では簡単のため二枚の入力フレームについて説明しているが、三枚以上であっても同様に超解像度処理が行われる。
【００３４】
図５に示すように、リファレンスフレームは送られてきた二枚の入力フレームのうち後のフレームが使用されるように設定されていたとする。ｆ１〜ｆ７の入力フレームが順次撮像装置１０や映像記憶装置１２から送られてくる。この入力フレームｆ１をリファレンスフレームとしてｆ１と図示しないｆ１の一つ前のフレームとにより複数フレーム超解像度処理が行われ、出力フレームＦ１が画像記憶部２４に一時記憶または記憶される。次に、リファレンスフレームをｆ２とし、ｆ１、ｆ２を使用して複数フレーム超解像度処理が行われ出力フレームＦ２が記憶部２４に送られ記憶される。この動作が繰り返される。
【００３５】
また、図６に示すように、超解像度処理に利用する二枚のフレームのうちリファレンスフレームとして前のフレームを利用するよう設定されている場合について述べる。ｆ１〜ｆ７の入力フレームが連続して撮像装置１０や映像記憶装置１２から送られてきており、ｆ１をリファレンスフレームとしてｆ１、ｆ２を使用して複数フレーム超解像度処理が行われる。超解像度処理が行われた出力フレームＦ１が記憶部２４に送られ記憶される（ステップＳ１０２、ステップＳ１０３）。
【００３６】
フレーム内超解像度処理部２２は、上記複数フレーム超解像度処理部２１の超解像度処理と並行して、フレーム内超解像度処理を行う。例えば、図５、図６に示すようにｆ１〜ｆ７の入力フレームが撮像装置１０等から送られてきた場合、ｆ１〜ｆ７の各フレームに対しフレーム内超解像度処理が行われ、記憶部２４に一時記憶または記憶される（ステップＳ１０４、ステップＳ１０５）。
【００３７】
変化ポイント検出部２３は、連続して入力される２つの入力フレームの一定以上変化（変化ポイント）を検出する。例えば、フレーム間差分により解析し、予め定めた一定値（閾値）以上の差分を検出した場合に変化があったとして、変化ポイントとして検出する。図５ではｆ１〜ｆ７と入力されてくる入力フレームのｆ１とｆ２、ｆ２とｆ３、ｆ３とｆ４、ｆ４とｆ５、ｆ５とｆ６、ｆ６とｆ７のフレーム間差分等を比較し変化ポイントを検出する（ステップＳ１０６）。
【００３８】
変化ポイント検出部２３により変化ポイントが検出されない場合（ステップＳ１０６−ＮＯ）は、出力フレーム選択部２５は、記憶部２４に記憶されている複数フレーム超解像度処理画像を順次読み出し、受像装置３０へ出力する。図５では、入力フレームｆ４とｆ５の間以外について変化ポイントが検出されていないので、出力フレームＦ１〜Ｆ４、Ｆ６、Ｆ７については複数フレーム超解像度処理がなされた出力フレームが出力される。図６では、出力フレームＦ１〜Ｆ３、Ｆ５〜Ｆ７が複数フレーム超解像度処理がなされて出力される。（ステップＳ１０７）。
【００３９】
一方、変化ポイント検出部２３により変化ポイントが検出された場合（ステップＳ１０６−ＹＥＳ）、出力フレーム選択部２５は、複数フレーム超解像度処理画像の出力に代えて、フレーム内超解像度処理画像を受像装置３０へ出力する。図５では、入力フレームｆ４とｆ５の間で変化ポイントが検出されているので、入力フレームｆ５をリファレンスとした複数フレーム超解像度処理画像に代えて、フレーム内超解像度処理された出力フレームＦ５が出力される。図６では、入力フレームｆ４とｆ５の間で変化ポイントが検出されており、入力フレームｆ４をリファレンスとした複数フレーム超解像度処理画像は出力されない。これに代えてフレーム内超解像度処理がなされた出力フレームＦ４が出力され、受像装置３０に送信される（ステップＳ１０８）。
【００４０】
このように、変化ポイントがあった場合には、複数フレーム超解像度処理画像に代えてフレーム内超解像度処理画像を出力することにより、全ての入力フレームに対して超解像度処理を行った出力フレームを出力することができる。全ての入力フレームに対して超解像度処理を行っているため、高精度の高解像度処理または映像を提供することができる。また、先に変化ポイントがあるかないかを検出した後に超解像度処理を行うのではなく、同時並行して処理を行っているため超解像度処理を行った出力フレームを速やかに提供することができ、さらに高画質の映像を提供することができる。
【００４１】
（第２の実施形態）
第２の実施形態の態様について図７、図８を参照しながら説明する。
【００４２】
第１の実施形態との違いは、主に複数フレーム超解像度処理部２１と、出力フレーム選択部２５にある。その他、これらの違いに従い記憶部２４が記憶するフレーム画像のデータ等が異なる。
【００４３】
第２の実施形態の複数フレーム超解像度処理部２１は、設定されたリファレンスフレームの位置により、異なった超解像度処理を行う。本実施形態では、図８に示すように三枚の複数フレームのうち最後のフレームをリファレンスフレームとして利用する場合について述べる。
【００４４】
図８に示したように入力フレームｆ１〜ｆ３が入力される。この場合、ｆ３をリファレンスフレームとしてｆ１〜ｆ３を使用して超解像度処理を行うのであるが、ｆ２とｆ３を利用した超解像度処理を少なくとも行い、作成されたｆ２−３を記憶部２４へ記憶させる。本実施形態ではこのｆ２−３とｆ１を利用して三枚の超解像度処理を行うことが好適である。しかし、これとは別にｆ１−２を作成した後、ｆ１−２とｆ３を使用して超解像度処理を行っても良い。次に、ｆ２〜ｆ４以降についてもと同様の処理が行われ、以降も同様に処理される。三枚のフレームを用いた超解像度処理について述べたが４枚以上であっても同様の原理を利用することができる。
【００４５】
また第２の実施形態の出力フレーム選択部２５は、前回の変化ポイント検出手段２３の検出処理において変化ポイントが検出されたか否かについて判定機能をさらに備える。変化ポイント検出手段２３が変化ポイントを検出せず、かつ、出力フレーム選択部２５の判定機能による判定において一回前の検出処理において変化ポイントが検出されたとされた場合には、規定数のフレームを利用した超解像度処理画像ではなく、記憶部２４に記憶された規定数よりも少ないフレームを利用した複数フレーム超解像度画像を選択し出力させる。変化ポイント検出手段２３が変化ポイントを検出せず、かつ、出力フレーム選択部２５の判定機能による判定において一回前の検出処理において変化ポイントが検出されないとされた場合には、規定数のフレーム数を利用した超解像度処理画像を出力する。変化ポイントが検出されなかった場合は、フレーム内著解像度処理画像を出力する。その他の機能については第１の実施形態と同様である。
【００４６】
具体的には、複数フレームに利用するフレーム枚数の規定数が三枚である場合について図８を用いて説明する。図８に示したように入力フレームｆ１〜ｆ７が入力される。ここで、ｆ４とｆ５の間に変化ポイントがある。よって、ｆ３とｆ４とｆ５が入力された場合、ｆ５に対応する出力フレームＦ５はフレーム内超解像度処理がなされた出力フレームを出力させる。次に、ｆ４とｆ５とｆ６が入力された場合、ｆ６をリファレンスとして規定数より一枚少ないｆ５とｆ６の二枚のフレームを利用した超解像度画像を選択し出力させる。
【００４７】
第２の実施形態の動作について図７、図８を参照しながら説明する。
【００４８】
まず、複数枚の入力フレームが連続して、画像処理装置２０に入力される（ステップＳ２０１）。
【００４９】
画像処理装置２０は送られてきた低解像度画像を複数フレーム超解像度処理部２１およびフレーム内超解像度処理部２２に処理させる。また、変化ポイント検出部２３に、入力フレーム間の変化ポイントを検出させる。
【００５０】
複数フレーム超解像度処理部２１は、設定されたリファレンスフレームの位置により、異なった超解像度処理を行う。例えば、図８に示すように三枚の複数フレームのうち最後のフレームをリファレンスフレームとして利用する場合について述べる。
【００５１】
図８に示したように入力フレームｆ１〜ｆ３が入力される。この場合、ｆ３をリファレンスフレームとしてｆ１〜ｆ３を使用して超解像度処理を行うのであるが、この際、ｆ２とｆ３を利用した超解像度処理を行い、作成されたｆ２−３を記憶部２４へ記憶させる。このｆ２−３とｆ１を利用してさらに三枚の超解像度処理を行い作成されたＦ３（ｆ１−２−３）を記憶部２４へ記憶する。次に、ｆ２〜ｆ４以降についてもと同様に二枚の入力フレーム超解像度処理が行われた後、その二枚の超解像度処理画像を利用して三枚の入力フレームを利用した超解像度処理画像の作成が行われる。この動作により、リファレンスフレームとリファレンスフレームの一枚前の入力フレームを利用した超解像度処理画像と、リファレンスフレームとリファレンスフレームの一枚前および二枚前の入力フレームを利用した超解像度処理画像が記憶部に記憶される（ステップＳ２０２、ステップＳ２０３）。
【００５２】
フレーム内超解像度処理部２２は、上記複数フレーム超解像度処理部２１の超解像度処理と並行して、フレーム内超解像度処理を行う。例えば、図７に示すようにｆ１〜ｆ７の入力フレームが撮像装置１０等から送られてきた場合、ｆ１〜ｆ７の各フレームに対しフレーム内超解像度処理が行われ、記憶部２４に一時記憶または記憶される（ステップＳ２０４、ステップＳ２０５）。
【００５３】
変化ポイント検出部２３は、連続して入力される二枚の入力フレームの一定以上変化（変化ポイント）を検出する。例えば、フレーム間差分により解析し、予め定めた一定値（閾値）以上の差分を検出した場合に変化があったとして、変化ポイントとして検出する。
【００５４】
図７ではｆ１〜ｆ７と入力されてくる入力フレームのｆ１とｆ２、ｆ２とｆ３、ｆ３とｆ４、ｆ４とｆ５、ｆ５とｆ６、ｆ６、ｆ７とのフレーム間差分等を比較し変化ポイントを検出する（ステップＳ２０６）。
【００５５】
変化ポイント検出部２３により変化ポイントが検出された場合（ステップＳ２０６―ＹＥＳ）、フレーム内超解像度処理画像を出力する。本実施形態の図７では、入力フレームｆ５を利用したフレーム内超解像度処理画像が出力フレームＦ５として出力される（ステップＳ２１０）。
【００５６】
変化ポイント検出部２３により変化ポイントが検出されない場合（ステップＳ２０６−ＮＯ）、出力フレーム選択部２５は、さらに前回の検出処理で変化ポイントを行った否かを判定する。変化ポイントを検出し、さらに判定機能による判定において一回前の検出処理において変化ポイントが検出されたとされた場合（ステップＳ２０７−ＹＥＳ）には、記憶部２４に記憶された規定数よりも少ないフレームを利用した複数フレーム超解像度画像を出力させる。本実施形態では、ｆ５とｆ６の間では変化ポイントは検出されないが前回の検出処理で行われたｆ４とｆ５の間には変化ポイントが検出されるため、出力フレームＦ６は、ｆ６をリファレンスとしｆ５とｆ６の二枚を利用した超解像度処理画像を出力する（ステップＳ２０８）。
【００５７】
変化ポイント検出部２３および出力フレーム選択部２５により変化ポイントが連続して検出されなかった場合、規定数つまり三枚の超解像度処理を行ったフレームを出力される。本実施形態では、Ｆ１〜Ｆ４、Ｆ７である（ステップＳ２０９）。
【００５８】
このように、変化ポイントがあった場合には、複数フレーム超解像度処理画像に代えてフレーム内超解像度処理画像を出力することにより、全ての入力フレームに対して超解像度処理を行った出力フレームを出力することができる。全ての入力フレームに対して超解像度処理を行っているため、画像劣化が少ない高解像度処理を実現することができる。
【００５９】
さらに、三枚以上の入力フレームを使用して超解像度処理を行う場合、変化ポイントを検出した場合であっても、変化ポイントを検出した次の次（つまり変化ポイントから数えて二枚）の入力フレームが入力されてからは、二枚以上の複数枚フレームを利用した超解像度処理画像を出力することができ、より多くの数の複数フレーム超解像度処理がなされた画像を出力フレームとして利用することができ、さらなる高解像のフレーム出力が可能となる。
【００６０】
（第３の実施形態）
第３の実施形態の態様について図９、図１０を参照しながら説明する。
【００６１】
第２の実施形態との違いは、主に出力フレーム選択部２５にある。その他、これらの違いに従い記憶部２４が記憶するフレーム画像のデータ等が異なる。
【００６２】
第３の実施形態の複数フレーム超解像度処理部２１は、設定されたリファレンスフレームの位置により、異なった超解像度処理を行う。本実施形態では、図１０に示すように三枚の複数フレームのうち最初のフレームをリファレンスフレームとして利用する場合について述べる。
【００６３】
図１０に示したように入力フレームｆ１〜ｆ３が入力される。この場合、ｆ１をリファレンスフレームとしてｆ１〜ｆ３を使用して超解像度処理を行うのであるが、ｆ１とｆ２を利用した超解像度処理を少なくとも行い、作成されたｆ１−２を記憶部２４へ記憶させる。本実施形態ではこのｆ１−２とｆ３を利用して三枚の超解像度処理を行うことが好適である。次に、ｆ２〜ｆ４以降についてもと同様の処理が行われ、以降も同様に処理される。三枚のフレームを用いた超解像度処理について述べたが４枚以上であっても同様の原理を利用することができる。
【００６４】
また、本実施形態の出力フレーム選択部２５は、第２の実施形態と同様に前回の変化ポイント検出手段２３の検出処理において変化ポイントが検出されたか否かについて判定機能を備える。変化ポイント検出手段２３が変化ポイントを検出し、かつ、出力フレーム選択部２５の判定機能による判定において一回前の検出処理において変化ポイントが検出されたと判定された場合には、記憶部２４に記憶されたフレーム内超解像度処理された画像を出力する。変化ポイント検出手段２３が変化ポイントを検出し、かつ、出力フレーム選択部２５の判定機能による判定において一回前の検出処理において変化ポイントが検出されないと判定された場合には、記憶部２４に記憶された規定数よりも少ないフレームを利用した複数フレーム超解像度画像を選択し出力させる。
【００６５】
具体的には、複数フレームに利用するフレーム枚数の規定数が三枚である場合について図１０を用いて説明する。図１０に示したように入力フレームｆ１〜ｆ７が入力される。ここで、ｆ４とｆ５の間に変化ポイントがある。よって、ｆ３とｆ４とｆ５が入力された場合、ｆ３に対応する出力フレームＦ３はｆ３をリファレンスとして規定数より一枚少ないｆ３とｆ４の二枚のフレームを利用した超解像度処理画像を選択し出力させる。次に、ｆ４とｆ５とｆ６が入力された場合、ｆ４をリファレンスとしたフレーム内超解像度処理がなされた出力フレームを出力させる。
【００６６】
第３の実施形態の動作について図９、図１０を参照しながら説明する。
【００６７】
まず、複数枚の入力フレームが連続して、画像処理装置２０に入力される（ステップＳ３０１）。
【００６８】
画像処理装置２０は送られてきた低解像度画像を複数フレーム超解像度処理部２１およびフレーム内超解像度処理部２２に処理させる。また、変化ポイント検出部２３に、入力フレーム間の変化ポイントを検出させる。
【００６９】
複数フレーム超解像度処理部２１は、設定されたリファレンスフレームの位置により、異なった超解像度処理を行う。本実施形態では、図１０に示すように三枚の複数フレームのうち最後のフレームをリファレンスフレームとして利用する場合について述べる。
【００７０】
図１０に示したように入力フレームｆ１〜ｆ３が入力される。この場合、ｆ１をリファレンスフレームとしてｆ１〜ｆ３を使用して超解像度処理を行うのであるが、この際、ｆ１とｆ２を利用した超解像度処理を行い、作成されたｆ１−２を記憶部２４へ記憶させる。このｆ１−２とｆ３を利用してさらに三枚の超解像度処理を行い作成されたＦ３（ｆ１−２−３）を記憶部２４へ記憶する。次に、ｆ２〜ｆ４以降についても同様に二枚の入力フレーム超解像度処理が行われた後、その二枚の超解像度処理画像を利用して三枚の入力フレームを利用した超解像度処理画像の作成が行われる。この動作により、リファレンスフレームとリファレンスフレームの一枚後の入力フレームを利用した超解像度処理画像と、リファレンスフレームとリファレンスフレームの一枚後および二枚後の入力フレームを利用した超解像度処理画像が記憶部に記憶される（ステップＳ３０２、ステップＳ３０３）。
【００７１】
フレーム内超解像度処理部２２は、上記複数フレーム超解像度処理部２１の超解像度処理と並行して、フレーム内超解像度処理を行う。例えば、図１０に示すようにｆ１〜ｆ７の入力フレームが撮像装置１０等から送られてきた場合、ｆ１〜ｆ７の各フレームに対しフレーム内超解像度処理が行われ、記憶部２４に一時記憶または記憶される（ステップＳ３０４、ステップＳ３０５）。
【００７２】
変化ポイント検出部２３は、連続して入力される二枚の入力フレームの一定以上変化（変化ポイント）を検出する。例えば、フレーム間差分により解析し、予め定めた一定値（閾値）以上の差分を検出した場合に変化があったとして、変化ポイントとして検出する。
【００７３】
図１０ではｆ１〜ｆ７と入力されてくる入力フレームのｆ１とｆ２、ｆ２とｆ３、ｆ３とｆ４、ｆ４とｆ５、ｆ５とｆ６、ｆ６、ｆ７とのフレーム間差分等を比較し変化ポイントを検出する（ステップＳ３０６）。
【００７４】
変化ポイント検出部２３により変化ポイントが検出されなかった場合（ステップＳ３０６―ＹＥＳ）、規定数つまり三枚の超解像度処理を行ったフレームを出力される。本実施形態の図７では、入力フレームｆ５を利用したフレーム内超解像度処理画像が出力フレームＦ５として出力される（ステップＳ３０８）。
【００７５】
変化ポイント検出部２３により変化ポイントが検出された場合（ステップＳ３０６−ＹＥＳ）、出力フレーム選択部２５は、さらに前回の検出処理で変化ポイントを行った否かを判定する。変化ポイント検出部２３が変化ポイントを検出し、さらに出力フレーム選択部２５の判定機能による判定において一回前の検出処理において変化ポイントが検出されたとされた場合（ステップＳ３０７−ＹＥＳ）には、記憶部２４に記憶されたフレーム内超解像度処理画像を出力する。本実施形態では、ｆ５とｆ６の間では変化ポイントは検出されないが前回の検出処理で行われたｆ４とｆ５の間には変化ポイントが検出されるため、出力フレームＦ６は、ｆ６をリファレンスとしｆ５とｆ６の二枚を利用した超解像度処理画像を出力する（ステップＳ３１０）。
【００７６】
変化ポイント検出部２３により変化ポイントが検出され、出力フレーム選択部２５により変化ポイントが検出されなかった場合、規定数よりも少ないフレームを利用した複数フレーム超解像度画像を出力させる。本実施形態では、Ｆ３である（ステップＳ３０９）。
【００７７】
このように、変化ポイントがあった場合には、複数フレーム超解像度処理画像に代えてフレーム内超解像度処理画像を出力することにより、全ての入力フレームに対して超解像度処理を行った出力フレームを出力することができる。全ての入力フレームに対して超解像度処理を行っているため、画像劣化が少ない高解像度処理を実現することができる。
【００７８】
さらに、三枚以上の入力フレームを使用して超解像度処理を行う場合、変化ポイントを検出した場合であっても、変化ポイントを検出した次の次（つまり変化ポイントから数えて二枚）の入力フレームが入力されてからは、二枚以上の複数枚フレームを利用した超解像度処理画像を出力することができ、より多くの数の複数フレーム超解像度処理がなされた画像を出力フレームとして利用することができ、さらなる高解像のフレーム出力が可能となる。
【００７９】
（第４の実施形態）請求項４
第４の実施態様について図１１乃至図１５を参照しながら説明する。
【００８０】
第１、第２、第３の実施形態との違いは、主に複数フレーム超解像度処理部２１と、出力フレーム選択部２５にある。その他、記憶部２４が記憶するフレームのデータ等が異なる。なお、図１１には、映像記憶装置１２を記載しているが、第１の実施形態と同様に、一台の撮像装置や複数台の撮像装置、これらを制御する撮像装置制御部を含む構成であってもよい。
【００８１】
第４の実施形態の複数フレーム超解像度処理部２１は、入力フレームに対して使用する複数枚の入力フレームを同一としたまま、リファレンスフレームを変化させて複数フレーム超解像度処理を行う。複数フレーム超解像度処理がなされたフレームは記憶部２４に一時記憶または記憶される。
【００８２】
具体的には、入力フレームｆ１、ｆ２の二枚を使用して複数フレーム超解像度処理を行う際に、ｆ１をリファレンスフレームとしてｆ１、ｆ２を使用した超解像度処理と、ｆ２をリファレンスフレームとしてｆ１、ｆ２を使用した超解像度処理を行う。これらの処理は並行して行われても良いし、処理能力に応じて適宜分割して処理がなされても良い。
【００８３】
第４の実施形態の出力フレーム選択部２５は、前回の変化ポイント検出部２３の検出処理において変化ポイントが検出されたか否かについて判定機能を備える。また、映像の変化ポイントでの遅延時間を調整する遅延調整機能を備えていてもよい。
【００８４】
変化ポイント検出部２３によって変化ポイントが検出されなかった場合であって、上記判定機能による判定において一回前の検出処理において変化ポイントが検出された場合、予め設定された通常のリファレンスフレームを利用した超解像度処理画像ではなく、リファレンスフレーム位置を変化させた超解像度処理画像を出力させる。リファレンスフレーム位置を変化させた超解像度処理画像が複数枚ある場合は、リファレンスフレーム位置のフレームの入力が早い順から順次出力される。
【００８５】
変化ポイント検出部２３によって変化ポイントが検出されなかった場合であって、さらに判定機能による判定において一回前の検出処理において変化ポイントが検出されなかった場合、予め設定された通常のリファレンスフレームを利用した超解像度処理画像を出力する。
【００８６】
上記遅延調整機能は、出力フレームの出力間隔を調整するものであり、必ずしも出力フレーム選択部２５に備えられる必要はなく、画像処理装置２０内であればよく、受像装置３０と画像処理装置２０との間に別の装置として設けてもよい。機能としては、予め入力されるフレーム内に変化ポイントがあることを検知し、予め数フレーム分の出力時間を遅らせておく等の処理を行う。その他の機能については第１の実施形態と同様である。
【００８７】
具体的に画像処理装置２０の動作について、複数フレームに利用するフレーム枚数の規定数が二枚である場合を例に、図１３乃至図１５を参照しながら説明する。いわゆる通常リファレンスに使用するリファレンスは二枚のフレームのうち後のフレームである。図１３に示したように入力フレームｆ１〜ｆ７が入力される。入力されたフレームは、ｆ２をリファレンスとしてｆ１、ｆ２を使用して超解像度処理を行いＦ２を出力する。これをｆ２〜ｆ７について繰り返す。ここで、ｆ４とｆ５の間に変化ポイントがある。よって、ｆ４とｆ５が入力された場合に生成された超解像度処理画像は出力されない。その後、ｆ５とｆ６が入力された場合は、前回変化ポイントをｆ４とｆ５の間に検出しているので、ｆ５をリファレンスとしてｆ５、ｆ６を利用した超解像度処理画像の出力を指示し、次にｆ６をリファレンスとしてｆ５、ｆ６を利用した超解像度処理画像の出力を指示する。
【００８８】
これらの出力する際、図１３に示すようにこのまま出力すると出力フレームＦ４とＦ５の間に出力すべきフレームがない状態となる。そこで、予め出力フレームの出力時間を一定時間遅らせておくことで、図１４に示すように出力フレームＦ４とＦ５に欠落がないよう、遅延処理機能による遅延処理を利用して、フレームの欠落を起こさせない。遅延処理機能とは、予め出力フレームの欠落を防ぐために出力フレームの出力タイミングを遅らせておき、図１３に示すＦ４、Ｆ５の間のような出力フレームが出力されない場合に、出力フレームのタイミングを早く切替える機能をいう。
【００８９】
また、図１５に示すように通常リファレンスが二枚のうち前のフレームである場合である。ｆ４とｆ５が入力された場合に生成された超解像度処理画像は記憶のみなされるか、または削除され出力されない。その後、ｆ５とｆ６が入力された場合は、前回変化ポイントをｆ４とｆ５の間に検出しているので、ｆ４をリファレンスとしてｆ３、ｆ４を利用した超解像度処理画像の出力を指示し、次にｆ５をリファレンスとしてｆ５、ｆ６を利用した超解像度処理画像の出力を指示する。
【００９０】
次に、第４の実施形態の動作について説明する。
【００９１】
まず、複数枚の入力フレームが連続して、画像処理装置２０に入力される（ステップＳ４０１）
画像処理装置２０は送られてきた低解像度画像を複数フレーム超解像度処理部２１に処理させる。また、変化ポイント検出部２３に、入力フレーム間の変化ポイントを検出させる。本実施形態では二枚の入力フレームを利用した場合の実施形態を述べるが三枚以上であっても良い。
【００９２】
いわゆる通常リファレンスに使用するリファレンスは二枚のフレームのうち後のフレームである。この場合、複数フレーム超解像度処理部２１は、後のフレームをリファレンスとした超解像度処理を行い（ステップＳ４０２）、記憶部２４へ記憶させる（ステップＳ４０３）。また、前のフレームをリファレンスとした超解像度処理を行い（ステップＳ４０４）、記憶させる（ステップＳ４０５）。複数枚の場合は、各入力フレームをリファレンスとした超解像度処理を行い、それぞれ記憶させる。
【００９３】
具体的には、図１３に示すように、ｆ１〜ｆ７が入力されると、ｆ１をリファレンスとし、ｆ１とｆ２を利用した超解像度処理を行い記憶させ（ステップＳ４０２、４０３）、ｆ２をリファレンスとしｆ１とｆ２を利用した超解像度処理を行い記憶させる
（ステップＳ４０４、ステップＳ４０５）。これをｆ２〜ｆ７について繰り返す。
【００９４】
変化ポイント検出部２３は、連続して入力される二枚の入力フレームの一定以上変化（変化ポイント）を検出する（ステップＳ４０６）。
【００９５】
変化ポイントが検出された場合、そのまま終了する。図１３では、ｆ４とｆ５の間に変化ポイントが検出されるため、ｆ５をリファレンスとしてｆ４とｆ５を使用した超解像度処理画像は出力されない（ステップＳ４０６−ＹＥＳ）。
【００９６】
変化ポイントが検出されなかった場合（ステップＳ４０６―ＮＯ）、さらに前回の変化ポイント検出処理で変化ポイントがあったか否か、または出力フレームが出力されたか否かを検出する（ステップＳ４０７）。
【００９７】
前回変化ポイントが検出されなかった場合（ステップＳ４０７−ＮＯ）、通常のリファレンスを使用した超解像度処理画像を出力する。図１３では、Ｆ１〜Ｆ４、Ｆ７である。
【００９８】
前回変化ポイントが検出された場合（ステップＳ４０７−ＹＥＳ）、リファレンスを変化させた超解像度処理画像を出力し（ステップＳ４０８）、次に通常のリファレンスを使用した超解像度処理画像を出力する（ステップＳ４０９）。
【００９９】
これらの出力する際、図１３に示すようにこのまま出力すると出力フレームＦ４とＦ５の間に出力すべきフレームがない状態となる。そこで、予め出力フレームの出力時間を一定時間遅らせておくことで、図１４に示すように出力フレームＦ４とＦ５に欠落がないよう、遅延処理機能による遅延処理を利用して、フレームの欠落を起こさせない。
【０１００】
また、図１５に示すように通常リファレンスが二枚のうち前のフレームである場合である。ｆ４とｆ５が入力された場合に生成された超解像度処理画像は記憶のみなされるか、または削除され出力されない。その後、ｆ５とｆ６が入力された場合は、前回変化ポイントをｆ４とｆ５の間に検出しているので、ｆ４をリファレンスとしてｆ３、ｆ４を利用した超解像度処理画像の出力を指示し（ステップＳ３０８）、次にｆ５をリファレンスとしてｆ５、ｆ６を利用した超解像度処理画像の出力を指示する（ステップＳ３０９）。
【０１０１】
このように、変化ポイントをまたいで超解像度処理がなされたフレームに関しては、出力がなされず、全ての入力フレームをリファレンス画像として超解像度処理を行った出力フレームを出力することができる。また、全ての入力フレームに対して複数フレーム超解像度処理を行っているため、出力画素数等が同じ出力フレームを出力できる。また、複数フレーム超解像度処理のみを利用した超解像度処理を利用しているため、より確証度の高い出力フレームを出力することができる。
【０１０２】
（第５の実施形態）
第５の実施態様について図１６乃至図１８を参照しながら説明する。
【０１０３】
本実施形態は、第４の実施形態の変形例である。
【０１０４】
第４の実施形態との違いは、主に出力フレーム選択部２５にある。その他、これらの違いに従い記憶部２４が記憶するフレーム画像のデータ等が異なる。
【０１０５】
第５の実施形態の複数フレーム超解像度処理部２１は、設定されたリファレンスフレームの位置により、異なった超解像度処理を行う。本実施形態では、図１７に示すように二枚の複数フレームのうち先のフレームをリファレンスフレームとして利用する場合である。
【０１０６】
次に、第５の実施形態の動作について、図１７を参照しながら説明する。
【０１０７】
まず、複数枚の入力フレームが連続して、画像処理装置２０に入力される（ステップＳ５０１）。
【０１０８】
画像処理装置２０は送られてきた低解像度画像を複数フレーム超解像度処理部２１に処理させる。また、変化ポイント検出部２３に、入力フレーム間の変化ポイントを検出させる。
【０１０９】
複数フレーム超解像度処理部２１は、一枚目のフレームをリファレンスとした超解像度処理を行い、記憶部２４へ記憶させる。二枚または、四枚以上の場合であっても予め定められたリファレンス画像を用いた同様の超解像度処理を行い、それぞれ記憶させる。
【０１１０】
具体的には、図１６に示すように、ｆ１〜ｆ７が入力されると、ｆ１をリファレンスとし、ｆ１とｆ２とを利用した超解像度処理を行い記憶させる（ステップ５０２、５０３）。また、同時にｆ２をリファレンスとし、ｆ１とｆ２とを利用した超解像度処理を行い記憶させる（ステップＳ５０４、５０５）。
【０１１１】
変化ポイント検出部２３は、連続して入力される二枚の入力フレームの一定以上変化（変化ポイント）を検出する（ステップＳ５０６）。
【０１１２】
変化ポイントが検出されなかった場合（ステップＳ５０６―ＮＯ）、通常のリファレンス位置の超解像度フレームを作成し出力する。図１７では、Ｆ１〜Ｆ３、Ｆ５〜Ｆ７である（ステップＳ５０７）。
【０１１３】
変化ポイントが検出された場合（ステップ５０６−ＹＥＳ）、リファレンス位置を変化させた超解像度フレームを作成し出力する。図１７では、ｆ４とｆ５の間に変化ポイントが検出されるため、ｆ４をリファレンスとしてｆ４とｆ５を使用した超解像度処理画像出力されず、前回処理で記憶したｆ４をリファレンスとしｆ３とｆ５を使用した超解像度処理画像を記憶部２４から読み出しＦ４として出力する（ステップＳ５０８）。
【０１１４】
なお、図１８は図１７を異なる概念で考えた場合の処理図である。つまり変化ポイントを検出した場合には、既に前に行われた超解像度処理画像を出力するわけであるから、図１７で存在するＦ３とＦ４の間の処理時間を極めて短時間とすることができる。
【０１１５】
このように、リファレンス位置を前にした超解像度処理を行わせ、変化ポイントを検出した場合には、あらかじめ先の処理で行っていたリファレンス位置の異なる超解像度処理画像を出力させることにより、速やかに超解像度処理画像を出力することができる。
【０１１６】
（第６の実施形態）
第６の実施態様について図１９乃至図２４を参照しながら説明する。
【０１１７】
本実施形態は、第４の実施形態の変形例である。
【０１１８】
本実施形態では、図１９に示すように、入力フレームを記憶する記憶部２７をもつ。
【０１１９】
本実施形態では、記憶部２７は、記憶部２４と分けて記載しているが、同一の媒体であってもよい。
【０１２０】
次に、第６の実施形態の動作について説明する。
【０１２１】
本実施形態では図２１に示すように、三枚の入力フレームを用いた超解像度処理であって、その三枚の入力フレームのうち二枚目の入力フレームをリファレンスとした例を示す。
【０１２２】
まず、複数枚の入力フレームが連続して、画像処理装置２０に入力される（ステップＳ６０１）。
【０１２３】
画像処理装置２０は送られてきた低解像度画像を複数フレーム超解像度処理部２１に処理させる。また、変化ポイント検出部２３に、入力フレーム間の変化ポイントを検出させる。
【０１２４】
複数フレーム超解像度処理部２１は、二枚目のフレームをリファレンスとした超解像度処理を行い、記憶部２４へ記憶させる。二枚または、四枚以上の場合であっても予め定められたリファレンス画像を用いた同様の超解像度処理を行い、それぞれ記憶させる。
【０１２５】
具体的には、図２０に示すように、ｆ１〜ｆ７が入力されると、ｆ２をリファレンスとし、ｆ１とｆ２とｆ３を利用した超解像度処理を行い記憶させる（ステップＳ６０２、６０３）。
【０１２６】
変化ポイント検出部２３は、連続して入力される二枚の入力フレームの一定以上変化（変化ポイント）を検出する（ステップＳ６０４）。
【０１２７】
変化ポイントが検出された場合、そのまま終了する。図２１では、ｆ４とｆ５の間に変化ポイントが検出されるため、ｆ４をリファレンスとしてｆ３とｆ４とｆ５を使用した超解像度処理画像およびｆ５をリファレンスとしてｆ４とｆ５とｆ６を使用した超解像度処理画像は出力されない（ステップＳ６０４−ＹＥＳ）。
【０１２８】
変化ポイントが検出されなかった場合（ステップＳ６０４―ＮＯ）、さらに前回の変化ポイント検出処理で変化ポイントがあったか否か、または出力フレームが出力されたか否かを検出する（ステップＳ６０５）。
【０１２９】
前回変化ポイントが検出されなかった場合（ステップＳ６０５−ＮＯ）、通常のリファレンスを使用した超解像度処理画像を出力する。図２１では、Ｆ１〜Ｆ３、Ｆ６、Ｆ７である（ステップＳ６０８）。
【０１３０】
前回変化ポイントが検出された場合（ステップＳ６０５−ＹＥＳ）、複数フレーム超解像度処理部２１は、リファレンスを変更した超解像度処理を行い出力する（ステップＳ６０６、ステップＳ６０７）。次に通常のリファレンスを使用した超解像度処理画像を出力する（ステップＳ６０８）。
【０１３１】
図２１では、ｆ４とｆ５とｆ６を読み込んで超解像度処理をしようとした場合、変化ポイントが検出され、前回のｆ３とｆ４とｆ５を読み込んだ際にも変化ポイントが検出される。検出された次に、複数フレーム超解像度処理部は記憶部２７から再度入力フレームを読み出し、ｆ４をリファレンスとし、ｆ２とｆ３とｆ４を使用した超解像度処理画像を作成し出力しｆ５をリファレンスとし、ｆ５とｆ６とｆ７を使用した超解像度処理画像を作成し出力し、次に、再度同じ入力フレームを利用しながらも通常のリファレンス位置画像ｆ６をリファレンスとした超解像度処理画像を出力する（ステップＳ６０６、ステップＳ６０７、ステップＳ６０８）。
【０１３２】
これらの出力する際、図２１に示すようにこのまま出力すると出力フレームＦ３とＦ４の間に出力すべきフレームがない状態となる。そこで、予め出力フレームの出力時間を一定時間遅らせる遅延処理を利用して、フレームの欠落を起こさせないようにしてもよい。
【０１３３】
同様に三枚の入力フレームを用いた超解像度処理であって、その三枚の入力フレームのうち一枚目の入力フレームをリファレンスとした例を図２２を参照しながら説明する。
【０１３４】
ｆ１〜ｆ７が入力されると、ｆ３をリファレンスとし、ｆ１とｆ２とｆ３を利用した超解像度処理を行い記憶させる（ステップＳ６０２、６０３）。
【０１３５】
変化ポイント検出部２３は、連続して入力される二枚の入力フレームの一定以上変化（変化ポイント）を検出する（ステップＳ６０４）。
【０１３６】
変化ポイントが検出された場合、そのまま終了する。図２２では、ｆ４とｆ５の間に変化ポイントが検出されるため、ｆ５をリファレンスとしてｆ３とｆ４とｆ５を使用した超解像度処理画像およびｆ６をリファレンスとしてｆ４とｆ５とｆ６を使用した超解像度処理画像は出力されない（ステップＳ６０４−ＹＥＳ）。
【０１３７】
変化ポイントが検出されなかった場合（ステップＳ６０４―ＮＯ）、さらに前回の変化ポイント検出処理で変化ポイントがあったか否か、または出力フレームが出力されたか否かを検出する（ステップＳ６０５）。
【０１３８】
前回変化ポイントが検出されなかった場合（ステップＳ６０５−ＮＯ）、通常のリファレンスを使用した超解像度処理画像を出力する。図２２では、Ｆ１〜Ｆ４、Ｆ７である（ステップＳ６０８）。
【０１３９】
前回変化ポイントが検出された場合（ステップＳ６０５−ＹＥＳ）、複数フレーム超解像度処理部２１は、リファレンスを変更した超解像度処理を行い出力する（ステップＳ６０６、ステップＳ６０７）。次に通常のリファレンスを使用した超解像度処理画像を出力する（ステップＳ６０８）。
【０１４０】
図２２では、ｆ４とｆ５とｆ６を読み込んで超解像度処理をしようとした場合、変化ポイントが検出され、前回のｆ３とｆ４とｆ５を読み込んだ際にも変化ポイントが検出される。検出された次に、複数フレーム超解像度処理部は記憶部２７から再度入力フレームを読み出し、ｆ５をリファレンスとし、ｆ５とｆ６とｆ７を使用した超解像度処理画像を作成し出力しｆ６をリファレンスとし、ｆ５とｆ６とｆ７を使用した超解像度処理画像を作成し出力し、次に、再度同じ入力フレームを利用しながらも通常のリファレンス位置画像ｆ７をリファレンスとした超解像度処理画像を出力する（ステップＳ６０６、ステップＳ６０７、ステップＳ６０８）。
【０１４１】
同様に三枚の入力フレームを用いた超解像度処理であって、その三枚の入力フレームのうち一枚目の入力フレームをリファレンスとした例を図２３を参照しながら説明する。
【０１４２】
ｆ１〜ｆ７が入力されると、ｆ１をリファレンスとし、ｆ１とｆ２とｆ３を利用した超解像度処理を行い記憶させる（ステップＳ６０２、６０３）。
【０１４３】
変化ポイント検出部２３は、連続して入力される二枚の入力フレームの一定以上変化（変化ポイント）を検出する（ステップＳ６０４）。
【０１４４】
変化ポイントが検出された場合、そのまま終了する。図２２では、ｆ４とｆ５の間に変化ポイントが検出されるため、ｆ３をリファレンスとしてｆ３とｆ４とｆ５を使用した超解像度処理画像およびｆ４をリファレンスとしてｆ４とｆ５とｆ６を使用した超解像度処理画像は出力されない（ステップＳ６０４−ＹＥＳ）。
【０１４５】
変化ポイントが検出されなかった場合（ステップＳ６０４―ＮＯ）、さらに前回の変化ポイント検出処理で変化ポイントがあったか否か、または出力フレームが出力されたか否かを検出する（ステップＳ６０５）。
【０１４６】
前回変化ポイントが検出されなかった場合（ステップＳ６０５−ＮＯ）、通常のリファレンスを使用した超解像度処理画像を出力する。図２３では、Ｆ１、Ｆ２、Ｆ５〜Ｆ７である（ステップＳ６０８）。
【０１４７】
前回変化ポイントが検出された場合（ステップＳ６０５−ＹＥＳ）、複数フレーム超解像度処理部２１は、リファレンスを変更した超解像度処理を行い出力する（ステップＳ６０６、ステップＳ６０７）。次に通常のリファレンスを使用した超解像度処理画像を出力する（ステップＳ６０８）。
【０１４８】
図２３では、ｆ４とｆ５とｆ６を読み込んで超解像度処理をしようとした場合、変化ポイントが検出され、前回のｆ３とｆ４とｆ５を読み込んだ際にも変化ポイントが検出される。検出された次に、複数フレーム超解像度処理部は記憶部２７から再度入力フレームを読み出し、ｆ３をリファレンスとし、ｆ２とｆ３とｆ４を使用した超解像度処理画像を作成し出力しｆ４をリファレンスとし、ｆ２とｆ３とｆ４を使用した超解像度処理画像を作成し出力し、次に、再度同じ入力フレームを利用しながらも通常のリファレンス位置画像ｆ７をリファレンスとした超解像度処理画像を出力する（ステップＳ６０６、ステップＳ６０７、ステップＳ６０８）。
【０１４９】
このように、変化ポイントを二回連続で検出した場合にリファレンス画像を変更した超解像度処理を行い出力することにより、複数フレーム超解像度処理部２１により同時に処理を行う必要がない。
【０１５０】
（第７の実施形態）
第７の実施態様について図２４、図２５を参照しながら説明する。
【０１５１】
本実施形態は、第６の実施形態の変形例である。
【０１５２】
第６の実施形態との違いは、主に出力フレーム選択部２５にある。その他、これらの違いに従い記憶部２４が記憶するフレーム画像のデータ等が異なる。
【０１５３】
第６の実施形態の複数フレーム超解像度処理部２１は、設定されたリファレンスフレームの位置により、異なった超解像度処理を行う。本実施形態では、図２５に示すように三枚の複数フレームのうち先のフレームをリファレンスフレームとして利用する場合である。
【０１５４】
次に、第７の実施形態の動作について、図２５を参照しながら説明する。
【０１５５】
まず、複数枚の入力フレームが連続して、画像処理装置２０に入力される（ステップＳ７０１）。
【０１５６】
画像処理装置２０は送られてきた低解像度画像を複数フレーム超解像度処理部２１に処理させる。また、変化ポイント検出部２３に、入力フレーム間の変化ポイントを検出させる。
【０１５７】
複数フレーム超解像度処理部２１は、一枚目のフレームをリファレンスとした超解像度処理を行い、記憶部２４へ記憶させる。二枚または、四枚以上の場合であっても予め定められたリファレンス画像を用いた同様の超解像度処理を行い、それぞれ記憶させる。
【０１５８】
具体的には、図２１に示すように、ｆ１〜ｆ７が入力されると、ｆ１をリファレンスとし、ｆ１とｆ２とｆ３とを利用した超解像度処理を行い記憶させる（ステップ７０２、７０３）。
【０１５９】
変化ポイント検出部２３は、連続して入力される二枚の入力フレームの一定以上変化（変化ポイント）を検出する（ステップＳ７０４）。
【０１６０】
変化ポイントが検出されなかった場合（ステップＳ７０４―ＮＯ）、通常のリファレンス位置の超解像度フレームを作成し出力する。図２５では、Ｆ１、Ｆ２、Ｆ５〜Ｆ７である（ステップＳ７０５）。
【０１６１】
変化ポイントが検出された場合（ステップ７０４−ＹＥＳ）、リファレンス位置を変化させた超解像度フレームを作成し出力する。図２５では、ｆ４とｆ５の間に変化ポイントが検出されるため、ｆ３をリファレンスとしてｆ３とｆ４とｆ５を使用した超解像度処理画像出力されず、前回処理で記憶したｆ３をリファレンスとしｆ２とｆ３とｆ４を使用した超解像度処理画像を行いＦ３として出力する。次にｆ４をリファレンスとしｆ２とｆ３とｆ４を利用した超解像度処理を行いＦ４として出力する（ステップＳ７０７、７８）。
【０１６２】
このように、リファレンス位置を前にした超解像度処理を行わせ、変化ポイントを検出した場合には、第５の実施形態と同様にあらかじめ先の処理で行っていたリファレンス位置の異なる超解像度処理画像を出力させることにより、速やかに超解像度処理画像を出力することができる。
【０１６３】
（第８の実施形態）
第８の実施態様について図２６乃至図２８を参照しながら説明する。
【０１６４】
本実施形態では、第６の実施形態と基本的には同様の構成を用いるが、本実施形態の変化ポイント検出部２３は、変化ポイント検出に代えて、映像の最先端か最後端を検出する。
【０１６５】
次に、第８の実施形態の動作について説明する。
【０１６６】
本実施形態では、三枚の入力フレームを利用し、リファレンス位置が二枚目に来るように設定している。
【０１６７】
まず、複数枚の入力フレームが連続して、画像処理装置２０に入力される（ステップＳ８０１）。
【０１６８】
複数フレーム超解像度処理部２１は、二枚目のフレームをリファレンスとした超解像度処理を行い、記憶部２４へ記憶させる。二枚または、四枚以上の場合であっても予め定められたリファレンス画像を用いた同様の超解像度処理を行い、それぞれ記憶させる。
【０１６９】
具体的には、図２８に示すように、ｆ１〜ｆ７が入力されると、ｆ２をリファレンスとし、ｆ１とｆ２とｆ３を利用した超解像度処理を行い記憶させる（ステップＳ８０２、８０３）。
【０１７０】
変化ポイント検出部２３は、映像の最先端または最後端を検出する（ステップＳ８０４）。
【０１７１】
映像の最先端であった場合（ステップＳ８０４−ＹＥＳ）さらに、予め設定されたリファレンス画像が一番前か後かを判断する（ステップＳ８０５）。
【０１７２】
リファレンス画像が一番前であれば、ステップＳ８０３で記憶した通常のリファレンス画像を記憶部２４から出力させる（ステップＳ８０８）。
【０１７３】
リファレンス画像が一番前出ない場合、リファレンス位置を変更した超解像度処理を行い出力させ、その次に、通常のリファレンス一の超解像度処理画像を出力させる（ステップＳ８０６、ステップＳ８０７、ステップＳ８０８）。
【０１７４】
映像の最先端出ない場合（ステップＳ８０４−ＮＯ）、通常のリファレンス一の超解像度処理画像が出力される（ステップＳ８０９）。
【０１７５】
次に、映像の最後端か否かを判断する（ステップＳ８１０）。
【０１７６】
映像の最後端でなければ、そのまま処理を終了させる。
【０１７７】
次に、リファレンス位置が一番後であるか否かを判断する。リファレンス位置が一番後であった場合（ステップＳ８１１―ＹＥＳ）、そのまま処理を終了させる。
【０１７８】
リファレンス位置が一番最後でなかった場合（ステップＳ８１１−ＮＯ）、リファレンス位置を変更した超解像度処理を行い、出力させる（ステップＳ８１２、ステップＳ８１３）。
【０１７９】
このように、全ての入力フレームをリファレンスとした超解像度処理を行うことができ、フレームの欠落がなく。全ての出力フレームに対して同じ枚数を利用した超解像度処理ができる。
【０１８０】
第1の実施形態から第８の実施形態においては、複数フレーム超解像度処理またはフレーム内超解像度処理には、通常の超解像度処理以外にも図２９に示すようにしても良い。以下、説明する。
【０１８１】
カメラ映像の切り替えまたはシーンの切り替えにトランディション（切り替え効果）を使用する。トランディションの１つとして良く用いられる「フェードイン・フェードアウト、クロスフェード」であるが、位置あわせ処理での前後フレームとの動きベクトルを求める際、トランディションによりフレーム映像全体が変化するためテンプレートマッチングでは動きベクトルの精度は低下（マッチング判定できない）する。そこで、図２０の様に、フレーム内のサーチ範囲（範囲は任意）とその範囲の想定される輝度変化（＋：明るめ、−：暗め）分のテンプレートを追加してマッチングを行う。これにより、マッチングによる動きベクトルの精度は低下せず、さらに、リファレンスフレームと同程度の輝度のリファレンスフレームとの再構成（例えば重ねあわせ）して高解像度画像を再構成することができる。
【０１８２】
また、撮像装置制御部１１を使用する場合には、撮像装置制御部によるカメラのパンによる撮像画像の変化量を加味した超解像度処理を行っても良い。
【０１８３】
これら実施形態には、変化ポイント検出手段２３による変化ポイントの検出には、ＭＰＥＧ等への変換の際に出力されるＩフレーム（Ｉピクチャ）を利用してもよい。
【０１８４】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１８５】
１０ … 撮像装置
１１ … 撮像装置制御部
１２ … 映像記憶装置
２０ … 画像処理装置
２１ … 複数触れ0無超解像度処理部
２２ … フレーム内超解像度処理部
２３ … 変化ポイント検出部
２４ … 記憶部
２５ … 出力フレーム選択部
２７ … 記憶部
３０ … 受像装置
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【０００２】
ビル、駅構内、空港、街中等の監視のため撮像装置を用いた監視システムが展開されている。
【０００３】
この監視システム作動中に、撮像装置のズームやパン機能を用いた場合や、スイッチャで使用する撮像装置を切り替えた場合、予め記録された映像を表示する際にシーンの切り替えが含まれていた際など、表示する映像の切り替わり時や変化時に、複数フレームを用いた超解像技術を利用しようとすると、連続しないフレームを元に超解像処理を行うこととなり、誤差が含まれ易い。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２１７６５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記の事情に鑑み、出力する画像、全てについて超解像度処理を行いながらも、誤差が少ない出力フレームの高解像度化を実現する画像処理装置、画像処理方法及び画像処理プログラムを提供する。実施形態では、映像の変化や切り替わりを検出した際に、超解像処理に使用する複数フレームに映像の変化や切り替わりの前後のフレームの双方を含まないように選択させる。このようにすることで、映像の変化や切り替わりによる画素の劣化を防止する画像処理装置、画像処理方法及び画像処理プログラムを提供する。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本画像処理装置は、
時系列的に連続して入力される入力フレームにフレーム内超解像度処理を行い第一の高解像度フレーム画像を生成する第一の画像生成手段と、
複数の前記入力フレームを利用して第二の高解像度フレーム画像を生成する第二の画像生成手段と、
連続して入力される前記入力フレームのフレーム間の変化ポイントを検出する検出手段と、
前記検出手段が変化ポイントを検出した場合に、前記第一の高解像度フレーム画像を出力させ、前記検出手段が変化ポイントを検出しない場合は、前記第二の高解像度フレーム画像を出力させる出力手段と、
を備えることを特徴とする。
【０００７】
また、本画像処理方法は、
時系列的に連続して入力される入力フレームにフレーム内超解像度処理を行い第一の高解像度フレーム画像を生成し
複数の前記入力フレームを利用して第二の高解像度フレーム画像を生成し、
連続して入力される前記入力フレームのフレーム間の変化ポイントを検出し、
前記検出手段が変化ポイントを検出した場合に、前記第二の高解像度フレーム画像を出力させ、前記検出手段が変化ポイントを検出しない場合は、前記第一の高解像度フレーム画像を出力させること
を特徴とする。
【０００８】
また、本画像処理プログラムは、
時系列的に連続して入力される入力フレームにフレーム内超解像度処理を行い第一の高解像度フレーム画像を生成する第一の生成処理と、
複数の前記入力フレームを利用して第二の高解像度フレーム画像を生成する第二の生成処理と、
連続して入力される前記入力フレームのフレーム間の変化ポイントを検出する検出処理と、
前記検出手段が変化ポイントを検出した場合に、前記第二の高解像度フレーム画像を出力させ、前記検出手段が変化ポイントを検出しない場合は、前記第一の高解像度フレーム画像を出力させる出力処理と、
を画像処理装置上で動作させること
を特徴とする。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態に係る画像処理装置の構成を示すブロック図。
【図２】第１の実施形態に係る画像処理装置の変形例を示すブロック図。
【図３】第１の実施形態に係る画像処理装置の変形例を示すブロック図。
【図４】第１の実施形態に係る動作を示すフローチャート。
【図５】第１の実施形態に係る動作を説明するための図。
【図６】第１の実施形態に係る動作の説明するための図。
【図７】第２の実施形態に係る動作を示すフローチャート。
【図８】第２の実施形態に係る動作の説明するための図。
【図９】第３の実施形態に係る動作を示すフローチャート。
【図１０】第３の実施形態に係る動作を説明するための図。
【図１１】第４の実施形態に係る画像処理装置の構成を示すブロック図。
【図１２】第４の実施形態に係る動作を示すフローチャート。
【図１３】第４の実施形態に係る動作を説明するための図。
【図１４】第４の実施形態に係る動作を説明するための図。
【図１５】第４の実施形態に係る動作を説明するための図。
【図１６】第５の実施形態に係る動作を示すフローチャート。
【図１７】第５の実施形態に係る動作を説明するための図。
【図１８】第５の実施形態に係る動作を説明するための図。
【図１９】第６の実施形態に係る画像処理装置の構成を示すブロック図。
【図２０】第６の実施形態に係る動作を示すフローチャート。
【図２１】第６の実施形態に係る動作を説明するための図。
【図２２】第６の実施形態に係る動作を説明するための図。
【図２３】第６の実施形態に係る動作を説明するための図。
【図２４】第７の実施形態に係る動作を示すフローチャート。
【図２５】第７の実施形態に係る動作を説明するための図。
【図２６】第８の実施形態に係る画像処理装置の構成を示すブロック図。
【図２７】第８の実施形態に係る動作を示すフローチャート。
【図２８】第８の実施形態に係る動作を説明するための図。
【図２９】超解像度処理の変形例を説明するための図。
【発明を実施するための形態】
【００１０】
以下、各実施態様について図１乃至図２９を参照しながら説明する。
【００１１】
（第１の実施形態）
第１の実施形態について、図１乃至図６を参照しながら説明する。
【００１２】
本実施形態の画像処理装置は、図１に示すように、撮像装置１０と、画像処理装置２０と、受像装置３０とを含む構成である。
【００１３】
撮像装置１０は、被写体を撮像する装置である。デジタルカメラやアナログカメラ等をいい、例えば、ＰＴＺカメラ（パンチルトズームレンズ一体型）をいい、高速なパン・ズームを行うことが可能である。また、図２に示すように撮像装置１０は、複数台の撮像装置１０ａ…１０ｎから構成されていても良い。撮像装置が複数台の場合カメラの切替等もさらに遠隔操作等により行われることとなる。この撮像装置１０が撮像した画像から入力フレームが作成され、この作成された入力フレームを時系列的に画像処理装置２０へ送出する。このように本実施形態では入力フレームは時間の経過とともにｆ１、ｆ２、ｆ３、ｆ４、ｆ５、ｆ６、ｆ７の順に画像処理装置２０へ入力されるものとして記載している。
【００１４】
また、図３に示すように撮像装置１０に代えて映像記憶装置１２であってもよい。映像記憶装置１２は、記憶されている入力フレームを順次画像処理装置２０へ送出する。映像記憶装置１２を使用した場合には、予め変化ポイントが何点あるか等の情報を保持させることができる。よって、変化ポイントの存在を予め考慮した遅延処理等を行うことができ、出力フレームの出力間隔の調整が容易に行えることから画像の乱れをさらに少なくすることができる。
【００１５】
撮像装置制御部１１は、撮像装置１０の操作を行う。例えば、撮像装置がＰＴＺカメラである場合は、手動または自動の遠隔操作等によりパン・ズーム等を撮像装置１０への指示がなされる。撮像装置が複数あるような場合は、各撮像装置１０ａ…１０ｎの入力フレームを画像処理装置２０へ送出するカメラの変更を行うスイッチャとしての役割も行う。
【００１６】
画像処理装置２０は、複数フレーム超解像度処理部２１と、フレーム内超解像度処理部２２と、変化ポイント検出部２３と、記憶部２４と、出力フレーム選択部２５と、を含む装置である。画像処理装置２０は、撮像装置１０や映像記憶装置１２から送られてきた入力フレームを受け取り、超解像度処理を行う。超解像度処理を行った出力フレームを受像装置３０へ送出する。画像処理装置２０は、その他、画像処理等に必要な演算処理、記憶動作を行う。
【００１７】
超解像度処理とは、高解像度変換処理の一種であり、低解像度フレーム画像から高解像度フレーム画像へと変換する処理をいう。
【００１８】
複数フレーム超解像度処理部２１は、複数の入力フレーム（二または三枚以上の数フレーム）を用いて、超解像度処理を行う。本実施形態では撮像装置１０等から送られてきた複数フレーム画像を用いて超解像度処理を行い、高解像度化されたフレーム画像を生成し、出力する。なお、複数フレーム超解像度処理に使われるリファレンスフレームの位置については、予め設定されていてもよいし、画像処理装置２０の機能により設定の変更や指示が行われても良い。
【００１９】
三枚以上の複数フレームを利用して、超解像度処理を行う場合について述べる。例えば、ｆ１〜ｆ３の入力フレームが入力されたとする。この際、最初にｆ１、ｆ２から超解像度処理を行い途中段階のフレームｆ１−２を作成する。このｆ１―２とｆ３とから超解像度処理を行う。これら途中段階のｆ１−２についても記憶部２４へ送出し記憶させる。なおその他、ｆ１−３、ｆ２−３等を作成してからｆ２、ｆ１と組み合わせる超解像度処理であっても良い。
【００２０】
この複数フレーム超解像度処理は、二つの過程により行われる。一つ目の過程は、位置合せ処理である。二枚のフレーム画像を利用して超解像度処理をする場合について説明する。超解像度処理に利用する複数のフレームのうちの一枚をリファレンス（基準）フレームとして、他の入力フレームとの動きベクトルを求める。動きベクトルを求める際には、サブピクセル（小数点画素）を利用する。まず、領域ベースのテンプレートマッチング方式で整数画素精度の動きベクトルを求める（サーチ範囲は任意）。その結果に対して、パラボラフィッティングや等角直線フィッティングによって、サブピクセル精度の動きベクトルの推定値を計算して求める。もう一つの過程は、再構成処理である。リファレンスフレームの対照ブロックに他の入力フレームにおける対応するブロックと再構成（例えば重ね合せ）して高解像度画像を再構成する。本実施形態ではこのような処理で説明するが、その他複数枚のフレームを用いて低解像度フレームから高解像度フレームへ変換する処理であってもよい。
【００２１】
フレーム内超解像度処理部２２は、一枚のフレーム画像を用いて、超解像度処理を行う。本実施形態では、撮像装置１０等から送られてきた一枚のフレーム内の対応付けを用いた超解像度処理により高解像度化された出力フレームを出力する。複数フレーム超解像度処理と並行して行う際は、複数フレーム超解像度処理に利用されるリファレンスフレームと同一のフレームに対してフレーム内超解像度処理を行う。
【００２２】
このフレーム内超解像度処理は、例えば、被写体の輪郭などのエッジ部分がそのエッジに沿って輝度の変化が類似したパターンが並ぶことが多いという自然画像の性質（自己合同性）を利用する。入力フレーム中で注目するライン（縦又は横方向の画素列）と輝度パターンが類似するラインをほかの隣接する数ラインから検出する。次に、ほかのラインにある画素を、注目するライン内で対応する位置にコピーする。コピーされた画素に基づき高解像度画像を生成する。
【００２３】
このように、一枚のフレーム画像内の情報に基づき、出力フレームの画素数（ピクセル）を増加させ高解像度フレーム画像を作成する。
【００２４】
変化ポイント検出部２３は、映像の変化や切り替わり（変化ポイント）を検出する。具体的には連続して入力される二枚の入力フレームの一定以上の変化点（変化ポイント）を検出する。例えば、フレーム間差分により解析し、予め定めた一定値（閾値）以上の差分を検出した場合に変化があったとして、変化ポイントとして検出する。このほか、２フレーム間の相違を、例えば面輝度法やＴＭ法、度数分布法、ＣＴＭ法、色度数分布法、χ２検定法および分割χ２検定法等により解析し判別する方法や、動きベクトル（動き量）等の画像特微量の変化を検出する。これらの変化が一定以上である場合、変化があったとし検出する。
【００２５】
記憶部２４は、出力フレーム画像を記憶する記憶媒体である。本実施形態では、複数フレーム超解像度処理部２１やフレーム内解像度処理部２２で超解像度処理され、送られてきた高解像度フレーム画像（出力フレーム）を記憶する。出力フレーム選択部２５からの読み出し指令に応答し、受像装置３０へ出力フレームを出力する。データが記憶される媒体としては、一般に使用されるディスク装置、光ディスク装置、半導体メモリ等の各種記憶媒体が利用できる。これらの記憶媒体は一時記憶されるように利用してもよい。なお、本実施形態では、超解像度処理がなされたフレームを記憶するとしているが、その他入力フレームを一時記憶する際に利用してもよい。
【００２６】
出力フレーム選択部２５は、記憶部２４に記憶された高解像度フレーム画像から出力するフレームを選択する。本実施形態では、変化ポイント検出部２３が変化ポイントを検出した場合には、記憶部２４からリファレンスフレームに対応するフレーム内超解像度処理がなされた出力フレームの出力を指示する。変化ポイント検出部２３が変化ポイントを検出しない場合には、記憶部２４からリファレンスフレームに対応する複数フレーム超解像度処理がなされた出力フレームの出力を指示する。
【００２７】
受像装置３０は、画像処理装置２０で超解像度処理された画像を受像し、表示する。受像装置としては、画像を表示することができるものであれば良く、例えば携帯電話やパソコンの画面、テレビ画面等の液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイ等各種画像・映像表示機器を利用することができる。
【００２８】
次に、第１の実施形態の動作について図４、図５、図６を参照しながら説明する。
【００２９】
図４は、第１の実施形態の動作を示す図である。
【００３０】
撮像装置１０は、被写体の低解像度画像を撮影し、この低解像画像をフレーム化し、入力フレームとして画像処理装置２０へ送出する。
【００３１】
送出された入力フレームは、画像処理装置２０に入力される（ステップＳ１０１）。
【００３２】
画像処理装置２０は送られてきた低解像度画像を複数フレーム超解像度処理部２１およびフレーム内超解像度処理部２２に処理させる。また、変化ポイント検出部２３に、入力フレーム間の変化ポイントを検出させる。この際、入力フレームを画像処理装置内に記憶させておいて複数回の読み出しに利用してもよい。
【００３３】
複数フレーム超解像度処理部２１は、複数の入力フレーム（二または三枚以上の数フレーム）を用いて、超解像度処理を行う。例えば、二枚の入力フレームを利用した複数フレーム超解像度処理について説明する。本実施形態では簡単のため二枚の入力フレームについて説明しているが、三枚以上であっても同様に超解像度処理が行われる。
【００３４】
図５に示すように、リファレンスフレームは送られてきた二枚の入力フレームのうち後のフレームが使用されるように設定されていたとする。ｆ１〜ｆ７の入力フレームが順次撮像装置１０や映像記憶装置１２から送られてくる。この入力フレームｆ１をリファレンスフレームとしてｆ１と図示しないｆ１の一つ前のフレームとにより複数フレーム超解像度処理が行われ、出力フレームＦ１が画像記憶部２４に一時記憶または記憶される。次に、リファレンスフレームをｆ２とし、ｆ１、ｆ２を使用して複数フレーム超解像度処理が行われ出力フレームＦ２が記憶部２４に送られ記憶される。この動作が繰り返される。
【００３５】
また、図６に示すように、超解像度処理に利用する二枚のフレームのうちリファレンスフレームとして前のフレームを利用するよう設定されている場合について述べる。ｆ１〜ｆ７の入力フレームが連続して撮像装置１０や映像記憶装置１２から送られてきており、ｆ１をリファレンスフレームとしてｆ１、ｆ２を使用して複数フレーム超解像度処理が行われる。超解像度処理が行われた出力フレームＦ１が記憶部２４に送られ記憶される（ステップＳ１０２、ステップＳ１０３）。
【００３６】
フレーム内超解像度処理部２２は、上記複数フレーム超解像度処理部２１の超解像度処理と並行して、フレーム内超解像度処理を行う。例えば、図５、図６に示すようにｆ１〜ｆ７の入力フレームが撮像装置１０等から送られてきた場合、ｆ１〜ｆ７の各フレームに対しフレーム内超解像度処理が行われ、記憶部２４に一時記憶または記憶される（ステップＳ１０４、ステップＳ１０５）。
【００３７】
変化ポイント検出部２３は、連続して入力される２つの入力フレームの一定以上変化（変化ポイント）を検出する。例えば、フレーム間差分により解析し、予め定めた一定値（閾値）以上の差分を検出した場合に変化があったとして、変化ポイントとして検出する。図５ではｆ１〜ｆ７と入力されてくる入力フレームのｆ１とｆ２、ｆ２とｆ３、ｆ３とｆ４、ｆ４とｆ５、ｆ５とｆ６、ｆ６とｆ７のフレーム間差分等を比較し変化ポイントを検出する（ステップＳ１０６）。
【００３８】
変化ポイント検出部２３により変化ポイントが検出されない場合（ステップＳ１０６−ＮＯ）は、出力フレーム選択部２５は、記憶部２４に記憶されている複数フレーム超解像度処理画像を順次読み出し、受像装置３０へ出力する。図５では、入力フレームｆ４とｆ５の間以外について変化ポイントが検出されていないので、出力フレームＦ１〜Ｆ４、Ｆ６、Ｆ７については複数フレーム超解像度処理がなされた出力フレームが出力される。図６では、出力フレームＦ１〜Ｆ３、Ｆ５〜Ｆ７が複数フレーム超解像度処理がなされて出力される。（ステップＳ１０７）。
【００３９】
一方、変化ポイント検出部２３により変化ポイントが検出された場合（ステップＳ１０６−ＹＥＳ）、出力フレーム選択部２５は、複数フレーム超解像度処理画像の出力に代えて、フレーム内超解像度処理画像を受像装置３０へ出力する。図５では、入力フレームｆ４とｆ５の間で変化ポイントが検出されているので、入力フレームｆ５をリファレンスとした複数フレーム超解像度処理画像に代えて、フレーム内超解像度処理された出力フレームＦ５が出力される。図６では、入力フレームｆ４とｆ５の間で変化ポイントが検出されており、入力フレームｆ４をリファレンスとした複数フレーム超解像度処理画像は出力されない。これに代えてフレーム内超解像度処理がなされた出力フレームＦ４が出力され、受像装置３０に送信される（ステップＳ１０８）。
【００４０】
このように、変化ポイントがあった場合には、複数フレーム超解像度処理画像に代えてフレーム内超解像度処理画像を出力することにより、全ての入力フレームに対して超解像度処理を行った出力フレームを出力することができる。全ての入力フレームに対して超解像度処理を行っているため、高精度の高解像度処理または映像を提供することができる。また、先に変化ポイントがあるかないかを検出した後に超解像度処理を行うのではなく、同時並行して処理を行っているため超解像度処理を行った出力フレームを速やかに提供することができ、さらに高画質の映像を提供することができる。
【００４１】
（第２の実施形態）
第２の実施形態の態様について図７、図８を参照しながら説明する。
【００４２】
第１の実施形態との違いは、主に複数フレーム超解像度処理部２１と、出力フレーム選択部２５にある。その他、これらの違いに従い記憶部２４が記憶するフレーム画像のデータ等が異なる。
【００４３】
第２の実施形態の複数フレーム超解像度処理部２１は、設定されたリファレンスフレームの位置により、異なった超解像度処理を行う。本実施形態では、図８に示すように三枚の複数フレームのうち最後のフレームをリファレンスフレームとして利用する場合について述べる。
【００４４】
図８に示したように入力フレームｆ１〜ｆ３が入力される。この場合、ｆ３をリファレンスフレームとしてｆ１〜ｆ３を使用して超解像度処理を行うのであるが、ｆ２とｆ３を利用した超解像度処理を少なくとも行い、作成されたｆ２−３を記憶部２４へ記憶させる。本実施形態ではこのｆ２−３とｆ１を利用して三枚の超解像度処理を行うことが好適である。しかし、これとは別にｆ１−２を作成した後、ｆ１−２とｆ３を使用して超解像度処理を行っても良い。次に、ｆ２〜ｆ４以降についてもと同様の処理が行われ、以降も同様に処理される。三枚のフレームを用いた超解像度処理について述べたが４枚以上であっても同様の原理を利用することができる。
【００４５】
また第２の実施形態の出力フレーム選択部２５は、前回の変化ポイント検出手段２３の検出処理において変化ポイントが検出されたか否かについて判定機能をさらに備える。変化ポイント検出手段２３が変化ポイントを検出せず、かつ、出力フレーム選択部２５の判定機能による判定において一回前の検出処理において変化ポイントが検出されたとされた場合には、規定数のフレームを利用した超解像度処理画像ではなく、記憶部２４に記憶された規定数よりも少ないフレームを利用した複数フレーム超解像度画像を選択し出力させる。変化ポイント検出手段２３が変化ポイントを検出せず、かつ、出力フレーム選択部２５の判定機能による判定において一回前の検出処理において変化ポイントが検出されないとされた場合には、規定数のフレーム数を利用した超解像度処理画像を出力する。変化ポイントが検出されなかった場合は、フレーム内著解像度処理画像を出力する。その他の機能については第１の実施形態と同様である。
【００４６】
具体的には、複数フレームに利用するフレーム枚数の規定数が三枚である場合について図８を用いて説明する。図８に示したように入力フレームｆ１〜ｆ７が入力される。ここで、ｆ４とｆ５の間に変化ポイントがある。よって、ｆ３とｆ４とｆ５が入力された場合、ｆ５に対応する出力フレームＦ５はフレーム内超解像度処理がなされた出力フレームを出力させる。次に、ｆ４とｆ５とｆ６が入力された場合、ｆ６をリファレンスとして規定数より一枚少ないｆ５とｆ６の二枚のフレームを利用した超解像度画像を選択し出力させる。
【００４７】
第２の実施形態の動作について図７、図８を参照しながら説明する。
【００４８】
まず、複数枚の入力フレームが連続して、画像処理装置２０に入力される（ステップＳ２０１）。
【００４９】
画像処理装置２０は送られてきた低解像度画像を複数フレーム超解像度処理部２１およびフレーム内超解像度処理部２２に処理させる。また、変化ポイント検出部２３に、入力フレーム間の変化ポイントを検出させる。
【００５０】
複数フレーム超解像度処理部２１は、設定されたリファレンスフレームの位置により、異なった超解像度処理を行う。例えば、図８に示すように三枚の複数フレームのうち最後のフレームをリファレンスフレームとして利用する場合について述べる。
【００５１】
図８に示したように入力フレームｆ１〜ｆ３が入力される。この場合、ｆ３をリファレンスフレームとしてｆ１〜ｆ３を使用して超解像度処理を行うのであるが、この際、ｆ２とｆ３を利用した超解像度処理を行い、作成されたｆ２−３を記憶部２４へ記憶させる。このｆ２−３とｆ１を利用してさらに三枚の超解像度処理を行い作成されたＦ３（ｆ１−２−３）を記憶部２４へ記憶する。次に、ｆ２〜ｆ４以降についてもと同様に二枚の入力フレーム超解像度処理が行われた後、その二枚の超解像度処理画像を利用して三枚の入力フレームを利用した超解像度処理画像の作成が行われる。この動作により、リファレンスフレームとリファレンスフレームの一枚前の入力フレームを利用した超解像度処理画像と、リファレンスフレームとリファレンスフレームの一枚前および二枚前の入力フレームを利用した超解像度処理画像が記憶部に記憶される（ステップＳ２０２、ステップＳ２０３）。
【００５２】
フレーム内超解像度処理部２２は、上記複数フレーム超解像度処理部２１の超解像度処理と並行して、フレーム内超解像度処理を行う。例えば、図７に示すようにｆ１〜ｆ７の入力フレームが撮像装置１０等から送られてきた場合、ｆ１〜ｆ７の各フレームに対しフレーム内超解像度処理が行われ、記憶部２４に一時記憶または記憶される（ステップＳ２０４、ステップＳ２０５）。
【００５３】
変化ポイント検出部２３は、連続して入力される二枚の入力フレームの一定以上変化（変化ポイント）を検出する。例えば、フレーム間差分により解析し、予め定めた一定値（閾値）以上の差分を検出した場合に変化があったとして、変化ポイントとして検出する。
【００５４】
図７ではｆ１〜ｆ７と入力されてくる入力フレームのｆ１とｆ２、ｆ２とｆ３、ｆ３とｆ４、ｆ４とｆ５、ｆ５とｆ６、ｆ６、ｆ７とのフレーム間差分等を比較し変化ポイントを検出する（ステップＳ２０６）。
【００５５】
変化ポイント検出部２３により変化ポイントが検出された場合（ステップＳ２０６―ＹＥＳ）、フレーム内超解像度処理画像を出力する。本実施形態の図７では、入力フレームｆ５を利用したフレーム内超解像度処理画像が出力フレームＦ５として出力される（ステップＳ２１０）。
【００５６】
変化ポイント検出部２３により変化ポイントが検出されない場合（ステップＳ２０６−ＮＯ）、出力フレーム選択部２５は、さらに前回の検出処理で変化ポイントを行った否かを判定する。変化ポイントを検出し、さらに判定機能による判定において一回前の検出処理において変化ポイントが検出されたとされた場合（ステップＳ２０７−ＹＥＳ）には、記憶部２４に記憶された規定数よりも少ないフレームを利用した複数フレーム超解像度画像を出力させる。本実施形態では、ｆ５とｆ６の間では変化ポイントは検出されないが前回の検出処理で行われたｆ４とｆ５の間には変化ポイントが検出されるため、出力フレームＦ６は、ｆ６をリファレンスとしｆ５とｆ６の二枚を利用した超解像度処理画像を出力する（ステップＳ２０８）。
【００５７】
変化ポイント検出部２３および出力フレーム選択部２５により変化ポイントが連続して検出されなかった場合、規定数つまり三枚の超解像度処理を行ったフレームを出力される。本実施形態では、Ｆ１〜Ｆ４、Ｆ７である（ステップＳ２０９）。
【００５８】
このように、変化ポイントがあった場合には、複数フレーム超解像度処理画像に代えてフレーム内超解像度処理画像を出力することにより、全ての入力フレームに対して超解像度処理を行った出力フレームを出力することができる。全ての入力フレームに対して超解像度処理を行っているため、画像劣化が少ない高解像度処理を実現することができる。
【００５９】
さらに、三枚以上の入力フレームを使用して超解像度処理を行う場合、変化ポイントを検出した場合であっても、変化ポイントを検出した次の次（つまり変化ポイントから数えて二枚）の入力フレームが入力されてからは、二枚以上の複数枚フレームを利用した超解像度処理画像を出力することができ、より多くの数の複数フレーム超解像度処理がなされた画像を出力フレームとして利用することができ、さらなる高解像のフレーム出力が可能となる。
【００６０】
（第３の実施形態）
第３の実施形態の態様について図９、図１０を参照しながら説明する。
【００６１】
第２の実施形態との違いは、主に出力フレーム選択部２５にある。その他、これらの違いに従い記憶部２４が記憶するフレーム画像のデータ等が異なる。
【００６２】
第３の実施形態の複数フレーム超解像度処理部２１は、設定されたリファレンスフレームの位置により、異なった超解像度処理を行う。本実施形態では、図１０に示すように三枚の複数フレームのうち最初のフレームをリファレンスフレームとして利用する場合について述べる。
【００６３】
図１０に示したように入力フレームｆ１〜ｆ３が入力される。この場合、ｆ１をリファレンスフレームとしてｆ１〜ｆ３を使用して超解像度処理を行うのであるが、ｆ１とｆ２を利用した超解像度処理を少なくとも行い、作成されたｆ１−２を記憶部２４へ記憶させる。本実施形態ではこのｆ１−２とｆ３を利用して三枚の超解像度処理を行うことが好適である。次に、ｆ２〜ｆ４以降についてもと同様の処理が行われ、以降も同様に処理される。三枚のフレームを用いた超解像度処理について述べたが４枚以上であっても同様の原理を利用することができる。
【００６４】
また、本実施形態の出力フレーム選択部２５は、第２の実施形態と同様に前回の変化ポイント検出手段２３の検出処理において変化ポイントが検出されたか否かについて判定機能を備える。変化ポイント検出手段２３が変化ポイントを検出し、かつ、出力フレーム選択部２５の判定機能による判定において一回前の検出処理において変化ポイントが検出されたと判定された場合には、記憶部２４に記憶されたフレーム内超解像度処理された画像を出力する。変化ポイント検出手段２３が変化ポイントを検出し、かつ、出力フレーム選択部２５の判定機能による判定において一回前の検出処理において変化ポイントが検出されないと判定された場合には、記憶部２４に記憶された規定数よりも少ないフレームを利用した複数フレーム超解像度画像を選択し出力させる。
【００６５】
具体的には、複数フレームに利用するフレーム枚数の規定数が三枚である場合について図１０を用いて説明する。図１０に示したように入力フレームｆ１〜ｆ７が入力される。ここで、ｆ４とｆ５の間に変化ポイントがある。よって、ｆ３とｆ４とｆ５が入力された場合、ｆ３に対応する出力フレームＦ３はｆ３をリファレンスとして規定数より一枚少ないｆ３とｆ４の二枚のフレームを利用した超解像度処理画像を選択し出力させる。次に、ｆ４とｆ５とｆ６が入力された場合、ｆ４をリファレンスとしたフレーム内超解像度処理がなされた出力フレームを出力させる。
【００６６】
第３の実施形態の動作について図９、図１０を参照しながら説明する。
【００６７】
まず、複数枚の入力フレームが連続して、画像処理装置２０に入力される（ステップＳ３０１）。
【００６８】
画像処理装置２０は送られてきた低解像度画像を複数フレーム超解像度処理部２１およびフレーム内超解像度処理部２２に処理させる。また、変化ポイント検出部２３に、入力フレーム間の変化ポイントを検出させる。
【００６９】
複数フレーム超解像度処理部２１は、設定されたリファレンスフレームの位置により、異なった超解像度処理を行う。本実施形態では、図１０に示すように三枚の複数フレームのうち最後のフレームをリファレンスフレームとして利用する場合について述べる。
【００７０】
図１０に示したように入力フレームｆ１〜ｆ３が入力される。この場合、ｆ１をリファレンスフレームとしてｆ１〜ｆ３を使用して超解像度処理を行うのであるが、この際、ｆ１とｆ２を利用した超解像度処理を行い、作成されたｆ１−２を記憶部２４へ記憶させる。このｆ１−２とｆ３を利用してさらに三枚の超解像度処理を行い作成されたＦ３（ｆ１−２−３）を記憶部２４へ記憶する。次に、ｆ２〜ｆ４以降についても同様に二枚の入力フレーム超解像度処理が行われた後、その二枚の超解像度処理画像を利用して三枚の入力フレームを利用した超解像度処理画像の作成が行われる。この動作により、リファレンスフレームとリファレンスフレームの一枚後の入力フレームを利用した超解像度処理画像と、リファレンスフレームとリファレンスフレームの一枚後および二枚後の入力フレームを利用した超解像度処理画像が記憶部に記憶される（ステップＳ３０２、ステップＳ３０３）。
【００７１】
フレーム内超解像度処理部２２は、上記複数フレーム超解像度処理部２１の超解像度処理と並行して、フレーム内超解像度処理を行う。例えば、図１０に示すようにｆ１〜ｆ７の入力フレームが撮像装置１０等から送られてきた場合、ｆ１〜ｆ７の各フレームに対しフレーム内超解像度処理が行われ、記憶部２４に一時記憶または記憶される（ステップＳ３０４、ステップＳ３０５）。
【００７２】
変化ポイント検出部２３は、連続して入力される二枚の入力フレームの一定以上変化（変化ポイント）を検出する。例えば、フレーム間差分により解析し、予め定めた一定値（閾値）以上の差分を検出した場合に変化があったとして、変化ポイントとして検出する。
【００７３】
図１０ではｆ１〜ｆ７と入力されてくる入力フレームのｆ１とｆ２、ｆ２とｆ３、ｆ３とｆ４、ｆ４とｆ５、ｆ５とｆ６、ｆ６、ｆ７とのフレーム間差分等を比較し変化ポイントを検出する（ステップＳ３０６）。
【００７４】
変化ポイント検出部２３により変化ポイントが検出されなかった場合（ステップＳ３０６―ＹＥＳ）、規定数つまり三枚の超解像度処理を行ったフレームを出力される。本実施形態の図７では、入力フレームｆ５を利用したフレーム内超解像度処理画像が出力フレームＦ５として出力される（ステップＳ３０８）。
【００７５】
変化ポイント検出部２３により変化ポイントが検出された場合（ステップＳ３０６−ＹＥＳ）、出力フレーム選択部２５は、さらに前回の検出処理で変化ポイントを行った否かを判定する。変化ポイント検出部２３が変化ポイントを検出し、さらに出力フレーム選択部２５の判定機能による判定において一回前の検出処理において変化ポイントが検出されたとされた場合（ステップＳ３０７−ＹＥＳ）には、記憶部２４に記憶されたフレーム内超解像度処理画像を出力する。本実施形態では、ｆ５とｆ６の間では変化ポイントは検出されないが前回の検出処理で行われたｆ４とｆ５の間には変化ポイントが検出されるため、出力フレームＦ６は、ｆ６をリファレンスとしｆ５とｆ６の二枚を利用した超解像度処理画像を出力する（ステップＳ３１０）。
【００７６】
変化ポイント検出部２３により変化ポイントが検出され、出力フレーム選択部２５により変化ポイントが検出されなかった場合、規定数よりも少ないフレームを利用した複数フレーム超解像度画像を出力させる。本実施形態では、Ｆ３である（ステップＳ３０９）。
【００７７】
このように、変化ポイントがあった場合には、複数フレーム超解像度処理画像に代えてフレーム内超解像度処理画像を出力することにより、全ての入力フレームに対して超解像度処理を行った出力フレームを出力することができる。全ての入力フレームに対して超解像度処理を行っているため、画像劣化が少ない高解像度処理を実現することができる。
【００７８】
さらに、三枚以上の入力フレームを使用して超解像度処理を行う場合、変化ポイントを検出した場合であっても、変化ポイントを検出した次の次（つまり変化ポイントから数えて二枚）の入力フレームが入力されてからは、二枚以上の複数枚フレームを利用した超解像度処理画像を出力することができ、より多くの数の複数フレーム超解像度処理がなされた画像を出力フレームとして利用することができ、さらなる高解像のフレーム出力が可能となる。
【００７９】
（第４の実施形態）請求項４
第４の実施態様について図１１乃至図１５を参照しながら説明する。
【００８０】
第１、第２、第３の実施形態との違いは、主に複数フレーム超解像度処理部２１と、出力フレーム選択部２５にある。その他、記憶部２４が記憶するフレームのデータ等が異なる。なお、図１１には、映像記憶装置１２を記載しているが、第１の実施形態と同様に、一台の撮像装置や複数台の撮像装置、これらを制御する撮像装置制御部を含む構成であってもよい。
【００８１】
第４の実施形態の複数フレーム超解像度処理部２１は、入力フレームに対して使用する複数枚の入力フレームを同一としたまま、リファレンスフレームを変化させて複数フレーム超解像度処理を行う。複数フレーム超解像度処理がなされたフレームは記憶部２４に一時記憶または記憶される。
【００８２】
具体的には、入力フレームｆ１、ｆ２の二枚を使用して複数フレーム超解像度処理を行う際に、ｆ１をリファレンスフレームとしてｆ１、ｆ２を使用した超解像度処理と、ｆ２をリファレンスフレームとしてｆ１、ｆ２を使用した超解像度処理を行う。これらの処理は並行して行われても良いし、処理能力に応じて適宜分割して処理がなされても良い。
【００８３】
第４の実施形態の出力フレーム選択部２５は、前回の変化ポイント検出部２３の検出処理において変化ポイントが検出されたか否かについて判定機能を備える。また、映像の変化ポイントでの遅延時間を調整する遅延調整機能を備えていてもよい。
【００８４】
変化ポイント検出部２３によって変化ポイントが検出されなかった場合であって、上記判定機能による判定において一回前の検出処理において変化ポイントが検出された場合、予め設定された通常のリファレンスフレームを利用した超解像度処理画像ではなく、リファレンスフレーム位置を変化させた超解像度処理画像を出力させる。リファレンスフレーム位置を変化させた超解像度処理画像が複数枚ある場合は、リファレンスフレーム位置のフレームの入力が早い順から順次出力される。
【００８５】
変化ポイント検出部２３によって変化ポイントが検出されなかった場合であって、さらに判定機能による判定において一回前の検出処理において変化ポイントが検出されなかった場合、予め設定された通常のリファレンスフレームを利用した超解像度処理画像を出力する。
【００８６】
上記遅延調整機能は、出力フレームの出力間隔を調整するものであり、必ずしも出力フレーム選択部２５に備えられる必要はなく、画像処理装置２０内であればよく、受像装置３０と画像処理装置２０との間に別の装置として設けてもよい。機能としては、予め入力されるフレーム内に変化ポイントがあることを検知し、予め数フレーム分の出力時間を遅らせておく等の処理を行う。その他の機能については第１の実施形態と同様である。
【００８７】
具体的に画像処理装置２０の動作について、複数フレームに利用するフレーム枚数の規定数が二枚である場合を例に、図１３乃至図１５を参照しながら説明する。いわゆる通常リファレンスに使用するリファレンスは二枚のフレームのうち後のフレームである。図１３に示したように入力フレームｆ１〜ｆ７が入力される。入力されたフレームは、ｆ２をリファレンスとしてｆ１、ｆ２を使用して超解像度処理を行いＦ２を出力する。これをｆ２〜ｆ７について繰り返す。ここで、ｆ４とｆ５の間に変化ポイントがある。よって、ｆ４とｆ５が入力された場合に生成された超解像度処理画像は出力されない。その後、ｆ５とｆ６が入力された場合は、前回変化ポイントをｆ４とｆ５の間に検出しているので、ｆ５をリファレンスとしてｆ５、ｆ６を利用した超解像度処理画像の出力を指示し、次にｆ６をリファレンスとしてｆ５、ｆ６を利用した超解像度処理画像の出力を指示する。
【００８８】
これらの出力する際、図１３に示すようにこのまま出力すると出力フレームＦ４とＦ５の間に出力すべきフレームがない状態となる。そこで、予め出力フレームの出力時間を一定時間遅らせておくことで、図１４に示すように出力フレームＦ４とＦ５に欠落がないよう、遅延処理機能による遅延処理を利用して、フレームの欠落を起こさせない。遅延処理機能とは、予め出力フレームの欠落を防ぐために出力フレームの出力タイミングを遅らせておき、図１３に示すＦ４、Ｆ５の間のような出力フレームが出力されない場合に、出力フレームのタイミングを早く切替える機能をいう。
【００８９】
また、図１５に示すように通常リファレンスが二枚のうち前のフレームである場合である。ｆ４とｆ５が入力された場合に生成された超解像度処理画像は記憶のみなされるか、または削除され出力されない。その後、ｆ５とｆ６が入力された場合は、前回変化ポイントをｆ４とｆ５の間に検出しているので、ｆ４をリファレンスとしてｆ３、ｆ４を利用した超解像度処理画像の出力を指示し、次にｆ５をリファレンスとしてｆ５、ｆ６を利用した超解像度処理画像の出力を指示する。
【００９０】
次に、第４の実施形態の動作について説明する。
【００９１】
まず、複数枚の入力フレームが連続して、画像処理装置２０に入力される（ステップＳ４０１）
画像処理装置２０は送られてきた低解像度画像を複数フレーム超解像度処理部２１に処理させる。また、変化ポイント検出部２３に、入力フレーム間の変化ポイントを検出させる。本実施形態では二枚の入力フレームを利用した場合の実施形態を述べるが三枚以上であっても良い。
【００９２】
いわゆる通常リファレンスに使用するリファレンスは二枚のフレームのうち後のフレームである。この場合、複数フレーム超解像度処理部２１は、後のフレームをリファレンスとした超解像度処理を行い（ステップＳ４０２）、記憶部２４へ記憶させる（ステップＳ４０３）。また、前のフレームをリファレンスとした超解像度処理を行い（ステップＳ４０４）、記憶させる（ステップＳ４０５）。複数枚の場合は、各入力フレームをリファレンスとした超解像度処理を行い、それぞれ記憶させる。
【００９３】
具体的には、図１３に示すように、ｆ１〜ｆ７が入力されると、ｆ１をリファレンスとし、ｆ１とｆ２を利用した超解像度処理を行い記憶させ（ステップＳ４０２、４０３）、ｆ２をリファレンスとしｆ１とｆ２を利用した超解像度処理を行い記憶させる
（ステップＳ４０４、ステップＳ４０５）。これをｆ２〜ｆ７について繰り返す。
【００９４】
変化ポイント検出部２３は、連続して入力される二枚の入力フレームの一定以上変化（変化ポイント）を検出する（ステップＳ４０６）。
【００９５】
変化ポイントが検出された場合、そのまま終了する。図１３では、ｆ４とｆ５の間に変化ポイントが検出されるため、ｆ５をリファレンスとしてｆ４とｆ５を使用した超解像度処理画像は出力されない（ステップＳ４０６−ＹＥＳ）。
【００９６】
変化ポイントが検出されなかった場合（ステップＳ４０６―ＮＯ）、さらに前回の変化ポイント検出処理で変化ポイントがあったか否か、または出力フレームが出力されたか否かを検出する（ステップＳ４０７）。
【００９７】
前回変化ポイントが検出されなかった場合（ステップＳ４０７−ＮＯ）、通常のリファレンスを使用した超解像度処理画像を出力する。図１３では、Ｆ１〜Ｆ４、Ｆ７である。
【００９８】
前回変化ポイントが検出された場合（ステップＳ４０７−ＹＥＳ）、リファレンスを変化させた超解像度処理画像を出力し（ステップＳ４０８）、次に通常のリファレンスを使用した超解像度処理画像を出力する（ステップＳ４０９）。
【００９９】
これらの出力する際、図１３に示すようにこのまま出力すると出力フレームＦ４とＦ５の間に出力すべきフレームがない状態となる。そこで、予め出力フレームの出力時間を一定時間遅らせておくことで、図１４に示すように出力フレームＦ４とＦ５に欠落がないよう、遅延処理機能による遅延処理を利用して、フレームの欠落を起こさせない。
【０１００】
また、図１５に示すように通常リファレンスが二枚のうち前のフレームである場合である。ｆ４とｆ５が入力された場合に生成された超解像度処理画像は記憶のみなされるか、または削除され出力されない。その後、ｆ５とｆ６が入力された場合は、前回変化ポイントをｆ４とｆ５の間に検出しているので、ｆ４をリファレンスとしてｆ３、ｆ４を利用した超解像度処理画像の出力を指示し（ステップＳ３０８）、次にｆ５をリファレンスとしてｆ５、ｆ６を利用した超解像度処理画像の出力を指示する（ステップＳ３０９）。
【０１０１】
このように、変化ポイントをまたいで超解像度処理がなされたフレームに関しては、出力がなされず、全ての入力フレームをリファレンス画像として超解像度処理を行った出力フレームを出力することができる。また、全ての入力フレームに対して複数フレーム超解像度処理を行っているため、出力画素数等が同じ出力フレームを出力できる。また、複数フレーム超解像度処理のみを利用した超解像度処理を利用しているため、より確証度の高い出力フレームを出力することができる。
【０１０２】
（第５の実施形態）
第５の実施態様について図１６乃至図１８を参照しながら説明する。
【０１０３】
本実施形態は、第４の実施形態の変形例である。
【０１０４】
第４の実施形態との違いは、主に出力フレーム選択部２５にある。その他、これらの違いに従い記憶部２４が記憶するフレーム画像のデータ等が異なる。
【０１０５】
第５の実施形態の複数フレーム超解像度処理部２１は、設定されたリファレンスフレームの位置により、異なった超解像度処理を行う。本実施形態では、図１７に示すように二枚の複数フレームのうち先のフレームをリファレンスフレームとして利用する場合である。
【０１０６】
次に、第５の実施形態の動作について、図１７を参照しながら説明する。
【０１０７】
まず、複数枚の入力フレームが連続して、画像処理装置２０に入力される（ステップＳ５０１）。
【０１０８】
画像処理装置２０は送られてきた低解像度画像を複数フレーム超解像度処理部２１に処理させる。また、変化ポイント検出部２３に、入力フレーム間の変化ポイントを検出させる。
【０１０９】
複数フレーム超解像度処理部２１は、一枚目のフレームをリファレンスとした超解像度処理を行い、記憶部２４へ記憶させる。二枚または、四枚以上の場合であっても予め定められたリファレンス画像を用いた同様の超解像度処理を行い、それぞれ記憶させる。
【０１１０】
具体的には、図１６に示すように、ｆ１〜ｆ７が入力されると、ｆ１をリファレンスとし、ｆ１とｆ２とを利用した超解像度処理を行い記憶させる（ステップ５０２、５０３）。また、同時にｆ２をリファレンスとし、ｆ１とｆ２とを利用した超解像度処理を行い記憶させる（ステップＳ５０４、５０５）。
【０１１１】
変化ポイント検出部２３は、連続して入力される二枚の入力フレームの一定以上変化（変化ポイント）を検出する（ステップＳ５０６）。
【０１１２】
変化ポイントが検出されなかった場合（ステップＳ５０６―ＮＯ）、通常のリファレンス位置の超解像度フレームを作成し出力する。図１７では、Ｆ１〜Ｆ３、Ｆ５〜Ｆ７である（ステップＳ５０７）。
【０１１３】
変化ポイントが検出された場合（ステップ５０６−ＹＥＳ）、リファレンス位置を変化させた超解像度フレームを作成し出力する。図１７では、ｆ４とｆ５の間に変化ポイントが検出されるため、ｆ４をリファレンスとしてｆ４とｆ５を使用した超解像度処理画像出力されず、前回処理で記憶したｆ４をリファレンスとしｆ３とｆ５を使用した超解像度処理画像を記憶部２４から読み出しＦ４として出力する（ステップＳ５０８）。
【０１１４】
なお、図１８は図１７を異なる概念で考えた場合の処理図である。つまり変化ポイントを検出した場合には、既に前に行われた超解像度処理画像を出力するわけであるから、図１７で存在するＦ３とＦ４の間の処理時間を極めて短時間とすることができる。
【０１１５】
このように、リファレンス位置を前にした超解像度処理を行わせ、変化ポイントを検出した場合には、あらかじめ先の処理で行っていたリファレンス位置の異なる超解像度処理画像を出力させることにより、速やかに超解像度処理画像を出力することができる。
【０１１６】
（第６の実施形態）
第６の実施態様について図１９乃至図２４を参照しながら説明する。
【０１１７】
本実施形態は、第４の実施形態の変形例である。
【０１１８】
本実施形態では、図１９に示すように、入力フレームを記憶する記憶部２７をもつ。
【０１１９】
本実施形態では、記憶部２７は、記憶部２４と分けて記載しているが、同一の媒体であってもよい。
【０１２０】
次に、第６の実施形態の動作について説明する。
【０１２１】
本実施形態では図２１に示すように、三枚の入力フレームを用いた超解像度処理であって、その三枚の入力フレームのうち二枚目の入力フレームをリファレンスとした例を示す。
【０１２２】
まず、複数枚の入力フレームが連続して、画像処理装置２０に入力される（ステップＳ６０１）。
【０１２３】
画像処理装置２０は送られてきた低解像度画像を複数フレーム超解像度処理部２１に処理させる。また、変化ポイント検出部２３に、入力フレーム間の変化ポイントを検出させる。
【０１２４】
複数フレーム超解像度処理部２１は、二枚目のフレームをリファレンスとした超解像度処理を行い、記憶部２４へ記憶させる。二枚または、四枚以上の場合であっても予め定められたリファレンス画像を用いた同様の超解像度処理を行い、それぞれ記憶させる。
【０１２５】
具体的には、図２０に示すように、ｆ１〜ｆ７が入力されると、ｆ２をリファレンスとし、ｆ１とｆ２とｆ３を利用した超解像度処理を行い記憶させる（ステップＳ６０２、６０３）。
【０１２６】
変化ポイント検出部２３は、連続して入力される二枚の入力フレームの一定以上変化（変化ポイント）を検出する（ステップＳ６０４）。
【０１２７】
変化ポイントが検出された場合、そのまま終了する。図２１では、ｆ４とｆ５の間に変化ポイントが検出されるため、ｆ４をリファレンスとしてｆ３とｆ４とｆ５を使用した超解像度処理画像およびｆ５をリファレンスとしてｆ４とｆ５とｆ６を使用した超解像度処理画像は出力されない（ステップＳ６０４−ＹＥＳ）。
【０１２８】
変化ポイントが検出されなかった場合（ステップＳ６０４―ＮＯ）、さらに前回の変化ポイント検出処理で変化ポイントがあったか否か、または出力フレームが出力されたか否かを検出する（ステップＳ６０５）。
【０１２９】
前回変化ポイントが検出されなかった場合（ステップＳ６０５−ＮＯ）、通常のリファレンスを使用した超解像度処理画像を出力する。図２１では、Ｆ１〜Ｆ３、Ｆ６、Ｆ７である（ステップＳ６０８）。
【０１３０】
前回変化ポイントが検出された場合（ステップＳ６０５−ＹＥＳ）、複数フレーム超解像度処理部２１は、リファレンスを変更した超解像度処理を行い出力する（ステップＳ６０６、ステップＳ６０７）。次に通常のリファレンスを使用した超解像度処理画像を出力する（ステップＳ６０８）。
【０１３１】
図２１では、ｆ４とｆ５とｆ６を読み込んで超解像度処理をしようとした場合、変化ポイントが検出され、前回のｆ３とｆ４とｆ５を読み込んだ際にも変化ポイントが検出される。検出された次に、複数フレーム超解像度処理部は記憶部２７から再度入力フレームを読み出し、ｆ４をリファレンスとし、ｆ２とｆ３とｆ４を使用した超解像度処理画像を作成し出力しｆ５をリファレンスとし、ｆ５とｆ６とｆ７を使用した超解像度処理画像を作成し出力し、次に、再度同じ入力フレームを利用しながらも通常のリファレンス位置画像ｆ６をリファレンスとした超解像度処理画像を出力する（ステップＳ６０６、ステップＳ６０７、ステップＳ６０８）。
【０１３２】
これらの出力する際、図２１に示すようにこのまま出力すると出力フレームＦ３とＦ４の間に出力すべきフレームがない状態となる。そこで、予め出力フレームの出力時間を一定時間遅らせる遅延処理を利用して、フレームの欠落を起こさせないようにしてもよい。
【０１３３】
同様に三枚の入力フレームを用いた超解像度処理であって、その三枚の入力フレームのうち一枚目の入力フレームをリファレンスとした例を図２２を参照しながら説明する。
【０１３４】
ｆ１〜ｆ７が入力されると、ｆ３をリファレンスとし、ｆ１とｆ２とｆ３を利用した超解像度処理を行い記憶させる（ステップＳ６０２、６０３）。
【０１３５】
変化ポイント検出部２３は、連続して入力される二枚の入力フレームの一定以上変化（変化ポイント）を検出する（ステップＳ６０４）。
【０１３６】
変化ポイントが検出された場合、そのまま終了する。図２２では、ｆ４とｆ５の間に変化ポイントが検出されるため、ｆ５をリファレンスとしてｆ３とｆ４とｆ５を使用した超解像度処理画像およびｆ６をリファレンスとしてｆ４とｆ５とｆ６を使用した超解像度処理画像は出力されない（ステップＳ６０４−ＹＥＳ）。
【０１３７】
変化ポイントが検出されなかった場合（ステップＳ６０４―ＮＯ）、さらに前回の変化ポイント検出処理で変化ポイントがあったか否か、または出力フレームが出力されたか否かを検出する（ステップＳ６０５）。
【０１３８】
前回変化ポイントが検出されなかった場合（ステップＳ６０５−ＮＯ）、通常のリファレンスを使用した超解像度処理画像を出力する。図２２では、Ｆ１〜Ｆ４、Ｆ７である（ステップＳ６０８）。
【０１３９】
前回変化ポイントが検出された場合（ステップＳ６０５−ＹＥＳ）、複数フレーム超解像度処理部２１は、リファレンスを変更した超解像度処理を行い出力する（ステップＳ６０６、ステップＳ６０７）。次に通常のリファレンスを使用した超解像度処理画像を出力する（ステップＳ６０８）。
【０１４０】
図２２では、ｆ４とｆ５とｆ６を読み込んで超解像度処理をしようとした場合、変化ポイントが検出され、前回のｆ３とｆ４とｆ５を読み込んだ際にも変化ポイントが検出される。検出された次に、複数フレーム超解像度処理部は記憶部２７から再度入力フレームを読み出し、ｆ５をリファレンスとし、ｆ５とｆ６とｆ７を使用した超解像度処理画像を作成し出力しｆ６をリファレンスとし、ｆ５とｆ６とｆ７を使用した超解像度処理画像を作成し出力し、次に、再度同じ入力フレームを利用しながらも通常のリファレンス位置画像ｆ７をリファレンスとした超解像度処理画像を出力する（ステップＳ６０６、ステップＳ６０７、ステップＳ６０８）。
【０１４１】
同様に三枚の入力フレームを用いた超解像度処理であって、その三枚の入力フレームのうち一枚目の入力フレームをリファレンスとした例を図２３を参照しながら説明する。
【０１４２】
ｆ１〜ｆ７が入力されると、ｆ１をリファレンスとし、ｆ１とｆ２とｆ３を利用した超解像度処理を行い記憶させる（ステップＳ６０２、６０３）。
【０１４３】
変化ポイント検出部２３は、連続して入力される二枚の入力フレームの一定以上変化（変化ポイント）を検出する（ステップＳ６０４）。
【０１４４】
変化ポイントが検出された場合、そのまま終了する。図２２では、ｆ４とｆ５の間に変化ポイントが検出されるため、ｆ３をリファレンスとしてｆ３とｆ４とｆ５を使用した超解像度処理画像およびｆ４をリファレンスとしてｆ４とｆ５とｆ６を使用した超解像度処理画像は出力されない（ステップＳ６０４−ＹＥＳ）。
【０１４５】
変化ポイントが検出されなかった場合（ステップＳ６０４―ＮＯ）、さらに前回の変化ポイント検出処理で変化ポイントがあったか否か、または出力フレームが出力されたか否かを検出する（ステップＳ６０５）。
【０１４６】
前回変化ポイントが検出されなかった場合（ステップＳ６０５−ＮＯ）、通常のリファレンスを使用した超解像度処理画像を出力する。図２３では、Ｆ１、Ｆ２、Ｆ５〜Ｆ７である（ステップＳ６０８）。
【０１４７】
前回変化ポイントが検出された場合（ステップＳ６０５−ＹＥＳ）、複数フレーム超解像度処理部２１は、リファレンスを変更した超解像度処理を行い出力する（ステップＳ６０６、ステップＳ６０７）。次に通常のリファレンスを使用した超解像度処理画像を出力する（ステップＳ６０８）。
【０１４８】
図２３では、ｆ４とｆ５とｆ６を読み込んで超解像度処理をしようとした場合、変化ポイントが検出され、前回のｆ３とｆ４とｆ５を読み込んだ際にも変化ポイントが検出される。検出された次に、複数フレーム超解像度処理部は記憶部２７から再度入力フレームを読み出し、ｆ３をリファレンスとし、ｆ２とｆ３とｆ４を使用した超解像度処理画像を作成し出力しｆ４をリファレンスとし、ｆ２とｆ３とｆ４を使用した超解像度処理画像を作成し出力し、次に、再度同じ入力フレームを利用しながらも通常のリファレンス位置画像ｆ７をリファレンスとした超解像度処理画像を出力する（ステップＳ６０６、ステップＳ６０７、ステップＳ６０８）。
【０１４９】
このように、変化ポイントを二回連続で検出した場合にリファレンス画像を変更した超解像度処理を行い出力することにより、複数フレーム超解像度処理部２１により同時に処理を行う必要がない。
【０１５０】
（第７の実施形態）
第７の実施態様について図２４、図２５を参照しながら説明する。
【０１５１】
本実施形態は、第６の実施形態の変形例である。
【０１５２】
第６の実施形態との違いは、主に出力フレーム選択部２５にある。その他、これらの違いに従い記憶部２４が記憶するフレーム画像のデータ等が異なる。
【０１５３】
第６の実施形態の複数フレーム超解像度処理部２１は、設定されたリファレンスフレームの位置により、異なった超解像度処理を行う。本実施形態では、図２５に示すように三枚の複数フレームのうち先のフレームをリファレンスフレームとして利用する場合である。
【０１５４】
次に、第７の実施形態の動作について、図２５を参照しながら説明する。
【０１５５】
まず、複数枚の入力フレームが連続して、画像処理装置２０に入力される（ステップＳ７０１）。
【０１５６】
画像処理装置２０は送られてきた低解像度画像を複数フレーム超解像度処理部２１に処理させる。また、変化ポイント検出部２３に、入力フレーム間の変化ポイントを検出させる。
【０１５７】
複数フレーム超解像度処理部２１は、一枚目のフレームをリファレンスとした超解像度処理を行い、記憶部２４へ記憶させる。二枚または、四枚以上の場合であっても予め定められたリファレンス画像を用いた同様の超解像度処理を行い、それぞれ記憶させる。
【０１５８】
具体的には、図２１に示すように、ｆ１〜ｆ７が入力されると、ｆ１をリファレンスとし、ｆ１とｆ２とｆ３とを利用した超解像度処理を行い記憶させる（ステップ７０２、７０３）。
【０１５９】
変化ポイント検出部２３は、連続して入力される二枚の入力フレームの一定以上変化（変化ポイント）を検出する（ステップＳ７０４）。
【０１６０】
変化ポイントが検出されなかった場合（ステップＳ７０４―ＮＯ）、通常のリファレンス位置の超解像度フレームを作成し出力する。図２５では、Ｆ１、Ｆ２、Ｆ５〜Ｆ７である（ステップＳ７０５）。
【０１６１】
変化ポイントが検出された場合（ステップ７０４−ＹＥＳ）、リファレンス位置を変化させた超解像度フレームを作成し出力する。図２５では、ｆ４とｆ５の間に変化ポイントが検出されるため、ｆ３をリファレンスとしてｆ３とｆ４とｆ５を使用した超解像度処理画像出力されず、前回処理で記憶したｆ３をリファレンスとしｆ２とｆ３とｆ４を使用した超解像度処理画像を行いＦ３として出力する。次にｆ４をリファレンスとしｆ２とｆ３とｆ４を利用した超解像度処理を行いＦ４として出力する（ステップＳ７０７、７８）。
【０１６２】
このように、リファレンス位置を前にした超解像度処理を行わせ、変化ポイントを検出した場合には、第５の実施形態と同様にあらかじめ先の処理で行っていたリファレンス位置の異なる超解像度処理画像を出力させることにより、速やかに超解像度処理画像を出力することができる。
【０１６３】
（第８の実施形態）
第８の実施態様について図２６乃至図２８を参照しながら説明する。
【０１６４】
本実施形態では、第６の実施形態と基本的には同様の構成を用いるが、本実施形態の変化ポイント検出部２３は、変化ポイント検出に代えて、映像の最先端か最後端を検出する。
【０１６５】
次に、第８の実施形態の動作について説明する。
【０１６６】
本実施形態では、三枚の入力フレームを利用し、リファレンス位置が二枚目に来るように設定している。
【０１６７】
まず、複数枚の入力フレームが連続して、画像処理装置２０に入力される（ステップＳ８０１）。
【０１６８】
複数フレーム超解像度処理部２１は、二枚目のフレームをリファレンスとした超解像度処理を行い、記憶部２４へ記憶させる。二枚または、四枚以上の場合であっても予め定められたリファレンス画像を用いた同様の超解像度処理を行い、それぞれ記憶させる。
【０１６９】
具体的には、図２８に示すように、ｆ１〜ｆ７が入力されると、ｆ２をリファレンスとし、ｆ１とｆ２とｆ３を利用した超解像度処理を行い記憶させる（ステップＳ８０２、８０３）。
【０１７０】
変化ポイント検出部２３は、映像の最先端または最後端を検出する（ステップＳ８０４）。
【０１７１】
映像の最先端であった場合（ステップＳ８０４−ＹＥＳ）さらに、予め設定されたリファレンス画像が一番前か後かを判断する（ステップＳ８０５）。
【０１７２】
リファレンス画像が一番前であれば、ステップＳ８０３で記憶した通常のリファレンス画像を記憶部２４から出力させる（ステップＳ８０８）。
【０１７３】
リファレンス画像が一番前出ない場合、リファレンス位置を変更した超解像度処理を行い出力させ、その次に、通常のリファレンス一の超解像度処理画像を出力させる（ステップＳ８０６、ステップＳ８０７、ステップＳ８０８）。
【０１７４】
映像の最先端出ない場合（ステップＳ８０４−ＮＯ）、通常のリファレンス一の超解像度処理画像が出力される（ステップＳ８０９）。
【０１７５】
次に、映像の最後端か否かを判断する（ステップＳ８１０）。
【０１７６】
映像の最後端でなければ、そのまま処理を終了させる。
【０１７７】
次に、リファレンス位置が一番後であるか否かを判断する。リファレンス位置が一番後であった場合（ステップＳ８１１―ＹＥＳ）、そのまま処理を終了させる。
【０１７８】
リファレンス位置が一番最後でなかった場合（ステップＳ８１１−ＮＯ）、リファレンス位置を変更した超解像度処理を行い、出力させる（ステップＳ８１２、ステップＳ８１３）。
【０１７９】
このように、全ての入力フレームをリファレンスとした超解像度処理を行うことができ、フレームの欠落がなく。全ての出力フレームに対して同じ枚数を利用した超解像度処理ができる。
【０１８０】
第1の実施形態から第８の実施形態においては、複数フレーム超解像度処理またはフレーム内超解像度処理には、通常の超解像度処理以外にも図２９に示すようにしても良い。以下、説明する。
【０１８１】
カメラ映像の切り替えまたはシーンの切り替えにトランディション（切り替え効果）を使用する。トランディションの１つとして良く用いられる「フェードイン・フェードアウト、クロスフェード」であるが、位置あわせ処理での前後フレームとの動きベクトルを求める際、トランディションによりフレーム映像全体が変化するためテンプレートマッチングでは動きベクトルの精度は低下（マッチング判定できない）する。そこで、図２０の様に、フレーム内のサーチ範囲（範囲は任意）とその範囲の想定される輝度変化（＋：明るめ、−：暗め）分のテンプレートを追加してマッチングを行う。これにより、マッチングによる動きベクトルの精度は低下せず、さらに、リファレンスフレームと同程度の輝度のリファレンスフレームとの再構成（例えば重ねあわせ）して高解像度画像を再構成することができる。
【０１８２】
また、撮像装置制御部１１を使用する場合には、撮像装置制御部によるカメラのパンによる撮像画像の変化量を加味した超解像度処理を行っても良い。
【０１８３】
これら実施形態には、変化ポイント検出手段２３による変化ポイントの検出には、ＭＰＥＧ等への変換の際に出力されるＩフレーム（Ｉピクチャ）を利用してもよい。
【０１８４】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１８５】
１０ … 撮像装置
１１ … 撮像装置制御部
１２ … 映像記憶装置
２０ … 画像処理装置
２１ … 複数触れ0無超解像度処理部
２２ … フレーム内超解像度処理部
２３ … 変化ポイント検出部
２４ … 記憶部
２５ … 出力フレーム選択部
２７ … 記憶部
３０ … 受像装置
【特許請求の範囲】
【請求項１】
時系列的に連続して入力される入力フレームにフレーム内超解像度処理を行い第一の高解像度フレーム画像を生成する第一の画像生成手段と、
複数の前記入力フレームを利用して第二の高解像度フレーム画像を生成する第二の画像生成手段と、
連続して入力される前記入力フレームのフレーム間の変化ポイントを検出する検出手段と、
前記検出手段が変化ポイントを検出した場合に、前記第一の高解像度フレーム画像を出力させ、前記検出手段が変化ポイントを検出しない場合は、前記第二の高解像度フレーム画像を出力させる出力手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記第二の画像生成手段はＮ枚の前記入力フレームを利用して第二の高解像度フレーム画像を生成し、
前記出力手段は、
前記検出手段が変化ポイントを検出した場合は第一の高解像度フレーム画像を出力し、
前記検出手段が変化ポイントを検出しない場合かつ前記検出手段の（Ｎ−２）回前いずれの検出処理において変化ポイントが検出されていない場合は、前記第二の高解像度フレーム画像を出力し、
前記検出手段が変化ポイントを検出しない場合かつ前記検出手段の（Ｎ−２）回前のいずれかの検出処理において変化ポイントが検出されている場合は、前記第二の画像生成手段で変化ポイント後に入力された複数枚の入力フレームを利用して生成された複数枚高解像度フレーム画像を出力すること
を特徴とする請求項１に記載する画像処理装置。
【請求項３】
前記出力手段は、
前記検出手段が変化ポイントを検出なかった場合は第二の高解像度フレーム画像を出力し、
前記検出手段が変化ポイントを検出した場合かつ前記検出手段の前回の検出処理において変化ポイントが検出されていた場合は、前記第一の高解像度フレーム画像を出力し、
前記検出手段が変化ポイントを検出した場合かつ前記検出手段の前回の検出処理において変化ポイントが検出されていない場合は、前記第二の画像生成手段で変化ポイント前に入力された複数枚の入力フレームを利用して生成された複数枚高解像度フレーム画像を出力すること
を特徴とする請求項１に記載する画像処理装置。
【請求項４】
時系列的に連続して入力される入力フレームに複数枚のフレームを利用して第三の高解像度フレーム画像を生成する第三の画像生成手段と、
前記第三の高解像度フレーム画像とはリファレンス位置が異なる複数毎フレームを利用して第四の超解像度フレーム画像を生成する第四の画像生成手段と、
連続して入力される前記入力フレームのフレーム間の変化ポイントを検出する検出手段と、
前記検出手段が変化ポイントを検出した場合は画像の出力をせず、
前記検出手段が変化ポイントを検出しない場合かつ前記検出手段の一つ前の検出動作において変化ポイントが検出されていない場合は、前記第三の高解像度フレーム画像を出力し、
前記検出手段が変化ポイントを検出しない場合かつ前記検出手段の前回の検出処理において変化ポイントが検出されていた場合は、前記第四の高解像度フレーム画像を出力し、次に前記第三の高解像度フレーム画像を出力する出力手段と
を備えることを特徴とする画像処理装置。
【請求項５】
前記出力手段は、
前記検出手段が変化ポイントを検出した場合に、前記第四の高解像度フレーム画像を出力させ、前記検出手段が変化ポイントを検出しない場合は、前記第三の高解像度フレーム画像を出力すること
を特徴とする請求項４に記載する画像処理装置。
【請求項６】
前記出力手段は、
前記検出手段が変化ポイントを検出した場合は超解像度処理画像を出力せず、
前記検出手段が変化ポイントを検出しない場合かつ前記検出手段の前回の検出処理において変化ポイントが検出されていない場合は、前記第三の高解像度フレーム画像を出力し、
前記検出手段が変化ポイントを検出しない場合かつ前記検出手段の前回の検出処理において変化ポイントが検出されている場合は、前記第四の画像生成手段で変化ポイント後に入力された複数枚の入力フレームを利用して複数枚高解像度フレーム画像を生成・出力し、次に同じ入力フレームを利用した第三の高解像度フレーム画像を出力すること
を特徴とする請求項４に記載する画像処理装置。
【請求項７】
前記出力手段は、
前記検出手段が変化ポイントを検出した場合は、前記第四の画像生成手段で変化ポイント後に入力された複数枚の入力フレームを利用して複数枚高解像度フレーム画像を生成・出力し、
前記検出手段が変化ポイントを検出しなかった場合は、前記第三の高解像度フレーム画像を出力すること
を特徴とする請求項４に記載する画像処理装置。
【請求項８】
前記第二の高解像度フレーム画像を生成する場合においてリファレンスフレームを設定する設定手段と、
映像の最先端を検出する最先端検出手段と、
前記最先端検出手段により映像の最先端が検出され、前記リファレンスフレームがＮ番目のフレームに設定されているときには、先頭フレームから（Ｎ−１）番目の入力フレームは前記第一の高解像度フレームを出力すること
を特徴とする請求項１に記載する画像処理装置。
【請求項９】
前記第二の高解像度フレーム画像を生成する場合においてリファレンス位置を設定する設定手段と、
映像の最後端を検出する最後端検出手段と、
前記最後端検出手段により映像の最後端が検出され、前記リファレンスフレームがＮ番目のフレームに設定されているときには、（Ｎ＋１）番目のフレームから最後端の入力フレームに対しては前記第一の高解像度フレームを出力すること
を特徴とする請求項１に記載する画像処理装置。
【請求項１０】
前記第三の高解像度フレーム画像を生成する場合においてリファレンスフレームを設定する設定手段と、
映像の最先端を検出する最先端検出手段と、
前記最先端検出手段により映像の最先端が検出され、前記リファレンスフレームがＮ番目のフレームに設定されているときには（Ｎ−１）番目のフレームはリファレンスフレームを最先頭のフレームから（Ｎ−１）番目フレームに設定した前記第四の超解像度画像フレームを出力すること
を特徴とする請求項４に記載する画像処理装置。
【請求項１１】
前記第三の高解像度フレーム画像を生成する場合においてリファレンス位置を設定する設定手段と、
映像の最後端を検出する最後端検出手段と、
前記最後端検出手段により映像の最後端が検出され、前記リファレンスフレームがＮ番目のフレームに設定されているときには、（Ｎ＋１）番目のフレームから最後端の入力フレームをリファレンスに設定した前記第四の高解像度フレームを出力すること
を特徴とする請求項４に記載する画像処理装置。
【請求項１２】
前記第一の高解像度フレーム画像または前記第二の高解像度フレーム画像を生成する場合において、
フレーム内のサーチ範囲と前記サーチ範囲の所定の輝度変化分のテンプレートを追加してマッチングを行い超解像度処理を行うこと
を特徴とする請求項１に記載する画像処理装置。
【請求項１３】
時系列的に連続して入力される入力フレームにフレーム内超解像度処理を行い第一の高解像度フレーム画像を生成し
複数の前記入力フレームを利用して第二の高解像度フレーム画像を生成し、
連続して入力される前記入力フレームのフレーム間の変化ポイントを検出し、
前記検出手段が変化ポイントを検出した場合に、前記第二の高解像度フレーム画像を出力させ、前記検出手段が変化ポイントを検出しない場合は、前記第一の高解像度フレーム画像を出力させること、
を特徴とする画像処理方法。
【請求項１４】
時系列的に連続して入力される入力フレームにフレーム内超解像度処理を行い第一の高解像度フレーム画像を生成する第一の生成処理と、
複数の前記入力フレームを利用して第二の高解像度フレーム画像を生成する第二の生成処理と、
連続して入力される前記入力フレームのフレーム間の変化ポイントを検出する検出処理と、
前記検出手段が変化ポイントを検出した場合に、前記第二の高解像度フレーム画像を出力させ、前記検出手段が変化ポイントを検出しない場合は、前記第一の高解像度フレーム画像を出力させる出力処理と、
を画像処理装置上で動作させることを特徴とする画像処理プログラム。
【請求項１】
時系列的に連続して入力される入力フレームにフレーム内超解像度処理を行い第一の高解像度フレーム画像を生成する第一の画像生成手段と、
複数の前記入力フレームを利用して第二の高解像度フレーム画像を生成する第二の画像生成手段と、
連続して入力される前記入力フレームのフレーム間の変化ポイントを検出する検出手段と、
前記検出手段が変化ポイントを検出した場合に、前記第一の高解像度フレーム画像を出力させ、前記検出手段が変化ポイントを検出しない場合は、前記第二の高解像度フレーム画像を出力させる出力手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記第二の画像生成手段はＮ枚の前記入力フレームを利用して第二の高解像度フレーム画像を生成し、
前記出力手段は、
前記検出手段が変化ポイントを検出した場合は第一の高解像度フレーム画像を出力し、
前記検出手段が変化ポイントを検出しない場合かつ前記検出手段の（Ｎ−２）回前いずれの検出処理において変化ポイントが検出されていない場合は、前記第二の高解像度フレーム画像を出力し、
前記検出手段が変化ポイントを検出しない場合かつ前記検出手段の（Ｎ−２）回前のいずれかの検出処理において変化ポイントが検出されている場合は、前記第二の画像生成手段で変化ポイント後に入力された複数枚の入力フレームを利用して生成された複数枚高解像度フレーム画像を出力すること
を特徴とする請求項１に記載する画像処理装置。
【請求項３】
前記出力手段は、
前記検出手段が変化ポイントを検出なかった場合は第二の高解像度フレーム画像を出力し、
前記検出手段が変化ポイントを検出した場合かつ前記検出手段の前回の検出処理において変化ポイントが検出されていた場合は、前記第一の高解像度フレーム画像を出力し、
前記検出手段が変化ポイントを検出した場合かつ前記検出手段の前回の検出処理において変化ポイントが検出されていない場合は、前記第二の画像生成手段で変化ポイント前に入力された複数枚の入力フレームを利用して生成された複数枚高解像度フレーム画像を出力すること
を特徴とする請求項１に記載する画像処理装置。
【請求項４】
時系列的に連続して入力される入力フレームに複数枚のフレームを利用して第三の高解像度フレーム画像を生成する第三の画像生成手段と、
前記第三の高解像度フレーム画像とはリファレンス位置が異なる複数毎フレームを利用して第四の超解像度フレーム画像を生成する第四の画像生成手段と、
連続して入力される前記入力フレームのフレーム間の変化ポイントを検出する検出手段と、
前記検出手段が変化ポイントを検出した場合は画像の出力をせず、
前記検出手段が変化ポイントを検出しない場合かつ前記検出手段の一つ前の検出動作において変化ポイントが検出されていない場合は、前記第三の高解像度フレーム画像を出力し、
前記検出手段が変化ポイントを検出しない場合かつ前記検出手段の前回の検出処理において変化ポイントが検出されていた場合は、前記第四の高解像度フレーム画像を出力し、次に前記第三の高解像度フレーム画像を出力する出力手段と
を備えることを特徴とする画像処理装置。
【請求項５】
前記出力手段は、
前記検出手段が変化ポイントを検出した場合に、前記第四の高解像度フレーム画像を出力させ、前記検出手段が変化ポイントを検出しない場合は、前記第三の高解像度フレーム画像を出力すること
を特徴とする請求項４に記載する画像処理装置。
【請求項６】
前記出力手段は、
前記検出手段が変化ポイントを検出した場合は超解像度処理画像を出力せず、
前記検出手段が変化ポイントを検出しない場合かつ前記検出手段の前回の検出処理において変化ポイントが検出されていない場合は、前記第三の高解像度フレーム画像を出力し、
前記検出手段が変化ポイントを検出しない場合かつ前記検出手段の前回の検出処理において変化ポイントが検出されている場合は、前記第四の画像生成手段で変化ポイント後に入力された複数枚の入力フレームを利用して複数枚高解像度フレーム画像を生成・出力し、次に同じ入力フレームを利用した第三の高解像度フレーム画像を出力すること
を特徴とする請求項４に記載する画像処理装置。
【請求項７】
前記出力手段は、
前記検出手段が変化ポイントを検出した場合は、前記第四の画像生成手段で変化ポイント後に入力された複数枚の入力フレームを利用して複数枚高解像度フレーム画像を生成・出力し、
前記検出手段が変化ポイントを検出しなかった場合は、前記第三の高解像度フレーム画像を出力すること
を特徴とする請求項４に記載する画像処理装置。
【請求項８】
前記第二の高解像度フレーム画像を生成する場合においてリファレンスフレームを設定する設定手段と、
映像の最先端を検出する最先端検出手段と、
前記最先端検出手段により映像の最先端が検出され、前記リファレンスフレームがＮ番目のフレームに設定されているときには、先頭フレームから（Ｎ−１）番目の入力フレームは前記第一の高解像度フレームを出力すること
を特徴とする請求項１に記載する画像処理装置。
【請求項９】
前記第二の高解像度フレーム画像を生成する場合においてリファレンス位置を設定する設定手段と、
映像の最後端を検出する最後端検出手段と、
前記最後端検出手段により映像の最後端が検出され、前記リファレンスフレームがＮ番目のフレームに設定されているときには、（Ｎ＋１）番目のフレームから最後端の入力フレームに対しては前記第一の高解像度フレームを出力すること
を特徴とする請求項１に記載する画像処理装置。
【請求項１０】
前記第三の高解像度フレーム画像を生成する場合においてリファレンスフレームを設定する設定手段と、
映像の最先端を検出する最先端検出手段と、
前記最先端検出手段により映像の最先端が検出され、前記リファレンスフレームがＮ番目のフレームに設定されているときには（Ｎ−１）番目のフレームはリファレンスフレームを最先頭のフレームから（Ｎ−１）番目フレームに設定した前記第四の超解像度画像フレームを出力すること
を特徴とする請求項４に記載する画像処理装置。
【請求項１１】
前記第三の高解像度フレーム画像を生成する場合においてリファレンス位置を設定する設定手段と、
映像の最後端を検出する最後端検出手段と、
前記最後端検出手段により映像の最後端が検出され、前記リファレンスフレームがＮ番目のフレームに設定されているときには、（Ｎ＋１）番目のフレームから最後端の入力フレームをリファレンスに設定した前記第四の高解像度フレームを出力すること
を特徴とする請求項４に記載する画像処理装置。
【請求項１２】
前記第一の高解像度フレーム画像または前記第二の高解像度フレーム画像を生成する場合において、
フレーム内のサーチ範囲と前記サーチ範囲の所定の輝度変化分のテンプレートを追加してマッチングを行い超解像度処理を行うこと
を特徴とする請求項１に記載する画像処理装置。
【請求項１３】
時系列的に連続して入力される入力フレームにフレーム内超解像度処理を行い第一の高解像度フレーム画像を生成し
複数の前記入力フレームを利用して第二の高解像度フレーム画像を生成し、
連続して入力される前記入力フレームのフレーム間の変化ポイントを検出し、
前記検出手段が変化ポイントを検出した場合に、前記第二の高解像度フレーム画像を出力させ、前記検出手段が変化ポイントを検出しない場合は、前記第一の高解像度フレーム画像を出力させること、
を特徴とする画像処理方法。
【請求項１４】
時系列的に連続して入力される入力フレームにフレーム内超解像度処理を行い第一の高解像度フレーム画像を生成する第一の生成処理と、
複数の前記入力フレームを利用して第二の高解像度フレーム画像を生成する第二の生成処理と、
連続して入力される前記入力フレームのフレーム間の変化ポイントを検出する検出処理と、
前記検出手段が変化ポイントを検出した場合に、前記第二の高解像度フレーム画像を出力させ、前記検出手段が変化ポイントを検出しない場合は、前記第一の高解像度フレーム画像を出力させる出力処理と、
を画像処理装置上で動作させることを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【公開番号】特開２０１２−１０２９７（Ｐ２０１２−１０２９７Ａ）
【公開日】平成２４年１月１２日（２０１２．１．１２）
【国際特許分類】
【出願番号】特願２０１０−１４６９５３（Ｐ２０１０−１４６９５３）
【出願日】平成２２年６月２８日（２０１０．６．２８）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２４年１月１２日（２０１２．１．１２）
【国際特許分類】
【出願日】平成２２年６月２８日（２０１０．６．２８）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]