画像処理装置および画像処理方法
【課題】情報が失われ、ノイズが混入する問題を解決し、簡便な処理で解像度と忠実度を向上させる。
【解決手段】インターレース形式の入力画像に対し超解像処理を施す画像処理装置である。その構成要素として、入力画像に対し、フィールド毎に超解像処理を実行するフィールド超解像処理手段を備える。また、フィールド超解像処理手段による処理と並行して、入力画像に対し、そのＴｏｐフィールドとＢｏｔｔｏｍフィールドを組み合わせて構成されたフレーム毎に超解像処理を実行し、フィールド単位で出力するフレーム超解像処理・フィールド抽出手段を備える。また、入力画像の特性を解析し、該特性に応じた選択信号を出力する特性解析手段を備える。また、フィールド超解像処理手段およびフレーム超解像処理・フィールド抽出手段の出力をインターレース形式で選択信号に応じて出力する第１の選択手段を備える。
【解決手段】インターレース形式の入力画像に対し超解像処理を施す画像処理装置である。その構成要素として、入力画像に対し、フィールド毎に超解像処理を実行するフィールド超解像処理手段を備える。また、フィールド超解像処理手段による処理と並行して、入力画像に対し、そのＴｏｐフィールドとＢｏｔｔｏｍフィールドを組み合わせて構成されたフレーム毎に超解像処理を実行し、フィールド単位で出力するフレーム超解像処理・フィールド抽出手段を備える。また、入力画像の特性を解析し、該特性に応じた選択信号を出力する特性解析手段を備える。また、フィールド超解像処理手段およびフレーム超解像処理・フィールド抽出手段の出力をインターレース形式で選択信号に応じて出力する第１の選択手段を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
近年、ＴＶやモニタ等のディスプレイに超解像技術と呼ばれる技術を使った製品化が市販されている。超解像技術は、画像の画素サンプリング時（撮像素子による光電変換時や縮小処理時）に失われる詳細な部分を画像処理によって再現する技術である。例えば、解像度が低いＮＴＳＣ方式のビデオカメラやＤＶＤの映像を大画面ＴＶに表示する場合に、超解像技術を使うと画像の詳細な部分が再現されて、解像度が高い鮮明な画像を得ることができる。
【０００３】
ところで、日本国内および米国では、映像の信号はインターレース形式が多数を占めている。インターレース形式は、撮像時間が異なるＴｏｐフィールドとＢｏｔｔｏｍフィールド（奇数フィールド、偶数フィールドともいう）から１画像（１フレーム）が作られる。各フィールドの画素は、１ライン毎に交互に並んでいて、１ライン分ずれた画像がフィールド周期で交互に表示されるため、動きのある被写体は、超解像処理をはじめとする画像処理の入力画像としては取り扱いが困難である。
【０００４】
そこで、従来は片方のフィールドの画像データのみを使うか、インターレース・プログレッシブ変換（以降ＩＰ変換）をしてプログレッシブ形式にしてから超解像処理を行っていた。片フィールドのみを用いた場合は、縦方向の解像度が半分となり、せっかくの情報を半分捨ててしまうこととなる。ＩＰ変換を行うと、そのアルゴリズムにも依存するが、実際の被写体と映像の間の忠実度が下がる。劣化したＩＰ変換結果を元に超解像処理を行うと、解像度の復元が十分に行われないばかりか、アーチファクトと呼ばれるノイズが生成される可能性がある。そこで、インターレース形式を直接入力画像として、プログレッシブ形式にしつつ超解像処理を行い、プログレッシブ形式の画像を出力とする方式が考案されている。
【０００５】
このような方式は、出力結果を液晶パネルなどのプログレッシブ入力をもつディスプレイへ出力する場合にはよい。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−２５１６８６号公報
【特許文献２】特開２００７−２５１６８８号公報
【特許文献３】特開２００９−１７２４２号公報
【特許文献４】特開２００５−１５０９９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、超解像処理結果の出力としてプログレッシブ形式ではなくインターレース形式が必要とされる場合もある。上記のような従来の超解像技術では、プログレッシブ形式で出力された画像からインターレース形式へ再変換する必要があり、その際に行われる画像処理により、情報が失われ、ノイズが混入する問題があった。
【０００８】
本発明が解決しようとする課題は、上記情報が失われ、ノイズが混入する問題を解決し、簡便な処理で解像度と忠実度を従来よりも向上させることができる画像処理装置および画像処理方法を提供することである。
【課題を解決するための手段】
【０００９】
実施形態の画像処理装置は、インターレース形式の入力画像に対し超解像処理を施す画像処理装置である。その構成要素として、入力画像に対し、フィールド毎に超解像処理を実行するフィールド超解像処理手段を備える。また、フィールド超解像処理手段による処理と並行して、入力画像に対し、そのＴｏｐフィールドとＢｏｔｔｏｍフィールドを組み合わせて構成されたフレーム毎に超解像処理を実行し、フィールド単位で出力するフレーム超解像処理・フィールド抽出手段を備える。また、入力画像の特性を解析し、該特性に応じた選択信号を出力する特性解析手段を備える。また、フィールド超解像処理手段およびフレーム超解像処理・フィールド抽出手段の出力をインターレース形式で選択信号に応じて出力する第１の選択手段を備える。
【図面の簡単な説明】
【００１０】
【図１】図１は、第１の実施形態にかかる画像処理装置の機能ブロック図である。
【図２】図２は、第２の実施形態にかかる画像処理装置の機能ブロック図である。
【図３】図３は、初期画像生成部で処理されるフィールド超解像用の初期画像を生成する場合のバリエーションを示す図である。
【図４】図４は、初期画像生成部で処理されるフレーム超解像用の初期画像を生成する場合のバリエーションを示す図である。
【図５】図５は、位置合わせ処理部で処理されるフィールド超解像用の位置合わせ方式のバリエーションを示す図である。
【図６】図６は、位置合わせ処理部で処理されるフレーム超解像用の位置合わせ方式のバリエーションを示す図である。
【図７】図７は、再構成処理部で処理されるフィールド超解像用の再構成バリエーションを示す図である。
【図８】図８は、再構成処理部で処理されるフレーム超解像用の再構成バリエーションを示す図である。
【図９】図９は、インターレース入力画像のＴｏｐフィールドとＢｏｔｔｏｍフィールドを並べて例示した図である。
【図１０】図１０は、中間ラインの作成を説明する図である。
【図１１】図１１は、動きの度合いを示す値αを求める手法を説明する図である。
【図１２】図１２は、第１および第２の実施形態におけるブレンディング（アルファブレンディング）を説明する図である。
【図１３】図１３は、参考例としての従来方式の画像処理装置の機能ブロック図である。
【発明を実施するための形態】
【００１１】
（第１の実施形態）
はじめに、第１の実施形態にかかる画像処理装置の構成を、図１を用いて説明する。図１は、第１の実施形態にかかる画像処理装置の機能ブロック図である。
【００１２】
インターレース方式の画像入力は、フィールド分離部１０１によってＴｏｐフィールドとＢｏｔｔｏｍフィールドに分離される。その出力は、１フレームの画像に対しライン数が半分となったフィールド画像のペアとなる。例えば、ＶＧＡサイズ（６４０×４８０）のインターレース入力画像は、２つの６４０×２４０サイズのフィールド画像となる。同一フィールド内の全画素は、同じフィールド周期内に撮影されたものとなるため、櫛状の不自然な模様は生じない（見えない）。
【００１３】
本実施形態では、各フィールド画像を個別にフィールド超解像処理部１０２で処理する。ここでは、２種類のフィールド画像を１つのフィールド超解像処理部１０２によって順に処理してもよいし、２つのフィールド超解像処理部１０２によって並列に処理してもよい。使用する超解像アルゴリズムは、公知の１フレーム毎に処理を行うフレーム内超解像処理、複数フレームの情報を使って処理を行う複数フレーム超解像処理、辞書の先見情報を使って処理を行う辞書タイプ超解像処理のいずれでもよい。超解像アルゴリズムによる処理結果の画像サイズは、元の画像サイズと同じか大きくなる。例えば、フルＨＤのモニタに表示する場合は、縦横のサイズを２．２５倍して１４４０×１０８０とする。フルＨＤのサイズは１９２０×１０８０であるが、その大きさにすると元の画像と縦横比が変化してしまって、横伸びの画像となってしまうので、正しい比率４：３となるように横の拡大率は縦の拡大率と同じとする。
【００１４】
本実施形態では、フィールド超解像処理部１０２による処理と並列に（並行して）、フレーム超解像処理部１０３によって高解像化の処理を行う。フレーム超解像処理部１０３は、インターレース形式の入力画像のＴｏｐフィールドとＢｏｔｔｏｍフィールドの２つのフィールドを単純に組み合わせ１フレームとしたプログレッシブ形式の画像として扱う。そのため、動きのある部分は櫛状の画像になる可能性があるが、後述のように、動きのある部分についてはフィールド超解像処理部１０２による処理結果に切り替える等の制御を行うので問題とならない。ここでも、超解像アルゴリズムは、公知のフレーム内超解像処理、複数フレーム超解像処理、辞書タイプ超解像処理のいずれでもよい。拡大率はフィールド超解像処理部１０２によるものと同じとする。フィールド抽出部１０４は、フレーム超解像処理部１０３により高解像化された（１フレームの）画像から、ＴｏｐフィールドとＢｏｔｔｏｍフィールドを取り出す。ここでは、単純に、順に１ライン飛ばしで画素を読み出せばよい。
【００１５】
特性解析部１０６は、フィールド分離部１０１により分離されたフィールド毎に画像特性を解析して、選択信号を出力する。選択信号は切り替え混合部に２つの入力画像から１つの出力画像を出力させる。一般的な傾向から、動きのある部分はフィールド超解像処理がよく、動きのない部分はフレーム超解像処理がよいので、画像内の被写体の移動量（動きの度合い、例えば、動きベクトル）を基に選択信号を出力する。例えば、移動量が所定の閾値以上の場合に、フィールド超解像処理部１０２の出力に切り替え、所定の閾値未満の場合にフレーム超解像処理部１０３の出力に切り替えるような選択信号を出力する。
【００１６】
なお、上記選択信号は、画像内の被写体の移動量だけでなく、その他の情報も合わせて判断し生成するとよい。例えば、隣接画素の輝度変化が大きい部分または任意エリア内の輝度分散が大きい部分は、テクスチャの多い部分であるが、輝度ヒストグラムによって、画面内の明るさの偏りを求めることができ、この情報も選択信号の生成の際利用することができる。また、エッジ検出により画面にある線分を検出することができるが、その情報も選択信号の生成の際利用することができる。また、特性解析部１０６にてオブジェクト抽出を行い、その情報も選択信号の生成の際利用することができる。このような情報の１つまたは複数のものもさらに考慮に入れて選択信号を生成するようにするとよい。
【００１７】
切り替え／ブレンディング部１０５は、選択信号を基に、フィールド超解像処理部１０２およびフレーム超解像処理部１０３からの２つのインターレース入力から１つのインターレース出力画像をつくる。切り替えの単位は、フレーム単位、エリア単位、オブジェクト単位、画素単位である。切り替え以外にアルファブレンディングによる混合も採用することができる。その場合は、選択信号に各入力の混合比を示す情報が追加される（後述）。この混合比も、選択信号と同様に、上記複数の情報を基に決定することができる。また、出力の切り替えや、ブレンディング比率の急激な変化は、出力画像の不安定さを招くため、その変化速度を抑制する処理も行う。
【００１８】
（第２の実施形態）
次に、第２の実施形態にかかる画像処理装置の構成を、図２を用いて説明する。図２は、第２の実施形態にかかる画像処理装置の機能ブロック図である。本実施形態の画像処理装置は、その超解像処理として、いわゆる再構成型のアルゴリズムを採用したものである。
【００１９】
超解像処理アルゴリズムの１種として知られている再構成アルゴリズムは、大きく分けて初期画像生成処理、位置合わせ処理、再構成処理の３つの処理からなる。本実施形態では、それぞれの処理ブロックにおいて（フィールド処理用およびフレーム処理用にタイプ１〜タイプｎがある）、フィールド処理かフレーム処理のどちらが適切か判断しながら選択（切り替え／ブレンディング）を行う。
【００２０】
再構成アルゴリズムは、基本的には以下のような処理からなる。最初に位置合わせによって、フレーム内、または、前後のフレームから高解像化したい参照フレーム上への対応点を求める。対応点は、参照フレーム上での小数精度での位置座標と輝度値のデータであり、高解像化のヒントとなる。
【００２１】
それとは別に、フィールド処理用およびフレーム処理用に仮の高解像化を行って初期画像を作る（初期画像生成タイプ１〜初期画像生成タイプｎ）。ここでは一般的な補間拡大などが用いられる。補間拡大のアルゴリズムとしては、バイリニア補間、バイキュービック補間などがある。初期画像上の対応点の場所の輝度と、位置合わせで求めた対応点の輝度値の差分を求めて誤差とし、初期画像へ射影する。誤差計算と射影を複数回行って、誤差が決められた閾値よりも少なくなったら完了する。
【００２２】
本実施形態において一般的な再構成型の超解像処理と異なる部分は、初期画像生成部２０２、位置合わせ処理部２０７、および再構成処理部２０４が、フィールド処理とフレーム処理で特性解析の結果に応じて適応的に変更することである。各部はタイプ１からタイプｎまで並列させている。各部の数は同じではなくてもよい。なお、初期画像生成部２０２、特性解析部２０６および位置合わせ処理部２０７による処理に先立ち、フィールド分離・フレーム選択部２０１により後続の処理に必要なフィールドおよびフレームの分離・選択が行われる。
【００２３】
特性解析部２０６は、図１に示した第１の実施形態と同様にインターレース入力画像の解析を行う。切り替え対象は、本実施形態では、初期画像生成部２０２が生成する初期画像と位置合わせ処理部２０７が生成する動きベクトルおよび輝度値データが追加される。初期画像選択部２０３は、初期画像生成部２０２において、補間拡大によって生成された初期画像を選択して、再構成処理部２０４へ出力する。初期画像はマトリックス構造をしており再構成処理部２０４の各タイプに適した形式のみ選択する。フィールド再構成には、フィールド形式の初期画像を出力する。フレーム再構成にはフレーム形式の初期画像を出力する。
【００２４】
切り替え／ブレンディング部２０８は、位置合わせ処理部２０７によって生成された動きベクトルデータと輝度値データの切り替えまたはブレンディングを行う。動きベクトルデータは参照フレーム上で対応点が検出された座標を求めるのに使う。このため、再構成処理部２０４が認識する座標系を、フレーム画像での座標か、フィールド座標での座標に統一すれば、フィールド位置合わせか、フレーム位置合わせを区別することなくブレンディングすることができる。なお、切り替え／ブレンディング部２０５は、選択信号に応じて、再構成処理部２０４からの出力を切り替えまたはブレンディングする。
【００２５】
図３は、初期画像生成部２０２で処理されるフィールド超解像処理用の初期画像を生成する場合のバリエーションである。後段の処理が、フィールド再構成の場合にはこの中から選択する。初期画像のサイズは、拡大後のフィールドのサイズである。再構成処理部２０４が出力すべきフィールドの極性（ＴｏｐかＢｏｔｔｏｍか）に合わせて、初期画像生成部２０２は、Ｔｏｐフィールドを補間拡大するか、Ｂｏｔｔｏｍフィールドを補間拡大するかを切り替える。
【００２６】
図４は、初期画像生成部２０２で処理されるフレーム超解像処理用の初期画像を生成する場合のバリエーションである。後段の処理が、フレーム超解像処理の場合に選択する。初期画像のサイズは拡大後のフレームのサイズである。ＴｏｐまたはＢｏｔｔｏｍフィールドから作成する場合は、垂直方向は拡大率のさらに２倍となる。Ｔｏｐ／Ｂｏｔｔｏｍのフィールドを交互に用いる場合は、動きのある部分に櫛状の模様が出る場合がある。そのために、そのような部分が用いられないように特性解析結果の選択信号をコントロールする必要がある。同図に示す動き適応変換画像は、動きのある部分を自然にするために、ＴｏｐまたはＢｏｔｔｏｍのうち片フィールドを使うか、Ｔｏｐ／Ｂｏｔｔｏｍ交互に使うか適応的に切り替え生成したものである。
【００２７】
図５は、位置合わせ処理部２０７で処理されるフィールド超解像処理用の位置合わせ方式のバリエーションである。右側の高解像化させたい画像に、前か後の画像を位置合わせして、一致する点を探す。フィールド対フィールドで処理を行う。位置合わせで最も一般的なのは公知のブロックマッチング方式である。例えば１６×１６の大きさのブロック（対象ブロック）と類似している参照フィールドの画像内のブロックの点を、それぞれのブロック内の点の輝度値の絶対値差を計算しながら対象ブロックを移動させて求めて、最も差が小さかった点の位置を結果とする。ただし、本実施形態での位置合わせ方式は、このようなブロックマッチングに限らないものとする。ブロックマッチング以外の位置合わせ方式には、公知の位相相関限定法、オプティカルフローなどがある。
【００２８】
図６は、位置合わせ処理部２０７で処理されるフレーム超解像処理用の位置合わせ方式のバリエーションである。同図（Ｂ）に示すフィールド対フレームの位置合わせの場合は、縦方向の縮尺が異なるため、参照フレーム側の画像は１ライン飛ばしで、フィールド側の対象ブロックと比較する必要がある。しかし、縦方向の位置合わせの解像度は、同図（Ａ）に示したフィールド対フィールドの場合の２倍となる。
【００２９】
図７は、再構成処理部２０４で処理されるフィールド超解像処理用の再構成バリエーションである。拡大対象フィールドを再構成するのにどのフィールドでみつけた対応点を用いるか示している。同図（Ａ）の「前後全部使用」において時間Ｔと前後の時間Ｔ−２，Ｔ−１，Ｔ＋１，Ｔ＋２，Ｔ＋３が示している四角の中の番号はフィールドの順番である（他の例も同様）。また、拡大対象フィールド（図７では“３”で示すフィールド）より小さい番号のフィールドは、拡大対象フィールドと比較して過去のフィールドである。逆に、大きな番号のフィールドは拡大対象フィールよりも未来のフィールドである。どれだけ前後の数のフィールドを用いるかは、映像ソースによって決める。
【００３０】
カメラがゆっくり平行移動する場合は、前後の多くのフィールドを使うのが効果的である。標準的な状況下では、同極性フィールドのみ使う（図７（Ｂ））。動きが激しい場合は、拡大対象フィールドと他のフィールドとにおける移動距離が長く位置合わせの探索範囲に制限がある場合は、対応点を見つけることができない。その場合は時間的に近い異極性フィールドを使う（図７（Ｃ））。さらに、対応点の発見が困難な場合は、他フィールドを使わないようにする（図７（Ｄ））。
【００３１】
図８は、再構成処理部２０４で処理されるフレーム超解像処理用の再構成バリエーションである。フィールド超解像処理用との相違点は、再構成する画像がフレームサイズとなることである。そのため、初期画像はフレームサイズのものを用いる。図５に示すようにＴｏｐフィールドからか、Ｂｏｔｔｏｍフィールドからのみ初期画像を作成する場合は、使われなかったフィールドから作成された初期画像も再構成に使用される。それ以外の場合では、図の“３”と“４”の隣接フィールドのペアから初期画像が作成されている。再構成のバリエーションとしては、図８に示すように“１”〜“６”まで使用する「全部使用」、“３”と“４”に時間的に近い“２”と“５”も使用する「隣接フィールドのみ」、他フィールドは使用せず“３”と“４”のみ用いるバリエーションがある。なお、ここでフィールドと称しているが、画像は上記のようにフレームサイズである。また、フレーム超解像処理用の再構成処理部２０４の出力は、フィールド抽出したものとなる。
【００３２】
続いて、第１の実施形態および第２の実施形態における特性解析部１０６、２０６の詳細を、図９〜１３を用いて説明する。
【００３３】
図９で、インターレース入力画像のＴｏｐフィールドとＢｏｔｔｏｍフィールドを並べて例示している。このようなインターレース入力画像に対し、図１０に示すように、Ｔｏｐフィールドの垂直方向の画素値の平均をとり、その画素値平均で中間ラインを作成する。そして、図１１に示すように、Ｔｏｐフィールドに対し上記のようにして作成した中間ラインと対応するＢｏｔｔｏｍフィールドのライン間の画素値の差の絶対値を計算し、その値を動きの度合として、この値が大きいとき、すなわち差が大きいときは動きが大きいと判断することができる。Ｂｏｔｔｏｍフィールドについても、同様に中間ラインを作成して、対応するＴｏｐフィールドのラインとの間の画素値の差の絶対値（｜Ｔ２−Ｔ２’｜等）を求めることで、１フレーム分の動きの度合いの値αを求めることができる。
【００３４】
特性解析部１０６、２０６は、この値αを基に、所定の閾値を超えた場合に、フィールド超解像処理による出力に切り替え、そうでない場合に、フレーム超解像処理による出力に切り替える選択信号を出力したり、この値αから、フィールド超解像処理およびフレーム超解像処理による出力をアルファブレンディングするためのα値を生成して選択信号として出力するようにする。なお、この値αは、選択信号による出力の切り替え／ブレンディングが急激に変化しないように、前後の数フレーム分の値を平均化したものを用いる。
【００３５】
アルファブレンディングを行う場合は、図１２に示すように、上記値αを０〜１の値をとるようにスケーリングし、さらに、急激な変化を防ぐために前後の数フレーム分の値を平均化したものを用いる。
【００３６】
このアルファブレンディングによる選択部の出力Ｏｕｔｐｕｔは、入力のフィールド超解像処理結果Ｉｍｇ１とフレーム超解像処理結果Ｉｍｇ２に対し、Ｏｕｔｐｕｔ＝α×Ｉｍｇ１＋（１−α）×Ｉｍｇ２である。動きの度合いαが大きいほど、フィールド超解像処理結果の画像がブレンディングされる割合が増すこととなり、動きに適応した出力が得られる。
【００３７】
（その他の実施形態）
上記実施形態は、リアルタイムに、インターレース入力画像を処理して出力する形態であり、フィールド超解像処理とフレーム超解像処理を並列して行い出力の切り替え／ブレンディングを行っているが、一旦蓄積した画像データに対して、上記フィールド超解像処理とフレーム超解像処理を適用する場合では、先に特性解析を行い、その特性解析の結果（選択情報）に応じて、並列処理ではなくフィールド超解像処理とフレーム超解像処理とを切り替えて実行し、最終出力を得るようにしてもよい。あるいは、各超解像処理を別個に行った結果を、選択情報に応じてブレンディングするようにしてもよい。
【００３８】
（参考例）
図１３は、参考例としての従来方式の、インターレース形式の入力に対し超解像処理を行った上で、インターレース形式で出力する画像処理装置のブロック図である。入力されたインターレース形式の映像信号は、ＩＰ変換部１００によるＩＰ変換によってプログレッシブ形式へ変換される。フレーム超解像処理部２００によるフレーム超解像処理では、入力画像の画素数を増やして解像度を向上させる。この処理の出力はプログレッシブ形式である。出力形式としてはインターレース形式が望まれているので、プログレッシブ・インターレース変換（ＰＩ変換）部３００による画像処理を伴うＰＩ変換によってプログレッシブ形式からインターレース形式に変換された出力がなされる。
【００３９】
このような従来方式では、最終段のＰＩ変換によって、情報が失われ、ノイズが混入する問題があった。上述の本発明にかかる実施形態では、超解像処理を行うが、上記のようなＰＩ変換をすることなく、インターレース形式の出力をすることができるので、従来方式の問題を解消することができる。また、上述のように、簡便な処理で解像度と忠実度を従来よりも向上させることができる。
【００４０】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００４１】
１００ ＩＰ変換部
１０１ フィールド分離部
１０２ フィールド超解像処理部
１０３ フレーム超解像処理部
１０４ フィールド抽出部
１０５ 切り替え／ブレンディング部
１０６ 特性解析部
２００ フレーム超解像処理部
２０１ フィールド分離・フレーム選択部
２０２ 初期画像生成部
２０３ 初期画像選択部
２０４ 再構成処理部
２０５ 切り替え／ブレンディング部
２０６ 特性解析部
２０７ 位置合わせ処理部
２０８ 切り替え／ブレンディング部
３００ ＰＩ変換部
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
近年、ＴＶやモニタ等のディスプレイに超解像技術と呼ばれる技術を使った製品化が市販されている。超解像技術は、画像の画素サンプリング時（撮像素子による光電変換時や縮小処理時）に失われる詳細な部分を画像処理によって再現する技術である。例えば、解像度が低いＮＴＳＣ方式のビデオカメラやＤＶＤの映像を大画面ＴＶに表示する場合に、超解像技術を使うと画像の詳細な部分が再現されて、解像度が高い鮮明な画像を得ることができる。
【０００３】
ところで、日本国内および米国では、映像の信号はインターレース形式が多数を占めている。インターレース形式は、撮像時間が異なるＴｏｐフィールドとＢｏｔｔｏｍフィールド（奇数フィールド、偶数フィールドともいう）から１画像（１フレーム）が作られる。各フィールドの画素は、１ライン毎に交互に並んでいて、１ライン分ずれた画像がフィールド周期で交互に表示されるため、動きのある被写体は、超解像処理をはじめとする画像処理の入力画像としては取り扱いが困難である。
【０００４】
そこで、従来は片方のフィールドの画像データのみを使うか、インターレース・プログレッシブ変換（以降ＩＰ変換）をしてプログレッシブ形式にしてから超解像処理を行っていた。片フィールドのみを用いた場合は、縦方向の解像度が半分となり、せっかくの情報を半分捨ててしまうこととなる。ＩＰ変換を行うと、そのアルゴリズムにも依存するが、実際の被写体と映像の間の忠実度が下がる。劣化したＩＰ変換結果を元に超解像処理を行うと、解像度の復元が十分に行われないばかりか、アーチファクトと呼ばれるノイズが生成される可能性がある。そこで、インターレース形式を直接入力画像として、プログレッシブ形式にしつつ超解像処理を行い、プログレッシブ形式の画像を出力とする方式が考案されている。
【０００５】
このような方式は、出力結果を液晶パネルなどのプログレッシブ入力をもつディスプレイへ出力する場合にはよい。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−２５１６８６号公報
【特許文献２】特開２００７−２５１６８８号公報
【特許文献３】特開２００９−１７２４２号公報
【特許文献４】特開２００５−１５０９９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、超解像処理結果の出力としてプログレッシブ形式ではなくインターレース形式が必要とされる場合もある。上記のような従来の超解像技術では、プログレッシブ形式で出力された画像からインターレース形式へ再変換する必要があり、その際に行われる画像処理により、情報が失われ、ノイズが混入する問題があった。
【０００８】
本発明が解決しようとする課題は、上記情報が失われ、ノイズが混入する問題を解決し、簡便な処理で解像度と忠実度を従来よりも向上させることができる画像処理装置および画像処理方法を提供することである。
【課題を解決するための手段】
【０００９】
実施形態の画像処理装置は、インターレース形式の入力画像に対し超解像処理を施す画像処理装置である。その構成要素として、入力画像に対し、フィールド毎に超解像処理を実行するフィールド超解像処理手段を備える。また、フィールド超解像処理手段による処理と並行して、入力画像に対し、そのＴｏｐフィールドとＢｏｔｔｏｍフィールドを組み合わせて構成されたフレーム毎に超解像処理を実行し、フィールド単位で出力するフレーム超解像処理・フィールド抽出手段を備える。また、入力画像の特性を解析し、該特性に応じた選択信号を出力する特性解析手段を備える。また、フィールド超解像処理手段およびフレーム超解像処理・フィールド抽出手段の出力をインターレース形式で選択信号に応じて出力する第１の選択手段を備える。
【図面の簡単な説明】
【００１０】
【図１】図１は、第１の実施形態にかかる画像処理装置の機能ブロック図である。
【図２】図２は、第２の実施形態にかかる画像処理装置の機能ブロック図である。
【図３】図３は、初期画像生成部で処理されるフィールド超解像用の初期画像を生成する場合のバリエーションを示す図である。
【図４】図４は、初期画像生成部で処理されるフレーム超解像用の初期画像を生成する場合のバリエーションを示す図である。
【図５】図５は、位置合わせ処理部で処理されるフィールド超解像用の位置合わせ方式のバリエーションを示す図である。
【図６】図６は、位置合わせ処理部で処理されるフレーム超解像用の位置合わせ方式のバリエーションを示す図である。
【図７】図７は、再構成処理部で処理されるフィールド超解像用の再構成バリエーションを示す図である。
【図８】図８は、再構成処理部で処理されるフレーム超解像用の再構成バリエーションを示す図である。
【図９】図９は、インターレース入力画像のＴｏｐフィールドとＢｏｔｔｏｍフィールドを並べて例示した図である。
【図１０】図１０は、中間ラインの作成を説明する図である。
【図１１】図１１は、動きの度合いを示す値αを求める手法を説明する図である。
【図１２】図１２は、第１および第２の実施形態におけるブレンディング（アルファブレンディング）を説明する図である。
【図１３】図１３は、参考例としての従来方式の画像処理装置の機能ブロック図である。
【発明を実施するための形態】
【００１１】
（第１の実施形態）
はじめに、第１の実施形態にかかる画像処理装置の構成を、図１を用いて説明する。図１は、第１の実施形態にかかる画像処理装置の機能ブロック図である。
【００１２】
インターレース方式の画像入力は、フィールド分離部１０１によってＴｏｐフィールドとＢｏｔｔｏｍフィールドに分離される。その出力は、１フレームの画像に対しライン数が半分となったフィールド画像のペアとなる。例えば、ＶＧＡサイズ（６４０×４８０）のインターレース入力画像は、２つの６４０×２４０サイズのフィールド画像となる。同一フィールド内の全画素は、同じフィールド周期内に撮影されたものとなるため、櫛状の不自然な模様は生じない（見えない）。
【００１３】
本実施形態では、各フィールド画像を個別にフィールド超解像処理部１０２で処理する。ここでは、２種類のフィールド画像を１つのフィールド超解像処理部１０２によって順に処理してもよいし、２つのフィールド超解像処理部１０２によって並列に処理してもよい。使用する超解像アルゴリズムは、公知の１フレーム毎に処理を行うフレーム内超解像処理、複数フレームの情報を使って処理を行う複数フレーム超解像処理、辞書の先見情報を使って処理を行う辞書タイプ超解像処理のいずれでもよい。超解像アルゴリズムによる処理結果の画像サイズは、元の画像サイズと同じか大きくなる。例えば、フルＨＤのモニタに表示する場合は、縦横のサイズを２．２５倍して１４４０×１０８０とする。フルＨＤのサイズは１９２０×１０８０であるが、その大きさにすると元の画像と縦横比が変化してしまって、横伸びの画像となってしまうので、正しい比率４：３となるように横の拡大率は縦の拡大率と同じとする。
【００１４】
本実施形態では、フィールド超解像処理部１０２による処理と並列に（並行して）、フレーム超解像処理部１０３によって高解像化の処理を行う。フレーム超解像処理部１０３は、インターレース形式の入力画像のＴｏｐフィールドとＢｏｔｔｏｍフィールドの２つのフィールドを単純に組み合わせ１フレームとしたプログレッシブ形式の画像として扱う。そのため、動きのある部分は櫛状の画像になる可能性があるが、後述のように、動きのある部分についてはフィールド超解像処理部１０２による処理結果に切り替える等の制御を行うので問題とならない。ここでも、超解像アルゴリズムは、公知のフレーム内超解像処理、複数フレーム超解像処理、辞書タイプ超解像処理のいずれでもよい。拡大率はフィールド超解像処理部１０２によるものと同じとする。フィールド抽出部１０４は、フレーム超解像処理部１０３により高解像化された（１フレームの）画像から、ＴｏｐフィールドとＢｏｔｔｏｍフィールドを取り出す。ここでは、単純に、順に１ライン飛ばしで画素を読み出せばよい。
【００１５】
特性解析部１０６は、フィールド分離部１０１により分離されたフィールド毎に画像特性を解析して、選択信号を出力する。選択信号は切り替え混合部に２つの入力画像から１つの出力画像を出力させる。一般的な傾向から、動きのある部分はフィールド超解像処理がよく、動きのない部分はフレーム超解像処理がよいので、画像内の被写体の移動量（動きの度合い、例えば、動きベクトル）を基に選択信号を出力する。例えば、移動量が所定の閾値以上の場合に、フィールド超解像処理部１０２の出力に切り替え、所定の閾値未満の場合にフレーム超解像処理部１０３の出力に切り替えるような選択信号を出力する。
【００１６】
なお、上記選択信号は、画像内の被写体の移動量だけでなく、その他の情報も合わせて判断し生成するとよい。例えば、隣接画素の輝度変化が大きい部分または任意エリア内の輝度分散が大きい部分は、テクスチャの多い部分であるが、輝度ヒストグラムによって、画面内の明るさの偏りを求めることができ、この情報も選択信号の生成の際利用することができる。また、エッジ検出により画面にある線分を検出することができるが、その情報も選択信号の生成の際利用することができる。また、特性解析部１０６にてオブジェクト抽出を行い、その情報も選択信号の生成の際利用することができる。このような情報の１つまたは複数のものもさらに考慮に入れて選択信号を生成するようにするとよい。
【００１７】
切り替え／ブレンディング部１０５は、選択信号を基に、フィールド超解像処理部１０２およびフレーム超解像処理部１０３からの２つのインターレース入力から１つのインターレース出力画像をつくる。切り替えの単位は、フレーム単位、エリア単位、オブジェクト単位、画素単位である。切り替え以外にアルファブレンディングによる混合も採用することができる。その場合は、選択信号に各入力の混合比を示す情報が追加される（後述）。この混合比も、選択信号と同様に、上記複数の情報を基に決定することができる。また、出力の切り替えや、ブレンディング比率の急激な変化は、出力画像の不安定さを招くため、その変化速度を抑制する処理も行う。
【００１８】
（第２の実施形態）
次に、第２の実施形態にかかる画像処理装置の構成を、図２を用いて説明する。図２は、第２の実施形態にかかる画像処理装置の機能ブロック図である。本実施形態の画像処理装置は、その超解像処理として、いわゆる再構成型のアルゴリズムを採用したものである。
【００１９】
超解像処理アルゴリズムの１種として知られている再構成アルゴリズムは、大きく分けて初期画像生成処理、位置合わせ処理、再構成処理の３つの処理からなる。本実施形態では、それぞれの処理ブロックにおいて（フィールド処理用およびフレーム処理用にタイプ１〜タイプｎがある）、フィールド処理かフレーム処理のどちらが適切か判断しながら選択（切り替え／ブレンディング）を行う。
【００２０】
再構成アルゴリズムは、基本的には以下のような処理からなる。最初に位置合わせによって、フレーム内、または、前後のフレームから高解像化したい参照フレーム上への対応点を求める。対応点は、参照フレーム上での小数精度での位置座標と輝度値のデータであり、高解像化のヒントとなる。
【００２１】
それとは別に、フィールド処理用およびフレーム処理用に仮の高解像化を行って初期画像を作る（初期画像生成タイプ１〜初期画像生成タイプｎ）。ここでは一般的な補間拡大などが用いられる。補間拡大のアルゴリズムとしては、バイリニア補間、バイキュービック補間などがある。初期画像上の対応点の場所の輝度と、位置合わせで求めた対応点の輝度値の差分を求めて誤差とし、初期画像へ射影する。誤差計算と射影を複数回行って、誤差が決められた閾値よりも少なくなったら完了する。
【００２２】
本実施形態において一般的な再構成型の超解像処理と異なる部分は、初期画像生成部２０２、位置合わせ処理部２０７、および再構成処理部２０４が、フィールド処理とフレーム処理で特性解析の結果に応じて適応的に変更することである。各部はタイプ１からタイプｎまで並列させている。各部の数は同じではなくてもよい。なお、初期画像生成部２０２、特性解析部２０６および位置合わせ処理部２０７による処理に先立ち、フィールド分離・フレーム選択部２０１により後続の処理に必要なフィールドおよびフレームの分離・選択が行われる。
【００２３】
特性解析部２０６は、図１に示した第１の実施形態と同様にインターレース入力画像の解析を行う。切り替え対象は、本実施形態では、初期画像生成部２０２が生成する初期画像と位置合わせ処理部２０７が生成する動きベクトルおよび輝度値データが追加される。初期画像選択部２０３は、初期画像生成部２０２において、補間拡大によって生成された初期画像を選択して、再構成処理部２０４へ出力する。初期画像はマトリックス構造をしており再構成処理部２０４の各タイプに適した形式のみ選択する。フィールド再構成には、フィールド形式の初期画像を出力する。フレーム再構成にはフレーム形式の初期画像を出力する。
【００２４】
切り替え／ブレンディング部２０８は、位置合わせ処理部２０７によって生成された動きベクトルデータと輝度値データの切り替えまたはブレンディングを行う。動きベクトルデータは参照フレーム上で対応点が検出された座標を求めるのに使う。このため、再構成処理部２０４が認識する座標系を、フレーム画像での座標か、フィールド座標での座標に統一すれば、フィールド位置合わせか、フレーム位置合わせを区別することなくブレンディングすることができる。なお、切り替え／ブレンディング部２０５は、選択信号に応じて、再構成処理部２０４からの出力を切り替えまたはブレンディングする。
【００２５】
図３は、初期画像生成部２０２で処理されるフィールド超解像処理用の初期画像を生成する場合のバリエーションである。後段の処理が、フィールド再構成の場合にはこの中から選択する。初期画像のサイズは、拡大後のフィールドのサイズである。再構成処理部２０４が出力すべきフィールドの極性（ＴｏｐかＢｏｔｔｏｍか）に合わせて、初期画像生成部２０２は、Ｔｏｐフィールドを補間拡大するか、Ｂｏｔｔｏｍフィールドを補間拡大するかを切り替える。
【００２６】
図４は、初期画像生成部２０２で処理されるフレーム超解像処理用の初期画像を生成する場合のバリエーションである。後段の処理が、フレーム超解像処理の場合に選択する。初期画像のサイズは拡大後のフレームのサイズである。ＴｏｐまたはＢｏｔｔｏｍフィールドから作成する場合は、垂直方向は拡大率のさらに２倍となる。Ｔｏｐ／Ｂｏｔｔｏｍのフィールドを交互に用いる場合は、動きのある部分に櫛状の模様が出る場合がある。そのために、そのような部分が用いられないように特性解析結果の選択信号をコントロールする必要がある。同図に示す動き適応変換画像は、動きのある部分を自然にするために、ＴｏｐまたはＢｏｔｔｏｍのうち片フィールドを使うか、Ｔｏｐ／Ｂｏｔｔｏｍ交互に使うか適応的に切り替え生成したものである。
【００２７】
図５は、位置合わせ処理部２０７で処理されるフィールド超解像処理用の位置合わせ方式のバリエーションである。右側の高解像化させたい画像に、前か後の画像を位置合わせして、一致する点を探す。フィールド対フィールドで処理を行う。位置合わせで最も一般的なのは公知のブロックマッチング方式である。例えば１６×１６の大きさのブロック（対象ブロック）と類似している参照フィールドの画像内のブロックの点を、それぞれのブロック内の点の輝度値の絶対値差を計算しながら対象ブロックを移動させて求めて、最も差が小さかった点の位置を結果とする。ただし、本実施形態での位置合わせ方式は、このようなブロックマッチングに限らないものとする。ブロックマッチング以外の位置合わせ方式には、公知の位相相関限定法、オプティカルフローなどがある。
【００２８】
図６は、位置合わせ処理部２０７で処理されるフレーム超解像処理用の位置合わせ方式のバリエーションである。同図（Ｂ）に示すフィールド対フレームの位置合わせの場合は、縦方向の縮尺が異なるため、参照フレーム側の画像は１ライン飛ばしで、フィールド側の対象ブロックと比較する必要がある。しかし、縦方向の位置合わせの解像度は、同図（Ａ）に示したフィールド対フィールドの場合の２倍となる。
【００２９】
図７は、再構成処理部２０４で処理されるフィールド超解像処理用の再構成バリエーションである。拡大対象フィールドを再構成するのにどのフィールドでみつけた対応点を用いるか示している。同図（Ａ）の「前後全部使用」において時間Ｔと前後の時間Ｔ−２，Ｔ−１，Ｔ＋１，Ｔ＋２，Ｔ＋３が示している四角の中の番号はフィールドの順番である（他の例も同様）。また、拡大対象フィールド（図７では“３”で示すフィールド）より小さい番号のフィールドは、拡大対象フィールドと比較して過去のフィールドである。逆に、大きな番号のフィールドは拡大対象フィールよりも未来のフィールドである。どれだけ前後の数のフィールドを用いるかは、映像ソースによって決める。
【００３０】
カメラがゆっくり平行移動する場合は、前後の多くのフィールドを使うのが効果的である。標準的な状況下では、同極性フィールドのみ使う（図７（Ｂ））。動きが激しい場合は、拡大対象フィールドと他のフィールドとにおける移動距離が長く位置合わせの探索範囲に制限がある場合は、対応点を見つけることができない。その場合は時間的に近い異極性フィールドを使う（図７（Ｃ））。さらに、対応点の発見が困難な場合は、他フィールドを使わないようにする（図７（Ｄ））。
【００３１】
図８は、再構成処理部２０４で処理されるフレーム超解像処理用の再構成バリエーションである。フィールド超解像処理用との相違点は、再構成する画像がフレームサイズとなることである。そのため、初期画像はフレームサイズのものを用いる。図５に示すようにＴｏｐフィールドからか、Ｂｏｔｔｏｍフィールドからのみ初期画像を作成する場合は、使われなかったフィールドから作成された初期画像も再構成に使用される。それ以外の場合では、図の“３”と“４”の隣接フィールドのペアから初期画像が作成されている。再構成のバリエーションとしては、図８に示すように“１”〜“６”まで使用する「全部使用」、“３”と“４”に時間的に近い“２”と“５”も使用する「隣接フィールドのみ」、他フィールドは使用せず“３”と“４”のみ用いるバリエーションがある。なお、ここでフィールドと称しているが、画像は上記のようにフレームサイズである。また、フレーム超解像処理用の再構成処理部２０４の出力は、フィールド抽出したものとなる。
【００３２】
続いて、第１の実施形態および第２の実施形態における特性解析部１０６、２０６の詳細を、図９〜１３を用いて説明する。
【００３３】
図９で、インターレース入力画像のＴｏｐフィールドとＢｏｔｔｏｍフィールドを並べて例示している。このようなインターレース入力画像に対し、図１０に示すように、Ｔｏｐフィールドの垂直方向の画素値の平均をとり、その画素値平均で中間ラインを作成する。そして、図１１に示すように、Ｔｏｐフィールドに対し上記のようにして作成した中間ラインと対応するＢｏｔｔｏｍフィールドのライン間の画素値の差の絶対値を計算し、その値を動きの度合として、この値が大きいとき、すなわち差が大きいときは動きが大きいと判断することができる。Ｂｏｔｔｏｍフィールドについても、同様に中間ラインを作成して、対応するＴｏｐフィールドのラインとの間の画素値の差の絶対値（｜Ｔ２−Ｔ２’｜等）を求めることで、１フレーム分の動きの度合いの値αを求めることができる。
【００３４】
特性解析部１０６、２０６は、この値αを基に、所定の閾値を超えた場合に、フィールド超解像処理による出力に切り替え、そうでない場合に、フレーム超解像処理による出力に切り替える選択信号を出力したり、この値αから、フィールド超解像処理およびフレーム超解像処理による出力をアルファブレンディングするためのα値を生成して選択信号として出力するようにする。なお、この値αは、選択信号による出力の切り替え／ブレンディングが急激に変化しないように、前後の数フレーム分の値を平均化したものを用いる。
【００３５】
アルファブレンディングを行う場合は、図１２に示すように、上記値αを０〜１の値をとるようにスケーリングし、さらに、急激な変化を防ぐために前後の数フレーム分の値を平均化したものを用いる。
【００３６】
このアルファブレンディングによる選択部の出力Ｏｕｔｐｕｔは、入力のフィールド超解像処理結果Ｉｍｇ１とフレーム超解像処理結果Ｉｍｇ２に対し、Ｏｕｔｐｕｔ＝α×Ｉｍｇ１＋（１−α）×Ｉｍｇ２である。動きの度合いαが大きいほど、フィールド超解像処理結果の画像がブレンディングされる割合が増すこととなり、動きに適応した出力が得られる。
【００３７】
（その他の実施形態）
上記実施形態は、リアルタイムに、インターレース入力画像を処理して出力する形態であり、フィールド超解像処理とフレーム超解像処理を並列して行い出力の切り替え／ブレンディングを行っているが、一旦蓄積した画像データに対して、上記フィールド超解像処理とフレーム超解像処理を適用する場合では、先に特性解析を行い、その特性解析の結果（選択情報）に応じて、並列処理ではなくフィールド超解像処理とフレーム超解像処理とを切り替えて実行し、最終出力を得るようにしてもよい。あるいは、各超解像処理を別個に行った結果を、選択情報に応じてブレンディングするようにしてもよい。
【００３８】
（参考例）
図１３は、参考例としての従来方式の、インターレース形式の入力に対し超解像処理を行った上で、インターレース形式で出力する画像処理装置のブロック図である。入力されたインターレース形式の映像信号は、ＩＰ変換部１００によるＩＰ変換によってプログレッシブ形式へ変換される。フレーム超解像処理部２００によるフレーム超解像処理では、入力画像の画素数を増やして解像度を向上させる。この処理の出力はプログレッシブ形式である。出力形式としてはインターレース形式が望まれているので、プログレッシブ・インターレース変換（ＰＩ変換）部３００による画像処理を伴うＰＩ変換によってプログレッシブ形式からインターレース形式に変換された出力がなされる。
【００３９】
このような従来方式では、最終段のＰＩ変換によって、情報が失われ、ノイズが混入する問題があった。上述の本発明にかかる実施形態では、超解像処理を行うが、上記のようなＰＩ変換をすることなく、インターレース形式の出力をすることができるので、従来方式の問題を解消することができる。また、上述のように、簡便な処理で解像度と忠実度を従来よりも向上させることができる。
【００４０】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００４１】
１００ ＩＰ変換部
１０１ フィールド分離部
１０２ フィールド超解像処理部
１０３ フレーム超解像処理部
１０４ フィールド抽出部
１０５ 切り替え／ブレンディング部
１０６ 特性解析部
２００ フレーム超解像処理部
２０１ フィールド分離・フレーム選択部
２０２ 初期画像生成部
２０３ 初期画像選択部
２０４ 再構成処理部
２０５ 切り替え／ブレンディング部
２０６ 特性解析部
２０７ 位置合わせ処理部
２０８ 切り替え／ブレンディング部
３００ ＰＩ変換部
【特許請求の範囲】
【請求項１】
インターレース形式の入力画像に対し、フィールド毎に超解像処理を実行するフィールド超解像処理手段と、
前記フィールド超解像処理手段による処理と並行して、前記入力画像に対し、そのＴｏｐフィールドとＢｏｔｔｏｍフィールドを組み合わせて構成されたフレーム毎に超解像処理を実行し、フィールド単位で出力するフレーム超解像処理・フィールド抽出手段と、
前記入力画像の特性を解析し、該特性に応じた選択信号を出力する特性解析手段と、
前記フィールド超解像処理手段およびフレーム超解像処理・フィールド抽出手段の出力をインターレース形式で前記選択信号に応じて出力する第１の選択手段と、
を備えた画像処理装置。
【請求項２】
前記第１の選択手段は、前記選択信号に応じて入力を切り替えて出力する請求項１に記載の画像処理装置。
【請求項３】
前記第１の選択手段は、前記選択信号に応じて入力をブレンドして出力する請求項１に記載の画像処理装置。
【請求項４】
前記フィールド超解像処理手段およびフレーム超解像処理・フィールド抽出手段は、フィールド処理用およびフレーム処理用に複数の、初期画像を作成する初期画像作成手段と、位置合わせ処理を行う位置合わせ処理手段と、前記初期画像および前記位置合わせ処理手段による処理結果に応じて再構成処理を行う再構成処理手段とを備える再構成型の超解像処理を行う手段であって、
複数ある前記初期画像作成手段の出力を前記選択信号に応じて対応する前記再構成処理手段に出力する第２の選択手段と、
複数ある前記位置合わせ処理手段の出力を前記選択信号に応じて対応する前記再構成処理手段に出力する第３の選択手段を備えた請求項２または請求項３に記載の画像処理装置。
【請求項５】
前記第３の選択手段は、前記選択信号に応じて入力を切り替えて出力する請求項４に記載の画像処理装置。
【請求項６】
前記第３の選択手段は、前記選択信号に応じて入力をブレンドして出力する請求項４に記載の画像処理装置。
【請求項７】
前記特性解析手段は、前記入力画像内の動きの程度に応じた前記選択信号を出力する請求項１乃至請求項６のいずれか１項に記載の画像処理装置。
【請求項８】
インターレース形式の入力画像に対し超解像処理を施しインターレース形式で出力する画像処理装置における画像処理方法であって、
フィールド超解像処理手段により、インターレース形式の入力画像に対し、フィールド毎に超解像処理を実行する工程と、
フレーム超解像処理・フィールド抽出手段により、前記フィールド超解像処理手段による処理と並行して、前記入力画像に対し、そのＴｏｐフィールドとＢｏｔｔｏｍフィールドを組み合わせて構成されたフレーム毎に超解像処理を実行し、フィールド単位で出力する工程と、
特性解析手段により、前記入力画像の特性を解析し、該特性に応じた選択信号を出力する工程と、
選択手段により、前記フィールド超解像処理手段およびフレーム超解像処理・フィールド抽出手段の出力をインターレース形式で前記選択信号に応じて出力する工程と、
を含む画像処理方法。
【請求項９】
インターレース形式の入力画像に対し、フィールド毎に超解像処理を実行するフィールド超解像処理手段と、
前記入力画像に対し、そのＴｏｐフィールドとＢｏｔｔｏｍフィールドを組み合わせて構成されたフレーム毎に超解像処理を実行し、フィールド単位で出力するフレーム超解像処理・フィールド抽出手段と、
前記入力画像の特性を解析し、該特性に応じた選択信号を出力する特性解析手段と、
前記選択信号に応じて、（１）前記フィールド超解像処理手段による処理と、（２）前記フレーム超解像処理・フィールド抽出手段による処理と、を切り替える選択手段と、
を備えた画像処理装置。
【請求項１０】
インターレース形式の入力画像に対し超解像処理を施しインターレース形式で出力する画像処理装置における画像処理方法であって、
特性解析手段により、前記入力画像の特性を解析し、該特性に応じた選択情報を出力する工程と、
前記選択情報に応じて、選択手段により、（１）フィールド超解像処理手段による、インターレース形式の入力画像に対し、フィールド毎に超解像処理を実行する工程と、（２）フレーム超解像処理・フィールド抽出手段による、前記入力画像に対し、そのＴｏｐフィールドとＢｏｔｔｏｍフィールドを組み合わせて構成されたフレーム毎に超解像処理を実行し、フィールド単位で出力する工程と、を切り替える工程と、
を含む画像処理方法。
【請求項１】
インターレース形式の入力画像に対し、フィールド毎に超解像処理を実行するフィールド超解像処理手段と、
前記フィールド超解像処理手段による処理と並行して、前記入力画像に対し、そのＴｏｐフィールドとＢｏｔｔｏｍフィールドを組み合わせて構成されたフレーム毎に超解像処理を実行し、フィールド単位で出力するフレーム超解像処理・フィールド抽出手段と、
前記入力画像の特性を解析し、該特性に応じた選択信号を出力する特性解析手段と、
前記フィールド超解像処理手段およびフレーム超解像処理・フィールド抽出手段の出力をインターレース形式で前記選択信号に応じて出力する第１の選択手段と、
を備えた画像処理装置。
【請求項２】
前記第１の選択手段は、前記選択信号に応じて入力を切り替えて出力する請求項１に記載の画像処理装置。
【請求項３】
前記第１の選択手段は、前記選択信号に応じて入力をブレンドして出力する請求項１に記載の画像処理装置。
【請求項４】
前記フィールド超解像処理手段およびフレーム超解像処理・フィールド抽出手段は、フィールド処理用およびフレーム処理用に複数の、初期画像を作成する初期画像作成手段と、位置合わせ処理を行う位置合わせ処理手段と、前記初期画像および前記位置合わせ処理手段による処理結果に応じて再構成処理を行う再構成処理手段とを備える再構成型の超解像処理を行う手段であって、
複数ある前記初期画像作成手段の出力を前記選択信号に応じて対応する前記再構成処理手段に出力する第２の選択手段と、
複数ある前記位置合わせ処理手段の出力を前記選択信号に応じて対応する前記再構成処理手段に出力する第３の選択手段を備えた請求項２または請求項３に記載の画像処理装置。
【請求項５】
前記第３の選択手段は、前記選択信号に応じて入力を切り替えて出力する請求項４に記載の画像処理装置。
【請求項６】
前記第３の選択手段は、前記選択信号に応じて入力をブレンドして出力する請求項４に記載の画像処理装置。
【請求項７】
前記特性解析手段は、前記入力画像内の動きの程度に応じた前記選択信号を出力する請求項１乃至請求項６のいずれか１項に記載の画像処理装置。
【請求項８】
インターレース形式の入力画像に対し超解像処理を施しインターレース形式で出力する画像処理装置における画像処理方法であって、
フィールド超解像処理手段により、インターレース形式の入力画像に対し、フィールド毎に超解像処理を実行する工程と、
フレーム超解像処理・フィールド抽出手段により、前記フィールド超解像処理手段による処理と並行して、前記入力画像に対し、そのＴｏｐフィールドとＢｏｔｔｏｍフィールドを組み合わせて構成されたフレーム毎に超解像処理を実行し、フィールド単位で出力する工程と、
特性解析手段により、前記入力画像の特性を解析し、該特性に応じた選択信号を出力する工程と、
選択手段により、前記フィールド超解像処理手段およびフレーム超解像処理・フィールド抽出手段の出力をインターレース形式で前記選択信号に応じて出力する工程と、
を含む画像処理方法。
【請求項９】
インターレース形式の入力画像に対し、フィールド毎に超解像処理を実行するフィールド超解像処理手段と、
前記入力画像に対し、そのＴｏｐフィールドとＢｏｔｔｏｍフィールドを組み合わせて構成されたフレーム毎に超解像処理を実行し、フィールド単位で出力するフレーム超解像処理・フィールド抽出手段と、
前記入力画像の特性を解析し、該特性に応じた選択信号を出力する特性解析手段と、
前記選択信号に応じて、（１）前記フィールド超解像処理手段による処理と、（２）前記フレーム超解像処理・フィールド抽出手段による処理と、を切り替える選択手段と、
を備えた画像処理装置。
【請求項１０】
インターレース形式の入力画像に対し超解像処理を施しインターレース形式で出力する画像処理装置における画像処理方法であって、
特性解析手段により、前記入力画像の特性を解析し、該特性に応じた選択情報を出力する工程と、
前記選択情報に応じて、選択手段により、（１）フィールド超解像処理手段による、インターレース形式の入力画像に対し、フィールド毎に超解像処理を実行する工程と、（２）フレーム超解像処理・フィールド抽出手段による、前記入力画像に対し、そのＴｏｐフィールドとＢｏｔｔｏｍフィールドを組み合わせて構成されたフレーム毎に超解像処理を実行し、フィールド単位で出力する工程と、を切り替える工程と、
を含む画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１３−７４３２１（Ｐ２０１３−７４３２１Ａ）
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願番号】特願２０１１−２０９６５８（Ｐ２０１１−２０９６５８）
【出願日】平成２３年９月２６日（２０１１．９．２６）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願日】平成２３年９月２６日（２０１１．９．２６）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]