画像処理装置及び画像処理方法
【課題】超解像度変換により高解像化された映像信号に対するグラフィックス信号の重畳を、映像の品質を維持しつつ行うことが可能な画像処理装置及び画像処理方法を提供する。
【解決手段】第１解像度の映像信号が入力され、当該第１解像度の映像信号から本来の画素値を推定して画素を増やすことにより、前記第１解像度よりも高い第２解像度の映像信号を復元する超解像度変換処理を行う超解像度変換手段と、所定の画像を表すグラフィックス信号を生成するグラフィックス信号生成手段と、前記超解像度変換手段の後段に設けられ、当該超解像度変換手段により復元された第２解像度の映像信号に、前記グラフィックス信号を重畳するブレンド処理手段と、を備える。
【解決手段】第１解像度の映像信号が入力され、当該第１解像度の映像信号から本来の画素値を推定して画素を増やすことにより、前記第１解像度よりも高い第２解像度の映像信号を復元する超解像度変換処理を行う超解像度変換手段と、所定の画像を表すグラフィックス信号を生成するグラフィックス信号生成手段と、前記超解像度変換手段の後段に設けられ、当該超解像度変換手段により復元された第２解像度の映像信号に、前記グラフィックス信号を重畳するブレンド処理手段と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
従来、テレビジョン等の画像表示装置では、ユーザインタフェース画面やテキスト等を表示するためのグラフィックス信号を映像信号に重畳することで、グラフィックス信号の画像を映像信号の画面上に重畳表示する技術が用いられている。例えば、特許文献１には、外部グラフィック発生装置で発生させたグラフィクス画像と、映像信号とを混合し、混合画像の信号を表示部に出力する画像表示装置が開示されている。
【０００３】
一方、高解像度のテレビやディスプレイの普及に伴い、映像信号の高解像度化が進んでいる。特に、低解像度の映像信号から本来の画素値を推定して画素を増やすことにより、高解像度の映像信号を復元することで、映像信号の鮮鋭度を維持しつつ高解像度化を実現する超解像度変換（超解像度変換処理）と呼ばれる画像処理技術が登場してきている（例えば、特許文献２、特許文献３等参照）。
【０００４】
【特許文献１】特開２００５−９９５１６号公報
【特許文献２】特開２００７−３３６２３９号公報
【特許文献３】特開２００７−３１０８３７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、グラフィックス信号が重畳された映像信号に超解像度変換処理を施すと、この超解像度変換による高解像度化時にグラフィックス信号が表す画像に歪みが生じる可能性があり、映像の品質（画質）が低下するという問題がある。なお、特許文献１に開示された技術では、映像信号にグラフィックス信号を重畳することはできるものの、上述した超解像度変換処理が施されることは想定されておらず、上記問題を解決することはできない。
【０００６】
本発明は、上記に鑑みてなされたものであって、超解像度変換により高解像化された映像信号に対するグラフィックス信号の重畳を、映像の品質を維持しつつ行うことが可能な画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明は、第１解像度の映像信号が入力され、当該第１解像度の映像信号から本来の画素値を推定して画素を増やすことにより、前記第１解像度よりも高い第２解像度の映像信号を復元する超解像度変換手段と、所定の画像を表すグラフィックス信号を生成するグラフィックス信号生成手段と、前記第２解像度の映像信号に前記グラフィックス信号を重畳するブレンド処理手段と、を備える。
【０００８】
また、本発明は、第１解像度の映像信号を、超解像度技術を用いて第２解像度の映像信号に高解像度化する超解像度変換手段と、所定の画像を表すグラフィックス信号を生成するグラフィックス信号生成手段と、前記第２解像度の映像信号に前記グラフィックス信号を重畳するブレンド処理手段と、を備える。
【０００９】
また、本発明は、超解像度変換手段が、第１解像度の映像信号から本来の画素値を推定して画素を増やすことにより、前記第１解像度よりも高い第２解像度の映像信号を復元する超解像度変換処理を行う超解像度変換工程と、グラフィックス信号生成手段が、所定の画像を表すグラフィックス信号を生成するグラフィックス信号生成工程と、前記超解像度変換手段の後段に設けられたブレンド処理手段が、前記超解像度変換手段により復元された第２解像度の映像信号に、前記グラフィックス信号を重畳するブレンド処理工程と、を含む。
【発明の効果】
【００１０】
本発明によれば、超解像度変換手段の後段にブレンド処理手段を設けたことで、当該超解像度変換手段で復元された第２解像度の映像信号に、グラフィックス信号生成手段で生成されたグラフィックス信号を重畳することができるため、超解像度変換により高解像化された映像信号に対するグラフィックス信号の重畳を、映像の品質を維持しつつ行うことが可能となる。
【発明を実施するための最良の形態】
【００１１】
以下、添付図面を参照して、本発明にかかる画像処理装置及び画像処理方法の最良な実施形態を詳細に説明する。なお、本発明は以下の実施形態に限定されないものとする。
【００１２】
［第１の実施形態］
図１は、本実施形態に係る画像表示装置１００のシステムを概略的に示したブロック図である。同図に示したように、画像表示装置１００は、映像信号入力部１１と、メイン処理部１２と、画像処理装置に対応する高解像度化部１３と、動画改善処理部１４と、表示処理部１５と、表示部１６と、音声処理部１７と、音声出力部１８とを備えている。
【００１３】
映像信号入力部１１は、表示の対象となる映像信号が入力される部位であって、デジタル放送受信部１１１と、ＩＰＴＶ信号処理部１１２と、インターネット等のＩＰ網を介して送信されるデータを受信するインターネット信号処理部１１３と、アナログ信号の入力を受け付ける外部入力部１１４とを備えている。ここで「映像信号」とは、静止画像や動画像からなる映像信号の他、音声信号をも含む概念である。
【００１４】
デジタル放送受信部１１１は、ＢＳ、ＣＳ、地上波等のデジタル放送を受信するためのデジタルアンテナ１１１１と、デジタル放送を選局するためのデジタルチューナ１１１２と、デジタル放送を復調しデジタルの映像信号としてメイン処理部１２に出力するデジタル信号復調部１１１３とを有している。
【００１５】
ＩＰＴＶ信号処理部１１２は、専用のＩＰ網を介して送信されるＩＰ放送を受信し、デジタルの映像信号としてメイン処理部１２に出力する。
【００１６】
インターネット信号処理部１１３は、インターネット等のＩＰ網を介して送信されるデータ（静止画像や動画像）を受信し、デジタルの映像信号としてメイン処理部１２に出力する。
【００１７】
外部入力部１１４は、アナログ放送を受信するためのアナログアンテナ１１４１と、アナログ放送を選局するためのアナログチューナ１１４２と、アナログ信号にＡ／Ｄ変換等の信号処理を施し、デジタルの映像信号としてメイン処理部１２に出力する外部入力信号処理部１１４３とを有している。なお、外部入力信号処理部１１４３は、ゲーム機やＰＣ（Personal Computer）、ＤＶＤプレーヤ等の外部機器と接続するための端子を有し（図示せず）、当該入力端子を介して外部機器から入力されるアナログ信号に対しても信号処理を施すものとする。
【００１８】
メイン処理部１２は、映像信号入力部１１から入力される映像信号を、映像信号と音声信号とに分離し、この映像信号に所定の信号処理を施した後、高解像度化部１３に出力する。ここで、メイン処理部１２が施す信号処理としては、入力された映像信号のフォーマットを所定のフォーマット（例えば、ＭＰＥＧ等）に変換するフォーマット変換処理や、入力された映像信号の解像度を所定の解像度（例えば、１２８０×７２０等）に変換するスケーリング処理等が挙げられる。
【００１９】
図２は、高解像度化部１３の詳細構成を示したブロック図である。同図に示したように、高解像度化部１３は、前処理部１３１と、超解像度変換処理部１３２と、グラフィックス信号生成部１３３と、ブレンド処理部１３４と、後処理部１３５とを備えている。
【００２０】
前処理部１３１は、メイン処理部１２から入力された映像信号に対し、ＩＰ（インターレース・プログレッシブ）変換処理や、映像信号に含まれたノイズを除去するＮＲ（ノイズリダクション）処理等の前処理を施し、超解像度変換処理部１３２に出力する。
【００２１】
ここで、ＩＰ変換処理としては、例えば、映像信号に含まれた画像の動きを検出することで当該映像信号が静止画像か動画像かを判別し、静止画像と判別したときには静止画像用の補間処理を行い、動画像と判定したときには動画用の補間処理を行うことが挙げられる。また、ノイズリダクション処理としては、画像の輪郭補正や、画像ボケやギラツキ感の低減、過度なイコライジング（高域強調）を抑える補正、水平方向にカメラが移動する際のブレ改善等の処理が挙げられる。
【００２２】
超解像度変換処理部１３２は、前処理部１３１からの映像信号に対して、当該映像信号を高解像度化するための画像処理（以下、超解像度変換処理という）を施し、後段のブレンド処理部１３４に出力する。
【００２３】
ここで、超解像度変換処理とは、第１解像度である低解像度の映像信号から本来の画素値を推定して画素を増やすことにより、第２解像度である高解像度の映像信号を復元する画像処理を意味する。「本来の画素値」とは、例えば、低解像度（第１解像度）の映像信号を得たときと同じ被写体を、高解像度（第２解像度）の映像信号の画素数を持つカメラで撮像したときに得られる映像信号の各画素が持つ値を指す。また、「推定して画素を増やす」とは、画像の特徴を捕らえて、相関性があるという画像の特徴を利用して周辺（フレーム内またはフレーム間）の画像から本来の画素値を推定して画素を増やすことを意味する。
【００２４】
なお、超解像度変換処理については、特開２００７−３１０８３７号公報、特開２００８−９８８０３号公報や特開２０００−１８８６８０号公報等に開示された公知・公用の技術を用いることが可能である。本実施形態の超解像度変換処理の技術としては、例えば、入力画像の標本化周期で決まるナイキスト周波数より高い周波数成分を有する画像を復元する技術を用いる。
【００２５】
例えば、特開２００７−３１０８３７号公報に開示された超解像度変換処理を用いる場合には、複数の低解像度の映像信号（低解像度フレーム）の夫々に対してフレーム中の注目画素を含む注目画像領域中の画素値の変化パターンに最も近い複数の注目画像領域に対応する複数の対応点を基準フレームの中から選択し、対応点での輝度の標本値を対応点に対応している注目画素の画素値に設定し、複数の標本値の大きさと、複数の対応点の配置とに基づいて、基準フレームの画素数よりも多い画素数の高解像度フレームであって基準フレームに対応する高解像度フレームの画素値を算出することにより、低解像度の映像信号から本来の画素値を推定して画素を増やすことにより、高解像度の映像信号を復元する。
【００２６】
また、特開２００８−９８８０３号公報に開示された同一フレーム画像内の自己合同位置探索を利用した超解像度変換処理を用いる場合には、低解像度フレームの探索領域の各画素の誤差を比較して最小となる第１の画素位置を算出し、第１の画素位置及びこの第１の誤差、第１の画素の周辺の第２の画素位置及びこの第２の誤差に基づいて、探索領域のなかで誤差が最小となる位置を小数精度で算出する。そして、この位置を終点及び注目画素を始点とする小数精度ベクトルを算出し、小数精度ベクトルを用いて、探索領域に含まれない画面上の画素を終点とする、小数精度ベクトルの外挿ベクトルを算出する。そして、小数精度ベクトル、外挿ベクトル及び画像データから取得された画素値に基づいて、画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出する。超解像度変換処理部１３２は、このような処理を行うことにより、低解像度の映像信号から本来の画素値を推定して画素を増やすことにより、高解像度の映像信号を復元する。
【００２７】
また、特開２０００−１８８６８０号公報に開示された複数フレーム画像間でのマッピングを利用した超解像度変換処理を用いることもできる。
【００２８】
ただし、超解像度変換処理部１３２における超解像度変換処理の手法は、上記に限定されるものではなく、低解像度の映像信号から本来の画素値を推定して画素を増やすことにより、高解像度の映像信号を復元する処理であれば、あらゆる手法を適用することができる。
【００２９】
グラフィックス信号生成部１３３は、図示しない操作ボタンやリモコン等の入力デバイスを介した指示入力に応じて、画像表示装置１００の設定画面や、情報提示のためのテキスト等を表すグラフィックス信号を生成し、ブレンド処理部１３４に出力する。
【００３０】
なお、グラフィックス信号生成部１３３は、超解像度変換処理部１３２から出力される映像信号の形式と同一の形式でグラフィックス信号を生成するものとする。例えば、超解像度変換処理部１３２からの映像信号が輝度信号（Ｙ信号）と色差信号（Ｃ信号）とに分離されたＹＣｂＣｒ形式である場合には、このＹＣｂＣｒ形式でグラフィックス信号を生成するものとする。また、超解像度変換処理部１３２からの映像信号がＲＧＢ形式である場合には、このＲＧＢ形式でグラフィックス信号を生成するものとする。
【００３１】
ブレンド処理部１３４は、超解像度変換処理部１３２からの映像信号に、グラフィックス信号生成部１３３からのグラフィックス信号を重畳し、後処理部１３５に出力する。なお、グラフィックス信号生成部１３３からグラフィックス信号が入力されない場合には、信号の重畳を行わず、超解像度変換処理部１３２からの映像信号を後処理部１３５に出力するものとする。
【００３２】
後処理部１３５は、ブレンド処理部１３４でグラフィックス信号が重畳された映像信号に対して、ガンマ補正等の画像補正処理を施し、後段の動画改善処理部１４に出力する。
【００３３】
このように、高解像度化部１３では、超解像度変換処理部１３２により超解像度変換処理を施した映像信号にグラフィックス信号を重畳する構成としている。これにより、超解像度変換処理部１３２での処理にかかる負荷や、当該処理のバッファとなるメモリ（図示せず）の使用量を抑えることができるとともに、実行速度を向上することができるため、処理の効率化を図ることが可能である。
【００３４】
図１に戻り、動画改善処理部１４は、高解像度化部１３から入力される映像信号から中間フレームを生成することで、当該映像信号の１秒あたりのフレーム数を所定の値まで増加し、後段の表示処理部１５に出力する。例えば、高解像度化部１３から入力された映像信号が、１秒あたり６０フレームであったとすると、動画改善処理部１４は、この６０フレームの各画像から中間フレームを生成することで、１秒あたり１２０フレームの映像信号を生成し、表示処理部１５に出力する。
【００３５】
表示処理部１５は、ディスプレイドライバ等であって、動画改善処理部１４から入力される映像信号の表示部１６への表示を制御する。また、表示部１６は、液晶表示パネルやプラズマパネル、ＳＥＤ（Surface-conduction Electron-emitter Display）パネル等の表示デバイスであって、表示処理部１５の制御の下、映像信号に応じた画面を表示する。
【００３６】
音声処理部１７は、メイン処理部１２から入力されるデジタルの音声信号を、音声出力部１８で再生可能なフォーマットのアナログ音声信号に変換し、音声出力部１８に出力する。音声出力部１８は、スピーカ等であって、音声処理部１７から入力されるアナログ音声信号を音声出力する。
【００３７】
次に、高解像度化部１３の動作について説明する。図３は、高解像度化部１３による高解像度化処理の手順を示したシーケンス図である。なお、本処理では、図示しない操作ボタンやリモコン等を介し、画像表示装置１００の設定画面の表示が指示された場合の例について説明する。
【００３８】
まず、メイン処理部１２から高解像度化部１３に映像信号が入力されると、前処理部１３１は入力された映像信号に対して、上述した前処理を施し（ステップＳ１１）、この処理を施した映像信号を超解像度変換処理部１３２に出力する（ステップＳ１２）。
【００３９】
超解像度変換処理部１３２では、前処理部１３１から映像信号を受け付けると、この映像信号を、上述した超解像度変換処理を施すことで高解像度化し（ステップＳ１３）、この処理を施した映像信号をブレンド処理部１３４に出力する（ステップＳ１４）。
【００４０】
一方、グラフィックス信号生成部１３３では、画像表示装置１００の設定画面を表すグラフィックス信号の生成を行い（ステップＳ１５）、ブレンド処理部１３４に出力する（ステップＳ１６）。
【００４１】
ブレンド処理部１３４では、超解像度変換処理部１３２からの映像信号に、グラフィックス信号生成部１３３からのグラフィックス信号を重畳することで、映像信号が表す画面上にグラフィックス信号が表す画像を合成する（ステップＳ１７）。そして、ブレンド処理部１３４は、グラフィックス信号を重畳した映像信号を後処理部１３５に出力する（ステップＳ１８）。
【００４２】
後処理部１３５は、超解像度変換処理部１３２から映像信号（グラフィックス信号重畳済み）を受け付けると、この映像信号に上述した後処理を施し（ステップＳ１９）、この処理結果となる映像信号を動画改善処理部１４に出力することで本処理を終了する。
【００４３】
以上のように、第１の実施形態によれば、超解像度変換処理部１３２の後段にブレンド処理部１３４を設けたことで、この超解像度変換処理部１３２で処理された映像信号に、グラフィックス信号生成部１３３で生成されたグラフィックス信号を重畳することができるため、超解像度変換により高解像化された映像信号に対するグラフィックス信号の重畳を、映像の品質を維持しつつ行うことが可能となる。
【００４４】
なお、本実施形態では、後処理部１３５の前段にブレンド処理部１３４を設けた構成としたが、例えば、図４に示したように、後処理部１３５の後段にブレンド処理部１３４を設ける態様としてもよい。ここで図４は、高解像度化部１３の変形例である高解像度化部２１の詳細構成を示したブロック図であって、後処理部１３５の後段にブレンド処理部１３４を設けた構成となっている。
【００４５】
図４に示した構成の場合、後処理部１３５により後処理が施された映像信号にグラフィックス信号を重畳することができるため、グラフィックス信号に後処理が施されてしまうことを回避することができるため、高解像度化部１３での処理の効率化を図ることができる。なお、この構成の場合、グラフィックス信号生成部１３３は、後処理部１３５から出力される映像信号の形式と同一の形式でグラフィックス信号を生成するものとする。
【００４６】
また、超解像度変換処理部１３２による超解像度変換処理後の映像信号をＤＶＤ等の記録媒体に記録する場合を考えると、グラフィックス信号を重畳する前に超解像度変換処理を施す構成とすることで、グラフィックス信号が重畳されていない映像信号（超解像度変換処理済み）を記録媒体に保存することが可能となる。
【００４７】
具体的には、図５に示したように、超解像度変換処理部１３２からの出力がエンコーダ部１９１に入力されるよう構成し、当該エンコーダ部１９１からの出力を記録部１９２で記録することで、映像信号（超解像度変換処理済み）を記録媒体に保存することが可能となる。なお、図５は、高解像度化部１３の変形例である高解像度化部２２の詳細構成を示したブロック図である。
【００４８】
ここで、エンコーダ部１９１は、超解像度変換処理部１３２からの映像信号をＨ．２６４等の所定の画像圧縮形式に変換（エンコード）し、記録部１９２に出力する。また、記録部１９２は、ＤＶＤ−Ｒ等の記録媒体にデータの記録を行う記録装置であって、エンコーダ部１９１から入力されるエンコード済みの映像信号を、記録媒体に記録する。
【００４９】
この構成により、グラフィックス信号が重畳されていない高解像度化済みの映像信号を、エンコーダ部１９１及び記録部１９２に出力することができるため、高解像度化された映像信号のみをＤＶＤ−Ｒ等の記録媒体に記録することが可能となる。
【００５０】
以上、本発明に実施形態について説明したが、これに限定されるものではなく、本発明の主旨を逸脱しない範囲での種々の変更、置換、追加、組み合わせ等が可能である。
【００５１】
例えば、上記実施形態では、本発明に係る画像処理装置を映像信号の表示を行う画像表示装置に適用した例について説明したが、適用される対象はこれに限らないものとする、例えば、デジタルカメラやビデオカメラ、静止画像や動画像の再生を行う画像再生装置等に適用することとしてもよい。
【図面の簡単な説明】
【００５２】
【図１】画像表示装置の構成の一例を示したブロック図である。
【図２】図１に示した高解像度化部の詳細構成を示したブロック図である。
【図３】図２に示した高解像度化部による高解像度化処理の手順を示したシーケンス図である。
【図４】図２に示した高解像度化部の変形例を示したブロック図である。
【図５】図２に示した高解像度化部の変形例を示したブロック図である。
【符号の説明】
【００５３】
１００…画像表示装置、１１…映像信号入力部、１１１…デジタル放送受信部、１１１１…デジタルアンテナ、１１１２…デジタルチューナ、１１１３…デジタル信号復調部、１１２…ＩＰＴＶ信号処理部、１１３…インターネット信号処理部、１１４…外部入力部、１１４１…アナログアンテナ、１１４２…アナログチューナ、１１４３…外部入力信号処理部、１２…メイン処理部、１３…高解像度化部、１３１…前処理部、１３２…超解像度変換処理部、１３３…グラフィックス信号生成部、１３４…ブレンド処理部、１３５…後処理部、１４…動画改善処理部、１５…表示処理部、１６…表示部、１７…音声処理部、１８…音声出力部、１９１…エンコーダ部、１９２…記録部、２１…高解像度化部、２２…高解像度化部。
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
従来、テレビジョン等の画像表示装置では、ユーザインタフェース画面やテキスト等を表示するためのグラフィックス信号を映像信号に重畳することで、グラフィックス信号の画像を映像信号の画面上に重畳表示する技術が用いられている。例えば、特許文献１には、外部グラフィック発生装置で発生させたグラフィクス画像と、映像信号とを混合し、混合画像の信号を表示部に出力する画像表示装置が開示されている。
【０００３】
一方、高解像度のテレビやディスプレイの普及に伴い、映像信号の高解像度化が進んでいる。特に、低解像度の映像信号から本来の画素値を推定して画素を増やすことにより、高解像度の映像信号を復元することで、映像信号の鮮鋭度を維持しつつ高解像度化を実現する超解像度変換（超解像度変換処理）と呼ばれる画像処理技術が登場してきている（例えば、特許文献２、特許文献３等参照）。
【０００４】
【特許文献１】特開２００５−９９５１６号公報
【特許文献２】特開２００７−３３６２３９号公報
【特許文献３】特開２００７−３１０８３７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、グラフィックス信号が重畳された映像信号に超解像度変換処理を施すと、この超解像度変換による高解像度化時にグラフィックス信号が表す画像に歪みが生じる可能性があり、映像の品質（画質）が低下するという問題がある。なお、特許文献１に開示された技術では、映像信号にグラフィックス信号を重畳することはできるものの、上述した超解像度変換処理が施されることは想定されておらず、上記問題を解決することはできない。
【０００６】
本発明は、上記に鑑みてなされたものであって、超解像度変換により高解像化された映像信号に対するグラフィックス信号の重畳を、映像の品質を維持しつつ行うことが可能な画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明は、第１解像度の映像信号が入力され、当該第１解像度の映像信号から本来の画素値を推定して画素を増やすことにより、前記第１解像度よりも高い第２解像度の映像信号を復元する超解像度変換手段と、所定の画像を表すグラフィックス信号を生成するグラフィックス信号生成手段と、前記第２解像度の映像信号に前記グラフィックス信号を重畳するブレンド処理手段と、を備える。
【０００８】
また、本発明は、第１解像度の映像信号を、超解像度技術を用いて第２解像度の映像信号に高解像度化する超解像度変換手段と、所定の画像を表すグラフィックス信号を生成するグラフィックス信号生成手段と、前記第２解像度の映像信号に前記グラフィックス信号を重畳するブレンド処理手段と、を備える。
【０００９】
また、本発明は、超解像度変換手段が、第１解像度の映像信号から本来の画素値を推定して画素を増やすことにより、前記第１解像度よりも高い第２解像度の映像信号を復元する超解像度変換処理を行う超解像度変換工程と、グラフィックス信号生成手段が、所定の画像を表すグラフィックス信号を生成するグラフィックス信号生成工程と、前記超解像度変換手段の後段に設けられたブレンド処理手段が、前記超解像度変換手段により復元された第２解像度の映像信号に、前記グラフィックス信号を重畳するブレンド処理工程と、を含む。
【発明の効果】
【００１０】
本発明によれば、超解像度変換手段の後段にブレンド処理手段を設けたことで、当該超解像度変換手段で復元された第２解像度の映像信号に、グラフィックス信号生成手段で生成されたグラフィックス信号を重畳することができるため、超解像度変換により高解像化された映像信号に対するグラフィックス信号の重畳を、映像の品質を維持しつつ行うことが可能となる。
【発明を実施するための最良の形態】
【００１１】
以下、添付図面を参照して、本発明にかかる画像処理装置及び画像処理方法の最良な実施形態を詳細に説明する。なお、本発明は以下の実施形態に限定されないものとする。
【００１２】
［第１の実施形態］
図１は、本実施形態に係る画像表示装置１００のシステムを概略的に示したブロック図である。同図に示したように、画像表示装置１００は、映像信号入力部１１と、メイン処理部１２と、画像処理装置に対応する高解像度化部１３と、動画改善処理部１４と、表示処理部１５と、表示部１６と、音声処理部１７と、音声出力部１８とを備えている。
【００１３】
映像信号入力部１１は、表示の対象となる映像信号が入力される部位であって、デジタル放送受信部１１１と、ＩＰＴＶ信号処理部１１２と、インターネット等のＩＰ網を介して送信されるデータを受信するインターネット信号処理部１１３と、アナログ信号の入力を受け付ける外部入力部１１４とを備えている。ここで「映像信号」とは、静止画像や動画像からなる映像信号の他、音声信号をも含む概念である。
【００１４】
デジタル放送受信部１１１は、ＢＳ、ＣＳ、地上波等のデジタル放送を受信するためのデジタルアンテナ１１１１と、デジタル放送を選局するためのデジタルチューナ１１１２と、デジタル放送を復調しデジタルの映像信号としてメイン処理部１２に出力するデジタル信号復調部１１１３とを有している。
【００１５】
ＩＰＴＶ信号処理部１１２は、専用のＩＰ網を介して送信されるＩＰ放送を受信し、デジタルの映像信号としてメイン処理部１２に出力する。
【００１６】
インターネット信号処理部１１３は、インターネット等のＩＰ網を介して送信されるデータ（静止画像や動画像）を受信し、デジタルの映像信号としてメイン処理部１２に出力する。
【００１７】
外部入力部１１４は、アナログ放送を受信するためのアナログアンテナ１１４１と、アナログ放送を選局するためのアナログチューナ１１４２と、アナログ信号にＡ／Ｄ変換等の信号処理を施し、デジタルの映像信号としてメイン処理部１２に出力する外部入力信号処理部１１４３とを有している。なお、外部入力信号処理部１１４３は、ゲーム機やＰＣ（Personal Computer）、ＤＶＤプレーヤ等の外部機器と接続するための端子を有し（図示せず）、当該入力端子を介して外部機器から入力されるアナログ信号に対しても信号処理を施すものとする。
【００１８】
メイン処理部１２は、映像信号入力部１１から入力される映像信号を、映像信号と音声信号とに分離し、この映像信号に所定の信号処理を施した後、高解像度化部１３に出力する。ここで、メイン処理部１２が施す信号処理としては、入力された映像信号のフォーマットを所定のフォーマット（例えば、ＭＰＥＧ等）に変換するフォーマット変換処理や、入力された映像信号の解像度を所定の解像度（例えば、１２８０×７２０等）に変換するスケーリング処理等が挙げられる。
【００１９】
図２は、高解像度化部１３の詳細構成を示したブロック図である。同図に示したように、高解像度化部１３は、前処理部１３１と、超解像度変換処理部１３２と、グラフィックス信号生成部１３３と、ブレンド処理部１３４と、後処理部１３５とを備えている。
【００２０】
前処理部１３１は、メイン処理部１２から入力された映像信号に対し、ＩＰ（インターレース・プログレッシブ）変換処理や、映像信号に含まれたノイズを除去するＮＲ（ノイズリダクション）処理等の前処理を施し、超解像度変換処理部１３２に出力する。
【００２１】
ここで、ＩＰ変換処理としては、例えば、映像信号に含まれた画像の動きを検出することで当該映像信号が静止画像か動画像かを判別し、静止画像と判別したときには静止画像用の補間処理を行い、動画像と判定したときには動画用の補間処理を行うことが挙げられる。また、ノイズリダクション処理としては、画像の輪郭補正や、画像ボケやギラツキ感の低減、過度なイコライジング（高域強調）を抑える補正、水平方向にカメラが移動する際のブレ改善等の処理が挙げられる。
【００２２】
超解像度変換処理部１３２は、前処理部１３１からの映像信号に対して、当該映像信号を高解像度化するための画像処理（以下、超解像度変換処理という）を施し、後段のブレンド処理部１３４に出力する。
【００２３】
ここで、超解像度変換処理とは、第１解像度である低解像度の映像信号から本来の画素値を推定して画素を増やすことにより、第２解像度である高解像度の映像信号を復元する画像処理を意味する。「本来の画素値」とは、例えば、低解像度（第１解像度）の映像信号を得たときと同じ被写体を、高解像度（第２解像度）の映像信号の画素数を持つカメラで撮像したときに得られる映像信号の各画素が持つ値を指す。また、「推定して画素を増やす」とは、画像の特徴を捕らえて、相関性があるという画像の特徴を利用して周辺（フレーム内またはフレーム間）の画像から本来の画素値を推定して画素を増やすことを意味する。
【００２４】
なお、超解像度変換処理については、特開２００７−３１０８３７号公報、特開２００８−９８８０３号公報や特開２０００−１８８６８０号公報等に開示された公知・公用の技術を用いることが可能である。本実施形態の超解像度変換処理の技術としては、例えば、入力画像の標本化周期で決まるナイキスト周波数より高い周波数成分を有する画像を復元する技術を用いる。
【００２５】
例えば、特開２００７−３１０８３７号公報に開示された超解像度変換処理を用いる場合には、複数の低解像度の映像信号（低解像度フレーム）の夫々に対してフレーム中の注目画素を含む注目画像領域中の画素値の変化パターンに最も近い複数の注目画像領域に対応する複数の対応点を基準フレームの中から選択し、対応点での輝度の標本値を対応点に対応している注目画素の画素値に設定し、複数の標本値の大きさと、複数の対応点の配置とに基づいて、基準フレームの画素数よりも多い画素数の高解像度フレームであって基準フレームに対応する高解像度フレームの画素値を算出することにより、低解像度の映像信号から本来の画素値を推定して画素を増やすことにより、高解像度の映像信号を復元する。
【００２６】
また、特開２００８−９８８０３号公報に開示された同一フレーム画像内の自己合同位置探索を利用した超解像度変換処理を用いる場合には、低解像度フレームの探索領域の各画素の誤差を比較して最小となる第１の画素位置を算出し、第１の画素位置及びこの第１の誤差、第１の画素の周辺の第２の画素位置及びこの第２の誤差に基づいて、探索領域のなかで誤差が最小となる位置を小数精度で算出する。そして、この位置を終点及び注目画素を始点とする小数精度ベクトルを算出し、小数精度ベクトルを用いて、探索領域に含まれない画面上の画素を終点とする、小数精度ベクトルの外挿ベクトルを算出する。そして、小数精度ベクトル、外挿ベクトル及び画像データから取得された画素値に基づいて、画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出する。超解像度変換処理部１３２は、このような処理を行うことにより、低解像度の映像信号から本来の画素値を推定して画素を増やすことにより、高解像度の映像信号を復元する。
【００２７】
また、特開２０００−１８８６８０号公報に開示された複数フレーム画像間でのマッピングを利用した超解像度変換処理を用いることもできる。
【００２８】
ただし、超解像度変換処理部１３２における超解像度変換処理の手法は、上記に限定されるものではなく、低解像度の映像信号から本来の画素値を推定して画素を増やすことにより、高解像度の映像信号を復元する処理であれば、あらゆる手法を適用することができる。
【００２９】
グラフィックス信号生成部１３３は、図示しない操作ボタンやリモコン等の入力デバイスを介した指示入力に応じて、画像表示装置１００の設定画面や、情報提示のためのテキスト等を表すグラフィックス信号を生成し、ブレンド処理部１３４に出力する。
【００３０】
なお、グラフィックス信号生成部１３３は、超解像度変換処理部１３２から出力される映像信号の形式と同一の形式でグラフィックス信号を生成するものとする。例えば、超解像度変換処理部１３２からの映像信号が輝度信号（Ｙ信号）と色差信号（Ｃ信号）とに分離されたＹＣｂＣｒ形式である場合には、このＹＣｂＣｒ形式でグラフィックス信号を生成するものとする。また、超解像度変換処理部１３２からの映像信号がＲＧＢ形式である場合には、このＲＧＢ形式でグラフィックス信号を生成するものとする。
【００３１】
ブレンド処理部１３４は、超解像度変換処理部１３２からの映像信号に、グラフィックス信号生成部１３３からのグラフィックス信号を重畳し、後処理部１３５に出力する。なお、グラフィックス信号生成部１３３からグラフィックス信号が入力されない場合には、信号の重畳を行わず、超解像度変換処理部１３２からの映像信号を後処理部１３５に出力するものとする。
【００３２】
後処理部１３５は、ブレンド処理部１３４でグラフィックス信号が重畳された映像信号に対して、ガンマ補正等の画像補正処理を施し、後段の動画改善処理部１４に出力する。
【００３３】
このように、高解像度化部１３では、超解像度変換処理部１３２により超解像度変換処理を施した映像信号にグラフィックス信号を重畳する構成としている。これにより、超解像度変換処理部１３２での処理にかかる負荷や、当該処理のバッファとなるメモリ（図示せず）の使用量を抑えることができるとともに、実行速度を向上することができるため、処理の効率化を図ることが可能である。
【００３４】
図１に戻り、動画改善処理部１４は、高解像度化部１３から入力される映像信号から中間フレームを生成することで、当該映像信号の１秒あたりのフレーム数を所定の値まで増加し、後段の表示処理部１５に出力する。例えば、高解像度化部１３から入力された映像信号が、１秒あたり６０フレームであったとすると、動画改善処理部１４は、この６０フレームの各画像から中間フレームを生成することで、１秒あたり１２０フレームの映像信号を生成し、表示処理部１５に出力する。
【００３５】
表示処理部１５は、ディスプレイドライバ等であって、動画改善処理部１４から入力される映像信号の表示部１６への表示を制御する。また、表示部１６は、液晶表示パネルやプラズマパネル、ＳＥＤ（Surface-conduction Electron-emitter Display）パネル等の表示デバイスであって、表示処理部１５の制御の下、映像信号に応じた画面を表示する。
【００３６】
音声処理部１７は、メイン処理部１２から入力されるデジタルの音声信号を、音声出力部１８で再生可能なフォーマットのアナログ音声信号に変換し、音声出力部１８に出力する。音声出力部１８は、スピーカ等であって、音声処理部１７から入力されるアナログ音声信号を音声出力する。
【００３７】
次に、高解像度化部１３の動作について説明する。図３は、高解像度化部１３による高解像度化処理の手順を示したシーケンス図である。なお、本処理では、図示しない操作ボタンやリモコン等を介し、画像表示装置１００の設定画面の表示が指示された場合の例について説明する。
【００３８】
まず、メイン処理部１２から高解像度化部１３に映像信号が入力されると、前処理部１３１は入力された映像信号に対して、上述した前処理を施し（ステップＳ１１）、この処理を施した映像信号を超解像度変換処理部１３２に出力する（ステップＳ１２）。
【００３９】
超解像度変換処理部１３２では、前処理部１３１から映像信号を受け付けると、この映像信号を、上述した超解像度変換処理を施すことで高解像度化し（ステップＳ１３）、この処理を施した映像信号をブレンド処理部１３４に出力する（ステップＳ１４）。
【００４０】
一方、グラフィックス信号生成部１３３では、画像表示装置１００の設定画面を表すグラフィックス信号の生成を行い（ステップＳ１５）、ブレンド処理部１３４に出力する（ステップＳ１６）。
【００４１】
ブレンド処理部１３４では、超解像度変換処理部１３２からの映像信号に、グラフィックス信号生成部１３３からのグラフィックス信号を重畳することで、映像信号が表す画面上にグラフィックス信号が表す画像を合成する（ステップＳ１７）。そして、ブレンド処理部１３４は、グラフィックス信号を重畳した映像信号を後処理部１３５に出力する（ステップＳ１８）。
【００４２】
後処理部１３５は、超解像度変換処理部１３２から映像信号（グラフィックス信号重畳済み）を受け付けると、この映像信号に上述した後処理を施し（ステップＳ１９）、この処理結果となる映像信号を動画改善処理部１４に出力することで本処理を終了する。
【００４３】
以上のように、第１の実施形態によれば、超解像度変換処理部１３２の後段にブレンド処理部１３４を設けたことで、この超解像度変換処理部１３２で処理された映像信号に、グラフィックス信号生成部１３３で生成されたグラフィックス信号を重畳することができるため、超解像度変換により高解像化された映像信号に対するグラフィックス信号の重畳を、映像の品質を維持しつつ行うことが可能となる。
【００４４】
なお、本実施形態では、後処理部１３５の前段にブレンド処理部１３４を設けた構成としたが、例えば、図４に示したように、後処理部１３５の後段にブレンド処理部１３４を設ける態様としてもよい。ここで図４は、高解像度化部１３の変形例である高解像度化部２１の詳細構成を示したブロック図であって、後処理部１３５の後段にブレンド処理部１３４を設けた構成となっている。
【００４５】
図４に示した構成の場合、後処理部１３５により後処理が施された映像信号にグラフィックス信号を重畳することができるため、グラフィックス信号に後処理が施されてしまうことを回避することができるため、高解像度化部１３での処理の効率化を図ることができる。なお、この構成の場合、グラフィックス信号生成部１３３は、後処理部１３５から出力される映像信号の形式と同一の形式でグラフィックス信号を生成するものとする。
【００４６】
また、超解像度変換処理部１３２による超解像度変換処理後の映像信号をＤＶＤ等の記録媒体に記録する場合を考えると、グラフィックス信号を重畳する前に超解像度変換処理を施す構成とすることで、グラフィックス信号が重畳されていない映像信号（超解像度変換処理済み）を記録媒体に保存することが可能となる。
【００４７】
具体的には、図５に示したように、超解像度変換処理部１３２からの出力がエンコーダ部１９１に入力されるよう構成し、当該エンコーダ部１９１からの出力を記録部１９２で記録することで、映像信号（超解像度変換処理済み）を記録媒体に保存することが可能となる。なお、図５は、高解像度化部１３の変形例である高解像度化部２２の詳細構成を示したブロック図である。
【００４８】
ここで、エンコーダ部１９１は、超解像度変換処理部１３２からの映像信号をＨ．２６４等の所定の画像圧縮形式に変換（エンコード）し、記録部１９２に出力する。また、記録部１９２は、ＤＶＤ−Ｒ等の記録媒体にデータの記録を行う記録装置であって、エンコーダ部１９１から入力されるエンコード済みの映像信号を、記録媒体に記録する。
【００４９】
この構成により、グラフィックス信号が重畳されていない高解像度化済みの映像信号を、エンコーダ部１９１及び記録部１９２に出力することができるため、高解像度化された映像信号のみをＤＶＤ−Ｒ等の記録媒体に記録することが可能となる。
【００５０】
以上、本発明に実施形態について説明したが、これに限定されるものではなく、本発明の主旨を逸脱しない範囲での種々の変更、置換、追加、組み合わせ等が可能である。
【００５１】
例えば、上記実施形態では、本発明に係る画像処理装置を映像信号の表示を行う画像表示装置に適用した例について説明したが、適用される対象はこれに限らないものとする、例えば、デジタルカメラやビデオカメラ、静止画像や動画像の再生を行う画像再生装置等に適用することとしてもよい。
【図面の簡単な説明】
【００５２】
【図１】画像表示装置の構成の一例を示したブロック図である。
【図２】図１に示した高解像度化部の詳細構成を示したブロック図である。
【図３】図２に示した高解像度化部による高解像度化処理の手順を示したシーケンス図である。
【図４】図２に示した高解像度化部の変形例を示したブロック図である。
【図５】図２に示した高解像度化部の変形例を示したブロック図である。
【符号の説明】
【００５３】
１００…画像表示装置、１１…映像信号入力部、１１１…デジタル放送受信部、１１１１…デジタルアンテナ、１１１２…デジタルチューナ、１１１３…デジタル信号復調部、１１２…ＩＰＴＶ信号処理部、１１３…インターネット信号処理部、１１４…外部入力部、１１４１…アナログアンテナ、１１４２…アナログチューナ、１１４３…外部入力信号処理部、１２…メイン処理部、１３…高解像度化部、１３１…前処理部、１３２…超解像度変換処理部、１３３…グラフィックス信号生成部、１３４…ブレンド処理部、１３５…後処理部、１４…動画改善処理部、１５…表示処理部、１６…表示部、１７…音声処理部、１８…音声出力部、１９１…エンコーダ部、１９２…記録部、２１…高解像度化部、２２…高解像度化部。
【特許請求の範囲】
【請求項１】
第１解像度の映像信号が入力され、当該第１解像度の映像信号から本来の画素値を推定して画素を増やすことにより、前記第１解像度よりも高い第２解像度の映像信号を復元する超解像度変換処理を行う超解像度変換手段と、
所定の画像を表すグラフィックス信号を生成するグラフィックス信号生成手段と、
前記超解像度変換手段の後段に設けられ、当該超解像度変換手段により復元された第２解像度の映像信号に、前記グラフィックス信号を重畳するブレンド処理手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記第２解像度の映像信号と前記グラフィックス信号とは、異なる経路で前記ブレンド処理手段に入力されることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記超解像度変換手段での処理に先がけて、前記第１解像度の映像信号に所定の画像処理を施す前処理手段を更に備えたことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記ブレンド処理手段の後段に設けられ、前記グラフィックス信号が重畳された前記第２解像度の映像信号に対し、所定の画像処理を施す後処理手段を更に備えたことを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
【請求項５】
前記超解像度変換手段と、前記ブレンド処理手段との間に設けられ、前記第２解像度の映像信号に対し、所定の画像処理を施す後処理手段を更に備えたことを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
【請求項６】
前記超解像度変換手段から前記ブレンド処理手段への経路上に接続された接続線を介し、前記超解像度変換手段から入力される前記第２解像度の映像信号を所定の動画形式に変換するエンコード手段を更に設けたことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記エンコード手段により所定の動画形式に変換された映像信号を記録媒体に記録する記録手段を更に備えたことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
第１解像度の映像信号を、超解像度技術を用いて第２解像度の映像信号に高解像度化する超解像度変換処理を行う超解像度変換手段と、
所定の画像を表すグラフィックス信号を生成するグラフィックス信号生成手段と、
前記超解像度変換手段の後段に設けられ、当該超解像度変換手段により復元された第２解像度の映像信号に、前記グラフィックス信号を重畳するブレンド処理手段と、
を備えたことを特徴とする画像処理装置。
【請求項９】
超解像度変換手段が、第１解像度の映像信号から本来の画素値を推定して画素を増やすことにより、前記第１解像度よりも高い第２解像度の映像信号を復元する超解像度変換処理を行う超解像度変換工程と、
グラフィックス信号生成手段が、所定の画像を表すグラフィックス信号を生成するグラフィックス信号生成工程と、
前記超解像度変換手段の後段に設けられたブレンド処理手段が、前記超解像度変換手段により復元された第２解像度の映像信号に、前記グラフィックス信号を重畳するブレンド処理工程と、
を含むことを特徴とする画像処理方法。
【請求項１】
第１解像度の映像信号が入力され、当該第１解像度の映像信号から本来の画素値を推定して画素を増やすことにより、前記第１解像度よりも高い第２解像度の映像信号を復元する超解像度変換処理を行う超解像度変換手段と、
所定の画像を表すグラフィックス信号を生成するグラフィックス信号生成手段と、
前記超解像度変換手段の後段に設けられ、当該超解像度変換手段により復元された第２解像度の映像信号に、前記グラフィックス信号を重畳するブレンド処理手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記第２解像度の映像信号と前記グラフィックス信号とは、異なる経路で前記ブレンド処理手段に入力されることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記超解像度変換手段での処理に先がけて、前記第１解像度の映像信号に所定の画像処理を施す前処理手段を更に備えたことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記ブレンド処理手段の後段に設けられ、前記グラフィックス信号が重畳された前記第２解像度の映像信号に対し、所定の画像処理を施す後処理手段を更に備えたことを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
【請求項５】
前記超解像度変換手段と、前記ブレンド処理手段との間に設けられ、前記第２解像度の映像信号に対し、所定の画像処理を施す後処理手段を更に備えたことを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
【請求項６】
前記超解像度変換手段から前記ブレンド処理手段への経路上に接続された接続線を介し、前記超解像度変換手段から入力される前記第２解像度の映像信号を所定の動画形式に変換するエンコード手段を更に設けたことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記エンコード手段により所定の動画形式に変換された映像信号を記録媒体に記録する記録手段を更に備えたことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
第１解像度の映像信号を、超解像度技術を用いて第２解像度の映像信号に高解像度化する超解像度変換処理を行う超解像度変換手段と、
所定の画像を表すグラフィックス信号を生成するグラフィックス信号生成手段と、
前記超解像度変換手段の後段に設けられ、当該超解像度変換手段により復元された第２解像度の映像信号に、前記グラフィックス信号を重畳するブレンド処理手段と、
を備えたことを特徴とする画像処理装置。
【請求項９】
超解像度変換手段が、第１解像度の映像信号から本来の画素値を推定して画素を増やすことにより、前記第１解像度よりも高い第２解像度の映像信号を復元する超解像度変換処理を行う超解像度変換工程と、
グラフィックス信号生成手段が、所定の画像を表すグラフィックス信号を生成するグラフィックス信号生成工程と、
前記超解像度変換手段の後段に設けられたブレンド処理手段が、前記超解像度変換手段により復元された第２解像度の映像信号に、前記グラフィックス信号を重畳するブレンド処理工程と、
を含むことを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１０−１０３５８４（Ｐ２０１０−１０３５８４Ａ）
【公開日】平成２２年５月６日（２０１０．５．６）
【国際特許分類】
【出願番号】特願２００８−２１４３０３（Ｐ２００８−２１４３０３）
【出願日】平成２０年８月２２日（２００８．８．２２）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２２年５月６日（２０１０．５．６）
【国際特許分類】
【出願日】平成２０年８月２２日（２００８．８．２２）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]