画像処理装置
【課題】回路規模を削減することができる画像処理装置を提供する。
【解決手段】解像度変換部101は、入力画像に対して、所定の解像度を有する第１の画像への解像度変換処理と、第１の画像よりも低い解像度を有する第２の画像への解像度変換処理とを時分割で交互に行い、第１の画像および第２の画像が混在した画像を出力する。後段画像処理部102は、解像度変換部101によって処理された画像に対して、第１の画像および第２の画像のそれぞれに対応した画像処理パラメータを用いて画像処理を行う。分離部103は、後段画像処理部102によって処理された画像を第１の画像と第２の画像とに分離する。
【解決手段】解像度変換部101は、入力画像に対して、所定の解像度を有する第１の画像への解像度変換処理と、第１の画像よりも低い解像度を有する第２の画像への解像度変換処理とを時分割で交互に行い、第１の画像および第２の画像が混在した画像を出力する。後段画像処理部102は、解像度変換部101によって処理された画像に対して、第１の画像および第２の画像のそれぞれに対応した画像処理パラメータを用いて画像処理を行う。分離部103は、後段画像処理部102によって処理された画像を第１の画像と第２の画像とに分離する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば高精細画像であるHDTV画像と標準画像であるSDTV画像のような2種類の画像の出力を行う画像処理装置に関する。
【背景技術】
【０００２】
入力画像に対してHDTV出力に適した画像処理を行ってHDTV用の画像信号として出力し、このHDTV用の画像信号の画像サイズをSDTV向けに変換し、SDTV出力に適した画像処理を行ってSDTV用の画像信号として出力することで、HDTV、SDTVそれぞれの画像出力に対し好適な画像を得る方法が特許文献1で提案されている。
【０００３】
図8は、上記方法を実現する構成を示している。図8では、上記方法の中心となる構成だけを抽出して記している。HD画像処理部801は、HDTV出力に適した画像処理を実施する。HD-SD変換部802は、画像サイズをHDTV出力向けのサイズからSDTV出力向けのサイズに変換する。SD画像処理部803は、SDTV出力に適した画像処理を実施する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−２６０９９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献1で提案されている方法によってHDTV、SDTVそれぞれの画像を同時に出力することが可能であるが、HDTV、SDTVのそれぞれに対応する2系統の処理系が必要となる。これらの処理系が行う画像処理として、解像度変換、輪郭補償（強調）、マスキング、色調整等が想定される。これらの処理は多くの演算器を必要とし、回路規模の増大を招く。
【０００６】
本発明は、上述した課題に鑑みてなされたものであって、回路規模を削減することができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、上記の課題を解決するためになされたもので、入力画像に対して、所定の解像度を有する第１の画像への解像度変換処理と、前記第１の画像よりも低い解像度を有する第２の画像への解像度変換処理とを時分割で交互に行い、前記第１の画像および前記第２の画像が混在した画像を出力する解像度変換部と、前記解像度変換部によって処理された画像に対して、前記第１の画像および前記第２の画像のそれぞれに対応した画像処理パラメータを用いて画像処理を行う画像処理部と、前記画像処理部によって処理された画像を前記第１の画像と前記第２の画像とに分離する分離部とを備えることを特徴とする画像処理装置である。
【０００８】
また、本発明の画像処理装置において、前記解像度変換部は、前記第１の画像および第２の画像のそれぞれに対応した２種類の変換倍率を設定できる倍率設定部と、前記入力画像の１水平周期内で前記２種類の変換倍率を切り換える倍率切換部とを備えることを特徴とする。
【０００９】
また、本発明の画像処理装置において、前記解像度変換部は、前記第１の画像に変換した後の画素を生成すべき垂直方向の位置を算出するための第１の垂直画素位置生成部と、前記第２の画像に変換した後の画素を生成すべき垂直方向の位置を算出するための第２の垂直画素位置生成部と、前記第１の画像および前記第２の画像に変換した後の画素を生成すべき水平方向の位置を算出するための水平画素位置生成部と、補間処理に必要となる前記入力画像を記憶する記憶部と、前記第１の画像への解像度変換処理の進行状況に応じて、前記記憶部に対する前記入力画像の書き込みを制御する制御部と、前記第１の垂直画素位置生成部が算出した垂直方向の位置と前記第２の垂直画素位置生成部が算出した垂直方向の位置とに基づいて、前記第２の画像への解像度変換処理を停止させる停止部と、前記第１の垂直画素位置生成部が算出した垂直方向の位置または前記第２の垂直画素位置生成部が算出した垂直方向の位置と前記水平画素位置生成部が算出した前記水平方向の位置とに基づいて補間係数を生成する補間係数生成部と、前記記憶部が記憶する前記入力画像のデータに対して前記補間係数を乗ずることにより、前記第１の画像または前記第２の画像における画素のデータを補間する補間演算部とを備えることを特徴とする。
【００１０】
また、本発明の画像処理装置において、前記画像処理部は、前記解像度変換部によって処理された画像に対して、前記第１の画像および第２の画像のそれぞれに対応した画像処理パラメータを用いて画像処理を行う処理部と、前記入力画像の水平周期において前記第１の画像への解像度変換処理と前記第２の画像への解像度変換処理とのどちらを先行して行うのかを判定する判定部と、前記第１の画像への解像度変換処理および前記第２の画像への解像度変換処理のそれぞれの処理時間を予め算出する処理時間算出部と、前記判定部が判定した結果と前記処理時間算出部が算出した処理時間とに基づいて、前記解像度変換部から出力された画像が前記第１の画像および前記第２の画像のどちらに対応するのかを識別する識別部とを備えることを特徴とする。
【００１１】
また、本発明の画像処理装置において、前記画像処理部は、複数ラインが同時化された画像データを用いたマトリクス演算処理を行うため、マトリクスサイズに相当するライン分の画像データをラインメモリにより同時化する際に、前記解像度変換部から出力された画像データが無効データであるか否かを判定し、判定結果に応じて、前記ラインメモリに対する画像データの書き込みを制御する無効データ対策部を備えることを特徴とする。
【００１２】
また、本発明の画像処理装置において、前記分離部は、前記画像処理部によって処理され、所定の周波数で入力された画像のデータが書き込まれるフィールドメモリを備え、当該フィールドメモリから、前記第１の画像を表示するための周波数で前記第１の画像のデータを出力し、前記第２の画像を表示するための周波数で前記第２の画像のデータを出力することを特徴とする。
【００１３】
また、本発明の画像処理装置において、前記解像度変換部は、前記入力画像を一時的に保持するバッファと、前記バッファに保持された前記入力画像に対して、１フレーム内または１フィールド内で前記第１の画像への解像度変換処理と前記第２の画像への解像度変換処理とを交互に行い、前記第１の画像および前記第２の画像が混在した画像を出力する変換処理部と、前記第１の画像への解像度変換処理と前記第２の画像への解像度変換処理のうち１フレームまたは１フィールド内で先行する解像度変換処理の開始タイミングを算出する開始タイミング算出部とを備えることを特徴とする。
【００１４】
また、本発明の画像処理装置において、前記開始タイミング算出部は、前記第１の画像への解像度変換処理と前記第２の画像への解像度変換処理のうち１フレームまたは１フィールド内で先行する解像度変換処理の開始タイミングを演算する演算部と、前記演算部が算出した開始タイミングと回路の動作クロックを用いて処理開始信号を適正なタイミングで出力する開始信号制御部とを有することを特徴とする。
【００１５】
また、本発明の画像処理装置において、前記画像処理部は、水平同期信号および垂直同期信号に基づいて、前記解像度変換部によって処理された画像における前記第１の画像および前記第２の画像の各フレームの先頭を検出し、各フレームの画像に対応する画像処理パラメータを出力するフレーム切り換え検出部と、前記フレーム切り換え検出部から出力された画像処理パラメータを用いて前記第１の画像および前記第２の画像の各々に対して画像処理を行う画像加工部とを有することを特徴とする。
【発明の効果】
【００１６】
本発明によれば、第１の画像と第２の画像の個別の処理を共通の解像度変換部と画像処理部で行うことによって回路規模を削減することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の第1の実施形態による画像処理装置の構成を示すブロック図である。
【図２】本発明の第1の実施形態における解像度変換処理の時分割の様子を示すタイミングチャートである。
【図３】本発明の第1の実施形態において処理された映像信号を画像化した様子を示す参考図である。
【図４】本発明の第2の実施形態による画像処理装置の構成を示すブロック図である。
【図５】本発明の第2の実施形態における解像度変換処理の時分割の様子を示すタイミングチャートである。
【図６】本発明の第2の実施形態における解像度変換処理の待ち時間の算出方法を説明するためのタイミングチャートである。
【図７】本発明の第2の実施形態におけるバッファへの書き込みと解像度変換処理のタイミングを示すタイミングチャートである。
【図８】従来の画像処理装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１８】
以下、図面を参照し、本発明の実施形態を説明する。以下の各実施形態で説明する画像処理装置では、高解像度画像（HDTV）用の画像処理と低解像度画像（SDTV）用の画像処理とが1つの画像処理部に集約されており、各画像用の画像処理が時分割で実施される。
【００１９】
（第1の実施形態）
図1は、本発明の第1の実施形態による画像処理装置の構成を示している。図1に沿って画像処理装置の全体について概略を述べる。図1に示す画像処理装置は、解像度変換部101と後段画像処理部102と分離部103とからなる。
【００２０】
解像度変換部101は、倍率設定部104と、倍率切換部105と、垂直画素位置生成部106、107と、水平画素位置生成部108と、更新命令部109と、停止命令部110と、同時化部111と、補間係数生成部112と、補間演算部113とを備える。後段画像処理部102は、後段画像処理本体114と、先行処理判定部115と、処理時間算出部116と、識別部117と、無効データ対策部118とを備える。分離部103は、フィールドメモリ119を備える。なお、後段画像処理部102が実施する後段画像処理とは、解像度変換後に行うことが好適な、輪郭補償（強調）、マスキング、色調整などを指している。
【００２１】
解像度変換部101には、撮像系の画像サイズに従ったフォーマットのディジタル映像信号が入力される。このディジタル映像信号は、CCDなどの撮像部で電気信号に変換され、アナログからディジタルに変換され、解像度変換前に実施することが相応しい前段の画像処理が施された信号である。なお、これらの処理に関しては本発明に関わらないので図示していない。
【００２２】
入力されるディジタル映像信号は単一の画像サイズのものであるが、出力すべき映像信号としてHDTV画像とSDTV画像の2種類の映像信号を要求されることが多い。本実施形態の画像処理装置では、解像度変換部以降でHDTV画像とSDTV画像とを生成する。
【００２３】
解像度変換部101は、HDTV向けの解像度変換処理（第１の画像への解像度変換処理）とSDTV向けの解像度変換処理（第２の画像への解像度変換処理）とを水平周期単位に時分割で交互に実施し、各水平周期においてHDTV画像（第１の画像）とSDTV画像（第２の画像）とが混在した画像（映像信号）を出力する。図2は、本実施形態における解像度変換処理の時分割の様子を示している。図2に示すように、水平同期信号が示す水平周期内でHDTV向けの解像度変換処理（図2ではHDライン生成）とSDTV向けの解像度変換処理（図2ではSDライン生成）がこの順番で実施される。SDTV向けの解像度変換処理が停止されている水平周期があるが、これについては後述する。
【００２４】
後段画像処理部102は、解像度変換部101で処理された映像信号の内容がHDTV画像とSDTV画像のどちらであるかに応じて画像処理用のパラメータを選択して、映像信号に対して画像処理を行う。後段画像処理部102には、例えば輪郭補償（強調）のマトリクス係数やマスキングのマスクサイズなどのように、画像サイズに応じて最適なパラメータが異なる場合に備えて、HDTV向けの処理に相応しいパラメータとSDTV向けの処理に相応しいパラメータとが供給されている。
【００２５】
分離部103は、HDTV画像とSDTV画像とが混在している映像信号に対して、水平周期単位に前半部と後半部とを切り離す処理を行うことで、個々の画像に対応する映像信号に分離する。なお、本実施形態では、解像度変換部101、後段画像処理部102、分離部103の動作周波数をHDTV画像の表示に必要な動作周波数の2倍以上に高めることで、処理時間を短縮し、HDTV向けとSDTV向け双方の処理を実施している。
【００２６】
HDTV向けの解像度変換処理とSDTV向けの解像度変換処理とを水平周期単位に時分割で交互に実施するためには、解像度変換部101に入力される元画像の同じ画像データを2回参照する必要がある。しかしながら、映像信号は随時新たに入力されてくるため、元画像の画像データを一時的に貯えておかなければならない。そこで、メモリが必要になるが、水平周期単位の時分割を行うためには数ライン分の画像データを記憶できるだけのメモリがあればよく、メモリ容量は抑えられている。
【００２７】
解像度変換部101は、解像度変換後の画素を新規に生成するために、解像度変換前の元画像の画像データに対して補間係数を乗ずる多くの乗算器を有している。また、後段画像処理部102は、具体的には輪郭補償（強調）、マスキング、色調整などを実施しており、マトリクス乗算回路のように回路規模の大きな回路を含んでいる。これらの部分を、HDTV向けとSDTV向けに共通の解像度変換部101と後段画像処理部102に集約することで回路規模を削減することができる。
【００２８】
前述したように、解像度変換部101で実施する解像度変換処理は、HDTV画像とSDTV画像の2種類に対応するものであるが、これらの画像サイズの異なる画像に変換するためのHDTV向けの変換倍率とSDTV向けの変換倍率は、倍率設定部104に設定される。解像度変換によって新規に画素を生成する位置は、変換倍率をもとに、垂直画素位置生成部106、107と水平画素位置生成部108によって、垂直方向と水平方向について個々に生成される。
【００２９】
解像度変換によって画素の集積度は変換倍率に応じたものとなるため、元画像の画素の間隔を1とすれば、新規に生成する画素の間隔は変換倍率の逆数となる。従って、元画像の画素位置の垂直/水平の各成分が0,1,2,3,・・・であるとすれば、新規な画素位置は、垂直/水平の成分ごとにそれぞれの変換倍率の逆数を累積加算することで得られる。例えば、変換倍率をaとすれば、1/aを累積加算することで、垂直/水平の各成分の新規な画素位置は、0, 1/a, 2/a, 3/a,・・・と得られる。
【００３０】
図2に示したように、水平周期内でHDTV画像の1ラインとSDTV画像の1ラインが生成される。水平方向の新規な画素位置に関しては、水平周期内で累積加算によりHDTV向けの画素位置を順次生成した後、画素位置をリセットして再度累積加算によりSDTV向けの画素位置を順次生成すればよい。このように、水平方向の新規な画素位置に関しては、HDTV向け、SDTV向けのそれぞれの画素位置の生成が水平周期内で連続して行われるため、1台の水平画素位置生成部を共用することができる。
【００３１】
一方、垂直方向の新規な画素位置に関しては、画素位置の生成が水平周期を跨いで行われる。例えば、最初の水平周期では、HDTV向け、SDTV向けのそれぞれの画素位置を生成して保持し、次の水平周期では、ラインが変わるためHDTV向け、SDTV向けのそれぞれの画素位置を生成して保持する必要がある。このため、垂直方向の新規な画素位置に関しては、2台の垂直画素位置生成部を備えることで対応している。
【００３２】
HDTV用の垂直画素位置生成部106は、HDTV向けの垂直変換倍率が設定され、HDTV向けの垂直画素位置を生成して出力する。SDTV用の垂直画素位置生成部107は、SDTV向けの垂直変換倍率が設定され、SDTV向けの垂直画素位置を生成して出力する。
【００３３】
水平画素位置生成部108は、例えば水平周期の前半ではHDTV向けの水平変換倍率が設定され、HDTV向けの水平画素位置を生成して出力し、水平周期の後半ではSDTV向けの水平変換倍率が設定され、SDTV向けの水平画素位置を生成して出力する。水平画素位置生成部108を共用するにあたり、倍率切換部105は、HDTV向けの水平変換倍率とSDTV向けの水平変換倍率の一方を水平周期単位で交互に選択し、両倍率を切り換えて倍率設定部104に設定している。
【００３４】
本実施形態ではHDTV向けの解像度変換処理とSDTV向けの解像度変換処理とを水平周期単位に時分割で交互に実施するが、SDTV画像はHDTV画像よりもサイズが小さいため、SDTV向けの解像度変換の処理回数は、HDTV向けの解像度変換の処理回数よりも少なくなる。このため、SDTV向けの解像度変換処理は、停止命令部110が出力する停止命令信号によって一部の水平周期において停止されている。
【００３５】
この様子を図2に示す。停止命令部110は、HDTV向けの垂直画素位置とSDTV向けの垂直画素位置とを監視しており、生成される画素数が少ないために進行が早いSDTV向けの垂直画素位置が、HDTV向けの垂直画素位置よりもラインを跨いで先行した場合に、SDTV用の垂直画素位置生成部107に停止を命じ、HDTV用の垂直画素位置生成部106が生成する垂直画素位置が追い付くのを待たせる。また、SDTV用の垂直画素位置生成部107を停止させた期間では、SDTV向けの画素データの値を補間演算する必要はないので、停止命令部110は、後述する補間演算部113にも停止を命ずる。
【００３６】
更新命令部109は、垂直画素位置生成部106が生成するHDTV向けの垂直画素位置を監視し、HDTV向けの垂直画素位置が元画像の垂直画素位置を跨ぐことを検出し、そのタイミングで更新命令を出力する。SDTV向けの垂直画素位置は、停止命令部110によって、HDTV向けの垂直画素位置と元画像の同じライン間に位置するように制御されているため、HDTV向けの垂直画素位置だけを考慮すればよい。
【００３７】
同時化部111は、ラインメモリなどで構成され、補間演算に必要となるライン数だけ元画像データを貯えるものである。新規に生成する垂直画素位置に応じて、解像度変換処理に用いる元画像のラインが変わるため、同時化部111は、更新命令部109の更新命令に従って元画像の画素データを記憶する。
【００３８】
補間係数生成部112は、HDTV向け、SDTV向けそれぞれの垂直画素位置と水平画素位置とに基づいて補間係数を生成する。補間演算部113は、同時化部111で同時化された元画像の画素データに補間係数を乗じることにより新規な画素のデータを補間し、解像度変換された映像信号を出力する。
【００３９】
後段画像処理部102には、HDTV向け及びSDTV向けのサイズに解像度変換された映像信号が、水平周期単位で交互に入力される。後段画像処理は後段画像処理本体114で行われる。後段画像処理部102では、以下のようにして、HDTV画像とSDTV画像が混在した映像信号に対応している。
【００４０】
先行処理判定部115は、入力される映像信号の水平周期において、HDTV系とSDTV系のどちらが先に入力されるのかを予め規定した情報に基づいて、HDTV系とSDTV系のどちらが先に入力されるのかを判定するもので、解像度変換部101の処理と対応付けられている。処理時間算出部116は、解像度変換部101におけるHDTV向け及びSDTV向けのそれぞれの解像度変換の所要時間を算出する。
【００４１】
水平周期の開始時刻と、水平周期の開始時刻から先行処理した解像度変換の所要時間だけ経過した時刻とが、2種の解像度変換を施された画像データが切り替わるタイミングとして認識される。このタイミングを示す情報に加えて、先行処理した系がどちらであるかを合わせて判断することによって、識別部117は、任意の時刻に後段画像処理部102に入力される映像信号がHDTV向けであるか、SDTV向けであるかを識別する。
【００４２】
なお、処理時間算出部116が先行処理判定部115の判定結果に基づいて、解像度変換部101におけるHDTV向け及びSDTV向けの解像度変換のうち、水平周期内で先行して行った解像度変換のみの所要時間を算出し、識別部117が上記2つのタイミングを示す情報に基づいて、後段画像処理部102に入力されている映像信号がHDTV向けであるか、SDTV向けであるかを識別してもよい。
【００４３】
後段画像処理本体114は、識別部117の識別結果をもとに、後段画像処理部102に入力されている映像信号に対応したHDTV向けまたはSDTV向けのパラメータを選択する。また、SDTV向けの解像度変換処理が停止される水平周期があるため、解像度変換部101が出力する映像信号のSDTV向けの成分が抜けている水平周期がある。SDTV向けの成分が抜けている水平周期では、SDTV向けの成分の代わりに無効データが出力される。このために、後段画像処理部102は無効データ対策部118を備えている。
【００４４】
後段画像処理本体114には、例えば輪郭補償（強調）などのようにマトリクス乗算を実施する部分がある。マトリクス乗算を行うためには、上下数ライン分の画素データを同時化する必要がある。画素データの同時化は、例えば所定数のラインメモリを用いて行われる。通常は、新たに同時化すべきラインの画像データをラインメモリに記憶させ、それまで記憶させていた各ラインの画像データをラインメモリ間でシフトさせ、最も古い時刻に記憶させたラインの画像データを消失させている。しかし、前述したようにSDTV向けの成分が抜けている水平周期があった場合には、新たに同時化すべきラインの画像データがないため、単純なラインメモリ間のデータシフトでは対応できず、SDTV向けの成分の抜けの有無、即ち画像データの有無に応じてシフトするかしないかを制御する必要がある。
【００４５】
この制御を行うのが無効データ対策部118である。無効データ対策部118は、複数ラインが同時化された画像データを用いたマトリクス演算処理を行うためにマトリクスサイズに相当するライン分の画像データをラインメモリにより同時化する際に、後段画像処理部102に入力される画像データが無効データであるか否かを判定し、判定結果に応じて、ラインメモリに対する画像データの書き込みを制御する。画像データが無効データである場合、ラインメモリに対する画像データの書き込みは行われない。無効データであるか否かの判定は、解像度変換部101の停止命令部110が出力する停止命令に基づいて行われる。停止命令が出力された場合、その水平周期ではSDTV向けの成分ではなく無効データが入力されることが分かる。
【００４６】
映像信号のデータは画像の左の画素から右の画素へ、上のラインから下のラインへという順に並んでいるため、水平周期単位でHDTV画像とSDTV画像が混在し、かつSDTVに関しては抜けている水平周期があるため、映像信号をそのまま画像化すると、図3のようにHDTV画像301とSDTV画像302が左右に並ぶ形になっている。
【００４７】
分離部103は、このようなHDTV画像とSDTV画像が混在する映像信号をHDTV系とSDTV系との各映像信号に分離するものである。分離にあたり、分離部103は、所定の周波数で入力される映像信号のデータを順次フィールドメモリ119に書き込み、HDTV系、SDTV系、それぞれの表示用周波数で、フィールドメモリ119に書き込まれたデータの必要な部位を読み取っていく。
【００４８】
上述したように、本実施形態の画像処理装置において解像度変換部101は、高解像度画像向けの解像度変換処理と低解像度画像向けの解像度変換処理とを時分割で交互に実施し、高解像度画像と低解像度画像とが混在した映像信号を出力する。後段画像処理部102は、高解像度画像向けの処理に相応しいパラメータと低解像度画像向けの処理に相応しいパラメータとが供給されていて、映像信号の内容が高解像度画像と低解像度画像のどちらであるかに応じてパラメータを選択して処理を行う。分離部103は高解像度画像と低解像度画像とが混在している映像信号を、個々の解像度の映像信号に分離する。このように、高解像度画像向けの解像度変換処理および後段画像処理と、低解像度画像向けの解像度変換処理および後段画像処理を同一の回路を用いて実施するため、回路規模を削減することができる。
【００４９】
また、解像度変換部101は1ライン分の画像データに対し、高解像度画像向けの解像度変換処理と低解像度画像向けの解像度変換処理を順次実施し、高解像度画像の画像データと低解像度画像の画像データとを水平周期単位で交互に出力する。このように、高解像度画像の画像データと低解像度画像の画像データとを水平周期単位で生成するため、解像度変換処理のために参照する元画像のデータをラインごとに保持および廃棄することが可能となり、メモリ容量を節約できる。
【００５０】
また、高解像度画像と低解像度画像とで、解像度変換後に新規に画素を生成する位置は異なるので、解像度変換部101は、専用に備えた垂直画素位置生成部106、107を用いて垂直画素位置を生成する。ただし、水平画素位置に関しては、水平周期を跨いで画素位置生成を継続しないため、1台の水平画素位置生成部108を交互に利用する。また、補間処理を行うにあたり、新規に画素を生成する垂直位置の上下数ライン分の元画像のデータが必要となるが、更新命令部109および同時化部111は、高解像度画像に向けて新規に画素を生成する垂直位置の上下数ライン分の元画像のデータを同時化する。なお、同時化すべきラインを選定する制御は更新命令部109が実施する。垂直画素位置生成部だけは集約せずに高解像度画像と低解像度画像向けに個々に用意しているが、各垂直画素位置生成部において、単独の画像だけを考慮すればよいので、位置の生成が容易となる。また、垂直画素位置生成部を1つ余分に設けるが、単なる加算器ゆえ、回路規模に及ぼす影響はほとんどない。
【００５１】
また、低解像度画像は高解像度画像よりも小さいので、同時化された数ライン分の元画像のデータを用いて新規に画素を生成する回数が少ない。この回数が少ない分は、停止命令部110からの停止命令により低解像度画像向けの処理を停止させることで対応している。補間処理に必要となる数ライン分の元画像のデータの同時化制御は、高解像度画像向けの垂直画素位置生成の進行に応じて参照用のデータを貯えることにするということと、新規に生成する画素の少ない低解像度画像向けの垂直画素位置生成が高解像度画像向けの垂直画素位置生成よりもラインを跨いで先行したときに低解像度画像向けの解像度変換処理を停止させるという単純な方法で実現することができる。
【００５２】
また、先行処理判定部115は、水平周期単位で高解像度画像、低解像度画像のどちらの画像データを先行処理するかを判定し、識別部117に伝達する。処理時間算出部116は、高解像度画像、低解像度画像それぞれの解像度変換処理に要する時間を予め算出し、識別部117に伝達する。識別部117は、高解像度画像向け、低解像度画像向けの処理順序と、処理に要する時間とから、後段画像処理部102に入力される画像データが高解像度画像、低解像度画像のどちらであるかを識別し、後段画像処理本体114に通知する。このようにして2種のデータを識別するため、映像信号に識別用の情報を盛り込む必要がない。
【００５３】
また、後段画像処理本体114におけるマトリクス演算処理を行う部分では、そのサイズに応じたライン数の画像データをラインメモリにより同時化するが、ある水平周期で新規に入力される1ライン分の画像データが無効データである場合には、無効データ対策部118が無効データを検出して、ラインメモリ間でのデータシフトを停止させる。このため、解像度変換後の画像データが水平周期単位で抜けていたとしても、同時化した画像データに抜けが生じないようにすることができる。
【００５４】
また、分離部103は、フィールドメモリ119を用いて、高解像度画像、低解像度画像それぞれの画像データに分離すると同時に、高解像度画像、低解像度画像それぞれの表示用クロックへの乗せ替えを行う。これによって、ラインごとに混在している高解像度と低解像度の画像データを分離し、周波数、同期周期の異なる2種の映像信号を生成することができる。
【００５５】
（第2の実施形態）
図4は本発明の第2の実施形態による画像処理装置の構成を示している。図4に沿って画像処理装置の全体について概略を述べる。図4に示す画像処理装置は、解像度変換部201と後段画像処理部207と分離部208とパラメータ制御部209とで構成される。
【００５６】
解像度変換部201は、開始タイミング算出部202とバッファ205と変換処理部206とを備える。開始タイミング算出部202は、演算部203と開始信号制御部204とを備える。後段画像処理部207は、フレーム切り換え検出部210と画像加工部213とを備える。分離部208は、フレーム切り換え制御部214とフィールドメモリ211とフィールドメモリ212とを備える。
【００５７】
解像度変換部201は、入力された映像信号（以下、入力映像信号）から2種類の映像信号（HDTV/SDTV）をフレーム単位で交互に生成し、各映像信号をHDTV/SDTV混合映像信号として同じ映像信号線に出力する。本実施形態ではフレームを単位としているが、フィールドを単位としてもよい。図5は、本実施形態における解像度変換処理の時分割の様子を示している。図5に示すように、垂直同期信号が示す垂直周期単位で1フレームの映像信号が入力される。また、垂直周期内でHDTV向けの解像度変換処理とSDTV向けの解像度変換処理がこの順番で実施され、各HDTV/SDTVに対応した映像信号（図5ではHD生成画像、SD生成画像）が出力される。
【００５８】
後段画像処理部207は、解像度変換部201からの映像信号からHDTV/SDTVの各フレームを認識し、フレーム単位で順番に画像処理を行い、HDTV/SDTVそれぞれの映像信号を含むHDTV/SDTV混合映像信号をフレーム単位で同じ映像信号線に出力する。分離部208は、後段画像処理部207からの映像信号からHDTV/SDTVそれぞれの映像信号を分離して出力する。パラメータ制御部209は、外部から設定される各パラメータを必要な機能ブロックに出力する。
【００５９】
入力映像信号は、一時的にバッファ205に保持される。バッファ205に保持された入力映像信号は変換処理部206の入力データとして取り込まれる。変換処理部206は、バッファ205からの映像信号と、パラメータ制御部209から出力されるパラメータ設定値（倍率等のパラメータ）とから、HDTV画像とSDTV画像の解像度変換処理を交互に1フレーム単位で実施する。解像度変換処理の開始タイミングは、開始タイミング算出部202からの開始信号に基づく。入力映像信号の1フレームに対して、HDTV/SDTVの映像信号の各1フレームの合計２フレーム分を出力するには、入力映像信号の動作クロックよりも高速な動作クロックで処理する必要がある。HDTV/SDTVの各動作クロックの和が、理想とする動作クロックとなる。
【００６０】
開始タイミング算出部202は、入力映像信号およびHDTV/SDTV画像の画像サイズと動作クロックと倍率とに関するパラメータをパラメータ制御部209から受け取る。開始タイミング算出部202において、演算部203は、バッファ205への映像信号の書き込みを開始してから解像度変換処理を開始するまでの待ち時間を算出する。開始信号制御部204は、演算部203が算出した待ち時間と動作クロックから、解像度変換処理を開始する適正なタイミングを通知する開始信号を生成して変換処理部206に出力する。
【００６１】
入力映像信号の１フレームに対してHDTV/SDTVの2種類の映像信号をフレーム単位で順番に解像度変換するには、参照する入力映像信号（バッファ205に保存している映像信号）を解像度変換処理の完了まで保持する必要がある。フレーム単位で生成する映像が1種類の場合、本実施形態の解像度変換処理のように入力画像の数ラインを参照し出力画像を1ライン生成する方式では、入力画像の数ラインを順次シフトして、参照する入力画像をバッファ205から読み出すことになる。この場合、1度参照された入力画像データを2度と参照することはないため、バッファ205の参照済みの領域は、次の画像データを上書きできる領域として認識される。
【００６２】
しかし、フレーム単位で生成する画像が2種類の場合は、1回読み込んだ入力画像データを1種類目の映像の生成に使用し、2種類目の映像の生成を行うには再度、入力画像データを先頭から読み直す必要がある。そのため、2回目の読み出しが完了するまで入力画像データの上書きを回避する必要がある。
【００６３】
また、バッファ205への書き込みが完了していない画像データを読み出すことはできないため、1回目の読み出しが完了するタイミングは、バッファ205への入力画像データの書き込みが完了するタイミングよりも後でなければならない。その結果、2回目の読み出しの開始タイミングが次フレームの画像データの書き込みが開始されるタイミングよりも後になり、読み出すべき前フレームの画像データが次フレームの画像データで上書きされる問題が生ずる。
【００６４】
この上書きを回避するためにバッファ205の容量を入力映像信号の1フレーム分のデータ量よりも増やす必要があるが、この増加分の容量は、2回目の読み出し開始までに入力される次フレームの画像データの量で決まるため、2回目の読み出しの開始タイミングに依存する。また、2回目の読み出しの開始タイミングは、1回目の読み出しの完了タイミングに依存するため、最適な1回目の読み出しの開始タイミングを算出することで、上書き対策用に増加するバッファの容量を最小限にできる。
【００６５】
最適な1回目の読み出しの開始タイミングを算出するため、入力画像の画像サイズおよびHDTV/SDTVの2種類の画像サイズと、解像度変換部201の入力および出力の同期のための動作周波数と、解像度変換での倍率とを用いる。そして、入力画像の最終ラインのデータの書き込みが完了したタイミングに合わせて1回目の読み出しが完了するタイミングを求め、求めた読み出し完了のタイミングから遡って1回目の読み出しの開始タイミングを求める。算出方法の詳細を以下に示す。
【００６６】
バッファ205に1ライン分の入力画像データを書き込むのに要する時間をT[s]、解像度変換部201の入出力動作周波数の比（出力動作周波数を入力動作周波数で割ったもの）をα、水平方向の解像度変換率をKx、垂直方向の解像度変換率をKyとすると、解像度変換部201が解像度変換処理によって1ライン分の画像データを生成するのに要する時間はKx・T/α[s]である。
【００６７】
入力画像の垂直方向のサイズをLラインとすると、バッファ205に1フレーム分の入力画像データを書き込むのに要する時間はL・Tである。変換処理部206が1フレーム分の先行する画像（本実施形態ではHDTV画像）の解像度変換処理に要する時間は、
(Ky・L)・(Kx・T/α)[s]
となる。
【００６８】
図6(a)に示すように、バッファ205に対する1フレーム分の入力画像データの書き込みが完了するタイミングと、1フレーム分の先行する画像の解像度変換処理が完了するタイミングとが一致する場合、バッファ205に対する1フレーム分の入力画像データの書き込みが開始されてから解像度変換処理が開始されるまでの待ち時間は、データの書き込みに要する時間と画像の変換処理に要する時間との差分、即ち
（L・T）-（（Ky・L)・(Kx・T/α)）[s]
となる。
【００６９】
しかし、前述したように、バッファ205からの読み出しが完了するタイミングは、バッファ205への入力画像データの書き込みが完了するタイミングよりも後であるため、入力画像データの書き込みが完了したタイミングでは先行する画像の解像度変換処理は完了していない。図6(b)に示すように、先行する画像の解像度変換処理が完了するタイミングが、バッファ205への入力画像データの書き込みが完了するタイミングよりも、入力画像の最終1ラインの解像度変換処理に要する時間だけ後であるとすると、上記の式中のL（入力画像のライン数）から1を引く必要がある。よって、最終ラインの解像度変換処理時間を考慮した待ち時間は、
（L・T）-（（Ky・（L-1））・(Kx・T/α)）[s]
となる。
【００７０】
上記の待ち時間を考慮すると、増加するバッファの容量は、入力画像の数ライン分程度となる。なお、本実施形態では、無効領域を考慮していない画像を想定して全部を有効領域として用いているが、実際の画像には無効領域があり、バッファ205に入力画像データを保持する必要の無い時間が存在する。すなわちフレーム間でバッファ205の上書きが行われない時間があり、バッファの容量を増加しなくても良い場合がある。
【００７１】
また、開始タイミング算出部202の回路規模は、解像度変換部201の一部である補間生成位置の算出部分（画像を拡張、縮小する場合に主に使用する）と同程度であることから、削減対象である画像処理1系統（解像度変換部から画像処理まで）の十数分の一程度の規模である。
【００７２】
後段画像処理部207は、解像度変換後のHDTV/SDTVの2種類の画像に対してフレーム単位で各個別の処理を順番に行う。フレーム切り換え検出部210は、入力される画像データの水平同期信号と垂直同期信号から各画像の先頭を検出し、あらかじめ設定されている先行画像の種類に応じて画像の処理に必要なパラメータ（参照テーブルなど）を切り換えて出力する。画像加工部213は、フレーム切り換え検出部210からのパラメータに沿った処理を行う。
【００７３】
分離部208は、前段後段画像処理部207で処理された画像データを、画像の種類に応じて、クロック乗り換えのために使用するフィールドメモリ211、212に入力する。各フィールドメモリへの画像データの振り分けは、次のようにして行われる。すなわち、フレーム切り換え制御部214は、図5に示す画像データの水平同期信号と垂直同期信号から各画像のフレームの先頭を検出し、画像の先頭から次の画像の先頭までを1フレームと認識し、パラメータ制御部209からの先行画像の種類を示すパラメータに応じて1番目のフレームをフィールドメモリ211とフィールドメモリ212とのうち一方に格納し、2番目のフレームをフィールドメモリ211とフィールドメモリ212とのうち他方に格納する。これ以降、これと同様の動作を順次行う。
【００７４】
本実施形態では、HD映像用のフィールドメモリ211とSD映像用のフィールドメモリ212とが設けられており、フレーム切り換え制御部214によって選択されたHDTVの画像データがフィールドメモリ211に格納され、SDTVの画像データがフィールドメモリ212に格納される。また、各フィールドメモリから個別にクロック乗り換え済みの映像信号が出力される。
【００７５】
解像度変換部201で生成する2種類の画像サイズが異なる場合、画像サイズの大きい画像の解像度変換処理を先行して行うことで、バッファ205への書き込みを開始するタイミングから解像度変換処理が完了するまでに掛かる時間が長くなることを回避することができる。2回目の画像データの生成は、入力画像データの書き込みが完了した時点から開始され、画素数に応じた処理時間が必要になるためである。また、本実施形態では、HDTV画像/SDTV画像の生成には同じ動作クロックを用いており、画素数に応じた処理時間（クロック）が必要なためである。図7の(1)がHDTV画像を先行して処理した場合の時間を示し、(2)がSDTV画像を先行して処理した場合の時間を示す。(3)は(1)と(2)の差分を示しており、これにより、SDTV画像を先行して処理すると、処理完了までの時間が、HDTV画像を先行して処理した場合よりも画像サイズの差に応じた時間だけ延びることが分かる。
【００７６】
上述したように、本実施形態の画像処理装置は1フレーム（または1フィールド）分の画像データに対し、高解像度画像向けの解像度変換処理と低解像度画像向けの解像度変換処理とを順次実施し、高解像度画像向けの画像データと低解像度画像向けの画像データとを1フレーム（または1フィールド）で交互に出力する。このように、高解像度画像向けの解像度変換処理および後段画像処理と、低解像度画像向けの解像度変換処理および後段画像処理を同一の回路を用いて実施するため、回路規模を削減することができる。また、高解像度画像向けの画像データと低解像度画像向けの画像データとを1フレーム（または1フィールド）単位で生成するので、処理の切り換えが少なく、制御自体も簡素化できる。
【００７７】
また、フレーム切り換え検出部210は、時分割に入力される解像度変換処理後の2種類の画像データに対応する1フレーム（または1フィールド）分の先頭を同期信号から検出し、画像処理に必要なパラメータを交互に切り換える。画像加工部213は適正なパラメータを用いて画像処理を行う。これによって、2種類の画像データを同一の回路で処理することができる。
【００７８】
また、解像度変換部201は、変換処理に必要な1フレーム（1フィールド）分の入力画像データが入力されたタイミングで処理を開始する。本実施形態では2種類の画像データを生成するために参照する入力画像を保持する記憶回路が余分に必要になるが、最小限に抑えることができる。
【００７９】
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【符号の説明】
【００８０】
101，201・・・解像度変換部、102，207・・・後段画像処理部（画像処理部）、103，208・・・分離部、104・・・倍率設定部、105・・・倍率切換部、106，107・・・垂直画素位置生成部、108・・・水平画素位置生成部、109・・・更新命令部（制御部）、110・・・停止命令部（停止部）、111・・・同時化部（記憶部）、112・・・補間係数生成部、113・・・補間演算部、114・・・後段画像処理本体（処理部）、115・・・先行処理判定部（判定部）、116・・・処理時間算出部、117・・・識別部、118・・・無効データ対策部、119・・・フィールドメモリ、202・・・開始タイミング算出部、203・・・演算部、204・・・開始信号制御部、205・・・バッファ、206・・・変換処理部、209・・・パラメータ制御部、210・・・フレーム切り換え検出部、211，212・・・フィールドメモリ、213・・・画像加工部、214・・・フレーム切り換え制御部
【技術分野】
【０００１】
本発明は、例えば高精細画像であるHDTV画像と標準画像であるSDTV画像のような2種類の画像の出力を行う画像処理装置に関する。
【背景技術】
【０００２】
入力画像に対してHDTV出力に適した画像処理を行ってHDTV用の画像信号として出力し、このHDTV用の画像信号の画像サイズをSDTV向けに変換し、SDTV出力に適した画像処理を行ってSDTV用の画像信号として出力することで、HDTV、SDTVそれぞれの画像出力に対し好適な画像を得る方法が特許文献1で提案されている。
【０００３】
図8は、上記方法を実現する構成を示している。図8では、上記方法の中心となる構成だけを抽出して記している。HD画像処理部801は、HDTV出力に適した画像処理を実施する。HD-SD変換部802は、画像サイズをHDTV出力向けのサイズからSDTV出力向けのサイズに変換する。SD画像処理部803は、SDTV出力に適した画像処理を実施する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−２６０９９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献1で提案されている方法によってHDTV、SDTVそれぞれの画像を同時に出力することが可能であるが、HDTV、SDTVのそれぞれに対応する2系統の処理系が必要となる。これらの処理系が行う画像処理として、解像度変換、輪郭補償（強調）、マスキング、色調整等が想定される。これらの処理は多くの演算器を必要とし、回路規模の増大を招く。
【０００６】
本発明は、上述した課題に鑑みてなされたものであって、回路規模を削減することができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、上記の課題を解決するためになされたもので、入力画像に対して、所定の解像度を有する第１の画像への解像度変換処理と、前記第１の画像よりも低い解像度を有する第２の画像への解像度変換処理とを時分割で交互に行い、前記第１の画像および前記第２の画像が混在した画像を出力する解像度変換部と、前記解像度変換部によって処理された画像に対して、前記第１の画像および前記第２の画像のそれぞれに対応した画像処理パラメータを用いて画像処理を行う画像処理部と、前記画像処理部によって処理された画像を前記第１の画像と前記第２の画像とに分離する分離部とを備えることを特徴とする画像処理装置である。
【０００８】
また、本発明の画像処理装置において、前記解像度変換部は、前記第１の画像および第２の画像のそれぞれに対応した２種類の変換倍率を設定できる倍率設定部と、前記入力画像の１水平周期内で前記２種類の変換倍率を切り換える倍率切換部とを備えることを特徴とする。
【０００９】
また、本発明の画像処理装置において、前記解像度変換部は、前記第１の画像に変換した後の画素を生成すべき垂直方向の位置を算出するための第１の垂直画素位置生成部と、前記第２の画像に変換した後の画素を生成すべき垂直方向の位置を算出するための第２の垂直画素位置生成部と、前記第１の画像および前記第２の画像に変換した後の画素を生成すべき水平方向の位置を算出するための水平画素位置生成部と、補間処理に必要となる前記入力画像を記憶する記憶部と、前記第１の画像への解像度変換処理の進行状況に応じて、前記記憶部に対する前記入力画像の書き込みを制御する制御部と、前記第１の垂直画素位置生成部が算出した垂直方向の位置と前記第２の垂直画素位置生成部が算出した垂直方向の位置とに基づいて、前記第２の画像への解像度変換処理を停止させる停止部と、前記第１の垂直画素位置生成部が算出した垂直方向の位置または前記第２の垂直画素位置生成部が算出した垂直方向の位置と前記水平画素位置生成部が算出した前記水平方向の位置とに基づいて補間係数を生成する補間係数生成部と、前記記憶部が記憶する前記入力画像のデータに対して前記補間係数を乗ずることにより、前記第１の画像または前記第２の画像における画素のデータを補間する補間演算部とを備えることを特徴とする。
【００１０】
また、本発明の画像処理装置において、前記画像処理部は、前記解像度変換部によって処理された画像に対して、前記第１の画像および第２の画像のそれぞれに対応した画像処理パラメータを用いて画像処理を行う処理部と、前記入力画像の水平周期において前記第１の画像への解像度変換処理と前記第２の画像への解像度変換処理とのどちらを先行して行うのかを判定する判定部と、前記第１の画像への解像度変換処理および前記第２の画像への解像度変換処理のそれぞれの処理時間を予め算出する処理時間算出部と、前記判定部が判定した結果と前記処理時間算出部が算出した処理時間とに基づいて、前記解像度変換部から出力された画像が前記第１の画像および前記第２の画像のどちらに対応するのかを識別する識別部とを備えることを特徴とする。
【００１１】
また、本発明の画像処理装置において、前記画像処理部は、複数ラインが同時化された画像データを用いたマトリクス演算処理を行うため、マトリクスサイズに相当するライン分の画像データをラインメモリにより同時化する際に、前記解像度変換部から出力された画像データが無効データであるか否かを判定し、判定結果に応じて、前記ラインメモリに対する画像データの書き込みを制御する無効データ対策部を備えることを特徴とする。
【００１２】
また、本発明の画像処理装置において、前記分離部は、前記画像処理部によって処理され、所定の周波数で入力された画像のデータが書き込まれるフィールドメモリを備え、当該フィールドメモリから、前記第１の画像を表示するための周波数で前記第１の画像のデータを出力し、前記第２の画像を表示するための周波数で前記第２の画像のデータを出力することを特徴とする。
【００１３】
また、本発明の画像処理装置において、前記解像度変換部は、前記入力画像を一時的に保持するバッファと、前記バッファに保持された前記入力画像に対して、１フレーム内または１フィールド内で前記第１の画像への解像度変換処理と前記第２の画像への解像度変換処理とを交互に行い、前記第１の画像および前記第２の画像が混在した画像を出力する変換処理部と、前記第１の画像への解像度変換処理と前記第２の画像への解像度変換処理のうち１フレームまたは１フィールド内で先行する解像度変換処理の開始タイミングを算出する開始タイミング算出部とを備えることを特徴とする。
【００１４】
また、本発明の画像処理装置において、前記開始タイミング算出部は、前記第１の画像への解像度変換処理と前記第２の画像への解像度変換処理のうち１フレームまたは１フィールド内で先行する解像度変換処理の開始タイミングを演算する演算部と、前記演算部が算出した開始タイミングと回路の動作クロックを用いて処理開始信号を適正なタイミングで出力する開始信号制御部とを有することを特徴とする。
【００１５】
また、本発明の画像処理装置において、前記画像処理部は、水平同期信号および垂直同期信号に基づいて、前記解像度変換部によって処理された画像における前記第１の画像および前記第２の画像の各フレームの先頭を検出し、各フレームの画像に対応する画像処理パラメータを出力するフレーム切り換え検出部と、前記フレーム切り換え検出部から出力された画像処理パラメータを用いて前記第１の画像および前記第２の画像の各々に対して画像処理を行う画像加工部とを有することを特徴とする。
【発明の効果】
【００１６】
本発明によれば、第１の画像と第２の画像の個別の処理を共通の解像度変換部と画像処理部で行うことによって回路規模を削減することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の第1の実施形態による画像処理装置の構成を示すブロック図である。
【図２】本発明の第1の実施形態における解像度変換処理の時分割の様子を示すタイミングチャートである。
【図３】本発明の第1の実施形態において処理された映像信号を画像化した様子を示す参考図である。
【図４】本発明の第2の実施形態による画像処理装置の構成を示すブロック図である。
【図５】本発明の第2の実施形態における解像度変換処理の時分割の様子を示すタイミングチャートである。
【図６】本発明の第2の実施形態における解像度変換処理の待ち時間の算出方法を説明するためのタイミングチャートである。
【図７】本発明の第2の実施形態におけるバッファへの書き込みと解像度変換処理のタイミングを示すタイミングチャートである。
【図８】従来の画像処理装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１８】
以下、図面を参照し、本発明の実施形態を説明する。以下の各実施形態で説明する画像処理装置では、高解像度画像（HDTV）用の画像処理と低解像度画像（SDTV）用の画像処理とが1つの画像処理部に集約されており、各画像用の画像処理が時分割で実施される。
【００１９】
（第1の実施形態）
図1は、本発明の第1の実施形態による画像処理装置の構成を示している。図1に沿って画像処理装置の全体について概略を述べる。図1に示す画像処理装置は、解像度変換部101と後段画像処理部102と分離部103とからなる。
【００２０】
解像度変換部101は、倍率設定部104と、倍率切換部105と、垂直画素位置生成部106、107と、水平画素位置生成部108と、更新命令部109と、停止命令部110と、同時化部111と、補間係数生成部112と、補間演算部113とを備える。後段画像処理部102は、後段画像処理本体114と、先行処理判定部115と、処理時間算出部116と、識別部117と、無効データ対策部118とを備える。分離部103は、フィールドメモリ119を備える。なお、後段画像処理部102が実施する後段画像処理とは、解像度変換後に行うことが好適な、輪郭補償（強調）、マスキング、色調整などを指している。
【００２１】
解像度変換部101には、撮像系の画像サイズに従ったフォーマットのディジタル映像信号が入力される。このディジタル映像信号は、CCDなどの撮像部で電気信号に変換され、アナログからディジタルに変換され、解像度変換前に実施することが相応しい前段の画像処理が施された信号である。なお、これらの処理に関しては本発明に関わらないので図示していない。
【００２２】
入力されるディジタル映像信号は単一の画像サイズのものであるが、出力すべき映像信号としてHDTV画像とSDTV画像の2種類の映像信号を要求されることが多い。本実施形態の画像処理装置では、解像度変換部以降でHDTV画像とSDTV画像とを生成する。
【００２３】
解像度変換部101は、HDTV向けの解像度変換処理（第１の画像への解像度変換処理）とSDTV向けの解像度変換処理（第２の画像への解像度変換処理）とを水平周期単位に時分割で交互に実施し、各水平周期においてHDTV画像（第１の画像）とSDTV画像（第２の画像）とが混在した画像（映像信号）を出力する。図2は、本実施形態における解像度変換処理の時分割の様子を示している。図2に示すように、水平同期信号が示す水平周期内でHDTV向けの解像度変換処理（図2ではHDライン生成）とSDTV向けの解像度変換処理（図2ではSDライン生成）がこの順番で実施される。SDTV向けの解像度変換処理が停止されている水平周期があるが、これについては後述する。
【００２４】
後段画像処理部102は、解像度変換部101で処理された映像信号の内容がHDTV画像とSDTV画像のどちらであるかに応じて画像処理用のパラメータを選択して、映像信号に対して画像処理を行う。後段画像処理部102には、例えば輪郭補償（強調）のマトリクス係数やマスキングのマスクサイズなどのように、画像サイズに応じて最適なパラメータが異なる場合に備えて、HDTV向けの処理に相応しいパラメータとSDTV向けの処理に相応しいパラメータとが供給されている。
【００２５】
分離部103は、HDTV画像とSDTV画像とが混在している映像信号に対して、水平周期単位に前半部と後半部とを切り離す処理を行うことで、個々の画像に対応する映像信号に分離する。なお、本実施形態では、解像度変換部101、後段画像処理部102、分離部103の動作周波数をHDTV画像の表示に必要な動作周波数の2倍以上に高めることで、処理時間を短縮し、HDTV向けとSDTV向け双方の処理を実施している。
【００２６】
HDTV向けの解像度変換処理とSDTV向けの解像度変換処理とを水平周期単位に時分割で交互に実施するためには、解像度変換部101に入力される元画像の同じ画像データを2回参照する必要がある。しかしながら、映像信号は随時新たに入力されてくるため、元画像の画像データを一時的に貯えておかなければならない。そこで、メモリが必要になるが、水平周期単位の時分割を行うためには数ライン分の画像データを記憶できるだけのメモリがあればよく、メモリ容量は抑えられている。
【００２７】
解像度変換部101は、解像度変換後の画素を新規に生成するために、解像度変換前の元画像の画像データに対して補間係数を乗ずる多くの乗算器を有している。また、後段画像処理部102は、具体的には輪郭補償（強調）、マスキング、色調整などを実施しており、マトリクス乗算回路のように回路規模の大きな回路を含んでいる。これらの部分を、HDTV向けとSDTV向けに共通の解像度変換部101と後段画像処理部102に集約することで回路規模を削減することができる。
【００２８】
前述したように、解像度変換部101で実施する解像度変換処理は、HDTV画像とSDTV画像の2種類に対応するものであるが、これらの画像サイズの異なる画像に変換するためのHDTV向けの変換倍率とSDTV向けの変換倍率は、倍率設定部104に設定される。解像度変換によって新規に画素を生成する位置は、変換倍率をもとに、垂直画素位置生成部106、107と水平画素位置生成部108によって、垂直方向と水平方向について個々に生成される。
【００２９】
解像度変換によって画素の集積度は変換倍率に応じたものとなるため、元画像の画素の間隔を1とすれば、新規に生成する画素の間隔は変換倍率の逆数となる。従って、元画像の画素位置の垂直/水平の各成分が0,1,2,3,・・・であるとすれば、新規な画素位置は、垂直/水平の成分ごとにそれぞれの変換倍率の逆数を累積加算することで得られる。例えば、変換倍率をaとすれば、1/aを累積加算することで、垂直/水平の各成分の新規な画素位置は、0, 1/a, 2/a, 3/a,・・・と得られる。
【００３０】
図2に示したように、水平周期内でHDTV画像の1ラインとSDTV画像の1ラインが生成される。水平方向の新規な画素位置に関しては、水平周期内で累積加算によりHDTV向けの画素位置を順次生成した後、画素位置をリセットして再度累積加算によりSDTV向けの画素位置を順次生成すればよい。このように、水平方向の新規な画素位置に関しては、HDTV向け、SDTV向けのそれぞれの画素位置の生成が水平周期内で連続して行われるため、1台の水平画素位置生成部を共用することができる。
【００３１】
一方、垂直方向の新規な画素位置に関しては、画素位置の生成が水平周期を跨いで行われる。例えば、最初の水平周期では、HDTV向け、SDTV向けのそれぞれの画素位置を生成して保持し、次の水平周期では、ラインが変わるためHDTV向け、SDTV向けのそれぞれの画素位置を生成して保持する必要がある。このため、垂直方向の新規な画素位置に関しては、2台の垂直画素位置生成部を備えることで対応している。
【００３２】
HDTV用の垂直画素位置生成部106は、HDTV向けの垂直変換倍率が設定され、HDTV向けの垂直画素位置を生成して出力する。SDTV用の垂直画素位置生成部107は、SDTV向けの垂直変換倍率が設定され、SDTV向けの垂直画素位置を生成して出力する。
【００３３】
水平画素位置生成部108は、例えば水平周期の前半ではHDTV向けの水平変換倍率が設定され、HDTV向けの水平画素位置を生成して出力し、水平周期の後半ではSDTV向けの水平変換倍率が設定され、SDTV向けの水平画素位置を生成して出力する。水平画素位置生成部108を共用するにあたり、倍率切換部105は、HDTV向けの水平変換倍率とSDTV向けの水平変換倍率の一方を水平周期単位で交互に選択し、両倍率を切り換えて倍率設定部104に設定している。
【００３４】
本実施形態ではHDTV向けの解像度変換処理とSDTV向けの解像度変換処理とを水平周期単位に時分割で交互に実施するが、SDTV画像はHDTV画像よりもサイズが小さいため、SDTV向けの解像度変換の処理回数は、HDTV向けの解像度変換の処理回数よりも少なくなる。このため、SDTV向けの解像度変換処理は、停止命令部110が出力する停止命令信号によって一部の水平周期において停止されている。
【００３５】
この様子を図2に示す。停止命令部110は、HDTV向けの垂直画素位置とSDTV向けの垂直画素位置とを監視しており、生成される画素数が少ないために進行が早いSDTV向けの垂直画素位置が、HDTV向けの垂直画素位置よりもラインを跨いで先行した場合に、SDTV用の垂直画素位置生成部107に停止を命じ、HDTV用の垂直画素位置生成部106が生成する垂直画素位置が追い付くのを待たせる。また、SDTV用の垂直画素位置生成部107を停止させた期間では、SDTV向けの画素データの値を補間演算する必要はないので、停止命令部110は、後述する補間演算部113にも停止を命ずる。
【００３６】
更新命令部109は、垂直画素位置生成部106が生成するHDTV向けの垂直画素位置を監視し、HDTV向けの垂直画素位置が元画像の垂直画素位置を跨ぐことを検出し、そのタイミングで更新命令を出力する。SDTV向けの垂直画素位置は、停止命令部110によって、HDTV向けの垂直画素位置と元画像の同じライン間に位置するように制御されているため、HDTV向けの垂直画素位置だけを考慮すればよい。
【００３７】
同時化部111は、ラインメモリなどで構成され、補間演算に必要となるライン数だけ元画像データを貯えるものである。新規に生成する垂直画素位置に応じて、解像度変換処理に用いる元画像のラインが変わるため、同時化部111は、更新命令部109の更新命令に従って元画像の画素データを記憶する。
【００３８】
補間係数生成部112は、HDTV向け、SDTV向けそれぞれの垂直画素位置と水平画素位置とに基づいて補間係数を生成する。補間演算部113は、同時化部111で同時化された元画像の画素データに補間係数を乗じることにより新規な画素のデータを補間し、解像度変換された映像信号を出力する。
【００３９】
後段画像処理部102には、HDTV向け及びSDTV向けのサイズに解像度変換された映像信号が、水平周期単位で交互に入力される。後段画像処理は後段画像処理本体114で行われる。後段画像処理部102では、以下のようにして、HDTV画像とSDTV画像が混在した映像信号に対応している。
【００４０】
先行処理判定部115は、入力される映像信号の水平周期において、HDTV系とSDTV系のどちらが先に入力されるのかを予め規定した情報に基づいて、HDTV系とSDTV系のどちらが先に入力されるのかを判定するもので、解像度変換部101の処理と対応付けられている。処理時間算出部116は、解像度変換部101におけるHDTV向け及びSDTV向けのそれぞれの解像度変換の所要時間を算出する。
【００４１】
水平周期の開始時刻と、水平周期の開始時刻から先行処理した解像度変換の所要時間だけ経過した時刻とが、2種の解像度変換を施された画像データが切り替わるタイミングとして認識される。このタイミングを示す情報に加えて、先行処理した系がどちらであるかを合わせて判断することによって、識別部117は、任意の時刻に後段画像処理部102に入力される映像信号がHDTV向けであるか、SDTV向けであるかを識別する。
【００４２】
なお、処理時間算出部116が先行処理判定部115の判定結果に基づいて、解像度変換部101におけるHDTV向け及びSDTV向けの解像度変換のうち、水平周期内で先行して行った解像度変換のみの所要時間を算出し、識別部117が上記2つのタイミングを示す情報に基づいて、後段画像処理部102に入力されている映像信号がHDTV向けであるか、SDTV向けであるかを識別してもよい。
【００４３】
後段画像処理本体114は、識別部117の識別結果をもとに、後段画像処理部102に入力されている映像信号に対応したHDTV向けまたはSDTV向けのパラメータを選択する。また、SDTV向けの解像度変換処理が停止される水平周期があるため、解像度変換部101が出力する映像信号のSDTV向けの成分が抜けている水平周期がある。SDTV向けの成分が抜けている水平周期では、SDTV向けの成分の代わりに無効データが出力される。このために、後段画像処理部102は無効データ対策部118を備えている。
【００４４】
後段画像処理本体114には、例えば輪郭補償（強調）などのようにマトリクス乗算を実施する部分がある。マトリクス乗算を行うためには、上下数ライン分の画素データを同時化する必要がある。画素データの同時化は、例えば所定数のラインメモリを用いて行われる。通常は、新たに同時化すべきラインの画像データをラインメモリに記憶させ、それまで記憶させていた各ラインの画像データをラインメモリ間でシフトさせ、最も古い時刻に記憶させたラインの画像データを消失させている。しかし、前述したようにSDTV向けの成分が抜けている水平周期があった場合には、新たに同時化すべきラインの画像データがないため、単純なラインメモリ間のデータシフトでは対応できず、SDTV向けの成分の抜けの有無、即ち画像データの有無に応じてシフトするかしないかを制御する必要がある。
【００４５】
この制御を行うのが無効データ対策部118である。無効データ対策部118は、複数ラインが同時化された画像データを用いたマトリクス演算処理を行うためにマトリクスサイズに相当するライン分の画像データをラインメモリにより同時化する際に、後段画像処理部102に入力される画像データが無効データであるか否かを判定し、判定結果に応じて、ラインメモリに対する画像データの書き込みを制御する。画像データが無効データである場合、ラインメモリに対する画像データの書き込みは行われない。無効データであるか否かの判定は、解像度変換部101の停止命令部110が出力する停止命令に基づいて行われる。停止命令が出力された場合、その水平周期ではSDTV向けの成分ではなく無効データが入力されることが分かる。
【００４６】
映像信号のデータは画像の左の画素から右の画素へ、上のラインから下のラインへという順に並んでいるため、水平周期単位でHDTV画像とSDTV画像が混在し、かつSDTVに関しては抜けている水平周期があるため、映像信号をそのまま画像化すると、図3のようにHDTV画像301とSDTV画像302が左右に並ぶ形になっている。
【００４７】
分離部103は、このようなHDTV画像とSDTV画像が混在する映像信号をHDTV系とSDTV系との各映像信号に分離するものである。分離にあたり、分離部103は、所定の周波数で入力される映像信号のデータを順次フィールドメモリ119に書き込み、HDTV系、SDTV系、それぞれの表示用周波数で、フィールドメモリ119に書き込まれたデータの必要な部位を読み取っていく。
【００４８】
上述したように、本実施形態の画像処理装置において解像度変換部101は、高解像度画像向けの解像度変換処理と低解像度画像向けの解像度変換処理とを時分割で交互に実施し、高解像度画像と低解像度画像とが混在した映像信号を出力する。後段画像処理部102は、高解像度画像向けの処理に相応しいパラメータと低解像度画像向けの処理に相応しいパラメータとが供給されていて、映像信号の内容が高解像度画像と低解像度画像のどちらであるかに応じてパラメータを選択して処理を行う。分離部103は高解像度画像と低解像度画像とが混在している映像信号を、個々の解像度の映像信号に分離する。このように、高解像度画像向けの解像度変換処理および後段画像処理と、低解像度画像向けの解像度変換処理および後段画像処理を同一の回路を用いて実施するため、回路規模を削減することができる。
【００４９】
また、解像度変換部101は1ライン分の画像データに対し、高解像度画像向けの解像度変換処理と低解像度画像向けの解像度変換処理を順次実施し、高解像度画像の画像データと低解像度画像の画像データとを水平周期単位で交互に出力する。このように、高解像度画像の画像データと低解像度画像の画像データとを水平周期単位で生成するため、解像度変換処理のために参照する元画像のデータをラインごとに保持および廃棄することが可能となり、メモリ容量を節約できる。
【００５０】
また、高解像度画像と低解像度画像とで、解像度変換後に新規に画素を生成する位置は異なるので、解像度変換部101は、専用に備えた垂直画素位置生成部106、107を用いて垂直画素位置を生成する。ただし、水平画素位置に関しては、水平周期を跨いで画素位置生成を継続しないため、1台の水平画素位置生成部108を交互に利用する。また、補間処理を行うにあたり、新規に画素を生成する垂直位置の上下数ライン分の元画像のデータが必要となるが、更新命令部109および同時化部111は、高解像度画像に向けて新規に画素を生成する垂直位置の上下数ライン分の元画像のデータを同時化する。なお、同時化すべきラインを選定する制御は更新命令部109が実施する。垂直画素位置生成部だけは集約せずに高解像度画像と低解像度画像向けに個々に用意しているが、各垂直画素位置生成部において、単独の画像だけを考慮すればよいので、位置の生成が容易となる。また、垂直画素位置生成部を1つ余分に設けるが、単なる加算器ゆえ、回路規模に及ぼす影響はほとんどない。
【００５１】
また、低解像度画像は高解像度画像よりも小さいので、同時化された数ライン分の元画像のデータを用いて新規に画素を生成する回数が少ない。この回数が少ない分は、停止命令部110からの停止命令により低解像度画像向けの処理を停止させることで対応している。補間処理に必要となる数ライン分の元画像のデータの同時化制御は、高解像度画像向けの垂直画素位置生成の進行に応じて参照用のデータを貯えることにするということと、新規に生成する画素の少ない低解像度画像向けの垂直画素位置生成が高解像度画像向けの垂直画素位置生成よりもラインを跨いで先行したときに低解像度画像向けの解像度変換処理を停止させるという単純な方法で実現することができる。
【００５２】
また、先行処理判定部115は、水平周期単位で高解像度画像、低解像度画像のどちらの画像データを先行処理するかを判定し、識別部117に伝達する。処理時間算出部116は、高解像度画像、低解像度画像それぞれの解像度変換処理に要する時間を予め算出し、識別部117に伝達する。識別部117は、高解像度画像向け、低解像度画像向けの処理順序と、処理に要する時間とから、後段画像処理部102に入力される画像データが高解像度画像、低解像度画像のどちらであるかを識別し、後段画像処理本体114に通知する。このようにして2種のデータを識別するため、映像信号に識別用の情報を盛り込む必要がない。
【００５３】
また、後段画像処理本体114におけるマトリクス演算処理を行う部分では、そのサイズに応じたライン数の画像データをラインメモリにより同時化するが、ある水平周期で新規に入力される1ライン分の画像データが無効データである場合には、無効データ対策部118が無効データを検出して、ラインメモリ間でのデータシフトを停止させる。このため、解像度変換後の画像データが水平周期単位で抜けていたとしても、同時化した画像データに抜けが生じないようにすることができる。
【００５４】
また、分離部103は、フィールドメモリ119を用いて、高解像度画像、低解像度画像それぞれの画像データに分離すると同時に、高解像度画像、低解像度画像それぞれの表示用クロックへの乗せ替えを行う。これによって、ラインごとに混在している高解像度と低解像度の画像データを分離し、周波数、同期周期の異なる2種の映像信号を生成することができる。
【００５５】
（第2の実施形態）
図4は本発明の第2の実施形態による画像処理装置の構成を示している。図4に沿って画像処理装置の全体について概略を述べる。図4に示す画像処理装置は、解像度変換部201と後段画像処理部207と分離部208とパラメータ制御部209とで構成される。
【００５６】
解像度変換部201は、開始タイミング算出部202とバッファ205と変換処理部206とを備える。開始タイミング算出部202は、演算部203と開始信号制御部204とを備える。後段画像処理部207は、フレーム切り換え検出部210と画像加工部213とを備える。分離部208は、フレーム切り換え制御部214とフィールドメモリ211とフィールドメモリ212とを備える。
【００５７】
解像度変換部201は、入力された映像信号（以下、入力映像信号）から2種類の映像信号（HDTV/SDTV）をフレーム単位で交互に生成し、各映像信号をHDTV/SDTV混合映像信号として同じ映像信号線に出力する。本実施形態ではフレームを単位としているが、フィールドを単位としてもよい。図5は、本実施形態における解像度変換処理の時分割の様子を示している。図5に示すように、垂直同期信号が示す垂直周期単位で1フレームの映像信号が入力される。また、垂直周期内でHDTV向けの解像度変換処理とSDTV向けの解像度変換処理がこの順番で実施され、各HDTV/SDTVに対応した映像信号（図5ではHD生成画像、SD生成画像）が出力される。
【００５８】
後段画像処理部207は、解像度変換部201からの映像信号からHDTV/SDTVの各フレームを認識し、フレーム単位で順番に画像処理を行い、HDTV/SDTVそれぞれの映像信号を含むHDTV/SDTV混合映像信号をフレーム単位で同じ映像信号線に出力する。分離部208は、後段画像処理部207からの映像信号からHDTV/SDTVそれぞれの映像信号を分離して出力する。パラメータ制御部209は、外部から設定される各パラメータを必要な機能ブロックに出力する。
【００５９】
入力映像信号は、一時的にバッファ205に保持される。バッファ205に保持された入力映像信号は変換処理部206の入力データとして取り込まれる。変換処理部206は、バッファ205からの映像信号と、パラメータ制御部209から出力されるパラメータ設定値（倍率等のパラメータ）とから、HDTV画像とSDTV画像の解像度変換処理を交互に1フレーム単位で実施する。解像度変換処理の開始タイミングは、開始タイミング算出部202からの開始信号に基づく。入力映像信号の1フレームに対して、HDTV/SDTVの映像信号の各1フレームの合計２フレーム分を出力するには、入力映像信号の動作クロックよりも高速な動作クロックで処理する必要がある。HDTV/SDTVの各動作クロックの和が、理想とする動作クロックとなる。
【００６０】
開始タイミング算出部202は、入力映像信号およびHDTV/SDTV画像の画像サイズと動作クロックと倍率とに関するパラメータをパラメータ制御部209から受け取る。開始タイミング算出部202において、演算部203は、バッファ205への映像信号の書き込みを開始してから解像度変換処理を開始するまでの待ち時間を算出する。開始信号制御部204は、演算部203が算出した待ち時間と動作クロックから、解像度変換処理を開始する適正なタイミングを通知する開始信号を生成して変換処理部206に出力する。
【００６１】
入力映像信号の１フレームに対してHDTV/SDTVの2種類の映像信号をフレーム単位で順番に解像度変換するには、参照する入力映像信号（バッファ205に保存している映像信号）を解像度変換処理の完了まで保持する必要がある。フレーム単位で生成する映像が1種類の場合、本実施形態の解像度変換処理のように入力画像の数ラインを参照し出力画像を1ライン生成する方式では、入力画像の数ラインを順次シフトして、参照する入力画像をバッファ205から読み出すことになる。この場合、1度参照された入力画像データを2度と参照することはないため、バッファ205の参照済みの領域は、次の画像データを上書きできる領域として認識される。
【００６２】
しかし、フレーム単位で生成する画像が2種類の場合は、1回読み込んだ入力画像データを1種類目の映像の生成に使用し、2種類目の映像の生成を行うには再度、入力画像データを先頭から読み直す必要がある。そのため、2回目の読み出しが完了するまで入力画像データの上書きを回避する必要がある。
【００６３】
また、バッファ205への書き込みが完了していない画像データを読み出すことはできないため、1回目の読み出しが完了するタイミングは、バッファ205への入力画像データの書き込みが完了するタイミングよりも後でなければならない。その結果、2回目の読み出しの開始タイミングが次フレームの画像データの書き込みが開始されるタイミングよりも後になり、読み出すべき前フレームの画像データが次フレームの画像データで上書きされる問題が生ずる。
【００６４】
この上書きを回避するためにバッファ205の容量を入力映像信号の1フレーム分のデータ量よりも増やす必要があるが、この増加分の容量は、2回目の読み出し開始までに入力される次フレームの画像データの量で決まるため、2回目の読み出しの開始タイミングに依存する。また、2回目の読み出しの開始タイミングは、1回目の読み出しの完了タイミングに依存するため、最適な1回目の読み出しの開始タイミングを算出することで、上書き対策用に増加するバッファの容量を最小限にできる。
【００６５】
最適な1回目の読み出しの開始タイミングを算出するため、入力画像の画像サイズおよびHDTV/SDTVの2種類の画像サイズと、解像度変換部201の入力および出力の同期のための動作周波数と、解像度変換での倍率とを用いる。そして、入力画像の最終ラインのデータの書き込みが完了したタイミングに合わせて1回目の読み出しが完了するタイミングを求め、求めた読み出し完了のタイミングから遡って1回目の読み出しの開始タイミングを求める。算出方法の詳細を以下に示す。
【００６６】
バッファ205に1ライン分の入力画像データを書き込むのに要する時間をT[s]、解像度変換部201の入出力動作周波数の比（出力動作周波数を入力動作周波数で割ったもの）をα、水平方向の解像度変換率をKx、垂直方向の解像度変換率をKyとすると、解像度変換部201が解像度変換処理によって1ライン分の画像データを生成するのに要する時間はKx・T/α[s]である。
【００６７】
入力画像の垂直方向のサイズをLラインとすると、バッファ205に1フレーム分の入力画像データを書き込むのに要する時間はL・Tである。変換処理部206が1フレーム分の先行する画像（本実施形態ではHDTV画像）の解像度変換処理に要する時間は、
(Ky・L)・(Kx・T/α)[s]
となる。
【００６８】
図6(a)に示すように、バッファ205に対する1フレーム分の入力画像データの書き込みが完了するタイミングと、1フレーム分の先行する画像の解像度変換処理が完了するタイミングとが一致する場合、バッファ205に対する1フレーム分の入力画像データの書き込みが開始されてから解像度変換処理が開始されるまでの待ち時間は、データの書き込みに要する時間と画像の変換処理に要する時間との差分、即ち
（L・T）-（（Ky・L)・(Kx・T/α)）[s]
となる。
【００６９】
しかし、前述したように、バッファ205からの読み出しが完了するタイミングは、バッファ205への入力画像データの書き込みが完了するタイミングよりも後であるため、入力画像データの書き込みが完了したタイミングでは先行する画像の解像度変換処理は完了していない。図6(b)に示すように、先行する画像の解像度変換処理が完了するタイミングが、バッファ205への入力画像データの書き込みが完了するタイミングよりも、入力画像の最終1ラインの解像度変換処理に要する時間だけ後であるとすると、上記の式中のL（入力画像のライン数）から1を引く必要がある。よって、最終ラインの解像度変換処理時間を考慮した待ち時間は、
（L・T）-（（Ky・（L-1））・(Kx・T/α)）[s]
となる。
【００７０】
上記の待ち時間を考慮すると、増加するバッファの容量は、入力画像の数ライン分程度となる。なお、本実施形態では、無効領域を考慮していない画像を想定して全部を有効領域として用いているが、実際の画像には無効領域があり、バッファ205に入力画像データを保持する必要の無い時間が存在する。すなわちフレーム間でバッファ205の上書きが行われない時間があり、バッファの容量を増加しなくても良い場合がある。
【００７１】
また、開始タイミング算出部202の回路規模は、解像度変換部201の一部である補間生成位置の算出部分（画像を拡張、縮小する場合に主に使用する）と同程度であることから、削減対象である画像処理1系統（解像度変換部から画像処理まで）の十数分の一程度の規模である。
【００７２】
後段画像処理部207は、解像度変換後のHDTV/SDTVの2種類の画像に対してフレーム単位で各個別の処理を順番に行う。フレーム切り換え検出部210は、入力される画像データの水平同期信号と垂直同期信号から各画像の先頭を検出し、あらかじめ設定されている先行画像の種類に応じて画像の処理に必要なパラメータ（参照テーブルなど）を切り換えて出力する。画像加工部213は、フレーム切り換え検出部210からのパラメータに沿った処理を行う。
【００７３】
分離部208は、前段後段画像処理部207で処理された画像データを、画像の種類に応じて、クロック乗り換えのために使用するフィールドメモリ211、212に入力する。各フィールドメモリへの画像データの振り分けは、次のようにして行われる。すなわち、フレーム切り換え制御部214は、図5に示す画像データの水平同期信号と垂直同期信号から各画像のフレームの先頭を検出し、画像の先頭から次の画像の先頭までを1フレームと認識し、パラメータ制御部209からの先行画像の種類を示すパラメータに応じて1番目のフレームをフィールドメモリ211とフィールドメモリ212とのうち一方に格納し、2番目のフレームをフィールドメモリ211とフィールドメモリ212とのうち他方に格納する。これ以降、これと同様の動作を順次行う。
【００７４】
本実施形態では、HD映像用のフィールドメモリ211とSD映像用のフィールドメモリ212とが設けられており、フレーム切り換え制御部214によって選択されたHDTVの画像データがフィールドメモリ211に格納され、SDTVの画像データがフィールドメモリ212に格納される。また、各フィールドメモリから個別にクロック乗り換え済みの映像信号が出力される。
【００７５】
解像度変換部201で生成する2種類の画像サイズが異なる場合、画像サイズの大きい画像の解像度変換処理を先行して行うことで、バッファ205への書き込みを開始するタイミングから解像度変換処理が完了するまでに掛かる時間が長くなることを回避することができる。2回目の画像データの生成は、入力画像データの書き込みが完了した時点から開始され、画素数に応じた処理時間が必要になるためである。また、本実施形態では、HDTV画像/SDTV画像の生成には同じ動作クロックを用いており、画素数に応じた処理時間（クロック）が必要なためである。図7の(1)がHDTV画像を先行して処理した場合の時間を示し、(2)がSDTV画像を先行して処理した場合の時間を示す。(3)は(1)と(2)の差分を示しており、これにより、SDTV画像を先行して処理すると、処理完了までの時間が、HDTV画像を先行して処理した場合よりも画像サイズの差に応じた時間だけ延びることが分かる。
【００７６】
上述したように、本実施形態の画像処理装置は1フレーム（または1フィールド）分の画像データに対し、高解像度画像向けの解像度変換処理と低解像度画像向けの解像度変換処理とを順次実施し、高解像度画像向けの画像データと低解像度画像向けの画像データとを1フレーム（または1フィールド）で交互に出力する。このように、高解像度画像向けの解像度変換処理および後段画像処理と、低解像度画像向けの解像度変換処理および後段画像処理を同一の回路を用いて実施するため、回路規模を削減することができる。また、高解像度画像向けの画像データと低解像度画像向けの画像データとを1フレーム（または1フィールド）単位で生成するので、処理の切り換えが少なく、制御自体も簡素化できる。
【００７７】
また、フレーム切り換え検出部210は、時分割に入力される解像度変換処理後の2種類の画像データに対応する1フレーム（または1フィールド）分の先頭を同期信号から検出し、画像処理に必要なパラメータを交互に切り換える。画像加工部213は適正なパラメータを用いて画像処理を行う。これによって、2種類の画像データを同一の回路で処理することができる。
【００７８】
また、解像度変換部201は、変換処理に必要な1フレーム（1フィールド）分の入力画像データが入力されたタイミングで処理を開始する。本実施形態では2種類の画像データを生成するために参照する入力画像を保持する記憶回路が余分に必要になるが、最小限に抑えることができる。
【００７９】
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【符号の説明】
【００８０】
101，201・・・解像度変換部、102，207・・・後段画像処理部（画像処理部）、103，208・・・分離部、104・・・倍率設定部、105・・・倍率切換部、106，107・・・垂直画素位置生成部、108・・・水平画素位置生成部、109・・・更新命令部（制御部）、110・・・停止命令部（停止部）、111・・・同時化部（記憶部）、112・・・補間係数生成部、113・・・補間演算部、114・・・後段画像処理本体（処理部）、115・・・先行処理判定部（判定部）、116・・・処理時間算出部、117・・・識別部、118・・・無効データ対策部、119・・・フィールドメモリ、202・・・開始タイミング算出部、203・・・演算部、204・・・開始信号制御部、205・・・バッファ、206・・・変換処理部、209・・・パラメータ制御部、210・・・フレーム切り換え検出部、211，212・・・フィールドメモリ、213・・・画像加工部、214・・・フレーム切り換え制御部
【特許請求の範囲】
【請求項１】
入力画像に対して、所定の解像度を有する第１の画像への解像度変換処理と、前記第１の画像よりも低い解像度を有する第２の画像への解像度変換処理とを時分割で交互に行い、前記第１の画像および前記第２の画像が混在した画像を出力する解像度変換部と、
前記解像度変換部によって処理された画像に対して、前記第１の画像および前記第２の画像のそれぞれに対応した画像処理パラメータを用いて画像処理を行う画像処理部と、
前記画像処理部によって処理された画像を前記第１の画像と前記第２の画像とに分離する分離部と
を備えることを特徴とする画像処理装置。
【請求項２】
前記解像度変換部は、
前記第１の画像および第２の画像のそれぞれに対応した２種類の変換倍率を設定できる倍率設定部と、
前記入力画像の１水平周期内で前記２種類の変換倍率を切り換える倍率切換部と
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記解像度変換部は、
前記第１の画像に変換した後の画素を生成すべき垂直方向の位置を算出するための第１の垂直画素位置生成部と、
前記第２の画像に変換した後の画素を生成すべき垂直方向の位置を算出するための第２の垂直画素位置生成部と、
前記第１の画像および前記第２の画像に変換した後の画素を生成すべき水平方向の位置を算出するための水平画素位置生成部と、
補間処理に必要となる前記入力画像を記憶する記憶部と、
前記第１の画像への解像度変換処理の進行状況に応じて、前記記憶部に対する前記入力画像の書き込みを制御する制御部と、
前記第１の垂直画素位置生成部が算出した垂直方向の位置と前記第２の垂直画素位置生成部が算出した垂直方向の位置とに基づいて、前記第２の画像への解像度変換処理を停止させる停止部と、
前記第１の垂直画素位置生成部が算出した垂直方向の位置または前記第２の垂直画素位置生成部が算出した垂直方向の位置と前記水平画素位置生成部が算出した前記水平方向の位置とに基づいて補間係数を生成する補間係数生成部と、
前記記憶部が記憶する前記入力画像のデータに対して前記補間係数を乗ずることにより、前記第１の画像または前記第２の画像における画素のデータを補間する補間演算部と
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記画像処理部は、
前記解像度変換部によって処理された画像に対して、前記第１の画像および第２の画像のそれぞれに対応した画像処理パラメータを用いて画像処理を行う処理部と、
前記入力画像の水平周期において前記第１の画像への解像度変換処理と前記第２の画像への解像度変換処理とのどちらを先行して行うのかを判定する判定部と、
前記第１の画像への解像度変換処理および前記第２の画像への解像度変換処理のそれぞれの処理時間を予め算出する処理時間算出部と、
前記判定部が判定した結果と前記処理時間算出部が算出した処理時間とに基づいて、前記解像度変換部から出力された画像が前記第１の画像および前記第２の画像のどちらに対応するのかを識別する識別部と
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記画像処理部は、複数ラインが同時化された画像データを用いたマトリクス演算処理を行うため、マトリクスサイズに相当するライン分の画像データをラインメモリにより同時化する際に、前記解像度変換部から出力された画像データが無効データであるか否かを判定し、判定結果に応じて、前記ラインメモリに対する画像データの書き込みを制御する無効データ対策部を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記分離部は、前記画像処理部によって処理され、所定の周波数で入力された画像のデータが書き込まれるフィールドメモリを備え、当該フィールドメモリから、前記第１の画像を表示するための周波数で前記第１の画像のデータを出力し、前記第２の画像を表示するための周波数で前記第２の画像のデータを出力することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記解像度変換部は、
前記入力画像を一時的に保持するバッファと、
前記バッファに保持された前記入力画像に対して、１フレーム内または１フィールド内で前記第１の画像への解像度変換処理と前記第２の画像への解像度変換処理とを交互に行い、前記第１の画像および前記第２の画像が混在した画像を出力する変換処理部と、
前記第１の画像への解像度変換処理と前記第２の画像への解像度変換処理のうち１フレームまたは１フィールド内で先行する解像度変換処理の開始タイミングを算出する開始タイミング算出部と
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記開始タイミング算出部は、
前記第１の画像への解像度変換処理と前記第２の画像への解像度変換処理のうち１フレームまたは１フィールド内で先行する解像度変換処理の開始タイミングを演算する演算部と、
前記演算部が算出した開始タイミングと回路の動作クロックを用いて処理開始信号を適正なタイミングで出力する開始信号制御部と
を有することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記画像処理部は、
水平同期信号および垂直同期信号に基づいて、前記解像度変換部によって処理された画像における前記第１の画像および前記第２の画像の各フレームの先頭を検出し、各フレームの画像に対応する画像処理パラメータを出力するフレーム切り換え検出部と、
前記フレーム切り換え検出部から出力された画像処理パラメータを用いて前記第１の画像および前記第２の画像の各々に対して画像処理を行う画像加工部と
を有することを特徴とする請求項１に記載の画像処理装置。
【請求項１】
入力画像に対して、所定の解像度を有する第１の画像への解像度変換処理と、前記第１の画像よりも低い解像度を有する第２の画像への解像度変換処理とを時分割で交互に行い、前記第１の画像および前記第２の画像が混在した画像を出力する解像度変換部と、
前記解像度変換部によって処理された画像に対して、前記第１の画像および前記第２の画像のそれぞれに対応した画像処理パラメータを用いて画像処理を行う画像処理部と、
前記画像処理部によって処理された画像を前記第１の画像と前記第２の画像とに分離する分離部と
を備えることを特徴とする画像処理装置。
【請求項２】
前記解像度変換部は、
前記第１の画像および第２の画像のそれぞれに対応した２種類の変換倍率を設定できる倍率設定部と、
前記入力画像の１水平周期内で前記２種類の変換倍率を切り換える倍率切換部と
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記解像度変換部は、
前記第１の画像に変換した後の画素を生成すべき垂直方向の位置を算出するための第１の垂直画素位置生成部と、
前記第２の画像に変換した後の画素を生成すべき垂直方向の位置を算出するための第２の垂直画素位置生成部と、
前記第１の画像および前記第２の画像に変換した後の画素を生成すべき水平方向の位置を算出するための水平画素位置生成部と、
補間処理に必要となる前記入力画像を記憶する記憶部と、
前記第１の画像への解像度変換処理の進行状況に応じて、前記記憶部に対する前記入力画像の書き込みを制御する制御部と、
前記第１の垂直画素位置生成部が算出した垂直方向の位置と前記第２の垂直画素位置生成部が算出した垂直方向の位置とに基づいて、前記第２の画像への解像度変換処理を停止させる停止部と、
前記第１の垂直画素位置生成部が算出した垂直方向の位置または前記第２の垂直画素位置生成部が算出した垂直方向の位置と前記水平画素位置生成部が算出した前記水平方向の位置とに基づいて補間係数を生成する補間係数生成部と、
前記記憶部が記憶する前記入力画像のデータに対して前記補間係数を乗ずることにより、前記第１の画像または前記第２の画像における画素のデータを補間する補間演算部と
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記画像処理部は、
前記解像度変換部によって処理された画像に対して、前記第１の画像および第２の画像のそれぞれに対応した画像処理パラメータを用いて画像処理を行う処理部と、
前記入力画像の水平周期において前記第１の画像への解像度変換処理と前記第２の画像への解像度変換処理とのどちらを先行して行うのかを判定する判定部と、
前記第１の画像への解像度変換処理および前記第２の画像への解像度変換処理のそれぞれの処理時間を予め算出する処理時間算出部と、
前記判定部が判定した結果と前記処理時間算出部が算出した処理時間とに基づいて、前記解像度変換部から出力された画像が前記第１の画像および前記第２の画像のどちらに対応するのかを識別する識別部と
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記画像処理部は、複数ラインが同時化された画像データを用いたマトリクス演算処理を行うため、マトリクスサイズに相当するライン分の画像データをラインメモリにより同時化する際に、前記解像度変換部から出力された画像データが無効データであるか否かを判定し、判定結果に応じて、前記ラインメモリに対する画像データの書き込みを制御する無効データ対策部を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記分離部は、前記画像処理部によって処理され、所定の周波数で入力された画像のデータが書き込まれるフィールドメモリを備え、当該フィールドメモリから、前記第１の画像を表示するための周波数で前記第１の画像のデータを出力し、前記第２の画像を表示するための周波数で前記第２の画像のデータを出力することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記解像度変換部は、
前記入力画像を一時的に保持するバッファと、
前記バッファに保持された前記入力画像に対して、１フレーム内または１フィールド内で前記第１の画像への解像度変換処理と前記第２の画像への解像度変換処理とを交互に行い、前記第１の画像および前記第２の画像が混在した画像を出力する変換処理部と、
前記第１の画像への解像度変換処理と前記第２の画像への解像度変換処理のうち１フレームまたは１フィールド内で先行する解像度変換処理の開始タイミングを算出する開始タイミング算出部と
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記開始タイミング算出部は、
前記第１の画像への解像度変換処理と前記第２の画像への解像度変換処理のうち１フレームまたは１フィールド内で先行する解像度変換処理の開始タイミングを演算する演算部と、
前記演算部が算出した開始タイミングと回路の動作クロックを用いて処理開始信号を適正なタイミングで出力する開始信号制御部と
を有することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記画像処理部は、
水平同期信号および垂直同期信号に基づいて、前記解像度変換部によって処理された画像における前記第１の画像および前記第２の画像の各フレームの先頭を検出し、各フレームの画像に対応する画像処理パラメータを出力するフレーム切り換え検出部と、
前記フレーム切り換え検出部から出力された画像処理パラメータを用いて前記第１の画像および前記第２の画像の各々に対して画像処理を行う画像加工部と
を有することを特徴とする請求項１に記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１１−２３９２０６（Ｐ２０１１−２３９２０６Ａ）
【公開日】平成２３年１１月２４日（２０１１．１１．２４）
【国際特許分類】
【出願番号】特願２０１０−１０９２９４（Ｐ２０１０−１０９２９４）
【出願日】平成２２年５月１１日（２０１０．５．１１）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２３年１１月２４日（２０１１．１１．２４）
【国際特許分類】
【出願日】平成２２年５月１１日（２０１０．５．１１）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]