映像変換装置および方法、並びにプログラム
【課題】映像信号の映像形式および色差形式を変換する場合に、映像信号の画質の劣化を抑制できるようにする。
【解決手段】ＩＰ変換部２４は、映像形式がインターレース形式であり、色差形式が４：２：０である映像信号が供給された場合、その映像信号の輝度成分および色差成分の補間を行うことで、映像信号の映像形式をインターレース形式からプログレッシブ形式に変換する。色差形式変換部２６は、映像形式がプログレッシブ形式であり、色差形式が４：２：０である映像信号の供給を受けると、その映像信号の色差形式を４：２：０から４：２：２に変換する。このように、映像信号の色差形式の変換前に映像形式の変換を行うことにより、映像信号に基づく画像の画質の劣化を抑制することができる。本発明は、映像変換装置に適用することができる。
【解決手段】ＩＰ変換部２４は、映像形式がインターレース形式であり、色差形式が４：２：０である映像信号が供給された場合、その映像信号の輝度成分および色差成分の補間を行うことで、映像信号の映像形式をインターレース形式からプログレッシブ形式に変換する。色差形式変換部２６は、映像形式がプログレッシブ形式であり、色差形式が４：２：０である映像信号の供給を受けると、その映像信号の色差形式を４：２：０から４：２：２に変換する。このように、映像信号の色差形式の変換前に映像形式の変換を行うことにより、映像信号に基づく画像の画質の劣化を抑制することができる。本発明は、映像変換装置に適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は映像変換装置および方法、並びにプログラムに関し、特に、映像信号の映像形式および色差形式を変換する場合に、画質の劣化を抑制できるようにした映像変換装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
例えば、デジタル画像を表示するための映像信号が記録媒体に記録される場合、データの圧縮率を上げる等の理由により、映像信号が、色差形式が４：２：０であり、映像形式がインターレース形式である映像信号に変換されてから記録されることがある。色差形式が４：２：０である映像信号は、輝度成分と色差成分とからなり、色差成分の解像度（情報量）が画像の水平方向および垂直方向ともに、輝度成分の半分の解像度とされた信号である。
【０００３】
このような映像信号を記録媒体から読み出して、デジタルテレビジョン受像機などで表示させる場合、読み出された映像信号の色差形式は、フィルタ処理により４：２：０から４：２：２に変換される。そして、その後、映像信号の映像形式がインターレース形式からプログレッシブ形式に変換される。
【０００４】
このようにして得られた、色差形式が４：２：２であるプログレッシブ形式の映像信号には、必要に応じて高画質化等の所定の処理が施される。処理の施された映像信号は、さらに色差形式が４：４：４であるＲ，Ｇ，Ｂの各成分からなる信号に変換されて、変換により得られた映像信号に基づいて画像が表示される。
【０００５】
また、従来、映像信号の色差形式を変換する場合に、映像信号の映像形式がインターレース形式か否かを検出して、その検出結果に応じて用いるフィルタを動的に切り換える技術も提案されている（例えば、特許文献１参照）。
【０００６】
【特許文献１】特開平８−３３００２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述した技術では、色差形式が４：２：０であり、映像形式がインターレース形式である映像信号から、色差形式が４：２：２であり、映像形式がプログレッシブ形式である映像信号を得る場合に、映像信号に基づく画像の画質が劣化してしまう。
【０００８】
すなわち、インターレース形式の映像信号の色差形式を４：２：０から４：２：２に変換する場合、補間対象の画素の空間的近傍に位置する画素が用いられて補間処理が行われる。そのため、情報量の少ない色差成分の補間処理を精度よく行うことができず、変換により得られる色差形式が４：２：２のインターレース形式の映像信号の画像の画質が劣化してしまうことが知られている。
【０００９】
映像信号の色差形式を変換する場合に、上述した技術を用いてフィルタを動的に変化させても、やはり空間的に近傍の画素を用いた補間処理が行われるため、画質の劣化を抑制することはできない。
【００１０】
また、映像信号の映像形式をインターレース形式からプログレッシブ形式に変換する場合にも、補間対象の画素の各成分について、その画素の空間的近傍の画素が用いられて補間処理が行われる。ところが、色差形式が４：２：２とされた映像信号の色差成分は既に劣化しているため、映像形式の変換により映像信号の画像には、ぼけやフリッカー、ジャギーなどが発生し、さらに画質が劣化してしまう。
【００１１】
映像信号の映像形式を変換する場合に、画像の画素の時間的な変化を検出し、その検出結果に基づいて、画像上の画素の空間的または時間的に近傍の画素を用いて補間処理を行うことも考えられる。しかしながら、この場合においても、色差形式が４：２：２とされた映像信号は既に劣化しているため、画像上の色の濃い領域の境界部分でクロマアップサンプリングエラーと呼ばれる櫛状のノイズが発生し、画質が劣化してしまう。
【００１２】
以上のように、色差形式が４：２：２であるプログレッシブ形式の映像信号を得るために、映像信号の色差成分に対して非線形処理を施すと、画像の画質が劣化してしまうため、その後段において映像信号に処理を施して画像を高画質化させることは困難であった。
【００１３】
本発明は、このような状況に鑑みてなされたものであり、映像信号の色差形式および映像形式を変換する場合に、映像信号に基づく画像の画質の劣化を抑制することができるようにするものである。
【課題を解決するための手段】
【００１４】
本発明の一側面の映像変換装置は、輝度成分および色差成分からなり、映像形式がインターレース形式である映像信号が供給された場合、前記映像信号の輝度成分および色差成分を補間することにより、前記映像信号の映像形式をプログレッシブ形式に変換する映像形式変換手段と、前記映像形式変換手段による変換により得られた前記映像信号の色差成分を補間することにより、前記映像信号の色差形式を、第１の色差形式から、前記第１の色差形式よりも色差成分が多く含まれる第２の色差形式に変換する色差形式変換手段とを備える。
【００１５】
前記色差形式変換手段には、
前記映像信号に基づく画像の画素の輝度成分を用いて、所定の画素近傍において、互いに類似する画素が並ぶ類似方向を求める類似方向判定手段と、
前記類似方向により特定される画素を用いて、前記所定の画素近傍の画素の色差成分を補間する色差位相補間手段と
をさらに設けることができる。
【００１６】
前記映像形式変換手段には、
連続するいくつかのフィールドの前記映像信号を用いて、前記映像信号に基づく画像上における画素の輝度成分の変化の有無を検出する輝度静止検出手段と、
前記輝度静止検出手段による検出結果に基づいて、処理対象のフィールドの前記画像における第１の注目画素の時間的または空間的に近傍に位置する画素を用いて、前記第１の注目画素の輝度成分を補間する輝度補間手段と、
前記連続するいくつかのフィールドの前記映像信号を用いて、前記映像信号に基づく画像上における画素の色差成分の変化の有無を検出する色差静止検出手段と、
前記色差静止検出手段による検出結果に基づいて、前記処理対象のフィールドの前記画像における第２の注目画素の時間的または空間的に近傍に位置する画素を用いて、前記第２の注目画素の色差成分を補間する色差補間手段と
をさらに設けることができる。
【００１７】
前記色差静止検出手段には、前記輝度静止検出手段による検出結果を用いて、色差成分の変化の有無を検出させることができる。
【００１８】
本発明の一側面の映像変換方法またはプログラムは、輝度成分および色差成分からなり、映像形式がインターレース形式である映像信号が供給された場合、前記映像信号の輝度成分および色差成分を補間することにより、前記映像信号の映像形式をプログレッシブ形式に変換し、映像形式の変換により得られた前記映像信号の色差成分を補間することにより、前記映像信号の色差形式を、第１の色差形式から、前記第１の色差形式よりも色差成分が多く含まれる第２の色差形式に変換するステップを含む。
【００１９】
本発明の一側面においては、輝度成分および色差成分からなり、映像形式がインターレース形式である映像信号が供給された場合、前記映像信号の輝度成分および色差成分を補間することにより、前記映像信号の映像形式がプログレッシブ形式に変換され、その変換により得られた前記映像信号の色差成分を補間することにより、前記映像信号の色差形式が、第１の色差形式から、前記第１の色差形式よりも色差成分が多く含まれる第２の色差形式に変換される。
【発明の効果】
【００２０】
本発明の一側面によれば、映像信号の色差形式および映像形式を変換することができる。特に、本発明の一側面によれば、映像信号の色差形式および映像形式を変換する場合に、映像信号に基づく画像の画質の劣化を抑制することができる。
【発明を実施するための最良の形態】
【００２１】
以下、図面を参照して、本発明を適用した実施の形態について説明する。
【００２２】
［映像変換装置の構成］
図１は、本発明を適用した映像変換装置の一実施の形態の構成例を示すブロック図である。
【００２３】
この映像変換装置１１には、輝度信号（Ｙ成分）と色差信号（Ｃｒ成分およびＣｂ成分）とからなり、色差形式が４：２：０である映像信号が供給される。映像信号は、例えばMPEG（Moving Picture Experts Group）などの方式で符号化（デジタル圧縮）された、動画像を表示させる信号であり、映像信号の映像形式は、プログレッシブ形式またはインターレース形式の何れか一方の形式とされる。
【００２４】
映像変換装置１１は、供給された映像信号を、色差形式が４：２：２であり、映像形式がプログレッシブ形式である映像信号に変換して出力する。
【００２５】
映像変換装置１１は、フレームバッファ２１、フレームバッファ２２、映像形式判定部２３、ＩＰ（Interlace/Progressive）変換部２４、映像選択部２５、および色差形式変換部２６から構成される。
【００２６】
また、映像変換装置１１では、フレームバッファ２１およびＩＰ変換部２４に映像信号が１フィールド（フレーム）分ずつ供給される。すなわち、映像信号の映像形式が、インターレース形式であれば１フィールド分ずつ映像信号が供給され、プログレッシブ形式であれば１フレーム分ずつ映像信号が供給される。
【００２７】
なお、以下においては説明を簡単にするため、映像形式によらず、１フィールド分の映像信号ということとする。すなわち、映像形式がプログレッシブ形式であれば、１フィールド分の映像信号とは、１フレーム分の映像信号を意味するものとする。
【００２８】
フレームバッファ２１は、供給された映像信号を１フィールド分の時間だけ記憶した後、フレームバッファ２２、映像形式判定部２３、ＩＰ変換部２４、および映像選択部２５に供給する。すなわち、フレームバッファ２１は、供給された映像信号を１フィールド分の時間だけ遅延させる。
【００２９】
フレームバッファ２２は、フレームバッファ２１から供給された映像信号を１フィールド分の時間だけ記憶した後、ＩＰ変換部２４に供給する。なお、以下、フレームバッファ２１に供給される映像信号、フレームバッファ２１から出力される映像信号、およびフレームバッファ２２から出力される映像信号を、それぞれフィールドＮ乃至フィールド（Ｎ−２）の映像信号とも称する。つまり、フィールド（Ｎ−１）およびフィールド（Ｎ−２）は、それぞれフィールドＮに対して、時間的に１つ前、および２つ前のフィールドとなる。
【００３０】
映像形式判定部２３は、フレームバッファ２１から供給された映像信号に基づいて、その映像信号の映像形式がインターレース形式であるか否かを判定し、その判定結果を映像選択部２５に供給する。
【００３１】
ＩＰ変換部２４は、供給されたフィールドＮの映像信号、フレームバッファ２１からのフィールド（Ｎ−１）の映像信号、およびフレームバッファ２２からのフィールド（Ｎ−２）の映像信号を用いてＩＰ変換処理を行い、映像信号の映像形式を変換する。すなわち、ＩＰ変換処理により、フィールド（Ｎ−１）の映像信号が処理対処とされて、その映像信号の映像形式がインターレース形式からプログレッシブ形式に変換され、変換により得られた映像信号が映像選択部２５に供給される。ここで、ＩＰ変換処理により得られる映像信号の色差形式（映像フォーマット）は、４：２：０のままとされる。
【００３２】
映像選択部２５は、映像形式判定部２３からの判定結果に基づいて、フレームバッファ２１からの映像信号、またはＩＰ変換部２４からの映像信号の何れか一方を選択し、選択した映像信号を色差形式変換部２６に供給する。
【００３３】
具体的には映像選択部２５は、フレームバッファ２１からの映像信号の映像形式がプログレッシブ形式であれば、その映像信号を選択し、フレームバッファ２１からの映像信号の映像形式がインターレース形式であれば、ＩＰ変換部２４からの映像信号を選択する。何れの場合においても、映像選択部２５から色差形式変換部２６には、映像形式がプログレッシブ形式であるフィールド（Ｎ−１）の映像信号が供給されることになる。
【００３４】
色差形式変換部２６は、映像選択部２５から供給された映像信号の色差形式を、４：２：０から４：２：２に変換する色差形式変換処理を行い、これにより得られた映像信号を出力する。したがって色差形式変換部２６からは、色差形式が４：２：２であり、映像形式がプログレッシブ形式であるフィールド（Ｎ−１）の映像信号が出力されることになる。色差形式変換部２６から出力された映像信号には、後段において高画質化等の処理が施されたり、色差形式が４：４：４であるＲ，Ｇ，Ｂの成分を有する映像信号に変換する処理が施されたりする。
【００３５】
このように、映像変換装置１１では、フィールドＮの映像信号が供給されると、フィールド（Ｎ−１）の映像信号が出力される。つまり、映像変換装置１１では、処理対象のフィールドの時間的に前後のフィールドが用いられて、映像信号の映像形式および色差形式が変換されるため、映像変換装置１１全体で１フィールド（フレーム）分の処理遅延が発生する。
【００３６】
ところで、映像変換装置１１には、色差形式が４：２：０であり、映像形式がインターレース形式またはプログレッシブ形式である映像信号が供給されると説明した。
【００３７】
映像信号がインターレース形式である場合、例えば、図２に示すように、映像信号として、トップフィールドと呼ばれる画像の信号と、ボトムフィールドと呼ばれる画像の信号とからなる映像信号が映像変換装置１１に供給される。
【００３８】
なお、図２において、図中、左側はトップフィールドの画像を示しており、図中、右側はボトムフィールドの画像を示している。また、各フィールドの画像において、１つの円および四角形は、映像信号の輝度成分（Ｙ成分）、および色差成分（Ｃｒ成分およびＣｂ成分）を有する１つの画素を表している。さらに、図２中の文字「Line0」乃至「Line10」は、各フィールドの画像における図中、水平方向のラインを表すためのものであり、実際には画像には含まれていない。
【００３９】
図２において、図中、横方向をｘ方向と呼び、縦方向をｙ方向と呼ぶこととすると、各フィールドの画像は、ｘ方向に並んだ画素からなるラインが、ｙ方向に１０だけ並べられて構成されている。また、各フィールドの画像では、特性のラインを構成する全ての画素が輝度成分を有しており、輝度成分を有するラインとｙ方向に隣接するラインのうちの特定のラインを構成するいくつかの画素が色差成分を有している。色差成分を有するラインでは、色差成分を有する画素が、ｘ方向に１画素おきに存在するようになされている。
【００４０】
さらに、トップフィールドの画像と、ボトムフィールドの画像とでは、一方のフィールドの画像における輝度成分または色差成分を有する画素と同じ位置にある、他方のフィールドの画素、つまり同じ位相の画素は、輝度成分も色差成分も有していない。
【００４１】
このような、インターレース形式の映像信号は、トップフィールドの信号と、ボトムフィールドの信号とが交互に配置された信号とされる。つまり、映像信号に基づく画像が表示される場合には、トップフィールドの画像と、ボトムフィールドの画像とが交互に表示されることになる。
【００４２】
一方、映像信号がプログレッシブ形式である場合、例えば、図３に示すように、１フィールド（フレーム）分の画像の映像信号は、１組のトップフィールドおよびボトムフィールドの映像信号が有する情報量（輝度成分および色差成分）を有している。つまり、映像変換装置１１に供給される、プログレッシブ形式の１フィールド分の映像信号は、インターレース形式の１フィールド分の映像信号の倍の情報量を有している。
【００４３】
なお、図３において、１つの円および四角形は、映像信号に基づく画像における輝度成分（輝度信号）、および色差成分（色差信号）を有する１つの画素を表している。また、図中の文字「Line0」乃至「Line10」は、１フィールド分の画像における図中、水平方向のラインを表すためのものであり、実際には画像には含まれていない。
【００４４】
図３において、図中、横方向をｘ方向と呼び、縦方向をｙ方向と呼ぶこととすると、１フィールド分の画像は、図２に示した１フィールド分の画像と同様に、ｙ方向に並べられた１０個のラインから構成される。
【００４５】
また、１フィールド分の画像では、特定のラインを構成する全ての画素が輝度成分を有しており、輝度成分を有するラインは、１ラインおきにｙ方向に並んでいる。さらに、輝度成分を有するラインとｙ方向に隣接するラインのうちの特定のラインの画素だけが色差成分を有しており、色差成分を有するラインでは、色差成分を有する画素が、ｘ方向に１画素おきに存在するようになされている。色差成分を有するラインは、３ラインおきにｙ方向に並んでいる。
【００４６】
図３のプログレッシブ形式の１フィールド分の画像において、図２のトップフィールドまたはボトムフィールドの画像上の輝度成分を有する画素と同じ位置にある画素は、必ず輝度成分を有しており、図３の画像上の他の画素は輝度成分を有していない。同様に、図３の画像において、図２のトップフィールドまたはボトムフィールドの画像上の色差成分を有する画素と同じ位置にある画素は、必ず色差成分を有しており、図３の画像上の他の画素は色差成分を有していない。
【００４７】
さらに、映像変換装置１１から出力されるプログレッシブ形式の映像信号は、例えば、図４に示すように、図３に示した映像信号と比べて、倍の色差成分を有している。
【００４８】
なお、図４において、１つの円および四角形は、映像信号に基づく画像における輝度成分（輝度信号）、および色差成分（色差信号）を有する１つの画素を表しており、円と四角形が重なっている画素は、輝度成分および色差成分の両方を有する画素とされる。また、図中の文字「Line0」乃至「Line10」は、１フィールド分の画像における図中、水平方向のラインを表すためのものであり、実際には画像には含まれていない。
【００４９】
図４において、図中、横方向をｘ方向と呼び、縦方向をｙ方向と呼ぶこととすると、１フィールド分の画像は、図２および図３に示した１フィールド分の画像と同様に、ｙ方向に並べられた１０個のラインから構成される。
【００５０】
図４の画像では、図３において輝度成分を有するラインと同じ位置（位相）のライン、より詳細には、そのラインを構成する全ての画素が輝度成分を有している。また、図４の画像では、図３において色差成分を有する画素と同じ位置（位相）の画素に対して、ｙ方向に隣接する全ての画素が色差成分を有している。すなわち、図３の画像と、図４の画像とでは、色差成分を有する画素のｙ方向（垂直方向）の位相が等しく、図４の画像において、色差成分を有する画素は必ず輝度成分も有している。
【００５１】
なお、図２乃至図４に示した画像における色差成分を有する画素の位相は、映像信号の符号化方式がMPEG2方式である場合を想定した位相となっており、色差成分を有する画素の位相は、図２乃至図４の例と必ずしも同じである必要はない。
【００５２】
次に、図５は、図１のＩＰ変換部２４の構成例を示す図である。
【００５３】
ＩＰ変換部２４は、静止判定部５１およびフィールド補間部５２から構成される。
【００５４】
静止判定部５１には、映像変換装置１１に供給された映像信号、およびフレームバッファ２２からの映像信号が供給される。また、フィールド補間部５２には、映像変換装置１１に供給された映像信号、フレームバッファ２１からの映像信号、およびフレームバッファ２２からの映像信号が供給される。
【００５５】
静止判定部５１は、供給された、処理対象となるフィールドの時間的に前後のフィールド、つまりフィールドＮおよびフィールド（Ｎ−２）の映像信号を用いて、フィールド（Ｎ−１）の映像信号についての輝度静止回数および色差静止回数を求める。
【００５６】
輝度静止回数とは、フィールド（Ｎ−１）の画像上の画素の輝度成分が静止していたフィールド数、すなわち画素の輝度成分が、変化せずにほぼ一定の値のままとされたフィールド数をいう。同様に、色差静止回数は、フィールド（Ｎ−１）の画像上の画素の色差成分が静止していたフィールド数、すなわち画素の色差成分が、変化せずにほぼ一定の値のままとされたフィールド数をいう。求められた輝度静止回数および色差静止回数は、静止判定部５１からフィールド補間部５２に供給される。
【００５７】
フィールド補間部５２は、供給された映像信号と、静止判定部５１からの輝度静止回数および色差静止回数とを用いて、処理対象となっているフィールド（Ｎ−１）の映像信号の映像形式をインターレース形式からプログレッシブ形式に変換する。そして、フィールド補間部５２は、変換により得られた映像信号を映像選択部２５に供給する。
【００５８】
なお、輝度静止回数および色差静止回数は、処理対象のフィールド（Ｎ−１）の画像上の画素であって、ＩＰ変換処理により輝度成分および色差成分が補間される各画素について求められる。
【００５９】
例えば、図６に示すように、画像上において１つのオブジェクトが図中、右方向に移動する動画像の映像信号がＩＰ変換部２４に供給されたとする。なお、図６において、手前方向は時間を示しており、横方向および縦方向はｘ方向およびｙ方向を示している。また、図中、１つの長方形は１つのフィールドの画像を表しており、手前側から奥行き方向に順番に、フィールドＮ乃至フィールド（Ｎ−３）の画像であるものとする。
【００６０】
このような映像信号が供給された場合、静止判定部５１は、映像信号に基づく各フィールドの画像を用いて、画素ごとに画像の絵柄が時間的に静止していたか否か、つまり各画素の動きの有無を判定する。そして、静止判定部５１は、その判定結果に基づいて、輝度成分および色差成分について、各画素が時間的に何フィールドの間静止していたかを示す輝度静止回数および色差静止回数を求める。
【００６１】
図６の例では、各フィールドの画像の中央付近のオブジェクトがｘ方向に移動しているので、輝度静止回数および色差静止回数は、図７に示すように、画像の中央付近の画素の回数が少なく、画像の端近傍の画素の回数は多くなるはずである。
【００６２】
なお、図７において図中、左側の長方形は輝度静止回数が求められる画素からなる画像を示しており、右側の長方形は色差静止回数が求められる画素からなる画像示している。処理対象の映像信号の色差形式は４：２：０であり、その画像が有する色差成分の量（画素数）は、ｘ方向およびｙ方向ともに輝度成分の半分であるため、色差静止回数の画像は、輝度静止回数の画像に対して縦横ともに半分の大きさの画像となっている。
【００６３】
また、図７において、画像上の各領域の濃淡が輝度静止回数または色差静止回数を示しており、濃度の濃い領域の画素ほど回数が多いことを示している。図７の例では、一定期間以上静止しているとされた画素の濃度（明るさ）はクリップされている。
【００６４】
例えば、図６の映像信号に基づく画像では、オブジェクトがｘ方向（水平方向）に移動する。そのため、輝度静止回数の画像および色差静止回数の画像において、オブジェクトと背景（動きのない領域）の境界近傍の部分、すなわち矢印Ａ１１および矢印Ａ１２に示す領域の濃度が最も濃く（暗く）なっている。
【００６５】
そして、それらの矢印Ａ１１および矢印Ａ１２に示す領域から、オブジェクトの移動方向とは反対方向、つまり図中、より左側の領域ほど静止していると判定される回数が増えるため、次第に濃度が薄く（明るく）なっていく。すなわち、矢印Ａ１１および矢印Ａ１２に示す領域よりも、それらの領域に左側に隣接する、矢印Ａ１３および矢印Ａ１４に示す領域の濃度が薄くなっている。また、矢印Ａ１３および矢印Ａ１４に示す領域と比べて、それらの領域の図中、左側の領域は、さらに濃度が薄くなっている。
【００６６】
また、輝度静止回数および色差静止回数は、フィールド（Ｎ−１）の画像の輝度成分および色差成分が補間される画素について求められるため、それらの算出には、図８に示すように、フィールド（Ｎ−１）に対して時間的に前後のフィールドが用いられる。
【００６７】
なお、図８は、図６に示した各フィールドの画像の一部を拡大した図であり、図中、縦方向および横方向は、ｙ方向およびｘ方向を示している。また、図８において、矢印Ｆ１１乃至矢印Ｆ１３のそれぞれにより示される長方形は、フィールドＮ乃至フィールド（Ｎ−２）の画像の一部分の領域を示しており、各画像上の円は、１つの画素を示している。
【００６８】
静止判定部５１では、処理対象となるフィールド（Ｎ−１）の画像の画素について、輝度静止回数および色差静止回数が求められる。
【００６９】
例えば、フィールド（Ｎ−１）の画像の画素であって、図中、点線で囲まれる領域内に含まれる画素の輝度静止回数を求める場合について考えることとし、図中、円で表される画素が、輝度成分を有する画素であるとする。ここで、各フィールドの画像上の点線の領域内の画素からなるラインは、互いに位相が等しいライン、つまり各フィールドの画像上において同じ位置にあるラインである。
【００７０】
具体的には、例えば、矢印Ｆ１２に示されるフィールド（Ｎ−１）が図２に示したトップフィールドであるとすると、矢印Ｆ１１および矢印Ｆ１３に示されるフィールドＮおよびフィールド（Ｎ−２）は、図２に示したボトムフィールドとされる。
【００７１】
また図中、点線で囲まれるフィールド（Ｎ−１）の画像上の領域が、図２のLine2に相当する領域であるとすると、Line2上の各画素はＩＰ変換処理により輝度成分が補間される画素であるため、それらの画素はＩＰ変換処理前の段階では輝度成分を有していない。したがって、フィールド（Ｎ−１）の映像信号だけでは、それらのLine2上の画素の輝度静止回数を求めることはできない。
【００７２】
そのため、Line2上の画素が輝度成分を有するフィールドＮおよびフィールド（Ｎ−２）の映像信号が用いられて、フィールド（Ｎ−１）の画素の輝度静止回数が求められる。
【００７３】
すなわち、フィールド（Ｎ−１）がトップフィールドであるのに対して、フィールドＮおよびフィールド（Ｎ−２）は、ボトムフィールドである。したがって、それらのフィールドの画像における、図８中、点線で囲まれる領域内の画素、つまり図２のLine2上の全ての画素は、輝度成分を有している。
【００７４】
そこで、静止判定部５１は、フィールド（Ｎ−１）のLine2上の注目する画素の輝度静止回数を、その注目する画素と同じ位置にある、フィールドＮおよびフィールド（Ｎ−２）の画像上の画素の輝度成分に基づいて求める。
【００７５】
また、静止判定部５１は、色差静止回数を求める場合においても、輝度静止回数の場合と同様に、フィールド（Ｎ−１）の画素の色差静止回数を、その画素と同じ位置にある、フィールドＮおよびフィールド（Ｎ−２）の画像の画素の色差成分に基づいて求める。
【００７６】
輝度静止回数および色差静止回数を求めることは、所定の画素の輝度成分および色差成分の時間的な変化の有無を検出して、輝度成分および色差成分が変化しなかった期間を求めることであるということができる。つまり、輝度静止回数および色差静止回数は、輝度成分および色差成分の静止が検出された回数（フィールド数）である。
【００７７】
このようにして輝度静止回数および色差静止回数を求める静止判定部５１は、より詳細には、図９に示すように構成される。すなわち、静止判定部５１は、静止回数保持部８１、輝度静止判定部８２、および色差静止判定部８３から構成される。
【００７８】
静止回数保持部８１は、輝度静止判定部８２により求められた、映像信号に基づく画像上の画素の輝度静止回数を保持し、輝度静止判定部８２から新たな輝度静止回数が供給されるたびに保持している輝度静止回数を更新する。
【００７９】
輝度静止回数の更新は、処理対象となっているフィールドと同じ種別のフィールド、つまりトップフィールドまたはボトムフィールドの何れか一方において輝度静止回数が求められる画素についてのみ行われる。したがって、例えば、処理対象のフィールドがトップフィールドである場合には、トップフィールドにおいて輝度静止回数が求められる画素の輝度静止回数のみが更新され、ボトムフィールドにおいて輝度静止回数が求められる画素については更新されない。
【００８０】
輝度静止判定部８２には、映像変換装置１１に入力されたフィールドＮの映像信号と、フレームバッファ２２から出力されたフィールド（Ｎ−２）の映像信号とが供給される。輝度静止判定部８２は、供給されたそれらの映像信号を用いて、静止回数保持部８１に保持されている輝度静止回数を参照しながら、処理対象のフィールド（Ｎ−１）の画像の画素ごとに輝度静止回数を求める。そして、輝度静止判定部８２は、求めた輝度静止回数を色差静止判定部８３およびフィールド補間部５２に供給するとともに、輝度静止回数を静止回数保持部８１に供給して保持させる。
【００８１】
色差静止判定部８３には、映像変換装置１１に入力されたフィールドＮの映像信号と、フレームバッファ２２から出力されたフィールド（Ｎ−２）の映像信号とが供給される。色差静止判定部８３は、供給されたそれらの映像信号と、輝度静止判定部８２からの輝度静止回数とを用いて、処理対象のフィールド（Ｎ−１）の画像の画素ごとに色差静止回数を求め、求めた色差静止回数をフィールド補間部５２に供給する。
【００８２】
また、静止判定部５１から輝度静止回数および色差静止回数の供給を受け、処理対象のフィールド（Ｎ−１）の映像信号の映像形式を変換するフィールド補間部５２は、より詳細には図１０に示すように構成される。
【００８３】
すなわち、フィールド補間部５２は、輝度フィールド補間部１１１および色差フィールド補間部１１２から構成される。
【００８４】
輝度フィールド補間部１１１には、映像変換装置１１に入力されたフィールドＮの映像信号、フレームバッファ２１から出力されたフィールド（Ｎ−１）の映像信号、およびフレームバッファ２２から出力されたフィールド（Ｎ−２）の映像信号が供給される。
【００８５】
輝度フィールド補間部１１１は、供給されたこれらの映像信号と、輝度静止判定部８２からの輝度静止回数とを用いて、処理対象のフィールド（Ｎ−１）の画像の画素の輝度成分を補間する。補間により輝度成分が求められる画素は、フィールド（Ｎ−１）の画像上の輝度成分を有していない画素のうち、図３のプログレッシブ形式の画像において輝度成分を有する画素と同じ位置にある画素である。輝度フィールド補間部１１１は、輝度成分が補間された、フィールド（Ｎ−１）の画像の映像信号を色差フィールド補間部１１２に供給する。
【００８６】
また、色差フィールド補間部１１２には、映像変換装置１１に入力されたフィールドＮの映像信号、フレームバッファ２２から出力されたフィールド（Ｎ−２）の映像信号、および輝度フィールド補間部１１１からのフィールド（Ｎ−１）の映像信号が供給される。色差フィールド補間部１１２は、供給されたこれらの映像信号と、色差静止判定部８３から供給された色差静止回数とを用いて、処理対象のフィールド（Ｎ−１）の画像の画素の色差成分を補間する。
【００８７】
補間により色差成分が求められる画素は、フィールド（Ｎ−１）の画像上の色差成分を有していない画素のうち、図３のプログレッシブ形式の画像において色差成分を有する画素と同じ位置にある画素である。すなわち、例えば、フィールド（Ｎ−１）がトップフィールドであれば、そのフィールドの画像の画素のうち、ボトムフィールドの画像の色差成分を有する画素と同じ位置にある画素の色差成分が補間により求められる。
【００８８】
色差フィールド補間部１１２により映像信号の色差成分が補間されると、映像形式がプログレッシブ形式であり、色差形式が４：２：０であるフィールド（Ｎ−１）の映像信号が得られる。すなわち、補間により得られた映像信号に基づく画像は、図３に示した画像と同じものとなる。色差フィールド補間部１１２は、補間により得られたフィールド（Ｎ−１）の映像信号を、映像選択部２５に供給する。
【００８９】
さらに、ＩＰ変換部２４において得られた映像信号、またはフレームバッファ２１から出力された映像信号の何れか一方が映像選択部２５において選択され、選択された映像信号の色差形式が色差形式変換部２６において変換される。
【００９０】
映像信号の色差形式を変換する図１の色差形式変換部２６は、より詳細には、図１１に示すように構成される。
【００９１】
すなわち、色差形式変換部２６は、類似判定部１４１および色差位相補間部１４２から構成される。
【００９２】
類似判定部１４１は、色差フィールド補間部１１２からの映像信号を用いて、その映像信号に基づく画像の画素について、その画素の周囲の２つの画素の組みのうち、画素同士の輝度成分が最も類似する組の画素の位置関係から定まる方向を類似方向とする。類似判定部１４１は、画素ごとに求めた類似方向を色差位相補間部１４２に供給する。
【００９３】
なお、処理対象のフィールド（Ｎ−１）の画像において、類似方向の求められる画素は、画像上の色差成分を有する画素と、その画素とｙ方向に隣り合う、色差成分を有する他の画素との中間の位置（位相）にある画素とされる。
【００９４】
色差位相補間部１４２は、色差フィールド補間部１１２からの映像信号と、類似判定部１４１から供給された類似方向とを用いて、処理対象のフィールド（Ｎ−１）の映像信号に基づく画像の色差成分を補間する。色差位相補間部１４２は、補間により得られた、色差形式が４：２：２である映像信号を出力する。
【００９５】
例えば、図１２に示す画像の映像信号が色差形式変換部２６に供給されたとする。なお、図１２において、実線の１つの円および四角形は、輝度成分および色差成分を有する画素を示しており、図中、縦方向および横方向はｙ方向およびｘ方向を示している。また、輝度成分を有する画素を表す円の濃淡は、その画素の有する輝度成分の値の大きさを示している。すなわち、濃度の同じ画素同士は、同じ輝度成分の値を有している。
【００９６】
図１２において、図中、左側の長方形はフィールド（Ｎ−１）の画像を表しており、その画像の図中、右側には、フィールド（Ｎ−１）の画像上の一部分の領域が拡大されて示されている。
【００９７】
いま、例えば、点線の円で表される画素Ｇ１１の類似方向を求めることを考える。画素Ｇ１１は、ｙ方向に並べられた、色差成分を有する画素Ｇ１２と画素Ｇ１３との中間の位置にある画素である。
【００９８】
画素Ｇ１１の類似方向は、画素Ｇ１１近傍に位置する、予め定められた２つの画素の組みのうち、画素同士の輝度成分が最も類似する画素の組みから定まる。例えば、輝度成分が最も類似する画素の組みが、画素Ｇ１４および画素Ｇ１５からなる組みであるとすると、類似方向は、それらの画素Ｇ１４および画素Ｇ１５を結ぶ直線の方向とされる。
【００９９】
なお、予め定められる画素の組み合わせは、２つの画素を結ぶ直線上に、類似方向を求めようとする画素Ｇ１１が位置するような組み合わせとされる。また、類似方向は、実際には、選択された画素の組みを構成する２つの画素を示す情報、例えば、画素Ｇ１４および画素Ｇ１５を示す情報とされる。
【０１００】
画素Ｇ１１の類似方向が求められると、色差位相補間部１４２は、求められた画素Ｇ１１の類似方向を用いて、画素Ｇ１６および画素Ｇ１７の色差成分を求める。画素Ｇ１６は画素Ｇ１１と画素Ｇ１２との間の位相の画素であり、画素Ｇ１７は画素Ｇ１１と画素Ｇ１３との間の位相の画素である。
【０１０１】
なお、これらの画素Ｇ１６および画素Ｇ１７の色差成分の求め方の詳細は後述するが、色差成分を有し、類似方向から定まる画素Ｇ１１近傍の画素と、画素Ｇ１２および画素Ｇ１３とから、画素Ｇ１６および画素Ｇ１７の色差成分が求められる。このようにしてプログレッシブ形式のフィールド（Ｎ−１）の映像信号における色差成分を補間することで、色差形式が４：２：２であり、映像形式がプログレッシブ形式のフィールド（Ｎ−１）の映像信号が得られる。
【０１０２】
［映像変換装置の動作］
次に、以上において説明した映像変換装置１１の動作について説明する。
【０１０３】
映像変換装置１１に映像信号が供給され、映像形式がプログレッシブ形式であり、色差形式が４：２：２である映像信号の出力が指示されると、映像変換装置１１は、映像信号を、指示された形式の映像信号に変換して出力する映像変換処理を開始する。
【０１０４】
以下、図１３のフローチャートを参照して、映像変換装置１１による映像変換処理について説明する。
【０１０５】
ステップＳ１１において、映像形式判定部２３は、フレームバッファ２１から供給された、フィールド（Ｎ−１）の映像信号に基づいて、その映像信号がインターレース形式の映像信号であるか否かを判定し、その判定結果を映像選択部２５に供給する。
【０１０６】
例えば、映像信号のヘッダには、その映像信号の映像形式が記述される領域が設けられており、映像形式判定部２３は、供給された映像信号のヘッダを参照することで、映像信号がインターレース形式かプログレッシブ形式かを特定する。
【０１０７】
ステップＳ１１において、インターレース形式の映像信号であると判定された場合、ステップＳ１２において、ＩＰ変換部２４はＩＰ変換処理を行う。なお、ＩＰ変換処理の詳細は後述するが、ＩＰ変換処理において、フレームバッファ２１からＩＰ変換部２４に供給されたフィールド（Ｎ−１）の映像信号の映像形式が、インターレース形式からプログレッシブ形式に変換される。
【０１０８】
そして、ＩＰ変換処理の施された映像信号はＩＰ変換部２４から映像選択部２５に供給され、その後、処理はステップＳ１３に進む。
【０１０９】
一方、ステップＳ１１において、インターレース形式の映像信号でないと判定された場合、映像信号はすでにプログレッシブ形式であるので、ステップＳ１２の処理はスキップされて、処理はステップＳ１３に進む。
【０１１０】
ステップＳ１２においてＩＰ変換処理が行われるか、ステップＳ１１においてインターレース形式の映像信号ではないと判定されると、ステップＳ１３において、映像選択部２５は、映像形式判定部２３からの判定結果に基づいて、映像信号を選択する。
【０１１１】
すなわち、映像選択部２５は、映像形式判定部２３からの判定結果が、フィールド（Ｎ−１）の映像信号の映像形式がインターレース形式である旨の判定結果である場合、ＩＰ変換部２４の色差フィールド補間部１１２から供給された映像信号を選択する。
【０１１２】
これに対して、映像形式判定部２３からの判定結果が、フィールド（Ｎ−１）の映像信号の映像形式がプログレッシブ形式である旨の判定結果である場合、映像選択部２５は、フレームバッファ２１から供給された映像信号を選択する。
【０１１３】
映像選択部２５は、選択した映像信号を色差形式変換部２６の類似判定部１４１および色差位相補間部１４２に供給する。
【０１１４】
ステップＳ１４において、色差形式変換部２６は、色差形式変換処理を行って、映像選択部２５から供給された映像信号の色差形式を４：２：０から４：２：２に変換し、その結果得られた映像信号を出力する。これにより、映像形式がプログレッシブ形式であり、色差形式が４：２：２である映像信号が出力される。なお、色差形式変換処理の詳細は後述する。
【０１１５】
ステップＳ１５において、映像変換装置１１は、処理を終了するか否かを判定する。例えば、映像変換装置１１への映像信号の供給が終了し、すべてのフィールドの映像信号の色差形式が変換された場合、処理を終了すると判定される。
【０１１６】
ステップＳ１５において、処理を終了しないと判定された場合、処理はステップＳ１１に戻り、上述した処理が繰り返される。すなわち、次のフィールドが処理対象とされて、そのフィールドの映像信号の色差形式が変換される。
【０１１７】
これに対して、ステップＳ１５において、処理を終了すると判定された場合、映像変換装置１１の各部は行っている処理を終了し、映像変換処理は終了する。
【０１１８】
このようにして、映像変換装置１１は、供給された映像信号がインターレース形式である場合には、その映像信号の映像形式をプログレッシブ形式に変換し、さらにプログレッシブ形式の映像信号の色差形式を変換して、映像信号を出力する。
【０１１９】
このように、映像信号がインターレース形式である場合に、映像信号の映像形式をプログレッシブ形式に変換してから色差形式を変換することで、画像の画質の劣化を抑制することができる。
【０１２０】
すなわち、従来は、まず映像信号の色差形式が４：２：０から４：２：２に変換されていた。例えば、図２の左側に示したトップフィールドの画像の色差形式を変換するものとし、画像におけるLine0からLine6までの領域は青い色の領域であり、Line7からLine10までの領域は赤い色の領域であるものとする。
【０１２１】
いまLine4の図中、一番左端の画素を注目画素とし、その注目画素の色差成分を補間により求める場合、従来は、Line1の左端の画素とLine9の左端の画素とから注目画素の色差成分が求められる。この場合、Line1の左端の画素は青い領域の画素であり、Line9の左端の画素は赤い領域の画素であるから、注目画素の色差成分は、赤と青とが混ざった色を示す値となる。
【０１２２】
また、Line0からLine6までの領域は青い色の領域であるため、このトップフィールドに続くボトムフィールドのLine5の左端の画素の色差成分は青い色を示す値となる。したがって、これらの連続するフィールドの画像から最終的に得られた２つの画像を順番に表示させると、観察者には、青い領域中に、水平方向に赤と青の混ざった色の線が表示されるように見えることになり、画像の画質が劣化してしまう。
【０１２３】
これに対して、映像変換装置１１では、映像信号の映像形式が変換されてから、色差形式の変換が行われる。
【０１２４】
例えば、図２の左側に示したトップフィールドの画像における、Line5の図中、一番左端の画素を注目画素とし、その注目画素の色差成分を補間により求めて、映像信号の映像形式を変換することを考える。
【０１２５】
ここで、図２の各フィールドの画像におけるLine0からLine6までの領域は青い色の領域であり、Line7からLine10までの領域は赤い色の領域であるものとする。この場合、仮に注目画素の色差成分を注目画素の空間的近傍の画素のみを用いて補間するとしても、従来の場合と比べて画質の劣化は少ない。
【０１２６】
すなわち、注目画素の色差成分がLine1の左端の画素とLine9の左端の画素とから求められると、注目画素の色差成分は、従来における場合と同様に赤と青とが混ざった色を示す値となる。しかし、トップフィールドの画像における注目画素と、そのトップフィールドに時間的に連続するボトムフィールドの画像の画素とを比較すると、ボトムフィールドの画像における、注目画素よりも図中、下側の画素の色差成分は、全て赤い色を示す値となる。
【０１２７】
したがって、これらの連続するフィールドの画像から最終的に得られた２つの画像を表示させても、青い領域中に水平方向に赤と青の混ざった色の線が表示されるようなことはない。つまり、色差形式を変換してから映像形式を変換する場合と比べて、より画像の画質の劣化を防止することができる。
【０１２８】
なお、このように色差成分の劣化の少ないプログレッシブ形式の映像信号を用いて、その映像信号の色差形式を変換すれば、色差形式の変換による画質の劣化もより少なくなる。したがって、色差形式が４：２：０であり映像形式がインターレース形式である映像信号から、色差形式が４：２：２であり映像形式がプログレッシブ形式である映像信号を得る場合、最終的に、従来の方法と比べて、より高画質な映像信号を得ることができる。
【０１２９】
以上のように、映像信号の映像形式をプログレッシブ形式に変換してから色差形式を変換することで、画像の画質を向上させることができる。
【０１３０】
次に、図１４のフローチャートを参照して、図１３のステップＳ１２の処理に対応するＩＰ変換処理について説明する。
【０１３１】
ステップＳ４１において、輝度静止判定部８２は、供給されたフィールドＮおよびフィールド（Ｎ−２）の映像信号と、静止回数保持部８１に保持されている輝度静止回数とから、フィールド（Ｎ−１）の画像の輝度成分の静止判定を行う。
【０１３２】
例えば、図１５に示すように、フィールド（Ｎ−１）の画像上の画素Ｇ３１の輝度静止回数を求める場合、輝度静止判定部８２は、フィールドＮおよびフィールド（Ｎ−２）の画像における、画素Ｇ３１と同じ位置近傍の画素を用いて輝度静止回数を求める。
【０１３３】
なお、図１５において、横方向は時間を示しており、縦方向および奥行き方向はｙ方向およびｘ方向を示している。また、図中、実線の１つの円および四角形は、各フィールドの画像における輝度成分および色差成分を有する画素を表している。
【０１３４】
さらに、時刻ｔがＮ，Ｎ−１，Ｎ−２のそれぞれの位置は、フィールドＮ乃至フィールド（Ｎ−２）の位置を示しており、それらの時刻ｔの位置における円または四角形は、時刻ｔにより特定されるフィールドの画像上の画素を示している。
【０１３５】
まず、輝度静止判定部８２は、フィールドＮの画像における、画素Ｇ３１と同位相の画素Ｇ３２を中心とし、画素Ｇ３２と連続してｘ方向に隣接するいくつかの画素の輝度成分の値を用いて、画像の輝度成分に対してｘ方向にLPF（Low Pass Filter）処理を施す。
【０１３６】
図１５の例では、画素Ｇ３２と、その画素Ｇ３２にｘ方向に隣接する画素Ｇ３３および画素Ｇ３４とが用いられてLPF処理が行われている。なお、これらの画素Ｇ３２乃至画素Ｇ３４を用いたLPF処理によって得られた値をフィルタ値L-LPF(N)と呼ぶこととする。
【０１３７】
同様に、輝度静止判定部８２は、フィールド（Ｎ−２）の画像における、画素Ｇ３１と同位相の画素Ｇ３５を中心とし、画素Ｇ３５と連続してｘ方向に隣接するいくつかの画素の輝度成分の値を用いて、画像の輝度成分に対してｘ方向にLPF処理を施す。
【０１３８】
図１５の例では、画素Ｇ３５と、その画素Ｇ３５にｘ方向に隣接する画素Ｇ３６および画素Ｇ３７とが用いられてLPF処理が行われている。なお、これらの画素Ｇ３５乃至画素Ｇ３７を用いたLPF処理によって得られた値をフィルタ値L-LPF(N-2)と呼ぶこととする。
【０１３９】
このように、各フィールドの画像の輝度成分に対してLPF処理を施すことで、画像の輝度成分に含まれるノイズを除去し、輝度の静止判定、つまり画素Ｇ３１の輝度成分の動きの有無の判定精度を向上させることができる。
【０１４０】
輝度静止判定部８２は、フィールドＮのフィルタ値L-LPF(N)、およびフィールド（Ｎ−２）のフィルタ値L-LPF(N-2)を求めると、それらのフィルタ値の絶対値差分L-ABS(N-1)を算出する。
【０１４１】
次に、輝度静止判定部８２は、計算により得られた画素Ｇ３１の絶対値差分L-ABS(N-1)を評価するための閾値L-TH(N-1)を求める。この閾値L-TH(N-1)の値は、フィールド（Ｎ−１）よりも時間的に前の連続するフィールドの画像における、画素Ｇ３１と同じ位置にある画像上の画素が、どれくらいの時間だけ静止していたか（輝度成分が変化しなかったか）によって変化する。
【０１４２】
処理対象のフィールド（Ｎ−１）よりも時間的に２フィールド前、つまりフィールド（Ｎ−３）の画像における、画素Ｇ３１と同じ位置にある画素の輝度静止回数を、SL(N-3)であるとすると、静止回数保持部８１は、輝度静止回数SL(N-3)を保持している。
【０１４３】
輝度静止判定部８２は、静止回数保持部８１の輝度静止回数SL(N-3)と、予め保持している閾値テーブルとから、閾値L-TH(N-1)の値を定める。
【０１４４】
例えば、輝度静止判定部８２が保持している閾値テーブルは、輝度静止回数（輝度静止回数SL(N-3)）に対して、閾値L-TH(N-1)が図１６に示すように変化するテーブルとされる。なお、図１６において、縦軸は閾値L-TH(N-1)の値を示しており、横軸は輝度静止回数の値を示している。
【０１４５】
図１６の例では、輝度静止回数が初期値SL0である場合には、閾値L-TH(N-1)の値はTH-SL0とされ、輝度静止回数がSL1となるまでは、輝度静止回数に比例して閾値L-TH(N-1)の値が低下する。すなわち、輝度静止回数が増加するにつれて、閾値L-TH(N-1)の値は小さくなる。そして、輝度静止回数がSL1以上となると、閾値L-TH(N-1)の値は一定となり、その値はTH-SL1とされる。
【０１４６】
画素Ｇ３１の輝度成分の動きの有無の判定では、絶対値差分L-ABS(N-1)が閾値L-TH(N-1)以下である場合に画素Ｇ３１は静止しているとされ、絶対値差分L-ABS(N-1)が閾値L-TH(N-1)を超える場合に画素Ｇ３１は静止していないとされる。
【０１４７】
これは、絶対値差分L-ABS(N-1)が、画素Ｇ３１と同位相の画素Ｇ３２と画素Ｇ３５の差分の絶対値を示しており、その絶対値が小さければフィールドＮ乃至（Ｎ−２）において、画素Ｇ３１と同位相の画素の輝度成分はほとんど変化していないからである。
【０１４８】
このような閾値テーブルにより定まる閾値L-TH(N-1)を用いて、画素Ｇ３１の輝度成分の動きの有無を判定する場合、輝度静止回数が比較的小さいときには、輝度成分の動きの有無は、大きい値の閾値L-TH(N-1)により緩く評価される。つまり、過去のフィールドの画素Ｇ３１と同じ位相の画素が静止していると判定されなかったとき、またはその画素が静止してからあまり時間が経過していないときには、閾値L-TH(N-1)は比較的大きい値とされる。
【０１４９】
また、輝度静止回数が増加するにしたがって、より小さい値の閾値L-TH(N-1)が用いられ、画素Ｇ３１の輝度成分の動きの有無の判定が、より厳密に行われる。さらに輝度静止回数がSL1を超えると一定の大きさの閾値L-TH(N-1)により、画素Ｇ３１の輝度成分の動きの有無が判定される。これは、LPF処理により輝度成分からノイズ成分を除去しきれなかった場合にも、画素Ｇ３１の輝度成分が静止していると判定され続けるようにするためである。
【０１５０】
以上のようにして、閾値L-TH(N-1)が得られると、輝度静止判定部８２は、閾値L-TH(N-1)と絶対値差分L-ABS(N-1)とを比較して、画素Ｇ３１の輝度成分の動きの有無を判定する。
【０１５１】
そして、輝度静止判定部８２は、絶対値差分L-ABS(N-1)が閾値L-TH(N-1)以下である場合、画素Ｇ３１の輝度成分が静止しているとして、輝度静止回数SL(N-3)に１を加えた値を、フィールド（Ｎ−１）の画素Ｇ３１の輝度静止回数SL(N-1)とする。
【０１５２】
また、輝度静止判定部８２は、絶対値差分L-ABS(N-1)が閾値L-TH(N-1)を超える場合、画素Ｇ３１の輝度成分が静止していないとして、予め定められた初期値SL0を、フィールド（Ｎ−１）の画素Ｇ３１の輝度静止回数SL(N-1)とする。
【０１５３】
さらに、輝度静止判定部８２は、新たに求めた輝度静止回数SL(N-1)を静止回数保持部８１に供給し、画素Ｇ３１に相当する画素の輝度静止回数を更新させる。静止回数保持部８１は、これまで保持していた、画素Ｇ３１に相当する画素の輝度静止回数SL(N-3)を、供給された輝度静止回数SL(N-1)に書き換えることにより、輝度静止回数を更新する。
【０１５４】
このようにして、輝度静止判定部８２は、フィールド（Ｎ−１）の画像における、輝度の静止判定をすべき、すなわち輝度静止回数を求めるべき全ての画素について、輝度静止回数を求める。また、輝度静止判定部８２は、求めた各画素の輝度静止回数を、色差静止判定部８３および輝度フィールド補間部１１１に供給する。
【０１５５】
なお、輝度静止判定部８２が保持する閾値テーブルは、各画素の静止判定の判定精度を決めるものとなる。すなわち、閾値L-TH(N-1)が大きすぎると、画像上の輝度成分が動いている画素が静止していると誤判定され、逆に閾値L-TH(N-1)が小さすぎると、画像上の輝度成分が静止している画素が動いていると誤判定される。画素の静止判定の処理は、ＩＰ変換処理の処理性能を決めるのに非常に重要な処理であるため、一般的に静止判定の演算には高い計算精度が要求される。
【０１５６】
また、以上において説明した画素の輝度成分の静止判定の方法は、静止判定の一例であり、画素単位で輝度成分の静止回数が求まるのであれば、どのような方法であってもよい。
【０１５７】
図１４のフローチャートの説明に戻り、ステップＳ４１において輝度成分の静止判定が行われると、その後、処理はステップＳ４２に進む。
【０１５８】
ステップＳ４２において、色差静止判定部８３は、供給されたフィールドＮおよびフィールド（Ｎ−２）の映像信号と、輝度静止判定部８２から供給された輝度静止回数とから、フィールド（Ｎ−１）の画像の色差成分の静止判定を行う。
【０１５９】
例えば、図１７に示すように、フィールド（Ｎ−１）の画像上の画素Ｇ５１の色差静止回数を求める場合、色差静止判定部８３は、フィールドＮおよびフィールド（Ｎ−２）の画像における、画素Ｇ５１と同じ位置近傍の画素を用いて色差静止回数を求める。
【０１６０】
なお、図１７において横方向は時間を示しており、縦方向および奥行き方向はｙ方向およびｘ方向を示している。また、図中、実線で表される１つの円および四角形は、各フィールドの画像における輝度成分および色差成分を有する画素を示しており、点線で表される１つの円は、各フィールドの画像における輝度静止回数の求められた画素を示している。
【０１６１】
さらに、時刻ｔがＮ，Ｎ−１，Ｎ−２のそれぞれの位置は、フィールドＮ乃至フィールド（Ｎ−２）の位置を示しており、それらの時刻ｔの位置における円または四角形は、時刻ｔにより特定されるフィールドの画像上の画素を示している。
【０１６２】
まず、色差静止判定部８３は、フィールドＮの画像における、画素Ｇ５１と同じ位置にある画素Ｇ５２を中心とし、画素Ｇ５２と連続してｘ方向に隣接するいくつかの画素の色差成分の値を用いて、画像の色差成分に対してｘ方向にLPF処理を施す。
【０１６３】
図１７の例では、画素Ｇ５２と、その画素Ｇ５２にｘ方向に隣接する画素Ｇ５３および画素Ｇ５４とが用いられてLPF処理が行われている。なお、これらの画素Ｇ５２乃至画素Ｇ５４を用いたLPF処理によって得られた値をフィルタ値C-LPF(N)と呼ぶこととする。
【０１６４】
また、色差静止判定部８３は、フィールド（Ｎ−２）の画像における、画素Ｇ５１と同位相の画素Ｇ５５を中心とし、画素Ｇ５５と連続してｘ方向に隣接するいくつかの画素の色差成分の値を用いて、画像の色差成分に対してｘ方向にLPF処理を施す。
【０１６５】
図１７の例では、画素Ｇ５５と、その画素Ｇ５５にｘ方向に隣接する画素Ｇ５６および画素Ｇ５７とが用いられてLPF処理が行われている。なお、これらの画素Ｇ５５乃至画素Ｇ５７を用いたLPF処理により得られた値をフィルタ値C-LPF(N-2)と呼ぶこととする。
【０１６６】
このように、各フィールドの画像の色差成分に対してLPF処理を施すことで、画像の色差成分に含まれるノイズを除去し、色差の静止判定、つまり画素Ｇ５１の色差成分の動きの有無の判定精度を向上させることができる。
【０１６７】
色差静止判定部８３は、フィールドＮのフィルタ値C-LPF(N)、およびフィールド（Ｎ−２）のフィルタ値C-LPF(N-2)を求めると、それらのフィルタ値の絶対値差分C-ABS(N-1)を算出する。
【０１６８】
次に、色差静止判定部８３は、計算により得られた画素Ｇ５１の絶対値差分C-ABS(N-1)を評価するための閾値C-TH(N-1)を求める。この閾値C-TH(N-1)の値は、画素Ｇ５１の色差静止回数SC(N-1)と、色差静止判定部８３が予め保持している閾値テーブルとから、輝度静止回数の閾値L-TH(N-1)と同様の処理により求められる。
【０１６９】
すなわち、色差静止判定部８３は、画素Ｇ５１の空間的近傍にある画素Ｇ５８および画素Ｇ５９、並びに画素Ｇ５１の時間的近傍にある画素Ｇ６０のそれぞれの輝度静止回数のうち、最も小さい輝度静止回数を画素Ｇ５１の色差静止回数SC(N-1)とする。
【０１７０】
ここで、画素Ｇ５８および画素Ｇ５９は、フィールド（Ｎ−１）の画像上における画素Ｇ５１近傍に位置し、画素Ｇ５１とｘ方向の位置が等しい画素である。つまり、画素Ｇ５１、画素Ｇ５８、および画素Ｇ５９は、ｙ方向に１列に並ぶように位置している。また、画素Ｇ６０は、画素Ｇ５１とｘ方向の位置の等しいフィールド（Ｎ−２）の画像上の画素である。
【０１７１】
このように、画素Ｇ５１近傍の画素の輝度静止回数のうちの最も小さいものが、色差静止回数SC(N-1)とされるのは、画像の絵柄として輝度成分に変動がある場合、色差成分も変動することが非常に多いためである。
【０１７２】
つまり、輝度成分と色差成分には相関が成り立つという仮定に基づいて、輝度静止回数が近似的に色差静止回数とされる。また、画素Ｇ５１近傍の１つの画素の輝度成分が静止していない場合、例え、その画素よりも画素Ｇ５１に近い他の画素の輝度成分が静止していたとしても、画素Ｇ５１が輝度成分の動いている画素の影響受け、画素Ｇ５１の色差成分が静止していないこともある。
【０１７３】
そこで、画素Ｇ５１から画素Ｇ５８乃至画素Ｇ６０のそれぞれまでの距離は異なるが、それらの画素が画素Ｇ５１からの距離によらず同等に扱われ、画素Ｇ５８乃至画素Ｇ６０のうちの最も少ない輝度静止回数が色差静止回数とされる。
【０１７４】
さらに、色差静止判定部８３は、画素Ｇ５１の色差静止回数SC(N-1)を求めると、その色差静止回数SC(N-1)と、予め保持している閾値テーブルとから閾値C-TH(N-1)を求める。
【０１７５】
例えば、色差静止判定部８３が保持している閾値テーブルは、色差静止回数（色差静止回数SC(N-1)）に対して、閾値C-TH(N-1)が図１８に示すように変化するテーブルとされる。なお、図１８において、縦軸は閾値C-TH(N-1)の値を示しており、横軸は色差静止回数の値を示している。
【０１７６】
図１８の例では、色差静止回数が初期値SC0からSC1未満のときには、閾値C-TH(N-1)の値はTH-SC0とされ、色差静止回数がSC1のときは、閾値C-TH(N-1)の値はTH-SC1とされる。そして、色差静止回数がSC1からSC2となるまでは、色差静止回数に比例して閾値C-TH(N-1)の値が低下する。すなわち、色差静止回数が増加するにつれて、閾値C-TH(N-1)の値は小さくなる。さらに、色差静止回数がSC2以上となると、閾値C-TH(N-1)の値は一定となり、その値はTH-SC2とされる。
【０１７７】
画素Ｇ５１の色差成分の動きの有無の判定では、絶対値差分C-ABS(N-1)が閾値C-TH(N-1)以下である場合、画素Ｇ５１は静止しているとされ、絶対値差分C-ABS(N-1)が閾値C-TH(N-1)を超える場合に画素Ｇ５１は静止していないとされる。
【０１７８】
色差静止判定部８３は、絶対値差分C-ABS(N-1)が閾値C-TH(N-1)以下である場合には、求めた色差静止回数SC(N-1)を、そのまま最終的な画素Ｇ５１の色差静止回数として、色差フィールド補間部１１２に供給する。また、色差静止判定部８３は絶対値差分C-ABS(N-1)が閾値C-TH(N-1)を超える場合、画素Ｇ５１の色差成分に動きがあったので、求めた色差静止回数ではなく、画素Ｇ５１の最終的な色差静止回数SC(N-1)として「０」を色差フィールド補間部１１２に供給する。
【０１７９】
このように、絶対値差分C-ABS(N-1)と閾値C-TH(N-1)とを比較して画素の色差成分の動きの有無を判定するのは、以下のような理由からである。つまり、絶対値差分C-ABS(N-1)が、画素Ｇ５１と同位相の画素Ｇ５２と画素Ｇ５５の差分の絶対値を示しており、その絶対値が小さければフィールドＮ乃至（Ｎ−２）において、画素Ｇ５１と同じ位相の画素の色差成分は変化していないからである。
【０１８０】
閾値テーブルにより定まる閾値C-TH(N-1)を用いて、画素Ｇ５１の色差成分の動きの有無を判定する場合、色差静止回数が比較的小さいときには、小さい値の閾値C-TH(N-1)により厳密に判定が行われる。これは、色差静止回数が充分な回数に達していない場合には、閾値を用いた画素Ｇ５１の色差成分の動きの有無の判定結果は、信頼性が低いとすることを意味している。
【０１８１】
なお、色差静止回数は、輝度静止回数からフィールドごとに計算されて求められるため、初期の閾値C-TH(N-1)が最小値であったとしても、処理対象の画素の色差成分が継続して静止していれば、その色差静止回数は時間とともに増加する。
【０１８２】
以上のようにして、閾値C-TH(N-1)が得られると、色差静止判定部８３は、閾値C-TH(N-1)と絶対値差分C-ABS(N-1)とを比較して、画素Ｇ５１の色差成分の動きの有無を判定する。なお、より詳細には、色差静止判定部８３は、画素Ｇ５１の色差静止回数として、Ｃｒ成分の色差静止回数およびＣｂ成分の色差静止回数を個別に求める。この場合、絶対値差分C-ABS(N-1)は、色差成分（Ｃｒ成分およびＣｂ成分）ごとに求められる。
【０１８３】
また、画素Ｇ５１の色差静止回数と同様に、色差静止判定部８３は、フィールド（Ｎ−１）の画像における、色差静止回数を求めるべき全ての画素について、色差静止回数を求め、色差フィールド補間部１１２に供給する。
【０１８４】
このように、輝度静止回数を用いて、フィールドごとに色差静止回数を求めることにより、色差静止回数を保持しておくメモリを削減することができるとともに、色差静止回数の計算コストを削減することができる。また、色差成分よりも画像に多く含まれ、かつより変動の大きい輝度成分を用いて得られた輝度静止回数を、色差静止回数の算出に用いることで、色差静止回数の算出精度を向上させることができる。
【０１８５】
なお、以上においては、輝度静止回数を用いて色差静止回数を求めると説明したが、輝度静止回数を用いずに、輝度静止回数と同様の処理等により色差静止回数を求めるようにしてもよい。
【０１８６】
図１４のフローチャートの説明に戻り、ステップＳ４２において色差成分の静止判定が行われると、その後、処理はステップＳ４３に進む。
【０１８７】
ステップＳ４３において、輝度フィールド補間部１１１は、フィールドＮおよびフィールド（Ｎ−２）の映像信号と、輝度静止判定部８２からの輝度静止回数とを用いて、フレームバッファ２１からのフィールド（Ｎ−１）の映像信号の輝度成分の補間を行う。
【０１８８】
例えば、図１９に示すように、フィールド（Ｎ−１）の画像上の画素Ｇ３１の輝度成分を補間する場合、輝度フィールド補間部１１１は、画素Ｇ３１の空間的または時間的に近傍にあり、輝度成分を有する画素を用いて補間を行う。
【０１８９】
なお、図１９において、図１５における場合と同一の部分には、同じ符号を付してあり、その説明は適宜、省略する。また、図１９では、横方向は時間を示しており、縦方向および奥行き方向はｙ方向およびｘ方向を示している。また、図中、実線の１つの円および四角形は、各フィールドの画像における輝度成分および色差成分を有する画素を表している。
【０１９０】
さらに、時刻ｔがＮ，Ｎ−１，Ｎ−２のそれぞれの位置は、フィールドＮ乃至フィールド（Ｎ−２）の位置を示しており、それらの時刻ｔの位置における円または四角形は、時刻ｔにより特定されるフィールドの画像上の画素を示している。
【０１９１】
まず、輝度フィールド補間部１１１は、フィールド（Ｎ−１）の画像上における輝度成分を有する画素のうち、画素Ｇ３１にｙ方向に隣接する画素Ｇ８１および画素Ｇ８２の輝度成分の平均値LII(N-1)を求める。同様に、輝度フィールド補間部１１１は、フィールド（Ｎ−１）に対して時間的に前後するフィールドの画像における、画素Ｇ３１と同じ位相の画素Ｇ３２および画素Ｇ３５の輝度成分の平均値LIT(N-1)を求める。
【０１９２】
そして、輝度フィールド補間部１１１は、これらの平均値LII(N-1)および平均値LIT(N-1)を、画素Ｇ３１の輝度静止回数から定まる比率RL(N-1)で混ぜ合わせることにより、画素Ｇ３１の補間された輝度成分の値である輝度補間値を算出する。すなわち、平均値LIT(N-1)にRL(N-1)を乗算して得られる値と、平均値LII(N-1)に（１−RL(N-1)）を乗算して得られる値との和が画素Ｇ３１の輝度補間値とされる。
【０１９３】
この比率RL(N-1)は、平均値LII(N-1)に対する平均値LIT(N-1)の混ぜ合わせの比率を示すものであり、輝度補間値には、比率RL(N-1)が高いほど平均値LIT(N-1)の成分がより多く含まれ、比率RL(N-1)が低いほど平均値LII(N-1)の成分がより多く含まれることになる。
【０１９４】
また、比率RL(N-1)は、輝度フィールド補間部１１１が予め保持している比率テーブルと、画素Ｇ３１の輝度静止回数とから定められる。
【０１９５】
例えば、輝度フィールド補間部１１１が保持している比率テーブルは、輝度静止回数に対して、比率RL(N-1)が図２０に示すように変化するテーブルとされる。なお、図２０において、縦軸は比率RL(N-1)の値を示しており、横軸は輝度静止回数の値を示している。
【０１９６】
図２０の例では、輝度静止回数が初期値SL0である場合には、比率RL(N-1)の値はRL-SL0とされ、輝度静止回数がSL1となるまでは、輝度静止回数に比例して比率RL(N-1)の値が増加する。すなわち、輝度静止回数が増加するにつれて、比率RL(N-1)の値は大きくなる。そして、輝度静止回数がSL1以上となると、比率RL(N-1)の値は一定となり、その値はRL-SL1とされる。
【０１９７】
画素Ｇ３１の輝度静止回数が少ない場合、画素Ｇ３１の輝度成分は動いているため、画素Ｇ３１の時間的に近傍に位置する画素の輝度成分よりも、画素Ｇ３１の空間的に近傍に位置する画素の輝度成分の方が、より画素Ｇ３１の輝度成分に近いと推定される。逆に、画素Ｇ３１の輝度静止回数が多い場合、画素Ｇ３１の輝度成分は静止しているため、画素Ｇ３１の時間的に近傍に位置する画素の輝度成分の方が、画素Ｇ３１の空間的に近傍に位置する画素の輝度成分よりも、より画素Ｇ３１の輝度成分に近いと推定される。
【０１９８】
そこで、画素Ｇ３１の輝度静止回数が少ない場合には、より比率RL(N-1)が小さく、輝度静止回数が多くなるほど比率RL(N-1)がより大きくなるように、予め比率テーブルが定められている。
【０１９９】
輝度フィールド補間部１１１は、このような比率テーブルを参照して、輝度静止回数により定まる値を比率RL(N-1)の値とし、画素Ｇ３１の輝度補間値を求める。同様にして、輝度フィールド補間部１１１は、フィールド（Ｎ−１）の画像における、輝度成分を求めるべき全ての画素について、輝度補間値を求める。
【０２００】
これにより、輝度成分の補間されたフィールド（Ｎ−１）の映像信号が得られる。輝度フィールド補間部１１１は、得られた映像信号を色差フィールド補間部１１２に供給する。
【０２０１】
図１４のフローチャートの説明に戻り、ステップＳ４３において輝度成分の補間が行われると、その後、処理はステップＳ４４に進む。
【０２０２】
ステップＳ４４において、色差フィールド補間部１１２は、フィールドＮおよびフィールド（Ｎ−２）の映像信号と、色差静止判定部８３からの色差静止回数とを用いて、輝度フィールド補間部１１１からのフィールド（Ｎ−１）の映像信号の色差成分の補間を行う。
【０２０３】
例えば、図２１に示すように、フィールド（Ｎ−１）の画像上の画素Ｇ５１の色差成分を補間する場合、色差フィールド補間部１１２は、画素Ｇ５１の空間的または時間的に近傍にある、色差成分を有する画素を用いて補間を行う。
【０２０４】
なお、図２１において、図１７における場合と同一の部分には、同じ符号を付してあり、その説明は適宜、省略する。また、図２１では、横方向は時間を示しており、縦方向および奥行き方向はｙ方向およびｘ方向を示している。また、図中、実線で表される１つの円および四角形は、各フィールドの画像における輝度成分および色差成分を有する画素を示している。
【０２０５】
さらに、時刻ｔがＮ，Ｎ−１，Ｎ−２のそれぞれの位置は、フィールドＮ乃至フィールド（Ｎ−２）の位置を示しており、それらの時刻ｔの位置における円または四角形は、時刻ｔにより特定されるフィールドの画像上の画素を示している。
【０２０６】
まず、色差フィールド補間部１１２は、フィールド（Ｎ−１）の画像上における色差成分を有する画素のうち、画素Ｇ５１にｙ方向に隣接する画素Ｇ１１１および画素Ｇ１１２の色差成分の平均値CII(N-1)を求める。同様に、色差フィールド補間部１１２は、フィールド（Ｎ−１）に対して時間的に前後するフィールドの画像における、画素Ｇ５１と同じ位相の画素Ｇ５２および画素Ｇ５５の色差成分の平均値CIT(N-1)を求める。
【０２０７】
そして、色差フィールド補間部１１２は、これらの平均値CII(N-1)および平均値CIT(N-1)を、画素Ｇ５１の色差静止回数から定まる比率RC(N-1)で混ぜ合わせることにより、画素Ｇ５１の補間された色差成分の値である色差補間値を算出する。すなわち、平均値CIT(N-1)にRC(N-1)を乗算して得られる値と、平均値CII(N-1)に（１−RC(N-1)）を乗算して得られる値との和が画素Ｇ５１の色差補間値とされる。
【０２０８】
この比率RC(N-1)は、平均値CII(N-1)に対する平均値CIT(N-1)の混ぜ合わせの比率を示すものである。色差補間値には、比率RC(N-1)が高いほど平均値CIT(N-1)の成分がより多く含まれ、比率RC(N-1)が低いほど平均値CII(N-1)の成分がより多く含まれることになる。
【０２０９】
また、比率RC(N-1)は、色差フィールド補間部１１２が予め保持している比率テーブルと、画素Ｇ５１の色差静止回数とから定められる。
【０２１０】
例えば、色差フィールド補間部１１２が保持している比率テーブルは、色差静止回数に対して、比率RC(N-1)が図２２に示すように変化するテーブルとされる。なお、図２２において、縦軸は比率RC(N-1)の値を示しており、横軸は色差静止回数の値を示している。
【０２１１】
図２２の例では、色差静止回数が初期値SC0（例えば０）である場合には、比率RC(N-1)の値はRC-SC0とされ、色差静止回数がSC1となるまでは、色差静止回数に比例して比率RC(N-1)の値が増加する。すなわち、色差静止回数が増加するにつれて、比率RC(N-1)の値は大きくなる。そして、色差静止回数がSC1以上となると、比率RC(N-1)の値は一定となり、その値はRC-SC1とされる。
【０２１２】
画素Ｇ５１の色差静止回数が少ない場合、画素Ｇ５１の色差成分は動いているため、画素Ｇ５１の時間的に近傍に位置する画素の色差成分よりも、画素Ｇ５１の空間的に近傍に位置する画素の色差成分の方が、より画素Ｇ５１の色差成分に近いと推定される。逆に、画素Ｇ５１の色差静止回数が多い場合、画素Ｇ５１の色差成分は静止しているため、画素Ｇ５１の時間的に近傍に位置する画素の色差成分の方が、画素Ｇ５１の空間的に近傍に位置する画素の色差成分よりも、より画素Ｇ５１の色差成分に近いと推定される。
【０２１３】
そこで、画素Ｇ５１の色差静止回数が少ない場合には、より比率RC(N-1)が小さく、色差静止回数が多くなるほど比率RC(N-1)がより大きくなるように、予め比率テーブルが定められている。
【０２１４】
色差フィールド補間部１１２は、このような比率テーブルを参照して、色差静止回数により定まる値を比率RC(N-1)の値とし、画素Ｇ５１の色差補間値を求める。なお、より詳細には、色差フィールド補間部１１２は、画素Ｇ５１の色差成分として、Ｃｒ成分およびＣｂ成分を個別に求める。この場合、平均値CII(N-1)、平均値CIT(N-1)、および比率RC(N-1)は、色差成分（Ｃｒ成分およびＣｂ成分）ごとに求められる。
【０２１５】
また、同様にして、色差フィールド補間部１１２は、フィールド（Ｎ−１）の画像における、色差成分を求めるべき全ての画素について、色差補間値を求める。
【０２１６】
このようにして色差成分が補間されると、映像形式がプログレッシブ形式に変換されたフィールド（Ｎ−１）の映像信号が得られる。色差フィールド補間部１１２は、得られた映像信号を映像選択部２５に供給する。
【０２１７】
プログレッシブ形式の映像信号が映像選択部２５に供給されると、図１４のＩＰ変換処理は終了し、その後、処理は、図１３のステップＳ１３に進む。
【０２１８】
以上のようにして、ＩＰ変換部２４は、処理対象のフィールドの画像における、輝度成分および色差成分の静止回数を求める。そして、ＩＰ変換部２４は、求めた静止回数に応じて、注目する画素の時間的または空間的に近傍に位置する画素を用いて輝度成分および色差成分を補間し、映像信号の映像形式をインターレース形式からプログレッシブ形式に変換する。
【０２１９】
このように、ＩＰ変換処理において、画像の画素の色差静止回数に応じて、処理対象の画素の空間的または時間的に近傍の画素を用いて補間処理を行うことで、より精度よく画素の色差成分を推定することができる。これにより、色のフリッカーやジャギー、クロマアップサンプリングエラー等の発生を抑制し、画像の画質を向上させることができる。
【０２２０】
つまり、上述のように、色差形式の変換前にＩＰ変換処理を行えば、画質の劣化を抑制することができるが、ＩＰ変換処理において、各成分の静止回数に応じて空間的または時間的に近傍の画素を用いた補間処理を行うことで、さらに画質の劣化を抑制できる。
【０２２１】
また、輝度成分と色差成分との相関関係を利用し、処理対象の画素近傍の画素の輝度静止回数を用いて処理対象の画素の色差静止回数を求めるようにしたので、色差静止回数を求めるのに必要となるメモリの記憶容量を削減することができる。
【０２２２】
さらに、輝度成分と色差成分との相関関係を利用し、輝度静止回数を用いて色差静止回数を求めることで、より精度よく、かつより簡単な計算で色差静止回数を得ることができる。すなわち、輝度成分は色差成分と比べて変化が大きく、画素の輝度成分が静止しているか否かの判定を精度よく行うことができるので、輝度静止回数を利用して色差静止回数を求めれば、色差静止回数の算出精度を向上させることができる。
【０２２３】
次に、図２３のフローチャートを参照して、図１３のステップＳ１４の処理に対応する色差形式変換処理について説明する。
【０２２４】
ステップＳ７１において、類似判定部１４１は、色差フィールド補間部１１２からの映像信号を用いて類似判定処理を行い、映像信号に基づく画像の画素ごとに類似方向を求める。そして、類似判定部１４１は、求めた類似方向を色差位相補間部１４２に供給する。
【０２２５】
例えば、図２４に示すように、供給されたフィールド（Ｎ−１）の映像信号に基づく画像上の画素Ｇ１４１の類似方向を求めることを考える。なお、図２４において、縦方向および横方向はｙ方向およびｘ方向を示しており、１つの円および四角形（但し、画素Ｇ１４１を除く）は、画像における輝度成分および色差成分を有する画素を示している。
【０２２６】
画素Ｇ１４１の類似方向の算出には、画素Ｇ１４１にｙ方向に隣接する画素Ｇ１４２を含み、その画素Ｇ１４２を中心としてｘ方向に連続して並べられたいくつかの画素が用いられる。例えば、図２４の例では、画素Ｇ１４２乃至画素Ｇ１４６である。また、類似方向の算出には、画素Ｇ１４１にｙ方向に隣接する画素Ｇ１４７を含み、その画素Ｇ１４７を中心としてｘ方向に連続して並べられたいくつかの画素も用いられる。例えば、図２４の例では、画素Ｇ１４７乃至画素Ｇ１５１である。
【０２２７】
つまり、類似判定部１４１は、画素Ｇ１４１の空間的近傍に位置する、これらの画素Ｇ１４２乃至画素Ｇ１５１を用いて画素Ｇ１４１の類似方向を求める。
【０２２８】
具体的には、類似判定部１４１は、画素Ｇ１４６と画素Ｇ１４８の輝度成分の絶対値差分AL(5-1)、画素Ｇ１４５と画素Ｇ１４９の輝度成分の絶対値差分AL(4-2)、および画素Ｇ１４２と画素Ｇ１４７の輝度成分の絶対値差分AL(3-3)を求める。また、類似判定部１４１は、画素Ｇ１４４と画素Ｇ１５０の輝度成分の絶対値差分AL(2-4)、および画素Ｇ１４３と画素Ｇ１５１の輝度成分の絶対値差分AL(1-5)を求める。
【０２２９】
つまり、画素Ｇ１４１の近傍に位置し、輝度成分を有する画素Ｇ１４２乃至画素Ｇ１５１のなかから、それらの画素のうちの２つの画素と、画素Ｇ１４１とが直線上に並ぶような２つの画素が選択され、選択された２つの画素の輝度成分の絶対値差分が求められる。
【０２３０】
各画素の組みの絶対値差分が求められると、類似判定部１４１は、それらの絶対値差分AL(5-1)乃至絶対値差分AL(1-5)のうちの最も値の小さい絶対値差分を選択し、選択した絶対値差分を求めるのに用いた２つの画素を結ぶ直線の方向を類似方向とする。
【０２３１】
例えば、絶対値差分AL(5-1)が最も小さい絶対値差分である場合、画素Ｇ１４６と画素Ｇ１４８とを示す情報が、類似方向を示す情報とされる。この場合、類似方向は、画素Ｇ１４６と画素Ｇ１４８とを結ぶ直線と平行な方向である。
【０２３２】
この類似方向は、画素Ｇ１４１近傍において最も輝度成分の変化の少ない方向、つまり互いに類似する画素が並ぶ方向である。換言すれば、画素Ｇ１４１近傍において、画素Ｇ１４１と最も類似する画素が並んでいる方向である。類似方向を求めるために輝度成分が用いられるのは、輝度の特徴として、輝度と色差とはある程度相関関係を有しており、色差と比べて輝度の方がより大きく変化するため、より確実に画素同士の類似の度合いを検出できるからである。
【０２３３】
図２３のフローチャートの説明に戻り、類似方向が求められると処理はステップＳ７１からステップＳ７２に進む。
【０２３４】
ステップＳ７２において、色差位相補間部１４２は、類似判定部１４１からの類似方向を用いて、色差フィールド補間部１１２から供給された映像信号に基づく画像の色差成分の補間を行う。
【０２３５】
例えば、図２５に示すように、供給されたフィールド（Ｎ−１）の映像信号に基づく画像上の画素Ｇ１４２および画素Ｇ１４７の色差成分を補間により求めることを考える。なお、図２５において、図２４における場合と対応する部分には同一の符号を付してあり、その説明は適宜、省略する。
【０２３６】
まず、色差位相補間部１４２は、画素Ｇ１４１近傍に位置する画素のうち、供給された類似方向により特定される２つの画素の色差成分の平均値を求めて、その平均値を画素Ｇ１４１の色差成分の値である色差値C0とする。
【０２３７】
この色差値C0の算出に用いられる２つの画素は、類似方向により示される２つの画素と、画素Ｇ１４１とを結ぶ直線上に位置し、かつ色差成分を有し、類似方向により示される画素のそれぞれに最も近い位置にある画素のそれぞれとされる。換言すれば、画素Ｇ１４１の色差値C0は、画素Ｇ１４１を含み、互いに類似する画素が並ぶ画素の列上において、画素Ｇ１４１近傍に位置する２つの画素の色差成分の平均値である。
【０２３８】
具体的には、色差値C0の算出に用いられる画素Ｇ１４１近傍の画素は、画素Ｇ１８１乃至画素Ｇ１９０のなかから選択される。画素Ｇ１８１乃至画素Ｇ１８５は、ｘ方向に連続して並ぶ画素であり、それらの画素の中心に位置する画素Ｇ１８３は、画素Ｇ１４２にｙ方向に隣接している。また、画素Ｇ１８６乃至画素Ｇ１９０は、ｘ方向に連続して並ぶ画素であり、それらの画素の中心に位置する画素Ｇ１８８は、画素Ｇ１４７にｙ方向に隣接している。
【０２３９】
例えば、類似方向、より詳細には類似方向を示す情報が、画素Ｇ１４６および画素Ｇ１４８を示している場合、色差位相補間部１４２は、画素Ｇ１８５および画素Ｇ１８６の色差成分の平均値を、画素Ｇ１４１の色差値C0とする。ここで、画素Ｇ１４１、画素Ｇ１４６、画素Ｇ１４８、画素Ｇ１８５、および画素Ｇ１８６は、一直線上に並んでいる。
【０２４０】
また、類似方向が画素Ｇ１４５および画素Ｇ１４９を示している場合、画素Ｇ１８４および画素Ｇ１８７の色差成分の平均値が色差値C0とされる。また、類似方向が画素Ｇ１４２および画素Ｇ１４７を示している場合、画素Ｇ１８３および画素Ｇ１８８の色差成分の平均値が色差値C0とされる。
【０２４１】
同様に、類似方向が画素Ｇ１４４および画素Ｇ１５０を示している場合、画素Ｇ１８２および画素Ｇ１８９の色差成分の平均値が色差値C0とされる。また、類似方向が画素Ｇ１４３および画素Ｇ１５１を示している場合、画素Ｇ１８１および画素Ｇ１９０の色差成分の平均値が色差値C0とされる。
【０２４２】
このようにして画素Ｇ１４１の色差値C0が求められると、色差位相補間部１４２は、この色差値C0を用いて画素Ｇ１４２の色差成分の補間値である色差補間値を求める。
【０２４３】
すなわち色差位相補間部１４２は、求めた画素Ｇ１４１の色差値C0、および画素Ｇ１８３の色差成分の平均値CD(1)を求める。
【０２４４】
また、色差位相補間部１４２は、画素Ｇ１８３および画素Ｇ１８８の色差成分から、画素Ｇ１４２に相当する位相における色差成分の値である色差値CL(1)を求める。例えば、画素Ｇ１８３から画素Ｇ１４２までの距離は１画素であり、画素Ｇ１８８から画素Ｇ１４２までの距離は３画素であるので、それらの距離に応じた比率で画素Ｇ１８３および画素Ｇ１８８の色差成分が足し合わされる。具体的には、画素Ｇ１８３の色差成分に（３／４）を乗算して得られる値と、画素Ｇ１８８の色差成分に（１／４）を乗算して得られる値とが足し合わされて色差値CL(1)とされる。
【０２４５】
さらに、色差位相補間部１４２は、画素Ｇ１４１の色差値C0と、画素Ｇ１８３の色差成分との絶対値差分CA(1)を求め、求められた絶対値差分CA(1)、および予め保持している比率テーブルを用いて比率RDLを求める。この比率RDLは、平均値CD(1)に対する色差値CL(1)の混ぜ合わせの比率を示すものであり、平均値CD(1)に（１−RDL）を乗算して得られる値と、色差値CL(1)にRDLを乗算して得られる値との和が画素Ｇ１４２の色差成分の補間値である色差補間値とされる。
【０２４６】
例えば、色差位相補間部１４２が保持している比率テーブルは、絶対値差分CA(1)に対して、比率RDLが図２６に示すように変化するテーブルとされる。なお、図２６において、縦軸は比率RDLの値を示しており、横軸は絶対値差分の値を示している。
【０２４７】
図２６の例では、絶対値差分がCA0以下である場合には、比率RDLの値はRDL0とされ、絶対値差分がCA0からCA1までの間は、絶対値差分に比例して比率RDLの値が増加する。すなわち、絶対値差分が増加するにつれて、比率RDLの値は大きくなる。そして、絶対値差分がCA1以上となると比率RDLの値は一定となり、その値はRDL1とされる。
【０２４８】
色差位相補間部１４２は、保持している比率テーブルと、絶対値差分CA(1)とから比率RDLを求めると、求めた比率RDLと、平均値CD(1)および色差値CL(1)とから画素Ｇ１４２の色差補間値を求める。
【０２４９】
図２６に示した比率テーブルによれば、絶対値差分CA(1)が小さいほど、つまり画素Ｇ１４１近傍におけるｙ方向の色差成分の勾配が小さいほど、比率RDLは低くなり、画素Ｇ１４２の色差補間値には平均値CD(1)の成分がより多く含まれることになる。これは、ｙ方向の色差成分の勾配が小さければ色差成分の変化も小さいため、画素Ｇ１４２の色差成分の値は、ｙ方向に隣接する画素Ｇ１８３および画素Ｇ１４１に近い値になると推定されるためである。
【０２５０】
逆に、比率テーブルでは、絶対値差分CA(1)が大きいほど、つまり画素Ｇ１４１近傍におけるｙ方向の色差成分の勾配が大きいほど、比率RDLは高くなり、画素Ｇ１４２の色差補間値には色差値CL(1)の成分がより多く含まれることになる。これは、ｙ方向の色差成分の勾配が大きければ色差成分の変化も大きいため、画素Ｇ１４２に隣接する画素だけを用いるよりも、画素Ｇ１４２に隣接する画素１８３と、画素Ｇ１４２からある程度離れた位置の画素Ｇ１８８とを用いた方が、より精度よく画素Ｇ１４２の色差補間値を予測することができるからである。
【０２５１】
このようにして、画素Ｇ１４２の色差補間値が求められると、色差位相補間部１４２は、画素Ｇ１４２における場合と同様の処理を行って、画素Ｇ１４７の色差成分の補間値である色差補間値を求める。
【０２５２】
すなわち、色差位相補間部１４２は、求めた画素Ｇ１４１の色差値C0、および画素Ｇ１８８の色差成分の平均値CD(2)を求める。
【０２５３】
また、色差位相補間部１４２は、画素Ｇ１８３および画素Ｇ１８８の色差成分から、画素Ｇ１４７に相当する位相における色差成分の値である色差値CL(2)を求める。例えば、色差値CL(1)における場合と同様に、画素Ｇ１８３から画素Ｇ１４７までの距離と、画素Ｇ１８８から画素Ｇ１４７までの距離とに応じた係数が、それぞれ画素Ｇ１８３および画素Ｇ１８８の色差成分に乗算される。そして、係数の乗算された画素Ｇ１８３および画素Ｇ１８８の色差成分の和が色差値CL(2)とされる。
【０２５４】
さらに、色差位相補間部１４２は、画素Ｇ１４１の色差値C0と、画素Ｇ１８８の色差成分との絶対値差分CA(2)を求め、求められた絶対値差分CA(2)、および予め保持している図２６の比率テーブルを用いて比率RDLを求める。
【０２５５】
そして、色差位相補間部１４２は、求めた比率RDLと、平均値CD(2)および色差値CL(2)とから画素Ｇ１４７の色差補間値を求める。すなわち、平均値CD(2)に（１−RDL）を乗算して得られる値と、色差値CL(2)にRDLを乗算して得られる値との和が画素Ｇ１４７の色差補間値とされる。
【０２５６】
以上のようにして求めた画素Ｇ１４２および画素Ｇ１４７の色差補間値は、例えば図４における、Line0およびLine2の図４中、左端の画素のそれぞれの色差成分の値に相当する。なお、より詳細には、色差位相補間部１４２は、画素Ｇ１４２および画素Ｇ１４７の色差補間値として、Ｃｒ成分およびＣｂ成分を個別に求める。
【０２５７】
また、同様にして、色差位相補間部１４２は、フィールド（Ｎ−１）の画像における、色差成分を求めるべき全ての画素について、色差補間値を求める。
【０２５８】
このようにして色差成分が補間されると、色差形式が４：２：２であり、映像形式がプログレッシブ形式であるフィールド（Ｎ−１）の映像信号が得られる。色差位相補間部１４２が、得られた映像信号を出力すると、色差形式変換処理は終了し、処理は図１３のステップＳ１５に進む。
【０２５９】
このようにして、色差形式変換部２６は、プログレッシブ形式の映像信号を処理対象として類似判定を行い、その類似判定の結果を用いて色差成分を補間することで、映像信号の色差形式を４：２：０から４：２：２に変換する。
【０２６０】
類似判定の結果を用いて色差成分の補間を行うことは、画素が有する色差の特徴に応じて補間に用いるフィルタを選択することと等価である。このようにフィルタを可変にし、色差の特徴に応じた補間処理を行うことで、より精度よく色差成分を推定することができ、その結果、従来、映像信号の色差形式を変換する際に発生するジャギーや解像度感の劣化を抑制することができる。したがって、映像信号に基づく画像の画質を向上させることができる。また、このようにして得られた劣化の少ない映像信号に対して、後段において高画質化の処理等を施せば、より画像の画質を向上させることができる。
【０２６１】
さらに、フィルタを選択するための色差の特徴、すなわち画素の類似方向を、色差成分よりも変化が大きく、画素の特徴の検出精度の高い輝度成分を用いて求めるようにしたので、より精度よく各画素の色差の特徴を推定することができる。これにより、各画素の色差成分の補間精度を向上させて偽色やノイズの発生を抑制し、画質を向上させることができる。
【０２６２】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０２６３】
図２７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２６４】
コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【０２６５】
バス２０４には、さらに、入出力インターフェース２０５が接続されている。入出力インターフェース２０５には、キーボード、マウス、マイクロホンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７、ハードディスクや不揮発性のメモリなどよりなる記録部２０８、ネットワークインターフェースなどよりなる通信部２０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１１を駆動するドライブ２１０が接続されている。
【０２６６】
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記録部２０８に記録されているプログラムを、入出力インターフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０２６７】
コンピュータ（CPU２０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０２６８】
そして、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インターフェース２０５を介して、記録部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記録部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記録部２０８に、あらかじめインストールしておくことができる。
【０２６９】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２７０】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０２７１】
【図１】本発明を適用した映像変換装置の一実施の形態の構成例を示す図である。
【図２】インターレース形式の画像について説明する図である。
【図３】プログレッシブ形式の画像について説明する図である。
【図４】色差形式が４：２：２である画像について説明する図である。
【図５】ＩＰ変換部の構成例を示す図である。
【図６】入力される各フィールドの画像の例を示す図である。
【図７】輝度静止回数および色差静止回数について説明する図である。
【図８】輝度静止回数および色差静止回数の算出について説明する図である。
【図９】静止判定部の構成例を示す図である。
【図１０】フィールド補間部の構成例を示す図である。
【図１１】色差形式変換部の構成例を示す図である。
【図１２】類似方向について説明する図である。
【図１３】映像変換処理を説明するフローチャートである。
【図１４】ＩＰ変換処理を説明するフローチャートである。
【図１５】輝度静止回数について説明する図である。
【図１６】閾値テーブルについて説明する図である。
【図１７】色差静止回数について説明する図である。
【図１８】閾値テーブルについて説明する図である。
【図１９】輝度成分の補間について説明する図である。
【図２０】比率テーブルについて説明する図である。
【図２１】色差成分の補間について説明する図である。
【図２２】比率テーブルについて説明する図である。
【図２３】色差形式変換処理について説明するフローチャートである。
【図２４】類似方向について説明する図である。
【図２５】色差成分の補間について説明する図である。
【図２６】比率テーブルについて説明する図である。
【図２７】コンピュータの構成例を示す図である。
【符号の説明】
【０２７２】
１１ 映像変換装置， ２３ 映像形式判定部， ２４ ＩＰ変換部， ２５ 映像選択部， ２６ 色差形式変換部， ５１ 静止判定部， ５２ フィールド補間部， ８２ 輝度静止判定部， ８３ 色差静止判定部， １１１ 輝度フィールド補間部， １１２ 色差フィールド補間部， １４１ 類似判定部， １４２ 色差位相補間部
【技術分野】
【０００１】
本発明は映像変換装置および方法、並びにプログラムに関し、特に、映像信号の映像形式および色差形式を変換する場合に、画質の劣化を抑制できるようにした映像変換装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
例えば、デジタル画像を表示するための映像信号が記録媒体に記録される場合、データの圧縮率を上げる等の理由により、映像信号が、色差形式が４：２：０であり、映像形式がインターレース形式である映像信号に変換されてから記録されることがある。色差形式が４：２：０である映像信号は、輝度成分と色差成分とからなり、色差成分の解像度（情報量）が画像の水平方向および垂直方向ともに、輝度成分の半分の解像度とされた信号である。
【０００３】
このような映像信号を記録媒体から読み出して、デジタルテレビジョン受像機などで表示させる場合、読み出された映像信号の色差形式は、フィルタ処理により４：２：０から４：２：２に変換される。そして、その後、映像信号の映像形式がインターレース形式からプログレッシブ形式に変換される。
【０００４】
このようにして得られた、色差形式が４：２：２であるプログレッシブ形式の映像信号には、必要に応じて高画質化等の所定の処理が施される。処理の施された映像信号は、さらに色差形式が４：４：４であるＲ，Ｇ，Ｂの各成分からなる信号に変換されて、変換により得られた映像信号に基づいて画像が表示される。
【０００５】
また、従来、映像信号の色差形式を変換する場合に、映像信号の映像形式がインターレース形式か否かを検出して、その検出結果に応じて用いるフィルタを動的に切り換える技術も提案されている（例えば、特許文献１参照）。
【０００６】
【特許文献１】特開平８−３３００２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述した技術では、色差形式が４：２：０であり、映像形式がインターレース形式である映像信号から、色差形式が４：２：２であり、映像形式がプログレッシブ形式である映像信号を得る場合に、映像信号に基づく画像の画質が劣化してしまう。
【０００８】
すなわち、インターレース形式の映像信号の色差形式を４：２：０から４：２：２に変換する場合、補間対象の画素の空間的近傍に位置する画素が用いられて補間処理が行われる。そのため、情報量の少ない色差成分の補間処理を精度よく行うことができず、変換により得られる色差形式が４：２：２のインターレース形式の映像信号の画像の画質が劣化してしまうことが知られている。
【０００９】
映像信号の色差形式を変換する場合に、上述した技術を用いてフィルタを動的に変化させても、やはり空間的に近傍の画素を用いた補間処理が行われるため、画質の劣化を抑制することはできない。
【００１０】
また、映像信号の映像形式をインターレース形式からプログレッシブ形式に変換する場合にも、補間対象の画素の各成分について、その画素の空間的近傍の画素が用いられて補間処理が行われる。ところが、色差形式が４：２：２とされた映像信号の色差成分は既に劣化しているため、映像形式の変換により映像信号の画像には、ぼけやフリッカー、ジャギーなどが発生し、さらに画質が劣化してしまう。
【００１１】
映像信号の映像形式を変換する場合に、画像の画素の時間的な変化を検出し、その検出結果に基づいて、画像上の画素の空間的または時間的に近傍の画素を用いて補間処理を行うことも考えられる。しかしながら、この場合においても、色差形式が４：２：２とされた映像信号は既に劣化しているため、画像上の色の濃い領域の境界部分でクロマアップサンプリングエラーと呼ばれる櫛状のノイズが発生し、画質が劣化してしまう。
【００１２】
以上のように、色差形式が４：２：２であるプログレッシブ形式の映像信号を得るために、映像信号の色差成分に対して非線形処理を施すと、画像の画質が劣化してしまうため、その後段において映像信号に処理を施して画像を高画質化させることは困難であった。
【００１３】
本発明は、このような状況に鑑みてなされたものであり、映像信号の色差形式および映像形式を変換する場合に、映像信号に基づく画像の画質の劣化を抑制することができるようにするものである。
【課題を解決するための手段】
【００１４】
本発明の一側面の映像変換装置は、輝度成分および色差成分からなり、映像形式がインターレース形式である映像信号が供給された場合、前記映像信号の輝度成分および色差成分を補間することにより、前記映像信号の映像形式をプログレッシブ形式に変換する映像形式変換手段と、前記映像形式変換手段による変換により得られた前記映像信号の色差成分を補間することにより、前記映像信号の色差形式を、第１の色差形式から、前記第１の色差形式よりも色差成分が多く含まれる第２の色差形式に変換する色差形式変換手段とを備える。
【００１５】
前記色差形式変換手段には、
前記映像信号に基づく画像の画素の輝度成分を用いて、所定の画素近傍において、互いに類似する画素が並ぶ類似方向を求める類似方向判定手段と、
前記類似方向により特定される画素を用いて、前記所定の画素近傍の画素の色差成分を補間する色差位相補間手段と
をさらに設けることができる。
【００１６】
前記映像形式変換手段には、
連続するいくつかのフィールドの前記映像信号を用いて、前記映像信号に基づく画像上における画素の輝度成分の変化の有無を検出する輝度静止検出手段と、
前記輝度静止検出手段による検出結果に基づいて、処理対象のフィールドの前記画像における第１の注目画素の時間的または空間的に近傍に位置する画素を用いて、前記第１の注目画素の輝度成分を補間する輝度補間手段と、
前記連続するいくつかのフィールドの前記映像信号を用いて、前記映像信号に基づく画像上における画素の色差成分の変化の有無を検出する色差静止検出手段と、
前記色差静止検出手段による検出結果に基づいて、前記処理対象のフィールドの前記画像における第２の注目画素の時間的または空間的に近傍に位置する画素を用いて、前記第２の注目画素の色差成分を補間する色差補間手段と
をさらに設けることができる。
【００１７】
前記色差静止検出手段には、前記輝度静止検出手段による検出結果を用いて、色差成分の変化の有無を検出させることができる。
【００１８】
本発明の一側面の映像変換方法またはプログラムは、輝度成分および色差成分からなり、映像形式がインターレース形式である映像信号が供給された場合、前記映像信号の輝度成分および色差成分を補間することにより、前記映像信号の映像形式をプログレッシブ形式に変換し、映像形式の変換により得られた前記映像信号の色差成分を補間することにより、前記映像信号の色差形式を、第１の色差形式から、前記第１の色差形式よりも色差成分が多く含まれる第２の色差形式に変換するステップを含む。
【００１９】
本発明の一側面においては、輝度成分および色差成分からなり、映像形式がインターレース形式である映像信号が供給された場合、前記映像信号の輝度成分および色差成分を補間することにより、前記映像信号の映像形式がプログレッシブ形式に変換され、その変換により得られた前記映像信号の色差成分を補間することにより、前記映像信号の色差形式が、第１の色差形式から、前記第１の色差形式よりも色差成分が多く含まれる第２の色差形式に変換される。
【発明の効果】
【００２０】
本発明の一側面によれば、映像信号の色差形式および映像形式を変換することができる。特に、本発明の一側面によれば、映像信号の色差形式および映像形式を変換する場合に、映像信号に基づく画像の画質の劣化を抑制することができる。
【発明を実施するための最良の形態】
【００２１】
以下、図面を参照して、本発明を適用した実施の形態について説明する。
【００２２】
［映像変換装置の構成］
図１は、本発明を適用した映像変換装置の一実施の形態の構成例を示すブロック図である。
【００２３】
この映像変換装置１１には、輝度信号（Ｙ成分）と色差信号（Ｃｒ成分およびＣｂ成分）とからなり、色差形式が４：２：０である映像信号が供給される。映像信号は、例えばMPEG（Moving Picture Experts Group）などの方式で符号化（デジタル圧縮）された、動画像を表示させる信号であり、映像信号の映像形式は、プログレッシブ形式またはインターレース形式の何れか一方の形式とされる。
【００２４】
映像変換装置１１は、供給された映像信号を、色差形式が４：２：２であり、映像形式がプログレッシブ形式である映像信号に変換して出力する。
【００２５】
映像変換装置１１は、フレームバッファ２１、フレームバッファ２２、映像形式判定部２３、ＩＰ（Interlace/Progressive）変換部２４、映像選択部２５、および色差形式変換部２６から構成される。
【００２６】
また、映像変換装置１１では、フレームバッファ２１およびＩＰ変換部２４に映像信号が１フィールド（フレーム）分ずつ供給される。すなわち、映像信号の映像形式が、インターレース形式であれば１フィールド分ずつ映像信号が供給され、プログレッシブ形式であれば１フレーム分ずつ映像信号が供給される。
【００２７】
なお、以下においては説明を簡単にするため、映像形式によらず、１フィールド分の映像信号ということとする。すなわち、映像形式がプログレッシブ形式であれば、１フィールド分の映像信号とは、１フレーム分の映像信号を意味するものとする。
【００２８】
フレームバッファ２１は、供給された映像信号を１フィールド分の時間だけ記憶した後、フレームバッファ２２、映像形式判定部２３、ＩＰ変換部２４、および映像選択部２５に供給する。すなわち、フレームバッファ２１は、供給された映像信号を１フィールド分の時間だけ遅延させる。
【００２９】
フレームバッファ２２は、フレームバッファ２１から供給された映像信号を１フィールド分の時間だけ記憶した後、ＩＰ変換部２４に供給する。なお、以下、フレームバッファ２１に供給される映像信号、フレームバッファ２１から出力される映像信号、およびフレームバッファ２２から出力される映像信号を、それぞれフィールドＮ乃至フィールド（Ｎ−２）の映像信号とも称する。つまり、フィールド（Ｎ−１）およびフィールド（Ｎ−２）は、それぞれフィールドＮに対して、時間的に１つ前、および２つ前のフィールドとなる。
【００３０】
映像形式判定部２３は、フレームバッファ２１から供給された映像信号に基づいて、その映像信号の映像形式がインターレース形式であるか否かを判定し、その判定結果を映像選択部２５に供給する。
【００３１】
ＩＰ変換部２４は、供給されたフィールドＮの映像信号、フレームバッファ２１からのフィールド（Ｎ−１）の映像信号、およびフレームバッファ２２からのフィールド（Ｎ−２）の映像信号を用いてＩＰ変換処理を行い、映像信号の映像形式を変換する。すなわち、ＩＰ変換処理により、フィールド（Ｎ−１）の映像信号が処理対処とされて、その映像信号の映像形式がインターレース形式からプログレッシブ形式に変換され、変換により得られた映像信号が映像選択部２５に供給される。ここで、ＩＰ変換処理により得られる映像信号の色差形式（映像フォーマット）は、４：２：０のままとされる。
【００３２】
映像選択部２５は、映像形式判定部２３からの判定結果に基づいて、フレームバッファ２１からの映像信号、またはＩＰ変換部２４からの映像信号の何れか一方を選択し、選択した映像信号を色差形式変換部２６に供給する。
【００３３】
具体的には映像選択部２５は、フレームバッファ２１からの映像信号の映像形式がプログレッシブ形式であれば、その映像信号を選択し、フレームバッファ２１からの映像信号の映像形式がインターレース形式であれば、ＩＰ変換部２４からの映像信号を選択する。何れの場合においても、映像選択部２５から色差形式変換部２６には、映像形式がプログレッシブ形式であるフィールド（Ｎ−１）の映像信号が供給されることになる。
【００３４】
色差形式変換部２６は、映像選択部２５から供給された映像信号の色差形式を、４：２：０から４：２：２に変換する色差形式変換処理を行い、これにより得られた映像信号を出力する。したがって色差形式変換部２６からは、色差形式が４：２：２であり、映像形式がプログレッシブ形式であるフィールド（Ｎ−１）の映像信号が出力されることになる。色差形式変換部２６から出力された映像信号には、後段において高画質化等の処理が施されたり、色差形式が４：４：４であるＲ，Ｇ，Ｂの成分を有する映像信号に変換する処理が施されたりする。
【００３５】
このように、映像変換装置１１では、フィールドＮの映像信号が供給されると、フィールド（Ｎ−１）の映像信号が出力される。つまり、映像変換装置１１では、処理対象のフィールドの時間的に前後のフィールドが用いられて、映像信号の映像形式および色差形式が変換されるため、映像変換装置１１全体で１フィールド（フレーム）分の処理遅延が発生する。
【００３６】
ところで、映像変換装置１１には、色差形式が４：２：０であり、映像形式がインターレース形式またはプログレッシブ形式である映像信号が供給されると説明した。
【００３７】
映像信号がインターレース形式である場合、例えば、図２に示すように、映像信号として、トップフィールドと呼ばれる画像の信号と、ボトムフィールドと呼ばれる画像の信号とからなる映像信号が映像変換装置１１に供給される。
【００３８】
なお、図２において、図中、左側はトップフィールドの画像を示しており、図中、右側はボトムフィールドの画像を示している。また、各フィールドの画像において、１つの円および四角形は、映像信号の輝度成分（Ｙ成分）、および色差成分（Ｃｒ成分およびＣｂ成分）を有する１つの画素を表している。さらに、図２中の文字「Line0」乃至「Line10」は、各フィールドの画像における図中、水平方向のラインを表すためのものであり、実際には画像には含まれていない。
【００３９】
図２において、図中、横方向をｘ方向と呼び、縦方向をｙ方向と呼ぶこととすると、各フィールドの画像は、ｘ方向に並んだ画素からなるラインが、ｙ方向に１０だけ並べられて構成されている。また、各フィールドの画像では、特性のラインを構成する全ての画素が輝度成分を有しており、輝度成分を有するラインとｙ方向に隣接するラインのうちの特定のラインを構成するいくつかの画素が色差成分を有している。色差成分を有するラインでは、色差成分を有する画素が、ｘ方向に１画素おきに存在するようになされている。
【００４０】
さらに、トップフィールドの画像と、ボトムフィールドの画像とでは、一方のフィールドの画像における輝度成分または色差成分を有する画素と同じ位置にある、他方のフィールドの画素、つまり同じ位相の画素は、輝度成分も色差成分も有していない。
【００４１】
このような、インターレース形式の映像信号は、トップフィールドの信号と、ボトムフィールドの信号とが交互に配置された信号とされる。つまり、映像信号に基づく画像が表示される場合には、トップフィールドの画像と、ボトムフィールドの画像とが交互に表示されることになる。
【００４２】
一方、映像信号がプログレッシブ形式である場合、例えば、図３に示すように、１フィールド（フレーム）分の画像の映像信号は、１組のトップフィールドおよびボトムフィールドの映像信号が有する情報量（輝度成分および色差成分）を有している。つまり、映像変換装置１１に供給される、プログレッシブ形式の１フィールド分の映像信号は、インターレース形式の１フィールド分の映像信号の倍の情報量を有している。
【００４３】
なお、図３において、１つの円および四角形は、映像信号に基づく画像における輝度成分（輝度信号）、および色差成分（色差信号）を有する１つの画素を表している。また、図中の文字「Line0」乃至「Line10」は、１フィールド分の画像における図中、水平方向のラインを表すためのものであり、実際には画像には含まれていない。
【００４４】
図３において、図中、横方向をｘ方向と呼び、縦方向をｙ方向と呼ぶこととすると、１フィールド分の画像は、図２に示した１フィールド分の画像と同様に、ｙ方向に並べられた１０個のラインから構成される。
【００４５】
また、１フィールド分の画像では、特定のラインを構成する全ての画素が輝度成分を有しており、輝度成分を有するラインは、１ラインおきにｙ方向に並んでいる。さらに、輝度成分を有するラインとｙ方向に隣接するラインのうちの特定のラインの画素だけが色差成分を有しており、色差成分を有するラインでは、色差成分を有する画素が、ｘ方向に１画素おきに存在するようになされている。色差成分を有するラインは、３ラインおきにｙ方向に並んでいる。
【００４６】
図３のプログレッシブ形式の１フィールド分の画像において、図２のトップフィールドまたはボトムフィールドの画像上の輝度成分を有する画素と同じ位置にある画素は、必ず輝度成分を有しており、図３の画像上の他の画素は輝度成分を有していない。同様に、図３の画像において、図２のトップフィールドまたはボトムフィールドの画像上の色差成分を有する画素と同じ位置にある画素は、必ず色差成分を有しており、図３の画像上の他の画素は色差成分を有していない。
【００４７】
さらに、映像変換装置１１から出力されるプログレッシブ形式の映像信号は、例えば、図４に示すように、図３に示した映像信号と比べて、倍の色差成分を有している。
【００４８】
なお、図４において、１つの円および四角形は、映像信号に基づく画像における輝度成分（輝度信号）、および色差成分（色差信号）を有する１つの画素を表しており、円と四角形が重なっている画素は、輝度成分および色差成分の両方を有する画素とされる。また、図中の文字「Line0」乃至「Line10」は、１フィールド分の画像における図中、水平方向のラインを表すためのものであり、実際には画像には含まれていない。
【００４９】
図４において、図中、横方向をｘ方向と呼び、縦方向をｙ方向と呼ぶこととすると、１フィールド分の画像は、図２および図３に示した１フィールド分の画像と同様に、ｙ方向に並べられた１０個のラインから構成される。
【００５０】
図４の画像では、図３において輝度成分を有するラインと同じ位置（位相）のライン、より詳細には、そのラインを構成する全ての画素が輝度成分を有している。また、図４の画像では、図３において色差成分を有する画素と同じ位置（位相）の画素に対して、ｙ方向に隣接する全ての画素が色差成分を有している。すなわち、図３の画像と、図４の画像とでは、色差成分を有する画素のｙ方向（垂直方向）の位相が等しく、図４の画像において、色差成分を有する画素は必ず輝度成分も有している。
【００５１】
なお、図２乃至図４に示した画像における色差成分を有する画素の位相は、映像信号の符号化方式がMPEG2方式である場合を想定した位相となっており、色差成分を有する画素の位相は、図２乃至図４の例と必ずしも同じである必要はない。
【００５２】
次に、図５は、図１のＩＰ変換部２４の構成例を示す図である。
【００５３】
ＩＰ変換部２４は、静止判定部５１およびフィールド補間部５２から構成される。
【００５４】
静止判定部５１には、映像変換装置１１に供給された映像信号、およびフレームバッファ２２からの映像信号が供給される。また、フィールド補間部５２には、映像変換装置１１に供給された映像信号、フレームバッファ２１からの映像信号、およびフレームバッファ２２からの映像信号が供給される。
【００５５】
静止判定部５１は、供給された、処理対象となるフィールドの時間的に前後のフィールド、つまりフィールドＮおよびフィールド（Ｎ−２）の映像信号を用いて、フィールド（Ｎ−１）の映像信号についての輝度静止回数および色差静止回数を求める。
【００５６】
輝度静止回数とは、フィールド（Ｎ−１）の画像上の画素の輝度成分が静止していたフィールド数、すなわち画素の輝度成分が、変化せずにほぼ一定の値のままとされたフィールド数をいう。同様に、色差静止回数は、フィールド（Ｎ−１）の画像上の画素の色差成分が静止していたフィールド数、すなわち画素の色差成分が、変化せずにほぼ一定の値のままとされたフィールド数をいう。求められた輝度静止回数および色差静止回数は、静止判定部５１からフィールド補間部５２に供給される。
【００５７】
フィールド補間部５２は、供給された映像信号と、静止判定部５１からの輝度静止回数および色差静止回数とを用いて、処理対象となっているフィールド（Ｎ−１）の映像信号の映像形式をインターレース形式からプログレッシブ形式に変換する。そして、フィールド補間部５２は、変換により得られた映像信号を映像選択部２５に供給する。
【００５８】
なお、輝度静止回数および色差静止回数は、処理対象のフィールド（Ｎ−１）の画像上の画素であって、ＩＰ変換処理により輝度成分および色差成分が補間される各画素について求められる。
【００５９】
例えば、図６に示すように、画像上において１つのオブジェクトが図中、右方向に移動する動画像の映像信号がＩＰ変換部２４に供給されたとする。なお、図６において、手前方向は時間を示しており、横方向および縦方向はｘ方向およびｙ方向を示している。また、図中、１つの長方形は１つのフィールドの画像を表しており、手前側から奥行き方向に順番に、フィールドＮ乃至フィールド（Ｎ−３）の画像であるものとする。
【００６０】
このような映像信号が供給された場合、静止判定部５１は、映像信号に基づく各フィールドの画像を用いて、画素ごとに画像の絵柄が時間的に静止していたか否か、つまり各画素の動きの有無を判定する。そして、静止判定部５１は、その判定結果に基づいて、輝度成分および色差成分について、各画素が時間的に何フィールドの間静止していたかを示す輝度静止回数および色差静止回数を求める。
【００６１】
図６の例では、各フィールドの画像の中央付近のオブジェクトがｘ方向に移動しているので、輝度静止回数および色差静止回数は、図７に示すように、画像の中央付近の画素の回数が少なく、画像の端近傍の画素の回数は多くなるはずである。
【００６２】
なお、図７において図中、左側の長方形は輝度静止回数が求められる画素からなる画像を示しており、右側の長方形は色差静止回数が求められる画素からなる画像示している。処理対象の映像信号の色差形式は４：２：０であり、その画像が有する色差成分の量（画素数）は、ｘ方向およびｙ方向ともに輝度成分の半分であるため、色差静止回数の画像は、輝度静止回数の画像に対して縦横ともに半分の大きさの画像となっている。
【００６３】
また、図７において、画像上の各領域の濃淡が輝度静止回数または色差静止回数を示しており、濃度の濃い領域の画素ほど回数が多いことを示している。図７の例では、一定期間以上静止しているとされた画素の濃度（明るさ）はクリップされている。
【００６４】
例えば、図６の映像信号に基づく画像では、オブジェクトがｘ方向（水平方向）に移動する。そのため、輝度静止回数の画像および色差静止回数の画像において、オブジェクトと背景（動きのない領域）の境界近傍の部分、すなわち矢印Ａ１１および矢印Ａ１２に示す領域の濃度が最も濃く（暗く）なっている。
【００６５】
そして、それらの矢印Ａ１１および矢印Ａ１２に示す領域から、オブジェクトの移動方向とは反対方向、つまり図中、より左側の領域ほど静止していると判定される回数が増えるため、次第に濃度が薄く（明るく）なっていく。すなわち、矢印Ａ１１および矢印Ａ１２に示す領域よりも、それらの領域に左側に隣接する、矢印Ａ１３および矢印Ａ１４に示す領域の濃度が薄くなっている。また、矢印Ａ１３および矢印Ａ１４に示す領域と比べて、それらの領域の図中、左側の領域は、さらに濃度が薄くなっている。
【００６６】
また、輝度静止回数および色差静止回数は、フィールド（Ｎ−１）の画像の輝度成分および色差成分が補間される画素について求められるため、それらの算出には、図８に示すように、フィールド（Ｎ−１）に対して時間的に前後のフィールドが用いられる。
【００６７】
なお、図８は、図６に示した各フィールドの画像の一部を拡大した図であり、図中、縦方向および横方向は、ｙ方向およびｘ方向を示している。また、図８において、矢印Ｆ１１乃至矢印Ｆ１３のそれぞれにより示される長方形は、フィールドＮ乃至フィールド（Ｎ−２）の画像の一部分の領域を示しており、各画像上の円は、１つの画素を示している。
【００６８】
静止判定部５１では、処理対象となるフィールド（Ｎ−１）の画像の画素について、輝度静止回数および色差静止回数が求められる。
【００６９】
例えば、フィールド（Ｎ−１）の画像の画素であって、図中、点線で囲まれる領域内に含まれる画素の輝度静止回数を求める場合について考えることとし、図中、円で表される画素が、輝度成分を有する画素であるとする。ここで、各フィールドの画像上の点線の領域内の画素からなるラインは、互いに位相が等しいライン、つまり各フィールドの画像上において同じ位置にあるラインである。
【００７０】
具体的には、例えば、矢印Ｆ１２に示されるフィールド（Ｎ−１）が図２に示したトップフィールドであるとすると、矢印Ｆ１１および矢印Ｆ１３に示されるフィールドＮおよびフィールド（Ｎ−２）は、図２に示したボトムフィールドとされる。
【００７１】
また図中、点線で囲まれるフィールド（Ｎ−１）の画像上の領域が、図２のLine2に相当する領域であるとすると、Line2上の各画素はＩＰ変換処理により輝度成分が補間される画素であるため、それらの画素はＩＰ変換処理前の段階では輝度成分を有していない。したがって、フィールド（Ｎ−１）の映像信号だけでは、それらのLine2上の画素の輝度静止回数を求めることはできない。
【００７２】
そのため、Line2上の画素が輝度成分を有するフィールドＮおよびフィールド（Ｎ−２）の映像信号が用いられて、フィールド（Ｎ−１）の画素の輝度静止回数が求められる。
【００７３】
すなわち、フィールド（Ｎ−１）がトップフィールドであるのに対して、フィールドＮおよびフィールド（Ｎ−２）は、ボトムフィールドである。したがって、それらのフィールドの画像における、図８中、点線で囲まれる領域内の画素、つまり図２のLine2上の全ての画素は、輝度成分を有している。
【００７４】
そこで、静止判定部５１は、フィールド（Ｎ−１）のLine2上の注目する画素の輝度静止回数を、その注目する画素と同じ位置にある、フィールドＮおよびフィールド（Ｎ−２）の画像上の画素の輝度成分に基づいて求める。
【００７５】
また、静止判定部５１は、色差静止回数を求める場合においても、輝度静止回数の場合と同様に、フィールド（Ｎ−１）の画素の色差静止回数を、その画素と同じ位置にある、フィールドＮおよびフィールド（Ｎ−２）の画像の画素の色差成分に基づいて求める。
【００７６】
輝度静止回数および色差静止回数を求めることは、所定の画素の輝度成分および色差成分の時間的な変化の有無を検出して、輝度成分および色差成分が変化しなかった期間を求めることであるということができる。つまり、輝度静止回数および色差静止回数は、輝度成分および色差成分の静止が検出された回数（フィールド数）である。
【００７７】
このようにして輝度静止回数および色差静止回数を求める静止判定部５１は、より詳細には、図９に示すように構成される。すなわち、静止判定部５１は、静止回数保持部８１、輝度静止判定部８２、および色差静止判定部８３から構成される。
【００７８】
静止回数保持部８１は、輝度静止判定部８２により求められた、映像信号に基づく画像上の画素の輝度静止回数を保持し、輝度静止判定部８２から新たな輝度静止回数が供給されるたびに保持している輝度静止回数を更新する。
【００７９】
輝度静止回数の更新は、処理対象となっているフィールドと同じ種別のフィールド、つまりトップフィールドまたはボトムフィールドの何れか一方において輝度静止回数が求められる画素についてのみ行われる。したがって、例えば、処理対象のフィールドがトップフィールドである場合には、トップフィールドにおいて輝度静止回数が求められる画素の輝度静止回数のみが更新され、ボトムフィールドにおいて輝度静止回数が求められる画素については更新されない。
【００８０】
輝度静止判定部８２には、映像変換装置１１に入力されたフィールドＮの映像信号と、フレームバッファ２２から出力されたフィールド（Ｎ−２）の映像信号とが供給される。輝度静止判定部８２は、供給されたそれらの映像信号を用いて、静止回数保持部８１に保持されている輝度静止回数を参照しながら、処理対象のフィールド（Ｎ−１）の画像の画素ごとに輝度静止回数を求める。そして、輝度静止判定部８２は、求めた輝度静止回数を色差静止判定部８３およびフィールド補間部５２に供給するとともに、輝度静止回数を静止回数保持部８１に供給して保持させる。
【００８１】
色差静止判定部８３には、映像変換装置１１に入力されたフィールドＮの映像信号と、フレームバッファ２２から出力されたフィールド（Ｎ−２）の映像信号とが供給される。色差静止判定部８３は、供給されたそれらの映像信号と、輝度静止判定部８２からの輝度静止回数とを用いて、処理対象のフィールド（Ｎ−１）の画像の画素ごとに色差静止回数を求め、求めた色差静止回数をフィールド補間部５２に供給する。
【００８２】
また、静止判定部５１から輝度静止回数および色差静止回数の供給を受け、処理対象のフィールド（Ｎ−１）の映像信号の映像形式を変換するフィールド補間部５２は、より詳細には図１０に示すように構成される。
【００８３】
すなわち、フィールド補間部５２は、輝度フィールド補間部１１１および色差フィールド補間部１１２から構成される。
【００８４】
輝度フィールド補間部１１１には、映像変換装置１１に入力されたフィールドＮの映像信号、フレームバッファ２１から出力されたフィールド（Ｎ−１）の映像信号、およびフレームバッファ２２から出力されたフィールド（Ｎ−２）の映像信号が供給される。
【００８５】
輝度フィールド補間部１１１は、供給されたこれらの映像信号と、輝度静止判定部８２からの輝度静止回数とを用いて、処理対象のフィールド（Ｎ−１）の画像の画素の輝度成分を補間する。補間により輝度成分が求められる画素は、フィールド（Ｎ−１）の画像上の輝度成分を有していない画素のうち、図３のプログレッシブ形式の画像において輝度成分を有する画素と同じ位置にある画素である。輝度フィールド補間部１１１は、輝度成分が補間された、フィールド（Ｎ−１）の画像の映像信号を色差フィールド補間部１１２に供給する。
【００８６】
また、色差フィールド補間部１１２には、映像変換装置１１に入力されたフィールドＮの映像信号、フレームバッファ２２から出力されたフィールド（Ｎ−２）の映像信号、および輝度フィールド補間部１１１からのフィールド（Ｎ−１）の映像信号が供給される。色差フィールド補間部１１２は、供給されたこれらの映像信号と、色差静止判定部８３から供給された色差静止回数とを用いて、処理対象のフィールド（Ｎ−１）の画像の画素の色差成分を補間する。
【００８７】
補間により色差成分が求められる画素は、フィールド（Ｎ−１）の画像上の色差成分を有していない画素のうち、図３のプログレッシブ形式の画像において色差成分を有する画素と同じ位置にある画素である。すなわち、例えば、フィールド（Ｎ−１）がトップフィールドであれば、そのフィールドの画像の画素のうち、ボトムフィールドの画像の色差成分を有する画素と同じ位置にある画素の色差成分が補間により求められる。
【００８８】
色差フィールド補間部１１２により映像信号の色差成分が補間されると、映像形式がプログレッシブ形式であり、色差形式が４：２：０であるフィールド（Ｎ−１）の映像信号が得られる。すなわち、補間により得られた映像信号に基づく画像は、図３に示した画像と同じものとなる。色差フィールド補間部１１２は、補間により得られたフィールド（Ｎ−１）の映像信号を、映像選択部２５に供給する。
【００８９】
さらに、ＩＰ変換部２４において得られた映像信号、またはフレームバッファ２１から出力された映像信号の何れか一方が映像選択部２５において選択され、選択された映像信号の色差形式が色差形式変換部２６において変換される。
【００９０】
映像信号の色差形式を変換する図１の色差形式変換部２６は、より詳細には、図１１に示すように構成される。
【００９１】
すなわち、色差形式変換部２６は、類似判定部１４１および色差位相補間部１４２から構成される。
【００９２】
類似判定部１４１は、色差フィールド補間部１１２からの映像信号を用いて、その映像信号に基づく画像の画素について、その画素の周囲の２つの画素の組みのうち、画素同士の輝度成分が最も類似する組の画素の位置関係から定まる方向を類似方向とする。類似判定部１４１は、画素ごとに求めた類似方向を色差位相補間部１４２に供給する。
【００９３】
なお、処理対象のフィールド（Ｎ−１）の画像において、類似方向の求められる画素は、画像上の色差成分を有する画素と、その画素とｙ方向に隣り合う、色差成分を有する他の画素との中間の位置（位相）にある画素とされる。
【００９４】
色差位相補間部１４２は、色差フィールド補間部１１２からの映像信号と、類似判定部１４１から供給された類似方向とを用いて、処理対象のフィールド（Ｎ−１）の映像信号に基づく画像の色差成分を補間する。色差位相補間部１４２は、補間により得られた、色差形式が４：２：２である映像信号を出力する。
【００９５】
例えば、図１２に示す画像の映像信号が色差形式変換部２６に供給されたとする。なお、図１２において、実線の１つの円および四角形は、輝度成分および色差成分を有する画素を示しており、図中、縦方向および横方向はｙ方向およびｘ方向を示している。また、輝度成分を有する画素を表す円の濃淡は、その画素の有する輝度成分の値の大きさを示している。すなわち、濃度の同じ画素同士は、同じ輝度成分の値を有している。
【００９６】
図１２において、図中、左側の長方形はフィールド（Ｎ−１）の画像を表しており、その画像の図中、右側には、フィールド（Ｎ−１）の画像上の一部分の領域が拡大されて示されている。
【００９７】
いま、例えば、点線の円で表される画素Ｇ１１の類似方向を求めることを考える。画素Ｇ１１は、ｙ方向に並べられた、色差成分を有する画素Ｇ１２と画素Ｇ１３との中間の位置にある画素である。
【００９８】
画素Ｇ１１の類似方向は、画素Ｇ１１近傍に位置する、予め定められた２つの画素の組みのうち、画素同士の輝度成分が最も類似する画素の組みから定まる。例えば、輝度成分が最も類似する画素の組みが、画素Ｇ１４および画素Ｇ１５からなる組みであるとすると、類似方向は、それらの画素Ｇ１４および画素Ｇ１５を結ぶ直線の方向とされる。
【００９９】
なお、予め定められる画素の組み合わせは、２つの画素を結ぶ直線上に、類似方向を求めようとする画素Ｇ１１が位置するような組み合わせとされる。また、類似方向は、実際には、選択された画素の組みを構成する２つの画素を示す情報、例えば、画素Ｇ１４および画素Ｇ１５を示す情報とされる。
【０１００】
画素Ｇ１１の類似方向が求められると、色差位相補間部１４２は、求められた画素Ｇ１１の類似方向を用いて、画素Ｇ１６および画素Ｇ１７の色差成分を求める。画素Ｇ１６は画素Ｇ１１と画素Ｇ１２との間の位相の画素であり、画素Ｇ１７は画素Ｇ１１と画素Ｇ１３との間の位相の画素である。
【０１０１】
なお、これらの画素Ｇ１６および画素Ｇ１７の色差成分の求め方の詳細は後述するが、色差成分を有し、類似方向から定まる画素Ｇ１１近傍の画素と、画素Ｇ１２および画素Ｇ１３とから、画素Ｇ１６および画素Ｇ１７の色差成分が求められる。このようにしてプログレッシブ形式のフィールド（Ｎ−１）の映像信号における色差成分を補間することで、色差形式が４：２：２であり、映像形式がプログレッシブ形式のフィールド（Ｎ−１）の映像信号が得られる。
【０１０２】
［映像変換装置の動作］
次に、以上において説明した映像変換装置１１の動作について説明する。
【０１０３】
映像変換装置１１に映像信号が供給され、映像形式がプログレッシブ形式であり、色差形式が４：２：２である映像信号の出力が指示されると、映像変換装置１１は、映像信号を、指示された形式の映像信号に変換して出力する映像変換処理を開始する。
【０１０４】
以下、図１３のフローチャートを参照して、映像変換装置１１による映像変換処理について説明する。
【０１０５】
ステップＳ１１において、映像形式判定部２３は、フレームバッファ２１から供給された、フィールド（Ｎ−１）の映像信号に基づいて、その映像信号がインターレース形式の映像信号であるか否かを判定し、その判定結果を映像選択部２５に供給する。
【０１０６】
例えば、映像信号のヘッダには、その映像信号の映像形式が記述される領域が設けられており、映像形式判定部２３は、供給された映像信号のヘッダを参照することで、映像信号がインターレース形式かプログレッシブ形式かを特定する。
【０１０７】
ステップＳ１１において、インターレース形式の映像信号であると判定された場合、ステップＳ１２において、ＩＰ変換部２４はＩＰ変換処理を行う。なお、ＩＰ変換処理の詳細は後述するが、ＩＰ変換処理において、フレームバッファ２１からＩＰ変換部２４に供給されたフィールド（Ｎ−１）の映像信号の映像形式が、インターレース形式からプログレッシブ形式に変換される。
【０１０８】
そして、ＩＰ変換処理の施された映像信号はＩＰ変換部２４から映像選択部２５に供給され、その後、処理はステップＳ１３に進む。
【０１０９】
一方、ステップＳ１１において、インターレース形式の映像信号でないと判定された場合、映像信号はすでにプログレッシブ形式であるので、ステップＳ１２の処理はスキップされて、処理はステップＳ１３に進む。
【０１１０】
ステップＳ１２においてＩＰ変換処理が行われるか、ステップＳ１１においてインターレース形式の映像信号ではないと判定されると、ステップＳ１３において、映像選択部２５は、映像形式判定部２３からの判定結果に基づいて、映像信号を選択する。
【０１１１】
すなわち、映像選択部２５は、映像形式判定部２３からの判定結果が、フィールド（Ｎ−１）の映像信号の映像形式がインターレース形式である旨の判定結果である場合、ＩＰ変換部２４の色差フィールド補間部１１２から供給された映像信号を選択する。
【０１１２】
これに対して、映像形式判定部２３からの判定結果が、フィールド（Ｎ−１）の映像信号の映像形式がプログレッシブ形式である旨の判定結果である場合、映像選択部２５は、フレームバッファ２１から供給された映像信号を選択する。
【０１１３】
映像選択部２５は、選択した映像信号を色差形式変換部２６の類似判定部１４１および色差位相補間部１４２に供給する。
【０１１４】
ステップＳ１４において、色差形式変換部２６は、色差形式変換処理を行って、映像選択部２５から供給された映像信号の色差形式を４：２：０から４：２：２に変換し、その結果得られた映像信号を出力する。これにより、映像形式がプログレッシブ形式であり、色差形式が４：２：２である映像信号が出力される。なお、色差形式変換処理の詳細は後述する。
【０１１５】
ステップＳ１５において、映像変換装置１１は、処理を終了するか否かを判定する。例えば、映像変換装置１１への映像信号の供給が終了し、すべてのフィールドの映像信号の色差形式が変換された場合、処理を終了すると判定される。
【０１１６】
ステップＳ１５において、処理を終了しないと判定された場合、処理はステップＳ１１に戻り、上述した処理が繰り返される。すなわち、次のフィールドが処理対象とされて、そのフィールドの映像信号の色差形式が変換される。
【０１１７】
これに対して、ステップＳ１５において、処理を終了すると判定された場合、映像変換装置１１の各部は行っている処理を終了し、映像変換処理は終了する。
【０１１８】
このようにして、映像変換装置１１は、供給された映像信号がインターレース形式である場合には、その映像信号の映像形式をプログレッシブ形式に変換し、さらにプログレッシブ形式の映像信号の色差形式を変換して、映像信号を出力する。
【０１１９】
このように、映像信号がインターレース形式である場合に、映像信号の映像形式をプログレッシブ形式に変換してから色差形式を変換することで、画像の画質の劣化を抑制することができる。
【０１２０】
すなわち、従来は、まず映像信号の色差形式が４：２：０から４：２：２に変換されていた。例えば、図２の左側に示したトップフィールドの画像の色差形式を変換するものとし、画像におけるLine0からLine6までの領域は青い色の領域であり、Line7からLine10までの領域は赤い色の領域であるものとする。
【０１２１】
いまLine4の図中、一番左端の画素を注目画素とし、その注目画素の色差成分を補間により求める場合、従来は、Line1の左端の画素とLine9の左端の画素とから注目画素の色差成分が求められる。この場合、Line1の左端の画素は青い領域の画素であり、Line9の左端の画素は赤い領域の画素であるから、注目画素の色差成分は、赤と青とが混ざった色を示す値となる。
【０１２２】
また、Line0からLine6までの領域は青い色の領域であるため、このトップフィールドに続くボトムフィールドのLine5の左端の画素の色差成分は青い色を示す値となる。したがって、これらの連続するフィールドの画像から最終的に得られた２つの画像を順番に表示させると、観察者には、青い領域中に、水平方向に赤と青の混ざった色の線が表示されるように見えることになり、画像の画質が劣化してしまう。
【０１２３】
これに対して、映像変換装置１１では、映像信号の映像形式が変換されてから、色差形式の変換が行われる。
【０１２４】
例えば、図２の左側に示したトップフィールドの画像における、Line5の図中、一番左端の画素を注目画素とし、その注目画素の色差成分を補間により求めて、映像信号の映像形式を変換することを考える。
【０１２５】
ここで、図２の各フィールドの画像におけるLine0からLine6までの領域は青い色の領域であり、Line7からLine10までの領域は赤い色の領域であるものとする。この場合、仮に注目画素の色差成分を注目画素の空間的近傍の画素のみを用いて補間するとしても、従来の場合と比べて画質の劣化は少ない。
【０１２６】
すなわち、注目画素の色差成分がLine1の左端の画素とLine9の左端の画素とから求められると、注目画素の色差成分は、従来における場合と同様に赤と青とが混ざった色を示す値となる。しかし、トップフィールドの画像における注目画素と、そのトップフィールドに時間的に連続するボトムフィールドの画像の画素とを比較すると、ボトムフィールドの画像における、注目画素よりも図中、下側の画素の色差成分は、全て赤い色を示す値となる。
【０１２７】
したがって、これらの連続するフィールドの画像から最終的に得られた２つの画像を表示させても、青い領域中に水平方向に赤と青の混ざった色の線が表示されるようなことはない。つまり、色差形式を変換してから映像形式を変換する場合と比べて、より画像の画質の劣化を防止することができる。
【０１２８】
なお、このように色差成分の劣化の少ないプログレッシブ形式の映像信号を用いて、その映像信号の色差形式を変換すれば、色差形式の変換による画質の劣化もより少なくなる。したがって、色差形式が４：２：０であり映像形式がインターレース形式である映像信号から、色差形式が４：２：２であり映像形式がプログレッシブ形式である映像信号を得る場合、最終的に、従来の方法と比べて、より高画質な映像信号を得ることができる。
【０１２９】
以上のように、映像信号の映像形式をプログレッシブ形式に変換してから色差形式を変換することで、画像の画質を向上させることができる。
【０１３０】
次に、図１４のフローチャートを参照して、図１３のステップＳ１２の処理に対応するＩＰ変換処理について説明する。
【０１３１】
ステップＳ４１において、輝度静止判定部８２は、供給されたフィールドＮおよびフィールド（Ｎ−２）の映像信号と、静止回数保持部８１に保持されている輝度静止回数とから、フィールド（Ｎ−１）の画像の輝度成分の静止判定を行う。
【０１３２】
例えば、図１５に示すように、フィールド（Ｎ−１）の画像上の画素Ｇ３１の輝度静止回数を求める場合、輝度静止判定部８２は、フィールドＮおよびフィールド（Ｎ−２）の画像における、画素Ｇ３１と同じ位置近傍の画素を用いて輝度静止回数を求める。
【０１３３】
なお、図１５において、横方向は時間を示しており、縦方向および奥行き方向はｙ方向およびｘ方向を示している。また、図中、実線の１つの円および四角形は、各フィールドの画像における輝度成分および色差成分を有する画素を表している。
【０１３４】
さらに、時刻ｔがＮ，Ｎ−１，Ｎ−２のそれぞれの位置は、フィールドＮ乃至フィールド（Ｎ−２）の位置を示しており、それらの時刻ｔの位置における円または四角形は、時刻ｔにより特定されるフィールドの画像上の画素を示している。
【０１３５】
まず、輝度静止判定部８２は、フィールドＮの画像における、画素Ｇ３１と同位相の画素Ｇ３２を中心とし、画素Ｇ３２と連続してｘ方向に隣接するいくつかの画素の輝度成分の値を用いて、画像の輝度成分に対してｘ方向にLPF（Low Pass Filter）処理を施す。
【０１３６】
図１５の例では、画素Ｇ３２と、その画素Ｇ３２にｘ方向に隣接する画素Ｇ３３および画素Ｇ３４とが用いられてLPF処理が行われている。なお、これらの画素Ｇ３２乃至画素Ｇ３４を用いたLPF処理によって得られた値をフィルタ値L-LPF(N)と呼ぶこととする。
【０１３７】
同様に、輝度静止判定部８２は、フィールド（Ｎ−２）の画像における、画素Ｇ３１と同位相の画素Ｇ３５を中心とし、画素Ｇ３５と連続してｘ方向に隣接するいくつかの画素の輝度成分の値を用いて、画像の輝度成分に対してｘ方向にLPF処理を施す。
【０１３８】
図１５の例では、画素Ｇ３５と、その画素Ｇ３５にｘ方向に隣接する画素Ｇ３６および画素Ｇ３７とが用いられてLPF処理が行われている。なお、これらの画素Ｇ３５乃至画素Ｇ３７を用いたLPF処理によって得られた値をフィルタ値L-LPF(N-2)と呼ぶこととする。
【０１３９】
このように、各フィールドの画像の輝度成分に対してLPF処理を施すことで、画像の輝度成分に含まれるノイズを除去し、輝度の静止判定、つまり画素Ｇ３１の輝度成分の動きの有無の判定精度を向上させることができる。
【０１４０】
輝度静止判定部８２は、フィールドＮのフィルタ値L-LPF(N)、およびフィールド（Ｎ−２）のフィルタ値L-LPF(N-2)を求めると、それらのフィルタ値の絶対値差分L-ABS(N-1)を算出する。
【０１４１】
次に、輝度静止判定部８２は、計算により得られた画素Ｇ３１の絶対値差分L-ABS(N-1)を評価するための閾値L-TH(N-1)を求める。この閾値L-TH(N-1)の値は、フィールド（Ｎ−１）よりも時間的に前の連続するフィールドの画像における、画素Ｇ３１と同じ位置にある画像上の画素が、どれくらいの時間だけ静止していたか（輝度成分が変化しなかったか）によって変化する。
【０１４２】
処理対象のフィールド（Ｎ−１）よりも時間的に２フィールド前、つまりフィールド（Ｎ−３）の画像における、画素Ｇ３１と同じ位置にある画素の輝度静止回数を、SL(N-3)であるとすると、静止回数保持部８１は、輝度静止回数SL(N-3)を保持している。
【０１４３】
輝度静止判定部８２は、静止回数保持部８１の輝度静止回数SL(N-3)と、予め保持している閾値テーブルとから、閾値L-TH(N-1)の値を定める。
【０１４４】
例えば、輝度静止判定部８２が保持している閾値テーブルは、輝度静止回数（輝度静止回数SL(N-3)）に対して、閾値L-TH(N-1)が図１６に示すように変化するテーブルとされる。なお、図１６において、縦軸は閾値L-TH(N-1)の値を示しており、横軸は輝度静止回数の値を示している。
【０１４５】
図１６の例では、輝度静止回数が初期値SL0である場合には、閾値L-TH(N-1)の値はTH-SL0とされ、輝度静止回数がSL1となるまでは、輝度静止回数に比例して閾値L-TH(N-1)の値が低下する。すなわち、輝度静止回数が増加するにつれて、閾値L-TH(N-1)の値は小さくなる。そして、輝度静止回数がSL1以上となると、閾値L-TH(N-1)の値は一定となり、その値はTH-SL1とされる。
【０１４６】
画素Ｇ３１の輝度成分の動きの有無の判定では、絶対値差分L-ABS(N-1)が閾値L-TH(N-1)以下である場合に画素Ｇ３１は静止しているとされ、絶対値差分L-ABS(N-1)が閾値L-TH(N-1)を超える場合に画素Ｇ３１は静止していないとされる。
【０１４７】
これは、絶対値差分L-ABS(N-1)が、画素Ｇ３１と同位相の画素Ｇ３２と画素Ｇ３５の差分の絶対値を示しており、その絶対値が小さければフィールドＮ乃至（Ｎ−２）において、画素Ｇ３１と同位相の画素の輝度成分はほとんど変化していないからである。
【０１４８】
このような閾値テーブルにより定まる閾値L-TH(N-1)を用いて、画素Ｇ３１の輝度成分の動きの有無を判定する場合、輝度静止回数が比較的小さいときには、輝度成分の動きの有無は、大きい値の閾値L-TH(N-1)により緩く評価される。つまり、過去のフィールドの画素Ｇ３１と同じ位相の画素が静止していると判定されなかったとき、またはその画素が静止してからあまり時間が経過していないときには、閾値L-TH(N-1)は比較的大きい値とされる。
【０１４９】
また、輝度静止回数が増加するにしたがって、より小さい値の閾値L-TH(N-1)が用いられ、画素Ｇ３１の輝度成分の動きの有無の判定が、より厳密に行われる。さらに輝度静止回数がSL1を超えると一定の大きさの閾値L-TH(N-1)により、画素Ｇ３１の輝度成分の動きの有無が判定される。これは、LPF処理により輝度成分からノイズ成分を除去しきれなかった場合にも、画素Ｇ３１の輝度成分が静止していると判定され続けるようにするためである。
【０１５０】
以上のようにして、閾値L-TH(N-1)が得られると、輝度静止判定部８２は、閾値L-TH(N-1)と絶対値差分L-ABS(N-1)とを比較して、画素Ｇ３１の輝度成分の動きの有無を判定する。
【０１５１】
そして、輝度静止判定部８２は、絶対値差分L-ABS(N-1)が閾値L-TH(N-1)以下である場合、画素Ｇ３１の輝度成分が静止しているとして、輝度静止回数SL(N-3)に１を加えた値を、フィールド（Ｎ−１）の画素Ｇ３１の輝度静止回数SL(N-1)とする。
【０１５２】
また、輝度静止判定部８２は、絶対値差分L-ABS(N-1)が閾値L-TH(N-1)を超える場合、画素Ｇ３１の輝度成分が静止していないとして、予め定められた初期値SL0を、フィールド（Ｎ−１）の画素Ｇ３１の輝度静止回数SL(N-1)とする。
【０１５３】
さらに、輝度静止判定部８２は、新たに求めた輝度静止回数SL(N-1)を静止回数保持部８１に供給し、画素Ｇ３１に相当する画素の輝度静止回数を更新させる。静止回数保持部８１は、これまで保持していた、画素Ｇ３１に相当する画素の輝度静止回数SL(N-3)を、供給された輝度静止回数SL(N-1)に書き換えることにより、輝度静止回数を更新する。
【０１５４】
このようにして、輝度静止判定部８２は、フィールド（Ｎ−１）の画像における、輝度の静止判定をすべき、すなわち輝度静止回数を求めるべき全ての画素について、輝度静止回数を求める。また、輝度静止判定部８２は、求めた各画素の輝度静止回数を、色差静止判定部８３および輝度フィールド補間部１１１に供給する。
【０１５５】
なお、輝度静止判定部８２が保持する閾値テーブルは、各画素の静止判定の判定精度を決めるものとなる。すなわち、閾値L-TH(N-1)が大きすぎると、画像上の輝度成分が動いている画素が静止していると誤判定され、逆に閾値L-TH(N-1)が小さすぎると、画像上の輝度成分が静止している画素が動いていると誤判定される。画素の静止判定の処理は、ＩＰ変換処理の処理性能を決めるのに非常に重要な処理であるため、一般的に静止判定の演算には高い計算精度が要求される。
【０１５６】
また、以上において説明した画素の輝度成分の静止判定の方法は、静止判定の一例であり、画素単位で輝度成分の静止回数が求まるのであれば、どのような方法であってもよい。
【０１５７】
図１４のフローチャートの説明に戻り、ステップＳ４１において輝度成分の静止判定が行われると、その後、処理はステップＳ４２に進む。
【０１５８】
ステップＳ４２において、色差静止判定部８３は、供給されたフィールドＮおよびフィールド（Ｎ−２）の映像信号と、輝度静止判定部８２から供給された輝度静止回数とから、フィールド（Ｎ−１）の画像の色差成分の静止判定を行う。
【０１５９】
例えば、図１７に示すように、フィールド（Ｎ−１）の画像上の画素Ｇ５１の色差静止回数を求める場合、色差静止判定部８３は、フィールドＮおよびフィールド（Ｎ−２）の画像における、画素Ｇ５１と同じ位置近傍の画素を用いて色差静止回数を求める。
【０１６０】
なお、図１７において横方向は時間を示しており、縦方向および奥行き方向はｙ方向およびｘ方向を示している。また、図中、実線で表される１つの円および四角形は、各フィールドの画像における輝度成分および色差成分を有する画素を示しており、点線で表される１つの円は、各フィールドの画像における輝度静止回数の求められた画素を示している。
【０１６１】
さらに、時刻ｔがＮ，Ｎ−１，Ｎ−２のそれぞれの位置は、フィールドＮ乃至フィールド（Ｎ−２）の位置を示しており、それらの時刻ｔの位置における円または四角形は、時刻ｔにより特定されるフィールドの画像上の画素を示している。
【０１６２】
まず、色差静止判定部８３は、フィールドＮの画像における、画素Ｇ５１と同じ位置にある画素Ｇ５２を中心とし、画素Ｇ５２と連続してｘ方向に隣接するいくつかの画素の色差成分の値を用いて、画像の色差成分に対してｘ方向にLPF処理を施す。
【０１６３】
図１７の例では、画素Ｇ５２と、その画素Ｇ５２にｘ方向に隣接する画素Ｇ５３および画素Ｇ５４とが用いられてLPF処理が行われている。なお、これらの画素Ｇ５２乃至画素Ｇ５４を用いたLPF処理によって得られた値をフィルタ値C-LPF(N)と呼ぶこととする。
【０１６４】
また、色差静止判定部８３は、フィールド（Ｎ−２）の画像における、画素Ｇ５１と同位相の画素Ｇ５５を中心とし、画素Ｇ５５と連続してｘ方向に隣接するいくつかの画素の色差成分の値を用いて、画像の色差成分に対してｘ方向にLPF処理を施す。
【０１６５】
図１７の例では、画素Ｇ５５と、その画素Ｇ５５にｘ方向に隣接する画素Ｇ５６および画素Ｇ５７とが用いられてLPF処理が行われている。なお、これらの画素Ｇ５５乃至画素Ｇ５７を用いたLPF処理により得られた値をフィルタ値C-LPF(N-2)と呼ぶこととする。
【０１６６】
このように、各フィールドの画像の色差成分に対してLPF処理を施すことで、画像の色差成分に含まれるノイズを除去し、色差の静止判定、つまり画素Ｇ５１の色差成分の動きの有無の判定精度を向上させることができる。
【０１６７】
色差静止判定部８３は、フィールドＮのフィルタ値C-LPF(N)、およびフィールド（Ｎ−２）のフィルタ値C-LPF(N-2)を求めると、それらのフィルタ値の絶対値差分C-ABS(N-1)を算出する。
【０１６８】
次に、色差静止判定部８３は、計算により得られた画素Ｇ５１の絶対値差分C-ABS(N-1)を評価するための閾値C-TH(N-1)を求める。この閾値C-TH(N-1)の値は、画素Ｇ５１の色差静止回数SC(N-1)と、色差静止判定部８３が予め保持している閾値テーブルとから、輝度静止回数の閾値L-TH(N-1)と同様の処理により求められる。
【０１６９】
すなわち、色差静止判定部８３は、画素Ｇ５１の空間的近傍にある画素Ｇ５８および画素Ｇ５９、並びに画素Ｇ５１の時間的近傍にある画素Ｇ６０のそれぞれの輝度静止回数のうち、最も小さい輝度静止回数を画素Ｇ５１の色差静止回数SC(N-1)とする。
【０１７０】
ここで、画素Ｇ５８および画素Ｇ５９は、フィールド（Ｎ−１）の画像上における画素Ｇ５１近傍に位置し、画素Ｇ５１とｘ方向の位置が等しい画素である。つまり、画素Ｇ５１、画素Ｇ５８、および画素Ｇ５９は、ｙ方向に１列に並ぶように位置している。また、画素Ｇ６０は、画素Ｇ５１とｘ方向の位置の等しいフィールド（Ｎ−２）の画像上の画素である。
【０１７１】
このように、画素Ｇ５１近傍の画素の輝度静止回数のうちの最も小さいものが、色差静止回数SC(N-1)とされるのは、画像の絵柄として輝度成分に変動がある場合、色差成分も変動することが非常に多いためである。
【０１７２】
つまり、輝度成分と色差成分には相関が成り立つという仮定に基づいて、輝度静止回数が近似的に色差静止回数とされる。また、画素Ｇ５１近傍の１つの画素の輝度成分が静止していない場合、例え、その画素よりも画素Ｇ５１に近い他の画素の輝度成分が静止していたとしても、画素Ｇ５１が輝度成分の動いている画素の影響受け、画素Ｇ５１の色差成分が静止していないこともある。
【０１７３】
そこで、画素Ｇ５１から画素Ｇ５８乃至画素Ｇ６０のそれぞれまでの距離は異なるが、それらの画素が画素Ｇ５１からの距離によらず同等に扱われ、画素Ｇ５８乃至画素Ｇ６０のうちの最も少ない輝度静止回数が色差静止回数とされる。
【０１７４】
さらに、色差静止判定部８３は、画素Ｇ５１の色差静止回数SC(N-1)を求めると、その色差静止回数SC(N-1)と、予め保持している閾値テーブルとから閾値C-TH(N-1)を求める。
【０１７５】
例えば、色差静止判定部８３が保持している閾値テーブルは、色差静止回数（色差静止回数SC(N-1)）に対して、閾値C-TH(N-1)が図１８に示すように変化するテーブルとされる。なお、図１８において、縦軸は閾値C-TH(N-1)の値を示しており、横軸は色差静止回数の値を示している。
【０１７６】
図１８の例では、色差静止回数が初期値SC0からSC1未満のときには、閾値C-TH(N-1)の値はTH-SC0とされ、色差静止回数がSC1のときは、閾値C-TH(N-1)の値はTH-SC1とされる。そして、色差静止回数がSC1からSC2となるまでは、色差静止回数に比例して閾値C-TH(N-1)の値が低下する。すなわち、色差静止回数が増加するにつれて、閾値C-TH(N-1)の値は小さくなる。さらに、色差静止回数がSC2以上となると、閾値C-TH(N-1)の値は一定となり、その値はTH-SC2とされる。
【０１７７】
画素Ｇ５１の色差成分の動きの有無の判定では、絶対値差分C-ABS(N-1)が閾値C-TH(N-1)以下である場合、画素Ｇ５１は静止しているとされ、絶対値差分C-ABS(N-1)が閾値C-TH(N-1)を超える場合に画素Ｇ５１は静止していないとされる。
【０１７８】
色差静止判定部８３は、絶対値差分C-ABS(N-1)が閾値C-TH(N-1)以下である場合には、求めた色差静止回数SC(N-1)を、そのまま最終的な画素Ｇ５１の色差静止回数として、色差フィールド補間部１１２に供給する。また、色差静止判定部８３は絶対値差分C-ABS(N-1)が閾値C-TH(N-1)を超える場合、画素Ｇ５１の色差成分に動きがあったので、求めた色差静止回数ではなく、画素Ｇ５１の最終的な色差静止回数SC(N-1)として「０」を色差フィールド補間部１１２に供給する。
【０１７９】
このように、絶対値差分C-ABS(N-1)と閾値C-TH(N-1)とを比較して画素の色差成分の動きの有無を判定するのは、以下のような理由からである。つまり、絶対値差分C-ABS(N-1)が、画素Ｇ５１と同位相の画素Ｇ５２と画素Ｇ５５の差分の絶対値を示しており、その絶対値が小さければフィールドＮ乃至（Ｎ−２）において、画素Ｇ５１と同じ位相の画素の色差成分は変化していないからである。
【０１８０】
閾値テーブルにより定まる閾値C-TH(N-1)を用いて、画素Ｇ５１の色差成分の動きの有無を判定する場合、色差静止回数が比較的小さいときには、小さい値の閾値C-TH(N-1)により厳密に判定が行われる。これは、色差静止回数が充分な回数に達していない場合には、閾値を用いた画素Ｇ５１の色差成分の動きの有無の判定結果は、信頼性が低いとすることを意味している。
【０１８１】
なお、色差静止回数は、輝度静止回数からフィールドごとに計算されて求められるため、初期の閾値C-TH(N-1)が最小値であったとしても、処理対象の画素の色差成分が継続して静止していれば、その色差静止回数は時間とともに増加する。
【０１８２】
以上のようにして、閾値C-TH(N-1)が得られると、色差静止判定部８３は、閾値C-TH(N-1)と絶対値差分C-ABS(N-1)とを比較して、画素Ｇ５１の色差成分の動きの有無を判定する。なお、より詳細には、色差静止判定部８３は、画素Ｇ５１の色差静止回数として、Ｃｒ成分の色差静止回数およびＣｂ成分の色差静止回数を個別に求める。この場合、絶対値差分C-ABS(N-1)は、色差成分（Ｃｒ成分およびＣｂ成分）ごとに求められる。
【０１８３】
また、画素Ｇ５１の色差静止回数と同様に、色差静止判定部８３は、フィールド（Ｎ−１）の画像における、色差静止回数を求めるべき全ての画素について、色差静止回数を求め、色差フィールド補間部１１２に供給する。
【０１８４】
このように、輝度静止回数を用いて、フィールドごとに色差静止回数を求めることにより、色差静止回数を保持しておくメモリを削減することができるとともに、色差静止回数の計算コストを削減することができる。また、色差成分よりも画像に多く含まれ、かつより変動の大きい輝度成分を用いて得られた輝度静止回数を、色差静止回数の算出に用いることで、色差静止回数の算出精度を向上させることができる。
【０１８５】
なお、以上においては、輝度静止回数を用いて色差静止回数を求めると説明したが、輝度静止回数を用いずに、輝度静止回数と同様の処理等により色差静止回数を求めるようにしてもよい。
【０１８６】
図１４のフローチャートの説明に戻り、ステップＳ４２において色差成分の静止判定が行われると、その後、処理はステップＳ４３に進む。
【０１８７】
ステップＳ４３において、輝度フィールド補間部１１１は、フィールドＮおよびフィールド（Ｎ−２）の映像信号と、輝度静止判定部８２からの輝度静止回数とを用いて、フレームバッファ２１からのフィールド（Ｎ−１）の映像信号の輝度成分の補間を行う。
【０１８８】
例えば、図１９に示すように、フィールド（Ｎ−１）の画像上の画素Ｇ３１の輝度成分を補間する場合、輝度フィールド補間部１１１は、画素Ｇ３１の空間的または時間的に近傍にあり、輝度成分を有する画素を用いて補間を行う。
【０１８９】
なお、図１９において、図１５における場合と同一の部分には、同じ符号を付してあり、その説明は適宜、省略する。また、図１９では、横方向は時間を示しており、縦方向および奥行き方向はｙ方向およびｘ方向を示している。また、図中、実線の１つの円および四角形は、各フィールドの画像における輝度成分および色差成分を有する画素を表している。
【０１９０】
さらに、時刻ｔがＮ，Ｎ−１，Ｎ−２のそれぞれの位置は、フィールドＮ乃至フィールド（Ｎ−２）の位置を示しており、それらの時刻ｔの位置における円または四角形は、時刻ｔにより特定されるフィールドの画像上の画素を示している。
【０１９１】
まず、輝度フィールド補間部１１１は、フィールド（Ｎ−１）の画像上における輝度成分を有する画素のうち、画素Ｇ３１にｙ方向に隣接する画素Ｇ８１および画素Ｇ８２の輝度成分の平均値LII(N-1)を求める。同様に、輝度フィールド補間部１１１は、フィールド（Ｎ−１）に対して時間的に前後するフィールドの画像における、画素Ｇ３１と同じ位相の画素Ｇ３２および画素Ｇ３５の輝度成分の平均値LIT(N-1)を求める。
【０１９２】
そして、輝度フィールド補間部１１１は、これらの平均値LII(N-1)および平均値LIT(N-1)を、画素Ｇ３１の輝度静止回数から定まる比率RL(N-1)で混ぜ合わせることにより、画素Ｇ３１の補間された輝度成分の値である輝度補間値を算出する。すなわち、平均値LIT(N-1)にRL(N-1)を乗算して得られる値と、平均値LII(N-1)に（１−RL(N-1)）を乗算して得られる値との和が画素Ｇ３１の輝度補間値とされる。
【０１９３】
この比率RL(N-1)は、平均値LII(N-1)に対する平均値LIT(N-1)の混ぜ合わせの比率を示すものであり、輝度補間値には、比率RL(N-1)が高いほど平均値LIT(N-1)の成分がより多く含まれ、比率RL(N-1)が低いほど平均値LII(N-1)の成分がより多く含まれることになる。
【０１９４】
また、比率RL(N-1)は、輝度フィールド補間部１１１が予め保持している比率テーブルと、画素Ｇ３１の輝度静止回数とから定められる。
【０１９５】
例えば、輝度フィールド補間部１１１が保持している比率テーブルは、輝度静止回数に対して、比率RL(N-1)が図２０に示すように変化するテーブルとされる。なお、図２０において、縦軸は比率RL(N-1)の値を示しており、横軸は輝度静止回数の値を示している。
【０１９６】
図２０の例では、輝度静止回数が初期値SL0である場合には、比率RL(N-1)の値はRL-SL0とされ、輝度静止回数がSL1となるまでは、輝度静止回数に比例して比率RL(N-1)の値が増加する。すなわち、輝度静止回数が増加するにつれて、比率RL(N-1)の値は大きくなる。そして、輝度静止回数がSL1以上となると、比率RL(N-1)の値は一定となり、その値はRL-SL1とされる。
【０１９７】
画素Ｇ３１の輝度静止回数が少ない場合、画素Ｇ３１の輝度成分は動いているため、画素Ｇ３１の時間的に近傍に位置する画素の輝度成分よりも、画素Ｇ３１の空間的に近傍に位置する画素の輝度成分の方が、より画素Ｇ３１の輝度成分に近いと推定される。逆に、画素Ｇ３１の輝度静止回数が多い場合、画素Ｇ３１の輝度成分は静止しているため、画素Ｇ３１の時間的に近傍に位置する画素の輝度成分の方が、画素Ｇ３１の空間的に近傍に位置する画素の輝度成分よりも、より画素Ｇ３１の輝度成分に近いと推定される。
【０１９８】
そこで、画素Ｇ３１の輝度静止回数が少ない場合には、より比率RL(N-1)が小さく、輝度静止回数が多くなるほど比率RL(N-1)がより大きくなるように、予め比率テーブルが定められている。
【０１９９】
輝度フィールド補間部１１１は、このような比率テーブルを参照して、輝度静止回数により定まる値を比率RL(N-1)の値とし、画素Ｇ３１の輝度補間値を求める。同様にして、輝度フィールド補間部１１１は、フィールド（Ｎ−１）の画像における、輝度成分を求めるべき全ての画素について、輝度補間値を求める。
【０２００】
これにより、輝度成分の補間されたフィールド（Ｎ−１）の映像信号が得られる。輝度フィールド補間部１１１は、得られた映像信号を色差フィールド補間部１１２に供給する。
【０２０１】
図１４のフローチャートの説明に戻り、ステップＳ４３において輝度成分の補間が行われると、その後、処理はステップＳ４４に進む。
【０２０２】
ステップＳ４４において、色差フィールド補間部１１２は、フィールドＮおよびフィールド（Ｎ−２）の映像信号と、色差静止判定部８３からの色差静止回数とを用いて、輝度フィールド補間部１１１からのフィールド（Ｎ−１）の映像信号の色差成分の補間を行う。
【０２０３】
例えば、図２１に示すように、フィールド（Ｎ−１）の画像上の画素Ｇ５１の色差成分を補間する場合、色差フィールド補間部１１２は、画素Ｇ５１の空間的または時間的に近傍にある、色差成分を有する画素を用いて補間を行う。
【０２０４】
なお、図２１において、図１７における場合と同一の部分には、同じ符号を付してあり、その説明は適宜、省略する。また、図２１では、横方向は時間を示しており、縦方向および奥行き方向はｙ方向およびｘ方向を示している。また、図中、実線で表される１つの円および四角形は、各フィールドの画像における輝度成分および色差成分を有する画素を示している。
【０２０５】
さらに、時刻ｔがＮ，Ｎ−１，Ｎ−２のそれぞれの位置は、フィールドＮ乃至フィールド（Ｎ−２）の位置を示しており、それらの時刻ｔの位置における円または四角形は、時刻ｔにより特定されるフィールドの画像上の画素を示している。
【０２０６】
まず、色差フィールド補間部１１２は、フィールド（Ｎ−１）の画像上における色差成分を有する画素のうち、画素Ｇ５１にｙ方向に隣接する画素Ｇ１１１および画素Ｇ１１２の色差成分の平均値CII(N-1)を求める。同様に、色差フィールド補間部１１２は、フィールド（Ｎ−１）に対して時間的に前後するフィールドの画像における、画素Ｇ５１と同じ位相の画素Ｇ５２および画素Ｇ５５の色差成分の平均値CIT(N-1)を求める。
【０２０７】
そして、色差フィールド補間部１１２は、これらの平均値CII(N-1)および平均値CIT(N-1)を、画素Ｇ５１の色差静止回数から定まる比率RC(N-1)で混ぜ合わせることにより、画素Ｇ５１の補間された色差成分の値である色差補間値を算出する。すなわち、平均値CIT(N-1)にRC(N-1)を乗算して得られる値と、平均値CII(N-1)に（１−RC(N-1)）を乗算して得られる値との和が画素Ｇ５１の色差補間値とされる。
【０２０８】
この比率RC(N-1)は、平均値CII(N-1)に対する平均値CIT(N-1)の混ぜ合わせの比率を示すものである。色差補間値には、比率RC(N-1)が高いほど平均値CIT(N-1)の成分がより多く含まれ、比率RC(N-1)が低いほど平均値CII(N-1)の成分がより多く含まれることになる。
【０２０９】
また、比率RC(N-1)は、色差フィールド補間部１１２が予め保持している比率テーブルと、画素Ｇ５１の色差静止回数とから定められる。
【０２１０】
例えば、色差フィールド補間部１１２が保持している比率テーブルは、色差静止回数に対して、比率RC(N-1)が図２２に示すように変化するテーブルとされる。なお、図２２において、縦軸は比率RC(N-1)の値を示しており、横軸は色差静止回数の値を示している。
【０２１１】
図２２の例では、色差静止回数が初期値SC0（例えば０）である場合には、比率RC(N-1)の値はRC-SC0とされ、色差静止回数がSC1となるまでは、色差静止回数に比例して比率RC(N-1)の値が増加する。すなわち、色差静止回数が増加するにつれて、比率RC(N-1)の値は大きくなる。そして、色差静止回数がSC1以上となると、比率RC(N-1)の値は一定となり、その値はRC-SC1とされる。
【０２１２】
画素Ｇ５１の色差静止回数が少ない場合、画素Ｇ５１の色差成分は動いているため、画素Ｇ５１の時間的に近傍に位置する画素の色差成分よりも、画素Ｇ５１の空間的に近傍に位置する画素の色差成分の方が、より画素Ｇ５１の色差成分に近いと推定される。逆に、画素Ｇ５１の色差静止回数が多い場合、画素Ｇ５１の色差成分は静止しているため、画素Ｇ５１の時間的に近傍に位置する画素の色差成分の方が、画素Ｇ５１の空間的に近傍に位置する画素の色差成分よりも、より画素Ｇ５１の色差成分に近いと推定される。
【０２１３】
そこで、画素Ｇ５１の色差静止回数が少ない場合には、より比率RC(N-1)が小さく、色差静止回数が多くなるほど比率RC(N-1)がより大きくなるように、予め比率テーブルが定められている。
【０２１４】
色差フィールド補間部１１２は、このような比率テーブルを参照して、色差静止回数により定まる値を比率RC(N-1)の値とし、画素Ｇ５１の色差補間値を求める。なお、より詳細には、色差フィールド補間部１１２は、画素Ｇ５１の色差成分として、Ｃｒ成分およびＣｂ成分を個別に求める。この場合、平均値CII(N-1)、平均値CIT(N-1)、および比率RC(N-1)は、色差成分（Ｃｒ成分およびＣｂ成分）ごとに求められる。
【０２１５】
また、同様にして、色差フィールド補間部１１２は、フィールド（Ｎ−１）の画像における、色差成分を求めるべき全ての画素について、色差補間値を求める。
【０２１６】
このようにして色差成分が補間されると、映像形式がプログレッシブ形式に変換されたフィールド（Ｎ−１）の映像信号が得られる。色差フィールド補間部１１２は、得られた映像信号を映像選択部２５に供給する。
【０２１７】
プログレッシブ形式の映像信号が映像選択部２５に供給されると、図１４のＩＰ変換処理は終了し、その後、処理は、図１３のステップＳ１３に進む。
【０２１８】
以上のようにして、ＩＰ変換部２４は、処理対象のフィールドの画像における、輝度成分および色差成分の静止回数を求める。そして、ＩＰ変換部２４は、求めた静止回数に応じて、注目する画素の時間的または空間的に近傍に位置する画素を用いて輝度成分および色差成分を補間し、映像信号の映像形式をインターレース形式からプログレッシブ形式に変換する。
【０２１９】
このように、ＩＰ変換処理において、画像の画素の色差静止回数に応じて、処理対象の画素の空間的または時間的に近傍の画素を用いて補間処理を行うことで、より精度よく画素の色差成分を推定することができる。これにより、色のフリッカーやジャギー、クロマアップサンプリングエラー等の発生を抑制し、画像の画質を向上させることができる。
【０２２０】
つまり、上述のように、色差形式の変換前にＩＰ変換処理を行えば、画質の劣化を抑制することができるが、ＩＰ変換処理において、各成分の静止回数に応じて空間的または時間的に近傍の画素を用いた補間処理を行うことで、さらに画質の劣化を抑制できる。
【０２２１】
また、輝度成分と色差成分との相関関係を利用し、処理対象の画素近傍の画素の輝度静止回数を用いて処理対象の画素の色差静止回数を求めるようにしたので、色差静止回数を求めるのに必要となるメモリの記憶容量を削減することができる。
【０２２２】
さらに、輝度成分と色差成分との相関関係を利用し、輝度静止回数を用いて色差静止回数を求めることで、より精度よく、かつより簡単な計算で色差静止回数を得ることができる。すなわち、輝度成分は色差成分と比べて変化が大きく、画素の輝度成分が静止しているか否かの判定を精度よく行うことができるので、輝度静止回数を利用して色差静止回数を求めれば、色差静止回数の算出精度を向上させることができる。
【０２２３】
次に、図２３のフローチャートを参照して、図１３のステップＳ１４の処理に対応する色差形式変換処理について説明する。
【０２２４】
ステップＳ７１において、類似判定部１４１は、色差フィールド補間部１１２からの映像信号を用いて類似判定処理を行い、映像信号に基づく画像の画素ごとに類似方向を求める。そして、類似判定部１４１は、求めた類似方向を色差位相補間部１４２に供給する。
【０２２５】
例えば、図２４に示すように、供給されたフィールド（Ｎ−１）の映像信号に基づく画像上の画素Ｇ１４１の類似方向を求めることを考える。なお、図２４において、縦方向および横方向はｙ方向およびｘ方向を示しており、１つの円および四角形（但し、画素Ｇ１４１を除く）は、画像における輝度成分および色差成分を有する画素を示している。
【０２２６】
画素Ｇ１４１の類似方向の算出には、画素Ｇ１４１にｙ方向に隣接する画素Ｇ１４２を含み、その画素Ｇ１４２を中心としてｘ方向に連続して並べられたいくつかの画素が用いられる。例えば、図２４の例では、画素Ｇ１４２乃至画素Ｇ１４６である。また、類似方向の算出には、画素Ｇ１４１にｙ方向に隣接する画素Ｇ１４７を含み、その画素Ｇ１４７を中心としてｘ方向に連続して並べられたいくつかの画素も用いられる。例えば、図２４の例では、画素Ｇ１４７乃至画素Ｇ１５１である。
【０２２７】
つまり、類似判定部１４１は、画素Ｇ１４１の空間的近傍に位置する、これらの画素Ｇ１４２乃至画素Ｇ１５１を用いて画素Ｇ１４１の類似方向を求める。
【０２２８】
具体的には、類似判定部１４１は、画素Ｇ１４６と画素Ｇ１４８の輝度成分の絶対値差分AL(5-1)、画素Ｇ１４５と画素Ｇ１４９の輝度成分の絶対値差分AL(4-2)、および画素Ｇ１４２と画素Ｇ１４７の輝度成分の絶対値差分AL(3-3)を求める。また、類似判定部１４１は、画素Ｇ１４４と画素Ｇ１５０の輝度成分の絶対値差分AL(2-4)、および画素Ｇ１４３と画素Ｇ１５１の輝度成分の絶対値差分AL(1-5)を求める。
【０２２９】
つまり、画素Ｇ１４１の近傍に位置し、輝度成分を有する画素Ｇ１４２乃至画素Ｇ１５１のなかから、それらの画素のうちの２つの画素と、画素Ｇ１４１とが直線上に並ぶような２つの画素が選択され、選択された２つの画素の輝度成分の絶対値差分が求められる。
【０２３０】
各画素の組みの絶対値差分が求められると、類似判定部１４１は、それらの絶対値差分AL(5-1)乃至絶対値差分AL(1-5)のうちの最も値の小さい絶対値差分を選択し、選択した絶対値差分を求めるのに用いた２つの画素を結ぶ直線の方向を類似方向とする。
【０２３１】
例えば、絶対値差分AL(5-1)が最も小さい絶対値差分である場合、画素Ｇ１４６と画素Ｇ１４８とを示す情報が、類似方向を示す情報とされる。この場合、類似方向は、画素Ｇ１４６と画素Ｇ１４８とを結ぶ直線と平行な方向である。
【０２３２】
この類似方向は、画素Ｇ１４１近傍において最も輝度成分の変化の少ない方向、つまり互いに類似する画素が並ぶ方向である。換言すれば、画素Ｇ１４１近傍において、画素Ｇ１４１と最も類似する画素が並んでいる方向である。類似方向を求めるために輝度成分が用いられるのは、輝度の特徴として、輝度と色差とはある程度相関関係を有しており、色差と比べて輝度の方がより大きく変化するため、より確実に画素同士の類似の度合いを検出できるからである。
【０２３３】
図２３のフローチャートの説明に戻り、類似方向が求められると処理はステップＳ７１からステップＳ７２に進む。
【０２３４】
ステップＳ７２において、色差位相補間部１４２は、類似判定部１４１からの類似方向を用いて、色差フィールド補間部１１２から供給された映像信号に基づく画像の色差成分の補間を行う。
【０２３５】
例えば、図２５に示すように、供給されたフィールド（Ｎ−１）の映像信号に基づく画像上の画素Ｇ１４２および画素Ｇ１４７の色差成分を補間により求めることを考える。なお、図２５において、図２４における場合と対応する部分には同一の符号を付してあり、その説明は適宜、省略する。
【０２３６】
まず、色差位相補間部１４２は、画素Ｇ１４１近傍に位置する画素のうち、供給された類似方向により特定される２つの画素の色差成分の平均値を求めて、その平均値を画素Ｇ１４１の色差成分の値である色差値C0とする。
【０２３７】
この色差値C0の算出に用いられる２つの画素は、類似方向により示される２つの画素と、画素Ｇ１４１とを結ぶ直線上に位置し、かつ色差成分を有し、類似方向により示される画素のそれぞれに最も近い位置にある画素のそれぞれとされる。換言すれば、画素Ｇ１４１の色差値C0は、画素Ｇ１４１を含み、互いに類似する画素が並ぶ画素の列上において、画素Ｇ１４１近傍に位置する２つの画素の色差成分の平均値である。
【０２３８】
具体的には、色差値C0の算出に用いられる画素Ｇ１４１近傍の画素は、画素Ｇ１８１乃至画素Ｇ１９０のなかから選択される。画素Ｇ１８１乃至画素Ｇ１８５は、ｘ方向に連続して並ぶ画素であり、それらの画素の中心に位置する画素Ｇ１８３は、画素Ｇ１４２にｙ方向に隣接している。また、画素Ｇ１８６乃至画素Ｇ１９０は、ｘ方向に連続して並ぶ画素であり、それらの画素の中心に位置する画素Ｇ１８８は、画素Ｇ１４７にｙ方向に隣接している。
【０２３９】
例えば、類似方向、より詳細には類似方向を示す情報が、画素Ｇ１４６および画素Ｇ１４８を示している場合、色差位相補間部１４２は、画素Ｇ１８５および画素Ｇ１８６の色差成分の平均値を、画素Ｇ１４１の色差値C0とする。ここで、画素Ｇ１４１、画素Ｇ１４６、画素Ｇ１４８、画素Ｇ１８５、および画素Ｇ１８６は、一直線上に並んでいる。
【０２４０】
また、類似方向が画素Ｇ１４５および画素Ｇ１４９を示している場合、画素Ｇ１８４および画素Ｇ１８７の色差成分の平均値が色差値C0とされる。また、類似方向が画素Ｇ１４２および画素Ｇ１４７を示している場合、画素Ｇ１８３および画素Ｇ１８８の色差成分の平均値が色差値C0とされる。
【０２４１】
同様に、類似方向が画素Ｇ１４４および画素Ｇ１５０を示している場合、画素Ｇ１８２および画素Ｇ１８９の色差成分の平均値が色差値C0とされる。また、類似方向が画素Ｇ１４３および画素Ｇ１５１を示している場合、画素Ｇ１８１および画素Ｇ１９０の色差成分の平均値が色差値C0とされる。
【０２４２】
このようにして画素Ｇ１４１の色差値C0が求められると、色差位相補間部１４２は、この色差値C0を用いて画素Ｇ１４２の色差成分の補間値である色差補間値を求める。
【０２４３】
すなわち色差位相補間部１４２は、求めた画素Ｇ１４１の色差値C0、および画素Ｇ１８３の色差成分の平均値CD(1)を求める。
【０２４４】
また、色差位相補間部１４２は、画素Ｇ１８３および画素Ｇ１８８の色差成分から、画素Ｇ１４２に相当する位相における色差成分の値である色差値CL(1)を求める。例えば、画素Ｇ１８３から画素Ｇ１４２までの距離は１画素であり、画素Ｇ１８８から画素Ｇ１４２までの距離は３画素であるので、それらの距離に応じた比率で画素Ｇ１８３および画素Ｇ１８８の色差成分が足し合わされる。具体的には、画素Ｇ１８３の色差成分に（３／４）を乗算して得られる値と、画素Ｇ１８８の色差成分に（１／４）を乗算して得られる値とが足し合わされて色差値CL(1)とされる。
【０２４５】
さらに、色差位相補間部１４２は、画素Ｇ１４１の色差値C0と、画素Ｇ１８３の色差成分との絶対値差分CA(1)を求め、求められた絶対値差分CA(1)、および予め保持している比率テーブルを用いて比率RDLを求める。この比率RDLは、平均値CD(1)に対する色差値CL(1)の混ぜ合わせの比率を示すものであり、平均値CD(1)に（１−RDL）を乗算して得られる値と、色差値CL(1)にRDLを乗算して得られる値との和が画素Ｇ１４２の色差成分の補間値である色差補間値とされる。
【０２４６】
例えば、色差位相補間部１４２が保持している比率テーブルは、絶対値差分CA(1)に対して、比率RDLが図２６に示すように変化するテーブルとされる。なお、図２６において、縦軸は比率RDLの値を示しており、横軸は絶対値差分の値を示している。
【０２４７】
図２６の例では、絶対値差分がCA0以下である場合には、比率RDLの値はRDL0とされ、絶対値差分がCA0からCA1までの間は、絶対値差分に比例して比率RDLの値が増加する。すなわち、絶対値差分が増加するにつれて、比率RDLの値は大きくなる。そして、絶対値差分がCA1以上となると比率RDLの値は一定となり、その値はRDL1とされる。
【０２４８】
色差位相補間部１４２は、保持している比率テーブルと、絶対値差分CA(1)とから比率RDLを求めると、求めた比率RDLと、平均値CD(1)および色差値CL(1)とから画素Ｇ１４２の色差補間値を求める。
【０２４９】
図２６に示した比率テーブルによれば、絶対値差分CA(1)が小さいほど、つまり画素Ｇ１４１近傍におけるｙ方向の色差成分の勾配が小さいほど、比率RDLは低くなり、画素Ｇ１４２の色差補間値には平均値CD(1)の成分がより多く含まれることになる。これは、ｙ方向の色差成分の勾配が小さければ色差成分の変化も小さいため、画素Ｇ１４２の色差成分の値は、ｙ方向に隣接する画素Ｇ１８３および画素Ｇ１４１に近い値になると推定されるためである。
【０２５０】
逆に、比率テーブルでは、絶対値差分CA(1)が大きいほど、つまり画素Ｇ１４１近傍におけるｙ方向の色差成分の勾配が大きいほど、比率RDLは高くなり、画素Ｇ１４２の色差補間値には色差値CL(1)の成分がより多く含まれることになる。これは、ｙ方向の色差成分の勾配が大きければ色差成分の変化も大きいため、画素Ｇ１４２に隣接する画素だけを用いるよりも、画素Ｇ１４２に隣接する画素１８３と、画素Ｇ１４２からある程度離れた位置の画素Ｇ１８８とを用いた方が、より精度よく画素Ｇ１４２の色差補間値を予測することができるからである。
【０２５１】
このようにして、画素Ｇ１４２の色差補間値が求められると、色差位相補間部１４２は、画素Ｇ１４２における場合と同様の処理を行って、画素Ｇ１４７の色差成分の補間値である色差補間値を求める。
【０２５２】
すなわち、色差位相補間部１４２は、求めた画素Ｇ１４１の色差値C0、および画素Ｇ１８８の色差成分の平均値CD(2)を求める。
【０２５３】
また、色差位相補間部１４２は、画素Ｇ１８３および画素Ｇ１８８の色差成分から、画素Ｇ１４７に相当する位相における色差成分の値である色差値CL(2)を求める。例えば、色差値CL(1)における場合と同様に、画素Ｇ１８３から画素Ｇ１４７までの距離と、画素Ｇ１８８から画素Ｇ１４７までの距離とに応じた係数が、それぞれ画素Ｇ１８３および画素Ｇ１８８の色差成分に乗算される。そして、係数の乗算された画素Ｇ１８３および画素Ｇ１８８の色差成分の和が色差値CL(2)とされる。
【０２５４】
さらに、色差位相補間部１４２は、画素Ｇ１４１の色差値C0と、画素Ｇ１８８の色差成分との絶対値差分CA(2)を求め、求められた絶対値差分CA(2)、および予め保持している図２６の比率テーブルを用いて比率RDLを求める。
【０２５５】
そして、色差位相補間部１４２は、求めた比率RDLと、平均値CD(2)および色差値CL(2)とから画素Ｇ１４７の色差補間値を求める。すなわち、平均値CD(2)に（１−RDL）を乗算して得られる値と、色差値CL(2)にRDLを乗算して得られる値との和が画素Ｇ１４７の色差補間値とされる。
【０２５６】
以上のようにして求めた画素Ｇ１４２および画素Ｇ１４７の色差補間値は、例えば図４における、Line0およびLine2の図４中、左端の画素のそれぞれの色差成分の値に相当する。なお、より詳細には、色差位相補間部１４２は、画素Ｇ１４２および画素Ｇ１４７の色差補間値として、Ｃｒ成分およびＣｂ成分を個別に求める。
【０２５７】
また、同様にして、色差位相補間部１４２は、フィールド（Ｎ−１）の画像における、色差成分を求めるべき全ての画素について、色差補間値を求める。
【０２５８】
このようにして色差成分が補間されると、色差形式が４：２：２であり、映像形式がプログレッシブ形式であるフィールド（Ｎ−１）の映像信号が得られる。色差位相補間部１４２が、得られた映像信号を出力すると、色差形式変換処理は終了し、処理は図１３のステップＳ１５に進む。
【０２５９】
このようにして、色差形式変換部２６は、プログレッシブ形式の映像信号を処理対象として類似判定を行い、その類似判定の結果を用いて色差成分を補間することで、映像信号の色差形式を４：２：０から４：２：２に変換する。
【０２６０】
類似判定の結果を用いて色差成分の補間を行うことは、画素が有する色差の特徴に応じて補間に用いるフィルタを選択することと等価である。このようにフィルタを可変にし、色差の特徴に応じた補間処理を行うことで、より精度よく色差成分を推定することができ、その結果、従来、映像信号の色差形式を変換する際に発生するジャギーや解像度感の劣化を抑制することができる。したがって、映像信号に基づく画像の画質を向上させることができる。また、このようにして得られた劣化の少ない映像信号に対して、後段において高画質化の処理等を施せば、より画像の画質を向上させることができる。
【０２６１】
さらに、フィルタを選択するための色差の特徴、すなわち画素の類似方向を、色差成分よりも変化が大きく、画素の特徴の検出精度の高い輝度成分を用いて求めるようにしたので、より精度よく各画素の色差の特徴を推定することができる。これにより、各画素の色差成分の補間精度を向上させて偽色やノイズの発生を抑制し、画質を向上させることができる。
【０２６２】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０２６３】
図２７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２６４】
コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【０２６５】
バス２０４には、さらに、入出力インターフェース２０５が接続されている。入出力インターフェース２０５には、キーボード、マウス、マイクロホンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７、ハードディスクや不揮発性のメモリなどよりなる記録部２０８、ネットワークインターフェースなどよりなる通信部２０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１１を駆動するドライブ２１０が接続されている。
【０２６６】
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記録部２０８に記録されているプログラムを、入出力インターフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０２６７】
コンピュータ（CPU２０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０２６８】
そして、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インターフェース２０５を介して、記録部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記録部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記録部２０８に、あらかじめインストールしておくことができる。
【０２６９】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２７０】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０２７１】
【図１】本発明を適用した映像変換装置の一実施の形態の構成例を示す図である。
【図２】インターレース形式の画像について説明する図である。
【図３】プログレッシブ形式の画像について説明する図である。
【図４】色差形式が４：２：２である画像について説明する図である。
【図５】ＩＰ変換部の構成例を示す図である。
【図６】入力される各フィールドの画像の例を示す図である。
【図７】輝度静止回数および色差静止回数について説明する図である。
【図８】輝度静止回数および色差静止回数の算出について説明する図である。
【図９】静止判定部の構成例を示す図である。
【図１０】フィールド補間部の構成例を示す図である。
【図１１】色差形式変換部の構成例を示す図である。
【図１２】類似方向について説明する図である。
【図１３】映像変換処理を説明するフローチャートである。
【図１４】ＩＰ変換処理を説明するフローチャートである。
【図１５】輝度静止回数について説明する図である。
【図１６】閾値テーブルについて説明する図である。
【図１７】色差静止回数について説明する図である。
【図１８】閾値テーブルについて説明する図である。
【図１９】輝度成分の補間について説明する図である。
【図２０】比率テーブルについて説明する図である。
【図２１】色差成分の補間について説明する図である。
【図２２】比率テーブルについて説明する図である。
【図２３】色差形式変換処理について説明するフローチャートである。
【図２４】類似方向について説明する図である。
【図２５】色差成分の補間について説明する図である。
【図２６】比率テーブルについて説明する図である。
【図２７】コンピュータの構成例を示す図である。
【符号の説明】
【０２７２】
１１ 映像変換装置， ２３ 映像形式判定部， ２４ ＩＰ変換部， ２５ 映像選択部， ２６ 色差形式変換部， ５１ 静止判定部， ５２ フィールド補間部， ８２ 輝度静止判定部， ８３ 色差静止判定部， １１１ 輝度フィールド補間部， １１２ 色差フィールド補間部， １４１ 類似判定部， １４２ 色差位相補間部
【特許請求の範囲】
【請求項１】
輝度成分および色差成分からなり、映像形式がインターレース形式である映像信号が供給された場合、前記映像信号の輝度成分および色差成分を補間することにより、前記映像信号の映像形式をプログレッシブ形式に変換する映像形式変換手段と、
前記映像形式変換手段による変換により得られた前記映像信号の色差成分を補間することにより、前記映像信号の色差形式を、第１の色差形式から、前記第１の色差形式よりも色差成分が多く含まれる第２の色差形式に変換する色差形式変換手段と
を備える映像変換装置。
【請求項２】
前記色差形式変換手段は、
前記映像信号に基づく画像の画素の輝度成分を用いて、所定の画素近傍において、互いに類似する画素が並ぶ類似方向を求める類似方向判定手段と、
前記類似方向により特定される画素を用いて、前記所定の画素近傍の画素の色差成分を補間する色差位相補間手段と
を備える請求項１に記載の映像変換装置。
【請求項３】
前記映像形式変換手段は、
連続するいくつかのフィールドの前記映像信号を用いて、前記映像信号に基づく画像上における画素の輝度成分の変化の有無を検出する輝度静止検出手段と、
前記輝度静止検出手段による検出結果に基づいて、処理対象のフィールドの前記画像における第１の注目画素の時間的または空間的に近傍に位置する画素を用いて、前記第１の注目画素の輝度成分を補間する輝度補間手段と、
前記連続するいくつかのフィールドの前記映像信号を用いて、前記映像信号に基づく画像上における画素の色差成分の変化の有無を検出する色差静止検出手段と、
前記色差静止検出手段による検出結果に基づいて、前記処理対象のフィールドの前記画像における第２の注目画素の時間的または空間的に近傍に位置する画素を用いて、前記第２の注目画素の色差成分を補間する色差補間手段と
を備える請求項１に記載の映像変換装置。
【請求項４】
前記色差静止検出手段は、前記輝度静止検出手段による検出結果を用いて、色差成分の変化の有無を検出する
請求項３に記載の映像変換装置。
【請求項５】
輝度成分および色差成分からなり、映像形式がインターレース形式である映像信号が供給された場合、前記映像信号の輝度成分および色差成分を補間することにより、前記映像信号の映像形式をプログレッシブ形式に変換する映像形式変換手段と、
前記映像形式変換手段による変換により得られた前記映像信号の色差成分を補間することにより、前記映像信号の色差形式を、第１の色差形式から、前記第１の色差形式よりも色差成分が多く含まれる第２の色差形式に変換する色差形式変換手段と
を備える映像変換装置の映像変換方法であって、
前記映像形式変換手段が、前記映像信号の映像形式をインターレース形式からプログレッシブ形式に変換し、
前記色差形式変換手段が、映像形式の変換された前記映像信号の色差形式を、前記第１の色差形式から前記第２の色差形式に変換する
ステップを含む映像変換方法。
【請求項６】
輝度成分および色差成分からなり、映像形式がインターレース形式である映像信号が供給された場合、前記映像信号の輝度成分および色差成分を補間することにより、前記映像信号の映像形式をプログレッシブ形式に変換し、
映像形式の変換により得られた前記映像信号の色差成分を補間することにより、前記映像信号の色差形式を、第１の色差形式から、前記第１の色差形式よりも色差成分が多く含まれる第２の色差形式に変換する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項１】
輝度成分および色差成分からなり、映像形式がインターレース形式である映像信号が供給された場合、前記映像信号の輝度成分および色差成分を補間することにより、前記映像信号の映像形式をプログレッシブ形式に変換する映像形式変換手段と、
前記映像形式変換手段による変換により得られた前記映像信号の色差成分を補間することにより、前記映像信号の色差形式を、第１の色差形式から、前記第１の色差形式よりも色差成分が多く含まれる第２の色差形式に変換する色差形式変換手段と
を備える映像変換装置。
【請求項２】
前記色差形式変換手段は、
前記映像信号に基づく画像の画素の輝度成分を用いて、所定の画素近傍において、互いに類似する画素が並ぶ類似方向を求める類似方向判定手段と、
前記類似方向により特定される画素を用いて、前記所定の画素近傍の画素の色差成分を補間する色差位相補間手段と
を備える請求項１に記載の映像変換装置。
【請求項３】
前記映像形式変換手段は、
連続するいくつかのフィールドの前記映像信号を用いて、前記映像信号に基づく画像上における画素の輝度成分の変化の有無を検出する輝度静止検出手段と、
前記輝度静止検出手段による検出結果に基づいて、処理対象のフィールドの前記画像における第１の注目画素の時間的または空間的に近傍に位置する画素を用いて、前記第１の注目画素の輝度成分を補間する輝度補間手段と、
前記連続するいくつかのフィールドの前記映像信号を用いて、前記映像信号に基づく画像上における画素の色差成分の変化の有無を検出する色差静止検出手段と、
前記色差静止検出手段による検出結果に基づいて、前記処理対象のフィールドの前記画像における第２の注目画素の時間的または空間的に近傍に位置する画素を用いて、前記第２の注目画素の色差成分を補間する色差補間手段と
を備える請求項１に記載の映像変換装置。
【請求項４】
前記色差静止検出手段は、前記輝度静止検出手段による検出結果を用いて、色差成分の変化の有無を検出する
請求項３に記載の映像変換装置。
【請求項５】
輝度成分および色差成分からなり、映像形式がインターレース形式である映像信号が供給された場合、前記映像信号の輝度成分および色差成分を補間することにより、前記映像信号の映像形式をプログレッシブ形式に変換する映像形式変換手段と、
前記映像形式変換手段による変換により得られた前記映像信号の色差成分を補間することにより、前記映像信号の色差形式を、第１の色差形式から、前記第１の色差形式よりも色差成分が多く含まれる第２の色差形式に変換する色差形式変換手段と
を備える映像変換装置の映像変換方法であって、
前記映像形式変換手段が、前記映像信号の映像形式をインターレース形式からプログレッシブ形式に変換し、
前記色差形式変換手段が、映像形式の変換された前記映像信号の色差形式を、前記第１の色差形式から前記第２の色差形式に変換する
ステップを含む映像変換方法。
【請求項６】
輝度成分および色差成分からなり、映像形式がインターレース形式である映像信号が供給された場合、前記映像信号の輝度成分および色差成分を補間することにより、前記映像信号の映像形式をプログレッシブ形式に変換し、
映像形式の変換により得られた前記映像信号の色差成分を補間することにより、前記映像信号の色差形式を、第１の色差形式から、前記第１の色差形式よりも色差成分が多く含まれる第２の色差形式に変換する
ステップを含む処理をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【公開番号】特開２０１０−９３６７２（Ｐ２０１０−９３６７２Ａ）
【公開日】平成２２年４月２２日（２０１０．４．２２）
【国際特許分類】
【出願番号】特願２００８−２６３５１３（Ｐ２００８−２６３５１３）
【出願日】平成２０年１０月１０日（２００８．１０．１０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２２年４月２２日（２０１０．４．２２）
【国際特許分類】
【出願日】平成２０年１０月１０日（２００８．１０．１０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]