説明

画像処理装置および方法、並びにプログラム

【課題】任意のプルダウンシーケンスの入力信号を適切にIP変換する。
【解決手段】フィールド差分算出部は、インターレース信号における連続するフィールドの差分であるフィールド差分を算出し、フィールド解像度算出部は、インターレース信号におけるフィールドの解像度であるフィールド解像度を算出し、フィールド相関判定部は、フィールド差分およびフィールド解像度に基づいて、連続するフィールドの相関を判定し、補間ペア決定部は、フィールド相関判定部による判定結果に基づいて、プログレッシブ信号を得るための補間処理に用いるフィールドを決定する。本技術は、IP変換を行う画像処理装置に適用することができる。

【発明の詳細な説明】
【技術分野】
【0001】
本技術は、画像処理装置および方法、並びにプログラムに関し、特に、任意のプルダウンシーケンスの入力信号を適切にIP変換することができるようにする画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【0002】
従来、テレシネ変換されたテレシネ画像のプルダウンシーケンスとして、2−2プルダウンや2−3プルダウンのプルダウンシーケンスを検出する技術がある(例えば、特許文献1,2参照)。
【0003】
このような技術によって、プルダウンシーケンスが検出されることで、プルダウン逆変換が正しく行われるようになる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2005−72863号公報
【特許文献2】特開平8−289199号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上述した技術においては、プルダウンシーケンスを解析するための大容量のバッファが必要になるため、予め与えられたプルダウンシーケンスが繰り返されるという仮定の下で、プルダウンシーケンスを検出するようにしていた。
【0006】
一方で、近年、様々なプルダウンシーケンスの画像信号が存在する。
【0007】
このような画像信号に対してプルダウン逆変換を行う場合でもプルダウンシーケンスを検出する必要があるが、上述した技術では、2−2プルダウンや2−3プルダウン以外のプルダウンシーケンスを検出することはできなかった。
【0008】
また、プルダウン逆変換後の画像を補間する際の補間ペアを決定する場合、テレシネ変換においては、フレーム差分に基づいて補間ペアを決定することができる。しかしながら、インターレース信号をプログレッシブ信号に変換するIP変換においては、第1および第2フィールドを補間ペアとする必要があり、フィールド差分に基づいて補間ペアを決定しようとしても、インターレース固有の位相差の影響を強く受け、適切に補間ペアを決定することができなった。
【0009】
本技術は、このような状況に鑑みてなされたものであり、任意のプルダウンシーケンスの入力信号を適切にIP変換することができるようにするものである。
【課題を解決するための手段】
【0010】
本技術の一側面の画像処理装置は、インターレース信号をプログレッシブ信号に変換する画像処理装置であって、前記インターレース信号における連続するフィールドの差分であるフィールド差分を算出するフィールド差分算出部と、前記インターレース信号における前記フィールドの解像度であるフィールド解像度を算出するフィールド解像度算出部と、
前記フィールド差分および前記フィールド解像度に基づいて、連続する前記フィールドの相関を判定するフィールド相関判定部と、前記フィールド相関判定部による判定結果に基づいて、前記プログレッシブ信号を得るための補間処理に用いる前記フィールドを決定する補間画像決定部とを備える。
【0011】
前記フィールド差分算出部には、注目している注目フィールドと、前記注目フィールドより時間的に前の前フィールドとの前記フィールド差分を算出させ、前記フィールド解像度算出部には、前記注目フィールドの前記フィールド解像度を算出させ、前記フィールド相関判定部には、前記フィールド差分および前記フィールド解像度に基づいて、前記注目フィールドと前記前フィールドとの相関を判定させ、前記補間画像決定部には、前記相関が所定の閾値より高いと判定された場合、前記注目フィールドと前記前フィールドとを前記補間処理に用いる前記フィールドに決定させ、前記相関が所定の閾値より高くないと判定された場合、前記注目フィールドと、前記注目フィールドより時間的に後の後フィールドとを前記補間処理に用いる前記フィールドに決定させることができる。
【0012】
前記画像処理装置には、前記フィールド相関判定部による判定結果に基づいて、前記インターレース信号が所定のシーケンスでプルダウンされたプルダウン信号であるか否かを判定する信号判定部と、前記信号判定部によって前記インターレース信号が前記プルダウン信号であると判定された場合、前記補間画像決定部によって決定された前記フィールドを用いた補間処理によって得られた前記プログレッシブ信号を出力する信号出力部とをさらに設けることができる。
【0013】
本技術の一側面の画像処理方法は、インターレース信号をプログレッシブ信号に変換する画像処理装置の画像処理方法であって、前記画像処理装置が、前記インターレース信号における連続するフィールドの差分であるフィールド差分を算出し、前記インターレース信号における前記フィールドの解像度であるフィールド解像度を算出し、前記フィールド差分および前記フィールド解像度に基づいて、連続する前記フィールドの相関を判定し、前記フィールドの相関の判定結果に基づいて、前記プログレッシブ信号を得るための補間処理に用いる前記フィールドを決定するステップを含む。
【0014】
本技術の一側面のプログラムは、インターレース信号をプログレッシブ信号に変換する処理をコンピュータに実行させるプログラムであって、前記インターレース信号における連続するフィールドの差分であるフィールド差分を算出するフィールド差分算出ステップと、前記インターレース信号における前記フィールドの解像度であるフィールド解像度を算出するフィールド解像度算出ステップと、前記フィールド差分および前記フィールド解像度に基づいて、連続する前記フィールドの相関を判定するフィールド相関判定ステップと、前記フィールド相関判定ステップの処理による判定結果に基づいて、前記プログレッシブ信号を得るための補間処理に用いる前記フィールドを決定する補間画像決定ステップとを含む処理をコンピュータに実行させる。
【0015】
本技術の一側面においては、インターレース信号における連続するフィールドの差分であるフィールド差分が算出され、インターレース信号におけるフィールドの解像度であるフィールド解像度が算出され、フィールド差分およびフィールド解像度に基づいて、連続するフィールドの相関が判定され、フィールドの相関の判定結果に基づいて、プログレッシブ信号を得るための補間処理に用いるフィールドが決定される。
【発明の効果】
【0016】
本技術の一側面によれば、任意のプルダウンシーケンスの入力信号を適切にIP変換することが可能となる。
【図面の簡単な説明】
【0017】
【図1】IP変換の概要について説明する図である。
【図2】通常のIP変換について説明する図である。
【図3】本技術によるIP変換について説明する図である。
【図4】プルダウンシーケンスに応じた注目フィールドに対する補間ペアについて説明する図である。
【図5】本技術を適用した画像処理装置の一実施の形態の機能構成例を示すブロック図である。
【図6】IP変換処理について説明するフローチャートである。
【図7】フィールド差分およびフィールド解像度について説明する図である。
【図8】フィールド相関に基づいた補間ペアの決定について説明する図である。
【図9】コンピュータのハードウェアの構成例を示すブロック図である。
【発明を実施するための形態】
【0018】
以下、本技術の実施の形態について図を参照して説明する。なお、説明は以下の順序で行う。
1.IP変換の概要
2.通常のIP変換
3.本技術によるIP変換
4.本技術を適用した画像処理装置の構成
5.IP変換処理
【0019】
<1.IP変換の概要>
まず、図1を参照して、IP変換の概要について説明する。IP変換は、インターレース信号をプログレッシブ信号に変換する処理である。
【0020】
IP変換処理においては、図1の左側に示されるように、入力されたインターレース信号の3枚のフィールド、すなわち、0フィールド目、1フィールド目、および2フィールド目(以下、0F、1F、および2Fという)から、1Fの補間ライン(0ライン)を生成することで、図1の左下側に示されるプログレッシブ信号のフレームが生成される。具体的には、1Fの0ラインの画素(画素値)は、図1の右側に示されるように、0Fおよび2Fの0ラインの画素と、1Fの+1ラインおよび−1ラインの画素とに基づいて生成される。
【0021】
<2.通常のIP変換>
次に、図2を参照して、通常のIP変換の例について説明する。
【0022】
図2は、2−3プルダウンされたインターレース信号をプログレッシブ信号に変換する例を示している。
【0023】
図2においては、フレーム周波数が24Hzである映画が、フィールド周波数が60Hzであるインターレース信号(以下、適宜、インターレース画像という)であるテレビジョン画像に2−3プルダウンされ、そのテレビジョン画像が、フレーム周波数が60Hzのプログレッシブ信号の画像(以下、適宜、プログレッシブ画像という)にIP変換されている。
【0024】
具体的には、映画の1フレーム目である画像「A」からテレビジョン画像の1,2フィールド目が生成され、映画の2フレーム目である画像「B」からテレビジョン画像の3,4,5フィールド目が生成され、映画の3フレーム目である画像「C」からテレビジョン画像の6,7フィールド目が生成される。
【0025】
また、テレビジョン画像の1,2,3フィールド目からプログレッシブ画像の1フレーム目が生成され、テレビジョン画像の2,3,4フィールド目からプログレッシブ画像の2フレーム目が生成され、テレビジョン画像の3,4,5フィールド目からプログレッシブ信号の3フレーム目が生成され、以降、同様にしてプログレッシブ画像のフレームが生成される。
【0026】
しかしながら、上述したIP変換によって得られるプログレッシブ画像のフレームには、異なる映画のフレームから生成されたインターレース画像のフィールドが混ざってしまう。具体的には、例えば、図2におけるプログレッシブ画像の1フレーム目は、映画の1フレーム目の画像「A」から生成されたフィールドと、画像「B」から生成されたフィールドとから生成されてしまう。
【0027】
したがって、このようにして得られたプログレッシブ画像の画質は、決して良好なものとは言えなかった。
【0028】
<3.本技術によるIP変換>
次に、図3を参照して、本技術のIP変換の例について説明する。
【0029】
図3は、図2同様、2−3プルダウンされたインターレース信号をプログレッシブ信号に変換する例を示している。
【0030】
ただし、図3においては、テレビジョン画像の1,2フィールド目からプログレッシブ画像の1フレーム目が生成され、テレビジョン画像の3,4フィールド目からプログレッシブ画像の2フレーム目および3フレーム目が生成され、テレビジョン画像の4,5フィールド目からプログレッシブ画像の4フレーム目が生成され、テレビジョン画像の6,7フィールド目からプログレッシブ画像の5フレーム目が生成される。
【0031】
すなわち、図3に示されるIP変換においては、図1の1Fを注目フィールドとすると、その注目フィールドに対応するプログレッシブ画像のフレームは、1Fと、0F(すなわち、時間的に後のフィールド)または2F(時間的に前のフィールド)のいずれか一方とが補間されて生成されている。
【0032】
具体的には、図3に示されるIP変換においては、注目フィールドを1フィールド目からシフトさせたときの注目フィールド(1F)は、2フィールド目のときに2Fと、3フィールド目のときに0Fと、4フィールド目のときに2Fと、5フィールド目のときに2Fと、6フィールド目のときに0Fと補間され、以降、これが繰り返される。
【0033】
このように、2−3プルダウンされたインターレース画像において、注目フィールド(1F)との補間ペアは、2F、0F、2F、2F、0Fの順で変化し、これが繰り返される。
【0034】
図4は、プルダウンシーケンスに応じた、入力画像の注目フィールドに対する補間ペアについて説明する図である。図4においては、上から順に、2−3プルダウンの場合、2−2プルダウンの場合、5−5プルダウンの場合、8−7プルダウンの場合の入力画像の注目フィールドに対する補間ペアを示している。
【0035】
図4に示されるように、2−3プルダウンの場合、図3を参照して説明した通り、入力画像に対する補間ペアは、2F、0F、2F、2F、0Fの順で変化し、これが繰り返される。2−2プルダウンの場合、入力画像に対する補間ペアは、2F、0Fの順で変化し、これが繰り返される。5−5プルダウンの場合、入力画像に対する補間ペアは、X、X、X、2F、0Fの順で変化し、これが繰り返される。8−7プルダウンの場合、入力画像に対する補間ペアは、X、X、X、X、X、X、2F、0F、X、X、X、X、X、2F、0Fの順で変化し、これが繰り返される。なお、「X」は、0Fおよび2Fのどちらでもよいことを示している。
【0036】
このようにして補間ペアが決定されて得られるプログレッシブ画像のフレームには、異なる映画のフレームから生成されたフィールドが混ざることがないので、そのプログレッシブ画像の画質は、良好なものとなる。
【0037】
しかしながら、プルダウンシーケンスが、上述した2−3プルダウンや2−2プルダウン等、予めわかっている場合には、注目フィールドとの補間ペアを図4のように決定することができるが、プルダウンシーケンスが予めわからない場合には、注目フィールドとの補間ペアを図4のように決定することができない。
【0038】
そこで、本技術においては、フィールド差分に着目して注目フィールドとの補間ペアを決定する。
【0039】
図4においては、どのプルダウンシーケンスの場合であっても、注目フィールドと次フィールドとのフィールド差分が大きい場合の、次の注目フィールドの補間ペアは、必ず0Fとなっている。
【0040】
すなわち、プルダウンシーケンスが予めわからない場合であっても、注目フィールドと次フィールドとのフィールド差分に基づいて、次の注目フィールドの補間ペアが決定される。言い換えると、今注目している注目フィールドの補間ペアは、その注目フィールドと、時間的に前のフィールドとのフィールド差分に基づいて決定される。
【0041】
しかしながら、フィールド差分は、例えば、図1のインターレース信号の0Fと1Fとを比較してもわかるように、インターレース信号固有の位相差の影響を強く受け、同一の画像(フレーム)から生成された連続するフィールドであっても異なる画像となる。特に、垂直解像度が高い(プログレッシブ画像でナイキスト周波数の1/2付近の)場合、フィールド差分は大きくなる傾向がある。
【0042】
そこで、本技術においては、フィールド画像の垂直解像度(以下、フィールド解像度という)に応じたフィールド差分に基づいて、注目フィールドの補間ペアを決定する。
【0043】
<4.本技術を適用した画像処理装置の構成>
図5は、本技術を適用した画像処理装置の一実施の形態の構成を示している。
【0044】
図5の画像処理装置11は、インターレース信号としての入力画像に対して、IP変換処理を施し、プログレッシブ信号としての出力画像を出力する。
【0045】
図5の画像処理装置11は、フィールド差分算出部31、フィールド解像度算出部32、フィールド相関判定部33、補間ペア決定部34、補間処理部35、補間処理部36、非ビデオ信号判定部37、および信号選択部38から構成される。
【0046】
フィールド差分算出部31は、入力されたインターレース信号の連続するフィールド間のフィールド差分を算出し、フィールド相関判定部33に供給する。
【0047】
フィールド解像度算出部32は、入力されたインターレース信号のフィールドのフィールド解像度を算出し、フィールド相関判定部33に供給する。
【0048】
フィールド相関判定部33は、フィールド差分算出部31からのフィールド差分と、フィールド解像度算出部32からのフィールド解像度とに基づいて、連続するフィールド間の相関を表すフィールド相関の高低を判定し、その判定結果を補間ペア決定部34に供給するとともに、フィールド差分およびフィールド解像度を非ビデオ信号判定部37に供給する。
【0049】
補間ペア決定部34は、フィールド相関判定部33からの判定結果に基づいて、注目フィールドとの補間ペアを決定し、その補間ペアを示す補間ペア情報を補間処理部35に供給する。
【0050】
補間処理部35は、入力されたインターレース信号のフィールドを、補間ペア決定部34からの補間ペア情報に基づいて補間し、得られたプログレッシブ信号を信号選択部38に供給する。
【0051】
補間処理部36は、入力されたインターレース信号の注目フィールドを、その前後のフィールドに基づいて補間し、得られたプログレッシブ信号を信号選択部38に供給する。具体的には、補間処理部36は、注目フィールドにおける補間ラインの画素を、注目フィールドの前後のフィールドにおける補間ラインの画素と、注目フィールドにおける補間ライの上下ラインの画素とに基づいて補間する。補間処理部36においては、図2を参照して説明したIP変換による補間(以下、ビデオ補間という)が行われ、プルダウン処理されていない、等間隔の時間で撮影されたインターレース信号(以下、ビデオ信号ともいう)であれば適切にプログレッシブ信号に変換される。
【0052】
非ビデオ信号判定部37は、フィールド相関判定部33からのフィールド差分およびフィールド解像度に基づいて、インターレース信号がビデオ信号であるか否かを判定し、その判定結果を信号選択部38に供給する。
【0053】
信号選択部38は、非ビデオ信号判定部37からの判定結果に基づいて、補間処理部35からのプログレッシブ信号と、補間処理部36からのプログレッシブ信号のいずれを出力するかを選択する。
【0054】
<5.IP変換処理>
次に、図6を参照して、画像処理装置11によるIP変換処理について説明する。
【0055】
ステップS11において、フィールド差分算出部31は、入力されてくるインターレース信号における注目フィールドと、時間的に前のフィールド(以下、前フィールドという)とのフィールド差分を算出し、フィールド相関判定部33に供給する。
【0056】
具体的には、図7に示されるように、0Fを注目フィールドとすると、0Fにおける注目画素(画素値。以下、画素は画素値を示すものとする)をy0、前フィールド(1F)において注目画素y0に対応する画素をyip、画素yipの1ライン上の画素をy1up、画素yipの1ライン下の画素をy1とすると、注目フィールドについてのフィールド差分は、以下の式(1)で与えられる。
【0057】
(フィールド差分)=Σ|yip−y0|=Σ|y1up−2y0+y1|/2 ・・・(1)
【0058】
ステップS12において、フィールド解像度算出部32は、入力されてくるインターレース信号における注目フィールド(0F)の垂直解像度であるフィールド解像度を算出し、フィールド相関判定部33に供給する。
【0059】
具体的には、図7に示されるように、注目フィールド(0F)における注目画素y0の2ライン上の画素をy0up、注目画素y0の2ライン下の画素をy0down、画素y0upと画素y0downとから求められる画素をy0lpfすると、注目フィールドについてのフィールド解像度は、以下の式(2)で与えられる。
【0060】
(フィールド解像度)=Σ|y0lpf−y0|=Σ|y0up−2y0+y0down|/2
・・・(2)
【0061】
ステップS13において、フィールド相関判定部33は、フィールド差分算出部31からのフィールド差分と、フィールド解像度算出部32からのフィールド解像度とに基づいて、注目フィールド(0F)と前フィールド(1F)とのフィールド相関を求め、その高低を判定する。
【0062】
ここで、上述の式(1)で与えられるフィールド差分は、注目フィールドに対応するプログレッシブ画像における、注目画素と、注目画素の1ライン分上下それぞれの画素とについての(−1,2,−1)フィルタとなる。また、上述の式(2)で与えられるフィールド解像度は、注目フィールドに対応するプログレッシブ画像における、注目画素と、注目画素の2ライン分上下それぞれの画素および1ライン分上下それぞれの画素とについての(−1,0,2,0,−1)フィルタとなる。
【0063】
すなわち、フィールド相関判定部33は、このような垂直帯域通過フィルタによるフィルタリング結果の相関を求めることになる。
【0064】
具体的には、フィールド相関判定部33は、以下の式(3)を満たすとき、フィールド相関が高いと判定する。
【0065】
(フィールド差分)<(フィールド解像度)/2+register ・・・(3)
【0066】
式(3)によれば、「(フィールド解像度)/2」を閾値として、その閾値よりフィールド差分が小さい場合に、フィールド相関が高いと判定される。ここで、registerは、ノイズ変動に対して、理論値である閾値「(フィールド解像度)/2」を調整するための値である。
【0067】
フィールド相関判定部33は、判定した結果、すなわちフィールド相関の高低を補間ペア決定部34に供給するとともに、フィールド差分およびフィールド解像度を非ビデオ信号判定部37に供給する。
【0068】
ステップS14において、補間ペア決定部34は、フィールド相関判定部33からのフィールド相関の高低に基づいて、補間ペアを決定する。
【0069】
ここで、図8を参照して、フィールド相関の高低に基づいた補間ペアの決定について説明する。
【0070】
図8の上側は、注目フィールド(0F)と前フィールド(1F)とのフィールド相関が高い場合の補間ペアの決定について示している。すなわち、図8の上側においては、0Fと1Fは、それぞれ画像「B」についてのフィールドであるので、フィールド相関が高いと判定される。そして、次のフィールドのタイミングで、対応する1Fと2Fが補間ペアに決定される。すなわち、フィールド相関が高いと判定された場合、次のフィールドのタイミングの注目フィールド(0F)から2フィールド分遅延したフィールド(2F)と、1フィールド分遅延したフィールド(1F)とが補間ペアとなることが、1フィールド遅延して決定される。
【0071】
一方、図8の下側は、注目フィールド(0F)と前フィールド(1F)とのフィールド相関が低い場合の補間ペアの決定について示している。すなわち、図8の下側においては、0Fと1Fは、それぞれ画像「B」、「A」についてのフィールドであるので、フィールド相関は低いと判定される。そして、次のフィールドのタイミングでは、0Fと1Fがそれぞれ画像「B」についてのフィールドとなり、0Fと1F(注目フィールドと、注目フィールドより時間的に後の後フィールド)が補間ペアに決定される。すなわち、フィールド相関が低いと判定された場合、次のフィールドのタイミングの注目フィールド(0F)から0フィールド分遅延したフィールド(0F)と、1フィールド分遅延したフィールド(1F)とが補間ペアとなることが、1フィールド遅延して決定される。
【0072】
なお、以上においては、同一のフィールドが2枚以上連続していることが前提となる。
【0073】
このようにして、次のフィールドのタイミングでの補間ペアがリアルタイムに決定され、その補間ペアを表す補間ペア情報が、補間処理部35に供給される。
【0074】
図6のフローチャートに戻り、ステップS15において、補間処理部35は、補間ペア決定部34からの補間ペア情報に基づいて、補間ペア決定部34によって決定された補間ペアでフィールドを補間し、得られたプログレッシブ画像のフレームを、信号選択部38に供給する。
【0075】
このとき並行して、補間処理部36は、入力されたインターレース信号に対してビデオ補間を行い、得られたプログレッシブ画像のフレームを、信号選択部38に供給する。
【0076】
ステップS16において、非ビデオ信号判定部37は、フィールド相関判定部33からのフィールド差分およびフィールド解像度に基づいて、インターレース信号が非ビデオ信号であるか否か、言い換えると、インターレース信号が所定のプルダウンシーケンスでプルダウンされたプルダウン信号であるか否かを判定する。
【0077】
例えば、非ビデオ信号判定部37は、インターレース信号の0F、1F、2Fの3フィールドの間のフィールド相関に基づいて、インターレース信号がビデオ信号であるか否かを判定する。
【0078】
ここで、時刻tにおけるフィールドについてのフィールド相関の値を表す相関値をfield_crl(t)としたとき、時刻tにおける相関値field_crl(t)は、以下の式(4)で表わされる。
【0079】
field_crl(t)=(フィールド差分)−(フィールド解像度)/2 ・・・(4)
【0080】
なお、式(4)におけるフィールド差分およびフィールド解像度は、それぞれ時刻tにおけるフィールドについてのものである。
【0081】
上述したように、ビデオ信号は等間隔の時間で撮影されているため、インターレース信号がビデオ信号である場合、0Fと1Fとのフィールド差分と、1Fと2Fとのフィールド差分との比は略1:1となり、相関値field_crl(t)と相関値field_crl(t-1)との比もまた略1:1となる。
【0082】
そこで、非ビデオ信号判定部37は、3フィールドの間の相関値の比を表す値Rが所定の閾値より小さい場合に、インターレース信号がビデオ信号でないと判定する。ここで、Rは、field_crl(t)<field_crl(t-1)である場合、field_crl(t)/field_crl(t-1)で表わされ、field_crl(t)>field_crl(t-1)である場合、field_crl(t-1)/field_crl(t)で表わされる。
【0083】
なお、非ビデオ信号判定部37は、この判定を所定フィールド分継続して行い、その間の判定結果が同一であったときに、その判定結果を出力する。なお、判定に用いられる閾値や判定を継続する期間は、適宜設定されるようにしてもよい。
【0084】
また、非ビデオ信号判定部37は、インターレース信号がビデオ信号であるか否かを判定できればよく、上述のようにフィールド相関に基づいて判定する他、フィールド差分を直接比較することで判定する等、その他の方法でインターレース信号がビデオ信号であるか否かを判定してもよい。
【0085】
さて、ステップS16において、インターレース信号が非ビデオ信号であると判定された場合、非ビデオ信号判定部37は、その旨の判定結果を信号選択部38に供給し、処理はステップS17に進む。
【0086】
ステップS17において、信号選択部38は、非ビデオ信号判定部37からの判定結果に基づいて、補間処理部35からのプログレッシブ信号、すなわち、インターレース信号が補間ペアで補間されたフレームを出力する。
【0087】
一方、ステップS16において、インターレース信号が非ビデオ信号でないと判定された場合、非ビデオ信号判定部37は、その旨の判定結果を信号選択部38に供給し、処理はステップS18に進む。
【0088】
ステップS18において、信号選択部38は、非ビデオ信号判定部37からの判定結果に基づいて、補間処理部36からのプログレッシブ信号、すなわち、インターレース信号がビデオ補間されたフレームを出力する。
【0089】
以上の処理によれば、フィールド差分とフィールド解像度とに基づいて、フィールド相関を求め、フィールド相関の高低に応じて補間ペアを決定するようにしたので、インターレース信号固有の位相差の影響を抑えつつ、現存しないプルダウンシーケンスを含めた任意のプルダウンシーケンスの入力信号を適切にIP変換することが可能となる。これにより、より良好な画質のプログレッシブ画像を得ることができるようになる。
【0090】
また、プルダウンシーケンスを解析するためのバッファを必要とせず、また、プルダウンシーケンス毎の処理を行う必要もなくリアルタイムに補間ペアの決定を行うことができるので、回路規模を小さくするとともに、処理の即時性を高めることができるようになる。
【0091】
以上においては、本技術をIP変換を行う画像処理装置に適用するようにしたが、全てのフィールド差分を利用してケーデンス判定を行う構成や、フレームレート変換を行う構成等にも適用することができる。
【0092】
上述した一連の処理の一部または全部は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、プログラム記録媒体からインストールされる。
【0093】
図9は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【0094】
コンピュータにおいて、CPU(Central Processing Unit)901,ROM(Read Only Memory)902,RAM(Random Access Memory)903は、バス904により相互に接続されている。
【0095】
バス904には、さらに、入出力インタフェース905が接続されている。入出力インタフェース905には、キーボード、マウス、マイクロホン等よりなる入力部906、ディスプレイ、スピーカ等よりなる出力部907、ハードディスクや不揮発性のメモリ等よりなる記憶部908、ネットワークインタフェース等よりなる通信部909、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア911を駆動するドライブ910が接続されている。
【0096】
以上のように構成されるコンピュータでは、CPU901が、例えば、記憶部908に記憶されているプログラムを、入出力インタフェース905およびバス904を介して、RAM903にロードして実行することにより、上述した一連の処理が行われる。
【0097】
コンピュータ(CPU901)が実行するプログラムは、例えば、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等)、光磁気ディスク、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア911に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【0098】
そして、プログラムは、リムーバブルメディア911をドライブ910に装着することにより、入出力インタフェース905を介して、記憶部908にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部909で受信し、記憶部908にインストールすることができる。その他、プログラムは、ROM902や記憶部908に、あらかじめインストールしておくことができる。
【0099】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【0100】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【0101】
さらに、本技術は以下のような構成をとることができる。
(1) インターレース信号をプログレッシブ信号に変換する画像処理装置において、
前記インターレース信号における連続するフィールドの差分であるフィールド差分を算出するフィールド差分算出部と、
前記インターレース信号における前記フィールドの解像度であるフィールド解像度を算出するフィールド解像度算出部と、
前記フィールド差分および前記フィールド解像度に基づいて、連続する前記フィールドの相関を判定するフィールド相関判定部と、
前記フィールド相関判定部による判定結果に基づいて、前記プログレッシブ信号を得るための補間処理に用いる前記フィールドを決定する補間画像決定部と
を備える画像処理装置。
(2) 前記フィールド差分算出部は、注目している注目フィールドと、前記注目フィールドより時間的に前の前フィールドとの前記フィールド差分を算出し、
前記フィールド解像度算出部は、前記注目フィールドの前記フィールド解像度を算出し、
前記フィールド相関判定部は、前記フィールド差分および前記フィールド解像度に基づいて、前記注目フィールドと前記前フィールドとの相関を判定し、
前記補間画像決定部は、前記相関が所定の閾値より高いと判定された場合、前記注目フィールドと前記前フィールドとを前記補間処理に用いる前記フィールドに決定し、前記相関が所定の閾値より高くないと判定された場合、前記注目フィールドと、前記注目フィールドより時間的に後の後フィールドとを前記補間処理に用いる前記フィールドに決定する
(2)に記載の画像処理装置。
(3) 前記フィールド相関判定部による判定結果に基づいて、前記インターレース信号が所定のシーケンスでプルダウンされたプルダウン信号であるか否かを判定する信号判定部と、
前記信号判定部によって前記インターレース信号が前記プルダウン信号であると判定された場合、前記補間画像決定部によって決定された前記フィールドを用いた補間処理によって得られた前記プログレッシブ信号を出力する信号出力部とをさらに備える
(1)または(2)に記載の画像処理装置。
(4) インターレース信号をプログレッシブ信号に変換する画像処理装置の画像処理方法において、
前記画像処理装置が、
前記インターレース信号における連続するフィールドの差分であるフィールド差分を算出し、
前記インターレース信号における前記フィールドの解像度であるフィールド解像度を算出し、
前記フィールド差分および前記フィールド解像度に基づいて、連続する前記フィールドの相関を判定し、
前記フィールド相関判定ステップの処理による判定結果に基づいて、前記プログレッシブ信号を得るための補間処理に用いる前記フィールドを決定する
ステップを含む画像処理方法。
(5) インターレース信号をプログレッシブ信号に変換する処理をコンピュータに実行させるプログラムにおいて、
前記インターレース信号における連続するフィールドの差分であるフィールド差分を算出するフィールド差分算出ステップと、
前記インターレース信号における前記フィールドの解像度であるフィールド解像度を算出するフィールド解像度算出ステップと、
前記フィールド差分および前記フィールド解像度に基づいて、連続する前記フィールドの相関を判定するフィールド相関判定ステップと、
前記フィールド相関判定ステップの処理による判定結果に基づいて、前記プログレッシブ信号を得るための補間処理に用いる前記フィールドを決定する補間画像決定ステップと
を含む処理をコンピュータに実行させるプログラム。
【符号の説明】
【0102】
11 画像処理装置, 31 フィールド差分算出部, 32 フィールド解像度算出部, 33 フィールド相関判定部, 34 補間ペア決定部, 35 補間処理部, 36 補間処理部, 37 非ビデオ信号判定部, 38 信号選択部

【特許請求の範囲】
【請求項1】
インターレース信号をプログレッシブ信号に変換する画像処理装置において、
前記インターレース信号における連続するフィールドの差分であるフィールド差分を算出するフィールド差分算出部と、
前記インターレース信号における前記フィールドの解像度であるフィールド解像度を算出するフィールド解像度算出部と、
前記フィールド差分および前記フィールド解像度に基づいて、連続する前記フィールドの相関を判定するフィールド相関判定部と、
前記フィールド相関判定部による判定結果に基づいて、前記プログレッシブ信号を得るための補間処理に用いる前記フィールドを決定する補間画像決定部と
を備える画像処理装置。
【請求項2】
前記フィールド差分算出部は、注目している注目フィールドと、前記注目フィールドより時間的に前の前フィールドとの前記フィールド差分を算出し、
前記フィールド解像度算出部は、前記注目フィールドの前記フィールド解像度を算出し、
前記フィールド相関判定部は、前記フィールド差分および前記フィールド解像度に基づいて、前記注目フィールドと前記前フィールドとの相関を判定し、
前記補間画像決定部は、前記相関が所定の閾値より高いと判定された場合、前記注目フィールドと前記前フィールドとを前記補間処理に用いる前記フィールドに決定し、前記相関が所定の閾値より高くないと判定された場合、前記注目フィールドと、前記注目フィールドより時間的に後の後フィールドとを前記補間処理に用いる前記フィールドに決定する
請求項1に記載の画像処理装置。
【請求項3】
前記フィールド相関判定部による判定結果に基づいて、前記インターレース信号が所定のシーケンスでプルダウンされたプルダウン信号であるか否かを判定する信号判定部と、
前記信号判定部によって前記インターレース信号が前記プルダウン信号であると判定された場合、前記補間画像決定部によって決定された前記フィールドを用いた補間処理によって得られた前記プログレッシブ信号を出力する信号出力部とをさらに備える
請求項1に記載の画像処理装置。
【請求項4】
インターレース信号をプログレッシブ信号に変換する画像処理装置の画像処理方法において、
前記画像処理装置が、
前記インターレース信号における連続するフィールドの差分であるフィールド差分を算出し、
前記インターレース信号における前記フィールドの解像度であるフィールド解像度を算出し、
前記フィールド差分および前記フィールド解像度に基づいて、連続する前記フィールドの相関を判定し、
前記フィールドの相関の判定結果に基づいて、前記プログレッシブ信号を得るための補間処理に用いる前記フィールドを決定する
ステップを含む画像処理方法。
【請求項5】
インターレース信号をプログレッシブ信号に変換する処理をコンピュータに実行させるプログラムにおいて、
前記インターレース信号における連続するフィールドの差分であるフィールド差分を算出するフィールド差分算出ステップと、
前記インターレース信号における前記フィールドの解像度であるフィールド解像度を算出するフィールド解像度算出ステップと、
前記フィールド差分および前記フィールド解像度に基づいて、連続する前記フィールドの相関を判定するフィールド相関判定ステップと、
前記フィールド相関判定ステップの処理による判定結果に基づいて、前記プログレッシブ信号を得るための補間処理に用いる前記フィールドを決定する補間画像決定ステップと
を含む処理をコンピュータに実行させるプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate


【公開番号】特開2012−244333(P2012−244333A)
【公開日】平成24年12月10日(2012.12.10)
【国際特許分類】
【出願番号】特願2011−111311(P2011−111311)
【出願日】平成23年5月18日(2011.5.18)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】