映像信号処理方法、映像信号処理装置
【課題】簡単な構成でOSD映像の欠落や不均等による違和感を解消し、かつOSD映像の合成部分とそれ以外の部分の映像の違和感を抑えることができる映像信号処理方法及び装置を提供する。
【解決手段】入力された映像が24Hzのソース映像から2−3プルダウンされたものかどうかを判定し、2−3プルダウンされていた場合は、OSD元映像をフレームレート24Hzで生成した後60Hzに変換する。一方されていなければ、直接60HzのOSD信号を生成する。
【解決手段】入力された映像が24Hzのソース映像から2−3プルダウンされたものかどうかを判定し、2−3プルダウンされていた場合は、OSD元映像をフレームレート24Hzで生成した後60Hzに変換する。一方されていなければ、直接60HzのOSD信号を生成する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数の映像を合成する映像信号処理方法及び映像信号処理装置に関する。
【背景技術】
【0002】
現行のテレビジョン放送では、通常60Hz(実際には59.94Hz)のフィールド周波数で映像が送信されている。このテレビジョン放送で、映画やフィルム撮影されたソースなど24Hzで作製されている映像ソースを送信する場合、2−3プルダウンと言われる方法が用いられている。これは、放送の5フィールドに映像ソースの2コマを割り当てる処理である。例えばソース映像の奇数コマを2フィールドに割り当て、偶数コマを3フィールドに割り当てることで、24Hzの映像を60Hzの放送信号に変換することができる。
【0003】
近年、液晶の動画表示特性の改善などのため、フレームレート変換を行い120Hzで動作するテレビジョン受像機が増えている。特開2001−346131号公報(特許文献1)には、このようなテレビジョン受像機で映画などの2−3プルダウンされた放送信号を表示する場合のフレームレート変換方法が記載されている。これは、入力された放送信号が2−3プルダウンされたものであることを検出すると、元の24Hzの映像ソースの各コマを5回連続して表示するフレームレート変換方法である。
【0004】
図10は24Hzの映像ソースを2−3プルダウンし、その放送信号を表示するまでの従来例の動作を示した図である。図10においては横方向が時間の流れを示し、P11、P12が各コマの映像を示している。映像ソース21は24Hzの映像信号、放送信号22は60Hzの映像信号、出力映像23は120Hzの映像信号である。映像ソース21から放送信号22を生成する場合には2−3プルダウンが行われる。すなわち、映像ソース21の各コマP11、P12が、放送信号22では2コマのP11、3コマのP12のように、各フィールドに割り当てられる。続いて、受像機が2−3プルダウンされた放送信号22を検出すると、各コマP11、P12を抜き出して、それぞれ出力映像23の5フレームずつに割り当てる。このようにすることで、120Hzで映像信号を表示する場合であっても、P11、P12を元の映像ソース22と同じ時間間隔で表示することができる。
【0005】
このようなテレビジョン受像機で60HzのOSD(on−screen display)映像を入力映像に合成する場合の構成例を図11に示す。OSD映像とは、入力映像にスーパーインポーズして表示する映像のことであり、アイコンや写真などのグラフィックスや文字などで構成されている。
【0006】
図11において、2−3プルダウン検出部24は入力映像が2−3プルダウンにより変換された映像であるかを検出して変換情報として出力する。OSD生成部25は入力映像にスーパーインポーズするOSD映像を生成する。映像合成部26は入力映像とOSD映像を合成して出力する。フレームレート変換部27は2−3プルダウン検出部24の変換情報を元に合成映像のフレームレートを120Hzに変換して出力する。
【0007】
このような構成における動作の例を図12に示す。図12において、入力映像28は2−3プルダウンされた60Hzの映像、OSD映像29は入力映像28に合成する60Hzの映像である。また、合成映像30は入力映像28とOSD映像29を合成した映像、出力映像31は合成映像30をフレームレート変換して120Hzに変換した映像である。P13、P14は入力映像28の各コマであり、同じ符号のコマは同じソースから2−
3プルダウンされている。D13、D14、D15、D16、D17はOSD映像29の各コマを示している。
【0008】
入力映像28は2−3プルダウンによりP13が2コマ、P14が3コマで入力されている。この入力映像にOSD映像29を合成すると合成映像30のようになり、1コマ目はP13とD13の合成映像、2コマ目はP13とD14の合成映像、3コマ目はP14とD15の合成映像が得られる。この合成映像を上述した方法で120Hzに変換すると出力映像31のようになり、D14、D16、D17のOSD映像が欠落してしまう。また、OSD映像が時間方向において不均等に表示されるため違和感のある映像となってしまう。
【0009】
このような問題を解決する技術として、特開2004−120757号公報(特許文献2)が開示されている。図13は特許文献2の構成例を示す図である。図13において、OSD生成部32はOSDの映像を出力する。映像合成部33は制御信号の情報を元に入力映像とOSD生成部32から出力されたOSD映像を合成し、映像処理部34は制御信号の情報を元に合成映像に処理を加えて出力する。
【0010】
特許文献2では、合成されたOSD映像部分と、入力映像部分でそれぞれ異なるフレームレート変換方法をスイッチング選択により切り換えて処理する。例えば、OSD映像部分では全てのフレームを使用して映像を出力するようにすることで、OSD映像部分の映像の欠落や不均等な映像再生を防ぐことができる。
【特許文献1】特開2001−346131号公報
【特許文献2】特開2004−120757号公報
【発明の開示】
【発明が解決しようとする課題】
【0011】
上述した従来の技術では、合成映像に対して、各部分ごとにフレームレート変換方法を切り換える。しかし、この方法によって透過性のあるOSD映像を合成した場合、OSD映像と、OSD映像に重ならない部分にある入力映像の境界部分で、フレームレート変換方法の違いによる違和感が発生してしまう。
【0012】
また、上述した従来の技術では、合成するOSD映像の位置情報やそのフレームレート変換方法を指定し、フレームレート変換方法を切り換える処理が必要となる。そのため、システムの負荷増大や肥大化が課題であった。
【0013】
本発明は上記実情に鑑みてなされたものであって、簡単な構成でOSD映像の欠落や不均等を解消し、かつOSD映像の合成部分とそれ以外の部分の映像の違和感を抑えることができる映像信号処理方法及び装置を提供することを目的とする。
【課題を解決するための手段】
【0014】
上記目的を達成するために本発明の第一の発明は以下の構成を採用する。すなわち、
第一のフレームレートを持つ第一の映像信号を受信するステップと、
第一のフレームレートを持つ第二の映像信号を生成する生成ステップと、
前記第一の映像信号および第二の映像信号から第一のフレームレートを持つ合成信号を作成する合成ステップと、
前記合成信号を第三のフレームレートに変換する変換ステップとを有し、
前記第一の映像信号に、第二のフレームレートから第一のフレームレートに変換する前処理が施されていた場合、前記生成ステップは、前記第二の映像信号の元信号を第二のフレームレートで生成するステップと、前記元信号を第一のフレームレートに変換することにより前記第二の映像信号を生成するステップを含む
ことを特徴とする映像信号処理方法である。
【0015】
また、本発明の第二の発明は以下の構成を採用する。すなわち、
第一のフレームレートを持つ第一の映像信号を受信する受信部と、
第一のフレームレートを持つ第二の映像信号を生成する生成部と、
前記第一の映像信号および第二の映像信号から第一のフレームレートを持つ合成信号を作成する合成部と、
前記合成信号を第三のフレームレートに変換する変換部とを備え、
前記第一の映像信号に、第二のフレームレートから第一のフレームレートに変換する前処理が施されていた場合、前記生成部は前記第二の映像信号の元信号を第二のフレームレートで生成し、前記元信号を第一のフレームレートに変換することにより前記第二の映像信号を生成する
ことを特徴とする映像信号処理装置である。
【発明の効果】
【0016】
本発明によれば、OSD映像信号の欠落がなく、時間的に均等にフレームレート変換されるようにOSD映像信号を生成して入力映像と合成することにより、簡単な構成でOSD映像の欠落を解消できる。また、OSD映像の合成部分とそれ以外の部分の映像の違和感を抑えることができる。
【発明を実施するための最良の形態】
【0017】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
【0018】
(実施例1)
実施例1は本発明の映像信号処理方法の例であり、その構成を図6のブロック図を用いて説明する。本実施例の装置は、受信部61で放送信号である60Hzのインターレース映像信号(60i)を受信し、IP変換部62で60Hzのプログレッシブ映像信号(60p)に変換している。図6において、この60pの映像信号を入力映像として扱う。
【0019】
2−3プルダウン検出部11は入力映像(60p)が2−3プルダウンにより24Hzから変換された映像であるかを検出して変換情報として出力する。OSD生成部12は入力映像に合成するOSD映像(60p)を生成する。映像合成部13は入力映像とOSD映像を合成して合成映像を出力する。フレームレート変換部14は2−3プルダウン検出部11の変換情報を元に合成映像のフレームレートを120Hz(120p)に変換して出力する。
【0020】
なお、上述した入力映像は本発明における第一の映像信号に、OSD映像は第二の映像信号に、合成映像は合成信号に、それぞれ該当する。また、本発明における第一のフレームレートは本実施例では60Hzであり、第二のフレームレートは24Hzであり、第三のフレームレートは120Hzである。
【0021】
続いて、実施例1で行う処理の流れを図1〜図3のフローチャートを用いて説明する。
【0022】
図1において、動作が開始されると、2−3プルダウン検出部11は入力映像が2−3プルダウンされた映像であるかを判定する(ステップS1)。
【0023】
2−3プルダウンされた映像であった場合には、24Hzに対応したフレームレート変換処理を行うため、2−3プルダウン検出部11は入力映像が2−3プルダウンされた映像であるという情報を変換情報として出力する(ステップS2)。2−3プルダウンされた映像でなかった場合、2−3プルダウン検出部11は入力映像が2−3プルダウンされ
た映像ではないという情報を変換情報として出力する(ステップS3)。
【0024】
そして、OSD生成部12はステップS2またはステップS3で出力された変換情報に従ったOSD映像を生成して出力する(ステップS4)。
【0025】
生成されたOSD映像は映像合成部13によって入力映像と合成して出力され(ステップS5)、フレームレート変換部14ではステップS2またはステップS3で出力された変換情報に応じたフレームレート変換を行い、映像を出力する(ステップS6)。
【0026】
図2は変換情報に従ったOSD映像の生成(ステップS4)の動作を説明するフローチャートである。図2において、映像信号の入力が開始されると、2−3プルダウン検出部11は、変換情報の内容を確認し、入力映像が2−3プルダウンであるかを判定する(ステップS7)。
【0027】
入力映像が2−3プルダウンであった場合、OSD生成部12は24Hzで再生されたときに動きの違和感が無いように24HzのタイミングでOSDの映像を作成(OSD元映像)する(ステップS8)。さらに前記OSD元映像を放送と同様のタイミングで映像が表示されるように60HzのOSD映像に変換して出力する(ステップS9)。なお、2−3プルダウンが本発明における前処理に当たり、OSD元映像が本発明における元信号に当たる。
【0028】
一方、入力映像が2−3プルダウンでなかった場合、OSD生成部12は、直接に、60HzのタイミングでOSDの映像を生成して出力する(ステップS10)。
【0029】
図3はフレームレート変換(ステップS6)の動作を説明するフローチャートである。図3において、動作が開始されると、フレームレート変換部14は変換情報が2−3プルダウンであるかを判定する(ステップS11)。
【0030】
入力映像が2−3プルダウンであった場合、フレームレート変換部14は、まず合成映像の1コマ目を1/120秒の映像として5回繰り返して出力する。次に合成映像の3コマ目を1/120秒の映像として5回繰り返して出力する(ステップS12)。この方法によれば、同じ1/120秒の1コマを5回繰り返すことで1コマの映像を1/24秒間表示することになる。これにより、映像の欠落や動きの違和感なく元の24Hzの映像を再生することができる。
【0031】
入力映像が2−3プルダウンでなかった場合、フレームレート変換部14は、合成映像からフレーム内補間またはフレーム間補間により、60Hzの映像を変換して120Hzの映像を作成し、出力する(ステップS13)。
【0032】
図4は入力映像が2−3プルダウンではない場合の動作例であり、図2のステップS10及び図3のステップS13に相当する。図4において、入力映像1は60pで入力された映像、OSD映像2は60pで生成されたOSDの映像である。また、合成映像3は入力映像1とOSD映像2を合成して得られた60pの映像、出力映像4は60pの合成映像3をフレームレート変換した120pの映像である。P1〜P5は入力映像1の各コマ、D1〜D5はOSD映像2の各コマを示している。合成映像3は、入力映像1にOSD映像2が合成された状態を表している。P1aはP1及びP2から補間して作成された映像、D1aはD1及びD2から補間して作成された映像である。P2a〜P5a、D2a〜D5aも同様にして補間して作成された映像を示している。
【0033】
このように、2−3プルダウンではない場合のフレームレート変換においては、入力映
像の各コマ間の映像が補間により生成され、違和感のない映像が出力される。
【0034】
図5は入力映像が2−3プルダウンである場合の動作例であり、図2のステップS8及びステップS9、図3のステップS12に相当する。図5において、24Hz映像5は映画フィルムなどの24Hzで作成された映像である。入力映像6は24Hz映像5から2−3プルダウンにより60iの映像に変換され、テレビジョン受像機に入力された後、IP変換部により60pに変換された映像である。OSD元映像7は24Hzに対応したフレームレート変換を行う場合に生成されるOSDの映像、OSD映像8はOSD元映像7を元に変換されて実際に出力する映像である。合成映像9は入力映像6とOSD映像8を合成して得られた映像、出力映像10は60pの合成映像9をフレームレート変換した120pの映像である。
【0035】
2−3プルダウンされた映像が入力された場合、特許文献1にあるような従来例では、OSD映像の一部が欠落してしまうため違和感が生じるという課題があった。しかし、本実施例1では、2−3プルダウンされた映像が入力された場合、まず図5のように、2−3プルダウンされる前の24Hz映像5と同期した24HzのOSD元映像7が生成される。続いて、2−3プルダウンと同様の変換を行ってOSD映像8を出力する。続いて、P6とD6、及びP7とD7がそれぞれ合成され合成映像9として出力される。そして1/24秒内にP6とD6が合成された1/120秒の映像が5回、次の1/24秒内にP7とD7が合成された1/120秒の映像が5回繰り返された出力映像に変換されて出力される。従って、OSD映像の一部が欠落することがない。また、出力映像10中のOSDの映像は24Hzで等間隔に生成されたものであるため、違和感のない映像を出力することができる。
【0036】
また、特許文献2にあるような従来例では、入力映像に透過性のあるOSD映像を合成した場合、OSD映像部と透過部分のフレームレート変換処理の違いにより、境界部分において映像の違和感が生じていた。しかし、本実施例1では、OSD映像部と透過部分に同じフレームレート変換処理が施されるため、変換処理の違いによる映像の違和感が発生することはない。
【0037】
また、本実施例1では、合成するOSD映像の位置情報やそのフレームレート変換方法を指定する必要がないため、システムの負荷や肥大化を抑えることができる。
【0038】
以上の説明では、合成映像から出力映像に変換する際、合成映像の1コマ目と3コマ目をそれぞれ5回繰り返すようにしている。しかし、合成映像の1コマ目と2コマ目から5回の繰り返し映像を、合成映像の3コマ目乃至5コマ目から5回の繰り返し映像を出力するようにすれば同様の出力映像が得られる。
【0039】
また、図5のように、OSD生成部にて一度24HzのOSD元映像7を生成し(D6、D7)、60Hzに変換してOSD映像8を作成して(D6、D6、D7、D7、D7)出力するようになっている。しかし、はじめからOSD映像8のような60Hzの映像を出力するようにしても良い。この場合、60Hzへの変換ステップが不要となり、さらにシステムを簡略化できる。
【0040】
以上のように、本実施例1では、OSD映像の欠落による違和感を解消し、かつOSD映像の合成部分とそれ以外の部分の映像の違和感を抑えることができる。
【0041】
(実施例2)
実施例2における映像信号処理装置は、実施例1と同様に図6のブロック図で表される。装置の各ブロックの名称及び機能は実施例1と同じであるため説明を省略する。
【0042】
このような映像信号処理装置のうち、OSD生成部12の構成について図7を用いてさらに詳細に説明する。
【0043】
図7において、クロック出力部121は2−3プルダウン検出部11からの変換情報に応じてクロックを切り換えて発生して出力する。OSD出力部122はクロック出力部121から出力されたクロックに同期してOSD元映像を生成する。メモリ123はOSD出力部122のOSD元映像を一時的に記憶する。OSD読出し部124はメモリ123に記憶されたOSD元映像を60Hzの一定周期で読み出して出力する。
【0044】
実施例2で2−3プルダウンがあった場合の動作を、図8を用いて説明する。図8において、OSD元映像15は24Hzの映像であり、OSD出力部122によって生成され、メモリ123に一時的に記憶される。OSD映像16は60Hzの映像であり、OSD読出し部124によってメモリ123から60Hzの周期で読み出され、出力される。合成映像17は映像合成部13により入力映像とOSD映像が合成された映像である。出力映像18はフレームレート変換部14により合成映像が120Hzに変換された映像である。
【0045】
クロック出力部121は、OSD出力部122が入力映像6の1コマ目と同じタイミングでOSD元映像15の1コマ目(D8)を出力する。その1/24秒後に次のコマ(D9)を出力するようにクロックを発生する。
【0046】
このようにして出力されたOSD元映像は、次のOSD元映像が出力されるまで一時的にメモリ123に記憶される。OSD読出し部124は、入力映像6の1コマ目から1/120秒遅延したタイミングでメモリ124からOSD元映像15を読出して、1/60秒のOSD映像16として出力する。
【0047】
この出力を2回繰り返すことにより、OSD元映像15の1コマ目に基づくOSD映像16を2コマ出力する。続いてOSD読出し部124は、OSD元映像16の2コマ目(D9)からOSD映像16を3コマ繰り返して出力する。従って、OSD元映像15に対する変換処理は、入力映像6に対する変換処理と同様である。
【0048】
続いて、映像合成部13は、入力映像6と合成映像17を合成して出力する。続いて、フレームレート変換部18は、合成映像17の1コマ目と3コマ目をそれぞれ5回繰り返して120Hzの映像として出力する。
【0049】
一方、2−3プルダウン検出部11が2−3プルダウンを検出しなかった場合、クロック出力部121は1/60秒ごとにクロックを発生する。OSD出力部122はこのクロックに従って、60Hzの周期でOSD元映像を出力する。
【0050】
そのため、OSD映像読出し部124がメモリ123から読み出す映像は、60Hzで生成されたOSD元映像と同じ映像となる。
【0051】
続いて、映像合成部13は、入力映像6と合成映像17を合成して出力する。続いて、フレームレート変換部18は、合成映像からフレーム内補間またはフレーム間補間により60Hzの映像を120Hzの映像に変換して出力する。
【0052】
以上の説明では、OSD出力部122が入力映像6の1コマ目と同じタイミングでOSD元映像15の1コマ目を出力するようにしている。しかし、1/30秒遅延して出力するようにして、同様にOSD元映像15を入力映像6と同様の変換を行ったように出力す
ることができる。この場合、OSD読出し部124がメモリ123から映像を読出すタイミングは遅延する必要がない。
【0053】
以上のように構成することで、OSD映像の欠落による違和感を解消し、かつOSD映像の合成部分とそれ以外の部分の映像の違和感を抑えることができる。
【0054】
(実施例3)
図9は、本発明の実施例3の構成を示す図である。図9において、OSD生成部19はOSD映像を生成し、さらにOSD映像の位置情報を出力する。フレームレート変換部20は入力された60pの映像を120pの映像にフレームレート変換して出力する。
【0055】
実施例3の動作は実施例2と同じであるが、2−3プルダウン検出部の動作をフレームレート変換部20が行う点が異なる。
【0056】
即ち、映像合成部13から出力された60pの合成映像が2−3プルダウンされた映像であるかどうかを検出し、その検出結果を変換情報としてOSD生成部19に出力する。その際、OSD生成部19からの位置情報を利用して、OSDが合成されている位置を除外することで精度良く2−3プルダウンを検出できる。
【0057】
フレームレート変換部20の変換情報を元に、実施例1と同様にOSD生成部19で24Hzに対応したOSDを生成して出力する。その後フレームレート変換部20で24Hzに対応したフレームレート変換を行って映像を出力する。
【0058】
実施例1乃至実施例3では、24Hzの映像に対応したフレームレート変換の例として、図5のような変換方法を示したが、本発明によれば、これら以外のHz数におけるフレームレート変換についても同様に実施することができる。
【図面の簡単な説明】
【0059】
【図1】実施例1の動作を表すフローチャート。
【図2】実施例1のOSD映像の生成を表すフローチャート。
【図3】実施例1のフレームレート変換を表すフローチャート。
【図4】2−3プルダウンがない場合の実施例1のフレームレート変換を示す図。
【図5】2−3プルダウンがある場合の実施例1のフレームレート変換を示す図。
【図6】実施例1及び2における映像信号処理装置の構成を示すブロック図。
【図7】実施例2におけるOSD生成部の詳細な構成を示すブロック図。
【図8】実施例2のフレームレート変換を示す図。
【図9】実施例3における映像信号処理装置の構成を示すブロック図。
【図10】従来の2−3プルダウンがされた場合のフレームレート変換を示す図。
【図11】従来の映像信号処理装置の構成を示すブロック図。
【図12】従来の2−3プルダウンがされた場合のフレームレート変換を示す別の図。
【図13】従来の映像信号処理装置の構成を示す別のブロック図。
【符号の説明】
【0060】
5 24Hz映像
6 入力映像
7 OSD元映像
8 OSD映像
9 合成映像
10 出力映像
12 OSD生成部
13 映像合成部
14 フレームレート変換部
61 受信部
【技術分野】
【0001】
本発明は、複数の映像を合成する映像信号処理方法及び映像信号処理装置に関する。
【背景技術】
【0002】
現行のテレビジョン放送では、通常60Hz(実際には59.94Hz)のフィールド周波数で映像が送信されている。このテレビジョン放送で、映画やフィルム撮影されたソースなど24Hzで作製されている映像ソースを送信する場合、2−3プルダウンと言われる方法が用いられている。これは、放送の5フィールドに映像ソースの2コマを割り当てる処理である。例えばソース映像の奇数コマを2フィールドに割り当て、偶数コマを3フィールドに割り当てることで、24Hzの映像を60Hzの放送信号に変換することができる。
【0003】
近年、液晶の動画表示特性の改善などのため、フレームレート変換を行い120Hzで動作するテレビジョン受像機が増えている。特開2001−346131号公報(特許文献1)には、このようなテレビジョン受像機で映画などの2−3プルダウンされた放送信号を表示する場合のフレームレート変換方法が記載されている。これは、入力された放送信号が2−3プルダウンされたものであることを検出すると、元の24Hzの映像ソースの各コマを5回連続して表示するフレームレート変換方法である。
【0004】
図10は24Hzの映像ソースを2−3プルダウンし、その放送信号を表示するまでの従来例の動作を示した図である。図10においては横方向が時間の流れを示し、P11、P12が各コマの映像を示している。映像ソース21は24Hzの映像信号、放送信号22は60Hzの映像信号、出力映像23は120Hzの映像信号である。映像ソース21から放送信号22を生成する場合には2−3プルダウンが行われる。すなわち、映像ソース21の各コマP11、P12が、放送信号22では2コマのP11、3コマのP12のように、各フィールドに割り当てられる。続いて、受像機が2−3プルダウンされた放送信号22を検出すると、各コマP11、P12を抜き出して、それぞれ出力映像23の5フレームずつに割り当てる。このようにすることで、120Hzで映像信号を表示する場合であっても、P11、P12を元の映像ソース22と同じ時間間隔で表示することができる。
【0005】
このようなテレビジョン受像機で60HzのOSD(on−screen display)映像を入力映像に合成する場合の構成例を図11に示す。OSD映像とは、入力映像にスーパーインポーズして表示する映像のことであり、アイコンや写真などのグラフィックスや文字などで構成されている。
【0006】
図11において、2−3プルダウン検出部24は入力映像が2−3プルダウンにより変換された映像であるかを検出して変換情報として出力する。OSD生成部25は入力映像にスーパーインポーズするOSD映像を生成する。映像合成部26は入力映像とOSD映像を合成して出力する。フレームレート変換部27は2−3プルダウン検出部24の変換情報を元に合成映像のフレームレートを120Hzに変換して出力する。
【0007】
このような構成における動作の例を図12に示す。図12において、入力映像28は2−3プルダウンされた60Hzの映像、OSD映像29は入力映像28に合成する60Hzの映像である。また、合成映像30は入力映像28とOSD映像29を合成した映像、出力映像31は合成映像30をフレームレート変換して120Hzに変換した映像である。P13、P14は入力映像28の各コマであり、同じ符号のコマは同じソースから2−
3プルダウンされている。D13、D14、D15、D16、D17はOSD映像29の各コマを示している。
【0008】
入力映像28は2−3プルダウンによりP13が2コマ、P14が3コマで入力されている。この入力映像にOSD映像29を合成すると合成映像30のようになり、1コマ目はP13とD13の合成映像、2コマ目はP13とD14の合成映像、3コマ目はP14とD15の合成映像が得られる。この合成映像を上述した方法で120Hzに変換すると出力映像31のようになり、D14、D16、D17のOSD映像が欠落してしまう。また、OSD映像が時間方向において不均等に表示されるため違和感のある映像となってしまう。
【0009】
このような問題を解決する技術として、特開2004−120757号公報(特許文献2)が開示されている。図13は特許文献2の構成例を示す図である。図13において、OSD生成部32はOSDの映像を出力する。映像合成部33は制御信号の情報を元に入力映像とOSD生成部32から出力されたOSD映像を合成し、映像処理部34は制御信号の情報を元に合成映像に処理を加えて出力する。
【0010】
特許文献2では、合成されたOSD映像部分と、入力映像部分でそれぞれ異なるフレームレート変換方法をスイッチング選択により切り換えて処理する。例えば、OSD映像部分では全てのフレームを使用して映像を出力するようにすることで、OSD映像部分の映像の欠落や不均等な映像再生を防ぐことができる。
【特許文献1】特開2001−346131号公報
【特許文献2】特開2004−120757号公報
【発明の開示】
【発明が解決しようとする課題】
【0011】
上述した従来の技術では、合成映像に対して、各部分ごとにフレームレート変換方法を切り換える。しかし、この方法によって透過性のあるOSD映像を合成した場合、OSD映像と、OSD映像に重ならない部分にある入力映像の境界部分で、フレームレート変換方法の違いによる違和感が発生してしまう。
【0012】
また、上述した従来の技術では、合成するOSD映像の位置情報やそのフレームレート変換方法を指定し、フレームレート変換方法を切り換える処理が必要となる。そのため、システムの負荷増大や肥大化が課題であった。
【0013】
本発明は上記実情に鑑みてなされたものであって、簡単な構成でOSD映像の欠落や不均等を解消し、かつOSD映像の合成部分とそれ以外の部分の映像の違和感を抑えることができる映像信号処理方法及び装置を提供することを目的とする。
【課題を解決するための手段】
【0014】
上記目的を達成するために本発明の第一の発明は以下の構成を採用する。すなわち、
第一のフレームレートを持つ第一の映像信号を受信するステップと、
第一のフレームレートを持つ第二の映像信号を生成する生成ステップと、
前記第一の映像信号および第二の映像信号から第一のフレームレートを持つ合成信号を作成する合成ステップと、
前記合成信号を第三のフレームレートに変換する変換ステップとを有し、
前記第一の映像信号に、第二のフレームレートから第一のフレームレートに変換する前処理が施されていた場合、前記生成ステップは、前記第二の映像信号の元信号を第二のフレームレートで生成するステップと、前記元信号を第一のフレームレートに変換することにより前記第二の映像信号を生成するステップを含む
ことを特徴とする映像信号処理方法である。
【0015】
また、本発明の第二の発明は以下の構成を採用する。すなわち、
第一のフレームレートを持つ第一の映像信号を受信する受信部と、
第一のフレームレートを持つ第二の映像信号を生成する生成部と、
前記第一の映像信号および第二の映像信号から第一のフレームレートを持つ合成信号を作成する合成部と、
前記合成信号を第三のフレームレートに変換する変換部とを備え、
前記第一の映像信号に、第二のフレームレートから第一のフレームレートに変換する前処理が施されていた場合、前記生成部は前記第二の映像信号の元信号を第二のフレームレートで生成し、前記元信号を第一のフレームレートに変換することにより前記第二の映像信号を生成する
ことを特徴とする映像信号処理装置である。
【発明の効果】
【0016】
本発明によれば、OSD映像信号の欠落がなく、時間的に均等にフレームレート変換されるようにOSD映像信号を生成して入力映像と合成することにより、簡単な構成でOSD映像の欠落を解消できる。また、OSD映像の合成部分とそれ以外の部分の映像の違和感を抑えることができる。
【発明を実施するための最良の形態】
【0017】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
【0018】
(実施例1)
実施例1は本発明の映像信号処理方法の例であり、その構成を図6のブロック図を用いて説明する。本実施例の装置は、受信部61で放送信号である60Hzのインターレース映像信号(60i)を受信し、IP変換部62で60Hzのプログレッシブ映像信号(60p)に変換している。図6において、この60pの映像信号を入力映像として扱う。
【0019】
2−3プルダウン検出部11は入力映像(60p)が2−3プルダウンにより24Hzから変換された映像であるかを検出して変換情報として出力する。OSD生成部12は入力映像に合成するOSD映像(60p)を生成する。映像合成部13は入力映像とOSD映像を合成して合成映像を出力する。フレームレート変換部14は2−3プルダウン検出部11の変換情報を元に合成映像のフレームレートを120Hz(120p)に変換して出力する。
【0020】
なお、上述した入力映像は本発明における第一の映像信号に、OSD映像は第二の映像信号に、合成映像は合成信号に、それぞれ該当する。また、本発明における第一のフレームレートは本実施例では60Hzであり、第二のフレームレートは24Hzであり、第三のフレームレートは120Hzである。
【0021】
続いて、実施例1で行う処理の流れを図1〜図3のフローチャートを用いて説明する。
【0022】
図1において、動作が開始されると、2−3プルダウン検出部11は入力映像が2−3プルダウンされた映像であるかを判定する(ステップS1)。
【0023】
2−3プルダウンされた映像であった場合には、24Hzに対応したフレームレート変換処理を行うため、2−3プルダウン検出部11は入力映像が2−3プルダウンされた映像であるという情報を変換情報として出力する(ステップS2)。2−3プルダウンされた映像でなかった場合、2−3プルダウン検出部11は入力映像が2−3プルダウンされ
た映像ではないという情報を変換情報として出力する(ステップS3)。
【0024】
そして、OSD生成部12はステップS2またはステップS3で出力された変換情報に従ったOSD映像を生成して出力する(ステップS4)。
【0025】
生成されたOSD映像は映像合成部13によって入力映像と合成して出力され(ステップS5)、フレームレート変換部14ではステップS2またはステップS3で出力された変換情報に応じたフレームレート変換を行い、映像を出力する(ステップS6)。
【0026】
図2は変換情報に従ったOSD映像の生成(ステップS4)の動作を説明するフローチャートである。図2において、映像信号の入力が開始されると、2−3プルダウン検出部11は、変換情報の内容を確認し、入力映像が2−3プルダウンであるかを判定する(ステップS7)。
【0027】
入力映像が2−3プルダウンであった場合、OSD生成部12は24Hzで再生されたときに動きの違和感が無いように24HzのタイミングでOSDの映像を作成(OSD元映像)する(ステップS8)。さらに前記OSD元映像を放送と同様のタイミングで映像が表示されるように60HzのOSD映像に変換して出力する(ステップS9)。なお、2−3プルダウンが本発明における前処理に当たり、OSD元映像が本発明における元信号に当たる。
【0028】
一方、入力映像が2−3プルダウンでなかった場合、OSD生成部12は、直接に、60HzのタイミングでOSDの映像を生成して出力する(ステップS10)。
【0029】
図3はフレームレート変換(ステップS6)の動作を説明するフローチャートである。図3において、動作が開始されると、フレームレート変換部14は変換情報が2−3プルダウンであるかを判定する(ステップS11)。
【0030】
入力映像が2−3プルダウンであった場合、フレームレート変換部14は、まず合成映像の1コマ目を1/120秒の映像として5回繰り返して出力する。次に合成映像の3コマ目を1/120秒の映像として5回繰り返して出力する(ステップS12)。この方法によれば、同じ1/120秒の1コマを5回繰り返すことで1コマの映像を1/24秒間表示することになる。これにより、映像の欠落や動きの違和感なく元の24Hzの映像を再生することができる。
【0031】
入力映像が2−3プルダウンでなかった場合、フレームレート変換部14は、合成映像からフレーム内補間またはフレーム間補間により、60Hzの映像を変換して120Hzの映像を作成し、出力する(ステップS13)。
【0032】
図4は入力映像が2−3プルダウンではない場合の動作例であり、図2のステップS10及び図3のステップS13に相当する。図4において、入力映像1は60pで入力された映像、OSD映像2は60pで生成されたOSDの映像である。また、合成映像3は入力映像1とOSD映像2を合成して得られた60pの映像、出力映像4は60pの合成映像3をフレームレート変換した120pの映像である。P1〜P5は入力映像1の各コマ、D1〜D5はOSD映像2の各コマを示している。合成映像3は、入力映像1にOSD映像2が合成された状態を表している。P1aはP1及びP2から補間して作成された映像、D1aはD1及びD2から補間して作成された映像である。P2a〜P5a、D2a〜D5aも同様にして補間して作成された映像を示している。
【0033】
このように、2−3プルダウンではない場合のフレームレート変換においては、入力映
像の各コマ間の映像が補間により生成され、違和感のない映像が出力される。
【0034】
図5は入力映像が2−3プルダウンである場合の動作例であり、図2のステップS8及びステップS9、図3のステップS12に相当する。図5において、24Hz映像5は映画フィルムなどの24Hzで作成された映像である。入力映像6は24Hz映像5から2−3プルダウンにより60iの映像に変換され、テレビジョン受像機に入力された後、IP変換部により60pに変換された映像である。OSD元映像7は24Hzに対応したフレームレート変換を行う場合に生成されるOSDの映像、OSD映像8はOSD元映像7を元に変換されて実際に出力する映像である。合成映像9は入力映像6とOSD映像8を合成して得られた映像、出力映像10は60pの合成映像9をフレームレート変換した120pの映像である。
【0035】
2−3プルダウンされた映像が入力された場合、特許文献1にあるような従来例では、OSD映像の一部が欠落してしまうため違和感が生じるという課題があった。しかし、本実施例1では、2−3プルダウンされた映像が入力された場合、まず図5のように、2−3プルダウンされる前の24Hz映像5と同期した24HzのOSD元映像7が生成される。続いて、2−3プルダウンと同様の変換を行ってOSD映像8を出力する。続いて、P6とD6、及びP7とD7がそれぞれ合成され合成映像9として出力される。そして1/24秒内にP6とD6が合成された1/120秒の映像が5回、次の1/24秒内にP7とD7が合成された1/120秒の映像が5回繰り返された出力映像に変換されて出力される。従って、OSD映像の一部が欠落することがない。また、出力映像10中のOSDの映像は24Hzで等間隔に生成されたものであるため、違和感のない映像を出力することができる。
【0036】
また、特許文献2にあるような従来例では、入力映像に透過性のあるOSD映像を合成した場合、OSD映像部と透過部分のフレームレート変換処理の違いにより、境界部分において映像の違和感が生じていた。しかし、本実施例1では、OSD映像部と透過部分に同じフレームレート変換処理が施されるため、変換処理の違いによる映像の違和感が発生することはない。
【0037】
また、本実施例1では、合成するOSD映像の位置情報やそのフレームレート変換方法を指定する必要がないため、システムの負荷や肥大化を抑えることができる。
【0038】
以上の説明では、合成映像から出力映像に変換する際、合成映像の1コマ目と3コマ目をそれぞれ5回繰り返すようにしている。しかし、合成映像の1コマ目と2コマ目から5回の繰り返し映像を、合成映像の3コマ目乃至5コマ目から5回の繰り返し映像を出力するようにすれば同様の出力映像が得られる。
【0039】
また、図5のように、OSD生成部にて一度24HzのOSD元映像7を生成し(D6、D7)、60Hzに変換してOSD映像8を作成して(D6、D6、D7、D7、D7)出力するようになっている。しかし、はじめからOSD映像8のような60Hzの映像を出力するようにしても良い。この場合、60Hzへの変換ステップが不要となり、さらにシステムを簡略化できる。
【0040】
以上のように、本実施例1では、OSD映像の欠落による違和感を解消し、かつOSD映像の合成部分とそれ以外の部分の映像の違和感を抑えることができる。
【0041】
(実施例2)
実施例2における映像信号処理装置は、実施例1と同様に図6のブロック図で表される。装置の各ブロックの名称及び機能は実施例1と同じであるため説明を省略する。
【0042】
このような映像信号処理装置のうち、OSD生成部12の構成について図7を用いてさらに詳細に説明する。
【0043】
図7において、クロック出力部121は2−3プルダウン検出部11からの変換情報に応じてクロックを切り換えて発生して出力する。OSD出力部122はクロック出力部121から出力されたクロックに同期してOSD元映像を生成する。メモリ123はOSD出力部122のOSD元映像を一時的に記憶する。OSD読出し部124はメモリ123に記憶されたOSD元映像を60Hzの一定周期で読み出して出力する。
【0044】
実施例2で2−3プルダウンがあった場合の動作を、図8を用いて説明する。図8において、OSD元映像15は24Hzの映像であり、OSD出力部122によって生成され、メモリ123に一時的に記憶される。OSD映像16は60Hzの映像であり、OSD読出し部124によってメモリ123から60Hzの周期で読み出され、出力される。合成映像17は映像合成部13により入力映像とOSD映像が合成された映像である。出力映像18はフレームレート変換部14により合成映像が120Hzに変換された映像である。
【0045】
クロック出力部121は、OSD出力部122が入力映像6の1コマ目と同じタイミングでOSD元映像15の1コマ目(D8)を出力する。その1/24秒後に次のコマ(D9)を出力するようにクロックを発生する。
【0046】
このようにして出力されたOSD元映像は、次のOSD元映像が出力されるまで一時的にメモリ123に記憶される。OSD読出し部124は、入力映像6の1コマ目から1/120秒遅延したタイミングでメモリ124からOSD元映像15を読出して、1/60秒のOSD映像16として出力する。
【0047】
この出力を2回繰り返すことにより、OSD元映像15の1コマ目に基づくOSD映像16を2コマ出力する。続いてOSD読出し部124は、OSD元映像16の2コマ目(D9)からOSD映像16を3コマ繰り返して出力する。従って、OSD元映像15に対する変換処理は、入力映像6に対する変換処理と同様である。
【0048】
続いて、映像合成部13は、入力映像6と合成映像17を合成して出力する。続いて、フレームレート変換部18は、合成映像17の1コマ目と3コマ目をそれぞれ5回繰り返して120Hzの映像として出力する。
【0049】
一方、2−3プルダウン検出部11が2−3プルダウンを検出しなかった場合、クロック出力部121は1/60秒ごとにクロックを発生する。OSD出力部122はこのクロックに従って、60Hzの周期でOSD元映像を出力する。
【0050】
そのため、OSD映像読出し部124がメモリ123から読み出す映像は、60Hzで生成されたOSD元映像と同じ映像となる。
【0051】
続いて、映像合成部13は、入力映像6と合成映像17を合成して出力する。続いて、フレームレート変換部18は、合成映像からフレーム内補間またはフレーム間補間により60Hzの映像を120Hzの映像に変換して出力する。
【0052】
以上の説明では、OSD出力部122が入力映像6の1コマ目と同じタイミングでOSD元映像15の1コマ目を出力するようにしている。しかし、1/30秒遅延して出力するようにして、同様にOSD元映像15を入力映像6と同様の変換を行ったように出力す
ることができる。この場合、OSD読出し部124がメモリ123から映像を読出すタイミングは遅延する必要がない。
【0053】
以上のように構成することで、OSD映像の欠落による違和感を解消し、かつOSD映像の合成部分とそれ以外の部分の映像の違和感を抑えることができる。
【0054】
(実施例3)
図9は、本発明の実施例3の構成を示す図である。図9において、OSD生成部19はOSD映像を生成し、さらにOSD映像の位置情報を出力する。フレームレート変換部20は入力された60pの映像を120pの映像にフレームレート変換して出力する。
【0055】
実施例3の動作は実施例2と同じであるが、2−3プルダウン検出部の動作をフレームレート変換部20が行う点が異なる。
【0056】
即ち、映像合成部13から出力された60pの合成映像が2−3プルダウンされた映像であるかどうかを検出し、その検出結果を変換情報としてOSD生成部19に出力する。その際、OSD生成部19からの位置情報を利用して、OSDが合成されている位置を除外することで精度良く2−3プルダウンを検出できる。
【0057】
フレームレート変換部20の変換情報を元に、実施例1と同様にOSD生成部19で24Hzに対応したOSDを生成して出力する。その後フレームレート変換部20で24Hzに対応したフレームレート変換を行って映像を出力する。
【0058】
実施例1乃至実施例3では、24Hzの映像に対応したフレームレート変換の例として、図5のような変換方法を示したが、本発明によれば、これら以外のHz数におけるフレームレート変換についても同様に実施することができる。
【図面の簡単な説明】
【0059】
【図1】実施例1の動作を表すフローチャート。
【図2】実施例1のOSD映像の生成を表すフローチャート。
【図3】実施例1のフレームレート変換を表すフローチャート。
【図4】2−3プルダウンがない場合の実施例1のフレームレート変換を示す図。
【図5】2−3プルダウンがある場合の実施例1のフレームレート変換を示す図。
【図6】実施例1及び2における映像信号処理装置の構成を示すブロック図。
【図7】実施例2におけるOSD生成部の詳細な構成を示すブロック図。
【図8】実施例2のフレームレート変換を示す図。
【図9】実施例3における映像信号処理装置の構成を示すブロック図。
【図10】従来の2−3プルダウンがされた場合のフレームレート変換を示す図。
【図11】従来の映像信号処理装置の構成を示すブロック図。
【図12】従来の2−3プルダウンがされた場合のフレームレート変換を示す別の図。
【図13】従来の映像信号処理装置の構成を示す別のブロック図。
【符号の説明】
【0060】
5 24Hz映像
6 入力映像
7 OSD元映像
8 OSD映像
9 合成映像
10 出力映像
12 OSD生成部
13 映像合成部
14 フレームレート変換部
61 受信部
【特許請求の範囲】
【請求項1】
第一のフレームレートを持つ第一の映像信号を受信するステップと、
第一のフレームレートを持つ第二の映像信号を生成する生成ステップと、
前記第一の映像信号および第二の映像信号から第一のフレームレートを持つ合成信号を作成する合成ステップと、
前記合成信号を第三のフレームレートに変換する変換ステップとを有し、
前記第一の映像信号に、第二のフレームレートから第一のフレームレートに変換する前処理が施されていた場合、前記生成ステップは、前記第二の映像信号の元信号を第二のフレームレートで生成するステップと、前記元信号を第一のフレームレートに変換することにより前記第二の映像信号を生成するステップを含む
ことを特徴とする映像信号処理方法。
【請求項2】
前記生成ステップは、前記第一の映像信号に前記前処理が施されていなかった場合、直接に第一のフレームレートを持つ第二の映像信号を生成するものである
ことを特徴とする請求項1に記載の映像信号処理方法。
【請求項3】
前記第一のフレームレートは60Hzであり、前記第二のフレームレートは24Hzであり、前記第三のフレームレートは120Hzであり、
前記前処理は、2−3プルダウンによって前記第一の映像信号を作成するものである
ことを特徴とする請求項1または2に記載の映像信号処理方法。
【請求項4】
第一のフレームレートを持つ第一の映像信号を受信する受信部と、
第一のフレームレートを持つ第二の映像信号を生成する生成部と、
前記第一の映像信号および第二の映像信号から第一のフレームレートを持つ合成信号を作成する合成部と、
前記合成信号を第三のフレームレートに変換する変換部とを備え、
前記第一の映像信号に、第二のフレームレートから第一のフレームレートに変換する前処理が施されていた場合、前記生成部は前記第二の映像信号の元信号を第二のフレームレートで生成し、前記元信号を第一のフレームレートに変換することにより前記第二の映像信号を生成する
ことを特徴とする映像信号処理装置。
【請求項5】
前記第一のフレームレートは60Hzであり、前記第二のフレームレートは24Hzであり、前記第三のフレームレートは120Hzであり、
前記前処理は、2−3プルダウンによって前記第一の映像信号を作成するものである
ことを特徴とする請求項4に記載の映像信号処理装置。
【請求項1】
第一のフレームレートを持つ第一の映像信号を受信するステップと、
第一のフレームレートを持つ第二の映像信号を生成する生成ステップと、
前記第一の映像信号および第二の映像信号から第一のフレームレートを持つ合成信号を作成する合成ステップと、
前記合成信号を第三のフレームレートに変換する変換ステップとを有し、
前記第一の映像信号に、第二のフレームレートから第一のフレームレートに変換する前処理が施されていた場合、前記生成ステップは、前記第二の映像信号の元信号を第二のフレームレートで生成するステップと、前記元信号を第一のフレームレートに変換することにより前記第二の映像信号を生成するステップを含む
ことを特徴とする映像信号処理方法。
【請求項2】
前記生成ステップは、前記第一の映像信号に前記前処理が施されていなかった場合、直接に第一のフレームレートを持つ第二の映像信号を生成するものである
ことを特徴とする請求項1に記載の映像信号処理方法。
【請求項3】
前記第一のフレームレートは60Hzであり、前記第二のフレームレートは24Hzであり、前記第三のフレームレートは120Hzであり、
前記前処理は、2−3プルダウンによって前記第一の映像信号を作成するものである
ことを特徴とする請求項1または2に記載の映像信号処理方法。
【請求項4】
第一のフレームレートを持つ第一の映像信号を受信する受信部と、
第一のフレームレートを持つ第二の映像信号を生成する生成部と、
前記第一の映像信号および第二の映像信号から第一のフレームレートを持つ合成信号を作成する合成部と、
前記合成信号を第三のフレームレートに変換する変換部とを備え、
前記第一の映像信号に、第二のフレームレートから第一のフレームレートに変換する前処理が施されていた場合、前記生成部は前記第二の映像信号の元信号を第二のフレームレートで生成し、前記元信号を第一のフレームレートに変換することにより前記第二の映像信号を生成する
ことを特徴とする映像信号処理装置。
【請求項5】
前記第一のフレームレートは60Hzであり、前記第二のフレームレートは24Hzであり、前記第三のフレームレートは120Hzであり、
前記前処理は、2−3プルダウンによって前記第一の映像信号を作成するものである
ことを特徴とする請求項4に記載の映像信号処理装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2010−35092(P2010−35092A)
【公開日】平成22年2月12日(2010.2.12)
【国際特許分類】
【出願番号】特願2008−197440(P2008−197440)
【出願日】平成20年7月31日(2008.7.31)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
【公開日】平成22年2月12日(2010.2.12)
【国際特許分類】
【出願日】平成20年7月31日(2008.7.31)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
[ Back to top ]