映像信号処理装置および映像信号処理方法
【課題】複数の映像を同一ディスプレイ上に多画面表示する際に、フレームシンクロ処理により生じる、ユーザに違和感を与える映像の動きのガタツキを目立たなくさせる。
【解決手段】フレームシンクロ部は、リピート、スキップに好適なシーンを検出するシンクロタイミング検出部と、シンクロタイミング検出部から通知されたタイミングに基づいてフレームメモリへの書き込み、読み出しアドレスを制御するアドレス制御部を備えることにより、フレームメモリから読み出すフレームをリピート、スキップすることタイミングを調整する。
また、フレームシンクロ部は、時間的に連続する複数のフレームから中間位相の補間フレームを生成する補間フレーム生成部を備え、リピート、スキップされる周辺のフレームを、フレーム間隔が時間的にほぼ均等となるような補間フレームに置き換える。
【解決手段】フレームシンクロ部は、リピート、スキップに好適なシーンを検出するシンクロタイミング検出部と、シンクロタイミング検出部から通知されたタイミングに基づいてフレームメモリへの書き込み、読み出しアドレスを制御するアドレス制御部を備えることにより、フレームメモリから読み出すフレームをリピート、スキップすることタイミングを調整する。
また、フレームシンクロ部は、時間的に連続する複数のフレームから中間位相の補間フレームを生成する補間フレーム生成部を備え、リピート、スキップされる周辺のフレームを、フレーム間隔が時間的にほぼ均等となるような補間フレームに置き換える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の映像を同一ディスプレイ上に多画面表示する際に、映像の動きを滑らかにする映像信号処理装置および方法に関する。
【背景技術】
【０００２】
近年、ＤＴＶ（デジタルテレビ）等において、複数の映像を同一ディスプレイ上に同時に表示する多画面表示が一般的になりつつある。ディスプレイの大画面、高精細化も一助となり、ユーザは多チャンネル同時表示や、放送と録画機器、または、外部ネットワークを通じて提供されるコンテンツの再生等の同時表示などを楽しむことが可能となる。
【０００３】
複数の映像ソースを多画面表示する場合に、その画面表示のために用いる同期信号が一つであることから、ＤＴＶでは複数の映像ソースのいずれかの垂直同期信号に同期して映像を表示する必要がある。この際に選択する映像ソースとして、画面サイズが最も大きい、ユーザが最も注視したい映像（以下、主映像と記す）を選択する。この主映像の垂直同期信号（以下、Ｖ同期と記す）を基準として、他の映像（以下、副映像と記す）を表示させる必要がある。ＰＣ等では、フリーラン生成したＶ同期を基準に全ての映像を表示させる場合もある（特許文献１、特許文献２）。
【０００４】
このとき、主映像と副映像のＶ同期は互いに異なる周波数であることから、副映像を主映像に同期させて表示するためにフレームシンクロナイズ（以下、フレームシンクロと記す）と呼ばれる処理を行うのが一般的である。フレームシンクロナイズにおいて、主映像のＶ同期に従って、副映像のフレームを読み出すことで副映像を同調させる。この結果、一定周期で副映像のフレームが間引かれて（スキップ処理）表示したり、繰返して（リピート処理）表示したりする。例えば、主映像のＶ同期が５９．９４Ｈｚであり、副映像のＶ同期が６０．００Ｈｚの場合、副映像は約１０００フレーム（約１６．７秒）毎にフレームが１枚スキップされる。
【０００５】
しかしながら、このフレームシンクロ処理は、一定周期でフレームをスキップしたり、リピートしたりして表示するため、表示される映像のフレーム再生が時間的に不連続になることとなる。例えば、カメラが一定期間パンしたり、チルトしたりするような場面では、映像の動きにガタツキ（ジャダー）が生じてしまい、ユーザに違和感を与え、視聴品位を損なうという課題がある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−３４１１３２号公報
【特許文献２】特開２００７−２７１８４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
そこで本発明は、複数の映像を同時に表示する、多画面表示する場合において、フレームシンクロ処理によるジャダーを軽減し、スムースで高品位な映像表示を行うことを目的とするものである。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明における映像信号処理装置は、複数の映像を画面に同時に表示するための表示用画面を生成する映像信号処理装置であって、複数の前記映像の映像信号を入力する映像入力部と、フリーラン垂直同期信号、または、複数の前記映像信号のうちの一つの映像信号における垂直同期信号を基準として、前記表示用画面を表示するための同期信号である表示同期信号を生成する表示同期生成部と、前記映像入力部から入力した複数の前記映像信号を、前記表示同期信号に同期して出力するフレームシンクロ部と、前記フレームシンクロ部から出力した複数の映像信号を合成して前記表示用画面として生成する多画面合成部とを備え、前記フレームシンクロ部は、複数の前記映像信号のうち、前記表示同期信号とは同期ずれが発生する映像信号に対して、同期ずれを解消する適当な期間を判定するシンクロタイミング検出部を備え、前記シンクロタイミング検出部で判定した期間において、前記表示同期信号とは同期ずれが発生する映像信号に対して、同じ時刻のフレームを繰り返して出力するか、または、フレームを間引いて出力することで同期ずれを解消する。
【０００９】
また、本発明の映像信号処理装置は、複数の映像を画面に同時に表示するための表示用画面を生成する映像信号処理装置であって、複数の前記映像の映像信号を入力する映像入力部と、フリーラン垂直同期信号、または、複数の前記映像信号のうちの一つの映像信号における垂直同期信号を基準として、前記表示用画面を表示するための同期信号である表示同期信号を生成する表示同期生成部と、前記映像入力部から入力した複数の前記映像信号を、前記表示同期信号に同期して出力するフレームシンクロ部と、前記フレームシンクロ部から出力した複数の映像信号を合成して前記表示用画面として生成する多画面合成部とを備え、前記フレームシンクロ部は、複数の前記映像信号のうち、前記表示同期信号とは同期ずれが発生する映像信号に対して、時間的に連続する複数のフレームから中間位相の補間フレームを生成する補間フレーム生成部を備え、前記表示同期信号とは同期ずれが発生する映像信号に対して、同期ずれを解消する期間においては、当該映像信号に代わり前記補間フレーム生成部で生成した中間フレームに置き換えることで同期ずれを解消する。
【発明の効果】
【００１０】
本発明によれば、複数の映像を多画面表示する場合において、フレームシンクロ処理によるジャダーを軽減し、スムースで高品位な映像表示が可能となる。
【図面の簡単な説明】
【００１１】
【図１】実施の形態における映像信号処理装置の構成図
【図２】実施の形態１におけるフレームシンクロ部の構成図
【図３】従来のフレームシンクロにおけるアドレス制御の説明図
【図４】実施の形態におけるアドレス制御の説明図
【図５】実施の形態２におけるフレームシンクロ部の構成図
【図６】実施の形態２におけるフレーム置き換えの説明図
【図７】実施の形態１におけるフレームシンクロ処理のフローチャート
【図８】実施の形態２における同期ずれの解消を表すフローチャート
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００１３】
図１に示すように、実施の形態における映像信号処理装置は、映像入力部１００、表示同期生成部２００、フレームシンクロ部３００、フレームメモリ４００、多画面合成部５００、映像表示部６００で構成される。
【００１４】
複数の映像信号は、映像入力部１００から入力され、表示同期生成部２００、フレームシンクロ部３００に出力される。
【００１５】
表示同期生成部２００は、入力した映像信号を表示するための表示同期信号である表示Ｖ同期を生成する。この表示Ｖ同期信号としては、入力した複数の映像信号のうちの一つの映像信号から、その垂直信号同期（Ｖｓｙｎｃ同期、以降Ｖ同期と表す）を用いることができる。また、クロック発生器（図示せず）により可変となるクロックを発生して、所定の表示同期信号の周波数（例えば６０Ｈｚ）に至るまで、クロックを徐々に変化させたものを、表示Ｖ同期信号として用いることができる。このようにクロックを徐々に変化して発生させた同期信号を、フリーランＶ同期と呼ぶ。
【００１６】
フレームシンクロ部３００は、映像入力部１００から入力された複数の映像信号を、フレームメモリ４００に一旦格納し、表示同期生成部２００で生成された表示Ｖ同期に同期させて、フレームメモリ４００に格納された複数の映像信号を読み出す。フレームシンクロ部３００は、読み出した映像信号を多画面合成部５００へ出力する。
【００１７】
多画面合成部５００は、フレームシンクロ部３００から出力された複数の映像信号を、表示画面上に配置し、合成した映像を映像表示部６００へ出力する。
【００１８】
映像表示部６００は、多画面合成部５００から出力された映像を表示する。
【００１９】
次に、フレームシンクロ部３００について詳しく説明する。
【００２０】
（実施の形態１）
図２は、実施の形態１におけるフレームシンクロ部３００の構成図である。
【００２１】
フレームシンクロ部３００は、シンクロタイミング検出部３１０と、アドレス制御部３２０とで構成される。シンクロタイミング検出部３１０は、映像の動き量を検出する動き検出部３１１と、映像の切り替わりを検出するシーンチェンジ検出部３１２とを備える。
【００２２】
フレームシンクロ部３００は、フレームメモリ４００に格納された、入力された映像信号それぞれに対して、そのフレームを繰り返して読み出す処理（リピート処理）や、映像信号を飛び越す処理（スキップ処理）をすることにより、入力された映像信号を読み出す。入力された映像信号を読み出すタイミングは、表示同期信号に映像を同期させる部分であって、リピート処理やスキップ処理に好適なシーンで行われる。
【００２３】
シンクロタイミング検出部３１０は、リピート処理や、スキップ処理に好適なシーンを検出する。
【００２４】
アドレス制御部３２０は、シンクロタイミング検出部３１０から通知されたタイミングに基づいてフレームメモリ４００への書き込みや、読み出しのアドレスを制御する。
【００２５】
次に、上述した構成について具体例を挙げて、その動作を後述する。
【００２６】
その前に、図３を用いて従来のフレームシンクロの動作を説明する。図３は、フレームメモリへの書き込み、読み出しアドレスの従来の制御を示した説明図である。
【００２７】
従来のアドレス制御部（図示せず）は、入力となる映像信号のＶ同期と、画面表示するための表示用同期信号とを受ける。入力となる映像信号は、書き込みアドレスに従い、フレームメモリに書き込まれる。その際に、入力Ｖ同期に同期して書き込みアドレスをカウントアップし、バッファ可能なフレーム数を超えた時点で書き込みアドレスを０にリセットする。
【００２８】
一方、表示するための映像信号は、読み出しアドレスに従って、フレームメモリから読み出される。その際に、読み出しアドレスは、（表示用同期信号のタイミングにおける書き込みアドレス）−（所定の位相差）として求める。図３の場合には、位相差を１としている。
【００２９】
このように、書き込みアドレスと、読み出しアドレスを制御することで、入力した映像信号を画面表示するための表示用同期信号に同期させて表示させる。
【００３０】
従来のアドレス制御を行うことにより、入力Ｖ同期と表示同期信号との周波数が同じである場合は、同期して出力させることが可能だが、入力Ｖ同期と表示用同期信号と間の周波数に差がある場合には、入力された映像信号を飛び超すスキップや、反対に、入力された映像信号が繰り返して表示されるリピートが発生する。
【００３１】
例えば、入力Ｖ同期よりも表示用同期信号の周波数が遅い場合を図３（Ａ）に示す。図３（Ａ）では、書き込みアドレス「２」を書き込み途中で発生した表示同期信号に対して、フレーム「１」を読み込みアドレスで指定されている。続く、書き込みアドレス「３」で書き込み、さらに書き込みアドレス「４」で書き込みをしている途中で表示同期信号が発生している。このため、書き込みアドレス「４」の位相差が１である、フレーム「３」を読み込みアドレスとして指定する。このように入力された映像信号の「２」のフレームが飛び越されて読み出されるフレームスキップが生じる。
【００３２】
また、入力Ｖ同期よりも表示用同期信号の周波数が早い場合を図３（Ｂ）に示す。図３（Ｂ）では、書き込みアドレス「３」を書き込み途中に、表示同期信号が２回発生している。このため、２回の表示同期信号に対応する読み出しアドレスはフレーム「２」を指定する。このように入力された映像信号の「２」のフレームが繰り返されて読み出されるフレームリピートが生ずる。
【００３３】
以上のように、従来のアドレス制御では、ジャダー（ｊｕｄｄｅｒ）と呼ばれる、同じフレームが繰り返されたり、フレームがスキップされることによる飛びが発生したりすることが、一定の期間ごとに繰り返して生じる。このため、表示される場面によって、ユーザは違和感を感じることがある。
【００３４】
映像が静止している場面、または動きの極端に激しい場面、または場面が変化する（シーンチェンジの）際のブラックアウトや、ホワイトアウト等の発生する場面では、ユーザによってジャダーが知覚されにくい。
【００３５】
そこで本実施の形態では、このことに着目し、これらの場面でフレームを繰り返して再生させるリピート処理や、フレームを飛び越して再生させるスキップ処理による、ジャダーを発生させることにより、ユーザに知覚されにくくすることを特徴とする。
【００３６】
動き検出部３１１およびシーンチェンジ検出部３１２は、映像が静止している静止場面、または、動きの極端に激しい場面、または、シーンチェンジを検出する。
【００３７】
静止場面か、または、動きの極端に激しい場面かの区別としては、次のように指定を行う。入力映像の各フレームの時間的に連続したフレームについて、それぞれのフレームをいくつかの小領域に分割し、対応する分割した小領域の、前後のフレームでの輝度差の総和を求める。この総和が０に近いほど静止シーン、総和が大きいほど動きの極端に激しい場面、または、シーンチェンジとして判断できる。静止シーンと判定するための所定の閾値と、動きの極端に激しい場面やシーンチェンジとして判断するための所定の閾値を設けて、フレーム間の輝度差の総和とそれぞれの閾値とを大小関係することにより、静止シーン、動きの極端に激しい場面やシーンチェンジであるとの判断を行う。また、シーンチェンジの検出は、入力映像のフレーム全体の平均輝度と、入力映像のフレーム以前との数フレームの平均輝度との差が大きくなる部分をシーンチェンジと判定しても構わない。
【００３８】
シンクロタイミング検出部３１０は、動き検出部３１１、シーンチェンジ検出部３１２で検出した、静止場面、動きの激しい場面、シーンチェンジが発生する場面に、リピート処理、スキップ処理の好適なタイミングとしてアドレス制御部３２０に通知する。
【００３９】
図４は、アドレス制御部３２０におけるフレームメモリ４００への書き込み、および、読み出しアドレスの制御を示した説明図である。図４において、スキップ処理の場合を例示しているが、リピート処理についても同様にできる。
【００４０】
図４において、位相差を４としている。また、フレームメモリの大きさも８フレーム分、つまり、アドレスとしては「０」〜「７」まで用意されているものとする。
【００４１】
アドレス制御部３２０で生成する書き込みアドレスは、入力Ｖ同期によりカウントアップする。
【００４２】
一方、読み出しアドレスは、図４（ａ）に示すとおり、表示開始時に書き込みアドレスと所定の位相差となるようリセットし、表示Ｖ同期によりカウントアップする。書き込みアドレスが「４」で書き込みされた後に、表示同期信号により位相差が４である「０」のフレームを読み出す。
【００４３】
図４（ａ）の状態から（ｂ）の状態に進む間に、表示同期信号が入力Ｖ同期よりも遅れている場合で、途中での位相差調整を行わずに、その遅れ分を累積している状態を示している。図４（ｂ）では、書き込みアドレス「４」で入力された映像信号を書き込んでいる際に、表示同期信号が発生している。ここまで、フレームスキップをせずに読み出しを行っているため位相差が累積され、位相差「４」ではなく位相差「６」となっている。ここで、読み出しアドレスの位相差「６」のままであるのならばフレーム「０」を読み出すことになる。しかしながら、シンクロタイミング検出部３１０からフレームスキップに好適なシーンであると通知されれば、位相差を解消するようにフレームスキップ処理を行う。
【００４４】
今、書き込みアドレスとの位相差「６」であり、所定の位相差「４」より大きいためフレームスキップが可能と判断し、所定の位相差に追い付くまでフレームスキップを行う。図４（ｂ）においては、好適シーン通知がなされている間、位相差を１ずつ詰める処理を行う。つまり、書き込みアドレス「５」で入力された映像信号が書き込まれている間に発生した表示同期信号に応じて、位相差を１つ縮めた位相差「５」であるアドレス「０」を読み込みアドレスとして設定する。続く、書き込みアドレス「６」の期間に発生した表示同期信号に応じて、さらに位相差を１つ縮めた位相差「４」となるアドレス「２」を読み込みアドレスとして設定する。このように、位相差を縮めた結果、指定の位相差「４」となったので、以降の読み込みアドレスの設定は、位相差「４」より小さくすることなく、位相差「４」のまま読み込みアドレスの設定を進めていく。表示同期信号の方が入力Ｖ同期よりも遅れているので、この後、位相差「４」は広がっていくことになる。図４（ｂ）においては、位相差を１ずつ縮める例を示しているが、一度に位相差を縮めるようにしてもよい。つまり、位相差「６」の状態から位相差「４」の状態に縮めることであり、書き込みアドレス「５」で書き込みしている際に、読み込みアドレス「１」と設定する用にしても構わない。また、縮める大きさを２以上の一定値にしても構わない。
【００４５】
なお、また図４（ｃ）に示すとおり、書き込みアドレスとの位相差が所定の値（フレームメモリが８フレーム分であるため、位相差としては「７」）より大きくなってしまう場合には、好適シーンが検出されなくても、フレームスキップを行い、フレームメモリ溢れ（追い越し）を防ぐ。
【００４６】
図７は、実施の形態１におけるフレームシンクロ処理のフローチャートである。
【００４７】
本実施の形態１における映像信号処理方法は、次のような処理の流れとなる。
【００４８】
まず、複数の映像の映像信号を入力する（Ｓ７１０）。
【００４９】
続いて、入力した複数の映像を同時に表示するための表示同期信号を発生させる。これは、複数の映像信号のＶ同期のうち、いずれか１つのＶ同期を選択し、表示同期信号とする（Ｓ７２０）。
【００５０】
次に、複数の映像信号のうち表示用同期信号と同期ずれが発生する映像信号に対して、同期ずれ解消の期間を判定する。まず、同期ずれが発生する映像信号について、その映像が静止場面であるのか、または、映像信号のフレームの動き量が所定の大きさ以上の場面であるのか否か判断する。静止場面である場合や、動き量が大きい場合には（Ｓ７３０でＹｅｓ）、同期ずれを解消する（Ｓ７５０）。
【００５１】
静止場面ではないもので、動き量が大きくない場合には（Ｓ７３０でＮｏ）、同期ずれが発生する映像信号について、その映像の場面が変化する場面であるか否かを判断する。映像の場面が変化する場面である場合には（Ｓ７４０でＹｅｓ）、同期ずれを解消する（Ｓ７５０）。
【００５２】
上記のＳ７３０、Ｓ７４０のいずれの判断においても、該当しない場合（Ｎｏである場合）には、同期ずれの解消をしない。
【００５３】
同期ずれの解消は、同期ずれを発生する映像信号のＶ同期に対して、表示同期信号が遅れている（表示同期信号の間隔が長い）場合には、同じ時刻のフレームを繰り返して表示する。表示同期信号の方が進んでいる場合（表示同期信号の間隔が短い）場合には、フレームを間引いて表示する。
【００５４】
（実施の形態２）
図５は、本発明の実施の形態２におけるフレームシンクロ部３０１の構成図である。
【００５５】
フレームシンクロ部３０１は、アドレス制御部３２０、補間フレーム生成部３６０から構成されている。補間フレーム生成部３６０は、動きベクトル検出部３６１と、動き補償画像生成部３６２とから構成されている。
【００５６】
補間フレーム生成部３６０は、時間的に連続する複数のフレームから中間位相の補間フレームを生成する。動きベクトル検出部３６１は、時間的に連続する複数のフレームから動きベクトルを検出する。動き補償画像生成部３６２は、検出された動きベクトルから動き補償による補間画像を生成する。
【００５７】
次に、上述した構成について具体例を挙げその動作を説明する。ここで、アドレス制御部３２０の動作は、実施の形態１で説明した通りである。
【００５８】
本実施の形態２では、フレームリピート、または、フレームスキップする前後のフレームを、フレーム間隔が時間的にほぼ均等となるような時間に相当する補間フレームと置き換えることを特徴とする。補間フレーム生成部３６０において、この補間フレームを生成する。
【００５９】
図６は、補間フレーム生成部３６０におけるフレームの置き換えを示した説明図である。図６において、フレーム位相差を１としており、表示同期信号の周期がやや早い場合を示す（リピートの場合を例示しているが、スキップについても同様）。
【００６０】
入力された映像信号の書き込みアドレスとして１、２、３、…、７と書き込まれている。入力された映像信号をフレーム「３」に書き込みしている期間中に、表示同期信号が２回発生している。位相差「１」で読み込みアドレスを設定した場合には、読み込みアドレスとして０、１、２、２、３、４…となり、フレーム「２」が繰り返して読み出される。補間フレーム生成部３６０では、この１、２、２、３、４の間のフレームを時間的に均等になるように補間フレームを生成する。１フレームから４フレーム目までを、５枚のフレームを生成する。この５枚の補間フレームは、両側の１フレーム、４フレームはそのままで間をほぼ均等として、１、１.８、２.５、３.２、４フレームと生成する。小数は時間的な位相重心を表している。補間フレームを生成することを表す。つまり、１.８のフレームならば、フレーム１とフレーム２とを、１：４の比率の動き補償で線形補間する。また、２．５のフレームならば、フレーム２とフレーム３とを、１：１で線形補間する。
【００６１】
線形補間には、動きベクトル検出部３６１にて２つのフレーム間の動きベクトルを検出し、検出した動きベクトルを先の比率で補間した動き補償画像を動き補償画像生成部３６２で生成する。
【００６２】
動きベクトル検出部３６１は、検出対象となる入力映像のフレームをいくつかに分割し、この分割した小領域の各々の動きベクトルを、入力映像の前後（時間的には過去と未来となる）フレームを参照することにより推定する。分割した小領域のそれぞれに相当する箇所を、入力映像の前後のフレームである参照フレーム内から探索する。この際に、例えば、輝度差分の総和が最小となる箇所を求める手法がある。
【００６３】
動き補償画像生成部３６２は、入力映像の連続する２つのフレームからその中間（所定位相）に相当するフレームを生成する。例えば、中間フレームの各画素は、その画素が有する動きベクトルが指す、前後２フレームの画素を、位相に応じた比率で混合することにより中間フレームとして生成する。
【００６４】
このように、読み出しアドレスで指定されたフレームをそのまま出力映像として出力するのではなく、間を補間したフレームを補間フレーム生成部３６０で生成することで、フレームリピートによる繰り返したフレームが表示されるよりも、フレームの時間的な連続性が改善されるため、ユーザにとってジャダーが軽減される。
【００６５】
図８は、本実施の形態２における同期ずれの解消を表すフローチャートである。
【００６６】
入力された映像信号が、同期ずれを発生する可能性があると判断された際に、同期ずれを解消する期間を決定し、その期間では時刻が均等になるように補間時刻相当のフレームを決定する（Ｓ８１０）。
【００６７】
続いて、決定された補間時刻の前後となる時刻に相当する、入力映像信号に映像のフレームを補間して、補間フレームを生成（Ｓ８２０）する。
【００６８】
本実施の形態２では、フレームリピートが発生する際に、補間フレームを生成することについて説明したが、フレームスキップが発生する際にも、同様に補間フレームを生成することで、フレームの時間的な連続性を改善することができる。
【産業上の利用可能性】
【００６９】
以上のように、本発明によればフレームシンクロ処理によるジャダーを軽減し、スムースで高品位な映像表示が可能となる。よって本発明は、複数の映像を多画面表示するような映像信号処理装置および方法等に有用である。
【符号の説明】
【００７０】
１００ 映像入力部
２００ 表示同期生成部
３００ フレームシンクロ部
３０１ フレームシンクロ部
３１０ シンクロタイミング検出部
３１１ 動き検出部
３１２ シーンチェンジ検出部
３２０ アドレス制御部
３６０ 補間フレーム生成部
３６１ 動きベクトル検出部
３６２ 動き補償画像生成部
４００ フレームメモリ
５００ 多画面合成部
６００ 映像表示部
【技術分野】
【０００１】
本発明は、複数の映像を同一ディスプレイ上に多画面表示する際に、映像の動きを滑らかにする映像信号処理装置および方法に関する。
【背景技術】
【０００２】
近年、ＤＴＶ（デジタルテレビ）等において、複数の映像を同一ディスプレイ上に同時に表示する多画面表示が一般的になりつつある。ディスプレイの大画面、高精細化も一助となり、ユーザは多チャンネル同時表示や、放送と録画機器、または、外部ネットワークを通じて提供されるコンテンツの再生等の同時表示などを楽しむことが可能となる。
【０００３】
複数の映像ソースを多画面表示する場合に、その画面表示のために用いる同期信号が一つであることから、ＤＴＶでは複数の映像ソースのいずれかの垂直同期信号に同期して映像を表示する必要がある。この際に選択する映像ソースとして、画面サイズが最も大きい、ユーザが最も注視したい映像（以下、主映像と記す）を選択する。この主映像の垂直同期信号（以下、Ｖ同期と記す）を基準として、他の映像（以下、副映像と記す）を表示させる必要がある。ＰＣ等では、フリーラン生成したＶ同期を基準に全ての映像を表示させる場合もある（特許文献１、特許文献２）。
【０００４】
このとき、主映像と副映像のＶ同期は互いに異なる周波数であることから、副映像を主映像に同期させて表示するためにフレームシンクロナイズ（以下、フレームシンクロと記す）と呼ばれる処理を行うのが一般的である。フレームシンクロナイズにおいて、主映像のＶ同期に従って、副映像のフレームを読み出すことで副映像を同調させる。この結果、一定周期で副映像のフレームが間引かれて（スキップ処理）表示したり、繰返して（リピート処理）表示したりする。例えば、主映像のＶ同期が５９．９４Ｈｚであり、副映像のＶ同期が６０．００Ｈｚの場合、副映像は約１０００フレーム（約１６．７秒）毎にフレームが１枚スキップされる。
【０００５】
しかしながら、このフレームシンクロ処理は、一定周期でフレームをスキップしたり、リピートしたりして表示するため、表示される映像のフレーム再生が時間的に不連続になることとなる。例えば、カメラが一定期間パンしたり、チルトしたりするような場面では、映像の動きにガタツキ（ジャダー）が生じてしまい、ユーザに違和感を与え、視聴品位を損なうという課題がある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−３４１１３２号公報
【特許文献２】特開２００７−２７１８４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
そこで本発明は、複数の映像を同時に表示する、多画面表示する場合において、フレームシンクロ処理によるジャダーを軽減し、スムースで高品位な映像表示を行うことを目的とするものである。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明における映像信号処理装置は、複数の映像を画面に同時に表示するための表示用画面を生成する映像信号処理装置であって、複数の前記映像の映像信号を入力する映像入力部と、フリーラン垂直同期信号、または、複数の前記映像信号のうちの一つの映像信号における垂直同期信号を基準として、前記表示用画面を表示するための同期信号である表示同期信号を生成する表示同期生成部と、前記映像入力部から入力した複数の前記映像信号を、前記表示同期信号に同期して出力するフレームシンクロ部と、前記フレームシンクロ部から出力した複数の映像信号を合成して前記表示用画面として生成する多画面合成部とを備え、前記フレームシンクロ部は、複数の前記映像信号のうち、前記表示同期信号とは同期ずれが発生する映像信号に対して、同期ずれを解消する適当な期間を判定するシンクロタイミング検出部を備え、前記シンクロタイミング検出部で判定した期間において、前記表示同期信号とは同期ずれが発生する映像信号に対して、同じ時刻のフレームを繰り返して出力するか、または、フレームを間引いて出力することで同期ずれを解消する。
【０００９】
また、本発明の映像信号処理装置は、複数の映像を画面に同時に表示するための表示用画面を生成する映像信号処理装置であって、複数の前記映像の映像信号を入力する映像入力部と、フリーラン垂直同期信号、または、複数の前記映像信号のうちの一つの映像信号における垂直同期信号を基準として、前記表示用画面を表示するための同期信号である表示同期信号を生成する表示同期生成部と、前記映像入力部から入力した複数の前記映像信号を、前記表示同期信号に同期して出力するフレームシンクロ部と、前記フレームシンクロ部から出力した複数の映像信号を合成して前記表示用画面として生成する多画面合成部とを備え、前記フレームシンクロ部は、複数の前記映像信号のうち、前記表示同期信号とは同期ずれが発生する映像信号に対して、時間的に連続する複数のフレームから中間位相の補間フレームを生成する補間フレーム生成部を備え、前記表示同期信号とは同期ずれが発生する映像信号に対して、同期ずれを解消する期間においては、当該映像信号に代わり前記補間フレーム生成部で生成した中間フレームに置き換えることで同期ずれを解消する。
【発明の効果】
【００１０】
本発明によれば、複数の映像を多画面表示する場合において、フレームシンクロ処理によるジャダーを軽減し、スムースで高品位な映像表示が可能となる。
【図面の簡単な説明】
【００１１】
【図１】実施の形態における映像信号処理装置の構成図
【図２】実施の形態１におけるフレームシンクロ部の構成図
【図３】従来のフレームシンクロにおけるアドレス制御の説明図
【図４】実施の形態におけるアドレス制御の説明図
【図５】実施の形態２におけるフレームシンクロ部の構成図
【図６】実施の形態２におけるフレーム置き換えの説明図
【図７】実施の形態１におけるフレームシンクロ処理のフローチャート
【図８】実施の形態２における同期ずれの解消を表すフローチャート
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００１３】
図１に示すように、実施の形態における映像信号処理装置は、映像入力部１００、表示同期生成部２００、フレームシンクロ部３００、フレームメモリ４００、多画面合成部５００、映像表示部６００で構成される。
【００１４】
複数の映像信号は、映像入力部１００から入力され、表示同期生成部２００、フレームシンクロ部３００に出力される。
【００１５】
表示同期生成部２００は、入力した映像信号を表示するための表示同期信号である表示Ｖ同期を生成する。この表示Ｖ同期信号としては、入力した複数の映像信号のうちの一つの映像信号から、その垂直信号同期（Ｖｓｙｎｃ同期、以降Ｖ同期と表す）を用いることができる。また、クロック発生器（図示せず）により可変となるクロックを発生して、所定の表示同期信号の周波数（例えば６０Ｈｚ）に至るまで、クロックを徐々に変化させたものを、表示Ｖ同期信号として用いることができる。このようにクロックを徐々に変化して発生させた同期信号を、フリーランＶ同期と呼ぶ。
【００１６】
フレームシンクロ部３００は、映像入力部１００から入力された複数の映像信号を、フレームメモリ４００に一旦格納し、表示同期生成部２００で生成された表示Ｖ同期に同期させて、フレームメモリ４００に格納された複数の映像信号を読み出す。フレームシンクロ部３００は、読み出した映像信号を多画面合成部５００へ出力する。
【００１７】
多画面合成部５００は、フレームシンクロ部３００から出力された複数の映像信号を、表示画面上に配置し、合成した映像を映像表示部６００へ出力する。
【００１８】
映像表示部６００は、多画面合成部５００から出力された映像を表示する。
【００１９】
次に、フレームシンクロ部３００について詳しく説明する。
【００２０】
（実施の形態１）
図２は、実施の形態１におけるフレームシンクロ部３００の構成図である。
【００２１】
フレームシンクロ部３００は、シンクロタイミング検出部３１０と、アドレス制御部３２０とで構成される。シンクロタイミング検出部３１０は、映像の動き量を検出する動き検出部３１１と、映像の切り替わりを検出するシーンチェンジ検出部３１２とを備える。
【００２２】
フレームシンクロ部３００は、フレームメモリ４００に格納された、入力された映像信号それぞれに対して、そのフレームを繰り返して読み出す処理（リピート処理）や、映像信号を飛び越す処理（スキップ処理）をすることにより、入力された映像信号を読み出す。入力された映像信号を読み出すタイミングは、表示同期信号に映像を同期させる部分であって、リピート処理やスキップ処理に好適なシーンで行われる。
【００２３】
シンクロタイミング検出部３１０は、リピート処理や、スキップ処理に好適なシーンを検出する。
【００２４】
アドレス制御部３２０は、シンクロタイミング検出部３１０から通知されたタイミングに基づいてフレームメモリ４００への書き込みや、読み出しのアドレスを制御する。
【００２５】
次に、上述した構成について具体例を挙げて、その動作を後述する。
【００２６】
その前に、図３を用いて従来のフレームシンクロの動作を説明する。図３は、フレームメモリへの書き込み、読み出しアドレスの従来の制御を示した説明図である。
【００２７】
従来のアドレス制御部（図示せず）は、入力となる映像信号のＶ同期と、画面表示するための表示用同期信号とを受ける。入力となる映像信号は、書き込みアドレスに従い、フレームメモリに書き込まれる。その際に、入力Ｖ同期に同期して書き込みアドレスをカウントアップし、バッファ可能なフレーム数を超えた時点で書き込みアドレスを０にリセットする。
【００２８】
一方、表示するための映像信号は、読み出しアドレスに従って、フレームメモリから読み出される。その際に、読み出しアドレスは、（表示用同期信号のタイミングにおける書き込みアドレス）−（所定の位相差）として求める。図３の場合には、位相差を１としている。
【００２９】
このように、書き込みアドレスと、読み出しアドレスを制御することで、入力した映像信号を画面表示するための表示用同期信号に同期させて表示させる。
【００３０】
従来のアドレス制御を行うことにより、入力Ｖ同期と表示同期信号との周波数が同じである場合は、同期して出力させることが可能だが、入力Ｖ同期と表示用同期信号と間の周波数に差がある場合には、入力された映像信号を飛び超すスキップや、反対に、入力された映像信号が繰り返して表示されるリピートが発生する。
【００３１】
例えば、入力Ｖ同期よりも表示用同期信号の周波数が遅い場合を図３（Ａ）に示す。図３（Ａ）では、書き込みアドレス「２」を書き込み途中で発生した表示同期信号に対して、フレーム「１」を読み込みアドレスで指定されている。続く、書き込みアドレス「３」で書き込み、さらに書き込みアドレス「４」で書き込みをしている途中で表示同期信号が発生している。このため、書き込みアドレス「４」の位相差が１である、フレーム「３」を読み込みアドレスとして指定する。このように入力された映像信号の「２」のフレームが飛び越されて読み出されるフレームスキップが生じる。
【００３２】
また、入力Ｖ同期よりも表示用同期信号の周波数が早い場合を図３（Ｂ）に示す。図３（Ｂ）では、書き込みアドレス「３」を書き込み途中に、表示同期信号が２回発生している。このため、２回の表示同期信号に対応する読み出しアドレスはフレーム「２」を指定する。このように入力された映像信号の「２」のフレームが繰り返されて読み出されるフレームリピートが生ずる。
【００３３】
以上のように、従来のアドレス制御では、ジャダー（ｊｕｄｄｅｒ）と呼ばれる、同じフレームが繰り返されたり、フレームがスキップされることによる飛びが発生したりすることが、一定の期間ごとに繰り返して生じる。このため、表示される場面によって、ユーザは違和感を感じることがある。
【００３４】
映像が静止している場面、または動きの極端に激しい場面、または場面が変化する（シーンチェンジの）際のブラックアウトや、ホワイトアウト等の発生する場面では、ユーザによってジャダーが知覚されにくい。
【００３５】
そこで本実施の形態では、このことに着目し、これらの場面でフレームを繰り返して再生させるリピート処理や、フレームを飛び越して再生させるスキップ処理による、ジャダーを発生させることにより、ユーザに知覚されにくくすることを特徴とする。
【００３６】
動き検出部３１１およびシーンチェンジ検出部３１２は、映像が静止している静止場面、または、動きの極端に激しい場面、または、シーンチェンジを検出する。
【００３７】
静止場面か、または、動きの極端に激しい場面かの区別としては、次のように指定を行う。入力映像の各フレームの時間的に連続したフレームについて、それぞれのフレームをいくつかの小領域に分割し、対応する分割した小領域の、前後のフレームでの輝度差の総和を求める。この総和が０に近いほど静止シーン、総和が大きいほど動きの極端に激しい場面、または、シーンチェンジとして判断できる。静止シーンと判定するための所定の閾値と、動きの極端に激しい場面やシーンチェンジとして判断するための所定の閾値を設けて、フレーム間の輝度差の総和とそれぞれの閾値とを大小関係することにより、静止シーン、動きの極端に激しい場面やシーンチェンジであるとの判断を行う。また、シーンチェンジの検出は、入力映像のフレーム全体の平均輝度と、入力映像のフレーム以前との数フレームの平均輝度との差が大きくなる部分をシーンチェンジと判定しても構わない。
【００３８】
シンクロタイミング検出部３１０は、動き検出部３１１、シーンチェンジ検出部３１２で検出した、静止場面、動きの激しい場面、シーンチェンジが発生する場面に、リピート処理、スキップ処理の好適なタイミングとしてアドレス制御部３２０に通知する。
【００３９】
図４は、アドレス制御部３２０におけるフレームメモリ４００への書き込み、および、読み出しアドレスの制御を示した説明図である。図４において、スキップ処理の場合を例示しているが、リピート処理についても同様にできる。
【００４０】
図４において、位相差を４としている。また、フレームメモリの大きさも８フレーム分、つまり、アドレスとしては「０」〜「７」まで用意されているものとする。
【００４１】
アドレス制御部３２０で生成する書き込みアドレスは、入力Ｖ同期によりカウントアップする。
【００４２】
一方、読み出しアドレスは、図４（ａ）に示すとおり、表示開始時に書き込みアドレスと所定の位相差となるようリセットし、表示Ｖ同期によりカウントアップする。書き込みアドレスが「４」で書き込みされた後に、表示同期信号により位相差が４である「０」のフレームを読み出す。
【００４３】
図４（ａ）の状態から（ｂ）の状態に進む間に、表示同期信号が入力Ｖ同期よりも遅れている場合で、途中での位相差調整を行わずに、その遅れ分を累積している状態を示している。図４（ｂ）では、書き込みアドレス「４」で入力された映像信号を書き込んでいる際に、表示同期信号が発生している。ここまで、フレームスキップをせずに読み出しを行っているため位相差が累積され、位相差「４」ではなく位相差「６」となっている。ここで、読み出しアドレスの位相差「６」のままであるのならばフレーム「０」を読み出すことになる。しかしながら、シンクロタイミング検出部３１０からフレームスキップに好適なシーンであると通知されれば、位相差を解消するようにフレームスキップ処理を行う。
【００４４】
今、書き込みアドレスとの位相差「６」であり、所定の位相差「４」より大きいためフレームスキップが可能と判断し、所定の位相差に追い付くまでフレームスキップを行う。図４（ｂ）においては、好適シーン通知がなされている間、位相差を１ずつ詰める処理を行う。つまり、書き込みアドレス「５」で入力された映像信号が書き込まれている間に発生した表示同期信号に応じて、位相差を１つ縮めた位相差「５」であるアドレス「０」を読み込みアドレスとして設定する。続く、書き込みアドレス「６」の期間に発生した表示同期信号に応じて、さらに位相差を１つ縮めた位相差「４」となるアドレス「２」を読み込みアドレスとして設定する。このように、位相差を縮めた結果、指定の位相差「４」となったので、以降の読み込みアドレスの設定は、位相差「４」より小さくすることなく、位相差「４」のまま読み込みアドレスの設定を進めていく。表示同期信号の方が入力Ｖ同期よりも遅れているので、この後、位相差「４」は広がっていくことになる。図４（ｂ）においては、位相差を１ずつ縮める例を示しているが、一度に位相差を縮めるようにしてもよい。つまり、位相差「６」の状態から位相差「４」の状態に縮めることであり、書き込みアドレス「５」で書き込みしている際に、読み込みアドレス「１」と設定する用にしても構わない。また、縮める大きさを２以上の一定値にしても構わない。
【００４５】
なお、また図４（ｃ）に示すとおり、書き込みアドレスとの位相差が所定の値（フレームメモリが８フレーム分であるため、位相差としては「７」）より大きくなってしまう場合には、好適シーンが検出されなくても、フレームスキップを行い、フレームメモリ溢れ（追い越し）を防ぐ。
【００４６】
図７は、実施の形態１におけるフレームシンクロ処理のフローチャートである。
【００４７】
本実施の形態１における映像信号処理方法は、次のような処理の流れとなる。
【００４８】
まず、複数の映像の映像信号を入力する（Ｓ７１０）。
【００４９】
続いて、入力した複数の映像を同時に表示するための表示同期信号を発生させる。これは、複数の映像信号のＶ同期のうち、いずれか１つのＶ同期を選択し、表示同期信号とする（Ｓ７２０）。
【００５０】
次に、複数の映像信号のうち表示用同期信号と同期ずれが発生する映像信号に対して、同期ずれ解消の期間を判定する。まず、同期ずれが発生する映像信号について、その映像が静止場面であるのか、または、映像信号のフレームの動き量が所定の大きさ以上の場面であるのか否か判断する。静止場面である場合や、動き量が大きい場合には（Ｓ７３０でＹｅｓ）、同期ずれを解消する（Ｓ７５０）。
【００５１】
静止場面ではないもので、動き量が大きくない場合には（Ｓ７３０でＮｏ）、同期ずれが発生する映像信号について、その映像の場面が変化する場面であるか否かを判断する。映像の場面が変化する場面である場合には（Ｓ７４０でＹｅｓ）、同期ずれを解消する（Ｓ７５０）。
【００５２】
上記のＳ７３０、Ｓ７４０のいずれの判断においても、該当しない場合（Ｎｏである場合）には、同期ずれの解消をしない。
【００５３】
同期ずれの解消は、同期ずれを発生する映像信号のＶ同期に対して、表示同期信号が遅れている（表示同期信号の間隔が長い）場合には、同じ時刻のフレームを繰り返して表示する。表示同期信号の方が進んでいる場合（表示同期信号の間隔が短い）場合には、フレームを間引いて表示する。
【００５４】
（実施の形態２）
図５は、本発明の実施の形態２におけるフレームシンクロ部３０１の構成図である。
【００５５】
フレームシンクロ部３０１は、アドレス制御部３２０、補間フレーム生成部３６０から構成されている。補間フレーム生成部３６０は、動きベクトル検出部３６１と、動き補償画像生成部３６２とから構成されている。
【００５６】
補間フレーム生成部３６０は、時間的に連続する複数のフレームから中間位相の補間フレームを生成する。動きベクトル検出部３６１は、時間的に連続する複数のフレームから動きベクトルを検出する。動き補償画像生成部３６２は、検出された動きベクトルから動き補償による補間画像を生成する。
【００５７】
次に、上述した構成について具体例を挙げその動作を説明する。ここで、アドレス制御部３２０の動作は、実施の形態１で説明した通りである。
【００５８】
本実施の形態２では、フレームリピート、または、フレームスキップする前後のフレームを、フレーム間隔が時間的にほぼ均等となるような時間に相当する補間フレームと置き換えることを特徴とする。補間フレーム生成部３６０において、この補間フレームを生成する。
【００５９】
図６は、補間フレーム生成部３６０におけるフレームの置き換えを示した説明図である。図６において、フレーム位相差を１としており、表示同期信号の周期がやや早い場合を示す（リピートの場合を例示しているが、スキップについても同様）。
【００６０】
入力された映像信号の書き込みアドレスとして１、２、３、…、７と書き込まれている。入力された映像信号をフレーム「３」に書き込みしている期間中に、表示同期信号が２回発生している。位相差「１」で読み込みアドレスを設定した場合には、読み込みアドレスとして０、１、２、２、３、４…となり、フレーム「２」が繰り返して読み出される。補間フレーム生成部３６０では、この１、２、２、３、４の間のフレームを時間的に均等になるように補間フレームを生成する。１フレームから４フレーム目までを、５枚のフレームを生成する。この５枚の補間フレームは、両側の１フレーム、４フレームはそのままで間をほぼ均等として、１、１.８、２.５、３.２、４フレームと生成する。小数は時間的な位相重心を表している。補間フレームを生成することを表す。つまり、１.８のフレームならば、フレーム１とフレーム２とを、１：４の比率の動き補償で線形補間する。また、２．５のフレームならば、フレーム２とフレーム３とを、１：１で線形補間する。
【００６１】
線形補間には、動きベクトル検出部３６１にて２つのフレーム間の動きベクトルを検出し、検出した動きベクトルを先の比率で補間した動き補償画像を動き補償画像生成部３６２で生成する。
【００６２】
動きベクトル検出部３６１は、検出対象となる入力映像のフレームをいくつかに分割し、この分割した小領域の各々の動きベクトルを、入力映像の前後（時間的には過去と未来となる）フレームを参照することにより推定する。分割した小領域のそれぞれに相当する箇所を、入力映像の前後のフレームである参照フレーム内から探索する。この際に、例えば、輝度差分の総和が最小となる箇所を求める手法がある。
【００６３】
動き補償画像生成部３６２は、入力映像の連続する２つのフレームからその中間（所定位相）に相当するフレームを生成する。例えば、中間フレームの各画素は、その画素が有する動きベクトルが指す、前後２フレームの画素を、位相に応じた比率で混合することにより中間フレームとして生成する。
【００６４】
このように、読み出しアドレスで指定されたフレームをそのまま出力映像として出力するのではなく、間を補間したフレームを補間フレーム生成部３６０で生成することで、フレームリピートによる繰り返したフレームが表示されるよりも、フレームの時間的な連続性が改善されるため、ユーザにとってジャダーが軽減される。
【００６５】
図８は、本実施の形態２における同期ずれの解消を表すフローチャートである。
【００６６】
入力された映像信号が、同期ずれを発生する可能性があると判断された際に、同期ずれを解消する期間を決定し、その期間では時刻が均等になるように補間時刻相当のフレームを決定する（Ｓ８１０）。
【００６７】
続いて、決定された補間時刻の前後となる時刻に相当する、入力映像信号に映像のフレームを補間して、補間フレームを生成（Ｓ８２０）する。
【００６８】
本実施の形態２では、フレームリピートが発生する際に、補間フレームを生成することについて説明したが、フレームスキップが発生する際にも、同様に補間フレームを生成することで、フレームの時間的な連続性を改善することができる。
【産業上の利用可能性】
【００６９】
以上のように、本発明によればフレームシンクロ処理によるジャダーを軽減し、スムースで高品位な映像表示が可能となる。よって本発明は、複数の映像を多画面表示するような映像信号処理装置および方法等に有用である。
【符号の説明】
【００７０】
１００ 映像入力部
２００ 表示同期生成部
３００ フレームシンクロ部
３０１ フレームシンクロ部
３１０ シンクロタイミング検出部
３１１ 動き検出部
３１２ シーンチェンジ検出部
３２０ アドレス制御部
３６０ 補間フレーム生成部
３６１ 動きベクトル検出部
３６２ 動き補償画像生成部
４００ フレームメモリ
５００ 多画面合成部
６００ 映像表示部
【特許請求の範囲】
【請求項１】
複数の映像を画面に同時に表示するための表示用画面を生成する映像信号処理装置であって、
複数の前記映像の映像信号を入力する映像入力部と、
フリーラン垂直同期信号、または、複数の前記映像信号のうちの一つの映像信号における垂直同期信号を基準として、前記表示用画面を表示するための同期信号である表示同期信号を生成する表示同期生成部と、
前記映像入力部から入力した複数の前記映像信号を、前記表示同期信号に同期して出力するフレームシンクロ部と、
前記フレームシンクロ部から出力した複数の映像信号を合成して前記表示用画面として生成する多画面合成部とを備え、
前記フレームシンクロ部は、複数の前記映像信号のうち、前記表示同期信号とは同期ずれが発生する映像信号に対して、同期ずれを解消する適当な期間を判定するシンクロタイミング検出部を備え、
前記シンクロタイミング検出部で判定した期間において、前記表示同期信号とは同期ずれが発生する映像信号に対して、同じ時刻のフレームを繰り返して出力するか、または、フレームを間引いて出力することで同期ずれを解消することを特徴とする映像信号処理装置。
【請求項２】
前記シンクロタイミング検出部は、
前記映像信号に含まれる映像の動き量を検出する動き検出部と、
前記映像信号の含まれる映像の場面の切り替わりを検出するシーンチェンジ検出部とを備え、
映像の動き量がないと判断できる場面、映像の動き量が所定の大きさ以上となっている場面、または映像の場面の切り替わりを検出し、前記同期ずれを解消する適当な期間として判定する
ことを特徴とする請求項１記載の映像信号処理装置。
【請求項３】
複数の映像を画面に同時に表示するための表示用画面を生成する映像信号処理装置であって、
複数の前記映像の映像信号を入力する映像入力部と、
フリーラン垂直同期信号、または、複数の前記映像信号のうちの一つの映像信号における垂直同期信号を基準として、前記表示用画面を表示するための同期信号である表示同期信号を生成する表示同期生成部と、
前記映像入力部から入力した複数の前記映像信号を、前記表示同期信号に同期して出力するフレームシンクロ部と、
前記フレームシンクロ部から出力した複数の映像信号を合成して前記表示用画面として生成する多画面合成部とを備え、
前記フレームシンクロ部は、複数の前記映像信号のうち、前記表示同期信号とは同期ずれが発生する映像信号に対して、時間的に連続する複数のフレームから中間位相の補間フレームを生成する補間フレーム生成部とを備え、
前記表示同期信号とは同期ずれが発生する映像信号に対して、同期ずれを解消する期間においては、当該映像信号に代わり前記補間フレーム生成部で生成した中間フレームに置き換えることで同期ずれを解消する
ことを特徴とする映像信号処理装置。
【請求項４】
前記補間フレーム生成部は、
時間的に連続する複数のフレームから動きベクトルを検出する動きベクトル検出部と、
前記動きベクトル検出部で検出した動きベクトルから、動き補償による補間画像を生成する動き補償画像生成部とを備え、
前記補間画像を前記中間位相の補間フレームとして生成する
ことを特徴とする請求項３記載の映像信号処理装置。
【請求項５】
複数の映像を画面に同時に表示するための表示用画面を生成する映像信号処理方法であって、
複数の前記映像の映像信号を入力する映像入力ステップと、
フリーラン垂直同期信号、または、複数の前記映像信号のうちの一つの映像信号における垂直同期信号を基準として、前記表示用画面を表示するための同期信号である表示同期信号を生成する表示同期生成ステップと、
入力した複数の前記映像信号を、前記表示同期信号に同期して出力するフレームシンクロステップと、
前記フレームシンクロステップにより出力した複数の映像信号を合成して前記表示用画面として生成する多画面合成ステップとを含み、
前記フレームシンクロステップは、複数の前記映像信号のうち、前記表示同期信号とは同期ずれが発生する映像信号に対して、同期ずれを解消する適当な期間を判定するシンクロタイミング検出ステップを含み、
前記シンクロタイミング検出ステップで判定した期間において、前記表示同期信号とは同期ずれが発生する映像信号に対して、同じ時刻のフレームを繰り返して出力するか、または、フレームを間引いて出力することで同期ずれを解消する
ことを特徴とする映像信号処理方法。
【請求項６】
前記シンクロタイミング検出ステップは、
前記映像信号に含まれる映像の動き量を検出する動き検出ステップと、
前記映像信号の含まれる映像の場面の切り替わりを検出するシーンチェンジ検出ステップとを備え、
映像の動き量がないと判断できる場面、映像の動き量が所定の大きさ以上となっている場面、または映像の場面の切り替わりを検出し、前記同期ずれを解消する適当な期間として判定する
ことを特徴とする請求項５記載の映像信号処理方法。
【請求項７】
複数の映像を画面に同時に表示するための表示用画面を生成する映像信号処理方法であって、
複数の前記映像の映像信号を入力する映像入力ステップと、
フリーラン垂直同期信号、または、複数の前記映像信号のうちの一つの映像信号における垂直同期信号を基準として、前記表示用画面を表示するための同期信号である表示同期信号を生成する表示同期生成ステップと、
入力した複数の前記映像信号を、前記表示同期信号に同期して出力するフレームシンクロステップと、
前記フレームシンクロステップにより出力した複数の映像信号を合成して前記表示用画面として生成する多画面合成ステップとを含み、
前記フレームシンクロステップは、複数の前記映像信号のうち、前記表示同期信号とは同期ずれが発生する映像信号に対して、時間的に連続する複数のフレームから中間位相の補間フレームを生成する補間フレーム生成ステップを備え、
前記表示同期信号とは同期ずれが発生する映像信号に対して、同期ずれを解消する期間においては、当該映像信号に代わり前記補間フレーム生成部で生成した中間フレームに置き換えることで同期ずれを解消する
ことを特徴とする映像信号処理方法。
【請求項１】
複数の映像を画面に同時に表示するための表示用画面を生成する映像信号処理装置であって、
複数の前記映像の映像信号を入力する映像入力部と、
フリーラン垂直同期信号、または、複数の前記映像信号のうちの一つの映像信号における垂直同期信号を基準として、前記表示用画面を表示するための同期信号である表示同期信号を生成する表示同期生成部と、
前記映像入力部から入力した複数の前記映像信号を、前記表示同期信号に同期して出力するフレームシンクロ部と、
前記フレームシンクロ部から出力した複数の映像信号を合成して前記表示用画面として生成する多画面合成部とを備え、
前記フレームシンクロ部は、複数の前記映像信号のうち、前記表示同期信号とは同期ずれが発生する映像信号に対して、同期ずれを解消する適当な期間を判定するシンクロタイミング検出部を備え、
前記シンクロタイミング検出部で判定した期間において、前記表示同期信号とは同期ずれが発生する映像信号に対して、同じ時刻のフレームを繰り返して出力するか、または、フレームを間引いて出力することで同期ずれを解消することを特徴とする映像信号処理装置。
【請求項２】
前記シンクロタイミング検出部は、
前記映像信号に含まれる映像の動き量を検出する動き検出部と、
前記映像信号の含まれる映像の場面の切り替わりを検出するシーンチェンジ検出部とを備え、
映像の動き量がないと判断できる場面、映像の動き量が所定の大きさ以上となっている場面、または映像の場面の切り替わりを検出し、前記同期ずれを解消する適当な期間として判定する
ことを特徴とする請求項１記載の映像信号処理装置。
【請求項３】
複数の映像を画面に同時に表示するための表示用画面を生成する映像信号処理装置であって、
複数の前記映像の映像信号を入力する映像入力部と、
フリーラン垂直同期信号、または、複数の前記映像信号のうちの一つの映像信号における垂直同期信号を基準として、前記表示用画面を表示するための同期信号である表示同期信号を生成する表示同期生成部と、
前記映像入力部から入力した複数の前記映像信号を、前記表示同期信号に同期して出力するフレームシンクロ部と、
前記フレームシンクロ部から出力した複数の映像信号を合成して前記表示用画面として生成する多画面合成部とを備え、
前記フレームシンクロ部は、複数の前記映像信号のうち、前記表示同期信号とは同期ずれが発生する映像信号に対して、時間的に連続する複数のフレームから中間位相の補間フレームを生成する補間フレーム生成部とを備え、
前記表示同期信号とは同期ずれが発生する映像信号に対して、同期ずれを解消する期間においては、当該映像信号に代わり前記補間フレーム生成部で生成した中間フレームに置き換えることで同期ずれを解消する
ことを特徴とする映像信号処理装置。
【請求項４】
前記補間フレーム生成部は、
時間的に連続する複数のフレームから動きベクトルを検出する動きベクトル検出部と、
前記動きベクトル検出部で検出した動きベクトルから、動き補償による補間画像を生成する動き補償画像生成部とを備え、
前記補間画像を前記中間位相の補間フレームとして生成する
ことを特徴とする請求項３記載の映像信号処理装置。
【請求項５】
複数の映像を画面に同時に表示するための表示用画面を生成する映像信号処理方法であって、
複数の前記映像の映像信号を入力する映像入力ステップと、
フリーラン垂直同期信号、または、複数の前記映像信号のうちの一つの映像信号における垂直同期信号を基準として、前記表示用画面を表示するための同期信号である表示同期信号を生成する表示同期生成ステップと、
入力した複数の前記映像信号を、前記表示同期信号に同期して出力するフレームシンクロステップと、
前記フレームシンクロステップにより出力した複数の映像信号を合成して前記表示用画面として生成する多画面合成ステップとを含み、
前記フレームシンクロステップは、複数の前記映像信号のうち、前記表示同期信号とは同期ずれが発生する映像信号に対して、同期ずれを解消する適当な期間を判定するシンクロタイミング検出ステップを含み、
前記シンクロタイミング検出ステップで判定した期間において、前記表示同期信号とは同期ずれが発生する映像信号に対して、同じ時刻のフレームを繰り返して出力するか、または、フレームを間引いて出力することで同期ずれを解消する
ことを特徴とする映像信号処理方法。
【請求項６】
前記シンクロタイミング検出ステップは、
前記映像信号に含まれる映像の動き量を検出する動き検出ステップと、
前記映像信号の含まれる映像の場面の切り替わりを検出するシーンチェンジ検出ステップとを備え、
映像の動き量がないと判断できる場面、映像の動き量が所定の大きさ以上となっている場面、または映像の場面の切り替わりを検出し、前記同期ずれを解消する適当な期間として判定する
ことを特徴とする請求項５記載の映像信号処理方法。
【請求項７】
複数の映像を画面に同時に表示するための表示用画面を生成する映像信号処理方法であって、
複数の前記映像の映像信号を入力する映像入力ステップと、
フリーラン垂直同期信号、または、複数の前記映像信号のうちの一つの映像信号における垂直同期信号を基準として、前記表示用画面を表示するための同期信号である表示同期信号を生成する表示同期生成ステップと、
入力した複数の前記映像信号を、前記表示同期信号に同期して出力するフレームシンクロステップと、
前記フレームシンクロステップにより出力した複数の映像信号を合成して前記表示用画面として生成する多画面合成ステップとを含み、
前記フレームシンクロステップは、複数の前記映像信号のうち、前記表示同期信号とは同期ずれが発生する映像信号に対して、時間的に連続する複数のフレームから中間位相の補間フレームを生成する補間フレーム生成ステップを備え、
前記表示同期信号とは同期ずれが発生する映像信号に対して、同期ずれを解消する期間においては、当該映像信号に代わり前記補間フレーム生成部で生成した中間フレームに置き換えることで同期ずれを解消する
ことを特徴とする映像信号処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−１６９７２７（Ｐ２０１２−１６９７２７Ａ）
【公開日】平成２４年９月６日（２０１２．９．６）
【国際特許分類】
【出願番号】特願２０１１−２６８３１（Ｐ２０１１−２６８３１）
【出願日】平成２３年２月１０日（２０１１．２．１０）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年９月６日（２０１２．９．６）
【国際特許分類】
【出願日】平成２３年２月１０日（２０１１．２．１０）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]