フレームレート変換装置及びフレームレート変換方法
【課題】 入力画像信号の拡大時における動きベクトル検出精度の低下を防止するフレームレート変換装置及びフレームレート変換方法を提供する。
【解決手段】 入力画像信号Ｓ０を拡大又は縮小して出力するスケーリング回路１１と、スケーリング回路からの画像信号を格納する第１フレームメモリ１３と、拡大前の入力画像信号を供給する供給手段１４，１８，１９と、拡大前の入力画像信号に基づき動きベクトルを検出する動きベクトル検出回路２０と、動きベクトルをスケーリングして出力する動きベクトルスケーリング回路２１と、動きベクトルと、スケーリング回路の出力信号と、第１フレームメモリからの画像信号とに基づいて、内挿すべき画像信号を生成し出力する内挿フレーム生成回路１５と、この画像信号を格納する第２フレームメモリ１６と、第１フレームメモリからの画像信号と、第２フレームメモリからの内挿すべき画像信号とを受けて、フレームレートに応じて出力する読出回路部１７をもつフレームレート変換装置。
【解決手段】 入力画像信号Ｓ０を拡大又は縮小して出力するスケーリング回路１１と、スケーリング回路からの画像信号を格納する第１フレームメモリ１３と、拡大前の入力画像信号を供給する供給手段１４，１８，１９と、拡大前の入力画像信号に基づき動きベクトルを検出する動きベクトル検出回路２０と、動きベクトルをスケーリングして出力する動きベクトルスケーリング回路２１と、動きベクトルと、スケーリング回路の出力信号と、第１フレームメモリからの画像信号とに基づいて、内挿すべき画像信号を生成し出力する内挿フレーム生成回路１５と、この画像信号を格納する第２フレームメモリ１６と、第１フレームメモリからの画像信号と、第２フレームメモリからの内挿すべき画像信号とを受けて、フレームレートに応じて出力する読出回路部１７をもつフレームレート変換装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、フレームレート変換装置に関し、特に、入力画像の拡大時の動きベクトル検出不具合に対応したフレームレート変換装置及びフレームレート変換方法に関する。
【背景技術】
【０００２】
フレームレート変換装置において、例えば、液晶パネルサイズに入力画像を拡大し、かつ、フレームレートを上げて出力する際、従来のように拡大された画像に対してフレーム間の動きベクトルを検出すると、検出精度が低下することが知られている。すなわち、動きベクトルの探索範囲が等倍の場合や縮小の場合に比べて狭くなってしまう他、アスペクト比４：３の画像を１６：９にノンリニアスケーリングを行った場合には、物体の形状が変化してしまうため、動きベクトルを検出しにくくなってしまう場合がある。
【０００３】
特許文献１においては、ＩＰ変換部で準じ操作に変換された入力画像信号と１フレーム前の入力画像信号とに基づいて、画素毎の動きベクトルを生成し、この動きベクトルを利用して、内挿フレームを生成して、フレームレート変換を行なっている。
【特許文献１】特開２０００−１３４５８５公報。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１の従来技術においても、画像情報の拡大時の動きベクトルの検出不具合については、何らの対策が示されてはいない。
【０００５】
本発明は、入力画像信号の拡大時における動きベクトル検出精度の低下を防止するフレームレート変換装置及びフレームレート変換方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、入力画像信号（Ｓ０）を拡大又は縮小して出力するスケーリング回路（１１）と、前記スケーリング回路からの画像信号を格納する第１フレームメモリ（１３）と、前記スケーリング回路が前記入力画像信号を拡大した場合は、拡大前の入力画像信号を供給する供給手段（１４，１８，１９：１４，２２：３１，３２）と、前記供給手段から前記拡大前の入力画像信号を受け、これに基づき動きベクトルを検出する動きベクトル検出回路（２０）と、前記動きベクトル検出回路からの前記動きベクトルをスケーリングして出力する動きベクトルスケーリング回路（２１）と、前記動きベクトルスケーリング回路からの前記動きベクトルと、前記スケーリング回路の出力信号と、前記第１フレームメモリからの画像信号とに基づいて、内挿すべき画像信号を生成し出力する内挿フレーム生成回路（１５）と、前記内挿フレーム生成回路からの前記内挿すべき画像信号を格納する第２フレームメモリ（１６）と、前記第１フレームメモリからの画像信号と、前記第２フレームメモリからの前記内挿すべき画像信号を受けて、フレームレートに応じて出力する読出回路部（１７）を具備することを特徴とするフレームレート変換装置である。
【発明の効果】
【０００７】
入力画像信号を拡大した時でも、動きベクトルを高精度に検出することができるため、歪みのないフレームレート変換画像を生成することができるフレームレート変換装置及びフレームレート変換方法を提供する。
【発明を実施するための最良の形態】
【０００８】
以下、この発明の実施の形態について図面を参照して詳細に説明する。
図１は、本発明の一実施形態に係る第１のフレームレート変換装置の一例を示すブロック図。図２は、本発明の一実施形態に係る第１のフレームレート変換装置の一例を示すブロック図。図３は、本発明の一実施形態に係る第１のフレームレート変換装置の一例を示すブロック図。図４は、本発明の一実施形態に係るフレームレート変換装置における各信号のタイミングの一例を示す説明図である。
【０００９】
なお、この実施形態において、フレームレートの変換の一例をあげると、画像信号の周波数を６０Ｈｚから１２０Ｈｚ等に変換する場合等をいう。又、画像の拡大・縮小を行なう場合は、液晶表示において一般的な例を上げると、ＳＤ（ＮＴＳＣ）の７２０×４８０画素の画像信号を、ＷＸＧＡパネル用に１３６６×７６８画素に、約１．８倍に拡大する場合等をいう。しかしながら、本発明の実施形態はこれらの例に限定されるものではない。
【００１０】
＜本発明の一実施形態に係るフレームレート変換装置＞
初めに、図１を用いて本発明の一実施形態に係る第１のフレームレート変換装置を説明する。
【００１１】
第１実施形態は、第２のスケーリング回路により、入力画像信号を拡大前に戻すことで、動きベクトル検出精度の低下を防止するフレームレート変換装置である。
【００１２】
本発明の一実施形態に係る第１のフレームレート変換装置は、入力画像信号を拡大縮小し、フレームレートを変換して出力する動画像フレームレート変換装置である。すなわち、フレームレート変換装置は、図１に示すように、入力画像信号を拡大縮小する第１のスケーリング回路１１と、第１のスケーリング回路１１の拡大縮小率を制御する拡大縮小率制御回路１２と、第１のスケーリング回路１１の出力を蓄える第１のフレームメモリ１３と、第１のスケーリング回路１１の出力と第１のフレームメモリ１３の出力とから内挿フレームを生成する内挿フレーム生成回路１５と、内挿フレーム生成回路１５の出力を蓄える第２のフレームメモリ１６と、出力フレームレートに応じて第１のフレームメモリ１３と第２のフレームメモリ１６とから画像を切り替えて読み出すレート変換読出回路１７とを具備している。
【００１３】
更に、フレームレート変換装置は、図１に示すように、第１のスケーリング回路１１の出力を縮小する第２のスケーリング回路１４と、第２のスケーリング回路１４の出力を蓄える第３のフレームメモリ１８とを備えている。
【００１４】
ここで、拡大縮小率制御回路１２により第１のスケーリング回路１１が拡大を行う場合には、第２のスケーリング回路１４は第１のスケーリング回路１１の出力を元の入力画像信号の大きさに戻すよう縮小を行い、後段の動きベクトル検出回路２０への入力切替回路１９は第２のスケーリング回路１４の出力と第３のフレームメモリ３１の出力を選択して動きベクトル検出回路２０へ入力する。そして、動きベクトル検出回路２０は、入力フレーム間の動きベクトルを検出して後段の動きベクトルスケーリング回路２１に出力する。
【００１５】
動きベクトルスケーリング回路２１は、動きベクトル検出回路２０の出力である動きベクトルを第１のスケーリング回路１１の出力と第１のフレームメモリ１３の出力との間の動きベクトルになるように動きベクトルのスケーリングを行って内挿フレーム生成回路１５に入力する。
【００１６】
・スケジューリング回路の機能
尚、ここで上述したスケジューリング回路の機能について説明する。
第１のスケーリング回路１１で水平倍率２倍、垂直倍率２倍に拡大した場合の動きベクトルスケーリング２１の動作の一例を示す。図５において、画素（ｘ，ｙ），（ｘ＋２，ｙ），（ｘ，ｙ＋２），（ｘ＋２，ｙ＋２）が入力信号Ｓ０及び第２のスケーリング回路１４の出力Ｓ０’の画素であり、画素（ｘ＋１，ｙ），（ｘ，ｙ＋１），（ｘ＋１，ｙ＋１），（ｘ＋２，ｙ＋１），（ｘ＋１，ｙ＋２）が第１のスケーリング回路１１により補間された画素である。
【００１７】
動きベクトル検出回路２０により、画素（ｘ，ｙ），（ｘ＋２，ｙ），（ｘ，ｙ＋２），（ｘ＋２，ｙ＋２）の動きベクトル［Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ）］，［Ｖｘ（ｘ＋２，ｙ），Ｖｙ（ｘ＋２，ｙ）］，［Ｖｘ（ｘ，ｙ＋２），Ｖｙ（ｘ，ｙ＋２）］，［Ｖｘ（ｘ＋２，ｙ＋２），Ｖｙ（ｘ＋２，ｙ＋２）］が求められ、動きベクトルスケーリング回路２１では以下のように第１のスケーリング回路１１の出力と第１のフレームメモリ１３の出力との間の動きベクトルになるように動きベクトルのスケーリングを行う。
【００１８】
［Ｖｘ'（ｘ，ｙ），Ｖｙ'（ｘ，ｙ）］＝［２＊Ｖｘ（ｘ，ｙ），２＊Ｖｙ（ｘ，ｙ）］
［Ｖｘ'（ｘ＋２，ｙ），Ｖｙ'（ｘ＋２，ｙ）］＝［２＊Ｖｘ（ｘ＋２，ｙ），２＊Ｖｙ（ｘ＋２，ｙ）］
［Ｖｘ'（ｘ，ｙ＋２），Ｖｙ'（ｘ，ｙ＋２）］＝［２＊Ｖｘ（ｘ，ｙ＋２），２＊Ｖｙ（ｘ，ｙ＋２）］
［Ｖｘ'（ｘ＋２，ｙ＋２），Ｖｙ'（ｘ＋２，ｙ＋２）］
＝［２＊Ｖｘ（ｘ＋２，ｙ＋２），２＊Ｖｙ（ｘ＋２，ｙ＋２）］
［Ｖｘ'（ｘ＋１，ｙ），Ｖｙ'（ｘ＋１，ｙ）］
＝［（Ｖｘ'（ｘ，ｙ）＋Ｖｘ'（ｘ＋２，y））／２，（Ｖｙ'（ｘ，y）＋Ｖｙ'（ｘ＋２，ｙ））／２］
［Ｖｘ'（ｘ，ｙ＋１），Ｖｙ'（ｘ，ｙ＋１）］＝［（Ｖｘ'（ｘ，ｙ）＋Ｖｘ'（ｘ，ｙ＋２））／２，（Ｖｙ'（ｘ，ｙ）＋Ｖｙ'（ｘ，ｙ＋２））／２］
［Ｖｘ'（ｘ＋２，ｙ＋１），Ｖｙ'（ｘ＋２，ｙ＋１）］
＝［（Ｖｘ'（ｘ＋２，ｙ）＋Ｖｘ'（ｘ＋２，ｙ＋２））／２，（Ｖｙ'（ｘ＋２，ｙ）＋Ｖｙ'（ｘ＋２，ｙ＋２））／２］
［Ｖｘ'（ｘ＋１，ｙ＋２），Ｖｙ'（ｘ＋１，ｙ＋２）］
＝［（Ｖｘ'（ｘ，ｙ＋２）＋Ｖｘ'（ｘ＋２，ｙ＋２））／２，（Ｖｙ'（ｘ，ｙ＋２）＋Ｖｙ'（ｘ＋２，ｙ＋２））／２］
［Ｖｘ'（ｘ＋１，ｙ＋１），Ｖｙ'（ｘ＋１，ｙ＋１）］
＝［（Ｖｘ'（ｘ，ｙ）＋Ｖｘ'（ｘ＋２，ｙ）＋Ｖｘ'（ｘ，ｙ＋２）＋Ｖｘ'（ｘ＋２，ｙ＋２））／４，（Ｖｙ'（ｘ，ｙ）＋Ｖｙ'（ｘ＋２，ｙ）＋Ｖｙ'（ｘ，ｙ＋２）＋Ｖｙ'（ｘ＋２，ｙ＋２））／４］
このような操作により動きベクトル値が求められる。
【００１９】
内挿フレーム生成回路１５は、入力された動きベクトルに基づいてフレーム間の内挿フレームを生成し、第２フレームメモリ１６に格納する。そして、レート変換読出回路１７により、出力フレームレートに応じて第１のフレームメモリ１３と第２のフレームメモリ１６とから画像を切り替えて読み出すことにより、フレームレート変換を実現している。
【００２０】
すなわち、第１のフレームレート変換装置においては、上述したように、第２スケーリング回路のスケーリング処理により、拡大前の入力画像信号が生成される。このため、スケーリングにより画像信号が極端に大きくなることで、動きベクトルの検出の精度が低下するという不具合を解消することとなる。従って、画像信号の拡大処理を伴うフレームレート処理を行なっても、動きベクトル検出精度の低下に基づく歪みを生じることはなく、高品位なフレームレート変換を行なうことができる。
【００２１】
（第２の実施形態）
第２実施形態は、第２のスケーリング回路により入力画像信号を拡大前に戻し、更に、第３のスケーリング回路を設けたことで、第１実施形態の第３フレームメモリの遅延効果を代用している。
【００２２】
図２に示されたフレームレート変換装置について、図１と相違する構成だけを説明し、共通した構成は、説明を省略する。
【００２３】
すなわち、このフレームレート変換装置は、第１の実施形態との違いは、第２のスケーリング回路１４の出力のフレーム遅延信号を得るために、第３のフレームメモリ３１を用いる代わりに、第１のフレームメモリ１３の出力を第３のスケーリング回路によりスケーリングして生成している点である。ここで、第３のスケーリング回路は、拡大縮小率制御回路１２から拡大縮小率信号を受け、第１のフレームメモリ１３の出力を受けて、スケーリングされた画像信号を動きベクトル検出回路２０に供給している。
【００２４】
（第３の実施形態）
第３実施形態は、第１の実施形態との違いとして、第２のスケーリング回路１４の出力の代わりに入力画像信号を直接使用したフレームレート変換装置を示している。
【００２５】
この場合、図示していないガンマ補正などの画質補正を第２のスケーリング回路により入力画像信号を拡大前に戻し、更に、第３のスケーリング回路を設けたことで、第１実施形態の第３フレームメモリの遅延効果を代用している。
【００２６】
図３に示されたフレームレート変換装置について、図１と相違する構成だけを説明し、共通した構成は、説明を省略すると、入力信号を受ける第３フレームメモリ３１が設けられ、この出力信号Ｓ５は、入力切替回路３２に供給される。又、入力切替回路３２は、第１の入力端に、第１のスケーリング回路１１の出力Ｓ１と入力信号が供給される。第２の入力端に、第１のフレームメモリ１３の出力Ｓ２と第３のフレームメモリ３１の出力Ｓ５が供給されている。
【００２７】
第１の実施形態との違いは、第２のスケーリング回路１４の出力の代わりに、入力画像信号を直接使用している点である。この場合、図示していないガンマ補正などの画質補正をまず行ってから第１のスケーリング回路１１及び第３のフレームメモリ３１へ入力する必要があるが、回路規模を削減することが可能である。
【００２８】
又、図４においては、入力信号Ｓ０，スケーリング出力Ｓ１、Ｓ１のフレーム遅延信号Ｓ２、内挿フレーム信号Ｓ３、出力信号Ｓ４に対応する、出力信号のフレーム番号が示されている。
【００２９】
以上、説明したように、本発明の実施形態に係るフレームレート変換装置によれば、入力画像信号を拡大し、かつ、フレームレートを上げて出力する際の動きベクトル検出精度が向上し、出力画像信号の高画質化を図ることができる。
【００３０】
以上記載した様々な実施形態により、当業者は本発明を実現することができるが、更にこれらの実施形態の様々な変形例を思いつくことが当業者によって容易であり、発明的な能力をもたなくとも様々な実施形態へと適用することが可能である。従って、本発明は、開示された原理と新規な特徴に矛盾しない広範な範囲に及ぶものであり、上述した実施形態に限定されるものではない。
【図面の簡単な説明】
【００３１】
【図１】本発明の一実施形態に係る第１のフレームレート変換装置の一例を示すブロック図。
【図２】本発明の一実施形態に係る第１のフレームレート変換装置の一例を示すブロック図。
【図３】本発明の一実施形態に係る第１のフレームレート変換装置の一例を示すブロック図。
【図４】本発明の一実施形態に係るフレームレート変換装置における各信号のタイミングの一例を示す説明図。
【図５】本発明の一実施形態に係るフレームレート変換装置における動きベクトルのスケーリング方法の一例を説明する説明図。
【符号の説明】
【００３２】
１１…第１のスケーリング回路、１２…拡大縮小率制御回路、１３…第１のフレームメモリ、１４…第２のスケーリング回路、１５…内挿フレーム生成回路、１６…第２のフレームメモリ、１７…レート変換読出回路、１８…第３のフレームメモリ、１９…入力切替回路、２０…動きベクトル検出回路、２１…動きベクトルスケーリング回路。
【技術分野】
【０００１】
この発明は、フレームレート変換装置に関し、特に、入力画像の拡大時の動きベクトル検出不具合に対応したフレームレート変換装置及びフレームレート変換方法に関する。
【背景技術】
【０００２】
フレームレート変換装置において、例えば、液晶パネルサイズに入力画像を拡大し、かつ、フレームレートを上げて出力する際、従来のように拡大された画像に対してフレーム間の動きベクトルを検出すると、検出精度が低下することが知られている。すなわち、動きベクトルの探索範囲が等倍の場合や縮小の場合に比べて狭くなってしまう他、アスペクト比４：３の画像を１６：９にノンリニアスケーリングを行った場合には、物体の形状が変化してしまうため、動きベクトルを検出しにくくなってしまう場合がある。
【０００３】
特許文献１においては、ＩＰ変換部で準じ操作に変換された入力画像信号と１フレーム前の入力画像信号とに基づいて、画素毎の動きベクトルを生成し、この動きベクトルを利用して、内挿フレームを生成して、フレームレート変換を行なっている。
【特許文献１】特開２０００−１３４５８５公報。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１の従来技術においても、画像情報の拡大時の動きベクトルの検出不具合については、何らの対策が示されてはいない。
【０００５】
本発明は、入力画像信号の拡大時における動きベクトル検出精度の低下を防止するフレームレート変換装置及びフレームレート変換方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、入力画像信号（Ｓ０）を拡大又は縮小して出力するスケーリング回路（１１）と、前記スケーリング回路からの画像信号を格納する第１フレームメモリ（１３）と、前記スケーリング回路が前記入力画像信号を拡大した場合は、拡大前の入力画像信号を供給する供給手段（１４，１８，１９：１４，２２：３１，３２）と、前記供給手段から前記拡大前の入力画像信号を受け、これに基づき動きベクトルを検出する動きベクトル検出回路（２０）と、前記動きベクトル検出回路からの前記動きベクトルをスケーリングして出力する動きベクトルスケーリング回路（２１）と、前記動きベクトルスケーリング回路からの前記動きベクトルと、前記スケーリング回路の出力信号と、前記第１フレームメモリからの画像信号とに基づいて、内挿すべき画像信号を生成し出力する内挿フレーム生成回路（１５）と、前記内挿フレーム生成回路からの前記内挿すべき画像信号を格納する第２フレームメモリ（１６）と、前記第１フレームメモリからの画像信号と、前記第２フレームメモリからの前記内挿すべき画像信号を受けて、フレームレートに応じて出力する読出回路部（１７）を具備することを特徴とするフレームレート変換装置である。
【発明の効果】
【０００７】
入力画像信号を拡大した時でも、動きベクトルを高精度に検出することができるため、歪みのないフレームレート変換画像を生成することができるフレームレート変換装置及びフレームレート変換方法を提供する。
【発明を実施するための最良の形態】
【０００８】
以下、この発明の実施の形態について図面を参照して詳細に説明する。
図１は、本発明の一実施形態に係る第１のフレームレート変換装置の一例を示すブロック図。図２は、本発明の一実施形態に係る第１のフレームレート変換装置の一例を示すブロック図。図３は、本発明の一実施形態に係る第１のフレームレート変換装置の一例を示すブロック図。図４は、本発明の一実施形態に係るフレームレート変換装置における各信号のタイミングの一例を示す説明図である。
【０００９】
なお、この実施形態において、フレームレートの変換の一例をあげると、画像信号の周波数を６０Ｈｚから１２０Ｈｚ等に変換する場合等をいう。又、画像の拡大・縮小を行なう場合は、液晶表示において一般的な例を上げると、ＳＤ（ＮＴＳＣ）の７２０×４８０画素の画像信号を、ＷＸＧＡパネル用に１３６６×７６８画素に、約１．８倍に拡大する場合等をいう。しかしながら、本発明の実施形態はこれらの例に限定されるものではない。
【００１０】
＜本発明の一実施形態に係るフレームレート変換装置＞
初めに、図１を用いて本発明の一実施形態に係る第１のフレームレート変換装置を説明する。
【００１１】
第１実施形態は、第２のスケーリング回路により、入力画像信号を拡大前に戻すことで、動きベクトル検出精度の低下を防止するフレームレート変換装置である。
【００１２】
本発明の一実施形態に係る第１のフレームレート変換装置は、入力画像信号を拡大縮小し、フレームレートを変換して出力する動画像フレームレート変換装置である。すなわち、フレームレート変換装置は、図１に示すように、入力画像信号を拡大縮小する第１のスケーリング回路１１と、第１のスケーリング回路１１の拡大縮小率を制御する拡大縮小率制御回路１２と、第１のスケーリング回路１１の出力を蓄える第１のフレームメモリ１３と、第１のスケーリング回路１１の出力と第１のフレームメモリ１３の出力とから内挿フレームを生成する内挿フレーム生成回路１５と、内挿フレーム生成回路１５の出力を蓄える第２のフレームメモリ１６と、出力フレームレートに応じて第１のフレームメモリ１３と第２のフレームメモリ１６とから画像を切り替えて読み出すレート変換読出回路１７とを具備している。
【００１３】
更に、フレームレート変換装置は、図１に示すように、第１のスケーリング回路１１の出力を縮小する第２のスケーリング回路１４と、第２のスケーリング回路１４の出力を蓄える第３のフレームメモリ１８とを備えている。
【００１４】
ここで、拡大縮小率制御回路１２により第１のスケーリング回路１１が拡大を行う場合には、第２のスケーリング回路１４は第１のスケーリング回路１１の出力を元の入力画像信号の大きさに戻すよう縮小を行い、後段の動きベクトル検出回路２０への入力切替回路１９は第２のスケーリング回路１４の出力と第３のフレームメモリ３１の出力を選択して動きベクトル検出回路２０へ入力する。そして、動きベクトル検出回路２０は、入力フレーム間の動きベクトルを検出して後段の動きベクトルスケーリング回路２１に出力する。
【００１５】
動きベクトルスケーリング回路２１は、動きベクトル検出回路２０の出力である動きベクトルを第１のスケーリング回路１１の出力と第１のフレームメモリ１３の出力との間の動きベクトルになるように動きベクトルのスケーリングを行って内挿フレーム生成回路１５に入力する。
【００１６】
・スケジューリング回路の機能
尚、ここで上述したスケジューリング回路の機能について説明する。
第１のスケーリング回路１１で水平倍率２倍、垂直倍率２倍に拡大した場合の動きベクトルスケーリング２１の動作の一例を示す。図５において、画素（ｘ，ｙ），（ｘ＋２，ｙ），（ｘ，ｙ＋２），（ｘ＋２，ｙ＋２）が入力信号Ｓ０及び第２のスケーリング回路１４の出力Ｓ０’の画素であり、画素（ｘ＋１，ｙ），（ｘ，ｙ＋１），（ｘ＋１，ｙ＋１），（ｘ＋２，ｙ＋１），（ｘ＋１，ｙ＋２）が第１のスケーリング回路１１により補間された画素である。
【００１７】
動きベクトル検出回路２０により、画素（ｘ，ｙ），（ｘ＋２，ｙ），（ｘ，ｙ＋２），（ｘ＋２，ｙ＋２）の動きベクトル［Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ）］，［Ｖｘ（ｘ＋２，ｙ），Ｖｙ（ｘ＋２，ｙ）］，［Ｖｘ（ｘ，ｙ＋２），Ｖｙ（ｘ，ｙ＋２）］，［Ｖｘ（ｘ＋２，ｙ＋２），Ｖｙ（ｘ＋２，ｙ＋２）］が求められ、動きベクトルスケーリング回路２１では以下のように第１のスケーリング回路１１の出力と第１のフレームメモリ１３の出力との間の動きベクトルになるように動きベクトルのスケーリングを行う。
【００１８】
［Ｖｘ'（ｘ，ｙ），Ｖｙ'（ｘ，ｙ）］＝［２＊Ｖｘ（ｘ，ｙ），２＊Ｖｙ（ｘ，ｙ）］
［Ｖｘ'（ｘ＋２，ｙ），Ｖｙ'（ｘ＋２，ｙ）］＝［２＊Ｖｘ（ｘ＋２，ｙ），２＊Ｖｙ（ｘ＋２，ｙ）］
［Ｖｘ'（ｘ，ｙ＋２），Ｖｙ'（ｘ，ｙ＋２）］＝［２＊Ｖｘ（ｘ，ｙ＋２），２＊Ｖｙ（ｘ，ｙ＋２）］
［Ｖｘ'（ｘ＋２，ｙ＋２），Ｖｙ'（ｘ＋２，ｙ＋２）］
＝［２＊Ｖｘ（ｘ＋２，ｙ＋２），２＊Ｖｙ（ｘ＋２，ｙ＋２）］
［Ｖｘ'（ｘ＋１，ｙ），Ｖｙ'（ｘ＋１，ｙ）］
＝［（Ｖｘ'（ｘ，ｙ）＋Ｖｘ'（ｘ＋２，y））／２，（Ｖｙ'（ｘ，y）＋Ｖｙ'（ｘ＋２，ｙ））／２］
［Ｖｘ'（ｘ，ｙ＋１），Ｖｙ'（ｘ，ｙ＋１）］＝［（Ｖｘ'（ｘ，ｙ）＋Ｖｘ'（ｘ，ｙ＋２））／２，（Ｖｙ'（ｘ，ｙ）＋Ｖｙ'（ｘ，ｙ＋２））／２］
［Ｖｘ'（ｘ＋２，ｙ＋１），Ｖｙ'（ｘ＋２，ｙ＋１）］
＝［（Ｖｘ'（ｘ＋２，ｙ）＋Ｖｘ'（ｘ＋２，ｙ＋２））／２，（Ｖｙ'（ｘ＋２，ｙ）＋Ｖｙ'（ｘ＋２，ｙ＋２））／２］
［Ｖｘ'（ｘ＋１，ｙ＋２），Ｖｙ'（ｘ＋１，ｙ＋２）］
＝［（Ｖｘ'（ｘ，ｙ＋２）＋Ｖｘ'（ｘ＋２，ｙ＋２））／２，（Ｖｙ'（ｘ，ｙ＋２）＋Ｖｙ'（ｘ＋２，ｙ＋２））／２］
［Ｖｘ'（ｘ＋１，ｙ＋１），Ｖｙ'（ｘ＋１，ｙ＋１）］
＝［（Ｖｘ'（ｘ，ｙ）＋Ｖｘ'（ｘ＋２，ｙ）＋Ｖｘ'（ｘ，ｙ＋２）＋Ｖｘ'（ｘ＋２，ｙ＋２））／４，（Ｖｙ'（ｘ，ｙ）＋Ｖｙ'（ｘ＋２，ｙ）＋Ｖｙ'（ｘ，ｙ＋２）＋Ｖｙ'（ｘ＋２，ｙ＋２））／４］
このような操作により動きベクトル値が求められる。
【００１９】
内挿フレーム生成回路１５は、入力された動きベクトルに基づいてフレーム間の内挿フレームを生成し、第２フレームメモリ１６に格納する。そして、レート変換読出回路１７により、出力フレームレートに応じて第１のフレームメモリ１３と第２のフレームメモリ１６とから画像を切り替えて読み出すことにより、フレームレート変換を実現している。
【００２０】
すなわち、第１のフレームレート変換装置においては、上述したように、第２スケーリング回路のスケーリング処理により、拡大前の入力画像信号が生成される。このため、スケーリングにより画像信号が極端に大きくなることで、動きベクトルの検出の精度が低下するという不具合を解消することとなる。従って、画像信号の拡大処理を伴うフレームレート処理を行なっても、動きベクトル検出精度の低下に基づく歪みを生じることはなく、高品位なフレームレート変換を行なうことができる。
【００２１】
（第２の実施形態）
第２実施形態は、第２のスケーリング回路により入力画像信号を拡大前に戻し、更に、第３のスケーリング回路を設けたことで、第１実施形態の第３フレームメモリの遅延効果を代用している。
【００２２】
図２に示されたフレームレート変換装置について、図１と相違する構成だけを説明し、共通した構成は、説明を省略する。
【００２３】
すなわち、このフレームレート変換装置は、第１の実施形態との違いは、第２のスケーリング回路１４の出力のフレーム遅延信号を得るために、第３のフレームメモリ３１を用いる代わりに、第１のフレームメモリ１３の出力を第３のスケーリング回路によりスケーリングして生成している点である。ここで、第３のスケーリング回路は、拡大縮小率制御回路１２から拡大縮小率信号を受け、第１のフレームメモリ１３の出力を受けて、スケーリングされた画像信号を動きベクトル検出回路２０に供給している。
【００２４】
（第３の実施形態）
第３実施形態は、第１の実施形態との違いとして、第２のスケーリング回路１４の出力の代わりに入力画像信号を直接使用したフレームレート変換装置を示している。
【００２５】
この場合、図示していないガンマ補正などの画質補正を第２のスケーリング回路により入力画像信号を拡大前に戻し、更に、第３のスケーリング回路を設けたことで、第１実施形態の第３フレームメモリの遅延効果を代用している。
【００２６】
図３に示されたフレームレート変換装置について、図１と相違する構成だけを説明し、共通した構成は、説明を省略すると、入力信号を受ける第３フレームメモリ３１が設けられ、この出力信号Ｓ５は、入力切替回路３２に供給される。又、入力切替回路３２は、第１の入力端に、第１のスケーリング回路１１の出力Ｓ１と入力信号が供給される。第２の入力端に、第１のフレームメモリ１３の出力Ｓ２と第３のフレームメモリ３１の出力Ｓ５が供給されている。
【００２７】
第１の実施形態との違いは、第２のスケーリング回路１４の出力の代わりに、入力画像信号を直接使用している点である。この場合、図示していないガンマ補正などの画質補正をまず行ってから第１のスケーリング回路１１及び第３のフレームメモリ３１へ入力する必要があるが、回路規模を削減することが可能である。
【００２８】
又、図４においては、入力信号Ｓ０，スケーリング出力Ｓ１、Ｓ１のフレーム遅延信号Ｓ２、内挿フレーム信号Ｓ３、出力信号Ｓ４に対応する、出力信号のフレーム番号が示されている。
【００２９】
以上、説明したように、本発明の実施形態に係るフレームレート変換装置によれば、入力画像信号を拡大し、かつ、フレームレートを上げて出力する際の動きベクトル検出精度が向上し、出力画像信号の高画質化を図ることができる。
【００３０】
以上記載した様々な実施形態により、当業者は本発明を実現することができるが、更にこれらの実施形態の様々な変形例を思いつくことが当業者によって容易であり、発明的な能力をもたなくとも様々な実施形態へと適用することが可能である。従って、本発明は、開示された原理と新規な特徴に矛盾しない広範な範囲に及ぶものであり、上述した実施形態に限定されるものではない。
【図面の簡単な説明】
【００３１】
【図１】本発明の一実施形態に係る第１のフレームレート変換装置の一例を示すブロック図。
【図２】本発明の一実施形態に係る第１のフレームレート変換装置の一例を示すブロック図。
【図３】本発明の一実施形態に係る第１のフレームレート変換装置の一例を示すブロック図。
【図４】本発明の一実施形態に係るフレームレート変換装置における各信号のタイミングの一例を示す説明図。
【図５】本発明の一実施形態に係るフレームレート変換装置における動きベクトルのスケーリング方法の一例を説明する説明図。
【符号の説明】
【００３２】
１１…第１のスケーリング回路、１２…拡大縮小率制御回路、１３…第１のフレームメモリ、１４…第２のスケーリング回路、１５…内挿フレーム生成回路、１６…第２のフレームメモリ、１７…レート変換読出回路、１８…第３のフレームメモリ、１９…入力切替回路、２０…動きベクトル検出回路、２１…動きベクトルスケーリング回路。
【特許請求の範囲】
【請求項１】
入力画像信号を拡大又は縮小して出力するスケーリング回路と、
前記スケーリング回路からの画像信号を格納する第１フレームメモリと、
前記スケーリング回路が前記入力画像信号を拡大した場合は、拡大前の入力画像信号を供給する供給手段と、
前記供給手段から前記拡大前の入力画像信号を受け、これに基づき動きベクトルを検出する動きベクトル検出回路と、
前記動きベクトル検出回路からの前記動きベクトルをスケーリングして出力する動きベクトルスケーリング回路と、
前記動きベクトルスケーリング回路からの前記動きベクトルと、前記スケーリング回路の出力信号と、前記第１フレームメモリからの画像信号とに基づいて、内挿すべき画像信号を生成し出力する内挿フレーム生成回路と、
前記内挿フレーム生成回路の前記内挿すべき画像信号を格納する第２フレームメモリと、
前記第１フレームメモリからの画像信号と、前記第２フレームメモリからの前記内挿すべき画像信号とを受けて、フレームレートに応じて出力する読出回路部と、
を具備することを特徴とするフレームレート変換装置。
【請求項２】
前記供給手段は、前記第１のスケーリング回路が前記入力画像信号を拡大した場合は、拡大前の入力画像信号に戻すべくスケーリングする第２スケーリング回路と、
前記第２スケーリング回路による前記拡大前の入力画像信号を格納する第３フレームメモリを含むことを特徴とする請求項１記載のフレームレート変換装置。
【請求項３】
前記供給手段は、前記第１スケーリング回路の出力を受けてスケーリングし前記動きベクトル検出回路に供給する第２スケーリング回路と、前記第１フレームメモリの出力を受けてスケーリングし前記動きベクトル検出回路に供給する第３スケーリング回路を含むことを特徴とする請求項１記載のフレームレート変換装置。
【請求項４】
前記供給手段は、前記入力画像信号が入力される第３フレームメモリと、
前記スケーリング回路が前記入力画像信号を拡大する場合は、前記入力画像信号と、前記第３フレームメモリからの出力である前記入力画像信号とをそれぞれ受け、前記動きベクトル検出回路に供給する入力切替回路とを有することを特徴とする請求項１記載のフレームレート変換装置。
【請求項５】
入力画像信号を拡大して出力し、
前記拡大した入力画像信号を第１フレームメモリに格納し、
拡大前の前記入力画像信号を供給し、
前記供給された拡大前の入力画像信号に基づいて、動きベクトルを検出し、
前記検出した動きベクトルをスケーリングして出力し、
前記拡大された入力画像信号と、前記第１フレームメモリから出力された前記入力画像信号により内挿すべき画像信号を生成して出力し、
前記内挿すべき画像信号を第２フレームメモリに格納して出力し、
前記第１フレームメモリからの画像信号と、前記第２フレームメモリからの前記内挿すべき画像信号とを受けて、フレームレートに応じて出力することを特徴とするフレームレート変換方法。
【請求項６】
前記拡大前の入力画像信号を供給する方法は、前記拡大された入力画像信号をスケーリングして拡大前の入力画像信号に戻し、
前記拡大前の入力画像信号を第３フレームメモリに格納し取り出して、前記動きベクトルの検出に供することを特徴とする請求項５記載のフレームレート変換方法。
【請求項７】
前記拡大前の入力画像信号を供給する方法は、前記拡大された入力画像信号をスケーリングして拡大前の入力画像信号を生成し、前記第１フレームメモリの出力を受けてスケーリングして拡大前の入力画像信号を生成して、それぞれの拡大前の入力画像信号を前記動きベクトルの検出に供することを特徴とする請求項５記載のフレームレート変換方法。
【請求項８】
前記拡大前の入力画像信号を供給する方法は、前記入力画像信号と、第３フレームメモリに格納し取り出した前記入力画像信号とを前記動きベクトルの検出に供することを特徴とする請求項５記載のフレームレート変換方法。
【請求項１】
入力画像信号を拡大又は縮小して出力するスケーリング回路と、
前記スケーリング回路からの画像信号を格納する第１フレームメモリと、
前記スケーリング回路が前記入力画像信号を拡大した場合は、拡大前の入力画像信号を供給する供給手段と、
前記供給手段から前記拡大前の入力画像信号を受け、これに基づき動きベクトルを検出する動きベクトル検出回路と、
前記動きベクトル検出回路からの前記動きベクトルをスケーリングして出力する動きベクトルスケーリング回路と、
前記動きベクトルスケーリング回路からの前記動きベクトルと、前記スケーリング回路の出力信号と、前記第１フレームメモリからの画像信号とに基づいて、内挿すべき画像信号を生成し出力する内挿フレーム生成回路と、
前記内挿フレーム生成回路の前記内挿すべき画像信号を格納する第２フレームメモリと、
前記第１フレームメモリからの画像信号と、前記第２フレームメモリからの前記内挿すべき画像信号とを受けて、フレームレートに応じて出力する読出回路部と、
を具備することを特徴とするフレームレート変換装置。
【請求項２】
前記供給手段は、前記第１のスケーリング回路が前記入力画像信号を拡大した場合は、拡大前の入力画像信号に戻すべくスケーリングする第２スケーリング回路と、
前記第２スケーリング回路による前記拡大前の入力画像信号を格納する第３フレームメモリを含むことを特徴とする請求項１記載のフレームレート変換装置。
【請求項３】
前記供給手段は、前記第１スケーリング回路の出力を受けてスケーリングし前記動きベクトル検出回路に供給する第２スケーリング回路と、前記第１フレームメモリの出力を受けてスケーリングし前記動きベクトル検出回路に供給する第３スケーリング回路を含むことを特徴とする請求項１記載のフレームレート変換装置。
【請求項４】
前記供給手段は、前記入力画像信号が入力される第３フレームメモリと、
前記スケーリング回路が前記入力画像信号を拡大する場合は、前記入力画像信号と、前記第３フレームメモリからの出力である前記入力画像信号とをそれぞれ受け、前記動きベクトル検出回路に供給する入力切替回路とを有することを特徴とする請求項１記載のフレームレート変換装置。
【請求項５】
入力画像信号を拡大して出力し、
前記拡大した入力画像信号を第１フレームメモリに格納し、
拡大前の前記入力画像信号を供給し、
前記供給された拡大前の入力画像信号に基づいて、動きベクトルを検出し、
前記検出した動きベクトルをスケーリングして出力し、
前記拡大された入力画像信号と、前記第１フレームメモリから出力された前記入力画像信号により内挿すべき画像信号を生成して出力し、
前記内挿すべき画像信号を第２フレームメモリに格納して出力し、
前記第１フレームメモリからの画像信号と、前記第２フレームメモリからの前記内挿すべき画像信号とを受けて、フレームレートに応じて出力することを特徴とするフレームレート変換方法。
【請求項６】
前記拡大前の入力画像信号を供給する方法は、前記拡大された入力画像信号をスケーリングして拡大前の入力画像信号に戻し、
前記拡大前の入力画像信号を第３フレームメモリに格納し取り出して、前記動きベクトルの検出に供することを特徴とする請求項５記載のフレームレート変換方法。
【請求項７】
前記拡大前の入力画像信号を供給する方法は、前記拡大された入力画像信号をスケーリングして拡大前の入力画像信号を生成し、前記第１フレームメモリの出力を受けてスケーリングして拡大前の入力画像信号を生成して、それぞれの拡大前の入力画像信号を前記動きベクトルの検出に供することを特徴とする請求項５記載のフレームレート変換方法。
【請求項８】
前記拡大前の入力画像信号を供給する方法は、前記入力画像信号と、第３フレームメモリに格納し取り出した前記入力画像信号とを前記動きベクトルの検出に供することを特徴とする請求項５記載のフレームレート変換方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２００７−３２４８３０（Ｐ２００７−３２４８３０Ａ）
【公開日】平成１９年１２月１３日（２００７．１２．１３）
【国際特許分類】
【出願番号】特願２００６−１５１５８２（Ｐ２００６−１５１５８２）
【出願日】平成１８年５月３１日（２００６．５．３１）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成１９年１２月１３日（２００７．１２．１３）
【国際特許分類】
【出願日】平成１８年５月３１日（２００６．５．３１）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]