動画像フレームレート変換装置および動画像フレームレート変換方法
【課題】入力画像信号の拡大またはノンリニアスケーリングが行われる場合の動きベクトルの検出精度を向上させて出力画像信号の画質を高める。
【解決手段】動画像フレームレート変換装置１は、入力画像信号が拡大されるときは、フレームレート変換前に入力画像信号に対するスケーリングおよびカラーフォーマット変換を行う第１の画像処理手段によりスケーリングを行うことなくカラーフォーマット変換を行ない、かつフレームレート変換後の変換後画像信号に対するスケーリングを行う第２の画像処理手段によりスケーリングを行って出力画像信号を生成する。
【解決手段】動画像フレームレート変換装置１は、入力画像信号が拡大されるときは、フレームレート変換前に入力画像信号に対するスケーリングおよびカラーフォーマット変換を行う第１の画像処理手段によりスケーリングを行うことなくカラーフォーマット変換を行ない、かつフレームレート変換後の変換後画像信号に対するスケーリングを行う第２の画像処理手段によりスケーリングを行って出力画像信号を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フレームレートの変換を行う動画像フレームレート変換装置および動画像フレームレート変換方法に関する。
【背景技術】
【０００２】
現在実用化されている画像の表示方式としては、例えば、ＮＴＳＣ（National Television System Committee）、ＰＡＬ（Phase Alternation by Linecolor television）、ハイビジョン及びパーソナルコンピュータ用といった多種多様な表示方式が存在している。
【０００３】
また、液晶ディスプレイやプラズマディスプレイといった表示装置に表示方式の異なる多様な入力画像信号を入力して画像を表示させるときは、入力画像信号のフレームレートを表示装置に固有のフレームレートに変換するフレームレート変換を行う必要があった。
【０００４】
フレームレートの変換を行う装置（フレームレート変換装置）については従来から様々な提案がなされている。例えば、特許文献１には、動画における画質劣化を回避するため、画像の動きベクトルを検出し、この動きベクトルにより前後のフレームの画像位置を移動させて内挿フレームを生成する動き補償型のフレームレート変換を行う装置が開示されている。
【特許文献１】特開２０００−１３４５８５公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
表示装置に入力画像信号を入力して画像を表示させるときは、表示装置の表示画素数に合わせるようにして、入力画像信号の画像サイズを変更する（拡大または縮小する）スケーリングを行うことがある。
【０００６】
しかし、動き補償型のフレームレート変換では、動きベクトルの検出が行われるので、スケーリングによって入力画像信号の画像サイズが拡大されるときは、スケーリングによって画像サイズの拡大された画像信号に対して動きベクトルの検出が行われる。そうすると、動きベクトルを検出するための探索範囲が同じでも、画像サイズの拡大によって、動きベクトルを検出できる有効な探索範囲が狭まってしまい、画像サイズを拡大しない場合（すなわち、等倍にする場合または縮小する場合）よりも、動きベクトルが検出され難くなってしまう。
【０００７】
また、アスペクト比４：３の画像を１６：９の画像に引き伸ばして横長に表示するノンリニアスケーリングが行われると、物体の形状が変化して表示されるため、この場合も、動き補償型のフレームレート変換において、動きベクトルが検出され難くなる。
【０００８】
そこで、本発明は上記課題を解決するためになされたもので、動画像フレームレート変換装置および動画像フレームレート変換方法において、画像サイズの拡大またはノンリニアスケーリングが行われる場合の動きベクトルの検出精度を向上させて出力画像信号の画質を高めることを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、本発明は、入力画像信号に対する動き補償によるフレームレート変換を行い、出力画像信号を生成する動画像フレームレート変換装置において、フレームレート変換前に入力画像信号に対するスケーリングおよびカラーフォーマット変換を行う第１の画像処理手段と、フレームレート変換後の変換後画像信号に対するスケーリングを行う第２の画像処理手段と、入力画像信号の画像サイズが拡大されるときは、第１の画像処理手段により前記スケーリングを行うことなくカラーフォーマット変換を行い、かつ第２の画像処理手段によりスケーリングを行って出力画像信号を生成するように制御する制御手段とを有する動画像フレームレート変換装置を特徴とする。
【００１０】
また、本発明は入力画像信号に対する動き補償によるフレームレート変換を行い、出力画像信号を生成する動画像フレームレート変換方法において、入力画像信号の画像サイズが拡大されるときは、フレームレート変換前に入力画像信号に対するスケーリングおよびカラーフォーマット変換を行う第１の画像処理手段によりスケーリングを行うことなくカラーフォーマット変換を行い、かつフレームレート変換後の変換後画像信号に対するスケーリングを行う第２の画像処理手段によりスケーリングを行って出力画像信号を生成する動画像フレームレート変換方法を提供する。
【発明の効果】
【００１１】
以上詳述したように、本発明によれば、動画像フレームレート変換装置および動画像フレームレート変換方法において、入力画像信号の拡大またはノンリニアスケーリングが行われる場合の動きベクトルの検出精度を向上させて出力画像信号の画質を高めることができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施の形態について説明する。なお、同一要素には同一符号を用い、重複する説明は省略する。
【００１３】
（動画像フレームレート変換装置の構成）
図１は、本発明の実施の形態に係る動画像フレームレート変換装置１の構成を示すブロック図である。この動画像フレームレート変換装置１は、入力画像信号Ｓ０に対する動き補償によるフレームレート変換を行ない、出力画像信号Ｓ５を生成して出力するようになっている。
【００１４】
動画像フレームレート変換装置１は、順次走査変換回路１０と、セレクタ１１と、第１のスケーリングおよびカラーフォーマット変換回路１２とを有している。また、動画像フレームレート変換装置１は、拡大縮小率制御回路１３と、フレームレート変換回路１４と、第２のスケーリング回路１５とを有している。
【００１５】
順次走査変換回路１０は、入力画像信号Ｓ０が飛び越し走査方式の画像信号（以下「飛び越し走査信号」という）であるときに、その入力画像信号Ｓ０を順次走査方式の画像信号（以下「順次走査信号」という）Ｓ１に変換して出力する。セレクタ１１は、入力画像信号Ｓ０または順次走査信号Ｓ１のいずれか一方を選択して選択信号Ｓ２を出力する。
【００１６】
ここで、本実施の形態に係る動画像フレームレート変換装置１では、入力画像信号Ｓ０として、順次走査信号または飛び越し走査信号が入力される。また、入力画像信号Ｓ０としては、カラーフォーマットがＹＣｂＣｒ４：２：０形式、ＹＣｂＣｒ４：２：２形式、ＹＣｂＣｒ４：４：４形式といった輝度信号および色信号のサンプリング間隔が異なる形式の信号も含まれている。
【００１７】
そして、入力画像信号Ｓ０が飛び越し走査信号であるときは、順次走査変換回路１０が入力画像信号Ｓ０を順次走査信号Ｓ１に変換し、セレクタ１１が選択信号Ｓ２として順次走査信号Ｓ１を選択する。また、入力画像信号Ｓ０が順次走査信号であるときは、セレクタ１１が選択信号Ｓ２として入力画像信号Ｓ０を選択する。
【００１８】
このようにして、第1のスケーリング及びカラーフォーマット変換回路１２には、選択信号Ｓ２として順次走査信号が入力される。
【００１９】
次に、第１のスケーリングおよびカラーフォーマット変換回路１２は、本発明における第１の画像処理手段であって、選択信号Ｓ２に対する水平または垂直方向の画素数の変換により画像サイズを変更するスケーリングおよびカラーフォーマット変換を行う。カラーフォーマット変換は、ＹＣｂＣｒ４：２：０、ＹＣｂＣｒ４：２：２、ＹＣｂＣｒ４：４：４を相互に変換する色のスケーリングを行うことを意味するため、第１のスケーリングおよびカラーフォーマット変換回路１２は、図１に示すように、選択信号Ｓ２に対するスケーリングを行うスケーリング部と、カラーフォーマット変換を行うカラーフォーマット変換部とが一つのブロックで構成されている。
【００２０】
第１のスケーリングおよびカラーフォーマット変換回路１２は、拡大縮小率制御回路１３から出力される制御信号にしたがい作動して、変換前画像信号Ｓ３を出力する。この第１のスケーリングおよびカラーフォーマット変換回路１２の具体的な動作内容については後に詳述する。
【００２１】
拡大縮小率制御回路１３は、ＣＰＵ，ＲＯＭ，ＲＡＭを有し、ＣＰＵがＲＯＭに記憶されている制御プログラムにしたがいＲＡＭに対してデータの読み書きを行いながら作動し、制御信号ｓｇを第１のスケーリングおよびカラーフォーマット変換回路１２と、第２のスケーリング回路１５とに出力する。この拡大縮小率制御回路１３は入力画像信号Ｓ０が拡大されるか否かを判定する判定手段としての機能を有している。
【００２２】
フレームレート変換回路１４は、変換前画像信号Ｓ３に対する動き補償によるフレームレート変換を行ない、フレームレート変換後の変換後画像信号Ｓ４を生成して第２のスケーリング回路１５に出力する。フレームレート変換回路１４の具体的な構成についても後に詳述する。
【００２３】
第２のスケーリング回路１５は、本発明における第２の画像処理手段であって、変換後画像信号Ｓ４に対する水平または垂直方向の画素数の変換等により画像サイズを変更するスケーリングを行ない、出力画像信号Ｓ５を生成して出力する。第２のスケーリング回路１５は、拡大縮小率制御回路１３から出力される制御信号ｓｇにしたがい作動して、出力画像信号Ｓ５を出力する。第２のスケーリング回路１５の具体的な動作内容については後に詳述する。なお、図６には、選択信号Ｓ２、変換前画像信号Ｓ３、変換後画像信号Ｓ４と、後述するフレーム遅延信号Ｓ６および内挿フレームＳ７の各信号のタイミングの一例が示されている。
【００２４】
（動画像フレームレート変換装置の第１の動作内容）
次に、以上の構成を有する動画像フレームレート変換装置１の動作内容について、図３に示すフローチャートに沿って説明する。なお、図３および後述する図４では、ステップをＳと略記している。
【００２５】
図３、図４は動画像フレームレート変換装置１によるフレームレート変換処理の動作手順を示すフローチャートである。まず、図３に沿って、フレームレート変換処理の動作手順について説明する。
【００２６】
動画像フレームレート変換装置１はフレームレート変換処理を開始すると、処理をステップ１に進め、拡大縮小率が拡大であるか（すなわち、入力画像信号Ｓ０の画像サイズが拡大されるか）またはノンリニアスケーリングが行われるか否かを拡大縮小率制御回路１３が判定する。
【００２７】
このとき、拡大縮小率制御回路１３は、判定手段としての動作を行い、出力画像信号Ｓ５の画像サイズが順次走査信号としての選択信号Ｓ２の画像サイズより大きいか否かを判定し、前者が後者よりも大きいときは画像サイズの拡大が行なわれるとしてステップ２の処理を実行する。また、拡大縮小率制御回路１３はノンリニアスケーリングが行われるときもステップ２の処理を実行する。
【００２８】
ただし、拡大縮小率制御回路１３は、画像サイズが拡大されないと判定したとき、すなわち、入力画像信号Ｓ０の画像サイズが出力画像信号Ｓ５の画像サイズよりも小さいか同じ場合（縮小または等倍のとき）と、ノンリニアスケーリングが行なわないときはステップ５の処理を実行する。
【００２９】
拡大縮小率制御回路１３は、ステップ２の処理を実行するときは、制御手段としての動作を行い、第１のスケーリング及びカラーフォーマット変換回路１２に対して、カラーフォーマット変換のみを行い、画像サイズの拡大（スケーリング）は行わないように指示する制御信号ｓｇを出力する。
【００３０】
すると、第１のスケーリング及びカラーフォーマット変換回路１２によって、輝度信号と色信号のサンプリング間隔を同じにするカラーフォーマット変換のみが行われ、画像サイズが拡大されることなく変換前画像信号Ｓ３が出力される。この場合、例えば、順次走査信号としての選択信号Ｓ２のカラーフォーマットがＹＣｂＣｒ４：２：０形式の場合は、ＹＣｂＣｒ４:４:４形式に変換するカラーフォーマット変換のみが行われ、画像サイズは拡大されない。
【００３１】
また、ステップ２の処理が実行され、変換前画像信号Ｓ３が出力されるとステップ３の処理が実行される。このとき、フレームレート変換回路１４が作動して、変換前画像信号Ｓ３に対する動き補償によるフレームレート変換が行なわれ、変換後画像信号Ｓ４が生成されて出力される。
【００３２】
さらに、変換後画像信号Ｓ４が生成されると、ステップ４の処理が実行される。ここでは、拡大縮小率制御回路１３が制御手段としての動作を行い、第２のスケーリング回路１５に対して、変換後画像信号Ｓ４に対するスケーリングを行うように指示する制御信号ｓｇを出力する。すると、第２のスケーリング回路１５は変換後画像信号Ｓ４に対する、出力画像信号Ｓ５の画像サイズに拡大するための水平または垂直方向の画素数の変換等を行ない、出力画像信号Ｓ５を生成して出力する。また、第２のスケーリング回路１５はノンリニアスケーリングが行われるときは、ノンリニアスケーリングを実行し、出力画像信号Ｓ５を生成して出力する。ステップ４が終了すると、フレームレート変換処理が終了する。
【００３３】
一方、拡大縮小率制御回路１３はステップ５の処理を実行するときも、制御手段としての動作を行う。この場合、拡大縮小率制御回路１３は、第１のスケーリング及びカラーフォーマット変換回路１２に対して、カラーフォーマット変換とともに画像サイズのスケーリング（この場合は縮小または等倍）を行うように指示する制御信号ｓｇを出力する。
【００３４】
すると、第１のスケーリング及びカラーフォーマット変換回路１２によって、ステップ２と同様のカラーフォーマット変換とともに、スケーリングが行われて変換前画像信号Ｓ３が出力される。
【００３５】
さらに、ステップ５の処理が実行されることによって、変換前画像信号Ｓ３が出力されるとステップ６の処理がステップ３と同様にして実行され、変換後画像信号Ｓ４が生成されて出力される。
【００３６】
続いて、変換後画像信号Ｓ４が出力されると、ステップ７の処理が実行される。ここでは、拡大縮小率制御回路１３が制御手段としての動作を行い、第２のスケーリング回路１５に対して、変換後画像信号Ｓ４に対するスケーリングを行うことなく出力画像信号Ｓ５を生成するように指示する制御信号ｓｇを出力する。すると、第２のスケーリング回路１５は変換後画像信号Ｓ４に対するスケーリングを行うことなく出力画像信号Ｓ５を生成して出力する。
【００３７】
ここで、比較のため、本発明に関連する動画像フレームレート変換装置１０１について説明する。図５は、動画像フレームレート変換装置１０１の内部構成を示すブロック図である。図５に示すように、この動画像フレームレート変換装置１０１は、動画像フレームレート変換装置１と比較して、第１のスケーリング及びカラーフォーマット変換回路１２の代わりにスケーリング及びカラーフォーマット変換回路２２を有する点、第２のスケーリング回路１５を有しない点、および拡大縮小率制御回路１３の代わりに拡大縮小率制御回路２３を有する点で相違し、その他の点は一致している。
【００３８】
スケーリング及びカラーフォーマット変換回路２２は、拡大縮小率制御回路２３からの制御信号にしたがい作動するが、第１のスケーリング及びカラーフォーマット変換回路１２のようにカラーフォーマット変換だけを行うことはなく、スケーリングとカラーフォーマット変換をともに行う。
【００３９】
また、拡大縮小率制御回路２３は、スケーリング及びカラーフォーマット変換回路２２に対して、スケーリング及びカラーフォーマット変換を行うように指示する制御信号を出力する。
【００４０】
この動画像フレームレート変換装置１０１では、フレームレート変換回路１４によるフレームレート変換前にスケーリング及びカラーフォーマット変換回路２２によって、スケーリング及びカラーフォーマット変換が行われる。そのため、入力画像信号Ｓ０の画像サイズが拡大されるときは、スケーリング及びカラーフォーマット変換回路２２によって、画像サイズが拡大された変換前画像信号Ｓ３に対して、フレームレート変換回路１４によるフレームレート変換が行なわれる。したがって、動きベクトルを検出できる有効な探索範囲が狭まってしまい、動きベクトルが検出され難くなってしまう。
【００４１】
これに対して、動画像フレームレート変換装置１は、上記のように作動してフレームレート変換処理を行う。すなわち、動画像フレームレート変換装置１では、入力画像信号Ｓ０の画像サイズを拡大するかまたはノンリニアスケーリングを行ってフレームレート変換を行うときは、フレームレート変換前に第１のスケーリングおよびカラーフォーマット変換回路１２がカラーフォーマット変換のみ行い、入力画像信号Ｓ０の画像サイズの拡大またはノンリニアスケーリングは、フレームレート変換後に第２のスケーリング回路１５が行うようになっている。
【００４２】
つまり、フレームレート変換回路１４が動き補償によるフレームレート変換のために動きベクトル検出を行なっても、その動きベクトル検出は、画像サイズの拡大前またはノンリニアスケーリング前の入力画像信号Ｓ０を対象として行われることとなる。そのため、動きベクトルを検出するための探索範囲は画像サイズの拡大前またはノンリニアスケーリング前と同じであり、動きベクトルを検出できる有効な探索範囲が狭まることはないし、物体の形状が変化して動きベクトルが検出され難くなることもない。
【００４３】
したがって、動画像フレームレート変換装置１では、フレームレート変換回路１４におけるフレームレート変換において、精度よく動きベクトルが検出され、内挿フレームの画質を高めることができるようになっている。
【００４４】
特に、アスペクト比４：３の画像を１６：９の画像に拡大する場合によく行われるノンリニアスケーリングを行うと、拡大率が画面中央部から画面端部にかけて変化する。この場合、ノンリニアスケーリングを行った後に動きベクトルを検出すると、フレーム間で物体の形状が変化してしまうため、動きベクトルの検出が困難になる。しかし、本発明の実施の形態における動画像フレームレート変換装置１は、ノンリニアスケーリングによって物体の形状が変化する前に動きベクトルが検出されるため、精度よく動きベクトルを検出することができ、内挿フレームの画質を高めることができるようになっている。
【００４５】
さらに、入力画像信号の画像サイズを縮小して出力する際には、入力画像信号Ｓ０の画像サイズを縮小してから動きベクトル検出が行われる。そのため、動きベクトルを検出できる有効な探索範囲が縮小前よりも広がり、精度よく動きベクトルが検出されるようになる。したがって、動画像フレームレート変換装置１は、この点でも内挿フレームの画質を高めることができるようになっている。
【００４６】
（フレームレート変換回路の構成および動作内容）
フレームレート変換回路１４は、本実施の形態では、図２に示すような構成を有している。すなわち、このフレームレート変換回路１４は、第１のフレームメモリ１６と、動きベクトル検出部１７と、内挿フレーム生成回路１８と、第２のフレームメモリ１９と、レート変換読出回路２０とを有している。
【００４７】
このような構成を有するフレームレート変換回路１４では、変換前画像信号Ｓ３が第１のフレームメモリ１６と動きベクトル検出回路１７に入力される。そして、第１のフレームメモリ１６が変換前画像信号Ｓ３を格納する。また、第１のフレームメモリ１６は変換前画像信号Ｓ３を１フレーム期間遅延させたフレーム遅延信号Ｓ６を動きベクトル検出回路１７に入力する。
【００４８】
さらに、動きベクトル検出部１７が変換前画像信号Ｓ３とフレーム遅延信号Ｓ６とを入力して２フレーム間の動きベクトルＶ０を検出し、その検出した動きベクトルＶ０を内挿フレーム生成回路１８に出力する。また、内挿フレーム生成回路１８は、検出された動きベクトルＶ０により前後のフレームの画像位置を移動させて、変換前画像信号Ｓ３と、フレーム遅延信号Ｓ６との間の内挿フレームＳ７を生成する。内挿フレームＳ７は第２のフレームメモリ１９に格納される。
【００４９】
そして、レート変換読出回路２０が第１フレームメモリ１６及び第２のフレームメモリ１９から、時系列順に出力フレームレートでそれぞれ画像信号Ｓ８、Ｓ９を読出して変換後画像信号Ｓ４を出力する。こうして、フレームレート変換回路１４によって、変換前画像信号Ｓ３に対する動き補償によるフレームレート変換が行なわれ、変換後画像信号Ｓ４が生成される。
【００５０】
フレームレート変換回路１４が以上のような構成を有するときは、入力画像信号Ｓ０の画像サイズを縮小して出力する際には、入力画像信号Ｓ０の画像サイズを縮小してから動きベクトル検出が行われることになるため、第１のフレームメモリ１６と第２のフレームメモリ１９のメモリ容量やデータ転送量を減らすことができるという作用効果を奏することとなる。
【００５１】
なお、フレームレート変換回路１４は、動き補償によるフレームレート変換が行なわれるための構成を有していればよく、以上のような構成を有していないものでも本発明を適用することができる。
【００５２】
（動画像フレームレート変換装置の第２の動作内容）
次に、図４のフローチャートを参照して、動画像フレームレート変換装置１によるフレームレート変換処理の別の動作手順について説明する。以下の説明は、図３のフローチャートとの相違点を中心に行い、共通点は説明を省略ないし簡略化する。
【００５３】
動画像フレームレート変換装置１は、フレームレート変換処理を開始すると、処理をステップ１１に進め、拡大縮小率制御回路１３が第１の判定手段としての動作を行い拡大縮小率が拡大であるか（すなわち、入力画像信号Ｓ０の画像サイズが拡大されるか）否かを判定する。
【００５４】
このとき、拡大縮小率制御回路１３は、ステップ１と同様に画像サイズの拡大が行なわれると判定されたときはステップ２の処理を実行し、そうでなければ拡大縮小率制御回路１３はステップ１３の処理を実行する。
【００５５】
拡大縮小率制御回路１３は、ステップ２の処理を実行するときは、図３のフローチャートの場合と同様の動作を行う。すると、ステップ２の処理と、ステップ３の処理が図３のフローチャートの場合と同様に実行され、変換後画像信号Ｓ４が生成されて出力される。さらに、変換後画像信号Ｓ４が生成されると、ステップ４の処理が実行される。ここでは、拡大縮小率制御回路１３が制御信号ｓｇを出力し、第２のスケーリング回路１５が出力画像信号Ｓ５を生成して出力する（ステップ４では、ノンリニアスケーリングも行われる）。ステップ４が終了すると、フレームレート変換処理が終了する。
【００５６】
そして、拡大縮小率制御回路１３は、ステップ１３の処理を実行するときは、第２の判定手段としての動作を行い、ノンリニアスケーリングが行われるか否かを判定する。ここで、拡大縮小率制御回路１３は、ノンリニアスケーリングが行われると判定したときはステップ１４の処理を実行するが、そうでないときはステップ５の処理を実行する。拡大縮小率制御回路１３はステップ５の処理を図３のフローチャートと同様にして行うので、ステップ６，７も図３のフローチャートと同様にして行われる。ステップ７が終了すると、フレームレート変換処理が終了する。
【００５７】
また、拡大縮小率制御回路１３は、ステップ１４の処理を実行するときは、第１のスケーリング及びカラーフォーマット変換回路１２に対して、カラーフォーマット変換を行い、ノンリニアスケーリングを行わずにリニアスケーリングを行うように指示する制御信号ｓｇを出力する。すると、リニアスケーリングおよびカラーフォーマット変換が行われて変換前画像信号Ｓ３が出力される。
【００５８】
さらに、変換前画像信号Ｓ３が出力されるとステップ１５の処理がステップ３と同様にして実行され、変換後画像信号Ｓ４が生成されて出力される。
【００５９】
続いて、変換後画像信号Ｓ４が出力されると、ステップ１６の処理が実行される。ここでは、拡大縮小率制御回路１３が制御手段としての動作を行い、第２のスケーリング回路１５に対して、変換後画像信号Ｓ４に対するノンリニアスケーリングを行うように指示する制御信号ｓｇを出力する。第２のスケーリング回路１５はノンリニアスケーリングを実行し、出力画像信号Ｓ５を生成して出力する。ステップ１６が終了すると、フレームレート変換処理が終了する。
【００６０】
このようにしても、動画像フレームレート変換装置１では、ノンリニアスケーリングによって物体の形状が変化する前に動きベクトルが検出されることになるため、精度よく動きベクトルを検出することができ、内挿フレームの画質を高めることができる。
【００６１】
なお、動画像フレームレート変換装置１では、拡大縮小率制御回路１３が、入力画像信号Ｓ０の画像サイズが拡大されるか否かを判定する判定手段、第１の判定手段および第２の判定手段としての機能を有していた。ただし、動画像フレームレート変換装置１は、入力画像信号Ｓ０の画像サイズが拡大されるか否かの判定結果、ノンリニアスケーリングが行われるか否かの判定結果の一方または双方を外部から入力し、その入力した判定結果に基づいて、拡大縮小率制御回路１３が制御するようにしてもよい。この場合、動画像フレームレート変換装置１では、判定手段、第１の判定手段および第２の判定手段としての機能を有しないことになる。
【００６２】
上記の第１のスケーリングおよびカラーフォーマット変換回路１２は、スケーリング部と、カラーフォーマット変換部とが一つブロックで構成されているが、スケーリング部とカラーフォーマット変換部とがそれぞれ独立したブロックで構成されていてもよい。
【００６３】
以上の説明は、本発明の実施の形態についての説明であって、この発明の装置及び方法を限定するものではなく、様々な変形例を容易に実施することができる。又、各実施形態における構成要素、機能、特徴あるいは方法ステップを適宜組み合わせて構成される装置又は方法も本発明に含まれるものである。
【図面の簡単な説明】
【００６４】
【図１】本発明の実施の形態に係る動画像フレームレート変換装置の構成を示すブロック図である。
【図２】フレームレート変換回路の内部構成の一例を示すブロック図である。
【図３】動画像フレームレート変換装置によるフレームレート変換処理の動作手順を示すフローチャートである。
【図４】動画像フレームレート変換装置によるフレームレート変換処理の別の動作手順を示すフローチャートである。
【図５】本発明に関連する動画像フレームレート変換装置の構成を示すブロック図である。
【図６】選択信号、変換前画像信号、変換後画像信号と、フレーム遅延信号および内挿フレームの各信号のタイミングの一例を示す図である。
【符号の説明】
【００６５】
１…動画像フレームレート変換装置、１２…第１のスケーリングおよびフォーマット変換回路、１３…拡大縮小率制御回路、１４…フレームレート変換回路、１５…第２のスケーリング回路、１６…第１のフレームメモリ、１７…動きベクトル検出回路、１８…内挿フレーム生成回路、１９…第２のフレームメモリ、２０…フレート変換読出回路。
【技術分野】
【０００１】
本発明は、フレームレートの変換を行う動画像フレームレート変換装置および動画像フレームレート変換方法に関する。
【背景技術】
【０００２】
現在実用化されている画像の表示方式としては、例えば、ＮＴＳＣ（National Television System Committee）、ＰＡＬ（Phase Alternation by Linecolor television）、ハイビジョン及びパーソナルコンピュータ用といった多種多様な表示方式が存在している。
【０００３】
また、液晶ディスプレイやプラズマディスプレイといった表示装置に表示方式の異なる多様な入力画像信号を入力して画像を表示させるときは、入力画像信号のフレームレートを表示装置に固有のフレームレートに変換するフレームレート変換を行う必要があった。
【０００４】
フレームレートの変換を行う装置（フレームレート変換装置）については従来から様々な提案がなされている。例えば、特許文献１には、動画における画質劣化を回避するため、画像の動きベクトルを検出し、この動きベクトルにより前後のフレームの画像位置を移動させて内挿フレームを生成する動き補償型のフレームレート変換を行う装置が開示されている。
【特許文献１】特開２０００−１３４５８５公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
表示装置に入力画像信号を入力して画像を表示させるときは、表示装置の表示画素数に合わせるようにして、入力画像信号の画像サイズを変更する（拡大または縮小する）スケーリングを行うことがある。
【０００６】
しかし、動き補償型のフレームレート変換では、動きベクトルの検出が行われるので、スケーリングによって入力画像信号の画像サイズが拡大されるときは、スケーリングによって画像サイズの拡大された画像信号に対して動きベクトルの検出が行われる。そうすると、動きベクトルを検出するための探索範囲が同じでも、画像サイズの拡大によって、動きベクトルを検出できる有効な探索範囲が狭まってしまい、画像サイズを拡大しない場合（すなわち、等倍にする場合または縮小する場合）よりも、動きベクトルが検出され難くなってしまう。
【０００７】
また、アスペクト比４：３の画像を１６：９の画像に引き伸ばして横長に表示するノンリニアスケーリングが行われると、物体の形状が変化して表示されるため、この場合も、動き補償型のフレームレート変換において、動きベクトルが検出され難くなる。
【０００８】
そこで、本発明は上記課題を解決するためになされたもので、動画像フレームレート変換装置および動画像フレームレート変換方法において、画像サイズの拡大またはノンリニアスケーリングが行われる場合の動きベクトルの検出精度を向上させて出力画像信号の画質を高めることを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、本発明は、入力画像信号に対する動き補償によるフレームレート変換を行い、出力画像信号を生成する動画像フレームレート変換装置において、フレームレート変換前に入力画像信号に対するスケーリングおよびカラーフォーマット変換を行う第１の画像処理手段と、フレームレート変換後の変換後画像信号に対するスケーリングを行う第２の画像処理手段と、入力画像信号の画像サイズが拡大されるときは、第１の画像処理手段により前記スケーリングを行うことなくカラーフォーマット変換を行い、かつ第２の画像処理手段によりスケーリングを行って出力画像信号を生成するように制御する制御手段とを有する動画像フレームレート変換装置を特徴とする。
【００１０】
また、本発明は入力画像信号に対する動き補償によるフレームレート変換を行い、出力画像信号を生成する動画像フレームレート変換方法において、入力画像信号の画像サイズが拡大されるときは、フレームレート変換前に入力画像信号に対するスケーリングおよびカラーフォーマット変換を行う第１の画像処理手段によりスケーリングを行うことなくカラーフォーマット変換を行い、かつフレームレート変換後の変換後画像信号に対するスケーリングを行う第２の画像処理手段によりスケーリングを行って出力画像信号を生成する動画像フレームレート変換方法を提供する。
【発明の効果】
【００１１】
以上詳述したように、本発明によれば、動画像フレームレート変換装置および動画像フレームレート変換方法において、入力画像信号の拡大またはノンリニアスケーリングが行われる場合の動きベクトルの検出精度を向上させて出力画像信号の画質を高めることができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施の形態について説明する。なお、同一要素には同一符号を用い、重複する説明は省略する。
【００１３】
（動画像フレームレート変換装置の構成）
図１は、本発明の実施の形態に係る動画像フレームレート変換装置１の構成を示すブロック図である。この動画像フレームレート変換装置１は、入力画像信号Ｓ０に対する動き補償によるフレームレート変換を行ない、出力画像信号Ｓ５を生成して出力するようになっている。
【００１４】
動画像フレームレート変換装置１は、順次走査変換回路１０と、セレクタ１１と、第１のスケーリングおよびカラーフォーマット変換回路１２とを有している。また、動画像フレームレート変換装置１は、拡大縮小率制御回路１３と、フレームレート変換回路１４と、第２のスケーリング回路１５とを有している。
【００１５】
順次走査変換回路１０は、入力画像信号Ｓ０が飛び越し走査方式の画像信号（以下「飛び越し走査信号」という）であるときに、その入力画像信号Ｓ０を順次走査方式の画像信号（以下「順次走査信号」という）Ｓ１に変換して出力する。セレクタ１１は、入力画像信号Ｓ０または順次走査信号Ｓ１のいずれか一方を選択して選択信号Ｓ２を出力する。
【００１６】
ここで、本実施の形態に係る動画像フレームレート変換装置１では、入力画像信号Ｓ０として、順次走査信号または飛び越し走査信号が入力される。また、入力画像信号Ｓ０としては、カラーフォーマットがＹＣｂＣｒ４：２：０形式、ＹＣｂＣｒ４：２：２形式、ＹＣｂＣｒ４：４：４形式といった輝度信号および色信号のサンプリング間隔が異なる形式の信号も含まれている。
【００１７】
そして、入力画像信号Ｓ０が飛び越し走査信号であるときは、順次走査変換回路１０が入力画像信号Ｓ０を順次走査信号Ｓ１に変換し、セレクタ１１が選択信号Ｓ２として順次走査信号Ｓ１を選択する。また、入力画像信号Ｓ０が順次走査信号であるときは、セレクタ１１が選択信号Ｓ２として入力画像信号Ｓ０を選択する。
【００１８】
このようにして、第1のスケーリング及びカラーフォーマット変換回路１２には、選択信号Ｓ２として順次走査信号が入力される。
【００１９】
次に、第１のスケーリングおよびカラーフォーマット変換回路１２は、本発明における第１の画像処理手段であって、選択信号Ｓ２に対する水平または垂直方向の画素数の変換により画像サイズを変更するスケーリングおよびカラーフォーマット変換を行う。カラーフォーマット変換は、ＹＣｂＣｒ４：２：０、ＹＣｂＣｒ４：２：２、ＹＣｂＣｒ４：４：４を相互に変換する色のスケーリングを行うことを意味するため、第１のスケーリングおよびカラーフォーマット変換回路１２は、図１に示すように、選択信号Ｓ２に対するスケーリングを行うスケーリング部と、カラーフォーマット変換を行うカラーフォーマット変換部とが一つのブロックで構成されている。
【００２０】
第１のスケーリングおよびカラーフォーマット変換回路１２は、拡大縮小率制御回路１３から出力される制御信号にしたがい作動して、変換前画像信号Ｓ３を出力する。この第１のスケーリングおよびカラーフォーマット変換回路１２の具体的な動作内容については後に詳述する。
【００２１】
拡大縮小率制御回路１３は、ＣＰＵ，ＲＯＭ，ＲＡＭを有し、ＣＰＵがＲＯＭに記憶されている制御プログラムにしたがいＲＡＭに対してデータの読み書きを行いながら作動し、制御信号ｓｇを第１のスケーリングおよびカラーフォーマット変換回路１２と、第２のスケーリング回路１５とに出力する。この拡大縮小率制御回路１３は入力画像信号Ｓ０が拡大されるか否かを判定する判定手段としての機能を有している。
【００２２】
フレームレート変換回路１４は、変換前画像信号Ｓ３に対する動き補償によるフレームレート変換を行ない、フレームレート変換後の変換後画像信号Ｓ４を生成して第２のスケーリング回路１５に出力する。フレームレート変換回路１４の具体的な構成についても後に詳述する。
【００２３】
第２のスケーリング回路１５は、本発明における第２の画像処理手段であって、変換後画像信号Ｓ４に対する水平または垂直方向の画素数の変換等により画像サイズを変更するスケーリングを行ない、出力画像信号Ｓ５を生成して出力する。第２のスケーリング回路１５は、拡大縮小率制御回路１３から出力される制御信号ｓｇにしたがい作動して、出力画像信号Ｓ５を出力する。第２のスケーリング回路１５の具体的な動作内容については後に詳述する。なお、図６には、選択信号Ｓ２、変換前画像信号Ｓ３、変換後画像信号Ｓ４と、後述するフレーム遅延信号Ｓ６および内挿フレームＳ７の各信号のタイミングの一例が示されている。
【００２４】
（動画像フレームレート変換装置の第１の動作内容）
次に、以上の構成を有する動画像フレームレート変換装置１の動作内容について、図３に示すフローチャートに沿って説明する。なお、図３および後述する図４では、ステップをＳと略記している。
【００２５】
図３、図４は動画像フレームレート変換装置１によるフレームレート変換処理の動作手順を示すフローチャートである。まず、図３に沿って、フレームレート変換処理の動作手順について説明する。
【００２６】
動画像フレームレート変換装置１はフレームレート変換処理を開始すると、処理をステップ１に進め、拡大縮小率が拡大であるか（すなわち、入力画像信号Ｓ０の画像サイズが拡大されるか）またはノンリニアスケーリングが行われるか否かを拡大縮小率制御回路１３が判定する。
【００２７】
このとき、拡大縮小率制御回路１３は、判定手段としての動作を行い、出力画像信号Ｓ５の画像サイズが順次走査信号としての選択信号Ｓ２の画像サイズより大きいか否かを判定し、前者が後者よりも大きいときは画像サイズの拡大が行なわれるとしてステップ２の処理を実行する。また、拡大縮小率制御回路１３はノンリニアスケーリングが行われるときもステップ２の処理を実行する。
【００２８】
ただし、拡大縮小率制御回路１３は、画像サイズが拡大されないと判定したとき、すなわち、入力画像信号Ｓ０の画像サイズが出力画像信号Ｓ５の画像サイズよりも小さいか同じ場合（縮小または等倍のとき）と、ノンリニアスケーリングが行なわないときはステップ５の処理を実行する。
【００２９】
拡大縮小率制御回路１３は、ステップ２の処理を実行するときは、制御手段としての動作を行い、第１のスケーリング及びカラーフォーマット変換回路１２に対して、カラーフォーマット変換のみを行い、画像サイズの拡大（スケーリング）は行わないように指示する制御信号ｓｇを出力する。
【００３０】
すると、第１のスケーリング及びカラーフォーマット変換回路１２によって、輝度信号と色信号のサンプリング間隔を同じにするカラーフォーマット変換のみが行われ、画像サイズが拡大されることなく変換前画像信号Ｓ３が出力される。この場合、例えば、順次走査信号としての選択信号Ｓ２のカラーフォーマットがＹＣｂＣｒ４：２：０形式の場合は、ＹＣｂＣｒ４:４:４形式に変換するカラーフォーマット変換のみが行われ、画像サイズは拡大されない。
【００３１】
また、ステップ２の処理が実行され、変換前画像信号Ｓ３が出力されるとステップ３の処理が実行される。このとき、フレームレート変換回路１４が作動して、変換前画像信号Ｓ３に対する動き補償によるフレームレート変換が行なわれ、変換後画像信号Ｓ４が生成されて出力される。
【００３２】
さらに、変換後画像信号Ｓ４が生成されると、ステップ４の処理が実行される。ここでは、拡大縮小率制御回路１３が制御手段としての動作を行い、第２のスケーリング回路１５に対して、変換後画像信号Ｓ４に対するスケーリングを行うように指示する制御信号ｓｇを出力する。すると、第２のスケーリング回路１５は変換後画像信号Ｓ４に対する、出力画像信号Ｓ５の画像サイズに拡大するための水平または垂直方向の画素数の変換等を行ない、出力画像信号Ｓ５を生成して出力する。また、第２のスケーリング回路１５はノンリニアスケーリングが行われるときは、ノンリニアスケーリングを実行し、出力画像信号Ｓ５を生成して出力する。ステップ４が終了すると、フレームレート変換処理が終了する。
【００３３】
一方、拡大縮小率制御回路１３はステップ５の処理を実行するときも、制御手段としての動作を行う。この場合、拡大縮小率制御回路１３は、第１のスケーリング及びカラーフォーマット変換回路１２に対して、カラーフォーマット変換とともに画像サイズのスケーリング（この場合は縮小または等倍）を行うように指示する制御信号ｓｇを出力する。
【００３４】
すると、第１のスケーリング及びカラーフォーマット変換回路１２によって、ステップ２と同様のカラーフォーマット変換とともに、スケーリングが行われて変換前画像信号Ｓ３が出力される。
【００３５】
さらに、ステップ５の処理が実行されることによって、変換前画像信号Ｓ３が出力されるとステップ６の処理がステップ３と同様にして実行され、変換後画像信号Ｓ４が生成されて出力される。
【００３６】
続いて、変換後画像信号Ｓ４が出力されると、ステップ７の処理が実行される。ここでは、拡大縮小率制御回路１３が制御手段としての動作を行い、第２のスケーリング回路１５に対して、変換後画像信号Ｓ４に対するスケーリングを行うことなく出力画像信号Ｓ５を生成するように指示する制御信号ｓｇを出力する。すると、第２のスケーリング回路１５は変換後画像信号Ｓ４に対するスケーリングを行うことなく出力画像信号Ｓ５を生成して出力する。
【００３７】
ここで、比較のため、本発明に関連する動画像フレームレート変換装置１０１について説明する。図５は、動画像フレームレート変換装置１０１の内部構成を示すブロック図である。図５に示すように、この動画像フレームレート変換装置１０１は、動画像フレームレート変換装置１と比較して、第１のスケーリング及びカラーフォーマット変換回路１２の代わりにスケーリング及びカラーフォーマット変換回路２２を有する点、第２のスケーリング回路１５を有しない点、および拡大縮小率制御回路１３の代わりに拡大縮小率制御回路２３を有する点で相違し、その他の点は一致している。
【００３８】
スケーリング及びカラーフォーマット変換回路２２は、拡大縮小率制御回路２３からの制御信号にしたがい作動するが、第１のスケーリング及びカラーフォーマット変換回路１２のようにカラーフォーマット変換だけを行うことはなく、スケーリングとカラーフォーマット変換をともに行う。
【００３９】
また、拡大縮小率制御回路２３は、スケーリング及びカラーフォーマット変換回路２２に対して、スケーリング及びカラーフォーマット変換を行うように指示する制御信号を出力する。
【００４０】
この動画像フレームレート変換装置１０１では、フレームレート変換回路１４によるフレームレート変換前にスケーリング及びカラーフォーマット変換回路２２によって、スケーリング及びカラーフォーマット変換が行われる。そのため、入力画像信号Ｓ０の画像サイズが拡大されるときは、スケーリング及びカラーフォーマット変換回路２２によって、画像サイズが拡大された変換前画像信号Ｓ３に対して、フレームレート変換回路１４によるフレームレート変換が行なわれる。したがって、動きベクトルを検出できる有効な探索範囲が狭まってしまい、動きベクトルが検出され難くなってしまう。
【００４１】
これに対して、動画像フレームレート変換装置１は、上記のように作動してフレームレート変換処理を行う。すなわち、動画像フレームレート変換装置１では、入力画像信号Ｓ０の画像サイズを拡大するかまたはノンリニアスケーリングを行ってフレームレート変換を行うときは、フレームレート変換前に第１のスケーリングおよびカラーフォーマット変換回路１２がカラーフォーマット変換のみ行い、入力画像信号Ｓ０の画像サイズの拡大またはノンリニアスケーリングは、フレームレート変換後に第２のスケーリング回路１５が行うようになっている。
【００４２】
つまり、フレームレート変換回路１４が動き補償によるフレームレート変換のために動きベクトル検出を行なっても、その動きベクトル検出は、画像サイズの拡大前またはノンリニアスケーリング前の入力画像信号Ｓ０を対象として行われることとなる。そのため、動きベクトルを検出するための探索範囲は画像サイズの拡大前またはノンリニアスケーリング前と同じであり、動きベクトルを検出できる有効な探索範囲が狭まることはないし、物体の形状が変化して動きベクトルが検出され難くなることもない。
【００４３】
したがって、動画像フレームレート変換装置１では、フレームレート変換回路１４におけるフレームレート変換において、精度よく動きベクトルが検出され、内挿フレームの画質を高めることができるようになっている。
【００４４】
特に、アスペクト比４：３の画像を１６：９の画像に拡大する場合によく行われるノンリニアスケーリングを行うと、拡大率が画面中央部から画面端部にかけて変化する。この場合、ノンリニアスケーリングを行った後に動きベクトルを検出すると、フレーム間で物体の形状が変化してしまうため、動きベクトルの検出が困難になる。しかし、本発明の実施の形態における動画像フレームレート変換装置１は、ノンリニアスケーリングによって物体の形状が変化する前に動きベクトルが検出されるため、精度よく動きベクトルを検出することができ、内挿フレームの画質を高めることができるようになっている。
【００４５】
さらに、入力画像信号の画像サイズを縮小して出力する際には、入力画像信号Ｓ０の画像サイズを縮小してから動きベクトル検出が行われる。そのため、動きベクトルを検出できる有効な探索範囲が縮小前よりも広がり、精度よく動きベクトルが検出されるようになる。したがって、動画像フレームレート変換装置１は、この点でも内挿フレームの画質を高めることができるようになっている。
【００４６】
（フレームレート変換回路の構成および動作内容）
フレームレート変換回路１４は、本実施の形態では、図２に示すような構成を有している。すなわち、このフレームレート変換回路１４は、第１のフレームメモリ１６と、動きベクトル検出部１７と、内挿フレーム生成回路１８と、第２のフレームメモリ１９と、レート変換読出回路２０とを有している。
【００４７】
このような構成を有するフレームレート変換回路１４では、変換前画像信号Ｓ３が第１のフレームメモリ１６と動きベクトル検出回路１７に入力される。そして、第１のフレームメモリ１６が変換前画像信号Ｓ３を格納する。また、第１のフレームメモリ１６は変換前画像信号Ｓ３を１フレーム期間遅延させたフレーム遅延信号Ｓ６を動きベクトル検出回路１７に入力する。
【００４８】
さらに、動きベクトル検出部１７が変換前画像信号Ｓ３とフレーム遅延信号Ｓ６とを入力して２フレーム間の動きベクトルＶ０を検出し、その検出した動きベクトルＶ０を内挿フレーム生成回路１８に出力する。また、内挿フレーム生成回路１８は、検出された動きベクトルＶ０により前後のフレームの画像位置を移動させて、変換前画像信号Ｓ３と、フレーム遅延信号Ｓ６との間の内挿フレームＳ７を生成する。内挿フレームＳ７は第２のフレームメモリ１９に格納される。
【００４９】
そして、レート変換読出回路２０が第１フレームメモリ１６及び第２のフレームメモリ１９から、時系列順に出力フレームレートでそれぞれ画像信号Ｓ８、Ｓ９を読出して変換後画像信号Ｓ４を出力する。こうして、フレームレート変換回路１４によって、変換前画像信号Ｓ３に対する動き補償によるフレームレート変換が行なわれ、変換後画像信号Ｓ４が生成される。
【００５０】
フレームレート変換回路１４が以上のような構成を有するときは、入力画像信号Ｓ０の画像サイズを縮小して出力する際には、入力画像信号Ｓ０の画像サイズを縮小してから動きベクトル検出が行われることになるため、第１のフレームメモリ１６と第２のフレームメモリ１９のメモリ容量やデータ転送量を減らすことができるという作用効果を奏することとなる。
【００５１】
なお、フレームレート変換回路１４は、動き補償によるフレームレート変換が行なわれるための構成を有していればよく、以上のような構成を有していないものでも本発明を適用することができる。
【００５２】
（動画像フレームレート変換装置の第２の動作内容）
次に、図４のフローチャートを参照して、動画像フレームレート変換装置１によるフレームレート変換処理の別の動作手順について説明する。以下の説明は、図３のフローチャートとの相違点を中心に行い、共通点は説明を省略ないし簡略化する。
【００５３】
動画像フレームレート変換装置１は、フレームレート変換処理を開始すると、処理をステップ１１に進め、拡大縮小率制御回路１３が第１の判定手段としての動作を行い拡大縮小率が拡大であるか（すなわち、入力画像信号Ｓ０の画像サイズが拡大されるか）否かを判定する。
【００５４】
このとき、拡大縮小率制御回路１３は、ステップ１と同様に画像サイズの拡大が行なわれると判定されたときはステップ２の処理を実行し、そうでなければ拡大縮小率制御回路１３はステップ１３の処理を実行する。
【００５５】
拡大縮小率制御回路１３は、ステップ２の処理を実行するときは、図３のフローチャートの場合と同様の動作を行う。すると、ステップ２の処理と、ステップ３の処理が図３のフローチャートの場合と同様に実行され、変換後画像信号Ｓ４が生成されて出力される。さらに、変換後画像信号Ｓ４が生成されると、ステップ４の処理が実行される。ここでは、拡大縮小率制御回路１３が制御信号ｓｇを出力し、第２のスケーリング回路１５が出力画像信号Ｓ５を生成して出力する（ステップ４では、ノンリニアスケーリングも行われる）。ステップ４が終了すると、フレームレート変換処理が終了する。
【００５６】
そして、拡大縮小率制御回路１３は、ステップ１３の処理を実行するときは、第２の判定手段としての動作を行い、ノンリニアスケーリングが行われるか否かを判定する。ここで、拡大縮小率制御回路１３は、ノンリニアスケーリングが行われると判定したときはステップ１４の処理を実行するが、そうでないときはステップ５の処理を実行する。拡大縮小率制御回路１３はステップ５の処理を図３のフローチャートと同様にして行うので、ステップ６，７も図３のフローチャートと同様にして行われる。ステップ７が終了すると、フレームレート変換処理が終了する。
【００５７】
また、拡大縮小率制御回路１３は、ステップ１４の処理を実行するときは、第１のスケーリング及びカラーフォーマット変換回路１２に対して、カラーフォーマット変換を行い、ノンリニアスケーリングを行わずにリニアスケーリングを行うように指示する制御信号ｓｇを出力する。すると、リニアスケーリングおよびカラーフォーマット変換が行われて変換前画像信号Ｓ３が出力される。
【００５８】
さらに、変換前画像信号Ｓ３が出力されるとステップ１５の処理がステップ３と同様にして実行され、変換後画像信号Ｓ４が生成されて出力される。
【００５９】
続いて、変換後画像信号Ｓ４が出力されると、ステップ１６の処理が実行される。ここでは、拡大縮小率制御回路１３が制御手段としての動作を行い、第２のスケーリング回路１５に対して、変換後画像信号Ｓ４に対するノンリニアスケーリングを行うように指示する制御信号ｓｇを出力する。第２のスケーリング回路１５はノンリニアスケーリングを実行し、出力画像信号Ｓ５を生成して出力する。ステップ１６が終了すると、フレームレート変換処理が終了する。
【００６０】
このようにしても、動画像フレームレート変換装置１では、ノンリニアスケーリングによって物体の形状が変化する前に動きベクトルが検出されることになるため、精度よく動きベクトルを検出することができ、内挿フレームの画質を高めることができる。
【００６１】
なお、動画像フレームレート変換装置１では、拡大縮小率制御回路１３が、入力画像信号Ｓ０の画像サイズが拡大されるか否かを判定する判定手段、第１の判定手段および第２の判定手段としての機能を有していた。ただし、動画像フレームレート変換装置１は、入力画像信号Ｓ０の画像サイズが拡大されるか否かの判定結果、ノンリニアスケーリングが行われるか否かの判定結果の一方または双方を外部から入力し、その入力した判定結果に基づいて、拡大縮小率制御回路１３が制御するようにしてもよい。この場合、動画像フレームレート変換装置１では、判定手段、第１の判定手段および第２の判定手段としての機能を有しないことになる。
【００６２】
上記の第１のスケーリングおよびカラーフォーマット変換回路１２は、スケーリング部と、カラーフォーマット変換部とが一つブロックで構成されているが、スケーリング部とカラーフォーマット変換部とがそれぞれ独立したブロックで構成されていてもよい。
【００６３】
以上の説明は、本発明の実施の形態についての説明であって、この発明の装置及び方法を限定するものではなく、様々な変形例を容易に実施することができる。又、各実施形態における構成要素、機能、特徴あるいは方法ステップを適宜組み合わせて構成される装置又は方法も本発明に含まれるものである。
【図面の簡単な説明】
【００６４】
【図１】本発明の実施の形態に係る動画像フレームレート変換装置の構成を示すブロック図である。
【図２】フレームレート変換回路の内部構成の一例を示すブロック図である。
【図３】動画像フレームレート変換装置によるフレームレート変換処理の動作手順を示すフローチャートである。
【図４】動画像フレームレート変換装置によるフレームレート変換処理の別の動作手順を示すフローチャートである。
【図５】本発明に関連する動画像フレームレート変換装置の構成を示すブロック図である。
【図６】選択信号、変換前画像信号、変換後画像信号と、フレーム遅延信号および内挿フレームの各信号のタイミングの一例を示す図である。
【符号の説明】
【００６５】
１…動画像フレームレート変換装置、１２…第１のスケーリングおよびフォーマット変換回路、１３…拡大縮小率制御回路、１４…フレームレート変換回路、１５…第２のスケーリング回路、１６…第１のフレームメモリ、１７…動きベクトル検出回路、１８…内挿フレーム生成回路、１９…第２のフレームメモリ、２０…フレート変換読出回路。
【特許請求の範囲】
【請求項１】
入力画像信号に対する動き補償によるフレームレート変換を行ない、出力画像信号を生成する動画像フレームレート変換装置において、
前記フレームレート変換前に前記入力画像信号に対するスケーリングおよびカラーフォーマット変換を行う第１の画像処理手段と、
前記フレームレート変換後の変換後画像信号に対するスケーリングを行う第２の画像処理手段と、
前記入力画像信号の画像サイズが拡大されるときは、前記第１の画像処理手段により前記スケーリングを行うことなく前記カラーフォーマット変換を行い、かつ前記第２の画像処理手段により前記スケーリングを行って前記出力画像信号を生成するように制御する制御手段とを有することを特徴とする動画像フレームレート変換装置。
【請求項２】
前記制御手段は、前記入力画像信号の画像サイズが拡大されないときは、前記第１の画像処理手段により前記スケーリングおよび前記カラーフォーマット変換を行ない、かつ前記第２の画像処理手段により前記スケーリングを行うことなく前記出力画像信号を生成するように制御することを特徴とする請求項１記載の動画像フレームレート変換装置。
【請求項３】
前記制御手段は、ノンリニアスケーリングが行われるときは、前記第１の画像処理手段により前記ノンリニアスケーリングを行うことなく前記カラーフォーマット変換を行ない、かつ前記第２の画像処理手段により前記ノンリニアスケーリングを行なって前記出力画像信号を生成するように制御することを特徴とする請求項１または２記載の動画像フレームレート変換装置。
【請求項４】
前記制御手段は、ノンリニアスケーリングが行われないときは、前記第１の画像処理手段により前記スケーリングおよび前記カラーフォーマット変換を行ない、かつ前記第２の画像処理手段により前記スケーリングを行うことなく前記出力画像信号を生成するように制御することを特徴とする請求項３記載の動画像フレームレート変換装置。
【請求項５】
前記入力画像信号の画像サイズが拡大されるか否かを判定する判定手段を更に有し、
前記制御手段は、前記判定手段により前記入力画像信号の画像サイズが拡大されると判定されたときは、前記第１の画像処理手段により前記スケーリングを行うことなく前記カラーフォーマット変換を行い、かつ前記第２の画像処理手段により前記スケーリングを行って前記出力画像信号を生成するように制御することを特徴とする請求項１乃至４のいずれか一項記載の動画像フレームレート変換装置。
【請求項６】
入力画像信号に対する動き補償によるフレームレート変換を行ない、出力画像信号を生成する動画像フレームレート変換装置において、
前記フレームレート変換前に前記入力画像信号に対するスケーリングおよびカラーフォーマット変換を行う第１の画像処理手段と、
前記フレームレート変換後の変換後画像信号に対するスケーリングを行う第２の画像処理手段と、
前記入力画像信号の画像サイズが拡大されるか否かを判定する第１の判定手段と、
ノンリニアスケーリングが行われるか否かを判定する第２の判定手段と、
前記第１の判定手段により前記入力画像信号の画像サイズが拡大されると判定されたときは、前記第１の画像処理手段により前記スケーリングを行うことなく前記カラーフォーマット変換を行い、かつ前記第２の画像処理手段により前記スケーリングを行って前記出力画像信号を生成し、前記第２の判定手段により、前記ノンリニアスケーリングが行われると判定されたときは、前記第１の画像処理手段により前記リニアスケーリングと前記カラーフォーマット変換を行い、かつ前記第２の画像処理手段により前記ノンリニアスケーリングを行って前記出力画像信号を生成するように制御する制御手段とを有することを特徴とする動画像フレームレート変換装置。
【請求項７】
前記制御手段は、前記第１の判定手段により前記入力画像信号の画像サイズが拡大されないと判定され、かつ前記第２の判定手段により前記ノンリニアスケーリングが行われないと判定されたときは、前記第１の画像処理手段により前記スケーリングおよび前記カラーフォーマット変換を行い、かつ前記第２の画像処理手段により前記スケーリングを行うことなく前記出力画像信号を生成するように制御することを特徴とする請求項６記載の動画像フレームレート変換装置。
【請求項８】
前記動き補償によるフレームレート変換を行ない、前記変換後画像信号を出力するフレームレート変換部を更に有し、
該フレームレート変換部は、前記第１の変換手段から出力される変換前画像信号に基づいて、動きベクトルを検出する動きベクトル検出部と、
該動きベクトル検出部により検出された前記動きベクトルに基づいて、内挿フレームを生成する内挿フレーム生成部とを有することを特徴とする請求項１〜７のいずれか一項記載の動画像フレームレート変換装置。
【請求項９】
前記フレームレート変換部は、前記第１の画像処理手段から出力される変換前画像信号を格納する第１のフレームメモリと、
前記内挿フレーム生成部により生成された前記内挿フレームを格納する第２のフレームメモリとを更に有することを特徴とする請求項８記載の動画像フレームレート変換装置。
【請求項１０】
入力画像信号に対する動き補償によるフレームレート変換を行ない、出力画像信号を生成する動画像フレームレート変換方法において、
前記入力画像信号の画像サイズが拡大されるときは、前記フレームレート変換前に前記入力画像信号に対するスケーリングおよびカラーフォーマット変換を行う第１の画像処理手段により前記スケーリングを行うことなく前記カラーフォーマット変換を行ない、かつ前記フレームレート変換後の変換後画像信号に対するスケーリングを行う第２の画像処理手段により前記スケーリングを行って前記出力画像信号を生成することを特徴とする動画像フレームレート変換方法。
【請求項１】
入力画像信号に対する動き補償によるフレームレート変換を行ない、出力画像信号を生成する動画像フレームレート変換装置において、
前記フレームレート変換前に前記入力画像信号に対するスケーリングおよびカラーフォーマット変換を行う第１の画像処理手段と、
前記フレームレート変換後の変換後画像信号に対するスケーリングを行う第２の画像処理手段と、
前記入力画像信号の画像サイズが拡大されるときは、前記第１の画像処理手段により前記スケーリングを行うことなく前記カラーフォーマット変換を行い、かつ前記第２の画像処理手段により前記スケーリングを行って前記出力画像信号を生成するように制御する制御手段とを有することを特徴とする動画像フレームレート変換装置。
【請求項２】
前記制御手段は、前記入力画像信号の画像サイズが拡大されないときは、前記第１の画像処理手段により前記スケーリングおよび前記カラーフォーマット変換を行ない、かつ前記第２の画像処理手段により前記スケーリングを行うことなく前記出力画像信号を生成するように制御することを特徴とする請求項１記載の動画像フレームレート変換装置。
【請求項３】
前記制御手段は、ノンリニアスケーリングが行われるときは、前記第１の画像処理手段により前記ノンリニアスケーリングを行うことなく前記カラーフォーマット変換を行ない、かつ前記第２の画像処理手段により前記ノンリニアスケーリングを行なって前記出力画像信号を生成するように制御することを特徴とする請求項１または２記載の動画像フレームレート変換装置。
【請求項４】
前記制御手段は、ノンリニアスケーリングが行われないときは、前記第１の画像処理手段により前記スケーリングおよび前記カラーフォーマット変換を行ない、かつ前記第２の画像処理手段により前記スケーリングを行うことなく前記出力画像信号を生成するように制御することを特徴とする請求項３記載の動画像フレームレート変換装置。
【請求項５】
前記入力画像信号の画像サイズが拡大されるか否かを判定する判定手段を更に有し、
前記制御手段は、前記判定手段により前記入力画像信号の画像サイズが拡大されると判定されたときは、前記第１の画像処理手段により前記スケーリングを行うことなく前記カラーフォーマット変換を行い、かつ前記第２の画像処理手段により前記スケーリングを行って前記出力画像信号を生成するように制御することを特徴とする請求項１乃至４のいずれか一項記載の動画像フレームレート変換装置。
【請求項６】
入力画像信号に対する動き補償によるフレームレート変換を行ない、出力画像信号を生成する動画像フレームレート変換装置において、
前記フレームレート変換前に前記入力画像信号に対するスケーリングおよびカラーフォーマット変換を行う第１の画像処理手段と、
前記フレームレート変換後の変換後画像信号に対するスケーリングを行う第２の画像処理手段と、
前記入力画像信号の画像サイズが拡大されるか否かを判定する第１の判定手段と、
ノンリニアスケーリングが行われるか否かを判定する第２の判定手段と、
前記第１の判定手段により前記入力画像信号の画像サイズが拡大されると判定されたときは、前記第１の画像処理手段により前記スケーリングを行うことなく前記カラーフォーマット変換を行い、かつ前記第２の画像処理手段により前記スケーリングを行って前記出力画像信号を生成し、前記第２の判定手段により、前記ノンリニアスケーリングが行われると判定されたときは、前記第１の画像処理手段により前記リニアスケーリングと前記カラーフォーマット変換を行い、かつ前記第２の画像処理手段により前記ノンリニアスケーリングを行って前記出力画像信号を生成するように制御する制御手段とを有することを特徴とする動画像フレームレート変換装置。
【請求項７】
前記制御手段は、前記第１の判定手段により前記入力画像信号の画像サイズが拡大されないと判定され、かつ前記第２の判定手段により前記ノンリニアスケーリングが行われないと判定されたときは、前記第１の画像処理手段により前記スケーリングおよび前記カラーフォーマット変換を行い、かつ前記第２の画像処理手段により前記スケーリングを行うことなく前記出力画像信号を生成するように制御することを特徴とする請求項６記載の動画像フレームレート変換装置。
【請求項８】
前記動き補償によるフレームレート変換を行ない、前記変換後画像信号を出力するフレームレート変換部を更に有し、
該フレームレート変換部は、前記第１の変換手段から出力される変換前画像信号に基づいて、動きベクトルを検出する動きベクトル検出部と、
該動きベクトル検出部により検出された前記動きベクトルに基づいて、内挿フレームを生成する内挿フレーム生成部とを有することを特徴とする請求項１〜７のいずれか一項記載の動画像フレームレート変換装置。
【請求項９】
前記フレームレート変換部は、前記第１の画像処理手段から出力される変換前画像信号を格納する第１のフレームメモリと、
前記内挿フレーム生成部により生成された前記内挿フレームを格納する第２のフレームメモリとを更に有することを特徴とする請求項８記載の動画像フレームレート変換装置。
【請求項１０】
入力画像信号に対する動き補償によるフレームレート変換を行ない、出力画像信号を生成する動画像フレームレート変換方法において、
前記入力画像信号の画像サイズが拡大されるときは、前記フレームレート変換前に前記入力画像信号に対するスケーリングおよびカラーフォーマット変換を行う第１の画像処理手段により前記スケーリングを行うことなく前記カラーフォーマット変換を行ない、かつ前記フレームレート変換後の変換後画像信号に対するスケーリングを行う第２の画像処理手段により前記スケーリングを行って前記出力画像信号を生成することを特徴とする動画像フレームレート変換方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００８−１１４５４（Ｐ２００８−１１４５４Ａ）
【公開日】平成２０年１月１７日（２００８．１．１７）
【国際特許分類】
【出願番号】特願２００６−１８２５１１（Ｐ２００６−１８２５１１）
【出願日】平成１８年６月３０日（２００６．６．３０）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２０年１月１７日（２００８．１．１７）
【国際特許分類】
【出願日】平成１８年６月３０日（２００６．６．３０）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]