フレームレート変換方法

【課題】フレームレート低減時に画像がコマ落ちとなり見づらくなるのを改善する。
【解決手段】画像符号化ビット量が規定値以上になったことをレート制御部１０３で検出してフレームレートを低減する時に、エンコーダコア部３０２から出力される画像相関値に基づいて相関値処理部３０４から間引き画像情報を出力させ、間引き判定部３０８で間引き画像情報に基づいて間引く画像を決定し、フレームを間引いた後、時間情報調整部３０９で多重化後のデータに付加する時間情報を、間引いた間隔に対し、それ以上の間隔で均等化する。これによって、画像がコマ落ちとならず見づらくならないことを実現する。

【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＤＶＤや携帯電話で用いられるＭＰＥＧ等に代表される高圧縮の動画処理におけるフレームレート変換方法に関するものである。
【背景技術】
【０００２】
近年のＤＶＤや携帯電話の普及により動画処理には、更なる高圧縮、高画質化の要望が高まっている。高画質を維持したままで高圧縮を実現する技術のひとつにビットレートがある一定値以上になった場合にフレームを間引く処理を行うフレームレート変換処理がある。
【０００３】
先行技術のフレームレート変換は、他から参照されないフレームをその時にフレームレートに応じて間引く処理を行っている（例えば、特許文献１参照）。
【０００４】
また画像をシーンに分割して、シーン内容に応じてビットを配分しフレームレートを決定する処理を行っている（例えば、特許文献２参照）。
【０００５】
以下、フレームレート変換方法およびそれを実施するフレームレート変換装置の一例を、図面を参照しながら説明する。
【０００６】
図１１−１は先行技術のフレームレート変換方法を実施するフレームレート変換装置を表すものである。図１１−１において、符号１１０１は動画像データを入力する入力制御部を示す。符号１１０２は動画像データを符号化するエンコードコア部を示す。符号１１０９はエンコードコア部１１０２の出力データを保持するバッファを示す。符号１１０３はエンコードコア部１１０２の符号化結果のビット量からフレームレートを制御するレート制御部を示す。符号１１０４はレート制御部１１０３からの間引き指示信号を基にバッファ部１１０９からの符号化データを間引く間引き部を示す。符号１１０５は間引いた符号化データを出力する出力制御部を示す。符号１１０６はオーディオの符号化を行うとともにオーディオ符号化データを出力するオーディオ部を示す。符号１１０７は画像およびオーディオの符号化データを保持するメモリ部を示す。符号１１０８はメモリ部１１０７から画像符号化データとオーディオ符号化データとを取得し、画像符号化データとオーディオ符号化データとの多重化を行い多重化データをメモリ部１１０７へ出力する多重化コア部を示す。符号１１１１はビデオ部を示し、符号１１１２は多重化部を示す。
【０００７】
以上のように構成された先行技術のフレームレート制御方法において、以下にその方法について説明する。
【０００８】
先行技術のフレームレート制御方法は、まず入力制御部１１０１にエンコードする動画像データを入力しプレフィルタ処理等を施す。つぎに、エンコードコア部１１０２が入力制御部１１０１の出力画像データを受け取りエンコード処理を行う。つぎに、レート制御部１１０３でエンコードコア部１１０２からのビット量を監視して、一定量以上になると間引き部１１０４へフレームレート低減の指示を出す。間引き部１１０４はレート制御部１１０３からのフレームレート低減指示に従って、エンコードコア部１１０２からの符号化データを間引き、出力制御部１１０５へ出力する。出力制御部１１０５でポストフィルタ処理等を施した後、メモリ部１１０７へ符号化データを出力する。これら画像符号化処理と同時に、オーディオ部１１０６でオーディオの符号化を行い、メモリ部１１０７へ出力する。多重化コア部１１０８ではメモリ部１１０７から画像符号化データとオーディオ符号化データとを取得し、画像符号化データとオーディオ符号化データとの多重化を行い、レート制御部１１０３からのフレームレート低減指示に従って時間情報を付加した後、メモリ部１１０７へ保存することでエンコード処理が完了する。先行技術においてフレームレートを１／２に低減する場合のフレーム間引きのイメージは図１１−２に示す通りである。
【特許文献１】特開２００１−２５８０３９号公報
【特許文献２】特開２００２−０５８０２９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、上記先行技術のフレームレート変換方法では図１１−２に示すように、フレームレート低減時フレームを間引くだけの処理を行うので、再生時にその区間がコマ落ちになり見づらくなる要因となっていた。
【００１０】
したがって、本発明の目的は、再生時にコマ落ちとなって見づらくなるのを改善することができるフレームレート変換方法を提供することである。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、第１の発明は、動画像データを入力する入力制御部と、入力制御部から与えられる動画像データを符号化するエンコードコア部と、エンコードコア部による符号化結果のビット量からフレームレートを制御する間引き指示信号を出力するレート制御部と、エンコードコア部から出力される画像符号化データを保持しておくバッファ部と、レート制御部からの間引き指示信号に基づいてバッファ部に保持してある画像符号化データを間引く間引き部と、間引き部により間引いた画像符号化データおよび間引き情報を出力する出力制御部と、オーディオの符号化を行うとともにオーディオ符号化データを出力するオーディオ部と、画像符号化データおよびオーディオ符号化データを保持するメモリ部と、出力制御部からの間引き情報を基に多重化時に付加する時間情報を調整する時間情報調整部と、メモリ部から画像符号化データとオーディオ符号化データとを取得し、時間情報調整部からの調整後の時間情報を基に画像符号化データとオーディオ符号化データとの多重化を行い多重化データをメモリ部へ出力する多重化コア部とを備えたフレームレート変換装置におけるフレームレート変換方法である。
【００１２】
そして、このフレームレート変換方法では、符号化結果のビット量が規定値以上になりフレームを間引く時に、間引き部でフレームを間引いた分、時間情報調整部で多重化後のデータに付加する時間情報を間引いた間隔のｎ倍(ｎは１より大きい数)の間隔で均等化する。
【００１３】
この方法によれば、フレームレート低減時に、フレームを間引いた後、多重化時に付加する時間情報をフレームを間引いた区間のｎ倍の区間で等間隔になるように調整を行うことにより、コマ落ちのレベルを緩和し、視覚的な見づらさを緩和することを可能とする。
【００１４】
上記第１の発明のフレームレート変換方法では、レート制御部からの間引き指示信号を間引き部に取り込むと共に時間情報変更指示部に取り込み、間引き区間がある一定以上連続した場合、時間情報変更指示部から時間情報調整部は変更時間情報信号を受け取り、フレーム間の時間間隔を徐々に広げていくことで、本来の間隔に近づけることが好ましい。
【００１５】
この方法によれば、間引き区間が一定以上連続した場合でも、徐々にフレーム間隔を広げることでバッファ容量の増加を防いだ上で、視覚的な見づらさを緩和することが可能となる。
【００１６】
第２の発明は、動画像データを入力する入力制御部と、入力制御部から与えられる動画像データを符号化するエンコードコア部と、エンコードコア部による符号化結果のビット量からフレームレートを制御する間引き指示信号を出力するレート制御部と、画像間の相関値を保持し相関値に応じて間引き画像情報を出力する相関値処理部と、エンコードコア部からの画像符号化データを出力する出力制御部と、オーディオの符号化を行うとともにオーディオ符号化データを出力するオーディオ部と、画像符号化データ、オーディオ符号化データおよび間引き画像情報を保持するメモリ部と、レート制御部からの間引き指示信号とメモリ部に保持されている間引き画像情報とから間引く画像を判定する間引き情報を出力する間引き判定部と、間引き判定部からの間引き情報を基に多重化時に付加する時間情報を調整する時間情報調整部と、間引き判定部からの間引き情報を基にメモリ部から必要な画像符号化データとオーディオ符号化データとを取得し、時間情報調整部からの調整後の時間情報を基に画像符号化データとオーディオ符号化データとの多重化を行い多重化データをメモリ部へ出力する多重化コア部とを備えたフレームレート変換装置におけるフレームレート変換方法である。
【００１７】
そして、このフレームレート変換方法では、符号化結果のビット量が規定値以上になりフレームを間引く時に、本来間引く間隔のｎ倍(ｎ＞０)の間隔でフレーム間の相関値を基に相関値の高いフレームを間引き、多重化後のデータに付加する時間情報を均等化する。
【００１８】
この方法によれば、フレームレート低減時に、本来間引く間隔のｎ倍(ｎ＞０)の間隔でフレーム間の相関値を基に相関値の高いフレームを間引き、多重化後のデータに付加する時間情報を均等化することにより、画像の劣化を押さえた上でコマ落ちのレベルを緩和し、視覚的な見づらさを緩和することを可能とする。
【００１９】
上記第２の発明においては、時間情報調整部に時間調整を調整する間隔を指示する時間調整間隔指示部を持ち、フレームを間引く間隔と時間情報を調整する間隔とを別々に設定可能とすることが好ましい。
【００２０】
この方法によれば、視覚的な見づらさをさらに緩和することができる。
【００２１】
第３の発明は、動画像データを入力する入力制御部と、入力制御部から与えられる動画像データを符号化するエンコードコア部と、エンコードコア部による符号化結果のビット量からフレームレートを制御する間引き指示信号を出力するレート制御部と、複数の画像間の相関値を保持し相関値に応じた間引き画像情報を出力する複数相関値処理部と、複数相関値処理部からの相関値データを保持しておく相関値用バッファと、エンコードコア部からの画像符号化データを出力する出力制御部と、オーディオの符号化を行うとともにオーディオ符号化データを出力するオーディオ部と、画像符号化データ、オーディオ符号化データおよび間引き画像情報を保持するメモリ部と、レート制御部からの間引き指示信号とメモリ部に保持されている間引き画像情報とから間引く画像を判定する間引き情報を出力する間引き判定部と、間引き判定部からの間引き情報を基に多重化時に付加する時間情報を調整する時間情報調整部と、間引き判定部からの間引き情報を基にメモリ部から必要な画像符号化データとオーディオ符号化データとを取得し、時間情報調整部からの調整後の時間情報を基に画像符号化データとオーディオ符号化データとの多重化を行い多重化データをメモリ部へ出力する多重化コア部とを備えたフレームレート変換装置におけるフレームレート変換方法である。
【００２２】
そして、このフレームレート変換方法では、符号化結果のビット量が規定値以上になりフレームを間引く時に、本来間引く間隔のｎ倍の間隔でフレーム間の相関値を基に相関値の高いフレームを間引き、多重化後のデータに付加する時間情報を均等化する。
【００２３】
ここで、本来の間隔について説明する。本来の間隔とは、フレームレートを落とした(画像を間引いた)場合に本発明を適用しない場合(従来例)のフレームの間隔である。フレームレートを１／ｎにした場合、本来の間隔とは画像を間引く前のフレームの間隔のｎ倍になる。
【００２４】
この方法によれば、フレームレート低減時に、本来間引く間隔のｎ倍の間隔でフレーム間の相関値を基に相関値の高いフレームを間引き、多重化後のデータに付加する時間情報を均等化することにより、画像の劣化を押さえた上でコマ落ちのレベルを緩和し、視覚的な見づらさを緩和することを可能とする。
【００２５】
上記第３の発明においては、複数相関値処理部に重み付け係数を与える重み付け係数バッファを持ち、基準フレームからの距離によって相関値の重み付けを変えることが好ましい。
【００２６】
この方法によれば、視覚的な見づらさをさらに緩和することができる。
【００２７】
第４の発明は、動画像データを入力する入力制御部と、入力制御部から与えられる動画像データを符号化するエンコードコア部と、エンコードコア部による符号化結果のビット量からフレームレートを制御する間引き指示信号を出力するレート制御部と、画像間の相関値からその画像の間引きのためのランク付けを行う相関値ランク付け部と、エンコードコア部からの符号化データを出力する出力制御部と、オーディオの符号化を行うとともにオーディオ符号化データを出力するオーディオ部と、画像およびオーディオの符号化データおよび間引き画像ランク情報を保持するメモリ部と、レート制御部からの間引き指示信号とメモリ部に保持されている間引き画像ランク情報から間引く画像を判定する間引き情報を出力する間引き判定部と、間引き判定部からの間引き情報を基に多重化時に付加する時間情報を調整する時間情報調整部と、間引き判定部からの間引き情報を基にメモリ部から必要な画像符号化データとオーディオ符号化データとを取得し、時間情報調整部からの調整後の時間情報を基に画像符号化データとオーディオ符号化データとの多重化を行い多重化データをメモリ部へ出力する多重化コア部とを備えたフレームレート変換装置におけるフレームレート変換方法である。
【００２８】
そして、このフレームレート変換方法では、符号化結果のビット量が規定値以上になりフレームを間引く時に、本来間引く間隔のｎ倍の間隔で画像間の相関値を基にランク付けされた情報を基に相関値の高いフレームを間引き、多重化後のデータに付加する時間情報を均等化する。
【００２９】
この方法によれば、フレームレート低減時に、本来間引く間隔のｎ倍の間隔で画像間の相関値を基にランク付けされた情報を基に相関値の高いフレームを間引き、多重化後のデータに付加する時間情報を均等化することにより、画像の劣化を押さえた上でコマ落ちのレベルを緩和し、視覚的な見づらさを緩和することを可能とする。
【００３０】
上記第４の発明においては、相関値ランク付け部にランクを判定するための閾値を与えるランク閾値設定部を持ち、ランク付けのための閾値を可変とすることが好ましい。
【００３１】
この方法によれば、視覚的な見づらさをさらに緩和することができる。
【００３２】
第５の発明は、動画像データを入力する入力制御部と、入力制御部から与えられる入力動画像データから中間画像を生成する中間画像生成部と、入力制御部からの入力画像と中間画像生成部からの中間画像データとを符号化するエンコードコア部と、エンコードコア部による符号化結果のビット量からフレームレートを制御する間引き指示信号を出力するレート制御部と、画像間の相関値を保持し相関値に応じた間引き画像情報を出力する相関値処理部と、エンコードコア部からの符号化データおよび中間画像から生成された中間画像符号化データを出力する出力制御部と、オーディオの符号化を行うとともにオーディオ符号化データを出力するオーディオ部と、画像符号化データ、中間画像符号化データ、オーディオ符号化データおよび間引き画像情報を保持するメモリ部と、レート制御部からの間引き指示信号とメモリ部に保持されている間引き画像情報から間引く画像を判定する間引き情報を出力する間引き判定部と、間引き判定部からの間引き情報を基に多重化時に付加する時間情報を調整する時間情報調整部と、間引き判定部からの間引き情報を基にメモリ部から必要な画像符号化データとオーディオ符号化データとを取得し、時間情報調整部からの調整後の時間情報を基に画像符号化データとオーディオ符号化データとの多重化を行い多重化データをメモリ部へ出力する多重化コア部とを備えたフレームレート変換装置におけるフレームレート変換方法である。
【００３３】
そして、このフレームレート変換方法では、符号化結果のビット量が規定値以上になりフレームを間引く時に、本来間引く間隔のｎ倍の間隔でフレーム間の相関値を基に相関値の高いフレームを間引き、多重化後のデータに付加する時間情報を均等化する。
【００３４】
この方法によれば、フレームレート低減時に、本来間引く間隔のｎ倍の間隔でフレーム間の相関値を基に相関値の高いフレームを間引き、多重化後のデータに付加する時間情報を均等化することにより、画像の劣化を押さえた上でコマ落ちのレベルを緩和し、視覚的な見づらさを緩和することを可能とする。さらに、画像エンコード時に中間画像を生成してエンコードしておくことで、画像の劣化を押さえた上でコマ落ちのレベルを緩和し、視覚的な見づらさをいっそう緩和することが可能となる。
【００３５】
第６の発明は、動画像データを入力する入力制御部と、入力制御部から与えられる動画像データを符号化するとともに中間画像の動きベクトルから中間画像符号化データを生成するエンコードコア部と、エンコードコア部で生成される中間データである複数の動きベクトルから中間画像の動きベクトルを生成してエンコードコア部へ与える中間画像用動きベクトル生成部と、エンコードコア部による符号化結果のビット量からフレームレートを制御する間引き指示信号を出力するレート制御部と、画像間の相関値を保持し相関値に応じた間引き画像情報を出力する相関値処理部と、エンコードコア部からの符号化データおよび中間画像符号化データを出力する出力制御部と、オーディオの符号化を行うとともにオーディオ符号化データを出力するオーディオ部と、画像符号化データ、中間画像符号化データ、オーディオ符号化データおよび間引き画像情報を保持するメモリ部と、レート制御部からの間引き指示信号とメモリ部に保持されている間引き画像情報から間引く画像を判定する間引き情報を出力する間引き判定部と、間引き判定部からの間引き情報を基に多重化時に付加する時間情報を調整する時間情報調整部と、間引き判定部からの間引き情報を基にメモリ部から必要な画像符号化データとオーディオ符号化データとを取得し、時間情報調整部からの調整後の時間情報を基に画像符号化データとオーディオ符号化データとの多重化を行い多重化データをメモリ部へ出力する多重化コア部とを備えたフレームレート変換装置におけるフレームレート変換方法である。
【００３６】
そして、このフレームレート変換方法では、符号化結果のビット量が規定値以上になりフレームを間引く時に、本来間引く間隔のｎ倍の間隔でフレーム間の相関値を基に相関値の高いフレームを間引き、多重化後のデータに付加する時間情報を均等化する。
【００３７】
この方法によれば、フレームレート低減時に、本来間引く間隔のｎ倍の間隔でフレーム間の相関値を基に相関値の高いフレームを間引き、多重化後のデータに付加する時間情報を均等化することにより、画像の劣化を押さえた上でコマ落ちのレベルを緩和し、視覚的な見づらさを緩和することを可能とする。さらに、画像エンコード時に中間画像用動きベクトルを生成してエンコードしておくことで、画像の劣化を押さえた上でコマ落ちのレベルを緩和し、視覚的な見づらさをいっそう緩和することが可能となる。
【発明の効果】
【００３８】
以上の説明のように、先行技術のフレームレート変換方法においては、フレームレート低減時にフレームを間引くだけの処理を行うので、再生時にその区間がコマ落ちになり見づらくなる要因となっていたものが、本発明を用いることにより、画像を間引いた後、時間情報を調整してフレームを等間隔に並べることができ、コマ落ちのレベルを緩和し、視覚的な見づらさを緩和することが可能となる。
【００３９】
また、画像の相関値を基に相関値の高い画像を間引くことで画像の劣化を押さえた上でコマ落ちのレベルを緩和し、視覚的な見づらさを緩和することが可能となる。
【００４０】
また、画像エンコード時に中間画像または中間画像用動きベクトルを生成してエンコードしておくことで、画像の劣化を押さえた上でコマ落ちのレベルを緩和し、視覚的な見づらさを緩和することが可能となる。
【発明を実施するための最良の形態】
【００４１】
以下、本発明の実施の形態１について図面を参照しながら説明する。
【００４２】
図１−１は本発明の実施の形態１におけるフレームレート変換方法を実施するフレームレート変換装置を表すものである。図1−１において、符号１０１は動画像データを入力する入力制御部を示す。符号１０２は動画像データを符号化するエンコードコア部を示す。符号１０３は符号化結果のビット量からフレームレートを制御するレート制御部を示す。符号１０４は符号化データを保持しておくバッファ部を示す。符号１０５はレート制御部１０３からの間引き指示信号に基づいてバッファ部１０４に保持してある符号化データを間引く間引き部を示す。符号１０６は間引いた符号化データおよび間引き情報を出力する出力制御部を示す。符号１０７はオーディオの符号化を行うとともにオーディオ符号化データを出力するオーディオ部を示す。符号１０８は画像およびオーディオの符号化データを保持するメモリ部を示す。符号１０９は出力制御部１０６からの間引き情報を基に多重化時に付加する時間情報を調整する時間情報調整部を示す。符号１１０はメモリ部１０８から画像符号化データとオーディオ符号化データとを取得し、時間情報調整部１０９からの調整後の時間情報を基に画像符号化データとオーディオ符号化データとの多重化を行い多重化データをメモリ部１０８へ出力する多重化コア部を示す。符号１１１はビデオ部を示し、符号１１２は多重化部を示す。
【００４３】
以上のように構成された本実施の形態のフレームレート変換方法について、以下にその方法を説明する。
【００４４】
本発明の実施の形態１におけるフレームレート変換方法は、まず入力制御部１０１にエンコードする動画像データを入力しプレフィルタ処理等を施す。つぎに、エンコードコア部１０２が入力制御部１０１の出力画像データを受け取りエンコード処理を行い、符号化データをバッファ部１０４へ保存する。つぎに、レート制御部１０３でエンコードコア部１０２からのビット量を監視して、一定量以上になると間引き部１０５へフレームレート低減の指示を出す。間引き部１０５はレート制御部１０３からのフレームレート低減指示に従って、バッファ部１０４から必要な符号化画像データを取得し出力制御部１０８へ出力する。出力制御部１０８でポストフィルタ処理等を施した後、符号化データをメモリ部１０８へ出力、間引き情報を時間情報調整部１０９へ出力する。これら画像符号化処理と同時に、オーディオ部１０７でオーディオの符号化を行い、符号化データをメモリ部１０８へ出力する。時間情報調整部１０９で出力制御部１０６からの間引き情報を基に、間引いた間隔のｎ倍の間隔で時間情報が等間隔になるように調整し、調整した時間情報を多重化コア部１１０へ出力する。多重化コア部１１０ではメモリ部１０８から画像符号化データとオーディオ符号化データとを取得し、画像符号化データとオーディオ符号化データとの多重化を行い、時間情報調整部１０９からの調整時間情報に従って時間情報を付加した後、メモリ部１０８へ保存することでエンコード処理が完了する。本実施の形態においてフレームレートを１／２に低減する場合のフレーム間引きのイメージは図１−２に示す通りである。
【００４５】
以上の方法により、フレームレート低減時にコマ落ちのレベルを緩和し、視覚的な見づらさを緩和することが実現できる。
【００４６】
以上のような方法で、本発明の実施の形態１では、フレームを間引いた間隔のｎ倍の間隔でフレームを等間隔に並べ直すことでフレームレート低減時にコマ落ちのレベルを緩和し、視覚的な見づらさを緩和することが可能となる。
【００４７】
つぎに、本発明の実施の形態２について図面を参照しながら説明する。
【００４８】
図２−１は本発明の実施の形態２におけるフレームレート変換方法を実施するフレームレート変換装置を表すものである。本実施の形態は、上記実施の形態１を発展させたものなので、同一部分については同一符号を付して重複した説明を省略し、異なる構造についてのみ説明する。図２−１において、符号２０１はレート制御部１０３からの間引き指示を基に間引き区間がある一定以上連続した場合、時間情報調整部１０９に、低減したフレームレートに対応するフレーム間隔になるまで、フレーム間の時間間隔を徐々に広げていく指示を出す時間情報変更指示部を示す。
【００４９】
以上のように構成された本実施の形態のフレームレート変換方法について、以下にその方法を説明する。
【００５０】
本発明の実施の形態２におけるフレームレート変換方法は、時間情報変更指示部２０１がレート制御部１０３からの間引き指示を基に間引き区間がある一定以上連続しているか判断し一定以上連続している場合は、時間情報調整部１０９にフレーム間の時間間隔を徐々に広げていく指示を出す。
【００５１】
これ以外の動作に関しては、本発明の実施の形態１と同一であるので、説明を省略する。本実施の形態においてフレームレートを１／２に低減する場合のフレーム間引きのイメージは図２−２に示す通りである。
【００５２】
以上のような方法で、本発明の実施の形態２では、フレームを間引いた間隔のｎ倍の間隔でフレームを等間隔に並べ直すことでフレームレート低減時にコマ落ちのレベルを緩和し、視覚的な見づらさを緩和することが可能となる。また、間引き区間が一定以上連続した場合でも、徐々にフレーム間隔を広げることでバッファ容量の増加を防いだ上で、視覚的な見づらさを緩和することが可能となる。
【００５３】
つぎに、本発明の実施の形態３について図面を参照しながら説明する。
【００５４】
図３−１は本発明の実施の形態１におけるフレームレート変換方法を実施するフレームレート変換装置を表すものである。図３−１において、符号３０１は動画像データを入力する入力制御部を示す。符号３０２は動画像データを符号化するエンコードコア部を示す。符号３０３は符号化結果のビット量からフレームレートを制御するレート制御部を示す。符号３０４は画像間の相関値を保持し間引き画像情報を出力する相関値処理部を示す。符号３０５は符号化データを出力する出力制御部を示す。符号３０６はオーディオの符号化を行うとともにオーディオ符号化データを出力するオーディオ部を示す。符号３０７は画像およびオーディオの符号化データと間引き画像情報を保持するメモリ部を示す。符号３０８はレート制御部３０３からの間引き指示信号を受けて、メモリ部３０７に保持してある間引き画像情報を取得し、その間引き画像情報を基に間引く画像を決定する間引き判定部を示す。符号３０９は間引き判定部３０８からの間引き情報を基に多重化時に付加する時間情報を調整する時間情報調整部を示す。符号３１０はメモリ部３０７から画像符号化データとオーディオ符号化データとを取得し、時間情報調整部３０９からの調整後の時間情報を基に画像符号化データとオーディオ符号化データとの多重化を行い多重化データをメモリ部３０７へ出力する多重化コア部である。符号３１１はビデオ部を示し、符号３１２は多重化部を示す。
【００５５】
以上のように構成された本実施の形態のフレームレート変換方法について、以下にその方法を説明する。
【００５６】
本発明の実施の形態３におけるフレームレート変換方法は、まず入力制御部３０１にエンコードする動画像データを入力しプレフィルタ処理等を施す。つぎに、エンコードコア部３０２が入力制御部３０１の出力画像データを受け取りエンコード処理を行い、画像間相関値を相関値処理部３０４へ、符号化データを出力制御部３０５へ出力する。つぎに、レート制御部３０３でエンコードコア部３０２からのビット量を監視して、一定量以上になると間引き判定部３０８へフレームレート低減の指示を出す。相関値処理部３０４では画像間相関値を基に相関値の大きい画像をフレームレート低減区間のｎ倍の範囲で判定し間引き画像情報をメモリ部３０７へ保存する。出力制御部３０５でポストフィルタ処理等を施した後、符号化データをメモリ部３０７へ出力する。これら画像符号化処理と同時に、オーディオ部３０６でオーディオの符号化を行い、符号化データをメモリ部３０７へ出力する。間引き判定部３０８はレート制御部３０３からのフレームレート低減指示およびメモリ部３０７に保存されている間引き画像情報を基に、画像を間引く区間をフレームレート低減区間のｎ倍の区間として、実際に間引く画像の情報を生成する。時間情報調整部３０９で間引き判定部３０８からの間引き情報を基に、フレームレート低減区間のｎ倍の区間で時間情報が等間隔になるように調整し、調整した時間情報を多重化コア部３１０へ出力する。多重化コア部３１０ではメモリ部３０７から画像符号化データとオーディオ符号化データとを取得し、画像符号化データとオーディオ符号化データとの多重化を行い、時間情報調整部３０９からの調整時間情報に従って時間情報を付加した後、メモリ部３０７へ保存することでエンコード処理が完了する。本実施の形態においてフレームレートを１／２に低減する場合のフレーム間引きのイメージは図３−２に示す通りである。
【００５７】
以上の方法により、フレームレート低減時にコマ落ちのレベルを緩和し、視覚的な見づらさを緩和することが実現できる。
【００５８】
以上のような方法で、本発明の実施の形態３では、画像を間引く区間をフレームレート低減区間のｎ倍の区間として、その区間で画像を間引き、フレームを等間隔に並べ直すことでフレームレート低減時にコマ落ちのレベルを緩和し、視覚的な見づらさを緩和することが可能となる。
【００５９】
つぎに、本発明の実施の形態４について図面を参照しながら説明する。
図４−１は本発明の実施の形態４におけるフレームレート変換方法を実施するフレームレート変換装置を表すものである。本実施の形態は、上記実施の形態３を発展させたものなので、同一部分については同一符号を付して重複した説明を省略し、異なる構造についてのみ説明する。図４−１において、符号４０１は時間情報調整部３０９に時間情報の調整区間の指示を出す時間調整間隔指示部を示す。
【００６０】
以上のように構成された本実施の形態のフレームレート変換方法について、以下にその方法を説明する。
【００６１】
本発明の実施の形態４におけるフレームレート変換方法は、時間情報調整部３０９が時間調整間隔指示部４０１からの時間調整間隔の指示と間引き部３０８からの間引き情報を基に、フレームレート低減区間のｎ倍の区間で画像を間引いたことに対し、時間調整間隔をフレームレート低減区間のｎ倍の区間とは異なる区間で設定を行う。
【００６２】
これ以外の動作に関しては、本発明の実施の形態３と同一であるので、説明を省略する。本実施の形態においてフレームレートを１／２に低減する場合のフレーム間引きのイメージは図４−２に示す通りである。
【００６３】
以上の方法により、フレームレート低減時にコマ落ちのレベルを緩和し、視覚的な見づらさを緩和することが実現できる。
【００６４】
以上のような方法で、本発明の実施の形態４では、画像を間引く区間をフレームレート低減区間のｎ倍の区間としてその区間で画像を間引き、フレームを等間隔に並べ直す間隔をフレームレート低減区間のｎ倍とは異なる区間で設定することでフレームレート低減時にコマ落ちのレベルを緩和し、視覚的な見づらさをいっそう緩和することが可能となる。
【００６５】
つぎに、本発明の実施の形態５について図面を参照しながら説明する。
【００６６】
図５−１は本発明の実施の形態５におけるフレームレート変換方法を実施するフレームレート変換装置を表すものである。本実施の形態は、上記実施の形態３を発展させたものなので、同一部分については同一符号を付して重複した説明を省略し、異なる構造についてのみ説明する。図５−１において、符号５０１は複数の画像の相関値を基に間引く画像を決定する複数相関値処理部を示す。符号５０２は複数相関値処理部５０１からの相関値を保持および出力する相関値用バッファを示す。
【００６７】
以上のように構成された本実施の形態のフレームレート変換方法について、以下にその方法を説明する。
【００６８】
本発明の実施の形態５におけるフレームレート変換方法は、まず入力制御部３０１にエンコードする動画像データを入力しプレフィルタ処理等を施す。つぎに、エンコードコア部３０２が入力制御部３０１の出力画像データを受け取りエンコード処理を行い、画像間相関値を複数相関処理部５０１へ、符号化データを出力制御部３０５へ出力する。つぎに、レート制御部３０３でエンコードコア部３０２からのビット量を監視して、一定量以上になると間引き判定部３０８へフレームレート低減の指示を出す。複数相関値処理部５０１ではフレームレート低減区間のｎ倍の範囲の複数の画像間相関値を基に、相関値判定の基準画像から離れるに従い相関に対する重み付けを小さくし、その中で相関値の大きい画像を判定し間引き画像情報をメモリ部３０７へ保存する。
【００６９】
以降の動作に関しては、本発明の実施の形態３と同一であるので、説明を省略する。本実施の形態においてフレームレートを１／２に低減する場合のフレーム間引きのイメージは図５−２に示す通りである。
【００７０】
以上の方法により、フレームレート低減時にコマ落ちのレベルを緩和し、視覚的な見づらさを緩和することが実現できる。
【００７１】
以上のような方法で、本発明の実施の形態５では、間引く画像を決定する相関値の対象を複数の画像に広げることでより確度の高い間引きが可能となり、視覚的な見づらさを緩和することが可能となる。
【００７２】
つぎに、本発明の実施の形態６について図面を参照しながら説明する。
【００７３】
図６−１は本発明の実施の形態６におけるフレームレート変換方法を実施するフレームレート変換装置を表すものである。本実施の形態は、上記実施の形態５を発展させたものなので、同一部分については同一符号を付して重複した説明を省略し、異なる構造についてのみ説明する。図６−１において、符号６０１は複数の画像の相関値の重み付けの係数を変更するための係数を保持している重み付け係数バッファを示す。
【００７４】
以上のように構成された本実施の形態のフレームレート変換方法について、以下にその方法を説明する。
【００７５】
本発明の実施の形態６におけるフレームレート変換方法は、複数相関値処理部５０１で必要となる重み付け係数として、重み付け係数バッファ６０１で保持している係数を使用する。
【００７６】
これ以外の動作に関しては、本発明の実施の形態５と同一であるので、説明を省略する。本実施の形態においてフレームレートを１／２に低減する場合のフレーム間引きのイメージは図６−２に示す通りである。
【００７７】
以上の方法により、フレームレート低減時にコマ落ちのレベルを緩和し、視覚的な見づらさを緩和することが実現できる。
【００７８】
以上のような方法で、本発明の実施の形態６では、間引く画像を決定するの相関値の対象を複数の画像に広げ、その画像間での重み付け値も可変とできることで、より確度の高い間引きが可能となり、視覚的な見づらさをいっそう緩和することが可能となる。
【００７９】
つぎに、本発明の実施の形態７について図面を参照しながら説明する。
【００８０】
図７−１は本発明の実施の形態７におけるフレームレート変換方法を実施するフレームレート変換装置を表すものである。本実施の形態は、上記実施の形態３を発展させたものなので、同一部分については同一符号を付して重複した説明を省略し、異なる構造についてのみ説明する。図７−１において、符号７０１は画像間の相関値を基に間引く画像のランク付けを行う相関値ランク付け部を示す。
【００８１】
以上のように構成された本実施の形態のフレームレート変換方法について、以下にその方法を説明する。
【００８２】
本発明の実施の形態７におけるフレームレート変換方法は、まず入力制御部３０１にエンコードする動画像データを入力しプレフィルタ処理等を施す。つぎに、エンコードコア部３０２が入力制御部３０１の出力画像データを受け取りエンコード処理を行い、画像間相関値を相関値ランク付け部７０１へ、符号化データを出力制御部３０５へ出力する。つぎに、レート制御部３０３でエンコードコア部３０２からのビット量を監視して、一定量以上になると間引き判定部３０８へフレームレート低減の指示を出す。相関値ランク付け部７０１ではフレームレート低減区間のｎ倍の範囲でいくつかの閾値を基本にして相関値と閾値から相関値をランク付けし間引き画像ランク情報をメモリ部３０７へ保存する。間引き判定部３０８はレート制御部３０３からのフレームレート低減指示およびメモリ部３０７に保存されている間引き画像ランク情報を基に、画像を間引く区間をフレームレート低減区間のｎ倍の区間として、実際に間引く画像の情報を生成する。
【００８３】
以降の動作に関しては、本発明の実施の形態３と同一であるので、説明を省略する。本実施の形態においてフレームレートを１／２に低減する場合のフレーム間引きのイメージは図７−２に示す通りである。
【００８４】
以上の方法により、フレームレート低減時にコマ落ちのレベルを緩和し、視覚的な見づらさを緩和することが実現できる。
【００８５】
以上のような方法で、本発明の実施の形態７では、間引く画像を決定する相関値のランク付けを行うことでより確度の高い間引きが可能となり、視覚的な見づらさをいっそう緩和することが可能となる。
【００８６】
つぎに、本発明の実施の形態８について図面を参照しながら説明する。
【００８７】
図８−１は本発明の実施の形態８におけるフレームレート変換方法を実施するフレームレート変換装置を表すものである。本実施の形態は、上記実施の形態７を発展させたものなので、同一部分については同一符号を付して重複した説明を省略し、異なる構造についてのみ説明する。図８−１において、符号８０１は相関値ランク付け部７０１で使用する閾値を与えるランク閾値設定部を示す。
【００８８】
以上のように構成された本実施の形態のフレームレート変換方法について、以下にその方法を説明する。
【００８９】
本発明の実施の形態８におけるフレームレート変換方法は、相関値ランク付け部７０１で必要となる閾値として、ランク閾値設定部８０１で保持している閾値を使用する。この時のフレーム間引きのイメージは図７−２に示す通りである。
【００９０】
これ以外の動作に関しては、本発明の実施の形態７と同一であるので、説明を省略する。本実施の形態においてフレームレートを１／２に低減する場合のフレーム間引きのイメージは図７−２に示す通りである。
【００９１】
以上の方法により、フレームレート低減時にコマ落ちのレベルを緩和し、視覚的な見づらさを緩和することが実現できる。
【００９２】
以上のような方法で、本発明の実施の形態８では、間引く画像を決定する相関値のランク付けを行い、その時必要となる閾値を可変とすることでより確度の高い間引きが可能となり、視覚的な見づらさをいっそう緩和することが可能となる。
【００９３】
つぎに、本発明の実施の形態９について図面を参照しながら説明する。
【００９４】
図９−１は本発明の実施の形態９におけるフレームレート変換方法を実施するフレームレート変換装置を表すものである。本実施の形態は、上記実施の形態３を発展させたものなので、同一部分については同一符号を付して重複した説明を省略し、異なる構造についてのみ説明する。図９−１において、符号９０１は複数の画像から中間画像を生成する中間画像生成部を示す。
【００９５】
以上のように構成された本実施の形態のフレームレート変換方法について、以下にその方法を説明する。
【００９６】
本発明の実施の形態９におけるフレームレート変換方法は、まず入力制御部３０１にエンコードする動画像データを入力しプレフィルタ処理等を施す。つぎに、エンコードコア部３０２が入力制御部３０１の出力画像データを受け取りエンコード処理を行い、画像間相関値を相関値処理部３０４へ、符号化データを出力制御部３０５へ、ピクチャ情報を中間画像生成部９０１へ出力する。中間画像生成部９０１でエンコーダコア部３０２からのピクチャ情報を基に、非参照画像である場合に、図９−２に示すように中間画像を生成し、エンコーダコア部３０２に送り再度エンコーダ処理を行い、中間画像符号化データを出力制御部３０５へ出力する。つぎに、レート制御部３０３でエンコードコア部３０２からのビット量を監視して、一定量以上になると間引き判定部３０８へフレームレート低減の指示を出す。相関値処理部３０４ではフレームレート低減区間のｎ倍の範囲で画像間相関値を基に相関値の大きい画像を判定し間引き画像情報をメモリ部３０７へ保存する。出力制御部３０５でポストフィルタ処理等を施した後、符号化データおよび中間画像符号化データをメモリ部３０７へ出力する。これら画像符号化処理と同時に、オーディオ部３０６でオーディオの符号化を行い、符号化データをメモリ部３０７へ出力する。間引き判定部３０８はレート制御部３０３からのフレームレート低減指示およびメモリ部３０７に保存されている間引き画像情報を基に、画像を間引く区間をフレームレート低減区間のｎ倍の区間として、画像を間引く場合その相関値の対象となった画像を２枚間引き、代わりに中間画像を挿入するための情報を生成する。時間情報調整部３０９で間引き判定部３０８からの間引き情報を基に、フレームレート低減区間のｎ倍の区間で時間情報が等間隔になるように調整し、調整した時間情報を多重化コア部３１０へ出力する。多重化コア部３１０ではメモリ部３０７から画像符号化データまたは中間値符号化データとオーディオ符号化データとを取得し、画像符号化データまたは中間値符号化データとオーディオ符号化データとの多重化を行い、時間情報調整部３０９からの調整時間情報に従って時間情報を付加した後、メモリ部３０７へ保存することでエンコード処理が完了する。本実施の形態においてフレームレートを１／２に低減する場合のフレーム間引きのイメージは図９−３に示す通りである。
【００９７】
なお、図９−２において、「中間画像から動き予測」と記載しているが、これは、エンコード時に予め２つの画像の中間画像を作成して、その中間画像を基にしたエンコード(動きベクトル予測等)も同時に行うと言うことである。
【００９８】
以上の方法により、フレームレート低減時にコマ落ちのレベルを緩和し、視覚的な見づらさを緩和することが実現できる。
【００９９】
以上のような方法で、本発明の実施の形態９では、画像を間引く区間をフレームレート低減区間のｎ倍の区間として、その区間で画像を間引く時に中間画像をエンコードした画像で置き換え、フレームを等間隔に並べ直すことでフレームレート低減時にコマ落ちのレベルを緩和し、視覚的な見づらさを緩和することが可能となる。
【０１００】
つぎに、本発明の実施の形態１０について図面を参照しながら説明する。
【０１０１】
図１０−１は本発明の実施の形態１０におけるフレームレート変換方法を実施するフレームレート変換装置を表すものである。本実施の形態は、上記実施の形態９を発展させたものなので、同一部分については同一符号を付して重複した説明を省略し、異なる構造についてのみ説明する。図１０−１において、符号１００１は中間画像用動きベクトル生成部を示す。
【０１０２】
以上のように構成された本実施の形態のフレームレート変換方法について、以下にその方法を説明する。
【０１０３】
本発明の実施の形態１０におけるフレームレート変換方法は、まず入力制御部３０１にエンコードする動画像データを入力しプレフィルタ処理等を施す。つぎに、エンコードコア部３０２が入力制御部３０１の出力画像データを受け取りエンコード処理を行い、画像間相関値を相関値処理部３０４へ、符号化データを出力制御部３０５へ、動きベクトル情報を中間画像用動きベクトル生成部１００１へ出力する。中間画像用動きベクトル生成部１００１でエンコーダコア部３０２からの動き情報を基に、非参照画像である場合に図１０−２に示すように中間画像に相当する動きベクトルを生成し、エンコーダコア部３０２に送り再度エンコーダ処理を行い、中間画像符号化データを出力制御部３０５へ出力する。
【０１０４】
これ以降の動作に関しては、本発明の実施の形態９と同一であるので、説明を省略する。本実施の形態においてフレームレートを１／２に低減する場合のフレーム間引きのイメージは図９−３に示す通りである。
【０１０５】
以上の方法により、フレームレート低減時にコマ落ちのレベルを緩和し、視覚的な見づらさを緩和することが実現できる。
【０１０６】
以上のような方法で、本発明の実施の形態１０では、画像を間引く区間をフレームレート低減区間のｎ倍の区間として、その区間で画像を間引く時に中間画像用動きベクトルから中間画像をエンコードした画像で置き換え、フレームを等間隔に並べ直すことでフレームレート低減時にコマ落ちのレベルを緩和し、視覚的な見づらさを緩和することが可能となる。
【０１０７】
なお、上記実施の形態ではソフトウエアによる処理を前提として説明したが、ＤＳＰ、マイクロコンピュータ、メディアプロセッサ等でハードウエアのみで実現する場合でも同様である。また実施の形態および図面において、フレームレートを１／２に低減する場合を例に説明しているがこれも一例であり、その他のレートに低減する場合も同様である。このように上記実施の形態は本発明の説明を目的とするのもであって、本発明の内容をそれらに限定するものではない。
【産業上の利用可能性】
【０１０８】
本発明にかかるフレームレート変換方法は、コマ落ちのレベルを緩和し、視覚的な見づらさを緩和することを可能とし、ＤＶＤや携帯電話で用いられるＭＰＥＧ等に代表される高圧縮の動画処理に有用である。
【図面の簡単な説明】
【０１０９】
【図１−１】本発明の実施の形態１におけるフレームレート変換方法を実施するフレームレート変換装置のブロック図である。
【図１−２】本発明の実施の形態１におけるフレーム間引きのイメージ図である。
【図２−１】本発明の実施の形態２におけるフレームレート変換方法を実施するフレームレート変換装置のブロック図である。
【図２−２】本発明の実施の形態２におけるフレーム間引きのイメージ図である。
【図３−１】本発明の実施の形態３におけるフレームレート変換方法を実施するフレームレート変換装置のブロック図である。
【図３−２】本発明の実施の形態３におけるフレーム間引きのイメージ図である。
【図４−１】本発明の実施の形態４におけるフレームレート変換方法を実施するフレームレート変換装置のブロック図である。
【図４−２】本発明の実施の形態４におけるフレーム間引きのイメージ図である。
【図５−１】本発明の実施の形態５におけるフレームレート変換方法を実施するフレームレート変換装置のブロック図である。
【図５−２】本発明の実施の形態５におけるフレーム間引きのイメージ図である。
【図６−１】本発明の実施の形態６におけるフレームレート変換方法を実施するフレームレート変換装置のブロック図である。
【図６−２】本発明の実施の形態６におけるフレーム間引きのイメージ図である。
【図７−１】本発明の実施の形態７におけるフレームレート変換方法を実施するフレームレート変換装置のブロック図である。
【図７−２】本発明の第７および実施の形態８におけるフレーム間引きのイメージ図である。
【図８】本発明の実施の形態８におけるフレームレート変換方法を実施するフレームレート変換装置のブロック図である。
【図９−１】本発明の実施の形態９におけるフレームレート変換方法を実施するフレームレート変換装置のブロック図である。
【図９−２】本発明の実施の形態９における中間画像生成図である。
【図９−３】本発明の第９および第１０実施の形態におけるフレーム間引きのイメージ図である。
【図１０−１】本発明の実施の形態１０におけるフレームレート変換方法を実施するフレームレート変換装置のブロック図である。
【図１０−２】本発明の実施の形態１０における中間画像生成図である。
【図１１−１】先行技術のフレームレート変換方法を実施するフレームレート変換装置のブロック図である。
【図１１−２】先行技術のフレームレート変換方法のフレーム間引きのイメージ図である。
【符号の説明】
【０１１０】
１０１、３０１、１１０１入力制御部
１０２、３０２、１１０２エンコーダコア部
１０３、３０３、１１０３レート制御部
１０４バッファ部
１０５、１１０４間引き部
１０６、３０５、１１０５出力制御部
１０７、３０６、１１０６オーディオ部
１０８、３０７、１１０７メモリ部
１０９、３０９時間情報調整部
１１０、３１０、１１０８多重化コア部
２０１時間情報変更指示部
３０８間引き判定部
４０１時間調整間隔指示部
５０１複数相関値処理部
５０２相関値用バッファ部
６０１重み付け係数バッファ部
７０１相関値ランク付け部
８０１ランク閾値設定部
９０１中間画像生成部
１００１中間画像用動きベクトル生成部

【特許請求の範囲】
【請求項１】
動画像データを入力する入力制御部と、
前記入力制御部から与えられる動画像データを符号化するエンコードコア部と、
前記エンコードコア部による符号化結果のビット量からフレームレートを制御する間引き指示信号を出力するレート制御部と、
前記エンコードコア部から出力される画像符号化データを保持しておくバッファ部と、
前記レート制御部からの間引き指示信号に基づいて前記バッファ部に保持してある画像符号化データを間引く間引き部と、
前記間引き部により間引いた画像符号化データおよび間引き情報を出力する出力制御部と、
オーディオの符号化を行うとともにオーディオ符号化データを出力するオーディオ部と、
画像符号化データおよびオーディオ符号化データを保持するメモリ部と、
前記出力制御部からの間引き情報を基に多重化時に付加する時間情報を調整する時間情報調整部と、
前記メモリ部から画像符号化データとオーディオ符号化データとを取得し、前記時間情報調整部からの調整後の時間情報を基に画像符号化データとオーディオ符号化データとの多重化を行い多重化データを前記メモリ部へ出力する多重化コア部とを備えたフレームレート変換装置におけるフレームレート変換方法であって、
符号化結果のビット量が規定値以上になりフレームを間引く時に、前記間引き部でフレームを間引いた分、前記時間情報調整部で多重化後のデータに付加する時間情報を間引いた間隔のｎ倍(ｎは１より大きい数)の間隔で均等化するフレームレート変換方法。
【請求項２】
前記レート制御部からの間引き指示信号を前記間引き部に取り込むと共に時間情報変更指示部に取り込み、間引き区間がある一定以上連続した場合、前記時間情報変更指示部から前記時間情報調整部は変更時間情報信号を受け取り、フレーム間の時間間隔を徐々に広げていくことで、本来の間隔に近づけるようにした請求項１記載のフレームレート変更方法。
【請求項３】
動画像データを入力する入力制御部と、
前記入力制御部から与えられる動画像データを符号化するエンコードコア部と、
前記エンコードコア部による符号化結果のビット量からフレームレートを制御する間引き指示信号を出力するレート制御部と、
画像間の相関値を保持し相関値に応じて間引き画像情報を出力する相関値処理部と、
前記エンコードコア部からの画像符号化データを出力する出力制御部と、
オーディオの符号化を行うとともにオーディオ符号化データを出力するオーディオ部と、
画像符号化データ、オーディオ符号化データおよび間引き画像情報を保持するメモリ部と、
前記レート制御部からの間引き指示信号と前記メモリ部に保持されている間引き画像情報とから間引く画像を判定する間引き情報を出力する間引き判定部と、
前記間引き判定部からの間引き情報を基に多重化時に付加する時間情報を調整する時間情報調整部と、
前記間引き判定部からの間引き情報を基に前記メモリ部から必要な画像符号化データとオーディオ符号化データとを取得し、前記時間情報調整部からの調整後の時間情報を基に画像符号化データとオーディオ符号化データとの多重化を行い多重化データを前記メモリ部へ出力する多重化コア部とを備えたフレームレート変換装置におけるフレームレート変換方法であって、
符号化結果のビット量が規定値以上になりフレームを間引く時に、本来間引く間隔のｎ倍(ｎ＞０)の間隔でフレーム間の相関値を基に相関値の高いフレームを間引き、多重化後のデータに付加する時間情報を均等化するフレームレート変換方法。
【請求項４】
前記時間情報調整部に時間調整を調整する間隔を指示する時間調整間隔指示部を持ち、フレームを間引く間隔と時間情報を調整する間隔とを別々に設定可能とした請求項３記載のフレームレート変換方法。
【請求項５】
動画像データを入力する入力制御部と、
前記入力制御部から与えられる動画像データを符号化するエンコードコア部と、
前記エンコードコア部による符号化結果のビット量からフレームレートを制御する間引き指示信号を出力するレート制御部と、
複数の画像間の相関値を保持し相関値に応じた間引き画像情報を出力する複数相関値処理部と、
前記複数相関値処理部からの相関値データを保持しておく相関値用バッファと、
前記エンコードコア部からの画像符号化データを出力する出力制御部と、
オーディオの符号化を行うとともにオーディオ符号化データを出力するオーディオ部と、
画像符号化データ、オーディオ符号化データおよび間引き画像情報を保持するメモリ部と、
前記レート制御部からの間引き指示信号と前記メモリ部に保持されている間引き画像情報とから間引く画像を判定する間引き情報を出力する間引き判定部と、
前記間引き判定部からの間引き情報を基に多重化時に付加する時間情報を調整する時間情報調整部と、
前記間引き判定部からの間引き情報を基に前記メモリ部から必要な画像符号化データとオーディオ符号化データとを取得し、前記時間情報調整部からの調整後の時間情報を基に前記画像符号化データと前記オーディオ符号化データとの多重化を行い多重化データを前記メモリ部へ出力する多重化コア部とを備えたフレームレート変換装置におけるフレームレート変換方法であって、
符号化結果のビット量が規定値以上になりフレームを間引く時に、本来間引く間隔のｎ倍の間隔でフレーム間の相関値を基に相関値の高いフレームを間引き、多重化後のデータに付加する時間情報を均等化するフレームレート変換方法。
【請求項６】
前記複数相関値処理部に重み付け係数を与える重み付け係数バッファを持ち、基準フレームからの距離によって相関値の重み付けを変える請求項５記載のフレームレート変換方法。
【請求項７】
動画像データを入力する入力制御部と、
前記入力制御部から与えられる動画像データを符号化するエンコードコア部と、
前記エンコードコア部による符号化結果のビット量からフレームレートを制御する間引き指示信号を出力するレート制御部と、
画像間の相関値からその画像の間引きのためのランク付けを行う相関値ランク付け部と、
前記エンコードコア部からの符号化データを出力する出力制御部と、
オーディオの符号化を行うとともにオーディオ符号化データを出力するオーディオ部と、
画像およびオーディオの符号化データおよび間引き画像ランク情報を保持するメモリ部と、
前記レート制御部からの間引き指示信号と前記メモリ部に保持されている間引き画像ランク情報から間引く画像を判定する間引き情報を出力する間引き判定部と、
前記間引き判定部からの間引き情報を基に多重化時に付加する時間情報を調整する時間情報調整部と、
前記間引き判定部からの間引き情報を基に前記メモリ部から必要な画像符号化データとオーディオ符号化データとを取得し、前記時間情報調整部からの調整後の時間情報を基に前記画像符号化データと前記オーディオ符号化データとの多重化を行い多重化データを前記メモリ部へ出力する多重化コア部とを備えたフレームレート変換装置におけるフレームレート変換方法であって、
符号化結果のビット量が規定値以上になりフレームを間引く時に、本来間引く間隔のｎ倍の間隔で画像間の相関値を基にランク付けされた情報を基に相関値の高いフレームを間引き、多重化後のデータに付加する時間情報を均等化するフレームレート変換方法。
【請求項８】
前記相関値ランク付け部にランクを判定するための閾値を与えるランク閾値設定部を持ち、ランク付けのための閾値を可変とする請求項７記載のフレームレート変換方法。
【請求項９】
動画像データを入力する入力制御部と、
前記入力制御部から与えられる入力動画像データから中間画像を生成する中間画像生成部と、
前記入力制御部からの入力画像と前記中間画像生成部からの中間画像データとを符号化するエンコードコア部と、
前記エンコードコア部による符号化結果のビット量からフレームレートを制御する間引き指示信号を出力するレート制御部と、
画像間の相関値を保持し相関値に応じた間引き画像情報を出力する相関値処理部と、
前記エンコードコア部からの符号化データおよび中間画像から生成された中間画像符号化データを出力する出力制御部と、
オーディオの符号化を行うとともにオーディオ符号化データを出力するオーディオ部と、
画像符号化データ、中間画像符号化データ、オーディオ符号化データおよび間引き画像情報を保持するメモリ部と、
前記レート制御部からの間引き指示信号と前記メモリ部に保持されている間引き画像情報から間引く画像を判定する間引き情報を出力する間引き判定部と、
前記間引き判定部からの間引き情報を基に多重化時に付加する時間情報を調整する時間情報調整部と、
前記間引き判定部からの間引き情報を基に前記メモリ部から必要な画像符号化データとオーディオ符号化データとを取得し、前記時間情報調整部からの調整後の時間情報を基に前記画像符号化データと前記オーディオ符号化データとの多重化を行い多重化データを前記メモリ部へ出力する多重化コア部とを備えたフレームレート変換装置におけるフレームレート変換方法であって、
符号化結果のビット量が規定値以上になりフレームを間引く時に、本来間引く間隔のｎ倍の間隔でフレーム間の相関値を基に相関値の高いフレームを間引き、多重化後のデータに付加する時間情報を均等化するフレームレート変換方法。
【請求項１０】
動画像データを入力する入力制御部と、
前記入力制御部から与えられる動画像データを符号化するとともに中間画像の動きベクトルから中間画像符号化データを生成するエンコードコア部と、
前記エンコードコア部で生成される中間データである複数の動きベクトルから中間画像の動きベクトルを生成して前記エンコードコア部へ与える中間画像用動きベクトル生成部と、
前記エンコードコア部による符号化結果のビット量からフレームレートを制御する間引き指示信号を出力するレート制御部と、
画像間の相関値を保持し相関値に応じた間引き画像情報を出力する相関値処理部と、
前記エンコードコア部からの符号化データおよび中間画像符号化データを出力する出力制御部と、
オーディオの符号化を行うとともにオーディオ符号化データを出力するオーディオ部と、
画像符号化データ、中間画像符号化データ、オーディオ符号化データおよび間引き画像情報を保持するメモリ部と、
前記レート制御部からの間引き指示信号と前記メモリ部に保持されている間引き画像情報から間引く画像を判定する間引き情報を出力する間引き判定部と、
前記間引き判定部からの間引き情報を基に多重化時に付加する時間情報を調整する時間情報調整部と、
前記間引き判定部からの間引き情報を基に前記メモリ部から必要な画像符号化データとオーディオ符号化データとを取得し、前記時間情報調整部からの調整後の時間情報を基に前記画像符号化データと前記オーディオ符号化データとの多重化を行い多重化データを前記メモリ部へ出力する多重化コア部とを備えたフレームレート変換装置におけるフレームレート変換方法であって、
符号化結果のビット量が規定値以上になりフレームを間引く時に、本来間引く間隔のｎ倍の間隔でフレーム間の相関値を基に相関値の高いフレームを間引き、多重化後のデータに付加する時間情報を均等化するフレームレート変換方法。

【図１−１】