画像処理装置及び画像処理方法
【課題】画像処理装置において、フレームメモリのデータ転送帯域幅が比較的限られていても、高度な画像を表現するイメージデータを生成することができない状況の発生を抑制する技術を提供する。
【解決手段】ビデオデータの各フレームデータを順次記憶するメモリと、前記各フレームデータの間に挿入される補間フレームデータを生成し、前記メモリに格納する補間手段と、前記各フレームデータ及び前記補間フレームデータを、前記ビデオデータのフレームレートよりも高いフレームレートで前記メモリから順次読み出す読み出し手段と、前記各フレームデータに合成されるイメージデータを生成し、前記メモリに格納する生成手段と、前記生成手段の出力に応じて、前記補間フレームデータの生成を停止するように前記補間手段を制御すると共に、前記補間フレームデータの代わりに前記各フレームデータを重複して読み出すように前記読み出し手段を制御する制御手段と、を備えることを特徴とする画像処理装置を提供する。
【解決手段】ビデオデータの各フレームデータを順次記憶するメモリと、前記各フレームデータの間に挿入される補間フレームデータを生成し、前記メモリに格納する補間手段と、前記各フレームデータ及び前記補間フレームデータを、前記ビデオデータのフレームレートよりも高いフレームレートで前記メモリから順次読み出す読み出し手段と、前記各フレームデータに合成されるイメージデータを生成し、前記メモリに格納する生成手段と、前記生成手段の出力に応じて、前記補間フレームデータの生成を停止するように前記補間手段を制御すると共に、前記補間フレームデータの代わりに前記各フレームデータを重複して読み出すように前記読み出し手段を制御する制御手段と、を備えることを特徴とする画像処理装置を提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオデータのフレームレートを高速化する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
現在、ビデオデータのフレームレートを高速化する技術が知られている（特許文献１参照）。特許文献１の技術によれば、フィールド補間により５０フレーム／秒の映像信号が１００フレーム／秒に変換される。
【０００３】
また、メニュー画面などの画像（コンピュータグラフィックス）を映像に合成して表示することも知られており、近年、ますます高度な画像（例えば、高精細なアニメーション画像など）が合成されるようになってきている。特許文献２には、コンピュータグラフィックス信号を発生する回路を備える表示装置が開示されている。
【特許文献１】特開平１０−１９１２６８号公報
【特許文献２】特開２０００−１８１４４０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
フィールド補間などにより補間フレームを生成する際には、大量のデータがフレームメモリから読み出され、また、フレームメモリに対して書き込まれる。
【０００５】
また、高度な画像を表現するイメージデータを生成する際にも、大量のデータがフレームメモリから読み出され、また、フレームメモリに対して書き込まれる。
【０００６】
従って、フレームレートの高速化と同時に高度な画像を映像に合成するためには、フレームメモリのデータ転送帯域幅を広くすることが求められる。しかしながら、フレームメモリのデータ転送帯域幅を広くすることはコストの上昇を招くため、望むままにデータ転送帯域幅を広くすることは困難である。
【０００７】
その結果、データ転送帯域幅がボトルネックとなり、高度な画像を表現するイメージデータを生成することができない場合が発生する。
【０００８】
本発明はこのような状況に鑑みてなされたものである。即ち、画像処理装置において、フレームメモリのデータ転送帯域幅が比較的限られていても、高度な画像を表現するイメージデータを生成することができない状況の発生を抑制する技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、第１の本発明によれば、ビデオデータの各フレームデータを順次記憶するメモリと、前記各フレームデータの間に挿入される補間フレームデータを生成し、前記メモリに格納する補間手段と、前記各フレームデータ及び前記補間フレームデータを、前記ビデオデータのフレームレートよりも高いフレームレートで前記メモリから順次読み出す読み出し手段と、前記各フレームデータに合成されるイメージデータを生成し、前記メモリに格納する生成手段と、前記生成手段の出力に応じて、前記補間フレームデータの生成を停止するように前記補間手段を制御すると共に、前記補間フレームデータの代わりに前記各フレームデータを重複して読み出すように前記読み出し手段を制御する制御手段と、を備えることを特徴とする画像処理装置が提供される。
【００１０】
また、第２の本発明によれば、ビデオデータの各フレームデータを順次記憶するメモリと、第１のフォーマットの前記各フレームデータを、前記第１のフォーマットよりもデータ量が減少する第２のフォーマットに変換する第１の変換手段と、前記各フレームデータの間に挿入される補間フレームデータを、前記第１のフォーマット、又は前記第２のフォーマットで生成し、前記メモリに格納する補間手段と、前記第２のフォーマットの前記各フレームデータ及び前記補間フレームデータを、前記第１のフォーマットに変換する第２の変換手段と、前記各フレームデータ及び前記補間フレームデータを、前記ビデオデータのフレームレートよりも高いフレームレートで前記メモリから順次読み出す読み出し手段と、前記各フレームデータに合成されるイメージデータを生成し、前記メモリに格納する生成手段と、前記生成手段の出力の応じて、前記各フレームデータを前記第１の変換手段により前記第２のフォーマットに変換してから記憶するように前記記憶手段を制御し、前記第２のフォーマットの補間フレームデータを生成するように前記補間手段を制御し、更に、前記読み出し手段による読み出しの前に前記第２のフォーマットの前記各フレームデータ及び前記補間フレームデータを前記第１のフォーマットに変換するように前記第２の変換手段を制御する制御手段と、を備えることを特徴とする画像処理装置が提供される。
【００１１】
また、第３の本発明によれば、ビデオデータの各フレームデータを順次メモリに記憶する記憶工程と、前記各フレームデータの間に挿入される補間フレームデータを生成し、前記メモリに生成する補間工程と、前記各フレームデータ及び前記補間フレームデータを、前記ビデオデータのフレームレートよりも高いフレームレートで前記メモリから順次読み出す読み出し工程と、前記各フレームデータに合成されるイメージデータを生成して前記メモリに格納する生成工程と、前記生成工程での出力に応じて、前記補間フレームデータの生成を停止するように前記補間工程を制御すると共に、前記補間フレームデータの代わりに前記各フレームデータを重複して読み出すように前記読み出し工程を制御する制御工程と、を備えることを特徴とする画像処理方法が提供される。
【００１２】
なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための最良の形態における記載によって更に明らかになるものである。
【発明の効果】
【００１３】
以上の構成により、本発明によれば、画像処理装置において、フレームメモリのデータ転送帯域幅が比較的限られていても、高度な画像を表現するイメージデータを生成することができない状況の発生を抑制することが可能となる。
【発明を実施するための最良の形態】
【００１４】
以下、添付図面を参照して、本発明の実施形態を説明する。以下で説明される個別の実施形態は、本発明の上位概念から下位概念までの種々の概念を理解するために役立つであろう。
【００１５】
なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。
【００１６】
また、以下の各実施形態において、「ビデオデータ」は、本発明に係る画像処理装置が受信するデータを示し、「イメージデータ」は、この画像処理装置が生成してビデオデータに合成するデータ（即ち、メニュー画面などを表現するデータ）を示す。
【００１７】
［第１の実施形態］
＜画像処理装置１０の構成＞
図１は、本発明の技術を適用した、第１の実施形態に係る画像処理装置１０の構成を示す図である。
【００１８】
画像処理装置１０は、生成手段の一例である描画プロセッサ１００と、補間手段の一例である補間フレーム生成回路１２２とを備える。描画プロセッサ１００は、ビデオデータ（の各フレームデータ）に合成されるイメージデータを描画（生成）する。補間フレーム生成回路１２２は、各フレームデータの間に挿入される補間フレームデータを生成する。補間フレームデータは、フレームレートを変換（特に、高速化）するために使用される。補間フレームデータを生成するためには、例えば特許文献１に示されるような任意の知られている技術を利用可能である。
【００１９】
１０１はＤＲＡＭであり、ビデオデータのためのフレームメモリや描画プロセッサ１００のワークエリアとして使用されるメモリである。
【００２０】
１０２はメモリコントローラであり、１０３は画像処理装置１０におけるデータの転送経路であるバスである。描画プロセッサ１００は、イメージデータを描画してＤＲＡＭ１０１に格納するプロセッサである。
【００２１】
１０４、１０５、１０６、１０７、１０８、１０９、１１０、及び１１１はダイレクトメモリアクセスコントローラ（ＤＭＡＣ）であり、ＤＲＡＭ１０１と各信号処理回路（例えば、合成回路１２１）との間のデータ転送を制御する。
【００２２】
描画プロセッサ１００は、ＤＲＡＭ１０１などにロードされた描画プログラムを実行することにより、イメージデータの描画処理を行う。描画プロセッサ１００は、描画プログラムをバス１０３とメモリコントローラ１０２とを経由して読み出し、実行する。
【００２３】
描画プロセッサ１００は、生成したイメージデータをＤＲＡＭ１０１に書き込む。描画プロセッサ１００がイメージデータをＤＲＡＭ１０１に書き込む際に、イメージデータは、バス１０３とメモリコントローラ１０２を経由してＤＲＡＭ１０１へ転送される。
【００２４】
なお、描画プロセッサ１００は、例えばユーザの指示などに応答して、メニュー画面や番組表などを表現するイメージデータの描画を行う。
【００２５】
１２５は入力端子であり、ビデオデータ（映像信号）が入力される。１２６は出力端子であり、ディスプレイなどの表示装置に接続され、ディスプレイに対してビデオデータを出力する。
【００２６】
１２０はＩＰ変換／スケーリング回路であり、インタレースフォーマットのビデオデータをプログレッシブフォーマットに変更し、更に補間や間引き処理を行うことによりビデオデータが表現する映像のサイズを変更する、画像処理を行う。
【００２７】
ＩＰ変換／スケーリング回路１２０は、画像処理を行う際にビデオデータをフレーム単位又はフィールド単位でＤＲＡＭ１０１に書き込み、読み出すことを必要とする。従って、ＩＰ変換／スケーリング回路１２０は、画像処理を行う際に、ＤＭＡＣ１０４、バス１０３、及びメモリコントローラ１０２を用いて、ビデオデータをＤＲＡＭ１０１に転送する。更に、ＤＭＡＣ１０５、バス１０３、及びメモリコントローラ１０２を用いて、ＤＲＡＭ１０１に記憶されているビデオデータを読み出す。
【００２８】
１２１は合成回路であり、ＩＰ変換／スケーリング回路１２０が処理したビデオデータと、描画プロセッサ１００が生成したイメージデータとを合成する。合成回路１２１は、描画プロセッサ１００が生成したイメージデータを、ＤＭＡＣ１０６を用いて読み出すことができる。合成回路１２１は、イメージデータをビデオデータに重ね合わせた状態に加工したり、或いは、イメージデータに所定の透明度を持たせてビデオデータに合成したりする。合成回路１２１は、イメージデータが合成されたビデオデータを、ＤＭＡＣ１０７、バス１０３、及びメモリコントローラ１０２を用いてＤＲＡＭ１０１に記録する。
【００２９】
補間フレーム生成回路１２２は、ＤＭＡＣ１０８及びＤＭＡＣ１０９を介してＤＲＡＭ１０１から時間的に連続する２つのフレームデータを取得し、フレーム補間処理により、２つのフレームの間に挿入される補間フレームデータを生成する。補間フレーム生成回路１２２は、生成した補間フレームデータを、ＤＭＡＣ１１０を介してＤＲＡＭ１０１に記録する。
【００３０】
１２４は読み出し手段の一例である出力回路であり、ＤＭＡＣ１１１を介してＤＲＡＭ１０１からフレームデータ及び補間フレームデータを順次読み出し、補正回路１２７へ出力する。入力端子１２５から入力されるビデオデータのフレームレートよりも高いフレームレートで出力回路１２４がフレームデータ及び補間フレームデータを読み出すことにより、フレームレートの高速化が実現される。本実施形態では、出力回路１２４は、１２０フレーム／秒又は６０フレーム／秒のフレームレートでフレームデータ及び補間フレームデータを出力することが可能であるものとする。
【００３１】
補正回路１２７は、輝度色差信号で表現されるフレームデータ及び補間フレームデータをＲＧＢ信号に変換し、更に、各画素の色を補正する。
【００３２】
コントローラ１２３は、描画プロセッサ１００の指示に従って補間フレーム生成回路１２２及び出力回路１２４を制御する回路である。コントローラ１２３は、補間フレーム生成回路１２２による補間フレームデータの生成を制御する。また、ＤＲＡＭ１０１のアドレスを指定することにより、出力回路１２４によるフレームデータ及び補間フレームデータの読み出しを制御する。
【００３３】
割り込みコントローラ１３０は、描画プロセッサ１００に対して割り込みの通知を行う。タイマ１３１は、時間を計測し、所定のタイミングで描画プロセッサ１００又は割り込みコントローラ１３０に対して、例えば所定の時間が経過したことなどを通知する。
【００３４】
以上説明した画像処理装置１０の各構成要素は、必ずしも図１に示すように配置されている必要は無い。例えば、合成回路１２１は、出力回路１２４と補正回路１２７の間に配置されていてもよい。この場合、合成回路１２１は、出力回路１２４から出力されたフレームデータ及び補間フレームデータにイメージデータを合成する。
【００３５】
また、入力端子１２５から入力されるビデオデータは、インタレースフォーマットではなく、プログレッシブフォーマットでも構わない。この場合、ＩＰ変換／スケーリング回路１２０は、ＩＰ変換を行う必要が無い。
【００３６】
また、ビデオデータの入力をＩＰ変換／スケーリング回路１２０が直接受け付けるのではなく、ＤＲＡＭ１０１に一度格納してからＩＰ変換／スケーリング回路１２０に入力するように画像処理装置１０を構成してもよい。
【００３７】
画像処理装置１０の構成がどのようなものであれ、例えばメモリコントローラ１０２及びバス１０３などが記憶手段を構成し、記憶手段は、入力端子１２５から受信中のビデオデータの各フレームデータを順次メモリ（ＤＲＡＭ１０１）に記憶する。
【００３８】
＜補間フレームデータ生成処理＞
前述の様に、補間フレーム生成回路１２２は、任意の知られている技術を利用して補間フレームデータを生成することができる。ここでは、図２を参照して、補間フレームデータ生成処理の一例を説明する。
【００３９】
図２において、白色のフレームは、画像処理装置１０に入力された６０ｆｐｓのビデオデータのフレーム（「オリジナルフレーム」と呼ぶ）を示す。図２において、網かけされたフレームは、補間フレーム生成回路１２２によって生成され、各オリジナルフレームの間に挿入される補間フレームを示す。
【００４０】
補間フレーム生成回路１２２は、時間的に連続する２つのオリジナルフレームのフレームデータに基づいて、補間フレームデータを生成する。補間フレーム生成回路１２２は、補間フレームデータを生成するために、例えば特許文献１の方式や、ブロックごとの動きベクトルを求め、求めた動きベクトルを用いてフレームを生成する方式などの、任意の公知の方式を利用可能である。
【００４１】
出力回路１２４は、オリジナルフレームのデータ、及び補間フレームのデータを、順次（時間順に）ＤＲＡＭ１０１から読み出す。その結果、フレームレートが２倍に高速化された、１２０ｆｐｓのビデオデータが得られる。
【００４２】
＜フレームダブリング処理＞
補間フレームデータが生成されない場合であっても、出力回路１２４は、図３を参照して説明するフレームダブリング処理により、ビデオデータのフレームレートを高速化することができる。
【００４３】
出力回路１２４は、補間フレームデータの代わりに、各オリジナルフレームのデータを繰り返し（重複して）読み出す。その結果、フレームレートが２倍に高速化された、１２０ｆｐｓのビデオデータが得られる。
【００４４】
なお、補間フレームデータの生成の有無に関わらず、出力回路１２４が各フレームデータを読み出す回数は、図２及び図３を参照して説明した回数に限られない。例えば、図２に示す場合において、出力回路１２４が各オリジナルフレームのデータと各補間フレームデータを２回ずつ読み出せば、フレームレートは４倍になる。重要なことは、出力回路１２４は、補間フレームデータの代わりにオリジナルフレームのデータを繰り返し読み出すことにより、補間フレームデータが生成されない場合であっても、フレームレートの高速化が実現されることである。
【００４５】
また、本実施形態を含む以下の各実施形態において、「フレーム間補間方式」とは、補間フレームデータ生成処理を利用したフレームレートの高速化方式を意味する。また、「フレームダブリング方式」とは、フレームダブリング処理を利用したフレームレートの高速化方式を意味する。更に、１つの映像中（表示画面中）に、２つの方式が混在しても構わない。
【００４６】
＜転送帯域の消費量＞
図４及び図５を参照して、出力回路１２４が補間フレームデータを生成する場合、及び生成しない場合におけるＤＲＡＭ１０１の転送帯域の消費量を説明する。
【００４７】
図４は、出力回路１２４が補間フレームデータを生成する場合におけるＤＲＡＭ１０１の転送帯域の消費量の概念図である。
【００４８】
出力回路１２４がオリジナルフレームのデータとそれに続く補間フレームデータを読み出す間に、補間フレーム生成回路１２２は、ＤＲＡＭ１０１から２つのオリジナルフレームのデータを読み出し、１つの補間フレームデータをＤＲＡＭ１０１に書き込む。
【００４９】
図５は、出力回路１２４が補間フレームデータを生成しない場合におけるＤＲＡＭ１０１の転送帯域の消費量の概念図である。
【００５０】
出力回路１２４が同一のオリジナルフレームのデータを２回読み出す間、補間フレーム生成回路１２２によるＤＲＡＭ１０１へのアクセスは発生しない（アクセスは不要である）。
【００５１】
このように、補間フレーム生成回路１２２が補間フレームデータを生成しない場合は、ＤＲＡＭ１０１の転送帯域の消費量が減少する。描画プロセッサ１００は、減少分の転送帯域を使用することができるので、より高度な画像を表現するイメージデータをＤＲＡＭ１０１内に生成することが可能となる。
【００５２】
＜補間フレーム生成回路１２２及び出力回路１２４の制御＞
前述の様に、描画プロセッサ１００は、イメージデータを生成する際に、ＤＲＡＭ１０１にアクセスする（即ち、ＤＲＡＭ１０１の転送帯域を消費する）。また、補間フレーム生成回路１２２も、補間フレームデータを生成する際に、ＤＲＡＭ１０１の転送帯域を消費する。
【００５３】
そこで、本実施形態の一態様においては、コントローラ１２３は、描画プロセッサ１００がイメージデータを生成する場合、合成対象のフレームデータに対応する補間フレームデータの生成を停止するように補間フレーム生成回路１２２を制御する。また、補間フレームの代わりに、オリジナルフレームのデータを繰り返し読み出すことでフレームレートの高速化を実現するように、出力回路１２４を制御する。
【００５４】
これにより、描画プロセッサ１００は、ＤＲＡＭ１０１に対してより多くの転送帯域を使用可能になるため、より高度な画像を表現するイメージデータを生成可能になる。換言すれば、転送帯域の不足が原因で高度な画像を表現するイメージデータを生成することができない状況が発生することが抑制される。
【００５５】
なお、コントローラ１２３は、補間フレームデータの生成を停止する代わりに、ＤＲＡＭ１０１に対するデータ転送量がより少ない他のアルゴリズムで補間フレームデータを生成するように補間フレーム生成回路１２２を制御してもよい。その結果、補間フレーム生成回路１２２によるＤＲＡＭ１０１の転送帯域の消費量は０にはならないが減少し、描画プロセッサ１００は、その分より多くの転送帯域を使用可能になる。この場合、補間フレームデータの生成を完全に停止する場合に比べて、フレームレートが高速化されたビデオデータの画質が向上するという利点がある。これは、後述する他の各実施形態においても同様である。
【００５６】
ところで、描画プロセッサ１００がイメージデータを生成する場合であっても、生成するイメージデータが単純なもの（例えば、小さな静止画像データ）である場合は、ＤＲＡＭ１０１の転送帯域をそれほど多く必要とするわけではない。
【００５７】
例えば、図６では、映像の右下に小さな操作メニューが表示されている。この操作メニューは、描画プロセッサ１００が生成するイメージデータによって表現される。この操作メニューはサイズが小さいため、イメージデータのデータ量も比較的小さく、描画プロセッサ１００はＤＲＡＭ１０１の転送帯域をそれほど多くは必要としない。
【００５８】
一方、図７では、映像の中央付近に大きな番組表が表示されている。この番組表を表現するイメージデータのデータサイズは比較的大きく、描画プロセッサ１００はＤＲＡＭ１０１の転送帯域を比較的多く必要とする。
【００５９】
そこで、本実施形態の他の態様では、描画プロセッサ１００がイメージデータの描画を行う場合であっても、イメージデータの画素数が予め定められた閾値以下の場合は、コントローラ１２３は、補間フレーム生成回路１２２に補間フレームデータを生成させる。以下、図８のフローチャートを参照して、詳細に説明する。描画プロセッサ１００がイメージデータの描画指示を受けると、図８のフローチャートの処理が開始する。
【００６０】
なお、図８に示すフローチャートの開始時において、コントローラ１２３は、補間フレームデータを生成するように補間フレーム生成回路１２２を制御する状態（以下、「補間実行モード」と呼ぶ）に設定されているものとする。
【００６１】
Ｓ１００１で、描画プロセッサ１００は、描画するイメージデータ（グラフィックデータ）の画素数を算出する。例えば矩形画像を描画する場合は、縦の辺のピクセル数と横の辺のピクセル数を掛ける事によりイメージデータの画素数を求めることが可能である。
【００６２】
Ｓ１００２で、描画プロセッサ１００は、Ｓ１００１で算出した画素数と予め設定され、ＤＲＡＭ１０１などに格納されている閾値とを比較する。画素数が閾値よりも大きい場合はＳ１００３に進み、そうでない場合はＳ１００３をスキップしてＳ１００４に進む。
【００６３】
Ｓ１００３で、描画プロセッサ１００は、コントローラ１２３の状態を、補間フレームデータを停止するように補間フレーム生成回路１２２を制御する状態（以下、「補間停止モード」と呼ぶ）に変更する。補間停止モードでは、コントローラ１２３は、各オリジナルフレームのデータをＤＲＡＭ１０１から繰り返し読み出すように出力回路１２４を制御する。制御方式の切り替えは、垂直同期信号に同期し、ブランキング期間にて実行される。
【００６４】
Ｓ１００１で算出された画素数が閾値以下の場合、Ｓ１００３がスキップされるので、コントローラ１２３の状態は補間実行モードのままである。
【００６５】
Ｓ１００４で、描画プロセッサ１００はイメージデータを描画し、合成回路１２１はイメージデータをビデオデータの各フレームデータに合成する。また、既に描画されているイメージデータが存在する場合、描画プロセッサ１００は、そのイメージデータを消去する。
【００６６】
イメージデータがアニメーション画像である場合、描画プロセッサ１００は、イメージデータの描画を所定の間隔毎に繰り返し行う。タイマ１３１は所定の周期で割り込みコントローラ１３０を経由して描画プロセッサ１００に割り込みの通知を行う。例えば周期が１／１５秒であれば、描画プロセッサ１００は、１５ｆｐｓのアニメーション画像を描画することが可能である。
【００６７】
Ｓ１００５で、描画プロセッサ１００は、タイマ１３１に基づく割り込みの通知を受けたか否かを判定し、通知を受けたらＳ１００６に進む。
【００６８】
Ｓ１００６で、描画プロセッサ１００は、描画処理を終了するか否かの判断を行う。終了しない場合（例えば、アニメーション画像の描画途中で引き続き描画すべき画像が存在する場合）、Ｓ１００４に戻り、同様の処理を繰り返す。描画処理を終了する場合、Ｓ１００７に進む。
【００６９】
Ｓ１００７で、描画プロセッサ１００は、コントローラ１２３の状態を補間実行モードに変更する。補間フレームデータの生成処理には最新のフレームデータとその前のフレームデータが必要なので、補間フレームデータの生成が再開するまでには垂直同期信号を２回待つ必要がある。コントローラ１２３は、垂直同期信号を参照しながら、補間フレーム生成回路１２２及び出力回路１２４の制御方式を変更する。
【００７０】
なお、Ｓ１００２において、閾値を０とすれば、前述の態様（イメージデータ描画時は必ず補間フレームデータの生成が停止する実施形態）になる。
【００７１】
本実施形態は、以下のケースに応用することも可能である。
【００７２】
ディスプレイにＪＰＥＧ静止画を表示する場合、システムとしてはＪＰＥＧ圧縮されたデータをデコードし、得られたデータを描画する。描画プロセッサ１００の能力が高いほどＪＰＥＧデコード処理と描画の時間は短縮することが可能となるため、描画プロセッサ１００には高い処理能力が望まれる。
【００７３】
一方で、表示するデータは静止画なので、補間フレームデータを生成しても、結局フレームダブリング処理と同等の画像が得られるだけである。このような場合は補間フレームデータの生成を停止し、描画プロセッサ１００が使用可能なＤＲＡＭ１０１の転送帯域を増加させることによりＪＰＥＧデコードと静止画を表示することに必要な時間を短縮することが可能となる。
【００７４】
以上説明したように、本実施形態によれば、描画プロセッサ１００がイメージデータを描画する場合は、コントローラ１２３は補間フレーム生成回路１２２による補間フレームデータの生成を停止させる。
【００７５】
これにより、描画プロセッサ１００が使用可能なＤＲＡＭ１０１の転送帯域が増加するので、転送帯域の不足が原因で高度な画像を表現するイメージデータを生成することができない状況が発生することが抑制される。
【００７６】
また、本実施形態の他の態様によれば、描画プロセッサ１００がイメージデータを描画する場合であって、且つイメージデータの画素数が閾値以上の場合に、コントローラ１２３は補間フレーム生成回路１２２による補間フレームデータの生成を停止させる。
【００７７】
これにより、描画プロセッサ１００がそれほど多くの転送帯域を必要としない場合は、補間フレームデータの生成停止に伴うビデオデータの画質低下を抑制される。
【００７８】
［第２の実施形態］
第１の実施形態に係る画像処理装置１０は、所定の条件が満たされると、補間フレームデータの生成を完全に停止した。
【００７９】
ところで、メニュー画面などの合成画像は、静止画像、或いはフレームレートが低いアニメーション画像であることが多い。この場合、オリジナルフレームにおける合成画像の領域に対応する補間フレームデータが生成されても、合成画像の画質はそれほど向上しない。なぜなら、多くの場合、補間フレームデータ生成の基となる２つのオリジナルフレームにおいて合成画像が変化しないからである。
【００８０】
そこで、第２の実施形態では、描画プロセッサ１００がイメージデータを生成する場合、オリジナルフレームのデータにおいてイメージデータが合成される領域についてのみ、補間フレームデータの生成を停止する。そして、その領域以外の領域については、補間フレームデータの生成を継続する。
【００８１】
これにより、補間フレーム生成回路１２２が消費するＤＲＡＭ１０１の転送帯域が減少し、その分描画プロセッサがより多くの転送帯域を使用できる。更に、イメージデータが合成される領域以外の領域については補間フレームデータが生成されるので、描画プロセッサ１００がイメージデータを生成する場合のビデオデータの画質が向上する。
【００８２】
図９は、第２の実施形態の概念図である。図９では、映像の左下にメニュー画面が表示されている。この場合、メニュー画面に対応する領域は、オリジナルフレームのデータを繰り返し読み出すことによりフレームレートが高速化される。それ以外の領域では、補間フレームデータが生成され、オリジナルフレームのデータと補間フレームデータを順次読み出すことによりフレームレートが高速化される。
【００８３】
図１０は、第２の実施形態に係る画像処理装置２０の構成を示す図である。図１０において、第１の実施形態に係る画像処理装置１０と同一の構成要素には同一の符号を付し、説明を省略する。
【００８４】
２００は補間領域制御回路であり、ＥＸＡｒｅａレジスタ２０１を含む。描画プロセッサ１００は、フレームデータにおいてイメージデータを合成する領域を算出し、その領域を示す情報をＥＸＡｒｅａレジスタ２０１に格納する。補間領域制御回路２００は、ＥＸＡｒｅａレジスタ２０１に格納された情報に基づき、補間フレームデータの生成を行う際の処理領域のポインタを補間フレーム生成回路１２２と、ＤＭＡＣ１０８、１０９、及び１１０とにセットする。更には、出力回路１２４が読み出すデータのポインタを出力回路１２４及びＤＭＡＣ１１１にセットする。
【００８５】
ＤＲＡＭ１０１には、ＤＭＡＣ１０７を介して書き込まれたオリジナルフレームのデータと、補間フレーム生成回路１２２が生成した補間フレームデータとが存在する。出力回路１２４は、補間領域制御回路２００の制御に従い、画像の領域に応じて読み出すデータを選択することが可能である。
【００８６】
図１１は、第２の実施形態における処理の流れを示すフローチャートである。描画プロセッサ１００がイメージデータの生成を開始すると、本フローチャートの処理が開始する。
【００８７】
なお、図１１に示すフローチャートの開始時において、補間領域制御回路２００は、フレームの全領域について補間フレームデータを生成するように補間フレーム生成回路１２２を制御する状態（以下、「全補間モード」と呼ぶ）に設定されているものとする。
【００８８】
Ｓ２００１で、描画プロセッサ１００は、描画するイメージデータが合成される領域（合成領域）の座標を算出する。
【００８９】
Ｓ２００２で、描画プロセッサ１００は、Ｓ２００１で算出した座標をＥＸＡｒｅａレジスタ２０１にセットする。
【００９０】
Ｓ２００３で、描画プロセッサ１００は、補間領域制御回路２００の状態を、合成領域以外の領域についてのみ補間フレームデータを生成するように補間フレーム生成回路１２２を制御する状態（以下、「部分補間モード」と呼ぶ）に変更する。部分補間モードでは、補間領域制御回路２００は、合成領域については各オリジナルフレームのデータをＤＲＡＭ１０１から繰り返し読み出すように出力回路１２４を制御する。
【００９１】
Ｓ２００４及びＳ２００５では、描画プロセッサ１００は、アニメーションが終了するまでイメージデータの描画を実行する。ここでの処理は、図８のＳ１００４乃至Ｓ１００６と同様なので、詳細な説明は省略する。
【００９２】
Ｓ２００６で、描画プロセッサ１００は、補間領域制御回路２００の状態を全補間モードに変更する。このとき、補間領域制御回路２００はまず補間フレーム生成回路１２２に指令を送ることによりまず全領域の補間フレームデータの生成を開始する。そして、補間フレームデータが生成された後で出力回路１２４に指令を送る。出力回路１２４はこの時点から全領域について補間フレームデータの読み出しを開始する。
【００９３】
図１２は、フレーム内において領域を指定するための座標の様子を示す図である。ディスプレイに表示されるフレーム（映像）は座標（０，０）、及び（Ａ，Ｂ）で示される領域である。
【００９４】
イメージデータを合成する領域（合成領域）は（Ｃ，Ｄ）、及び（Ｅ，Ｆ）で示される、矩形領域である。合成領域においては、フレームレート変換処理はフレームダブリング方式にて行われ、フレーム内のそれ以外の領域においては、フレームレート変換処理は補間フレーム生成方式にて行われる。
【００９５】
図１１のＳ２００２及びＳ２００３に示した処理により、描画プロセッサ１００はフレームレート変換方式としてフレームダブリング方式を取る領域をＥＸＡｒｅａレジスタに設定する。レジスタ設定値は、図１２の例でいえば、（Ｃ，Ｄ）及び（Ｅ，Ｆ）である。
【００９６】
ＤＭＡＣ１０８，１０９，１１０はＥＸＡｒｅａレジスタ２０１に設定された座標で囲まれた領域に関してはデータ転送を行わないで、残りの領域のみについてデータ転送を行う。
【００９７】
これにより、ＥＸＡｒｅａレジスタ２０１で囲まれる領域については補間フレームデータの生成処理は実行されず、この領域に関するメモリアクセスも発生しないことになる。
【００９８】
同時に、出力回路１２４もＥＸＡｒｅａレジスタを参照して、読み出す画像データを決定する。ＤＲＡＭ１０１にはＤＭＡＣ１０７にて書き込まれた画像データ（オリジナルフレームのデータ）が存在する。
【００９９】
また、ＤＲＡＭ１０１には補間フレーム生成回路１２２とＤＭＡＣ１１０により生成された補間フレームデータも記録される。ただし、このデータはＥＸＡｒｅａレジスタ２０１で指定された領域については存在しない。
【０１００】
ＤＭＡＣ１１１は、例えば１／１２０秒毎にオリジナルフレームのデータと補間フレームデータを交互に読み出す。ただし補間フレームデータに関しては、補間フレームデータ生成処理により作られたデータが存在する部分、すなわちＥＸＡｒｅａレジスタ２０１で指定された領域以外についてのみ補間フレームデータを読み出す。それ以外の領域、すなわちＥＸＡｒｅａレジスタ２０１で指定された領域はオリジナルフレームのデータを読み出す（図１３参照）。
【０１０１】
出力回路１２４は、オリジナルフレームのデータと補間フレームデータを交互に出力することにより、例えば、６０ｆｐｓのビデオデータを１２０ｆｐｓに倍速化して出力する。しかし、上述の処理により、補間フレームデータを出力する際はＥＸＡｒｅａレジスタ２０１にセットされた座標で囲まれる領域については上記のオリジナルフレームのデータを読み出して出力し、その他の領域については補間フレームデータを出力する。
【０１０２】
上記動作における、メモリ帯域の状態と描画プロセッサ１００の動作を説明する。
【０１０３】
図１４において、２５０で示した部分は補間フレーム生成方式にてフレームレート変換を行っている。２５１で示した部分は補間フレームの生成を行わず、これが必要とするメモリアクセスも行わない。従って描画プロセッサ１００がＤＲＡＭ１０１に対してより多くの転送帯域を使用できる期間である。
【０１０４】
画面上のＡで示す位置におけるメモリアクセスの様子をＡＡで示し、画面上のＢで示す位置におけるメモリアクセスの様子をＢＢで示す。ＨＳは水平同期信号で、ＭＥＭがメモリアクセスの様子である。
【０１０５】
ＡＡ，ＢＢにおいて、ｂは補間フレーム生成処理にてメモリアクセスが行われる期間を示し、ａはそれが行われない期間、すなわち描画プロセッサがメモリにアクセスすることが可能な期間である。
【０１０６】
領域２５１にてメモリアクセスを行わないため、Ｂで示すラインにおいては、ａすなわちメモリアクセスが行われない期間が増大する。これにより描画プロセッサ１００がメモリアクセスを行う能力が向上し、描画プロセッサ１００のパフォーマンスが向上する。２５１で示す領域が広ければ広いほど、描画プロセッサ１００がより多くの転送帯域を使用できる時間は増大する。
【０１０７】
本実施形態は、以下のケースに応用することも可能である。
【０１０８】
テレビには１つのディスプレイに対して２つの画面を表示する機能が備えられている場合がある。この場合、図１５に示すように、映像が表示される領域とその他の領域が発生する。その他の領域については動画像が表示されるわけではないので補間フレームデータの生成を行う必要は無い。従ってこの部分については補間フレーム生成処理を停止することが可能となる。
【０１０９】
これによって補間フレーム生成回路１２２が消費する転送帯域が減少し、その分、描画プロセッサ１００がより多くの転送帯域を使用できる。その結果、高精細なアニメーション画像など、より高度な画像を描画することが可能となる。
【０１１０】
同様に、データ放送受信時、データ放送を表示する部分に関してはフレームレート変換処理をフレームダブリング方式で行うこともできる。
【０１１１】
以上説明したように、本実施形態によれば、描画プロセッサ１００がイメージデータを生成する場合であっても、イメージデータが合成される領域以外の領域については、補間フレームデータが生成される。
【０１１２】
これにより、描画プロセッサ１００がイメージデータを生成する場合のビデオデータの画質が向上する。
【０１１３】
［第３の実施形態］
第３の実施形態では、各イメージデータがブレンド係数αを持つ。ブレンド係数αは、イメージデータを映像に合成するときの透明度を示すパラメータで、αが小さいほどイメージデータの透明度が高い。本実施形態では、αが閾値以上の場合、即ち、透明度が予め定められた度合い以上でイメージデータが合成される場合、合成領域の補間フレームデータが生成される。反対に、αが閾値未満の場合、補間フレームデータは生成されず、合成領域についてはフレームダブリング方式でフレームレートが高速化される。或いは、αが大きい（透明度が低い）イメージデータから優先して、合成領域のフレームレート変換方式をフレームダブリング方式とする。
【０１１４】
イメージデータ画像の合成を行う際、画像のブレンド係数αが小さい場合はイメージデータの後ろに映像が見えることになる。この状態で描画領域のフレームレート変換方式を補間フレーム生成方式からフレームダブリング方式に変更したとき、描画領域に関してフレームレート変換方式の差による画質の差が見えてしまう場合がある。
【０１１５】
一方で描画のパフォーマンスを向上したいので、可能な限り、描画対象領域（合成領域）についてはフレームレート変換方式としてフレームダブリング方式を採用したい。
【０１１６】
透過度が高いイメージデータは重ね合わされる映像が視聴者に見えやすい。従ってイメージデータの透過度が高いほど、フレームレート変換として高品質な処理を行うべきである。本実施形態は、このような認識に基づくものである。
【０１１７】
図１６は、第３の実施形態に係る画像処理装置３０の構成を示す図である。図１６において、画像処理装置１０と同一の構成要素には同一の符号を付し、説明を省略する。
【０１１８】
出力回路３１３は、ＤＭＡＣ３０８を制御することにより、ＤＲＡＭ１０１上に存在するビデオデータを読み出し、これをブレンド回路３１５に対して出力する。出力回路３１３は、オリジナルフレームと補間フレームを交互に倍速で読み出すことにより、１２０ｆｐｓのビデオデータを出力する。ただし、補間フレームが生成されない領域については、オリジナルフレームを繰り返し読み出す。
【０１１９】
出力回路３１４は、描画プロセッサ１００によりＤＲＡＭ１０１内に描画されたイメージデータを、ＤＭＡＣ３０７を制御することにより読み出し、これをブレンド回路３１５に出力する。このときのデータレートは１２０ｆｐｓであり、出力回路３１４は出力回路３１３に同期して動作する。
【０１２０】
ブレンド回路３１５は、コントローラ３１２の制御に基づき、出力回路３１４から入力されるビデオデータと出力回路３１３から入力されるイメージデータをブレンド係数αの値に従ってブレンド処理する。ブレンド時のビデオデータの比率はαに比例する。例えばα＝０の時は映像出力１００％、イメージデータ０％で合成が行われ、α＝０．３の時は映像出力７０％、イメージデータ３０％で合成が行われる。
【０１２１】
αの値と合成領域を示す信号はコントローラ３１２から出力される。ブレンド回路３１５はこれを用いて合成領域ごとに変化するαの値に対応しながらブレンド処理を行う。
【０１２２】
コントローラ３１２は、補間フレーム生成回路１２２、出力回路３１３、出力回路３１４、及びブレンド回路３１５を制御する。コントローラ３１２は、領域指定用のレジスタであるＥＸＡｒｅａレジスタＡ、ＥＸＡｒｅａレジスタＢ、ＥＸＡｒｅａレジスタＣを備える。また、それぞれの領域に対応するブレンド係数αを記憶する、Ａ領域αレジスタ、Ｂ領域αレジスタ、及びＣ領域αレジスタを備える。また、背景αレジスタも備える。更にコントローラ３１２は、補間フレーム生成回路１２２の制御に使用するαの閾値を記憶するレジスタである、α閾値レジスタを備える。更にコントローラ３１２は、比較回路を持ち、これにより各イメージデータのα値と閾値とを比較する。
【０１２３】
図１７は、第３の実施形態に係るビデオデータの表示例を示す図である。合成されるイメージデータは、それぞれ透明度が異なる。透明度が低い（αが大きい）場合、合成領域の補間フレームデータを生成しても、オリジナルフレームの画像の視認性は低いので、画質の向上にそれほど寄与しない。そこで、補間フレームデータの生成は停止される。
【０１２４】
図１８は、第３の実施形態における処理の流れを示すフローチャートである。描画プロセッサ１００がイメージデータの描画指示を受けると、本フローチャートの処理が開始する。
【０１２５】
なお、図１８に示すフローチャートの開始時において、コントローラ３１２は、全補間モードに設定されているものとする。
【０１２６】
Ｓ３００１で、描画プロセッサ１００は、αの閾値をコントローラ３１２が備えるα閾値レジスタにセットする。この値はこの後セットされる各領域のαを判定する際に用いられる基準の値である。
【０１２７】
Ｓ３００２で、描画プロセッサ１００は、背景のα値を背景αレジスタにセットする。この値は描画領域として取り扱う矩形領域で指定される領域以外において、映像とイメージデータをブレンドするときの係数である。
【０１２８】
Ｓ３００３で、描画プロセッサ１００は、コントローラ３１２を自動選択モードに変更する。自動選択モードでは、前述の様に、補間フレーム生成回路１２２は、イメージデータの透明度が予め定められた度合い未満の領域については、補間フレームデータの生成を停止する。そして、出力回路３１３は、補間フレームデータが生成されなかった領域については、補間フレームデータの代わりにオリジナルフレームのデータを繰り返し読み出す。
【０１２９】
Ｓ３００４で、描画プロセッサ１００は、矩形領域Ａの座標をＥＸＡｒｅａレジスタＡにセットする。
【０１３０】
Ｓ３００５で、描画プロセッサ１００は、矩形領域Ａに描画するイメージデータに適用するブレンド係数αをＡ領域αレジスタにセットする。
【０１３１】
この時点で、コントローラ３１２は、Ａ領域αレジスタにセットされたα値をα閾値レジスタにセットされた値と比較する。Ａ領域レジスタのα値が閾値より大きい場合（透明度が予め定められた度合い未満の場合）、領域Ａに関してはフレームレート変換方式をフレームダブリング方式に変更する。
【０１３２】
Ｓ３００６で、描画プロセッサ１００は、矩形領域Ａのイメージデータを描画（生成）する。
【０１３３】
Ｓ３００７乃至Ｓ３０１２では、矩形領域Ｂ、及び矩形領域Ｃに対しても同様の処理が行われる。
【０１３４】
イメージデータの描画が終了すると、Ｓ３０１３からＳ３０１４に進み、描画プロセッサ１００は、コントローラ３１２を全補間モードに変更する。
【０１３５】
背景の処理について説明する。ここで背景とは、Ａ領域、Ｂ領域、Ｃ領域で指定される領域以外の領域を示す。コントローラ３１２は背景αの値を判定する。背景αレジスタにセットされたα値をα閾値レジスタにセットされた値と比較する。α値が基準値以上である場合は背景に関してはフレームレート変換方式をフレームダブリング方式に変更する。すなわち補間フレーム生成回路に対して背景に対しては補間フレーム生成を停止するよう制御を行い、出力回路３１３に対しても背景に関する出力画像はオリジナルフレームを二度ずつ繰り返し出力するよう制御を行う。
【０１３６】
以上説明したように、本実施形態によれば、イメージデータが合成される領域であっても、透明度が予め定められた度合い以上の場合は、合成領域についても補間フレームデータの生成が実行される。
【０１３７】
これにより、描画プロセッサ１００がイメージデータを生成する場合のビデオデータの画質が向上する。
【０１３８】
［第４の実施形態］
図１９は、第４の実施形態に係る画像処理装置４０の構成を示す図である。画像処理装置４０は、画像処理装置３０にフォーマット変換回路４０１乃至４０３が追加された構成である。
【０１３９】
フォーマット変換回路４０１及び４０２は、２つの動作モードを持つ。モードの１つは、入力されたビデオデータをそのまま出力するスルーモードである。モードのもう１つは、入力される信号のデータ量を減少させる、データ量縮小モードである。
【０１４０】
データ量縮小モードは、ＹＣｂＣｒ各色１６ｂｉｔ、４：４：４で表現されたビデオデータを、ＹＣｂＣｒ各色８ｂｉｔ、４：２：２のフォーマットに変換する。従って１ピクセルのデータ量は４８ビットから１６ビットに減少することが可能となる。
【０１４１】
フォーマット変換回路４０３は逆にフォーマット変換回路４０１及び４０２により変換されたデータフォーマットを元のデータフォーマットに復元する回路である。
【０１４２】
フォーマット変換回路４０３も同様に２つの動作モードを持つ。１つのモードは入力をそのまま出力に伝達するスルーモード、もう１つのモードはＹＣｂＣｒ各色８ビットの４：２：２フォーマットで表現されたビデオデータから、ＹＣｂＣｒ各色１６ビットの４：４：４フォーマットに復元する、復元モードである。
【０１４３】
描画プロセッサ１００がイメージデータの描画を行わない場合は、フォーマット変換回路４０１、４０２、及び４０３の動作モードはスルーモードである。
【０１４４】
一方、描画プロセッサ１００がイメージデータの描画を行う場合、コントローラ３１２に対してフレームレート変換モードの変更を指示する。これに応じてコントローラ３１２はフォーマット変換回路４０１，４０２、及び４０３に対して、モードをスルーモードから変換モードあるいは復元モードに変更するよう指令する。
【０１４５】
これにより、ＩＰ変換／スケーリング回路１２０がＤＲＡＭ１０１に書き込むデータのフォーマットが変換され、これに関するＤＲＡＭ１０１のメモリ帯域は１／３に減少する。同様に補間フレームデータ生成処理のためのメモリアクセスに関しても、メモリ帯域は１／３に減少する。フォーマット変換回路４０３は、ＤＭＡＣ３０７が出力回路３１４に転送するデータをもとのフォーマットに復元して出力する。
【０１４６】
描画が終了した場合、描画プロセッサ１００はフォーマット変換回路４０１、４０２、及び４０３の動作モードをスルーモードに戻す。
【０１４７】
この処理により、画像処理装置４０は、補間フレームデータ生成処理のために消費される転送帯域を削減し、その分を描画プロセッサ１００に割り当てることが可能となる。これにより、描画プロセッサ１００はより高度なイメージデータを描画できるようになる。
【０１４８】
本実施形態は、第１の実施形態で説明した、「ＤＲＡＭ１０１に対するデータ転送量がより少ない他のアルゴリズム」として活用すると効果的である。
【０１４９】
［第５の実施形態］
第５の実施形態では、描画プロセッサ１００がイメージデータを生成する場合であっても、描画プロセッサ１００がＤＲＡＭ１０１に対して送受信するデータ量が予め定められた閾値以下の場合、補間フレームデータが生成される。
【０１５０】
図２０は、第５の実施形態に係る画像処理装置５０の構成を示す図である。
【０１５１】
５００はコントローラであり、描画領域（合成領域）としてＡ領域、Ｂ領域、Ｃ領域の座標を指定する、ＥＸＡｒｅａレジスタＡ、ＥＸＡｒｅａレジスタＢ、ＥＸＡｒｅａレジスタＣとを備える。また、対応する描画領域に関して、描画に関してフレームメモリに対するデータ転送の必要量を数値化して設定する、Ａ領域Ｑレジスタ、Ｂ領域Ｑレジスタ、Ｃ領域Ｑレジスタとを備える。また、Ｑレジスタの値を比較する閾値を設定する、Ｑ閾値レジスタと、各領域のＱレジスタに設定された値をＱ閾値レジスタの値を比較する比較回路を備える。
【０１５２】
コントローラ５００はそれぞれの領域に関して、フレームレート変換方式の自動変更を行うか否かを決定するレジスタを備える。これらは、Ａ領域に関してはＥＮ（イネーブル）＿Ａレジスタ、Ｂ領域に関してはＥＮ＿Ｂレジスタ、Ｃ領域に関してはＥＮ＿Ｃレジスタとする。
【０１５３】
他の構成要素は第３の実施形態と同じなので説明を省略する。
【０１５４】
描画するイメージデータのデータの特性によって、描画に関してフレームメモリに対するデータ転送の必要量は異なる。例えばアニメーションであれば、フレームレートが高いほうが多くのメモリアクセスを必要とするので、必要とされるデータ転送能力は高くなる。
【０１５５】
また、描画プロセッサがデータをメモリに記憶する際に、データを圧縮するような場合、圧縮率が低いデータのほうがメモリに転送するデータの量が大きくなるので、必要とされるデータ転送能力は高くなる。この場合、例えばグラデーション画像を描画するケースとベタ塗りつぶし画像を描画するケースで比較すると、グラデーションを描画するケースのほうが必要とされるデータ転送能力は高くなる。
【０１５６】
また、バースト転送を前提に設計されたシステムにおいて、バースト長が短いデータアクセスを多数行う場合、データ転送間のオーバーヘッドが多く発生するため、データ転送効率が低下する。このような場合もフレームメモリに対するデータ転送の必要数は高く設定する必要が生ずる。
【０１５７】
画像処理装置５０は、予め描画オブジェクト毎にフレームメモリに対するデータ転送の必要量を求め、これを数値化する。そしてこれをプログラムに書き込む形で記憶してある。
【０１５８】
図２１、図２２を用いて描画処理の動作を説明する。
【０１５９】
本実施例はオペレーティングシステムを用いてマルチタスクを実現したシステムである。よってそれぞれのタスクについて説明を行う。
【０１６０】
図２１は初期化処理の流れを示すフローチャートである。
【０１６１】
描画プロセッサ１００は、Ｓ５００１でＥＮ＿Ａレジスタに、Ｓ５００２でＥＮ＿Ｂレジスタに、Ｓ５００３でＥＮ＿Ｃレジスタに、フレーム間補間方式を示すパラメータをセットする。これにより、画像処理装置５０は、この時点ではフレームレート変換をフレーム間補間方式で行う。
【０１６２】
次に描画プロセッサ１００はＳ５００４でＱ閾値をＱ閾値レジスタにセットする。Ｑ閾値の値は、事前に本処理のプログラムに設定されたパラメータである。
【０１６３】
図２２は、描画プロセッサ１００がイメージデータを描画する場合の処理の流れを示すフローチャートである。
【０１６４】
描画処理は領域Ａ、Ｂ、Ｃのいずれかが代入されるｎと描画領域を示す座標とその領域に関するＱ値を引数とする処理で、リエントラントに呼び出すことが可能であり、それぞれの領域に対する描画処理を、マルチタスクにより同時進行させる。
【０１６５】
描画処理が呼び出されると、本フローチャートの処理が開始する。
【０１６６】
Ｓ５１０１で、描画プロセッサ１００は、矩形領域ｎ（ｎは引数で与えられた値でＡ、Ｂ、Ｃのいずれか）とｎに対応する領域の座標をＥＸＡｒｅａレジスタｎ（ｎは引数で与えられた値でＡ、Ｂ、Ｃのいずれか）にセットする。
【０１６７】
Ｓ５１０２で、描画プロセッサ１００は、その領域に関するデータ転送の必要量を数値化した値をｎ領域Ｑレジスタ（ｎは引数で与えられた値でＡ、Ｂ、Ｃのいずれか）にセットする。
【０１６８】
Ｓ５１０３で、描画プロセッサ１００は、ＥＮ＿ｎレジスタ（ｎは引数で与えられた値でＡ、Ｂ、Ｃのいずれか）に対して、フレームレート変換方式として自動変更を示すパラメータをセットする。
【０１６９】
この時点で、コントローラ５００はそれぞれの領域について、設定されたＱ値をＱ閾値と比較する。Ｑ閾値と比較して高いＱ値を持つ領域を認識し、この領域に関しては補間フレーム生成回路と出力回路３１４を制御することにより、フレームレート変換方式をフレームダブリング方式に変更する。
【０１７０】
Ｓ５１０４で、描画プロセッサ１００は、領域ｎ（ｎは引数で与えられた値でＡ、Ｂ、Ｃのいずれか）に関する描画処理を開始する。アニメーション画像である場合はＳ５１０５にて描画処理を終了するか否かを判定し、まだアニメーションの描画を続ける場合はＳ５０１４に戻り、描画を終了する場合はＳ５１０６に進む。
【０１７１】
Ｓ５１０６で、描画プロセッサ１００は、ＥＮ＿ｎレジスタ（ｎは引数で与えられた値でＡ、Ｂ、Ｃのいずれか）に対して、フレームレート変換方式とフレーム間補間方式を示すパラメータをセットする。
【０１７２】
以上説明したように、本実施形態によれば、描画プロセッサ１００がイメージデータを生成する場合であっても、描画プロセッサ１００がＤＲＡＭ１０１に対して送受信するデータ量が予め定められた閾値以下の場合、補間フレームデータが生成される。
【０１７３】
これにより、描画プロセッサ１００がＤＲＡＭ１０１に対してそれほど多くの転送帯域を必要としない場合、ビデオデータの画質が向上する。
【０１７４】
［第６の実施形態］
第６の実施形態では、描画プロセッサ１００がイメージデータを描画する際に、画像処理装置ではなく、表示装置のコントローラがダブリング方式によるフレームレートの高速化を行うことにより、描画プロセッサ１００が使用可能な転送帯域を増加させる。
【０１７５】
図２３は、第６の実施形態に係る画像処理装置６０、及び表示装置コントローラ６５の構成を示す図である。図６において、画像処理装置１０と同一の構成要素には同一の符号を付し、説明を省略する。
【０１７６】
６００は集積回路であり、表示装置（ディスプレイパネル）を制御すると共にビデオデータの補正処理を行う。６０１はＤＲＡＭ、６０２はメモリコントローラ、６０３はバス、６０４及び６０５はダイレクトメモリアクセスコントローラ（ＤＭＡＣ）である。
【０１７７】
６２３はコントローラであり、集積回路６００に制御信号を出力する。６２４は出力回路であり、ＤＲＡＭ１０１から１２０ｆｐｓあるいは６０ｆｐｓでビデオデータを読み出して出力する。
【０１７８】
６１０は出力ポートであり、ディスプレイパネルの駆動回路に接続される。
【０１７９】
描画プロセッサ１００がイメージデータの描画を行わない場合、ＤＭＡＣ１０７はビデオデータをオリジナルフレームのデータとしてＤＲＡＭ１０１に書き込み転送する。補間フレーム生成回路１２２はＤＲＡＭ１０１からオリジナルフレームのデータを読み出し、これから補間フレームデータを生成してＤＲＡＭ１０１に書き込み転送する。出力回路６２４はＤＲＡＭ１０１からオリジナルフレームのデータと補間フレームデータを順次読み出し、１２０ｆｐｓのフレームレートで補正回路１２７に出力する。補正回路１２７の出力は集積回路６００に入力される。
【０１８０】
ＤＭＡＣ６０４は受け取ったビデオデータをバス６０３を経由してメモリコントローラ６０２に転送し、メモリコントローラ６０２はビデオデータをＤＲＡＭ６０１に記録する。ＤＭＡＣ６０５はメモリコントローラ６０２とバス６０３を経由してＤＲＡＭ６０１から１２０ｆｐｓのフレームレートで読み出し、出力回路６０６に出力する。出力回路６０６が出力するビデオデータは補正回路６０７で補正処理され出力ポート６１０から出力される。
【０１８１】
一方、描画プロセッサ１００がイメージデータの描画を行う場合、ＤＭＡＣ１０７はビデオデータをオリジナルフレームのデータとしてＤＲＡＭ１０１に書き込み転送する。コントローラ６２３は補間フレームデータの生成を停止するように補間フレーム生成回路１２２を制御する。また、ビデオデータのフレームレート（例えば、６０ｆｐｓ）でオリジナルフレームのデータをＤＲＡＭ１０１から読み出すように出力回路６２４を制御する。更に、ビデオデータのフレームレートよりも高速（例えば、１２０ｆｐｓ）にオリジナルのフレームデータを繰り返しＤＲＡＭ６０１から読み出すように出力回路６０６を制御する。
【０１８２】
このように、本実施形態では、描画プロセッサ１００がイメージデータを描画する際には、出力回路６０６がＤＲＡＭ６０１を利用してフレームダブリング処理を行う。そして、出力回路６２４はフレームダブリング処理を行わない。そのため、第１の実施形態と比べて、出力回路６２４が消費するＤＲＡＭ１０１の転送帯域が半分になる。
【０１８３】
従って、描画プロセッサ１００が使用可能なＤＲＡＭ１０１の転送帯域が増加し、転送帯域の不足が原因で高度な画像を表現するイメージデータを生成することができない状況が発生することが抑制される。
【０１８４】
［その他の実施形態］
上述した各実施形態の機能を実現するためには、各機能を具現化したソフトウェアのプログラムコードを記録した記憶媒体をシステム或は装置に提供してもよい。そして、そのシステム或は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによって、上述した各実施形態の機能が実現される。この場合、記憶媒体から読み出されたプログラムコード自体が上述した各実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フロッピィ（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスクなどを用いることができる。或いは、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることもできる。
【０１８５】
また、上述した各実施形態の機能を実現するための構成は、コンピュータが読み出したプログラムコードを実行することだけには限られない。そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって上述した各実施形態の機能が実現される場合も含まれている。
【０１８６】
更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれてもよい。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって上述した各実施形態の機能が実現される場合も含むものである。
【図面の簡単な説明】
【０１８７】
【図１】本発明の技術を適用した、第１の実施形態に係る画像処理装置の構成を示す図である。
【図２】補間フレームデータ生成処理の一例を示す図である。
【図３】フレームダブリング処理の概念図である。
【図４】出力回路が補間フレームデータを生成する場合におけるＤＲＡＭの転送帯域の消費量の概念図である。
【図５】出力回路が補間フレームデータを生成しない場合におけるＤＲＡＭの転送帯域の消費量の概念図である。
【図６】映像の右下に小さな操作メニューが表示された様子を示す図である。
【図７】映像の中央付近に大きな番組表が表示された様子を示す図である。
【図８】第１の実施形態の一態様における処理の流れを示すフローチャートである。
【図９】第２の実施形態の概念図である。
【図１０】第２の実施形態に係る画像処理装置の構成を示す図である。
【図１１】第２の実施形態における処理の流れを示すフローチャートである。
【図１２】第２の実施形態においてフレーム内において領域を指定するための座標の様子を示す図である。
【図１３】第２の実施形態において出力回路がＤＲＡＭからデータを読み出す様子を示す図である。
【図１４】第２の実施形態における、メモリ帯域の状態と描画プロセッサの動作を説明する図である。
【図１５】第２の実施形態の他の態様を示す概念図である。
【図１６】第３の実施形態に係る画像処理装置の構成を示す図である。
【図１７】第３の実施形態に係るビデオデータの表示例を示す図である。
【図１８】第３の実施形態における処理の流れを示すフローチャートである。
【図１９】第４の実施形態に係る画像処理装置の構成を示す図である。
【図２０】第５の実施形態に係る画像処理装置の構成を示す図である。
【図２１】第５の実施形態に係る初期化処理の流れを示すフローチャートである。
【図２２】第５の実施形態において描画プロセッサがイメージデータを描画する場合の処理の流れを示すフローチャートである。
【図２３】第６の実施形態に係る画像処理装置６０、及び表示装置コントローラ６５の構成を示す図である。
【技術分野】
【０００１】
本発明は、ビデオデータのフレームレートを高速化する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
現在、ビデオデータのフレームレートを高速化する技術が知られている（特許文献１参照）。特許文献１の技術によれば、フィールド補間により５０フレーム／秒の映像信号が１００フレーム／秒に変換される。
【０００３】
また、メニュー画面などの画像（コンピュータグラフィックス）を映像に合成して表示することも知られており、近年、ますます高度な画像（例えば、高精細なアニメーション画像など）が合成されるようになってきている。特許文献２には、コンピュータグラフィックス信号を発生する回路を備える表示装置が開示されている。
【特許文献１】特開平１０−１９１２６８号公報
【特許文献２】特開２０００−１８１４４０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
フィールド補間などにより補間フレームを生成する際には、大量のデータがフレームメモリから読み出され、また、フレームメモリに対して書き込まれる。
【０００５】
また、高度な画像を表現するイメージデータを生成する際にも、大量のデータがフレームメモリから読み出され、また、フレームメモリに対して書き込まれる。
【０００６】
従って、フレームレートの高速化と同時に高度な画像を映像に合成するためには、フレームメモリのデータ転送帯域幅を広くすることが求められる。しかしながら、フレームメモリのデータ転送帯域幅を広くすることはコストの上昇を招くため、望むままにデータ転送帯域幅を広くすることは困難である。
【０００７】
その結果、データ転送帯域幅がボトルネックとなり、高度な画像を表現するイメージデータを生成することができない場合が発生する。
【０００８】
本発明はこのような状況に鑑みてなされたものである。即ち、画像処理装置において、フレームメモリのデータ転送帯域幅が比較的限られていても、高度な画像を表現するイメージデータを生成することができない状況の発生を抑制する技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、第１の本発明によれば、ビデオデータの各フレームデータを順次記憶するメモリと、前記各フレームデータの間に挿入される補間フレームデータを生成し、前記メモリに格納する補間手段と、前記各フレームデータ及び前記補間フレームデータを、前記ビデオデータのフレームレートよりも高いフレームレートで前記メモリから順次読み出す読み出し手段と、前記各フレームデータに合成されるイメージデータを生成し、前記メモリに格納する生成手段と、前記生成手段の出力に応じて、前記補間フレームデータの生成を停止するように前記補間手段を制御すると共に、前記補間フレームデータの代わりに前記各フレームデータを重複して読み出すように前記読み出し手段を制御する制御手段と、を備えることを特徴とする画像処理装置が提供される。
【００１０】
また、第２の本発明によれば、ビデオデータの各フレームデータを順次記憶するメモリと、第１のフォーマットの前記各フレームデータを、前記第１のフォーマットよりもデータ量が減少する第２のフォーマットに変換する第１の変換手段と、前記各フレームデータの間に挿入される補間フレームデータを、前記第１のフォーマット、又は前記第２のフォーマットで生成し、前記メモリに格納する補間手段と、前記第２のフォーマットの前記各フレームデータ及び前記補間フレームデータを、前記第１のフォーマットに変換する第２の変換手段と、前記各フレームデータ及び前記補間フレームデータを、前記ビデオデータのフレームレートよりも高いフレームレートで前記メモリから順次読み出す読み出し手段と、前記各フレームデータに合成されるイメージデータを生成し、前記メモリに格納する生成手段と、前記生成手段の出力の応じて、前記各フレームデータを前記第１の変換手段により前記第２のフォーマットに変換してから記憶するように前記記憶手段を制御し、前記第２のフォーマットの補間フレームデータを生成するように前記補間手段を制御し、更に、前記読み出し手段による読み出しの前に前記第２のフォーマットの前記各フレームデータ及び前記補間フレームデータを前記第１のフォーマットに変換するように前記第２の変換手段を制御する制御手段と、を備えることを特徴とする画像処理装置が提供される。
【００１１】
また、第３の本発明によれば、ビデオデータの各フレームデータを順次メモリに記憶する記憶工程と、前記各フレームデータの間に挿入される補間フレームデータを生成し、前記メモリに生成する補間工程と、前記各フレームデータ及び前記補間フレームデータを、前記ビデオデータのフレームレートよりも高いフレームレートで前記メモリから順次読み出す読み出し工程と、前記各フレームデータに合成されるイメージデータを生成して前記メモリに格納する生成工程と、前記生成工程での出力に応じて、前記補間フレームデータの生成を停止するように前記補間工程を制御すると共に、前記補間フレームデータの代わりに前記各フレームデータを重複して読み出すように前記読み出し工程を制御する制御工程と、を備えることを特徴とする画像処理方法が提供される。
【００１２】
なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための最良の形態における記載によって更に明らかになるものである。
【発明の効果】
【００１３】
以上の構成により、本発明によれば、画像処理装置において、フレームメモリのデータ転送帯域幅が比較的限られていても、高度な画像を表現するイメージデータを生成することができない状況の発生を抑制することが可能となる。
【発明を実施するための最良の形態】
【００１４】
以下、添付図面を参照して、本発明の実施形態を説明する。以下で説明される個別の実施形態は、本発明の上位概念から下位概念までの種々の概念を理解するために役立つであろう。
【００１５】
なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。
【００１６】
また、以下の各実施形態において、「ビデオデータ」は、本発明に係る画像処理装置が受信するデータを示し、「イメージデータ」は、この画像処理装置が生成してビデオデータに合成するデータ（即ち、メニュー画面などを表現するデータ）を示す。
【００１７】
［第１の実施形態］
＜画像処理装置１０の構成＞
図１は、本発明の技術を適用した、第１の実施形態に係る画像処理装置１０の構成を示す図である。
【００１８】
画像処理装置１０は、生成手段の一例である描画プロセッサ１００と、補間手段の一例である補間フレーム生成回路１２２とを備える。描画プロセッサ１００は、ビデオデータ（の各フレームデータ）に合成されるイメージデータを描画（生成）する。補間フレーム生成回路１２２は、各フレームデータの間に挿入される補間フレームデータを生成する。補間フレームデータは、フレームレートを変換（特に、高速化）するために使用される。補間フレームデータを生成するためには、例えば特許文献１に示されるような任意の知られている技術を利用可能である。
【００１９】
１０１はＤＲＡＭであり、ビデオデータのためのフレームメモリや描画プロセッサ１００のワークエリアとして使用されるメモリである。
【００２０】
１０２はメモリコントローラであり、１０３は画像処理装置１０におけるデータの転送経路であるバスである。描画プロセッサ１００は、イメージデータを描画してＤＲＡＭ１０１に格納するプロセッサである。
【００２１】
１０４、１０５、１０６、１０７、１０８、１０９、１１０、及び１１１はダイレクトメモリアクセスコントローラ（ＤＭＡＣ）であり、ＤＲＡＭ１０１と各信号処理回路（例えば、合成回路１２１）との間のデータ転送を制御する。
【００２２】
描画プロセッサ１００は、ＤＲＡＭ１０１などにロードされた描画プログラムを実行することにより、イメージデータの描画処理を行う。描画プロセッサ１００は、描画プログラムをバス１０３とメモリコントローラ１０２とを経由して読み出し、実行する。
【００２３】
描画プロセッサ１００は、生成したイメージデータをＤＲＡＭ１０１に書き込む。描画プロセッサ１００がイメージデータをＤＲＡＭ１０１に書き込む際に、イメージデータは、バス１０３とメモリコントローラ１０２を経由してＤＲＡＭ１０１へ転送される。
【００２４】
なお、描画プロセッサ１００は、例えばユーザの指示などに応答して、メニュー画面や番組表などを表現するイメージデータの描画を行う。
【００２５】
１２５は入力端子であり、ビデオデータ（映像信号）が入力される。１２６は出力端子であり、ディスプレイなどの表示装置に接続され、ディスプレイに対してビデオデータを出力する。
【００２６】
１２０はＩＰ変換／スケーリング回路であり、インタレースフォーマットのビデオデータをプログレッシブフォーマットに変更し、更に補間や間引き処理を行うことによりビデオデータが表現する映像のサイズを変更する、画像処理を行う。
【００２７】
ＩＰ変換／スケーリング回路１２０は、画像処理を行う際にビデオデータをフレーム単位又はフィールド単位でＤＲＡＭ１０１に書き込み、読み出すことを必要とする。従って、ＩＰ変換／スケーリング回路１２０は、画像処理を行う際に、ＤＭＡＣ１０４、バス１０３、及びメモリコントローラ１０２を用いて、ビデオデータをＤＲＡＭ１０１に転送する。更に、ＤＭＡＣ１０５、バス１０３、及びメモリコントローラ１０２を用いて、ＤＲＡＭ１０１に記憶されているビデオデータを読み出す。
【００２８】
１２１は合成回路であり、ＩＰ変換／スケーリング回路１２０が処理したビデオデータと、描画プロセッサ１００が生成したイメージデータとを合成する。合成回路１２１は、描画プロセッサ１００が生成したイメージデータを、ＤＭＡＣ１０６を用いて読み出すことができる。合成回路１２１は、イメージデータをビデオデータに重ね合わせた状態に加工したり、或いは、イメージデータに所定の透明度を持たせてビデオデータに合成したりする。合成回路１２１は、イメージデータが合成されたビデオデータを、ＤＭＡＣ１０７、バス１０３、及びメモリコントローラ１０２を用いてＤＲＡＭ１０１に記録する。
【００２９】
補間フレーム生成回路１２２は、ＤＭＡＣ１０８及びＤＭＡＣ１０９を介してＤＲＡＭ１０１から時間的に連続する２つのフレームデータを取得し、フレーム補間処理により、２つのフレームの間に挿入される補間フレームデータを生成する。補間フレーム生成回路１２２は、生成した補間フレームデータを、ＤＭＡＣ１１０を介してＤＲＡＭ１０１に記録する。
【００３０】
１２４は読み出し手段の一例である出力回路であり、ＤＭＡＣ１１１を介してＤＲＡＭ１０１からフレームデータ及び補間フレームデータを順次読み出し、補正回路１２７へ出力する。入力端子１２５から入力されるビデオデータのフレームレートよりも高いフレームレートで出力回路１２４がフレームデータ及び補間フレームデータを読み出すことにより、フレームレートの高速化が実現される。本実施形態では、出力回路１２４は、１２０フレーム／秒又は６０フレーム／秒のフレームレートでフレームデータ及び補間フレームデータを出力することが可能であるものとする。
【００３１】
補正回路１２７は、輝度色差信号で表現されるフレームデータ及び補間フレームデータをＲＧＢ信号に変換し、更に、各画素の色を補正する。
【００３２】
コントローラ１２３は、描画プロセッサ１００の指示に従って補間フレーム生成回路１２２及び出力回路１２４を制御する回路である。コントローラ１２３は、補間フレーム生成回路１２２による補間フレームデータの生成を制御する。また、ＤＲＡＭ１０１のアドレスを指定することにより、出力回路１２４によるフレームデータ及び補間フレームデータの読み出しを制御する。
【００３３】
割り込みコントローラ１３０は、描画プロセッサ１００に対して割り込みの通知を行う。タイマ１３１は、時間を計測し、所定のタイミングで描画プロセッサ１００又は割り込みコントローラ１３０に対して、例えば所定の時間が経過したことなどを通知する。
【００３４】
以上説明した画像処理装置１０の各構成要素は、必ずしも図１に示すように配置されている必要は無い。例えば、合成回路１２１は、出力回路１２４と補正回路１２７の間に配置されていてもよい。この場合、合成回路１２１は、出力回路１２４から出力されたフレームデータ及び補間フレームデータにイメージデータを合成する。
【００３５】
また、入力端子１２５から入力されるビデオデータは、インタレースフォーマットではなく、プログレッシブフォーマットでも構わない。この場合、ＩＰ変換／スケーリング回路１２０は、ＩＰ変換を行う必要が無い。
【００３６】
また、ビデオデータの入力をＩＰ変換／スケーリング回路１２０が直接受け付けるのではなく、ＤＲＡＭ１０１に一度格納してからＩＰ変換／スケーリング回路１２０に入力するように画像処理装置１０を構成してもよい。
【００３７】
画像処理装置１０の構成がどのようなものであれ、例えばメモリコントローラ１０２及びバス１０３などが記憶手段を構成し、記憶手段は、入力端子１２５から受信中のビデオデータの各フレームデータを順次メモリ（ＤＲＡＭ１０１）に記憶する。
【００３８】
＜補間フレームデータ生成処理＞
前述の様に、補間フレーム生成回路１２２は、任意の知られている技術を利用して補間フレームデータを生成することができる。ここでは、図２を参照して、補間フレームデータ生成処理の一例を説明する。
【００３９】
図２において、白色のフレームは、画像処理装置１０に入力された６０ｆｐｓのビデオデータのフレーム（「オリジナルフレーム」と呼ぶ）を示す。図２において、網かけされたフレームは、補間フレーム生成回路１２２によって生成され、各オリジナルフレームの間に挿入される補間フレームを示す。
【００４０】
補間フレーム生成回路１２２は、時間的に連続する２つのオリジナルフレームのフレームデータに基づいて、補間フレームデータを生成する。補間フレーム生成回路１２２は、補間フレームデータを生成するために、例えば特許文献１の方式や、ブロックごとの動きベクトルを求め、求めた動きベクトルを用いてフレームを生成する方式などの、任意の公知の方式を利用可能である。
【００４１】
出力回路１２４は、オリジナルフレームのデータ、及び補間フレームのデータを、順次（時間順に）ＤＲＡＭ１０１から読み出す。その結果、フレームレートが２倍に高速化された、１２０ｆｐｓのビデオデータが得られる。
【００４２】
＜フレームダブリング処理＞
補間フレームデータが生成されない場合であっても、出力回路１２４は、図３を参照して説明するフレームダブリング処理により、ビデオデータのフレームレートを高速化することができる。
【００４３】
出力回路１２４は、補間フレームデータの代わりに、各オリジナルフレームのデータを繰り返し（重複して）読み出す。その結果、フレームレートが２倍に高速化された、１２０ｆｐｓのビデオデータが得られる。
【００４４】
なお、補間フレームデータの生成の有無に関わらず、出力回路１２４が各フレームデータを読み出す回数は、図２及び図３を参照して説明した回数に限られない。例えば、図２に示す場合において、出力回路１２４が各オリジナルフレームのデータと各補間フレームデータを２回ずつ読み出せば、フレームレートは４倍になる。重要なことは、出力回路１２４は、補間フレームデータの代わりにオリジナルフレームのデータを繰り返し読み出すことにより、補間フレームデータが生成されない場合であっても、フレームレートの高速化が実現されることである。
【００４５】
また、本実施形態を含む以下の各実施形態において、「フレーム間補間方式」とは、補間フレームデータ生成処理を利用したフレームレートの高速化方式を意味する。また、「フレームダブリング方式」とは、フレームダブリング処理を利用したフレームレートの高速化方式を意味する。更に、１つの映像中（表示画面中）に、２つの方式が混在しても構わない。
【００４６】
＜転送帯域の消費量＞
図４及び図５を参照して、出力回路１２４が補間フレームデータを生成する場合、及び生成しない場合におけるＤＲＡＭ１０１の転送帯域の消費量を説明する。
【００４７】
図４は、出力回路１２４が補間フレームデータを生成する場合におけるＤＲＡＭ１０１の転送帯域の消費量の概念図である。
【００４８】
出力回路１２４がオリジナルフレームのデータとそれに続く補間フレームデータを読み出す間に、補間フレーム生成回路１２２は、ＤＲＡＭ１０１から２つのオリジナルフレームのデータを読み出し、１つの補間フレームデータをＤＲＡＭ１０１に書き込む。
【００４９】
図５は、出力回路１２４が補間フレームデータを生成しない場合におけるＤＲＡＭ１０１の転送帯域の消費量の概念図である。
【００５０】
出力回路１２４が同一のオリジナルフレームのデータを２回読み出す間、補間フレーム生成回路１２２によるＤＲＡＭ１０１へのアクセスは発生しない（アクセスは不要である）。
【００５１】
このように、補間フレーム生成回路１２２が補間フレームデータを生成しない場合は、ＤＲＡＭ１０１の転送帯域の消費量が減少する。描画プロセッサ１００は、減少分の転送帯域を使用することができるので、より高度な画像を表現するイメージデータをＤＲＡＭ１０１内に生成することが可能となる。
【００５２】
＜補間フレーム生成回路１２２及び出力回路１２４の制御＞
前述の様に、描画プロセッサ１００は、イメージデータを生成する際に、ＤＲＡＭ１０１にアクセスする（即ち、ＤＲＡＭ１０１の転送帯域を消費する）。また、補間フレーム生成回路１２２も、補間フレームデータを生成する際に、ＤＲＡＭ１０１の転送帯域を消費する。
【００５３】
そこで、本実施形態の一態様においては、コントローラ１２３は、描画プロセッサ１００がイメージデータを生成する場合、合成対象のフレームデータに対応する補間フレームデータの生成を停止するように補間フレーム生成回路１２２を制御する。また、補間フレームの代わりに、オリジナルフレームのデータを繰り返し読み出すことでフレームレートの高速化を実現するように、出力回路１２４を制御する。
【００５４】
これにより、描画プロセッサ１００は、ＤＲＡＭ１０１に対してより多くの転送帯域を使用可能になるため、より高度な画像を表現するイメージデータを生成可能になる。換言すれば、転送帯域の不足が原因で高度な画像を表現するイメージデータを生成することができない状況が発生することが抑制される。
【００５５】
なお、コントローラ１２３は、補間フレームデータの生成を停止する代わりに、ＤＲＡＭ１０１に対するデータ転送量がより少ない他のアルゴリズムで補間フレームデータを生成するように補間フレーム生成回路１２２を制御してもよい。その結果、補間フレーム生成回路１２２によるＤＲＡＭ１０１の転送帯域の消費量は０にはならないが減少し、描画プロセッサ１００は、その分より多くの転送帯域を使用可能になる。この場合、補間フレームデータの生成を完全に停止する場合に比べて、フレームレートが高速化されたビデオデータの画質が向上するという利点がある。これは、後述する他の各実施形態においても同様である。
【００５６】
ところで、描画プロセッサ１００がイメージデータを生成する場合であっても、生成するイメージデータが単純なもの（例えば、小さな静止画像データ）である場合は、ＤＲＡＭ１０１の転送帯域をそれほど多く必要とするわけではない。
【００５７】
例えば、図６では、映像の右下に小さな操作メニューが表示されている。この操作メニューは、描画プロセッサ１００が生成するイメージデータによって表現される。この操作メニューはサイズが小さいため、イメージデータのデータ量も比較的小さく、描画プロセッサ１００はＤＲＡＭ１０１の転送帯域をそれほど多くは必要としない。
【００５８】
一方、図７では、映像の中央付近に大きな番組表が表示されている。この番組表を表現するイメージデータのデータサイズは比較的大きく、描画プロセッサ１００はＤＲＡＭ１０１の転送帯域を比較的多く必要とする。
【００５９】
そこで、本実施形態の他の態様では、描画プロセッサ１００がイメージデータの描画を行う場合であっても、イメージデータの画素数が予め定められた閾値以下の場合は、コントローラ１２３は、補間フレーム生成回路１２２に補間フレームデータを生成させる。以下、図８のフローチャートを参照して、詳細に説明する。描画プロセッサ１００がイメージデータの描画指示を受けると、図８のフローチャートの処理が開始する。
【００６０】
なお、図８に示すフローチャートの開始時において、コントローラ１２３は、補間フレームデータを生成するように補間フレーム生成回路１２２を制御する状態（以下、「補間実行モード」と呼ぶ）に設定されているものとする。
【００６１】
Ｓ１００１で、描画プロセッサ１００は、描画するイメージデータ（グラフィックデータ）の画素数を算出する。例えば矩形画像を描画する場合は、縦の辺のピクセル数と横の辺のピクセル数を掛ける事によりイメージデータの画素数を求めることが可能である。
【００６２】
Ｓ１００２で、描画プロセッサ１００は、Ｓ１００１で算出した画素数と予め設定され、ＤＲＡＭ１０１などに格納されている閾値とを比較する。画素数が閾値よりも大きい場合はＳ１００３に進み、そうでない場合はＳ１００３をスキップしてＳ１００４に進む。
【００６３】
Ｓ１００３で、描画プロセッサ１００は、コントローラ１２３の状態を、補間フレームデータを停止するように補間フレーム生成回路１２２を制御する状態（以下、「補間停止モード」と呼ぶ）に変更する。補間停止モードでは、コントローラ１２３は、各オリジナルフレームのデータをＤＲＡＭ１０１から繰り返し読み出すように出力回路１２４を制御する。制御方式の切り替えは、垂直同期信号に同期し、ブランキング期間にて実行される。
【００６４】
Ｓ１００１で算出された画素数が閾値以下の場合、Ｓ１００３がスキップされるので、コントローラ１２３の状態は補間実行モードのままである。
【００６５】
Ｓ１００４で、描画プロセッサ１００はイメージデータを描画し、合成回路１２１はイメージデータをビデオデータの各フレームデータに合成する。また、既に描画されているイメージデータが存在する場合、描画プロセッサ１００は、そのイメージデータを消去する。
【００６６】
イメージデータがアニメーション画像である場合、描画プロセッサ１００は、イメージデータの描画を所定の間隔毎に繰り返し行う。タイマ１３１は所定の周期で割り込みコントローラ１３０を経由して描画プロセッサ１００に割り込みの通知を行う。例えば周期が１／１５秒であれば、描画プロセッサ１００は、１５ｆｐｓのアニメーション画像を描画することが可能である。
【００６７】
Ｓ１００５で、描画プロセッサ１００は、タイマ１３１に基づく割り込みの通知を受けたか否かを判定し、通知を受けたらＳ１００６に進む。
【００６８】
Ｓ１００６で、描画プロセッサ１００は、描画処理を終了するか否かの判断を行う。終了しない場合（例えば、アニメーション画像の描画途中で引き続き描画すべき画像が存在する場合）、Ｓ１００４に戻り、同様の処理を繰り返す。描画処理を終了する場合、Ｓ１００７に進む。
【００６９】
Ｓ１００７で、描画プロセッサ１００は、コントローラ１２３の状態を補間実行モードに変更する。補間フレームデータの生成処理には最新のフレームデータとその前のフレームデータが必要なので、補間フレームデータの生成が再開するまでには垂直同期信号を２回待つ必要がある。コントローラ１２３は、垂直同期信号を参照しながら、補間フレーム生成回路１２２及び出力回路１２４の制御方式を変更する。
【００７０】
なお、Ｓ１００２において、閾値を０とすれば、前述の態様（イメージデータ描画時は必ず補間フレームデータの生成が停止する実施形態）になる。
【００７１】
本実施形態は、以下のケースに応用することも可能である。
【００７２】
ディスプレイにＪＰＥＧ静止画を表示する場合、システムとしてはＪＰＥＧ圧縮されたデータをデコードし、得られたデータを描画する。描画プロセッサ１００の能力が高いほどＪＰＥＧデコード処理と描画の時間は短縮することが可能となるため、描画プロセッサ１００には高い処理能力が望まれる。
【００７３】
一方で、表示するデータは静止画なので、補間フレームデータを生成しても、結局フレームダブリング処理と同等の画像が得られるだけである。このような場合は補間フレームデータの生成を停止し、描画プロセッサ１００が使用可能なＤＲＡＭ１０１の転送帯域を増加させることによりＪＰＥＧデコードと静止画を表示することに必要な時間を短縮することが可能となる。
【００７４】
以上説明したように、本実施形態によれば、描画プロセッサ１００がイメージデータを描画する場合は、コントローラ１２３は補間フレーム生成回路１２２による補間フレームデータの生成を停止させる。
【００７５】
これにより、描画プロセッサ１００が使用可能なＤＲＡＭ１０１の転送帯域が増加するので、転送帯域の不足が原因で高度な画像を表現するイメージデータを生成することができない状況が発生することが抑制される。
【００７６】
また、本実施形態の他の態様によれば、描画プロセッサ１００がイメージデータを描画する場合であって、且つイメージデータの画素数が閾値以上の場合に、コントローラ１２３は補間フレーム生成回路１２２による補間フレームデータの生成を停止させる。
【００７７】
これにより、描画プロセッサ１００がそれほど多くの転送帯域を必要としない場合は、補間フレームデータの生成停止に伴うビデオデータの画質低下を抑制される。
【００７８】
［第２の実施形態］
第１の実施形態に係る画像処理装置１０は、所定の条件が満たされると、補間フレームデータの生成を完全に停止した。
【００７９】
ところで、メニュー画面などの合成画像は、静止画像、或いはフレームレートが低いアニメーション画像であることが多い。この場合、オリジナルフレームにおける合成画像の領域に対応する補間フレームデータが生成されても、合成画像の画質はそれほど向上しない。なぜなら、多くの場合、補間フレームデータ生成の基となる２つのオリジナルフレームにおいて合成画像が変化しないからである。
【００８０】
そこで、第２の実施形態では、描画プロセッサ１００がイメージデータを生成する場合、オリジナルフレームのデータにおいてイメージデータが合成される領域についてのみ、補間フレームデータの生成を停止する。そして、その領域以外の領域については、補間フレームデータの生成を継続する。
【００８１】
これにより、補間フレーム生成回路１２２が消費するＤＲＡＭ１０１の転送帯域が減少し、その分描画プロセッサがより多くの転送帯域を使用できる。更に、イメージデータが合成される領域以外の領域については補間フレームデータが生成されるので、描画プロセッサ１００がイメージデータを生成する場合のビデオデータの画質が向上する。
【００８２】
図９は、第２の実施形態の概念図である。図９では、映像の左下にメニュー画面が表示されている。この場合、メニュー画面に対応する領域は、オリジナルフレームのデータを繰り返し読み出すことによりフレームレートが高速化される。それ以外の領域では、補間フレームデータが生成され、オリジナルフレームのデータと補間フレームデータを順次読み出すことによりフレームレートが高速化される。
【００８３】
図１０は、第２の実施形態に係る画像処理装置２０の構成を示す図である。図１０において、第１の実施形態に係る画像処理装置１０と同一の構成要素には同一の符号を付し、説明を省略する。
【００８４】
２００は補間領域制御回路であり、ＥＸＡｒｅａレジスタ２０１を含む。描画プロセッサ１００は、フレームデータにおいてイメージデータを合成する領域を算出し、その領域を示す情報をＥＸＡｒｅａレジスタ２０１に格納する。補間領域制御回路２００は、ＥＸＡｒｅａレジスタ２０１に格納された情報に基づき、補間フレームデータの生成を行う際の処理領域のポインタを補間フレーム生成回路１２２と、ＤＭＡＣ１０８、１０９、及び１１０とにセットする。更には、出力回路１２４が読み出すデータのポインタを出力回路１２４及びＤＭＡＣ１１１にセットする。
【００８５】
ＤＲＡＭ１０１には、ＤＭＡＣ１０７を介して書き込まれたオリジナルフレームのデータと、補間フレーム生成回路１２２が生成した補間フレームデータとが存在する。出力回路１２４は、補間領域制御回路２００の制御に従い、画像の領域に応じて読み出すデータを選択することが可能である。
【００８６】
図１１は、第２の実施形態における処理の流れを示すフローチャートである。描画プロセッサ１００がイメージデータの生成を開始すると、本フローチャートの処理が開始する。
【００８７】
なお、図１１に示すフローチャートの開始時において、補間領域制御回路２００は、フレームの全領域について補間フレームデータを生成するように補間フレーム生成回路１２２を制御する状態（以下、「全補間モード」と呼ぶ）に設定されているものとする。
【００８８】
Ｓ２００１で、描画プロセッサ１００は、描画するイメージデータが合成される領域（合成領域）の座標を算出する。
【００８９】
Ｓ２００２で、描画プロセッサ１００は、Ｓ２００１で算出した座標をＥＸＡｒｅａレジスタ２０１にセットする。
【００９０】
Ｓ２００３で、描画プロセッサ１００は、補間領域制御回路２００の状態を、合成領域以外の領域についてのみ補間フレームデータを生成するように補間フレーム生成回路１２２を制御する状態（以下、「部分補間モード」と呼ぶ）に変更する。部分補間モードでは、補間領域制御回路２００は、合成領域については各オリジナルフレームのデータをＤＲＡＭ１０１から繰り返し読み出すように出力回路１２４を制御する。
【００９１】
Ｓ２００４及びＳ２００５では、描画プロセッサ１００は、アニメーションが終了するまでイメージデータの描画を実行する。ここでの処理は、図８のＳ１００４乃至Ｓ１００６と同様なので、詳細な説明は省略する。
【００９２】
Ｓ２００６で、描画プロセッサ１００は、補間領域制御回路２００の状態を全補間モードに変更する。このとき、補間領域制御回路２００はまず補間フレーム生成回路１２２に指令を送ることによりまず全領域の補間フレームデータの生成を開始する。そして、補間フレームデータが生成された後で出力回路１２４に指令を送る。出力回路１２４はこの時点から全領域について補間フレームデータの読み出しを開始する。
【００９３】
図１２は、フレーム内において領域を指定するための座標の様子を示す図である。ディスプレイに表示されるフレーム（映像）は座標（０，０）、及び（Ａ，Ｂ）で示される領域である。
【００９４】
イメージデータを合成する領域（合成領域）は（Ｃ，Ｄ）、及び（Ｅ，Ｆ）で示される、矩形領域である。合成領域においては、フレームレート変換処理はフレームダブリング方式にて行われ、フレーム内のそれ以外の領域においては、フレームレート変換処理は補間フレーム生成方式にて行われる。
【００９５】
図１１のＳ２００２及びＳ２００３に示した処理により、描画プロセッサ１００はフレームレート変換方式としてフレームダブリング方式を取る領域をＥＸＡｒｅａレジスタに設定する。レジスタ設定値は、図１２の例でいえば、（Ｃ，Ｄ）及び（Ｅ，Ｆ）である。
【００９６】
ＤＭＡＣ１０８，１０９，１１０はＥＸＡｒｅａレジスタ２０１に設定された座標で囲まれた領域に関してはデータ転送を行わないで、残りの領域のみについてデータ転送を行う。
【００９７】
これにより、ＥＸＡｒｅａレジスタ２０１で囲まれる領域については補間フレームデータの生成処理は実行されず、この領域に関するメモリアクセスも発生しないことになる。
【００９８】
同時に、出力回路１２４もＥＸＡｒｅａレジスタを参照して、読み出す画像データを決定する。ＤＲＡＭ１０１にはＤＭＡＣ１０７にて書き込まれた画像データ（オリジナルフレームのデータ）が存在する。
【００９９】
また、ＤＲＡＭ１０１には補間フレーム生成回路１２２とＤＭＡＣ１１０により生成された補間フレームデータも記録される。ただし、このデータはＥＸＡｒｅａレジスタ２０１で指定された領域については存在しない。
【０１００】
ＤＭＡＣ１１１は、例えば１／１２０秒毎にオリジナルフレームのデータと補間フレームデータを交互に読み出す。ただし補間フレームデータに関しては、補間フレームデータ生成処理により作られたデータが存在する部分、すなわちＥＸＡｒｅａレジスタ２０１で指定された領域以外についてのみ補間フレームデータを読み出す。それ以外の領域、すなわちＥＸＡｒｅａレジスタ２０１で指定された領域はオリジナルフレームのデータを読み出す（図１３参照）。
【０１０１】
出力回路１２４は、オリジナルフレームのデータと補間フレームデータを交互に出力することにより、例えば、６０ｆｐｓのビデオデータを１２０ｆｐｓに倍速化して出力する。しかし、上述の処理により、補間フレームデータを出力する際はＥＸＡｒｅａレジスタ２０１にセットされた座標で囲まれる領域については上記のオリジナルフレームのデータを読み出して出力し、その他の領域については補間フレームデータを出力する。
【０１０２】
上記動作における、メモリ帯域の状態と描画プロセッサ１００の動作を説明する。
【０１０３】
図１４において、２５０で示した部分は補間フレーム生成方式にてフレームレート変換を行っている。２５１で示した部分は補間フレームの生成を行わず、これが必要とするメモリアクセスも行わない。従って描画プロセッサ１００がＤＲＡＭ１０１に対してより多くの転送帯域を使用できる期間である。
【０１０４】
画面上のＡで示す位置におけるメモリアクセスの様子をＡＡで示し、画面上のＢで示す位置におけるメモリアクセスの様子をＢＢで示す。ＨＳは水平同期信号で、ＭＥＭがメモリアクセスの様子である。
【０１０５】
ＡＡ，ＢＢにおいて、ｂは補間フレーム生成処理にてメモリアクセスが行われる期間を示し、ａはそれが行われない期間、すなわち描画プロセッサがメモリにアクセスすることが可能な期間である。
【０１０６】
領域２５１にてメモリアクセスを行わないため、Ｂで示すラインにおいては、ａすなわちメモリアクセスが行われない期間が増大する。これにより描画プロセッサ１００がメモリアクセスを行う能力が向上し、描画プロセッサ１００のパフォーマンスが向上する。２５１で示す領域が広ければ広いほど、描画プロセッサ１００がより多くの転送帯域を使用できる時間は増大する。
【０１０７】
本実施形態は、以下のケースに応用することも可能である。
【０１０８】
テレビには１つのディスプレイに対して２つの画面を表示する機能が備えられている場合がある。この場合、図１５に示すように、映像が表示される領域とその他の領域が発生する。その他の領域については動画像が表示されるわけではないので補間フレームデータの生成を行う必要は無い。従ってこの部分については補間フレーム生成処理を停止することが可能となる。
【０１０９】
これによって補間フレーム生成回路１２２が消費する転送帯域が減少し、その分、描画プロセッサ１００がより多くの転送帯域を使用できる。その結果、高精細なアニメーション画像など、より高度な画像を描画することが可能となる。
【０１１０】
同様に、データ放送受信時、データ放送を表示する部分に関してはフレームレート変換処理をフレームダブリング方式で行うこともできる。
【０１１１】
以上説明したように、本実施形態によれば、描画プロセッサ１００がイメージデータを生成する場合であっても、イメージデータが合成される領域以外の領域については、補間フレームデータが生成される。
【０１１２】
これにより、描画プロセッサ１００がイメージデータを生成する場合のビデオデータの画質が向上する。
【０１１３】
［第３の実施形態］
第３の実施形態では、各イメージデータがブレンド係数αを持つ。ブレンド係数αは、イメージデータを映像に合成するときの透明度を示すパラメータで、αが小さいほどイメージデータの透明度が高い。本実施形態では、αが閾値以上の場合、即ち、透明度が予め定められた度合い以上でイメージデータが合成される場合、合成領域の補間フレームデータが生成される。反対に、αが閾値未満の場合、補間フレームデータは生成されず、合成領域についてはフレームダブリング方式でフレームレートが高速化される。或いは、αが大きい（透明度が低い）イメージデータから優先して、合成領域のフレームレート変換方式をフレームダブリング方式とする。
【０１１４】
イメージデータ画像の合成を行う際、画像のブレンド係数αが小さい場合はイメージデータの後ろに映像が見えることになる。この状態で描画領域のフレームレート変換方式を補間フレーム生成方式からフレームダブリング方式に変更したとき、描画領域に関してフレームレート変換方式の差による画質の差が見えてしまう場合がある。
【０１１５】
一方で描画のパフォーマンスを向上したいので、可能な限り、描画対象領域（合成領域）についてはフレームレート変換方式としてフレームダブリング方式を採用したい。
【０１１６】
透過度が高いイメージデータは重ね合わされる映像が視聴者に見えやすい。従ってイメージデータの透過度が高いほど、フレームレート変換として高品質な処理を行うべきである。本実施形態は、このような認識に基づくものである。
【０１１７】
図１６は、第３の実施形態に係る画像処理装置３０の構成を示す図である。図１６において、画像処理装置１０と同一の構成要素には同一の符号を付し、説明を省略する。
【０１１８】
出力回路３１３は、ＤＭＡＣ３０８を制御することにより、ＤＲＡＭ１０１上に存在するビデオデータを読み出し、これをブレンド回路３１５に対して出力する。出力回路３１３は、オリジナルフレームと補間フレームを交互に倍速で読み出すことにより、１２０ｆｐｓのビデオデータを出力する。ただし、補間フレームが生成されない領域については、オリジナルフレームを繰り返し読み出す。
【０１１９】
出力回路３１４は、描画プロセッサ１００によりＤＲＡＭ１０１内に描画されたイメージデータを、ＤＭＡＣ３０７を制御することにより読み出し、これをブレンド回路３１５に出力する。このときのデータレートは１２０ｆｐｓであり、出力回路３１４は出力回路３１３に同期して動作する。
【０１２０】
ブレンド回路３１５は、コントローラ３１２の制御に基づき、出力回路３１４から入力されるビデオデータと出力回路３１３から入力されるイメージデータをブレンド係数αの値に従ってブレンド処理する。ブレンド時のビデオデータの比率はαに比例する。例えばα＝０の時は映像出力１００％、イメージデータ０％で合成が行われ、α＝０．３の時は映像出力７０％、イメージデータ３０％で合成が行われる。
【０１２１】
αの値と合成領域を示す信号はコントローラ３１２から出力される。ブレンド回路３１５はこれを用いて合成領域ごとに変化するαの値に対応しながらブレンド処理を行う。
【０１２２】
コントローラ３１２は、補間フレーム生成回路１２２、出力回路３１３、出力回路３１４、及びブレンド回路３１５を制御する。コントローラ３１２は、領域指定用のレジスタであるＥＸＡｒｅａレジスタＡ、ＥＸＡｒｅａレジスタＢ、ＥＸＡｒｅａレジスタＣを備える。また、それぞれの領域に対応するブレンド係数αを記憶する、Ａ領域αレジスタ、Ｂ領域αレジスタ、及びＣ領域αレジスタを備える。また、背景αレジスタも備える。更にコントローラ３１２は、補間フレーム生成回路１２２の制御に使用するαの閾値を記憶するレジスタである、α閾値レジスタを備える。更にコントローラ３１２は、比較回路を持ち、これにより各イメージデータのα値と閾値とを比較する。
【０１２３】
図１７は、第３の実施形態に係るビデオデータの表示例を示す図である。合成されるイメージデータは、それぞれ透明度が異なる。透明度が低い（αが大きい）場合、合成領域の補間フレームデータを生成しても、オリジナルフレームの画像の視認性は低いので、画質の向上にそれほど寄与しない。そこで、補間フレームデータの生成は停止される。
【０１２４】
図１８は、第３の実施形態における処理の流れを示すフローチャートである。描画プロセッサ１００がイメージデータの描画指示を受けると、本フローチャートの処理が開始する。
【０１２５】
なお、図１８に示すフローチャートの開始時において、コントローラ３１２は、全補間モードに設定されているものとする。
【０１２６】
Ｓ３００１で、描画プロセッサ１００は、αの閾値をコントローラ３１２が備えるα閾値レジスタにセットする。この値はこの後セットされる各領域のαを判定する際に用いられる基準の値である。
【０１２７】
Ｓ３００２で、描画プロセッサ１００は、背景のα値を背景αレジスタにセットする。この値は描画領域として取り扱う矩形領域で指定される領域以外において、映像とイメージデータをブレンドするときの係数である。
【０１２８】
Ｓ３００３で、描画プロセッサ１００は、コントローラ３１２を自動選択モードに変更する。自動選択モードでは、前述の様に、補間フレーム生成回路１２２は、イメージデータの透明度が予め定められた度合い未満の領域については、補間フレームデータの生成を停止する。そして、出力回路３１３は、補間フレームデータが生成されなかった領域については、補間フレームデータの代わりにオリジナルフレームのデータを繰り返し読み出す。
【０１２９】
Ｓ３００４で、描画プロセッサ１００は、矩形領域Ａの座標をＥＸＡｒｅａレジスタＡにセットする。
【０１３０】
Ｓ３００５で、描画プロセッサ１００は、矩形領域Ａに描画するイメージデータに適用するブレンド係数αをＡ領域αレジスタにセットする。
【０１３１】
この時点で、コントローラ３１２は、Ａ領域αレジスタにセットされたα値をα閾値レジスタにセットされた値と比較する。Ａ領域レジスタのα値が閾値より大きい場合（透明度が予め定められた度合い未満の場合）、領域Ａに関してはフレームレート変換方式をフレームダブリング方式に変更する。
【０１３２】
Ｓ３００６で、描画プロセッサ１００は、矩形領域Ａのイメージデータを描画（生成）する。
【０１３３】
Ｓ３００７乃至Ｓ３０１２では、矩形領域Ｂ、及び矩形領域Ｃに対しても同様の処理が行われる。
【０１３４】
イメージデータの描画が終了すると、Ｓ３０１３からＳ３０１４に進み、描画プロセッサ１００は、コントローラ３１２を全補間モードに変更する。
【０１３５】
背景の処理について説明する。ここで背景とは、Ａ領域、Ｂ領域、Ｃ領域で指定される領域以外の領域を示す。コントローラ３１２は背景αの値を判定する。背景αレジスタにセットされたα値をα閾値レジスタにセットされた値と比較する。α値が基準値以上である場合は背景に関してはフレームレート変換方式をフレームダブリング方式に変更する。すなわち補間フレーム生成回路に対して背景に対しては補間フレーム生成を停止するよう制御を行い、出力回路３１３に対しても背景に関する出力画像はオリジナルフレームを二度ずつ繰り返し出力するよう制御を行う。
【０１３６】
以上説明したように、本実施形態によれば、イメージデータが合成される領域であっても、透明度が予め定められた度合い以上の場合は、合成領域についても補間フレームデータの生成が実行される。
【０１３７】
これにより、描画プロセッサ１００がイメージデータを生成する場合のビデオデータの画質が向上する。
【０１３８】
［第４の実施形態］
図１９は、第４の実施形態に係る画像処理装置４０の構成を示す図である。画像処理装置４０は、画像処理装置３０にフォーマット変換回路４０１乃至４０３が追加された構成である。
【０１３９】
フォーマット変換回路４０１及び４０２は、２つの動作モードを持つ。モードの１つは、入力されたビデオデータをそのまま出力するスルーモードである。モードのもう１つは、入力される信号のデータ量を減少させる、データ量縮小モードである。
【０１４０】
データ量縮小モードは、ＹＣｂＣｒ各色１６ｂｉｔ、４：４：４で表現されたビデオデータを、ＹＣｂＣｒ各色８ｂｉｔ、４：２：２のフォーマットに変換する。従って１ピクセルのデータ量は４８ビットから１６ビットに減少することが可能となる。
【０１４１】
フォーマット変換回路４０３は逆にフォーマット変換回路４０１及び４０２により変換されたデータフォーマットを元のデータフォーマットに復元する回路である。
【０１４２】
フォーマット変換回路４０３も同様に２つの動作モードを持つ。１つのモードは入力をそのまま出力に伝達するスルーモード、もう１つのモードはＹＣｂＣｒ各色８ビットの４：２：２フォーマットで表現されたビデオデータから、ＹＣｂＣｒ各色１６ビットの４：４：４フォーマットに復元する、復元モードである。
【０１４３】
描画プロセッサ１００がイメージデータの描画を行わない場合は、フォーマット変換回路４０１、４０２、及び４０３の動作モードはスルーモードである。
【０１４４】
一方、描画プロセッサ１００がイメージデータの描画を行う場合、コントローラ３１２に対してフレームレート変換モードの変更を指示する。これに応じてコントローラ３１２はフォーマット変換回路４０１，４０２、及び４０３に対して、モードをスルーモードから変換モードあるいは復元モードに変更するよう指令する。
【０１４５】
これにより、ＩＰ変換／スケーリング回路１２０がＤＲＡＭ１０１に書き込むデータのフォーマットが変換され、これに関するＤＲＡＭ１０１のメモリ帯域は１／３に減少する。同様に補間フレームデータ生成処理のためのメモリアクセスに関しても、メモリ帯域は１／３に減少する。フォーマット変換回路４０３は、ＤＭＡＣ３０７が出力回路３１４に転送するデータをもとのフォーマットに復元して出力する。
【０１４６】
描画が終了した場合、描画プロセッサ１００はフォーマット変換回路４０１、４０２、及び４０３の動作モードをスルーモードに戻す。
【０１４７】
この処理により、画像処理装置４０は、補間フレームデータ生成処理のために消費される転送帯域を削減し、その分を描画プロセッサ１００に割り当てることが可能となる。これにより、描画プロセッサ１００はより高度なイメージデータを描画できるようになる。
【０１４８】
本実施形態は、第１の実施形態で説明した、「ＤＲＡＭ１０１に対するデータ転送量がより少ない他のアルゴリズム」として活用すると効果的である。
【０１４９】
［第５の実施形態］
第５の実施形態では、描画プロセッサ１００がイメージデータを生成する場合であっても、描画プロセッサ１００がＤＲＡＭ１０１に対して送受信するデータ量が予め定められた閾値以下の場合、補間フレームデータが生成される。
【０１５０】
図２０は、第５の実施形態に係る画像処理装置５０の構成を示す図である。
【０１５１】
５００はコントローラであり、描画領域（合成領域）としてＡ領域、Ｂ領域、Ｃ領域の座標を指定する、ＥＸＡｒｅａレジスタＡ、ＥＸＡｒｅａレジスタＢ、ＥＸＡｒｅａレジスタＣとを備える。また、対応する描画領域に関して、描画に関してフレームメモリに対するデータ転送の必要量を数値化して設定する、Ａ領域Ｑレジスタ、Ｂ領域Ｑレジスタ、Ｃ領域Ｑレジスタとを備える。また、Ｑレジスタの値を比較する閾値を設定する、Ｑ閾値レジスタと、各領域のＱレジスタに設定された値をＱ閾値レジスタの値を比較する比較回路を備える。
【０１５２】
コントローラ５００はそれぞれの領域に関して、フレームレート変換方式の自動変更を行うか否かを決定するレジスタを備える。これらは、Ａ領域に関してはＥＮ（イネーブル）＿Ａレジスタ、Ｂ領域に関してはＥＮ＿Ｂレジスタ、Ｃ領域に関してはＥＮ＿Ｃレジスタとする。
【０１５３】
他の構成要素は第３の実施形態と同じなので説明を省略する。
【０１５４】
描画するイメージデータのデータの特性によって、描画に関してフレームメモリに対するデータ転送の必要量は異なる。例えばアニメーションであれば、フレームレートが高いほうが多くのメモリアクセスを必要とするので、必要とされるデータ転送能力は高くなる。
【０１５５】
また、描画プロセッサがデータをメモリに記憶する際に、データを圧縮するような場合、圧縮率が低いデータのほうがメモリに転送するデータの量が大きくなるので、必要とされるデータ転送能力は高くなる。この場合、例えばグラデーション画像を描画するケースとベタ塗りつぶし画像を描画するケースで比較すると、グラデーションを描画するケースのほうが必要とされるデータ転送能力は高くなる。
【０１５６】
また、バースト転送を前提に設計されたシステムにおいて、バースト長が短いデータアクセスを多数行う場合、データ転送間のオーバーヘッドが多く発生するため、データ転送効率が低下する。このような場合もフレームメモリに対するデータ転送の必要数は高く設定する必要が生ずる。
【０１５７】
画像処理装置５０は、予め描画オブジェクト毎にフレームメモリに対するデータ転送の必要量を求め、これを数値化する。そしてこれをプログラムに書き込む形で記憶してある。
【０１５８】
図２１、図２２を用いて描画処理の動作を説明する。
【０１５９】
本実施例はオペレーティングシステムを用いてマルチタスクを実現したシステムである。よってそれぞれのタスクについて説明を行う。
【０１６０】
図２１は初期化処理の流れを示すフローチャートである。
【０１６１】
描画プロセッサ１００は、Ｓ５００１でＥＮ＿Ａレジスタに、Ｓ５００２でＥＮ＿Ｂレジスタに、Ｓ５００３でＥＮ＿Ｃレジスタに、フレーム間補間方式を示すパラメータをセットする。これにより、画像処理装置５０は、この時点ではフレームレート変換をフレーム間補間方式で行う。
【０１６２】
次に描画プロセッサ１００はＳ５００４でＱ閾値をＱ閾値レジスタにセットする。Ｑ閾値の値は、事前に本処理のプログラムに設定されたパラメータである。
【０１６３】
図２２は、描画プロセッサ１００がイメージデータを描画する場合の処理の流れを示すフローチャートである。
【０１６４】
描画処理は領域Ａ、Ｂ、Ｃのいずれかが代入されるｎと描画領域を示す座標とその領域に関するＱ値を引数とする処理で、リエントラントに呼び出すことが可能であり、それぞれの領域に対する描画処理を、マルチタスクにより同時進行させる。
【０１６５】
描画処理が呼び出されると、本フローチャートの処理が開始する。
【０１６６】
Ｓ５１０１で、描画プロセッサ１００は、矩形領域ｎ（ｎは引数で与えられた値でＡ、Ｂ、Ｃのいずれか）とｎに対応する領域の座標をＥＸＡｒｅａレジスタｎ（ｎは引数で与えられた値でＡ、Ｂ、Ｃのいずれか）にセットする。
【０１６７】
Ｓ５１０２で、描画プロセッサ１００は、その領域に関するデータ転送の必要量を数値化した値をｎ領域Ｑレジスタ（ｎは引数で与えられた値でＡ、Ｂ、Ｃのいずれか）にセットする。
【０１６８】
Ｓ５１０３で、描画プロセッサ１００は、ＥＮ＿ｎレジスタ（ｎは引数で与えられた値でＡ、Ｂ、Ｃのいずれか）に対して、フレームレート変換方式として自動変更を示すパラメータをセットする。
【０１６９】
この時点で、コントローラ５００はそれぞれの領域について、設定されたＱ値をＱ閾値と比較する。Ｑ閾値と比較して高いＱ値を持つ領域を認識し、この領域に関しては補間フレーム生成回路と出力回路３１４を制御することにより、フレームレート変換方式をフレームダブリング方式に変更する。
【０１７０】
Ｓ５１０４で、描画プロセッサ１００は、領域ｎ（ｎは引数で与えられた値でＡ、Ｂ、Ｃのいずれか）に関する描画処理を開始する。アニメーション画像である場合はＳ５１０５にて描画処理を終了するか否かを判定し、まだアニメーションの描画を続ける場合はＳ５０１４に戻り、描画を終了する場合はＳ５１０６に進む。
【０１７１】
Ｓ５１０６で、描画プロセッサ１００は、ＥＮ＿ｎレジスタ（ｎは引数で与えられた値でＡ、Ｂ、Ｃのいずれか）に対して、フレームレート変換方式とフレーム間補間方式を示すパラメータをセットする。
【０１７２】
以上説明したように、本実施形態によれば、描画プロセッサ１００がイメージデータを生成する場合であっても、描画プロセッサ１００がＤＲＡＭ１０１に対して送受信するデータ量が予め定められた閾値以下の場合、補間フレームデータが生成される。
【０１７３】
これにより、描画プロセッサ１００がＤＲＡＭ１０１に対してそれほど多くの転送帯域を必要としない場合、ビデオデータの画質が向上する。
【０１７４】
［第６の実施形態］
第６の実施形態では、描画プロセッサ１００がイメージデータを描画する際に、画像処理装置ではなく、表示装置のコントローラがダブリング方式によるフレームレートの高速化を行うことにより、描画プロセッサ１００が使用可能な転送帯域を増加させる。
【０１７５】
図２３は、第６の実施形態に係る画像処理装置６０、及び表示装置コントローラ６５の構成を示す図である。図６において、画像処理装置１０と同一の構成要素には同一の符号を付し、説明を省略する。
【０１７６】
６００は集積回路であり、表示装置（ディスプレイパネル）を制御すると共にビデオデータの補正処理を行う。６０１はＤＲＡＭ、６０２はメモリコントローラ、６０３はバス、６０４及び６０５はダイレクトメモリアクセスコントローラ（ＤＭＡＣ）である。
【０１７７】
６２３はコントローラであり、集積回路６００に制御信号を出力する。６２４は出力回路であり、ＤＲＡＭ１０１から１２０ｆｐｓあるいは６０ｆｐｓでビデオデータを読み出して出力する。
【０１７８】
６１０は出力ポートであり、ディスプレイパネルの駆動回路に接続される。
【０１７９】
描画プロセッサ１００がイメージデータの描画を行わない場合、ＤＭＡＣ１０７はビデオデータをオリジナルフレームのデータとしてＤＲＡＭ１０１に書き込み転送する。補間フレーム生成回路１２２はＤＲＡＭ１０１からオリジナルフレームのデータを読み出し、これから補間フレームデータを生成してＤＲＡＭ１０１に書き込み転送する。出力回路６２４はＤＲＡＭ１０１からオリジナルフレームのデータと補間フレームデータを順次読み出し、１２０ｆｐｓのフレームレートで補正回路１２７に出力する。補正回路１２７の出力は集積回路６００に入力される。
【０１８０】
ＤＭＡＣ６０４は受け取ったビデオデータをバス６０３を経由してメモリコントローラ６０２に転送し、メモリコントローラ６０２はビデオデータをＤＲＡＭ６０１に記録する。ＤＭＡＣ６０５はメモリコントローラ６０２とバス６０３を経由してＤＲＡＭ６０１から１２０ｆｐｓのフレームレートで読み出し、出力回路６０６に出力する。出力回路６０６が出力するビデオデータは補正回路６０７で補正処理され出力ポート６１０から出力される。
【０１８１】
一方、描画プロセッサ１００がイメージデータの描画を行う場合、ＤＭＡＣ１０７はビデオデータをオリジナルフレームのデータとしてＤＲＡＭ１０１に書き込み転送する。コントローラ６２３は補間フレームデータの生成を停止するように補間フレーム生成回路１２２を制御する。また、ビデオデータのフレームレート（例えば、６０ｆｐｓ）でオリジナルフレームのデータをＤＲＡＭ１０１から読み出すように出力回路６２４を制御する。更に、ビデオデータのフレームレートよりも高速（例えば、１２０ｆｐｓ）にオリジナルのフレームデータを繰り返しＤＲＡＭ６０１から読み出すように出力回路６０６を制御する。
【０１８２】
このように、本実施形態では、描画プロセッサ１００がイメージデータを描画する際には、出力回路６０６がＤＲＡＭ６０１を利用してフレームダブリング処理を行う。そして、出力回路６２４はフレームダブリング処理を行わない。そのため、第１の実施形態と比べて、出力回路６２４が消費するＤＲＡＭ１０１の転送帯域が半分になる。
【０１８３】
従って、描画プロセッサ１００が使用可能なＤＲＡＭ１０１の転送帯域が増加し、転送帯域の不足が原因で高度な画像を表現するイメージデータを生成することができない状況が発生することが抑制される。
【０１８４】
［その他の実施形態］
上述した各実施形態の機能を実現するためには、各機能を具現化したソフトウェアのプログラムコードを記録した記憶媒体をシステム或は装置に提供してもよい。そして、そのシステム或は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによって、上述した各実施形態の機能が実現される。この場合、記憶媒体から読み出されたプログラムコード自体が上述した各実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フロッピィ（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスクなどを用いることができる。或いは、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることもできる。
【０１８５】
また、上述した各実施形態の機能を実現するための構成は、コンピュータが読み出したプログラムコードを実行することだけには限られない。そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって上述した各実施形態の機能が実現される場合も含まれている。
【０１８６】
更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれてもよい。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって上述した各実施形態の機能が実現される場合も含むものである。
【図面の簡単な説明】
【０１８７】
【図１】本発明の技術を適用した、第１の実施形態に係る画像処理装置の構成を示す図である。
【図２】補間フレームデータ生成処理の一例を示す図である。
【図３】フレームダブリング処理の概念図である。
【図４】出力回路が補間フレームデータを生成する場合におけるＤＲＡＭの転送帯域の消費量の概念図である。
【図５】出力回路が補間フレームデータを生成しない場合におけるＤＲＡＭの転送帯域の消費量の概念図である。
【図６】映像の右下に小さな操作メニューが表示された様子を示す図である。
【図７】映像の中央付近に大きな番組表が表示された様子を示す図である。
【図８】第１の実施形態の一態様における処理の流れを示すフローチャートである。
【図９】第２の実施形態の概念図である。
【図１０】第２の実施形態に係る画像処理装置の構成を示す図である。
【図１１】第２の実施形態における処理の流れを示すフローチャートである。
【図１２】第２の実施形態においてフレーム内において領域を指定するための座標の様子を示す図である。
【図１３】第２の実施形態において出力回路がＤＲＡＭからデータを読み出す様子を示す図である。
【図１４】第２の実施形態における、メモリ帯域の状態と描画プロセッサの動作を説明する図である。
【図１５】第２の実施形態の他の態様を示す概念図である。
【図１６】第３の実施形態に係る画像処理装置の構成を示す図である。
【図１７】第３の実施形態に係るビデオデータの表示例を示す図である。
【図１８】第３の実施形態における処理の流れを示すフローチャートである。
【図１９】第４の実施形態に係る画像処理装置の構成を示す図である。
【図２０】第５の実施形態に係る画像処理装置の構成を示す図である。
【図２１】第５の実施形態に係る初期化処理の流れを示すフローチャートである。
【図２２】第５の実施形態において描画プロセッサがイメージデータを描画する場合の処理の流れを示すフローチャートである。
【図２３】第６の実施形態に係る画像処理装置６０、及び表示装置コントローラ６５の構成を示す図である。
【特許請求の範囲】
【請求項１】
ビデオデータの各フレームデータを順次記憶するメモリと、
前記各フレームデータの間に挿入される補間フレームデータを生成し、前記メモリに格納する補間手段と、
前記各フレームデータ及び前記補間フレームデータを、前記ビデオデータのフレームレートよりも高いフレームレートで前記メモリから順次読み出す読み出し手段と、
前記各フレームデータに合成されるイメージデータを生成し、前記メモリに格納する生成手段と、
前記生成手段の出力に応じて、前記補間フレームデータの生成を停止するように前記補間手段を制御すると共に、前記補間フレームデータの代わりに前記各フレームデータを重複して読み出すように前記読み出し手段を制御する制御手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記制御手段は、前記イメージデータの画素数が予め定められた閾値以下の場合、前記補間フレームデータの生成を実行するように前記補間手段を制御する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記制御手段は、前記各フレームデータにおいて前記イメージデータが合成される領域以外の領域については、前記補間フレームデータの生成を実行するように前記補間手段を制御すると共に、前記各フレームデータにおいて前記イメージデータが合成される領域については、前記補間フレームデータの代わりに前記各フレームデータを重複して読み出すように前記読み出し手段を制御する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記制御手段は、前記各フレームデータにおいて前記イメージデータが合成される領域以外の領域、及び合成された前記イメージデータの透明度が予め定められた度合い以上の領域については、前記補間フレームデータの生成を実行するように前記補間手段を制御すると共に、合成された前記イメージデータの透明度が前記予め定められた度合い未満の領域については、前記補間フレームデータの代わりに前記各フレームデータを重複して読み出すように前記読み出し手段を制御する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記制御手段は、前記生成手段が前記メモリに対して送受信するデータ量が予め定められた閾値以下の場合、前記補間フレームデータの生成を実行するように前記補間手段を制御する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記制御手段は、前記補間フレームデータの生成を停止する代わりに、前記メモリに対するデータ転送量がより少ない他のアルゴリズムで前記補間フレームデータを生成するように前記補間手段を制御する
ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
ビデオデータの各フレームデータを順次記憶するメモリと、
第１のフォーマットの前記各フレームデータを、前記第１のフォーマットよりもデータ量が減少する第２のフォーマットに変換する第１の変換手段と、
前記各フレームデータの間に挿入される補間フレームデータを、前記第１のフォーマット、又は前記第２のフォーマットで生成し、前記メモリに格納する補間手段と、
前記第２のフォーマットの前記各フレームデータ及び前記補間フレームデータを、前記第１のフォーマットに変換する第２の変換手段と、
前記各フレームデータ及び前記補間フレームデータを、前記ビデオデータのフレームレートよりも高いフレームレートで前記メモリから順次読み出す読み出し手段と、
前記各フレームデータに合成されるイメージデータを生成し、前記メモリに格納する生成手段と、
前記生成手段の出力の応じて、前記各フレームデータを前記第１の変換手段により前記第２のフォーマットに変換してから記憶するように前記記憶手段を制御し、前記第２のフォーマットの補間フレームデータを生成するように前記補間手段を制御し、更に、前記読み出し手段による読み出しの前に前記第２のフォーマットの前記各フレームデータ及び前記補間フレームデータを前記第１のフォーマットに変換するように前記第２の変換手段を制御する制御手段と、
を備えることを特徴とする画像処理装置。
【請求項８】
前記イメージデータの画素数が予め定められた閾値以下の場合は、前記制御手段による制御は実行されないことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
ビデオデータの各フレームデータを順次メモリに記憶する記憶工程と、
前記各フレームデータの間に挿入される補間フレームデータを生成し、前記メモリに生成する補間工程と、
前記各フレームデータ及び前記補間フレームデータを、前記ビデオデータのフレームレートよりも高いフレームレートで前記メモリから順次読み出す読み出し工程と、
前記各フレームデータに合成されるイメージデータを生成して前記メモリに格納する生成工程と、
前記生成工程での出力に応じて、前記補間フレームデータの生成を停止するように前記補間工程を制御すると共に、前記補間フレームデータの代わりに前記各フレームデータを重複して読み出すように前記読み出し工程を制御する制御工程と、
を備えることを特徴とする画像処理方法。
【請求項１】
ビデオデータの各フレームデータを順次記憶するメモリと、
前記各フレームデータの間に挿入される補間フレームデータを生成し、前記メモリに格納する補間手段と、
前記各フレームデータ及び前記補間フレームデータを、前記ビデオデータのフレームレートよりも高いフレームレートで前記メモリから順次読み出す読み出し手段と、
前記各フレームデータに合成されるイメージデータを生成し、前記メモリに格納する生成手段と、
前記生成手段の出力に応じて、前記補間フレームデータの生成を停止するように前記補間手段を制御すると共に、前記補間フレームデータの代わりに前記各フレームデータを重複して読み出すように前記読み出し手段を制御する制御手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記制御手段は、前記イメージデータの画素数が予め定められた閾値以下の場合、前記補間フレームデータの生成を実行するように前記補間手段を制御する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記制御手段は、前記各フレームデータにおいて前記イメージデータが合成される領域以外の領域については、前記補間フレームデータの生成を実行するように前記補間手段を制御すると共に、前記各フレームデータにおいて前記イメージデータが合成される領域については、前記補間フレームデータの代わりに前記各フレームデータを重複して読み出すように前記読み出し手段を制御する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記制御手段は、前記各フレームデータにおいて前記イメージデータが合成される領域以外の領域、及び合成された前記イメージデータの透明度が予め定められた度合い以上の領域については、前記補間フレームデータの生成を実行するように前記補間手段を制御すると共に、合成された前記イメージデータの透明度が前記予め定められた度合い未満の領域については、前記補間フレームデータの代わりに前記各フレームデータを重複して読み出すように前記読み出し手段を制御する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記制御手段は、前記生成手段が前記メモリに対して送受信するデータ量が予め定められた閾値以下の場合、前記補間フレームデータの生成を実行するように前記補間手段を制御する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記制御手段は、前記補間フレームデータの生成を停止する代わりに、前記メモリに対するデータ転送量がより少ない他のアルゴリズムで前記補間フレームデータを生成するように前記補間手段を制御する
ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
ビデオデータの各フレームデータを順次記憶するメモリと、
第１のフォーマットの前記各フレームデータを、前記第１のフォーマットよりもデータ量が減少する第２のフォーマットに変換する第１の変換手段と、
前記各フレームデータの間に挿入される補間フレームデータを、前記第１のフォーマット、又は前記第２のフォーマットで生成し、前記メモリに格納する補間手段と、
前記第２のフォーマットの前記各フレームデータ及び前記補間フレームデータを、前記第１のフォーマットに変換する第２の変換手段と、
前記各フレームデータ及び前記補間フレームデータを、前記ビデオデータのフレームレートよりも高いフレームレートで前記メモリから順次読み出す読み出し手段と、
前記各フレームデータに合成されるイメージデータを生成し、前記メモリに格納する生成手段と、
前記生成手段の出力の応じて、前記各フレームデータを前記第１の変換手段により前記第２のフォーマットに変換してから記憶するように前記記憶手段を制御し、前記第２のフォーマットの補間フレームデータを生成するように前記補間手段を制御し、更に、前記読み出し手段による読み出しの前に前記第２のフォーマットの前記各フレームデータ及び前記補間フレームデータを前記第１のフォーマットに変換するように前記第２の変換手段を制御する制御手段と、
を備えることを特徴とする画像処理装置。
【請求項８】
前記イメージデータの画素数が予め定められた閾値以下の場合は、前記制御手段による制御は実行されないことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
ビデオデータの各フレームデータを順次メモリに記憶する記憶工程と、
前記各フレームデータの間に挿入される補間フレームデータを生成し、前記メモリに生成する補間工程と、
前記各フレームデータ及び前記補間フレームデータを、前記ビデオデータのフレームレートよりも高いフレームレートで前記メモリから順次読み出す読み出し工程と、
前記各フレームデータに合成されるイメージデータを生成して前記メモリに格納する生成工程と、
前記生成工程での出力に応じて、前記補間フレームデータの生成を停止するように前記補間工程を制御すると共に、前記補間フレームデータの代わりに前記各フレームデータを重複して読み出すように前記読み出し工程を制御する制御工程と、
を備えることを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【公開番号】特開２００８−２２８２３３（Ｐ２００８−２２８２３３Ａ）
【公開日】平成２０年９月２５日（２００８．９．２５）
【国際特許分類】
【出願番号】特願２００７−６７５９６（Ｐ２００７−６７５９６）
【出願日】平成１９年３月１５日（２００７．３．１５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２０年９月２５日（２００８．９．２５）
【国際特許分類】
【出願日】平成１９年３月１５日（２００７．３．１５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]