画像処理装置
【課題】低コストで処理性能を向上することができる画像処理装置を提供すること。
【解決手段】画像処理装置１００は、ビデオ入力部１４０と描画部１５０とビデオ出力部１６０がアクセスするバンクを複数のフレームメモリ１２０，１３０に分けて割り当て、ビデオ入力部１４０と描画部１５０とビデオ出力部１６０といったマスタ部からのアクセス要求を調停し、それぞれのフレームメモリ１２０，１３０に複数のマスタ部が並行にアクセスできるようにデータ転送を制御するメモリコントローラ部１９０を備える。
【解決手段】画像処理装置１００は、ビデオ入力部１４０と描画部１５０とビデオ出力部１６０がアクセスするバンクを複数のフレームメモリ１２０，１３０に分けて割り当て、ビデオ入力部１４０と描画部１５０とビデオ出力部１６０といったマスタ部からのアクセス要求を調停し、それぞれのフレームメモリ１２０，１３０に複数のマスタ部が並行にアクセスできるようにデータ転送を制御するメモリコントローラ部１９０を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ入力映像及びグラフィックを重畳して表示する画像処理装置に関する。
【背景技術】
【０００２】
近年、ディスプレイに複数の画像を重畳して表示するシステムが増えている。特に、車載用のディスプレイの場合、エアコンの操作画面やカーナビゲーション画面、ＤＶＤ（Digital Versatile Disk）やＴＶの映像等、様々な画像を重畳して表示することが求められている。
【０００３】
従来、複数の画像を重畳して表示する方法として、複数のビデオ入力画像と描画それぞれに対応したフレームメモリを持つ方法が提案されている（例えば、特許文献１参照）。
【特許文献１】特開２００４−２５２４８１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、このような従来の画像処理装置にあっては、以下のような問題点があった。
【０００５】
（１）複数のビデオ入力画像とグラフィックそれぞれに対応したフレームメモリを持つため、コストが高くなる。
【０００６】
（２）各メモリがダブルバッファリング領域を持ち、一般的なシングルポートメモリだと、メモリライト動作とメモリリード動作が競合して処理性能が低下する。
【０００７】
本発明は、かかる点に鑑みてなされたものであり、低コストで処理性能を向上することができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の画像処理装置は、複数のフレームメモリと、前記複数のフレームメモリに対してアクセスする複数のマスタ部と、前記複数のマスタ部からのアクセス要求を調停し、それぞれの前記フレームメモリに前記複数のマスタ部が並行にアクセスできるようにデータ転送を制御するメモリコントローラ部と、前記複数のフレームメモリに対して前記メモリコントローラ部を介して映像入力データを書き込むビデオ入力部と、前記複数のフレームメモリに格納されているデータを、前記メモリコントローラ部を介して読み出しディスプレイに表示するビデオ出力部とを備え、前記メモリコントローラ部は、前記ビデオ入力部と前記ビデオ出力部がアクセスする複数のバンクを前記複数のフレームメモリに分けて割り当て、前記ビデオ出力部は前記ビデオ入力部が書き込み完了した最後のバンクを読み出す構成を採る。
【発明の効果】
【０００９】
本発明によれば、複数のマスタ部が並行にアクセスできるようにデータ転送を制御するメモリコントローラ部を有することにより、ビデオ入力映像や描画それぞれに対応したフレームメモリを持つ必要がなく、ビデオ入力や描画、表示のフレームメモリへのアクセスを並列で行うことができるため、低コストで処理性能を向上させることができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００１１】
（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。本実施の形態は、ビデオ入力映像やグラフィックを重畳して表示する画像処理装置に適用した例である。
【００１２】
図１において、画像処理装置１００は、システムメモリ１１０、フレームメモリ１２０、フレームメモリ１３０、ビデオ入力部１４０、描画部１５０、ビデオ出力部１６０、ディスプレイ１７０、制御部１８０、及びメモリコントローラ部１９０を備えて構成される。また、ビデオ入力部１４０には、カメラ２１０、ＤＶＤ２１１及びＴＶ２１２が、ビデオ選択部２１３を介して接続される。ビデオ選択部２１３は、カメラ２１０、ＤＶＤ２１１、ＴＶ２１２から出力される映像信号を選択する。
【００１３】
システムメモリ１１０は、ビデオ入出力の制御や描画制御といったアプリケーションプログラムや、描画で用いるテクスチャデータを格納する。システムメモリ１１０は、一般的にはＲＯＭやフラッシュメモリが用いられるが、ＳＲＡＭやＤＲＡＭ等のＲＡＭを用いてもよい。
【００１４】
フレームメモリ１２０，１３０は、ビデオ入力画像や描画データ、演算結果を格納する。フレームメモリ１２０，１３０は、一般的にはＤＲＡＭが用いられるが、ＳＲＡＭやフラッシュメモリ、ハードディスクを用いてもよい。また、フレームメモリ１２０、フレームメモリ１３０のどちらもシステムＬＳＩに内蔵してもよいし、どちらか一方あるいは両方とも外付けの構成にしてもよい。
【００１５】
ビデオ入力部１４０は、フレームメモリ１２０，１３０に対してメモリコントローラ部１９０を介して映像入力データを書き込む。ビデオ入力部１４０には、ビデオ選択部２１３で選択した映像信号が入力され、ビデオ入力部１４０は、入力された映像の垂直同期信号と水平同期信号に基づき、メモリコントローラ部１９０を介してフレームメモリ１２０あるいはフレームメモリ１３０に映像データを書き込む。
【００１６】
なお、カメラ２１０、ＤＶＤ２１１、ＴＶ２１２は映像信号を出力するブロックの一例として挙げただけで、その他の映像信号を出力するものでも構わない。
【００１７】
描画部１５０は、メモリコントローラ部１９０を介してシステムメモリ１１０に格納されているテクスチャデータを読み出し、制御部１８０からの指令に基づき、線や三角形、矩形の図形に対してテクスチャマッピングやアルファブレンド処理を行った描画データを、メモリコントローラ部１９０を介してフレームメモリ１２０あるいはフレームメモリ１３０に書き込む。描画部１５０の内部構成については、図２により後述する。
【００１８】
なお、システムメモリ１１０とアクセスするためのデータバスと、フレームメモリ１２０あるいはフレームメモリ１３０とアクセスするためのデータバスは、独立していてもよいし、共有していてもよい。
【００１９】
ビデオ出力部１６０は、フレームメモリ１２０，１３０に格納されているデータを、メモリコントローラ部１９０を介して読み出しディスプレイ１７０に表示する。ビデオ出力部１６０は、メモリコントローラ部１９０を介してフレームメモリ１２０あるいはフレームメモリ１３０に格納されている画像データを読み出し、レイヤ合成や画質調整処理を行った後、ディスプレイ１７０に表示する。
【００２０】
上記ビデオ入力部１４０とビデオ出力部１６０は、アクセスする複数のバンクを複数のフレームメモリ１２０，１３０に分けて割り当て、上記ビデオ出力部１６０は、ビデオ入力部１４０が書き込み完了した最後のバンクを読み出す。
【００２１】
制御部１８０は、システムメモリ１１０に格納されているアプリケーションプログラムに基づいて、ビデオ入力部１４０、描画部１５０、ビデオ出力部１６０、メモリコントローラ部１９０の制御を行う。また、制御部１８０はＪＰＥＧデコード等の演算結果を、メモリコントローラ部１９０を介してフレームメモリ１２０あるいはフレームメモリ１３０に書き込む。具体的には、制御部１８０は、ビデオ入力部１４０とビデオ出力部１６０のメモリアクセス開始・終了タイミングや、どのフレームメモリ１２０，１３０にアクセスしているかの情報から、無アクセス状態となっているフレームメモリ１２０，１３０に対して演算結果を書き込む。
【００２２】
メモリコントローラ部１９０は、フレームメモリ１２０，１３０に対してアクセスするブロック（マスタ部）からのアクセス要求を調停し、それぞれのフレームメモリ１２０，１３０に複数のマスタ部が並行にアクセスできるようにデータ転送を制御する。ここでは、メモリコントローラ部１９０は、ビデオ入力部１４０、描画部１５０、ビデオ出力部１６０、制御部１８０といったマスタ部からのメモリアクセス要求を調停し、システムメモリ１１０、フレームメモリ１２０、フレームメモリ１３０に複数のマスタ部が並行にアクセスできるようにデータ転送を制御する。
【００２３】
例えば、メモリコントローラ部１９０は、制御部１８０がシステムメモリ１１０に、ビデオ入力部１４０がフレームメモリ１２０に、描画部１５０がフレームメモリ１３０に、ビデオ出力部１６０がフレームメモリ１３０にアクセス要求した場合、制御部１８０とシステムメモリ１１０とのデータ転送と、ビデオ入力部１４０とフレームメモリ１２０とのデータ転送と、ビデオ出力部１６０とフレームメモリ１３０とのデータ転送が並行して実行されるように制御する。これにより、ビデオ出力部１６０のデータ転送が終了した後に描画部１５０のデータ転送が開始される。
【００２４】
その上で、メモリコントローラ部１９０は、各マスタ部が次にどのバンクをアクセスするか決める時に、各フレームメモリ１２０，１３０に対する各マスタ部のアクセス状況から、最もアクセスされる要因の小さいフレームメモリに割り当てられているバンクを選択する。
【００２５】
メモリコントローラ部１９０は、描画部１５０とビデオ出力部１６０がアクセスする複数のバンクを複数のフレームメモリ１２０，１３０に分けて割り当て、描画部１５０が次にどのバンクをアクセスするか決める時に、ビデオ入力部１４０とビデオ出力部１６０がそれぞれどのフレームメモリ１２０，１３０にアクセス中か、あるいは、どのフレームメモリ１２０，１３０にもアクセスしていない状態で、次にどのフレームメモリ１２０，１３０をアクセスするかの情報と描画部１５０が前回アクセス完了したバンク情報から、最もアクセスされる要因の小さいフレームメモリ１２０，１３０に割り当てられているバンクを選択する。
【００２６】
図２は、上記描画部１５０の内部構成を示す図である。
【００２７】
図２において、描画部１５０は、複数のテクスチャメモリ１５１，１５２、テクスチャロード部１５３、及びピクセル生成部１５４を備えて構成される。
【００２８】
テクスチャメモリ１５１，１５２は、テクスチャデータを格納するためのメモリである。
【００２９】
テクスチャロード部１５３は、メモリコントローラ部１９０を介してシステムメモリ１１０に格納されているテクスチャデータを読み出し、一方のテクスチャメモリ１５１、あるいはテクスチャメモリ１５２にテクスチャデータを書き込む。
【００３０】
ピクセル生成部１５４は、テクスチャメモリ１５１、あるいはテクスチャメモリ１５２に格納されているテクスチャデータを読み出し、線や三角形、矩形の図形に対してテクスチャマッピングやアルファブレンド処理を行って生成した描画データを、メモリコントローラ部１９０を介してフレームメモリ１２０あるいはフレームメモリ１３０に書き込む。
【００３１】
上記、ピクセル生成部１５４が描画データをフレームメモリ１２０，１３０に書き込むのと並行に、テクスチャロード部１５３が次の図形のテクスチャデータをフレームメモリ１２０，１３０から読み出す。
【００３２】
また、本実施の形態では、テクスチャデータをシステムメモリ１１０からフレームメモリ１２０，１３０に転送した後、描画部１５０がフレームメモリ１２０，１３０からテクスチャデータを読み出す。
【００３３】
また、ビデオ入力部１４０がフレームメモリ１２０，１３０に書き込んだ映像データをテクスチャデータとして、描画部１５０が読み出す。
【００３４】
なお、テクスチャロード部１５３とピクセル生成部１５４は、それぞれメモリコントローラ部１９０に対して並列にデータ転送を行う。このため、テクスチャロード部１５３とピクセル生成部１５４がそれぞれメモリコントローラ部１９０にアクセスするデータバスは独立している必要がある。
【００３５】
また、テクスチャロード部１５３とピクセル生成部１５４は、それぞれ異なるテクスチャメモリをアクセスする。
【００３６】
以下、上述のように構成された画像処理装置１００の動作について説明する。
【００３７】
[ビデオ入力部１４０]
図３は、ビデオ入力部１４０のビデオ入力の有効データ領域、及びブランキング領域を示す図である。
【００３８】
水平同期信号ＶＩＨＳＹＮＣは、期間ＶＩＨＣの周期でビデオ入力部１４０に入力される。
【００３９】
垂直同期信号ＶＩＶＳＹＮＣは、期間ＶＩＶＣの周期でビデオ入力部１４０に入力される。
【００４０】
ＶＩＨＳＹＮＣの立下りを基準として、図示しないビデオ入力クロックＶＩＣＬＫでのサイクル数ＶＩＨＤＳからＶＩＨＤＥまでの期間が水平方向の有効データ領域であり、ＶＩＶＳＹＮＣの立下りを基準として、水平ライン数ＶＩＶＤＳからＶＩＶＤＥまでの期間が垂直方向の有効データ領域である。
【００４１】
なお、ＶＩＣＬＫはＷＶＧＡ（横８００画素×縦４８０画素）の場合、３３ＭＨｚの周波数が用いられる。また、ＶＩＣＬＫは総画素数によって周波数が異なる。
【００４２】
図４は、ビデオ入力部１４０の処理タイミングを示すタイミングチャートである。
【００４３】
図４中、ＶＩＶＤＳからＶＩＶＤＥまでの期間が垂直処理期間、ＶＩＨＤＳからＶＩＨＤＥまでの期間が水平処理期間である。ビデオ入力部１４０は、水平処理期間でメモリコントローラ部１９０を介してフレームメモリ１２０あるいはフレームメモリ１３０に映像データを書き込む。また、ビデオ入力部１４０は、ＶＩＶＤＳ、ＶＩＶＤＥ、ＶＩＨＤＳ、ＶＩＨＤＥそれぞれのタイミングで制御部１８０にフラグを出力する。
【００４４】
[ビデオ出力部１６０]
図５は、ビデオ出力部１６０のビデオ出力の有効表示領域、及びブランキング領域を示す図である。
【００４５】
水平同期信号ＶＯＨＳＹＮＣは、期間ＶＯＨＣの周期でビデオ出力部１６０から出力され、ディスプレイ１７０に入力される。
【００４６】
垂直同期信号ＶＯＶＳＹＮＣは、期間ＶＯＶＣの周期でビデオ出力部１６０から出力され、ディスプレイ１７０に入力される。
【００４７】
ＶＯＨＳＹＮＣの立下りを基準として、図示しないビデオ出力クロックＶＯＣＬＫでのサイクル数ＶＯＨＤＳからＶＯＨＤＥまでの期間が水平方向の有効表示領域であり、ＶＯＶＳＹＮＣの立下りを基準として、水平ライン数ＶＯＶＤＳからＶＯＶＤＥまでの期間が垂直方向の有効表示領域である。
【００４８】
なお、ＶＯＣＬＫはＷＶＧＡ（横８００画素×縦４８０画素）の場合、３３ＭＨｚの周波数が用いられる。また、ＶＯＣＬＫは総画素数によって周波数が異なる。
【００４９】
図６は、ビデオ出力部１６０の処理タイミングを示すタイミングチャートである。
【００５０】
図６中、ＶＯＶＤＳからＶＯＶＤＥまでの期間が垂直処理期間で、ＶＯＨＤＳからＶＯＨＤＥまでの期間が水平処理期間である。ビデオ出力部１６０は、水平処理期間でメモリコントローラ部１９０を介してフレームメモリ１２０あるいはフレームメモリ１３０から画像データを読み出して、ディスプレイ１７０に出力する。また、ビデオ出力部１６０は、ＶＯＶＤＳ、ＶＯＶＤＥ、ＶＯＨＤＳ、ＶＯＨＤＥそれぞれのタイミングで制御部１８０にフラグを出力する。
【００５１】
[フレームメモリ１２０，１３０にバンクを３つ（バンク０〜２）割り当てた場合]
図７は、フレームメモリ１２０とフレームメモリ１３０に、ビデオ入力部１４０とビデオ出力部１６０がアクセスするバンクを３つ（バンク０〜２）割り当てた場合のメモリ内容を示す図である。
【００５２】
制御部１８０が、ビデオ入力部１４０とビデオ出力部１６０に対して、フレームメモリ１２０とフレームメモリ１３０に割り当てるバンクの画像サイズとベースアドレスを設定する。図７の例では、偶数バンクであるバンク０とバンク２がフレームメモリ１２０に、奇数バンクであるバンク１がフレームメモリ１３０に割り当てられている。
【００５３】
まず、ＶＩＶＳＹＮＣとＶＯＶＳＹＮＣの周期が同じ場合について説明する。
【００５４】
図８は、ＶＩＶＳＹＮＣとＶＯＶＳＹＮＣの周期が同じ場合に、ビデオ入力部１４０とビデオ出力部１６０が、フレームメモリ１２０とフレームメモリ１３０に割り当てられているバンクをアクセスするタイミングを示すタイミングチャートである。
【００５５】
ビデオ入力部１４０が、各バンクにデータを書き込む期間は、図４の垂直処理期間と同じである。また、ビデオ出力部１６０が、各バンクからデータを読み出す期間は、図６の垂直処理期間と同じである。
【００５６】
期間１−Ａでは、ビデオ入力部１４０がフレームメモリ１２０に割り当てられているバンク０にデータを書き込む。
【００５７】
制御部１８０は、ビデオ入力部１４０から出力されるＶＩＶＤＳフラグによって、ビデオ入力部１４０がどのバンクにデータ書込みを開始したか認識し、ＶＩＶＤＥフラグによって、ビデオ入力部１４０がデータ書込みを終了したことを認識する。
【００５８】
期間１−Ｂでは、ビデオ入力部１４０がフレームメモリ１３０に割り当てられているバンク１にデータを書き込むのと並行して、ビデオ出力部１６０がフレームメモリ１２０に割り当てられているバンク０のデータを読み出す。
【００５９】
ビデオ出力部１６０は、ビデオ入力部１４０がデータを書き込み完了した最後のバンクを読み出すように制御部１８０によって制御される。なお、ビデオ入力部１４０から出力されるＶＩＶＤＥフラグをビデオ出力部１６０が受け取り、制御部１８０を介さずに、ビデオ入力部１４０がデータを書き込み完了した最後のバンクをビデオ出力部１６０が認識するようにしてもよい。
【００６０】
期間１−Ｃでは、ビデオ入力部１４０がフレームメモリ１２０に割り当てられているバンク２にデータを書き込むのと並行して、ビデオ出力部１６０がフレームメモリ１３０に割り当てられているバンク１のデータを読み出す。
【００６１】
期間１−Ｄでは、ビデオ入力部１４０がフレームメモリ１２０に割り当てられているバンク０にデータを書き込み、ビデオ出力部１６０がフレームメモリ１２０に割り当てられているバンク２のデータを読み出す。この期間では、ビデオ入力部１４０とビデオ出力部１６０が同じフレームメモリ１２０をアクセスするため、同時にメモリアクセスできず、処理が待たされる時が発生する。
【００６２】
期間１−Ｂや期間１−Ｃでは、ビデオ入力部１４０のメモリ書込みとビデオ出力部１６０のメモリ読み出しが同時に実行できるため、高速に処理できる。
【００６３】
また、制御部１８０は、ビデオ入力部１４０とビデオ出力部１６０のメモリアクセス開始・終了タイミングや、どのフレームメモリにアクセスしているか把握できるため、期間１−Ａと期間１−Ｄでフレームメモリ１３０のみが無アクセス状態、期間１−Ａ〜１−Ｄを除く期間でフレームメモリ１２０とフレームメモリ１３０の両方が無アクセス状態となっていることが分かる。
【００６４】
よって、制御部１８０は、無アクセス状態となっているフレームメモリに対して、演算等の処理を行うことができ、システム全体の性能を向上することができる。
【００６５】
また、フレームメモリ１２０にバンク０とバンク２、フレームメモリ１３０にバンク１とバンク３というように、合計４つのバンクにすることで、期間１−Ｄのように、ビデオ入力部１４０とビデオ出力部１６０が同じフレームメモリをアクセスすることを解消できる。
【００６６】
次に、ＶＩＶＳＹＮＣの周期がＶＯＶＳＹＮＣの周期より短い場合について説明する。
【００６７】
図９は、ＶＩＶＳＹＮＣの周期がＶＯＶＳＹＮＣの周期より短い場合に、ビデオ入力部１４０とビデオ出力部１６０が、フレームメモリ１２０とフレームメモリ１３０に割り当てられているバンクをアクセスするタイミングを示すタイミングチャートである。
【００６８】
期間２−Ａでは、ビデオ入力部１４０がフレームメモリ１２０に割り当てられているバンク０にデータを書き込む。
【００６９】
期間２−Ｂでは、ビデオ入力部１４０がフレームメモリ１３０に割り当てられているバンク１にデータを書き込む。
【００７０】
期間２−Ｃでは、ビデオ入力部１４０がフレームメモリ１３０に割り当てられているバンク１にデータを書き込むのと並行して、ビデオ出力部１６０がフレームメモリ１２０に割り当てられているバンク０のデータを読み出す。
【００７１】
期間２−Ｄでは、ビデオ出力部１６０がフレームメモリ１２０に割り当てられているバンク０のデータを読み出す。
【００７２】
期間２−Ｅでは、ビデオ入力部１４０がフレームメモリ１２０に割り当てられているバンク２にデータを書き込む。
【００７３】
期間２−Ｆでは、ビデオ出力部１６０がフレームメモリ１２０に割り当てられているバンク２のデータを読み出す。バンク１でなくバンク２のデータをビデオ出力部１６０が読み出すのは、バンク２がビデオ入力部１４０によってデータを書き込み完了した最後のバンクになっているためである。よって、バンク１の表示がスキップされる。
【００７４】
期間２−Ｇでは、ビデオ入力部１４０がフレームメモリ１２０に割り当てられているバンク０にデータを書き込み、ビデオ出力部１６０がフレームメモリ１２０に割り当てられているバンク２のデータを読み出す。この期間では、ビデオ入力部１４０とビデオ出力部１６０が同じフレームメモリ１２０をアクセスするため、同時にメモリアクセスできず、処理が待たされる時が発生する。
【００７５】
期間２−Ｈでは、ビデオ入力部１４０がフレームメモリ１２０に割り当てられているバンク０にデータを書き込む。
【００７６】
期間２−Ｉでは、ビデオ出力部１６０がフレームメモリ１２０に割り当てられているバンク０のデータを読み出す。
【００７７】
期間２−Ｊでは、ビデオ入力部１４０がフレームメモリ１３０に割り当てられているバンク１にデータを書き込むのと並行して、ビデオ出力部１６０がフレームメモリ１２０に割り当てられているバンク０のデータを読み出す。
【００７８】
期間２−Ｃと期間２−Ｊでは、ビデオ入力部１４０のメモリ書込みとビデオ出力部１６０のメモリ読み出しが同時に実行できるため、高速に処理できる。
【００７９】
また、制御部１８０は、期間２−Ｂでフレームメモリ１２０のみが無アクセス状態、期間２−Ａと期間２−Ｄ〜２−Ｉでフレームメモリ１３０のみが無アクセス状態、期間２−Ａ〜２−Ｊを除く期間でフレームメモリ１２０とフレームメモリ１３０の両方が無アクセス状態となっていることが分かり、無アクセス状態となっているフレームメモリに対して、演算等の処理を行うことができ、システム全体の性能を向上することができる。
【００８０】
次に、ＶＩＶＳＹＮＣの周期がＶＯＶＳＹＮＣの周期より長い場合について説明する。
【００８１】
図１０は、ＶＩＶＳＹＮＣの周期がＶＯＶＳＹＮＣの周期より長い場合に、ビデオ入力部１４０とビデオ出力部１６０が、フレームメモリ１２０とフレームメモリ１３０に割り当てられているバンクをアクセスするタイミングを示すタイミングチャートである。
【００８２】
期間３−Ａでは、ビデオ入力部１４０がフレームメモリ１２０に割り当てられているバンク０にデータを書き込む。
【００８３】
期間３−Ｂでは、ビデオ出力部１６０がフレームメモリ１２０に割り当てられているバンク０のデータを読み出す。
【００８４】
期間３−Ｃでは、ビデオ入力部１４０がフレームメモリ１３０に割り当てられているバンク１にデータを書き込むのと並行して、ビデオ出力部１６０がフレームメモリ１２０に割り当てられているバンク０のデータを読み出す。
【００８５】
期間３−Ｄでは、ビデオ入力部１４０がフレームメモリ１３０に割り当てられているバンク１にデータを書き込む。
【００８６】
期間３−Ｅでは、ビデオ出力部１６０がフレームメモリ１３０に割り当てられているバンク１のデータを読み出す。
【００８７】
期間３−Ｆでは、ビデオ入力部１４０がフレームメモリ１２０に割り当てられているバンク２にデータを書き込む。
【００８８】
期間３−Ｇでは、ビデオ入力部１４０がフレームメモリ１２０に割り当てられているバンク２にデータを書き込むのと並行して、ビデオ出力部１６０がフレームメモリ１３０に割り当てられているバンク１のデータを読み出す。期間３−Ｅに引き続き、期間３−Ｇでもバンク１のデータを読み出すのは、ビデオ入力部１４０がバンク２へのデータ書込みを完了しておらず、バンク１がデータを書き込み完了した最後のバンクになっているためである。
【００８９】
期間３−Ｈでは、ビデオ出力部１６０がフレームメモリ１３０に割り当てられているバンク１のデータを読み出す。
【００９０】
期間３−Ｉでは、ビデオ入力部１４０がフレームメモリ１２０に割り当てられているバンク０にデータを書き込む。
【００９１】
期間３−Ｊでは、ビデオ入力部１４０がフレームメモリ１２０に割り当てられているバンク０にデータを書き込み、ビデオ出力部１６０がフレームメモリ１２０に割り当てられているバンク２のデータを読み出す。この期間では、ビデオ入力部１４０とビデオ出力部１６０が同じフレームメモリ１２０をアクセスするため、同時にメモリアクセスできず、処理が待たされる時が発生する。
【００９２】
期間３−Ｃと期間３−Ｇでは、ビデオ入力部１４０のメモリ書込みとビデオ出力部１６０のメモリ読み出しが同時に実行できるため、高速に処理できる。
【００９３】
また、制御部１８０は、期間３−Ｄ〜３−Ｅと期間３−Ｈでフレームメモリ１２０のみが無アクセス状態、期間３−Ａ〜３−Ｂと期間３−Ｆ、期間３−Ｉ〜３−Ｊでフレームメモリ１３０のみが無アクセス状態、期間３−Ａ〜３−Ｊを除く期間でフレームメモリ１２０とフレームメモリ１３０の両方が無アクセス状態となっていることが分かり、無アクセス状態となっているフレームメモリに対して、演算等の処理を行うことができ、システム全体の性能を向上することができる。
【００９４】
[フレームメモリ１２０，１３０にバンクを３つ（バンク０〜２）割り当て、さらに、描画部１５０とビデオ出力部１６０がアクセスするバンクを４つ（バンクＲＡ０、ＲＡ１、ＲＢ０、ＲＢ１）割り当てた場合]
図１１は、フレームメモリ１２０とフレームメモリ１３０に、ビデオ入力部１４０とビデオ出力部１６０がアクセスするバンクを３つ（バンク０〜２）割り当て、さらに、描画部１５０とビデオ出力部１６０がアクセスするバンクを４つ（バンクＲＡ０、ＲＡ１、ＲＢ０、ＲＢ１）割り当てた場合のメモリ内容を示す図である。
【００９５】
制御部１８０が、描画部１５０とビデオ出力部１６０に対して、フレームメモリ１２０とフレームメモリ１３０に割り当てるバンクの画像サイズとベースアドレスを設定する。
【００９６】
一般的には、描画している途中の画像が表示されないように、２つのバンクに対して描画するバンクと表示するバンクを切り替えるダブルバッファ構成を持つ。本実施の形態では、図１１に示すように、フレームメモリ１２０とフレームメモリ１３０にそれぞれバンクを２つ設け、ビデオ入力部１４０と描画部１５０とビデオ出力部１６０が効率的に並列処理できるようにした。
【００９７】
図１２は、ビデオ入力部１４０とビデオ出力部１６０のアクセス状況によって、制御部１８０が描画部１５０に対して、次にどのバンクをアクセスするように指令するかを示す図である。
【００９８】
図１２中、ビデオ入力部１４０とビデオ出力部１６０のアクセス状況欄に、フレームメモリ１２０あるいはフレームメモリ１３０と記載されているのは、制御部１８０が描画部１５０に対して、次にどのバンクをアクセスさせるか判断する時点で、ビデオ入力部１４０とビデオ出力部１６０がそれぞれどのフレームメモリにアクセス中か、あるいは、どのフレームメモリにもアクセスしていない状態で、次にどのフレームメモリをアクセスするかを意味する。描画部１５０が前回アクセス完了したバンクは、ビデオ出力部１６０が表示のためにデータを読み出すためにアクセスされる。
【００９９】
描画部１５０が次にアクセスするバンクを決定する基準としては、ビデオ入力部１４０のアクセス状況、ビデオ出力部１６０のアクセス状況、描画部１５０が前回アクセス完了したバンクから、最もアクセスされる要因の小さいフレームメモリに割り当てられているバンクを選択する。
【０１００】
これにより、ビデオ入力部１４０、描画部１５０、ビデオ出力部１６０がフレームメモリ１２０とフレームメモリ１３０に対して、並列にアクセスできる頻度が高まり、性能を向上させることができる。
【０１０１】
また、描画部１５０とビデオ出力部１６０がアクセスするバンクを、フレームメモリ１２０に１つとフレームメモリ１３０に１つの合計２つ割り当てる場合についても、ビデオ入力部１４０のアクセス状況、ビデオ出力部１６０のアクセス状況、描画部１５０が前回アクセス完了したバンクから、最もアクセスされる要因の小さいフレームメモリに割り当てられているバンクを描画部１５０が次にアクセスするバンクに指定することで、性能を向上させることができる。
【０１０２】
なお、描画部１５０の場合と同様に、ビデオ入力部１４０についても、描画部１５０のアクセス状況、ビデオ出力部１６０のアクセス状況、ビデオ入力部１４０が前回アクセス完了したバンクから、最もアクセスされる要因の小さいフレームメモリに割り当てられているバンクを、次にアクセスするバンクに選択するようにしてもよい。
【０１０３】
次に、描画部１５０の動作について説明する。
【０１０４】
図１３は、テクスチャロード部１５３とピクセル生成部１５４が、テクスチャメモリ１５１，１５２とメモリコントローラ部１９０にアクセスするタイミングを示すタイミングチャートである。
【０１０５】
期間４−Ａでは、テクスチャロード部１５３がシステムメモリ１１０に格納されている図形(1)のテクスチャデータを読み出し、テクスチャメモリ１５１に書き込む。
【０１０６】
期間４−Ｂでは、テクスチャロード部１５３がシステムメモリ１１０に格納されている図形(2)のテクスチャデータを読み出し、テクスチャメモリ１５２に書き込むのと並行して、ピクセル生成部１５４がテクスチャメモリ１５１に格納されている図形(1)のテクスチャデータを読み出して図形(1)の描画データを生成し、フレームメモリ１２０あるいはフレームメモリ１３０に書き込む。
【０１０７】
期間４−Ｃでは、テクスチャロード部１５３がシステムメモリ１１０に格納されている図形(3)のテクスチャデータを読み出し、テクスチャメモリ１５１に書き込むのと並行して、ピクセル生成部１５４がテクスチャメモリ１５２に格納されている図形(2)のテクスチャデータを読み出して図形(2)の描画データを生成し、フレームメモリ１２０あるいはフレームメモリ１３０に書き込む。
【０１０８】
期間４−Ｄでは、ピクセル生成部１５４がテクスチャメモリ１５１に格納されている図形(3)のテクスチャデータを読み出して図形(3)の描画データを生成し、フレームメモリ１２０あるいはフレームメモリ１３０に書き込む。
【０１０９】
期間４−Ｂと期間４−Ｃでは、テクスチャロード部１５３とピクセル生成部１５４の処理が同時に実行できるため、高速に処理できる。
【０１１０】
なお、例えばシステムメモリ１１０がフラッシュメモリのような低速のメモリで、フレームメモリ１２０やフレームメモリ１３０がＳＤＲＡＭのような高速のメモリの場合、テクスチャデータをシステムメモリ１１０からフレームメモリ１２０あるいはフレームメモリ１３０に転送しておいた後、テクスチャロード部１５３がフレームメモリ１２０あるいはフレームメモリ１３０からテクスチャデータを読み出すようにしてもよい。
【０１１１】
また、ビデオ入力部１４０がフレームメモリ１２０あるいはフレームメモリ１３０に書き込んだ映像データをテクスチャデータとして、テクスチャロード部１５３が読み出してもよい。
【０１１２】
以上のように、本実施の形態によると、ビデオ入力部１４０や描画部１５０がそれぞれ専用のフレームメモリを持つことがなく、ビデオ入力部１４０、描画部１５０、ビデオ出力部１６０が２つのフレームメモリに対して並列に処理することができ、さらに描画部１５０は２つの図形に対して並列に処理することができるため、低コストで処理性能を向上することができる。
【０１１３】
以上詳細に説明したように、本実施の形態によれば、画像処理装置１００は、ビデオ入力部１４０と描画部１５０とビデオ出力部１６０がアクセスするバンクを複数のフレームメモリ１２０，１３０に分けて割り当て、ビデオ入力部１４０と描画部１５０とビデオ出力部１６０といったマスタ部からのアクセス要求を調停し、それぞれのフレームメモリ１２０，１３０に複数のマスタ部が並行にアクセスできるようにデータ転送を制御するメモリコントローラ部１９０を備え、メモリコントローラ部１９０は、各マスタ部が次にどのバンクをアクセスするか決める時に、各フレームメモリ１２０，１３０に対する各マスタ部のアクセス状況から、最もアクセスされる要因の小さいフレームメモリに割り当てられているバンクを選択する。
【０１１４】
例えば、メモリコントローラ部１９０は、描画部１５０とビデオ出力部１６０がアクセスする複数のバンクを複数のフレームメモリ１２０，１３０に分けて割り当て、描画部１５０が次にどのバンクをアクセスするか決める時に、ビデオ入力部１４０とビデオ出力部１６０がそれぞれどのフレームメモリ１２０，１３０にアクセス中か、あるいは、どのフレームメモリ１２０，１３０にもアクセスしていない状態で、次にどのフレームメモリ１２０，１３０をアクセスするかの情報と描画部１５０が前回アクセス完了したバンク情報から、最もアクセスされる要因の小さいフレームメモリ１２０，１３０に割り当てられているバンクを選択する。
【０１１５】
また、メモリコントローラ部１９０は、ビデオ入力部１４０が次にどのバンクをアクセスするか決める時に、描画部１５０とビデオ出力部１６０がそれぞれどのフレームメモリ１２０，１３０にアクセス中か、あるいは、どのフレームメモリ１２０，１３０にもアクセスしていない状態で、次にどのフレームメモリ１２０，１３０をアクセスするかの情報とビデオ入力部１４０が前回アクセス完了したバンク情報から、最もアクセスされる要因の小さいフレームメモリ１２０，１３０に割り当てられているバンクを選択する。
【０１１６】
従来例では、複数のビデオ入力画像とグラフィックそれぞれに対応する、ダブルバッファリング領域を持つフレームメモリを用いた。これに対して、本実施の形態では、かかる機能を、メモリコントローラ部１９０が、各マスタ部のアクセス状況から、最もアクセスされる要因の小さいフレームメモリに割り当てられているバンクを選択することで実現する。これにより、ビデオ入力映像や描画それぞれに対応したフレームメモリを持つ必要がなく、ビデオ入力や描画、表示のフレームメモリへのアクセスを並列で行うことができえるため、低コストで処理性能を向上させることができる。
【０１１７】
（実施の形態２）
図１４は、本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。図１と同一構成部分には同一番号を付して重複箇所の説明を省略する。
【０１１８】
図１４において、画像処理装置３００は、システムメモリ１１０、フレームメモリ１２０、フレームメモリ１３０、ビデオ入力部３１１，３１２，３１３、描画部１５０、ビデオ出力部１６０、ディスプレイ１７０、制御部１８０、及びメモリコントローラ部３１０を備えて構成される。また、カメラ２１０、ＤＶＤ２１１及びＴＶ２１２は、ビデオ入力部３１１，３１２，３１３介してメモリコントローラ部３１０に接続される。
【０１１９】
ビデオ入力部３１１は、カメラ２１０から出力される映像の垂直同期信号と水平同期信号に基づき、メモリコントローラ部３１０を介してフレームメモリ１２０あるいはフレームメモリ１３０に映像データを書き込む。
【０１２０】
ビデオ入力部３１２は、ＤＶＤ２１１から出力される映像の垂直同期信号と水平同期信号に基づき、メモリコントローラ部３１０を介してフレームメモリ１２０あるいはフレームメモリ１３０に映像データを書き込む。
【０１２１】
ビデオ入力部３１３は、ＴＶ２１２から出力される映像の垂直同期信号と水平同期信号に基づき、メモリコントローラ部３１０を介してフレームメモリ１２０あるいはフレームメモリ１３０に映像データを書き込む。
【０１２２】
メモリコントローラ部３１０は、ビデオ入力部３１１、ビデオ入力部３１２、ビデオ入力部３１３、描画部１５０、ビデオ出力部１６０、制御部１８０といったマスタ部からのメモリアクセス要求を調停し、システムメモリ１１０、フレームメモリ１２０、フレームメモリ１３０に複数のマスタ部が並行にアクセスできるようにデータ転送を制御する。
【０１２３】
図１５は、フレームメモリ１２０とフレームメモリ１３０に、ビデオ入力部３１１、ビデオ入力部３１２、ビデオ入力部３１３とビデオ出力部１６０がアクセスするバンクをそれぞれ３つ、合計９個（バンクＡ０〜２、バンクＢ０〜２、バンクＣ０〜２）割り当て、さらに、描画部１５０とビデオ出力部１６０がアクセスするバンクを４つ（バンクＲＡ０、ＲＡ１、ＲＢ０、ＲＢ１）割り当てた場合のメモリ内容を示す図である。
【０１２４】
このように、ビデオ入力部３１１、ビデオ入力部３１２、ビデオ入力部３１３と描画部１５０用のバンクが、フレームメモリ１２０とフレームメモリ１３０に分けて割り当てるようにすることと、ビデオ入力部３１１、ビデオ入力部３１２、ビデオ入力部３１３のアクセス状況、ビデオ出力部１６０のアクセス状況、描画部１５０が前回アクセス完了したバンクから、最もアクセスされる要因の小さいフレームメモリに割り当てられているバンクを描画部１５０が次にアクセスするバンクに指定することで、ビデオ入力部３１１、ビデオ入力部３１２、ビデオ入力部３１３、描画部１５０、ビデオ出力部１６０がフレームメモリ１２０とフレームメモリ１３０に対して、並列にアクセスできる頻度が高まり、性能を向上させることができる。
【０１２５】
なお、描画部１５０の場合と同様に、ビデオ入力部３１１、ビデオ入力部３１２、ビデオ入力部３１３のそれぞれについても、他のビデオ入力部のアクセス状況、描画部１５０のアクセス状況、ビデオ出力部１６０のアクセス状況、ビデオ入力部３１１、ビデオ入力部３１２、ビデオ入力部３１３のそれぞれが前回アクセス完了したバンクから、最もアクセスされる要因の小さいフレームメモリに割り当てられているバンクを、次にアクセスするバンクに選択するようにしてもよい。
【０１２６】
以上のように、本実施の形態によれば、メモリコントローラ部３１０は、ビデオ入力部３１１、ビデオ入力部３１２、ビデオ入力部３１３、描画部１５０、ビデオ出力部１６０、制御部１８０といったマスタ部からのメモリアクセス要求を調停し、システムメモリ１１０、フレームメモリ１２０、フレームメモリ１３０に複数のマスタ部が並行にアクセスできるようにデータ転送を制御するので、複数のビデオ入力部を持つ構成でも、描画部１５０やビデオ出力部１６０との並列処理を行うことができ、処理性能を向上させることができる。
【０１２７】
以上の説明は本発明の好適な実施の形態の例証であり、本発明の範囲はこれに限定されることはない。例えば、上記各実施の形態は、各種の電子機器に適用した例であるが、入力対象を空間に表示するものであればどのような機器にも同様に適用できる。
【０１２８】
また、上記各実施の形態では画像処理装置という名称を用いたが、これは説明の便宜上であり、画像処理システム、画像出力装置等であってもよいことは勿論である。
【０１２９】
さらに、上記画像処理装置を構成する各装置、例えばメモリ等の種類、数及び接続方法などは前述した実施の形態に限られない。
【産業上の利用可能性】
【０１３０】
本発明では、ビデオ入力や描画、表示を高速に処理できるので、例えば、車載用のディスプレイにおいて、エアコンの操作画面やカーナビゲーション画面、ＤＶＤやＴＶの映像等、様々な画像を素早く重畳して表示することができる。また、車載用のディスプレイ以外の各電子機器における画像処理システムにも広く適用され得るものである。
【図面の簡単な説明】
【０１３１】
【図１】本発明の実施の形態１に係る画像処理装置の構成を示すブロック図
【図２】上記実施の形態１に係る画像処理装置の描画部の内部構成を示す図
【図３】上記実施の形態１に係る画像処理装置のビデオ入力部のビデオ入力の有効データ領域、及びブランキング領域を示す図
【図４】上記実施の形態１に係る画像処理装置のビデオ入力部の処理タイミングを示すタイミング図
【図５】上記実施の形態１に係る画像処理装置のビデオ出力部のビデオ出力の有効表示領域、及びブランキング領域を示す図
【図６】上記実施の形態１に係る画像処理装置のビデオ出力部の処理タイミングを示すタイミング図
【図７】上記実施の形態１に係る画像処理装置のビデオ入力部とビデオ出力部がアクセスするバンクを３つ割り当てた場合のメモリ内容を示す図
【図８】上記実施の形態１に係る画像処理装置のＶＩＶＳＹＮＣとＶＯＶＳＹＮＣの周期が同じ場合に、ビデオ入力部とビデオ出力部が、フレームメモリとフレームメモリに割り当てられているバンクをアクセスするタイミングを示すタイミング図
【図９】上記実施の形態１に係る画像処理装置のＶＩＶＳＹＮＣの周期がＶＯＶＳＹＮＣの周期より短い場合に、ビデオ入力部とビデオ出力部が、フレームメモリとフレームメモリに割り当てられているバンクをアクセスするタイミングを示すタイミング図
【図１０】上記実施の形態１に係る画像処理装置のＶＩＶＳＹＮＣの周期がＶＯＶＳＹＮＣの周期より長い場合に、ビデオ入力部とビデオ出力部が、フレームメモリとフレームメモリに割り当てられているバンクをアクセスするタイミングを示すタイミング図
【図１１】上記実施の形態１に係る画像処理装置のフレームメモリとフレームメモリに、ビデオ入力部とビデオ出力部がアクセスするバンクを３つ割り当て、さらに、描画部とビデオ出力部がアクセスするバンクを４つ割り当てた場合のメモリ内容を示す図
【図１２】上記実施の形態１に係る画像処理装置のビデオ入力部とビデオ出力部のアクセス状況によって、制御部が描画部に対して、次にどのバンクをアクセスするように指令するかを示す図
【図１３】上記実施の形態１に係る画像処理装置のテクスチャロード部とピクセル生成部が、テクスチャメモリとメモリコントローラ部にアクセスするタイミングを示すタイミング図
【図１４】本発明の実施の形態２に係る画像処理装置の構成を示すブロック図
【図１５】上記実施の形態２に係る画像処理装置のフレームメモリとフレームメモリに、各ビデオ入力部とビデオ出力部がアクセスするバンクをそれぞれ３つ、合計９個割り当て、さらに、描画部とビデオ出力部がアクセスするバンクを４つ割り当てた場合のメモリ内容を示す図
【符号の説明】
【０１３２】
１００，３００ 画像処理装置
１１０ システムメモリ
１２０，１３０ フレームメモリ
１４０，３１１，３１２，３１３ ビデオ入力部
１５０ 描画部
１５１，１５２ テクスチャメモリ
１５３ テクスチャロード部
１５４ ピクセル生成部
１６０ ビデオ出力部
１７０ ディスプレイ
１８０ 制御部
１９０，３１０ メモリコントローラ部
２１０ カメラ
２１１ ＤＶＤ
２１２ ＴＶ
２１３ ビデオ選択部
【技術分野】
【０００１】
本発明は、ビデオ入力映像及びグラフィックを重畳して表示する画像処理装置に関する。
【背景技術】
【０００２】
近年、ディスプレイに複数の画像を重畳して表示するシステムが増えている。特に、車載用のディスプレイの場合、エアコンの操作画面やカーナビゲーション画面、ＤＶＤ（Digital Versatile Disk）やＴＶの映像等、様々な画像を重畳して表示することが求められている。
【０００３】
従来、複数の画像を重畳して表示する方法として、複数のビデオ入力画像と描画それぞれに対応したフレームメモリを持つ方法が提案されている（例えば、特許文献１参照）。
【特許文献１】特開２００４−２５２４８１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、このような従来の画像処理装置にあっては、以下のような問題点があった。
【０００５】
（１）複数のビデオ入力画像とグラフィックそれぞれに対応したフレームメモリを持つため、コストが高くなる。
【０００６】
（２）各メモリがダブルバッファリング領域を持ち、一般的なシングルポートメモリだと、メモリライト動作とメモリリード動作が競合して処理性能が低下する。
【０００７】
本発明は、かかる点に鑑みてなされたものであり、低コストで処理性能を向上することができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の画像処理装置は、複数のフレームメモリと、前記複数のフレームメモリに対してアクセスする複数のマスタ部と、前記複数のマスタ部からのアクセス要求を調停し、それぞれの前記フレームメモリに前記複数のマスタ部が並行にアクセスできるようにデータ転送を制御するメモリコントローラ部と、前記複数のフレームメモリに対して前記メモリコントローラ部を介して映像入力データを書き込むビデオ入力部と、前記複数のフレームメモリに格納されているデータを、前記メモリコントローラ部を介して読み出しディスプレイに表示するビデオ出力部とを備え、前記メモリコントローラ部は、前記ビデオ入力部と前記ビデオ出力部がアクセスする複数のバンクを前記複数のフレームメモリに分けて割り当て、前記ビデオ出力部は前記ビデオ入力部が書き込み完了した最後のバンクを読み出す構成を採る。
【発明の効果】
【０００９】
本発明によれば、複数のマスタ部が並行にアクセスできるようにデータ転送を制御するメモリコントローラ部を有することにより、ビデオ入力映像や描画それぞれに対応したフレームメモリを持つ必要がなく、ビデオ入力や描画、表示のフレームメモリへのアクセスを並列で行うことができるため、低コストで処理性能を向上させることができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００１１】
（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。本実施の形態は、ビデオ入力映像やグラフィックを重畳して表示する画像処理装置に適用した例である。
【００１２】
図１において、画像処理装置１００は、システムメモリ１１０、フレームメモリ１２０、フレームメモリ１３０、ビデオ入力部１４０、描画部１５０、ビデオ出力部１６０、ディスプレイ１７０、制御部１８０、及びメモリコントローラ部１９０を備えて構成される。また、ビデオ入力部１４０には、カメラ２１０、ＤＶＤ２１１及びＴＶ２１２が、ビデオ選択部２１３を介して接続される。ビデオ選択部２１３は、カメラ２１０、ＤＶＤ２１１、ＴＶ２１２から出力される映像信号を選択する。
【００１３】
システムメモリ１１０は、ビデオ入出力の制御や描画制御といったアプリケーションプログラムや、描画で用いるテクスチャデータを格納する。システムメモリ１１０は、一般的にはＲＯＭやフラッシュメモリが用いられるが、ＳＲＡＭやＤＲＡＭ等のＲＡＭを用いてもよい。
【００１４】
フレームメモリ１２０，１３０は、ビデオ入力画像や描画データ、演算結果を格納する。フレームメモリ１２０，１３０は、一般的にはＤＲＡＭが用いられるが、ＳＲＡＭやフラッシュメモリ、ハードディスクを用いてもよい。また、フレームメモリ１２０、フレームメモリ１３０のどちらもシステムＬＳＩに内蔵してもよいし、どちらか一方あるいは両方とも外付けの構成にしてもよい。
【００１５】
ビデオ入力部１４０は、フレームメモリ１２０，１３０に対してメモリコントローラ部１９０を介して映像入力データを書き込む。ビデオ入力部１４０には、ビデオ選択部２１３で選択した映像信号が入力され、ビデオ入力部１４０は、入力された映像の垂直同期信号と水平同期信号に基づき、メモリコントローラ部１９０を介してフレームメモリ１２０あるいはフレームメモリ１３０に映像データを書き込む。
【００１６】
なお、カメラ２１０、ＤＶＤ２１１、ＴＶ２１２は映像信号を出力するブロックの一例として挙げただけで、その他の映像信号を出力するものでも構わない。
【００１７】
描画部１５０は、メモリコントローラ部１９０を介してシステムメモリ１１０に格納されているテクスチャデータを読み出し、制御部１８０からの指令に基づき、線や三角形、矩形の図形に対してテクスチャマッピングやアルファブレンド処理を行った描画データを、メモリコントローラ部１９０を介してフレームメモリ１２０あるいはフレームメモリ１３０に書き込む。描画部１５０の内部構成については、図２により後述する。
【００１８】
なお、システムメモリ１１０とアクセスするためのデータバスと、フレームメモリ１２０あるいはフレームメモリ１３０とアクセスするためのデータバスは、独立していてもよいし、共有していてもよい。
【００１９】
ビデオ出力部１６０は、フレームメモリ１２０，１３０に格納されているデータを、メモリコントローラ部１９０を介して読み出しディスプレイ１７０に表示する。ビデオ出力部１６０は、メモリコントローラ部１９０を介してフレームメモリ１２０あるいはフレームメモリ１３０に格納されている画像データを読み出し、レイヤ合成や画質調整処理を行った後、ディスプレイ１７０に表示する。
【００２０】
上記ビデオ入力部１４０とビデオ出力部１６０は、アクセスする複数のバンクを複数のフレームメモリ１２０，１３０に分けて割り当て、上記ビデオ出力部１６０は、ビデオ入力部１４０が書き込み完了した最後のバンクを読み出す。
【００２１】
制御部１８０は、システムメモリ１１０に格納されているアプリケーションプログラムに基づいて、ビデオ入力部１４０、描画部１５０、ビデオ出力部１６０、メモリコントローラ部１９０の制御を行う。また、制御部１８０はＪＰＥＧデコード等の演算結果を、メモリコントローラ部１９０を介してフレームメモリ１２０あるいはフレームメモリ１３０に書き込む。具体的には、制御部１８０は、ビデオ入力部１４０とビデオ出力部１６０のメモリアクセス開始・終了タイミングや、どのフレームメモリ１２０，１３０にアクセスしているかの情報から、無アクセス状態となっているフレームメモリ１２０，１３０に対して演算結果を書き込む。
【００２２】
メモリコントローラ部１９０は、フレームメモリ１２０，１３０に対してアクセスするブロック（マスタ部）からのアクセス要求を調停し、それぞれのフレームメモリ１２０，１３０に複数のマスタ部が並行にアクセスできるようにデータ転送を制御する。ここでは、メモリコントローラ部１９０は、ビデオ入力部１４０、描画部１５０、ビデオ出力部１６０、制御部１８０といったマスタ部からのメモリアクセス要求を調停し、システムメモリ１１０、フレームメモリ１２０、フレームメモリ１３０に複数のマスタ部が並行にアクセスできるようにデータ転送を制御する。
【００２３】
例えば、メモリコントローラ部１９０は、制御部１８０がシステムメモリ１１０に、ビデオ入力部１４０がフレームメモリ１２０に、描画部１５０がフレームメモリ１３０に、ビデオ出力部１６０がフレームメモリ１３０にアクセス要求した場合、制御部１８０とシステムメモリ１１０とのデータ転送と、ビデオ入力部１４０とフレームメモリ１２０とのデータ転送と、ビデオ出力部１６０とフレームメモリ１３０とのデータ転送が並行して実行されるように制御する。これにより、ビデオ出力部１６０のデータ転送が終了した後に描画部１５０のデータ転送が開始される。
【００２４】
その上で、メモリコントローラ部１９０は、各マスタ部が次にどのバンクをアクセスするか決める時に、各フレームメモリ１２０，１３０に対する各マスタ部のアクセス状況から、最もアクセスされる要因の小さいフレームメモリに割り当てられているバンクを選択する。
【００２５】
メモリコントローラ部１９０は、描画部１５０とビデオ出力部１６０がアクセスする複数のバンクを複数のフレームメモリ１２０，１３０に分けて割り当て、描画部１５０が次にどのバンクをアクセスするか決める時に、ビデオ入力部１４０とビデオ出力部１６０がそれぞれどのフレームメモリ１２０，１３０にアクセス中か、あるいは、どのフレームメモリ１２０，１３０にもアクセスしていない状態で、次にどのフレームメモリ１２０，１３０をアクセスするかの情報と描画部１５０が前回アクセス完了したバンク情報から、最もアクセスされる要因の小さいフレームメモリ１２０，１３０に割り当てられているバンクを選択する。
【００２６】
図２は、上記描画部１５０の内部構成を示す図である。
【００２７】
図２において、描画部１５０は、複数のテクスチャメモリ１５１，１５２、テクスチャロード部１５３、及びピクセル生成部１５４を備えて構成される。
【００２８】
テクスチャメモリ１５１，１５２は、テクスチャデータを格納するためのメモリである。
【００２９】
テクスチャロード部１５３は、メモリコントローラ部１９０を介してシステムメモリ１１０に格納されているテクスチャデータを読み出し、一方のテクスチャメモリ１５１、あるいはテクスチャメモリ１５２にテクスチャデータを書き込む。
【００３０】
ピクセル生成部１５４は、テクスチャメモリ１５１、あるいはテクスチャメモリ１５２に格納されているテクスチャデータを読み出し、線や三角形、矩形の図形に対してテクスチャマッピングやアルファブレンド処理を行って生成した描画データを、メモリコントローラ部１９０を介してフレームメモリ１２０あるいはフレームメモリ１３０に書き込む。
【００３１】
上記、ピクセル生成部１５４が描画データをフレームメモリ１２０，１３０に書き込むのと並行に、テクスチャロード部１５３が次の図形のテクスチャデータをフレームメモリ１２０，１３０から読み出す。
【００３２】
また、本実施の形態では、テクスチャデータをシステムメモリ１１０からフレームメモリ１２０，１３０に転送した後、描画部１５０がフレームメモリ１２０，１３０からテクスチャデータを読み出す。
【００３３】
また、ビデオ入力部１４０がフレームメモリ１２０，１３０に書き込んだ映像データをテクスチャデータとして、描画部１５０が読み出す。
【００３４】
なお、テクスチャロード部１５３とピクセル生成部１５４は、それぞれメモリコントローラ部１９０に対して並列にデータ転送を行う。このため、テクスチャロード部１５３とピクセル生成部１５４がそれぞれメモリコントローラ部１９０にアクセスするデータバスは独立している必要がある。
【００３５】
また、テクスチャロード部１５３とピクセル生成部１５４は、それぞれ異なるテクスチャメモリをアクセスする。
【００３６】
以下、上述のように構成された画像処理装置１００の動作について説明する。
【００３７】
[ビデオ入力部１４０]
図３は、ビデオ入力部１４０のビデオ入力の有効データ領域、及びブランキング領域を示す図である。
【００３８】
水平同期信号ＶＩＨＳＹＮＣは、期間ＶＩＨＣの周期でビデオ入力部１４０に入力される。
【００３９】
垂直同期信号ＶＩＶＳＹＮＣは、期間ＶＩＶＣの周期でビデオ入力部１４０に入力される。
【００４０】
ＶＩＨＳＹＮＣの立下りを基準として、図示しないビデオ入力クロックＶＩＣＬＫでのサイクル数ＶＩＨＤＳからＶＩＨＤＥまでの期間が水平方向の有効データ領域であり、ＶＩＶＳＹＮＣの立下りを基準として、水平ライン数ＶＩＶＤＳからＶＩＶＤＥまでの期間が垂直方向の有効データ領域である。
【００４１】
なお、ＶＩＣＬＫはＷＶＧＡ（横８００画素×縦４８０画素）の場合、３３ＭＨｚの周波数が用いられる。また、ＶＩＣＬＫは総画素数によって周波数が異なる。
【００４２】
図４は、ビデオ入力部１４０の処理タイミングを示すタイミングチャートである。
【００４３】
図４中、ＶＩＶＤＳからＶＩＶＤＥまでの期間が垂直処理期間、ＶＩＨＤＳからＶＩＨＤＥまでの期間が水平処理期間である。ビデオ入力部１４０は、水平処理期間でメモリコントローラ部１９０を介してフレームメモリ１２０あるいはフレームメモリ１３０に映像データを書き込む。また、ビデオ入力部１４０は、ＶＩＶＤＳ、ＶＩＶＤＥ、ＶＩＨＤＳ、ＶＩＨＤＥそれぞれのタイミングで制御部１８０にフラグを出力する。
【００４４】
[ビデオ出力部１６０]
図５は、ビデオ出力部１６０のビデオ出力の有効表示領域、及びブランキング領域を示す図である。
【００４５】
水平同期信号ＶＯＨＳＹＮＣは、期間ＶＯＨＣの周期でビデオ出力部１６０から出力され、ディスプレイ１７０に入力される。
【００４６】
垂直同期信号ＶＯＶＳＹＮＣは、期間ＶＯＶＣの周期でビデオ出力部１６０から出力され、ディスプレイ１７０に入力される。
【００４７】
ＶＯＨＳＹＮＣの立下りを基準として、図示しないビデオ出力クロックＶＯＣＬＫでのサイクル数ＶＯＨＤＳからＶＯＨＤＥまでの期間が水平方向の有効表示領域であり、ＶＯＶＳＹＮＣの立下りを基準として、水平ライン数ＶＯＶＤＳからＶＯＶＤＥまでの期間が垂直方向の有効表示領域である。
【００４８】
なお、ＶＯＣＬＫはＷＶＧＡ（横８００画素×縦４８０画素）の場合、３３ＭＨｚの周波数が用いられる。また、ＶＯＣＬＫは総画素数によって周波数が異なる。
【００４９】
図６は、ビデオ出力部１６０の処理タイミングを示すタイミングチャートである。
【００５０】
図６中、ＶＯＶＤＳからＶＯＶＤＥまでの期間が垂直処理期間で、ＶＯＨＤＳからＶＯＨＤＥまでの期間が水平処理期間である。ビデオ出力部１６０は、水平処理期間でメモリコントローラ部１９０を介してフレームメモリ１２０あるいはフレームメモリ１３０から画像データを読み出して、ディスプレイ１７０に出力する。また、ビデオ出力部１６０は、ＶＯＶＤＳ、ＶＯＶＤＥ、ＶＯＨＤＳ、ＶＯＨＤＥそれぞれのタイミングで制御部１８０にフラグを出力する。
【００５１】
[フレームメモリ１２０，１３０にバンクを３つ（バンク０〜２）割り当てた場合]
図７は、フレームメモリ１２０とフレームメモリ１３０に、ビデオ入力部１４０とビデオ出力部１６０がアクセスするバンクを３つ（バンク０〜２）割り当てた場合のメモリ内容を示す図である。
【００５２】
制御部１８０が、ビデオ入力部１４０とビデオ出力部１６０に対して、フレームメモリ１２０とフレームメモリ１３０に割り当てるバンクの画像サイズとベースアドレスを設定する。図７の例では、偶数バンクであるバンク０とバンク２がフレームメモリ１２０に、奇数バンクであるバンク１がフレームメモリ１３０に割り当てられている。
【００５３】
まず、ＶＩＶＳＹＮＣとＶＯＶＳＹＮＣの周期が同じ場合について説明する。
【００５４】
図８は、ＶＩＶＳＹＮＣとＶＯＶＳＹＮＣの周期が同じ場合に、ビデオ入力部１４０とビデオ出力部１６０が、フレームメモリ１２０とフレームメモリ１３０に割り当てられているバンクをアクセスするタイミングを示すタイミングチャートである。
【００５５】
ビデオ入力部１４０が、各バンクにデータを書き込む期間は、図４の垂直処理期間と同じである。また、ビデオ出力部１６０が、各バンクからデータを読み出す期間は、図６の垂直処理期間と同じである。
【００５６】
期間１−Ａでは、ビデオ入力部１４０がフレームメモリ１２０に割り当てられているバンク０にデータを書き込む。
【００５７】
制御部１８０は、ビデオ入力部１４０から出力されるＶＩＶＤＳフラグによって、ビデオ入力部１４０がどのバンクにデータ書込みを開始したか認識し、ＶＩＶＤＥフラグによって、ビデオ入力部１４０がデータ書込みを終了したことを認識する。
【００５８】
期間１−Ｂでは、ビデオ入力部１４０がフレームメモリ１３０に割り当てられているバンク１にデータを書き込むのと並行して、ビデオ出力部１６０がフレームメモリ１２０に割り当てられているバンク０のデータを読み出す。
【００５９】
ビデオ出力部１６０は、ビデオ入力部１４０がデータを書き込み完了した最後のバンクを読み出すように制御部１８０によって制御される。なお、ビデオ入力部１４０から出力されるＶＩＶＤＥフラグをビデオ出力部１６０が受け取り、制御部１８０を介さずに、ビデオ入力部１４０がデータを書き込み完了した最後のバンクをビデオ出力部１６０が認識するようにしてもよい。
【００６０】
期間１−Ｃでは、ビデオ入力部１４０がフレームメモリ１２０に割り当てられているバンク２にデータを書き込むのと並行して、ビデオ出力部１６０がフレームメモリ１３０に割り当てられているバンク１のデータを読み出す。
【００６１】
期間１−Ｄでは、ビデオ入力部１４０がフレームメモリ１２０に割り当てられているバンク０にデータを書き込み、ビデオ出力部１６０がフレームメモリ１２０に割り当てられているバンク２のデータを読み出す。この期間では、ビデオ入力部１４０とビデオ出力部１６０が同じフレームメモリ１２０をアクセスするため、同時にメモリアクセスできず、処理が待たされる時が発生する。
【００６２】
期間１−Ｂや期間１−Ｃでは、ビデオ入力部１４０のメモリ書込みとビデオ出力部１６０のメモリ読み出しが同時に実行できるため、高速に処理できる。
【００６３】
また、制御部１８０は、ビデオ入力部１４０とビデオ出力部１６０のメモリアクセス開始・終了タイミングや、どのフレームメモリにアクセスしているか把握できるため、期間１−Ａと期間１−Ｄでフレームメモリ１３０のみが無アクセス状態、期間１−Ａ〜１−Ｄを除く期間でフレームメモリ１２０とフレームメモリ１３０の両方が無アクセス状態となっていることが分かる。
【００６４】
よって、制御部１８０は、無アクセス状態となっているフレームメモリに対して、演算等の処理を行うことができ、システム全体の性能を向上することができる。
【００６５】
また、フレームメモリ１２０にバンク０とバンク２、フレームメモリ１３０にバンク１とバンク３というように、合計４つのバンクにすることで、期間１−Ｄのように、ビデオ入力部１４０とビデオ出力部１６０が同じフレームメモリをアクセスすることを解消できる。
【００６６】
次に、ＶＩＶＳＹＮＣの周期がＶＯＶＳＹＮＣの周期より短い場合について説明する。
【００６７】
図９は、ＶＩＶＳＹＮＣの周期がＶＯＶＳＹＮＣの周期より短い場合に、ビデオ入力部１４０とビデオ出力部１６０が、フレームメモリ１２０とフレームメモリ１３０に割り当てられているバンクをアクセスするタイミングを示すタイミングチャートである。
【００６８】
期間２−Ａでは、ビデオ入力部１４０がフレームメモリ１２０に割り当てられているバンク０にデータを書き込む。
【００６９】
期間２−Ｂでは、ビデオ入力部１４０がフレームメモリ１３０に割り当てられているバンク１にデータを書き込む。
【００７０】
期間２−Ｃでは、ビデオ入力部１４０がフレームメモリ１３０に割り当てられているバンク１にデータを書き込むのと並行して、ビデオ出力部１６０がフレームメモリ１２０に割り当てられているバンク０のデータを読み出す。
【００７１】
期間２−Ｄでは、ビデオ出力部１６０がフレームメモリ１２０に割り当てられているバンク０のデータを読み出す。
【００７２】
期間２−Ｅでは、ビデオ入力部１４０がフレームメモリ１２０に割り当てられているバンク２にデータを書き込む。
【００７３】
期間２−Ｆでは、ビデオ出力部１６０がフレームメモリ１２０に割り当てられているバンク２のデータを読み出す。バンク１でなくバンク２のデータをビデオ出力部１６０が読み出すのは、バンク２がビデオ入力部１４０によってデータを書き込み完了した最後のバンクになっているためである。よって、バンク１の表示がスキップされる。
【００７４】
期間２−Ｇでは、ビデオ入力部１４０がフレームメモリ１２０に割り当てられているバンク０にデータを書き込み、ビデオ出力部１６０がフレームメモリ１２０に割り当てられているバンク２のデータを読み出す。この期間では、ビデオ入力部１４０とビデオ出力部１６０が同じフレームメモリ１２０をアクセスするため、同時にメモリアクセスできず、処理が待たされる時が発生する。
【００７５】
期間２−Ｈでは、ビデオ入力部１４０がフレームメモリ１２０に割り当てられているバンク０にデータを書き込む。
【００７６】
期間２−Ｉでは、ビデオ出力部１６０がフレームメモリ１２０に割り当てられているバンク０のデータを読み出す。
【００７７】
期間２−Ｊでは、ビデオ入力部１４０がフレームメモリ１３０に割り当てられているバンク１にデータを書き込むのと並行して、ビデオ出力部１６０がフレームメモリ１２０に割り当てられているバンク０のデータを読み出す。
【００７８】
期間２−Ｃと期間２−Ｊでは、ビデオ入力部１４０のメモリ書込みとビデオ出力部１６０のメモリ読み出しが同時に実行できるため、高速に処理できる。
【００７９】
また、制御部１８０は、期間２−Ｂでフレームメモリ１２０のみが無アクセス状態、期間２−Ａと期間２−Ｄ〜２−Ｉでフレームメモリ１３０のみが無アクセス状態、期間２−Ａ〜２−Ｊを除く期間でフレームメモリ１２０とフレームメモリ１３０の両方が無アクセス状態となっていることが分かり、無アクセス状態となっているフレームメモリに対して、演算等の処理を行うことができ、システム全体の性能を向上することができる。
【００８０】
次に、ＶＩＶＳＹＮＣの周期がＶＯＶＳＹＮＣの周期より長い場合について説明する。
【００８１】
図１０は、ＶＩＶＳＹＮＣの周期がＶＯＶＳＹＮＣの周期より長い場合に、ビデオ入力部１４０とビデオ出力部１６０が、フレームメモリ１２０とフレームメモリ１３０に割り当てられているバンクをアクセスするタイミングを示すタイミングチャートである。
【００８２】
期間３−Ａでは、ビデオ入力部１４０がフレームメモリ１２０に割り当てられているバンク０にデータを書き込む。
【００８３】
期間３−Ｂでは、ビデオ出力部１６０がフレームメモリ１２０に割り当てられているバンク０のデータを読み出す。
【００８４】
期間３−Ｃでは、ビデオ入力部１４０がフレームメモリ１３０に割り当てられているバンク１にデータを書き込むのと並行して、ビデオ出力部１６０がフレームメモリ１２０に割り当てられているバンク０のデータを読み出す。
【００８５】
期間３−Ｄでは、ビデオ入力部１４０がフレームメモリ１３０に割り当てられているバンク１にデータを書き込む。
【００８６】
期間３−Ｅでは、ビデオ出力部１６０がフレームメモリ１３０に割り当てられているバンク１のデータを読み出す。
【００８７】
期間３−Ｆでは、ビデオ入力部１４０がフレームメモリ１２０に割り当てられているバンク２にデータを書き込む。
【００８８】
期間３−Ｇでは、ビデオ入力部１４０がフレームメモリ１２０に割り当てられているバンク２にデータを書き込むのと並行して、ビデオ出力部１６０がフレームメモリ１３０に割り当てられているバンク１のデータを読み出す。期間３−Ｅに引き続き、期間３−Ｇでもバンク１のデータを読み出すのは、ビデオ入力部１４０がバンク２へのデータ書込みを完了しておらず、バンク１がデータを書き込み完了した最後のバンクになっているためである。
【００８９】
期間３−Ｈでは、ビデオ出力部１６０がフレームメモリ１３０に割り当てられているバンク１のデータを読み出す。
【００９０】
期間３−Ｉでは、ビデオ入力部１４０がフレームメモリ１２０に割り当てられているバンク０にデータを書き込む。
【００９１】
期間３−Ｊでは、ビデオ入力部１４０がフレームメモリ１２０に割り当てられているバンク０にデータを書き込み、ビデオ出力部１６０がフレームメモリ１２０に割り当てられているバンク２のデータを読み出す。この期間では、ビデオ入力部１４０とビデオ出力部１６０が同じフレームメモリ１２０をアクセスするため、同時にメモリアクセスできず、処理が待たされる時が発生する。
【００９２】
期間３−Ｃと期間３−Ｇでは、ビデオ入力部１４０のメモリ書込みとビデオ出力部１６０のメモリ読み出しが同時に実行できるため、高速に処理できる。
【００９３】
また、制御部１８０は、期間３−Ｄ〜３−Ｅと期間３−Ｈでフレームメモリ１２０のみが無アクセス状態、期間３−Ａ〜３−Ｂと期間３−Ｆ、期間３−Ｉ〜３−Ｊでフレームメモリ１３０のみが無アクセス状態、期間３−Ａ〜３−Ｊを除く期間でフレームメモリ１２０とフレームメモリ１３０の両方が無アクセス状態となっていることが分かり、無アクセス状態となっているフレームメモリに対して、演算等の処理を行うことができ、システム全体の性能を向上することができる。
【００９４】
[フレームメモリ１２０，１３０にバンクを３つ（バンク０〜２）割り当て、さらに、描画部１５０とビデオ出力部１６０がアクセスするバンクを４つ（バンクＲＡ０、ＲＡ１、ＲＢ０、ＲＢ１）割り当てた場合]
図１１は、フレームメモリ１２０とフレームメモリ１３０に、ビデオ入力部１４０とビデオ出力部１６０がアクセスするバンクを３つ（バンク０〜２）割り当て、さらに、描画部１５０とビデオ出力部１６０がアクセスするバンクを４つ（バンクＲＡ０、ＲＡ１、ＲＢ０、ＲＢ１）割り当てた場合のメモリ内容を示す図である。
【００９５】
制御部１８０が、描画部１５０とビデオ出力部１６０に対して、フレームメモリ１２０とフレームメモリ１３０に割り当てるバンクの画像サイズとベースアドレスを設定する。
【００９６】
一般的には、描画している途中の画像が表示されないように、２つのバンクに対して描画するバンクと表示するバンクを切り替えるダブルバッファ構成を持つ。本実施の形態では、図１１に示すように、フレームメモリ１２０とフレームメモリ１３０にそれぞれバンクを２つ設け、ビデオ入力部１４０と描画部１５０とビデオ出力部１６０が効率的に並列処理できるようにした。
【００９７】
図１２は、ビデオ入力部１４０とビデオ出力部１６０のアクセス状況によって、制御部１８０が描画部１５０に対して、次にどのバンクをアクセスするように指令するかを示す図である。
【００９８】
図１２中、ビデオ入力部１４０とビデオ出力部１６０のアクセス状況欄に、フレームメモリ１２０あるいはフレームメモリ１３０と記載されているのは、制御部１８０が描画部１５０に対して、次にどのバンクをアクセスさせるか判断する時点で、ビデオ入力部１４０とビデオ出力部１６０がそれぞれどのフレームメモリにアクセス中か、あるいは、どのフレームメモリにもアクセスしていない状態で、次にどのフレームメモリをアクセスするかを意味する。描画部１５０が前回アクセス完了したバンクは、ビデオ出力部１６０が表示のためにデータを読み出すためにアクセスされる。
【００９９】
描画部１５０が次にアクセスするバンクを決定する基準としては、ビデオ入力部１４０のアクセス状況、ビデオ出力部１６０のアクセス状況、描画部１５０が前回アクセス完了したバンクから、最もアクセスされる要因の小さいフレームメモリに割り当てられているバンクを選択する。
【０１００】
これにより、ビデオ入力部１４０、描画部１５０、ビデオ出力部１６０がフレームメモリ１２０とフレームメモリ１３０に対して、並列にアクセスできる頻度が高まり、性能を向上させることができる。
【０１０１】
また、描画部１５０とビデオ出力部１６０がアクセスするバンクを、フレームメモリ１２０に１つとフレームメモリ１３０に１つの合計２つ割り当てる場合についても、ビデオ入力部１４０のアクセス状況、ビデオ出力部１６０のアクセス状況、描画部１５０が前回アクセス完了したバンクから、最もアクセスされる要因の小さいフレームメモリに割り当てられているバンクを描画部１５０が次にアクセスするバンクに指定することで、性能を向上させることができる。
【０１０２】
なお、描画部１５０の場合と同様に、ビデオ入力部１４０についても、描画部１５０のアクセス状況、ビデオ出力部１６０のアクセス状況、ビデオ入力部１４０が前回アクセス完了したバンクから、最もアクセスされる要因の小さいフレームメモリに割り当てられているバンクを、次にアクセスするバンクに選択するようにしてもよい。
【０１０３】
次に、描画部１５０の動作について説明する。
【０１０４】
図１３は、テクスチャロード部１５３とピクセル生成部１５４が、テクスチャメモリ１５１，１５２とメモリコントローラ部１９０にアクセスするタイミングを示すタイミングチャートである。
【０１０５】
期間４−Ａでは、テクスチャロード部１５３がシステムメモリ１１０に格納されている図形(1)のテクスチャデータを読み出し、テクスチャメモリ１５１に書き込む。
【０１０６】
期間４−Ｂでは、テクスチャロード部１５３がシステムメモリ１１０に格納されている図形(2)のテクスチャデータを読み出し、テクスチャメモリ１５２に書き込むのと並行して、ピクセル生成部１５４がテクスチャメモリ１５１に格納されている図形(1)のテクスチャデータを読み出して図形(1)の描画データを生成し、フレームメモリ１２０あるいはフレームメモリ１３０に書き込む。
【０１０７】
期間４−Ｃでは、テクスチャロード部１５３がシステムメモリ１１０に格納されている図形(3)のテクスチャデータを読み出し、テクスチャメモリ１５１に書き込むのと並行して、ピクセル生成部１５４がテクスチャメモリ１５２に格納されている図形(2)のテクスチャデータを読み出して図形(2)の描画データを生成し、フレームメモリ１２０あるいはフレームメモリ１３０に書き込む。
【０１０８】
期間４−Ｄでは、ピクセル生成部１５４がテクスチャメモリ１５１に格納されている図形(3)のテクスチャデータを読み出して図形(3)の描画データを生成し、フレームメモリ１２０あるいはフレームメモリ１３０に書き込む。
【０１０９】
期間４−Ｂと期間４−Ｃでは、テクスチャロード部１５３とピクセル生成部１５４の処理が同時に実行できるため、高速に処理できる。
【０１１０】
なお、例えばシステムメモリ１１０がフラッシュメモリのような低速のメモリで、フレームメモリ１２０やフレームメモリ１３０がＳＤＲＡＭのような高速のメモリの場合、テクスチャデータをシステムメモリ１１０からフレームメモリ１２０あるいはフレームメモリ１３０に転送しておいた後、テクスチャロード部１５３がフレームメモリ１２０あるいはフレームメモリ１３０からテクスチャデータを読み出すようにしてもよい。
【０１１１】
また、ビデオ入力部１４０がフレームメモリ１２０あるいはフレームメモリ１３０に書き込んだ映像データをテクスチャデータとして、テクスチャロード部１５３が読み出してもよい。
【０１１２】
以上のように、本実施の形態によると、ビデオ入力部１４０や描画部１５０がそれぞれ専用のフレームメモリを持つことがなく、ビデオ入力部１４０、描画部１５０、ビデオ出力部１６０が２つのフレームメモリに対して並列に処理することができ、さらに描画部１５０は２つの図形に対して並列に処理することができるため、低コストで処理性能を向上することができる。
【０１１３】
以上詳細に説明したように、本実施の形態によれば、画像処理装置１００は、ビデオ入力部１４０と描画部１５０とビデオ出力部１６０がアクセスするバンクを複数のフレームメモリ１２０，１３０に分けて割り当て、ビデオ入力部１４０と描画部１５０とビデオ出力部１６０といったマスタ部からのアクセス要求を調停し、それぞれのフレームメモリ１２０，１３０に複数のマスタ部が並行にアクセスできるようにデータ転送を制御するメモリコントローラ部１９０を備え、メモリコントローラ部１９０は、各マスタ部が次にどのバンクをアクセスするか決める時に、各フレームメモリ１２０，１３０に対する各マスタ部のアクセス状況から、最もアクセスされる要因の小さいフレームメモリに割り当てられているバンクを選択する。
【０１１４】
例えば、メモリコントローラ部１９０は、描画部１５０とビデオ出力部１６０がアクセスする複数のバンクを複数のフレームメモリ１２０，１３０に分けて割り当て、描画部１５０が次にどのバンクをアクセスするか決める時に、ビデオ入力部１４０とビデオ出力部１６０がそれぞれどのフレームメモリ１２０，１３０にアクセス中か、あるいは、どのフレームメモリ１２０，１３０にもアクセスしていない状態で、次にどのフレームメモリ１２０，１３０をアクセスするかの情報と描画部１５０が前回アクセス完了したバンク情報から、最もアクセスされる要因の小さいフレームメモリ１２０，１３０に割り当てられているバンクを選択する。
【０１１５】
また、メモリコントローラ部１９０は、ビデオ入力部１４０が次にどのバンクをアクセスするか決める時に、描画部１５０とビデオ出力部１６０がそれぞれどのフレームメモリ１２０，１３０にアクセス中か、あるいは、どのフレームメモリ１２０，１３０にもアクセスしていない状態で、次にどのフレームメモリ１２０，１３０をアクセスするかの情報とビデオ入力部１４０が前回アクセス完了したバンク情報から、最もアクセスされる要因の小さいフレームメモリ１２０，１３０に割り当てられているバンクを選択する。
【０１１６】
従来例では、複数のビデオ入力画像とグラフィックそれぞれに対応する、ダブルバッファリング領域を持つフレームメモリを用いた。これに対して、本実施の形態では、かかる機能を、メモリコントローラ部１９０が、各マスタ部のアクセス状況から、最もアクセスされる要因の小さいフレームメモリに割り当てられているバンクを選択することで実現する。これにより、ビデオ入力映像や描画それぞれに対応したフレームメモリを持つ必要がなく、ビデオ入力や描画、表示のフレームメモリへのアクセスを並列で行うことができえるため、低コストで処理性能を向上させることができる。
【０１１７】
（実施の形態２）
図１４は、本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。図１と同一構成部分には同一番号を付して重複箇所の説明を省略する。
【０１１８】
図１４において、画像処理装置３００は、システムメモリ１１０、フレームメモリ１２０、フレームメモリ１３０、ビデオ入力部３１１，３１２，３１３、描画部１５０、ビデオ出力部１６０、ディスプレイ１７０、制御部１８０、及びメモリコントローラ部３１０を備えて構成される。また、カメラ２１０、ＤＶＤ２１１及びＴＶ２１２は、ビデオ入力部３１１，３１２，３１３介してメモリコントローラ部３１０に接続される。
【０１１９】
ビデオ入力部３１１は、カメラ２１０から出力される映像の垂直同期信号と水平同期信号に基づき、メモリコントローラ部３１０を介してフレームメモリ１２０あるいはフレームメモリ１３０に映像データを書き込む。
【０１２０】
ビデオ入力部３１２は、ＤＶＤ２１１から出力される映像の垂直同期信号と水平同期信号に基づき、メモリコントローラ部３１０を介してフレームメモリ１２０あるいはフレームメモリ１３０に映像データを書き込む。
【０１２１】
ビデオ入力部３１３は、ＴＶ２１２から出力される映像の垂直同期信号と水平同期信号に基づき、メモリコントローラ部３１０を介してフレームメモリ１２０あるいはフレームメモリ１３０に映像データを書き込む。
【０１２２】
メモリコントローラ部３１０は、ビデオ入力部３１１、ビデオ入力部３１２、ビデオ入力部３１３、描画部１５０、ビデオ出力部１６０、制御部１８０といったマスタ部からのメモリアクセス要求を調停し、システムメモリ１１０、フレームメモリ１２０、フレームメモリ１３０に複数のマスタ部が並行にアクセスできるようにデータ転送を制御する。
【０１２３】
図１５は、フレームメモリ１２０とフレームメモリ１３０に、ビデオ入力部３１１、ビデオ入力部３１２、ビデオ入力部３１３とビデオ出力部１６０がアクセスするバンクをそれぞれ３つ、合計９個（バンクＡ０〜２、バンクＢ０〜２、バンクＣ０〜２）割り当て、さらに、描画部１５０とビデオ出力部１６０がアクセスするバンクを４つ（バンクＲＡ０、ＲＡ１、ＲＢ０、ＲＢ１）割り当てた場合のメモリ内容を示す図である。
【０１２４】
このように、ビデオ入力部３１１、ビデオ入力部３１２、ビデオ入力部３１３と描画部１５０用のバンクが、フレームメモリ１２０とフレームメモリ１３０に分けて割り当てるようにすることと、ビデオ入力部３１１、ビデオ入力部３１２、ビデオ入力部３１３のアクセス状況、ビデオ出力部１６０のアクセス状況、描画部１５０が前回アクセス完了したバンクから、最もアクセスされる要因の小さいフレームメモリに割り当てられているバンクを描画部１５０が次にアクセスするバンクに指定することで、ビデオ入力部３１１、ビデオ入力部３１２、ビデオ入力部３１３、描画部１５０、ビデオ出力部１６０がフレームメモリ１２０とフレームメモリ１３０に対して、並列にアクセスできる頻度が高まり、性能を向上させることができる。
【０１２５】
なお、描画部１５０の場合と同様に、ビデオ入力部３１１、ビデオ入力部３１２、ビデオ入力部３１３のそれぞれについても、他のビデオ入力部のアクセス状況、描画部１５０のアクセス状況、ビデオ出力部１６０のアクセス状況、ビデオ入力部３１１、ビデオ入力部３１２、ビデオ入力部３１３のそれぞれが前回アクセス完了したバンクから、最もアクセスされる要因の小さいフレームメモリに割り当てられているバンクを、次にアクセスするバンクに選択するようにしてもよい。
【０１２６】
以上のように、本実施の形態によれば、メモリコントローラ部３１０は、ビデオ入力部３１１、ビデオ入力部３１２、ビデオ入力部３１３、描画部１５０、ビデオ出力部１６０、制御部１８０といったマスタ部からのメモリアクセス要求を調停し、システムメモリ１１０、フレームメモリ１２０、フレームメモリ１３０に複数のマスタ部が並行にアクセスできるようにデータ転送を制御するので、複数のビデオ入力部を持つ構成でも、描画部１５０やビデオ出力部１６０との並列処理を行うことができ、処理性能を向上させることができる。
【０１２７】
以上の説明は本発明の好適な実施の形態の例証であり、本発明の範囲はこれに限定されることはない。例えば、上記各実施の形態は、各種の電子機器に適用した例であるが、入力対象を空間に表示するものであればどのような機器にも同様に適用できる。
【０１２８】
また、上記各実施の形態では画像処理装置という名称を用いたが、これは説明の便宜上であり、画像処理システム、画像出力装置等であってもよいことは勿論である。
【０１２９】
さらに、上記画像処理装置を構成する各装置、例えばメモリ等の種類、数及び接続方法などは前述した実施の形態に限られない。
【産業上の利用可能性】
【０１３０】
本発明では、ビデオ入力や描画、表示を高速に処理できるので、例えば、車載用のディスプレイにおいて、エアコンの操作画面やカーナビゲーション画面、ＤＶＤやＴＶの映像等、様々な画像を素早く重畳して表示することができる。また、車載用のディスプレイ以外の各電子機器における画像処理システムにも広く適用され得るものである。
【図面の簡単な説明】
【０１３１】
【図１】本発明の実施の形態１に係る画像処理装置の構成を示すブロック図
【図２】上記実施の形態１に係る画像処理装置の描画部の内部構成を示す図
【図３】上記実施の形態１に係る画像処理装置のビデオ入力部のビデオ入力の有効データ領域、及びブランキング領域を示す図
【図４】上記実施の形態１に係る画像処理装置のビデオ入力部の処理タイミングを示すタイミング図
【図５】上記実施の形態１に係る画像処理装置のビデオ出力部のビデオ出力の有効表示領域、及びブランキング領域を示す図
【図６】上記実施の形態１に係る画像処理装置のビデオ出力部の処理タイミングを示すタイミング図
【図７】上記実施の形態１に係る画像処理装置のビデオ入力部とビデオ出力部がアクセスするバンクを３つ割り当てた場合のメモリ内容を示す図
【図８】上記実施の形態１に係る画像処理装置のＶＩＶＳＹＮＣとＶＯＶＳＹＮＣの周期が同じ場合に、ビデオ入力部とビデオ出力部が、フレームメモリとフレームメモリに割り当てられているバンクをアクセスするタイミングを示すタイミング図
【図９】上記実施の形態１に係る画像処理装置のＶＩＶＳＹＮＣの周期がＶＯＶＳＹＮＣの周期より短い場合に、ビデオ入力部とビデオ出力部が、フレームメモリとフレームメモリに割り当てられているバンクをアクセスするタイミングを示すタイミング図
【図１０】上記実施の形態１に係る画像処理装置のＶＩＶＳＹＮＣの周期がＶＯＶＳＹＮＣの周期より長い場合に、ビデオ入力部とビデオ出力部が、フレームメモリとフレームメモリに割り当てられているバンクをアクセスするタイミングを示すタイミング図
【図１１】上記実施の形態１に係る画像処理装置のフレームメモリとフレームメモリに、ビデオ入力部とビデオ出力部がアクセスするバンクを３つ割り当て、さらに、描画部とビデオ出力部がアクセスするバンクを４つ割り当てた場合のメモリ内容を示す図
【図１２】上記実施の形態１に係る画像処理装置のビデオ入力部とビデオ出力部のアクセス状況によって、制御部が描画部に対して、次にどのバンクをアクセスするように指令するかを示す図
【図１３】上記実施の形態１に係る画像処理装置のテクスチャロード部とピクセル生成部が、テクスチャメモリとメモリコントローラ部にアクセスするタイミングを示すタイミング図
【図１４】本発明の実施の形態２に係る画像処理装置の構成を示すブロック図
【図１５】上記実施の形態２に係る画像処理装置のフレームメモリとフレームメモリに、各ビデオ入力部とビデオ出力部がアクセスするバンクをそれぞれ３つ、合計９個割り当て、さらに、描画部とビデオ出力部がアクセスするバンクを４つ割り当てた場合のメモリ内容を示す図
【符号の説明】
【０１３２】
１００，３００ 画像処理装置
１１０ システムメモリ
１２０，１３０ フレームメモリ
１４０，３１１，３１２，３１３ ビデオ入力部
１５０ 描画部
１５１，１５２ テクスチャメモリ
１５３ テクスチャロード部
１５４ ピクセル生成部
１６０ ビデオ出力部
１７０ ディスプレイ
１８０ 制御部
１９０，３１０ メモリコントローラ部
２１０ カメラ
２１１ ＤＶＤ
２１２ ＴＶ
２１３ ビデオ選択部
【特許請求の範囲】
【請求項１】
複数のフレームメモリと、
前記複数のフレームメモリに対してアクセスする複数のマスタ部と、
前記複数のマスタ部からのアクセス要求を調停し、それぞれの前記フレームメモリに前記複数のマスタ部が並行にアクセスできるようにデータ転送を制御するメモリコントローラ部と、
前記複数のフレームメモリに対して前記メモリコントローラ部を介して映像入力データを書き込むビデオ入力部と、
前記複数のフレームメモリに格納されているデータを、前記メモリコントローラ部を介して読み出しディスプレイに表示するビデオ出力部とを備え、
前記メモリコントローラ部は、前記ビデオ入力部と前記ビデオ出力部がアクセスする複数のバンクを前記複数のフレームメモリに分けて割り当て、前記ビデオ出力部は前記ビデオ入力部が書き込み完了した最後のバンクを読み出す画像処理装置。
【請求項２】
システムメモリと、
前記システムメモリ及び前記複数のフレームメモリに前記複数のマスタ部が並行にアクセスできるようにデータ転送を制御する前記メモリコントローラ部と、
前記システムメモリに格納されているアプリケーションプログラムに基づいて、前記ビデオ入力部、前記ビデオ出力部、前記メモリコントローラ部のタイミング制御を行い、また演算結果を、前記メモリコントローラ部を介して前記フレームメモリに書き込む制御部とを備える請求項１記載の画像処理装置。
【請求項３】
前記制御部は、前記ビデオ入力部と前記ビデオ出力部のメモリアクセス開始・終了タイミング及び、前記複数のフレームメモリにアクセスする情報に基づいて、無アクセス状態となっているフレームメモリに対して演算結果を書き込む請求項２記載の画像処理装置。
【請求項４】
前記システムメモリに格納されているテクスチャデータを、前記メモリコントローラ部を介して読み出し、前記制御部からの指令に基づき、線、三角形又は矩形の図形に対してテクスチャマッピング及びアルファブレンド処理を行った描画データを、前記メモリコントローラ部を介して前記フレームメモリに書き込む描画部を備える請求項２記載の画像処理装置。
【請求項５】
前記メモリコントローラ部は、前記描画部と前記ビデオ出力部がアクセスする複数のバンクを前記複数のフレームメモリに分けて割り当て、前記描画部が次に前記バンクをアクセスするか決める時に、前記ビデオ入力部と前記ビデオ出力部がそれぞれ前記フレームメモリにアクセス中か、あるいは、前記フレームメモリにもアクセスしていない状態で、次に前記フレームメモリをアクセスするかの情報と前記描画部が前回アクセス完了したバンク情報から、最もアクセスされる要因の小さいフレームメモリに割り当てられているバンクを選択する請求項４記載の画像処理装置。
【請求項６】
前記メモリコントローラ部は、前記ビデオ入力部が次に前記バンクをアクセスするか決める時に、前記描画部と前記ビデオ出力部がそれぞれ該当フレームメモリにアクセス中か、あるいは、前記フレームメモリにもアクセスしていない状態で、次に前記フレームメモリをアクセスするかの情報と前記ビデオ入力部が前回アクセス完了したバンク情報から、最もアクセスされる要因の小さいフレームメモリに割り当てられているバンクを選択する請求項５記載の画像処理装置。
【請求項７】
前記描画部は、２つのテクスチャメモリと、
前記システムメモリに格納されているテクスチャデータを、前記メモリコントローラ部を介して読み出し、一方のテクスチャメモリにテクスチャデータを書き込むテクスチャロード部と、
他方のテクスチャメモリに格納されているテクスチャデータを読み出し、線、三角形又は矩形の図形に対してテクスチャマッピングやアルファブレンド処理を行って生成した描画データを、前記メモリコントローラ部を介して前記フレームメモリに書き込むピクセル生成部を備え、
前記ピクセル生成部が前記描画データを前記フレームメモリに書き込むのと並行に、テクスチャロード部が次の図形のテクスチャデータを前記フレームメモリから読み出す請求項４又は請求項５に記載の画像処理装置。
【請求項８】
前記テクスチャデータを前記システムメモリから前記フレームメモリに転送した後、前記描画部が前記フレームメモリから前記テクスチャデータを読み出す請求項４乃至請求項７のいずれかに記載の画像処理装置。
【請求項９】
前記ビデオ入力部が前記フレームメモリに書き込んだ映像データをテクスチャデータとして、前記描画部が読み出す請求項４乃至請求項７のいずれかに記載の画像処理装置。
【請求項１０】
前記ビデオ入力部に入力される映像信号は、複数の映像信号から一つ選択された映像信号である請求項４乃至請求項９のいずれかに記載の画像処理装置。
【請求項１１】
前記ビデオ入力部を複数備え、前記描画部と前記複数のビデオ入力部がアクセスする複数のバンクを前記複数のフレームメモリに分けて割り当て、前記描画部が次に前記バンクをアクセスするか決める時に、前記複数のビデオ入力部と前記ビデオ出力部がそれぞれ前記フレームメモリにアクセス中か、あるいは、前記フレームメモリにもアクセスしていない状態で、次に前記フレームメモリをアクセスするかの情報と前記描画部が前回アクセス完了したバンク情報から、最もアクセスされる要因の小さいフレームメモリに割り当てられているバンクを選択する請求項４乃至請求項９のいずれかに記載の画像処理装置。
【請求項１２】
前記ビデオ入力部を複数備え、前記描画部と前記複数のビデオ入力部がアクセスする複数のバンクを前記複数のフレームメモリに分けて割り当て、前記複数のビデオ入力部の１つが次に前記バンクをアクセスするか決める時に、他のビデオ入力部と前記描画部と前記ビデオ出力部がそれぞれ前記フレームメモリにアクセス中か、あるいは、前記フレームメモリにもアクセスしていない状態で、次に前記フレームメモリをアクセスするかの情報と前記複数のビデオ入力部の１つが前回アクセス完了したバンク情報から、最もアクセスされる要因の小さいフレームメモリに割り当てられているバンクを選択する請求項４乃至請求項９のいずれかに記載の画像処理装置。
【請求項１】
複数のフレームメモリと、
前記複数のフレームメモリに対してアクセスする複数のマスタ部と、
前記複数のマスタ部からのアクセス要求を調停し、それぞれの前記フレームメモリに前記複数のマスタ部が並行にアクセスできるようにデータ転送を制御するメモリコントローラ部と、
前記複数のフレームメモリに対して前記メモリコントローラ部を介して映像入力データを書き込むビデオ入力部と、
前記複数のフレームメモリに格納されているデータを、前記メモリコントローラ部を介して読み出しディスプレイに表示するビデオ出力部とを備え、
前記メモリコントローラ部は、前記ビデオ入力部と前記ビデオ出力部がアクセスする複数のバンクを前記複数のフレームメモリに分けて割り当て、前記ビデオ出力部は前記ビデオ入力部が書き込み完了した最後のバンクを読み出す画像処理装置。
【請求項２】
システムメモリと、
前記システムメモリ及び前記複数のフレームメモリに前記複数のマスタ部が並行にアクセスできるようにデータ転送を制御する前記メモリコントローラ部と、
前記システムメモリに格納されているアプリケーションプログラムに基づいて、前記ビデオ入力部、前記ビデオ出力部、前記メモリコントローラ部のタイミング制御を行い、また演算結果を、前記メモリコントローラ部を介して前記フレームメモリに書き込む制御部とを備える請求項１記載の画像処理装置。
【請求項３】
前記制御部は、前記ビデオ入力部と前記ビデオ出力部のメモリアクセス開始・終了タイミング及び、前記複数のフレームメモリにアクセスする情報に基づいて、無アクセス状態となっているフレームメモリに対して演算結果を書き込む請求項２記載の画像処理装置。
【請求項４】
前記システムメモリに格納されているテクスチャデータを、前記メモリコントローラ部を介して読み出し、前記制御部からの指令に基づき、線、三角形又は矩形の図形に対してテクスチャマッピング及びアルファブレンド処理を行った描画データを、前記メモリコントローラ部を介して前記フレームメモリに書き込む描画部を備える請求項２記載の画像処理装置。
【請求項５】
前記メモリコントローラ部は、前記描画部と前記ビデオ出力部がアクセスする複数のバンクを前記複数のフレームメモリに分けて割り当て、前記描画部が次に前記バンクをアクセスするか決める時に、前記ビデオ入力部と前記ビデオ出力部がそれぞれ前記フレームメモリにアクセス中か、あるいは、前記フレームメモリにもアクセスしていない状態で、次に前記フレームメモリをアクセスするかの情報と前記描画部が前回アクセス完了したバンク情報から、最もアクセスされる要因の小さいフレームメモリに割り当てられているバンクを選択する請求項４記載の画像処理装置。
【請求項６】
前記メモリコントローラ部は、前記ビデオ入力部が次に前記バンクをアクセスするか決める時に、前記描画部と前記ビデオ出力部がそれぞれ該当フレームメモリにアクセス中か、あるいは、前記フレームメモリにもアクセスしていない状態で、次に前記フレームメモリをアクセスするかの情報と前記ビデオ入力部が前回アクセス完了したバンク情報から、最もアクセスされる要因の小さいフレームメモリに割り当てられているバンクを選択する請求項５記載の画像処理装置。
【請求項７】
前記描画部は、２つのテクスチャメモリと、
前記システムメモリに格納されているテクスチャデータを、前記メモリコントローラ部を介して読み出し、一方のテクスチャメモリにテクスチャデータを書き込むテクスチャロード部と、
他方のテクスチャメモリに格納されているテクスチャデータを読み出し、線、三角形又は矩形の図形に対してテクスチャマッピングやアルファブレンド処理を行って生成した描画データを、前記メモリコントローラ部を介して前記フレームメモリに書き込むピクセル生成部を備え、
前記ピクセル生成部が前記描画データを前記フレームメモリに書き込むのと並行に、テクスチャロード部が次の図形のテクスチャデータを前記フレームメモリから読み出す請求項４又は請求項５に記載の画像処理装置。
【請求項８】
前記テクスチャデータを前記システムメモリから前記フレームメモリに転送した後、前記描画部が前記フレームメモリから前記テクスチャデータを読み出す請求項４乃至請求項７のいずれかに記載の画像処理装置。
【請求項９】
前記ビデオ入力部が前記フレームメモリに書き込んだ映像データをテクスチャデータとして、前記描画部が読み出す請求項４乃至請求項７のいずれかに記載の画像処理装置。
【請求項１０】
前記ビデオ入力部に入力される映像信号は、複数の映像信号から一つ選択された映像信号である請求項４乃至請求項９のいずれかに記載の画像処理装置。
【請求項１１】
前記ビデオ入力部を複数備え、前記描画部と前記複数のビデオ入力部がアクセスする複数のバンクを前記複数のフレームメモリに分けて割り当て、前記描画部が次に前記バンクをアクセスするか決める時に、前記複数のビデオ入力部と前記ビデオ出力部がそれぞれ前記フレームメモリにアクセス中か、あるいは、前記フレームメモリにもアクセスしていない状態で、次に前記フレームメモリをアクセスするかの情報と前記描画部が前回アクセス完了したバンク情報から、最もアクセスされる要因の小さいフレームメモリに割り当てられているバンクを選択する請求項４乃至請求項９のいずれかに記載の画像処理装置。
【請求項１２】
前記ビデオ入力部を複数備え、前記描画部と前記複数のビデオ入力部がアクセスする複数のバンクを前記複数のフレームメモリに分けて割り当て、前記複数のビデオ入力部の１つが次に前記バンクをアクセスするか決める時に、他のビデオ入力部と前記描画部と前記ビデオ出力部がそれぞれ前記フレームメモリにアクセス中か、あるいは、前記フレームメモリにもアクセスしていない状態で、次に前記フレームメモリをアクセスするかの情報と前記複数のビデオ入力部の１つが前回アクセス完了したバンク情報から、最もアクセスされる要因の小さいフレームメモリに割り当てられているバンクを選択する請求項４乃至請求項９のいずれかに記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１０−４４２８６（Ｐ２０１０−４４２８６Ａ）
【公開日】平成２２年２月２５日（２０１０．２．２５）
【国際特許分類】
【出願番号】特願２００８−２０９２７１（Ｐ２００８−２０９２７１）
【出願日】平成２０年８月１５日（２００８．８．１５）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２２年２月２５日（２０１０．２．２５）
【国際特許分類】
【出願日】平成２０年８月１５日（２００８．８．１５）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]