画像処理装置及びその制御方法
【課題】 動画像変換とグラフィック変換の画像処理が同時に完了しない場合には、変換済みの動画像とグラフィックとを同期して表示することができない。
【解決手段】 動画描画命令及びグラフィックス描画命令を含む描画命令を受け取って描画処理を行なう画像処理装置とその制御方法であって、グラフィックス描画部２１５で生成されたグラフィックスを基に、描画命令に含まれる同期情報に従って出力される同期済みグラフィックスと、動画描画部２０７が入力した動画に対して、同期情報に従って出力される同期動画描画命令を実行して生成した処理済動画とを合成部２０９により合成して出力する。
【解決手段】 動画描画命令及びグラフィックス描画命令を含む描画命令を受け取って描画処理を行なう画像処理装置とその制御方法であって、グラフィックス描画部２１５で生成されたグラフィックスを基に、描画命令に含まれる同期情報に従って出力される同期済みグラフィックスと、動画描画部２０７が入力した動画に対して、同期情報に従って出力される同期動画描画命令を実行して生成した処理済動画とを合成部２０９により合成して出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、グラフィックスと動画データとを入力して合成する画像処理装置及びその制御方法に関するものである。
【背景技術】
【０００２】
動画とグラフィックスとを含む画像を作成して表示するためには、グラフィックスと動画のそれぞれを描画し、これらを合わせて表示する仕組みが必要である。しかし、動画とグラフィックスでは、画像の使用用途、対象となる画像形式により、要求される描画処理の種類が異なる。従って、動画とグラフィックスの画像形成及びそれらを合成して表示するために、動画とグラフィックスの処理系統を分離し、それぞれの処理系統の出力結果を合成して出力することが一般的である。
【０００３】
特許文献１には、ビデオとグラフィックスとを合成して出力する動画表示装置が記載されており、この方式では、フレームメモリに格納された画像データと動画データとを、その読み出しアドレスを切り替えながら合成して出力している。
【０００４】
特許文献２は、ビデオとグラフィックスを重畳して出力するビデオとグラフィックスの重畳表示装置を記載している。この特許文献２では、グラフィックスとビデオとが重なる領域で、グラフィックスとビデオの優先度を選択的に指示することにより、安価にビデオとグラフィックスの重畳表示を実現している。
【０００５】
また特許文献３は、複数の動画像と、描画した画像とを合わせて再生する動画像再生装置を記載している。この特許文献３では、複数のソフトウェアが動作する環境で、あるソフトウェアによる表示の上に重ねて他のソフトウェアによる表示を行っている。そして、再生すべき動画像の形状設定の指示情報に従ってフレームの画像を描画することにより、非矩形画像の重畳を実現している。
【０００６】
また特許文献４は、動画と移動オブジェクトの重ね合わせの順番を変えて合成する技術を記載している。この特許文献４では、動画と移動オブジェクトのどちらが前面に表示されるべきかという奥行き値を付与し、奥行き値に基づいて陰面消去を行っている。
【０００７】
また特許文献５は、異なる解像度の動画像とグラフィックとを解像度変換して合成する画像表示装置を記載している。この特許文献５では、動画像とグラフィックを合成する前に、動画像変換手段、及びグラフィック変換手段により、それぞれ独立に解像度変換を行っている。
【０００８】
更に特許文献６は、ビデオとグラフィックスとを半透明状態で重ねて表示する画像処理装置を記載している。この特許文献６では、画素ごとに持っているビデオの表示、半透明状態の表示、画像の表示状態に基づいて、画像の構成要素の部品とビデオデータの表示とを指示している。
【特許文献１】特開平０７−０７２８５０号公報
【特許文献２】特開平１０−０２０８５０号公報
【特許文献３】特開２００２−２２９７６７号公報
【特許文献４】特開２００１−１８４５２３号公報
【特許文献５】特開２００３−３３８９９１号公報
【特許文献６】特開２００２−２２２４２８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
動画とグラフィックスとを含む画像を表示する場合、グラフィックスで描いた枠の中に動画を表示する場合には、グラフィックスと動画とを同期させて表示しなければならない。しかしながら、動画とグラフィックスとの処理系統を分離した画像表示装置では、動画とグラフィックスそれぞれの処理が完了する時間を同期させることができない。このため、グラフィックスと動画のフレームを１：１に関連付けることができないという課題があった。
【００１０】
この点に関して特許文献１の動画表示装置は、フレームメモリのアドレス管理情報切替手段を用いて合成の位置のみを指示している。従って、合成対象となる動画データと、画像データの位置は指定できるが、特定の動画データのフレームと、特定の静止画データのフレームとを合成するがきでない。また特許文献２の描画回路は、ビデオとグラフィックスの識別ビットを、描画回路にのみ接続されるグラフィックス識別回路と、ビデオ画素生成回路にのみ接続されるビデオ識別回路で独立に生成している。従って、描画回路とビデオ画素回路の処理時間の同期を取ることはできない。また特許文献３の動画像再生方法では、動画像のフレーム毎に、ウィンドウシステムを用いて動画像の形状情報の設定と、フレーム画像を描画する描画部の制御を行っている。従って、フレーム毎にウィンドウシステムのオーバヘッドが発生して動画像の再生速度が制限される。また描画部と、形状設定部それぞれでの画像処理の完了時間が一致しない場合には形状設定情報と描画結果の同期表示ができなくなる。
【００１１】
また特許文献４の画像生成システムでは、ムービデータの最終フレーム以外のフレームで、移動オブジェクトとムービデータを合成する場合、移動オブジェクトの移動処理の時間を考慮していない。このため、動作中のムービデータと、移動処理後のオブジェクトとを合成すると、経路情報を指示したビデオフレームと、合成される移動オブジェクトがずれてしまうとう問題がある。また特許文献５の画像表示装置では、グラフィック変換手段と、動画像変換手段がそれぞれ独立に変換処理を行い、その結果を合成して表示している。従って、動画像変換手段と、グラフィック変換手段の画像処理が同時に完了しない場合には、変換済みの動画像とグラフィックとを同期して表示することができなくなる。更に特許文献６の画像表示装置では、設定手段を用いて半透明状態で合成すべき部品の画像とビデオの重ね合わせを指示している。この特許文献６でも、部品の画像とビデオの処理時間が常に同一レイテンシで完了しない場合には、部品画像とビデオとを同期させて合成表示することができない。
【００１２】
本発明の目的は、上記従来技術の問題点を解決することにある。
【００１３】
本願発明の一態様によれば、グラフィックスと動画の同期表示を可能にした画像処理装置とその制御方法を提供できる。
【課題を解決するための手段】
【００１４】
上記目的を達成するために本発明の一態様に係る画像処理装置は以下のような構成を備える。即ち、
動画描画命令及びグラフィックス描画命令を含む描画命令を受け取って描画処理を行なう画像処理装置であって、
前記描画命令から動画描画命令、グラフィックス描画命令及び同期情報を生成し、前記グラフィックス描画命令を実行してグラフィックスを出力するグラフィックス描画手段と、
前記グラフィックス描画手段による描画結果であるグラフィックスを保持するグラフィックス保持手段と、
前記グラフィックス描画手段が生成した前記動画描画命令を受け取って保持する動画描画命令保持手段と、
前記グラフィックス描画手段から出力される前記同期情報に従って、前記動画描画命令保持手段に保持された前記動画描画命令から同期動画描画命令を出力する動画描画命令出力手段と、
入力する動画に対して前記同期動画描画命令を実行して処理済動画を出力する動画描画手段と、
前記グラフィックス描画手段から出力される前記同期情報に従って、前記グラフィックス保持手段から同期済みグラフィックスを出力するグラフィックス出力手段と、
前記グラフィックス出力手段から出力される前記同期済みグラフィックスと前記動画描画手段から出力される前記処理済動画とを合成する合成手段と、
を有することを特徴とする。
【００１５】
上記目的を達成するために本発明の一態様に係る画像処理装置の制御方法は以下のような工程を備える。即ち、
動画描画命令及びグラフィックス描画命令を含む描画命令を受け取って描画処理を行なう画像処理装置の制御方法であって、
前記描画命令から動画描画命令、グラフィックス描画命令及び同期情報を生成し、前記グラフィックス描画命令を実行してグラフィックスを出力するグラフィックス描画工程と、
前記グラフィックス描画工程での描画結果であるグラフィックスを保持するグラフィックス保持工程と、
前記グラフィックス描画工程で生成した前記動画描画命令を受け取って保持する動画描画命令保持工程と、
前記グラフィックス描画工程により出力される前記同期情報に従って、前記動画描画命令保持工程で保持された前記動画描画命令から同期動画描画命令を出力する動画描画命令出力工程と、
入力する動画に対して前記同期動画描画命令を実行して処理済動画を出力する動画描画工程と、
前記グラフィックス描画工程により出力される前記同期情報に従って、前記グラフィックス保持工程で保持されたグラフィックから同期済みグラフィックスを出力するグラフィックス出力工程と、
前記グラフィックス出力工程で出力される前記同期済みグラフィックスと前記動画描画工程で出力される前記処理済動画とを合成する合成工程と、
を有することを特徴とする。
【発明の効果】
【００１６】
本発明によれば、グラフィックスと動画の同期表示が可能となるという効果がある。
【発明を実施するための最良の形態】
【００１７】
以下、添付図面を参照して本発明の好適な実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
【００１８】
図１は、本発明の実施形態に係る画像処理装置１０６を有する画像処理システム１１１の構成を説明するブロック図である。
【００１９】
この画像処理システム１１１は、アプリケーション１０１、制御ソフトウェア１０２、画像処理装置１０６及び画像デコーダ１０５を有している。制御ソフトウェア１０２は、アプリケーション１０１が生成するドキュメントを、ドキュメントパス１１２を介して受け取って画像処理装置１０６に渡す。ここで、このドキュメントは、画像の描画指示及びＵＲＩ情報に代表される、外部ドキュメントの参照情報を含む。画像ソース１０８は、画像ソース入力パス１０９を介して入力される。この画像ソース入力パス１０９は、物理的に一つであっても複数であってもよい。また物理的に一つの画像ソース入力パス１０９を時分割で使用して、複数の画像ソースを入力できるように構成しても良い。
【００２０】
次に制御ソフトウェア１０２が行う動画入力処理について説明する。
【００２１】
制御ソフトウェア１０２は、動画入力処理として、ドキュメントに含まれる外部ドキュメントの参照情報を抽出して解析する。そして制御バス１０４を介して画像デコーダ１０５に、画像ソース１０８が格納されている場所、画像ソース１０８の形式を指示する。更に、画像デコーダ１０５が画像データを出力するための動画パス１０７の情報及び画像ソース１０８をダウンロードする入力パス１０９を画像デコーダ１０５に指示する。いま画像ソース１０８が複数である場合、制御ソフトウェア１０２は、合成出力１１７の表示に必要な全ての画像ソース１０８に対して動画を入力するように画像デコーダ１０５に指示する。尚、画像デコーダ１０５が出力する動画パス１０７は、一つであっても複数であってもよい。
【００２２】
画像デコーダ１０５は、画像ソース１０８が圧縮画像である場合に、その画像ソース１０８をデコード（伸張）して動画パス１０７に出力する。一方、画像ソース１０８が非圧縮画像の場合は、画像デコーダは画像ソース１０８を、デコード処理を行わずに制御ソフトウェア１０２によって指示された動画パス１０７に出力する。制御ソフトウェア１０２は、アプリケーション１０１から受信したドキュメントに含まれる外部ドキュメントの参照情報を動画パス１０７の情報と置換する。また画像処理装置１０６は、そのドキュメントに含まれる外部ドキュメントの参照情報を、上記処理によって動画パス１０７の情報と置換済みとすることによって生成した描画命令を用いる。
【００２３】
図２は、本発明の実施形態に係る画像処理装置１０６の機能構成を説明する機能ブロック図である。尚、図２において、図１と共通する部分は同じ記号で示し、それらの説明を省略する。
【００２４】
この画像処理装置１０６は、描画命令パス１０３、動画パス１０７を介して、それぞれ描画命令、動画を受け取り、これらを合成した合成出力１１７を生成する。ここで描画命令は、動画描画命令及びグラフィックス描画命令とを含み、ＳＶＧやフラッシュメモリ等に代表されるアニメーショングラフィックス、及び動画の表示が可能な描画命令である。描画命令は、グラフィックス描画タグと、動画タグとを含んでいる。
【００２５】
グラフィックス描画タグは、テキスト、基本図形、パス情報、リンク情報、アニメーション指示、画面の更新指示等を行うグラフィックス描画タグと、各グラフィック要素の描画指示において描画時に必要となるパラメータ群を含んでいる。これらのグラフィックス描画タグ、及びグラフィック要素の描画指示と、その描画指示に必要となるパラメータ群の関連付けは、一般的技術として公知であるため、ここでは詳述しない。
【００２６】
また動画タグは、動画の基点座標情報、サイズ情報、動画に適用する動画描画指示情報、画像処理装置１０６に非圧縮の動画ストリームを入力する際に使用する動画パス１０７の指示情報を含んでいる。この他に、後述する動画描画処理において必要となる動画のプロパティを動画タグに含めてもよい。例えば、画像処理装置１０６で動画の色変換を行う場合、動画の色空間情報を付与しても良い。尚、ここで動画は、テレビ放送やビデオ入力信号をデコードした非圧縮のデータである。一般的には、動画の形状は矩形であるが、入力動画の形状は本発明を制限するものではない。
【００２７】
合成出力１１７は、グラフィックスと動画とを合成した結果である。合成出力１１７はラスタフォーマットの色情報を持つ。
【００２８】
本実施形態に係る画像処理装置１０６は、グラフィックス描画部２１５、動画描画命令保持部２０３、動画描画命令出力部２０４、グラフィックス保持部２１１、グラフィックス出力部２１２、動画描画部２０７及び合成部２０９を有する。
【００２９】
次に、以上の構成を有する画像処理装置１０６による処理について説明する。
【００３０】
グラフィックス描画部２１５は、描画命令パス１０３を介して描画命令を受け取り、動画描画命令パス２０２、同期情報パス２１４及びグラフィックスパス２１３にそれぞれ動画描画命令、同期情報、及び描画したグラフィックスを出力する。尚、以下の説明では、描画した結果であるグラフィックスを単にグラフィックスと呼ぶこととする。
【００３１】
次に、グラフィックス描画部２１５が、描画命令として入力したグラフィックス描画タグと動画タグより、動画描画命令パス２０２及びグラフィックスパス２１３に出力する動画描画命令及びグラフィックスを生成する手順を説明する。２０５は動画描画部２０７に動画描画命令を供給する同期動画描画命令パス、２０８は動画描画部２０７で描画された動画を合成部２０９に供給する処理済動画パスである。同期済みグラフィックスパス２１０は、動画に同期してグラフィックス出力部２１２から合成部２０９にグラフィックスを供給するパスである。
【００３２】
図３は、本実施形態に係る画像処理装置１０６のグラフィックス描画部２１５による処理を説明するフローチャートである。ここでは描画命令を入力し、その描画命令からグラフィックスと動画描画命令を生成する手順を示している。
【００３３】
この処理は描画命令パス１０３を介して描画命令を受け取ることにより開始され、先ずステップＳ１で、その描画命令のグラフィックス描画タグが有効な描画タグであるかを判定し、そうであればステップＳ９に進む。ステップＳ９では、そのグラフィックス描画タグが画面更新指示であるか否かを判定する。ここで画面更新指示でなかった場合はステップＳ１０に進み、指示されたグラフィックオブジェクトの描画を行い、その生成したグラフィックスをグラフィックスパス２１３に出力する。そしてステップＳ７に進む。尚、ここでのグラフィックスの描画は、ペインタアルゴリズム等の既知の方法を用いてよい。
【００３４】
図４は、本実施形態に係るグラフィックス描画部２１５が生成したグラフィックスの一例を示す図である。
【００３５】
グラフィックス４０１は、グラフィックスの色を示す色情報４０２、グラフィックスの透過度を示すグラフィック透過度４０３、動画の表示領域を示す動画マスク４０４、動画のデフォルト透過度を示す動画透過度４０５を含んでいる。更に、このグラフィックスの画素に動画の表示が必要か否かを示す動画フラグ４０６を有している。
【００３６】
一方ステップＳ９で、描画タグが画面更新指示であった場合はステップＳ１１に進み、グラフィックス描画部２１５は、グラフィックス出力部２１２及び動画描画命令出力部２０４に対して出力設定を行う。尚、この画面更新指示は、１フレームの出力終了時、或はフレーム内の部分領域の描画が終了した時点で発行するようにしてよい。
【００３７】
このステップＳ１１の処理の詳細は以下の如くである。
【００３８】
グラフィックス描画部２１５は、グラフィックス出力部２１２に対して、グラフィックス保持部２１１に格納したグラフィックスのサイズを指定する。更に、前回のステップＳ１２の処理又はステップＳ１０の描画処理以降に描画された一連のグラフィックスが格納されているグラフィックス保持部２１１の領域を示すアドレス情報を指定する。但し、グラフィックス保持部２１１をレジスタで構成する場合は、このアドレス情報を指定する必要はない。
【００３９】
またグラフィックス描画部２１５は、動画描画命令出力部２０４に対して、動画描画命令保持部２０３に格納した動画描画命令のサイズを指定する。更に、前回のステップＳ１２の処理又はステップＳ１０の描画処理により生成された動画描画命令が格納されている動画描画命令保持部２０３の領域を示すアドレス情報を指定する。但し、動画描画命令保持部２０３をレジスタで構成する場合は、このアドレス情報を指定する必要はない。
【００４０】
そしてステップＳ１１からステップＳ１２に進み、グラフィックス描画部２１５は同期情報パス２１４を介して同期情報をグラフィックス出力部２１２と動画描画命令出力部２０４とに出力する。
【００４１】
図５（Ａ）は、グラフィックス描画部２１５に同期情報設定レジスタを持たせ、同期情報パス２１４を用いて同期情報を送出する場合の同期情報の一例を示す図である。
【００４２】
この同期情報５０１は、グラフィックス出力部２１２に同期を指示するためのグラフィックス同期情報５０２、動画描画命令出力部２０４に同期を指示するための動画同期情報５０３を含んでいる。いま動画パス１０７の数を複数とし、複数の動画描画部２０７を用いる場合は、複数の動画パス１０７のそれぞれに対応するように動画同期情報のフィールドを増やせば良い。
【００４３】
図５（Ｂ）は、動画パス１０７を２本にした場合に用いる同期情報の一例を示す図である。図５（Ｂ）では、図５（Ａ）に示すグラフィックス同期情報５０２、動画同期情報５０３に加えて、動画２同期情報５０５が含まれている。尚、ここでグラフィックス同期情報５０２、動画同期情報５０３及び動画２同期情報５０５は、それぞれ独立にセットしてよい。尚、これらグラフィックス同期情報５０２、動画同期情報５０３、動画２同期情報５０５はそれぞれ１ビットのデータである。尚、ここでグラフィックス同期情報５０２、動画同期情報５０３及び動画２同期情報５０５
本実施形態では、グラフィックスパス２１３に出力するグラフィックスと、一つ以上の動画パス１０７とをそれぞれ独立に制御するため、グラフィックス同期情報５０２、動画同期情報５０３及び動画２同期情報５０５を持つ同期情報を用いる。しかし、同期済グラフィックスと、同期済動画描画命令を常に同時に出力するだけでよい場合は、グラフィックス同期情報５０２、動画同期情報５０３、動画２同期情報５０５をまとめて一つの同期情報としてもよい。
【００４４】
本実施形態では、グラフィックス描画部２１５内のレジスタにデータを設定することによって同期情報を発行する例で説明する。しかし、動画描画命令パス２０２及びグラフィックスパス２１３のそれぞれに、グラフィックス同期情報５０２、動画同期情報５０３を送出する機構を、グラフィックス描画部２１５内の他の部分のハードウェア或はソフトウェアにより実現してもよい。
【００４５】
またグラフィックス描画部２１５は、図５に示す同期情報を同期情報パス２１４に出力することにより合成部２０９に入力する処理済動画、及び同期済グラフィックスの更新を指示する。この同期情報は一般的に、描画命令パス１０３から入力された描画命令に基づいて、１フレーム分の描画が完了した時点で発行される。また１フレーム内の特定の部分を、１フレームの描画を完了する前に更新する場合は、更新すべき部分に存在する全ての描画命令の処理が終了した時点で同期情報を発行すればよい。そしてグラフィックス出力部２１２と動画描画命令出力部２０４のいずれか、又は両方の更新を指示してよい。
【００４６】
再び図３のフローチャートに戻って、動画タグの処理について説明する。
【００４７】
ステップＳ１で有効な描画タグでない場合はステップＳ２に進み、グラフィックス描画部２１５は、有効な動画タグであるか否かを判定する。ここで有効な動画タグであると判定するとステップＳ３に進み、動画ハンドルを生成する。尚、ステップＳ２で有効な動画タグでないと判定するとステップＳ８に進み、エラー処理を実行する。
【００４８】
本実施形態では、動画ハンドルは、動画の幅、高さ、画質情報、動画のデフォルト透過度を指定して作成する。尚、動画ハンドルに渡すパラメータの種類は、本実施形態に限定されない。また本実施形態では、この他に動画ハンドルとグラフィックスのZ-orderとを描画順序によって規定するが、明示的に動画ハンドルでZ-orderを指示してもよい。
【００４９】
尚、ここで画質情報は、動画再生時に画質、速度のどちらを優先するかを決定する品質情報を含む。また動画のデフォルト透過度は、透過度を持たない動画に対する透過度を指定する。尚、画像処理装置１０６に入力される動画が透過度を持つ場合、最終出力には動画が持つ透過度を用いてよい。
【００５０】
ステップＳ３の次はステップＳ４に進み、グラフィックス描画部２１５は、ステップＳ３で生成した動画ハンドルと動画パス１０７との対応付けを行う。次にステップＳ５に進み、グラフィックス描画部２１５は、ステップＳ４で動画パス１０７との対応付けを行った動画ハンドルに基づいて動画描画命令を生成する。この動画描画命令の生成とは、動画描画命令の生成対象となる動画ハンドルを指定し、動画の回転、変倍、移動、マスキング、クリッピング、合成、台形変換、色変換、フィルタ処理及び動画再生の処理指示、及びその処理に必要なパラメータ群を指定することである。これらの設定値は、動画描画命令として動画描画命令パス２０２を介して動画描画命令保持部２０３に出力される。
【００５１】
本実施形態では、回転、変倍等は、アフィン変換の行列要素を指定することにより指定できる。また色変換は、色変換行列を指定することにより得られる。またフィルタ処理では、フィルタの種類、マスキングではマスクパターンの指示、ＬＵＴの設定等を含んでいる。これらの動画描画指示及び動画ハンドルの描画指示と、その描画指示に必要となるパラメータ群との関連付けは、一般的技術として公知であるためここでは詳述しない。尚、本実施形態に係る動画描画命令の生成時に指定する具体的な動画処理とそのパラメータ群、及びその関連付けは、本発明を制限するものではない。
【００５２】
次にステップＳ６に進み、グラフィックス描画部２１５は、動画パス１０７から入力される動画が表示される領域をグラフィックスパス２１３に出力する。またグラフィックス描画部２１５は、動画の存在する領域に動画フラグ４０６（図４）をセットし、動画描画命令によって指示された動画のデフォルト透過度を動画透過度４０５（図４）に設定する。またステップＳ５でマスキング処理がされている場合には、そのマスク値を動画マスク４０４に設定する。
【００５３】
こうしてステップＳ６の動画タグの処理、或はステップＳ１０，Ｓ１２の描画タグの処理が終了するとステップＳ７に進み、グラフィックス描画部２１５は、描画処理が完了したか否かを判定する。ここで描画が完了したと判定した場合は処理を終了するが、描画が完了していないと判定した場合はステップＳ１に戻って、描画処理を継続する。
【００５４】
動画描画命令保持部２０３は、動画描画命令パス２０２を介して入力した動画描画命令を保持する。この動画描画命令保持部２０３は、共有メモリで構成しても、専用メモリ或はレジスタで構成してもよい。また複数バッファで構成しても、シングルバッファで構成してもよい。
【００５５】
動画描画命令保持部２０３に動画描画命令が格納されている状態で、同期情報パス２１４を介して図５に示す同期情報が入力されると、動画描画命令の同期を指示する動画同期情報５０３及び動画２同期情報５０５が設定されているか否かを判定する。動画同期５０３が設定されていると、動画描画命令出力部２０４は、動画描画命令保持部２０３に保持されている動画描画命令を同期動画描画命令パス２０５に出力する。
【００５６】
次に動画描画部２０７の動作を説明する。この動画描画部２０７は、動画パス１０７から受け取った動画に、同期動画描画命令パス２０５を介して入力される動画描画命令によって指示される動画の描画処理を行う。動画描画部２０７は、こうして処理した処理済みの動画を処理済動画パス２０８に出力する。
【００５７】
次にグラフィックス保持部２１１の動作を説明する。グラフィックス保持部２１１は、グラフィックスパス２１３を介して入力されるグラフィックスを保持する。グラフィックス保持部２１１は、共有メモリで構成しても、専用メモリ、或はレジスタで構成してもよい。また、複数バッファで構成しても、シングルバッファで構成してもよい。
【００５８】
グラフィックス出力部２１２は、同期情報パス２１４を介してより同期情報を入力すると、その同期情報にグラフィックスの同期を指示するグラフィックス同期情報５０２がセットされているか否かを判定する。このグラフィックス同期情報５０２がセットされている場合は、グラフィックス保持部２１１に保持されているグラフィックスを、同期済グラフィックスとして同期済みグラフィックスパス２１０に出力する。
【００５９】
次に合成部２０９の動作を説明する。
【００６０】
合成部２０９は、処理済動画パス２０８及び同期済みグラフィックスパス２１０を介して、処理済み動画と同期済みのグラフィックスとをそれぞれ受け取り、これらを合成した画像を合成出力１１７として出力する。ここでの合成処理は、処理済動画と同期済みグラフィックスの画像データを、入力した画素順に合成して出力する周知の合成部であっても良い。
【００６１】
図６は、本発明の実施形態に係る画像処理装置における処理を説明するタイミング図である。ここでは、出力終了通知信号３５４によって、動画描画命令出力部２０４及びグラフィックス出力部２１２からの出力を切り替えている。
【００６２】
ここでは、グラフィックスフレーム１(g frame1)（３０１）と、グラフィックスフレーム４(g frame4)（３０４）は、動画描画命令とグラフィックスの両方の更新を示す。グラフィックスフレーム２(g frame2)（３０２）は動画描画命令の更新のみ、グラフィックスフレーム３(g frame3)（３０３）はグラフィックスの更新だけを必要としている。ここで描画命令パス１０３には、グラフィックスフレーム０〜４の描画命令が順に到着するものとする。
【００６３】
一方、動画パス１０７には、動画フレーム０(v frame0)（３２２）、動画フレーム１（３２３）、動画フレーム２（３２４）、動画フレーム３（３２５）、動画フレーム４（３２６）が入力される。
【００６４】
タイミング３６０で、同期情報パス２１４に出力される同期情報の値は「０」であるとする。また同期済グラフィックスパス２１０及び同期動画描画命令パス２０５には、それぞれ図示しないタイミング３６０以前に処理が完了しているフレーム０のグラフィックス及びフレーム０の動画描画命令が出力されている。これらは図６の３１３，３１７で示されている。
【００６５】
タイミング３６０からタイミング３６２までの期間は、グラフィックス描画処理が、合成出力１１７の１フレーム出力以前に終了するケースを示している。
【００６６】
グラフィックスフレーム１（３０１）が描画命令パス１０３を介して入力されると、グラフィックス描画部２１５は、このグラフィックスフレーム１の描画命令を処理する。グラフィックス描画部２１５は、３５４で、グラフィックスパス２１３にグラフィックス(g frame1)を出力する。また３５５で、動画描画命令パス２０２に動画描画命令(inst frame1)を出力する。このとき動画パス１０７には、３２２で示すように、動画フレーム１(v frame1)の動画描画命令が到着している。
【００６７】
グラフィックス描画部２１５は、グラフィックスフレーム１の描画処理が終了すると３０７で、同期情報パス２１４にグラフィックスの同期情報５０２、動画同期情報５０３をそれぞれセットした同期情報を発行する。
【００６８】
動画描画部２０７は、３１７で生成される動画フレーム０の動画描画命令を、３２２で動画パス１０７から動画描画部２０７に入力される動画フレーム０に適用する。そして３２７で、処理済み動画フレーム０(v frame0/sync inst frame0)として出力する。
【００６９】
合成部２０９は、３２７で生成される処理済動画フレーム０と、３１３で生成された同期済グラフィックスフレーム０(sync g frame0)とを合成する。そして３３２で、合成出力フレーム０（g frame0/v frame0/sync inst frame0）を出力する。そして合成部２０９は、この合成出力フレーム０の処理が終了すると、３６４で、出力終了通知信号３５４であるパルス信号を発行する。このパルス信号は、同期情報のリセット、グラフィックス出力部２１２の同期済グラフィックス出力の切り替え、及び動画描画命令出力部２０４の動画描画命令の出力切り替えを指示する。
【００７０】
３２３では、動画パス１０７に動画フレーム１(v frame1)が入力される。この動画フレーム１が入力される前の時点である３０７で、グラフィックスと動画の同期が指示されている。従って、この場合は、グラフィックス出力部２１２は、３１４で、同期を取ったグラフィックスフレーム１(sync g frame1)を同期済グラフィックスパス２１０に出力する。一方動画描画命令出力部２０４は、３１８で、同期動画描画命令フレーム１(sync inst frame1)を同期動画描画命令パス２０５に出力する。これにより動画描画部２０７は、その動画フレーム１の動画描画命令を受け取り、それを３２３で、動画パス１０７から動画描画部２０７に入力される動画フレーム１に適用する。そして３２８で、処理済動画フレーム１（v frame1/sync inst frame1）として出力する。
【００７１】
これにより合成部２０９は、３２８で生成された処理済動画フレーム１と、３１４で生成された同期済グラフィックスフレーム１とを合成する。そして３３３で、合成出力フレーム１（g frame1/v frame1/sync inst frame1）を出力する。こうして合成部２０９は、この合成出力フレーム１の処理が終了すると、出力終了通知信号３５４としてパルス信号３６５を発行する。
【００７２】
図６におけるタイミング３６１からタイミング３６３までの期間は、合成出力１１７が１フレームの出力を終了した時点で、グラフィックスの描画処理による１フレームの描画が終了しないケースを示している。
【００７３】
ここでは３０２での描画処理が、３６１の時点で終了していない。このため、タイミング３６１の時点では、グラフィックスフレーム２の描画結果、及び動画描画命令フレーム２は利用できない。この場合、グラフィックス出力部２１２は、３１５で、タイミング３６１の時点で使用可能であった同期済グラフィックスフレーム１（sync g frame1）を同期済グラフィックスパス２１０に出力する。また動画描画命令出力部２０４は、３１９で、タイミング３６１の時点で使用可能であった同期動画描画命令フレーム１（sync inst frame1）を同期動画描画命令パス２０５に出力する。
【００７４】
これにより動画描画部２０７は、３１９で生成される動画フレーム１の動画描画命令を、３２４で動画パス１０７から動画描画部２０７に入力される動画フレーム２に適用する。そして３２９で、処理済動画フレーム２（v frame2/sync inst frame1）を出力する。
【００７５】
合成部２０９は、３２９で生成された処理済動画フレーム２と、３１５の同期済グラフィックスフレーム１とを合成する。そして３３４で、フレーム２（g frame1/v frame2/sync inst frame1）を出力する。こうして合成部２０９は、３３４のフレーム２の合成処理が終了すると、出力終了通知信号３５４としてパルス信号３６６を発行する。
【００７６】
次にタイミング３６１からタイミング３６２までの期間は、グラフィックス描画部２１５によるフレーム２の描画が終了した時点で、動画描画命令出力部２０４のみに同期を指示する場合を示している。ここでは同期情報が「０１」であるため、動画同期情報５０３のみが「１」となっている。
【００７７】
グラフィックス描画部２１５は、３０２での描画処理が終了すると、３０９で、動画描画命令出力部２０４のみに同期を指示する同期情報を出力する。このときグラフィックス描画部２１５は、同期情報のグラフィックス同期情報５０２をリセット、動画同期情報５０３のみを「１」にセットする。従って、３６２の時点では動画描画命令フレーム２と、グラフィックスフレーム１が利用可能である。
【００７８】
グラフィックス出力部２１２は、３１６で、同期済グラフィックスフレーム１(sync g frame1)を同期済グラフィックスパス２１０に出力する。一方、動画描画命令出力部２０４は、３２０で、タイミング３６２の時点で使用可能となった同期動画描画命令フレーム２(sync inst frame2)を同期動画描画命令パス２０５に出力する。
【００７９】
動画描画部２０７は、３２０で生成される動画フレーム２の動画描画命令を、３２５で、動画パス１０７から動画描画部２０７に入力される動画フレーム３(v frame3)に適用する。そして３３０で、処理済動画フレーム３(v frame3/sync inst frame2)を出力する。
【００８０】
これにより合成部２０９は、３３０で生成された処理済動画フレーム３と、３１６の同期済グラフィックスフレーム１(sync g frame1)とを合成する。そして３３５で、合成出力フレーム３(g frame1/v frame3/sync inst frame2)を出力する。こうして合成部２０９は、３３５で示す合成出力フレーム３の処理が終了すると、出力終了通知信号３５４にパルス信号３６７を発行する。
【００８１】
３６３から３６４までの期間は、合成出力１１７が１フレームの出力を終了する前に、グラフィックス描画部２１５が複数フレームの描画を完了したケースを示している。
本実施形態では、３０３で、グラフィックスフレーム３の描画が完了し、３１１で、グラフィックス同期情報５０２が「１０」にセットされている。また３０４でグラフィックスフレーム４の描画が完了し、３１２で、グラフィックス同期情報５０２と動画同期情報５０３の両方がセット（「１１」）されている。３０４での描画処理が終了した後、３１２で、グラフィックスと動画の同期が指示されている。このため、３６４では、グラフィックスフレーム４(g frame4)及び動画描画命令フレーム４(sync inst frame4)が利用可能である。このようにグラフィックス描画部２１５が合成部２０９の１フレーム出力完了前に複数フレームの描画を完了した場合は、動画描画部２０７及び合成部２０９は、タイミング３６４の時点で最新のグラフィックス及び動画描画命令を用いる。
【００８２】
グラフィックス出力部２１２は、３４４で同期済グラフィックスフレーム４(sync g frame4)を同期済グラフィックスパス２１０に出力する。また動画描画命令出力部２０４は、３４５で、同期動画描画命令フレーム４(sync inst frame4)を同期動画描画命令パス２０５に出力する。
【００８３】
動画描画部２０７は、３４５で生成された動画フレーム４の動画描画命令に基づいて、３２６で動画パス１０７から動画描画部２０７に入力される動画フレーム４に適用する。そして３３１で、処理済動画フレーム４(v frame4/sync inst frame4)を出力する。こうして合成部２０９は、３３１で生成された処理済動画フレーム４と、３４４で生成された同期済グラフィックスフレーム４とを合成する。そして３３６で、合成出力フレーム４(g frame4/v frame4/sync inst frame4)を出力する。
【００８４】
以上のようにして、動画とグラフィックスを同期しながら表示する画像処理装置１０６が実現できる。
【００８５】
以上説明したように本実施形態によれば、グラフィックスと動画の同期表示が可能となるという効果がある。
【００８６】
また本実施形態によれば、グラフィックスと動画の同期時点で、１フレーム出力中にグラフィックスと動画の同期を行った場合に、フレームの切り替え時点でグラフィックスと動画とを更新することができる。
【００８７】
（他の実施形態）
以上、本発明の実施形態について詳述したが、本発明は、複数の機器から構成されるシステムに適用しても良いし、また一つの機器からなる装置に適用しても良い。
【００８８】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムを読み出して実行することによっても達成され得る。その場合、プログラムの機能を有していれば、形態は、プログラムである必要はない。
【００８９】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明のクレームでは、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【００９０】
プログラムを供給するための記録媒体としては、様々なものが使用できる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などである。
【００９１】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページからハードディスク等の記録媒体にダウンロードすることによっても供給できる。その場合、ダウンロードされるのは、本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルであってもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明のクレームに含まれるものである。
【００９２】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布する形態としても良い。その場合、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムが実行可能な形式でコンピュータにインストールされるようにする。
【００９３】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される形態以外の形態でも実現可能である。例えば、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【００９４】
更に、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれるようにしてもよい。この場合、その後で、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される。
【図面の簡単な説明】
【００９５】
【図１】本発明の実施形態に係る画像処理装置を有する画像処理システムの構成を説明するブロック図である。
【図２】本発明の実施形態に係る画像処理装置の機能構成を説明する機能ブロック図である。
【図３】本実施形態に係る画像処理装置のグラフィックス描画部による処理を説明するフローチャートである。
【図４】実施形態に係るグラフィックス描画部が生成したグラフィックスの一例を示す図である。
【図５】本実施の形態に係る同期情報の一例を示す図である。
【図６】本発明の実施形態に係る画像処理装置における処理を説明するタイミング図である。
【技術分野】
【０００１】
本発明は、グラフィックスと動画データとを入力して合成する画像処理装置及びその制御方法に関するものである。
【背景技術】
【０００２】
動画とグラフィックスとを含む画像を作成して表示するためには、グラフィックスと動画のそれぞれを描画し、これらを合わせて表示する仕組みが必要である。しかし、動画とグラフィックスでは、画像の使用用途、対象となる画像形式により、要求される描画処理の種類が異なる。従って、動画とグラフィックスの画像形成及びそれらを合成して表示するために、動画とグラフィックスの処理系統を分離し、それぞれの処理系統の出力結果を合成して出力することが一般的である。
【０００３】
特許文献１には、ビデオとグラフィックスとを合成して出力する動画表示装置が記載されており、この方式では、フレームメモリに格納された画像データと動画データとを、その読み出しアドレスを切り替えながら合成して出力している。
【０００４】
特許文献２は、ビデオとグラフィックスを重畳して出力するビデオとグラフィックスの重畳表示装置を記載している。この特許文献２では、グラフィックスとビデオとが重なる領域で、グラフィックスとビデオの優先度を選択的に指示することにより、安価にビデオとグラフィックスの重畳表示を実現している。
【０００５】
また特許文献３は、複数の動画像と、描画した画像とを合わせて再生する動画像再生装置を記載している。この特許文献３では、複数のソフトウェアが動作する環境で、あるソフトウェアによる表示の上に重ねて他のソフトウェアによる表示を行っている。そして、再生すべき動画像の形状設定の指示情報に従ってフレームの画像を描画することにより、非矩形画像の重畳を実現している。
【０００６】
また特許文献４は、動画と移動オブジェクトの重ね合わせの順番を変えて合成する技術を記載している。この特許文献４では、動画と移動オブジェクトのどちらが前面に表示されるべきかという奥行き値を付与し、奥行き値に基づいて陰面消去を行っている。
【０００７】
また特許文献５は、異なる解像度の動画像とグラフィックとを解像度変換して合成する画像表示装置を記載している。この特許文献５では、動画像とグラフィックを合成する前に、動画像変換手段、及びグラフィック変換手段により、それぞれ独立に解像度変換を行っている。
【０００８】
更に特許文献６は、ビデオとグラフィックスとを半透明状態で重ねて表示する画像処理装置を記載している。この特許文献６では、画素ごとに持っているビデオの表示、半透明状態の表示、画像の表示状態に基づいて、画像の構成要素の部品とビデオデータの表示とを指示している。
【特許文献１】特開平０７−０７２８５０号公報
【特許文献２】特開平１０−０２０８５０号公報
【特許文献３】特開２００２−２２９７６７号公報
【特許文献４】特開２００１−１８４５２３号公報
【特許文献５】特開２００３−３３８９９１号公報
【特許文献６】特開２００２−２２２４２８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
動画とグラフィックスとを含む画像を表示する場合、グラフィックスで描いた枠の中に動画を表示する場合には、グラフィックスと動画とを同期させて表示しなければならない。しかしながら、動画とグラフィックスとの処理系統を分離した画像表示装置では、動画とグラフィックスそれぞれの処理が完了する時間を同期させることができない。このため、グラフィックスと動画のフレームを１：１に関連付けることができないという課題があった。
【００１０】
この点に関して特許文献１の動画表示装置は、フレームメモリのアドレス管理情報切替手段を用いて合成の位置のみを指示している。従って、合成対象となる動画データと、画像データの位置は指定できるが、特定の動画データのフレームと、特定の静止画データのフレームとを合成するがきでない。また特許文献２の描画回路は、ビデオとグラフィックスの識別ビットを、描画回路にのみ接続されるグラフィックス識別回路と、ビデオ画素生成回路にのみ接続されるビデオ識別回路で独立に生成している。従って、描画回路とビデオ画素回路の処理時間の同期を取ることはできない。また特許文献３の動画像再生方法では、動画像のフレーム毎に、ウィンドウシステムを用いて動画像の形状情報の設定と、フレーム画像を描画する描画部の制御を行っている。従って、フレーム毎にウィンドウシステムのオーバヘッドが発生して動画像の再生速度が制限される。また描画部と、形状設定部それぞれでの画像処理の完了時間が一致しない場合には形状設定情報と描画結果の同期表示ができなくなる。
【００１１】
また特許文献４の画像生成システムでは、ムービデータの最終フレーム以外のフレームで、移動オブジェクトとムービデータを合成する場合、移動オブジェクトの移動処理の時間を考慮していない。このため、動作中のムービデータと、移動処理後のオブジェクトとを合成すると、経路情報を指示したビデオフレームと、合成される移動オブジェクトがずれてしまうとう問題がある。また特許文献５の画像表示装置では、グラフィック変換手段と、動画像変換手段がそれぞれ独立に変換処理を行い、その結果を合成して表示している。従って、動画像変換手段と、グラフィック変換手段の画像処理が同時に完了しない場合には、変換済みの動画像とグラフィックとを同期して表示することができなくなる。更に特許文献６の画像表示装置では、設定手段を用いて半透明状態で合成すべき部品の画像とビデオの重ね合わせを指示している。この特許文献６でも、部品の画像とビデオの処理時間が常に同一レイテンシで完了しない場合には、部品画像とビデオとを同期させて合成表示することができない。
【００１２】
本発明の目的は、上記従来技術の問題点を解決することにある。
【００１３】
本願発明の一態様によれば、グラフィックスと動画の同期表示を可能にした画像処理装置とその制御方法を提供できる。
【課題を解決するための手段】
【００１４】
上記目的を達成するために本発明の一態様に係る画像処理装置は以下のような構成を備える。即ち、
動画描画命令及びグラフィックス描画命令を含む描画命令を受け取って描画処理を行なう画像処理装置であって、
前記描画命令から動画描画命令、グラフィックス描画命令及び同期情報を生成し、前記グラフィックス描画命令を実行してグラフィックスを出力するグラフィックス描画手段と、
前記グラフィックス描画手段による描画結果であるグラフィックスを保持するグラフィックス保持手段と、
前記グラフィックス描画手段が生成した前記動画描画命令を受け取って保持する動画描画命令保持手段と、
前記グラフィックス描画手段から出力される前記同期情報に従って、前記動画描画命令保持手段に保持された前記動画描画命令から同期動画描画命令を出力する動画描画命令出力手段と、
入力する動画に対して前記同期動画描画命令を実行して処理済動画を出力する動画描画手段と、
前記グラフィックス描画手段から出力される前記同期情報に従って、前記グラフィックス保持手段から同期済みグラフィックスを出力するグラフィックス出力手段と、
前記グラフィックス出力手段から出力される前記同期済みグラフィックスと前記動画描画手段から出力される前記処理済動画とを合成する合成手段と、
を有することを特徴とする。
【００１５】
上記目的を達成するために本発明の一態様に係る画像処理装置の制御方法は以下のような工程を備える。即ち、
動画描画命令及びグラフィックス描画命令を含む描画命令を受け取って描画処理を行なう画像処理装置の制御方法であって、
前記描画命令から動画描画命令、グラフィックス描画命令及び同期情報を生成し、前記グラフィックス描画命令を実行してグラフィックスを出力するグラフィックス描画工程と、
前記グラフィックス描画工程での描画結果であるグラフィックスを保持するグラフィックス保持工程と、
前記グラフィックス描画工程で生成した前記動画描画命令を受け取って保持する動画描画命令保持工程と、
前記グラフィックス描画工程により出力される前記同期情報に従って、前記動画描画命令保持工程で保持された前記動画描画命令から同期動画描画命令を出力する動画描画命令出力工程と、
入力する動画に対して前記同期動画描画命令を実行して処理済動画を出力する動画描画工程と、
前記グラフィックス描画工程により出力される前記同期情報に従って、前記グラフィックス保持工程で保持されたグラフィックから同期済みグラフィックスを出力するグラフィックス出力工程と、
前記グラフィックス出力工程で出力される前記同期済みグラフィックスと前記動画描画工程で出力される前記処理済動画とを合成する合成工程と、
を有することを特徴とする。
【発明の効果】
【００１６】
本発明によれば、グラフィックスと動画の同期表示が可能となるという効果がある。
【発明を実施するための最良の形態】
【００１７】
以下、添付図面を参照して本発明の好適な実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
【００１８】
図１は、本発明の実施形態に係る画像処理装置１０６を有する画像処理システム１１１の構成を説明するブロック図である。
【００１９】
この画像処理システム１１１は、アプリケーション１０１、制御ソフトウェア１０２、画像処理装置１０６及び画像デコーダ１０５を有している。制御ソフトウェア１０２は、アプリケーション１０１が生成するドキュメントを、ドキュメントパス１１２を介して受け取って画像処理装置１０６に渡す。ここで、このドキュメントは、画像の描画指示及びＵＲＩ情報に代表される、外部ドキュメントの参照情報を含む。画像ソース１０８は、画像ソース入力パス１０９を介して入力される。この画像ソース入力パス１０９は、物理的に一つであっても複数であってもよい。また物理的に一つの画像ソース入力パス１０９を時分割で使用して、複数の画像ソースを入力できるように構成しても良い。
【００２０】
次に制御ソフトウェア１０２が行う動画入力処理について説明する。
【００２１】
制御ソフトウェア１０２は、動画入力処理として、ドキュメントに含まれる外部ドキュメントの参照情報を抽出して解析する。そして制御バス１０４を介して画像デコーダ１０５に、画像ソース１０８が格納されている場所、画像ソース１０８の形式を指示する。更に、画像デコーダ１０５が画像データを出力するための動画パス１０７の情報及び画像ソース１０８をダウンロードする入力パス１０９を画像デコーダ１０５に指示する。いま画像ソース１０８が複数である場合、制御ソフトウェア１０２は、合成出力１１７の表示に必要な全ての画像ソース１０８に対して動画を入力するように画像デコーダ１０５に指示する。尚、画像デコーダ１０５が出力する動画パス１０７は、一つであっても複数であってもよい。
【００２２】
画像デコーダ１０５は、画像ソース１０８が圧縮画像である場合に、その画像ソース１０８をデコード（伸張）して動画パス１０７に出力する。一方、画像ソース１０８が非圧縮画像の場合は、画像デコーダは画像ソース１０８を、デコード処理を行わずに制御ソフトウェア１０２によって指示された動画パス１０７に出力する。制御ソフトウェア１０２は、アプリケーション１０１から受信したドキュメントに含まれる外部ドキュメントの参照情報を動画パス１０７の情報と置換する。また画像処理装置１０６は、そのドキュメントに含まれる外部ドキュメントの参照情報を、上記処理によって動画パス１０７の情報と置換済みとすることによって生成した描画命令を用いる。
【００２３】
図２は、本発明の実施形態に係る画像処理装置１０６の機能構成を説明する機能ブロック図である。尚、図２において、図１と共通する部分は同じ記号で示し、それらの説明を省略する。
【００２４】
この画像処理装置１０６は、描画命令パス１０３、動画パス１０７を介して、それぞれ描画命令、動画を受け取り、これらを合成した合成出力１１７を生成する。ここで描画命令は、動画描画命令及びグラフィックス描画命令とを含み、ＳＶＧやフラッシュメモリ等に代表されるアニメーショングラフィックス、及び動画の表示が可能な描画命令である。描画命令は、グラフィックス描画タグと、動画タグとを含んでいる。
【００２５】
グラフィックス描画タグは、テキスト、基本図形、パス情報、リンク情報、アニメーション指示、画面の更新指示等を行うグラフィックス描画タグと、各グラフィック要素の描画指示において描画時に必要となるパラメータ群を含んでいる。これらのグラフィックス描画タグ、及びグラフィック要素の描画指示と、その描画指示に必要となるパラメータ群の関連付けは、一般的技術として公知であるため、ここでは詳述しない。
【００２６】
また動画タグは、動画の基点座標情報、サイズ情報、動画に適用する動画描画指示情報、画像処理装置１０６に非圧縮の動画ストリームを入力する際に使用する動画パス１０７の指示情報を含んでいる。この他に、後述する動画描画処理において必要となる動画のプロパティを動画タグに含めてもよい。例えば、画像処理装置１０６で動画の色変換を行う場合、動画の色空間情報を付与しても良い。尚、ここで動画は、テレビ放送やビデオ入力信号をデコードした非圧縮のデータである。一般的には、動画の形状は矩形であるが、入力動画の形状は本発明を制限するものではない。
【００２７】
合成出力１１７は、グラフィックスと動画とを合成した結果である。合成出力１１７はラスタフォーマットの色情報を持つ。
【００２８】
本実施形態に係る画像処理装置１０６は、グラフィックス描画部２１５、動画描画命令保持部２０３、動画描画命令出力部２０４、グラフィックス保持部２１１、グラフィックス出力部２１２、動画描画部２０７及び合成部２０９を有する。
【００２９】
次に、以上の構成を有する画像処理装置１０６による処理について説明する。
【００３０】
グラフィックス描画部２１５は、描画命令パス１０３を介して描画命令を受け取り、動画描画命令パス２０２、同期情報パス２１４及びグラフィックスパス２１３にそれぞれ動画描画命令、同期情報、及び描画したグラフィックスを出力する。尚、以下の説明では、描画した結果であるグラフィックスを単にグラフィックスと呼ぶこととする。
【００３１】
次に、グラフィックス描画部２１５が、描画命令として入力したグラフィックス描画タグと動画タグより、動画描画命令パス２０２及びグラフィックスパス２１３に出力する動画描画命令及びグラフィックスを生成する手順を説明する。２０５は動画描画部２０７に動画描画命令を供給する同期動画描画命令パス、２０８は動画描画部２０７で描画された動画を合成部２０９に供給する処理済動画パスである。同期済みグラフィックスパス２１０は、動画に同期してグラフィックス出力部２１２から合成部２０９にグラフィックスを供給するパスである。
【００３２】
図３は、本実施形態に係る画像処理装置１０６のグラフィックス描画部２１５による処理を説明するフローチャートである。ここでは描画命令を入力し、その描画命令からグラフィックスと動画描画命令を生成する手順を示している。
【００３３】
この処理は描画命令パス１０３を介して描画命令を受け取ることにより開始され、先ずステップＳ１で、その描画命令のグラフィックス描画タグが有効な描画タグであるかを判定し、そうであればステップＳ９に進む。ステップＳ９では、そのグラフィックス描画タグが画面更新指示であるか否かを判定する。ここで画面更新指示でなかった場合はステップＳ１０に進み、指示されたグラフィックオブジェクトの描画を行い、その生成したグラフィックスをグラフィックスパス２１３に出力する。そしてステップＳ７に進む。尚、ここでのグラフィックスの描画は、ペインタアルゴリズム等の既知の方法を用いてよい。
【００３４】
図４は、本実施形態に係るグラフィックス描画部２１５が生成したグラフィックスの一例を示す図である。
【００３５】
グラフィックス４０１は、グラフィックスの色を示す色情報４０２、グラフィックスの透過度を示すグラフィック透過度４０３、動画の表示領域を示す動画マスク４０４、動画のデフォルト透過度を示す動画透過度４０５を含んでいる。更に、このグラフィックスの画素に動画の表示が必要か否かを示す動画フラグ４０６を有している。
【００３６】
一方ステップＳ９で、描画タグが画面更新指示であった場合はステップＳ１１に進み、グラフィックス描画部２１５は、グラフィックス出力部２１２及び動画描画命令出力部２０４に対して出力設定を行う。尚、この画面更新指示は、１フレームの出力終了時、或はフレーム内の部分領域の描画が終了した時点で発行するようにしてよい。
【００３７】
このステップＳ１１の処理の詳細は以下の如くである。
【００３８】
グラフィックス描画部２１５は、グラフィックス出力部２１２に対して、グラフィックス保持部２１１に格納したグラフィックスのサイズを指定する。更に、前回のステップＳ１２の処理又はステップＳ１０の描画処理以降に描画された一連のグラフィックスが格納されているグラフィックス保持部２１１の領域を示すアドレス情報を指定する。但し、グラフィックス保持部２１１をレジスタで構成する場合は、このアドレス情報を指定する必要はない。
【００３９】
またグラフィックス描画部２１５は、動画描画命令出力部２０４に対して、動画描画命令保持部２０３に格納した動画描画命令のサイズを指定する。更に、前回のステップＳ１２の処理又はステップＳ１０の描画処理により生成された動画描画命令が格納されている動画描画命令保持部２０３の領域を示すアドレス情報を指定する。但し、動画描画命令保持部２０３をレジスタで構成する場合は、このアドレス情報を指定する必要はない。
【００４０】
そしてステップＳ１１からステップＳ１２に進み、グラフィックス描画部２１５は同期情報パス２１４を介して同期情報をグラフィックス出力部２１２と動画描画命令出力部２０４とに出力する。
【００４１】
図５（Ａ）は、グラフィックス描画部２１５に同期情報設定レジスタを持たせ、同期情報パス２１４を用いて同期情報を送出する場合の同期情報の一例を示す図である。
【００４２】
この同期情報５０１は、グラフィックス出力部２１２に同期を指示するためのグラフィックス同期情報５０２、動画描画命令出力部２０４に同期を指示するための動画同期情報５０３を含んでいる。いま動画パス１０７の数を複数とし、複数の動画描画部２０７を用いる場合は、複数の動画パス１０７のそれぞれに対応するように動画同期情報のフィールドを増やせば良い。
【００４３】
図５（Ｂ）は、動画パス１０７を２本にした場合に用いる同期情報の一例を示す図である。図５（Ｂ）では、図５（Ａ）に示すグラフィックス同期情報５０２、動画同期情報５０３に加えて、動画２同期情報５０５が含まれている。尚、ここでグラフィックス同期情報５０２、動画同期情報５０３及び動画２同期情報５０５は、それぞれ独立にセットしてよい。尚、これらグラフィックス同期情報５０２、動画同期情報５０３、動画２同期情報５０５はそれぞれ１ビットのデータである。尚、ここでグラフィックス同期情報５０２、動画同期情報５０３及び動画２同期情報５０５
本実施形態では、グラフィックスパス２１３に出力するグラフィックスと、一つ以上の動画パス１０７とをそれぞれ独立に制御するため、グラフィックス同期情報５０２、動画同期情報５０３及び動画２同期情報５０５を持つ同期情報を用いる。しかし、同期済グラフィックスと、同期済動画描画命令を常に同時に出力するだけでよい場合は、グラフィックス同期情報５０２、動画同期情報５０３、動画２同期情報５０５をまとめて一つの同期情報としてもよい。
【００４４】
本実施形態では、グラフィックス描画部２１５内のレジスタにデータを設定することによって同期情報を発行する例で説明する。しかし、動画描画命令パス２０２及びグラフィックスパス２１３のそれぞれに、グラフィックス同期情報５０２、動画同期情報５０３を送出する機構を、グラフィックス描画部２１５内の他の部分のハードウェア或はソフトウェアにより実現してもよい。
【００４５】
またグラフィックス描画部２１５は、図５に示す同期情報を同期情報パス２１４に出力することにより合成部２０９に入力する処理済動画、及び同期済グラフィックスの更新を指示する。この同期情報は一般的に、描画命令パス１０３から入力された描画命令に基づいて、１フレーム分の描画が完了した時点で発行される。また１フレーム内の特定の部分を、１フレームの描画を完了する前に更新する場合は、更新すべき部分に存在する全ての描画命令の処理が終了した時点で同期情報を発行すればよい。そしてグラフィックス出力部２１２と動画描画命令出力部２０４のいずれか、又は両方の更新を指示してよい。
【００４６】
再び図３のフローチャートに戻って、動画タグの処理について説明する。
【００４７】
ステップＳ１で有効な描画タグでない場合はステップＳ２に進み、グラフィックス描画部２１５は、有効な動画タグであるか否かを判定する。ここで有効な動画タグであると判定するとステップＳ３に進み、動画ハンドルを生成する。尚、ステップＳ２で有効な動画タグでないと判定するとステップＳ８に進み、エラー処理を実行する。
【００４８】
本実施形態では、動画ハンドルは、動画の幅、高さ、画質情報、動画のデフォルト透過度を指定して作成する。尚、動画ハンドルに渡すパラメータの種類は、本実施形態に限定されない。また本実施形態では、この他に動画ハンドルとグラフィックスのZ-orderとを描画順序によって規定するが、明示的に動画ハンドルでZ-orderを指示してもよい。
【００４９】
尚、ここで画質情報は、動画再生時に画質、速度のどちらを優先するかを決定する品質情報を含む。また動画のデフォルト透過度は、透過度を持たない動画に対する透過度を指定する。尚、画像処理装置１０６に入力される動画が透過度を持つ場合、最終出力には動画が持つ透過度を用いてよい。
【００５０】
ステップＳ３の次はステップＳ４に進み、グラフィックス描画部２１５は、ステップＳ３で生成した動画ハンドルと動画パス１０７との対応付けを行う。次にステップＳ５に進み、グラフィックス描画部２１５は、ステップＳ４で動画パス１０７との対応付けを行った動画ハンドルに基づいて動画描画命令を生成する。この動画描画命令の生成とは、動画描画命令の生成対象となる動画ハンドルを指定し、動画の回転、変倍、移動、マスキング、クリッピング、合成、台形変換、色変換、フィルタ処理及び動画再生の処理指示、及びその処理に必要なパラメータ群を指定することである。これらの設定値は、動画描画命令として動画描画命令パス２０２を介して動画描画命令保持部２０３に出力される。
【００５１】
本実施形態では、回転、変倍等は、アフィン変換の行列要素を指定することにより指定できる。また色変換は、色変換行列を指定することにより得られる。またフィルタ処理では、フィルタの種類、マスキングではマスクパターンの指示、ＬＵＴの設定等を含んでいる。これらの動画描画指示及び動画ハンドルの描画指示と、その描画指示に必要となるパラメータ群との関連付けは、一般的技術として公知であるためここでは詳述しない。尚、本実施形態に係る動画描画命令の生成時に指定する具体的な動画処理とそのパラメータ群、及びその関連付けは、本発明を制限するものではない。
【００５２】
次にステップＳ６に進み、グラフィックス描画部２１５は、動画パス１０７から入力される動画が表示される領域をグラフィックスパス２１３に出力する。またグラフィックス描画部２１５は、動画の存在する領域に動画フラグ４０６（図４）をセットし、動画描画命令によって指示された動画のデフォルト透過度を動画透過度４０５（図４）に設定する。またステップＳ５でマスキング処理がされている場合には、そのマスク値を動画マスク４０４に設定する。
【００５３】
こうしてステップＳ６の動画タグの処理、或はステップＳ１０，Ｓ１２の描画タグの処理が終了するとステップＳ７に進み、グラフィックス描画部２１５は、描画処理が完了したか否かを判定する。ここで描画が完了したと判定した場合は処理を終了するが、描画が完了していないと判定した場合はステップＳ１に戻って、描画処理を継続する。
【００５４】
動画描画命令保持部２０３は、動画描画命令パス２０２を介して入力した動画描画命令を保持する。この動画描画命令保持部２０３は、共有メモリで構成しても、専用メモリ或はレジスタで構成してもよい。また複数バッファで構成しても、シングルバッファで構成してもよい。
【００５５】
動画描画命令保持部２０３に動画描画命令が格納されている状態で、同期情報パス２１４を介して図５に示す同期情報が入力されると、動画描画命令の同期を指示する動画同期情報５０３及び動画２同期情報５０５が設定されているか否かを判定する。動画同期５０３が設定されていると、動画描画命令出力部２０４は、動画描画命令保持部２０３に保持されている動画描画命令を同期動画描画命令パス２０５に出力する。
【００５６】
次に動画描画部２０７の動作を説明する。この動画描画部２０７は、動画パス１０７から受け取った動画に、同期動画描画命令パス２０５を介して入力される動画描画命令によって指示される動画の描画処理を行う。動画描画部２０７は、こうして処理した処理済みの動画を処理済動画パス２０８に出力する。
【００５７】
次にグラフィックス保持部２１１の動作を説明する。グラフィックス保持部２１１は、グラフィックスパス２１３を介して入力されるグラフィックスを保持する。グラフィックス保持部２１１は、共有メモリで構成しても、専用メモリ、或はレジスタで構成してもよい。また、複数バッファで構成しても、シングルバッファで構成してもよい。
【００５８】
グラフィックス出力部２１２は、同期情報パス２１４を介してより同期情報を入力すると、その同期情報にグラフィックスの同期を指示するグラフィックス同期情報５０２がセットされているか否かを判定する。このグラフィックス同期情報５０２がセットされている場合は、グラフィックス保持部２１１に保持されているグラフィックスを、同期済グラフィックスとして同期済みグラフィックスパス２１０に出力する。
【００５９】
次に合成部２０９の動作を説明する。
【００６０】
合成部２０９は、処理済動画パス２０８及び同期済みグラフィックスパス２１０を介して、処理済み動画と同期済みのグラフィックスとをそれぞれ受け取り、これらを合成した画像を合成出力１１７として出力する。ここでの合成処理は、処理済動画と同期済みグラフィックスの画像データを、入力した画素順に合成して出力する周知の合成部であっても良い。
【００６１】
図６は、本発明の実施形態に係る画像処理装置における処理を説明するタイミング図である。ここでは、出力終了通知信号３５４によって、動画描画命令出力部２０４及びグラフィックス出力部２１２からの出力を切り替えている。
【００６２】
ここでは、グラフィックスフレーム１(g frame1)（３０１）と、グラフィックスフレーム４(g frame4)（３０４）は、動画描画命令とグラフィックスの両方の更新を示す。グラフィックスフレーム２(g frame2)（３０２）は動画描画命令の更新のみ、グラフィックスフレーム３(g frame3)（３０３）はグラフィックスの更新だけを必要としている。ここで描画命令パス１０３には、グラフィックスフレーム０〜４の描画命令が順に到着するものとする。
【００６３】
一方、動画パス１０７には、動画フレーム０(v frame0)（３２２）、動画フレーム１（３２３）、動画フレーム２（３２４）、動画フレーム３（３２５）、動画フレーム４（３２６）が入力される。
【００６４】
タイミング３６０で、同期情報パス２１４に出力される同期情報の値は「０」であるとする。また同期済グラフィックスパス２１０及び同期動画描画命令パス２０５には、それぞれ図示しないタイミング３６０以前に処理が完了しているフレーム０のグラフィックス及びフレーム０の動画描画命令が出力されている。これらは図６の３１３，３１７で示されている。
【００６５】
タイミング３６０からタイミング３６２までの期間は、グラフィックス描画処理が、合成出力１１７の１フレーム出力以前に終了するケースを示している。
【００６６】
グラフィックスフレーム１（３０１）が描画命令パス１０３を介して入力されると、グラフィックス描画部２１５は、このグラフィックスフレーム１の描画命令を処理する。グラフィックス描画部２１５は、３５４で、グラフィックスパス２１３にグラフィックス(g frame1)を出力する。また３５５で、動画描画命令パス２０２に動画描画命令(inst frame1)を出力する。このとき動画パス１０７には、３２２で示すように、動画フレーム１(v frame1)の動画描画命令が到着している。
【００６７】
グラフィックス描画部２１５は、グラフィックスフレーム１の描画処理が終了すると３０７で、同期情報パス２１４にグラフィックスの同期情報５０２、動画同期情報５０３をそれぞれセットした同期情報を発行する。
【００６８】
動画描画部２０７は、３１７で生成される動画フレーム０の動画描画命令を、３２２で動画パス１０７から動画描画部２０７に入力される動画フレーム０に適用する。そして３２７で、処理済み動画フレーム０(v frame0/sync inst frame0)として出力する。
【００６９】
合成部２０９は、３２７で生成される処理済動画フレーム０と、３１３で生成された同期済グラフィックスフレーム０(sync g frame0)とを合成する。そして３３２で、合成出力フレーム０（g frame0/v frame0/sync inst frame0）を出力する。そして合成部２０９は、この合成出力フレーム０の処理が終了すると、３６４で、出力終了通知信号３５４であるパルス信号を発行する。このパルス信号は、同期情報のリセット、グラフィックス出力部２１２の同期済グラフィックス出力の切り替え、及び動画描画命令出力部２０４の動画描画命令の出力切り替えを指示する。
【００７０】
３２３では、動画パス１０７に動画フレーム１(v frame1)が入力される。この動画フレーム１が入力される前の時点である３０７で、グラフィックスと動画の同期が指示されている。従って、この場合は、グラフィックス出力部２１２は、３１４で、同期を取ったグラフィックスフレーム１(sync g frame1)を同期済グラフィックスパス２１０に出力する。一方動画描画命令出力部２０４は、３１８で、同期動画描画命令フレーム１(sync inst frame1)を同期動画描画命令パス２０５に出力する。これにより動画描画部２０７は、その動画フレーム１の動画描画命令を受け取り、それを３２３で、動画パス１０７から動画描画部２０７に入力される動画フレーム１に適用する。そして３２８で、処理済動画フレーム１（v frame1/sync inst frame1）として出力する。
【００７１】
これにより合成部２０９は、３２８で生成された処理済動画フレーム１と、３１４で生成された同期済グラフィックスフレーム１とを合成する。そして３３３で、合成出力フレーム１（g frame1/v frame1/sync inst frame1）を出力する。こうして合成部２０９は、この合成出力フレーム１の処理が終了すると、出力終了通知信号３５４としてパルス信号３６５を発行する。
【００７２】
図６におけるタイミング３６１からタイミング３６３までの期間は、合成出力１１７が１フレームの出力を終了した時点で、グラフィックスの描画処理による１フレームの描画が終了しないケースを示している。
【００７３】
ここでは３０２での描画処理が、３６１の時点で終了していない。このため、タイミング３６１の時点では、グラフィックスフレーム２の描画結果、及び動画描画命令フレーム２は利用できない。この場合、グラフィックス出力部２１２は、３１５で、タイミング３６１の時点で使用可能であった同期済グラフィックスフレーム１（sync g frame1）を同期済グラフィックスパス２１０に出力する。また動画描画命令出力部２０４は、３１９で、タイミング３６１の時点で使用可能であった同期動画描画命令フレーム１（sync inst frame1）を同期動画描画命令パス２０５に出力する。
【００７４】
これにより動画描画部２０７は、３１９で生成される動画フレーム１の動画描画命令を、３２４で動画パス１０７から動画描画部２０７に入力される動画フレーム２に適用する。そして３２９で、処理済動画フレーム２（v frame2/sync inst frame1）を出力する。
【００７５】
合成部２０９は、３２９で生成された処理済動画フレーム２と、３１５の同期済グラフィックスフレーム１とを合成する。そして３３４で、フレーム２（g frame1/v frame2/sync inst frame1）を出力する。こうして合成部２０９は、３３４のフレーム２の合成処理が終了すると、出力終了通知信号３５４としてパルス信号３６６を発行する。
【００７６】
次にタイミング３６１からタイミング３６２までの期間は、グラフィックス描画部２１５によるフレーム２の描画が終了した時点で、動画描画命令出力部２０４のみに同期を指示する場合を示している。ここでは同期情報が「０１」であるため、動画同期情報５０３のみが「１」となっている。
【００７７】
グラフィックス描画部２１５は、３０２での描画処理が終了すると、３０９で、動画描画命令出力部２０４のみに同期を指示する同期情報を出力する。このときグラフィックス描画部２１５は、同期情報のグラフィックス同期情報５０２をリセット、動画同期情報５０３のみを「１」にセットする。従って、３６２の時点では動画描画命令フレーム２と、グラフィックスフレーム１が利用可能である。
【００７８】
グラフィックス出力部２１２は、３１６で、同期済グラフィックスフレーム１(sync g frame1)を同期済グラフィックスパス２１０に出力する。一方、動画描画命令出力部２０４は、３２０で、タイミング３６２の時点で使用可能となった同期動画描画命令フレーム２(sync inst frame2)を同期動画描画命令パス２０５に出力する。
【００７９】
動画描画部２０７は、３２０で生成される動画フレーム２の動画描画命令を、３２５で、動画パス１０７から動画描画部２０７に入力される動画フレーム３(v frame3)に適用する。そして３３０で、処理済動画フレーム３(v frame3/sync inst frame2)を出力する。
【００８０】
これにより合成部２０９は、３３０で生成された処理済動画フレーム３と、３１６の同期済グラフィックスフレーム１(sync g frame1)とを合成する。そして３３５で、合成出力フレーム３(g frame1/v frame3/sync inst frame2)を出力する。こうして合成部２０９は、３３５で示す合成出力フレーム３の処理が終了すると、出力終了通知信号３５４にパルス信号３６７を発行する。
【００８１】
３６３から３６４までの期間は、合成出力１１７が１フレームの出力を終了する前に、グラフィックス描画部２１５が複数フレームの描画を完了したケースを示している。
本実施形態では、３０３で、グラフィックスフレーム３の描画が完了し、３１１で、グラフィックス同期情報５０２が「１０」にセットされている。また３０４でグラフィックスフレーム４の描画が完了し、３１２で、グラフィックス同期情報５０２と動画同期情報５０３の両方がセット（「１１」）されている。３０４での描画処理が終了した後、３１２で、グラフィックスと動画の同期が指示されている。このため、３６４では、グラフィックスフレーム４(g frame4)及び動画描画命令フレーム４(sync inst frame4)が利用可能である。このようにグラフィックス描画部２１５が合成部２０９の１フレーム出力完了前に複数フレームの描画を完了した場合は、動画描画部２０７及び合成部２０９は、タイミング３６４の時点で最新のグラフィックス及び動画描画命令を用いる。
【００８２】
グラフィックス出力部２１２は、３４４で同期済グラフィックスフレーム４(sync g frame4)を同期済グラフィックスパス２１０に出力する。また動画描画命令出力部２０４は、３４５で、同期動画描画命令フレーム４(sync inst frame4)を同期動画描画命令パス２０５に出力する。
【００８３】
動画描画部２０７は、３４５で生成された動画フレーム４の動画描画命令に基づいて、３２６で動画パス１０７から動画描画部２０７に入力される動画フレーム４に適用する。そして３３１で、処理済動画フレーム４(v frame4/sync inst frame4)を出力する。こうして合成部２０９は、３３１で生成された処理済動画フレーム４と、３４４で生成された同期済グラフィックスフレーム４とを合成する。そして３３６で、合成出力フレーム４(g frame4/v frame4/sync inst frame4)を出力する。
【００８４】
以上のようにして、動画とグラフィックスを同期しながら表示する画像処理装置１０６が実現できる。
【００８５】
以上説明したように本実施形態によれば、グラフィックスと動画の同期表示が可能となるという効果がある。
【００８６】
また本実施形態によれば、グラフィックスと動画の同期時点で、１フレーム出力中にグラフィックスと動画の同期を行った場合に、フレームの切り替え時点でグラフィックスと動画とを更新することができる。
【００８７】
（他の実施形態）
以上、本発明の実施形態について詳述したが、本発明は、複数の機器から構成されるシステムに適用しても良いし、また一つの機器からなる装置に適用しても良い。
【００８８】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムを読み出して実行することによっても達成され得る。その場合、プログラムの機能を有していれば、形態は、プログラムである必要はない。
【００８９】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明のクレームでは、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【００９０】
プログラムを供給するための記録媒体としては、様々なものが使用できる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などである。
【００９１】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページからハードディスク等の記録媒体にダウンロードすることによっても供給できる。その場合、ダウンロードされるのは、本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルであってもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明のクレームに含まれるものである。
【００９２】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布する形態としても良い。その場合、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムが実行可能な形式でコンピュータにインストールされるようにする。
【００９３】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される形態以外の形態でも実現可能である。例えば、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【００９４】
更に、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれるようにしてもよい。この場合、その後で、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される。
【図面の簡単な説明】
【００９５】
【図１】本発明の実施形態に係る画像処理装置を有する画像処理システムの構成を説明するブロック図である。
【図２】本発明の実施形態に係る画像処理装置の機能構成を説明する機能ブロック図である。
【図３】本実施形態に係る画像処理装置のグラフィックス描画部による処理を説明するフローチャートである。
【図４】実施形態に係るグラフィックス描画部が生成したグラフィックスの一例を示す図である。
【図５】本実施の形態に係る同期情報の一例を示す図である。
【図６】本発明の実施形態に係る画像処理装置における処理を説明するタイミング図である。
【特許請求の範囲】
【請求項１】
動画描画命令及びグラフィックス描画命令を含む描画命令を受け取って描画処理を行なう画像処理装置であって、
前記描画命令から動画描画命令、グラフィックス描画命令及び同期情報を生成し、前記グラフィックス描画命令を実行してグラフィックスを出力するグラフィックス描画手段と、
前記グラフィックス描画手段による描画結果であるグラフィックスを保持するグラフィックス保持手段と、
前記グラフィックス描画手段が生成した前記動画描画命令を受け取って保持する動画描画命令保持手段と、
前記グラフィックス描画手段から出力される前記同期情報に従って、前記動画描画命令保持手段に保持された前記動画描画命令から同期動画描画命令を出力する動画描画命令出力手段と、
入力する動画に対して前記同期動画描画命令を実行して処理済動画を出力する動画描画手段と、
前記グラフィックス描画手段から出力される前記同期情報に従って、前記グラフィックス保持手段から同期済みグラフィックスを出力するグラフィックス出力手段と、
前記グラフィックス出力手段から出力される前記同期済みグラフィックスと前記動画描画手段から出力される前記処理済動画とを合成する合成手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記動画描画手段は、複数の動画を入力し、
前記動画描画命令出力手段は、前記複数の動画のそれぞれと前記描画命令に含まれる動画との関連付け情報を含む同期動画描画命令を生成し、
前記動画描画手段は、前記複数の動画に対して前記同期動画描画命令を実行して複数の処理済動画を出力し、
前記合成手段は、前記グラフィックスと前記複数の処理済動画を合成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記合成手段は、１フレームの出力終了時、前記動画描画命令出力手段と前記グラフィックス出力手段に対して出力終了通知信号を発行することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
動画描画命令及びグラフィックス描画命令を含む描画命令を受け取って描画処理を行なう画像処理装置の制御方法であって、
前記描画命令から動画描画命令、グラフィックス描画命令及び同期情報を生成し、前記グラフィックス描画命令を実行してグラフィックスを出力するグラフィックス描画工程と、
前記グラフィックス描画工程での描画結果であるグラフィックスを保持するグラフィックス保持工程と、
前記グラフィックス描画工程で生成した前記動画描画命令を受け取って保持する動画描画命令保持工程と、
前記グラフィックス描画工程により出力される前記同期情報に従って、前記動画描画命令保持工程で保持された前記動画描画命令から同期動画描画命令を出力する動画描画命令出力工程と、
入力する動画に対して前記同期動画描画命令を実行して処理済動画を出力する動画描画工程と、
前記グラフィックス描画工程により出力される前記同期情報に従って、前記グラフィックス保持工程で保持されたグラフィックから同期済みグラフィックスを出力するグラフィックス出力工程と、
前記グラフィックス出力工程で出力される前記同期済みグラフィックスと前記動画描画工程で出力される前記処理済動画とを合成する合成工程と、
を有することを特徴とする画像処理装置の制御方法。
【請求項５】
前記動画描画工程は、複数の動画を入力し、
前記動画描画命令出力工程は、前記複数の動画のそれぞれと前記描画命令に含まれる動画との関連付け情報を含む同期動画描画命令を生成し、
前記動画描画工程は、前記複数の動画に対して前記同期動画描画命令を実行して複数の処理済動画を出力し、
前記合成工程は、前記グラフィックスと前記複数の処理済動画を合成することを特徴とする請求項４に記載の画像処理装置の制御方法。
【請求項６】
前記合成工程は、１フレームの出力終了時、前記動画描画命令出力工程と前記グラフィックス出力工程に対して出力終了通知信号を発行することを特徴とする請求項４又は５に記載の画像処理装置の制御方法。
【請求項１】
動画描画命令及びグラフィックス描画命令を含む描画命令を受け取って描画処理を行なう画像処理装置であって、
前記描画命令から動画描画命令、グラフィックス描画命令及び同期情報を生成し、前記グラフィックス描画命令を実行してグラフィックスを出力するグラフィックス描画手段と、
前記グラフィックス描画手段による描画結果であるグラフィックスを保持するグラフィックス保持手段と、
前記グラフィックス描画手段が生成した前記動画描画命令を受け取って保持する動画描画命令保持手段と、
前記グラフィックス描画手段から出力される前記同期情報に従って、前記動画描画命令保持手段に保持された前記動画描画命令から同期動画描画命令を出力する動画描画命令出力手段と、
入力する動画に対して前記同期動画描画命令を実行して処理済動画を出力する動画描画手段と、
前記グラフィックス描画手段から出力される前記同期情報に従って、前記グラフィックス保持手段から同期済みグラフィックスを出力するグラフィックス出力手段と、
前記グラフィックス出力手段から出力される前記同期済みグラフィックスと前記動画描画手段から出力される前記処理済動画とを合成する合成手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記動画描画手段は、複数の動画を入力し、
前記動画描画命令出力手段は、前記複数の動画のそれぞれと前記描画命令に含まれる動画との関連付け情報を含む同期動画描画命令を生成し、
前記動画描画手段は、前記複数の動画に対して前記同期動画描画命令を実行して複数の処理済動画を出力し、
前記合成手段は、前記グラフィックスと前記複数の処理済動画を合成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記合成手段は、１フレームの出力終了時、前記動画描画命令出力手段と前記グラフィックス出力手段に対して出力終了通知信号を発行することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
動画描画命令及びグラフィックス描画命令を含む描画命令を受け取って描画処理を行なう画像処理装置の制御方法であって、
前記描画命令から動画描画命令、グラフィックス描画命令及び同期情報を生成し、前記グラフィックス描画命令を実行してグラフィックスを出力するグラフィックス描画工程と、
前記グラフィックス描画工程での描画結果であるグラフィックスを保持するグラフィックス保持工程と、
前記グラフィックス描画工程で生成した前記動画描画命令を受け取って保持する動画描画命令保持工程と、
前記グラフィックス描画工程により出力される前記同期情報に従って、前記動画描画命令保持工程で保持された前記動画描画命令から同期動画描画命令を出力する動画描画命令出力工程と、
入力する動画に対して前記同期動画描画命令を実行して処理済動画を出力する動画描画工程と、
前記グラフィックス描画工程により出力される前記同期情報に従って、前記グラフィックス保持工程で保持されたグラフィックから同期済みグラフィックスを出力するグラフィックス出力工程と、
前記グラフィックス出力工程で出力される前記同期済みグラフィックスと前記動画描画工程で出力される前記処理済動画とを合成する合成工程と、
を有することを特徴とする画像処理装置の制御方法。
【請求項５】
前記動画描画工程は、複数の動画を入力し、
前記動画描画命令出力工程は、前記複数の動画のそれぞれと前記描画命令に含まれる動画との関連付け情報を含む同期動画描画命令を生成し、
前記動画描画工程は、前記複数の動画に対して前記同期動画描画命令を実行して複数の処理済動画を出力し、
前記合成工程は、前記グラフィックスと前記複数の処理済動画を合成することを特徴とする請求項４に記載の画像処理装置の制御方法。
【請求項６】
前記合成工程は、１フレームの出力終了時、前記動画描画命令出力工程と前記グラフィックス出力工程に対して出力終了通知信号を発行することを特徴とする請求項４又は５に記載の画像処理装置の制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１０−２０１８６（Ｐ２０１０−２０１８６Ａ）
【公開日】平成２２年１月２８日（２０１０．１．２８）
【国際特許分類】
【出願番号】特願２００８−１８１９７９（Ｐ２００８−１８１９７９）
【出願日】平成２０年７月１１日（２００８．７．１１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２２年１月２８日（２０１０．１．２８）
【国際特許分類】
【出願日】平成２０年７月１１日（２００８．７．１１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]