画像処理装置及びその制御方法
【課題】 従来はレンダリング処理の自由度とリアルタイム性を両立させることが不可能であった。
【解決手段】 描画命令４０１を受け取って動画描画命令１０６とグラフィックス描画命令２０４とに分離する。グラフィックス描画部２０２は、グラフィックス描画命令に従ってグラフィックス描画結果を得、動画描画部１０２は、動画描画命令に従って処理した動画データを生成する。そして合成部１０３は、グラフィックス描画部２０２により描画されたグラフィックス描画結果と、動画描画部１０２により生成された動画データとを合成する。
【解決手段】 描画命令４０１を受け取って動画描画命令１０６とグラフィックス描画命令２０４とに分離する。グラフィックス描画部２０２は、グラフィックス描画命令に従ってグラフィックス描画結果を得、動画描画部１０２は、動画描画命令に従って処理した動画データを生成する。そして合成部１０３は、グラフィックス描画部２０２により描画されたグラフィックス描画結果と、動画描画部１０２により生成された動画データとを合成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、グラフィックスと動画データとを入力して合成する画像処理装置及びその制御方法に関するものである。
【背景技術】
【０００２】
グラフィックスと動画像トを合成して出力する技術は大別すると次の２種類に分けられる。
(1) 動画データをフレーム単位で取得して瞬間的な静止画データを生成し、その静止画データをグラフィックス要素の一部としてグラフィックスと共にレンダリング処理する。
(2) 動画データの処理系統とグラフィックスデータの処理系統とを分離し、それぞれ別々の処理を施した後に、それらデータを合成する。
【０００３】
(1)の方式の代表的なものとして、コンピュータ上で動作するビデオ編集ソフト等がある。また(2)の方式として、描画コマンドを処理するグラフィックス生成部とビデオデータを出力するビデオデータ生成部とを別々に設け、それらの出力を描画コマンドに含まれる透過データを基に切り替えて出力する技術（特許文献１参照）がある。また特許文献２には、動画用のフレームバッファとグラフィックス用のフレームバッファとを分離し、ウインドウシステムの制御によって重ね合わせる技術が記載されている。更に特許文献３には、グラフィックス生成部とビデオ処理部とを別々に設けた表示装置が記載されている。これによれば、グラフィックス生成部は、描画コマンドからグラフィックスを生成し、そのグラフィックス領域に含まれるビデオ情報（領域情報、半透明情報）を生成して保持する。一方、ビデオ処理部は、これらのビデオ情報を用いてビデオの縮小処理を行う。そして合成部により、これらグラフィックスとビデオとを半透過合成する技術が記載されている。
【特許文献１】特開平０６−３３５０２２号公報
【特許文献２】特開平０７−７２８５０号公報
【特許文献３】特開２００２−２２２４２８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら上記従来技術では、静止画データに対して適用される一般的なレンダリング処理（変形、回転、透過等）を動画データに施しながら、リアルタイムでグラフィックスと動画データとを合成して出力できないという欠点があった。
【０００５】
上述した(1)の方式は、動画像データに対して適用できるレンダリング処理の種類は充実しているが、リアルタイムに処理を行うことができない。一方(2)の方式は、リアルタイム性は保証されるものの、動画像データに対する自由なレンダリング処理は殆ど不可能である。即ち、従来はレンダリング処理の自由度とリアルタイム性を両立させることが不可能であった。
【０００６】
また(1)の方式では、非常に高速な描画処理装置を導入することで機能的な問題は解決できるものの、このような装置は非常に高価であるため、コンシューマを対象とした機器には組み込むことが出来ない。
【０００７】
本発明の目的は、上記従来技術の問題点を解決することにある。
【０００８】
本発明の一態様によれば、動画とグラフィックスのそれぞれを画像展開しながら、それらを合成して合成画像を得ることができる。
【課題を解決するための手段】
【０００９】
上記目的を達成するために本発明の一態様に係る画像処理装置は以下のような構成を備える。即ち、
動画描画命令及びグラフィックス描画命令とを含む描画命令を受け取って描画処理を行なう画像処理装置であって、
前記描画命令を受け取って前記動画描画命令と前記グラフィックス描画命令とを分離する分離手段と、
前記分離手段により分離された前記描画命令に含まれる前記グラフィックス描画命令に従ってグラフィックス描画結果を得るグラフィックス描画手段と、
前記分離手段により分離された前記動画描画命令に従って処理した動画データを生成する動画描画手段と、
前記グラフィックス描画手段により描画された前記グラフィックス描画結果と前記動画描画手段により生成された前記動画データとを合成する合成手段と、
を有することを特徴とする。
【００１０】
上記目的を達成するために本発明の一態様に係る画像処理装置の制御方法は以下のような工程を備える。即ち、
動画描画命令及びグラフィックス描画命令とを含む描画命令を受け取って描画処理を行なう画像処理装置の制御方法であって、
前記描画命令を受け取って前記動画描画命令と前記グラフィックス描画命令とを分離する分離工程と、
前記分離工程で分離された前記描画命令に含まれる前記グラフィックス描画命令に従ってグラフィックス描画結果を得るグラフィックス描画工程と、
前記分離工程で分離された前記動画描画命令に従って処理した動画データを生成する動画描画工程と、
前記グラフィックス描画工程で描画された前記グラフィックス描画結果と前記動画描画工程により生成された前記動画データとを合成する合成工程と、
を有することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、動画とグラフィックスのそれぞれを画像展開しながら、それらを合成した合成画像を得ることができる。
【発明を実施するための最良の形態】
【００１２】
以下、添付図面を参照して本発明の好適な実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
【００１３】
図１は、本発明の実施形態に係る画像処理装置の構成を表すブロック図である。
【００１４】
図において、この画像処理装置１００は、描画制御部１０１、動画描画部１０２及び合成部１０３を有している。描画制御部１０１は、描画命令１０４を描画命令パス１１０を介して受け取り、その描画命令１０４から動画描画命令１０６を作成して動画描画部１０２に出力する。またその描画命令１０４に基づいてグラフィックス描画を行ってグラフィックスを生成し、グラフィックス１０７として合成部１０３に出力する。動画描画部１０２は、動画パス１１１を介して動画データ１０５を入力し、描画制御部１０１から供給される動画描画命令１０６に従って処理済み動画データ１０８を生成して合成部１０３に供給する。合成部１０３は、グラフィックス１０７と処理済み動画データ１０８とを合成して合成画像１０９を生成して出力する。
【００１５】
図２は、本発明の実施形態１に係る描画制御部１０１の機能構成を示すブロック図で、前述の図１と共通する部分は同じ記号で示し、それらの説明を省略する。
【００１６】
描画命令分離部２０１は、描画命令１０４からグラフィックス描画命令２０４と動画描画命令１０６を生成する。グラフィックス描画部２０２は、グラフィックス描画命令２０４の指示に従ってグラフィックスの描画処理を行い、その出力をグラフィックス保持部２０３へ出力して格納する。このグラフィックス保持部２０３から、前述したグラフィックス１０７が合成部１０３に出力される。
【００１７】
図３は、本実施形態１に係る画像処理装置１００を使用する画像処理システム３００の構成を示すブロック図である。
【００１８】
この画像処理システム３００は、アプリケーション３０１、制御ソフトウェア３０２、画像処理装置１００及び画像デコーダ３０３を有している。制御ソフトウェア３０２は、アプリケーション３０１が生成するドキュメントをドキュメントパス３０５を介して受け取って画像処理装置１００に渡す。尚、このドキュメントは、画像の描画指示及びＵＲＩ情報等に代表される、外部ドキュメントの参照情報を含む。画像ソース３０８は、画像ソース入力パス３０９を介して入力される。画像ソース入力パス３０９は物理的に１つ、或は複数であってもよい。また或は、物理的に１つの画像ソース入力パス３０９を時分割で使用して複数の画像ソースを入力できるように構成しても良い。
【００１９】
次に画像処理システム３００におけるシステム全体の動作概略を説明した後、画像処理装置１００の動作について詳述する。
（１）画像処理システム３００の動作
この画像処理システム３００が画像処理装置１００に対して行う処理は、（１−１）動画生成処理、（１−２）描画命令の生成処理の２つに大別される。
（１−１）動画生成処理の説明
ここでは画像処理システム３００が行う動画データの生成処理に関し、主に制御ソフトウェア３０２の動作を中心に説明する。
【００２０】
制御ソフトウェア３０２は、動画入力処理として、ドキュメントに含まれる外部ドキュメントの参照情報を抽出して解析する。そして制御ソフトウェア３０２は、制御バス３０４を介して画像デコーダ３０３に、画像ソース３０８が格納されている場所と画像ソース３０８の形式とを指示する。更に、画像デコーダ３０３が画像ソース３０８を出力するための動画パス１１１の情報、及び画像ソース３０８のダウンロードに使用すべき画像ソース３０８の入力パス３０９を指示する。いま画像ソース３０８が複数ある場合、制御ソフトウェア３０２は、合成画像１０９の表示に必要となる全ての画像ソース３０８に対して動画の入力処理を行う。また動画パス１１１は、一つでも複数であってもよい。
【００２１】
画像デコーダ３０３は、画像ソース３０８が圧縮画像である場合は、その画像ソース３０８をデコードし、画像デコーダ３０３は、制御ソフトウェア３０２によって指示された動画パス１１１に非圧縮の画像を出力する。また画像ソース３０８が非圧縮画像である場合は、画像デコーダ３０３は画像ソース３０８をデコードせずに、制御ソフトウェア３０２によって指示された動画パス１１１に出力する。以上の処理により、動画パス１１１とそれに対応した動画データ１０５が生成される。
（１−２）描画命令の生成処理の説明
ここでは画像処理システム３００が行う描画命令の生成処理を、主に制御ソフトウェア３０２の動作を中心に説明する。
【００２２】
制御ソフトウェア３０２は、アプリケーション３０１から受取ったドキュメントを参照して動画の描画に関する記述を探す。次に動画に関するセクションに含まれる外部ドキュメントの参照情報を、動画パス１１１の情報と置換する。制御ソフトウェア３０２は、経路情報が置換された動画描画記述とともに、グラフィックス描画記述を含めて描画命令１０４を生成し、描画命令パス１１０へ出力する。尚、描画命令１０４の詳細に関しては後述する。
（２）画像処理装置１００の動作
次に画像処理装置１００の動作に関して説明する。ここでは、（２−１）入出力の定義、（２−２）動作の順に解説する。
（２−１）入出力の定義
図１において、画像処理装置１００は、入力として描画命令１０４、及び動画データ１０５を受け取る。また出力として合成画像１０９を生成する。
（２−１−１）描画命令の定義
描画命令１０４は、ＳＶＧやフラッシュメモリに代表されるアニメーショングラフィックス及び動画の表示が可能な描画命令である。このような描画命令１０４は一般的にグラフィックス描画タグ、動画タグ及び描画完了タグを含む。
（２−１−１−１）グラフィックス描画タグ
グラフィックス描画タグは、テキスト、基本図形、パス情報、リンク情報などのグラフィックス要素定義と、アニメーション等の描画指示と、各グラフィック要素の描画指示において、描画時に必要となるパラメータ群を含む。グラフィックス描画タグを構成するこれらのグラフィック要素と描画指示及び当該描画指示に必要となるパラメータ群の関連付けは、一般的技術として公知であるためここでは詳述しない。
（２−１−１−２）動画タグ
動画タグは、動画の基点座標情報、サイズ情報、動画に適用する動画描画指示情報、画像処理装置１００に非圧縮の動画データ１０５を入力する際に使用する動画パス１１１の指示情報を持つ。この他に、後述する動画描画処理において必要となる動画のプロパティを動画タグに含めてもよい。例えば画像処理装置１００で動画の色変換を行う場合、動画の色空間情報を付与して渡す。
（２−１−１−３）描画完了タグ
描画完了タグは、一連の描画シーケンスの終了を通知するのに使用される。
（２−１−２）入力動画の定義
動画データ１０５は、テレビ放送やビデオ入力信号をデコードした、非圧縮のデータである。一般的に動画の形状は矩形であるが、入力動画の形状は本発明を制限するものではない。
（２−１−３）合成画像１０９の定義
合成画像１０９は、グラフィックスと動画を合成した結果である。合成画像１０９は、ラスタフォーマットの色情報を持つ。
【００２３】
次に本実施形態に係る描画制御部１０１の動作について、図４のフローチャートを用いて説明する。
【００２４】
図４は、本実施形態に係る描画制御部１０１による処理を説明するフローチャートである。
【００２５】
描画命令１０４を受け取った描画命令分離部２０１は、入力した描画命令１０４を解析してタグを検出する。ステップＳ１では、その検出されたタグが有効なタグかどうかを判定し、有効なタグでないときはステップＳ９に進み、エラー処理を行って処理を終了する。尚、エラー処理の内容については様々なものが考えられるが、本発明の本質とは関連しないのでここでは詳述しない。また、本実施形態ではエラー処理後に処理を中断するシーケンス例が示されているが、何らかのリカバリ手段を講じて復帰する動作を行うことも勿論可能である。
【００２６】
一方、ステップＳ１で、検出されたタグが有効な描画タグであると判断した場合はステップＳ２に進み、描画完了タグかどうかを判定し、描画完了タグであった場合は処理を終了する。このステップＳ２で描画完了タグではないと判断した場合はステップＳ３に進み、動画タグかどうかを判定する。動画タグであると判定した場合はステップＳ４に進み、ステップＳ７で表される動画描画命令の生成処理を行う。一方、ステップＳ３で動画タグでないと判定した場合はグラフィックス描画タグであるとみなしてステップＳ８に進み、グラフィック描画処理を行う。
【００２７】
次にステップＳ４〜Ｓ７に示す動画描画命令の生成処理に関して説明する。
【００２８】
この動画タグを検出した描画命令分離部２０１は、ステップＳ４で、動画ハンドルを生成する。本実施形態１では、動画ハンドルは、入力された動画の幅、高さ、及び変換後の動画の画質情報とデフォルト透過度を指定して作成する。尚、動画ハンドルに渡すパラメータの種類は本発明を制限するものではない。この他に動画ハンドルとグラフィックスのZ-orderは、本実施形態１では描画順序によって規定するが、明示的に動画ハンドルにてZ-orderを指示してもよい。画質情報は、動画再生時に画質、速度のどちらを優先するかを決定する品質情報を持つ。動画のデフォルト透過度は、透過度を持たない動画に対する透過度を指定する。画像処理装置１００に入力される動画データ１０５が透過度を持つ場合、最終出力には、その動画データ１０５が有する透過度を用いてよい。
【００２９】
次にステップＳ５に進み、描画命令分離部２０１は、ステップＳ４で生成した動画ハンドルと、動画パス１１１との対応付けを行う。次にステップＳ６に進み、描画命令分離部２０１は、ステップＳ５で、動画パス１１１との対応付けを行った動画ハンドルに対し、動画の描画命令を生成する。ここで動画の描画命令生成とは、動画の描画命令の生成対象となる動画ハンドルを指定し、動画の回転、変倍、移動、マスキング、クリッピング、台形変換、色変換、フィルタ処理、及び動画再生の処理指示を含む。更に、その処理に必要なパラメータ群を指定することを含む。パラメータの指定では、回転、変倍等はアフィン変換の行列要素の指定、色変換は色変換行列の指定、フィルタ処理ではフィルタの種類、マスキングではマスクパターンの指示、ＬＵＴの設定等を行う。これらの動画描画指示、及び動画ハンドルの描画指示と、その描画指示に必要となるパラメータ群の関連付けは、一般的技術として公知であるためここでは詳述しない。尚、動画の描画命令の生成時に指定する具体的な動画処理とそのパラメータ群、及びその関連付けは、本発明を制限するものではない。そしてステップＳ７に進み、これらの設定値は、動画描画命令として動画描画命令１０６から出力される。
（２−２−１−２）グラフィックス描画処理
ここではステップＳ８で表されるグラフィックス描画処理に関して説明する。
【００３０】
グラフィックス描画タグを検出した描画命令分離部２０１は、タグを解析してグラフィックス描画命令２０４を生成する。生成されたグラフィックス描画命令２０４はグラフィックス描画部２０２に送られ、ここで実際の描画が行われる。尚、このグラフィックス描画部２０２で用いられる描画アルゴリズムは、例えばペインタアルゴリズム等の一般的に知られたあらゆる方式を適用可能である。またグラフィックス描画命令２０４は、上記描画アルゴリズムに適したあらゆる形式の命令形態が適用可能である。これら描画アルゴリズム及びグラフィックス描画命令形式は、本発明の範囲を制限するものではない。
【００３１】
グラフィックス描画部２０２では、入力されたグラフィックス描画命令２０４に従ってグラフィックスを描画し、生成されたラスタイメージをグラフィックス保持部２０３へ出力して格納する。ここで生成されたラスタイメージは、ピクセルごとの色情報の他に、透過率、Z-order等を含むことが可能である。またラスタイメージは、実際にイメージが存在しない領域を含んで生成することも可能であるし、イメージが存在する矩形領域に限定された出力であっても良い。前者の場合は、イメージが存在しない領域における透過率を完全透過に設定し、後者の場合は出力されるイメージに領域情報（最終出力座標系における開始座標、領域の幅と高さ等）を付加しておくことも可能である。グラフィックス保持部２０３は、出力されたイメージデータを保持する。
【００３２】
尚、本実施形態では、グラフィックス保持部２０３は、グラフィックス描画結果のZ-orderに対応する複数の格納領域を有しても良い。この場合、グラフィックス保持部２０３は、グラフィックス描画命令２０４から出力された描画結果をZ-order毎に異なる格納領域へ格納することが可能となる。このような面ごとの分割格納に関する技術は公知であるため、ここでは詳述しない。
（２−２−２）動画描画部１０２の動作
動画描画部１０２では、描画命令分離部２０１から出力された動画描画命令１０６を解析して、処理対象となる動画パス１１１を特定する。次に、その特定した動画パス１１１を通して入力される動画データ１０５に対して、指定された変換を行って処理済み動画データ１０８を出力する。処理済み動画データ１０８のフォーマットはラスタイメージであり、色情報の他に透過率、Z-order等を含むことが可能である。また、ラスタイメージは実際にイメージが存在しない領域を含んで生成することも可能であるし、イメージが存在する矩形領域に限定された出力であっても良い。前者の場合は、イメージが存在しない領域における透過率を完全透過に設定し、後者の場合は、出力されるイメージに領域情報（最終出力座標系における開始座標、領域の幅と高さ等）を付加しても良い。尚、動画描画部１０２は、物理的に複数の動画パス１１１に一対一で対応するように構成しても良く、或は、物理的には一つの動画パス１１１に対し、時分割に構成される複数の論理的なパスに対応するように構成しても良い。
（２−２−３）合成部１０３の動作
合成部１０３では、処理済み動画データ１０８とグラフィックス１０７とを合成して合成画像１０９を生成して出力する。ここで用いられる合成手法としては、画素ごとにZ-order順に逐次合成してゆく一般的な手法など、あらゆる手法を用いることが可能である。
【００３３】
以上説明したように本実施形態１によれば、動画とグラフィックスを統合的にレンダリングして合成することができる。
【００３４】
［実施形態２］
以下本発明の実施形態２について、添付の図面を参照して説明する。尚、前出の説明と同じ機能を持つものに対しては同じ参照符号を記し、説明を省略する。
【００３５】
図５は、本発明の実施形態２に係る画像処理装置２００の構成を表すブロック図である。
【００３６】
同図において、描画制御部４０２は、複数の描画コンテキストから生成された複数の描画命令４０１を並列に描画命令パス１１０から受け取って処理し動画描画命令１０６を出力するとともに、グラフィックス描画を行ってグラフィックス１０７を生成する。ここに描画コンテキストとは、それを用いて描画を行う主体に対し、一対一で独立に定義される概念である。一般的には、異なるスレッド或いは異なるプロセスがそれぞれ一つの描画コンテキストを持つことになる。
【００３７】
図６は、本実施形態２に係る画像処理装置２００を使用する画像処理システム３００の構成を示すブロック図で、前述の実施形態１の図３と共通する部分は同じ記号で示し、それらの説明を省略する。図から明らかなように、本実施形態２に係る画像処理システムの構成要素は、画像処理装置２００以外、全て前述の実施形態１に係る構成と同一である。但し、本実施形態２では、描画命令４０１が複数の描画コンテキストを有することを前提としているので、アプリケーション３０１又は制御ソフトウェア３０２が複数の独立したスレッド或いはプロセスに分割されている状態と等価である。
【００３８】
次に画像処理装置２００の動作について説明する。図５から明らかなように本実施形態２に特有の構成は、描画命令４０１及び描画制御部４０２であるので、ここではこれらについて説明する。
（３−１）描画命令４０１の定義
本実施形態２で用いられる描画命令４０１の基本的な構成は、前述の実施形態１における描画命令１０４と同一である。異なる点は、描画コンテキスト全体のZ-orderを指定するためのグローバル(Global)Z-orderタグ７０１が存在する点にある。グローバルZ-order７０１は、アプリケーション３０１及び制御ソフトウェア３０２により異なる描画コンテキスト間でユニークに決定されるものである。ある描画コンテキストに属するグラフィックスと動画の最終座標系におけるZ-orderは、描画コンテキスト内の局所的な(Local)Z-order７０２とグローバルZ-order７０１の組み合わせで決定される。
【００３９】
図７は、本発明の実施形態２に係るZ-orderの構成を表す図である。
【００４０】
図７において、グローバルZ-order７０１がＭＳＢ側に設定されていることから明らかなように、描画コンテキストは一つの描画レイヤーを定義することになる。
（３−２）描画制御部４０２の動作
本実施形態２に係る描画制御部４０２の構成を図８に示す。
【００４１】
図８は、実施形態２に係る描画制御部４０２の機能構成を表すブロック図で、前述の実施形態１に係る図２と共通する部分は同じ記号で示し、それらの説明を省略する。
【００４２】
図において、描画命令分離部８０１は、複数の描画コンテキストから生成された描画命令４０１からグラフィックス描画命令２０４と動画描画命令１０６とを生成する。それ以外の動作は前述の図２と同一であるため説明を省略する。
【００４３】
次に、この実施形態２に描画制御部４０２の動作を図９のフローチャートを用いて説明する。
【００４４】
図９は、本実施形態２に係る描画制御部４０２による処理を説明するフローチャートである。尚、図９において、ステップＳ１１，Ｓ１２及びステップＳ１７〜Ｓ２３は、図４のステップＳ１，Ｓ２及びステップＳ３〜Ｓ９に対応している。
【００４５】
描画命令４０１を受け取った描画命令分離部８０１は、ステップＳ１１，Ｓ１２の処理を実行した後、ステップＳ１３に進み、各描画コンテキストのＩＤを獲得する。前述したように、各描画コンテキストは、それぞれ異なるプロセス或はスレッドに属しているため、プロセスＩＤやスレッドＩＤを求めることで描画コンテキストに対応したユニークなＩＤを定義できる。次にステップＳ１４に進み、描画タグがグローバルZ-orderタグ７０１かどうかを判断する。ここでグローバルZ-orderタグ７０１であると判断するとステップＳ１５に進み、前述した描画コンテキストＩＤに対応したグローバルZ-orderの値を更新する。ここで描画コンテキストＩＤとグローバルZ-orderの対応関係は、テーブルとして保持されているものとする。
【００４６】
一方ステップＳ１４で、描画タグがグローバルZ-orderタグ７０１でない場合、或はステップＳ１５を実行した後ステップＳ１６に進み、上述したテーブルを検索して描画コンテキストＩＤに対応したグローバルZ-orderを決定する。そしてステップＳ１７に進む。
【００４７】
ステップＳ１７では、動画タグかどうかを判定する。動画タグであると判定した場合はステップＳ１８に進み、動画描画命令の生成処理を行う。一方、ステップＳ１７で動画タグでないと判定した場合はグラフィックス描画タグであるとみなしてステップＳ２２に進み、グラフィック描画処理を行う。このステップＳ２２と図４のステップＳ８との違いは、上記と同様に図７に示したZ-orderを用いることのみである。但し、本実施形態２におけるグラフィックス保持部２０３の構成は、Z-order毎に異なるデータ格納領域を持つことを前提としている。この構成に関しては、前述の実施形態１で既に説明済みであるが、Z-order毎に振り分ける際に、グローバルZ-orderを抽出して用いる点が特徴である。
【００４８】
動画タグを検出した描画命令分離部２０１は、ステップＳ１８で、動画ハンドルを生成する。本実施形態２では、動画ハンドルへ設定するZ-orderの値として、前述したグローバルZ-orderと局所的なZ-orderを組み合わせて作成した図７の値を用いる点が前述の実施形態１と異なっている。この局所的なZ-orderは、前述の実施形態１で定義されたものと同じものである。
【００４９】
次にステップＳ１９に進み、描画命令分離部８０１は、ステップＳ１８で生成した動画ハンドルと、動画パス１１１との対応付けを行う。次にステップＳ２０に進み、描画命令分離部８０１は、ステップＳ１９で、動画パス１１１との対応付けを行った動画ハンドルに対し、動画の描画命令を生成する。ここで動画の描画命令生成とは、動画の描画命令の生成対象となる動画ハンドルを指定し、動画の回転、変倍、移動、マスキング、クリッピング、台形変換、色変換、フィルタ処理、及び動画再生の処理指示を含む。更に、その処理に必要なパラメータ群を指定することを含む。パラメータの指定では、回転、変倍等はアフィン変換の行列要素の指定、色変換は色変換行列の指定、フィルタ処理ではフィルタの種類、マスキングではマスクパターンの指示、ＬＵＴの設定等を行う。これらの動画描画指示、及び動画ハンドルの描画指示と、その描画指示に必要となるパラメータ群の関連付けは、一般的技術として公知であるためここでは詳述しない。尚、動画の描画命令の生成時に指定する具体的な動画処理とそのパラメータ群、及びその関連付けは、本発明を制限するものではない。そしてステップＳ２１に進み、これらの設定値は、動画描画命令として動画描画命令１０６から出力される。
【００５０】
以上説明したように本実施形態２によれば、複数の描画命令を並行して実行することが可能となり、処理速度を向上できるという効果がある。
【００５１】
（他の実施形態）
以上、本発明の実施形態について詳述したが、本発明は、複数の機器から構成されるシステムに適用しても良いし、また一つの機器からなる装置に適用しても良い。
【００５２】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムを読み出して実行することによっても達成され得る。その場合、プログラムの機能を有していれば、形態は、プログラムである必要はない。
【００５３】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明のクレームでは、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【００５４】
プログラムを供給するための記録媒体としては、様々なものが使用できる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などである。
【００５５】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページからハードディスク等の記録媒体にダウンロードすることによっても供給できる。その場合、ダウンロードされるのは、本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルであってもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明のクレームに含まれるものである。
【００５６】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布する形態としても良い。その場合、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムが実行可能な形式でコンピュータにインストールされるようにする。
【００５７】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される形態以外の形態でも実現可能である。例えば、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【００５８】
更に、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれるようにしてもよい。この場合、その後で、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される。
【図面の簡単な説明】
【００５９】
【図１】本発明の実施形態に係る画像処理装置の構成を表すブロック図である。
【図２】本発明の実施形態１に係る描画制御部の機能構成を示すブロック図である。
【図３】本実施形態１に係る画像処理装置を使用する画像処理システムの構成を示すブロック図である。
【図４】本実施形態１に係る描画制御部による処理を説明するフローチャートである。
【図５】本発明の実施形態２に係る画像処理装置の構成を表すブロック図である。
【図６】本実施形態２に係る画像処理装置を使用する画像処理システムの構成を示すブロック図である。
【図７】本発明の実施形態２に係るZ-orderの構成を表す図である。
【図８】実施形態２に係る描画制御部の機能構成を表すブロック図である。
【図９】本実施形態２に係る描画制御部による処理を説明するフローチャートである。
【技術分野】
【０００１】
本発明は、グラフィックスと動画データとを入力して合成する画像処理装置及びその制御方法に関するものである。
【背景技術】
【０００２】
グラフィックスと動画像トを合成して出力する技術は大別すると次の２種類に分けられる。
(1) 動画データをフレーム単位で取得して瞬間的な静止画データを生成し、その静止画データをグラフィックス要素の一部としてグラフィックスと共にレンダリング処理する。
(2) 動画データの処理系統とグラフィックスデータの処理系統とを分離し、それぞれ別々の処理を施した後に、それらデータを合成する。
【０００３】
(1)の方式の代表的なものとして、コンピュータ上で動作するビデオ編集ソフト等がある。また(2)の方式として、描画コマンドを処理するグラフィックス生成部とビデオデータを出力するビデオデータ生成部とを別々に設け、それらの出力を描画コマンドに含まれる透過データを基に切り替えて出力する技術（特許文献１参照）がある。また特許文献２には、動画用のフレームバッファとグラフィックス用のフレームバッファとを分離し、ウインドウシステムの制御によって重ね合わせる技術が記載されている。更に特許文献３には、グラフィックス生成部とビデオ処理部とを別々に設けた表示装置が記載されている。これによれば、グラフィックス生成部は、描画コマンドからグラフィックスを生成し、そのグラフィックス領域に含まれるビデオ情報（領域情報、半透明情報）を生成して保持する。一方、ビデオ処理部は、これらのビデオ情報を用いてビデオの縮小処理を行う。そして合成部により、これらグラフィックスとビデオとを半透過合成する技術が記載されている。
【特許文献１】特開平０６−３３５０２２号公報
【特許文献２】特開平０７−７２８５０号公報
【特許文献３】特開２００２−２２２４２８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら上記従来技術では、静止画データに対して適用される一般的なレンダリング処理（変形、回転、透過等）を動画データに施しながら、リアルタイムでグラフィックスと動画データとを合成して出力できないという欠点があった。
【０００５】
上述した(1)の方式は、動画像データに対して適用できるレンダリング処理の種類は充実しているが、リアルタイムに処理を行うことができない。一方(2)の方式は、リアルタイム性は保証されるものの、動画像データに対する自由なレンダリング処理は殆ど不可能である。即ち、従来はレンダリング処理の自由度とリアルタイム性を両立させることが不可能であった。
【０００６】
また(1)の方式では、非常に高速な描画処理装置を導入することで機能的な問題は解決できるものの、このような装置は非常に高価であるため、コンシューマを対象とした機器には組み込むことが出来ない。
【０００７】
本発明の目的は、上記従来技術の問題点を解決することにある。
【０００８】
本発明の一態様によれば、動画とグラフィックスのそれぞれを画像展開しながら、それらを合成して合成画像を得ることができる。
【課題を解決するための手段】
【０００９】
上記目的を達成するために本発明の一態様に係る画像処理装置は以下のような構成を備える。即ち、
動画描画命令及びグラフィックス描画命令とを含む描画命令を受け取って描画処理を行なう画像処理装置であって、
前記描画命令を受け取って前記動画描画命令と前記グラフィックス描画命令とを分離する分離手段と、
前記分離手段により分離された前記描画命令に含まれる前記グラフィックス描画命令に従ってグラフィックス描画結果を得るグラフィックス描画手段と、
前記分離手段により分離された前記動画描画命令に従って処理した動画データを生成する動画描画手段と、
前記グラフィックス描画手段により描画された前記グラフィックス描画結果と前記動画描画手段により生成された前記動画データとを合成する合成手段と、
を有することを特徴とする。
【００１０】
上記目的を達成するために本発明の一態様に係る画像処理装置の制御方法は以下のような工程を備える。即ち、
動画描画命令及びグラフィックス描画命令とを含む描画命令を受け取って描画処理を行なう画像処理装置の制御方法であって、
前記描画命令を受け取って前記動画描画命令と前記グラフィックス描画命令とを分離する分離工程と、
前記分離工程で分離された前記描画命令に含まれる前記グラフィックス描画命令に従ってグラフィックス描画結果を得るグラフィックス描画工程と、
前記分離工程で分離された前記動画描画命令に従って処理した動画データを生成する動画描画工程と、
前記グラフィックス描画工程で描画された前記グラフィックス描画結果と前記動画描画工程により生成された前記動画データとを合成する合成工程と、
を有することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、動画とグラフィックスのそれぞれを画像展開しながら、それらを合成した合成画像を得ることができる。
【発明を実施するための最良の形態】
【００１２】
以下、添付図面を参照して本発明の好適な実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
【００１３】
図１は、本発明の実施形態に係る画像処理装置の構成を表すブロック図である。
【００１４】
図において、この画像処理装置１００は、描画制御部１０１、動画描画部１０２及び合成部１０３を有している。描画制御部１０１は、描画命令１０４を描画命令パス１１０を介して受け取り、その描画命令１０４から動画描画命令１０６を作成して動画描画部１０２に出力する。またその描画命令１０４に基づいてグラフィックス描画を行ってグラフィックスを生成し、グラフィックス１０７として合成部１０３に出力する。動画描画部１０２は、動画パス１１１を介して動画データ１０５を入力し、描画制御部１０１から供給される動画描画命令１０６に従って処理済み動画データ１０８を生成して合成部１０３に供給する。合成部１０３は、グラフィックス１０７と処理済み動画データ１０８とを合成して合成画像１０９を生成して出力する。
【００１５】
図２は、本発明の実施形態１に係る描画制御部１０１の機能構成を示すブロック図で、前述の図１と共通する部分は同じ記号で示し、それらの説明を省略する。
【００１６】
描画命令分離部２０１は、描画命令１０４からグラフィックス描画命令２０４と動画描画命令１０６を生成する。グラフィックス描画部２０２は、グラフィックス描画命令２０４の指示に従ってグラフィックスの描画処理を行い、その出力をグラフィックス保持部２０３へ出力して格納する。このグラフィックス保持部２０３から、前述したグラフィックス１０７が合成部１０３に出力される。
【００１７】
図３は、本実施形態１に係る画像処理装置１００を使用する画像処理システム３００の構成を示すブロック図である。
【００１８】
この画像処理システム３００は、アプリケーション３０１、制御ソフトウェア３０２、画像処理装置１００及び画像デコーダ３０３を有している。制御ソフトウェア３０２は、アプリケーション３０１が生成するドキュメントをドキュメントパス３０５を介して受け取って画像処理装置１００に渡す。尚、このドキュメントは、画像の描画指示及びＵＲＩ情報等に代表される、外部ドキュメントの参照情報を含む。画像ソース３０８は、画像ソース入力パス３０９を介して入力される。画像ソース入力パス３０９は物理的に１つ、或は複数であってもよい。また或は、物理的に１つの画像ソース入力パス３０９を時分割で使用して複数の画像ソースを入力できるように構成しても良い。
【００１９】
次に画像処理システム３００におけるシステム全体の動作概略を説明した後、画像処理装置１００の動作について詳述する。
（１）画像処理システム３００の動作
この画像処理システム３００が画像処理装置１００に対して行う処理は、（１−１）動画生成処理、（１−２）描画命令の生成処理の２つに大別される。
（１−１）動画生成処理の説明
ここでは画像処理システム３００が行う動画データの生成処理に関し、主に制御ソフトウェア３０２の動作を中心に説明する。
【００２０】
制御ソフトウェア３０２は、動画入力処理として、ドキュメントに含まれる外部ドキュメントの参照情報を抽出して解析する。そして制御ソフトウェア３０２は、制御バス３０４を介して画像デコーダ３０３に、画像ソース３０８が格納されている場所と画像ソース３０８の形式とを指示する。更に、画像デコーダ３０３が画像ソース３０８を出力するための動画パス１１１の情報、及び画像ソース３０８のダウンロードに使用すべき画像ソース３０８の入力パス３０９を指示する。いま画像ソース３０８が複数ある場合、制御ソフトウェア３０２は、合成画像１０９の表示に必要となる全ての画像ソース３０８に対して動画の入力処理を行う。また動画パス１１１は、一つでも複数であってもよい。
【００２１】
画像デコーダ３０３は、画像ソース３０８が圧縮画像である場合は、その画像ソース３０８をデコードし、画像デコーダ３０３は、制御ソフトウェア３０２によって指示された動画パス１１１に非圧縮の画像を出力する。また画像ソース３０８が非圧縮画像である場合は、画像デコーダ３０３は画像ソース３０８をデコードせずに、制御ソフトウェア３０２によって指示された動画パス１１１に出力する。以上の処理により、動画パス１１１とそれに対応した動画データ１０５が生成される。
（１−２）描画命令の生成処理の説明
ここでは画像処理システム３００が行う描画命令の生成処理を、主に制御ソフトウェア３０２の動作を中心に説明する。
【００２２】
制御ソフトウェア３０２は、アプリケーション３０１から受取ったドキュメントを参照して動画の描画に関する記述を探す。次に動画に関するセクションに含まれる外部ドキュメントの参照情報を、動画パス１１１の情報と置換する。制御ソフトウェア３０２は、経路情報が置換された動画描画記述とともに、グラフィックス描画記述を含めて描画命令１０４を生成し、描画命令パス１１０へ出力する。尚、描画命令１０４の詳細に関しては後述する。
（２）画像処理装置１００の動作
次に画像処理装置１００の動作に関して説明する。ここでは、（２−１）入出力の定義、（２−２）動作の順に解説する。
（２−１）入出力の定義
図１において、画像処理装置１００は、入力として描画命令１０４、及び動画データ１０５を受け取る。また出力として合成画像１０９を生成する。
（２−１−１）描画命令の定義
描画命令１０４は、ＳＶＧやフラッシュメモリに代表されるアニメーショングラフィックス及び動画の表示が可能な描画命令である。このような描画命令１０４は一般的にグラフィックス描画タグ、動画タグ及び描画完了タグを含む。
（２−１−１−１）グラフィックス描画タグ
グラフィックス描画タグは、テキスト、基本図形、パス情報、リンク情報などのグラフィックス要素定義と、アニメーション等の描画指示と、各グラフィック要素の描画指示において、描画時に必要となるパラメータ群を含む。グラフィックス描画タグを構成するこれらのグラフィック要素と描画指示及び当該描画指示に必要となるパラメータ群の関連付けは、一般的技術として公知であるためここでは詳述しない。
（２−１−１−２）動画タグ
動画タグは、動画の基点座標情報、サイズ情報、動画に適用する動画描画指示情報、画像処理装置１００に非圧縮の動画データ１０５を入力する際に使用する動画パス１１１の指示情報を持つ。この他に、後述する動画描画処理において必要となる動画のプロパティを動画タグに含めてもよい。例えば画像処理装置１００で動画の色変換を行う場合、動画の色空間情報を付与して渡す。
（２−１−１−３）描画完了タグ
描画完了タグは、一連の描画シーケンスの終了を通知するのに使用される。
（２−１−２）入力動画の定義
動画データ１０５は、テレビ放送やビデオ入力信号をデコードした、非圧縮のデータである。一般的に動画の形状は矩形であるが、入力動画の形状は本発明を制限するものではない。
（２−１−３）合成画像１０９の定義
合成画像１０９は、グラフィックスと動画を合成した結果である。合成画像１０９は、ラスタフォーマットの色情報を持つ。
【００２３】
次に本実施形態に係る描画制御部１０１の動作について、図４のフローチャートを用いて説明する。
【００２４】
図４は、本実施形態に係る描画制御部１０１による処理を説明するフローチャートである。
【００２５】
描画命令１０４を受け取った描画命令分離部２０１は、入力した描画命令１０４を解析してタグを検出する。ステップＳ１では、その検出されたタグが有効なタグかどうかを判定し、有効なタグでないときはステップＳ９に進み、エラー処理を行って処理を終了する。尚、エラー処理の内容については様々なものが考えられるが、本発明の本質とは関連しないのでここでは詳述しない。また、本実施形態ではエラー処理後に処理を中断するシーケンス例が示されているが、何らかのリカバリ手段を講じて復帰する動作を行うことも勿論可能である。
【００２６】
一方、ステップＳ１で、検出されたタグが有効な描画タグであると判断した場合はステップＳ２に進み、描画完了タグかどうかを判定し、描画完了タグであった場合は処理を終了する。このステップＳ２で描画完了タグではないと判断した場合はステップＳ３に進み、動画タグかどうかを判定する。動画タグであると判定した場合はステップＳ４に進み、ステップＳ７で表される動画描画命令の生成処理を行う。一方、ステップＳ３で動画タグでないと判定した場合はグラフィックス描画タグであるとみなしてステップＳ８に進み、グラフィック描画処理を行う。
【００２７】
次にステップＳ４〜Ｓ７に示す動画描画命令の生成処理に関して説明する。
【００２８】
この動画タグを検出した描画命令分離部２０１は、ステップＳ４で、動画ハンドルを生成する。本実施形態１では、動画ハンドルは、入力された動画の幅、高さ、及び変換後の動画の画質情報とデフォルト透過度を指定して作成する。尚、動画ハンドルに渡すパラメータの種類は本発明を制限するものではない。この他に動画ハンドルとグラフィックスのZ-orderは、本実施形態１では描画順序によって規定するが、明示的に動画ハンドルにてZ-orderを指示してもよい。画質情報は、動画再生時に画質、速度のどちらを優先するかを決定する品質情報を持つ。動画のデフォルト透過度は、透過度を持たない動画に対する透過度を指定する。画像処理装置１００に入力される動画データ１０５が透過度を持つ場合、最終出力には、その動画データ１０５が有する透過度を用いてよい。
【００２９】
次にステップＳ５に進み、描画命令分離部２０１は、ステップＳ４で生成した動画ハンドルと、動画パス１１１との対応付けを行う。次にステップＳ６に進み、描画命令分離部２０１は、ステップＳ５で、動画パス１１１との対応付けを行った動画ハンドルに対し、動画の描画命令を生成する。ここで動画の描画命令生成とは、動画の描画命令の生成対象となる動画ハンドルを指定し、動画の回転、変倍、移動、マスキング、クリッピング、台形変換、色変換、フィルタ処理、及び動画再生の処理指示を含む。更に、その処理に必要なパラメータ群を指定することを含む。パラメータの指定では、回転、変倍等はアフィン変換の行列要素の指定、色変換は色変換行列の指定、フィルタ処理ではフィルタの種類、マスキングではマスクパターンの指示、ＬＵＴの設定等を行う。これらの動画描画指示、及び動画ハンドルの描画指示と、その描画指示に必要となるパラメータ群の関連付けは、一般的技術として公知であるためここでは詳述しない。尚、動画の描画命令の生成時に指定する具体的な動画処理とそのパラメータ群、及びその関連付けは、本発明を制限するものではない。そしてステップＳ７に進み、これらの設定値は、動画描画命令として動画描画命令１０６から出力される。
（２−２−１−２）グラフィックス描画処理
ここではステップＳ８で表されるグラフィックス描画処理に関して説明する。
【００３０】
グラフィックス描画タグを検出した描画命令分離部２０１は、タグを解析してグラフィックス描画命令２０４を生成する。生成されたグラフィックス描画命令２０４はグラフィックス描画部２０２に送られ、ここで実際の描画が行われる。尚、このグラフィックス描画部２０２で用いられる描画アルゴリズムは、例えばペインタアルゴリズム等の一般的に知られたあらゆる方式を適用可能である。またグラフィックス描画命令２０４は、上記描画アルゴリズムに適したあらゆる形式の命令形態が適用可能である。これら描画アルゴリズム及びグラフィックス描画命令形式は、本発明の範囲を制限するものではない。
【００３１】
グラフィックス描画部２０２では、入力されたグラフィックス描画命令２０４に従ってグラフィックスを描画し、生成されたラスタイメージをグラフィックス保持部２０３へ出力して格納する。ここで生成されたラスタイメージは、ピクセルごとの色情報の他に、透過率、Z-order等を含むことが可能である。またラスタイメージは、実際にイメージが存在しない領域を含んで生成することも可能であるし、イメージが存在する矩形領域に限定された出力であっても良い。前者の場合は、イメージが存在しない領域における透過率を完全透過に設定し、後者の場合は出力されるイメージに領域情報（最終出力座標系における開始座標、領域の幅と高さ等）を付加しておくことも可能である。グラフィックス保持部２０３は、出力されたイメージデータを保持する。
【００３２】
尚、本実施形態では、グラフィックス保持部２０３は、グラフィックス描画結果のZ-orderに対応する複数の格納領域を有しても良い。この場合、グラフィックス保持部２０３は、グラフィックス描画命令２０４から出力された描画結果をZ-order毎に異なる格納領域へ格納することが可能となる。このような面ごとの分割格納に関する技術は公知であるため、ここでは詳述しない。
（２−２−２）動画描画部１０２の動作
動画描画部１０２では、描画命令分離部２０１から出力された動画描画命令１０６を解析して、処理対象となる動画パス１１１を特定する。次に、その特定した動画パス１１１を通して入力される動画データ１０５に対して、指定された変換を行って処理済み動画データ１０８を出力する。処理済み動画データ１０８のフォーマットはラスタイメージであり、色情報の他に透過率、Z-order等を含むことが可能である。また、ラスタイメージは実際にイメージが存在しない領域を含んで生成することも可能であるし、イメージが存在する矩形領域に限定された出力であっても良い。前者の場合は、イメージが存在しない領域における透過率を完全透過に設定し、後者の場合は、出力されるイメージに領域情報（最終出力座標系における開始座標、領域の幅と高さ等）を付加しても良い。尚、動画描画部１０２は、物理的に複数の動画パス１１１に一対一で対応するように構成しても良く、或は、物理的には一つの動画パス１１１に対し、時分割に構成される複数の論理的なパスに対応するように構成しても良い。
（２−２−３）合成部１０３の動作
合成部１０３では、処理済み動画データ１０８とグラフィックス１０７とを合成して合成画像１０９を生成して出力する。ここで用いられる合成手法としては、画素ごとにZ-order順に逐次合成してゆく一般的な手法など、あらゆる手法を用いることが可能である。
【００３３】
以上説明したように本実施形態１によれば、動画とグラフィックスを統合的にレンダリングして合成することができる。
【００３４】
［実施形態２］
以下本発明の実施形態２について、添付の図面を参照して説明する。尚、前出の説明と同じ機能を持つものに対しては同じ参照符号を記し、説明を省略する。
【００３５】
図５は、本発明の実施形態２に係る画像処理装置２００の構成を表すブロック図である。
【００３６】
同図において、描画制御部４０２は、複数の描画コンテキストから生成された複数の描画命令４０１を並列に描画命令パス１１０から受け取って処理し動画描画命令１０６を出力するとともに、グラフィックス描画を行ってグラフィックス１０７を生成する。ここに描画コンテキストとは、それを用いて描画を行う主体に対し、一対一で独立に定義される概念である。一般的には、異なるスレッド或いは異なるプロセスがそれぞれ一つの描画コンテキストを持つことになる。
【００３７】
図６は、本実施形態２に係る画像処理装置２００を使用する画像処理システム３００の構成を示すブロック図で、前述の実施形態１の図３と共通する部分は同じ記号で示し、それらの説明を省略する。図から明らかなように、本実施形態２に係る画像処理システムの構成要素は、画像処理装置２００以外、全て前述の実施形態１に係る構成と同一である。但し、本実施形態２では、描画命令４０１が複数の描画コンテキストを有することを前提としているので、アプリケーション３０１又は制御ソフトウェア３０２が複数の独立したスレッド或いはプロセスに分割されている状態と等価である。
【００３８】
次に画像処理装置２００の動作について説明する。図５から明らかなように本実施形態２に特有の構成は、描画命令４０１及び描画制御部４０２であるので、ここではこれらについて説明する。
（３−１）描画命令４０１の定義
本実施形態２で用いられる描画命令４０１の基本的な構成は、前述の実施形態１における描画命令１０４と同一である。異なる点は、描画コンテキスト全体のZ-orderを指定するためのグローバル(Global)Z-orderタグ７０１が存在する点にある。グローバルZ-order７０１は、アプリケーション３０１及び制御ソフトウェア３０２により異なる描画コンテキスト間でユニークに決定されるものである。ある描画コンテキストに属するグラフィックスと動画の最終座標系におけるZ-orderは、描画コンテキスト内の局所的な(Local)Z-order７０２とグローバルZ-order７０１の組み合わせで決定される。
【００３９】
図７は、本発明の実施形態２に係るZ-orderの構成を表す図である。
【００４０】
図７において、グローバルZ-order７０１がＭＳＢ側に設定されていることから明らかなように、描画コンテキストは一つの描画レイヤーを定義することになる。
（３−２）描画制御部４０２の動作
本実施形態２に係る描画制御部４０２の構成を図８に示す。
【００４１】
図８は、実施形態２に係る描画制御部４０２の機能構成を表すブロック図で、前述の実施形態１に係る図２と共通する部分は同じ記号で示し、それらの説明を省略する。
【００４２】
図において、描画命令分離部８０１は、複数の描画コンテキストから生成された描画命令４０１からグラフィックス描画命令２０４と動画描画命令１０６とを生成する。それ以外の動作は前述の図２と同一であるため説明を省略する。
【００４３】
次に、この実施形態２に描画制御部４０２の動作を図９のフローチャートを用いて説明する。
【００４４】
図９は、本実施形態２に係る描画制御部４０２による処理を説明するフローチャートである。尚、図９において、ステップＳ１１，Ｓ１２及びステップＳ１７〜Ｓ２３は、図４のステップＳ１，Ｓ２及びステップＳ３〜Ｓ９に対応している。
【００４５】
描画命令４０１を受け取った描画命令分離部８０１は、ステップＳ１１，Ｓ１２の処理を実行した後、ステップＳ１３に進み、各描画コンテキストのＩＤを獲得する。前述したように、各描画コンテキストは、それぞれ異なるプロセス或はスレッドに属しているため、プロセスＩＤやスレッドＩＤを求めることで描画コンテキストに対応したユニークなＩＤを定義できる。次にステップＳ１４に進み、描画タグがグローバルZ-orderタグ７０１かどうかを判断する。ここでグローバルZ-orderタグ７０１であると判断するとステップＳ１５に進み、前述した描画コンテキストＩＤに対応したグローバルZ-orderの値を更新する。ここで描画コンテキストＩＤとグローバルZ-orderの対応関係は、テーブルとして保持されているものとする。
【００４６】
一方ステップＳ１４で、描画タグがグローバルZ-orderタグ７０１でない場合、或はステップＳ１５を実行した後ステップＳ１６に進み、上述したテーブルを検索して描画コンテキストＩＤに対応したグローバルZ-orderを決定する。そしてステップＳ１７に進む。
【００４７】
ステップＳ１７では、動画タグかどうかを判定する。動画タグであると判定した場合はステップＳ１８に進み、動画描画命令の生成処理を行う。一方、ステップＳ１７で動画タグでないと判定した場合はグラフィックス描画タグであるとみなしてステップＳ２２に進み、グラフィック描画処理を行う。このステップＳ２２と図４のステップＳ８との違いは、上記と同様に図７に示したZ-orderを用いることのみである。但し、本実施形態２におけるグラフィックス保持部２０３の構成は、Z-order毎に異なるデータ格納領域を持つことを前提としている。この構成に関しては、前述の実施形態１で既に説明済みであるが、Z-order毎に振り分ける際に、グローバルZ-orderを抽出して用いる点が特徴である。
【００４８】
動画タグを検出した描画命令分離部２０１は、ステップＳ１８で、動画ハンドルを生成する。本実施形態２では、動画ハンドルへ設定するZ-orderの値として、前述したグローバルZ-orderと局所的なZ-orderを組み合わせて作成した図７の値を用いる点が前述の実施形態１と異なっている。この局所的なZ-orderは、前述の実施形態１で定義されたものと同じものである。
【００４９】
次にステップＳ１９に進み、描画命令分離部８０１は、ステップＳ１８で生成した動画ハンドルと、動画パス１１１との対応付けを行う。次にステップＳ２０に進み、描画命令分離部８０１は、ステップＳ１９で、動画パス１１１との対応付けを行った動画ハンドルに対し、動画の描画命令を生成する。ここで動画の描画命令生成とは、動画の描画命令の生成対象となる動画ハンドルを指定し、動画の回転、変倍、移動、マスキング、クリッピング、台形変換、色変換、フィルタ処理、及び動画再生の処理指示を含む。更に、その処理に必要なパラメータ群を指定することを含む。パラメータの指定では、回転、変倍等はアフィン変換の行列要素の指定、色変換は色変換行列の指定、フィルタ処理ではフィルタの種類、マスキングではマスクパターンの指示、ＬＵＴの設定等を行う。これらの動画描画指示、及び動画ハンドルの描画指示と、その描画指示に必要となるパラメータ群の関連付けは、一般的技術として公知であるためここでは詳述しない。尚、動画の描画命令の生成時に指定する具体的な動画処理とそのパラメータ群、及びその関連付けは、本発明を制限するものではない。そしてステップＳ２１に進み、これらの設定値は、動画描画命令として動画描画命令１０６から出力される。
【００５０】
以上説明したように本実施形態２によれば、複数の描画命令を並行して実行することが可能となり、処理速度を向上できるという効果がある。
【００５１】
（他の実施形態）
以上、本発明の実施形態について詳述したが、本発明は、複数の機器から構成されるシステムに適用しても良いし、また一つの機器からなる装置に適用しても良い。
【００５２】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムを読み出して実行することによっても達成され得る。その場合、プログラムの機能を有していれば、形態は、プログラムである必要はない。
【００５３】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明のクレームでは、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【００５４】
プログラムを供給するための記録媒体としては、様々なものが使用できる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などである。
【００５５】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページからハードディスク等の記録媒体にダウンロードすることによっても供給できる。その場合、ダウンロードされるのは、本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルであってもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明のクレームに含まれるものである。
【００５６】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布する形態としても良い。その場合、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムが実行可能な形式でコンピュータにインストールされるようにする。
【００５７】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される形態以外の形態でも実現可能である。例えば、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【００５８】
更に、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれるようにしてもよい。この場合、その後で、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される。
【図面の簡単な説明】
【００５９】
【図１】本発明の実施形態に係る画像処理装置の構成を表すブロック図である。
【図２】本発明の実施形態１に係る描画制御部の機能構成を示すブロック図である。
【図３】本実施形態１に係る画像処理装置を使用する画像処理システムの構成を示すブロック図である。
【図４】本実施形態１に係る描画制御部による処理を説明するフローチャートである。
【図５】本発明の実施形態２に係る画像処理装置の構成を表すブロック図である。
【図６】本実施形態２に係る画像処理装置を使用する画像処理システムの構成を示すブロック図である。
【図７】本発明の実施形態２に係るZ-orderの構成を表す図である。
【図８】実施形態２に係る描画制御部の機能構成を表すブロック図である。
【図９】本実施形態２に係る描画制御部による処理を説明するフローチャートである。
【特許請求の範囲】
【請求項１】
動画描画命令及びグラフィックス描画命令とを含む描画命令を受け取って描画処理を行なう画像処理装置であって、
前記描画命令を受け取って前記動画描画命令と前記グラフィックス描画命令とを分離する分離手段と、
前記分離手段により分離された前記描画命令に含まれる前記グラフィックス描画命令に従ってグラフィックス描画結果を得るグラフィックス描画手段と、
前記分離手段により分離された前記動画描画命令に従って処理した動画データを生成する動画描画手段と、
前記グラフィックス描画手段により描画された前記グラフィックス描画結果と前記動画描画手段により生成された前記動画データとを合成する合成手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記描画命令は、複数の描画コンテキストを基に生成されており、
前記分離手段及び前記グラフィックス描画手段は、前記描画命令を前記描画コンテキストごとに並行して処理することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記動画描画命令は、入力された動画の幅、高さ、及び変換後の動画の画質情報とデフォルト透過度、Z-orderの少なくともいずれかを含むことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記描画命令は、グラフィックス描画方法を定義する複数のグラフィックス描画タグと、動画描画方法を定義する複数の動画タグと、描画完了を通知するための描画完了タグを含むことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記描画命令は、グラフィックス描画方法を定義する複数のグラフィックス描画タグと、動画描画方法を定義する複数の動画タグと、描画完了を通知するための描画完了タグと、描画レイヤーのZ-orderを指定するZ-orderタグを有することを特徴とする請求項２に記載の画像処理装置。
【請求項６】
動画描画命令及びグラフィックス描画命令とを含む描画命令を受け取って描画処理を行なう画像処理装置の制御方法であって、
前記描画命令を受け取って前記動画描画命令と前記グラフィックス描画命令とを分離する分離工程と、
前記分離工程で分離された前記描画命令に含まれる前記グラフィックス描画命令に従ってグラフィックス描画結果を得るグラフィックス描画工程と、
前記分離工程で分離された前記動画描画命令に従って処理した動画データを生成する動画描画工程と、
前記グラフィックス描画工程で描画された前記グラフィックス描画結果と前記動画描画工程により生成された前記動画データとを合成する合成工程と、
を有することを特徴とする画像処理装置の制御方法。
【請求項７】
前記描画命令は、複数の描画コンテキストを基に生成されており、
前記分離工程及び前記グラフィックス描画工程では、前記描画命令を前記描画コンテキストごとに並行して処理することを特徴とする請求項６に記載の画像処理装置の制御方法。
【請求項８】
前記動画描画命令は、入力された動画の幅、高さ、及び変換後の動画の画質情報とデフォルト透過度、Z-orderの少なくともいずれかを含むことを特徴とする請求項６又は７に記載の画像処理装置の制御方法。
【請求項９】
前記描画命令は、グラフィックス描画方法を定義する複数のグラフィックス描画タグと、動画描画方法を定義する複数の動画タグと、描画完了を通知するための描画完了タグを含むことを特徴とする請求項６に記載の画像処理装置の制御方法。
【請求項１０】
前記描画命令は、グラフィックス描画方法を定義する複数のグラフィックス描画タグと、動画描画方法を定義する複数の動画タグと、描画完了を通知するための描画完了タグと、描画レイヤーのZ-orderを指定するZ-orderタグを有することを特徴とする請求項７に記載の画像処理装置の制御方法。
【請求項１】
動画描画命令及びグラフィックス描画命令とを含む描画命令を受け取って描画処理を行なう画像処理装置であって、
前記描画命令を受け取って前記動画描画命令と前記グラフィックス描画命令とを分離する分離手段と、
前記分離手段により分離された前記描画命令に含まれる前記グラフィックス描画命令に従ってグラフィックス描画結果を得るグラフィックス描画手段と、
前記分離手段により分離された前記動画描画命令に従って処理した動画データを生成する動画描画手段と、
前記グラフィックス描画手段により描画された前記グラフィックス描画結果と前記動画描画手段により生成された前記動画データとを合成する合成手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記描画命令は、複数の描画コンテキストを基に生成されており、
前記分離手段及び前記グラフィックス描画手段は、前記描画命令を前記描画コンテキストごとに並行して処理することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記動画描画命令は、入力された動画の幅、高さ、及び変換後の動画の画質情報とデフォルト透過度、Z-orderの少なくともいずれかを含むことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記描画命令は、グラフィックス描画方法を定義する複数のグラフィックス描画タグと、動画描画方法を定義する複数の動画タグと、描画完了を通知するための描画完了タグを含むことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記描画命令は、グラフィックス描画方法を定義する複数のグラフィックス描画タグと、動画描画方法を定義する複数の動画タグと、描画完了を通知するための描画完了タグと、描画レイヤーのZ-orderを指定するZ-orderタグを有することを特徴とする請求項２に記載の画像処理装置。
【請求項６】
動画描画命令及びグラフィックス描画命令とを含む描画命令を受け取って描画処理を行なう画像処理装置の制御方法であって、
前記描画命令を受け取って前記動画描画命令と前記グラフィックス描画命令とを分離する分離工程と、
前記分離工程で分離された前記描画命令に含まれる前記グラフィックス描画命令に従ってグラフィックス描画結果を得るグラフィックス描画工程と、
前記分離工程で分離された前記動画描画命令に従って処理した動画データを生成する動画描画工程と、
前記グラフィックス描画工程で描画された前記グラフィックス描画結果と前記動画描画工程により生成された前記動画データとを合成する合成工程と、
を有することを特徴とする画像処理装置の制御方法。
【請求項７】
前記描画命令は、複数の描画コンテキストを基に生成されており、
前記分離工程及び前記グラフィックス描画工程では、前記描画命令を前記描画コンテキストごとに並行して処理することを特徴とする請求項６に記載の画像処理装置の制御方法。
【請求項８】
前記動画描画命令は、入力された動画の幅、高さ、及び変換後の動画の画質情報とデフォルト透過度、Z-orderの少なくともいずれかを含むことを特徴とする請求項６又は７に記載の画像処理装置の制御方法。
【請求項９】
前記描画命令は、グラフィックス描画方法を定義する複数のグラフィックス描画タグと、動画描画方法を定義する複数の動画タグと、描画完了を通知するための描画完了タグを含むことを特徴とする請求項６に記載の画像処理装置の制御方法。
【請求項１０】
前記描画命令は、グラフィックス描画方法を定義する複数のグラフィックス描画タグと、動画描画方法を定義する複数の動画タグと、描画完了を通知するための描画完了タグと、描画レイヤーのZ-orderを指定するZ-orderタグを有することを特徴とする請求項７に記載の画像処理装置の制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１０−１５４４７（Ｐ２０１０−１５４４７Ａ）
【公開日】平成２２年１月２１日（２０１０．１．２１）
【国際特許分類】
【出願番号】特願２００８−１７５９０６（Ｐ２００８−１７５９０６）
【出願日】平成２０年７月４日（２００８．７．４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２２年１月２１日（２０１０．１．２１）
【国際特許分類】
【出願日】平成２０年７月４日（２００８．７．４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]