画像処理装置及びその制御方法
【課題】 動画とグラフィックスが互いに重なり合って表示される場合に、正しく表示を行うためにはグラフィックスの描画結果を格納するバッファを複数持たなければならない。
【解決手段】 描画処理命令に含まれるグラフィックス描画処理命令に従ってグラフィックス描画結果を得る（２０７）。また、描画処理命令に含まれる動画描画処理命令からクリッピング処理命令を生成し（２０８）、グラフィックス描画結果を、そのクリッピング処理命令によりクリッピングしたクリッピング済グラフィックスを得て、それを保持する（２０３）。また描画処理命令に含まれる動画描画処理命令に従って処理した動画データを生成し（２０４）、保持されているクリッピング済グラフィックスと、その生成された動画データとを合成して（２０５）出力する。
【解決手段】 描画処理命令に含まれるグラフィックス描画処理命令に従ってグラフィックス描画結果を得る（２０７）。また、描画処理命令に含まれる動画描画処理命令からクリッピング処理命令を生成し（２０８）、グラフィックス描画結果を、そのクリッピング処理命令によりクリッピングしたクリッピング済グラフィックスを得て、それを保持する（２０３）。また描画処理命令に含まれる動画描画処理命令に従って処理した動画データを生成し（２０４）、保持されているクリッピング済グラフィックスと、その生成された動画データとを合成して（２０５）出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、グラフィックスと動画データとを入力して合成する画像処理装置及びその制御方法に関するものである。
【背景技術】
【０００２】
動画とグラフィックスを含む画像を構成する際、従来は動画のフレームを切り出し、そのフレームを静止画像とし、それにグラフィックスを合わせることによって実現していた。しかし、動画とグラフィックスでは、画像の使用用途、データ形式、要求される描画処理の種類が異なる。例えば、動画の場合は、コマ落ちなどによって動画の品質が低下しないようにすること等が求められる。そのために動画とグラフィックスの処理系を分離し、それぞれの処理系の出力結果を合成して出力している。
【０００３】
動画とグラフィックスとを合成して出力する画像形成装置に関して、メモリに格納されているグラフィックスデータと動画データを、そのメモリの読み出しアドレスを切り替えながら合成する方法が提案されている（特許文献１参照）。また、ビデオ信号の処理機能をグラフィックスコントローラから独立させ、そのグラフィックスコントローラで作成した画像をビデオ信号として入力し、ビデオの高画質化を図る提案もされている（特許文献２参照）。
【特許文献１】特開平７−０７２８５０号公報
【特許文献２】特開２００５−３２１４８１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来の方法によれば、動画の描画処理命令とグラフィックスの描画処理命令とが混在した描画処理命令を処理する際、動画とグラフィックスの処理系を分離している。これにより動画とグラフィックスそれぞれの品質を高めることができるが、動画とグラフィックスが互いに重なり合って表示される場合に、正しく表示を行うためにはグラフィックスの描画結果を格納するバッファを複数持たなければならない。これにより装置のコストが増大するという問題があった。
【０００５】
本発明の目的は、上述した従来の問題点を解決することにある。
【０００６】
本願発明の一態様によれば、グラフィックスの描画結果を保持するメモリ容量を少なくして、動画とグラフィックスの合成を実現できる技術を提供できる。
【課題を解決するための手段】
【０００７】
上記目的を達成するために本発明の一態様に係る画像処理装置は以下のような構成を備える。即ち、
単一又は複数の動画描画処理命令及び単一又は複数のグラフィックス描画処理命令を含む描画処理命令を受け取って描画処理を行なう画像処理装置であって、
前記描画処理命令に含まれる前記グラフィックス描画処理命令に従ってグラフィックス描画結果を得るグラフィックス描画手段と、
前記描画処理命令に含まれる前記動画描画処理命令からクリッピング処理命令を生成するクリッピング処理手段と、
前記グラフィックス描画結果を前記クリッピング処理命令によりクリッピングしたクリッピング済グラフィックスを保持する保持手段と、
前記描画処理命令に含まれる前記動画描画処理命令に従って処理した動画データを生成する動画描画手段と、
前記保持手段に保持されている前記クリッピング済グラフィックスと前記動画描画手段により生成された前記動画データとを合成する合成手段と、
を有することを特徴とする。
【０００８】
上記目的を達成するために本発明の一態様に係る画像処理装置の制御方法は以下のような工程を備える。即ち、
単一又は複数の動画描画処理命令及び単一又は複数のグラフィックス描画処理命令を含む描画処理命令を受け取って描画処理を行なう画像処理装置の制御方法であって、
前記描画処理命令に含まれる前記グラフィックス描画処理命令に従ってグラフィックス描画結果を得るグラフィックス描画工程と、
前記描画処理命令に含まれる前記動画描画処理命令からクリッピング処理命令を生成するクリッピング処理工程と、
前記グラフィックス描画結果を前記クリッピング処理命令によりクリッピングしたクリッピング済グラフィックスを保持する保持工程と、
前記描画処理命令に含まれる前記動画描画処理命令に従って処理した動画データを生成する動画描画工程と、
前記保持工程に保持されている前記クリッピング済グラフィックスと前記動画描画工程により生成された前記動画データとを合成する合成工程と、
を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、グラフィックスと動画とを重ねて表示する場合に、動画に重ねるグラフィックスをクリッピングした結果を保持することにより、メモリ使用量を削減してグラフィックスと動画とを合成して出力できるという効果がある。
【発明を実施するための最良の形態】
【００１０】
以下、添付図面を参照して本発明の好適な実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
【００１１】
図１は、本発明の実施形態に係る画像処理装置の概略構成を示すブロック図である。
【００１２】
図において、ＣＰＵ１０２は、ＲＯＭ１０３或はＲＡＭ１０４にロードされたプログラムに従って、この装置全体の動作を制御している。ＲＯＭ１０３は、変更を必要としないプログラムや各種パラメータを格納する。ＲＡＭ１０４はＳＤＲＡＭ、ＤＲＡＭ等で構成され、ＣＰＵ１０２により使用されるワークエリアを提供するとともに、外部装置などから供給されるプログラムや、画像データなどの各種データ等を一時記憶するのに使用される。表示部１０５は、プログラムによって描画された画像を表示する。システムバス１０１は、ＣＰＵ１０２、ＲＯＭ１０３、ＲＡＭ１０４、表示ユニット１０５等を相互に接続する。
【００１３】
図２は、本実施形態に係る画像処理装置２０１の機能を説明する機能ブロック図である。
【００１４】
図において、本実施形態に係る画像処理装置２０１において、描画制御部２０２は、単一又は複数の動画描画処理命令及び単一又は複数のグラフィックス描画処理命令を含む描画処理命令を入力してグラフィックスを作成する。グラフィックス保持部２０３は、その作成されたグラフィックスを格納する。動画描画部２０４は、入力した動画データ及び描画処理命令分離部２０６からの指示に従って動画フレームを作成して合成部２０５に出力する。合成部２０５は、グラフィックスと動画とを合成する。
【００１５】
描画制御部２０２は、描画処理命令分離部２０６、グラフィックス描画部２０７、クリッピング処理部２０８を有している。描画処理命令分離部２０６は、描画処理命令を受信し、グラフィックス描画処理命令と動画描画処理命令に分離する。グラフィックス描画部２０７は、描画処理命令分離部２０６で分離されたグラフィックス処理命令を実行してグラフィックスを作成し、それをグラフィックス保持部２０３に格納する。クリッピング処理部２０８は、描画処理命令分離部２０６で分離された動画描画処理命令に含まれる、動画の幾何学情報のパラメータを取得する。そして、グラフィックス描画部２０７で描画されたグラフィックスに対するクリッピング処理命令を生成してグラフィックス保持部２０３に出力する。これによりグラフィックス保持部２０３は、そこに格納しているグラフィックスに対して、クリッピング処理命令に従ったクリッピング処理を行って、クリッピング済グラフィックスを得る。動画描画部２０４は動画データを受信し、描画処理命令分離部２０６で分離された動画描画処理命令に含まれる、動画に対する、例えば２次元アフィン変換等のパラメータを取得して動画の変形処理を行う。合成部２０５は、グラフィックス保持部２０３に格納されているグラフィックスと、動画描画部２０４で変形処理された動画データとを合成し、その合成画像を表示部１０５に表示する。
【００１６】
［実施形態１］
次に、本発明の実施形態１に係る画像処理装置における処理の流れを説明する。本実施形態１に係る動画の幾何学情報は、２次元アフィン変換のパラメータで表されるものとする。
【００１７】
図３（Ａ）は、本実施形態に係る画像処理装置に入力される描画処理命令の一例を示す図である。
【００１８】
この描画処理命令は、矩形描画処理命令３０１、動画描画処理命令３０２、矩形描画処理命令３０３、動画描画処理命令３０４を含み、図３（Ａ）で示す順序で呼び出される。矩形描画処理命令３０１は、点（ｘ１，ｙ１）を左下の点とするＸ軸方向に幅ｗ１、Ｙ軸方向に高さｈ１の矩形を色ｃ１で描画する命令である。この矩形は図３（Ｂ）の矩形３０５で示されている。また矩形描画命令３０３も同様に、点（ｘ３，ｙ３）を左下の点とするＸ軸方向に幅ｗ３、Ｙ軸方向に高さｈ３の矩形を色ｃ３で描画する命令である。この矩形は図３（Ｄ）の矩形３０６で示されている。
【００１９】
また動画描画処理命令３０２は、動画をＸ軸方向にｓｘ２倍、Ｙ軸方向にｓｙ２倍に拡大或は縮小し、Ｘ軸方向にｘ２、Ｙ軸方向にｙ２だけ平行移動する処理を示している。この矩形は図３（Ｃ）の矩形３０７で示されている。また動画描画処理命令３０４も同様に、動画をＸ軸方向にｓｘ４倍、Ｙ軸方向にｓｙ４倍に拡大或は縮小し、Ｘ軸方向にｘ４、Ｙ軸方向にｙ４だけ平行移動する処理を示している。この矩形は図３（Ｅ）の矩形３０８で示されている。
【００２０】
それぞれの描画処理を単独で実行した場合の描画内容を示したのが図３（Ｂ）〜図３（Ｅ）である。図３（Ｃ）で、画像の幅ｖｗ２は動画の幅をｓｘ２倍し、高さｖｈ２は動画の高さをｓｙ２倍した結果を示している。また同様に、図３（Ｅ）の画像の幅ｖｗ４は、動画の幅をｓｘ４倍し、高さｖｈ４は動画の高さをｓｙ４倍した結果を示している。尚、ここでは２次元アフィン変換として拡大或は縮小及び平行移動を利用して説明するが、回転や歪みなどを使用してもよく、更に、それらを組み合わせたアフィン変換でもよい。
【００２１】
描画処理命令分離部２０６は、描画処理命令を１つずつ受信し、その描画処理命令を動画描画処理命令とグラフィックス描画処理命令とに分離する。入力された描画処理命令がグラフィックス描画処理命令であった場合、グラフィックス描画部２０７がグラフィックス描画命令を受信して、その描画命令を実行してグラフィックスを作成する。こうして作成されたグラフィックスをグラフィックス保持部２０３に格納する。一方、入力した描画処理命令が動画描画処理命令であった場合は、まずクリッピング処理部２０８によりクリッピング処理命令を生成してグラフィックス保持部２０３に供給する。これにより、グラフィックス保持部２０３は、その格納しているグラフィックスに対するクリッピング処理を行う。ここでクリッピング処理命令は、動画描画処理命令のパラメータから動画が占める領域を計算し、その領域のグラフィックスを除去するように生成される。描画処理命令分離部２０６は、クリッピング処理部２０８によりクリッピング処理を指示した後、動画描画部２０４に動画描画処理命令を送る。動画描画部２０４は、この動画描画処理命令を受信して動画の変形処理を行う。合成部２０５は、動画描画部２０４から入力される複数の変形処理済の動画を、描画処理命令が先に入力されたものから合成し、続いてグラフィックス保持部２０３から入力されるグラフィックスをその上から合成する。描画処理命令の入力を受信した後の処理について、図３（Ａ）に示した描画処理命令を例として、図を用いて説明する。まずグラフィックス描画処理について説明する。
【００２２】
図４は、図３（Ａ）に示す描画処理命令を順次実行したときのグラフィックス保持部２０３で保持するグラフィックス描画結果の内容を示した模式図である。
【００２３】
先ず最初、グラフィックス保持部２０３が保持するグラフィックス描画結果の内容はクリアされていて透明の状態であるとする。図３（Ａ）に示す矩形描画処理命令３０１が入力されると、描画処理命令分離部２０６においてグラフィックス描画処理命令であると判定され、グラフィックス描画部２０７で処理が実行される。これにより図４（Ａ）で示すように、色ｃ１で矩形が描画される。図４（Ａ）の４１１は、この描画結果を示している。
【００２４】
次に図３（Ａ）に示す動画描画処理命令３０２が入力されると、描画処理命令分離部２０６において動画描画処理命令であると判定され、クリッピング処理部２０８においてクリッピング処理命令４２１が生成される。この場合の処理を図４（Ｂ）に示している。このクリッピング処理命令４２１は、（ｘ２，ｙ２）を左下の点とし、Ｘ軸方向に幅ｖｗ２、Ｙ軸方向に高さｖｈ２の矩形の領域のピクセルの色値を透明に変更する命令である。このクリッピング処理命令４２１を処理すると、その描画結果は４１２で示した状態になる。図４（Ｂ）では、図４（Ａ）の矩形領域（図３（Ｂ）の３０５に相当）を、図３（Ｃ）の３０７で示す領域でクリッピングしている。
【００２５】
次に図３（Ａ）に示す矩形描画処理命令３０３が入力されると、グラフィックス処理部２０７で処理が実行され、色ｃ３で矩形が描画される（図４（Ｃ））。これは図３（Ｄ）の３０６に相当している。この処理により、図４（Ｃ）に示す描画結果４１３が得られる。
【００２６】
次に図３（Ａ）に示す動画描画処理命令３０４が入力されると、描画処理命令分離部２０６において動画描画処理命令であると判定され、クリッピング処理部２０８においてクリッピング処理命令４２２（図４（Ｄ））が生成される。これは図３（Ｄ）の矩形３０６を図３（Ｅ）の矩形３０８でクリッピングする処理である。クリッピング処理命令４２２は（ｘ４，ｙ４）を左下の点とし、Ｘ軸方向に幅ｖｗ４、Ｙ軸方向に高さｖｈ４の矩形の範囲をクリッピングする命令で、このクリッピング処理によって図４（Ｄ）に示す描画結果４１４が得られる。
【００２７】
次に動画描画処理について図５の模式図を用いて説明する。
【００２８】
図５は、本発明の実施形態１に係る動画の描画処理を説明する模式図である。
【００２９】
動画描画部２０４は、複数の動画描画処理ユニットを有し、各動画描画処理ユニットは動画描画処理命令に１対１で対応しているものとする。ここで動画描画処理命令３０２により描画される動画データを動画データ５０１、動画描画処理命令３０４により描画される動画データを動画データ５０２とする。また動画描画処理ユニット５０３は、動画描画処理命令３０２を処理し、動画描画処理ユニット５０４は動画描画処理命令３０４を処理する。動画描画処理ユニット５０３，５０４はまた、それぞれ動画データ５０１，５０２を受信する。尚、ここで動画データのフォーマットは、ＭＰＥＧ１，ＭＰＥＧ２，ＡＶＩなどのいずれでもよく、ここでは特定しない。更に、動画描画処理ユニット５０３，５０４は、描画処理命令分離部２０６から供給される動画描画処理命令に従って、その動画データに対して変形処理を行う。例えば、動画描画処理ユニット５０３は、動画描画処理命令３０２の各パラメータに基づいて、動画データ５０１をＸ軸方向にｓｘ２倍、Ｙ軸方向にｓｙ２倍し、Ｘ軸方向にｘ２、Ｙ軸方向にｙ２平行移動して、変形処理済の動画データ５０５が得られる。また動画描画処理ユニット５０４においても同様に、動画描画処理命令３０４の各パラメータに基づいて、動画データ５０２をＸ軸方向にｓｘ４倍、Ｙ軸方向にｓｙ４倍し、Ｘ軸方向にｘ４、Ｙ軸方向にｙ４平行移動して、変形処理済の動画データ５０６が得られる。これらの処理は前述の図３（Ｃ），（Ｅ）で説明したのと同じである。
【００３０】
図６は、本実施形態に係る合成部における合成処理を説明する模式図である。
【００３１】
合成部２０５には、グラフィックス保持部２０３からの描画結果４１４、変形処理済の動画データ５０５，５０６が入力されている。合成部２０５は、まず変形処理済の動画データ５０５，５０６を入力して、これらを合成する。変形処理済の動画データ５０５は動画描画処理命令３０２によって、変形処理済の動画データ５０６は動画描画処理命令３０４によってそれぞれ生成されている。動画描画処理命令３０２は、動画描画処理命令３０４より先に描画制御部２０２に入力されているので、変形処理済の動画データ５０５が変形処理済の動画データ５０６の下層に位置するように重ねて合成処理を行う。その結果、図６の６１１で示すように、動画データ５０６が動画データ５０５の上にくるように合成した結果が得られる。次に、グラフィックス保持部２０３に格納されている描画結果４１４と、動画合成結果６１１とを合成する。このとき、動画合成結果６１１が描画結果４１４よりも下のレイヤとなるように重ねて合成処理を行う。こうして最終的に動画とグラフィックスの合成結果６１２が得られ、それを表示部１０５に表示する。
【００３２】
尚、本実施形態１では、動画描画処理命令が描画処理命令の中に２つ含まれている場合で説明したが、１つでも３つ以上であっても成立する。また、ここでは合成処理を動画から先に行ったが、レイヤの上下関係を保っていれば、どのような順序で行っても構わない。
【００３３】
［実施形態２］
以下、本発明の実施形態２について図面を参照して説明する。尚、本実施形態２に係る画像処理装置のハードウェア構成及び機能構成は、前述の実施形態１について説明したものと同じであるので説明を省略する。
【００３４】
次に、本発明の実施の形態２に係る画像処理装置における処理の流れを説明する。ここで、本実施形態２で扱う動画の幾何学情報は２次元アフィン変換のパラメータの指定とマスク画像（マスク情報）で表される。
【００３５】
図７（Ａ）は、本実施形態２に係る画像処理装置に入力される描画処理命令のシーケンスの例を示した図である。
【００３６】
この描画処理命令は、多角形描画処理命令７０１、動画描画処理命令７０２、楕円描画処理命令７０３、動画描画処理命令７０４を含み、それぞれその入力順序に従って呼び出される。次にそれぞれの描画処理命令による描画結果を、図７（Ｂ）に示した模式図を用いて説明する。
【００３７】
多角形描画処理命令７０１は、ここでは６つのＸ座標、Ｙ座標が配列ｐｘ［］，ｐｙ［］として渡される。（ｐｘ［０］，ｐｙ［０］）、（ｐｘ［１］，ｐｙ［１］）、（ｐｘ［２］，ｐｙ［２］）、（ｐｘ［３］，ｐｙ［３］）、（ｐｘ［４］，ｐｙ［４］）、（ｐｘ［５］，ｐｙ［５］）、（ｐｘ［０］，ｐｙ［０］）の順に線分を引く。そして、これら線分で囲まれた領域を色ｃｐで塗りつぶすグラフィックス描画処理命令である。図７（Ｂ）の７１０は、この多角形描画処理命令７０１により描画された例を示している。
【００３８】
楕円描画処理命令７０３は、中心の座標を（ｃｘ，ｃｙ）とし、幅２ｒｘ、高さ２ｒｙとなる楕円の内部、つまり図８に示した方程式を満たす座標（ｘ，ｙ）のピクセルを色ｃｅで塗りつぶすグラフィックス描画処理命令である。図７（Ｂ）の７１１は、この楕円描画処理命令７０３により描画された楕円を示している。
【００３９】
動画描画処理命令７０２は、動画データに対しマスク画像データｍ５を用いてマスク処理を行い、マスク処理済の動画をＸ軸方向にｓｘ５倍、Ｙ軸方向にｓｙ５倍に拡大或は縮小し、Ｘ軸方向にｘ５、Ｙ軸方向にｙ５平行移動する命令である。マスク画像データｍ５は、入力される動画データ７１２の各ピクセルに対応して「０」或は「１」のマスク値が与えられ、マスク値が「０」のピクセルは透明に、「１」であれば動画データのピクセルの色となるように動画データ７１２を変換する。
【００４０】
マスク画像７２２は、マスク画像データｍ５を図示したものである。黒い領域はマスク値が「０」、白い領域はマスク値が「１」であることを示している。動画データ７１２にこのマスク画像７２２を用いて処理した結果、マスク処理済動画データ７３２が生成される。そして、動画描画処理命令７０２により、図７（Ｂ）の７１３で示すような動画データが得られる。ここで、動画の幅ｖｗ５は動画データ７１２の幅をｓｘ５倍し、高さｖｈ５は動画データ７１２の高さをｓｙ５倍したものである。
【００４１】
動画描画処理命令７０４は同様に、動画データに対してマスク画像データｍ６を用いてマスク処理を行い、マスク処理済み動画をＸ軸方向にｓｘ６倍、Ｙ軸方向にｓｙ６倍に拡大或は縮小し、Ｘ軸方向にｘ６、Ｙ軸方向にｙ６平行移動する命令である。マスク画像データｍ６を例示したものがマスク画像７２４であり、動画データ７１４に対してマスク処理を行った結果マスク処理済の動画データ７３４が生成される。そして、動画描画処理命令７０４により、図７（Ｂ）の７１５で示すような動画データが得られる。ここで、動画の幅ｖｗ６は動画データ７１４の幅をｓｘ６倍し、高さｖｈ６は動画データ７１４の高さをｓｙ６倍したものである。
【００４２】
次に本実施形態２において、図７（Ａ）に示すような描画処理命令を受信した後の処理について図７（Ａ）（Ｂ）に示した例を用いて説明する。まずグラフィックス描画処理について説明する。
【００４３】
図９は、図７（Ａ）に示した描画処理命令を順次実行したときのグラフィックス保持部２０３が保持するグラフィックス描画結果の内容例を示した模式図である。
【００４４】
はじめにグラフィックス保持部２０３が保持するグラフィックス描画結果の内容はクリアされており、全てのピクセルが透明であるとする。
【００４５】
図７（Ａ）の多角形描画処理命令７０１が入力されると、図９（Ａ）において、描画処理命令分離部２０６によりグラフィックス描画処理命令であると判定され、グラフィックス描画部２０７で描画処理が実行され、色ｃｐで多角形が描画される。グラフィックス保持部２０３で保持する描画結果は、描画結果９１１に示したようになる。
【００４６】
次に図７（Ａ）の動画描画処理命令７０２が入力されると、描画処理命令分離部２０６により動画描画処理命令であると判定される。そしてクリッピング処理部２０８により、マスク画像データｍ５をＸ軸方向にｓｘ５倍、Ｙ軸方向にｓｙ５倍に拡大或は縮小し、Ｘ軸方向にｘ５、Ｙ軸方向にｙ５平行移動した新たなマスク画像データｍ１５を生成する。そして図９（Ｂ）に示すように、この生成されたマスク画像データｍ１５をパラメータとしてクリッピング処理命令９２１を生成する。このクリッピング処理命令９２１は、グラフィックス描画結果９１１に対してマスク画像データｍ１５でマスク値が「１」となるピクセルを透明に変換する処理を行う。そしてこのクリッピング処理命令９２１を実行することにより、図９（Ｂ）に示す描画結果９１２が得られる。
【００４７】
次に図７（Ａ）の楕円描画処理命令７０３が入力されると、図９（Ｃ）に示すように、グラフィックス描画部２０７によって描画処理が実行され、色ｃｅで楕円が描画されて描画結果９１３が得られる。
【００４８】
次に図７（Ａ）の動画処理命令動画描画処理命令７０４が入力されると、描画処理命令分離部２０６により動画描画処理命令であると判定される。クリッピング処理部２０８において、マスク画像データｍ６をＸ軸方向にｓｘ６倍、Ｙ軸方向にｓｙ６倍に拡大或は縮小し、Ｘ軸方向にｘ６、Ｙ軸方向にｙ６平行移動した新たなマスク画像データｍ１６を生成する。そして図９（Ｄ）に示すように、このマスク画像データｍ１６をパラメータとしてクリッピング処理命令９２２を生成して処理する。このクリッピング処理命令９２１は、グラフィックス描画結果に対してマスク画像データｍ１６でマスク値が「１」となるピクセルを透明に変換する命令である。そして、このクリッピング処理命令９２２の実行により描画結果９１４が得られる。
【００４９】
図１０は、本実施形態２に係る動画描画部２０４における動画の描画処理を説明する図である。
【００５０】
動画描画部２０４は、複数の動画描画処理ユニットを有し、各動画描画処理ユニットは動画描画処理命令に１対１で対応しているものとする。前述の図７（Ａ）に示す動画描画処理命令７０２は、動画描画処理ユニット１００３を介して動画データ７１２を描画し、動画描画処理命令７０４は、動画描画処理ユニット１００４を介して動画データ７１４を描画する。動画描画処理ユニット１００３，１００４はそれぞれ動画データ７１２，７１４を受信する。このときの動画データのフォーマットは、ＭＰＥＧ１，ＭＰＥＧ２，ＡＶＩ等のいずれでもよく、ここでは特定しない。更に、描画処理命令分離部２０６で動画描画処理命令を受信し、それぞれの動画データを動画描画処理命令に従ってマスク処理及び変形処理を行う。動画描画処理ユニット１００３は、動画描画処理命令７０２の各パラメータに基づいて、まず動画データをマスク画像データｍ５によって変換する。そして更に、Ｘ軸方向にｓｘ５倍、Ｙ軸方向にｓｙ５倍に拡大或は縮小し、Ｘ軸方向にｘ５、Ｙ軸方向にｙ５平行移動を行って変形処理済の動画データ１００５を出力する。また動画描画処理ユニット１００４においても同様に、動画描画処理命令７０４の各パラメータに基づいて動画データをマスク画像データｍ６によって変換する。更に、Ｘ軸方向にｓｘ６倍、Ｙ軸方向にｓｙ６倍に拡大或は縮小し、Ｘ軸方向にｘ６、Ｙ軸方向にｙ６平行移動を行って変形処理済動画データ１００６を出力する。
【００５１】
図１１は、本実施形態２に係る合成部２０５における合成処理について説明する模式図である。
【００５２】
ここでは合成部２０５に対して、図９（Ｄ）に示す描画結果９１４、及び図１０の変形処理済動画データ１００５，１００６が入力されている。この合成部２０５は、まず変形処理済動画データ１００５と変形処理済動画データ１００６とを合成する。図１０で説明したように、変形処理済動画データ１００５は動画描画処理命令７０２によって、変形処理済動画データ１００６は動画描画処理命令７０４によって生成されている。ここで動画描画処理命令７０２は、動画描画処理命令７０４より先に描画制御部２０２に入力されているので、変形処理済動画データ１００５が変形処理済動画データ１００６より下のレイヤとなるように重ねて合成処理を行う。その結果、動画合成結果１１１１が得られる。
【００５３】
次に、グラフィックス保持部２０３に格納されている描画結果９１４と、動画合成結果１１１１とを合成する。このとき動画合成結果１１１１が描画結果９１４より下のレイヤとなるように重ねて合成処理を行う。こうして最終的に動画グラフィックス合成結果１１１２が得られ、それを表示部１０５に表示する。
【００５４】
（他の実施形態）
以上、本発明の実施形態について詳述したが、本発明は、複数の機器から構成されるシステムに適用しても良いし、また一つの機器からなる装置に適用しても良い。
【００５５】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムを読み出して実行することによっても達成され得る。その場合、プログラムの機能を有していれば、形態は、プログラムである必要はない。
【００５６】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明のクレームでは、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【００５７】
プログラムを供給するための記録媒体としては、様々なものが使用できる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などである。
【００５８】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページからハードディスク等の記録媒体にダウンロードすることによっても供給できる。その場合、ダウンロードされるのは、本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルであってもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明のクレームに含まれるものである。
【００５９】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布する形態としても良い。その場合、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムが実行可能な形式でコンピュータにインストールされるようにする。
【００６０】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される形態以外の形態でも実現可能である。例えば、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【００６１】
更に、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれるようにしてもよい。この場合、その後で、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される。
【図面の簡単な説明】
【００６２】
【図１】本発明の実施形態に係る画像処理装置の概略構成を示すブロック図である。
【図２】本実施形態に係る画像処理装置の機能を説明する機能ブロック図である。
【図３】本実施形態に係る画像処理装置に入力される描画処理命令の一例、及びその描画処理命令を実行した結果例を示す図である。
【図４】図３（Ａ）に示す描画処理命令を順次実行したときのグラフィックス保持部で保持するグラフィックス描画結果の内容を示した模式図である。
【図５】本発明の実施形態１に係る動画描画処理を説明する模式図である。
【図６】本実施形態に係る合成部における合成処理を説明する模式図である。
【図７】本実施形態２に係る画像処理装置に入力される描画処理命令のシーケンスの一例、及びその描画処理命令を実行した結果例を示す図である。
【図８】本発明の実施形態２に係る楕円描画処理命令で使用する方程式を示す図である。
【図９】図７に示した描画処理命令を順次実行したときのグラフィックス保持部が保持するグラフィックス描画結果の内容例を示した模式図である。
【図１０】本実施形態２に係る動画描画部における動画の描画処理を説明する図である。
【図１１】本実施形態２に係る合成部における合成処理について説明する模式図である。
【符号の説明】
【００６３】
２０１ 画像処理装置
２０２ 描画制御部
２０３ グラフィックス保持部
２０４ 動画描画部
２０５ 合成部
２０６ 描画処理命令分離部
２０７ グラフィックス描画部
２０８ クリッピング処理部
【技術分野】
【０００１】
本発明は、グラフィックスと動画データとを入力して合成する画像処理装置及びその制御方法に関するものである。
【背景技術】
【０００２】
動画とグラフィックスを含む画像を構成する際、従来は動画のフレームを切り出し、そのフレームを静止画像とし、それにグラフィックスを合わせることによって実現していた。しかし、動画とグラフィックスでは、画像の使用用途、データ形式、要求される描画処理の種類が異なる。例えば、動画の場合は、コマ落ちなどによって動画の品質が低下しないようにすること等が求められる。そのために動画とグラフィックスの処理系を分離し、それぞれの処理系の出力結果を合成して出力している。
【０００３】
動画とグラフィックスとを合成して出力する画像形成装置に関して、メモリに格納されているグラフィックスデータと動画データを、そのメモリの読み出しアドレスを切り替えながら合成する方法が提案されている（特許文献１参照）。また、ビデオ信号の処理機能をグラフィックスコントローラから独立させ、そのグラフィックスコントローラで作成した画像をビデオ信号として入力し、ビデオの高画質化を図る提案もされている（特許文献２参照）。
【特許文献１】特開平７−０７２８５０号公報
【特許文献２】特開２００５−３２１４８１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来の方法によれば、動画の描画処理命令とグラフィックスの描画処理命令とが混在した描画処理命令を処理する際、動画とグラフィックスの処理系を分離している。これにより動画とグラフィックスそれぞれの品質を高めることができるが、動画とグラフィックスが互いに重なり合って表示される場合に、正しく表示を行うためにはグラフィックスの描画結果を格納するバッファを複数持たなければならない。これにより装置のコストが増大するという問題があった。
【０００５】
本発明の目的は、上述した従来の問題点を解決することにある。
【０００６】
本願発明の一態様によれば、グラフィックスの描画結果を保持するメモリ容量を少なくして、動画とグラフィックスの合成を実現できる技術を提供できる。
【課題を解決するための手段】
【０００７】
上記目的を達成するために本発明の一態様に係る画像処理装置は以下のような構成を備える。即ち、
単一又は複数の動画描画処理命令及び単一又は複数のグラフィックス描画処理命令を含む描画処理命令を受け取って描画処理を行なう画像処理装置であって、
前記描画処理命令に含まれる前記グラフィックス描画処理命令に従ってグラフィックス描画結果を得るグラフィックス描画手段と、
前記描画処理命令に含まれる前記動画描画処理命令からクリッピング処理命令を生成するクリッピング処理手段と、
前記グラフィックス描画結果を前記クリッピング処理命令によりクリッピングしたクリッピング済グラフィックスを保持する保持手段と、
前記描画処理命令に含まれる前記動画描画処理命令に従って処理した動画データを生成する動画描画手段と、
前記保持手段に保持されている前記クリッピング済グラフィックスと前記動画描画手段により生成された前記動画データとを合成する合成手段と、
を有することを特徴とする。
【０００８】
上記目的を達成するために本発明の一態様に係る画像処理装置の制御方法は以下のような工程を備える。即ち、
単一又は複数の動画描画処理命令及び単一又は複数のグラフィックス描画処理命令を含む描画処理命令を受け取って描画処理を行なう画像処理装置の制御方法であって、
前記描画処理命令に含まれる前記グラフィックス描画処理命令に従ってグラフィックス描画結果を得るグラフィックス描画工程と、
前記描画処理命令に含まれる前記動画描画処理命令からクリッピング処理命令を生成するクリッピング処理工程と、
前記グラフィックス描画結果を前記クリッピング処理命令によりクリッピングしたクリッピング済グラフィックスを保持する保持工程と、
前記描画処理命令に含まれる前記動画描画処理命令に従って処理した動画データを生成する動画描画工程と、
前記保持工程に保持されている前記クリッピング済グラフィックスと前記動画描画工程により生成された前記動画データとを合成する合成工程と、
を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、グラフィックスと動画とを重ねて表示する場合に、動画に重ねるグラフィックスをクリッピングした結果を保持することにより、メモリ使用量を削減してグラフィックスと動画とを合成して出力できるという効果がある。
【発明を実施するための最良の形態】
【００１０】
以下、添付図面を参照して本発明の好適な実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
【００１１】
図１は、本発明の実施形態に係る画像処理装置の概略構成を示すブロック図である。
【００１２】
図において、ＣＰＵ１０２は、ＲＯＭ１０３或はＲＡＭ１０４にロードされたプログラムに従って、この装置全体の動作を制御している。ＲＯＭ１０３は、変更を必要としないプログラムや各種パラメータを格納する。ＲＡＭ１０４はＳＤＲＡＭ、ＤＲＡＭ等で構成され、ＣＰＵ１０２により使用されるワークエリアを提供するとともに、外部装置などから供給されるプログラムや、画像データなどの各種データ等を一時記憶するのに使用される。表示部１０５は、プログラムによって描画された画像を表示する。システムバス１０１は、ＣＰＵ１０２、ＲＯＭ１０３、ＲＡＭ１０４、表示ユニット１０５等を相互に接続する。
【００１３】
図２は、本実施形態に係る画像処理装置２０１の機能を説明する機能ブロック図である。
【００１４】
図において、本実施形態に係る画像処理装置２０１において、描画制御部２０２は、単一又は複数の動画描画処理命令及び単一又は複数のグラフィックス描画処理命令を含む描画処理命令を入力してグラフィックスを作成する。グラフィックス保持部２０３は、その作成されたグラフィックスを格納する。動画描画部２０４は、入力した動画データ及び描画処理命令分離部２０６からの指示に従って動画フレームを作成して合成部２０５に出力する。合成部２０５は、グラフィックスと動画とを合成する。
【００１５】
描画制御部２０２は、描画処理命令分離部２０６、グラフィックス描画部２０７、クリッピング処理部２０８を有している。描画処理命令分離部２０６は、描画処理命令を受信し、グラフィックス描画処理命令と動画描画処理命令に分離する。グラフィックス描画部２０７は、描画処理命令分離部２０６で分離されたグラフィックス処理命令を実行してグラフィックスを作成し、それをグラフィックス保持部２０３に格納する。クリッピング処理部２０８は、描画処理命令分離部２０６で分離された動画描画処理命令に含まれる、動画の幾何学情報のパラメータを取得する。そして、グラフィックス描画部２０７で描画されたグラフィックスに対するクリッピング処理命令を生成してグラフィックス保持部２０３に出力する。これによりグラフィックス保持部２０３は、そこに格納しているグラフィックスに対して、クリッピング処理命令に従ったクリッピング処理を行って、クリッピング済グラフィックスを得る。動画描画部２０４は動画データを受信し、描画処理命令分離部２０６で分離された動画描画処理命令に含まれる、動画に対する、例えば２次元アフィン変換等のパラメータを取得して動画の変形処理を行う。合成部２０５は、グラフィックス保持部２０３に格納されているグラフィックスと、動画描画部２０４で変形処理された動画データとを合成し、その合成画像を表示部１０５に表示する。
【００１６】
［実施形態１］
次に、本発明の実施形態１に係る画像処理装置における処理の流れを説明する。本実施形態１に係る動画の幾何学情報は、２次元アフィン変換のパラメータで表されるものとする。
【００１７】
図３（Ａ）は、本実施形態に係る画像処理装置に入力される描画処理命令の一例を示す図である。
【００１８】
この描画処理命令は、矩形描画処理命令３０１、動画描画処理命令３０２、矩形描画処理命令３０３、動画描画処理命令３０４を含み、図３（Ａ）で示す順序で呼び出される。矩形描画処理命令３０１は、点（ｘ１，ｙ１）を左下の点とするＸ軸方向に幅ｗ１、Ｙ軸方向に高さｈ１の矩形を色ｃ１で描画する命令である。この矩形は図３（Ｂ）の矩形３０５で示されている。また矩形描画命令３０３も同様に、点（ｘ３，ｙ３）を左下の点とするＸ軸方向に幅ｗ３、Ｙ軸方向に高さｈ３の矩形を色ｃ３で描画する命令である。この矩形は図３（Ｄ）の矩形３０６で示されている。
【００１９】
また動画描画処理命令３０２は、動画をＸ軸方向にｓｘ２倍、Ｙ軸方向にｓｙ２倍に拡大或は縮小し、Ｘ軸方向にｘ２、Ｙ軸方向にｙ２だけ平行移動する処理を示している。この矩形は図３（Ｃ）の矩形３０７で示されている。また動画描画処理命令３０４も同様に、動画をＸ軸方向にｓｘ４倍、Ｙ軸方向にｓｙ４倍に拡大或は縮小し、Ｘ軸方向にｘ４、Ｙ軸方向にｙ４だけ平行移動する処理を示している。この矩形は図３（Ｅ）の矩形３０８で示されている。
【００２０】
それぞれの描画処理を単独で実行した場合の描画内容を示したのが図３（Ｂ）〜図３（Ｅ）である。図３（Ｃ）で、画像の幅ｖｗ２は動画の幅をｓｘ２倍し、高さｖｈ２は動画の高さをｓｙ２倍した結果を示している。また同様に、図３（Ｅ）の画像の幅ｖｗ４は、動画の幅をｓｘ４倍し、高さｖｈ４は動画の高さをｓｙ４倍した結果を示している。尚、ここでは２次元アフィン変換として拡大或は縮小及び平行移動を利用して説明するが、回転や歪みなどを使用してもよく、更に、それらを組み合わせたアフィン変換でもよい。
【００２１】
描画処理命令分離部２０６は、描画処理命令を１つずつ受信し、その描画処理命令を動画描画処理命令とグラフィックス描画処理命令とに分離する。入力された描画処理命令がグラフィックス描画処理命令であった場合、グラフィックス描画部２０７がグラフィックス描画命令を受信して、その描画命令を実行してグラフィックスを作成する。こうして作成されたグラフィックスをグラフィックス保持部２０３に格納する。一方、入力した描画処理命令が動画描画処理命令であった場合は、まずクリッピング処理部２０８によりクリッピング処理命令を生成してグラフィックス保持部２０３に供給する。これにより、グラフィックス保持部２０３は、その格納しているグラフィックスに対するクリッピング処理を行う。ここでクリッピング処理命令は、動画描画処理命令のパラメータから動画が占める領域を計算し、その領域のグラフィックスを除去するように生成される。描画処理命令分離部２０６は、クリッピング処理部２０８によりクリッピング処理を指示した後、動画描画部２０４に動画描画処理命令を送る。動画描画部２０４は、この動画描画処理命令を受信して動画の変形処理を行う。合成部２０５は、動画描画部２０４から入力される複数の変形処理済の動画を、描画処理命令が先に入力されたものから合成し、続いてグラフィックス保持部２０３から入力されるグラフィックスをその上から合成する。描画処理命令の入力を受信した後の処理について、図３（Ａ）に示した描画処理命令を例として、図を用いて説明する。まずグラフィックス描画処理について説明する。
【００２２】
図４は、図３（Ａ）に示す描画処理命令を順次実行したときのグラフィックス保持部２０３で保持するグラフィックス描画結果の内容を示した模式図である。
【００２３】
先ず最初、グラフィックス保持部２０３が保持するグラフィックス描画結果の内容はクリアされていて透明の状態であるとする。図３（Ａ）に示す矩形描画処理命令３０１が入力されると、描画処理命令分離部２０６においてグラフィックス描画処理命令であると判定され、グラフィックス描画部２０７で処理が実行される。これにより図４（Ａ）で示すように、色ｃ１で矩形が描画される。図４（Ａ）の４１１は、この描画結果を示している。
【００２４】
次に図３（Ａ）に示す動画描画処理命令３０２が入力されると、描画処理命令分離部２０６において動画描画処理命令であると判定され、クリッピング処理部２０８においてクリッピング処理命令４２１が生成される。この場合の処理を図４（Ｂ）に示している。このクリッピング処理命令４２１は、（ｘ２，ｙ２）を左下の点とし、Ｘ軸方向に幅ｖｗ２、Ｙ軸方向に高さｖｈ２の矩形の領域のピクセルの色値を透明に変更する命令である。このクリッピング処理命令４２１を処理すると、その描画結果は４１２で示した状態になる。図４（Ｂ）では、図４（Ａ）の矩形領域（図３（Ｂ）の３０５に相当）を、図３（Ｃ）の３０７で示す領域でクリッピングしている。
【００２５】
次に図３（Ａ）に示す矩形描画処理命令３０３が入力されると、グラフィックス処理部２０７で処理が実行され、色ｃ３で矩形が描画される（図４（Ｃ））。これは図３（Ｄ）の３０６に相当している。この処理により、図４（Ｃ）に示す描画結果４１３が得られる。
【００２６】
次に図３（Ａ）に示す動画描画処理命令３０４が入力されると、描画処理命令分離部２０６において動画描画処理命令であると判定され、クリッピング処理部２０８においてクリッピング処理命令４２２（図４（Ｄ））が生成される。これは図３（Ｄ）の矩形３０６を図３（Ｅ）の矩形３０８でクリッピングする処理である。クリッピング処理命令４２２は（ｘ４，ｙ４）を左下の点とし、Ｘ軸方向に幅ｖｗ４、Ｙ軸方向に高さｖｈ４の矩形の範囲をクリッピングする命令で、このクリッピング処理によって図４（Ｄ）に示す描画結果４１４が得られる。
【００２７】
次に動画描画処理について図５の模式図を用いて説明する。
【００２８】
図５は、本発明の実施形態１に係る動画の描画処理を説明する模式図である。
【００２９】
動画描画部２０４は、複数の動画描画処理ユニットを有し、各動画描画処理ユニットは動画描画処理命令に１対１で対応しているものとする。ここで動画描画処理命令３０２により描画される動画データを動画データ５０１、動画描画処理命令３０４により描画される動画データを動画データ５０２とする。また動画描画処理ユニット５０３は、動画描画処理命令３０２を処理し、動画描画処理ユニット５０４は動画描画処理命令３０４を処理する。動画描画処理ユニット５０３，５０４はまた、それぞれ動画データ５０１，５０２を受信する。尚、ここで動画データのフォーマットは、ＭＰＥＧ１，ＭＰＥＧ２，ＡＶＩなどのいずれでもよく、ここでは特定しない。更に、動画描画処理ユニット５０３，５０４は、描画処理命令分離部２０６から供給される動画描画処理命令に従って、その動画データに対して変形処理を行う。例えば、動画描画処理ユニット５０３は、動画描画処理命令３０２の各パラメータに基づいて、動画データ５０１をＸ軸方向にｓｘ２倍、Ｙ軸方向にｓｙ２倍し、Ｘ軸方向にｘ２、Ｙ軸方向にｙ２平行移動して、変形処理済の動画データ５０５が得られる。また動画描画処理ユニット５０４においても同様に、動画描画処理命令３０４の各パラメータに基づいて、動画データ５０２をＸ軸方向にｓｘ４倍、Ｙ軸方向にｓｙ４倍し、Ｘ軸方向にｘ４、Ｙ軸方向にｙ４平行移動して、変形処理済の動画データ５０６が得られる。これらの処理は前述の図３（Ｃ），（Ｅ）で説明したのと同じである。
【００３０】
図６は、本実施形態に係る合成部における合成処理を説明する模式図である。
【００３１】
合成部２０５には、グラフィックス保持部２０３からの描画結果４１４、変形処理済の動画データ５０５，５０６が入力されている。合成部２０５は、まず変形処理済の動画データ５０５，５０６を入力して、これらを合成する。変形処理済の動画データ５０５は動画描画処理命令３０２によって、変形処理済の動画データ５０６は動画描画処理命令３０４によってそれぞれ生成されている。動画描画処理命令３０２は、動画描画処理命令３０４より先に描画制御部２０２に入力されているので、変形処理済の動画データ５０５が変形処理済の動画データ５０６の下層に位置するように重ねて合成処理を行う。その結果、図６の６１１で示すように、動画データ５０６が動画データ５０５の上にくるように合成した結果が得られる。次に、グラフィックス保持部２０３に格納されている描画結果４１４と、動画合成結果６１１とを合成する。このとき、動画合成結果６１１が描画結果４１４よりも下のレイヤとなるように重ねて合成処理を行う。こうして最終的に動画とグラフィックスの合成結果６１２が得られ、それを表示部１０５に表示する。
【００３２】
尚、本実施形態１では、動画描画処理命令が描画処理命令の中に２つ含まれている場合で説明したが、１つでも３つ以上であっても成立する。また、ここでは合成処理を動画から先に行ったが、レイヤの上下関係を保っていれば、どのような順序で行っても構わない。
【００３３】
［実施形態２］
以下、本発明の実施形態２について図面を参照して説明する。尚、本実施形態２に係る画像処理装置のハードウェア構成及び機能構成は、前述の実施形態１について説明したものと同じであるので説明を省略する。
【００３４】
次に、本発明の実施の形態２に係る画像処理装置における処理の流れを説明する。ここで、本実施形態２で扱う動画の幾何学情報は２次元アフィン変換のパラメータの指定とマスク画像（マスク情報）で表される。
【００３５】
図７（Ａ）は、本実施形態２に係る画像処理装置に入力される描画処理命令のシーケンスの例を示した図である。
【００３６】
この描画処理命令は、多角形描画処理命令７０１、動画描画処理命令７０２、楕円描画処理命令７０３、動画描画処理命令７０４を含み、それぞれその入力順序に従って呼び出される。次にそれぞれの描画処理命令による描画結果を、図７（Ｂ）に示した模式図を用いて説明する。
【００３７】
多角形描画処理命令７０１は、ここでは６つのＸ座標、Ｙ座標が配列ｐｘ［］，ｐｙ［］として渡される。（ｐｘ［０］，ｐｙ［０］）、（ｐｘ［１］，ｐｙ［１］）、（ｐｘ［２］，ｐｙ［２］）、（ｐｘ［３］，ｐｙ［３］）、（ｐｘ［４］，ｐｙ［４］）、（ｐｘ［５］，ｐｙ［５］）、（ｐｘ［０］，ｐｙ［０］）の順に線分を引く。そして、これら線分で囲まれた領域を色ｃｐで塗りつぶすグラフィックス描画処理命令である。図７（Ｂ）の７１０は、この多角形描画処理命令７０１により描画された例を示している。
【００３８】
楕円描画処理命令７０３は、中心の座標を（ｃｘ，ｃｙ）とし、幅２ｒｘ、高さ２ｒｙとなる楕円の内部、つまり図８に示した方程式を満たす座標（ｘ，ｙ）のピクセルを色ｃｅで塗りつぶすグラフィックス描画処理命令である。図７（Ｂ）の７１１は、この楕円描画処理命令７０３により描画された楕円を示している。
【００３９】
動画描画処理命令７０２は、動画データに対しマスク画像データｍ５を用いてマスク処理を行い、マスク処理済の動画をＸ軸方向にｓｘ５倍、Ｙ軸方向にｓｙ５倍に拡大或は縮小し、Ｘ軸方向にｘ５、Ｙ軸方向にｙ５平行移動する命令である。マスク画像データｍ５は、入力される動画データ７１２の各ピクセルに対応して「０」或は「１」のマスク値が与えられ、マスク値が「０」のピクセルは透明に、「１」であれば動画データのピクセルの色となるように動画データ７１２を変換する。
【００４０】
マスク画像７２２は、マスク画像データｍ５を図示したものである。黒い領域はマスク値が「０」、白い領域はマスク値が「１」であることを示している。動画データ７１２にこのマスク画像７２２を用いて処理した結果、マスク処理済動画データ７３２が生成される。そして、動画描画処理命令７０２により、図７（Ｂ）の７１３で示すような動画データが得られる。ここで、動画の幅ｖｗ５は動画データ７１２の幅をｓｘ５倍し、高さｖｈ５は動画データ７１２の高さをｓｙ５倍したものである。
【００４１】
動画描画処理命令７０４は同様に、動画データに対してマスク画像データｍ６を用いてマスク処理を行い、マスク処理済み動画をＸ軸方向にｓｘ６倍、Ｙ軸方向にｓｙ６倍に拡大或は縮小し、Ｘ軸方向にｘ６、Ｙ軸方向にｙ６平行移動する命令である。マスク画像データｍ６を例示したものがマスク画像７２４であり、動画データ７１４に対してマスク処理を行った結果マスク処理済の動画データ７３４が生成される。そして、動画描画処理命令７０４により、図７（Ｂ）の７１５で示すような動画データが得られる。ここで、動画の幅ｖｗ６は動画データ７１４の幅をｓｘ６倍し、高さｖｈ６は動画データ７１４の高さをｓｙ６倍したものである。
【００４２】
次に本実施形態２において、図７（Ａ）に示すような描画処理命令を受信した後の処理について図７（Ａ）（Ｂ）に示した例を用いて説明する。まずグラフィックス描画処理について説明する。
【００４３】
図９は、図７（Ａ）に示した描画処理命令を順次実行したときのグラフィックス保持部２０３が保持するグラフィックス描画結果の内容例を示した模式図である。
【００４４】
はじめにグラフィックス保持部２０３が保持するグラフィックス描画結果の内容はクリアされており、全てのピクセルが透明であるとする。
【００４５】
図７（Ａ）の多角形描画処理命令７０１が入力されると、図９（Ａ）において、描画処理命令分離部２０６によりグラフィックス描画処理命令であると判定され、グラフィックス描画部２０７で描画処理が実行され、色ｃｐで多角形が描画される。グラフィックス保持部２０３で保持する描画結果は、描画結果９１１に示したようになる。
【００４６】
次に図７（Ａ）の動画描画処理命令７０２が入力されると、描画処理命令分離部２０６により動画描画処理命令であると判定される。そしてクリッピング処理部２０８により、マスク画像データｍ５をＸ軸方向にｓｘ５倍、Ｙ軸方向にｓｙ５倍に拡大或は縮小し、Ｘ軸方向にｘ５、Ｙ軸方向にｙ５平行移動した新たなマスク画像データｍ１５を生成する。そして図９（Ｂ）に示すように、この生成されたマスク画像データｍ１５をパラメータとしてクリッピング処理命令９２１を生成する。このクリッピング処理命令９２１は、グラフィックス描画結果９１１に対してマスク画像データｍ１５でマスク値が「１」となるピクセルを透明に変換する処理を行う。そしてこのクリッピング処理命令９２１を実行することにより、図９（Ｂ）に示す描画結果９１２が得られる。
【００４７】
次に図７（Ａ）の楕円描画処理命令７０３が入力されると、図９（Ｃ）に示すように、グラフィックス描画部２０７によって描画処理が実行され、色ｃｅで楕円が描画されて描画結果９１３が得られる。
【００４８】
次に図７（Ａ）の動画処理命令動画描画処理命令７０４が入力されると、描画処理命令分離部２０６により動画描画処理命令であると判定される。クリッピング処理部２０８において、マスク画像データｍ６をＸ軸方向にｓｘ６倍、Ｙ軸方向にｓｙ６倍に拡大或は縮小し、Ｘ軸方向にｘ６、Ｙ軸方向にｙ６平行移動した新たなマスク画像データｍ１６を生成する。そして図９（Ｄ）に示すように、このマスク画像データｍ１６をパラメータとしてクリッピング処理命令９２２を生成して処理する。このクリッピング処理命令９２１は、グラフィックス描画結果に対してマスク画像データｍ１６でマスク値が「１」となるピクセルを透明に変換する命令である。そして、このクリッピング処理命令９２２の実行により描画結果９１４が得られる。
【００４９】
図１０は、本実施形態２に係る動画描画部２０４における動画の描画処理を説明する図である。
【００５０】
動画描画部２０４は、複数の動画描画処理ユニットを有し、各動画描画処理ユニットは動画描画処理命令に１対１で対応しているものとする。前述の図７（Ａ）に示す動画描画処理命令７０２は、動画描画処理ユニット１００３を介して動画データ７１２を描画し、動画描画処理命令７０４は、動画描画処理ユニット１００４を介して動画データ７１４を描画する。動画描画処理ユニット１００３，１００４はそれぞれ動画データ７１２，７１４を受信する。このときの動画データのフォーマットは、ＭＰＥＧ１，ＭＰＥＧ２，ＡＶＩ等のいずれでもよく、ここでは特定しない。更に、描画処理命令分離部２０６で動画描画処理命令を受信し、それぞれの動画データを動画描画処理命令に従ってマスク処理及び変形処理を行う。動画描画処理ユニット１００３は、動画描画処理命令７０２の各パラメータに基づいて、まず動画データをマスク画像データｍ５によって変換する。そして更に、Ｘ軸方向にｓｘ５倍、Ｙ軸方向にｓｙ５倍に拡大或は縮小し、Ｘ軸方向にｘ５、Ｙ軸方向にｙ５平行移動を行って変形処理済の動画データ１００５を出力する。また動画描画処理ユニット１００４においても同様に、動画描画処理命令７０４の各パラメータに基づいて動画データをマスク画像データｍ６によって変換する。更に、Ｘ軸方向にｓｘ６倍、Ｙ軸方向にｓｙ６倍に拡大或は縮小し、Ｘ軸方向にｘ６、Ｙ軸方向にｙ６平行移動を行って変形処理済動画データ１００６を出力する。
【００５１】
図１１は、本実施形態２に係る合成部２０５における合成処理について説明する模式図である。
【００５２】
ここでは合成部２０５に対して、図９（Ｄ）に示す描画結果９１４、及び図１０の変形処理済動画データ１００５，１００６が入力されている。この合成部２０５は、まず変形処理済動画データ１００５と変形処理済動画データ１００６とを合成する。図１０で説明したように、変形処理済動画データ１００５は動画描画処理命令７０２によって、変形処理済動画データ１００６は動画描画処理命令７０４によって生成されている。ここで動画描画処理命令７０２は、動画描画処理命令７０４より先に描画制御部２０２に入力されているので、変形処理済動画データ１００５が変形処理済動画データ１００６より下のレイヤとなるように重ねて合成処理を行う。その結果、動画合成結果１１１１が得られる。
【００５３】
次に、グラフィックス保持部２０３に格納されている描画結果９１４と、動画合成結果１１１１とを合成する。このとき動画合成結果１１１１が描画結果９１４より下のレイヤとなるように重ねて合成処理を行う。こうして最終的に動画グラフィックス合成結果１１１２が得られ、それを表示部１０５に表示する。
【００５４】
（他の実施形態）
以上、本発明の実施形態について詳述したが、本発明は、複数の機器から構成されるシステムに適用しても良いし、また一つの機器からなる装置に適用しても良い。
【００５５】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムを読み出して実行することによっても達成され得る。その場合、プログラムの機能を有していれば、形態は、プログラムである必要はない。
【００５６】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明のクレームでは、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【００５７】
プログラムを供給するための記録媒体としては、様々なものが使用できる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などである。
【００５８】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページからハードディスク等の記録媒体にダウンロードすることによっても供給できる。その場合、ダウンロードされるのは、本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルであってもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明のクレームに含まれるものである。
【００５９】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布する形態としても良い。その場合、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムが実行可能な形式でコンピュータにインストールされるようにする。
【００６０】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される形態以外の形態でも実現可能である。例えば、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【００６１】
更に、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれるようにしてもよい。この場合、その後で、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される。
【図面の簡単な説明】
【００６２】
【図１】本発明の実施形態に係る画像処理装置の概略構成を示すブロック図である。
【図２】本実施形態に係る画像処理装置の機能を説明する機能ブロック図である。
【図３】本実施形態に係る画像処理装置に入力される描画処理命令の一例、及びその描画処理命令を実行した結果例を示す図である。
【図４】図３（Ａ）に示す描画処理命令を順次実行したときのグラフィックス保持部で保持するグラフィックス描画結果の内容を示した模式図である。
【図５】本発明の実施形態１に係る動画描画処理を説明する模式図である。
【図６】本実施形態に係る合成部における合成処理を説明する模式図である。
【図７】本実施形態２に係る画像処理装置に入力される描画処理命令のシーケンスの一例、及びその描画処理命令を実行した結果例を示す図である。
【図８】本発明の実施形態２に係る楕円描画処理命令で使用する方程式を示す図である。
【図９】図７に示した描画処理命令を順次実行したときのグラフィックス保持部が保持するグラフィックス描画結果の内容例を示した模式図である。
【図１０】本実施形態２に係る動画描画部における動画の描画処理を説明する図である。
【図１１】本実施形態２に係る合成部における合成処理について説明する模式図である。
【符号の説明】
【００６３】
２０１ 画像処理装置
２０２ 描画制御部
２０３ グラフィックス保持部
２０４ 動画描画部
２０５ 合成部
２０６ 描画処理命令分離部
２０７ グラフィックス描画部
２０８ クリッピング処理部
【特許請求の範囲】
【請求項１】
単一又は複数の動画描画処理命令及び単一又は複数のグラフィックス描画処理命令を含む描画処理命令を受け取って描画処理を行なう画像処理装置であって、
前記描画処理命令に含まれる前記グラフィックス描画処理命令に従ってグラフィックス描画結果を得るグラフィックス描画手段と、
前記描画処理命令に含まれる前記動画描画処理命令からクリッピング処理命令を生成するクリッピング処理手段と、
前記グラフィックス描画結果を前記クリッピング処理命令によりクリッピングしたクリッピング済グラフィックスを保持する保持手段と、
前記描画処理命令に含まれる前記動画描画処理命令に従って処理した動画データを生成する動画描画手段と、
前記保持手段に保持されている前記クリッピング済グラフィックスと前記動画描画手段により生成された前記動画データとを合成する合成手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記描画処理命令を受け取って前記動画描画処理命令と前記グラフィックス描画処理命令とに分離し、前記動画描画処理命令を前記クリッピング処理手段及び前記動画描画手段に供給し、前記グラフィックス描画処理命令を前記グラフィックス描画手段に供給する分離手段を更に有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記動画描画処理命令は幾何学情報を含み、前記クリッピング処理命令は前記幾何学情報に従って動画データの占める領域をクリッピングし、前記動画描画手段は前記幾何学情報に従って前記動画に対して処理を施した前記動画データを出力することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記幾何学情報は、アフィン変換のパラメータであることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記幾何学情報は、動画に対するマスク情報であることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項６】
前記合成手段は、前記動画描画処理命令が入力された順に動画データを合成し、前記グラフィックス描画結果が前記動画データの下層に位置するように合成することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
単一又は複数の動画描画処理命令及び単一又は複数のグラフィックス描画処理命令を含む描画処理命令を受け取って描画処理を行なう画像処理装置の制御方法であって、
前記描画処理命令に含まれる前記グラフィックス描画処理命令に従ってグラフィックス描画結果を得るグラフィックス描画工程と、
前記描画処理命令に含まれる前記動画描画処理命令からクリッピング処理命令を生成するクリッピング処理工程と、
前記グラフィックス描画結果を前記クリッピング処理命令によりクリッピングしたクリッピング済グラフィックスを保持する保持工程と、
前記描画処理命令に含まれる前記動画描画処理命令に従って処理した動画データを生成する動画描画工程と、
前記保持工程に保持されている前記クリッピング済グラフィックスと前記動画描画工程により生成された前記動画データとを合成する合成工程と、
を有することを特徴とする画像処理装置の制御方法。
【請求項８】
前記描画処理命令を受け取って前記動画描画処理命令と前記グラフィックス描画処理命令とに分離し、前記動画描画処理命令を前記クリッピング処理工程及び前記動画描画工程に供給し、前記グラフィックス描画処理命令を前記グラフィックス描画工程に供給する分離工程を更に有することを特徴とする請求項７に記載の画像処理装置の制御方法。
【請求項９】
前記動画描画処理命令は幾何学情報を含み、前記クリッピング処理命令は前記幾何学情報に従って動画データの占める領域をクリッピングし、前記動画描画工程は前記幾何学情報に従って前記動画に対して処理を施した前記動画データを出力することを特徴とする請求項７又は８に記載の画像処理装置の制御方法。
【請求項１０】
前記幾何学情報は、アフィン変換のパラメータであることを特徴とする請求項７乃至９のいずれか１項に記載の画像処理装置の制御方法。
【請求項１１】
前記幾何学情報は、動画に対するマスク情報であることを特徴とする請求項７乃至９のいずれか１項に記載の画像処理装置の制御方法。
【請求項１２】
前記合成工程は、前記動画描画処理命令が入力された順に動画データを合成し、前記グラフィックス描画結果が前記動画データの下層に位置するように合成することを特徴とする請求項７乃至１１のいずれか１項に記載の画像処理装置の制御方法。
【請求項１】
単一又は複数の動画描画処理命令及び単一又は複数のグラフィックス描画処理命令を含む描画処理命令を受け取って描画処理を行なう画像処理装置であって、
前記描画処理命令に含まれる前記グラフィックス描画処理命令に従ってグラフィックス描画結果を得るグラフィックス描画手段と、
前記描画処理命令に含まれる前記動画描画処理命令からクリッピング処理命令を生成するクリッピング処理手段と、
前記グラフィックス描画結果を前記クリッピング処理命令によりクリッピングしたクリッピング済グラフィックスを保持する保持手段と、
前記描画処理命令に含まれる前記動画描画処理命令に従って処理した動画データを生成する動画描画手段と、
前記保持手段に保持されている前記クリッピング済グラフィックスと前記動画描画手段により生成された前記動画データとを合成する合成手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記描画処理命令を受け取って前記動画描画処理命令と前記グラフィックス描画処理命令とに分離し、前記動画描画処理命令を前記クリッピング処理手段及び前記動画描画手段に供給し、前記グラフィックス描画処理命令を前記グラフィックス描画手段に供給する分離手段を更に有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記動画描画処理命令は幾何学情報を含み、前記クリッピング処理命令は前記幾何学情報に従って動画データの占める領域をクリッピングし、前記動画描画手段は前記幾何学情報に従って前記動画に対して処理を施した前記動画データを出力することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記幾何学情報は、アフィン変換のパラメータであることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記幾何学情報は、動画に対するマスク情報であることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項６】
前記合成手段は、前記動画描画処理命令が入力された順に動画データを合成し、前記グラフィックス描画結果が前記動画データの下層に位置するように合成することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
単一又は複数の動画描画処理命令及び単一又は複数のグラフィックス描画処理命令を含む描画処理命令を受け取って描画処理を行なう画像処理装置の制御方法であって、
前記描画処理命令に含まれる前記グラフィックス描画処理命令に従ってグラフィックス描画結果を得るグラフィックス描画工程と、
前記描画処理命令に含まれる前記動画描画処理命令からクリッピング処理命令を生成するクリッピング処理工程と、
前記グラフィックス描画結果を前記クリッピング処理命令によりクリッピングしたクリッピング済グラフィックスを保持する保持工程と、
前記描画処理命令に含まれる前記動画描画処理命令に従って処理した動画データを生成する動画描画工程と、
前記保持工程に保持されている前記クリッピング済グラフィックスと前記動画描画工程により生成された前記動画データとを合成する合成工程と、
を有することを特徴とする画像処理装置の制御方法。
【請求項８】
前記描画処理命令を受け取って前記動画描画処理命令と前記グラフィックス描画処理命令とに分離し、前記動画描画処理命令を前記クリッピング処理工程及び前記動画描画工程に供給し、前記グラフィックス描画処理命令を前記グラフィックス描画工程に供給する分離工程を更に有することを特徴とする請求項７に記載の画像処理装置の制御方法。
【請求項９】
前記動画描画処理命令は幾何学情報を含み、前記クリッピング処理命令は前記幾何学情報に従って動画データの占める領域をクリッピングし、前記動画描画工程は前記幾何学情報に従って前記動画に対して処理を施した前記動画データを出力することを特徴とする請求項７又は８に記載の画像処理装置の制御方法。
【請求項１０】
前記幾何学情報は、アフィン変換のパラメータであることを特徴とする請求項７乃至９のいずれか１項に記載の画像処理装置の制御方法。
【請求項１１】
前記幾何学情報は、動画に対するマスク情報であることを特徴とする請求項７乃至９のいずれか１項に記載の画像処理装置の制御方法。
【請求項１２】
前記合成工程は、前記動画描画処理命令が入力された順に動画データを合成し、前記グラフィックス描画結果が前記動画データの下層に位置するように合成することを特徴とする請求項７乃至１１のいずれか１項に記載の画像処理装置の制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００９−３０１２９３（Ｐ２００９−３０１２９３Ａ）
【公開日】平成２１年１２月２４日（２００９．１２．２４）
【国際特許分類】
【出願番号】特願２００８−１５４５８９（Ｐ２００８−１５４５８９）
【出願日】平成２０年６月１２日（２００８．６．１２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２１年１２月２４日（２００９．１２．２４）
【国際特許分類】
【出願日】平成２０年６月１２日（２００８．６．１２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]