画像処理装置および画像処理方法
【課題】動画の一部を書き換える際に、圧縮効率を高めること。
【解決手段】複数の色違いムービー映像として、矢印Ａ、Ｂ、Ｃ、Ｄ、Ｅのみが異なる動画像３０からベースファイルを作成し、動画像３０と動画像３２との差分を差分抽出ムービ４２として抽出し、同様に動画像３０と動画像３４、３６、３８との差分を示す差分抽出ムービー４４、４６、４８を抽出し、親となる動画像３０と子となる差分抽出ムービー４２、４４、４６、４８を圧縮してエンコードする。
【解決手段】複数の色違いムービー映像として、矢印Ａ、Ｂ、Ｃ、Ｄ、Ｅのみが異なる動画像３０からベースファイルを作成し、動画像３０と動画像３２との差分を差分抽出ムービ４２として抽出し、同様に動画像３０と動画像３４、３６、３８との差分を示す差分抽出ムービー４４、４６、４８を抽出し、親となる動画像３０と子となる差分抽出ムービー４２、４４、４６、４８を圧縮してエンコードする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３Ｄゲーム装置やアクションパズルゲームなど、例えば、遊技機に適応される画像処理技術に係り、特に、動画の一部を書き換える技術の改良に関する。
【背景技術】
【０００２】
従来、2D/3DのリアルタイムCGで画面を構成する手法が一般的であったが、近年、動画圧縮技術の進歩に伴い、ムービー再生で画面を構成する手法が広がってきた。ムービー再生で画面を構成する手法は、全画面に適用するケースもあるし、画面の一部に適用して、リアルタイムCGと併用して両者を合成表示するケースもある。
【０００３】
ムービー再生を利用する手法には次のようなメリットがある。
（１）プリレンダリングCGはリアルタイムCGより高画質で高度な映像表現がきる 。
（２）ライブ映像を表示できる。
（３）ムービー再生制御はリアルタイムCG制御よりプログラムが簡単である。
（４）プログラマーの負荷が軽減できる。
（５）プログラマーを介在させずデザイナーだけで画面を作り、画面調整を完結 できる。
（６）開発工数を削減できる。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ムービー再生で画面を構成する手法のデメリットとして、画面の一部の些細な違いであっても、違いがあるものを表現するには、個別の動画ファイルを準備しなければならない、ということがある。
【０００５】
例えば、色鉛筆を１本購入するシーンの映像について、８色の色鉛筆に対応するためには、８本の動画ファイルを準備しなければならない。これらの動画ファイルは、鉛筆部分の色の情報が異なるだけで、その他の部分は完全に同一である。この例のように、画面の一部が異なるが、その他の部分は共通であるムービーが複数あった場合に、それらのムービーを色違いムービーと呼ぶ。
【０００６】
相違が画面内の特定部分に限定されて、その他の部分が共通であるものは、色違いムービーとみなせる。上記の例で、色鉛筆の他にボールペンを購入するシーンがあっても、ボールペンが色鉛筆とほぼ重複する位置にあり、その他の部分が共通であれば、同じ色違いムービーとして扱うことができる。色違いムービーを個別に扱えば、圧縮したとしても、ムービーの本数に比例したデータサイズが必要となってしまう。
【０００７】
本発明が解決しようとする課題は、色違いムービーの冗長性を廃し、圧縮効率を高めることにある。
【課題を解決するための手段】
【０００８】
本発明に係る画像処理装置および画像処理方法は、画像の一部を書き換える際に、動画像のうちその一部が異なる複数の色違いムービ映像のデータをベースファイル（親）と複数の差分ファイル（子差分）に変換し、当該変換されたベースファイルと各差分ファイルを圧縮することを特徴とする。
【０００９】
係る構成によれば、複数の色違いムービ映像のデータをベースファイルと複数の差分ファイルに変換することで、差分ファイルの情報量が少なくなり、ベースファイルと情報量の削減された各差分ファイルを圧縮することで、全体の圧縮効率を高めることができる。
【００１０】
好ましくは、前記映像処理手段は、前記複数の色違いムービ映像のうちピクセルごとに各色成分の最小値を抽出して前記ベースファイルを作成したり、前記複数の色違いムービ映像のうち各色成分ごとに全ピクセルの平均値を算出して前記ベースファイルを作成したりしてなる。また、前記映像処理手段は、前記複数の色違いムービ映像のうちピクセルごとに各色成分の最大値を抽出して前記ベースファイルを作成したり、前記複数の色違いムービ映像の中から対象となる１つの色違いムービ映像を選択して前記ベースファイルとみなしてなる。さらに、前記映像処理手段は、前記変換された各差分ファイルのうち有効エリアから外れたデータを切り捨て、前記有効エリア内のデータを前記各差分ファイルのデータとするとともに、当該各差分ファイルのデータと前記変換されたベースファイルのデータの相対位置を記録してなる。
【００１１】
また、本発明は、記憶手段に格納された動画像を取り出して処理する画像処理方法であって、前記動画像のうちその一部が異なる複数の色違いムービ映像のデータをベースファイルと複数の差分ファイルに変換する第１工程と、前記変換されたベースファイルと各差分ファイルを圧縮する第２工程と、備えてなることを特徴とする。
【００１２】
前記画像処理方法を採用するに際しては、好ましくは、前記第１工程では、前記複数の色違いムービ映像の各フレーム毎、各ピクセル毎、各色成分毎にそれぞれ独立に最小値を算出して前記ベースファイルを作成したり、前記複数の色違いムービ映像の各フレーム毎、各ピクセル毎、各色成分毎にそれぞれ独立に平均値を算出して前記ベースファイルを作成したりしてなる。また、前記第１工程では、前記複数の色違いムービ映像の各フレーム毎、各ピクセル毎、各色成分毎にそれぞれ独立に最大値を算出して前記ベースファイルを作成したり、前記複数の色違いムービ映像の中から対象となる１つの色違いムービ映像を選択して前記ベースファイルとみなしてなる。さらに、前記ベースファイルと前記差分ファイルとの差分情報が存在しない領域を無効エリアとし、それ以外の領域を有効エリアとしたときに、前記変換された各差分ファイルのうち前記有効エリアから外れたデータを切り捨て、前記有効エリア内のデータを前記各差分ファイルのデータとする第３工程と、当該各差分ファイルのデータと前記変換されたベースファイルのデータの相対位置を記録する第４工程を備えてなる。
【００１３】
また、本発明は、画像を再生する画像再生装置であって、ベースファイルと差分ファイルを含む動画像を格納する記憶手段と、前記記憶手段に格納された動画像を取り出して再生する映像再生手段と、を備え、前記映像再生手段は、前記ベースファイルのデータと前記差分ファイルのデータとを加算合成してなる、ことを特徴とする。
【００１４】
また、本発明は、前記いずれかの画像処理方法をコンピュータに実行させるプログラムが格納された機械読取り可能な記録媒体を構成した。
【００１５】
ここで、記録媒体とは、何らかの物理的手段により情報、主にデジタルデータ、プログラムが記録されているものであって、コンピュータ、専用プロセッサなどの処理装置に所定の機能を行わせることができるものである。
【００１６】
要するに、何らかの手段でもってコンピュータにプログラムをダウンロードし、所定の機能を実行させるものであればよい。例えば、フレキシブルディスク、固定ディスク、磁気テープ、光磁気ディスクＣＤ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ、ＰＤ、ＭＤ、ＤＣＣ、ＲＯＭカートリッジ、バッテリバックアップ付のＲＭメモリカートリッジ、フラッシュメモリカートリッジ、不揮発性ＲＡＭカートリッジなどを含む。
【発明の効果】
【００１７】
本発明によれば、画面の一部が異なり他の部分は共通であるムービーが複数あった場合に、圧縮効率を高めることができる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の好適な実施の形態を図面を参照して説明する。
【００１９】
図１は、本発明の一実施の形態を示す画像処理装置のブロック構成図である。図１において、画像処理装置は、３Ｄ処理部３０１とムービ映像処理部３０３を備えている。ムービ映像処理部３０３ではＣＤ−ＲＯＭのデータをデコーダ３１０によってムービ映像ＭＶに変換する。３Ｄ処理部３０１はデコーダ３１１によりＣＤ−ＲＯＭのデータをデコードし、３Ｄモデル（３ＤＭ）を得て、モデリング部３１２においてポリゴン生成などのモデリングを行う。なお、描画プロセッサ３０５は、ムービ映像ＭＶの１枚ずつの画像を一旦テクスチャバッファ３１３に格納し、これを適宜読み出してキャラクタとともに描画することができる。
【００２０】
ここで、動画（動画像）の一部を書き換える場合、色違いムービとして、例えば、図２に示すように、矢印Ａ、Ｂ、Ｃ、Ｄ、Ｅの色のみが異なる動画像３０、３２、３４、３６、３８をエンコードするに際しては、各動画像３０〜３８をそれぞれディスクに収納するには、そのままでは情報量が大きくなり、特定の容量のディスクには収めることができなくなり、圧縮効率を高めることができなくなる。
【００２１】
そこで、図３に示すように、矢印Ａを含む動画像３０をベースファイル（親）とし、動画像３０と各動画像３２、３４、３６、３８との差分（子差分）を抽出し、差分抽出ムービ（差分ファイル）４２、４４、４６、４８とすると、差分抽出ムービ４２、４４、４６、４８の情報量は動画像３２、３４、３６、３８よりも少なくなり、これらを圧縮した際にはその圧縮率は非常に高く、動画像３０を圧縮した場合の１／５〜１／７となる。差分抽出ムービ４２〜４８を再生する場合には、ベース（親）となる動画像３０と子差分である差分抽出ムービ４２〜４８をそれぞれ加算合成することで、元の動画像３２、３４、３６、３８を再現することができる。
【００２２】
動画像３０〜３８をエンコード処理するに際しては、図４に示すように、動画像３０のＲＧＢ形式の素材（Ａ）を保存するファイルＦ１と、動画像３２のＲＧＢ形式の素材（Ｂ）を保存するファイルＦ２からそれぞれ動画像３０、３２を差分器５０に取り込み、差分器５０で動画像３０（Ａ）と動画像３２（Ｂ）との差分（Ｂ−Ａ）を抽出し、抽出された差分抽出ムービ（子差分）（Ｂ−Ａ）をＲＧＢ形式のファイルＦ３に保存する。
【００２３】
次に、ファイルＦ１から動画像３０（Ａ）を、ファイルＦ３からは差分抽出ムービ（子差分）（Ｂ−Ａ）を変換器５２に取り込み、変換機において、動画像３０（Ａ）の動画ファイルと差分抽出ムービ（子差分）（Ｂ−Ａ）に対するＲＧＢ・ＹＵＶ変換５２を行い、変換された動画像３０（Ａ）をＹＵＶ形式のデータＤ１としてMPEG等のエンコーダ５４に出力し、変換された差分抽出ムービ（子差分）（Ｂ−Ａ）をＹＵＶ形式のデータＤ２としてエンコーダ５４に出力する。この後、エンコーダ５４において、動画像３０（Ａ）と差分抽出ムービ（子差分）（Ｂ−Ａ）をそれぞれエンコードし、動画像３０（Ａ）をＭＰＥＧ等の動画ファイルＦ４に保存し、差分抽出ムービ（子差分）（Ｂ−Ａ）をＭＰＥＧ等の動画ファイルＦ５に保存する。また動画像３０と各動画像３４、３６、３８との差分も同様に抽出することができる。
【００２４】
なお、一般的には、素材データの色空間がＲＧＢで、エンコード処理直前の色空間がＹＵＶである場合には、エンコード前にＲＧＢからＹＵＶに色変換を実施する。
【００２５】
これに対して、本実施例における色違いムービをベースムービと差分ムービに変換する処理は、ＲＧＢ−ＹＵＶ変換の前でも、後でも実施することができる。
【００２６】
但し、実機上では、ベースムービと差分ムービから色違いムービを再現する逆変換の処理（デコード処理）は、エンコードにおける変換処理で行った色空間と同一の色空間で実施する必要がある。これは、実機上の処理は、限られたハードウエアスペックでリアルタイム処理が求められるので、実機上の処理のしやすさを考慮して、本方式を適用する色空間や、ベースムービの作成方式を選択する。
【００２７】
次に、デコード処理を行うに際しては、図５に示すように、MPEG等の動画ファイルＦ４に保存された動画像３０と、MPEG等の動画ファイルＦ５に保存された、ＭＰＥＧ等の差分抽出ムービ（Ｂ−Ａ、Ｃ−Ａ、Ｄ−Ａ、Ｅ−Ａ）をデコーダ５６に取り込んでデコードする。例えば、動画像３０に関するデータ（Ａ）と差分抽出ムービ（Ｂ−Ａ、）をデコーダ５６でデコードし、デコードで得られたデータ（Ａ）とデータ（Ｂ−Ａ）をそれぞれＹＵＶ形式のデータＤ３、Ｄ４として変換器５８に出力する。このあと変換器５８において、ＹＵＶ形式のデータＤ３、Ｄ４に対するＹＵＶ−ＲＧＢ変換処理を行い、変換されたデータ（Ａ）とデータ（Ｂ−Ａ）をそれぞれＲＧＢ形式のデータＤ５、Ｄ６として加算合成器６０に出力する。加算合成器６０は、ＲＧＢ形式のデータ（Ａ）Ｄ５とデータ（Ｂ−Ａ）Ｄ６をそれぞれ加算合成し、ＲＧＢ形式のデータ（Ｂ）Ｄ７として出力する。
【００２８】
同様にして、動画像３０に関するデータ（Ａ）と差分抽出ムービ（Ｃ−Ａ、Ｄ−Ａ、Ｅ−Ａ）をデコードし、デコードで得られたＹＵＶ形式のデータ（Ａ）とデータ（Ｃ−Ａ、Ｄ−Ａ、Ｅ−Ａ）をそれぞれＹＵＶからＲＧＢ形式に変換し、変換されたＲＧＢ形式のデータ（Ａ）とデータ（Ｃ−Ａ、Ｄ−Ａ、Ｅ−Ａ）をそれぞれ加算合成し、加算合成されたデータをＲＧＢ形式の動画像３４、３６、３８のデータ（Ｃ、Ｄ、Ｅ）として出力する。
【００２９】
色違いの複数の動画像３０〜３８のうち動画像（ムービ）３０をベースファイル（親）として、動画像４２、４４、４６、４８を子差分としてのサブファイル（差分ファイル）に変換するに際しては、エンコードの前後で処理を施すことで情報量が少なくなり、圧縮効率を高めることができる。特に、動画像として形は同じだが色だけが違うオブジェクトが含まれるものに対してはより圧縮効率を高めることができる。
【００３０】
対象となる色違いムービからベースファイルを作成するに際しては、次の４通りがある。
【００３１】
（ａ）最小値法
複数の色違いムービ映像のうちピクセル毎に各色成分の最小値を抽出してベースファイルを作成する。
【００３２】
具体的には、各フレーム毎、各ピクセル毎、各色成分毎それぞれ独立に最小値を計算する。このとき、複数（ｎ）本の色違いムービがある場合、ｎサンプルの最小値を計算する。
【００３３】
（ｂ）平均値法
複数の色違いムービのうち色成分毎に全ピクセルの平均値を算出してベースファイルを作成する。
【００３４】
具体的には、各フレーム毎、各ピクセル毎、各色成分毎それぞれ独立に平均値を計算する。このとき、複数（ｎ）本の色違いムービがある場合、ｎサンプルの相加平均を計算する。
【００３５】
（ｃ）最大値法
複数の色違いムービのうちピクセル毎に各色成分の最大値を抽出してベースファイルを作成する。
【００３６】
具体的には、各フレーム毎、各ピクセル毎、各色成分毎それぞれ独立に最大値を計算する。このとき、複数（ｎ）本の色違いムービがある場合、ｎサンプルの最大値を計算する。
【００３７】
（ｄ）選択法
複数の色違いムービの中から対象となる１つの色違いムービ映像を選択してベースファイルとみなす。
【００３８】
上記いずれかの方法を用いてベースファイルを作成するに際しては、ＲＧＢで計算する方法とＹＵＶで計算する２つの方法のいずれかを用いることができる。
【００３９】
次に、エンコード時の処理を図６のフローチャートにしたがって説明する。まず、ベースファイルを作成するに際しては、複数の色違いムービＭＶ０〜ＭＶｎ−１基にベースファイルを作成し親ビームとする（Ｓ１）。
【００４０】
次に、ベースファイルと各色違いムービとの差分ムービ（子差分ファイル）を生成し（Ｓ２）、生成した差分ムービとベースファイルを基にＭＰＥＧなどによるエンコードを行い（Ｓ３）、このルーチンでの処理を終了する。
【００４１】
次に、再生時の処理を図７のフローチャートにしたがって説明する。まず圧縮された親圧縮ムービと圧縮された子差分ムービを基にＭＰＥＧなどによるフレームのデコード処理を行い（Ｓ１１）、この処理結果から色違いムービのフレームを復元し（Ｓ１２）、全フレームを終了するまでステップＳ１１とステップＳ１２の処理を継続し、全てのフレームについて処理を終了したときには（Ｓ１３）、このルーチンでの処理を終了する。
【００４２】
次に、最小値法によってベースファイル（親）を作成するときの処理方法を図８のフローチャートにしたがって説明する。まず複数の色違いムービ映像のうちピクセル毎の色成分として、例えばＲ、Ｇ、Ｂについてその最小値を選択し（Ｓ２１）、この処理を全ピクセルについて終了したか否かを判定し（Ｓ２２）、全てのピクセルについて処理を終了したときにはこのルーチンでの処理を終了する。
【００４３】
この最小値法によれば、差分の計算式がシンプルであり、グラフィックチップのレンダラーの加算合成機能を用いれば、ＣＰＵに負荷がかからない。
【００４４】
次に、平均値法を基にベースファイルを作成するときの処理方法を図９のフローチャートにしたがって説明する。複数の色違いムービ映像に対して、各色成分毎、例えばＲ、Ｇ、Ｂについて全ピクセルの和を求めたあと、全ピクセルの数を示すｎで割り算して、各色成分毎に全ピクセルの平均値を算出する（Ｓ３１）、そのあと全ピクセルおよび各色成分についての処理を終了したか否かを判定し（Ｓ３２）、全ピクセルについて処理を終了したときには、このルーチンでの処理を終了する。
【００４５】
この平均値法によれば、差分ムービの色の値が小さめになるので、圧縮効率をより高くすることができる。
【００４６】
次に、最大値法によってベースファイルを作成するときの処理方法を図１０のフローチャートにしたがって説明する。まず、複数の色違いムービ映像のうちピクセル毎に各色成分Ｒ、Ｇ、Ｂについてその最大値を選択し（Ｓ４１）、この処理を全ピクセルについて終了したか否かを判定し（Ｓ４２）、全てのピクセルについて処理を終了したときには、このルーチンでの処理を終了する。
【００４７】
この最大値法によれば、差分の計算式がシンプルであり、グラフィックチップのレンダラーの減算合成機能を用いれば、ＣＰＵに負荷がかからない。
【００４８】
選択法を用いてベースファイルを作成するに際しては、素材となる色違いムービのどれか１つをそのまま用いてベースファイルを作成することができる。この際、任意に色違いムービを１つ選ぶこともできるが、平均値ムービに近いものを選べば、差分ムービの値が小さくなるため、より圧縮しやすくなる。例えば、全フレーム、全ピクセル、全色成分の２乗誤差が最小値となる色違いムービを採用する。
【００４９】
また、選択法によれば、総ムービ数を１本節約でき、その分圧縮効率を高くすることができる。
【００５０】
次に、平均値法または選択法を適用した場合の差分ムービの生成方法を図１１のフローチャートにしたがって説明する。ベースファイルとして平均値法または選択法によって得られたものを用い、各色成分、例えばＲ、Ｇ、Ｂについて色違いムービと親ムービとの差に２５６を加え、その総和を２で割り算する（Ｓ５１）。この処理を全ピクセルについて終了したか否かを判定し（Ｓ５２）、全ピクセルについて終了したときには、子差分ムービの有効エリア切り出し処理を実行し（Ｓ５３）、このルーチンでの処理を終了する。
【００５１】
次に、最小値法を適用した場合の差分ムービの生成方法を図１２のフローチャートに従って説明する。ベースファイルとして最小値法によって得られたものを用い、各色成分、例えばＲ、Ｇ、Ｂについて色違いムービと最小値ムービとの差を算出する（Ｓ６１）。この処理を全ピクセルについて終了したか否かを判定し（Ｓ６２）、全ピクセルについて終了したときには、子差分ムービの有効エリア切り出し処理を実行し（Ｓ６３）、このルーチンでの処理を終了する。
【００５２】
次に、最大値法を適用した場合の差分ムービの生成方法を図１３のフローチャートに従って説明する。ベースファイルとして最大値法によって得られたものを用い、各色成分、例えばＲ、Ｇ、Ｂについて最大値ムービと色違いムービとの差を算出する（Ｓ７１）。この処理を全ピクセルについて終了したか否かを判定し（Ｓ７２）、全ピクセルについて終了したときには、子差分ムービの有効エリア切り出し処理を実行し（Ｓ７３）、このルーチンでの処理を終了する。
【００５３】
次に、差分ムービの有効エリア切り出し処理を図１４のフローチャートに従って説明する。図１１〜図１３の差分ムービ生成処理を基に差分ムービを生成したあと、差分データが０以外の値を持つエリアを調べる（Ｓ８１）。差分エリアが有効エリアから外れたエリアに属する差分データを抽出し、この処理を全フレームについて終了したが否かの判定を行う（Ｓ８２）。
【００５４】
全フレームについて処理が終了したときには、差分データとして、外周に全フレームに渡って無効なエリアがあったときには、無効エリアに属する差分データを切り捨て、ムービの画面サイズを小さくするとともに、親ムービに対するこの差分ムービの相対位置ｘ、ｙを記憶しておく（Ｓ８３）。記録された情報は再生時に使用され、ムービの画面サイズを小さくすることで、このルーチンでの処理を終了する。
【００５５】
なお、小さくされた画面サイズのデータは圧縮コーディックや再生プログラムの都合の良いように、その境界を調整しても良い。この場合ＭＰＥＧなら１６整数倍とすることもできる。
【００５６】
また、ゼロデータを小さく圧縮できるので、圧縮効率を改善する効果は小さいが、再生時のデコード、合成処理では、負荷を軽減する効果がある。
【００５７】
次に、平均値法または選択法を適用した場合の色違いムービのフレームの復元方法を図１５に従って説明する。まず、平均値法または選択法を適用して色違いムービのフレームを復元するに際しては、各色成分、例えばＲ、Ｇ、Ｂ毎に、親ムービ＋２×子差分ムービ−２５６についてクリップ演算を実行する（Ｓ９１）。
【００５８】
ｃｌｉｐ(ｘ)では、例えば、[０、２５５]の飽和演算として、０以下なら０とし、２５５以上なら２５５とする演算を実行する。これは、圧縮によっては演算結果が範囲外となる場合があるので、飽和演算が必要なためである。この処理を全ピクセルについて終了したか否かを判定し（Ｓ９２）、全ピクセルについて終了したときには、このルーチンでの処理を終了する。
【００５９】
次に、最小値法を適用した場合の色違いムービのフレームの復元方法を図１６に従って説明する。まず、最小値法を適用して色違いムービのフレームを復元するに際しては、各色成分、例えばＲ、Ｇ、Ｂ毎に、（親ムービ＋子差分ムービ）についてクリップ演算を実行する（Ｓ１０１）。この処理を全ピクセルについて実行し、全ピクセルについて処理を終了したか否かを判定し（Ｓ１０２）、全ピクセルについて終了したときには、このルーチンでの処理を終了する。
【００６０】
次に、最大値法を適用した場合の色違いムービのフレームの復元方法を図１７に従って説明する。まず、最大値法を適用して色違いムービのフレームを復元するに際しては、各色成分、例えばＲ、Ｇ、Ｂ毎に、（親ムービ−子差分ムービ）についてクリップ演算を実行する（Ｓ１１１）。この処理を全ピクセルについて実行し、全ピクセルについて処理を終了したか否かを判定し（Ｓ１１２）、全ピクセルについて終了したときには、このルーチンでの処理を終了する。
【００６１】
本実施形態においては、１．５秒のムービを５１２×１６０に成形し、色違いムービとして、たとえば、各動画像の矢印の色を変更し、全部で８種類の色違いムービを作成し、差分ファイルを作らないで８本エンコードした場合、全て親ファイル（ベースファイル）となるため、全体の容量は２８８０ＫＢとなった。
【００６２】
これに対して、１本をベースファイル（親）とし、７本を差分ムービ（差分ファイル）としたときには、親ファイル＋７差分ファイル＝７４８ＫＢとなった。
【００６３】
この場合、データ削減率は０．７８／２．８＝２６％となり、元のサイズと比べて約１／４にデータを削減できることが分かった。
【００６４】
本実施形態によれば、複数の色違いムービ映像のデータをベースファイルと複数の差分ファイルに変換することで、差分ファイルの情報量が少なくなり、ベースファイルと情報量の削減された各差分ファイルを圧縮することで、全体の圧縮効率を高めることができる。
【００６５】
なお、図４，５において、動画コーディックとしてMPEGを用いた実施形態について説明したが、MPEGは一例であり他の動画コーディックに変更したり、任意の動画コーディックと組み合わせて、本発明を実現できることは勿論である。
【００６６】
なお、本発明の画像処理装置は、上記実施形態で説明したゲーム装置のみならず、複数の色違いムービー映像に基づいて画像を表示する装置、例えば、パチンコ機（第一種パチンコ機、第二種パチンコ機を含む。）、回動式遊技機（スロットマシン）、じゃん球等の遊技機、画像を利用したシミュレーション装置等に適用することも可能である。
【図面の簡単な説明】
【００６７】
【図１】本発明の一実施形態を示す画像処理装置のブロック図である。
【図２】ベースファイルのままエンコードするときの動画像の状態を説明するための図である。
【図３】１つのベースファイルと４つの差分ファイルを基にエンコードするときの動画像の状態を説明するための図である。
【図４】本実施形態に係るエンコード処理の機能ブロック図である。
【図５】本実施形態に係るデコード処理機能のブロック図である。
【図６】本実施形態に係るエンコード時の処理を説明するためのフローチャートである。
【図７】本実施形態に係る再生時の処理を説明するためのフローチャートである。
【図８】本実施形態に係る最小値法によってベースファイルを作成する方法を説明するためのフローチャートである。
【図９】本実施形態に係る平均値法によってベースファイルを作成する方法を説明するためのフローチャートである。
【図１０】本実施形態に係る最大値法によってベースファイルを作成する方法を説明するためのフローチャートである。
【図１１】本実施形態に係る平均値法または選択法による差分ムービ生成法を説明するためのフローチャートである。
【図１２】本実施形態に係る最小値法による差分ムービ生成法を説明するためのフローチャートである。
【図１３】本実施形態に係る最大値法による差分ムービ生成法を説明するためのフローチャートである。
【図１４】本実施形態に係る差分ムービの有効エリア切り出し法を説明するためのフローチャートである。
【図１５】本実施形態に係る平均値法または選択法による色違いムービのフレームの復元方法を説明するためのフローチャートである。
【図１６】本実施形態に係る最小値法による色違いムービのフレームの復元方法を説明するためのフローチャートである。
【図１７】本実施形態に係る最大値法による色違いムービのフレームの復元方法を説明するためのフローチャートである。
【符号の説明】
【００６８】
３０１ ３Ｄ処理部、３０３ ムービ映像処理部、３０４ 音声処理部、３０５ 描画プロセッサ、３０６ 同期制御部、４００〜４３０ オブジェクト
【技術分野】
【０００１】
本発明は、３Ｄゲーム装置やアクションパズルゲームなど、例えば、遊技機に適応される画像処理技術に係り、特に、動画の一部を書き換える技術の改良に関する。
【背景技術】
【０００２】
従来、2D/3DのリアルタイムCGで画面を構成する手法が一般的であったが、近年、動画圧縮技術の進歩に伴い、ムービー再生で画面を構成する手法が広がってきた。ムービー再生で画面を構成する手法は、全画面に適用するケースもあるし、画面の一部に適用して、リアルタイムCGと併用して両者を合成表示するケースもある。
【０００３】
ムービー再生を利用する手法には次のようなメリットがある。
（１）プリレンダリングCGはリアルタイムCGより高画質で高度な映像表現がきる 。
（２）ライブ映像を表示できる。
（３）ムービー再生制御はリアルタイムCG制御よりプログラムが簡単である。
（４）プログラマーの負荷が軽減できる。
（５）プログラマーを介在させずデザイナーだけで画面を作り、画面調整を完結 できる。
（６）開発工数を削減できる。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ムービー再生で画面を構成する手法のデメリットとして、画面の一部の些細な違いであっても、違いがあるものを表現するには、個別の動画ファイルを準備しなければならない、ということがある。
【０００５】
例えば、色鉛筆を１本購入するシーンの映像について、８色の色鉛筆に対応するためには、８本の動画ファイルを準備しなければならない。これらの動画ファイルは、鉛筆部分の色の情報が異なるだけで、その他の部分は完全に同一である。この例のように、画面の一部が異なるが、その他の部分は共通であるムービーが複数あった場合に、それらのムービーを色違いムービーと呼ぶ。
【０００６】
相違が画面内の特定部分に限定されて、その他の部分が共通であるものは、色違いムービーとみなせる。上記の例で、色鉛筆の他にボールペンを購入するシーンがあっても、ボールペンが色鉛筆とほぼ重複する位置にあり、その他の部分が共通であれば、同じ色違いムービーとして扱うことができる。色違いムービーを個別に扱えば、圧縮したとしても、ムービーの本数に比例したデータサイズが必要となってしまう。
【０００７】
本発明が解決しようとする課題は、色違いムービーの冗長性を廃し、圧縮効率を高めることにある。
【課題を解決するための手段】
【０００８】
本発明に係る画像処理装置および画像処理方法は、画像の一部を書き換える際に、動画像のうちその一部が異なる複数の色違いムービ映像のデータをベースファイル（親）と複数の差分ファイル（子差分）に変換し、当該変換されたベースファイルと各差分ファイルを圧縮することを特徴とする。
【０００９】
係る構成によれば、複数の色違いムービ映像のデータをベースファイルと複数の差分ファイルに変換することで、差分ファイルの情報量が少なくなり、ベースファイルと情報量の削減された各差分ファイルを圧縮することで、全体の圧縮効率を高めることができる。
【００１０】
好ましくは、前記映像処理手段は、前記複数の色違いムービ映像のうちピクセルごとに各色成分の最小値を抽出して前記ベースファイルを作成したり、前記複数の色違いムービ映像のうち各色成分ごとに全ピクセルの平均値を算出して前記ベースファイルを作成したりしてなる。また、前記映像処理手段は、前記複数の色違いムービ映像のうちピクセルごとに各色成分の最大値を抽出して前記ベースファイルを作成したり、前記複数の色違いムービ映像の中から対象となる１つの色違いムービ映像を選択して前記ベースファイルとみなしてなる。さらに、前記映像処理手段は、前記変換された各差分ファイルのうち有効エリアから外れたデータを切り捨て、前記有効エリア内のデータを前記各差分ファイルのデータとするとともに、当該各差分ファイルのデータと前記変換されたベースファイルのデータの相対位置を記録してなる。
【００１１】
また、本発明は、記憶手段に格納された動画像を取り出して処理する画像処理方法であって、前記動画像のうちその一部が異なる複数の色違いムービ映像のデータをベースファイルと複数の差分ファイルに変換する第１工程と、前記変換されたベースファイルと各差分ファイルを圧縮する第２工程と、備えてなることを特徴とする。
【００１２】
前記画像処理方法を採用するに際しては、好ましくは、前記第１工程では、前記複数の色違いムービ映像の各フレーム毎、各ピクセル毎、各色成分毎にそれぞれ独立に最小値を算出して前記ベースファイルを作成したり、前記複数の色違いムービ映像の各フレーム毎、各ピクセル毎、各色成分毎にそれぞれ独立に平均値を算出して前記ベースファイルを作成したりしてなる。また、前記第１工程では、前記複数の色違いムービ映像の各フレーム毎、各ピクセル毎、各色成分毎にそれぞれ独立に最大値を算出して前記ベースファイルを作成したり、前記複数の色違いムービ映像の中から対象となる１つの色違いムービ映像を選択して前記ベースファイルとみなしてなる。さらに、前記ベースファイルと前記差分ファイルとの差分情報が存在しない領域を無効エリアとし、それ以外の領域を有効エリアとしたときに、前記変換された各差分ファイルのうち前記有効エリアから外れたデータを切り捨て、前記有効エリア内のデータを前記各差分ファイルのデータとする第３工程と、当該各差分ファイルのデータと前記変換されたベースファイルのデータの相対位置を記録する第４工程を備えてなる。
【００１３】
また、本発明は、画像を再生する画像再生装置であって、ベースファイルと差分ファイルを含む動画像を格納する記憶手段と、前記記憶手段に格納された動画像を取り出して再生する映像再生手段と、を備え、前記映像再生手段は、前記ベースファイルのデータと前記差分ファイルのデータとを加算合成してなる、ことを特徴とする。
【００１４】
また、本発明は、前記いずれかの画像処理方法をコンピュータに実行させるプログラムが格納された機械読取り可能な記録媒体を構成した。
【００１５】
ここで、記録媒体とは、何らかの物理的手段により情報、主にデジタルデータ、プログラムが記録されているものであって、コンピュータ、専用プロセッサなどの処理装置に所定の機能を行わせることができるものである。
【００１６】
要するに、何らかの手段でもってコンピュータにプログラムをダウンロードし、所定の機能を実行させるものであればよい。例えば、フレキシブルディスク、固定ディスク、磁気テープ、光磁気ディスクＣＤ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ、ＰＤ、ＭＤ、ＤＣＣ、ＲＯＭカートリッジ、バッテリバックアップ付のＲＭメモリカートリッジ、フラッシュメモリカートリッジ、不揮発性ＲＡＭカートリッジなどを含む。
【発明の効果】
【００１７】
本発明によれば、画面の一部が異なり他の部分は共通であるムービーが複数あった場合に、圧縮効率を高めることができる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の好適な実施の形態を図面を参照して説明する。
【００１９】
図１は、本発明の一実施の形態を示す画像処理装置のブロック構成図である。図１において、画像処理装置は、３Ｄ処理部３０１とムービ映像処理部３０３を備えている。ムービ映像処理部３０３ではＣＤ−ＲＯＭのデータをデコーダ３１０によってムービ映像ＭＶに変換する。３Ｄ処理部３０１はデコーダ３１１によりＣＤ−ＲＯＭのデータをデコードし、３Ｄモデル（３ＤＭ）を得て、モデリング部３１２においてポリゴン生成などのモデリングを行う。なお、描画プロセッサ３０５は、ムービ映像ＭＶの１枚ずつの画像を一旦テクスチャバッファ３１３に格納し、これを適宜読み出してキャラクタとともに描画することができる。
【００２０】
ここで、動画（動画像）の一部を書き換える場合、色違いムービとして、例えば、図２に示すように、矢印Ａ、Ｂ、Ｃ、Ｄ、Ｅの色のみが異なる動画像３０、３２、３４、３６、３８をエンコードするに際しては、各動画像３０〜３８をそれぞれディスクに収納するには、そのままでは情報量が大きくなり、特定の容量のディスクには収めることができなくなり、圧縮効率を高めることができなくなる。
【００２１】
そこで、図３に示すように、矢印Ａを含む動画像３０をベースファイル（親）とし、動画像３０と各動画像３２、３４、３６、３８との差分（子差分）を抽出し、差分抽出ムービ（差分ファイル）４２、４４、４６、４８とすると、差分抽出ムービ４２、４４、４６、４８の情報量は動画像３２、３４、３６、３８よりも少なくなり、これらを圧縮した際にはその圧縮率は非常に高く、動画像３０を圧縮した場合の１／５〜１／７となる。差分抽出ムービ４２〜４８を再生する場合には、ベース（親）となる動画像３０と子差分である差分抽出ムービ４２〜４８をそれぞれ加算合成することで、元の動画像３２、３４、３６、３８を再現することができる。
【００２２】
動画像３０〜３８をエンコード処理するに際しては、図４に示すように、動画像３０のＲＧＢ形式の素材（Ａ）を保存するファイルＦ１と、動画像３２のＲＧＢ形式の素材（Ｂ）を保存するファイルＦ２からそれぞれ動画像３０、３２を差分器５０に取り込み、差分器５０で動画像３０（Ａ）と動画像３２（Ｂ）との差分（Ｂ−Ａ）を抽出し、抽出された差分抽出ムービ（子差分）（Ｂ−Ａ）をＲＧＢ形式のファイルＦ３に保存する。
【００２３】
次に、ファイルＦ１から動画像３０（Ａ）を、ファイルＦ３からは差分抽出ムービ（子差分）（Ｂ−Ａ）を変換器５２に取り込み、変換機において、動画像３０（Ａ）の動画ファイルと差分抽出ムービ（子差分）（Ｂ−Ａ）に対するＲＧＢ・ＹＵＶ変換５２を行い、変換された動画像３０（Ａ）をＹＵＶ形式のデータＤ１としてMPEG等のエンコーダ５４に出力し、変換された差分抽出ムービ（子差分）（Ｂ−Ａ）をＹＵＶ形式のデータＤ２としてエンコーダ５４に出力する。この後、エンコーダ５４において、動画像３０（Ａ）と差分抽出ムービ（子差分）（Ｂ−Ａ）をそれぞれエンコードし、動画像３０（Ａ）をＭＰＥＧ等の動画ファイルＦ４に保存し、差分抽出ムービ（子差分）（Ｂ−Ａ）をＭＰＥＧ等の動画ファイルＦ５に保存する。また動画像３０と各動画像３４、３６、３８との差分も同様に抽出することができる。
【００２４】
なお、一般的には、素材データの色空間がＲＧＢで、エンコード処理直前の色空間がＹＵＶである場合には、エンコード前にＲＧＢからＹＵＶに色変換を実施する。
【００２５】
これに対して、本実施例における色違いムービをベースムービと差分ムービに変換する処理は、ＲＧＢ−ＹＵＶ変換の前でも、後でも実施することができる。
【００２６】
但し、実機上では、ベースムービと差分ムービから色違いムービを再現する逆変換の処理（デコード処理）は、エンコードにおける変換処理で行った色空間と同一の色空間で実施する必要がある。これは、実機上の処理は、限られたハードウエアスペックでリアルタイム処理が求められるので、実機上の処理のしやすさを考慮して、本方式を適用する色空間や、ベースムービの作成方式を選択する。
【００２７】
次に、デコード処理を行うに際しては、図５に示すように、MPEG等の動画ファイルＦ４に保存された動画像３０と、MPEG等の動画ファイルＦ５に保存された、ＭＰＥＧ等の差分抽出ムービ（Ｂ−Ａ、Ｃ−Ａ、Ｄ−Ａ、Ｅ−Ａ）をデコーダ５６に取り込んでデコードする。例えば、動画像３０に関するデータ（Ａ）と差分抽出ムービ（Ｂ−Ａ、）をデコーダ５６でデコードし、デコードで得られたデータ（Ａ）とデータ（Ｂ−Ａ）をそれぞれＹＵＶ形式のデータＤ３、Ｄ４として変換器５８に出力する。このあと変換器５８において、ＹＵＶ形式のデータＤ３、Ｄ４に対するＹＵＶ−ＲＧＢ変換処理を行い、変換されたデータ（Ａ）とデータ（Ｂ−Ａ）をそれぞれＲＧＢ形式のデータＤ５、Ｄ６として加算合成器６０に出力する。加算合成器６０は、ＲＧＢ形式のデータ（Ａ）Ｄ５とデータ（Ｂ−Ａ）Ｄ６をそれぞれ加算合成し、ＲＧＢ形式のデータ（Ｂ）Ｄ７として出力する。
【００２８】
同様にして、動画像３０に関するデータ（Ａ）と差分抽出ムービ（Ｃ−Ａ、Ｄ−Ａ、Ｅ−Ａ）をデコードし、デコードで得られたＹＵＶ形式のデータ（Ａ）とデータ（Ｃ−Ａ、Ｄ−Ａ、Ｅ−Ａ）をそれぞれＹＵＶからＲＧＢ形式に変換し、変換されたＲＧＢ形式のデータ（Ａ）とデータ（Ｃ−Ａ、Ｄ−Ａ、Ｅ−Ａ）をそれぞれ加算合成し、加算合成されたデータをＲＧＢ形式の動画像３４、３６、３８のデータ（Ｃ、Ｄ、Ｅ）として出力する。
【００２９】
色違いの複数の動画像３０〜３８のうち動画像（ムービ）３０をベースファイル（親）として、動画像４２、４４、４６、４８を子差分としてのサブファイル（差分ファイル）に変換するに際しては、エンコードの前後で処理を施すことで情報量が少なくなり、圧縮効率を高めることができる。特に、動画像として形は同じだが色だけが違うオブジェクトが含まれるものに対してはより圧縮効率を高めることができる。
【００３０】
対象となる色違いムービからベースファイルを作成するに際しては、次の４通りがある。
【００３１】
（ａ）最小値法
複数の色違いムービ映像のうちピクセル毎に各色成分の最小値を抽出してベースファイルを作成する。
【００３２】
具体的には、各フレーム毎、各ピクセル毎、各色成分毎それぞれ独立に最小値を計算する。このとき、複数（ｎ）本の色違いムービがある場合、ｎサンプルの最小値を計算する。
【００３３】
（ｂ）平均値法
複数の色違いムービのうち色成分毎に全ピクセルの平均値を算出してベースファイルを作成する。
【００３４】
具体的には、各フレーム毎、各ピクセル毎、各色成分毎それぞれ独立に平均値を計算する。このとき、複数（ｎ）本の色違いムービがある場合、ｎサンプルの相加平均を計算する。
【００３５】
（ｃ）最大値法
複数の色違いムービのうちピクセル毎に各色成分の最大値を抽出してベースファイルを作成する。
【００３６】
具体的には、各フレーム毎、各ピクセル毎、各色成分毎それぞれ独立に最大値を計算する。このとき、複数（ｎ）本の色違いムービがある場合、ｎサンプルの最大値を計算する。
【００３７】
（ｄ）選択法
複数の色違いムービの中から対象となる１つの色違いムービ映像を選択してベースファイルとみなす。
【００３８】
上記いずれかの方法を用いてベースファイルを作成するに際しては、ＲＧＢで計算する方法とＹＵＶで計算する２つの方法のいずれかを用いることができる。
【００３９】
次に、エンコード時の処理を図６のフローチャートにしたがって説明する。まず、ベースファイルを作成するに際しては、複数の色違いムービＭＶ０〜ＭＶｎ−１基にベースファイルを作成し親ビームとする（Ｓ１）。
【００４０】
次に、ベースファイルと各色違いムービとの差分ムービ（子差分ファイル）を生成し（Ｓ２）、生成した差分ムービとベースファイルを基にＭＰＥＧなどによるエンコードを行い（Ｓ３）、このルーチンでの処理を終了する。
【００４１】
次に、再生時の処理を図７のフローチャートにしたがって説明する。まず圧縮された親圧縮ムービと圧縮された子差分ムービを基にＭＰＥＧなどによるフレームのデコード処理を行い（Ｓ１１）、この処理結果から色違いムービのフレームを復元し（Ｓ１２）、全フレームを終了するまでステップＳ１１とステップＳ１２の処理を継続し、全てのフレームについて処理を終了したときには（Ｓ１３）、このルーチンでの処理を終了する。
【００４２】
次に、最小値法によってベースファイル（親）を作成するときの処理方法を図８のフローチャートにしたがって説明する。まず複数の色違いムービ映像のうちピクセル毎の色成分として、例えばＲ、Ｇ、Ｂについてその最小値を選択し（Ｓ２１）、この処理を全ピクセルについて終了したか否かを判定し（Ｓ２２）、全てのピクセルについて処理を終了したときにはこのルーチンでの処理を終了する。
【００４３】
この最小値法によれば、差分の計算式がシンプルであり、グラフィックチップのレンダラーの加算合成機能を用いれば、ＣＰＵに負荷がかからない。
【００４４】
次に、平均値法を基にベースファイルを作成するときの処理方法を図９のフローチャートにしたがって説明する。複数の色違いムービ映像に対して、各色成分毎、例えばＲ、Ｇ、Ｂについて全ピクセルの和を求めたあと、全ピクセルの数を示すｎで割り算して、各色成分毎に全ピクセルの平均値を算出する（Ｓ３１）、そのあと全ピクセルおよび各色成分についての処理を終了したか否かを判定し（Ｓ３２）、全ピクセルについて処理を終了したときには、このルーチンでの処理を終了する。
【００４５】
この平均値法によれば、差分ムービの色の値が小さめになるので、圧縮効率をより高くすることができる。
【００４６】
次に、最大値法によってベースファイルを作成するときの処理方法を図１０のフローチャートにしたがって説明する。まず、複数の色違いムービ映像のうちピクセル毎に各色成分Ｒ、Ｇ、Ｂについてその最大値を選択し（Ｓ４１）、この処理を全ピクセルについて終了したか否かを判定し（Ｓ４２）、全てのピクセルについて処理を終了したときには、このルーチンでの処理を終了する。
【００４７】
この最大値法によれば、差分の計算式がシンプルであり、グラフィックチップのレンダラーの減算合成機能を用いれば、ＣＰＵに負荷がかからない。
【００４８】
選択法を用いてベースファイルを作成するに際しては、素材となる色違いムービのどれか１つをそのまま用いてベースファイルを作成することができる。この際、任意に色違いムービを１つ選ぶこともできるが、平均値ムービに近いものを選べば、差分ムービの値が小さくなるため、より圧縮しやすくなる。例えば、全フレーム、全ピクセル、全色成分の２乗誤差が最小値となる色違いムービを採用する。
【００４９】
また、選択法によれば、総ムービ数を１本節約でき、その分圧縮効率を高くすることができる。
【００５０】
次に、平均値法または選択法を適用した場合の差分ムービの生成方法を図１１のフローチャートにしたがって説明する。ベースファイルとして平均値法または選択法によって得られたものを用い、各色成分、例えばＲ、Ｇ、Ｂについて色違いムービと親ムービとの差に２５６を加え、その総和を２で割り算する（Ｓ５１）。この処理を全ピクセルについて終了したか否かを判定し（Ｓ５２）、全ピクセルについて終了したときには、子差分ムービの有効エリア切り出し処理を実行し（Ｓ５３）、このルーチンでの処理を終了する。
【００５１】
次に、最小値法を適用した場合の差分ムービの生成方法を図１２のフローチャートに従って説明する。ベースファイルとして最小値法によって得られたものを用い、各色成分、例えばＲ、Ｇ、Ｂについて色違いムービと最小値ムービとの差を算出する（Ｓ６１）。この処理を全ピクセルについて終了したか否かを判定し（Ｓ６２）、全ピクセルについて終了したときには、子差分ムービの有効エリア切り出し処理を実行し（Ｓ６３）、このルーチンでの処理を終了する。
【００５２】
次に、最大値法を適用した場合の差分ムービの生成方法を図１３のフローチャートに従って説明する。ベースファイルとして最大値法によって得られたものを用い、各色成分、例えばＲ、Ｇ、Ｂについて最大値ムービと色違いムービとの差を算出する（Ｓ７１）。この処理を全ピクセルについて終了したか否かを判定し（Ｓ７２）、全ピクセルについて終了したときには、子差分ムービの有効エリア切り出し処理を実行し（Ｓ７３）、このルーチンでの処理を終了する。
【００５３】
次に、差分ムービの有効エリア切り出し処理を図１４のフローチャートに従って説明する。図１１〜図１３の差分ムービ生成処理を基に差分ムービを生成したあと、差分データが０以外の値を持つエリアを調べる（Ｓ８１）。差分エリアが有効エリアから外れたエリアに属する差分データを抽出し、この処理を全フレームについて終了したが否かの判定を行う（Ｓ８２）。
【００５４】
全フレームについて処理が終了したときには、差分データとして、外周に全フレームに渡って無効なエリアがあったときには、無効エリアに属する差分データを切り捨て、ムービの画面サイズを小さくするとともに、親ムービに対するこの差分ムービの相対位置ｘ、ｙを記憶しておく（Ｓ８３）。記録された情報は再生時に使用され、ムービの画面サイズを小さくすることで、このルーチンでの処理を終了する。
【００５５】
なお、小さくされた画面サイズのデータは圧縮コーディックや再生プログラムの都合の良いように、その境界を調整しても良い。この場合ＭＰＥＧなら１６整数倍とすることもできる。
【００５６】
また、ゼロデータを小さく圧縮できるので、圧縮効率を改善する効果は小さいが、再生時のデコード、合成処理では、負荷を軽減する効果がある。
【００５７】
次に、平均値法または選択法を適用した場合の色違いムービのフレームの復元方法を図１５に従って説明する。まず、平均値法または選択法を適用して色違いムービのフレームを復元するに際しては、各色成分、例えばＲ、Ｇ、Ｂ毎に、親ムービ＋２×子差分ムービ−２５６についてクリップ演算を実行する（Ｓ９１）。
【００５８】
ｃｌｉｐ(ｘ)では、例えば、[０、２５５]の飽和演算として、０以下なら０とし、２５５以上なら２５５とする演算を実行する。これは、圧縮によっては演算結果が範囲外となる場合があるので、飽和演算が必要なためである。この処理を全ピクセルについて終了したか否かを判定し（Ｓ９２）、全ピクセルについて終了したときには、このルーチンでの処理を終了する。
【００５９】
次に、最小値法を適用した場合の色違いムービのフレームの復元方法を図１６に従って説明する。まず、最小値法を適用して色違いムービのフレームを復元するに際しては、各色成分、例えばＲ、Ｇ、Ｂ毎に、（親ムービ＋子差分ムービ）についてクリップ演算を実行する（Ｓ１０１）。この処理を全ピクセルについて実行し、全ピクセルについて処理を終了したか否かを判定し（Ｓ１０２）、全ピクセルについて終了したときには、このルーチンでの処理を終了する。
【００６０】
次に、最大値法を適用した場合の色違いムービのフレームの復元方法を図１７に従って説明する。まず、最大値法を適用して色違いムービのフレームを復元するに際しては、各色成分、例えばＲ、Ｇ、Ｂ毎に、（親ムービ−子差分ムービ）についてクリップ演算を実行する（Ｓ１１１）。この処理を全ピクセルについて実行し、全ピクセルについて処理を終了したか否かを判定し（Ｓ１１２）、全ピクセルについて終了したときには、このルーチンでの処理を終了する。
【００６１】
本実施形態においては、１．５秒のムービを５１２×１６０に成形し、色違いムービとして、たとえば、各動画像の矢印の色を変更し、全部で８種類の色違いムービを作成し、差分ファイルを作らないで８本エンコードした場合、全て親ファイル（ベースファイル）となるため、全体の容量は２８８０ＫＢとなった。
【００６２】
これに対して、１本をベースファイル（親）とし、７本を差分ムービ（差分ファイル）としたときには、親ファイル＋７差分ファイル＝７４８ＫＢとなった。
【００６３】
この場合、データ削減率は０．７８／２．８＝２６％となり、元のサイズと比べて約１／４にデータを削減できることが分かった。
【００６４】
本実施形態によれば、複数の色違いムービ映像のデータをベースファイルと複数の差分ファイルに変換することで、差分ファイルの情報量が少なくなり、ベースファイルと情報量の削減された各差分ファイルを圧縮することで、全体の圧縮効率を高めることができる。
【００６５】
なお、図４，５において、動画コーディックとしてMPEGを用いた実施形態について説明したが、MPEGは一例であり他の動画コーディックに変更したり、任意の動画コーディックと組み合わせて、本発明を実現できることは勿論である。
【００６６】
なお、本発明の画像処理装置は、上記実施形態で説明したゲーム装置のみならず、複数の色違いムービー映像に基づいて画像を表示する装置、例えば、パチンコ機（第一種パチンコ機、第二種パチンコ機を含む。）、回動式遊技機（スロットマシン）、じゃん球等の遊技機、画像を利用したシミュレーション装置等に適用することも可能である。
【図面の簡単な説明】
【００６７】
【図１】本発明の一実施形態を示す画像処理装置のブロック図である。
【図２】ベースファイルのままエンコードするときの動画像の状態を説明するための図である。
【図３】１つのベースファイルと４つの差分ファイルを基にエンコードするときの動画像の状態を説明するための図である。
【図４】本実施形態に係るエンコード処理の機能ブロック図である。
【図５】本実施形態に係るデコード処理機能のブロック図である。
【図６】本実施形態に係るエンコード時の処理を説明するためのフローチャートである。
【図７】本実施形態に係る再生時の処理を説明するためのフローチャートである。
【図８】本実施形態に係る最小値法によってベースファイルを作成する方法を説明するためのフローチャートである。
【図９】本実施形態に係る平均値法によってベースファイルを作成する方法を説明するためのフローチャートである。
【図１０】本実施形態に係る最大値法によってベースファイルを作成する方法を説明するためのフローチャートである。
【図１１】本実施形態に係る平均値法または選択法による差分ムービ生成法を説明するためのフローチャートである。
【図１２】本実施形態に係る最小値法による差分ムービ生成法を説明するためのフローチャートである。
【図１３】本実施形態に係る最大値法による差分ムービ生成法を説明するためのフローチャートである。
【図１４】本実施形態に係る差分ムービの有効エリア切り出し法を説明するためのフローチャートである。
【図１５】本実施形態に係る平均値法または選択法による色違いムービのフレームの復元方法を説明するためのフローチャートである。
【図１６】本実施形態に係る最小値法による色違いムービのフレームの復元方法を説明するためのフローチャートである。
【図１７】本実施形態に係る最大値法による色違いムービのフレームの復元方法を説明するためのフローチャートである。
【符号の説明】
【００６８】
３０１ ３Ｄ処理部、３０３ ムービ映像処理部、３０４ 音声処理部、３０５ 描画プロセッサ、３０６ 同期制御部、４００〜４３０ オブジェクト
【特許請求の範囲】
【請求項１】
画像を処理する画像処理装置であって、
動画像を格納する記憶手段と、
前記記憶手段に格納された動画像を取り出して処理する映像処理手段と、を備え、
前記映像処理手段は、前記動画像のうちその一部が異なる複数の色違いムービ映像のデータをベースファイルと複数の差分ファイルに変換し、当該変換されたベースファイルと各差分ファイルを圧縮してなる、ことを特徴とする画像処理装置。
【請求項２】
前記映像処理手段は、前記複数の色違いムービ映像の各フレーム毎、各ピクセル毎、各色成分毎にそれぞれ独立に最小値を算出して前記ベースファイルを生成してなる、ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記映像処理手段は、前記複数の色違いムービ映像の各フレーム毎、各ピクセル毎、各色成分毎にそれぞれ独立に平均値を算出して前記ベースファイルを生成してなる、ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記映像処理手段は、前記複数の色違いムービ映像の各フレーム毎、各ピクセル毎、各色成分毎にそれぞれ独立に最大値を算出して前記ベースファイルを生成してなる、ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記映像処理手段は、前記複数の色違いムービ映像の中から対象となる１つの色違いムービ映像を選択して前記ベースファイルとみなしてなる、ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記映像処理手段は、前記ベースファイルと前記差分ファイルとの差分情報が存在しない領域を無効エリアとし、それ以外の領域を有効エリアとしたときに、前記変換された各差分ファイルのうち前記有効エリアから外れたデータを切り捨て、前記有効エリア内のデータを前記各差分ファイルのデータとするとともに、当該各差分ファイルのデータと前記変換されたベースファイルのデータの相対位置を記録してなる、ことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
画像を再生する画像再生装置であって、
ベースファイルと差分ファイルを含む動画像を格納する記憶手段と、
前記記憶手段に格納された動画像を取り出して再生する映像再生手段と、を備え、
前記映像再生手段は、前記ベースファイルのデータと前記差分ファイルのデータとを加算合成してなる、ことを特徴とする画像再生装置。
【請求項８】
記憶手段に格納された動画像を取り出して処理する画像処理方法であって、
前記動画像のうちその一部が異なる複数の色違いムービ映像のデータをベースファイルと複数の差分ファイルに変換する第１工程と、
前記変換されたベースファイルと各差分ファイルを圧縮する第２工程と、
備えてなる、ことを特徴とする画像処理方法。
【請求項９】
前記第１工程では、前記複数の色違いムービ映像の各フレーム毎、各ピクセル毎、各色成分毎にそれぞれ独立に最小値を算出して前記ベースファイルを生成してなる、ことを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
前記第１工程では、前記複数の色違いムービ映像の各フレーム毎、各ピクセル毎、各色成分毎にそれぞれ独立に平均値を算出して前記ベースファイルを生成してなる、ことを特徴とする請求項８に記載の画像処理方法。
【請求項１１】
前記第１工程では、前記複数の色違いムービ映像の各フレーム毎、各ピクセル毎、各色成分毎にそれぞれ独立に最大値を算出して前記ベースファイルを生成してなる、ことを特徴とする請求項７に記載の画像処理方法。
【請求項１２】
前記第１工程では、前記複数の色違いムービ映像の中から対象となる１つの色違いムービ映像を選択して前記ベースファイルとみなしてなる、ことを特徴とする請求項８に記載の画像処理方法。
【請求項１３】
前記ベースファイルと前記差分ファイルとの差分情報が存在しない領域を無効エリアとし、それ以外の領域を有効エリアとしたときに、前記変換された各差分ファイルのうち前記有効エリアから外れたデータを切り捨て、前記有効エリア内のデータを前記各差分ファイルのデータとする第３工程と、当該各差分ファイルのデータと前記変換されたベースファイルのデータの相対位置を記録する第４工程を備えてなる、ことを特徴とする請求項８に記載の画像処理方法。
【請求項１４】
記憶手段に格納された動画像を取り出して再生する画像再生方法であって、
前記記憶手段に格納された動画像のうちベースファイルと差分ファイルを取り出し、前記ベースファイルのデータと前記差分ファイルのデータとを加算合成する、画像再生方法。
【請求項１５】
請求項８乃至請求項１４のいずれか１項に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
【請求項１６】
請求項１５記載のプログラムが格納されたことを特徴とする機械読取り可能な記録媒体。
【請求項１】
画像を処理する画像処理装置であって、
動画像を格納する記憶手段と、
前記記憶手段に格納された動画像を取り出して処理する映像処理手段と、を備え、
前記映像処理手段は、前記動画像のうちその一部が異なる複数の色違いムービ映像のデータをベースファイルと複数の差分ファイルに変換し、当該変換されたベースファイルと各差分ファイルを圧縮してなる、ことを特徴とする画像処理装置。
【請求項２】
前記映像処理手段は、前記複数の色違いムービ映像の各フレーム毎、各ピクセル毎、各色成分毎にそれぞれ独立に最小値を算出して前記ベースファイルを生成してなる、ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記映像処理手段は、前記複数の色違いムービ映像の各フレーム毎、各ピクセル毎、各色成分毎にそれぞれ独立に平均値を算出して前記ベースファイルを生成してなる、ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記映像処理手段は、前記複数の色違いムービ映像の各フレーム毎、各ピクセル毎、各色成分毎にそれぞれ独立に最大値を算出して前記ベースファイルを生成してなる、ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記映像処理手段は、前記複数の色違いムービ映像の中から対象となる１つの色違いムービ映像を選択して前記ベースファイルとみなしてなる、ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記映像処理手段は、前記ベースファイルと前記差分ファイルとの差分情報が存在しない領域を無効エリアとし、それ以外の領域を有効エリアとしたときに、前記変換された各差分ファイルのうち前記有効エリアから外れたデータを切り捨て、前記有効エリア内のデータを前記各差分ファイルのデータとするとともに、当該各差分ファイルのデータと前記変換されたベースファイルのデータの相対位置を記録してなる、ことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
画像を再生する画像再生装置であって、
ベースファイルと差分ファイルを含む動画像を格納する記憶手段と、
前記記憶手段に格納された動画像を取り出して再生する映像再生手段と、を備え、
前記映像再生手段は、前記ベースファイルのデータと前記差分ファイルのデータとを加算合成してなる、ことを特徴とする画像再生装置。
【請求項８】
記憶手段に格納された動画像を取り出して処理する画像処理方法であって、
前記動画像のうちその一部が異なる複数の色違いムービ映像のデータをベースファイルと複数の差分ファイルに変換する第１工程と、
前記変換されたベースファイルと各差分ファイルを圧縮する第２工程と、
備えてなる、ことを特徴とする画像処理方法。
【請求項９】
前記第１工程では、前記複数の色違いムービ映像の各フレーム毎、各ピクセル毎、各色成分毎にそれぞれ独立に最小値を算出して前記ベースファイルを生成してなる、ことを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
前記第１工程では、前記複数の色違いムービ映像の各フレーム毎、各ピクセル毎、各色成分毎にそれぞれ独立に平均値を算出して前記ベースファイルを生成してなる、ことを特徴とする請求項８に記載の画像処理方法。
【請求項１１】
前記第１工程では、前記複数の色違いムービ映像の各フレーム毎、各ピクセル毎、各色成分毎にそれぞれ独立に最大値を算出して前記ベースファイルを生成してなる、ことを特徴とする請求項７に記載の画像処理方法。
【請求項１２】
前記第１工程では、前記複数の色違いムービ映像の中から対象となる１つの色違いムービ映像を選択して前記ベースファイルとみなしてなる、ことを特徴とする請求項８に記載の画像処理方法。
【請求項１３】
前記ベースファイルと前記差分ファイルとの差分情報が存在しない領域を無効エリアとし、それ以外の領域を有効エリアとしたときに、前記変換された各差分ファイルのうち前記有効エリアから外れたデータを切り捨て、前記有効エリア内のデータを前記各差分ファイルのデータとする第３工程と、当該各差分ファイルのデータと前記変換されたベースファイルのデータの相対位置を記録する第４工程を備えてなる、ことを特徴とする請求項８に記載の画像処理方法。
【請求項１４】
記憶手段に格納された動画像を取り出して再生する画像再生方法であって、
前記記憶手段に格納された動画像のうちベースファイルと差分ファイルを取り出し、前記ベースファイルのデータと前記差分ファイルのデータとを加算合成する、画像再生方法。
【請求項１５】
請求項８乃至請求項１４のいずれか１項に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
【請求項１６】
請求項１５記載のプログラムが格納されたことを特徴とする機械読取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２００９−２３８０４２（Ｐ２００９−２３８０４２Ａ）
【公開日】平成２１年１０月１５日（２００９．１０．１５）
【国際特許分類】
【出願番号】特願２００８−８４９９９（Ｐ２００８−８４９９９）
【出願日】平成２０年３月２７日（２００８．３．２７）
【出願人】（３０４０１２５９６）株式会社ＣＲＩ・ミドルウェア (8)
【出願人】（３９００３１７８３）サミー株式会社 (5,279)
【Ｆターム（参考）】
【公開日】平成２１年１０月１５日（２００９．１０．１５）
【国際特許分類】
【出願日】平成２０年３月２７日（２００８．３．２７）
【出願人】（３０４０１２５９６）株式会社ＣＲＩ・ミドルウェア (8)
【出願人】（３９００３１７８３）サミー株式会社 (5,279)
【Ｆターム（参考）】
[ Back to top ]