説明

画像処理装置およびプログラム

【課題】画調変換された背景画像と動画像とを違和感なく自然で見易く合成する画像処理装置を実現する。
【解決手段】CPU10は、背景画像が画調変換済みであると、動画像を構成する一連の静止画像の内、最初から最後の一つ前までの各静止画像については背景画像と類似した変換要素で画調変換を施し、最後の静止画像については背景画像と同じ変換要素で画調変換を施す。そして、最小単位時間(1フレーム周期)の経過毎に、画調変換された動画像を構成する一連の静止画像とその位置データとを順番に読み出して画調変換された背景画像上に合成表示する。この結果、背景画像と動画像との双方の画調変換の種類が相違して動画表示が違和感の有る不自然なものになったり、双方の画調変換の種類を同一にすることで動画表示が背景画像に埋没して見難いものになったりする弊害を回避し、違和感なく自然で見易く合成できる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、絵画調などの画調変換された背景画像に、絵画調などの画調に変換された動画像を合成して表示する画像処理装置およびプログラムに関する。
【背景技術】
【0002】
デジタルカメラの普及により、写真は画像データとして保存することが一般的となっている。画像データとして保存すると、撮影したデジタルカメラで閲覧することはもとより、パーソナルコンピュータに取り込んで閲覧することもできる為、写真の楽しみ方にも変化が生じている。その一例として電子写真立てとして知られるデジタルフォトフレームがある。
【0003】
デジタルフォトフレームでは、撮影した画像を額縁に飾った写真のように高精細に画面表示して鑑賞したり、BGMとして曲再生しながらスライドショー表示したりする他、画像データを保存するアルバム端末として使用できる。また、近年では、こうしたデジタルフォトフレームに搭載される画像処理装置の機能として、撮影した画像を水彩画や油彩画などの絵画調に画調変換して表示するものや、絵画調など画調変換された画像の画質を変更するものが知られている。なお、画像データを絵画調に変換する技術については例えば特許文献1に開示され、絵画調などの画質を変更する技術については例えば特許文献2に開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平8−44867号公報
【特許文献2】特公平01−46905号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、絵画調などに画調変換された背景画像に、同じく絵画調に画調変換された動画像を合成しようとする場合に、双方の画調変換の種類が相違すると、合成した画像が違和感の有る不自然なものになったり、これとは逆に、双方の画調変換の種類を同一にすると、動画が背景(静止画)に埋没し易く、とりわけ背景に対して動画のサイズが小さければその弊害が顕著となり、結果的に合成した画像が見難いものになったりするという問題が生じる。
【0006】
本発明は、このような事情に鑑みてなされたもので、画調変換された背景画像と動画像とを違和感なく自然で見易く合成することができる画像処理装置およびプログラムを提供することを目的としている。
【課題を解決するための手段】
【0007】
上記目的を達成するため、請求項1に記載の発明では、画調変換された背景画像から変換要素を検出する検出手段と、前記検出手段により検出された変換要素の内、画調の種類以外の要素の少なくとも1つの値を変更した類似変換要素を生成する変換要素発生手段と、前記変換要素発生手段により生成された類似変換要素に従って動画像を画調変換する画調変換手段と、前記画調変換手段により画調変換された動画像を、画調変換された背景画像上に合成して表示する合成表示手段とを具備することを特徴とする。
【0008】
上記請求項1に従属する請求項2に記載の発明では、前記画調変換手段は、動画像を構成する一連の静止画像の内、最初から最後の一つ前までの各静止画像については前記変換要素発生手段により生成された類似変換要素に従って画調変換を施す第1の変換手段と、動画像を構成する一連の静止画像の内、最後の静止画像については前記検出手段により検出された変換要素に従って画調変換を施す第2の変換手段とを具備することを特徴とする。
【0009】
請求項3に記載の発明では、画調変換された動画像から変換要素を検出する検出手段と、前記検出手段により検出された変換要素の内、画調の種類以外の要素の少なくとも1つの値を変更した類似変換要素を生成する変換要素発生手段と、前記変換要素発生手段により生成された類似変換要素に従って背景画像の画調を変換する画調変換手段と、前記画調変換手段により画調変換された背景画像上に、画調変換された動画像を合成して表示する合成表示手段とを具備することを特徴とする。
【0010】
請求項4に記載の発明では、コンピュータに、画調変換された背景画像から変換要素を検出する検出ステップと、前記検出ステップにて検出された変換要素の内、画調の種類以外の要素の少なくとも1つの値を変更した類似変換要素を生成する変換要素発生ステップと、前記変換要素発生ステップにより生成された類似変換要素に従って動画像を画調変換する画調変換ステップと、前記画調変換ステップにて画調変換された動画像を、画調変換された背景画像上に合成して表示する合成表示ステップとを実行させることを特徴とする。
【0011】
請求項5に記載の発明では、コンピュータに、画調変換された動画像から変換要素を検出する検出ステップと、前記検出ステップにて検出された変換要素の内、画調の種類以外の要素の少なくとも1つの値を変更した類似変換要素を生成する変換要素発生ステップと、前記変換要素発生ステップにより生成された類似変換要素に従って背景画像を画調変換する画調変換ステップと、前記画調変換ステップにて画調変換された背景画像上に、画調変換された動画像を合成して表示する合成表示ステップとを実行させることを特徴とする。
【発明の効果】
【0012】
本発明では、画調変換された背景画像と動画像とを違和感なく自然で見易く合成することができる。
【図面の簡単な説明】
【0013】
【図1】実施の一形態による画像処理装置100の構成を示すブロック図である。
【図2】RAM12のメモリ構成を示すメモリマップである。
【図3】データメモリ13のメモリ構成を示すメモリマップである。
【図4】画像データのデータ形式を説明するための図である。
【図5】筆触パターンの一例を示す図である。
【図6】メインルーチンの動作を示すフローチャートである。
【図7】スイッチ処理の動作を示すフローチャートである。
【図8】背景選択スイッチ処理の動作を示すフローチャートである。
【図9】動画選択スイッチ処理の動作を示すフローチャートである。
【図10】変換スイッチ処理の動作を示すフローチャートである。
【図11】動画スタートスイッチ処理の動作を示すフローチャートである。
【図12】動画スタートスイッチ処理の動作を示すフローチャートである。
【図13】変換処理の動作を示すフローチャートである。
【図14】画像変換処理の動作を示すフローチャートである。
【図15】画像変換処理の動作を示すフローチャートである。
【図16】画像変換処理の動作の一例を説明するための図である。
【図17】表示処理の動作を示すフローチャートである。
【発明を実施するための形態】
【0014】
以下、図面を参照して本発明の実施形態について説明する。
A.構成
図1は実施の一形態による画像処理装置100の電気的構成を示すブロック図である。この図において、CPU10は、操作部14が発生する各種スイッチイベントに応じて装置各部を制御する。本発明の要旨に係わるCPU10の処理動作については追って詳述する。ROM11には、CPU10にロードされる各種の制御プログラムや制御データが記憶される。各種の制御プログラムとは、後述のメインルーチン、スイッチ処理、変換処理および表示処理を含む。なお、スイッチ処理は、背景選択スイッチ処理、動画選択スイッチ処理、変換スイッチ処理および動画スタートスイッチ処理から構成される。また、動画スタートスイッチ処理と変換処理とは、画像変換処理を含む。
【0015】
RAM12は、図2に図示するように、バックグラウンドエリアBGE、オブジェクトエリアOBE、変換画像エリアTME、変換元画像エリアTHEおよびワークエリアWEから構成される。バックグラウンドエリアBGEには、絵画調に画調変換された背景画像が一時記憶される。オブジェクトエリアOBEには、絵画調に画調変換された動画像を構成する静止画像が、対応する位置データと共に一時記憶される。
【0016】
変換画像エリアTMEには、絵画調変換された背景画像もしくは絵画調変換された動画像を構成する複数の静止画像が一時記憶される。変換元画像エリアTHEは、絵画調変換する為の作業エリアであり、絵画調変換の対象としてデータメモリ13からコピーされる動画像(複数の静止画像)もしくは背景画像が一時記憶される。ワークエリアWEには、CPU10の処理に用いられる各種レジスタ・フラグデータが一時記憶される。
【0017】
データメモリ13は、図3に図示するように、背景画像データエリアBE、動画像データエリアMEおよび筆触パターンエリアHEを備える。背景画像データエリアBEには、複数の背景画像(1)〜(N)が格納される。なお、本実施形態で扱う画像は、例えば図4に図示するn行m列の画素P(1)〜P(n×m)からなる公知のビットマップ形式で表現されるものとする。動画像データエリアMEには、複数の動画像(1)〜(N)が格納される。一つの動画像は、例えば連写撮影画像から動く被写体を切り出して生成した複数の静止画像(1)〜(n)と、これら各静止画像(1)〜(n)毎に設けられ、オブジェクト上の表示位置を表す位置データから構成される。
【0018】
筆触パターンエリアHEには、筆触図形(タッチ形状)を示す複数種の筆触パターンHP(1)〜HP(N)が格納される。これら筆触パターンHP(1)〜HP(N)は、上述の変換元画像エリアTHE(図2参照)にストアされた静止画像(又は背景画像)を、絵画調の画像に変換する際に用いられる。例えば油彩画における筆触図形であれば、図5に図示する一例の筆触パターンHP(1)〜HP(4)が筆触パターンエリアHEに登録される。筆触パターンHP(1)は、筆触図形1を形成する10個の画素から構成される。筆触パターンHP(2)は、筆触図形2を形成する13個の画素から構成される。筆触パターンHP(3)は、筆触図形3を形成する13個の画素から構成される。筆触パターンHP(4)は、筆触図形4を形成する9個の画素から構成される。
【0019】
操作部14は、装置パネルに配設される各種操作スイッチを有し、ユーザ操作されるスイッチ種に対応したスイッチイベントを発生する。スイッチイベントはCPU10に取り込まれる。この操作部14には、電源をパワーオンオフする電源スイッチの他、背景画像を選択する背景選択スイッチ、動画像を選択する動画選択スイッチ、背景画像の絵画調変換を指示する変換スイッチ、動画表示の開始を指示する動画スタートスイッチ等が設けられる。表示部15は、カラー液晶パネル等から構成され、CPU10から供給される表示制御信号に応じて、絵画調変換された背景画像を表示すると共に、その背景画像上に絵画調変換された動画像を動画表示する。
【0020】
B.動作
次に、図6〜図17を参照して上記構成による実施形態の動作について説明する。以下では、画像処理装置100のCPU10が実行するメインルーチン、当該メインルーチンからコールされるスイッチ処理、変換処理および表示処理の各動作について述べる。
【0021】
(1)メインルーチンの動作
ユーザの電源スイッチ操作に応じてパワーオンされると、CPU10は図7に図示するメインルーチンのステップSA1に処理を進め、RAM12のワークエリアWE(図2参照)に設けられる各種レジスタ・フラグデータをゼロリセットもしくは初期値セットするイニシャライズを実行する。イニシャライズが完了すると、ステップSA2を介してスイッチ処理を実行する。スイッチ処理では、背景選択スイッチ操作で背景画像(HG)を選択したり、動画選択スイッチ操作で動画(DG)を選択したりする他、変換スイッチ操作により背景画像(HG)の絵画調変換の実行を指示し、さらに動画スタートスイッチ操作に応じて動画スタートスイッチ処理を実行させる。
【0022】
後述するように、動画スタートスイッチ処理では、背景画像(HG)が絵画調変換されてバックグラウンドエリアBGEに転送済みであると、動画選択スイッチ操作に応じて選択された動画像(DG)を構成する一連の静止画像の内、最初から最後の一つ前までの各静止画像については背景画像(HG)と類似する変換要素で絵画調変換し、最後の静止画像については背景画像(HG)と同じ変換要素で絵画調変換して変換画像エリアTMEに格納する。そして、変換画像エリアTMEから動画像(DG)を構成する一連の静止画像および位置データを読み出し、読み出した静止画像を位置データの示すオブジェクトエリアOBEにストアした後、フレーム周期に相当する最小単位時間を計時するタイマカウンタをスタートさせる。
【0023】
続いて、ステップSA3では、変換処理を実行する。後述するように、変換処理では、背景画像(HG)を絵画調変換する前に、既に動画像(DG)が絵画調変換済みであると、絵画調変換済みの動画像(DG)を構成する静止画像から変換要素を検出し、検出した変換要素の内、絵画調の種類で指定される筆触パターンHP(タッチの形状)以外の要素(「大きさ」、「長さ」、「角度」、「重なり具合(離間値N)」、「色のばらつき具合」等)の少なくとも1つの値を変更して生成される動画像(DG)の絵画調変換要素に類似した絵画調変換要素に基づき背景画像(HG)を絵画調変換してRAM12のバックグラウンドエリアBGEにストアする。
【0024】
次いで、ステップSA4では、表示処理を実行する。後述するように、表示処理では、動画表示の開始が指示される前ならば、RAM12のバックグラウンドエリアBGEにストアされた絵画調変換前の背景画像(HG)と、オブジェクトエリアOBEにストアされた絵画調変換前の動画像(DG)を構成する最初の静止画像とを合成して表示部15に画面表示しておき、動画スタートスイッチ操作により動画表示の開始が指示されると、最小単位時間(1フレーム周期)が経過する毎に歩進される画像読み出しアドレスADに応じて、絵画調変換された動画像(DG)を構成する一連の静止画像とその位置データとを順番に読み出して絵画調変換された背景画像(HG)上に合成表示することで絵画調変換された動画像(DG)を動画表示する。
【0025】
続いて、ステップSA5では、例えばユーザ操作に応じて装置の動作状態や設定状態などを表示部16に表示する等の、その他の処理を実行した後、上述のステップSA2に処理を戻す。以後、パワーオフされるまで上述したステップSA2〜SA6の各処理を繰り返し実行する。
【0026】
(2)スイッチ処理の動作
次に、図7〜図12を参照してスイッチ処理の動作を説明する。上述したメインルーチンのステップSA2(図6参照)を介してスイッチ処理が実行されると、CPU10は図7に図示するステップSB1に進み、背景選択スイッチ処理を実行する。背景選択スイッチ処理が実行されると、図8に図示するステップSC1に進み、背景選択スイッチのオン操作の有無を判断する。オン操作されなければ、判断結果は「NO」になり、背景選択スイッチ処理を完了させるが、オン操作されると、判断結果が「YES」になり、ステップSC2に進む。
【0027】
ステップSC2では、オン操作された背景選択スイッチに対応付けられた背景画像番号をレジスタHGにストアする。以下、レジスタHGの内容を背景画像番号HGと称す。背景画像番号HGは、データメモリ13の背景画像データエリアBE(図3参照)に格納される背景画像(HG)を指定する。次いで、ステップSC3では、背景画像が選択されたことを表す為、フラグHFに「1」をセットして本処理を終える。
【0028】
背景選択スイッチ処理が完了すると、CPU10はステップSB2(図7参照)を介して動画選択スイッチ処理を実行し、図9に図示するステップSD1に処理を進め、動画選択スイッチのオン操作の有無を判断する。オン操作されなければ、判断結果は「NO」になり、曲選択スイッチ処理を完了させるが、オン操作されると、判断結果が「YES」になり、ステップSD2に進む。ステップSD2では、RAM12の変換画像エリアTME(図2参照)をクリアし、続くステップSD3では、オン操作された動画選択スイッチに対応付けられた動画像番号をレジスタDGにストアして本処理を終える。以下、レジスタDGの内容を動画像番号DGと称す。動画像番号DGは、データメモリ13の動画像データエリアME(図3参照)に格納される動画像(DG)を指定する。
【0029】
そして、動画選択スイッチ処理が完了すると、CPU10はステップSB3(図7参照)を介して変換スイッチ処理を実行し、図10に図示するステップSE1に処理を進め、変換スイッチのオン操作の有無を判断する。オン操作されなければ、判断結果は「NO」になり、変換スイッチ処理を完了させるが、オン操作されると、判断結果が「YES」となり、ステップSE2に進み、背景選択スイッチ操作で選択された背景画像(HG)を絵画調変換する変換処理(後述する)の実行を指示する為に、フラグAFに「1」をセットして本処理を終える。
【0030】
続いて、CPU10は図7に図示するステップSB4を介して動画スタートスイッチ処理を実行し、図11に図示するステップSF1に処理を進め、動画スタートスイッチのオン操作の有無を判断する。オン操作されなければ、判断結果は「NO」になり、動画スタートスイッチ処理を完了させるが、オン操作されると、判断結果が「YES」になり、ステップSF2に進む。ステップSF2では、RAM12のバックグラウンドエリアBGEに変換画像が格納されているか否か、すなわち背景選択スイッチ操作で選択された背景画像(HG)が絵画調変換されてバックグラウンドエリアBGEに転送済みであるかどうかを判断する。バックグラウンドエリアBGEに絵画調変換された背景画像(HG)がストアされていなければ、判断結果は「NO」になり、後述のステップSF14(図12参照)に処理を進める。
【0031】
これに対し、バックグラウンドエリアBGEに絵画調変換された背景画像(HG)がストアされていると、上記ステップSF2の判断結果は「YES」になり、ステップSF3に進む。ステップSF3では、絵画調変換された背景画像(HG)から変換要素を検出する。変換要素とは、絵画調の種類で指定される筆触パターンHP(タッチの形状)と、その「大きさ」、「長さ」、「角度」、「重なり具合(離間値N)」、「色のばらつき具合」等を指す。
【0032】
絵画調変換された背景画像(HG)から変換要素を検出すると、ステップSF4に進み、上述の変換要素の内、絵画調の種類で指定される筆触パターンHP(タッチの形状)以外の要素(「大きさ」、「長さ」、「角度」、「重なり具合(離間値N)」、「色のばらつき具合」等)の少なくとも1つの値を変更する。つまり、背景画像(HG)の絵画調変換要素に類似した絵画調変換要素を発生する。
【0033】
次に、ステップSF5に進むと、データメモリ13の動画像データエリアME(図3参照)において動画選択スイッチ操作で選択された動画像(DG)の先頭アドレスをレジスタADにストアする。以下、レジスタADの内容を画像読み出しアドレスADと称す。次いで、ステップSF6では、画像読み出しアドレスADに応じて、動画像(DG)を構成する最初の静止画像および位置データを読み出す。続いて、ステップSF7では、画像読み出しアドレスADに応じて読み出された静止画像を、背景画像(HG)の絵画調変換要素に類似した絵画調変換要素に基づき絵画調に変換する画像変換処理を実行する。
【0034】
ステップSF7を介して実行される画像変換処理では、後述するように、変換元画像エリアTHEにコピーされた静止画像から任意選択した開始画素Pを起点として、画素数(離間値N)置きの各画素をパターン始点となるように各筆触パターンHPの重なり具合を決め、静止画像から各パターン始点の画素に対応する色Cpを取得し、取得した色Cpに従って対応する筆触パターンを塗り潰すことによって静止画像が絵画調(例えば油彩画)に変換される。
【0035】
ステップSF7の画像変換処理が完了すると、ステップSF8に進み、絵画調変換された静止画像と、画像読み出しアドレスADに応じて読み出された位置データとを変換画像エリアTME(図2参照)にストアする。次いで、ステップSF9では、画像読み出しアドレスADをインクリメントして歩進させ、続くステップSF10(図12参照)では、歩進された画像読み出しアドレスADが最終アドレスに達したか否か、すなわち動画像(DG)を構成する一連の静止画像の内、最後の一つ前の静止画像まで絵画調変換し終えたかどうかを判断する。
【0036】
最後の一つ前の静止画像まで絵画調変換し終えていなければ、判断結果は「NO」になり、前述したステップSF6(図11参照)に処理を戻す。以後、動画像(DG)を構成する一連の静止画像の内、最後の一つ前の静止画像まで絵画調変換し終えるまでステップSF6〜SF10を繰り返す。そして、最後の一つ前の静止画像まで絵画調変換し終え、画像読み出しアドレスADが最終アドレスに達すると、上記ステップSF10の判断結果が「YES」になり、ステップSF11に進む。
【0037】
ステップSF11では、最終アドレスに達した画像読み出しアドレスADに応じて、動画像(DG)を構成する一連の静止画像の内、最後の静止画像を読み出す一方、前述のステップSF4において変更した変換要素の値を元に戻す。すなわち、背景画像(HG)を絵画調変換した際の変換要素に戻す。そして、ステップSF12を介して画像変換処理を実行し、動画像(DG)を構成する一連の静止画像の内、最後の静止画像について背景画像(HG)と同じ変換要素を用いて絵画調変換を施す。
【0038】
つまり、動画像(DG)を構成する一連の静止画像の内、最初から最後の一つ前までの各静止画像については背景画像(HG)の絵画調変換要素に類似した絵画調変換要素で絵画調変換し、最後の静止画像については背景画像(HG)と同じ絵画調変換要素で絵画調変換するのである。こうした点が意図するところについては追って述べる。
【0039】
最後の静止画像について背景画像(HG)と同じ絵画調変換が施されると、ステップSF13に進み、絵画調変換された静止画像と、画像読み出しアドレスADに応じて読み出された位置データとを変換画像エリアTME(図2参照)にストアする。そして、ステップSF14に進み、スタートフラグSTFを「1」にセットして動画表示の開始を指示する。
【0040】
次いで、ステップSF15に進むと、絵画調変換された動画像(DG)が変換画像エリアTME(図2参照)に格納済みであるか否かを判断する。絵画調変換された動画像(DG)が格納済みの場合、すなわち絵画調変換された背景画像(HG)がバックグラウンドエリアBGEに格納済みとなっているのに対応して、前述のステップSF3〜SF13を実行して動画像(DG)を構成する一連の静止画像について絵画調変換を施して変換画像エリアTMEにストアした場合には、判断結果が「YES」になり、ステップSF16に進み、変換画像エリアTMEにストアした動画像(DG)の先頭アドレスを画像読み出しアドレスADにセットした後、ステップSF18に進む。
【0041】
一方、絵画調変換された背景画像(HG)がバックグラウンドエリアBGEに格納されておらず、これにより前述のステップSF2(図11参照)の判断結果が「NO」となって、前述のステップSF3〜SF13を実行せずに上記ステップSF14に進んだ結果、絵画調変換された動画像(DG)が変換画像エリアTMEにストアされていない状態では、上記ステップSF15の判断結果は「NO」になり、ステップSF17に進み、データメモリ13の動画像データエリアME(図3参照)において、動画選択スイッチ操作に応じて選択された動画像(DG)の先頭アドレスを画像読み出しアドレスADにセットした後、ステップSF18に進む。
【0042】
このように、絵画調変換された動画像(DG)が変換画像エリアTMEに格納済みならば、絵画調変換された動画像(DG)を構成する一連の静止画像を画像読み出しアドレスADに応じて読み出すようにし、一方、背景画像(HG)が絵画調変換されておらず、これに対応して変換画像エリアTMEに絵画調変換された動画像(DG)が格納されていなければ、データメモリ13の動画像データエリアMEから動画像(DG)を画像読み出しアドレスADに応じてそのまま読み出すようにする。
【0043】
そして、ステップSF18に進むと、画像読み出しアドレスADに応じて、RAM12の変換画像エリアTME(又はデータメモリ13の動画像データエリアME)から静止画像および位置データを読み出し、続くステップSF19では、読み出された静止画像を、位置データの示すオブジェクトエリアOBEにストアする。この後、ステップSF20に進み、フレーム周期に相当する最小単位時間を計時するタイマカウンタをスタートさせて本処理を終える。
【0044】
以上のように、動画スタートスイッチ処理では、背景画像(HG)が絵画調変換されてバックグラウンドエリアBGEに転送済みであると、動画選択スイッチ操作に応じて選択された動画像(DG)を構成する一連の静止画像の内、最初から最後の一つ前までの各静止画像については背景画像(HG)と類似する変換要素で絵画調変換し、最後の静止画像については背景画像(HG)と同じ変換要素で絵画調変換して変換画像エリアTMEに格納する。そして、変換画像エリアTMEから動画像(DG)を構成する一連の静止画像および位置データを読み出し、読み出した静止画像を位置データの示すオブジェクトエリアOBEにストアした後、フレーム周期に相当する最小単位時間を計時するタイマカウンタをスタートさせる。
【0045】
こうした動画スタートスイッチ処理が完了すると、CPU10は図7に図示するステップSB5に進み、例えばユーザのスイッチ操作に応じて絵画調変換の種類(水彩画、油彩画(印象派)、油彩画(野獣派)、ガッシュ画、パステル画など)を選択する等の、その他のスイッチ処理を実行した後、スイッチ処理を完了させる。
【0046】
(3)変換処理の動作
次に、図13を参照して変換処理の動作を説明する。前述したメインルーチンのステップSA3(図6参照)を介して本処理が実行されると、CPU10は図13に図示するステップSG1に進み、フラグAFが「1」であるか否かを判断する。変換スイッチがオン操作されなければ、フラグAFに「1」がセットされないので、判断結果は「NO」になり、本処理を終えるが、変換スイッチのオン操作に応じてフラグAFが「1」にセットされると、判断結果は「YES」になり、ステップSG2に進む。
【0047】
ステップSG2では、RAM12の変換画像エリアTMEに絵画調変換された静止画像(動画像(DG))が格納されているか否かを判断する。絵画調変換された静止画像がストアされていなければ、判断結果は「NO」になり、後述のステップSG5に処理を進めるが、絵画調変換された静止画像がストアされていると、上記ステップSG2の判断結果は「YES」になり、ステップSG3に進む。ステップSG3では、絵画調変換された静止画像から変換要素を検出する。変換要素とは、絵画調の種類で指定される筆触パターンHP(タッチの形状)と、その「大きさ」、「長さ」、「角度」、「重なり具合(離間値N)」、「色のばらつき具合」等を指す。
【0048】
絵画調変換された静止画像から変換要素を検出すると、ステップSG4に進み、上述の変換要素の内、絵画調の種類で指定される筆触パターンHP(タッチの形状)以外の要素(「大きさ」、「長さ」、「角度」、「重なり具合(離間値N)」、「色のばらつき具合」等)の少なくとも1つの値を変更する。つまり、動画像(DG)の絵画調変換要素に類似した絵画調変換要素を発生する。
【0049】
続いて、ステップSG5では、背景選択スイッチ操作で選択された背景画像(HG)をデータメモリ13の背景画像データエリアBEから読み出し、続くステップSG6では、読み出した背景画像(HG)を、動画像(DG)の絵画調変換要素に類似した絵画調変換要素に基づき絵画調に変換する画像変換処理を実行する。次いで、ステップSG7では、絵画調変換された背景画像(HG)をRAM12のバックグラウンドエリアBGE(図2参照)にストアした後、ステップSG8に進み、フラグAFをゼロリセットして本処理を終える。
【0050】
このように、変換処理では、背景画像(HG)の絵画調変換以前に、既に動画像(DG)が絵画調変換済みならば、その動画像(DG)を構成する静止画像から変換要素を検出し、検出した変換要素の内、絵画調の種類で指定される筆触パターンHP(タッチの形状)以外の要素(「大きさ」、「長さ」、「角度」、「重なり具合(離間値N)」、「色のばらつき具合」等)の少なくとも1つの値を変更して生成される、動画像(DG)の絵画調変換要素に類似した絵画調変換要素に基づき背景画像(HG)を絵画調変換してRAM12のバックグラウンドエリアBGEにストアする。
【0051】
(4)画像変換処理の動作
次に、図14〜図16を参照して画像変換処理の動作を説明する。前述した動画スタートスイッチ処理のステップSF7(図11参照)、ステップSF12(図12参照)あるいは上述した変換処理のステップSG5(図13参照)の何れかを介して本処理が実行されると、CPU10は図14に図示するステップSH1に進む。ステップSH1では、データメモリ13の筆触パターンエリアHE(図3参照)に格納される各種筆触パターンHP(1)〜(N)の中から、前述したステップSB5の、その他のスイッチ処理で指定された絵画調の種類に対応付けられた筆触パターンを、他の変換要素(「大きさ」、「長さ」、「角度」、「重なり具合(離間値N)」、「色のばらつき具合」等)で修飾して設定する。ここでは、説明の簡略化を図る為、例えば筆触パターンHP(1)を設定したとする。
【0052】
続いて、ステップSH2では、画像読み出しアドレスADに応じて、データメモリ13の動画像データエリアME(図3参照)から読み出された静止画像(DG)をRAM12の変換元画像エリアTHE(図2参照)にコピーする。そして、ステップSH3では、変換元画像エリアTHEにコピーされた静止画像(DG)において、変換を開始する開始画素Pを設定する。開始画素Pは、ビットマップ形式の画素P(1)〜P(n×m)の何れか一つを選択する。具体的には、例えば図16(a)に図示する変換画像エリアTMEの画素P(1)を開始画素Pに設定する。
【0053】
次に、ステップSH4では、離間値Nを設定する。離間値Nとは、図16(a)に図示する通り、開始画素Pに設定した画素P(1)と次に変換を開始する画素P(2)との間の離間距離を画素数で表すものであり、筆触パターンHPの重なり具合を表す。前述の動画スタート処理のステップSF4(図11参照)や、変換処理のステップSG4(図13参照)において「重なり具合(離間値N)」が変更対象の変換要素とされた場合には、その変更された値の「重なり具合(離間値N)」に設定し、一方、変更対象の変換要素でなければ、絵画調変換された背景画像(HG)(又は動画像(DG))と同じ値の「重なり具合(離間値N)」に設定する。
【0054】
次いで、ステップSH5では、変換元画像エリアTHEにコピーされた静止画像(DG)において、変換を開始する開始画素P(画素P(1))の色Cpを取得する。続いて、ステップSH6では、上記ステップSH1で設定された筆触パターンHP(1)を構成する画素の番号を指定するポインタnに初期値「1」をセットする。そして、図15に図示するステップSH7に進み、変換元画像エリアTHEの開始画素Pと同じ位置の画素に、上記ステップSH1で設定された筆触パターンHP(1)の1番目の画素を合わせる。なお、筆触パターンHP(1)は、図5に図示する一例のように、筆触図形1を形成する10個の画素から構成される。
【0055】
続いて、ステップSH8では、1番目の画素が開始画素Pに位置合わせされた筆触パターンHP(1)において、ポインタnで指定されるn番目の画素に対応した画素を検索する。ステップSH9では、その検索した画素が対象画像内に収まっているか否かを判断する。対象画像外ならば、判断結果は「NO」になり、後述のステップSH11に進む。一方、検索した画素が対象画像内に収まっていれば、判断結果は「YES」となり、ステップSH10に進み、その検索した画素の色を、上記ステップSH5で取得した色Cpに設定する。この後、ステップSH11に進み、ポインタnをインクリメントして歩進させる。
【0056】
次いで、ステップSH12では、歩進されたポイントnの値が筆触パターンHP(1)の最終画素の番号以上になったか否か、つまり筆触パターンHP(1)を構成する全ての画素について色設定し終えたかどうかを判断する。全ての画素について色設定し終えていなければ、判断結果は「NO」になり、ステップSH8に処理を戻す。以後、筆触パターンHP(1)を構成する全ての画素について色設定し終えるまで上記ステップSH8〜SH12を繰り返す。これにより、上述の一例の場合、図16(b)に図示する通り、画素P(1)に対応する位置の開始画素Pを1番目の画素とした筆触パターンHP(1)が、ステップSH5で取得した色Cpで塗り潰されることになる。
【0057】
こうして、最初の開始画素P(画素P(1))について筆触パターンHP(1)による塗り潰しを終えると、上記ステップSH12の判断結果が「YES」になり、ステップSH13に進み、開始画素P(画素P(1))に離間値Nを加算して次の開始画素P(画素P(2))に更新する。そして、ステップSH14に進むと、更新された次の開始画素P(画素P(2))が最終画素に達したか否かを判断する。
【0058】
更新された次の開始画素P(画素P(2))が最終画素に達していない場合には、判断結果は「NO」になり、図14に図示したステップSH5以降の処理を繰り返す。これにより、例えば図16(a)に図示するように、離間値Nを隔てて並ぶ画素P(1)、P(2)、P(3)がそれぞれ開始画素Pに設定された場合には、これら開始画素Pを1番目画素として配置された筆触パターンHP(1)が、同図16(b)に図示する通り、そ
れぞれの取得色Cpで塗り潰されて重ね合わされる結果、同図(c)のように筆触図形1のタッチで描かれる油彩画として画像変換される。そして、更新された次の開始画素Pが最終画素に達した場合には、上述したステップSH14の判断結果は「YES」となり、本処理を終える。
【0059】
このように、画像変換処理では、変換元画像エリアTHEにコピーされた静止画像(DG)から任意選択した開始画素Pを起点として、画素数(離間値N)置きの各画素をパターン始点となるように各筆触パターンHPの重なり具合を決め、静止画像(DG)から各パターン始点の画素に対応する色Cpを取得し、取得した色Cpに従って対応する筆触パターンを塗り潰すことによって静止画像(DG)が絵画調(例えば油彩画)に変換される。
【0060】
(5)表示処理の動作
次に、図17を参照して表示処理の動作を説明する。前述したメインルーチンのステップSA4(図6参照)を介して本処理が実行されると、CPU10は図17に図示するステップSJ1に進み、フラグHFが「1」であるか否か、すなわち背景画像(HG)を選択済みであるかどうかを判断する。背景画像(HG)が未選択(フラグHFが「0」)ならば、判断結果は「NO」になり、後述のステップSJ4に進む。
【0061】
一方、背景画像(HG)を選択済みで、フラグHFが「1」であると、上記ステップSJ1の判断結果は「YES」になり、ステップSJ2に進む。ステップSJ2では、背景選択スイッチ操作により選択された背景画像(HG)をデータメモリ13の背景画像データエリアBEから読み出してRAM12のバックグラウンドエリアBGEにストアし、続くステップSJ3ではフラグHFをゼロリセットする。
【0062】
そして、ステップSJ4に進むと、スタートフラグSTFが「1」であるか否か、すなわち前述した動画スタートスイッチ処理(図11〜図12参照)において、絵画調変換し終えた動画像(DG)の動画表示をスタートさせているかどうかを判断する。動画表示をスタートさせておらず、スタートフラグSTFが「0」であると、ここでの判断結果は「NO」になり、ステップSJ5に進み、RAM12のバックグラウンドエリアBGEにストアされた絵画調変換前の背景画像(HG)と、RAM12のオブジェクトエリアOBEにストアされた絵画調変換前の動画像(DG)を構成する最初の静止画像とを合成して表示部15に画面表示する。
【0063】
さて、こうして絵画調変換前の背景画像(HG)と、絵画調変換前の動画像(DG)を構成する最初の静止画像とが合成されて画面表示された後に、前述の変換処理(図13参照)において絵画調変換された背景画像(HG)がRAM12のバックグラウンドエリアBGEにストアされ、かつ動画スタートスイッチ処理(図11〜図12参照)において絵画調変換し終えた動画像(DG)の動画表示をスタートさせた状態で本処理が実行されたとする。そうすると、上記ステップSJ1の判断結果が「NO」となり、ステップSJ4に進み、当該ステップSJ4の判断結果が「YES」となってステップSJ6に進む。
【0064】
ステップSJ6では、前述のステップSF20(図12参照)においてタイマカウンタをスタートさせてから最小単位時間(1フレーム周期)が経過したか否かを判断する。最小単位時間が経過していなければ、判断結果は「NO」になり、ステップSJ5に進む。この場合、ステップSJ5では、絵画調変換された背景画像(HG)と、絵画調変換された動画像(DG)を構成する最初の静止画像とが合成表示される。合成表示の態様は、背景画像(HG)の絵画調変換と類似の変換要素に基づき動画像(DG)を絵画調変換した場合と、動画像(DG)の絵画調変換と類似の変換要素に基づき背景画像(HG)を絵画調変換した場合とで異なる。
【0065】
つまり、前者の場合には、絵画調変換された背景画像(HG)上に、当該背景画像(HG)の絵画調変換と類似の変換要素に基づき絵画調変換された動画像(DG)を構成する最初の静止画像が位置データで指定される箇所に合成表示され、一方、後者の場合であると、動画像(DG)の絵画調変換と類似の変換要素に基づき絵画調変換された背景画像(HG)上に、絵画調変換された動画像(DG)を構成する最初の静止画像が位置データで指定される箇所に合成表示される。
【0066】
こうして、絵画調変換された動画像(DG)を構成する最初の静止画像が背景画像(HG)上に合成表示された後に最小単位時間(1フレーム周期)が経過すると、上述したステップSJ6の判断結果が「YES」になり、ステップSJ7に進み、画像読み出しアドレスADをインクリメントして歩進させる。次いで、ステップSJ8では、歩進された画像読み出しアドレスADが最終アドレス以下であるか否かを判断する。
【0067】
歩進された画像読み出しアドレスADが最終アドレス以下ならば、判断結果は「YES」になり、ステップSJ9に進む。ステップSJ9では、RAM12のオブジェクトエリアOBEをクリアし、続くステップSJ10では、歩進された画像読み出しアドレスADに応じて、RAM12の変換画像エリアTMEから次の静止画像および位置データを読み出し、読み出した静止画像を、位置データの示すオブジェクトエリアOBEにストアした後、上述のステップSJ5に進む。これにより、次の静止画像が背景画像(HG)上に合成表示される。
【0068】
以後、最小単位時間(1フレーム周期)が経過する毎に画像読み出しアドレスADをインクリメントして歩進させ、歩進された画像読み出しアドレスADに応じて、絵画調変換された動画像(DG)を構成する一連の静止画像とその位置データとを順番に読み出して背景画像(HG)上に合成表示することで絵画調変換された動画像(DG)が動画として表示される。
【0069】
そして、歩進された画像読み出しアドレスADが最終アドレスを超え、絵画調変換された動画像(DG)を構成する一連の静止画像を全て読み出し終えると、上記ステップSJ8の判断結果が「NO」になり、ステップSJ11に進み、スタートフラグSTFをゼロリセットして動画表示停止を表し、続くステップSJ12では、最小単位時間を計時するタイマカウンタを停止させた後、上述のステップSJ5に進む。これにより、最後の静止画像が停止した状態で背景画像(HG)上に合成表示される。
【0070】
このように、表示処理では、動画表示の開始が指示される前ならば、RAM12のバックグラウンドエリアBGEにストアされた絵画調変換前の背景画像(HG)と、オブジェクトエリアOBEにストアされた絵画調変換前の動画像(DG)を構成する最初の静止画像とを合成して表示部15に表示しておき、動画スタートスイッチ操作により動画表示の開始が指示されると、最小単位時間(1フレーム周期)が経過する毎に歩進される画像読み出しアドレスADに応じて、絵画調変換された動画像(DG)を構成する一連の静止画像とその位置データとを順番に読み出して絵画調変換された背景画像(HG)上に合成表示することで絵画調変換された動画像(DG)を動画表示する。
【0071】
以上説明したように、本実施形態では、背景画像(HG)が絵画調変換済みであると、動画像(DG)を構成する一連の静止画像の内、最初から最後の一つ前までの各静止画像については背景画像(HG)と類似した変換要素で絵画調変換を施し、最後の静止画像については背景画像(HG)と同じ変換要素で絵画調変換を施す。そして、最小単位時間(1フレーム周期)の経過毎に、絵画調変換された動画像(DG)を構成する一連の静止画像とその位置データとを順番に読み出して絵画調変換された背景画像(HG)上に合成表示するので、背景画像(HG)と動画像(DG)との双方の絵画調変換の種類が相違して動画表示が違和感の有る不自然なものになったり、これとは逆に、双方の絵画調変換の種類を同一にすることで動画表示が背景画像(HG)に埋没して見難いものになったりする弊害を回避し、絵画調変換された背景画像と動画像とを違和感なく自然で見易く合成することができる。
【0072】
また、動画像(DG)を構成する一連の静止画像の内、最後の静止画像については背景画像(HG)と同じ変換要素で絵画調変換を施すようにしたので、絵画調変換された背景画像と動画表示が完了した動画像とを違和感なく自然で見易く合成することができる。
【0073】
さらに、本実施形態では、背景画像(HG)の絵画調変換以前に、既に動画像(DG)が絵画調変換済みならば、その動画像(DG)を構成する静止画像から検出した絵画調変換要素の内の少なくとも1つの値を変更して動画像(DG)の絵画調変換要素に類似した絵画調変換要素を生成し、それに基づき絵画調変換された背景画像(HG)上に、絵画調変換された動画像(DG)を合成表示するので、絵画調変換された背景画像と動画像とを違和感なく自然で見易く合成することができる。
【0074】
なお、上述した実施形態では、絵画調変換された静止画の背景画像(HG)上に、絵画調変換された一連の静止画像から構成される動画像(DG)を合成表示する一例について言及したが、本発明の要旨はこれに限定されず、絵画調変換された一連の静止画像から構成される背景動画像上に、絵画調変換された一連の静止画像から構成される動画像(DG)を合成表示する態様にも適用可能である。この場合、例えば背景動画像を構成する各静止画について類似性を維持させながら個々の異ならせた絵画調変換要素に基づき絵画調変換を施し、一方、動画像(DG)を構成する各静止画については背景動画像を構成する各静止画の絵画調変換要素に各々類似した絵画調変換要素を生成し、それに基づき絵画調変換を施し、そうして得られた背景動画像上に動画像(DG)を合成表示すれば、絵画調変換された動画同士を違和感なく自然で見易く合成し得るようになる。
【0075】
また、本発明においては、背景画像(HG)及び動画像(DG)ともに、ひとつの画像処理装置に記憶する構成としていたが、画像処理装置がネットワークを介してサーバーに接続可能でかつ、背景画像(HG)はサーバー側に記憶される構成としてもよい。このように構成することにより、画像処理装置は、必要な背景画像(HG)をサーバーから取り出して、当該処理装置内部にある動画像(DG)と合成させる。これにより動画像(DG)は、より多くの背景画像(HG)と組み合わせて合成することが可能となる。
あるいは、画像処理装置に背景画像(HG)を記憶し、サーバーに動画像(DG)を記憶するような構成としてもよい。
【符号の説明】
【0076】
10 CPU
11 ROM
12 RAM
13 データメモリ
14 操作部
15 表示部
100 画像処理装置

【特許請求の範囲】
【請求項1】
画調変換された背景画像から変換要素を検出する検出手段と、
前記検出手段により検出された変換要素の内、画調の種類以外の要素の少なくとも1つの値を変更した類似変換要素を生成する変換要素発生手段と、
前記変換要素発生手段により生成された類似変換要素に従って動画像を画調変換する画調変換手段と、
前記画調変換手段により画調変換された動画像を、画調変換された背景画像上に合成して表示する合成表示手段と
を具備することを特徴とする画像処理装置。
【請求項2】
前記画調変換手段は、
動画像を構成する一連の静止画像の内、最初から最後の一つ前までの各静止画像については前記変換要素発生手段により生成された類似変換要素に従って画調変換を施す第1の変換手段と、
動画像を構成する一連の静止画像の内、最後の静止画像については前記検出手段により検出された変換要素に従って画調変換を施す第2の変換手段と
を具備することを特徴とする請求項1記載の画像処理装置。
【請求項3】
画調変換された動画像から変換要素を検出する検出手段と、
前記検出手段により検出された変換要素の内、画調の種類以外の要素の少なくとも1つの値を変更した類似変換要素を生成する変換要素発生手段と、
前記変換要素発生手段により生成された類似変換要素に従って背景画像を画調変換する画調変換手段と、
前記画調変換手段により画調変換された背景画像上に、画調変換された動画像を合成して表示する合成表示手段と
を具備することを特徴とする画像処理装置。
【請求項4】
コンピュータに、
画調変換された背景画像から変換要素を検出する検出ステップと、
前記検出ステップにて検出された変換要素の内、画調の種類以外の要素の少なくとも1つの値を変更した類似変換要素を生成する変換要素発生ステップと、
前記変換要素発生ステップにより生成された類似変換要素に従って動画像を画調変換する画調変換ステップと、
前記画調変換ステップにて画調変換された動画像を、画調変換された背景画像上に合成して表示する合成表示ステップと
を実行させることを特徴とするプログラム。
【請求項5】
コンピュータに、
画調変換された動画像から変換要素を検出する検出ステップと、
前記検出ステップにて検出された変換要素の内、画調の種類以外の要素の少なくとも1つの値を変更した類似変換要素を生成する変換要素発生ステップと、
前記変換要素発生ステップにより生成された類似変換要素に従って背景画像を画調変換する画調変換ステップと、
前記画調変換ステップにて画調変換された背景画像上に、画調変換された動画像を合成して表示する合成表示ステップと
を実行させることを特徴とするプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate


【公開番号】特開2013−61983(P2013−61983A)
【公開日】平成25年4月4日(2013.4.4)
【国際特許分類】
【出願番号】特願2012−276605(P2012−276605)
【出願日】平成24年12月19日(2012.12.19)
【分割の表示】特願2010−213147(P2010−213147)の分割
【原出願日】平成22年9月24日(2010.9.24)
【出願人】(000001443)カシオ計算機株式会社 (8,748)
【Fターム(参考)】