画像処理装置およびその制御方法
【課題】 動画などの複数の画像において生じる点滅、きらめき、揺れ、拡大縮小、発散集中、平行移動、回転などの変化のパターンを、それら複数の画像に基づいて生成される画像中で視覚的に表現する。
【解決手段】 複数の画像を入力する入力部と、該複数の画像に共通する内容を含む不変画像、および該複数の画像に共通しない領域を示す差分領域を示す情報を出力する画像比較部と、前記検出された差分領域の変化を、予め登録されている変化パターンと照合し、変化パターンの属性を特定する照合部と、画像処理後の画像によって前記変化パターンを明示する画像処理を決定し、前記不変画像における差分領域に相当する領域に、前記変化パターンの属性に相当する画像処理を施した画像を重畳した合成画像を出力する画像処理部とを備える。
【解決手段】 複数の画像を入力する入力部と、該複数の画像に共通する内容を含む不変画像、および該複数の画像に共通しない領域を示す差分領域を示す情報を出力する画像比較部と、前記検出された差分領域の変化を、予め登録されている変化パターンと照合し、変化パターンの属性を特定する照合部と、画像処理後の画像によって前記変化パターンを明示する画像処理を決定し、前記不変画像における差分領域に相当する領域に、前記変化パターンの属性に相当する画像処理を施した画像を重畳した合成画像を出力する画像処理部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は複数の画像において生じる変化のパターンを、それら複数の画像に基づいて生成される画像中で表現する技術に関する。
【背景技術】
【０００２】
従来、特許文献１などにおいて、複数の画像を使って画像の不良部分を補完する技術が知られている。また、複数の読み取り方法により得られた第１画像データと第２画像データとの差分値を比較し、画像中に含まれる金属部分を検出する技術なども知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平０５−１０８８１９号公報
【特許文献２】特開２００５−１０１７２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、動画などの複数の画像において生じる変化のパターンを、それら複数の画像に基づいて生成される画像中で視覚的に表現することを主な目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明の画像処理装置によれば、複数の画像を入力する入力部と、前記複数の画像に基づいて、該複数の画像に共通する内容を含む不変画像、および該複数の画像に共通しない領域を示す差分領域を示す情報を出力する画像比較部と、前記画像比較部で検出された差分領域の変化を、予め登録されている変化パターンと照合することにより、変化パターンの属性を特定する照合部と、画像処理後の画像によって前記変化パターンを明示する画像処理を決定するとともに、前記不変画像における差分領域に相当する領域に、前記変化パターンの属性に相当する画像処理を施した画像を重畳することにより、合成画像を出力する画像処理部とを備えることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、動画において発生する動き（画像の変化）を視覚的効果として含む静止画を生成することができる。
【図面の簡単な説明】
【０００７】
【図１】実施例に適用される処理ブロック図
【図２】画像処理手順を示すフローチャート
【図３】画像入力例を示す図
【図４】画像解析例を示す図
【図５】認識画像の一例
【図６】ディスプレイを出力部とした画像出力例
【図７】プリンタを出力部とした画像出力例
【図８】画像入力例を示す図
【図９】画像入力例を示す図
【図１０】画像属性付与手順を示すフローチャート
【図１１】フーリエ変換による周波数成分分解を示す数式
【図１２】画像属性登録ＤＢ例を示す図
【図１３】画像処理登録ＤＢを設定するＵＩ例を示す図
【図１４】時間における輝度信号値の変化例と、復元処理を示す図
【図１５】出力画像処理例を示す図
【発明を実施するための形態】
【０００８】
本発明の実施例を、以下で詳細に説明する。
【０００９】
＜実施例１＞
図１は実施例１に適用されるブロック図である。
【００１０】
画像入力部１００は、動画像データのような、時間経過による変化を含んだ複数の画像（入力画像群１０１）を得る。この画像入力部としてはＣＣＤなどを含む公知の画像データの取得機能を適用できるが、カメラやカムコーダなどの装置そのものと考えても良い。またネットワークからデータを取得する受信部、あるいはメモリから複数フレームの静止画像、あるいは動画像データを取得する読出し部であっても良い。図３は、上記入力部１００が入力した画像の一例を示す図である。ここでは、同図に示される時間ｔ０とｔ１を含む時間軸において、少なくとも２枚の画像を動画像として撮影または取得した様子を示している。図３上部の画像Ｇ（ｔ０）は、上記時間ｔ０において撮影または取得された画像である。図３下部の画像Ｇ（ｔ１）は、上記時間ｔ１において上記画像Ｇ（ｔ０）と略同じ条件で撮影または取得された画像である。この図を見てわかるように、撮影された画像の中央部（円形の領域）が白色から黒色に変化している。
【００１１】
図１の画像比較部１０２は、入力画像群１０１を入力し、解析データ１０３を出力する。ここでは必要に応じて、複数毎の画像（本例においては、Ｇ（ｔ０）とＧ（ｔ１））に対して公知の画像の位置合わせを行う。例えばＧ（ｔ０）とＧ（ｔ１）が、位置が固定されたカメラやビデオで撮影された画像であれば、位置合わせは不要である。
【００１２】
次に、画像比較部１０２は、不変画像１０４と差分領域１０５を生成する。
【００１３】
図４は上記不変画像１０４と差分領域１０５を生成するための画像解析例を示す図である。同図において不変画像１０４はいわゆる動画の背景画像に相当し、その画像の大半は、複数の画像に共通する内容を含んでいる。ここでは、解析対象の画像が２枚とするので、説明の便宜上、画像Ｇ（ｔ１）を背景画像と同等であるとして説明する。ただし、上記２枚以外にも参照できる画像がある場合には、背景画像の取得は、動画の背景を解析する公知技術を利用してより精度よく行えるであろう。同図において差分領域１０５は、いわゆる動画中で変化している領域である。本例においては、Ｇ（ｔ０）において円形領域（画像Ｄ（０））は白色であり、Ｇ（ｔ１）において円形領域（画像Ｄ（１））が黒色であった。上述のように、複数の画像に共通する内容を含む不変画像１０４と、複数の画像に共通しない内容を含む差分領域１０５を示す情報は、解析データ１０３として後段に出力される。
【００１４】
変化照合部１０６は、上記画像比較部１０２から出力された、不変画像１０４と差分領域１０５から構成される解析データ１０３と後述する画像属性登録ＤＢ１１２とに基づいて、後述する認識画像１０７を特定する。
【００１５】
以下、画像属性登録ＤＢ１１２について説明する。画像属性登録ＤＢ１１２には、上述の差分領域に対する種々の変化パターン１１３と後述する画像属性１１４がセットになって登録されている。これらのデータは、予め、ＤＢ登録部１１１に登録されているものとする。図１２は、上記画像属性登録ＤＢの一例を示す図である。ここでは変化パターンに対応する画像属性として、点滅、きらめき、平行移動、回転移動、揺れ、拡大・縮小、発散・集中などが定義されている。例えば、画像属性が点滅であるとは、差分領域の全ての画像（Ｄ（ｉ））が単一色であるか、または、差分領域の連続する画像間（Ｄ（ｉ）とＤ（ｉ＋１））の濃度または色の変化が単一（略均一）であった場合に相当する。また、画像属性がきらめきであるとは、差分領域の１つの画像（Ｄ（ｉ））と次の画像（Ｄ（ｉ＋１））との差異に規則性が無い場合に相当する。
【００１６】
例えば、上述したような図４の画像Ｇ（ｔ０）とＧ（ｔ１）の差分領域１０５で発生した変化パターンに対しては、画像属性として点滅が該当する。
【００１７】
次に上記認識画像について説明する。図５は、認識画像の一例である。この認識画像１０７は、不変画像１０４（背景画像）と、差分領域１０５に変化パターンを示す情報を付与した画像である。図３および図４で説明した例においては、不変画像１０４（背景画像）における円形の差分領域１０５に対して、画像属性の「点滅」を示す情報を付加したものが図５の認識画像例５０である。なお、画像比較部１０２が「何色から何色に変化したか」を解析すれば、上記点滅していることのみならず、何色から何色に変化するような点滅であったかも明示できる。また、認識画像１０７における画像属性を表現する方法の１つとしては、マークアップ言語であるＸＭＬ等を用いて適宜行えば良い。
【００１８】
属性修正部１１５は、上記不変画像１０４と差分領域１０５、および各差分領域の変化パターンから構成される認識画像１０７を取得し、後段の処理適用部１０８に出力する。なお、属性修正部１１５は、必要に応じて、この認識画像１０７を修正することができる。この修正には、ユーザーによるマニュアル修正などを含む。
【００１９】
処理適用部１０８は、出力画像生成機能を備え、上述した認識画像１０７と後述する画像処理登録ＤＢ１１６等に基づいて出力画像１０９を生成し、後段の画像出力部１１０へ出力する。
【００２０】
上記画像処理登録ＤＢ１１６を説明する。画像処理登録ＤＢ１１６には、後述する画像属性１１４と画像処理１１７とがセットで登録されている。これは画像属性登録ＤＢ１１２と同様に、ＤＢ登録部１１１により予め登録されている。なお、ＤＢ登録部１１１により登録される画像属性登録ＤＢ１１２および画像処理登録ＤＢ１１６は、それぞれ別のデータベースとして管理されていても良いが、１つのデータベースとして管理されていても良い。この画像処理登録ＤＢ１１６は、後述するようなユーザーインタフェースを介して、ユーザーによって設定されるものとする。
【００２１】
図１３は、画像処理登録ＤＢ１１６を設定する際の、ユーザインタフェースの一例である。ここでは、上述したような種々の画像属性に対して、画像処理の方法を定義する。ここでは、画像処理の対象となる主画像として、上記差分領域の画像Ｄ（ｉ）から指定できる。なお、画像処理として指定画像をそのまま使う設定も可能である。グラデーションやパターンの付加、あるいはブリンク処理（モニタ表示による）や特色版（メタリック、クリアトナー印刷等による）、その他の合成処理関数を指定した画像合成などを行なうことができる。また、グラデーションの付加においては、グラデーションの方向を選択できる。またパターンの付加においては、パターンの形状などを選択できる。特色版の場合には変化量が最大となる位置や最大輝度を持つ位置などを付加位置として指定できる。
【００２２】
図６は、画像出力部１１０がディスプレイである場合、すなわち最終出力がモニタ表示である場合を想定した出力例を示している。ここでは、図３や図４の動画における認識画像例５０の画像属性（＝点滅）に対して、ユーザーがブリンク処理を行うことを登録したものとする。図６の出力画像例６０は、認識画像例５０の点滅属性を持つ領域に対してブリンク処理を適用した画像である。処理適用部１０８から画像出力部１１０へは、この出力画像例６０が出力されるが、ここでは、差分領域１０５に相当する円形領域がブリンク表示処理される。すなわち、第２フレーム以降に、ユーザーの視覚上で点滅すると認識されるように、上記円形領域が白と黒のフレームが所定フレームずつ交互に出力される。
【００２３】
図７は、画像出力部１１０がプリンタである場合、すなわち最終出力がプリンタ印刷である場合を想定した出力例を示している。ここでは、図３や図４の動画における認識画像例５０の画像属性（＝点滅）に対して、ユーザーがパターン処理あるいはグラデーションの付与を行うことを登録したものとする。
【００２４】
図７の上部は、パターン処理が施された出力例に相当する。出力画像例７０は画像出力部１１０から印刷された印刷物である。ここでは、上記差分領域１０５に相当する円形領域にパターン処理が施されている。この印刷物に対応する印刷用画像データが、処理適用部１０８から画像出力部１１０へ出力されることになる。
【００２５】
図７の下部は、グラデーション処理が施された出力例に相当する。出力画像例７１は画像出力部１１０から印刷された印刷物である。ここでは、上記差分領域１０５に相当する円形領域にグラデーション処理が施されている。この印刷物に相当する印刷用画像データが、処理適用部１０８から出力部１１０へ出力されることになる。
【００２６】
図２は、上述した図１の構成の実施例について、それら処理手順を示すフローチャートを示したものである。後述するが、本発明は上述した各処理部によって実行されるだけでなく、これら手順をＣＰＵやメモリを用いてソフトウェア処理によって実行することも可能である。図２において、ステップＳ２０では処理対象となる画像Ｇ（ｔ０）と画像Ｇ（ｔ１）を含む複数の静止画（動画）を入力する。ステップＳ２１では、必要に応じてそれら複数の画像の位置合せを行う。ステップＳ２２では、上述したような画像Ｇ（ｔ０）と画像Ｇ（ｔ１）の差分領域１０５を検出し、不変画像１０４と差分領域１０５を生成する。次に、ステップＳ２３において画像属性登録ＤＢ１１２（変化パターン１１３および画像属性１１４）を参照して、ステップＳ２２で生成した差分領域１０５の変化パターンとその変化パターンに対応する画像属性を決定し、差分領域１０５に属性情報を付加した認識画像１０７を生成する。次に、ステップＳ２４では、その画像属性に対応するパターン処理あるいはグラデーション処理などの画像処理を行い、画像出力部１１０に出力させる。
【００２７】
なお、上記実施例では、時間ｔ０、ｔ１で２つの画像（Ｇ（ｔ０）とＧ（ｔ１））を取得したが、図８のように複数の撮像部を備えることによって同時に撮影する装置に応用しても良い。本実施例において実施例１と異なる部分は、主に画像入力部１００である。本実施例では、画像入力部１００として、図８のような複数のカメラ８０、８１を内蔵するものとする。ここで、カメラ８０は例えば左視点に相当するカメラであり、カメラ８１は例えば右視点に相当するカメラである。本実施例のような複眼カメラを適用することにより、わずかな視差の違いによる画像の差異をユーザーに知らせることもできる。
【００２８】
＜変形例＞
以下、変形例について説明する。図９は、時間ｔ０，ｔ１，ｔ２，…，ｔｍにおけるｍ＋１枚の画像データを入力とする例である。図１０は、画像属性付与手順を示すフローチャートである。以下では、図１０の各手順を説明していく。
【００２９】
ステップＳ１０００では、時間ｔにおける画像データＧ（ｔ）を取得する。ステップＳ１００１〜Ｓ１００４，Ｓ１００９，Ｓ１０１０は、画像Ｇ（ｔ）の縦横２次元の座標位置（ｘ，ｙ）について、ステップＳ１００５〜Ｓ１００８の処理を全部の（ｘ，ｙ）に関して処理するための制御フローである。ステップＳ１００５では、Ｇ（ｔ）から座標位置（ｘ，ｙ）のＲＧＢ成分を求め、ＲＧＢチャネル毎の関数ｆＲ（ｔ），ｆＧ（ｔ），ｆＢ（ｔ）とする。ステップＳ１００６では、ｆＲ（ｔ），ｆＧ（ｔ），ｆＢ（ｔ）のそれぞれに対してフーリエ変換を求め、ＦＲ（ω），ＦＧ（ω），ＦＢ（ω）とする。この時、図１１に示すように周波数ωを関数とする積分形式で元の関数を表現することができる。周波数ωの関数の和として表現できれば良いので、ウェーブレット変換などの他の変換でも構わない。ステップＳ１００７では、周波数ωの関数の和として表現した内で、寄与の低い周波数ωの項を削減することで誤差成分を除去する。ステップＳ１００８では、波形を見て０〜２５５の輝度レンジでカットされたと予測される場合は、その部分について負の値や２５５を超える値として復元する。復元されたデータは元画像Ｇ（ｔ）へ反映させる。図１４は、時間における輝度信号値の変化例と復元処理を示す図である。元の入力画像群では０〜２５５の輝度レンジ内の変化であるが、これが本来は正弦波の変化であると予測される場合に、図のように負の部分と２５５を超える部分について輝度値の変化を復元する。ステップＳ１００１〜Ｓ１０１０の処理により、寄与成分として残された周波数ωについてステップＳ１０１１〜Ｓ１０１４の処理を行う。ステップＳ１０１１では、周波数ωのＦＲ（ω），ＦＧ（ω），ＦＢ（ω）成分を持つ（ｘ，ｙ）の領域を求め、それぞれ画像領域Ｒ（ω），Ｇ（ω），Ｂ（ω）とする。ステップＳ１０１２では、画像領域Ｒ（ω），Ｇ（ω），Ｂ（ω）の共通領域をＡ（ω）とする。ステップＳ１０１３では、Ｇ（ｔ）から画像領域Ａ（ω）を抜き出して画像Ｄ（ｔ）を求める。ステップＳ１０１４では、Ｄ（ｔ）の画像群（ｔ＝０〜ｍ）に対して画像属性登録ＤＢ１１２の変化パターン１１３と照合を行い、得られた画像属性を画像領域Ａ（ω）へ付与する。以上の処理により認識画像１０７を得る。
【００３０】
出力画像の生成については既に述べた通りであるが、ここでは画像領域Ａ（ω）に対して周波数ωを利用した画像合成を行なうことも考えられる。例えば、図１５の出力画像処理例のように周波数の違いをグラデーションの間隔の違いとして表現する。
【００３１】
なお、上述した各実施例について、それを実現するソフトウェアプログラムを記録した記録媒体をシステムあるいは装置に供給し、そのシステムまたは装置のコンピュータ、ＣＰＵ、ＭＰＵが上記プログラムコードを読み出して実行することでも達成できる。この場合、記憶媒体から読み出されたプログラムコード自体が上記実施例の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体は本発明を構成する。なお、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤなどが相当する。また、コンピュータが読み出したプログラムコードを実行することにより、上記各実施例の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれる。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれる。
【技術分野】
【０００１】
本発明は複数の画像において生じる変化のパターンを、それら複数の画像に基づいて生成される画像中で表現する技術に関する。
【背景技術】
【０００２】
従来、特許文献１などにおいて、複数の画像を使って画像の不良部分を補完する技術が知られている。また、複数の読み取り方法により得られた第１画像データと第２画像データとの差分値を比較し、画像中に含まれる金属部分を検出する技術なども知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平０５−１０８８１９号公報
【特許文献２】特開２００５−１０１７２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、動画などの複数の画像において生じる変化のパターンを、それら複数の画像に基づいて生成される画像中で視覚的に表現することを主な目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明の画像処理装置によれば、複数の画像を入力する入力部と、前記複数の画像に基づいて、該複数の画像に共通する内容を含む不変画像、および該複数の画像に共通しない領域を示す差分領域を示す情報を出力する画像比較部と、前記画像比較部で検出された差分領域の変化を、予め登録されている変化パターンと照合することにより、変化パターンの属性を特定する照合部と、画像処理後の画像によって前記変化パターンを明示する画像処理を決定するとともに、前記不変画像における差分領域に相当する領域に、前記変化パターンの属性に相当する画像処理を施した画像を重畳することにより、合成画像を出力する画像処理部とを備えることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、動画において発生する動き（画像の変化）を視覚的効果として含む静止画を生成することができる。
【図面の簡単な説明】
【０００７】
【図１】実施例に適用される処理ブロック図
【図２】画像処理手順を示すフローチャート
【図３】画像入力例を示す図
【図４】画像解析例を示す図
【図５】認識画像の一例
【図６】ディスプレイを出力部とした画像出力例
【図７】プリンタを出力部とした画像出力例
【図８】画像入力例を示す図
【図９】画像入力例を示す図
【図１０】画像属性付与手順を示すフローチャート
【図１１】フーリエ変換による周波数成分分解を示す数式
【図１２】画像属性登録ＤＢ例を示す図
【図１３】画像処理登録ＤＢを設定するＵＩ例を示す図
【図１４】時間における輝度信号値の変化例と、復元処理を示す図
【図１５】出力画像処理例を示す図
【発明を実施するための形態】
【０００８】
本発明の実施例を、以下で詳細に説明する。
【０００９】
＜実施例１＞
図１は実施例１に適用されるブロック図である。
【００１０】
画像入力部１００は、動画像データのような、時間経過による変化を含んだ複数の画像（入力画像群１０１）を得る。この画像入力部としてはＣＣＤなどを含む公知の画像データの取得機能を適用できるが、カメラやカムコーダなどの装置そのものと考えても良い。またネットワークからデータを取得する受信部、あるいはメモリから複数フレームの静止画像、あるいは動画像データを取得する読出し部であっても良い。図３は、上記入力部１００が入力した画像の一例を示す図である。ここでは、同図に示される時間ｔ０とｔ１を含む時間軸において、少なくとも２枚の画像を動画像として撮影または取得した様子を示している。図３上部の画像Ｇ（ｔ０）は、上記時間ｔ０において撮影または取得された画像である。図３下部の画像Ｇ（ｔ１）は、上記時間ｔ１において上記画像Ｇ（ｔ０）と略同じ条件で撮影または取得された画像である。この図を見てわかるように、撮影された画像の中央部（円形の領域）が白色から黒色に変化している。
【００１１】
図１の画像比較部１０２は、入力画像群１０１を入力し、解析データ１０３を出力する。ここでは必要に応じて、複数毎の画像（本例においては、Ｇ（ｔ０）とＧ（ｔ１））に対して公知の画像の位置合わせを行う。例えばＧ（ｔ０）とＧ（ｔ１）が、位置が固定されたカメラやビデオで撮影された画像であれば、位置合わせは不要である。
【００１２】
次に、画像比較部１０２は、不変画像１０４と差分領域１０５を生成する。
【００１３】
図４は上記不変画像１０４と差分領域１０５を生成するための画像解析例を示す図である。同図において不変画像１０４はいわゆる動画の背景画像に相当し、その画像の大半は、複数の画像に共通する内容を含んでいる。ここでは、解析対象の画像が２枚とするので、説明の便宜上、画像Ｇ（ｔ１）を背景画像と同等であるとして説明する。ただし、上記２枚以外にも参照できる画像がある場合には、背景画像の取得は、動画の背景を解析する公知技術を利用してより精度よく行えるであろう。同図において差分領域１０５は、いわゆる動画中で変化している領域である。本例においては、Ｇ（ｔ０）において円形領域（画像Ｄ（０））は白色であり、Ｇ（ｔ１）において円形領域（画像Ｄ（１））が黒色であった。上述のように、複数の画像に共通する内容を含む不変画像１０４と、複数の画像に共通しない内容を含む差分領域１０５を示す情報は、解析データ１０３として後段に出力される。
【００１４】
変化照合部１０６は、上記画像比較部１０２から出力された、不変画像１０４と差分領域１０５から構成される解析データ１０３と後述する画像属性登録ＤＢ１１２とに基づいて、後述する認識画像１０７を特定する。
【００１５】
以下、画像属性登録ＤＢ１１２について説明する。画像属性登録ＤＢ１１２には、上述の差分領域に対する種々の変化パターン１１３と後述する画像属性１１４がセットになって登録されている。これらのデータは、予め、ＤＢ登録部１１１に登録されているものとする。図１２は、上記画像属性登録ＤＢの一例を示す図である。ここでは変化パターンに対応する画像属性として、点滅、きらめき、平行移動、回転移動、揺れ、拡大・縮小、発散・集中などが定義されている。例えば、画像属性が点滅であるとは、差分領域の全ての画像（Ｄ（ｉ））が単一色であるか、または、差分領域の連続する画像間（Ｄ（ｉ）とＤ（ｉ＋１））の濃度または色の変化が単一（略均一）であった場合に相当する。また、画像属性がきらめきであるとは、差分領域の１つの画像（Ｄ（ｉ））と次の画像（Ｄ（ｉ＋１））との差異に規則性が無い場合に相当する。
【００１６】
例えば、上述したような図４の画像Ｇ（ｔ０）とＧ（ｔ１）の差分領域１０５で発生した変化パターンに対しては、画像属性として点滅が該当する。
【００１７】
次に上記認識画像について説明する。図５は、認識画像の一例である。この認識画像１０７は、不変画像１０４（背景画像）と、差分領域１０５に変化パターンを示す情報を付与した画像である。図３および図４で説明した例においては、不変画像１０４（背景画像）における円形の差分領域１０５に対して、画像属性の「点滅」を示す情報を付加したものが図５の認識画像例５０である。なお、画像比較部１０２が「何色から何色に変化したか」を解析すれば、上記点滅していることのみならず、何色から何色に変化するような点滅であったかも明示できる。また、認識画像１０７における画像属性を表現する方法の１つとしては、マークアップ言語であるＸＭＬ等を用いて適宜行えば良い。
【００１８】
属性修正部１１５は、上記不変画像１０４と差分領域１０５、および各差分領域の変化パターンから構成される認識画像１０７を取得し、後段の処理適用部１０８に出力する。なお、属性修正部１１５は、必要に応じて、この認識画像１０７を修正することができる。この修正には、ユーザーによるマニュアル修正などを含む。
【００１９】
処理適用部１０８は、出力画像生成機能を備え、上述した認識画像１０７と後述する画像処理登録ＤＢ１１６等に基づいて出力画像１０９を生成し、後段の画像出力部１１０へ出力する。
【００２０】
上記画像処理登録ＤＢ１１６を説明する。画像処理登録ＤＢ１１６には、後述する画像属性１１４と画像処理１１７とがセットで登録されている。これは画像属性登録ＤＢ１１２と同様に、ＤＢ登録部１１１により予め登録されている。なお、ＤＢ登録部１１１により登録される画像属性登録ＤＢ１１２および画像処理登録ＤＢ１１６は、それぞれ別のデータベースとして管理されていても良いが、１つのデータベースとして管理されていても良い。この画像処理登録ＤＢ１１６は、後述するようなユーザーインタフェースを介して、ユーザーによって設定されるものとする。
【００２１】
図１３は、画像処理登録ＤＢ１１６を設定する際の、ユーザインタフェースの一例である。ここでは、上述したような種々の画像属性に対して、画像処理の方法を定義する。ここでは、画像処理の対象となる主画像として、上記差分領域の画像Ｄ（ｉ）から指定できる。なお、画像処理として指定画像をそのまま使う設定も可能である。グラデーションやパターンの付加、あるいはブリンク処理（モニタ表示による）や特色版（メタリック、クリアトナー印刷等による）、その他の合成処理関数を指定した画像合成などを行なうことができる。また、グラデーションの付加においては、グラデーションの方向を選択できる。またパターンの付加においては、パターンの形状などを選択できる。特色版の場合には変化量が最大となる位置や最大輝度を持つ位置などを付加位置として指定できる。
【００２２】
図６は、画像出力部１１０がディスプレイである場合、すなわち最終出力がモニタ表示である場合を想定した出力例を示している。ここでは、図３や図４の動画における認識画像例５０の画像属性（＝点滅）に対して、ユーザーがブリンク処理を行うことを登録したものとする。図６の出力画像例６０は、認識画像例５０の点滅属性を持つ領域に対してブリンク処理を適用した画像である。処理適用部１０８から画像出力部１１０へは、この出力画像例６０が出力されるが、ここでは、差分領域１０５に相当する円形領域がブリンク表示処理される。すなわち、第２フレーム以降に、ユーザーの視覚上で点滅すると認識されるように、上記円形領域が白と黒のフレームが所定フレームずつ交互に出力される。
【００２３】
図７は、画像出力部１１０がプリンタである場合、すなわち最終出力がプリンタ印刷である場合を想定した出力例を示している。ここでは、図３や図４の動画における認識画像例５０の画像属性（＝点滅）に対して、ユーザーがパターン処理あるいはグラデーションの付与を行うことを登録したものとする。
【００２４】
図７の上部は、パターン処理が施された出力例に相当する。出力画像例７０は画像出力部１１０から印刷された印刷物である。ここでは、上記差分領域１０５に相当する円形領域にパターン処理が施されている。この印刷物に対応する印刷用画像データが、処理適用部１０８から画像出力部１１０へ出力されることになる。
【００２５】
図７の下部は、グラデーション処理が施された出力例に相当する。出力画像例７１は画像出力部１１０から印刷された印刷物である。ここでは、上記差分領域１０５に相当する円形領域にグラデーション処理が施されている。この印刷物に相当する印刷用画像データが、処理適用部１０８から出力部１１０へ出力されることになる。
【００２６】
図２は、上述した図１の構成の実施例について、それら処理手順を示すフローチャートを示したものである。後述するが、本発明は上述した各処理部によって実行されるだけでなく、これら手順をＣＰＵやメモリを用いてソフトウェア処理によって実行することも可能である。図２において、ステップＳ２０では処理対象となる画像Ｇ（ｔ０）と画像Ｇ（ｔ１）を含む複数の静止画（動画）を入力する。ステップＳ２１では、必要に応じてそれら複数の画像の位置合せを行う。ステップＳ２２では、上述したような画像Ｇ（ｔ０）と画像Ｇ（ｔ１）の差分領域１０５を検出し、不変画像１０４と差分領域１０５を生成する。次に、ステップＳ２３において画像属性登録ＤＢ１１２（変化パターン１１３および画像属性１１４）を参照して、ステップＳ２２で生成した差分領域１０５の変化パターンとその変化パターンに対応する画像属性を決定し、差分領域１０５に属性情報を付加した認識画像１０７を生成する。次に、ステップＳ２４では、その画像属性に対応するパターン処理あるいはグラデーション処理などの画像処理を行い、画像出力部１１０に出力させる。
【００２７】
なお、上記実施例では、時間ｔ０、ｔ１で２つの画像（Ｇ（ｔ０）とＧ（ｔ１））を取得したが、図８のように複数の撮像部を備えることによって同時に撮影する装置に応用しても良い。本実施例において実施例１と異なる部分は、主に画像入力部１００である。本実施例では、画像入力部１００として、図８のような複数のカメラ８０、８１を内蔵するものとする。ここで、カメラ８０は例えば左視点に相当するカメラであり、カメラ８１は例えば右視点に相当するカメラである。本実施例のような複眼カメラを適用することにより、わずかな視差の違いによる画像の差異をユーザーに知らせることもできる。
【００２８】
＜変形例＞
以下、変形例について説明する。図９は、時間ｔ０，ｔ１，ｔ２，…，ｔｍにおけるｍ＋１枚の画像データを入力とする例である。図１０は、画像属性付与手順を示すフローチャートである。以下では、図１０の各手順を説明していく。
【００２９】
ステップＳ１０００では、時間ｔにおける画像データＧ（ｔ）を取得する。ステップＳ１００１〜Ｓ１００４，Ｓ１００９，Ｓ１０１０は、画像Ｇ（ｔ）の縦横２次元の座標位置（ｘ，ｙ）について、ステップＳ１００５〜Ｓ１００８の処理を全部の（ｘ，ｙ）に関して処理するための制御フローである。ステップＳ１００５では、Ｇ（ｔ）から座標位置（ｘ，ｙ）のＲＧＢ成分を求め、ＲＧＢチャネル毎の関数ｆＲ（ｔ），ｆＧ（ｔ），ｆＢ（ｔ）とする。ステップＳ１００６では、ｆＲ（ｔ），ｆＧ（ｔ），ｆＢ（ｔ）のそれぞれに対してフーリエ変換を求め、ＦＲ（ω），ＦＧ（ω），ＦＢ（ω）とする。この時、図１１に示すように周波数ωを関数とする積分形式で元の関数を表現することができる。周波数ωの関数の和として表現できれば良いので、ウェーブレット変換などの他の変換でも構わない。ステップＳ１００７では、周波数ωの関数の和として表現した内で、寄与の低い周波数ωの項を削減することで誤差成分を除去する。ステップＳ１００８では、波形を見て０〜２５５の輝度レンジでカットされたと予測される場合は、その部分について負の値や２５５を超える値として復元する。復元されたデータは元画像Ｇ（ｔ）へ反映させる。図１４は、時間における輝度信号値の変化例と復元処理を示す図である。元の入力画像群では０〜２５５の輝度レンジ内の変化であるが、これが本来は正弦波の変化であると予測される場合に、図のように負の部分と２５５を超える部分について輝度値の変化を復元する。ステップＳ１００１〜Ｓ１０１０の処理により、寄与成分として残された周波数ωについてステップＳ１０１１〜Ｓ１０１４の処理を行う。ステップＳ１０１１では、周波数ωのＦＲ（ω），ＦＧ（ω），ＦＢ（ω）成分を持つ（ｘ，ｙ）の領域を求め、それぞれ画像領域Ｒ（ω），Ｇ（ω），Ｂ（ω）とする。ステップＳ１０１２では、画像領域Ｒ（ω），Ｇ（ω），Ｂ（ω）の共通領域をＡ（ω）とする。ステップＳ１０１３では、Ｇ（ｔ）から画像領域Ａ（ω）を抜き出して画像Ｄ（ｔ）を求める。ステップＳ１０１４では、Ｄ（ｔ）の画像群（ｔ＝０〜ｍ）に対して画像属性登録ＤＢ１１２の変化パターン１１３と照合を行い、得られた画像属性を画像領域Ａ（ω）へ付与する。以上の処理により認識画像１０７を得る。
【００３０】
出力画像の生成については既に述べた通りであるが、ここでは画像領域Ａ（ω）に対して周波数ωを利用した画像合成を行なうことも考えられる。例えば、図１５の出力画像処理例のように周波数の違いをグラデーションの間隔の違いとして表現する。
【００３１】
なお、上述した各実施例について、それを実現するソフトウェアプログラムを記録した記録媒体をシステムあるいは装置に供給し、そのシステムまたは装置のコンピュータ、ＣＰＵ、ＭＰＵが上記プログラムコードを読み出して実行することでも達成できる。この場合、記憶媒体から読み出されたプログラムコード自体が上記実施例の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体は本発明を構成する。なお、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤなどが相当する。また、コンピュータが読み出したプログラムコードを実行することにより、上記各実施例の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれる。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれる。
【特許請求の範囲】
【請求項１】
複数の画像を入力する入力部と、
前記複数の画像に基づいて、該複数の画像に共通する内容を含む不変画像、および該複数の画像に共通しない領域を示す差分領域を示す情報を出力する画像比較部と、
前記画像比較部で検出された差分領域の変化を、予め登録されている変化パターンと照合することにより、変化パターンの属性を特定する照合部と、
画像処理後の画像によって前記変化パターンを明示する画像処理を決定するとともに、前記不変画像における差分領域に相当する領域に、前記変化パターンの属性に相当する画像処理を施した画像を重畳することにより、合成画像を出力する画像処理部と
を備えることを特徴とする画像処理装置。
【請求項２】
前記変化パターンには、複数の画像の差分領域に相当する画像部分の点滅、きらめき、平行移動、回転移動、揺れ、拡大縮小、発散集中を含むことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
更に、前記画像処理部から出力された画像を入力し、表示するディスプレイを備えることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
更に、前記画像処理部から出力された画像を入力し、印刷するプリンタを備えることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記入力手段は、異なる時間に取得した複数の画像を入力することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記入力手段は、複数の画像として、互いに異なる複数のカメラで撮影することにより取得された画像を入力することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記差分領域の検出は、複数の画像における変化の周波数ωを検出し、周波数ωに基づいて行うことを特徴とする請求項１に記載の画像処理装置。
【請求項８】
コンピュータに読み込み込ませ実行させることで、前記コンピュータを請求項１乃至７のいずれか１項に記載の画像処理装置として機能させるプログラム。
【請求項９】
請求項８に記載のプログラムを記憶したことを特徴とするコンピュータ可読の記憶媒体。
【請求項１０】
画像処理装置の制御方法であって、
入力部により、複数の画像を入力する工程と、
画像比較部により、前記複数の画像に基づいて、該複数の画像に共通する内容を含む背景画像、および該複数の画像に共通しない領域を示す差分領域を示す情報を出力する工程と、
照合部により、前記画像比較部で検出された差分領域に対する変化を、予め登録されている変化パターンと照合することにより、変化パターンの属性を特定する工程と、
画像処理部により、画像処理後の画像によって前記変化パターンを明示する画像処理を決定するとともに、前記不変画像における差分領域に相当する領域に、前記変化パターンの属性に相当する画像処理を施した画像を重畳することにより、合成画像を出力する工程と
を備えることを特徴とする制御方法。
【請求項１】
複数の画像を入力する入力部と、
前記複数の画像に基づいて、該複数の画像に共通する内容を含む不変画像、および該複数の画像に共通しない領域を示す差分領域を示す情報を出力する画像比較部と、
前記画像比較部で検出された差分領域の変化を、予め登録されている変化パターンと照合することにより、変化パターンの属性を特定する照合部と、
画像処理後の画像によって前記変化パターンを明示する画像処理を決定するとともに、前記不変画像における差分領域に相当する領域に、前記変化パターンの属性に相当する画像処理を施した画像を重畳することにより、合成画像を出力する画像処理部と
を備えることを特徴とする画像処理装置。
【請求項２】
前記変化パターンには、複数の画像の差分領域に相当する画像部分の点滅、きらめき、平行移動、回転移動、揺れ、拡大縮小、発散集中を含むことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
更に、前記画像処理部から出力された画像を入力し、表示するディスプレイを備えることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
更に、前記画像処理部から出力された画像を入力し、印刷するプリンタを備えることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記入力手段は、異なる時間に取得した複数の画像を入力することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記入力手段は、複数の画像として、互いに異なる複数のカメラで撮影することにより取得された画像を入力することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記差分領域の検出は、複数の画像における変化の周波数ωを検出し、周波数ωに基づいて行うことを特徴とする請求項１に記載の画像処理装置。
【請求項８】
コンピュータに読み込み込ませ実行させることで、前記コンピュータを請求項１乃至７のいずれか１項に記載の画像処理装置として機能させるプログラム。
【請求項９】
請求項８に記載のプログラムを記憶したことを特徴とするコンピュータ可読の記憶媒体。
【請求項１０】
画像処理装置の制御方法であって、
入力部により、複数の画像を入力する工程と、
画像比較部により、前記複数の画像に基づいて、該複数の画像に共通する内容を含む背景画像、および該複数の画像に共通しない領域を示す差分領域を示す情報を出力する工程と、
照合部により、前記画像比較部で検出された差分領域に対する変化を、予め登録されている変化パターンと照合することにより、変化パターンの属性を特定する工程と、
画像処理部により、画像処理後の画像によって前記変化パターンを明示する画像処理を決定するとともに、前記不変画像における差分領域に相当する領域に、前記変化パターンの属性に相当する画像処理を施した画像を重畳することにより、合成画像を出力する工程と
を備えることを特徴とする制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１３−４２２１７（Ｐ２０１３−４２２１７Ａ）
【公開日】平成２５年２月２８日（２０１３．２．２８）
【国際特許分類】
【出願番号】特願２０１１−１７６０５１（Ｐ２０１１−１７６０５１）
【出願日】平成２３年８月１１日（２０１１．８．１１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年２月２８日（２０１３．２．２８）
【国際特許分類】
【出願日】平成２３年８月１１日（２０１１．８．１１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]