特殊効果処理方法及び画像処理装置

【課題】入力画像の中の所望の画像部分に所望の特殊効果をリアルタイムに、確実に且つ自動的に施す。
【解決手段】画像認識判定部５が、人物等のように動きのある画素と背景等のように静止している画素とを判別したり、入力画像の中でオペレータによって指定された画像部分のパターン情報の特徴と同一と推測される画像部分を以後の入力画像から判別したり、入力画像において隣接する画素の輝度，色等の画素情報の変化量から画像の輪郭部分を判別したりすると、特殊効果発生処理部６は、画像認識判定部５において判別された画素或いは領域の画素の位置情報を変調して、モザイク，スクランブル，バースト，メルト等の特殊効果や、レベル情報を変調して、ペイント，ネガ，モノカラー，モアレ，ソラリゼーション，デフォーカス，エンハンス等の特殊効果を所望の画像部分に順次自動的に施す。

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、ディスプレイに表示する画像の特定部分に画像変形，変調等による特殊効果を施すための特殊効果処理方法及び画像処理装置に関するものである。
【０００２】
【従来の技術】図８は従来の画像処理装置の基本的な構成を示すもので、１は、オペレータによって選択されたモザイク，デフォーカス，色替え等の特殊効果を、入力端子から入力した画像Ｉ面にそれぞれ施し、画像IIとして出力する特殊効果発生処理部、２は特殊効果発生処理部１において画像Ｉの全面に特殊効果を施すのに要する時間だけ画像Ｉの出力タイミングを遅らせる遅延部である。
【０００３】３は、オペレータが特殊効果を施したい人物，物体，景色等の全体或いは部分の画像領域ａ（以下「特殊効果画像領域ａ」という）を画像IIIとして設定すると、遅延部２から入力した画像Ｉの中から特殊効果画像領域ａ内の画像を検出したときに切替信号を出力する切替信号発生処理部、４は、切替信号が入力しないときには遅延部２から入力する画像Ｉを出力し、切替信号が入力したときには特殊効果発生処理部１から入力する画像IIを出力する画像切替合成処理部である。
【０００４】このように構成された従来例では、例えば山中の木立の近傍に人物が立っている画像Ｉが入力端子に入力すると、画像Ｉにオペレータが選択した特殊効果、例えばモザイクを施した画像IIが特殊効果発生処理部１から画像切替合成処理部４に出力されるのに同期して、画像Ｉが遅延部２から画像切替合成処理部４に出力される。
【０００５】このとき、特殊効果画像領域ａが切替信号発生処理部３に設定されていなければ、切替信号は切替信号発生処理部３から全く出力されないので、画像Ｉが画像切替合成処理部４からそのまま出力されて、ディスプレイには例えば山中の木立の近傍に人物が立っている画像Ｉがそのまま表示される。
【０００６】又、例えば人物全体が特殊効果画像領域ａとして切替信号発生処理部３に設定されていれば、画像Ｉの特殊効果画像領域ａ外の画像を検出したときには、切替信号は切替信号発生処理部３から出力されないので、画像Ｉの特殊効果画像領域ａ外の画像、例えば山中に木が立っている景色の画像が画像切替合成処理部４から出力されると共に、画像Ｉの特殊効果画像領域ａ内の画像を検出したときには、切替信号が切替信号発生処理部３から出力されるので、画像IIの特殊効果画像領域ａ内の画像、例えば人物にモザイクを施した画像が画像切替合成処理部４から出力されるので、ディスプレイには、画像Ｉの特殊効果画像領域ａの中に画像IIの特殊効果画像領域ａ内の画像を嵌め込んだ画像IV、例えば山中の木立の近傍に立っている人物にモザイクを施した画像IVが表示される。
【０００７】
【発明が解決しようとする課題】ところで、画像Ｉの中の特殊効果を施したい画像が画面内で移動したり、この画像の形状或いは大きさが画面内で変化するときには、オペレータは、この画像の動き或いは変化に合わせて特殊効果画像領域ａが画面内で移動したり、特殊効果画像領域ａの形状或いは大きさが画面内で変化したりするように、切替信号発生処理部３に設定する特殊効果画像領域ａを逐次変えていかなければならない。
【０００８】このため、特殊効果を施したい画像の動きや、この画像の形状或いは大きさの変化が早いと、特殊効果を施したい画像と特殊効果画像領域ａとの間の位置，形状或いは大きさにずれが生じて、画像Ｉの中の所望の画像に特殊効果を確実に施せなくなるため、従来の画像処理装置はテレビジョンの生放送番組でほとんど使用できないという課題があった。
【０００９】又、画像Ｉの中の所望の画像をフルカラーで表示し、その他の画像をモノカラーで表示するような特殊効果を画像Ｉに施すときには、領域設定画像IIIに設定する特殊効果画像領域ａと画像Ｉの中の特殊効果を施したい画像の位置，形状或いは大きさの変化とが完全に一致するように、領域設定画像IIIへの特殊効果画像領域ａの設定を１フィールド，１フレーム或いは１コマずつ緻密に行わなければならないため、従来の画像処理装置はテレビジョンの生放送番組で全く使用できず、このような特殊効果はＣＭ等の特定の分野でしか使用できないという課題があった。
【００１０】本発明は、このような課題を解決するもので、入力画像の中の所望の画像に所望の特殊効果をリアルタイムに、自動的に且つ確実に施せる特殊効果処理方法及び画像処理装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】本発明は、特定条件に基づいて判別された入力画像の中の特殊効果を施したい画像部分に特殊処理を施して、入力画像に合成処理する方法である。
【００１２】本発明の特定条件は、入力画像，入力画像の輝度，入力画像の色，入力画像の輪郭のうちの少なくとも１つである。
【００１３】本発明の特殊効果は、モザイク，スクランブル，バースト，メルト，ペイント（ビット落し），ネガ（反転），モノカラー，モアレ，ソラリゼーション，デフォーカス（ぼかし），エンハンスのうちの少なくとも１つである。
【００１４】本発明の合成処理は、切替合成，キー合成，ＮＡＭ合成のうちの少なくとも１つである。
【００１５】又、本発明は、入力画像の中の特殊効果を施したい画像部分を入力画像から判別する画像認識判定部と、画像認識判定部において判別された画像部分に特殊効果を施した上、画像部分を入力画像に合成処理する特殊効果発生処理部とからなるものである。
【００１６】本発明の画像部分を入力画像，入力画像の輝度，入力画像の色，入力画像の輪郭のうちの少なくとも１つによって判別するものである。
【００１７】本発明の特殊効果は、モザイク，スクランブル，バースト，メルト，ペイント（ビット落し），ネガ（反転），モノカラー，モアレ，ソラリゼーション，デフォーカス（ぼかし），エンハンスのうちの少なくとも１つである。
【００１８】本発明の合成処理は、切替合成，キー合成，ＮＡＭ合成のうちの少なくとも１つで行うものである。
【００１９】
【発明の実施の形態】以下、本発明の実施の形態について図面を参照しながら説明する。
【００２０】図１は本発明の画像処理装置の基本的な構成を示すもので、画像認識判定部５が、前フィールドの輝度，色等の画素情報と現フィールドの輝度，色等の画素情報との値を比較して、人物等のように動きのある画素と背景等のように静止している画素とを判別したり、入力画像の中でオペレータによって指定された画像部分の形，輝度，色等のパターン情報の特徴を抽出して、そのパターン情報の特徴と同一と推測される画像部分を以後の入力画像から判別したり、入力画像において隣接する画素の輝度，色等の画素情報の変化量から画像の輪郭部分を判別したりすることにより、判定信号を出力すると、特殊効果発生処理部６は、画像認識判定部５において判別された動きのある画素或いは静止している画素，オペレータによって指定された画像部分のパターン情報の特徴と同一と推測される画像部分の画素，輪郭内部或いは輪郭外部の画像部分の画素等の位置情報（アドレス）を変調して、モザイク，スクランブル，バースト，メルト等の特殊効果や、各画素の輝度，色等のレベル情報を変調して、ペイント（ビット落し），ネガ（反転），モノカラー，モアレ，ソラリゼーション，デフォーカス（ぼかし），エンハンス等の特殊効果を所望の画像部分に順次自動的に施した上、入力画像に合成していく。
【００２１】図２(ａ)は本発明の画像処理装置における画像認識判定部の具体的な構成を示し、図２(ｂ)は図２(ａ)の画像認識判定部のフローチャートを示すもので、１フィールド分の画素情報を読み書きするフィールドメモリ７が、１フィールド前に書き込んだ１フィールド分の画素の輝度，色等の画素情報Ａ（以下「前フィールドの画素情報Ａ」という）の読み出しと共に、現在入力中の１フィールド分の画素の輝度，色等の画素情報Ｂ（以下「現フィールドの画素情報Ｂ」という）の書き込みを行う〔ステップ１（以下「Ｓ１」の如く記載する）〕と、画素情報差分演算手段８は、フィールドメモリ７から読み出した前フィールドの各画素の画素情報Ａの値と現フィールドの各画素の画素情報Ｂの値の差分（Ａ−Ｂ）を求める（Ｓ２）。
【００２２】そこで、画素判定手段９は、差分（Ａ−Ｂ）がしきい値以上であれば（Ｓ３）、その画素は動きのある画素と判別して（Ｓ４）判定信号を出力し（Ｓ５）、又、差分（Ａ−Ｂ）がしきい値未満であれば（Ｓ３）、その画素は静止した画素と判別して（Ｓ６）判定信号を出力しない。
【００２３】そして、この動作を１フィールド分の画素信号が入力する毎に繰り返せば、現フィールドの画像の中の動きのある画像部分と静止した画像部分とがリアルタイムに、確実に且つ自動的に判別することができる。
【００２４】図３(ａ)は本発明の画像処理装置における画像認識判定部の他の具体的な構成を示し、図３(ｂ)は図３(ａ)の画像認識判定部のフローチャートを示すもので、特徴抽出手段１０が、現フィールドの画像の中からオペレータによって設定された画像領域の形，輝度，色等のパターンＡの特徴を抽出する（Ｓ７）と、パターン差分演算手段１１は、パターンＡと現フィールドの次のフィールド以降に入力する１フィールド分の画像のパターンＢとの差分（Ａ−Ｂ）を求める（Ｓ８）。
【００２５】そこで、パターン一致判定手段１２は、差分（Ａ−Ｂ）がしきい値以上の領域があれば（Ｓ９）、その領域がパターンＢの中においてパターンＡの特徴と一致している領域と判別して（Ｓ１０）判定信号を出力し（Ｓ１１）、又、差分（Ａ−Ｂ）がしきい値未満であれば（Ｓ９）、パターンＢの中にパターンＡの特徴と一致している領域がないと判別して（Ｓ１２）判定信号を出力しない。
【００２６】そして、この動作を１フィールド分の画像が入力する毎に繰り返せば、入力画像の中のパターンＡの特徴と同一と推測される画像領域がリアルタイムに、確実に且つ自動的に判別することができる。
【００２７】図４(ａ)は本発明の画像処理装置における画像認識判定部の更に他の具体的な構成を示し、図４(ｂ)は図４(ａ)の画像認識判定部のフローチャートを示すもので、１走査線分の画素情報を読み書きするラインメモリ１３が、入力画像において１走査線分前に書き込んだ輝度，色等の画素情報Ａの読み出しと共に、現在入力している１走査線分の輝度，色等の画素情報Ｂの書き込みを行う（Ｓ１３）と、画素情報変化量演算手段１４は、ラインメモリ１３から出力される前走査線の画素情報Ａと現走査線の画素情報Ｂとの隣接する画素の画素情報の差分（Ａ−Ｂ）を求める（Ｓ１４）。
【００２８】そこで、エッジ判定手段１５は画素情報変化量演算手段１４で求めた差分（Ａ−Ｂ）がしきい値以上で、変化が急激であれば（Ｓ１５）、画像のエッジ（輪郭）であると判別して（Ｓ１６）判定信号を出力し（Ｓ１７）、又、差分（Ａ−Ｂ）がしきい値未満で、変化が緩慢であれば（Ｓ１５）、画像のエッジ（輪郭）ではないと判別して（Ｓ１８）、判定信号を出力しない。
【００２９】そして、この動作を１走査線分の画素信号が入力する毎に繰り返せば、画像のエッジ（輪郭）がリアルタイムに、確実に且つ自動的に判別することができる。
【００３０】図５は本発明の画像処理装置における特殊効果発生処理部の合成手段の一具体例を示すもので、１６は、２つの端子からそれぞれ入力する画素Ａと画素Ｂとの何れか１つを、１ビット２値信号からなる切替信号に応じて出力する切替合成手段である。
【００３１】図６は本発明の画像処理装置における特殊効果発生処理部の合成手段の他の具体例を示すもので、１７は、２つの入力端子からそれぞれ入力する画素Ａと画素Ｂとに、例えば１０ビット１０２４階調の多値キー信号Ｋ（但し、Ｋ＝０〜１）に応じて合成した画像信号を出力するキー合成手段である。
【００３２】図７は本発明の画像処理装置における特殊効果発生処理部の合成手段の更に他の具体例を示すもので、１８は、２つの入力端子からそれぞれ入力する画素Ａと画素Ｂとの内の最もレベルの高い方の画素Ａ或いはＢ、又は、所定のレベル範囲の画素Ａ或いはＢを出力するＮＡＭ合成手段である。
【００３３】このように構成された本発明の画像処理装置において、入力画像のどの部分を特殊効果画像にしたいか、例えば画面上の人物の顔を画像認識判定部５で指定した上、画像認識判定部５において図３に示したパターン認識による判定処理を、特殊効果発生処理部６においてモザイク或いはデフォーカスの特殊効果と、図５に示した切替合成手段１６とをそれぞれ指定すると、人物が移動したり、カメラがパンする等して、画面上の人物の顔の位置が移動しても、特殊効果を施す部分として人物の顔の部分を自動的に追跡して、顔の部分にモザイク或いはデフォーカスの特殊効果を確実に施した画像がリアルタイムで得られる。
【００３４】又、入力画像のどの部分を特殊効果画像にしたいか、例えば画面上の人物を画像認識判定部５で指定した上、画像認識判定部５において図２に示した動き検出による判定処理を、特殊効果発生処理部６においてモノカラーの特殊効果と、図６に示したキー合成手段１７とをそれぞれ指定すると、人物が移動したり、カメラがパンする等して、画面上の人物の位置が移動しても、特殊効果画像領域として人物の部分を自動的に追跡して、人物のみをカラーで確実に表示し、それ以外の背景等をモノカラーで表示するパートカラー画像がリアルタイムで得られる。
【００３５】
【発明の効果】以上説明したように、本発明によれば、入力画像の中の特殊効果を施す画像部分を画像認識判定部によって自動的に判定できるので、従来、画像編集時に人手によってしか行うことのできなかった特殊効果を施す作業が、リアルタイムに、確実に且つ自動的に施すことができるため、本発明の画像特殊効果発生装置が生放送番組でも使用できるという効果を奏する。
【００３６】又、本発明の画像特殊効果発生装置は、従来の画像特殊効果発生装置が有する３次元Ｙ／Ｃ分離やフレーム処理部で使用している動き検出回路や、動画圧縮に使用しているパターン認識回路等と本発明の画像認識判定部とを組み合わせることにより、従来の画像特殊効果発生装置でも本発明の画像特殊効果発生装置と同様の機能を簡単に持たせることができるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の画像処理装置の基本的な構成を示す図
【図２】(ａ)は本発明の画像処理装置における画像認識判定部の具体的な構成を示す図、(ｂ)は(ａ)の画像認識判定部のフローチャート
【図３】(ａ)は本発明の画像処理装置における画像認識判定部の他の具体的な構成を示す図、(ｂ)は(ａ)の画像認識判定部のフローチャート
【図４】(ａ)は本発明の画像処理装置における画像認識判定部の更に他の具体的な構成を示す図、(ｂ)は(ａ)の画像認識判定部のフローチャート
【図５】本発明の画像処理装置における特殊効果発生処理部の切替合成手段の一具体例を示す図
【図６】本発明の画像処理装置における特殊効果発生処理部の切替合成手段の他の具体例を示す図
【図７】本発明の画像処理装置における特殊効果発生処理部の切替合成手段の更に他の具体例を示す図
【図８】従来の画像処理装置の基本的な構成を示す図
【符号の説明】
５画像認識判定部
６特殊効果発生処理部
７フィールドメモリ
８画素情報差分演算手段
９画素判定手段
１０特徴抽出手段
１１パターン差分演算手段
１２パターン一致判定手段
１３ラインメモリ
１４画素情報変化量演算手段
１５エッジ判定手段
１６切替合成手段
１７キー合成手段
１８非加算合成手段

【特許請求の範囲】
【請求項１】特定条件に基づいて判別された入力画像の中の特殊効果を施したい画像部分に特殊処理を施して、前記入力画像に合成処理する特殊効果処理方法。
【請求項２】前記特定条件は、前記入力画像，前記入力画像の輝度，前記入力画像の色，前記入力画像の輪郭のうちの少なくとも１つであることを特徴とする請求項１記載の特殊効果処理方法。
【請求項３】前記特殊効果は、モザイク，スクランブル，バースト，メルト，ペイント（ビット落し），ネガ（反転），モノカラー，モアレ，ソラリゼーション，デフォーカス（ぼかし），エンハンスのうちの少なくとも１つであることを特徴とする請求項１記載の特殊効果処理方法。
【請求項４】前記合成処理は、切替合成，キー合成，ＮＡＭ合成のうちの少なくとも１つであることを特徴とする請求項１記載の特殊効果処理方法。
【請求項５】入力画像の中の特殊効果を施したい画像部分を前記入力画像から判別する画像認識判定部と、該画像認識判定部において判別された前記画像部分に特殊効果を施した上、前記画像部分を前記入力画像に合成処理する特殊効果発生処理部とからなることを特徴とする画像処理装置。
【請求項６】前記画像部分を前記入力画像，前記入力画像の輝度，前記入力画像の色，前記入力画像の輪郭のうちの少なくとも１つによって判別することを特徴とする請求項５記載の画像処理装置。
【請求項７】前記特殊効果は、モザイク，スクランブル，バースト，メルト，ペイント（ビット落し），ネガ（反転），モノカラー，モアレ，ソラリゼーション，デフォーカス（ぼかし），エンハンスのうちの少なくとも１つであることを特徴とする請求項５記載の画像処理装置。
【請求項８】前記合成処理は、切替合成，キー合成，ＮＡＭ合成のうちの少なくとも１つで行うことを特徴とする請求項５記載の画像処理装置。

【図１】