説明

画像編集装置

【発明の詳細な説明】
[発明の目的]
(産業上の利用分野)
本発明はテレビカメラ等から取込まれた複数の自然画像間での任意形状での切貼り編集を効率良く行なうことのできる画像編集装置に関する。
(従来の技術)
テレビカメラ等から取込まれた複数の自然画像間で任意形状の切貼り編集を行なう場合、従来一般には編集対象とする自然画像上における任意形状の領域の輪郭をタブレット等の座標入力装置を用いて正確に指示入力し、その指示された輪郭によって示される領域内の画像を切抜き抽出して行われている。然し乍ら、その輪郭を正確にトレースして輪郭情報を指示入力することは、オペレータにとってかなりの負担を強いることになる。しかもその形状が複雑になる程その負担が増大し、処理効率が益々低下する等の不具合がある。
このような不具合に鑑み、例えば『グラフィクスとCAD,25−5』に開示される論文「色情報を用いた領域抽出法;中須英輔」には、■ 自然画像を予め色量子化し、或る程度まとまった領域にそれぞれ分割してその微分画像を作成しておき、■ 上記自然画像に対して切出し対象とする任意形状の領域の輪郭を含むような太線が指示入力されたとき、■ その指定された太線内の微分画像を2値化,細線化し、更にこの細線化によって生じる枝の除去や切れ目に対するつなぎ処理を施して上記任意形状の領域を特定する輪郭線を生成し、■ この輪郭線の内側の領域の画像を前記自然画像から切抜き抽出して画像編集に供することが提唱されている。
このような手法によれば、切抜き対象とする領域の輪郭を含むように太線を設定指示入力するだけで良いので、その輪郭線を正確にトレースすることに比較してその労力・負担を相当軽減することができる。しかしそれでも、その輪郭線が必ず含まれるように太線を指示入力することが必要な為、オペレータにとって大きな労力と負担が強いられることが否めない。
また人間にとっては、僅かな色の違いであってもその色領域を識別可能であるが、上述した手法における微分画像では僅かな色の違いは大きな値となって現われない。この為、上述した手法にあっては、微分画像に対する2値化の閾値によってはその輪郭線生成を高精度に行なうことが困難となる等の不具合が懸念される。
(発明が解決しようとする問題点)
このように従来にあっては、自然画像から任意形状の領域の画像を切抜き抽出して画像編集しようとする場合には、その領域の指定に多大な労力と負担が掛かり、また任意形状の領域を特定する輪郭線を高精度に設定することも困難である等の問題があった。
本発明はこのような事情を考慮してなされたもので、その目的とするところは、自然画像中の任意形状の領域を簡易に設定してその領域の画像の切抜き編集を効率的に進めることのできる実用性の高い画像編集装置を提供することにある。
[発明の構成]
(問題点を解決するための手段)
本発明に係る画像編集装置は、原画像メモリに蓄えられた複数枚の自然画像中の指定された画像を原画像とし、この原画像を任意の色数に量子化し、一方、前記原画像に対して該画像中から切抜き抽出したい画像領域を指定する包含線情報が入力されたとき、この包含線情報で示される領域の上記色量子化画像において同じ色でつながる画素領域の面積が所定の割合い以上含まれる画像部分をマスク画像として検出し、必要に応じて色連結領域を指定する等して適宜上記マスク画像を修正し、このマスク画像に対応する領域の現画像を前記原画像メモリから切抜き画像として抽出して画像編集に供するようにしたことを特徴とするものである。
(作用)
本発明によれば、自然画像中の任意形状の画像領域を切抜き抽出する場合、その領域を囲むように包含線を指定すれば、その包含線で囲まれる領域の色量子化画像における各色の連結領域がそれぞれ占める割合いが求められ、一定の割合い以上の色連結領域がマスク画像として切出される。そしてこのマスク画像に従って前記自然画像中から該当領域の画像が切抜き抽出されるので、ここに前記切抜き対象とする任意形状の画像を前述した包含線の入力だけによって簡易に求めて画像編集することが可能となる。
また検出されたマスク画像に対して、例えば色量子化画像に対する任意の色連結領域の指定により適宜修正を加えることができるので、切抜き抽出する任意形状の画像に対する修正も非常に容易に、且つ精度良く行なうことが可能となり、画像編集効率を高めることが可能となる。
(実施例)
以下、図面を参照して本発明の一実施例につき説明する。
第1図は本発明の一実施例に係る画像編集装置の概略構成図である。テレビカメラ1は画像編集に供する複数の自然画像をそれぞれ撮像入力するもので、その自然画像は、例えば色の3原色である赤・緑・青(R・G・B)の成分にそれぞれ色分解され、各々4ビットのディジタル信号として取込まれる。このテレビカメラ1から入力される複数枚の自然画像は、例えば例えば第4図に示すように切抜き対象とする人物画像を含む第1の自然画像と、この第1の自然画像から切抜き抽出された人物画像が嵌込み合成される風景画像からなる第2の自然画像として与えられる。そしてこれらの第1および第2の自然画像は第1および第2の画像蓄積部(画像メモリ)2,3にそれぞれ格納される。
尚、これらの画像蓄積部2,3は、後述する合成編集された画像を格納する為の合成画像蓄積部10と共に1つの大きな画像メモリを領域分割して設定されるものであっても良い。
色量子化装置4は、上記画像蓄積部2,3に格納された自然画像中の切抜き対象とする画像を含む自然画像が、例えば人物像を含む第1の自然画像として指定されたとき、この第1の自然画像を、例えば16色に色量子化する。この色量子化処理は、前記自然画像がR・G・B各4ビットの組合せにより4096色を取り得ることから、後述するマスク画像作成処理を容易化するべく、或る程度の色のまとまり毎に分割することからなる。
具体的にはこの色量子化処理は、上記自然画像に対して、先ず第2図に示すR・G・B空間における前述した4096色の出現頻度分布を求め、頻度の高い順に上位の16色を代表色として求める。そして似かよった色だけが代表色として選ばれないように、その代表色の上記R・G・B空間における距離Lを求め、所定の色空間距離内にある色についてはその頻度の高い側の色に統合する。このような代表色の選定処理により量子化すべき16色が決定された後、残りの色を前記R・G・B空間における距離Lに応じて上記各代表色にそれぞれ統合して色量子化を行なう。
尚、上記色空間における距離Lは、2つの色のR・G・B空間における位置を(R1,G1,B1),(R2,G2,B2)としたとき、

として与えられる。
このようにして16色の量子化されて求められた色量子化画像が色量子化画像蓄積部(色量子化画像メモリ)5に格納される。
一方、上述した色量子化処理に供される第1の自然画像は表示装置11にて表示されてその自然画像中の切抜き対象とする画像領域の指定処理に供される。この画像領域の指定は上記表示装置11に表示さた自然画像に対して、例えば第3図に示すようなタブレット7aとタブレットペン7bとからなる座標入力装置7を用い、第5図に示すように切抜き対象とする人物像αの領域を囲む包含線βの情報を指示入力することによって行われる。具体的には、前記座標入力装置7を用いて人物像αの周囲の複数点を順次指定入力し、これらの各点を順に結んで多角形を形成し、これを上記包含線βとする。尚、表示画面上にクロスカーソルを表示し、このクロスカーソル位置をマウス等により移動させながら包含線βの情報を入力するようにしても良い。
しかしてこのようにして切抜き対象とする画像領域を包含する包含線βの情報が入力されるとマスク画像作成装置6が起動される。このマスク画像作成装置6は前記色量子画像蓄積部5に格納された色量子化画像を参照して上記包含線(包含多角形)βに所定の割合い以上含まれる色連結領域を各色について求め、これらの色連結領域によって示される画像部分をマスク画像として求めるものである。
即ち、マスク画像作成装置6は先ず前記色量子化画像の或る色について着目し、その色連結領域をラベリングして求める。例えば第7図(a)に示す色量子化画像の赤色に着目した場合、赤色連結領域をそれぞれ検出して同図(b)に示すようなラベル画像を求める。このようなラベル画像について各色連結領域毎に、その連結領域の全体面積と前記包含線βで囲まれる領域内に含まれる部分面積とをそれぞれ求め、当該連結領域の上記包含線βで囲まれる領域内に含まれる面積割合いを求める。そしてその面積割合いが一定の割合い以上である場合、その色連結領域を抽出する。例えば第7図(b)に示されるラベル画像においてラベル[1]が付された赤色連結領域については、第8図(a)に白量子化画像と包含線βとの関係を示すように、その全体面積を『5画素』、包含線βで囲まれる領域に含まれる部分面積を『4画素』として求め、面積比で80%が包含線βで囲まれる領域内に含まれるとして検出する。そしてこの割合い(面積比)が予め設定された割合い(例えば面積比で90%)を越えているか否かを判定し、越えている場合にはその色連結領域をマスク画像を構成する画像部分として抽出する。
このような処理を上述した各ラベル領域(色連結領域)毎に行い、更には着目する色を変えながら色量子化画像の全ての色について同様な処理を繰返し実行する。この結果、第8図(b)に示すように切出し部分を“1"、それ以外の領域を“0"としたマスク画像が求められる。
尚、このようなマスク画像の作成処理においては、例えば第8図(a)に示すように面積の小さい孤立図形領域からなる雑画が生じることがある。このような雑画については、例えばマスク画像についてその連結領域毎にラベリング処理を施し、各連結領域の面積を求める。そして面積の小さいラベル値の連結領域に対応したマスク画像部分を“0"にすることで、その雑画成分を除去する。
このような雑画処理により、第9図(b)に示すようなマスク画像が求められる。
さて上述した処理によって求められるマスク画像は、前述した切抜き対象とする人物画像αの形状についてかなり近いものとなる。しかし包含線βと行路連結領域との位置関係によっては、その色連結領域が背景部分と判定されてマスク画像に欠けが生じたり、逆に背景部分の一部の色連結領域がマスク画像を構成する部分であると判定されて余分な画像部分までがマスク画像とし切出される虞れがある。このような若干のマスク画像の不正確さに対して本装置では次のようにしてその修正処理を行い得るようになっている。
即ち、先ず前記表示装置11に色量子化画像を表示し、必要に応じて所定の色量子化画像部分を拡大表示する。例えばマスク画像として検出された画像部分とその近傍の領域の色量子化画像を拡大表示する。このようにして表示された色量子化画像に対して前述した座標入力装置7を用いて修正対象とする色連結領域を指定する。この色連結領域の指定は、マスク画像中から削除したい色連結領域である場合には、マスク画像内の該当色連結領域の1つの画素を指定することにより行われる。また色連結領域をマスク画像に加えたい場合には、背景画像部分の該当色連結領域の1つの画素を指定することにより行われる。
このようにして色連結領域の1つが指定されたとき、前述したマスク画像作成装置6にてその指定された色を対象として、再度その色連結領域についてのラベリングを行い、指定された画素が含まれるラベリング領域の色連結領域を前述した如くカスク画像に加え、或いはマスク画像部分から削除してその修正を行なう。
具体的には、第10図(a)に示すように色量子化画像中の斜線部分がマスク画像として検出抽出され、指定点で示される赤色連結領域を上記マスク画像に加えてその修正を行なう場合には、先ず第10図(b)に示すように赤色に着目して色連結領域のラベリングを行なう。そして上記指定点が含まれるラベル領域(ラベル番号[3]の領域)を前記ラベル画像に加えて同図(c)に示すような修正ラベル画像を得る。
このような修正機能を適宜活用することによって前述したマスク画像の検出処理において欠落した画像部分や冗長な画像部分が簡易に修正される。
しかして切出し画像作成装置8は上述した如く求められたマスク画像に従い、前述した第1の画像蓄積装置2から上記マスク画像が示す領域の自然画像部分人物画像部分α)を切抜き抽出する。そしてこの切抜き抽出した自然画像を画像合成装置9に与えて画像編集に供している。
この画像合成装置9では、例えば前記第2の画像蓄積部3に格納された第2の自然画像に対して上述した如く第1の自然画像から切抜き抽出された画像を、その指定された位置に、指定された大きさで重ね書する等して嵌込み合成するものであり、この嵌込み合成された画像が合成画像蓄積部10に格納される。この結果、合成画像蓄積部10には、例えば第6図に示すような合成画像が求められる。
以上説明したように本発明によれば、切抜き対象とする画像部分を囲むように包含線の情報を入力するだけで、その切抜き対象の画像の形状にほぼ近いマスク画像を生成し、このマスク画像に従って上記切抜き対象の画像部分を切抜き抽出して画像編集に供することができる。しかも上述した如く検出されたマスク画像に対して非常に簡易に修正を加えることができるので、多大な労力を伴うことなしに所望とする種々形状の画像部分を効果的に切出すことができる。従って自然画像の切抜き編集処理を効率良く行なうことが可能となる等の実用上多大なる効果が奏せられる。
尚、本発明は上述した実施例に限定されるものではない。ここでは自然画像の入力にテレビカメラ1を用いたが、VTRやスキャナ等であっても良いことは勿論のことである。また画像処理をR・G・B画像として取扱うことに代えて、色相・明度・彩度の色空間にて行なうことも可能である。更には各色成分の量子化精度も4ビットに制限されるものではなく、その色量子化の精度の16色に制限されるものではない。また色量子化の手法も従来より提唱されている種々の手法を適宜採用可能である。その他、本発明はその要旨を逸脱しない範囲で種変形して実施することができる。
[発明の効果]
以上のように本発明によれば、切抜き対象とする画像部分を囲む包含線の指示入力だけによって非常に簡易に、しかも精度良く上記画像部分を切抜き抽出した画像処理に供することができるので、オペレータに対する負担を大幅に軽減し、その処理効率の向上を図ることができる等の実用上多大なる効果が奏せられる。
【図面の簡単な説明】
図は本発明の一実施例を示すもので、第1図は実施例に係る画像編集装置の概略構成図、第2図はR・G・B色空間を示す図、第3図は座標入力装置としてのタブレットを示す図、第4図は入力自然画像の例を示す図、第5図R>図は切抜き対象画像部分とこれを囲む包含線の関係を示す図、第6図は画像編集された合成画像の例を示す図、第7図は色量子化画像とそのラベル画像の例を示す図、第8図はマスク画像の生成を説明する為の図、第9図はマスク画像からの雑画の除去処理を説明する為の図、第10図はマスク画像の修正処理を説明する為の図である。
1……テレビカメラ、2,3……画像蓄積部、4……色量子化装置、5……色量子化画像蓄積部、6……マスク画像作成装置、7……座標入力装置、8……切出し画像作成装置、9……画像合成装置、10……合成画像蓄積部、11……表示装置。

【特許請求の範囲】
【請求項1】複数枚の自然画像の情報をそれぞれ格納する原画像メモリと、この原画像メモリに蓄えられた自然画像中の指定された画像を原画像とし、この原画像を任意の色数に量子化する色量子化装置と、この色量子化装置にて求められた色量子化画像を格納する色量子化画像メモリと、前記原画像に対して該画像中から切抜き抽出したい画像領域を指定する包含線情報を入力する為の手段と、前記色量子化画像において同じ色でつながる連結領域の面積が上記手段を用いて入力された包含線情報で示される領域内に所定の割合い以上含まれる画像部分をマスク画像として検出する手段と、このマスク画像に対応する領域の原画像を前記原画像メモリから切抜き画像として抽出する手段と、この切抜き抽出された画像を前記原画像メモリに格納されている任意の画像に嵌込み合成する手段とを具備したことを特徴とする画像編集装置。
【請求項2】マスク画像は、色量子化画像に対して任意の色が指定されたとき、この指定された色の連結領域を用いて修正されるものである特許請求の範囲第1項記載の画像編集装置。

【第1図】
image rotate


【第2図】
image rotate


【第3図】
image rotate


【第5図】
image rotate


【第6図】
image rotate


【第4図】
image rotate


【第7図】
image rotate


【第8図】
image rotate


【第9図】
image rotate


【第10図】
image rotate


【特許番号】第2642368号
【登録日】平成9年(1997)5月2日
【発行日】平成9年(1997)8月20日
【国際特許分類】
【出願番号】特願昭62−334714
【出願日】昭和62年(1987)12月28日
【公開番号】特開平1−175076
【公開日】平成1年(1989)7月11日
【新規性喪失の例外の表示】特許法第30条第1項適用申請有り グラフィクスとCAD30−2「キャプテン画像入力装置における画像加工」
【出願人】(999999999)株式会社東芝