画像切り抜き装置
【目的】本発明は、面倒な切り抜き条件の設定を行うことなく、様々な色や絵柄の組合せでできた模様からなる画像を切り抜ける装置を提供することを目的とする。
【構成】画像入力手段ａから入力された画像データは、空間周波数変換手段ｂによって局所領域ごとの空間周波数の強弱の変化の様子が検出され、クラスタリング手段ｄによって空間周波数の強弱変化の類似性を検出しクラスタリングを行う。領域分割画像生成手段ｅは、クラスタリング結果に基づき類似の空間周波数特徴をもつ局所領域を１つにまとめる。まとめられた領域の中から抽出すべき領域を指示すると領域設定手段ｇにより局所領域単位で抽出すべき領域画像データが得られる。輪郭部設定手段ｈは色量子化手段ｃによって類似色ごとにグルーピングされた色量子化画像データを用いて抽出された領域画像データの輪郭部を正確に切り出し、マスク作成に必要なデータを得る。
【構成】画像入力手段ａから入力された画像データは、空間周波数変換手段ｂによって局所領域ごとの空間周波数の強弱の変化の様子が検出され、クラスタリング手段ｄによって空間周波数の強弱変化の類似性を検出しクラスタリングを行う。領域分割画像生成手段ｅは、クラスタリング結果に基づき類似の空間周波数特徴をもつ局所領域を１つにまとめる。まとめられた領域の中から抽出すべき領域を指示すると領域設定手段ｇにより局所領域単位で抽出すべき領域画像データが得られる。輪郭部設定手段ｈは色量子化手段ｃによって類似色ごとにグルーピングされた色量子化画像データを用いて抽出された領域画像データの輪郭部を正確に切り出し、マスク作成に必要なデータを得る。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、画像データから必要な領域の画像のみを抽出するための画像切り抜き装置に関する。
【０００２】
【従来の技術】従来、レイアウトスキャナー等の画像処理システムにおいて、画像データの中から必要とする画像領域を切り抜くための切り抜き装置としては、作業者がディスプレイ上に表示された画像を参照しながら、切り抜きたい領域の輪郭部分をデジタイザ、あるいはマウス等のポインティング・デバイスを用いてトレースすることにより切り抜き領域を指示するものがある。また、これらの作業を自動的に行う為に、切り抜きたい領域と背景領域の色差や濃度差等を検出して、予め設定された閾値等を基に両者を分割し、背景領域を切り抜く装置がある。更に、本出願人による特願平２−２５６２８０号には、画像データの色量子化とエッジ抽出とから領域分割を行って、切り抜き領域を指示する装置がある。
【０００３】
【発明が解決しようとする課題】しかしながら、トレースによる切り抜き装置においては複雑な形状の領域を切り抜こうとすると、トレース作業が複雑になって作業者の負担が増大し、作業時間も非常にかからざるを得ない。また、トレースにより読みとられた点情報をつないで線情報とする際に、スムージング処理を施したり、ベクトル化処理を施す必要があり、装置に複雑な処理を組み込まなければならなくなってしまう。
【０００４】一方、色信号や濃度信号から自動的に画像を切り抜く装置においても、作業者が画像を確認しながら、最適な閾値をその都度設定する必要があるうえ、切り抜きを行う対象となる画像データは千差万別であり、野外などの自然環境のもとで撮られた写真画像から、特定の領域を切り抜こうとする場合、切り抜きたい領域内にある色と同じ色が、背景領域に存在しているような場合には、うまく切り抜けない。
【０００５】また、画像データの色量子化とエッジ情報とから領域分割を行う装置においては、様々な色や絵柄の組合せでできた模様からなる領域（例えば、セーター、柄物の洋服、花畑等）をまとめて切り抜こうとする場合、エッジが細かく抽出されすぎるために一括して領域分割できない。
【０００６】
【課題を解決するための手段】本発明は上記の課題を解決するためになされたものであり、画像データの入力手段ａと、該画像データから局所領域の空間周波数特徴データを生成する空間周波数変換手段ｂと、前記画像データから色量子化画像データを生成する色量子化手段とｃ、前記局所領域の空間周波数特徴データを空間周波数特徴の類似性によってクラスタリングするクラスタリング手段ｄと、該クラスタリング結果を用いて前記画像データから局所領域単位の領域分割画像データを生成する領域分割画像生成手段ｅと、該局所領域単位の領域分割画像データの表示手段ｆと、前記局所領域単位の領域分割画像データから指示された領域を抽出する領域設定手段ｇと、該抽出された局所領域単位の領域分割画像データの中から指示された色の色量子化画像データを検索し輪郭部を設定する輪郭部設定手段ｈと、該輪郭部の設定された領域分割画像データからマスクデータを作成するマスク作成手段ｉと、を具備することを特徴とする画像切り抜き装置で前記課題を解決せんとしている。
【０００７】
【作用】本発明による画像切り抜き装置では、画像入力手段ａから入力された画像データが、空間周波数変換手段ｂによって局所領域ごとの空間周波数の強弱の変化の様子が検出され、局所領域ごとの空間周波数特徴データが生成される。クラスタリング手段ｄは、局所領域の空間周波数特徴データから空間周波数の強弱変化の類似性を検出しながら局所領域の空間周波数特徴データのクラスタリングを行う。
【０００８】一方、画像入力手段ａから入力された画像データは、色量子化手段ｃによって類似色ごとにグルーピングされ、色数を減らすことによって色量子化された画像データが作られる。そして、領域分割画像生成手段ｅは、局所領域の空間周波数特徴データのクラスタリング結果を用いて、類似の空間周波数特徴をもつ局所領域をまとめることにより、局所領域単位で領域分割された領域分割画像データを生成し、表示手段ｆに表示される。
【０００９】表示された領域分割画像データの中から抽出すべき領域を指示すると、領域設定手段ｇにより局所領域単位で抽出すべき領域画像データが得られる。この局所領域単位で指示された画像データの輪郭部を画素単位で正確に切り出すために、輪郭部設定手段ｈによって、輪郭部を含む局所領域に対して色量子化された画像データを用いて、抽出すべき領域に含まれる色を指定することによって輪郭を正確に切り出し、マスク作成に必要な領域分割画像データが決定される。このデータをもとに、マスク作成手段ｉによってマスクデータが作成される。そして、このマスクデータに対応した画像データの領域が抽出されることによって、所望の切り抜き画像を得ることができる。
【００１０】
【実施例】本発明の一実施例を図面を用いて詳細に説明する。図２は、本発明による画像切り抜き装置の構成例を示すブロック図である。本実施例の切り抜き装置は、外部システムから画像データを受信する画像入力手段１と、半導体メモリ、磁気ディスクなどよりなる記憶手段２と、カラーディスプレイ等よりなる表示手段３と、マウス等のポインティングデバイスを備えた入力手段４、コンピュータなどよりなる演算処理手段５、外部システム等に演算結果を出力する出力手段６とから概略構成されている。
【００１１】画像入力手段１は、少なくとも画像データをＲ，Ｇ，ＢあるいはＹ，Ｍ，Ｃ信号として取り込むためのもので、カラー原稿を画像データとして取り込むためのスキャナ、あるいは外部システムからの画像データを取り込むためのデータ通信装置等である。
【００１２】記憶手段２は、画像入力手段１からの画像データを格納しておくとともに、後述する局所領域の空間周波数特徴データ、色量子化された画像データ、局所領域単位の領域分割画像データ、指示選択された局所領域単位の領域画像データ、マスクデータ、切り抜き画像などの各種処理画像データを格納しておく。
【００１３】表示手段３は、演算手段５によりその動作が制御されており、記憶手段２からの各種画像データを表示する。
【００１４】入力手段４は、表示手段３に表示された領域分割画像データから抽出したい領域を指示するため、及び抽出したい領域の輪郭部を正確に設定するために、輪郭部を含む局所領域に含まれる色を指定するためのものである。
【００１５】演算処理手段５は、画像データを局所領域ごとにサンプリングして局所領域の空間周波数特徴データを生成する。そして、局所領域の空間周波数特徴データから空間周波数の強弱変化の類似性を検出してクラスタリング（パターンの類似性の評価基準の下で類似したパターンのグループをクラスタ：Ｃｌｕｓｔｅｒと呼び、パターン空間上の分布からクラスタを探すことをクラスタリングという）を行い、局所領域空間周波数特徴データをグルーピングし、このクラスタリング結果を用いて類似空間周波数特徴をもつ局所領域をまとめることにより、画像データを局所領域単位で領域分割する。分割された各領域にはラベル付けをして局所領域単位の領域分割画像データを生成して、表示手段３に表示する。そして、入力手段４により、表示された局所領域単位の領域分割画像データの中から、切り抜きたい画像内の領域分割された領域を指定することによって、抽出すべき領域を含む局所領域単位の画像領域を選び出す。
【００１６】一方、演算処理手段５は入力された画像データをもとに、各画素ごとに色量子化を行う。そして、この色量子化画像を、抽出された局所領域単位の画像領域の輪郭部に対して適用し、抽出すべき領域に含まれる色を指定することによって輪郭を正確に（画素単位で）切り出し、マスク作成に必要な領域を選び出す。出力手段６は、マスクデータあるいは切り抜き画像データを他の装置へ出力するためのものである。
【００１７】次に、図３〜図４に示すフローチャートを参照して、この実施例の作用について説明する。
（ａ）局所領域空間周波数特徴データの生成先ず、画像入力手段１により画像データが入力され、記憶手段２に格納される（ステップＳＰ１）。格納された画像データは、表示手段３により表示され（ステップＳＰ２）、ディスプレイ上で確認することができる。表示手段３上の画像データが確認され（ステップＳＰ３）、不備がなければ画像データは１６×１６画素の領域でｘ方向、ｙ方向にそれぞれ４画素おきにフーリエ変換により周波数空間に変換されて４×４画素の局所領域ごとの空間周波数特徴を表現した局所領域の空間周波数特徴データが生成され（ステップＳＰ４）、記憶手段２に格納される。（局所領域は４×４画素を１単位とするが、空間周波数データとしては周辺の画素も含めて特徴を捉える方が好ましいため、１６×１６画素のデータから空間周波数データを求め、これを当該４×４画素の局所領域の特徴データとする）局所領域空間周波数特徴データは、フーリエ変換により求められた各局所領域における空間周波数データを、図６に示すような周波数区分（実線で囲まれた領域）に分割し、それぞれ区分内における空間周波数の強さの平均を求め、各局所領域に対して各周波数区分ごとの値を要素とするベクトルとして得られる。
【００１８】即ち、フーリエ変換により求められた空間周波数データは、局所領域内の画像データがどのような周波数成分を有しているかを示しており、この空間周波数データを図５に示すように区分された領域毎にデータを取り出し、平均を求めることで特定周波数の強さを表すことができる。こうして求めた領域毎の各平均を要素とするベクトルは、ある局所領域のデータの（周波数分布の）特徴を表すことができる。
【００１９】尚、フーリエ変換を施す対象のデータとしてはとしては、モノクロ画像の場合はその階調データをそのまま利用し、カラー画像の場合は輝度信号を対象とする。従って、カラー画像が輝度・色差信号として入力される場合は輝度信号を利用できるが、Ｒ・Ｇ・Ｂ（またはＣ・Ｍ・Ｙ）の３原色データとして入力される場合は、予めこれらのデータを基に輝度信号を求めておく必要がある。
【００２０】（ｂ）画像データの色量子化画像データはクラスタリング手法により色量子化が行われ色量子化画像データが生成され（ステップＳＰ５）、記憶手段２に格納される。このクラスタリング手法による色量子化について、図４を用いて詳しく説明する。先ず各画素ごとのＲ，Ｇ，Ｂ（またはＹ，Ｍ，Ｃ）のデジタルデータをＲ，Ｇ，Ｂの色空間上にマッピングする（ステップＳＰ５１）。次にＲ，Ｇ，Ｂの各軸のデータごとに分散を求め（ステップＳＰ５２）、分散の最も大きい軸のデータについて、判別分析法等により閾値を求め（ステップＳＰ５３）、この閾値で画素データを二つのグループに分割する。（ステップＳＰ５４）。二つに分けられたグループについても同様の操作を行い（各軸のデータごとの分散を求め、分散の最も大きい軸で閾値を求め、二つのグループに分割する）、６０〜１００程度のグループ分けを行う（ステップＳＰ５５）。
【００２１】次に、同じグループに属する画素のデジタルデータはＲ，Ｇ，Ｂデータごとに平均値を求め、これをそのグループに属する画素の色量子化画像データとする（ステップＳＰ５６）。
【００２２】
（ｃ）局所領域を単位とした領域分割画像データの作成ステップＳＰ４で生成した、局所領域の空間周波数特徴データをＫｏｈｏｎｅｎのｆｅａｔｕｒｅ ｍａｐと呼ばれるニューラルネットを用いてクラスタリングを行い、類似した特徴を持つ局所的な空間周波数特徴データのグループ分けを行う（ステップＳＰ６）。
【００２３】ｆｅａｔｕｒｅ ｍａｐは、Ｋｏｈｏｎｅｎにより提案された自己組織化ニューラルネットであり、図７のように２層からなり、入力されたベクトル群をその類似性に応じて分類することができるという特徴を有する。ｆｅａｔｕｒｅ ｍａｐによりグループ分けされた結果を用いて、類似の空間周波数特徴を持つ画像データ内の局所領域に同じラベルを付けていくことにより領域分割を行い、局所領域単位の領域分割画像データを生成する（ステップＳＰ７）。このデータをもとに、同じグループに属し互いに隣接するデータ（４×４画素のブロックを一単位としたもの）をまとめ、輪郭部に領域区分線を表示することでオペレーターが同じグループの画像領域を他の領域と区別できるようにする。この領域分割画像データは表示手段３に表示されるとともに（ステップＳＰ８）、記憶手段２に格納される。
【００２４】図５は、人間の像を切り抜く場合であるが、図５（ａ）のような画像データから図５（ｂ）に示すような領域分割された画像データを得ることができる。
【００２５】（ｄ）局所領域単位での抽出領域の指定この局所領域を単位とした領域分割画像データを参照して、入力手段４により切り抜きたい画像部分を指定する（ステップＳＰ９）。これは、切り抜きたい領域について領域区分線内の一点をカーソルで指示することで行う。
【００２６】抽出したい領域がうまく一つの領域として領域分割されているとは限らないため、複数の領域を選択できるようになっており、領域の指示が終了かどうかを待機する（ステップＳＰ１０）。指示が終了したならば、選択された局所領域単位の領域画像データが生成され表示手段３に表示されるとともに（ステップＳＰ１１）、記憶手段２に格納される。
【００２７】（ｅ）輪郭部の抽出及びマスクの作成表示された局所領域単位で選択された領域画像データを参照しながら、領域画像データの輪郭部を含む局所領域に対して、必要であれば抽出すべき部分に含まれる色量子化画像データ中の色を指定することにより輪郭部を正確に切り分ける作業を行い（ステップＳＰ１２）、必要な輪郭部の設定指示が終了するまで領域画像の輪郭部を設定して抽出すべき領域を得る（ステップＳＰ１３）。
【００２８】局所領域は本実施例では４×４画素単位であり、この単位では輪郭部が段々状になり滑らな輪郭線を抽出することが難しい。そこで、輪郭線を画素（ピクセル）単位で設定するために、輪郭線を含む局所領域のデータに対して、色量子化されたデータを用い輪郭部の抽出を行う。
【００２９】先ずステップＳＰ９で指定された領域に対応する、色量子化画像を表示装置３に表示する。色量子化画像は、６０〜１００程度のグループに分けられているため、これらを区別できるようにグループ毎に異なった色で表示される。
【００３０】次に輪郭部を含む各領域（図５（ｃ）においては領域ａ〜ｉが該当する）の輪郭線内（又は外）の画像に対して、輪郭部の色成分が含まれるようにカーソル等で指示することにより、画素の特定を行う。次に輪郭部を構成する４×４画素の領域の中から、特定された画素のと同じ色量子化データを持つ画素を検索する。一度の作業で全ての輪郭部の画素を抽出できない場合は、再度カーソルでサンプルデータを取り直し、同様の処理を繰り返せばよい。
【００３１】輪郭線の内外では画像が異なる色成分を有していることが多いので、上記の処理を行うことによって輪郭線を含む局所領域の中から、輪郭線内（又は外）の画素データのみを抽出することができる。この輪郭部の設定された領域をマッピングすることで、指示された領域を切り抜くためのマスクを生成する（ステップＳＰ１４）。
【００３２】図５（ｂ）のように領域分割された画像データを、図５（ｃ）に示すように切り抜きたい領域ａ〜ｉを複数指定することで、図５（ｄ）に示すようなマスクを生成することができる。
【００３３】（ｆ）切り抜き画像データの作成表示手段３に生成された領域抽出マスクが表示されるとともに（ステップＳＰ１５）、記憶手段２にこのデータが格納される。抽出すべき領域の形状と、表示された領域抽出マスクの形状を比較確認し（ステップＳＰ１６）、画像データと領域抽出マスクデータを掛け合わせる（ＡＮＤ演算する）ことにより、図４（ｅ）に示すような切り抜き画像データが生成される（ステップＳＰ１７）この切り抜き画像データは記憶手段２に記憶されるとともに、表示手段３に表示される（ステップＳＰ１８）。表示手段３に表示された切り抜き画像データを確認して（ステップＳＰ１９）ＯＫであれば、出力手段６からデータを出力する（ステップＳＰ２０）。
【００３４】うまく切り抜き画像を抽出できなかった場合には、領域分割画像データを抽出し直すためにステップＳＰ８へ戻るループが用意されている。
【００３５】以上説明したように、本発明によれば、濃淡の規則性が類似している領域では空間周波数が類似しているという性質を用いて、局所的な領域の空間周波数の特徴の類似性を基に画像を自動的に領域分割しているため、従来のように、人手によるトレース作業は不要であり、色の違いのみによって領域分割を行っていないため背景領域の一部と領域内に同じ色が存在している場合や、様々な色や絵柄の組合せでできた模様からなる領域（例えば、セーター、柄物の洋服、花畑等）を切り抜こうとする場合でも、人手のかかわる切り抜き作業を短時間で容易に行うことが可能となる。
【００３６】本実施例では、レイアウトスキャナー等で画像の切り抜きを行う場合について説明したが、通常の印刷の写真製版の集版工程において、分解フィルムの特定部分を切り抜き製版する際に用いるピールオフフィルム切り抜き機のデータを、マスクの輪郭線のデータを抽出することで容易に得ることができる。
【００３７】尚、本発明は上記の実施例に限定されるものではない。画像入力手段として、外部システムからデータを受信する受信装置を用いて画像データを入力してもよいし、スキャナにより、写真原稿から直接に画像データを取り組むようにしてもよい。また、画像の出力手段として、外部システムへデータを送信する通信装置を用いて切り抜き画像データを出力してもよいし、レイアウトスキャナに出力したり、ハードコピー機等へ出力してもよい。局所領域ごとに空間周波数特徴を得るための空間周波数変換手段は、上記実施例に限定されるものではなく、Ｇａｂｏｒ変換等の方法を用いてもよい。局所的な空間周波数データのクラスタリング方法は、上記実施例に限られるものではなく、同等の能力を備えた他のクラスタリング法あるいはベクトル量子化法、例えばＭＡＸＮＥＴ（ニューラルネットモデルの一種）等の方法を用いてもよい。
【００３８】さらに、入力される画像データは、Ｒ，Ｇ，Ｂ色空間あるいはＹ，Ｍ，Ｃ色空間で記述されたデータでなく、他の色空間、例えばＬａｂ空間等の均等色空間で記述されたデータであってもよい。
【００３９】
【発明の効果】以上説明したように、本発明の画像切り抜き装置によれば、面倒な切り抜き条件の設定を行うことなく、画像の切り抜きを容易に行え、作業時間の著しい短縮化を図ることができる。特に、自然環境の下で撮られた写真による、画像データからの切り抜きが可能であり、様々な色や絵柄の組合せでできた模様からなる画像領域を切り抜くことができる。
【図面の簡単な説明】
【図１】本発明の画像切り抜き装置の構成を示すブロック図
【図２】本発明の画像切り抜き装置の概略構成を示すブロック図
【図３】本発明の作用を説明するためのフローチャート
【図４】本発明の作用を説明するためのフローチャート
【図５】本発明の作用を説明するための説明図
【図６】本発明の作用を説明するた局所領域の空間周波数の区分例を示す説明図
【図７】Ｋｏｈｏｎｅｎのｆｅａｔｕｒｅ ｍａｐの説明図
【符号の説明】
１…画像入力手段
２…記憶手段
３…表示手段
４…入力手段
５…演算処理手段
６…出力手段
【０００１】
【産業上の利用分野】本発明は、画像データから必要な領域の画像のみを抽出するための画像切り抜き装置に関する。
【０００２】
【従来の技術】従来、レイアウトスキャナー等の画像処理システムにおいて、画像データの中から必要とする画像領域を切り抜くための切り抜き装置としては、作業者がディスプレイ上に表示された画像を参照しながら、切り抜きたい領域の輪郭部分をデジタイザ、あるいはマウス等のポインティング・デバイスを用いてトレースすることにより切り抜き領域を指示するものがある。また、これらの作業を自動的に行う為に、切り抜きたい領域と背景領域の色差や濃度差等を検出して、予め設定された閾値等を基に両者を分割し、背景領域を切り抜く装置がある。更に、本出願人による特願平２−２５６２８０号には、画像データの色量子化とエッジ抽出とから領域分割を行って、切り抜き領域を指示する装置がある。
【０００３】
【発明が解決しようとする課題】しかしながら、トレースによる切り抜き装置においては複雑な形状の領域を切り抜こうとすると、トレース作業が複雑になって作業者の負担が増大し、作業時間も非常にかからざるを得ない。また、トレースにより読みとられた点情報をつないで線情報とする際に、スムージング処理を施したり、ベクトル化処理を施す必要があり、装置に複雑な処理を組み込まなければならなくなってしまう。
【０００４】一方、色信号や濃度信号から自動的に画像を切り抜く装置においても、作業者が画像を確認しながら、最適な閾値をその都度設定する必要があるうえ、切り抜きを行う対象となる画像データは千差万別であり、野外などの自然環境のもとで撮られた写真画像から、特定の領域を切り抜こうとする場合、切り抜きたい領域内にある色と同じ色が、背景領域に存在しているような場合には、うまく切り抜けない。
【０００５】また、画像データの色量子化とエッジ情報とから領域分割を行う装置においては、様々な色や絵柄の組合せでできた模様からなる領域（例えば、セーター、柄物の洋服、花畑等）をまとめて切り抜こうとする場合、エッジが細かく抽出されすぎるために一括して領域分割できない。
【０００６】
【課題を解決するための手段】本発明は上記の課題を解決するためになされたものであり、画像データの入力手段ａと、該画像データから局所領域の空間周波数特徴データを生成する空間周波数変換手段ｂと、前記画像データから色量子化画像データを生成する色量子化手段とｃ、前記局所領域の空間周波数特徴データを空間周波数特徴の類似性によってクラスタリングするクラスタリング手段ｄと、該クラスタリング結果を用いて前記画像データから局所領域単位の領域分割画像データを生成する領域分割画像生成手段ｅと、該局所領域単位の領域分割画像データの表示手段ｆと、前記局所領域単位の領域分割画像データから指示された領域を抽出する領域設定手段ｇと、該抽出された局所領域単位の領域分割画像データの中から指示された色の色量子化画像データを検索し輪郭部を設定する輪郭部設定手段ｈと、該輪郭部の設定された領域分割画像データからマスクデータを作成するマスク作成手段ｉと、を具備することを特徴とする画像切り抜き装置で前記課題を解決せんとしている。
【０００７】
【作用】本発明による画像切り抜き装置では、画像入力手段ａから入力された画像データが、空間周波数変換手段ｂによって局所領域ごとの空間周波数の強弱の変化の様子が検出され、局所領域ごとの空間周波数特徴データが生成される。クラスタリング手段ｄは、局所領域の空間周波数特徴データから空間周波数の強弱変化の類似性を検出しながら局所領域の空間周波数特徴データのクラスタリングを行う。
【０００８】一方、画像入力手段ａから入力された画像データは、色量子化手段ｃによって類似色ごとにグルーピングされ、色数を減らすことによって色量子化された画像データが作られる。そして、領域分割画像生成手段ｅは、局所領域の空間周波数特徴データのクラスタリング結果を用いて、類似の空間周波数特徴をもつ局所領域をまとめることにより、局所領域単位で領域分割された領域分割画像データを生成し、表示手段ｆに表示される。
【０００９】表示された領域分割画像データの中から抽出すべき領域を指示すると、領域設定手段ｇにより局所領域単位で抽出すべき領域画像データが得られる。この局所領域単位で指示された画像データの輪郭部を画素単位で正確に切り出すために、輪郭部設定手段ｈによって、輪郭部を含む局所領域に対して色量子化された画像データを用いて、抽出すべき領域に含まれる色を指定することによって輪郭を正確に切り出し、マスク作成に必要な領域分割画像データが決定される。このデータをもとに、マスク作成手段ｉによってマスクデータが作成される。そして、このマスクデータに対応した画像データの領域が抽出されることによって、所望の切り抜き画像を得ることができる。
【００１０】
【実施例】本発明の一実施例を図面を用いて詳細に説明する。図２は、本発明による画像切り抜き装置の構成例を示すブロック図である。本実施例の切り抜き装置は、外部システムから画像データを受信する画像入力手段１と、半導体メモリ、磁気ディスクなどよりなる記憶手段２と、カラーディスプレイ等よりなる表示手段３と、マウス等のポインティングデバイスを備えた入力手段４、コンピュータなどよりなる演算処理手段５、外部システム等に演算結果を出力する出力手段６とから概略構成されている。
【００１１】画像入力手段１は、少なくとも画像データをＲ，Ｇ，ＢあるいはＹ，Ｍ，Ｃ信号として取り込むためのもので、カラー原稿を画像データとして取り込むためのスキャナ、あるいは外部システムからの画像データを取り込むためのデータ通信装置等である。
【００１２】記憶手段２は、画像入力手段１からの画像データを格納しておくとともに、後述する局所領域の空間周波数特徴データ、色量子化された画像データ、局所領域単位の領域分割画像データ、指示選択された局所領域単位の領域画像データ、マスクデータ、切り抜き画像などの各種処理画像データを格納しておく。
【００１３】表示手段３は、演算手段５によりその動作が制御されており、記憶手段２からの各種画像データを表示する。
【００１４】入力手段４は、表示手段３に表示された領域分割画像データから抽出したい領域を指示するため、及び抽出したい領域の輪郭部を正確に設定するために、輪郭部を含む局所領域に含まれる色を指定するためのものである。
【００１５】演算処理手段５は、画像データを局所領域ごとにサンプリングして局所領域の空間周波数特徴データを生成する。そして、局所領域の空間周波数特徴データから空間周波数の強弱変化の類似性を検出してクラスタリング（パターンの類似性の評価基準の下で類似したパターンのグループをクラスタ：Ｃｌｕｓｔｅｒと呼び、パターン空間上の分布からクラスタを探すことをクラスタリングという）を行い、局所領域空間周波数特徴データをグルーピングし、このクラスタリング結果を用いて類似空間周波数特徴をもつ局所領域をまとめることにより、画像データを局所領域単位で領域分割する。分割された各領域にはラベル付けをして局所領域単位の領域分割画像データを生成して、表示手段３に表示する。そして、入力手段４により、表示された局所領域単位の領域分割画像データの中から、切り抜きたい画像内の領域分割された領域を指定することによって、抽出すべき領域を含む局所領域単位の画像領域を選び出す。
【００１６】一方、演算処理手段５は入力された画像データをもとに、各画素ごとに色量子化を行う。そして、この色量子化画像を、抽出された局所領域単位の画像領域の輪郭部に対して適用し、抽出すべき領域に含まれる色を指定することによって輪郭を正確に（画素単位で）切り出し、マスク作成に必要な領域を選び出す。出力手段６は、マスクデータあるいは切り抜き画像データを他の装置へ出力するためのものである。
【００１７】次に、図３〜図４に示すフローチャートを参照して、この実施例の作用について説明する。
（ａ）局所領域空間周波数特徴データの生成先ず、画像入力手段１により画像データが入力され、記憶手段２に格納される（ステップＳＰ１）。格納された画像データは、表示手段３により表示され（ステップＳＰ２）、ディスプレイ上で確認することができる。表示手段３上の画像データが確認され（ステップＳＰ３）、不備がなければ画像データは１６×１６画素の領域でｘ方向、ｙ方向にそれぞれ４画素おきにフーリエ変換により周波数空間に変換されて４×４画素の局所領域ごとの空間周波数特徴を表現した局所領域の空間周波数特徴データが生成され（ステップＳＰ４）、記憶手段２に格納される。（局所領域は４×４画素を１単位とするが、空間周波数データとしては周辺の画素も含めて特徴を捉える方が好ましいため、１６×１６画素のデータから空間周波数データを求め、これを当該４×４画素の局所領域の特徴データとする）局所領域空間周波数特徴データは、フーリエ変換により求められた各局所領域における空間周波数データを、図６に示すような周波数区分（実線で囲まれた領域）に分割し、それぞれ区分内における空間周波数の強さの平均を求め、各局所領域に対して各周波数区分ごとの値を要素とするベクトルとして得られる。
【００１８】即ち、フーリエ変換により求められた空間周波数データは、局所領域内の画像データがどのような周波数成分を有しているかを示しており、この空間周波数データを図５に示すように区分された領域毎にデータを取り出し、平均を求めることで特定周波数の強さを表すことができる。こうして求めた領域毎の各平均を要素とするベクトルは、ある局所領域のデータの（周波数分布の）特徴を表すことができる。
【００１９】尚、フーリエ変換を施す対象のデータとしてはとしては、モノクロ画像の場合はその階調データをそのまま利用し、カラー画像の場合は輝度信号を対象とする。従って、カラー画像が輝度・色差信号として入力される場合は輝度信号を利用できるが、Ｒ・Ｇ・Ｂ（またはＣ・Ｍ・Ｙ）の３原色データとして入力される場合は、予めこれらのデータを基に輝度信号を求めておく必要がある。
【００２０】（ｂ）画像データの色量子化画像データはクラスタリング手法により色量子化が行われ色量子化画像データが生成され（ステップＳＰ５）、記憶手段２に格納される。このクラスタリング手法による色量子化について、図４を用いて詳しく説明する。先ず各画素ごとのＲ，Ｇ，Ｂ（またはＹ，Ｍ，Ｃ）のデジタルデータをＲ，Ｇ，Ｂの色空間上にマッピングする（ステップＳＰ５１）。次にＲ，Ｇ，Ｂの各軸のデータごとに分散を求め（ステップＳＰ５２）、分散の最も大きい軸のデータについて、判別分析法等により閾値を求め（ステップＳＰ５３）、この閾値で画素データを二つのグループに分割する。（ステップＳＰ５４）。二つに分けられたグループについても同様の操作を行い（各軸のデータごとの分散を求め、分散の最も大きい軸で閾値を求め、二つのグループに分割する）、６０〜１００程度のグループ分けを行う（ステップＳＰ５５）。
【００２１】次に、同じグループに属する画素のデジタルデータはＲ，Ｇ，Ｂデータごとに平均値を求め、これをそのグループに属する画素の色量子化画像データとする（ステップＳＰ５６）。
【００２２】
（ｃ）局所領域を単位とした領域分割画像データの作成ステップＳＰ４で生成した、局所領域の空間周波数特徴データをＫｏｈｏｎｅｎのｆｅａｔｕｒｅ ｍａｐと呼ばれるニューラルネットを用いてクラスタリングを行い、類似した特徴を持つ局所的な空間周波数特徴データのグループ分けを行う（ステップＳＰ６）。
【００２３】ｆｅａｔｕｒｅ ｍａｐは、Ｋｏｈｏｎｅｎにより提案された自己組織化ニューラルネットであり、図７のように２層からなり、入力されたベクトル群をその類似性に応じて分類することができるという特徴を有する。ｆｅａｔｕｒｅ ｍａｐによりグループ分けされた結果を用いて、類似の空間周波数特徴を持つ画像データ内の局所領域に同じラベルを付けていくことにより領域分割を行い、局所領域単位の領域分割画像データを生成する（ステップＳＰ７）。このデータをもとに、同じグループに属し互いに隣接するデータ（４×４画素のブロックを一単位としたもの）をまとめ、輪郭部に領域区分線を表示することでオペレーターが同じグループの画像領域を他の領域と区別できるようにする。この領域分割画像データは表示手段３に表示されるとともに（ステップＳＰ８）、記憶手段２に格納される。
【００２４】図５は、人間の像を切り抜く場合であるが、図５（ａ）のような画像データから図５（ｂ）に示すような領域分割された画像データを得ることができる。
【００２５】（ｄ）局所領域単位での抽出領域の指定この局所領域を単位とした領域分割画像データを参照して、入力手段４により切り抜きたい画像部分を指定する（ステップＳＰ９）。これは、切り抜きたい領域について領域区分線内の一点をカーソルで指示することで行う。
【００２６】抽出したい領域がうまく一つの領域として領域分割されているとは限らないため、複数の領域を選択できるようになっており、領域の指示が終了かどうかを待機する（ステップＳＰ１０）。指示が終了したならば、選択された局所領域単位の領域画像データが生成され表示手段３に表示されるとともに（ステップＳＰ１１）、記憶手段２に格納される。
【００２７】（ｅ）輪郭部の抽出及びマスクの作成表示された局所領域単位で選択された領域画像データを参照しながら、領域画像データの輪郭部を含む局所領域に対して、必要であれば抽出すべき部分に含まれる色量子化画像データ中の色を指定することにより輪郭部を正確に切り分ける作業を行い（ステップＳＰ１２）、必要な輪郭部の設定指示が終了するまで領域画像の輪郭部を設定して抽出すべき領域を得る（ステップＳＰ１３）。
【００２８】局所領域は本実施例では４×４画素単位であり、この単位では輪郭部が段々状になり滑らな輪郭線を抽出することが難しい。そこで、輪郭線を画素（ピクセル）単位で設定するために、輪郭線を含む局所領域のデータに対して、色量子化されたデータを用い輪郭部の抽出を行う。
【００２９】先ずステップＳＰ９で指定された領域に対応する、色量子化画像を表示装置３に表示する。色量子化画像は、６０〜１００程度のグループに分けられているため、これらを区別できるようにグループ毎に異なった色で表示される。
【００３０】次に輪郭部を含む各領域（図５（ｃ）においては領域ａ〜ｉが該当する）の輪郭線内（又は外）の画像に対して、輪郭部の色成分が含まれるようにカーソル等で指示することにより、画素の特定を行う。次に輪郭部を構成する４×４画素の領域の中から、特定された画素のと同じ色量子化データを持つ画素を検索する。一度の作業で全ての輪郭部の画素を抽出できない場合は、再度カーソルでサンプルデータを取り直し、同様の処理を繰り返せばよい。
【００３１】輪郭線の内外では画像が異なる色成分を有していることが多いので、上記の処理を行うことによって輪郭線を含む局所領域の中から、輪郭線内（又は外）の画素データのみを抽出することができる。この輪郭部の設定された領域をマッピングすることで、指示された領域を切り抜くためのマスクを生成する（ステップＳＰ１４）。
【００３２】図５（ｂ）のように領域分割された画像データを、図５（ｃ）に示すように切り抜きたい領域ａ〜ｉを複数指定することで、図５（ｄ）に示すようなマスクを生成することができる。
【００３３】（ｆ）切り抜き画像データの作成表示手段３に生成された領域抽出マスクが表示されるとともに（ステップＳＰ１５）、記憶手段２にこのデータが格納される。抽出すべき領域の形状と、表示された領域抽出マスクの形状を比較確認し（ステップＳＰ１６）、画像データと領域抽出マスクデータを掛け合わせる（ＡＮＤ演算する）ことにより、図４（ｅ）に示すような切り抜き画像データが生成される（ステップＳＰ１７）この切り抜き画像データは記憶手段２に記憶されるとともに、表示手段３に表示される（ステップＳＰ１８）。表示手段３に表示された切り抜き画像データを確認して（ステップＳＰ１９）ＯＫであれば、出力手段６からデータを出力する（ステップＳＰ２０）。
【００３４】うまく切り抜き画像を抽出できなかった場合には、領域分割画像データを抽出し直すためにステップＳＰ８へ戻るループが用意されている。
【００３５】以上説明したように、本発明によれば、濃淡の規則性が類似している領域では空間周波数が類似しているという性質を用いて、局所的な領域の空間周波数の特徴の類似性を基に画像を自動的に領域分割しているため、従来のように、人手によるトレース作業は不要であり、色の違いのみによって領域分割を行っていないため背景領域の一部と領域内に同じ色が存在している場合や、様々な色や絵柄の組合せでできた模様からなる領域（例えば、セーター、柄物の洋服、花畑等）を切り抜こうとする場合でも、人手のかかわる切り抜き作業を短時間で容易に行うことが可能となる。
【００３６】本実施例では、レイアウトスキャナー等で画像の切り抜きを行う場合について説明したが、通常の印刷の写真製版の集版工程において、分解フィルムの特定部分を切り抜き製版する際に用いるピールオフフィルム切り抜き機のデータを、マスクの輪郭線のデータを抽出することで容易に得ることができる。
【００３７】尚、本発明は上記の実施例に限定されるものではない。画像入力手段として、外部システムからデータを受信する受信装置を用いて画像データを入力してもよいし、スキャナにより、写真原稿から直接に画像データを取り組むようにしてもよい。また、画像の出力手段として、外部システムへデータを送信する通信装置を用いて切り抜き画像データを出力してもよいし、レイアウトスキャナに出力したり、ハードコピー機等へ出力してもよい。局所領域ごとに空間周波数特徴を得るための空間周波数変換手段は、上記実施例に限定されるものではなく、Ｇａｂｏｒ変換等の方法を用いてもよい。局所的な空間周波数データのクラスタリング方法は、上記実施例に限られるものではなく、同等の能力を備えた他のクラスタリング法あるいはベクトル量子化法、例えばＭＡＸＮＥＴ（ニューラルネットモデルの一種）等の方法を用いてもよい。
【００３８】さらに、入力される画像データは、Ｒ，Ｇ，Ｂ色空間あるいはＹ，Ｍ，Ｃ色空間で記述されたデータでなく、他の色空間、例えばＬａｂ空間等の均等色空間で記述されたデータであってもよい。
【００３９】
【発明の効果】以上説明したように、本発明の画像切り抜き装置によれば、面倒な切り抜き条件の設定を行うことなく、画像の切り抜きを容易に行え、作業時間の著しい短縮化を図ることができる。特に、自然環境の下で撮られた写真による、画像データからの切り抜きが可能であり、様々な色や絵柄の組合せでできた模様からなる画像領域を切り抜くことができる。
【図面の簡単な説明】
【図１】本発明の画像切り抜き装置の構成を示すブロック図
【図２】本発明の画像切り抜き装置の概略構成を示すブロック図
【図３】本発明の作用を説明するためのフローチャート
【図４】本発明の作用を説明するためのフローチャート
【図５】本発明の作用を説明するための説明図
【図６】本発明の作用を説明するた局所領域の空間周波数の区分例を示す説明図
【図７】Ｋｏｈｏｎｅｎのｆｅａｔｕｒｅ ｍａｐの説明図
【符号の説明】
１…画像入力手段
２…記憶手段
３…表示手段
４…入力手段
５…演算処理手段
６…出力手段
【特許請求の範囲】
【請求項１】画像データの入力手段と、該画像データから局所領域の空間周波数特徴データを生成する空間周波数変換手段と、前記画像データから色量子化画像データを生成する色量子化手段と、前記局所領域の空間周波数特徴データを空間周波数特徴の類似性によってクラスタリングするクラスタリング手段と、該クラスタリング結果を用いて前記画像データから局所領域単位の領域分割画像データを生成する領域分割画像生成手段と、該局所領域単位の領域分割画像データの表示手段と、前記局所領域単位の領域分割画像データから指示された領域を抽出する領域設定手段と、該抽出された局所領域単位の領域分割画像データの中から指示された色の色量子化画像データを検索し輪郭部を設定する輪郭部設定手段と、該輪郭部の設定された領域分割画像データからマスクデータを作成するマスク作成手段と、を具備することを特徴とする画像切り抜き装置。
【請求項１】画像データの入力手段と、該画像データから局所領域の空間周波数特徴データを生成する空間周波数変換手段と、前記画像データから色量子化画像データを生成する色量子化手段と、前記局所領域の空間周波数特徴データを空間周波数特徴の類似性によってクラスタリングするクラスタリング手段と、該クラスタリング結果を用いて前記画像データから局所領域単位の領域分割画像データを生成する領域分割画像生成手段と、該局所領域単位の領域分割画像データの表示手段と、前記局所領域単位の領域分割画像データから指示された領域を抽出する領域設定手段と、該抽出された局所領域単位の領域分割画像データの中から指示された色の色量子化画像データを検索し輪郭部を設定する輪郭部設定手段と、該輪郭部の設定された領域分割画像データからマスクデータを作成するマスク作成手段と、を具備することを特徴とする画像切り抜き装置。
【図１】
【図２】
【図５】
【図６】
【図３】
【図７】
【図４】
【図２】
【図５】
【図６】
【図３】
【図７】
【図４】
【公開番号】特開平５−２１６９９２
【公開日】平成５年（１９９３）８月２７日
【国際特許分類】
【出願番号】特願平４−１８７９２
【出願日】平成４年（１９９２）２月４日
【出願人】（０００００３１９３）凸版印刷株式会社 (10,630)
【公開日】平成５年（１９９３）８月２７日
【国際特許分類】
【出願日】平成４年（１９９２）２月４日
【出願人】（０００００３１９３）凸版印刷株式会社 (10,630)
[ Back to top ]