画像処理方法、画像処理装置、及び、プログラム、プログラム記憶媒体
【課題】 認識処理の精度によらず、画像全体でオブジェクトに対し統一した認識結果を適用できるようにする。
【解決手段】 入力画像からオブジェクトを抽出した後、オブジェクト毎に構造的特徴を抽出して特徴量に基づいてオブジェクトを分類する。分類されたグループから図形認識処理に適した代表オブジェクトを選択して、代表オブジェクトを図形認識し、図形認識結果が成功したかどうかを判定して成功していればグループ全てのオブジェクトを同じ認識結果で置き換えることにより、認識結果のぶれを抑える。
【解決手段】 入力画像からオブジェクトを抽出した後、オブジェクト毎に構造的特徴を抽出して特徴量に基づいてオブジェクトを分類する。分類されたグループから図形認識処理に適した代表オブジェクトを選択して、代表オブジェクトを図形認識し、図形認識結果が成功したかどうかを判定して成功していればグループ全てのオブジェクトを同じ認識結果で置き換えることにより、認識結果のぶれを抑える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は図面とイラストが混在した入力画像に対し、既定の図形は図形認識処理により清書化し、規定図形以外の入力はベクトル化して再利用可能な電子データを生成する画像処理装置に関する。
【背景技術】
【０００２】
近年、ペーパーレス化への要求が高まり、既存の画像データを電子化して再利用することが頻繁に行われるようになってきた。従来、図面や文書画像内の線図形といった画像データの再利用は、画像データをベクトル化技術でベクトルデータに変換し、このベクトルデータをＣＡＤソフト等で使用するという形で行われてきた。またビジネス文書においても、既存の画像データを電子化して再利用することが望まれている。画像のベクトル化技術としては2値画像を等幅線部と面部に分離し、線芯のベクトル化と輪郭線のベクトル化を切り替えられるようにする技術が開示されている(特許文献１)。
【０００３】
データの再利用性を考えた場合、図面中の記号や、オフィスアプリケーションにおける矢印・吹き出しなどシステム既定の図形情報は元のデータ表現に戻すことが望ましい。これは図形認識技術として検討がなされてきており、その基本的な考え方は、非特許文献１で述べられており、また認識処理の前処理として図形を正規化する手法が非特許文献２で述べられている。
【０００４】
また上記2つの組み合わせとして、図形認識処理とベクトル化処理を組み合わせて適用する図形清書装置も提案されている。特許文献２では、画像を読み込んでベクトル変換した後、ベクトルが閉図形の場合基本図形との比較を行い、一致した場合は基本図形のベクトルでデータを置き換え、一致しなかった場合と閉図形ではなかった場合は直線近似結果でデータを置き換える手法が開示されている。
【０００５】
従来方式では入力画像をある特定の単位(連結領域、またはオブジェクト)毎に分割し、それぞれに対して図形認識処理を適用する。図形認識処理は多くの特徴量を組み合わせて認識結果を判断するため、人目ではほとんど同じであっても、入力画像の微妙な差異で認識結果が変わることが多々あり、認識結果が変化したり、認識出来たオブジェクトと出来なかったオブジェクトが出力に混在したりすることがある。図３に示す画像を例にとると人目では左右の円が同じに見えるが、認識結果にはばらつきが生じ、認識出来なかった左側の円の歪みが強調されて見える。また認識出来なかった図形を人手で修正する工数が増えるなどの問題が生じる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開2009-271657号公報
【特許文献２】特開平08-050650号公報
【非特許文献】
【０００７】
【非特許文献１】安居院、長尾著“C言語による画像処理入門”初版,ISBN4-7856-3124-4,昭晃堂,2000
【非特許文献２】：Mario E. Munich Pietro, “Visual Identification by Signature Tracking,” IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.25 No.2 pp.200-217, 2003
【発明の概要】
【発明が解決しようとする課題】
【０００８】
図形認識処理に用いる特徴量は多様であり、精度を保ったまま認識できる範囲を広げることは困難である。そこで入力画像中の各オブジェクトから抽出した特徴量を元に処理対象オブジェクトをいくつかのグループに分類し、分類されたグループから代表オブジェクトを選択し認識処理を行って、認識に成功すれば代表オブジェクトが所属するグループ全てを同じ図形認識結果で置き換えるようにする。これにより認識処理側を変更することなく、画像全体で認識結果のばらつきを抑えることが出来る。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明に係る画像処理装置は画像入力手段と、入力画像からオブジェクトを抽出するオブジェクト抽出手段と、オブジェクト毎に構造的特徴を抽出する特徴抽出手段と、特徴量に基づいてオブジェクトを分類するオブジェクト分類手段と、分類されたグループから図形認識処理に適した代表オブジェクトを選択する代表オブジェクト選択手段と代表オブジェクトを図形認識する図形認識手段と、図形認識結果が成功したかどうかを判定する認識結果判定手段と、図形認識が成功すればグループ全てのオブジェクトを同じ認識結果で置き換えるオブジェクト置換手段から構成されることを特徴とする。
【発明の効果】
【００１０】
出力中に認識できなかったオブジェクトと認識できたオブジェクトが混在することを防ぐことが出来る。これにより認識されなかった図形の画質が認識出来た図形と比較して相対的に低下して見えてしまう問題を解消し、またユーザによる修正作業の量を大幅に削減できる。
【図面の簡単な説明】
【００１１】
【図１】実施形態における情報処理装置のメイン処理ブロック図である。
【図２】実施形態における情報処理装置のブロック図である。
【図３】入力画像に類似図形が含まれ、認識出来たものと、出来なかったものが出力に混在する例である。
【図４】実施形態における情報処理装置のメイン処理を示すフローチャートである。
【図５】特徴量抽出の流れと抽出できる特徴量の例である。
【図６】オブジェクトをクラスタリングし、グループ化した模式図である
【図７】本発明を適用した場合の処理結果である。
【発明を実施するための形態】
【００１２】
［実施形態１］
以下、添付の図面を参照して本発明の実施の形態を説明する。ただし、この実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。
【００１３】
本実施形態の画像処理装置の構成例について、図２のブロック図を参照して説明する。同図において、７は装置全体を制御するCentral Processing Unit（ＣＰＵ）である。６は変更を必要としないプログラムやパラメータを格納するRead Only Memory（ＲＯＭ）である。５は外部装置等から供給されるプログラムやデータを一時記憶するRandom Access Memory（ＲＡＭ）である。１は、文書等を光電走査して電子的な画像データを得るためのスキャナであり、３はこのスキャナ１と画像処理装置を接続する画像入出力インターフェースである。２は、前記スキャナ１で読み取られた画像データ等を保持する画像メモリである。１２は固定して設置されたハードディスクやメモリカード、あるいは着脱可能なフレキシブルディスク（ＦＤ）やCompact Disk（ＣＤ）等の光ディスク、磁気や光カード、ＩＣカード、メモリカード等を含む外部記憶装置である。また、１３はこれら外部記憶装置１２とコンピュータ装置との入出力（Input / Output）インターフェースである。１５はユーザの操作を受け、データを入力するマウス等のポインティングデバイス１０やキーボード９等の入力デバイスとのインターフェースである。１４は画像処理装置の保持するデータや供給されたデータを表示するためのディスプレイモニタ８とのインターフェースである。４はインターネット等のネットワーク回線に接続するためのネットワークインターフェースである。１１は１〜１５の各ユニットを通信可能に接続するシステムバスである。
【００１４】
以下、ＣＰＵ７上で実行されるプログラムにより本願発明を実現する処理手順を、図1のブロック図と図４のフローチャートを用いて説明する。ステップS１０００で処理を開始すると、処理対象となる画像領域を含む画像データを入力する。画像入力に関しては、スキャナ１にて読み取られた画像データを画像入出力Ｉ／Ｏ３を介して画像メモリ２に入力する。また、通信Ｉ／Ｆ４を介して、装置外部より前記処理対象となる画像領域を含む画像を入力してもよく、あるいは、外部記憶装置１２に予め記憶される画像データをＩ／Ｏ１３を介して読み込むものであってもよい。得られた入力画像は、画像メモリ２上に保持される。
【００１５】
次に読み取った画像データから認識単位となるオブジェクトを抽出する処理をステップS２０００で行う。図３に示した画像は連結領域が1つであるが、2つの円と1つの等幅線を組み合わせて構成されている。このステップでは連結領域をさらに細かい画像単位で分割することで、より図形認識に適した連結領域よりも細かい処理単位を得ることを目標とする。例えば特許文献１では画像中の等幅線と面を分離する方式が開示されており、この方式を適用することにより図３の入力画像を2つの面領域と1つ等幅線に分離出来る。以上の処理は図１における１１のオブジェクト抽出手段を実現している。
【００１６】
ステップS３０００ではオブジェクトの構造的な特徴を示す値をオブジェクト毎に抽出する。抽出する特徴量としては画素数、外接矩形サイズ、閉ループ数、特徴点の数、重心から輪郭(または特徴点)までの距離、輪郭の曲率変化といった情報のうち1つ以上を組み合わせて用いる。また入力画像の回転角・変倍率を検知して正規化した後に特徴量を抽出することもできる。図形の正規化技術は認識処理の前処理として検討されており、例えば非特許文献１では図形の慣性軸が水平軸と垂直に交わるまで回転することで正規化を行う手法が開示されている。
【００１７】
図５に特徴量抽出の流れと、抽出できる特徴量の例を示す。図５(a)が入力された場合、連結画素を1つのオブジェクトと見なすと6つのオブジェクトに分けることが出来る。図5(b)は図5(a)の1のオブジェクトを例にとった場合の特徴量抽出の流れを示している。まず初めにオブジェクトの慣性軸を求め、慣性軸が画像の水平方向と垂直に交差するまで画像を回転する。次にオブジェクトの外接矩形が正方形を成すよう、x方向とy方向をそれぞれ変倍する。以上の流れで正規化した図形に対し、閉ループ数・特徴点数・輪郭の曲率変化を特徴量として抽出する。この例では閉ループ数は1であり、輪郭の方向が30°以上変化する点を特徴点として抽出すると黒丸で示した7点が取れる。また特徴点間を結ぶ直線と、直線から実際の輪郭までの距離分散値を求めると2.5が得られる。他のオブジェクトに対しても同様の処理を行うことで最終的に図5(c)のような特徴量が抽出できる。以上の処理は図１における１２の特徴抽出手段を実現している。
【００１８】
ステップS４０００では特徴量に基づいてオブジェクトを分類する。ここではステップS３０００で抽出した特徴量を元に各オブジェクトを特徴空間上にマッピングし、NN(Nearest Neighbor)クラスタリング手法を適用する。NN法では入力P1からPnをクラスタリングする際、まずP1を代表パターンとするクラスタC1を作成する。次にPi(i≧2)に着目し、Cj(j=1…J、Jはクラスタ数)との距離を比較する。距離があらかじめ定められた閾値未満の場合、距離が最も小さいクラスタにPiを所属させる。閾値未満の距離にあるクラスタが見つからなかった場合、新たなクラスタを作成する。これを全ての入力に対して実行するのがNN法のアルゴリズムである。NN法に関しては、非特許文献１のP.106-P.115等に述べられている。
【００１９】
これによりオブジェクトを数種のグループに分類する。クラスタリングでは特徴点ごとに重みづけをして各要素間の距離を定式化する必要がある。図５に示した特徴量の場合、閉ループ数、特徴点数は各図形の特徴を顕著に表わした値であり、要素間の距離に強く影響を与えることが望ましい。閉ループ数に値の5倍、特徴点数に値の1倍、特徴点間を結ぶ直線と輪郭との距離分散値に2倍の重みを付け、オブジェクト間の距離を3次元空間上でのユークリッド距離で定義し、別クラスタを作る指標とする距離の閾値を2.5と設定したNNクラスタリングで、図５に示した特徴量を使って3次元空間上にクラスタリング結果を模式的に表わした結果を図６に示す。これらは図１における１３のオブジェクト分類手段を実現している。
【００２０】
ステップS５０００では分類されたグループから代表オブジェクトを選択する。図５(a)のように入力中のオブジェクトが主に直線で構成される場合、特徴点間を結ぶ直線と輪郭との距離分散値が最も小さいオブジェクトを選択することで最も認識処理に適したオブジェクトを選択することが出来る。入力オブジェクトが曲線も含む場合は、代表オブジェクトを特徴空間の各クラスタにおいて最も重心に近いものを選択するとよい。クラスタの重心はクラスタに所属するオブジェクトの特徴量の平均を使って求めることが出来る。この場合、図形の特徴を表現できていないオブジェクトほどクラスタの周囲に位置する傾向にあるため、認識処理にとって望ましいオブジェクトを平均的に選択することが出来る。図６に示したクラスタリング結果を例にとると、クラスタ1とクラスタ2ではそれぞれオブジェクト1とオブジェクト6が、クラスタ3ではオブジェクト5が選択される。これは図１における１４の代表オブジェクト選択手段を実現している。
【００２１】
ステップS６０００では代表オブジェクトを図形認識処理にかける。ここでは公知の図形認識処理を適用することが出来る。公知のやり方としてはあらかじめ規定図形の特徴を学習しておき、学習結果と入力画像を比較するやり方と、正解パターンをテンプレートとして用意しておき、それとの類似度を測るやり方が一般的である。これは図１における１５の図形認識手段を実現している。
【００２２】
ステップS７０００では図形認識結果が成功したかどうかを判定する。これは規定の図形情報が得られたか、もしくは未知の図形と判断されたかを確認すればよい。これは図１における１６の認識結果判定手段を実現している。
【００２３】
図形認識が成功していた場合はステップS８０００で同一クラスタに属する全てのオブジェクトを同じ認識結果で置き換える。特徴量を抽出する際に正規化を行っていた場合、回転量や変倍率といった情報も事前に得られているので、これらの情報を置き換え時に出力データに追加する。図７(c)に3つの代表オブジェクトが全て認識に成功した場合の処理結果をしめす。これは図１における１７のオブジェクト置換手段を実現している。
【００２４】
ステップS７０００で図形認識に失敗した場合はステップS９０００に進み、クラスタ内の各オブジェクトをベクトル化する。オブジェクトの輪郭を抽出し、関数近似を行うことで現図形の特徴を保持したままサイズが小さいベクトルデータを得ることが出来る。図7(d)にクラスタ3の代表オブジェクトが認識に失敗した場合の結果を示す。この場合、クラスタ3に分類されたオブジェクトはそれぞれベクトル化処理が適用される。正方形と思われる全てのオブジェクトがベクトル化処理されるが、図7(b)のように一部のオブジェクトだけが認識に失敗することは避けることが出来る。これは図１における１８のベクトル化手段を実現している。
【００２５】
以上本発明にかかる実施形態を説明したが、実施形態の処理の多くは、情報処理装置上で実行されるコンピュータプログラムによるものであるので、当然、本発明はかかるコンピュータプログラムをもその範疇とする。通常、コンピュータプログラムは５のＲＡＭや6のＲＯＭ、またはＣＤ−ＲＯＭ等のコンピュータ可読記憶媒体に格納されていて、それをコンピュータにセットし、システムにコピーもしくはインストールすることで実行可能になる。従って、かかるコンピュータ可読記憶媒体も当然に本発明の範疇に入る。
【００２６】
［実施形態２］
実施形態１ではオブジェクト分類手段において、画像中のオブジェクト全体で1回のクラスタリングを行ったが、クラスタリングを行う単位を分割してもよい。オブジェクトが認識出来た結果と認識出来なかった結果が出力に混在して問題となる場合の多くは、オブジェクト同士が近傍に位置する場合がほとんどである。そこでクラスタリングを行う単位を、画像中の距離が所定の閾値以下にあるオブジェクト同士に限定することで、クラスタリングの処理を軽減することが可能となり、処理の高速化が期待できる。
【００２７】
［実施形態３］
実施形態１と実施形態２では認識結果判定手段は代表オブジェクトを1つ選択し、認識処理にかけていたが、代表オブジェクトは複数選択してもよい。N個の代表オブジェクトを選択する場合、クラスタ中心に近い方からN個の代表オブジェクトを選択し、それぞれを図形認識処理にかける。N個の認識結果を受け取り、多数決処理で図形認識に成功したかどうかを判断すればよい。
【符号の説明】
【００２８】
７ Central Processing Unit（ＣＰＵ）
６ Read Only Memory（ＲＯＭ）
【技術分野】
【０００１】
本発明は図面とイラストが混在した入力画像に対し、既定の図形は図形認識処理により清書化し、規定図形以外の入力はベクトル化して再利用可能な電子データを生成する画像処理装置に関する。
【背景技術】
【０００２】
近年、ペーパーレス化への要求が高まり、既存の画像データを電子化して再利用することが頻繁に行われるようになってきた。従来、図面や文書画像内の線図形といった画像データの再利用は、画像データをベクトル化技術でベクトルデータに変換し、このベクトルデータをＣＡＤソフト等で使用するという形で行われてきた。またビジネス文書においても、既存の画像データを電子化して再利用することが望まれている。画像のベクトル化技術としては2値画像を等幅線部と面部に分離し、線芯のベクトル化と輪郭線のベクトル化を切り替えられるようにする技術が開示されている(特許文献１)。
【０００３】
データの再利用性を考えた場合、図面中の記号や、オフィスアプリケーションにおける矢印・吹き出しなどシステム既定の図形情報は元のデータ表現に戻すことが望ましい。これは図形認識技術として検討がなされてきており、その基本的な考え方は、非特許文献１で述べられており、また認識処理の前処理として図形を正規化する手法が非特許文献２で述べられている。
【０００４】
また上記2つの組み合わせとして、図形認識処理とベクトル化処理を組み合わせて適用する図形清書装置も提案されている。特許文献２では、画像を読み込んでベクトル変換した後、ベクトルが閉図形の場合基本図形との比較を行い、一致した場合は基本図形のベクトルでデータを置き換え、一致しなかった場合と閉図形ではなかった場合は直線近似結果でデータを置き換える手法が開示されている。
【０００５】
従来方式では入力画像をある特定の単位(連結領域、またはオブジェクト)毎に分割し、それぞれに対して図形認識処理を適用する。図形認識処理は多くの特徴量を組み合わせて認識結果を判断するため、人目ではほとんど同じであっても、入力画像の微妙な差異で認識結果が変わることが多々あり、認識結果が変化したり、認識出来たオブジェクトと出来なかったオブジェクトが出力に混在したりすることがある。図３に示す画像を例にとると人目では左右の円が同じに見えるが、認識結果にはばらつきが生じ、認識出来なかった左側の円の歪みが強調されて見える。また認識出来なかった図形を人手で修正する工数が増えるなどの問題が生じる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開2009-271657号公報
【特許文献２】特開平08-050650号公報
【非特許文献】
【０００７】
【非特許文献１】安居院、長尾著“C言語による画像処理入門”初版,ISBN4-7856-3124-4,昭晃堂,2000
【非特許文献２】：Mario E. Munich Pietro, “Visual Identification by Signature Tracking,” IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.25 No.2 pp.200-217, 2003
【発明の概要】
【発明が解決しようとする課題】
【０００８】
図形認識処理に用いる特徴量は多様であり、精度を保ったまま認識できる範囲を広げることは困難である。そこで入力画像中の各オブジェクトから抽出した特徴量を元に処理対象オブジェクトをいくつかのグループに分類し、分類されたグループから代表オブジェクトを選択し認識処理を行って、認識に成功すれば代表オブジェクトが所属するグループ全てを同じ図形認識結果で置き換えるようにする。これにより認識処理側を変更することなく、画像全体で認識結果のばらつきを抑えることが出来る。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明に係る画像処理装置は画像入力手段と、入力画像からオブジェクトを抽出するオブジェクト抽出手段と、オブジェクト毎に構造的特徴を抽出する特徴抽出手段と、特徴量に基づいてオブジェクトを分類するオブジェクト分類手段と、分類されたグループから図形認識処理に適した代表オブジェクトを選択する代表オブジェクト選択手段と代表オブジェクトを図形認識する図形認識手段と、図形認識結果が成功したかどうかを判定する認識結果判定手段と、図形認識が成功すればグループ全てのオブジェクトを同じ認識結果で置き換えるオブジェクト置換手段から構成されることを特徴とする。
【発明の効果】
【００１０】
出力中に認識できなかったオブジェクトと認識できたオブジェクトが混在することを防ぐことが出来る。これにより認識されなかった図形の画質が認識出来た図形と比較して相対的に低下して見えてしまう問題を解消し、またユーザによる修正作業の量を大幅に削減できる。
【図面の簡単な説明】
【００１１】
【図１】実施形態における情報処理装置のメイン処理ブロック図である。
【図２】実施形態における情報処理装置のブロック図である。
【図３】入力画像に類似図形が含まれ、認識出来たものと、出来なかったものが出力に混在する例である。
【図４】実施形態における情報処理装置のメイン処理を示すフローチャートである。
【図５】特徴量抽出の流れと抽出できる特徴量の例である。
【図６】オブジェクトをクラスタリングし、グループ化した模式図である
【図７】本発明を適用した場合の処理結果である。
【発明を実施するための形態】
【００１２】
［実施形態１］
以下、添付の図面を参照して本発明の実施の形態を説明する。ただし、この実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。
【００１３】
本実施形態の画像処理装置の構成例について、図２のブロック図を参照して説明する。同図において、７は装置全体を制御するCentral Processing Unit（ＣＰＵ）である。６は変更を必要としないプログラムやパラメータを格納するRead Only Memory（ＲＯＭ）である。５は外部装置等から供給されるプログラムやデータを一時記憶するRandom Access Memory（ＲＡＭ）である。１は、文書等を光電走査して電子的な画像データを得るためのスキャナであり、３はこのスキャナ１と画像処理装置を接続する画像入出力インターフェースである。２は、前記スキャナ１で読み取られた画像データ等を保持する画像メモリである。１２は固定して設置されたハードディスクやメモリカード、あるいは着脱可能なフレキシブルディスク（ＦＤ）やCompact Disk（ＣＤ）等の光ディスク、磁気や光カード、ＩＣカード、メモリカード等を含む外部記憶装置である。また、１３はこれら外部記憶装置１２とコンピュータ装置との入出力（Input / Output）インターフェースである。１５はユーザの操作を受け、データを入力するマウス等のポインティングデバイス１０やキーボード９等の入力デバイスとのインターフェースである。１４は画像処理装置の保持するデータや供給されたデータを表示するためのディスプレイモニタ８とのインターフェースである。４はインターネット等のネットワーク回線に接続するためのネットワークインターフェースである。１１は１〜１５の各ユニットを通信可能に接続するシステムバスである。
【００１４】
以下、ＣＰＵ７上で実行されるプログラムにより本願発明を実現する処理手順を、図1のブロック図と図４のフローチャートを用いて説明する。ステップS１０００で処理を開始すると、処理対象となる画像領域を含む画像データを入力する。画像入力に関しては、スキャナ１にて読み取られた画像データを画像入出力Ｉ／Ｏ３を介して画像メモリ２に入力する。また、通信Ｉ／Ｆ４を介して、装置外部より前記処理対象となる画像領域を含む画像を入力してもよく、あるいは、外部記憶装置１２に予め記憶される画像データをＩ／Ｏ１３を介して読み込むものであってもよい。得られた入力画像は、画像メモリ２上に保持される。
【００１５】
次に読み取った画像データから認識単位となるオブジェクトを抽出する処理をステップS２０００で行う。図３に示した画像は連結領域が1つであるが、2つの円と1つの等幅線を組み合わせて構成されている。このステップでは連結領域をさらに細かい画像単位で分割することで、より図形認識に適した連結領域よりも細かい処理単位を得ることを目標とする。例えば特許文献１では画像中の等幅線と面を分離する方式が開示されており、この方式を適用することにより図３の入力画像を2つの面領域と1つ等幅線に分離出来る。以上の処理は図１における１１のオブジェクト抽出手段を実現している。
【００１６】
ステップS３０００ではオブジェクトの構造的な特徴を示す値をオブジェクト毎に抽出する。抽出する特徴量としては画素数、外接矩形サイズ、閉ループ数、特徴点の数、重心から輪郭(または特徴点)までの距離、輪郭の曲率変化といった情報のうち1つ以上を組み合わせて用いる。また入力画像の回転角・変倍率を検知して正規化した後に特徴量を抽出することもできる。図形の正規化技術は認識処理の前処理として検討されており、例えば非特許文献１では図形の慣性軸が水平軸と垂直に交わるまで回転することで正規化を行う手法が開示されている。
【００１７】
図５に特徴量抽出の流れと、抽出できる特徴量の例を示す。図５(a)が入力された場合、連結画素を1つのオブジェクトと見なすと6つのオブジェクトに分けることが出来る。図5(b)は図5(a)の1のオブジェクトを例にとった場合の特徴量抽出の流れを示している。まず初めにオブジェクトの慣性軸を求め、慣性軸が画像の水平方向と垂直に交差するまで画像を回転する。次にオブジェクトの外接矩形が正方形を成すよう、x方向とy方向をそれぞれ変倍する。以上の流れで正規化した図形に対し、閉ループ数・特徴点数・輪郭の曲率変化を特徴量として抽出する。この例では閉ループ数は1であり、輪郭の方向が30°以上変化する点を特徴点として抽出すると黒丸で示した7点が取れる。また特徴点間を結ぶ直線と、直線から実際の輪郭までの距離分散値を求めると2.5が得られる。他のオブジェクトに対しても同様の処理を行うことで最終的に図5(c)のような特徴量が抽出できる。以上の処理は図１における１２の特徴抽出手段を実現している。
【００１８】
ステップS４０００では特徴量に基づいてオブジェクトを分類する。ここではステップS３０００で抽出した特徴量を元に各オブジェクトを特徴空間上にマッピングし、NN(Nearest Neighbor)クラスタリング手法を適用する。NN法では入力P1からPnをクラスタリングする際、まずP1を代表パターンとするクラスタC1を作成する。次にPi(i≧2)に着目し、Cj(j=1…J、Jはクラスタ数)との距離を比較する。距離があらかじめ定められた閾値未満の場合、距離が最も小さいクラスタにPiを所属させる。閾値未満の距離にあるクラスタが見つからなかった場合、新たなクラスタを作成する。これを全ての入力に対して実行するのがNN法のアルゴリズムである。NN法に関しては、非特許文献１のP.106-P.115等に述べられている。
【００１９】
これによりオブジェクトを数種のグループに分類する。クラスタリングでは特徴点ごとに重みづけをして各要素間の距離を定式化する必要がある。図５に示した特徴量の場合、閉ループ数、特徴点数は各図形の特徴を顕著に表わした値であり、要素間の距離に強く影響を与えることが望ましい。閉ループ数に値の5倍、特徴点数に値の1倍、特徴点間を結ぶ直線と輪郭との距離分散値に2倍の重みを付け、オブジェクト間の距離を3次元空間上でのユークリッド距離で定義し、別クラスタを作る指標とする距離の閾値を2.5と設定したNNクラスタリングで、図５に示した特徴量を使って3次元空間上にクラスタリング結果を模式的に表わした結果を図６に示す。これらは図１における１３のオブジェクト分類手段を実現している。
【００２０】
ステップS５０００では分類されたグループから代表オブジェクトを選択する。図５(a)のように入力中のオブジェクトが主に直線で構成される場合、特徴点間を結ぶ直線と輪郭との距離分散値が最も小さいオブジェクトを選択することで最も認識処理に適したオブジェクトを選択することが出来る。入力オブジェクトが曲線も含む場合は、代表オブジェクトを特徴空間の各クラスタにおいて最も重心に近いものを選択するとよい。クラスタの重心はクラスタに所属するオブジェクトの特徴量の平均を使って求めることが出来る。この場合、図形の特徴を表現できていないオブジェクトほどクラスタの周囲に位置する傾向にあるため、認識処理にとって望ましいオブジェクトを平均的に選択することが出来る。図６に示したクラスタリング結果を例にとると、クラスタ1とクラスタ2ではそれぞれオブジェクト1とオブジェクト6が、クラスタ3ではオブジェクト5が選択される。これは図１における１４の代表オブジェクト選択手段を実現している。
【００２１】
ステップS６０００では代表オブジェクトを図形認識処理にかける。ここでは公知の図形認識処理を適用することが出来る。公知のやり方としてはあらかじめ規定図形の特徴を学習しておき、学習結果と入力画像を比較するやり方と、正解パターンをテンプレートとして用意しておき、それとの類似度を測るやり方が一般的である。これは図１における１５の図形認識手段を実現している。
【００２２】
ステップS７０００では図形認識結果が成功したかどうかを判定する。これは規定の図形情報が得られたか、もしくは未知の図形と判断されたかを確認すればよい。これは図１における１６の認識結果判定手段を実現している。
【００２３】
図形認識が成功していた場合はステップS８０００で同一クラスタに属する全てのオブジェクトを同じ認識結果で置き換える。特徴量を抽出する際に正規化を行っていた場合、回転量や変倍率といった情報も事前に得られているので、これらの情報を置き換え時に出力データに追加する。図７(c)に3つの代表オブジェクトが全て認識に成功した場合の処理結果をしめす。これは図１における１７のオブジェクト置換手段を実現している。
【００２４】
ステップS７０００で図形認識に失敗した場合はステップS９０００に進み、クラスタ内の各オブジェクトをベクトル化する。オブジェクトの輪郭を抽出し、関数近似を行うことで現図形の特徴を保持したままサイズが小さいベクトルデータを得ることが出来る。図7(d)にクラスタ3の代表オブジェクトが認識に失敗した場合の結果を示す。この場合、クラスタ3に分類されたオブジェクトはそれぞれベクトル化処理が適用される。正方形と思われる全てのオブジェクトがベクトル化処理されるが、図7(b)のように一部のオブジェクトだけが認識に失敗することは避けることが出来る。これは図１における１８のベクトル化手段を実現している。
【００２５】
以上本発明にかかる実施形態を説明したが、実施形態の処理の多くは、情報処理装置上で実行されるコンピュータプログラムによるものであるので、当然、本発明はかかるコンピュータプログラムをもその範疇とする。通常、コンピュータプログラムは５のＲＡＭや6のＲＯＭ、またはＣＤ−ＲＯＭ等のコンピュータ可読記憶媒体に格納されていて、それをコンピュータにセットし、システムにコピーもしくはインストールすることで実行可能になる。従って、かかるコンピュータ可読記憶媒体も当然に本発明の範疇に入る。
【００２６】
［実施形態２］
実施形態１ではオブジェクト分類手段において、画像中のオブジェクト全体で1回のクラスタリングを行ったが、クラスタリングを行う単位を分割してもよい。オブジェクトが認識出来た結果と認識出来なかった結果が出力に混在して問題となる場合の多くは、オブジェクト同士が近傍に位置する場合がほとんどである。そこでクラスタリングを行う単位を、画像中の距離が所定の閾値以下にあるオブジェクト同士に限定することで、クラスタリングの処理を軽減することが可能となり、処理の高速化が期待できる。
【００２７】
［実施形態３］
実施形態１と実施形態２では認識結果判定手段は代表オブジェクトを1つ選択し、認識処理にかけていたが、代表オブジェクトは複数選択してもよい。N個の代表オブジェクトを選択する場合、クラスタ中心に近い方からN個の代表オブジェクトを選択し、それぞれを図形認識処理にかける。N個の認識結果を受け取り、多数決処理で図形認識に成功したかどうかを判断すればよい。
【符号の説明】
【００２８】
７ Central Processing Unit（ＣＰＵ）
６ Read Only Memory（ＲＯＭ）
【特許請求の範囲】
【請求項１】
画像入力手段と
入力画像からオブジェクトを抽出するオブジェクト抽出手段と、
オブジェクト毎に構造的特徴を抽出する特徴抽出手段と、
特徴量に基づいてオブジェクトを分類するオブジェクト分類手段と、
分類されたグループから図形認識処理に適した代表オブジェクトを選択する代表オブジェクト選択手段と、
代表オブジェクトを図形認識する図形認識手段と、
図形認識結果が成功したかどうかを判定する認識結果判定手段と、
図形認識が成功すればグループ全てのオブジェクトを同じ認識結果で置き換えるオブジェクト置換手段と、
から構成されることを特徴とする画像処理装置。
【請求項２】
図形認識に失敗したグループのオブジェクトをベクトル化するベクトル化手段を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
特徴抽出手段は、入力画像を回転・変倍に基づき正規化した後に特徴量を抽出することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
オブジェクト分類手段は、所定の閾値以下の距離にあるオブジェクトのみを参照して行うことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
代表オブジェクト選択手段は、グループを構成する特徴空間の中心に最も近いものから選択することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
認識結果判定手段は、複数の代表オブジェクトを認識処理にかけ、認識に成功したオブジェクト数が所定の閾値以上の割合で存在する場合、図形認識に成功したと判断することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
特徴量抽出手段は、画素数、幅、外接矩形、重心から輪郭までの距離、輪郭の曲率変化または前記情報を正規化した値のうち少なくとも1つの情報を用いることを特徴とする請求項１に記載の画像処理装置。
【請求項８】
画像入力工程と、
入力画像からオブジェクトを抽出するオブジェクト抽出工程と、
オブジェクト毎に構造的特徴を抽出する特徴抽出工程と、
特徴量に基づいてオブジェクトを分類するオブジェクト分類工程と、
分類されたグループから図形認識処理に適した代表オブジェクトを選択する代表オブジェクト選択工程と、
代表オブジェクトを図形認識する図形認識工程と、
図形認識結果が成功したかどうかを判定する認識結果判定工程と、
図形認識が成功すればグループ全てのオブジェクトを同じ認識結果で置き換えるオブジェクト置換工程と、
から構成されることを特徴とする画像処理方法。
【請求項９】
図形認識に失敗したグループのオブジェクトをベクトル化するベクトル化工程を備えることを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
特徴抽出工程は、入力画像を回転・変倍に基づき正規化した後に特徴量を抽出することを特徴とする請求項８に記載の画像処理方法。
【請求項１１】
オブジェクト分類工程は、所定の閾値以下の距離にあるオブジェクトのみを参照して行うことを特徴とする請求項８に記載の画像処理方法。
【請求項１２】
代表オブジェクト選択工程は、グループを構成する特徴空間の中心に最も近いものから選択することを特徴とする請求項８に記載の画像処理方法。
【請求項１３】
認識結果判定工程は、複数の代表オブジェクトを認識処理にかけ、認識に成功したオブジェクト数が所定の閾値以上の割合で存在する場合、図形認識に成功したと判断することを特徴とする請求項８に記載の画像処理方法。
【請求項１４】
特徴量抽出工程は、画素数、幅、外接矩形、重心から輪郭までの距離、輪郭の曲率変化または前記情報を正規化した値のうち少なくとも1つの情報を用いることを特徴とする請求項８に記載の画像処理方法。
【請求項１５】
コンピュータ装置が実行可能なプログラムであって、前記プログラムを実行するコンピュータ装置を、請求項８乃至請求項１４の何れか１項に記載の画像処理方法として機能させることを特徴とするプログラム。
【請求項１６】
請求項１５に記載のプログラムを記憶したプログラム記憶媒体。
【請求項１】
画像入力手段と
入力画像からオブジェクトを抽出するオブジェクト抽出手段と、
オブジェクト毎に構造的特徴を抽出する特徴抽出手段と、
特徴量に基づいてオブジェクトを分類するオブジェクト分類手段と、
分類されたグループから図形認識処理に適した代表オブジェクトを選択する代表オブジェクト選択手段と、
代表オブジェクトを図形認識する図形認識手段と、
図形認識結果が成功したかどうかを判定する認識結果判定手段と、
図形認識が成功すればグループ全てのオブジェクトを同じ認識結果で置き換えるオブジェクト置換手段と、
から構成されることを特徴とする画像処理装置。
【請求項２】
図形認識に失敗したグループのオブジェクトをベクトル化するベクトル化手段を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
特徴抽出手段は、入力画像を回転・変倍に基づき正規化した後に特徴量を抽出することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
オブジェクト分類手段は、所定の閾値以下の距離にあるオブジェクトのみを参照して行うことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
代表オブジェクト選択手段は、グループを構成する特徴空間の中心に最も近いものから選択することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
認識結果判定手段は、複数の代表オブジェクトを認識処理にかけ、認識に成功したオブジェクト数が所定の閾値以上の割合で存在する場合、図形認識に成功したと判断することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
特徴量抽出手段は、画素数、幅、外接矩形、重心から輪郭までの距離、輪郭の曲率変化または前記情報を正規化した値のうち少なくとも1つの情報を用いることを特徴とする請求項１に記載の画像処理装置。
【請求項８】
画像入力工程と、
入力画像からオブジェクトを抽出するオブジェクト抽出工程と、
オブジェクト毎に構造的特徴を抽出する特徴抽出工程と、
特徴量に基づいてオブジェクトを分類するオブジェクト分類工程と、
分類されたグループから図形認識処理に適した代表オブジェクトを選択する代表オブジェクト選択工程と、
代表オブジェクトを図形認識する図形認識工程と、
図形認識結果が成功したかどうかを判定する認識結果判定工程と、
図形認識が成功すればグループ全てのオブジェクトを同じ認識結果で置き換えるオブジェクト置換工程と、
から構成されることを特徴とする画像処理方法。
【請求項９】
図形認識に失敗したグループのオブジェクトをベクトル化するベクトル化工程を備えることを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
特徴抽出工程は、入力画像を回転・変倍に基づき正規化した後に特徴量を抽出することを特徴とする請求項８に記載の画像処理方法。
【請求項１１】
オブジェクト分類工程は、所定の閾値以下の距離にあるオブジェクトのみを参照して行うことを特徴とする請求項８に記載の画像処理方法。
【請求項１２】
代表オブジェクト選択工程は、グループを構成する特徴空間の中心に最も近いものから選択することを特徴とする請求項８に記載の画像処理方法。
【請求項１３】
認識結果判定工程は、複数の代表オブジェクトを認識処理にかけ、認識に成功したオブジェクト数が所定の閾値以上の割合で存在する場合、図形認識に成功したと判断することを特徴とする請求項８に記載の画像処理方法。
【請求項１４】
特徴量抽出工程は、画素数、幅、外接矩形、重心から輪郭までの距離、輪郭の曲率変化または前記情報を正規化した値のうち少なくとも1つの情報を用いることを特徴とする請求項８に記載の画像処理方法。
【請求項１５】
コンピュータ装置が実行可能なプログラムであって、前記プログラムを実行するコンピュータ装置を、請求項８乃至請求項１４の何れか１項に記載の画像処理方法として機能させることを特徴とするプログラム。
【請求項１６】
請求項１５に記載のプログラムを記憶したプログラム記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−１１８６４５（Ｐ２０１２−１１８６４５Ａ）
【公開日】平成２４年６月２１日（２０１２．６．２１）
【国際特許分類】
【出願番号】特願２０１０−２６５９４５（Ｐ２０１０−２６５９４５）
【出願日】平成２２年１１月３０日（２０１０．１１．３０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年６月２１日（２０１２．６．２１）
【国際特許分類】
【出願日】平成２２年１１月３０日（２０１０．１１．３０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]