分類処理生成装置および分類処理生成方法
【課題】有効な分類処理を生成するとともに、分類処理の内容を表示することにより、作業者が分類処理の解釈や修正等を容易に行う。
【解決手段】評価部22では、所定の画像処理演算および特徴量演算を含む分類処理候補が準備され、いずれかの画像グループに属する各元画像に対して当該画像処理演算および当該特徴量演算を行うことにより、複数の元画像の複数の特徴量が求められ、複数の元画像を分類する際における複数の特徴量の有効度が求められる。演算内容変更部23では、当該分類処理候補の内容を変更しつつ評価部22にて有効度を求める処理が、終了条件を満たすまで繰り返される。そして、有効度が閾値以上となる場合の分類処理候補である分類処理の内容が表示制御部24によりディスプレイ16に表示される。有効な分類処理を生成するとともに、分類処理の内容を表示することにより、作業者が分類処理の解釈や修正等を容易に行うことが可能となる。
【解決手段】評価部22では、所定の画像処理演算および特徴量演算を含む分類処理候補が準備され、いずれかの画像グループに属する各元画像に対して当該画像処理演算および当該特徴量演算を行うことにより、複数の元画像の複数の特徴量が求められ、複数の元画像を分類する際における複数の特徴量の有効度が求められる。演算内容変更部23では、当該分類処理候補の内容を変更しつつ評価部22にて有効度を求める処理が、終了条件を満たすまで繰り返される。そして、有効度が閾値以上となる場合の分類処理候補である分類処理の内容が表示制御部24によりディスプレイ16に表示される。有効な分類処理を生成するとともに、分類処理の内容を表示することにより、作業者が分類処理の解釈や修正等を容易に行うことが可能となる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像を複数の画像グループのいずれかに分類するための分類処理を生成する技術に関する。
【背景技術】
【0002】
従来より、美術史等の研究の場では、絵画等の美術作品を、描かれた年代や、描かれた場所、あるいは、描かれている内容等の観点から解析し、グループ分けすることが行われている。また、非特許文献1では、色彩情報の統計解析により絵画を定量的に分析する手法が開示されている。
【0003】
なお、特許文献1では、画像中の人物領域から予め決まったクラス毎の特徴量を検出し、特徴量毎に有効値を求め 、有効値に基づいて個人認識処理で使用する特徴量を選別する手法が開示されている。特許文献2では、効率的な検索を実現する手法が開示されており、本手法では、複数の要素と特徴項目の全ての組み合わせについて、その特徴項目を指定して検索を行ったときの絞り込み量のバラツキの程度が求められ、バラツキが小さいほど絞り込み効果が高いものとして、バラツキの程度に基づいて各特徴項目の絞込みに対する有効度が判断され、特徴項目の順位付けが行われる。そして、当該順位に従って特徴量が入力されるように検索者に報知が行われる。
【0004】
また、特許文献3では、検索の有効度を予め把握することが可能な人物検索装置が開示されており、当該装置では、複数のカメラが撮像した撮像画像内の人物の特徴量を示す特徴量情報が取得される。そして、第1のカメラで撮像された第1の人物の特徴量と第2のカメラで撮像された第2の人物の特徴量との差異が人物の特徴毎に算出され、特徴量の差異に基づいて、第1の人物を検索する場合の有効度を示す絞込有効度が人物の特徴毎に算出される。特許文献4および5では、サポートベクターマシンにおいて有意な特徴を識別する手法が開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2006−293644号公報
【特許文献2】特開2009−20578号公報
【特許文献3】特開2009−42879号公報
【特許文献4】特表2008−524675号公報
【特許文献5】特表2008−129657号公報
【非特許文献】
【0006】
【非特許文献1】車妍、「後期印象派絵画の色彩調和解析について」、[online]、2008年3月、国立大学法人筑波大学、[平成23年8月8日検索]、インターネット<URL:http://www.cs.tsukuba.ac.jp/H19Syuron/200621005.pdf>
【発明の概要】
【発明が解決しようとする課題】
【0007】
ところで、大量の作品を自動的に分類するには、グループ分けの判断基準に従った分類処理を生成することが必要である。絵画等の作品を「年代」や「対象物」等の明確な判断基準でグループ分けする場合、分類処理は比較的容易に生成することができるが、「画風」や「タッチ」と呼ばれる、主観的な印象に基づく判断基準にてグループ分けを行う場合、分類における判断基準を明確に定義したり、定量化することが容易ではないため、分類処理を生成することが困難である。特に、抽象画については、その解釈自体が観察者に依存するため、分類処理を生成することが極めて困難である。このような問題により、美術作品の深い研究を行うことができず、美術の理解等の妨げとなっている。
【0008】
本発明は上記課題に鑑みなされたものであり、有効な分類処理を生成するとともに、作業者が分類処理の解釈や修正等を容易に行うことが可能となる技術を提供することを目的としている。
【課題を解決するための手段】
【0009】
請求項1に記載の発明は、画像を複数の画像グループのいずれかに分類するための分類処理を生成する分類処理生成装置であって、所定の画像処理演算および特徴量演算を含む分類処理候補が準備され、前記分類処理候補を用いて、複数の画像グループのそれぞれに属する各元画像に対して前記画像処理演算を行って処理済み画像を生成し、前記処理済み画像に対して前記特徴量演算を行うことにより、複数の元画像の複数の特徴量を求め、前記複数の元画像のそれぞれを前記複数の画像グループのいずれかに分類する際における前記複数の特徴量の有効度を求める評価部と、前記分類処理候補における前記画像処理演算および前記特徴量演算の少なくとも一方の演算の内容を変更しつつ前記評価部にて前記有効度を求める処理を、終了条件を満たすまで繰り返す演算内容変更部と、前記終了条件を満たした際に、前記有効度が閾値以上となる場合の前記分類処理候補を利用可能な分類処理として、前記分類処理における前記少なくとも一方の演算の内容を表示部に表示する表示制御部とを備える。
【0010】
請求項2に記載の発明は、請求項1に記載の分類処理生成装置であって、前記表示制御部が、前記分類処理における前記画像処理演算および前記特徴量演算の双方の内容を前記表示部に表示する。
【0011】
請求項3に記載の発明は、請求項1または2に記載の分類処理生成装置であって、前記表示制御部が、前記各元画像と、前記各元画像に対して前記分類処理における前記画像処理演算を行って生成された前記処理済み画像とを前記表示部に同時に表示する。
【0012】
請求項4に記載の発明は、請求項1または2に記載の分類処理生成装置であって、前記表示制御部が、前記複数の画像グループにそれぞれ対応するとともに前記分類処理における前記画像処理演算により生成された複数の処理済み画像を前記表示部に同時に表示する。
【0013】
請求項5に記載の発明は、請求項1ないし4のいずれかに記載の分類処理生成装置であって、前記評価部において、複数の分類処理候補が準備され、前記評価部が、前記複数の分類処理候補にそれぞれ対応する複数の有効度を求め、前記演算内容変更部が、前記複数の分類処理候補の少なくとも1つにおける前記少なくとも一方の演算の内容を変更しつつ前記評価部にて前記複数の有効度を求める処理を、前記終了条件を満たすまで繰り返す。
【0014】
請求項6に記載の発明は、画像を複数の画像グループのいずれかに分類するための分類処理を生成する分類処理生成方法であって、a)所定の画像処理演算および特徴量演算を含む分類処理候補を準備する工程と、b)複数の画像グループのそれぞれに属する各元画像に対して前記画像処理演算を行って処理済み画像を生成する工程と、c)前記処理済み画像に対して前記特徴量演算を行うことにより、複数の元画像の複数の特徴量を求める工程と、d)前記複数の元画像のそれぞれを前記複数の画像グループのいずれかに分類する際における前記複数の特徴量の有効度を求める工程と、e)前記分類処理候補における前記画像処理演算および前記特徴量演算の少なくとも一方の演算の内容を変更しつつ前記b)ないしd)工程を、終了条件を満たすまで繰り返す工程と、f)前記有効度が閾値以上となる場合の前記分類処理候補を利用可能な分類処理として、前記分類処理における前記少なくとも一方の演算の内容を表示部に表示する工程とを備える。
【0015】
請求項7に記載の発明は、請求項6に記載の分類処理生成方法であって、前記f)工程において、前記分類処理における前記画像処理演算および前記特徴量演算の双方の内容が前記表示部に表示される。
【0016】
請求項8に記載の発明は、請求項6または7に記載の分類処理生成方法であって、前記f)工程において、前記各元画像と、前記各元画像に対して前記分類処理における前記画像処理演算を行って生成された前記処理済み画像とが前記表示部に同時に表示される。
【0017】
請求項9に記載の発明は、請求項6または7に記載の分類処理生成方法であって、前記f)工程において、前記複数の画像グループにそれぞれ対応するとともに前記分類処理における前記画像処理演算により生成された複数の処理済み画像が前記表示部に同時に表示される。
【0018】
請求項10に記載の発明は、請求項6ないし9のいずれかに記載の分類処理生成方法であって、前記a)工程において、複数の分類処理候補が準備され、前記b)ないしd)工程により、前記複数の分類処理候補にそれぞれ対応する複数の有効度が求められ、前記e)工程において、前記複数の分類処理候補の少なくとも1つにおける前記少なくとも一方の演算の内容を変更しつつ前記b)ないしd)工程が、前記終了条件を満たすまで繰り返される。
【発明の効果】
【0019】
本発明によれば、有効な分類処理を生成するとともに、分類処理の内容を実質的に表示することにより、作業者が分類処理の解釈や修正等を容易に行うことができる。
【図面の簡単な説明】
【0020】
【図1】コンピュータの構成を示す図である。
【図2】コンピュータが実現する機能構成を示すブロック図である。
【図3】コンピュータが分類処理を生成する動作の流れを示す図である。
【図4】集団に含まれる分類処理候補を示す図である。
【図5】元画像を示す図である。
【図6】元画像に対する画像処理演算および特徴量演算の結果を示す図である。
【図7】元画像に対する画像処理演算および特徴量演算の結果を示す図である。
【図8】元画像に対する画像処理演算および特徴量演算の結果を示す図である。
【図9】集団の更新を説明するための図である。
【図10】集団の更新を説明するための図である。
【図11】集団の更新を説明するための図である。
【図12】更新後の集団に含まれる分類処理候補を示す図である。
【図13】元画像に対する画像処理演算および特徴量演算の結果を示す図である。
【図14】元画像に対する画像処理演算および特徴量演算の結果を示す図である。
【図15】ディスプレイに表示されるウィンドウを示す図である。
【図16】コンピュータが対象画像を分類する動作の流れを示す図である。
【図17】画像処理演算に係るモジュールを抽象的に示す図である。
【発明を実施するための形態】
【0021】
図1は、本発明の一の実施の形態に係る分類処理生成装置を実現するコンピュータ1の構成を示す図である。コンピュータ1では、絵画等の画像を複数の画像グループのいずれかに分類するための分類処理が生成される。分類処理は、後述するように画像処理演算および特徴量演算を含むものであり、当該分類処理により分類対象の画像の分類が可能となる。
【0022】
コンピュータ1は、各種演算処理を行うCPU11、基本プログラムを記憶するROM12および各種情報を記憶するRAM13をバスラインに接続した一般的なコンピュータシステムの構成となっている。バスラインにはさらに、情報記憶を行う固定ディスク15、各種情報の表示を行う表示部であるディスプレイ16、操作者からの入力を受け付けるキーボード17aおよびマウス17b、光ディスク、磁気ディスク、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な記録媒体81から情報の読み取りを行ったり記録媒体81に情報の書き込みを行う読取/書込装置18、並びに、外部との通信を行う通信部19が、適宜、インターフェイス(I/F)を介する等して接続される。
【0023】
コンピュータ1には、事前に読取/書込装置18を介して記録媒体81からプログラム810が読み出され、固定ディスク15に記憶される。そして、プログラム810がRAM13にコピーされるとともにCPU11がRAM13内のプログラムに従って演算処理を実行することにより(すなわち、コンピュータがプログラムを実行することにより)、コンピュータ1が、分類処理生成装置としての処理を行う。
【0024】
図2は、CPU11がプログラム810に従って動作することにより、CPU11、ROM12、RAM13、固定ディスク15等が実現する機能構成を示すブロック図である。図2において、画像入力部21、評価部22、演算内容変更部23および表示制御部24がCPU11等により実現される機能である。なお、これらの機能は専用の電気的回路により実現されてもよく、部分的に電気的回路が用いられてもよい。
【0025】
図3は、コンピュータ1が分類処理を生成する動作の流れを示す図である。まず、図2の評価部22では、所定の画像処理演算および特徴量演算を含む分類処理候補が準備される(ステップS11)。ここで、本実施の形態では、遺伝的アルゴリズム(genetic algorithm)により後述の画像の分類にて利用可能な分類処理が生成され、ステップS11の処理では、3個の分類処理候補が初期集団に含まれる遺伝子として準備される。遺伝子は、数1のように、任意の画像処理演算Piを複数回適用して、最後に特徴量演算Ciを適用する処理の列Giとして表現される。
【0026】
【数1】
【0027】
本実施の形態において用いられる画像処理演算は、表1の左列に示す「グレー値二値化」、「R成分値二値化」、「G成分値二値化」、「B成分値二値化」、「収縮」、「膨張」および「平滑化」である。「グレー値二値化」では、表1の右列における「二値化閾値Th」以上となるグレー値を有する画素に、新たな画素値255が付与され、残りの画素に画素値0が付与される。「R成分値二値化」、「G成分値二値化」および「B成分値二値化」は、それぞれR(赤)成分の画素値、G(緑)成分の画素値およびB(青)成分の画素値が閾値と比較される点を除き、「グレー値二値化」と同様である。「グレー値二値化」における「二値化閾値Th」は20であり、「R成分値二値化」、「G成分値二値化」および「B成分値二値化」における「二値化閾値Th」は50である。「収縮」、「膨張」および「平滑化」のそれぞれでは、表1の右列における「サイズSz」のフィルタを用いて当該処理が行われ、本実施の形態では「サイズSz」は5である。なお、「グレー値二値化」の画像処理演算では、IRをR成分の画素値、IGをG成分の画素値、IBをB成分の画素値として、グレー値は(0.2989×IR+0.5870×IG+0.1140×IB)にて求められる。
【0028】
【表1】
【0029】
また、本実施の形態において用いられる特徴量演算は、表2の左列に示す「領域数」を求める演算、「領域の総面積」を求める演算、および、「円形領域数」を求める演算である。「領域数」、「領域の総面積」および「円形領域数」のそれぞれの演算では、表2の右列における「画素値閾値v」(本実施の形態では、255)以上となる画素値を有するとともに、互いに連続する画素の集合が1つの領域として取り扱われる。そして、「領域数」の演算では領域の個数が求められ、「領域の総面積」の演算では全ての領域の総面積が求められる。また、「円形領域数」の演算では、全ての領域のうち、真円度が、表2の右列における「真円度閾値w」(本実施の形態では、0.9)以上となる領域の個数が求められる。なお、領域面積閾値をさらに追加し、領域面積閾値以上の面積を有する領域のみを対象として、「領域数」、「領域の総面積」および「円形領域数」が求められてよい。
【0030】
【表2】
【0031】
以下の処理では、遺伝子が、画像処理演算Pを2回適用して、最後に特徴量演算Cを適用する処理の列Giとして表現される、すなわち、遺伝子が(Gi=Pi1×Pi2×Ci)にて表現されるものとする。また、説明の便宜上、1回目の画像処理演算(以下、「先行画像処理演算」という。)Pi1は「グレー値二値化」、「R成分値二値化」、「G成分値二値化」および「B成分値二値化」(以下、「二値化演算」と総称する。)のいずれかに制限され、2回目の画像処理演算(以下、「後続画像処理演算」という。)Pi2は「収縮」、「膨張」および「平滑化」(以下、「フィルタ演算」と総称する。)のいずれかに制限される。もちろん、各遺伝子が1つのまたは3以上の画像処理演算を含んでもよい。
【0032】
具体的には、第1世代(初期世代)の集団に含まれる3個の遺伝子はそれぞれ(G1=P11×P12×C1)、(G2=P21×P22×C2)、(G3=P31×P32×C3)にて表現される。図4に示すように、遺伝子G1における先行画像処理演算P11は「グレー値二値化」であり、後続画像処理演算P12は「収縮」であり、特徴量演算C1は「円形領域数」の演算である。遺伝子G2における先行画像処理演算P21は「R成分値二値化」であり、後続画像処理演算P22は「膨張」であり、特徴量演算C2は「領域の総面積」の演算である。遺伝子G3における先行画像処理演算P31は「G成分値二値化」であり、後続画像処理演算P32は「平滑化」であり、特徴量演算C3は「領域数」の演算である。後述するように、必要に応じて集団(世代)を更新する処理が行われるため、上記遺伝子G1、G2、G3が、N回目(Nは1以上の整数)の更新後における集団を構成するものであってもよい。
【0033】
一方、分類処理の生成では、複数の画像グループのそれぞれに属する複数の画像(以下、「元画像」という。)が作業者により主観的に選択されて準備される。本実施の形態における元画像は、各画素がR成分、G成分、B成分のそれぞれの画素値(本実施の形態では、0ないし255のいずれかの値)を有するカラー画像である。
【0034】
図5は、各画像グループに属する元画像を示す図である。図5に示すように元画像31,41は画像グループAに属し、元画像51,61は画像グループBに属する。元画像31は、4個のオブジェクト(図形)311〜314を含み、矩形のオブジェクト311,313はR成分の画素値が255であり、G成分およびB成分の画素値が共に0である画素(以下、単に「Rの画素」という。)の集合である。また、楕円形または円形のオブジェクト312,314はB成分の画素値が255であり、R成分およびG成分の画素値が共に0である画素(以下、単に「Bの画素」という。)の集合である。図5では、同じ色のオブジェクトに同じハッチングを付している(後述の図6ないし図8、図13、並びに、図14において同様)。
【0035】
元画像41は、5個のオブジェクト411〜415を含み、矩形のオブジェクト411,413,414はRの画素の集合であり、楕円形または円形のオブジェクト412,415はBの画素の集合である。元画像51は、4個のオブジェクト511〜514を含み、楕円形または円形のオブジェクト511,512はRの画素の集合であり、矩形のオブジェクト513,514はBの画素の集合である。元画像61は、5個のオブジェクト611〜615を含み、楕円形または円形のオブジェクト611,612,615はRの画素の集合であり、矩形のオブジェクト613,614はBの画素の集合である。元画像31,41,51,61における背景領域(すなわち、オブジェクト以外の領域)は、R成分、G成分およびB成分の画素値が共に10である画素の集合である。
【0036】
図5の元画像31,41,51,61では、元画像31のオブジェクト311は、元画像41のオブジェクト411、元画像51のオブジェクト513および元画像61のオブジェクト614と同じ形状および大きさであり(ただし、オブジェクト513のみ向きが相違する。)、面積が300となる。元画像31のオブジェクト312は、元画像41のオブジェクト412、元画像51のオブジェクト511、並びに、元画像61のオブジェクト611,612と同じ形状および大きさであり、面積が600となる。元画像31のオブジェクト313は、元画像41のオブジェクト413,414、元画像51のオブジェクト514および元画像61のオブジェクト613と同じ形状および大きさであり(ただし、オブジェクト414のみ向きが相違する。)、面積が600となる。元画像31のオブジェクト314は、元画像41のオブジェクト415、元画像51のオブジェクト512および元画像61のオブジェクト615と同じ形状および大きさであり、面積が300となる。このように、元画像31,41,51,61は4種類の形状のオブジェクトにて構成され、各画像においてオブジェクトの数や配置、角度、色が異なる。なお、Rの画素にて構成されるオブジェクトのグレー値は76であり、Bの画素にて構成されるオブジェクトのグレー値は29であり、背景領域のグレー値は10である。
【0037】
上記元画像31,41,51,61は、画像入力部21により評価部22へと入力され、画像処理演算部221では、各元画像31,41,51,61に対して現在の集団の各遺伝子に含まれる先行画像処理演算および後続画像処理演算が順に行われる(ステップS12)。具体的には、(P11×P12×C1)にて表現される遺伝子G1については、先行画像処理演算P11である「グレー値二値化」が、図6の最も左側の列(上段に「元画像」と記す列)に示す元画像31,41,51,61のそれぞれに対して行われ、図6の左から2番目の列に示す中間画像32a,42a,52a,62aが生成される。また、後続画像処理演算P12である「収縮」が、中間画像32a,42a,52a,62aのそれぞれに対して行われ、図6の左から3番目の列に示す処理済み画像33a,43a,53a,63aが生成される。
【0038】
また、(P21×P22×C2)にて表現される遺伝子G2については、先行画像処理演算P21である「R成分値二値化」が、図7の最も左側の列に示す元画像31,41,51,61のそれぞれに対して行われ、図7の左から2番目の列に示す中間画像32b,42b,52b,62bが生成される。また、後続画像処理演算P22である「膨張」が、中間画像32b,42b,52b,62bのそれぞれに対して行われ、図7の左から3番目の列に示す処理済み画像33b,43b,53b,63bが生成される。
【0039】
さらに、(P31×P32×C3)にて表現される遺伝子G3については、先行画像処理演算P31である「G成分値二値化」が、図8の最も左側の列に示す元画像31,41,51,61のそれぞれに対して行われ、図8の左から2番目の列に示す中間画像32c,42c,52c,62cが生成される。また、後続画像処理演算P32である「平滑化」が、中間画像32c,42c,52c,62cのそれぞれに対して行われ、図8の左から3番目の列に示す処理済み画像33c,43c,53c,63cが生成される。
【0040】
続いて、特徴量演算部222では、集団の各遺伝子に含まれる特徴量演算が、当該遺伝子に対応する処理済み画像に対して行われる(ステップS13)。遺伝子G1については、特徴量演算C1である「円形領域数」の演算が図6の左から3番目の列に示す処理済み画像33a,43a,53a,63aのそれぞれに対して行われ、図6の最も右側の列に示すように、処理済み画像33a,43a,53a,63aにおける「円形領域数」が元画像31,41,51,61に対する特徴量Fとして求められる。
【0041】
遺伝子G2については、特徴量演算C2である「領域の総面積」の演算が図7の左から3番目の列に示す処理済み画像33b,43b,53b,63bのそれぞれに対して行われ、図7の最も右側の列に示すように、処理済み画像33b,43b,53b,63bにおける「領域の総面積」が元画像31,41,51,61に対する特徴量Fとして求められる。遺伝子G3については、特徴量演算C3である「領域数」の演算が図8の左から3番目の列に示す処理済み画像33c,43c,53c,63cのそれぞれに対して行われ、図8の最も右側の列に示すように、処理済み画像33c,43c,53c,63cにおける「領域数」が元画像31,41,51,61に対する特徴量Fとして求められる。
【0042】
以上のようにして、各遺伝子(分類処理候補)において複数の元画像31,41,51,61に対する複数の特徴量が求められると、有効度演算部223では、各遺伝子について、特徴量を従属変数、画像グループを因子として、一元配置分散分析における有意確率(p値)が表3のように求められる(ステップS14)。
【0043】
【表3】
【0044】
表3に示すように、集団における遺伝子G1に対する有意確率は0.423であり、遺伝子G2に対する有意確率は1.000であり、遺伝子G3に対する有意確率は計算不能(有意確率の計算式における分母が0となる。)である。ここで、有意確率が小さいほど、画像グループAにおける特徴量の平均値と画像グループBにおける特徴量の平均値との間に有意差があると考えられる。したがって、複数の元画像31,41,51,61のそれぞれを、複数の画像グループA、Bのいずれかに分類する際における複数の特徴量の有効度(または、評価値)、すなわち、画像グループA、Bへの分類における各遺伝子の有効度を、グループ分けに有用なほど高い値となる指標として定義すると、例えば有意確率の逆数等を有効度として用いることができる。このように、ステップS14の処理は、各遺伝子において求められる複数の特徴量の有効度を求める処理である。
【0045】
演算内容変更部23では、3個の遺伝子に対する有意確率のうち最小の有意確率を集団評価値として、集団評価値が所定の評価閾値0.05以下であるか否かが確認される。表3の例では、集団評価値が0.423であり、評価閾値よりも大きいため、集団の更新(すなわち、分類処理候補の更新)が行われる(ステップS15)。ステップS15の処理は、有効度が所定の閾値以上である場合を終了条件として、終了条件を満足するか否かを確認する処理であると捉えられる。
【0046】
集団の更新では、まず、図4に示す現在の集団に含まれる遺伝子G1、遺伝子G2および遺伝子G3のうち有意確率が最大となるものが集団から削除される(すなわち、遺伝子の淘汰を行う。)(ステップS16)。ここでは、有意確率が計算不能となる遺伝子は有意確率が最大とみなされ、遺伝子G3が集団から削除される。続いて、図9に示すように、有意確率が最小となる遺伝子G1が、遺伝子G1’として複製される(すなわち、遺伝子の増殖を行う。)(ステップS17)。遺伝子G1’は(P11×P12×C1)にて表現される。
【0047】
遺伝子G1’が複製されると、図10に示すように、有意確率が2番目に小さい遺伝子G2における後続画像処理演算P22および特徴量演算C2と、遺伝子G1’における後続画像処理演算P12および特徴量演算C1とが交換される(すなわち、遺伝子の交叉を行う。)(ステップS18)。これにより、新たな遺伝子G4および遺伝子G5が生成される。また、交叉により生成された遺伝子G4および遺伝子G5の先行画像処理演算、後続画像処理演算および特徴量演算から1つの演算がランダム(不規則)に選択され、同種の他の演算に変更される(すなわち、遺伝子の突然変異を行う。)(ステップS19)。すなわち、先行画像処理演算が選択された場合には他の二値化演算に変更され、後続画像処理演算が選択された場合には他のフィルタ演算に変更され、特徴量演算が選択された場合には他の種類の特徴量を求める演算に変更される。ここでは、図11中にアンダーラインを付して示す遺伝子G4における特徴量演算C2が「領域の総面積」から「領域数」に変更されている。なお、遺伝子G1において突然変異が行われてよい。
【0048】
以上の処理により集団の更新が完了し、(P11×P12×C1)にて表現される遺伝子G1、(P41×P42×C4)にて表現される遺伝子G4、(P51×P52×C5)にて表現される遺伝子G5が、分類処理候補として更新後の集団((N+1)回目の更新後の集団と捉えられてよい。)に含まれる。図12に示すように、遺伝子G1における先行画像処理演算P11は「グレー値二値化」であり、後続画像処理演算P12は「収縮」であり、特徴量演算C1は「円形領域数」の演算である。遺伝子G4における先行画像処理演算P41は「グレー値二値化」であり、後続画像処理演算P42は「膨張」であり、特徴量演算C4は「領域数」の演算である。遺伝子G5における先行画像処理演算P51は「R成分値二値化」であり、後続画像処理演算P52は「収縮」であり、特徴量演算C5は「円形領域数」の演算である。
【0049】
画像処理演算部221では、各元画像31,41,51,61に対して更新後の集団の各遺伝子に含まれる先行画像処理演算および後続画像処理演算が順に行われる(ステップS12)。具体的には、(P41×P42×C4)にて表現される遺伝子G4については、先行画像処理演算P41である「グレー値二値化」が、図13の最も左側の列に示す元画像31,41,51,61のそれぞれに対して行われ、図13の左から2番目の列に示す中間画像32d,42d,52d,62dが生成される。また、後続画像処理演算P42である「膨張」が、中間画像32d,42d,52d,62dのそれぞれに対して行われ、図13の左から3番目の列に示す処理済み画像33d,43d,53d,63dが生成される。
【0050】
(P51×P52×C5)にて表現される遺伝子G5については、先行画像処理演算P51である「R成分値二値化」が、図14の最も左側の列に示す元画像31,41,51,61のそれぞれに対して行われ、図14の左から2番目の列に示す中間画像32e,42e,52e,62eが生成される。また、後続画像処理演算P52である「収縮」が、中間画像32e,42e,52e,62eのそれぞれに対して行われ、図14の左から3番目の列に示す処理済み画像33e,43e,53e,63eが生成される。(P11×P12×C1)にて表現される遺伝子G1については、更新前の集団におけるステップS12の処理と同様に、図6の左から3番目の列に示す処理済み画像33a,43a,53a,63aが生成される。
【0051】
続いて、特徴量演算部222では、集団の各遺伝子に含まれる特徴量演算が対応する処理済み画像に対して行われる(ステップS13)。遺伝子G4については、特徴量演算C4である「領域数」の演算が図13の左から3番目の列に示す処理済み画像33d,43d,53d,63dのそれぞれに対して行われ、図13の最も右側の列に示すように、処理済み画像33d,43d,53d,63dにおける「領域数」が各元画像31,41,51,61に対する特徴量Fとして求められる。
【0052】
遺伝子G5については、特徴量演算C5である「円形領域数」の演算が図14の左から3番目の列に示す処理済み画像33e,43e,53e,63eのそれぞれに対して行われ、図14の最も右側の列に示すように、処理済み画像33e,43e,53e,63eにおける「円形領域数」が各元画像31,41,51,61に対する特徴量Fとして求められる。遺伝子G1については、更新前の集団におけるステップS13の処理と同様に、図6の最も右側の列に示す特徴量Fが求められる。有効度演算部223では、一元配置分散分析における有意確率(p値)が表4のように求められる(ステップS14)。
【0053】
【表4】
【0054】
表4に示すように、集団における遺伝子G1に対する有意確率は0.423であり、遺伝子G4に対する有意確率は0.038であり、遺伝子G5に対する有意確率は0.038である。演算内容変更部23では、3個の遺伝子に対する有意確率の最小値である集団評価値が所定の評価閾値0.05以下であり、終了条件を満たすことが確認されると(ステップS15)、分類処理候補である遺伝子G1、遺伝子G4および遺伝子G5のうち、有意確率が評価閾値0.05以下となる遺伝子G4および遺伝子G5のそれぞれが、画像グループAおよび画像グループBへの画像の分類において利用可能な分類処理として特定される。以上のようにして、作業者が主観的に設定した画像グループAと画像グループBとの相違が、分類処理を用いて自動的に定量化される。各分類処理における演算の内容は表示制御部24に出力され、ディスプレイ16に表示される(ステップS20)。また、各分類処理における演算の内容は図示省略の記憶部にも記憶される。
【0055】
図15は、ディスプレイ16に表示されるウィンドウ7を示す図である。図15に示すように、ウィンドウ7内の右上の分類処理選択部71では複数の分類処理のうちの1つの分類処理が選択可能であり、図15では遺伝子G5が「分類処理05」として選択されている。また、分類処理選択部71の下方における分類処理内容表示領域72では、選択された分類処理(以下、「選択分類処理」という。)における処理の列、すなわち、先行画像処理演算、後続画像処理演算および特徴量演算の内容(各種閾値などのパラメータ値を含む。)がテキストにて判りやすく表示される。
【0056】
分類処理内容表示領域72の左側には、2つのグループ表示領域73が縦方向に並んで設けられ、各グループ表示領域73の左上には、表示グループ選択部731が設けられる。各グループ表示領域73には、元画像表示領域732、中間画像表示領域733、処理済み画像表示領域734および特徴量表示領域735が設定される。表示グループ選択部731にて一の画像グループが選択されると、当該画像グループに属する元画像が元画像表示領域732に表示され、選択分類処理の先行画像処理演算により当該元画像から生成される中間画像が中間画像表示領域733に表示される。また、選択分類処理の後続画像処理演算により当該中間画像から生成される処理済み画像が処理済み画像表示領域734に表示され、選択分類処理の特徴量演算により処理済み画像から取得される特徴量が特徴量表示領域735に表示される。このように、ウィンドウ7では、複数の画像グループにそれぞれ対応する複数の元画像、複数の中間画像、複数の処理済み画像および複数の特徴量が同時に表示可能である。実際には、最初に表示されるウィンドウ7では、複数のグループ表示領域73が互いに異なる画像グループに割り当てられる。なお、中間画像および処理済み画像の下には、直前の画像処理演算の名称も表示される。
【0057】
また、図15のウィンドウ7では、元画像表示領域732内をスクロールすることにより、表示グループ選択部731にて選択された画像グループに属する他の元画像を表示することも可能である。この場合、当該元画像に対応する中間画像、処理済み画像および特徴量が中間画像表示領域733、処理済み画像表示領域734および特徴量表示領域735にそれぞれ表示される。ウィンドウ7では、同一グループに属する複数の元画像が同時に表示されてよい(中間画像、処理済み画像および特徴量において同様)。また、各分類処理における有意確率(または、有効度)が表示されてもよく、上記処理例のように複数の分類処理が取得される場合に、有意確率に基づく分類処理の順位が表示されてもよい。
【0058】
図15のウィンドウ7を参照することにより、作業者は有効な分類処理を定量的に捉えることができる。例えば、先行画像処理演算P41が「グレー値二値化」であり、後続画像処理演算P42が「膨張」であり、特徴量演算C4が「領域数」の演算である遺伝子G4の分類処理は、オブジェクトが密集して存在するか否かを判断基準として分類するためのものであると捉えられる。また、先行画像処理演算P51が「R成分値二値化」であり、後続画像処理演算P52が「収縮」であり、特徴量演算C5が「円形領域数」の演算である遺伝子G5の分類処理は、赤い円形オブジェクトが多いか否かを判断基準として分類するためのものであると捉えられる。なお、本処理例では、上記のように内容が解釈可能な分類処理が生成されるが、解釈が困難な分類処理が生成されてよく、このような分類処理も後述の画像の分類に用いられてよい。
【0059】
以上の処理により、画像を画像グループAと画像グループBとに分類するための分類処理が生成されると、コンピュータ1では、属すべき画像グループが未知である画像(以下、「対象画像」という。)を当該分類処理を用いて分類する動作が行われる(すなわち、コンピュータ1により画像分類装置が実現される。)。
【0060】
図16は、コンピュータ1が対象画像を分類する動作の流れを示す図である。図2の評価部22では、各対象画像に対して一の分類処理に含まれる先行画像処理演算を行って中間画像が生成され、中間画像に対して後続画像処理演算を行って処理済み画像が生成される(ステップS21)。続いて、処理済み画像に対して当該分類処理に含まれる特徴量演算を行うことにより特徴量が求められる(ステップS22)。そして、当該特徴量を所定の閾値と比較することにより、対象画像が画像グループAおよび画像グループBのいずれに属するかが判定される(ステップS23)。これにより、対象画像を精度よく、かつ、高速にグループ分けすることができる。なお、図3の処理により分類処理が生成された後、作業者により分類処理の内容が修正され、修正後の分類処理により、図16の対象画像の分類が行われてもよい。なお、ステップS23の判定は、特徴量を用いて公知の判別分析や事前入手して画像の当該特徴量で学習する分類手法等を用いてもよい。
【0061】
以上に説明したように、コンピュータ1が実現する分類処理生成装置では、評価部22において、複数の画像グループのそれぞれに属する各元画像に対して、分類処理候補における画像処理演算および特徴量演算を順に行うことにより複数の元画像の複数の特徴量が求められ、画像グループへの分類における当該複数の特徴量の有効度が求められる。また、演算内容変更部23では、分類処理候補における画像処理演算および特徴量演算を対象として演算の内容を変更しつつ評価部22にて有効度を求める処理が、有効度が閾値以上となるまで繰り返され、有効度が閾値以上となる際の分類処理候補が利用可能な分類処理として取得される。これにより、有効な分類処理を容易に生成することができる。そして、有効な分類処理における画像処理演算および特徴量演算の双方の内容が表示制御部24によりディスプレイ16に表示される。このように、有効な分類処理における画像処理演算および特徴量演算の内容を表示することにより、作業者が分類処理の内容を確実に把握することができ、分類処理の解釈や修正等を容易に行うことができる。
【0062】
また、各元画像と、当該元画像に対して分類処理における画像処理演算を行って生成された処理済み画像とがディスプレイ16に同時に表示されることにより、作業者が、元画像および処理済み画像を参照して分類処理の内容を直感的に把握することができ、分類処理の解釈等を容易に行うことができる。さらに、複数の画像グループにそれぞれ対応するとともに、分類処理における画像処理演算により生成された複数の処理済み画像がディスプレイ16に同時に表示される。これにより、作業者が複数の画像グループにそれぞれ対応する複数の処理済み画像を容易に比較することができ、画像グループ間における処理済み画像の相違を容易に把握して、分類処理の解釈等を効率よく行うことができる。
【0063】
分類処理生成装置では、評価部22において複数の分類処理候補が準備され、複数の分類処理候補にそれぞれ対応する複数の有効度がおよそ並行して求められる。そして、複数の分類処理候補に含まれる分類処理候補における演算の内容を変更しつつ評価部22にて複数の有効度を求める処理が、終了条件を満たすまで繰り返される。これにより、有効な分類処理を効率よく生成することができる。
【0064】
以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく、様々な変形が可能である。
【0065】
上記実施の形態では、画像処理演算が、二値化演算である先行画像処理演算とフィルタ演算である後続画像処理演算とに区別されるが、画像処理演算は、必ずしも先行画像処理演算と後続画像処理演算とに区別される必要はない。例えば、図17に示すように、各画像処理演算が、3個の入力プレーン911のうちの特定の入力プレーン911に対して処理を行い、3個の出力プレーン912のうちの特定の出力プレーン912に演算結果を出力するモジュールとして実現される場合、様々な画像処理演算を自在に組み合わせることが可能となる。なお、最初の画像処理演算における3個の入力プレーン911には、元画像におけるR成分の画像、G成分の画像およびB成分の画像がそれぞれ入力されることが好ましい。既述のように、各分類処理候補は、1つまたは3以上の画像処理演算を含んでよい。
【0066】
画像処理演算として、他のフィルタ処理やエッジ検出処理等が含められてよい。また、画像を周波数領域に変換(FFT変換)して周波数画像を生成する処理、周波数画像において特定の周波数成分をカットする処理、および、周波数画像を逆FFT変換する処理の組合せ等が、1つの画像処理演算として準備されてよく、これらの処理のそれぞれが1つの画像処理演算として準備されてもよい。
【0067】
特徴量演算として、モーメント値を求める演算や、周波数画像における特定周波数の強度を求める演算(この場合に、特徴量演算がFFT変換を含んでいてもよい。)等が含められてよい。
【0068】
分類処理生成装置では、画像を3以上の画像グループのいずれかに分類するための分類処理が生成されてもよい。この場合、図3のステップS14にて有効度を求める際に、例えば、各分類処理候補(遺伝子)に関して一元配置分散分析における多重比較が行われ、3以上の画像グループのうちの2つの画像グループの全ての組合せにおける有意確率が取得され、これらの有意確率のうちの最大のものが、有効度に相当する注目有意確率として取り扱われる。そして、複数の分類処理候補の注目有意確率のうち最小の有意確率を集団評価値として、集団評価値が所定の評価閾値以下となるまで集団の更新(ステップS16〜S19)および有意確率の算出(ステップS12〜S14)が繰り返される(ステップS15)。これにより、画像を3以上の画像グループのいずれかに分類するための分類処理が生成される。
【0069】
また、分類処理候補の有効度は様々な手法にて求めることが可能である。例えば、各分類処理候補においてT種類(Tは1以上の整数)の特徴量演算が含められ、特表2008−524675号公報(特許文献4)の手法を応用する場合、特許文献4の段落0044に記載のbを利用し、各分類処理候補におけるT種類の特徴量演算C1、C2、・・・、Cp、・・・、CT(pは1以上T以下の任意の整数)のそれぞれ(ただし、各種類の特徴量演算は、画像処理演算を元画像に施すことにより得られる同じ処理済み画像に対して行われる。)により取得される元画像kに対する特徴量Fk1、Fk2、・・・、Fkp、・・・、FkTを用いて、各特徴量演算Cpによる特徴量の評価値Ep(有効度)は数2にて求められる。
【0070】
【数2】
【0071】
ここでは、T種類の特徴量の評価値のうち最大のものが、注目評価値として取り扱われる。そして、複数の分類処理候補の注目評価値のうち最大のものが所定の閾値以上となるまで集団の更新(ステップS16〜S19)および評価値の算出(ステップS12〜S14)が繰り返され(ステップS15)、当該閾値以上の評価値が得られる特徴量の特徴量演算Cpと、その際の画像処理演算とを組み合わせたものが、利用可能な分類処理として用いられる。また、特表2008−129657号公報(特許文献5)の段落0054における式1にて表されるE(Feature)を上記評価値(有効度)として用いることも可能である。
【0072】
上記実施の形態では、集団の更新(図3:ステップS16〜S19)における遺伝子の淘汰、増殖、交叉および突然変異により2つの分類処理候補の内容が変更されるが、集団の更新において1つの分類処理候補、または、3以上の分類処理候補の内容が変更されてもよい。分類処理生成装置では、複数の分類処理候補の少なくとも1つにおける演算の内容を変更しつつ、評価部22において複数の分類処理候補にそれぞれ対応する複数の有効度をおよそ並行して求めることにより、画像の分類にて利用可能な分類処理(すなわち、有効度が高い分類処理)を効率よく取得することが可能となる。
【0073】
また、画像の分類にて利用可能な分類処理は、遺伝的アルゴリズム以外の手法により取得されてもよい。例えば、演算の手順は同じであるが、閾値等のパラメータの値が相違する複数の画像処理演算が準備され、複数の画像処理演算のうちの1つの画像処理演算と、一の特徴量演算との組合せが1つの分類処理候補として準備される(図3:ステップS11)。続いて、分類処理候補を用いた有効度の算出が、分類処理候補における画像処理演算を、当該複数の画像処理演算のうちの他の1つの画像処理演算に変更しつつ繰り返される(ステップS15,S12〜S14)。画像処理演算と特徴量演算との全ての組合せに対して有効度が求められて終了条件が満たされると(ステップS15)、有効度が閾値以上となる場合の分類処理候補を利用可能な分類処理として、分類処理の内容がディスプレイ16に表示される(ステップS20)。これにより、作業者が分類処理の解釈や修正等を容易に行うことができる。なお、特徴量演算は変更されないため、分類処理における画像処理演算の内容のみが表示されてもよく、この場合も、有効な分類処理の内容が実質的に表示されていると捉えることができる。
【0074】
また、上記のように、分類処理候補において画像処理演算および特徴量演算の一方のみを変更しつつ有効度が求められてよく、分類処理生成装置では、分類処理候補における画像処理演算および特徴量演算の少なくとも一方の演算の内容を変更しつつ有効度を求める処理を、終了条件を満たすまで繰り返すことにより、有効な分類処理を生成することが実現される。そして、終了条件を満たした際に、有効度が閾値以上となる場合の分類処理候補を利用可能な分類処理として、分類処理における当該少なくとも一方の演算の内容をディスプレイ16に表示する、すなわち、有効な分類処理の内容を(実質的に)表示することにより、作業者が分類処理の解釈や修正等を容易に行うことができる。
【0075】
一方、より有効な分類処理を容易に生成するという観点では、分類処理候補における画像処理演算および特徴量演算の双方を対象として演算の内容を変更しつつ有効度を求める処理を、当該有効度が閾値以上となるまで繰り返し、有効度が閾値以上となる際の分類処理候補を利用可能な分類処理として取得することが好ましい。
【0076】
図3のステップS15では、様々な終了条件を用いることが可能であり、例えば、ステップS16〜S19,S12〜S14の繰返し回数が所定回数に到達した場合に、終了条件を満たすと判定されてよい。また、直前の処理にて求められた集団評価値と、現在の処理にて求められた集団評価値との差が所定値以下となる場合に、または、当該差が所定値以下となる状態が一定回数連続して繰り返される場合に、終了条件を満たすと判定されてよい。
【0077】
各分類処理候補に関して、1つの元画像に対して複数の中間画像が生成される場合には、中間画像表示領域733内をスクロールすることにより、全ての中間画像が表示可能であることが好ましい。
【0078】
上記分類処理生成装置は、絵画等の美術作品を示す画像以外に、半導体基板やガラス基板上に形成されるパターンの欠陥を示す画像、あるいは、医療の場にて撮像される人体の各種部位を示す画像など、様々な画像を複数の画像グループのいずれかに分類するための分類処理の生成に用いられてよい。また、可視光による画像以外に、X線やテラヘルツ波等による画像が用いられてよく、この場合、撮像される対象物における材料等の相違も反映した分類が可能となる。
【0079】
上記実施の形態および各変形例における構成は、相互に矛盾しない限り適宜組み合わされてよい。
【符号の説明】
【0080】
1 コンピュータ
16 ディスプレイ
22 評価部
23 演算内容変更部
24 表示制御部
31,41,51,61 元画像
33a〜33e,43a〜43e,53a〜53e,63a〜63e 処理済み画像
72 分類処理内容表示領域
73 グループ表示領域
732 元画像表示領域
734 処理済み画像表示領域
S11〜S20 ステップ
【技術分野】
【0001】
本発明は、画像を複数の画像グループのいずれかに分類するための分類処理を生成する技術に関する。
【背景技術】
【0002】
従来より、美術史等の研究の場では、絵画等の美術作品を、描かれた年代や、描かれた場所、あるいは、描かれている内容等の観点から解析し、グループ分けすることが行われている。また、非特許文献1では、色彩情報の統計解析により絵画を定量的に分析する手法が開示されている。
【0003】
なお、特許文献1では、画像中の人物領域から予め決まったクラス毎の特徴量を検出し、特徴量毎に有効値を求め 、有効値に基づいて個人認識処理で使用する特徴量を選別する手法が開示されている。特許文献2では、効率的な検索を実現する手法が開示されており、本手法では、複数の要素と特徴項目の全ての組み合わせについて、その特徴項目を指定して検索を行ったときの絞り込み量のバラツキの程度が求められ、バラツキが小さいほど絞り込み効果が高いものとして、バラツキの程度に基づいて各特徴項目の絞込みに対する有効度が判断され、特徴項目の順位付けが行われる。そして、当該順位に従って特徴量が入力されるように検索者に報知が行われる。
【0004】
また、特許文献3では、検索の有効度を予め把握することが可能な人物検索装置が開示されており、当該装置では、複数のカメラが撮像した撮像画像内の人物の特徴量を示す特徴量情報が取得される。そして、第1のカメラで撮像された第1の人物の特徴量と第2のカメラで撮像された第2の人物の特徴量との差異が人物の特徴毎に算出され、特徴量の差異に基づいて、第1の人物を検索する場合の有効度を示す絞込有効度が人物の特徴毎に算出される。特許文献4および5では、サポートベクターマシンにおいて有意な特徴を識別する手法が開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2006−293644号公報
【特許文献2】特開2009−20578号公報
【特許文献3】特開2009−42879号公報
【特許文献4】特表2008−524675号公報
【特許文献5】特表2008−129657号公報
【非特許文献】
【0006】
【非特許文献1】車妍、「後期印象派絵画の色彩調和解析について」、[online]、2008年3月、国立大学法人筑波大学、[平成23年8月8日検索]、インターネット<URL:http://www.cs.tsukuba.ac.jp/H19Syuron/200621005.pdf>
【発明の概要】
【発明が解決しようとする課題】
【0007】
ところで、大量の作品を自動的に分類するには、グループ分けの判断基準に従った分類処理を生成することが必要である。絵画等の作品を「年代」や「対象物」等の明確な判断基準でグループ分けする場合、分類処理は比較的容易に生成することができるが、「画風」や「タッチ」と呼ばれる、主観的な印象に基づく判断基準にてグループ分けを行う場合、分類における判断基準を明確に定義したり、定量化することが容易ではないため、分類処理を生成することが困難である。特に、抽象画については、その解釈自体が観察者に依存するため、分類処理を生成することが極めて困難である。このような問題により、美術作品の深い研究を行うことができず、美術の理解等の妨げとなっている。
【0008】
本発明は上記課題に鑑みなされたものであり、有効な分類処理を生成するとともに、作業者が分類処理の解釈や修正等を容易に行うことが可能となる技術を提供することを目的としている。
【課題を解決するための手段】
【0009】
請求項1に記載の発明は、画像を複数の画像グループのいずれかに分類するための分類処理を生成する分類処理生成装置であって、所定の画像処理演算および特徴量演算を含む分類処理候補が準備され、前記分類処理候補を用いて、複数の画像グループのそれぞれに属する各元画像に対して前記画像処理演算を行って処理済み画像を生成し、前記処理済み画像に対して前記特徴量演算を行うことにより、複数の元画像の複数の特徴量を求め、前記複数の元画像のそれぞれを前記複数の画像グループのいずれかに分類する際における前記複数の特徴量の有効度を求める評価部と、前記分類処理候補における前記画像処理演算および前記特徴量演算の少なくとも一方の演算の内容を変更しつつ前記評価部にて前記有効度を求める処理を、終了条件を満たすまで繰り返す演算内容変更部と、前記終了条件を満たした際に、前記有効度が閾値以上となる場合の前記分類処理候補を利用可能な分類処理として、前記分類処理における前記少なくとも一方の演算の内容を表示部に表示する表示制御部とを備える。
【0010】
請求項2に記載の発明は、請求項1に記載の分類処理生成装置であって、前記表示制御部が、前記分類処理における前記画像処理演算および前記特徴量演算の双方の内容を前記表示部に表示する。
【0011】
請求項3に記載の発明は、請求項1または2に記載の分類処理生成装置であって、前記表示制御部が、前記各元画像と、前記各元画像に対して前記分類処理における前記画像処理演算を行って生成された前記処理済み画像とを前記表示部に同時に表示する。
【0012】
請求項4に記載の発明は、請求項1または2に記載の分類処理生成装置であって、前記表示制御部が、前記複数の画像グループにそれぞれ対応するとともに前記分類処理における前記画像処理演算により生成された複数の処理済み画像を前記表示部に同時に表示する。
【0013】
請求項5に記載の発明は、請求項1ないし4のいずれかに記載の分類処理生成装置であって、前記評価部において、複数の分類処理候補が準備され、前記評価部が、前記複数の分類処理候補にそれぞれ対応する複数の有効度を求め、前記演算内容変更部が、前記複数の分類処理候補の少なくとも1つにおける前記少なくとも一方の演算の内容を変更しつつ前記評価部にて前記複数の有効度を求める処理を、前記終了条件を満たすまで繰り返す。
【0014】
請求項6に記載の発明は、画像を複数の画像グループのいずれかに分類するための分類処理を生成する分類処理生成方法であって、a)所定の画像処理演算および特徴量演算を含む分類処理候補を準備する工程と、b)複数の画像グループのそれぞれに属する各元画像に対して前記画像処理演算を行って処理済み画像を生成する工程と、c)前記処理済み画像に対して前記特徴量演算を行うことにより、複数の元画像の複数の特徴量を求める工程と、d)前記複数の元画像のそれぞれを前記複数の画像グループのいずれかに分類する際における前記複数の特徴量の有効度を求める工程と、e)前記分類処理候補における前記画像処理演算および前記特徴量演算の少なくとも一方の演算の内容を変更しつつ前記b)ないしd)工程を、終了条件を満たすまで繰り返す工程と、f)前記有効度が閾値以上となる場合の前記分類処理候補を利用可能な分類処理として、前記分類処理における前記少なくとも一方の演算の内容を表示部に表示する工程とを備える。
【0015】
請求項7に記載の発明は、請求項6に記載の分類処理生成方法であって、前記f)工程において、前記分類処理における前記画像処理演算および前記特徴量演算の双方の内容が前記表示部に表示される。
【0016】
請求項8に記載の発明は、請求項6または7に記載の分類処理生成方法であって、前記f)工程において、前記各元画像と、前記各元画像に対して前記分類処理における前記画像処理演算を行って生成された前記処理済み画像とが前記表示部に同時に表示される。
【0017】
請求項9に記載の発明は、請求項6または7に記載の分類処理生成方法であって、前記f)工程において、前記複数の画像グループにそれぞれ対応するとともに前記分類処理における前記画像処理演算により生成された複数の処理済み画像が前記表示部に同時に表示される。
【0018】
請求項10に記載の発明は、請求項6ないし9のいずれかに記載の分類処理生成方法であって、前記a)工程において、複数の分類処理候補が準備され、前記b)ないしd)工程により、前記複数の分類処理候補にそれぞれ対応する複数の有効度が求められ、前記e)工程において、前記複数の分類処理候補の少なくとも1つにおける前記少なくとも一方の演算の内容を変更しつつ前記b)ないしd)工程が、前記終了条件を満たすまで繰り返される。
【発明の効果】
【0019】
本発明によれば、有効な分類処理を生成するとともに、分類処理の内容を実質的に表示することにより、作業者が分類処理の解釈や修正等を容易に行うことができる。
【図面の簡単な説明】
【0020】
【図1】コンピュータの構成を示す図である。
【図2】コンピュータが実現する機能構成を示すブロック図である。
【図3】コンピュータが分類処理を生成する動作の流れを示す図である。
【図4】集団に含まれる分類処理候補を示す図である。
【図5】元画像を示す図である。
【図6】元画像に対する画像処理演算および特徴量演算の結果を示す図である。
【図7】元画像に対する画像処理演算および特徴量演算の結果を示す図である。
【図8】元画像に対する画像処理演算および特徴量演算の結果を示す図である。
【図9】集団の更新を説明するための図である。
【図10】集団の更新を説明するための図である。
【図11】集団の更新を説明するための図である。
【図12】更新後の集団に含まれる分類処理候補を示す図である。
【図13】元画像に対する画像処理演算および特徴量演算の結果を示す図である。
【図14】元画像に対する画像処理演算および特徴量演算の結果を示す図である。
【図15】ディスプレイに表示されるウィンドウを示す図である。
【図16】コンピュータが対象画像を分類する動作の流れを示す図である。
【図17】画像処理演算に係るモジュールを抽象的に示す図である。
【発明を実施するための形態】
【0021】
図1は、本発明の一の実施の形態に係る分類処理生成装置を実現するコンピュータ1の構成を示す図である。コンピュータ1では、絵画等の画像を複数の画像グループのいずれかに分類するための分類処理が生成される。分類処理は、後述するように画像処理演算および特徴量演算を含むものであり、当該分類処理により分類対象の画像の分類が可能となる。
【0022】
コンピュータ1は、各種演算処理を行うCPU11、基本プログラムを記憶するROM12および各種情報を記憶するRAM13をバスラインに接続した一般的なコンピュータシステムの構成となっている。バスラインにはさらに、情報記憶を行う固定ディスク15、各種情報の表示を行う表示部であるディスプレイ16、操作者からの入力を受け付けるキーボード17aおよびマウス17b、光ディスク、磁気ディスク、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な記録媒体81から情報の読み取りを行ったり記録媒体81に情報の書き込みを行う読取/書込装置18、並びに、外部との通信を行う通信部19が、適宜、インターフェイス(I/F)を介する等して接続される。
【0023】
コンピュータ1には、事前に読取/書込装置18を介して記録媒体81からプログラム810が読み出され、固定ディスク15に記憶される。そして、プログラム810がRAM13にコピーされるとともにCPU11がRAM13内のプログラムに従って演算処理を実行することにより(すなわち、コンピュータがプログラムを実行することにより)、コンピュータ1が、分類処理生成装置としての処理を行う。
【0024】
図2は、CPU11がプログラム810に従って動作することにより、CPU11、ROM12、RAM13、固定ディスク15等が実現する機能構成を示すブロック図である。図2において、画像入力部21、評価部22、演算内容変更部23および表示制御部24がCPU11等により実現される機能である。なお、これらの機能は専用の電気的回路により実現されてもよく、部分的に電気的回路が用いられてもよい。
【0025】
図3は、コンピュータ1が分類処理を生成する動作の流れを示す図である。まず、図2の評価部22では、所定の画像処理演算および特徴量演算を含む分類処理候補が準備される(ステップS11)。ここで、本実施の形態では、遺伝的アルゴリズム(genetic algorithm)により後述の画像の分類にて利用可能な分類処理が生成され、ステップS11の処理では、3個の分類処理候補が初期集団に含まれる遺伝子として準備される。遺伝子は、数1のように、任意の画像処理演算Piを複数回適用して、最後に特徴量演算Ciを適用する処理の列Giとして表現される。
【0026】
【数1】
【0027】
本実施の形態において用いられる画像処理演算は、表1の左列に示す「グレー値二値化」、「R成分値二値化」、「G成分値二値化」、「B成分値二値化」、「収縮」、「膨張」および「平滑化」である。「グレー値二値化」では、表1の右列における「二値化閾値Th」以上となるグレー値を有する画素に、新たな画素値255が付与され、残りの画素に画素値0が付与される。「R成分値二値化」、「G成分値二値化」および「B成分値二値化」は、それぞれR(赤)成分の画素値、G(緑)成分の画素値およびB(青)成分の画素値が閾値と比較される点を除き、「グレー値二値化」と同様である。「グレー値二値化」における「二値化閾値Th」は20であり、「R成分値二値化」、「G成分値二値化」および「B成分値二値化」における「二値化閾値Th」は50である。「収縮」、「膨張」および「平滑化」のそれぞれでは、表1の右列における「サイズSz」のフィルタを用いて当該処理が行われ、本実施の形態では「サイズSz」は5である。なお、「グレー値二値化」の画像処理演算では、IRをR成分の画素値、IGをG成分の画素値、IBをB成分の画素値として、グレー値は(0.2989×IR+0.5870×IG+0.1140×IB)にて求められる。
【0028】
【表1】
【0029】
また、本実施の形態において用いられる特徴量演算は、表2の左列に示す「領域数」を求める演算、「領域の総面積」を求める演算、および、「円形領域数」を求める演算である。「領域数」、「領域の総面積」および「円形領域数」のそれぞれの演算では、表2の右列における「画素値閾値v」(本実施の形態では、255)以上となる画素値を有するとともに、互いに連続する画素の集合が1つの領域として取り扱われる。そして、「領域数」の演算では領域の個数が求められ、「領域の総面積」の演算では全ての領域の総面積が求められる。また、「円形領域数」の演算では、全ての領域のうち、真円度が、表2の右列における「真円度閾値w」(本実施の形態では、0.9)以上となる領域の個数が求められる。なお、領域面積閾値をさらに追加し、領域面積閾値以上の面積を有する領域のみを対象として、「領域数」、「領域の総面積」および「円形領域数」が求められてよい。
【0030】
【表2】
【0031】
以下の処理では、遺伝子が、画像処理演算Pを2回適用して、最後に特徴量演算Cを適用する処理の列Giとして表現される、すなわち、遺伝子が(Gi=Pi1×Pi2×Ci)にて表現されるものとする。また、説明の便宜上、1回目の画像処理演算(以下、「先行画像処理演算」という。)Pi1は「グレー値二値化」、「R成分値二値化」、「G成分値二値化」および「B成分値二値化」(以下、「二値化演算」と総称する。)のいずれかに制限され、2回目の画像処理演算(以下、「後続画像処理演算」という。)Pi2は「収縮」、「膨張」および「平滑化」(以下、「フィルタ演算」と総称する。)のいずれかに制限される。もちろん、各遺伝子が1つのまたは3以上の画像処理演算を含んでもよい。
【0032】
具体的には、第1世代(初期世代)の集団に含まれる3個の遺伝子はそれぞれ(G1=P11×P12×C1)、(G2=P21×P22×C2)、(G3=P31×P32×C3)にて表現される。図4に示すように、遺伝子G1における先行画像処理演算P11は「グレー値二値化」であり、後続画像処理演算P12は「収縮」であり、特徴量演算C1は「円形領域数」の演算である。遺伝子G2における先行画像処理演算P21は「R成分値二値化」であり、後続画像処理演算P22は「膨張」であり、特徴量演算C2は「領域の総面積」の演算である。遺伝子G3における先行画像処理演算P31は「G成分値二値化」であり、後続画像処理演算P32は「平滑化」であり、特徴量演算C3は「領域数」の演算である。後述するように、必要に応じて集団(世代)を更新する処理が行われるため、上記遺伝子G1、G2、G3が、N回目(Nは1以上の整数)の更新後における集団を構成するものであってもよい。
【0033】
一方、分類処理の生成では、複数の画像グループのそれぞれに属する複数の画像(以下、「元画像」という。)が作業者により主観的に選択されて準備される。本実施の形態における元画像は、各画素がR成分、G成分、B成分のそれぞれの画素値(本実施の形態では、0ないし255のいずれかの値)を有するカラー画像である。
【0034】
図5は、各画像グループに属する元画像を示す図である。図5に示すように元画像31,41は画像グループAに属し、元画像51,61は画像グループBに属する。元画像31は、4個のオブジェクト(図形)311〜314を含み、矩形のオブジェクト311,313はR成分の画素値が255であり、G成分およびB成分の画素値が共に0である画素(以下、単に「Rの画素」という。)の集合である。また、楕円形または円形のオブジェクト312,314はB成分の画素値が255であり、R成分およびG成分の画素値が共に0である画素(以下、単に「Bの画素」という。)の集合である。図5では、同じ色のオブジェクトに同じハッチングを付している(後述の図6ないし図8、図13、並びに、図14において同様)。
【0035】
元画像41は、5個のオブジェクト411〜415を含み、矩形のオブジェクト411,413,414はRの画素の集合であり、楕円形または円形のオブジェクト412,415はBの画素の集合である。元画像51は、4個のオブジェクト511〜514を含み、楕円形または円形のオブジェクト511,512はRの画素の集合であり、矩形のオブジェクト513,514はBの画素の集合である。元画像61は、5個のオブジェクト611〜615を含み、楕円形または円形のオブジェクト611,612,615はRの画素の集合であり、矩形のオブジェクト613,614はBの画素の集合である。元画像31,41,51,61における背景領域(すなわち、オブジェクト以外の領域)は、R成分、G成分およびB成分の画素値が共に10である画素の集合である。
【0036】
図5の元画像31,41,51,61では、元画像31のオブジェクト311は、元画像41のオブジェクト411、元画像51のオブジェクト513および元画像61のオブジェクト614と同じ形状および大きさであり(ただし、オブジェクト513のみ向きが相違する。)、面積が300となる。元画像31のオブジェクト312は、元画像41のオブジェクト412、元画像51のオブジェクト511、並びに、元画像61のオブジェクト611,612と同じ形状および大きさであり、面積が600となる。元画像31のオブジェクト313は、元画像41のオブジェクト413,414、元画像51のオブジェクト514および元画像61のオブジェクト613と同じ形状および大きさであり(ただし、オブジェクト414のみ向きが相違する。)、面積が600となる。元画像31のオブジェクト314は、元画像41のオブジェクト415、元画像51のオブジェクト512および元画像61のオブジェクト615と同じ形状および大きさであり、面積が300となる。このように、元画像31,41,51,61は4種類の形状のオブジェクトにて構成され、各画像においてオブジェクトの数や配置、角度、色が異なる。なお、Rの画素にて構成されるオブジェクトのグレー値は76であり、Bの画素にて構成されるオブジェクトのグレー値は29であり、背景領域のグレー値は10である。
【0037】
上記元画像31,41,51,61は、画像入力部21により評価部22へと入力され、画像処理演算部221では、各元画像31,41,51,61に対して現在の集団の各遺伝子に含まれる先行画像処理演算および後続画像処理演算が順に行われる(ステップS12)。具体的には、(P11×P12×C1)にて表現される遺伝子G1については、先行画像処理演算P11である「グレー値二値化」が、図6の最も左側の列(上段に「元画像」と記す列)に示す元画像31,41,51,61のそれぞれに対して行われ、図6の左から2番目の列に示す中間画像32a,42a,52a,62aが生成される。また、後続画像処理演算P12である「収縮」が、中間画像32a,42a,52a,62aのそれぞれに対して行われ、図6の左から3番目の列に示す処理済み画像33a,43a,53a,63aが生成される。
【0038】
また、(P21×P22×C2)にて表現される遺伝子G2については、先行画像処理演算P21である「R成分値二値化」が、図7の最も左側の列に示す元画像31,41,51,61のそれぞれに対して行われ、図7の左から2番目の列に示す中間画像32b,42b,52b,62bが生成される。また、後続画像処理演算P22である「膨張」が、中間画像32b,42b,52b,62bのそれぞれに対して行われ、図7の左から3番目の列に示す処理済み画像33b,43b,53b,63bが生成される。
【0039】
さらに、(P31×P32×C3)にて表現される遺伝子G3については、先行画像処理演算P31である「G成分値二値化」が、図8の最も左側の列に示す元画像31,41,51,61のそれぞれに対して行われ、図8の左から2番目の列に示す中間画像32c,42c,52c,62cが生成される。また、後続画像処理演算P32である「平滑化」が、中間画像32c,42c,52c,62cのそれぞれに対して行われ、図8の左から3番目の列に示す処理済み画像33c,43c,53c,63cが生成される。
【0040】
続いて、特徴量演算部222では、集団の各遺伝子に含まれる特徴量演算が、当該遺伝子に対応する処理済み画像に対して行われる(ステップS13)。遺伝子G1については、特徴量演算C1である「円形領域数」の演算が図6の左から3番目の列に示す処理済み画像33a,43a,53a,63aのそれぞれに対して行われ、図6の最も右側の列に示すように、処理済み画像33a,43a,53a,63aにおける「円形領域数」が元画像31,41,51,61に対する特徴量Fとして求められる。
【0041】
遺伝子G2については、特徴量演算C2である「領域の総面積」の演算が図7の左から3番目の列に示す処理済み画像33b,43b,53b,63bのそれぞれに対して行われ、図7の最も右側の列に示すように、処理済み画像33b,43b,53b,63bにおける「領域の総面積」が元画像31,41,51,61に対する特徴量Fとして求められる。遺伝子G3については、特徴量演算C3である「領域数」の演算が図8の左から3番目の列に示す処理済み画像33c,43c,53c,63cのそれぞれに対して行われ、図8の最も右側の列に示すように、処理済み画像33c,43c,53c,63cにおける「領域数」が元画像31,41,51,61に対する特徴量Fとして求められる。
【0042】
以上のようにして、各遺伝子(分類処理候補)において複数の元画像31,41,51,61に対する複数の特徴量が求められると、有効度演算部223では、各遺伝子について、特徴量を従属変数、画像グループを因子として、一元配置分散分析における有意確率(p値)が表3のように求められる(ステップS14)。
【0043】
【表3】
【0044】
表3に示すように、集団における遺伝子G1に対する有意確率は0.423であり、遺伝子G2に対する有意確率は1.000であり、遺伝子G3に対する有意確率は計算不能(有意確率の計算式における分母が0となる。)である。ここで、有意確率が小さいほど、画像グループAにおける特徴量の平均値と画像グループBにおける特徴量の平均値との間に有意差があると考えられる。したがって、複数の元画像31,41,51,61のそれぞれを、複数の画像グループA、Bのいずれかに分類する際における複数の特徴量の有効度(または、評価値)、すなわち、画像グループA、Bへの分類における各遺伝子の有効度を、グループ分けに有用なほど高い値となる指標として定義すると、例えば有意確率の逆数等を有効度として用いることができる。このように、ステップS14の処理は、各遺伝子において求められる複数の特徴量の有効度を求める処理である。
【0045】
演算内容変更部23では、3個の遺伝子に対する有意確率のうち最小の有意確率を集団評価値として、集団評価値が所定の評価閾値0.05以下であるか否かが確認される。表3の例では、集団評価値が0.423であり、評価閾値よりも大きいため、集団の更新(すなわち、分類処理候補の更新)が行われる(ステップS15)。ステップS15の処理は、有効度が所定の閾値以上である場合を終了条件として、終了条件を満足するか否かを確認する処理であると捉えられる。
【0046】
集団の更新では、まず、図4に示す現在の集団に含まれる遺伝子G1、遺伝子G2および遺伝子G3のうち有意確率が最大となるものが集団から削除される(すなわち、遺伝子の淘汰を行う。)(ステップS16)。ここでは、有意確率が計算不能となる遺伝子は有意確率が最大とみなされ、遺伝子G3が集団から削除される。続いて、図9に示すように、有意確率が最小となる遺伝子G1が、遺伝子G1’として複製される(すなわち、遺伝子の増殖を行う。)(ステップS17)。遺伝子G1’は(P11×P12×C1)にて表現される。
【0047】
遺伝子G1’が複製されると、図10に示すように、有意確率が2番目に小さい遺伝子G2における後続画像処理演算P22および特徴量演算C2と、遺伝子G1’における後続画像処理演算P12および特徴量演算C1とが交換される(すなわち、遺伝子の交叉を行う。)(ステップS18)。これにより、新たな遺伝子G4および遺伝子G5が生成される。また、交叉により生成された遺伝子G4および遺伝子G5の先行画像処理演算、後続画像処理演算および特徴量演算から1つの演算がランダム(不規則)に選択され、同種の他の演算に変更される(すなわち、遺伝子の突然変異を行う。)(ステップS19)。すなわち、先行画像処理演算が選択された場合には他の二値化演算に変更され、後続画像処理演算が選択された場合には他のフィルタ演算に変更され、特徴量演算が選択された場合には他の種類の特徴量を求める演算に変更される。ここでは、図11中にアンダーラインを付して示す遺伝子G4における特徴量演算C2が「領域の総面積」から「領域数」に変更されている。なお、遺伝子G1において突然変異が行われてよい。
【0048】
以上の処理により集団の更新が完了し、(P11×P12×C1)にて表現される遺伝子G1、(P41×P42×C4)にて表現される遺伝子G4、(P51×P52×C5)にて表現される遺伝子G5が、分類処理候補として更新後の集団((N+1)回目の更新後の集団と捉えられてよい。)に含まれる。図12に示すように、遺伝子G1における先行画像処理演算P11は「グレー値二値化」であり、後続画像処理演算P12は「収縮」であり、特徴量演算C1は「円形領域数」の演算である。遺伝子G4における先行画像処理演算P41は「グレー値二値化」であり、後続画像処理演算P42は「膨張」であり、特徴量演算C4は「領域数」の演算である。遺伝子G5における先行画像処理演算P51は「R成分値二値化」であり、後続画像処理演算P52は「収縮」であり、特徴量演算C5は「円形領域数」の演算である。
【0049】
画像処理演算部221では、各元画像31,41,51,61に対して更新後の集団の各遺伝子に含まれる先行画像処理演算および後続画像処理演算が順に行われる(ステップS12)。具体的には、(P41×P42×C4)にて表現される遺伝子G4については、先行画像処理演算P41である「グレー値二値化」が、図13の最も左側の列に示す元画像31,41,51,61のそれぞれに対して行われ、図13の左から2番目の列に示す中間画像32d,42d,52d,62dが生成される。また、後続画像処理演算P42である「膨張」が、中間画像32d,42d,52d,62dのそれぞれに対して行われ、図13の左から3番目の列に示す処理済み画像33d,43d,53d,63dが生成される。
【0050】
(P51×P52×C5)にて表現される遺伝子G5については、先行画像処理演算P51である「R成分値二値化」が、図14の最も左側の列に示す元画像31,41,51,61のそれぞれに対して行われ、図14の左から2番目の列に示す中間画像32e,42e,52e,62eが生成される。また、後続画像処理演算P52である「収縮」が、中間画像32e,42e,52e,62eのそれぞれに対して行われ、図14の左から3番目の列に示す処理済み画像33e,43e,53e,63eが生成される。(P11×P12×C1)にて表現される遺伝子G1については、更新前の集団におけるステップS12の処理と同様に、図6の左から3番目の列に示す処理済み画像33a,43a,53a,63aが生成される。
【0051】
続いて、特徴量演算部222では、集団の各遺伝子に含まれる特徴量演算が対応する処理済み画像に対して行われる(ステップS13)。遺伝子G4については、特徴量演算C4である「領域数」の演算が図13の左から3番目の列に示す処理済み画像33d,43d,53d,63dのそれぞれに対して行われ、図13の最も右側の列に示すように、処理済み画像33d,43d,53d,63dにおける「領域数」が各元画像31,41,51,61に対する特徴量Fとして求められる。
【0052】
遺伝子G5については、特徴量演算C5である「円形領域数」の演算が図14の左から3番目の列に示す処理済み画像33e,43e,53e,63eのそれぞれに対して行われ、図14の最も右側の列に示すように、処理済み画像33e,43e,53e,63eにおける「円形領域数」が各元画像31,41,51,61に対する特徴量Fとして求められる。遺伝子G1については、更新前の集団におけるステップS13の処理と同様に、図6の最も右側の列に示す特徴量Fが求められる。有効度演算部223では、一元配置分散分析における有意確率(p値)が表4のように求められる(ステップS14)。
【0053】
【表4】
【0054】
表4に示すように、集団における遺伝子G1に対する有意確率は0.423であり、遺伝子G4に対する有意確率は0.038であり、遺伝子G5に対する有意確率は0.038である。演算内容変更部23では、3個の遺伝子に対する有意確率の最小値である集団評価値が所定の評価閾値0.05以下であり、終了条件を満たすことが確認されると(ステップS15)、分類処理候補である遺伝子G1、遺伝子G4および遺伝子G5のうち、有意確率が評価閾値0.05以下となる遺伝子G4および遺伝子G5のそれぞれが、画像グループAおよび画像グループBへの画像の分類において利用可能な分類処理として特定される。以上のようにして、作業者が主観的に設定した画像グループAと画像グループBとの相違が、分類処理を用いて自動的に定量化される。各分類処理における演算の内容は表示制御部24に出力され、ディスプレイ16に表示される(ステップS20)。また、各分類処理における演算の内容は図示省略の記憶部にも記憶される。
【0055】
図15は、ディスプレイ16に表示されるウィンドウ7を示す図である。図15に示すように、ウィンドウ7内の右上の分類処理選択部71では複数の分類処理のうちの1つの分類処理が選択可能であり、図15では遺伝子G5が「分類処理05」として選択されている。また、分類処理選択部71の下方における分類処理内容表示領域72では、選択された分類処理(以下、「選択分類処理」という。)における処理の列、すなわち、先行画像処理演算、後続画像処理演算および特徴量演算の内容(各種閾値などのパラメータ値を含む。)がテキストにて判りやすく表示される。
【0056】
分類処理内容表示領域72の左側には、2つのグループ表示領域73が縦方向に並んで設けられ、各グループ表示領域73の左上には、表示グループ選択部731が設けられる。各グループ表示領域73には、元画像表示領域732、中間画像表示領域733、処理済み画像表示領域734および特徴量表示領域735が設定される。表示グループ選択部731にて一の画像グループが選択されると、当該画像グループに属する元画像が元画像表示領域732に表示され、選択分類処理の先行画像処理演算により当該元画像から生成される中間画像が中間画像表示領域733に表示される。また、選択分類処理の後続画像処理演算により当該中間画像から生成される処理済み画像が処理済み画像表示領域734に表示され、選択分類処理の特徴量演算により処理済み画像から取得される特徴量が特徴量表示領域735に表示される。このように、ウィンドウ7では、複数の画像グループにそれぞれ対応する複数の元画像、複数の中間画像、複数の処理済み画像および複数の特徴量が同時に表示可能である。実際には、最初に表示されるウィンドウ7では、複数のグループ表示領域73が互いに異なる画像グループに割り当てられる。なお、中間画像および処理済み画像の下には、直前の画像処理演算の名称も表示される。
【0057】
また、図15のウィンドウ7では、元画像表示領域732内をスクロールすることにより、表示グループ選択部731にて選択された画像グループに属する他の元画像を表示することも可能である。この場合、当該元画像に対応する中間画像、処理済み画像および特徴量が中間画像表示領域733、処理済み画像表示領域734および特徴量表示領域735にそれぞれ表示される。ウィンドウ7では、同一グループに属する複数の元画像が同時に表示されてよい(中間画像、処理済み画像および特徴量において同様)。また、各分類処理における有意確率(または、有効度)が表示されてもよく、上記処理例のように複数の分類処理が取得される場合に、有意確率に基づく分類処理の順位が表示されてもよい。
【0058】
図15のウィンドウ7を参照することにより、作業者は有効な分類処理を定量的に捉えることができる。例えば、先行画像処理演算P41が「グレー値二値化」であり、後続画像処理演算P42が「膨張」であり、特徴量演算C4が「領域数」の演算である遺伝子G4の分類処理は、オブジェクトが密集して存在するか否かを判断基準として分類するためのものであると捉えられる。また、先行画像処理演算P51が「R成分値二値化」であり、後続画像処理演算P52が「収縮」であり、特徴量演算C5が「円形領域数」の演算である遺伝子G5の分類処理は、赤い円形オブジェクトが多いか否かを判断基準として分類するためのものであると捉えられる。なお、本処理例では、上記のように内容が解釈可能な分類処理が生成されるが、解釈が困難な分類処理が生成されてよく、このような分類処理も後述の画像の分類に用いられてよい。
【0059】
以上の処理により、画像を画像グループAと画像グループBとに分類するための分類処理が生成されると、コンピュータ1では、属すべき画像グループが未知である画像(以下、「対象画像」という。)を当該分類処理を用いて分類する動作が行われる(すなわち、コンピュータ1により画像分類装置が実現される。)。
【0060】
図16は、コンピュータ1が対象画像を分類する動作の流れを示す図である。図2の評価部22では、各対象画像に対して一の分類処理に含まれる先行画像処理演算を行って中間画像が生成され、中間画像に対して後続画像処理演算を行って処理済み画像が生成される(ステップS21)。続いて、処理済み画像に対して当該分類処理に含まれる特徴量演算を行うことにより特徴量が求められる(ステップS22)。そして、当該特徴量を所定の閾値と比較することにより、対象画像が画像グループAおよび画像グループBのいずれに属するかが判定される(ステップS23)。これにより、対象画像を精度よく、かつ、高速にグループ分けすることができる。なお、図3の処理により分類処理が生成された後、作業者により分類処理の内容が修正され、修正後の分類処理により、図16の対象画像の分類が行われてもよい。なお、ステップS23の判定は、特徴量を用いて公知の判別分析や事前入手して画像の当該特徴量で学習する分類手法等を用いてもよい。
【0061】
以上に説明したように、コンピュータ1が実現する分類処理生成装置では、評価部22において、複数の画像グループのそれぞれに属する各元画像に対して、分類処理候補における画像処理演算および特徴量演算を順に行うことにより複数の元画像の複数の特徴量が求められ、画像グループへの分類における当該複数の特徴量の有効度が求められる。また、演算内容変更部23では、分類処理候補における画像処理演算および特徴量演算を対象として演算の内容を変更しつつ評価部22にて有効度を求める処理が、有効度が閾値以上となるまで繰り返され、有効度が閾値以上となる際の分類処理候補が利用可能な分類処理として取得される。これにより、有効な分類処理を容易に生成することができる。そして、有効な分類処理における画像処理演算および特徴量演算の双方の内容が表示制御部24によりディスプレイ16に表示される。このように、有効な分類処理における画像処理演算および特徴量演算の内容を表示することにより、作業者が分類処理の内容を確実に把握することができ、分類処理の解釈や修正等を容易に行うことができる。
【0062】
また、各元画像と、当該元画像に対して分類処理における画像処理演算を行って生成された処理済み画像とがディスプレイ16に同時に表示されることにより、作業者が、元画像および処理済み画像を参照して分類処理の内容を直感的に把握することができ、分類処理の解釈等を容易に行うことができる。さらに、複数の画像グループにそれぞれ対応するとともに、分類処理における画像処理演算により生成された複数の処理済み画像がディスプレイ16に同時に表示される。これにより、作業者が複数の画像グループにそれぞれ対応する複数の処理済み画像を容易に比較することができ、画像グループ間における処理済み画像の相違を容易に把握して、分類処理の解釈等を効率よく行うことができる。
【0063】
分類処理生成装置では、評価部22において複数の分類処理候補が準備され、複数の分類処理候補にそれぞれ対応する複数の有効度がおよそ並行して求められる。そして、複数の分類処理候補に含まれる分類処理候補における演算の内容を変更しつつ評価部22にて複数の有効度を求める処理が、終了条件を満たすまで繰り返される。これにより、有効な分類処理を効率よく生成することができる。
【0064】
以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく、様々な変形が可能である。
【0065】
上記実施の形態では、画像処理演算が、二値化演算である先行画像処理演算とフィルタ演算である後続画像処理演算とに区別されるが、画像処理演算は、必ずしも先行画像処理演算と後続画像処理演算とに区別される必要はない。例えば、図17に示すように、各画像処理演算が、3個の入力プレーン911のうちの特定の入力プレーン911に対して処理を行い、3個の出力プレーン912のうちの特定の出力プレーン912に演算結果を出力するモジュールとして実現される場合、様々な画像処理演算を自在に組み合わせることが可能となる。なお、最初の画像処理演算における3個の入力プレーン911には、元画像におけるR成分の画像、G成分の画像およびB成分の画像がそれぞれ入力されることが好ましい。既述のように、各分類処理候補は、1つまたは3以上の画像処理演算を含んでよい。
【0066】
画像処理演算として、他のフィルタ処理やエッジ検出処理等が含められてよい。また、画像を周波数領域に変換(FFT変換)して周波数画像を生成する処理、周波数画像において特定の周波数成分をカットする処理、および、周波数画像を逆FFT変換する処理の組合せ等が、1つの画像処理演算として準備されてよく、これらの処理のそれぞれが1つの画像処理演算として準備されてもよい。
【0067】
特徴量演算として、モーメント値を求める演算や、周波数画像における特定周波数の強度を求める演算(この場合に、特徴量演算がFFT変換を含んでいてもよい。)等が含められてよい。
【0068】
分類処理生成装置では、画像を3以上の画像グループのいずれかに分類するための分類処理が生成されてもよい。この場合、図3のステップS14にて有効度を求める際に、例えば、各分類処理候補(遺伝子)に関して一元配置分散分析における多重比較が行われ、3以上の画像グループのうちの2つの画像グループの全ての組合せにおける有意確率が取得され、これらの有意確率のうちの最大のものが、有効度に相当する注目有意確率として取り扱われる。そして、複数の分類処理候補の注目有意確率のうち最小の有意確率を集団評価値として、集団評価値が所定の評価閾値以下となるまで集団の更新(ステップS16〜S19)および有意確率の算出(ステップS12〜S14)が繰り返される(ステップS15)。これにより、画像を3以上の画像グループのいずれかに分類するための分類処理が生成される。
【0069】
また、分類処理候補の有効度は様々な手法にて求めることが可能である。例えば、各分類処理候補においてT種類(Tは1以上の整数)の特徴量演算が含められ、特表2008−524675号公報(特許文献4)の手法を応用する場合、特許文献4の段落0044に記載のbを利用し、各分類処理候補におけるT種類の特徴量演算C1、C2、・・・、Cp、・・・、CT(pは1以上T以下の任意の整数)のそれぞれ(ただし、各種類の特徴量演算は、画像処理演算を元画像に施すことにより得られる同じ処理済み画像に対して行われる。)により取得される元画像kに対する特徴量Fk1、Fk2、・・・、Fkp、・・・、FkTを用いて、各特徴量演算Cpによる特徴量の評価値Ep(有効度)は数2にて求められる。
【0070】
【数2】
【0071】
ここでは、T種類の特徴量の評価値のうち最大のものが、注目評価値として取り扱われる。そして、複数の分類処理候補の注目評価値のうち最大のものが所定の閾値以上となるまで集団の更新(ステップS16〜S19)および評価値の算出(ステップS12〜S14)が繰り返され(ステップS15)、当該閾値以上の評価値が得られる特徴量の特徴量演算Cpと、その際の画像処理演算とを組み合わせたものが、利用可能な分類処理として用いられる。また、特表2008−129657号公報(特許文献5)の段落0054における式1にて表されるE(Feature)を上記評価値(有効度)として用いることも可能である。
【0072】
上記実施の形態では、集団の更新(図3:ステップS16〜S19)における遺伝子の淘汰、増殖、交叉および突然変異により2つの分類処理候補の内容が変更されるが、集団の更新において1つの分類処理候補、または、3以上の分類処理候補の内容が変更されてもよい。分類処理生成装置では、複数の分類処理候補の少なくとも1つにおける演算の内容を変更しつつ、評価部22において複数の分類処理候補にそれぞれ対応する複数の有効度をおよそ並行して求めることにより、画像の分類にて利用可能な分類処理(すなわち、有効度が高い分類処理)を効率よく取得することが可能となる。
【0073】
また、画像の分類にて利用可能な分類処理は、遺伝的アルゴリズム以外の手法により取得されてもよい。例えば、演算の手順は同じであるが、閾値等のパラメータの値が相違する複数の画像処理演算が準備され、複数の画像処理演算のうちの1つの画像処理演算と、一の特徴量演算との組合せが1つの分類処理候補として準備される(図3:ステップS11)。続いて、分類処理候補を用いた有効度の算出が、分類処理候補における画像処理演算を、当該複数の画像処理演算のうちの他の1つの画像処理演算に変更しつつ繰り返される(ステップS15,S12〜S14)。画像処理演算と特徴量演算との全ての組合せに対して有効度が求められて終了条件が満たされると(ステップS15)、有効度が閾値以上となる場合の分類処理候補を利用可能な分類処理として、分類処理の内容がディスプレイ16に表示される(ステップS20)。これにより、作業者が分類処理の解釈や修正等を容易に行うことができる。なお、特徴量演算は変更されないため、分類処理における画像処理演算の内容のみが表示されてもよく、この場合も、有効な分類処理の内容が実質的に表示されていると捉えることができる。
【0074】
また、上記のように、分類処理候補において画像処理演算および特徴量演算の一方のみを変更しつつ有効度が求められてよく、分類処理生成装置では、分類処理候補における画像処理演算および特徴量演算の少なくとも一方の演算の内容を変更しつつ有効度を求める処理を、終了条件を満たすまで繰り返すことにより、有効な分類処理を生成することが実現される。そして、終了条件を満たした際に、有効度が閾値以上となる場合の分類処理候補を利用可能な分類処理として、分類処理における当該少なくとも一方の演算の内容をディスプレイ16に表示する、すなわち、有効な分類処理の内容を(実質的に)表示することにより、作業者が分類処理の解釈や修正等を容易に行うことができる。
【0075】
一方、より有効な分類処理を容易に生成するという観点では、分類処理候補における画像処理演算および特徴量演算の双方を対象として演算の内容を変更しつつ有効度を求める処理を、当該有効度が閾値以上となるまで繰り返し、有効度が閾値以上となる際の分類処理候補を利用可能な分類処理として取得することが好ましい。
【0076】
図3のステップS15では、様々な終了条件を用いることが可能であり、例えば、ステップS16〜S19,S12〜S14の繰返し回数が所定回数に到達した場合に、終了条件を満たすと判定されてよい。また、直前の処理にて求められた集団評価値と、現在の処理にて求められた集団評価値との差が所定値以下となる場合に、または、当該差が所定値以下となる状態が一定回数連続して繰り返される場合に、終了条件を満たすと判定されてよい。
【0077】
各分類処理候補に関して、1つの元画像に対して複数の中間画像が生成される場合には、中間画像表示領域733内をスクロールすることにより、全ての中間画像が表示可能であることが好ましい。
【0078】
上記分類処理生成装置は、絵画等の美術作品を示す画像以外に、半導体基板やガラス基板上に形成されるパターンの欠陥を示す画像、あるいは、医療の場にて撮像される人体の各種部位を示す画像など、様々な画像を複数の画像グループのいずれかに分類するための分類処理の生成に用いられてよい。また、可視光による画像以外に、X線やテラヘルツ波等による画像が用いられてよく、この場合、撮像される対象物における材料等の相違も反映した分類が可能となる。
【0079】
上記実施の形態および各変形例における構成は、相互に矛盾しない限り適宜組み合わされてよい。
【符号の説明】
【0080】
1 コンピュータ
16 ディスプレイ
22 評価部
23 演算内容変更部
24 表示制御部
31,41,51,61 元画像
33a〜33e,43a〜43e,53a〜53e,63a〜63e 処理済み画像
72 分類処理内容表示領域
73 グループ表示領域
732 元画像表示領域
734 処理済み画像表示領域
S11〜S20 ステップ
【特許請求の範囲】
【請求項1】
画像を複数の画像グループのいずれかに分類するための分類処理を生成する分類処理生成装置であって、
所定の画像処理演算および特徴量演算を含む分類処理候補が準備され、前記分類処理候補を用いて、複数の画像グループのそれぞれに属する各元画像に対して前記画像処理演算を行って処理済み画像を生成し、前記処理済み画像に対して前記特徴量演算を行うことにより、複数の元画像の複数の特徴量を求め、前記複数の元画像のそれぞれを前記複数の画像グループのいずれかに分類する際における前記複数の特徴量の有効度を求める評価部と、
前記分類処理候補における前記画像処理演算および前記特徴量演算の少なくとも一方の演算の内容を変更しつつ前記評価部にて前記有効度を求める処理を、終了条件を満たすまで繰り返す演算内容変更部と、
前記終了条件を満たした際に、前記有効度が閾値以上となる場合の前記分類処理候補を利用可能な分類処理として、前記分類処理における前記少なくとも一方の演算の内容を表示部に表示する表示制御部と、
を備えることを特徴とする分類処理生成装置。
【請求項2】
請求項1に記載の分類処理生成装置であって、
前記表示制御部が、前記分類処理における前記画像処理演算および前記特徴量演算の双方の内容を前記表示部に表示することを特徴とする分類処理生成装置。
【請求項3】
請求項1または2に記載の分類処理生成装置であって、
前記表示制御部が、前記各元画像と、前記各元画像に対して前記分類処理における前記画像処理演算を行って生成された前記処理済み画像とを前記表示部に同時に表示することを特徴とする分類処理生成装置。
【請求項4】
請求項1または2に記載の分類処理生成装置であって、
前記表示制御部が、前記複数の画像グループにそれぞれ対応するとともに前記分類処理における前記画像処理演算により生成された複数の処理済み画像を前記表示部に同時に表示することを特徴とする分類処理生成装置。
【請求項5】
請求項1ないし4のいずれかに記載の分類処理生成装置であって、
前記評価部において、複数の分類処理候補が準備され、
前記評価部が、前記複数の分類処理候補にそれぞれ対応する複数の有効度を求め、
前記演算内容変更部が、前記複数の分類処理候補の少なくとも1つにおける前記少なくとも一方の演算の内容を変更しつつ前記評価部にて前記複数の有効度を求める処理を、前記終了条件を満たすまで繰り返すことを特徴とする分類処理生成装置。
【請求項6】
画像を複数の画像グループのいずれかに分類するための分類処理を生成する分類処理生成方法であって、
a)所定の画像処理演算および特徴量演算を含む分類処理候補を準備する工程と、
b)複数の画像グループのそれぞれに属する各元画像に対して前記画像処理演算を行って処理済み画像を生成する工程と、
c)前記処理済み画像に対して前記特徴量演算を行うことにより、複数の元画像の複数の特徴量を求める工程と、
d)前記複数の元画像のそれぞれを前記複数の画像グループのいずれかに分類する際における前記複数の特徴量の有効度を求める工程と、
e)前記分類処理候補における前記画像処理演算および前記特徴量演算の少なくとも一方の演算の内容を変更しつつ前記b)ないしd)工程を、終了条件を満たすまで繰り返す工程と、
f)前記有効度が閾値以上となる場合の前記分類処理候補を利用可能な分類処理として、前記分類処理における前記少なくとも一方の演算の内容を表示部に表示する工程と、
を備えることを特徴とする分類処理生成方法。
【請求項7】
請求項6に記載の分類処理生成方法であって、
前記f)工程において、前記分類処理における前記画像処理演算および前記特徴量演算の双方の内容が前記表示部に表示されることを特徴とする分類処理生成方法。
【請求項8】
請求項6または7に記載の分類処理生成方法であって、
前記f)工程において、前記各元画像と、前記各元画像に対して前記分類処理における前記画像処理演算を行って生成された前記処理済み画像とが前記表示部に同時に表示されることを特徴とする分類処理生成方法。
【請求項9】
請求項6または7に記載の分類処理生成方法であって、
前記f)工程において、前記複数の画像グループにそれぞれ対応するとともに前記分類処理における前記画像処理演算により生成された複数の処理済み画像が前記表示部に同時に表示されることを特徴とする分類処理生成方法。
【請求項10】
請求項6ないし9のいずれかに記載の分類処理生成方法であって、
前記a)工程において、複数の分類処理候補が準備され、
前記b)ないしd)工程により、前記複数の分類処理候補にそれぞれ対応する複数の有効度が求められ、
前記e)工程において、前記複数の分類処理候補の少なくとも1つにおける前記少なくとも一方の演算の内容を変更しつつ前記b)ないしd)工程が、前記終了条件を満たすまで繰り返されることを特徴とする分類処理生成方法。
【請求項1】
画像を複数の画像グループのいずれかに分類するための分類処理を生成する分類処理生成装置であって、
所定の画像処理演算および特徴量演算を含む分類処理候補が準備され、前記分類処理候補を用いて、複数の画像グループのそれぞれに属する各元画像に対して前記画像処理演算を行って処理済み画像を生成し、前記処理済み画像に対して前記特徴量演算を行うことにより、複数の元画像の複数の特徴量を求め、前記複数の元画像のそれぞれを前記複数の画像グループのいずれかに分類する際における前記複数の特徴量の有効度を求める評価部と、
前記分類処理候補における前記画像処理演算および前記特徴量演算の少なくとも一方の演算の内容を変更しつつ前記評価部にて前記有効度を求める処理を、終了条件を満たすまで繰り返す演算内容変更部と、
前記終了条件を満たした際に、前記有効度が閾値以上となる場合の前記分類処理候補を利用可能な分類処理として、前記分類処理における前記少なくとも一方の演算の内容を表示部に表示する表示制御部と、
を備えることを特徴とする分類処理生成装置。
【請求項2】
請求項1に記載の分類処理生成装置であって、
前記表示制御部が、前記分類処理における前記画像処理演算および前記特徴量演算の双方の内容を前記表示部に表示することを特徴とする分類処理生成装置。
【請求項3】
請求項1または2に記載の分類処理生成装置であって、
前記表示制御部が、前記各元画像と、前記各元画像に対して前記分類処理における前記画像処理演算を行って生成された前記処理済み画像とを前記表示部に同時に表示することを特徴とする分類処理生成装置。
【請求項4】
請求項1または2に記載の分類処理生成装置であって、
前記表示制御部が、前記複数の画像グループにそれぞれ対応するとともに前記分類処理における前記画像処理演算により生成された複数の処理済み画像を前記表示部に同時に表示することを特徴とする分類処理生成装置。
【請求項5】
請求項1ないし4のいずれかに記載の分類処理生成装置であって、
前記評価部において、複数の分類処理候補が準備され、
前記評価部が、前記複数の分類処理候補にそれぞれ対応する複数の有効度を求め、
前記演算内容変更部が、前記複数の分類処理候補の少なくとも1つにおける前記少なくとも一方の演算の内容を変更しつつ前記評価部にて前記複数の有効度を求める処理を、前記終了条件を満たすまで繰り返すことを特徴とする分類処理生成装置。
【請求項6】
画像を複数の画像グループのいずれかに分類するための分類処理を生成する分類処理生成方法であって、
a)所定の画像処理演算および特徴量演算を含む分類処理候補を準備する工程と、
b)複数の画像グループのそれぞれに属する各元画像に対して前記画像処理演算を行って処理済み画像を生成する工程と、
c)前記処理済み画像に対して前記特徴量演算を行うことにより、複数の元画像の複数の特徴量を求める工程と、
d)前記複数の元画像のそれぞれを前記複数の画像グループのいずれかに分類する際における前記複数の特徴量の有効度を求める工程と、
e)前記分類処理候補における前記画像処理演算および前記特徴量演算の少なくとも一方の演算の内容を変更しつつ前記b)ないしd)工程を、終了条件を満たすまで繰り返す工程と、
f)前記有効度が閾値以上となる場合の前記分類処理候補を利用可能な分類処理として、前記分類処理における前記少なくとも一方の演算の内容を表示部に表示する工程と、
を備えることを特徴とする分類処理生成方法。
【請求項7】
請求項6に記載の分類処理生成方法であって、
前記f)工程において、前記分類処理における前記画像処理演算および前記特徴量演算の双方の内容が前記表示部に表示されることを特徴とする分類処理生成方法。
【請求項8】
請求項6または7に記載の分類処理生成方法であって、
前記f)工程において、前記各元画像と、前記各元画像に対して前記分類処理における前記画像処理演算を行って生成された前記処理済み画像とが前記表示部に同時に表示されることを特徴とする分類処理生成方法。
【請求項9】
請求項6または7に記載の分類処理生成方法であって、
前記f)工程において、前記複数の画像グループにそれぞれ対応するとともに前記分類処理における前記画像処理演算により生成された複数の処理済み画像が前記表示部に同時に表示されることを特徴とする分類処理生成方法。
【請求項10】
請求項6ないし9のいずれかに記載の分類処理生成方法であって、
前記a)工程において、複数の分類処理候補が準備され、
前記b)ないしd)工程により、前記複数の分類処理候補にそれぞれ対応する複数の有効度が求められ、
前記e)工程において、前記複数の分類処理候補の少なくとも1つにおける前記少なくとも一方の演算の内容を変更しつつ前記b)ないしd)工程が、前記終了条件を満たすまで繰り返されることを特徴とする分類処理生成方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【公開番号】特開2013−50837(P2013−50837A)
【公開日】平成25年3月14日(2013.3.14)
【国際特許分類】
【出願番号】特願2011−188178(P2011−188178)
【出願日】平成23年8月31日(2011.8.31)
【出願人】(000207551)大日本スクリーン製造株式会社 (2,640)
【Fターム(参考)】
【公開日】平成25年3月14日(2013.3.14)
【国際特許分類】
【出願日】平成23年8月31日(2011.8.31)
【出願人】(000207551)大日本スクリーン製造株式会社 (2,640)
【Fターム(参考)】
[ Back to top ]