画像処理方法、装置及びプログラム
【課題】本発明は、様々な画質（明るさのばらつきが大きい、エッジが不鮮明、ノイズが多いなど）の画像において、目的のオブジェクトを高精度で検出することができる新規な方法を提供する。
【解決手段】目的のオブジェクトの検出対象となる１つの画像に対して、予め定義されたｎ個の閾値を順番に設定してｎ回の２値化処理を実行し、各２値画像における連結画素領域の特徴量が所定の条件を満たすか否かを判定する。その結果、各２値画像において、所定の条件を満たさない領域の画素値をゼロクリアしたのちにこれらをマージして結果画像を生成する。
【解決手段】目的のオブジェクトの検出対象となる１つの画像に対して、予め定義されたｎ個の閾値を順番に設定してｎ回の２値化処理を実行し、各２値画像における連結画素領域の特徴量が所定の条件を満たすか否かを判定する。その結果、各２値画像において、所定の条件を満たさない領域の画素値をゼロクリアしたのちにこれらをマージして結果画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理方法に関し、より詳細には、デジタル画像の中から目的のオブジェクトを検出する方法に関する。
【背景技術】
【０００２】
従来、生化学の研究現場などにおいて、例えば、細胞の数を取得するにあたり、熟練した観察者が電子顕微鏡写真などの観察画像に基づいて目視で細胞の数を計数しており、観察者にとって、このような手作業が大きな負担となっていた。
【０００３】
この点につき、特開２００７−１３０２４６号公報（特許文献１）は、細胞の観察画像からエッジを検出し、当該エッジが各セルの細胞壁を示すものと推定して、検出したエッジに基づいて各セルの面積や形状ならびにセルの数・密度を自動演算することを特徴とする細胞画像処理装置を開示する。
【０００４】
しかしながら、実際にエッジを精度よく検出するためには、観察画像について、ノイズ除去、明るさの正規化、平滑化処理をはじめとする多くの前処理を施すことが必須となり、さらに、その後の２値化処理における閾値の決定には、多くのノウハウと熟練を要した。
【０００５】
図７は、細胞の観察画像を例示する。図７に示す画像は、紙面左側に向かうほど明るく、紙面右側に向かうほど暗くなっており、明るさのばらつきが大きいことが見てとれるであろう。このような画像を明度で２値化するにあたり、閾値を紙面の左側・中央・右側のいずれかの領域の明るさに合わせて設定すると、図８（ａ）〜（ｃ）に示すように、その他の領域が白飛びしたり、黒つぶれになったりしてしまう。この場合、１つの画像を明るさが一様な複数の領域に分割した上で、各領域について固有の閾値を設定することが考えられるが、そのような手法を採ったとしても、エッジが不鮮明な細胞などは依然として取りこぼされる虞がある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−１３０２４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、上記従来技術における課題に鑑みてなされたものであり、本発明は、様々な画質（明るさのばらつきが大きい、エッジが不鮮明、ノイズが多いなど）の画像において、目的のオブジェクトを高精度で検出することができる新規な方法を提供する。
【課題を解決するための手段】
【０００８】
本発明者は、様々な画質の画像において、目的のオブジェクトを高精度で検出することができる新規な方法につき鋭意検討した結果、目的のオブジェクトの検出対象となる１つの画像に対して、予め定義されたｎ個の閾値を順番に設定してｎ回の２値化処理を実行する構成に想到し、本発明に至ったのである。
【０００９】
すなわち、本発明によれば、画像から目的のオブジェクトの領域を検出する方法であって、画像の階調値について定義されたｎ個の閾値を択一的に設定するステップと、下記（ａ）乃至（ｄ）を含む画像処理を実行するステップと、（ａ）設定された前記閾値に基づいて前記画像を２値画像に変換する処理、（ｂ）前記２値画像において連結画素領域をラベリングする処理、（ｃ）ラベリングした前記連結画素領域について所定の特徴量を算出する処理、（ｄ）算出した前記特徴量が所定の条件を満たすか否かを判定し、該所定の条件を満たさない前記連結画素領域の画素値をゼロクリアする処理、前記画像処理によって生成された前記２値画像をマージして結果画像を生成するステップとを含む方法が提供される。
【図面の簡単な説明】
【００１０】
【図１】本実施形態の画像処理装置の機能ブロック図。
【図２】本実施形態の画像処理装置が実行する処理を示すフローチャート。
【図３】本実施形態の画像処理装置が実行する処理を時系列的に示した概念図。
【図４】結果画像を使用する後続処理を示す概念図。
【図５】観察画像において目的の細胞を強調表示した画像。
【図６】窓越しに撮影された風景画像においてゴミを強調表示した画像。
【図７】明るさのばらつきが大きい観察画像。
【図８】明るさのばらつきが大きい観察画像を異なる閾値で２値化した画像。
【発明を実施するための形態】
【００１１】
以下、本発明を図面に示した実施の形態をもって説明するが、本発明は、図面に示した実施の形態に限定されるものではない。なお、以下に参照する各図においては、共通する要素について同じ符号を用い、適宜、その説明を省略するものとする。
【００１２】
図１は、本発明の実施形態である画像処理装置１００の機能ブロック図を示す。本実施形態の画像処理装置１００は、２値化処理部１０、ラベリング処理部１２、特徴量算出部１４、オブジェクト判定部１６、画像マージ部１８、閾値設定部２０、特徴量設定部２２、結果画像出力部２８および濃淡処理部３０を含んで構成され、好ましくは、さらに、画像表示部４２および画像解析部４４を含んで構成される。
【００１３】
以下、本実施形態の画像処理装置１００の上述した各機能部が実行する処理について、図２に示すフローチャートに基づいて説明する。なお、以下の説明においては、適宜、図１を参照するものとする。
【００１４】
ステップ１０１において、初期化処理が実行される。このとき、後述する処理対象用画像バッファ２４およびマージ用画像バッファ２６がゼロ初期化される。
【００１５】
続くステップ１０２において、濃淡処理部３０は、元画像について濃淡処理を実施し、元画像（カラー画像データ）を後続の２値化処理に供する濃淡画像に変換する。濃淡処理部３０は、多くの場合、元画像（カラー画像データ）を明度（Brigtnes,
Lightness, Value）の濃淡画像（いわゆるグレースケール画像）に変換する。また、濃淡処理部３０は、必要に応じて、元画像（カラー画像データ）を色相(Hue)に基づく濃淡画像に変換することもできる。自然物の画像においては、同質の領域は同じ色相を有するという経験則があるため、目的のオブジェクトが動植物や細胞などである場合には、色相(Hue)の濃淡画像を生成することに意義がある。
【００１６】
さらに、濃淡処理部３０は、元画像（カラー画像データ）を彩度(Saturation)に基づく濃淡画像に変換したり、明度、色相、彩度のうちの２以上の値を混合してなる合成値の階調の濃淡画像に変換したりすることもできる。要するに、ここでいう濃淡処理とは、元画像（カラー画像データ）の各画素に対して、２値化の対象となる階調値を定義して割り当てる処理を意味するものであり、元画像が既に濃淡画像である場合には、ステップ１０２を省略することもできる。なお、各種表色系（ＲＧＢ、ＸＹＺ、ＨＳＢ、ＨＳＶ、ＨＬＶ、Ｌ＊ａ＊ｂ＊など）で表されたカラー画像データを上述したそれぞれの濃淡画像に変換する方法は、既知の技術であるのでこれ以上の説明は省略する。
【００１７】
濃淡処理部３０によって生成された濃淡画像は、処理対象画像として処理対象用画像バッファ２４にセットされる。処理対象画像は、後述する一連の処理が終了するまでの間、処理対象用画像バッファ２４に保持される。
【００１８】
続くステップ１０３において、閾値設定部２０は、２値化処理部１０に対して２値化の閾値を設定する。閾値設定部２０は、処理対象用画像（濃淡画像）の階調値（明度、色相、彩度など）について定義されたｎ個の閾値を、その適用順（例えば、値の降順または昇順）に保持しており、その順番に従って１つの閾値を択一的に設定する。
【００１９】
本実施形態においては、以下に挙げるいずれかの方法を用いて閾値を定義することができる。最初に挙げることができる最も簡単な方法は、所定の階調範囲において連続する階調値の全てを閾値として設定する方法である。例えば、処理対象画像が256階調の濃淡画像である場合、0〜255の範囲において連続する256個の階調値の全て（あるいは、50〜200の範囲において連続する151個の階調値の全て）を閾値として定義することができる。
【００２０】
次に挙げられるのがヒストグラム％法である。ヒストグラム％法においては、予め作成した画像の累積ヒストグラムに基づいて、全画素数に対する累積画素数の百分率が特定％(このとき、百分率は、0%,10%,20%,…といったように等間隔で刻む）となるｎ個の階調値を閾値として定義する。
【００２１】
最後に挙げられるのがステップ法である。ステップ法においては、所定の階調範囲において、等間隔に閾値を設定する。例えば、処理対象画像が256階調の濃淡画像である場合、0,5,10,15,20,25,…255といったように所定の間隔をおいて連続するｎ個の階調値を閾値として定義する。
【００２２】
最初に説明した連続する階調値の全てを閾値とする方法によれば、最大の領域抽出性能を実現することができる。したがって、当該方法は、コントラストが小さく領域の境界が不鮮明な画像を高精度に処理するのに適している。一方、領域の境界が比較的明確な画像の場合には、費用対効果の観点から、ヒストグラム％法またはステップ法を用いて閾値を設定することが好ましい。
【００２３】
続くステップ１０４において、２値化処理部１０は、処理対象用画像バッファ２４に保持された処理対象画像をロード（コピー）し、処理対象画像について閾値設定部２０によって設定された閾値に基づく２値化処理を実行する。具体的には、処理対象画像の各画素の階調値と設定された閾値とを比較し、階調値が閾値よりも大きい画素に対しては画素値[１]を、階調値が閾値以下の画素に対しては画素値[０]をそれぞれ割り当てて、濃淡画像データを２値画像データに変換する。この場合は、階調値が大きい領域（階調値が明度の場合は、明るい領域）が抽出される。一方、階調値が閾値よりも小さい画素に対して画素値[１]を、階調値が閾値以上の画素に対して画素値[０]を割り当てて、濃淡画像データを２値画像データに変換することもできる。この場合は、階調値の小さい領域（階調値が明度の場合は、暗い領域）が抽出される。２値化処理部１０は、上述したいずれかの方法で濃淡画像データを２値画像データに変換する。
【００２４】
続くステップ１０５において、ラベリング処理部１２は、２値化処理部１０が出力した２値画像データ４０に対してラベリング処理を実行する。具体的には、２値画像データ４０の画素値[１]の画素について、注目画素の４近傍または８近傍に隣接する画素を連結して連結画素領域を定義し、当該連結画素領域を構成する全ての画素を共通のＩＤでラベリングする。なお、２値画像のラベリング処理は既知の技術であるので、これ以上の説明は省略する。
【００２５】
続くステップ１０６において、特徴量算出部１４は、ラベリングされた全ての連結画素領域について、特徴量設定部２２によって設定された所定の特徴量を算出する。特徴量設定部２２は、予め定義された特徴量および各特徴量の判定条件を保持しており、特徴量算出部１４および後述するオブジェクト判定部１６に対して、それぞれ、特徴量および判定条件を設定する。ここで、特徴量とは、目的のオブジェクトであるか否かを判定するために用いる指標であり、目的のオブジェクトの形態上の特徴を数値化したパラメータである。
【００２６】
本実施形態においては、特徴量として、画素数（面積）、Ｘ座標の合計、Ｙ座標の合計、（Ｘ+Ｙ）の最大値−最小値（４５°方向から見た巾）、（Ｘ−Ｙ）の最大値−最小値（１３５°方向から見た巾）などを一次特徴量とし、当該一次特徴量から算出される平均画素値、重心、輪郭長、円形度、扁平率などを二次特徴量として定義するなど、画像認識技術における既知の手法を用いて適切な特徴量を定義することができる。特徴量算出部１４は、算出結果をオブジェクト判定部１６に通知する。
【００２７】
続くステップ１０７において、オブジェクト判定部１６は、特徴量算出部１４から通知された算出結果と特徴量設定部２２によって設定された判定条件とを照合し、条件を満たさない連結画素領域の画素値をゼロクリアする（すなわち、判定条件を満たさない連結画素領域を構成する全ての画素の画素値を[１]から[０]に変更する）。
【００２８】
続くステップ１０８において、画像マージ部１８は、ゼロクリア処理を経た２値画像データ４０と、マージ用画像バッファ２６に保存された２値画像データ（以下、バッファ２値画像データという）をマージする。具体的には、ゼロクリア処理を経た２値画像データの各画素のビットと、これに対応するバッファ２値画像データの各画素のビットとの間でビット論理和演算を実行する。なお、１番目の閾値について生成された２値画像データ４０の場合は、マージ用画像バッファ２６がゼロ初期化されているので、実質的には、２値画像データ４０がそのままマージ用画像バッファ２６に保存される。マージ用画像バッファ２６へのマージ処理が終了すると、画像マージ部１８は、その旨を閾値設定部２０に通知する。
【００２９】
続くステップ１０９において、閾値設定部２０は、保持されたｎ個の閾値の全てを２値化処理部１０に設定したか否か（すなわち、全ての閾値について処理を行ったか否か）を判断する。具体的には、例えば、２値化処理部１０に閾値を設定するたびにインクリメントされる閾値カウンタを閾値設定部２０に設けておき、閾値カウンタの値kがｎに達した否かを判断する。
【００３０】
１番目の閾値について生成された２値画像データ４０がマージ用画像バッファ２６にマージ（保存）された時点では、閾値カウンタの値k=1なので（ステップ１０９、Ｎｏ）、ステップ１１０に進み、閾値カウンタkの値をインクリメントした後に、ステップ１０３に戻る。ステップ１０３においては、閾値設定部２０がｋ番目（この場合、２番目）の閾値を２値化処理部１０に設定する。
【００３１】
続くステップ１０４において、２値化処理部１０は、再び、処理対象用画像バッファ２４に保持された処理対象画像をロード（コピー）して２番目の閾値に基づいて２値化処理を実行し、その後、ラベリング処理部１２、特徴量算出部１４、オブジェクト判定部１６および画像マージ部１８が上述したステップ１０５〜ステップ１０８を実行し、ステップ１０９（ｋ＝２、Ｎｏ）、ステップ１１０（閾値カウンタkのインクリメント）を経て、ステップ１０３に戻る。上述した一連の処理（ステップ１０３〜ステップ１１０）は、閾値設定部２０に保持されたｎ個の閾値の全てについて処理が終了するまで（ｋ＝ｎになるまで）繰り返される。その後、閾値設定部２０は、保持されたｎ個の閾値の全てを２値化処理部１０に設定した（すなわち、全ての閾値について処理を行った）と判断すると（ステップ１０９、Ｙｅｓ）、結果画像出力部２８にその旨を通知する。
【００３２】
ステップ１１１において、結果画像出力部２８は、閾値設定部２０からの通知に応答して、マージ用画像バッファ２６に保存された２値画像データ（すなわち、ｎ回分の生成２値画像データがマージされてなる２値画像データ）を結果画像として画像記憶領域３４に格納して処理を終了する。
【００３３】
以上、図１および図２に基づいて本実施形態の画像処理装置１００が実行する処理について説明してきたが、次に、画像処理装置１００が実行する処理を具体例に基づいて説明する。図３は、ステップ法によって定義された６個の閾値（ｎ＝６）を用い、２つの特徴量（円形度および面積）を用いて、明度の濃淡画像である処理対象画像５０から目的のオブジェクトを検出する処理を時系列的に示した概念図である。
【００３４】
まず、明度・形状・大きさが異なる複数のオブジェクトが混在する処理対象画像５０が処理対象用画像バッファ２４からロードされ、処理対象画像５０について、１番目の閾値（明度＝９０）で２値化処理が実行された後、ラベリング処理が実行される。その結果、２値画像５１（１）において３つの領域（ａ,ｂ,ｃ）がラベリングされる。続いて、各領域について特徴量（円形度・面積）を計算した後、所定の特徴量条件を満たさない全ての画素の値を[０]に変換する。その結果、円形でない領域（ａ,ｂ）ならびに円形であるが面積が小さい領域（ｃ）がゼロクリアされ、２値画像５１（１）は、２値画像５１（２）に変換される。最後に、２値画像５１（２）と、ゼロ初期化されたマージ用画像バッファ２６のバッファデータ６０（０）との論理和演算が実施される。その結果、バッファデータ６０（０）はバッファデータ６０（１）に更新される（実体として全画素の値は[０]のまま変化しない）。
【００３５】
再び、処理対象画像５０がロードされ、２番目の閾値（明度＝１１０）で２値化処理が実行された後、ラベリング処理が実行される。その結果、２値画像５２（１）において２つの領域（ｄ,ｅ）がラベリングされる。続いて、各領域について特徴量（円形度・面積）を計算した後、所定の特徴量条件を満たさない全ての画素の値を[０]に変換する。その結果、円形でない領域（ｅ）がゼロクリアされ、２値画像５２（１）は、２値画像５２（２）に変換される。最後に、２値画像５２（２）と、マージ用画像バッファ２６に保存されたバッファデータ６０（１）との論理和演算が実施される。その結果、バッファデータ６０（１）は、領域（ｄ）に対応する画素の値が[１]に変換されたバッファデータ６０（２）に更新される。
【００３６】
再び、処理対象用画像バッファ２４からロードされた処理対象画像５０について、３番目の閾値（明度＝１３０）で２値化処理が実行された後、ラベリング処理が実行される。その結果、２値画像５３（１）において３つの領域（ｆ,ｇ,ｈ）がラベリングされる。続いて、各領域について特徴量（円形度・面積）を計算した後、所定の特徴量条件を満たさない全ての画素の値を[０]に変換する。その結果、円形でない領域（ｆ）ならびに円形であるが面積が小さい領域（ｇ）がゼロクリアされ、２値画像５３（１）は、２値画像５３（２）に変換される。最後に、２値画像５３（２）と、マージ用画像バッファ２６に保存されたバッファデータ６０（２）との論理和演算が実施される。その結果、バッファデータ６０（２）は、領域（ｄ）および領域（ｈ）に対応する画素の値が[１]に変換されたバッファデータ６０（３）に更新される。このとき、領域（ｄ）と領域（ｈ）は、階層性の法則により必ず完全な包含関係となる。
【００３７】
再び、処理対象用画像バッファ２４からロードされた処理対象画像５０について、４番目の閾値（明度＝１５０）を適用した２値化処理／ラベリング処理／特徴量判定／論理和演算がそれぞれ実施される結果、バッファデータ６０（３）は、領域（ｊ）に対応する画素の値が[１]に変換されたバッファデータ６０（４）に更新される。
【００３８】
再び、処理対象用画像バッファ２４からロードされた処理対象画像５０について、５番目の閾値（明度＝１７０）を適用した２値化処理／ラベリング処理／特徴量判定／論理和演算がそれぞれ実施される結果、バッファデータ６０（４）は、領域（ｊ）および領域（ｍ）に対応する画素の値が[１]に変換されたバッファデータ６０（５）に更新される。ここで、領域（ｊ）と領域（ｍ）は、同じく階層性の法則により完全な包含関係となる。
【００３９】
最後に、処理対象用画像バッファ２４からロードされた処理対象画像５０について、６番目の閾値（明度＝１９０）を適用した２値化処理／ラベリング処理／特徴量判定／論理和演算がそれぞれ実施される結果、バッファデータ６０（５）は、バッファデータ６０（６）に更新され（実体的に全画素の値は変化しない）、この時点でマージ用画像バッファ２６に保存されるバッファデータ６０（６）が結果画像７０として定義される。図３に示す結果画像７０においては、処理対象画像５０に含まれていた複数のオブジェクトの中から所定の大きさを持つ２つの円形オブジェクトＸおよびＹが検出されていることが理解されるであろう。
【００４０】
なお、上述した実施形態においては、マージ用画像バッファ２６を１つだけ用意し、生成２値画像データが生成される度に、当該生成２値画像データをマージ用画像バッファ２６上のバッファ２値画像データに逐次マージする例を挙げて説明してきたが、メモリ領域が十分に用意されている場合には、ｎ個の閾値に対してｎ個のマージ用画像バッファを設け、各閾値に基づく結果（生成２値画像データ）を各閾値に固有のマージ用画像バッファに保存することもできる。この場合、画像マージ部１８は、ｎ個のマージ用画像バッファに保存されたｎ個の生成２値画像データの全てを最後に一括してマージすることができ、または、ｎ個のマージ用画像バッファを走査して連結画素領域が記録された生成２値画像データのみを選出してマージすることができ、さらには、連結画素領域が記録された生成２値画像データの中からさらに選出した一部の生成２値画像データのみをマージすることもできる。
【００４１】
以上説明したように、本発明の方法は、外乱に対して高いロバスト性を示し、様々な画質（明るさのばらつきが大きい、エッジが不鮮明、ノイズが多いなど）の画像について、目的のオブジェクトを常に高精度で検出することを可能にする。さらに、本発明の方法によれば、従来必須であった各種の前処理（ノイズ除去、明るさの正規化、平滑化処理など）が不要になり、２値化の閾値を決定するためのノウハウや閾値調整の手間も不要になるため、ユーザの負担が大幅に軽減される。
【００４２】
なお、本発明は、元画像に対して前処理を行うことを排除するものではなく、元画像に対して既知の前処理を施したものを処理対象画像としてもなんら差し支えない。例えば、元画像に対して、画像の明るさの偏りを補正する前処理、画像のノイズを低減する前処理、画像のエッジを強調する前処理などを施すことができる。
【００４３】
再び、図１に戻って説明を続ける。上述した手順で画像記憶領域３４に保存された結果画像は、後続する種々の処理に供され、使用される。以下、この点につき、図４を参照しながら、順を追って説明する。
【００４４】
画像表示部４２は、元画像上で目的のオブジェクトを強調表示するための編集処理を実行する。具体的には、画像表示部４２は、結果画像に基づいて透過レイヤーを形成し、元画像の上位に重畳し、その結果を表示装置１０２に出力する。
【００４５】
図５は、図７に示した細胞の観察画像（元画像）について本発明の画像処理を行った後、結果画像に基づいて形成した透過レイヤー（結果画像を構成する画素のうち、値１の画素を黄色、値０の画素を透過色としたレイヤー）を元画像の上位に重畳した画像を示す。図５を参照すれば、元画像の明るさの偏りが大きかったにもかかわらず、目的の細胞（目的のオブジェクト）が画面全体にわたって高精度に検出されていることが理解されるであろう。
【００４６】
本実施形態の画像処理装置１００は、図５に例示した使用態様を発展させることによって、病理画像診断支援システムに適用することができる。例えば、癌の種類（例えば、子宮頚部の扁平上皮癌、子宮頚部の腺癌、子宮内膜の扁平上皮癌、子宮内膜の腺癌など）毎に特徴量を設定した上で、患者の病理画像について本発明の上述した処理を実行し、その結果画像を病理画像に重層して強調表示すれば、経験の多寡に拘わらず、誰もが目的のがん細胞（目的のオブジェクト）を確実に視認することができるであろう。
【００４７】
なお、本発明においては、細胞の観察画像（元画像）について、複数種類の細胞について定義された異なる特徴量条件で複数の結果画像を生成し、これらを色違いの透過レイヤーとして形成した後に元画像に重畳することもできる。この場合、各細胞が異なる色で強調表示される。
【００４８】
一方、画像解析部４４は、結果画像について解析を行い、目的に応じた結果を出力しあるいは保存する。例えば、画像解析部４４は、結果画像上の連結画素領域（画素値１の領域、以下、オブジェクト領域として参照する）について、所定の特徴量を算出する。ここでいう特徴量は、先に説明した特徴量算出部１４に設定される特徴量と同じ種類のものであってもよく、異なる種類のものであってもよい。
【００４９】
画像解析部４４は、結果画像について算出した特徴量を使用してオブジェクト領域を再評価することができる。以下、所定の細胞をターゲットとする場合を例にとって再評価の必要性について説明する。先に説明した特徴量算出部１４に特徴量として細胞の大きさ（面積：ピクセル数）を設定する場合、そのオブジェクト判定部１６には、100ピクセル〜2000ピクセルといった具合に、相当程度広い範囲を大きさの判定条件として設定する必要がある。なぜなら、形の整った細胞を基準にして判定条件を狭く設定しすぎると、歪んだり大きくのびきったりした細胞を取りこぼしてしまう虞があるからである。一方で、判定条件を広めに設定すると、１つの細胞がちぎれて分離したものが２つのオブジェクト領域として検出されたり、２〜３個の細胞が密着したものが１つのオブジェクト領域として検出されたりすることになる。
【００５０】
このようなケースにつき、画像解析部４４は、結果画像について、再度、所定の特徴量を算出し、その結果を使用して、適宜、オブジェクト領域を統合したり、分割したりすることができる。具体的には、まず、結果画像において円形度が細胞の理想条件を満たすオブジェクト領域を抽出し、その面積の平均値Ｚを求める。次に、その面積が平均値Ｚの半分以下であるオブジェクト領域について、近接する領域同士を統合する。その結果、分離した２つの細胞片を１つの細胞として再評価することができる。一方、その面積が平均値Ｚの２倍を超えるオブジェクト領域については、これを適切な規則に従って分割する。その結果、細胞が密着してなる固まりをｎ個の細胞として再評価することができる。画像解析部４４は、統合または分割を経て再編成されたオブジェクト領域を反映させるように、画像記憶領域３４に保存された結果画像を更新する。この場合、画像表示部４２は、更新された（再評価された）結果画像に基づいて表示画像を生成し、表示装置１０２に出力する。
【００５１】
さらに、画像解析部４４は、結果画像（再評価された結果画像を含む、以下、同様）のオブジェクト領域について算出された特徴量について所定の統計処理を実行することができる。例えば、画像解析部４４は、各特徴量の統計量として、度数分布、平均、分散、最大、最小、モード、メディアン、特徴量間の相関などを計算することができる。
【００５２】
さらに、画像解析部４４は、結果画像のオブジェクト領域について領域間の関係を分析することができる。例えば、画像解析部４４は、オブジェクト領域の単位面積当たりの密度、最も近接するオブジェクト領域間の距離、異なる特徴量に基づいて検出されたオブジェクト領域間の包含関係などを分析することができる。
【００５３】
画像解析部４４は、上述した統計量またはオブジェクト領域間の関係の少なくとも一方に基づいて所定のレポートを作成したり、所定の判定処理を行ったりして、その結果を表示装置１０２に出力したり、データベース４６に保存したりする。この点につき、本発明は、細胞の培養容器の様子を撮像した動画データ（元画像）から時々刻々と生成される結果画像の解析結果として細胞の密度を取得し、これに基づいて細胞の時系列的な増殖に関するレポートを作成するといった細胞培養システムへの適用や、病理画像（元画像）から生成される結果画像の解析結果としてがん細胞の各種統計量を取得し、これを所定のアルゴリズムに照らしてがんの進行度を判定するといった病理画像診断支援システムへの適用が想定されるであろう。
【００５４】
以上、本実施形態の画像処理装置１００について、主に、細胞を目的のオブジェクトとする例をもって説明してきたが、本発明は、本質的に所望のデジタル画像について目的のオブジェクトが表示されている領域を検出する方法および装置を提供するものであり、本発明は、その用途（目的のオブジェクト）に限定されるものではない。
【００５５】
本実施形態の画像処理装置１００の他の適用例としては、製品の微細なキズやゴミを検出する外観検査を挙げることができる。図６（ａ）は、窓越しに撮影された風景画像を示す。図６（ａ）に示した画像について本発明の方法で画像処理を行った後、元画像の上位に結果画像から形成される透過レイヤー（結果画像を構成する画素のうち、値１の画素を赤色、値０の画素を透過色としたレイヤー）を重畳した画像を図６（ｂ）に示す。図６（ｂ）を参照すれば、窓についたゴミ（汚れ）が高精度に検出されていることが理解されるであろう。
【００５６】
以上、本発明について実施形態をもって説明してきたが、本発明は上述した実施形態に限定されるものではなく、その他、当業者が推考しうる実施態様の範囲内において、本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
【００５７】
上述した実施形態の各機能は、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）などのオブジェクト指向プログラミング言語などで記述された装置実行可能なプログラムにより実現でき、本実施形態のプログラムは、ハードディスク装置、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、フレキシブルディスク、ＥＥＰＲＯＭ、ＥＰＲＯＭなどの装置可読な記録媒体に格納して頒布することができ、また他装置が可能な形式でネットワークを介して伝送することができる。
【符号の説明】
【００５８】
１０…２値化処理部
１２…ラベリング処理部
１４…特徴量算出部
１６…オブジェクト判定部
１８…画像マージ部
２０…閾値設定部
２２…特徴量設定部
２４…処理対象用画像バッファ
２６…マージ用画像バッファ
２８…結果画像出力部
３０…濃淡処理部
３４…画像記憶領域
４０…２値画像データ
４２…画像表示部
４４…画像解析部
４６…データベース
５０…処理対象画像
５１〜５６…２値画像
６０…バッファデータ
７０…結果画像
１００…画像処理装置
１０２…表示装置
【技術分野】
【０００１】
本発明は、画像処理方法に関し、より詳細には、デジタル画像の中から目的のオブジェクトを検出する方法に関する。
【背景技術】
【０００２】
従来、生化学の研究現場などにおいて、例えば、細胞の数を取得するにあたり、熟練した観察者が電子顕微鏡写真などの観察画像に基づいて目視で細胞の数を計数しており、観察者にとって、このような手作業が大きな負担となっていた。
【０００３】
この点につき、特開２００７−１３０２４６号公報（特許文献１）は、細胞の観察画像からエッジを検出し、当該エッジが各セルの細胞壁を示すものと推定して、検出したエッジに基づいて各セルの面積や形状ならびにセルの数・密度を自動演算することを特徴とする細胞画像処理装置を開示する。
【０００４】
しかしながら、実際にエッジを精度よく検出するためには、観察画像について、ノイズ除去、明るさの正規化、平滑化処理をはじめとする多くの前処理を施すことが必須となり、さらに、その後の２値化処理における閾値の決定には、多くのノウハウと熟練を要した。
【０００５】
図７は、細胞の観察画像を例示する。図７に示す画像は、紙面左側に向かうほど明るく、紙面右側に向かうほど暗くなっており、明るさのばらつきが大きいことが見てとれるであろう。このような画像を明度で２値化するにあたり、閾値を紙面の左側・中央・右側のいずれかの領域の明るさに合わせて設定すると、図８（ａ）〜（ｃ）に示すように、その他の領域が白飛びしたり、黒つぶれになったりしてしまう。この場合、１つの画像を明るさが一様な複数の領域に分割した上で、各領域について固有の閾値を設定することが考えられるが、そのような手法を採ったとしても、エッジが不鮮明な細胞などは依然として取りこぼされる虞がある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−１３０２４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、上記従来技術における課題に鑑みてなされたものであり、本発明は、様々な画質（明るさのばらつきが大きい、エッジが不鮮明、ノイズが多いなど）の画像において、目的のオブジェクトを高精度で検出することができる新規な方法を提供する。
【課題を解決するための手段】
【０００８】
本発明者は、様々な画質の画像において、目的のオブジェクトを高精度で検出することができる新規な方法につき鋭意検討した結果、目的のオブジェクトの検出対象となる１つの画像に対して、予め定義されたｎ個の閾値を順番に設定してｎ回の２値化処理を実行する構成に想到し、本発明に至ったのである。
【０００９】
すなわち、本発明によれば、画像から目的のオブジェクトの領域を検出する方法であって、画像の階調値について定義されたｎ個の閾値を択一的に設定するステップと、下記（ａ）乃至（ｄ）を含む画像処理を実行するステップと、（ａ）設定された前記閾値に基づいて前記画像を２値画像に変換する処理、（ｂ）前記２値画像において連結画素領域をラベリングする処理、（ｃ）ラベリングした前記連結画素領域について所定の特徴量を算出する処理、（ｄ）算出した前記特徴量が所定の条件を満たすか否かを判定し、該所定の条件を満たさない前記連結画素領域の画素値をゼロクリアする処理、前記画像処理によって生成された前記２値画像をマージして結果画像を生成するステップとを含む方法が提供される。
【図面の簡単な説明】
【００１０】
【図１】本実施形態の画像処理装置の機能ブロック図。
【図２】本実施形態の画像処理装置が実行する処理を示すフローチャート。
【図３】本実施形態の画像処理装置が実行する処理を時系列的に示した概念図。
【図４】結果画像を使用する後続処理を示す概念図。
【図５】観察画像において目的の細胞を強調表示した画像。
【図６】窓越しに撮影された風景画像においてゴミを強調表示した画像。
【図７】明るさのばらつきが大きい観察画像。
【図８】明るさのばらつきが大きい観察画像を異なる閾値で２値化した画像。
【発明を実施するための形態】
【００１１】
以下、本発明を図面に示した実施の形態をもって説明するが、本発明は、図面に示した実施の形態に限定されるものではない。なお、以下に参照する各図においては、共通する要素について同じ符号を用い、適宜、その説明を省略するものとする。
【００１２】
図１は、本発明の実施形態である画像処理装置１００の機能ブロック図を示す。本実施形態の画像処理装置１００は、２値化処理部１０、ラベリング処理部１２、特徴量算出部１４、オブジェクト判定部１６、画像マージ部１８、閾値設定部２０、特徴量設定部２２、結果画像出力部２８および濃淡処理部３０を含んで構成され、好ましくは、さらに、画像表示部４２および画像解析部４４を含んで構成される。
【００１３】
以下、本実施形態の画像処理装置１００の上述した各機能部が実行する処理について、図２に示すフローチャートに基づいて説明する。なお、以下の説明においては、適宜、図１を参照するものとする。
【００１４】
ステップ１０１において、初期化処理が実行される。このとき、後述する処理対象用画像バッファ２４およびマージ用画像バッファ２６がゼロ初期化される。
【００１５】
続くステップ１０２において、濃淡処理部３０は、元画像について濃淡処理を実施し、元画像（カラー画像データ）を後続の２値化処理に供する濃淡画像に変換する。濃淡処理部３０は、多くの場合、元画像（カラー画像データ）を明度（Brigtnes,
Lightness, Value）の濃淡画像（いわゆるグレースケール画像）に変換する。また、濃淡処理部３０は、必要に応じて、元画像（カラー画像データ）を色相(Hue)に基づく濃淡画像に変換することもできる。自然物の画像においては、同質の領域は同じ色相を有するという経験則があるため、目的のオブジェクトが動植物や細胞などである場合には、色相(Hue)の濃淡画像を生成することに意義がある。
【００１６】
さらに、濃淡処理部３０は、元画像（カラー画像データ）を彩度(Saturation)に基づく濃淡画像に変換したり、明度、色相、彩度のうちの２以上の値を混合してなる合成値の階調の濃淡画像に変換したりすることもできる。要するに、ここでいう濃淡処理とは、元画像（カラー画像データ）の各画素に対して、２値化の対象となる階調値を定義して割り当てる処理を意味するものであり、元画像が既に濃淡画像である場合には、ステップ１０２を省略することもできる。なお、各種表色系（ＲＧＢ、ＸＹＺ、ＨＳＢ、ＨＳＶ、ＨＬＶ、Ｌ＊ａ＊ｂ＊など）で表されたカラー画像データを上述したそれぞれの濃淡画像に変換する方法は、既知の技術であるのでこれ以上の説明は省略する。
【００１７】
濃淡処理部３０によって生成された濃淡画像は、処理対象画像として処理対象用画像バッファ２４にセットされる。処理対象画像は、後述する一連の処理が終了するまでの間、処理対象用画像バッファ２４に保持される。
【００１８】
続くステップ１０３において、閾値設定部２０は、２値化処理部１０に対して２値化の閾値を設定する。閾値設定部２０は、処理対象用画像（濃淡画像）の階調値（明度、色相、彩度など）について定義されたｎ個の閾値を、その適用順（例えば、値の降順または昇順）に保持しており、その順番に従って１つの閾値を択一的に設定する。
【００１９】
本実施形態においては、以下に挙げるいずれかの方法を用いて閾値を定義することができる。最初に挙げることができる最も簡単な方法は、所定の階調範囲において連続する階調値の全てを閾値として設定する方法である。例えば、処理対象画像が256階調の濃淡画像である場合、0〜255の範囲において連続する256個の階調値の全て（あるいは、50〜200の範囲において連続する151個の階調値の全て）を閾値として定義することができる。
【００２０】
次に挙げられるのがヒストグラム％法である。ヒストグラム％法においては、予め作成した画像の累積ヒストグラムに基づいて、全画素数に対する累積画素数の百分率が特定％(このとき、百分率は、0%,10%,20%,…といったように等間隔で刻む）となるｎ個の階調値を閾値として定義する。
【００２１】
最後に挙げられるのがステップ法である。ステップ法においては、所定の階調範囲において、等間隔に閾値を設定する。例えば、処理対象画像が256階調の濃淡画像である場合、0,5,10,15,20,25,…255といったように所定の間隔をおいて連続するｎ個の階調値を閾値として定義する。
【００２２】
最初に説明した連続する階調値の全てを閾値とする方法によれば、最大の領域抽出性能を実現することができる。したがって、当該方法は、コントラストが小さく領域の境界が不鮮明な画像を高精度に処理するのに適している。一方、領域の境界が比較的明確な画像の場合には、費用対効果の観点から、ヒストグラム％法またはステップ法を用いて閾値を設定することが好ましい。
【００２３】
続くステップ１０４において、２値化処理部１０は、処理対象用画像バッファ２４に保持された処理対象画像をロード（コピー）し、処理対象画像について閾値設定部２０によって設定された閾値に基づく２値化処理を実行する。具体的には、処理対象画像の各画素の階調値と設定された閾値とを比較し、階調値が閾値よりも大きい画素に対しては画素値[１]を、階調値が閾値以下の画素に対しては画素値[０]をそれぞれ割り当てて、濃淡画像データを２値画像データに変換する。この場合は、階調値が大きい領域（階調値が明度の場合は、明るい領域）が抽出される。一方、階調値が閾値よりも小さい画素に対して画素値[１]を、階調値が閾値以上の画素に対して画素値[０]を割り当てて、濃淡画像データを２値画像データに変換することもできる。この場合は、階調値の小さい領域（階調値が明度の場合は、暗い領域）が抽出される。２値化処理部１０は、上述したいずれかの方法で濃淡画像データを２値画像データに変換する。
【００２４】
続くステップ１０５において、ラベリング処理部１２は、２値化処理部１０が出力した２値画像データ４０に対してラベリング処理を実行する。具体的には、２値画像データ４０の画素値[１]の画素について、注目画素の４近傍または８近傍に隣接する画素を連結して連結画素領域を定義し、当該連結画素領域を構成する全ての画素を共通のＩＤでラベリングする。なお、２値画像のラベリング処理は既知の技術であるので、これ以上の説明は省略する。
【００２５】
続くステップ１０６において、特徴量算出部１４は、ラベリングされた全ての連結画素領域について、特徴量設定部２２によって設定された所定の特徴量を算出する。特徴量設定部２２は、予め定義された特徴量および各特徴量の判定条件を保持しており、特徴量算出部１４および後述するオブジェクト判定部１６に対して、それぞれ、特徴量および判定条件を設定する。ここで、特徴量とは、目的のオブジェクトであるか否かを判定するために用いる指標であり、目的のオブジェクトの形態上の特徴を数値化したパラメータである。
【００２６】
本実施形態においては、特徴量として、画素数（面積）、Ｘ座標の合計、Ｙ座標の合計、（Ｘ+Ｙ）の最大値−最小値（４５°方向から見た巾）、（Ｘ−Ｙ）の最大値−最小値（１３５°方向から見た巾）などを一次特徴量とし、当該一次特徴量から算出される平均画素値、重心、輪郭長、円形度、扁平率などを二次特徴量として定義するなど、画像認識技術における既知の手法を用いて適切な特徴量を定義することができる。特徴量算出部１４は、算出結果をオブジェクト判定部１６に通知する。
【００２７】
続くステップ１０７において、オブジェクト判定部１６は、特徴量算出部１４から通知された算出結果と特徴量設定部２２によって設定された判定条件とを照合し、条件を満たさない連結画素領域の画素値をゼロクリアする（すなわち、判定条件を満たさない連結画素領域を構成する全ての画素の画素値を[１]から[０]に変更する）。
【００２８】
続くステップ１０８において、画像マージ部１８は、ゼロクリア処理を経た２値画像データ４０と、マージ用画像バッファ２６に保存された２値画像データ（以下、バッファ２値画像データという）をマージする。具体的には、ゼロクリア処理を経た２値画像データの各画素のビットと、これに対応するバッファ２値画像データの各画素のビットとの間でビット論理和演算を実行する。なお、１番目の閾値について生成された２値画像データ４０の場合は、マージ用画像バッファ２６がゼロ初期化されているので、実質的には、２値画像データ４０がそのままマージ用画像バッファ２６に保存される。マージ用画像バッファ２６へのマージ処理が終了すると、画像マージ部１８は、その旨を閾値設定部２０に通知する。
【００２９】
続くステップ１０９において、閾値設定部２０は、保持されたｎ個の閾値の全てを２値化処理部１０に設定したか否か（すなわち、全ての閾値について処理を行ったか否か）を判断する。具体的には、例えば、２値化処理部１０に閾値を設定するたびにインクリメントされる閾値カウンタを閾値設定部２０に設けておき、閾値カウンタの値kがｎに達した否かを判断する。
【００３０】
１番目の閾値について生成された２値画像データ４０がマージ用画像バッファ２６にマージ（保存）された時点では、閾値カウンタの値k=1なので（ステップ１０９、Ｎｏ）、ステップ１１０に進み、閾値カウンタkの値をインクリメントした後に、ステップ１０３に戻る。ステップ１０３においては、閾値設定部２０がｋ番目（この場合、２番目）の閾値を２値化処理部１０に設定する。
【００３１】
続くステップ１０４において、２値化処理部１０は、再び、処理対象用画像バッファ２４に保持された処理対象画像をロード（コピー）して２番目の閾値に基づいて２値化処理を実行し、その後、ラベリング処理部１２、特徴量算出部１４、オブジェクト判定部１６および画像マージ部１８が上述したステップ１０５〜ステップ１０８を実行し、ステップ１０９（ｋ＝２、Ｎｏ）、ステップ１１０（閾値カウンタkのインクリメント）を経て、ステップ１０３に戻る。上述した一連の処理（ステップ１０３〜ステップ１１０）は、閾値設定部２０に保持されたｎ個の閾値の全てについて処理が終了するまで（ｋ＝ｎになるまで）繰り返される。その後、閾値設定部２０は、保持されたｎ個の閾値の全てを２値化処理部１０に設定した（すなわち、全ての閾値について処理を行った）と判断すると（ステップ１０９、Ｙｅｓ）、結果画像出力部２８にその旨を通知する。
【００３２】
ステップ１１１において、結果画像出力部２８は、閾値設定部２０からの通知に応答して、マージ用画像バッファ２６に保存された２値画像データ（すなわち、ｎ回分の生成２値画像データがマージされてなる２値画像データ）を結果画像として画像記憶領域３４に格納して処理を終了する。
【００３３】
以上、図１および図２に基づいて本実施形態の画像処理装置１００が実行する処理について説明してきたが、次に、画像処理装置１００が実行する処理を具体例に基づいて説明する。図３は、ステップ法によって定義された６個の閾値（ｎ＝６）を用い、２つの特徴量（円形度および面積）を用いて、明度の濃淡画像である処理対象画像５０から目的のオブジェクトを検出する処理を時系列的に示した概念図である。
【００３４】
まず、明度・形状・大きさが異なる複数のオブジェクトが混在する処理対象画像５０が処理対象用画像バッファ２４からロードされ、処理対象画像５０について、１番目の閾値（明度＝９０）で２値化処理が実行された後、ラベリング処理が実行される。その結果、２値画像５１（１）において３つの領域（ａ,ｂ,ｃ）がラベリングされる。続いて、各領域について特徴量（円形度・面積）を計算した後、所定の特徴量条件を満たさない全ての画素の値を[０]に変換する。その結果、円形でない領域（ａ,ｂ）ならびに円形であるが面積が小さい領域（ｃ）がゼロクリアされ、２値画像５１（１）は、２値画像５１（２）に変換される。最後に、２値画像５１（２）と、ゼロ初期化されたマージ用画像バッファ２６のバッファデータ６０（０）との論理和演算が実施される。その結果、バッファデータ６０（０）はバッファデータ６０（１）に更新される（実体として全画素の値は[０]のまま変化しない）。
【００３５】
再び、処理対象画像５０がロードされ、２番目の閾値（明度＝１１０）で２値化処理が実行された後、ラベリング処理が実行される。その結果、２値画像５２（１）において２つの領域（ｄ,ｅ）がラベリングされる。続いて、各領域について特徴量（円形度・面積）を計算した後、所定の特徴量条件を満たさない全ての画素の値を[０]に変換する。その結果、円形でない領域（ｅ）がゼロクリアされ、２値画像５２（１）は、２値画像５２（２）に変換される。最後に、２値画像５２（２）と、マージ用画像バッファ２６に保存されたバッファデータ６０（１）との論理和演算が実施される。その結果、バッファデータ６０（１）は、領域（ｄ）に対応する画素の値が[１]に変換されたバッファデータ６０（２）に更新される。
【００３６】
再び、処理対象用画像バッファ２４からロードされた処理対象画像５０について、３番目の閾値（明度＝１３０）で２値化処理が実行された後、ラベリング処理が実行される。その結果、２値画像５３（１）において３つの領域（ｆ,ｇ,ｈ）がラベリングされる。続いて、各領域について特徴量（円形度・面積）を計算した後、所定の特徴量条件を満たさない全ての画素の値を[０]に変換する。その結果、円形でない領域（ｆ）ならびに円形であるが面積が小さい領域（ｇ）がゼロクリアされ、２値画像５３（１）は、２値画像５３（２）に変換される。最後に、２値画像５３（２）と、マージ用画像バッファ２６に保存されたバッファデータ６０（２）との論理和演算が実施される。その結果、バッファデータ６０（２）は、領域（ｄ）および領域（ｈ）に対応する画素の値が[１]に変換されたバッファデータ６０（３）に更新される。このとき、領域（ｄ）と領域（ｈ）は、階層性の法則により必ず完全な包含関係となる。
【００３７】
再び、処理対象用画像バッファ２４からロードされた処理対象画像５０について、４番目の閾値（明度＝１５０）を適用した２値化処理／ラベリング処理／特徴量判定／論理和演算がそれぞれ実施される結果、バッファデータ６０（３）は、領域（ｊ）に対応する画素の値が[１]に変換されたバッファデータ６０（４）に更新される。
【００３８】
再び、処理対象用画像バッファ２４からロードされた処理対象画像５０について、５番目の閾値（明度＝１７０）を適用した２値化処理／ラベリング処理／特徴量判定／論理和演算がそれぞれ実施される結果、バッファデータ６０（４）は、領域（ｊ）および領域（ｍ）に対応する画素の値が[１]に変換されたバッファデータ６０（５）に更新される。ここで、領域（ｊ）と領域（ｍ）は、同じく階層性の法則により完全な包含関係となる。
【００３９】
最後に、処理対象用画像バッファ２４からロードされた処理対象画像５０について、６番目の閾値（明度＝１９０）を適用した２値化処理／ラベリング処理／特徴量判定／論理和演算がそれぞれ実施される結果、バッファデータ６０（５）は、バッファデータ６０（６）に更新され（実体的に全画素の値は変化しない）、この時点でマージ用画像バッファ２６に保存されるバッファデータ６０（６）が結果画像７０として定義される。図３に示す結果画像７０においては、処理対象画像５０に含まれていた複数のオブジェクトの中から所定の大きさを持つ２つの円形オブジェクトＸおよびＹが検出されていることが理解されるであろう。
【００４０】
なお、上述した実施形態においては、マージ用画像バッファ２６を１つだけ用意し、生成２値画像データが生成される度に、当該生成２値画像データをマージ用画像バッファ２６上のバッファ２値画像データに逐次マージする例を挙げて説明してきたが、メモリ領域が十分に用意されている場合には、ｎ個の閾値に対してｎ個のマージ用画像バッファを設け、各閾値に基づく結果（生成２値画像データ）を各閾値に固有のマージ用画像バッファに保存することもできる。この場合、画像マージ部１８は、ｎ個のマージ用画像バッファに保存されたｎ個の生成２値画像データの全てを最後に一括してマージすることができ、または、ｎ個のマージ用画像バッファを走査して連結画素領域が記録された生成２値画像データのみを選出してマージすることができ、さらには、連結画素領域が記録された生成２値画像データの中からさらに選出した一部の生成２値画像データのみをマージすることもできる。
【００４１】
以上説明したように、本発明の方法は、外乱に対して高いロバスト性を示し、様々な画質（明るさのばらつきが大きい、エッジが不鮮明、ノイズが多いなど）の画像について、目的のオブジェクトを常に高精度で検出することを可能にする。さらに、本発明の方法によれば、従来必須であった各種の前処理（ノイズ除去、明るさの正規化、平滑化処理など）が不要になり、２値化の閾値を決定するためのノウハウや閾値調整の手間も不要になるため、ユーザの負担が大幅に軽減される。
【００４２】
なお、本発明は、元画像に対して前処理を行うことを排除するものではなく、元画像に対して既知の前処理を施したものを処理対象画像としてもなんら差し支えない。例えば、元画像に対して、画像の明るさの偏りを補正する前処理、画像のノイズを低減する前処理、画像のエッジを強調する前処理などを施すことができる。
【００４３】
再び、図１に戻って説明を続ける。上述した手順で画像記憶領域３４に保存された結果画像は、後続する種々の処理に供され、使用される。以下、この点につき、図４を参照しながら、順を追って説明する。
【００４４】
画像表示部４２は、元画像上で目的のオブジェクトを強調表示するための編集処理を実行する。具体的には、画像表示部４２は、結果画像に基づいて透過レイヤーを形成し、元画像の上位に重畳し、その結果を表示装置１０２に出力する。
【００４５】
図５は、図７に示した細胞の観察画像（元画像）について本発明の画像処理を行った後、結果画像に基づいて形成した透過レイヤー（結果画像を構成する画素のうち、値１の画素を黄色、値０の画素を透過色としたレイヤー）を元画像の上位に重畳した画像を示す。図５を参照すれば、元画像の明るさの偏りが大きかったにもかかわらず、目的の細胞（目的のオブジェクト）が画面全体にわたって高精度に検出されていることが理解されるであろう。
【００４６】
本実施形態の画像処理装置１００は、図５に例示した使用態様を発展させることによって、病理画像診断支援システムに適用することができる。例えば、癌の種類（例えば、子宮頚部の扁平上皮癌、子宮頚部の腺癌、子宮内膜の扁平上皮癌、子宮内膜の腺癌など）毎に特徴量を設定した上で、患者の病理画像について本発明の上述した処理を実行し、その結果画像を病理画像に重層して強調表示すれば、経験の多寡に拘わらず、誰もが目的のがん細胞（目的のオブジェクト）を確実に視認することができるであろう。
【００４７】
なお、本発明においては、細胞の観察画像（元画像）について、複数種類の細胞について定義された異なる特徴量条件で複数の結果画像を生成し、これらを色違いの透過レイヤーとして形成した後に元画像に重畳することもできる。この場合、各細胞が異なる色で強調表示される。
【００４８】
一方、画像解析部４４は、結果画像について解析を行い、目的に応じた結果を出力しあるいは保存する。例えば、画像解析部４４は、結果画像上の連結画素領域（画素値１の領域、以下、オブジェクト領域として参照する）について、所定の特徴量を算出する。ここでいう特徴量は、先に説明した特徴量算出部１４に設定される特徴量と同じ種類のものであってもよく、異なる種類のものであってもよい。
【００４９】
画像解析部４４は、結果画像について算出した特徴量を使用してオブジェクト領域を再評価することができる。以下、所定の細胞をターゲットとする場合を例にとって再評価の必要性について説明する。先に説明した特徴量算出部１４に特徴量として細胞の大きさ（面積：ピクセル数）を設定する場合、そのオブジェクト判定部１６には、100ピクセル〜2000ピクセルといった具合に、相当程度広い範囲を大きさの判定条件として設定する必要がある。なぜなら、形の整った細胞を基準にして判定条件を狭く設定しすぎると、歪んだり大きくのびきったりした細胞を取りこぼしてしまう虞があるからである。一方で、判定条件を広めに設定すると、１つの細胞がちぎれて分離したものが２つのオブジェクト領域として検出されたり、２〜３個の細胞が密着したものが１つのオブジェクト領域として検出されたりすることになる。
【００５０】
このようなケースにつき、画像解析部４４は、結果画像について、再度、所定の特徴量を算出し、その結果を使用して、適宜、オブジェクト領域を統合したり、分割したりすることができる。具体的には、まず、結果画像において円形度が細胞の理想条件を満たすオブジェクト領域を抽出し、その面積の平均値Ｚを求める。次に、その面積が平均値Ｚの半分以下であるオブジェクト領域について、近接する領域同士を統合する。その結果、分離した２つの細胞片を１つの細胞として再評価することができる。一方、その面積が平均値Ｚの２倍を超えるオブジェクト領域については、これを適切な規則に従って分割する。その結果、細胞が密着してなる固まりをｎ個の細胞として再評価することができる。画像解析部４４は、統合または分割を経て再編成されたオブジェクト領域を反映させるように、画像記憶領域３４に保存された結果画像を更新する。この場合、画像表示部４２は、更新された（再評価された）結果画像に基づいて表示画像を生成し、表示装置１０２に出力する。
【００５１】
さらに、画像解析部４４は、結果画像（再評価された結果画像を含む、以下、同様）のオブジェクト領域について算出された特徴量について所定の統計処理を実行することができる。例えば、画像解析部４４は、各特徴量の統計量として、度数分布、平均、分散、最大、最小、モード、メディアン、特徴量間の相関などを計算することができる。
【００５２】
さらに、画像解析部４４は、結果画像のオブジェクト領域について領域間の関係を分析することができる。例えば、画像解析部４４は、オブジェクト領域の単位面積当たりの密度、最も近接するオブジェクト領域間の距離、異なる特徴量に基づいて検出されたオブジェクト領域間の包含関係などを分析することができる。
【００５３】
画像解析部４４は、上述した統計量またはオブジェクト領域間の関係の少なくとも一方に基づいて所定のレポートを作成したり、所定の判定処理を行ったりして、その結果を表示装置１０２に出力したり、データベース４６に保存したりする。この点につき、本発明は、細胞の培養容器の様子を撮像した動画データ（元画像）から時々刻々と生成される結果画像の解析結果として細胞の密度を取得し、これに基づいて細胞の時系列的な増殖に関するレポートを作成するといった細胞培養システムへの適用や、病理画像（元画像）から生成される結果画像の解析結果としてがん細胞の各種統計量を取得し、これを所定のアルゴリズムに照らしてがんの進行度を判定するといった病理画像診断支援システムへの適用が想定されるであろう。
【００５４】
以上、本実施形態の画像処理装置１００について、主に、細胞を目的のオブジェクトとする例をもって説明してきたが、本発明は、本質的に所望のデジタル画像について目的のオブジェクトが表示されている領域を検出する方法および装置を提供するものであり、本発明は、その用途（目的のオブジェクト）に限定されるものではない。
【００５５】
本実施形態の画像処理装置１００の他の適用例としては、製品の微細なキズやゴミを検出する外観検査を挙げることができる。図６（ａ）は、窓越しに撮影された風景画像を示す。図６（ａ）に示した画像について本発明の方法で画像処理を行った後、元画像の上位に結果画像から形成される透過レイヤー（結果画像を構成する画素のうち、値１の画素を赤色、値０の画素を透過色としたレイヤー）を重畳した画像を図６（ｂ）に示す。図６（ｂ）を参照すれば、窓についたゴミ（汚れ）が高精度に検出されていることが理解されるであろう。
【００５６】
以上、本発明について実施形態をもって説明してきたが、本発明は上述した実施形態に限定されるものではなく、その他、当業者が推考しうる実施態様の範囲内において、本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
【００５７】
上述した実施形態の各機能は、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）などのオブジェクト指向プログラミング言語などで記述された装置実行可能なプログラムにより実現でき、本実施形態のプログラムは、ハードディスク装置、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、フレキシブルディスク、ＥＥＰＲＯＭ、ＥＰＲＯＭなどの装置可読な記録媒体に格納して頒布することができ、また他装置が可能な形式でネットワークを介して伝送することができる。
【符号の説明】
【００５８】
１０…２値化処理部
１２…ラベリング処理部
１４…特徴量算出部
１６…オブジェクト判定部
１８…画像マージ部
２０…閾値設定部
２２…特徴量設定部
２４…処理対象用画像バッファ
２６…マージ用画像バッファ
２８…結果画像出力部
３０…濃淡処理部
３４…画像記憶領域
４０…２値画像データ
４２…画像表示部
４４…画像解析部
４６…データベース
５０…処理対象画像
５１〜５６…２値画像
６０…バッファデータ
７０…結果画像
１００…画像処理装置
１０２…表示装置
【特許請求の範囲】
【請求項１】
画像から目的のオブジェクトの領域を検出する方法であって、
画像の階調値について定義されたｎ個の閾値を択一的に設定するステップと、
下記（ａ）乃至（ｄ）を含む画像処理を実行するステップと、
（ａ）設定された前記閾値に基づいて前記画像を２値画像に変換する処理
（ｂ）前記２値画像において連結画素領域をラベリングする処理
（ｃ）ラベリングした前記連結画素領域について所定の特徴量を算出する処理
（ｄ）算出した前記特徴量が所定の条件を満たすか否かを判定し、該所定の条件を満たさない前記連結画素領域の画素値をゼロクリアする処理
前記画像処理によって生成された前記２値画像をマージして結果画像を生成するステップと
を含む方法。
【請求項２】
前記ｎ個の閾値を択一的に設定するステップは、前記ｎ個の閾値を昇順または降順で設定するステップである、請求項１に記載の方法。
【請求項３】
前記結果画像を生成するステップは、各前記画像処理によって生成される前記２値画像を所定の画像バッファ上で逐次マージするステップである、請求項２に記載の方法。
【請求項４】
前記階調値は、明度、色相、彩度、またはこれらの２以上の値を混合してなる合成値から選択される値である、請求項１〜３のいずれか一項に記載の方法。
【請求項５】
前記結果画像の連結画素領域について所定の特徴量を算出するステップをさらに含む、請求項１〜４のいずれか一項に記載の方法。
【請求項６】
前記結果画像の連結画素領域について算出された前記特徴量を使用して該連結画素領域を再評価するステップをさらに含む、請求項５に記載の方法。
【請求項７】
前記結果画像の連結画素領域について算出された前記特徴量について所定の統計量を計算するステップをさらに含む、請求項５に記載の方法。
【請求項８】
前記結果画像の連結画素領域について領域間の関係を分析するステップをさらに含む、請求項７に記載の方法。
【請求項９】
前記統計量の計算結果または前記領域間の関係の分析結果の少なくとも一方に基づいて所定のレポートを作成するステップをさらに含む、請求項８に記載の方法。
【請求項１０】
前記統計量の計算結果または前記領域間の関係の分析結果の少なくとも一方に基づいて所定の判定処理を実行するステップをさらに含む、請求項８に記載の方法。
【請求項１１】
前記画像は、所定の前処理を経た画像である、請求項１〜１０に記載の方法。
【請求項１２】
画像から目的のオブジェクトの領域を検出する画像処理装置であって、
画像の階調値について定義されたｎ個の閾値を択一的に設定する閾値設定部と、
前記閾値設定部によって設定された前記閾値に基づいて前記画像を２値画像に変換する２値化処理部と、
前記２値画像において連結画素領域をラベリングするラベリング処理部と、
前記連結画素領域について所定の特徴量を算出する特徴量算出部と、
算出した前記特徴量が所定の条件を満たすか否かを判定し、該所定の条件を満たさない前記連結画素領域の画素値をゼロクリア処理するオブジェクト判定部と、
ゼロクリア処理を経た前記２値画像をマージして結果画像を生成する画像マージ部と
を含む画像処理装置。
【請求項１３】
前記閾値設定部は、前記ｎ個の閾値を昇順または降順で設定する、請求項１２に記載の画像処理装置。
【請求項１４】
前記画像マージ部は、ゼロクリア処理を経た各前記２値画像を所定の画像バッファ上で逐次マージする、請求項１３に記載の画像処理装置。
【請求項１５】
前記階調値は、明度、色相、彩度、またはこれらの２以上の値を混合してなる合成値から選択される値である、請求項１２〜１４のいずれか一項に記載の画像処理装置。
【請求項１６】
前記目的のオブジェクトが細胞である、請求項１２〜１５のいずれか一項に記載の画像処理装置。
【請求項１７】
請求項１６に記載の画像処理装置が生成する前記結果画像を使用して病理画像データを分析する病理画像診断支援システム。
【請求項１８】
コンピュータに画像から目的のオブジェクトの領域を検出させる方法であって、コンピュータに
画像の階調値について定義されたｎ個の閾値を択一的に設定するための機能手段と、
前記閾値設定部によって設定された前記閾値に基づいて前記画像を２値画像に変換するための機能手段と、
前記２値画像において連結画素領域をラベリングするための機能手段と、
前記連結画素領域について所定の特徴量を算出するための機能手段と、
算出した前記特徴量が所定の条件を満たすか否かを判定し、該所定の条件を満たさない前記連結画素領域の画素値をゼロクリア処理するための機能手段と、
ゼロクリア処理を経た前記２値画像をマージして結果画像を生成するための機能手段と、
を実現する方法。
【請求項１９】
コンピュータに請求項１８に記載の各機能手段を実現するためのコンピュータ実行可能なプログラム。
【請求項１】
画像から目的のオブジェクトの領域を検出する方法であって、
画像の階調値について定義されたｎ個の閾値を択一的に設定するステップと、
下記（ａ）乃至（ｄ）を含む画像処理を実行するステップと、
（ａ）設定された前記閾値に基づいて前記画像を２値画像に変換する処理
（ｂ）前記２値画像において連結画素領域をラベリングする処理
（ｃ）ラベリングした前記連結画素領域について所定の特徴量を算出する処理
（ｄ）算出した前記特徴量が所定の条件を満たすか否かを判定し、該所定の条件を満たさない前記連結画素領域の画素値をゼロクリアする処理
前記画像処理によって生成された前記２値画像をマージして結果画像を生成するステップと
を含む方法。
【請求項２】
前記ｎ個の閾値を択一的に設定するステップは、前記ｎ個の閾値を昇順または降順で設定するステップである、請求項１に記載の方法。
【請求項３】
前記結果画像を生成するステップは、各前記画像処理によって生成される前記２値画像を所定の画像バッファ上で逐次マージするステップである、請求項２に記載の方法。
【請求項４】
前記階調値は、明度、色相、彩度、またはこれらの２以上の値を混合してなる合成値から選択される値である、請求項１〜３のいずれか一項に記載の方法。
【請求項５】
前記結果画像の連結画素領域について所定の特徴量を算出するステップをさらに含む、請求項１〜４のいずれか一項に記載の方法。
【請求項６】
前記結果画像の連結画素領域について算出された前記特徴量を使用して該連結画素領域を再評価するステップをさらに含む、請求項５に記載の方法。
【請求項７】
前記結果画像の連結画素領域について算出された前記特徴量について所定の統計量を計算するステップをさらに含む、請求項５に記載の方法。
【請求項８】
前記結果画像の連結画素領域について領域間の関係を分析するステップをさらに含む、請求項７に記載の方法。
【請求項９】
前記統計量の計算結果または前記領域間の関係の分析結果の少なくとも一方に基づいて所定のレポートを作成するステップをさらに含む、請求項８に記載の方法。
【請求項１０】
前記統計量の計算結果または前記領域間の関係の分析結果の少なくとも一方に基づいて所定の判定処理を実行するステップをさらに含む、請求項８に記載の方法。
【請求項１１】
前記画像は、所定の前処理を経た画像である、請求項１〜１０に記載の方法。
【請求項１２】
画像から目的のオブジェクトの領域を検出する画像処理装置であって、
画像の階調値について定義されたｎ個の閾値を択一的に設定する閾値設定部と、
前記閾値設定部によって設定された前記閾値に基づいて前記画像を２値画像に変換する２値化処理部と、
前記２値画像において連結画素領域をラベリングするラベリング処理部と、
前記連結画素領域について所定の特徴量を算出する特徴量算出部と、
算出した前記特徴量が所定の条件を満たすか否かを判定し、該所定の条件を満たさない前記連結画素領域の画素値をゼロクリア処理するオブジェクト判定部と、
ゼロクリア処理を経た前記２値画像をマージして結果画像を生成する画像マージ部と
を含む画像処理装置。
【請求項１３】
前記閾値設定部は、前記ｎ個の閾値を昇順または降順で設定する、請求項１２に記載の画像処理装置。
【請求項１４】
前記画像マージ部は、ゼロクリア処理を経た各前記２値画像を所定の画像バッファ上で逐次マージする、請求項１３に記載の画像処理装置。
【請求項１５】
前記階調値は、明度、色相、彩度、またはこれらの２以上の値を混合してなる合成値から選択される値である、請求項１２〜１４のいずれか一項に記載の画像処理装置。
【請求項１６】
前記目的のオブジェクトが細胞である、請求項１２〜１５のいずれか一項に記載の画像処理装置。
【請求項１７】
請求項１６に記載の画像処理装置が生成する前記結果画像を使用して病理画像データを分析する病理画像診断支援システム。
【請求項１８】
コンピュータに画像から目的のオブジェクトの領域を検出させる方法であって、コンピュータに
画像の階調値について定義されたｎ個の閾値を択一的に設定するための機能手段と、
前記閾値設定部によって設定された前記閾値に基づいて前記画像を２値画像に変換するための機能手段と、
前記２値画像において連結画素領域をラベリングするための機能手段と、
前記連結画素領域について所定の特徴量を算出するための機能手段と、
算出した前記特徴量が所定の条件を満たすか否かを判定し、該所定の条件を満たさない前記連結画素領域の画素値をゼロクリア処理するための機能手段と、
ゼロクリア処理を経た前記２値画像をマージして結果画像を生成するための機能手段と、
を実現する方法。
【請求項１９】
コンピュータに請求項１８に記載の各機能手段を実現するためのコンピュータ実行可能なプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１３−１０５２４５（Ｐ２０１３−１０５２４５Ａ）
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願番号】特願２０１１−２４７３７５（Ｐ２０１１−２４７３７５）
【出願日】平成２３年１１月１１日（２０１１．１１．１１）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２３年度、独立行政法人科学技術振興機構、研究成果展開事業（戦略的イノベーション創出推進プログラム）「網膜細胞移植医療に用いるヒトｉＰＳ細胞から移植細胞への分化誘導に係わる工程および品質管理技術の開発」に係る委託研究、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（３９１０２２６１４）学校法人幾徳学園 (19)
【Ｆターム（参考）】
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願日】平成２３年１１月１１日（２０１１．１１．１１）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２３年度、独立行政法人科学技術振興機構、研究成果展開事業（戦略的イノベーション創出推進プログラム）「網膜細胞移植医療に用いるヒトｉＰＳ細胞から移植細胞への分化誘導に係わる工程および品質管理技術の開発」に係る委託研究、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（３９１０２２６１４）学校法人幾徳学園 (19)
【Ｆターム（参考）】
[ Back to top ]