細胞輪郭抽出装置、細胞輪郭抽出方法およびプログラム
【課題】 細胞の染色画像から細胞の輪郭を抽出できる細胞輪郭抽出装置を提供する。
【解決手段】 細胞輪郭抽出装置１０は、顕微鏡によって撮影された細胞の染色画像を取得する画像取得部１２と、染色画像から細胞核の領域を検出する細胞核輪郭抽出部２０と、染色画像の各画素について隣接画素との濃度勾配およびエッジを検出するエッジ検出部３２と、細胞核の周りを一周する最適経路を、濃度勾配をパラメータとする動的計画法によって求め、最適経路を細胞の輪郭として抽出する細胞輪郭抽出部３０とを備え、細胞輪郭抽出部は、細胞核の領域内にある所定点から異なる方向に向かって並ぶ２つの画素配列にそれぞれ含まれる画素群をつなぐ部分最適経路を計算する処理を、画素配列の方向が所定点の周りで一周するまで画素配列の方向を変えて繰り返し行い、部分最適経路に基づいて最適経路を求める。
【解決手段】 細胞輪郭抽出装置１０は、顕微鏡によって撮影された細胞の染色画像を取得する画像取得部１２と、染色画像から細胞核の領域を検出する細胞核輪郭抽出部２０と、染色画像の各画素について隣接画素との濃度勾配およびエッジを検出するエッジ検出部３２と、細胞核の周りを一周する最適経路を、濃度勾配をパラメータとする動的計画法によって求め、最適経路を細胞の輪郭として抽出する細胞輪郭抽出部３０とを備え、細胞輪郭抽出部は、細胞核の領域内にある所定点から異なる方向に向かって並ぶ２つの画素配列にそれぞれ含まれる画素群をつなぐ部分最適経路を計算する処理を、画素配列の方向が所定点の周りで一周するまで画素配列の方向を変えて繰り返し行い、部分最適経路に基づいて最適経路を求める。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像中に含まれる対象物の輪郭を抽出する技術に関し、特に、細胞の染色画像から細胞の輪郭を抽出する技術に関する。
【背景技術】
【０００２】
現在、細胞の染色画像は、病理学的診断に利用されており、画像データから細胞形態を抽出するソフトウェアが求められている。
【０００３】
対象物の認識等のための画像処理技術として、従来から、輪郭を抽出する技術が知られている。輪郭抽出の手法の一つとして、動的計画法がある。動的計画法は、初期値として与えられた輪郭モデルの周辺の所定範囲の画像データを評価関数によって順次評価し、輪郭モデルを徐々に最適解（輪郭）に収束させる手法である。
【０００４】
特許文献１は、動的計画法を利用した画像処理によって輪郭を抽出する発明を開示している。特許文献１では、評価関数のローカルミニマムが最適解として誤って判断されてしまうという課題を解決するため、動的計画法を適用する前に、ぼかしの程度を変更可能なガウシアンフィルタによって画像を処理する。大きくぼかした画像によって評価関数がローカルミニマムの最適解に収束しないようにし、順次、ぼかしの程度を小さくして最適解を求める。特許文献１では、ナメクジの輪郭抽出、心臓の超音波画像からの心臓画像の抽出に適用した実施例を挙げ、上記輪郭抽出技術によって適切に輪郭を抽出できることを示している。
【特許文献１】特開平５−２４２２４７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載された発明を、細胞輪郭の抽出に適用することはできなかった。
【０００６】
細胞の染色画像では、画像内の全細胞が均一に染まっているとは限らない。細胞輪郭の染色強度には強弱があり、また細胞核や細胞質内の染色強度も一定ではないため、細胞の輪郭とその他の部分との区別がつきにくい。つまり、細胞の染色画像は、特許文献１で例示された画像よりノイズが大きい。このため、上記のような従来の方法では細胞輪郭を抽出することはできなかった。
【０００７】
また、細胞の染色画像は、染色の状態によっては、細胞の輪郭が部分的に切れたように撮像される場合がある。細胞画像では細胞間に輪郭があるので、背景画像の中から対象物の輪郭を検出する場合と異なり、切れた部分の輪郭を抽出することはできない。しかし、このような画像からも、真の細胞輪郭に近い輪郭を自動的に抽出することが望まれている。
【０００８】
本発明は、上記背景に鑑み、細胞の染色画像から細胞の輪郭を抽出できる細胞輪郭抽出装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の細胞輪郭抽出装置は、顕微鏡によって撮影された細胞の染色画像を取得する画像取得部と、前記染色画像から細胞核の領域を検出する細胞核検出部と、前記染色画像の各画素について隣接画素との濃度勾配を求める濃度勾配算出部と、前記細胞核の周りを一周する最適経路を、前記濃度勾配をパラメータとする動的計画法によって求め、前記最適経路を細胞の輪郭として抽出する細胞輪郭抽出部とを備え、前記細胞輪郭抽出部は、前記細胞核の領域内にある所定点から異なる方向に向かって並ぶ２つの画素配列にそれぞれ含まれる画素群をつなぐ部分最適経路を計算する処理を、前記画素配列の方向が前記所定点の周りで一周するまで前記画素配列の方向を変えて繰り返し行い、前記部分最適経路に基づいて前記最適経路を求める。
【００１０】
このように細胞の中に細胞核が存在するという特徴を利用した計算処理、すなわち、細胞核の領域内にある所定点から異なる方向に向かって並ぶ２つの画素配列にそれぞれ含まれる画素群をつなぐ部分最適経路を計算する処理を繰り返し行う動的計画法によって、細胞輪郭を適切に抽出することができる。
【００１１】
上記細胞輪郭抽出装置において、前記細胞輪郭抽出部は、前記部分最適経路に基づいて前記最適経路の候補となる複数の候補経路を求め、前記候補経路の中から、前記部分最適経路の計算を開始した画素配列において候補経路が通る画素の前記所定点からの離れ距離と、計算を終了した画素配列において候補経路が通る画素の前記所定点からの離れ距離との差が、所定の閾値以下となる候補経路を前記最適経路として決定してもよい。
【００１２】
このように細胞の輪郭が閉じていることを条件として用いて、計算の始点と終点における部分最適経路のずれが所定の閾値以下になる経路を求めることにより、適切な最適経路を求めることができる。
【００１３】
上記細胞輪郭抽出装置において、前記細胞輪郭抽出部は、異なる画素配列にそれぞれ含まれる計算対象の画素の前記所定点からの離れ距離の差に基づいてギャップペナルティを算出し、前記ギャップペナルティと前記濃度勾配とに基づいて前記部分最適経路を求めてもよい。
【００１４】
このように計算対象の２つの画素の所定点からの離れ距離の差に基づいてギャップペナルティを算出することにより、２つの画素が離れている場合には、強いギャップペナルティを設定し、離れた画素を結ぶ経路が部分最適経路として選択されにくくすることができる。これにより、連続性の高い経路を部分最適経路として選択することができる。なお、特許文献１に記載されたような従来の動的計画法では、計算対象の画素に隣接する８つの画素の中から部分最適経路を選択していたので、隣接する画素によって最適経路が構成されていた。本発明では、画素配列が隣接していれば、画素が隣接していなくても部分最適経路として選ばれることを可能にしているので、隣接していない画素によって構成される最適経路も求めることができる。なお、細胞核内の所定点としては、細胞核の重心または中心を用いることが望ましい。
【００１５】
上記細胞輪郭抽出装置は、前記濃度勾配に基づいて、前記染色画像内にある複数のエッジを抽出し、それぞれのエッジを構成する画素にエッジ識別子を付与するエッジ検出部を備え、前記細胞輪郭抽出部は、異なる画素配列にそれぞれ含まれる計算対象の画素の前記所定点からの離れ距離の差と前記エッジ識別子の異同に基づいて前記ギャップペナルティを算出してもよい。
【００１６】
このようにあらかじめ求めた複数のエッジのエッジ識別子の異同をギャップペナルティとして用いることにより、エッジ検出部によるエッジの検出結果を動的計画法に反映して最適経路を適切に求めることができる。エッジ検出部によるエッジ検出には、公知の方法を含め、様々な方法を採用することが可能である。
【００１７】
上記細胞輪郭抽出装置において、前記細胞輪郭抽出部は、前記細胞核検出部にて検出された細胞核の領域を前記最適経路の探索領域から除外してもよい。
【００１８】
これにより、細胞輪郭抽出部による計算処理量を低減できる。また、細胞核領域を通る経路を細胞輪郭として誤検出することを防止できる。
【００１９】
上記細胞輪郭抽出装置は、前記細胞輪郭抽出部にて抽出された輪郭を前記細胞の画像上に表示する表示部と、前記表示部にて表示された画像において指示された点の位置情報を受け付ける入力部とを備え、前記細胞輪郭抽出部は、指示された点を通る最適経路を求めてもよい。
【００２０】
このように画像上で指示された点を通る最適経路を求めることにより、いったん求めた細胞輪郭を修正することができる。
【００２１】
本発明の別の態様に係る輪郭抽出装置は、画像を取得する画像取得部と、前記画像の各画素について隣接画素との濃度勾配を求める濃度勾配算出部と、前記濃度勾配に基づいて、前記画像内にある複数のエッジを抽出し、それぞれのエッジを構成する画素にエッジ識別子を付与するエッジ検出部と、前記画像中に含まれる対象物の輪郭を、前記濃度勾配をパラメータとする動的計画法による最適経路探索によって計算する輪郭抽出部とを備え、前記輪郭抽出部は、前記エッジ識別子の異同に基づいてギャップペナルティを算出し、前記ギャップペナルティと前記濃度勾配とに基づいて最適経路を求める。
【００２２】
このようにあらかじめ求めた複数のエッジのエッジ識別子をギャップペナルティとして用いることにより、エッジ検出部にて検出された検出結果を動的計画法に反映して最適経路を適切に求めることができる。
【００２３】
本発明の細胞輪郭抽出方法は、顕微鏡によって撮影された細胞の染色画像を取得するステップと、前記染色画像から細胞核の領域を検出するステップと、前記染色画像の各画素について隣接画素との濃度勾配を求めるステップと、前記細胞核の周りを一周する最適経路を、前記濃度勾配をパラメータとする動的計画法によって求め、前記最適経路を細胞の輪郭として抽出するステップであって、前記細胞核の領域内にある所定点から異なる方向に向かって並ぶ２つの画素配列にそれぞれ含まれる画素群をつなぐ部分最適経路を計算する処理を、前記画素配列の方向が前記所定点の周りで一周するまで前記画素配列の方向を変えて繰り返し行い、前記部分最適経路に基づいて前記最適経路を求めるステップとを備える。
【００２４】
これにより、本発明の細胞輪郭抽出装置と同様に、細胞核の領域内の所定点の周りを一周する最適経路を動的計画法によって計算することにより、細胞輪郭を適切に抽出することができる。また、本発明の細胞輪郭抽出装置の各種の構成を本発明の細胞輪郭抽出方法に適用することも可能である。
【００２５】
本発明のプログラムは、細胞の染色画像から細胞の輪郭を抽出するためのプログラムであって、コンピュータに、顕微鏡によって撮影された細胞の染色画像を取得するステップと、前記染色画像から細胞核の領域を検出するステップと、前記染色画像の各画素について隣接画素との濃度勾配を求めるステップと、前記細胞核の周りを一周する最適経路を、前記濃度勾配をパラメータとする動的計画法によって求め、前記最適経路を細胞の輪郭として抽出するステップであって、前記細胞核の領域内にある所定点から異なる方向に向かって並ぶ２つの画素配列にそれぞれ含まれる画素群をつなぐ部分最適経路を計算する処理を、前記画素配列の方向が前記所定点の周りで一周するまで前記画素配列の方向を変えて繰り返し行い、前記部分最適経路に基づいて前記最適経路を求めるステップとを実行させる。
【００２６】
これにより、本発明の細胞輪郭抽出装置と同様に、細胞核の領域内の所定点の周りを一周する最適経路を動的計画法によって計算することにより、細胞輪郭を適切に抽出することができる。また、本発明の細胞輪郭抽出装置の各種の構成を本発明のプログラムに適用することも可能である。
【発明の効果】
【００２７】
本発明は、細胞核の領域内にある所定点から異なる方向に向かって並ぶ２つの画素配列にそれぞれ含まれる画素群をつなぐ部分最適経路を計算する処理を繰り返し行う動的計画法によって、細胞核の領域内の所定点の周りを一周する最適経路を計算することにより、細胞の染色画像から細胞輪郭を適切に抽出することができるという効果を有する。
【発明を実施するための最良の形態】
【００２８】
以下、本発明の実施の形態の細胞輪郭抽出装置について、図面を参照しながら説明する。
【００２９】
（第１の実施の形態）
図１は、第１の実施の形態の細胞輪郭抽出装置１０の構成を示す図である。細胞輪郭抽出装置１０は、細胞の染色画像を取得する画像取得部１２と、画像取得部１２にて取得した画像データを記憶する画像データ記憶部１８と、画像データ記憶部１８に記憶された画像データを処理して細胞核の輪郭を抽出する細胞核輪郭抽出部２０と、細胞の輪郭を抽出する細胞輪郭抽出部３０とを有している。
【００３０】
画像取得部１２は、例えば、ヘマトキシリン・エオジン染色（以下、「ＨＥ染色」という）された細胞の組織を光学顕微鏡で撮影した画像データを取得する。
図２は、画像取得部１２が取得する細胞画像の例を示す図である。本実施の形態では、画像データは、例えば、ＪＰＥＧやＧＩＦ等の形式で電子化されたデータを取得する。
【００３１】
［細胞核輪郭抽出部］
細胞核輪郭抽出部２０は、細胞の染色画像から細胞核の輪郭を抽出する機能を有する。ＨＥ染色された細胞の画像では、細胞核と細胞質の違いが判別できるよう染色されている。細胞核輪郭抽出部２０は、細胞核と細胞質との色相、彩度、明度の違いによって細胞核の領域を抽出する。
【００３２】
細胞核輪郭抽出部２０は、グレースケール変換部２２と、連結成分抽出部２４と、凸包処理部２６とを有している。グレースケール変換部２２は、処理対象の細胞の染色画像をグレースケールに変換する機能を有している。グレースケール変換部２２は、グレースケールへの変換の際に、細胞核領域にある画素の強度を高める。
【００３３】
グレースケール変換部２２は、画像データをいったんＨＳＶモデルに変換し、色の違いや明るさの違いで画素を分離できるようにする。グレースケール変換部２２は、入力部１４から、典型的な細胞核の色の情報を取得する。具体的には、処理対象の染色画像を表示部１６に表示し、表示された画像に映っている細胞核の一つをユーザに選択させる。ユーザがマウスをクリックすると、入力部１４は、マウスが指示していた画素の色相、彩度、明度のデータをグレースケール変換部２２に入力する。グレースケール変換部２２は、ユーザに選択された色を基準として、以下の式（１）により、染色画像の各画素の強度（グレースケールの値）を計算する。
【数１】
【００３４】
連結成分抽出部２４は、閾値法により、グレースケール画像から連結成分を抽出する。図３（ａ）は細胞核のグレースケール画像を模式的に示す図である。実際には、細胞核Ｎは染色に応じた濃度の色を持っているが、図３では省略している。図３（ｂ）は図３（ａ）のＢ−Ｂ直線上の画素値の強度を示す図である。連結成分抽出部２４は、図３（ｂ）に示すような画素値のデータから、所定の閾値以上の領域を連結成分として検出する。図３（ｂ）に示すように細胞核が均一に染まっていない場合があるので、連結成分抽出部２４は、細胞核を検出する際に、連結成分を適切に抽出できるように閾値を調整してもよい。
【００３５】
凸包処理部２６は、連結成分抽出部２４にて検出した連結成分の領域に対して凸包の処理を行い、細胞核領域および細胞核輪郭を決定する。凸包処理により、細胞核が均一に染まっていない場合にも、適切に細胞核領域および細胞核輪郭を検出することができる。
【００３６】
図４（ａ）および図４（ｂ）は、凸包について説明する図である。図４（ａ）は凸包の処理を行う前の画像、図４（ｂ）は凸包の処理を行った後の画像を示す図である。凸包とは、対象全点を包含し、かつ面積が最小となる多角形である。凸包処理部２６は、凸包を描画し、その連結成分数を面積としてカウントし、連結成分数が最小となる多角形を求める。図４（ａ）に示す細胞核領域に対して凸包処理を行うことにより、図４（ｂ）に示すような細胞核領域が決定される。
【００３７】
［細胞輪郭抽出部］
細胞輪郭抽出部３０は、細胞画像から細胞の輪郭を抽出する機能を有する。細胞輪郭抽出部３０は、エッジ検出部３２と、探索領域決定部３４と、動的計画法計算部３６と、細胞輪郭決定部３８とを有している。なお、細胞輪郭抽出部３０は、グレースケール変換部２２にて変換されたグレースケール画像に対して処理を行う。
【００３８】
エッジ検出部３２は、ｃａｎｎｙエッジ検出器を用いて、細胞画像からエッジを検出し、得られたエッジに識別子を付与する。
【００３９】
ここで、ｃａｎｎｙエッジ検出器によるエッジ検出について説明する。ｃａｎｎｙエッジ検出器は、まず、Ｇａｕｓｓフィルタを用いて、細胞画像の平滑化を行う。これによって、細胞画像に含まれるノイズ成分を低減させる。次に、ｃａｎｎｙエッジ検出器は、Ｓｏｂｅｌフィルタを用いて濃度勾配検出を行う。このようにｃａｎｎｙエッジ検出器は、濃度勾配を検出するので、請求項の「濃度勾配検出部」に対応する。Ｓｏｂｅｌフィルタは、注目画素に対する縦方向もしくは横方向の濃度勾配（濃淡の差）を検出するためのフィルタである。
【００４０】
図５（ａ）は横方向の濃度勾配を検出するためのＳｏｂｅｌフィルタ、図５（ｂ）は縦方向の濃度勾配を検出するためのＳｏｂｅｌフィルタの例を示す図である。ｃａｎｎｙエッジ検出器は、注目画素の濃度勾配の値ｇ（ｉ，ｊ）を、図５（ａ）および図５（ｂ）に示すフィルタ内のセルの値ａと、画素値ｆを用いて、以下の式（２）によって求める。
【数２】
【００４１】
ｃａｎｎｙエッジ検出器は、縦方向および横方向の濃度勾配の値を用いて、エッジを検出する。まず、ｃａｎｎｙエッジ検出器は、縦方向の濃度勾配と横方向の濃度勾配から、各画素の濃度勾配の方向およびその大きさを計算する。「濃度勾配の方向」「濃度勾配の大きさ」は、縦方向の濃度勾配と横方向の濃度勾配とをベクトル合成することによって求める。
【００４２】
次に、ｃａｎｎｙエッジ検出器は、濃度勾配の方向および大きさに基づいてエッジを検出する。図６（ａ）は、濃度勾配に基づいてエッジを検出する処理を説明するための図である。図６（ａ）において、斜線を付した画素は濃度勾配が第１の閾値より大きい画素を示し、縦線を付した画素は、濃度勾配が第１の閾値以下で、第２の閾値（ただし、第２の閾値＜第１の閾値）より大きい画素を示している。
【００４３】
ｃａｎｎｙエッジ検出器は、第１の閾値より濃度勾配が大きい画素を、各画素の濃度勾配の方向に基づいて連結することによってエッジを検出する。
【００４４】
ここで、画素Ｐ１からエッジの検出を開始する例について説明する。画素Ｐ１の周囲には、第１の閾値より大きい濃度勾配を持つ画素が３個存在する。画素Ｐ１の濃度勾配の方向が右方向であるとすると、図６（ａ）に実線の矢印で示すように、ｃａｎｎｙエッジ検出器は、画素Ｐ１と画素Ｐ２とを連結する。なお、計算によって求められた濃度勾配の方向は必ずしも上下左右および右上、右下、左上、左下の８方向ではないが、エッジ検出処理においては、濃度勾配の方向を上記８方向のいずれかに丸めて処理を行う。
【００４５】
次に、画素Ｐ２についても同様に、その濃度勾配の方向に第１の閾値より大きい画素Ｐ３がある場合には、画素Ｐ２と画素Ｐ３を連結する。このように、濃度勾配が第１の閾値より大きい画素を順次連結することによってエッジを延ばしていき、エッジを検出する。
【００４６】
第１の閾値より濃度勾配が大きい画素を連結してエッジを求めた後、そのエッジの端部の画素と、第２の閾値より濃度勾配が大きい画素とを連結する。図６（ａ）において画素Ｐ４を例とすると、上記と同様に、端部の画素Ｐ４の濃度勾配の方向に第２の閾値より濃度勾配が大きい画素Ｐ５がある場合に、図６（ａ）に点線で示すように、その方向にエッジを延ばす。以上の処理により、図６（ａ）に実線および点線で示すように画素を連結することができる。この結果、図６（ｂ）に示すように、エッジを検出することができる。
【００４７】
ｃａｎｎｙエッジ検出器は、検出したエッジに識別子を付与する。図６（ｂ）に示すように、エッジＥ１、エッジＥ２というように識別し、各画素がどのエッジに属するかを記憶しておく。
【００４８】
動的計画法計算部３６は、動的計画法（Dynamic Programming）による計算によって、細胞の輪郭を抽出する。動的計画法計算部３６は、細胞核の重心を中心とする所定の半径の領域（以下、この領域を「探索領域」という）において、濃度勾配をパラメータとして動的計画法を適用し、最適経路を求める。本実施の形態では、細胞核の重心から見た細胞輪郭の角度成分が単調に変位すると仮定して、動的計画法を適用する。
【００４９】
探索領域決定部３４は、細胞核の重心を中心とする所定半径の領域を動的計画法の探索領域として決定する機能を有する。また、探索領域決定部３４は、所定半径の探索領域のうちから、細胞核の領域を除外する機能を有する。細胞核の領域内に細胞の輪郭は存在しないので、細胞核の領域をあらかじめ探索領域から除外することにより、細胞輪郭を抽出するための計算負担を軽減でき、かつ細胞核の領域内を通る経路を細胞輪郭として誤って抽出しないようにできる。
【００５０】
［動的計画法］
図７は、細胞核Ａを有する細胞の輪郭を動的計画法によって計算する例を示す図である。図７において、核Ａの重心Ｇを中心とする円形領域Ｒが探索領域である。円形領域Ｒの径は、検索対象の細胞が包含されるような長さを、細胞画像の倍率等に応じてあらかじめ設定しておく。
【００５１】
動的計画法計算部３６は、円形領域Ｒの半径方向にならぶ画素群（例えば線ｔ１、ｔ２、ｔ３上の画素）のそれぞれの濃度勾配に基づいて、細胞核Ａの周りを一周する最適経路を求める。
【００５２】
図８は、動的計画法計算部３６による経路探索について説明するための図である。図８は、図７に示す探索領域Ｒを円周方向に展開した模式図である。縦軸は細胞核重心Ｇからの離れ距離を示し、横軸は角度を示す。図７に示す線ｔ１〜ｔ３は、図８に示す線ｔ１〜ｔ３に対応する。図８において、皺のように見える細かい多数の線は、エッジを示している。図８に示す画像の各画素は、濃度勾配の値と、その画素が属するエッジの識別子の情報を有している。
【００５３】
図９（ａ）は、図８に示す展開図の各画素の濃度勾配値を示す図、図９（ｂ）は、各画素のエッジの識別子を示す図である。図９（ｂ）では、エッジでない画素には、エッジの識別子として「０」を記載している。
【００５４】
動的計画法計算部３６は、最適経路の計算の最初のステップとして、重心Ｇから異なる方向に向かって並ぶ画素群をつなぐ部分最適経路を求める。
【００５５】
図９（ｃ）は、部分最適経路を求める方法について説明するための図である。図９（ｃ）では、ｔ列にある座標（ｒ，ｔ）の画素への部分最適経路を求める例を示している。例えば、ｔ−１列は図７および図８に示す線ｔ２上の画素の配列に該当し、ｔ列は線ｔ３上の画素の配列に該当する。
【００５６】
図９（ｃ）に矢印で示すように、動的計画法計算部３６は、座標（ｒ，ｔ）とｔ−１列の各座標（ｒ＋ｋ，ｔ−１）とをそれぞれ比較して、部分最適経路を計算する。なお、図９（ｃ）において、上段の２列からは矢印が伸びていない。これは、上段の２列は細胞核Ａの領域であり、探索領域決定部３４によって、探索領域から除外されているためである。動的計画法計算部３６は、部分最適経路を求めるために、動的計画法スコア（以下、「ＤＰスコア」という）を求める。以下の式（３）は、座標（ｒ，ｔ）におけるＤＰスコアｄ（ｒ，ｔ）を求めるための式である。
【数３】
【００５７】
式（３）の右辺のｍａｘ関数内の第１項の変数ｄ（ｒ＋ｋ，ｔ−１）は、求めるべきＤＰスコアｄ（ｒ，ｔ）の一つ前のｔ−１列のそれぞれの画素のＤＰスコアを示す。ｍａｘ関数内の第２項の変数は、ギャップペナルティ（gap_penalty）を示す。ギャップペナルティは、座標（ｒ，ｔ）の画素とｔ−１列の計算対象の座標（ｒ＋ｋ，ｔ−１）の画素が同じエッジ識別子を有する場合、座標（ｒ，ｔ）の画素と座標（ｒ＋ｋ，ｔ−１）の画素のいずれかがエッジ識別子を有しない場合には弱めのギャップペナルティＧ１とし、エッジ識別子が異なる場合には強めのギャップペナルティＧ２（Ｇ２＜Ｇ１）とする。これにより、エッジ識別子が異なる場合には、強めのギャップペナルティが働くため、部分最適経路として選択されにくくなる。なお、エッジ識別子が同じであるか否かは、図９（ｂ）に示すデータを用いて判断する。
【００５８】
第２項でギャップペナルティに乗じられている係数ｋは、計算対象の画素（ｒ，ｔ）とｔ−１列の計算対象の画素（座標（ｒ＋ｋ，ｔ−１））とが半径方向に何画素ずれているか（重心Ｇからの離れ距離の差）を示している。これにより、計算対象の２つの画素のずれが大きくなるに従って、ギャップペナルティが大きくなるため、部分最適経路として選択されにくくなる。
【００５９】
動的計画法計算部３６は、座標（ｒ，ｔ）の画素のＤＰスコアを与えるｔ−１列の画素を座標（ｒ，ｔ）への部分最適経路として記憶する。ここで、座標（ｒ，ｔ）の画素のＤＰスコアを与えるｔ−１列の画素とは、ｍａｘ関数内の数値が最も大きくなる画素であり、ギャップペナルティ（gap_penalty）に画素のずれ（ｋ）を乗じた値が最小となる画素である。
【００６０】
動的計画法計算部３６は、ｔ列の全画素について上記計算を行い、それぞれの画素に対する部分最適経路を求める。ｔ列についての計算が終了すると、動的計画法計算部３６は、上記と同様にして、ｔ＋１列、ｔ＋２列・・・と順次計算を行い、各画素列間の部分最適経路を求める。動的計画法計算部３６は、計算対象の画素列を選択する方向を少しずつ変えながら部分最適経路の計算を行い、選択する画素列が一周して計算を開始した画素列に戻るまで計算を行う。すなわち、重心Ｇの周りの全方向の画素列について計算を行う。探索領域内の全画素についての計算が終了すると、動的計画法計算部３６は、部分最適経路を順次たどっていくことによって、複数の経路が形成されることとなる。これが、最適経路の候補経路となる（図９（ｄ）参照）。
【００６１】
細胞輪郭決定部３８は、動的計画法計算部３６によって計算されたＤＰスコアに基づいて、細胞輪郭を決定する機能を有する。動的計画法計算部３６によるＤＰスコアの計算が終端（図７では、線ｔ１）まで行われた後、細胞輪郭決定部３８は、複数の候補経路を最終地点におけるＤＰスコアに従って降順にソートする。細胞輪郭決定部３８は、ソートされた候補経路をＤＰスコアの高いほうから順に見ていき、境界条件を満たす経路を求める。境界条件を満たす経路とは、計算の始点と終点における縦軸の値（半径方向のずれ）が一定範囲内にある経路である。この構成により、細胞の領域が閉じた輪郭によって囲まれているという特性を利用して、適切な経路を細胞の輪郭として抽出できる。
【００６２】
図１０は、経路探索結果を示す図である。図１０に点線で示すように、複数の候補経路が存在するが、最終的には、境界条件を満たす実線で示す経路が最適経路として選択される。
【００６３】
図１１〜図１３は、本実施の形態の細胞輪郭抽出装置１０の動作を示す図である。図１１は細胞輪郭抽出装置１０の全体の動作を示す図、図１２は細胞核輪郭抽出の動作を示す図、図１３は細胞輪郭抽出の動作を示す図である。
【００６４】
図１１に示すように、細胞輪郭抽出装置１０は、細胞の染色画像を取得する（Ｓ１０）。次に、細胞輪郭抽出装置１０は、細胞核輪郭抽出部２０によって細胞核輪郭を抽出し（Ｓ１２）、細胞輪郭抽出部３０によって細胞輪郭を抽出する（Ｓ１４）。細胞輪郭抽出装置１０は、抽出した細胞輪郭を表示部１６にて表示する（Ｓ１６）。
【００６５】
図１２を参照して、細胞核輪郭抽出処理について詳しく説明する。細胞輪郭抽出装置１０は、取得した染色画像を表示部１６にて表示し（Ｓ２０）、ユーザから細胞核の選択を受け付ける（Ｓ２２）。表示された画像上で、ユーザがマウスをクリックすると、細胞輪郭抽出装置１０の入力部１４は、マウスが指示している画素の色相、明度、彩度の情報をグレースケール変換部２２に伝送する。グレースケール変換部２２は、入力部１４より受信した色相、明度、彩度の情報を用いて、細胞の画像をグレースケール画像に変換する（Ｓ２４）。
【００６６】
次に、細胞輪郭抽出装置１０は、所定の閾値を用いて細胞のグレースケール画像から連結成分を検出し（Ｓ２６）、検出された連結成分の領域に凸包処理を行うことによって細胞核の領域を決定する（Ｓ２８）。
【００６７】
次に、図１３を参照して、細胞輪郭抽出処理について詳しく説明する。細胞輪郭抽出装置１０は、Ｇａｕｓｓフィルタを用いて、グレースケール画像を平滑化し（Ｓ３０）、平滑化された画像に、Ｓｏｂｅｌフィルタをかけて隣接画素との濃度勾配を求める（Ｓ３２）。具体的には、縦方向および横方向のＳｏｂｅｌフィルタをかけて、縦方向に対する濃度勾配および横方向に対する濃度勾配を求め、各濃度勾配をベクトル合成することにより、濃度勾配の方向および大きさを求める。次に、細胞輪郭抽出装置１０は、濃度勾配の値を用い、図６（ａ）および図６（ｂ）を参照して説明した方法によって、エッジを検出する（Ｓ３４）。細胞輪郭抽出装置１０は、検出したエッジに識別子を付与する（Ｓ３４）。
【００６８】
次に、細胞輪郭抽出装置１０は、探索領域を決定する（Ｓ３６）。探索領域決定部３４は、画像内にある細胞核に着目し、細胞核の重心Ｇを中心とする円形領域を探索領域として決定する。また、探索領域決定部３４は、細胞核領域の濃度勾配値を０に設定して探索領域から除外し、探索領域を細胞核が存在しない領域に限定する（Ｓ３８）。
【００６９】
続いて、細胞輪郭抽出装置１０は、動的計画法を用いて、重心Ｇから異なる方向に向かって並んだそれぞれの画素列間の部分最適経路を順次計算し（Ｓ４０）、部分最適経路をたどって生成された複数の候補経路の中から、最終地点におけるＤＰスコアおよび境界条件に基づいて最適経路を決定する（Ｓ４２）。細胞輪郭抽出装置１０は、画像内に検出された全細胞核について輪郭抽出処理を完了したか否かを判定し（Ｓ４４）、全細胞核について処理を完了している場合には（Ｓ４４でＹＥＳ）、細胞抽出処理を終了する。輪郭抽出処理を完了していない細胞核がある場合には、その細胞核を含む細胞輪郭を求めるための探索領域を決定するステップＳ３６に移行し、上記と同様の処理によって細胞輪郭を求める。
【００７０】
図１４は、細胞輪郭抽出装置１０によって細胞の輪郭Ｌを抽出した結果を示す図である。細胞輪郭抽出装置１０は、表示部１６にて、図１４に示すような輪郭Ｌの抽出結果を表示する。
以上、本実施の形態の細胞輪郭抽出装置１０の構成および動作について説明した。
【００７１】
本実施の形態では、細胞の中に細胞核が存在するという特徴を利用して、細胞核の領域内の所定点の周りを一周する最適経路を動的計画法によって計算しているので、細胞の輪郭を適切に抽出することができる。
【００７２】
本実施の形態では、動的計画法計算部３６は、細胞核の重心Ｇから見た細胞輪郭の角度成分が単調に変位すると仮定して、一方向に計算を進めていくので計算処理を軽減できる。従来の手法では、計算対象の画素の周囲８方向のいずれかの画素を部分最適経路として求めていくため、最適経路が右に行ったり、左に行ったりして計算が収束しない場合があったり、収束までの計算コストが大きくなる場合があった。本実施の形態によれば、細胞核の重心Ｇを中心に、一方向に角度を変えつつ３６０度の範囲で計算するので、計算を容易に行える。
【００７３】
本実施の形態では、異なる方向に並んだ２つの画素列にそれぞれ含まれる画素を計算対象として部分最適経路を求めており、画素が隣接することを最適経路の条件としていないので、隣接していない画素どうしをつなぐ経路が最適経路として求められる可能性がある。これにより、例えば、輪郭の一部が切れている場合にも適切な最適経路を求めることができる。
【００７４】
本実施の形態では、エッジ検出部３２にて検出されたエッジのエッジ識別子が異なる場合には強いギャップペナルティを設定し、エッジ識別子が同じ場合には弱いギャップペナルティを設定しているので、同じエッジに属する画素をつなぐ経路が部分最適経路として選択されやすくなる。エッジ検出部３２によるエッジ検出の結果を利用して、部分最適経路を適切に求めることができる。
【００７５】
本実施の形態では、動的計画法計算部３６は、計算対象の２つの画素の半径方向の何画素ずれているかを示す係数ｋをギャップペナルティに乗じているので、半径方向のずれが大きい場合には、ギャップペナルティが強く作用し、部分最適経路として選択されにくくなる。これにより、連続性の高い経路が部分最適経路として選択される。
【００７６】
本実施の形態では、細胞核の重心Ｇから所定の方向に並んだいずれかの画素列から計算を開始すればよいので、ユーザが最適経路の探索の開始点を設定する必要がない。
【００７７】
（第２の実施の形態）
次に、本発明の第２の実施の形態の細胞輪郭抽出装置について説明する。第２の実施の形態の細胞輪郭抽出装置の基本的な構成は、第１の実施の形態の細胞輪郭抽出装置１０と同じである（図１参照）。第２の実施の形態の細胞輪郭抽出装置は、装置によって求めた細胞核輪郭および細胞輪郭を表示部１６にて表示し、入力部１４より入力された指示に基づいて、細胞核輪郭および細胞輪郭を修正する機能を有する。
【００７８】
第２の実施の形態の細胞輪郭抽出装置は、細胞核輪郭抽出部２０にて検出された細胞核を染色画像上に表示し、入力部１４より細胞核の正しい領域の情報を受け付ける。入力のインターフェースとしては、例えば、細胞核の領域に含まれる部分がある場合にはマウスを右クリック、細胞核の領域から除外すべき部分についてはマウスを左クリックする等のインターフェースを用意しておく。細胞核輪郭抽出部２０は、クリックされた位置を含む所定領域を細胞核の領域に含める、あるいは除外する処理を行う。なお、この際に、処理速度を向上させるために、修正対象の細胞核を含む領域を関心領域（ＲＯＩ：Region Of Interest）として切り出してもよい。
【００７９】
次に、第２の実施の形態の細胞輪郭抽出装置による細胞輪郭の修正について説明する。
図１５（ａ）は、第２の実施の形態の細胞輪郭抽出装置にて求められた細胞輪郭Ｌ１の画像を示す図である。図１５（ａ）より、表示された細胞輪郭Ｌ１が真の細胞輪郭からずれていることが目視で確認できる。ユーザが真の細胞輪郭の一部の点Ｃを指示すると、細胞輪郭抽出装置は、点Ｃを通ることを制約条件として最適経路を再計算する。
【００８０】
具体的には、動的計画法計算部３６は、点Ｃの画素を起点として、部分最適経路の計算を行い、先に求められている細胞輪郭と一致するまで計算を行う。この場合、点Ｃを通ることが制約条件として与えられているので、最初に部分最適経路を求めたときのように、画素配列に含まれるすべての画素について部分最適経路を求める必要はなく、点Ｃを起点とする部分最適経路を逐次接続していくことで、最適経路を求める。
【００８１】
動的計画法計算部３６は、点Ｃを起点とする部分最適経路が先に求められている経路と一致した場合には、部分最適経路の計算を停止し、修正指示前の最適経路と新たに求められた最適経路とをつなぐ経路を新たな細胞の輪郭として求める。これにより、図１５（ｂ）に示すように、点Ｃを通る細胞輪郭Ｌ２が抽出される。
【００８２】
図１６は、第２の実施の形態の細胞輪郭抽出装置の動作を示す図である。細胞輪郭抽出装置は、細胞の染色画像を取得し（Ｓ５０）、染色画像から細胞核輪郭を抽出する（Ｓ５２）。ここまでの処理は、第１の実施の形態の細胞輪郭抽出装置と同じである。
【００８３】
第２の実施の形態の細胞輪郭抽出装置は、抽出した細胞核輪郭を表示部１６にて表示し（Ｓ５４）、細胞核輪郭の修正指示を受け付ける。修正指示がある場合には（Ｓ５６でＹＥＳ）、細胞輪郭抽出装置は、修正指示に従って細胞核輪郭の修正を行う（Ｓ５８）。修正指示がない場合には（Ｓ５６でＮＯ）、細胞核輪郭の修正を行わないで、細胞輪郭を抽出するステップに移行する。
【００８４】
続いて、第２の実施の形態の細胞輪郭抽出装置は、第１の実施の形態と同様に、細胞輪郭を抽出する（Ｓ６０）。細胞核輪郭抽出装置は、抽出した輪郭を表示部１６にて表示し（Ｓ６２）、ユーザからの輪郭の指定を受け付ける。輪郭の指定を受け付けた場合には（Ｓ６４でＹＥＳ）、細胞輪郭抽出装置は、指定された点を通る輪郭を再計算する（Ｓ６０）。輪郭の指定を受け付けなかった場合には（Ｓ６４でＮＯ）、細胞輪郭抽出装置は、輪郭抽出処理を終了する。
【００８５】
第２の実施の形態の細胞輪郭抽出装置は、細胞核輪郭および細胞輪郭をユーザによって手修正することができるので、より精度の高い輪郭抽出を行うことができる。
【００８６】
以上、本発明の細胞輪郭抽出装置および細胞輪郭抽出方法について、実施の形態を挙げて詳細に説明したが、本発明は上記した実施の形態に限定されるものではない。
【００８７】
上記した実施の形態では、細胞輪郭抽出装置および細胞輪郭抽出方法について説明したが、上記した細胞輪郭抽出装置の機能を実現するためのプログラムも本発明の範囲に含まれる。
【００８８】
上記した実施の形態では、画素の濃度勾配を求めるためにＳｏｂｅｌフィルタを用いる例について説明したが、濃度勾配を求めるためのフィルタはＳｏｂｅｌフィルタに限られない。例えば、Ｌａｐｌａｃｉａｎフィルタや、Ｐｒｅｗｉｔｔフィルタ等を用いてもよい。
【００８９】
上記した実施の形態では、計算対象の２つの画素のエッジ識別子の異同に応じて、異なるギャップペナルティの値を用いる例について説明したが、一定の値をギャップペナルティとして用いてもよい。この場合、エッジ検出を行う必要がないので、実施の形態より簡便な構成で、細胞輪郭抽出装置を実現することができる。
【００９０】
上記した実施の形態では、動的計画法によって細胞輪郭を計算する際に、円形の探索領域において最適経路を探索する例について説明したが、探索領域は円形に限定されない。例えば、周囲の細胞の形状に基づいて、細胞の形状を予測し、効率良く探索を行える探索領域を設定することとしてもよい。
【００９１】
上記した実施の形態では、細胞の輪郭を抽出する例について説明したが、本発明は細胞以外の対象物の輪郭抽出にも用いることができる。なお、抽出すべき輪郭が閉領域を取り囲む輪郭でなく、所定点周りに計算を進めていく方法を採用することができない場合には、エッジ識別子の異動をギャップペナルティとする動的計画法を適用するだけでも、輪郭を適切に抽出できる効果がある。
【産業上の利用可能性】
【００９２】
以上説明したように、本発明は、細胞の染色画像から細胞の輪郭を抽出する細胞輪郭抽出装置等として有用であり、例えば、病理学診断装置等に応用できる。
【図面の簡単な説明】
【００９３】
【図１】第１の実施の形態の細胞輪郭抽出装置の構成を示す図
【図２】細胞の染色画像の例を示す図
【図３】（ａ）細胞のグレースケール画像を模式的に示す図 （ｂ）Ｂ−Ｂ方向の画素値の強度を示す図
【図４】（ａ）凸包処理を行う前の細胞核の画像を示す図 （ｂ）凸包処理を行った後の細胞核の画像を示す図
【図５】（ａ）横方向の濃度勾配を求めるＳｏｂｅｌフィルタの例を示す図 （ｂ）縦方向の濃度勾配を求めるＳｏｂｅｌフィルタの例を示す図
【図６】（ａ）ｃａｎｎｙエッジ検出器によるエッジ検出について説明するための図 （ｂ）ｃａｎｎｙエッジ検出器によって検出されたエッジの例を示す図
【図７】動的計画法について説明するための図
【図８】動的計画法について説明するための図
【図９】（ａ）図８に示す展開図における各画素の濃度勾配値を示す図 （ｂ）図８に示す展開図における各画素のエッジ識別子を示す図 （ｃ）部分最適経路の計算について説明するための図 （ｄ）部分最適経路の例を示す図
【図１０】最適経路の候補となる複数の候補経路および最適経路を示す図
【図１１】第１の実施の形態の細胞輪郭抽出装置の動作の流れを示す図
【図１２】第１の実施の形態の細胞輪郭抽出装置による細胞核輪郭抽出の動作の流れを示す図
【図１３】第１の実施の形態の細胞輪郭抽出装置による細胞輪郭抽出の動作の流れを示す図
【図１４】第１の実施の形態の細胞輪郭抽出装置による細胞輪郭抽出結果を示す図
【図１５】（ａ）第２の実施の形態の細胞輪郭抽出装置による細胞輪郭抽出結果を示す図 （ｂ）修正された細胞輪郭を示す図
【図１６】第２の実施の形態の細胞輪郭抽出装置の動作の流れを示す図
【符号の説明】
【００９４】
１０ 細胞輪郭抽出装置
１２ 画像取得部
１４ 入力部
１６ 表示部
１８ 画像データ記憶部
２０ 細胞核輪郭抽出部
２２ グレースケール変換部
２４ 連結成分抽出部
２６ 凸包処理部
３０ 細胞輪郭抽出部
３２ エッジ検出部
３４ 探索領域決定部
３６ 動的計画法計算部
３８ 細胞輪郭決定部
【技術分野】
【０００１】
本発明は、画像中に含まれる対象物の輪郭を抽出する技術に関し、特に、細胞の染色画像から細胞の輪郭を抽出する技術に関する。
【背景技術】
【０００２】
現在、細胞の染色画像は、病理学的診断に利用されており、画像データから細胞形態を抽出するソフトウェアが求められている。
【０００３】
対象物の認識等のための画像処理技術として、従来から、輪郭を抽出する技術が知られている。輪郭抽出の手法の一つとして、動的計画法がある。動的計画法は、初期値として与えられた輪郭モデルの周辺の所定範囲の画像データを評価関数によって順次評価し、輪郭モデルを徐々に最適解（輪郭）に収束させる手法である。
【０００４】
特許文献１は、動的計画法を利用した画像処理によって輪郭を抽出する発明を開示している。特許文献１では、評価関数のローカルミニマムが最適解として誤って判断されてしまうという課題を解決するため、動的計画法を適用する前に、ぼかしの程度を変更可能なガウシアンフィルタによって画像を処理する。大きくぼかした画像によって評価関数がローカルミニマムの最適解に収束しないようにし、順次、ぼかしの程度を小さくして最適解を求める。特許文献１では、ナメクジの輪郭抽出、心臓の超音波画像からの心臓画像の抽出に適用した実施例を挙げ、上記輪郭抽出技術によって適切に輪郭を抽出できることを示している。
【特許文献１】特開平５−２４２２４７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載された発明を、細胞輪郭の抽出に適用することはできなかった。
【０００６】
細胞の染色画像では、画像内の全細胞が均一に染まっているとは限らない。細胞輪郭の染色強度には強弱があり、また細胞核や細胞質内の染色強度も一定ではないため、細胞の輪郭とその他の部分との区別がつきにくい。つまり、細胞の染色画像は、特許文献１で例示された画像よりノイズが大きい。このため、上記のような従来の方法では細胞輪郭を抽出することはできなかった。
【０００７】
また、細胞の染色画像は、染色の状態によっては、細胞の輪郭が部分的に切れたように撮像される場合がある。細胞画像では細胞間に輪郭があるので、背景画像の中から対象物の輪郭を検出する場合と異なり、切れた部分の輪郭を抽出することはできない。しかし、このような画像からも、真の細胞輪郭に近い輪郭を自動的に抽出することが望まれている。
【０００８】
本発明は、上記背景に鑑み、細胞の染色画像から細胞の輪郭を抽出できる細胞輪郭抽出装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の細胞輪郭抽出装置は、顕微鏡によって撮影された細胞の染色画像を取得する画像取得部と、前記染色画像から細胞核の領域を検出する細胞核検出部と、前記染色画像の各画素について隣接画素との濃度勾配を求める濃度勾配算出部と、前記細胞核の周りを一周する最適経路を、前記濃度勾配をパラメータとする動的計画法によって求め、前記最適経路を細胞の輪郭として抽出する細胞輪郭抽出部とを備え、前記細胞輪郭抽出部は、前記細胞核の領域内にある所定点から異なる方向に向かって並ぶ２つの画素配列にそれぞれ含まれる画素群をつなぐ部分最適経路を計算する処理を、前記画素配列の方向が前記所定点の周りで一周するまで前記画素配列の方向を変えて繰り返し行い、前記部分最適経路に基づいて前記最適経路を求める。
【００１０】
このように細胞の中に細胞核が存在するという特徴を利用した計算処理、すなわち、細胞核の領域内にある所定点から異なる方向に向かって並ぶ２つの画素配列にそれぞれ含まれる画素群をつなぐ部分最適経路を計算する処理を繰り返し行う動的計画法によって、細胞輪郭を適切に抽出することができる。
【００１１】
上記細胞輪郭抽出装置において、前記細胞輪郭抽出部は、前記部分最適経路に基づいて前記最適経路の候補となる複数の候補経路を求め、前記候補経路の中から、前記部分最適経路の計算を開始した画素配列において候補経路が通る画素の前記所定点からの離れ距離と、計算を終了した画素配列において候補経路が通る画素の前記所定点からの離れ距離との差が、所定の閾値以下となる候補経路を前記最適経路として決定してもよい。
【００１２】
このように細胞の輪郭が閉じていることを条件として用いて、計算の始点と終点における部分最適経路のずれが所定の閾値以下になる経路を求めることにより、適切な最適経路を求めることができる。
【００１３】
上記細胞輪郭抽出装置において、前記細胞輪郭抽出部は、異なる画素配列にそれぞれ含まれる計算対象の画素の前記所定点からの離れ距離の差に基づいてギャップペナルティを算出し、前記ギャップペナルティと前記濃度勾配とに基づいて前記部分最適経路を求めてもよい。
【００１４】
このように計算対象の２つの画素の所定点からの離れ距離の差に基づいてギャップペナルティを算出することにより、２つの画素が離れている場合には、強いギャップペナルティを設定し、離れた画素を結ぶ経路が部分最適経路として選択されにくくすることができる。これにより、連続性の高い経路を部分最適経路として選択することができる。なお、特許文献１に記載されたような従来の動的計画法では、計算対象の画素に隣接する８つの画素の中から部分最適経路を選択していたので、隣接する画素によって最適経路が構成されていた。本発明では、画素配列が隣接していれば、画素が隣接していなくても部分最適経路として選ばれることを可能にしているので、隣接していない画素によって構成される最適経路も求めることができる。なお、細胞核内の所定点としては、細胞核の重心または中心を用いることが望ましい。
【００１５】
上記細胞輪郭抽出装置は、前記濃度勾配に基づいて、前記染色画像内にある複数のエッジを抽出し、それぞれのエッジを構成する画素にエッジ識別子を付与するエッジ検出部を備え、前記細胞輪郭抽出部は、異なる画素配列にそれぞれ含まれる計算対象の画素の前記所定点からの離れ距離の差と前記エッジ識別子の異同に基づいて前記ギャップペナルティを算出してもよい。
【００１６】
このようにあらかじめ求めた複数のエッジのエッジ識別子の異同をギャップペナルティとして用いることにより、エッジ検出部によるエッジの検出結果を動的計画法に反映して最適経路を適切に求めることができる。エッジ検出部によるエッジ検出には、公知の方法を含め、様々な方法を採用することが可能である。
【００１７】
上記細胞輪郭抽出装置において、前記細胞輪郭抽出部は、前記細胞核検出部にて検出された細胞核の領域を前記最適経路の探索領域から除外してもよい。
【００１８】
これにより、細胞輪郭抽出部による計算処理量を低減できる。また、細胞核領域を通る経路を細胞輪郭として誤検出することを防止できる。
【００１９】
上記細胞輪郭抽出装置は、前記細胞輪郭抽出部にて抽出された輪郭を前記細胞の画像上に表示する表示部と、前記表示部にて表示された画像において指示された点の位置情報を受け付ける入力部とを備え、前記細胞輪郭抽出部は、指示された点を通る最適経路を求めてもよい。
【００２０】
このように画像上で指示された点を通る最適経路を求めることにより、いったん求めた細胞輪郭を修正することができる。
【００２１】
本発明の別の態様に係る輪郭抽出装置は、画像を取得する画像取得部と、前記画像の各画素について隣接画素との濃度勾配を求める濃度勾配算出部と、前記濃度勾配に基づいて、前記画像内にある複数のエッジを抽出し、それぞれのエッジを構成する画素にエッジ識別子を付与するエッジ検出部と、前記画像中に含まれる対象物の輪郭を、前記濃度勾配をパラメータとする動的計画法による最適経路探索によって計算する輪郭抽出部とを備え、前記輪郭抽出部は、前記エッジ識別子の異同に基づいてギャップペナルティを算出し、前記ギャップペナルティと前記濃度勾配とに基づいて最適経路を求める。
【００２２】
このようにあらかじめ求めた複数のエッジのエッジ識別子をギャップペナルティとして用いることにより、エッジ検出部にて検出された検出結果を動的計画法に反映して最適経路を適切に求めることができる。
【００２３】
本発明の細胞輪郭抽出方法は、顕微鏡によって撮影された細胞の染色画像を取得するステップと、前記染色画像から細胞核の領域を検出するステップと、前記染色画像の各画素について隣接画素との濃度勾配を求めるステップと、前記細胞核の周りを一周する最適経路を、前記濃度勾配をパラメータとする動的計画法によって求め、前記最適経路を細胞の輪郭として抽出するステップであって、前記細胞核の領域内にある所定点から異なる方向に向かって並ぶ２つの画素配列にそれぞれ含まれる画素群をつなぐ部分最適経路を計算する処理を、前記画素配列の方向が前記所定点の周りで一周するまで前記画素配列の方向を変えて繰り返し行い、前記部分最適経路に基づいて前記最適経路を求めるステップとを備える。
【００２４】
これにより、本発明の細胞輪郭抽出装置と同様に、細胞核の領域内の所定点の周りを一周する最適経路を動的計画法によって計算することにより、細胞輪郭を適切に抽出することができる。また、本発明の細胞輪郭抽出装置の各種の構成を本発明の細胞輪郭抽出方法に適用することも可能である。
【００２５】
本発明のプログラムは、細胞の染色画像から細胞の輪郭を抽出するためのプログラムであって、コンピュータに、顕微鏡によって撮影された細胞の染色画像を取得するステップと、前記染色画像から細胞核の領域を検出するステップと、前記染色画像の各画素について隣接画素との濃度勾配を求めるステップと、前記細胞核の周りを一周する最適経路を、前記濃度勾配をパラメータとする動的計画法によって求め、前記最適経路を細胞の輪郭として抽出するステップであって、前記細胞核の領域内にある所定点から異なる方向に向かって並ぶ２つの画素配列にそれぞれ含まれる画素群をつなぐ部分最適経路を計算する処理を、前記画素配列の方向が前記所定点の周りで一周するまで前記画素配列の方向を変えて繰り返し行い、前記部分最適経路に基づいて前記最適経路を求めるステップとを実行させる。
【００２６】
これにより、本発明の細胞輪郭抽出装置と同様に、細胞核の領域内の所定点の周りを一周する最適経路を動的計画法によって計算することにより、細胞輪郭を適切に抽出することができる。また、本発明の細胞輪郭抽出装置の各種の構成を本発明のプログラムに適用することも可能である。
【発明の効果】
【００２７】
本発明は、細胞核の領域内にある所定点から異なる方向に向かって並ぶ２つの画素配列にそれぞれ含まれる画素群をつなぐ部分最適経路を計算する処理を繰り返し行う動的計画法によって、細胞核の領域内の所定点の周りを一周する最適経路を計算することにより、細胞の染色画像から細胞輪郭を適切に抽出することができるという効果を有する。
【発明を実施するための最良の形態】
【００２８】
以下、本発明の実施の形態の細胞輪郭抽出装置について、図面を参照しながら説明する。
【００２９】
（第１の実施の形態）
図１は、第１の実施の形態の細胞輪郭抽出装置１０の構成を示す図である。細胞輪郭抽出装置１０は、細胞の染色画像を取得する画像取得部１２と、画像取得部１２にて取得した画像データを記憶する画像データ記憶部１８と、画像データ記憶部１８に記憶された画像データを処理して細胞核の輪郭を抽出する細胞核輪郭抽出部２０と、細胞の輪郭を抽出する細胞輪郭抽出部３０とを有している。
【００３０】
画像取得部１２は、例えば、ヘマトキシリン・エオジン染色（以下、「ＨＥ染色」という）された細胞の組織を光学顕微鏡で撮影した画像データを取得する。
図２は、画像取得部１２が取得する細胞画像の例を示す図である。本実施の形態では、画像データは、例えば、ＪＰＥＧやＧＩＦ等の形式で電子化されたデータを取得する。
【００３１】
［細胞核輪郭抽出部］
細胞核輪郭抽出部２０は、細胞の染色画像から細胞核の輪郭を抽出する機能を有する。ＨＥ染色された細胞の画像では、細胞核と細胞質の違いが判別できるよう染色されている。細胞核輪郭抽出部２０は、細胞核と細胞質との色相、彩度、明度の違いによって細胞核の領域を抽出する。
【００３２】
細胞核輪郭抽出部２０は、グレースケール変換部２２と、連結成分抽出部２４と、凸包処理部２６とを有している。グレースケール変換部２２は、処理対象の細胞の染色画像をグレースケールに変換する機能を有している。グレースケール変換部２２は、グレースケールへの変換の際に、細胞核領域にある画素の強度を高める。
【００３３】
グレースケール変換部２２は、画像データをいったんＨＳＶモデルに変換し、色の違いや明るさの違いで画素を分離できるようにする。グレースケール変換部２２は、入力部１４から、典型的な細胞核の色の情報を取得する。具体的には、処理対象の染色画像を表示部１６に表示し、表示された画像に映っている細胞核の一つをユーザに選択させる。ユーザがマウスをクリックすると、入力部１４は、マウスが指示していた画素の色相、彩度、明度のデータをグレースケール変換部２２に入力する。グレースケール変換部２２は、ユーザに選択された色を基準として、以下の式（１）により、染色画像の各画素の強度（グレースケールの値）を計算する。
【数１】
【００３４】
連結成分抽出部２４は、閾値法により、グレースケール画像から連結成分を抽出する。図３（ａ）は細胞核のグレースケール画像を模式的に示す図である。実際には、細胞核Ｎは染色に応じた濃度の色を持っているが、図３では省略している。図３（ｂ）は図３（ａ）のＢ−Ｂ直線上の画素値の強度を示す図である。連結成分抽出部２４は、図３（ｂ）に示すような画素値のデータから、所定の閾値以上の領域を連結成分として検出する。図３（ｂ）に示すように細胞核が均一に染まっていない場合があるので、連結成分抽出部２４は、細胞核を検出する際に、連結成分を適切に抽出できるように閾値を調整してもよい。
【００３５】
凸包処理部２６は、連結成分抽出部２４にて検出した連結成分の領域に対して凸包の処理を行い、細胞核領域および細胞核輪郭を決定する。凸包処理により、細胞核が均一に染まっていない場合にも、適切に細胞核領域および細胞核輪郭を検出することができる。
【００３６】
図４（ａ）および図４（ｂ）は、凸包について説明する図である。図４（ａ）は凸包の処理を行う前の画像、図４（ｂ）は凸包の処理を行った後の画像を示す図である。凸包とは、対象全点を包含し、かつ面積が最小となる多角形である。凸包処理部２６は、凸包を描画し、その連結成分数を面積としてカウントし、連結成分数が最小となる多角形を求める。図４（ａ）に示す細胞核領域に対して凸包処理を行うことにより、図４（ｂ）に示すような細胞核領域が決定される。
【００３７】
［細胞輪郭抽出部］
細胞輪郭抽出部３０は、細胞画像から細胞の輪郭を抽出する機能を有する。細胞輪郭抽出部３０は、エッジ検出部３２と、探索領域決定部３４と、動的計画法計算部３６と、細胞輪郭決定部３８とを有している。なお、細胞輪郭抽出部３０は、グレースケール変換部２２にて変換されたグレースケール画像に対して処理を行う。
【００３８】
エッジ検出部３２は、ｃａｎｎｙエッジ検出器を用いて、細胞画像からエッジを検出し、得られたエッジに識別子を付与する。
【００３９】
ここで、ｃａｎｎｙエッジ検出器によるエッジ検出について説明する。ｃａｎｎｙエッジ検出器は、まず、Ｇａｕｓｓフィルタを用いて、細胞画像の平滑化を行う。これによって、細胞画像に含まれるノイズ成分を低減させる。次に、ｃａｎｎｙエッジ検出器は、Ｓｏｂｅｌフィルタを用いて濃度勾配検出を行う。このようにｃａｎｎｙエッジ検出器は、濃度勾配を検出するので、請求項の「濃度勾配検出部」に対応する。Ｓｏｂｅｌフィルタは、注目画素に対する縦方向もしくは横方向の濃度勾配（濃淡の差）を検出するためのフィルタである。
【００４０】
図５（ａ）は横方向の濃度勾配を検出するためのＳｏｂｅｌフィルタ、図５（ｂ）は縦方向の濃度勾配を検出するためのＳｏｂｅｌフィルタの例を示す図である。ｃａｎｎｙエッジ検出器は、注目画素の濃度勾配の値ｇ（ｉ，ｊ）を、図５（ａ）および図５（ｂ）に示すフィルタ内のセルの値ａと、画素値ｆを用いて、以下の式（２）によって求める。
【数２】
【００４１】
ｃａｎｎｙエッジ検出器は、縦方向および横方向の濃度勾配の値を用いて、エッジを検出する。まず、ｃａｎｎｙエッジ検出器は、縦方向の濃度勾配と横方向の濃度勾配から、各画素の濃度勾配の方向およびその大きさを計算する。「濃度勾配の方向」「濃度勾配の大きさ」は、縦方向の濃度勾配と横方向の濃度勾配とをベクトル合成することによって求める。
【００４２】
次に、ｃａｎｎｙエッジ検出器は、濃度勾配の方向および大きさに基づいてエッジを検出する。図６（ａ）は、濃度勾配に基づいてエッジを検出する処理を説明するための図である。図６（ａ）において、斜線を付した画素は濃度勾配が第１の閾値より大きい画素を示し、縦線を付した画素は、濃度勾配が第１の閾値以下で、第２の閾値（ただし、第２の閾値＜第１の閾値）より大きい画素を示している。
【００４３】
ｃａｎｎｙエッジ検出器は、第１の閾値より濃度勾配が大きい画素を、各画素の濃度勾配の方向に基づいて連結することによってエッジを検出する。
【００４４】
ここで、画素Ｐ１からエッジの検出を開始する例について説明する。画素Ｐ１の周囲には、第１の閾値より大きい濃度勾配を持つ画素が３個存在する。画素Ｐ１の濃度勾配の方向が右方向であるとすると、図６（ａ）に実線の矢印で示すように、ｃａｎｎｙエッジ検出器は、画素Ｐ１と画素Ｐ２とを連結する。なお、計算によって求められた濃度勾配の方向は必ずしも上下左右および右上、右下、左上、左下の８方向ではないが、エッジ検出処理においては、濃度勾配の方向を上記８方向のいずれかに丸めて処理を行う。
【００４５】
次に、画素Ｐ２についても同様に、その濃度勾配の方向に第１の閾値より大きい画素Ｐ３がある場合には、画素Ｐ２と画素Ｐ３を連結する。このように、濃度勾配が第１の閾値より大きい画素を順次連結することによってエッジを延ばしていき、エッジを検出する。
【００４６】
第１の閾値より濃度勾配が大きい画素を連結してエッジを求めた後、そのエッジの端部の画素と、第２の閾値より濃度勾配が大きい画素とを連結する。図６（ａ）において画素Ｐ４を例とすると、上記と同様に、端部の画素Ｐ４の濃度勾配の方向に第２の閾値より濃度勾配が大きい画素Ｐ５がある場合に、図６（ａ）に点線で示すように、その方向にエッジを延ばす。以上の処理により、図６（ａ）に実線および点線で示すように画素を連結することができる。この結果、図６（ｂ）に示すように、エッジを検出することができる。
【００４７】
ｃａｎｎｙエッジ検出器は、検出したエッジに識別子を付与する。図６（ｂ）に示すように、エッジＥ１、エッジＥ２というように識別し、各画素がどのエッジに属するかを記憶しておく。
【００４８】
動的計画法計算部３６は、動的計画法（Dynamic Programming）による計算によって、細胞の輪郭を抽出する。動的計画法計算部３６は、細胞核の重心を中心とする所定の半径の領域（以下、この領域を「探索領域」という）において、濃度勾配をパラメータとして動的計画法を適用し、最適経路を求める。本実施の形態では、細胞核の重心から見た細胞輪郭の角度成分が単調に変位すると仮定して、動的計画法を適用する。
【００４９】
探索領域決定部３４は、細胞核の重心を中心とする所定半径の領域を動的計画法の探索領域として決定する機能を有する。また、探索領域決定部３４は、所定半径の探索領域のうちから、細胞核の領域を除外する機能を有する。細胞核の領域内に細胞の輪郭は存在しないので、細胞核の領域をあらかじめ探索領域から除外することにより、細胞輪郭を抽出するための計算負担を軽減でき、かつ細胞核の領域内を通る経路を細胞輪郭として誤って抽出しないようにできる。
【００５０】
［動的計画法］
図７は、細胞核Ａを有する細胞の輪郭を動的計画法によって計算する例を示す図である。図７において、核Ａの重心Ｇを中心とする円形領域Ｒが探索領域である。円形領域Ｒの径は、検索対象の細胞が包含されるような長さを、細胞画像の倍率等に応じてあらかじめ設定しておく。
【００５１】
動的計画法計算部３６は、円形領域Ｒの半径方向にならぶ画素群（例えば線ｔ１、ｔ２、ｔ３上の画素）のそれぞれの濃度勾配に基づいて、細胞核Ａの周りを一周する最適経路を求める。
【００５２】
図８は、動的計画法計算部３６による経路探索について説明するための図である。図８は、図７に示す探索領域Ｒを円周方向に展開した模式図である。縦軸は細胞核重心Ｇからの離れ距離を示し、横軸は角度を示す。図７に示す線ｔ１〜ｔ３は、図８に示す線ｔ１〜ｔ３に対応する。図８において、皺のように見える細かい多数の線は、エッジを示している。図８に示す画像の各画素は、濃度勾配の値と、その画素が属するエッジの識別子の情報を有している。
【００５３】
図９（ａ）は、図８に示す展開図の各画素の濃度勾配値を示す図、図９（ｂ）は、各画素のエッジの識別子を示す図である。図９（ｂ）では、エッジでない画素には、エッジの識別子として「０」を記載している。
【００５４】
動的計画法計算部３６は、最適経路の計算の最初のステップとして、重心Ｇから異なる方向に向かって並ぶ画素群をつなぐ部分最適経路を求める。
【００５５】
図９（ｃ）は、部分最適経路を求める方法について説明するための図である。図９（ｃ）では、ｔ列にある座標（ｒ，ｔ）の画素への部分最適経路を求める例を示している。例えば、ｔ−１列は図７および図８に示す線ｔ２上の画素の配列に該当し、ｔ列は線ｔ３上の画素の配列に該当する。
【００５６】
図９（ｃ）に矢印で示すように、動的計画法計算部３６は、座標（ｒ，ｔ）とｔ−１列の各座標（ｒ＋ｋ，ｔ−１）とをそれぞれ比較して、部分最適経路を計算する。なお、図９（ｃ）において、上段の２列からは矢印が伸びていない。これは、上段の２列は細胞核Ａの領域であり、探索領域決定部３４によって、探索領域から除外されているためである。動的計画法計算部３６は、部分最適経路を求めるために、動的計画法スコア（以下、「ＤＰスコア」という）を求める。以下の式（３）は、座標（ｒ，ｔ）におけるＤＰスコアｄ（ｒ，ｔ）を求めるための式である。
【数３】
【００５７】
式（３）の右辺のｍａｘ関数内の第１項の変数ｄ（ｒ＋ｋ，ｔ−１）は、求めるべきＤＰスコアｄ（ｒ，ｔ）の一つ前のｔ−１列のそれぞれの画素のＤＰスコアを示す。ｍａｘ関数内の第２項の変数は、ギャップペナルティ（gap_penalty）を示す。ギャップペナルティは、座標（ｒ，ｔ）の画素とｔ−１列の計算対象の座標（ｒ＋ｋ，ｔ−１）の画素が同じエッジ識別子を有する場合、座標（ｒ，ｔ）の画素と座標（ｒ＋ｋ，ｔ−１）の画素のいずれかがエッジ識別子を有しない場合には弱めのギャップペナルティＧ１とし、エッジ識別子が異なる場合には強めのギャップペナルティＧ２（Ｇ２＜Ｇ１）とする。これにより、エッジ識別子が異なる場合には、強めのギャップペナルティが働くため、部分最適経路として選択されにくくなる。なお、エッジ識別子が同じであるか否かは、図９（ｂ）に示すデータを用いて判断する。
【００５８】
第２項でギャップペナルティに乗じられている係数ｋは、計算対象の画素（ｒ，ｔ）とｔ−１列の計算対象の画素（座標（ｒ＋ｋ，ｔ−１））とが半径方向に何画素ずれているか（重心Ｇからの離れ距離の差）を示している。これにより、計算対象の２つの画素のずれが大きくなるに従って、ギャップペナルティが大きくなるため、部分最適経路として選択されにくくなる。
【００５９】
動的計画法計算部３６は、座標（ｒ，ｔ）の画素のＤＰスコアを与えるｔ−１列の画素を座標（ｒ，ｔ）への部分最適経路として記憶する。ここで、座標（ｒ，ｔ）の画素のＤＰスコアを与えるｔ−１列の画素とは、ｍａｘ関数内の数値が最も大きくなる画素であり、ギャップペナルティ（gap_penalty）に画素のずれ（ｋ）を乗じた値が最小となる画素である。
【００６０】
動的計画法計算部３６は、ｔ列の全画素について上記計算を行い、それぞれの画素に対する部分最適経路を求める。ｔ列についての計算が終了すると、動的計画法計算部３６は、上記と同様にして、ｔ＋１列、ｔ＋２列・・・と順次計算を行い、各画素列間の部分最適経路を求める。動的計画法計算部３６は、計算対象の画素列を選択する方向を少しずつ変えながら部分最適経路の計算を行い、選択する画素列が一周して計算を開始した画素列に戻るまで計算を行う。すなわち、重心Ｇの周りの全方向の画素列について計算を行う。探索領域内の全画素についての計算が終了すると、動的計画法計算部３６は、部分最適経路を順次たどっていくことによって、複数の経路が形成されることとなる。これが、最適経路の候補経路となる（図９（ｄ）参照）。
【００６１】
細胞輪郭決定部３８は、動的計画法計算部３６によって計算されたＤＰスコアに基づいて、細胞輪郭を決定する機能を有する。動的計画法計算部３６によるＤＰスコアの計算が終端（図７では、線ｔ１）まで行われた後、細胞輪郭決定部３８は、複数の候補経路を最終地点におけるＤＰスコアに従って降順にソートする。細胞輪郭決定部３８は、ソートされた候補経路をＤＰスコアの高いほうから順に見ていき、境界条件を満たす経路を求める。境界条件を満たす経路とは、計算の始点と終点における縦軸の値（半径方向のずれ）が一定範囲内にある経路である。この構成により、細胞の領域が閉じた輪郭によって囲まれているという特性を利用して、適切な経路を細胞の輪郭として抽出できる。
【００６２】
図１０は、経路探索結果を示す図である。図１０に点線で示すように、複数の候補経路が存在するが、最終的には、境界条件を満たす実線で示す経路が最適経路として選択される。
【００６３】
図１１〜図１３は、本実施の形態の細胞輪郭抽出装置１０の動作を示す図である。図１１は細胞輪郭抽出装置１０の全体の動作を示す図、図１２は細胞核輪郭抽出の動作を示す図、図１３は細胞輪郭抽出の動作を示す図である。
【００６４】
図１１に示すように、細胞輪郭抽出装置１０は、細胞の染色画像を取得する（Ｓ１０）。次に、細胞輪郭抽出装置１０は、細胞核輪郭抽出部２０によって細胞核輪郭を抽出し（Ｓ１２）、細胞輪郭抽出部３０によって細胞輪郭を抽出する（Ｓ１４）。細胞輪郭抽出装置１０は、抽出した細胞輪郭を表示部１６にて表示する（Ｓ１６）。
【００６５】
図１２を参照して、細胞核輪郭抽出処理について詳しく説明する。細胞輪郭抽出装置１０は、取得した染色画像を表示部１６にて表示し（Ｓ２０）、ユーザから細胞核の選択を受け付ける（Ｓ２２）。表示された画像上で、ユーザがマウスをクリックすると、細胞輪郭抽出装置１０の入力部１４は、マウスが指示している画素の色相、明度、彩度の情報をグレースケール変換部２２に伝送する。グレースケール変換部２２は、入力部１４より受信した色相、明度、彩度の情報を用いて、細胞の画像をグレースケール画像に変換する（Ｓ２４）。
【００６６】
次に、細胞輪郭抽出装置１０は、所定の閾値を用いて細胞のグレースケール画像から連結成分を検出し（Ｓ２６）、検出された連結成分の領域に凸包処理を行うことによって細胞核の領域を決定する（Ｓ２８）。
【００６７】
次に、図１３を参照して、細胞輪郭抽出処理について詳しく説明する。細胞輪郭抽出装置１０は、Ｇａｕｓｓフィルタを用いて、グレースケール画像を平滑化し（Ｓ３０）、平滑化された画像に、Ｓｏｂｅｌフィルタをかけて隣接画素との濃度勾配を求める（Ｓ３２）。具体的には、縦方向および横方向のＳｏｂｅｌフィルタをかけて、縦方向に対する濃度勾配および横方向に対する濃度勾配を求め、各濃度勾配をベクトル合成することにより、濃度勾配の方向および大きさを求める。次に、細胞輪郭抽出装置１０は、濃度勾配の値を用い、図６（ａ）および図６（ｂ）を参照して説明した方法によって、エッジを検出する（Ｓ３４）。細胞輪郭抽出装置１０は、検出したエッジに識別子を付与する（Ｓ３４）。
【００６８】
次に、細胞輪郭抽出装置１０は、探索領域を決定する（Ｓ３６）。探索領域決定部３４は、画像内にある細胞核に着目し、細胞核の重心Ｇを中心とする円形領域を探索領域として決定する。また、探索領域決定部３４は、細胞核領域の濃度勾配値を０に設定して探索領域から除外し、探索領域を細胞核が存在しない領域に限定する（Ｓ３８）。
【００６９】
続いて、細胞輪郭抽出装置１０は、動的計画法を用いて、重心Ｇから異なる方向に向かって並んだそれぞれの画素列間の部分最適経路を順次計算し（Ｓ４０）、部分最適経路をたどって生成された複数の候補経路の中から、最終地点におけるＤＰスコアおよび境界条件に基づいて最適経路を決定する（Ｓ４２）。細胞輪郭抽出装置１０は、画像内に検出された全細胞核について輪郭抽出処理を完了したか否かを判定し（Ｓ４４）、全細胞核について処理を完了している場合には（Ｓ４４でＹＥＳ）、細胞抽出処理を終了する。輪郭抽出処理を完了していない細胞核がある場合には、その細胞核を含む細胞輪郭を求めるための探索領域を決定するステップＳ３６に移行し、上記と同様の処理によって細胞輪郭を求める。
【００７０】
図１４は、細胞輪郭抽出装置１０によって細胞の輪郭Ｌを抽出した結果を示す図である。細胞輪郭抽出装置１０は、表示部１６にて、図１４に示すような輪郭Ｌの抽出結果を表示する。
以上、本実施の形態の細胞輪郭抽出装置１０の構成および動作について説明した。
【００７１】
本実施の形態では、細胞の中に細胞核が存在するという特徴を利用して、細胞核の領域内の所定点の周りを一周する最適経路を動的計画法によって計算しているので、細胞の輪郭を適切に抽出することができる。
【００７２】
本実施の形態では、動的計画法計算部３６は、細胞核の重心Ｇから見た細胞輪郭の角度成分が単調に変位すると仮定して、一方向に計算を進めていくので計算処理を軽減できる。従来の手法では、計算対象の画素の周囲８方向のいずれかの画素を部分最適経路として求めていくため、最適経路が右に行ったり、左に行ったりして計算が収束しない場合があったり、収束までの計算コストが大きくなる場合があった。本実施の形態によれば、細胞核の重心Ｇを中心に、一方向に角度を変えつつ３６０度の範囲で計算するので、計算を容易に行える。
【００７３】
本実施の形態では、異なる方向に並んだ２つの画素列にそれぞれ含まれる画素を計算対象として部分最適経路を求めており、画素が隣接することを最適経路の条件としていないので、隣接していない画素どうしをつなぐ経路が最適経路として求められる可能性がある。これにより、例えば、輪郭の一部が切れている場合にも適切な最適経路を求めることができる。
【００７４】
本実施の形態では、エッジ検出部３２にて検出されたエッジのエッジ識別子が異なる場合には強いギャップペナルティを設定し、エッジ識別子が同じ場合には弱いギャップペナルティを設定しているので、同じエッジに属する画素をつなぐ経路が部分最適経路として選択されやすくなる。エッジ検出部３２によるエッジ検出の結果を利用して、部分最適経路を適切に求めることができる。
【００７５】
本実施の形態では、動的計画法計算部３６は、計算対象の２つの画素の半径方向の何画素ずれているかを示す係数ｋをギャップペナルティに乗じているので、半径方向のずれが大きい場合には、ギャップペナルティが強く作用し、部分最適経路として選択されにくくなる。これにより、連続性の高い経路が部分最適経路として選択される。
【００７６】
本実施の形態では、細胞核の重心Ｇから所定の方向に並んだいずれかの画素列から計算を開始すればよいので、ユーザが最適経路の探索の開始点を設定する必要がない。
【００７７】
（第２の実施の形態）
次に、本発明の第２の実施の形態の細胞輪郭抽出装置について説明する。第２の実施の形態の細胞輪郭抽出装置の基本的な構成は、第１の実施の形態の細胞輪郭抽出装置１０と同じである（図１参照）。第２の実施の形態の細胞輪郭抽出装置は、装置によって求めた細胞核輪郭および細胞輪郭を表示部１６にて表示し、入力部１４より入力された指示に基づいて、細胞核輪郭および細胞輪郭を修正する機能を有する。
【００７８】
第２の実施の形態の細胞輪郭抽出装置は、細胞核輪郭抽出部２０にて検出された細胞核を染色画像上に表示し、入力部１４より細胞核の正しい領域の情報を受け付ける。入力のインターフェースとしては、例えば、細胞核の領域に含まれる部分がある場合にはマウスを右クリック、細胞核の領域から除外すべき部分についてはマウスを左クリックする等のインターフェースを用意しておく。細胞核輪郭抽出部２０は、クリックされた位置を含む所定領域を細胞核の領域に含める、あるいは除外する処理を行う。なお、この際に、処理速度を向上させるために、修正対象の細胞核を含む領域を関心領域（ＲＯＩ：Region Of Interest）として切り出してもよい。
【００７９】
次に、第２の実施の形態の細胞輪郭抽出装置による細胞輪郭の修正について説明する。
図１５（ａ）は、第２の実施の形態の細胞輪郭抽出装置にて求められた細胞輪郭Ｌ１の画像を示す図である。図１５（ａ）より、表示された細胞輪郭Ｌ１が真の細胞輪郭からずれていることが目視で確認できる。ユーザが真の細胞輪郭の一部の点Ｃを指示すると、細胞輪郭抽出装置は、点Ｃを通ることを制約条件として最適経路を再計算する。
【００８０】
具体的には、動的計画法計算部３６は、点Ｃの画素を起点として、部分最適経路の計算を行い、先に求められている細胞輪郭と一致するまで計算を行う。この場合、点Ｃを通ることが制約条件として与えられているので、最初に部分最適経路を求めたときのように、画素配列に含まれるすべての画素について部分最適経路を求める必要はなく、点Ｃを起点とする部分最適経路を逐次接続していくことで、最適経路を求める。
【００８１】
動的計画法計算部３６は、点Ｃを起点とする部分最適経路が先に求められている経路と一致した場合には、部分最適経路の計算を停止し、修正指示前の最適経路と新たに求められた最適経路とをつなぐ経路を新たな細胞の輪郭として求める。これにより、図１５（ｂ）に示すように、点Ｃを通る細胞輪郭Ｌ２が抽出される。
【００８２】
図１６は、第２の実施の形態の細胞輪郭抽出装置の動作を示す図である。細胞輪郭抽出装置は、細胞の染色画像を取得し（Ｓ５０）、染色画像から細胞核輪郭を抽出する（Ｓ５２）。ここまでの処理は、第１の実施の形態の細胞輪郭抽出装置と同じである。
【００８３】
第２の実施の形態の細胞輪郭抽出装置は、抽出した細胞核輪郭を表示部１６にて表示し（Ｓ５４）、細胞核輪郭の修正指示を受け付ける。修正指示がある場合には（Ｓ５６でＹＥＳ）、細胞輪郭抽出装置は、修正指示に従って細胞核輪郭の修正を行う（Ｓ５８）。修正指示がない場合には（Ｓ５６でＮＯ）、細胞核輪郭の修正を行わないで、細胞輪郭を抽出するステップに移行する。
【００８４】
続いて、第２の実施の形態の細胞輪郭抽出装置は、第１の実施の形態と同様に、細胞輪郭を抽出する（Ｓ６０）。細胞核輪郭抽出装置は、抽出した輪郭を表示部１６にて表示し（Ｓ６２）、ユーザからの輪郭の指定を受け付ける。輪郭の指定を受け付けた場合には（Ｓ６４でＹＥＳ）、細胞輪郭抽出装置は、指定された点を通る輪郭を再計算する（Ｓ６０）。輪郭の指定を受け付けなかった場合には（Ｓ６４でＮＯ）、細胞輪郭抽出装置は、輪郭抽出処理を終了する。
【００８５】
第２の実施の形態の細胞輪郭抽出装置は、細胞核輪郭および細胞輪郭をユーザによって手修正することができるので、より精度の高い輪郭抽出を行うことができる。
【００８６】
以上、本発明の細胞輪郭抽出装置および細胞輪郭抽出方法について、実施の形態を挙げて詳細に説明したが、本発明は上記した実施の形態に限定されるものではない。
【００８７】
上記した実施の形態では、細胞輪郭抽出装置および細胞輪郭抽出方法について説明したが、上記した細胞輪郭抽出装置の機能を実現するためのプログラムも本発明の範囲に含まれる。
【００８８】
上記した実施の形態では、画素の濃度勾配を求めるためにＳｏｂｅｌフィルタを用いる例について説明したが、濃度勾配を求めるためのフィルタはＳｏｂｅｌフィルタに限られない。例えば、Ｌａｐｌａｃｉａｎフィルタや、Ｐｒｅｗｉｔｔフィルタ等を用いてもよい。
【００８９】
上記した実施の形態では、計算対象の２つの画素のエッジ識別子の異同に応じて、異なるギャップペナルティの値を用いる例について説明したが、一定の値をギャップペナルティとして用いてもよい。この場合、エッジ検出を行う必要がないので、実施の形態より簡便な構成で、細胞輪郭抽出装置を実現することができる。
【００９０】
上記した実施の形態では、動的計画法によって細胞輪郭を計算する際に、円形の探索領域において最適経路を探索する例について説明したが、探索領域は円形に限定されない。例えば、周囲の細胞の形状に基づいて、細胞の形状を予測し、効率良く探索を行える探索領域を設定することとしてもよい。
【００９１】
上記した実施の形態では、細胞の輪郭を抽出する例について説明したが、本発明は細胞以外の対象物の輪郭抽出にも用いることができる。なお、抽出すべき輪郭が閉領域を取り囲む輪郭でなく、所定点周りに計算を進めていく方法を採用することができない場合には、エッジ識別子の異動をギャップペナルティとする動的計画法を適用するだけでも、輪郭を適切に抽出できる効果がある。
【産業上の利用可能性】
【００９２】
以上説明したように、本発明は、細胞の染色画像から細胞の輪郭を抽出する細胞輪郭抽出装置等として有用であり、例えば、病理学診断装置等に応用できる。
【図面の簡単な説明】
【００９３】
【図１】第１の実施の形態の細胞輪郭抽出装置の構成を示す図
【図２】細胞の染色画像の例を示す図
【図３】（ａ）細胞のグレースケール画像を模式的に示す図 （ｂ）Ｂ−Ｂ方向の画素値の強度を示す図
【図４】（ａ）凸包処理を行う前の細胞核の画像を示す図 （ｂ）凸包処理を行った後の細胞核の画像を示す図
【図５】（ａ）横方向の濃度勾配を求めるＳｏｂｅｌフィルタの例を示す図 （ｂ）縦方向の濃度勾配を求めるＳｏｂｅｌフィルタの例を示す図
【図６】（ａ）ｃａｎｎｙエッジ検出器によるエッジ検出について説明するための図 （ｂ）ｃａｎｎｙエッジ検出器によって検出されたエッジの例を示す図
【図７】動的計画法について説明するための図
【図８】動的計画法について説明するための図
【図９】（ａ）図８に示す展開図における各画素の濃度勾配値を示す図 （ｂ）図８に示す展開図における各画素のエッジ識別子を示す図 （ｃ）部分最適経路の計算について説明するための図 （ｄ）部分最適経路の例を示す図
【図１０】最適経路の候補となる複数の候補経路および最適経路を示す図
【図１１】第１の実施の形態の細胞輪郭抽出装置の動作の流れを示す図
【図１２】第１の実施の形態の細胞輪郭抽出装置による細胞核輪郭抽出の動作の流れを示す図
【図１３】第１の実施の形態の細胞輪郭抽出装置による細胞輪郭抽出の動作の流れを示す図
【図１４】第１の実施の形態の細胞輪郭抽出装置による細胞輪郭抽出結果を示す図
【図１５】（ａ）第２の実施の形態の細胞輪郭抽出装置による細胞輪郭抽出結果を示す図 （ｂ）修正された細胞輪郭を示す図
【図１６】第２の実施の形態の細胞輪郭抽出装置の動作の流れを示す図
【符号の説明】
【００９４】
１０ 細胞輪郭抽出装置
１２ 画像取得部
１４ 入力部
１６ 表示部
１８ 画像データ記憶部
２０ 細胞核輪郭抽出部
２２ グレースケール変換部
２４ 連結成分抽出部
２６ 凸包処理部
３０ 細胞輪郭抽出部
３２ エッジ検出部
３４ 探索領域決定部
３６ 動的計画法計算部
３８ 細胞輪郭決定部
【特許請求の範囲】
【請求項１】
顕微鏡によって撮影された細胞の染色画像を取得する画像取得部と、
前記染色画像から細胞核の領域を検出する細胞核検出部と、
前記染色画像の各画素について隣接画素との濃度勾配を求める濃度勾配算出部と、
前記細胞核の周りを一周する最適経路を、前記濃度勾配をパラメータとする動的計画法によって求め、前記最適経路を細胞の輪郭として抽出する細胞輪郭抽出部と、
を備え、
前記細胞輪郭抽出部は、前記細胞核の領域内にある所定点から異なる方向に向かって並ぶ２つの画素配列にそれぞれ含まれる画素群をつなぐ部分最適経路を計算する処理を、前記画素配列の方向が前記所定点の周りで一周するまで前記画素配列の方向を変えて繰り返し行い、前記部分最適経路に基づいて前記最適経路を求める細胞輪郭抽出装置。
【請求項２】
前記細胞輪郭抽出部は、前記部分最適経路に基づいて前記最適経路の候補となる複数の候補経路を求め、前記候補経路の中から、前記部分最適経路の計算を開始した画素配列において候補経路が通る画素の前記所定点からの離れ距離と、計算を終了した画素配列において候補経路が通る画素の前記所定点からの離れ距離との差が、所定の閾値以下となる候補経路を前記最適経路として決定する請求項１に記載の細胞輪郭抽出装置。
【請求項３】
前記細胞輪郭抽出部は、異なる画素配列にそれぞれ含まれる計算対象の画素の前記所定点からの離れ距離の差に基づいてギャップペナルティを算出し、前記ギャップペナルティと前記濃度勾配とに基づいて前記部分最適経路を求める請求項１に記載の細胞輪郭抽出装置。
【請求項４】
前記濃度勾配に基づいて、前記染色画像内にある複数のエッジを抽出し、それぞれのエッジを構成する画素にエッジ識別子を付与するエッジ検出部を備え、
前記細胞輪郭抽出部は、異なる画素配列にそれぞれ含まれる計算対象の画素の前記所定点からの離れ距離の差と前記エッジ識別子の異同に基づいて前記ギャップペナルティを算出する請求項３に記載の細胞輪郭抽出装置。
【請求項５】
前記細胞輪郭抽出部は、前記細胞核検出部にて検出された細胞核の領域を前記最適経路の探索領域から除外する請求項１に記載の細胞輪郭抽出装置。
【請求項６】
前記細胞輪郭抽出部にて抽出された輪郭を前記細胞の画像上に表示する表示部と、
前記表示部にて表示された画像において指示された点の位置情報を受け付ける入力部と、
を備え、
前記細胞輪郭抽出部は、指示された点を通る最適経路を求める請求項１に記載の細胞輪郭抽出装置。
【請求項７】
画像を取得する画像取得部と、
前記画像の各画素について隣接画素との濃度勾配を求める濃度勾配算出部と、
前記濃度勾配に基づいて、前記画像内にある複数のエッジを抽出し、それぞれのエッジを構成する画素にエッジ識別子を付与するエッジ検出部と、
前記画像中に含まれる対象物の輪郭を、前記濃度勾配をパラメータとする動的計画法による最適経路探索によって計算する輪郭抽出部と、
を備え、
前記輪郭抽出部は、前記エッジ識別子の異同に基づいてギャップペナルティを算出し、前記ギャップペナルティと前記濃度勾配とに基づいて最適経路を求める輪郭抽出装置。
【請求項８】
顕微鏡によって撮影された細胞の染色画像を取得するステップと、
前記染色画像から細胞核の領域を検出するステップと、
前記染色画像の各画素について隣接画素との濃度勾配を求めるステップと、
前記細胞核の周りを一周する最適経路を、前記濃度勾配をパラメータとする動的計画法によって求め、前記最適経路を細胞の輪郭として抽出するステップであって、前記細胞核の領域内にある所定点から異なる方向に向かって並ぶ２つの画素配列にそれぞれ含まれる画素群をつなぐ部分最適経路を計算する処理を、前記画素配列の方向が前記所定点の周りで一周するまで前記画素配列の方向を変えて繰り返し行い、前記部分最適経路に基づいて前記最適経路を求めるステップと、
を備える細胞輪郭抽出方法。
【請求項９】
細胞の染色画像から細胞の輪郭を抽出するためのプログラムであって、コンピュータに、
顕微鏡によって撮影された細胞の染色画像を取得するステップと、
前記染色画像から細胞核の領域を検出するステップと、
前記染色画像の各画素について隣接画素との濃度勾配を求めるステップと、
前記細胞核の周りを一周する最適経路を、前記濃度勾配をパラメータとする動的計画法によって求め、前記最適経路を細胞の輪郭として抽出するステップであって、前記細胞核の領域内にある所定点から異なる方向に向かって並ぶ２つの画素配列にそれぞれ含まれる画素群をつなぐ部分最適経路を計算する処理を、前記画素配列の方向が前記所定点の周りで一周するまで前記画素配列の方向を変えて繰り返し行い、前記部分最適経路に基づいて前記最適経路を求めるステップと、
を実行させるプログラム。
【請求項１】
顕微鏡によって撮影された細胞の染色画像を取得する画像取得部と、
前記染色画像から細胞核の領域を検出する細胞核検出部と、
前記染色画像の各画素について隣接画素との濃度勾配を求める濃度勾配算出部と、
前記細胞核の周りを一周する最適経路を、前記濃度勾配をパラメータとする動的計画法によって求め、前記最適経路を細胞の輪郭として抽出する細胞輪郭抽出部と、
を備え、
前記細胞輪郭抽出部は、前記細胞核の領域内にある所定点から異なる方向に向かって並ぶ２つの画素配列にそれぞれ含まれる画素群をつなぐ部分最適経路を計算する処理を、前記画素配列の方向が前記所定点の周りで一周するまで前記画素配列の方向を変えて繰り返し行い、前記部分最適経路に基づいて前記最適経路を求める細胞輪郭抽出装置。
【請求項２】
前記細胞輪郭抽出部は、前記部分最適経路に基づいて前記最適経路の候補となる複数の候補経路を求め、前記候補経路の中から、前記部分最適経路の計算を開始した画素配列において候補経路が通る画素の前記所定点からの離れ距離と、計算を終了した画素配列において候補経路が通る画素の前記所定点からの離れ距離との差が、所定の閾値以下となる候補経路を前記最適経路として決定する請求項１に記載の細胞輪郭抽出装置。
【請求項３】
前記細胞輪郭抽出部は、異なる画素配列にそれぞれ含まれる計算対象の画素の前記所定点からの離れ距離の差に基づいてギャップペナルティを算出し、前記ギャップペナルティと前記濃度勾配とに基づいて前記部分最適経路を求める請求項１に記載の細胞輪郭抽出装置。
【請求項４】
前記濃度勾配に基づいて、前記染色画像内にある複数のエッジを抽出し、それぞれのエッジを構成する画素にエッジ識別子を付与するエッジ検出部を備え、
前記細胞輪郭抽出部は、異なる画素配列にそれぞれ含まれる計算対象の画素の前記所定点からの離れ距離の差と前記エッジ識別子の異同に基づいて前記ギャップペナルティを算出する請求項３に記載の細胞輪郭抽出装置。
【請求項５】
前記細胞輪郭抽出部は、前記細胞核検出部にて検出された細胞核の領域を前記最適経路の探索領域から除外する請求項１に記載の細胞輪郭抽出装置。
【請求項６】
前記細胞輪郭抽出部にて抽出された輪郭を前記細胞の画像上に表示する表示部と、
前記表示部にて表示された画像において指示された点の位置情報を受け付ける入力部と、
を備え、
前記細胞輪郭抽出部は、指示された点を通る最適経路を求める請求項１に記載の細胞輪郭抽出装置。
【請求項７】
画像を取得する画像取得部と、
前記画像の各画素について隣接画素との濃度勾配を求める濃度勾配算出部と、
前記濃度勾配に基づいて、前記画像内にある複数のエッジを抽出し、それぞれのエッジを構成する画素にエッジ識別子を付与するエッジ検出部と、
前記画像中に含まれる対象物の輪郭を、前記濃度勾配をパラメータとする動的計画法による最適経路探索によって計算する輪郭抽出部と、
を備え、
前記輪郭抽出部は、前記エッジ識別子の異同に基づいてギャップペナルティを算出し、前記ギャップペナルティと前記濃度勾配とに基づいて最適経路を求める輪郭抽出装置。
【請求項８】
顕微鏡によって撮影された細胞の染色画像を取得するステップと、
前記染色画像から細胞核の領域を検出するステップと、
前記染色画像の各画素について隣接画素との濃度勾配を求めるステップと、
前記細胞核の周りを一周する最適経路を、前記濃度勾配をパラメータとする動的計画法によって求め、前記最適経路を細胞の輪郭として抽出するステップであって、前記細胞核の領域内にある所定点から異なる方向に向かって並ぶ２つの画素配列にそれぞれ含まれる画素群をつなぐ部分最適経路を計算する処理を、前記画素配列の方向が前記所定点の周りで一周するまで前記画素配列の方向を変えて繰り返し行い、前記部分最適経路に基づいて前記最適経路を求めるステップと、
を備える細胞輪郭抽出方法。
【請求項９】
細胞の染色画像から細胞の輪郭を抽出するためのプログラムであって、コンピュータに、
顕微鏡によって撮影された細胞の染色画像を取得するステップと、
前記染色画像から細胞核の領域を検出するステップと、
前記染色画像の各画素について隣接画素との濃度勾配を求めるステップと、
前記細胞核の周りを一周する最適経路を、前記濃度勾配をパラメータとする動的計画法によって求め、前記最適経路を細胞の輪郭として抽出するステップであって、前記細胞核の領域内にある所定点から異なる方向に向かって並ぶ２つの画素配列にそれぞれ含まれる画素群をつなぐ部分最適経路を計算する処理を、前記画素配列の方向が前記所定点の周りで一周するまで前記画素配列の方向を変えて繰り返し行い、前記部分最適経路に基づいて前記最適経路を求めるステップと、
を実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２００８−１４６２７８（Ｐ２００８−１４６２７８Ａ）
【公開日】平成２０年６月２６日（２００８．６．２６）
【国際特許分類】
【出願番号】特願２００６−３３１４１６（Ｐ２００６−３３１４１６）
【出願日】平成１８年１２月８日（２００６．１２．８）
【出願人】（３０１０２１５３３）独立行政法人産業技術総合研究所 (6,529)
【Ｆターム（参考）】
【公開日】平成２０年６月２６日（２００８．６．２６）
【国際特許分類】
【出願日】平成１８年１２月８日（２００６．１２．８）
【出願人】（３０１０２１５３３）独立行政法人産業技術総合研究所 (6,529)
【Ｆターム（参考）】
[ Back to top ]