画像処理装置および画像処理プログラム
【課題】細胞領域を容易に判別可能に表示できるとともに、細胞の経時変化の観測作業を容易にできること。
【解決手段】画像処理装置１は、各観測画像の中から個々の細胞に対応する細胞領域を認識する細胞認識部２ａと、細胞認識部２ａによって認識された各細胞領域の特徴を示す細胞特徴量を算出する特徴量算出部２ｂと、各観測画像の細胞特徴量をもとに、各観測画像内の細胞に同一性があるか否かを判断し、同一性があると判断した各細胞に対応する細胞領域を関連付ける細胞追跡部２ｃと、細胞認識部２ａが認識した各細胞領域に表示部４によって表示可能な異なる描画色を対応付ける描画色割当部２ｄと、描画色割当部２ｄによって対応付けられた描画色によって各細胞領域を彩色した彩色画像を生成し、生成した彩色画像を表示部４に表示させる制御を行う表示処理制御部７ｂと、を備える。
【解決手段】画像処理装置１は、各観測画像の中から個々の細胞に対応する細胞領域を認識する細胞認識部２ａと、細胞認識部２ａによって認識された各細胞領域の特徴を示す細胞特徴量を算出する特徴量算出部２ｂと、各観測画像の細胞特徴量をもとに、各観測画像内の細胞に同一性があるか否かを判断し、同一性があると判断した各細胞に対応する細胞領域を関連付ける細胞追跡部２ｃと、細胞認識部２ａが認識した各細胞領域に表示部４によって表示可能な異なる描画色を対応付ける描画色割当部２ｄと、描画色割当部２ｄによって対応付けられた描画色によって各細胞領域を彩色した彩色画像を生成し、生成した彩色画像を表示部４に表示させる制御を行う表示処理制御部７ｂと、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一連の画像を処理して表示する画像処理装置および画像処理プログラムに関し、特に、複数の観測時点に細胞を撮像して記録した各観測画像を処理して表示する画像処理装置および画像処理プログラムに関するものである。
【背景技術】
【０００２】
従来、顕微鏡を利用して種々の細胞を標本とする観測が行われている。多くの生細胞を培養した試料の経時的な観測では、通常、顕微鏡に装着した撮像装置によって複数の観測時点に細胞を撮像して記録した一連の画像の中から、個々の細胞領域を抽出して各細胞の経時変化を解析する。
【０００３】
たとえば、特許文献１に開示されている評価装置では、細胞を記録した時系列の画像に対して、先頭の画像の各細胞領域に対話的に識別マークを付与し、付与した識別マークを以降の画像に引き継がせ、細胞の移動・分裂等が生じた場合、識別マークを修正するようにして、個々の細胞の経時変化を追跡し観測するようにしている。この評価装置では、細胞分裂率や細胞の世代系譜など、細胞の発生学に関するデータを得ることができる。
【０００４】
【特許文献１】特許第２９３０６１８号公報
【非特許文献１】Vincent & Soille , "Watersheds in Digital Spaces : An Efficient Algorithm Based on Immersion Simulations", IEEE TRANS ACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL.13, NO.6, JUNE 1991
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、多くの細胞を経時的に記録した一連の大量の画像を計算機によって解析する場合、記録された細胞の数や輝度の変化などの統計的な情報のみ取得して、細胞の個別の変化などを見落とす恐れがある。このため、個々の細胞の状態や状態変化を迅速に確認可能な解析手段が必要とされている。
【０００６】
しかしながら、上述した従来の評価装置では、観測者によって手作業で各細胞領域に識別マークを付与することが前提とされており、多数の細胞を記録した画像を対象とする場合、すべての細胞領域に識別マークを付与するために膨大な時間と労力を要するという問題があった。
【０００７】
また、多数の細胞領域に識別マークを付与した場合、識別マークに対応する細胞領域の特定や識別マーク自体の判別が困難となり、各細胞領域の把握、画像間の同一細胞の把握、画像間の各細胞の移動、変形、拡大、縮小、分裂等の状態変化の把握などが困難となる場合が生じるという問題があった。識別マーク自体の判別については、特に、画像中の細胞の密度が高くなるほど類似した識別マークが多数存在する、識別マーク同士の重なり合いが多数発生するなど、視認性が悪化するという問題があった。なお、このような問題は、識別マークの代わりに識別番号を用いた場合にも発生する。
【０００８】
本発明は、上記に鑑みてなされたものであって、観測画像に記録された複数の細胞に対応する各細胞領域を自動で識別し、識別した各細胞領域を容易に判別可能に表示することができるとともに、複数の観測時点に撮像された観測画像間で生じた細胞の経時変化の観測作業を容易にすることができる画像処理装置および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記の目的を達成するために、請求項１にかかる画像処理装置は、複数の細胞が記録された観測画像を処理して表示手段に表示させる画像処理装置において、前記観測画像の中から前記細胞の画像領域である細胞領域を認識する細胞認識手段と、前記細胞認識手段が認識した各細胞領域に前記表示手段によって表示可能な異なる描画色を自動的に対応付ける描画色対応付け手段と、前記対応付け手段によって対応付けられた描画色によって前記各細胞領域を彩色した彩色画像を生成し、該生成した彩色画像を前記表示手段に表示させる制御を行う表示制御手段と、を備えたことを特徴とする。
【００１０】
また、請求項２にかかる画像処理装置は、上記の発明において、前記描画色対応付け手段は、前記細胞領域に対応付けるそれぞれの描画色が所定の色空間内で広く分布するように前記各細胞領域に描画色を対応付けることを特徴とする。
【００１１】
また、請求項３にかかる画像処理装置は、上記の発明において、前記描画色対応付け手段は、前記各細胞領域以外の背景領域に所定の背景描画色を対応付けるとともに、所定の色空間内で前記背景描画色から所定距離以上に離れた描画色を前記各細胞領域に対応付けることを特徴とする。
【００１２】
また、請求項４にかかる画像処理装置は、上記の発明において、前記描画色対応付け手段は、互いに近傍に位置する各細胞領域に、所定の色空間内で所定の識別距離以上に離れた描画色を対応付けることを特徴とする。
【００１３】
また、請求項５にかかる画像処理装置は、上記の発明において、前記描画色対応付け手段は、ＨＳＩ色空間内で彩度が大きい周縁部に示される描画色を前記各細胞領域に対応付けることを特徴とする。
【００１４】
また、請求項６にかかる画像処理装置は、上記の発明において、前記細胞認識手段によって認識された各細胞領域の特徴を示す細胞特徴量を算出する特徴量算出手段を備え、
前記描画色対応付け手段は、前記細胞特徴量をもとに前記各細胞領域内の細胞の種類および状態を判別し、該判別した種類および状態の少なくとも一方に応じて前記各細胞領域に描画色を対応付けることを特徴とする。
【００１５】
また、請求項７にかかる画像処理装置は、上記の発明において、前記描画色対応付け手段は、前記細胞の種類および状態の少なくとも一方に応じて、前記各細胞領域に、所定の色空間内の一部である部分色空間を割り当てるとともに、該部分色空間内の描画色を対応付けることを特徴とする。
【００１６】
また、請求項８にかかる画像処理装置は、上記の発明において、前記細胞認識手段は、前記細胞領域が隣接した細胞領域群を認識し、前記描画色対応付け手段は、前記細胞領域群内の各細胞領域の境界部分に該各細胞領域と異なる描画色を対応付けることを特徴とする。
【００１７】
また、請求項９にかかる画像処理装置は、上記の発明において、前記観測画像は、複数の観測時点に撮像された一連の画像であり、前記細胞認識手段によって認識された各細胞領域の特徴を示す細胞特徴量を算出する特徴量算出手段と、前記観測時点が異なる各観測画像の前記細胞特徴量をもとに、該各観測画像内の細胞に同一性があるか否かを判断し、同一性があると判断した各細胞に対応する細胞領域を関連付ける細胞追跡手段と、を備え、前記描画色対応付け手段は、前記細胞追跡手段によって関連付けられた各細胞領域に等しい描画色を対応付け、前記表示制御手段は、前記観測時点ごとに前記彩色画像を生成し、該生成した各彩色画像を前記表示手段に表示させる制御を行うことを特徴とする。
【００１８】
また、請求項１０にかかる画像処理装置は、上記の発明において、前記描画色対応付け手段は、前記観測時点が異なる各観測画像の一方の観測画像内の１細胞領域と他方の観測画像内の複数の細胞領域とが前記細胞追跡手段によって関連付けられた場合、該関連付けられたすべての細胞領域に等しい描画色を対応付けることを特徴とする。
【００１９】
また、請求項１１にかかる画像処理装置は、上記の発明において、前記描画色対応付け手段は、前記観測時点の時系列順に各観測画像に前記描画色の対応付けを行い、処理対象の観測画像より時系列で前にある観測画像内の隔たった細胞領域に関連付けられ類似の描画色を対応付けた各類似色細胞領域が、該処理対象の観測画像内で互いに近傍に位置した場合、該各類似色細胞領域の少なくとも１つに、互いに類似しない非類似描画色であり、かつ、該処理対象の観測画像より時系列で前にあるすべての観測画像において関連付けられた各関連細胞領域の近傍に位置する近傍細胞領域に対応付けられた描画色と類似しない非類似描画色をあらためて対応付けることを特徴とする。
【００２０】
また、請求項１２にかかる画像処理装置は、上記の発明において、前記表示制御手段は、各観測時点に対応する前記各彩色画像を同一位置で切り替えて表示するように前記表示手段を制御することを特徴とする。
【００２１】
また、請求項１３にかかる画像処理装置は、上記の発明において、前記細胞領域を選択する選択情報を受け付ける選択情報入力手段を備え、前記表示制御手段は、前記各彩色画像の中から、前記選択情報によって選択された細胞領域と、前記細胞追跡手段によって該細胞領域に関連付けられた細胞領域と、を抽出して前記表示手段に表示させる制御を行うことを特徴とする。
【００２２】
また、請求項１４にかかる画像処理装置は、上記の発明において、前記表示制御手段は、前記観測画像内の各細胞領域の輝度に応じて該各細胞領域の前記彩色画像上の輝度を変更した輝度補正彩色画像を生成し、該生成した輝度補正彩色画像を前記表示手段に表示させる制御を行うことを特徴とする。
【００２３】
また、請求項１５にかかる画像処理プログラムは、複数の細胞が記録された観測画像を処理する画像処理装置に、前記観測画像を処理して表示手段に表示させるための画像処理プログラムであって、前記画像処理装置に、前記観測画像の中から前記細胞の画像領域である細胞領域を認識する細胞認識手順と、前記細胞認識手順によって認識された各細胞領域に前記表示手段によって表示可能な異なる描画色を自動的に対応付ける描画色対応付け手順と、前記対応付け手順によって対応付けられた描画色によって前記各細胞領域を彩色した彩色画像を生成し、該生成した彩色画像を前記表示手段に表示させる制御を行う表示制御手順と、を実行させることを特徴とする。
【００２４】
また、請求項１６にかかる画像処理プログラムは、上記の発明において、前記描画色対応付け手順は、前記細胞領域に対応付けるそれぞれの描画色が所定の色空間内で広く分布するように前記各細胞領域に描画色を対応付けることを特徴とする。
【００２５】
また、請求項１７にかかる画像処理プログラムは、上記の発明において、前記描画色対応付け手順は、前記各細胞領域以外の背景領域に所定の背景描画色を対応付けるとともに、所定の色空間内で前記背景描画色から所定距離以上に離れた描画色を前記各細胞領域に対応付けることを特徴とする。
【００２６】
また、請求項１８にかかる画像処理プログラムは、上記の発明において、前記描画色対応付け手順は、互いに近傍に位置する各細胞領域に、所定の色空間内で所定の識別距離以上に離れた描画色を対応付けることを特徴とする。
【００２７】
また、請求項１９にかかる画像処理プログラムは、上記の発明において、前記描画色対応付け手順は、ＨＳＩ色空間内で彩度が大きい周縁部に示される描画色を前記各細胞領域に対応付けることを特徴とする。
【００２８】
また、請求項２０にかかる画像処理プログラムは、上記の発明において、前記細胞認識手順によって認識された各細胞領域の特徴を示す細胞特徴量を算出する特徴量算出手順をさらに実行させ、前記描画色対応付け手順は、前記細胞特徴量をもとに前記各細胞領域内の細胞の種類および状態を判別し、該判別した種類および状態の少なくとも一方に応じて前記各細胞領域に描画色を対応付けることを特徴とする。
【００２９】
また、請求項２１にかかる画像処理プログラムは、上記の発明において、前記描画色対応付け手順は、前記細胞の種類および状態の少なくとも一方に応じて、前記各細胞領域に、所定の色空間内の一部である部分色空間を割り当てるとともに、該部分色空間内の描画色を対応付けることを特徴とする。
【００３０】
また、請求項２２にかかる画像処理プログラムは、上記の発明において、前記細胞認識手順は、前記細胞領域が隣接した細胞領域群を認識し、前記描画色対応付け手順は、前記細胞領域群内の各細胞領域の境界部分に該各細胞領域と異なる描画色を対応付けることを特徴とする。
【００３１】
また、請求項２３にかかる画像処理プログラムは、上記の発明において、前記観測画像は、複数の観測時点に撮像された一連の画像であり、前記細胞認識手順によって認識された各細胞領域の特徴を示す細胞特徴量を算出する特徴量算出手順と、前記観測時点が異なる各観測画像の前記細胞特徴量をもとに、該各観測画像内の細胞に同一性があるか否かを判断し、同一性があると判断した各細胞に対応する細胞領域を関連付ける細胞追跡手順と、をさらに実行させ、前記描画色対応付け手順は、前記細胞追跡手段によって関連付けられた各細胞領域に等しい描画色を対応付け、前記表示制御手順は、前記観測時点ごとに前記彩色画像を生成し、該生成した各彩色画像を前記表示手段に表示させる制御を行うことを特徴とする。
【００３２】
また、請求項２４にかかる画像処理プログラムは、上記の発明において、前記描画色対応付け手順は、前記観測時点が異なる各観測画像の一方の観測画像内の１細胞領域と他方の観測画像内の複数の細胞領域とが前記細胞追跡手順によって関連付けられた場合、該関連付けられたすべての細胞領域に等しい描画色を対応付けることを特徴とする。
【００３３】
また、請求項２５にかかる画像処理プログラムは、上記の発明において、前記描画色対応付け手順は、前記観測時点の時系列順に各観測画像に前記描画色の対応付けを行い、処理対象の観測画像より時系列で前にある観測画像内の隔たった細胞領域に関連付けられ類似の描画色を対応付けた各類似色細胞領域が、該処理対象の観測画像内で互いに近傍に位置した場合、該各類似色細胞領域の少なくとも１つに、互いに類似しない非類似描画色であり、かつ、該処理対象の観測画像より時系列で前にあるすべての観測画像において関連付けられた各関連細胞領域の近傍に位置する近傍細胞領域に対応付けられた描画色と類似しない非類似描画色をあらためて対応付けることを特徴とする。
【００３４】
また、請求項２６にかかる画像処理プログラムは、上記の発明において、前記表示制御手順は、各観測時点に対応する前記各彩色画像を同一位置で切り替えて表示するように前記表示手段を制御することを特徴とする。
【００３５】
また、請求項２７にかかる画像処理プログラムは、上記の発明において、前記細胞領域を選択する選択情報を受け付ける選択情報入力手順をさらに実行させ、前記表示制御手順は、前記各彩色画像の中から、前記選択情報によって選択された細胞領域と、前記細胞追跡手順によって該細胞領域に関連付けられた細胞領域と、を抽出して前記表示手段に表示させる制御を行うことを特徴とする。
【００３６】
また、請求項２８にかかる画像処理プログラムは、上記の発明において、前記表示制御手順は、前記観測画像内の各細胞領域の輝度に応じて該各細胞領域の前記彩色画像上の輝度を変更した輝度補正彩色画像を生成し、該生成した輝度補正彩色画像を前記表示手段に表示させる制御を行うことを特徴とする。
【発明の効果】
【００３７】
本発明にかかる画像処理装置および画像処理プログラムによれば、観測画像に記録された複数の細胞に対応する各細胞領域を自動で識別し、識別した各細胞領域を容易に判別可能に表示することができるとともに、複数の観測時点に撮像された観測画像間で生じた細胞の経時変化の観測作業を容易にすることができる。
【発明を実施するための最良の形態】
【００３８】
以下、添付図面を参照して、本発明にかかる画像処理装置の好適な実施の形態を詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付している。
【００３９】
（実施の形態１）
まず、本発明の実施の形態１にかかる画像処理装置について説明する。図１は、この実施の形態１にかかる画像処理装置１の構成を示すブロック図である。図１に示すように、画像処理装置１は、入力された画像を処理する画像処理部２と、観察光学系ＯＰによって拡大投影された細胞培養部ＯＢ内の細胞を撮像して観測画像を生成する撮像部３と、各種情報を表示する表示部４と、各種情報の入力を受け付ける入力部５と、各種情報を記憶する記憶部６と、画像処理装置１の各部の処理および動作を制御する制御部７と、を備える。画像処理部２、撮像部３、表示部４、入力部５および記憶部６は、制御部７に電気的に接続されている。
【００４０】
細胞培養部ＯＢは、たとえば、蛍光タンパクが導入された複数の生細胞を観測試料として培養する。観察光学系ＯＰは、顕微鏡等を用いて実現される光学系であり、細胞培養部ＯＢ内で培養される細胞を撮像部３の撮像面に拡大投影する。なお、観察光学系ＯＰは、細胞培養部内の細胞を照明する照明装置を備えるようにしてもよい。
【００４１】
撮像部３は、ＣＭＯＳ、ＣＣＤ等の撮像素子と、撮像素子からのアナログ信号をデジタル信号に変換するＡ／Ｄ変換器とを有し、撮像素子の撮像面に拡大投影された細胞を撮像して観測画像を生成する。撮像部３は、複数の観測時点で細胞を撮像し、細胞の経時変化を記録した一連の観測画像を生成する。撮像部３によって生成された一連の観測画像は、観測画像記憶部６ａに記憶される。
【００４２】
画像処理部２は、細胞認識部２ａ、特徴量算出部２ｂ、細胞追跡部２ｃおよび描画色対応付け手段としての描画色割当部２ｄを備え、観測画像記憶部６ａに記憶された一連の観測画像を処理する。細胞認識部２ａ、特徴量算出部２ｂ、細胞追跡部２ｃおよび描画色割当部２ｄは、画像処理制御部７ａによって制御される。
【００４３】
細胞認識部２ａは、一連の観測画像に含まれる各観測画像の中から、個々の細胞に対応する画像領域である細胞領域を抽出する。細胞認識部２ａは、たとえば、分水嶺領域分割と呼ばれる画像処理手法（たとえば、非特許文献１参照）を利用して各観測画像を複数の画像領域に分割し、細胞領域を抽出する。非特許文献１では、画像を低輝度画素の集中する領域に分割するようにしているが、一般に細胞は高輝度画素の集合として現れるため、細胞認識部２ａでは、手法上、輝度を反転して、高輝度領域の分割に適用するようにしている。なお、細胞認識部２ａは、細胞領域の抽出を行う前に、前処理として各フレームに輝度補正処理、平滑化処理等を行うようにするとよい。
【００４４】
また、細胞認識部２ａは、抽出した各細胞領域に対して領域標識としての固有の認識番号を付与する。細胞認識部２ａによって付与される認識番号は、固有のものであれば番号以外にも、アルファベット、記号等を用いた任意の表記でよい。さらに、細胞認識部２ａは、各観測画像に対して、認識番号と細胞領域とを対応付けて示す細胞認識画像を生成する。生成された細胞認識画像は、観測時点に対応付けられ処理画像記憶部６ｂに記憶される。なお、細胞認識部２ａは、認識番号と細胞領域との対応付けのみ行って、細胞認識画像の生成を省いてもよい。この場合、細胞番号と細胞領域との対応情報は、観測画像にフレームごとに対応付けられ記憶部６に記憶されるようにするとよい。
【００４５】
特徴量算出部２ｂは、細胞認識部２ａによって抽出された各細胞領域の特徴を示す細胞特徴量を算出する。具体的には、特徴量算出部２ｂは、細胞特徴量として、細胞領域の輝度総和、面積、輪郭長、円形度、重心位置等を算出する。算出された各細胞特徴量は、細胞認識画像および観測画像の少なくとも一方に対してフレームごとに、各細胞領域の認識番号に対応付けられ記憶部６に記憶される。なお、特徴量算出部２ｂによって算出される細胞特徴量は、間接的に細胞領域内の細胞の特徴を示す。
【００４６】
細胞追跡部２ｃは、観測時点が異なる観測画像間の細胞特徴量の変化量を算出し、算出した変化量をもとに、この観測時点が異なる各観測画像に含まれる細胞に同一性があるか否かを判断し、同一性があると判断した各細胞の細胞領域を対応付ける。このとき、細胞追跡部２ｃは、同一性があると判断した各細胞の細胞領域に同一の認識番号を付与する。
【００４７】
たとえば、細胞追跡部２ｃは、時系列で連続する２つのフレーム間で細胞の同一性を判断し、同一性があると判断した各細胞領域のうち観測時点が前の細胞領域に付与された認識番号を、観測時点が後の細胞領域に付与する。そして、細胞追跡部２ｃは、この連続するフレーム間で行う処理を、時系列で先頭の第１フレームから順次、処理対象のフレームを観測時点順に変更して繰り返し、最終的に任意のフレーム間で各細胞領域を対応付けるようにする。
【００４８】
細胞追跡部２ｃによってあらためて付与された認識番号は、細胞認識画像のフレームごとに更新され、処理画像記憶部６ｂに記憶される。なお、細胞追跡部２ｃは、同一性を判断した各細胞領域に対して、認識番号とは異なる領域標識を新たに付与するようにしてもよい。
【００４９】
描画色割当部２ｄは、認識番号が付与された各細胞領域と、細胞領域とは異なる画像領域である背景領域とに、表示部４によって表示可能な異なる描画色を対応付ける。このとき、描画色割当部２ｄは、観測画像の背景色に類似の白または黒を背景領域の背景描画色として対応付けるとともに、表示部４によって表示可能な描画色を示す表示色空間内で、背景描画色から所定距離以上に離れた描画色を各細胞領域に対応付ける。
【００５０】
また、描画色割当部２ｄは、細胞認識画像上で互いに近傍に位置し認識番号の異なる各細胞領域に、表示色空間内で所定の識別距離以上に離れた描画色を対応付ける。この際、描画色割当部２ｄは、表示色空間がＨＳＩ色空間である場合には、このＨＳＩ色空間内で彩度が大きい周縁部に示される描画色を対応付けることで、できるだけ色相方向に隔たった異なる描画色を対応付ける。なお、識別距離は、一定値または観測者によって適宜定められる値のいずれでもよい。
【００５１】
さらに、描画色割当部２ｄは、各フレームの同一の認識番号を有する細胞領域に、等しい描画色を対応付ける。１つのフレーム内に同一の認識番号を有する複数の細胞領域が存在する場合、描画色割当部２ｄは、このすべての細胞領域に等しい描画色を対応付ける。なお、「等しい描画色」とは、完全に等しい描画色の他にも、若干の輝度や彩度を変更した描画色を含む意味である。
【００５２】
また、このように各フレームの細胞領域に描画色を対応付けた結果、任意のフレームにおいて、表示色空間内の識別距離以内にある類似した描画色が対応付けられ互いに近傍に位置する細胞領域が生じた場合、描画色割当部２ｄは、これらの細胞領域の少なくとも１つに、あらためて描画色を対応付け、最終的にすべてのフレームにおいて、類似した描画色を有する異なる認識番号に対応する細胞領域が互いに近傍に位置しないようにする。
【００５３】
さらに、描画色割当部２ｄは、細胞認識部２ａによって、たとえば細胞分裂直後の細胞に対応する細胞領域のような、複数の細胞領域が隣接した細胞領域群が認識された場合、細胞領域群内の各細胞領域の境界部分に、この各細胞領域と異なる描画色を対応付ける。なお、以上のように描画色割当部２ｄによって各細胞領域に対応付けられた描画色は、細胞認識画像のフレームごとに認識番号に対応付けられ処理画像記憶部６ｂに記憶される。
【００５４】
表示部４は、ＣＲＴ、液晶ディスプレイ等を備え、画像処理部２が観測画像を処理して生成した細胞認識画像を含む各種情報を表示する。特に、表示部４は、表示処理制御部７ｂからの指示をもとに、描画色割当部２ｄによって対応付けられた描画色により各細胞領域を彩色した彩色画像としての色分け画像を表示する。
【００５５】
入力部５は、ＵＳＢ，ＩＥＥＥ１３９４等の通信用インターフェース、各種スイッチ、入力キー、マウス、タッチパネル等を備え、各種情報の入力を受け付ける。入力部５は、特に、表示細胞選択部５ａを備え、この表示細胞入力部５ａは、表示部４に表示させる少なくとも１つの細胞領域を選択する細胞選択情報の入力を受け付ける。観測者は、表示細胞選択部５ａを介して細胞選択情報を入力することによって、表示させる細胞領域を任意に選択することができる。なお、細胞選択情報の入力として、たとえば、認識番号、細胞特徴量等を入力キーから入力するようにしてもよく、観測画像もしくは細胞認識画像を一旦表示させ、表示させた画像内の所望の領域をマウス等によってポインティングもしくはドラッグして選択することによって入力するようにしてもよい。
【００５６】
記憶部６は、各種処理プログラム等があらかじめ記憶されたＲＯＭと、各処理の処理パラメータ、処理データ等を記憶するＲＡＭとによって実現される。記憶部６は、特に、観測画像を記憶する観測画像記憶部６ａと、細胞認識画像、色分け画像等を記憶する処理画像記憶部６ｂとを備える。なお、記憶部６は、フラッシュメモリ、ＣＤ、ＤＶＤ、ハードディスク等の各種の携帯型記憶媒体を着脱可能な記憶部として備えるようにしてもよい。
【００５７】
制御部７は、記憶部６に記憶された各種処理プログラムを実行するＣＰＵ等によって実現される。制御部７は、特に、画像処理制御部７ａおよび表示処理制御部７ｂを備える。画像処理制御部７ａは、画像処理部２の各部が行う処理および動作を制御するとともに、画像処理部２に対する各種データおよびパラメータの入出力を制御する。
【００５８】
表示処理制御部７ｂは、描画色割当部２ｄによって対応付けられた描画色によって各細胞領域を彩色した色分け画像を観測時点ごとに生成し、生成した各色分け画像を表示部４に表示させる制御を行う。特に、表示処理制御部７ｂは、各フレームの色分け画像を表示させる際、表示画面上の同一位置で切り替えて表示するように表示部４を制御する。このとき、表示処理制御部７ｂは、観測時点順あるいは外部から入力された表示順序を指示する表示順指示情報等に応じて順次、各フレームの色分け画像を表示する。なお、表示処理制御部７ｂは、複数の色分け画像を並列に同時に表示するようにしてもよく、表示した色分け画像内の細胞領域の認識番号、細胞特徴量等の各種情報を同時に表示するようにしてもよい。
【００５９】
また、表示処理制御部７ｂは、細胞選択情報によって選択された細胞領域と、細胞追跡部２ｃによってこの細胞領域に関連付けられ同一の認識番号を付与された細胞領域と、を抽出して表示部４に表示させる制御を行う。この際、表示処理制御部７ｂは、抽出した以外の細胞領域を背景描画色によって彩色し、表示させるようにしてもよい。なお、表示処理制御部７ｂによって生成された色分け画像は、観測時点に対応付けて処理画像記憶部６ｂに記憶される。
【００６０】
ここで、画像処理装置１が行う処理手順について説明する。図２は、撮像部３によって撮像され観測画像記憶部６ａに記憶された観測画像を示す模式図であり、図３は、画像処理装置１が、この観測画像を処理して表示する処理手順を示すフローチャートである。
【００６１】
図２に示すように、撮像された観測画像は、背景の中に観測対象としての複数の細胞を含む。各細胞は、たとえば、第ｎフレーム〜第（ｎ＋１）フレーム間で移動、膨張、収縮、変形、分裂、消滅等の状態変化を起こしている。
【００６２】
図３に示すように、細胞認識部２ａは、観測画像の各フレームの中から各細胞に対応する細胞領域を抽出して認識番号を付与し、細胞認識画像を生成する細胞認識処理を行い（ステップＳ１０１）、特徴量算出部２ｂは、抽出された各細胞領域の各種細胞特徴量を算出する特徴量算出処理を行い（ステップＳ１０３）、細胞追跡部２ｃは、各フレーム間の細胞の同一性を判断し、同一性があると判断した各細胞の細胞領域に同一の認識番号を付与して対応付ける細胞追跡処理を行い（ステップＳ１０５）、描画色割当部２ｄは、認識された各細胞領域に異なる描画色を対応付ける描画色決定処理を行い（ステップＳ１０７）、表示処理制御部７ｂは、各細胞領域を描画色によって彩色した色分け画像を観測時点ごとに生成して表示する色分け画像表示処理を行い（ステップＳ１０９）、画像処理装置１は、一連の処理を終了する。
【００６３】
ステップＳ１０３の特徴量算出処理では、特徴量算出部２ｂは、細胞特徴量として、各細胞領域の重心位置、面積、円形度の少なくとも１つを算出する。そして、ステップＳ１０５の細胞追跡処理では、細胞追跡部２ｃは、観測時点が異なる２つの観測画像に含まれる各細胞領域について評価値Ｊを算出し、算出した評価値Ｊの値に応じて、各細胞領域内の細胞の同一性を判断する。
【００６４】
評価値Ｊは、観測時点ｔi，ｔi+1の各観測画像内で認識番号Ｒti,m，Rti+1,nが付与された各細胞領域に対して、重心間の距離δd、面積の差δa、円形度の差δc、所定の重み付け係数ｋd，ｋa，ｋcを用い、次式（１）で算出される。
Ｊ＝Ｊ（Ｒti,m，Rti+1,n）＝ｋdδd＋ｋaδa＋ｋcδc ・・・（１）
ここで、変数ｍ，ｎは、観測時点ｔi，ｔi+1の各観測画像で抽出された細胞領域数Ｍ，Ｎに対して、１≦ｍ≦Ｍ，１≦ｎ≦Ｎの関係にある。なお、評価値Ｊは、式（１）の右辺の各項の中から任意の１項または２項を用いて算出するようにしてもよい。
【００６５】
細胞追跡部２ｃは、変数ｍ，ｎの可能なすべての組み合わせについて評価値Ｊを算出し、算出した評価値Ｊが所定のしきい値θ以下である場合、認識番号Ｒti,m，Rti+1,nが付与された各細胞領域の細胞に同一性があると判断し、この細胞領域に同一の認識番号を付与する。同様に、細胞追跡部２ｃは、観測時点ｔi，ｔi+1以外の各観測画像について評価値Ｊを算出し、算出した評価値Ｊがしきい値θ以下となる各細胞を同一の細胞と判断し、各細胞領域に同一の認識番号を付与する。
【００６６】
図４は、図２に示した第ｎおよび第（ｎ＋１）フレームの観測画像をもとに、ステップＳ１０１〜Ｓ１０５によって生成された細胞認識画像を示す図である。図４では、ステップＳ１０１によって抽出された各細胞領域に、認識番号「Ｌ１〜Ｌ７」が付与されている。なお、認識番号「Ｌ２」の細胞領域は、ステップＳ１０５の細胞追跡処理によって、第ｎフレームの１つの細胞領域に対して第（ｎ＋１）フレームの２つの細胞領域が関連付けられ、それぞれに同一の認識番号が付与されている。
【００６７】
つぎに、図３に示したステップＳ１０７の描画色決定処理について説明する。描画色決定処理では、描画色割当部２ｄは、各細胞領域に認識番号ごとに異なる描画色を対応付ける。このとき、描画色割当部２ｄは、各細胞領域、とりわけ互いに近傍に位置する各細胞領域に類似の描画色を対応付けないように、できるだけ表示色空間内で広く分布するように、色空間内で識別距離以上に離れた描画色を各細胞領域に対応付けるようにする。
【００６８】
図５は、色空間座標および表示色空間を示す図である。図５に示す色空間座標は、図上、上下方向に明度（Ｉ）軸を有し、この明度軸を中心とする放射方向に彩度（Ｓ）を示し、明度軸を中心とする回転方向に色相（Ｈ）を示し、ＨＳＩ色空間を形成している。この色空間座標上の表示色空間ＣＢ内の各点が、表示部４によって表示可能な描画色を示し、たとえば、彩度が大きな周縁部に位置する点Ｐｒ，Ｐｙ，Ｐｇ，Ｐｃ，Ｐｂ，Ｐｍは、それぞれ赤、黄、緑、シアン、青、マゼンタの各描画色を示す。なお、表示色空間ＣＢ内の明度軸上の下端および上端に位置する点ＰＢ，ＰＷは、それぞれ黒、白を示し、これらの中点ＰＧは、グレーを示す。
【００６９】
なお、表示部４によって表色する際のＲＧＢカラーから、表示色空間ＣＢ上に示すＨＳＩカラーへの変換は、次のように行われる。すなわち、まず、Ｒ，Ｇ，Ｂ各色の正規化された輝度値ＲV，ＧV，ＢV（＝０〜１）の中の最大輝度値Ｉmaxおよび最小輝度値Ｉminを次式（２），（３）によって求める。
Ｉmax＝ｍａｘ｛ＲV，ＧV，ＢV｝ ・・・（２）
Ｉmin＝ｍｉｎ｛ＲV，ＧV，ＢV｝ ・・・（３）
【００７０】
つづいて、次式（４）によって明度値Ｉvを算出し、算出した明度値Ｉv≦０．５の場合、式（５）によって彩度値ＳVを算出し、明度値ＩV＞０．５の場合、式（６）によって彩度値ＳVを算出する。
ＩV＝（Ｉmax＋Ｉmin）／２ ・・・（４）
ＳV＝（Ｉmax−Ｉmin）／（Ｉmax＋Ｉmin） ・・・（５）
ＳV＝（Ｉmax−Ｉmin）／（２−（Ｉmax＋Ｉmin）） ・・・（６）
【００７１】
また、次式（７）〜（９）によって中間変数ｒ，ｇ，ｂを算出し、算出したｒ，ｇ，ｂをもとに、最大輝度値Ｉmax＝ＲVの場合、式（１０）によって、最大輝度値Ｉmax＝ＧVの場合、式（１１）によって、最大輝度値Ｉmax＝ＢVの場合、式（１２）によって、それぞれ色相値Ｈvを算出する。
ｒ＝（Ｉmax−ＲV）／（Ｉmax−Ｉmin） ・・・（７）
ｇ＝（Ｉmax−ＧV）／（Ｉmax−Ｉmin） ・・・（８）
ｂ＝（Ｉmax−ＢV）／（Ｉmax−Ｉmin） ・・・（９）
Ｈv＝π（ｂ−ｇ）／３ ・・・（１０）
Ｈv＝π（２＋ｒ−ｂ）／３ ・・・（１１）
Ｈv＝π（４＋ｇ−ｒ）／３ ・・・（１２）
【００７２】
描画色割当部２ｄは、具体的には、図５に示す点Ｐ１，Ｐ２のように色相差Ｈ12が小さい描画色ではなく、点Ｐ１，Ｐ３のように色相差Ｈ13が大きい描画色を各細胞領域に対応付ける。ただし、１つのフレーム内に存在する細胞数が多くなると、任意の細胞領域間で描画色の色相差を大きく確保することが困難になるため、描画色割当部２ｄは、少なくとも互いに近傍に位置する細胞領域に対して色相差が大きくなる描画色を対応付ける。
【００７３】
また、描画色割当部２ｄは、図５に示す点Ｐ４，Ｐ５のように、背景描画色とする点ＰＢ（黒）または点ＰＷ（白）に近い描画色を細胞領域に対応付けず、表示色空間ＣＢ上で点ＰＢおよび点ＰＷから所定距離以上に離れた点で示される描画色を対応付けるようにする。このように描画色を対応付けることによって、描画色割当部２ｄは、観測者が色覚的に容易に認識および判別可能な描画色を各細胞領域、とりわけ互いに近傍に位置する細胞領域に対応付けることができる。
【００７４】
なお、描画色割当部２ｄは、ＨＳＩカラーで示される表示色空間ＣＢと異なる色空間によって描画色の類似度を判断するようにしてもよく、たとえば、ＣＩＥ−Ｌ*ａ*ｂ*表色系で示される色空間を利用できる。また、描画色割当部２ｄは、描画色の類似度の指標として色差を用いるようにしてもよく、たとえば、ＣＩＥ−Ｌ*ａ*ｂ*表色系の座標値（Ｌ1*ａ1*ｂ1*），（Ｌ2*ａ2*ｂ2*）で示される描画色の色差ΔＥを用いることができる。なお、色差ΔＥは、次式（１３）によって算出される。
【数１】
【００７５】
ここで、描画色決定処理の処理手順の一例を、図６を参照して説明する。図６は、乱数を利用して表示色空間ＣＢから描画色を選択し、各フレームの細胞領域に対応付ける処理手順を示す。図６に示すように、画像処理制御部７ａが、処理画像記憶部６ｂから細胞認識画像を１フレーム読み込み（ステップＳ１１１）、描画色割当部２ｄは、読み込んだフレームにおいて始めて付加された初出の細胞認識番号があるか否かを判断する（ステップＳ１１３）。
【００７６】
初出の細胞認識番号がある場合（ステップＳ１１３：Ｙｅｓ）、描画色割当部２ｄは、初出の各細胞認識番号に対して、乱数によって選択した描画色を対応付け（ステップＳ１１５）、前フレームまでに既に付与された既出の各細胞認識番号に対して、前フレームまでと同じ描画色を対応付ける（ステップＳ１１７）。一方、初出の細胞認識番号がない場合（ステップＳ１１３：Ｎｏ）、描画色割当部２ｄは、ただちにステップＳ１１７を実行する。なお、第１フレームを処理対象とする場合、描画色割当部２ｄは、ステップＳ１１３，Ｓ１１７の処理を省略してもよい。
【００７７】
つづいて、描画色割当部２ｄは、処理対象のフレーム内で背景領域または近傍の細胞領域と類似の描画色を対応付けられた細胞認識番号があるか否かを判断し（ステップＳ１１９）、類似の描画色を対応付けられた細胞認識番号がある場合（ステップＳ１１９：Ｙｅｓ）、類似の描画色を有する細胞認識番号の少なくとも１つに対して、乱数によって再び選択した描画色を対応付ける（ステップＳ１２１）。ここで、類似の描画色とは、表示色空間ＣＢ上で、背景描画色に対して所定距離以内にある描画色、近傍の細胞領域に対して識別距離以内にある描画色を指す。なお、背景領域の背景描画色は、あらかじめ白、黒等に決定されているものとする。
【００７８】
その後、描画色割当部２ｄは、再びステップＳ１１９の判断を行い、類似の描画色を対応付けられた細胞認識番号がないと判断した場合（ステップＳ１１９：Ｎｏ）、処理画像記憶部６ｂに記憶された前フレームまでの細胞認識画像を参照し、前フレームまでの各フレームにおいて近傍の細胞領域と類似の描画色を対応付けられた細胞認識番号があるか否かを判断し（ステップＳ１２３）、類似の描画色が対応付けられた細胞認識番号がある場合（ステップＳ１２３：Ｙｅｓ）、ステップＳ１２１を実行する。
【００７９】
類似の描画色が対応付けられた細胞認識番号がない場合（ステップＳ１２３：Ｎｏ）、画像処理制御部７ａは、細胞認識番号に対する描画色を決定し、決定した細胞認識番号と描画色との対応関係を細胞認識画像のフレームごとに処理画像記憶部６ｂに記録する（ステップＳ１２５）。そして、画像処理制御部７ａは、一連の細胞認識画像について最終フレームまで処理したか否かを判断し（ステップＳ１２７）、処理していない場合（ステップＳ１２７：Ｎｏ）、未処理のフレームに対してステップＳ１１１からの処理を繰り返し、最終フレームまで処理している場合（ステップＳ１２７：Ｙｅｓ）、ステップＳ１０７へリターンする。
【００８０】
ステップＳ１１５では、描画色割当部２ｄは、乱数によってＲＧＢカラーの各色成分の輝度値（階調値）を求めて描画色を選択する。この際、発生させる乱数の範囲は、表示色空間ＣＢ内に示される描画色の輝度値の範囲とする。さらに、この範囲は、表示色空間ＣＢ上で背景描画色から所定距離以上、また明度軸からあらかじめ定められた距離以上に離れた描画色の輝度値の範囲に限定するようにしてもよい。
【００８１】
ステップＳ１１９では、描画色割当部２ｄは、ステップＳ１１５によって新しく描画色を対応付けた細胞認識番号はもとより、既出の細胞認識番号も含めて、すべての細胞認識番号について類似の描画色があるか否かを判断する。既出の細胞認識番号を判断対象とするのは、前フレームにおいて類似の描画色を有する細胞領域が近傍になかったとしても、たとえば細胞が移動することによって、処理対象のフレームにおいて類似の描画色を有する細胞領域が近傍に位置する可能性があることによる。
【００８２】
描画色割当部２ｄは、ステップＳ１１９，Ｓ１２１によって、処理対象のフレーム内で互いに近傍に位置する細胞領域に類似の描画色を対応付けないようにするとともに、その後のステップＳ１２３によって、一連のすべてのフレームにおいて、互いに近傍に位置する細胞領域に類似の描画色を対応付けないようにする。
【００８３】
このようにして、図６に示す描画色決定処理では、描画色割当部２ｄは、表示色空間ＣＢ内に広く分布した描画色を各細胞領域に対応付けることができ、かつ、近隣同士の細胞領域に表示色空間ＣＢ上で識別距離以上に離れた描画色を対応付けることができ、結果として、画像表示した場合に容易に認識および判別可能な視認性の良い描画色を各細胞領域に対応付けることができる。
【００８４】
図３に示したステップＳ１０９の色分け画像表示処理では、表示処理制御部７ｂは、たとえば図７に示すように、ステップＳ１０７によって対応付けられた描画色によって各細胞領域を彩色した色分け画像を生成し、表示部４に表示させる。図７は、図４に示した第ｎおよび第（ｎ＋１）フレームの細胞認識画像を彩色した色分け画像を示す図である。図７では、便宜的に、各細胞領域の表示模様の違いによって描画色の違いを示している。図４と対比して明らかなように、異なる認識番号を有する細胞領域は異なる描画色で彩色され、同一の認識番号を有する細胞領域は同一の描画色で彩色されている。
【００８５】
なお、図７に示した色分け画像では、隣接した細胞領域の境界部分が背景描画色によって彩色されている。このような境界部分の彩色手法は、特に、図８に示すように、細胞分裂によって発生し同一描画色で彩色される細胞が隣接する際に、各細胞領域を独立した細胞領域として判別可能とするために有効である。図８では、境界部分を背景描画色で彩色する場合の他、細胞領域および背景領域と異なる描画色で彩色した場合を例示している。
【００８６】
図８に示すように、境界部分を背景描画色によって彩色する手法は、必要な描画色数を増やすことなく、また表示を煩雑にすることなく、各細胞領域を容易に判別可能にできる。一方、境界部分を細胞領域および背景領域と異なる描画色で彩色する手法は、境界部分をより明確に表示することができる。この場合、境界部分の描画色として、細胞領域の描画色の補色を用いることもできる。
【００８７】
また、色分け画像表示処理では、表示処理制御部７ｂは、各フレームの色分け画像を、たとえば観測時点順に表示部４上の同一位置に切り替えて表示する。この際、表示処理制御部７ｂは、所定周期で自動的に切り替えるようにしてもよく、あるいは入力部５から入力される切り替えを指示する切替指示情報に応じて切り替えるようにしてもよい。このように同一位置で切り替えて一連の色分け画像を表示することによって、観測者は、フレーム間で特異な変化を生じた細胞の発見、個々の細胞の位置、大きさ、形状等の変化および分裂等の状態変化の把握を容易に行うことができる。
【００８８】
さらに、色分け画像表示処理では、表示処理制御部７ｂは、表示細胞選択部５ａから入力される細胞選択情報によって選択された細胞領域のみ抽出して表示するようにしてもよい。この場合、表示処理制御部７ｂは、たとえば図９に示すように、選択された細胞領域以外の領域を背景描画色によって彩色して表示するとよい。このように表示することによって、観測者は、注目する細胞のみ容易に認識し観測することができる。
【００８９】
なお、表示処理制御部７ｂは、選択された細胞領域以外の領域を観測画像の対応する領域によって表示するようにしてもよい。また、細胞選択情報を描画色決定処理より前に取得するようにして、描画色割当部２ｄは、選択された細胞領域のみに描画色を対応付けるようにしてもよい。
【００９０】
以上説明したように、この実施の形態１にかかる画像処理装置１では、観測画像に記録された複数の細胞に対応する各細胞領域を自動で識別し、識別した各細胞領域を容易に判別可能に表示することができるとともに、複数の観測時点に撮像された観測画像間で生じた細胞の経時変化の観測作業を容易にすることができる。
【００９１】
（実施の形態２）
つぎに、本発明の実施の形態２について説明する。上述した実施の形態１では、描画色割当部２ｄは、各細胞領域に対応付ける描画色を、識別距離等の所定の条件のもと表示色空間ＣＢ全体から選択するようにしていたが、この実施の形態２では、観測画像に記録された細胞の種類ごとに、各細胞領域に対応付け可能な描画色の範囲を割り当てるようにしている。
【００９２】
図１０は、本発明の実施の形態２にかかる画像処理装置１１の構成を示すブロック図である。図１０に示すように、画像処理装置１１は、画像処理装置１が備えた画像処理部２、記憶部６および制御部７に替えて、画像処理部１２、記憶部１６および制御部１７を備える。画像処理部１２は、画像処理部２が備えた描画色割当部２ｄに替えて描画色割当部１２ｄを備え、記憶部１６は、記憶部６の構成に加えて描画色テーブル１６ｃを記憶し、制御部１７は、制御部７が備えた画像処理制御部７ａに替えて画像処理制御部１７ａを備える。その他の構成は、実施の形態１と同じであり、同一構成部分には同一符号を付している。
【００９３】
特徴量算出部２ｂは、各細胞領域の形状、状態等に関する細胞特徴量とともに、マーカーとして複数種類の蛍光色素が導入された細胞を記録した観測画像の場合、各細胞領域の蛍光色素に対応するＲＧＢカラーの各色成分の画素値を細胞特徴量として算出する。さらに、特徴量算出部２ｂは、各細胞領域の細胞認識部２ａによる細胞認識処理の成功度合い等を細胞特徴量として算出するようにしてもよい。
【００９４】
描画色割当部１２ｄは、特徴量算出部２ｂによって算出された各種の細胞特徴量をもとに、各細胞領域内の細胞の種類および状態を判別し、判別した種類および状態の少なくとも一方に応じて各細胞領域に描画色を対応付ける。この際、描画色割当部１２ｄは、判別した種類および状態の少なくとも一方に応じて各細胞領域に、表示色空間ＣＢ内の部分的な色空間である種類別色空間を割り当てるとともに、割り当てた種類別色空間内の描画色を対応付ける。
【００９５】
具体的には、描画色割当部１２ｄは、たとえば図１１に示すように、丸い形の細胞種に対応する細胞領域Ａａ１，Ａａ２およびＡｂ１〜Ａｂ３と、細長い形の細胞種に対応する細胞領域Ｂａ１〜Ｂａ３およびＢｂ１〜Ｂｂ４とに、それぞれ図１２−１に示すような種類別色空間ＢＧ，ＲＹを割り当てる。種類別色空間ＢＧは、表示色空間ＢＣ内の寒色系の青・緑系統色を示し、種類別色空間ＲＹは、表示色空間ＢＣ内の暖色系の赤・黄系統色を示す。
【００９６】
他にも、観測する細胞の種類に応じたマーカーとして複数種類の蛍光色素を用いた場合には、各細胞領域の画素位置におけるＲＧＢカラーの各色成分の画素値で表される細胞特徴量に応じて細胞の種類を分類し、分類した各細胞種に対して種類別色空間を割り当てるようにすることもできる。さらに、細胞の形状についての細胞特徴量に基づいて分類される細胞種と、ＲＧＢカラーの各色成分の画素値で表される細胞特徴量に基づいて分類される細胞種との両者の組み合わせによって細胞種を分類し、各組み合わせに対して種類別色空間を割り当てるようにすることもできる。
【００９７】
そして、描画色割当部１２ｄは、種類別色空間ＢＧの中から描画色代表点ＢＧ１〜ＢＧ１０を選択し、異なる認識番号（同一性のない細胞）に対応する細胞領域Ａａ１，Ａａ２およびＡｂ１〜Ａｂ３に対して、描画色代表点ＢＧ１〜ＢＧ１０が示す異なる描画色を対応付ける。同様に、描画色割当部１２ｄは、種類別色空間ＲＹの中から描画色代表点ＲＹ１〜ＲＹ１０を選択し、異なる認識番号（同一性のない細胞）に対応する細胞領域Ｂａ１，Ｂａ２およびＢｂ１〜Ｂｂ３に対して、描画色代表点ＲＹ１〜ＲＹ１０が示す異なる描画色を対応付ける。
【００９８】
各描画色代表点は、図１２−１および図１２−２に示すように、表示色空間ＣＢ上の最も彩度の大きな周縁部に位置する点であって、たとえば、描画色代表点ＢＧ１，ＢＧ５，ＢＧ１０およびＲＹ５は、それぞれ青、シアン、緑および赤の描画色を示す。なお、図１２−２は、表示色空間ＣＢ上の点ＰＷ，ＰＢの中点ＰＧを含み明度軸に垂直な横断面を示している。
【００９９】
また、各描画色代表点は、種類別色空間ごとにあらかじめ複数選択され、たとえば図１３に示すように、ＨＳＩカラーとＲＧＢカラーとの各表示値がテーブルによって対応付けられ、描画色テーブル１６ｃとして記憶部１６に記憶される。描画色割当部１２ｄは、この描画色テーブル１６ｃを参照して描画色代表点を選択し、選択した描画色代表点が示す描画色を種類別色空間ごとに各細胞領域に対応付ける。
【０１００】
なお、あらかじめ選択される描画色代表点は、図１３に示したように種類別色空間ごとに１０点に限定する必要はなく、１０点より多くても少なくてもよい。ただし、細胞領域があらかじめ選択された描画色代表点より多い場合、描画色割当部１２ｄは、新たな描画色代表点を選択して細胞領域に対応付ける。この際、描画色割当部１２ｄは、既存の描画色代表点を色相方向に移動させた点としての、既存の描画色代表点間の内分点もしくは外分点を新たな描画色代表点にするとよい。
【０１０１】
さらに、細胞領域数が多く、色相方向に移動させただけでは描画色代表点を十分に確保できない場合、描画色割当部１２ｄは、既存の描画色代表点を彩度および明度方向に移動させた点を新たな描画色代表点にする。この場合、描画色割当部１２ｄは、たとえば、描画色代表点ＢＧ５を基点として、図１２−３に示す描画色範囲ＢＧ５ａ内で彩度および明度を変化させた点ＢＧ５’等を新たな描画色代表点として選択し、同様に、描画色代表点ＲＹ５を基点として描画色範囲ＲＹ５ａ内の点ＲＹ５’を新たな描画色代表点とする。ここで、描画色範囲ＢＧ５ａは、基点とする描画色代表点ＢＧ５と明度軸とを含む平面による種類別色空間ＢＧの縦断面内の領域であり、描画色範囲ＲＹ５ａは、描画色代表点ＲＹ５と明度軸とを含む平面による種類別色空間ＲＹの縦断面内の領域である。
【０１０２】
同様に、描画色割当部１２ｄは、他の描画色代表点ＢＧ１，ＢＧ１０，ＲＹ１，ＲＹ１０等に対しても、図１２−２に示すように描画色範囲ＢＧ１ａ，ＢＧ１０ａ，ＲＹ１ａ，ＲＹ１０ａ等を設定し、各描画色代表点を基点として彩度および明度を変化させた新たな描画色代表点を選択するとよい。
【０１０３】
また、描画色割当部１２ｄは、あらかじめ選択された描画色代表点より細胞領域が少ない場合であっても、たとえば、細胞分裂等によって派生し同一の認識番号が付与された各細胞領域に対し、同じ描画色範囲（たとえば、ＢＧ５ａ）内の異なる描画色（たとえば、ＢＧ５’，ＢＧ５”）を対応付けるようにしてもよい。すなわち、描画色割当部１２ｄは、同じ色相を対応付けることによって、同一の認識番号が付与された各細胞領域の関連性を示し、彩度および明度の少なくとも一方を変化させることによって独立した細胞領域であることを明確にすることができる。
【０１０４】
なお、描画色割当部１２ｄは、細胞種類が多く、色相方向に種類別色空間を十分に確保できない場合、彩度および明度方向に表示色空間ＣＢをさらに細分化した部分的な色空間を種類別色空間として用いるようにしてもよい。
【０１０５】
図１４は、表示処理制御部７ｂが、描画色割当部１２ｄによって対応付けられた描画色により、図１１に示した第ｍおよび第（ｍ＋１）フレームの細胞認識画像を彩色した色分け画像を示す図である。図１４では、便宜的に、各細胞領域の表示模様の違いによって描画色の違いを示している。特に、丸い形の細胞種に対応する細胞領域Ａａ１，Ａａ２およびＡｂ１〜Ａｂ３は、点を基調とした表示模様として、種類別色空間ＢＧ内の描画色により彩色されていることを示し、細長い形の細胞種に対応する細胞領域Ｂａ１〜Ｂａ３およびＢｂ１〜Ｂｂ４は、斜線を基調とした表示模様として、種類別色空間ＲＹ内の描画色により彩色されていることを示している。
【０１０６】
このようにして、この実施の形態２にかかる画像処理装置１１では、複数種類の細胞が記録された観測画像に対して、各細胞領域を自動で識別し、識別した各細胞領域を容易に判別可能に表示することができ、また、複数の観測時点に撮像された観測画像間で生じた細胞の経時変化の観測作業を容易にすることができることに加えて、細胞の種類および状態の少なくとも一方に応じて種類別色空間を割り当てて描画色の色系統を区別するようにしているため、各細胞が属する種類を容易に判別可能に表示することができる。
【０１０７】
なお、画像処理装置１１では、描画色割当部１２ｄは、画像処理装置１の描画色割当部２と同様に、一連のすべてのフレームにおいて、互いに近傍に位置する細胞領域に類似の描画色を対応付けないようにする。
【０１０８】
また、表示処理制御部７ｂは、上述した実施の形態１と同様に、各フレームの色分け画像を表示部４上の同一位置に切り替えて表示する。このように表示することによって、観測者は、フレームごとに各細胞領域の属する種類が容易に判別できることに加えて、フレーム間で生じた種類ごとの細胞分布の変化を容易に把握することができる。
【０１０９】
（実施の形態３）
つぎに、本発明の実施の形態３について説明する。上述した実施の形態１および２では、表示処理制御部７ｂは、対応付けられた描画色によって各細胞領域を彩色した色分け画像を表示するようにしていたが、この実施の形態３では、さらに、観測画像の輝度情報を反映した色分け画像を表示するようにしている。
【０１１０】
図１５は、本発明の実施の形態３にかかる画像処理装置２１の構成を示すブロック図である。図１５に示すように、画像処理装置２１は、画像処理装置１が備えた制御部７に替えて制御部２７を備える。制御部２７は、制御部７が備えた表示処理制御部７ｂに替えて表示処理制御部２７ｂを備える。その他の構成は、実施の形態１と同じであり、同一構成部分には同一符号を付している。
【０１１１】
表示制御部２７ｂは、観測画像内の各細胞領域の輝度に応じて色分け画像上の細胞画像領域の輝度を変更した輝度補正色分け画像を生成し、表示部４に表示させる。この表示方法は、定性的には、色分け画像を透過画像として観測画像に重ね合わせて表示させることに相当する。
【０１１２】
定量的には、表示処理制御部２７ｂは、あらかじめ定められた透過率αと、色分け画像上の各点（ｘ，ｙ）におけるＲＧＢカラーの各色成分の輝度値Ｒ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ）と、観測画像上の対応する点の輝度値Ｉ（ｘ，ｙ）とを用い、次式（１４）〜（１６）によって、輝度補正色分け画像の各点（ｘ，ｙ）の色成分ごとの輝度値Ｒnew（ｘ，ｙ），Ｇnew（ｘ，ｙ），Ｂnew（ｘ，ｙ）を算出する。
Ｒnew（ｘ，ｙ）＝α・Ｒ（ｘ，ｙ）＋（１−α）・Ｉ（ｘ，ｙ） ・・・（１４）
Ｇnew（ｘ，ｙ）＝α・Ｇ（ｘ，ｙ）＋（１−α）・Ｉ（ｘ，ｙ） ・・・（１５）
Ｂnew（ｘ，ｙ）＝α・Ｂ（ｘ，ｙ）＋（１−α）・Ｉ（ｘ，ｙ） ・・・（１６）
【０１１３】
なお、透過率αは、輝度値Ｒnew（ｘ，ｙ），Ｇnew（ｘ，ｙ），Ｂnew（ｘ，ｙ）によって決まる描画色が、表示色空間ＣＢ内に位置するように定められる。また、透過率αは、観測者によって適宜変更されるようにしてもよい。
【０１１４】
また、表示処理制御部２７ｂは、画像処理装置１の表示処理制御部７ｂと同様に、各フレームの輝度補正色分け画像を、表示部４上の同一位置に切り替えて表示する。これによって、観測者は、フレーム間で生じた個々の細胞の位置、大きさ、形状等の変化に加えて、輝度の変化を容易に把握することができる。
【０１１５】
このようにして、この実施の形態３にかかる画像処理装置２１では、複数種類の細胞が記録された観測画像に対して、各細胞領域を自動で識別し、識別した各細胞領域を容易に判別可能に表示することができるとともに、複数の観測時点に撮像された観測画像間で生じた細胞の経時変化、とりわけ輝度変化の観測作業を容易にすることができる。
【０１１６】
なお、画像処理装置２１は、画像処理装置１をもとに表示処理制御部２７ｂを備えるようにしたが、画像処理装置１１をもとに備えるようにしてもよく、この場合、フレーム間で生じた種類ごとの細胞の分布変化とともに輝度変化を容易に判別することができる。
【０１１７】
また、上述した実施の形態１〜３では、撮像部３によって撮像された一連の観測画像を処理するように示したが、外部の撮像装置によって撮像され、入力部５から入力される観測画像を観測画像記憶部６ａに記録して処理するようにしてもよい。
【図面の簡単な説明】
【０１１８】
【図１】本発明の実施の形態１にかかる画像処理装置の構成を示すブロック図である。
【図２】図１に示した画像処理装置が処理する観測画像を示す図である。
【図３】図１に示した画像処理装置が行う処理手順を示すフローチャートである。
【図４】図２に示した観測画像に対応する細胞認識画像を示す図である。
【図５】図１に示した表示部によって表示可能な描画色を示す色空間を説明する図である。
【図６】図３に示した描画色決定処理の処理手順を示すフローチャートである。
【図７】描画色によって細胞領域を彩色した色分け画像を示す図である。
【図８】境界部分を細胞領域と異なる描画色で彩色した場合の色分け画像を示す図である。
【図９】細胞選択情報によって選択された細胞領域を選択的に表示する色分け画像を示す図である。
【図１０】本発明の実施の形態２にかかる画像処理装置の構成を示すブロック図である。
【図１１】図１０に示した画像処理装置が処理する観測画像を示す図である。
【図１２−１】図１０に示した描画色割当部が割り当てる種類別色空間を示す図である。
【図１２−２】図１１に示した種類別色空間の横断面を示す図である。
【図１２−３】図１１に示した種類別色空間の縦断面を示す図である。
【図１３】図１０に示した描画色テーブルを示す図である。
【図１４】細胞種類に応じて描画色により細胞領域を彩色した色分け画像を示す図である。
【図１５】本発明の実施の形態３にかかる画像処理装置の構成を示すブロック図である。
【符号の説明】
【０１１９】
１，１１，２１ 画像処理装置
２，１２ 画像処理部
２ａ 細胞認識部
２ｂ 特徴量算出部
２ｃ 細胞追跡部
２ｄ，１２ｄ 描画色割当部
３ 撮像部
４ 表示部
５ 入力部
５ａ 表示細胞選択部
６，１６ 記憶部
６ａ 観測画像記憶部
６ｂ 処理画像記憶部
７，１７，２７ 制御部
７ａ，１７ａ 画像処理制御部
７ｂ，２７ｂ 表示処理制御部
１６ｃ 描画色テーブル
ＢＧ，ＲＹ 種類別色空間
ＣＢ 表示色空間
ＯＢ 細胞培養部
ＯＰ 観察光学系
【技術分野】
【０００１】
本発明は、一連の画像を処理して表示する画像処理装置および画像処理プログラムに関し、特に、複数の観測時点に細胞を撮像して記録した各観測画像を処理して表示する画像処理装置および画像処理プログラムに関するものである。
【背景技術】
【０００２】
従来、顕微鏡を利用して種々の細胞を標本とする観測が行われている。多くの生細胞を培養した試料の経時的な観測では、通常、顕微鏡に装着した撮像装置によって複数の観測時点に細胞を撮像して記録した一連の画像の中から、個々の細胞領域を抽出して各細胞の経時変化を解析する。
【０００３】
たとえば、特許文献１に開示されている評価装置では、細胞を記録した時系列の画像に対して、先頭の画像の各細胞領域に対話的に識別マークを付与し、付与した識別マークを以降の画像に引き継がせ、細胞の移動・分裂等が生じた場合、識別マークを修正するようにして、個々の細胞の経時変化を追跡し観測するようにしている。この評価装置では、細胞分裂率や細胞の世代系譜など、細胞の発生学に関するデータを得ることができる。
【０００４】
【特許文献１】特許第２９３０６１８号公報
【非特許文献１】Vincent & Soille , "Watersheds in Digital Spaces : An Efficient Algorithm Based on Immersion Simulations", IEEE TRANS ACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL.13, NO.6, JUNE 1991
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、多くの細胞を経時的に記録した一連の大量の画像を計算機によって解析する場合、記録された細胞の数や輝度の変化などの統計的な情報のみ取得して、細胞の個別の変化などを見落とす恐れがある。このため、個々の細胞の状態や状態変化を迅速に確認可能な解析手段が必要とされている。
【０００６】
しかしながら、上述した従来の評価装置では、観測者によって手作業で各細胞領域に識別マークを付与することが前提とされており、多数の細胞を記録した画像を対象とする場合、すべての細胞領域に識別マークを付与するために膨大な時間と労力を要するという問題があった。
【０００７】
また、多数の細胞領域に識別マークを付与した場合、識別マークに対応する細胞領域の特定や識別マーク自体の判別が困難となり、各細胞領域の把握、画像間の同一細胞の把握、画像間の各細胞の移動、変形、拡大、縮小、分裂等の状態変化の把握などが困難となる場合が生じるという問題があった。識別マーク自体の判別については、特に、画像中の細胞の密度が高くなるほど類似した識別マークが多数存在する、識別マーク同士の重なり合いが多数発生するなど、視認性が悪化するという問題があった。なお、このような問題は、識別マークの代わりに識別番号を用いた場合にも発生する。
【０００８】
本発明は、上記に鑑みてなされたものであって、観測画像に記録された複数の細胞に対応する各細胞領域を自動で識別し、識別した各細胞領域を容易に判別可能に表示することができるとともに、複数の観測時点に撮像された観測画像間で生じた細胞の経時変化の観測作業を容易にすることができる画像処理装置および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記の目的を達成するために、請求項１にかかる画像処理装置は、複数の細胞が記録された観測画像を処理して表示手段に表示させる画像処理装置において、前記観測画像の中から前記細胞の画像領域である細胞領域を認識する細胞認識手段と、前記細胞認識手段が認識した各細胞領域に前記表示手段によって表示可能な異なる描画色を自動的に対応付ける描画色対応付け手段と、前記対応付け手段によって対応付けられた描画色によって前記各細胞領域を彩色した彩色画像を生成し、該生成した彩色画像を前記表示手段に表示させる制御を行う表示制御手段と、を備えたことを特徴とする。
【００１０】
また、請求項２にかかる画像処理装置は、上記の発明において、前記描画色対応付け手段は、前記細胞領域に対応付けるそれぞれの描画色が所定の色空間内で広く分布するように前記各細胞領域に描画色を対応付けることを特徴とする。
【００１１】
また、請求項３にかかる画像処理装置は、上記の発明において、前記描画色対応付け手段は、前記各細胞領域以外の背景領域に所定の背景描画色を対応付けるとともに、所定の色空間内で前記背景描画色から所定距離以上に離れた描画色を前記各細胞領域に対応付けることを特徴とする。
【００１２】
また、請求項４にかかる画像処理装置は、上記の発明において、前記描画色対応付け手段は、互いに近傍に位置する各細胞領域に、所定の色空間内で所定の識別距離以上に離れた描画色を対応付けることを特徴とする。
【００１３】
また、請求項５にかかる画像処理装置は、上記の発明において、前記描画色対応付け手段は、ＨＳＩ色空間内で彩度が大きい周縁部に示される描画色を前記各細胞領域に対応付けることを特徴とする。
【００１４】
また、請求項６にかかる画像処理装置は、上記の発明において、前記細胞認識手段によって認識された各細胞領域の特徴を示す細胞特徴量を算出する特徴量算出手段を備え、
前記描画色対応付け手段は、前記細胞特徴量をもとに前記各細胞領域内の細胞の種類および状態を判別し、該判別した種類および状態の少なくとも一方に応じて前記各細胞領域に描画色を対応付けることを特徴とする。
【００１５】
また、請求項７にかかる画像処理装置は、上記の発明において、前記描画色対応付け手段は、前記細胞の種類および状態の少なくとも一方に応じて、前記各細胞領域に、所定の色空間内の一部である部分色空間を割り当てるとともに、該部分色空間内の描画色を対応付けることを特徴とする。
【００１６】
また、請求項８にかかる画像処理装置は、上記の発明において、前記細胞認識手段は、前記細胞領域が隣接した細胞領域群を認識し、前記描画色対応付け手段は、前記細胞領域群内の各細胞領域の境界部分に該各細胞領域と異なる描画色を対応付けることを特徴とする。
【００１７】
また、請求項９にかかる画像処理装置は、上記の発明において、前記観測画像は、複数の観測時点に撮像された一連の画像であり、前記細胞認識手段によって認識された各細胞領域の特徴を示す細胞特徴量を算出する特徴量算出手段と、前記観測時点が異なる各観測画像の前記細胞特徴量をもとに、該各観測画像内の細胞に同一性があるか否かを判断し、同一性があると判断した各細胞に対応する細胞領域を関連付ける細胞追跡手段と、を備え、前記描画色対応付け手段は、前記細胞追跡手段によって関連付けられた各細胞領域に等しい描画色を対応付け、前記表示制御手段は、前記観測時点ごとに前記彩色画像を生成し、該生成した各彩色画像を前記表示手段に表示させる制御を行うことを特徴とする。
【００１８】
また、請求項１０にかかる画像処理装置は、上記の発明において、前記描画色対応付け手段は、前記観測時点が異なる各観測画像の一方の観測画像内の１細胞領域と他方の観測画像内の複数の細胞領域とが前記細胞追跡手段によって関連付けられた場合、該関連付けられたすべての細胞領域に等しい描画色を対応付けることを特徴とする。
【００１９】
また、請求項１１にかかる画像処理装置は、上記の発明において、前記描画色対応付け手段は、前記観測時点の時系列順に各観測画像に前記描画色の対応付けを行い、処理対象の観測画像より時系列で前にある観測画像内の隔たった細胞領域に関連付けられ類似の描画色を対応付けた各類似色細胞領域が、該処理対象の観測画像内で互いに近傍に位置した場合、該各類似色細胞領域の少なくとも１つに、互いに類似しない非類似描画色であり、かつ、該処理対象の観測画像より時系列で前にあるすべての観測画像において関連付けられた各関連細胞領域の近傍に位置する近傍細胞領域に対応付けられた描画色と類似しない非類似描画色をあらためて対応付けることを特徴とする。
【００２０】
また、請求項１２にかかる画像処理装置は、上記の発明において、前記表示制御手段は、各観測時点に対応する前記各彩色画像を同一位置で切り替えて表示するように前記表示手段を制御することを特徴とする。
【００２１】
また、請求項１３にかかる画像処理装置は、上記の発明において、前記細胞領域を選択する選択情報を受け付ける選択情報入力手段を備え、前記表示制御手段は、前記各彩色画像の中から、前記選択情報によって選択された細胞領域と、前記細胞追跡手段によって該細胞領域に関連付けられた細胞領域と、を抽出して前記表示手段に表示させる制御を行うことを特徴とする。
【００２２】
また、請求項１４にかかる画像処理装置は、上記の発明において、前記表示制御手段は、前記観測画像内の各細胞領域の輝度に応じて該各細胞領域の前記彩色画像上の輝度を変更した輝度補正彩色画像を生成し、該生成した輝度補正彩色画像を前記表示手段に表示させる制御を行うことを特徴とする。
【００２３】
また、請求項１５にかかる画像処理プログラムは、複数の細胞が記録された観測画像を処理する画像処理装置に、前記観測画像を処理して表示手段に表示させるための画像処理プログラムであって、前記画像処理装置に、前記観測画像の中から前記細胞の画像領域である細胞領域を認識する細胞認識手順と、前記細胞認識手順によって認識された各細胞領域に前記表示手段によって表示可能な異なる描画色を自動的に対応付ける描画色対応付け手順と、前記対応付け手順によって対応付けられた描画色によって前記各細胞領域を彩色した彩色画像を生成し、該生成した彩色画像を前記表示手段に表示させる制御を行う表示制御手順と、を実行させることを特徴とする。
【００２４】
また、請求項１６にかかる画像処理プログラムは、上記の発明において、前記描画色対応付け手順は、前記細胞領域に対応付けるそれぞれの描画色が所定の色空間内で広く分布するように前記各細胞領域に描画色を対応付けることを特徴とする。
【００２５】
また、請求項１７にかかる画像処理プログラムは、上記の発明において、前記描画色対応付け手順は、前記各細胞領域以外の背景領域に所定の背景描画色を対応付けるとともに、所定の色空間内で前記背景描画色から所定距離以上に離れた描画色を前記各細胞領域に対応付けることを特徴とする。
【００２６】
また、請求項１８にかかる画像処理プログラムは、上記の発明において、前記描画色対応付け手順は、互いに近傍に位置する各細胞領域に、所定の色空間内で所定の識別距離以上に離れた描画色を対応付けることを特徴とする。
【００２７】
また、請求項１９にかかる画像処理プログラムは、上記の発明において、前記描画色対応付け手順は、ＨＳＩ色空間内で彩度が大きい周縁部に示される描画色を前記各細胞領域に対応付けることを特徴とする。
【００２８】
また、請求項２０にかかる画像処理プログラムは、上記の発明において、前記細胞認識手順によって認識された各細胞領域の特徴を示す細胞特徴量を算出する特徴量算出手順をさらに実行させ、前記描画色対応付け手順は、前記細胞特徴量をもとに前記各細胞領域内の細胞の種類および状態を判別し、該判別した種類および状態の少なくとも一方に応じて前記各細胞領域に描画色を対応付けることを特徴とする。
【００２９】
また、請求項２１にかかる画像処理プログラムは、上記の発明において、前記描画色対応付け手順は、前記細胞の種類および状態の少なくとも一方に応じて、前記各細胞領域に、所定の色空間内の一部である部分色空間を割り当てるとともに、該部分色空間内の描画色を対応付けることを特徴とする。
【００３０】
また、請求項２２にかかる画像処理プログラムは、上記の発明において、前記細胞認識手順は、前記細胞領域が隣接した細胞領域群を認識し、前記描画色対応付け手順は、前記細胞領域群内の各細胞領域の境界部分に該各細胞領域と異なる描画色を対応付けることを特徴とする。
【００３１】
また、請求項２３にかかる画像処理プログラムは、上記の発明において、前記観測画像は、複数の観測時点に撮像された一連の画像であり、前記細胞認識手順によって認識された各細胞領域の特徴を示す細胞特徴量を算出する特徴量算出手順と、前記観測時点が異なる各観測画像の前記細胞特徴量をもとに、該各観測画像内の細胞に同一性があるか否かを判断し、同一性があると判断した各細胞に対応する細胞領域を関連付ける細胞追跡手順と、をさらに実行させ、前記描画色対応付け手順は、前記細胞追跡手段によって関連付けられた各細胞領域に等しい描画色を対応付け、前記表示制御手順は、前記観測時点ごとに前記彩色画像を生成し、該生成した各彩色画像を前記表示手段に表示させる制御を行うことを特徴とする。
【００３２】
また、請求項２４にかかる画像処理プログラムは、上記の発明において、前記描画色対応付け手順は、前記観測時点が異なる各観測画像の一方の観測画像内の１細胞領域と他方の観測画像内の複数の細胞領域とが前記細胞追跡手順によって関連付けられた場合、該関連付けられたすべての細胞領域に等しい描画色を対応付けることを特徴とする。
【００３３】
また、請求項２５にかかる画像処理プログラムは、上記の発明において、前記描画色対応付け手順は、前記観測時点の時系列順に各観測画像に前記描画色の対応付けを行い、処理対象の観測画像より時系列で前にある観測画像内の隔たった細胞領域に関連付けられ類似の描画色を対応付けた各類似色細胞領域が、該処理対象の観測画像内で互いに近傍に位置した場合、該各類似色細胞領域の少なくとも１つに、互いに類似しない非類似描画色であり、かつ、該処理対象の観測画像より時系列で前にあるすべての観測画像において関連付けられた各関連細胞領域の近傍に位置する近傍細胞領域に対応付けられた描画色と類似しない非類似描画色をあらためて対応付けることを特徴とする。
【００３４】
また、請求項２６にかかる画像処理プログラムは、上記の発明において、前記表示制御手順は、各観測時点に対応する前記各彩色画像を同一位置で切り替えて表示するように前記表示手段を制御することを特徴とする。
【００３５】
また、請求項２７にかかる画像処理プログラムは、上記の発明において、前記細胞領域を選択する選択情報を受け付ける選択情報入力手順をさらに実行させ、前記表示制御手順は、前記各彩色画像の中から、前記選択情報によって選択された細胞領域と、前記細胞追跡手順によって該細胞領域に関連付けられた細胞領域と、を抽出して前記表示手段に表示させる制御を行うことを特徴とする。
【００３６】
また、請求項２８にかかる画像処理プログラムは、上記の発明において、前記表示制御手順は、前記観測画像内の各細胞領域の輝度に応じて該各細胞領域の前記彩色画像上の輝度を変更した輝度補正彩色画像を生成し、該生成した輝度補正彩色画像を前記表示手段に表示させる制御を行うことを特徴とする。
【発明の効果】
【００３７】
本発明にかかる画像処理装置および画像処理プログラムによれば、観測画像に記録された複数の細胞に対応する各細胞領域を自動で識別し、識別した各細胞領域を容易に判別可能に表示することができるとともに、複数の観測時点に撮像された観測画像間で生じた細胞の経時変化の観測作業を容易にすることができる。
【発明を実施するための最良の形態】
【００３８】
以下、添付図面を参照して、本発明にかかる画像処理装置の好適な実施の形態を詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付している。
【００３９】
（実施の形態１）
まず、本発明の実施の形態１にかかる画像処理装置について説明する。図１は、この実施の形態１にかかる画像処理装置１の構成を示すブロック図である。図１に示すように、画像処理装置１は、入力された画像を処理する画像処理部２と、観察光学系ＯＰによって拡大投影された細胞培養部ＯＢ内の細胞を撮像して観測画像を生成する撮像部３と、各種情報を表示する表示部４と、各種情報の入力を受け付ける入力部５と、各種情報を記憶する記憶部６と、画像処理装置１の各部の処理および動作を制御する制御部７と、を備える。画像処理部２、撮像部３、表示部４、入力部５および記憶部６は、制御部７に電気的に接続されている。
【００４０】
細胞培養部ＯＢは、たとえば、蛍光タンパクが導入された複数の生細胞を観測試料として培養する。観察光学系ＯＰは、顕微鏡等を用いて実現される光学系であり、細胞培養部ＯＢ内で培養される細胞を撮像部３の撮像面に拡大投影する。なお、観察光学系ＯＰは、細胞培養部内の細胞を照明する照明装置を備えるようにしてもよい。
【００４１】
撮像部３は、ＣＭＯＳ、ＣＣＤ等の撮像素子と、撮像素子からのアナログ信号をデジタル信号に変換するＡ／Ｄ変換器とを有し、撮像素子の撮像面に拡大投影された細胞を撮像して観測画像を生成する。撮像部３は、複数の観測時点で細胞を撮像し、細胞の経時変化を記録した一連の観測画像を生成する。撮像部３によって生成された一連の観測画像は、観測画像記憶部６ａに記憶される。
【００４２】
画像処理部２は、細胞認識部２ａ、特徴量算出部２ｂ、細胞追跡部２ｃおよび描画色対応付け手段としての描画色割当部２ｄを備え、観測画像記憶部６ａに記憶された一連の観測画像を処理する。細胞認識部２ａ、特徴量算出部２ｂ、細胞追跡部２ｃおよび描画色割当部２ｄは、画像処理制御部７ａによって制御される。
【００４３】
細胞認識部２ａは、一連の観測画像に含まれる各観測画像の中から、個々の細胞に対応する画像領域である細胞領域を抽出する。細胞認識部２ａは、たとえば、分水嶺領域分割と呼ばれる画像処理手法（たとえば、非特許文献１参照）を利用して各観測画像を複数の画像領域に分割し、細胞領域を抽出する。非特許文献１では、画像を低輝度画素の集中する領域に分割するようにしているが、一般に細胞は高輝度画素の集合として現れるため、細胞認識部２ａでは、手法上、輝度を反転して、高輝度領域の分割に適用するようにしている。なお、細胞認識部２ａは、細胞領域の抽出を行う前に、前処理として各フレームに輝度補正処理、平滑化処理等を行うようにするとよい。
【００４４】
また、細胞認識部２ａは、抽出した各細胞領域に対して領域標識としての固有の認識番号を付与する。細胞認識部２ａによって付与される認識番号は、固有のものであれば番号以外にも、アルファベット、記号等を用いた任意の表記でよい。さらに、細胞認識部２ａは、各観測画像に対して、認識番号と細胞領域とを対応付けて示す細胞認識画像を生成する。生成された細胞認識画像は、観測時点に対応付けられ処理画像記憶部６ｂに記憶される。なお、細胞認識部２ａは、認識番号と細胞領域との対応付けのみ行って、細胞認識画像の生成を省いてもよい。この場合、細胞番号と細胞領域との対応情報は、観測画像にフレームごとに対応付けられ記憶部６に記憶されるようにするとよい。
【００４５】
特徴量算出部２ｂは、細胞認識部２ａによって抽出された各細胞領域の特徴を示す細胞特徴量を算出する。具体的には、特徴量算出部２ｂは、細胞特徴量として、細胞領域の輝度総和、面積、輪郭長、円形度、重心位置等を算出する。算出された各細胞特徴量は、細胞認識画像および観測画像の少なくとも一方に対してフレームごとに、各細胞領域の認識番号に対応付けられ記憶部６に記憶される。なお、特徴量算出部２ｂによって算出される細胞特徴量は、間接的に細胞領域内の細胞の特徴を示す。
【００４６】
細胞追跡部２ｃは、観測時点が異なる観測画像間の細胞特徴量の変化量を算出し、算出した変化量をもとに、この観測時点が異なる各観測画像に含まれる細胞に同一性があるか否かを判断し、同一性があると判断した各細胞の細胞領域を対応付ける。このとき、細胞追跡部２ｃは、同一性があると判断した各細胞の細胞領域に同一の認識番号を付与する。
【００４７】
たとえば、細胞追跡部２ｃは、時系列で連続する２つのフレーム間で細胞の同一性を判断し、同一性があると判断した各細胞領域のうち観測時点が前の細胞領域に付与された認識番号を、観測時点が後の細胞領域に付与する。そして、細胞追跡部２ｃは、この連続するフレーム間で行う処理を、時系列で先頭の第１フレームから順次、処理対象のフレームを観測時点順に変更して繰り返し、最終的に任意のフレーム間で各細胞領域を対応付けるようにする。
【００４８】
細胞追跡部２ｃによってあらためて付与された認識番号は、細胞認識画像のフレームごとに更新され、処理画像記憶部６ｂに記憶される。なお、細胞追跡部２ｃは、同一性を判断した各細胞領域に対して、認識番号とは異なる領域標識を新たに付与するようにしてもよい。
【００４９】
描画色割当部２ｄは、認識番号が付与された各細胞領域と、細胞領域とは異なる画像領域である背景領域とに、表示部４によって表示可能な異なる描画色を対応付ける。このとき、描画色割当部２ｄは、観測画像の背景色に類似の白または黒を背景領域の背景描画色として対応付けるとともに、表示部４によって表示可能な描画色を示す表示色空間内で、背景描画色から所定距離以上に離れた描画色を各細胞領域に対応付ける。
【００５０】
また、描画色割当部２ｄは、細胞認識画像上で互いに近傍に位置し認識番号の異なる各細胞領域に、表示色空間内で所定の識別距離以上に離れた描画色を対応付ける。この際、描画色割当部２ｄは、表示色空間がＨＳＩ色空間である場合には、このＨＳＩ色空間内で彩度が大きい周縁部に示される描画色を対応付けることで、できるだけ色相方向に隔たった異なる描画色を対応付ける。なお、識別距離は、一定値または観測者によって適宜定められる値のいずれでもよい。
【００５１】
さらに、描画色割当部２ｄは、各フレームの同一の認識番号を有する細胞領域に、等しい描画色を対応付ける。１つのフレーム内に同一の認識番号を有する複数の細胞領域が存在する場合、描画色割当部２ｄは、このすべての細胞領域に等しい描画色を対応付ける。なお、「等しい描画色」とは、完全に等しい描画色の他にも、若干の輝度や彩度を変更した描画色を含む意味である。
【００５２】
また、このように各フレームの細胞領域に描画色を対応付けた結果、任意のフレームにおいて、表示色空間内の識別距離以内にある類似した描画色が対応付けられ互いに近傍に位置する細胞領域が生じた場合、描画色割当部２ｄは、これらの細胞領域の少なくとも１つに、あらためて描画色を対応付け、最終的にすべてのフレームにおいて、類似した描画色を有する異なる認識番号に対応する細胞領域が互いに近傍に位置しないようにする。
【００５３】
さらに、描画色割当部２ｄは、細胞認識部２ａによって、たとえば細胞分裂直後の細胞に対応する細胞領域のような、複数の細胞領域が隣接した細胞領域群が認識された場合、細胞領域群内の各細胞領域の境界部分に、この各細胞領域と異なる描画色を対応付ける。なお、以上のように描画色割当部２ｄによって各細胞領域に対応付けられた描画色は、細胞認識画像のフレームごとに認識番号に対応付けられ処理画像記憶部６ｂに記憶される。
【００５４】
表示部４は、ＣＲＴ、液晶ディスプレイ等を備え、画像処理部２が観測画像を処理して生成した細胞認識画像を含む各種情報を表示する。特に、表示部４は、表示処理制御部７ｂからの指示をもとに、描画色割当部２ｄによって対応付けられた描画色により各細胞領域を彩色した彩色画像としての色分け画像を表示する。
【００５５】
入力部５は、ＵＳＢ，ＩＥＥＥ１３９４等の通信用インターフェース、各種スイッチ、入力キー、マウス、タッチパネル等を備え、各種情報の入力を受け付ける。入力部５は、特に、表示細胞選択部５ａを備え、この表示細胞入力部５ａは、表示部４に表示させる少なくとも１つの細胞領域を選択する細胞選択情報の入力を受け付ける。観測者は、表示細胞選択部５ａを介して細胞選択情報を入力することによって、表示させる細胞領域を任意に選択することができる。なお、細胞選択情報の入力として、たとえば、認識番号、細胞特徴量等を入力キーから入力するようにしてもよく、観測画像もしくは細胞認識画像を一旦表示させ、表示させた画像内の所望の領域をマウス等によってポインティングもしくはドラッグして選択することによって入力するようにしてもよい。
【００５６】
記憶部６は、各種処理プログラム等があらかじめ記憶されたＲＯＭと、各処理の処理パラメータ、処理データ等を記憶するＲＡＭとによって実現される。記憶部６は、特に、観測画像を記憶する観測画像記憶部６ａと、細胞認識画像、色分け画像等を記憶する処理画像記憶部６ｂとを備える。なお、記憶部６は、フラッシュメモリ、ＣＤ、ＤＶＤ、ハードディスク等の各種の携帯型記憶媒体を着脱可能な記憶部として備えるようにしてもよい。
【００５７】
制御部７は、記憶部６に記憶された各種処理プログラムを実行するＣＰＵ等によって実現される。制御部７は、特に、画像処理制御部７ａおよび表示処理制御部７ｂを備える。画像処理制御部７ａは、画像処理部２の各部が行う処理および動作を制御するとともに、画像処理部２に対する各種データおよびパラメータの入出力を制御する。
【００５８】
表示処理制御部７ｂは、描画色割当部２ｄによって対応付けられた描画色によって各細胞領域を彩色した色分け画像を観測時点ごとに生成し、生成した各色分け画像を表示部４に表示させる制御を行う。特に、表示処理制御部７ｂは、各フレームの色分け画像を表示させる際、表示画面上の同一位置で切り替えて表示するように表示部４を制御する。このとき、表示処理制御部７ｂは、観測時点順あるいは外部から入力された表示順序を指示する表示順指示情報等に応じて順次、各フレームの色分け画像を表示する。なお、表示処理制御部７ｂは、複数の色分け画像を並列に同時に表示するようにしてもよく、表示した色分け画像内の細胞領域の認識番号、細胞特徴量等の各種情報を同時に表示するようにしてもよい。
【００５９】
また、表示処理制御部７ｂは、細胞選択情報によって選択された細胞領域と、細胞追跡部２ｃによってこの細胞領域に関連付けられ同一の認識番号を付与された細胞領域と、を抽出して表示部４に表示させる制御を行う。この際、表示処理制御部７ｂは、抽出した以外の細胞領域を背景描画色によって彩色し、表示させるようにしてもよい。なお、表示処理制御部７ｂによって生成された色分け画像は、観測時点に対応付けて処理画像記憶部６ｂに記憶される。
【００６０】
ここで、画像処理装置１が行う処理手順について説明する。図２は、撮像部３によって撮像され観測画像記憶部６ａに記憶された観測画像を示す模式図であり、図３は、画像処理装置１が、この観測画像を処理して表示する処理手順を示すフローチャートである。
【００６１】
図２に示すように、撮像された観測画像は、背景の中に観測対象としての複数の細胞を含む。各細胞は、たとえば、第ｎフレーム〜第（ｎ＋１）フレーム間で移動、膨張、収縮、変形、分裂、消滅等の状態変化を起こしている。
【００６２】
図３に示すように、細胞認識部２ａは、観測画像の各フレームの中から各細胞に対応する細胞領域を抽出して認識番号を付与し、細胞認識画像を生成する細胞認識処理を行い（ステップＳ１０１）、特徴量算出部２ｂは、抽出された各細胞領域の各種細胞特徴量を算出する特徴量算出処理を行い（ステップＳ１０３）、細胞追跡部２ｃは、各フレーム間の細胞の同一性を判断し、同一性があると判断した各細胞の細胞領域に同一の認識番号を付与して対応付ける細胞追跡処理を行い（ステップＳ１０５）、描画色割当部２ｄは、認識された各細胞領域に異なる描画色を対応付ける描画色決定処理を行い（ステップＳ１０７）、表示処理制御部７ｂは、各細胞領域を描画色によって彩色した色分け画像を観測時点ごとに生成して表示する色分け画像表示処理を行い（ステップＳ１０９）、画像処理装置１は、一連の処理を終了する。
【００６３】
ステップＳ１０３の特徴量算出処理では、特徴量算出部２ｂは、細胞特徴量として、各細胞領域の重心位置、面積、円形度の少なくとも１つを算出する。そして、ステップＳ１０５の細胞追跡処理では、細胞追跡部２ｃは、観測時点が異なる２つの観測画像に含まれる各細胞領域について評価値Ｊを算出し、算出した評価値Ｊの値に応じて、各細胞領域内の細胞の同一性を判断する。
【００６４】
評価値Ｊは、観測時点ｔi，ｔi+1の各観測画像内で認識番号Ｒti,m，Rti+1,nが付与された各細胞領域に対して、重心間の距離δd、面積の差δa、円形度の差δc、所定の重み付け係数ｋd，ｋa，ｋcを用い、次式（１）で算出される。
Ｊ＝Ｊ（Ｒti,m，Rti+1,n）＝ｋdδd＋ｋaδa＋ｋcδc ・・・（１）
ここで、変数ｍ，ｎは、観測時点ｔi，ｔi+1の各観測画像で抽出された細胞領域数Ｍ，Ｎに対して、１≦ｍ≦Ｍ，１≦ｎ≦Ｎの関係にある。なお、評価値Ｊは、式（１）の右辺の各項の中から任意の１項または２項を用いて算出するようにしてもよい。
【００６５】
細胞追跡部２ｃは、変数ｍ，ｎの可能なすべての組み合わせについて評価値Ｊを算出し、算出した評価値Ｊが所定のしきい値θ以下である場合、認識番号Ｒti,m，Rti+1,nが付与された各細胞領域の細胞に同一性があると判断し、この細胞領域に同一の認識番号を付与する。同様に、細胞追跡部２ｃは、観測時点ｔi，ｔi+1以外の各観測画像について評価値Ｊを算出し、算出した評価値Ｊがしきい値θ以下となる各細胞を同一の細胞と判断し、各細胞領域に同一の認識番号を付与する。
【００６６】
図４は、図２に示した第ｎおよび第（ｎ＋１）フレームの観測画像をもとに、ステップＳ１０１〜Ｓ１０５によって生成された細胞認識画像を示す図である。図４では、ステップＳ１０１によって抽出された各細胞領域に、認識番号「Ｌ１〜Ｌ７」が付与されている。なお、認識番号「Ｌ２」の細胞領域は、ステップＳ１０５の細胞追跡処理によって、第ｎフレームの１つの細胞領域に対して第（ｎ＋１）フレームの２つの細胞領域が関連付けられ、それぞれに同一の認識番号が付与されている。
【００６７】
つぎに、図３に示したステップＳ１０７の描画色決定処理について説明する。描画色決定処理では、描画色割当部２ｄは、各細胞領域に認識番号ごとに異なる描画色を対応付ける。このとき、描画色割当部２ｄは、各細胞領域、とりわけ互いに近傍に位置する各細胞領域に類似の描画色を対応付けないように、できるだけ表示色空間内で広く分布するように、色空間内で識別距離以上に離れた描画色を各細胞領域に対応付けるようにする。
【００６８】
図５は、色空間座標および表示色空間を示す図である。図５に示す色空間座標は、図上、上下方向に明度（Ｉ）軸を有し、この明度軸を中心とする放射方向に彩度（Ｓ）を示し、明度軸を中心とする回転方向に色相（Ｈ）を示し、ＨＳＩ色空間を形成している。この色空間座標上の表示色空間ＣＢ内の各点が、表示部４によって表示可能な描画色を示し、たとえば、彩度が大きな周縁部に位置する点Ｐｒ，Ｐｙ，Ｐｇ，Ｐｃ，Ｐｂ，Ｐｍは、それぞれ赤、黄、緑、シアン、青、マゼンタの各描画色を示す。なお、表示色空間ＣＢ内の明度軸上の下端および上端に位置する点ＰＢ，ＰＷは、それぞれ黒、白を示し、これらの中点ＰＧは、グレーを示す。
【００６９】
なお、表示部４によって表色する際のＲＧＢカラーから、表示色空間ＣＢ上に示すＨＳＩカラーへの変換は、次のように行われる。すなわち、まず、Ｒ，Ｇ，Ｂ各色の正規化された輝度値ＲV，ＧV，ＢV（＝０〜１）の中の最大輝度値Ｉmaxおよび最小輝度値Ｉminを次式（２），（３）によって求める。
Ｉmax＝ｍａｘ｛ＲV，ＧV，ＢV｝ ・・・（２）
Ｉmin＝ｍｉｎ｛ＲV，ＧV，ＢV｝ ・・・（３）
【００７０】
つづいて、次式（４）によって明度値Ｉvを算出し、算出した明度値Ｉv≦０．５の場合、式（５）によって彩度値ＳVを算出し、明度値ＩV＞０．５の場合、式（６）によって彩度値ＳVを算出する。
ＩV＝（Ｉmax＋Ｉmin）／２ ・・・（４）
ＳV＝（Ｉmax−Ｉmin）／（Ｉmax＋Ｉmin） ・・・（５）
ＳV＝（Ｉmax−Ｉmin）／（２−（Ｉmax＋Ｉmin）） ・・・（６）
【００７１】
また、次式（７）〜（９）によって中間変数ｒ，ｇ，ｂを算出し、算出したｒ，ｇ，ｂをもとに、最大輝度値Ｉmax＝ＲVの場合、式（１０）によって、最大輝度値Ｉmax＝ＧVの場合、式（１１）によって、最大輝度値Ｉmax＝ＢVの場合、式（１２）によって、それぞれ色相値Ｈvを算出する。
ｒ＝（Ｉmax−ＲV）／（Ｉmax−Ｉmin） ・・・（７）
ｇ＝（Ｉmax−ＧV）／（Ｉmax−Ｉmin） ・・・（８）
ｂ＝（Ｉmax−ＢV）／（Ｉmax−Ｉmin） ・・・（９）
Ｈv＝π（ｂ−ｇ）／３ ・・・（１０）
Ｈv＝π（２＋ｒ−ｂ）／３ ・・・（１１）
Ｈv＝π（４＋ｇ−ｒ）／３ ・・・（１２）
【００７２】
描画色割当部２ｄは、具体的には、図５に示す点Ｐ１，Ｐ２のように色相差Ｈ12が小さい描画色ではなく、点Ｐ１，Ｐ３のように色相差Ｈ13が大きい描画色を各細胞領域に対応付ける。ただし、１つのフレーム内に存在する細胞数が多くなると、任意の細胞領域間で描画色の色相差を大きく確保することが困難になるため、描画色割当部２ｄは、少なくとも互いに近傍に位置する細胞領域に対して色相差が大きくなる描画色を対応付ける。
【００７３】
また、描画色割当部２ｄは、図５に示す点Ｐ４，Ｐ５のように、背景描画色とする点ＰＢ（黒）または点ＰＷ（白）に近い描画色を細胞領域に対応付けず、表示色空間ＣＢ上で点ＰＢおよび点ＰＷから所定距離以上に離れた点で示される描画色を対応付けるようにする。このように描画色を対応付けることによって、描画色割当部２ｄは、観測者が色覚的に容易に認識および判別可能な描画色を各細胞領域、とりわけ互いに近傍に位置する細胞領域に対応付けることができる。
【００７４】
なお、描画色割当部２ｄは、ＨＳＩカラーで示される表示色空間ＣＢと異なる色空間によって描画色の類似度を判断するようにしてもよく、たとえば、ＣＩＥ−Ｌ*ａ*ｂ*表色系で示される色空間を利用できる。また、描画色割当部２ｄは、描画色の類似度の指標として色差を用いるようにしてもよく、たとえば、ＣＩＥ−Ｌ*ａ*ｂ*表色系の座標値（Ｌ1*ａ1*ｂ1*），（Ｌ2*ａ2*ｂ2*）で示される描画色の色差ΔＥを用いることができる。なお、色差ΔＥは、次式（１３）によって算出される。
【数１】
【００７５】
ここで、描画色決定処理の処理手順の一例を、図６を参照して説明する。図６は、乱数を利用して表示色空間ＣＢから描画色を選択し、各フレームの細胞領域に対応付ける処理手順を示す。図６に示すように、画像処理制御部７ａが、処理画像記憶部６ｂから細胞認識画像を１フレーム読み込み（ステップＳ１１１）、描画色割当部２ｄは、読み込んだフレームにおいて始めて付加された初出の細胞認識番号があるか否かを判断する（ステップＳ１１３）。
【００７６】
初出の細胞認識番号がある場合（ステップＳ１１３：Ｙｅｓ）、描画色割当部２ｄは、初出の各細胞認識番号に対して、乱数によって選択した描画色を対応付け（ステップＳ１１５）、前フレームまでに既に付与された既出の各細胞認識番号に対して、前フレームまでと同じ描画色を対応付ける（ステップＳ１１７）。一方、初出の細胞認識番号がない場合（ステップＳ１１３：Ｎｏ）、描画色割当部２ｄは、ただちにステップＳ１１７を実行する。なお、第１フレームを処理対象とする場合、描画色割当部２ｄは、ステップＳ１１３，Ｓ１１７の処理を省略してもよい。
【００７７】
つづいて、描画色割当部２ｄは、処理対象のフレーム内で背景領域または近傍の細胞領域と類似の描画色を対応付けられた細胞認識番号があるか否かを判断し（ステップＳ１１９）、類似の描画色を対応付けられた細胞認識番号がある場合（ステップＳ１１９：Ｙｅｓ）、類似の描画色を有する細胞認識番号の少なくとも１つに対して、乱数によって再び選択した描画色を対応付ける（ステップＳ１２１）。ここで、類似の描画色とは、表示色空間ＣＢ上で、背景描画色に対して所定距離以内にある描画色、近傍の細胞領域に対して識別距離以内にある描画色を指す。なお、背景領域の背景描画色は、あらかじめ白、黒等に決定されているものとする。
【００７８】
その後、描画色割当部２ｄは、再びステップＳ１１９の判断を行い、類似の描画色を対応付けられた細胞認識番号がないと判断した場合（ステップＳ１１９：Ｎｏ）、処理画像記憶部６ｂに記憶された前フレームまでの細胞認識画像を参照し、前フレームまでの各フレームにおいて近傍の細胞領域と類似の描画色を対応付けられた細胞認識番号があるか否かを判断し（ステップＳ１２３）、類似の描画色が対応付けられた細胞認識番号がある場合（ステップＳ１２３：Ｙｅｓ）、ステップＳ１２１を実行する。
【００７９】
類似の描画色が対応付けられた細胞認識番号がない場合（ステップＳ１２３：Ｎｏ）、画像処理制御部７ａは、細胞認識番号に対する描画色を決定し、決定した細胞認識番号と描画色との対応関係を細胞認識画像のフレームごとに処理画像記憶部６ｂに記録する（ステップＳ１２５）。そして、画像処理制御部７ａは、一連の細胞認識画像について最終フレームまで処理したか否かを判断し（ステップＳ１２７）、処理していない場合（ステップＳ１２７：Ｎｏ）、未処理のフレームに対してステップＳ１１１からの処理を繰り返し、最終フレームまで処理している場合（ステップＳ１２７：Ｙｅｓ）、ステップＳ１０７へリターンする。
【００８０】
ステップＳ１１５では、描画色割当部２ｄは、乱数によってＲＧＢカラーの各色成分の輝度値（階調値）を求めて描画色を選択する。この際、発生させる乱数の範囲は、表示色空間ＣＢ内に示される描画色の輝度値の範囲とする。さらに、この範囲は、表示色空間ＣＢ上で背景描画色から所定距離以上、また明度軸からあらかじめ定められた距離以上に離れた描画色の輝度値の範囲に限定するようにしてもよい。
【００８１】
ステップＳ１１９では、描画色割当部２ｄは、ステップＳ１１５によって新しく描画色を対応付けた細胞認識番号はもとより、既出の細胞認識番号も含めて、すべての細胞認識番号について類似の描画色があるか否かを判断する。既出の細胞認識番号を判断対象とするのは、前フレームにおいて類似の描画色を有する細胞領域が近傍になかったとしても、たとえば細胞が移動することによって、処理対象のフレームにおいて類似の描画色を有する細胞領域が近傍に位置する可能性があることによる。
【００８２】
描画色割当部２ｄは、ステップＳ１１９，Ｓ１２１によって、処理対象のフレーム内で互いに近傍に位置する細胞領域に類似の描画色を対応付けないようにするとともに、その後のステップＳ１２３によって、一連のすべてのフレームにおいて、互いに近傍に位置する細胞領域に類似の描画色を対応付けないようにする。
【００８３】
このようにして、図６に示す描画色決定処理では、描画色割当部２ｄは、表示色空間ＣＢ内に広く分布した描画色を各細胞領域に対応付けることができ、かつ、近隣同士の細胞領域に表示色空間ＣＢ上で識別距離以上に離れた描画色を対応付けることができ、結果として、画像表示した場合に容易に認識および判別可能な視認性の良い描画色を各細胞領域に対応付けることができる。
【００８４】
図３に示したステップＳ１０９の色分け画像表示処理では、表示処理制御部７ｂは、たとえば図７に示すように、ステップＳ１０７によって対応付けられた描画色によって各細胞領域を彩色した色分け画像を生成し、表示部４に表示させる。図７は、図４に示した第ｎおよび第（ｎ＋１）フレームの細胞認識画像を彩色した色分け画像を示す図である。図７では、便宜的に、各細胞領域の表示模様の違いによって描画色の違いを示している。図４と対比して明らかなように、異なる認識番号を有する細胞領域は異なる描画色で彩色され、同一の認識番号を有する細胞領域は同一の描画色で彩色されている。
【００８５】
なお、図７に示した色分け画像では、隣接した細胞領域の境界部分が背景描画色によって彩色されている。このような境界部分の彩色手法は、特に、図８に示すように、細胞分裂によって発生し同一描画色で彩色される細胞が隣接する際に、各細胞領域を独立した細胞領域として判別可能とするために有効である。図８では、境界部分を背景描画色で彩色する場合の他、細胞領域および背景領域と異なる描画色で彩色した場合を例示している。
【００８６】
図８に示すように、境界部分を背景描画色によって彩色する手法は、必要な描画色数を増やすことなく、また表示を煩雑にすることなく、各細胞領域を容易に判別可能にできる。一方、境界部分を細胞領域および背景領域と異なる描画色で彩色する手法は、境界部分をより明確に表示することができる。この場合、境界部分の描画色として、細胞領域の描画色の補色を用いることもできる。
【００８７】
また、色分け画像表示処理では、表示処理制御部７ｂは、各フレームの色分け画像を、たとえば観測時点順に表示部４上の同一位置に切り替えて表示する。この際、表示処理制御部７ｂは、所定周期で自動的に切り替えるようにしてもよく、あるいは入力部５から入力される切り替えを指示する切替指示情報に応じて切り替えるようにしてもよい。このように同一位置で切り替えて一連の色分け画像を表示することによって、観測者は、フレーム間で特異な変化を生じた細胞の発見、個々の細胞の位置、大きさ、形状等の変化および分裂等の状態変化の把握を容易に行うことができる。
【００８８】
さらに、色分け画像表示処理では、表示処理制御部７ｂは、表示細胞選択部５ａから入力される細胞選択情報によって選択された細胞領域のみ抽出して表示するようにしてもよい。この場合、表示処理制御部７ｂは、たとえば図９に示すように、選択された細胞領域以外の領域を背景描画色によって彩色して表示するとよい。このように表示することによって、観測者は、注目する細胞のみ容易に認識し観測することができる。
【００８９】
なお、表示処理制御部７ｂは、選択された細胞領域以外の領域を観測画像の対応する領域によって表示するようにしてもよい。また、細胞選択情報を描画色決定処理より前に取得するようにして、描画色割当部２ｄは、選択された細胞領域のみに描画色を対応付けるようにしてもよい。
【００９０】
以上説明したように、この実施の形態１にかかる画像処理装置１では、観測画像に記録された複数の細胞に対応する各細胞領域を自動で識別し、識別した各細胞領域を容易に判別可能に表示することができるとともに、複数の観測時点に撮像された観測画像間で生じた細胞の経時変化の観測作業を容易にすることができる。
【００９１】
（実施の形態２）
つぎに、本発明の実施の形態２について説明する。上述した実施の形態１では、描画色割当部２ｄは、各細胞領域に対応付ける描画色を、識別距離等の所定の条件のもと表示色空間ＣＢ全体から選択するようにしていたが、この実施の形態２では、観測画像に記録された細胞の種類ごとに、各細胞領域に対応付け可能な描画色の範囲を割り当てるようにしている。
【００９２】
図１０は、本発明の実施の形態２にかかる画像処理装置１１の構成を示すブロック図である。図１０に示すように、画像処理装置１１は、画像処理装置１が備えた画像処理部２、記憶部６および制御部７に替えて、画像処理部１２、記憶部１６および制御部１７を備える。画像処理部１２は、画像処理部２が備えた描画色割当部２ｄに替えて描画色割当部１２ｄを備え、記憶部１６は、記憶部６の構成に加えて描画色テーブル１６ｃを記憶し、制御部１７は、制御部７が備えた画像処理制御部７ａに替えて画像処理制御部１７ａを備える。その他の構成は、実施の形態１と同じであり、同一構成部分には同一符号を付している。
【００９３】
特徴量算出部２ｂは、各細胞領域の形状、状態等に関する細胞特徴量とともに、マーカーとして複数種類の蛍光色素が導入された細胞を記録した観測画像の場合、各細胞領域の蛍光色素に対応するＲＧＢカラーの各色成分の画素値を細胞特徴量として算出する。さらに、特徴量算出部２ｂは、各細胞領域の細胞認識部２ａによる細胞認識処理の成功度合い等を細胞特徴量として算出するようにしてもよい。
【００９４】
描画色割当部１２ｄは、特徴量算出部２ｂによって算出された各種の細胞特徴量をもとに、各細胞領域内の細胞の種類および状態を判別し、判別した種類および状態の少なくとも一方に応じて各細胞領域に描画色を対応付ける。この際、描画色割当部１２ｄは、判別した種類および状態の少なくとも一方に応じて各細胞領域に、表示色空間ＣＢ内の部分的な色空間である種類別色空間を割り当てるとともに、割り当てた種類別色空間内の描画色を対応付ける。
【００９５】
具体的には、描画色割当部１２ｄは、たとえば図１１に示すように、丸い形の細胞種に対応する細胞領域Ａａ１，Ａａ２およびＡｂ１〜Ａｂ３と、細長い形の細胞種に対応する細胞領域Ｂａ１〜Ｂａ３およびＢｂ１〜Ｂｂ４とに、それぞれ図１２−１に示すような種類別色空間ＢＧ，ＲＹを割り当てる。種類別色空間ＢＧは、表示色空間ＢＣ内の寒色系の青・緑系統色を示し、種類別色空間ＲＹは、表示色空間ＢＣ内の暖色系の赤・黄系統色を示す。
【００９６】
他にも、観測する細胞の種類に応じたマーカーとして複数種類の蛍光色素を用いた場合には、各細胞領域の画素位置におけるＲＧＢカラーの各色成分の画素値で表される細胞特徴量に応じて細胞の種類を分類し、分類した各細胞種に対して種類別色空間を割り当てるようにすることもできる。さらに、細胞の形状についての細胞特徴量に基づいて分類される細胞種と、ＲＧＢカラーの各色成分の画素値で表される細胞特徴量に基づいて分類される細胞種との両者の組み合わせによって細胞種を分類し、各組み合わせに対して種類別色空間を割り当てるようにすることもできる。
【００９７】
そして、描画色割当部１２ｄは、種類別色空間ＢＧの中から描画色代表点ＢＧ１〜ＢＧ１０を選択し、異なる認識番号（同一性のない細胞）に対応する細胞領域Ａａ１，Ａａ２およびＡｂ１〜Ａｂ３に対して、描画色代表点ＢＧ１〜ＢＧ１０が示す異なる描画色を対応付ける。同様に、描画色割当部１２ｄは、種類別色空間ＲＹの中から描画色代表点ＲＹ１〜ＲＹ１０を選択し、異なる認識番号（同一性のない細胞）に対応する細胞領域Ｂａ１，Ｂａ２およびＢｂ１〜Ｂｂ３に対して、描画色代表点ＲＹ１〜ＲＹ１０が示す異なる描画色を対応付ける。
【００９８】
各描画色代表点は、図１２−１および図１２−２に示すように、表示色空間ＣＢ上の最も彩度の大きな周縁部に位置する点であって、たとえば、描画色代表点ＢＧ１，ＢＧ５，ＢＧ１０およびＲＹ５は、それぞれ青、シアン、緑および赤の描画色を示す。なお、図１２−２は、表示色空間ＣＢ上の点ＰＷ，ＰＢの中点ＰＧを含み明度軸に垂直な横断面を示している。
【００９９】
また、各描画色代表点は、種類別色空間ごとにあらかじめ複数選択され、たとえば図１３に示すように、ＨＳＩカラーとＲＧＢカラーとの各表示値がテーブルによって対応付けられ、描画色テーブル１６ｃとして記憶部１６に記憶される。描画色割当部１２ｄは、この描画色テーブル１６ｃを参照して描画色代表点を選択し、選択した描画色代表点が示す描画色を種類別色空間ごとに各細胞領域に対応付ける。
【０１００】
なお、あらかじめ選択される描画色代表点は、図１３に示したように種類別色空間ごとに１０点に限定する必要はなく、１０点より多くても少なくてもよい。ただし、細胞領域があらかじめ選択された描画色代表点より多い場合、描画色割当部１２ｄは、新たな描画色代表点を選択して細胞領域に対応付ける。この際、描画色割当部１２ｄは、既存の描画色代表点を色相方向に移動させた点としての、既存の描画色代表点間の内分点もしくは外分点を新たな描画色代表点にするとよい。
【０１０１】
さらに、細胞領域数が多く、色相方向に移動させただけでは描画色代表点を十分に確保できない場合、描画色割当部１２ｄは、既存の描画色代表点を彩度および明度方向に移動させた点を新たな描画色代表点にする。この場合、描画色割当部１２ｄは、たとえば、描画色代表点ＢＧ５を基点として、図１２−３に示す描画色範囲ＢＧ５ａ内で彩度および明度を変化させた点ＢＧ５’等を新たな描画色代表点として選択し、同様に、描画色代表点ＲＹ５を基点として描画色範囲ＲＹ５ａ内の点ＲＹ５’を新たな描画色代表点とする。ここで、描画色範囲ＢＧ５ａは、基点とする描画色代表点ＢＧ５と明度軸とを含む平面による種類別色空間ＢＧの縦断面内の領域であり、描画色範囲ＲＹ５ａは、描画色代表点ＲＹ５と明度軸とを含む平面による種類別色空間ＲＹの縦断面内の領域である。
【０１０２】
同様に、描画色割当部１２ｄは、他の描画色代表点ＢＧ１，ＢＧ１０，ＲＹ１，ＲＹ１０等に対しても、図１２−２に示すように描画色範囲ＢＧ１ａ，ＢＧ１０ａ，ＲＹ１ａ，ＲＹ１０ａ等を設定し、各描画色代表点を基点として彩度および明度を変化させた新たな描画色代表点を選択するとよい。
【０１０３】
また、描画色割当部１２ｄは、あらかじめ選択された描画色代表点より細胞領域が少ない場合であっても、たとえば、細胞分裂等によって派生し同一の認識番号が付与された各細胞領域に対し、同じ描画色範囲（たとえば、ＢＧ５ａ）内の異なる描画色（たとえば、ＢＧ５’，ＢＧ５”）を対応付けるようにしてもよい。すなわち、描画色割当部１２ｄは、同じ色相を対応付けることによって、同一の認識番号が付与された各細胞領域の関連性を示し、彩度および明度の少なくとも一方を変化させることによって独立した細胞領域であることを明確にすることができる。
【０１０４】
なお、描画色割当部１２ｄは、細胞種類が多く、色相方向に種類別色空間を十分に確保できない場合、彩度および明度方向に表示色空間ＣＢをさらに細分化した部分的な色空間を種類別色空間として用いるようにしてもよい。
【０１０５】
図１４は、表示処理制御部７ｂが、描画色割当部１２ｄによって対応付けられた描画色により、図１１に示した第ｍおよび第（ｍ＋１）フレームの細胞認識画像を彩色した色分け画像を示す図である。図１４では、便宜的に、各細胞領域の表示模様の違いによって描画色の違いを示している。特に、丸い形の細胞種に対応する細胞領域Ａａ１，Ａａ２およびＡｂ１〜Ａｂ３は、点を基調とした表示模様として、種類別色空間ＢＧ内の描画色により彩色されていることを示し、細長い形の細胞種に対応する細胞領域Ｂａ１〜Ｂａ３およびＢｂ１〜Ｂｂ４は、斜線を基調とした表示模様として、種類別色空間ＲＹ内の描画色により彩色されていることを示している。
【０１０６】
このようにして、この実施の形態２にかかる画像処理装置１１では、複数種類の細胞が記録された観測画像に対して、各細胞領域を自動で識別し、識別した各細胞領域を容易に判別可能に表示することができ、また、複数の観測時点に撮像された観測画像間で生じた細胞の経時変化の観測作業を容易にすることができることに加えて、細胞の種類および状態の少なくとも一方に応じて種類別色空間を割り当てて描画色の色系統を区別するようにしているため、各細胞が属する種類を容易に判別可能に表示することができる。
【０１０７】
なお、画像処理装置１１では、描画色割当部１２ｄは、画像処理装置１の描画色割当部２と同様に、一連のすべてのフレームにおいて、互いに近傍に位置する細胞領域に類似の描画色を対応付けないようにする。
【０１０８】
また、表示処理制御部７ｂは、上述した実施の形態１と同様に、各フレームの色分け画像を表示部４上の同一位置に切り替えて表示する。このように表示することによって、観測者は、フレームごとに各細胞領域の属する種類が容易に判別できることに加えて、フレーム間で生じた種類ごとの細胞分布の変化を容易に把握することができる。
【０１０９】
（実施の形態３）
つぎに、本発明の実施の形態３について説明する。上述した実施の形態１および２では、表示処理制御部７ｂは、対応付けられた描画色によって各細胞領域を彩色した色分け画像を表示するようにしていたが、この実施の形態３では、さらに、観測画像の輝度情報を反映した色分け画像を表示するようにしている。
【０１１０】
図１５は、本発明の実施の形態３にかかる画像処理装置２１の構成を示すブロック図である。図１５に示すように、画像処理装置２１は、画像処理装置１が備えた制御部７に替えて制御部２７を備える。制御部２７は、制御部７が備えた表示処理制御部７ｂに替えて表示処理制御部２７ｂを備える。その他の構成は、実施の形態１と同じであり、同一構成部分には同一符号を付している。
【０１１１】
表示制御部２７ｂは、観測画像内の各細胞領域の輝度に応じて色分け画像上の細胞画像領域の輝度を変更した輝度補正色分け画像を生成し、表示部４に表示させる。この表示方法は、定性的には、色分け画像を透過画像として観測画像に重ね合わせて表示させることに相当する。
【０１１２】
定量的には、表示処理制御部２７ｂは、あらかじめ定められた透過率αと、色分け画像上の各点（ｘ，ｙ）におけるＲＧＢカラーの各色成分の輝度値Ｒ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ）と、観測画像上の対応する点の輝度値Ｉ（ｘ，ｙ）とを用い、次式（１４）〜（１６）によって、輝度補正色分け画像の各点（ｘ，ｙ）の色成分ごとの輝度値Ｒnew（ｘ，ｙ），Ｇnew（ｘ，ｙ），Ｂnew（ｘ，ｙ）を算出する。
Ｒnew（ｘ，ｙ）＝α・Ｒ（ｘ，ｙ）＋（１−α）・Ｉ（ｘ，ｙ） ・・・（１４）
Ｇnew（ｘ，ｙ）＝α・Ｇ（ｘ，ｙ）＋（１−α）・Ｉ（ｘ，ｙ） ・・・（１５）
Ｂnew（ｘ，ｙ）＝α・Ｂ（ｘ，ｙ）＋（１−α）・Ｉ（ｘ，ｙ） ・・・（１６）
【０１１３】
なお、透過率αは、輝度値Ｒnew（ｘ，ｙ），Ｇnew（ｘ，ｙ），Ｂnew（ｘ，ｙ）によって決まる描画色が、表示色空間ＣＢ内に位置するように定められる。また、透過率αは、観測者によって適宜変更されるようにしてもよい。
【０１１４】
また、表示処理制御部２７ｂは、画像処理装置１の表示処理制御部７ｂと同様に、各フレームの輝度補正色分け画像を、表示部４上の同一位置に切り替えて表示する。これによって、観測者は、フレーム間で生じた個々の細胞の位置、大きさ、形状等の変化に加えて、輝度の変化を容易に把握することができる。
【０１１５】
このようにして、この実施の形態３にかかる画像処理装置２１では、複数種類の細胞が記録された観測画像に対して、各細胞領域を自動で識別し、識別した各細胞領域を容易に判別可能に表示することができるとともに、複数の観測時点に撮像された観測画像間で生じた細胞の経時変化、とりわけ輝度変化の観測作業を容易にすることができる。
【０１１６】
なお、画像処理装置２１は、画像処理装置１をもとに表示処理制御部２７ｂを備えるようにしたが、画像処理装置１１をもとに備えるようにしてもよく、この場合、フレーム間で生じた種類ごとの細胞の分布変化とともに輝度変化を容易に判別することができる。
【０１１７】
また、上述した実施の形態１〜３では、撮像部３によって撮像された一連の観測画像を処理するように示したが、外部の撮像装置によって撮像され、入力部５から入力される観測画像を観測画像記憶部６ａに記録して処理するようにしてもよい。
【図面の簡単な説明】
【０１１８】
【図１】本発明の実施の形態１にかかる画像処理装置の構成を示すブロック図である。
【図２】図１に示した画像処理装置が処理する観測画像を示す図である。
【図３】図１に示した画像処理装置が行う処理手順を示すフローチャートである。
【図４】図２に示した観測画像に対応する細胞認識画像を示す図である。
【図５】図１に示した表示部によって表示可能な描画色を示す色空間を説明する図である。
【図６】図３に示した描画色決定処理の処理手順を示すフローチャートである。
【図７】描画色によって細胞領域を彩色した色分け画像を示す図である。
【図８】境界部分を細胞領域と異なる描画色で彩色した場合の色分け画像を示す図である。
【図９】細胞選択情報によって選択された細胞領域を選択的に表示する色分け画像を示す図である。
【図１０】本発明の実施の形態２にかかる画像処理装置の構成を示すブロック図である。
【図１１】図１０に示した画像処理装置が処理する観測画像を示す図である。
【図１２−１】図１０に示した描画色割当部が割り当てる種類別色空間を示す図である。
【図１２−２】図１１に示した種類別色空間の横断面を示す図である。
【図１２−３】図１１に示した種類別色空間の縦断面を示す図である。
【図１３】図１０に示した描画色テーブルを示す図である。
【図１４】細胞種類に応じて描画色により細胞領域を彩色した色分け画像を示す図である。
【図１５】本発明の実施の形態３にかかる画像処理装置の構成を示すブロック図である。
【符号の説明】
【０１１９】
１，１１，２１ 画像処理装置
２，１２ 画像処理部
２ａ 細胞認識部
２ｂ 特徴量算出部
２ｃ 細胞追跡部
２ｄ，１２ｄ 描画色割当部
３ 撮像部
４ 表示部
５ 入力部
５ａ 表示細胞選択部
６，１６ 記憶部
６ａ 観測画像記憶部
６ｂ 処理画像記憶部
７，１７，２７ 制御部
７ａ，１７ａ 画像処理制御部
７ｂ，２７ｂ 表示処理制御部
１６ｃ 描画色テーブル
ＢＧ，ＲＹ 種類別色空間
ＣＢ 表示色空間
ＯＢ 細胞培養部
ＯＰ 観察光学系
【特許請求の範囲】
【請求項１】
複数の細胞が記録された観測画像を処理して表示手段に表示させる画像処理装置において、
前記観測画像の中から前記細胞の画像領域である細胞領域を認識する細胞認識手段と、
前記細胞認識手段が認識した各細胞領域に前記表示手段によって表示可能な異なる描画色を自動的に対応付ける描画色対応付け手段と、
前記対応付け手段によって対応付けられた描画色によって前記各細胞領域を彩色した彩色画像を生成し、該生成した彩色画像を前記表示手段に表示させる制御を行う表示制御手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記描画色対応付け手段は、前記細胞領域に対応付けるそれぞれの描画色が所定の色空間内で広く分布するように前記各細胞領域に描画色を対応付けることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記描画色対応付け手段は、前記各細胞領域以外の背景領域に所定の背景描画色を対応付けるとともに、所定の色空間内で前記背景描画色から所定距離以上に離れた描画色を前記各細胞領域に対応付けることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記描画色対応付け手段は、互いに近傍に位置する各細胞領域に、所定の色空間内で所定の識別距離以上に離れた描画色を対応付けることを特徴とする請求項１〜３のいずれか一つに記載の画像処理装置。
【請求項５】
前記描画色対応付け手段は、ＨＳＩ色空間内で彩度が大きい周縁部に示される描画色を前記各細胞領域に対応付けることを特徴とする請求項１〜４のいずれか一つに記載の画像処理装置。
【請求項６】
前記細胞認識手段によって認識された各細胞領域の特徴を示す細胞特徴量を算出する特徴量算出手段を備え、
前記描画色対応付け手段は、前記細胞特徴量をもとに前記各細胞領域内の細胞の種類および状態を判別し、該判別した種類および状態の少なくとも一方に応じて前記各細胞領域に描画色を対応付けることを特徴とする請求項１〜５のいずれか一つに記載の画像処理装置。
【請求項７】
前記描画色対応付け手段は、前記細胞の種類および状態の少なくとも一方に応じて、前記各細胞領域に、所定の色空間内の一部である部分色空間を割り当てるとともに、該部分色空間内の描画色を対応付けることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記細胞認識手段は、前記細胞領域が隣接した細胞領域群を認識し、
前記描画色対応付け手段は、前記細胞領域群内の各細胞領域の境界部分に該各細胞領域と異なる描画色を対応付けることを特徴とする請求項１〜７のいずれか一つに記載の画像処理装置。
【請求項９】
前記観測画像は、複数の観測時点に撮像された一連の画像であり、
前記細胞認識手段によって認識された各細胞領域の特徴を示す細胞特徴量を算出する特徴量算出手段と、
前記観測時点が異なる各観測画像の前記細胞特徴量をもとに、該各観測画像内の細胞に同一性があるか否かを判断し、同一性があると判断した各細胞に対応する細胞領域を関連付ける細胞追跡手段と、
を備え、
前記描画色対応付け手段は、前記細胞追跡手段によって関連付けられた各細胞領域に等しい描画色を対応付け、
前記表示制御手段は、前記観測時点ごとに前記彩色画像を生成し、該生成した各彩色画像を前記表示手段に表示させる制御を行うことを特徴とする請求項１〜８のいずれか一つに記載の画像処理装置。
【請求項１０】
前記描画色対応付け手段は、前記観測時点が異なる各観測画像の一方の観測画像内の１細胞領域と他方の観測画像内の複数の細胞領域とが前記細胞追跡手段によって関連付けられた場合、該関連付けられたすべての細胞領域に等しい描画色を対応付けることを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記描画色対応付け手段は、前記観測時点の時系列順に各観測画像に前記描画色の対応付けを行い、処理対象の観測画像より時系列で前にある観測画像内の隔たった細胞領域に関連付けられ類似の描画色を対応付けた各類似色細胞領域が、該処理対象の観測画像内で互いに近傍に位置した場合、該各類似色細胞領域の少なくとも１つに、互いに類似しない非類似描画色であり、かつ、該処理対象の観測画像より時系列で前にあるすべての観測画像において関連付けられた各関連細胞領域の近傍に位置する近傍細胞領域に対応付けられた描画色と類似しない非類似描画色をあらためて対応付けることを特徴とする請求項９または１０に記載の画像処理装置。
【請求項１２】
前記表示制御手段は、各観測時点に対応する前記各彩色画像を同一位置で切り替えて表示するように前記表示手段を制御することを特徴とする請求項９〜１１のいずれか一つに記載の画像処理装置。
【請求項１３】
前記細胞領域を選択する選択情報を受け付ける選択情報入力手段を備え、
前記表示制御手段は、前記各彩色画像の中から、前記選択情報によって選択された細胞領域と、前記細胞追跡手段によって該細胞領域に関連付けられた細胞領域と、を抽出して前記表示手段に表示させる制御を行うことを特徴とする請求項９〜１２のいずれか一つに記載の画像処理装置。
【請求項１４】
前記表示制御手段は、前記観測画像内の各細胞領域の輝度に応じて該各細胞領域の前記彩色画像上の輝度を変更した輝度補正彩色画像を生成し、該生成した輝度補正彩色画像を前記表示手段に表示させる制御を行うことを特徴とする請求項１〜１３のいずれか一つに記載の画像処理装置。
【請求項１５】
複数の細胞が記録された観測画像を処理する画像処理装置に、前記観測画像を処理して表示手段に表示させるための画像処理プログラムであって、
前記画像処理装置に、
前記観測画像の中から前記細胞の画像領域である細胞領域を認識する細胞認識手順と、
前記細胞認識手順によって認識された各細胞領域に前記表示手段によって表示可能な異なる描画色を自動的に対応付ける描画色対応付け手順と、
前記対応付け手順によって対応付けられた描画色によって前記各細胞領域を彩色した彩色画像を生成し、該生成した彩色画像を前記表示手段に表示させる制御を行う表示制御手順と、
を実行させることを特徴とする画像処理プログラム。
【請求項１６】
前記描画色対応付け手順は、前記細胞領域に対応付けるそれぞれの描画色が所定の色空間内で広く分布するように前記各細胞領域に描画色を対応付けることを特徴とする請求項１５に記載の画像処理プログラム。
【請求項１７】
前記描画色対応付け手順は、前記各細胞領域以外の背景領域に所定の背景描画色を対応付けるとともに、所定の色空間内で前記背景描画色から所定距離以上に離れた描画色を前記各細胞領域に対応付けることを特徴とする請求項１５または１６に記載の画像処理プログラム。
【請求項１８】
前記描画色対応付け手順は、互いに近傍に位置する各細胞領域に、所定の色空間内で所定の識別距離以上に離れた描画色を対応付けることを特徴とする請求項１５〜１７のいずれか一つに記載の画像処理プログラム。
【請求項１９】
前記描画色対応付け手順は、ＨＳＩ色空間内で彩度が大きい周縁部に示される描画色を前記各細胞領域に対応付けることを特徴とする請求項１５〜１８のいずれか一つに記載の画像処理プログラム。
【請求項２０】
前記細胞認識手順によって認識された各細胞領域の特徴を示す細胞特徴量を算出する特徴量算出手順をさらに実行させ、
前記描画色対応付け手順は、前記細胞特徴量をもとに前記各細胞領域内の細胞の種類および状態を判別し、該判別した種類および状態の少なくとも一方に応じて前記各細胞領域に描画色を対応付けることを特徴とする請求項１５〜１９のいずれか一つに記載の画像処理プログラム。
【請求項２１】
前記描画色対応付け手順は、前記細胞の種類および状態の少なくとも一方に応じて、前記各細胞領域に、所定の色空間内の一部である部分色空間を割り当てるとともに、該部分色空間内の描画色を対応付けることを特徴とする請求項２０に記載の画像処理プログラム。
【請求項２２】
前記細胞認識手順は、前記細胞領域が隣接した細胞領域群を認識し、
前記描画色対応付け手順は、前記細胞領域群内の各細胞領域の境界部分に該各細胞領域と異なる描画色を対応付けることを特徴とする請求項１５〜２１のいずれか一つに記載の画像処理プログラム。
【請求項２３】
前記観測画像は、複数の観測時点に撮像された一連の画像であり、
前記細胞認識手順によって認識された各細胞領域の特徴を示す細胞特徴量を算出する特徴量算出手順と、
前記観測時点が異なる各観測画像の前記細胞特徴量をもとに、該各観測画像内の細胞に同一性があるか否かを判断し、同一性があると判断した各細胞に対応する細胞領域を関連付ける細胞追跡手順と、
をさらに実行させ、
前記描画色対応付け手順は、前記細胞追跡手段によって関連付けられた各細胞領域に等しい描画色を対応付け、
前記表示制御手順は、前記観測時点ごとに前記彩色画像を生成し、該生成した各彩色画像を前記表示手段に表示させる制御を行うことを特徴とする請求項１５〜２２のいずれか一つに記載の画像処理プログラム。
【請求項２４】
前記描画色対応付け手順は、前記観測時点が異なる各観測画像の一方の観測画像内の１細胞領域と他方の観測画像内の複数の細胞領域とが前記細胞追跡手順によって関連付けられた場合、該関連付けられたすべての細胞領域に等しい描画色を対応付けることを特徴とする請求項２３に記載の画像処理プログラム。
【請求項２５】
前記描画色対応付け手順は、前記観測時点の時系列順に各観測画像に前記描画色の対応付けを行い、処理対象の観測画像より時系列で前にある観測画像内の隔たった細胞領域に関連付けられ類似の描画色を対応付けた各類似色細胞領域が、該処理対象の観測画像内で互いに近傍に位置した場合、該各類似色細胞領域の少なくとも１つに、互いに類似しない非類似描画色であり、かつ、該処理対象の観測画像より時系列で前にあるすべての観測画像において関連付けられた各関連細胞領域の近傍に位置する近傍細胞領域に対応付けられた描画色と類似しない非類似描画色をあらためて対応付けることを特徴とする請求項２３または２４に記載の画像処理プログラム。
【請求項２６】
前記表示制御手順は、各観測時点に対応する前記各彩色画像を同一位置で切り替えて表示するように前記表示手段を制御することを特徴とする請求項２３〜２５のいずれか一つに記載の画像処理プログラム。
【請求項２７】
前記細胞領域を選択する選択情報を受け付ける選択情報入力手順をさらに実行させ、
前記表示制御手順は、前記各彩色画像の中から、前記選択情報によって選択された細胞領域と、前記細胞追跡手順によって該細胞領域に関連付けられた細胞領域と、を抽出して前記表示手段に表示させる制御を行うことを特徴とする請求項２３〜２６のいずれか一つに記載の画像処理プログラム。
【請求項２８】
前記表示制御手順は、前記観測画像内の各細胞領域の輝度に応じて該各細胞領域の前記彩色画像上の輝度を変更した輝度補正彩色画像を生成し、該生成した輝度補正彩色画像を前記表示手段に表示させる制御を行うことを特徴とする請求項１５〜２７のいずれか一つに記載の画像処理プログラム。
【請求項１】
複数の細胞が記録された観測画像を処理して表示手段に表示させる画像処理装置において、
前記観測画像の中から前記細胞の画像領域である細胞領域を認識する細胞認識手段と、
前記細胞認識手段が認識した各細胞領域に前記表示手段によって表示可能な異なる描画色を自動的に対応付ける描画色対応付け手段と、
前記対応付け手段によって対応付けられた描画色によって前記各細胞領域を彩色した彩色画像を生成し、該生成した彩色画像を前記表示手段に表示させる制御を行う表示制御手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記描画色対応付け手段は、前記細胞領域に対応付けるそれぞれの描画色が所定の色空間内で広く分布するように前記各細胞領域に描画色を対応付けることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記描画色対応付け手段は、前記各細胞領域以外の背景領域に所定の背景描画色を対応付けるとともに、所定の色空間内で前記背景描画色から所定距離以上に離れた描画色を前記各細胞領域に対応付けることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記描画色対応付け手段は、互いに近傍に位置する各細胞領域に、所定の色空間内で所定の識別距離以上に離れた描画色を対応付けることを特徴とする請求項１〜３のいずれか一つに記載の画像処理装置。
【請求項５】
前記描画色対応付け手段は、ＨＳＩ色空間内で彩度が大きい周縁部に示される描画色を前記各細胞領域に対応付けることを特徴とする請求項１〜４のいずれか一つに記載の画像処理装置。
【請求項６】
前記細胞認識手段によって認識された各細胞領域の特徴を示す細胞特徴量を算出する特徴量算出手段を備え、
前記描画色対応付け手段は、前記細胞特徴量をもとに前記各細胞領域内の細胞の種類および状態を判別し、該判別した種類および状態の少なくとも一方に応じて前記各細胞領域に描画色を対応付けることを特徴とする請求項１〜５のいずれか一つに記載の画像処理装置。
【請求項７】
前記描画色対応付け手段は、前記細胞の種類および状態の少なくとも一方に応じて、前記各細胞領域に、所定の色空間内の一部である部分色空間を割り当てるとともに、該部分色空間内の描画色を対応付けることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記細胞認識手段は、前記細胞領域が隣接した細胞領域群を認識し、
前記描画色対応付け手段は、前記細胞領域群内の各細胞領域の境界部分に該各細胞領域と異なる描画色を対応付けることを特徴とする請求項１〜７のいずれか一つに記載の画像処理装置。
【請求項９】
前記観測画像は、複数の観測時点に撮像された一連の画像であり、
前記細胞認識手段によって認識された各細胞領域の特徴を示す細胞特徴量を算出する特徴量算出手段と、
前記観測時点が異なる各観測画像の前記細胞特徴量をもとに、該各観測画像内の細胞に同一性があるか否かを判断し、同一性があると判断した各細胞に対応する細胞領域を関連付ける細胞追跡手段と、
を備え、
前記描画色対応付け手段は、前記細胞追跡手段によって関連付けられた各細胞領域に等しい描画色を対応付け、
前記表示制御手段は、前記観測時点ごとに前記彩色画像を生成し、該生成した各彩色画像を前記表示手段に表示させる制御を行うことを特徴とする請求項１〜８のいずれか一つに記載の画像処理装置。
【請求項１０】
前記描画色対応付け手段は、前記観測時点が異なる各観測画像の一方の観測画像内の１細胞領域と他方の観測画像内の複数の細胞領域とが前記細胞追跡手段によって関連付けられた場合、該関連付けられたすべての細胞領域に等しい描画色を対応付けることを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記描画色対応付け手段は、前記観測時点の時系列順に各観測画像に前記描画色の対応付けを行い、処理対象の観測画像より時系列で前にある観測画像内の隔たった細胞領域に関連付けられ類似の描画色を対応付けた各類似色細胞領域が、該処理対象の観測画像内で互いに近傍に位置した場合、該各類似色細胞領域の少なくとも１つに、互いに類似しない非類似描画色であり、かつ、該処理対象の観測画像より時系列で前にあるすべての観測画像において関連付けられた各関連細胞領域の近傍に位置する近傍細胞領域に対応付けられた描画色と類似しない非類似描画色をあらためて対応付けることを特徴とする請求項９または１０に記載の画像処理装置。
【請求項１２】
前記表示制御手段は、各観測時点に対応する前記各彩色画像を同一位置で切り替えて表示するように前記表示手段を制御することを特徴とする請求項９〜１１のいずれか一つに記載の画像処理装置。
【請求項１３】
前記細胞領域を選択する選択情報を受け付ける選択情報入力手段を備え、
前記表示制御手段は、前記各彩色画像の中から、前記選択情報によって選択された細胞領域と、前記細胞追跡手段によって該細胞領域に関連付けられた細胞領域と、を抽出して前記表示手段に表示させる制御を行うことを特徴とする請求項９〜１２のいずれか一つに記載の画像処理装置。
【請求項１４】
前記表示制御手段は、前記観測画像内の各細胞領域の輝度に応じて該各細胞領域の前記彩色画像上の輝度を変更した輝度補正彩色画像を生成し、該生成した輝度補正彩色画像を前記表示手段に表示させる制御を行うことを特徴とする請求項１〜１３のいずれか一つに記載の画像処理装置。
【請求項１５】
複数の細胞が記録された観測画像を処理する画像処理装置に、前記観測画像を処理して表示手段に表示させるための画像処理プログラムであって、
前記画像処理装置に、
前記観測画像の中から前記細胞の画像領域である細胞領域を認識する細胞認識手順と、
前記細胞認識手順によって認識された各細胞領域に前記表示手段によって表示可能な異なる描画色を自動的に対応付ける描画色対応付け手順と、
前記対応付け手順によって対応付けられた描画色によって前記各細胞領域を彩色した彩色画像を生成し、該生成した彩色画像を前記表示手段に表示させる制御を行う表示制御手順と、
を実行させることを特徴とする画像処理プログラム。
【請求項１６】
前記描画色対応付け手順は、前記細胞領域に対応付けるそれぞれの描画色が所定の色空間内で広く分布するように前記各細胞領域に描画色を対応付けることを特徴とする請求項１５に記載の画像処理プログラム。
【請求項１７】
前記描画色対応付け手順は、前記各細胞領域以外の背景領域に所定の背景描画色を対応付けるとともに、所定の色空間内で前記背景描画色から所定距離以上に離れた描画色を前記各細胞領域に対応付けることを特徴とする請求項１５または１６に記載の画像処理プログラム。
【請求項１８】
前記描画色対応付け手順は、互いに近傍に位置する各細胞領域に、所定の色空間内で所定の識別距離以上に離れた描画色を対応付けることを特徴とする請求項１５〜１７のいずれか一つに記載の画像処理プログラム。
【請求項１９】
前記描画色対応付け手順は、ＨＳＩ色空間内で彩度が大きい周縁部に示される描画色を前記各細胞領域に対応付けることを特徴とする請求項１５〜１８のいずれか一つに記載の画像処理プログラム。
【請求項２０】
前記細胞認識手順によって認識された各細胞領域の特徴を示す細胞特徴量を算出する特徴量算出手順をさらに実行させ、
前記描画色対応付け手順は、前記細胞特徴量をもとに前記各細胞領域内の細胞の種類および状態を判別し、該判別した種類および状態の少なくとも一方に応じて前記各細胞領域に描画色を対応付けることを特徴とする請求項１５〜１９のいずれか一つに記載の画像処理プログラム。
【請求項２１】
前記描画色対応付け手順は、前記細胞の種類および状態の少なくとも一方に応じて、前記各細胞領域に、所定の色空間内の一部である部分色空間を割り当てるとともに、該部分色空間内の描画色を対応付けることを特徴とする請求項２０に記載の画像処理プログラム。
【請求項２２】
前記細胞認識手順は、前記細胞領域が隣接した細胞領域群を認識し、
前記描画色対応付け手順は、前記細胞領域群内の各細胞領域の境界部分に該各細胞領域と異なる描画色を対応付けることを特徴とする請求項１５〜２１のいずれか一つに記載の画像処理プログラム。
【請求項２３】
前記観測画像は、複数の観測時点に撮像された一連の画像であり、
前記細胞認識手順によって認識された各細胞領域の特徴を示す細胞特徴量を算出する特徴量算出手順と、
前記観測時点が異なる各観測画像の前記細胞特徴量をもとに、該各観測画像内の細胞に同一性があるか否かを判断し、同一性があると判断した各細胞に対応する細胞領域を関連付ける細胞追跡手順と、
をさらに実行させ、
前記描画色対応付け手順は、前記細胞追跡手段によって関連付けられた各細胞領域に等しい描画色を対応付け、
前記表示制御手順は、前記観測時点ごとに前記彩色画像を生成し、該生成した各彩色画像を前記表示手段に表示させる制御を行うことを特徴とする請求項１５〜２２のいずれか一つに記載の画像処理プログラム。
【請求項２４】
前記描画色対応付け手順は、前記観測時点が異なる各観測画像の一方の観測画像内の１細胞領域と他方の観測画像内の複数の細胞領域とが前記細胞追跡手順によって関連付けられた場合、該関連付けられたすべての細胞領域に等しい描画色を対応付けることを特徴とする請求項２３に記載の画像処理プログラム。
【請求項２５】
前記描画色対応付け手順は、前記観測時点の時系列順に各観測画像に前記描画色の対応付けを行い、処理対象の観測画像より時系列で前にある観測画像内の隔たった細胞領域に関連付けられ類似の描画色を対応付けた各類似色細胞領域が、該処理対象の観測画像内で互いに近傍に位置した場合、該各類似色細胞領域の少なくとも１つに、互いに類似しない非類似描画色であり、かつ、該処理対象の観測画像より時系列で前にあるすべての観測画像において関連付けられた各関連細胞領域の近傍に位置する近傍細胞領域に対応付けられた描画色と類似しない非類似描画色をあらためて対応付けることを特徴とする請求項２３または２４に記載の画像処理プログラム。
【請求項２６】
前記表示制御手順は、各観測時点に対応する前記各彩色画像を同一位置で切り替えて表示するように前記表示手段を制御することを特徴とする請求項２３〜２５のいずれか一つに記載の画像処理プログラム。
【請求項２７】
前記細胞領域を選択する選択情報を受け付ける選択情報入力手順をさらに実行させ、
前記表示制御手順は、前記各彩色画像の中から、前記選択情報によって選択された細胞領域と、前記細胞追跡手順によって該細胞領域に関連付けられた細胞領域と、を抽出して前記表示手段に表示させる制御を行うことを特徴とする請求項２３〜２６のいずれか一つに記載の画像処理プログラム。
【請求項２８】
前記表示制御手順は、前記観測画像内の各細胞領域の輝度に応じて該各細胞領域の前記彩色画像上の輝度を変更した輝度補正彩色画像を生成し、該生成した輝度補正彩色画像を前記表示手段に表示させる制御を行うことを特徴とする請求項１５〜２７のいずれか一つに記載の画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２−１】
【図１２−２】
【図１２−３】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２−１】
【図１２−２】
【図１２−３】
【図１３】
【図１４】
【図１５】
【公開番号】特開２００６−３５０７４０（Ｐ２００６−３５０７４０Ａ）
【公開日】平成１８年１２月２８日（２００６．１２．２８）
【国際特許分類】
【出願番号】特願２００５−１７６９７９（Ｐ２００５−１７６９７９）
【出願日】平成１７年６月１６日（２００５．６．１６）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成１８年１２月２８日（２００６．１２．２８）
【国際特許分類】
【出願日】平成１７年６月１６日（２００５．６．１６）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]