培養物観察の画像処理方法、画像処理プログラム及び画像処理装置
【課題】培地が時間や環境の変化に伴って色変化する場合であっても、培養容器中から培地の領域を確実に検出することを可能にした画像処理手段を提供する。
【解決手段】内部に培養物の培養に用いられる培地を有した培養容器に対して、観察視野内に位置する培養容器内の培地を撮像装置により撮影した観察画像を取得し、観察画像に写し込まれた培養容器内の培地と培地を除いた背景部分との領域の中から、観察者が培地及び背景部分の一領域としてそれぞれ指定したサンプリング領域を予め設定し、サンプリング領域内の色空間情報に基づいて、統計的処理によって観察画像における培地の領域の色分布を推定することにより、培地と背景部分との領域を判別して、培地の領域を識別する。
【解決手段】内部に培養物の培養に用いられる培地を有した培養容器に対して、観察視野内に位置する培養容器内の培地を撮像装置により撮影した観察画像を取得し、観察画像に写し込まれた培養容器内の培地と培地を除いた背景部分との領域の中から、観察者が培地及び背景部分の一領域としてそれぞれ指定したサンプリング領域を予め設定し、サンプリング領域内の色空間情報に基づいて、統計的処理によって観察画像における培地の領域の色分布を推定することにより、培地と背景部分との領域を判別して、培地の領域を識別する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、培養容器の中から培養物の培養に用いられる培地の領域を検出する画像処理手段に関する。
【背景技術】
【０００２】
近年、生殖補助医療技術（ＡＲＴ）の発展に伴い、体外受精による受精卵を培養しながらその生育状態を観察することが行われている。受精卵などの培養物の状況を観察する装置の例として、培養顕微鏡が挙げられる（例えば、特許文献１を参照）。培養顕微鏡は、受精卵の培養に好適な環境を形成する培養装置（インベキュータ）と、培養装置に収容された培養容器内の受精卵の状態を顕微観察する顕微観察系とを備え、予め設定された一定時間ごとに受精卵の観察画像を取得し、ユーザが受精卵を目視により認識した上で、受精卵の生育状態の観察、記録、管理等を自動で行うことができるように構成される。
【０００３】
このような装置において、培養容器の中の受精卵の成育状態を観察する場合、始めに観察対象の受精卵を検出しなければならないが、その検出手順としては大略的に、培養容器全体を撮影し、この全体観察画像から培養容器内においてミネラルオイルに浸された培地（培地ドロップ）を検出した後で、培地内で観察視野位置を変えつつ培地の顕微観察画像を複数取得し、この顕微観察画像を基に培地内に１つずつ注入された観察対象である受精卵を他の異物と判別して検出する、という流れになっている。このように受精卵を認識するためには一般に高倍視野での顕微観察が必要であるところ、観察倍率が高くなるにつれて観察視野（観察範囲）が狭くなってくるため、上述のように広い観察範囲に対して多数の顕微観察画像を撮影する必要がある。このため、顕微観察による受精卵の検出に先立って、マクロ観察により培地の領域を事前に検出できれば、その後に顕微観察において顕微観察画像（高倍画像）を取得する領域も限定され、観察時間全体を短縮化することが可能になる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−２２９６１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
培養容器中に含まれる培地の領域の指定は、培養容器の全体観察画像から観察者自らが目視判断しており、時系列的に観察する場合には培地を時間の経過とともに毎回指定する必要があった。しかしながら、培地自体は非常に色が薄く、しかも時間の経過や環境の変化とともに色が変化（ｐＨ変化）するような特徴を持っているため、画一的に決まる単純な色を基準として、培養容器中に含まれる複数の培地と、背景部分（透明で殆ど色を持たないミネラルオイルなど）とを的確に判別して培地を検出するのが困難であった。
【０００６】
本発明は、このような課題に鑑みてなされたものであり、培地が時間や環境の変化に伴って色変化する場合であっても、培養容器中から培地の領域を確実に検出することを可能にした画像処理手段を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明を例示する第１の態様に従えば、内部に培養物の培養に用いられる培地を有した培養容器に対して、観察視野内に位置する培養容器内の培地を撮像装置により撮影した観察画像を取得し、観察画像に写し込まれた培養容器内の培地と培地を除いた背景部分との領域の中から、観察者が培地及び背景部分の一領域としてそれぞれ指定したサンプリング領域を予め設定し、サンプリング領域内の色空間情報に基づいて、統計的処理によって観察画像における培地の領域の色分布を推定することにより、培地と背景部分との領域を判別して、培地の領域を識別することを特徴とする培養物観察の画像処理方法が提供される。
【０００８】
本発明を例示する第２の態様に従えば、コンピュータにより読み取り可能であり、撮像装置により撮影されて画像を取得して画像処理する画像処理装置としてコンピュータを機能させるための画像処理プログラムであって、内部に培養物の培養に用いられる培地を有した培養容器に対して、撮像装置により観察視野内に位置する培養容器内の培地を撮影した観察画像を取得するステップと、観察画像に写し込まれた培養容器内の培地と培地を除いた背景部分との領域の中から、観察者が培地及び背景部分の一領域としてそれぞれ指定したサンプリング領域を記録するステップと、サンプリング領域内の色空間情報に基づいて、統計的処理によって観察画像における培地の領域の色分布を推定することにより、培地と背景部分との領域を判別して、培地の領域を識別するステップと、培地に関する識別結果を出力するステップとをコンピュータに実現させることを特徴とする培養物観察の画像処理プログラムが提供される。
【０００９】
本発明を例示する第３の態様に従えば、内部に培養物の培養に用いられる培地を有した培養容器を撮影する撮像装置と、観察画像に写し込まれた培養容器内の培地と培地を除いた背景部分との領域の中から、観察者が培地及び背景部分の一領域としてそれぞれ指定したサンプリング領域を記録する記憶部と、サンプリング領域内の色空間情報に基づいて、統計的処理によって観察画像における培地の領域の色分布を推定することにより、培地と背景部分との領域を判別して、培地の領域を識別する画像解析部と、画像解析部により判断された培地に関する識別結果を外部に出力する出力部とを備えて構成されることを特徴とする培養物観察の画像処理装置が提供される。
【発明の効果】
【００１０】
このような培養物観察の画像処理方法、画像処理プログラム、及び画像処理装置によれば、培養容器中の培地が時間の経過や環境の変化に伴って色変化する場合であっても、培地の色分布を正確に抽出することにより、培養容器中の培地の領域を高精度に検出することが可能になる。
【図面の簡単な説明】
【００１１】
【図１】画像処理プログラムの概要を示すフローチャートである。
【図２】本発明の適用例として示す培養観察システムの概要構成図である。
【図３】上記培養観察システムのブロック図である。
【図４】（Ａ）は培養容器の平面図であり、（Ｂ）はディッシュを示す斜視図である。
【図５】ユーザーインターフェースの表示画像の構成例である。
【図６】ＨＳＶ色空間を示す図である。
【図７】観察画像をＨＳＶ分離したときのＨ画像、Ｓ画像、Ｖ画像である。
【図８】サンプリング領域の色相Ｈ及び彩度Ｓの分布状態を示すグラフである。
【図９】画像処理装置の概要構成を示すブロック図である。
【図１０】表示パネルに表示される出力結果を例示する図である。
【発明を実施するための最良の形態】
【００１２】
以下、本発明を実施するための形態について、図面を参照しながら説明する。本実施形態に係る画像処理装置を適用したシステムの一例として、培養観察システムの概要構成図及びブロック図を、それぞれ図２及び図３に示す。
【００１３】
培養観察システムＢＳは、大別的には、筐体１の上部に設けられた培養室２と、複数の培養容器１０を収容保持する棚状のストッカー３と、培養容器１０内の試料を観察する観察ユニット５と、培養容器１０をストッカー３と観察ユニット５との間で搬送する搬送ユニット４と、システムの作動を統括的に制御する制御ユニット６と、画像表示装置を備えた操作盤７などから構成される。
【００１４】
培養室２は、培養環境を形成する部屋であり、環境変化やコンタミネーションを防止するためサンプル投入後は密閉状態に保持される。培養室２に付随して、培養室２内の温度を昇温・降温させる温度調整装置２１、湿度を調整する加湿器２２、ＣＯ２ガスやＮ２ガス等のガスを供給するガス供給装置２３、培養室２全体の環境を均一化させるための循環ファン２４、培養室２の温度や湿度、二酸化炭素濃度等を検出する環境センサ２５などが設けられている。各機器の作動は制御ユニット６により制御され、培養室２の温度や湿度、二酸化炭素濃度等により規定される培養環境が、操作盤７において設定された培養条件に合致した状態に維持される。
【００１５】
ストッカー３は、図２における紙面直行の前後方向、及び上下方向にそれぞれ複数に仕切られた棚状に形成されている。各棚にはそれぞれ固有の番地が設定されており、例えば前後方向をＡ〜Ｃ列、上下方向を１〜７段とした場合に、Ａ列５段の棚がＡ−５のように設定される。
【００１６】
培養容器１０は、培養物の種類や目的等に応じてフラスコやディッシュ、ウェルプレートなど適宜なものが選択され、本実施形態では、図４（Ａ）に示すように、直径約３５ｍｍの５つのディッシュ１０ａと、ディッシュ１０ａを保持するホルダ１０ｂとを備えた構成を例示しており、図４（Ｂ）に示すように、培養物たる受精卵Ｊは、フェノールレッドなどのｐＨ指示薬が入った培地ドロップＡとともに各ディッシュ１０ａに注入される。ディッシュ１０ａの底面には、ピペット等により滴下された２０μｌ程度の培地ドロップＡが１〜複数個形成されており（図４（Ｂ）では３個を図示）、培地ドロップＡはディッシュ１０ａ内において無色透明のミネラルオイルＯによって浸された状態となっている。それぞれの培地ドロップＡ内には、例えば対外受精のために同一母体から同時期に採卵された受精卵Ｊが１個ずつ挿入されている。また、培養容器１０にはコード番号が付与され、ストッカー３の指定番地に対応づけて収容される。
【００１７】
搬送ユニット４は、培養室２の内部に上下方向に移動可能に設けられてＺ軸駆動機構により昇降されるＺステージ４１、Ｚステージ４１に前後方向に移動可能に取り付けられてＹ軸駆動機構により前後移動されるＹステージ４２、Ｙステージ４２に左右方向に移動可能に取り付けられてＸ軸駆動機構により左右移動されるＸステージ４３などからなり、Ｘステージ４３の先端側に培養容器１０を持ち上げ支持する支持アーム４５が設けられている。搬送ユニット４は、支持アーム４５がストッカー３の全棚と観察ユニット５との間を移動可能な移動範囲を有して構成される。Ｘ軸駆動機構、Ｙ軸駆動機構、Ｚ軸駆動機構は、例えばボールネジとエンコーダ付きのサーボモータにより構成され、その作動が制御ユニット６により制御される。
【００１８】
観察ユニット５は、試料台１５の下側から試料を照明する第１照明部５１、顕微観察系の光軸に沿って試料台１５の上方から試料を照明する第２照明部５２、下方から試料を照明する第３照明部５３、試料のマクロ観察を行うマクロ観察系５４、試料のミクロ観察を行う顕微観察系５５、及び画像処理装置１００（図９を参照）などから構成される。試料台１５は、透光性を有する材質で構成されるとともに観察領域に透明な窓部１６が設けられている。また、試料台１５は、制御ユニット６からの作動制御によりＸＹ方向（水平面内方向）およびＺ方向（上下方向）に移動可能な微細駆動ステージからなり、その上面部に載置された培養容器１０をＸＹ方向に移動させることにより、培養容器１０をマクロ観察系５４の光軸上へ挿入したり、顕微観察系５５の光軸上へ挿入したりすることが可能になっている。
【００１９】
第１照明部５１は、下部フレーム１ｂ側に設けられた面発光の光源からなり、試料台１５の下側から培養容器１０全体をバックライト照明する。第２照明部５２は、ＬＥＤ等の光源と、位相リングやコンデンサレンズ等からなる照明光学系とを有して培養室２に設けられており、試料台１５の上方から顕微観察系５５の光軸に沿って培養容器１０中の試料を照明する。第３照明部５３は、それぞれ落射照明観察や蛍光観察に好適な波長の光を射出する複数のＬＥＤや水銀等の光源と、各光源から射出された光を顕微観察系５５の光軸に重畳させるビームスプリッタや蛍光フィルタ等からなる照明光学系とを有して、培養室２の下側に位置する下部フレーム１ｂ内に配設されており、試料台１５の下方から顕微観察系５５の光軸に沿って培養容器１０中の試料を照明する。
【００２０】
マクロ観察系５４は、観察光学系５４ａと、この観察光学系５４ａにより結像された試料の像を撮影するＣＣＤカメラ等の撮像装置５４ｃとを有し、第１照明部５１の上方に位置して培養室２内に設けられている。マクロ観察系５４は、第１照明部５１によりバックライト照明された培養容器１０の上方からの全体観察画像（マクロ画像）を撮影する。
【００２１】
顕微観察系５５は、対物レンズや中間変倍レンズ、蛍光フィルタ等からなる観察光学系５５ａと、観察光学系５５ａにより結像された試料の像を撮影する冷却ＣＣＤカメラ等の撮像装置５５ｃとを有し、下部フレーム１ｂの内部に配設されている。上記の第２照明部５２と顕微観察系５５とにより位相差観察用の顕微鏡が構成される。対物レンズ及び中間変倍レンズは、それぞれ複数設けられるとともに、詳細図示を省略するレボルバやスライダなどの変位機構を用いて複数倍率に設定可能に構成されており、初期選択のレンズ設定に応じて、本実施形態では少なくとも低倍観察用と高倍観察用との２種類の倍率の間で変倍可能なように切り換えられる。顕微観察系５５は、第２照明部５２により照明された試料の透過光による位相差画像や、第３照明部５３により照明されて試料が発する蛍光による蛍光画像など、培養容器１０内の試料を顕微鏡観察した顕微観察画像（ミクロ画像）を撮影する。
【００２２】
画像処理装置１００は、マクロ観察系５４の撮像装置５４ｃ及び顕微観察系５５の撮像装置５５ｃから入力された信号をＡ／Ｄ変換するとともに、各種の画像処理を施して全体観察画像または顕微観察画像の画像データを生成する。また、画像処理装置１００は、これらの観察画像（全体観察画像及び顕微観察画像）の画像データに対して色空間情報の変換や画像解析を施し、培地ドロップＡや受精卵Ｊの識別等を行う。画像処理装置１００は、具体的には、次述する制御ユニット６のＲＯＭに記憶された画像処理プログラムが実行されることにより構築される。なお、この画像処理装置１００については、後に詳述する。
【００２３】
制御ユニット６は、処理を実行するＣＰＵ６１、培養観察システムＢＳの制御プログラムや制御データ等が設定記憶されたＲＯＭ６２、観察条件や画像データ等を一時記憶するＲＡＭ６３などを有し、培養観察システムＢＳの作動を制御する。そのため、図３に示すように、培養室２、搬送装置４、観察ユニット５、操作盤７の各構成機器が制御ユニット６に接続されている。ＲＡＭ６３には、観察プログラムに応じた培養室２の環境条件や、観察スケジュール、観察ユニット５における観察種別や観察位置、観察倍率等が設定され記憶される。また、ＲＡＭ６３には、観察ユニット５により撮影された画像データを記録する画像データ記憶領域が設けられ、培養容器１０のコード番号や撮影日時等を含むインデックス・データと画像データとが対応付けて記録される。
【００２４】
操作盤７には、キーボードやスイッチ等の入出力機器が設けられた操作パネル７１、操作画面や画像データ等を表示する表示パネル７２が設けられ、操作パネル７１において観察プログラムの設定や条件選択、動作指令等の入力が行われる。通信部６５は有線または無線の通信規格に準拠して構成されており、この通信部６５に外部接続されるコンピュータ等との間でデータの送受信が可能になっている。
【００２５】
このように概要構成される培養観察システムＢＳでは、操作盤７において設定された観察プログラムの設定条件に従い、ＣＰＵ６１がＲＯＭ６２に記憶された制御プログラムに基づいて各部の作動を制御するとともに、培養容器１０内の試料の撮影を自動的に実行する。すなわち、操作パネル７１に対するパネル操作（または通信部６５を介したリモート操作）によって観察プログラムがスタートされると、ＣＰＵ６１が、ＲＡＭ６３に記憶された環境条件の各条件値を読み込むとともに、環境センサ２５から入力される培養室２の環境状態を検出し、条件値と実測値との差異に応じて温度調整装置２１、加湿器２２、ガス供給装置２３、循環ファン２４等を作動させて、培養室２の温度や湿度、二酸化炭素濃度などの培養環境についてフィードバック制御が行われる。
【００２６】
また、ＣＰＵ６１は、ＲＡＭ６３に記憶された観察条件を読み込む、観察スケジュールに基づいて搬送ユニット４のＸ，Ｙ，Ｚステージ４１，４２，４３を作動させてストッカー３から観察対象の培養容器１０を観察ユニット５の試料台１５に搬送して、観察ユニット５による観察を開始させる。例えば、観察プログラムにおいて設定された観察がマクロ観察である場合には、搬送ユニット４によりストッカー３から搬送してきた培養容器１０をマクロ観察系５４の光軸上に位置決めして試料台１５に載置し、第１照明部５１の光源を点灯させて、バックライト照明された培養容器１０の上方から撮像装置５４ｃにより全体観察像を撮影する。撮像装置５４ｃから制御ユニット６に入力された信号は、画像処理装置１００により処理されて全体観察画像が生成され、その画像データが撮影日時等のインデックス・データなどとともにＲＡＭ６３の画像データ記憶領域に記憶される。
【００２７】
また、観察プログラムにおいて設定された観察が、培養容器１０内の特定位置の試料のミクロ観察である場合には、搬送ユニット４により搬送してきた培養容器１０内の特定位置を顕微観察系５５の光軸上に位置決めして試料台１５に載置し、第２照明部５２または第３照明部５３の光源を点灯させて、透過照明、落射照明、蛍光による顕微観察像を撮像装置５５ｃに撮影させる。撮像装置５５ｃにより撮影されて制御ユニット６に入力された信号は、画像処理装置１００により処理されて顕微観察画像（位相差画像、蛍光画像等）が生成され、その画像データが撮影日時等のインデックス・データなどとともにＲＡＭ６３の画像データ記憶領域に記憶される。
【００２８】
ＣＰＵ６１は、上記のような全体観察像の撮影や顕微観察像の撮影を、観察プログラムに設定された観察スケジュールに基づいて順次実行する。ＲＡＭ６３に記憶された画像データは、操作パネル７１から入力される画像表示指令に応じてＲＡＭ６３から読み出され、例えば指定時刻の全体観察画像や顕微観察画像、画像解析の解析結果などが表示パネル７２に表示される。
【００２９】
さて、このように構成される培養観察システムＢＳにおいて、培養容器１０（ディッシュ１０ａ）中の受精卵Ｊの成育状態を観察する場合、観察対象の受精卵を検出しなければならないが、その検出手順としては大略的に、マクロ観察系５４により培養容器１０を撮影して全体観察画像（マクロ画像）を取得し、このマクロ画像から培地ドロップＡを検出した後で、培地ドロップＡ内を顕微観察系５５により撮影し、この培地ドロップＡに１つずつ注入された観察対象である受精卵Ｊを他の異物と判別して受精卵を識別する、という流れになっている。受精卵Ｊを認識するためには一般に高倍視野での顕微観察が必要であるところ、観察倍率が高くなるにつれて観察視野（観察範囲）が狭くなってくるため、広い観察範囲に対して多数の画像を撮影する必要がある。このため、顕微観察による受精卵の検出に先立って、マクロ観察により受精卵が含まれる培地ドロップＡの領域を事前に検出できれば、その後に顕微観察において高倍画像を取得する領域も限定され、観察時間全体を短縮化することが可能になる。
【００３０】
従来、培養容器１０中に含まれる培地ドロップＡの指定は、マクロ観察系５４によるマクロ画像から観察者自らが目視判断しており、時系列的に観察する場合には培地ドロップＡを時間の経過とともに毎回指定する必要があった。しかしながら、培地ドロップＡ自体は非常に色が薄く、しかも時間の経過とともに色が変化（ｐＨ変化）するような特徴を持っているため、画一的に決まる単純な色を基準として、培養容器１０中に含まれる複数の培地ドロップＡと、その背景部分（透明で殆ど色を持たないミネラルオイルＯなど）Ｂとを的確に判別して培地ドロップＡを検出するのが困難であった。
【００３１】
このような不具合を是正するため、画像処理装置１００による培養物観察の画像処理方法は、培養容器１０全体を撮影したマクロ画像から、培地ドロップＡと背景部分Ｂとの色空間情報をサンプリングし、統計的処理により培地ドロップＡの色分布の推定を行うことで、複数ある培地ドロップＡの領域全てを自動で検出するように構成される。それでは、以下にこの画像処理方法について基本的な概念から説明する。
【００３２】
（培地と背景のサンプリング領域指定）
まず、観察画像の色空間情報に基づいて培地ドロップＡと背景部分Ｂとが持つ色の頻度分布を作成するためのサンプリングを行う。図５に表示パネル７２に表示されるユーザーインターフェースの表示画像を例示しており、マクロ観察系５４により撮影されたバードビュー画像（培養容器１０の全体観察画像）を基に表示パネル７２に表示される「観察画像」枠７２０内において、観察者は操作パネル７１等に設けられたマウス等を利用して、「観察画像」枠７２０内において培地ドロップＡと背景部分Ｂとの領域を少なくとも１領域ずつ指定する。図５では右下側のディッシュ１０ａ内の培地ドロップＡと背景部分Ｂとの一部の領域（矩形領域）が１箇所ずつ指定された状態を示す。なお、後述する判別の精度を高くするためには、できる限りサンプリング領域を広くとることが望ましい。
【００３３】
（ＨＳＶ分離）
取り込んだ全体観察画像（カラー画像）に対して、例えば周知の変換式を用いた演算処理や変換テーブルなどによって、この画像の持つ色空間情報を通常のＲＧＢ色空間からＨＳＶ色空間に変換して、その成分ごとに分離する。ＨＳＶ色空間とは、色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）、及び明度（Ｖａｌｕｅ）の３つの成分で表現される色空間であり、図６に示すように円錐座標系で表すことができる。培地ドロップＡと背景部分Ｂとは、ＨＳＶ色空間では、明度Ｖがほとんど同じであると考えられるため、明暗の変化による影響を受けずに、残り２つの色相Ｈ及び彩度Ｓで両者を判別することができる。そのため、培地ドロップＡ及び背景部分Ｂの色分布の差異を２次元の色空間（ＨＳ平面）の表現に限定することで、培地ドロップＡ抽出の処理負担を軽減することができる。なお、以降の説明では、色相Ｈ、彩度Ｓ、及び明度Ｖの各々の値を、Ｈ値、Ｓ値、及びＶ値と称することがある。
【００３４】
図７に全体観察画像をＨＳＶ分離した画像を示す。色相Ｈについては、一般に−１８０〜１８０値を返し、周期的境界条件（１８０の次は−１８０に戻る）を有しているため、サンプリングした色相Ｈの平均値を中心値にした分布に変換する必要がある。本実施形態では、画像階調が０〜２５５の２５６階調であることを考慮して、色相Ｈの値は０〜１８０を返してくるため、サンプリングした色相Ｈの平均値が９０（０〜１８０の中心値）になるようにオフセット処理する。
【００３５】
また、ランダムなノイズ低減として、平滑化処理のガウシアンフィルタをＨ画像、Ｓ画像ともに施している。ガウシアンフィルタとは、注目画素に近い画素ほど重み付けを大きくし、遠くなるほど重み付けが小さくなるようにガウス分布の関数（ガウシアン関数）を用いてレートを計算する平均化フィルタである。ここで、ガウシアンフィルタの重み付けは、注目画素の中心座標を（ｘ，ｙ）とすると、次式（１）で定義されるガウシアン関数Ｇ（ｘ，ｙ）により、そのレートが決定される。
【数１】
ここで、パラメータσはガウシアンフィルタの空間的な広がり幅を示す値であり、フィルタサイズは半径３σ（σ＝１）とし、本実施形態では中心画素を含めた７×７のマトリックスを例示する。
【００３６】
（培地と背景部分の色分布推定）
培地ドロップＡと背景部分Ｂとの色分布頻度として、画像の画素ごとに与えられる色相Ｈ及び彩度Ｓは正規分布をなしているものと考えられる。そこで、培地ドロップＡと背景部分Ｂとのサンプリング領域における各画素において、色相Ｈと彩度Ｓとの２成分について二次元正規分布をそれぞれ推定する。二次元正規分布の密度関数ｆ（ｘ，ｙ）は、色相Ｈ及び彩度Ｓのそれぞれの分布の平均値をμＨ，μＳ、標準偏差をσＨ，σＳ、オフセット成分をＷ、分散共分散行列をΣとすると、次式のように表される。
【数２】
【数３】
【数４】
この二次元正規分布の密度関数ｆ（ｘ，ｙ）は、培地ドロップをＡ、背景部分をＢで識別すると、
培地のＨＳ分布：ｆA（Ｈ，Ｓ｜μHA，μSA，ΣA）
背景のＨＳ分布：ｆB（Ｈ，Ｓ｜μHB，μSB，ΣB）
と推定することができる。
【００３７】
（培地ドロップと背景部分との判別）
次いで、上記で推定した培地ドロップＡと背景部分Ｂとの正規分布を用いて、観察画像（Ｈ画像及びＳ画像）内における各画素が持つＨ値及びＳ値から、当該画素に対応する点が培地ドロップＡ又は背景のいずれに属するかを確率的に推定する。ただし、ここではｆA（Ｈ，Ｓ）とｆB（Ｈ，Ｓ）とをすべて計算する必要はなく、上記式（２）の指数関数ｅｘｐの括弧内だけに注目すればよい。
【数５】
上記式（５）で示すＤA，ＤBは一般にマハラノビス距離と称されており、正規分布との距離にその分散を考慮した距離を表している。各画素のＨ値及びＳ値を上記式に代入してマハラノビス距離ＤA，ＤBを画素ごとに算出し、注目画素に対応する点が、ＤA＞ＤBならば培地ドロップＡに属し、ＤA＜ＤBならば背景に属すると判別する。
【００３８】
図８に、サンプリング領域におけるＨ値及びＳ値の分布状態を示すグラフ（縦軸がＨ値、横軸がＳ値である散布図）を示しており、図中に右上がりに表された線は、ＤA＝ＤBとなるマハラノビス距離に基づく境界線（判別曲線）を示している。この境界線は、Ｈ値とＳ値との分散（分散共分散行列）が同じであるならば直線になり、本実施形態のように分散が異なれば二次曲線になる。図８では、判別曲線に対して、培地ドロップＡのサンプリング分布は左側に分散しており、背景部分Ｂのサンプリング分布は右側に分散する。よって、図中のＨＳ平面上において注目画素の点（Ｈ，Ｓ）が境界線に対して左側にプロットされればＤA＞ＤBとなり、この注目画素に対応する点は培地ドロップＡの領域に属するものと判定される。一方、注目画素の点（Ｈ，Ｓ）が境界線に対して右側にプロットされればＤA＜ＤBとなり、この注目画素に対応する点は背景部分Ｂに属するものと判定される。このように観察画像上の各画素のＨ値及びＳ値についてマハラノビス距離ＤA，ＤBを算出し、各画素に対応する各々の点はマハラノビス距離が小さい方の領域（培地ドロップＡ又は背景部分Ｂの領域）に属するものと判断する。
【００３９】
また、マハラノビス距離による判別に併せて、図８に示すように、ＨＳ平面内においてサンプリングされた正規分布の広がり幅として例えばμA±３σA（σA：標準偏差）内に属するＨ値及びＳ値を持つ画素領域を判別条件として追加することで、培地ドロップＡの正規分布の範囲から逸脱している点（又は領域）を培地ドロップＡの領域からリジェクトする。
【００４０】
このように、観察画像のＨＳＶ色空間情報から色相Ｈ及び彩度Ｓの二次元正規分布を推定して、画素ごとにマハラノビス距離や正規分布の広がり幅を用いて判別した結果、これらの条件を満足する画素領域を画像上で培地ドロップＡに対応する領域であると決定する。
【００４１】
（後処理）
ところで、このように検出された培地ドロップＡの領域について、ノイズ等により余分な領域が含まれるおそれがある。よって、ノイズ等の影響を排除するために、培地ドロップＡの大きさ（面積）や外形形状（円形度）などに基づいて、標準的な培地ドロップＡの大きさ及び外形形状から大きく逸脱している余分な領域をリジェクトする構成としてもよい。その場合には、まず、全体観察画像（原画像）に対して輪郭抽出手法として二値化処理を施す。二値化処理では、先ほどの判別分析の結果に基づいて、例えばマハラノビス係数においてＤA＞ＤB、且つ、正規分布の広がり幅Ｋ-σ内、を満足するか否かを基準に画素単位で判断し、これを満足する画素データを「１」それ以外の画素データを「０」として原画像を二値化する。次いで、こうしてセグメント化された各オブジェクトに対して、固有のラベルを付与するラベリング処理を施す。このラベリング処理では、オブジェクトの識別のためのラベル付けとともにオブジェクト（抽出した輪郭に囲まれた領域）の面積が算出される。観察画像に写し込まれる培地ドロップＡ（２０ｍｌ程度の培地ドロップで直径約７ｍｍ）の像の大きさは画像取得条件（観察倍率等）によりほぼ決まっていることから、培地ドロップＡ判別の対象となりうるオブジェクトの面積の上限値と下限値とを予め設定しておき、その設定範囲から外れるオブジェクトはラベル付けの対象から除外する。
【００４２】
また、培地ドロップＡは、一般に円形状に形成されるという特徴を有しているため、ラベリングされた各オブジェクトの円形度を求めて、円形度の低いオブジェクトについては、予めしきい値等を設定しておき、培地ドロップＡの領域から除外する。ここで、円形度とは、オブジェクトの円形の度合いを判定するための尺度である。円形度は、例えば、画像平面内における各々のオブジェクトの重心を決定するとともに各々のオブジェクトの輪郭を抽出し、オブジェクトごとに自身の重心から輪郭までの距離の最大値と最小値の差として求め、その差が大きいほど円形からずれていると判断する。また、円形度の別の指標としては二次のモーメントとして離心率が用いられる。離心率は、オブジェクト領域を楕円近似した場合の焦点距離と長軸半径との比で表される。
【００４３】
このように、色分布推定により抽出された培地ドロップＡの領域のうち、偶然にも同じ色（色相Ｈ及び彩度Ｓ）を持った不要なオブジェクトやノイズ成分などを的確に除去することができる。
【００４４】
以上説明したような培養物観察の画像処理方法によれば、検出対象の培地ドロップＡが時間の経過や環境の変化によって色変化する場合でも、培地ドロップＡと背景部分Ｂとのサンプリング領域に基づいて培地ドロップの色分布を推定して、培地ドロップＡと背景部分Ｂとの領域をマハラノビス距離等の統計的手法によって判別することにより、培養容器１０中から培地ドロップＡを確実に検出することが可能になる。
【００４５】
（アプリケーション）
次に、培養観察システムＢＳの画像処理装置１００において実行される画像解析の具体的なアプリケーションについて図１及び図９を併せて参照しながら説明する。ここで、図１は培養物観察の画像処理プログラムＧＰにおける処理の概要を示すフローチャート、図９は培養物観察の画像処理を実行する画像処理装置１００の概要構成を示すブロック図である。
【００４６】
画像処理装置１００は、撮像装置５４ｃにより観察対象の培養容器１０が撮影された（マクロ画像を取得して記憶する画像記憶部１１０と、取得したマクロ画像をＲＧＢ色空間からＨＳＶ色空間に変換する色空間変換部１２０と、ユーザにより指定されたサンプリング領域とともに、このサンプリング領域の色分布の状態を記憶する色分布記憶部１３０と、ＨＳＶ変換された画像を解析して、培地ドロップＡの色分布を推定することによって培地ドロップＡと背景部分Ｂとの領域を判別する画像解析部１４０と、画像解析部１４０により解析された判断結果を外部に出力する出力部１５０とを備え、画像解析部１４０により判断された培地ドロップＡの検出結果（識別結果）を、例えば表示パネル７２に出力して表示させるように構成される。画像処理装置１００は、ＲＯＭ６２に予め設定記憶された画像処理プログラムＧＰがＣＰＵ６１に読み込まれ、ＣＰＵ６１によって画像処理プログラムＧＰに基づく処理が順次実行されることによって構成される。
【００４７】
記述したように、培養観察システムＢＳでは、観察プログラムにおいて設定された観察条件に従って、所定時間ごとに指定された培養容器１０内の観察が行われる。具体的には、ＣＰＵ６１は搬送ユニット４の各ステージを作動させてストッカー３から観察対象の培養容器１０を観察ユニット５に搬送（本実施形態ではマクロ観察系５４の光軸上に配置）し、撮像装置５４ｃによりマクロ画像を撮影させる。
【００４８】
画像処理装置１００は、始めに撮像装置５４ｃにより撮影されたマクロ画像をステップＳ１において取得し、この取得した画像を、培養容器１０のコード番号や観察位置、観察時刻などのインデックス・データとともに画像記憶部１１０に保存する。
【００４９】
ステップＳ２にでは、ユーザーインターフェースにより表示パネル７２に、撮像装置５４ｃにより撮影されたマクロ画像を「観察画像」枠７２０に表示させており、観察者は、この「観察画像」枠７２０に表示された画像上でマウスを操作して培地ドロップＡ及び背景部分Ｂのサンプリング領域を少なくとも１領域ずつ指定する。観察者によって指定された各サンプリング領域（の位置及びサイズ）は、培地ドロップＡと背景部分Ｂとに識別された状態で色分布記憶部１３０に記憶される。
【００５０】
ステップＳ３では、色空間変換部１２０において、マクロ画像の持つ色情報がＲＧＢ色空間からＨＳＶ色空間に変換され、マクロ画像がＨ，Ｓ，Ｖ画像に分離される。また、このステップＳ３ではノイズ軽減処理のため、Ｈ，Ｓ，Ｖ画像に対し、画像解析部１４０においてガウシアンフィルタを適用させた平滑化処理が施される。また、色空間変換部１２０により、循環値である色相Ｈに対して、その平均値を中心値にずらし込むオフセット処理が施される。
【００５１】
次いで、ステップＳ４では、培地ドロップＡと背景部分Ｂとのサンプリング領域におけるＨ値及びＳ値の二次元正規分布を推定する。各サンプリング領域において各画素の持つ色相Ｈ及び彩度Ｓの分布状態（ＨＳ平面）を図８に例示しており、例えば、ステップＳ２において観察者により指定された各サンプリング領域が１０×１０画素の画素ブロックであるときには、１００個（１００画素分）の点がＨＳ平面にプロットされる。このサンプリング領域におけるＨ値及びＳ値の分布状態は色分布記憶部１３０に記録される。
【００５２】
ステップＳ５では、ステップＳ４において推定した培地ドロップＡと背景部分ＢとのＨ値及びＳ値の正規分布を用いて、判別対象（サンプリング領域外）の各画素についてマハラノビス距離ＤA，ＤBを順次算出する。マハラノビス距離ＤA，ＤBは、各画素のＨ値及びＳ値を示す点（Ｈ，Ｓ）から各サンプリング分布領域の中心（重心）までの距離として算出される。
【００５３】
続いて、ステップＳ６では、マハラノビス距離等の統計的手法を用いて、培養容器１０中から培地ドロップＡと背景部分Ｂとの領域を判別する。すなわち、ステップＳ６１において、画素ごとに、培地ドロップＡに対するマハラノビス距離ＤAと、背景部分Ｂに対するマハラノビス距離ＤBとを比較して、ＤA＜ＤBであれば培地ドロップＡ、ＤA＞ＤBであれば背景部分Ｂに属するとの判断基準により、観察画像上の注目画素に対応する点が培地ドロップＡ又は背景部分Ｂのいずれに属するのかを確率的に推定し、培地ドロップＡの領域を決定する。さらに、ステップＳ６２において、培地ドロップＡのサンプリング領域におけるＨ値及びＳ値の正規分布において、その広がり幅ｋ-σ（例えば３σA）の範囲内に属することを培地ドロップＡ検出の条件に追加して、この範囲から逸脱している領域については培地ドロップＡの領域からリジェクトする。こうして培地ドロップＡのサンプリング領域における色相Ｈ及び彩度Ｓの分布推定により、培養容器１０（ディッシュ１０ａ）中における培地ドロップＡの領域を決定し（ステップＳ７）、最終的には、検出された培地ドロップＡの領域を示す検出結果が出力部１５０から出力される（ステップＳ８）。
【００５４】
出力部１５０から出力された検出結果は、ユーザーインターフェースにおいて操作盤７の表示パネル７２に表示され、例えば、表示パネル７２における「観察画像」枠７２０の画像中に、培地ドロップＡの領域を示す輪郭を表示したり、培地ドロップＡであることを示す記号「Ａ」を表示させたり、培地ドロップＡの輪郭を他の領域と異なる色相や輝度で表示する等が例示される。図１０に、表示パネル７２の「観察画像」枠７２０に表示される培地ドロップＡの検出結果を示しており、本実施例では、図中の中央のディッシュ１０ａと右下側のディッシュ１０ａとに培地ドロップＡを１箇所ずつ形成した場合を例示する。
【００５５】
なお、出力部１５０から出力される検出データを、通信部６５を介して外部接続されるコンピュータ等に送信して、同様の画像を表示させたり、培地ドロップＡの色変化（ｐＨ変化）や受精卵Ｊの生育状態を観察するための基礎データとして用いたりするように構成することができる。
【００５６】
これにより、観察者は、表示パネル７２に表示された画像や外部接続されたコンピュータ等のモニタに表示された画像を参照することにより、培地ドロップＡを直ちに認識することができ、培地ドロップＡの領域についてのみ顕微観察系５５による顕微観察画像を取得して（背景のみの無用な撮影を回避して）、培地ドロップＡの中から目的とする受精卵Ｊを効率的に検出することができる。
【００５７】
以上、説明したように、本実施形態の画像処理プログラムＧＰ、この画像処理プログラムＧＰが実行されることにより構成される培養物観察の画像処理方法及び画像処理装置１００によれば、培地ドロップＡが時間とともにｐＨ変化によって色が変化する特性を持っている場合でも、培地ドロップと背景とのサンプリングから培地ドロップＡの色分布を推定することにより、培地ドロップＡと背景とを判別し、培地ドロップＡを安定して高精度に検出することを可能とした画像処理手段を提供することができる。
【００５８】
なお、本実施形態において、受精卵Ｊの生育状態の時系列変化等を観察する場合に、所定の時間間隔で培養容器１０内を観察すると、培地ドロップＡが時間の経過や環境の変化に応伴ってｐＨ変化により色変化を引き起こす。その際に観察者は培地ドロップＡと背景部分Ｂとのサンプリング領域をその都度指定する必要はなく、観察者が最初に指定したサンプリング領域を色分布記憶部１３０に継続して記憶させておくことで、その領域内でのサンプリングに基づく色分布推定によって、培地ドロップＡの領域を時系列的に効率よく検出することが可能になる。
【００５９】
上述の実施形態では、観察画像の色空間として、ＨＳＶ色空間（色相Ｈ、彩度Ｓ、及び明度Ｖ）に基づいて色分布の推定を行う処理方法を例示したが、本発明はこの実施形態に限定されるものではなく、尺度の異なる他の色空間、例えばＲＧＢ色空間、Ｌ＊ａ＊ｂ色空間、ＹＵＶ色空間等、任意の色空間に適用しても、同様の効果を得ることができる。
【００６０】
また、上述の実施形態では、ＨＳＶ色空間における色相Ｈ及び彩度Ｓの２成分に基づく二次元正規分布の推定を例示したが、これに限定されるものではなく、残りの明度Ｖを加えた３成分に基づく三次元正規分布の推定を適用しても、同様の効果を得ることができる。この三次元でのオフセット成分Ｗ及び分散共分散行列Σは、
【数６】
【数７】
となり、三次元正規分布の確率密度関数ｆ（Ｈ，Ｓ，Ｖ）は、
【数８】
で表され、マハラノビス距離に基づく判別を行うことができる。
【００６１】
さらに、上述の実施形態では、統計的手法としてマハラノビス距離に基づく判別方法を例示したが、これに限定されるものではなく、他の統計的手法、例えばユークリッド距離、判別分析、最尤推定法などの手法を用いて、培地ドロップＡの色分布推定に適用しても、同様の効果を得ることができる。
【符号の説明】
【００６２】
ＢＳ 培養観察システム ＧＰ 画像処理プログラム
Ａ 培地ドロップ Ｂ 背景部分
Ｊ 受精卵 ５ 観察ユニット
６ 制御ユニット ７ 操作盤
１０ 培養容器 １０ａ ディッシュ
５４ マクロ観察系 ５４ｃ 撮像装置
６１ ＣＰＵ ６２ ＲＯＭ
６３ ＲＡＭ １００ 画像処理装置
１２０ 色空間変換部 １３０ 色分布解析部
１４０ 画像解析部 １５０ 出力部
【技術分野】
【０００１】
本発明は、培養容器の中から培養物の培養に用いられる培地の領域を検出する画像処理手段に関する。
【背景技術】
【０００２】
近年、生殖補助医療技術（ＡＲＴ）の発展に伴い、体外受精による受精卵を培養しながらその生育状態を観察することが行われている。受精卵などの培養物の状況を観察する装置の例として、培養顕微鏡が挙げられる（例えば、特許文献１を参照）。培養顕微鏡は、受精卵の培養に好適な環境を形成する培養装置（インベキュータ）と、培養装置に収容された培養容器内の受精卵の状態を顕微観察する顕微観察系とを備え、予め設定された一定時間ごとに受精卵の観察画像を取得し、ユーザが受精卵を目視により認識した上で、受精卵の生育状態の観察、記録、管理等を自動で行うことができるように構成される。
【０００３】
このような装置において、培養容器の中の受精卵の成育状態を観察する場合、始めに観察対象の受精卵を検出しなければならないが、その検出手順としては大略的に、培養容器全体を撮影し、この全体観察画像から培養容器内においてミネラルオイルに浸された培地（培地ドロップ）を検出した後で、培地内で観察視野位置を変えつつ培地の顕微観察画像を複数取得し、この顕微観察画像を基に培地内に１つずつ注入された観察対象である受精卵を他の異物と判別して検出する、という流れになっている。このように受精卵を認識するためには一般に高倍視野での顕微観察が必要であるところ、観察倍率が高くなるにつれて観察視野（観察範囲）が狭くなってくるため、上述のように広い観察範囲に対して多数の顕微観察画像を撮影する必要がある。このため、顕微観察による受精卵の検出に先立って、マクロ観察により培地の領域を事前に検出できれば、その後に顕微観察において顕微観察画像（高倍画像）を取得する領域も限定され、観察時間全体を短縮化することが可能になる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−２２９６１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
培養容器中に含まれる培地の領域の指定は、培養容器の全体観察画像から観察者自らが目視判断しており、時系列的に観察する場合には培地を時間の経過とともに毎回指定する必要があった。しかしながら、培地自体は非常に色が薄く、しかも時間の経過や環境の変化とともに色が変化（ｐＨ変化）するような特徴を持っているため、画一的に決まる単純な色を基準として、培養容器中に含まれる複数の培地と、背景部分（透明で殆ど色を持たないミネラルオイルなど）とを的確に判別して培地を検出するのが困難であった。
【０００６】
本発明は、このような課題に鑑みてなされたものであり、培地が時間や環境の変化に伴って色変化する場合であっても、培養容器中から培地の領域を確実に検出することを可能にした画像処理手段を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明を例示する第１の態様に従えば、内部に培養物の培養に用いられる培地を有した培養容器に対して、観察視野内に位置する培養容器内の培地を撮像装置により撮影した観察画像を取得し、観察画像に写し込まれた培養容器内の培地と培地を除いた背景部分との領域の中から、観察者が培地及び背景部分の一領域としてそれぞれ指定したサンプリング領域を予め設定し、サンプリング領域内の色空間情報に基づいて、統計的処理によって観察画像における培地の領域の色分布を推定することにより、培地と背景部分との領域を判別して、培地の領域を識別することを特徴とする培養物観察の画像処理方法が提供される。
【０００８】
本発明を例示する第２の態様に従えば、コンピュータにより読み取り可能であり、撮像装置により撮影されて画像を取得して画像処理する画像処理装置としてコンピュータを機能させるための画像処理プログラムであって、内部に培養物の培養に用いられる培地を有した培養容器に対して、撮像装置により観察視野内に位置する培養容器内の培地を撮影した観察画像を取得するステップと、観察画像に写し込まれた培養容器内の培地と培地を除いた背景部分との領域の中から、観察者が培地及び背景部分の一領域としてそれぞれ指定したサンプリング領域を記録するステップと、サンプリング領域内の色空間情報に基づいて、統計的処理によって観察画像における培地の領域の色分布を推定することにより、培地と背景部分との領域を判別して、培地の領域を識別するステップと、培地に関する識別結果を出力するステップとをコンピュータに実現させることを特徴とする培養物観察の画像処理プログラムが提供される。
【０００９】
本発明を例示する第３の態様に従えば、内部に培養物の培養に用いられる培地を有した培養容器を撮影する撮像装置と、観察画像に写し込まれた培養容器内の培地と培地を除いた背景部分との領域の中から、観察者が培地及び背景部分の一領域としてそれぞれ指定したサンプリング領域を記録する記憶部と、サンプリング領域内の色空間情報に基づいて、統計的処理によって観察画像における培地の領域の色分布を推定することにより、培地と背景部分との領域を判別して、培地の領域を識別する画像解析部と、画像解析部により判断された培地に関する識別結果を外部に出力する出力部とを備えて構成されることを特徴とする培養物観察の画像処理装置が提供される。
【発明の効果】
【００１０】
このような培養物観察の画像処理方法、画像処理プログラム、及び画像処理装置によれば、培養容器中の培地が時間の経過や環境の変化に伴って色変化する場合であっても、培地の色分布を正確に抽出することにより、培養容器中の培地の領域を高精度に検出することが可能になる。
【図面の簡単な説明】
【００１１】
【図１】画像処理プログラムの概要を示すフローチャートである。
【図２】本発明の適用例として示す培養観察システムの概要構成図である。
【図３】上記培養観察システムのブロック図である。
【図４】（Ａ）は培養容器の平面図であり、（Ｂ）はディッシュを示す斜視図である。
【図５】ユーザーインターフェースの表示画像の構成例である。
【図６】ＨＳＶ色空間を示す図である。
【図７】観察画像をＨＳＶ分離したときのＨ画像、Ｓ画像、Ｖ画像である。
【図８】サンプリング領域の色相Ｈ及び彩度Ｓの分布状態を示すグラフである。
【図９】画像処理装置の概要構成を示すブロック図である。
【図１０】表示パネルに表示される出力結果を例示する図である。
【発明を実施するための最良の形態】
【００１２】
以下、本発明を実施するための形態について、図面を参照しながら説明する。本実施形態に係る画像処理装置を適用したシステムの一例として、培養観察システムの概要構成図及びブロック図を、それぞれ図２及び図３に示す。
【００１３】
培養観察システムＢＳは、大別的には、筐体１の上部に設けられた培養室２と、複数の培養容器１０を収容保持する棚状のストッカー３と、培養容器１０内の試料を観察する観察ユニット５と、培養容器１０をストッカー３と観察ユニット５との間で搬送する搬送ユニット４と、システムの作動を統括的に制御する制御ユニット６と、画像表示装置を備えた操作盤７などから構成される。
【００１４】
培養室２は、培養環境を形成する部屋であり、環境変化やコンタミネーションを防止するためサンプル投入後は密閉状態に保持される。培養室２に付随して、培養室２内の温度を昇温・降温させる温度調整装置２１、湿度を調整する加湿器２２、ＣＯ２ガスやＮ２ガス等のガスを供給するガス供給装置２３、培養室２全体の環境を均一化させるための循環ファン２４、培養室２の温度や湿度、二酸化炭素濃度等を検出する環境センサ２５などが設けられている。各機器の作動は制御ユニット６により制御され、培養室２の温度や湿度、二酸化炭素濃度等により規定される培養環境が、操作盤７において設定された培養条件に合致した状態に維持される。
【００１５】
ストッカー３は、図２における紙面直行の前後方向、及び上下方向にそれぞれ複数に仕切られた棚状に形成されている。各棚にはそれぞれ固有の番地が設定されており、例えば前後方向をＡ〜Ｃ列、上下方向を１〜７段とした場合に、Ａ列５段の棚がＡ−５のように設定される。
【００１６】
培養容器１０は、培養物の種類や目的等に応じてフラスコやディッシュ、ウェルプレートなど適宜なものが選択され、本実施形態では、図４（Ａ）に示すように、直径約３５ｍｍの５つのディッシュ１０ａと、ディッシュ１０ａを保持するホルダ１０ｂとを備えた構成を例示しており、図４（Ｂ）に示すように、培養物たる受精卵Ｊは、フェノールレッドなどのｐＨ指示薬が入った培地ドロップＡとともに各ディッシュ１０ａに注入される。ディッシュ１０ａの底面には、ピペット等により滴下された２０μｌ程度の培地ドロップＡが１〜複数個形成されており（図４（Ｂ）では３個を図示）、培地ドロップＡはディッシュ１０ａ内において無色透明のミネラルオイルＯによって浸された状態となっている。それぞれの培地ドロップＡ内には、例えば対外受精のために同一母体から同時期に採卵された受精卵Ｊが１個ずつ挿入されている。また、培養容器１０にはコード番号が付与され、ストッカー３の指定番地に対応づけて収容される。
【００１７】
搬送ユニット４は、培養室２の内部に上下方向に移動可能に設けられてＺ軸駆動機構により昇降されるＺステージ４１、Ｚステージ４１に前後方向に移動可能に取り付けられてＹ軸駆動機構により前後移動されるＹステージ４２、Ｙステージ４２に左右方向に移動可能に取り付けられてＸ軸駆動機構により左右移動されるＸステージ４３などからなり、Ｘステージ４３の先端側に培養容器１０を持ち上げ支持する支持アーム４５が設けられている。搬送ユニット４は、支持アーム４５がストッカー３の全棚と観察ユニット５との間を移動可能な移動範囲を有して構成される。Ｘ軸駆動機構、Ｙ軸駆動機構、Ｚ軸駆動機構は、例えばボールネジとエンコーダ付きのサーボモータにより構成され、その作動が制御ユニット６により制御される。
【００１８】
観察ユニット５は、試料台１５の下側から試料を照明する第１照明部５１、顕微観察系の光軸に沿って試料台１５の上方から試料を照明する第２照明部５２、下方から試料を照明する第３照明部５３、試料のマクロ観察を行うマクロ観察系５４、試料のミクロ観察を行う顕微観察系５５、及び画像処理装置１００（図９を参照）などから構成される。試料台１５は、透光性を有する材質で構成されるとともに観察領域に透明な窓部１６が設けられている。また、試料台１５は、制御ユニット６からの作動制御によりＸＹ方向（水平面内方向）およびＺ方向（上下方向）に移動可能な微細駆動ステージからなり、その上面部に載置された培養容器１０をＸＹ方向に移動させることにより、培養容器１０をマクロ観察系５４の光軸上へ挿入したり、顕微観察系５５の光軸上へ挿入したりすることが可能になっている。
【００１９】
第１照明部５１は、下部フレーム１ｂ側に設けられた面発光の光源からなり、試料台１５の下側から培養容器１０全体をバックライト照明する。第２照明部５２は、ＬＥＤ等の光源と、位相リングやコンデンサレンズ等からなる照明光学系とを有して培養室２に設けられており、試料台１５の上方から顕微観察系５５の光軸に沿って培養容器１０中の試料を照明する。第３照明部５３は、それぞれ落射照明観察や蛍光観察に好適な波長の光を射出する複数のＬＥＤや水銀等の光源と、各光源から射出された光を顕微観察系５５の光軸に重畳させるビームスプリッタや蛍光フィルタ等からなる照明光学系とを有して、培養室２の下側に位置する下部フレーム１ｂ内に配設されており、試料台１５の下方から顕微観察系５５の光軸に沿って培養容器１０中の試料を照明する。
【００２０】
マクロ観察系５４は、観察光学系５４ａと、この観察光学系５４ａにより結像された試料の像を撮影するＣＣＤカメラ等の撮像装置５４ｃとを有し、第１照明部５１の上方に位置して培養室２内に設けられている。マクロ観察系５４は、第１照明部５１によりバックライト照明された培養容器１０の上方からの全体観察画像（マクロ画像）を撮影する。
【００２１】
顕微観察系５５は、対物レンズや中間変倍レンズ、蛍光フィルタ等からなる観察光学系５５ａと、観察光学系５５ａにより結像された試料の像を撮影する冷却ＣＣＤカメラ等の撮像装置５５ｃとを有し、下部フレーム１ｂの内部に配設されている。上記の第２照明部５２と顕微観察系５５とにより位相差観察用の顕微鏡が構成される。対物レンズ及び中間変倍レンズは、それぞれ複数設けられるとともに、詳細図示を省略するレボルバやスライダなどの変位機構を用いて複数倍率に設定可能に構成されており、初期選択のレンズ設定に応じて、本実施形態では少なくとも低倍観察用と高倍観察用との２種類の倍率の間で変倍可能なように切り換えられる。顕微観察系５５は、第２照明部５２により照明された試料の透過光による位相差画像や、第３照明部５３により照明されて試料が発する蛍光による蛍光画像など、培養容器１０内の試料を顕微鏡観察した顕微観察画像（ミクロ画像）を撮影する。
【００２２】
画像処理装置１００は、マクロ観察系５４の撮像装置５４ｃ及び顕微観察系５５の撮像装置５５ｃから入力された信号をＡ／Ｄ変換するとともに、各種の画像処理を施して全体観察画像または顕微観察画像の画像データを生成する。また、画像処理装置１００は、これらの観察画像（全体観察画像及び顕微観察画像）の画像データに対して色空間情報の変換や画像解析を施し、培地ドロップＡや受精卵Ｊの識別等を行う。画像処理装置１００は、具体的には、次述する制御ユニット６のＲＯＭに記憶された画像処理プログラムが実行されることにより構築される。なお、この画像処理装置１００については、後に詳述する。
【００２３】
制御ユニット６は、処理を実行するＣＰＵ６１、培養観察システムＢＳの制御プログラムや制御データ等が設定記憶されたＲＯＭ６２、観察条件や画像データ等を一時記憶するＲＡＭ６３などを有し、培養観察システムＢＳの作動を制御する。そのため、図３に示すように、培養室２、搬送装置４、観察ユニット５、操作盤７の各構成機器が制御ユニット６に接続されている。ＲＡＭ６３には、観察プログラムに応じた培養室２の環境条件や、観察スケジュール、観察ユニット５における観察種別や観察位置、観察倍率等が設定され記憶される。また、ＲＡＭ６３には、観察ユニット５により撮影された画像データを記録する画像データ記憶領域が設けられ、培養容器１０のコード番号や撮影日時等を含むインデックス・データと画像データとが対応付けて記録される。
【００２４】
操作盤７には、キーボードやスイッチ等の入出力機器が設けられた操作パネル７１、操作画面や画像データ等を表示する表示パネル７２が設けられ、操作パネル７１において観察プログラムの設定や条件選択、動作指令等の入力が行われる。通信部６５は有線または無線の通信規格に準拠して構成されており、この通信部６５に外部接続されるコンピュータ等との間でデータの送受信が可能になっている。
【００２５】
このように概要構成される培養観察システムＢＳでは、操作盤７において設定された観察プログラムの設定条件に従い、ＣＰＵ６１がＲＯＭ６２に記憶された制御プログラムに基づいて各部の作動を制御するとともに、培養容器１０内の試料の撮影を自動的に実行する。すなわち、操作パネル７１に対するパネル操作（または通信部６５を介したリモート操作）によって観察プログラムがスタートされると、ＣＰＵ６１が、ＲＡＭ６３に記憶された環境条件の各条件値を読み込むとともに、環境センサ２５から入力される培養室２の環境状態を検出し、条件値と実測値との差異に応じて温度調整装置２１、加湿器２２、ガス供給装置２３、循環ファン２４等を作動させて、培養室２の温度や湿度、二酸化炭素濃度などの培養環境についてフィードバック制御が行われる。
【００２６】
また、ＣＰＵ６１は、ＲＡＭ６３に記憶された観察条件を読み込む、観察スケジュールに基づいて搬送ユニット４のＸ，Ｙ，Ｚステージ４１，４２，４３を作動させてストッカー３から観察対象の培養容器１０を観察ユニット５の試料台１５に搬送して、観察ユニット５による観察を開始させる。例えば、観察プログラムにおいて設定された観察がマクロ観察である場合には、搬送ユニット４によりストッカー３から搬送してきた培養容器１０をマクロ観察系５４の光軸上に位置決めして試料台１５に載置し、第１照明部５１の光源を点灯させて、バックライト照明された培養容器１０の上方から撮像装置５４ｃにより全体観察像を撮影する。撮像装置５４ｃから制御ユニット６に入力された信号は、画像処理装置１００により処理されて全体観察画像が生成され、その画像データが撮影日時等のインデックス・データなどとともにＲＡＭ６３の画像データ記憶領域に記憶される。
【００２７】
また、観察プログラムにおいて設定された観察が、培養容器１０内の特定位置の試料のミクロ観察である場合には、搬送ユニット４により搬送してきた培養容器１０内の特定位置を顕微観察系５５の光軸上に位置決めして試料台１５に載置し、第２照明部５２または第３照明部５３の光源を点灯させて、透過照明、落射照明、蛍光による顕微観察像を撮像装置５５ｃに撮影させる。撮像装置５５ｃにより撮影されて制御ユニット６に入力された信号は、画像処理装置１００により処理されて顕微観察画像（位相差画像、蛍光画像等）が生成され、その画像データが撮影日時等のインデックス・データなどとともにＲＡＭ６３の画像データ記憶領域に記憶される。
【００２８】
ＣＰＵ６１は、上記のような全体観察像の撮影や顕微観察像の撮影を、観察プログラムに設定された観察スケジュールに基づいて順次実行する。ＲＡＭ６３に記憶された画像データは、操作パネル７１から入力される画像表示指令に応じてＲＡＭ６３から読み出され、例えば指定時刻の全体観察画像や顕微観察画像、画像解析の解析結果などが表示パネル７２に表示される。
【００２９】
さて、このように構成される培養観察システムＢＳにおいて、培養容器１０（ディッシュ１０ａ）中の受精卵Ｊの成育状態を観察する場合、観察対象の受精卵を検出しなければならないが、その検出手順としては大略的に、マクロ観察系５４により培養容器１０を撮影して全体観察画像（マクロ画像）を取得し、このマクロ画像から培地ドロップＡを検出した後で、培地ドロップＡ内を顕微観察系５５により撮影し、この培地ドロップＡに１つずつ注入された観察対象である受精卵Ｊを他の異物と判別して受精卵を識別する、という流れになっている。受精卵Ｊを認識するためには一般に高倍視野での顕微観察が必要であるところ、観察倍率が高くなるにつれて観察視野（観察範囲）が狭くなってくるため、広い観察範囲に対して多数の画像を撮影する必要がある。このため、顕微観察による受精卵の検出に先立って、マクロ観察により受精卵が含まれる培地ドロップＡの領域を事前に検出できれば、その後に顕微観察において高倍画像を取得する領域も限定され、観察時間全体を短縮化することが可能になる。
【００３０】
従来、培養容器１０中に含まれる培地ドロップＡの指定は、マクロ観察系５４によるマクロ画像から観察者自らが目視判断しており、時系列的に観察する場合には培地ドロップＡを時間の経過とともに毎回指定する必要があった。しかしながら、培地ドロップＡ自体は非常に色が薄く、しかも時間の経過とともに色が変化（ｐＨ変化）するような特徴を持っているため、画一的に決まる単純な色を基準として、培養容器１０中に含まれる複数の培地ドロップＡと、その背景部分（透明で殆ど色を持たないミネラルオイルＯなど）Ｂとを的確に判別して培地ドロップＡを検出するのが困難であった。
【００３１】
このような不具合を是正するため、画像処理装置１００による培養物観察の画像処理方法は、培養容器１０全体を撮影したマクロ画像から、培地ドロップＡと背景部分Ｂとの色空間情報をサンプリングし、統計的処理により培地ドロップＡの色分布の推定を行うことで、複数ある培地ドロップＡの領域全てを自動で検出するように構成される。それでは、以下にこの画像処理方法について基本的な概念から説明する。
【００３２】
（培地と背景のサンプリング領域指定）
まず、観察画像の色空間情報に基づいて培地ドロップＡと背景部分Ｂとが持つ色の頻度分布を作成するためのサンプリングを行う。図５に表示パネル７２に表示されるユーザーインターフェースの表示画像を例示しており、マクロ観察系５４により撮影されたバードビュー画像（培養容器１０の全体観察画像）を基に表示パネル７２に表示される「観察画像」枠７２０内において、観察者は操作パネル７１等に設けられたマウス等を利用して、「観察画像」枠７２０内において培地ドロップＡと背景部分Ｂとの領域を少なくとも１領域ずつ指定する。図５では右下側のディッシュ１０ａ内の培地ドロップＡと背景部分Ｂとの一部の領域（矩形領域）が１箇所ずつ指定された状態を示す。なお、後述する判別の精度を高くするためには、できる限りサンプリング領域を広くとることが望ましい。
【００３３】
（ＨＳＶ分離）
取り込んだ全体観察画像（カラー画像）に対して、例えば周知の変換式を用いた演算処理や変換テーブルなどによって、この画像の持つ色空間情報を通常のＲＧＢ色空間からＨＳＶ色空間に変換して、その成分ごとに分離する。ＨＳＶ色空間とは、色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）、及び明度（Ｖａｌｕｅ）の３つの成分で表現される色空間であり、図６に示すように円錐座標系で表すことができる。培地ドロップＡと背景部分Ｂとは、ＨＳＶ色空間では、明度Ｖがほとんど同じであると考えられるため、明暗の変化による影響を受けずに、残り２つの色相Ｈ及び彩度Ｓで両者を判別することができる。そのため、培地ドロップＡ及び背景部分Ｂの色分布の差異を２次元の色空間（ＨＳ平面）の表現に限定することで、培地ドロップＡ抽出の処理負担を軽減することができる。なお、以降の説明では、色相Ｈ、彩度Ｓ、及び明度Ｖの各々の値を、Ｈ値、Ｓ値、及びＶ値と称することがある。
【００３４】
図７に全体観察画像をＨＳＶ分離した画像を示す。色相Ｈについては、一般に−１８０〜１８０値を返し、周期的境界条件（１８０の次は−１８０に戻る）を有しているため、サンプリングした色相Ｈの平均値を中心値にした分布に変換する必要がある。本実施形態では、画像階調が０〜２５５の２５６階調であることを考慮して、色相Ｈの値は０〜１８０を返してくるため、サンプリングした色相Ｈの平均値が９０（０〜１８０の中心値）になるようにオフセット処理する。
【００３５】
また、ランダムなノイズ低減として、平滑化処理のガウシアンフィルタをＨ画像、Ｓ画像ともに施している。ガウシアンフィルタとは、注目画素に近い画素ほど重み付けを大きくし、遠くなるほど重み付けが小さくなるようにガウス分布の関数（ガウシアン関数）を用いてレートを計算する平均化フィルタである。ここで、ガウシアンフィルタの重み付けは、注目画素の中心座標を（ｘ，ｙ）とすると、次式（１）で定義されるガウシアン関数Ｇ（ｘ，ｙ）により、そのレートが決定される。
【数１】
ここで、パラメータσはガウシアンフィルタの空間的な広がり幅を示す値であり、フィルタサイズは半径３σ（σ＝１）とし、本実施形態では中心画素を含めた７×７のマトリックスを例示する。
【００３６】
（培地と背景部分の色分布推定）
培地ドロップＡと背景部分Ｂとの色分布頻度として、画像の画素ごとに与えられる色相Ｈ及び彩度Ｓは正規分布をなしているものと考えられる。そこで、培地ドロップＡと背景部分Ｂとのサンプリング領域における各画素において、色相Ｈと彩度Ｓとの２成分について二次元正規分布をそれぞれ推定する。二次元正規分布の密度関数ｆ（ｘ，ｙ）は、色相Ｈ及び彩度Ｓのそれぞれの分布の平均値をμＨ，μＳ、標準偏差をσＨ，σＳ、オフセット成分をＷ、分散共分散行列をΣとすると、次式のように表される。
【数２】
【数３】
【数４】
この二次元正規分布の密度関数ｆ（ｘ，ｙ）は、培地ドロップをＡ、背景部分をＢで識別すると、
培地のＨＳ分布：ｆA（Ｈ，Ｓ｜μHA，μSA，ΣA）
背景のＨＳ分布：ｆB（Ｈ，Ｓ｜μHB，μSB，ΣB）
と推定することができる。
【００３７】
（培地ドロップと背景部分との判別）
次いで、上記で推定した培地ドロップＡと背景部分Ｂとの正規分布を用いて、観察画像（Ｈ画像及びＳ画像）内における各画素が持つＨ値及びＳ値から、当該画素に対応する点が培地ドロップＡ又は背景のいずれに属するかを確率的に推定する。ただし、ここではｆA（Ｈ，Ｓ）とｆB（Ｈ，Ｓ）とをすべて計算する必要はなく、上記式（２）の指数関数ｅｘｐの括弧内だけに注目すればよい。
【数５】
上記式（５）で示すＤA，ＤBは一般にマハラノビス距離と称されており、正規分布との距離にその分散を考慮した距離を表している。各画素のＨ値及びＳ値を上記式に代入してマハラノビス距離ＤA，ＤBを画素ごとに算出し、注目画素に対応する点が、ＤA＞ＤBならば培地ドロップＡに属し、ＤA＜ＤBならば背景に属すると判別する。
【００３８】
図８に、サンプリング領域におけるＨ値及びＳ値の分布状態を示すグラフ（縦軸がＨ値、横軸がＳ値である散布図）を示しており、図中に右上がりに表された線は、ＤA＝ＤBとなるマハラノビス距離に基づく境界線（判別曲線）を示している。この境界線は、Ｈ値とＳ値との分散（分散共分散行列）が同じであるならば直線になり、本実施形態のように分散が異なれば二次曲線になる。図８では、判別曲線に対して、培地ドロップＡのサンプリング分布は左側に分散しており、背景部分Ｂのサンプリング分布は右側に分散する。よって、図中のＨＳ平面上において注目画素の点（Ｈ，Ｓ）が境界線に対して左側にプロットされればＤA＞ＤBとなり、この注目画素に対応する点は培地ドロップＡの領域に属するものと判定される。一方、注目画素の点（Ｈ，Ｓ）が境界線に対して右側にプロットされればＤA＜ＤBとなり、この注目画素に対応する点は背景部分Ｂに属するものと判定される。このように観察画像上の各画素のＨ値及びＳ値についてマハラノビス距離ＤA，ＤBを算出し、各画素に対応する各々の点はマハラノビス距離が小さい方の領域（培地ドロップＡ又は背景部分Ｂの領域）に属するものと判断する。
【００３９】
また、マハラノビス距離による判別に併せて、図８に示すように、ＨＳ平面内においてサンプリングされた正規分布の広がり幅として例えばμA±３σA（σA：標準偏差）内に属するＨ値及びＳ値を持つ画素領域を判別条件として追加することで、培地ドロップＡの正規分布の範囲から逸脱している点（又は領域）を培地ドロップＡの領域からリジェクトする。
【００４０】
このように、観察画像のＨＳＶ色空間情報から色相Ｈ及び彩度Ｓの二次元正規分布を推定して、画素ごとにマハラノビス距離や正規分布の広がり幅を用いて判別した結果、これらの条件を満足する画素領域を画像上で培地ドロップＡに対応する領域であると決定する。
【００４１】
（後処理）
ところで、このように検出された培地ドロップＡの領域について、ノイズ等により余分な領域が含まれるおそれがある。よって、ノイズ等の影響を排除するために、培地ドロップＡの大きさ（面積）や外形形状（円形度）などに基づいて、標準的な培地ドロップＡの大きさ及び外形形状から大きく逸脱している余分な領域をリジェクトする構成としてもよい。その場合には、まず、全体観察画像（原画像）に対して輪郭抽出手法として二値化処理を施す。二値化処理では、先ほどの判別分析の結果に基づいて、例えばマハラノビス係数においてＤA＞ＤB、且つ、正規分布の広がり幅Ｋ-σ内、を満足するか否かを基準に画素単位で判断し、これを満足する画素データを「１」それ以外の画素データを「０」として原画像を二値化する。次いで、こうしてセグメント化された各オブジェクトに対して、固有のラベルを付与するラベリング処理を施す。このラベリング処理では、オブジェクトの識別のためのラベル付けとともにオブジェクト（抽出した輪郭に囲まれた領域）の面積が算出される。観察画像に写し込まれる培地ドロップＡ（２０ｍｌ程度の培地ドロップで直径約７ｍｍ）の像の大きさは画像取得条件（観察倍率等）によりほぼ決まっていることから、培地ドロップＡ判別の対象となりうるオブジェクトの面積の上限値と下限値とを予め設定しておき、その設定範囲から外れるオブジェクトはラベル付けの対象から除外する。
【００４２】
また、培地ドロップＡは、一般に円形状に形成されるという特徴を有しているため、ラベリングされた各オブジェクトの円形度を求めて、円形度の低いオブジェクトについては、予めしきい値等を設定しておき、培地ドロップＡの領域から除外する。ここで、円形度とは、オブジェクトの円形の度合いを判定するための尺度である。円形度は、例えば、画像平面内における各々のオブジェクトの重心を決定するとともに各々のオブジェクトの輪郭を抽出し、オブジェクトごとに自身の重心から輪郭までの距離の最大値と最小値の差として求め、その差が大きいほど円形からずれていると判断する。また、円形度の別の指標としては二次のモーメントとして離心率が用いられる。離心率は、オブジェクト領域を楕円近似した場合の焦点距離と長軸半径との比で表される。
【００４３】
このように、色分布推定により抽出された培地ドロップＡの領域のうち、偶然にも同じ色（色相Ｈ及び彩度Ｓ）を持った不要なオブジェクトやノイズ成分などを的確に除去することができる。
【００４４】
以上説明したような培養物観察の画像処理方法によれば、検出対象の培地ドロップＡが時間の経過や環境の変化によって色変化する場合でも、培地ドロップＡと背景部分Ｂとのサンプリング領域に基づいて培地ドロップの色分布を推定して、培地ドロップＡと背景部分Ｂとの領域をマハラノビス距離等の統計的手法によって判別することにより、培養容器１０中から培地ドロップＡを確実に検出することが可能になる。
【００４５】
（アプリケーション）
次に、培養観察システムＢＳの画像処理装置１００において実行される画像解析の具体的なアプリケーションについて図１及び図９を併せて参照しながら説明する。ここで、図１は培養物観察の画像処理プログラムＧＰにおける処理の概要を示すフローチャート、図９は培養物観察の画像処理を実行する画像処理装置１００の概要構成を示すブロック図である。
【００４６】
画像処理装置１００は、撮像装置５４ｃにより観察対象の培養容器１０が撮影された（マクロ画像を取得して記憶する画像記憶部１１０と、取得したマクロ画像をＲＧＢ色空間からＨＳＶ色空間に変換する色空間変換部１２０と、ユーザにより指定されたサンプリング領域とともに、このサンプリング領域の色分布の状態を記憶する色分布記憶部１３０と、ＨＳＶ変換された画像を解析して、培地ドロップＡの色分布を推定することによって培地ドロップＡと背景部分Ｂとの領域を判別する画像解析部１４０と、画像解析部１４０により解析された判断結果を外部に出力する出力部１５０とを備え、画像解析部１４０により判断された培地ドロップＡの検出結果（識別結果）を、例えば表示パネル７２に出力して表示させるように構成される。画像処理装置１００は、ＲＯＭ６２に予め設定記憶された画像処理プログラムＧＰがＣＰＵ６１に読み込まれ、ＣＰＵ６１によって画像処理プログラムＧＰに基づく処理が順次実行されることによって構成される。
【００４７】
記述したように、培養観察システムＢＳでは、観察プログラムにおいて設定された観察条件に従って、所定時間ごとに指定された培養容器１０内の観察が行われる。具体的には、ＣＰＵ６１は搬送ユニット４の各ステージを作動させてストッカー３から観察対象の培養容器１０を観察ユニット５に搬送（本実施形態ではマクロ観察系５４の光軸上に配置）し、撮像装置５４ｃによりマクロ画像を撮影させる。
【００４８】
画像処理装置１００は、始めに撮像装置５４ｃにより撮影されたマクロ画像をステップＳ１において取得し、この取得した画像を、培養容器１０のコード番号や観察位置、観察時刻などのインデックス・データとともに画像記憶部１１０に保存する。
【００４９】
ステップＳ２にでは、ユーザーインターフェースにより表示パネル７２に、撮像装置５４ｃにより撮影されたマクロ画像を「観察画像」枠７２０に表示させており、観察者は、この「観察画像」枠７２０に表示された画像上でマウスを操作して培地ドロップＡ及び背景部分Ｂのサンプリング領域を少なくとも１領域ずつ指定する。観察者によって指定された各サンプリング領域（の位置及びサイズ）は、培地ドロップＡと背景部分Ｂとに識別された状態で色分布記憶部１３０に記憶される。
【００５０】
ステップＳ３では、色空間変換部１２０において、マクロ画像の持つ色情報がＲＧＢ色空間からＨＳＶ色空間に変換され、マクロ画像がＨ，Ｓ，Ｖ画像に分離される。また、このステップＳ３ではノイズ軽減処理のため、Ｈ，Ｓ，Ｖ画像に対し、画像解析部１４０においてガウシアンフィルタを適用させた平滑化処理が施される。また、色空間変換部１２０により、循環値である色相Ｈに対して、その平均値を中心値にずらし込むオフセット処理が施される。
【００５１】
次いで、ステップＳ４では、培地ドロップＡと背景部分Ｂとのサンプリング領域におけるＨ値及びＳ値の二次元正規分布を推定する。各サンプリング領域において各画素の持つ色相Ｈ及び彩度Ｓの分布状態（ＨＳ平面）を図８に例示しており、例えば、ステップＳ２において観察者により指定された各サンプリング領域が１０×１０画素の画素ブロックであるときには、１００個（１００画素分）の点がＨＳ平面にプロットされる。このサンプリング領域におけるＨ値及びＳ値の分布状態は色分布記憶部１３０に記録される。
【００５２】
ステップＳ５では、ステップＳ４において推定した培地ドロップＡと背景部分ＢとのＨ値及びＳ値の正規分布を用いて、判別対象（サンプリング領域外）の各画素についてマハラノビス距離ＤA，ＤBを順次算出する。マハラノビス距離ＤA，ＤBは、各画素のＨ値及びＳ値を示す点（Ｈ，Ｓ）から各サンプリング分布領域の中心（重心）までの距離として算出される。
【００５３】
続いて、ステップＳ６では、マハラノビス距離等の統計的手法を用いて、培養容器１０中から培地ドロップＡと背景部分Ｂとの領域を判別する。すなわち、ステップＳ６１において、画素ごとに、培地ドロップＡに対するマハラノビス距離ＤAと、背景部分Ｂに対するマハラノビス距離ＤBとを比較して、ＤA＜ＤBであれば培地ドロップＡ、ＤA＞ＤBであれば背景部分Ｂに属するとの判断基準により、観察画像上の注目画素に対応する点が培地ドロップＡ又は背景部分Ｂのいずれに属するのかを確率的に推定し、培地ドロップＡの領域を決定する。さらに、ステップＳ６２において、培地ドロップＡのサンプリング領域におけるＨ値及びＳ値の正規分布において、その広がり幅ｋ-σ（例えば３σA）の範囲内に属することを培地ドロップＡ検出の条件に追加して、この範囲から逸脱している領域については培地ドロップＡの領域からリジェクトする。こうして培地ドロップＡのサンプリング領域における色相Ｈ及び彩度Ｓの分布推定により、培養容器１０（ディッシュ１０ａ）中における培地ドロップＡの領域を決定し（ステップＳ７）、最終的には、検出された培地ドロップＡの領域を示す検出結果が出力部１５０から出力される（ステップＳ８）。
【００５４】
出力部１５０から出力された検出結果は、ユーザーインターフェースにおいて操作盤７の表示パネル７２に表示され、例えば、表示パネル７２における「観察画像」枠７２０の画像中に、培地ドロップＡの領域を示す輪郭を表示したり、培地ドロップＡであることを示す記号「Ａ」を表示させたり、培地ドロップＡの輪郭を他の領域と異なる色相や輝度で表示する等が例示される。図１０に、表示パネル７２の「観察画像」枠７２０に表示される培地ドロップＡの検出結果を示しており、本実施例では、図中の中央のディッシュ１０ａと右下側のディッシュ１０ａとに培地ドロップＡを１箇所ずつ形成した場合を例示する。
【００５５】
なお、出力部１５０から出力される検出データを、通信部６５を介して外部接続されるコンピュータ等に送信して、同様の画像を表示させたり、培地ドロップＡの色変化（ｐＨ変化）や受精卵Ｊの生育状態を観察するための基礎データとして用いたりするように構成することができる。
【００５６】
これにより、観察者は、表示パネル７２に表示された画像や外部接続されたコンピュータ等のモニタに表示された画像を参照することにより、培地ドロップＡを直ちに認識することができ、培地ドロップＡの領域についてのみ顕微観察系５５による顕微観察画像を取得して（背景のみの無用な撮影を回避して）、培地ドロップＡの中から目的とする受精卵Ｊを効率的に検出することができる。
【００５７】
以上、説明したように、本実施形態の画像処理プログラムＧＰ、この画像処理プログラムＧＰが実行されることにより構成される培養物観察の画像処理方法及び画像処理装置１００によれば、培地ドロップＡが時間とともにｐＨ変化によって色が変化する特性を持っている場合でも、培地ドロップと背景とのサンプリングから培地ドロップＡの色分布を推定することにより、培地ドロップＡと背景とを判別し、培地ドロップＡを安定して高精度に検出することを可能とした画像処理手段を提供することができる。
【００５８】
なお、本実施形態において、受精卵Ｊの生育状態の時系列変化等を観察する場合に、所定の時間間隔で培養容器１０内を観察すると、培地ドロップＡが時間の経過や環境の変化に応伴ってｐＨ変化により色変化を引き起こす。その際に観察者は培地ドロップＡと背景部分Ｂとのサンプリング領域をその都度指定する必要はなく、観察者が最初に指定したサンプリング領域を色分布記憶部１３０に継続して記憶させておくことで、その領域内でのサンプリングに基づく色分布推定によって、培地ドロップＡの領域を時系列的に効率よく検出することが可能になる。
【００５９】
上述の実施形態では、観察画像の色空間として、ＨＳＶ色空間（色相Ｈ、彩度Ｓ、及び明度Ｖ）に基づいて色分布の推定を行う処理方法を例示したが、本発明はこの実施形態に限定されるものではなく、尺度の異なる他の色空間、例えばＲＧＢ色空間、Ｌ＊ａ＊ｂ色空間、ＹＵＶ色空間等、任意の色空間に適用しても、同様の効果を得ることができる。
【００６０】
また、上述の実施形態では、ＨＳＶ色空間における色相Ｈ及び彩度Ｓの２成分に基づく二次元正規分布の推定を例示したが、これに限定されるものではなく、残りの明度Ｖを加えた３成分に基づく三次元正規分布の推定を適用しても、同様の効果を得ることができる。この三次元でのオフセット成分Ｗ及び分散共分散行列Σは、
【数６】
【数７】
となり、三次元正規分布の確率密度関数ｆ（Ｈ，Ｓ，Ｖ）は、
【数８】
で表され、マハラノビス距離に基づく判別を行うことができる。
【００６１】
さらに、上述の実施形態では、統計的手法としてマハラノビス距離に基づく判別方法を例示したが、これに限定されるものではなく、他の統計的手法、例えばユークリッド距離、判別分析、最尤推定法などの手法を用いて、培地ドロップＡの色分布推定に適用しても、同様の効果を得ることができる。
【符号の説明】
【００６２】
ＢＳ 培養観察システム ＧＰ 画像処理プログラム
Ａ 培地ドロップ Ｂ 背景部分
Ｊ 受精卵 ５ 観察ユニット
６ 制御ユニット ７ 操作盤
１０ 培養容器 １０ａ ディッシュ
５４ マクロ観察系 ５４ｃ 撮像装置
６１ ＣＰＵ ６２ ＲＯＭ
６３ ＲＡＭ １００ 画像処理装置
１２０ 色空間変換部 １３０ 色分布解析部
１４０ 画像解析部 １５０ 出力部
【特許請求の範囲】
【請求項１】
内部に培養物の培養に用いられる培地を有した培養容器に対して、観察視野内に位置する前記培養容器内の培地を撮像装置により撮影した観察画像を取得し、
前記観察画像に写し込まれた前記培養容器内の前記培地と前記培地を除いた背景部分との領域の中から、観察者が前記培地及び前記背景部分の一領域としてそれぞれ指定したサンプリング領域を予め設定し、
前記サンプリング領域内の色空間情報に基づいて、統計的処理によって前記観察画像における前記培地の領域の色分布を推定することにより、前記培地と前記背景部分との領域を判別して、前記培地の領域を識別することを特徴とする培養物観察の画像処理方法。
【請求項２】
前記統計的処理に、マハラノビス距離、判別分析、最尤分析のうちのいずれかを利用したことを特徴とする請求項１に記載の培養物観察の画像処理方法。
【請求項３】
前記観察画像が、色相、彩度及び明度により表現されるＨＳＶ色空間で構成され、
前記色分布が、前記明度に依存しない前記色相及び前記彩度に基づいて作成されることを特徴とする請求項１又は２に記載の培養物観察の画像処理方法。
【請求項４】
所定の時間間隔をおいて時系列的に前記培養容器内を観察するときに、観察者によって前記指定されたサンプリング領域を固定して、観察時ごとに、同一の前記サンプリング領域のもとで前記観察画像全体における色分布を推定することにより前記複数の培地を識別することを特徴とする請求項１〜３のいずれかに記載の培養物観察の画像処理方法。
【請求項５】
コンピュータにより読み取り可能であり、撮像装置により撮影されて画像を取得して画像処理する画像処理装置として前記コンピュータを機能させるための画像処理プログラムであって、
内部に培養物の培養に用いられる培地を有した培養容器に対して、撮像装置により観察視野内に位置する前記培養容器内の培地を撮影した観察画像を取得するステップと、
前記観察画像に写し込まれた前記培養容器内の前記培地と前記培地を除いた背景部分との領域の中から、観察者が前記培地及び前記背景部分の一領域としてそれぞれ指定したサンプリング領域を記録するステップと、
前記サンプリング領域内の色空間情報に基づいて、統計的処理によって前記観察画像における前記培地の領域の色分布を推定することにより、前記培地と前記背景部分との領域を判別して、前記培地の領域を識別するステップと、
前記培地に関する識別結果を出力するステップとを
前記コンピュータに実現させることを特徴とする培養物観察の画像処理プログラム。
【請求項６】
前記統計的処理に、マハラノビス距離、判別分析、最尤分析のうちのいずれかを利用したことを特徴とする請求項５に記載の培養物観察の画像処理プログラム。
【請求項７】
前記観察画像が、色相、彩度及び明度により表現されるＨＳＶ色空間で構成され、
前記色分布が、前記明度に依存しない前記色相及び前記彩度に基づいて作成されることを特徴とする請求項５又は６に記載の培養物観察の画像処理プログラム。
【請求項８】
所定の時間間隔をおいて時系列的に前記培養容器内を観察するときに、観察者によって前記指定されたサンプリング領域を固定して、観察時ごとに、同一の前記サンプリング領域のもとで前記観察画像全体における色分布を推定することにより前記複数の培地を識別することを特徴とする請求項５〜７のいずれかに記載の培養物観察の画像処理プログラム。
【請求項９】
内部に培養物の培養に用いられる培地を有した培養容器を撮影する撮像装置と、
前記観察画像に写し込まれた前記培養容器内の前記培地と前記培地を除いた背景部分との領域の中から、観察者が前記培地及び前記背景部分の一領域としてそれぞれ指定したサンプリング領域を記録する記憶部と、
前記サンプリング領域内の色空間情報に基づいて、統計的処理によって前記観察画像における前記培地の領域の色分布を推定することにより、前記培地と前記背景部分との領域を判別して、前記培地の領域を識別する画像解析部と、
前記画像解析部により判断された前記培地に関する識別結果を外部に出力する出力部とを備えて構成されることを特徴とする培養物観察の画像処理装置。
【請求項１０】
前記統計的処理に、マハラノビス距離、判別分析、最尤分析のうちのいずれかを利用したことを特徴とする請求項９に記載の培養物観察の画像処理装置。
【請求項１１】
前記観察画像が、色相、彩度及び明度により表現されるＨＳＶ色空間で構成され、
前記色分布が、前記明度に依存しない前記色相及び前記彩度に基づいて作成されることを特徴とする請求項９又は１０に記載の培養物観察の画像処理装置。
【請求項１２】
所定の時間間隔をおいて時系列的に前記培養容器内を観察するときに、観察者によって前記指定されたサンプリング領域を固定して、観察時ごとに、同一の前記サンプリング領域のもとで前記観察画像全体における色分布を推定することにより前記複数の培地を識別することを特徴とする請求項９〜１１のいずれかに記載の培養物観察の画像処理装置。
【請求項１】
内部に培養物の培養に用いられる培地を有した培養容器に対して、観察視野内に位置する前記培養容器内の培地を撮像装置により撮影した観察画像を取得し、
前記観察画像に写し込まれた前記培養容器内の前記培地と前記培地を除いた背景部分との領域の中から、観察者が前記培地及び前記背景部分の一領域としてそれぞれ指定したサンプリング領域を予め設定し、
前記サンプリング領域内の色空間情報に基づいて、統計的処理によって前記観察画像における前記培地の領域の色分布を推定することにより、前記培地と前記背景部分との領域を判別して、前記培地の領域を識別することを特徴とする培養物観察の画像処理方法。
【請求項２】
前記統計的処理に、マハラノビス距離、判別分析、最尤分析のうちのいずれかを利用したことを特徴とする請求項１に記載の培養物観察の画像処理方法。
【請求項３】
前記観察画像が、色相、彩度及び明度により表現されるＨＳＶ色空間で構成され、
前記色分布が、前記明度に依存しない前記色相及び前記彩度に基づいて作成されることを特徴とする請求項１又は２に記載の培養物観察の画像処理方法。
【請求項４】
所定の時間間隔をおいて時系列的に前記培養容器内を観察するときに、観察者によって前記指定されたサンプリング領域を固定して、観察時ごとに、同一の前記サンプリング領域のもとで前記観察画像全体における色分布を推定することにより前記複数の培地を識別することを特徴とする請求項１〜３のいずれかに記載の培養物観察の画像処理方法。
【請求項５】
コンピュータにより読み取り可能であり、撮像装置により撮影されて画像を取得して画像処理する画像処理装置として前記コンピュータを機能させるための画像処理プログラムであって、
内部に培養物の培養に用いられる培地を有した培養容器に対して、撮像装置により観察視野内に位置する前記培養容器内の培地を撮影した観察画像を取得するステップと、
前記観察画像に写し込まれた前記培養容器内の前記培地と前記培地を除いた背景部分との領域の中から、観察者が前記培地及び前記背景部分の一領域としてそれぞれ指定したサンプリング領域を記録するステップと、
前記サンプリング領域内の色空間情報に基づいて、統計的処理によって前記観察画像における前記培地の領域の色分布を推定することにより、前記培地と前記背景部分との領域を判別して、前記培地の領域を識別するステップと、
前記培地に関する識別結果を出力するステップとを
前記コンピュータに実現させることを特徴とする培養物観察の画像処理プログラム。
【請求項６】
前記統計的処理に、マハラノビス距離、判別分析、最尤分析のうちのいずれかを利用したことを特徴とする請求項５に記載の培養物観察の画像処理プログラム。
【請求項７】
前記観察画像が、色相、彩度及び明度により表現されるＨＳＶ色空間で構成され、
前記色分布が、前記明度に依存しない前記色相及び前記彩度に基づいて作成されることを特徴とする請求項５又は６に記載の培養物観察の画像処理プログラム。
【請求項８】
所定の時間間隔をおいて時系列的に前記培養容器内を観察するときに、観察者によって前記指定されたサンプリング領域を固定して、観察時ごとに、同一の前記サンプリング領域のもとで前記観察画像全体における色分布を推定することにより前記複数の培地を識別することを特徴とする請求項５〜７のいずれかに記載の培養物観察の画像処理プログラム。
【請求項９】
内部に培養物の培養に用いられる培地を有した培養容器を撮影する撮像装置と、
前記観察画像に写し込まれた前記培養容器内の前記培地と前記培地を除いた背景部分との領域の中から、観察者が前記培地及び前記背景部分の一領域としてそれぞれ指定したサンプリング領域を記録する記憶部と、
前記サンプリング領域内の色空間情報に基づいて、統計的処理によって前記観察画像における前記培地の領域の色分布を推定することにより、前記培地と前記背景部分との領域を判別して、前記培地の領域を識別する画像解析部と、
前記画像解析部により判断された前記培地に関する識別結果を外部に出力する出力部とを備えて構成されることを特徴とする培養物観察の画像処理装置。
【請求項１０】
前記統計的処理に、マハラノビス距離、判別分析、最尤分析のうちのいずれかを利用したことを特徴とする請求項９に記載の培養物観察の画像処理装置。
【請求項１１】
前記観察画像が、色相、彩度及び明度により表現されるＨＳＶ色空間で構成され、
前記色分布が、前記明度に依存しない前記色相及び前記彩度に基づいて作成されることを特徴とする請求項９又は１０に記載の培養物観察の画像処理装置。
【請求項１２】
所定の時間間隔をおいて時系列的に前記培養容器内を観察するときに、観察者によって前記指定されたサンプリング領域を固定して、観察時ごとに、同一の前記サンプリング領域のもとで前記観察画像全体における色分布を推定することにより前記複数の培地を識別することを特徴とする請求項９〜１１のいずれかに記載の培養物観察の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図６】
【図９】
【図５】
【図７】
【図８】
【図１０】
【図２】
【図３】
【図４】
【図６】
【図９】
【図５】
【図７】
【図８】
【図１０】
【公開番号】特開２０１１−１０６２１（Ｐ２０１１−１０６２１Ａ）
【公開日】平成２３年１月２０日（２０１１．１．２０）
【国際特許分類】
【出願番号】特願２００９−１５９２２７（Ｐ２００９−１５９２２７）
【出願日】平成２１年７月３日（２００９．７．３）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２３年１月２０日（２０１１．１．２０）
【国際特許分類】
【出願日】平成２１年７月３日（２００９．７．３）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]