説明

培養物観察の画像処理方法、画像処理プログラム及び画像処理装置、並びに培養物の製造方法

【課題】本発明は、このような課題に鑑みてなされたものであり、培養容器に書き込まれた文字等のマーク画像を観察画像中から除去して、培地の検出効率を向上させることを可能にする手段を提供する。
【解決手段】培養物の培養に用いられる培地が収容され光透過性のインクを用いて所定のマークが前記培地の設置面となる底面若しくはこれに対向する蓋面に描画された培養容器内を透過照明して、培養容器内を当該透過光を用いて撮像装置により撮影した観察画像を取得するステップS1と、観察画像に写し込まれた所定のマーク画像が有する色空間情報を利用して、観察画像から所定のマークの写り込みを除去した画像を生成するステップS2と、所定のマークの写り込みを除去した画像を出力するステップS3とを、コンピュータに実現させる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、培養容器の中から培養物の培養に用いられる培地の領域を検出するための画像処理手段、及びこれを利用した培養物の製造方法に関する。
【背景技術】
【0002】
近年、生殖補助医療技術(ART)の発展に伴い、体外受精による受精卵を培養しながらその生育状態を観察することが行われている。受精卵などの培養物の状況を観察する装置の例として、培養顕微鏡が挙げられる(例えば、特許文献1を参照)。培養顕微鏡は、受精卵の培養に好適な環境を形成する培養装置(インベキュータ)と、培養装置に収容された培養容器内の受精卵の状態を顕微観察する顕微観察系とを備え、予め設定された一定時間ごとに受精卵の観察画像を取得し、ユーザが受精卵を目視により認識した上で、受精卵の生育状態の観察、記録、管理等を自動で行うことができるように構成される。
【0003】
このような装置において、培養容器中の受精卵の成育状態を観察する場合、始めに観察対象の受精卵を検出しなければならないが、その検出手順としては大略的に、培養容器全体を撮影してこの全体観察画像に基づいて培養容器内からミネラルオイルに浸された培地(培地ドロップ)を検出した後で、この培地ドロップ内で観察視野位置を変えつつ培地ドロップの顕微観察画像を複数取得し、この顕微観察画像を基に培地ドロップ内に1個(または複数個)ずつ注入された観察対象の受精卵を他の異物と判別して検出する、という流れになっている。このように受精卵を認識するためには一般に高倍視野での顕微観察が必要であるところ、観察倍率が高くなるにつれて観察視野(観察範囲)が狭くなってくるため、顕微観察のみでは広い観察範囲に対して多数の顕微観察画像を撮影する必要がある。そのため、前述のように顕微観察による受精卵の検出に先立って、マクロ観察により培地ドロップの領域を事前に検出できれば、その後に顕微観察において観察画像を取得する領域も自ずと限定され、観察時間全体を短縮化することが可能になる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2004−229619号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
受精卵観察における実際の運用においては、培養容器(例えば、ディッシュの底面や蓋)に培地又は受精卵に関する情報を油性ペン等により直接書き込み、ユーザが目視で各種情報を読み取れるようにしている。しかしながら、ユーザによって培養容器に文字等の情報が書き込まれた場合、観察視野内でこの文字と培地ドロップとが重ならないとは限らず、文字を書いた培養容器を使いまわすときには十分起こり得ることである。そのため、マクロ観察により全体観察画像を取得しても、培地ドロップと重なるように文字等が写し込まれることにより、培地ドロップの輪郭を正確に抽出することができなくなり、結果として培地ドロップの検出効率が低下するという問題があった。
【0006】
本発明は、このような課題に鑑みてなされたものであり、培養容器に書き込まれた文字等のマーク画像を観察画像中から除去して、培地の検出効率を向上させることを可能にする手段を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明を例示する第1の態様に従えば、培養物の培養に用いられる培地が収容され光透過性のインクを用いて所定のマークが前記培地の設置面となる底面若しくはこれに対向する蓋面に描画された培養容器内を透過照明して、培養容器内を当該透過光を用いて撮像装置により撮影した観察画像を取得し、観察画像に写し込まれた所定のマーク画像が有する色空間情報を利用して、観察画像から所定のマークの写り込みを除去した画像を生成することを特徴とする培養物観察の画像処理方法が提供される。
【0008】
本発明を例示する第2の態様に従えば、コンピュータにより読み取り可能であり、撮像装置により撮影されて画像を取得して画像処理する画像処理装置としてコンピュータを機能させるための画像処理プログラムであって、培養物の培養に用いられる培地が収容され光透過性のインクを用いて所定のマークが前記培地の設置面となる底面若しくはこれに対向する蓋面に描画された培養容器内を透過照明して、培養容器内を当該透過光を用いて撮像装置により撮影した観察画像を取得するステップと、観察画像に写し込まれた所定のマーク画像が有する色空間情報を利用して、観察画像から所定のマークの写り込みを除去した画像を生成するステップと、所定のマークの写り込みを除去した画像を出力するステップとを、コンピュータに実現させることを特徴とする培養物観察の画像処理プログラムが提供される。
【0009】
本発明を例示する第3の態様に従えば、培養物の培養に用いられる培地が収容され光透過性のインクを用いて所定のマークが前記培地の設置面となる底面若しくはこれに対向する蓋面に描画された培養容器内を透過光を用いて撮影する撮像装置と、撮像装置により撮影された観察画像に写し込まれた所定のマーク画像が有する色空間情報を利用して、観察画像から所定のマークの写り込みを除去した画像を生成する色分離処理部と、色分離処理部により生成された所定のマークの写り込みを除去した画像を外部に出力する出力部とを備えて構成されることを特徴とする培養物観察の画像処理装置が提供される。
【0010】
本発明を例示する第4の態様に従えば、所定の環境条件で培養物を培養し、培養物が存在する培養容器中から、上記構成の画像処理装置を用いて所定のマークの写り込みを除去した画像を取得し、所定のマークの写り込みを除去した画像に基づいて培地を検出し、培地の中から培養物を識別することを特徴とする培養物の製造方法が提供される。
【0011】
本発明を例示する第5の態様に従えば、培養物の培養に用いられる培地が収容され光透過性のインクを用いて所定のマークが前記培地の設置面となる底面若しくはこれに対向する蓋面に描画された培養容器内を透過照明して、培養容器内を当該透過光を用いて撮像装置により撮影した観察画像を取得し、観察画像に写し込まれた所定のマーク画像が有する色空間情報を利用して、観察画像から所定のマークの写り込みを除去した画像を生成し、所定のマークの写り込みを除去した画像に基づいて培地を検出し、培地の中から培養物を識別することを特徴とする培養物の製造方法が提供される。
【発明の効果】
【0012】
このような培養物観察の画像処理方法、画像処理プログラム及び画像処理装置、並びに培養物の製造方法によれば、培地を収容する培養容器に文字等の所定のマークが描画されて観察視野内で培地とマークとがオーバーラップしている場合であっても、マーク画像の色空間情報を利用して、マークの写り込みを除去した画像を生成することにより、培地の検出効率を向上させることが可能になる。
【図面の簡単な説明】
【0013】
【図1】画像処理プログラムの概要を示すフローチャートである。
【図2】本発明の適用例として示す培養観察システムの概要構成図である。
【図3】上記培養観察システムのブロック図である。
【図4】(A)は培養容器の平面図であり、(B)はディッシュを示す斜視図である。
【図5】培地ドロップと重なるように文字が描画されたディッシュを示す模式図である。
【図6】HSV色空間を示す図である。
【図7】画像処理装置の概要構成を示すブロック図である。
【図8】受精卵の製造方法の概要を示すフローチャートである。
【発明を実施するための形態】
【0014】
以下、本発明を実施するための形態について、図面を参照しながら説明する。本実施形態に係る画像処理装置を適用したシステムの一例として、培養観察システムの概要構成図及びブロック図を、それぞれ図2及び図3に示す。
【0015】
培養観察システムBSは、大別的には、筐体1の上部に設けられた培養室2と、複数の培養容器10を収容保持する棚状のストッカー3と、培養容器10内の試料を観察する観察ユニット5と、培養容器10をストッカー3と観察ユニット5との間で搬送する搬送ユニット4と、システムの作動を統括的に制御する制御ユニット6と、画像表示装置を備えた操作盤7などから構成される。
【0016】
培養室2は、培養環境を形成する部屋であり、環境変化やコンタミネーションを防止するためサンプル投入後は密閉状態に保持される。培養室2に付随して、培養室2内の温度を昇温・降温させる温度調整装置21、湿度を調整する加湿器22、COガスやNガス等のガスを供給するガス供給装置23、培養室2全体の環境を均一化させるための循環ファン24、培養室2の温度や湿度、二酸化炭素濃度等を検出する環境センサ25などが設けられている。各機器の作動は制御ユニット6により制御され、培養室2の温度や湿度、二酸化炭素濃度等により規定される培養環境が、操作盤7において設定された培養条件に合致した状態に維持される。
【0017】
ストッカー3は、図2における紙面直行の前後方向、及び上下方向にそれぞれ複数に仕切られた棚状に形成されている。各棚にはそれぞれ固有の番地が設定されており、例えば前後方向をA〜C列、上下方向を1〜7段とした場合に、A列5段の棚がA−5のように設定される。
【0018】
培養容器10は、培養物の種類や目的等に応じてフラスコやディッシュ、ウェルプレートなど適宜なものが選択され、本実施形態では、図4(A)に示すように、透光性の材質で形成された直径約35mmの5つのディッシュ11(容器11a及び蓋11bからなる)と、ディッシュ11を保持するホルダ12とを備えた構成を例示しており、図4(B)に示すように、培養物たる受精卵Jは、pHに応じて変色するフェノールレッドなどのpH指示薬が入った培地ドロップDとともに各ディッシュ11に注入される。ディッシュ11の底面には、ピペット等により滴下された20[μl]程度の培地ドロップDが1〜複数個形成されており(図4(B)では3個を図示)、培地ドロップDはディッシュ11内において無色透明のミネラルオイルOによって浸された状態となっている。それぞれの培地ドロップD内には、例えば対外受精のために同一母体から同時期に採卵された受精卵Jが1個(または複数個)ずつ挿入されている。また、培養容器10にはコード番号が付与され、ストッカー3の指定番地に対応づけて収容される。
【0019】
搬送ユニット4は、培養室2の内部に上下方向に移動可能に設けられてZ軸駆動機構により昇降されるZステージ41、Zステージ41に前後方向に移動可能に取り付けられてY軸駆動機構により前後移動されるYステージ42、Yステージ42に左右方向に移動可能に取り付けられてX軸駆動機構により左右移動されるXステージ43などからなり、Xステージ43の先端側に培養容器10を持ち上げ支持する支持アーム45が設けられている。搬送ユニット4は、支持アーム45がストッカー3の全棚と観察ユニット5との間を移動可能な移動範囲を有して構成される。X軸駆動機構、Y軸駆動機構、Z軸駆動機構は、例えばボールネジとエンコーダ付きのサーボモータにより構成され、その作動が制御ユニット6により制御される。
【0020】
観察ユニット5は、試料台15の下側から試料を照明する第1照明部51、顕微観察系の光軸に沿って試料台15の上方から試料を照明する第2照明部52、下方から試料を照明する第3照明部53、試料のマクロ観察を行うマクロ観察系54、試料のミクロ観察を行う顕微観察系55、及び画像処理装置100(図2を参照)などから構成される。試料台15は、透光性を有する材質で構成されるとともに観察領域に透明な窓部16が設けられている。また、試料台15は、制御ユニット6からの作動制御によりXY方向(水平面内方向)およびZ方向(上下方向)に移動可能な微細駆動ステージからなり、その上面部に載置された培養容器10をXY方向に移動させることにより、培養容器10をマクロ観察系54の光軸上へ挿入したり、顕微観察系55の光軸上へ挿入したりすることが可能になっている。
【0021】
第1照明部51は、下部フレーム1b側に設けられたLCD(Liquid Crystal Display)等の面発光の光源からなり、試料台15の下側から培養容器10全体をバックライト照明する。第2照明部52は、LED等の光源と、位相リングやコンデンサレンズ等からなる照明光学系とを有して培養室2に設けられており、試料台15の上方から顕微観察系55の光軸に沿って培養容器10中の試料を照明する。第3照明部53は、それぞれ落射照明観察や蛍光観察に好適な波長の光を射出する複数のLEDや水銀等の光源と、各光源から射出された光を顕微観察系55の光軸に重畳させるビームスプリッタや蛍光フィルタ等からなる照明光学系とを有して、培養室2の下側に位置する下部フレーム1b内に配設されており、試料台15の下方から顕微観察系55の光軸に沿って培養容器10中の試料を照明する。
【0022】
マクロ観察系54は、観察光学系54aと、この観察光学系54aにより結像された試料の像を撮影するCCDカメラ等の撮像装置54cとを有し、第1照明部51の上方に位置して培養室2内に設けられている。マクロ観察系54は、第1照明部51によりバックライト照明された試料(培養容器10)の透過光の像を撮像して全体観察画像(マクロ画像)をカラー画像として取得する。
【0023】
顕微観察系55は、対物レンズや中間変倍レンズ、蛍光フィルタ等からなる観察光学系55aと、観察光学系55aにより結像された試料の像を撮影する冷却CCDカメラ等の撮像装置55cとを有し、下部フレーム1bの内部に配設されている。上記の第2照明部52と顕微観察系55とにより位相差観察用の顕微鏡が構成される。対物レンズ及び中間変倍レンズは、それぞれ複数設けられるとともに、詳細図示を省略するレボルバやスライダなどの変位機構を用いて複数倍率に設定可能に構成されており、初期選択のレンズ設定に応じて、本実施形態では少なくとも低倍観察用と高倍観察用との2種類の倍率の間で変倍可能なように切り換えられる。顕微観察系55は、第2照明部52により照明された試料の透過光による位相差画像や、第3照明部53により照明されて試料が発する蛍光による蛍光画像など、培養容器10内の試料を顕微鏡観察した顕微観察画像(ミクロ画像)を撮影する。
【0024】
画像処理装置100は、マクロ観察系54の撮像装置54c及び顕微観察系55の撮像装置55cから入力された信号をA/D変換するとともに、各種の画像処理を施して全体観察画像または顕微観察画像の画像データを生成する。また、画像処理装置100は、これらの観察画像(全体観察画像及び顕微観察画像)の画像データに対して色空間情報の変換や画像解析を施し、培地ドロップDや受精卵Jの識別等を行う。画像処理装置100は、具体的には、次述する制御ユニット6のROMに記憶された画像処理プログラムが実行されることにより構築される。なお、この画像処理装置100については、後に詳述する。
【0025】
制御ユニット6は、処理を実行するCPU61、培養観察システムBSの制御プログラムや制御データ等が設定記憶されたROM62、観察条件や画像データ等を一時記憶するRAM63などを有し、培養観察システムBSの作動を制御する。そのため、図3に示すように、培養室2、搬送装置4、観察ユニット5、操作盤7の各構成機器が制御ユニット6に接続されている。RAM63には、観察プログラムに応じた培養室2の環境条件や、観察スケジュール、観察ユニット5における観察種別や観察位置、観察倍率等が設定され記憶される。また、RAM63には、観察ユニット5により撮影された画像データを記録する画像データ記憶領域が設けられ、培養容器10のコード番号や撮影日時等を含むインデックス・データと画像データとが対応付けて記録される。
【0026】
操作盤7には、キーボードやスイッチ等の入出力機器が設けられた操作パネル71、操作画面や画像データ等を表示する表示パネル72が設けられ、操作パネル71において観察プログラムの設定や条件選択、動作指令等の入力が行われる。通信部65は有線または無線の通信規格に準拠して構成されており、この通信部65に外部接続されるコンピュータ等との間でデータの送受信が可能になっている。
【0027】
このように概要構成される培養観察システムBSでは、操作盤7において設定された観察プログラムの設定条件に従い、CPU61がROM62に記憶された制御プログラムに基づいて各部の作動を制御するとともに、培養容器10内の試料の撮影を自動的に実行する。すなわち、操作パネル71に対するパネル操作(または通信部65を介したリモート操作)によって観察プログラムがスタートされると、CPU61が、RAM63に記憶された環境条件の各条件値を読み込むとともに、環境センサ25から入力される培養室2の環境状態を検出し、条件値と実測値との差異に応じて温度調整装置21、加湿器22、ガス供給装置23、循環ファン24等を作動させて、培養室2の温度や湿度、二酸化炭素濃度などの培養環境についてフィードバック制御が行われる。
【0028】
また、CPU61は、RAM63に記憶された観察条件を読み込む、観察スケジュールに基づいて搬送ユニット4のX,Y,Zステージ41,42,43を作動させてストッカー3から観察対象の培養容器10を観察ユニット5の試料台15に搬送して、観察ユニット5による観察を開始させる。例えば、観察プログラムにおいて設定された観察がマクロ観察である場合には、搬送ユニット4によりストッカー3から搬送してきた培養容器10をマクロ観察系54の光軸上に位置決めして試料台15に載置し、第1照明部51の光源を点灯させて培養容器10の下方から照明光(透過光)を照射し、このバックライト照明された培養容器10の上方から撮像装置54cにより全体観察像を撮影する。撮像装置54cから制御ユニット6に入力された信号は、画像処理装置100により処理されて全体観察画像が生成され、その画像データが撮影日時等のインデックス・データなどとともにRAM63の画像データ記憶領域に記憶される。
【0029】
また、観察プログラムにおいて設定された観察が、培養容器10内の特定位置の試料のミクロ観察である場合には、搬送ユニット4により搬送してきた培養容器10内の特定位置を顕微観察系55の光軸上に位置決めして試料台15に載置し、第2照明部52または第3照明部53の光源を点灯させて、透過照明、落射照明、蛍光による顕微観察像を撮像装置55cに撮影させる。撮像装置55cにより撮影されて制御ユニット6に入力された信号は、画像処理装置100により処理されて顕微観察画像(位相差画像、蛍光画像等)が生成され、その画像データが撮影日時等のインデックス・データなどとともにRAM63の画像データ記憶領域に記憶される。
【0030】
CPU61は、上記のような全体観察像の撮影や顕微観察像の撮影を、観察プログラムに設定された観察スケジュールに基づいて順次実行する。RAM63に記憶された画像データは、操作パネル71から入力される画像表示指令に応じてRAM63から読み出され、例えば指定時刻の全体観察画像や顕微観察画像、画像解析の解析結果などが表示パネル72に表示される。
【0031】
さて、このように構成される培養観察システムBSにおいて、培養容器10(ディッシュ11)中の受精卵Jの生育状態を観察する場合、培養容器10内から観察対象の受精卵を検出しなければならないが、その一連の検出手順としては大略的に、マクロ観察系54により培養容器10を撮影して全体観察画像(マクロ画像)を取得し、この全体観察画像から培地ドロップDを検出した後で、この培地ドロップDを顕微観察系55により撮影し、この培地ドロップDに1つ(または複数個)ずつ注入された観察対象の受精卵を他の異物と判別して受精卵を認識する、という流れになっている。受精卵を検出するためには一般に高倍視野での顕微観察が必要であるところ、観察倍率が高くなるにつれてその観察視野(観察範囲)が狭くなってくるため、培養容器10内の広い観察範囲に対して多数の画像を撮影取得する必要がある。そのため前述のように、顕微観察による受精卵の検出に先立って、マクロ観察により受精卵が含まれる培地ドロップDの領域を予め検出できれば、その後に顕微観察において高倍画像を取得する領域も限定され、観察時間全体を短縮化することが可能になる。
【0032】
このような受精卵観察における実際の運用においては、ディッシュ11における容器11aの底面や蓋11bの表裏面(培地の設置面ともなる底面もしくはこれに対向する蓋面)に培地又は受精卵に関する情報を油性ペン等を用いて直接書き込み、ユーザが目視で各種情報を読み取れるようにしている。しかしながら、ユーザによって培地等の情報を示すマークとして文字、図形、記号、若しくはこれらの組み合わせ(以下、単に「文字」と称する)が描画された場合、観察視野内でこの文字部分と培地ドロップDとが重ならないとは限らず、ディッシュ11を使いまわすときには十分起こり得ることである。図5に、ディッシュ11に文字が書き込まれて培地ドロップDと文字部分Mとが重なった状態(8個の培地ドロップDを例示)を模式的に示している。このようにマクロ観察54により全体観察画像を取得しても、培地ドロップDと文字部分Mとが重なって写し込まれることにより、培地ドロップDの輪郭を正確に抽出することができなくなり、結果として培地ドロップDの検出効率が低下するという問題があった。
【0033】
このような不具合を是正するため、画像処理装置100による培養物観察の画像処理方法は、培養容器10全体を撮影した全体観察画像を取得し、この観察画像に写し込まれた文字等のマーク画像が持つRGBやHSVなどの色空間情報を利用して、観察画像から当該マークの写り込みを除去した画像を生成するように構成される。それでは、以下にこの画像処理方法について基本的な概念から説明する。
【0034】
本実施形態においては、ディッシュ11内の複数の培地ドロップDを識別するために、培地や受精卵に関する情報をディッシュ11に書き込む際に、光透過性の有色のインク(例えば、透過色インクの油性ペン)を用いてディッシュ11に文字などを描画することを特徴とする。マクロ観察系54によってこのような培養容器10のバードビュー画像(全体観察画像)を取得すると、この観察画像には、培養容器10の各ディッシュ11内において、培地ドロップD、文字部分(インク)M、その他の背景部分(主にミネラルオイルO)の像がカラー画像として写し込まれる。
【0035】
ここで、培地ドロップD、文字部分(インク)M、及びミネラルオイルOの各々は次のような特徴を持っている。
(培地ドロップ)
培地ドロップDは、それ自体は無色透明であるが、フェノールレッド等のpH指示薬が入っていると、時間の経過(培地ドロップのpH変化)とともに色が変化するという特徴がある。
(文字部分)
本実施形態で利用するインクは、前述のように、光透過性を持ち有色であるという特徴がある。なお、光透過性を有するインクであれば、油性、水性を問わず、染料インクもしくは顔料インクであってもよく、これらを混在させたインクであってもよい。
(ミネラルオイル)
ミネラルオイルOは、無色透明であるという特徴がある。
【0036】
全体観察画像において、色の付いた文字部分Mに関しては多少の光量は落ちるものの、RGBやHSVなどの色空間では培地ドロップDや背景部分と異なる位置に分布され、このような色空間情報を利用することで、文字部分Mの写り込みを除去した画像を生成することができる。以下、HSV色空間を利用した画像処理の方法を例示する。
【0037】
(HSV分離)
マクロ観察系54により撮影された上記のバードビュー画像(カラー画像)に対して、例えば周知の変換式を用いた演算処理や変換テーブルなど利用して、このカラー画像のもつ色空間情報を通常のRGB色空間からHSV色空間に変換し、その成分ごとの画像に分離する。HSV色空間とは、色相H(Hue)、彩度S(Saturation)、及び明度V(Value)の3つの成分で表現される色空間であり、図6に示すような円錐座標系で表すことができる。
【0038】
ここで、培地ドロップDが無色透明(フェノールレッドの注入なし)の場合には、観察画像において色を有するのは文字部分Mだけであるため、文字部分MはHSV色空間で他に比して彩度Sに大きな値を持つことになる。一方、観察画像は透過照明観察により得られたものであるため、色の付いた文字部分Mに関しては多少の光量は落ちるものの、培地ドロップD、文字部分M、及び背景部分(ミネラルオイルO)ともにほぼ同じ明度Vの値を示すこととなる。従って、明度Vの画像では培地ドロップD、文字部分M、及び背景部分が明度分布において同調されるため、V画像において培地ドロップD、文字部分M、及び背景部分の領域がほぼ一様な明度Vでほぼ混然一体となって現れ、このV画像において文字部分の写り込みを除去することが可能になる。ここで、V画像において文字部分は完全除去されている必要はなく、培地ドロップDの識別のために十分な程度に除去されていれば足りる。従って、V画像において明度Vが大きく異なって現れる部分が、培地ドロップDや受精卵Jの形状を司る輪郭(エッジ)として抽出される。なお、培地ドロップDがフェノールレッドにより色付けされている場合でも、培地ドロップDは透光性を有するため、この場合にもHSV色空間における明度Vのみを利用すればよく、これにより培地ドロップDが時間経過(pH変化)とともに色変化しても、文字部分の写り込みを除去した画像を生成することができる。また、第1照明部51からの照明光(透過照明)の一部が文字部分で遮光され、この文字部分からの透過光の光量(明度V)が低下する場合には、H値及びS値において大きな値をとる色付き部分(文字部分)が持つ明度Vにオフセット値を加算して、背景部分等と同調する程度まで明度Vの値を補正してもよい。
【0039】
(培地ドロップの検出)
V画像において抽出したエッジには、培地ドロップDの輪郭を示すエッジの他にも、ミネラルオイルO中に混入したゴミ等の異物やディッシュ11の縁などを示すエッジも含まれる可能性がある。よって、培地ドロップと異物などとを判別するために、例えば、観察画像内でオブジェクトの円検出を行って、培地ドロップDの大きさ(面積)や外形形状(円形度)などに基づいて、標準的な培地ドロップDの大きさ及び外形形状から逸脱しているオブジェクトをリジェクトして、培地ドロップDを検出する手法などが例示される。
【0040】
ここで、画像に写し込まれる培地ドロップD(例えば、20μl程度の直径約7mm)の像の大きさは、画像取得条件(観察倍率等)によりほぼ決まっていることから、培地ドロップDの候補となり得るオブジェクト(抽出した輪郭に囲まれた領域)の面積を公知の画像処理手法により算出し、面積による判別基準として定めた設定範囲(上限値及び下限値)から逸脱しているものをリジェクトする。
【0041】
また、培地ドロップDは、一般に円形状に形成されるという特徴があるため、各オブジェクトの円形度を公知の画像処理手法により求めて、円形度の低いオブジェクトについては予めしきい値を設定しておき、培地ドロップDの候補から排除する。ここで、円形度とは、オブジェクトの円形の度合いを判定するための尺度である。円形度は、例えば、画像平面内における各々のオブジェクトの重心を判定するとともに各々のオブジェクトの輪郭を抽出し、オブジェクトごとに自身の重心から輪郭までの距離の最大値と最小値の差として求め、その差が大きいほど円形からずれていると判断する。また、円形度の別の指標としては二次のモーメントとして離心率が用いられる。離心率はオブジェクト領域を楕円近似した場合の焦点距離と長軸半径との比で表わされる。
【0042】
以上説明した培養物観察の画像処理方法によれば、培地ドロップDを収容するディッシュ11に培地や受精卵等に関する文字等の情報が書き込まれて観察視野内で培地ドロップDと文字部分Mとがオーバーラップしている場合でも、観察画像の色空間情報としてHSV色空間の明度Vを利用して、観察画像に写し込まれた不要な文字部分を除去することにより、培地ドロップDの検出効率を向上させることができる。
【0043】
(アプリケーション)
次に、培養観察システムBSの画像処理装置100において実行される画像解析の具体的なアプリケーションについて図1及び図7を併せて参照しながら説明する。ここで、図1は培養物観察の画像処理プログラムGPにおける処理の概要を示すフローチャート、図7は培養物観察の画像処理を実行する画像処理装置100の概要構成を示すブロック図である。
【0044】
画像処理装置100は、撮像装置54cにより観察対象の培養容器10が撮影された(マクロ画像)を取得して記憶する画像記憶部110と、取得したマクロ画像をRGB色空間からHSV色空間に変換して文字部分の写り込みを除去した画像を生成する色分離処理部120と、色分離処理部120により生成された画像などに基づいて培地ドロップDを検出する画像解析部130と、色分離処理部120により生成された画像や画像解析部130により解析された判断結果を外部に出力する出力部140とを備え、色分離処理部120及び画像解析部130により判断された培地ドロップDの画像や検出結果を、例えば表示パネル72に出力して表示させるように構成される。画像処理装置100は、ROM62に予め設定記憶された画像処理プログラムGPがCPU61に読み込まれ、CPU61によって画像処理プログラムGPに基づく処理が順次実行されることによって構成される。
【0045】
記述したように、培養観察システムBSでは、観察プログラムにおいて設定された観察条件に従って、所定時間ごとに指定された培養容器10内の観察が行われる。具体的には、CPU61は搬送ユニット4の各ステージを作動させてストッカー3から観察対象の培養容器10を観察ユニット5に搬送(本実施形態ではマクロ観察系54の光軸上に配置)し、撮像装置54cによりマクロ画像を撮影させる。
【0046】
画像処理装置100は、先ず始めに撮像装置54cにより撮影された全体観察画像(マクロ画像)をステップS1において取得し、この取得した画像を、培養容器10のコード番号や観察位置、観察時刻などのインデックス・データとともに画像記憶部110に保存する。
【0047】
ステップS2では、色分離処理部120において、全体観察画像の持つ色情報がRGB色空間からHSV色空間に変換され、上記取得した観察画像が色相H,彩度S,明度Vの画像に分離される。ここで取得した明度Vの画像において、培地ドロップD、文字部分M、及び背景部分の明度Vの値はほぼ同じである。従って、これら培地ドロップD、文字部分M、及び背景部分が明度分布において同調されるため、V画像において培地ドロップD、文字部分M、及び背景部分の領域がほぼ一様な明度Vでほぼ混然一体となって現れ、文字部分Mの写り込みが除去された画像となる。一方、明度Vの画像では、培地ドロップDや受精卵Jの形状を司る輪郭(エッジ)が明度Vの異なる部分として現れる。なお、文字部分Mと培地ドロップDの輪郭とが重なる部分については、明度Vが幾分低下するおそれがあるが、その場合でも背景部分などと比べて明らかに明度Vが異なって現れ、培地ドロップDの輪郭(エッジ)を正確に表すことになる。このように観察画像から観察に不要な手書き文字部分を除去することで、次ステップの培地ドロップDの検出効率を向上させることが可能になる。
【0048】
続いて、ステップS3では、出力部140によって、不要な文字部分が除去された全体観察画像(バードビュー画像)が操作盤7の表示パネル72等に表示される。
【0049】
ステップS4では、例えば前述した円検出の手法を用いて、ディッシュ11内における培地ドロップDの領域を検出する。そして、最終的にステップS5では、検出された培地ドロップDの領域を示す検出結果が出力部140から出力される。
【0050】
出力部140から出力された検出結果は、操作盤7の表示パネル72に表示され、観察画像中に、培地ドロップDの領域を示す輪郭を表示したり、培地ドロップDであることを示す記号「D」を表示させたり、培地ドロップDの輪郭を他の領域と異なる色相や輝度で表示する等が例示される。
【0051】
なお、出力部140から出力される検出データを、通信部65を介して外部接続されるコンピュータ等に送信して、同様の画像を表示させたり、培地ドロップDの色変化(pH変化)や受精卵Jの生育状態を観察するための基礎データとして用いたりするように構成することができる。
【0052】
これにより、ユーザーは、表示パネル72に表示された画像や外部接続されたコンピュータ等のモニタに表示された画像を参照することにより、培地ドロップDを直ちに認識することができ、培地ドロップDの領域についてのみ顕微観察系55による顕微観察画像を取得して(背景のみの無用な撮影を回避して)、培地ドロップDの中から目的とする受精卵Jを効率的に検出することができる。
【0053】
次に、培養物たる受精卵の製造方法について図8を追加参照して概要説明する。まず、ステップS110において、受精卵(培養物)を培地ドロップDと共に培養容器10(ディッシュ11)内に注入し、この培養容器10を受精卵の培養に適した環境条件に維持された培養室2内に収納して、当該環境条件の下で受精卵を培養する。なお、この環境条件は、制御ユニット6において培養室2内の温度や湿度、二酸化炭素濃度等が受精卵の培養環境に合わせて調節される。
【0054】
ステップS120では、培養容器10内の受精卵観察の前段階として、前述した画像処理のステップS1〜S5(図1を参照)を実行して、ディッシュ11内から培地ドロップDの領域を識別する。次いで、ステップS130では、第2照明部52を用いて顕微観察系55により培地ドロップDの顕微観察画像(例えば位相差画像)を撮影し、この観察画像に写し込まれる複数のオブジェクトの中から受精卵を識別する。このとき培養容器10(ディッシュ11)内において、1個の培地ドロップDに対して受精卵が各1個(または複数個)ずつ識別される。
【0055】
続いて、ステップS140では、培地ドロップDごとに識別された複数の受精卵を所定の選別基準に基づいて選別する。受精卵の選別基準としては、卵割のタイミングや卵割球の形態等に基づいて受精卵のグレードが判定されて、この選別基準を満足する良好なものが選別される。例えば、良好な生育状態を経たものとして、卵内全ての卵細胞において卵割の起きたタイミングが同時期であるか否かに基づいて行われる。すなわち、正常な受精卵の卵割については、同じ世代の各細胞はほぼ同時期のタイミングで分裂し、胚内には同じ世代の細胞のみが存在する。一方、異常な受精卵の卵割については、同じ世代の細胞であっても分裂するタイミングがずれて、胚内には異なる世代の細胞が混在してしまう。
【0056】
ステップS150では、上記選別した受精卵(胚盤胞と称される状態にまで成長した良好な受精卵)を採取して、例えばマイナス196℃の液体窒素の中で凍結保存する。そして、この受精卵(胚盤胞)は所定の周期のときに母体へ戻される(胚移植される)。なお、培養される受精卵は、ヒト、ウシ、ウマ、ブタ、マウス等の受精卵であってもよい。また、受精卵の保存は胚盤胞の状態で保存してもよいし、分割期(4細胞期胚、8細胞期胚)の状態で保存してもよい。
【0057】
以上説明したように、本実施形態に係る画像処理プロラムGP、この画像処理プログラムGPが実行されることにより構成される画像処理方法及び画像処理装置100、並びに受精卵の製造方法によれば、培地ドロップDを収容するディッシュ11に培地や受精卵等に関する文字等の情報が書き込まれて観察視野内で培地ドロップDと文字部分Mとがオーバーラップしている場合でも、観察画像の色空間情報としてHSV色空間の明度Vを利用して、観察画像に写し込まれた観察に不要な文字部分Mを除去することにより、培地ドロップDの検出効率を向上させることを可能とした画像処理手段を提供することができる。また、培養観察のユーザは、培地や受精卵に関する文字等の情報を培地ドロップDの配置に関係なくディッシュ11の容器底面や蓋に書き込んだり、逆に当該文字等の描画位置に関係なく培地ドロップDをディッシュ11内に配置することができるため、作業効率を向上させることも可能になる。
【0058】
なお、上述の実施形態において、観察画像の色空間情報として、HSV色空間の明度Vを利用したが、本発明はこの実施形態に限定されるものではなく、RGB色空間を利用して、観察画像から不要な文字部分の写り込みを除去することができる。例えば、事前にインク色をサンプリングしておいて、この既知のインク色に基づいて、観察画像からその色味を有する部分(すなわち、文字部分)を除去することも可能である。この手法は、インク色がR,G,Bの三原色に近い場合に有効な手段である。但し、インク色が淡い色や複雑な混色である場合、インク色が培地ドロップ(フェノールレッドの成分により色付されたもの)の色と同じ場合には、RGB色空間よりも上述したHSV色空間(の明度V)を利用するのが有効な手段である。また、尺度の異なるその他の色空間として、例えば、L*a*b色空間、YUV色空間等、任意の色空間に適用してもよい。
【符号の説明】
【0059】
BS 培養観察システム GP 画像処理プログラム
D 培地ドロップ M 文字部分(マーク)
J 受精卵 5 観察ユニット
6 制御ユニット 7 操作盤
10 培養容器 11 ディッシュ
54 マクロ観察系 54c 撮像装置
61 CPU 62 ROM
63 RAM 100 画像処理装置
120 色分離処理部 130 画像解析部
140 出力部

【特許請求の範囲】
【請求項1】
培養物の培養に用いられる培地が収容され光透過性のインクを用いて所定のマークが前記培地の設置面となる底面若しくはこれに対向する蓋面に描画された培養容器内を透過照明して、前記培養容器内を当該透過光を用いて撮像装置により撮影した観察画像を取得し、
前記観察画像に写し込まれた前記所定のマーク画像が有する色空間情報を利用して、前記観察画像から前記所定のマークの写り込みを除去した画像を生成することを特徴とする培養物観察の画像処理方法。
【請求項2】
前記観察画像を、色相、彩度及び明度により表現されるHSV色空間で取得し、
前記観察画像からHSV色空間内で色相及び明度に依存しない明度のみに基づく画像を生成して当該明度の画像内において前記培養容器内での前記所定のマーク画像の明度を前記培地の輪郭を除く部分の画像の明度に同調させることにより、前記所定のマークの写り込みを除去した画像を得ることを特徴とする請求項1に記載の培養物観察の画像処理方法。
【請求項3】
コンピュータにより読み取り可能であり、撮像装置により撮影されて画像を取得して画像処理する画像処理装置として前記コンピュータを機能させるための画像処理プログラムであって、
培養物の培養に用いられる培地が収容され光透過性のインクを用いて所定のマークが前記培地の設置面となる底面若しくはこれに対向する蓋面に描画された培養容器内を透過照明して、前記培養容器内を当該透過光を用いて撮像装置により撮影した観察画像を取得するステップと、
前記観察画像に写し込まれた前記所定のマーク画像が有する色空間情報を利用して、前記観察画像から前記所定のマークの写り込みを除去した画像を生成するステップと、
前記所定のマークの写り込みを除去した画像を出力するステップとを、
前記コンピュータに実現させることを特徴とする培養物観察の画像処理プログラム。
【請求項4】
前記観察画像を、色相、彩度及び明度により表現されるHSV色空間で取得し、
前記観察画像からHSV色空間内で色相及び明度に依存しない明度のみに基づく画像を生成して当該明度の画像内において前記培養容器内での前記所定のマーク画像の明度を前記培地の輪郭を除く部分の画像の明度に同調させることにより、前記所定のマークの写り込みを除去した画像を得ることを特徴とする請求項3に記載の培養物観察の画像処理プログラム。
【請求項5】
培養物の培養に用いられる培地が収容され光透過性のインクを用いて所定のマークが前記培地の設置面となる底面若しくはこれに対向する蓋面に描画された培養容器内を透過光を用いて撮影する撮像装置と、
前記撮像装置により撮影された観察画像に写し込まれた前記所定のマーク画像が有する色空間情報を利用して、前記観察画像から前記所定のマークの写り込みを除去した画像を生成する色分離処理部と、
前記色分離処理部により生成された前記所定のマークの写り込みを除去した画像を外部に出力する出力部とを備えて構成されることを特徴とする培養物観察の画像処理装置。
【請求項6】
前記観察画像を、色相、彩度及び明度により表現されるHSV色空間で取得し、
前記観察画像からHSV色空間内で色相及び明度に依存しない明度のみに基づく画像を生成して当該明度の画像内において前記培養容器内での前記所定のマーク画像の明度を前記培地の輪郭を除く部分の画像の明度に同調させることにより、前記所定のマークの写り込みを除去した画像を得ることを特徴とする請求項5に記載の培養物観察の画像処理装置。
【請求項7】
所定の環境条件で培養物を培養し、
培養物が存在する培養容器中から、請求項5または6に記載の画像処理装置を用いて所定のマークの写り込みを除去した画像を取得し、
前記所定のマークの写り込みを除去した画像に基づいて培地を検出し、
前記培地の中から培養物を識別することを特徴とする培養物の製造方法。
【請求項8】
培養物の培養に用いられる培地が収容され光透過性のインクを用いて所定のマークが前記培地の設置面となる底面若しくはこれに対向する蓋面に描画された培養容器内を透過照明して、前記培養容器内を当該透過光を用いて撮像装置により撮影した観察画像を取得し、
前記観察画像に写し込まれた前記所定のマーク画像が有する色空間情報を利用して、前記観察画像から前記所定のマークの写り込みを除去した画像を生成し、
前記所定のマークの写り込みを除去した画像に基づいて培地を検出し、
前記培地の中から培養物を識別することを特徴とする培養物の製造方法。
【請求項9】
前記観察画像を、色相、彩度及び明度により表現されるHSV色空間で取得し、
前記観察画像からHSV色空間内で色相及び明度に依存しない明度のみに基づく画像を生成して当該明度の画像内において前記培養容器内での前記所定のマーク画像の明度を前記培地の輪郭を除く部分の画像の明度に同調させることにより、前記所定のマークの写り込みを除去した画像を得ることを特徴とする請求項8に記載の培養物の製造方法。
【請求項10】
識別された培養物を所定の選別基準に基づいて選別し、
選別された培養物を前記培養容器中から採取して保存することを特徴とする請求項7〜9のいずれかに記載の培養物の製造方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図5】
image rotate


【公開番号】特開2012−42327(P2012−42327A)
【公開日】平成24年3月1日(2012.3.1)
【国際特許分類】
【出願番号】特願2010−183604(P2010−183604)
【出願日】平成22年8月19日(2010.8.19)
【出願人】(000004112)株式会社ニコン (12,601)
【Fターム(参考)】