説明

培養物観察の画像処理方法、画像処理プログラム及び画像処理装置、並びに培養物の製造方法

【課題】培養容器の中から培地ドロップの領域を精度よく識別可能な画像処理方法を提供する。
【解決手段】所定の照明パターンを有する照明光により培養物の培養に用いられる培地ドロップが収容された培養容器内を透過照明して、該透過照明された培養容器内を撮像装置により撮影した観察画像を取得し(ステップS1)、培養容器内に照明パターンが写り込んだ観察画像に基づいて、培養容器中における培地ドロップの領域を識別し(ステップS2〜S3)、観察画像を取得する際、培養容器内に写り込む照明パターンの形態が互いに異なる複数の観察画像を取得し、培地を識別する際、当該複数の観察画像に基づいて、培養容器中における培地ドロップの領域を識別する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、培養容器の中から培養物の培養に用いられる培地の領域を検出するための画像処理手段、及びこれを利用した培養物の製造方法に関する。
【背景技術】
【0002】
近年、生殖補助医療技術(ART)の発展に伴い、体外受精による受精卵を培養しながらその生育状態を観察することが行われている。受精卵などの培養物の状況を観察する装置の例として、培養顕微鏡が挙げられる(例えば、特許文献1を参照)。培養顕微鏡は、受精卵の培養に好適な環境を形成する培養装置(インベキュータ)と、培養装置に収容された培養容器内の受精卵の状態を顕微観察する顕微観察系とを備え、予め設定された一定時間ごとに受精卵の観察画像を取得し、ユーザが受精卵を目視により認識した上で、受精卵の生育状態の観察、記録、管理等を自動で行うことができるように構成される。
【0003】
このような装置において、培養容器中の受精卵の成育状態を観察する場合、始めに観察対象の受精卵を検出しなければならないが、その検出手順としては大略的に、培養容器全体を撮影してこの全体観察画像に基づいて培養容器内からミネラルオイルに浸された培地(培地ドロップ)を検出した後で、この培地ドロップ内で観察視野位置を変えつつ培地ドロップの顕微観察画像を複数取得し、この顕微観察画像を基に培地ドロップ内に1つ(または複数個)ずつ注入された観察対象の受精卵を他の異物と判別して検出する、という流れになっている。このように受精卵を認識するためには一般に高倍視野での顕微観察が必要であるところ、観察倍率が高くなるにつれて観察視野(観察範囲)が狭くなってくるため、顕微観察のみでは広い観察範囲に対して多数の顕微観察画像を撮影する必要がある。そのため、前述のように顕微観察による受精卵の検出に先立って、マクロ観察により培地ドロップの領域を事前に検出できれば、その後に顕微観察において観察画像を取得する領域も自ずと限定され、観察時間全体を短縮化することが可能になる。
【0004】
受精卵の自動観察では、培地ドロップの探査領域を限定するための方法として、探査領域を機械的に指定する方法と、培養環境のチェックのために加えられているフェノールの着色により、培地ドロップ領域を色分離する方法がある。ところが、探査領域を機械的に指定する方法では、ユーザが手動で培地ドロップをディッシュ内に作り込むため、初期の探査領域をほぼディッシュ全面に指定して探査を行うしかなく、領域限定の効果が得られない。また、色分離する方法では、効率良く探査領域を限定できるものの、着色後の色の濃さは環境によって未知であり、ユーザによっては、フェノールなしで観察等を行うこともある。また、ディッシュの上面あるいは下面にペンで書き込みを行うユーザも少なくなく、色分離による抽出では、色の濃さや書き込みの有無によって、培地ドロップ領域の検出精度が変化してしまう。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2004−229619号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
そこで、広い観察視野での観察画像から、色情報に依らずに、培地ドロップ領域を抽出するための方策が望まれている。
【0007】
本発明は、このような問題に鑑みてなされたものであり、培養容器の中から培地の領域を精度よく識別可能な培養物観察の画像処理方法、画像処理プログラム及び画像処理装置、並びに培養物の製造方法を提供することを目的とする。
【課題を解決するための手段】
【0008】
このような目的達成のため、本発明を例示する態様に従えば、所定の照明パターンを有する照明光により培養物の培養に用いられる培地が収容された培養容器内を透過照明して、前記透過照明された前記培養容器内を撮像装置により撮影した観察画像を取得し、前記培養容器内に前記照明パターンが写り込んだ前記観察画像に基づいて、前記培養容器中における前記培地を識別し、前記観察画像を取得する際、前記培養容器内に写り込む前記照明パターンの形態が互いに異なる複数の観察画像を取得し、前記培地を識別する際、前記複数の観察画像に基づいて、前記培養容器中における前記培地を識別することを特徴とする培養物観察の画像処理方法が提供される。
【0009】
また、本発明を例示する態様に従えば、コンピュータにより読み取り可能であり、撮像装置により撮影された画像を取得して画像処理する画像処理装置として前記コンピュータを機能させるための画像処理プログラムであって、所定の照明パターンを有する照明光により培養物の培養に用いられる培地が収容された培養容器内を透過照明して、前記透過照明された前記培養容器内を撮像装置により撮影した観察画像を取得するステップと、前記培養容器内に前記照明パターンが写り込んだ前記観察画像に基づいて、前記培養容器中における前記培地を識別するステップと、前記培地の識別結果を出力するステップとを、前記コンピュータに実現させ、前記観察画像を取得するステップにおいて、前記培養容器内に写り込む前記照明パターンの形態が互いに異なる複数の観察画像を取得し、前記培地を識別するステップにおいて、前記複数の観察画像に基づいて、前記培養容器中における前記培地を識別することを特徴とする培養物観察の画像処理プログラムが提供される。
【0010】
また、本発明を例示する態様に従えば、所定の照明パターンを有する照明光により培養物の培養に用いられる培地が収容された培養容器内を透過照明して、前記透過照明された前記培養容器内を撮像装置により撮影した観察画像を取得する入力部と、前記入力部で取得された前記培養容器内に前記照明パターンが写り込んだ前記観察画像に基づいて、前記培養容器中における前記培地を識別する画像解析部と、前記画像解析部による前記培地の識別結果を出力する出力部とを備え、前記入力部は、前記培養容器内に写り込む前記照明パターンの形態が互いに異なる複数の観察画像を取得し、前記画像解析部は、前記複数の観察画像に基づいて、前記培養容器中における前記培地を識別することを特徴とする培養物観察の画像処理装置が提供される。
【0011】
また、本発明を例示する態様に従えば、所定の環境条件で培養物を培養し、前記培養物が培養される培地が収容された培養容器中から、本発明に係る画像処理装置を用いて前記培地を識別することを特徴とする培養物の製造方法が提供される。
【0012】
また、本発明を例示する態様に従えば、所定の環境条件で培養物を培養し、前記培養物が培養される培地が収容された培養容器内を所定の照明パターンを有する照明光により透過照明して、前記透過照明された前記培養容器内を撮像装置により撮影した観察画像を取得し、前記培養容器内に前記照明パターンが写り込んだ前記観察画像に基づいて、前記培養容器中における前記培地を識別し、前記観察画像を取得する際、前記培養容器内に写り込む前記照明パターンの形態が互いに異なる複数の観察画像を取得し、前記培地を識別する際、前記複数の観察画像に基づいて、前記培養容器中における前記培地を識別することを特徴とする培養物の製造方法が提供される。
【発明の効果】
【0013】
本発明によれば、培養容器の中から培地の領域を精度よく識別することができる。
【図面の簡単な説明】
【0014】
【図1】画像処理プログラムの概要を示すフローチャートである。
【図2】本発明の適用例として示す培養観察システムの概要構成図である。
【図3】上記培養観察システムのブロック図である。
【図4】(A)は培養容器の平面図であり、(B)はディッシュを示す斜視図である。
【図5】(A)は第1照明部の概要構成図であり、(B)は第1照明部に表示されたストライプパターンを示す模式図である。
【図6】合成画像を生成する過程を示す模式図である。
【図7】画像処理装置の概要構成を示すブロック図である。
【図8】画像処理プログラムにおけるステップS2の詳細を示すフローチャートである。
【図9】受精卵の製造方法の概要を示すフローチャートである。
【図10】第1照明部の変形例を示す概要構成図であり、(A)は培養容器が下方位置に位置する状態を示し、(B)は培養容器が上方位置に位置する状態を示す。
【発明を実施するための形態】
【0015】
以下、図面を参照して本発明の好ましい実施形態について説明する。本実施形態に係る画像処理装置を適用したシステムの一例として、培養観察システムの概要構成図及びブロック図を、それぞれ図2及び図3に示す。
【0016】
培養観察システムBSは、大別的には、筐体1の上部に設けられた培養室2と、複数の培養容器10を収容保持する棚状のストッカー3と、培養容器10内の試料を観察する観察ユニット5と、培養容器10をストッカー3と観察ユニット5との間で搬送する搬送ユニット4と、システムの作動を統括的に制御する制御ユニット6と、画像表示装置を備えた操作盤7などから構成される。
【0017】
培養室2は、培養環境を形成する部屋であり、環境変化やコンタミネーションを防止するためサンプル投入後は密閉状態に保持される。培養室2に付随して、培養室2内の温度を昇温・降温させる温度調整装置21、湿度を調整する加湿器22、CO2ガスやN2ガス等のガスを供給するガス供給装置23、培養室2全体の環境を均一化させるための循環ファン24、培養室2の温度や湿度、二酸化炭素濃度等を検出する環境センサ25などが設けられている。各機器の作動は制御ユニット6により制御され、培養室2の温度や湿度、二酸化炭素濃度等により規定される培養環境が、操作盤7において設定された培養条件に合致した状態に維持される。
【0018】
ストッカー3は、図2における紙面直行の前後方向、及び上下方向にそれぞれ複数に仕切られた棚状に形成されている。各棚にはそれぞれ固有の番地が設定されており、例えば前後方向をA〜C列、上下方向を1〜7段とした場合に、A列5段の棚がA−5のように設定される。
【0019】
培養容器10は、培養物の種類や目的等に応じてフラスコやディッシュ、ウェルプレートなど適宜なものが選択され、本実施形態では、図4(A)に示すように、透光性の材質で形成された直径約35mmの5つのディッシュ11(容器11a及び蓋11bからなる)と、ディッシュ11を保持するホルダ12とを備えた構成を例示しており、図4(B)に示すように、培養物たる受精卵Jは、pHに応じて変色するフェノールレッドなどのpH指示薬が入った培地ドロップDとともに各ディッシュ11に注入される。ディッシュ11の底面には、ピペット等により滴下された20[μl]程度の培地ドロップDが1〜複数個形成されており(図4(B)では3個を図示)、培地ドロップDはディッシュ11内において無色透明のミネラルオイルOによって浸された状態となっている。それぞれの培地ドロップD内には、例えば対外受精のために同一母体から同時期に採卵された受精卵Jが1個(または複数個)ずつ挿入されている。また、培養容器10にはコード番号が付与され、ストッカー3の指定番地に対応づけて収容される。
【0020】
搬送ユニット4は、培養室2の内部に上下方向に移動可能に設けられてZ軸駆動機構により昇降されるZステージ41、Zステージ41に前後方向に移動可能に取り付けられてY軸駆動機構により前後移動されるYステージ42、Yステージ42に左右方向に移動可能に取り付けられてX軸駆動機構により左右移動されるXステージ43などからなり、Xステージ43の先端側に培養容器10を持ち上げ支持する支持アーム45が設けられている。搬送ユニット4は、支持アーム45がストッカー3の全棚と観察ユニット5との間を移動可能な移動範囲を有して構成される。X軸駆動機構、Y軸駆動機構、Z軸駆動機構は、例えばボールネジとエンコーダ付きのサーボモータにより構成され、その作動が制御ユニット6により制御される。
【0021】
観察ユニット5は、試料台15の下側から試料を照明する第1照明部51、顕微観察系の光軸に沿って試料台15の上方から試料を照明する第2照明部52、下方から試料を照明する第3照明部53、試料のマクロ観察を行うマクロ観察系54、試料のミクロ観察を行う顕微観察系55、及び画像処理装置100(図2を参照)などから構成される。試料台15は、透光性を有する材質で構成されるとともに観察領域に透明な窓部16が設けられている。また、試料台15は、制御ユニット6からの作動制御によりXY方向(水平面内方向)およびZ方向(上下方向)に移動可能な微細駆動ステージからなり、その上面部に載置された培養容器10をXY方向に移動させることにより、培養容器10をマクロ観察系54の光軸上へ挿入したり、顕微観察系55の光軸上へ挿入したりすることが可能になっている。
【0022】
第1照明部51は、下部フレーム1b側に設けられたバックライト付きの透過型液晶パネルからなり、試料台15の下側から培養容器10全体を透過照明する。なお、透過型液晶パネルである第1照明部51は、図5(A)および(B)に示すように、照明パターンとして明部と暗部とを繰り返し配置したバイナリパターン(本実施形態では、周期的な縞模様を有するストライプパターンとする)を表示する。この状態で、第1照明部51上にはストライプ状の面光源が形成される。
【0023】
面光源のストライプパターンは、培地ドロップDの直径(例えば、6〜7mm)と比較して十分に微細であり、培地ドロップDの直径サイズ内に少なくとも2周期分のストライプを配している。このストライプパターンの周期(面光源のストライプピッチ)は、例えば、1mm程度に設定される。なお、面光源のストライプピッチは、制御ユニット6によって制御可能であり、所定範囲内(例えば、0.5〜2mmの範囲内)で可変である。また、ストライプパターンの位相も制御ユニット6の制御によって可変である。
【0024】
第2照明部52は、LED等の光源と、位相リングやコンデンサレンズ等からなる照明光学系とを有して培養室2に設けられており、試料台15の上方から顕微観察系55の光軸に沿って培養容器10中の試料を照明する。第3照明部53は、それぞれ落射照明観察や蛍光観察に好適な波長の光を射出する複数のLEDや水銀等の光源と、各光源から射出された光を顕微観察系55の光軸に重畳させるビームスプリッタや蛍光フィルタ等からなる照明光学系とを有して、培養室2の下側に位置する下部フレーム1b内に配設されており、試料台15の下方から顕微観察系55の光軸に沿って培養容器10中の試料を照明する。
【0025】
マクロ観察系54は、観察光学系54aと、この観察光学系54aにより結像された試料の像を撮影するCCDカメラ等の撮像装置54cとを有し、第1照明部51の上方に位置して培養室2内に設けられている。マクロ観察系54は、第1照明部51によりバックライト照明された試料(培養容器10)の透過光の像を撮像して全体観察画像(マクロ画像)をカラー画像として取得する。
【0026】
顕微観察系55は、対物レンズや中間変倍レンズ、蛍光フィルタ等からなる観察光学系55aと、観察光学系55aにより結像された試料の像を撮影する冷却CCDカメラ等の撮像装置55cとを有し、下部フレーム1bの内部に配設されている。上記の第2照明部52と顕微観察系55とにより位相差観察用の顕微鏡が構成される。対物レンズ及び中間変倍レンズは、それぞれ複数設けられるとともに、詳細図示を省略するレボルバやスライダなどの変位機構を用いて複数倍率に設定可能に構成されており、初期選択のレンズ設定に応じて、本実施形態では少なくとも低倍観察用と高倍観察用との2種類の倍率の間で変倍可能なように切り換えられる。顕微観察系55は、第2照明部52により照明された試料の透過光による位相差画像や、第3照明部53により照明されて試料が発する蛍光による蛍光画像など、培養容器10内の試料を顕微鏡観察した顕微観察画像(ミクロ画像)を撮影する。
【0027】
画像処理装置100は、マクロ観察系54の撮像装置54c及び顕微観察系55の撮像装置55cから入力された信号をA/D変換するとともに、各種の画像処理を施して全体観察画像または顕微観察画像の画像データを生成する。また、画像処理装置100は、これらの観察画像(全体観察画像及び顕微観察画像)の画像データに対して画像合成や画像解析を施し、培地ドロップDや受精卵Jの識別等を行う。画像処理装置100は、具体的には、次述する制御ユニット6のROMに記憶された画像処理プログラムが実行されることにより構築される。なお、この画像処理装置100については、後に詳述する。
【0028】
制御ユニット6は、処理を実行するCPU61、培養観察システムBSの制御プログラムや制御データ等が設定記憶されたROM62、観察条件や画像データ等を一時記憶するRAM63などを有し、培養観察システムBSの作動を制御する。そのため、図3に示すように、培養室2、搬送装置4、観察ユニット5、操作盤7の各構成機器が制御ユニット6に接続されている。RAM63には、観察プログラムに応じた培養室2の環境条件や、観察スケジュール、観察ユニット5における観察種別や観察位置、観察倍率等が設定され記憶される。また、RAM63には、観察ユニット5により撮影された画像データを記録する画像データ記憶領域が設けられ、培養容器10のコード番号や撮影日時等を含むインデックス・データと画像データとが対応付けて記録される。
【0029】
操作盤7には、キーボードやスイッチ等の入出力機器が設けられた操作パネル71、操作画面や画像データ等を表示する表示パネル72が設けられ、操作パネル71において観察プログラムの設定や条件選択、動作指令等の入力が行われる。通信部65は有線または無線の通信規格に準拠して構成されており、この通信部65に外部接続されるコンピュータ等との間でデータの送受信が可能になっている。
【0030】
このように概要構成される培養観察システムBSでは、操作盤7において設定された観察プログラムの設定条件に従い、CPU61がROM62に記憶された制御プログラムに基づいて各部の作動を制御するとともに、培養容器10内の試料の撮影を自動的に実行する。すなわち、操作パネル71に対するパネル操作(または通信部65を介したリモート操作)によって観察プログラムがスタートされると、CPU61が、RAM63に記憶された環境条件の各条件値を読み込むとともに、環境センサ25から入力される培養室2の環境状態を検出し、条件値と実測値との差異に応じて温度調整装置21、加湿器22、ガス供給装置23、循環ファン24等を作動させて、培養室2の温度や湿度、二酸化炭素濃度などの培養環境についてフィードバック制御が行われる。
【0031】
また、CPU61は、RAM63に記憶された観察条件を読み込む、観察スケジュールに基づいて搬送ユニット4のX,Y,Zステージ41,42,43を作動させてストッカー3から観察対象の培養容器10を観察ユニット5の試料台15に搬送して、観察ユニット5による観察を開始させる。例えば、観察プログラムにおいて設定された観察がマクロ観察である場合には、搬送ユニット4によりストッカー3から搬送してきた培養容器10をマクロ観察系54の光軸上に位置決めして試料台15に載置し、第1照明部51の光源を点灯させて培養容器10の下方から照明光(透過光)を照射し、このバックライト照明された培養容器10の上方から撮像装置54cにより全体観察像を撮影する。撮像装置54cから制御ユニット6に入力された信号は、画像処理装置100により処理されて全体観察画像が生成され、その画像データが撮影日時等のインデックス・データなどとともにRAM63の画像データ記憶領域に記憶される。
【0032】
なおこのとき、図6(A)に示すように、撮像装置54cにより撮影取得された全体観察画像には、面光源のストライプパターンが反映されている。図4(B)および図5(A)に示すように、培地ドロップDとミネラルオイルOとの界面が曲面になっているため、培地ドロップDは通過光束に対してレンズ作用を及ぼす。このため、図6(A)に示すように、全体観察画像のうち培地ドロップDに対応した領域に現れるストライプパターンのストライプピッチは、他の領域に現れるストライプパターンのストライプピッチよりも狭くなる。その結果、全体観察画像において培地ドロップDの像が可視化される。
【0033】
またこのとき、透過型液晶パネルである第1照明部51は、制御ユニット6の作動制御により発光位置を変えて、ストライプパターンの位相を(例えば、1/4周期ずつ)変化させることで、培養容器10を予め設定された複数種のストライプパターン(例えば、1/4周期ずつ位相が異なる4種類のストライプパターン)で照明し、マクロ観察系54の撮像装置54cは、第1照明部51によりいずれかのストライプパターンで照明された培養容器10の全体観察像を、当該設定された全てのストライプパターンについてそれぞれ撮影する。そのため、複数種のストライプパターンにそれぞれ対応する複数の画像データが、RAM63の画像データ記憶領域にそれぞれ記憶されることになる。
【0034】
また、観察プログラムにおいて設定された観察が、培養容器10内の特定位置の試料のミクロ観察である場合には、搬送ユニット4により搬送してきた培養容器10内の特定位置を顕微観察系55の光軸上に位置決めして試料台15に載置し、第2照明部52または第3照明部53の光源を点灯させて、透過照明、落射照明、蛍光による顕微観察像を撮像装置55cに撮影させる。撮像装置55cにより撮影されて制御ユニット6に入力された信号は、画像処理装置100により処理されて顕微観察画像(位相差画像、蛍光画像等)が生成され、その画像データが撮影日時等のインデックス・データなどとともにRAM63の画像データ記憶領域に記憶される。
【0035】
CPU61は、上記のような全体観察像の撮影や顕微観察像の撮影を、観察プログラムに設定された観察スケジュールに基づいて順次実行する。RAM63に記憶された画像データは、操作パネル71から入力される画像表示指令に応じてRAM63から読み出され、例えば指定時刻の全体観察画像や顕微観察画像、画像解析の解析結果などが表示パネル72に表示される。
【0036】
さて、このように構成される培養観察システムBSにおいて、培養容器10(ディッシュ11)中の受精卵Jの生育状態を観察する場合、培養容器10内から観察対象の受精卵を検出しなければならないが、その一連の検出手順としては大略的に、マクロ観察系54により培養容器10を撮影して全体観察画像(マクロ画像)を取得し、この全体観察画像から培地ドロップDを検出した後で、この培地ドロップDを顕微観察系55により撮影し、この培地ドロップDに1つ(または複数個)ずつ注入された観察対象の受精卵を他の異物と判別して受精卵を認識する、という流れになっている。受精卵を検出するためには一般に高倍視野での顕微観察が必要であるところ、観察倍率が高くなるにつれてその観察視野(観察範囲)が狭くなってくるため、培養容器10内の広い観察範囲に対して多数の画像を撮影取得する必要がある。そのため前述のように、顕微観察による受精卵の検出に先立って、マクロ観察により受精卵が含まれる培地ドロップDの領域を予め検出できれば、その後に顕微観察において高倍画像を取得する領域も限定され、観察時間全体を短縮化することが可能になる。
【0037】
しかしながら、培地ドロップDの色は赤色から無色透明まであり、全体観察画像(マクロ画像)を用いて、色味や輝度の濃淡から培地ドロップDの領域を検出するのは容易ではない。特に、無色透明の培地ドロップDでは、培地ドロップDの領域を目視で確認することすら難しくなるため、通常の全体観察画像に対して円検出を行うだけでは精度の良い検出は難しい。こうした無色透明の培地ドロップDについてはまず可視化することが必要であり、その方法の一つとして、ディッシュ11の背面(底面)に何らかのパターンを置くことが考えられる。ディッシュ11の背面に置かれたパターンは、培地ドロップDのレンズ効果で変調を受けるため、培地ドロップDの周囲に写るパターンと培地ドロップD内に写るパターンのずれから、培地ドロップDとミネラルオイルOとの境界を目視で識別できるようになる。これと同様の識別を観察装置に行わせ、精度良く培地ドロップDの検出を行うには、目視による検出をモデル化し、より検出に適したパターンを探す必要がある。
【0038】
本実施形態では、培地ドロップDの境界部におけるパターンの変調を、パターンの断絶による輝度値の急激な変化と考え、微分フィルタによる検出を行う。また、検出に適した照明パターンとしてストライプパターンを用いる。ストライプパターンを用いると、培地ドロップD内外でのパターンの変化は図6(A)のようになるので、ストライプパターンが伸びる方向への輝度微分値が大きな値を示す領域を培地ドロップDの境界部として抽出できる。さらに、ストライプパターンの位相をずらした複数枚の全体観察画像を用意できれば、図6(A)に示す全体観察画像Gに対してそれぞれ微分処理を行い、各微分画像をそれぞれ重ね合わせることにより、図6(B)に示すように、培地ドロップDの境界部(輪郭)を広範囲で連続的に識別可能な合成画像GXを得ることができる。
【0039】
微分画像の合成画像GXを用いた培地ドロップDの領域の検出(識別)は、培地ドロップDが一般に円形状に形成されるという特徴を利用して、所定の画像処理方法により行われる。例えば、合成画像GXからハフ変換により円の検出を行うことで、培地ドロップDの領域を検出(識別)することができる。また例えば、合成画像GXの全点について極座標のθ方向に積分を行って、所定の半径範囲でピークを示す点を抽出ことにより、円形状の抽出を行うことで、培地ドロップDの領域を検出(識別)するようにしてもよい。また例えば、いわゆるレベルセット法(動的輪郭法)を用いて、合成画像GXから円形状の抽出を行うことで、培地ドロップDの領域を検出(識別)するようにしてもよい。なおこのとき、画像に写し込まれる培地ドロップD(例えば、20μl程度の直径約6〜7mm)の像の大きさは、画像取得条件(観察倍率等)によりほぼ決まっていることから、培地ドロップDの候補となり得るオブジェクト(抽出した円形状の輪郭に囲まれた領域)の面積を公知の画像処理手法により算出し、面積による判別基準として定めた設定範囲(上限値及び下限値)から逸脱しているものを除外する。
【0040】
培地ドロップDの領域を検出(識別)するための画像処理は、培養観察システムBSの画像処理装置100において実行される。図7に示すように、画像処理装置100は、撮像装置54cにより観察対象の培養容器10が撮影された全体観察画像(マクロ画像)を取得して記憶する画像記憶部(入力部)110と、画像記憶部110に保存されている複数の照明パターンで撮影取得された全体観察画像に対してそれぞれ微分処理を行い、各微分画像をそれぞれ重ね合わせて合成画像を生成する画像合成部120と、画像合成部120により生成された合成画像に基づいて培地ドロップDを検出する画像解析部130と、画像合成部120により生成された合成画像や画像解析部130により解析された判断結果を外部に出力する出力部140とを備え、画像合成部120及び画像解析部130により解析された培地ドロップDの画像や検出結果を、例えば表示パネル72に出力して表示させるように構成される。画像処理装置100は、ROM62に予め設定記憶された画像処理プログラムGPがCPU61に読み込まれ、CPU61によって画像処理プログラムGPに基づく処理が順次実行されることによって構成される。
【0041】
以上のように構成される画像処理装置100により、培養物観察の画像処理プログラムGPに基づいて実行される画像処理方法について、図1に示すフローチャートを参照しながら説明する。前述したように、培養観察システムBSでは、観察プログラムにおいて設定された観察条件に従って、所定時間ごとに指定された培養容器10内の観察が行われる。具体的には、CPU61は搬送ユニット4の各ステージを作動させてストッカー3から観察対象の培養容器10を観察ユニット5に搬送(本実施形態ではマクロ観察系54の光軸上に配置)し、マクロ観察系54の撮像装置54cによりマクロ画像を撮影させる。
【0042】
画像処理装置100は、先ず始めに撮像装置54cにより撮影された全体観察画像(マクロ画像)をステップS1において取得し、この取得した画像を、培養容器10のコード番号や観察位置、観察時刻などのインデックス・データとともに画像記憶部110に保存する。なおこのとき、予め設定された複数種のストライプパターン(例えば、1/4周期ずつ位相が異なる4種類のストライプパターン)にそれぞれ対応する複数の画像データが、画像記憶部110にそれぞれ保存される。
【0043】
ステップS2では、画像合成部120において、画像記憶部110に保存されている複数種のストライプパターンで撮影取得された全体観察画像に対してそれぞれ微分処理を行い、各微分画像をそれぞれ重ね合わせて合成画像を生成する。
【0044】
ここで、ステップS2における詳細なフローについて、図8を追加参照しながら説明する。まず、画像合成部120は、第1の位相のストライプパターンで照明された第1の全体観察画像(ストライプ画像)を画像記憶部110から取得する(ステップS21a)。次に、微分フィルタを用いて第1の全体観察画像に対して微分処理を行い(ステップS22a)、第1の全体観察画像に基づいた第1の微分画像を生成する(ステップS23a)。
【0045】
同様に、第1の位相と異なる第2の位相のストライプパターンで照明された第2の全体観察画像(ストライプ画像)を画像記憶部110から取得するとともに(ステップS21b)、第2の全体観察画像に対して微分処理を行い(ステップS22b)、第2の全体観察画像に基づいた第2の微分画像を生成する(ステップS23b)。また同様に、第1及び第2の位相と異なる第3の位相のストライプパターンで照明された第3の全体観察画像(ストライプ画像)を画像記憶部110から取得するとともに(ステップS21c)、第3の全体観察画像に対して微分処理を行い(ステップS22c)、第3の全体観察画像に基づいた第3の微分画像を生成する(ステップS23c)。また同様に、第1〜第3の位相と異なる第4の位相のストライプパターンで照明された第4の全体観察画像(ストライプ画像)を画像記憶部110から取得するとともに(ステップS21d)、第4の全体観察画像に対して微分処理を行い(ステップS22d)、第4の全体観察画像に基づいた第4の微分画像を生成する(ステップS23d)。
【0046】
互いに照明パターンの位相が異なる第1〜第4の全体観察画像に基づいた第1〜第4の微分画像を生成すると、画像合成部120は、第1〜第4の微分画像をそれぞれ重ね合わせ(ステップS24)、各微分画像の合成画像を生成する(ステップS25)。このように合成画像を生成すると、次のステップS3へ進む。
【0047】
続いて、ステップS3では、画像解析部130において、画像合成部120により生成された合成画像から、前述した円検出の手法を用いて、ディッシュ11内における培地ドロップDの領域を検出(識別)する。そして、ステップS4では、画像解析部130により検出された培地ドロップDの領域を示す検出結果が出力部140から出力される。
【0048】
出力部140から出力された検出結果は、操作盤7の表示パネル72に表示され、全体観察画像中に、培地ドロップDの領域を示す輪郭を表示したり、培地ドロップDであることを示す記号「D」を表示させたり、培地ドロップDの輪郭を他の領域と異なる色相や輝度で表示する等が例示される。
【0049】
なお、出力部140から出力される検出データを、通信部65を介して外部接続されるコンピュータ等に送信して、同様の画像を表示させたり、培地ドロップDの色変化(pH変化)や受精卵Jの生育状態を観察するための基礎データとして用いたりするように構成することができる。
【0050】
これにより、ユーザは、表示パネル72に表示された画像や外部接続されたコンピュータ等のモニタに表示された画像を参照することにより、培地ドロップDを直ちに認識することができ、培地ドロップDの領域についてのみ顕微観察系55による顕微観察画像を取得して(背景のみの無用な撮影を回避して)、培地ドロップDの中から目的とする受精卵Jを効率的に検出することができる。
【0051】
次に、培養物たる受精卵の製造方法について図9を追加参照して概要説明する。まず、ステップS110において、受精卵(培養物)を培地ドロップDと共に培養容器10(ディッシュ11)内に注入し、この培養容器10を受精卵の培養に適した環境条件に維持された培養室2内に収納して、当該環境条件の下で受精卵を培養する。なお、この環境条件は、制御ユニット6において培養室2内の温度や湿度、二酸化炭素濃度等が受精卵の培養環境に合わせて調節される。
【0052】
ステップS120では、培養容器10内の受精卵観察の前段階として、前述した画像処理のステップS1〜S4(図1を参照)を実行して、ディッシュ11内から培地ドロップDの領域を識別する。次いで、ステップS130では、第2照明部52を用いて顕微観察系55により培地ドロップDの顕微観察画像(例えば位相差画像)を撮影し、この観察画像に写し込まれる複数のオブジェクトの中から受精卵を識別する。このとき培養容器10(ディッシュ11)内において、1個の培地ドロップDに対して受精卵が各1個(または複数個)ずつ識別される。
【0053】
続いて、ステップS140では、培地ドロップDごとに識別された複数の受精卵を所定の選別基準に基づいて選別する。受精卵の選別基準としては、卵割のタイミングや卵割球の形態等に基づいて受精卵のグレードが判定されて、この選別基準を満足する良好なものが選別される。例えば、良好な生育状態を経たものとして、卵内全ての卵細胞において卵割の起きたタイミングが同時期であるか否かに基づいて行われる。すなわち、正常な受精卵の卵割については、同じ世代の各細胞はほぼ同時期のタイミングで分裂し、胚内には同じ世代の細胞のみが存在する。一方、異常な受精卵の卵割については、同じ世代の細胞であっても分裂するタイミングがずれて、胚内には異なる世代の細胞が混在してしまう。
【0054】
ステップS150では、上記選別した受精卵(胚盤胞と称される状態にまで成長した良好な受精卵)を採取して、例えばマイナス196℃の液体窒素の中で凍結保存する。そして、この受精卵(胚盤胞)は所定の周期のときに母体へ戻される(胚移植される)。なお、培養される受精卵は、ヒト、ウシ、ウマ、ブタ、マウス等の受精卵であってもよい。また、受精卵の保存は胚盤胞の状態で保存してもよいし、分割期(4細胞期胚、8細胞期胚)の状態で保存してもよい。
【0055】
以上説明したように、本実施形態に係る画像処理プログラムGP、この画像処理プログラムGPが実行されることにより構成される画像処理方法及び画像処理装置100、並びに培養物の製造方法によれば、培地ドロップDの領域を識別する際、培養容器10内に写り込む照明パターン(ストライプパターン)の形態が互いに異なる複数の全体観察画像に基づいて、培養容器10内(ディッシュ11内)における培地ドロップDの領域を識別するため、例えば、培地ドロップDの境界部(輪郭)を広範囲で連続的に識別可能な合成画像を生成することで、色情報に依らずに、培養容器10の中から培地ドロップDの領域を精度よく識別することが可能になる。
【0056】
なおこのとき、複数の全体観察画像に対してそれぞれ微分処理を行った複数の微分画像を重ね合わせて当該微分画像の合成画像を生成し、この合成画像から円の検出を行うことで、培養容器10内(ディッシュ11内)における培地ドロップDの領域を識別するようにすれば、培地ドロップDの境界部(輪郭)を広範囲で連続的に識別可能な合成画像を確実に生成することができ、培養容器10の中から培地ドロップDの領域をより精度よく識別することが可能になる。
【0057】
また、照明パターンとして周期的な縞模様を有するストライプパターンを用いることで、培地ドロップDの領域を識別するための画像処理演算を容易にすることができる。
【0058】
なお、上述の実施形態において、またこのとき、透過型液晶パネルである第1照明部51によりストライプパターンの位相を変化させることで、培養容器10内に写り込む照明パターン(ストライプパターン)の形態が互いに異なる複数の全体観察画像を取得しているが、これに限られるものではない。例えば、パンフォーカス撮像系内で培養容器10(ディッシュ11)を光軸方向に移動させることにより、培地ドロップDのレンズ効果(合成倍率の変化)を利用して培養容器10内に写り込む照明パターンを変化させた複数の全体観察画像を取得するようにしてもよい。
【0059】
そこで、第1照明部の変形例について、図10を参照しながら説明する。変形例に係る第1照明部151は、下部フレーム1b側に設けられたバックライト付きの透過型液晶パネル152と、透過型液晶パネル152上に位置する培養容器10(ディッシュ11)をマクロ観察系54の光軸方向に移動させるアーム機構(図示せず)とからなり、透過型液晶パネル152により試料台15の下側から培養容器10全体を透過照明する。透過型液晶パネル152は、上述の実施形態で述べた第1照明部51のものと同じ構成であり、詳細な説明を省略するが、照明パターンとして明部と暗部とを繰り返し配置したバイナリパターン(ストライプパターン)を表示する。なお、透過型液晶パネル152に限らず、LED等の面光源の上面に、照明パターンとしてストライプパターンを形成するパターン形成部材を配設した構成であってもよい。
【0060】
アーム機構(図示せず)は、図10(A)に示すように培養容器10(ディッシュ11)の底部が透過型液晶パネル152上に接する下方位置と、図10(B)に示すように培養容器10の底部が透過型液晶パネル152から離れた上方位置との間で、培養容器10をマクロ観察系54の光軸に沿って上下移動させることができるように構成される。なお、培養容器10の移動範囲は、前方深度内で背景のパターンが一次結像する範囲から、背景のパターンより後方で虚像が生じる範囲に設定されることが好ましい。
【0061】
ところで、透過型液晶パネル152からの照明光が培養容器10(ディッシュ11)を透過するとき、通常ミネラルオイルOの屈折率が1.44程度、培地ドロップDの屈折率が1.33程度なので、培地ドロップDは負レンズとして作用する。そのため、アーム機構(図示せず)により培養容器10(ディッシュ11)を上述の下方位置から上方位置まで移動させると、培地ドロップDのレンズ効果によりマクロ観察系54の合成倍率が培地ドロップDの内外で変化するため、培養容器10内に写り込むストライプパターンの形態(周期や位相等)を変化させることができる。なお、図10では、簡単のため主光線のみを示し、ミネラルオイルOや培地ドロップDの屈折は無視している。
【0062】
以上のように構成される第1照明部151を用いて、透過型液晶パネル152に照明された培養容器10をマクロ観察系54の光軸に沿って前述の下方位置から上方位置まで移動させて、培地ドロップD(ディッシュ11)と透過型液晶パネル152との間の距離を変化させながら、マクロ観察系54の撮像装置54cにより培養容器10の全体観察像を複数の高さ位置においてそれぞれ撮影すれば、培養容器10内に写り込む照明パターン(ストライプパターン)の形態が互いに異なる複数の全体観察画像を取得することができる。なお、培養容器10の移動に伴って全体観察画像に写る培地ドロップD等の大きさも変化するが、培養容器10の移動量やマクロ観察系54の倍率等に基づいて補正可能である。
【0063】
これにより、上述の実施形態の場合と同様の画像処理方法を適用すれば、色情報に依らずに、培養容器10の中から培地ドロップDの領域を精度よく識別することが可能になる。なおこの場合、ステップS2において、複数の高さ位置で撮影取得された複数の全体観察画像に対してそれぞれ微分処理を行い、各微分画像をそれぞれ重ね合わせて合成画像を生成すればよい。これにより、ステップS3において、ステップS2で生成した合成画像から同様に、前述した円検出の手法を用いて、ディッシュ11内における培地ドロップDの領域を検出(識別)することができる。
【0064】
なお、上述の変形例において、複数の全体観察画像に対してそれぞれ微分処理を行った複数の微分画像を重ね合わせて当該微分画像の合成画像を生成し、この合成画像から円の検出を行うことで、培養容器10内(ディッシュ11内)における培地ドロップDの領域を識別しているが、これに限られるものではない。例えば、全体観察画像同士の差分に基づいて、オプティカルフローにより培養容器10内に写り込むストライプパターンの変化を求め、全体観察画像の中でパターンが変化する部分を培地ドロップDの領域として検出(識別)するようにしてもよい。なお、オプティカルフローによりパターンの変化を推定する方法として、例えば、公知の勾配法やブロックマッチング法を用いることができる。
【0065】
また、上述の変形例において、マクロ観察系54としてテレセントリック光学系を用いた場合には、前方深度内であれば、培養容器10を移動させても培養容器10の画像が変化しないので、全体観察画像同士の差分をとることでディッシュ11内への書き込みを除去することが可能であり、さらにこのとき、単純な差分処理のみで当該書き込みを除去して培地ドロップDの領域を抽出することができ、より好ましい。
【0066】
また、上述の変形例において、培養容器10(ディッシュ11)を透過型液晶パネル152(ストライプパターン)に対してマクロ観察系54の光軸方向に移動させているが、これに限られるものではなく、透過型液晶パネル152(ストライプパターン)を培養容器10(ディッシュ11)に対してマクロ観察系54の光軸方向に移動させるようにしてもよい。なおこの場合、ディッシュ11とマクロ観察系54との相対位置関係が変化しないため、ディッシュ11の上面や下面に書き込みがあったとしても、全体観察画像同士の差分をとることで当該書き込みを除去することが可能であり、培地ドロップDの検出効率に変動が生じなくなる。
【0067】
また、上述の実施形態において、照明パターンとしてストライプパターンを用いているが、これに限られるものではなく、格子状のパターンを用いるようにしてもよい。
【符号の説明】
【0068】
BS 培養観察システム GP 画像処理プログラム
D 培地ドロップ J 受精卵
5 観察ユニット 6 制御ユニット
7 操作盤
10 培養容器 11 ディッシュ
54 マクロ観察系 54c 撮像装置
61 CPU 62 ROM
63 RAM
100 画像処理装置
110 画像記憶部(入力部) 120 画像合成部
130 画像解析部 140 出力部

【特許請求の範囲】
【請求項1】
所定の照明パターンを有する照明光により培養物の培養に用いられる培地が収容された培養容器内を透過照明して、前記透過照明された前記培養容器内を撮像装置により撮影した観察画像を取得し、
前記培養容器内に前記照明パターンが写り込んだ前記観察画像に基づいて、前記培養容器中における前記培地を識別し、
前記観察画像を取得する際、前記培養容器内に写り込む前記照明パターンの形態が互いに異なる複数の観察画像を取得し、
前記培地を識別する際、前記複数の観察画像に基づいて、前記培養容器中における前記培地を識別することを特徴とする培養物観察の画像処理方法。
【請求項2】
前記培地を識別する際、前記複数の観察画像に対してそれぞれ微分処理を行った複数の微分画像を重ね合わせて前記微分画像の合成画像を生成し、前記合成画像から円の検出を行うことで、前記培養容器中における前記培地を識別することを特徴とする請求項1に記載の培養物観察の画像処理方法。
【請求項3】
前記照明パターンが周期的な縞模様を有していることを特徴とする請求項1または2に記載の培養物観察の画像処理方法。
【請求項4】
コンピュータにより読み取り可能であり、撮像装置により撮影された画像を取得して画像処理する画像処理装置として前記コンピュータを機能させるための画像処理プログラムであって、
所定の照明パターンを有する照明光により培養物の培養に用いられる培地が収容された培養容器内を透過照明して、前記透過照明された前記培養容器内を撮像装置により撮影した観察画像を取得するステップと、
前記培養容器内に前記照明パターンが写り込んだ前記観察画像に基づいて、前記培養容器中における前記培地を識別するステップと、
前記培地の識別結果を出力するステップとを、
前記コンピュータに実現させ、
前記観察画像を取得するステップにおいて、前記培養容器内に写り込む前記照明パターンの形態が互いに異なる複数の観察画像を取得し、
前記培地を識別するステップにおいて、前記複数の観察画像に基づいて、前記培養容器中における前記培地を識別することを特徴とする培養物観察の画像処理プログラム。
【請求項5】
前記培地を識別するステップにおいて、前記複数の観察画像に対してそれぞれ微分処理を行った複数の微分画像を重ね合わせて前記微分画像の合成画像を生成し、前記合成画像から円の検出を行うことで、前記培養容器中における前記培地を識別することを特徴とする請求項4に記載の培養物観察の画像処理プログラム。
【請求項6】
前記照明パターンが周期的な縞模様を有していることを特徴とする請求項4または5に記載の培養物観察の画像処理プログラム。
【請求項7】
所定の照明パターンを有する照明光により培養物の培養に用いられる培地が収容された培養容器内を透過照明して、前記透過照明された前記培養容器内を撮像装置により撮影した観察画像を取得する入力部と、
前記入力部で取得された前記培養容器内に前記照明パターンが写り込んだ前記観察画像に基づいて、前記培養容器中における前記培地を識別する画像解析部と、
前記画像解析部による前記培地の識別結果を出力する出力部とを備え、
前記入力部は、前記培養容器内に写り込む前記照明パターンの形態が互いに異なる複数の観察画像を取得し、
前記画像解析部は、前記複数の観察画像に基づいて、前記培養容器中における前記培地を識別することを特徴とする培養物観察の画像処理装置。
【請求項8】
前記画像解析部は、前記複数の観察画像に対してそれぞれ微分処理を行った複数の微分画像を重ね合わせて前記微分画像の合成画像を生成し、前記合成画像から円の検出を行うことで、前記培養容器中における前記培地を識別することを特徴とする請求項7に記載の培養物観察の画像処理装置。
【請求項9】
前記照明パターンが周期的な縞模様を有していることを特徴とする請求項7または8に記載の培養物観察の画像処理装置。
【請求項10】
所定の環境条件で培養物を培養し、
前記培養物が培養される培地が収容された培養容器中から、請求項7から9のいずれか一項に記載の画像処理装置を用いて前記培地を識別することを特徴とする培養物の製造方法。
【請求項11】
所定の環境条件で培養物を培養し、
前記培養物が培養される培地が収容された培養容器内を所定の照明パターンを有する照明光により透過照明して、前記透過照明された前記培養容器内を撮像装置により撮影した観察画像を取得し、
前記培養容器内に前記照明パターンが写り込んだ前記観察画像に基づいて、前記培養容器中における前記培地を識別し、
前記観察画像を取得する際、前記培養容器内に写り込む前記照明パターンの形態が互いに異なる複数の観察画像を取得し、
前記培地を識別する際、前記複数の観察画像に基づいて、前記培養容器中における前記培地を識別することを特徴とする培養物の製造方法。
【請求項12】
前記識別された培地に含まれる培養物を所定の選別基準に基づいて選別し、
前記選別された培養物を前記培養容器中から採取して保存することを特徴とする請求項10または11に記載の培養物の製造方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2012−39930(P2012−39930A)
【公開日】平成24年3月1日(2012.3.1)
【国際特許分類】
【出願番号】特願2010−183664(P2010−183664)
【出願日】平成22年8月19日(2010.8.19)
【出願人】(000004112)株式会社ニコン (12,601)
【Fターム(参考)】