受精卵観察の画像処理方法、画像処理プログラム及び画像処理装置
【課題】受精卵を高速且つ頑健に検出することを可能にした画像処理手段を提供する。
【解決手段】撮像装置により低倍観察視野内に位置する物体を撮影した低倍画像を取得するステップＳ１と、低倍画像に写し込まれた複数の物体を抽出するステップＳ３，４と、低倍画像中に含まれる複数の物体ごとに、受精卵の属性に応じた低倍画像の特徴量を算出し、低倍画像の特徴量に基き受精卵候補を抽出するステップＳ６と、低倍観察視野内の領域を高倍観察視野の大きさに応じた複数の小領域に区分けし、受精卵候補に選別された物体が含まれる小領域についてのみ、順次撮影を行って高倍画像を複数取得するステップＳ７，８と、複数の高倍画像中に含まれる受精卵候補の物体ごとに、受精卵の属性に応じた高倍画像の特徴量を算出し、高倍画像の特徴量に基き受精卵候補の物体の中から受精卵を識別するステップＳ９と、物体に対する識別結果を出力するステップＳ１０とを有する。
【解決手段】撮像装置により低倍観察視野内に位置する物体を撮影した低倍画像を取得するステップＳ１と、低倍画像に写し込まれた複数の物体を抽出するステップＳ３，４と、低倍画像中に含まれる複数の物体ごとに、受精卵の属性に応じた低倍画像の特徴量を算出し、低倍画像の特徴量に基き受精卵候補を抽出するステップＳ６と、低倍観察視野内の領域を高倍観察視野の大きさに応じた複数の小領域に区分けし、受精卵候補に選別された物体が含まれる小領域についてのみ、順次撮影を行って高倍画像を複数取得するステップＳ７，８と、複数の高倍画像中に含まれる受精卵候補の物体ごとに、受精卵の属性に応じた高倍画像の特徴量を算出し、高倍画像の特徴量に基き受精卵候補の物体の中から受精卵を識別するステップＳ９と、物体に対する識別結果を出力するステップＳ１０とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、受精卵観察において取得された観察画像から受精卵と異物とを判別する画像処理手段に関する。
【背景技術】
【０００２】
近年、生殖補助医療技術（ＡＲＴ）の発展に伴い、体外受精による受精卵を培養しながらその生育状態を観察することが行われている。受精卵などの培養物の状況を観察する装置の例として、培養顕微鏡が挙げられる（例えば、特許文献１を参照）。培養顕微鏡は、受精卵の培養に好適な環境を形成する培養装置（インベキュータ）と、培養装置に収容された培養容器内の受精卵の状態を顕微観察する顕微観察系とを備え、予め設定された一定時間ごとに受精卵の観察画像を取得し、ユーザが受精卵を目視により認識した上で、受精卵の生育状態の観察、記録、管理等を自動で行うことができるように構成される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２２９６１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
このような装置において、培養容器中の受精卵の生育状態を顕微観察する場合、まず、培地の中から観察対象である受精卵を検出しなければならないが、培地には受精卵の他にもゴミやオイル粒等の異物が混入しているため、受精卵とそれ以外の異物とを判別して受精卵を認識するには、できる限り高倍率での顕微観察が必要になる。しかしながら、高倍観察になるほど解像度の高い画像を取得することができるものの、高倍観察になるにつれて観察視野（観察範囲）が狭くなり視野内に受精卵の像が写し込まれる確率が低くなるため、受精卵を検出するのに広視野領域において多数の高倍画像の撮影が必要になるとともに、その多数の画像の中から受精卵を識別する複雑な処理が必要となり、受精卵の検出に長時間を要するという問題があった。
【０００５】
本発明は、上記のような課題に鑑みてなされたものであり、受精卵とそれ以外の異物との判別を受精卵の属性に応じた特徴量に基づいて、低倍観察と高倍観察とで関連付けて行うことにより、受精卵を高速且つ頑健に検出することを可能にした画像処理手段を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明を例示する第１の態様に従えば、低倍観察視野内に位置する複数の物体を撮像装置により撮影した低倍画像を取得し、低倍画像に写し込まれた複数の物体を抽出し、低倍画像中に含まれる複数の物体ごとに、受精卵の属性に応じた低倍画像の特徴量を算出して、低倍画像の特徴量に基づいて複数の物体の中から受精卵候補を抽出し、低倍観察視野内の領域を高倍観察視野の大きさに応じた複数の小領域に区分けして、受精卵候補に選別された物体が含まれる小領域についてのみ、撮像装置により順次撮影を行って高倍画像を複数取得し、複数の高倍画像中に含まれる受精卵候補の物体ごとに、受精卵の属性に応じた高倍画像の特徴量を算出して、高倍画像の特徴量に基づいて受精卵候補の物体の中から受精卵を識別することを特徴とする受精卵観察の画像処理方法が提供される。
【０００７】
本発明を例示する第２の態様に従えば、コンピュータにより読み込み可能であり、撮像装置により撮影されて画像を取得して画像処理する画像処理装置としてコンピュータを機能させるための画像処理プログラムであって、撮像装置により低倍観察視野内に位置する複数の物体を撮影した低倍画像を取得するステップと、低倍画像に写し込まれた複数の物体を抽出するステップと、低倍画像中に含まれる複数の物体ごとに、受精卵の属性に応じた低倍画像の特徴量を算出して、低倍画像の特徴量に基づいて複数の物体の中から受精卵候補を抽出するステップと、低倍観察視野内の領域を高倍観察視野の大きさに応じた複数の小領域に区分けして、受精卵候補に選別された物体が含まれる小領域についてのみ、撮像装置により順次撮影を行って高倍画像を複数取得するステップと、複数の高倍画像中に含まれる受精卵候補の物体ごとに、受精卵の属性に応じた高倍画像の特徴量を算出して、高倍画像の特徴量に基づいて受精卵候補の物体の中から受精卵を識別するステップと、物体に対する識別結果を出力するステップとをコンピュータに実現させることを特徴とする受精卵観察の画像処理プログラムが提供される。
【０００８】
本発明を例示する第３の態様に従えば、複数の物体を低倍率及び高倍率で撮影可能な撮像装置と、撮像装置により撮影された低倍画像から複数の物体を抽出し、複数の物体の中から受精卵を識別する画像解析部と、画像解析部により判断された識別結果を外部に出力する出力部とを備え、画像解析部が、低倍画像中に含まれる複数の物体ごとに、受精卵の属性に応じた低倍画像の特徴量を算出して、低倍画像の特徴量に基づいて複数の物体の中から受精卵候補を抽出するとともに、低倍観察視野内の領域を高倍観察視野の大きさに応じた複数の小領域に区分けして、受精卵候補に選別された物体が含まれる小領域についてのみ、撮像装置により順次撮影を行わせて高倍画像を複数取得し、複数の高倍画像中に含まれる受精卵候補の物体ごとに、受精卵の属性に応じた高倍画像の特徴量を算出して、高倍画像の特徴量に基づいて受精卵候補の物体の中から受精卵を識別するように構成したことを特徴とする受精卵観察の画像処理装置が提供される。
【発明の効果】
【０００９】
このような受精卵観察の画像処理方法、画像処理プログラム、及び画像処理装置によれば、観察対象の受精卵を観察者自らが目視で認識しなくても、複数の物体の中から観察対象の受精卵を高速且つ頑健に検出することが可能になる。
【図面の簡単な説明】
【００１０】
【図１】画像処理プログラムの概要を示すフローチャートである。
【図２】本発明の適用例として示す培養観察システムの概要構成図である。
【図３】上記培養観察システムのブロック図である。
【図４】（Ａ）は培養容器の平面図であり、（Ｂ）はディッシュを示す斜視図である。
【図５】分散フィルタの適用によるオブジェクト抽出処理の状況を例示する図である。
【図６】ラベリング処理の状況を例示する図である。オブジェクトの抽出を行う輪郭抽出処理の状況を例示する図である。
【図７】受精卵とそれ以外の異物との特徴を説明するための図である。
【図８】受精卵と異物との輪郭部の輝度値の違いを説明するための図である。
【図９】（Ａ）は低倍視野領域に高倍視野領域をタイリングした状態を例示する図であり、（Ｂ）は受精卵候補が含まれる高倍視野領域を例示する図である。
【図１０】画像処理装置の概要構成を示すブロック図である。
【発明を実施するための最良の形態】
【００１１】
以下、本発明を実施するための形態について、図面を参照しながら説明する。本実施形態に係る画像処理装置を適用したシステムの一例として、培養観察システムの概要構成図及びブロック図を、それぞれ図２及び図３に示す。
【００１２】
培養観察システムＢＳは、大別的には、筐体１の上部に設けられた培養室２と、複数の培養容器１０を収容保持する棚状のストッカー３と、培養容器１０内の試料を観察する観察ユニット５と、培養容器１０をストッカー３と観察ユニット５との間で搬送する搬送ユニット４と、システムの作動を統括的に制御する制御ユニット６と、画像表示装置を備えた操作盤７などから構成される。
【００１３】
培養室２は、培養環境を形成する部屋であり、環境変化やコンタミネーションを防止するためサンプル投入後は密閉状態に保持される。培養室２に付随して、培養室２内の温度を昇温・降温させる温度調整装置２１、湿度を調整する加湿器２２、ＣＯ２ガスやＮ２ガス等のガスを供給するガス供給装置２３、培養室２全体の環境を均一化させるための循環ファン２４、培養室２の温度や湿度、二酸化炭素濃度等を検出する環境センサ２５などが設けられている。各機器の作動は制御ユニット６により制御され、培養室２の温度や湿度、二酸化炭素濃度等により規定される培養環境が、操作盤７において設定された培養条件に合致した状態に維持される。
【００１４】
ストッカー３は、図２における紙面直行の前後方向、及び上下方向にそれぞれ複数に仕切られた棚状に形成されている。各棚にはそれぞれ固有の番地が設定されており、例えば前後方向をＡ〜Ｃ列、上下方向を１〜７段とした場合に、Ａ列５段の棚がＡ−５のように設定される。
【００１５】
培養容器１０は、培養物の種類や目的等に応じてフラスコやディッシュ、ウェルプレートなど適宜なものが選択され、本実施形態では、図４（Ａ）に示すように、直径約３５ｍｍの５つのディッシュ１０ａと、ディッシュ１０ａを保持するホルダ１０ｂとを備えた構成を例示しており、図４（Ｂ）に示すように、培養物たる受精卵ａは、フェノールレッドなどのｐＨ指示薬が入った培地ドロップＤとともに各ディッシュ１０ａに注入される。ディッシュ１０ａの底面には、ピペット等により滴下された２０μｌ程度の培地ドロップＤが１〜複数個形成されており（図４（Ｂ）では１個のみを図示）、培地ドロップＤはディッシュ１０ａ内において無色透明のミネラルオイルＯによって浸された状態となっている。それぞれの培地ドロップＤ内には、例えば対外受精のために同一母体から同時期に採卵された受精卵ａが１個ずつ挿入されている。また、培養容器１０にはコード番号が付与され、ストッカー３の指定番地に対応づけて収容される。
【００１６】
搬送ユニット４は、培養室２の内部に上下方向に移動可能に設けられてＺ軸駆動機構により昇降されるＺステージ４１、Ｚステージ４１に前後方向に移動可能に取り付けられてＹ軸駆動機構により前後移動されるＹステージ４２、Ｙステージ４２に左右方向に移動可能に取り付けられてＸ軸駆動機構により左右移動されるＸステージ４３などからなり、Ｘステージ４３の先端側に培養容器１０を持ち上げ支持する支持アーム４５が設けられている。搬送ユニット４は、支持アーム４５がストッカー３の全棚と観察ユニット５との間を移動可能な移動範囲を有して構成される。Ｘ軸駆動機構、Ｙ軸駆動機構、Ｚ軸駆動機構は、例えばボールネジとエンコーダ付きのサーボモータにより構成され、その作動が制御ユニット６により制御される。
【００１７】
観察ユニット５は、試料台１５の下側から試料を照明する第１照明部５１、顕微観察系の光軸に沿って試料台１５の上方から試料を照明する第２照明部５２、下方から試料を照明する第３照明部５３、試料のマクロ観察を行うマクロ観察系５４、試料のミクロ観察を行う顕微観察系５５、及び画像処理装置１００（図１０を参照）などから構成される。試料台１５は、透光性を有する材質で構成されるとともに観察領域に透明な窓部１６が設けられている。また、試料台１５は、制御ユニット６からの作動制御によりＸＹ方向（水平面内方向）およびＺ方向（上下方向）に移動可能な微細駆動ステージからなり、その上面部に載置された培養容器１０をＸＹ方向に移動させることにより、培養容器１０をマクロ観察系５４の光軸上へ挿入したり、顕微観察系５５の光軸上へ挿入したりすることが可能になっている。
【００１８】
第１照明部５１は、下部フレーム１ｂ側に設けられた面発光の光源からなり、試料台１５の下側から培養容器１０全体をバックライト照明する。第２照明部５２は、ＬＥＤ等の光源と、位相リングやコンデンサレンズ等からなる照明光学系とを有して培養室２に設けられており、試料台１５の上方から顕微観察系５５の光軸に沿って培養容器１０中の試料を照明する。第３照明部５３は、それぞれ落射照明観察や蛍光観察に好適な波長の光を射出する複数のＬＥＤや水銀等の光源と、各光源から射出された光を顕微観察系５５の光軸に重畳させるビームスプリッタや蛍光フィルタ等からなる照明光学系とを有して、培養室２の下側に位置する下部フレーム１ｂ内に配設されており、試料台１５の下方から顕微観察系５５の光軸に沿って培養容器１０中の試料を照明する。
【００１９】
マクロ観察系５４は、観察光学系５４ａと、この観察光学系５４ａにより結像された試料の像を撮影するＣＣＤカメラ等の撮像装置５４ｃとを有し、第１照明部５１の上方に位置して培養室２内に設けられている。マクロ観察系５４は、第１照明部５１によりバックライト照明された培養容器１０の上方からの全体観察画像（マクロ画像）を撮影する。
【００２０】
顕微観察系５５は、対物レンズや中間変倍レンズ、蛍光フィルタ等からなる観察光学系５５ａと、観察光学系５５ａにより結像された試料の像を撮影する冷却ＣＣＤカメラ等の撮像装置５５ｃとを有し、下部フレーム１ｂの内部に配設されている。上記の第２照明部５２と顕微観察系５５とにより位相差観察用の顕微鏡が構成される。対物レンズ及び中間変倍レンズは、それぞれ複数設けられるとともに、詳細図示を省略するレボルバやスライダなどの変位機構を用いて複数倍率に設定可能に構成されており、初期選択のレンズ設定に応じて、本実施形態では少なくとも低倍観察用（例えば２倍観察用）と高倍観察用（例えば１０倍観察用）との２種類の倍率の間で変倍可能なように切り換えられる。顕微観察系５５は、第２照明部５２により照明された試料の透過光による位相差画像や、第３照明部５３により照明されて試料が発する蛍光による蛍光画像など、培養容器１０内の試料を顕微鏡観察した顕微観察画像（ミクロ画像）を撮影する。
【００２１】
画像処理装置１００は、マクロ観察系５４の撮像装置５４ｃ及び顕微観察系５５の撮像装置５５ｃから入力された信号をＡ／Ｄ変換するとともに、各種の画像処理を施して全体観察画像または顕微観察画像の画像データを生成する。また、画像処理装置１００は、これらの観察画像（全体観察画像及び顕微観察画像）の画像データに対して画像解析を施し、画像中に存在するオブジェクトの特徴量算出や、各々の特徴量に応じたスコア算出、総合スコアに基づく受精卵の決定等の画像処理を行う。画像処理装置１００は、具体的には、次述する制御ユニット６のＲＯＭに記憶された画像処理プログラムが実行されることにより構築される。なお、この画像処理装置１００については、後に詳述する。
【００２２】
制御ユニット６は、処理を実行するＣＰＵ６１、培養観察システムＢＳの制御プログラムや制御データ等が設定記憶されたＲＯＭ６２、観察条件や画像データ等を一時記憶するＲＡＭ６３などを有し、培養観察システムＢＳの作動を制御する。そのため、図３に示すように、培養室２、搬送装置４、観察ユニット５、操作盤７の各構成機器が制御ユニット６に接続されている。ＲＡＭ６３には、観察プログラムに応じた培養室２の環境条件や、観察スケジュール、観察ユニット５における観察種別や観察位置、観察倍率等が設定され記憶される。また、ＲＡＭ６３には、観察ユニット５により撮影された画像データを記録する画像データ記憶領域が設けられ、培養容器１０のコード番号や撮影日時等を含むインデックス・データと画像データとが対応付けて記録される。
【００２３】
操作盤７には、キーボードやスイッチ等の入出力機器が設けられた操作パネル７１、操作画面や画像データ等を表示する表示パネル７２が設けられ、操作パネル７１において観察プログラムの設定や条件選択、動作指令等の入力が行われる。通信部６５は有線または無線の通信規格に準拠して構成されており、この通信部６５に外部接続されるコンピュータ等との間でデータの送受信が可能になっている。
【００２４】
このように概要構成される培養観察システムＢＳでは、操作盤７において設定された観察プログラムの設定条件に従い、ＣＰＵ６１がＲＯＭ６２に記憶された制御プログラムに基づいて各部の作動を制御するとともに、培養容器１０内の試料の撮影を自動的に実行する。すなわち、操作パネル７１に対するパネル操作（または通信部６５を介したリモート操作）によって観察プログラムがスタートされると、ＣＰＵ６１が、ＲＡＭ６３に記憶された環境条件の各条件値を読み込むとともに、環境センサ２５から入力される培養室２の環境状態を検出し、条件値と実測値との差異に応じて温度調整装置２１、加湿器２２、ガス供給装置２３、循環ファン２４等を作動させて、培養室２の温度や湿度、二酸化炭素濃度などの培養環境についてフィードバック制御が行われる。
【００２５】
また、ＣＰＵ６１は、ＲＡＭ６３に記憶された観察条件を読み込む、観察スケジュールに基づいて搬送ユニット４のＸ，Ｙ，Ｚステージ４１，４２，４３を作動させてストッカー３から観察対象の培養容器１０を観察ユニット５の試料台１５に搬送して、観察ユニット５による観察を開始させる。例えば、観察プログラムにおいて設定された観察がマクロ観察である場合には、搬送ユニット４によりストッカー３から搬送してきた培養容器１０をマクロ観察系５４の光軸上に位置決めして試料台１５に載置し、第１照明部５１の光源を点灯させて、バックライト照明された培養容器１０の上方から撮像装置５４ｃにより全体観察像を撮影する。撮像装置５４ｃから制御ユニット６に入力された信号は、画像処理装置１００により処理されて全体観察画像が生成され、その画像データが撮影日時等のインデックス・データなどとともにＲＡＭ６３の画像データ記憶領域に記憶される。
【００２６】
また、観察プログラムにおいて設定された観察が、培養容器１０内の特定位置の試料のミクロ観察である場合には、搬送ユニット４により搬送してきた培養容器１０内の特定位置を顕微観察系５５の光軸上に位置決めして試料台１５に載置し、第２照明部５２または第３照明部５３の光源を点灯させて、透過照明、落射照明、蛍光による顕微観察像を撮像装置５５ｃに撮影させる。撮像装置５５ｃにより撮影されて制御ユニット６に入力された信号は、画像処理装置１００により処理されて顕微観察画像（位相差画像、蛍光画像等）が生成され、その画像データが撮影日時等のインデックス・データなどとともにＲＡＭ６３の画像データ記憶領域に記憶される。
【００２７】
ＣＰＵ６１は、上記のような全体観察像の撮影や顕微観察像の撮影を、観察プログラムに設定された観察スケジュールに基づいて順次実行する。ＲＡＭ６３に記憶された画像データは、操作パネル７１から入力される画像表示指令に応じてＲＡＭ６３から読み出され、例えば指定時刻の全体観察画像や顕微観察画像、画像解析の解析結果などが表示パネル７２に表示される。
【００２８】
さて、このように構成される培養観察システムＢＳにおいて、培養容器１０（ディッシュ１０ａ）中の受精卵ａの生育状態を顕微観察する場合、培地ドロップＤの中から観察対象である受精卵をまず検出しなければならないが、培地ドロップＤの中には受精卵ａの他にもゴミやオイル粒等の異物が混入しているため、受精卵とそれ以外の異物とを判別して受精卵を認識するには、できる限り高倍率での顕微観察が必要になる。しかしながら、高倍観察になるほど解像度の高い画像を取得することができるものの、高倍観察になるにつれて観察視野（観察範囲）が狭くなって視野内に受精卵ａの像が写し込まれる確率が低くなるため、受精卵ａの像を検出するのに広視野領域において多数の高倍画像の撮影が必要になるとともに、その多数の画像の中から受精卵を識別する複雑な処理が必要となり、受精卵の検出に長時間を要するという問題があった。
【００２９】
このような不具合を是正するため、画像処理装置１００は、受精卵の属性に応じた特徴量を低倍観察での受精卵候補の抽出と高倍観察での受精卵の識別との２段階の画像解析処理に利用して、観察対象である受精卵を自動で検出する機能を有している。それでは、以下にこの画像処理装置１００が実行する画像処理方法について基本的な概念から説明する。なお、以降の説明では、第２照明部５２及び顕微観察系５５等によって構成される位相差顕微鏡によって撮影される位相差画像（顕微観察画像）に基づいて受精卵の観察を行う場合を例示する。このとき、顕微観察系５５では、観察光学系５５ａの観察倍率を切り換えることにより低倍観察及び高倍観察が可能である。
【００３０】
（画像のムラ補正）
まず、顕微観察系５５において低倍観察用の対物レンズ等を用いて撮影された低倍観察画像（低倍位相差画像）には、受精卵ａの背景として写し込まれた培地ドロップＤの像によって明度ムラが存在するため、低倍観察画像に対してムラ補正を行う。平滑化処理においては、取り込んだ低倍観察画像（入力画像）に対してガウシアンフィルタを適用し、画素単位で畳み込み演算を行うことで、入力画像に対する極端なボケ画像を作成する。そして、次式（１）に示すように、入力画像からボケ画像を対応する画素ごとに減算を行って、正値のみを採用した差分画像を生成する。ここで、入力画像をＩ（ｘ，ｙ）、ガウシアンフィルタによって平滑化されたボケ画像をＢ（ｘ，ｙ）、差分画像をＩ′（ｘ，ｙ）とすると、その差分画像Ｉ′（ｘ，ｙ）は、次式（１）により生成される。
Ｉ′（ｘ，ｙ）＝Ｉ（ｘ，ｙ）−Ｂ（ｘ，ｙ） …（１）
但し、Ｉ（ｘ，ｙ）−Ｂ（ｘ，ｙ）＜０の場合はＩ′（ｘ，ｙ）＝０
【００３１】
ここで、上記ガウシアンフィルタの重み付けは、注目画素の中心座標を（ｘ，ｙ）とすると、次式（２）で定義されるガウシアン関数Ｇ（ｘ，ｙ）によりレートが決定される。
Ｇ（ｘ，ｙ）＝（１／（２πσ2））ｅｘｐ（−（ｘ2＋ｙ2）／２σ2）…（２）
ここで、パラメータσはガウシアンフィルタの空間的な広がり幅を示す値であり、高値になるほど平滑化の度合いが高くなるので、極端なボケ画像を生成するためにはσを十分に大きくしておくことが望ましい。フィルタサイズは半径３σとし、フィルタを適用できない画像の端部に位置する画素については、例えば、フィルタ積分値の逆数を乗算したり、フィルタ処理を行わないこととする。このように、入力画像からガウシアンフィルタ等によって平滑化処理したボケ画像を差し引くことにより、入力画像における高周波数成分を抽出した差分画像を生成することができる。
【００３２】
（オブジェクトの抽出）
次に、上記で得られた差分画像に対して分散フィルタを適用して、分散値画像を生成する。分散フィルタとは、注目画素とその周辺画素との輝度値の分散値を求めて、その注目画素の輝度値（輝度分散値）とするものであり、輝度値のばらつきが大きいほど大きな値を返すようになっている。この分散値画像において、輝度分散値が大きい画素がエッジ点などに相当する。図５は、この分散フィルタ適用によるオブジェクト抽出処理の状況を示す図であり、低倍観察により取得され平滑化処理された差分画像（Ａ）に対して分散フィルタを施すことにより、（Ｂ）に示す分散値画像のようにこれに写し込まれた物体（受精卵及びゴミ等の異物の領域、オブジェクトとも称する）らしき像を抽出する。
【００３３】
そして、オブジェクトらしき像が抽出された分散値画像に対して、輪郭抽出手法として所定のしきい値による二値化処理を施す。二値化処理については、例えば、通常検出され得る所定の輝度値を基準とするしきい値、あるいは判別分析によって得られたしきい値に基づいて行う。このように分散フィルタを施した上で２値化処理を行うことで、画像内に含まれるオブジェクトの輪郭を抽出し、その輪郭に囲まれた閉じた領域をオブジェクトとして特定する。
【００３４】
（オブジェクトのラベリング）
こうしてセグメント化された各オブジェクトに対して、固有のラベルを付与するラベリングを施す。図６は、ラベリング処理の状況を示す図であり、輪郭が抽出された二値画像（Ａ）のオブジェクトに対して、（Ｂ）に示すようにラベリング番号を最初は１とし、次から１ずつ増やして識別する。ラベリング処理では、ラベル付けとともにオブジェクト（抽出した輪郭に囲まれた領域）の面積が算出される。そこで、観察画像に写し込まれる受精卵（例えば、人間の受精卵の場合には直径約１００μｍ）の像の大きさは画像取得条件（観察倍率等）によりほぼ決まっていることから、判別の対象となり得るオブジェクトの面積の上限値と下限値とを予め設定しておき、この設定範囲から外れるオブジェクトについてはラベル付けの対象（受精卵の判別候補）から除外する。但し、受精卵の大きさは一定であるもの、抽出されるオブジェクト自体はゴミやオイル粒等の異物に近接することで、その面積が変動するため、不要なオブジェクトをリジェクトするための上記設定範囲は大きめに設定しておくことが望ましい。
【００３５】
（受精卵候補の抽出）
ラベリングされた複数のオブジェクトについて受精卵の属性に応じた特徴量を算出し、この特徴量に基づいて受精卵の候補となり得るオブジェクトを抽出する。前述したように、培地ドロップＤの中には観察対象である受精卵の他にも異物が存在している。そのため、ラベリングを施したオブジェクトの実体については、大別すると以下のように分類される。１つは受精卵であり、それ以外に、ゴミ（培地の残りかす）、オイル粒（ディッシュ１０ａ内に充填されるミネラルオイルＯが培地に入り込んだもの）、及び気泡（ガス）に大別される。このとき、図７にも示すように、受精卵、ゴミ、オイル粒、及び気泡の各々は次のような特徴を持っている。
【００３６】
＜受精卵の特徴＞
受精卵は、その輪郭部に膜（透明帯）が存在する、外形が球形状を有している、輪郭内部に卵細胞が存在している、という特徴を持つ。
＜ゴミの特徴＞
ゴミは、その輪郭部に透明帯が存在しない、位相差画像では輪郭部にハロが現れる、輪郭内部の構造は不定である、という特徴を持つ。
＜オイル粒、気泡の特徴＞
オイル粒および気泡は、位相差画像では輪郭部が暗く内部は明るい、外形が球形状や楕円形状である、輪郭内部の構造が少ない、という特徴を持つ。
【００３７】
これらの特徴を簡単にまとめると、受精卵と異物との属性の差異として、受精卵は異物よりも円形度が高い、受精卵は輪郭部に透明帯を持っている、受精卵には内部構造（卵細胞）が必ず存在する、という特徴がある。
【００３８】
ここで、これらの属性を基に高倍観察および低倍観察においてそれぞれ顕著に変化が現れる画像特徴を以下に挙げる。高倍観察では、高解像度の画像が得られるため、画像特徴を数値化し易く、外形特徴量やテクスチャ特徴量などに基づいて定量的な受精卵の識別に適するという利点がある。これに対して、低倍観察では画像の解像度が低いものの広範囲の観察視野を持っており、輝度変化が顕著に現れるため、オブジェクトを輝度により判別し易いという利点がある。オブジェクトの輪郭部の輝度については、図８に示すように、高倍観察したときに比べて、ゴミの輪郭部はハロによってより明るく、オイル粒及び気泡の輪郭部はより暗く（真っ黒に）なる傾向で、受精卵の輪郭部（透明帯）については高倍観察のときと同様に背景（培地ドロップＤ）に近い輝度となる傾向がある。
【００３９】
そこで、ここでは低倍観察によって顕著に変化が現れる特徴量、すなわちオブジェクトの輪郭部の輝度値に基づいて、広範囲な低倍視野中から受精卵候補となるオブジェクトを効率的に絞り込む。特徴量となる輪郭部の輝度値については、二値化処理によって抽出された輪郭部を対象領域として、原画像（低倍観察画像）における各オブジェクトの当該対象領域内の輝度値（輝度平均値や輝度分散値など）を算出して、明らかに輝度値の低いもの及び高いものについては、予めしきい値等を設定しておき、受精卵候補からリジェクトする。なお、低倍観察での特徴量としては、上述の輪郭部自体の輝度値に限定されず、例えば、オブジェクト領域全体の輝度値や、輪郭線内外の輝度値の差などを用いてもよい。
【００４０】
このように低倍観察に適した特徴量を用いて受精卵候補を抽出するだけでなく、低倍観察では解像度が低いために検出精度は劣るが、高倍観察に適した特徴量を用いて、更に受精卵候補の絞り込みを行うこととしてもよい。例えば、観察対象の受精卵が球形状（真円に近い）であることを利用して、各オブジェクトの円形度を算出し、円形度の低いオブジェクトについては、予めしきい値を設定しておき、受精卵候補からリジェクトする。ここで、オブジェクトの円形度とは、オブジェクトの円形の度合いを判定するための尺度である。円形度は、例えば、取得した２値画像の画像平面内における各々のオブジェクトの重心を決定するとともに各々のオブジェクトの輪郭を示すエッジを検出した後、オブジェクトごとに自身の重心から輪郭までの距離の最大値に対する最小値の割合として算出したり、画像平面内における２次元オブジェクトと考えた場合のモーメントとして算出したりすることで得られる。なお、低倍画像においては解像度が劣るため、円形度の検出精度も低くなるが、しきい値レベルを粗めな感度で設定しておくことで、受精卵候補に相応しくない外形形状のオブジェクトを十分に排除することができる。
【００４１】
このように、低倍観察画像からラベリングオブジェクトのうち受精卵候補となり得るオブジェクトのみを選別ことにより、高倍観察時における受精卵の判別対象を減らし、高倍観察時の受精卵の識別処理を容易化する。
【００４２】
（受精卵候補に対する高倍視野位置の特定）
ここでは低倍視野領域に写し込まれた受精卵候補のオブジェクトを高倍観察するための高倍視野位置を特定する。前述のように低倍観察での観察倍率が２倍に対して高倍観察での観察倍率が１０倍である場合には、低倍視野領域のサイズに対して高倍視野領域のサイズは１／５になるため、低倍視野領域を縦横に５×５個の高倍視野領域に分割してタイリングすることでもよいが、本実施形態では、受精卵候補の取りこぼしを防ぐため、マージンをとって隣接する高倍視野領域についてオーバーラップする領域を設け、６×６個の高倍視野領域に基づいてタイリングを行っている。
【００４３】
図９は低倍視野領域に高倍視野領域をタイリングした状態を示しており、同図に示す低倍視野領域Ｔ内で［ｍ，ｎ］番目（１≦ｍ≦６，１≦ｎ≦６）の各タイル領域（高倍視野領域）Ｋについて左上隅の座標（ＰｏｓＸｍ，ＰｏｓＹｎ）が与えられている。受精卵候補に選別されたオブジェクトが含まれるタイル領域Ｋについては、識別子としてオブジェクト有りを示すフラグを立てる。そして、フラグがセットされたタイル領域の左上隅座標（ＰｏｓＸｍ，ＰｏｓＹｎ）に基づいて試料台（微細駆動ステージ）１５を水平面内方向に移動させて、このフラグが設定されたタイル領域Ｋについてのみ撮像装置５５によって高倍観察画像（高倍位相差画像）を順次取得し、次述する高倍観察アルゴリズムに適用させるようにする。
【００４４】
（受精卵の判別）
高倍観察アルゴリズムでは、高倍観察画像に基づいて受精卵候補の各オブジェクトに対して、上記した受精卵の属性に応じた特徴量（高倍観察に適した特徴量）を算出して得点付け（スコア算出）を行い、スコアの最も高いオブジェクトを受精卵と認識する。
【００４５】
受精卵の判別処理に先立って、高倍観察画像においても、二値化処理等の輪郭抽出手法により受精卵候補となったオブジェクトの輪郭が抽出される。高倍観察で適用される特徴量については、輪郭部の円形度及び輪郭内部のテクスチャ特徴量などが例示され、解像度の高い画像に基づいて受精卵の属性に応じた特徴をより定量的に判断するのに適したものが選択される。
【００４６】
ここで、輪郭部の円形度とは、既述した円形度と同義であり、受精卵が球形状を有することに基づく外形特徴量である。この特徴量については、円形度の高い輪郭を持つオブジェクトほど、受精卵としてのスコアを高く設定する。また、輪郭内部のテクスチャ特徴量とは、受精卵が内部構造（受精卵）を持つことで、画像的に内部テクスチャが存在することを利用した特徴量である。テクチャ特徴量としては、受精卵候補となったオブジェクトごとに、二値化処理によって抽出された輪郭内部を対象領域として、原画像（高倍観察画像）における当該対象領域内のエッジ強度（階調変化の強度）の平均値などを用いる。この特徴量については、輪郭内部のエッジ強度が高いオブジェクトほど、受精卵としてのスコアを高く設定する。このように、解像度の高い高倍観察画像を用いることで、受精卵の特徴をより定量的に捉えることができ、受精卵とそれ以外の異物とを的確に識別することができる。
【００４７】
また、高倍観察においてもオブジェクトごとに輪郭部の輝度値（輝度平均値や輝度分散値など）を算出し、既に低倍観察において算出しておいた同一ラベルのオブジェクトの輪郭部の輝度値との差分値を求めて、この差分値を高倍観察の特徴量として適用してもよい。これによれば、低倍観察と高倍観察とにおける輝度の現われ方の違いに基づいて、低倍観察の特徴量を高倍観察の特徴量に利用することができ、一貫した画像特徴の基で受精卵の識別を行うことができる。
【００４８】
このようにして得られた各特徴量に基づいて、受精卵を決定する。具体的な手法としては、例えば、各特徴量を共通のスケールに変換する正規化を行って各スコアとして求め、各スコアの総和から総合スコアを算出して、受精卵候補のオブジェクトのうちで総合スコアが最大となるオブジェクトを受精卵であると決定する。
【００４９】
以上説明したような受精卵観察の画像処理方法によれば、低倍観察に基づいて予め低倍視野領域内における受精卵候補のオブジェクトを抽出し、仮想的に低倍視野領域の全域を高倍視野領域に対応する領域に分割したときに受精卵候補のオブジェクトが含まれる分割領域についてのみ高倍観察画像を撮影し、最終的には高倍観察に基づいて受精卵候補のオブジェクトの中から受精卵を識別するため、受精卵候補の含まれない無用な領域に対する高倍観察画像の取得などを省略して受精卵を効率良く短時間で検出することができる。その際、低倍観察において顕著に現れる特徴量と、高倍観察において顕著に現れる特徴量との双方に基づいて受精卵を決定するため、受精卵の検出精度を高めることができる。
【００５０】
（アプリケーション）
次に、培養観察システムＢＳの画像処理装置１００において実行される画像解析の具体的なアプリケーションについて図１及び図１０を併せて参照しながら説明する。ここで、図１は受精卵観察の画像処理プログラムＧＰにおける処理の概要を示すフローチャート、図１０は受精卵観察の画像処理を実行する画像処理装置１００の概要構成を示すブロック図である。
【００５１】
画像処理装置１００は、撮像装置５５ｃにより観察対象の受精卵が撮影された観察画像（低倍観察画像及び高倍観察画像）を取得して記憶する画像記憶部１１０と、観察画像を解析して観察画像に写し込まれたオブジェクトの中から受精卵を識別する画像解析部１２０と、画像解析部１２０によりオブジェクトごとに算出された特徴量を各オブジェクトに付与されるラベルと対応付けて記憶する特徴量記憶部１３０と、低倍視野領域内においてタイル領域ごとに割り当てられるフラグを有するデータテーブル１４０と、画像解析部１２０により解析された判断結果を外部に出力する出力部１５０とを備え、画像解析部１２０により判断されたオブジェクトが受精卵であるか否かの識別結果を、例えば表示パネル７２に出力して表示させるように構成される。画像処理装置１００は、ＲＯＭ６２に予め設定記憶された画像処理プログラムＧＰがＣＰＵ６１に読み込まれ、ＣＰＵ６１によって画像処理プログラムＧＰに基づく処理が順次実行されることによって構成される。
【００５２】
記述したように、培養観察システムＢＳでは、観察プログラムにおいて設定された観察条件に従って、所定時間ごとに指定された培養容器１０内の受精卵観察が行われる。具体的には、ＣＰＵ６１は、搬送ユニット４の各ステージを作動させてストッカー３から観察対象の培養容器１０を観察ユニット５に搬送（本実施形態では顕微観察系５５の光軸上に配置）し、観察光学系５５ａの対物レンズ等を低倍観察用に設定した上で、第２照明部５２を用いた顕微観察系５５による低倍観察画像を撮像装置５５ｃにより撮影させる。
【００５３】
画像処理装置１００は、始めに撮像装置５５ｃにより撮影された低倍観察画像をステップＳ１において取得し、この取得した低倍観察画像を、培養容器１０のコード番号や観察位置、観察時刻などのインデックス・データとともに画像記憶部１１０に保存する。
【００５４】
ステップＳ２では、撮像装置５５ｃから取得された低倍観察画像に対し、画像解析部１２０においてガウシアンフィルタ等を用いて平滑化処理を施したボケ画像が生成された上で、画像のムラ補正を行うべく入力画像（低倍観察画像）とボケ画像との差分画像が生成される。
【００５５】
ステップＳ３では、ムラ補正された差分画像に対して分散フィルタを施すことにより画像内のエッジ等を強調させた分散値画像を生成し、これに写し込まれた複数のオブジェクトらしき像を抽出する。
【００５６】
ステップＳ４では、分散フィルタを適用させて得られたオブジェクトらしき抽出画像に対して、所定のしきい値による２値化処理等の輪郭抽出処理が実行され、各オブジェクトの輪郭が抽出される。
【００５７】
ステップＳ５では、輪郭が抽出された２値画像の各オブジェクトに対して、ラベリングが施される。ラベリング処理においては、受精卵の像の面積として適正な範囲（上下限値）が設定されており、輪郭が抽出されたオブジェクトの領域ごとに面積が算出され、この設定範囲を超える領域面積を持つオブジェクトについては受精卵の判別候補から除外し、この設定範囲内に収まる領域面積を持つオブジェクトのみについて固有のラベルをそれぞれ付与する。
【００５８】
次いで、画像解析部１２０により、ラベリングされた各オブジェクトについて、受精卵の属性に応じた特徴量がそれぞれ算出され、この特徴量に基づいて受精卵候補のオブジェクトが抽出される（ステップＳ６）。特徴量として、低倍観察において変化が顕著に現れる画像特徴量、すなわち、輪郭部の輝度値（輝度平均値や輝度分散値など）が例示される。画像解析部１２０は、オブジェクトごとに付与した固有のラベルと上記特徴量とを対応付けて特徴量記憶部１３０に記録する。また、画像解析部１２０は、オブジェクトごとに算出して特徴量記憶部１３０に記録した特徴量と予め設定されたしきい値とを比較して、しきい値によるリジェクトを行い、しきい値を満足する特徴量を持つラベルのオブジェクトのみについて受精卵候補として抽出する。
【００５９】
画像解析部１２０は、低倍視野領域を高倍視野に応じた領域に分割して得られたタイル領域に対して、受精卵候補のオブジェクトを含むタイル領域についてのみデータテーブル１４０のフラグをセットし、受精卵候補のオブジェクトを高倍観察するための高倍視野位置を特定する（ステップＳ７）。
【００６０】
ＣＰＵ６１は、データテーブル１４０にアクセスして、データテーブル１４０のフラグにより特定された高倍視野領域の左上隅座標を取り込んで、撮像装置５５ｃの高倍視野が受精卵候補のオブジェクトが存在するタイル領域に合致するように試料台１５を位置決めし、観察光学系５５ａの対物レンズ等を高倍観察用に設定した上で、高倍観察画像を撮像装置５５ｃにより順次撮影させる。
【００６１】
ステップＳ８では、画像処理装置１００は、撮像装置５５ｃにより撮影された高倍観察画像（受精卵候補が含まれる高倍観察画像）を取得し、この取得した観察画像を、培養容器１０のコード番号や観察位置、観察時刻などのインデックス・データとともに画像記憶部１１０に保存する。
【００６２】
続いて、画像解析部１２０により高倍観察アルゴリズムが適用され、受精卵候補となる各オブジェクトに対し、高倍観察画像において顕著に変化が現れる特徴量として、例えば、輪郭の円形度、及び内部テクスチャ特徴量などを算出し、オブジェクトごとに付与された固有のラベルとこの特徴量とを対応付けて特徴量記憶部に記録する。画像解析部１２０は、各特徴量に基づいてスコアを算出して、総合スコアの最も高いラベルを持つオブジェクトを観察対象の受精卵であると決定し（ステップＳ９）、最終的には、このラベルを持つオブジェクトが受精卵であるとの判定結果が出力部から出力される（ステップＳ１０）。
【００６３】
出力部１３０から出力された判定結果は、操作盤７の表示パネル７２に表示され、観察画像中で受精卵であると識別されたオブジェクトに受精卵を示す表示がされる。
【００６４】
具体的な手法として、例えば、受精卵であることを示す記号（例えば「Ｊ」）を付加して表示したり、受精卵とそれ以外の異物とを異なる色相や輝度で表示したり、異物を塗りつぶして表示したり、異物を除去した画像を表示する等により、受精卵とそれ以外の異物とを判別して表示する、などのインターフェースが例示される。なお、出力部１５０から出力される上記のような判別データを、通信部を介して外部接続されるコンピュータ等に送信して、同様の画像を表示させたり、受精卵の生育状態を観察するための基礎データとして用いたりするように構成することができる。
【００６５】
これにより、観察者は、表示パネル７２に表示された画像や外部接続されたコンピュータ等のモニタに表示された画像を参照することにより、観察中の（または既に観察画像の取得を終了した）各画像に含まれるオブジェクトが受精卵であるか否かを直ちに判断することができる。また、このようにして受精卵とそれ以外の異物とが判別されたデータを用いることにより、受精卵の生育状態を効率的に観察することが可能になる。
【００６６】
以上説明したように、本実施形態の画像処理プログラムＧＰ、この画像処理プログラムＧＰが実行されることにより構成される受精卵観察の画像処理方法及び画像処理装置１００によれば、観察対象である受精卵を高速かつ頑健に検出することを可能とした画像処理手段を提供することができる。
【符号の説明】
【００６７】
ＢＳ 培養観察システム ＧＰ 画像処理プログラム
ａ 受精卵 ５ 観察ユニット
６ 制御ユニット ７ 操作盤
５４ マクロ観察系 ５４ｃ 撮像装置
５５ 顕微観察系 ５５ｃ 撮像装置
６１ ＣＰＵ ６２ ＲＯＭ
６３ ＲＡＭ １００ 画像処理装置
１２０ 画像解析部 １４０ 出力部
【技術分野】
【０００１】
本発明は、受精卵観察において取得された観察画像から受精卵と異物とを判別する画像処理手段に関する。
【背景技術】
【０００２】
近年、生殖補助医療技術（ＡＲＴ）の発展に伴い、体外受精による受精卵を培養しながらその生育状態を観察することが行われている。受精卵などの培養物の状況を観察する装置の例として、培養顕微鏡が挙げられる（例えば、特許文献１を参照）。培養顕微鏡は、受精卵の培養に好適な環境を形成する培養装置（インベキュータ）と、培養装置に収容された培養容器内の受精卵の状態を顕微観察する顕微観察系とを備え、予め設定された一定時間ごとに受精卵の観察画像を取得し、ユーザが受精卵を目視により認識した上で、受精卵の生育状態の観察、記録、管理等を自動で行うことができるように構成される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２２９６１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
このような装置において、培養容器中の受精卵の生育状態を顕微観察する場合、まず、培地の中から観察対象である受精卵を検出しなければならないが、培地には受精卵の他にもゴミやオイル粒等の異物が混入しているため、受精卵とそれ以外の異物とを判別して受精卵を認識するには、できる限り高倍率での顕微観察が必要になる。しかしながら、高倍観察になるほど解像度の高い画像を取得することができるものの、高倍観察になるにつれて観察視野（観察範囲）が狭くなり視野内に受精卵の像が写し込まれる確率が低くなるため、受精卵を検出するのに広視野領域において多数の高倍画像の撮影が必要になるとともに、その多数の画像の中から受精卵を識別する複雑な処理が必要となり、受精卵の検出に長時間を要するという問題があった。
【０００５】
本発明は、上記のような課題に鑑みてなされたものであり、受精卵とそれ以外の異物との判別を受精卵の属性に応じた特徴量に基づいて、低倍観察と高倍観察とで関連付けて行うことにより、受精卵を高速且つ頑健に検出することを可能にした画像処理手段を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明を例示する第１の態様に従えば、低倍観察視野内に位置する複数の物体を撮像装置により撮影した低倍画像を取得し、低倍画像に写し込まれた複数の物体を抽出し、低倍画像中に含まれる複数の物体ごとに、受精卵の属性に応じた低倍画像の特徴量を算出して、低倍画像の特徴量に基づいて複数の物体の中から受精卵候補を抽出し、低倍観察視野内の領域を高倍観察視野の大きさに応じた複数の小領域に区分けして、受精卵候補に選別された物体が含まれる小領域についてのみ、撮像装置により順次撮影を行って高倍画像を複数取得し、複数の高倍画像中に含まれる受精卵候補の物体ごとに、受精卵の属性に応じた高倍画像の特徴量を算出して、高倍画像の特徴量に基づいて受精卵候補の物体の中から受精卵を識別することを特徴とする受精卵観察の画像処理方法が提供される。
【０００７】
本発明を例示する第２の態様に従えば、コンピュータにより読み込み可能であり、撮像装置により撮影されて画像を取得して画像処理する画像処理装置としてコンピュータを機能させるための画像処理プログラムであって、撮像装置により低倍観察視野内に位置する複数の物体を撮影した低倍画像を取得するステップと、低倍画像に写し込まれた複数の物体を抽出するステップと、低倍画像中に含まれる複数の物体ごとに、受精卵の属性に応じた低倍画像の特徴量を算出して、低倍画像の特徴量に基づいて複数の物体の中から受精卵候補を抽出するステップと、低倍観察視野内の領域を高倍観察視野の大きさに応じた複数の小領域に区分けして、受精卵候補に選別された物体が含まれる小領域についてのみ、撮像装置により順次撮影を行って高倍画像を複数取得するステップと、複数の高倍画像中に含まれる受精卵候補の物体ごとに、受精卵の属性に応じた高倍画像の特徴量を算出して、高倍画像の特徴量に基づいて受精卵候補の物体の中から受精卵を識別するステップと、物体に対する識別結果を出力するステップとをコンピュータに実現させることを特徴とする受精卵観察の画像処理プログラムが提供される。
【０００８】
本発明を例示する第３の態様に従えば、複数の物体を低倍率及び高倍率で撮影可能な撮像装置と、撮像装置により撮影された低倍画像から複数の物体を抽出し、複数の物体の中から受精卵を識別する画像解析部と、画像解析部により判断された識別結果を外部に出力する出力部とを備え、画像解析部が、低倍画像中に含まれる複数の物体ごとに、受精卵の属性に応じた低倍画像の特徴量を算出して、低倍画像の特徴量に基づいて複数の物体の中から受精卵候補を抽出するとともに、低倍観察視野内の領域を高倍観察視野の大きさに応じた複数の小領域に区分けして、受精卵候補に選別された物体が含まれる小領域についてのみ、撮像装置により順次撮影を行わせて高倍画像を複数取得し、複数の高倍画像中に含まれる受精卵候補の物体ごとに、受精卵の属性に応じた高倍画像の特徴量を算出して、高倍画像の特徴量に基づいて受精卵候補の物体の中から受精卵を識別するように構成したことを特徴とする受精卵観察の画像処理装置が提供される。
【発明の効果】
【０００９】
このような受精卵観察の画像処理方法、画像処理プログラム、及び画像処理装置によれば、観察対象の受精卵を観察者自らが目視で認識しなくても、複数の物体の中から観察対象の受精卵を高速且つ頑健に検出することが可能になる。
【図面の簡単な説明】
【００１０】
【図１】画像処理プログラムの概要を示すフローチャートである。
【図２】本発明の適用例として示す培養観察システムの概要構成図である。
【図３】上記培養観察システムのブロック図である。
【図４】（Ａ）は培養容器の平面図であり、（Ｂ）はディッシュを示す斜視図である。
【図５】分散フィルタの適用によるオブジェクト抽出処理の状況を例示する図である。
【図６】ラベリング処理の状況を例示する図である。オブジェクトの抽出を行う輪郭抽出処理の状況を例示する図である。
【図７】受精卵とそれ以外の異物との特徴を説明するための図である。
【図８】受精卵と異物との輪郭部の輝度値の違いを説明するための図である。
【図９】（Ａ）は低倍視野領域に高倍視野領域をタイリングした状態を例示する図であり、（Ｂ）は受精卵候補が含まれる高倍視野領域を例示する図である。
【図１０】画像処理装置の概要構成を示すブロック図である。
【発明を実施するための最良の形態】
【００１１】
以下、本発明を実施するための形態について、図面を参照しながら説明する。本実施形態に係る画像処理装置を適用したシステムの一例として、培養観察システムの概要構成図及びブロック図を、それぞれ図２及び図３に示す。
【００１２】
培養観察システムＢＳは、大別的には、筐体１の上部に設けられた培養室２と、複数の培養容器１０を収容保持する棚状のストッカー３と、培養容器１０内の試料を観察する観察ユニット５と、培養容器１０をストッカー３と観察ユニット５との間で搬送する搬送ユニット４と、システムの作動を統括的に制御する制御ユニット６と、画像表示装置を備えた操作盤７などから構成される。
【００１３】
培養室２は、培養環境を形成する部屋であり、環境変化やコンタミネーションを防止するためサンプル投入後は密閉状態に保持される。培養室２に付随して、培養室２内の温度を昇温・降温させる温度調整装置２１、湿度を調整する加湿器２２、ＣＯ２ガスやＮ２ガス等のガスを供給するガス供給装置２３、培養室２全体の環境を均一化させるための循環ファン２４、培養室２の温度や湿度、二酸化炭素濃度等を検出する環境センサ２５などが設けられている。各機器の作動は制御ユニット６により制御され、培養室２の温度や湿度、二酸化炭素濃度等により規定される培養環境が、操作盤７において設定された培養条件に合致した状態に維持される。
【００１４】
ストッカー３は、図２における紙面直行の前後方向、及び上下方向にそれぞれ複数に仕切られた棚状に形成されている。各棚にはそれぞれ固有の番地が設定されており、例えば前後方向をＡ〜Ｃ列、上下方向を１〜７段とした場合に、Ａ列５段の棚がＡ−５のように設定される。
【００１５】
培養容器１０は、培養物の種類や目的等に応じてフラスコやディッシュ、ウェルプレートなど適宜なものが選択され、本実施形態では、図４（Ａ）に示すように、直径約３５ｍｍの５つのディッシュ１０ａと、ディッシュ１０ａを保持するホルダ１０ｂとを備えた構成を例示しており、図４（Ｂ）に示すように、培養物たる受精卵ａは、フェノールレッドなどのｐＨ指示薬が入った培地ドロップＤとともに各ディッシュ１０ａに注入される。ディッシュ１０ａの底面には、ピペット等により滴下された２０μｌ程度の培地ドロップＤが１〜複数個形成されており（図４（Ｂ）では１個のみを図示）、培地ドロップＤはディッシュ１０ａ内において無色透明のミネラルオイルＯによって浸された状態となっている。それぞれの培地ドロップＤ内には、例えば対外受精のために同一母体から同時期に採卵された受精卵ａが１個ずつ挿入されている。また、培養容器１０にはコード番号が付与され、ストッカー３の指定番地に対応づけて収容される。
【００１６】
搬送ユニット４は、培養室２の内部に上下方向に移動可能に設けられてＺ軸駆動機構により昇降されるＺステージ４１、Ｚステージ４１に前後方向に移動可能に取り付けられてＹ軸駆動機構により前後移動されるＹステージ４２、Ｙステージ４２に左右方向に移動可能に取り付けられてＸ軸駆動機構により左右移動されるＸステージ４３などからなり、Ｘステージ４３の先端側に培養容器１０を持ち上げ支持する支持アーム４５が設けられている。搬送ユニット４は、支持アーム４５がストッカー３の全棚と観察ユニット５との間を移動可能な移動範囲を有して構成される。Ｘ軸駆動機構、Ｙ軸駆動機構、Ｚ軸駆動機構は、例えばボールネジとエンコーダ付きのサーボモータにより構成され、その作動が制御ユニット６により制御される。
【００１７】
観察ユニット５は、試料台１５の下側から試料を照明する第１照明部５１、顕微観察系の光軸に沿って試料台１５の上方から試料を照明する第２照明部５２、下方から試料を照明する第３照明部５３、試料のマクロ観察を行うマクロ観察系５４、試料のミクロ観察を行う顕微観察系５５、及び画像処理装置１００（図１０を参照）などから構成される。試料台１５は、透光性を有する材質で構成されるとともに観察領域に透明な窓部１６が設けられている。また、試料台１５は、制御ユニット６からの作動制御によりＸＹ方向（水平面内方向）およびＺ方向（上下方向）に移動可能な微細駆動ステージからなり、その上面部に載置された培養容器１０をＸＹ方向に移動させることにより、培養容器１０をマクロ観察系５４の光軸上へ挿入したり、顕微観察系５５の光軸上へ挿入したりすることが可能になっている。
【００１８】
第１照明部５１は、下部フレーム１ｂ側に設けられた面発光の光源からなり、試料台１５の下側から培養容器１０全体をバックライト照明する。第２照明部５２は、ＬＥＤ等の光源と、位相リングやコンデンサレンズ等からなる照明光学系とを有して培養室２に設けられており、試料台１５の上方から顕微観察系５５の光軸に沿って培養容器１０中の試料を照明する。第３照明部５３は、それぞれ落射照明観察や蛍光観察に好適な波長の光を射出する複数のＬＥＤや水銀等の光源と、各光源から射出された光を顕微観察系５５の光軸に重畳させるビームスプリッタや蛍光フィルタ等からなる照明光学系とを有して、培養室２の下側に位置する下部フレーム１ｂ内に配設されており、試料台１５の下方から顕微観察系５５の光軸に沿って培養容器１０中の試料を照明する。
【００１９】
マクロ観察系５４は、観察光学系５４ａと、この観察光学系５４ａにより結像された試料の像を撮影するＣＣＤカメラ等の撮像装置５４ｃとを有し、第１照明部５１の上方に位置して培養室２内に設けられている。マクロ観察系５４は、第１照明部５１によりバックライト照明された培養容器１０の上方からの全体観察画像（マクロ画像）を撮影する。
【００２０】
顕微観察系５５は、対物レンズや中間変倍レンズ、蛍光フィルタ等からなる観察光学系５５ａと、観察光学系５５ａにより結像された試料の像を撮影する冷却ＣＣＤカメラ等の撮像装置５５ｃとを有し、下部フレーム１ｂの内部に配設されている。上記の第２照明部５２と顕微観察系５５とにより位相差観察用の顕微鏡が構成される。対物レンズ及び中間変倍レンズは、それぞれ複数設けられるとともに、詳細図示を省略するレボルバやスライダなどの変位機構を用いて複数倍率に設定可能に構成されており、初期選択のレンズ設定に応じて、本実施形態では少なくとも低倍観察用（例えば２倍観察用）と高倍観察用（例えば１０倍観察用）との２種類の倍率の間で変倍可能なように切り換えられる。顕微観察系５５は、第２照明部５２により照明された試料の透過光による位相差画像や、第３照明部５３により照明されて試料が発する蛍光による蛍光画像など、培養容器１０内の試料を顕微鏡観察した顕微観察画像（ミクロ画像）を撮影する。
【００２１】
画像処理装置１００は、マクロ観察系５４の撮像装置５４ｃ及び顕微観察系５５の撮像装置５５ｃから入力された信号をＡ／Ｄ変換するとともに、各種の画像処理を施して全体観察画像または顕微観察画像の画像データを生成する。また、画像処理装置１００は、これらの観察画像（全体観察画像及び顕微観察画像）の画像データに対して画像解析を施し、画像中に存在するオブジェクトの特徴量算出や、各々の特徴量に応じたスコア算出、総合スコアに基づく受精卵の決定等の画像処理を行う。画像処理装置１００は、具体的には、次述する制御ユニット６のＲＯＭに記憶された画像処理プログラムが実行されることにより構築される。なお、この画像処理装置１００については、後に詳述する。
【００２２】
制御ユニット６は、処理を実行するＣＰＵ６１、培養観察システムＢＳの制御プログラムや制御データ等が設定記憶されたＲＯＭ６２、観察条件や画像データ等を一時記憶するＲＡＭ６３などを有し、培養観察システムＢＳの作動を制御する。そのため、図３に示すように、培養室２、搬送装置４、観察ユニット５、操作盤７の各構成機器が制御ユニット６に接続されている。ＲＡＭ６３には、観察プログラムに応じた培養室２の環境条件や、観察スケジュール、観察ユニット５における観察種別や観察位置、観察倍率等が設定され記憶される。また、ＲＡＭ６３には、観察ユニット５により撮影された画像データを記録する画像データ記憶領域が設けられ、培養容器１０のコード番号や撮影日時等を含むインデックス・データと画像データとが対応付けて記録される。
【００２３】
操作盤７には、キーボードやスイッチ等の入出力機器が設けられた操作パネル７１、操作画面や画像データ等を表示する表示パネル７２が設けられ、操作パネル７１において観察プログラムの設定や条件選択、動作指令等の入力が行われる。通信部６５は有線または無線の通信規格に準拠して構成されており、この通信部６５に外部接続されるコンピュータ等との間でデータの送受信が可能になっている。
【００２４】
このように概要構成される培養観察システムＢＳでは、操作盤７において設定された観察プログラムの設定条件に従い、ＣＰＵ６１がＲＯＭ６２に記憶された制御プログラムに基づいて各部の作動を制御するとともに、培養容器１０内の試料の撮影を自動的に実行する。すなわち、操作パネル７１に対するパネル操作（または通信部６５を介したリモート操作）によって観察プログラムがスタートされると、ＣＰＵ６１が、ＲＡＭ６３に記憶された環境条件の各条件値を読み込むとともに、環境センサ２５から入力される培養室２の環境状態を検出し、条件値と実測値との差異に応じて温度調整装置２１、加湿器２２、ガス供給装置２３、循環ファン２４等を作動させて、培養室２の温度や湿度、二酸化炭素濃度などの培養環境についてフィードバック制御が行われる。
【００２５】
また、ＣＰＵ６１は、ＲＡＭ６３に記憶された観察条件を読み込む、観察スケジュールに基づいて搬送ユニット４のＸ，Ｙ，Ｚステージ４１，４２，４３を作動させてストッカー３から観察対象の培養容器１０を観察ユニット５の試料台１５に搬送して、観察ユニット５による観察を開始させる。例えば、観察プログラムにおいて設定された観察がマクロ観察である場合には、搬送ユニット４によりストッカー３から搬送してきた培養容器１０をマクロ観察系５４の光軸上に位置決めして試料台１５に載置し、第１照明部５１の光源を点灯させて、バックライト照明された培養容器１０の上方から撮像装置５４ｃにより全体観察像を撮影する。撮像装置５４ｃから制御ユニット６に入力された信号は、画像処理装置１００により処理されて全体観察画像が生成され、その画像データが撮影日時等のインデックス・データなどとともにＲＡＭ６３の画像データ記憶領域に記憶される。
【００２６】
また、観察プログラムにおいて設定された観察が、培養容器１０内の特定位置の試料のミクロ観察である場合には、搬送ユニット４により搬送してきた培養容器１０内の特定位置を顕微観察系５５の光軸上に位置決めして試料台１５に載置し、第２照明部５２または第３照明部５３の光源を点灯させて、透過照明、落射照明、蛍光による顕微観察像を撮像装置５５ｃに撮影させる。撮像装置５５ｃにより撮影されて制御ユニット６に入力された信号は、画像処理装置１００により処理されて顕微観察画像（位相差画像、蛍光画像等）が生成され、その画像データが撮影日時等のインデックス・データなどとともにＲＡＭ６３の画像データ記憶領域に記憶される。
【００２７】
ＣＰＵ６１は、上記のような全体観察像の撮影や顕微観察像の撮影を、観察プログラムに設定された観察スケジュールに基づいて順次実行する。ＲＡＭ６３に記憶された画像データは、操作パネル７１から入力される画像表示指令に応じてＲＡＭ６３から読み出され、例えば指定時刻の全体観察画像や顕微観察画像、画像解析の解析結果などが表示パネル７２に表示される。
【００２８】
さて、このように構成される培養観察システムＢＳにおいて、培養容器１０（ディッシュ１０ａ）中の受精卵ａの生育状態を顕微観察する場合、培地ドロップＤの中から観察対象である受精卵をまず検出しなければならないが、培地ドロップＤの中には受精卵ａの他にもゴミやオイル粒等の異物が混入しているため、受精卵とそれ以外の異物とを判別して受精卵を認識するには、できる限り高倍率での顕微観察が必要になる。しかしながら、高倍観察になるほど解像度の高い画像を取得することができるものの、高倍観察になるにつれて観察視野（観察範囲）が狭くなって視野内に受精卵ａの像が写し込まれる確率が低くなるため、受精卵ａの像を検出するのに広視野領域において多数の高倍画像の撮影が必要になるとともに、その多数の画像の中から受精卵を識別する複雑な処理が必要となり、受精卵の検出に長時間を要するという問題があった。
【００２９】
このような不具合を是正するため、画像処理装置１００は、受精卵の属性に応じた特徴量を低倍観察での受精卵候補の抽出と高倍観察での受精卵の識別との２段階の画像解析処理に利用して、観察対象である受精卵を自動で検出する機能を有している。それでは、以下にこの画像処理装置１００が実行する画像処理方法について基本的な概念から説明する。なお、以降の説明では、第２照明部５２及び顕微観察系５５等によって構成される位相差顕微鏡によって撮影される位相差画像（顕微観察画像）に基づいて受精卵の観察を行う場合を例示する。このとき、顕微観察系５５では、観察光学系５５ａの観察倍率を切り換えることにより低倍観察及び高倍観察が可能である。
【００３０】
（画像のムラ補正）
まず、顕微観察系５５において低倍観察用の対物レンズ等を用いて撮影された低倍観察画像（低倍位相差画像）には、受精卵ａの背景として写し込まれた培地ドロップＤの像によって明度ムラが存在するため、低倍観察画像に対してムラ補正を行う。平滑化処理においては、取り込んだ低倍観察画像（入力画像）に対してガウシアンフィルタを適用し、画素単位で畳み込み演算を行うことで、入力画像に対する極端なボケ画像を作成する。そして、次式（１）に示すように、入力画像からボケ画像を対応する画素ごとに減算を行って、正値のみを採用した差分画像を生成する。ここで、入力画像をＩ（ｘ，ｙ）、ガウシアンフィルタによって平滑化されたボケ画像をＢ（ｘ，ｙ）、差分画像をＩ′（ｘ，ｙ）とすると、その差分画像Ｉ′（ｘ，ｙ）は、次式（１）により生成される。
Ｉ′（ｘ，ｙ）＝Ｉ（ｘ，ｙ）−Ｂ（ｘ，ｙ） …（１）
但し、Ｉ（ｘ，ｙ）−Ｂ（ｘ，ｙ）＜０の場合はＩ′（ｘ，ｙ）＝０
【００３１】
ここで、上記ガウシアンフィルタの重み付けは、注目画素の中心座標を（ｘ，ｙ）とすると、次式（２）で定義されるガウシアン関数Ｇ（ｘ，ｙ）によりレートが決定される。
Ｇ（ｘ，ｙ）＝（１／（２πσ2））ｅｘｐ（−（ｘ2＋ｙ2）／２σ2）…（２）
ここで、パラメータσはガウシアンフィルタの空間的な広がり幅を示す値であり、高値になるほど平滑化の度合いが高くなるので、極端なボケ画像を生成するためにはσを十分に大きくしておくことが望ましい。フィルタサイズは半径３σとし、フィルタを適用できない画像の端部に位置する画素については、例えば、フィルタ積分値の逆数を乗算したり、フィルタ処理を行わないこととする。このように、入力画像からガウシアンフィルタ等によって平滑化処理したボケ画像を差し引くことにより、入力画像における高周波数成分を抽出した差分画像を生成することができる。
【００３２】
（オブジェクトの抽出）
次に、上記で得られた差分画像に対して分散フィルタを適用して、分散値画像を生成する。分散フィルタとは、注目画素とその周辺画素との輝度値の分散値を求めて、その注目画素の輝度値（輝度分散値）とするものであり、輝度値のばらつきが大きいほど大きな値を返すようになっている。この分散値画像において、輝度分散値が大きい画素がエッジ点などに相当する。図５は、この分散フィルタ適用によるオブジェクト抽出処理の状況を示す図であり、低倍観察により取得され平滑化処理された差分画像（Ａ）に対して分散フィルタを施すことにより、（Ｂ）に示す分散値画像のようにこれに写し込まれた物体（受精卵及びゴミ等の異物の領域、オブジェクトとも称する）らしき像を抽出する。
【００３３】
そして、オブジェクトらしき像が抽出された分散値画像に対して、輪郭抽出手法として所定のしきい値による二値化処理を施す。二値化処理については、例えば、通常検出され得る所定の輝度値を基準とするしきい値、あるいは判別分析によって得られたしきい値に基づいて行う。このように分散フィルタを施した上で２値化処理を行うことで、画像内に含まれるオブジェクトの輪郭を抽出し、その輪郭に囲まれた閉じた領域をオブジェクトとして特定する。
【００３４】
（オブジェクトのラベリング）
こうしてセグメント化された各オブジェクトに対して、固有のラベルを付与するラベリングを施す。図６は、ラベリング処理の状況を示す図であり、輪郭が抽出された二値画像（Ａ）のオブジェクトに対して、（Ｂ）に示すようにラベリング番号を最初は１とし、次から１ずつ増やして識別する。ラベリング処理では、ラベル付けとともにオブジェクト（抽出した輪郭に囲まれた領域）の面積が算出される。そこで、観察画像に写し込まれる受精卵（例えば、人間の受精卵の場合には直径約１００μｍ）の像の大きさは画像取得条件（観察倍率等）によりほぼ決まっていることから、判別の対象となり得るオブジェクトの面積の上限値と下限値とを予め設定しておき、この設定範囲から外れるオブジェクトについてはラベル付けの対象（受精卵の判別候補）から除外する。但し、受精卵の大きさは一定であるもの、抽出されるオブジェクト自体はゴミやオイル粒等の異物に近接することで、その面積が変動するため、不要なオブジェクトをリジェクトするための上記設定範囲は大きめに設定しておくことが望ましい。
【００３５】
（受精卵候補の抽出）
ラベリングされた複数のオブジェクトについて受精卵の属性に応じた特徴量を算出し、この特徴量に基づいて受精卵の候補となり得るオブジェクトを抽出する。前述したように、培地ドロップＤの中には観察対象である受精卵の他にも異物が存在している。そのため、ラベリングを施したオブジェクトの実体については、大別すると以下のように分類される。１つは受精卵であり、それ以外に、ゴミ（培地の残りかす）、オイル粒（ディッシュ１０ａ内に充填されるミネラルオイルＯが培地に入り込んだもの）、及び気泡（ガス）に大別される。このとき、図７にも示すように、受精卵、ゴミ、オイル粒、及び気泡の各々は次のような特徴を持っている。
【００３６】
＜受精卵の特徴＞
受精卵は、その輪郭部に膜（透明帯）が存在する、外形が球形状を有している、輪郭内部に卵細胞が存在している、という特徴を持つ。
＜ゴミの特徴＞
ゴミは、その輪郭部に透明帯が存在しない、位相差画像では輪郭部にハロが現れる、輪郭内部の構造は不定である、という特徴を持つ。
＜オイル粒、気泡の特徴＞
オイル粒および気泡は、位相差画像では輪郭部が暗く内部は明るい、外形が球形状や楕円形状である、輪郭内部の構造が少ない、という特徴を持つ。
【００３７】
これらの特徴を簡単にまとめると、受精卵と異物との属性の差異として、受精卵は異物よりも円形度が高い、受精卵は輪郭部に透明帯を持っている、受精卵には内部構造（卵細胞）が必ず存在する、という特徴がある。
【００３８】
ここで、これらの属性を基に高倍観察および低倍観察においてそれぞれ顕著に変化が現れる画像特徴を以下に挙げる。高倍観察では、高解像度の画像が得られるため、画像特徴を数値化し易く、外形特徴量やテクスチャ特徴量などに基づいて定量的な受精卵の識別に適するという利点がある。これに対して、低倍観察では画像の解像度が低いものの広範囲の観察視野を持っており、輝度変化が顕著に現れるため、オブジェクトを輝度により判別し易いという利点がある。オブジェクトの輪郭部の輝度については、図８に示すように、高倍観察したときに比べて、ゴミの輪郭部はハロによってより明るく、オイル粒及び気泡の輪郭部はより暗く（真っ黒に）なる傾向で、受精卵の輪郭部（透明帯）については高倍観察のときと同様に背景（培地ドロップＤ）に近い輝度となる傾向がある。
【００３９】
そこで、ここでは低倍観察によって顕著に変化が現れる特徴量、すなわちオブジェクトの輪郭部の輝度値に基づいて、広範囲な低倍視野中から受精卵候補となるオブジェクトを効率的に絞り込む。特徴量となる輪郭部の輝度値については、二値化処理によって抽出された輪郭部を対象領域として、原画像（低倍観察画像）における各オブジェクトの当該対象領域内の輝度値（輝度平均値や輝度分散値など）を算出して、明らかに輝度値の低いもの及び高いものについては、予めしきい値等を設定しておき、受精卵候補からリジェクトする。なお、低倍観察での特徴量としては、上述の輪郭部自体の輝度値に限定されず、例えば、オブジェクト領域全体の輝度値や、輪郭線内外の輝度値の差などを用いてもよい。
【００４０】
このように低倍観察に適した特徴量を用いて受精卵候補を抽出するだけでなく、低倍観察では解像度が低いために検出精度は劣るが、高倍観察に適した特徴量を用いて、更に受精卵候補の絞り込みを行うこととしてもよい。例えば、観察対象の受精卵が球形状（真円に近い）であることを利用して、各オブジェクトの円形度を算出し、円形度の低いオブジェクトについては、予めしきい値を設定しておき、受精卵候補からリジェクトする。ここで、オブジェクトの円形度とは、オブジェクトの円形の度合いを判定するための尺度である。円形度は、例えば、取得した２値画像の画像平面内における各々のオブジェクトの重心を決定するとともに各々のオブジェクトの輪郭を示すエッジを検出した後、オブジェクトごとに自身の重心から輪郭までの距離の最大値に対する最小値の割合として算出したり、画像平面内における２次元オブジェクトと考えた場合のモーメントとして算出したりすることで得られる。なお、低倍画像においては解像度が劣るため、円形度の検出精度も低くなるが、しきい値レベルを粗めな感度で設定しておくことで、受精卵候補に相応しくない外形形状のオブジェクトを十分に排除することができる。
【００４１】
このように、低倍観察画像からラベリングオブジェクトのうち受精卵候補となり得るオブジェクトのみを選別ことにより、高倍観察時における受精卵の判別対象を減らし、高倍観察時の受精卵の識別処理を容易化する。
【００４２】
（受精卵候補に対する高倍視野位置の特定）
ここでは低倍視野領域に写し込まれた受精卵候補のオブジェクトを高倍観察するための高倍視野位置を特定する。前述のように低倍観察での観察倍率が２倍に対して高倍観察での観察倍率が１０倍である場合には、低倍視野領域のサイズに対して高倍視野領域のサイズは１／５になるため、低倍視野領域を縦横に５×５個の高倍視野領域に分割してタイリングすることでもよいが、本実施形態では、受精卵候補の取りこぼしを防ぐため、マージンをとって隣接する高倍視野領域についてオーバーラップする領域を設け、６×６個の高倍視野領域に基づいてタイリングを行っている。
【００４３】
図９は低倍視野領域に高倍視野領域をタイリングした状態を示しており、同図に示す低倍視野領域Ｔ内で［ｍ，ｎ］番目（１≦ｍ≦６，１≦ｎ≦６）の各タイル領域（高倍視野領域）Ｋについて左上隅の座標（ＰｏｓＸｍ，ＰｏｓＹｎ）が与えられている。受精卵候補に選別されたオブジェクトが含まれるタイル領域Ｋについては、識別子としてオブジェクト有りを示すフラグを立てる。そして、フラグがセットされたタイル領域の左上隅座標（ＰｏｓＸｍ，ＰｏｓＹｎ）に基づいて試料台（微細駆動ステージ）１５を水平面内方向に移動させて、このフラグが設定されたタイル領域Ｋについてのみ撮像装置５５によって高倍観察画像（高倍位相差画像）を順次取得し、次述する高倍観察アルゴリズムに適用させるようにする。
【００４４】
（受精卵の判別）
高倍観察アルゴリズムでは、高倍観察画像に基づいて受精卵候補の各オブジェクトに対して、上記した受精卵の属性に応じた特徴量（高倍観察に適した特徴量）を算出して得点付け（スコア算出）を行い、スコアの最も高いオブジェクトを受精卵と認識する。
【００４５】
受精卵の判別処理に先立って、高倍観察画像においても、二値化処理等の輪郭抽出手法により受精卵候補となったオブジェクトの輪郭が抽出される。高倍観察で適用される特徴量については、輪郭部の円形度及び輪郭内部のテクスチャ特徴量などが例示され、解像度の高い画像に基づいて受精卵の属性に応じた特徴をより定量的に判断するのに適したものが選択される。
【００４６】
ここで、輪郭部の円形度とは、既述した円形度と同義であり、受精卵が球形状を有することに基づく外形特徴量である。この特徴量については、円形度の高い輪郭を持つオブジェクトほど、受精卵としてのスコアを高く設定する。また、輪郭内部のテクスチャ特徴量とは、受精卵が内部構造（受精卵）を持つことで、画像的に内部テクスチャが存在することを利用した特徴量である。テクチャ特徴量としては、受精卵候補となったオブジェクトごとに、二値化処理によって抽出された輪郭内部を対象領域として、原画像（高倍観察画像）における当該対象領域内のエッジ強度（階調変化の強度）の平均値などを用いる。この特徴量については、輪郭内部のエッジ強度が高いオブジェクトほど、受精卵としてのスコアを高く設定する。このように、解像度の高い高倍観察画像を用いることで、受精卵の特徴をより定量的に捉えることができ、受精卵とそれ以外の異物とを的確に識別することができる。
【００４７】
また、高倍観察においてもオブジェクトごとに輪郭部の輝度値（輝度平均値や輝度分散値など）を算出し、既に低倍観察において算出しておいた同一ラベルのオブジェクトの輪郭部の輝度値との差分値を求めて、この差分値を高倍観察の特徴量として適用してもよい。これによれば、低倍観察と高倍観察とにおける輝度の現われ方の違いに基づいて、低倍観察の特徴量を高倍観察の特徴量に利用することができ、一貫した画像特徴の基で受精卵の識別を行うことができる。
【００４８】
このようにして得られた各特徴量に基づいて、受精卵を決定する。具体的な手法としては、例えば、各特徴量を共通のスケールに変換する正規化を行って各スコアとして求め、各スコアの総和から総合スコアを算出して、受精卵候補のオブジェクトのうちで総合スコアが最大となるオブジェクトを受精卵であると決定する。
【００４９】
以上説明したような受精卵観察の画像処理方法によれば、低倍観察に基づいて予め低倍視野領域内における受精卵候補のオブジェクトを抽出し、仮想的に低倍視野領域の全域を高倍視野領域に対応する領域に分割したときに受精卵候補のオブジェクトが含まれる分割領域についてのみ高倍観察画像を撮影し、最終的には高倍観察に基づいて受精卵候補のオブジェクトの中から受精卵を識別するため、受精卵候補の含まれない無用な領域に対する高倍観察画像の取得などを省略して受精卵を効率良く短時間で検出することができる。その際、低倍観察において顕著に現れる特徴量と、高倍観察において顕著に現れる特徴量との双方に基づいて受精卵を決定するため、受精卵の検出精度を高めることができる。
【００５０】
（アプリケーション）
次に、培養観察システムＢＳの画像処理装置１００において実行される画像解析の具体的なアプリケーションについて図１及び図１０を併せて参照しながら説明する。ここで、図１は受精卵観察の画像処理プログラムＧＰにおける処理の概要を示すフローチャート、図１０は受精卵観察の画像処理を実行する画像処理装置１００の概要構成を示すブロック図である。
【００５１】
画像処理装置１００は、撮像装置５５ｃにより観察対象の受精卵が撮影された観察画像（低倍観察画像及び高倍観察画像）を取得して記憶する画像記憶部１１０と、観察画像を解析して観察画像に写し込まれたオブジェクトの中から受精卵を識別する画像解析部１２０と、画像解析部１２０によりオブジェクトごとに算出された特徴量を各オブジェクトに付与されるラベルと対応付けて記憶する特徴量記憶部１３０と、低倍視野領域内においてタイル領域ごとに割り当てられるフラグを有するデータテーブル１４０と、画像解析部１２０により解析された判断結果を外部に出力する出力部１５０とを備え、画像解析部１２０により判断されたオブジェクトが受精卵であるか否かの識別結果を、例えば表示パネル７２に出力して表示させるように構成される。画像処理装置１００は、ＲＯＭ６２に予め設定記憶された画像処理プログラムＧＰがＣＰＵ６１に読み込まれ、ＣＰＵ６１によって画像処理プログラムＧＰに基づく処理が順次実行されることによって構成される。
【００５２】
記述したように、培養観察システムＢＳでは、観察プログラムにおいて設定された観察条件に従って、所定時間ごとに指定された培養容器１０内の受精卵観察が行われる。具体的には、ＣＰＵ６１は、搬送ユニット４の各ステージを作動させてストッカー３から観察対象の培養容器１０を観察ユニット５に搬送（本実施形態では顕微観察系５５の光軸上に配置）し、観察光学系５５ａの対物レンズ等を低倍観察用に設定した上で、第２照明部５２を用いた顕微観察系５５による低倍観察画像を撮像装置５５ｃにより撮影させる。
【００５３】
画像処理装置１００は、始めに撮像装置５５ｃにより撮影された低倍観察画像をステップＳ１において取得し、この取得した低倍観察画像を、培養容器１０のコード番号や観察位置、観察時刻などのインデックス・データとともに画像記憶部１１０に保存する。
【００５４】
ステップＳ２では、撮像装置５５ｃから取得された低倍観察画像に対し、画像解析部１２０においてガウシアンフィルタ等を用いて平滑化処理を施したボケ画像が生成された上で、画像のムラ補正を行うべく入力画像（低倍観察画像）とボケ画像との差分画像が生成される。
【００５５】
ステップＳ３では、ムラ補正された差分画像に対して分散フィルタを施すことにより画像内のエッジ等を強調させた分散値画像を生成し、これに写し込まれた複数のオブジェクトらしき像を抽出する。
【００５６】
ステップＳ４では、分散フィルタを適用させて得られたオブジェクトらしき抽出画像に対して、所定のしきい値による２値化処理等の輪郭抽出処理が実行され、各オブジェクトの輪郭が抽出される。
【００５７】
ステップＳ５では、輪郭が抽出された２値画像の各オブジェクトに対して、ラベリングが施される。ラベリング処理においては、受精卵の像の面積として適正な範囲（上下限値）が設定されており、輪郭が抽出されたオブジェクトの領域ごとに面積が算出され、この設定範囲を超える領域面積を持つオブジェクトについては受精卵の判別候補から除外し、この設定範囲内に収まる領域面積を持つオブジェクトのみについて固有のラベルをそれぞれ付与する。
【００５８】
次いで、画像解析部１２０により、ラベリングされた各オブジェクトについて、受精卵の属性に応じた特徴量がそれぞれ算出され、この特徴量に基づいて受精卵候補のオブジェクトが抽出される（ステップＳ６）。特徴量として、低倍観察において変化が顕著に現れる画像特徴量、すなわち、輪郭部の輝度値（輝度平均値や輝度分散値など）が例示される。画像解析部１２０は、オブジェクトごとに付与した固有のラベルと上記特徴量とを対応付けて特徴量記憶部１３０に記録する。また、画像解析部１２０は、オブジェクトごとに算出して特徴量記憶部１３０に記録した特徴量と予め設定されたしきい値とを比較して、しきい値によるリジェクトを行い、しきい値を満足する特徴量を持つラベルのオブジェクトのみについて受精卵候補として抽出する。
【００５９】
画像解析部１２０は、低倍視野領域を高倍視野に応じた領域に分割して得られたタイル領域に対して、受精卵候補のオブジェクトを含むタイル領域についてのみデータテーブル１４０のフラグをセットし、受精卵候補のオブジェクトを高倍観察するための高倍視野位置を特定する（ステップＳ７）。
【００６０】
ＣＰＵ６１は、データテーブル１４０にアクセスして、データテーブル１４０のフラグにより特定された高倍視野領域の左上隅座標を取り込んで、撮像装置５５ｃの高倍視野が受精卵候補のオブジェクトが存在するタイル領域に合致するように試料台１５を位置決めし、観察光学系５５ａの対物レンズ等を高倍観察用に設定した上で、高倍観察画像を撮像装置５５ｃにより順次撮影させる。
【００６１】
ステップＳ８では、画像処理装置１００は、撮像装置５５ｃにより撮影された高倍観察画像（受精卵候補が含まれる高倍観察画像）を取得し、この取得した観察画像を、培養容器１０のコード番号や観察位置、観察時刻などのインデックス・データとともに画像記憶部１１０に保存する。
【００６２】
続いて、画像解析部１２０により高倍観察アルゴリズムが適用され、受精卵候補となる各オブジェクトに対し、高倍観察画像において顕著に変化が現れる特徴量として、例えば、輪郭の円形度、及び内部テクスチャ特徴量などを算出し、オブジェクトごとに付与された固有のラベルとこの特徴量とを対応付けて特徴量記憶部に記録する。画像解析部１２０は、各特徴量に基づいてスコアを算出して、総合スコアの最も高いラベルを持つオブジェクトを観察対象の受精卵であると決定し（ステップＳ９）、最終的には、このラベルを持つオブジェクトが受精卵であるとの判定結果が出力部から出力される（ステップＳ１０）。
【００６３】
出力部１３０から出力された判定結果は、操作盤７の表示パネル７２に表示され、観察画像中で受精卵であると識別されたオブジェクトに受精卵を示す表示がされる。
【００６４】
具体的な手法として、例えば、受精卵であることを示す記号（例えば「Ｊ」）を付加して表示したり、受精卵とそれ以外の異物とを異なる色相や輝度で表示したり、異物を塗りつぶして表示したり、異物を除去した画像を表示する等により、受精卵とそれ以外の異物とを判別して表示する、などのインターフェースが例示される。なお、出力部１５０から出力される上記のような判別データを、通信部を介して外部接続されるコンピュータ等に送信して、同様の画像を表示させたり、受精卵の生育状態を観察するための基礎データとして用いたりするように構成することができる。
【００６５】
これにより、観察者は、表示パネル７２に表示された画像や外部接続されたコンピュータ等のモニタに表示された画像を参照することにより、観察中の（または既に観察画像の取得を終了した）各画像に含まれるオブジェクトが受精卵であるか否かを直ちに判断することができる。また、このようにして受精卵とそれ以外の異物とが判別されたデータを用いることにより、受精卵の生育状態を効率的に観察することが可能になる。
【００６６】
以上説明したように、本実施形態の画像処理プログラムＧＰ、この画像処理プログラムＧＰが実行されることにより構成される受精卵観察の画像処理方法及び画像処理装置１００によれば、観察対象である受精卵を高速かつ頑健に検出することを可能とした画像処理手段を提供することができる。
【符号の説明】
【００６７】
ＢＳ 培養観察システム ＧＰ 画像処理プログラム
ａ 受精卵 ５ 観察ユニット
６ 制御ユニット ７ 操作盤
５４ マクロ観察系 ５４ｃ 撮像装置
５５ 顕微観察系 ５５ｃ 撮像装置
６１ ＣＰＵ ６２ ＲＯＭ
６３ ＲＡＭ １００ 画像処理装置
１２０ 画像解析部 １４０ 出力部
【特許請求の範囲】
【請求項１】
低倍観察視野内に位置する複数の物体を撮像装置により撮影した低倍画像を取得し、
前記低倍画像に写し込まれた前記複数の物体を抽出し、
前記低倍画像中に含まれる前記複数の物体ごとに、受精卵の属性に応じた前記低倍画像の特徴量を算出して、前記低倍画像の特徴量に基づいて前記複数の物体の中から受精卵候補を抽出し、
前記低倍観察視野内の領域を高倍観察視野の大きさに応じた複数の小領域に区分けして、前記受精卵候補に選別された物体が含まれる前記小領域についてのみ、前記撮像装置により順次撮影を行って高倍画像を複数取得し、
前記複数の高倍画像中に含まれる前記受精卵候補の物体ごとに、受精卵の属性に応じた前記高倍画像の特徴量を算出して、前記高倍画像の特徴量に基づいて前記受精卵候補の物体の中から受精卵を識別することを特徴とする受精卵観察の画像処理方法。
【請求項２】
前記低倍画像の特徴量は、低倍観察において顕著に変化が現れる画像の特徴量であり、
前記高倍画像の特徴量は、高倍観察において顕著に変化が現れる画像の特徴量であることを特徴とする請求項１に記載の受精卵観察の画像処理方法。
【請求項３】
同一対象の前記特徴量について、低倍画像に基づいて算出したときの特徴量算出値と高倍画像に基づいて算出したときの特徴量算出値との差分値を、前記高倍画像の特徴量として用いることを特徴とする請求項１に記載の受精卵観察の画像処理方法。
【請求項４】
コンピュータにより読み込み可能であり、撮像装置により撮影されて画像を取得して画像処理する画像処理装置として前記コンピュータを機能させるための画像処理プログラムであって、
前記撮像装置により低倍観察視野内に位置する複数の物体を撮影した低倍画像を取得するステップと、
前記低倍画像に写し込まれた前記複数の物体を抽出するステップと、
前記低倍画像中に含まれる前記複数の物体ごとに、受精卵の属性に応じた前記低倍画像の特徴量を算出して、前記低倍画像の特徴量に基づいて前記複数の物体の中から受精卵候補を抽出するステップと、
前記低倍観察視野内の領域を高倍観察視野の大きさに応じた複数の小領域に区分けして、前記受精卵候補に選別された物体が含まれる前記小領域についてのみ、前記撮像装置により順次撮影を行って高倍画像を複数取得するステップと、
前記複数の高倍画像中に含まれる前記受精卵候補の物体ごとに、受精卵の属性に応じた前記高倍画像の特徴量を算出して、前記高倍画像の特徴量に基づいて前記受精卵候補の物体の中から受精卵を識別するステップと、
前記物体に対する識別結果を出力するステップとを
前記コンピュータに実現させることを特徴とする受精卵観察の画像処理プログラム。
【請求項５】
前記低倍画像の特徴量は、低倍観察において顕著に変化が現れる画像の特徴量であり、
前記高倍画像の特徴量は、高倍観察において顕著に変化が現れる画像の特徴量であることを特徴とする請求項４に記載の受精卵観察の画像処理プログラム。
【請求項６】
同一対象の前記特徴量について、低倍画像に基づいて算出したときの特徴量算出値と高倍画像に基づいて算出したときの特徴量算出値との差分値を、前記高倍画像の特徴量として用いることを特徴とする請求項４に記載の受精卵観察の画像処理プログラム。
【請求項７】
複数の物体を低倍率及び高倍率で撮影可能な撮像装置と、
前記撮像装置により撮影された低倍画像から前記複数の物体を抽出し、前記複数の物体の中から受精卵を識別する画像解析部と、
前記画像解析部により判断された識別結果を外部に出力する出力部とを備え、
前記画像解析部が、
低倍画像中に含まれる前記複数の物体ごとに、受精卵の属性に応じた前記低倍画像の特徴量を算出して、前記低倍画像の特徴量に基づいて前記複数の物体の中から受精卵候補を抽出するとともに、
前記低倍観察視野内の領域を高倍観察視野の大きさに応じた複数の小領域に区分けして、前記受精卵候補に選別された物体が含まれる前記小領域についてのみ、前記撮像装置により順次撮影を行わせて高倍画像を複数取得し、
前記複数の高倍画像中に含まれる前記受精卵候補の物体ごとに、受精卵の属性に応じた前記高倍画像の特徴量を算出して、前記高倍画像の特徴量に基づいて前記受精卵候補の物体の中から受精卵を識別するように構成したことを特徴とする受精卵観察の画像処理装置。
【請求項８】
前記低倍画像の特徴量は、低倍観察において顕著に変化が現れる画像の特徴量であり、
前記高倍画像の特徴量は、高倍観察において顕著に変化が現れる画像の特徴量であることを特徴とする請求項７に記載の受精卵観察の画像処理装置。
【請求項９】
同一対象の前記特徴量について、低倍画像に基づいて算出したときの特徴量算出値と高倍画像に基づいて算出したときの特徴量算出値との差分値を、前記高倍画像の特徴量として用いることを特徴とする請求項７に記載の受精卵観察の画像処理装置。
【請求項１】
低倍観察視野内に位置する複数の物体を撮像装置により撮影した低倍画像を取得し、
前記低倍画像に写し込まれた前記複数の物体を抽出し、
前記低倍画像中に含まれる前記複数の物体ごとに、受精卵の属性に応じた前記低倍画像の特徴量を算出して、前記低倍画像の特徴量に基づいて前記複数の物体の中から受精卵候補を抽出し、
前記低倍観察視野内の領域を高倍観察視野の大きさに応じた複数の小領域に区分けして、前記受精卵候補に選別された物体が含まれる前記小領域についてのみ、前記撮像装置により順次撮影を行って高倍画像を複数取得し、
前記複数の高倍画像中に含まれる前記受精卵候補の物体ごとに、受精卵の属性に応じた前記高倍画像の特徴量を算出して、前記高倍画像の特徴量に基づいて前記受精卵候補の物体の中から受精卵を識別することを特徴とする受精卵観察の画像処理方法。
【請求項２】
前記低倍画像の特徴量は、低倍観察において顕著に変化が現れる画像の特徴量であり、
前記高倍画像の特徴量は、高倍観察において顕著に変化が現れる画像の特徴量であることを特徴とする請求項１に記載の受精卵観察の画像処理方法。
【請求項３】
同一対象の前記特徴量について、低倍画像に基づいて算出したときの特徴量算出値と高倍画像に基づいて算出したときの特徴量算出値との差分値を、前記高倍画像の特徴量として用いることを特徴とする請求項１に記載の受精卵観察の画像処理方法。
【請求項４】
コンピュータにより読み込み可能であり、撮像装置により撮影されて画像を取得して画像処理する画像処理装置として前記コンピュータを機能させるための画像処理プログラムであって、
前記撮像装置により低倍観察視野内に位置する複数の物体を撮影した低倍画像を取得するステップと、
前記低倍画像に写し込まれた前記複数の物体を抽出するステップと、
前記低倍画像中に含まれる前記複数の物体ごとに、受精卵の属性に応じた前記低倍画像の特徴量を算出して、前記低倍画像の特徴量に基づいて前記複数の物体の中から受精卵候補を抽出するステップと、
前記低倍観察視野内の領域を高倍観察視野の大きさに応じた複数の小領域に区分けして、前記受精卵候補に選別された物体が含まれる前記小領域についてのみ、前記撮像装置により順次撮影を行って高倍画像を複数取得するステップと、
前記複数の高倍画像中に含まれる前記受精卵候補の物体ごとに、受精卵の属性に応じた前記高倍画像の特徴量を算出して、前記高倍画像の特徴量に基づいて前記受精卵候補の物体の中から受精卵を識別するステップと、
前記物体に対する識別結果を出力するステップとを
前記コンピュータに実現させることを特徴とする受精卵観察の画像処理プログラム。
【請求項５】
前記低倍画像の特徴量は、低倍観察において顕著に変化が現れる画像の特徴量であり、
前記高倍画像の特徴量は、高倍観察において顕著に変化が現れる画像の特徴量であることを特徴とする請求項４に記載の受精卵観察の画像処理プログラム。
【請求項６】
同一対象の前記特徴量について、低倍画像に基づいて算出したときの特徴量算出値と高倍画像に基づいて算出したときの特徴量算出値との差分値を、前記高倍画像の特徴量として用いることを特徴とする請求項４に記載の受精卵観察の画像処理プログラム。
【請求項７】
複数の物体を低倍率及び高倍率で撮影可能な撮像装置と、
前記撮像装置により撮影された低倍画像から前記複数の物体を抽出し、前記複数の物体の中から受精卵を識別する画像解析部と、
前記画像解析部により判断された識別結果を外部に出力する出力部とを備え、
前記画像解析部が、
低倍画像中に含まれる前記複数の物体ごとに、受精卵の属性に応じた前記低倍画像の特徴量を算出して、前記低倍画像の特徴量に基づいて前記複数の物体の中から受精卵候補を抽出するとともに、
前記低倍観察視野内の領域を高倍観察視野の大きさに応じた複数の小領域に区分けして、前記受精卵候補に選別された物体が含まれる前記小領域についてのみ、前記撮像装置により順次撮影を行わせて高倍画像を複数取得し、
前記複数の高倍画像中に含まれる前記受精卵候補の物体ごとに、受精卵の属性に応じた前記高倍画像の特徴量を算出して、前記高倍画像の特徴量に基づいて前記受精卵候補の物体の中から受精卵を識別するように構成したことを特徴とする受精卵観察の画像処理装置。
【請求項８】
前記低倍画像の特徴量は、低倍観察において顕著に変化が現れる画像の特徴量であり、
前記高倍画像の特徴量は、高倍観察において顕著に変化が現れる画像の特徴量であることを特徴とする請求項７に記載の受精卵観察の画像処理装置。
【請求項９】
同一対象の前記特徴量について、低倍画像に基づいて算出したときの特徴量算出値と高倍画像に基づいて算出したときの特徴量算出値との差分値を、前記高倍画像の特徴量として用いることを特徴とする請求項７に記載の受精卵観察の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図１０】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図１０】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１１−４６３８（Ｐ２０１１−４６３８Ａ）
【公開日】平成２３年１月１３日（２０１１．１．１３）
【国際特許分類】
【出願番号】特願２００９−１５０１１５（Ｐ２００９−１５０１１５）
【出願日】平成２１年６月２４日（２００９．６．２４）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２３年１月１３日（２０１１．１．１３）
【国際特許分類】
【出願日】平成２１年６月２４日（２００９．６．２４）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]