細菌コロニーの釣菌方法及び釣菌装置
【課題】検体から培養した細菌コロニーを多数釣菌する装置において，培養したシャーレより釣菌する細菌コロニーを自動，あるいは半自動的に決定する方法で、シャーレ上には複数種の細菌コロニーが存在し，例えば薬剤耐性を測定する場合に，異なる種類の細菌コロニーを混在させて釣菌すると正確な薬剤耐性を判定することができる方法を提供する。
【解決手段】複数方向から照明した画像より孤立したコロニーを自動抽出４０２し，また，この複数方向から照明した複数の画像より画像特徴量を算出４０４して特徴量に基づきグルーピングを行い，このグルーピング結果に基づいて釣菌するコロニーを決定４１１する。
【解決手段】複数方向から照明した画像より孤立したコロニーを自動抽出４０２し，また，この複数方向から照明した複数の画像より画像特徴量を算出４０４して特徴量に基づきグルーピングを行い，このグルーピング結果に基づいて釣菌するコロニーを決定４１１する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はシャーレで培養した細菌コロニーを釣菌する方法及び装置に関する。
【背景技術】
【０００２】
検体に対する細菌検査においては、細菌をシャーレ内の発育培地で培養し，この細菌を釣菌する方法が用いられている。この方式では一般に発育培地に細菌の懸濁液を塗沫し，恒温槽にて培養した後，光学的に目視観察を行い，目的とする細菌コロニーを釣菌する。釣菌された細菌は，抗生物質に対する耐性を調べるＡＳＴ（Antimicrobial Susceptibility Test：薬剤感受性検査）に用いられる。細菌の抗生物質に対する耐性を試験する方法としては、例えば特許文献１に詳しく記載されている。ＭＩＣ（Minimum Inhibitory Concentration：最小発育阻止濃度）法では，ＡＳＴにおいてメジャーな方法で，異なる濃度の薬剤を含んだ複数の培地に採取された細菌を塗布し細菌の発育を見ることで，細菌の発育を抑える薬剤の最低濃度を測る手法である。
【０００３】
一方、特許文献２には，コロニートランスファー装置として、シャーレ内の細菌コロニーをテレビカメラで撮像し、モニタに映し出された画像を検査員が目視にて確認し、釣菌するコロニーを選択し指示することでそのコロニーの位置にピックアップを自動的に移動させ、細菌コロニーを釣菌し、試験管等に移植することが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開昭６３−３２４７７号公報
【特許文献２】特開昭５９−１１１７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ＭＩＣ法のようなＡＳＴを実施するには，ある一定量の細菌が必要であるため、シャーレ内に形成された細菌コロニーを多数釣菌する必要がある。これは，比較的小さなコロニーも釣菌しなければシャーレ内に培養してから釣菌するまでに長時間が必要となってしまうことになり，短時間での培養は困難であった。
【０００６】
また、ＭＩＣ法においては、釣菌した全てのコロニーの細菌種が同一でなければ正確な抗生物質の耐性を試験することはできないが、これまでは複数の検査員の目視結果に依存しており、トレーサビリティが得られないという課題があった。加えて、ばらつく恐れがある目視判断を安定化させるためには検査員を少数にするのが望ましいが，同時間あたりに処理可能な検体数とのトレードオフになってしまう。さらに，ＡＳＴは同種細菌を一定量釣菌する必要あり，この時他の細菌種を混在（コンタミ）して釣菌してしまうと，正確な薬剤耐性は得ることができないため、自動釣菌を実現するためには，高精度な分類機能を実現する必要がある。
【０００７】
一方、特許文献２に記載されているコロニートランスファー装置として、シャーレ内の細菌コロニーをテレビカメラで撮像し、モニタに映し出された画像を検査員が目視にて確認し、釣菌するコロニーを選択し指示することでそのコロニーの位置にピックアップを自動的に移動させ、細菌コロニーを釣菌し、試験管等に移植する上述の方式では、検査員がテレビカメラを確認して釣菌するコロニーをひとつずつ選択していたため，検査員の作業工数はさほど減少させられない。また、検査員の作業工数の削減を実現するには目視判断の工程を自動化する必要があるが，ＡＳＴはコンタミを可能なかぎり防がなくてはならないため，検査員の判断と同等レベルの分類機能または高速でコロニーを選別できるシステムが必要となる。コロニーは培養時間・培地・検体・菌株など様々な要因によって外観が多様に変化するため，高精度な自動分類機能を達成するのは非常に困難であった。
【０００８】
本発明は、簡易な操作で高精度に分類可能な細菌コロニーの釣菌方法及び釣菌装置を提供するものである。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本願において開示される発明のうち代表的なものの概要を簡単に説明すれば、次のとおりである。
（１）容器に収納された培養培地上に培養した細菌コロニーを照明する照明手段と、前記照明手段により照明された前記細菌コロニーを撮像して複数の画像を取得する撮像手段と、前記撮像手段により取得された前記複数の画像から複数の細菌コロニーを抽出し、前記抽出された複数の細菌コロニーの画像からそれぞれ算出される特徴量に基づいて、前記抽出された複数の細菌コロニーの分類及び孤立判定を行う画像処理手段と、前記画像処理手段により分類された前記複数の細菌コロニーと、前記画像処理手段により孤立判定され前記複数の細菌コロニーの中から選択された釣菌候補の細菌コロニーと、を表示する表示手段と、前記釣菌候補の細菌コロニーの少なくとも一つを釣菌する釣菌手段と、を有することを特徴とする細菌コロニーの釣菌装置である。
（２）（１）記載の細菌コロニーの釣菌装置であって、さらに、予め複数のパラメータレシピが格納された記憶手段と、前記容器に収納された培地情報を少なくとも含む情報を前記画像処理手段に送信する情報入力手段と、を有し、前記画像処理手段は、前記情報入力手段により送信された前記容器に収納された培地情報を少なくとも含む情報に基づいて選択された前記複数のパラメータレシピの少なくとも一つを用いて、前記複数の細菌コロニーの分類を行うことを特徴とする細菌コロニーの釣菌装置である。
（３）（２）記載の細菌コロニーの釣菌装置であって、前記画像処理手段は、前記予め格納された複数のパラメータレシピの中から選択された二以上のパラメータレシピ各々を用いて、前記複数の細菌コロニーの分類を行い、前記表示手段は、前記選択された二以上のパラメータレシピ各々により分類された複数の結果を表示することを特徴とする細菌コロニーの釣菌装置である。
（４）（１）記載の細菌コロニーの釣菌装置であって、前記画像処理手段は、前記複数の画像から前記複数の細菌コロニーを抽出するコロニー抽出手段と、前記抽出された複数の細菌コロニー間の距離を計測するコロニー間距離計測手段と、前記抽出された複数の細菌コロニーの画像からそれぞれ算出される特徴量を算出する特徴量算出手段と、前記複数の細菌コロニーの画像からそれぞれ算出される特徴量と前記計測された複数の細菌コロニー間の距離とに基づいて、前記複数の細菌コロニーの孤立判定を行う孤立判定手段と、前記複数の細菌コロニーの画像からそれぞれ算出される特徴量に基づいて、前記複数の細菌コロニーを分類するコロニー分類手段と、前記孤立判定された細菌コロニーと前記分類された結果に基づき、釣菌候補を選択する釣菌候補選択手段と、を有することを特徴とする細菌コロニーの釣菌装置である。
（５）複数の方位と仰角からの照明でシャーレを撮影し画像を取得することができる検出光学系と，コロニー抽出部で画像からコロニー領域を抽出し，特徴量算出部で個々のコロニーの外観や色の特徴データを算出し，孤立コロニー判定部でコロニーの孤立度合いを算出し，コロニー分類部で教示情報として既に持っているパラメータレシピと孤立度合いの低いコロニーの特徴データ分布からグルーピングを行い，釣菌コロニー候補選択部で孤立度合いと特徴データから釣菌対象となるコロニーを選択することができるフローをもつ画像処理機構と，ユーザーはグルーピング結果と釣菌対象のコロニーを確認することができ，ユーザーからの修正情報を入力でき，分類結果をリアルタイム表示反映するGUIで構成された装置である。
（６）容器に収納された培養培地上に培養した細菌コロニーを照明するステップと、前記照明された前記細菌コロニーを撮像して複数の画像を取得するステップと、前記取得された前記複数の画像から複数の細菌コロニーを抽出し、前記抽出された複数の細菌コロニーの画像からそれぞれ算出される特徴量に基づいて、前記抽出された複数の細菌コロニーの分類及び孤立判定を行うステップと、前記分類された前記複数の細菌コロニーと、前記孤立判定され前記複数の細菌コロニーの中から選択された釣菌候補の細菌コロニーと、を表示手段に表示するステップと、前記表示された釣菌候補の細菌コロニーのうち少なくとも一つを釣菌するステップと、を有することを特徴とする細菌コロニーの釣菌方法である。
（７）（６）記載の細菌コロニーの釣菌方法であって、前記抽出された複数の細菌コロニーの分類及び孤立判定を行うステップでは、前記容器に収納された培地情報を少なくとも含む情報に基づいて選択された複数のパラメータレシピ各々を用いて、前記複数の細菌コロニーの分類を行い、前記表示するステップでは、前記選択された複数のパラメータレシピ各々により分類された複数の結果を表示することを特徴とする細菌コロニーの釣菌方法である。
【発明の効果】
【００１０】
本発明によれば、簡易な操作で高精度に分類可能な細菌コロニーの釣菌方法及び釣菌装置を提供することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】実施例に関する自動釣菌装置システムの全体構成例を示す図である。
【図２Ａ】実施例における照明系の概略の構成を示す正面図である。
【図２Ｂ】実施例における照明系の概略の構成を示す平面である。
【図３Ａ】実施例における照明系の他の例の概略の構成を示す正面図である。
【図３Ｂ】実施例における照明系の他の例の概略の構成を示す平面である。
【図４】実施例における画像処理のフローチャートを示す図である。
【図５】実施例の検出系による細菌コロニーの撮影画像の照明条件と細菌コロニー形状との関係を示す図である。
【図６】実施例の検出系による細菌コロニーの撮影画像である。
【図７】実施例の検出系による細菌コロニーの撮像画像の明度プロファイルを示すグラフである。
【図８Ａ】実施例における（ａ）透過照明による撮像画像と（ｂ）透過照明方向を示すシャーレの断面図である。
【図８Ｂ】実施例における（ａ）低角照明による撮像画像と（ｂ）低角照明方向を示すシャーレの断面図である。
【図８Ｃ】実施例における（ａ）高角照明による撮像画像と（ｂ）高角照明方向を示すシャーレの断面図である。
【図９Ａ】コロイドを含む成分が添加された培地の場合での、実施例における（ａ）透過照明による撮像画像と（ｂ）培地での透過照明の散乱などを示す図である。
【図９Ｂ】コロイドを含む成分が添加された培地の場合での、実施例における（ａ）上方照明による撮像画像と（ｂ）培地での上方照明による内部拡散などを示す図である。
【図１０】実施例における（ａ）孤立コロニー間の距離と（ｂ）複数のコロニーが結合したコロニー領域と孤立コロニーとの間の距離を説明する図である。
【図１１】実施例における細菌コロニーの画像特徴量を抽出する手順を示すフロー図である。
【図１２】実施例における各種非孤立コロニーの説明図である。
【図１３】実施例における細菌コロニーの分類方法を説明する（ａ）データベース、（ｂ）データベースのインデックスの一例を示す表、（ｃ）特徴ベクトルの分布を示すグラフ、である。
【図１４Ａ】実施例における細菌コロニー特徴量空間での分布の一例を示すグラフである。
【図１４Ｂ】実施例における細菌コロニーが分布しているシャーレの画像である。
【図１５】実施例におけるクラスタリング方式の一例を示し、（ａ）孤立コロニーのみの判定結果のグラフ、（ｂ）孤立コロニー及び準孤立コロニーの判定結果のグラフ、である。
【図１６】実施例における（ａ）孤立判定されたコロニーの特徴量ベクトル分布を示すグラフ、（ｂ）最終的な選択結果まで表したコロニーの特徴量ベクトル分布を示すグラフ、である。
【図１７】実施例におけるＧＵＩ表示の一例を示す図である。
【図１８】実施例における分類結果修正の一例を示し、（ａ）特徴量重み付けによる変化前の分類結果、（ｂ）特徴量重み付けによる変化後の分類結果、である。
【図１９】実施例におけるパラメータレシピとこれによる処理結果の一例を示す図である。
【図２０】照明系の他の実施例を示す図である。
【図２１】実施例における細菌コロニー候補領域を抽出する手順を示すフロー図である。
【図２２】実施例における細菌コロニーの明度プロファウルを説明するグラフである。
【発明を実施するための形態】
【００１２】
以下、本発明の実施例について、図を用いて説明する。
【実施例１】
【００１３】
本発明に係る自動釣菌装置の全体構成を図１に示す。シャーレ107内の培養された細菌コロニーの画像を取得する装置構成は、シャーレ107内の細菌コロニーを上方から照明する照明ユニット（低角照明ユニット101、高角照明ユニット102）と、光学的に透明なシャーレ107に対して下方からシャーレ107を透過させて照明する透過照明ユニット104と、照明された細菌コロニーを撮像した画像を取得するカメラ等の撮像手段103と、を適宜用いて構成される。ここで、シャーレ107内には細菌の培地があり、その上には検査対象となる検体を寒天に塗布し、インキュベータに入れ24H〜48H程度培養した細菌コロニーが培養されている。
【００１４】
シャーレ107は台座106によって載置され、台座106のシャーレ107が載置された面と透過照明ユニット104との間には、出し入れ可能な遮光板105が配置される。なお、台座106としては、可視光を透過する透明アクリル板やガラス等を用いればよい。また、遮光板105としては、反射係数がなるべく低い拡散反射板などを用いるのが望ましく、可動絞りや液晶シャッター等を用いても構わない。可動絞りの場合には表面がつや消しの黒塗り処理し、液晶の場合には反射防止処理を施しておくのが望ましい。なお、後述の光学系制御ユニット108により、透過照明ユニット104が点灯する際には照明光がシャーレ107を照明可能なように設定されて、また、上方からの照明ユニット（低角照明ユニット101、高角照明ユニット102）が点灯する際にはシャーレ107が暗くなるように設定される。これにより、一般のシャーレ107の底面に印刷されている文字等の顕在化の抑制が可能となる。
【００１５】
光学系制御ユニット108は、低角照明ユニット101、高角照明ユニット102、透過照明ユニット104を任意の組み合わせで照明の点灯・消灯・強度変更が可能であり、カメラ等の撮像手段103における撮像・露光量の変更や遮光板105の出し入れなどを制御することも可能である。また、光学系制御ユニット108は撮像手段103により撮像された画像情報を取得する画像入力手段としても機能するが、光学系制御ユニット108とは別に画像入力手段を設けても構わない。
【００１６】
画像処理ユニット109は、光学系制御ユニット108により取得した複数の画像から細菌コロニー領域の抽出や、各細菌コロニーの画像から画像特徴量の計算や孤立判定・分類などによるグルーピングを行う。ここで、特徴量とは、例えばコロニーの面積や周囲長、色情報、明度情報、背景明度、輝度、彩度などを定量化したもので構成される。撮像手段103により取得された複数の画像は光学系制御ユニット108を経由し、画像処理ユニット109内の画像取得手段126が受け取る。画像処理ユニット109内には、画像取得手段126のほかに、コロニー抽出手段127、コロニー間距離計測手段128、特徴量算出手段129、孤立判定手段130、コロニー分類手段131、釣菌候補選択手段132、釣菌対象決定手段133を有し、これらの手段により後述するステップにて、グルーピングされた釣菌対象のコロニーを認識する。シャーレ情報入力ユニット110では，シャーレに印字されたバーコードを読み取り，検体や培地の種類などの情報を画像処理ユニット109へ入力することができる。二次記憶装置111では，装置が撮像して取得した画像或いは処理した画像、データ、コロニー位置、面積などの情報や、事前・事後に学習したパラメータのレシピなどを保存することができる。
【００１７】
ＧＵＩ112は、撮像した画像、コロニー抽出結果，孤立コロニー判定結果，コロニーの分類結果，特徴量のヒストグラムなどを表示する。分類結果などを修正したい場合には，ＧＵＩを介してパラメータの変更や教示情報をユーザーが入力することができる。情報を新たに入力し修正された結果はリアルタイムにＧＵＩに表示を行う。なお，このＧＵＩで確認するモード以外に，自動運転モードも設け，自動運転モードの場合には，検査員に確認をとらずに，システムが選択したコロニーをそのまま釣菌させるようにする。
【００１８】
シャーレの搬送手段113は、撮像されたシャーレ107をスタッカー114に格納するものであり、シャーレの搬送は，画像処理ユニット109でのグルーピング後，もしくはグルーピングの前に行っても良い。検査員によるグルーピング結果の確認作業を必要とする場合，この作業時間は比較的長い時間を要する場合が多いため，装置のスループットを上げるためには，画像の撮影が終了したら，検査員の確認作業を待たずに次のシャーレの画像入力作業を行い，これと並行して検査員が既に取得された画像を用いてグルーピング結果の確認，修正，釣菌するコロニーの決定等を行うのが望ましい。同様に、搬送手段115もスタッカー114に格納されているシャーレ125を搬送するものであり、スタッカー114から釣菌エリアに搬送するために用いられる。
【００１９】
シャーレ107内の細菌コロニーから所望コロニーを釣菌する装置の構成は、コロニーをピックアップする釣菌針117と、釣菌針117を走査させるためのZステージ118及びXYステージ119と、シャーレ125を上方から照明する上方照明ユニット121及び下方からシャーレ125を透過して照明する透過照明ユニット120と、照明された細菌コロニーを撮像した画像を取得するカメラ等の撮像手段122と、を適宜用いて構成される。ここで、釣菌針117を走査させるZステージ118及びXYステージ119や前述の搬送手段113,115はステージコントロールユニット116により制御される。
【００２０】
スタッカーから搬送されたシャーレ125は透過照明ユニット120と上方照明ユニット121で照明し，その画像を122のカメラ等の撮像手段を用いて画像を撮影可能になっており，この撮影した画像は光学系制御ユニット108の画像入力手段を介して取り込むことができる。光学系制御ユニット108に入力した画像は，画像処理ユニット109においてカメラ103で取得した画像との比較が行われ，同一のシャーレがスタッカー114を介して搬送される際の位置ずれが補正される。例えば，撮像手段103の撮像画像をI0，撮像手段122の撮像画像をI1とする。なお，撮像画像I0と撮像画像I1は２つの光学系において最も照明の条件が一致するように撮影する。シャーレの背景を黒く設定することにより，シャーレは明るく撮影されるため，二値化処理によりシャーレ領域を抽出することが可能である。これを撮像画像I0と撮像画像I1それぞれの画像において求め，シャーレの回転中心を概略合わせる。撮像画像I0と撮像画像I1のそれぞれにおいて，SURFなどの回転不変な特徴点検出を行い，撮像画像I0と撮像画像I1との間で検出された特徴点の対応関係を求める。得られた特徴点の対応関係から，ICPアルゴリズムなどによってこれらの画像間のずれを修正する回転パラメータRと並進パラメータTを求め釣菌時の座標を求める。なお，座標あわせ方式は一実施例であり，この他に画像のフーリエ変換を用いて回転のズレ量を算出する手法や，正規化相関演算を用いたもの等他の手法を採用しても良い。
【００２１】
釣菌後の釣菌針117が走査される範囲内又は別途設けた位置には、複数のウェルを有するマイクロプレート123が配置されている。各ウェルには、例えばMuller Hinton培養液にCaイオン 50mg/l，Caイオン25mg/ｌおよび細菌の耐性を評価する薬剤をそれぞれのウェルにて異なる濃度になるように添加してある。この液体培地はこれ以外のものを用いても良いし，また，固体培地にすることも可能である。Zステージ118及びXYステージ119を制御することで，シャーレ125内の釣菌すべき細菌の座標に釣菌針117を移動し，コロニーをピックアップする。コロニーをピックアップするには，釣菌針の取り付け位置に力センサーを組み込み，釣菌針が固体培地に接触するポイントを感知できるようにするのがよい。この後，生理食塩水又は液体培地などの液体の入った容器に釣菌した細菌コロニーを入れる。この動作を数個の細菌コロニーに対して実施して，細菌コロニーの濃度が設定値を超える等で十分になった後，生理食塩水などの懸濁した液体124を用いてマイクロプレート123のいずれかのウェルにコロニーを入れる。なお、釣菌針117は異なるコロニー種をピックアップする毎に異なるものに変更できるようにしておく。シャーレ内に形成するコロニーの量が不足し，１つのシャーレでは，マイクロプレート123にある，設定したウェルの数すべてで菌を培養できない場合には，検体の細菌を複数のシャーレで培養，複数のシャーレよりある特定の細菌種を決定し，その複数のシャーレから１つのマイクロプレートに菌を移すようにすればよい。これにより，比較的短い培養時間であっても，ＭＩＣ法を実行することが可能になる。このように複数のシャーレの撮像画像により，釣菌するコロニーを選択する場合には，ＧＵＩ112において，同一の検体の複数のシャーレ画像が容易に表示できるようにしておく。
【００２２】
次に、各構成の詳細について説明する。
図２Ａ及び図２Ｂは、低角照明ユニット101及び高角照明ユニット102の照明手段を側面及び上面からみた構成例を示す。低角照明ユニット101は４つの分割光源2011，2012，2013，2014で構成されており，光学系制御ユニット108を用いて個別に点灯制御を行うことができる。高角照明ユニット102は、同様に、４つの分割光源2021，2022，2023，2024で構成され，これらも光学系制御部ユニット108により個別に点灯制御を行うことができる。細菌コロニー表面は比較的滑らかであるため，照明をあてることにより，直接反射をする箇所が明るく撮影される。
【００２３】
図２に示すように，方位毎に照明を行うことにより，照明とコロニーの中心とカメラ光軸を含む面における明度を求められる。細菌コロニーの詳細な形状を求める場合には，光学系制御ユニット108を制御して分割光源2011，2012，2013，2014をそれぞれ１つずつ照明した画像を4回，更に，分割光源2021,2022,2023,2024をそれぞれを１つずつ照明した画像を4回の計8回撮影するのが望ましい。しかし，撮影時間を短縮するには，この幾つかを同時に照明して撮影するのが望ましい。一方，撮影時間を短縮するために，例えば，分割光源2011，2012，2013，2014を同時に照明した画像を1枚，分割光源2021,2022,2023,2024を同時に照明した画像を1枚の計2枚の画像でも良い。
【００２４】
直接反射光を検出すると，その近傍の細菌コロニーの色情報が失われてしまうという課題がある。細菌コロニーを種類別に分別するには，色情報が重要である。そこで，われわれは低角照明においては，直接反射光がなるべく検出されないような角度を選択することとした。低角照明ユニット101の照明は，シャーレの端で最も高い角度のθになるが，評価の結果，ほとんどのコロニーで直接反射光の影響を受けずに色情報を取得できるθが45°以下の角度とするのが望ましい。
【００２５】
また，高角の照明においてもシャーレの端部において，最も高角度，θ２で照明することになるが，この角度が80°を超えると，培地によってはシャーレの端において，表面張力によって培地が傾き，この培地自体が直接反射で明るく検出される場合があることがわかった。そこで，高角照明は最も高角度な照明であっても，照明角度が80°を超えないように設定するのが望ましい。
【００２６】
このように照明角を設定することにより，分割光源2011, 2012, 2013, 2014よりなる低角の照明では，ほとんどの場合，直接反射光を検出することは無いため，１つずつ照明しても得られる情報量としては多くない。このため，低角の照明はすべての方位から同時照明して撮影することが，撮影時間を短くするという観点で望ましい。なお、全方位同時照明でなくとも、ユーザの選択等により決定された任意の複数の方位から同時照明して撮像するようにしても構わない。図３は図２とほぼ同一の構成を線状の照明で構成したものである。低角照明ユニット101の照明を分割光源3011，3012，3013，3014，高角照明ユニット102の照明を分割光源3021，3022，3023，3024を用いて構成している。このそれぞれが光学系制御ユニット108を用いて個別に点灯制御を行うことができる。ここで、図２及び図３では、低角照明ユニット及び高角照明ユニットの分割光源として、それぞれ４つずつ設けた例を示したが、これに限られず、任意の複数の分割光源を用いて各照明ユニットを構成してもよい。更に、低角照明ユニットと高角照明ユニットの組み合わせに限られず、これらの間の角度の位置に中角照明ユニットを設けて、角度検出分解能を向上させるように構成しても構わない。
【００２７】
コロニーの直接反射光をもとに分類を行うことを考慮すると，シャーレ107のいずれの位置においてもコロニーのほぼ同一の法線方向からの直接反射光を検出する必要がある。しかし，シャーレは通常，φ90mm程度であり，これを実現するためには，高角照明ユニット102，カメラ等の撮像手段103をシャーレから大きく離す必要がある。この離す必要のある間隔を出来るだけ小さくするためには，カメラをテレセントリック光学系にしても良い。この方式にすることで，撮像系のレンズとシャーレ間の距離を縮めることができる。
【００２８】
また，照明系に関しては，高角照明ユニット102をLED多数の集合として，各LEDにマイクロレンズを設け，比較的平行光にするといった方法を採用することで，照明とシャーレとの位置を短くすることができる。また，その他の構成としては図２０に示す方法もある。2001と2003は光源であり，2002と2004はそれぞれ放物面鏡であり、光源2001と光源2003とはそれぞれ放物面鏡2002と放物面鏡2004との焦点位置に配置されている。これにより光源2001と光源2003とからそれぞれ放物面鏡2002と放物面鏡2004とに向けて発射した光はこれらの放物面鏡で反射されて平行光となってシャーレ107に照射される。その結果、シャーレ107の任意の位置において，ほぼ同一の方向から照明することができるようになる。なお、ミラーとしては放物面鏡2002,2004に限られず、球面鏡などを適宜用いても構わない。
【００２９】
ここで、図４で示す画像処理ユニット109の内部フローについて、画像処理ユニット109内に設けられた各機能手段を用いて説明する。光学系制御ユニット108から送られてきた複数枚の画像は画像取得手段126にて受信する(ステップ401)。取得された複数枚の画像はコロニー抽出手段127に送られ，複数枚の画像を組み合わせることでシャーレ全体のコロニー領域を抽出する(ステップ402)。画像の組み合わせ方は，シャーレ情報入力ユニット110より得られた培地の種類によって決定される。例えば，可視光を透過するトリプチケースソイ寒天培地などは，透過照明ユニット104によって照らされたシャーレの画像中に存在するコロニーの領域は周辺より明度が著しく低い。そのため抽出の際，他の照明の画像よりも透過照明画像の重みを大きくして領域を求める。対して，可視光が内部で散乱する血寒天培地などは，透過照明からの可視光が培地を透過しないためコロニー領域が顕在化されないが，低角・高角照明によって照らされたシャーレ画像は培地領域の明度が低くコロニー領域の明度が顕在化されることが多いため，コロニー抽出を行う際はこれらの上方照明の画像の重みを大きくして領域を求める。
【００３０】
次に、コロニー間距離計測手段128にて、コロニー抽出手段127で抽出された個々のコロニー領域とそれらに近接するコロニーとの距離を求める（ステップ403）。一方、特徴量算出手段129では，コロニー抽出手段127によって判定された個々のコロニーの面積や周囲長、輝度、彩度といった特徴量を算出する（ステップ404）。孤立判定手段130では、抽出されたコロニーに対してコロニー間距離計測手段128で得られたコロニー間距離と特徴量算出手段129で得られた外観特徴量から、孤立して形成されたコロニーかどうかを判定する（ステップ405）。孤立判定手段130での孤立判定は，コロニー間距離がある閾値以上であること，かつ2個以上のコロニーが結合していないことを基準としてなされる。前者の条件は，コロニー間距離計測手段128で得られた値が閾値以上かどうかを判定するだけでよい。後者の条件は、特徴量算出手段129で算出された特徴量を統合的に処理し判断する必要がある。例えば、同径の2個のコロニーが密に結合した場合は，結合部分が括れた楕円形状を持つことが多いため，モーメント特徴を求め，コロニー形状の長軸と短軸を算出しそのアスペクト比で判定すればよい。しかし，同径のコロニー3個以上や大小の2個のコロニーが結合した場合は，この条件では判定できない。そのため、得られた特徴量から教示学習を用い統合的な判断を行う。
【００３１】
さらに、孤立判定手段130は２つのパラメータセットを持つ。１つのパラメータセットは釣菌してもコンタミする可能性が低いコロニーだけを孤立判定する。このパラメータによって判定されたコロニーの情報は釣菌候補選択手段132に送信される。残りのパラメータセットは，分類時に使用する多量のサンプルデータを得るため，先のパラメータセットに比べ緩い判定条件に設定しており、孤立コロニーと分類時に使える準孤立コロニーを判定する。釣菌用のパラメータによる結果と分類用のパラメータによる結果とはＧＵＩ112に同時に表示され、ユーザーはこれを見ながら両パラメータを修正することが可能である。このパラメータセットによって判定されたコロニーの情報はコロニー分類手段131へ送信される。
【００３２】
コロニー分類手段131では，孤立判定手段130で判定された孤立コロニーと特徴量算出手段129で算出した特徴量ベクトルの分布、シャーレ情報入力ユニット110より得られた情報を適宜用いて，教示分類もしくはクラスタリング手法によってコロニーのグルーピングを行う（ステップ406）。シャーレ上に多量の孤立コロニーが形成していても，検査に必要なコロニー量だけ採取すればいいため，すべてのコロニーを釣菌する必要はない。そこで、釣菌候補選択手段132では，孤立判定手段130における孤立判定でコンタミ可能性が少ないコロニーや，コロニー分類手段131におけるグルーピング結果におけるグループの中心付近のコロニーに絞り込み、釣菌候補を選択する（ステップ407）ことで，最終的な釣菌精度を高める。コロニーの分類結果と釣菌候補選択結果はＧＵＩ112にマーキング付きのシャーレ画像として表示され（ステップ408），ユーザーは結果を確認することができる。ここで、釣菌対象のコロニーが釣菌候補として選択されなかった場合や、逆に釣菌対象にならないコロニーを釣菌対象にならないコロニーを釣菌対象として多く判定した場合には、必要に応じて、ユーザーがその結果を修正することができる。若干の修正であれば釣菌候補選択手段132のパラメータを、大幅に修正したい場合は孤立判定手段130のパラメータを修正すればよく、ＧＵＩ112を介してユーザからのこれらの修正の入力を受けた場合には、再度計算され、釣菌候補選択手段132で釣菌候補の選択がなされる（ステップ409）。さらに、分類結果に対して間違ってグルーピングされたコロニーがある場合には、必要に応じて、ユーザーがＧＵＩ112でこのコロニーを選択し、ユーザーからの分類修正の入力を受けてコロニー分類部406で再度分類の計算がなされる(ステップ410)。また、分類対象となるコロニー中に分類結果に大きく影響を与える不適切なコロニーが含まれている場合には、必要に応じて、ユーザーからの修正の入力を受けて孤立判定手段130のパラメータが修正され、分類結果が修正される(ステップ410)。ＧＵＩ112にて修正の入力が無ければ、釣菌対象決定手段133にて最終的な釣菌対象が決定され、決定情報が釣菌対象決定手段133から二次記憶装置111に送信されて保存される（ステップ411）。
【００３３】
図５は各照明による細菌コロニー特徴の顕在化の状態を示すものである。高角照明では反射光の位置によりその反射光の位置の細菌コロニーの角度を求めることができる。直接反射光を得た細菌コロニーの位置において細菌コロニーの法線方向は、反射光位置からカメラレンズ方向への単位ベクトルVcと反射光位置から照明への単位ベクトルViを用いて(Vc+Vi)/2であらわされる。コロニーが平らであれば，この反射光を検出した位置がコロニー中心付近であり，反射光位置がコロニー近傍であればコロニーは培地から高さを持っていると推定できる。また，コロニーがドーム状から崩れた形状である場合には，反射光は複数の位置で検出される。一方，低角照明においては，コロニーの表面形状が多少変化した場合でも明度は変化せず，細菌コロニーの表面の色，明度情報を取得しやすい。
【００３４】
図６にシャーレにおける細菌コロニーの分布を示す。シャーレ601上に，シャーレの外側近くにシャーレからの乱反射や，シャーレ縁における表面張力の影響で培地が傾くことにより発生した多少明るく見える領域602がある。また，細菌コロニーの分泌液により，培地の明度，あるいは色が変化してしまう領域603もある。604は比較的培地からのコントラストが低い，小型の種類の細菌コロニーであり，605はコントラストの高い細菌コロニーである。コントラストの高い細菌コロニーは検出しやすいが，603のコロニーは低コントラストであり，培地の平均明度，あるいは色からの変化は602や603のような領域の方が離れている。培地の平均からの色あるいは明度の差分でコロニーを検出すると604を抽出可能な条件では602や603のようなコロニーでない領域もコロニーとして抽出してしまうことになる。そこで，本実施例では，次の３つのステップを用いて，孤立したコロニーを抽出できるようにする。すなわち，
（I）空間的なバンドパスフィルタをかけ，602や603の特徴である低周波数成分を除去する。
（II）着目する領域の周辺の局所的な明度をもとに培地と思われる明度，あるいは色を算出，この局所的な明度，あるいは色との比較に基づき，異なる場合にコロニーの候補として抽出する。
（III）コロニーの候補として抽出された領域の明度，あるいは色の分布を評価し，明度分布がドーム状に類似した場合をコロニーと判定する。
【００３５】
図７に（II）のステップのアルゴリズムの考え方を示す。図７は撮影した画像のある１次元方向の明度分布を示す。701と702は抽出すべきコロニーであるが，単純な二値化手法を採用すると703の領域がコロニーとして抽出されてしまう。そこで，701の領域のコロニーの有無判定を行う場合は，その近傍の703の領域，702の領域の有無判定を行う場合にはその近傍の704の領域を基準にしてコロニーの有無を判定するのが良い。
【００３６】
（III）の手法としては，例えば二次関数フィッティングが挙げられる。（II）の処理において，抽出すべきコロニーの近傍を基準に明度の明るい領域を抽出しても，例えば図６の606に示すように複数の細菌コロニーが重なった領域を抽出してしまう恐れがある。複数のコロニーの集合体では，単一の細菌のみで構成されない場合があるため，これは除去しなければならない。（II）で得られたコロニーの候補領域の透過画像明度をI(x,y)としたとき，例えば，
（数１）Error＝Σ（Ax2+Bx+C+Dy2+Ey+F+Gxy+H−I(x,y)）2
がコロニー候補領域で算出し，このＥｒｒｏｒが最小となるように，係数，A,B,C,D,E,F,G,Hを最小二乗法等で算出し，コロニー候補領域の面積をSとした際に，Error/Sがしきい値以下の場合のみ孤立コロニーとする，等の方法を採用可能である。また，この二次関数フィッティングをガウス関数近似で同様に算出しても良い。
【００３７】
（II）で説明したステップは培地の画像が急峻には変化せず，画像中の急峻な明度の変化は細菌コロニーのみによることを前提としていた。しかし，実際にはそれ以外の明度変化も存在する。その最大の問題がシャーレに記述された文字である。図８Ａ（ａ）は透過照明ユニット104のみを用いて図８Ａ（ｂ）に示すようにシャーレ107に対して下方から照明して撮影したシャーレ107の画像801であり，図８Ｂ（ａ）は低角照明ユニット101で図８Ｂ（ｂ）に示すように低角から照明して撮影したシャーレ107の画像であり，図８Ｃ（ａ）は高角照明ユニット102で図８Ｃ（ｂ）に示すように高角から照明して得た画像である。一般に、細菌の培養に用いるシャーレの底には，そのトレーサビリティをチェックするためのバーコード等の印刷がされており、この印刷は例えば図８Ａ（ａ）の画像801から最も鮮明に判る。このバーコードは遮光板105の台にシャーレ107が送られる際、自動的にシャーレ情報入力ユニット110にて読み取られ、検体情報・培地情報などを得ることができる。また，病院や検査機関では，類似した多数の細菌培養シャーレを区別するために，マジックインキ等で検体ＩＤ等を記載することも行われる場合がある。このように，コロニーよりもシャーレ底の文字の方がより鮮明な場合がある。
【００３８】
図８Ｂ（ａ）のシャーレ107の画像802のように低い角度から照明した像では，この印字はほとんど見えないが，非常に透明度の高い培地の場合は見える場合がある。図８Ｃ（ａ）のシャーレ107の画像803では図８Ａ（ａ）の画像801と比較すると鮮明でないが，図８Ｂ（ａ）の画像802と比較するとはっきりと見ることができる。804が細菌コロニー，805がシャーレの印字、806が培地である。
【００３９】
図８Ａ（ａ）のシャーレ107の画像801のように下方から照明した場合には，印字805が光を遮ることになるため，極めて良好に撮像される。図８Ｂ（ａ）の画像802の低角照明の場合，ほとんどの光は表面で反射され，培地806の内部には潜り込まないため，印字はほとんど見えることがない。図８Ｃ（ａ）の画像803は上方から照明しているため，低角照明よりも培地806の内部に光が入り込み，印字が鮮明に見えてしまう。ここで，透過照明ユニット104を用いた透過照明以外の場合には、遮光板105を配置することで図８Ｃ（ａ）の画像803では印字が見えにくくはなっているが，完全に見えなくすることは困難である。そこで，（II）のステップにおいては，まず，シャーレ底の印字，あるいは文字，ラベル等，局所領域処理による培地806の明度，色を認識する際に障害となるマーク領域を特定することが必要になる。
【００４０】
ここで、このマーク領域を特定し、これを除外してコロニー領域候補を抽出するアルゴリズムを，図２１を用いて説明する。まず，シャーレ107を透過照明ユニット104を用いて下方から透過照明した状態を撮像手段103で撮影して得た透過照明画像より、暗い領域Ａを抽出する（ステップ2101）。この暗い領域Ａは一般には細菌コロニーの領域かあるいは，シャーレ底のマーク領域である。ついで，このＡ領域を除いた領域で，低角照明ユニット101又は高角照明ユニット102のいずれか、若しくは、これらを複数組み合わせてシャーレ107を上方から照明し撮像手段103で撮像して得た上方照明画像より、培地の平均的な明度を求める（ステップ2102）。ここでは、低角照明ユニット101を用いた低角照明による画像でも、高角照明ユニット102を用いた高角照明による画像でも、あるいはその両方でも良い。高角照明による画像からの方が顕在化されるコロニーもあれば，低角照明による画像からの方が顕在化されるものもあるためである。最も頑強なアルゴリズムはその両方を行うのが良い。更には，また，低角照明ユニット101又は高角照明ユニット102を照明方位別に照明した場合には，複数の方位またはすべての方位から照明した画像の平均した合成画像をそれぞれ算出する方が，シャーレ位置に依存しない細菌コロニーの検出が可能である。
【００４１】
一般に、細菌の分泌液で培地が変色した場合にも，それほど大きな変色はない。そこで，次にこの平均的な明度に対して近接した明るさ，色をもつ領域より，局所的な培地の明度，色を求める（ステップ2103）。ついで，この局所的な明度，色との差が大きな領域をコロニー候補領域として抽出する（ステップ2104）。このようにして抽出されたコロニー候補領域に対し、さらに上記（III）で述べた手法を用いることで、コロニー領域が決定される。
【００４２】
次に、性質の異なる培地に適した他のコロニー領域抽出方法について、図９Ａ及び図９Ｂを用いて説明する。例えば、血液寒天培地のようなコロイドを含む成分を添加された培地の場合には，図９Ａ（ｂ）及び図９Ｂ（ｂ）に示すように、培地806の内部にて903や904のように可視光が散乱する。そのため，透過照明ユニット104の透過照明で照らされた状態で撮像して得た図９Ａ（ａ）に示すシャーレ107の画像901はコロニーの境界がぼやけた画像になり，コロニー領域が顕在化されにくい。一方、上方照明による照明状態で撮像して得た図９Ｂ（ａ）に示すシャーレ107の画像902は，培地内に入射しシャーレ底で反射してからカメラ方向へ向かう光がほとんど生じないため，シャーレ裏面の印字が写らないので，光を透過する培地よりもコロニー抽出に有効である。また，培地806の内部に入射した光905はランダムに内部拡散し培地表面が均一な色合いになるため，透明な培地よりもコロニーを抽出する上で優位に働くといえる。このような光を完全に透過しない培地の場合は、上方照明の画像を主に用いて，コロニーを抽出したほうがよい。そこで、二次記憶装置111に，例えば、どの照明によって撮影された画像を主に利用するかを培地の種類毎に設定した抽出パラメータをパラメータレシピの一部として保存しておき，シャーレ情報入力ユニット110によって取得したシャーレ情報から最適な抽出パラメータをＧＵＩ112などにより選択する。
【００４３】
次に、抽出した個々のコロニーとそれらに隣接するコロニーとの距離を求めるコロニー間距離計測手段128の詳細について、図１０を用いて説明する。コロニー1001のコロニー間距離を計測する時，コロニー1001の周りに存在するコロニー1002，1004，1005に対し，コロニー1001の縁と他のコロニーの縁との間隔が最短のものを求める。図１０（ａ）の例では，コロニー1002，1004，1005のうちコロニー1002との距離1003が最も短くなる。コロニーはほぼ真円状をしているため，コロニー領域の面積からその半径と中心を求める。これらのコロニー間の距離の計算は，距離1003の場合，コロニー1001の中心とコロニー1002中心の距離からそれぞれのコロニーの半径r1とr2を引いた値で求めることができる。図１０（ｂ）に示すコロニー1006においてコロニー間距離を求める場合には，もっとも隣接しているコロニーが複数のコロニーが結合した1008のように円形状ではない場合がある。このような場合，コロニー領域1008の輪郭上の任意の点とコロニー1006の中心との距離がもっとも短くなる点Pを求め，その距離からコロニー1006の半径を引くことで算出する。
【００４４】
次に、抽出したコロニー領域候補からコロニーの画像特徴量を抽出するステップについて、図１１を用いて説明する。まず、抽出したコロニー領域候補から（III）の手法により、コロニー1005を抽出し（ステップ1111）、抽出したコロニー毎の領域より、コロニーをグルーピングするためのコロニーの画像特徴量を算出する（ステップ1112）。画像特徴量としては高角照明画像1101（高角照明ユニット102で照明），低角照明画像1102（低角照明ユニット101で照明），透過照明画像1103(透過照明ユニット104で照明)を処理して，少なくとも以下の特徴量を算出する。なお，高角照明画像1101では複数の方向から個別に照明して複数の高角照明画像を順次得てこれを個別に処理することにより弁別性の優れた特徴を得ることができる。
【００４５】
(a) 表面凹凸：1107
表面の凹凸は，図５で示したとおりに直接反射光の位置により、観察された位置のコロニーの法線方向が算出できるため，これを用いて求める
(b) テクスチャ：1107
テクスチャは、表面凹凸と同様に、直接反射光の出方に基づいて求める。表面が荒れている場合は，方位別にコロニー中心に対して非点対象に小領域の直接反射光が観測されるため，これを用いる。
【００４６】
(c)色：1108
色特徴は、低角から照明した画像又は透過照明画像を用いて算出する。なお，補助的に，高角から照明した画像を用いても良い。色空間としては，通常のRGBの他にLu*v*空間や，HSV空間等を用いても良い。特に透過照明画像を用いた場合は，RGB画像を用いると，コロニーの培地からの高さにより明度が変化するため，コロニーの高さ特徴を色特徴と別に設定した場合，特徴量間が統計的に独立ではなくなってしまう可能性が高い。このため，明度と色が独立なLu*v*色空間やHSV色空間はメリットが大きい。
【００４７】
(d) 形状（大きさ，円形度，長軸/短軸）：1109
検出したコロニー1105の中から選択したコロニー1106について、領域のサイズや，その円形度，形状を楕円近似したときの長軸/短軸等を画像から算出する。円形度は領域の周囲長を面積の平方根で割ることにより求める。この円形度により，細菌の縁がアメーバ状になるものを顕在化することができる。
【００４８】
(e) 明度，色，透過率，立体形状：1110
明度は、透過照明画像1103を用いて求める。明度と高角照明画像の直接反射をもとに透過率，および培地からの高さを求めることができる。図２２に高角照明画像と透過照明画像の関係を示す。2201はある１方向から照明した高角照明画像の各位置における明度レベル，2202は透過照明画像の各位置における明度レベルを示す。
【００４９】
透過照明は，培地が光の透過率が高い場合のみ用いることができるが，コロニーの位置で暗くなり，コロニーの厚みが増すとともに暗くなる。コロニーの内部におけるある明度をIC(x,y)，培地の明度の平均値をIMとおくと，ある（x，y）の位置でのコロニーの厚みD(x,y)は以下の式で求められる。
（数２）D(x,y)＝−G(log IC(x,y)−log IM)
ここで，Ｇはコロニー種毎に決定されるゲインである。
【００５０】
ある位置，（Ｘ，Ｙ）において，高角照明による反射光を検出できたと仮定する。このときの，法線ベクトルが鉛直方向からθ傾いていたとする。このとき，Δｘだけ位置のずれた際の厚みの変化は−Δx tan θとなる。ここで，D(x,y)の差分を計算すると，
（数３）D(X+Δx,Y)−D(X,Y) ＝ −G(log IC(X+Δx,Y)− log IC(X,Y))＝ −Δx tan θ
が成立する。すなわち，
（数４）Ｇ＝Δx tan θ/(log IC(X+Δx,Y)−log IC(X,Y))
で求められることになり，これにより，コロニーの厚みは任意の位置で求められることになる。よって，比較的透過度の高い培地の場合には，直接反射光の発生する箇所さえ見つかれば，コロニーの立体的な形状，体積を求められる，細菌コロニーを識別する上で大変重要な特徴量になる。例えばこの情報から，コロニーの最大高さ，体積，平均高さ，外周の高さを演算する。これらの特徴をそれぞれ要素としたベクトルを算出し，これを各コロニーの画像特徴量とする。
【００５１】
次に、上記のように抽出されたコロニー間距離と算出されたコロニーの特徴量を適宜用いてなされる孤立コロニー判定処理について、図１２を用いて説明する。ここでの孤立コロニーとは，細菌が粒上のコロニーから成長して円形上のコロニーを形成していく時に，他のコロニーと接触することなく成長し，かつ他のコロニーと一定以上の距離で離れているものと定義する。コロニー間の距離についてはコロニー間距離計測手段128での結果を用いて判定すればいい。
【００５２】
ここでは、成長の過程で、元々孤立していたコロニーが接触してしまったものについての判定方法を扱う。1201,1202は2つのコロニーが接触もしくは1部分が結合してしまった例である。これらの結合したコロニーは特徴量算出手段129で求めた長径と短径(1201の例であれば長径1208と短径1209)のアスペクト比がしきい値よりも大きければ孤立か否かを判定することができる。1203で示すようなほぼ同径の3つのコロニーが結合した場合や，1204で示すような極端に大きさの異なる2つのコロニーが結合した場合は，前述のアスペクト比を用いた判定ができない。そこで，このような場合には、これらのコロニーを判定するような孤立判定用の特徴量の算出を行う。
【００５３】
まず、1203や1204については，コロニー領域の境界点列(xi,yi)(i＝1,2,・・・)からk−曲率C(i)の統計量をヒストグラムにして求める。複数のコロニーが結合せず，形状が真円に近ければ，任意の境界点の曲率は一定になるので，境界点列のC(i)は1つの階級だけに投票されることになる。対して1203のようなコロニーの場合，円形部分の点列においての曲率は一定になるが，結合箇所の境界部分においては，くびれた形状をしているため曲率が大きく変化する。このC(i)のヒストグラムを算出すると，１つの階級に対して大きいピークとその他の階級に少量の度数をもつ。1204のコロニーにおいては，境界にくびれた部分と径が異なる円弧部分が存在するので，C(i)のヒストグラムは２つ階級のピークとその他の少量の度数の階級を複数もつ。これらのヒストグラムから孤立判定を求めるには，正規化したヒストグラムのエントロピーで条件分けすればよい。孤立した真円状のコロニーの曲率ヒストグラムは，１つの階級においてのみ投票されるため，エントロピーは0に近い値となる。対して1203や1204のコロニーにおけるヒストグラムは複数のピークやピーク以外の階級に度数をもつなど乱雑度が高い。そのためエントロピーは１に近くなるので，この性質を利用して判定すればよい。
【００５４】
1205のコロニーは明度が異なる２つの細菌のコロニーが密に結合したものを示す。このようなコロニーは，ほぼ真円でコロニーの境界にくびれも生じないため，上記判定方法では孤立判定するのが難しい。そこで，コロニー領域の重心とコロニー領域の明度の重心を求めて位置を比較する。明度分布に偏りがある場合，この二つの重心の位置は大きくずれるので，この違いを利用して孤立判定を行う。1206の大きいコロニーの内部に小さいコロニーが形成されている場合や，1207のようにほとんど明度が同じ２つのコロニーが密に結合しほぼ真円状をしている場合，1つの特徴量だけを用いて孤立判定を行うことは難しい。そこで、これらのコロニーに対しては、ユーザーがＧＵＩ112上で確認し、ごく僅かな明度の変化・輪郭の歪み・直接反射光の形状などの手掛かりを総合的に判断することで孤立判定が可能である。具体的には、1206や1207のコロニーに対しては，特徴量算出手段129で算出された特徴量ベクトルに対して，1206や1207に該当する既知のコロニーの特徴量ベクトルを事前に収集し，K−NN法やSVMなどの教示分類を用いて判定を行う。
【００５５】
続いて、図１５を用いて孤立判定の２つの判定方法について説明を行う。孤立判定手段130は２つのパラメータを持っており，２つの孤立判定結果を出力する。片方のパラメータは最終的に釣菌に使うコロニーを絞り込むため，多くのコロニーがはじかれるような厳しい判定になるような値が設定されており，これによる結果は孤立コロニーとして孤立判定手段へと送られる。図１５（ａ）の1501は，このパラメータによって判定されたシャーレ上の細菌コロニーを示し，1502はその特徴量ベクトルを表す。これらの細菌コロニーはコンタミする危険性がすくないため，細菌同定検査を行う上で非常に有効ではあるが，この条件をクリアするコロニーが少ない場合には，特徴量空間上の特徴ベクトルのサンプル数が少なくなるため，クラスタリング手法を用いて細菌コロニーの分類を行う時にクラスタをうまく形成しない可能性が高くなる。そこで、分類を安定させるために，特徴量ベクトルのサンプルを釣菌対象外のコロニーを用いて増やすことが望ましい。例えば，図１５（ｂ）の1503のようなコロニー間距離が短いために厳しい判定となるようなパラメータによる判定でははじかれてしまったコロニーの特徴ベクトルは1504のように集団を形成するサンプルの１つとなりうる。また、図１２で示した1204や1206のような細菌コロニーは，コンタミを起こしてしまうが，特徴ベクトルは同径の大きいコロニーに近くなるので，これらも分類時においては有効活用できる。よって，孤立判定用のもう片方のパラメータは，孤立コロニーと釣菌には問題があるが分類には利用できる準孤立コロニーも判定し，これらのコロニーはコロニー分類手段131へ送信される。これによりクラスタリング手法の結果を安定させるために十分な数の特徴ベクトルのサンプルを得ることが可能となる。
【００５６】
次に、判定した孤立コロニーと算出した特徴量ベクトルの分布とを適宜用いて、コロニー分類手段131にてコロニーを分類する方法について説明する。細菌種毎のコロニーの分類には，基本的に２つの方法がある。１つは既に登録してある細菌種毎に分ける方法ともうひとつは与えられたシャーレのコロニー画像のみでコロニーの種類毎に分ける方法である。
【００５７】
１つめの方法について，図１３を用いて説明する。図１３（ａ）は特徴量データベース（ＤＢ）1301を示し，データベースは図１３（ｂ）に示すインデックス1302により，データを検索できる。菌種13021は，必ずしも１つの菌種とは限らず，いくつかの菌種のグループでも良いが，その場合においても外観が類似しているもののグループとなる。次が培地13022である。細菌コロニーは培地によって，生えるものが限定されている場合があり，また，培地によっては，細菌コロニーの色が細菌種によって大きく変化する場合もある。このため，培地の情報は細菌を分類するにあたって極めて重要である。検体13023は，細菌を取得した検体が，例えば患者の血液なのか，糞なのか，尿なのかにより，発生しやすい細菌が変化する。この情報もまた，細菌を分類する上で，重要な細菌を見落とさないようにするため重要である。また、菌種13021の培養条件13024も菌種を分類する上で重要な情報である。最後に特徴量データ13025が記述されている。特徴量データ13025はベクトルデータであり，多数の同一種類の細菌コロニーのベクトルデータの集合より構成されている。例えば、図１３（ｃ）に示す1303，1304，1305はそれぞれ同一の培地，検体，培養条件で撮影された異なる細菌種のコロニーのベクトル群を示したものである。今，新たな未知の細菌種の細菌コロニーから得た特徴量ベクトルが1306であった場合，本発明では最も類似した特徴量ベクトルの1305が隣接しているため，1306も1305と同一の細菌コロニーと判断する。
【００５８】
典型的な細菌コロニーに関してはこのようにデータベースに登録しておくが，検体から培養した細菌が必ずしもデータベースに登録されていない場合がある。この場合に対応するため，シャーレから画像処理で得た特徴量ベクトルを，データベースを用いないでインタラクティブにグルーピングする方法もある。
【００５９】
このアルゴリズムを図１４Ａ、Ｂを用いて説明する。図１４Ａの特徴量空間1401において，1403，1404，1405はシャーレの画像1402におけるそれぞれ，1406，1407，1408と対応したコロニーの特徴量ベクトルである。検査員はＧＵＩ112上に図１４Ａに示した特徴量空間の図が表示された状態で、グルーピングしようとする細菌コロニーの典型的な例が1403,1404,1405であることをシステムに教示すると，コロニー分類手段131は一般的に知られているクラスタリング手法などを用いて特徴量ベクトルをグルーピングする。クラスタリング手法としては，例えばEMアルゴリズムやk−means，ファジーk−meansといった手法を用いることができ，このアルゴリズムを実行させる前の初期状態のグルーピング状態として検査員の教示結果を用いるようにすれば良い。また，クラスタリングアルゴリズムではなく，一般的な分類アルゴリズム，例えばNearest Neighbor法やNaive Bayes法といった分類アルゴリズムを用いても良い。分類アルゴリズムを用いる場合，サンプルが１つずつ教示されたクラスがあるものとして実行することになる。
【００６０】
また，コロニー分類手段131は，検査員から教示された典型的な細菌コロニーの特徴から大きく特徴量が離れていた場合には分類結果が未知のコロニーとしてグルーピングから除外するようにする。更に，典型的な細菌コロニーとして教示された複数のコロニーの特徴量からほぼ等距離にあるものも，グルーピング先が不明のコロニーとしてグルーピングから除外する。これは，例えばMIC法を実施するにあたり，本来想定していなかった細菌を用いて薬剤の耐性評価をすることを防ぐために不可欠である。更にシステムは，このグルーピング結果に基づき釣菌するサンプルを選択する。多数のコロニーが培養された場合には，グルーピングされた結果のうち，検査員が典型的なコロニーとして選択したものに特徴量的に近いものを釣菌するように選択するのが望ましい。
【００６１】
コロニー分類手段131により処理した結果は、ＧＵＩ112に表示される。検査員は，ＧＵＩ112に示されるグルーピング結果を確認して，望ましい分類結果，あるいは釣菌結果であれば，この結果によって釣菌するようシステムに指示をする。グルーピング結果が不十分であった場合には，新たにシステムにＧＵＩ112を介して特定の細菌コロニーの細菌種を教示する。コロニー分類手段131は例えばNaive Bayes法の新たな教示データとしてこれを追加して分類を実行し，ほぼリアルタイムに検査員にグルーピング結果を示す。また，これ以外に，K−NN分類の新たな教示データとして扱っても良いし，検査員の追加した教示データのグループをK−meansクラスタリングの初期状態に反映させても良い。また，これ以外の別の公知の分類アルゴリズムやクラスタリングアルゴリズムを用いてもよく，検査員にその教示データを追加した後の分類結果を示し，満足すべきグルーピング結果かを検査員がすぐ判断できるようにする。
【００６２】
検査員が細菌種を特定できないコロニーも存在する。このような場合には細菌種が特定できないコロニーとして入出力端末を介してシステムに登録する。システムは，細菌種が特定できないとされたコロニーの特徴量空間における最も近接した例えば２つのグループを特定し，この２つのグループの境界面をそれぞれグループ中心に移動させて，検査員が特定できないとしたコロニーがグルーピングされないようにする。
【００６３】
なお，このグルーピング結果は１つのシャーレのみで行うとは限らない。マイクロプレートには多数のウェルが配置されており，１つのシャーレのみでは全てのウェルを細菌で満たすことができない場合があり，１つの検体の細菌を複数のシャーレで培養する場合があるためである。この場合，複数のシャーレの画像を同時に表示して検査員が複数のシャーレの画像を確認して教示サンプルを選択できるようにするのが良い。あるいは，複数のシャーレの画像のうち１つをＧＵＩ112に拡大表示しておき，入出力端末を構成するマウス，トラックボール，あるいはキーボード等の操作により，容易に画像を切り替えられるようにしておけるようにする。
【００６４】
本発明のシステムではそれぞれ異なる光学条件で撮影を行う。検査員は，複数の光学条件での画像を確認しなければ正確な細菌種を特定することができない。そこで，ＧＵＩ112には複数の光学条件の画像を表示できるようにしてある。検査員は入出力端末のマウス，トラックボール，あるいはキーボードなどの操作により，任意の光学条件の画像を表示できるようにし，あるいは，それぞれのシャーレの画像は一部のみ表示しておき，複数の光学条件の画像を同時に表示するようにしても良い。
【００６５】
次に、釣菌候補選択手段132での釣菌候補選択方式について、図１６を用いて説明する。図１６（ａ）のグラフ1601は特徴量空間上に，孤立判定されたコロニーの特徴量ベクトル分布を示したものである。分布点の形状の違い（四角・丸・三角）は分類結果を表す。1604は分類識別境界線を示す。1602のような分布点が実線のものは釣菌対象候補かつ分類対象となる孤立コロニーの特徴ベクトルで，1603のような点線のものは分類時のみ扱われる準孤立コロニーの特徴ベクトルを示す。孤立判定手段130により孤立コロニーと判定されて送られてきた孤立コロニーが多量に存在し，すべてを釣菌する必要がない場合には、さらにこれらの孤立コロニーの中から分類結果の信頼度が高いものを絞り込む。図１６（ｂ）のグラフ1605は孤立判定手段から送られてきた孤立コロニーからさらに釣菌するコロニーを選択した最終的な結果を表し，分布点が黒塗りになっているものが最終的な釣菌対象である。最終的な釣菌対象としては，1606に示すようなクラスタの中心付近のコロニーを選択している。これは、仮に1607のような分類識別境界線付近のコロニーを選択した場合には，2つ以上のクラスのコロニーが存在するため，分類結果に誤りのあるコロニーを含む可能性が非常に高いためである。
【００６６】
図１７は、ＧＵＩ112表示の一例を示す。1701には撮像された画像と，分類結果や釣菌候補を表示する。1702では，ユーザーが修正したいモードを選択できる項目であり，該当結果を修正することが可能となる。これによって選ばれたモードと，1701上の画像をクリックすることで，修正したい対象を選択することが可能になる。例えば，孤立コロニーや準孤立コロニーの判定を大幅に修正したい場合，1702で孤立コロニー判定修正の項目をチェックしてモードを変更し，判定を直したいコロニーのうち数個のコロニーをマウスなどのデバイスを用いて1701の画像上で正しい判定結果の情報を与える。選ばれた数個のコロニーを修正情報として，再び孤立判定を行う。孤立判定において，コロニーの特徴ベクトルから既に学習された部分空間により孤立コロニークラス・準孤立コロニークラス・それ以外のクラスが定義されているとする。オペレーターから孤立コロニークラスに判定してほしい他のクラスに判定されたコロニーの修正情報を与えたとする。既に学習で定義している孤立コロニークラスの部分空間をZとし，この修正情報の対象であるコロニーの特徴ベクトルをxとすると，部分空間ZをZ’＝(I+γxxt)Zで新たな部分空間Z’に更新できる。ここでIは単位行列，γはどれだけ修正させるかの度合いを表す。与えられたすべての修正情報によって部分空間を更新した後，改めて分類を行う。この修正方法は，孤立判定だけではなくコロニー分類の修正にも用いることができ，少数の修正情報で効果的に分類結果を修正することが可能である。
【００６７】
図１７の1703は特徴量ベクトルを2次元上の分布として表示する部分で，縦と横の軸の特徴量は1704でユーザーが任意に選ぶことが可能である。また1705では補助機能として1つの特徴量に対するヒストグラムが表示される。1706は特徴量の重みを変化させることができるスライダであり，これを選択することで1703の分布を変化させ，かつ分類結果の修正にも反映させることができる。
【００６８】
この特徴量の重み変化の概要について、図１８を用いて説明する。図１８（ａ）の1801は重み付けをしていない特徴量ベクトルの分布である。この分布に対し2クラスの分類を行うと1802のような分類識別境界線が得られるが，特徴量の重み付けを変化させることにより、例えば，X軸方向に対して重みを大きくし，Y軸に対して重みを小さくすると、図１８（ｂ）の1803のような分布が得られ，新たな1804のような分類識別境界線での分類結果を得ることができる。なお、特徴量重み付けパラメータの設定はユーザーがＧＵＩを見ながらその都度実施してもよいし、後述するパラメータレシピに従って設定された最適な特徴量重み付けパラメータ値により自動的に重み付けを実施させるようにしても構わない。
【００６９】
なお、図１７で示したＧＵＩ112の表示は一例に過ぎず、種々変更可能である。例えば、1701内には表示される画像が、低角照明画像、高角照明画像、透過照明画像のいずれかの表示があってもよく、これらの画像が複数枚並べて同時に表示されていても構わない。また、修正前の画像と修正結果を反映した画像とを同時に並べて表示したり、表示切替ボタンを押すことで、これらの画像の表示を切り替えるようにしてもよい。また、特徴量ベクトルの分布を表示する1703には、２次元の分布のみならず、３次元分布を表示するようにしてもよい。分類の結果、それぞれ異なるグループに分類されたコロニーの表示は、四角や丸、三角などの異なる形状で表示するのみならず、異なる色を用いて表示しても構わない。
【００７０】
次に、抽出・分類のパラメータレシピについて、図１９を用いて説明する。二次記憶装置111では，図１９の1901のようなパラメータレシピを持ち，培地の種類や検体に対してよい結果を示す抽出パラメータや分類用の特徴量重み付けパラメータや分類アルゴリズムなど、釣菌対象決定する際に必要な各種パラメータを事前情報として持っている。シャーレ情報入力ユニット110からシャーレの培地情報が得られると，得られたシャーレの培地情報に基づいて、保存された全てのパラメータレシピの中から適当なパラメータレシピを複数選択し，それぞれのパラメータレシピによって処理されることにより得られた結果を逐次1902のようにＧＵＩ112上に表示する。ユーザーはこの結果を確認し，結果の精度がよいものを選択するだけでいいので，検査スピードを短縮することが可能となる。また、修正が必要な場合でも，修正した時間を大幅に短縮することが可能であり，また修正結果のパラメータを二次記憶装置111に保存しておくことで，設定を再利用することができる。なお、シャーレの培地情報に基づいた最適なパラメータレシピが確立されている場合には、複数のパラメータレシピを選択することなく、ベストな一つのパラメータレシピを手動又は自動で選択するようにしてもよい。
【００７１】
以上、本発明者によってなされた発明を実施形態に基づいて具体的に説明したが、本発明は上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
【００７２】
また、本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば、下記の通りである。
すなわち、本発明によれば，複数のパラメータレシピから，通常のクラスタリングよりも分類精度を向上させることが可能となり，ユーザーは複数の分類結果の中から結果を選ぶだけの簡易な操作で高精度な分類結果にアプローチが可能となる。また、シャーレ上に釣菌対象となる孤立コロニーが少ない場合，それ以外のコロニーからクラスタを形成するのに十分な特徴量データ分布を得ることで分類結果の精度を安定させることができる。
【符号の説明】
【００７３】
101：低角照明ユニット，102：高角照明ユニット，103：撮像手段，104：透過照明ユニット，105：遮光板，106：台座，107：シャーレ，108：光学系制御ユニット，109：画像処理ユニット，110：シャーレ情報入力ユニット，111：二次記憶装置，112：ＧＵＩ，113：シャーレ搬送手段，114：スタッカー，115：シャーレ搬送手段，116：ステージコントロールユニット，117：釣菌針，118：Zステージ，119：XYステージ，120：透過照明ユニット，121：上方照明ユニット，122：撮像手段，123：マイクロプレート，124：生理食塩水，125：シャーレ ，126：画像取得手段，127：コロニー抽出手段，128：コロニー間距離計測手段，129：特徴量算出手段，130：孤立判定手段，131：コロニー分類手段，132：釣菌候補選択手段，133：釣菌対象決定手段
【技術分野】
【０００１】
本発明はシャーレで培養した細菌コロニーを釣菌する方法及び装置に関する。
【背景技術】
【０００２】
検体に対する細菌検査においては、細菌をシャーレ内の発育培地で培養し，この細菌を釣菌する方法が用いられている。この方式では一般に発育培地に細菌の懸濁液を塗沫し，恒温槽にて培養した後，光学的に目視観察を行い，目的とする細菌コロニーを釣菌する。釣菌された細菌は，抗生物質に対する耐性を調べるＡＳＴ（Antimicrobial Susceptibility Test：薬剤感受性検査）に用いられる。細菌の抗生物質に対する耐性を試験する方法としては、例えば特許文献１に詳しく記載されている。ＭＩＣ（Minimum Inhibitory Concentration：最小発育阻止濃度）法では，ＡＳＴにおいてメジャーな方法で，異なる濃度の薬剤を含んだ複数の培地に採取された細菌を塗布し細菌の発育を見ることで，細菌の発育を抑える薬剤の最低濃度を測る手法である。
【０００３】
一方、特許文献２には，コロニートランスファー装置として、シャーレ内の細菌コロニーをテレビカメラで撮像し、モニタに映し出された画像を検査員が目視にて確認し、釣菌するコロニーを選択し指示することでそのコロニーの位置にピックアップを自動的に移動させ、細菌コロニーを釣菌し、試験管等に移植することが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開昭６３−３２４７７号公報
【特許文献２】特開昭５９−１１１７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ＭＩＣ法のようなＡＳＴを実施するには，ある一定量の細菌が必要であるため、シャーレ内に形成された細菌コロニーを多数釣菌する必要がある。これは，比較的小さなコロニーも釣菌しなければシャーレ内に培養してから釣菌するまでに長時間が必要となってしまうことになり，短時間での培養は困難であった。
【０００６】
また、ＭＩＣ法においては、釣菌した全てのコロニーの細菌種が同一でなければ正確な抗生物質の耐性を試験することはできないが、これまでは複数の検査員の目視結果に依存しており、トレーサビリティが得られないという課題があった。加えて、ばらつく恐れがある目視判断を安定化させるためには検査員を少数にするのが望ましいが，同時間あたりに処理可能な検体数とのトレードオフになってしまう。さらに，ＡＳＴは同種細菌を一定量釣菌する必要あり，この時他の細菌種を混在（コンタミ）して釣菌してしまうと，正確な薬剤耐性は得ることができないため、自動釣菌を実現するためには，高精度な分類機能を実現する必要がある。
【０００７】
一方、特許文献２に記載されているコロニートランスファー装置として、シャーレ内の細菌コロニーをテレビカメラで撮像し、モニタに映し出された画像を検査員が目視にて確認し、釣菌するコロニーを選択し指示することでそのコロニーの位置にピックアップを自動的に移動させ、細菌コロニーを釣菌し、試験管等に移植する上述の方式では、検査員がテレビカメラを確認して釣菌するコロニーをひとつずつ選択していたため，検査員の作業工数はさほど減少させられない。また、検査員の作業工数の削減を実現するには目視判断の工程を自動化する必要があるが，ＡＳＴはコンタミを可能なかぎり防がなくてはならないため，検査員の判断と同等レベルの分類機能または高速でコロニーを選別できるシステムが必要となる。コロニーは培養時間・培地・検体・菌株など様々な要因によって外観が多様に変化するため，高精度な自動分類機能を達成するのは非常に困難であった。
【０００８】
本発明は、簡易な操作で高精度に分類可能な細菌コロニーの釣菌方法及び釣菌装置を提供するものである。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本願において開示される発明のうち代表的なものの概要を簡単に説明すれば、次のとおりである。
（１）容器に収納された培養培地上に培養した細菌コロニーを照明する照明手段と、前記照明手段により照明された前記細菌コロニーを撮像して複数の画像を取得する撮像手段と、前記撮像手段により取得された前記複数の画像から複数の細菌コロニーを抽出し、前記抽出された複数の細菌コロニーの画像からそれぞれ算出される特徴量に基づいて、前記抽出された複数の細菌コロニーの分類及び孤立判定を行う画像処理手段と、前記画像処理手段により分類された前記複数の細菌コロニーと、前記画像処理手段により孤立判定され前記複数の細菌コロニーの中から選択された釣菌候補の細菌コロニーと、を表示する表示手段と、前記釣菌候補の細菌コロニーの少なくとも一つを釣菌する釣菌手段と、を有することを特徴とする細菌コロニーの釣菌装置である。
（２）（１）記載の細菌コロニーの釣菌装置であって、さらに、予め複数のパラメータレシピが格納された記憶手段と、前記容器に収納された培地情報を少なくとも含む情報を前記画像処理手段に送信する情報入力手段と、を有し、前記画像処理手段は、前記情報入力手段により送信された前記容器に収納された培地情報を少なくとも含む情報に基づいて選択された前記複数のパラメータレシピの少なくとも一つを用いて、前記複数の細菌コロニーの分類を行うことを特徴とする細菌コロニーの釣菌装置である。
（３）（２）記載の細菌コロニーの釣菌装置であって、前記画像処理手段は、前記予め格納された複数のパラメータレシピの中から選択された二以上のパラメータレシピ各々を用いて、前記複数の細菌コロニーの分類を行い、前記表示手段は、前記選択された二以上のパラメータレシピ各々により分類された複数の結果を表示することを特徴とする細菌コロニーの釣菌装置である。
（４）（１）記載の細菌コロニーの釣菌装置であって、前記画像処理手段は、前記複数の画像から前記複数の細菌コロニーを抽出するコロニー抽出手段と、前記抽出された複数の細菌コロニー間の距離を計測するコロニー間距離計測手段と、前記抽出された複数の細菌コロニーの画像からそれぞれ算出される特徴量を算出する特徴量算出手段と、前記複数の細菌コロニーの画像からそれぞれ算出される特徴量と前記計測された複数の細菌コロニー間の距離とに基づいて、前記複数の細菌コロニーの孤立判定を行う孤立判定手段と、前記複数の細菌コロニーの画像からそれぞれ算出される特徴量に基づいて、前記複数の細菌コロニーを分類するコロニー分類手段と、前記孤立判定された細菌コロニーと前記分類された結果に基づき、釣菌候補を選択する釣菌候補選択手段と、を有することを特徴とする細菌コロニーの釣菌装置である。
（５）複数の方位と仰角からの照明でシャーレを撮影し画像を取得することができる検出光学系と，コロニー抽出部で画像からコロニー領域を抽出し，特徴量算出部で個々のコロニーの外観や色の特徴データを算出し，孤立コロニー判定部でコロニーの孤立度合いを算出し，コロニー分類部で教示情報として既に持っているパラメータレシピと孤立度合いの低いコロニーの特徴データ分布からグルーピングを行い，釣菌コロニー候補選択部で孤立度合いと特徴データから釣菌対象となるコロニーを選択することができるフローをもつ画像処理機構と，ユーザーはグルーピング結果と釣菌対象のコロニーを確認することができ，ユーザーからの修正情報を入力でき，分類結果をリアルタイム表示反映するGUIで構成された装置である。
（６）容器に収納された培養培地上に培養した細菌コロニーを照明するステップと、前記照明された前記細菌コロニーを撮像して複数の画像を取得するステップと、前記取得された前記複数の画像から複数の細菌コロニーを抽出し、前記抽出された複数の細菌コロニーの画像からそれぞれ算出される特徴量に基づいて、前記抽出された複数の細菌コロニーの分類及び孤立判定を行うステップと、前記分類された前記複数の細菌コロニーと、前記孤立判定され前記複数の細菌コロニーの中から選択された釣菌候補の細菌コロニーと、を表示手段に表示するステップと、前記表示された釣菌候補の細菌コロニーのうち少なくとも一つを釣菌するステップと、を有することを特徴とする細菌コロニーの釣菌方法である。
（７）（６）記載の細菌コロニーの釣菌方法であって、前記抽出された複数の細菌コロニーの分類及び孤立判定を行うステップでは、前記容器に収納された培地情報を少なくとも含む情報に基づいて選択された複数のパラメータレシピ各々を用いて、前記複数の細菌コロニーの分類を行い、前記表示するステップでは、前記選択された複数のパラメータレシピ各々により分類された複数の結果を表示することを特徴とする細菌コロニーの釣菌方法である。
【発明の効果】
【００１０】
本発明によれば、簡易な操作で高精度に分類可能な細菌コロニーの釣菌方法及び釣菌装置を提供することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】実施例に関する自動釣菌装置システムの全体構成例を示す図である。
【図２Ａ】実施例における照明系の概略の構成を示す正面図である。
【図２Ｂ】実施例における照明系の概略の構成を示す平面である。
【図３Ａ】実施例における照明系の他の例の概略の構成を示す正面図である。
【図３Ｂ】実施例における照明系の他の例の概略の構成を示す平面である。
【図４】実施例における画像処理のフローチャートを示す図である。
【図５】実施例の検出系による細菌コロニーの撮影画像の照明条件と細菌コロニー形状との関係を示す図である。
【図６】実施例の検出系による細菌コロニーの撮影画像である。
【図７】実施例の検出系による細菌コロニーの撮像画像の明度プロファイルを示すグラフである。
【図８Ａ】実施例における（ａ）透過照明による撮像画像と（ｂ）透過照明方向を示すシャーレの断面図である。
【図８Ｂ】実施例における（ａ）低角照明による撮像画像と（ｂ）低角照明方向を示すシャーレの断面図である。
【図８Ｃ】実施例における（ａ）高角照明による撮像画像と（ｂ）高角照明方向を示すシャーレの断面図である。
【図９Ａ】コロイドを含む成分が添加された培地の場合での、実施例における（ａ）透過照明による撮像画像と（ｂ）培地での透過照明の散乱などを示す図である。
【図９Ｂ】コロイドを含む成分が添加された培地の場合での、実施例における（ａ）上方照明による撮像画像と（ｂ）培地での上方照明による内部拡散などを示す図である。
【図１０】実施例における（ａ）孤立コロニー間の距離と（ｂ）複数のコロニーが結合したコロニー領域と孤立コロニーとの間の距離を説明する図である。
【図１１】実施例における細菌コロニーの画像特徴量を抽出する手順を示すフロー図である。
【図１２】実施例における各種非孤立コロニーの説明図である。
【図１３】実施例における細菌コロニーの分類方法を説明する（ａ）データベース、（ｂ）データベースのインデックスの一例を示す表、（ｃ）特徴ベクトルの分布を示すグラフ、である。
【図１４Ａ】実施例における細菌コロニー特徴量空間での分布の一例を示すグラフである。
【図１４Ｂ】実施例における細菌コロニーが分布しているシャーレの画像である。
【図１５】実施例におけるクラスタリング方式の一例を示し、（ａ）孤立コロニーのみの判定結果のグラフ、（ｂ）孤立コロニー及び準孤立コロニーの判定結果のグラフ、である。
【図１６】実施例における（ａ）孤立判定されたコロニーの特徴量ベクトル分布を示すグラフ、（ｂ）最終的な選択結果まで表したコロニーの特徴量ベクトル分布を示すグラフ、である。
【図１７】実施例におけるＧＵＩ表示の一例を示す図である。
【図１８】実施例における分類結果修正の一例を示し、（ａ）特徴量重み付けによる変化前の分類結果、（ｂ）特徴量重み付けによる変化後の分類結果、である。
【図１９】実施例におけるパラメータレシピとこれによる処理結果の一例を示す図である。
【図２０】照明系の他の実施例を示す図である。
【図２１】実施例における細菌コロニー候補領域を抽出する手順を示すフロー図である。
【図２２】実施例における細菌コロニーの明度プロファウルを説明するグラフである。
【発明を実施するための形態】
【００１２】
以下、本発明の実施例について、図を用いて説明する。
【実施例１】
【００１３】
本発明に係る自動釣菌装置の全体構成を図１に示す。シャーレ107内の培養された細菌コロニーの画像を取得する装置構成は、シャーレ107内の細菌コロニーを上方から照明する照明ユニット（低角照明ユニット101、高角照明ユニット102）と、光学的に透明なシャーレ107に対して下方からシャーレ107を透過させて照明する透過照明ユニット104と、照明された細菌コロニーを撮像した画像を取得するカメラ等の撮像手段103と、を適宜用いて構成される。ここで、シャーレ107内には細菌の培地があり、その上には検査対象となる検体を寒天に塗布し、インキュベータに入れ24H〜48H程度培養した細菌コロニーが培養されている。
【００１４】
シャーレ107は台座106によって載置され、台座106のシャーレ107が載置された面と透過照明ユニット104との間には、出し入れ可能な遮光板105が配置される。なお、台座106としては、可視光を透過する透明アクリル板やガラス等を用いればよい。また、遮光板105としては、反射係数がなるべく低い拡散反射板などを用いるのが望ましく、可動絞りや液晶シャッター等を用いても構わない。可動絞りの場合には表面がつや消しの黒塗り処理し、液晶の場合には反射防止処理を施しておくのが望ましい。なお、後述の光学系制御ユニット108により、透過照明ユニット104が点灯する際には照明光がシャーレ107を照明可能なように設定されて、また、上方からの照明ユニット（低角照明ユニット101、高角照明ユニット102）が点灯する際にはシャーレ107が暗くなるように設定される。これにより、一般のシャーレ107の底面に印刷されている文字等の顕在化の抑制が可能となる。
【００１５】
光学系制御ユニット108は、低角照明ユニット101、高角照明ユニット102、透過照明ユニット104を任意の組み合わせで照明の点灯・消灯・強度変更が可能であり、カメラ等の撮像手段103における撮像・露光量の変更や遮光板105の出し入れなどを制御することも可能である。また、光学系制御ユニット108は撮像手段103により撮像された画像情報を取得する画像入力手段としても機能するが、光学系制御ユニット108とは別に画像入力手段を設けても構わない。
【００１６】
画像処理ユニット109は、光学系制御ユニット108により取得した複数の画像から細菌コロニー領域の抽出や、各細菌コロニーの画像から画像特徴量の計算や孤立判定・分類などによるグルーピングを行う。ここで、特徴量とは、例えばコロニーの面積や周囲長、色情報、明度情報、背景明度、輝度、彩度などを定量化したもので構成される。撮像手段103により取得された複数の画像は光学系制御ユニット108を経由し、画像処理ユニット109内の画像取得手段126が受け取る。画像処理ユニット109内には、画像取得手段126のほかに、コロニー抽出手段127、コロニー間距離計測手段128、特徴量算出手段129、孤立判定手段130、コロニー分類手段131、釣菌候補選択手段132、釣菌対象決定手段133を有し、これらの手段により後述するステップにて、グルーピングされた釣菌対象のコロニーを認識する。シャーレ情報入力ユニット110では，シャーレに印字されたバーコードを読み取り，検体や培地の種類などの情報を画像処理ユニット109へ入力することができる。二次記憶装置111では，装置が撮像して取得した画像或いは処理した画像、データ、コロニー位置、面積などの情報や、事前・事後に学習したパラメータのレシピなどを保存することができる。
【００１７】
ＧＵＩ112は、撮像した画像、コロニー抽出結果，孤立コロニー判定結果，コロニーの分類結果，特徴量のヒストグラムなどを表示する。分類結果などを修正したい場合には，ＧＵＩを介してパラメータの変更や教示情報をユーザーが入力することができる。情報を新たに入力し修正された結果はリアルタイムにＧＵＩに表示を行う。なお，このＧＵＩで確認するモード以外に，自動運転モードも設け，自動運転モードの場合には，検査員に確認をとらずに，システムが選択したコロニーをそのまま釣菌させるようにする。
【００１８】
シャーレの搬送手段113は、撮像されたシャーレ107をスタッカー114に格納するものであり、シャーレの搬送は，画像処理ユニット109でのグルーピング後，もしくはグルーピングの前に行っても良い。検査員によるグルーピング結果の確認作業を必要とする場合，この作業時間は比較的長い時間を要する場合が多いため，装置のスループットを上げるためには，画像の撮影が終了したら，検査員の確認作業を待たずに次のシャーレの画像入力作業を行い，これと並行して検査員が既に取得された画像を用いてグルーピング結果の確認，修正，釣菌するコロニーの決定等を行うのが望ましい。同様に、搬送手段115もスタッカー114に格納されているシャーレ125を搬送するものであり、スタッカー114から釣菌エリアに搬送するために用いられる。
【００１９】
シャーレ107内の細菌コロニーから所望コロニーを釣菌する装置の構成は、コロニーをピックアップする釣菌針117と、釣菌針117を走査させるためのZステージ118及びXYステージ119と、シャーレ125を上方から照明する上方照明ユニット121及び下方からシャーレ125を透過して照明する透過照明ユニット120と、照明された細菌コロニーを撮像した画像を取得するカメラ等の撮像手段122と、を適宜用いて構成される。ここで、釣菌針117を走査させるZステージ118及びXYステージ119や前述の搬送手段113,115はステージコントロールユニット116により制御される。
【００２０】
スタッカーから搬送されたシャーレ125は透過照明ユニット120と上方照明ユニット121で照明し，その画像を122のカメラ等の撮像手段を用いて画像を撮影可能になっており，この撮影した画像は光学系制御ユニット108の画像入力手段を介して取り込むことができる。光学系制御ユニット108に入力した画像は，画像処理ユニット109においてカメラ103で取得した画像との比較が行われ，同一のシャーレがスタッカー114を介して搬送される際の位置ずれが補正される。例えば，撮像手段103の撮像画像をI0，撮像手段122の撮像画像をI1とする。なお，撮像画像I0と撮像画像I1は２つの光学系において最も照明の条件が一致するように撮影する。シャーレの背景を黒く設定することにより，シャーレは明るく撮影されるため，二値化処理によりシャーレ領域を抽出することが可能である。これを撮像画像I0と撮像画像I1それぞれの画像において求め，シャーレの回転中心を概略合わせる。撮像画像I0と撮像画像I1のそれぞれにおいて，SURFなどの回転不変な特徴点検出を行い，撮像画像I0と撮像画像I1との間で検出された特徴点の対応関係を求める。得られた特徴点の対応関係から，ICPアルゴリズムなどによってこれらの画像間のずれを修正する回転パラメータRと並進パラメータTを求め釣菌時の座標を求める。なお，座標あわせ方式は一実施例であり，この他に画像のフーリエ変換を用いて回転のズレ量を算出する手法や，正規化相関演算を用いたもの等他の手法を採用しても良い。
【００２１】
釣菌後の釣菌針117が走査される範囲内又は別途設けた位置には、複数のウェルを有するマイクロプレート123が配置されている。各ウェルには、例えばMuller Hinton培養液にCaイオン 50mg/l，Caイオン25mg/ｌおよび細菌の耐性を評価する薬剤をそれぞれのウェルにて異なる濃度になるように添加してある。この液体培地はこれ以外のものを用いても良いし，また，固体培地にすることも可能である。Zステージ118及びXYステージ119を制御することで，シャーレ125内の釣菌すべき細菌の座標に釣菌針117を移動し，コロニーをピックアップする。コロニーをピックアップするには，釣菌針の取り付け位置に力センサーを組み込み，釣菌針が固体培地に接触するポイントを感知できるようにするのがよい。この後，生理食塩水又は液体培地などの液体の入った容器に釣菌した細菌コロニーを入れる。この動作を数個の細菌コロニーに対して実施して，細菌コロニーの濃度が設定値を超える等で十分になった後，生理食塩水などの懸濁した液体124を用いてマイクロプレート123のいずれかのウェルにコロニーを入れる。なお、釣菌針117は異なるコロニー種をピックアップする毎に異なるものに変更できるようにしておく。シャーレ内に形成するコロニーの量が不足し，１つのシャーレでは，マイクロプレート123にある，設定したウェルの数すべてで菌を培養できない場合には，検体の細菌を複数のシャーレで培養，複数のシャーレよりある特定の細菌種を決定し，その複数のシャーレから１つのマイクロプレートに菌を移すようにすればよい。これにより，比較的短い培養時間であっても，ＭＩＣ法を実行することが可能になる。このように複数のシャーレの撮像画像により，釣菌するコロニーを選択する場合には，ＧＵＩ112において，同一の検体の複数のシャーレ画像が容易に表示できるようにしておく。
【００２２】
次に、各構成の詳細について説明する。
図２Ａ及び図２Ｂは、低角照明ユニット101及び高角照明ユニット102の照明手段を側面及び上面からみた構成例を示す。低角照明ユニット101は４つの分割光源2011，2012，2013，2014で構成されており，光学系制御ユニット108を用いて個別に点灯制御を行うことができる。高角照明ユニット102は、同様に、４つの分割光源2021，2022，2023，2024で構成され，これらも光学系制御部ユニット108により個別に点灯制御を行うことができる。細菌コロニー表面は比較的滑らかであるため，照明をあてることにより，直接反射をする箇所が明るく撮影される。
【００２３】
図２に示すように，方位毎に照明を行うことにより，照明とコロニーの中心とカメラ光軸を含む面における明度を求められる。細菌コロニーの詳細な形状を求める場合には，光学系制御ユニット108を制御して分割光源2011，2012，2013，2014をそれぞれ１つずつ照明した画像を4回，更に，分割光源2021,2022,2023,2024をそれぞれを１つずつ照明した画像を4回の計8回撮影するのが望ましい。しかし，撮影時間を短縮するには，この幾つかを同時に照明して撮影するのが望ましい。一方，撮影時間を短縮するために，例えば，分割光源2011，2012，2013，2014を同時に照明した画像を1枚，分割光源2021,2022,2023,2024を同時に照明した画像を1枚の計2枚の画像でも良い。
【００２４】
直接反射光を検出すると，その近傍の細菌コロニーの色情報が失われてしまうという課題がある。細菌コロニーを種類別に分別するには，色情報が重要である。そこで，われわれは低角照明においては，直接反射光がなるべく検出されないような角度を選択することとした。低角照明ユニット101の照明は，シャーレの端で最も高い角度のθになるが，評価の結果，ほとんどのコロニーで直接反射光の影響を受けずに色情報を取得できるθが45°以下の角度とするのが望ましい。
【００２５】
また，高角の照明においてもシャーレの端部において，最も高角度，θ２で照明することになるが，この角度が80°を超えると，培地によってはシャーレの端において，表面張力によって培地が傾き，この培地自体が直接反射で明るく検出される場合があることがわかった。そこで，高角照明は最も高角度な照明であっても，照明角度が80°を超えないように設定するのが望ましい。
【００２６】
このように照明角を設定することにより，分割光源2011, 2012, 2013, 2014よりなる低角の照明では，ほとんどの場合，直接反射光を検出することは無いため，１つずつ照明しても得られる情報量としては多くない。このため，低角の照明はすべての方位から同時照明して撮影することが，撮影時間を短くするという観点で望ましい。なお、全方位同時照明でなくとも、ユーザの選択等により決定された任意の複数の方位から同時照明して撮像するようにしても構わない。図３は図２とほぼ同一の構成を線状の照明で構成したものである。低角照明ユニット101の照明を分割光源3011，3012，3013，3014，高角照明ユニット102の照明を分割光源3021，3022，3023，3024を用いて構成している。このそれぞれが光学系制御ユニット108を用いて個別に点灯制御を行うことができる。ここで、図２及び図３では、低角照明ユニット及び高角照明ユニットの分割光源として、それぞれ４つずつ設けた例を示したが、これに限られず、任意の複数の分割光源を用いて各照明ユニットを構成してもよい。更に、低角照明ユニットと高角照明ユニットの組み合わせに限られず、これらの間の角度の位置に中角照明ユニットを設けて、角度検出分解能を向上させるように構成しても構わない。
【００２７】
コロニーの直接反射光をもとに分類を行うことを考慮すると，シャーレ107のいずれの位置においてもコロニーのほぼ同一の法線方向からの直接反射光を検出する必要がある。しかし，シャーレは通常，φ90mm程度であり，これを実現するためには，高角照明ユニット102，カメラ等の撮像手段103をシャーレから大きく離す必要がある。この離す必要のある間隔を出来るだけ小さくするためには，カメラをテレセントリック光学系にしても良い。この方式にすることで，撮像系のレンズとシャーレ間の距離を縮めることができる。
【００２８】
また，照明系に関しては，高角照明ユニット102をLED多数の集合として，各LEDにマイクロレンズを設け，比較的平行光にするといった方法を採用することで，照明とシャーレとの位置を短くすることができる。また，その他の構成としては図２０に示す方法もある。2001と2003は光源であり，2002と2004はそれぞれ放物面鏡であり、光源2001と光源2003とはそれぞれ放物面鏡2002と放物面鏡2004との焦点位置に配置されている。これにより光源2001と光源2003とからそれぞれ放物面鏡2002と放物面鏡2004とに向けて発射した光はこれらの放物面鏡で反射されて平行光となってシャーレ107に照射される。その結果、シャーレ107の任意の位置において，ほぼ同一の方向から照明することができるようになる。なお、ミラーとしては放物面鏡2002,2004に限られず、球面鏡などを適宜用いても構わない。
【００２９】
ここで、図４で示す画像処理ユニット109の内部フローについて、画像処理ユニット109内に設けられた各機能手段を用いて説明する。光学系制御ユニット108から送られてきた複数枚の画像は画像取得手段126にて受信する(ステップ401)。取得された複数枚の画像はコロニー抽出手段127に送られ，複数枚の画像を組み合わせることでシャーレ全体のコロニー領域を抽出する(ステップ402)。画像の組み合わせ方は，シャーレ情報入力ユニット110より得られた培地の種類によって決定される。例えば，可視光を透過するトリプチケースソイ寒天培地などは，透過照明ユニット104によって照らされたシャーレの画像中に存在するコロニーの領域は周辺より明度が著しく低い。そのため抽出の際，他の照明の画像よりも透過照明画像の重みを大きくして領域を求める。対して，可視光が内部で散乱する血寒天培地などは，透過照明からの可視光が培地を透過しないためコロニー領域が顕在化されないが，低角・高角照明によって照らされたシャーレ画像は培地領域の明度が低くコロニー領域の明度が顕在化されることが多いため，コロニー抽出を行う際はこれらの上方照明の画像の重みを大きくして領域を求める。
【００３０】
次に、コロニー間距離計測手段128にて、コロニー抽出手段127で抽出された個々のコロニー領域とそれらに近接するコロニーとの距離を求める（ステップ403）。一方、特徴量算出手段129では，コロニー抽出手段127によって判定された個々のコロニーの面積や周囲長、輝度、彩度といった特徴量を算出する（ステップ404）。孤立判定手段130では、抽出されたコロニーに対してコロニー間距離計測手段128で得られたコロニー間距離と特徴量算出手段129で得られた外観特徴量から、孤立して形成されたコロニーかどうかを判定する（ステップ405）。孤立判定手段130での孤立判定は，コロニー間距離がある閾値以上であること，かつ2個以上のコロニーが結合していないことを基準としてなされる。前者の条件は，コロニー間距離計測手段128で得られた値が閾値以上かどうかを判定するだけでよい。後者の条件は、特徴量算出手段129で算出された特徴量を統合的に処理し判断する必要がある。例えば、同径の2個のコロニーが密に結合した場合は，結合部分が括れた楕円形状を持つことが多いため，モーメント特徴を求め，コロニー形状の長軸と短軸を算出しそのアスペクト比で判定すればよい。しかし，同径のコロニー3個以上や大小の2個のコロニーが結合した場合は，この条件では判定できない。そのため、得られた特徴量から教示学習を用い統合的な判断を行う。
【００３１】
さらに、孤立判定手段130は２つのパラメータセットを持つ。１つのパラメータセットは釣菌してもコンタミする可能性が低いコロニーだけを孤立判定する。このパラメータによって判定されたコロニーの情報は釣菌候補選択手段132に送信される。残りのパラメータセットは，分類時に使用する多量のサンプルデータを得るため，先のパラメータセットに比べ緩い判定条件に設定しており、孤立コロニーと分類時に使える準孤立コロニーを判定する。釣菌用のパラメータによる結果と分類用のパラメータによる結果とはＧＵＩ112に同時に表示され、ユーザーはこれを見ながら両パラメータを修正することが可能である。このパラメータセットによって判定されたコロニーの情報はコロニー分類手段131へ送信される。
【００３２】
コロニー分類手段131では，孤立判定手段130で判定された孤立コロニーと特徴量算出手段129で算出した特徴量ベクトルの分布、シャーレ情報入力ユニット110より得られた情報を適宜用いて，教示分類もしくはクラスタリング手法によってコロニーのグルーピングを行う（ステップ406）。シャーレ上に多量の孤立コロニーが形成していても，検査に必要なコロニー量だけ採取すればいいため，すべてのコロニーを釣菌する必要はない。そこで、釣菌候補選択手段132では，孤立判定手段130における孤立判定でコンタミ可能性が少ないコロニーや，コロニー分類手段131におけるグルーピング結果におけるグループの中心付近のコロニーに絞り込み、釣菌候補を選択する（ステップ407）ことで，最終的な釣菌精度を高める。コロニーの分類結果と釣菌候補選択結果はＧＵＩ112にマーキング付きのシャーレ画像として表示され（ステップ408），ユーザーは結果を確認することができる。ここで、釣菌対象のコロニーが釣菌候補として選択されなかった場合や、逆に釣菌対象にならないコロニーを釣菌対象にならないコロニーを釣菌対象として多く判定した場合には、必要に応じて、ユーザーがその結果を修正することができる。若干の修正であれば釣菌候補選択手段132のパラメータを、大幅に修正したい場合は孤立判定手段130のパラメータを修正すればよく、ＧＵＩ112を介してユーザからのこれらの修正の入力を受けた場合には、再度計算され、釣菌候補選択手段132で釣菌候補の選択がなされる（ステップ409）。さらに、分類結果に対して間違ってグルーピングされたコロニーがある場合には、必要に応じて、ユーザーがＧＵＩ112でこのコロニーを選択し、ユーザーからの分類修正の入力を受けてコロニー分類部406で再度分類の計算がなされる(ステップ410)。また、分類対象となるコロニー中に分類結果に大きく影響を与える不適切なコロニーが含まれている場合には、必要に応じて、ユーザーからの修正の入力を受けて孤立判定手段130のパラメータが修正され、分類結果が修正される(ステップ410)。ＧＵＩ112にて修正の入力が無ければ、釣菌対象決定手段133にて最終的な釣菌対象が決定され、決定情報が釣菌対象決定手段133から二次記憶装置111に送信されて保存される（ステップ411）。
【００３３】
図５は各照明による細菌コロニー特徴の顕在化の状態を示すものである。高角照明では反射光の位置によりその反射光の位置の細菌コロニーの角度を求めることができる。直接反射光を得た細菌コロニーの位置において細菌コロニーの法線方向は、反射光位置からカメラレンズ方向への単位ベクトルVcと反射光位置から照明への単位ベクトルViを用いて(Vc+Vi)/2であらわされる。コロニーが平らであれば，この反射光を検出した位置がコロニー中心付近であり，反射光位置がコロニー近傍であればコロニーは培地から高さを持っていると推定できる。また，コロニーがドーム状から崩れた形状である場合には，反射光は複数の位置で検出される。一方，低角照明においては，コロニーの表面形状が多少変化した場合でも明度は変化せず，細菌コロニーの表面の色，明度情報を取得しやすい。
【００３４】
図６にシャーレにおける細菌コロニーの分布を示す。シャーレ601上に，シャーレの外側近くにシャーレからの乱反射や，シャーレ縁における表面張力の影響で培地が傾くことにより発生した多少明るく見える領域602がある。また，細菌コロニーの分泌液により，培地の明度，あるいは色が変化してしまう領域603もある。604は比較的培地からのコントラストが低い，小型の種類の細菌コロニーであり，605はコントラストの高い細菌コロニーである。コントラストの高い細菌コロニーは検出しやすいが，603のコロニーは低コントラストであり，培地の平均明度，あるいは色からの変化は602や603のような領域の方が離れている。培地の平均からの色あるいは明度の差分でコロニーを検出すると604を抽出可能な条件では602や603のようなコロニーでない領域もコロニーとして抽出してしまうことになる。そこで，本実施例では，次の３つのステップを用いて，孤立したコロニーを抽出できるようにする。すなわち，
（I）空間的なバンドパスフィルタをかけ，602や603の特徴である低周波数成分を除去する。
（II）着目する領域の周辺の局所的な明度をもとに培地と思われる明度，あるいは色を算出，この局所的な明度，あるいは色との比較に基づき，異なる場合にコロニーの候補として抽出する。
（III）コロニーの候補として抽出された領域の明度，あるいは色の分布を評価し，明度分布がドーム状に類似した場合をコロニーと判定する。
【００３５】
図７に（II）のステップのアルゴリズムの考え方を示す。図７は撮影した画像のある１次元方向の明度分布を示す。701と702は抽出すべきコロニーであるが，単純な二値化手法を採用すると703の領域がコロニーとして抽出されてしまう。そこで，701の領域のコロニーの有無判定を行う場合は，その近傍の703の領域，702の領域の有無判定を行う場合にはその近傍の704の領域を基準にしてコロニーの有無を判定するのが良い。
【００３６】
（III）の手法としては，例えば二次関数フィッティングが挙げられる。（II）の処理において，抽出すべきコロニーの近傍を基準に明度の明るい領域を抽出しても，例えば図６の606に示すように複数の細菌コロニーが重なった領域を抽出してしまう恐れがある。複数のコロニーの集合体では，単一の細菌のみで構成されない場合があるため，これは除去しなければならない。（II）で得られたコロニーの候補領域の透過画像明度をI(x,y)としたとき，例えば，
（数１）Error＝Σ（Ax2+Bx+C+Dy2+Ey+F+Gxy+H−I(x,y)）2
がコロニー候補領域で算出し，このＥｒｒｏｒが最小となるように，係数，A,B,C,D,E,F,G,Hを最小二乗法等で算出し，コロニー候補領域の面積をSとした際に，Error/Sがしきい値以下の場合のみ孤立コロニーとする，等の方法を採用可能である。また，この二次関数フィッティングをガウス関数近似で同様に算出しても良い。
【００３７】
（II）で説明したステップは培地の画像が急峻には変化せず，画像中の急峻な明度の変化は細菌コロニーのみによることを前提としていた。しかし，実際にはそれ以外の明度変化も存在する。その最大の問題がシャーレに記述された文字である。図８Ａ（ａ）は透過照明ユニット104のみを用いて図８Ａ（ｂ）に示すようにシャーレ107に対して下方から照明して撮影したシャーレ107の画像801であり，図８Ｂ（ａ）は低角照明ユニット101で図８Ｂ（ｂ）に示すように低角から照明して撮影したシャーレ107の画像であり，図８Ｃ（ａ）は高角照明ユニット102で図８Ｃ（ｂ）に示すように高角から照明して得た画像である。一般に、細菌の培養に用いるシャーレの底には，そのトレーサビリティをチェックするためのバーコード等の印刷がされており、この印刷は例えば図８Ａ（ａ）の画像801から最も鮮明に判る。このバーコードは遮光板105の台にシャーレ107が送られる際、自動的にシャーレ情報入力ユニット110にて読み取られ、検体情報・培地情報などを得ることができる。また，病院や検査機関では，類似した多数の細菌培養シャーレを区別するために，マジックインキ等で検体ＩＤ等を記載することも行われる場合がある。このように，コロニーよりもシャーレ底の文字の方がより鮮明な場合がある。
【００３８】
図８Ｂ（ａ）のシャーレ107の画像802のように低い角度から照明した像では，この印字はほとんど見えないが，非常に透明度の高い培地の場合は見える場合がある。図８Ｃ（ａ）のシャーレ107の画像803では図８Ａ（ａ）の画像801と比較すると鮮明でないが，図８Ｂ（ａ）の画像802と比較するとはっきりと見ることができる。804が細菌コロニー，805がシャーレの印字、806が培地である。
【００３９】
図８Ａ（ａ）のシャーレ107の画像801のように下方から照明した場合には，印字805が光を遮ることになるため，極めて良好に撮像される。図８Ｂ（ａ）の画像802の低角照明の場合，ほとんどの光は表面で反射され，培地806の内部には潜り込まないため，印字はほとんど見えることがない。図８Ｃ（ａ）の画像803は上方から照明しているため，低角照明よりも培地806の内部に光が入り込み，印字が鮮明に見えてしまう。ここで，透過照明ユニット104を用いた透過照明以外の場合には、遮光板105を配置することで図８Ｃ（ａ）の画像803では印字が見えにくくはなっているが，完全に見えなくすることは困難である。そこで，（II）のステップにおいては，まず，シャーレ底の印字，あるいは文字，ラベル等，局所領域処理による培地806の明度，色を認識する際に障害となるマーク領域を特定することが必要になる。
【００４０】
ここで、このマーク領域を特定し、これを除外してコロニー領域候補を抽出するアルゴリズムを，図２１を用いて説明する。まず，シャーレ107を透過照明ユニット104を用いて下方から透過照明した状態を撮像手段103で撮影して得た透過照明画像より、暗い領域Ａを抽出する（ステップ2101）。この暗い領域Ａは一般には細菌コロニーの領域かあるいは，シャーレ底のマーク領域である。ついで，このＡ領域を除いた領域で，低角照明ユニット101又は高角照明ユニット102のいずれか、若しくは、これらを複数組み合わせてシャーレ107を上方から照明し撮像手段103で撮像して得た上方照明画像より、培地の平均的な明度を求める（ステップ2102）。ここでは、低角照明ユニット101を用いた低角照明による画像でも、高角照明ユニット102を用いた高角照明による画像でも、あるいはその両方でも良い。高角照明による画像からの方が顕在化されるコロニーもあれば，低角照明による画像からの方が顕在化されるものもあるためである。最も頑強なアルゴリズムはその両方を行うのが良い。更には，また，低角照明ユニット101又は高角照明ユニット102を照明方位別に照明した場合には，複数の方位またはすべての方位から照明した画像の平均した合成画像をそれぞれ算出する方が，シャーレ位置に依存しない細菌コロニーの検出が可能である。
【００４１】
一般に、細菌の分泌液で培地が変色した場合にも，それほど大きな変色はない。そこで，次にこの平均的な明度に対して近接した明るさ，色をもつ領域より，局所的な培地の明度，色を求める（ステップ2103）。ついで，この局所的な明度，色との差が大きな領域をコロニー候補領域として抽出する（ステップ2104）。このようにして抽出されたコロニー候補領域に対し、さらに上記（III）で述べた手法を用いることで、コロニー領域が決定される。
【００４２】
次に、性質の異なる培地に適した他のコロニー領域抽出方法について、図９Ａ及び図９Ｂを用いて説明する。例えば、血液寒天培地のようなコロイドを含む成分を添加された培地の場合には，図９Ａ（ｂ）及び図９Ｂ（ｂ）に示すように、培地806の内部にて903や904のように可視光が散乱する。そのため，透過照明ユニット104の透過照明で照らされた状態で撮像して得た図９Ａ（ａ）に示すシャーレ107の画像901はコロニーの境界がぼやけた画像になり，コロニー領域が顕在化されにくい。一方、上方照明による照明状態で撮像して得た図９Ｂ（ａ）に示すシャーレ107の画像902は，培地内に入射しシャーレ底で反射してからカメラ方向へ向かう光がほとんど生じないため，シャーレ裏面の印字が写らないので，光を透過する培地よりもコロニー抽出に有効である。また，培地806の内部に入射した光905はランダムに内部拡散し培地表面が均一な色合いになるため，透明な培地よりもコロニーを抽出する上で優位に働くといえる。このような光を完全に透過しない培地の場合は、上方照明の画像を主に用いて，コロニーを抽出したほうがよい。そこで、二次記憶装置111に，例えば、どの照明によって撮影された画像を主に利用するかを培地の種類毎に設定した抽出パラメータをパラメータレシピの一部として保存しておき，シャーレ情報入力ユニット110によって取得したシャーレ情報から最適な抽出パラメータをＧＵＩ112などにより選択する。
【００４３】
次に、抽出した個々のコロニーとそれらに隣接するコロニーとの距離を求めるコロニー間距離計測手段128の詳細について、図１０を用いて説明する。コロニー1001のコロニー間距離を計測する時，コロニー1001の周りに存在するコロニー1002，1004，1005に対し，コロニー1001の縁と他のコロニーの縁との間隔が最短のものを求める。図１０（ａ）の例では，コロニー1002，1004，1005のうちコロニー1002との距離1003が最も短くなる。コロニーはほぼ真円状をしているため，コロニー領域の面積からその半径と中心を求める。これらのコロニー間の距離の計算は，距離1003の場合，コロニー1001の中心とコロニー1002中心の距離からそれぞれのコロニーの半径r1とr2を引いた値で求めることができる。図１０（ｂ）に示すコロニー1006においてコロニー間距離を求める場合には，もっとも隣接しているコロニーが複数のコロニーが結合した1008のように円形状ではない場合がある。このような場合，コロニー領域1008の輪郭上の任意の点とコロニー1006の中心との距離がもっとも短くなる点Pを求め，その距離からコロニー1006の半径を引くことで算出する。
【００４４】
次に、抽出したコロニー領域候補からコロニーの画像特徴量を抽出するステップについて、図１１を用いて説明する。まず、抽出したコロニー領域候補から（III）の手法により、コロニー1005を抽出し（ステップ1111）、抽出したコロニー毎の領域より、コロニーをグルーピングするためのコロニーの画像特徴量を算出する（ステップ1112）。画像特徴量としては高角照明画像1101（高角照明ユニット102で照明），低角照明画像1102（低角照明ユニット101で照明），透過照明画像1103(透過照明ユニット104で照明)を処理して，少なくとも以下の特徴量を算出する。なお，高角照明画像1101では複数の方向から個別に照明して複数の高角照明画像を順次得てこれを個別に処理することにより弁別性の優れた特徴を得ることができる。
【００４５】
(a) 表面凹凸：1107
表面の凹凸は，図５で示したとおりに直接反射光の位置により、観察された位置のコロニーの法線方向が算出できるため，これを用いて求める
(b) テクスチャ：1107
テクスチャは、表面凹凸と同様に、直接反射光の出方に基づいて求める。表面が荒れている場合は，方位別にコロニー中心に対して非点対象に小領域の直接反射光が観測されるため，これを用いる。
【００４６】
(c)色：1108
色特徴は、低角から照明した画像又は透過照明画像を用いて算出する。なお，補助的に，高角から照明した画像を用いても良い。色空間としては，通常のRGBの他にLu*v*空間や，HSV空間等を用いても良い。特に透過照明画像を用いた場合は，RGB画像を用いると，コロニーの培地からの高さにより明度が変化するため，コロニーの高さ特徴を色特徴と別に設定した場合，特徴量間が統計的に独立ではなくなってしまう可能性が高い。このため，明度と色が独立なLu*v*色空間やHSV色空間はメリットが大きい。
【００４７】
(d) 形状（大きさ，円形度，長軸/短軸）：1109
検出したコロニー1105の中から選択したコロニー1106について、領域のサイズや，その円形度，形状を楕円近似したときの長軸/短軸等を画像から算出する。円形度は領域の周囲長を面積の平方根で割ることにより求める。この円形度により，細菌の縁がアメーバ状になるものを顕在化することができる。
【００４８】
(e) 明度，色，透過率，立体形状：1110
明度は、透過照明画像1103を用いて求める。明度と高角照明画像の直接反射をもとに透過率，および培地からの高さを求めることができる。図２２に高角照明画像と透過照明画像の関係を示す。2201はある１方向から照明した高角照明画像の各位置における明度レベル，2202は透過照明画像の各位置における明度レベルを示す。
【００４９】
透過照明は，培地が光の透過率が高い場合のみ用いることができるが，コロニーの位置で暗くなり，コロニーの厚みが増すとともに暗くなる。コロニーの内部におけるある明度をIC(x,y)，培地の明度の平均値をIMとおくと，ある（x，y）の位置でのコロニーの厚みD(x,y)は以下の式で求められる。
（数２）D(x,y)＝−G(log IC(x,y)−log IM)
ここで，Ｇはコロニー種毎に決定されるゲインである。
【００５０】
ある位置，（Ｘ，Ｙ）において，高角照明による反射光を検出できたと仮定する。このときの，法線ベクトルが鉛直方向からθ傾いていたとする。このとき，Δｘだけ位置のずれた際の厚みの変化は−Δx tan θとなる。ここで，D(x,y)の差分を計算すると，
（数３）D(X+Δx,Y)−D(X,Y) ＝ −G(log IC(X+Δx,Y)− log IC(X,Y))＝ −Δx tan θ
が成立する。すなわち，
（数４）Ｇ＝Δx tan θ/(log IC(X+Δx,Y)−log IC(X,Y))
で求められることになり，これにより，コロニーの厚みは任意の位置で求められることになる。よって，比較的透過度の高い培地の場合には，直接反射光の発生する箇所さえ見つかれば，コロニーの立体的な形状，体積を求められる，細菌コロニーを識別する上で大変重要な特徴量になる。例えばこの情報から，コロニーの最大高さ，体積，平均高さ，外周の高さを演算する。これらの特徴をそれぞれ要素としたベクトルを算出し，これを各コロニーの画像特徴量とする。
【００５１】
次に、上記のように抽出されたコロニー間距離と算出されたコロニーの特徴量を適宜用いてなされる孤立コロニー判定処理について、図１２を用いて説明する。ここでの孤立コロニーとは，細菌が粒上のコロニーから成長して円形上のコロニーを形成していく時に，他のコロニーと接触することなく成長し，かつ他のコロニーと一定以上の距離で離れているものと定義する。コロニー間の距離についてはコロニー間距離計測手段128での結果を用いて判定すればいい。
【００５２】
ここでは、成長の過程で、元々孤立していたコロニーが接触してしまったものについての判定方法を扱う。1201,1202は2つのコロニーが接触もしくは1部分が結合してしまった例である。これらの結合したコロニーは特徴量算出手段129で求めた長径と短径(1201の例であれば長径1208と短径1209)のアスペクト比がしきい値よりも大きければ孤立か否かを判定することができる。1203で示すようなほぼ同径の3つのコロニーが結合した場合や，1204で示すような極端に大きさの異なる2つのコロニーが結合した場合は，前述のアスペクト比を用いた判定ができない。そこで，このような場合には、これらのコロニーを判定するような孤立判定用の特徴量の算出を行う。
【００５３】
まず、1203や1204については，コロニー領域の境界点列(xi,yi)(i＝1,2,・・・)からk−曲率C(i)の統計量をヒストグラムにして求める。複数のコロニーが結合せず，形状が真円に近ければ，任意の境界点の曲率は一定になるので，境界点列のC(i)は1つの階級だけに投票されることになる。対して1203のようなコロニーの場合，円形部分の点列においての曲率は一定になるが，結合箇所の境界部分においては，くびれた形状をしているため曲率が大きく変化する。このC(i)のヒストグラムを算出すると，１つの階級に対して大きいピークとその他の階級に少量の度数をもつ。1204のコロニーにおいては，境界にくびれた部分と径が異なる円弧部分が存在するので，C(i)のヒストグラムは２つ階級のピークとその他の少量の度数の階級を複数もつ。これらのヒストグラムから孤立判定を求めるには，正規化したヒストグラムのエントロピーで条件分けすればよい。孤立した真円状のコロニーの曲率ヒストグラムは，１つの階級においてのみ投票されるため，エントロピーは0に近い値となる。対して1203や1204のコロニーにおけるヒストグラムは複数のピークやピーク以外の階級に度数をもつなど乱雑度が高い。そのためエントロピーは１に近くなるので，この性質を利用して判定すればよい。
【００５４】
1205のコロニーは明度が異なる２つの細菌のコロニーが密に結合したものを示す。このようなコロニーは，ほぼ真円でコロニーの境界にくびれも生じないため，上記判定方法では孤立判定するのが難しい。そこで，コロニー領域の重心とコロニー領域の明度の重心を求めて位置を比較する。明度分布に偏りがある場合，この二つの重心の位置は大きくずれるので，この違いを利用して孤立判定を行う。1206の大きいコロニーの内部に小さいコロニーが形成されている場合や，1207のようにほとんど明度が同じ２つのコロニーが密に結合しほぼ真円状をしている場合，1つの特徴量だけを用いて孤立判定を行うことは難しい。そこで、これらのコロニーに対しては、ユーザーがＧＵＩ112上で確認し、ごく僅かな明度の変化・輪郭の歪み・直接反射光の形状などの手掛かりを総合的に判断することで孤立判定が可能である。具体的には、1206や1207のコロニーに対しては，特徴量算出手段129で算出された特徴量ベクトルに対して，1206や1207に該当する既知のコロニーの特徴量ベクトルを事前に収集し，K−NN法やSVMなどの教示分類を用いて判定を行う。
【００５５】
続いて、図１５を用いて孤立判定の２つの判定方法について説明を行う。孤立判定手段130は２つのパラメータを持っており，２つの孤立判定結果を出力する。片方のパラメータは最終的に釣菌に使うコロニーを絞り込むため，多くのコロニーがはじかれるような厳しい判定になるような値が設定されており，これによる結果は孤立コロニーとして孤立判定手段へと送られる。図１５（ａ）の1501は，このパラメータによって判定されたシャーレ上の細菌コロニーを示し，1502はその特徴量ベクトルを表す。これらの細菌コロニーはコンタミする危険性がすくないため，細菌同定検査を行う上で非常に有効ではあるが，この条件をクリアするコロニーが少ない場合には，特徴量空間上の特徴ベクトルのサンプル数が少なくなるため，クラスタリング手法を用いて細菌コロニーの分類を行う時にクラスタをうまく形成しない可能性が高くなる。そこで、分類を安定させるために，特徴量ベクトルのサンプルを釣菌対象外のコロニーを用いて増やすことが望ましい。例えば，図１５（ｂ）の1503のようなコロニー間距離が短いために厳しい判定となるようなパラメータによる判定でははじかれてしまったコロニーの特徴ベクトルは1504のように集団を形成するサンプルの１つとなりうる。また、図１２で示した1204や1206のような細菌コロニーは，コンタミを起こしてしまうが，特徴ベクトルは同径の大きいコロニーに近くなるので，これらも分類時においては有効活用できる。よって，孤立判定用のもう片方のパラメータは，孤立コロニーと釣菌には問題があるが分類には利用できる準孤立コロニーも判定し，これらのコロニーはコロニー分類手段131へ送信される。これによりクラスタリング手法の結果を安定させるために十分な数の特徴ベクトルのサンプルを得ることが可能となる。
【００５６】
次に、判定した孤立コロニーと算出した特徴量ベクトルの分布とを適宜用いて、コロニー分類手段131にてコロニーを分類する方法について説明する。細菌種毎のコロニーの分類には，基本的に２つの方法がある。１つは既に登録してある細菌種毎に分ける方法ともうひとつは与えられたシャーレのコロニー画像のみでコロニーの種類毎に分ける方法である。
【００５７】
１つめの方法について，図１３を用いて説明する。図１３（ａ）は特徴量データベース（ＤＢ）1301を示し，データベースは図１３（ｂ）に示すインデックス1302により，データを検索できる。菌種13021は，必ずしも１つの菌種とは限らず，いくつかの菌種のグループでも良いが，その場合においても外観が類似しているもののグループとなる。次が培地13022である。細菌コロニーは培地によって，生えるものが限定されている場合があり，また，培地によっては，細菌コロニーの色が細菌種によって大きく変化する場合もある。このため，培地の情報は細菌を分類するにあたって極めて重要である。検体13023は，細菌を取得した検体が，例えば患者の血液なのか，糞なのか，尿なのかにより，発生しやすい細菌が変化する。この情報もまた，細菌を分類する上で，重要な細菌を見落とさないようにするため重要である。また、菌種13021の培養条件13024も菌種を分類する上で重要な情報である。最後に特徴量データ13025が記述されている。特徴量データ13025はベクトルデータであり，多数の同一種類の細菌コロニーのベクトルデータの集合より構成されている。例えば、図１３（ｃ）に示す1303，1304，1305はそれぞれ同一の培地，検体，培養条件で撮影された異なる細菌種のコロニーのベクトル群を示したものである。今，新たな未知の細菌種の細菌コロニーから得た特徴量ベクトルが1306であった場合，本発明では最も類似した特徴量ベクトルの1305が隣接しているため，1306も1305と同一の細菌コロニーと判断する。
【００５８】
典型的な細菌コロニーに関してはこのようにデータベースに登録しておくが，検体から培養した細菌が必ずしもデータベースに登録されていない場合がある。この場合に対応するため，シャーレから画像処理で得た特徴量ベクトルを，データベースを用いないでインタラクティブにグルーピングする方法もある。
【００５９】
このアルゴリズムを図１４Ａ、Ｂを用いて説明する。図１４Ａの特徴量空間1401において，1403，1404，1405はシャーレの画像1402におけるそれぞれ，1406，1407，1408と対応したコロニーの特徴量ベクトルである。検査員はＧＵＩ112上に図１４Ａに示した特徴量空間の図が表示された状態で、グルーピングしようとする細菌コロニーの典型的な例が1403,1404,1405であることをシステムに教示すると，コロニー分類手段131は一般的に知られているクラスタリング手法などを用いて特徴量ベクトルをグルーピングする。クラスタリング手法としては，例えばEMアルゴリズムやk−means，ファジーk−meansといった手法を用いることができ，このアルゴリズムを実行させる前の初期状態のグルーピング状態として検査員の教示結果を用いるようにすれば良い。また，クラスタリングアルゴリズムではなく，一般的な分類アルゴリズム，例えばNearest Neighbor法やNaive Bayes法といった分類アルゴリズムを用いても良い。分類アルゴリズムを用いる場合，サンプルが１つずつ教示されたクラスがあるものとして実行することになる。
【００６０】
また，コロニー分類手段131は，検査員から教示された典型的な細菌コロニーの特徴から大きく特徴量が離れていた場合には分類結果が未知のコロニーとしてグルーピングから除外するようにする。更に，典型的な細菌コロニーとして教示された複数のコロニーの特徴量からほぼ等距離にあるものも，グルーピング先が不明のコロニーとしてグルーピングから除外する。これは，例えばMIC法を実施するにあたり，本来想定していなかった細菌を用いて薬剤の耐性評価をすることを防ぐために不可欠である。更にシステムは，このグルーピング結果に基づき釣菌するサンプルを選択する。多数のコロニーが培養された場合には，グルーピングされた結果のうち，検査員が典型的なコロニーとして選択したものに特徴量的に近いものを釣菌するように選択するのが望ましい。
【００６１】
コロニー分類手段131により処理した結果は、ＧＵＩ112に表示される。検査員は，ＧＵＩ112に示されるグルーピング結果を確認して，望ましい分類結果，あるいは釣菌結果であれば，この結果によって釣菌するようシステムに指示をする。グルーピング結果が不十分であった場合には，新たにシステムにＧＵＩ112を介して特定の細菌コロニーの細菌種を教示する。コロニー分類手段131は例えばNaive Bayes法の新たな教示データとしてこれを追加して分類を実行し，ほぼリアルタイムに検査員にグルーピング結果を示す。また，これ以外に，K−NN分類の新たな教示データとして扱っても良いし，検査員の追加した教示データのグループをK−meansクラスタリングの初期状態に反映させても良い。また，これ以外の別の公知の分類アルゴリズムやクラスタリングアルゴリズムを用いてもよく，検査員にその教示データを追加した後の分類結果を示し，満足すべきグルーピング結果かを検査員がすぐ判断できるようにする。
【００６２】
検査員が細菌種を特定できないコロニーも存在する。このような場合には細菌種が特定できないコロニーとして入出力端末を介してシステムに登録する。システムは，細菌種が特定できないとされたコロニーの特徴量空間における最も近接した例えば２つのグループを特定し，この２つのグループの境界面をそれぞれグループ中心に移動させて，検査員が特定できないとしたコロニーがグルーピングされないようにする。
【００６３】
なお，このグルーピング結果は１つのシャーレのみで行うとは限らない。マイクロプレートには多数のウェルが配置されており，１つのシャーレのみでは全てのウェルを細菌で満たすことができない場合があり，１つの検体の細菌を複数のシャーレで培養する場合があるためである。この場合，複数のシャーレの画像を同時に表示して検査員が複数のシャーレの画像を確認して教示サンプルを選択できるようにするのが良い。あるいは，複数のシャーレの画像のうち１つをＧＵＩ112に拡大表示しておき，入出力端末を構成するマウス，トラックボール，あるいはキーボード等の操作により，容易に画像を切り替えられるようにしておけるようにする。
【００６４】
本発明のシステムではそれぞれ異なる光学条件で撮影を行う。検査員は，複数の光学条件での画像を確認しなければ正確な細菌種を特定することができない。そこで，ＧＵＩ112には複数の光学条件の画像を表示できるようにしてある。検査員は入出力端末のマウス，トラックボール，あるいはキーボードなどの操作により，任意の光学条件の画像を表示できるようにし，あるいは，それぞれのシャーレの画像は一部のみ表示しておき，複数の光学条件の画像を同時に表示するようにしても良い。
【００６５】
次に、釣菌候補選択手段132での釣菌候補選択方式について、図１６を用いて説明する。図１６（ａ）のグラフ1601は特徴量空間上に，孤立判定されたコロニーの特徴量ベクトル分布を示したものである。分布点の形状の違い（四角・丸・三角）は分類結果を表す。1604は分類識別境界線を示す。1602のような分布点が実線のものは釣菌対象候補かつ分類対象となる孤立コロニーの特徴ベクトルで，1603のような点線のものは分類時のみ扱われる準孤立コロニーの特徴ベクトルを示す。孤立判定手段130により孤立コロニーと判定されて送られてきた孤立コロニーが多量に存在し，すべてを釣菌する必要がない場合には、さらにこれらの孤立コロニーの中から分類結果の信頼度が高いものを絞り込む。図１６（ｂ）のグラフ1605は孤立判定手段から送られてきた孤立コロニーからさらに釣菌するコロニーを選択した最終的な結果を表し，分布点が黒塗りになっているものが最終的な釣菌対象である。最終的な釣菌対象としては，1606に示すようなクラスタの中心付近のコロニーを選択している。これは、仮に1607のような分類識別境界線付近のコロニーを選択した場合には，2つ以上のクラスのコロニーが存在するため，分類結果に誤りのあるコロニーを含む可能性が非常に高いためである。
【００６６】
図１７は、ＧＵＩ112表示の一例を示す。1701には撮像された画像と，分類結果や釣菌候補を表示する。1702では，ユーザーが修正したいモードを選択できる項目であり，該当結果を修正することが可能となる。これによって選ばれたモードと，1701上の画像をクリックすることで，修正したい対象を選択することが可能になる。例えば，孤立コロニーや準孤立コロニーの判定を大幅に修正したい場合，1702で孤立コロニー判定修正の項目をチェックしてモードを変更し，判定を直したいコロニーのうち数個のコロニーをマウスなどのデバイスを用いて1701の画像上で正しい判定結果の情報を与える。選ばれた数個のコロニーを修正情報として，再び孤立判定を行う。孤立判定において，コロニーの特徴ベクトルから既に学習された部分空間により孤立コロニークラス・準孤立コロニークラス・それ以外のクラスが定義されているとする。オペレーターから孤立コロニークラスに判定してほしい他のクラスに判定されたコロニーの修正情報を与えたとする。既に学習で定義している孤立コロニークラスの部分空間をZとし，この修正情報の対象であるコロニーの特徴ベクトルをxとすると，部分空間ZをZ’＝(I+γxxt)Zで新たな部分空間Z’に更新できる。ここでIは単位行列，γはどれだけ修正させるかの度合いを表す。与えられたすべての修正情報によって部分空間を更新した後，改めて分類を行う。この修正方法は，孤立判定だけではなくコロニー分類の修正にも用いることができ，少数の修正情報で効果的に分類結果を修正することが可能である。
【００６７】
図１７の1703は特徴量ベクトルを2次元上の分布として表示する部分で，縦と横の軸の特徴量は1704でユーザーが任意に選ぶことが可能である。また1705では補助機能として1つの特徴量に対するヒストグラムが表示される。1706は特徴量の重みを変化させることができるスライダであり，これを選択することで1703の分布を変化させ，かつ分類結果の修正にも反映させることができる。
【００６８】
この特徴量の重み変化の概要について、図１８を用いて説明する。図１８（ａ）の1801は重み付けをしていない特徴量ベクトルの分布である。この分布に対し2クラスの分類を行うと1802のような分類識別境界線が得られるが，特徴量の重み付けを変化させることにより、例えば，X軸方向に対して重みを大きくし，Y軸に対して重みを小さくすると、図１８（ｂ）の1803のような分布が得られ，新たな1804のような分類識別境界線での分類結果を得ることができる。なお、特徴量重み付けパラメータの設定はユーザーがＧＵＩを見ながらその都度実施してもよいし、後述するパラメータレシピに従って設定された最適な特徴量重み付けパラメータ値により自動的に重み付けを実施させるようにしても構わない。
【００６９】
なお、図１７で示したＧＵＩ112の表示は一例に過ぎず、種々変更可能である。例えば、1701内には表示される画像が、低角照明画像、高角照明画像、透過照明画像のいずれかの表示があってもよく、これらの画像が複数枚並べて同時に表示されていても構わない。また、修正前の画像と修正結果を反映した画像とを同時に並べて表示したり、表示切替ボタンを押すことで、これらの画像の表示を切り替えるようにしてもよい。また、特徴量ベクトルの分布を表示する1703には、２次元の分布のみならず、３次元分布を表示するようにしてもよい。分類の結果、それぞれ異なるグループに分類されたコロニーの表示は、四角や丸、三角などの異なる形状で表示するのみならず、異なる色を用いて表示しても構わない。
【００７０】
次に、抽出・分類のパラメータレシピについて、図１９を用いて説明する。二次記憶装置111では，図１９の1901のようなパラメータレシピを持ち，培地の種類や検体に対してよい結果を示す抽出パラメータや分類用の特徴量重み付けパラメータや分類アルゴリズムなど、釣菌対象決定する際に必要な各種パラメータを事前情報として持っている。シャーレ情報入力ユニット110からシャーレの培地情報が得られると，得られたシャーレの培地情報に基づいて、保存された全てのパラメータレシピの中から適当なパラメータレシピを複数選択し，それぞれのパラメータレシピによって処理されることにより得られた結果を逐次1902のようにＧＵＩ112上に表示する。ユーザーはこの結果を確認し，結果の精度がよいものを選択するだけでいいので，検査スピードを短縮することが可能となる。また、修正が必要な場合でも，修正した時間を大幅に短縮することが可能であり，また修正結果のパラメータを二次記憶装置111に保存しておくことで，設定を再利用することができる。なお、シャーレの培地情報に基づいた最適なパラメータレシピが確立されている場合には、複数のパラメータレシピを選択することなく、ベストな一つのパラメータレシピを手動又は自動で選択するようにしてもよい。
【００７１】
以上、本発明者によってなされた発明を実施形態に基づいて具体的に説明したが、本発明は上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
【００７２】
また、本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば、下記の通りである。
すなわち、本発明によれば，複数のパラメータレシピから，通常のクラスタリングよりも分類精度を向上させることが可能となり，ユーザーは複数の分類結果の中から結果を選ぶだけの簡易な操作で高精度な分類結果にアプローチが可能となる。また、シャーレ上に釣菌対象となる孤立コロニーが少ない場合，それ以外のコロニーからクラスタを形成するのに十分な特徴量データ分布を得ることで分類結果の精度を安定させることができる。
【符号の説明】
【００７３】
101：低角照明ユニット，102：高角照明ユニット，103：撮像手段，104：透過照明ユニット，105：遮光板，106：台座，107：シャーレ，108：光学系制御ユニット，109：画像処理ユニット，110：シャーレ情報入力ユニット，111：二次記憶装置，112：ＧＵＩ，113：シャーレ搬送手段，114：スタッカー，115：シャーレ搬送手段，116：ステージコントロールユニット，117：釣菌針，118：Zステージ，119：XYステージ，120：透過照明ユニット，121：上方照明ユニット，122：撮像手段，123：マイクロプレート，124：生理食塩水，125：シャーレ ，126：画像取得手段，127：コロニー抽出手段，128：コロニー間距離計測手段，129：特徴量算出手段，130：孤立判定手段，131：コロニー分類手段，132：釣菌候補選択手段，133：釣菌対象決定手段
【特許請求の範囲】
【請求項１】
容器に収納された培養培地上に培養した細菌コロニーを照明する照明手段と、
前記照明手段により照明された前記細菌コロニーを撮像して複数の画像を取得する撮像手段と、
前記撮像手段により取得された前記複数の画像から複数の細菌コロニーを抽出し、前記抽出された複数の細菌コロニーの画像からそれぞれ算出される特徴量に基づいて、前記抽出された複数の細菌コロニーの分類及び孤立判定を行う画像処理手段と、
前記画像処理手段により分類された前記複数の細菌コロニーと、前記画像処理手段により孤立判定され前記複数の細菌コロニーの中から選択された釣菌候補の細菌コロニーと、を表示する表示手段と、
前記釣菌候補の細菌コロニーの少なくとも一つを釣菌する釣菌手段と、
を有することを特徴とする細菌コロニーの釣菌装置。
【請求項２】
請求項１記載の細菌コロニーの釣菌装置であって、
さらに、予め複数のパラメータレシピが格納された記憶手段と、
前記容器に収納された培地情報を少なくとも含む情報を前記画像処理手段に送信する情報入力手段と、
を有し、
前記画像処理手段は、前記情報入力手段により送信された前記容器に収納された培地情報を少なくとも含む情報に基づいて選択された前記複数のパラメータレシピの少なくとも一つを用いて、前記複数の細菌コロニーの分類を行うことを特徴とする細菌コロニーの釣菌装置。
【請求項３】
請求項２記載の細菌コロニーの釣菌装置であって、
前記画像処理手段は、前記予め格納された複数のパラメータレシピの中から選択された二以上のパラメータレシピ各々を用いて、前記複数の細菌コロニーの分類を行い、
前記表示手段は、前記選択された二以上のパラメータレシピ各々により分類された複数の結果を表示することを特徴とする細菌コロニーの釣菌装置。
【請求項４】
請求項２又は３記載の細菌コロニーの釣菌装置であって、
前記記憶手段に格納されたパラメータレシピには、特徴量重み付けパラメータ又はコロニー抽出時の画像の組み合わせパラメータの少なくとも一つが培地又は検体ごとに教示情報として含まれていることを特徴とする細菌コロニーの釣菌装置。
【請求項５】
請求項１記載の細菌コロニーの釣菌装置であって、
前記画像処理手段は、前記抽出された複数の細菌コロニー間の距離を計測し、前記計測された複数の細菌コロニー間の距離と前記複数の細菌コロニーの画像からそれぞれ算出される特徴量とに基づいて、前記複数の細菌コロニーの孤立判定を行うことを特徴とする細菌コロニーの釣菌装置。
【請求項６】
請求項５記載の細菌コロニーの釣菌装置であって、
前記画像処理手段は、
前記複数の画像から前記複数の細菌コロニーを抽出するコロニー抽出手段と、
前記抽出された複数の細菌コロニー間の距離を計測するコロニー間距離計測手段と、
前記抽出された複数の細菌コロニーの画像からそれぞれ算出される特徴量を算出する特徴量算出手段と、
前記複数の細菌コロニーの画像からそれぞれ算出される特徴量と前記計測された複数の細菌コロニー間の距離とに基づいて、前記複数の細菌コロニーの孤立判定を行う孤立判定手段と、
前記複数の細菌コロニーの画像からそれぞれ算出される特徴量に基づいて、前記複数の細菌コロニーを分類するコロニー分類手段と、
前記孤立判定された細菌コロニーと前記分類された結果に基づき、釣菌候補を選択する釣菌候補選択手段と、
を有することを特徴とする細菌コロニーの釣菌装置。
【請求項７】
請求項６記載の細菌コロニーの釣菌装置であって、
前記孤立判定手段は、前記複数の細菌コロニーの孤立判定に加え、前記コロニー分類手段での分類に用いる準孤立コロニーを判定することを特徴とする細菌コロニーの釣菌装置。
【請求項８】
請求項１乃至７のいずれかに記載の細菌コロニーの釣菌装置であって、
前記表示手段は、表示された前記分類された複数の細菌コロニー又は前記選択された釣菌候補の細菌コロニーを修正する項目が表示されていることを特徴とする細菌コロニーの釣菌装置。
【請求項９】
請求項１乃至８のいずれかに記載の細菌コロニーの釣菌装置であって、
前記照明手段は、前記容器に収納された培養培地上に培養した細菌コロニーを上方から照明する上方照明手段と、前記容器に収納された培養培地上に培養した細菌コロニーに対して前記容器を透過させて照明する透過照明手段と、を有することを特徴とする細菌コロニーの釣菌装置。
【請求項１０】
請求項１乃至９のいずれかに記載の細菌コロニーの釣菌装置であって、
前記特徴量は、透過を含む、方位もしくは仰角の異なる照明で撮影した少なくとも２枚の画像中のコロニーの色情報を用いて算出されたものであることを特徴とする細菌コロニーの釣菌装置。
【請求項１１】
容器に収納された培養培地上に培養した細菌コロニーを照明するステップと、
前記照明された前記細菌コロニーを撮像して複数の画像を取得するステップと、
前記取得された前記複数の画像から複数の細菌コロニーを抽出し、前記抽出された複数の細菌コロニーの画像からそれぞれ算出される特徴量に基づいて、前記抽出された複数の細菌コロニーの分類及び孤立判定を行うステップと、
前記分類された前記複数の細菌コロニーと、前記孤立判定され前記複数の細菌コロニーの中から選択された釣菌候補の細菌コロニーと、を表示手段に表示するステップと、
前記表示された釣菌候補の細菌コロニーのうち少なくとも一つを釣菌するステップと、
を有することを特徴とする細菌コロニーの釣菌方法。
【請求項１２】
請求項１１記載の細菌コロニーの釣菌方法であって、
前記抽出された複数の細菌コロニーの分類及び孤立判定を行うステップでは、前記容器に収納された培地情報を少なくとも含む情報に基づいて選択された複数のパラメータレシピ各々を用いて、前記複数の細菌コロニーの分類を行い、
前記表示するステップでは、前記選択された複数のパラメータレシピ各々により分類された複数の結果を表示することを特徴とする細菌コロニーの釣菌方法。
【請求項１３】
請求項１１記載の細菌コロニーの釣菌方法であって、
前記抽出された複数の細菌コロニーの分類及び孤立判定を行うステップでは、前記容器に収納された培地情報を少なくとも含む情報に基づいて選択された一のパラメータレシピを用いて、前記複数の細菌コロニーの分類を行うことを特徴とする細菌コロニーの釣菌方法。
【請求項１４】
請求項１２又は１３記載の細菌コロニーの釣菌方法であって、
前記パラメータレシピには、特徴量重み付けパラメータ又はコロニー抽出時の画像の組み合わせパラメータの少なくとも一つが培地又は検体ごとに教示情報として含まれていることを特徴とする細菌コロニーの釣菌方法。
【請求項１５】
請求項１１記載の細菌コロニーの釣菌方法であって、
前記抽出された複数の細菌コロニーの分類及び孤立判定を行うステップでは、
前記抽出された複数の細菌コロニー間の距離を計測し、前記計測された複数の細菌コロニー間の距離と前記複数の細菌コロニーの画像からそれぞれ算出される特徴量とに基づいて、前記複数の細菌コロニーの孤立判定を行うことを特徴とする細菌コロニーの釣菌方法。
【請求項１６】
請求項１１記載の細菌コロニーの釣菌方法であって、
さらに、表示手段に表示された、前記分類された前記複数の細菌コロニーの結果又は前記孤立判定され前記複数の細菌コロニーの中から選択された釣菌候補の細菌コロニーの結果を修正するステップと、
前記修正された前記分類された複数の細菌コロニーの結果又は前記選択された釣菌候補の細菌コロニーの結果を再表示するステップと、
を有することを特徴とする細菌コロニーの釣菌方法。
【請求項１】
容器に収納された培養培地上に培養した細菌コロニーを照明する照明手段と、
前記照明手段により照明された前記細菌コロニーを撮像して複数の画像を取得する撮像手段と、
前記撮像手段により取得された前記複数の画像から複数の細菌コロニーを抽出し、前記抽出された複数の細菌コロニーの画像からそれぞれ算出される特徴量に基づいて、前記抽出された複数の細菌コロニーの分類及び孤立判定を行う画像処理手段と、
前記画像処理手段により分類された前記複数の細菌コロニーと、前記画像処理手段により孤立判定され前記複数の細菌コロニーの中から選択された釣菌候補の細菌コロニーと、を表示する表示手段と、
前記釣菌候補の細菌コロニーの少なくとも一つを釣菌する釣菌手段と、
を有することを特徴とする細菌コロニーの釣菌装置。
【請求項２】
請求項１記載の細菌コロニーの釣菌装置であって、
さらに、予め複数のパラメータレシピが格納された記憶手段と、
前記容器に収納された培地情報を少なくとも含む情報を前記画像処理手段に送信する情報入力手段と、
を有し、
前記画像処理手段は、前記情報入力手段により送信された前記容器に収納された培地情報を少なくとも含む情報に基づいて選択された前記複数のパラメータレシピの少なくとも一つを用いて、前記複数の細菌コロニーの分類を行うことを特徴とする細菌コロニーの釣菌装置。
【請求項３】
請求項２記載の細菌コロニーの釣菌装置であって、
前記画像処理手段は、前記予め格納された複数のパラメータレシピの中から選択された二以上のパラメータレシピ各々を用いて、前記複数の細菌コロニーの分類を行い、
前記表示手段は、前記選択された二以上のパラメータレシピ各々により分類された複数の結果を表示することを特徴とする細菌コロニーの釣菌装置。
【請求項４】
請求項２又は３記載の細菌コロニーの釣菌装置であって、
前記記憶手段に格納されたパラメータレシピには、特徴量重み付けパラメータ又はコロニー抽出時の画像の組み合わせパラメータの少なくとも一つが培地又は検体ごとに教示情報として含まれていることを特徴とする細菌コロニーの釣菌装置。
【請求項５】
請求項１記載の細菌コロニーの釣菌装置であって、
前記画像処理手段は、前記抽出された複数の細菌コロニー間の距離を計測し、前記計測された複数の細菌コロニー間の距離と前記複数の細菌コロニーの画像からそれぞれ算出される特徴量とに基づいて、前記複数の細菌コロニーの孤立判定を行うことを特徴とする細菌コロニーの釣菌装置。
【請求項６】
請求項５記載の細菌コロニーの釣菌装置であって、
前記画像処理手段は、
前記複数の画像から前記複数の細菌コロニーを抽出するコロニー抽出手段と、
前記抽出された複数の細菌コロニー間の距離を計測するコロニー間距離計測手段と、
前記抽出された複数の細菌コロニーの画像からそれぞれ算出される特徴量を算出する特徴量算出手段と、
前記複数の細菌コロニーの画像からそれぞれ算出される特徴量と前記計測された複数の細菌コロニー間の距離とに基づいて、前記複数の細菌コロニーの孤立判定を行う孤立判定手段と、
前記複数の細菌コロニーの画像からそれぞれ算出される特徴量に基づいて、前記複数の細菌コロニーを分類するコロニー分類手段と、
前記孤立判定された細菌コロニーと前記分類された結果に基づき、釣菌候補を選択する釣菌候補選択手段と、
を有することを特徴とする細菌コロニーの釣菌装置。
【請求項７】
請求項６記載の細菌コロニーの釣菌装置であって、
前記孤立判定手段は、前記複数の細菌コロニーの孤立判定に加え、前記コロニー分類手段での分類に用いる準孤立コロニーを判定することを特徴とする細菌コロニーの釣菌装置。
【請求項８】
請求項１乃至７のいずれかに記載の細菌コロニーの釣菌装置であって、
前記表示手段は、表示された前記分類された複数の細菌コロニー又は前記選択された釣菌候補の細菌コロニーを修正する項目が表示されていることを特徴とする細菌コロニーの釣菌装置。
【請求項９】
請求項１乃至８のいずれかに記載の細菌コロニーの釣菌装置であって、
前記照明手段は、前記容器に収納された培養培地上に培養した細菌コロニーを上方から照明する上方照明手段と、前記容器に収納された培養培地上に培養した細菌コロニーに対して前記容器を透過させて照明する透過照明手段と、を有することを特徴とする細菌コロニーの釣菌装置。
【請求項１０】
請求項１乃至９のいずれかに記載の細菌コロニーの釣菌装置であって、
前記特徴量は、透過を含む、方位もしくは仰角の異なる照明で撮影した少なくとも２枚の画像中のコロニーの色情報を用いて算出されたものであることを特徴とする細菌コロニーの釣菌装置。
【請求項１１】
容器に収納された培養培地上に培養した細菌コロニーを照明するステップと、
前記照明された前記細菌コロニーを撮像して複数の画像を取得するステップと、
前記取得された前記複数の画像から複数の細菌コロニーを抽出し、前記抽出された複数の細菌コロニーの画像からそれぞれ算出される特徴量に基づいて、前記抽出された複数の細菌コロニーの分類及び孤立判定を行うステップと、
前記分類された前記複数の細菌コロニーと、前記孤立判定され前記複数の細菌コロニーの中から選択された釣菌候補の細菌コロニーと、を表示手段に表示するステップと、
前記表示された釣菌候補の細菌コロニーのうち少なくとも一つを釣菌するステップと、
を有することを特徴とする細菌コロニーの釣菌方法。
【請求項１２】
請求項１１記載の細菌コロニーの釣菌方法であって、
前記抽出された複数の細菌コロニーの分類及び孤立判定を行うステップでは、前記容器に収納された培地情報を少なくとも含む情報に基づいて選択された複数のパラメータレシピ各々を用いて、前記複数の細菌コロニーの分類を行い、
前記表示するステップでは、前記選択された複数のパラメータレシピ各々により分類された複数の結果を表示することを特徴とする細菌コロニーの釣菌方法。
【請求項１３】
請求項１１記載の細菌コロニーの釣菌方法であって、
前記抽出された複数の細菌コロニーの分類及び孤立判定を行うステップでは、前記容器に収納された培地情報を少なくとも含む情報に基づいて選択された一のパラメータレシピを用いて、前記複数の細菌コロニーの分類を行うことを特徴とする細菌コロニーの釣菌方法。
【請求項１４】
請求項１２又は１３記載の細菌コロニーの釣菌方法であって、
前記パラメータレシピには、特徴量重み付けパラメータ又はコロニー抽出時の画像の組み合わせパラメータの少なくとも一つが培地又は検体ごとに教示情報として含まれていることを特徴とする細菌コロニーの釣菌方法。
【請求項１５】
請求項１１記載の細菌コロニーの釣菌方法であって、
前記抽出された複数の細菌コロニーの分類及び孤立判定を行うステップでは、
前記抽出された複数の細菌コロニー間の距離を計測し、前記計測された複数の細菌コロニー間の距離と前記複数の細菌コロニーの画像からそれぞれ算出される特徴量とに基づいて、前記複数の細菌コロニーの孤立判定を行うことを特徴とする細菌コロニーの釣菌方法。
【請求項１６】
請求項１１記載の細菌コロニーの釣菌方法であって、
さらに、表示手段に表示された、前記分類された前記複数の細菌コロニーの結果又は前記孤立判定され前記複数の細菌コロニーの中から選択された釣菌候補の細菌コロニーの結果を修正するステップと、
前記修正された前記分類された複数の細菌コロニーの結果又は前記選択された釣菌候補の細菌コロニーの結果を再表示するステップと、
を有することを特徴とする細菌コロニーの釣菌方法。
【図１】
【図２Ａ】
【図２Ｂ】
【図３Ａ】
【図３Ｂ】
【図４】
【図５】
【図６】
【図７】
【図８Ｂ】
【図８Ｃ】
【図９Ａ】
【図９Ｂ】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４Ａ】
【図１４Ｂ】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図８Ａ】
【図２Ａ】
【図２Ｂ】
【図３Ａ】
【図３Ｂ】
【図４】
【図５】
【図６】
【図７】
【図８Ｂ】
【図８Ｃ】
【図９Ａ】
【図９Ｂ】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４Ａ】
【図１４Ｂ】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図８Ａ】
【公開番号】特開２０１２−８０８０２（Ｐ２０１２−８０８０２Ａ）
【公開日】平成２４年４月２６日（２０１２．４．２６）
【国際特許分類】
【出願番号】特願２０１０−２２８０６８（Ｐ２０１０−２２８０６８）
【出願日】平成２２年１０月８日（２０１０．１０．８）
【出願人】（５０１３８７８３９）株式会社日立ハイテクノロジーズ (4,325)
【Ｆターム（参考）】
【公開日】平成２４年４月２６日（２０１２．４．２６）
【国際特許分類】
【出願日】平成２２年１０月８日（２０１０．１０．８）
【出願人】（５０１３８７８３９）株式会社日立ハイテクノロジーズ (4,325)
【Ｆターム（参考）】
[ Back to top ]