細菌コロニー釣菌装置及びその方法
【課題】シャーレ上には複数種の細菌コロニーが存在し，例えば薬剤耐性を測定する場合に，異なる種類の細菌コロニーを混在させて釣菌すると正確な薬剤耐性を判定することができなくなる。
【解決手段】複数方向から照明した画像より孤立したコロニーを自動抽出し，また，この複数方向から照明した複数の画像より画像特徴量を算出して特徴量に基づきグルーピングを行い，このグルーピング結果に基づいて釣菌するコロニーを決定する。
【解決手段】複数方向から照明した画像より孤立したコロニーを自動抽出し，また，この複数方向から照明した複数の画像より画像特徴量を算出して特徴量に基づきグルーピングを行い，このグルーピング結果に基づいて釣菌するコロニーを決定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はシャーレに培養した細菌コロニーを釣菌する装置に関し，特にシャーレの光学像を撮影し，その撮影画像をもとにシャーレに培養された複数の種類の細菌コロニーより，同一菌種毎に自動的に分類し，菌種毎に複数のコロニーを釣菌し，釣菌した菌に対して菌の同定処理を行う釣菌装置及びその方法に関する。
【背景技術】
【０００２】
検体に対する細菌検査においては，細菌をシャーレ内の発育培地で培養し，この細菌を釣菌する方法が用いられている。この方式では一般に発育培地に細菌の懸濁液を塗沫し，恒温槽にて培養した後，光学的に目視観察を行い，目的とする細菌コロニーを釣菌する。釣菌された細菌は抗生物質に対する耐性を試験する目的等に用いられる。細菌の抗生物質に対する耐性を試験する方法は特許文献１（特開昭６３−３２４７７号公報）に詳しく記載されている。ＭＩＣ（Minimum Inhibitory Concentration : 最小発育素子濃度）法では液体培地あるいは固体培地に抗生物質の希釈液を注入，この中に釣菌した細菌コロニーを接種し，この細菌を培養して菌の生育状態を観察する。この抗生物質の希釈液の濃度を様々に変化させて多数の培地での培養状態を観察することにより，発育できない最小の抗生物質濃度を求めることが可能になり，患者への負担を軽減できる適正な薬剤濃度を決定することができる。
【０００３】
一方，特許文献２（特開昭５９−１１１７３号公報）には，コロニートランスファー装置として，シャーレ内の細菌コロニーをテレビカメラで撮像し，モニタに映し出された画像を検査員が目視にて確認し，釣菌するコロニーを指示することでそのコロニーの位置にピックアップを自動的に移動させ，細菌コロニーを釣菌し，試験管等に移植することが記載されている。
【０００４】
更に、特許文献３（特開２００５-５５１８０号公報）には，検体を液状化した後，ろ過により集菌した結果をＦＴ−ＩＲ（Fourier Transform Infrared Spectrophotometer : フーリエ変換赤外分光分析計または顕微赤外分光分析計 ）により分析し，その分光吸光度の波形をデータベースに登録された波形と比較して同定する方法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開昭６３−３２４７７号公報
【特許文献２】特開昭５９−１１１７３号公報
【特許文献３】特開２００５-５５１８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ＭＩＣ法を実施するためには，抗生物質の濃度を変化させた多数の培地で菌を培養する必要があるため，シャーレ内にて培養された細菌コロニー，多数を釣菌する必要がある。これは，比較的小さなコロニーも釣菌しなければシャーレ内に培養してから釣菌するまでに長時間が必要となってしまうことになり，短時間での培養は困難であった。
【０００７】
更に，ＭＩＣ法においては，全ての釣菌細菌コロニーの種類が同一でなければ正確な抗生物質の耐性を試験することはできないが，これまでは検査員の目視結果に依存しており，トレーサビリティが得られなかった。また，目視の検査は検査員の技術によってばらつく恐れがあり，安定した釣菌を得るには少数の検査員しか検査できない状態が発生し，多数の検体を処理することができなかった。
【０００８】
一方，特許文献２（特開昭５９−１１１７３号公報）に記載されているコロニートランスファー装置として，シャーレ内の細菌コロニーをテレビカメラで撮像し，モニタに映し出された画像を検査員が目視にて確認し，釣菌するコロニーを指示することでそのコロニーの位置にピックアップを自動的に移動させ，細菌コロニーを釣菌し，試験管等に移植する方式では、検査員がテレビカメラを確認して釣菌するコロニーをひとつずつ選択していたため，検査員の工数はさほど減少させられない。また，テレビカメラで得られた１枚の画像ではコロニーの選択に誤りが発生する場合があった。例えば，ある種の細菌は，その外観が透過照明により顕在化するが，その他の細菌は上方からの照明により顕在化されるといった性質がある。ＭＩＣ法を用いる場合，同一種の細菌を多数釣菌する必要があり，テレビカメラで得られた画像より，異なる種類の細菌は排除，単一種類の細菌のみを選択する必要があるが，テレビカメラの画像のみでは十分な精度で細菌コロニーを弁別することができなかった。
【０００９】
また、特許文献３（特開２００５-５５１８０号公報）に記載されている検体を液状化した後，ろ過により集菌した結果をFT-IRにより分析し，その分光吸光度の波形をデータベースに登録された波形と比較して同定する方法では，ＦＴ−ＩＲで分析した後にＭＩＣ法を用いるための培養が不可能であった。
【００１０】
本発明の目的は、従来技術の課題を解決して、細菌コロニー群の中から釣菌する同一種類のコロニーを特定し、この特定したコロニーを多数、安定して釣菌することを可能にする釣菌装置及びその方法を提供することにある。
【課題を解決するための手段】
【００１１】
上記課題を解決するために本発明では，細菌コロニーの釣菌装置を、光学的に透明な第１の容器に収納された培養培地上に培養した細菌コロニーを上方から照明する上方照明手段と、照明光を光学的に透明な容器と培養培地を透過させて細菌コロニーを照明する透過照明手段と、上方照明手段及び透過照明手段で順次照明された細菌コロニーを撮像する撮像手段と、撮像手段で撮像された上方照明手段で照明された細菌コロニーの画像と透過照明手段で照明された細菌コロニーの画像とを処理して釣菌する細菌コロニーの画像を抽出する画像処理手段と、画像処理手段で抽出された細菌コロニーを培養培地から釣菌して第２の容器に移し替える釣菌手段とを備えて構成した。
【００１２】
また、本発明では、細菌コロニーの釣菌方法において、光学的に透明な第１の容器に収納された培養培地上に培養した細菌コロニーを上方から照明し細菌コロニーを撮像して細菌コロニーの上方撮像画像を得、照明光を光学的に透明な容器と培養培地を透過させて細菌コロニーを照明し細菌コロニーを撮像して細菌コロニーの透過光画像を得、上方撮像画像及び透過光画像とを処理して釣菌する細菌コロニーの画像を抽出し、抽出した画像に対応する細菌コロニーを培養培地から釣菌して第２の容器に移し替えるようにした。
【発明の効果】
【００１３】
本発明によれば、シャーレを上方から照明した画像と下方から透過して照明した画像とを用いることにより、細菌コロニーの画像をシャーレに記載または形成された文字または記号の画像から分離して検出することが可能になり、画像処理により細菌コロニー種の分類と正確な釣菌を行うことができるようになった。
【００１４】
さらに、上方からの照明を複数の仰角・方位角方向から行い、多方向からの照明画像を用いることにより、培地上のほぼすべてのコロニーを顕在化することが可能になり，正確にコロニー位置を可能にし，また，多方位からの照明の画像よりコロニーの外観特徴を算出するため，正確なグルーピングが可能になる。また，画面上に異なる方位から照明して撮像した複数の画像を表示することにより，ユーザにも異なる細菌種類を目視で確認しやすい効果がある。
【図面の簡単な説明】
【００１５】
【図１】第１の実施例に関するシステム全体の概略の構成を示すブロック図である。
【図２Ａ】第１の実施例における照明系の概略の構成を示す正面図である。
【図２Ｂ】第１の実施例における照明系の概略の構成を示す平面である。
【図３Ａ】第１の実施例における照明系の別の例の概略の構成を示す正面図である。
【図３Ｂ】第１の実施例における照明系の別の例の概略の構成を示す平面である。
【図４Ａ】第１の実施例における照明系の更に別な例の概略の構成を示す正面図である。
【図４Ｂ】第１の実施例における照明系の更に別な例の概略の構成を示す平面である。
【図５Ａ】第１の実施例の検出系による細菌コロニーの撮影画像の照明条件と細菌コロニー形状との関係を示す図である。
【図５Ｂ】第１の実施例の検出系による細菌コロニーへの入射光と反射光と細菌コロニー表面の法線方向との関係を説明する細菌コロニーの断面図である。
【図６】第１の実施例の検出系による細菌コロニーの撮影画像である。
【図７】第１の実施例の検出系による細菌コロニーの撮影画像の明度プロファイルを示すグラフである。
【図８Ａ】第１の実施例における（ａ）透過照明による撮影画像と（ｂ）透過照明方向を示すシャーレの断面図である。
【図８Ｂ】第１の実施例における（ａ）低角照明による撮影画像と（ｂ）低角照明方向を示すシャーレの断面図である。
【図８Ｃ】第１の実施例における（ａ）高角照明による撮影画像と（ｂ）高角照明方向を示すシャーレの断面図である。
【図９】第１の実施例における細菌のコロニー候補領域を抽出する手順を示すフロー図である。
【図１０】第１の実施例における細菌のコロニーの画像特徴量を抽出する手順を示すフロー図である。
【図１１】第１の実施例における細菌のコロニーの明度プロファイルを説明するグラフである。
【図１２】第１の実施例における細菌のコロニーの分類方法を説明する（ａ）データベース，（ｂ）データベースのインデックスの一例を示す表、（ｃ）特徴ベクトルの分布を示すグラフである。
【図１３Ａ】第１の実施例における細菌のコロニー特徴量空間での分布の一例を示すグラフである。
【図１３Ｂ】第１の実施例における細菌のコロニーが分布しているシャーレの画像である。
【図１４】第１の実施例における赤外分光検出系の概略の構成を示すブロック図である。
【図１５】第１の実施例における光の波数と吸光度の関係を示すグラフである。
【図１６】第２の実施例に関するシステム全体の概略の構成を示すブロック図である。
【図１７】本発明の照明系の一実施例である。
【発明を実施するための形態】
【００１６】
以下に、本発明の実施例を、図を用いて説明する。
【実施例１】
【００１７】
自動釣菌装置100の全体構成を図１に示す。101は低角照明ユニット，102は高角照明ユニット，103はカメラ，104は透過照明ユニットである。103のカメラはカラー情報が取得できるものが望ましい。105は遮光板，106は台座，107はシャーレである。107のシャーレ内には細菌の培地150があり，その上に検査を行う検体から得られた細菌コロニーが培養されている。細菌コロニーは例えば，恒温槽内で24H程度培養されたものを用いる。101, 102, 104は光制御ユニット115に接続され，点灯，消灯を制御することが可能であり，任意の組み合わせで点灯を行わせることが可能である。
【００１８】
遮光板105は例えば可動絞りやあるいは液晶シャッター等が用いられる。可動絞りの場合には表面がつや消しの黒塗り処理がなされており，液晶の場合には反射防止処理を行う。透過照明ユニット104が点灯する際には照明光がシャーレ107を照明可能なように設定されており，また，低角照明ユニット101, 高角照明ユニット102が点灯する際にはシャーレ107の底面が暗くなるようにする。一般に107のシャーレ107の底面には，シャーレ107に文字等が印刷されている場合があるが，これが低角照明ユニット101や高角照明ユニット102の照明をつけたときに顕在化されないようにする効果をもつ。
【００１９】
103は撮像手段であり，撮像された画像は画像入力手段117に転送される。119は画像処理手段であり，画像入力手段117に転送された画像データを処理して細菌コロニーの領域を抽出し，また，各抽出コロニーより画像処理を用いて画像特徴量を算出する。画像特徴量は，例えばコロニー領域の周囲長，面積，色情報，明度情報，背景明度との差分等より構成される。118はグルーピング手段であり，画像入力手段117で入力した画像と，細菌コロニー領域119，画像特徴量を入力する。125は二次記憶装置であり，撮影した画像，あるいは処理した画像，データ，コロニー位置，面積を格納することができる。また，画像特徴量を保存することができる。
【００２０】
グルーピング手段118は，二次記憶装置125に格納された，既取得済みの培地150と外観が類似した細菌のグループとの対応毎に保管された特徴量の分布をもとにグルーピングを行う。ここで得られたグループに基づき，釣菌するコロニー，あるいはその候補を自動的に決定する。このグルーピング結果は入出力端末130のＧＵＩ124に表示され，検査員がグルーピング結果，および釣菌候補を確認することが可能になっている。
【００２１】
グルーピング結果が検査員の意図と異なっている場合には異なるグルーピングを検査員がGUI124を介してグルーピング手段118に登録する。例えば釣菌するコロニーを画像から幾つか指定し，その指定されたコロニーに近いコロニーの画像特徴量を解析し，その画像特徴量に類似した画像特徴量をもつコロニーを釣菌するコロニー種としてグルーピングする。このグルーピング結果より，検査員がＧＵＩを介して指定したルールに基づき，グルーピング手段118は釣菌するコロニーの候補を抽出してGUI124上で検査員に示す。
【００２２】
グルーピングするルールとしては，例えば以下のようなものがある。
1) そのグループの中で最も特徴量の中心に近いもの
2) 大きさが，予め設定されたサイズに近いもの
3) 検査員が指定した細菌コロニーの特徴量に近いもの
なお，このGUIで確認するモード以外に，自動運転モードも設け，自動運転モードの場合には，検査員に確認をとらずに，システムが選択したコロニーをそのまま釣菌させるようにする。
【００２３】
108はシャーレの搬送手段であり，撮影されたシャーレ107をスタッカー109に格納する目的で用いられる。シャーレ搬送手段108によるシャーレの搬送は，グルーピング手段118でのグルーピング，あるいは画像処理手段119での画像処理の後に行っても良いし，画像処理や，グルーピングの前に行っても良い。検査員によるグルーピング結果の確認作業を必要とする場合，この作業時間は比較的長い時間を要する場合が多いため，装置のスループットを上げるためには，画像の撮影が終了したら，検査員の確認作業を待たずに次のシャーレ107の画像入力作業を行い，これと並行して検査員が既に取得された画像を用いてグルーピング結果の確認，修正，釣菌するコロニーの決定を行うのが良い。110もシャーレの搬送手段であり，スタッカーから釣菌エリアに搬送するために用いられる。
【００２４】
111は釣菌針，112はZステージ，113はXYステージであり，シャーレ搬送手段108及び110, Zステージ112，XYステージ113はステージコントロールユニット116で制御される。スタッカーから搬送されたシャーレ114は透過照明ユニット120と上方照明ユニット121で照明し，その画像をカメラ122を用いて画像を撮影可能になっており，この撮影した画像は画像入力手段117を介して取り込むことができる。
【００２５】
画像入力手段117に入力された画像は，画像処理手段119においてカメラ103で取得した画像との比較が行われ，同一のシャーレがスタッカーを介して搬送される際の位置ずれが補正される。例えば，カメラ103で撮像した画像をI0，カメラ122で撮像した画像をI1とする。なお，画像I0と画像I1は２つの光学系において最も照明の条件が一致するように撮影する。シャーレ107の背景を黒く設定することにより，シャーレ107は明るく撮影されるため，二値化処理によりシャーレ領域を抽出することが可能である。これを画像I0と画像I1それぞれの画像において求め，シャーレ107の回転中心を概略合わせる。シャーレ107の光り方の影響を防ぐためには、シャーレ107の縁およびその外側の明度を画像処理的に黒に設定する。この後，画像I0の二次元フーリエ変換によりスペクトル画像F(I0)と画像I1の二次元フーリエ変換F（I1）を求める。フーリエ変換したスペクトル画像は画像の位置ずれに対して不変であるので、この２つの画像の違いはシャーレの回転方向のずれのみである。
【００２６】
カメラ103とカメラ122の撮影画像の違いによる明るさのむらの影響を小さくするため、F(I0)とF(I1)それぞれにlog変換を行った後、フーリエ変換のDC成分を原点としたときの，この原点からの距離をr，原点を中心とした回転成分をθとして，r-θの局画像変換を行う。この画像を画像I2, 画像I3とする。画像I2と画像I3の画像を局座標変換したθ方向にのみフーリエ変換する。フーリエ変換した画像は相関定理により，積を求め，逆フーリエ変換することで各r位置の相互相関係数を求めることができる。各相互相関係数を足し合わせて，画像全体のθに対する１次元の相互相関係数をもとめ，このピークを回転ずれ量として算出する。
【００２７】
次いで，この回転ずれ角度分だけI0画像を回転変換させ，I0画像とI1画像を正規化相互相関等によりXY方向のずれ量を算出する。回転変換させた際の中心座標を（cx, cy）とおく。また，ずれ量を（Δx，Δy，Δθ）とおく。103のカメラで撮影したコロニー位置を（x,y）とすると，122の画像におけるコロニーの位置(x’, y’)は次の式で表される。
x’= (x-cx) cosΔθ - (y-cy) sin Δθ+Δx
y’= (x-cx)sinΔθ +(y-cy) cosΔθ+Δy ・・・(数１)
なお，本二次元フーリエ変換を用いた座標あわせ方式は一実施例であり，この他に正規化相関演算を用いたもの等他の手法を採用しても良い。
【００２８】
123はマイクロプレートであり，複数のウェルが配置されている。各ウェルには例えばMuller Hinton培養液にCaイオン 50mg/l，Caイオン25mg/ｌおよび細菌の耐性を評価する薬剤をそれぞれのウェルにて異なる濃度になるように添加してある。この液体培地はこれ以外のものを用いても良いし，また，固体培地にすることも可能である。Zステージ112，XYステージ113を制御することで，シャーレ114の釣菌する細菌の座標に111の釣菌針111を移動，コロニーをピックアップする。コロニーをピックアップするには，釣菌針111の取り付け位置に力センサー(図示せず)を組み込み，釣菌針111が固体培地に接触するポイントを感知できるようにするのがよい。この後，生理食塩水，あるいは液体培地の入った容器126に細菌コロニーを入れる。これを数個の細菌コロニーに対して実施して，容器126の細菌コロニーの濃度が十分になった後，容器126の懸濁した液をマイクロプレート123のいずれかのウェルにコロニーを入れる。
釣菌針111は異なるコロニー種をピックアップする毎に異なるものに変更できるようにしておく。１シャーレ内には十分なコロニー数が培養できていない場合がある。このときには，１つのシャーレでは，マイクロプレート123にある，設定したウェルの数すべてで菌を培養できない場合がある。そこでこの場合には，検体の細菌を複数のシャーレで培養，複数のシャーレよりある特定の細菌種を決定し，その複数のシャーレから１つのマイクロプレート123に菌を移すようにする。これにより，比較的短い培養時間であっても，MIC法を実行することが可能になる。このように複数のシャーレ画像より，釣菌するコロニーを選択する場合には，入出力手段130のＧＵＩ124において，同一の検体の複数のシャーレ画像が容易に表示できるようにしておく必要がある。自動釣菌装置100全体は、全体制御ユニット140で制御されている。
図２は低角照明ユニット101および高角照明ユニット102の照明手段の詳細構成を示している。低角照明ユニット101は分割光源2011，2012，2013，2014から構成されており，光制御ユニット115を用いて個別に点灯制御を行うことができる。高角照明ユニット102は分割光源2021，2022，2023，2024より構成され，これも光制御ユニット115で個別に点灯制御を行うことができる。細菌コロニー表面は比較的滑らかであるため，照明をあてることにより，直接反射をする箇所が明るく撮影される。
【００２９】
図２に示すように，方位毎に照明を行うことにより，照明とコロニーの中心とカメラ光軸を含む面における明度を求められる。細菌コロニーの詳細な形状を求める場合には，光制御ユニット115で制御して分割光源2011,2012,2013,2014をそれぞれ１つずつ照明した画像を4回，更に，分割光源2021,2022,2023,2024をそれぞれを１つずつ照明した画像を4回の計8回撮影するのが望ましい。しかし，撮影時間を短縮するには，この幾つかを同時に照明して撮影するのが望ましい。一方，撮影時間を短縮するために，例えば，分割光源2011,2012,2013,2014を同時に照明した画像を1枚，2021,2022,2023,2024を同時に照明した画像を1枚の計2枚の画像でも良い。
【００３０】
直接反射光を検出すると，その近傍の細菌コロニーの色情報が失われてしまうという課題がある。細菌コロニーを種類別に分別するには，色情報が重要である。そこで，われわれは低角照明においては，直接反射光がなるべく検出されないような角度を選択することとした。低角照明ユニット101の照明は，シャーレの端で最も高い角度のθになるが，評価の結果，このθが45°以下であればほとんどのコロニーで直接反射光の影響を受けずに色情報を取得できることがわかった。
【００３１】
また，高角の照明においてもシャーレの端部において，最も高角度，θ２で照明することになるが，この角度が80°を超えると，培地150によってはシャーレの端において，表面張力によって培地150が傾き，この培地自体が直接反射で明るく検出される場合があることがわかった。そこで，高角照明は最も高角度な照明であっても，照明角度が80°を超えないように設定することとした。
このように照明角を設定することにより，分割光源2011, 2012, 2013, 2014よりなる低角の照明では，ほとんどの場合，低角から地照明しても直接反射光を検出することは無いため，１つずつ照明しても得られる情報量としては多くない。このため，低角の照明はすべての方位から同時照明して撮影することが，撮影時間を短くするという観点で望ましい。図３は図２とほぼ同一の構成を線状の照明で構成したものである。低角照明ユニット301の照明を分割光源3011，3012，3013，3014，高角照明ユニット302の照明を分割光源3021，3022，3023，3024で構成している。このそれぞれが115の光制御ユニットを用いて個別に点灯制御を行うことができる。
更に図２の構成において，より角度検出分解能をあげるためには，図４のように低角照明ユニット401と高角照明ユニット402の間に中間角度の照明ユニット420を入れることも良い。この場合，低角照明ユニット401の照明は分割光源4011，4012，4013，4014，高角照明ユニット402の照明は分割光源4021，4022，4023，4024、更に中角度照明ユニット420の照明は分割光源4201，4202，4203，4204のそれぞれ4つに分割されており，これらの照明も光制御ユニット115を用いて個別に点灯制御を行うことができる。
コロニーの直接反射光をもとに分類を行うことを考慮すると，シャーレ107のいずれの位置においてもコロニーのほぼ同一の法線方向からの直接反射光を検出する必要がある。しかし，シャーレは通常，φ90mm程度であり，これを実現するためには，高角照明ユニット102，または302または402とカメラ103をシャーレ107から大きく離す必要があるためである。この離す間隔をできるだけ小さくするためには，カメラをテレセントリック光学系にしても良い。この方式にすることで，撮像系のレンズとシャーレ間の距離を縮めることができる。
【００３２】
また，照明系に関しては，高角照明ユニット102，または302または402をLED多数の集合として，各LEDにマイクロレンズを設け，比較的平行光にするといった方法を採用することで，照明とシャーレ107との位置を短くすることができる。また，その他の構成としては図17に示す方法もある。1701と1703は光源，1702と170４はそれぞれ放物面鏡であり，光源1701と1703とはそれぞれ放物面鏡1702と1704との焦点位置に配置されている。これにより光源1701と1703とからそれぞれの放物面鏡1702と1704とに向けて発射した光は放物面鏡1702と1704とで反射されて平行光となってシャーレ107を照射する。その結果、シャーレ107の任意の位置において，ほぼ同一の方向から照明することができるようになる。なお、1702と170４はそれぞれ放物面鏡の変わりに球面鏡であってもよい。
【００３３】
図５Ａは各照明による細菌コロニー特徴の顕在化の状態を示すものである。高角照明では反射光の位置によりその反射光の位置の細菌コロニーの角度を求めることができる。直接反射光を得た細菌コロニーの位置において細菌コロニーの法線方向は、図５Ｂに示すように、反射光位置からカメラレンズ方向への単位ベクトルVcと反射光位置から照明への単位ベクトルViを用いて(Vc+Vi)/2であらわされる。コロニーが平らであれば，この反射光を検出した位置がコロニー中心付近であり，反射光位置がコロニー近傍であればコロニーは培地から高さを持っていると推定できる。また，コロニーがドーム状から崩れた形状である場合には，反射光は複数の位置で検出される。一方，低角照明においては，コロニーの表面形状が多少変化した場合でも明度は変化せず，細菌コロニーの表面の色，明度情報を取得しやすい。
【００３４】
図６にシャーレにおける細菌コロニーの分布を示す。601がシャーレであり，その上に602に示すように，シャーレの外側近くにシャーレからの乱反射や，シャーレ縁における表面張力の影響で培地150が傾くことにより発生した多少明るく見える領域がある。また，細菌コロニーの分泌液により，培地150の明度，あるいは色が変化してしまう領域を603で示す。604は比較的培地150からのコントラストが低い，小型の種類の細菌コロニーであり，605はコントラストの高い細菌コロニーである。
【００３５】
撮像手段103でシャーレ107（601）を撮像した画像信号を受けて、画像処理手段119において、コントラストの高い細菌コロニーは検出しやすいが，603のコロニーは低コントラストであり，培地150の平均明度，あるいは色からの変化は602や603のような領域の方が離れている。培地150の平均からの色あるいは明度の差分でコロニーを検出すると604を抽出可能な条件では６０２や603のようなコロニーでない領域もコロニーとして抽出してしまうことになる。そこで，本実施例では，次の３つのステップを用いて，孤立したコロニーを抽出できるようにする。すなわち，
（１）空間的なバンドパスフィルタをかけ，602や603の特徴である低周波数成分を除去する。
(２)着目する領域の周辺の局所的な明度をもとに培地150と思われる明度，あるいは色を算出，この局所的な明度，あるいは色との比較に基づき，異なる場合にコロニーの候補として抽出する。
(３)コロニーの候補として抽出された領域の明度，あるいは色の分布を評価し，明度分布がドーム状に類似した場合をコロニーと判定する。
【００３６】
図７に（２）のステップのアルゴリズムの考え方を示す。図７は撮影した画像のある１次元方向の明度分布を示す。701と702は抽出すべきコロニーであるが，単純な二値化手法を採用すると703の領域がコロニーとして抽出されてしまう。そこで，701の領域のコロニーの有無判定を行う場合は，その近傍の703の領域，702の領域の有無判定を行う場合には704の領域を基準にしてコロニーの有無を判定するのが良い。
【００３７】
（３）の手法としては，例えば二次関数フィッティングが挙げられる。（２）の処理において，近傍を基準に明度の明るい領域を抽出しても，606に示すように複数の細菌コロニーが重なった領域を抽出してしまう恐れがある。複数のコロニーの集合体では，単一の細菌のみで構成されない場合があるため，これは除去しなければならない。（２）で得られたコロニーの候補領域の透過画像明度をI(x,y)としたとき，例えば，
Error=Σ（Ax2+Bx+C+Dy2+Ey+F+Gxy+H-I(x,y)）2 ・・・(数２)
がコロニー候補領域で算出し，このＥｒｒｏｒが最小となるように，係数，A,B,C,D,E,F,G,Hを最小二乗法等で算出し，コロニー候補領域の面積をSとした際に，Error/Sがしきい値以下の場合のみ孤立コロニーとする，等の方法を採用可能である。また，この二次関数フィッティングをガウス関数近似で同様に算出しても良い。
【００３８】
（２）で説明したステップは培地150の画像が急峻には変化せず，画像中の急峻な明度の変化は細菌コロニーのみによることを前提としていた。しかし，実際にはそれ以外の明度変化も存在する。その最大の問題がシャーレに記述された文字である。図８Ａ（ａ）の801はシャーレ107を図1に示した透過照明ユニット104のみで図８Ａ（ｂ）に示すように下方から照明して撮影した像，図８Ｂ （ａ）のシャーレ107の画像802は、図８Ｂ（ｂ）に示すように低角照明ユニット101または301,401で低角から照明して撮影した像，図８Ｃ（ａ）のシャーレ107の画像803は、シャーレ107を図８Ｃ（ｂ）に示すように高角照明ユニット102または302,402で上方から照明して得た像である。図８Ａ（ａ）のシャーレ107の画像801に最も鮮明であるが，一般に細菌の培養に用いるシャーレ107には，そのトレーサビリティをチェックするための印刷文字805がシャーレ底に施されているのが判る。また，病院や検査機関では，類似した多数の細菌培養シャーレを区別するために，マジックインキ等で検体ＩＤ等を記載することも行われる場合がある。このように，コロニーよりもシャーレ底の文字の方がより鮮明な場合がある。
【００３９】
図８Ｂ（ａ）のシャーレ107の画像802のように低い角度から照明した像では，この印刷文字805はほとんど見えないが，非常に透明度の高い培地150（図６の培地610に相当）の場合は見える場合がある。図８Ｃ（ａ）のシャーレ107の画像803では図８Ａ（ａ）の画像801に較べると鮮明でないが，図８Ｂ（ａ）のシャーレ107の画像802に較べるとはっきりと見ることができる。804が細菌コロニー，805がシャーレの印刷文字である。
【００４０】
図８Ａ（ａ）の画像801のように下方から照明した場合には，印刷文字805の印字が光を遮ることになるため，極めて良好に撮像される。図８Ｂ（ａ）のシャーレ107の画像802の低角照明の場合，ほとんどの光は表面で反射され，培地108の内部には潜り込まないため，印刷文字805はほとんど見えることがない。図８Ｃ（ａ）のシャーレ107の画像803は上方から照明しているため，低角照明よりも培地108の内部に光が入り込み，印刷文字805が鮮明に見えてしまう。ここで，透過照明ユニット104を用いた透過照明以外の場合に遮光板105をおくことで図８Ｃ（ａ）のシャーレ107の画像803の文字は見えにくくはなっているが，完全に見えなくすることは困難である。そこで，（２）のステップにおいては，まず，局所領域処理による培地150の明度，色を認識する際に障害となる印刷文字805のようなシャーレ底の印字，あるいは文字，ラベル等のマーク領域を特定することが必要になる。
【００４１】
このマーク領域を特定し除外してコロニー候補領域を抽出するアルゴリズムを，図９を用いて説明する。まず，シャーレ１０７を透過照明ユニット104を用いて下方から透過照明した状態を撮像手段103で撮影して得た透過照明画像より，暗い領域Ａを抽出する（Ｓ９０１）。この暗い領域Ａは一般には細菌コロニーの領域かあるいは，シャーレ底のマーク領域である。ついで，このＡ領域を除いた領域で，高角照明ユニット102、302または402あるいは低角照明ユニット101,301または401の何れかまたはそれらを複数組み合わせてシャーレ107を上方から照明しカメラ103で撮像して得た上方照明画像より，培地150の平均的な明度を求める（Ｓ９０２）。ここでは，高角照明ユニット102、302または402を用いた高角照明による画像でも，低角照明ユニット101,301または401を用いた低角照明による画像でも，あるいはその両方でも良い。高角照明による画像からの方が顕在化されるコロニーもあれば，低角照明による画像からの方が顕在化されるものもあるためである。
【００４２】
最も頑強なアルゴリズムはその両方を行うのが良い。更には，また，低角照明ユニット101,301、401，または，高角照明ユニット102、302、402を照明方位別に照明する場合には，すべての方位から順次照明した画像の平均した合成画像をそれぞれ算出する方が，シャーレ位置に依存しない細菌コロニーの検出が可能である。
【００４３】
一般に、細菌の分泌液で培地150が変色した場合にも，それほど大きな変色はない。そこで，次にこの平均的な明度に対して近接した明るさ，色をもつ領域より，局所的な培地150の明度，色を求める(Ｓ９０３)。ついで，この局所的な明度，色との差が大きな領域をコロニー候補領域として抽出する(Ｓ９０４)。
【００４４】
次に、抽出したコロニー候補領域からコロニーの画像特徴量を抽出するステップを図１０を用いて説明する。まず、図９のＳ９０４で抽出したコロニー候補領域から（３）で述べた手法により，コロニー1005を抽出する（Ｓ１０１１）。次に抽出したコロニー毎の領域より，コロニーをグルーピングするためのコロニーの画像特徴量を算出する（Ｓ１０１２）。
【００４５】
画像特徴量としては高角照明画像1001（高角照明ユニット10２で照明），低角照明画像1002（低角照明ユニット10１で照明），透過照明画像1003 (透過照明ユニット104で照明)を処理して，少なくとも以下のような特徴量を算出する。なお，高角照明画像1001は複数の方向から個別に照明して複数の高角照明画像を順次得てこれを個別に処理することにより弁別性の優れた特徴を得ることができる。
【００４６】
(a)表面凹凸：1007
表面の凹凸は，図５で示したとおりに直接反射光の位置によりこれが観察された位置のコロニーの法線方向が算出できるため，これより求める
(b)テキスチャ：1007
これも直接反射光の出方をもとに求める。表面が荒れている場合は，方位別にコロニー中心に対して非点対象に小領域の直接反射光が観測されるため，これを用いる。
【００４７】
(c)色：1008
色特徴は低角から照明した画像か透過照明画像で算出する。なお，補助的に，高角から照明した画像に用いても良い。色空間としては，通常のRGBの他にLu*v*空間や，HSV空間等を用いても良い。特に透過照明画像を用いた場合は，RGB画像を用いると，コロニーの培地150からの高さにより明度が変化するため，コロニーの高さ特徴を色特徴と別に設定した場合，特徴量間が統計的に独立ではなくなってしまう可能性が高い。このため，明度と色が独立なLu*v*色空間やHSV色空間はメリットが大きい。
【００４８】
(d)形状（大きさ，円形度，長軸/短軸）：1009
検出したコロニー1005の中から選択したコロニー1006について、領域のサイズや，その円形度，形状を楕円近似したときの長軸/短軸等を画像から算出する。円形度は領域の周囲長を面積の平方根で割ることにより求める。この円形度により，細菌の縁がアメーバ状になるものを顕在化することができる。
【００４９】
(e)明度，色，透過率，立体形状：1010
透過照明画像1003より求める。明度と高角照明画像の直接反射をもとに透過率，および培地150からの高さを求めることができる。図11に高角照明画像と透過照明画像の関係を示す。1101はある１方向から照明した高角照明画像の各位置における明度レベル，1102が透過照明画像の各位置における明度レベルである。
【００５０】
透過照明は，培地150が光の透過率が高い場合のみ用いることができるが，コロニーの位置で暗くなり，コロニーの厚みが増すとともに暗くなる。コロニーの内部におけるある明度をIC(x,y)，培地150の明度の平均値をIMとおくと，ある（ｘ，ｙ）の位置でのコロニーの厚みD(x,y)は以下の式で求められる。
D(x,y)=-G(log IC(x,y)-log IM) ・・・(数３)
ここで，Ｇはコロニー種毎に決定されるゲインである。
【００５１】
ある位置，（Ｘ，Ｙ）において，高角照明による反射光を検出できたと仮定する。このときの，法線ベクトルが鉛直方向からθ傾いていたとする。このとき，Δｘだけ位置のずれた際の厚みの変化は-Δx tan θとなる。ここで，D(x,y)の差分を計算すると，
D(X+Δx,Y)-D(X,Y) = -G(log IC(X+Δx,Y)- log IC(X,Y))= -Δx tan θ
が成立する。すなわち，
Ｇ＝Δx tan θ/(log IC(X+Δx,Y)-log IC(X,Y)) ・・・(数４)
で求められることになり，これにより，コロニーの厚みは任意の位置で求められることになる。よって，比較的透過度の高い培地150の場合には，直接反射光の発生する箇所さえ見つかれば，コロニーの立体的な形状，体積を求められる，細菌コロニーを識別する上で大変重要な特徴量になる。例えばこの情報から，コロニーの最大高さ，体積，平均高さ，外周の高さを演算する。これらの特徴をそれぞれ要素としたベクトルを算出し，これを各コロニーの画像特徴量とする。
【００５２】
画像処理手段119で算出した各コロニーごとの画像特徴量の情報を用いてグルーピング手段118において細菌種毎のコロニーに分類する。この細菌種毎のコロニーに分類する方法には，基本的に２つの方法がある。１つは既に登録してある細菌種毎に分ける方法ともうひとつは与えられたシャーレのコロニー画像のみでコロニーの種類毎に分ける方法である。
【００５３】
１つめの方法を，図1２を用いて説明する。（ａ）の1201は特徴量データベース（DB）であり，データベースは（ｂ）に示すインデックス1202により，データを検索できる。菌種12021は，必ずしも１つの菌種とは限らず，いくつかの菌種のグループでも良いが，その場合においても外観が類似しているもののグループとなる。次が培地12022である。細菌コロニーは培地によって，生えるものが限定されている場合があり，また，培地によっては，細菌コロニーの色が細菌種によって大きく変化する場合もある。このため，培地の情報は細菌を分類するにあたって極めて重要である。検体12023は，細菌を取得した検体が，例えば患者の血液なのか，糞なのか，尿なのかにより，発生しやすい細菌が変化する。この情報もまた，細菌を分類するのにおいて，重要な細菌を見落とさないようにするため重要である。また、菌種12021の培養条件12024も菌種を分類する上出重要な上方である。最後に特徴量データ12025が記述されている。特徴量データ12025はベクトルデータであり，多数の同一種類の細菌コロニーのベクトルデータの集合より構成されている。例えば同図（ｃ）に示す1203，1204，1205はそれぞれ同一の培地，検体，培養条件で撮影された異なる細菌種のコロニーのベクトル群を示したものである。今，新たな未知の細菌種の細菌コロニーから得た特徴量ベクトルが1206であった場合，本発明では最も類似した特長量ベクトルの1205が隣接しているため，1206も1205と同一の細菌コロニーと判断する。
【００５４】
典型的な細菌コロニーに関してはこのようにデータベースに登録しておくが，検体から培養した細菌が必ずしもデータベースに登録されていない場合がある。この場合に対応するため，シャーレから画像処理で得た特徴量ベクトルを，データベースを用いないでインタラクティブにグルーピングする方法もある。
【００５５】
このアルゴリズムを図１３ＡとＢを用いて説明する。図１３Ａの特徴量空間1301において，1303,1304,1305は、図１３Ｂに示したシャーレの画像1302におけるそれぞれ，コロニー1306，コロニー1307，コロニー1308と対応したコロニーの特徴量ベクトルである。検査員は図１の装置全体の構成で説明したＧＵＩ124上に図１３Ａに示した特徴量空間の図が表示された状態で，グルーピングしようとする細菌コロニーの典型的な例が1303,1304, 1305であることをシステムに教示すると，グルーピング手段118は一般的に知られているクラスタリング手法，を用いて特徴量ベクトルをグルーピングする。
【００５６】
クラスタリング手法としては，例えばEMアルゴリズムやk-means，ファジーk-meansといった手法を用いることができ，このアルゴリズムを実行させる前の初期状態のグルーピング状態として検査員の教示結果を用いるようにすれば良い。また，クラスタリングアルゴリズムではなく，一般的な分類アルゴリズム，例えばNearest Neighbor法やNaive Bayes法といった分類アルゴリズムを用いても良い。分類アルゴリズムを用いる場合，この場合ではサンプルが１つずつ教示されたクラスがあるものとして実行することになる。
【００５７】
また，グルーピング手段118は，検査員から教示された典型的な細菌コロニーの特徴から大きく特徴量が離れていた場合には分類結果が未知のコロニーとしてグルーピングから除外するようにする。更に，典型的な細菌コロニーとして教示された複数のコロニーの特徴量からほぼ等距離にあるものも，グルーピング先が不明のコロニーとしてグルーピングから除外する。これは，例えばMIC法を実施するにあたり，本来想定していなかった細菌を用いて薬剤の耐性評価をすることを防ぐために不可欠である。更にシステムは，このグルーピング結果に基づき釣菌するサンプルを選択する。多数のコロニーが培養された場合には，グルーピングされた結果のうち，検査員が典型的なコロニーとして選択したものに特徴量的に近いものを釣菌するように選択するのが望ましい。
【００５８】
グルーピング手段118で処理した結果は、入出力端末130のＧＵＩ画面124に表示される。検査員は，ＧＵＩ124に示されるグルーピング結果を確認して，望ましい分類結果，あるいは釣菌結果であれば，この結果によって釣菌するようシステムに指示をする。グルーピング結果が不十分であった場合には，新たにシステムにＧＵＩを介して特定の細菌コロニーの細菌種を教示する。グルーピング手段118は例えばNaive Bayes法の新たな教示データとしてこれを追加して分類を実行し，ほぼリアルタイムに検査員にグルーピング結果を示す。また，これ以外に，K-NN分類の新たな教示データとして扱っても良いし，検査員の追加した教示データのグループをK-meansクラスタリングの初期状態に反映させても良い。また，これ以外の別の公知の分類アルゴリズムやクラスタリングアルゴリズムを用いてもよく，検査員にその教示データを追加した後の分類結果を示し，満足すべきグルーピング結果かを検査員がすぐ判断できるようにする。
【００５９】
検査員が細菌種を特定できないコロニーも存在する。このような場合には細菌種が特定できないコロニーとして入出力端末130を解してグルーピング手段118に登録する。グルーピング手段118は，細菌種が特定できないとされたコロニーの特徴空間における最も近接した例えば２つのグループを特定し，この２つのグループの境界面をそれぞれグループ中心に移動させて，検査員が特定できないとしたコロニーがグルーピングされないようにする。
【００６０】
なお，このグルーピング結果は１つのシャーレのみで行うとは限らない。マイクロプレートには多数のウェルが配置されており，１つのシャーレのみでは全てのウェルを細菌で満たすことができない場合があり，１つの検体の細菌を複数のシャーレで培養する場合があるためである。この場合，複数のシャーレの画像を同時に表示して検査員が複数のシャーレの画像を確認して教示サンプルを選択できるようにするのが良い。あるいは，このうち，１つをＧＵＩ124に拡大表示しておき，入出力端末130のマウス，トラックボール，あるいはキーボード等の操作により，容易に画像を切り替えられるようにしておけるようにする。
【００６１】
本発明のシステムではそれぞれ異なる光学条件で撮影を行う。検査員は，複数の光学条件での画像を確認しなければ正確な細菌種を特定することができない。そこで，ＧＵＩ124には複数の光学条件の画像を表示できるようにしてある。検査員は入出力端末130のマウス，トラックボール，あるいはキーボードなどの操作により，任意の光学条件の画像をＧＵＩ124に表示できるようにし，あるいは，それぞれのシャーレの画像は一部のみ表示しておき，複数の光学条件の画像を同時に表示するようにしても良い。
【００６２】
このように本システムは，画像特徴量をもとにグルーピングを行い，その結果をGUI124を介して検査員に示し，その結果を検査員が修正できるようにすることで，同一の細菌コロニーを選択してMIC法を適用することが可能であるが，経験の浅い検査員では細菌コロニーの外観のみでは正確なグルーピングが行えない可能性がある。そこで， MIC法を適用する以外に，より詳細な解析を行う。この解析の手法としては，赤外分光法やラマン分光を行う。釣菌をする細菌コロニーは，各グルーピングしたコロニーの特徴量の中心部，および，各グループの境界部のコロニーを選択するのが良い。
【００６３】
ラマン分光や赤外分光は画像撮像時間が長くかかる。特に赤外分光は一般に水分を透過しないため，分析対象を乾燥させる必要がある。そこで，111で釣菌をしたコロニーに対して一度分析する台座にコロニーを入れ，コロニー種を同定する機能を設ける。
【００６４】
赤外分光法用いた場合について図１４で示す。1401は赤外光源，1402はハーフミラー，1403はミラー，1404はステージであり，ミラー1405の位置を変化させることができる。また，ステージ1404はステージコントローラ116と接続されており，システムによって位置を制御することが可能である。ミラー1403で反射された光はミラー1405の反射光とハーフミラー1402の位置で干渉し，波長により強弱の変化が発生する。1407は台座である。1408は釣菌した細菌コロニーであり，ハーフミラー1402で干渉した光は偏光フィルタ1406で偏光方向が整えられた後に細菌コロニー1408に照射される。偏光フィルタ1406を透過した光の偏光方向は一般にP偏光になるようにし、更に、照明する角度がブリュスター角近傍にすることで，細菌コロニー1408からの直接反射を少なくするよう制御する。また，この角度がブリュスター角でないとしても，検出側の偏光フィルタ1410と照明側の偏光フィルタ1406の偏光方向が直交するようにして直接反射光が抑制できるような設定にしておく。細菌コロニー1408で反射した光の偏光方向は細菌コロニー1408の組成により，最も内部で拡散した光を取り込める条件が変化するため，偏光フィルタ1410は回転させて偏光特性を調整することが可能にする。1409は集光レンズである。近赤外光の分析のみを行うためには石英の一般的なレンズを用いることができるが，中赤外も分析するためには，反射対物レンズを用いるのが良い。
1411は光検出手段である。光検出手段1411としては，微弱光を高ゲインで検出するフォトマルが適しており，望ましくは空間的な分布が判明できるようにフォトマルが二次元状に配置されたマルチアノードのフォトマルが適している。これ以外に検出器の前面にイメージインテンシファイヤーを配置して，後段で二次元CCDやCMOSセンサーを用いて検出する方法もあるし，さらには，通常のCCDセンサーやCMOSセンサーを配置しても良い。
【００６５】
検出される光信号は次のような式で表される。
Ｆ（Ｘ）＝∫Ｂ（λ）cos(2πλX)dλ ・・・(数５)
ここで，B(λ)が光の波長λ毎の検出光量になる。Ｘは1404のステージを制御することによって発生する1403で反射される経路と1405で反射される経路の光路差になる。検出されるF(Ｘ)は117に転送され，Ｘ毎のＦ（Ｘ）をもとに，フーリエ変換により，B(λ)が算出される。すなわち，
B(λ)＝∫Ｆ（Ｘ）cos(2πλX)dＸ ・・・(数６)
二次元状に配置されたマルチアノードのフォトマルやCCD等で検出した場合には，各画素に対応した位置でＢ（λ）が算出される。一般に赤外分光により光の反射スペクトルを求める場合には，水の吸収係数が大きく，水分を有するものは測定精度が大幅に低下してしまう。この測定を可能にするため，ひとつの方法としては，細菌コロニー1408は乾燥させた粉末状にしておくことである。
【００６６】
もうひとつの方法としては，水の吸収が小さい，近赤外の波長のみを分析する方法がある。近赤外のみ分析した場合には，吸収強度が小さくなるため，細菌の同定まで行うことは困難であるが，細菌の弁別には重要な情報を与える。近赤外を用いる場合には，細菌コロニー1408を乾燥させる必要がないため，台座1407に水分を保持できるような機能を持たせることにより，測定の後にマイクロプレート123に入れることで，そのままMIC法を行うことも可能である。
【００６７】
また，赤外を用いずに近赤外のみを用いた場合には細菌コロニーを乾燥させる必要が無いため，図１で示した光学系の114のシャーレ付近に図１４で説明した光学系を直接配置し，シャーレ上のコロニーに対して直接分析する機能を設けることも可能である。
【００６８】
図１５に光の波数と吸光度との対応を示す。吸光度は光検出手段1411の強度をそのまま用いても良いが，細菌コロニー1408が均一な状態でない場合には，検出光量をそのまま吸光度にすることは困難であるため，画素ごとに最大の光量を得た波数の光強度を基準としてその割合を吸光度に変換するのが望ましい。このようにして得られた波数と吸光度の対応を二次記憶125に既に登録してある波数と吸光度との対応と比較し，同一種の細菌を抽出する。また，同一シャーレ，あるいは，同一検体で取得した複数の細菌コロニーの吸光度を比較して細菌種を弁別する。
【００６９】
本実施例に拠れば、シャーレを上方から照明した画像と下方から透過して照明した画像とを用いることにより、細菌コロニーの画像をシャーレに記載または形成された文字または記号の画像から分離して検出することが可能になり、画像処理により細菌コロニー種の分類と正確な釣菌を行うことができるようになった。
【００７０】
さらに、上方からの照明を複数の仰角方向から行い、多方向からの照明画像を用いることにより、細菌コロニーの画像をより正確に抽出することが可能になり、更に照明方向の異なる複数の画像の特徴量を用いて画像を分類できるので、細菌コロニー種の分類をより正確に行うことが可能になった。これにより、人手を介することなく自動で細菌コロニー種の分類と正確な釣菌を行うことができるようになった。
【実施例２】
【００７１】
図１で示したシステム構成は，撮像手段として二次元状の画像を取得可能なカメラを用いているが，この方式では光学系が複雑になる傾向がある。これを回避するもうひとつの方式として，検出系をリニアセンサーにする方式がある。このシステムは，図１の構成で103のカメラをリニアセンサーにする方式がある。このときステージ116の制御パルスの整数倍のパルスをリニアセンサーの外部同期信号にすることにより，ステージの駆動方向に対して倍率変化のない画像を得ることができる。ただし，低角照明ユニット101，高角照明ユニット102，透過照明ユニット104の照明画像を独立に取得するには，照明を切り替えて，その都度ステージを動作させなければならず，スループット的に不利である。
【００７２】
これを解消するための実施例を図1６に示す。図１６において、図１で説明した構成と同じものには同じ番号を付してある。ここでは，図１６に示した構成において、図１のカメラ103の代わりにリニアセンサー1601，1602，1603を設えている。リニアセンサーの外部同期を，ステージ116の制御パルスの整数倍とすることで，倍率変動のない画像を得ることができる。リニアセンサー1601は透過照明ユニット104による透過照明画像，リニアセンサー1602は高角照明ユニット102による高角照明画像，リニアセンサー1603は低角照明ユニット101による低角照明画像を撮像する。
【符号の説明】
【００７３】
１０１・・・低角照明ユニット １０２・・・高角照明ユニット １０３・・・カメラ １０４・・・透過照明ユニット １０５・・・遮光板 １０６・・・台座 １０７・・・シャーレ １０８・・シャーレの搬送手段 １０９・・・：スタッカー １１０・・・シャーレの搬送手段 １１１・・・釣菌針 １１２・・・Zステージ １１３・・・XYステージ １１４・・・シャーレ １１５・・・光制御ユニット １１６・・・ステージコントロールユニット １１７・・・画像入力手段 １１８・・・グルーピング手段 １１９・・・画像処理手段 １２０・・・透過照明ユニット １２１・・・上方照明ユニット １２２・・・カメラ １２３・・・マイクロプレート １２４・・・：ＧＵＩ １２５・・・二次記憶装置 １３０・・・入出力手段 １４０・・・全体制御部。
【技術分野】
【０００１】
本発明はシャーレに培養した細菌コロニーを釣菌する装置に関し，特にシャーレの光学像を撮影し，その撮影画像をもとにシャーレに培養された複数の種類の細菌コロニーより，同一菌種毎に自動的に分類し，菌種毎に複数のコロニーを釣菌し，釣菌した菌に対して菌の同定処理を行う釣菌装置及びその方法に関する。
【背景技術】
【０００２】
検体に対する細菌検査においては，細菌をシャーレ内の発育培地で培養し，この細菌を釣菌する方法が用いられている。この方式では一般に発育培地に細菌の懸濁液を塗沫し，恒温槽にて培養した後，光学的に目視観察を行い，目的とする細菌コロニーを釣菌する。釣菌された細菌は抗生物質に対する耐性を試験する目的等に用いられる。細菌の抗生物質に対する耐性を試験する方法は特許文献１（特開昭６３−３２４７７号公報）に詳しく記載されている。ＭＩＣ（Minimum Inhibitory Concentration : 最小発育素子濃度）法では液体培地あるいは固体培地に抗生物質の希釈液を注入，この中に釣菌した細菌コロニーを接種し，この細菌を培養して菌の生育状態を観察する。この抗生物質の希釈液の濃度を様々に変化させて多数の培地での培養状態を観察することにより，発育できない最小の抗生物質濃度を求めることが可能になり，患者への負担を軽減できる適正な薬剤濃度を決定することができる。
【０００３】
一方，特許文献２（特開昭５９−１１１７３号公報）には，コロニートランスファー装置として，シャーレ内の細菌コロニーをテレビカメラで撮像し，モニタに映し出された画像を検査員が目視にて確認し，釣菌するコロニーを指示することでそのコロニーの位置にピックアップを自動的に移動させ，細菌コロニーを釣菌し，試験管等に移植することが記載されている。
【０００４】
更に、特許文献３（特開２００５-５５１８０号公報）には，検体を液状化した後，ろ過により集菌した結果をＦＴ−ＩＲ（Fourier Transform Infrared Spectrophotometer : フーリエ変換赤外分光分析計または顕微赤外分光分析計 ）により分析し，その分光吸光度の波形をデータベースに登録された波形と比較して同定する方法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開昭６３−３２４７７号公報
【特許文献２】特開昭５９−１１１７３号公報
【特許文献３】特開２００５-５５１８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ＭＩＣ法を実施するためには，抗生物質の濃度を変化させた多数の培地で菌を培養する必要があるため，シャーレ内にて培養された細菌コロニー，多数を釣菌する必要がある。これは，比較的小さなコロニーも釣菌しなければシャーレ内に培養してから釣菌するまでに長時間が必要となってしまうことになり，短時間での培養は困難であった。
【０００７】
更に，ＭＩＣ法においては，全ての釣菌細菌コロニーの種類が同一でなければ正確な抗生物質の耐性を試験することはできないが，これまでは検査員の目視結果に依存しており，トレーサビリティが得られなかった。また，目視の検査は検査員の技術によってばらつく恐れがあり，安定した釣菌を得るには少数の検査員しか検査できない状態が発生し，多数の検体を処理することができなかった。
【０００８】
一方，特許文献２（特開昭５９−１１１７３号公報）に記載されているコロニートランスファー装置として，シャーレ内の細菌コロニーをテレビカメラで撮像し，モニタに映し出された画像を検査員が目視にて確認し，釣菌するコロニーを指示することでそのコロニーの位置にピックアップを自動的に移動させ，細菌コロニーを釣菌し，試験管等に移植する方式では、検査員がテレビカメラを確認して釣菌するコロニーをひとつずつ選択していたため，検査員の工数はさほど減少させられない。また，テレビカメラで得られた１枚の画像ではコロニーの選択に誤りが発生する場合があった。例えば，ある種の細菌は，その外観が透過照明により顕在化するが，その他の細菌は上方からの照明により顕在化されるといった性質がある。ＭＩＣ法を用いる場合，同一種の細菌を多数釣菌する必要があり，テレビカメラで得られた画像より，異なる種類の細菌は排除，単一種類の細菌のみを選択する必要があるが，テレビカメラの画像のみでは十分な精度で細菌コロニーを弁別することができなかった。
【０００９】
また、特許文献３（特開２００５-５５１８０号公報）に記載されている検体を液状化した後，ろ過により集菌した結果をFT-IRにより分析し，その分光吸光度の波形をデータベースに登録された波形と比較して同定する方法では，ＦＴ−ＩＲで分析した後にＭＩＣ法を用いるための培養が不可能であった。
【００１０】
本発明の目的は、従来技術の課題を解決して、細菌コロニー群の中から釣菌する同一種類のコロニーを特定し、この特定したコロニーを多数、安定して釣菌することを可能にする釣菌装置及びその方法を提供することにある。
【課題を解決するための手段】
【００１１】
上記課題を解決するために本発明では，細菌コロニーの釣菌装置を、光学的に透明な第１の容器に収納された培養培地上に培養した細菌コロニーを上方から照明する上方照明手段と、照明光を光学的に透明な容器と培養培地を透過させて細菌コロニーを照明する透過照明手段と、上方照明手段及び透過照明手段で順次照明された細菌コロニーを撮像する撮像手段と、撮像手段で撮像された上方照明手段で照明された細菌コロニーの画像と透過照明手段で照明された細菌コロニーの画像とを処理して釣菌する細菌コロニーの画像を抽出する画像処理手段と、画像処理手段で抽出された細菌コロニーを培養培地から釣菌して第２の容器に移し替える釣菌手段とを備えて構成した。
【００１２】
また、本発明では、細菌コロニーの釣菌方法において、光学的に透明な第１の容器に収納された培養培地上に培養した細菌コロニーを上方から照明し細菌コロニーを撮像して細菌コロニーの上方撮像画像を得、照明光を光学的に透明な容器と培養培地を透過させて細菌コロニーを照明し細菌コロニーを撮像して細菌コロニーの透過光画像を得、上方撮像画像及び透過光画像とを処理して釣菌する細菌コロニーの画像を抽出し、抽出した画像に対応する細菌コロニーを培養培地から釣菌して第２の容器に移し替えるようにした。
【発明の効果】
【００１３】
本発明によれば、シャーレを上方から照明した画像と下方から透過して照明した画像とを用いることにより、細菌コロニーの画像をシャーレに記載または形成された文字または記号の画像から分離して検出することが可能になり、画像処理により細菌コロニー種の分類と正確な釣菌を行うことができるようになった。
【００１４】
さらに、上方からの照明を複数の仰角・方位角方向から行い、多方向からの照明画像を用いることにより、培地上のほぼすべてのコロニーを顕在化することが可能になり，正確にコロニー位置を可能にし，また，多方位からの照明の画像よりコロニーの外観特徴を算出するため，正確なグルーピングが可能になる。また，画面上に異なる方位から照明して撮像した複数の画像を表示することにより，ユーザにも異なる細菌種類を目視で確認しやすい効果がある。
【図面の簡単な説明】
【００１５】
【図１】第１の実施例に関するシステム全体の概略の構成を示すブロック図である。
【図２Ａ】第１の実施例における照明系の概略の構成を示す正面図である。
【図２Ｂ】第１の実施例における照明系の概略の構成を示す平面である。
【図３Ａ】第１の実施例における照明系の別の例の概略の構成を示す正面図である。
【図３Ｂ】第１の実施例における照明系の別の例の概略の構成を示す平面である。
【図４Ａ】第１の実施例における照明系の更に別な例の概略の構成を示す正面図である。
【図４Ｂ】第１の実施例における照明系の更に別な例の概略の構成を示す平面である。
【図５Ａ】第１の実施例の検出系による細菌コロニーの撮影画像の照明条件と細菌コロニー形状との関係を示す図である。
【図５Ｂ】第１の実施例の検出系による細菌コロニーへの入射光と反射光と細菌コロニー表面の法線方向との関係を説明する細菌コロニーの断面図である。
【図６】第１の実施例の検出系による細菌コロニーの撮影画像である。
【図７】第１の実施例の検出系による細菌コロニーの撮影画像の明度プロファイルを示すグラフである。
【図８Ａ】第１の実施例における（ａ）透過照明による撮影画像と（ｂ）透過照明方向を示すシャーレの断面図である。
【図８Ｂ】第１の実施例における（ａ）低角照明による撮影画像と（ｂ）低角照明方向を示すシャーレの断面図である。
【図８Ｃ】第１の実施例における（ａ）高角照明による撮影画像と（ｂ）高角照明方向を示すシャーレの断面図である。
【図９】第１の実施例における細菌のコロニー候補領域を抽出する手順を示すフロー図である。
【図１０】第１の実施例における細菌のコロニーの画像特徴量を抽出する手順を示すフロー図である。
【図１１】第１の実施例における細菌のコロニーの明度プロファイルを説明するグラフである。
【図１２】第１の実施例における細菌のコロニーの分類方法を説明する（ａ）データベース，（ｂ）データベースのインデックスの一例を示す表、（ｃ）特徴ベクトルの分布を示すグラフである。
【図１３Ａ】第１の実施例における細菌のコロニー特徴量空間での分布の一例を示すグラフである。
【図１３Ｂ】第１の実施例における細菌のコロニーが分布しているシャーレの画像である。
【図１４】第１の実施例における赤外分光検出系の概略の構成を示すブロック図である。
【図１５】第１の実施例における光の波数と吸光度の関係を示すグラフである。
【図１６】第２の実施例に関するシステム全体の概略の構成を示すブロック図である。
【図１７】本発明の照明系の一実施例である。
【発明を実施するための形態】
【００１６】
以下に、本発明の実施例を、図を用いて説明する。
【実施例１】
【００１７】
自動釣菌装置100の全体構成を図１に示す。101は低角照明ユニット，102は高角照明ユニット，103はカメラ，104は透過照明ユニットである。103のカメラはカラー情報が取得できるものが望ましい。105は遮光板，106は台座，107はシャーレである。107のシャーレ内には細菌の培地150があり，その上に検査を行う検体から得られた細菌コロニーが培養されている。細菌コロニーは例えば，恒温槽内で24H程度培養されたものを用いる。101, 102, 104は光制御ユニット115に接続され，点灯，消灯を制御することが可能であり，任意の組み合わせで点灯を行わせることが可能である。
【００１８】
遮光板105は例えば可動絞りやあるいは液晶シャッター等が用いられる。可動絞りの場合には表面がつや消しの黒塗り処理がなされており，液晶の場合には反射防止処理を行う。透過照明ユニット104が点灯する際には照明光がシャーレ107を照明可能なように設定されており，また，低角照明ユニット101, 高角照明ユニット102が点灯する際にはシャーレ107の底面が暗くなるようにする。一般に107のシャーレ107の底面には，シャーレ107に文字等が印刷されている場合があるが，これが低角照明ユニット101や高角照明ユニット102の照明をつけたときに顕在化されないようにする効果をもつ。
【００１９】
103は撮像手段であり，撮像された画像は画像入力手段117に転送される。119は画像処理手段であり，画像入力手段117に転送された画像データを処理して細菌コロニーの領域を抽出し，また，各抽出コロニーより画像処理を用いて画像特徴量を算出する。画像特徴量は，例えばコロニー領域の周囲長，面積，色情報，明度情報，背景明度との差分等より構成される。118はグルーピング手段であり，画像入力手段117で入力した画像と，細菌コロニー領域119，画像特徴量を入力する。125は二次記憶装置であり，撮影した画像，あるいは処理した画像，データ，コロニー位置，面積を格納することができる。また，画像特徴量を保存することができる。
【００２０】
グルーピング手段118は，二次記憶装置125に格納された，既取得済みの培地150と外観が類似した細菌のグループとの対応毎に保管された特徴量の分布をもとにグルーピングを行う。ここで得られたグループに基づき，釣菌するコロニー，あるいはその候補を自動的に決定する。このグルーピング結果は入出力端末130のＧＵＩ124に表示され，検査員がグルーピング結果，および釣菌候補を確認することが可能になっている。
【００２１】
グルーピング結果が検査員の意図と異なっている場合には異なるグルーピングを検査員がGUI124を介してグルーピング手段118に登録する。例えば釣菌するコロニーを画像から幾つか指定し，その指定されたコロニーに近いコロニーの画像特徴量を解析し，その画像特徴量に類似した画像特徴量をもつコロニーを釣菌するコロニー種としてグルーピングする。このグルーピング結果より，検査員がＧＵＩを介して指定したルールに基づき，グルーピング手段118は釣菌するコロニーの候補を抽出してGUI124上で検査員に示す。
【００２２】
グルーピングするルールとしては，例えば以下のようなものがある。
1) そのグループの中で最も特徴量の中心に近いもの
2) 大きさが，予め設定されたサイズに近いもの
3) 検査員が指定した細菌コロニーの特徴量に近いもの
なお，このGUIで確認するモード以外に，自動運転モードも設け，自動運転モードの場合には，検査員に確認をとらずに，システムが選択したコロニーをそのまま釣菌させるようにする。
【００２３】
108はシャーレの搬送手段であり，撮影されたシャーレ107をスタッカー109に格納する目的で用いられる。シャーレ搬送手段108によるシャーレの搬送は，グルーピング手段118でのグルーピング，あるいは画像処理手段119での画像処理の後に行っても良いし，画像処理や，グルーピングの前に行っても良い。検査員によるグルーピング結果の確認作業を必要とする場合，この作業時間は比較的長い時間を要する場合が多いため，装置のスループットを上げるためには，画像の撮影が終了したら，検査員の確認作業を待たずに次のシャーレ107の画像入力作業を行い，これと並行して検査員が既に取得された画像を用いてグルーピング結果の確認，修正，釣菌するコロニーの決定を行うのが良い。110もシャーレの搬送手段であり，スタッカーから釣菌エリアに搬送するために用いられる。
【００２４】
111は釣菌針，112はZステージ，113はXYステージであり，シャーレ搬送手段108及び110, Zステージ112，XYステージ113はステージコントロールユニット116で制御される。スタッカーから搬送されたシャーレ114は透過照明ユニット120と上方照明ユニット121で照明し，その画像をカメラ122を用いて画像を撮影可能になっており，この撮影した画像は画像入力手段117を介して取り込むことができる。
【００２５】
画像入力手段117に入力された画像は，画像処理手段119においてカメラ103で取得した画像との比較が行われ，同一のシャーレがスタッカーを介して搬送される際の位置ずれが補正される。例えば，カメラ103で撮像した画像をI0，カメラ122で撮像した画像をI1とする。なお，画像I0と画像I1は２つの光学系において最も照明の条件が一致するように撮影する。シャーレ107の背景を黒く設定することにより，シャーレ107は明るく撮影されるため，二値化処理によりシャーレ領域を抽出することが可能である。これを画像I0と画像I1それぞれの画像において求め，シャーレ107の回転中心を概略合わせる。シャーレ107の光り方の影響を防ぐためには、シャーレ107の縁およびその外側の明度を画像処理的に黒に設定する。この後，画像I0の二次元フーリエ変換によりスペクトル画像F(I0)と画像I1の二次元フーリエ変換F（I1）を求める。フーリエ変換したスペクトル画像は画像の位置ずれに対して不変であるので、この２つの画像の違いはシャーレの回転方向のずれのみである。
【００２６】
カメラ103とカメラ122の撮影画像の違いによる明るさのむらの影響を小さくするため、F(I0)とF(I1)それぞれにlog変換を行った後、フーリエ変換のDC成分を原点としたときの，この原点からの距離をr，原点を中心とした回転成分をθとして，r-θの局画像変換を行う。この画像を画像I2, 画像I3とする。画像I2と画像I3の画像を局座標変換したθ方向にのみフーリエ変換する。フーリエ変換した画像は相関定理により，積を求め，逆フーリエ変換することで各r位置の相互相関係数を求めることができる。各相互相関係数を足し合わせて，画像全体のθに対する１次元の相互相関係数をもとめ，このピークを回転ずれ量として算出する。
【００２７】
次いで，この回転ずれ角度分だけI0画像を回転変換させ，I0画像とI1画像を正規化相互相関等によりXY方向のずれ量を算出する。回転変換させた際の中心座標を（cx, cy）とおく。また，ずれ量を（Δx，Δy，Δθ）とおく。103のカメラで撮影したコロニー位置を（x,y）とすると，122の画像におけるコロニーの位置(x’, y’)は次の式で表される。
x’= (x-cx) cosΔθ - (y-cy) sin Δθ+Δx
y’= (x-cx)sinΔθ +(y-cy) cosΔθ+Δy ・・・(数１)
なお，本二次元フーリエ変換を用いた座標あわせ方式は一実施例であり，この他に正規化相関演算を用いたもの等他の手法を採用しても良い。
【００２８】
123はマイクロプレートであり，複数のウェルが配置されている。各ウェルには例えばMuller Hinton培養液にCaイオン 50mg/l，Caイオン25mg/ｌおよび細菌の耐性を評価する薬剤をそれぞれのウェルにて異なる濃度になるように添加してある。この液体培地はこれ以外のものを用いても良いし，また，固体培地にすることも可能である。Zステージ112，XYステージ113を制御することで，シャーレ114の釣菌する細菌の座標に111の釣菌針111を移動，コロニーをピックアップする。コロニーをピックアップするには，釣菌針111の取り付け位置に力センサー(図示せず)を組み込み，釣菌針111が固体培地に接触するポイントを感知できるようにするのがよい。この後，生理食塩水，あるいは液体培地の入った容器126に細菌コロニーを入れる。これを数個の細菌コロニーに対して実施して，容器126の細菌コロニーの濃度が十分になった後，容器126の懸濁した液をマイクロプレート123のいずれかのウェルにコロニーを入れる。
釣菌針111は異なるコロニー種をピックアップする毎に異なるものに変更できるようにしておく。１シャーレ内には十分なコロニー数が培養できていない場合がある。このときには，１つのシャーレでは，マイクロプレート123にある，設定したウェルの数すべてで菌を培養できない場合がある。そこでこの場合には，検体の細菌を複数のシャーレで培養，複数のシャーレよりある特定の細菌種を決定し，その複数のシャーレから１つのマイクロプレート123に菌を移すようにする。これにより，比較的短い培養時間であっても，MIC法を実行することが可能になる。このように複数のシャーレ画像より，釣菌するコロニーを選択する場合には，入出力手段130のＧＵＩ124において，同一の検体の複数のシャーレ画像が容易に表示できるようにしておく必要がある。自動釣菌装置100全体は、全体制御ユニット140で制御されている。
図２は低角照明ユニット101および高角照明ユニット102の照明手段の詳細構成を示している。低角照明ユニット101は分割光源2011，2012，2013，2014から構成されており，光制御ユニット115を用いて個別に点灯制御を行うことができる。高角照明ユニット102は分割光源2021，2022，2023，2024より構成され，これも光制御ユニット115で個別に点灯制御を行うことができる。細菌コロニー表面は比較的滑らかであるため，照明をあてることにより，直接反射をする箇所が明るく撮影される。
【００２９】
図２に示すように，方位毎に照明を行うことにより，照明とコロニーの中心とカメラ光軸を含む面における明度を求められる。細菌コロニーの詳細な形状を求める場合には，光制御ユニット115で制御して分割光源2011,2012,2013,2014をそれぞれ１つずつ照明した画像を4回，更に，分割光源2021,2022,2023,2024をそれぞれを１つずつ照明した画像を4回の計8回撮影するのが望ましい。しかし，撮影時間を短縮するには，この幾つかを同時に照明して撮影するのが望ましい。一方，撮影時間を短縮するために，例えば，分割光源2011,2012,2013,2014を同時に照明した画像を1枚，2021,2022,2023,2024を同時に照明した画像を1枚の計2枚の画像でも良い。
【００３０】
直接反射光を検出すると，その近傍の細菌コロニーの色情報が失われてしまうという課題がある。細菌コロニーを種類別に分別するには，色情報が重要である。そこで，われわれは低角照明においては，直接反射光がなるべく検出されないような角度を選択することとした。低角照明ユニット101の照明は，シャーレの端で最も高い角度のθになるが，評価の結果，このθが45°以下であればほとんどのコロニーで直接反射光の影響を受けずに色情報を取得できることがわかった。
【００３１】
また，高角の照明においてもシャーレの端部において，最も高角度，θ２で照明することになるが，この角度が80°を超えると，培地150によってはシャーレの端において，表面張力によって培地150が傾き，この培地自体が直接反射で明るく検出される場合があることがわかった。そこで，高角照明は最も高角度な照明であっても，照明角度が80°を超えないように設定することとした。
このように照明角を設定することにより，分割光源2011, 2012, 2013, 2014よりなる低角の照明では，ほとんどの場合，低角から地照明しても直接反射光を検出することは無いため，１つずつ照明しても得られる情報量としては多くない。このため，低角の照明はすべての方位から同時照明して撮影することが，撮影時間を短くするという観点で望ましい。図３は図２とほぼ同一の構成を線状の照明で構成したものである。低角照明ユニット301の照明を分割光源3011，3012，3013，3014，高角照明ユニット302の照明を分割光源3021，3022，3023，3024で構成している。このそれぞれが115の光制御ユニットを用いて個別に点灯制御を行うことができる。
更に図２の構成において，より角度検出分解能をあげるためには，図４のように低角照明ユニット401と高角照明ユニット402の間に中間角度の照明ユニット420を入れることも良い。この場合，低角照明ユニット401の照明は分割光源4011，4012，4013，4014，高角照明ユニット402の照明は分割光源4021，4022，4023，4024、更に中角度照明ユニット420の照明は分割光源4201，4202，4203，4204のそれぞれ4つに分割されており，これらの照明も光制御ユニット115を用いて個別に点灯制御を行うことができる。
コロニーの直接反射光をもとに分類を行うことを考慮すると，シャーレ107のいずれの位置においてもコロニーのほぼ同一の法線方向からの直接反射光を検出する必要がある。しかし，シャーレは通常，φ90mm程度であり，これを実現するためには，高角照明ユニット102，または302または402とカメラ103をシャーレ107から大きく離す必要があるためである。この離す間隔をできるだけ小さくするためには，カメラをテレセントリック光学系にしても良い。この方式にすることで，撮像系のレンズとシャーレ間の距離を縮めることができる。
【００３２】
また，照明系に関しては，高角照明ユニット102，または302または402をLED多数の集合として，各LEDにマイクロレンズを設け，比較的平行光にするといった方法を採用することで，照明とシャーレ107との位置を短くすることができる。また，その他の構成としては図17に示す方法もある。1701と1703は光源，1702と170４はそれぞれ放物面鏡であり，光源1701と1703とはそれぞれ放物面鏡1702と1704との焦点位置に配置されている。これにより光源1701と1703とからそれぞれの放物面鏡1702と1704とに向けて発射した光は放物面鏡1702と1704とで反射されて平行光となってシャーレ107を照射する。その結果、シャーレ107の任意の位置において，ほぼ同一の方向から照明することができるようになる。なお、1702と170４はそれぞれ放物面鏡の変わりに球面鏡であってもよい。
【００３３】
図５Ａは各照明による細菌コロニー特徴の顕在化の状態を示すものである。高角照明では反射光の位置によりその反射光の位置の細菌コロニーの角度を求めることができる。直接反射光を得た細菌コロニーの位置において細菌コロニーの法線方向は、図５Ｂに示すように、反射光位置からカメラレンズ方向への単位ベクトルVcと反射光位置から照明への単位ベクトルViを用いて(Vc+Vi)/2であらわされる。コロニーが平らであれば，この反射光を検出した位置がコロニー中心付近であり，反射光位置がコロニー近傍であればコロニーは培地から高さを持っていると推定できる。また，コロニーがドーム状から崩れた形状である場合には，反射光は複数の位置で検出される。一方，低角照明においては，コロニーの表面形状が多少変化した場合でも明度は変化せず，細菌コロニーの表面の色，明度情報を取得しやすい。
【００３４】
図６にシャーレにおける細菌コロニーの分布を示す。601がシャーレであり，その上に602に示すように，シャーレの外側近くにシャーレからの乱反射や，シャーレ縁における表面張力の影響で培地150が傾くことにより発生した多少明るく見える領域がある。また，細菌コロニーの分泌液により，培地150の明度，あるいは色が変化してしまう領域を603で示す。604は比較的培地150からのコントラストが低い，小型の種類の細菌コロニーであり，605はコントラストの高い細菌コロニーである。
【００３５】
撮像手段103でシャーレ107（601）を撮像した画像信号を受けて、画像処理手段119において、コントラストの高い細菌コロニーは検出しやすいが，603のコロニーは低コントラストであり，培地150の平均明度，あるいは色からの変化は602や603のような領域の方が離れている。培地150の平均からの色あるいは明度の差分でコロニーを検出すると604を抽出可能な条件では６０２や603のようなコロニーでない領域もコロニーとして抽出してしまうことになる。そこで，本実施例では，次の３つのステップを用いて，孤立したコロニーを抽出できるようにする。すなわち，
（１）空間的なバンドパスフィルタをかけ，602や603の特徴である低周波数成分を除去する。
(２)着目する領域の周辺の局所的な明度をもとに培地150と思われる明度，あるいは色を算出，この局所的な明度，あるいは色との比較に基づき，異なる場合にコロニーの候補として抽出する。
(３)コロニーの候補として抽出された領域の明度，あるいは色の分布を評価し，明度分布がドーム状に類似した場合をコロニーと判定する。
【００３６】
図７に（２）のステップのアルゴリズムの考え方を示す。図７は撮影した画像のある１次元方向の明度分布を示す。701と702は抽出すべきコロニーであるが，単純な二値化手法を採用すると703の領域がコロニーとして抽出されてしまう。そこで，701の領域のコロニーの有無判定を行う場合は，その近傍の703の領域，702の領域の有無判定を行う場合には704の領域を基準にしてコロニーの有無を判定するのが良い。
【００３７】
（３）の手法としては，例えば二次関数フィッティングが挙げられる。（２）の処理において，近傍を基準に明度の明るい領域を抽出しても，606に示すように複数の細菌コロニーが重なった領域を抽出してしまう恐れがある。複数のコロニーの集合体では，単一の細菌のみで構成されない場合があるため，これは除去しなければならない。（２）で得られたコロニーの候補領域の透過画像明度をI(x,y)としたとき，例えば，
Error=Σ（Ax2+Bx+C+Dy2+Ey+F+Gxy+H-I(x,y)）2 ・・・(数２)
がコロニー候補領域で算出し，このＥｒｒｏｒが最小となるように，係数，A,B,C,D,E,F,G,Hを最小二乗法等で算出し，コロニー候補領域の面積をSとした際に，Error/Sがしきい値以下の場合のみ孤立コロニーとする，等の方法を採用可能である。また，この二次関数フィッティングをガウス関数近似で同様に算出しても良い。
【００３８】
（２）で説明したステップは培地150の画像が急峻には変化せず，画像中の急峻な明度の変化は細菌コロニーのみによることを前提としていた。しかし，実際にはそれ以外の明度変化も存在する。その最大の問題がシャーレに記述された文字である。図８Ａ（ａ）の801はシャーレ107を図1に示した透過照明ユニット104のみで図８Ａ（ｂ）に示すように下方から照明して撮影した像，図８Ｂ （ａ）のシャーレ107の画像802は、図８Ｂ（ｂ）に示すように低角照明ユニット101または301,401で低角から照明して撮影した像，図８Ｃ（ａ）のシャーレ107の画像803は、シャーレ107を図８Ｃ（ｂ）に示すように高角照明ユニット102または302,402で上方から照明して得た像である。図８Ａ（ａ）のシャーレ107の画像801に最も鮮明であるが，一般に細菌の培養に用いるシャーレ107には，そのトレーサビリティをチェックするための印刷文字805がシャーレ底に施されているのが判る。また，病院や検査機関では，類似した多数の細菌培養シャーレを区別するために，マジックインキ等で検体ＩＤ等を記載することも行われる場合がある。このように，コロニーよりもシャーレ底の文字の方がより鮮明な場合がある。
【００３９】
図８Ｂ（ａ）のシャーレ107の画像802のように低い角度から照明した像では，この印刷文字805はほとんど見えないが，非常に透明度の高い培地150（図６の培地610に相当）の場合は見える場合がある。図８Ｃ（ａ）のシャーレ107の画像803では図８Ａ（ａ）の画像801に較べると鮮明でないが，図８Ｂ（ａ）のシャーレ107の画像802に較べるとはっきりと見ることができる。804が細菌コロニー，805がシャーレの印刷文字である。
【００４０】
図８Ａ（ａ）の画像801のように下方から照明した場合には，印刷文字805の印字が光を遮ることになるため，極めて良好に撮像される。図８Ｂ（ａ）のシャーレ107の画像802の低角照明の場合，ほとんどの光は表面で反射され，培地108の内部には潜り込まないため，印刷文字805はほとんど見えることがない。図８Ｃ（ａ）のシャーレ107の画像803は上方から照明しているため，低角照明よりも培地108の内部に光が入り込み，印刷文字805が鮮明に見えてしまう。ここで，透過照明ユニット104を用いた透過照明以外の場合に遮光板105をおくことで図８Ｃ（ａ）のシャーレ107の画像803の文字は見えにくくはなっているが，完全に見えなくすることは困難である。そこで，（２）のステップにおいては，まず，局所領域処理による培地150の明度，色を認識する際に障害となる印刷文字805のようなシャーレ底の印字，あるいは文字，ラベル等のマーク領域を特定することが必要になる。
【００４１】
このマーク領域を特定し除外してコロニー候補領域を抽出するアルゴリズムを，図９を用いて説明する。まず，シャーレ１０７を透過照明ユニット104を用いて下方から透過照明した状態を撮像手段103で撮影して得た透過照明画像より，暗い領域Ａを抽出する（Ｓ９０１）。この暗い領域Ａは一般には細菌コロニーの領域かあるいは，シャーレ底のマーク領域である。ついで，このＡ領域を除いた領域で，高角照明ユニット102、302または402あるいは低角照明ユニット101,301または401の何れかまたはそれらを複数組み合わせてシャーレ107を上方から照明しカメラ103で撮像して得た上方照明画像より，培地150の平均的な明度を求める（Ｓ９０２）。ここでは，高角照明ユニット102、302または402を用いた高角照明による画像でも，低角照明ユニット101,301または401を用いた低角照明による画像でも，あるいはその両方でも良い。高角照明による画像からの方が顕在化されるコロニーもあれば，低角照明による画像からの方が顕在化されるものもあるためである。
【００４２】
最も頑強なアルゴリズムはその両方を行うのが良い。更には，また，低角照明ユニット101,301、401，または，高角照明ユニット102、302、402を照明方位別に照明する場合には，すべての方位から順次照明した画像の平均した合成画像をそれぞれ算出する方が，シャーレ位置に依存しない細菌コロニーの検出が可能である。
【００４３】
一般に、細菌の分泌液で培地150が変色した場合にも，それほど大きな変色はない。そこで，次にこの平均的な明度に対して近接した明るさ，色をもつ領域より，局所的な培地150の明度，色を求める(Ｓ９０３)。ついで，この局所的な明度，色との差が大きな領域をコロニー候補領域として抽出する(Ｓ９０４)。
【００４４】
次に、抽出したコロニー候補領域からコロニーの画像特徴量を抽出するステップを図１０を用いて説明する。まず、図９のＳ９０４で抽出したコロニー候補領域から（３）で述べた手法により，コロニー1005を抽出する（Ｓ１０１１）。次に抽出したコロニー毎の領域より，コロニーをグルーピングするためのコロニーの画像特徴量を算出する（Ｓ１０１２）。
【００４５】
画像特徴量としては高角照明画像1001（高角照明ユニット10２で照明），低角照明画像1002（低角照明ユニット10１で照明），透過照明画像1003 (透過照明ユニット104で照明)を処理して，少なくとも以下のような特徴量を算出する。なお，高角照明画像1001は複数の方向から個別に照明して複数の高角照明画像を順次得てこれを個別に処理することにより弁別性の優れた特徴を得ることができる。
【００４６】
(a)表面凹凸：1007
表面の凹凸は，図５で示したとおりに直接反射光の位置によりこれが観察された位置のコロニーの法線方向が算出できるため，これより求める
(b)テキスチャ：1007
これも直接反射光の出方をもとに求める。表面が荒れている場合は，方位別にコロニー中心に対して非点対象に小領域の直接反射光が観測されるため，これを用いる。
【００４７】
(c)色：1008
色特徴は低角から照明した画像か透過照明画像で算出する。なお，補助的に，高角から照明した画像に用いても良い。色空間としては，通常のRGBの他にLu*v*空間や，HSV空間等を用いても良い。特に透過照明画像を用いた場合は，RGB画像を用いると，コロニーの培地150からの高さにより明度が変化するため，コロニーの高さ特徴を色特徴と別に設定した場合，特徴量間が統計的に独立ではなくなってしまう可能性が高い。このため，明度と色が独立なLu*v*色空間やHSV色空間はメリットが大きい。
【００４８】
(d)形状（大きさ，円形度，長軸/短軸）：1009
検出したコロニー1005の中から選択したコロニー1006について、領域のサイズや，その円形度，形状を楕円近似したときの長軸/短軸等を画像から算出する。円形度は領域の周囲長を面積の平方根で割ることにより求める。この円形度により，細菌の縁がアメーバ状になるものを顕在化することができる。
【００４９】
(e)明度，色，透過率，立体形状：1010
透過照明画像1003より求める。明度と高角照明画像の直接反射をもとに透過率，および培地150からの高さを求めることができる。図11に高角照明画像と透過照明画像の関係を示す。1101はある１方向から照明した高角照明画像の各位置における明度レベル，1102が透過照明画像の各位置における明度レベルである。
【００５０】
透過照明は，培地150が光の透過率が高い場合のみ用いることができるが，コロニーの位置で暗くなり，コロニーの厚みが増すとともに暗くなる。コロニーの内部におけるある明度をIC(x,y)，培地150の明度の平均値をIMとおくと，ある（ｘ，ｙ）の位置でのコロニーの厚みD(x,y)は以下の式で求められる。
D(x,y)=-G(log IC(x,y)-log IM) ・・・(数３)
ここで，Ｇはコロニー種毎に決定されるゲインである。
【００５１】
ある位置，（Ｘ，Ｙ）において，高角照明による反射光を検出できたと仮定する。このときの，法線ベクトルが鉛直方向からθ傾いていたとする。このとき，Δｘだけ位置のずれた際の厚みの変化は-Δx tan θとなる。ここで，D(x,y)の差分を計算すると，
D(X+Δx,Y)-D(X,Y) = -G(log IC(X+Δx,Y)- log IC(X,Y))= -Δx tan θ
が成立する。すなわち，
Ｇ＝Δx tan θ/(log IC(X+Δx,Y)-log IC(X,Y)) ・・・(数４)
で求められることになり，これにより，コロニーの厚みは任意の位置で求められることになる。よって，比較的透過度の高い培地150の場合には，直接反射光の発生する箇所さえ見つかれば，コロニーの立体的な形状，体積を求められる，細菌コロニーを識別する上で大変重要な特徴量になる。例えばこの情報から，コロニーの最大高さ，体積，平均高さ，外周の高さを演算する。これらの特徴をそれぞれ要素としたベクトルを算出し，これを各コロニーの画像特徴量とする。
【００５２】
画像処理手段119で算出した各コロニーごとの画像特徴量の情報を用いてグルーピング手段118において細菌種毎のコロニーに分類する。この細菌種毎のコロニーに分類する方法には，基本的に２つの方法がある。１つは既に登録してある細菌種毎に分ける方法ともうひとつは与えられたシャーレのコロニー画像のみでコロニーの種類毎に分ける方法である。
【００５３】
１つめの方法を，図1２を用いて説明する。（ａ）の1201は特徴量データベース（DB）であり，データベースは（ｂ）に示すインデックス1202により，データを検索できる。菌種12021は，必ずしも１つの菌種とは限らず，いくつかの菌種のグループでも良いが，その場合においても外観が類似しているもののグループとなる。次が培地12022である。細菌コロニーは培地によって，生えるものが限定されている場合があり，また，培地によっては，細菌コロニーの色が細菌種によって大きく変化する場合もある。このため，培地の情報は細菌を分類するにあたって極めて重要である。検体12023は，細菌を取得した検体が，例えば患者の血液なのか，糞なのか，尿なのかにより，発生しやすい細菌が変化する。この情報もまた，細菌を分類するのにおいて，重要な細菌を見落とさないようにするため重要である。また、菌種12021の培養条件12024も菌種を分類する上出重要な上方である。最後に特徴量データ12025が記述されている。特徴量データ12025はベクトルデータであり，多数の同一種類の細菌コロニーのベクトルデータの集合より構成されている。例えば同図（ｃ）に示す1203，1204，1205はそれぞれ同一の培地，検体，培養条件で撮影された異なる細菌種のコロニーのベクトル群を示したものである。今，新たな未知の細菌種の細菌コロニーから得た特徴量ベクトルが1206であった場合，本発明では最も類似した特長量ベクトルの1205が隣接しているため，1206も1205と同一の細菌コロニーと判断する。
【００５４】
典型的な細菌コロニーに関してはこのようにデータベースに登録しておくが，検体から培養した細菌が必ずしもデータベースに登録されていない場合がある。この場合に対応するため，シャーレから画像処理で得た特徴量ベクトルを，データベースを用いないでインタラクティブにグルーピングする方法もある。
【００５５】
このアルゴリズムを図１３ＡとＢを用いて説明する。図１３Ａの特徴量空間1301において，1303,1304,1305は、図１３Ｂに示したシャーレの画像1302におけるそれぞれ，コロニー1306，コロニー1307，コロニー1308と対応したコロニーの特徴量ベクトルである。検査員は図１の装置全体の構成で説明したＧＵＩ124上に図１３Ａに示した特徴量空間の図が表示された状態で，グルーピングしようとする細菌コロニーの典型的な例が1303,1304, 1305であることをシステムに教示すると，グルーピング手段118は一般的に知られているクラスタリング手法，を用いて特徴量ベクトルをグルーピングする。
【００５６】
クラスタリング手法としては，例えばEMアルゴリズムやk-means，ファジーk-meansといった手法を用いることができ，このアルゴリズムを実行させる前の初期状態のグルーピング状態として検査員の教示結果を用いるようにすれば良い。また，クラスタリングアルゴリズムではなく，一般的な分類アルゴリズム，例えばNearest Neighbor法やNaive Bayes法といった分類アルゴリズムを用いても良い。分類アルゴリズムを用いる場合，この場合ではサンプルが１つずつ教示されたクラスがあるものとして実行することになる。
【００５７】
また，グルーピング手段118は，検査員から教示された典型的な細菌コロニーの特徴から大きく特徴量が離れていた場合には分類結果が未知のコロニーとしてグルーピングから除外するようにする。更に，典型的な細菌コロニーとして教示された複数のコロニーの特徴量からほぼ等距離にあるものも，グルーピング先が不明のコロニーとしてグルーピングから除外する。これは，例えばMIC法を実施するにあたり，本来想定していなかった細菌を用いて薬剤の耐性評価をすることを防ぐために不可欠である。更にシステムは，このグルーピング結果に基づき釣菌するサンプルを選択する。多数のコロニーが培養された場合には，グルーピングされた結果のうち，検査員が典型的なコロニーとして選択したものに特徴量的に近いものを釣菌するように選択するのが望ましい。
【００５８】
グルーピング手段118で処理した結果は、入出力端末130のＧＵＩ画面124に表示される。検査員は，ＧＵＩ124に示されるグルーピング結果を確認して，望ましい分類結果，あるいは釣菌結果であれば，この結果によって釣菌するようシステムに指示をする。グルーピング結果が不十分であった場合には，新たにシステムにＧＵＩを介して特定の細菌コロニーの細菌種を教示する。グルーピング手段118は例えばNaive Bayes法の新たな教示データとしてこれを追加して分類を実行し，ほぼリアルタイムに検査員にグルーピング結果を示す。また，これ以外に，K-NN分類の新たな教示データとして扱っても良いし，検査員の追加した教示データのグループをK-meansクラスタリングの初期状態に反映させても良い。また，これ以外の別の公知の分類アルゴリズムやクラスタリングアルゴリズムを用いてもよく，検査員にその教示データを追加した後の分類結果を示し，満足すべきグルーピング結果かを検査員がすぐ判断できるようにする。
【００５９】
検査員が細菌種を特定できないコロニーも存在する。このような場合には細菌種が特定できないコロニーとして入出力端末130を解してグルーピング手段118に登録する。グルーピング手段118は，細菌種が特定できないとされたコロニーの特徴空間における最も近接した例えば２つのグループを特定し，この２つのグループの境界面をそれぞれグループ中心に移動させて，検査員が特定できないとしたコロニーがグルーピングされないようにする。
【００６０】
なお，このグルーピング結果は１つのシャーレのみで行うとは限らない。マイクロプレートには多数のウェルが配置されており，１つのシャーレのみでは全てのウェルを細菌で満たすことができない場合があり，１つの検体の細菌を複数のシャーレで培養する場合があるためである。この場合，複数のシャーレの画像を同時に表示して検査員が複数のシャーレの画像を確認して教示サンプルを選択できるようにするのが良い。あるいは，このうち，１つをＧＵＩ124に拡大表示しておき，入出力端末130のマウス，トラックボール，あるいはキーボード等の操作により，容易に画像を切り替えられるようにしておけるようにする。
【００６１】
本発明のシステムではそれぞれ異なる光学条件で撮影を行う。検査員は，複数の光学条件での画像を確認しなければ正確な細菌種を特定することができない。そこで，ＧＵＩ124には複数の光学条件の画像を表示できるようにしてある。検査員は入出力端末130のマウス，トラックボール，あるいはキーボードなどの操作により，任意の光学条件の画像をＧＵＩ124に表示できるようにし，あるいは，それぞれのシャーレの画像は一部のみ表示しておき，複数の光学条件の画像を同時に表示するようにしても良い。
【００６２】
このように本システムは，画像特徴量をもとにグルーピングを行い，その結果をGUI124を介して検査員に示し，その結果を検査員が修正できるようにすることで，同一の細菌コロニーを選択してMIC法を適用することが可能であるが，経験の浅い検査員では細菌コロニーの外観のみでは正確なグルーピングが行えない可能性がある。そこで， MIC法を適用する以外に，より詳細な解析を行う。この解析の手法としては，赤外分光法やラマン分光を行う。釣菌をする細菌コロニーは，各グルーピングしたコロニーの特徴量の中心部，および，各グループの境界部のコロニーを選択するのが良い。
【００６３】
ラマン分光や赤外分光は画像撮像時間が長くかかる。特に赤外分光は一般に水分を透過しないため，分析対象を乾燥させる必要がある。そこで，111で釣菌をしたコロニーに対して一度分析する台座にコロニーを入れ，コロニー種を同定する機能を設ける。
【００６４】
赤外分光法用いた場合について図１４で示す。1401は赤外光源，1402はハーフミラー，1403はミラー，1404はステージであり，ミラー1405の位置を変化させることができる。また，ステージ1404はステージコントローラ116と接続されており，システムによって位置を制御することが可能である。ミラー1403で反射された光はミラー1405の反射光とハーフミラー1402の位置で干渉し，波長により強弱の変化が発生する。1407は台座である。1408は釣菌した細菌コロニーであり，ハーフミラー1402で干渉した光は偏光フィルタ1406で偏光方向が整えられた後に細菌コロニー1408に照射される。偏光フィルタ1406を透過した光の偏光方向は一般にP偏光になるようにし、更に、照明する角度がブリュスター角近傍にすることで，細菌コロニー1408からの直接反射を少なくするよう制御する。また，この角度がブリュスター角でないとしても，検出側の偏光フィルタ1410と照明側の偏光フィルタ1406の偏光方向が直交するようにして直接反射光が抑制できるような設定にしておく。細菌コロニー1408で反射した光の偏光方向は細菌コロニー1408の組成により，最も内部で拡散した光を取り込める条件が変化するため，偏光フィルタ1410は回転させて偏光特性を調整することが可能にする。1409は集光レンズである。近赤外光の分析のみを行うためには石英の一般的なレンズを用いることができるが，中赤外も分析するためには，反射対物レンズを用いるのが良い。
1411は光検出手段である。光検出手段1411としては，微弱光を高ゲインで検出するフォトマルが適しており，望ましくは空間的な分布が判明できるようにフォトマルが二次元状に配置されたマルチアノードのフォトマルが適している。これ以外に検出器の前面にイメージインテンシファイヤーを配置して，後段で二次元CCDやCMOSセンサーを用いて検出する方法もあるし，さらには，通常のCCDセンサーやCMOSセンサーを配置しても良い。
【００６５】
検出される光信号は次のような式で表される。
Ｆ（Ｘ）＝∫Ｂ（λ）cos(2πλX)dλ ・・・(数５)
ここで，B(λ)が光の波長λ毎の検出光量になる。Ｘは1404のステージを制御することによって発生する1403で反射される経路と1405で反射される経路の光路差になる。検出されるF(Ｘ)は117に転送され，Ｘ毎のＦ（Ｘ）をもとに，フーリエ変換により，B(λ)が算出される。すなわち，
B(λ)＝∫Ｆ（Ｘ）cos(2πλX)dＸ ・・・(数６)
二次元状に配置されたマルチアノードのフォトマルやCCD等で検出した場合には，各画素に対応した位置でＢ（λ）が算出される。一般に赤外分光により光の反射スペクトルを求める場合には，水の吸収係数が大きく，水分を有するものは測定精度が大幅に低下してしまう。この測定を可能にするため，ひとつの方法としては，細菌コロニー1408は乾燥させた粉末状にしておくことである。
【００６６】
もうひとつの方法としては，水の吸収が小さい，近赤外の波長のみを分析する方法がある。近赤外のみ分析した場合には，吸収強度が小さくなるため，細菌の同定まで行うことは困難であるが，細菌の弁別には重要な情報を与える。近赤外を用いる場合には，細菌コロニー1408を乾燥させる必要がないため，台座1407に水分を保持できるような機能を持たせることにより，測定の後にマイクロプレート123に入れることで，そのままMIC法を行うことも可能である。
【００６７】
また，赤外を用いずに近赤外のみを用いた場合には細菌コロニーを乾燥させる必要が無いため，図１で示した光学系の114のシャーレ付近に図１４で説明した光学系を直接配置し，シャーレ上のコロニーに対して直接分析する機能を設けることも可能である。
【００６８】
図１５に光の波数と吸光度との対応を示す。吸光度は光検出手段1411の強度をそのまま用いても良いが，細菌コロニー1408が均一な状態でない場合には，検出光量をそのまま吸光度にすることは困難であるため，画素ごとに最大の光量を得た波数の光強度を基準としてその割合を吸光度に変換するのが望ましい。このようにして得られた波数と吸光度の対応を二次記憶125に既に登録してある波数と吸光度との対応と比較し，同一種の細菌を抽出する。また，同一シャーレ，あるいは，同一検体で取得した複数の細菌コロニーの吸光度を比較して細菌種を弁別する。
【００６９】
本実施例に拠れば、シャーレを上方から照明した画像と下方から透過して照明した画像とを用いることにより、細菌コロニーの画像をシャーレに記載または形成された文字または記号の画像から分離して検出することが可能になり、画像処理により細菌コロニー種の分類と正確な釣菌を行うことができるようになった。
【００７０】
さらに、上方からの照明を複数の仰角方向から行い、多方向からの照明画像を用いることにより、細菌コロニーの画像をより正確に抽出することが可能になり、更に照明方向の異なる複数の画像の特徴量を用いて画像を分類できるので、細菌コロニー種の分類をより正確に行うことが可能になった。これにより、人手を介することなく自動で細菌コロニー種の分類と正確な釣菌を行うことができるようになった。
【実施例２】
【００７１】
図１で示したシステム構成は，撮像手段として二次元状の画像を取得可能なカメラを用いているが，この方式では光学系が複雑になる傾向がある。これを回避するもうひとつの方式として，検出系をリニアセンサーにする方式がある。このシステムは，図１の構成で103のカメラをリニアセンサーにする方式がある。このときステージ116の制御パルスの整数倍のパルスをリニアセンサーの外部同期信号にすることにより，ステージの駆動方向に対して倍率変化のない画像を得ることができる。ただし，低角照明ユニット101，高角照明ユニット102，透過照明ユニット104の照明画像を独立に取得するには，照明を切り替えて，その都度ステージを動作させなければならず，スループット的に不利である。
【００７２】
これを解消するための実施例を図1６に示す。図１６において、図１で説明した構成と同じものには同じ番号を付してある。ここでは，図１６に示した構成において、図１のカメラ103の代わりにリニアセンサー1601，1602，1603を設えている。リニアセンサーの外部同期を，ステージ116の制御パルスの整数倍とすることで，倍率変動のない画像を得ることができる。リニアセンサー1601は透過照明ユニット104による透過照明画像，リニアセンサー1602は高角照明ユニット102による高角照明画像，リニアセンサー1603は低角照明ユニット101による低角照明画像を撮像する。
【符号の説明】
【００７３】
１０１・・・低角照明ユニット １０２・・・高角照明ユニット １０３・・・カメラ １０４・・・透過照明ユニット １０５・・・遮光板 １０６・・・台座 １０７・・・シャーレ １０８・・シャーレの搬送手段 １０９・・・：スタッカー １１０・・・シャーレの搬送手段 １１１・・・釣菌針 １１２・・・Zステージ １１３・・・XYステージ １１４・・・シャーレ １１５・・・光制御ユニット １１６・・・ステージコントロールユニット １１７・・・画像入力手段 １１８・・・グルーピング手段 １１９・・・画像処理手段 １２０・・・透過照明ユニット １２１・・・上方照明ユニット １２２・・・カメラ １２３・・・マイクロプレート １２４・・・：ＧＵＩ １２５・・・二次記憶装置 １３０・・・入出力手段 １４０・・・全体制御部。
【特許請求の範囲】
【請求項１】
光学的に透明な第１の容器に収納された培養培地上に培養した細菌コロニーを上方から照明する上方照明手段と、
照明光を前記光学的に透明な容器と前記培養培地を透過させて前記細菌コロニーを照明する透過照明手段と、
前記上方照明手段及び前記透過照明手段で順次照明された前記細菌コロニーを撮像する撮像手段と、
該撮像手段で撮像された前記上方照明手段で照明された前記細菌コロニーの画像と前記透過照明手段で照明された前記細菌コロニーの画像とを処理して釣菌する細菌コロニーの画像を抽出する画像処理手段と、
該画像処理手段で抽出された細菌コロニーを前記培養培地から釣菌して第２の容器に移し替える釣菌手段と
を備えたことを特徴とする細菌コロニーの釣菌装置。
【請求項２】
表示画面を有する表示手段を更に備え、前記画像処理手段において前記上方照明手段で照明された前記細菌コロニーの画像と前記透過照明手段で照明された前記細菌コロニーの画像とを処理して前記細菌コロニーを分類した結果を前記表示手段の画面上に表示することを特徴とする請求項１記載の細菌コロニーの釣菌装置。
【請求項３】
前記画像表示手段は、前記細菌コロニーを分類した結果を表示した画面上で修正された前記分類の結果を前記画像処理手段に入力することを特徴とする請求項２記載の細菌コロニーの釣菌装置。
【請求項４】
前記画像処理手段は、前記細菌コロニーの画像を前記光学的に透明な容器に記載または形成された文字または記号の画像から分離して検出することを特徴とする請求項１記載の細菌コロニーの釣菌装置。
【請求項５】
前記上方照明手段は、前記細菌コロニーを高角度方向から照明する高角度照明部と、前記細菌コロニーを低角度方向から照明する低角度照明部とを有することを特徴とする請求項１記載の細菌コロニーの釣菌装置。
【請求項６】
釣菌したコロニーに対して赤外分光，あるいはラマン分光を行う解析ユニット更に備え，釣菌した細菌コロニーのグルーピング結果を再確認可能にしたことを特徴とする請求項１記載の細菌コロニーの釣菌装置。
【請求項７】
前記釣菌手段は前記画像処理手段で抽出された細菌コロニーを撮像するカメラを有し、該カメラで撮像した前記細菌コロニーの画像を前記撮像手段で撮像された前記細菌コロニーの画像と比較して釣菌すべき細菌コロニーを特定することを特徴とする請求項１記載の細菌コロニーの釣菌装置。
【請求項８】
光学的に透明な第１の容器に収納された培養培地上に培養した細菌コロニーを上方から照明し前記細菌コロニーを撮像して前記細菌コロニーの上方撮像画像を得、
照明光を前記光学的に透明な容器と前記培養培地を透過させて前記細菌コロニーを照明し前記細菌コロニーを撮像して前記細菌コロニーの透過光画像を得、
前記上方撮像画像及び前記透過光画像とを処理して釣菌する細菌コロニーの画像を抽出し、
該抽出した画像に対応する細菌コロニーを前記培養培地から釣菌して第２の容器に移し替える
ことを特徴とする細菌コロニーの釣菌方法。
【請求項９】
前記細菌コロニーの前記上方撮像画像と前記透過光画像とを処理して前記細菌コロニーを分類した結果を画面上に表示することを特徴とする請求項８記載の細菌コロニーの釣菌方法。
【請求項１０】
前記細菌コロニーを分類した結果が表示された画面上で前記分類の結果を修正することを特徴とする請求項９記載の細菌コロニーの釣菌方法。
【請求項１１】
前記釣菌する細菌コロニーの画像を抽出するステップにおいて、前記細菌コロニーの画像を前記光学的に透明な容器に記載または形成された文字または記号の画像から分離して検出することを特徴とする請求項８記載の細菌コロニーの釣菌方法。
【請求項１２】
前記細菌コロニーの上方撮像画像を得ることが、前記細菌コロニーを高角度方向から照明して撮像した高角度照明画像と、前記細菌コロニーを低角度方向から照明して撮像した低角度照明画像とを得ることであることを特徴とする請求項８記載の細菌コロニーの釣菌方法。
【請求項１３】
前記釣菌した細菌コロニーに対して赤外分光，あるいはラマン分光を行って，前記釣菌した細菌コロニーの分類結果を再確認することを特徴とする請求項８記載の細菌コロニーの釣菌方法。
【請求項１４】
前記釣菌して第２の容器に移し替える細菌コロニーをカメラで撮像して該細菌コロニーの画像を得、該得た画像を前記上方撮像画像及び前記透過光画像とを処理して抽出した釣菌する細菌コロニーの画像と比較して釣菌すべき細菌コロニーを特定することを特徴とする請求項８記載の細菌コロニーの釣菌方法。
【請求項１】
光学的に透明な第１の容器に収納された培養培地上に培養した細菌コロニーを上方から照明する上方照明手段と、
照明光を前記光学的に透明な容器と前記培養培地を透過させて前記細菌コロニーを照明する透過照明手段と、
前記上方照明手段及び前記透過照明手段で順次照明された前記細菌コロニーを撮像する撮像手段と、
該撮像手段で撮像された前記上方照明手段で照明された前記細菌コロニーの画像と前記透過照明手段で照明された前記細菌コロニーの画像とを処理して釣菌する細菌コロニーの画像を抽出する画像処理手段と、
該画像処理手段で抽出された細菌コロニーを前記培養培地から釣菌して第２の容器に移し替える釣菌手段と
を備えたことを特徴とする細菌コロニーの釣菌装置。
【請求項２】
表示画面を有する表示手段を更に備え、前記画像処理手段において前記上方照明手段で照明された前記細菌コロニーの画像と前記透過照明手段で照明された前記細菌コロニーの画像とを処理して前記細菌コロニーを分類した結果を前記表示手段の画面上に表示することを特徴とする請求項１記載の細菌コロニーの釣菌装置。
【請求項３】
前記画像表示手段は、前記細菌コロニーを分類した結果を表示した画面上で修正された前記分類の結果を前記画像処理手段に入力することを特徴とする請求項２記載の細菌コロニーの釣菌装置。
【請求項４】
前記画像処理手段は、前記細菌コロニーの画像を前記光学的に透明な容器に記載または形成された文字または記号の画像から分離して検出することを特徴とする請求項１記載の細菌コロニーの釣菌装置。
【請求項５】
前記上方照明手段は、前記細菌コロニーを高角度方向から照明する高角度照明部と、前記細菌コロニーを低角度方向から照明する低角度照明部とを有することを特徴とする請求項１記載の細菌コロニーの釣菌装置。
【請求項６】
釣菌したコロニーに対して赤外分光，あるいはラマン分光を行う解析ユニット更に備え，釣菌した細菌コロニーのグルーピング結果を再確認可能にしたことを特徴とする請求項１記載の細菌コロニーの釣菌装置。
【請求項７】
前記釣菌手段は前記画像処理手段で抽出された細菌コロニーを撮像するカメラを有し、該カメラで撮像した前記細菌コロニーの画像を前記撮像手段で撮像された前記細菌コロニーの画像と比較して釣菌すべき細菌コロニーを特定することを特徴とする請求項１記載の細菌コロニーの釣菌装置。
【請求項８】
光学的に透明な第１の容器に収納された培養培地上に培養した細菌コロニーを上方から照明し前記細菌コロニーを撮像して前記細菌コロニーの上方撮像画像を得、
照明光を前記光学的に透明な容器と前記培養培地を透過させて前記細菌コロニーを照明し前記細菌コロニーを撮像して前記細菌コロニーの透過光画像を得、
前記上方撮像画像及び前記透過光画像とを処理して釣菌する細菌コロニーの画像を抽出し、
該抽出した画像に対応する細菌コロニーを前記培養培地から釣菌して第２の容器に移し替える
ことを特徴とする細菌コロニーの釣菌方法。
【請求項９】
前記細菌コロニーの前記上方撮像画像と前記透過光画像とを処理して前記細菌コロニーを分類した結果を画面上に表示することを特徴とする請求項８記載の細菌コロニーの釣菌方法。
【請求項１０】
前記細菌コロニーを分類した結果が表示された画面上で前記分類の結果を修正することを特徴とする請求項９記載の細菌コロニーの釣菌方法。
【請求項１１】
前記釣菌する細菌コロニーの画像を抽出するステップにおいて、前記細菌コロニーの画像を前記光学的に透明な容器に記載または形成された文字または記号の画像から分離して検出することを特徴とする請求項８記載の細菌コロニーの釣菌方法。
【請求項１２】
前記細菌コロニーの上方撮像画像を得ることが、前記細菌コロニーを高角度方向から照明して撮像した高角度照明画像と、前記細菌コロニーを低角度方向から照明して撮像した低角度照明画像とを得ることであることを特徴とする請求項８記載の細菌コロニーの釣菌方法。
【請求項１３】
前記釣菌した細菌コロニーに対して赤外分光，あるいはラマン分光を行って，前記釣菌した細菌コロニーの分類結果を再確認することを特徴とする請求項８記載の細菌コロニーの釣菌方法。
【請求項１４】
前記釣菌して第２の容器に移し替える細菌コロニーをカメラで撮像して該細菌コロニーの画像を得、該得た画像を前記上方撮像画像及び前記透過光画像とを処理して抽出した釣菌する細菌コロニーの画像と比較して釣菌すべき細菌コロニーを特定することを特徴とする請求項８記載の細菌コロニーの釣菌方法。
【図１】
【図２Ａ】
【図２Ｂ】
【図３Ａ】
【図３Ｂ】
【図４Ａ】
【図４Ｂ】
【図５Ａ】
【図５Ｂ】
【図６】
【図７】
【図８Ａ】
【図８Ｂ】
【図８Ｃ】
【図９】
【図１０】
【図１１】
【図１２】
【図１３Ａ】
【図１３Ｂ】
【図１４】
【図１５】
【図１６】
【図１７】
【図２Ａ】
【図２Ｂ】
【図３Ａ】
【図３Ｂ】
【図４Ａ】
【図４Ｂ】
【図５Ａ】
【図５Ｂ】
【図６】
【図７】
【図８Ａ】
【図８Ｂ】
【図８Ｃ】
【図９】
【図１０】
【図１１】
【図１２】
【図１３Ａ】
【図１３Ｂ】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１１−１０３７８６（Ｐ２０１１−１０３７８６Ａ）
【公開日】平成２３年６月２日（２０１１．６．２）
【国際特許分類】
【出願番号】特願２００９−２５９９７４（Ｐ２００９−２５９９７４）
【出願日】平成２１年１１月１３日（２００９．１１．１３）
【出願人】（５０１３８７８３９）株式会社日立ハイテクノロジーズ (4,325)
【Ｆターム（参考）】
【公開日】平成２３年６月２日（２０１１．６．２）
【国際特許分類】
【出願日】平成２１年１１月１３日（２００９．１１．１３）
【出願人】（５０１３８７８３９）株式会社日立ハイテクノロジーズ (4,325)
【Ｆターム（参考）】
[ Back to top ]