ボケの抽出方法、位置決め方法及びマイクロマニピュレーションシステム
【課題】形状に制約のないエンドエフェクタを移動することで、花粉に対してエンドエフェクタＥを正確に位置決めできる位置決め方法を提供することを目的とする。
【解決手段】花粉Ｐと、花粉Ｐに対して奥行き方向に移動可能なエンドエフェクタＥとを含む元画像を撮影する手順（ａ）と、異なる二つの閾値を元画像に適用して得られる二つの二値化画像に基づき差分画像を作成する手順（ｂ）と、差分画像における、花粉Ｐについての差分の領域の厚さをＴｐ１、エンドエフェクタＥについての差分の領域の厚さをＴｅ１とすると、厚さＴｐ１と厚さＴｅ１の比率であるＲｔと、エンドエフェクタＥの奥行き方向の移動距離Ｄｚとの関係を示す下記近似式に基づいてエンドエフェクタＥを第１の被処理体に向けて移動させる手順（ｅ）と、を備える位置決め方法。
近似式：Ｄｚ＝ａＲｔｂ＋ｃ
【解決手段】花粉Ｐと、花粉Ｐに対して奥行き方向に移動可能なエンドエフェクタＥとを含む元画像を撮影する手順（ａ）と、異なる二つの閾値を元画像に適用して得られる二つの二値化画像に基づき差分画像を作成する手順（ｂ）と、差分画像における、花粉Ｐについての差分の領域の厚さをＴｐ１、エンドエフェクタＥについての差分の領域の厚さをＴｅ１とすると、厚さＴｐ１と厚さＴｅ１の比率であるＲｔと、エンドエフェクタＥの奥行き方向の移動距離Ｄｚとの関係を示す下記近似式に基づいてエンドエフェクタＥを第１の被処理体に向けて移動させる手順（ｅ）と、を備える位置決め方法。
近似式：Ｄｚ＝ａＲｔｂ＋ｃ
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、離れた位置から処理体を奥行き方向に移動させて被処理体に接触させるのに適した位置決め方法に関するものである。
【背景技術】
【０００２】
近年の植生調査で、自然では起こらないと考えられていた在来植物と外来植物の自然交雑が起こり、雑種が広まっている。そこで、在来植物、外来植物、そして雑種を区別するには専門機器を用いたＤＮＡ分析を行うか、専門家による花粉形状の検査に頼らなければならない。しかし、ＤＮＡ分析には時間と多額な費用がかかってしまうという問題がある。また花粉形状の検査は、経験や熟練度に依存し、さらに長時間の検査によって身体的、精神的疲労が伴い信頼性に欠ける。このような事から、熟練度や経験に依存せず、観測者の疲労なしに誰にでも簡単に花粉を判別できる手法が求められている。そして専門的な知識を必要とせず簡単に花粉の判別ができれば植生調査における在来植物、外来植物、雑種の判別の効率化に繋がる。花粉への注目は植生調査だけに限らず、品質向上のための技術である交雑育種法にも向けられている。しかし、数十μｍオーダーの花粉を顕微鏡の視野内において人の手により操作することは非常に難しく負担となる。このような事から、μｍオーダーでの制御ができるマイクロマニピュレータが必要となる。マイクロマニピュレータに、先端径が数μｍのエンドエフェクタと称させる微小針を装着することで、人間では困難な花粉操作が実現できる。また、自動でマイクロマニピュレータの制御ができれば、人間にかかる花粉操作の負担を減らす事ができる。
【０００３】
マイクロマニピュレータを用いた操作により人間の負担を軽減できるが、特に、花粉及びエンドエフェクタがともに微小であることから、両者間の奥行き方向の距離を把握するのが容易でない。したがって、エンドエフェクタを花粉に向けて移動させてその表面に接触させようとしても、接触に時間がかかりすぎることがあり、又は、必要以上にエンドエフェクタを移動させてしまい花粉を破損させることもある。
【０００４】
特許文献１は、顕微鏡の視野内において被検体に対してエンドエフェクタを用いて微細操作を行うマイクロマニピュレーションシステムにおいて、エンドエフェクタの先端部が対物レンズの焦点に合う位置を基準位置として、微細操作を開始するエンドエフェクタの位置を決定し、被検体の対物レンズに対する相対的な移動に応じて、被検体に対物レンズの焦点の合う位置を示す合焦位置を検出し、この検出結果に基づいて被検体を合焦位置に移動させ、かつ、エンドエフェクタを微細操作開始位置に移動させた状態で、微細操作処理を行うことを提案している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−２５８４１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１によれば、高さ方向にばらつきのある複数個の被検体についても一括して自動でのマニピュレータ操作が可能である。しかし、特許文献１は、その図３、図５にも示されるように、エンドエフェクタの先端部が標本ステージに対して平行であることが必要であり、エンドエフェクタの形状に制約がある。また、特許文献１は、エンドエフェクタに加えて、被検体を載せるステージを動かすことを前提としており、装置及び制御が複雑となる。
そこで本発明は、形状に制約のないエンドエフェクタ等の処理体を、花粉等の被処理体に対して正確に位置決めできる方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
特許文献１にも記載されているが、顕微鏡画像での被処理体及び処理体の焦点ボケの具合から、奥行き方向の移動量を判断して位置決めを行うことは知られている。しかし、人間の感覚でこの操作を行うには、高度な熟練が必要であった。本発明者等は、このボケを画像処理することにより奥行き方向の移動量を特定して位置決めすることに着目し、以下の知見を得た。
【０００８】
エンドエフェクタで花粉を操作する場合を想定する。
花粉とエンドエフェクタについて撮影された画像において、花粉とエンドエフェクタの像が鮮明で両者ともに焦点が合っているか被写界深度の範囲内（以下、両者を含めて焦点が合っている、と表現する）であれば、花粉、エンドエフェクタそれぞれの奥行き方向の位置が一致していると言える。一方、焦点が合っていないと各像はボケる。そして、ボケの程度は、焦点距離からのずれ量に応じて変動する。したがって、両者のボケの程度を合わせれば、花粉とエンドエフェクタの奥行き方向の位置を合わせることができる。
【０００９】
以上の位置決め方法を実行するには撮影して取得された画像からボケを抽出することが重要であり、以下に説明するように、本発明者等は取得された画像から二つの二値化画像を作成し、さらに、それらの差分画像を作成することでボケを抽出できた。
図１において、（ａ）は取得した元画像である。この画像は、花粉Ｐには焦点が合っているのに対して、エンドエフェクタＥには焦点がずれている。
元画像から二つの明度の異なる閾値を用いて、図１（ｂ）、（ｃ）に示すように、二つの二値化画像を得る。
作成した二つの二値化画像（ｂ）、（ｃ）の各画素を比較して差分を求め、その値から一つの差分画像（ｄ）を得る。この差分画像には、花粉Ｐ及びエンドエフェクタＥの各々についてボケに相当する差分の領域が白抜きで示されている。差分画像におけるこの白抜きの領域を、本願明細書ではボケと言い、その厚さをボケ厚さと言うことがある。
【００１０】
花粉Ｐのボケ厚さＴｐとエンドエフェクタＥのボケ厚さＴｅを比較しながら、エンドエフェクタＥのボケ厚さＴｅが、花粉Ｐのボケ厚さＴｐに近づくようにエンドエフェクタＥを奥行き方向に移動させる。この移動操作を、花粉Ｐの厚さＴｐとエンドエフェクタＥの厚さＴｅが一致するまで行う。そうすると、花粉ＰとエンドエフェクタＥの奥行き方向の位置が一致することになる。花粉ＰとエンドエフェクタＥが水平方向にずれていれば、次いで、ずれ量に相当する距離だけエンドエフェクタＥを平行に移動させることにより、エンドエフェクタＥを花粉Ｐへ接触させることができる。
【００１１】
本発明は以上の検討結果に基づくものであり、新規なボケの抽出方法を提供する。この位置決め方法は、被処理体と、被処理体に対して接近又は離間が可能な処理体とを含む元画像を、接近又は離間する方向から撮影する手順（ａ）と、異なる二つの閾値を元画像に適用して得られる二つの二値化画像に基づき差分画像を作成する手順（ｂ）と、差分画像における、被処理体についての差分の領域、及び、処理体についての差分の領域を特定する手順（ｃ）と、を備える。特定される差分の領域がボケ部分に相当するので、この新規な方法によりボケを抽出することで、本発明が目的とする位置決めを実現できる。
なお、花粉が被処理体に該当し、エンドエフェクタが処理体に該当するが、本発明の被処理体、エンドエフェクタがこれらに限定されないことは言うまでもない。
【００１２】
本発明は、以上の手順（ａ）から手順（ｃ）の後に、処理体を被処理体に向けて移動させることで位置決めを行うことができるが、その具体的な方法には第１及び第２の二つの形態がある。
第１の形態は、被処理体についての差分の領域の厚さ（ボケ厚さ）をＴｐ、処理体の差分の領域の厚さ（ボケ厚さ）をＴｅとすると、ボケ厚さＴｐとボケ厚さＴｅが一致するように、処理体を被処理体に向けて移動させる（手順（ｄ））。
【００１３】
第２の形態は、第１の被処理体のボケ厚さＴｐ１と処理体のボケ厚さＴｅ１の比率であるＲｔと、処理体の奥行き方向の移動距離Ｄｚとの関係を示す下記近似式に基づいて処理体を被処理体に向けて移動させる（手順（ｅ））。
近似式：Ｄｚ＝ａＲｔｂ＋ｃ
（Ｒｔ：Ｔｐ１／Ｔｅ１，Ｄｚ：処理体の奥行き方向の移動距離，ａ，ｂ：定数、ｃ：補正項）
【００１４】
以上の本発明の近似式を求めるに二つの形態がある。
一つ目は、上述した位置決め方法と同様の操作を先行して行うことで、上記本発明の近似式を求めるものである。すなわち、上記位置決めを行うのに先立って、第２の被処理体と、第２の被処理体に対して接近又は離間が可能な処理体とを含む第２の元画像を、前記接近又は離間する方向から撮影する手順（ｆ）と、異なる二つの閾値を第２の元画像に適用して得られる二つの二値化画像に基づき第２の差分画像を作成する手順（ｇ）と、第２の差分画像における、第２の被処理体についての差分の領域の厚さＴｐ２と前記処理体についての差分の領域の厚さＴｅ２が一致するように、処理体を第２の被処理体に向けて移動させる手順（ｈ）と、手順（ｈ）の移動過程における、第２の被処理体の厚さＴｐ２の推移と処理体の厚さＴｅ２の推移に基づいて近似式を求める手順（ｉ）と、を行う。
一つ目の形態は、被処理体に対して実際に処理体を操作させることで本発明の近似式を求めるので、作成される近似式の精度が高い。
【００１５】
二つ目は、既知の距離を隔てて配置される複数の参照体（リファレンス）を撮影したときに生ずるボケの幅と、当該距離とから、以下の手順で本発明の近似式を求めるものである。
すなわち、二つ目の形態は、第１の被処理体と処理体とを含む元画像を撮影する領域内で、既知の距離を隔てて撮影の方向に配置される、第１及び第２の少なくとも二つの参照体を撮影して参照体画像を作成する手順（ｊ）と、異なる二つの閾値を参照体画像に適用して作成される二つの二値化画像に基づき第３の差分画像を作成する手順（ｋ）と、第３の差分画像における、第１の参照体についての差分の領域の厚さＴｒ１及び第２の参照体についての差分の領域の厚さＴｒ２と、前記既知の距離とに基づいて近似式を求める手順（ｌ）と、を行う。
二つ目の形態は、被処理体に対して実際に処理体を操作させる必要がないので、一つ目の形態に比べて、本発明の近似式を迅速に作成することができる。
【００１６】
以上の参照体は、撮影の範囲内にあればどのようにして設けるかは問われないが、処理体に一体的に設けることが好ましい。処理体を撮影範囲内に配置することで、参照体も自動的に撮影範囲内に配置できると便利である。
【００１７】
本発明は、以上の位置決め方法を利用したマイクロマニピュレーションシステムを提供する。このマイクロマニピュレーションシステムは、顕微鏡の視野内でエンドエフェクタにより被処理体を操作するものであり、エンドエフェクタを顕微鏡の光軸方向に移動させる駆動部と、被処理体と、被処理体に対して光軸方向に移動が可能なエンドエフェクタとを含む元画像を、光軸方向から撮影する撮影部と、異なる二つの閾値を元画像に適用して作成される二つの二値化画像に基づいて差分画像を作成する画像作成部と、差分画像における、被処理体についての差分の領域の厚さＴｐとエンドエフェクタについての差分の領域の厚さＴｅとが一致するように、エンドエフェクタを被処理体に向けて移動するように駆動部に指令する指令部と、を備えることを特徴とする。
【００１８】
本発明の近似式を適用するマイクロマニピュレーションシステムは、エンドエフェクタを顕微鏡の光軸方向に移動させる駆動部と、第１の被処理体と、第１の被処理体に対して光軸方向に移動が可能なエンドエフェクタとを含む第１の元画像を、光軸方向から撮影する撮影部と、異なる二つの閾値を第１の元画像に適用して作成される二つの二値化画像に基づいて第１の差分画像を作成する画像作成部と、第１の差分画像における、第１の被処理体についての差分の領域の厚さＴｐ１と、エンドエフェクタについての差分の領域の厚さＴｅ１の比率であるＲｔと、エンドエフェクタの奥行き方向の移動距離Ｄｚとの関係を示す下記近似式に基づいてエンドエフェクタを第１の被処理体に向けて移動するように駆動部に指令する指令部と、を備えることもできる。
近似式：Ｄｚ＝ａＲｔｂ＋ｃ
（Ｒｔ：Ｔｐ１／Ｔｅ１，Ｄｚ：エンドエフェクタの奥行き方向の移動距離，ａ，ｂ：定数、ｃ：補正項）
【００１９】
本発明の近似式を利用するマイクロマニピュレーションシステムは、本発明の近似式を求めるための要素を備えている。
つまり、前述した一つ目の形態に対応するマイクロマニピュレーションシステムは、第２の被処理体とエンドエフェクタとを含む第２の元画像を、光軸方向から撮影する撮影部と、異なる二つの閾値を第２の元画像に適用して作成される二つの二値化画像に基づいて第２の差分画像を作成する画像作成部と、第２の差分画像における、第２の被処理体についての差分の領域の厚さＴｐ２とエンドエフェクタについての差分の領域の厚さＴｅ２が一致するように、エンドエフェクタを第２の被処理体に向けて移動させる指令部と、エンドエフェクタの移動過程における、厚さＴｐ２の推移と厚さＴｅ２の推移に基づいて近似式を生成する式生成部と、を備える。
【００２０】
また、前述した二つ目の形態に対応するマイクロマニピュレーションシステムは、第１の被処理体とエンドエフェクタとを含む元画像を撮影する領域内で、既知の距離を隔てて撮影の方向に配置される、第１及び第２の少なくとも二つの参照体画像を撮影する撮影部と、異なる二つの閾値を参照体画像に適用して作成される二つの二値化画像に基づき第３の差分画像を作成する画像作成部と、第３の差分画像における、第１の参照体についての差分の領域の厚さＴｒ１及び第２の参照体についての差分の領域の厚さＴｒ２と、既知の距離とに基づいて近似式を生成する式生成部と、を備える。
【発明の効果】
【００２１】
本発明によれば、エンドエフェクタ、つまり処理体の形状を問わずにボケ幅を抽出できるので、形状に制約のないエンドエフェクタ等の処理体を用いることができるとともに、この処理体のみを動かすことで被処理体に対して位置決めを行うことができる。
【図面の簡単な説明】
【００２２】
【図１】本発明において、花粉とエンドエフェクタを含む元画像から、ボケを抽出するまでの手順を示す図である。
【図２】本実施の形態におけるマイクロマニピュレーションシステムの構成を示すブロック図である。
【図３】第１実施形態のマイクロマニピュレーションシステムにおいて、花粉に対してエンドエフェクタを接触させるまでの手順を示すフローチャートである。
【図４】花粉Ｐに焦点を合わせる方法を説明する図である。
【図５】花粉に対してデジタルカメラの焦点を接近させながら取得した画像に生じた花粉のボケの厚さ、ボケの面積の変動を示すグラフであり、（ａ）がボケの厚さ、（ｂ）がボケの面積を示す。
【図６】図５の６ステップ目（（ａ）、（ｂ））及び３４ステップ目（（ｃ）、（ｄ））の元画像及び差分画像を示す。
【図７】（ａ）はエンドエフェクタＥのｚ軸方向の位置とボケ厚さＴｐ、Ｔｅの関係を示し、（ｂ）はエンドエフェクタＥのｚ軸方向の位置とボケ厚さＴｐに対するエンドエフェクタＥのボケ厚さＴｅの比率Ｒｔを示す。
【図８】図７における、１ステップ目の元画像を（ａ）、１ステップ目の元画像から作成した差分画像を（ｂ）、２１ステップ目の元画像を（ｃ）、２１ステップ目の元画像から作成した差分画像を（ｄ）に示す。
【図９】第２実施形態のマイクロマニピュレーションシステムにおいて、近似式を用いて花粉に対してエンドエフェクタを接触させるまでの手順を示すフローチャートである。
【図１０】第２実施形態において求められた近似式と実測値を対比して示すグラフである。
【図１１】第２実施形態において、粒径の異なる花粉に対してエンドエフェクタを容易に接触できることを説明する図である。
【図１２】第３実施形態におけるエンドエフェクタを示す図である。
【発明を実施するための形態】
【００２３】
＜第１実施形態＞
以下、実施の形態に基づいて本発明を具体的に説明する。
第１実施形態に係るマイクロマニピュレーションシステム１は、図２に示すように、エンドエフェクタＥを備えるマイクロマニピュレータ３（駆動部）と、エンドエフェクタＥの駆動を指令するコントローラ（司令部）５とを備えている。エンドエフェクタＥは、マイクロマニピュレータ３に備えられたアクチュエータ（図示省略）により、ｘ軸，ｙ軸及びｚ軸の３軸方向への駆動ができる。なおマイクロマニピュレーションシステム１は、マイクロマニピュレータ３を２台備えている。
マイクロマニピュレーションシステム１は、顕微鏡７を備えている。光の入射方向（光軸方向）と反対側から被処理体である花粉Ｐを撮影する倒立型顕微鏡は、取得画像に対する照り返しの影響が少ないので、花粉ＰとエンドエフェクタＥのボケ抽出が容易である。そのため、本実施形態は、倒立型の顕微鏡７を用いる。ただし、このことが正立型の顕微鏡を本発明に用いることを制限するものではない。
顕微鏡７の光軸はｚ軸と方向が一致しており、この方向がマイクロマニピュレーションシステム１における奥行き方向となる。
【００２４】
マイクロマニピュレーションシステム１は、顕微鏡７の上面に設置されるスライドガラス９上に載せられる花粉Ｐ及びエンドエフェクタＥを光軸方向から撮影するデジタルカメラ（撮影部）１１を備える。デジタルカメラ１１は、固体撮像素子として例えば、ＣＣＤイメージセンサ （Charge Coupled Device Image Sensor) を備えるものを用いるが、本発明はこれに限定されるものではない。
【００２５】
マイクロマニピュレーションシステム１は、マイクロマニピュレータ３、コントローラ５、顕微鏡７及びデジタルカメラ１１の動作を制御するパーソナルコンピュータ（司令部，以下、ＰＣ）１３を備える。つまりＰＣ１３は、コントローラ５に対して、マイクロマニピュレータ３のエンドエフェクタＥが移動すべき方向及び距離に関するデータを送る。また、表示ディスプレイ１５を備えるＰＣ１３は、顕微鏡７を介してデジタルカメラ１１で花粉Ｐ及びエンドエフェクタＥを撮影することを指令し、撮影された画像を処理し、また表示ディスプレイ１５に表示させる。より具体的な処理、操作手順を、図３のフローチャート、さらには前述の図１も参照して説明する。
【００２６】
花粉Ｐを載せたスライドガラス９を顕微鏡７の所定位置に設置した後に、ボケ抽出、エンドエフェクタＥの位置決め動作の処理手順が開始される。
はじめに、ＰＣ１３からの指令により、デジタルカメラ１１は、花粉ＰとエンドエフェクタＥの画像を撮影する。ＰＣ１３は撮影された画像（元画像）を取得する（図３ Ｓ１０１）。図１（ａ）に元画像の例を示すが、デジタルカメラ１１の焦点が花粉Ｐには合っているが、エンドエフェクタＥには合っていないため、エンドエフェクタＥに対応する部分に大きなボケが生じている。花粉Ｐにデジタルカメラ１１の焦点を合わせる方法については後述する。
【００２７】
ＰＣ１３は、取得した元画像を解析し、画像の明度の差から、二つの異なる閾値を決定する（図３ Ｓ１０３）。この二つの閾値の決定の仕方は任意であり、予め設定しておくこともできる。
ＰＣ１３は、元画像に対して二つの閾値を適用することにより、二つの二値化画像を作成する（図３ Ｓ１０５）。
図１（ｂ）、（ｃ）に、図１（ａ）から作成した二つの二値化画像の例を示している。図１（ｂ）に示す二値化画像はボケの外周まで含んでいるためエンドエフェクタＥに対応する白抜きの領域が大きい。これに対して図１（ｃ）は、エンドエフェクタＥそのものを示している画像とみなされ、ボケをほとんど含んでいないから、白抜きの領域が小さい。二つの閾値は、図１（ｂ）、（ｃ）の例のように、一方の二値化画像はボケを多く含み、他方の二値化画像はボケが微小になるように設定することが肝要である。
【００２８】
ＰＣ１３は、次に、二つの二値化画像から差分画像を作成する（図３ Ｓ１０７）。二つの二値化画像は、一方の二値化画像はボケを多く含み、他方の二値化画像はボケが微小に作成されたものであるから、その差分画像にはボケに対応する部分が抽出される。
図１（ｄ）に二つの二値化画像から作成された差分画像の例を示すが、エンドエフェクタＥに対応する白抜きの部分、つまり二つの二値化画像の差分の領域が、元画像のボケを示している。また、図１（ｄ）において、花粉Ｐの周囲にも白抜きで示される差分の領域が薄く現れている。
【００２９】
ＰＣ１３は、次に、花粉Ｐの周囲の差分の領域（以下、ボケの領域）の厚さＴｐとエンドエフェクタＥのボケの領域の厚さＴｅを比較する（図３ Ｓ１０９）。前述したように、厚さＴｐに厚さＴｅが一致すれば、花粉ＰとエンドエフェクタＥはともにデジタルカメラ１１の焦点に合うことになる。そうすると、エンドエフェクタＥは花粉Ｐとｚ軸方向（奥行き方向）の位置が一致する。したがって、厚さＴｐに厚さＴｅが一致すれば、ＰＣ１３はｚ軸方向の位置合わせの処理を終了して、コントローラ５にエンドエフェクタＥをｘ軸方向、ｙ軸方向に移動させることを指令し、花粉ＰにエンドエフェクタＥを接触させる（図３ Ｓ１１３）。厚さＴｐに厚さＴｅが一致しなければ、エンドエフェクタＥをｚ軸方向に移動させてから（図３ Ｓ１０９，Ｓ１１５）、図３のＳ１０１〜Ｓ１１１の処理を、厚さＴｐに厚さＴｅが一致するまで繰り返す。
なお、エンドエフェクタＥのボケ厚さＴｅを特定する場合、マイクロマニピュレーションシステム１はエンドエフェクタＥの先端を花粉Ｐに接触させることが目的であることから、先端部分の厚さＴｅを採用することが好ましい。花粉Ｐの厚さＴｐは、厚さがほぼ均一なので、花粉Ｐの周方向のいずれの部分で特定してもよい。
【００３０】
以上の操作を行う場合、当初よりデジタルカメラ１１の焦点に花粉Ｐが合っていることが好ましい。花粉Ｐをマイクロマニピュレータ３で操作するのは、花粉Ｐの性情を観察し、選択することを目的とするからである。
花粉Ｐに焦点が合っているか否かの確認にも、ボケ厚さＴｐを用いることができる。焦点が合っていなければ、図４（ａ）、（ｂ）に示すように、ボケ厚さＴｐが大きくなる。そこから花粉Ｐが焦点に近づいていくと、図４（ｃ）、（ｄ）に示すように、ボケ厚さＴｐは小さくなる。そして、焦点を過ぎてしまうと、ボケ厚さＴｐはまた大きくなる。このことから、花粉Ｔｐに対してデジタルカメラ１１の焦点を変化させながら花粉Ｐの画像を取得し、ボケ厚さＴｐが最小になる点を見出すことにより花粉Ｐに焦点を合わせることができる。
なお、ここでは好ましい形態として、当初に焦点が合っている花粉Ｐ（被処理体）について説明したが、本発明の有用性はこれに限定されるものではない。
【００３１】
以上説明したマイクロマニピュレーションシステム１を用い、粒径が３０μｍ程度の花粉Ｐに対してデジタルカメラ１１の焦点を１ステップ当たり５μｍずつ接近させながら１ステップ毎に画像を取得した。取得した画像に生じた花粉Ｐのボケの厚さ，ボケの面積の変化量を画素（Pixel）として求めた。その結果を、図５（ａ）、（ｂ）に示す。図５（ａ）、（ｂ）より、ボケの厚さ、ボケの面積が最小になるステップ（３４ステップ目）を特定した。この３４ステップ目にける元画像、差分画像を図６（ｃ）、（ｄ）に、６ステップ目の元画像、差分画像を図６（ａ）、（ｂ）に示す。
図６より、ボケの厚さ、ボケの面積が最小になる３４ステップ目における元画像が鮮明であり、焦点が合っていることが確認された。
【００３２】
次に、エンドエフェクタＥを１ステップ当たり５μｍずつｚ軸方向に移動させて焦点の合っている花粉Ｐに接近させていきながら、花粉Ｐのボケ厚さＴｐとエンドエフェクタＥのボケ厚さＴｅが一致する位置（画素で特定）を求めた。さらに、ステップ毎の花粉のボケ厚さＴｐに対するエンドエフェクタＥのボケ厚さＴｅの比率（Ｒｔ）を求めた。その結果を、図７（ａ）、（ｂ）に示す。
図８に、１ステップ目の元画像（ａ）、１ステップ目の元画像に基づいて作成した差分画像（ｂ）、２１ステップ目の元画像（ｃ）、２１ステップ目の元画像に基づいて作成した差分画像（ｄ）を示す。なお、２１ステップ目は、Ｒｔが１を越えた次のステップに該当する。２１ステップ目の画像は、花粉Ｐ、エンドエフェクタＥともにボケが少なく鮮明である。また、実際にエンドエフェクタＥの先端が花粉Ｐに触れた時の画像のエンドエフェクタＥと花粉Ｐのボケの厚さを求めて図８（ｄ）と比較したところ、ほぼ厚さが一致していることが確認できた。
【００３３】
＜第２実施形態＞
次に、近似式を用いてエンドエフェクタＥの位置決めを行う第２実施形態について説明する。
第２実施形態も、マイクロマニピュレーションシステム１により実行されるが、近似式の作成、作成された近似式によりエンドエフェクタＥの位置決めが行われる点で、第１実施形態と相違する。以下、第１実施形態との相違点を中心に第２実施形態を説明する。
【００３４】
第２実施形態によりエンドエフェクタＥが行う位置決めの手順を図９のフローチャートに基づいて説明する。
図９に示すように、第２実施形態の手順は、Ｓ１１１までは第１実施形態と同じであり、Ｓ１１１以降は以下のように進められる。
ＰＣ１３は、ボケ厚さＴｐ２とボケ厚さＴｅ２が一致すれば、近似式を求める（図９ Ｓ１２１）。近似式は、厚さＴｐ２と厚さＴｅ２が一致するまでの過程で得られる、厚さＴｐ２と厚さＴｅ２の比率と奥行き方向の距離Ｄｚの関係から、下記のように求められる。なお、ここまでの手順を、セットアップと言う。
近似式：Ｄｚ＝ａＲｔｂ＋ｃ
（Ｒｔ：Ｔｐ２／Ｔｅ２，Ｄｚ：エンドエフェクタの奥行き方向の移動距離，
ａ，ｂ：定数、ｃ：補正項）
【００３５】
厚さＴｐ２と厚さＴｅ２の比率と奥行き方向の距離の関係は、例えば図７（ａ）、（ｂ）のグラフに示されている。
図７（ｂ）において、Ｒｔが１．０の位置で花粉ＰとエンドエフェクタＥの厚さＴｐ２（Ｔｐ）と厚さＴｅ２（Ｔｅ）が一致しており、エンドエフェクタＥは花粉Ｐとｚ軸方向の位置が一致している。これを基準にして、例えば５ステップ目、１０ステップ目、１５ステップ目について観ると、Ｒｔ及びＲｔが１．０になるためにエンドエフェクタＥが奥行き方向に移動すべき距離Ｄｚは以下の通りである。これらの関係から上記近似式が求められる。
５ステップ目：Ｒｔ＝０．０４２，Ｄｚ＝８７画素（ピクセル）
１０ステップ目：Ｒｔ＝０．０９７，Ｄｚ＝３７画素（ピクセル）
１５ステップ目：Ｒｔ＝０．２５，Ｄｚ＝１３画素（ピクセル）
【００３６】
本発明者等は、以上のようにして求められた近似式と実測値の比較を行った結果を図１０に示すが、近似式が実測値に則っていることが確認された。
【００３７】
近似式を求めた後に、スライドガラス９上に載せられている中から、次に操作すべき花粉Ｐを特定する（図９ Ｓ１２３）。
次の花粉Ｐが特定されたならば、Ｒｔ（Ｔｐ２／Ｔｅ２）を算出する（図９ Ｓ１２５）。Ｒｔは、次の花粉ＰとエンドエフェクタＥについて、図９のＳ１０１〜Ｓ１０７を行うことで求められる厚さＴｐ２と厚さＴｅ２に基づいて算出される。なお、このＲｔの算出に先立って、エンドエフェクタＥは、近似式を求める手順を開始するときの初期位置に復帰させておく。
【００３８】
ＰＣ１３は、求められたＲｔを近似式に代入することでエンドエフェクタＥをｚ軸方向に移動させる距離Ｄｚを算出し、そのデータをコントローラ５に送る。コントローラ５は、送られてきたデータＤｚに基づいて、エンドエフェクタＥをｚ軸方向に移動させるようにマイクロマニピュレータ３に指令する（図９ Ｓ１２７）。
エンドエフェクタＥが次の花粉Ｐに位置決めされ、所定の操作を行った後、さらに操作すべき次の花粉Ｐがあれば、それを特定する（図９ Ｓ１２９，Ｓ１２３）。さらに操作すべき次の花粉Ｐがなければ、花粉Ｐへの操作は終了する。
花粉Ｐが載せられた次のスライドガラス９があり、それを今までのスライドガラス９と交換する場合には、交換された新たなスライドガラス９について、図９の手順に従って新たな近似式を求める。撮影環境の変動によって、近似式は変わり得るからである。
【００３９】
以上説明したように、第２実施形態は近似式を用いることより、ボケの比率Ｒｔとｚ軸方向の距離Ｄｚの変化を連続的に捉えることができるので、エンドエフェクタＥを花粉Ｐに対して高精度で位置決めできる。
また、近似式を求めた後は、第１実施形態のように、エンドエフェクタＥをｚ軸方向へ移動させる度に画像を取得し、ボケ厚さＴｐとボケ厚さＴｅを比較する必要がないので、演算処理の負荷が少ない分、高速な位置決めを実現できる。
【００４０】
さらに、近似式を求めた後には、デジタルカメラ１１に対して焦点のあっていない花粉Ｐに対してボケ厚さＴｐを求めることができれば、エンドエフェクタＥの位置決めを行うことができる。つまり第２実施形態によると、図１１に示すように、粒径の異なる花粉Ｐ１，Ｐ２がある場合、花粉Ｐ１に対してエンドエフェクタＥを操作することにより近似式を求めてセットアップが完了すれば、粒径の異なる花粉Ｐ２に対しても近似式を適用するだけでエンドエフェクタＥを花粉Ｐ２に位置決めできる。
【００４１】
＜第３実施形態＞
以上では、本発明の近似式を求めるのに、花粉ＰとエンドエフェクタＥを用いたが、本発明はこれに限定されない。つまり、既知の距離を隔ててｚ軸方向に配置される複数の参照体について、各々の参照体のボケ厚さを特定できれば、近似式を求めることができる。以下、図１２に基づいて、参照体をエンドエフェクタＥに設けた例について第３実施形態として説明する。
【００４２】
第３実施形態によるエンドエフェクタＥは、図１２（ａ）、（ｂ）に示すように、エンドエフェクタ本体１７に、参照体１９、２１を設けている。棒状の部材である参照体１９、２１は、エンドエフェクタ本体１７の平面方向の一端側に、エンドエフェクタ本体１７の先端１７Ｔに向けて突出するように所定の間隔を空けて設けられている。また、参照体１９、２１は、エンドエフェクタＥをマイクロマニピュレータ３に取付けた状態で、スライドガラス９に対して平行に設けられている。そして、エンドエフェクタ本体１７の先端１７Ｔから参照体１９までのｚ軸方向の距離、参照体１９から参照体２１までのｚ軸方向の距離は既知である。なお、このエンドエフェクタＥは、エンドエフェクタ本体１７の先端１７Ｔを参照体の１つとして利用する。
【００４３】
マニピュレータ３に取付けたエンドエフェクタＥをデジタルカメラ１１で撮影して元画像（参照体画像）を取得する。
この参照体画像に異なる二つの閾値を適用して、二つの二値化画像を作成する。次いで、二つの二値化画像から差分画像を作成する。
第１実施形態と同様にして作成した差分画像の例を図１２（ｃ）に示す。エンドエフェクタ本体１７の先端１７Ｔ（参照体）、参照体１９及び参照体２１のｚ軸方向の位置が異なるので、エンドエフェクタ本体１７の先端１７Ｔ（参照体）、参照体１９及び参照体２１のボケ厚さも異なる。この差分画像における、エンドエフェクタ本体１７（先端１７Ｔ）についての差分の領域の厚さＴｒ１、参照体１９についての差分の領域の厚さＴｒ２、及び、参照体２１についての差分の領域の厚さＴｒ３を特定し、先端１７Ｔから参照体１９までのｚ軸方向の既知の距離、参照体１９から参照体２１までのｚ軸方向の既知の距離に基づいて、近似式（Ｄｚ＝ａＲｔｂ＋ｃ）を求めることができる。
近似式が求められたならば、第２実施形態の図９のＳ１２３以降の手順に従って、エンドエフェクタＥを花粉Ｐに対して位置決めをする。
この例では、３つの参照体を用いて近似式を求めているが、二つの参照体があれば近似式を求めることができることは言うまでもない。ただし、近似式の精度を向上させるためには、参照体が多いことが好ましい。
【００４４】
以上の実施形態では花粉Ｐを例に説明したが、本発明の被処理体はこれに限定されないことは言うまでもない。花粉Ｐ以外にも、数〜数十μｍのサイズの、例えば細胞、金属・非金属粒子等、顕微鏡の視野内で操作される微細粒子に広く適用できる。また、本発明の処理体についても、エンドエフェクタＥに限るものでなく、上記微細粒子を操作する針状、その他の治具を広く適用できる。
これ以外にも、本発明の主旨を逸脱しない限り、上記実施の形態で挙げた構成を取捨選択したり、他の構成に適宜変更することが可能である。
【符号の説明】
【００４５】
１…マイクロマニピュレーションシステム
３…マイクロマニピュレータ、５…コントローラ
７…顕微鏡、９…スライドガラス、１１…デジタルカメラ
１３…パーソナルコンピュータ、１５…表示ディスプレイ、
Ｅ…エンドエフェクタ、１７…エンドエフェクタ本体、１９，２１…参照体
Ｐ…花粉
【技術分野】
【０００１】
本発明は、離れた位置から処理体を奥行き方向に移動させて被処理体に接触させるのに適した位置決め方法に関するものである。
【背景技術】
【０００２】
近年の植生調査で、自然では起こらないと考えられていた在来植物と外来植物の自然交雑が起こり、雑種が広まっている。そこで、在来植物、外来植物、そして雑種を区別するには専門機器を用いたＤＮＡ分析を行うか、専門家による花粉形状の検査に頼らなければならない。しかし、ＤＮＡ分析には時間と多額な費用がかかってしまうという問題がある。また花粉形状の検査は、経験や熟練度に依存し、さらに長時間の検査によって身体的、精神的疲労が伴い信頼性に欠ける。このような事から、熟練度や経験に依存せず、観測者の疲労なしに誰にでも簡単に花粉を判別できる手法が求められている。そして専門的な知識を必要とせず簡単に花粉の判別ができれば植生調査における在来植物、外来植物、雑種の判別の効率化に繋がる。花粉への注目は植生調査だけに限らず、品質向上のための技術である交雑育種法にも向けられている。しかし、数十μｍオーダーの花粉を顕微鏡の視野内において人の手により操作することは非常に難しく負担となる。このような事から、μｍオーダーでの制御ができるマイクロマニピュレータが必要となる。マイクロマニピュレータに、先端径が数μｍのエンドエフェクタと称させる微小針を装着することで、人間では困難な花粉操作が実現できる。また、自動でマイクロマニピュレータの制御ができれば、人間にかかる花粉操作の負担を減らす事ができる。
【０００３】
マイクロマニピュレータを用いた操作により人間の負担を軽減できるが、特に、花粉及びエンドエフェクタがともに微小であることから、両者間の奥行き方向の距離を把握するのが容易でない。したがって、エンドエフェクタを花粉に向けて移動させてその表面に接触させようとしても、接触に時間がかかりすぎることがあり、又は、必要以上にエンドエフェクタを移動させてしまい花粉を破損させることもある。
【０００４】
特許文献１は、顕微鏡の視野内において被検体に対してエンドエフェクタを用いて微細操作を行うマイクロマニピュレーションシステムにおいて、エンドエフェクタの先端部が対物レンズの焦点に合う位置を基準位置として、微細操作を開始するエンドエフェクタの位置を決定し、被検体の対物レンズに対する相対的な移動に応じて、被検体に対物レンズの焦点の合う位置を示す合焦位置を検出し、この検出結果に基づいて被検体を合焦位置に移動させ、かつ、エンドエフェクタを微細操作開始位置に移動させた状態で、微細操作処理を行うことを提案している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−２５８４１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１によれば、高さ方向にばらつきのある複数個の被検体についても一括して自動でのマニピュレータ操作が可能である。しかし、特許文献１は、その図３、図５にも示されるように、エンドエフェクタの先端部が標本ステージに対して平行であることが必要であり、エンドエフェクタの形状に制約がある。また、特許文献１は、エンドエフェクタに加えて、被検体を載せるステージを動かすことを前提としており、装置及び制御が複雑となる。
そこで本発明は、形状に制約のないエンドエフェクタ等の処理体を、花粉等の被処理体に対して正確に位置決めできる方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
特許文献１にも記載されているが、顕微鏡画像での被処理体及び処理体の焦点ボケの具合から、奥行き方向の移動量を判断して位置決めを行うことは知られている。しかし、人間の感覚でこの操作を行うには、高度な熟練が必要であった。本発明者等は、このボケを画像処理することにより奥行き方向の移動量を特定して位置決めすることに着目し、以下の知見を得た。
【０００８】
エンドエフェクタで花粉を操作する場合を想定する。
花粉とエンドエフェクタについて撮影された画像において、花粉とエンドエフェクタの像が鮮明で両者ともに焦点が合っているか被写界深度の範囲内（以下、両者を含めて焦点が合っている、と表現する）であれば、花粉、エンドエフェクタそれぞれの奥行き方向の位置が一致していると言える。一方、焦点が合っていないと各像はボケる。そして、ボケの程度は、焦点距離からのずれ量に応じて変動する。したがって、両者のボケの程度を合わせれば、花粉とエンドエフェクタの奥行き方向の位置を合わせることができる。
【０００９】
以上の位置決め方法を実行するには撮影して取得された画像からボケを抽出することが重要であり、以下に説明するように、本発明者等は取得された画像から二つの二値化画像を作成し、さらに、それらの差分画像を作成することでボケを抽出できた。
図１において、（ａ）は取得した元画像である。この画像は、花粉Ｐには焦点が合っているのに対して、エンドエフェクタＥには焦点がずれている。
元画像から二つの明度の異なる閾値を用いて、図１（ｂ）、（ｃ）に示すように、二つの二値化画像を得る。
作成した二つの二値化画像（ｂ）、（ｃ）の各画素を比較して差分を求め、その値から一つの差分画像（ｄ）を得る。この差分画像には、花粉Ｐ及びエンドエフェクタＥの各々についてボケに相当する差分の領域が白抜きで示されている。差分画像におけるこの白抜きの領域を、本願明細書ではボケと言い、その厚さをボケ厚さと言うことがある。
【００１０】
花粉Ｐのボケ厚さＴｐとエンドエフェクタＥのボケ厚さＴｅを比較しながら、エンドエフェクタＥのボケ厚さＴｅが、花粉Ｐのボケ厚さＴｐに近づくようにエンドエフェクタＥを奥行き方向に移動させる。この移動操作を、花粉Ｐの厚さＴｐとエンドエフェクタＥの厚さＴｅが一致するまで行う。そうすると、花粉ＰとエンドエフェクタＥの奥行き方向の位置が一致することになる。花粉ＰとエンドエフェクタＥが水平方向にずれていれば、次いで、ずれ量に相当する距離だけエンドエフェクタＥを平行に移動させることにより、エンドエフェクタＥを花粉Ｐへ接触させることができる。
【００１１】
本発明は以上の検討結果に基づくものであり、新規なボケの抽出方法を提供する。この位置決め方法は、被処理体と、被処理体に対して接近又は離間が可能な処理体とを含む元画像を、接近又は離間する方向から撮影する手順（ａ）と、異なる二つの閾値を元画像に適用して得られる二つの二値化画像に基づき差分画像を作成する手順（ｂ）と、差分画像における、被処理体についての差分の領域、及び、処理体についての差分の領域を特定する手順（ｃ）と、を備える。特定される差分の領域がボケ部分に相当するので、この新規な方法によりボケを抽出することで、本発明が目的とする位置決めを実現できる。
なお、花粉が被処理体に該当し、エンドエフェクタが処理体に該当するが、本発明の被処理体、エンドエフェクタがこれらに限定されないことは言うまでもない。
【００１２】
本発明は、以上の手順（ａ）から手順（ｃ）の後に、処理体を被処理体に向けて移動させることで位置決めを行うことができるが、その具体的な方法には第１及び第２の二つの形態がある。
第１の形態は、被処理体についての差分の領域の厚さ（ボケ厚さ）をＴｐ、処理体の差分の領域の厚さ（ボケ厚さ）をＴｅとすると、ボケ厚さＴｐとボケ厚さＴｅが一致するように、処理体を被処理体に向けて移動させる（手順（ｄ））。
【００１３】
第２の形態は、第１の被処理体のボケ厚さＴｐ１と処理体のボケ厚さＴｅ１の比率であるＲｔと、処理体の奥行き方向の移動距離Ｄｚとの関係を示す下記近似式に基づいて処理体を被処理体に向けて移動させる（手順（ｅ））。
近似式：Ｄｚ＝ａＲｔｂ＋ｃ
（Ｒｔ：Ｔｐ１／Ｔｅ１，Ｄｚ：処理体の奥行き方向の移動距離，ａ，ｂ：定数、ｃ：補正項）
【００１４】
以上の本発明の近似式を求めるに二つの形態がある。
一つ目は、上述した位置決め方法と同様の操作を先行して行うことで、上記本発明の近似式を求めるものである。すなわち、上記位置決めを行うのに先立って、第２の被処理体と、第２の被処理体に対して接近又は離間が可能な処理体とを含む第２の元画像を、前記接近又は離間する方向から撮影する手順（ｆ）と、異なる二つの閾値を第２の元画像に適用して得られる二つの二値化画像に基づき第２の差分画像を作成する手順（ｇ）と、第２の差分画像における、第２の被処理体についての差分の領域の厚さＴｐ２と前記処理体についての差分の領域の厚さＴｅ２が一致するように、処理体を第２の被処理体に向けて移動させる手順（ｈ）と、手順（ｈ）の移動過程における、第２の被処理体の厚さＴｐ２の推移と処理体の厚さＴｅ２の推移に基づいて近似式を求める手順（ｉ）と、を行う。
一つ目の形態は、被処理体に対して実際に処理体を操作させることで本発明の近似式を求めるので、作成される近似式の精度が高い。
【００１５】
二つ目は、既知の距離を隔てて配置される複数の参照体（リファレンス）を撮影したときに生ずるボケの幅と、当該距離とから、以下の手順で本発明の近似式を求めるものである。
すなわち、二つ目の形態は、第１の被処理体と処理体とを含む元画像を撮影する領域内で、既知の距離を隔てて撮影の方向に配置される、第１及び第２の少なくとも二つの参照体を撮影して参照体画像を作成する手順（ｊ）と、異なる二つの閾値を参照体画像に適用して作成される二つの二値化画像に基づき第３の差分画像を作成する手順（ｋ）と、第３の差分画像における、第１の参照体についての差分の領域の厚さＴｒ１及び第２の参照体についての差分の領域の厚さＴｒ２と、前記既知の距離とに基づいて近似式を求める手順（ｌ）と、を行う。
二つ目の形態は、被処理体に対して実際に処理体を操作させる必要がないので、一つ目の形態に比べて、本発明の近似式を迅速に作成することができる。
【００１６】
以上の参照体は、撮影の範囲内にあればどのようにして設けるかは問われないが、処理体に一体的に設けることが好ましい。処理体を撮影範囲内に配置することで、参照体も自動的に撮影範囲内に配置できると便利である。
【００１７】
本発明は、以上の位置決め方法を利用したマイクロマニピュレーションシステムを提供する。このマイクロマニピュレーションシステムは、顕微鏡の視野内でエンドエフェクタにより被処理体を操作するものであり、エンドエフェクタを顕微鏡の光軸方向に移動させる駆動部と、被処理体と、被処理体に対して光軸方向に移動が可能なエンドエフェクタとを含む元画像を、光軸方向から撮影する撮影部と、異なる二つの閾値を元画像に適用して作成される二つの二値化画像に基づいて差分画像を作成する画像作成部と、差分画像における、被処理体についての差分の領域の厚さＴｐとエンドエフェクタについての差分の領域の厚さＴｅとが一致するように、エンドエフェクタを被処理体に向けて移動するように駆動部に指令する指令部と、を備えることを特徴とする。
【００１８】
本発明の近似式を適用するマイクロマニピュレーションシステムは、エンドエフェクタを顕微鏡の光軸方向に移動させる駆動部と、第１の被処理体と、第１の被処理体に対して光軸方向に移動が可能なエンドエフェクタとを含む第１の元画像を、光軸方向から撮影する撮影部と、異なる二つの閾値を第１の元画像に適用して作成される二つの二値化画像に基づいて第１の差分画像を作成する画像作成部と、第１の差分画像における、第１の被処理体についての差分の領域の厚さＴｐ１と、エンドエフェクタについての差分の領域の厚さＴｅ１の比率であるＲｔと、エンドエフェクタの奥行き方向の移動距離Ｄｚとの関係を示す下記近似式に基づいてエンドエフェクタを第１の被処理体に向けて移動するように駆動部に指令する指令部と、を備えることもできる。
近似式：Ｄｚ＝ａＲｔｂ＋ｃ
（Ｒｔ：Ｔｐ１／Ｔｅ１，Ｄｚ：エンドエフェクタの奥行き方向の移動距離，ａ，ｂ：定数、ｃ：補正項）
【００１９】
本発明の近似式を利用するマイクロマニピュレーションシステムは、本発明の近似式を求めるための要素を備えている。
つまり、前述した一つ目の形態に対応するマイクロマニピュレーションシステムは、第２の被処理体とエンドエフェクタとを含む第２の元画像を、光軸方向から撮影する撮影部と、異なる二つの閾値を第２の元画像に適用して作成される二つの二値化画像に基づいて第２の差分画像を作成する画像作成部と、第２の差分画像における、第２の被処理体についての差分の領域の厚さＴｐ２とエンドエフェクタについての差分の領域の厚さＴｅ２が一致するように、エンドエフェクタを第２の被処理体に向けて移動させる指令部と、エンドエフェクタの移動過程における、厚さＴｐ２の推移と厚さＴｅ２の推移に基づいて近似式を生成する式生成部と、を備える。
【００２０】
また、前述した二つ目の形態に対応するマイクロマニピュレーションシステムは、第１の被処理体とエンドエフェクタとを含む元画像を撮影する領域内で、既知の距離を隔てて撮影の方向に配置される、第１及び第２の少なくとも二つの参照体画像を撮影する撮影部と、異なる二つの閾値を参照体画像に適用して作成される二つの二値化画像に基づき第３の差分画像を作成する画像作成部と、第３の差分画像における、第１の参照体についての差分の領域の厚さＴｒ１及び第２の参照体についての差分の領域の厚さＴｒ２と、既知の距離とに基づいて近似式を生成する式生成部と、を備える。
【発明の効果】
【００２１】
本発明によれば、エンドエフェクタ、つまり処理体の形状を問わずにボケ幅を抽出できるので、形状に制約のないエンドエフェクタ等の処理体を用いることができるとともに、この処理体のみを動かすことで被処理体に対して位置決めを行うことができる。
【図面の簡単な説明】
【００２２】
【図１】本発明において、花粉とエンドエフェクタを含む元画像から、ボケを抽出するまでの手順を示す図である。
【図２】本実施の形態におけるマイクロマニピュレーションシステムの構成を示すブロック図である。
【図３】第１実施形態のマイクロマニピュレーションシステムにおいて、花粉に対してエンドエフェクタを接触させるまでの手順を示すフローチャートである。
【図４】花粉Ｐに焦点を合わせる方法を説明する図である。
【図５】花粉に対してデジタルカメラの焦点を接近させながら取得した画像に生じた花粉のボケの厚さ、ボケの面積の変動を示すグラフであり、（ａ）がボケの厚さ、（ｂ）がボケの面積を示す。
【図６】図５の６ステップ目（（ａ）、（ｂ））及び３４ステップ目（（ｃ）、（ｄ））の元画像及び差分画像を示す。
【図７】（ａ）はエンドエフェクタＥのｚ軸方向の位置とボケ厚さＴｐ、Ｔｅの関係を示し、（ｂ）はエンドエフェクタＥのｚ軸方向の位置とボケ厚さＴｐに対するエンドエフェクタＥのボケ厚さＴｅの比率Ｒｔを示す。
【図８】図７における、１ステップ目の元画像を（ａ）、１ステップ目の元画像から作成した差分画像を（ｂ）、２１ステップ目の元画像を（ｃ）、２１ステップ目の元画像から作成した差分画像を（ｄ）に示す。
【図９】第２実施形態のマイクロマニピュレーションシステムにおいて、近似式を用いて花粉に対してエンドエフェクタを接触させるまでの手順を示すフローチャートである。
【図１０】第２実施形態において求められた近似式と実測値を対比して示すグラフである。
【図１１】第２実施形態において、粒径の異なる花粉に対してエンドエフェクタを容易に接触できることを説明する図である。
【図１２】第３実施形態におけるエンドエフェクタを示す図である。
【発明を実施するための形態】
【００２３】
＜第１実施形態＞
以下、実施の形態に基づいて本発明を具体的に説明する。
第１実施形態に係るマイクロマニピュレーションシステム１は、図２に示すように、エンドエフェクタＥを備えるマイクロマニピュレータ３（駆動部）と、エンドエフェクタＥの駆動を指令するコントローラ（司令部）５とを備えている。エンドエフェクタＥは、マイクロマニピュレータ３に備えられたアクチュエータ（図示省略）により、ｘ軸，ｙ軸及びｚ軸の３軸方向への駆動ができる。なおマイクロマニピュレーションシステム１は、マイクロマニピュレータ３を２台備えている。
マイクロマニピュレーションシステム１は、顕微鏡７を備えている。光の入射方向（光軸方向）と反対側から被処理体である花粉Ｐを撮影する倒立型顕微鏡は、取得画像に対する照り返しの影響が少ないので、花粉ＰとエンドエフェクタＥのボケ抽出が容易である。そのため、本実施形態は、倒立型の顕微鏡７を用いる。ただし、このことが正立型の顕微鏡を本発明に用いることを制限するものではない。
顕微鏡７の光軸はｚ軸と方向が一致しており、この方向がマイクロマニピュレーションシステム１における奥行き方向となる。
【００２４】
マイクロマニピュレーションシステム１は、顕微鏡７の上面に設置されるスライドガラス９上に載せられる花粉Ｐ及びエンドエフェクタＥを光軸方向から撮影するデジタルカメラ（撮影部）１１を備える。デジタルカメラ１１は、固体撮像素子として例えば、ＣＣＤイメージセンサ （Charge Coupled Device Image Sensor) を備えるものを用いるが、本発明はこれに限定されるものではない。
【００２５】
マイクロマニピュレーションシステム１は、マイクロマニピュレータ３、コントローラ５、顕微鏡７及びデジタルカメラ１１の動作を制御するパーソナルコンピュータ（司令部，以下、ＰＣ）１３を備える。つまりＰＣ１３は、コントローラ５に対して、マイクロマニピュレータ３のエンドエフェクタＥが移動すべき方向及び距離に関するデータを送る。また、表示ディスプレイ１５を備えるＰＣ１３は、顕微鏡７を介してデジタルカメラ１１で花粉Ｐ及びエンドエフェクタＥを撮影することを指令し、撮影された画像を処理し、また表示ディスプレイ１５に表示させる。より具体的な処理、操作手順を、図３のフローチャート、さらには前述の図１も参照して説明する。
【００２６】
花粉Ｐを載せたスライドガラス９を顕微鏡７の所定位置に設置した後に、ボケ抽出、エンドエフェクタＥの位置決め動作の処理手順が開始される。
はじめに、ＰＣ１３からの指令により、デジタルカメラ１１は、花粉ＰとエンドエフェクタＥの画像を撮影する。ＰＣ１３は撮影された画像（元画像）を取得する（図３ Ｓ１０１）。図１（ａ）に元画像の例を示すが、デジタルカメラ１１の焦点が花粉Ｐには合っているが、エンドエフェクタＥには合っていないため、エンドエフェクタＥに対応する部分に大きなボケが生じている。花粉Ｐにデジタルカメラ１１の焦点を合わせる方法については後述する。
【００２７】
ＰＣ１３は、取得した元画像を解析し、画像の明度の差から、二つの異なる閾値を決定する（図３ Ｓ１０３）。この二つの閾値の決定の仕方は任意であり、予め設定しておくこともできる。
ＰＣ１３は、元画像に対して二つの閾値を適用することにより、二つの二値化画像を作成する（図３ Ｓ１０５）。
図１（ｂ）、（ｃ）に、図１（ａ）から作成した二つの二値化画像の例を示している。図１（ｂ）に示す二値化画像はボケの外周まで含んでいるためエンドエフェクタＥに対応する白抜きの領域が大きい。これに対して図１（ｃ）は、エンドエフェクタＥそのものを示している画像とみなされ、ボケをほとんど含んでいないから、白抜きの領域が小さい。二つの閾値は、図１（ｂ）、（ｃ）の例のように、一方の二値化画像はボケを多く含み、他方の二値化画像はボケが微小になるように設定することが肝要である。
【００２８】
ＰＣ１３は、次に、二つの二値化画像から差分画像を作成する（図３ Ｓ１０７）。二つの二値化画像は、一方の二値化画像はボケを多く含み、他方の二値化画像はボケが微小に作成されたものであるから、その差分画像にはボケに対応する部分が抽出される。
図１（ｄ）に二つの二値化画像から作成された差分画像の例を示すが、エンドエフェクタＥに対応する白抜きの部分、つまり二つの二値化画像の差分の領域が、元画像のボケを示している。また、図１（ｄ）において、花粉Ｐの周囲にも白抜きで示される差分の領域が薄く現れている。
【００２９】
ＰＣ１３は、次に、花粉Ｐの周囲の差分の領域（以下、ボケの領域）の厚さＴｐとエンドエフェクタＥのボケの領域の厚さＴｅを比較する（図３ Ｓ１０９）。前述したように、厚さＴｐに厚さＴｅが一致すれば、花粉ＰとエンドエフェクタＥはともにデジタルカメラ１１の焦点に合うことになる。そうすると、エンドエフェクタＥは花粉Ｐとｚ軸方向（奥行き方向）の位置が一致する。したがって、厚さＴｐに厚さＴｅが一致すれば、ＰＣ１３はｚ軸方向の位置合わせの処理を終了して、コントローラ５にエンドエフェクタＥをｘ軸方向、ｙ軸方向に移動させることを指令し、花粉ＰにエンドエフェクタＥを接触させる（図３ Ｓ１１３）。厚さＴｐに厚さＴｅが一致しなければ、エンドエフェクタＥをｚ軸方向に移動させてから（図３ Ｓ１０９，Ｓ１１５）、図３のＳ１０１〜Ｓ１１１の処理を、厚さＴｐに厚さＴｅが一致するまで繰り返す。
なお、エンドエフェクタＥのボケ厚さＴｅを特定する場合、マイクロマニピュレーションシステム１はエンドエフェクタＥの先端を花粉Ｐに接触させることが目的であることから、先端部分の厚さＴｅを採用することが好ましい。花粉Ｐの厚さＴｐは、厚さがほぼ均一なので、花粉Ｐの周方向のいずれの部分で特定してもよい。
【００３０】
以上の操作を行う場合、当初よりデジタルカメラ１１の焦点に花粉Ｐが合っていることが好ましい。花粉Ｐをマイクロマニピュレータ３で操作するのは、花粉Ｐの性情を観察し、選択することを目的とするからである。
花粉Ｐに焦点が合っているか否かの確認にも、ボケ厚さＴｐを用いることができる。焦点が合っていなければ、図４（ａ）、（ｂ）に示すように、ボケ厚さＴｐが大きくなる。そこから花粉Ｐが焦点に近づいていくと、図４（ｃ）、（ｄ）に示すように、ボケ厚さＴｐは小さくなる。そして、焦点を過ぎてしまうと、ボケ厚さＴｐはまた大きくなる。このことから、花粉Ｔｐに対してデジタルカメラ１１の焦点を変化させながら花粉Ｐの画像を取得し、ボケ厚さＴｐが最小になる点を見出すことにより花粉Ｐに焦点を合わせることができる。
なお、ここでは好ましい形態として、当初に焦点が合っている花粉Ｐ（被処理体）について説明したが、本発明の有用性はこれに限定されるものではない。
【００３１】
以上説明したマイクロマニピュレーションシステム１を用い、粒径が３０μｍ程度の花粉Ｐに対してデジタルカメラ１１の焦点を１ステップ当たり５μｍずつ接近させながら１ステップ毎に画像を取得した。取得した画像に生じた花粉Ｐのボケの厚さ，ボケの面積の変化量を画素（Pixel）として求めた。その結果を、図５（ａ）、（ｂ）に示す。図５（ａ）、（ｂ）より、ボケの厚さ、ボケの面積が最小になるステップ（３４ステップ目）を特定した。この３４ステップ目にける元画像、差分画像を図６（ｃ）、（ｄ）に、６ステップ目の元画像、差分画像を図６（ａ）、（ｂ）に示す。
図６より、ボケの厚さ、ボケの面積が最小になる３４ステップ目における元画像が鮮明であり、焦点が合っていることが確認された。
【００３２】
次に、エンドエフェクタＥを１ステップ当たり５μｍずつｚ軸方向に移動させて焦点の合っている花粉Ｐに接近させていきながら、花粉Ｐのボケ厚さＴｐとエンドエフェクタＥのボケ厚さＴｅが一致する位置（画素で特定）を求めた。さらに、ステップ毎の花粉のボケ厚さＴｐに対するエンドエフェクタＥのボケ厚さＴｅの比率（Ｒｔ）を求めた。その結果を、図７（ａ）、（ｂ）に示す。
図８に、１ステップ目の元画像（ａ）、１ステップ目の元画像に基づいて作成した差分画像（ｂ）、２１ステップ目の元画像（ｃ）、２１ステップ目の元画像に基づいて作成した差分画像（ｄ）を示す。なお、２１ステップ目は、Ｒｔが１を越えた次のステップに該当する。２１ステップ目の画像は、花粉Ｐ、エンドエフェクタＥともにボケが少なく鮮明である。また、実際にエンドエフェクタＥの先端が花粉Ｐに触れた時の画像のエンドエフェクタＥと花粉Ｐのボケの厚さを求めて図８（ｄ）と比較したところ、ほぼ厚さが一致していることが確認できた。
【００３３】
＜第２実施形態＞
次に、近似式を用いてエンドエフェクタＥの位置決めを行う第２実施形態について説明する。
第２実施形態も、マイクロマニピュレーションシステム１により実行されるが、近似式の作成、作成された近似式によりエンドエフェクタＥの位置決めが行われる点で、第１実施形態と相違する。以下、第１実施形態との相違点を中心に第２実施形態を説明する。
【００３４】
第２実施形態によりエンドエフェクタＥが行う位置決めの手順を図９のフローチャートに基づいて説明する。
図９に示すように、第２実施形態の手順は、Ｓ１１１までは第１実施形態と同じであり、Ｓ１１１以降は以下のように進められる。
ＰＣ１３は、ボケ厚さＴｐ２とボケ厚さＴｅ２が一致すれば、近似式を求める（図９ Ｓ１２１）。近似式は、厚さＴｐ２と厚さＴｅ２が一致するまでの過程で得られる、厚さＴｐ２と厚さＴｅ２の比率と奥行き方向の距離Ｄｚの関係から、下記のように求められる。なお、ここまでの手順を、セットアップと言う。
近似式：Ｄｚ＝ａＲｔｂ＋ｃ
（Ｒｔ：Ｔｐ２／Ｔｅ２，Ｄｚ：エンドエフェクタの奥行き方向の移動距離，
ａ，ｂ：定数、ｃ：補正項）
【００３５】
厚さＴｐ２と厚さＴｅ２の比率と奥行き方向の距離の関係は、例えば図７（ａ）、（ｂ）のグラフに示されている。
図７（ｂ）において、Ｒｔが１．０の位置で花粉ＰとエンドエフェクタＥの厚さＴｐ２（Ｔｐ）と厚さＴｅ２（Ｔｅ）が一致しており、エンドエフェクタＥは花粉Ｐとｚ軸方向の位置が一致している。これを基準にして、例えば５ステップ目、１０ステップ目、１５ステップ目について観ると、Ｒｔ及びＲｔが１．０になるためにエンドエフェクタＥが奥行き方向に移動すべき距離Ｄｚは以下の通りである。これらの関係から上記近似式が求められる。
５ステップ目：Ｒｔ＝０．０４２，Ｄｚ＝８７画素（ピクセル）
１０ステップ目：Ｒｔ＝０．０９７，Ｄｚ＝３７画素（ピクセル）
１５ステップ目：Ｒｔ＝０．２５，Ｄｚ＝１３画素（ピクセル）
【００３６】
本発明者等は、以上のようにして求められた近似式と実測値の比較を行った結果を図１０に示すが、近似式が実測値に則っていることが確認された。
【００３７】
近似式を求めた後に、スライドガラス９上に載せられている中から、次に操作すべき花粉Ｐを特定する（図９ Ｓ１２３）。
次の花粉Ｐが特定されたならば、Ｒｔ（Ｔｐ２／Ｔｅ２）を算出する（図９ Ｓ１２５）。Ｒｔは、次の花粉ＰとエンドエフェクタＥについて、図９のＳ１０１〜Ｓ１０７を行うことで求められる厚さＴｐ２と厚さＴｅ２に基づいて算出される。なお、このＲｔの算出に先立って、エンドエフェクタＥは、近似式を求める手順を開始するときの初期位置に復帰させておく。
【００３８】
ＰＣ１３は、求められたＲｔを近似式に代入することでエンドエフェクタＥをｚ軸方向に移動させる距離Ｄｚを算出し、そのデータをコントローラ５に送る。コントローラ５は、送られてきたデータＤｚに基づいて、エンドエフェクタＥをｚ軸方向に移動させるようにマイクロマニピュレータ３に指令する（図９ Ｓ１２７）。
エンドエフェクタＥが次の花粉Ｐに位置決めされ、所定の操作を行った後、さらに操作すべき次の花粉Ｐがあれば、それを特定する（図９ Ｓ１２９，Ｓ１２３）。さらに操作すべき次の花粉Ｐがなければ、花粉Ｐへの操作は終了する。
花粉Ｐが載せられた次のスライドガラス９があり、それを今までのスライドガラス９と交換する場合には、交換された新たなスライドガラス９について、図９の手順に従って新たな近似式を求める。撮影環境の変動によって、近似式は変わり得るからである。
【００３９】
以上説明したように、第２実施形態は近似式を用いることより、ボケの比率Ｒｔとｚ軸方向の距離Ｄｚの変化を連続的に捉えることができるので、エンドエフェクタＥを花粉Ｐに対して高精度で位置決めできる。
また、近似式を求めた後は、第１実施形態のように、エンドエフェクタＥをｚ軸方向へ移動させる度に画像を取得し、ボケ厚さＴｐとボケ厚さＴｅを比較する必要がないので、演算処理の負荷が少ない分、高速な位置決めを実現できる。
【００４０】
さらに、近似式を求めた後には、デジタルカメラ１１に対して焦点のあっていない花粉Ｐに対してボケ厚さＴｐを求めることができれば、エンドエフェクタＥの位置決めを行うことができる。つまり第２実施形態によると、図１１に示すように、粒径の異なる花粉Ｐ１，Ｐ２がある場合、花粉Ｐ１に対してエンドエフェクタＥを操作することにより近似式を求めてセットアップが完了すれば、粒径の異なる花粉Ｐ２に対しても近似式を適用するだけでエンドエフェクタＥを花粉Ｐ２に位置決めできる。
【００４１】
＜第３実施形態＞
以上では、本発明の近似式を求めるのに、花粉ＰとエンドエフェクタＥを用いたが、本発明はこれに限定されない。つまり、既知の距離を隔ててｚ軸方向に配置される複数の参照体について、各々の参照体のボケ厚さを特定できれば、近似式を求めることができる。以下、図１２に基づいて、参照体をエンドエフェクタＥに設けた例について第３実施形態として説明する。
【００４２】
第３実施形態によるエンドエフェクタＥは、図１２（ａ）、（ｂ）に示すように、エンドエフェクタ本体１７に、参照体１９、２１を設けている。棒状の部材である参照体１９、２１は、エンドエフェクタ本体１７の平面方向の一端側に、エンドエフェクタ本体１７の先端１７Ｔに向けて突出するように所定の間隔を空けて設けられている。また、参照体１９、２１は、エンドエフェクタＥをマイクロマニピュレータ３に取付けた状態で、スライドガラス９に対して平行に設けられている。そして、エンドエフェクタ本体１７の先端１７Ｔから参照体１９までのｚ軸方向の距離、参照体１９から参照体２１までのｚ軸方向の距離は既知である。なお、このエンドエフェクタＥは、エンドエフェクタ本体１７の先端１７Ｔを参照体の１つとして利用する。
【００４３】
マニピュレータ３に取付けたエンドエフェクタＥをデジタルカメラ１１で撮影して元画像（参照体画像）を取得する。
この参照体画像に異なる二つの閾値を適用して、二つの二値化画像を作成する。次いで、二つの二値化画像から差分画像を作成する。
第１実施形態と同様にして作成した差分画像の例を図１２（ｃ）に示す。エンドエフェクタ本体１７の先端１７Ｔ（参照体）、参照体１９及び参照体２１のｚ軸方向の位置が異なるので、エンドエフェクタ本体１７の先端１７Ｔ（参照体）、参照体１９及び参照体２１のボケ厚さも異なる。この差分画像における、エンドエフェクタ本体１７（先端１７Ｔ）についての差分の領域の厚さＴｒ１、参照体１９についての差分の領域の厚さＴｒ２、及び、参照体２１についての差分の領域の厚さＴｒ３を特定し、先端１７Ｔから参照体１９までのｚ軸方向の既知の距離、参照体１９から参照体２１までのｚ軸方向の既知の距離に基づいて、近似式（Ｄｚ＝ａＲｔｂ＋ｃ）を求めることができる。
近似式が求められたならば、第２実施形態の図９のＳ１２３以降の手順に従って、エンドエフェクタＥを花粉Ｐに対して位置決めをする。
この例では、３つの参照体を用いて近似式を求めているが、二つの参照体があれば近似式を求めることができることは言うまでもない。ただし、近似式の精度を向上させるためには、参照体が多いことが好ましい。
【００４４】
以上の実施形態では花粉Ｐを例に説明したが、本発明の被処理体はこれに限定されないことは言うまでもない。花粉Ｐ以外にも、数〜数十μｍのサイズの、例えば細胞、金属・非金属粒子等、顕微鏡の視野内で操作される微細粒子に広く適用できる。また、本発明の処理体についても、エンドエフェクタＥに限るものでなく、上記微細粒子を操作する針状、その他の治具を広く適用できる。
これ以外にも、本発明の主旨を逸脱しない限り、上記実施の形態で挙げた構成を取捨選択したり、他の構成に適宜変更することが可能である。
【符号の説明】
【００４５】
１…マイクロマニピュレーションシステム
３…マイクロマニピュレータ、５…コントローラ
７…顕微鏡、９…スライドガラス、１１…デジタルカメラ
１３…パーソナルコンピュータ、１５…表示ディスプレイ、
Ｅ…エンドエフェクタ、１７…エンドエフェクタ本体、１９，２１…参照体
Ｐ…花粉
【特許請求の範囲】
【請求項１】
被処理体と、前記被処理体に対して接近又は離間が可能な処理体とを含む元画像を、前記接近又は離間する方向から撮影する手順（ａ）と、
異なる二つの閾値を前記元画像に適用して得られる二つの二値化画像に基づき差分画像を作成する手順（ｂ）と、
前記差分画像における、前記被処理体についての差分の領域、及び、前記処理体についての差分の領域を特定する手順（ｃ）と、
を備えることを特徴とするボケの抽出方法。
【請求項２】
被処理体と、前記被処理体に対して接近又は離間が可能な処理体とを含む元画像を、前記接近又は離間する方向から撮影する手順（ａ）と、
異なる二つの閾値を前記元画像に適用して得られる二つの二値化画像に基づき差分画像を作成する手順（ｂ）と、
前記差分画像における、前記被処理体についての差分の領域の厚さをＴｐ、及び、前記処理体についての差分の領域の厚さをＴｅとすると、
前記厚さＴｐと前記厚さＴｅが一致するように、前記処理体を前記被処理体に向けて移動させる手順（ｄ）と、
を備えることを特徴とする位置決め方法。
【請求項３】
第１の被処理体と、前記第１の被処理体に対して接近又は離間が可能な処理体とを含む第１の元画像を、前記接近又は離間する方向から撮影する手順（ａ）と、
異なる二つの閾値を前記第１の元画像に適用して得られる二つの二値化画像に基づき第１の差分画像を作成する手順（ｂ）と、
前記第１の差分画像における、前記第１の被処理体についての差分の領域の厚さをＴｐ１、前記処理体についての差分の領域の厚さをＴｅ１とすると、
前記厚さＴｐ１と前記厚さＴｅ１の比率であるＲｔと、前記処理体の奥行き方向の移動距離Ｄｚとの関係を示す下記近似式に基づいて前記処理体を前記第１の被処理体に向けて移動させる手順（ｅ）と、
を備えることを特徴とする位置決め方法。
近似式：Ｄｚ＝ａＲｔｂ＋ｃ
（Ｒｔ：Ｔｐ１／Ｔｅ１，Ｄｚ：処理体の奥行き方向の移動距離，ａ，ｂ：定数、ｃ：補正項）
【請求項４】
前記手順（ａ）に先立って、
第２の被処理体と、前記第２の被処理体に対して接近又は離間が可能な前記処理体とを含む第２の元画像を、前記接近又は離間する方向から撮影する手順（ｆ）と、
異なる二つの閾値を前記第２の元画像に適用して得られる二つの二値化画像に基づき第２の差分画像を作成する手順（ｇ）と、
前記第２の差分画像における、前記第２の被処理体についての差分の領域の厚さＴｐ２と前記処理体についての差分の領域の厚さＴｅ２が一致するように、前記処理体を前記第２の被処理体に向けて移動させる手順（ｈ）と、
前記手順（ｈ）の前記処理体の移動過程における、前記厚さＴｐ２の推移と前記厚さＴｅ２の推移に基づいて前記近似式を求める手順（ｉ）と、
を行う請求項３に記載の位置決め方法。
【請求項５】
前記手順（ａ）に先立って、
前記第１の被処理体と前記処理体とを含む元画像を撮影する領域内で、既知の距離を隔てて前記撮影の方向に配置される、第１及び第２の少なくとも二つの参照体を撮影して参照体画像を作成する手順（ｊ）と、
異なる二つの閾値を前記参照体画像に適用して作成される二つの二値化画像に基づき第３の差分画像を作成する手順（ｋ）と、
前記第３の差分画像における、前記第１の参照体についての差分の領域の厚さＴｒ１及び前記第２の参照体についての差分の領域の厚さＴｒ２と、前記既知の距離とに基づいて前記近似式を求める手順（ｌ）と、
を行う請求項３に記載の位置決め方法。
【請求項６】
前記参照体は、前記処理体に設けられる請求項５に記載の位置決め方法。
【請求項７】
顕微鏡の視野内でエンドエフェクタにより被処理体を操作するマイクロマニピュレーションシステムにおいて、
前記エンドエフェクタを前記顕微鏡の光軸方向に移動させる駆動部と、
前記被処理体と、前記被処理体に対して前記光軸方向に移動が可能な前記エンドエフェクタとを含む元画像を、前記光軸方向から撮影する撮影部と、
異なる二つの閾値を前記元画像に適用して作成される二つの二値化画像に基づいて差分画像を作成する画像作成部と、
前記差分画像における、前記被処理体についての差分の領域の厚さＴｐと、前記エンドエフェクタについての差分の領域の厚さＴｅと、が一致するように、前記エンドエフェクタを前記被処理体に向けて移動するように前記駆動部に指令する指令部と、
を備えることを特徴とするマイクロマニピュレーションシステム。
【請求項８】
顕微鏡の視野内でエンドエフェクタにより第１の被処理体を操作するマイクロマニピュレーションシステムにおいて、
前記エンドエフェクタを前記顕微鏡の光軸方向に移動させる駆動部と、
前記第１の被処理体と、前記第１の被処理体に対して前記光軸方向に移動が可能な前記エンドエフェクタとを含む第１の元画像を、前記光軸方向から撮影する撮影部と、
異なる二つの閾値を前記第１の元画像に適用して作成される二つの二値化画像に基づいて第１の差分画像を作成する画像作成部と、
前記第１の差分画像における、前記第１の被処理体についての差分の領域の厚さＴｐ１と、前記エンドエフェクタについての差分の領域の厚さＴｅ１の比率であるＲｔと、前記エンドエフェクタの奥行き方向の移動距離Ｄｚとの関係を示す下記近似式に基づいて前記エンドエフェクタを前記第１の被処理体に向けて移動するように前記駆動部に指令する指令部と、
を備えることを特徴とするマイクロマニピュレーションシステム。
近似式：Ｄｚ＝ａＲｔｂ＋ｃ
（Ｒｔ：Ｔｐ１／Ｔｅ１，Ｄｚ：エンドエフェクタの奥行き方向の移動距離，ａ，ｂ：定数、ｃ：補正項）
【請求項９】
第２の被処理体と前記エンドエフェクタとを含む第２の元画像を、前記光軸方向から撮影する前記撮影部と、
異なる二つの閾値を前記第２の元画像に適用して作成される二つの二値化画像に基づいて第２の差分画像を作成する前記画像作成部と、
前記第２の差分画像における、前記第２の被処理体についての差分の領域の厚さＴｐ２と前記エンドエフェクタについての差分の領域の厚さＴｅ２が一致するように、前記エンドエフェクタを前記第２の被処理体に向けて移動させる前記指令部と、
前記エンドエフェクタの移動過程における、前記厚さＴｐ２の推移と前記厚さＴｅ２の推移に基づいて前記近似式を生成する式生成部と、
を備える請求項８に記載のマイクロマニピュレーションシステム。
【請求項１０】
前記第１の被処理体と前記エンドエフェクタとを含む元画像を撮影する領域内で、既知の距離を隔てて前記撮影の方向に配置される、第１及び第２の少なくとも二つの参照体画像を撮影する前記撮影部と、
異なる二つの閾値を前記参照体画像に適用して作成される二つの二値化画像に基づき第３の差分画像を作成する前記画像作成部と、
前記第３の差分画像における、前記第１の参照体についての差分の領域の厚さＴｒ１及び前記第２の参照体についての差分の領域の厚さＴｒ２と、前記既知の距離とに基づいて前記近似式を生成する式生成部と、
を備える請求項８に記載のマイクロマニピュレーションシステム。
【請求項１】
被処理体と、前記被処理体に対して接近又は離間が可能な処理体とを含む元画像を、前記接近又は離間する方向から撮影する手順（ａ）と、
異なる二つの閾値を前記元画像に適用して得られる二つの二値化画像に基づき差分画像を作成する手順（ｂ）と、
前記差分画像における、前記被処理体についての差分の領域、及び、前記処理体についての差分の領域を特定する手順（ｃ）と、
を備えることを特徴とするボケの抽出方法。
【請求項２】
被処理体と、前記被処理体に対して接近又は離間が可能な処理体とを含む元画像を、前記接近又は離間する方向から撮影する手順（ａ）と、
異なる二つの閾値を前記元画像に適用して得られる二つの二値化画像に基づき差分画像を作成する手順（ｂ）と、
前記差分画像における、前記被処理体についての差分の領域の厚さをＴｐ、及び、前記処理体についての差分の領域の厚さをＴｅとすると、
前記厚さＴｐと前記厚さＴｅが一致するように、前記処理体を前記被処理体に向けて移動させる手順（ｄ）と、
を備えることを特徴とする位置決め方法。
【請求項３】
第１の被処理体と、前記第１の被処理体に対して接近又は離間が可能な処理体とを含む第１の元画像を、前記接近又は離間する方向から撮影する手順（ａ）と、
異なる二つの閾値を前記第１の元画像に適用して得られる二つの二値化画像に基づき第１の差分画像を作成する手順（ｂ）と、
前記第１の差分画像における、前記第１の被処理体についての差分の領域の厚さをＴｐ１、前記処理体についての差分の領域の厚さをＴｅ１とすると、
前記厚さＴｐ１と前記厚さＴｅ１の比率であるＲｔと、前記処理体の奥行き方向の移動距離Ｄｚとの関係を示す下記近似式に基づいて前記処理体を前記第１の被処理体に向けて移動させる手順（ｅ）と、
を備えることを特徴とする位置決め方法。
近似式：Ｄｚ＝ａＲｔｂ＋ｃ
（Ｒｔ：Ｔｐ１／Ｔｅ１，Ｄｚ：処理体の奥行き方向の移動距離，ａ，ｂ：定数、ｃ：補正項）
【請求項４】
前記手順（ａ）に先立って、
第２の被処理体と、前記第２の被処理体に対して接近又は離間が可能な前記処理体とを含む第２の元画像を、前記接近又は離間する方向から撮影する手順（ｆ）と、
異なる二つの閾値を前記第２の元画像に適用して得られる二つの二値化画像に基づき第２の差分画像を作成する手順（ｇ）と、
前記第２の差分画像における、前記第２の被処理体についての差分の領域の厚さＴｐ２と前記処理体についての差分の領域の厚さＴｅ２が一致するように、前記処理体を前記第２の被処理体に向けて移動させる手順（ｈ）と、
前記手順（ｈ）の前記処理体の移動過程における、前記厚さＴｐ２の推移と前記厚さＴｅ２の推移に基づいて前記近似式を求める手順（ｉ）と、
を行う請求項３に記載の位置決め方法。
【請求項５】
前記手順（ａ）に先立って、
前記第１の被処理体と前記処理体とを含む元画像を撮影する領域内で、既知の距離を隔てて前記撮影の方向に配置される、第１及び第２の少なくとも二つの参照体を撮影して参照体画像を作成する手順（ｊ）と、
異なる二つの閾値を前記参照体画像に適用して作成される二つの二値化画像に基づき第３の差分画像を作成する手順（ｋ）と、
前記第３の差分画像における、前記第１の参照体についての差分の領域の厚さＴｒ１及び前記第２の参照体についての差分の領域の厚さＴｒ２と、前記既知の距離とに基づいて前記近似式を求める手順（ｌ）と、
を行う請求項３に記載の位置決め方法。
【請求項６】
前記参照体は、前記処理体に設けられる請求項５に記載の位置決め方法。
【請求項７】
顕微鏡の視野内でエンドエフェクタにより被処理体を操作するマイクロマニピュレーションシステムにおいて、
前記エンドエフェクタを前記顕微鏡の光軸方向に移動させる駆動部と、
前記被処理体と、前記被処理体に対して前記光軸方向に移動が可能な前記エンドエフェクタとを含む元画像を、前記光軸方向から撮影する撮影部と、
異なる二つの閾値を前記元画像に適用して作成される二つの二値化画像に基づいて差分画像を作成する画像作成部と、
前記差分画像における、前記被処理体についての差分の領域の厚さＴｐと、前記エンドエフェクタについての差分の領域の厚さＴｅと、が一致するように、前記エンドエフェクタを前記被処理体に向けて移動するように前記駆動部に指令する指令部と、
を備えることを特徴とするマイクロマニピュレーションシステム。
【請求項８】
顕微鏡の視野内でエンドエフェクタにより第１の被処理体を操作するマイクロマニピュレーションシステムにおいて、
前記エンドエフェクタを前記顕微鏡の光軸方向に移動させる駆動部と、
前記第１の被処理体と、前記第１の被処理体に対して前記光軸方向に移動が可能な前記エンドエフェクタとを含む第１の元画像を、前記光軸方向から撮影する撮影部と、
異なる二つの閾値を前記第１の元画像に適用して作成される二つの二値化画像に基づいて第１の差分画像を作成する画像作成部と、
前記第１の差分画像における、前記第１の被処理体についての差分の領域の厚さＴｐ１と、前記エンドエフェクタについての差分の領域の厚さＴｅ１の比率であるＲｔと、前記エンドエフェクタの奥行き方向の移動距離Ｄｚとの関係を示す下記近似式に基づいて前記エンドエフェクタを前記第１の被処理体に向けて移動するように前記駆動部に指令する指令部と、
を備えることを特徴とするマイクロマニピュレーションシステム。
近似式：Ｄｚ＝ａＲｔｂ＋ｃ
（Ｒｔ：Ｔｐ１／Ｔｅ１，Ｄｚ：エンドエフェクタの奥行き方向の移動距離，ａ，ｂ：定数、ｃ：補正項）
【請求項９】
第２の被処理体と前記エンドエフェクタとを含む第２の元画像を、前記光軸方向から撮影する前記撮影部と、
異なる二つの閾値を前記第２の元画像に適用して作成される二つの二値化画像に基づいて第２の差分画像を作成する前記画像作成部と、
前記第２の差分画像における、前記第２の被処理体についての差分の領域の厚さＴｐ２と前記エンドエフェクタについての差分の領域の厚さＴｅ２が一致するように、前記エンドエフェクタを前記第２の被処理体に向けて移動させる前記指令部と、
前記エンドエフェクタの移動過程における、前記厚さＴｐ２の推移と前記厚さＴｅ２の推移に基づいて前記近似式を生成する式生成部と、
を備える請求項８に記載のマイクロマニピュレーションシステム。
【請求項１０】
前記第１の被処理体と前記エンドエフェクタとを含む元画像を撮影する領域内で、既知の距離を隔てて前記撮影の方向に配置される、第１及び第２の少なくとも二つの参照体画像を撮影する前記撮影部と、
異なる二つの閾値を前記参照体画像に適用して作成される二つの二値化画像に基づき第３の差分画像を作成する前記画像作成部と、
前記第３の差分画像における、前記第１の参照体についての差分の領域の厚さＴｒ１及び前記第２の参照体についての差分の領域の厚さＴｒ２と、前記既知の距離とに基づいて前記近似式を生成する式生成部と、
を備える請求項８に記載のマイクロマニピュレーションシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１１−６５２５３（Ｐ２０１１−６５２５３Ａ）
【公開日】平成２３年３月３１日（２０１１．３．３１）
【国際特許分類】
【出願番号】特願２００９−２１３３５８（Ｐ２００９−２１３３５８）
【出願日】平成２１年９月１５日（２００９．９．１５）
【出願人】（３０４０３６７４３）国立大学法人宇都宮大学 (209)
【Ｆターム（参考）】
【公開日】平成２３年３月３１日（２０１１．３．３１）
【国際特許分類】
【出願日】平成２１年９月１５日（２００９．９．１５）
【出願人】（３０４０３６７４３）国立大学法人宇都宮大学 (209)
【Ｆターム（参考）】
[ Back to top ]