ノズル装置
【課題】ノズル装置において、ノズル内の液面の位置等を高精度に特定できるようにする。
【解決手段】バックライト面において一方側のみをマスク領域56Dとし、それ以外の領域を発光領域58Dとする。これにより撮像を行うと、液体部分64において非マスク側に黒い筋68が生じ、マスク側69においてはそのような筋は生じなくなる。一方、気体部分62においては、マスク側に黒い筋66が生じる。ノズル像を二分割してその半分を解析対象とすることにより、黒い筋の有無から液面Sを高精度に特定可能である。右側の半画像と左側の半画像とを合成してそれを解析対象としてもよい。
【解決手段】バックライト面において一方側のみをマスク領域56Dとし、それ以外の領域を発光領域58Dとする。これにより撮像を行うと、液体部分64において非マスク側に黒い筋68が生じ、マスク側69においてはそのような筋は生じなくなる。一方、気体部分62においては、マスク側に黒い筋66が生じる。ノズル像を二分割してその半分を解析対象とすることにより、黒い筋の有無から液面Sを高精度に特定可能である。右側の半画像と左側の半画像とを合成してそれを解析対象としてもよい。
【発明の詳細な説明】
【技術分野】
【0001】
本発明はノズル装置に関し、特に、ノズルを撮像して撮像画像からノズル状態を評価する技術に関する。
【背景技術】
【0002】
ノズル装置はノズルを利用して液体の吸引吐出を行う装置である。ノズル装置の一種である分注装置では血清、尿などのサンプル(検体)が分注される。その際、例えば、金属製のノズル基部とそれに装着される透明性をもった樹脂からなるノズルチップ(ディスポーザブルチップ)とからなるノズルが用いられる。吸引後(あるいは吐出後)にノズル内の状況を評価するためにノズルの撮像を行うことが考えられる。その場合、ノズルを介して撮像機器の反対側にバックライトが設置され、ノズルのシルエット像が撮像機器によって取得される。
【0003】
バックライトの設け方として2通りの方法が考えられる。第1の方法は、大面積型の平板バックライトをそのまま背景として用いる方法である。この場合、ノズルにおける左右の縁辺部分(断面として見て肉厚相当部分)に着目した場合、一般に、液面上側の空気部分において辺縁部分に暗い部分(暗い筋あるいは垂直に伸びた陰)が生じるが、液面下側の液体部分においてはそのような陰は生じない(条件次第ではあるが一般的にそのような傾向が認められる)。そこで、この現象を使って空気部分と液体部分とを識別することが可能となる。例えば、ノズル軸方向の各位置において直交方向の輝度分布を観測した場合、空気部分の輝度分布と液体部分の輝度分布とでの相違を利用して液面レベルの特定を行える。しかし、大面積型のバックライトを用いる場合、ノズル背面が全体的に光ってしまうので(ノズル各部位で反射と散乱が複雑に生じるため)、コントラストの点では不利であり、空気部分の輝度分布と液体部分の輝度分布の差、あるいは、液面を強調し難い場合が生じる。
【0004】
第2の方法は、スリットを利用する方法である。すなわち、例えば大面積型の平面バックライトにマスクを施してノズル幅程度のセンタースリットを形成し、そこからの光のみをノズル背面側に与える方法である。この場合、光学的経路がシンプルになるので、空気部分と液体部分とでの輝度差つまりコントラストを増強することが可能となる。しかし、液体その他の条件次第では、上記で説明した辺縁部分に生じる陰が、空気部分のみならず、液体部分にまで出てしまうことが確認されている。その場合、液体部分の右側及び左側の両方に陰が出る。空気部分と液体部分の両方に陰が出てしまうなら、陰の有無を利用して空気部分と液体部分の差を計測する手法は適用困難となる。特許文献1には縞模様をもったバックライトの利用が開示されている。
【0005】
本発明者は、上記の第1及び第2の方法とは異なる第3の方法でも実験を行っている。当該方法は、大面積型のバックライトにおいてノズルの一方側だけをマスクする方法である。この場合、ノズルにおける空気部分については、上記第1及び第2の方法と同様に、ノズル辺縁部分に陰が生じることが確認されている。一方、ノズルにおける液体部分については、マスク側とは逆の側(発光側)にだけ陰が出る(あるいは出やすい)という興味深い現象が確認されている。マスクする側を入れ変えた場合には液体部分について陰の位置も入れ変わり、やはりマスク側に陰が生じることが確認されている。ノズルの空気部分では光の入射側で散乱が強く生じるため透過量は相対的に少なくなり、出射側に多くの光が到達しない結果そこが暗く見え、一方、ノズルの液体部分では光の入射側で生じる散乱は比較的小さく、液体部分を通過する光量が大きくなって出射側の輝度が高まっている、という推論が成り立つ。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】国際公開2009/041683号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明の目的は、透明性を有するノズルの光学的観測に際して空気部分と液体部分とで輝度の違いを強調できるようにすることにある。あるいは、ノズル状態の解析精度を高めることにある。
【課題を解決するための手段】
【0008】
本発明に係るノズル装置は、液体の吸引及び吐出を行う透明性を有するノズルと、前記ノズルの正面側に設けられる撮像機器と、前記ノズルの背面側に設けられる機器であって、前記撮像機器から見て前記ノズルの一方側を発光させ且つ前記ノズルの他方側を発光させない一方側発光状態を形成可能なバックライト機器と、前記撮像機器で取得された画像に基づいてノズル状態を解析する手段であって、前記一方側発光状態において取得された一方側発光状態画像を用いてノズル状態を解析する画像解析手段と、を含む。
【0009】
上記構成によれば、ノズルの背面側の全体が発光するのではなく、発光領域(あるいは発光分布)を右又は左へ偏在させた状態(一方側発光状態)が形成される。つまり、ノズルの一方側(例えば右側)と他方側(例えば左側)とで異なる照明状態が形成される。ノズルにおいて液体部分と空気部分とでは屈折率や透過散乱特性等が異なるので、上記のような異なる照明状態が液体部分と空気部分のそれぞれのシルエット像の違いを際立たせることになる。よって、それを利用してノズル状態を高精度に解析することが可能となる。解析に当たっては、ノズル像の右半分又は左半分(半画像)を利用するのが望ましい。異なる複数の発光状態において取得された複数の半画像を組合せてあるいは合成してから画像解析を行うようにしてもよい。バックライト機器が一方側発光状態を形成する発光面を有していてもよいし、発光面の一部を覆うシャッタあるいはマスクを利用して一方側発光状態を形成するようにしてもよい。一方側発光状態は、少なくともノズルの一方側が発光した状態である。その際、ノズルの真後ろの部分を発光させるのが望ましいが発光させなくてもよい。いずれにしても左右方向に光量の偏在が生じるようにするのが望ましい。
【0010】
望ましくは、前記画像解析手段は、前記一方側発光状態画像に含まれるノズル像の内でノズル中心線のいずれか片側を解析対象とする。特に望ましくは、前記画像解析手段は、前記一方側発光状態画像に含まれるノズル像の内でノズル中心線の他方側を解析対象とする。実験研究によれば、一方側発光状態においては、液体部分においてノズル中心線の他方側である辺縁部分に沿って暗い部分が生じ、それとは反対側の(一方側の)辺縁部分にはそこまでの暗い部分は生じず、明るめになりやすいことが確認されている。空気部分においてはそれとは逆に、一方側が明るめの部分となり、他方側に暗い部分が生じる。よって、輝度差を旨く利用するには、ノズル像の半分を利用するのが望ましい。その場合に各高さにおいて水平ライン上の輝度分布を観察するのが望ましい。
【0011】
望ましくは、前記バックライト機器の発光面が、前記撮像機器から見てノズルの真後ろに相当する中央部分、前記中央部分の一方側である一方側部分及び前記中央部分の他方側である他方側部分で構成され、前記一方側発光状態は前記中央部分及び前記一方側部分を発光させた状態である。望ましくは、前記中央部分は撮像機器から見て前記ノズルの全体を包含する部分である。
【0012】
本発明に係るノズル装置は、液体の吸引及び吐出を行う透明性を有するノズルと、前記ノズルの正面側に設けられる撮像機器と、前記ノズルの背面側に設けられるバックライト機器と、前記バックライト機器における発光面の動作を制御する手段であって、前記発光面の内で前記撮像機器から見て前記ノズルの一方側を発光させ且つ前記ノズルの他方側を発光させない一方側発光状態と、前記発光面の内で前記撮像機器から見て前記ノズルの一方側を発光させず且つ前記ノズルの他方側を発光させる他方側発光状態と、を選択的に形成する制御手段と、前記撮像機器で取得された画像に基づいてノズル状態を解析する手段であって、前記一方側発光状態において取得された一方側発光状態画像及び前記他方側発光状態において取得された他方側発光状態画像を用いてノズル状態を解析する画像解析手段と、を含む。
【0013】
上記構成によれば、一方側発光状態画像と他方側発光状態画像の両画像を利用できるからより高精度の解析を行える。望ましくは、前記一方側発光状態画像と前記他方側発光状態画像を合成して合成画像を生成する画像処理部を含み、前記画像解析手段は前記合成画像に基づいてノズル状態の解析を行う。合成画像を基礎として輝度分布を参照するならば液体部分と空気部分の違いをより強調することが可能である。画像合成は実際に半画像を連結させてもよいが、計算上つまり解析上、仮想的に連結するようにしてもよい。但し、ユーザー確認のためには実際に連結させた上で合成画像を画像表示するのが望ましい。
【0014】
望ましくは、前記画像処理部は、前記一方側発光状態画像からそこに含まれるノズル像の内でノズル中心線の他方側に相当する第1の半画像を切り出す手段と、前記他方側発光状態画像からそこに含まれるノズル像の内でノズル中心線の一方側に相当する第2の半画像を切り出す手段と、前記第1の半画像と前記第2の半画像とをノズル中心線を境界として連結して前記合成画像を生成する手段と、を含む。例えば、ノズル像に対して閾値処理やエッジ検出等の手法を利用してノズル外形を生成し、それをベースにノズル中心軸を特定することが可能であり、またノズルの上下端を特定することが可能である。それらの情報が特定できれば元画像からノズル半分の画像を切り出すのは容易である。切り出しに当たっては極性(発光側)が考慮される。
【0015】
望ましくは、前記画像解析部は、前記合成画像において前記ノズル中心軸の方向の各位置でそれを横切る方向の輝度のばらつきを観測してプロファイルを生成する手段と、前記プロファイルに基づいて液体部分と空気部分の境界面をなす液面のレベルを検出する手段と、を含む。輝度のばらつきは、偏差、分散、等を示す情報であってもよい。積算光量の分布を求めるようにしてもよい。
【0016】
画像の解析により、液面レベルが特定されてもよいし、気泡や異物等が特定されてもよい。後者の場合、液体部分の両側に陰のない合成画像を生成し、当該液体部分について気泡等の有無を判定するようにしてもよい。あるいは、空気部分の両側に陰のない合成画像を生成し、当該空気部分について液滴等の有無を判定するようにしてもよい。このような構成によれば特にノズル内面付近を陰に邪魔されずに観察又は診断できる。
【発明の効果】
【0017】
本発明によれば、透明性を有するノズルの光学的観測に際して、空気部分と液体部分とで輝度の違いを強調できる。あるいは、ノズル状態の解析精度を高められる。
【図面の簡単な説明】
【0018】
【図1】本発明に係るノズル装置の好適な実施形態を示すブロック図である。
【図2】参考例として各種の証明条件で撮像されたノズルを示す図である。
【図3】バックライト面にノズルを近付けた状態を示す図である。
【図4】バックライト面からノズルを遠ざけた状態を示す図である。
【図5】第1のマスク処理を示す図である。
【図6】第2のマスク処理を示す図である。
【図7】ノズルの一方側に設定するマスク領域を段階的に増大させた場合を示す図である。
【図8】ノズルの一方側に設定するマスク領域を段階的に増大させた場合を示す図である。
【図9】図8の(A6)に示す状態を表す模式図である。
【図10】半画像に対する解析結果を示す図である。
【図11】他の半画像の生成を説明するための図である。
【図12】二つの半画像の合成により生成される合成画像を説明するための図である。
【図13】図1に示す装置の第1動作例を示すフローチャートである。
【図14】図1に示す装置の第2動作例を示すフローチャートである。
【発明を実施するための形態】
【0019】
図1には、本発明に係るノズル装置の好適な実施形態が示されており、図1はその全体構成を示す概念図である。本実施形態に係るノズル装置は分注装置として構成されている。もちろんノズル装置が分析装置その他の装置であってもよい。
【0020】
分注装置は、親検体チューブから親検体を吸引してそれを複数の子検体チューブに分注する装置である。ここで親検体は、例えば人体から採取された血液、尿などである。もちろん、試薬が分注されてもよいし、また蒸留水などの他の液体が分注されてもよい。
【0021】
搬送機構10はノズル18を三次元的に自在に搬送する機構である。搬送機構10はX方向に伸長したレール12とY方向に伸長したレール14とを備えている。符号16は垂直方向すなわちZ方向にノズル18を搬送するユニットを示している。ノズル18は、本実施形態において、ノズル基部(チップフィッティング)およびそれに装着されるノズルチップにより構成されるものである。ノズル18にはエアチューブを介してポンプが接続されている。ポンプによって配管内の圧力を増減することにより液体の吸引や吐出を行える。図1には、1つのノズル18が示されているが、いわゆる多連ノズルを利用するようにしてもよい。
【0022】
親検体セクション20は、例えば1または複数の親検体ラックが搭載されるセクションである。親検体ラック上には1または複数の親検体チューブが保持される。個々の親検体チューブは例えば採血管あるいは試験管などである。子検体セクション22は、複数の子検体ラックが配置されるセクションである。各子検体ラック上には1または複数の子検体チューブが保持される。各子検体チューブは例えば試験管あるいはバイアル等である。親検体ラックおよび子検体ラックがベルトコンベア等の搬送機構によって搬送されてもよい。図1には、新しいノズルチップを保持したチップ供給部およびノズルチップを取り外すチップリムーバー等は図示省略されている。
【0023】
図1に示す構成例において、親検体セクション20と子検体セクション22との間には撮像セクション24が設けられている。具体的には、撮像セクション24は撮像用のカメラ26およびバックライトユニット28を有している。ノズル18が撮像ポジションに位置決められた場合において、その手前側にカメラ26が位置し、ノズル18の背面側にバックライトユニット28が位置する。カメラ26は例えばCCD等からなる撮像装置であり、バックライトユニット28は、本実施形態において平面型のユニットであり、それは具体的にはバックライト30とその前面側に装着されたシャッター機構32とからなる。シャッター機構32は、後に説明する一方側発光状態および他方側発光状態を選択的に生成可能なユニットである。もちろん所定のマスクパターンを生成可能なユニットとして構成することが可能である。
【0024】
制御部34は図1に示される各構成の動作制御を行っている。本実施形態においては、制御部34が、画像処理部38、画像解析部40および照明制御部36を備えている。照明制御部36は上述したバックライトユニット28の動作を制御するものであり、具体的にはバックライト30のオンオフ制御およびシャッター機構32の動作を制御している。照明制御部36は、所望のマスクパターンを構築出来るようにシャッター機構32の動作を制御している。
【0025】
画像処理部38は、本実施形態においてノズル像(ノズル画像)におけるノズル半分を切り出す処理を行う機能を備えている。また画像処理部38は、必要に応じて、ノズルの右側半分の画像とノズルの左側半分の画像とを連結させて合成画像を生成する機能を備えている。画像解析部40はノズル画像、特に半画像あるいは合成画像に基づいて、ノズル状態を解析するモジュールであり、具体的には、ノズルにおける空気部分と液体部分の境界面すなわち液面を特定する機能を有している。もちろん気泡や異物などの特定が行われてもよい。本実施形態においては、画像解析部40がノズルの軸方向すなわち垂直方向に沿ってノズルの解析結果を表すプロファイルを生成する機能を有しており、そのプロファイルを参照することにより境界面等が特定される。ここでそのプロファイルは水平方向における輝度分布を表すものであり、具体的には輝度のばらつき偏差、分散といったものが解析される。もちろん、解析手法としては各種のものが挙げられる。
【0026】
図2には参考例として複数のノズル画像が示されている。図2において、A1,B1,C1,D1はそれぞれ液体吸引前の状態を示しており、すなわちノズル内はすべて空気層となっている。A2,B2,C2,D2は液体を吸引した後のノズルを示す画像である。A1とA2は第1条件に従って撮像されており、B1およびB2は第2条件に従って撮像されており、C1およびC2は第3条件に従って撮像されており、D1およびD2は第4条件に従って撮像されている。
【0027】
具体的には、図3に第1条件での位置関係が示されている。ノズル18はノズル基部42と、それに着脱可能に装着されるノズルチップ44とで構成される。ノズルチップ44は透明性を有する樹脂部材により形成されている。ノズル18の前面側すなわち撮像側にはカメラ26が設けられ、ノズル18の背面側すなわち後ろ側にはバックライトユニット28が設けられている。第1条件においては、図3に示されるように、ノズル18がバックライトユニット28の近傍に位置決められている。ここでL1は例えば30mmであり、L2は例えば165mmである。本願明細書に登場する各数値は例示に過ぎない。第1条件においては、マスク処理すなわちシャッター機能は実行されておらず、バックライトユニットが有する発光面の全体が発光状態となる。以上説明した第1条件の下で撮像された画像が図2においてA1およびA2で示されている。Sは液体部分Rと気体部分Qとの間の境界面つまり液面を示している。符号100は水平方向のラインを示し、それは輝度分布を解析する位置を表している。そのようなライン100をZ方向にスキャンさせながら各位置において輝度分布が解析される。その解析結果において、第1条件ではバックライトの全体が光っており、しかもノズルがバックライトに近い位置に位置決めされているため、気体部分Qと液体部分Rとの輝度差があまりなく、液面Sの特定は困難となる。
【0028】
図4にはノズル18の他のセッティング例が示されている。図示されるように、バックライトユニット28から比較的遠い位置にノズル18が位置決めされている。ここでL3は例えば105mmであり、L4は例えば165mmである。第2条件においてもバックライトユニットの全体が均一の輝度をもって発光状態におかれている。
【0029】
以上のような第2条件の下で撮像された画像が図2においてB1およびB2で示されている。発光面からノズルをやや遠ざけた結果、液体部分Rと気体部分Qとの輝度差がやや大きくなっており、すなわちコントラストの上昇が認められる。符号102は肉厚部分を示しており、その部分すなわち辺縁部分やや黒い筋のように表現されている。しかしながら、このような画像でもコントラストが十分とはいえない面がある。
【0030】
第3条件では、図3に示したセッティングの下で図5に示すようなマスクが利用される。具体的には、図5の(A)にはバックライトの発光面46が示されている。ここでL5は180mmであり、L6は例えば150mmである。これに対し、シャッターユニットの機能によって発光面46の右側および左側にマスク48が設けられる。残りの部分が撮像側から見た発光領域50である。ここでL7は例えば25mmであり、L8は例えば17mmである。L6は上記同様に150mmである。
【0031】
以上のような第3条件の下でノズルを撮像すると図2においてC1およびC2で示すような像が得られる。液体部分Rと気体部分Qとの間のコントラストは増大されており、境界面Sが比較的明瞭に表現されている。しかしながら、液体の種類や撮像条件いかんによっては、符号106で示されるように液体部分Rにおける辺縁部分に黒い筋あるいは暗部が生じる。そのような暗部106が比較的強く表れた場合、気体部分Qと液体部分Rとの弁別基準として暗部の有無を利用することは困難となる。ちなみに符号104は気体部分Qにおいて生じた辺縁上の黒い筋すなわち暗部を示している。
【0032】
第4条件においては、図4に示したセッティング条件が採用され、そのうえで、図6に示すマスクが利用される。(A)には発光面52が示されている。L9は150mmであり、L10は180mmである。(B)において、シャッターユニットによってマスク54がかけられており、残りの領域が発光領域56である。L11は例えば100mmであり、L12は例えば70mmである。このような図5の(B)および図6(B)において、発光領域の上辺よりも下辺が小さいのはノズルの外形に合わせたものである。但し単純な長方形のスリットであってもよい。
【0033】
上記の第4条件の下で撮像された画像が図2において(D1)および(D2)に示されている。第3条件の適用の場合と同様に、コントラストの増強が認められる。すなわち気体部分Qにおいて符号108で示すような黒筋が顕著に表れている。但し、液体部分Rにおいても条件次第では符号110で示すように辺縁部分に黒い筋あるいは暗部が生じる可能性がある。よって液体部分Rと気体部分Qとにおける暗部の発生の有無を弁別基準として境界面Sを特定するとその弁別精度が問題となってしまう。いずれにしても、従来においては、ノズル中心軸を基準として左右対称の照明条件あるいはマスク条件が利用されており、光量あるいはマスクの量が偏在したような照明条件は採用されていない。
【0034】
図7および図8には偏在したマスク領域を利用した場合における撮像結果が示されている。図7および図8において、(A1)は、マスクがなされていないものであり、すなわち符号55で示す領域全体が発光領域となっている。この場合においては、液体部分と気体部分との間においてコントラスト不足が指摘される。(A2)に示す画像では、符号56で示す領域がマスク領域であり、符号58で示す領域が照明領域である。若干ながらコントラストの増強が認められる。気体部分においてマスク側に黒い筋の発生が認められる。(A3)に示すようにマスク領域56Aをより大きくしていくと、すなわち発光領域58Aをより小さくしていくと、コントラストがより増強され、また上記の黒い筋がより顕著に発生することになる。
【0035】
図8にはさらにマスク領域を段階的に増大させた場合における撮像結果が示されている。符号56B,56C,56Dはそれぞれマスク領域を示しており、符号58B,58C,58Dはそれぞれ発光領域を示している。マスク領域の増大に伴い、コントラストの増強が認められる一方において、気体部分におけるマスク側に黒い筋がより顕著に表れているようになっている。注目すべきは、液体部分において非マスク側に黒い筋が発生しているという点である。(A6)においては、液体部分における非マスク側すなわち照明側にはっきりと黒い筋(辺縁上の暗部)が発生している。液体部分におけるマスク側は若干ながら肉厚の部分において輝度の低下が認められるものの、そこは比較的明るくなっている。照明側からの光があまり散乱を受けずに出射側に到達し、撮像側から見て非マスク側がむしろ明るくなっているのである。これに対し気体部分における非マスク側には光があまり到達しない結果、そこに黒い筋が生じてしまうものと推認される。図9には図8の(A6)に示した画像が模式図として示されている。符号60はバックライト面を表しており、符号56Dはマスク領域を示しており、符号58Dは照明領域を表している。符号18Aはノズル像(ノズルイメージ)を示している。それは大別して液体部分64と気体部分62とからなる。気体部分62においては、マスク側に黒い筋66が生じており、非マスク側にはそのような黒い筋は生じていない。液体部分64においては、逆に、非マスク側に黒い筋68が生じており、マスク側においては符号69で示すようにそのような黒い筋は生じていない。ちなみに、W1が左右方向のバックライト領域であるとすると、W2が発光領域の幅を示し、W3がマスク領域の幅を示している。ここでW4はノズル中心線からのマスク領域56Dの端部までの距離を示している。図9に示す例では、バックライト領域の全体が、ノズルの真後ろ部分に相当する中央部分と、その右側の部分と、その左側の部分と、で構成される場合、照明領域は中央部分とその一方側の部分との二つからなっている。残りの部分がマスク領域となっている。このような構成によれば、スリットと同様のコントラスト増強効果を得つつ、液体部分と気体部分において上述した黒い筋が同じ側に生じてしまうことを防止できる。以上のような特有の現象を用いて本実施形態に係るノズル装置はノズル状態の解析を行うようにしている。
【0036】
図10にはノズルを表した画像から切り出された半画像70が示されている。半画像70は、ノズルの中心線から右側又は左側に相当する画像である。図10においては背景部分については無視されている。もちろん背景部分を含めて画像を取り扱うようにしてもよい。符号100で示される観測ラインをスキャンさせながら、各スキャン位置において輝度分布を観察し、その時の輝度のばらつきDをプロットしたものがプロファイル72である。Z軸方向すなわち垂直方向に沿って、輝度のばらつきDが液面Sを境として大きく変動している。図10に示すプロファイル72は例示であり、発明説明のためのものであるが、上述した説明から明らかなように、気体部分においては上述した黒い筋66が顕著に発生しており、その直下すなわち液体部分におけるマスク側にはそのような黒い筋は生じないため、半画像70を解析対象とすれば、黒い筋の有無を巧妙に使って液面Sを特定することが可能となるのである。
【0037】
ちなみに、半画像70の生成は例えば次のように行うことが出来る。まず元画像を域値処理等により二次化した上で、エッジ検出を行い、ノズルの外形を抽出する。外形が抽出されるならば、そこから中心線71を特定することは公知技術を用いて容易であり、そのような中心線71を基準として画像を二分割することが可能となる。その場合においては、ノズル部分だけを二分割するようにしてもよいし、画像全体を二分割するようにしてもよい。なお、中心線の特定にあたっては、さらにノズルの上端および下端を特定するようにするのが望ましい。そのような2点を特定すれば、プロファイルを形成する範囲を特定可能である。
【0038】
以上のように、半画像を使って境界面を特定可能であり、また境界面以外においても例えば気泡等の特定が可能となるわけであるが、一方側の半画像と、他方側の半画像とを組み合わせて解析を行えばより高精度の解析を行うことが可能である。これについて以下に説明する。
【0039】
図11には、逆側に対してマスク処理が施された上で撮像された結果が示されている。すなわち上述したマスク処理が一方側発光状態を形成するものであった場合、図11の(A)には、他方側発光状態によって撮像された画像が示されている。ノズル像18Bにおいて、気体部分73においては、マスク側に黒い筋74が発生しており、非マスク側76にはそのような黒い筋は発生していない。気体部分78においては、マスク側82には黒い筋は生じておらず、非マスク側80にそのような黒い筋が発生している。この画像を処理して他方側の半分を切り出したものが半画像84である。それは上述した気体部分における黒い筋74を有している。
【0040】
図12には、画像合成処理が概念的に示されている。一方側発光状態で生成された半画像70と、他方側発光状態で生成された半画像84とを連結させることにより合成画像86を生成することが可能である。そのような合成画像は黒い筋66および74を含んでおり、その一方おいて液体部分において黒い筋はいずれの側にも含まれていない。したがってこのような画像を基礎として上述したプロファイルを生成するならば、図12に示すプロファイル88を取得することが出来る。液体部分と気体部分とにおいて輝度のばらつきTの点で大きな差が生じており、液面の特定精度をより高めることが可能である。
【0041】
ちなみに、一方側マスク状態は例えば図8の(A6)に示した状態であり、それを左右反転させることにより他方側発光状態を形成することが可能である。
【0042】
図13には図1に示した装置の第1動作例がフローチャートとして示されている。S10においては、バックライトユニットおよびカメラの間においていずれの位置にノズルを位置決めするのかの設定がなされ、S12においては、カメラの前方に実際にノズルが位置決められる。S14においては制御部の制御によってマスクパターンが設定される。この場合においては右側あるいは左側を覆ったパターンが生成されることになる。S16においては撮像が実行され、S18においては撮像結果から半画像を切り出す処理が実行される。S20では、そのような半画像に基づいてプロファイルが生成され、そのプロファイルの段差から液面レベルが特定される。また液面レベル以外の分析が行われてもよい。
【0043】
図14には図1に示した装置の第2動作例がフローチャートとして示されている。S30においては、上記S10と同様に距離が設定され、S32においては上記S12と同様にノズルの位置決めが行われるS34においてはマスクパターンが設定され、例えば最初に一方側発光状態が形成される。その上でS36において撮像が実行される。S38においては一方側発光状態画像および他方側発光状態画像の両画像が取得されたか否かが判断され、両方が取得されていない場合には、S34においてマスクパターンを反転させた上でS36において撮像が実行される。S40においては各画像に基づいて半画像が生成され、S42においては二つの半画像を左右連結させることによって合成画像が生成される。そして、S44においてはその合成画像に基づいてプロファイルが生成され、そのプロファイルから液面レベル等が検出されることになる。
【0044】
以上のように、上記手法によれば偏在したマスクパターンを利用することにより液体部分において一方側だけに黒い筋を積極的に生じさせて、逆にいえば、他方側の辺縁部分を明るい状態にして、ノズルの半分だけを解析対象として利用することにより、液体部分と気体部分において黒い筋の発生の有無が生じ、そのような現象を使って液面の特定等を高精度に行える。しかも右側の半画像と左側の半画像とを合成すれば、上述した作用を2倍利用することが出来るから、より高精度の特定が可能となるのである。上述した実施形態においては1か0のマスクが利用されていたが、アナログ的に光量の分布を可変させるものを利用してもよい。但し、白又は黒のマスク処理によれば黒い筋をより顕著に表示させることができるという利点が得られる。ちなみに上述した実施形態においてはノズルを二分割した半画像を利用したが、少なくとも辺縁部分に着目した画像処理であれば液面の特定を行うことが可能となる。
【符号の説明】
【0045】
10 搬送機構、18 ノズル、24 撮像セクション、26 カメラ、28 バックライトユニット、30 バックライト、32 シャッターユニット、36 照明制御部、38 画像処理部、40 画像解析部。
【技術分野】
【0001】
本発明はノズル装置に関し、特に、ノズルを撮像して撮像画像からノズル状態を評価する技術に関する。
【背景技術】
【0002】
ノズル装置はノズルを利用して液体の吸引吐出を行う装置である。ノズル装置の一種である分注装置では血清、尿などのサンプル(検体)が分注される。その際、例えば、金属製のノズル基部とそれに装着される透明性をもった樹脂からなるノズルチップ(ディスポーザブルチップ)とからなるノズルが用いられる。吸引後(あるいは吐出後)にノズル内の状況を評価するためにノズルの撮像を行うことが考えられる。その場合、ノズルを介して撮像機器の反対側にバックライトが設置され、ノズルのシルエット像が撮像機器によって取得される。
【0003】
バックライトの設け方として2通りの方法が考えられる。第1の方法は、大面積型の平板バックライトをそのまま背景として用いる方法である。この場合、ノズルにおける左右の縁辺部分(断面として見て肉厚相当部分)に着目した場合、一般に、液面上側の空気部分において辺縁部分に暗い部分(暗い筋あるいは垂直に伸びた陰)が生じるが、液面下側の液体部分においてはそのような陰は生じない(条件次第ではあるが一般的にそのような傾向が認められる)。そこで、この現象を使って空気部分と液体部分とを識別することが可能となる。例えば、ノズル軸方向の各位置において直交方向の輝度分布を観測した場合、空気部分の輝度分布と液体部分の輝度分布とでの相違を利用して液面レベルの特定を行える。しかし、大面積型のバックライトを用いる場合、ノズル背面が全体的に光ってしまうので(ノズル各部位で反射と散乱が複雑に生じるため)、コントラストの点では不利であり、空気部分の輝度分布と液体部分の輝度分布の差、あるいは、液面を強調し難い場合が生じる。
【0004】
第2の方法は、スリットを利用する方法である。すなわち、例えば大面積型の平面バックライトにマスクを施してノズル幅程度のセンタースリットを形成し、そこからの光のみをノズル背面側に与える方法である。この場合、光学的経路がシンプルになるので、空気部分と液体部分とでの輝度差つまりコントラストを増強することが可能となる。しかし、液体その他の条件次第では、上記で説明した辺縁部分に生じる陰が、空気部分のみならず、液体部分にまで出てしまうことが確認されている。その場合、液体部分の右側及び左側の両方に陰が出る。空気部分と液体部分の両方に陰が出てしまうなら、陰の有無を利用して空気部分と液体部分の差を計測する手法は適用困難となる。特許文献1には縞模様をもったバックライトの利用が開示されている。
【0005】
本発明者は、上記の第1及び第2の方法とは異なる第3の方法でも実験を行っている。当該方法は、大面積型のバックライトにおいてノズルの一方側だけをマスクする方法である。この場合、ノズルにおける空気部分については、上記第1及び第2の方法と同様に、ノズル辺縁部分に陰が生じることが確認されている。一方、ノズルにおける液体部分については、マスク側とは逆の側(発光側)にだけ陰が出る(あるいは出やすい)という興味深い現象が確認されている。マスクする側を入れ変えた場合には液体部分について陰の位置も入れ変わり、やはりマスク側に陰が生じることが確認されている。ノズルの空気部分では光の入射側で散乱が強く生じるため透過量は相対的に少なくなり、出射側に多くの光が到達しない結果そこが暗く見え、一方、ノズルの液体部分では光の入射側で生じる散乱は比較的小さく、液体部分を通過する光量が大きくなって出射側の輝度が高まっている、という推論が成り立つ。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】国際公開2009/041683号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明の目的は、透明性を有するノズルの光学的観測に際して空気部分と液体部分とで輝度の違いを強調できるようにすることにある。あるいは、ノズル状態の解析精度を高めることにある。
【課題を解決するための手段】
【0008】
本発明に係るノズル装置は、液体の吸引及び吐出を行う透明性を有するノズルと、前記ノズルの正面側に設けられる撮像機器と、前記ノズルの背面側に設けられる機器であって、前記撮像機器から見て前記ノズルの一方側を発光させ且つ前記ノズルの他方側を発光させない一方側発光状態を形成可能なバックライト機器と、前記撮像機器で取得された画像に基づいてノズル状態を解析する手段であって、前記一方側発光状態において取得された一方側発光状態画像を用いてノズル状態を解析する画像解析手段と、を含む。
【0009】
上記構成によれば、ノズルの背面側の全体が発光するのではなく、発光領域(あるいは発光分布)を右又は左へ偏在させた状態(一方側発光状態)が形成される。つまり、ノズルの一方側(例えば右側)と他方側(例えば左側)とで異なる照明状態が形成される。ノズルにおいて液体部分と空気部分とでは屈折率や透過散乱特性等が異なるので、上記のような異なる照明状態が液体部分と空気部分のそれぞれのシルエット像の違いを際立たせることになる。よって、それを利用してノズル状態を高精度に解析することが可能となる。解析に当たっては、ノズル像の右半分又は左半分(半画像)を利用するのが望ましい。異なる複数の発光状態において取得された複数の半画像を組合せてあるいは合成してから画像解析を行うようにしてもよい。バックライト機器が一方側発光状態を形成する発光面を有していてもよいし、発光面の一部を覆うシャッタあるいはマスクを利用して一方側発光状態を形成するようにしてもよい。一方側発光状態は、少なくともノズルの一方側が発光した状態である。その際、ノズルの真後ろの部分を発光させるのが望ましいが発光させなくてもよい。いずれにしても左右方向に光量の偏在が生じるようにするのが望ましい。
【0010】
望ましくは、前記画像解析手段は、前記一方側発光状態画像に含まれるノズル像の内でノズル中心線のいずれか片側を解析対象とする。特に望ましくは、前記画像解析手段は、前記一方側発光状態画像に含まれるノズル像の内でノズル中心線の他方側を解析対象とする。実験研究によれば、一方側発光状態においては、液体部分においてノズル中心線の他方側である辺縁部分に沿って暗い部分が生じ、それとは反対側の(一方側の)辺縁部分にはそこまでの暗い部分は生じず、明るめになりやすいことが確認されている。空気部分においてはそれとは逆に、一方側が明るめの部分となり、他方側に暗い部分が生じる。よって、輝度差を旨く利用するには、ノズル像の半分を利用するのが望ましい。その場合に各高さにおいて水平ライン上の輝度分布を観察するのが望ましい。
【0011】
望ましくは、前記バックライト機器の発光面が、前記撮像機器から見てノズルの真後ろに相当する中央部分、前記中央部分の一方側である一方側部分及び前記中央部分の他方側である他方側部分で構成され、前記一方側発光状態は前記中央部分及び前記一方側部分を発光させた状態である。望ましくは、前記中央部分は撮像機器から見て前記ノズルの全体を包含する部分である。
【0012】
本発明に係るノズル装置は、液体の吸引及び吐出を行う透明性を有するノズルと、前記ノズルの正面側に設けられる撮像機器と、前記ノズルの背面側に設けられるバックライト機器と、前記バックライト機器における発光面の動作を制御する手段であって、前記発光面の内で前記撮像機器から見て前記ノズルの一方側を発光させ且つ前記ノズルの他方側を発光させない一方側発光状態と、前記発光面の内で前記撮像機器から見て前記ノズルの一方側を発光させず且つ前記ノズルの他方側を発光させる他方側発光状態と、を選択的に形成する制御手段と、前記撮像機器で取得された画像に基づいてノズル状態を解析する手段であって、前記一方側発光状態において取得された一方側発光状態画像及び前記他方側発光状態において取得された他方側発光状態画像を用いてノズル状態を解析する画像解析手段と、を含む。
【0013】
上記構成によれば、一方側発光状態画像と他方側発光状態画像の両画像を利用できるからより高精度の解析を行える。望ましくは、前記一方側発光状態画像と前記他方側発光状態画像を合成して合成画像を生成する画像処理部を含み、前記画像解析手段は前記合成画像に基づいてノズル状態の解析を行う。合成画像を基礎として輝度分布を参照するならば液体部分と空気部分の違いをより強調することが可能である。画像合成は実際に半画像を連結させてもよいが、計算上つまり解析上、仮想的に連結するようにしてもよい。但し、ユーザー確認のためには実際に連結させた上で合成画像を画像表示するのが望ましい。
【0014】
望ましくは、前記画像処理部は、前記一方側発光状態画像からそこに含まれるノズル像の内でノズル中心線の他方側に相当する第1の半画像を切り出す手段と、前記他方側発光状態画像からそこに含まれるノズル像の内でノズル中心線の一方側に相当する第2の半画像を切り出す手段と、前記第1の半画像と前記第2の半画像とをノズル中心線を境界として連結して前記合成画像を生成する手段と、を含む。例えば、ノズル像に対して閾値処理やエッジ検出等の手法を利用してノズル外形を生成し、それをベースにノズル中心軸を特定することが可能であり、またノズルの上下端を特定することが可能である。それらの情報が特定できれば元画像からノズル半分の画像を切り出すのは容易である。切り出しに当たっては極性(発光側)が考慮される。
【0015】
望ましくは、前記画像解析部は、前記合成画像において前記ノズル中心軸の方向の各位置でそれを横切る方向の輝度のばらつきを観測してプロファイルを生成する手段と、前記プロファイルに基づいて液体部分と空気部分の境界面をなす液面のレベルを検出する手段と、を含む。輝度のばらつきは、偏差、分散、等を示す情報であってもよい。積算光量の分布を求めるようにしてもよい。
【0016】
画像の解析により、液面レベルが特定されてもよいし、気泡や異物等が特定されてもよい。後者の場合、液体部分の両側に陰のない合成画像を生成し、当該液体部分について気泡等の有無を判定するようにしてもよい。あるいは、空気部分の両側に陰のない合成画像を生成し、当該空気部分について液滴等の有無を判定するようにしてもよい。このような構成によれば特にノズル内面付近を陰に邪魔されずに観察又は診断できる。
【発明の効果】
【0017】
本発明によれば、透明性を有するノズルの光学的観測に際して、空気部分と液体部分とで輝度の違いを強調できる。あるいは、ノズル状態の解析精度を高められる。
【図面の簡単な説明】
【0018】
【図1】本発明に係るノズル装置の好適な実施形態を示すブロック図である。
【図2】参考例として各種の証明条件で撮像されたノズルを示す図である。
【図3】バックライト面にノズルを近付けた状態を示す図である。
【図4】バックライト面からノズルを遠ざけた状態を示す図である。
【図5】第1のマスク処理を示す図である。
【図6】第2のマスク処理を示す図である。
【図7】ノズルの一方側に設定するマスク領域を段階的に増大させた場合を示す図である。
【図8】ノズルの一方側に設定するマスク領域を段階的に増大させた場合を示す図である。
【図9】図8の(A6)に示す状態を表す模式図である。
【図10】半画像に対する解析結果を示す図である。
【図11】他の半画像の生成を説明するための図である。
【図12】二つの半画像の合成により生成される合成画像を説明するための図である。
【図13】図1に示す装置の第1動作例を示すフローチャートである。
【図14】図1に示す装置の第2動作例を示すフローチャートである。
【発明を実施するための形態】
【0019】
図1には、本発明に係るノズル装置の好適な実施形態が示されており、図1はその全体構成を示す概念図である。本実施形態に係るノズル装置は分注装置として構成されている。もちろんノズル装置が分析装置その他の装置であってもよい。
【0020】
分注装置は、親検体チューブから親検体を吸引してそれを複数の子検体チューブに分注する装置である。ここで親検体は、例えば人体から採取された血液、尿などである。もちろん、試薬が分注されてもよいし、また蒸留水などの他の液体が分注されてもよい。
【0021】
搬送機構10はノズル18を三次元的に自在に搬送する機構である。搬送機構10はX方向に伸長したレール12とY方向に伸長したレール14とを備えている。符号16は垂直方向すなわちZ方向にノズル18を搬送するユニットを示している。ノズル18は、本実施形態において、ノズル基部(チップフィッティング)およびそれに装着されるノズルチップにより構成されるものである。ノズル18にはエアチューブを介してポンプが接続されている。ポンプによって配管内の圧力を増減することにより液体の吸引や吐出を行える。図1には、1つのノズル18が示されているが、いわゆる多連ノズルを利用するようにしてもよい。
【0022】
親検体セクション20は、例えば1または複数の親検体ラックが搭載されるセクションである。親検体ラック上には1または複数の親検体チューブが保持される。個々の親検体チューブは例えば採血管あるいは試験管などである。子検体セクション22は、複数の子検体ラックが配置されるセクションである。各子検体ラック上には1または複数の子検体チューブが保持される。各子検体チューブは例えば試験管あるいはバイアル等である。親検体ラックおよび子検体ラックがベルトコンベア等の搬送機構によって搬送されてもよい。図1には、新しいノズルチップを保持したチップ供給部およびノズルチップを取り外すチップリムーバー等は図示省略されている。
【0023】
図1に示す構成例において、親検体セクション20と子検体セクション22との間には撮像セクション24が設けられている。具体的には、撮像セクション24は撮像用のカメラ26およびバックライトユニット28を有している。ノズル18が撮像ポジションに位置決められた場合において、その手前側にカメラ26が位置し、ノズル18の背面側にバックライトユニット28が位置する。カメラ26は例えばCCD等からなる撮像装置であり、バックライトユニット28は、本実施形態において平面型のユニットであり、それは具体的にはバックライト30とその前面側に装着されたシャッター機構32とからなる。シャッター機構32は、後に説明する一方側発光状態および他方側発光状態を選択的に生成可能なユニットである。もちろん所定のマスクパターンを生成可能なユニットとして構成することが可能である。
【0024】
制御部34は図1に示される各構成の動作制御を行っている。本実施形態においては、制御部34が、画像処理部38、画像解析部40および照明制御部36を備えている。照明制御部36は上述したバックライトユニット28の動作を制御するものであり、具体的にはバックライト30のオンオフ制御およびシャッター機構32の動作を制御している。照明制御部36は、所望のマスクパターンを構築出来るようにシャッター機構32の動作を制御している。
【0025】
画像処理部38は、本実施形態においてノズル像(ノズル画像)におけるノズル半分を切り出す処理を行う機能を備えている。また画像処理部38は、必要に応じて、ノズルの右側半分の画像とノズルの左側半分の画像とを連結させて合成画像を生成する機能を備えている。画像解析部40はノズル画像、特に半画像あるいは合成画像に基づいて、ノズル状態を解析するモジュールであり、具体的には、ノズルにおける空気部分と液体部分の境界面すなわち液面を特定する機能を有している。もちろん気泡や異物などの特定が行われてもよい。本実施形態においては、画像解析部40がノズルの軸方向すなわち垂直方向に沿ってノズルの解析結果を表すプロファイルを生成する機能を有しており、そのプロファイルを参照することにより境界面等が特定される。ここでそのプロファイルは水平方向における輝度分布を表すものであり、具体的には輝度のばらつき偏差、分散といったものが解析される。もちろん、解析手法としては各種のものが挙げられる。
【0026】
図2には参考例として複数のノズル画像が示されている。図2において、A1,B1,C1,D1はそれぞれ液体吸引前の状態を示しており、すなわちノズル内はすべて空気層となっている。A2,B2,C2,D2は液体を吸引した後のノズルを示す画像である。A1とA2は第1条件に従って撮像されており、B1およびB2は第2条件に従って撮像されており、C1およびC2は第3条件に従って撮像されており、D1およびD2は第4条件に従って撮像されている。
【0027】
具体的には、図3に第1条件での位置関係が示されている。ノズル18はノズル基部42と、それに着脱可能に装着されるノズルチップ44とで構成される。ノズルチップ44は透明性を有する樹脂部材により形成されている。ノズル18の前面側すなわち撮像側にはカメラ26が設けられ、ノズル18の背面側すなわち後ろ側にはバックライトユニット28が設けられている。第1条件においては、図3に示されるように、ノズル18がバックライトユニット28の近傍に位置決められている。ここでL1は例えば30mmであり、L2は例えば165mmである。本願明細書に登場する各数値は例示に過ぎない。第1条件においては、マスク処理すなわちシャッター機能は実行されておらず、バックライトユニットが有する発光面の全体が発光状態となる。以上説明した第1条件の下で撮像された画像が図2においてA1およびA2で示されている。Sは液体部分Rと気体部分Qとの間の境界面つまり液面を示している。符号100は水平方向のラインを示し、それは輝度分布を解析する位置を表している。そのようなライン100をZ方向にスキャンさせながら各位置において輝度分布が解析される。その解析結果において、第1条件ではバックライトの全体が光っており、しかもノズルがバックライトに近い位置に位置決めされているため、気体部分Qと液体部分Rとの輝度差があまりなく、液面Sの特定は困難となる。
【0028】
図4にはノズル18の他のセッティング例が示されている。図示されるように、バックライトユニット28から比較的遠い位置にノズル18が位置決めされている。ここでL3は例えば105mmであり、L4は例えば165mmである。第2条件においてもバックライトユニットの全体が均一の輝度をもって発光状態におかれている。
【0029】
以上のような第2条件の下で撮像された画像が図2においてB1およびB2で示されている。発光面からノズルをやや遠ざけた結果、液体部分Rと気体部分Qとの輝度差がやや大きくなっており、すなわちコントラストの上昇が認められる。符号102は肉厚部分を示しており、その部分すなわち辺縁部分やや黒い筋のように表現されている。しかしながら、このような画像でもコントラストが十分とはいえない面がある。
【0030】
第3条件では、図3に示したセッティングの下で図5に示すようなマスクが利用される。具体的には、図5の(A)にはバックライトの発光面46が示されている。ここでL5は180mmであり、L6は例えば150mmである。これに対し、シャッターユニットの機能によって発光面46の右側および左側にマスク48が設けられる。残りの部分が撮像側から見た発光領域50である。ここでL7は例えば25mmであり、L8は例えば17mmである。L6は上記同様に150mmである。
【0031】
以上のような第3条件の下でノズルを撮像すると図2においてC1およびC2で示すような像が得られる。液体部分Rと気体部分Qとの間のコントラストは増大されており、境界面Sが比較的明瞭に表現されている。しかしながら、液体の種類や撮像条件いかんによっては、符号106で示されるように液体部分Rにおける辺縁部分に黒い筋あるいは暗部が生じる。そのような暗部106が比較的強く表れた場合、気体部分Qと液体部分Rとの弁別基準として暗部の有無を利用することは困難となる。ちなみに符号104は気体部分Qにおいて生じた辺縁上の黒い筋すなわち暗部を示している。
【0032】
第4条件においては、図4に示したセッティング条件が採用され、そのうえで、図6に示すマスクが利用される。(A)には発光面52が示されている。L9は150mmであり、L10は180mmである。(B)において、シャッターユニットによってマスク54がかけられており、残りの領域が発光領域56である。L11は例えば100mmであり、L12は例えば70mmである。このような図5の(B)および図6(B)において、発光領域の上辺よりも下辺が小さいのはノズルの外形に合わせたものである。但し単純な長方形のスリットであってもよい。
【0033】
上記の第4条件の下で撮像された画像が図2において(D1)および(D2)に示されている。第3条件の適用の場合と同様に、コントラストの増強が認められる。すなわち気体部分Qにおいて符号108で示すような黒筋が顕著に表れている。但し、液体部分Rにおいても条件次第では符号110で示すように辺縁部分に黒い筋あるいは暗部が生じる可能性がある。よって液体部分Rと気体部分Qとにおける暗部の発生の有無を弁別基準として境界面Sを特定するとその弁別精度が問題となってしまう。いずれにしても、従来においては、ノズル中心軸を基準として左右対称の照明条件あるいはマスク条件が利用されており、光量あるいはマスクの量が偏在したような照明条件は採用されていない。
【0034】
図7および図8には偏在したマスク領域を利用した場合における撮像結果が示されている。図7および図8において、(A1)は、マスクがなされていないものであり、すなわち符号55で示す領域全体が発光領域となっている。この場合においては、液体部分と気体部分との間においてコントラスト不足が指摘される。(A2)に示す画像では、符号56で示す領域がマスク領域であり、符号58で示す領域が照明領域である。若干ながらコントラストの増強が認められる。気体部分においてマスク側に黒い筋の発生が認められる。(A3)に示すようにマスク領域56Aをより大きくしていくと、すなわち発光領域58Aをより小さくしていくと、コントラストがより増強され、また上記の黒い筋がより顕著に発生することになる。
【0035】
図8にはさらにマスク領域を段階的に増大させた場合における撮像結果が示されている。符号56B,56C,56Dはそれぞれマスク領域を示しており、符号58B,58C,58Dはそれぞれ発光領域を示している。マスク領域の増大に伴い、コントラストの増強が認められる一方において、気体部分におけるマスク側に黒い筋がより顕著に表れているようになっている。注目すべきは、液体部分において非マスク側に黒い筋が発生しているという点である。(A6)においては、液体部分における非マスク側すなわち照明側にはっきりと黒い筋(辺縁上の暗部)が発生している。液体部分におけるマスク側は若干ながら肉厚の部分において輝度の低下が認められるものの、そこは比較的明るくなっている。照明側からの光があまり散乱を受けずに出射側に到達し、撮像側から見て非マスク側がむしろ明るくなっているのである。これに対し気体部分における非マスク側には光があまり到達しない結果、そこに黒い筋が生じてしまうものと推認される。図9には図8の(A6)に示した画像が模式図として示されている。符号60はバックライト面を表しており、符号56Dはマスク領域を示しており、符号58Dは照明領域を表している。符号18Aはノズル像(ノズルイメージ)を示している。それは大別して液体部分64と気体部分62とからなる。気体部分62においては、マスク側に黒い筋66が生じており、非マスク側にはそのような黒い筋は生じていない。液体部分64においては、逆に、非マスク側に黒い筋68が生じており、マスク側においては符号69で示すようにそのような黒い筋は生じていない。ちなみに、W1が左右方向のバックライト領域であるとすると、W2が発光領域の幅を示し、W3がマスク領域の幅を示している。ここでW4はノズル中心線からのマスク領域56Dの端部までの距離を示している。図9に示す例では、バックライト領域の全体が、ノズルの真後ろ部分に相当する中央部分と、その右側の部分と、その左側の部分と、で構成される場合、照明領域は中央部分とその一方側の部分との二つからなっている。残りの部分がマスク領域となっている。このような構成によれば、スリットと同様のコントラスト増強効果を得つつ、液体部分と気体部分において上述した黒い筋が同じ側に生じてしまうことを防止できる。以上のような特有の現象を用いて本実施形態に係るノズル装置はノズル状態の解析を行うようにしている。
【0036】
図10にはノズルを表した画像から切り出された半画像70が示されている。半画像70は、ノズルの中心線から右側又は左側に相当する画像である。図10においては背景部分については無視されている。もちろん背景部分を含めて画像を取り扱うようにしてもよい。符号100で示される観測ラインをスキャンさせながら、各スキャン位置において輝度分布を観察し、その時の輝度のばらつきDをプロットしたものがプロファイル72である。Z軸方向すなわち垂直方向に沿って、輝度のばらつきDが液面Sを境として大きく変動している。図10に示すプロファイル72は例示であり、発明説明のためのものであるが、上述した説明から明らかなように、気体部分においては上述した黒い筋66が顕著に発生しており、その直下すなわち液体部分におけるマスク側にはそのような黒い筋は生じないため、半画像70を解析対象とすれば、黒い筋の有無を巧妙に使って液面Sを特定することが可能となるのである。
【0037】
ちなみに、半画像70の生成は例えば次のように行うことが出来る。まず元画像を域値処理等により二次化した上で、エッジ検出を行い、ノズルの外形を抽出する。外形が抽出されるならば、そこから中心線71を特定することは公知技術を用いて容易であり、そのような中心線71を基準として画像を二分割することが可能となる。その場合においては、ノズル部分だけを二分割するようにしてもよいし、画像全体を二分割するようにしてもよい。なお、中心線の特定にあたっては、さらにノズルの上端および下端を特定するようにするのが望ましい。そのような2点を特定すれば、プロファイルを形成する範囲を特定可能である。
【0038】
以上のように、半画像を使って境界面を特定可能であり、また境界面以外においても例えば気泡等の特定が可能となるわけであるが、一方側の半画像と、他方側の半画像とを組み合わせて解析を行えばより高精度の解析を行うことが可能である。これについて以下に説明する。
【0039】
図11には、逆側に対してマスク処理が施された上で撮像された結果が示されている。すなわち上述したマスク処理が一方側発光状態を形成するものであった場合、図11の(A)には、他方側発光状態によって撮像された画像が示されている。ノズル像18Bにおいて、気体部分73においては、マスク側に黒い筋74が発生しており、非マスク側76にはそのような黒い筋は発生していない。気体部分78においては、マスク側82には黒い筋は生じておらず、非マスク側80にそのような黒い筋が発生している。この画像を処理して他方側の半分を切り出したものが半画像84である。それは上述した気体部分における黒い筋74を有している。
【0040】
図12には、画像合成処理が概念的に示されている。一方側発光状態で生成された半画像70と、他方側発光状態で生成された半画像84とを連結させることにより合成画像86を生成することが可能である。そのような合成画像は黒い筋66および74を含んでおり、その一方おいて液体部分において黒い筋はいずれの側にも含まれていない。したがってこのような画像を基礎として上述したプロファイルを生成するならば、図12に示すプロファイル88を取得することが出来る。液体部分と気体部分とにおいて輝度のばらつきTの点で大きな差が生じており、液面の特定精度をより高めることが可能である。
【0041】
ちなみに、一方側マスク状態は例えば図8の(A6)に示した状態であり、それを左右反転させることにより他方側発光状態を形成することが可能である。
【0042】
図13には図1に示した装置の第1動作例がフローチャートとして示されている。S10においては、バックライトユニットおよびカメラの間においていずれの位置にノズルを位置決めするのかの設定がなされ、S12においては、カメラの前方に実際にノズルが位置決められる。S14においては制御部の制御によってマスクパターンが設定される。この場合においては右側あるいは左側を覆ったパターンが生成されることになる。S16においては撮像が実行され、S18においては撮像結果から半画像を切り出す処理が実行される。S20では、そのような半画像に基づいてプロファイルが生成され、そのプロファイルの段差から液面レベルが特定される。また液面レベル以外の分析が行われてもよい。
【0043】
図14には図1に示した装置の第2動作例がフローチャートとして示されている。S30においては、上記S10と同様に距離が設定され、S32においては上記S12と同様にノズルの位置決めが行われるS34においてはマスクパターンが設定され、例えば最初に一方側発光状態が形成される。その上でS36において撮像が実行される。S38においては一方側発光状態画像および他方側発光状態画像の両画像が取得されたか否かが判断され、両方が取得されていない場合には、S34においてマスクパターンを反転させた上でS36において撮像が実行される。S40においては各画像に基づいて半画像が生成され、S42においては二つの半画像を左右連結させることによって合成画像が生成される。そして、S44においてはその合成画像に基づいてプロファイルが生成され、そのプロファイルから液面レベル等が検出されることになる。
【0044】
以上のように、上記手法によれば偏在したマスクパターンを利用することにより液体部分において一方側だけに黒い筋を積極的に生じさせて、逆にいえば、他方側の辺縁部分を明るい状態にして、ノズルの半分だけを解析対象として利用することにより、液体部分と気体部分において黒い筋の発生の有無が生じ、そのような現象を使って液面の特定等を高精度に行える。しかも右側の半画像と左側の半画像とを合成すれば、上述した作用を2倍利用することが出来るから、より高精度の特定が可能となるのである。上述した実施形態においては1か0のマスクが利用されていたが、アナログ的に光量の分布を可変させるものを利用してもよい。但し、白又は黒のマスク処理によれば黒い筋をより顕著に表示させることができるという利点が得られる。ちなみに上述した実施形態においてはノズルを二分割した半画像を利用したが、少なくとも辺縁部分に着目した画像処理であれば液面の特定を行うことが可能となる。
【符号の説明】
【0045】
10 搬送機構、18 ノズル、24 撮像セクション、26 カメラ、28 バックライトユニット、30 バックライト、32 シャッターユニット、36 照明制御部、38 画像処理部、40 画像解析部。
【特許請求の範囲】
【請求項1】
液体の吸引及び吐出を行う透明性を有するノズルと、
前記ノズルの前面側に設けられる撮像機器と、
前記ノズルの背面側に設けられる機器であって、前記撮像機器から見て前記ノズルの一方側を発光させ且つ前記ノズルの他方側を発光させない一方側発光状態を形成可能なバックライト機器と、
前記撮像機器で取得された画像に基づいてノズル状態を解析する手段であって、前記一方側発光状態において取得された一方側発光状態画像を用いてノズル状態を解析する画像解析手段と、
を含むことを特徴とするノズル装置。
【請求項2】
請求項1記載の装置において、
前記画像解析手段は、前記一方側発光状態画像に含まれるノズル像の内でノズル中心線のいずれか片側を解析対象とする、
ことを特徴とするノズル装置。
【請求項3】
請求項2記載の装置において、
前記画像解析手段は、前記一方側発光状態画像に含まれるノズル像の内でノズル中心線の他方側を解析対象とする、
ことを特徴とするノズル装置。
【請求項4】
請求項3に記載の装置において、
前記バックライト機器の発光面が、前記撮像機器から見てノズルの真後ろに相当する中央部分、前記中央部分の一方側である一方側部分及び前記中央部分の他方側である他方側部分で構成され、
前記一方側発光状態は前記中央部分及び前記一方側部分を発光させた状態である、
ことを特徴とするノズル装置。
【請求項5】
請求項4記載の装置において、
前記中央部分は撮像機器から見て前記ノズルの全体を包含する部分である、
ことを特徴とするノズル装置。
【請求項6】
液体の吸引及び吐出を行う透明性を有するノズルと、
前記ノズルの正面側に設けられる撮像機器と、
前記ノズルの背面側に設けられるバックライト機器と、
前記バックライト機器における発光面の動作を制御する手段であって、前記発光面の内で前記撮像機器から見て前記ノズルの一方側を発光させ且つ前記ノズルの他方側を発光させない一方側発光状態と、前記発光面の内で前記撮像機器から見て前記ノズルの一方側を発光させず且つ前記ノズルの他方側を発光させる他方側発光状態と、を選択的に形成する制御手段と、
前記撮像機器で取得された画像に基づいてノズル状態を解析する手段であって、前記一方側発光状態において取得された一方側発光状態画像及び前記他方側発光状態において取得された他方側発光状態画像を用いてノズル状態を解析する画像解析手段と、
を含むことを特徴とするノズル装置。
【請求項7】
請求項6記載の装置において、
前記一方側発光状態画像と前記他方側発光状態画像を合成して合成画像を生成する画像処理部を含み、
前記画像解析手段は前記合成画像に基づいてノズル状態の解析を行う、
ことを特徴とするノズル装置。
【請求項8】
請求項7記載の装置において、
前記画像処理部は、
前記一方側発光状態画像からそこに含まれるノズル像の内でノズル中心線の他方側に相当する第1の半画像を切り出す手段と、
前記他方側発光状態画像からそこに含まれるノズル像の内でノズル中心線の一方側に相当する第2の半画像を切り出す手段と、
前記第1の半画像と前記第2の半画像とをノズル中心線を境界として連結して前記合成画像を生成する手段と、
を含む、ことを特徴とするノズル装置。
【請求項9】
請求項8記載の装置において、
前記画像解析部は、
前記合成画像において前記ノズル中心軸の方向の各位置でそれを横切る方向の輝度のばらつきを観測してプロファイルを生成する手段と、
前記プロファイルに基づいて液体部分と空気部分の境界面をなす液面のレベルを検出する手段と、
を含むことを特徴とするノズル装置。
【請求項1】
液体の吸引及び吐出を行う透明性を有するノズルと、
前記ノズルの前面側に設けられる撮像機器と、
前記ノズルの背面側に設けられる機器であって、前記撮像機器から見て前記ノズルの一方側を発光させ且つ前記ノズルの他方側を発光させない一方側発光状態を形成可能なバックライト機器と、
前記撮像機器で取得された画像に基づいてノズル状態を解析する手段であって、前記一方側発光状態において取得された一方側発光状態画像を用いてノズル状態を解析する画像解析手段と、
を含むことを特徴とするノズル装置。
【請求項2】
請求項1記載の装置において、
前記画像解析手段は、前記一方側発光状態画像に含まれるノズル像の内でノズル中心線のいずれか片側を解析対象とする、
ことを特徴とするノズル装置。
【請求項3】
請求項2記載の装置において、
前記画像解析手段は、前記一方側発光状態画像に含まれるノズル像の内でノズル中心線の他方側を解析対象とする、
ことを特徴とするノズル装置。
【請求項4】
請求項3に記載の装置において、
前記バックライト機器の発光面が、前記撮像機器から見てノズルの真後ろに相当する中央部分、前記中央部分の一方側である一方側部分及び前記中央部分の他方側である他方側部分で構成され、
前記一方側発光状態は前記中央部分及び前記一方側部分を発光させた状態である、
ことを特徴とするノズル装置。
【請求項5】
請求項4記載の装置において、
前記中央部分は撮像機器から見て前記ノズルの全体を包含する部分である、
ことを特徴とするノズル装置。
【請求項6】
液体の吸引及び吐出を行う透明性を有するノズルと、
前記ノズルの正面側に設けられる撮像機器と、
前記ノズルの背面側に設けられるバックライト機器と、
前記バックライト機器における発光面の動作を制御する手段であって、前記発光面の内で前記撮像機器から見て前記ノズルの一方側を発光させ且つ前記ノズルの他方側を発光させない一方側発光状態と、前記発光面の内で前記撮像機器から見て前記ノズルの一方側を発光させず且つ前記ノズルの他方側を発光させる他方側発光状態と、を選択的に形成する制御手段と、
前記撮像機器で取得された画像に基づいてノズル状態を解析する手段であって、前記一方側発光状態において取得された一方側発光状態画像及び前記他方側発光状態において取得された他方側発光状態画像を用いてノズル状態を解析する画像解析手段と、
を含むことを特徴とするノズル装置。
【請求項7】
請求項6記載の装置において、
前記一方側発光状態画像と前記他方側発光状態画像を合成して合成画像を生成する画像処理部を含み、
前記画像解析手段は前記合成画像に基づいてノズル状態の解析を行う、
ことを特徴とするノズル装置。
【請求項8】
請求項7記載の装置において、
前記画像処理部は、
前記一方側発光状態画像からそこに含まれるノズル像の内でノズル中心線の他方側に相当する第1の半画像を切り出す手段と、
前記他方側発光状態画像からそこに含まれるノズル像の内でノズル中心線の一方側に相当する第2の半画像を切り出す手段と、
前記第1の半画像と前記第2の半画像とをノズル中心線を境界として連結して前記合成画像を生成する手段と、
を含む、ことを特徴とするノズル装置。
【請求項9】
請求項8記載の装置において、
前記画像解析部は、
前記合成画像において前記ノズル中心軸の方向の各位置でそれを横切る方向の輝度のばらつきを観測してプロファイルを生成する手段と、
前記プロファイルに基づいて液体部分と空気部分の境界面をなす液面のレベルを検出する手段と、
を含むことを特徴とするノズル装置。
【図1】
【図3】
【図4】
【図5】
【図6】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図2】
【図7】
【図8】
【図3】
【図4】
【図5】
【図6】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図2】
【図7】
【図8】
【公開番号】特開2013−79833(P2013−79833A)
【公開日】平成25年5月2日(2013.5.2)
【国際特許分類】
【出願番号】特願2011−218960(P2011−218960)
【出願日】平成23年10月3日(2011.10.3)
【出願人】(390029791)日立アロカメディカル株式会社 (899)
【Fターム(参考)】
【公開日】平成25年5月2日(2013.5.2)
【国際特許分類】
【出願日】平成23年10月3日(2011.10.3)
【出願人】(390029791)日立アロカメディカル株式会社 (899)
【Fターム(参考)】
[ Back to top ]