撮像装置および制御方法
【課題】全体の処理を高速化することができるようにする。
【解決手段】撮像制御部は、補助装置からのトリガに対応して、イメージャの状態を示すステータス信号を補助装置に発行し、イメージャによる撮像を行う。また、撮像制御部は、補助装置からのトリガに対応して、イメージャから読み出されたデータをメモリに書き込み、書き込まれたデータを、USB I/Fに出力し、PCに転送させる。本開示は、例えば、観察対象の標本の拡大像を撮像する顕微鏡システムに適用することができる。
【解決手段】撮像制御部は、補助装置からのトリガに対応して、イメージャの状態を示すステータス信号を補助装置に発行し、イメージャによる撮像を行う。また、撮像制御部は、補助装置からのトリガに対応して、イメージャから読み出されたデータをメモリに書き込み、書き込まれたデータを、USB I/Fに出力し、PCに転送させる。本開示は、例えば、観察対象の標本の拡大像を撮像する顕微鏡システムに適用することができる。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、撮像装置および制御方法に関し、特に、全体の処理を高速化することができるようにした撮像装置および制御方法に関する。
【背景技術】
【0002】
近年、溶液のpH測定、DNAやたんぱく質の解析などを2次元画像として表示する化学センサ、またはバイオセンサの需要が増加している。このような化学センサにおいては、例えば、外部シャッタを用いない、蛍光検出用カメラボードが備えられるものがある。この場合、S/N比をよくするために、光源とカメラの露光の正確な同期が必要となる。
【0003】
例えば、その同期には、安価なことから、USB(Universal Serial Bus)が用いられることがある。なお、特許文献1には、USBを介して同期信号を受け取ることにより、撮像を開始する撮像装置が記載されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2006−30162号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、USBの特性として、時間制御に難があるため、USBで同期をとろうとすると、USBでの転送の開始に時間がかかってしまう。
【0006】
本開示は、このような状況に鑑みてなされたものであり、全体の処理を高速化することができるものである。
【課題を解決するための手段】
【0007】
本開示の一側面の撮像装置は、外部の装置からのトリガを、撮像素子のリセットおよびリードアウトのタイミングで受ける受付部と、前記受付部により前記トリガを受け付けたとき、前記装置に対して、前記撮像素子の状態を示すステータスを返す出力部とを備える。
【0008】
前記装置は、光源の発光タイミングも制御することができる。
【0009】
前記出力部は、前記撮像素子の状態が変化したときも、前記装置に対して、前記ステータスを返すことができる。
【0010】
前記トリガは、前記リセットまたは前記リードアウトを示す2種類で構成され、前記受付部により受け付けた前記トリガが、前記リードアウトを示す場合、前記撮像素子からのデータをメモリに書き込む書き込み部をさらに備えることができる。
【0011】
前記書き込み部により前記メモリに前記データが書き込まれ始めたところで、前記メモリに書き込まれた前記データの送信を開始する送信部をさらに備えることができる。
【0012】
前記送信部は、USB(Universal Serial Bus)を介して、前記メモリに書き込まれた前記データを送信することができる。
【0013】
連続撮像を行う場合、前記トリガは、n枚目の前記リードアウトおよびn+1枚目の前記リセットを示すことができる。
【0014】
前記撮像素子に対して同期信号を発行する同期信号発行部と、前記受付部により前記トリガを受け付けたとき、前記撮像素子を低電流モードから起動させ、前記同期信号発行部による前記同期信号の発行終了後に、前記撮像素子を低電流モードに移行させるモード移行部とをさらに備えることができる。
【0015】
本開示の一側面の制御方法は、撮像装置の制御方法であって、外部の装置からのトリガを、撮像素子のリセットおよびリードアウトのタイミングで受け、前記トリガを受け付けたとき、前記装置に対して、前記撮像素子の状態を示すステータスを返すステップを含む。
【0016】
本開示の一側面においては、外部の装置からのトリガが、撮像素子のリセットおよびリードアウトのタイミングで受けられ、前記トリガを受け付けたとき、前記装置に対して、前記撮像素子の状態を示すステータスが返される。
【発明の効果】
【0017】
本開示の一側面によれば、撮像することができる。特に、全体の処理を高速化することができる。
【図面の簡単な説明】
【0018】
【図1】本技術を適用した顕微鏡システムの構成例を示すブロック図である。
【図2】顕微鏡システムのさらに詳細な構成を示すブロック図である。
【図3】撮像制御部の構成を示すブロック図である。
【図4】従来の撮像処理のタイミングチャートである。
【図5】本技術の撮像処理のタイミングチャートである。
【図6】本技術の撮像処理の他のタイミングチャートである。
【図7】撮像装置の制御処理を説明するフローチャートである。
【図8】撮像制御部の他の構成を示すブロック図である。
【図9】本技術の撮像処理の他のタイミングチャートである。
【図10】撮像装置の制御処理を説明するフローチャートである。
【図11】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【0019】
以下、本開示を実施するための形態(以下実施の形態とする)について説明する。
【0020】
[顕微鏡システムの構成例]
図1は、本技術を適用した顕微鏡システム1の構成例を示す図である。
【0021】
顕微鏡システム1は、顕微鏡11、撮像装置12、PC(Personal Computer)13、補助装置14、およびPSU(Power Supply Unit)15から構成される。
【0022】
顕微鏡11は、例えば観察者の網膜上または撮像装置12のイメージセンサ上に観察対象の標本の拡大像を結像させるための光学系21と、当該標本が載置されるステージ22とを有する。ステージ22は、XYステージ22−1と、Zステージ22−2とから構成される。XYステージ22−1は、PC13のCPU(Central Processing Unit)41の制御により、または観察者による図示せぬハンドルの操作に応じて、光学系21に対して相対的にXY平面(例えば水平面)に平行に移動する。これにより、ステージ22に載置された標本もXY平面に平行に移動する。また、Zステージ22−2は、PC13のCPU41の制御により、または観察者による図示せぬハンドルの操作に応じて、光学系21に対して相対的にZ軸方向(例えば垂直方向)に平行に移動する。これにより、ステージ22に載置された標本もZ軸方向に平行に移動する。
【0023】
すなわち、観察者は、ステージ22に載置された標本の拡大像を、光学系21を介して視認することができる。この場合、観察者は、標本の拡大像を自身の網膜上で合焦させるために、PC13や図示せぬハンドルを操作して、XYステージ22−1やZステージ22−2を移動させることで、光学系21に対する標本の相対的な配置位置を、3次元空間上の任意の位置に移動させる。
【0024】
また例えば、撮像装置12が顕微鏡11に対して装着されると、撮像装置12は、ステージ22に載置された標本の拡大像を、光学系21を介して撮像することができる。
【0025】
撮像装置12は、後述するイメージャ(図2のイメージャ112)が、その一部として形成されるかまたは装着されたカメラボード31を有する。カメラボード31は、例えば、蛍光検出用のカメラボードで構成される。カメラボード31は、PC13による制御により、ステージ22に載置された標本の拡大像を、光学系21を介して撮像する。この撮像において、カメラボード31の各種動作のトリガとなる信号は補助装置14から供給される。
【0026】
PC13は、CPU41とチップセット42を含むように構成される。CPU41は、PC13の全体の動作を制御する。チップセット42は、CPU41の制御の下、各種処理を実行するチップ群から構成され、このようなチップの1つとしてホストコントローラ51を有している。ホストコントローラ51は、USB(Universal Serial Bus)接続された機器の遠隔制御を行う。ここでは、ホストコントローラ51は、USB接続されたカメラボード31を遠隔制御することによって、上述の如く標本の拡大像を撮像させる。
【0027】
補助装置14は、後述する光源(図2の光源101)の発光と、カメラボード31の露光を同期させるように、各種動作のトリガとなる信号を、光源とカメラボード31に供給する。
【0028】
PSU(Power Supply Unit)15は、顕微鏡システム1を構成する各部、例えばPC13やカメラボード31に電力を供給する。
【0029】
[顕微鏡システムの詳細な構成例]
図2は、顕微鏡システムのさらに詳細な構成を示すブロック図である。
【0030】
図2の例においては、顕微鏡システム1として、PC13、補助装置14、およびカメラボード31の他に、光源101、試料102、およびハーフミラー103が示されている。
【0031】
PC13(のホストコントローラ51)は、USBを介して、カメラボード31を制御し、試料102を複数回撮像させる。例えば、USB2.0が用いられる。
【0032】
補助装置14は、カメラボード31の各種動作のトリガとなる信号を、カメラボード31に供給する。補助装置14は、カメラボード31からの、トリガとなる信号に対応して発行されるステータス信号を受け、ステータス信号が示すカメラボード31の状態に応じて、光源101を発光させる。
【0033】
光源101は、補助装置14から供給されるタイミングに合わせて、励起光を発光する。試料102は、撮像の対象物であり、図1の標本を構成する。ハーフミラー103は、所定の波長(例えば、波長1)の光を反射させ、他の所定の波長(例えば、波長2)の光を通過させるフィルタなどで構成される。
【0034】
光源101より発光された励起光(波長1)は、光学系21に構成されるハーフミラー103により反射されて試料102に照射される。この光は、試料102に反射されて波長が変わる。試料102に対して反射した光(波長2)は、ハーフミラー103を透過し、カメラボード31の受光面111に受光される。
【0035】
カメラボード31は、受光面111、イメージャ112、撮像制御部113、メモリ114、およびUSB I/F115を含むように構成されている。
【0036】
受光面111は、照射された光を受光する。イメージャ112は、例えば、CMOS(Complementary Metal Oxide Semiconductor:相補性金属酸化膜半導体)などの固体撮像素子により構成される。なお、イメージャ112は、CCD(Charge Coupled Device:電荷結合素子)で構成されてもよい。イメージャ112は、受光面111に照射された光を検出し、データとして撮像制御部113に出力する。
【0037】
撮像制御部113は、例えば、FPGA(Field Programmable Gate Array)やIC(Integrated Circuit)などにより構成される。撮像制御部113は、PC13からの制御信号を、USB I/F115から受け取り、試料102の撮像を開始する。
【0038】
撮像制御部113は、補助装置14からのトリガとなる信号(以下、単にトリガとも称する)に対応して、イメージャ112の状態を示すステータス信号を補助装置14に発行し、イメージャ112による撮像を行う。また、撮像制御部113は、補助装置14からのトリガに対応して、イメージャ112から読み出されたデータをメモリ114に書き込み、書き込まれたデータを、USB I/F115に出力し、PC13に転送させる。
【0039】
メモリ114は、例えば、DDR2(Double Data Rate 2) SDRAMなどで構成される。メモリ114は、撮像制御部113の制御のもと、イメージャ112からのデータを蓄積する。
【0040】
USB I/F115は、PC13からの制御信号を、撮像制御部113に供給する。USB I/F115は、撮像制御部113の制御のもと、メモリ114に書き込まれたデータ(画像)を、PC13に転送する。
【0041】
[撮像制御部の構成例]
図3は、撮像制御部の構成を示すブロック図である。
【0042】
図3の例においては、撮像制御部113は、トリガ受付部131、ステータス出力部132、制御部133、同期信号発行部134、書き込み部135、および転送部136を含むように構成されている。
【0043】
トリガ受付部131は、補助装置14からのトリガを受け付け、制御部133に供給する。ステータス出力部132は、制御部133からのステータス信号を、補助装置14に出力する。
【0044】
制御部133は、PC13からの制御信号を、USB I/F115から受け取り、試料102の撮像を開始する。制御部133は、トリガ受付部131から供給されるトリガに対応して、イメージャ112の状態を確認し、イメージャ112の準備状態を示すステータス信号を発行し、ステータス出力部132に供給する。トリガは、イメージャ112のリセットまたはリードアウトを示す信号の2種類で構成される。
【0045】
制御部133は、トリガがリセットを示す信号の場合、イメージャ112の準備中を示すステータス信号を補助装置14に対して発行する。そして、制御部133は、同期信号発行部134に同期信号を発行させ、イメージャ112の各撮像素子に取り込まれたデータを読み出させてリセットする。撮像素子のリセットが最終ラインまで完了すると、イメージャ112は、露光準備完了状態となる。イメージャ112が準備完了状態になると、制御部133は、補助装置14に対して、イメージャ112の準備完了を示すステータス信号を発行する。このステータス信号を受け取った補助装置14は、ステータス信号が示す準備完了に応じて、光源101を発光させる。これにより、イメージャ112における露光が開始される。
【0046】
制御部133は、トリガがリードアウトを示す信号の場合、イメージャ112の準備中を示すステータス信号を補助装置14に対して発行する。そして、制御部133は、同期信号発行部134に同期信号を発行させ、イメージャ112の各撮像素子に取り込まれたデータを読み出させてリセットする。また、制御部133は、書き込み部135を制御し、イメージャ112の各撮像素子から読み出されたデータを、メモリ114に書き込ませ、転送部136を制御し、PC13に転送させる。そして、撮像素子のリセットが最終ラインまで完了すると、イメージャ112は、露光準備完了状態となる。イメージャ112が準備完了状態になると、制御部133は、補助装置14に対して、イメージャ112の準備完了を示すステータス信号を発行する。
【0047】
なお、複数枚数連続撮像の場合、トリガがリードアウトを示す信号は、次の撮像のリセットも示す。したがって、この場合、メモリ114への書き込みおよびPC13への転送開始のタイミングと同時に、準備完了を示すステータス信号を受け取った補助装置14は、光源101を発光させるので、イメージャ112における露光が開始される。
【0048】
同期信号発行部134は、制御部133の制御のもと、イメージャ112に対して、垂直同期信号および水平同期信号を発行する。書き込み部135は、制御部133からの制御のもと、イメージャ112の各撮像素子から読み出されたデータを、メモリ114に書き込む。転送部136は、制御部133の制御のもと、メモリ114に書き込まれたデータから順に、USB I/F 115を介して、PC13に転送する。
【0049】
[従来のタイミングチャートの例]
次に、図4のタイミングチャートを参照して、本技術との比較のために従来の撮像装置の撮像処理について説明する。図4は、従来の撮像装置による撮像および転送のタイミングチャートを示している。
【0050】
図4の例においては、上から順に、光源ON、垂直同期信号、水平同期信号、イメージャのセッティング、0乃至(LAST)の水平ラインの撮像素子の状態、およびPCへの画像転送の各タイミングが示されている。
【0051】
従来の撮像装置においては、USBを利用して、撮像が制御されていた。例えば、従来の撮像装置においては、イメージャのセッティングが完了したタイミングの次のタイミングt1で、垂直同期信号と水平同期信号が発行され、そのタイミングt1以降、イメージャの各水平ラインの各撮像素子の読み出し、リセットが行われた。各撮像素子における積分は、リセット後、受光データが積分されて、蓄積されていることを表している。
【0052】
最後の水平ラインの撮像素子のリセットが終わったタイミングt2で、光源をON状態にすることで、イメージャにおいて露光がなされ、光源がOFF状態になったタイミングt3で、従来の撮像装置においては、イメージャのセッティングが行われた。次に、従来の撮像装置においては、イメージャのセッティングが完了したタイミングの次のタイミングt4で、垂直同期信号と水平同期信号の発行が開始され、イメージャの各水平ラインの各撮像素子の読み出し、リセットが行われた。
【0053】
そして、従来の撮像装置においては、最後の水平ラインの撮像素子のリセットが終わったタイミングt5で、ようやく、USBを介して、PCへの画像転送が開始されていた。
【0054】
以上のように、外部シャッタを用いないカメラボードにおける光源とカメラの露光の同期は、従来、例えば、安価であり、消費電力も少ないUSBを利用してPCなどによりソフトウェア的にトリガを出すことで行われていた。
【0055】
しかしながら、USBは、時間制御が得意ではない。このため、タイミングを正確に制御することが困難であり、タイミングが遅れてしまう。したがって、図4を参照して上述したように、イメージャの各水平ラインの各撮像素子の読み出し、リセットが終了するまでは、PCへの画像転送を行うことが困難であり、処理速度が遅くなっていた。また、USBによる転送速度も速くはないので、トリガとデータ転送が重なった場合にはデータ転送の終了を待つ必要があった。
【0056】
そこで、顕微鏡システム1においては、補助装置14によりカメラボード31に対してハード的なトリガを与えることでカメラボード31の各動作を制御させるようにした。これにより、カメラボード31における全体の処理時間(スループット)が速くなるので、結果的にUSBの転送速度の弱点がカバーされる。したがって、安価なUSBを用いた場合でも、全体的な処理を高速化することができる。
【0057】
[タイミングチャートの例]
図5は、撮像装置12のタイミングチャートを示している。
【0058】
図5の例においては、上から順に、光源ON、PC13からの制御信号、補助装置14からのトリガ(リセット)とトリガ(リードアウト)、垂直同期信号、水平同期信号、イメージャのセッティングの各タイミングが示されている。さらに、0乃至(LAST)の水平ライン、補助装置14へのステータス信号、メモリ114へのデータの蓄積、およびPC13への画像転送の各タイミングが示されている。
【0059】
光源ONのタイミングは、光源101がON状態(発光中)のタイミングを示している。PC13からの制御信号は、制御部133が、PC13から撮像の制御信号を、USB I/F115を介して受け取るタイミングを示している。トリガ(リセット)およびトリガ(リードアウト)の各タイミングは、それぞれ、制御部133が、補助装置14からのトリガを受け付けたタイミングを示している。
【0060】
垂直同期信号および水平同期信号の各タイミングは、同期信号発行部134により各信号が発行されたタイミングを示している。セッティングのタイミングは、制御部133によるイメージャ112の各種セッティングを行う時間を示している。
【0061】
0乃至(LAST)の水平ラインの各タイミングは、各撮像素子の動作状態のタイミングを示している。各ラインにおける黒ベタ部分は、1ラインリードアウトしている状態を示し、ハッチ部分は、1ラインの撮像素子をリセットしている状態であることを示している。なお、各ラインにおける積分は、リセット後、各撮像素子に、受光データが積分されて、蓄積されていることを表している。
【0062】
ステータス信号は、ハイ(High)状態が、イメージャ112が準備状態であることを示し、ロー(Low)状態が、イメージャ112が準備完了状態であることを示している。そして、ステータス信号の立ち上がりが、イメージャ112が準備状態に入ったところであることを示し、このタイミングで、制御部133は、準備中を示すステータス信号を補助装置14に出力する。一方、ステータス信号の立ち下がりが、イメージャの準備が完了したところであることを示し、このタイミングで、制御部133は、準備完了を示すステータス信号を補助装置14に出力する。
【0063】
メモリ114への蓄積は、各撮像素子から読み出されたデータを、メモリ114に蓄積している時間を示している。PC13への画像転送は、メモリ114に蓄積されたデータを転送する時間を示している。
【0064】
例えば、制御部133は、PC13からの撮像の制御信号を、USB I/F115を介して受け取る。その後、補助装置14からリセットを示すトリガが発行される。制御部133は、トリガ受付部131を介して、リセットを示すトリガを受け付け、その受け付けたタイミングt11において、準備中を示すステータス信号を補助装置14に出力するとともに、イメージャ112のセッティングを行う。
【0065】
制御部133は、セッティングが終了したタイミングの次のタイミングt12で、同期信号発行部134に同期信号を発行開始させる。この同期信号に対応して、イメージャ112の各撮像素子は、0番目の水平ラインから、リードアウトとリセットを行う。
【0066】
イメージャ112の最後の水平ラインのリセットが完了したタイミングt13において、制御部133は、準備完了を示すステータス信号を補助装置14に出力する。これに対応して、補助装置14は、光源101を所定時間α発光させる。この間、イメージャ112の露光が行われる。なお、この発光の時間は、同じ場合もあるが、試料の種類、光の種類、またはフィルタの種類などに応じて異なる。
【0067】
所定時間αが経過すると、補助装置14は、光源101をオフさせるとともに、リードアウトを示すトリガを発行する。制御部133は、そのタイミングt14において、準備中を示すステータス信号を補助装置14に出力するとともに、イメージャ112のセッティングを行う。
【0068】
制御部133は、セッティングが終了したタイミングの次のタイミングt15で、同期信号発行部134に垂直および水平同期信号を発行開始させる。このとき、さらに、制御部133は、書き込み部135と転送部136を制御し、メモリ114への書き込みと書き込まれたデータのPC13への転送を開始させる。
【0069】
この同期信号に対応して、イメージャ112の各撮像素子は、0番目の水平ラインから、リードアウトとリセットを行う。そして、書き込み部135は、イメージャ112の各撮像素子から読み出されたデータを、メモリ114へ書き込み、転送部136は、すべての書き込みを待たずに、メモリ114に書き込まれたデータからPC13に転送する。
【0070】
イメージャ112の最後の水平ラインのリードアウトが完了したタイミングt16で、メモリ114への書き込みも終了する。そして、イメージャ112の最後の水平ラインのリセットが完了したタイミングt17において、制御部133は、準備完了を示すステータス信号を補助装置14に出力する。
【0071】
t17以降も、メモリ114へ書き込まれたデータがすべて転送されるまで、PC13への転送は行われる。
【0072】
以上のようにして、光源の発光タイミングも制御する補助装置14から、イメージャ112のリセットおよびリードアウトのトリガを受け付け、かつ、イメージャ112のステータス信号を補助装置14に返すようにした。
【0073】
これにより、光源101の発光タイミングと、イメージャ112の露光タイミングを合わせることが可能となる。その結果、イメージャ112のシステム特性であるS/N比を向上させることができる。
【0074】
また、これにより、メモリ114にすべてのデータが書き込まれてからではなく、メモリ114に書き込まれたデータから、すぐにPC13への転送を開始することができる。その結果、メモリ114からの転送速度に比して、USBによる転送速度が遅くても、全体の処理時間を、従来と比して短縮することができる。
【0075】
[タイミングチャートの他の例]
図6は、2枚連続撮像する場合の撮像装置12のタイミングチャートを示している。
【0076】
図6の例においては、上から順に、光源ON、PC13からの制御信号、補助装置14からのトリガ(リセット)とトリガ(リードアウト)、垂直同期信号、水平同期信号、イメージャのセッティングの各タイミングが示されている。さらに、0乃至(LAST)の水平ライン、補助装置14へのステータス信号、メモリ114へのデータの蓄積、およびPC143への画像転送の各タイミングが示されている。なお、各タイミングについての詳細な説明は、図5の例と同様であるので省略する。
【0077】
例えば、制御部133は、PC13からの2枚連続撮像の制御信号を、USB I/F115を介して受け取る。その後、補助装置14からリセットを示すトリガが発行される。制御部133は、トリガ受付部131を介して、リセットを示すトリガを受け付け、その受け付けたタイミングt21において、準備中を示すステータス信号を補助装置14に出力するとともに、イメージャ112のセッティングを行う。
【0078】
制御部133は、セッティングが終了したタイミングの次のタイミングt22で、同期信号発行部134に垂直および水平同期信号を発行開始させる。この同期信号に対応して、イメージャ112の各撮像素子は、0番目の水平ラインから、リードアウトとリセットを行う。
【0079】
イメージャ112の最後の水平ラインのリセットが完了したタイミングt23において、制御部133は、準備完了を示すステータス信号を補助装置14に出力する。これに対応して、補助装置14は、光源101を所定時間β発光させる。この間、イメージャ112の露光が行われる。
【0080】
所定時間βが経過すると、補助装置14は、光源101をオフさせるとともに、リードアウトを示すトリガを発行する。なお、このトリガは、1枚目のリードアウトを示すとともに、2枚目のリセットを示している。制御部133は、そのトリガを受け付けたタイミングt24において、準備中を示すステータス信号を補助装置14に出力するとともに、イメージャ112のセッティングを行う。
【0081】
制御部133は、セッティングが終了したタイミングの次のタイミングt25で、同期信号発行部134に同期信号を発行開始させる。このとき、さらに、制御部133は、書き込み部135と転送部136を制御し、メモリ114への書き込みと、書き込まれたデータのPC13への転送を開始させる。
【0082】
この同期信号に対応して、イメージャ112の各撮像素子は、0番目の水平ラインから、リードアウトとリセットを行う。そして、書き込み部135は、イメージャ112の各撮像素子から読み出されたデータを、メモリ114へ書き込み、転送部136は、すべてのデータの書き込み完了を待たずに、メモリ114に書き込まれたデータから、PC13に転送する。
【0083】
イメージャ112の最後の水平ラインのリードアウトが完了したタイミングt26で、メモリ114への書き込みも終了する。そして、イメージャ112の最後の水平ラインのリセットが完了したタイミングt27において、制御部133は、準備完了を示すステータス信号を補助装置14に出力する。
【0084】
t27以降も、メモリ114へ書き込まれたデータがすべて転送されるまで、PC13への転送は行われる。
【0085】
準備完了を示すステータス信号に対応して、補助装置14は、光源101を所定時間γ発光させるので、この間、イメージャ112の露光が行われる。
【0086】
所定時間γが経過すると、補助装置14は、光源101をオフさせるとともに、リードアウトを示すトリガを発行する。補助装置14からのトリガなので、USBによるデータ転送中も受け付けが可能である。制御部133は、トリガを受けたタイミングt28において、準備中を示すステータス信号を補助装置14に出力するとともに、イメージャ112のセッティングを行う。
【0087】
制御部133は、セッティングが終了したタイミングの次のタイミングt29で、同期信号発行部134に垂直および水平同期信号を発行開始させる。このとき、さらに、制御部133は、書き込み部135と転送部136を制御し、メモリ114への書き込みと書き込まれたデータのPC13への転送を開始させる。
【0088】
この同期信号に対応して、イメージャ112の各撮像素子は、0番目の水平ラインから、リードアウトとリセットを行う。そして、書き込み部135は、イメージャ112の各撮像素子から読み出されたデータを、メモリ114へ書き込み、転送部136は、メモリ114に書き込まれたデータからPC13に転送する。
【0089】
イメージャ112の最後の水平ラインのリードアウトが完了したタイミングt30で、メモリ114への書き込みも終了する。そして、イメージャ112の最後の水平ラインのリセットが完了したタイミングt31において、制御部133は、準備完了を示すステータス信号を補助装置14に出力する。
【0090】
t31以降も、メモリ114へ書き込まれたデータがすべて転送されるまで、PC13への転送は行われる。
【0091】
以上のようにして、複数連続撮像の場合、1枚目のリードアウトのトリガと、2枚目のリセットのトリガを兼用するようにした。これにより、トリガ発行にかかる処理時間を短縮させることができる。また、PC13へのデータ転送中もトリガを受け付けることができるので、全体の処理時間を短縮させることができる。
【0092】
なお、図6の例においては、2枚連続撮像の例を示したが、枚数は、2枚以上であれば、何枚であっても同様の処理が行われる。
【0093】
[制御処理の流れ]
次に、図7のフローチャートを参照して、撮像装置12の制御処理の流れを説明する。この制御処理は、PC13から、撮像の制御信号がUSBを介して受信された場合に開始される処理である。
【0094】
補助装置14は、撮像装置12に対して、トリガを発行し、トリガ受付部131に出力する。
【0095】
ステップS111において、制御部133は、トリガ受付部131を介して、補助装置14からのトリガを受け付ける。
【0096】
制御部133は、ステップS112において、準備中を示すステータス信号を補助装置14に返すとともに、ステップS113において、イメージャ112のセッティングを行う。
【0097】
制御部133は、ステップS114において、補助装置14からのトリガが、リセットを示すトリガであるか否かを判定し、リセットを示すトリガであると判定した場合、処理は、ステップS115に進む。制御部133は、ステップS115において、同期信号発行部134を制御し、同期信号を発行させる。
【0098】
この同期信号に対応して、イメージャ112の各撮像素子は、0番目の水平ラインから、リードアウトとリセットを行う。
【0099】
一方、ステップS114において、補助装置14からのトリガが、リードアウトを示すトリガであると判定された場合、処理は、ステップS116に進む。ステップS116において、同期信号発行部134は、イメージャ112に対して、同期信号を発行する。
【0100】
この同期信号に対応して、イメージャ112の各撮像素子は、0番目の水平ラインから、リードアウトとリセットを行う。
【0101】
ステップS117において、書き込み部135は、イメージャ112の各撮像素子から読み出されたデータを、メモリ114へ書き込む。転送部136は、ステップS118において、すべての書き込みを待たずに、メモリ114に書き込まれたデータから、USBを介して、PC13に転送開始する。
【0102】
ステップS115またはS118の処理後、処理は、ステップS119に進む。最後の水平ラインのリードアウトとリセットが終わり、イメージャ112は、準備完了状態となる。それに対応して、メモリ114への書き込みが終わると、ステップS119において、制御部133は、準備完了を示すステータス信号を補助装置14に出力する。なお、これに対応して、補助装置14は、まだ撮像が終了していない場合、光源101を発光させる。
【0103】
ステップS120において、制御部133は、PC13より指示された撮像枚数の撮像が終了したか否かを判定する。撮像枚数の撮像が終了していないと判定された場合、ステップS111に戻り、それ以降の処理が繰り返される。
【0104】
すなわち、撮像枚数の撮像が終了していない場合、補助装置14は、光源101をオフさせるとともに、リードアウトを示すトリガを発行してくるので、ステップS111において、補助装置14からのトリガを受け、それ以降の処理を繰り返す
【0105】
一方、ステップS120において、PC13より指示された撮像枚数の撮像が終了したと判定された場合、本制御処理は終了される。
【0106】
[撮像制御部の他の構成例]
図8は、撮像制御部の他の構成を示すブロック図である。
【0107】
図8の例においては、撮像制御部113は、トリガ受付部131、ステータス出力部132、制御部133、同期信号発行部134、書き込み部135、および転送部136を含むように構成されている。なお、この構成は、図3の撮像制御部113と同様の構成であるので、各部の詳細は適宜省略される。
【0108】
さらに、撮像制御部113には、図3の撮像制御部113と異なり、モード移行部151も含むように構成される。
【0109】
カメラボード31は、イメージャ112を低電流にするスリープモードと、通常電流にするアウェイクモードを有している。スリープモードにおいては、イメージャ112の撮像素子は、リセットや読み出しを行わない。スリープモードの場合、低電流となるので、その間のイメージャ112の熱雑音を減らすことができる。
【0110】
制御部133は、補助装置14からのトリガを受け付けたとき、同期信号を発行させる前に、モード移行部151を制御し、イメージャ112をスリープモードから復帰させる。また、制御部133は、同期信号の発行終了後に、再度、モード移行部151を制御し、イメージャ112をスリープモードに移行させる。
【0111】
モード移行部151は、制御部133の制御のもと、イメージャ112をスリープモードから復帰させたり、スリープモードへ移行させる。
【0112】
[タイミングチャートの他の例]
図9は、図8の撮像制御部113の場合の撮像装置12のタイミングチャートを示している。
【0113】
図9の例においては、上から順に、光源ON、PC13からの制御信号、補助装置14からのトリガ(リセット)とトリガ(リードアウト)、垂直同期信号、水平同期信号の各タイミングが示されている。また、セッティング(スリープからの復帰)、セッティング(スリープへ)、モード、0乃至(LAST)の水平ライン、補助装置14へのステータス信号、メモリ114へのデータの蓄積、およびPC13への画像転送の各タイミングが示されている。
【0114】
なお、セッティング(スリープからの復帰)、およびセッティング(スリープへ)の以外の各タイミングについての詳細な説明は、図5の例と同様であるので省略する。
【0115】
セッティング(スリープからの復帰)のタイミングは、制御部133によるイメージャ112の各種セッティングを行うとともに、スリープモードからアウェイクモードへ移行させる時間を示している。
【0116】
セッティング(スリープへ)のタイミングは、制御部133によるイメージャ112の各種セッティングを行うとともに、アウェイクモードから、スリープモードへ移行させる時間を示している。
【0117】
モードは、イメージャ112のモードの状態を示している。すなわち、イメージャ112のモードがスリープモードとアウェイクモードに切り替わるタイミングを示している。
【0118】
例えば、制御部133は、PC13からの撮像の制御信号を、USB I/F115を介して受け取る。その後、補助装置14からリセットを示すトリガが発行される。このとき、イメージャ112のモードは、スリープモードである。制御部133は、トリガ受付部131を介して、リセットを示すトリガを受け付け、その受け付けたタイミングt41において、準備中を示すステータス信号を補助装置14に出力する。このとき、さらに、制御部133は、イメージャ112のセッティングを行うとともに、モード移行部151を制御し、イメージャ112をスリープモードから復帰させる。
【0119】
制御部133によるセッティングが終了したタイミングt42で、イメージャ112のモードは、アウェイクモードになる。その次のタイミングt43で、制御部133は、同期信号発行部134に垂直および水平同期信号を発行開始させる。この同期信号に対応して、イメージャ112の各撮像素子は、0番目の水平ラインから、リードアウトとリセットを行う。
【0120】
イメージャ112の最後の水平ラインのリードアウトが完了したタイミングt44において、制御部133は、イメージャ112のセッティングを行うとともに、モード移行部151を制御し、イメージャ112をスリープモードに移行させる。制御部133によるセッティングが終了したタイミングt45で、イメージャ112のモードは、スリープモードになる。このとき、イメージャ112の最後の水平ラインのリセットも完了し、制御部133は、準備完了を示すステータス信号を補助装置14に出力する。これに対応して、補助装置14は、光源101を所定時間δ発光させるので、この間、イメージャ112の露光が行われる。
【0121】
所定時間δが経過すると、補助装置14は、光源101をオフさせるとともに、リードアウトを示すトリガを発行する。制御部133は、そのタイミングt46において、準備中を示すステータス信号を補助装置14に出力する。このとき、さらに、制御部133は、イメージャ112のセッティングを行うとともに、モード移行部151を制御し、イメージャ112をスリープモードから復帰させる。
【0122】
制御部133によるセッティングが終了したタイミングt47で、イメージャ112のモードは、アウェイクモードになる。制御部133は、その次のタイミングt48で、同期信号発行部134に垂直および水平同期信号を発行開始させる。また、同時に、制御部133は、書き込み部135と転送部136を制御し、メモリ114への書き込みと書き込まれたデータのPC13への転送を開始させる。
【0123】
この同期信号に対応して、イメージャ112の各撮像素子は、0番目の水平ラインから、リードアウトとリセットを行う。そして、書き込み部135は、イメージャ112の各撮像素子から読み出されたデータを、メモリ114へ書き込み、メモリ114に書き込まれたデータから、転送部136は、PC13に転送する。
【0124】
イメージャ112の最後の水平ラインのリードアウトが完了したタイミングt49で、メモリ114への書き込みも終了する。このタイミングt49において、制御部133は、イメージャ112のセッティングを行うとともに、モード移行部151を制御し、イメージャ112をスリープモードに移行させる。制御部133によるセッティングが終了したタイミングt50で、イメージャ112のモードは、スリープモードになる。このとき、イメージャ112の最後の水平ラインのリセットも完了し、制御部133は、準備完了を示すステータス信号を補助装置14に出力する。
【0125】
t50以降も、メモリ114へ書き込まれたデータがすべて転送されるまで、PC13への転送は行われる。
【0126】
以上のようにして、補助装置14からのトリガを受けたとき、同期信号の発行前に、スリープモードからの復帰、かつ、同期信号の発行終了後に、スリープモードへの移行も行うようにした。これにより、カメラボード31の暗電流ノイズ(熱雑音)を減らすことができるので、システム特性(SN比)を向上させることができる。
【0127】
[制御処理の流れ]
次に、図10のフローチャートを参照して、図8の撮像制御部113の場合の撮像装置12の制御処理の流れを説明する。この制御処理も、PC13から、撮像の制御信号がUSBを介して受信された場合に開始される処理である。
【0128】
補助装置14は、撮像装置12に対して、トリガを発行し、トリガ受付部131に出力する。
【0129】
ステップS151において、制御部133は、トリガ受付部131を介して、補助装置14からのトリガを受け付ける。
【0130】
制御部133は、ステップS152において、準備中を示すステータス信号を補助装置14に出力する。制御部133は、ステップS153において、イメージャ112をセッティングし、モード移行部151を制御し、イメージャ112をスリープモードから復帰させる。
【0131】
制御部133は、ステップS154において、補助装置14からのトリガが、リセットを示すトリガであるか否かを判定し、リセットを示すトリガであると判定した場合、処理は、ステップS155に進む。制御部133は、ステップS155において、同期信号発行部134を制御し、同期信号を発行させる。
【0132】
この同期信号に対応して、イメージャ112の各撮像素子は、0番目の水平ラインから、リードアウトとリセットを行う。
【0133】
一方、ステップS154において、補助装置14からのトリガが、リードアウトを示すトリガであると判定された場合、処理は、ステップS156に進む。ステップS156において、同期信号発行部134は、イメージャ112に対して、同期信号を発行する。
【0134】
この同期信号に対応して、イメージャ112の各撮像素子は、0番目の水平ラインから、リードアウトとリセットを行う。
【0135】
ステップS157において、書き込み部135は、イメージャ112の各撮像素子から読み出されたデータを、メモリ114へ書き込ませる。転送部136は、ステップS158において、USBを介して、メモリ114に書き込まれたデータから、PC13に転送開始する。
【0136】
ステップS155またはS158の処理後、処理は、ステップS159に進む。最後の水平ラインのリードアウトとリセットが終わり、イメージャ112は、準備完了状態となる。それに対応して、メモリ114への書き込みが終わると、ステップS159において、制御部133は、イメージャ112をセッティングし、モード移行部151を制御し、イメージャ112をスリープモードへ移行させる。
【0137】
ステップS160において、制御部133は、準備完了を示すステータス信号を補助装置14に出力する。なお、これに対応して、補助装置14は、まだ撮像が終了していない場合、光源101を発光させる。
【0138】
ステップS161において、制御部133は、PC13より指示された撮像枚数の撮像が終了したか否かを判定する。撮像枚数の撮像が終了していないと判定された場合、ステップS151に戻り、それ以降の処理が繰り返される。
【0139】
すなわち、撮像枚数の撮像が終了していない場合、補助装置14は、光源101をオフさせるとともに、リードアウトを示すトリガを発行してくるので、ステップS151において、補助装置14からのトリガを受け、それ以降の処理を繰り返す
【0140】
一方、ステップS161において、PC13より指示された撮像枚数の撮像が終了したと判定された場合、本制御処理は終了される。
【0141】
以上のようにして、光源の発光タイミングも制御する補助装置14から、イメージャ112のリセットおよびリードアウトのトリガを受け付け、かつ、イメージャ112のステータス信号を補助装置14に返すようにした。
【0142】
これにより、光源101の発光タイミングと、イメージャ112の露光タイミングを合わせることが可能となる。その結果、イメージャ112のシステム特性(すなわち、S/N比)を向上させることができる。
【0143】
また、これにより、メモリにすべてのデータが書き込まれてからではなく、メモリに書き込まれたデータから、すぐにPC13への転送を開始することができる。その結果、USBによる転送速度が遅くても、全体の処理時間を、従来と比して高速化することができる。
【0144】
さらに、複数連続撮像の場合、1枚目のリードアウトのトリガと、2枚目のリセットのトリガを兼用するようにした。これにより、トリガ発行にかかる処理時間を短縮させることができる。
【0145】
また、同期信号の発行前に、スリープモードからの復帰、かつ、同期信号の発行後に、スリープモードへの移行も行うようにした。これにより、カメラボード31の暗電流ノイズを減らすことが可能である。
【0146】
なお、上記説明においては、補助装置14において、光源の発光とカメラボードの動作のタイミングを制御する例を説明したが、補助装置14は、ボードとして、PC13に組み込まれていてもよい。すなわち、撮像装置12からのデータは、USBを介して受け取り、撮像装置12へのトリガを、USB以外のインタフェースで発行することにより、上述したシステムと同様の効果を奏することができる。
【0147】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、プログラム記録媒体からインストールされる。
【0148】
[コンピュータの構成例]
図11は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示している。
【0149】
CPU(Central Processing Unit)201は、ROM(Read Only Memory)202、又は記憶部208に記憶されているプログラムに従って各種の処理を実行する。RAM(Random Access Memory)203には、CPU201が実行するプログラムやデータ等が適宜記憶される。これらのCPU201、ROM202、及びRAM203は、バス204により相互に接続されている。
【0150】
CPU201にはまた、バス204を介して入出力インタフェース205が接続されている。入出力インタフェース205には、キーボード、マウス、マイクロホン等よりなる入力部206、ディスプレイ、スピーカ等よりなる出力部207が接続されている。CPU201は、入力部206から入力される指令に対応して各種の処理を実行する。そして、CPU201は、処理の結果を出力部207に出力する。
【0151】
入出力インタフェース205に接続されている記憶部208は、例えばハードディスクからなり、CPU201が実行するプログラムや各種のデータを記憶する。通信部209は、インターネットやローカルエリアネットワーク等のネットワークを介して外部の装置と通信する。
【0152】
また、通信部209を介してプログラムを取得し、記憶部208に記憶してもよい。
【0153】
入出力インタフェース205に接続されているドライブ210は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア211が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータ等を取得する。取得されたプログラムやデータは、必要に応じて記憶部208に転送され、記憶される。
【0154】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプロ
グラムを記録(記憶)する記録媒体は、図20に示すように、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む)、光磁気ディスク(MD(Mini-Disc)を含む)、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア211、又は、プログラムが一時的もしくは永続的に格納されるROM202や、記憶部208を構成するハードディスク等により構成される。記録媒体へのプログラムの記録は、必要に応じてルータ、モデム等のインタフェースである通信部209を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の通信媒体を利用して行われる。
【0155】
なお、本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【0156】
なお、本開示における実施の形態は、上述した第1及び第2の実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【0157】
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開の要旨を逸脱しない範囲において種々の変更が可能である。
【0158】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有するであれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例また修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0159】
なお、本技術は以下のような構成も取ることができる。
(1) 外部の装置からのトリガを、撮像素子のリセットおよびリードアウトのタイミングで受ける受付部と、
前記受付部により前記トリガを受け付けたとき、前記装置に対して、前記撮像素子の状態を示すステータスを返す出力部とを
備える撮像装置。
(2) 前記装置は、光源の発光タイミングも制御する
前記(1)に記載の撮像装置。
(3) 前記出力部は、前記撮像素子の状態が変化したときも、前記装置に対して、前記ステータスを返す
前記(1)または(2)に記載の撮像装置。
(4) 前記トリガは、前記リセットまたは前記リードアウトを示す2種類で構成され、
前記受付部により受け付けた前記トリガが、前記リードアウトを示す場合、前記撮像素子からのデータをメモリに書き込む書き込み部を
さらに備える前記(1)乃至(3)のいずれかに記載の撮像装置。
(5) 前記書き込み部により前記メモリに前記データが書き込まれ始めたところで、前記メモリに書き込まれた前記データの送信を開始する送信部を
さらに備える前記(4)に記載の撮像装置。
(6) 前記送信部は、USB(Universal Serial Bus)を介して、前記メモリに書き込まれた前記データを送信する
前記(5)に記載の撮像装置。
(7) 連続撮像を行う場合、前記トリガは、n枚目の前記リードアウトおよびn+1枚目の前記リセットを示す
前記(1)乃至(6)のいずれかに記載の撮像装置。
(8) 前記撮像素子に対して同期信号を発行する同期信号発行部と、
前記受付部により前記トリガを受け付けたとき、前記撮像素子を低電流モードから起動させ、前記同期信号発行部による前記同期信号の発行終了後に、前記撮像素子を低電流モードに移行させるモード移行部と
をさらに備える前記(1)乃至(7)のいずれかに記載の撮像装置。
(9) 撮像装置の制御方法であって、
外部の装置からのトリガを、撮像素子のリセットおよびリードアウトのタイミングで受け、
前記トリガを受け付けたとき、前記装置に対して、前記撮像素子の状態を示すステータスを返す
ステップを含む制御方法。
【符号の説明】
【0160】
1 顕微鏡システム, 12 撮像装置, 13 PC, 14 補助装置, 31 カメラボード, 51 ホストコントローラ, 101 光源, 102 試料, 103 ハーフミラー, 111 受光面, 112 イメージャ, 113 撮像制御部, 114 メモリ, 115 USB I/F, 131 トリガ受付部, 132 ステータス出力部, 133 制御部, 134 同期信号発行部, 135 書き込み部, 136 転送部, 151 モード移行部
【技術分野】
【0001】
本開示は、撮像装置および制御方法に関し、特に、全体の処理を高速化することができるようにした撮像装置および制御方法に関する。
【背景技術】
【0002】
近年、溶液のpH測定、DNAやたんぱく質の解析などを2次元画像として表示する化学センサ、またはバイオセンサの需要が増加している。このような化学センサにおいては、例えば、外部シャッタを用いない、蛍光検出用カメラボードが備えられるものがある。この場合、S/N比をよくするために、光源とカメラの露光の正確な同期が必要となる。
【0003】
例えば、その同期には、安価なことから、USB(Universal Serial Bus)が用いられることがある。なお、特許文献1には、USBを介して同期信号を受け取ることにより、撮像を開始する撮像装置が記載されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2006−30162号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、USBの特性として、時間制御に難があるため、USBで同期をとろうとすると、USBでの転送の開始に時間がかかってしまう。
【0006】
本開示は、このような状況に鑑みてなされたものであり、全体の処理を高速化することができるものである。
【課題を解決するための手段】
【0007】
本開示の一側面の撮像装置は、外部の装置からのトリガを、撮像素子のリセットおよびリードアウトのタイミングで受ける受付部と、前記受付部により前記トリガを受け付けたとき、前記装置に対して、前記撮像素子の状態を示すステータスを返す出力部とを備える。
【0008】
前記装置は、光源の発光タイミングも制御することができる。
【0009】
前記出力部は、前記撮像素子の状態が変化したときも、前記装置に対して、前記ステータスを返すことができる。
【0010】
前記トリガは、前記リセットまたは前記リードアウトを示す2種類で構成され、前記受付部により受け付けた前記トリガが、前記リードアウトを示す場合、前記撮像素子からのデータをメモリに書き込む書き込み部をさらに備えることができる。
【0011】
前記書き込み部により前記メモリに前記データが書き込まれ始めたところで、前記メモリに書き込まれた前記データの送信を開始する送信部をさらに備えることができる。
【0012】
前記送信部は、USB(Universal Serial Bus)を介して、前記メモリに書き込まれた前記データを送信することができる。
【0013】
連続撮像を行う場合、前記トリガは、n枚目の前記リードアウトおよびn+1枚目の前記リセットを示すことができる。
【0014】
前記撮像素子に対して同期信号を発行する同期信号発行部と、前記受付部により前記トリガを受け付けたとき、前記撮像素子を低電流モードから起動させ、前記同期信号発行部による前記同期信号の発行終了後に、前記撮像素子を低電流モードに移行させるモード移行部とをさらに備えることができる。
【0015】
本開示の一側面の制御方法は、撮像装置の制御方法であって、外部の装置からのトリガを、撮像素子のリセットおよびリードアウトのタイミングで受け、前記トリガを受け付けたとき、前記装置に対して、前記撮像素子の状態を示すステータスを返すステップを含む。
【0016】
本開示の一側面においては、外部の装置からのトリガが、撮像素子のリセットおよびリードアウトのタイミングで受けられ、前記トリガを受け付けたとき、前記装置に対して、前記撮像素子の状態を示すステータスが返される。
【発明の効果】
【0017】
本開示の一側面によれば、撮像することができる。特に、全体の処理を高速化することができる。
【図面の簡単な説明】
【0018】
【図1】本技術を適用した顕微鏡システムの構成例を示すブロック図である。
【図2】顕微鏡システムのさらに詳細な構成を示すブロック図である。
【図3】撮像制御部の構成を示すブロック図である。
【図4】従来の撮像処理のタイミングチャートである。
【図5】本技術の撮像処理のタイミングチャートである。
【図6】本技術の撮像処理の他のタイミングチャートである。
【図7】撮像装置の制御処理を説明するフローチャートである。
【図8】撮像制御部の他の構成を示すブロック図である。
【図9】本技術の撮像処理の他のタイミングチャートである。
【図10】撮像装置の制御処理を説明するフローチャートである。
【図11】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【0019】
以下、本開示を実施するための形態(以下実施の形態とする)について説明する。
【0020】
[顕微鏡システムの構成例]
図1は、本技術を適用した顕微鏡システム1の構成例を示す図である。
【0021】
顕微鏡システム1は、顕微鏡11、撮像装置12、PC(Personal Computer)13、補助装置14、およびPSU(Power Supply Unit)15から構成される。
【0022】
顕微鏡11は、例えば観察者の網膜上または撮像装置12のイメージセンサ上に観察対象の標本の拡大像を結像させるための光学系21と、当該標本が載置されるステージ22とを有する。ステージ22は、XYステージ22−1と、Zステージ22−2とから構成される。XYステージ22−1は、PC13のCPU(Central Processing Unit)41の制御により、または観察者による図示せぬハンドルの操作に応じて、光学系21に対して相対的にXY平面(例えば水平面)に平行に移動する。これにより、ステージ22に載置された標本もXY平面に平行に移動する。また、Zステージ22−2は、PC13のCPU41の制御により、または観察者による図示せぬハンドルの操作に応じて、光学系21に対して相対的にZ軸方向(例えば垂直方向)に平行に移動する。これにより、ステージ22に載置された標本もZ軸方向に平行に移動する。
【0023】
すなわち、観察者は、ステージ22に載置された標本の拡大像を、光学系21を介して視認することができる。この場合、観察者は、標本の拡大像を自身の網膜上で合焦させるために、PC13や図示せぬハンドルを操作して、XYステージ22−1やZステージ22−2を移動させることで、光学系21に対する標本の相対的な配置位置を、3次元空間上の任意の位置に移動させる。
【0024】
また例えば、撮像装置12が顕微鏡11に対して装着されると、撮像装置12は、ステージ22に載置された標本の拡大像を、光学系21を介して撮像することができる。
【0025】
撮像装置12は、後述するイメージャ(図2のイメージャ112)が、その一部として形成されるかまたは装着されたカメラボード31を有する。カメラボード31は、例えば、蛍光検出用のカメラボードで構成される。カメラボード31は、PC13による制御により、ステージ22に載置された標本の拡大像を、光学系21を介して撮像する。この撮像において、カメラボード31の各種動作のトリガとなる信号は補助装置14から供給される。
【0026】
PC13は、CPU41とチップセット42を含むように構成される。CPU41は、PC13の全体の動作を制御する。チップセット42は、CPU41の制御の下、各種処理を実行するチップ群から構成され、このようなチップの1つとしてホストコントローラ51を有している。ホストコントローラ51は、USB(Universal Serial Bus)接続された機器の遠隔制御を行う。ここでは、ホストコントローラ51は、USB接続されたカメラボード31を遠隔制御することによって、上述の如く標本の拡大像を撮像させる。
【0027】
補助装置14は、後述する光源(図2の光源101)の発光と、カメラボード31の露光を同期させるように、各種動作のトリガとなる信号を、光源とカメラボード31に供給する。
【0028】
PSU(Power Supply Unit)15は、顕微鏡システム1を構成する各部、例えばPC13やカメラボード31に電力を供給する。
【0029】
[顕微鏡システムの詳細な構成例]
図2は、顕微鏡システムのさらに詳細な構成を示すブロック図である。
【0030】
図2の例においては、顕微鏡システム1として、PC13、補助装置14、およびカメラボード31の他に、光源101、試料102、およびハーフミラー103が示されている。
【0031】
PC13(のホストコントローラ51)は、USBを介して、カメラボード31を制御し、試料102を複数回撮像させる。例えば、USB2.0が用いられる。
【0032】
補助装置14は、カメラボード31の各種動作のトリガとなる信号を、カメラボード31に供給する。補助装置14は、カメラボード31からの、トリガとなる信号に対応して発行されるステータス信号を受け、ステータス信号が示すカメラボード31の状態に応じて、光源101を発光させる。
【0033】
光源101は、補助装置14から供給されるタイミングに合わせて、励起光を発光する。試料102は、撮像の対象物であり、図1の標本を構成する。ハーフミラー103は、所定の波長(例えば、波長1)の光を反射させ、他の所定の波長(例えば、波長2)の光を通過させるフィルタなどで構成される。
【0034】
光源101より発光された励起光(波長1)は、光学系21に構成されるハーフミラー103により反射されて試料102に照射される。この光は、試料102に反射されて波長が変わる。試料102に対して反射した光(波長2)は、ハーフミラー103を透過し、カメラボード31の受光面111に受光される。
【0035】
カメラボード31は、受光面111、イメージャ112、撮像制御部113、メモリ114、およびUSB I/F115を含むように構成されている。
【0036】
受光面111は、照射された光を受光する。イメージャ112は、例えば、CMOS(Complementary Metal Oxide Semiconductor:相補性金属酸化膜半導体)などの固体撮像素子により構成される。なお、イメージャ112は、CCD(Charge Coupled Device:電荷結合素子)で構成されてもよい。イメージャ112は、受光面111に照射された光を検出し、データとして撮像制御部113に出力する。
【0037】
撮像制御部113は、例えば、FPGA(Field Programmable Gate Array)やIC(Integrated Circuit)などにより構成される。撮像制御部113は、PC13からの制御信号を、USB I/F115から受け取り、試料102の撮像を開始する。
【0038】
撮像制御部113は、補助装置14からのトリガとなる信号(以下、単にトリガとも称する)に対応して、イメージャ112の状態を示すステータス信号を補助装置14に発行し、イメージャ112による撮像を行う。また、撮像制御部113は、補助装置14からのトリガに対応して、イメージャ112から読み出されたデータをメモリ114に書き込み、書き込まれたデータを、USB I/F115に出力し、PC13に転送させる。
【0039】
メモリ114は、例えば、DDR2(Double Data Rate 2) SDRAMなどで構成される。メモリ114は、撮像制御部113の制御のもと、イメージャ112からのデータを蓄積する。
【0040】
USB I/F115は、PC13からの制御信号を、撮像制御部113に供給する。USB I/F115は、撮像制御部113の制御のもと、メモリ114に書き込まれたデータ(画像)を、PC13に転送する。
【0041】
[撮像制御部の構成例]
図3は、撮像制御部の構成を示すブロック図である。
【0042】
図3の例においては、撮像制御部113は、トリガ受付部131、ステータス出力部132、制御部133、同期信号発行部134、書き込み部135、および転送部136を含むように構成されている。
【0043】
トリガ受付部131は、補助装置14からのトリガを受け付け、制御部133に供給する。ステータス出力部132は、制御部133からのステータス信号を、補助装置14に出力する。
【0044】
制御部133は、PC13からの制御信号を、USB I/F115から受け取り、試料102の撮像を開始する。制御部133は、トリガ受付部131から供給されるトリガに対応して、イメージャ112の状態を確認し、イメージャ112の準備状態を示すステータス信号を発行し、ステータス出力部132に供給する。トリガは、イメージャ112のリセットまたはリードアウトを示す信号の2種類で構成される。
【0045】
制御部133は、トリガがリセットを示す信号の場合、イメージャ112の準備中を示すステータス信号を補助装置14に対して発行する。そして、制御部133は、同期信号発行部134に同期信号を発行させ、イメージャ112の各撮像素子に取り込まれたデータを読み出させてリセットする。撮像素子のリセットが最終ラインまで完了すると、イメージャ112は、露光準備完了状態となる。イメージャ112が準備完了状態になると、制御部133は、補助装置14に対して、イメージャ112の準備完了を示すステータス信号を発行する。このステータス信号を受け取った補助装置14は、ステータス信号が示す準備完了に応じて、光源101を発光させる。これにより、イメージャ112における露光が開始される。
【0046】
制御部133は、トリガがリードアウトを示す信号の場合、イメージャ112の準備中を示すステータス信号を補助装置14に対して発行する。そして、制御部133は、同期信号発行部134に同期信号を発行させ、イメージャ112の各撮像素子に取り込まれたデータを読み出させてリセットする。また、制御部133は、書き込み部135を制御し、イメージャ112の各撮像素子から読み出されたデータを、メモリ114に書き込ませ、転送部136を制御し、PC13に転送させる。そして、撮像素子のリセットが最終ラインまで完了すると、イメージャ112は、露光準備完了状態となる。イメージャ112が準備完了状態になると、制御部133は、補助装置14に対して、イメージャ112の準備完了を示すステータス信号を発行する。
【0047】
なお、複数枚数連続撮像の場合、トリガがリードアウトを示す信号は、次の撮像のリセットも示す。したがって、この場合、メモリ114への書き込みおよびPC13への転送開始のタイミングと同時に、準備完了を示すステータス信号を受け取った補助装置14は、光源101を発光させるので、イメージャ112における露光が開始される。
【0048】
同期信号発行部134は、制御部133の制御のもと、イメージャ112に対して、垂直同期信号および水平同期信号を発行する。書き込み部135は、制御部133からの制御のもと、イメージャ112の各撮像素子から読み出されたデータを、メモリ114に書き込む。転送部136は、制御部133の制御のもと、メモリ114に書き込まれたデータから順に、USB I/F 115を介して、PC13に転送する。
【0049】
[従来のタイミングチャートの例]
次に、図4のタイミングチャートを参照して、本技術との比較のために従来の撮像装置の撮像処理について説明する。図4は、従来の撮像装置による撮像および転送のタイミングチャートを示している。
【0050】
図4の例においては、上から順に、光源ON、垂直同期信号、水平同期信号、イメージャのセッティング、0乃至(LAST)の水平ラインの撮像素子の状態、およびPCへの画像転送の各タイミングが示されている。
【0051】
従来の撮像装置においては、USBを利用して、撮像が制御されていた。例えば、従来の撮像装置においては、イメージャのセッティングが完了したタイミングの次のタイミングt1で、垂直同期信号と水平同期信号が発行され、そのタイミングt1以降、イメージャの各水平ラインの各撮像素子の読み出し、リセットが行われた。各撮像素子における積分は、リセット後、受光データが積分されて、蓄積されていることを表している。
【0052】
最後の水平ラインの撮像素子のリセットが終わったタイミングt2で、光源をON状態にすることで、イメージャにおいて露光がなされ、光源がOFF状態になったタイミングt3で、従来の撮像装置においては、イメージャのセッティングが行われた。次に、従来の撮像装置においては、イメージャのセッティングが完了したタイミングの次のタイミングt4で、垂直同期信号と水平同期信号の発行が開始され、イメージャの各水平ラインの各撮像素子の読み出し、リセットが行われた。
【0053】
そして、従来の撮像装置においては、最後の水平ラインの撮像素子のリセットが終わったタイミングt5で、ようやく、USBを介して、PCへの画像転送が開始されていた。
【0054】
以上のように、外部シャッタを用いないカメラボードにおける光源とカメラの露光の同期は、従来、例えば、安価であり、消費電力も少ないUSBを利用してPCなどによりソフトウェア的にトリガを出すことで行われていた。
【0055】
しかしながら、USBは、時間制御が得意ではない。このため、タイミングを正確に制御することが困難であり、タイミングが遅れてしまう。したがって、図4を参照して上述したように、イメージャの各水平ラインの各撮像素子の読み出し、リセットが終了するまでは、PCへの画像転送を行うことが困難であり、処理速度が遅くなっていた。また、USBによる転送速度も速くはないので、トリガとデータ転送が重なった場合にはデータ転送の終了を待つ必要があった。
【0056】
そこで、顕微鏡システム1においては、補助装置14によりカメラボード31に対してハード的なトリガを与えることでカメラボード31の各動作を制御させるようにした。これにより、カメラボード31における全体の処理時間(スループット)が速くなるので、結果的にUSBの転送速度の弱点がカバーされる。したがって、安価なUSBを用いた場合でも、全体的な処理を高速化することができる。
【0057】
[タイミングチャートの例]
図5は、撮像装置12のタイミングチャートを示している。
【0058】
図5の例においては、上から順に、光源ON、PC13からの制御信号、補助装置14からのトリガ(リセット)とトリガ(リードアウト)、垂直同期信号、水平同期信号、イメージャのセッティングの各タイミングが示されている。さらに、0乃至(LAST)の水平ライン、補助装置14へのステータス信号、メモリ114へのデータの蓄積、およびPC13への画像転送の各タイミングが示されている。
【0059】
光源ONのタイミングは、光源101がON状態(発光中)のタイミングを示している。PC13からの制御信号は、制御部133が、PC13から撮像の制御信号を、USB I/F115を介して受け取るタイミングを示している。トリガ(リセット)およびトリガ(リードアウト)の各タイミングは、それぞれ、制御部133が、補助装置14からのトリガを受け付けたタイミングを示している。
【0060】
垂直同期信号および水平同期信号の各タイミングは、同期信号発行部134により各信号が発行されたタイミングを示している。セッティングのタイミングは、制御部133によるイメージャ112の各種セッティングを行う時間を示している。
【0061】
0乃至(LAST)の水平ラインの各タイミングは、各撮像素子の動作状態のタイミングを示している。各ラインにおける黒ベタ部分は、1ラインリードアウトしている状態を示し、ハッチ部分は、1ラインの撮像素子をリセットしている状態であることを示している。なお、各ラインにおける積分は、リセット後、各撮像素子に、受光データが積分されて、蓄積されていることを表している。
【0062】
ステータス信号は、ハイ(High)状態が、イメージャ112が準備状態であることを示し、ロー(Low)状態が、イメージャ112が準備完了状態であることを示している。そして、ステータス信号の立ち上がりが、イメージャ112が準備状態に入ったところであることを示し、このタイミングで、制御部133は、準備中を示すステータス信号を補助装置14に出力する。一方、ステータス信号の立ち下がりが、イメージャの準備が完了したところであることを示し、このタイミングで、制御部133は、準備完了を示すステータス信号を補助装置14に出力する。
【0063】
メモリ114への蓄積は、各撮像素子から読み出されたデータを、メモリ114に蓄積している時間を示している。PC13への画像転送は、メモリ114に蓄積されたデータを転送する時間を示している。
【0064】
例えば、制御部133は、PC13からの撮像の制御信号を、USB I/F115を介して受け取る。その後、補助装置14からリセットを示すトリガが発行される。制御部133は、トリガ受付部131を介して、リセットを示すトリガを受け付け、その受け付けたタイミングt11において、準備中を示すステータス信号を補助装置14に出力するとともに、イメージャ112のセッティングを行う。
【0065】
制御部133は、セッティングが終了したタイミングの次のタイミングt12で、同期信号発行部134に同期信号を発行開始させる。この同期信号に対応して、イメージャ112の各撮像素子は、0番目の水平ラインから、リードアウトとリセットを行う。
【0066】
イメージャ112の最後の水平ラインのリセットが完了したタイミングt13において、制御部133は、準備完了を示すステータス信号を補助装置14に出力する。これに対応して、補助装置14は、光源101を所定時間α発光させる。この間、イメージャ112の露光が行われる。なお、この発光の時間は、同じ場合もあるが、試料の種類、光の種類、またはフィルタの種類などに応じて異なる。
【0067】
所定時間αが経過すると、補助装置14は、光源101をオフさせるとともに、リードアウトを示すトリガを発行する。制御部133は、そのタイミングt14において、準備中を示すステータス信号を補助装置14に出力するとともに、イメージャ112のセッティングを行う。
【0068】
制御部133は、セッティングが終了したタイミングの次のタイミングt15で、同期信号発行部134に垂直および水平同期信号を発行開始させる。このとき、さらに、制御部133は、書き込み部135と転送部136を制御し、メモリ114への書き込みと書き込まれたデータのPC13への転送を開始させる。
【0069】
この同期信号に対応して、イメージャ112の各撮像素子は、0番目の水平ラインから、リードアウトとリセットを行う。そして、書き込み部135は、イメージャ112の各撮像素子から読み出されたデータを、メモリ114へ書き込み、転送部136は、すべての書き込みを待たずに、メモリ114に書き込まれたデータからPC13に転送する。
【0070】
イメージャ112の最後の水平ラインのリードアウトが完了したタイミングt16で、メモリ114への書き込みも終了する。そして、イメージャ112の最後の水平ラインのリセットが完了したタイミングt17において、制御部133は、準備完了を示すステータス信号を補助装置14に出力する。
【0071】
t17以降も、メモリ114へ書き込まれたデータがすべて転送されるまで、PC13への転送は行われる。
【0072】
以上のようにして、光源の発光タイミングも制御する補助装置14から、イメージャ112のリセットおよびリードアウトのトリガを受け付け、かつ、イメージャ112のステータス信号を補助装置14に返すようにした。
【0073】
これにより、光源101の発光タイミングと、イメージャ112の露光タイミングを合わせることが可能となる。その結果、イメージャ112のシステム特性であるS/N比を向上させることができる。
【0074】
また、これにより、メモリ114にすべてのデータが書き込まれてからではなく、メモリ114に書き込まれたデータから、すぐにPC13への転送を開始することができる。その結果、メモリ114からの転送速度に比して、USBによる転送速度が遅くても、全体の処理時間を、従来と比して短縮することができる。
【0075】
[タイミングチャートの他の例]
図6は、2枚連続撮像する場合の撮像装置12のタイミングチャートを示している。
【0076】
図6の例においては、上から順に、光源ON、PC13からの制御信号、補助装置14からのトリガ(リセット)とトリガ(リードアウト)、垂直同期信号、水平同期信号、イメージャのセッティングの各タイミングが示されている。さらに、0乃至(LAST)の水平ライン、補助装置14へのステータス信号、メモリ114へのデータの蓄積、およびPC143への画像転送の各タイミングが示されている。なお、各タイミングについての詳細な説明は、図5の例と同様であるので省略する。
【0077】
例えば、制御部133は、PC13からの2枚連続撮像の制御信号を、USB I/F115を介して受け取る。その後、補助装置14からリセットを示すトリガが発行される。制御部133は、トリガ受付部131を介して、リセットを示すトリガを受け付け、その受け付けたタイミングt21において、準備中を示すステータス信号を補助装置14に出力するとともに、イメージャ112のセッティングを行う。
【0078】
制御部133は、セッティングが終了したタイミングの次のタイミングt22で、同期信号発行部134に垂直および水平同期信号を発行開始させる。この同期信号に対応して、イメージャ112の各撮像素子は、0番目の水平ラインから、リードアウトとリセットを行う。
【0079】
イメージャ112の最後の水平ラインのリセットが完了したタイミングt23において、制御部133は、準備完了を示すステータス信号を補助装置14に出力する。これに対応して、補助装置14は、光源101を所定時間β発光させる。この間、イメージャ112の露光が行われる。
【0080】
所定時間βが経過すると、補助装置14は、光源101をオフさせるとともに、リードアウトを示すトリガを発行する。なお、このトリガは、1枚目のリードアウトを示すとともに、2枚目のリセットを示している。制御部133は、そのトリガを受け付けたタイミングt24において、準備中を示すステータス信号を補助装置14に出力するとともに、イメージャ112のセッティングを行う。
【0081】
制御部133は、セッティングが終了したタイミングの次のタイミングt25で、同期信号発行部134に同期信号を発行開始させる。このとき、さらに、制御部133は、書き込み部135と転送部136を制御し、メモリ114への書き込みと、書き込まれたデータのPC13への転送を開始させる。
【0082】
この同期信号に対応して、イメージャ112の各撮像素子は、0番目の水平ラインから、リードアウトとリセットを行う。そして、書き込み部135は、イメージャ112の各撮像素子から読み出されたデータを、メモリ114へ書き込み、転送部136は、すべてのデータの書き込み完了を待たずに、メモリ114に書き込まれたデータから、PC13に転送する。
【0083】
イメージャ112の最後の水平ラインのリードアウトが完了したタイミングt26で、メモリ114への書き込みも終了する。そして、イメージャ112の最後の水平ラインのリセットが完了したタイミングt27において、制御部133は、準備完了を示すステータス信号を補助装置14に出力する。
【0084】
t27以降も、メモリ114へ書き込まれたデータがすべて転送されるまで、PC13への転送は行われる。
【0085】
準備完了を示すステータス信号に対応して、補助装置14は、光源101を所定時間γ発光させるので、この間、イメージャ112の露光が行われる。
【0086】
所定時間γが経過すると、補助装置14は、光源101をオフさせるとともに、リードアウトを示すトリガを発行する。補助装置14からのトリガなので、USBによるデータ転送中も受け付けが可能である。制御部133は、トリガを受けたタイミングt28において、準備中を示すステータス信号を補助装置14に出力するとともに、イメージャ112のセッティングを行う。
【0087】
制御部133は、セッティングが終了したタイミングの次のタイミングt29で、同期信号発行部134に垂直および水平同期信号を発行開始させる。このとき、さらに、制御部133は、書き込み部135と転送部136を制御し、メモリ114への書き込みと書き込まれたデータのPC13への転送を開始させる。
【0088】
この同期信号に対応して、イメージャ112の各撮像素子は、0番目の水平ラインから、リードアウトとリセットを行う。そして、書き込み部135は、イメージャ112の各撮像素子から読み出されたデータを、メモリ114へ書き込み、転送部136は、メモリ114に書き込まれたデータからPC13に転送する。
【0089】
イメージャ112の最後の水平ラインのリードアウトが完了したタイミングt30で、メモリ114への書き込みも終了する。そして、イメージャ112の最後の水平ラインのリセットが完了したタイミングt31において、制御部133は、準備完了を示すステータス信号を補助装置14に出力する。
【0090】
t31以降も、メモリ114へ書き込まれたデータがすべて転送されるまで、PC13への転送は行われる。
【0091】
以上のようにして、複数連続撮像の場合、1枚目のリードアウトのトリガと、2枚目のリセットのトリガを兼用するようにした。これにより、トリガ発行にかかる処理時間を短縮させることができる。また、PC13へのデータ転送中もトリガを受け付けることができるので、全体の処理時間を短縮させることができる。
【0092】
なお、図6の例においては、2枚連続撮像の例を示したが、枚数は、2枚以上であれば、何枚であっても同様の処理が行われる。
【0093】
[制御処理の流れ]
次に、図7のフローチャートを参照して、撮像装置12の制御処理の流れを説明する。この制御処理は、PC13から、撮像の制御信号がUSBを介して受信された場合に開始される処理である。
【0094】
補助装置14は、撮像装置12に対して、トリガを発行し、トリガ受付部131に出力する。
【0095】
ステップS111において、制御部133は、トリガ受付部131を介して、補助装置14からのトリガを受け付ける。
【0096】
制御部133は、ステップS112において、準備中を示すステータス信号を補助装置14に返すとともに、ステップS113において、イメージャ112のセッティングを行う。
【0097】
制御部133は、ステップS114において、補助装置14からのトリガが、リセットを示すトリガであるか否かを判定し、リセットを示すトリガであると判定した場合、処理は、ステップS115に進む。制御部133は、ステップS115において、同期信号発行部134を制御し、同期信号を発行させる。
【0098】
この同期信号に対応して、イメージャ112の各撮像素子は、0番目の水平ラインから、リードアウトとリセットを行う。
【0099】
一方、ステップS114において、補助装置14からのトリガが、リードアウトを示すトリガであると判定された場合、処理は、ステップS116に進む。ステップS116において、同期信号発行部134は、イメージャ112に対して、同期信号を発行する。
【0100】
この同期信号に対応して、イメージャ112の各撮像素子は、0番目の水平ラインから、リードアウトとリセットを行う。
【0101】
ステップS117において、書き込み部135は、イメージャ112の各撮像素子から読み出されたデータを、メモリ114へ書き込む。転送部136は、ステップS118において、すべての書き込みを待たずに、メモリ114に書き込まれたデータから、USBを介して、PC13に転送開始する。
【0102】
ステップS115またはS118の処理後、処理は、ステップS119に進む。最後の水平ラインのリードアウトとリセットが終わり、イメージャ112は、準備完了状態となる。それに対応して、メモリ114への書き込みが終わると、ステップS119において、制御部133は、準備完了を示すステータス信号を補助装置14に出力する。なお、これに対応して、補助装置14は、まだ撮像が終了していない場合、光源101を発光させる。
【0103】
ステップS120において、制御部133は、PC13より指示された撮像枚数の撮像が終了したか否かを判定する。撮像枚数の撮像が終了していないと判定された場合、ステップS111に戻り、それ以降の処理が繰り返される。
【0104】
すなわち、撮像枚数の撮像が終了していない場合、補助装置14は、光源101をオフさせるとともに、リードアウトを示すトリガを発行してくるので、ステップS111において、補助装置14からのトリガを受け、それ以降の処理を繰り返す
【0105】
一方、ステップS120において、PC13より指示された撮像枚数の撮像が終了したと判定された場合、本制御処理は終了される。
【0106】
[撮像制御部の他の構成例]
図8は、撮像制御部の他の構成を示すブロック図である。
【0107】
図8の例においては、撮像制御部113は、トリガ受付部131、ステータス出力部132、制御部133、同期信号発行部134、書き込み部135、および転送部136を含むように構成されている。なお、この構成は、図3の撮像制御部113と同様の構成であるので、各部の詳細は適宜省略される。
【0108】
さらに、撮像制御部113には、図3の撮像制御部113と異なり、モード移行部151も含むように構成される。
【0109】
カメラボード31は、イメージャ112を低電流にするスリープモードと、通常電流にするアウェイクモードを有している。スリープモードにおいては、イメージャ112の撮像素子は、リセットや読み出しを行わない。スリープモードの場合、低電流となるので、その間のイメージャ112の熱雑音を減らすことができる。
【0110】
制御部133は、補助装置14からのトリガを受け付けたとき、同期信号を発行させる前に、モード移行部151を制御し、イメージャ112をスリープモードから復帰させる。また、制御部133は、同期信号の発行終了後に、再度、モード移行部151を制御し、イメージャ112をスリープモードに移行させる。
【0111】
モード移行部151は、制御部133の制御のもと、イメージャ112をスリープモードから復帰させたり、スリープモードへ移行させる。
【0112】
[タイミングチャートの他の例]
図9は、図8の撮像制御部113の場合の撮像装置12のタイミングチャートを示している。
【0113】
図9の例においては、上から順に、光源ON、PC13からの制御信号、補助装置14からのトリガ(リセット)とトリガ(リードアウト)、垂直同期信号、水平同期信号の各タイミングが示されている。また、セッティング(スリープからの復帰)、セッティング(スリープへ)、モード、0乃至(LAST)の水平ライン、補助装置14へのステータス信号、メモリ114へのデータの蓄積、およびPC13への画像転送の各タイミングが示されている。
【0114】
なお、セッティング(スリープからの復帰)、およびセッティング(スリープへ)の以外の各タイミングについての詳細な説明は、図5の例と同様であるので省略する。
【0115】
セッティング(スリープからの復帰)のタイミングは、制御部133によるイメージャ112の各種セッティングを行うとともに、スリープモードからアウェイクモードへ移行させる時間を示している。
【0116】
セッティング(スリープへ)のタイミングは、制御部133によるイメージャ112の各種セッティングを行うとともに、アウェイクモードから、スリープモードへ移行させる時間を示している。
【0117】
モードは、イメージャ112のモードの状態を示している。すなわち、イメージャ112のモードがスリープモードとアウェイクモードに切り替わるタイミングを示している。
【0118】
例えば、制御部133は、PC13からの撮像の制御信号を、USB I/F115を介して受け取る。その後、補助装置14からリセットを示すトリガが発行される。このとき、イメージャ112のモードは、スリープモードである。制御部133は、トリガ受付部131を介して、リセットを示すトリガを受け付け、その受け付けたタイミングt41において、準備中を示すステータス信号を補助装置14に出力する。このとき、さらに、制御部133は、イメージャ112のセッティングを行うとともに、モード移行部151を制御し、イメージャ112をスリープモードから復帰させる。
【0119】
制御部133によるセッティングが終了したタイミングt42で、イメージャ112のモードは、アウェイクモードになる。その次のタイミングt43で、制御部133は、同期信号発行部134に垂直および水平同期信号を発行開始させる。この同期信号に対応して、イメージャ112の各撮像素子は、0番目の水平ラインから、リードアウトとリセットを行う。
【0120】
イメージャ112の最後の水平ラインのリードアウトが完了したタイミングt44において、制御部133は、イメージャ112のセッティングを行うとともに、モード移行部151を制御し、イメージャ112をスリープモードに移行させる。制御部133によるセッティングが終了したタイミングt45で、イメージャ112のモードは、スリープモードになる。このとき、イメージャ112の最後の水平ラインのリセットも完了し、制御部133は、準備完了を示すステータス信号を補助装置14に出力する。これに対応して、補助装置14は、光源101を所定時間δ発光させるので、この間、イメージャ112の露光が行われる。
【0121】
所定時間δが経過すると、補助装置14は、光源101をオフさせるとともに、リードアウトを示すトリガを発行する。制御部133は、そのタイミングt46において、準備中を示すステータス信号を補助装置14に出力する。このとき、さらに、制御部133は、イメージャ112のセッティングを行うとともに、モード移行部151を制御し、イメージャ112をスリープモードから復帰させる。
【0122】
制御部133によるセッティングが終了したタイミングt47で、イメージャ112のモードは、アウェイクモードになる。制御部133は、その次のタイミングt48で、同期信号発行部134に垂直および水平同期信号を発行開始させる。また、同時に、制御部133は、書き込み部135と転送部136を制御し、メモリ114への書き込みと書き込まれたデータのPC13への転送を開始させる。
【0123】
この同期信号に対応して、イメージャ112の各撮像素子は、0番目の水平ラインから、リードアウトとリセットを行う。そして、書き込み部135は、イメージャ112の各撮像素子から読み出されたデータを、メモリ114へ書き込み、メモリ114に書き込まれたデータから、転送部136は、PC13に転送する。
【0124】
イメージャ112の最後の水平ラインのリードアウトが完了したタイミングt49で、メモリ114への書き込みも終了する。このタイミングt49において、制御部133は、イメージャ112のセッティングを行うとともに、モード移行部151を制御し、イメージャ112をスリープモードに移行させる。制御部133によるセッティングが終了したタイミングt50で、イメージャ112のモードは、スリープモードになる。このとき、イメージャ112の最後の水平ラインのリセットも完了し、制御部133は、準備完了を示すステータス信号を補助装置14に出力する。
【0125】
t50以降も、メモリ114へ書き込まれたデータがすべて転送されるまで、PC13への転送は行われる。
【0126】
以上のようにして、補助装置14からのトリガを受けたとき、同期信号の発行前に、スリープモードからの復帰、かつ、同期信号の発行終了後に、スリープモードへの移行も行うようにした。これにより、カメラボード31の暗電流ノイズ(熱雑音)を減らすことができるので、システム特性(SN比)を向上させることができる。
【0127】
[制御処理の流れ]
次に、図10のフローチャートを参照して、図8の撮像制御部113の場合の撮像装置12の制御処理の流れを説明する。この制御処理も、PC13から、撮像の制御信号がUSBを介して受信された場合に開始される処理である。
【0128】
補助装置14は、撮像装置12に対して、トリガを発行し、トリガ受付部131に出力する。
【0129】
ステップS151において、制御部133は、トリガ受付部131を介して、補助装置14からのトリガを受け付ける。
【0130】
制御部133は、ステップS152において、準備中を示すステータス信号を補助装置14に出力する。制御部133は、ステップS153において、イメージャ112をセッティングし、モード移行部151を制御し、イメージャ112をスリープモードから復帰させる。
【0131】
制御部133は、ステップS154において、補助装置14からのトリガが、リセットを示すトリガであるか否かを判定し、リセットを示すトリガであると判定した場合、処理は、ステップS155に進む。制御部133は、ステップS155において、同期信号発行部134を制御し、同期信号を発行させる。
【0132】
この同期信号に対応して、イメージャ112の各撮像素子は、0番目の水平ラインから、リードアウトとリセットを行う。
【0133】
一方、ステップS154において、補助装置14からのトリガが、リードアウトを示すトリガであると判定された場合、処理は、ステップS156に進む。ステップS156において、同期信号発行部134は、イメージャ112に対して、同期信号を発行する。
【0134】
この同期信号に対応して、イメージャ112の各撮像素子は、0番目の水平ラインから、リードアウトとリセットを行う。
【0135】
ステップS157において、書き込み部135は、イメージャ112の各撮像素子から読み出されたデータを、メモリ114へ書き込ませる。転送部136は、ステップS158において、USBを介して、メモリ114に書き込まれたデータから、PC13に転送開始する。
【0136】
ステップS155またはS158の処理後、処理は、ステップS159に進む。最後の水平ラインのリードアウトとリセットが終わり、イメージャ112は、準備完了状態となる。それに対応して、メモリ114への書き込みが終わると、ステップS159において、制御部133は、イメージャ112をセッティングし、モード移行部151を制御し、イメージャ112をスリープモードへ移行させる。
【0137】
ステップS160において、制御部133は、準備完了を示すステータス信号を補助装置14に出力する。なお、これに対応して、補助装置14は、まだ撮像が終了していない場合、光源101を発光させる。
【0138】
ステップS161において、制御部133は、PC13より指示された撮像枚数の撮像が終了したか否かを判定する。撮像枚数の撮像が終了していないと判定された場合、ステップS151に戻り、それ以降の処理が繰り返される。
【0139】
すなわち、撮像枚数の撮像が終了していない場合、補助装置14は、光源101をオフさせるとともに、リードアウトを示すトリガを発行してくるので、ステップS151において、補助装置14からのトリガを受け、それ以降の処理を繰り返す
【0140】
一方、ステップS161において、PC13より指示された撮像枚数の撮像が終了したと判定された場合、本制御処理は終了される。
【0141】
以上のようにして、光源の発光タイミングも制御する補助装置14から、イメージャ112のリセットおよびリードアウトのトリガを受け付け、かつ、イメージャ112のステータス信号を補助装置14に返すようにした。
【0142】
これにより、光源101の発光タイミングと、イメージャ112の露光タイミングを合わせることが可能となる。その結果、イメージャ112のシステム特性(すなわち、S/N比)を向上させることができる。
【0143】
また、これにより、メモリにすべてのデータが書き込まれてからではなく、メモリに書き込まれたデータから、すぐにPC13への転送を開始することができる。その結果、USBによる転送速度が遅くても、全体の処理時間を、従来と比して高速化することができる。
【0144】
さらに、複数連続撮像の場合、1枚目のリードアウトのトリガと、2枚目のリセットのトリガを兼用するようにした。これにより、トリガ発行にかかる処理時間を短縮させることができる。
【0145】
また、同期信号の発行前に、スリープモードからの復帰、かつ、同期信号の発行後に、スリープモードへの移行も行うようにした。これにより、カメラボード31の暗電流ノイズを減らすことが可能である。
【0146】
なお、上記説明においては、補助装置14において、光源の発光とカメラボードの動作のタイミングを制御する例を説明したが、補助装置14は、ボードとして、PC13に組み込まれていてもよい。すなわち、撮像装置12からのデータは、USBを介して受け取り、撮像装置12へのトリガを、USB以外のインタフェースで発行することにより、上述したシステムと同様の効果を奏することができる。
【0147】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、プログラム記録媒体からインストールされる。
【0148】
[コンピュータの構成例]
図11は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示している。
【0149】
CPU(Central Processing Unit)201は、ROM(Read Only Memory)202、又は記憶部208に記憶されているプログラムに従って各種の処理を実行する。RAM(Random Access Memory)203には、CPU201が実行するプログラムやデータ等が適宜記憶される。これらのCPU201、ROM202、及びRAM203は、バス204により相互に接続されている。
【0150】
CPU201にはまた、バス204を介して入出力インタフェース205が接続されている。入出力インタフェース205には、キーボード、マウス、マイクロホン等よりなる入力部206、ディスプレイ、スピーカ等よりなる出力部207が接続されている。CPU201は、入力部206から入力される指令に対応して各種の処理を実行する。そして、CPU201は、処理の結果を出力部207に出力する。
【0151】
入出力インタフェース205に接続されている記憶部208は、例えばハードディスクからなり、CPU201が実行するプログラムや各種のデータを記憶する。通信部209は、インターネットやローカルエリアネットワーク等のネットワークを介して外部の装置と通信する。
【0152】
また、通信部209を介してプログラムを取得し、記憶部208に記憶してもよい。
【0153】
入出力インタフェース205に接続されているドライブ210は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア211が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータ等を取得する。取得されたプログラムやデータは、必要に応じて記憶部208に転送され、記憶される。
【0154】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプロ
グラムを記録(記憶)する記録媒体は、図20に示すように、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む)、光磁気ディスク(MD(Mini-Disc)を含む)、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア211、又は、プログラムが一時的もしくは永続的に格納されるROM202や、記憶部208を構成するハードディスク等により構成される。記録媒体へのプログラムの記録は、必要に応じてルータ、モデム等のインタフェースである通信部209を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の通信媒体を利用して行われる。
【0155】
なお、本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【0156】
なお、本開示における実施の形態は、上述した第1及び第2の実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【0157】
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開の要旨を逸脱しない範囲において種々の変更が可能である。
【0158】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有するであれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例また修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0159】
なお、本技術は以下のような構成も取ることができる。
(1) 外部の装置からのトリガを、撮像素子のリセットおよびリードアウトのタイミングで受ける受付部と、
前記受付部により前記トリガを受け付けたとき、前記装置に対して、前記撮像素子の状態を示すステータスを返す出力部とを
備える撮像装置。
(2) 前記装置は、光源の発光タイミングも制御する
前記(1)に記載の撮像装置。
(3) 前記出力部は、前記撮像素子の状態が変化したときも、前記装置に対して、前記ステータスを返す
前記(1)または(2)に記載の撮像装置。
(4) 前記トリガは、前記リセットまたは前記リードアウトを示す2種類で構成され、
前記受付部により受け付けた前記トリガが、前記リードアウトを示す場合、前記撮像素子からのデータをメモリに書き込む書き込み部を
さらに備える前記(1)乃至(3)のいずれかに記載の撮像装置。
(5) 前記書き込み部により前記メモリに前記データが書き込まれ始めたところで、前記メモリに書き込まれた前記データの送信を開始する送信部を
さらに備える前記(4)に記載の撮像装置。
(6) 前記送信部は、USB(Universal Serial Bus)を介して、前記メモリに書き込まれた前記データを送信する
前記(5)に記載の撮像装置。
(7) 連続撮像を行う場合、前記トリガは、n枚目の前記リードアウトおよびn+1枚目の前記リセットを示す
前記(1)乃至(6)のいずれかに記載の撮像装置。
(8) 前記撮像素子に対して同期信号を発行する同期信号発行部と、
前記受付部により前記トリガを受け付けたとき、前記撮像素子を低電流モードから起動させ、前記同期信号発行部による前記同期信号の発行終了後に、前記撮像素子を低電流モードに移行させるモード移行部と
をさらに備える前記(1)乃至(7)のいずれかに記載の撮像装置。
(9) 撮像装置の制御方法であって、
外部の装置からのトリガを、撮像素子のリセットおよびリードアウトのタイミングで受け、
前記トリガを受け付けたとき、前記装置に対して、前記撮像素子の状態を示すステータスを返す
ステップを含む制御方法。
【符号の説明】
【0160】
1 顕微鏡システム, 12 撮像装置, 13 PC, 14 補助装置, 31 カメラボード, 51 ホストコントローラ, 101 光源, 102 試料, 103 ハーフミラー, 111 受光面, 112 イメージャ, 113 撮像制御部, 114 メモリ, 115 USB I/F, 131 トリガ受付部, 132 ステータス出力部, 133 制御部, 134 同期信号発行部, 135 書き込み部, 136 転送部, 151 モード移行部
【特許請求の範囲】
【請求項1】
外部の装置からのトリガを、撮像素子のリセットおよびリードアウトのタイミングで受ける受付部と、
前記受付部により前記トリガを受け付けたとき、前記装置に対して、前記撮像素子の状態を示すステータスを返す出力部とを
備える撮像装置。
【請求項2】
前記装置は、光源の発光タイミングも制御する
請求項1に記載の撮像装置。
【請求項3】
前記出力部は、前記撮像素子の状態が変化したときも、前記装置に対して、前記ステータスを返す
請求項1に記載の撮像装置。
【請求項4】
前記トリガは、前記リセットまたは前記リードアウトを示す2種類で構成され、
前記受付部により受け付けた前記トリガが、前記リードアウトを示す場合、前記撮像素子からのデータをメモリに書き込む書き込み部を
さらに備える請求項1に記載の撮像装置。
【請求項5】
前記書き込み部により前記メモリに前記データが書き込まれ始めたところで、前記メモリに書き込まれた前記データの送信を開始する送信部を
さらに備える請求項4に記載の撮像装置。
【請求項6】
前記送信部は、USB(Universal Serial Bus)を介して、前記メモリに書き込まれた前記データを送信する
請求項5に記載の撮像装置。
【請求項7】
連続撮像を行う場合、前記トリガは、n枚目の前記リードアウトおよびn+1枚目の前記リセットを示す
請求項1に記載の撮像装置。
【請求項8】
前記撮像素子に対して同期信号を発行する同期信号発行部と、
前記受付部により前記トリガを受け付けたとき、前記撮像素子を低電流モードから起動させ、前記同期信号発行部による前記同期信号の発行終了後に、前記撮像素子を低電流モードに移行させるモード移行部と
をさらに備える請求項1に記載の撮像装置。
【請求項9】
撮像装置の制御方法であって、
外部の装置からのトリガを、撮像素子のリセットおよびリードアウトのタイミングで受け、
前記トリガを受け付けたとき、前記装置に対して、前記撮像素子の状態を示すステータスを返す
ステップを含む制御方法。
【請求項1】
外部の装置からのトリガを、撮像素子のリセットおよびリードアウトのタイミングで受ける受付部と、
前記受付部により前記トリガを受け付けたとき、前記装置に対して、前記撮像素子の状態を示すステータスを返す出力部とを
備える撮像装置。
【請求項2】
前記装置は、光源の発光タイミングも制御する
請求項1に記載の撮像装置。
【請求項3】
前記出力部は、前記撮像素子の状態が変化したときも、前記装置に対して、前記ステータスを返す
請求項1に記載の撮像装置。
【請求項4】
前記トリガは、前記リセットまたは前記リードアウトを示す2種類で構成され、
前記受付部により受け付けた前記トリガが、前記リードアウトを示す場合、前記撮像素子からのデータをメモリに書き込む書き込み部を
さらに備える請求項1に記載の撮像装置。
【請求項5】
前記書き込み部により前記メモリに前記データが書き込まれ始めたところで、前記メモリに書き込まれた前記データの送信を開始する送信部を
さらに備える請求項4に記載の撮像装置。
【請求項6】
前記送信部は、USB(Universal Serial Bus)を介して、前記メモリに書き込まれた前記データを送信する
請求項5に記載の撮像装置。
【請求項7】
連続撮像を行う場合、前記トリガは、n枚目の前記リードアウトおよびn+1枚目の前記リセットを示す
請求項1に記載の撮像装置。
【請求項8】
前記撮像素子に対して同期信号を発行する同期信号発行部と、
前記受付部により前記トリガを受け付けたとき、前記撮像素子を低電流モードから起動させ、前記同期信号発行部による前記同期信号の発行終了後に、前記撮像素子を低電流モードに移行させるモード移行部と
をさらに備える請求項1に記載の撮像装置。
【請求項9】
撮像装置の制御方法であって、
外部の装置からのトリガを、撮像素子のリセットおよびリードアウトのタイミングで受け、
前記トリガを受け付けたとき、前記装置に対して、前記撮像素子の状態を示すステータスを返す
ステップを含む制御方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2013−58832(P2013−58832A)
【公開日】平成25年3月28日(2013.3.28)
【国際特許分類】
【出願番号】特願2011−194830(P2011−194830)
【出願日】平成23年9月7日(2011.9.7)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
【公開日】平成25年3月28日(2013.3.28)
【国際特許分類】
【出願日】平成23年9月7日(2011.9.7)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
[ Back to top ]