説明

内視鏡装置、フォーカス制御方法及びプログラム

【課題】低コントラストの被写体でも適切なオートフォーカスを行うことが可能な内視鏡装置、フォーカス制御方法及びプログラム等を提供すること。
【解決手段】内視鏡装置は、第1画像取得部と、第2画像取得部と、フォーカス制御部150と、を含む。第1画像取得部は、生体内の被写体を撮像光学系により撮像した画像であって、白色光の波長帯域における情報を有した被写体像を含む画像を、第1画像として取得する。第2画像取得部は、第1画像に対応して、特定の波長帯域における情報を有した被写体像を含む画像を第2画像として取得する。フォーカス制御部150は、第2画像の中の被写体像に合焦させる制御を行って、撮像光学系のフォーカス調整を行う。第1画像取得部は、フォーカス調整された撮像光学系により撮像した第1画像を取得する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、内視鏡装置、フォーカス制御方法及びプログラム等に関する。
【背景技術】
【0002】
被写体にピントを自動で合わせるオートフォーカスの一方式として、コントラスト検出方式が広く知られている。この方式では、レンズの位置を変えながら画像を撮像し、それらの画像のコントラストに基づいて評価値を算出する。そして、その評価値が最大となるレンズの位置を決定し、その位置が最もピントの合っている位置と判断する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2004−118141号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、コントラスト検出方式では、元々コントラストのあまりないシーンの場合には、ピントの最も合う位置(合焦位置)とそうでない位置でコントラストの差が小さいという課題がある。この場合、レンズの位置を変化させても評価値の変化が小さいため、ピントの合った位置を求めることが難しくなり、適切なオートフォーカスを行うことが困難となってしまう。
【0005】
例えば内視鏡装置では、主に生体内部を観察するが、生体内部は低コントラストの場合が多い。そのため、コントラスト検出方式により生体内部に対して適切にオートフォーカスできない可能性がある。
【0006】
特許文献1には、被写体からの反射光を可視光と赤外光に分岐し、赤外光から取得される画像を用いて合焦位置を制御する手法が開示されている。
【0007】
しかしながら、赤外光では生体の分光特性を利用できないため、コントラストの高い画像を得られない。また、撮像素子の分光感度は可視光以外の波長領域では一般的に小さいため、赤外光では可視光に比べてコントラストが小さい画像しか得られない。
【0008】
本発明の幾つかの態様によれば、低コントラストの被写体でも適切なオートフォーカスを行うことが可能な内視鏡装置、フォーカス制御方法及びプログラム等を提供できる。
【課題を解決するための手段】
【0009】
本発明の一態様は、生体内の被写体を撮像光学系により撮像した画像であって、白色光の波長帯域における情報を有した被写体像を含む画像を、第1画像として取得する第1画像取得部と、前記第1画像に対応して、特定の波長帯域における情報を有した被写体像を含む画像を第2画像として取得する第2画像取得部と、前記第2画像の中の被写体像に合焦させる制御を行って、前記撮像光学系のフォーカス調整を行うフォーカス制御部と、を含み、前記第1画像取得部は、前記フォーカス調整された前記撮像光学系により撮像した前記第1画像を取得する内視鏡装置に関係する。
【0010】
本発明の一態様によれば、生体内の被写体が撮像された第1画像と第2画像が取得される。このとき、第2画像として、特定の波長帯域における情報を有した被写体像を含む画像が取得される。その第2画像の中の被写体像に合焦させる制御が行われ、第1画像が取得される。これにより、低コントラストな生体内の被写体でも適切なオートフォーカスを行うことが可能になる。
【0011】
また、本発明の他の態様は、生体内の被写体を撮像光学系により撮像した画像であって、白色光の波長帯域における情報を有した被写体像を含む画像を、第1画像として取得する第1画像取得部と、前記第1画像に含まれる前記被写体像の生体構造をより強調させた生体構造の被写体像を含む画像を、第2画像として取得する第2画像取得部と、前記第2画像の中の被写体像に合焦させる制御を行って、前記撮像光学系のフォーカス調整を行うフォーカス制御部と、を含み、前記第1画像取得部は、前記フォーカス調整された前記撮像光学系により撮像した前記第1画像を取得する内視鏡装置に関係する。
【0012】
また、本発明のさらに他の態様は、生体内の被写体を撮像光学系により撮像した画像であって、白色光の波長帯域における情報を有した被写体像を含む画像を、第1画像として取得し、前記第1画像に対応して、特定の波長帯域における情報を有した被写体像を含む画像を第2画像として取得し、前記第2画像の中の被写体像に合焦させる制御を行って、前記撮像光学系のフォーカス調整を行い、前記フォーカス調整された前記撮像光学系により撮像した前記第1画像を取得するフォーカス制御方法に関係する。
【0013】
また、本発明のさらに他の態様は、生体内の被写体を撮像光学系により撮像した画像であって、白色光の波長帯域における情報を有した被写体像を含む画像を、第1画像として取得する第1画像取得部と、前記第1画像に対応して、特定の波長帯域における情報を有した被写体像を含む画像を第2画像として取得する第2画像取得部と、前記第2画像の中の被写体像に合焦させる制御を行って、前記撮像光学系のフォーカス調整を行うフォーカス制御部として、コンピュータを機能させ、前記第1画像取得部は、前記フォーカス調整された前記撮像光学系により撮像した前記第1画像を取得するプログラムに関係する。
【図面の簡単な説明】
【0014】
【図1】図1(A)〜図1(D)は、本実施形態の概要についての説明図である。
【図2】内視鏡装置の第1の構成例。
【図3】回転フィルタの第1の詳細な構成例。
【図4】ラプラシアンフィルタの例。
【図5】図5(A)、図5(B)は、オートフォーカス処理についての説明図である。
【図6】図6(A)、図6(B)は、オートフォーカス処理についての説明図である。
【図7】内視鏡装置の第2の構成例。
【図8】回転フィルタの第2の詳細な構成例。
【図9】面順次についての説明図。
【図10】内視鏡装置の第3の構成例。
【図11】特殊光画像取得部の詳細な構成例。
【図12】ヒストグラムの例。
【図13】階調変換曲線の例。
【図14】内視鏡装置の第4の構成例。
【図15】内視鏡装置の第5の構成例。
【図16】回転フィルタの第3の詳細な構成例。
【図17】光源の詳細な構成例。
【図18】コンピュータシステムの構成を示すシステム構成図。
【図19】コンピュータシステムにおける本体部の構成を示すブロック図。
【図20】ソフトウェアのフローチャート例。
【発明を実施するための形態】
【0015】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【0016】
1.本実施形態の概要
まず、本実施形態が行うオートフォーカス処理の概要について説明する。上述のように、内視鏡により生体内を観察する場合、消化管の内壁等は一般的に低コントラストであるためコントラスト検出方式のオートフォーカスは困難である。例えば図1(A)に示すように、白色光による画像では、血管等の生体構造がそれほど鮮明でない場合がある。その場合、図1(B)に示すように合焦時とピンぼけ時の評価値の差が小さく、レンズの合焦位置dfの検出が不正確になってしまう。
【0017】
そこで本実施形態では、図1(C)、図1(D)に示すように、特殊光による画像を用いてコントラスト検出方式のオートフォーカス処理を行う。特殊光は、生体特有の吸収や反射が生じる波長帯域の光である。そのため、特殊光を用いることで、生体構造が強調された高コントラストの画像を撮像し、その画像を用いてオートフォーカスの精度を向上できる。
【0018】
例えば、血管は、緑と青の特定の帯域の光を吸収する性質がある。そのため、その帯域の特殊光で観察することで、血管が強調された高コントラストの画像を得ることができる。また、病変部はその周辺部と構造が異なるため、病変部では高コントラストの画像が得られる。
【0019】
2.第1の実施形態
次に、上記オートフォーカス処理を行う内視鏡装置について説明する。図2に、本実施形態の内視鏡装置の第1の構成例を示す。内視鏡装置(広義には撮像装置)は、照明部101、撮像部102、I/F部111(I/F: Interface)、制御装置300を含む。
【0020】
照明部101は、被写体に照明光を照射する。照明部101は、光源装置201(光源部)、外装205、ライトガイドファイバ206、照明光学系207を含む。光源装置201は、照明光を発生する。光源装置201は、白色光光源202、回転フィルタ203、集光レンズ204を含む。
【0021】
撮像部102は、照明された被写体を撮像する。撮像部102は、外装205、集光レンズ208(対物レンズ)、撮像素子209を含む。外装205は、撮像部102やライトガイドファイバ206、照明光学系207が収納されたスコープ部の外装である。スコープ部は、例えば体腔への挿入を可能にするため細長く湾曲可能に形成されており、制御装置300に着脱可能である。
【0022】
制御装置300は、内視鏡装置の各構成要素の制御や画像処理を行う。制御装置300は、A/D変換部103、通常光画像取得部104(第1画像取得部)、特殊光画像取得部105(第2画像取得部)、評価値算出部106、バッファ107(記憶部)、合焦位置決定部108、出力部109、制御部110、判定部112を含む。制御部110は、例えばマイクロコンピュータやCPU等を備えている。I/F部111は、例えば電源スイッチや変数設定などを行うためのインターフェースを備えている。
【0023】
本実施形態の内視鏡装置が行う動作や処理について説明する。白色光光源202は、白色光を発光する。図3に示すように、回転フィルタ203には、白色光透過フィルタ210と狭帯域透過フィルタ211(広義には特殊光フィルタ)がセットされている。白色光透過フィルタ210の透過帯域は、例えば400nm〜700nmである(nm:ナノメートル)。狭帯域透過フィルタ211の透過帯域は、例えば390nm〜445nm(B2)と530nm〜550nm(G2)である。
【0024】
白色光光源202から発光された白色光が、回転フィルタ203の白色光透過フィルタ210と狭帯域透過フィルタ211を交互に透過する。白色光透過フィルタ210を透過した白色光と、狭帯域透過フィルタ211を透過した特殊光が交互に集光レンズ204に達し集光される。集光された白色光または特殊光は、ライトガイドファイバ206を通って照明光学系207から被写体に照射される。
【0025】
被写体から反射した反射光は、集光レンズ208により集光される。集光された光は、撮像素子209に到達し、撮像素子209により光電変換されてアナログ信号となる。アナログ信号は、A/D変換部103へ送られる。撮像素子209は、例えばR,G,Bを受光する受光素子がベイヤ(Bayer)型に配置されたセンサである。
【0026】
集光レンズ208は、光軸上で前後に動作できる。あるいは、集光レンズ208がAF用レンズを有し、そのAF用レンズが光軸上で前後に動作してもよい。レンズが光軸に沿った方向に移動することで、合焦する被写体までの距離が変更される。なお以下では、被写体にピントが合っている場合の集光レンズ208の位置を、合焦位置と呼ぶ。
【0027】
特殊光を照射して撮像された画像は、A/D変換部103によりデジタル信号に変換される。その信号は、特殊光画像取得部105へ送られる。特殊光画像取得部105は、その信号に基づいて特殊光画像を取得する。また、同時に集光レンズ208の位置情報も取得する。位置情報は、特殊光画像を撮像したときの集光レンズ208の位置を表す情報である。
【0028】
評価値算出部106は、特殊光画像に基づいて評価値を算出する。評価値は、合焦位置に応じて変化する値であり、被写体にピントが合う合焦位置を検出するための値である。評価値の算出方法の一例は、公知のエッジ抽出処理を特殊光画像に対して行う。抽出されたエッジの量が大きいほど評価値が高い。例えば、図4に示すラプラシアンフィルタを、特殊光画像の全画素に対して適用することで、エッジを抽出する。そして、ラプラシアンフィルタをかけた後の全画素の画素値の絶対値の合計を求め、その合計の値を評価値とする。
【0029】
バッファ107は、その評価値と、集光レンズ208の位置情報を保持(記憶)する。
【0030】
図5(A)に示すように、レンズの位置d1で評価値ev1が取得されたとする。レンズの位置は、例えば集光レンズ208から撮像素子209までの距離である。制御部110は、集光レンズ208を撮像素子209側に近づけて位置d2に移動させる。その後は同様に特殊光画像を取得し、評価値ev2を算出し、その集光レンズの位置情報d2を保持する。
【0031】
合焦位置決定部108は、一枚目の評価値ev1と二枚目の評価値ev2を比較する。図5(A)に示すように、二枚目の評価値ev2のほうが大きければ、集光レンズ208を更に撮像素子209側に近づける。図5(B)に示すように、一枚目の評価値ev1のほうが大きければ、逆に一枚目の位置d1よりも撮像素子209から遠い位置へ集光レンズ208を動かす。すなわち、評価値が最大となる位置を捜すために、評価値が大きくなる可能性のある方向へ集光レンズ208を動かす。
【0032】
そして同様に、特殊光画像取得部105が特殊光画像を取得し、評価値算出部106が評価値を算出し、バッファ107が評価値と集光レンズ208の位置情報を保持する。
【0033】
図6(A)、図6(B)に示すように、合焦位置決定部108は、3つの評価値に対して二次関数KCで近似を行い、二次関数KCが最大となる位置dfを求める。その位置dfが、被写体にピントの合った集光レンズ208の位置であると推測する。
【0034】
なお、上記では特殊光画像を3枚用いて評価値を求め近似を行ったが、本実施形態では3枚以上の特殊光画像を用いて評価値を求め近似を行ってもよい。特殊光画像の枚数が多い方が、近似の精度を向上できる。また、上記では二次関数を用いて近似を行ったが、本実施形態では二次よりも高次の関数を用いて近似を行ってもよい。
【0035】
評価値が最大となる位置dfが求められたら、制御部110は、集光レンズ208をその位置dfへ動かす制御を行う。回転フィルタ203の白色光透過フィルタ210を透過した白色光を被写体に照射し、撮像した信号をA/D変換部103によりデジタル信号に変換する。その信号を通常光画像取得部104へ送る。通常光画像取得部104は、その信号から通常光画像を取得する。出力部109は、取得された通常光画像をピントの合った画像として、図示しないモニタ等へ出力する。
【0036】
なお、上記ではエッジ抽出の処理をラプラシアンフィルタにより行う場合を例に説明したが、本実施形態はこれに限定されない。例えば、1次微分フィルタ等の他のエッジ抽出方法を用いて、エッジ抽出の処理を行ってもよい。
【0037】
ここで、本実施形態では、拡大観察モードの場合にオートフォーカス制御を行うことも可能である。具体的には、判定部112は、拡大観察モードか否かを判定する。拡大観察モードであれば、制御部110が上記の処理を行う。
【0038】
拡大観察モードの判定の一例は、図示しない距離情報を取得するセンサを撮像部先端に保持し、そのセンサが被写体までの距離を測定する。その距離が予め与えられた所定の閾値以下の場合には、判定部112が拡大観察モードと判定する。
【0039】
他の判定の一例は、I/F部111を介して拡大観察モードか否かをユーザが指示する。拡大観察モードが指示された場合には、判定部112が拡大観察モードと判定する。
【0040】
また、他の判定の一例は、通常光画像取得部104または特殊光画像取得部105により取得された画像に対して所定のエッジ抽出などを行い、オブジェクトを検出する。判定部112は、その検出したオブジェクトが所定時間(例えば単位時間)後に大きくなっていたら拡大観察モードと判定する。
【0041】
また、他の判定の一例は、通常光画像取得部104または特殊光画像取得部105により取得された画像に対して所定のエッジ抽出の処理を行い、エッジ量を算出する。判定部112は、所定時間(例えば単位時間)後にエッジ量が減り、画像全体(または一部)の画素値(例えば輝度値)の合計が増加した場合には、拡大観察モードと判定する。具体的には、通常観察において、被写体が被写界深度に入っておりピントが合っているとする。被写体を拡大観察するために被写体にスコープを近づける操作をすると、被写界深度を外れてピントがぼける。そうすると、画像のエッジ量が減るため、エッジ量が減った場合にオートフォーカス処理を開始する。すなわち、ピントがぼけたことを、エッジ量に基づいて判断する。また、被写体から遠ざける操作をした場合にも被写界深度から外れる。この場合、画像は暗くなる。そのため、被写体に近づく方向に被写界深度を外れたことを、画像の明るさに基づいて判断する。
【0042】
さて上述のように、コントラスト検出方式のオートフォーカスでは、内視鏡により生体内を観察する場合に、消化管の内壁等は一般的に低コントラストであるため、合焦位置を検出することが困難であるという課題がある。
【0043】
この点、本実施形態の内視鏡装置は、図2に示すように、第1画像取得部と第2画像取得部とフォーカス制御部150を含む。第1画像取得部は、生体内の被写体を撮像光学系により撮像した画像であって、白色光の波長帯域における情報を有した被写体像を含む画像を、第1画像として取得する。第2画像取得部は、第1画像に対応して、特定の波長帯域における情報を有した被写体像を含む画像を第2画像として取得する。フォーカス制御部150は、第2画像の中の被写体像に合焦させる(ピントを合わせる)制御を行って、撮像光学系のフォーカス調整を行う。そして、第1画像取得部は、フォーカス調整された撮像光学系により撮像した第1画像を取得する。
【0044】
例えば本実施形態では、特殊光画像取得部105が特殊光画像を取得し、評価値算出部106が、その特殊光画像に基づいて評価値を算出し、合焦位置決定部108が、その評価値に基づいて合焦位置を求める。制御部110が、その合焦位置に集光レンズ208を移動させ、通常光画像取得部104が、合焦した(ピントの合った)通常光画像を取得する。
【0045】
ここで、第1画像取得部は通常光画像取得部104に対応する。第2画像取得部は特殊光画像取得部105に対応する。フォーカス制御部150は、評価値算出部106、バッファ107、合焦位置決定部108、制御部110に対応する。なおフォーカス制御部150は、バッファ107を含まなくてもよい。撮像光学系は、集光レンズ208と撮像素子209に対応する。第1画像は通常光画像に対応する。第2画像は特殊光画像に対応する。
【0046】
本実施形態によれば、内視鏡装置において特殊光画像を用いてオートフォーカス制御を行い、そのオートフォーカス制御により合焦した通常光画像を取得できる。具体的には、特殊光画像は、生体内においてコントラストの高い画像が得られやすい。そのため、通常光画像でオートフォーカスを行う場合に比べて、オートフォーカスの精度を向上できる。これにより、合焦した通常光画像を観察者に提供できる。
【0047】
また本実施形態では、第2画像取得部は、生体内の被写体についてのコントラストが第1画像よりも第2画像において高くなる波長帯域を特定の波長帯域として、第2画像を取得する。フォーカス制御部150は、第2画像のコントラストに基づいて、第2画像の中の被写体像に合焦させる制御を行う。
【0048】
例えば本実施形態では、コントラストを表す評価値を求め、その評価値に基づいて合焦位置を検出する。コントラストは、非合焦の(ピントが外れた)場合よりも合焦の場合の方が大きくなる値であり、例えば上述のように画像のエッジ量である。図1(A)〜図1(D)に示すように、非合焦の場合と合焦の場合のコントラストの差(または比)は、通常光画像よりも特殊光画像の方が大きい。特定の波長帯域とは、このような特殊光画像が、生体内の被写体について取得される波長帯域である。
【0049】
このようにすれば、生体内の被写体についてのコントラストを、通常光画像よりも特殊光画像において高コントラストにできる。これにより、コントラスト検出方式のオートフォーカスを、特殊光画像を用いて高精度に行うことが可能になる。
【0050】
また本実施形態では、第2画像取得部は、第1画像に含まれる被写体像の生体構造をより強調させた生体構造の被写体像を含む画像を、第2画像として取得する。
【0051】
このようにすれば、被写体像の生体構造をより強調させた第2画像に基づいてオートフォーカス制御できる。これにより、低コントラストの生体内において、オートフォーカスの精度を向上できる。すなわち、被写体像の生体構造が強調されることで、合焦時と非合焦時の評価値の差(または比)を大きくすることが可能になる。
【0052】
また本実施形態では、特定の波長帯域は、白色光の波長帯域(例えば380nm〜650nm)よりも狭い帯域である(NBI: Narrow Band Imaging)。具体的には、特定の波長帯域は、血液中のヘモグロビンに吸収される波長の波長帯域である。より具体的には、特定の波長帯域は、390ナノメートル〜445ナノメートル(第2狭帯域光)、または530ナノメートル〜550ナノメートル(第1狭帯域光)である。
【0053】
このようにすれば、狭帯域の特殊光を生体内の被写体に照射することで、生体の血管構造や病変を浮き立たせた特殊光画像を取得することができる。これにより、血管や病変部などのコントラストの高い画像が得られ、精度のよいオートフォーカスができる。
【0054】
より具体的には、生体の表層部及び深部に位置する血管の構造を撮像することが可能になり、その血管の構造によりコントラストを向上できる。また得られた信号を特定のチャンネル(G2→R、B2→G,B)に入力することで、扁平上皮癌等の通常光では視認が難しい病変などを褐色等で表示することができ、病変部を含む画像のコントラストを向上できる。なお、390nm〜445nmまたは530nm〜550nmとは、ヘモグロビンに吸収されるという特性及び、それぞれ生体の表層部または深部まで到達するという特性から得られた数字である。ただし、この場合の波長帯域はこれに限定されず、例えばヘモグロビンによる吸収と生体の表層部又は深部への到達に関する実験結果等の変動要因により、波長帯域の下限値が0〜10%程度減少し、上限値が0〜10%程度上昇することも考えられる。
【0055】
また本実施形態では、図2に示すように、観察状態が拡大観察状態であるか否かを判定する判定部112を含む。判定部112により拡大観察状態であると判定された場合に、フォーカス制御部150は、第2画像の中の被写体像に合焦させる制御を行って、撮像光学系のフォーカス調整を行う。第1画像取得部は、フォーカス調整された撮像光学系により撮像した第1画像を取得する。
【0056】
ここで、拡大観察状態とは、例えば消化管の内壁に正対して病変を高倍率で観察する状態である。一方、通常観察状態とは、例えば消化管内を移動しながら低倍率で病変をサーチする観察状態である。
【0057】
このようにすれば、拡大観察状態の場合にオートフォーカス制御を行うことができる。観察者が拡大観察を行っているときは大きく画像を表示させてじっくり観察したい場合と考えられる。本実施形態では、拡大観察時にピントのあった画像を提示できるため、観察しやすさの向上に寄与する。また、拡大観察時には被写体に接近するため被写界深度が狭くなり、手動でのフォーカス調整が難しくなる。本実施形態では、オートフォーカスにより合焦可能である。
【0058】
また本実施形態では、判定部112は、内視鏡装置のスコープ部が被写体に接近しているか否かに関する情報を取得し、スコープ部が被写体に接近しているとその情報に基づいて判断した場合に、拡大観察状態であると判定する。具体的には、判定部112は、被写体のエッジ形状の大きさをその情報として取得し、エッジ形状の大きさが所定時間前のエッジ形状の大きさよりも大きいと判断した場合に、拡大観察状態であると判定する。
【0059】
例えば、エッジ形状の大きさは、形状の幅や、形状の面積や、形状の倍率である。形状の倍率は、例えば、現在の画像からエッジ抽出したエッジ画像と、所定時間前の画像からエッジ抽出したエッジ画像を取得し、所定時間前のエッジ画像をサイズ変換して現在のエッジ画像とマッチング処理して求めればよい。
【0060】
このようにすれば、スコープ部が被写体に接近していると判断した場合に、拡大観察状態であると判定できる。これにより、スコープ部が被写体に接近して被写界深度が狭くなった場合にオートフォーカスを行うことが可能になる。
【0061】
また本実施形態では、判定部112は、画像の合焦状態を評価するための評価値を第1画像または第2画像から取得し、合焦状態から非合焦状態に変化したとその評価値に基づいて判定した場合に、拡大観察状態であると判定する。
【0062】
例えば本実施形態では、通常光画像または特殊光画像のエッジ量を算出し、所定時間後にエッジ量が減少していた場合に、非合焦状態に変化したと判定する。
【0063】
このようにすれば、拡大観察を行うためにスコープ部を被写体に接近させることで被写界深度を外れた場合に、拡大観察状態であると判定できる。これにより、通常観察状態から拡大観察状態に移行する際にピントが外れた場合であっても、オートフォーカスにより合焦可能である。
【0064】
また本実施形態では、図2に示すように、第1画像取得部は、光源部から照射される光に基づく第1画像を取得する。第2画像取得部は、光源部から照射される光に基づく第2画像を取得する。
【0065】
具体的には、光源部は、白色光光源202を有する。第1画像取得部は、白色光光源202から照射される白色光に基づく第1画像を取得する。第2画像取得部は、白色光光源202から照射される白色光に基づく第2画像を取得する。
【0066】
より具体的には、図3に示すように、光源部は、特定の波長帯域を透過するフィルタ211を白色光に対して適用することで、特定の波長帯域の光を出射する。第2画像取得部は、その特定の波長帯域の情報を有する第2画像を取得する。
【0067】
本実施形態では、光源部は光源装置201に対応する。本実施形態では、光源部から出射された光により被写体が照明され、その照明された被写体が撮像部102により撮像されることで第1画像と第2画像が得られる。なお本実施形態では、白色光に基づく第2画像は、特定の波長帯域の光で照明して得られた画像に限定されない。例えば図7で後述するように、白色光で照明した被写体からの反射光を、特定の波長帯域を透過するフィルタ230に透過させて撮像した画像であってもよい。
【0068】
このようにすれば、白色光透過フィルタと特殊光フィルタを切り替えることで、白色光光源を用いて通常光画像と特殊光画像を取得できる。白色光光源は一般的に使用されている光源であるため、コストを安くすることができる。
【0069】
3.第2の実施形態
第1の実施形態では、通常光画像と特殊光画像を時分割に取得したが、本実施形態では、通常光画像と特殊光画像を2つの撮像素子により同時に取得してもよい。この場合の実施形態について詳細に説明する。
【0070】
図7に、内視鏡装置の第2の構成例を示す。内視鏡装置は、照明部101、撮像部402、I/F部111、制御装置300を含む。なお以下では、第1の実施形態で説明した構成要素と同一の構成要素には同じ符号を付して、適宜説明を省略する。
【0071】
照明部101は、光源装置201、外装205、ライトガイドファイバ206、照明光学系207を含む。光源装置201は、RGBの照明光を時分割に発生する。光源装置201は、白色光光源202、回転フィルタ203、集光レンズ204を含む。
【0072】
撮像部402は、白色光による撮像と特殊光による撮像を同じタイミングで行う。撮像部402は、外装205、集光レンズ208、光を分岐するスプリッタ228、通常光画像用の撮像素子229(第1の撮像素子)、特定の帯域の光のみを透過する狭帯域透過フィルタ230、特殊光画像用の撮像素子231(第2の撮像素子)を含む。
【0073】
制御装置300は、第1のA/D変換部103a、第2のA/D変換部103b、通常光画像取得部104、特殊光画像取得部105、評価値算出部106、バッファ107、合焦位置決定部108、出力部109、制御部110を含む。
【0074】
本実施形態の内視鏡装置が行う動作や処理について説明する。白色光光源202から白色光が発光される。図8に示すように、回転フィルタ203には、赤色光透過フィルタ220と緑色光透過フィルタ221と青色光透過フィルタ222がセットされている。白色光光源202から発光された白色光は、回転フィルタ203を透過して集光レンズ204に達し集光される。集光された光は、ライトガイドファイバ206を通って照明光学系207から被写体に照射される。
【0075】
被写体から反射した反射光は、集光レンズ208により集光され、スプリッタ228によって二方向に分けられる。一方向の光は、撮像素子229に到達し、撮像素子229により光電変換される。光電変換により得られたアナログ信号は、A/D変換部103aへ送られる。もう一方向の光は、狭帯域透過フィルタ230へ達し、所定の狭帯域の光のみが透過する。狭帯域透過フィルタ230の透過帯域は、例えば390nm〜445nm(B2)と530nm〜550nm(G2)である。透過した光は、撮像素子231に到達し、撮像素子231により光電変換される。光電変換により得られたアナログ信号は、A/D変換部103bへ送られる。
【0076】
A/D変換部103aは、アナログ信号をデジタル信号に変換し、そのデジタル信号を通常光画像取得部104へ送信する。A/D変換部103bは、アナログ信号をデジタル信号に変換し、そのデジタル信号を特殊光画像取得部105へ送信する。
【0077】
集光レンズ208は、光軸上で前後に動作できる。
【0078】
通常光画像取得部104と特殊光画像取得部105は、面順次に撮像されたR画像、G画像、B画像からカラー画像を取得する。ここで、回転フィルタ203の赤色光透過フィルタ220を透過した光によって得られた信号を、R信号と呼ぶこととする。緑色光透過フィルタ221を透過した光によって得られた信号を、G信号と呼ぶ。青色光透過フィルタ222を透過した光によって得られた信号を、B信号と呼ぶ。回転フィルタ203は回転しているため、R信号、G信号、B信号が順番に得られる。通常光画像取得部104は、R信号、G信号、B信号を合成してカラーの通常光画像を生成する。特殊光画像取得部105は、R信号、G信号、B信号を合成してカラーの特殊光画像を生成する。
【0079】
第1の実施形態と同様に、特殊光画像に基づいてオートフォーカス処理を行う。すなわち、評価値算出部106は、特殊光画像から評価値を算出する。バッファ107は、評価値と、集光レンズ208の位置情報を保持する。制御部110が、集光レンズ208の位置を変更する制御を行い、特殊光画像取得部105が特殊光画像を取得する。これらの動作を繰り返し、合焦位置決定部108が、評価値が最大となる位置を決定する。このようにして、ピントの合った位置を推測する。
【0080】
評価値が最大となる位置を求めたら、制御部110は、集光レンズ208をその位置へ動かす制御を行う。
【0081】
A/D変換部103aは、アナログ信号をデジタル信号に変換してR信号、G信号、B信号を取得し、取得した信号を通常光画像取得部104へ送信する。通常光画像取得部104は、R信号、G信号、B信号を合成してカラーの通常光画像を生成する。出力部109は、取得された通常光画像をピントの合った画像として、図示しないモニタ等へ出力する。
【0082】
図9を用いて、面順次の画像生成手法について説明する。図9のA1に示すように、回転フィルタ203が1回転すると、Rt1信号、Gt1信号、Bt1信号が順次取得される。A2に示すように、次の1回転で、Rt2信号、Gt2信号、Bt2信号が順次取得される。A3に示すように、Rt1信号、Gt1信号、Bt1信号が取得されると、この3つの信号に基づいてカラー画像が生成される。以降は、1つの信号が新たに取得されるごとに、新たに取得された信号と前に取得された信号からカラー画像が生成される。例えば、A4に示すように、Rt2信号が取得されると、Rt2信号、Gt1信号、Bt1信号からカラー画像が生成される。
【0083】
なお、上記ではR信号、G信号、B信号を合成して特殊光画像を生成していたが、本実施形態ではこれに限定されない。例えば、G信号とB信号から特殊光画像を生成してもよく、またはB信号だけから特殊光画像を生成してもよい。
【0084】
本実施形態によれば、図7、図8に示すように、光源部は、白色光を構成する第1〜第N(Nは2以上の整数)の単色光の波長帯域を透過するフィルタ220〜222を、白色光に対して適用することで、第1〜第Nの単色光を出射する。第1画像取得部は、第1〜第Nの単色光の波長帯域の情報を有する第1〜第Nの単色画像を取得し、取得した第1〜第Nの単色画像に基づいて第1画像を生成する。
【0085】
本実施形態では、N=3であり、第1の単色光は赤色光であり、第2の単色光は緑色光であり、第3の単色光は青色光である。第1〜第3の単色画像は、R画像、G画像、B画像である。図9に示すように、モノクロの撮像素子229がR画像、G画像、B画像を時分割に撮像し、通常光画像取得部104が、その時分割に撮像されたR画像、G画像、B画像から通常光画像を生成する。
【0086】
このようにすれば、面順次による撮像が可能になる。また、白色光光源は一般的に用いられる光源であるため、コスト削減が可能である。また、面順次ではモノクロの撮像素子を用いるため、同じ画素数のベイヤ配列の撮像素子に比べて、高解像度である。
【0087】
4.第3の実施形態
第1の実施形態では、特殊光を被写体に照射することで特殊光画像を撮像したが、本実施形態では、通常光画像から特殊光画像を抽出してもよい。この場合の実施形態について詳細に説明する。
【0088】
図10に、内視鏡装置の第3の構成例を示す。内視鏡装置は、照明部101、撮像部102、I/F部111、制御装置300を含む。なお以下では、第1〜第2の実施形態で説明した構成要素と同一の構成要素には同じ符号を付して、適宜説明を省略する。
【0089】
照明部101は、光源装置201、外装205、ライトガイドファイバ206、照明光学系207を含む。光源装置201は、白色光の照明光を発生する。光源装置201は、白色光光源202、集光レンズ204を含む。
【0090】
撮像部102は、白色光により照明された被写体を撮像する。撮像部102は、外装205、集光レンズ208、撮像素子209を含む。
【0091】
制御装置300は、A/D変換部103、通常光画像取得部104、特殊光画像取得部105、評価値算出部106、バッファ107、合焦位置決定部108、出力部109、制御部110を含む。特殊光画像取得部105は、通常光画像取得部104により取得された通常光画像に基づいて特殊光画像を取得する。図11に、特殊光画像取得部105の詳細な構成例を示す。特殊光画像取得部105は、マトリクスデータ設定部401、信号抽出部403を含む。
【0092】
本実施形態の内視鏡装置が行う動作や処理について説明する。
【0093】
白色光光源202から白色光が発光され、集光レンズ204に達し集光される。集光された白色光は、ライトガイドファイバ206を通って照明光学系207から被写体に照射される。
【0094】
被写体から反射した反射光は、集光レンズ208により集光され、撮像素子209に到達する。到達した光は、撮像素子209により光電変換されてアナログ信号となり、そのアナログ信号はA/D変換部103へ送られる。撮像素子209は、R・G・Bを受光する受光素子がベイヤ(Bayer)型に配置されたセンサである。
【0095】
集光レンズ208は、光軸上で前後に動作できる。
【0096】
A/D変換部103でデジタル信号に変換された信号は、通常光画像取得部104へ送られる。通常光画像取得部104は、その信号を通常光画像として取得する。また、通常光画像取得部104は、同時に集光レンズ208の位置情報を取得する。
【0097】
特殊光画像取得部105は、所定の画像処理を行って特殊光画像を生成する。具体的には、マトリクスデータ設定部401は、マトリクスデータを設定する。マトリクスデータは、予め設定されたデータであってもよいし、ユーザにより設定されたデータであってもよい。信号抽出部403は、マトリクスデータと、通常光画像取得部104で取得された通常光画像と、に基づいて信号を抽出する。所定の画像処理の詳細例については、後述する。
【0098】
第1の実施形態と同様に、特殊光画像に基づいてオートフォーカス処理を行う。すなわち、評価値算出部106は、特殊光画像から評価値を算出する。バッファ107は、評価値と、集光レンズ208の位置情報を保持する。制御部110が、集光レンズ208の位置を変更する制御を行い、特殊光画像取得部105が特殊光画像を取得する。これらの動作を繰り返し、合焦位置決定部108が、評価値が最大となる位置を決定する。このようにして、ピントの合った位置を推測する。
【0099】
評価値が最大となる位置を求めたら、制御部110は、集光レンズ208をその位置へ動かす制御を行う。通常光画像取得部104は、通常光画像を取得する。出力部109は、取得された通常光画像をピントの合った画像として、図示しないモニタ等へ出力する。
【0100】
次に、特殊光画像取得部105が行う所定の画像処理の第1例について説明する。特殊光画像取得部105は、公知の分光推定技術を用いて、各画素における被写体の分光反射率を通常光画像から推定し、狭帯域(例えば10nm刻み)の分光画像を得る。特殊光画像取得部105は、この被写体の分光反射率や、白色光光源の分光放射率、光学系の分光透過率、色フィルタの分光感度の積を計算し、特殊光画像を取得する。
【0101】
より具体的には、通常光画像取得部104は、入力されたデジタル画像信号に対して例えば公知の補間処理を行い、R,G,Bの3チャンネルを持つカラー画像を生成する。この画像は、白色光源下で撮像素子209を用いて被写体を撮像した場合のカラー画像である。次に、特殊光画像取得部105は、このカラー画像から分光推定技術を用いて、カラー画像の各画素における被写体の分光反射率を推定する。例えば、分光推定技術の詳細は特開2000―115553号公報の[0054]〜[0065]に開示されている。この様な処理を行うことで、分光画像情報として被写体の分光反射率特性O(λ)が取得される(例えばλは380nm〜780nm)。O(λ)は、各画素について取得され、例えば380nmから780nmまで10nm刻みの分光反射率特性である。
【0102】
ここで、画像上の位置(x,y)における分光反射率特性をO(λ)(x,y)と記述する。また、本実施形態における白色光源の分光放射率をE(λ)とし、光学系の分光透過率をL(λ)とする。また、第1の実施形態における狭帯域透過フィルタ211の帯域G2,B2の分光感度をそれぞれg2(λ),b2(λ)とする。すると、帯域G2に対応する画像G2の位置(x、y)における信号値G2(x、y)は、下式(1)により算出される。帯域B2に対応する画像B2の位置(x、y)における信号値B2(x、y)は、下式(2)により算出される。
G2(x,y)=∫E(λ)・O(λ)(x,y)・L(λ)・g2(λ)dλ
・・・ (1)
B2(x,y)=∫E(λ)・O(λ)(x,y)・L(λ)・b2(λ)dλ
・・・ (2)
【0103】
画像上のすべての位置(x,y)に対してこのような計算を行うことで、通常光画像からG2画像とB2画像を取得することができる。
【0104】
次に、このG2画像とB2画像からR,G,Bの3チャンネルを持つカラー画像を生成する。例えば、カラー画像のRチャンネルにG2画像を入力し、GチャンネルとBチャンネルにB2画像を入力することでカラー画像が生成される。さらに、生成したカラー画像に対してホワイトバランス、階調変換等の処理を行い、特殊光画像として出力する。
【0105】
所定の画像処理の第2例について説明する。マトリクスデータ設定部401は、下式(3)の右辺の第1項のマトリクスを設定する。信号抽出部403は、下式(3)に示す変換処理を行う。ここで、Rin、Gin、Binは通常光画像のRGBの各信号値である。α、β、γは、任意の正数である。例えば、α=1、β=1.2、γ=0.9である。信号抽出部403は、Rout、Gout、Boutを特殊光画像のRGBの各信号値として出力する。
【数1】

【0106】
所定の画像処理の第3例について説明する。特殊光画像取得部105は、通常光画像のR信号に基づいて、ヒストグラムを平坦化するための階調変換曲線を求める。特殊光画像取得部105は、この階調変換曲線からゲインマップを作成し、そのゲインマップを用いて通常光画像のGBの信号を変換する。
【0107】
図12に、全画素のR信号値のヒストグラムの例を示す。R画像では、信号値が中央付近の画素がほとんどである。図13に、ゲインマップの例を示す。図13に示すように、画素値がまんべんなく分散するような階調変換曲線を生成し、ゲインマップを生成する。そして、画素のR信号値に対応するゲインを、その画素のG信号値とB信号値に乗算する。このようにヒストグラムを平坦化することで、コントラストを向上できる。
【0108】
なお、所定の画像処理として、色変換処理や、緑成分を強調する処理や、青成分を強調する処理を行ってもよい。あるいは、所定の画像処理として、所定の光の波長をI/F部111を介して指定し、指定された波長に対応する色を強調する処理を行ってもよい。
【0109】
ここで、上記では撮像素子209の色フィルタはベイヤ型に配置されているが、本実施形態ではこれに限定されず、色フィルタはハニカム構造などでもよい。また、上記では原色であるRGBを受光する撮像素子209を用いる場合について説明したが、本実施形態ではこれに限定されず、例えば補色を受光する撮像素子を用いてもよい。
【0110】
本実施形態によれば、図10に示すように、第2画像取得部は、取得された第1画像に基づいて、第2画像を生成する。
【0111】
具体的には、図11に示すように、第2画像取得部は、取得された第1画像から、白色光の波長帯域における信号を抽出する信号抽出部403を有する。第2画像取得部は、抽出された信号に基づいて、特定の波長帯域における信号を含む第2画像を生成する。
【0112】
より具体的には、第2画像取得部は、白色光の波長帯域における信号から、特定の波長帯域における信号を算出するためのマトリクスデータを設定するマトリクスデータ設定部401を有する。第2画像取得部は、設定されたマトリクスデータを用いて、白色光の波長帯域における信号から特定の波長帯域における信号を算出して、第2画像を生成する。
【0113】
これにより、通常光画像に基づいて特殊光画像を生成することができるため、通常光を照射する1つの光源と、通常光を撮像する1つの撮像素子のみでもシステムを実現することが可能になる。そのため、特殊光光源などの装置が不要となり、機器構成を簡素化できる。また、スコープ型内視鏡の挿入部を小さくすることができ、また部品が少なくてすむためコストを下げる効果も期待できる。
【0114】
5.第4の実施形態
第1の実施形態では、白色光と狭帯域透過フィルタにより特殊光を発生したが、本実施形態では、特殊光光源により特殊光を発生してもよい。この場合の実施形態について詳細に説明する。
【0115】
図14に、内視鏡装置の第4の構成例を示す。内視鏡装置は、照明部101、撮像部102、I/F部111、制御装置300を含む。なお以下では、第1〜第3の実施形態で説明した構成要素と同一の構成要素には同じ符号を付して、適宜説明を省略する。
【0116】
照明部101は、光源装置201、外装205、ライトガイドファイバ206、照明光学系207を含む。光源装置201は、白色光と特殊光を時分割に発生する。光源装置201は、白色光光源202a、特殊光光源202b、切替器202c、集光レンズ204を含む。
【0117】
撮像部102は、白色光による撮像と特殊光による撮像を時分割で行う。撮像部102は、外装205、集光レンズ208、撮像素子209を含む。
【0118】
制御装置300は、A/D変換部103、通常光画像取得部104、特殊光画像取得部105、評価値算出部106、バッファ107、合焦位置決定部108、出力部109、制御部110を含む。
【0119】
本実施形態の内視鏡装置が行う動作や処理について説明する。特殊光光源202bから特殊光が発光される。この特殊光の波長帯域は、例えば390nm〜445nm(B2)と530nm〜550nm(G2)である。特殊光光源202bからの特殊光は、集光レンズ204に達し集光される。集光された特殊光は、ライトガイドファイバ206を通って照明光学系207から被写体に照射される。
【0120】
被写体から反射した反射光は、集光レンズ208により集光される。集光された光は、撮像素子209に到達し、撮像素子209により光電変換されてアナログ信号となる。アナログ信号は、A/D変換部103へ送られる。撮像素子209は、例えばR,G,Bを受光する受光素子がベイヤ(Bayer)型に配置されたセンサである。
【0121】
A/D変換部103によりデジタル信号に変換された信号は、特殊光画像取得部105へ送られる。特殊光画像取得部105は、その信号を特殊光画像として取得する。また、特殊光画像取得部105は、同時に集光レンズ208の位置情報も取得する。
【0122】
集光レンズ208は、光軸上で前後に動作できる。
【0123】
第1の実施形態と同様に、特殊光画像に基づいてオートフォーカス処理を行う。すなわち、評価値算出部106は、特殊光画像から評価値を算出する。バッファ107は、評価値と、集光レンズ208の位置情報を保持する。制御部110が、集光レンズ208の位置を変更する制御を行い、特殊光画像取得部105が特殊光画像を取得する。これらの動作を繰り返し、合焦位置決定部108が、評価値が最大となる位置を決定する。このようにして、ピントの合った位置を推測する。
【0124】
評価値が最大となる位置を求めたら、制御部110は、集光レンズ208をその位置へ動かす制御を行う。制御部110は、切替器202cを制御し、切替器202cは、その制御に基づいて光源を白色光光源202aに切替える。
【0125】
特殊光光源での場合と同様に、撮像素子209によりアナログ信号を取得し、A/D変換部103によりデジタル信号に変換し、その信号を通常光画像取得部104へ送信する。通常光画像取得部104は、補間等の処理を行いカラーの通常光画像を生成する。出力部109は、取得された通常光画像をピントの合った画像として、図示しないモニタ等へ出力する。
【0126】
本実施形態によれば、図14に示すように、光源部は、白色光光源202aと、特定の波長帯域の情報を有する特殊光を出射する特殊光光源202bを有する。第1画像取得部は、白色光光源202aから照射される白色光に基づく第1画像を取得する。第2画像取得部は、特殊光光源202bから照射される特殊光に基づく第2画像を取得する。
【0127】
なお本実施形態では、白色光光源や特殊光光源は1つの光源である場合に限定されず、複数の光源であってもよい。例えば図17で後述するように、白色光光源は、赤色光光源202d、緑色光光源202e、青色光光源202fで構成されてもよい。特殊光光源は、緑色狭帯域光源202g、青色狭帯域光源202hで構成されてもよい。
【0128】
このようにすれば、白色光光源と特殊光光源を切替えることで、通常光画像と特殊光画像を取得できる。これにより、フィルタで光をカットしないため高コントラストの画像を取得可能になる。これにより、精度のよいオートフォーカスができ、観察者にピントの合った画像を提供できる。
【0129】
6.第5の実施形態
第1の実施形態では、通常光と特殊光を時分割に照射したが、本実施形態では、赤色光と緑色光と青色光と第1狭帯域光と第2狭帯域光を時分割に照射してもよい。この場合の実施形態について詳細に説明する。
【0130】
図15に、内視鏡装置の第5の構成例を示す。内視鏡装置は、照明部101、撮像部102、I/F部111、制御装置300を含む。なお以下では、第1〜第4の実施形態で説明した構成要素と同一の構成要素には同じ符号を付して、適宜説明を省略する。
【0131】
照明部101は、光源装置201、外装205、ライトガイドファイバ206、照明光学系207を含む。光源装置201は、赤色光と緑色光と青色光と第1狭帯域光と第2狭帯域光を発生する。光源装置201は、白色光光源202、回転フィルタ203、集光レンズ204を含む。
【0132】
撮像部102は、赤色光と緑色光と青色光と第1狭帯域光と第2狭帯域光による撮像を時分割に行う。撮像部102は、外装205、集光レンズ208、撮像素子209を含む。
【0133】
制御装置300は、A/D変換部103、通常光画像取得部104、特殊光画像取得部105、評価値算出部106、バッファ107、合焦位置決定部108、出力部109、制御部110を含む。
【0134】
本実施形態の内視鏡装置が行う動作や処理について説明する。白色光光源202から白色光が発光される。図16に示すように、回転フィルタ203には、赤色光透過フィルタ220、緑色光透過フィルタ221、青色光透過フィルタ222、緑色狭帯域光透過フィルタ223(第1狭帯域光透過フィルタ)、青色狭帯域光透過フィルタ224(第2狭帯域光透過フィルタ)がセットされている。赤色光透過フィルタ220の透過帯域は、例えば580nm〜700nmである。緑色光透過フィルタ221の透過帯域は、例えば480nm〜600nmである。青色光透過フィルタ222の透過帯域は、例えば400nm〜500nmである。緑色狭帯域光透過フィルタ223の透過帯域は、例えば530nm〜550nm(G2)である。青色狭帯域光透過フィルタ224の透過帯域は、例えば390nm〜445nm(B2)である。
【0135】
白色光光源202から発光された白色光は、回転フィルタ203の上記5つのフィルタを順に透過する。透過した光は、集光レンズ204に達し集光される。集光された光は、ライトガイドファイバ206を通って照明光学系207から被写体に照射される。
【0136】
被写体から反射した反射光は、集光レンズ208により集光され、モノクロの撮像素子209に到達し、撮像素子209により光電変換されてアナログ信号となる。そのアナログ信号は、A/D変換部103へ送られる。アナログ信号はA/D変換部103によりデジタル信号に変換され、そのデジタル信号は、通常光画像取得部104または特殊光画像取得部105へ送信される。
【0137】
集光レンズ208は、光軸上で前後に動作できる。
【0138】
ここで、回転フィルタ203の赤色光透過フィルタ220を透過した光によって得られた信号を、R信号と呼ぶこととする。緑色光透過フィルタ221を透過した光によって得られた信号を、G信号と呼ぶ。青色光透過フィルタ222を透過した光によって得られた信号を、B信号と呼ぶ。緑色狭帯域光透過フィルタ223を透過した光によって得られた信号を、G2信号と呼ぶ。青色狭帯域光透過フィルタ224を透過した光によって得られた信号をB2信号と呼ぶ。
【0139】
特殊光画像取得部105は、G2信号、B2信号を合成して特殊光画像を生成する。また、特殊光画像取得部105は、同時に集光レンズ208の位置情報も取得する。
【0140】
第1の実施形態と同様に、特殊光画像に基づいてオートフォーカス処理を行う。すなわち、評価値算出部106は、特殊光画像から評価値を算出する。バッファ107は、評価値と、集光レンズ208の位置情報を保持する。制御部110が、集光レンズ208の位置を変更する制御を行い、特殊光画像取得部105が特殊光画像を取得する。これらの動作を繰り返し、合焦位置決定部108が、評価値が最大となる位置を決定する。このようにして、ピントの合った位置を推測する。
【0141】
評価値が最大となる位置を求めたら、制御部110は、集光レンズ208をその位置へ動かす制御を行う。その位置でのR信号、G信号、B信号を取得し、通常光画像取得部104は、それらの信号を合成して通常光画像を生成する。出力部109は、取得された通常光画像をピントの合った画像として、図示しないモニタ等へ出力する。
【0142】
なお、本実施形態では、図16に示す5つのフィルタをもつ回転フィルタ203の代わりに、図8に示す3つのフィルタをもつ回転フィルタ203を用いてもよい。この場合、上述のG2信号の代わりにG信号を用い、B2信号の代わりにB信号を用いて特殊光画像を生成する。
【0143】
また、本実施形態では、白色光光源202と回転フィルタ203の代わりに、図17に示す光源を用いてもよい。図17に示す光源は、切替器202c、赤色光光源202d、緑色光光源202e、青色光光源202f、緑色狭帯域光源202g、青色狭帯域光源202hを含む。上述のR信号は、赤色光光源202dを照射することによって得られた信号に対応する、同様に、G信号は緑色光光源202eに対応し、B信号は青色光光源202fに対応し、G2信号は緑色狭帯域光源202gに対応し、B2信号は青色狭帯域光源202hに対応する。
【0144】
本実施形態によれば、図15、図16に示すように、光源部は、特定の波長帯域を構成する第1〜第M(Mは2以上の整数)の波長帯域を透過するフィルタ223,224を白色光に対して適用することで、第1〜第Mの波長帯域の光を出射する。第2画像取得部は、第1〜第Mの波長帯域の情報を有する第1〜第Mの構成画像を取得し、取得した第1〜第Mの構成画像に基づいて第2画像を生成する。
【0145】
本実施形態では、N=2であり、第1の波長帯域の光は緑色狭帯域光であり、第2の波長帯域の光は青色狭帯域光である。第1〜第2の構成画像は、G2画像、B2画像である。図15に示すように、モノクロの撮像素子209がG2画像、B2画像を時分割に撮像し、特殊光画像取得部105が、その時分割に撮像されたG2画像、B2画像から特殊光画像を生成する。
【0146】
このようにすれば、面順次による特殊光画像の撮像が可能になる。また、白色光光源は一般的に用いられる光源であるため、コスト削減が可能である。また、面順次ではモノクロの撮像素子を用いるため、同じ画素数のベイヤ配列の撮像素子に比べて、高解像度である。
【0147】
7.ソフトウェア
上記の本実施形態では、制御装置300を構成する各部をハードウェアで構成することとしたが、これに限定されるものではない。例えば、撮像部により取得された画像に対してCPUが各部の処理を行う構成とし、CPUがプログラムを実行することによってソフトウェアとして実現することとしてもよい。あるいは、各部が行う処理の一部をソフトウェアで構成することとしてもよい。
【0148】
撮像部を別体とし、制御装置300の各部が行う処理をソフトウェアとして実現する場合には、ワークステーションやパソコン等の公知のコンピュータシステムを制御装置として用いることができる。そして、制御装置300の各部が行う処理を実現するためのプログラム(制御プログラム)を予め用意し、この制御プログラムをコンピュータシステムのCPUが実行することによって実現できる。
【0149】
図18は、本変形例におけるコンピュータシステム600の構成を示すシステム構成図であり、図19は、このコンピュータシステム600における本体部610の構成を示すブロック図である。図18に示すように、コンピュータシステム600は、本体部610と、本体部610からの指示によって表示画面621に画像等の情報を表示するためのディスプレイ620と、このコンピュータシステム600に種々の情報を入力するためのキーボード630と、ディスプレイ620の表示画面621上の任意の位置を指定するためのマウス640とを備える。
【0150】
また、このコンピュータシステム600における本体部610は、図19に示すように、CPU611と、RAM612と、ROM613と、ハードディスクドライブ(HDD)614と、CD−ROM660を受け入れるCD−ROMドライブ615と、USBメモリ670を着脱可能に接続するUSBポート616と、ディスプレイ620、キーボード630およびマウス640を接続するI/Oインターフェース617と、ローカルエリアネットワークまたは広域エリアネットワーク(LAN/WAN)N1に接続するためのLANインターフェース618を備える。
【0151】
さらに、このコンピュータシステム600には、インターネット等の公衆回線N3に接続するためのモデム650が接続されるとともに、LANインターフェース618およびローカルエリアネットワークまたは広域エリアネットワークN1を介して、他のコンピュータシステムであるパソコン(PC)681、サーバ682、プリンタ683等が接続される。
【0152】
そして、このコンピュータシステム600は、所定の記録媒体に記録された制御プログラム(例えば図20)を参照して、後述する処理手順を実現するための制御プログラムを読み出して実行することで制御装置を実現する。ここで、所定の記録媒体とは、CD−ROM660やUSBメモリ670の他、MOディスクやDVDディスク、フレキシブルディスク(FD)、光磁気ディスク、ICカード等を含む「可搬用の物理媒体」、コンピュータシステム600の内外に備えられるHDD614やRAM612、ROM613等の「固定用の物理媒体」、モデム650を介して接続される公衆回線N3や、他のコンピュータシステム(PC)681またはサーバ682が接続されるローカルエリアネットワークまたは広域エリアネットワークN1等のように、プログラムの送信に際して短期にプログラムを記憶する「通信媒体」等、コンピュータシステム600によって読み取り可能な制御プログラムを記録するあらゆる記録媒体を含む。
【0153】
すなわち、制御プログラムは、「可搬用の物理媒体」「固定用の物理媒体」「通信媒体」等の記録媒体にコンピュータ読み取り可能に記録されるものであり、コンピュータシステム600は、このような記録媒体から制御プログラムを読み出して実行することで制御装置を実現する。なお、制御プログラムは、コンピュータシステム600によって実行されることに限定されるものではなく、他のコンピュータシステム(PC)681またはサーバ682が制御プログラムを実行する場合や、これらが協働して制御プログラムを実行するような場合にも、本発明を同様に適用することができる。
【0154】
各部が行う処理の一部をソフトウェアで構成する場合の一例として、撮像部により取得された画像に対して、制御装置300の処理をソフトウェアで実現する場合の処理手順を、図20のフローチャートを用いて説明する。
【0155】
図20に示すように、この処理が開始されると、通常光画像を取得する(S1)。ステップS1では、特殊光画像を取得してもよい。次に、取得した画像に基づいて、拡大観察状態であるか否かを判定する(S2)。拡大観察状態でないと判定した場合(S2,NO)には、通常光画像を取得する(S1)。
【0156】
一方、拡大観察状態であると判定した場合(S2,YES)には、特殊光画像を取得する(S3)。ステップS3では、通常光画像も合わせて取得してもよい。次に、特殊光画像の評価値を取得する(S4)。次に、評価値に基づいて合焦判定を行う(S5)。合焦位置が検出されていない場合(S5,NO)には、集光レンズの位置を移動させる制御を行い(S6)、特殊光画像を取得する(S3)。
【0157】
一方、合焦位置が検出された場合(S5,YES)には、集光レンズを合焦位置に移動させる制御を行う(S7)。次に、通常光画像を取得する(S8)。ステップS8では、特殊光画像を合わせて取得してもよい。次に、撮像終了でない場合(S9,NO)には、特殊光画像を取得する(S3)。撮像終了の場合(S9,YES)には、処理を終了する。
【0158】
これにより、例えば別体の撮像部により撮像を行って画像データを取得し、その画像データに対してPC等のコンピュータシステムでソフトウェア的に処理を行うことが可能になる。
【0159】
また本実施形態は、本実施形態の各部(通常光画像取得部、特殊光画像取得部、評価値算出部、合焦位置決定部、制御部、判定部等)を実現するプログラムコードが記録されたコンピュータプログラムプロダクトにも適用できる。
【0160】
ここで、プログラムコードとは、第1画像取得部と、第2画像取得部と、フォーカス制御部を実現する。第1画像取得部は、生体内の被写体を撮像光学系により撮像した画像であって、白色光の波長帯域における情報を有した被写体像を含む画像を、第1画像として取得する。第2画像取得部は、第1画像に対応して、特定の波長帯域における情報を有した被写体像を含む画像を第2画像として取得する。フォーカス制御部は、第2画像の中の被写体像にピントを合わせる制御を行って、撮像光学系のフォーカス調整を行う。第1画像取得部は、フォーカス調整された撮像光学系により撮像した第1画像を取得する。
【0161】
またコンピュータプログラムプロダクトは、例えば、プログラムコードが記録された情報記憶媒体(DVD等の光ディスク媒体、ハードディスク媒体、メモリ媒体等)、プログラムコードが記録されたコンピュータ、プログラムコードが記録されたインターネットシステム(例えば、サーバとクライアント端末を含むシステム)など、プログラムコードが組み込まれた情報記憶媒体、装置、機器或いはシステム等である。この場合に、本実施形態の各構成要素や各処理プロセスは各モジュールにより実装され、これらの実装されたモジュールにより構成されるプログラムコードは、コンピュータプログラムプロダクトに記録される。
【0162】
以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
【0163】
また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語(撮像装置、第1画像、第2画像等)と共に記載された用語(内視鏡装置、通常光画像、特殊光画像等)は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。
【符号の説明】
【0164】
101 照明部、102 撮像部、103,103a,103b A/D変換部、
104 通常光画像取得部、105 特殊光画像取得部、106 評価値算出部、
107 バッファ、108 合焦位置決定部、109 出力部、110 制御部、
111 I/F部、112 判定部、150 フォーカス制御部、
201 光源装置、202,202a 白色光光源、202b 特殊光光源、
202c 切替器、202d 赤色光光源、202e 緑色光光源、
202f 青色光光源、202g 緑色狭帯域光源、202h 青色狭帯域光源、
203 回転フィルタ、204 集光レンズ、205 外装、
206 ライトガイドファイバ、207 照明光学系、208 集光レンズ、
209 撮像素子、210 白色光透過フィルタ、211 狭帯域透過フィルタ、
220 赤色光透過フィルタ、221 緑色光透過フィルタ、
222 青色光透過フィルタ、223 緑色狭帯域光透過フィルタ、
224 青色狭帯域光透過フィルタ、228 スプリッタ、
229 第1の撮像素子、230 狭帯域透過フィルタ、231 第2の撮像素子、
300 制御装置、331 特殊光画像生成部、401 マトリクスデータ設定部、
402 撮像部、403 信号抽出部、
600 コンピュータシステム、610 本体部、
611 CPU、612 RAM、613 ROM、614 HDD、
615 CD−ROMドライブ、616 USBポート、
617 I/Oインターフェース、618 LANインターフェース、
620 ディスプレイ、621 表示画面、630 キーボード、640 マウス、
650 モデム、660 CD−ROM、670 USBメモリ、681 PC、
682 サーバ、683 プリンタ、
KC 二次関数、N1 広域エリアネットワーク、N3 公衆回線、
d1〜d3 位置、df 合焦位置、ev1,ev2 評価値

【特許請求の範囲】
【請求項1】
生体内の被写体を撮像光学系により撮像した画像であって、白色光の波長帯域における情報を有した被写体像を含む画像を、第1画像として取得する第1画像取得部と、
前記第1画像に対応して、特定の波長帯域における情報を有した被写体像を含む画像を第2画像として取得する第2画像取得部と、
前記第2画像の中の被写体像に合焦させる制御を行って、前記撮像光学系のフォーカス調整を行うフォーカス制御部と、
を含み、
前記第1画像取得部は、
前記フォーカス調整された前記撮像光学系により撮像した前記第1画像を取得することを特徴とする内視鏡装置。
【請求項2】
請求項1において、
前記第2画像取得部は、
前記生体内の被写体についてのコントラストが前記第1画像よりも前記第2画像において高くなる波長帯域を前記特定の波長帯域として、前記第2画像を取得し、
前記フォーカス制御部は、
前記第2画像のコントラストに基づいて、前記第2画像の中の被写体像に合焦させる前記制御を行うことを特徴とする内視鏡装置。
【請求項3】
請求項1において、
前記特定の波長帯域は、
前記白色光の波長帯域よりも狭い帯域であることを特徴とする内視鏡装置。
【請求項4】
請求項3において、
前記特定の波長帯域は、
血液中のヘモグロビンに吸収される波長の波長帯域であることを特徴とする内視鏡装置。
【請求項5】
請求項4において、
前記特定の波長帯域は、
390ナノメートル〜445ナノメートル、または530ナノメートル〜550ナノメートルであることを特徴とする内視鏡装置。
【請求項6】
請求項1において、
前記第2画像取得部は、
取得された前記第1画像に基づいて、前記第2画像を生成することを特徴とする内視鏡装置。
【請求項7】
請求項6において、
前記第2画像取得部は、
取得された前記第1画像から、前記白色光の波長帯域における信号を抽出する信号抽出部を有し、
前記第2画像取得部は、
抽出された前記信号に基づいて、前記特定の波長帯域における信号を含む前記第2画像を生成することを特徴とする内視鏡装置。
【請求項8】
請求項7において、
前記第2画像取得部は、
前記白色光の波長帯域における信号から、前記特定の波長帯域における信号を算出するためのマトリクスデータを設定するマトリクスデータ設定部を有し、
前記第2画像取得部は、
設定された前記マトリクスデータを用いて、前記白色光の波長帯域における信号から前記特定の波長帯域における信号を算出して、前記第2画像を生成することを特徴とする内視鏡装置。
【請求項9】
請求項1において、
観察状態が拡大観察状態であるか否かを判定する判定部を含み、
前記判定部により前記拡大観察状態であると判定された場合に、
前記フォーカス制御部は、
前記第2画像の中の被写体像に合焦させる前記制御を行って、前記撮像光学系のフォーカス調整を行い、
前記第1画像取得部は、
前記フォーカス調整された前記撮像光学系により撮像した前記第1画像を取得することを特徴とする内視鏡装置。
【請求項10】
請求項9において、
前記判定部は、
前記内視鏡装置のスコープ部が前記被写体に接近しているか否かに関する情報を取得し、前記スコープ部が前記被写体に接近していると前記情報に基づいて判断した場合に、前記拡大観察状態であると判定することを特徴とする内視鏡装置。
【請求項11】
請求項10において、
前記判定部は、
前記被写体のエッジ形状の大きさを前記情報として取得し、前記エッジ形状の大きさが所定時間前の前記エッジ形状の大きさよりも大きいと判断した場合に、前記拡大観察状態であると判定することを特徴とする内視鏡装置。
【請求項12】
請求項9において、
前記判定部は、
画像の合焦状態を評価するための評価値を前記第1画像または前記第2画像から取得し、合焦状態から非合焦状態に変化したと前記評価値に基づいて判定した場合に、前記拡大観察状態であると判定することを特徴とする内視鏡装置。
【請求項13】
請求項1において、
前記第1画像取得部は、
光源部から照射される光に基づく前記第1画像を取得し、
前記第2画像取得部は、
前記光源部から照射される光に基づく前記第2画像を取得することを特徴とする内視鏡装置。
【請求項14】
請求項13において、
前記光源部は、
白色光光源を有し、
前記第1画像取得部は、
前記白色光光源から照射される白色光に基づく前記第1画像を取得し、
前記第2画像取得部は、
前記白色光光源から照射される前記白色光に基づく前記第2画像を取得することを特徴とする内視鏡装置。
【請求項15】
請求項14において、
前記光源部は、
前記白色光を構成する第1〜第N(Nは2以上の整数)の単色光の波長帯域を透過するフィルタを、前記白色光に対して適用することで、前記第1〜第Nの単色光を出射し、
前記第1画像取得部は、
前記第1〜第Nの単色光の波長帯域の情報を有する第1〜第Nの単色画像を取得し、取得した前記第1〜第Nの単色画像に基づいて前記第1画像を生成することを特徴とする内視鏡装置。
【請求項16】
請求項14において、
前記光源部は、
前記特定の波長帯域を透過するフィルタを前記白色光に対して適用することで、前記特定の波長帯域の光を出射し、
前記第2画像取得部は、
前記特定の波長帯域の情報を有する前記第2画像を取得することを特徴とする内視鏡装置。
【請求項17】
請求項16において、
前記光源部は、
前記特定の波長帯域を構成する第1〜第M(Mは2以上の整数)の波長帯域を透過するフィルタを前記白色光に対して適用することで、前記第1〜第Mの波長帯域の光を出射し、
前記第2画像取得部は、
前記第1〜第Mの波長帯域の情報を有する第1〜第Mの構成画像を取得し、取得した前記第1〜第Mの構成画像に基づいて前記第2画像を生成することを特徴とする内視鏡装置。
【請求項18】
請求項13において、
前記光源部は、
白色光光源と、
前記特定の波長帯域の情報を有する特殊光を出射する特殊光光源を有し、
前記第1画像取得部は、
前記白色光光源から照射される前記白色光に基づく前記第1画像を取得し、
前記第2画像取得部は、
前記特殊光光源から照射される前記特殊光に基づく前記第2画像を取得することを特徴とする内視鏡装置。
【請求項19】
生体内の被写体を撮像光学系により撮像した画像であって、白色光の波長帯域における情報を有した被写体像を含む画像を、第1画像として取得する第1画像取得部と、
前記第1画像に含まれる前記被写体像の生体構造をより強調させた生体構造の被写体像を含む画像を、第2画像として取得する第2画像取得部と、
前記第2画像の中の被写体像に合焦させる制御を行って、前記撮像光学系のフォーカス調整を行うフォーカス制御部と、
を含み、
前記第1画像取得部は、
前記フォーカス調整された前記撮像光学系により撮像した前記第1画像を取得することを特徴とする内視鏡装置。
【請求項20】
生体内の被写体を撮像光学系により撮像した画像であって、白色光の波長帯域における情報を有した被写体像を含む画像を、第1画像として取得し、
前記第1画像に対応して、特定の波長帯域における情報を有した被写体像を含む画像を第2画像として取得し、
前記第2画像の中の被写体像に合焦させる制御を行って、前記撮像光学系のフォーカス調整を行い、
前記フォーカス調整された前記撮像光学系により撮像した前記第1画像を取得することを特徴とするフォーカス制御方法。
【請求項21】
生体内の被写体を撮像光学系により撮像した画像であって、白色光の波長帯域における情報を有した被写体像を含む画像を、第1画像として取得する第1画像取得部と、
前記第1画像に対応して、特定の波長帯域における情報を有した被写体像を含む画像を第2画像として取得する第2画像取得部と、
前記第2画像の中の被写体像に合焦させる制御を行って、前記撮像光学系のフォーカス調整を行うフォーカス制御部として、
コンピュータを機能させ、
前記第1画像取得部は、
前記フォーカス調整された前記撮像光学系により撮像した前記第1画像を取得することを特徴とするプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate


【公開番号】特開2012−110481(P2012−110481A)
【公開日】平成24年6月14日(2012.6.14)
【国際特許分類】
【出願番号】特願2010−261172(P2010−261172)
【出願日】平成22年11月24日(2010.11.24)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】