制御装置、内視鏡装置及び絞り制御方法
【課題】処置具が撮像範囲に含まれている場合にも処置具や被検体の好適な撮像画像を取得可能にする制御装置、内視鏡装置及び絞り制御方法等の提供。
【解決手段】制御装置100は、被検体101を撮像する撮像部200からの撮像画像を取得する画像取得部204と、撮像部200の撮像範囲内に、被検体101に対して処置を施すための処置具が含まれているか否かを判定する処置具有無判定部212と、撮像範囲内に処置具が含まれているか否かについての判定結果に基づいて、撮像部20の絞り制御を行う絞り制御部209を含む。
【解決手段】制御装置100は、被検体101を撮像する撮像部200からの撮像画像を取得する画像取得部204と、撮像部200の撮像範囲内に、被検体101に対して処置を施すための処置具が含まれているか否かを判定する処置具有無判定部212と、撮像範囲内に処置具が含まれているか否かについての判定結果に基づいて、撮像部20の絞り制御を行う絞り制御部209を含む。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は制御装置、内視鏡装置及び絞り制御方法等に関する。
【背景技術】
【0002】
内視鏡装置等の検査装置では、ユーザー(医者)が観察する前後、左右、上下領域の解像感を確保するために、被写界深度範囲が拡大されたパンフォーカスの観察状態で、診察や治療をできることが望ましい。例えば特許文献1には、照明の明るさを調整する調光制御と絞り制御を連動して、明るさを一定に保ちながらパンフォーカスに近い画質を実現する手法が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平7−299029号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
一方、内視鏡装置等の検査装置では、解像力を高めるために、画角サイズは変わらないが、画素ピッチが小さな撮像素子が用いられるようになってきている。しかしながら、画素ピッチが小さな撮像素子に従来の内視鏡装置の光学系を組み合わせても、回折限界の影響で撮像画像がぼけてしまう可能性がある。この場合に、絞りを開けてピントを合わせることも可能であるが、絞りを開けることで被写界深度範囲が狭くなり、従来実現していたパンフォーカスを実現できなくなってしまう。従って、この状態で鉗子やメスなどの処置具が挿入された場合、処置具がぼけてしまうおそれがある。
【0005】
本発明の幾つかの態様によれば、処置具が撮像範囲に含まれている場合にも処置具や被検体の好適な撮像画像を取得可能にする制御装置、内視鏡装置及び絞り制御方法等を提供できる。
【課題を解決するための手段】
【0006】
本発明の一態様は、被検体を撮像する撮像部からの撮像画像を取得する画像取得部と、前記撮像部の撮像範囲内に、前記被検体に対して処置を施すための処置具が含まれているか否かを判定する処置具有無判定部と、前記撮像範囲内に前記処置具が含まれているか否かについての判定結果に基づいて、前記撮像部の絞り制御を行う絞り制御部とを含む制御装置に関係する。
【0007】
本発明の一態様によれば、撮像部の撮像範囲内に、被検体に対する処置具が含まれているか否かが判定される。そして、その判定結果に基づいて、被検体を撮像する撮像部の絞り制御が行われる。従って、撮像範囲内に処置具が含まれているかに応じた適正な絞り制御が可能になり、処置具が撮像部の撮像範囲に含まれている場合にも処置具や被検体の好適な撮像画像を取得することが可能になる。
【0008】
また本発明の他の態様は、被検体を撮像する撮像部と、前記撮像部からの撮像画像を取得する画像取得部と、前記撮像部の撮像範囲内に、前記被検体に対して処置を施すための処置具が含まれているか否かを判定する処置具有無判定部と、前記撮像範囲内に前記処置具が含まれているか否かについての判定結果に基づいて、前記撮像部の絞り制御を行う絞り制御部とを含む内視鏡装置に関係する。
【0009】
また本発明の他の態様は、被検体を撮像する撮像部からの撮像画像を取得し、前記撮像部の撮像範囲内に、前記被検体に対して処置を施すための処置具が含まれているか否かを判定し、前記撮像範囲内に前記処置具が含まれているか否かについての判定結果に基づいて、前記撮像部の絞り制御する絞り制御方法に関係する。
【図面の簡単な説明】
【0010】
【図1】本実施形態の手法の説明図。
【図2】本実施形態の手法の説明図。
【図3】本実施形態の第1の構成例。
【図4】図4(A)〜図4(C)は回折限界についての説明図。
【図5】図5(A)、図5(B)は回折限界が現れない絞り値についての説明図。
【図6】内視鏡装置の対物光学系の説明図。
【図7】図7(A)〜図7(D)はノイズ低減処理用の平滑化フィルタの説明図。
【図8】本実施形態の第1の構成例の変形例。
【図9】撮像画像に基づいて処置具を検出して絞りを絞る手法の説明図。
【図10】処置具の挿入時の距離情報の取得手法の説明図。
【図11】図11(A)、図11(B)は絞り制御後画像の明るさの調整手法の説明図。
【図12】図12(A)、図12(B)はゲイン調整による明るさ調整よりも光量増加による明るさ調整を優先させる手法の説明図。
【図13】本実施形態の第2の構成例。
【図14】図14(A)、図14(B)はパンフォーカスによる通常観察と拡大観察の説明図。
【図15】コントラスト値に基づく焦点位置調整手法の説明図。
【図16】第2の構成例の動作を説明するフローチャート。
【発明を実施するための形態】
【0011】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【0012】
1.概要
まず本実施形態の概要について説明する。内視鏡装置や顕微鏡装置等の検査装置では、撮像画像の解像度を高めるために、より小さな画素ピッチで画素数が多い撮像素子が用いられるようになりつつある。
【0013】
しかしながら、撮像素子の画素ピッチが小さくなると、回折限界が現れやすくなり、画像がぼけやすくなる。一方、これを避けるために絞りを開けると、被写界深度範囲が狭くなってしまう。
【0014】
また内視鏡装置等の検査装置では、被検体に処置を施すための鉗子やメスなどの処置具がその挿入部に挿入される場合がある。
【0015】
しかしながら、上述のように画素ピッチの縮小化に伴い絞りを開けることで被写界深度範囲が狭くなると、処置具が被写界深度範囲内に入らなくなり、ぼけてしまうため、医者等のユーザーの負担が大きくなってしまうという課題がある。
【0016】
このような課題を解決するために本実施形態では、撮像部の撮像範囲内での処置具の有無を検出して、撮像部の絞りを制御する手法を採用している。
【0017】
例えば図1では、撮像素子や撮像光学系を有する撮像部の撮像範囲には、被検体(被写体)101は映っているが、処置具は挿入されていない。この場合には、撮像部の絞り201は通常の絞り値である第1の絞り値に設定され、絞り201の開口はD1になり、被写界深度範囲はH1になる。
【0018】
ここで被写界深度範囲は、物体面が前後してもピントがぼけずに鮮明であると受け入れられる範囲であり、像がどこまでボケを許容するかを示す範囲である許容錯乱円σにより規定される。そして許容錯乱円(許容錯乱円径)σは、撮像素子の画素ピッチが小さくなると、それに応じて小さくなる。従って、画素ピッチが小さな高解像度の撮像素子を用いると、被写界深度範囲H1も狭くなる。
【0019】
一方、図2では、被検体101に対して治療や検査のための処置を施すために、処置具(鉗子107)が挿入されている。このように処置具が挿入されると、本実施形態では、撮像部の絞り201は第2の絞り値に設定され、絞り201が絞られる。即ち、絞り201の開口が図1のD1よりも狭いD2になる。このように絞り201が絞られると、被写界深度範囲も図1のH1よりも広いH2に拡大され、被写界深度範囲H2内に処置具を収めることが可能になる。従って、処置具の画像がぼけてしまう事態が抑止される。即ち図1のように被写界深度が狭いままであると、処置具が被写界深度範囲内に入らないため、処置具の画像がぼけてしまい、医者等の治療や検査に負担がかかる。これに対して本実施形態によれば、画素ピッチの小さな撮像素子を用いて撮像画像の高解像度化を実現しながら、処置具の検出時に絞りを絞ることで処置具の画像がぼけてしまう事態も抑止できるようになる。
【0020】
2.第1の構成例
図3に本実施形態の第1の構成例を示す。以下では、本実施形態を、検査装置の1つである内視鏡装置及びその制御装置に適用した場合について説明するが、本実施形態はこれに限定されるものではない。
【0021】
図3の内視鏡装置は、制御装置100と挿入部102(広義には撮像部)を含む。挿入部102の撮像部200は、絞り201、レンズ系202、撮像素子203を含む。また挿入部102は、ライトガイド103、処置具挿入部105、検出センサ106を含む。なおこれらの構成要素の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【0022】
図3の内視鏡装置では、内視鏡診察や治療に適用するため、挿入部102は体内に挿入できるように湾曲が可能で細長い形状になっている。そして光源部104が照射する光は湾曲可能なライトガイド103を経由して、被検体(被写体)101に照射される。挿入部102の先端部には、絞り201、レンズ系202などの光学系が配置されており、被検体101からの反射光は絞り201、レンズ系202を介して、撮像素子203に入射される。この撮像素子203はベイヤ配列の色フィルタを持つ撮像素子であり、例えばCMOSセンサやCCDなどにより実現される。撮像素子203からのアナログ画像信号は、画像取得として機能するA/D変換部204へ転送されて、デジタル画像信号に変換される。
【0023】
また挿入部102には、鉗子107等の処置具を挿入するための処置具挿入部105が設けられており、処置具挿入部105の後部から鉗子107等の処置具が挿入される。これにより処置具は挿入部102の先端部まで通過して、直接に被検体101に対して処置を施すことが可能となる。さらに処置具挿入部105の後部には、光学センサ等により実現される検出センサ106が設けられている。この検出センサ106を用いることで、処置具が挿入されているか否かや処置具の挿入距離等を検出できる。
【0024】
挿入部102は、制御装置100と着脱可能となっている。ユーザー(医者)は、目的に応じて複数種類のスコープから必要なスコープを選択して制御装置100に装着し、診察や治療を行う。
【0025】
制御装置100は、内視鏡装置の各種の制御を行うものであり、A/D変換部204、ゲイン調整部(AGC)205、ノイズ低減部206、画像処理部207、表示部208、絞り制御部209、制御部210、外部I/F(インターフェース)部211、処置具有無判定部212、明るさ制御部213、記憶部(ROM)214、光源部104を含む。なおこれらの構成要素の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【0026】
A/D変換部204は、ゲイン調整部205、ノイズ低減部206、画像処理部207を介して表示部208に接続される。検出センサ106は処置具有無判定部212に接続される。処置具有無判定部212は、明るさ制御部213を介して光源部104に接続される。処置具有無判定部212は、更に絞り制御部209を介して絞り201に接続される。記憶部214は、絞り制御部209に接続される。制御部210は、A/D変換部204、ゲイン調整部205、ノイズ低減部206、画像処理部207、表示部208、絞り制御部209、外部I/F部211、処置具有無判定部212、明るさ制御部213及び記憶部214と双方向に接続される。
【0027】
A/D変換部204は、撮像素子203からのアナログ画像信号をデジタル化し、得られたデジタル画像信号(以下、画像信号と略称する)をゲイン調整部205に転送する。そして制御部210の制御に基づき、ゲイン調整部205が画像信号に対するゲイン調整処理を行い、ノイズ低減部206が、ゲイン調整後の画像信号に対してノイズ低減処理を行う。そしてゲイン調整処理及びノイズ低減処理後の画像信号が、画像処理部207に転送される。ゲイン調整処理及びノイズ低減処理の詳細については後述する。
【0028】
画像処理部207は、制御部210の制御に基づき、ノイズ低減部206からの画像信号に対して公知の画像信号処理を行う。本実施形態では、公知のベイヤ補間処理(ベイヤ画像信号から三板画像信号へ変換)、ホワイトバランス処理、カラーマネージメント処理、階調変換処理などを行う。処理後のRGB信号からなる画像信号が表示部208に転送され、表示部208において撮像画像が表示される。
【0029】
図4(A)〜図4(C)は回折限界とエアリーディスクの関係を示す図である。光は波動としての性質を持つため回折現象があり、そのため光が1点に収束したとしても(焦点が合っていたとしても)、図4(A)のように無限小の点に収まるということはなく、図4(B)のようにある程度の大きさを持つことになる。この限界のことを回折限界と呼び、収束点の大きさのことをエアリーディスクと呼ぶ。図4(B)において、dはエアリーディスク径を表す。図4(C)に示すように、エアリーディスク径dは、Fナンバーを大きくするほど大きくなる。即ち絞りを絞るほど大きくなる。
【0030】
図5(A)、図5(B)は撮像素子の分解能とエアリーディスクの関係を示す図である。同図において、Pは撮像素子の画素ピッチであり、Kは係数(フィルタ配列や補間処理によって決まる係数)である。画素ピッチがPである撮像素子の分解能(許容錯乱円径)はK・Pで表される。従って図5(A)のように、エアリーディスク径dの方が撮像素子の分解能K・Pよりも大きい場合には、撮像素子の解像度を十分に生かした撮像ができなくなり、実質的な分解能が低下する。一方、図5(B)のように、エアリーディスク径dの方が撮像素子の分解能K・Pよりも小さくなれば、撮像素子の解像度を十分に生かした撮像が可能になる。従って、回折限界の影響を受けない高解像度の撮像画像を取得するためには、d≦K・Pの関係が成り立つように、絞り等を制御することが望ましい。
【0031】
例えば図6は、内視鏡装置に搭載されている対物光学系を説明する図であり、合焦位置(ピント位置)と許容錯乱円σの関係を示している。この許容錯乱円σの大きさは、観察状況、観察対象などに基づいて定義される。即ち、内視鏡装置の対物光学系では、観察状況(距離)、入射光量、レンズの特性、撮像素子の感度及び画素ピッチなどに応じて、最適な絞り(開口)を設計する。そして近距離から遠距離までピントが合う状態に設定して、内視鏡観察を行えるようにする。例えば図6において、最適な絞りに対応する開口をD1とすると、その時の被写界深度範囲(ピントが合うとされる焦点深度)はH1となる。
【0032】
また近年の内視鏡装置では、撮像画像の解像度を高めるために、画素ピッチが小さい高解像度の撮像素子が用いられている。そして、このような画素ピッチが小さい撮像素子を、従来の内視鏡装置の光学系を組み合わせても、回折限界の影響で画像がぼけてしまう。即ち図5(A)に示すように、回折限界を表すエアリーディスク径dが、画素ピッチPで表される撮像素子の分解能K・Pよりも大きくなると、撮像素子の本来の解像度を発揮できなくなり、画像がぼけてしまう。これを防止するために、図4(C)に示すように、絞りの開口を開けて(Fナンバーを小さくして)、エアリーディスク径dを小さくすることで、図5(B)に示すようにd≦K・Pの関係が成り立たせる。こうすることで、撮像素子の画素ピッチに見合う解像度が得られる設計が行われる。このため、画素ピッチが小さな高性能の撮像素子を用いると、絞りの開口が大きくなるため、図6に示すように被写界深度範囲H1も狭くなる。従って、従来実現していたパンフォーカスが実現できなっている。
【0033】
また、内視鏡装置での診察時や治療時に、挿入部102に設けられた処置具挿入部105から鉗子やメスなどの処置具を出し入れして、手術処置などを行う操作が頻繁に発生する。この場合に、図6のように狭い被写界深度範囲の状態で観察すると、挿入部102の先端部から出てくる鉗子やメスなどの処置具の位置は、被写界深度範囲内から外れる可能性があり、被写界深度範囲を超えた部分の画像はぼけてしまう。
【0034】
これを改善するために、本実施形態では、鉗子やメスなどの処置具が挿入されたことを処置具挿入部105の後部に設けられている検出センサ106により検出する。そして、その検出情報を処置具有無判定部212に転送する。処置具有無判定部212は、制御部210の制御に基づき、被写界深度範囲を拡大する命令を、絞り制御部209及び明るさ制御部213に転送する。
【0035】
すると、まず、絞り制御部209が、処置具有無判定部212からの命令を受けて、絞り201の開口面積を小さくするように制御する。図6に示すように、開口面積が小さければ小さいほど、被写界深度範囲(ピントが合う範囲)も広くなる。しかしながら、所定の開口面積より小さく絞ると、図4(C)で説明したようにエアリーディスク径dが大きくなることで、図5(A)に示すように回折限界が現れて、撮像素子の高解像度を生かせなくなる。
【0036】
そこで本実施形態では、この回折限界が現れない絞り値(最小開口面積)を事前に調べ、絞り閾値(第1の絞り値)として記憶部(ROM)214に保存する。即ち図5(B)のようにd≦K・Pの関係が成り立つような絞り値を、絞り閾値として記憶部214に保存する。そして図1に示すように通常観察においては、絞り制御部209は、制御部210の制御に基づき、記憶部214からこの絞り閾値(第1の絞り値)を読み出して、絞り201の開口を制御する。撮像素子の画素ピッチサイズによって回折限界が現れ始める絞り限界が異なるため、絞り閾値も撮像素子のピッチに応じて異なる。一般的に、使用目的に応じて内視鏡装置に装着するスコープの太さ、撮像素子のピッチ、解像度などが異なる。この場合、各スコープに対応するそれぞれの最小絞り値(最少開口面積)を、絞り閾値として記憶部214に保存する。通常観察時には、使用しているスコープの種類に対応する絞り閾値を記憶部214から読み出して、絞り201の開口を調整する。
【0037】
そして、内視鏡装置の挿入部102の処置具挿入部105に、鉗子やメスなどの処置具が挿入され、挿入部102の先端部から処置具が出された場合には、図2に示すように絞り201を絞って、被写界深度範囲を拡大する。例えば図2に示すように、絞りの開口をD2(D1>D2)に絞ることで、被写界深度範囲が拡大され、ピントが合う焦点深度が拡大される。この場合、ピントの芯の部分において回折限界の影響で解像力は甘くなる代わりに、本来ぼけて見える処置具もほぼピントが合ったように撮像されるようになるため、医者の処置作業の負担を軽減できる。
【0038】
一方、被写界深度範囲を拡大するため、図2のように絞り201の開口の面積が小さくなることで、入射光量も絞り開口の面積の縮小に比例して少なくなる。そこで本実施形態では、画像信号の明るさを一定に保つため、明るさ制御部213は、処置具有無判定部212からの被写界深度範囲を拡大する命令を受けて、画像信号の明るさを制御する。
【0039】
ここで、明るさを制御する手法としては例えば2つの手法を想定できる。第1の手法では、光源部104の出射光量を調整する。第2の手法では、ゲイン値で画像の明るさを調整する。ゲイン値で明るさを増強する場合、画像信号に含まれているノイズも比例して増幅されてしまうため、光源部104の出射光量を増強する手法を優先的に適用する。
【0040】
具体的には、絞り201の開口面積の縮小比率に応じて光源部104の出射光量を調整する。例えば、絞り201の開口面積が1/2になった場合、光源部104の出射光量を2倍にする。そうすることによって、被写界深度範囲の拡大の前後において画像の明るさをほぼ一定に保つことができる。これに対して、光源部104の出射光量の調整ができない場合、或いは光源部104の出射光量を最大にしても明るさが足りない場合には、ゲイン調整部205において画像(画像信号)の明るさを調整する。
【0041】
本実施形態では、ゲイン調整部205は、制御部210の制御に基づき、明るさ制御部213から明るさ調整の命令を受けると、A/D変換部204からの画像信号に対して所定のゲイン値を、画素ごとの画像信号値に対して乗算する。この所定のゲイン値は、絞り201の開口面積の縮小率及び光源部104の出射光量の増強率に応じて設定される。例えば、被写界深度範囲を拡大する状態において、通常の内視鏡観察状態に比べて絞り201の開口面積が1/4になったと仮定する。光源部104の出射光量が調整できない場合には、このゲイン値を4に設定する。つまり、A/D変換部204からの画像信号に対して、画素ごとの画素値を4倍にする。また、光源部104の出射光量が、最大にしても、絞る前に比べて2倍にしかできない場合には、このゲイン値を2に設定する。上記のように、光源部104での出射光量の増強やゲイン調整部205でのゲイン値乗算処理により、被写界深度範囲を拡大する前後において画像の明るさがほぼ一定に保つようにする。そして処理後の画像信号をノイズ低減部206に転送する。
【0042】
ノイズ低減部206は、制御部210の制御に基づきノイズ低減処理を行う。前述のように、絞り201を絞って、被写界深度範囲を拡大すると、入射光量も少なくなる。そこで、画像の明るさを保持するため、ゲイン調整部205においてゲイン値を大きく設定して、画像信号の信号値に乗算すると、本来の画像信号中のノイズもゲイン値に比例して増幅される。
【0043】
このような問題を解決するために、本実施形態では、ノイズ低減部205が、被写界深度範囲を拡大するか否かを判定し、記憶部(ROM)214から対応するノイズ低減処理用の平滑化フィルタ係数を読み出して、ノイズ低減処理を行う。
【0044】
例えば、図1のような通常の内視鏡観察状態の場合には、ゲイン調整部205からの画像信号に対し、図7(A)や図7(C)に示される係数のフィルタを適用して、画素ごとに平滑化処理を行う。
【0045】
一方、図2のように処置具が検出されて被写界深度範囲を拡大する場合には、ゲイン調整部205からの画像信号に対し、図7(B)や図7(D)に示すような係数のフィルタを適用して、画素ごとに平滑化処理を行う。
【0046】
図7(A)、図7(C)に示す3×3の係数のフィルタに比べて、図7(B)、図7(D)に示す5×5の係数のフィルタでは平滑化の効果がより強くなる。従って、ゲイン調整後の画像信号に対して図7(B)、図7(D)のフィルタ処理を施すことで、ゲイン値の乗算処理により増幅されたノイズ成分を、十分に抑制したノイズ低減処理を実現できる。そしてノイズ低減処理後の画像信号は画像処理部207に転送される。
【0047】
なお処置具が検出されて被写界深度範囲を拡大する場合には、平滑化処理を行い、処置具が検出されない通常の内視鏡観察状態の場合には、平滑化処理を行わないようにしてもよい。また処置具が検知されなくなった場合には、絞り制御部209は、制御部210の制御に基づき、絞り201の開口、光源部104の出射光量、及びゲイン調整部205のゲイン値を、通常観察時の状態に戻す。
【0048】
なお、以上では所定の範囲の被写界深度まで拡大することを優先して絞りを制御する構成について説明したが、本実施形態はこのような構成には限定されない。例えば内視鏡装置で処置具を挿入して治療する場合に、処置対象となる被検体(生体部位)及び処置具先端部の解像力は重要視される。
【0049】
そこで、被検体から処置具先端部まで至る最小限の範囲で、ピントが合うように絞りを絞って被写界深度範囲を設定する。こうすることで、解像度の劣化を最小限に抑えながら、必要十分な被写界深度範囲を確保できる。このような制御を行うには、内視鏡装置の挿入部102の先端部から処置具先端部までの距離を測定する必要がある。この距離の測定において、例えば、光学センサ等で実現される検出センサ106は、挿入される処置具に刻まれている挿入長さに対応するマーカーを検知する。検出センサ106は、処置具挿入部105の後部に配置されているため、そのマーカー位置により処置具挿入部105に挿入された処置具の長さを推定し、更に処置具挿入部105の長さを減算することで、挿入部102の先端部から処置具先端部までの距離を求めることができる。このように、処置具が挿入されていることが検知された場合に、処置具の挿入量に応じて絞りを制御することで、解像力の低下を最小限に抑えることが可能になる。
【0050】
また、以上では、検出センサ106を配置して処置具の挿入を検出する構成について説明したが、本実施形態はこのような構成には限定されない。例えば、ユーザーが処置具を挿入する際に、手動で外部I/F部(広義には受け付け部)211を介して、制御部210の制御に基づき、絞り201を制御して被写界深度範囲を拡大する構成にしてもよい。
【0051】
図8に本実施形態の第1の構成例の変形例を示す。この変形例では、撮像画像から処置具を検出して、絞りを制御して被写界深度範囲を拡大する。この変形例の内視鏡装置は、制御装置100と挿入部102を含む。挿入部102は、撮像部200、ライトガイド103、処置具挿入部105を含む。制御装置100は、A/D変換部204、ゲイン調整部205、ノイズ低減部206、画像処理部207、表示部208、絞り制御部209、制御部210、外部I/F部211、処置具有無判定部212、明るさ制御部213、記憶部214、光源部104を含む。
【0052】
A/D変換部204は、ゲイン調整部205、ノイズ低減部206、画像処理部207を介して表示部208に接続される。処置具有無判定部212は、明るさ制御部213を介して光源部104に接続される。処置具有無判定部212は、絞り制御部209を介して絞り201に接続される。画像処理部207は、処置具有無判定部212に接続される。記憶部214は、絞り制御部209及び処置具有無判定部212に接続される。制御部210は、A/D変換部204、ゲイン調整部205、ノイズ低減部206、画像処理部207、表示部208、絞り制御部209、外部I/F部211、処置具有無判定部212、明るさ制御部213及び記憶部214に双方向に接続される。
【0053】
図8の変形例において、図3と同じ構成に関する内容を省略し、異なる部分のみを説明する。
【0054】
処置具有無判定部212は、制御部210の制御に基づき、画像処理部207からの画像信号を用いて、処置具が挿入されているか否かを検出する。鉗子やメスなどの処置具の先端部は金属製の円筒形状にするケースが多く、照明の正反射に伴うハレーションが起きやすい特性が有している。これを利用して、画像信号から処置具を検出する。
【0055】
例えば、複数の円筒形状のテンプレート画像を事前に記憶部(ROM)214に保存する。処置具有無判定部212は、画像処理部207からの画像信号に対応する撮像画像に対して、記憶部214から複数の円筒形状のテンプレート画像を用いて回転、拡大縮小処理を行って、図9に示すようにマッチング処理を行う。そしてテンプレート画像とマッチングした場合には、更に、マッチングした領域の輝度信号を平均積分して、判定輝度値を算出する。この判定輝度値が、所定の処置具判定輝度閾値よりも大きければ、処置具が挿入されていると判定する。そして図9に示すように絞り201を絞る制御を行って、被写界深度を拡大する。なお、通常光で診察する場合には、生体の色は赤及び黄色の色領域に属する場合がほとんどであるため、画像信号の色相情報を用いて処置具を検出する構成にしてもよい。
【0056】
以上に説明したように本実施形態では、図3に示すように制御装置100が、画像取得部(A/D変換部)204と処置具有無判定部212と絞り制御部209を含む。
【0057】
画像取得部(A/D変換部)204は、被検体101を撮像する撮像部200からの撮像画像を取得する。例えば撮像部200からのアナログの画像信号をデジタルの画像信号に変換して、画像処理が可能な撮像画像を取得する。
【0058】
処置具有無判定部212は、撮像部200の撮像範囲内に、被検体101に対して処置を施すための処置具が含まれているか否かを判定する。この判定手法としては、検出センサ106を用いて判定する手法、ユーザーからの入力を受け付けて判定する手法、撮像画像のマッチング処理により判定する手法などの種々の手法を想定できる。
【0059】
そして絞り制御部209は、撮像範囲内に処置具が含まれているか否かについての判定結果(判定結果情報)に基づいて、撮像部(撮像光学系)200の絞り制御を行う。例えば撮像範囲内に処置具が含まれているかどうかに応じて絞り制御を異ならせる。
【0060】
このようにすれば、撮像範囲内に処置具が含まれている場合には、それに適した絞り制御を行うことが可能になる。従って、例えば処置具が撮像範囲に含まれている状況においても、処置具及び被検体の好適な撮像画像を取得できるようになる。
【0061】
具体的には図1、図2で説明したように、絞り制御部209は、撮像範囲内に処置具が含まれていると処置具有無判定部212により判定された場合に、撮像部200の絞り201を絞る。このようにすれば、処置具の画像のボケを抑止できるようになり、処置具及び被検体の好適な撮像画像を取得できる。
【0062】
更に具体的には絞り制御部209は、撮像範囲内に処置具が含まれていると判定された場合に、撮像部200の被写界深度範囲内に処置具が入るように被写界深度範囲を拡大する絞り制御を行う。例えば絞り201を絞ることで、図2のように被写界深度範囲を拡大して、被写界深度範囲内に処置具が入るようにする。このようにすれば、ピントがぼけずに鮮明であると受け入れられる範囲である被写界深度範囲内に処置具が入るようになるため、処置具の画像がぼけるのを抑止できる。
【0063】
また図1に示すように、絞り制御部209は、撮像範囲内に処置具が含まれていないと判定された場合(通常観察状態の場合)には、撮像部200の絞り値を第1の絞り値(D1)に設定する。一方、撮像範囲内に処置具が含まれていると判定された場合には、撮像部200の絞り値を、第2の絞り値(D2)に設定する。ここで第2の絞り値は、第1の絞り値よりも絞り201を絞った値である。絞り値は例えばFナンバー(F値)や開口面積などにより表すことができる。絞り値がFナンバーにより表される場合には、第2の絞り値に対応する第2のFナンバーは、第1の絞り値に対応する第1のFナンバーよりも大きくなる。絞り値が開口面積により表される場合には、第2の絞り値に対応する第2の開口面積は、第1の絞り値に対応する第1の開口面積よりも狭くなる。
【0064】
また絞り制御部209は、撮像範囲内に処置具が含まれていないと判定された場合には、撮像部200の絞りによる回折限界が現れない絞り値を、第1の絞り値として設定する。例えば図5(A)では、エアリーディスク径dの方が撮像素子203の分解能K・Pよりも大きくなっており、回折限界の影響が現れる状態になっている。一方、図5(B)では、エアリーディスク径dが分解能K・Pよりも小さくなっており、回折限界の影響が現れない状態になっている。そこで撮像範囲内に処置具が含まれていない場合には、図5(B)のようなd≦K・Pの条件が成り立つ絞り値を第1の絞り値として設定する。このようにすれば、生体部位などの被検体をピントの合った画像で観察することが可能になる。
【0065】
また例えばROM等で実現される記憶部214は、上述の第1の絞り値を記憶する。そして絞り制御部209は、撮像範囲内に処置具が含まれていないと判定された場合には、記憶部214から第1の絞り値を読み出し、撮像部200の絞り値を第1の絞り値に設定して、撮像部200の絞りを制御する。即ち回折限界が現れない最適な絞り値に設定する。一方、撮像範囲内に処置具が含まれていると判定された場合には、撮像部200の絞り値を、第1の絞り値よりも絞りを絞った値である第2の絞り値に設定して、撮像部200の絞りを制御する。即ち絞りを絞って、被写界深度範囲内に処置具が入るようにする。このようにすれば、撮像範囲内に処置具が含まれていない場合と処置具が含まれている場合の両方において、適正なピントの撮像画像を取得できるようになる。
【0066】
また図10に示すように、本実施形態の処置具は、鉗子やメスのように、例えば内視鏡装置の挿入部102の先端部から出し入れされる器具である。この場合に絞り制御部209は、挿入部102の先端部から処置具(処置具の先端部、代表位置)までの距離情報L1を求め、求められた距離情報L1に応じて撮像部200の絞り201を制御する。例えば撮像範囲内に処置具が含まれていると判定された場合に、撮像部200の被写界深度範囲内に処置具が入るように、距離情報L1に応じて撮像部200の絞り201を制御する。具体的には図10において、距離情報L1を求め、被写界深度範囲H内に処置具(処置具の先端部)が入るように、距離情報L1に基づき絞り201を制御する。例えばL1が長い場合には、被写界深度範囲Hをそれほど拡大する必要がないため、絞り201の絞り度合いを少なくする。一方、L1が短い場合には、被写界深度範囲Hを大きく拡大する必要があるため、絞り201の絞り度合いを大きくする。
【0067】
また図3に示すように本実施形態の制御装置100は、画像の明るさを調整する明るさ制御部213を含む。そして画像取得部(A/D変換部)204は、絞り制御部209によって絞り201が絞られた後の撮像部200が、撮像範囲を撮像した画像を、絞り制御後画像として取得する。すると明るさ制御部213は、撮像範囲内に処置具が含まれていると判定され、絞り制御部209により撮像部200の絞り201が絞られた場合に、絞り制御後画像の明るさを調整する。具体的には明るさ制御部213は、撮像範囲内に処置具が含まれていると判定され、絞り制御部209により撮像部200の絞り201が絞られた場合に、絞り制御後画像の明るさを大きくする。
【0068】
例えば図11(A)において、絞り制御前画像IM1において処置具が検出されたとする。この場合には図2に示すように撮像部200の絞り201が絞られる制御が行われ、絞り201が絞られた後の撮像部200が、撮像範囲を撮像した画像が、絞り制御後画像IM2として取得される。この場合に明るさ制御部213は、絞り制御後画像IM2の明るさが大きくなるような制御を行う。
【0069】
具体的には図3に示すように制御装置100は、被検体101に対して光を照射する光源部104を含む。そして図11(A)に示すように、明るさ制御部213は、絞り制御部209により絞りが絞られた撮像部200による撮像の際に、被検体101に照射される光源部104からの光量を増加させる制御を行う。これにより、絞り制御後画像IM2の明るさを大きくする制御が実現される。
【0070】
また制御装置100は、設定されたゲイン値に基づいて画像信号のゲイン調整を行うゲイン調整部205を含む。そして図11(B)に示すように、明るさ制御部213は、絞り制御後画像IM2の信号値(IM2の各画素の画素値)を増加させるゲイン調整を、ゲイン調整部205に対して指示する。これにより、ゲイン調整部205が、絞り制御後画像IM2の信号値にゲイン値を乗算する処理を行うようになり、絞り制御後画像IM2の明るさを大きくする制御が実現される。
【0071】
そしてノイズ低減部206は、ゲイン値に基づきゲイン調整が行われた絞り制御後画像IM2に対して、ノイズ低減処理を施す。具体的には例えば図7(B)、図7(D)に示すようなフィルタによる平滑化処理により、ノイズ低減処理を実現する。こうすることで、ゲイン値の乗算処理により増幅されたノイズ成分を十分に抑制したノイズ低減処理が実現される。
【0072】
また明るさ制御部213は、ゲイン値に基づくゲイン調整による明るさ調整よりも光源部104の光量の増加による明るさ調整が優先される、絞り制御後画像の明るさ調整を行うことが望ましい。即ち、まずは光量増加による明るさ調整を適用し、それでも足りない場合に、ゲイン調整による明るさ調整を適用する。こうすることで、ノイズ増加を伴うゲイン調整による明るさ調整よりも、光量増加による明るさ調整が優先的に適用されるため、ノイズ増加による画質の劣化を、より抑制できるようになる。
【0073】
具体的には明るさ制御部213は、光源部104の光量の増加による絞り制御後画像IM2の明るさが、所与の明るさに達しない場合、或いは光源部104の光量の増加による絞り制御後画像IM2の明るさ調整ができない場合に、絞り制御後画像IM2の信号値を増加させるゲイン調整をゲイン調整部205に指示する。
【0074】
例えば図12(A)では、絞り201を絞ることで画像の明るさが小さくなるが、この場合に、まず光量増加による明るさ調整を優先的に適用して、画像を明るくする。そして、光量増加による明るさ調整によっては、絞り制御後画像IM2の明るさが絞り制御前画像IM1の明るさに達しない場合には、ゲイン調整による明るさ調整を行う。こうすることで、光量増加による明るさ調整で足りない分を、ゲイン調整による明るさ調整で補うことが可能になる。
【0075】
また図12(B)では、絞り201を絞ることで画像の明るさが小さくなった時に、光量増加による明るさ調整ができない状況になっている。このような場合には、絞り制御後画像IM2の信号値を増加させるゲイン調整をゲイン調整部205に指示する。こうすることで、光量増加による調整ができない場合にも、ゲイン調整部205のゲイン調整により、絞り制御後画像IM2の明るさを絞り制御前画像IM1の明るさに近づける明るさ調整が可能になる。
【0076】
なお図12(A)、図12(B)に示すように、明るさ制御部213は、絞り制御後画像IM2の明るさが絞り制御前画像IM1(絞りが絞られた前の撮像部が撮像範囲を撮像した画像)の明るさに近づくように、絞り制御後画像IM2の明るさを調整する。例えば絞り制御後画像IM2の明るさが絞り制御前画像IM1の明るさと同じになるように明るさ調整を行う。このようにすることで、処置具の検出により絞り201が絞られた場合にも、絞り201が絞られることにより画像が暗くなるのを抑止できる。
【0077】
また、処置具が、内視鏡装置の挿入部102の処置具挿入部105に挿入されて、挿入部102の先端部から出し入れされる器具である場合に、処置具有無判定部212は、処置具挿入部105に処置具が挿入されたか否かを判定することで、撮像範囲内に処置具が含まれているか否かを判定する。具体的には処置具有無判定部212は、処置具挿入部105に設けられた検出センサ106により処置具が挿入されたことが検出された場合に、処置具挿入部105に処置具が挿入されたと判定する。
【0078】
或いは、受け付け部(外部I/F部)211が、処置具挿入部105への処置具の挿入についてのユーザーからの指示を受け付ける。例えばユーザーが受け付け部211を介して所定の操作を行うことで、処置具挿入部105に処置具を挿入したことが指示される。そして処置具有無判定部212は、受け付け部211が上記の指示を受け付けた場合に、処置具挿入部105に処置具が挿入されたと判定する。
【0079】
或いは図8、図9で説明したように、処置具有無判定部212は、撮像部200により撮像された撮像範囲の画像に基づいて、撮像範囲内に処置具が含まれているか否かを判定してもよい。例えば撮像部200の撮像画像に対して、処置具に対応するテンプレート画像とのマッチング処理を行うことで、撮像範囲内に処置具が含まれているか否かを判定する。このようにすれば、検出センサを設けなくも、撮像画像を利用して、処置具の有無を判定できるようになる。
【0080】
3.第2の構成例
図13に本実施形態の第2の構成例を示す。第2の構成例の内視鏡装置は、制御装置100と挿入部102を含む。挿入部102は、撮像部200、ライトガイド103、処置具挿入部105、検出センサ106を含む。制御装置100は、A/D変換部204、ゲイン調整部205、ノイズ低減部206、画像処理部207、表示部208、絞り制御部209、制御部210、外部I/F部211、処置具有無判定部212、明るさ制御部213、記憶部214、焦点位置制御部215、距離推定部216、観察倍率制御部217、コントラスト算出部218、光源部104を含む。
【0081】
A/D変換部204は、ゲイン調整部205、ノイズ低減部206、画像処理部207を介して表示部208に接続される。検出センサ106は処置具有無判定部212に接続される。処置具有無判定部212は、明るさ制御部213を介して光源部104に接続される。また処置具有無判定部212は、絞り制御部209を介して絞り201に接続される。処置具有無判定部212は、更に焦点位置制御部215を介してレンズ系202に接続される。記憶部214は、絞り制御部209に接続される。焦点位置制御部215は、距離推定部216を介して絞り制御部209に接続される。観察倍率制御部217は、焦点位置制御部215に接続される。画像処理部207は、コントラスト算出部218を介して、焦点位置制御部215に接続される。制御部210は、A/D変換部204、ゲイン調整部205、ノイズ低減部206、画像処理部207、表示部208、絞り制御部209、外部I/F部211、処置具有無判定部212、明るさ制御部213、記憶部214、焦点位置制御部215、距離推定部216、観察倍率制御部217、及びコントラスト算出部218に双方向に接続される。
【0082】
図13の第2の構成例において、図3の第1の構成例と同じ構成に関する内容を省略し、異なる部分のみを説明する。
【0083】
第2の構成例は、オートフォーカス機能或いはマニュアルフォーカス機能などの焦点位置調整機能を有する内視鏡装置への適用例である。
【0084】
体腔内の臓器の診察時において診断精度を高めるためには、通常観察以外にも拡大観察が可能な対物光学系を備える内視鏡装置が望ましい。具体的には、図14(A)に示す通常観察時において、まず病変部らしい部位を特定する。この通常観察は、被写界深度が拡大されたパンフォーカス状態で行われる。例えば図5(A)のように、撮像素子203の分解能K・Pをエアリーディスク径dよりも、わざと大きくして、ピントは若干ぼけるものの、被写界深度範囲については拡大した状態にする。こうすることで、医者は、広い被写界深度範囲で被検体101の観察が可能になる。
【0085】
次に、図14(B)の拡大観察時において、内視鏡装置の挿入部102の先端部を病変部に接近させると同時に、外部I/F部211等から、制御部210の制御に基づき、観察倍率制御部217に拡大倍率情報を転送する。観察倍率制御部217は、焦点位置制御部215を介して、レンズ系202を調整して拡大観察に切り替える。医者は、特定部位に挿入部102を接近させ、拡大観察により精密に診察し、その場で病変部を除去するか、或いは生検を行うかどうかを決定する。
【0086】
一般的に、病変部において、細い血管やピットパターンなど微細構造がたくさん含まれるため、しっかりとピントを合わせないと、撮像画像はぼけて見えてしまう。また内視鏡装置の拡大観察では、例えば数十倍〜数百倍の倍率で行うことで、染色散布や、狭帯域照明光による血管強調画像(NBI画像とも呼ぶ)との併用により、粘膜表層の微細な構造や血管走行のパターンを観察することができる。しかし、このような拡大観察を行なうと、高倍率になるにつれ被写界深度は通常観察時に比べて極端に狭くなる。また生体は静止していることはほとんどなく、常に微妙に動いている。従って、被検体101に対する挿入部102(スコープ、撮像部)の先端位置を合焦範囲内に保持させ続けることは難しく、常に合焦した状態の画像を観察し続けるにはかなりの熟練を要する。このような拡大観察時の合焦に伴うスコープ位置合わせの作業時間が増加すると、全体の診断時間が長時間に及んでしまう。この結果、医者の疲労と共に患者の負担も大きくなるという課題が発生する。
【0087】
このため図13の第2の構成例では、オートフォーカス機能やマニュアルフォーカス機能などの焦点位置調整機能を内視鏡装置に持たせている。これにより、焦点位置を調整して注目領域にピントを合わせることが可能になり、高倍率の拡大観察時においても、ぼけの少ない撮像画像を取得することが可能になる。
【0088】
例えば本実施形態では、時系列的に連続撮像された画像のコントラストを算出して合焦位置を推定する公知の手法を用いる。具体的にはコントラスト算出部218が、制御部210の制御に基づき、画像処理部207からの画像信号を用いて、コントラスト値(評価値)を算出する。
【0089】
図15に、コントラスト値に基づく合焦位置調整手法の一例を示す。具体的には、時刻t0において、時系列に連続撮像した3枚の画像S1(撮像時刻t0−2・T)、S2(撮像時刻t0−T)、S3(撮像時刻t0)に対して、下式(1)によりそれぞれのコントラスト値を算出する。
【0090】
C=(Imax・Imin)/(Imax+Imin) ・・・・(1)
但し、Cはコントラスト値、Imaxは画像信号の最大値、Iminは画像信号の最小値である。
【0091】
算出された3つのコントラスト値は図15のC1、C2、C3に対応している。そして、これらのコントラスト値から合焦位置を推定することができる。
【0092】
なお、ユーザーが外部I/F部211から、制御部210の制御に基づき、手動で焦点位置制御部216を介してレンズ系202の位置を調整して、ピントを合わせることも可能である。
【0093】
以上のような拡大観察においては被写界深度範囲は非常に狭くなる。このため、ピントの芯の前後領域はぼけてしまう可能性がある。従って、処置具が挿入された場合には、処置具もぼけて見える可能性が高い。
【0094】
これを改善するために、本実施形態では、処置具が検出された場合に、焦点位置制御部215は、制御部210の制御に基づき、レンズ系202の焦点位置調整をロックして、絞り201を絞って被写界深度範囲を拡大する。距離推定部216は、このように焦点位置調整がロックした状態では、拡大観察の対象となる注目領域がピントの芯に対応するため、注目領域までの距離情報を推定できるようになる。例えば、焦点位置制御部215での焦点位置調整情報から、図10の挿入部102の先端部から被検体101までの距離情報L2を推定できる。そして推定された距離情報L2に基づき、被写界深度範囲H内に処置具が入るように、絞り201を絞る制御を行う。具体的には、検出センサ106からの検出情報に基づいて、挿入部102の先端部から処置具(処置具の先端部)までの距離情報L1を求める。そして、求められた距離情報L1と推定された距離情報L2に基づいて、処置具から被検体101までの距離情報を求めることができるため、処置具を被写界深度範囲H内に入れる絞り制御が可能になる。
【0095】
一方、処置具が検出されていない場合には、レンズ系202の焦点位置のロック状態を開放して、オートフォーカスやマニュアルフォーカスが可能な通常状態に戻す。
【0096】
以上のように本実施形態では、処置具が挿入されたことが検知されると、絞り201が絞られる。これにより、ピントの芯は回折限界の影響で甘くなる代わりに、被写界深度範囲が拡大することで、本来ぼけて見える処置具もほぼピントが合ったように撮像されるようになる。一方、処置具が検出されていない場合には、絞り201を開けることで、被写界深度範囲は狭くなるが、ピントの芯の解像力などの画質を向上させることが可能となる。
【0097】
図16は第2の構成例の動作を説明するためのフローチャートである。まず、拡大観察状態か否かを判断する(ステップS1)。即ち図14(A)に示すパンフォーカスによる通常観察状態なのか、図14(B)に示す拡大観察状態なのかを判断する。そして拡大観察状態である場合には、オートフォーカス等による焦点位置調整を行う(ステップS2)。このような焦点位置調整を行うことで、例えば高倍率の拡大観察において、生体が微妙に動いている場合にも、被検体101に合焦させることが可能になり、ピントの合った被検体101の画像を取得できるようになる。
【0098】
次に、撮像部200の撮像範囲内において処置具が検出されたか否かを判断する(ステップS3)。そして処置具が検出された場合には、ステップS2で開始した焦点位置調整をロックする(ステップS4)。こうすることで、被検体101にピントを合わせた状態で絞り制御を行うことが可能になる。また、例えばオートフォーカス等による焦点位置調整がロックされないと、絞り制御が行われることで焦点位置調整が誤動作してしまうおそれもあるが、焦点位置調整をロックすることで、このような事態を防止できる。
【0099】
次に、挿入部102の先端部から合焦領域までの距離情報を推定する(ステップS5)。例えば焦点位置調整情報から図10の距離情報L2を推定する。そして推定された距離情報に基づいて、被写界深度範囲内に処置具が入るように絞りを制御する(ステップS6)。例えば図10のL1、L2に基づいて、処置具と被検体101との距離情報を求め、この距離情報から、処置具が被写界深度範囲H内に入る絞り値を特定し、特定された絞り値になるように絞り201を制御する。こうすることで、被検体101及び処置具の双方がピントが合った画像を取得できるようになる。
【0100】
以上のように本実施形態の制御装置100は、図13に示すように撮像部200の焦点位置を調整する制御を行う焦点位置制御部215を含む。
【0101】
このような焦点位置制御部215を設けることで、被検体101に焦点位置を合焦させる制御が行われ、ピントの合った画像を取得できるようになるため、医者等のユーザーの作業負担を軽減できる。
【0102】
また本実施形態の制御装置100は、撮像部200による被検体101の撮像の観察倍率を制御する観察倍率制御部217を含む。そして焦点位置制御部215は、観察倍率制御部217による観察倍率の制御により観察状態が拡大観察状態に設定された場合に、被検体に焦点位置を合焦させる焦点位置調整を行う。
【0103】
このようにすれば、図14(B)に示すような拡大観察状態において、焦点位置制御部215により焦点位置が制御されて、被検体101にピントを合わせる合焦制御が行われるようになる。従って、例えば微妙に動く生体を対象として、高倍率の拡大観察を行った場合にも、ぼけの少ない被検体101の画像を取得して表示できるようになる。
【0104】
また図16のステップS4で説明したように、焦点位置制御部215は、撮像範囲内に処置具が含まれていると処置具有無判定部212により判定された場合に、焦点位置調整をロックする。
【0105】
このように焦点位置調整をロックすることで、被検体101に焦点位置を合焦させた状態で、絞り制御等を行うことが可能になると共に、焦点位置調整の誤動作の発生も抑止できる。
【0106】
また絞り制御部209は、焦点位置制御部215による焦点位置調整がロックされた状態で、撮像部200の被写界深度範囲内に処置具が入るように被写界深度範囲を拡大する絞り制御を行う。
【0107】
このようにすれば、焦点位置調整の誤動作の発生を抑止しながら、被検体101と処置具の双方が被写界深度範囲内に収められた好適な撮像画像を取得できるようになる。
【0108】
また処置具が、内視鏡装置の挿入部102の先端部から出し入れされる器具である場合に、図16のステップS5に示すように距離推定部216は、挿入部102の先端部から合焦領域までの距離情報を推定する。そしてステップS6に示すように絞り制御部209は、推定された距離情報に基づいて、撮像部200の被写界深度範囲内に処置具が入るように被写界深度範囲を拡大する絞り制御を行う。
【0109】
即ち、図10の距離情報L2を推定して、この距離情報L2等に基づいて、処置具が被写界深度範囲内に入るように絞り制御が行われる。こうすることで、被写界深度範囲内に処置具を収める絞り制御を、より高い精度で実現することが可能になる。
【0110】
以上のように本実施形態について詳細に説明したが、本発明の新規事項及び効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また制御装置、内視鏡システムの構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。
【符号の説明】
【0111】
100 制御装置、101 被検体、102 挿入部、103 ライトガイド、
104 光源部、105 処置具挿入部、106 検出センサ、107 鉗子、
200 撮像部、201 絞り、202 レンズ系、203 撮像素子、
204 A/D変換部(画像取得部)、205 ゲイン調整部(AGC)、
206 ノイズ低減部、207 画像処理部、208 表示部、209 絞り制御部、
210 制御部、211 外部I/F部(受け付け部)、212 処置具有無判定部、
213 明るさ制御部、214 記憶部(ROM)、215 焦点位置制御部、
216 距離推定部、217 観察倍率制御部、218 コントラスト算出部
【技術分野】
【0001】
本発明は制御装置、内視鏡装置及び絞り制御方法等に関する。
【背景技術】
【0002】
内視鏡装置等の検査装置では、ユーザー(医者)が観察する前後、左右、上下領域の解像感を確保するために、被写界深度範囲が拡大されたパンフォーカスの観察状態で、診察や治療をできることが望ましい。例えば特許文献1には、照明の明るさを調整する調光制御と絞り制御を連動して、明るさを一定に保ちながらパンフォーカスに近い画質を実現する手法が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平7−299029号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
一方、内視鏡装置等の検査装置では、解像力を高めるために、画角サイズは変わらないが、画素ピッチが小さな撮像素子が用いられるようになってきている。しかしながら、画素ピッチが小さな撮像素子に従来の内視鏡装置の光学系を組み合わせても、回折限界の影響で撮像画像がぼけてしまう可能性がある。この場合に、絞りを開けてピントを合わせることも可能であるが、絞りを開けることで被写界深度範囲が狭くなり、従来実現していたパンフォーカスを実現できなくなってしまう。従って、この状態で鉗子やメスなどの処置具が挿入された場合、処置具がぼけてしまうおそれがある。
【0005】
本発明の幾つかの態様によれば、処置具が撮像範囲に含まれている場合にも処置具や被検体の好適な撮像画像を取得可能にする制御装置、内視鏡装置及び絞り制御方法等を提供できる。
【課題を解決するための手段】
【0006】
本発明の一態様は、被検体を撮像する撮像部からの撮像画像を取得する画像取得部と、前記撮像部の撮像範囲内に、前記被検体に対して処置を施すための処置具が含まれているか否かを判定する処置具有無判定部と、前記撮像範囲内に前記処置具が含まれているか否かについての判定結果に基づいて、前記撮像部の絞り制御を行う絞り制御部とを含む制御装置に関係する。
【0007】
本発明の一態様によれば、撮像部の撮像範囲内に、被検体に対する処置具が含まれているか否かが判定される。そして、その判定結果に基づいて、被検体を撮像する撮像部の絞り制御が行われる。従って、撮像範囲内に処置具が含まれているかに応じた適正な絞り制御が可能になり、処置具が撮像部の撮像範囲に含まれている場合にも処置具や被検体の好適な撮像画像を取得することが可能になる。
【0008】
また本発明の他の態様は、被検体を撮像する撮像部と、前記撮像部からの撮像画像を取得する画像取得部と、前記撮像部の撮像範囲内に、前記被検体に対して処置を施すための処置具が含まれているか否かを判定する処置具有無判定部と、前記撮像範囲内に前記処置具が含まれているか否かについての判定結果に基づいて、前記撮像部の絞り制御を行う絞り制御部とを含む内視鏡装置に関係する。
【0009】
また本発明の他の態様は、被検体を撮像する撮像部からの撮像画像を取得し、前記撮像部の撮像範囲内に、前記被検体に対して処置を施すための処置具が含まれているか否かを判定し、前記撮像範囲内に前記処置具が含まれているか否かについての判定結果に基づいて、前記撮像部の絞り制御する絞り制御方法に関係する。
【図面の簡単な説明】
【0010】
【図1】本実施形態の手法の説明図。
【図2】本実施形態の手法の説明図。
【図3】本実施形態の第1の構成例。
【図4】図4(A)〜図4(C)は回折限界についての説明図。
【図5】図5(A)、図5(B)は回折限界が現れない絞り値についての説明図。
【図6】内視鏡装置の対物光学系の説明図。
【図7】図7(A)〜図7(D)はノイズ低減処理用の平滑化フィルタの説明図。
【図8】本実施形態の第1の構成例の変形例。
【図9】撮像画像に基づいて処置具を検出して絞りを絞る手法の説明図。
【図10】処置具の挿入時の距離情報の取得手法の説明図。
【図11】図11(A)、図11(B)は絞り制御後画像の明るさの調整手法の説明図。
【図12】図12(A)、図12(B)はゲイン調整による明るさ調整よりも光量増加による明るさ調整を優先させる手法の説明図。
【図13】本実施形態の第2の構成例。
【図14】図14(A)、図14(B)はパンフォーカスによる通常観察と拡大観察の説明図。
【図15】コントラスト値に基づく焦点位置調整手法の説明図。
【図16】第2の構成例の動作を説明するフローチャート。
【発明を実施するための形態】
【0011】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【0012】
1.概要
まず本実施形態の概要について説明する。内視鏡装置や顕微鏡装置等の検査装置では、撮像画像の解像度を高めるために、より小さな画素ピッチで画素数が多い撮像素子が用いられるようになりつつある。
【0013】
しかしながら、撮像素子の画素ピッチが小さくなると、回折限界が現れやすくなり、画像がぼけやすくなる。一方、これを避けるために絞りを開けると、被写界深度範囲が狭くなってしまう。
【0014】
また内視鏡装置等の検査装置では、被検体に処置を施すための鉗子やメスなどの処置具がその挿入部に挿入される場合がある。
【0015】
しかしながら、上述のように画素ピッチの縮小化に伴い絞りを開けることで被写界深度範囲が狭くなると、処置具が被写界深度範囲内に入らなくなり、ぼけてしまうため、医者等のユーザーの負担が大きくなってしまうという課題がある。
【0016】
このような課題を解決するために本実施形態では、撮像部の撮像範囲内での処置具の有無を検出して、撮像部の絞りを制御する手法を採用している。
【0017】
例えば図1では、撮像素子や撮像光学系を有する撮像部の撮像範囲には、被検体(被写体)101は映っているが、処置具は挿入されていない。この場合には、撮像部の絞り201は通常の絞り値である第1の絞り値に設定され、絞り201の開口はD1になり、被写界深度範囲はH1になる。
【0018】
ここで被写界深度範囲は、物体面が前後してもピントがぼけずに鮮明であると受け入れられる範囲であり、像がどこまでボケを許容するかを示す範囲である許容錯乱円σにより規定される。そして許容錯乱円(許容錯乱円径)σは、撮像素子の画素ピッチが小さくなると、それに応じて小さくなる。従って、画素ピッチが小さな高解像度の撮像素子を用いると、被写界深度範囲H1も狭くなる。
【0019】
一方、図2では、被検体101に対して治療や検査のための処置を施すために、処置具(鉗子107)が挿入されている。このように処置具が挿入されると、本実施形態では、撮像部の絞り201は第2の絞り値に設定され、絞り201が絞られる。即ち、絞り201の開口が図1のD1よりも狭いD2になる。このように絞り201が絞られると、被写界深度範囲も図1のH1よりも広いH2に拡大され、被写界深度範囲H2内に処置具を収めることが可能になる。従って、処置具の画像がぼけてしまう事態が抑止される。即ち図1のように被写界深度が狭いままであると、処置具が被写界深度範囲内に入らないため、処置具の画像がぼけてしまい、医者等の治療や検査に負担がかかる。これに対して本実施形態によれば、画素ピッチの小さな撮像素子を用いて撮像画像の高解像度化を実現しながら、処置具の検出時に絞りを絞ることで処置具の画像がぼけてしまう事態も抑止できるようになる。
【0020】
2.第1の構成例
図3に本実施形態の第1の構成例を示す。以下では、本実施形態を、検査装置の1つである内視鏡装置及びその制御装置に適用した場合について説明するが、本実施形態はこれに限定されるものではない。
【0021】
図3の内視鏡装置は、制御装置100と挿入部102(広義には撮像部)を含む。挿入部102の撮像部200は、絞り201、レンズ系202、撮像素子203を含む。また挿入部102は、ライトガイド103、処置具挿入部105、検出センサ106を含む。なおこれらの構成要素の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【0022】
図3の内視鏡装置では、内視鏡診察や治療に適用するため、挿入部102は体内に挿入できるように湾曲が可能で細長い形状になっている。そして光源部104が照射する光は湾曲可能なライトガイド103を経由して、被検体(被写体)101に照射される。挿入部102の先端部には、絞り201、レンズ系202などの光学系が配置されており、被検体101からの反射光は絞り201、レンズ系202を介して、撮像素子203に入射される。この撮像素子203はベイヤ配列の色フィルタを持つ撮像素子であり、例えばCMOSセンサやCCDなどにより実現される。撮像素子203からのアナログ画像信号は、画像取得として機能するA/D変換部204へ転送されて、デジタル画像信号に変換される。
【0023】
また挿入部102には、鉗子107等の処置具を挿入するための処置具挿入部105が設けられており、処置具挿入部105の後部から鉗子107等の処置具が挿入される。これにより処置具は挿入部102の先端部まで通過して、直接に被検体101に対して処置を施すことが可能となる。さらに処置具挿入部105の後部には、光学センサ等により実現される検出センサ106が設けられている。この検出センサ106を用いることで、処置具が挿入されているか否かや処置具の挿入距離等を検出できる。
【0024】
挿入部102は、制御装置100と着脱可能となっている。ユーザー(医者)は、目的に応じて複数種類のスコープから必要なスコープを選択して制御装置100に装着し、診察や治療を行う。
【0025】
制御装置100は、内視鏡装置の各種の制御を行うものであり、A/D変換部204、ゲイン調整部(AGC)205、ノイズ低減部206、画像処理部207、表示部208、絞り制御部209、制御部210、外部I/F(インターフェース)部211、処置具有無判定部212、明るさ制御部213、記憶部(ROM)214、光源部104を含む。なおこれらの構成要素の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【0026】
A/D変換部204は、ゲイン調整部205、ノイズ低減部206、画像処理部207を介して表示部208に接続される。検出センサ106は処置具有無判定部212に接続される。処置具有無判定部212は、明るさ制御部213を介して光源部104に接続される。処置具有無判定部212は、更に絞り制御部209を介して絞り201に接続される。記憶部214は、絞り制御部209に接続される。制御部210は、A/D変換部204、ゲイン調整部205、ノイズ低減部206、画像処理部207、表示部208、絞り制御部209、外部I/F部211、処置具有無判定部212、明るさ制御部213及び記憶部214と双方向に接続される。
【0027】
A/D変換部204は、撮像素子203からのアナログ画像信号をデジタル化し、得られたデジタル画像信号(以下、画像信号と略称する)をゲイン調整部205に転送する。そして制御部210の制御に基づき、ゲイン調整部205が画像信号に対するゲイン調整処理を行い、ノイズ低減部206が、ゲイン調整後の画像信号に対してノイズ低減処理を行う。そしてゲイン調整処理及びノイズ低減処理後の画像信号が、画像処理部207に転送される。ゲイン調整処理及びノイズ低減処理の詳細については後述する。
【0028】
画像処理部207は、制御部210の制御に基づき、ノイズ低減部206からの画像信号に対して公知の画像信号処理を行う。本実施形態では、公知のベイヤ補間処理(ベイヤ画像信号から三板画像信号へ変換)、ホワイトバランス処理、カラーマネージメント処理、階調変換処理などを行う。処理後のRGB信号からなる画像信号が表示部208に転送され、表示部208において撮像画像が表示される。
【0029】
図4(A)〜図4(C)は回折限界とエアリーディスクの関係を示す図である。光は波動としての性質を持つため回折現象があり、そのため光が1点に収束したとしても(焦点が合っていたとしても)、図4(A)のように無限小の点に収まるということはなく、図4(B)のようにある程度の大きさを持つことになる。この限界のことを回折限界と呼び、収束点の大きさのことをエアリーディスクと呼ぶ。図4(B)において、dはエアリーディスク径を表す。図4(C)に示すように、エアリーディスク径dは、Fナンバーを大きくするほど大きくなる。即ち絞りを絞るほど大きくなる。
【0030】
図5(A)、図5(B)は撮像素子の分解能とエアリーディスクの関係を示す図である。同図において、Pは撮像素子の画素ピッチであり、Kは係数(フィルタ配列や補間処理によって決まる係数)である。画素ピッチがPである撮像素子の分解能(許容錯乱円径)はK・Pで表される。従って図5(A)のように、エアリーディスク径dの方が撮像素子の分解能K・Pよりも大きい場合には、撮像素子の解像度を十分に生かした撮像ができなくなり、実質的な分解能が低下する。一方、図5(B)のように、エアリーディスク径dの方が撮像素子の分解能K・Pよりも小さくなれば、撮像素子の解像度を十分に生かした撮像が可能になる。従って、回折限界の影響を受けない高解像度の撮像画像を取得するためには、d≦K・Pの関係が成り立つように、絞り等を制御することが望ましい。
【0031】
例えば図6は、内視鏡装置に搭載されている対物光学系を説明する図であり、合焦位置(ピント位置)と許容錯乱円σの関係を示している。この許容錯乱円σの大きさは、観察状況、観察対象などに基づいて定義される。即ち、内視鏡装置の対物光学系では、観察状況(距離)、入射光量、レンズの特性、撮像素子の感度及び画素ピッチなどに応じて、最適な絞り(開口)を設計する。そして近距離から遠距離までピントが合う状態に設定して、内視鏡観察を行えるようにする。例えば図6において、最適な絞りに対応する開口をD1とすると、その時の被写界深度範囲(ピントが合うとされる焦点深度)はH1となる。
【0032】
また近年の内視鏡装置では、撮像画像の解像度を高めるために、画素ピッチが小さい高解像度の撮像素子が用いられている。そして、このような画素ピッチが小さい撮像素子を、従来の内視鏡装置の光学系を組み合わせても、回折限界の影響で画像がぼけてしまう。即ち図5(A)に示すように、回折限界を表すエアリーディスク径dが、画素ピッチPで表される撮像素子の分解能K・Pよりも大きくなると、撮像素子の本来の解像度を発揮できなくなり、画像がぼけてしまう。これを防止するために、図4(C)に示すように、絞りの開口を開けて(Fナンバーを小さくして)、エアリーディスク径dを小さくすることで、図5(B)に示すようにd≦K・Pの関係が成り立たせる。こうすることで、撮像素子の画素ピッチに見合う解像度が得られる設計が行われる。このため、画素ピッチが小さな高性能の撮像素子を用いると、絞りの開口が大きくなるため、図6に示すように被写界深度範囲H1も狭くなる。従って、従来実現していたパンフォーカスが実現できなっている。
【0033】
また、内視鏡装置での診察時や治療時に、挿入部102に設けられた処置具挿入部105から鉗子やメスなどの処置具を出し入れして、手術処置などを行う操作が頻繁に発生する。この場合に、図6のように狭い被写界深度範囲の状態で観察すると、挿入部102の先端部から出てくる鉗子やメスなどの処置具の位置は、被写界深度範囲内から外れる可能性があり、被写界深度範囲を超えた部分の画像はぼけてしまう。
【0034】
これを改善するために、本実施形態では、鉗子やメスなどの処置具が挿入されたことを処置具挿入部105の後部に設けられている検出センサ106により検出する。そして、その検出情報を処置具有無判定部212に転送する。処置具有無判定部212は、制御部210の制御に基づき、被写界深度範囲を拡大する命令を、絞り制御部209及び明るさ制御部213に転送する。
【0035】
すると、まず、絞り制御部209が、処置具有無判定部212からの命令を受けて、絞り201の開口面積を小さくするように制御する。図6に示すように、開口面積が小さければ小さいほど、被写界深度範囲(ピントが合う範囲)も広くなる。しかしながら、所定の開口面積より小さく絞ると、図4(C)で説明したようにエアリーディスク径dが大きくなることで、図5(A)に示すように回折限界が現れて、撮像素子の高解像度を生かせなくなる。
【0036】
そこで本実施形態では、この回折限界が現れない絞り値(最小開口面積)を事前に調べ、絞り閾値(第1の絞り値)として記憶部(ROM)214に保存する。即ち図5(B)のようにd≦K・Pの関係が成り立つような絞り値を、絞り閾値として記憶部214に保存する。そして図1に示すように通常観察においては、絞り制御部209は、制御部210の制御に基づき、記憶部214からこの絞り閾値(第1の絞り値)を読み出して、絞り201の開口を制御する。撮像素子の画素ピッチサイズによって回折限界が現れ始める絞り限界が異なるため、絞り閾値も撮像素子のピッチに応じて異なる。一般的に、使用目的に応じて内視鏡装置に装着するスコープの太さ、撮像素子のピッチ、解像度などが異なる。この場合、各スコープに対応するそれぞれの最小絞り値(最少開口面積)を、絞り閾値として記憶部214に保存する。通常観察時には、使用しているスコープの種類に対応する絞り閾値を記憶部214から読み出して、絞り201の開口を調整する。
【0037】
そして、内視鏡装置の挿入部102の処置具挿入部105に、鉗子やメスなどの処置具が挿入され、挿入部102の先端部から処置具が出された場合には、図2に示すように絞り201を絞って、被写界深度範囲を拡大する。例えば図2に示すように、絞りの開口をD2(D1>D2)に絞ることで、被写界深度範囲が拡大され、ピントが合う焦点深度が拡大される。この場合、ピントの芯の部分において回折限界の影響で解像力は甘くなる代わりに、本来ぼけて見える処置具もほぼピントが合ったように撮像されるようになるため、医者の処置作業の負担を軽減できる。
【0038】
一方、被写界深度範囲を拡大するため、図2のように絞り201の開口の面積が小さくなることで、入射光量も絞り開口の面積の縮小に比例して少なくなる。そこで本実施形態では、画像信号の明るさを一定に保つため、明るさ制御部213は、処置具有無判定部212からの被写界深度範囲を拡大する命令を受けて、画像信号の明るさを制御する。
【0039】
ここで、明るさを制御する手法としては例えば2つの手法を想定できる。第1の手法では、光源部104の出射光量を調整する。第2の手法では、ゲイン値で画像の明るさを調整する。ゲイン値で明るさを増強する場合、画像信号に含まれているノイズも比例して増幅されてしまうため、光源部104の出射光量を増強する手法を優先的に適用する。
【0040】
具体的には、絞り201の開口面積の縮小比率に応じて光源部104の出射光量を調整する。例えば、絞り201の開口面積が1/2になった場合、光源部104の出射光量を2倍にする。そうすることによって、被写界深度範囲の拡大の前後において画像の明るさをほぼ一定に保つことができる。これに対して、光源部104の出射光量の調整ができない場合、或いは光源部104の出射光量を最大にしても明るさが足りない場合には、ゲイン調整部205において画像(画像信号)の明るさを調整する。
【0041】
本実施形態では、ゲイン調整部205は、制御部210の制御に基づき、明るさ制御部213から明るさ調整の命令を受けると、A/D変換部204からの画像信号に対して所定のゲイン値を、画素ごとの画像信号値に対して乗算する。この所定のゲイン値は、絞り201の開口面積の縮小率及び光源部104の出射光量の増強率に応じて設定される。例えば、被写界深度範囲を拡大する状態において、通常の内視鏡観察状態に比べて絞り201の開口面積が1/4になったと仮定する。光源部104の出射光量が調整できない場合には、このゲイン値を4に設定する。つまり、A/D変換部204からの画像信号に対して、画素ごとの画素値を4倍にする。また、光源部104の出射光量が、最大にしても、絞る前に比べて2倍にしかできない場合には、このゲイン値を2に設定する。上記のように、光源部104での出射光量の増強やゲイン調整部205でのゲイン値乗算処理により、被写界深度範囲を拡大する前後において画像の明るさがほぼ一定に保つようにする。そして処理後の画像信号をノイズ低減部206に転送する。
【0042】
ノイズ低減部206は、制御部210の制御に基づきノイズ低減処理を行う。前述のように、絞り201を絞って、被写界深度範囲を拡大すると、入射光量も少なくなる。そこで、画像の明るさを保持するため、ゲイン調整部205においてゲイン値を大きく設定して、画像信号の信号値に乗算すると、本来の画像信号中のノイズもゲイン値に比例して増幅される。
【0043】
このような問題を解決するために、本実施形態では、ノイズ低減部205が、被写界深度範囲を拡大するか否かを判定し、記憶部(ROM)214から対応するノイズ低減処理用の平滑化フィルタ係数を読み出して、ノイズ低減処理を行う。
【0044】
例えば、図1のような通常の内視鏡観察状態の場合には、ゲイン調整部205からの画像信号に対し、図7(A)や図7(C)に示される係数のフィルタを適用して、画素ごとに平滑化処理を行う。
【0045】
一方、図2のように処置具が検出されて被写界深度範囲を拡大する場合には、ゲイン調整部205からの画像信号に対し、図7(B)や図7(D)に示すような係数のフィルタを適用して、画素ごとに平滑化処理を行う。
【0046】
図7(A)、図7(C)に示す3×3の係数のフィルタに比べて、図7(B)、図7(D)に示す5×5の係数のフィルタでは平滑化の効果がより強くなる。従って、ゲイン調整後の画像信号に対して図7(B)、図7(D)のフィルタ処理を施すことで、ゲイン値の乗算処理により増幅されたノイズ成分を、十分に抑制したノイズ低減処理を実現できる。そしてノイズ低減処理後の画像信号は画像処理部207に転送される。
【0047】
なお処置具が検出されて被写界深度範囲を拡大する場合には、平滑化処理を行い、処置具が検出されない通常の内視鏡観察状態の場合には、平滑化処理を行わないようにしてもよい。また処置具が検知されなくなった場合には、絞り制御部209は、制御部210の制御に基づき、絞り201の開口、光源部104の出射光量、及びゲイン調整部205のゲイン値を、通常観察時の状態に戻す。
【0048】
なお、以上では所定の範囲の被写界深度まで拡大することを優先して絞りを制御する構成について説明したが、本実施形態はこのような構成には限定されない。例えば内視鏡装置で処置具を挿入して治療する場合に、処置対象となる被検体(生体部位)及び処置具先端部の解像力は重要視される。
【0049】
そこで、被検体から処置具先端部まで至る最小限の範囲で、ピントが合うように絞りを絞って被写界深度範囲を設定する。こうすることで、解像度の劣化を最小限に抑えながら、必要十分な被写界深度範囲を確保できる。このような制御を行うには、内視鏡装置の挿入部102の先端部から処置具先端部までの距離を測定する必要がある。この距離の測定において、例えば、光学センサ等で実現される検出センサ106は、挿入される処置具に刻まれている挿入長さに対応するマーカーを検知する。検出センサ106は、処置具挿入部105の後部に配置されているため、そのマーカー位置により処置具挿入部105に挿入された処置具の長さを推定し、更に処置具挿入部105の長さを減算することで、挿入部102の先端部から処置具先端部までの距離を求めることができる。このように、処置具が挿入されていることが検知された場合に、処置具の挿入量に応じて絞りを制御することで、解像力の低下を最小限に抑えることが可能になる。
【0050】
また、以上では、検出センサ106を配置して処置具の挿入を検出する構成について説明したが、本実施形態はこのような構成には限定されない。例えば、ユーザーが処置具を挿入する際に、手動で外部I/F部(広義には受け付け部)211を介して、制御部210の制御に基づき、絞り201を制御して被写界深度範囲を拡大する構成にしてもよい。
【0051】
図8に本実施形態の第1の構成例の変形例を示す。この変形例では、撮像画像から処置具を検出して、絞りを制御して被写界深度範囲を拡大する。この変形例の内視鏡装置は、制御装置100と挿入部102を含む。挿入部102は、撮像部200、ライトガイド103、処置具挿入部105を含む。制御装置100は、A/D変換部204、ゲイン調整部205、ノイズ低減部206、画像処理部207、表示部208、絞り制御部209、制御部210、外部I/F部211、処置具有無判定部212、明るさ制御部213、記憶部214、光源部104を含む。
【0052】
A/D変換部204は、ゲイン調整部205、ノイズ低減部206、画像処理部207を介して表示部208に接続される。処置具有無判定部212は、明るさ制御部213を介して光源部104に接続される。処置具有無判定部212は、絞り制御部209を介して絞り201に接続される。画像処理部207は、処置具有無判定部212に接続される。記憶部214は、絞り制御部209及び処置具有無判定部212に接続される。制御部210は、A/D変換部204、ゲイン調整部205、ノイズ低減部206、画像処理部207、表示部208、絞り制御部209、外部I/F部211、処置具有無判定部212、明るさ制御部213及び記憶部214に双方向に接続される。
【0053】
図8の変形例において、図3と同じ構成に関する内容を省略し、異なる部分のみを説明する。
【0054】
処置具有無判定部212は、制御部210の制御に基づき、画像処理部207からの画像信号を用いて、処置具が挿入されているか否かを検出する。鉗子やメスなどの処置具の先端部は金属製の円筒形状にするケースが多く、照明の正反射に伴うハレーションが起きやすい特性が有している。これを利用して、画像信号から処置具を検出する。
【0055】
例えば、複数の円筒形状のテンプレート画像を事前に記憶部(ROM)214に保存する。処置具有無判定部212は、画像処理部207からの画像信号に対応する撮像画像に対して、記憶部214から複数の円筒形状のテンプレート画像を用いて回転、拡大縮小処理を行って、図9に示すようにマッチング処理を行う。そしてテンプレート画像とマッチングした場合には、更に、マッチングした領域の輝度信号を平均積分して、判定輝度値を算出する。この判定輝度値が、所定の処置具判定輝度閾値よりも大きければ、処置具が挿入されていると判定する。そして図9に示すように絞り201を絞る制御を行って、被写界深度を拡大する。なお、通常光で診察する場合には、生体の色は赤及び黄色の色領域に属する場合がほとんどであるため、画像信号の色相情報を用いて処置具を検出する構成にしてもよい。
【0056】
以上に説明したように本実施形態では、図3に示すように制御装置100が、画像取得部(A/D変換部)204と処置具有無判定部212と絞り制御部209を含む。
【0057】
画像取得部(A/D変換部)204は、被検体101を撮像する撮像部200からの撮像画像を取得する。例えば撮像部200からのアナログの画像信号をデジタルの画像信号に変換して、画像処理が可能な撮像画像を取得する。
【0058】
処置具有無判定部212は、撮像部200の撮像範囲内に、被検体101に対して処置を施すための処置具が含まれているか否かを判定する。この判定手法としては、検出センサ106を用いて判定する手法、ユーザーからの入力を受け付けて判定する手法、撮像画像のマッチング処理により判定する手法などの種々の手法を想定できる。
【0059】
そして絞り制御部209は、撮像範囲内に処置具が含まれているか否かについての判定結果(判定結果情報)に基づいて、撮像部(撮像光学系)200の絞り制御を行う。例えば撮像範囲内に処置具が含まれているかどうかに応じて絞り制御を異ならせる。
【0060】
このようにすれば、撮像範囲内に処置具が含まれている場合には、それに適した絞り制御を行うことが可能になる。従って、例えば処置具が撮像範囲に含まれている状況においても、処置具及び被検体の好適な撮像画像を取得できるようになる。
【0061】
具体的には図1、図2で説明したように、絞り制御部209は、撮像範囲内に処置具が含まれていると処置具有無判定部212により判定された場合に、撮像部200の絞り201を絞る。このようにすれば、処置具の画像のボケを抑止できるようになり、処置具及び被検体の好適な撮像画像を取得できる。
【0062】
更に具体的には絞り制御部209は、撮像範囲内に処置具が含まれていると判定された場合に、撮像部200の被写界深度範囲内に処置具が入るように被写界深度範囲を拡大する絞り制御を行う。例えば絞り201を絞ることで、図2のように被写界深度範囲を拡大して、被写界深度範囲内に処置具が入るようにする。このようにすれば、ピントがぼけずに鮮明であると受け入れられる範囲である被写界深度範囲内に処置具が入るようになるため、処置具の画像がぼけるのを抑止できる。
【0063】
また図1に示すように、絞り制御部209は、撮像範囲内に処置具が含まれていないと判定された場合(通常観察状態の場合)には、撮像部200の絞り値を第1の絞り値(D1)に設定する。一方、撮像範囲内に処置具が含まれていると判定された場合には、撮像部200の絞り値を、第2の絞り値(D2)に設定する。ここで第2の絞り値は、第1の絞り値よりも絞り201を絞った値である。絞り値は例えばFナンバー(F値)や開口面積などにより表すことができる。絞り値がFナンバーにより表される場合には、第2の絞り値に対応する第2のFナンバーは、第1の絞り値に対応する第1のFナンバーよりも大きくなる。絞り値が開口面積により表される場合には、第2の絞り値に対応する第2の開口面積は、第1の絞り値に対応する第1の開口面積よりも狭くなる。
【0064】
また絞り制御部209は、撮像範囲内に処置具が含まれていないと判定された場合には、撮像部200の絞りによる回折限界が現れない絞り値を、第1の絞り値として設定する。例えば図5(A)では、エアリーディスク径dの方が撮像素子203の分解能K・Pよりも大きくなっており、回折限界の影響が現れる状態になっている。一方、図5(B)では、エアリーディスク径dが分解能K・Pよりも小さくなっており、回折限界の影響が現れない状態になっている。そこで撮像範囲内に処置具が含まれていない場合には、図5(B)のようなd≦K・Pの条件が成り立つ絞り値を第1の絞り値として設定する。このようにすれば、生体部位などの被検体をピントの合った画像で観察することが可能になる。
【0065】
また例えばROM等で実現される記憶部214は、上述の第1の絞り値を記憶する。そして絞り制御部209は、撮像範囲内に処置具が含まれていないと判定された場合には、記憶部214から第1の絞り値を読み出し、撮像部200の絞り値を第1の絞り値に設定して、撮像部200の絞りを制御する。即ち回折限界が現れない最適な絞り値に設定する。一方、撮像範囲内に処置具が含まれていると判定された場合には、撮像部200の絞り値を、第1の絞り値よりも絞りを絞った値である第2の絞り値に設定して、撮像部200の絞りを制御する。即ち絞りを絞って、被写界深度範囲内に処置具が入るようにする。このようにすれば、撮像範囲内に処置具が含まれていない場合と処置具が含まれている場合の両方において、適正なピントの撮像画像を取得できるようになる。
【0066】
また図10に示すように、本実施形態の処置具は、鉗子やメスのように、例えば内視鏡装置の挿入部102の先端部から出し入れされる器具である。この場合に絞り制御部209は、挿入部102の先端部から処置具(処置具の先端部、代表位置)までの距離情報L1を求め、求められた距離情報L1に応じて撮像部200の絞り201を制御する。例えば撮像範囲内に処置具が含まれていると判定された場合に、撮像部200の被写界深度範囲内に処置具が入るように、距離情報L1に応じて撮像部200の絞り201を制御する。具体的には図10において、距離情報L1を求め、被写界深度範囲H内に処置具(処置具の先端部)が入るように、距離情報L1に基づき絞り201を制御する。例えばL1が長い場合には、被写界深度範囲Hをそれほど拡大する必要がないため、絞り201の絞り度合いを少なくする。一方、L1が短い場合には、被写界深度範囲Hを大きく拡大する必要があるため、絞り201の絞り度合いを大きくする。
【0067】
また図3に示すように本実施形態の制御装置100は、画像の明るさを調整する明るさ制御部213を含む。そして画像取得部(A/D変換部)204は、絞り制御部209によって絞り201が絞られた後の撮像部200が、撮像範囲を撮像した画像を、絞り制御後画像として取得する。すると明るさ制御部213は、撮像範囲内に処置具が含まれていると判定され、絞り制御部209により撮像部200の絞り201が絞られた場合に、絞り制御後画像の明るさを調整する。具体的には明るさ制御部213は、撮像範囲内に処置具が含まれていると判定され、絞り制御部209により撮像部200の絞り201が絞られた場合に、絞り制御後画像の明るさを大きくする。
【0068】
例えば図11(A)において、絞り制御前画像IM1において処置具が検出されたとする。この場合には図2に示すように撮像部200の絞り201が絞られる制御が行われ、絞り201が絞られた後の撮像部200が、撮像範囲を撮像した画像が、絞り制御後画像IM2として取得される。この場合に明るさ制御部213は、絞り制御後画像IM2の明るさが大きくなるような制御を行う。
【0069】
具体的には図3に示すように制御装置100は、被検体101に対して光を照射する光源部104を含む。そして図11(A)に示すように、明るさ制御部213は、絞り制御部209により絞りが絞られた撮像部200による撮像の際に、被検体101に照射される光源部104からの光量を増加させる制御を行う。これにより、絞り制御後画像IM2の明るさを大きくする制御が実現される。
【0070】
また制御装置100は、設定されたゲイン値に基づいて画像信号のゲイン調整を行うゲイン調整部205を含む。そして図11(B)に示すように、明るさ制御部213は、絞り制御後画像IM2の信号値(IM2の各画素の画素値)を増加させるゲイン調整を、ゲイン調整部205に対して指示する。これにより、ゲイン調整部205が、絞り制御後画像IM2の信号値にゲイン値を乗算する処理を行うようになり、絞り制御後画像IM2の明るさを大きくする制御が実現される。
【0071】
そしてノイズ低減部206は、ゲイン値に基づきゲイン調整が行われた絞り制御後画像IM2に対して、ノイズ低減処理を施す。具体的には例えば図7(B)、図7(D)に示すようなフィルタによる平滑化処理により、ノイズ低減処理を実現する。こうすることで、ゲイン値の乗算処理により増幅されたノイズ成分を十分に抑制したノイズ低減処理が実現される。
【0072】
また明るさ制御部213は、ゲイン値に基づくゲイン調整による明るさ調整よりも光源部104の光量の増加による明るさ調整が優先される、絞り制御後画像の明るさ調整を行うことが望ましい。即ち、まずは光量増加による明るさ調整を適用し、それでも足りない場合に、ゲイン調整による明るさ調整を適用する。こうすることで、ノイズ増加を伴うゲイン調整による明るさ調整よりも、光量増加による明るさ調整が優先的に適用されるため、ノイズ増加による画質の劣化を、より抑制できるようになる。
【0073】
具体的には明るさ制御部213は、光源部104の光量の増加による絞り制御後画像IM2の明るさが、所与の明るさに達しない場合、或いは光源部104の光量の増加による絞り制御後画像IM2の明るさ調整ができない場合に、絞り制御後画像IM2の信号値を増加させるゲイン調整をゲイン調整部205に指示する。
【0074】
例えば図12(A)では、絞り201を絞ることで画像の明るさが小さくなるが、この場合に、まず光量増加による明るさ調整を優先的に適用して、画像を明るくする。そして、光量増加による明るさ調整によっては、絞り制御後画像IM2の明るさが絞り制御前画像IM1の明るさに達しない場合には、ゲイン調整による明るさ調整を行う。こうすることで、光量増加による明るさ調整で足りない分を、ゲイン調整による明るさ調整で補うことが可能になる。
【0075】
また図12(B)では、絞り201を絞ることで画像の明るさが小さくなった時に、光量増加による明るさ調整ができない状況になっている。このような場合には、絞り制御後画像IM2の信号値を増加させるゲイン調整をゲイン調整部205に指示する。こうすることで、光量増加による調整ができない場合にも、ゲイン調整部205のゲイン調整により、絞り制御後画像IM2の明るさを絞り制御前画像IM1の明るさに近づける明るさ調整が可能になる。
【0076】
なお図12(A)、図12(B)に示すように、明るさ制御部213は、絞り制御後画像IM2の明るさが絞り制御前画像IM1(絞りが絞られた前の撮像部が撮像範囲を撮像した画像)の明るさに近づくように、絞り制御後画像IM2の明るさを調整する。例えば絞り制御後画像IM2の明るさが絞り制御前画像IM1の明るさと同じになるように明るさ調整を行う。このようにすることで、処置具の検出により絞り201が絞られた場合にも、絞り201が絞られることにより画像が暗くなるのを抑止できる。
【0077】
また、処置具が、内視鏡装置の挿入部102の処置具挿入部105に挿入されて、挿入部102の先端部から出し入れされる器具である場合に、処置具有無判定部212は、処置具挿入部105に処置具が挿入されたか否かを判定することで、撮像範囲内に処置具が含まれているか否かを判定する。具体的には処置具有無判定部212は、処置具挿入部105に設けられた検出センサ106により処置具が挿入されたことが検出された場合に、処置具挿入部105に処置具が挿入されたと判定する。
【0078】
或いは、受け付け部(外部I/F部)211が、処置具挿入部105への処置具の挿入についてのユーザーからの指示を受け付ける。例えばユーザーが受け付け部211を介して所定の操作を行うことで、処置具挿入部105に処置具を挿入したことが指示される。そして処置具有無判定部212は、受け付け部211が上記の指示を受け付けた場合に、処置具挿入部105に処置具が挿入されたと判定する。
【0079】
或いは図8、図9で説明したように、処置具有無判定部212は、撮像部200により撮像された撮像範囲の画像に基づいて、撮像範囲内に処置具が含まれているか否かを判定してもよい。例えば撮像部200の撮像画像に対して、処置具に対応するテンプレート画像とのマッチング処理を行うことで、撮像範囲内に処置具が含まれているか否かを判定する。このようにすれば、検出センサを設けなくも、撮像画像を利用して、処置具の有無を判定できるようになる。
【0080】
3.第2の構成例
図13に本実施形態の第2の構成例を示す。第2の構成例の内視鏡装置は、制御装置100と挿入部102を含む。挿入部102は、撮像部200、ライトガイド103、処置具挿入部105、検出センサ106を含む。制御装置100は、A/D変換部204、ゲイン調整部205、ノイズ低減部206、画像処理部207、表示部208、絞り制御部209、制御部210、外部I/F部211、処置具有無判定部212、明るさ制御部213、記憶部214、焦点位置制御部215、距離推定部216、観察倍率制御部217、コントラスト算出部218、光源部104を含む。
【0081】
A/D変換部204は、ゲイン調整部205、ノイズ低減部206、画像処理部207を介して表示部208に接続される。検出センサ106は処置具有無判定部212に接続される。処置具有無判定部212は、明るさ制御部213を介して光源部104に接続される。また処置具有無判定部212は、絞り制御部209を介して絞り201に接続される。処置具有無判定部212は、更に焦点位置制御部215を介してレンズ系202に接続される。記憶部214は、絞り制御部209に接続される。焦点位置制御部215は、距離推定部216を介して絞り制御部209に接続される。観察倍率制御部217は、焦点位置制御部215に接続される。画像処理部207は、コントラスト算出部218を介して、焦点位置制御部215に接続される。制御部210は、A/D変換部204、ゲイン調整部205、ノイズ低減部206、画像処理部207、表示部208、絞り制御部209、外部I/F部211、処置具有無判定部212、明るさ制御部213、記憶部214、焦点位置制御部215、距離推定部216、観察倍率制御部217、及びコントラスト算出部218に双方向に接続される。
【0082】
図13の第2の構成例において、図3の第1の構成例と同じ構成に関する内容を省略し、異なる部分のみを説明する。
【0083】
第2の構成例は、オートフォーカス機能或いはマニュアルフォーカス機能などの焦点位置調整機能を有する内視鏡装置への適用例である。
【0084】
体腔内の臓器の診察時において診断精度を高めるためには、通常観察以外にも拡大観察が可能な対物光学系を備える内視鏡装置が望ましい。具体的には、図14(A)に示す通常観察時において、まず病変部らしい部位を特定する。この通常観察は、被写界深度が拡大されたパンフォーカス状態で行われる。例えば図5(A)のように、撮像素子203の分解能K・Pをエアリーディスク径dよりも、わざと大きくして、ピントは若干ぼけるものの、被写界深度範囲については拡大した状態にする。こうすることで、医者は、広い被写界深度範囲で被検体101の観察が可能になる。
【0085】
次に、図14(B)の拡大観察時において、内視鏡装置の挿入部102の先端部を病変部に接近させると同時に、外部I/F部211等から、制御部210の制御に基づき、観察倍率制御部217に拡大倍率情報を転送する。観察倍率制御部217は、焦点位置制御部215を介して、レンズ系202を調整して拡大観察に切り替える。医者は、特定部位に挿入部102を接近させ、拡大観察により精密に診察し、その場で病変部を除去するか、或いは生検を行うかどうかを決定する。
【0086】
一般的に、病変部において、細い血管やピットパターンなど微細構造がたくさん含まれるため、しっかりとピントを合わせないと、撮像画像はぼけて見えてしまう。また内視鏡装置の拡大観察では、例えば数十倍〜数百倍の倍率で行うことで、染色散布や、狭帯域照明光による血管強調画像(NBI画像とも呼ぶ)との併用により、粘膜表層の微細な構造や血管走行のパターンを観察することができる。しかし、このような拡大観察を行なうと、高倍率になるにつれ被写界深度は通常観察時に比べて極端に狭くなる。また生体は静止していることはほとんどなく、常に微妙に動いている。従って、被検体101に対する挿入部102(スコープ、撮像部)の先端位置を合焦範囲内に保持させ続けることは難しく、常に合焦した状態の画像を観察し続けるにはかなりの熟練を要する。このような拡大観察時の合焦に伴うスコープ位置合わせの作業時間が増加すると、全体の診断時間が長時間に及んでしまう。この結果、医者の疲労と共に患者の負担も大きくなるという課題が発生する。
【0087】
このため図13の第2の構成例では、オートフォーカス機能やマニュアルフォーカス機能などの焦点位置調整機能を内視鏡装置に持たせている。これにより、焦点位置を調整して注目領域にピントを合わせることが可能になり、高倍率の拡大観察時においても、ぼけの少ない撮像画像を取得することが可能になる。
【0088】
例えば本実施形態では、時系列的に連続撮像された画像のコントラストを算出して合焦位置を推定する公知の手法を用いる。具体的にはコントラスト算出部218が、制御部210の制御に基づき、画像処理部207からの画像信号を用いて、コントラスト値(評価値)を算出する。
【0089】
図15に、コントラスト値に基づく合焦位置調整手法の一例を示す。具体的には、時刻t0において、時系列に連続撮像した3枚の画像S1(撮像時刻t0−2・T)、S2(撮像時刻t0−T)、S3(撮像時刻t0)に対して、下式(1)によりそれぞれのコントラスト値を算出する。
【0090】
C=(Imax・Imin)/(Imax+Imin) ・・・・(1)
但し、Cはコントラスト値、Imaxは画像信号の最大値、Iminは画像信号の最小値である。
【0091】
算出された3つのコントラスト値は図15のC1、C2、C3に対応している。そして、これらのコントラスト値から合焦位置を推定することができる。
【0092】
なお、ユーザーが外部I/F部211から、制御部210の制御に基づき、手動で焦点位置制御部216を介してレンズ系202の位置を調整して、ピントを合わせることも可能である。
【0093】
以上のような拡大観察においては被写界深度範囲は非常に狭くなる。このため、ピントの芯の前後領域はぼけてしまう可能性がある。従って、処置具が挿入された場合には、処置具もぼけて見える可能性が高い。
【0094】
これを改善するために、本実施形態では、処置具が検出された場合に、焦点位置制御部215は、制御部210の制御に基づき、レンズ系202の焦点位置調整をロックして、絞り201を絞って被写界深度範囲を拡大する。距離推定部216は、このように焦点位置調整がロックした状態では、拡大観察の対象となる注目領域がピントの芯に対応するため、注目領域までの距離情報を推定できるようになる。例えば、焦点位置制御部215での焦点位置調整情報から、図10の挿入部102の先端部から被検体101までの距離情報L2を推定できる。そして推定された距離情報L2に基づき、被写界深度範囲H内に処置具が入るように、絞り201を絞る制御を行う。具体的には、検出センサ106からの検出情報に基づいて、挿入部102の先端部から処置具(処置具の先端部)までの距離情報L1を求める。そして、求められた距離情報L1と推定された距離情報L2に基づいて、処置具から被検体101までの距離情報を求めることができるため、処置具を被写界深度範囲H内に入れる絞り制御が可能になる。
【0095】
一方、処置具が検出されていない場合には、レンズ系202の焦点位置のロック状態を開放して、オートフォーカスやマニュアルフォーカスが可能な通常状態に戻す。
【0096】
以上のように本実施形態では、処置具が挿入されたことが検知されると、絞り201が絞られる。これにより、ピントの芯は回折限界の影響で甘くなる代わりに、被写界深度範囲が拡大することで、本来ぼけて見える処置具もほぼピントが合ったように撮像されるようになる。一方、処置具が検出されていない場合には、絞り201を開けることで、被写界深度範囲は狭くなるが、ピントの芯の解像力などの画質を向上させることが可能となる。
【0097】
図16は第2の構成例の動作を説明するためのフローチャートである。まず、拡大観察状態か否かを判断する(ステップS1)。即ち図14(A)に示すパンフォーカスによる通常観察状態なのか、図14(B)に示す拡大観察状態なのかを判断する。そして拡大観察状態である場合には、オートフォーカス等による焦点位置調整を行う(ステップS2)。このような焦点位置調整を行うことで、例えば高倍率の拡大観察において、生体が微妙に動いている場合にも、被検体101に合焦させることが可能になり、ピントの合った被検体101の画像を取得できるようになる。
【0098】
次に、撮像部200の撮像範囲内において処置具が検出されたか否かを判断する(ステップS3)。そして処置具が検出された場合には、ステップS2で開始した焦点位置調整をロックする(ステップS4)。こうすることで、被検体101にピントを合わせた状態で絞り制御を行うことが可能になる。また、例えばオートフォーカス等による焦点位置調整がロックされないと、絞り制御が行われることで焦点位置調整が誤動作してしまうおそれもあるが、焦点位置調整をロックすることで、このような事態を防止できる。
【0099】
次に、挿入部102の先端部から合焦領域までの距離情報を推定する(ステップS5)。例えば焦点位置調整情報から図10の距離情報L2を推定する。そして推定された距離情報に基づいて、被写界深度範囲内に処置具が入るように絞りを制御する(ステップS6)。例えば図10のL1、L2に基づいて、処置具と被検体101との距離情報を求め、この距離情報から、処置具が被写界深度範囲H内に入る絞り値を特定し、特定された絞り値になるように絞り201を制御する。こうすることで、被検体101及び処置具の双方がピントが合った画像を取得できるようになる。
【0100】
以上のように本実施形態の制御装置100は、図13に示すように撮像部200の焦点位置を調整する制御を行う焦点位置制御部215を含む。
【0101】
このような焦点位置制御部215を設けることで、被検体101に焦点位置を合焦させる制御が行われ、ピントの合った画像を取得できるようになるため、医者等のユーザーの作業負担を軽減できる。
【0102】
また本実施形態の制御装置100は、撮像部200による被検体101の撮像の観察倍率を制御する観察倍率制御部217を含む。そして焦点位置制御部215は、観察倍率制御部217による観察倍率の制御により観察状態が拡大観察状態に設定された場合に、被検体に焦点位置を合焦させる焦点位置調整を行う。
【0103】
このようにすれば、図14(B)に示すような拡大観察状態において、焦点位置制御部215により焦点位置が制御されて、被検体101にピントを合わせる合焦制御が行われるようになる。従って、例えば微妙に動く生体を対象として、高倍率の拡大観察を行った場合にも、ぼけの少ない被検体101の画像を取得して表示できるようになる。
【0104】
また図16のステップS4で説明したように、焦点位置制御部215は、撮像範囲内に処置具が含まれていると処置具有無判定部212により判定された場合に、焦点位置調整をロックする。
【0105】
このように焦点位置調整をロックすることで、被検体101に焦点位置を合焦させた状態で、絞り制御等を行うことが可能になると共に、焦点位置調整の誤動作の発生も抑止できる。
【0106】
また絞り制御部209は、焦点位置制御部215による焦点位置調整がロックされた状態で、撮像部200の被写界深度範囲内に処置具が入るように被写界深度範囲を拡大する絞り制御を行う。
【0107】
このようにすれば、焦点位置調整の誤動作の発生を抑止しながら、被検体101と処置具の双方が被写界深度範囲内に収められた好適な撮像画像を取得できるようになる。
【0108】
また処置具が、内視鏡装置の挿入部102の先端部から出し入れされる器具である場合に、図16のステップS5に示すように距離推定部216は、挿入部102の先端部から合焦領域までの距離情報を推定する。そしてステップS6に示すように絞り制御部209は、推定された距離情報に基づいて、撮像部200の被写界深度範囲内に処置具が入るように被写界深度範囲を拡大する絞り制御を行う。
【0109】
即ち、図10の距離情報L2を推定して、この距離情報L2等に基づいて、処置具が被写界深度範囲内に入るように絞り制御が行われる。こうすることで、被写界深度範囲内に処置具を収める絞り制御を、より高い精度で実現することが可能になる。
【0110】
以上のように本実施形態について詳細に説明したが、本発明の新規事項及び効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また制御装置、内視鏡システムの構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。
【符号の説明】
【0111】
100 制御装置、101 被検体、102 挿入部、103 ライトガイド、
104 光源部、105 処置具挿入部、106 検出センサ、107 鉗子、
200 撮像部、201 絞り、202 レンズ系、203 撮像素子、
204 A/D変換部(画像取得部)、205 ゲイン調整部(AGC)、
206 ノイズ低減部、207 画像処理部、208 表示部、209 絞り制御部、
210 制御部、211 外部I/F部(受け付け部)、212 処置具有無判定部、
213 明るさ制御部、214 記憶部(ROM)、215 焦点位置制御部、
216 距離推定部、217 観察倍率制御部、218 コントラスト算出部
【特許請求の範囲】
【請求項1】
被検体を撮像する撮像部からの撮像画像を取得する画像取得部と、
前記撮像部の撮像範囲内に、前記被検体に対して処置を施すための処置具が含まれているか否かを判定する処置具有無判定部と、
前記撮像範囲内に前記処置具が含まれているか否かについての判定結果に基づいて、前記撮像部の絞り制御を行う絞り制御部と、
を含むことを特徴とする制御装置。
【請求項2】
請求項1において、
前記絞り制御部は、
前記撮像範囲内に前記処置具が含まれていると前記処置具有無判定部により判定された場合に、前記撮像部の絞りを絞ることを特徴とする制御装置。
【請求項3】
請求項2において、
前記絞り制御部は、
前記撮像範囲内に前記処置具が含まれていると判定された場合に、前記撮像部の被写界深度範囲内に前記処置具が入るように前記被写界深度範囲を拡大する絞り制御を行うことを特徴とする制御装置。
【請求項4】
請求項2において、
前記絞り制御部は、
前記撮像範囲内に前記処置具が含まれていないと判定された場合には、前記撮像部の絞り値を第1の絞り値に設定し、
前記撮像範囲内に前記処置具が含まれていると判定された場合には、前記撮像部の絞り値を、前記第1の絞り値よりも絞りを絞った値である第2の絞り値に設定することを特徴とする制御装置。
【請求項5】
請求項4において、
前記絞り制御部は、
前記撮像範囲内に前記処置具が含まれていないと判定された場合に、前記撮像部の絞りによる回折限界が現れない絞り値を、前記第1の絞り値として設定することを特徴とする制御装置。
【請求項6】
請求項4において、
前記第1の絞り値を記憶する記憶部を含み、
前記絞り制御部は、
前記撮像範囲内に前記処置具が含まれていないと判定された場合には、前記記憶部から前記第1の絞り値を読み出し、前記撮像部の絞り値を前記第1の絞り値に設定して、前記撮像部の絞りを制御し、
前記撮像範囲内に前記処置具が含まれていると判定された場合には、前記撮像部の絞り値を、前記第1の絞り値よりも絞りを絞った値である前記第2の絞り値に設定して、前記撮像部の絞りを制御することを特徴とする制御装置。
【請求項7】
請求項1において、
前記処置具は、内視鏡装置の挿入部の先端部から出し入れされる器具であり、
前記絞り制御部は、
前記挿入部の先端部から前記処置具までの距離情報を求め、求められた前記距離情報に応じて前記撮像部の絞りを制御することを特徴とする制御装置。
【請求項8】
請求項7において、
前記絞り制御部は、
前記撮像範囲内に前記処置具が含まれていると判定された場合に、前記撮像部の被写界深度範囲内に前記処置具が入るように、前記距離情報に応じて前記撮像部の絞りを制御することを特徴とする制御装置。
【請求項9】
請求項1において、
画像の明るさを調整する明るさ制御部を含み、
前記画像取得部は、
前記絞り制御部によって絞りが絞られた後の前記撮像部が、前記撮像範囲を撮像した画像を、絞り制御後画像として取得し、
前記明るさ制御部は、
前記撮像範囲内に前記処置具が含まれていると判定され、前記絞り制御部により前記撮像部の絞りが絞られた場合に、前記絞り制御後画像の明るさを調整することを特徴とする制御装置。
【請求項10】
請求項9において、
前記明るさ制御部は、
前記撮像範囲内に前記処置具が含まれていると判定され、前記絞り制御部により前記撮像部の絞りが絞られた場合に、前記絞り制御後画像の明るさを大きくすることを特徴とする制御装置。
【請求項11】
請求項10において、
前記被検体に対して光を照射する光源部を含み、
前記明るさ制御部は、
前記絞り制御部により絞りが絞られた前記撮像部による撮像の際に、前記被検体に照射される前記光源部からの光量を増加させる制御を行うことで、前記絞り制御後画像の明るさを大きくすることを特徴とする制御装置。
【請求項12】
請求項10において、
設定されたゲイン値に基づいて画像信号のゲイン調整を行うゲイン調整部を含み、
前記明るさ制御部は、
前記絞り制御後画像の信号値を増加させるゲイン調整を、前記ゲイン調整部に対して指示することで、前記絞り制御後画像の明るさを大きくすることを特徴とする制御装置。
【請求項13】
請求項12において、
前記ゲイン値に基づきゲイン調整が行われた前記絞り制御後画像に対して、ノイズ低減処理を施すノイズ低減部を含むことを特徴とする制御装置。
【請求項14】
請求項11において、
設定されたゲイン値に基づいて画像信号のゲイン調整を行うゲイン調整部を含み、
前記明るさ制御部は、
前記ゲイン値に基づくゲイン調整による明るさ調整よりも前記光源部の光量の増加による明るさ調整が優先される、前記絞り制御後画像の明るさ調整を行うことを特徴とする制御装置。
【請求項15】
請求項14において、
前記明るさ制御部は、
前記光源部の光量の増加による前記絞り制御後画像の明るさが、所与の明るさに達しない場合、或いは前記光源部の光量の増加による前記絞り制御後画像の明るさ調整ができない場合に、前記絞り制御後画像の信号値を増加させるゲイン調整を前記ゲイン調整部に指示することを特徴とする制御装置。
【請求項16】
請求項9において、
前記画像取得部は、
前記絞り制御部によって絞りが絞られた前の前記撮像部が、前記撮像範囲を撮像した画像を、絞り制御前画像として取得し、
前記明るさ制御部は、
前記絞り制御後画像の明るさが前記絞り制御前画像の明るさに近づくように、前記絞り制御後画像の明るさを調整することを特徴とする制御装置。
【請求項17】
請求項1において、
前記処置具は、内視鏡装置の挿入部の処置具挿入部に挿入されて、前記挿入部の先端部から出し入れされる器具であり、
前記処置具有無判定部は、
前記処置具挿入部に前記処置具が挿入されたか否かを判定することで、前記撮像範囲内に前記処置具が含まれているか否かを判定することを特徴とする制御装置。
【請求項18】
請求項17において、
前記処置具有無判定部は、
前記処置具挿入部に設けられた検出センサにより前記処置具が挿入されたことが検出された場合に、前記処置具挿入部に前記処置具が挿入されたと判定することを特徴とする制御装置。
【請求項19】
請求項17において、
前記処置具挿入部への前記処置具の挿入についてのユーザーからの指示を受け付ける受け付け部を含み、
前記処置具有無判定部は、
前記受け付け部が前記指示を受け付けた場合に、前記処置具挿入部に前記処置具が挿入されたと判定することを特徴とする制御装置。
【請求項20】
請求項1において、
前記処置具有無判定部は、
前記撮像部により撮像された前記撮像範囲の画像に基づいて、前記撮像範囲内に前記処置具が含まれているか否かを判定することを特徴とする制御装置。
【請求項21】
請求項1において、
前記撮像部の焦点位置を調整する制御を行う焦点位置制御部を含むことを特徴とする制御装置。
【請求項22】
請求項21において、
前記撮像部による前記被検体の撮像の観察倍率を制御する観察倍率制御部を含み、
前記焦点位置制御部は、
前記観察倍率制御部による観察倍率の制御により観察状態が拡大観察状態に設定された場合に、前記被検体に焦点位置を合焦させる焦点位置調整を行うこと特徴とする制御装置。
【請求項23】
請求項21において、
前記焦点位置制御部は、
前記撮像範囲内に前記処置具が含まれていると前記処置具有無判定部により判定された場合に、焦点位置調整をロックすることを特徴とする制御装置。
【請求項24】
請求項23において、
前記絞り制御部は、
前記焦点位置制御部による焦点位置調整がロックされた状態で、前記撮像部の被写界深度範囲内に前記処置具が入るように前記被写界深度範囲を拡大する絞り制御を行うことを特徴とする制御装置。
【請求項25】
請求項24において、
前記処置具は、内視鏡装置の挿入部の先端部から出し入れされる器具であり、
前記内視鏡装置の前記挿入部の先端部から合焦領域までの距離情報を推定する距離推定部を含み、
前記絞り制御部は、
推定された前記距離情報に基づいて、前記撮像部の被写界深度範囲内に前記処置具が入るように前記被写界深度範囲を拡大する絞り制御を行うことを特徴とする制御装置。
【請求項26】
被検体を撮像する撮像部と、
前記撮像部からの撮像画像を取得する画像取得部と、
前記撮像部の撮像範囲内に、前記被検体に対して処置を施すための処置具が含まれているか否かを判定する処置具有無判定部と、
前記撮像範囲内に前記処置具が含まれているか否かについての判定結果に基づいて、前記撮像部の絞り制御を行う絞り制御部と、
を含むことを特徴とする内視鏡装置。
【請求項27】
被検体を撮像する撮像部からの撮像画像を取得し、
前記撮像部の撮像範囲内に、前記被検体に対して処置を施すための処置具が含まれているか否かを判定し、
前記撮像範囲内に前記処置具が含まれているか否かについての判定結果に基づいて、前記撮像部の絞り制御することを特徴とする絞り制御方法。
【請求項1】
被検体を撮像する撮像部からの撮像画像を取得する画像取得部と、
前記撮像部の撮像範囲内に、前記被検体に対して処置を施すための処置具が含まれているか否かを判定する処置具有無判定部と、
前記撮像範囲内に前記処置具が含まれているか否かについての判定結果に基づいて、前記撮像部の絞り制御を行う絞り制御部と、
を含むことを特徴とする制御装置。
【請求項2】
請求項1において、
前記絞り制御部は、
前記撮像範囲内に前記処置具が含まれていると前記処置具有無判定部により判定された場合に、前記撮像部の絞りを絞ることを特徴とする制御装置。
【請求項3】
請求項2において、
前記絞り制御部は、
前記撮像範囲内に前記処置具が含まれていると判定された場合に、前記撮像部の被写界深度範囲内に前記処置具が入るように前記被写界深度範囲を拡大する絞り制御を行うことを特徴とする制御装置。
【請求項4】
請求項2において、
前記絞り制御部は、
前記撮像範囲内に前記処置具が含まれていないと判定された場合には、前記撮像部の絞り値を第1の絞り値に設定し、
前記撮像範囲内に前記処置具が含まれていると判定された場合には、前記撮像部の絞り値を、前記第1の絞り値よりも絞りを絞った値である第2の絞り値に設定することを特徴とする制御装置。
【請求項5】
請求項4において、
前記絞り制御部は、
前記撮像範囲内に前記処置具が含まれていないと判定された場合に、前記撮像部の絞りによる回折限界が現れない絞り値を、前記第1の絞り値として設定することを特徴とする制御装置。
【請求項6】
請求項4において、
前記第1の絞り値を記憶する記憶部を含み、
前記絞り制御部は、
前記撮像範囲内に前記処置具が含まれていないと判定された場合には、前記記憶部から前記第1の絞り値を読み出し、前記撮像部の絞り値を前記第1の絞り値に設定して、前記撮像部の絞りを制御し、
前記撮像範囲内に前記処置具が含まれていると判定された場合には、前記撮像部の絞り値を、前記第1の絞り値よりも絞りを絞った値である前記第2の絞り値に設定して、前記撮像部の絞りを制御することを特徴とする制御装置。
【請求項7】
請求項1において、
前記処置具は、内視鏡装置の挿入部の先端部から出し入れされる器具であり、
前記絞り制御部は、
前記挿入部の先端部から前記処置具までの距離情報を求め、求められた前記距離情報に応じて前記撮像部の絞りを制御することを特徴とする制御装置。
【請求項8】
請求項7において、
前記絞り制御部は、
前記撮像範囲内に前記処置具が含まれていると判定された場合に、前記撮像部の被写界深度範囲内に前記処置具が入るように、前記距離情報に応じて前記撮像部の絞りを制御することを特徴とする制御装置。
【請求項9】
請求項1において、
画像の明るさを調整する明るさ制御部を含み、
前記画像取得部は、
前記絞り制御部によって絞りが絞られた後の前記撮像部が、前記撮像範囲を撮像した画像を、絞り制御後画像として取得し、
前記明るさ制御部は、
前記撮像範囲内に前記処置具が含まれていると判定され、前記絞り制御部により前記撮像部の絞りが絞られた場合に、前記絞り制御後画像の明るさを調整することを特徴とする制御装置。
【請求項10】
請求項9において、
前記明るさ制御部は、
前記撮像範囲内に前記処置具が含まれていると判定され、前記絞り制御部により前記撮像部の絞りが絞られた場合に、前記絞り制御後画像の明るさを大きくすることを特徴とする制御装置。
【請求項11】
請求項10において、
前記被検体に対して光を照射する光源部を含み、
前記明るさ制御部は、
前記絞り制御部により絞りが絞られた前記撮像部による撮像の際に、前記被検体に照射される前記光源部からの光量を増加させる制御を行うことで、前記絞り制御後画像の明るさを大きくすることを特徴とする制御装置。
【請求項12】
請求項10において、
設定されたゲイン値に基づいて画像信号のゲイン調整を行うゲイン調整部を含み、
前記明るさ制御部は、
前記絞り制御後画像の信号値を増加させるゲイン調整を、前記ゲイン調整部に対して指示することで、前記絞り制御後画像の明るさを大きくすることを特徴とする制御装置。
【請求項13】
請求項12において、
前記ゲイン値に基づきゲイン調整が行われた前記絞り制御後画像に対して、ノイズ低減処理を施すノイズ低減部を含むことを特徴とする制御装置。
【請求項14】
請求項11において、
設定されたゲイン値に基づいて画像信号のゲイン調整を行うゲイン調整部を含み、
前記明るさ制御部は、
前記ゲイン値に基づくゲイン調整による明るさ調整よりも前記光源部の光量の増加による明るさ調整が優先される、前記絞り制御後画像の明るさ調整を行うことを特徴とする制御装置。
【請求項15】
請求項14において、
前記明るさ制御部は、
前記光源部の光量の増加による前記絞り制御後画像の明るさが、所与の明るさに達しない場合、或いは前記光源部の光量の増加による前記絞り制御後画像の明るさ調整ができない場合に、前記絞り制御後画像の信号値を増加させるゲイン調整を前記ゲイン調整部に指示することを特徴とする制御装置。
【請求項16】
請求項9において、
前記画像取得部は、
前記絞り制御部によって絞りが絞られた前の前記撮像部が、前記撮像範囲を撮像した画像を、絞り制御前画像として取得し、
前記明るさ制御部は、
前記絞り制御後画像の明るさが前記絞り制御前画像の明るさに近づくように、前記絞り制御後画像の明るさを調整することを特徴とする制御装置。
【請求項17】
請求項1において、
前記処置具は、内視鏡装置の挿入部の処置具挿入部に挿入されて、前記挿入部の先端部から出し入れされる器具であり、
前記処置具有無判定部は、
前記処置具挿入部に前記処置具が挿入されたか否かを判定することで、前記撮像範囲内に前記処置具が含まれているか否かを判定することを特徴とする制御装置。
【請求項18】
請求項17において、
前記処置具有無判定部は、
前記処置具挿入部に設けられた検出センサにより前記処置具が挿入されたことが検出された場合に、前記処置具挿入部に前記処置具が挿入されたと判定することを特徴とする制御装置。
【請求項19】
請求項17において、
前記処置具挿入部への前記処置具の挿入についてのユーザーからの指示を受け付ける受け付け部を含み、
前記処置具有無判定部は、
前記受け付け部が前記指示を受け付けた場合に、前記処置具挿入部に前記処置具が挿入されたと判定することを特徴とする制御装置。
【請求項20】
請求項1において、
前記処置具有無判定部は、
前記撮像部により撮像された前記撮像範囲の画像に基づいて、前記撮像範囲内に前記処置具が含まれているか否かを判定することを特徴とする制御装置。
【請求項21】
請求項1において、
前記撮像部の焦点位置を調整する制御を行う焦点位置制御部を含むことを特徴とする制御装置。
【請求項22】
請求項21において、
前記撮像部による前記被検体の撮像の観察倍率を制御する観察倍率制御部を含み、
前記焦点位置制御部は、
前記観察倍率制御部による観察倍率の制御により観察状態が拡大観察状態に設定された場合に、前記被検体に焦点位置を合焦させる焦点位置調整を行うこと特徴とする制御装置。
【請求項23】
請求項21において、
前記焦点位置制御部は、
前記撮像範囲内に前記処置具が含まれていると前記処置具有無判定部により判定された場合に、焦点位置調整をロックすることを特徴とする制御装置。
【請求項24】
請求項23において、
前記絞り制御部は、
前記焦点位置制御部による焦点位置調整がロックされた状態で、前記撮像部の被写界深度範囲内に前記処置具が入るように前記被写界深度範囲を拡大する絞り制御を行うことを特徴とする制御装置。
【請求項25】
請求項24において、
前記処置具は、内視鏡装置の挿入部の先端部から出し入れされる器具であり、
前記内視鏡装置の前記挿入部の先端部から合焦領域までの距離情報を推定する距離推定部を含み、
前記絞り制御部は、
推定された前記距離情報に基づいて、前記撮像部の被写界深度範囲内に前記処置具が入るように前記被写界深度範囲を拡大する絞り制御を行うことを特徴とする制御装置。
【請求項26】
被検体を撮像する撮像部と、
前記撮像部からの撮像画像を取得する画像取得部と、
前記撮像部の撮像範囲内に、前記被検体に対して処置を施すための処置具が含まれているか否かを判定する処置具有無判定部と、
前記撮像範囲内に前記処置具が含まれているか否かについての判定結果に基づいて、前記撮像部の絞り制御を行う絞り制御部と、
を含むことを特徴とする内視鏡装置。
【請求項27】
被検体を撮像する撮像部からの撮像画像を取得し、
前記撮像部の撮像範囲内に、前記被検体に対して処置を施すための処置具が含まれているか否かを判定し、
前記撮像範囲内に前記処置具が含まれているか否かについての判定結果に基づいて、前記撮像部の絞り制御することを特徴とする絞り制御方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【公開番号】特開2012−120618(P2012−120618A)
【公開日】平成24年6月28日(2012.6.28)
【国際特許分類】
【出願番号】特願2010−272389(P2010−272389)
【出願日】平成22年12月7日(2010.12.7)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】
【公開日】平成24年6月28日(2012.6.28)
【国際特許分類】
【出願日】平成22年12月7日(2010.12.7)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】
[ Back to top ]