説明

内視鏡システム、撮像装置及び制御方法

【課題】 回折限界の影響を考慮した上で、撮像素子が持つ解像度の画像も撮像でき、被写界深度幅を広くすることもできる内視鏡システム、制御方法、撮像装置等の提供。
【解決手段】 内視鏡システムは、光学系と撮像素子を有する撮像部200と、観察モードを設定する観察モード設定部304と、観察モードに基づいて、絞り状態を選択制御する絞り制御部204と、撮像部200により撮像された撮像画像に対して画像処理を施す画像処理部301と、を含み、絞り制御部204は、第1の観察モードである場合は、光学系の絞りによる回折限界により決まる解像度が、撮像素子により決まる解像度に比べて低くなる第1の絞り状態を選択し、第2の観察モードである場合は、光学系の絞りによる回折限界により決まる解像度が、前記撮像素子により決まる解像度と同等以上になる第2の絞り状態を選択する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、内視鏡システム、撮像装置及び制御方法等に関する。
【背景技術】
【0002】
内視鏡のような撮像装置においては、ドクターの診断に支障をきたさないようにするために、体腔内で撮像される画像はパンフォーカスの画像が求められる。このため、内視鏡では比較的絞り値(以降、Fナンバーとも記す)が大きい光学系を使用して被写界深度を深くすることでこのような性能を達成している。
【0003】
一方、近年、内視鏡システムにおいても数十万画素程度の高画素の撮像素子が使用されるようになっている。光学系が一定の場合、その被写界深度は許容錯乱円の大きさによって決定されるが、高画素の撮像素子では画素ピッチと共に許容錯乱円も小さくなるため撮像装置の被写界深度は狭くなる。このような場合には光学系の絞り値を増大させることで被写界深度を維持することが考えられるが、光学系が暗くなりノイズが増加することで画質が劣化する。また、絞り値が大きくなると回折の影響も大きくなり、結像性能が劣化することで撮像素子を高画素化しても高い解像力の画像が得られないという問題が発生する。
【0004】
上記問題を抱える可変絞りを備えた内視鏡システムに対して被写界深度と光量の両立を図る例が特許文献1に示されている。
【0005】
特許文献1は、実用的な被写界深度を得るためにその絞り値の変更に伴い許容錯乱円の大きさを大きく設定し撮像素子の読み出し画素サイズを前記許容錯乱円と同等のサイズに変更する。こうする事で光量を確保したいような暗い被写体の場合に十分な光量を確保しつつ被写界深度も確保する事ができるというものである。
【0006】
また絞り値に基づき変化する解像度の変化を抑える例としては、特許文献2に示されている。この例では光学系の絞り値を小さくした場合は輪郭強調を弱め、光学系の絞り値を大きくした場合は輪郭強調を強める事で、絞り値に依存せずに一定の解像度を得ようというものである。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開平10−225427号公報
【特許文献2】特開平8−181909号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
特許文献1の方法は、蛍光像の観察を前提としたものであり、一般に蛍光像は高い解像度を必要としないのでこの仮定が成り立つ場合には有効な方法となる。しかし白色光照明下では被写界深度と共に解像度が重視されるが、撮像素子の画素ピッチが小さくなると実用的な被写界深度となる許容錯乱円に収める為にFナンバーを大きくしても回折の影響からその錯乱円が前記許容錯乱円以下に収まらず、本来撮像素子が持つ解像度を得る事ができない状態となる。特許文献1の方法はこのような条件ではまったく機能しない。
【0009】
特許文献2の方法は、上記回折の影響が無視できないFナンバーで撮像された撮像画像に対して適用する事である程度の解像度回復は可能であるがそもそも高周波成分に十分なエネルギーを持っていないために、高周波を極端に持ち上げる処理となりノイズが増大してしまうという課題が発生する。
【0010】
本発明の幾つかの態様によれば、回折限界の影響を考慮した上で、撮像素子が持つ解像度の画像も撮像でき、被写界深度幅を広くすることもできる内視鏡システム、制御方法、撮像装置等を提供できる。
【0011】
また、本発明の幾つかの態様によれば、実用的な被写界深度を得る為にFナンバーを大きくすることで回折の影響からその錯乱円が目標とする許容錯乱円以下に収まらない画素ピッチの撮像素子を用いた場合であっても、本来撮像素子が持つ解像度の画像を撮像でき、またノイズを増大させない可変絞りを有する内視鏡システム、制御方法及び撮像装置等を提供できる。
【課題を解決するための手段】
【0012】
本発明の一態様は、光学系と撮像素子を有する撮像部と、被写体の観察モードを設定する観察モード設定部と、前記観察モード設定部によって設定された前記観察モードに基づいて、絞り状態を選択制御する絞り制御部と、前記撮像部により撮像された撮像画像に対して画像処理を施す画像処理部と、を含み、前記絞り制御部は、前記観察モードが第1の観察モードである場合は、前記光学系の絞りによる回折限界により決まる解像度が、前記撮像素子により決まる解像度に比べて低くなる第1の絞り状態を選択し、前記観察モードが第2の観察モードである場合は、前記光学系の絞りによる回折限界により決まる解像度が、前記撮像素子により決まる解像度と同等以上になる第2の絞り状態を選択する内視鏡システムに関係する。
【0013】
本発明の一態様では、観察モードを設定し、第1の観察モードでは第1の絞り状態を選択し、第2の観察モードでは第2の絞り状態を選択する。第1の絞り状態では、光学系の絞りによる回折限界により決まる解像度が、撮像素子により決まる解像度に比べて低くなる。また、第2の絞り状態では、光学系の絞りによる回折限界により決まる解像度が、撮像素子により決まる解像度と同等以上になる。
【0014】
よって、観察モードに応じて絞り状態を適切に決めることができ、絞り状態として、回折限界の影響を強く受け解像度が低くなる状態と、回折限界の影響を受けずに解像度を高く保てる状態とを設定することができる。
【0015】
本発明の他の態様は、被写体の観察モードを設定し、前記観察モードが第1の観察モードである場合は、絞り値として、光学系の絞りによる回折限界により決まる解像度が、撮像素子により決まる解像度よりも低くなる第1の絞り状態を選択し、前記観察モードが第2の観察モードである場合は、前記絞り値として、前記光学系の絞りによる回折限界により決まる解像度が、前記撮像素子により決まる解像度と同等以上になる第2の絞り状態を選択する制御方法に関係する。
【0016】
本発明の他の態様によれば、観察モードに応じて絞り状態を適切に決めることができ、絞り状態として、回折限界の影響を強く受け解像度が低くなる状態と、回折限界の影響を受けずに解像度を高く保てる状態とを設定することができる制御方法を実現できる。
【0017】
本発明の他の態様は、光学系と撮像素子を有する撮像部と、被写体の観察モードを設定する観察モード設定部と、前記観察モード設定部によって設定された前記観察モードに基づいて、絞り値を選択制御する絞り制御部と、を含み、前記絞り制御部は、前記観察モードが第1の観察モードである場合は、前記絞り値として、前記光学系の絞りによる回折限界により決まる解像度が、前記撮像素子により決まる解像度に比べて低くなる第1の絞り状態を選択し、前記観察モードが第2の観察モードである場合は、前記絞り値として、前記光学系の絞りによる回折限界により決まる解像度が、前記撮像素子により決まる解像度と同等以上になる第2の絞り状態を選択する撮像装置に関係する。
【0018】
本発明の他の態様によれば、観察モードに応じて絞り状態を適切に決めることができ、絞り状態として、回折限界の影響を強く受け解像度が低くなる状態と、回折限界の影響を受けずに解像度を高く保てる状態とを設定することができる撮像装置を実現できる。
【図面の簡単な説明】
【0019】
【図1】図1(A)は回折限界を考慮しないときの光の収束の例、図1(B)は回折限界を考慮したときの光の収束の例。
【図2】エアリーディスク径dとFナンバーの値Fの関係図。
【図3】被写界深度の説明図。
【図4】許容錯乱円の大きさK・Pよりもエアリーディスク径dが小さい場合の例。
【図5】図5(A)は被写界深度の遠点の説明図、図5(B)は被写界深度の近点の説明図。
【図6】許容錯乱円の大きさK・Pよりもエアリーディスク径dが大きい場合の例。
【図7】図7(A)は被写界深度の遠点の説明図、図7(B)は被写界深度の近点の説明図。
【図8】第1の観察モードと第2の観察モードの関係図。
【図9】Fナンバーの値Fと許容錯乱円の大きさの関係図。
【図10】被写界深度幅とFナンバーの値Fの関係図。
【図11】被写界深度幅Dを実現するためのFナンバーの値Fの説明図。
【図12】本実施形態のシステム構成例。
【図13】回転色フィルタの構成例。
【図14】色フィルタの分光特性。
【図15】図15(A)は遠景観察モードを選択した場合の絞りと許容錯乱円の説明図。図15(B)は近接観察モードを選択した場合の絞りと許容錯乱円の説明図。
【図16】画像処理部の構成例。
【図17】第1の観察モードと第2の観察モードでの画像データの空間周波数特性の例。
【図18】図18(A)はラプラシアンピラミッドによる処理の説明図、図18(B)は複数の周波数帯域に分割した例。
【図19】輪郭強調処理部の構成例。
【図20】輪郭強調処理における強調周波数特性。
【図21】本実施形態の他のシステム構成例。
【図22】回転色フィルタの他の構成例。
【図23】通常光画像用の色フィルタの分光特性。
【図24】特殊光画像用の色フィルタの分光特性。
【図25】図25(A)はベイヤ配列の原色単板素子の説明図、図25(B)はR信号の画像データの説明図。
【図26】画像処理部の他の構成例。
【図27】表示画像生成部の構成例。
【図28】フォーカス位置制御部の構成例。
【発明を実施するための形態】
【0020】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【0021】
1.本実施形態の手法
【0022】
まず、回折限界とエアリーディスクについて説明する。光は波動としての性質を持つため回折現象があり、そのため光が1点に収束したとしても(焦点が合っていたとしても)、図1(A)のように無限小の点に収まるということはなく、図1(B)のようにある程度の大きさを持つことになる。この限界のことを回折限界と呼び、収束点の大きさのことをエアリーディスクと呼ぶ。図1(B)において、dはエアリーディスク径を表す。
【0023】
エアリーディスク径dはFナンバーを大きくするほど(絞りを絞るほど)大きくなり、図2に示すような関係になる。
【0024】
続いて被写界深度について図3を用いて詳細に説明する。ここで右向きの矢印は正の値のベクトルを表し、左向きの矢印は負の値のベクトルを表している。まず光学系の後側焦点位置からXB’の位置に画素ピッチ(1画素の縦横の寸法)がPの撮像素子を配置した場合を考える。この時、撮像素子の撮像面上で光学系の結像性能が最も良くなる被写体の位置(フォーカス位置)は、光学系の前側焦点位置からXBの位置として表される。XBは以下のニュートンの結像式からXB’が決まると一義的に算出される。ここでfは光学系の焦点距離である。
【0025】
XB・XB’=-f2 ・・・・・(1)
【0026】
被写体をXBからXNの位置まで移動させると、その時の像面位置XN’は撮像面から光学系と反対方向に移動する。しかし撮像面における錯乱円の直径が、撮像装置の分解能K・P(ただしKはフィルタ配列や補間処理によって決まる係数)より小さい場合、XNの物体はピントが合っていると見なすことができる。この時の分解能K・Pを許容錯乱円とする。
【0027】
撮像面における錯乱円の直径がK・P以下になる範囲を近点側の被写界深度と定義し、錯乱円の直径がK・Pと一致する被写体の位置を近点と呼ぶことにする。今後は近点の位置を、前側焦点位置からXNの位置として表す。遠点側も被写界深度の定義は同様であり、遠点側で錯乱円の直径がK・Pと一致する被写体の位置を遠点と呼ぶ。今後は遠点の位置を、前側焦点位置からXFの位置として表す。
【0028】
被写体が近点にある時の撮像面における錯乱円の直径は、光学系の開口数NA’=sin(u’)(ここでu’は図3に示す撮像面へ入射する光線と光軸のなす角)を用いて、錯乱円の直径=2(XN’−XB’)・NA’と近似することができる。
【0029】
近点で錯乱円の直径はK・Pに一致するため、下式(2)が成り立つ。
【0030】
2(XN’-XB’)・NA’=K・P ・・・・・(2)
【0031】
Fナンバーと開口数の関係式である下式(3)を用いて上式(2)を変形すると、下式(4)となる。ここでFは光学系のFナンバーである。
【数1】

【0032】
XN’-XB’=K・P・F ・・・・・(4)
【0033】
さらに(1)式で示したニュートンの式を用いて(4)式を変形すると、(5)式に示す近点側の被写界深度の関係式が成立する。
【数2】

【0034】
近点側と同様の方法で遠点側の被写界深度の関係式を算出すると以下の(6)式のようになる。
【数3】

【0035】
上式(5)、(6)はさらに以下のように変形でき、これらを用いて近点の位置XN及び遠点の位置XFを算出できる。
【数4】

【数5】

【0036】
上式(7)、(8)は光学系の焦点距離f、FナンバーF、係数K、フォーカス位置XBが一定の場合、撮像装置の分解能K・Pが小さくなるに従って近点及び遠点がフォーカス位置に近づき、被写界深度の幅が狭くなることを示している。
【0037】
逆に撮像装置の分解能K・PのK、或いはFナンバーFを大きく設定すれば、被写界深度の幅は広くできる事を示している。本実施形態においては、Kは一定であり、Fを変化させることで被写界深度を変化させる手法について考える。
【0038】
次に、許容錯乱円とエアリーディスクの関係について説明する。図4に示すように許容錯乱円の大きさK・Pよりも、エアリーディスク径dが小さい場合は、図5(A)及び図5(B)に示すように、被写界深度は上述の考え方によって求めることができる。
【0039】
一方、図6に示すように許容錯乱円の大きさK・Pよりも、エアリーディスク径dが大きい場合は、被写界深度はK・Pではなくdによって決められる。図から明らかなように錯乱円の大きさはd以上になるため、焦点が合っている状態であっても、K・P以下になることがないからである。つまり、このときの許容錯乱円の大きさはK・Pではなくdになると言ってもよい。
【0040】
許容錯乱円が大きくなるため、分解能は低くなる(解像度が落ちる)ことになるが、図7(A)、図7(B)に示すように、被写界深度は広くすることが可能になる。
【0041】
本出願人は、K・Pよりもdが大きい場合を第1の観察モード、K・Pよりもdが小さい場合を第2の観察モードとし、2つの観察モードを用いることで、撮像装置の能力を最大限生かした解像度の画像を取得しつつ、パンフォーカス(被写界深度が広い状態)を実現する手法を提案している。
【0042】
具体的には、第1の観察モードにおいては、Fナンバーを大きくし(絞りを絞り)、あえて回折限界による影響を大きくすることで、解像度は低下するが被写界深度を広くするモードを実現している。また、第2の観察モードにおいては、Fナンバーを小さくし、回折限界による影響を受けない状態にすることで、被写界深度は狭いが、撮像装置により決められる高解像度の画像を取得するモードを実現している。
【0043】
第1の観察モード及び第2の観察モードを表したものが図8である。例えばd=K・Pとなる点を境に、第1の観察モードか第2の観察モードかが決定される。
【0044】
パンフォーカスを実現するに当たって、第1の観察モードを利用することの利点についてさらに説明する。
【0045】
第1の観察モードと第2の観察モードの境界でのFナンバーをF’としたとき、Fナンバーと許容錯乱円の関係は図9に示したようになる。FがF’よりも小さい場合には、許容錯乱円の大きさはK・Pで一定である。また、FがF’よりも大きい場合には、許容錯乱円の大きさはdで決まるが、図8に示したようにdはFが大きくなるに従い大きくなる性質を持つため、図9のように第1の観察モードではFが大きくなるに従い許容錯乱円も大きくなる。
【0046】
上述したように被写界深度幅はFナンバーが大きくなるほど広くなる性質があり、また、許容錯乱円が大きくなるほど広くなる。つまり、被写界深度幅とFナンバーの関係を図示すると図10のようになる。FがF’よりも小さい(第2の観察モード)の場合には、Fが大きくなるに従い、Fナンバーの増大の影響で、ある傾きS1で被写界深度幅も大きくなる。そしてFがF’よりも大きい(第1の観察モード)の場合には、Fナンバーの増大の影響と、許容錯乱円の増大の影響の両方を受けるために、S2>S1となる傾きS2で被写界深度幅は大きくなる。
【0047】
よって回折限界の影響を受けないモード(第2の観察モード)のみを用いた場合に比べ、Fナンバーの増大に対する被写界深度幅の増大率を大きくすることが可能になる。そのため、ある被写界深度幅が必要になったとき、第2の観察モードのみを用いた場合に比べ、小さいFナンバーでその被写界深度幅を実現することが可能になる。これを図示したものが図11である。被写界深度幅Dが必要なとき、第2の観察モードのみを用いた場合はFナンバーをF2にする必要があるが、第1の観察モードを用いれば、F1<F2となるF1を用いて実現できる。
【0048】
つまり、同じ被写界深度幅Dを実現する際に、小さいFナンバーを用いることができるため、より明るい画像を得ることが可能になる。これは、内視鏡システムにおける狭帯域光観察(例えばNBI等)など、元々の光量が少なく、暗い画像になりがちなシステムにおいては特に効果を発揮することになる。
【0049】
以上の手法を実現するために本実施形態の内視鏡システムは、撮像部と、観察モードを設定する観察モード設定部と、観察モードに基づいて絞り状態を選択制御する絞り制御部と、画像処理部とを含む。第1の観察モードにおいては、絞り制御部は、絞りを絞り(Fナンバーを大きくし)撮像素子の能力をフルに発揮した場合よりも解像度が低くなる状態に制御する。また、第2の観察モードにおいては、絞りを開き、撮像素子の能力をフルに発揮した解像度を実現する絞り状態を選択する。
【0050】
これにより、複数の観察モードを設定した上で、観察モードに応じた絞り状態を選択することが可能になる。具体的には、第1の観察モードでは、あえて回折限界の影響を大きくすることで、解像度は落ちるものの被写界深度幅を広くすることが可能な、Fナンバーの大きい状態を設定できる。また、第2の観察モードでは、回折限界の影響を受けないようにすることで、被写界深度幅は狭いが、撮像素子の能力をフルに発揮する解像度の画像を取得可能な、Fナンバーの小さい状態を設定できる。
【0051】
また、本実施形態は、観察モードを設定し、第1の観察モードの場合には、絞りを絞り(Fナンバーを大きくし)撮像素子の能力をフルに発揮した場合よりも解像度が低くなる状態を選択し、第2の観察モードにおいては、絞りを開き、撮像素子の能力をフルに発揮した解像度を実現する絞り状態を選択する制御方法であってもよい。
【0052】
これにより、内視鏡システムにとどまらず、制御方法にも本実施形態の手法を適用し、上述の効果を得ることが可能になる。
【0053】
また、本実施形態は内視鏡システムに限定されるものではなく、撮像装置に用いられてもよい。具体的には、撮像部と、観察モードを設定する観察モード設定部と、観察モードに基づいて絞り状態を選択制御する絞り制御部とを含む撮像装置である。そして、絞り制御部は、第1の観察モードにおいては、絞りを絞り(Fナンバーを大きくし)撮像素子の能力をフルに発揮した場合よりも解像度が低くなる状態に制御し、また、第2の観察モードにおいては、絞りを開き、撮像素子の能力をフルに発揮した解像度を実現する絞り状態を選択する。
【0054】
これにより、内視鏡システムにとどまらず、一般的な撮像装置にも本実施形態の手法を適用し、上述の効果を得ることが可能になる。
【0055】
また、本出願人は、観察モードに応じたノイズ低減処理及び輪郭強調処理の手法も提案している。詳細は第1の実施形態において説明する。一方、第2の実施形態においては、第1の実施形態に加え、通常光画像と特殊光画像を取得し、特殊光画像から病変部を検出した上で、通常光画像の病変部を強調表示する手法について説明する。
【0056】
2.第1の実施形態
【0057】
図12は第1の実施形態の内視鏡システム(撮像装置)の全体構成を示すブロック図である。本実施形態の内視鏡システムは光源部100と撮像部200とプロセッサ部300と表示部400と外部I/F部500を含む。
【0058】
光源部100は白色光源101と、複数の分光透過率を持った回転色フィルタ102と、回転色フィルタ102を駆動させる回転駆動部103と、回転色フィルタ102からの分光特性を持った光をライトガイドファイバ201の入射端面に集光させる集光レンズ104を含む。
【0059】
回転色フィルタ102は例えば図13に示すように三原色の赤の色フィルタ601と緑の色フィルタ602と青の色フィルタ603と回転モータ803とから構成されている。これら3つの色フィルタの分光特性は図14に示した通りである。
【0060】
回転駆動部103はプロセッサ部300の制御部302からの制御信号に基づき撮像素子208の撮像期間と同期して回転色フィルタ102を所定回転数で回転させる。例えば色フィルタを1秒間に20回転させると、各色フィルタは60分の1秒間隔で入射白色光を横切る事になり、撮像素子208は60分の1秒間隔で3原色の各色光(R或はG或はB)での反射光の画像データの撮像と転送を完了することになる。ここで撮像素子208はモノクロ用とする。つまりR画像データ、G画像データ、B画像データが60分の1秒間隔で面順次で撮像される内視鏡システムの例となる。
【0061】
撮像部200は例えば体腔への挿入を可能にするため細長くかつ湾曲可能に形成されている。撮像部200には、光源部100で集光された光を導くためのライトガイドファイバ201と、該ライトガイドファイバ201により先端まで導かれてきた光を拡散させて観察対象に照射する照明レンズ202と、観察対象から戻る反射光を集光する対物レンズ203と、可変絞り制御部204と可変絞り205と焦点位置制御部206と焦点位置調整レンズ207と、集光した反射光を検出するための撮像素子208と、撮像素子208からの光電変換されたアナログ信号をデジタル信号に変換するA/D変換部209と、を備えている。ここで上記撮像素子208は前記した通りモノクロ単板撮像素子とし、CCDやCMOS等が利用できる。
【0062】
プロセッサ部300は画像処理部301と、制御部302と、観察モード設定部304とから構成される。
【0063】
表示部400はCRTや液晶モニタ等の動画表示可能な表示装置である。
【0064】
外部I/F部500は、この撮像装置に対するユーザーからの入力等を行うためのインターフェースであり、電源のオン/オフを行うための電源スイッチ、撮影操作を開始するためのシャッタボタン、撮影モードやその他各種のモードを切り換えるためのモード切換ボタンなどを含んで構成されている。そして、この外部I/F部500は、入力された情報を制御部302へ出力するようになっている。
【0065】
次に撮像部200の構成要素である可変絞り制御部204と可変絞り205、焦点位置制御部206と焦点位置調整レンズ207と制御部302の関係についてその詳細を説明する。まず本実施例の内視鏡システムの2つの観察モードから説明する。その2つの観察モードの1つは高深度低解像度となる遠景観察モードであり、もう1つは低深度高解像度となる近接観察モードである。
【0066】
このような2つのモードを切り替える為に制御部302は外部I/F部500のモード切換ボタンによるユーザーからのモード切換要求に基づき可変絞り制御部204と焦点位置制御部206に制御信号を出力する。可変絞り制御部204では受信した制御信号を基に可変絞り205の絞り量を制御し、焦点位置制御部206では、入力された制御信号を基に焦点位置調整レンズ207を制御する。
【0067】
具体的には図15(B)に示すように近接観察モードを選択した場合には絞りを開けてレンズ開口を大きくし、その許容錯乱円を撮像素子208の限界解像度が得られる状態に設定する。更に予め決定された所定の焦点位置となるように焦点位置制御部206は焦点位置調整レンズを稼動させる。これにより被写界深度は狭く限定されるが所定の焦点位置では撮像素子の性能をフル活用した高解像度の画像を得ることができる。
【0068】
一方、図15(A)に示すように遠景観察モードを選択した場合は絞りを絞ってレンズ開口を小さくし、実用的な解像度と被写界深度が得られる許容錯乱円の大きさに設定する。ここで実用的な解像度とは撮像素子208の限界解像度は得られないが例えば1世代前の古い製造プロセスで作成された撮像素子相当の解像度であり、例えば撮像素子208の画素ピッチに対して1.5〜2倍相当の解像度という意味である。更に実用的な被写界深度を得る為の焦点位置となるように焦点位置制御部206は焦点位置調整レンズを稼動させる。
【0069】
このような2つのモードを設定しなくてはならない理由は、内視鏡としての実用的な被写界深度を得る為に光学系の絞りを絞っていくと、小開口化に伴う回折限界の影響により結像時の錯乱円が撮像素子208の画素ピッチに対して小さくできなくなる事に起因する。
【0070】
つまり近年、半導体製造プロセスの微細化が進み、小画素ピッチで且つ高画素化(画素ピッチに対して像高がある素子サイズ)となった撮像素子の場合、絞りを絞ると回折限界の影響を強く受けるようになっている。特に内視鏡システムにおいては実用的な観察距離の中で焦点が合っている状態(パンフォーカス)が好ましく、その被写界深度を得るために絞りを絞る必要性からこの回折限界の影響を無視できなくなっているためである。
【0071】
次に画像処理部301の詳細について図16のブロック図に基づいて説明する。画像処理部301はプレ処理部310と、選択部311と、第1ノイズ低減処理部312と、同時化処理部313と、色処理部314と、階調変換処理部315と、第2ノイズ低減処理部316と、輪郭強調処理部317と、から構成されている。
【0072】
続いて各構成部間のデータの流れを説明する。A/D変換部209から出力された画像データは画像処理部301のプレ処理部310に入力される。プレ処理部310には制御部302に予め保存されているOBクランプ値、ゲイン補正値、WB係数値が更に入力され、それらの入力値に基づき画像データにOBクランプ処理、ゲイン補正、WB処理が施され、選択部311へ出力される。
【0073】
選択部311には更に制御部302からの観察モード情報が入力され、前記観察モード情報が遠景観察モードの場合は入力される画像データを第1ノイズ低減処理部312へ出力し、近接観察モードの場合は同時化処理部313へ出力する。ここで入力される画像データのMTF(空間周波数特性)の例を図17に示す。MTF1000は近接観察モード時のもので、MTF1001は遠景観察モード時のものである。遠景観察モード時は絞りに伴う回折限界の影響で高周波成分が落ちた状態となる。
【0074】
第1ノイズ低減処理部312は、入力される画像データがMTF1001の特性である事に鑑み、図17の周波数特性1002のローパスフィルタを画像データに作用させる。これによりローパスフィルタの阻止域に対応する帯域にある不必要な高周波ノイズのみをカットする事ができる。
【0075】
第1ノイズ低減処理部312から出力されるノイズ低減された画像データ、或は選択部311から出力される画像データが同時化処理部313に出力される。
【0076】
同時化処理部313は、時系列で入力されるR画像データ、G画像データ、B画像データを保持するバッファメモリを有し、新しく入力される色信号の画像データのみ置き換えることで1画素あたりRGB信号からなるカラー画像データを生成し色処理部314に出力する。
【0077】
色処理部314は、入力されるカラー画像データを出力モニタの色域に対応する色空間に変換し階調変換処理部315に出力する。前記色域は例えばsRGBである。
【0078】
階調変換処理部315は、色変換済みのカラー画像データを表示部400の出力階調特性を打ち消すγ特性を作用させた例えば8ビットの階調変換後のカラー画像データに変換し、第2ノイズ低減処理部316に出力する。
【0079】
第2ノイズ低減処理部316は入力されるカラー画像データから例えばラプラシアンピラミッド型の多重解像度画像を生成し、それぞれ異なる解像度画像に対して独立に所定の低減量となるノイズ低減処理を行う。ラプラシアンピラミッドによる処理の詳細を図18(A)、図18(B)に示す。図18(A)に示すように、ローパスフィルタをかけていないデータとローパスフィルタをかけたデータの差分をとることで、図18(B)に示すようにデータを複数の空間周波数帯域に分離することができる。
【0080】
これにより低周波ノイズ(色ノイズ等)を低減する事が可能となる。特に制御部302からの観察モード情報の入力に基づき、上記多重解像度画像に対するノイズ低減量の比率を変更するようにしても良い。例えば遠景観察モード時には、信号の高周波成分が落ちているため、高周波画像はノイズの成分が多いと判断し、高周波画像に対するノイズ低減量を近接観察モード時よりも増大させる事が考えられる。図18(A)、図18(B)の例で言えば、遠景観察モード時には、帯域1及び2に比べて、帯域3に対するノイズ低減処理の強度を強く(ノイズ低減量を大きく)することでノイズ低減効果を高めることが期待される。第2のノイズ低減がなされたカラー画像データは輪郭強調処理部317に出力される。
【0081】
輪郭強調処理部317には第2のノイズ低減がなされたカラー画像データの他に、制御部302から観察モード情報が入力され、前記観察モード情報に基づき異なる輪郭強調処理が施された輪郭強調済みカラー画像データが表示部400に出力される。
【0082】
続いて輪郭強調処理部317の詳細を図19のブロック図、及び図20の強調周波数特性を基に説明する。
【0083】
輪郭強調処理部317は選択部321、第1周波数帯域抽出部322、第2周波数帯域抽出部323、ゲイン係数決定部324、乗算器325、加算器326から構成される。
【0084】
続いて各構成部間のデータの流れを説明する。第2ノイズ低減処理部316から出力されるカラー画像データは選択部321に入力され、制御部302からの観察モード情報が遠景観察モードの場合は第1周波数帯域抽出部322に、近接観察モードの場合は第2周波数帯域抽出部323に出力選択される。
【0085】
第1周波数帯域抽出部322では、図20の強調周波数特性1101に対応するバンドパスフィルタが用意されており、入力されるカラー画像データに対してフィルタ処理される。抽出された第1の輪郭画像は乗算器325に出力される。
【0086】
第2周波数帯域抽出部323では、図20の強調周波数特性1100に対応するバンドパスフィルタが用意されており、入力されるカラー画像データに対してフィルタ処理される。抽出された第2の輪郭画像は乗算器325に出力される。
【0087】
これは、近接観察モードにおいては高周波成分を強調すればいいのに対し、遠景観察モードでは、高周波成分の信号は落ちているため、強調すべき輪郭の情報は近接観察モードに比べて周波数の低い帯域にあると考えられるためである。
【0088】
ゲイン係数決定部324は制御部302から出力された強調レベル情報を、前記第1周波数帯域抽出部322、或は第2周波数帯域抽出部323で抽出された特定周波数の輪郭画像の増幅量に変換し乗算器325に出力する。
【0089】
乗算器325は、第1周波数帯域抽出部322、或は第2周波数帯域抽出部323で抽出された特定周波数の輪郭画像と、ゲイン係数決定部324から出力された増幅量とを乗算し、増幅された輪郭画像が加算器326に出力される。
【0090】
加算器326は、輪郭強調処理部317に入力されるカラー画像データに前記輪郭画像が加算された輪郭強調画像が生成され、輪郭強調画像データが表示部400に出力される。
【0091】
以上のように、第1の実施形態によれば、複数の観察モードに基づきその異なる周波数特性に適した画像処理を行うことで、各観察モードにおいて高画質な撮像画像を得る事ができ、目的に応じて最適な観察が可能となる。
【0092】
特に撮像素子の微細化に伴い画素ピッチに対して光学系の絞りに基づく回折限界の影響により撮像素子本来の解像度が得られないような場合でも広被写界で低解像度モードと狭被写界深度で高解像度モードを設定する事で本来撮像素子が持つ最大解像度の画像で観察する事ができるようになる。
【0093】
以上の本実施形態では、画像処理部301は、第1の観察モードの場合は、第2の観察モードの場合に比べて、より高周波を低減する画像処理を行う。
【0094】
これにより、第1の観察モードにおいて、効率的にノイズを低減することが可能になる。これは、第1の観察モードにおいては、回折限界の影響を受けることで、解像度が低下しており、高周波成分の信号が落ちているためである。つまり、高周波成分がある場合にはそれはノイズである可能性が高いため、高周波を低減したとしても、信号値には影響が少ないと考えられる。具体的にはローパスフィルタをかける処理を行う。
【0095】
また、画像処理部301は、第1の観察モードの場合は、第2の観察モードの場合に比べて、ノイズ低減量を大きくする画像処理を行う。
【0096】
これにより、第1の観察モードにおいて、効率的にノイズを低減することが可能になる。第1の観察モードにおいて、高周波成分の信号が落ちていることに起因するのは上述の考え方と同様である。具体的には図18(A)、図18(B)に示したようなラプラシアンピラミッドを適用して複数の帯域に分割する処理を行う。そして図18(A)、図18(B)の例においては帯域3に対して、ノイズ低減量を大きくする処理を行う。
【0097】
また、画像処理部301は、第2の観察モードにおいては、所定の高周波帯域を強調する輪郭強調処理を行い、第1の観察モードにおいては、第2の観察モードに比べて低い周波数帯域を強調する輪郭強調処理を行う。
【0098】
これにより、観察モードに応じた効率的な輪郭強調処理を行うことが可能になる。第1の観察モードにおいて、高周波成分の信号が落ちていることに起因するのは上述の考え方と同様である。具体的には、図20に示したように、第2の観察モードにおいては1100を強調するのに対して、第1の観察モードでは1101を強調する処理を行う。
【0099】
また、第1の観察モードとは遠景観察モードであり、第2の観察モードとは近接観察モードであってもよい。
【0100】
これにより、各モードの特性を考慮した上で用途を決定することが可能になる。第1の観察モードは被写界深度幅を広くとることができる。そのため、内視鏡システムにおいては、管状の器官の中で病変部のサーチをしている状況等の、近くから遠くまでピントが合っていることが望ましい遠景観察モードに利用することが考えられる。また、第2の観察モードにおいては、病変部を見つけた後に、見つけた病変部に正対して観察するような、被写界深度幅よりも解像度が優先される近接観察モードに利用することが考えられる。
【0101】
3.第2の実施形態
【0102】
図21は第2実施の形態の内視鏡システム(撮像装置)の全体構成を示すブロック図である。本実施形態の内視鏡システムは、光源部100と撮像部200とプロセッサ部300と表示部400と外部I/F部500を含む。基本的な構成については第1の実施形態と同様であるので、同一の構成に関しては詳細な説明は省略し、異なる構成の詳細を以下に示す。
【0103】
まず光源部100に対しては回転色フィルタ102が異なる。その構成は図22に示す通りであり、白色光の分光透過率を示す色フィルタ801と、特殊光としての狭帯域の分光透過率を示す色フィルタ802と、回転モータ803と、から構成されている。色フィルタ801は図23に示すように例えば380nmから650nmまでの波長の光を透過する分光特性を有している。色フィルタ802の分光特性は図24に示すようにB2が390〜445nm、G2が530〜550nmの波長帯域の光を透過させる透過率特性を有している。
【0104】
続いて撮像部200に対しては撮像素子208が異なり、図25(A)に示すベイヤ配列の原色単板素子を用いる。
【0105】
更にプロセッサ部300に対しては新しくフォーカス位置制御部303が追加され、更に画像処理部301の詳細が異なり、制御部302の制御内容が前記フォーカス位置制御部303の追加、及び回転色フィルタ102の違いに伴い変更されている。
【0106】
それでは画像処理部301の詳細を図26のブロック図に基づき説明する。画像処理部301はプレ処理部350、選択部311、第1ノイズ低減処理部351、同時化処理部352、色処理部353、階調変換処理部315、第2ノイズ低減処理部354、輪郭強調処理部317、選択部355、病変位置検出部356、表示画像生成部357から構成されている。
【0107】
続いて各構成部間のデータの流れを説明する。A/D変換部209から出力された画像データは画像処理部301に入力され、プレ処理部350にて各色信号に対応した制御部302に予め保存されているOBクランプ値、ゲイン補正値、WB係数値が入力され、それらの入力値に基づきOBクランプ処理、ゲイン補正、WB処理が施され、選択部311へ出力される。
【0108】
選択部311には更に制御部302からの観察モード情報が入力され、この観察モード情報が遠景観察モードの場合は入力される画像データを第1ノイズ低減処理部351へ出力し、近接観察モードの場合は同時化処理部352へ出力する。ここで入力される画像データのMTF(空間周波数特性)の例を図17に示す。MTF1000は近接観察モード時のもので、MTF1001は遠景観察モード時のものである。遠景観察モード時は絞りに伴う回折限界の影響で高周波成分が落ちた状態となる。
【0109】
第1ノイズ低減処理部351は、入力される画像データがMTF1001の特性である事を鑑み、図17の周波数特性1002のローパスフィルタを図25(B)に示した各色信号(この図はR信号)からなる画像データに作用させる。これにより前記ローパスフィルタの阻止域に対応する帯域の高周波ノイズのみカットする事ができる。
【0110】
第1ノイズ低減処理部351から出力されるノイズ低減された画像データ、或は選択部311から出力される画像データは同時化処理部352へ出力される。
【0111】
同時化処理部352には、更に制御部302から照明光の種類(白色光か、特殊光か)情報が入力され、ベイヤ配列に基づき1画素あたり2つの欠落している信号を前記照明光の種類情報に応じて異なる補間処理により生成することで1画素あたりRGB信号からなるカラー画像データを生成し、色処理部353に出力する。
【0112】
色処理部353には、更に制御部302から照明光の種類(白色光か、特殊光か)情報が入力され、入力されるカラー画像データの照明光が白色光である場合は出力モニタの色域に対応する色空間に変換し、特殊光である場合には所定の擬似カラーに変換し、階調変換処理部315に出力する。前記色域は例えば色空間の国際標準規格であるsRGB(standard RGB)である。
【0113】
階調変換処理部315は、色変換済みのカラー画像データを表示部400の出力階調特性を打ち消すγ特性を作用させた例えば8ビットの階調変換済みのカラー画像データに変換し、第2ノイズ低減処理部354に出力する。
【0114】
第2ノイズ低減処理部354には、更に制御部302から照明光の種類(白色光か、特殊光か)情報と撮像モード情報が入力され、入力されたカラー画像データから例えばラプラシアンピラミッド型の多重解像度画像を生成し、それぞれ異なる解像度画像に対して前記照明光の種類と撮像モード情報に応じて独立に所定の低減量となるノイズ低減処理を行う。これにより低周波ノイズ(色ノイズ等がそれに当たる)を低減すると共に特殊光時の光量不足に伴うノイズ増を打ち消す強力なノイズ低減を行う事が可能となる。第2のノイズ低減がなされたカラー画像データは輪郭強調処理部317に出力される。
【0115】
輪郭強調処理部317はノイズ低減されたカラー画像データの他に、制御部302からの観察モード情報が入力され、第1の実施形態と同様に観察モード情報に基づき異なる輪郭強調処理が施された輪郭強調済みカラー画像データは、選択部355に出力される。ここで制御部302からは更に照明光の情報が入力されても良く、照明光により強調量を変更するようにしても良い。
【0116】
選択部355には、更に制御部302から照明光の情報が入力され、照明光が特殊光のカラー画像データは病変位置検出部356に出力され、照明光が白色光のカラー画像データは表示画像生成部357に出力される。以後、特殊光の照明光による照射で得られた、特定波長帯域における情報を有する被写体像を含むカラー画像データを特殊光画像と記す。また、白色光の照明光による照射で得られた、白色光の波長帯域における情報を有する被写体像を含むカラー画像を白色光画像と記す。
【0117】
病変位置検出部356は入力される特殊光画像に対して所定色相の領域を抽出し、前記抽出領域で連結する領域をグルーピングして、そのグルーピング後の面積が所定閾値以上か判定を行なう。面積が所定閾値以上と判定された場合には、グルーピング領域を囲む矩形、或は円形領域を病変領域として設定し、表示画像生成部357、及びフォーカス位置制御部303に病変位置として出力する。ちなみに病変位置が複数検出された場合は、例えば最大面積となる病変を選択し、更に複数残った場合は画面中央近くに位置する方を選択するようにして1つに絞る。
【0118】
表示画像生成部357は、入力される病変領域と白色光画像、及び制御部302からの表示モード情報を基に後述する表示画像を生成し、表示部400、及びフォーカス位置制御部303に出力する。フォーカス位置制御部303は制御部302にて観察モード情報として近接観察モードが通知された場合、もしくは病変位置検出部356にて病変位置が通知された場合にのみ有効に機能する。
【0119】
続いて表示画像生成部357についての詳細を図27に基づき説明する。
【0120】
表示画像生成部357は選択部360と領域抽出部361と電子ズーム部362と領域枠合成部363から構成される。
【0121】
次に各構成部間のデータの流れを説明する。選択部355から出力される白色光画像は選択部360に入力され、制御部302からの表示モード情報が病変領域拡大表示モードの場合は、領域抽出部361へ、病変領域枠表示モードの場合は領域枠合成部363へ振り分ける。
【0122】
領域抽出部361は白色光画像に対して病変位置検出部356から出力される病変位置(矩形、或は円形領域)を含む所定領域を抽出し、電子ズーム部362に出力する。電子ズーム部362は抽出された所定領域を表示部400の表示画面サイズとなるように電子ズーム処理を行い、表示部400、及びフォーカス位置制御部303に出力する。
【0123】
一方、領域枠合成部363では、白色光画像に対して病変位置検出部356から出力される病変位置(矩形、或は円形領域)を示す矩形枠、或は円形枠をその対応位置にスーパーインポーズして表示部400、及びフォーカス位置制御部303に出力する。
【0124】
ここで表示モードは外部I/F部500からの切換スイッチによりユーザーにて選択されるが、特に病変領域拡大表示モードが選択された場合は、制御部302を介して可変絞り制御部204に可変絞り205を開くように制御を行なう。つまり病変領域拡大表示モード時は近接観察モードとなり被写界深度は狭いが高解像度が得られるので、電子ズームで拡大しても遠景観察モード時と比べて遜色無い解像感の画像を表示する事ができる。この場合は、以下に説明するオートフォーカスが機能する事が望ましいが、固定焦点であっても近接観察時に使用を限定すれば実用的な使用感を得る事が出来る。
【0125】
最後にフォーカス位置制御部303についての詳細を図28に基づき説明する。
【0126】
フォーカス位置制御部303は領域抽出部364、輝度値算出部365、コントラスト算出部366、レンズ移動量算出部367から構成される。
【0127】
続いて各構成部間のデータの流れを説明する。表示画像生成部357から出力される白色光画像が領域抽出部364に入力され、制御部302からの表示モード情報と、病変位置検出部356からの病変位置に対応する領域を白色光画像から抽出する。ここで病変位置検出部356にて病変部が検出されその位置が出力された場合は、領域抽出部364を経由して制御部302に観察モード情報を切り替えるように切換え情報を通知する。例えば外部I/F部500内の不図示の自動観察モードスイッチをオンに指定している場合には前記観察モード情報を前記切換え情報に基づき切り換える。例えば病変位置検出部356にて病変が検出された場合には近接観察モードに切換え、病変が検出されなくなったら遠景観察モードに切換えるように制御される。一方、上記自動観察モードスイッチをオフに設定した場合にはユーザーが近接観察モードに設定しない限りフォーカス位置制御部303は機能しない。
【0128】
病変位置検出部356にて病変位置が出力された場合は領域抽出部364にて抽出された病変領域は輝度値算出部365にてカラー画像データから輝度値に変換され、コントラスト算出部366に出力される。
【0129】
コントラスト算出部366は領域内の輝度値の最大最小値を算出してコントラスト値とし、算出されたコントラスト値はコントラスト算出部366が備える不図示のメモリに時系列データとして複数フレーム分のコントラスト値が保存される。前記メモリに格納されている少なくとも3つのコントラスト値は、レンズ移動量算出部367に出力される。
【0130】
レンズ移動量算出部367には不図示のメモリに焦点位置調整レンズ207の調整位置が保存されており、入力される少なくとも3つのコントラスト値と対応付けられた調整位置から合焦位置となるレンズ調整位置を算出し制御部302に出力する。制御部302は算出されたレンズ調整位置を焦点位置制御部206に出力し、焦点位置制御部206は焦点位置調整レンズ207を移動させる事で病変位置に対するオートフォーカスを実現する事が可能となる。
【0131】
以上のように第2の実施形態によれば、遠景観察モードと近接観察モードの2つの観察モードを病変検出結果に基づき自動的に切換える事ができ、また近接観察モードが選択された場合には病変位置に自動で合焦する事ができるのでモード切換の煩わしさから開放され、病変の診断により集中する事ができる。更に検出した病変位置を含む領域を電子ズームで拡大表示する場合は高解像度な近接観察モードに自動で切り換るので、電子ズームによるボケ感が助長することなく遠景観察モード時と同等の解像感を持った高画質な画像により病変の診断をする事ができる。
【0132】
以上の本実施形態では、撮像画像から病変位置を検出する病変位置検出部を含み、病変位置が検出された場合には、観察モード設定部304は、観察モードを第2の観察モードに設定する。
【0133】
これにより、病変部が検出された場合には、第2の観察モード(被写界深度幅は狭いが、高解像度)に設定することが可能になる。これは、病変部が検出された場合には、広範囲を観察するのではなく、病変部を中心とした狭い範囲を観察することが予想されるためである。
【0134】
また、画像処理部301は、白色光よりも狭帯域である特定波長帯域における情報を有した被写体像を含む第1の撮像画像を取得し、取得した第1の撮像画像に基づいて、病変位置検出部356は病変位置を検出する。
【0135】
これにより、狭帯域光観察により、病変部を検出することが可能になる。具体的には例えば、NBIモードを用いた場合には、扁平上皮癌等の特定の病変が褐色で表示されるなど、白色光による観察に比べ、狭帯域光による観察では特定の病変の視認性を高めることができる。よって、狭帯域光を用いることで効果的に病変位置を検出することが可能になる。
【0136】
また、フォーカス位置制御部303を含み、観察モードが第2の観察モードである場合に、焦点位置の制御を行ってもよい。具体的には予め決められた固定の位置に焦点を合わせてもよいし、病変位置に焦点を合わせてもよい。
【0137】
これにより、焦点位置を制御することが可能になり、被写界深度幅の狭い第2の観察モードにおいても、被写体に対して適切にピントを合わせることができる。具体的には第2の観察モードにおける平均的な焦点位置を決めておき、そこに焦点を合わせても十分実用に足ると考えられる。また、前述の病変位置検出部356が病変部を検出した場合には、病変部を中心とした領域を観察すると考えられるため、病変位置に焦点を合わせてもよい。
【0138】
また、画像処理部301は、前述の第1の画像に加えて、白色光の波長帯域における情報を有した被写体像を含む第2の撮像画像を取得し、第2の撮像画像の所定領域のコントラストに基づいて焦点を合わせてもよい。なお、第2の撮像画像は、第1の撮像画像において検出された病変位置を含む画像である。
【0139】
これにより、特殊光画像である第1の撮像画像と、通常光画像である第2の撮像画像とを取得し、第2の画像を用いてコントラスト法により焦点を合わせることが可能になる。
【0140】
また、撮像された画像を拡大表示する電子ズーム部362を含み、電子ズーム部362は、フォーカス位置制御部303が焦点を合わせた病変位置の周辺領域を所定倍率で拡大表示してもよい。
【0141】
これにより、病変位置を拡大して表示することが可能になり、病変位置をより詳細に観察することができる。なお、電子ズームを行うことで解像度は低下するが、病変位置を検出した際には解像度の高い第2の観察モードを使用しているため、十分実用に耐えうる解像度を実現することができると考えられる。
【0142】
また、画像処理部301は、特殊光画像である第1の撮像画像と、通常光画像である第2の撮像画像を取得する。ここで、第1の撮像画像および第2の撮像画像は生体内を写した生体内画像である。生体内画像に含まれる特定波長帯域とは、血液中のヘモグロビンに吸収される波長の波長帯域である。このヘモグロビンに吸収される波長は、例えば390nm〜445nm(狭帯域光のB2成分)、または530nm〜550nm(狭帯域光のG2成分)である。
【0143】
これにより、NBI(Narrow Band Imaging)と呼ばれる狭帯域光観察が可能になり、生体の表層部及び、深部に位置する血管の構造を観察することができる。また得られた信号を特定のチャンネル(G2→R、B2→G,B)に入力することで、扁平上皮癌等の通常光では視認が難しい病変などを褐色等で表示することができ、病変部の見落としを抑止することができる。なお、390nm〜445nmまたは530nm〜550nmとは、ヘモグロビンに吸収されるという特性及び、それぞれ生体の表層部または深部まで到達するという特性から得られた波長である。ただし、この場合の波長帯域はこれに限定されず、例えばヘモグロビンによる吸収と生体の表層部又は深部への到達に関する実験結果等の変動要因により、波長帯域の下限値が0〜10%程度減少し、上限値が0〜10%程度上昇することも考えられる。
【0144】
また、生体内画像に含まれる特定波長帯域は、蛍光物質が発する蛍光の波長帯域であってもよい。例えば、特定波長帯域は、490nm〜625nmの波長帯域であってもよい。
【0145】
これにより、AFI(Auto Fluorescence Imaging)と呼ばれる蛍光観察が可能となる。励起光(390nm〜470nm)を照射することで、コラーゲンなどの蛍光物質からの自家蛍光(intrinsic fluorescence。490nm〜625nm)を観察することができる。このような観察では病変を正常粘膜とは異なった色調で強調表示することができ、病変部の見落としを抑止すること等が可能になる。なお490nm〜625nmという波長は、前述の励起光を照射した際、コラーゲン等の蛍光物質が発する自家蛍光の波長帯域を示したものであり、390nm〜470nmという波長は蛍光を発生させるための励起光の波長帯域を示したものである。
【0146】
ただし、この場合の波長帯域はこれに限定されず、例えば蛍光物質が発する蛍光の波長帯域に関する実験結果等の変動要因により、波長帯域の下限値が0〜10%程度減少し、上限値が0〜10%程度上昇することも考えられる。また、ヘモグロビンに吸収される波長帯域(540nm〜560nm)を同時に照射し、擬似カラー画像を生成してもよい。
【0147】
また、生体内画像に含まれる特定波長帯域は、赤外光の波長帯域であってもよい。例えば、特定波長帯域は、790nm〜820nm、または905nm〜970nmの波長帯域であってもよい。
【0148】
これにより、IRI(Infra Red Imaging)と呼ばれる赤外光観察が可能となる。赤外光が吸収されやすい赤外指標薬剤であるICG(インドシアニングリーン)を静脈注射した上で、上記波長帯域の赤外光を照射することで、人間の目では視認が難しい粘膜深部の血管や血流情報を強調表示することができ、胃癌の深達度診断や治療方針の判定などが可能になる。なお、790nm〜820nmという波長は赤外指標薬剤の吸収がもっとも強いという特性から求められ、905nm〜970nmという波長は赤外指標薬剤の吸収がもっとも弱いという特性から求められたものである。ただし、この場合の波長帯域はこれに限定されず、例えば赤外指標薬剤の吸収に関する実験結果等の変動要因により、波長帯域の下限値が0〜10%程度減少し、上限値が0〜10%程度上昇することも考えられる。
【0149】
なお、以上の説明において、画像処理部301は、特殊光画像である第1の撮像画像と、通常光画像である第2の撮像画像の両方を取得するものとしたが、これに限定されるものではない。病変位置の検出及び表示部400における表示の両方に特殊光画像を用いてもよいし、病変位置の検出及び表示部400における表示の両方に通常光画像を用いてもよい。
【0150】
以上、本発明を適用した2つの実施形態1〜2及びその変形例について説明したが、本発明は、各実施形態1〜2やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態1〜2や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態1〜2や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
【0151】
また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語(例えば、絞りを絞る)と共に記載された用語(例えば、Fナンバーを大きくする)は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。
【符号の説明】
【0152】
100 光源部、101 白色光源、102 回転色フィルタ、103 回転駆動部、
104 集光レンズ、200 撮像部、201 ライトガイドファイバ、
202 照明レンズ、203 対物レンズ、204 可変絞り制御部、
205 可変絞り部、206 焦点位置制御部、
207 焦点位置調整レンズ、208 撮像素子、209 A/D変換部、
300 プロセッサ部、301 画像処理部、302 制御部、
303 フォーカス位置制御部、304 観察モード設定部、310 プレ処理部、
311 選択部、312 第1ノイズ低減処理部、313 同時化処理部、
314 色処理部、315 階調変換処理部、316 第2ノイズ低減処理部、
317 輪郭強調処理部、321 選択部、322 第1周波数帯域抽出部、
323 第2周波数帯域抽出部、324 ゲイン係数決定部、325 乗算器、
326 加算器、350 プレ処理部、351 第1ノイズ低減処理部、
352 同時化処理部、353 色処理部、354 第2ノイズ低減処理部、
355 選択部、356 病変位置検出部、357 表示画像生成部、
360 選択部、361 領域抽出部、362 電子ズーム部、363 領域枠合成部、
364 領域抽出部、365 輝度値算出部、366 コントラスト算出部、
367 レンズ移動量算出部、400 表示部、500 外部I/F部、
601 色フィルタ、602 色フィルタ、603 色フィルタ、
801 色フィルタ、802 色フィルタ、803 回転モータ

【特許請求の範囲】
【請求項1】
光学系と撮像素子を有する撮像部と、
被写体の観察モードを設定する観察モード設定部と、
前記観察モード設定部によって設定された前記観察モードに基づいて、絞り状態を選択制御する絞り制御部と、
前記撮像部により撮像された撮像画像に対して画像処理を施す画像処理部と、
を含み、
前記絞り制御部は、
前記観察モードが第1の観察モードである場合は、前記光学系の絞りによる回折限界により決まる解像度が、前記撮像素子により決まる解像度に比べて低くなる第1の絞り状態を選択し、
前記観察モードが第2の観察モードである場合は、前記光学系の絞りによる回折限界により決まる解像度が、前記撮像素子により決まる解像度と同等以上になる第2の絞り状態を選択することを特徴とする内視鏡システム。
【請求項2】
請求項1において、
前記画像処理部は、
前記観察モードが前記第1の観察モードである場合は、前記観察モードが前記第2の観察モードである場合に比べて、より高周波を低減する画像処理を行うことを特徴とする内視鏡システム。
【請求項3】
請求項1において、
前記画像処理部は、
前記観察モードが前記第1の観察モードである場合は、前記観察モードが前記第2の観察モードである場合に比べて、ノイズ低減量を大きくする画像処理を行うことを特徴とする内視鏡システム。
【請求項4】
請求項1において、
前記画像処理部は、
前記観察モードが前記第2の観察モードである場合は、所定の高周波帯域を強調する輪郭強調処理を行い、前記観察モードが前記第1の観察モードである場合は、前記高周波成分よりも低い周波数帯域を強調する輪郭強調処理を行うことを特徴とする内視鏡システム。
【請求項5】
請求項2乃至4のいずれかにおいて、
前記第1の観察モードは、
遠景観察モードであり、
前記第2の観察モードは、
近接観察モードであることを特徴とする内視鏡システム。
【請求項6】
請求項1において、
前記撮像画像から病変位置を検出する病変位置検出部を含み、
前記観察モード設定部は、
前記病変位置が検出された場合には、前記観察モードを前記第2の観察モードに設定することを特徴とする内視鏡システム。
【請求項7】
請求項6において、
前記画像処理部は、
白色光の波長帯域に比べて狭帯域である特定波長帯域における情報を有した被写体像を含む第1の撮像画像を取得し、
前記病変位置検出部は、
前記第1の撮像画像に基づいて、前記病変位置を検出することを特徴とする内視鏡システム。
【請求項8】
請求項6において、
所定の位置に焦点を合わせるフォーカス位置制御部を含み、
前記フォーカス位置制御部は、
前記観察モードが前記第2の観察モードである場合に、焦点位置の制御を行うことを特徴とする内視鏡システム。
【請求項9】
請求項8において、
前記フォーカス位置制御部は、
予め決められた固定の位置に焦点を合わせることを特徴とする内視鏡システム。
【請求項10】
請求項8において、
前記フォーカス位置制御部は、
前記病変位置に焦点を合わせることを特徴とする内視鏡システム。
【請求項11】
請求項6において
所定の位置に焦点を合わせるフォーカス位置制御部を含み、
前記画像処理部は、
白色光の波長帯域に比べて狭帯域である特定波長帯域における情報を有した被写体像を含む第1の撮像画像と、白色光の波長帯域における情報を有した被写体像を含む第2の撮像画像を取得し、
前記第2の撮像画像は、
前記第1の撮像画像において検出された前記病変位置を含む画像であり、
前記フォーカス位置制御部は、
前記第2の撮像画像の所定領域のコントラストに基づいて焦点を合わせることを特徴とする内視鏡システム。
【請求項12】
請求項11において、
撮像された画像を拡大表示する電子ズーム部を含み、
前記電子ズーム部は、
前記第2の撮像画像において、前記フォーカス位置制御部が焦点を合わせた前記病変位置を含む周辺領域を所定倍率で拡大表示することを特徴とする内視鏡システム。
【請求項13】
請求項1において、
前記画像処理部は、
白色光の波長帯域に比べて狭帯域である特定波長帯域における情報を有した被写体像を含む第1の撮像画像と、白色光の波長帯域における情報を有した被写体像を含む第2の撮像画像を取得することを特徴とする内視鏡システム。
【請求項14】
請求項13において、
前記第1の撮像画像及び前記第2の撮像画像は生体内を写した生体内画像であり、
前記生体内画像に含まれる前記特定波長帯域は、血液中のヘモグロビンに吸収される波長帯域であることを特徴とする内視鏡システム。
【請求項15】
請求項14において、
前記特定波長帯域は、390ナノメータ〜445ナノメータ、または530ナノメータ〜550ナノメータであることを特徴とする内視鏡システム。
【請求項16】
請求項13において、
前記第1の撮像画像及び前記第2の撮像画像は生体内を写した生体内画像であり、
前記生体内画像に含まれる前記特定波長帯域は、蛍光物質が発する蛍光の波長帯域であることを特徴とする内視鏡システム。
【請求項17】
請求項16において、
前記特定波長帯域は、490ナノメータ〜625ナノメータの波長帯域であることを特徴とする内視鏡システム。
【請求項18】
請求項13において、
前記第1の撮像画像及び前記第2の撮像画像は生体内を写した生体内画像であり、
前記生体内画像に含まれる前記特定波長帯域は、赤外光の波長帯域であることを特徴とする内視鏡システム。
【請求項19】
請求項18において、
前記特定波長帯域は、790ナノメータ〜820ナノメータ、または905ナノメータ〜970ナノメータの波長帯域であることを特徴とする内視鏡システム。
【請求項20】
被写体の観察モードを設定し、
前記観察モードが第1の観察モードである場合は、絞り値として、光学系の絞りによる回折限界により決まる解像度が、撮像素子により決まる解像度よりも低くなる第1の絞り状態を選択し、
前記観察モードが第2の観察モードである場合は、前記絞り値として、前記光学系の絞りによる回折限界により決まる解像度が、前記撮像素子により決まる解像度と同等以上になる第2の絞り状態を選択することを特徴とする制御方法。
【請求項21】
光学系と撮像素子を有する撮像部と、
被写体の観察モードを設定する観察モード設定部と、
前記観察モード設定部によって設定された前記観察モードに基づいて、絞り値を選択制御する絞り制御部と、
を含み、
前記絞り制御部は、
前記観察モードが第1の観察モードである場合は、前記絞り値として、前記光学系の絞りによる回折限界により決まる解像度が、前記撮像素子により決まる解像度に比べて低くなる第1の絞り状態を選択し、
前記観察モードが第2の観察モードである場合は、前記絞り値として、前記光学系の絞りによる回折限界により決まる解像度が、前記撮像素子により決まる解像度と同等以上になる第2の絞り状態を選択することを特徴とする撮像装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate

【図27】
image rotate

【図28】
image rotate


【公開番号】特開2011−193983(P2011−193983A)
【公開日】平成23年10月6日(2011.10.6)
【国際特許分類】
【出願番号】特願2010−62887(P2010−62887)
【出願日】平成22年3月18日(2010.3.18)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】