内視鏡装置及びプログラム
【課題】 拡大観察において、合焦状態と同等の少ないボケ量でかつ、ノイズ増大を抑えた表示画像を時系列表示することを可能とする内視鏡装置及びプログラム等を提供すること。
【解決手段】 内視鏡装置は、通常観察状態に比べて光学系の拡大倍率が高倍率である拡大観察状態における撮像画像を時系列的に取得する画像取得部（画像構成処理部３１０）と、 前記拡大観察状態における前記撮像画像からボケ量情報を抽出するボケ量情報抽出部（テクスチャ抽出部３２０）と、抽出した前記ボケ量情報に基づいて前記撮像画像を補正するボケ量補正部（テクスチャ補正量算出部３４０、テクスチャ補正部３６０及び合成部３７０）と、を含む。
【解決手段】 内視鏡装置は、通常観察状態に比べて光学系の拡大倍率が高倍率である拡大観察状態における撮像画像を時系列的に取得する画像取得部（画像構成処理部３１０）と、 前記拡大観察状態における前記撮像画像からボケ量情報を抽出するボケ量情報抽出部（テクスチャ抽出部３２０）と、抽出した前記ボケ量情報に基づいて前記撮像画像を補正するボケ量補正部（テクスチャ補正量算出部３４０、テクスチャ補正部３６０及び合成部３７０）と、を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、内視鏡装置及びプログラム等に関する。
【背景技術】
【０００２】
従来、内視鏡診断において体腔内の病変検出精度を向上させたいという要求があり、病変部と正常部の組織上の違いを顕微鏡相当の倍率で拡大観察することで検出精度向上を達成する拡大光学系を備えた内視鏡（以降、拡大内視鏡と記す）が一般的に知られている。
【０００３】
このような拡大内視鏡は数十倍から数百倍の倍率を有したものがあり、染色散布や、狭帯域照明光による血管強調画像（ＮＢＩ画像とも呼ぶ）との併用により、粘膜表層の微細な構造や血管走行のパターンを観察することができる。病変部と正常部ではこれらのパターンに違いが表れることが知られており、病変診断の１つの判定基準になっている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１０−１６５３６５号公報
【特許文献２】特開２００３−１４００３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところが、このような拡大観察を行なうと高倍率になるにつれ被写界深度は通常観察時に比べて極端に狭くなる。そうなると被写体に対する内視鏡挿入部（以降、スコープ、或いは撮像部と記す）の先端位置を合焦範囲内に保持させ続ける事は難しく、常に合焦した状態の画像を観察し続けるにはかなりの熟練を要するのが現状である。
【０００６】
このような拡大観察時の合焦に伴うスコープ位置合わせ作業時間が増加すると、全体の診断時間が長時間に及んでしまう。結果、ドクターの疲労と共に患者の負担も大きくなるという課題が発生する。
【０００７】
このような課題を解決する方法としては、特許文献１で、１つの画像内で深度範囲外と想定される領域を設定しボケ回復処理を施して、深度拡大を実現するというものがある。この方法は管腔中を内視鏡で観察しているときに距離検出を行い、所定距離範囲領域に対するボケ回復処理を行うというものである。この方法の欠点は距離検出が必要であり、距離検出精度が低いとボケ領域の判定に誤りが発生し、更に使用しているボケ回復処理はデコンボリューション等を用いているので、ボケ領域誤判定に伴う過補正やノイズ増幅を懸念させる。
【０００８】
もう１つの解決する方法としては、特許文献２にあるように、拡大観察時にオートフォーカスを行うというものである。このオートフォーカス処理はコントラスト値を用いてピント制御を行う為、常にピントが合うわけではなく、時系列的に合焦画像とボケ画像が短期間に交互に繰り返し表示される。このようなオートフォーカス処理はフレームレートが十分速い場合は合焦画像とボケ画像が周期的に繰り返されてもほとんど識別できず問題とならないが、フレームレートが遅くなると目に付くようになるという欠点がある。
【０００９】
本発明の幾つかの態様によれば、拡大観察において、合焦状態と同等の少ないボケ量でかつ、ノイズ増大を抑えた表示画像を時系列表示することを可能とする内視鏡装置及びプログラム等を提供することができる。
【００１０】
また、本発明の幾つかの態様によれば、時系列でボケ量の変化が小さな高精細画像を表示できるので、視認性向上により病変診断時間を短縮でき、患者への負担を軽減することができる内視鏡装置及びプログラム等を提供することができる。
【課題を解決するための手段】
【００１１】
本発明の一態様は、通常観察状態に比べて光学系の拡大倍率が高倍率である拡大観察状態における撮像画像を時系列的に取得する画像取得部と、前記拡大観察状態における前記撮像画像からボケ量情報を抽出するボケ量情報抽出部と、抽出した前記ボケ量情報に基づいて前記撮像画像を補正するボケ量補正部と、を含む内視鏡装置に関係する。
【００１２】
本発明の一態様では、拡大観察状態における撮像画像のボケ量情報に基づいて撮像画像を補正する。ボケ量情報に基づく処理のため、ボケの影響を強く受ける領域等のボケ回復処理が必要な領域に対して効率的に補正処理を行い、その他の領域に対しては補正処理を行わないことができる。よって、ユーザーに対して違和感のないボケ補正画像を提供することができる。
【００１３】
本発明の他の態様は、通常観察状態に比べて光学系の拡大倍率が高倍率である拡大観察状態における撮像画像を時系列的に取得する画像取得部と、前記拡大観察状態における前記撮像画像からボケ量情報を抽出するボケ量情報抽出部と、抽出した前記ボケ量情報に基づいて前記撮像画像を補正するボケ量補正部として、コンピュータを機能させるプログラムに関係する。
【図面の簡単な説明】
【００１４】
【図１】本実施形態の内視鏡装置のシステム構成例。
【図２】画像処理部の構成例。
【図３】テクスチャ抽出部の構成例。
【図４】図４（Ａ）〜図４（Ｃ）は振幅範囲に応じて抽出する周波数範囲が変化することを説明する図。
【図５】テクスチャ補正量算出部の構成例。
【図６】ズームレバーによる観察状態の切り替え及び基準振幅値の更新処理を説明する図。
【図７】図７（Ａ）〜図７（Ｃ）はＺ方向のズレと補正量の関係を説明する図。
【図８】色フィルタのフィルタ透過率。
【図９】回転フィルタの構成例。
【図１０】本実施形態の内視鏡装置の他のシステム構成例。
【図１１】コントラスト法によるオートフォーカス処理の模式図。
【図１２】画像処理部の他の構成例。
【図１３】テクスチャ抽出部の他の構成例。
【図１４】図１４（Ａ）、図１４（Ｂ）はサブバンド画像の分割例。
【図１５】テクスチャ補正量算出部の他の構成例。
【図１６】テクスチャ補正部の構成例。
【図１７】合焦位置算出部の構成例。
【図１８】振幅ゲイン量に対する補正量の関係を説明する図。
【図１９】図１９（Ａ）〜図１９（Ｃ）は光学系の観察倍率と抽出する周波数範囲の関係を説明する図。
【発明を実施するための形態】
【００１５】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００１６】
１．本実施形態の手法
まず、本実施形態の手法について説明する。上述したように、本実施形態の手法によれば、合焦状態と同等の少ないボケ量の画像を、ノイズを増大させずに取得することが可能になる。
【００１７】
数十〜数百倍の観察倍率を用いる拡大観察モードにおいては、被写界深度が非常に狭くなってしまい、ピントがあった画像を取得することが困難である。そこで、ピントが合わず、ボケてしまった画像に対して、画像処理的にボケ回復処理を施すことで、合焦状態と同等の少ないボケ量の画像を取得する。
【００１８】
本実施形態の手法について説明する。本実施形態の画像取得部（画像構成処理部３１０）で取得される画像は、拡大観察によりピントを合わせることが困難であるため、ボケた画像となっている。この際、ボケの影響が大きく現れるのは、生体の粘膜表面や血管構造等の、微小な階調変化を示す領域であり、ヒダのような大きな階調変化を示す領域ではボケの影響は少ない。つまり、ピントボケによる粘膜や血管等の微細構造画像の振幅低減の影響によるところが大きい。よって、撮像画像から粘膜や血管等の微細構造画像（本実施形態ではテクスチャ画像、或いは、所定周波数帯域画像と呼ぶ）を抽出する。
【００１９】
そして、抽出したテクスチャ画像に対して、低減されてしまった振幅値を増強する（例えば信号値を増幅させる）ような補正処理を行う。その上で、画像取得部で取得された画像（ボケた画像）である撮像画像と、補正処理を行ったテクスチャ画像とを合成することで、診断に有用であるテクスチャが合焦状態となるように補正した画像を取得する。このようにすることで、ボケの影響を強く受ける領域に対してはボケ回復処理を行うとともに、ボケの影響が少ない領域やノイズ成分等にはボケ回復処理を行わないため、見た目に違和感の少ないボケ補正画像を取得することができる。つまり、診断に有用であるテクスチャに対して重点的にボケ回復処理を施した画像を取得することが可能となる。
【００２０】
以下、第１の実施形態では、２段のバイラテラルフィルタを用いることで、テクスチャ画像を抽出する手法について説明する。本実施形態においては、ヒダ等の構造は除いて、粘膜表面や血管等の画像を抽出する必要がある。そのため、適用するフィルタは周波数特性（例えばハイパスやバンドパス等）だけでなく、振幅特性も持つことになる。ここで、振幅とは注目画素の画素値と周辺画素の画素値から求められ、ヒダは振幅値が大きく、粘膜や血管等は振幅値が小さくなる。なお、小振幅〜微小振幅に対応する振幅値を持ち、かつ、所定周波数範囲にある画像を取得できればよく、そのためのフィルタはバイラテラルフィルタに限定されるものではない。
【００２１】
また、第２の実施形態では、テクスチャ画像の抽出を、図１４（Ａ）、図１４（Ｂ）のようにサブバンド画像を用いて行う。また、第２の実施形態においては、画像処理的なボケ回復処理にとどまらず、光学的なオートフォーカス処理も行うことで、ボケ量の少ない画像を取得することが特徴となっている。
【００２２】
２．第１の実施形態
２．１ 構成
図１は第１の実施形態の内視鏡装置の全体構成を示すブロック図である。本発明を構成する内視鏡装置は光源部１００と撮像部２００とプロセッサ部３００と表示部４００と外部Ｉ／Ｆ部５００からなる。
【００２３】
光源部１００は白色光源１０１と、白色光源１０１からの照明光をライトガイドファイバ２０１の入射端面に集光させる集光レンズ１０４とからなる。
【００２４】
撮像部２００は例えば体腔への挿入を可能にするため細長くかつ湾曲可能に形成されている。撮像部２００には、光源部１００で集光された光を導くためのライトガイドファイバ２０１と、ライトガイドファイバ２０１により先端まで導かれた光を拡散させて観察対象に照射する照明レンズ２０２と、観察対象から戻る反射光を集光する対物レンズ２０３と、焦点位置制御部２０６と、焦点位置調整レンズ２０７と、集光した結像光を検出するための撮像素子２０９と、撮像素子２０９からの光電変換されたアナログ信号をデジタル信号に変換するＡ/Ｄ変換部２１０を備えている。ここで上記撮像素子２０９は色フィルタが所定の配列で各画素に配置された単板撮像素子（補色や原色）とし、ＣＣＤやＣＭＯＳ等が利用できる。
【００２５】
プロセッサ部３００は画像処理部３０１と制御部３０２とから構成される。表示部４００はＣＲＴや液晶モニタ等の動画表示可能な表示装置である。
【００２６】
外部Ｉ／Ｆ部５００は、この内視鏡装置に対するユーザーからの入力等を行うためのインターフェースであり、電源のオン／オフを行うための電源スイッチ、撮影操作を開始するためのシャッタボタン、撮影モードやその他各種のモードを切り換えるためのモード切換ノブ（例えば図６に示すズームレバーを拡大観察モードとなる側に動かす事で焦点位置調整レンズを移動し、より近接位置での合焦状態を得る）などを含んで構成されている。そして、この外部Ｉ／Ｆ部５００は、入力された情報を制御部３０２へ出力するようになっている。
【００２７】
次に撮像部２００の構成要素である焦点位置制御部２０６と焦点位置調整レンズ２０７と制御部３０２の関係についてその詳細を説明する。まず本実施例の内視鏡装置が有する観察倍率が異なる２つの観察モードについて説明する。
【００２８】
２つの観察モードは通常観察モードと拡大観察モードがあり、通常観察モードはパンフォーカスの広視野画像で主にスクリーニング検査を行うモードである。拡大観察モードはスクリーニング検査で見つかった病変部に近接してその粘膜構造や血管走行状態等を拡大観察する事で病変部が悪性であるか否かを精査する精査モードである。
【００２９】
このような２つのモードを切り替える為に制御部３０２は、外部Ｉ／Ｆ部５００の図６に示すズームレバーに対する操作に基づき焦点位置制御部２０６に焦点位置調整制御信号を送信する。焦点位置制御部２０６では受信した前記制御信号に基づき焦点位置調整レンズ２０７の移動を制御する。
【００３０】
続いて焦点位置制御部２０６の拡大観察モード時の具体的な制御とユーザー操作について説明する。
【００３１】
拡大観察モードを選択した場合には、近接状態で合焦する予め決定された所定の焦点位置となるように焦点位置制御部２０６を介して焦点位置調整レンズ２０７を移動させることになる。拡大観察へスムーズに移行する１つの操作手順例としてはまず通常観察モードで合焦状態を維持しながら観察対象にできるだけ近接させる。この時点でユーザーが外部Ｉ／Ｆ部５００のズームレバーを操作し拡大観察モードに切り替える。この状態からズームレバーを操作し倍率を連続的（或いは段階的）に変化させ、それと共に、深度が狭くなるのでスコープをより観察対象に漸近させてピントを合わせる。このような作業により所望の倍率と合焦状態が獲得できる。
【００３２】
つまりユーザーは倍率が上がるにつれてスコープ先端を微妙な距離感で観察対象に近づけるという高度な操作をしないとボケ画像を観察する事となり、精査したい観察対象を拡大観察中、常に画面内にピントが合った状態でフレーミングし続けるのは非常に難しい作業である。
【００３３】
一方、通常観察モードを選択した場合はスクリーニング検査を行うのに十分な画角と被写界深度を得る為の焦点位置となるように焦点位置制御部２０６を介して焦点位置調整レンズ２０７を移動させることとなる。この場合は、常に合焦状態にあるのでユーザーは観察対象にスコープ先端を移動させるだけで観察する事ができ、複雑で微妙な操作を強いる事はない。
【００３４】
続いてプロセッサ部３００を構成する画像処理部３０１の詳細を図２のブロック図に基づいて説明する。
【００３５】
画像処理部３０１は画像構成処理部３１０、テクスチャ抽出部３２０、テクスチャ補正量算出部３４０、テクスチャ補正部３６０、合成部３７０から構成される。
【００３６】
続いて各構成部間のデータの流れを説明する。Ａ/Ｄ変換部２１０から出力された時系列撮像画像は画像構成処理部３１０に入力される。画像構成処理部３１０には更に制御部３０２が接続されており、制御部３０２に予め保存されている処理パラメータ（ＯＢクランプ値、ＷＢ係数、色補正係数、階調変換テーブル、輪郭強調レベル等）が画像構成処理部３１０に入力される。それらの処理パラメータに基づき画像構成処理部３１０は入力された時系列撮像画像から表示装置にて観察可能な時系列表示画像を生成し、テクスチャ抽出部３２０、及び合成部３７０へ出力する。
【００３７】
テクスチャ抽出部３２０は画像構成処理部３１０から出力される時系列表示画像が入力され、制御部３０２からは外部Ｉ／Ｆ部５００でユーザー指定された観察モード信号（拡大観察モードか通常観察モードかを示す情報）と、更に撮像部２００の倍率情報が入力される。テクスチャ抽出部３２０ではまず観察モードが拡大観察モードとなった時点で動作し、入力される時系列表示画像の各フレームに対してテクスチャ画像を抽出する。ここでテクスチャ画像は、観察対象である生体表面の微細な粘膜構造や血管等に対応する微小階調変化画像であり、粘膜表層で照明光が正反射した領域や、ヒダ等の大きな階調変化を呈する部分は極力取り除いた画像である。テクスチャ抽出部３２０の詳細については後述する。
【００３８】
テクスチャ抽出部３２０で抽出されたテクスチャ画像は、テクスチャ補正量算出部３４０に入力され、制御部３０２からの観察モード信号とテクスチャ基準閾値とテクスチャ画像の振幅値に基づきテクスチャ画像に対する補正量が算出される。算出した補正量はテクスチャ補正部３６０へ出力される。ここでテクスチャ基準閾値はテクスチャ補正量算出部３４０で時系列的に算出される複数のテクスチャ画像の振幅値から基準振幅値を選定する為の判定閾値である。また補正量は、現時点で抽出されたテクスチャ画像の振幅値が基準振幅値と同一の大きさとなる振幅ゲイン量に基づき算出される。但し、この振幅ゲイン量が所定閾値以上に大きくなる場合は、抽出されているテクスチャ画像内に有意な情報が無くピンボケ状態にあるとして補正量を０に修正する。ここで補正量は図１８に示すように振幅ゲイン量に対する２つの閾値Ｔｈ１とＴｈ２を設けてこの２つの閾値間で徐々に補正量を小さくするような連続的変化を与えても良い。テクスチャ補正量算出部３４０の詳細については後述する。
【００３９】
テクスチャ補正部３６０は入力されるテクスチャ画像と前記補正量とを乗算し、補正テクスチャ画像を生成して合成部３７０へ出力する。
【００４０】
合成部３７０には画像構成処理部３１０から出力される時系列表示画像とテクスチャ補正部３６０から出力される前記時系列表示画像に対応する補正テクスチャ画像とが入力され、制御部３０２の観察モード信号が拡大観察モード時である場合に前記２つの画像が加算されて、ボケ補正画像を生成する。
【００４１】
ボケ補正画像は表示部４００に出力され、ボケ補正された画像が表示される。また観察モードが通常観察モード時は、時系列表示画像が補正テクスチャ画像と加算されずにそのまま表示部４００へ出力される。
【００４２】
２．２ ボケ量情報抽出部の詳細な構成
続いてボケ量情報抽出部の詳細について説明する。本実施形態においては、ボケ量情報抽出部は、図２のテクスチャ抽出部３２０に相当する。
【００４３】
テクスチャ抽出部３２０の詳細について図３のブロック図に基づいて説明する。テクスチャ抽出部３２０は領域抽出部３２１、フィルタ係数算出部３２２、フィルタ処理部３２３、ノイズ量推定部３２４、減算処理部３２５、領域抽出部３２６、フィルタ係数算出部３２７、フィルタ処理部３２８、フィルタパラメータ制御部３２９から構成されている。
【００４４】
続いて各構成部間のデータの流れを説明する。制御部３０２から出力された観察モード信号と倍率情報がフィルタパラメータ制御部３２９へ入力され、フィルタ係数生成用パラメータに変換される。変換されたフィルタ係数生成用パラメータはフィルタ係数算出部３２２とノイズ量推定部３２４へ出力される。
【００４５】
画像構成処理部３１０から出力された時系列表示画像は領域抽出部３２１へ入力され、注目画素とその周辺ｐ×ｑ画素領域（ｐとｑは任意の正整数）が抽出されて、フィルタ係数算出部３２２とフィルタ処理部３２３へ出力される。ここで撮像された時系列表示画像の時刻がｔ、２次元座標が（ｘ,ｙ）からなる３次元座標での画素値をＰ（ｘ,ｙ,ｔ）とし、またフィルタ処理を行う注目画素は、その３次元座標を（ｘ０,ｙ０,ｔ）とする。また時系列表示画像はカラー画像であるので、画素値Ｐ（ｘ,ｙ,ｔ）はＲ、Ｇ、Ｂの３チャンネルで構成される３次元ベクトルとなる。
【００４６】
フィルタ係数算出部３２２はフィルタパラメータ制御部３２９から出力されるフィルタ係数生成用パラメータに基づきフィルタ係数を算出する。ここで入力されるフィルタ係数生成用パラメータは前記ｐ×ｑ画素領域の注目画素と周辺画素の画素値の差の絶対値をフィルタ係数に変換制御する為の量である。例えば、式（１）に示す２つのガウス関数の積で構成されるバイラテラルフィルタを用いた場合、注目画素とその周辺画素の画素値の差の絶対値に対する指標値σ１ｓがフィルタ係数生成用パラメータとなる。
【００４７】
ここでフィルタ係数Ｆ１（ｘ,ｙ,ｔ）は下式（１）で表され、Σｘｙはｐ×ｑ画素領域内の総和を、Ｐｆ（ｘ０,ｙ０,ｔ）はフィルタ処理後の画素値を示す。
【数１】
【００４８】
フィルタ処理部３２３は領域抽出部３２１から出力されたｐ×ｑ画素領域の画素値Ｐ（ｘ,ｙ,ｔ）とフィルタ係数算出部３２２から出力されるフィルタ係数Ｆ１（ｘ,ｙ,ｔ）によりフィルタ処理を行い、フィルタ処理後の画素値Ｐｆ（ｘ０,ｙ０,ｔ）を下式（２）で算出する。算出結果は減算処理部３２５とノイズ量推定部３２４へ出力される。
【数２】
【００４９】
減算処理部３２５には画像構成処理部３１０から出力される時系列表示画像の画素値Ｐ（ｘ０,ｙ０,ｔ）とフィルタ処理部３２３から出力されるフィルタ処理後の画素値Ｐｆ（ｘ０,ｙ０,ｔ）が入力され、Ｐ（ｘ０,ｙ０,ｔ）からＰｆ（ｘ０,ｙ０,ｔ）を減算した差分値Ｄ（ｘ０,ｙ０,ｔ）を算出し、算出した差分値Ｄ（ｘ０,ｙ０,ｔ）で構成される差分画像を一時保存する。保存された差分画像は領域抽出部３２６に出力される。
【００５０】
ノイズ量推定部３２４はフィルタパラメータ制御部３２９からフィルタ係数生成用パラメータとして出力されるノイズ量推定モデル（画素値をノイズ量に変換する関数）と、フィルタ処理部３２３からのフィルタ処理後の画素値Ｐｆ（ｘ０,ｙ０,ｔ）が入力され、Ｐｆ（ｘ０,ｙ０,ｔ）に対応するノイズ量Ｎ（ｘ０,ｙ０,ｔ）を推定する。推定ノイズ量Ｎ（ｘ０,ｙ０,ｔ）はフィルタ係数算出部３２７へ出力される。
【００５１】
ここでノイズ量推定モデルは所定領域内で均一な明るさとなる複数の反射率を持つグレーチャートを撮影し、画像構成処理部３１０から出力される時系列表示画像のグレーチャート内の前記所定領域の画素値Ｐ（ｘ,ｙ,ｔ）の平均値と標準偏差σを各々算出して求めたものである。これら複数の平均値と標準偏差から、定義域として取り得る各画素値とノイズ量（例えば標準偏差をノイズ量とする）のより詳細な対応関係は多項式近似曲線でフィッティングした関数で求め、実装時は例えばその関数を折れ線近似やルックアップテーブル化したものを使用する。
【００５２】
領域抽出部３２６は減算処理部３２５から出力される差分画像に対して注目画素の周辺ｖ×ｗ画素領域（ｖとｗは任意の正整数）を抽出し、フィルタ係数算出部３２７、及びフィルタ処理部３２８へ出力する。
【００５３】
フィルタ係数算出部３２７はノイズ量推定部３２４から出力されるノイズ量Ｎ（ｘ０,ｙ０,ｔ）に基づいて前記ｖ×ｗ画素領域の注目差分画素値Ｄ（ｘ０,ｙ０,ｔ）と周辺差分画素値Ｄ（ｘ,ｙ,ｔ）の差の絶対値に基づきフィルタ係数を算出する。ここでノイズ量Ｎ（ｘ０,ｙ０,ｔ）はフィルタ係数への変換制御量となる。式（３）に示すバイラテラルフィルタを用いると、注目差分画素値とその周辺差分画素値の差の絶対値に対する指標値σ２ｓを下式（３）に示すようにノイズ量Ｎ（ｘ０,ｙ０,ｔ）に対応させる。
【数３】
【００５４】
フィルタ処理部３２８は領域抽出部３２１から出力されたｖ×ｗ画素領域の差分画素値Ｄ（ｘ,ｙ,ｔ）とフィルタ係数算出部３２７から出力されるフィルタ係数Ｆ２（ｘ,ｙ,ｔ）によりフィルタ処理を行い、フィルタ処理後の差分画素値Ｄｆ（ｘ０,ｙ０,ｔ）を下式（４）で算出する。算出結果はテクスチャ補正量算出部３４０へ出力される。
【数４】
【００５５】
上記２つのバイラテラルフィルタＦ１（ｘ,ｙ,ｔ）とＦ２（ｘ,ｙ,ｔ）の特性とテクスチャ抽出についての考え方を図４（Ａ）〜図４（Ｃ）に基づいて説明する。
【００５６】
まずフィルタＦ１（ｘ,ｙ,ｔ）のフィルタ係数を制御する指標値σ１ｓは、フィルタＦ２（ｘ,ｙ,ｔ）の指標値σ２ｓに対して十分大きい値に設定する。
【００５７】
フィルタ係数の大きさを主に決定する第２項の画素値差|Ｐ（ｘ,ｙ,ｔ）-Ｐ（ｘ０,ｙ０,ｔ）|、或いは差分画素値差|Ｄ（ｘ,ｙ,ｔ）-Ｄ（ｘ０,ｙ０,ｔ）|の大きさが指標値σ１ｓに対して同等レベル以下で且つ指標値σ２ｓより大きな画素値差の領域ではフィルタＦ１（ｘ,ｙ,ｔ）の周波数特性は図４（Ｂ）の８０４に示すようにローパス特性が強い。また、フィルタＦ２（ｘ,ｙ,ｔ）の周波数特性は図４（Ｂ）の８０３に示すようにローパス特性が弱くなる。この結果、２つのフィルタ特性には大きな違いが発生する。
【００５８】
一方、上記画素値差よりも大きな画素値差が発生する領域ではフィルタＦ１（ｘ,ｙ,ｔ）の周波数特性は図４（Ａ）の８０２に示すようにローパス特性が弱く、フィルタＦ２（ｘ,ｙ,ｔ）の周波数特性は図４（Ａ）の８０１に示すように更にローパス特性が弱くなるが、その差は小さい。
【００５９】
更に、画素値差が指標値σ２ｓよりも小さな領域ではフィルタＦ１（ｘ,ｙ,ｔ）の周波数特性は図４（Ｃ）の８０６に示すようにローパス特性が強い。また、フィルタＦ２（ｘ,ｙ,ｔ）の周波数特性も図４（Ｃ）の８０５に示すようにローパス特性が強くなり、この場合も２つのフィルタ特性のその差は小さい。
【００６０】
このように２つのバイラテラルフィルタの画素値差（振幅値）の大きさに伴う周波数特性の違いを利用し、所定の小さな画素値差を持つ領域のテクスチャを抽出する。
【００６１】
つまり画素値差が小さなテクスチャ領域では減算処理部３２５から出力される差分画像の周波数帯域は周波数特性８０４以外のハイパス特性となる。このハイパス特性の信号はフィルタ処理部３２８で、周波数特性８０３のようにより高周波のみをカットすることになるので、フィルタ処理部３２８から出力される信号は周波数特性８０３と周波数特性８０４に挟まれた広帯域バンドパス特性の周波数特性を持つ事になる。この特性を、観察対象となる粘膜構造や血管走行パターンが持つ周波数帯域に合わせる事で狙ったテクスチャの抽出が可能となる。
【００６２】
一方、画素値差が大きな正反射領域やヒダ等の大きな構造境界では、減算処理部３２５から出力される信号の帯域は周波数特性８０２以外のハイパス特性となる。このハイパス特性の信号はフィルタ処理部３２８で周波数特性８０１により同等の高周波をカットする事になるので、フィルタ処理部３２８から出力される信号はほとんど通過する帯域が無く正反射領域やヒダ等の大きなエッジ構造をカットすることができる。
【００６３】
更に、画素値変化が非常に小さな領域にあるノイズ成分（ここで、ノイズ量に伴う変化は、上記テクスチャ領域の画素値変化よりも十分小さいものとする）については、図４（Ｃ）に示すように２つのフィルタ特性に差が出ないので、フィルタ処理部３２８から出力される信号はほとんど通過する帯域が無く、ノイズ成分をカットすることができる。
【００６４】
結果として画素値差が小さなテクスチャ画像のみがテクスチャ抽出部３２０から出力される事になる。抽出するテクスチャ画像の周波数特性と振幅特性は２つの指標値σ１ｓとσ２ｓを用いて制御する事ができる。
【００６５】
特に外部Ｉ／Ｆ部５００のズームレバーを操作し時系列表示画像の倍率を連続的（或いは段階的）に変化させるのと連動して、その倍率情報が制御部３０２を経由してフィルタパラメータ制御部３２９に入力される事でフィルタパラメータ制御部３２９は上記２つの指標値σ１ｓとσ２ｓを制御し、それぞれの倍率に応じた生体構造をより的確にテクスチャ画像として抽出する事ができる。
【００６６】
例えば、図１９（Ａ）に示すように倍率が小の状態ではσ１ｓとσ２ｓをそれぞれ大きな値（但しσ１ｓ＞σ２ｓ）を指定して、対応するフィルタＦ１とＦ２の周波数特性をそれぞれ１５０２、１５０１として低周波帯域１５０７を抽出するテクスチャ画像とする。また、図１９（Ｂ）に示すように倍率が中程度の状態ではσ１ｓとσ２ｓを倍率が小さい状態よりもそれぞれ小さくし（但しσ１ｓ＞σ２ｓ）、対応するフィルタＦ１とＦ２の周波数特性をそれぞれ１５０４、１５０３として中周波帯域１５０８を抽出したテクスチャ画像とする。さらに、図１９（Ｃ）に示すように倍率が大の状態ではσ１ｓとσ２ｓを倍率が中程度の状態よりもそれぞれ更に小さくし（但しσ１ｓ＞σ２ｓ）、対応するフィルタＦ１とＦ２の周波数特性をそれぞれ１５０６、１５０５として高周波帯域１５０９を抽出したテクスチャ画像とする。
【００６７】
上記したように倍率により抽出するテクスチャ画像の周波数帯域を変更する理由は、低倍率では微妙な色変化を呈する発赤や退色調の大きな面積領域が重要であり、中倍率では腺管や血管走行パターンの構造が、そして高倍率ではより細かなピットパターンや粘膜表層の微細血管の構造が診断上重要となる為である。
【００６８】
２．３ ボケ量補正部の詳細な構成
続いてボケ量補正部について説明する。本実施形態においては、ボケ量補正部は、テクスチャ補正量算出部３４０、テクスチャ補正部３６０及び合成部３７０に相当する。
【００６９】
テクスチャ補正量算出部３４０について図５のブロック図に基づき説明する。テクスチャ補正量算出部３４０は振幅算出部３４１、基準振幅更新判定部３４２、基準振幅記憶部３４３、補正量算出部３４４、補正量制御部３４５から構成される。
【００７０】
続いて各構成部間のデータの流れを説明する。補正量制御部３４５は制御部３０２から出力される観察モード信号とテクスチャ基準閾値と補正量上限値、更に基準振幅記憶部３４３から現時点の基準振幅値が入力され、観察モード信号とテクスチャ基準閾値と基準振幅値に基づき基準振幅判定閾値を設定して基準振幅更新判定部３４２へ、更に補正量上限値が補正量算出部３４４へ出力される。
【００７１】
ここでテクスチャ基準閾値は撮像された時系列表示画像がボケている状態にあるかどうかを判定する基準値であり、撮像性能の違いにより変化するのでスコープの種類により異なる値が設定されている。この設定値は撮像部２００が保有する不図示のＲＯＭに前記基準値が記録されており、撮像部２００がプロセッサ部３００と接続された時点でプロセッサ部３００の制御部３０２に前記基準値が取り込まれる。テクスチャ画像の振幅値がテクスチャ基準閾値よりも小さい場合には、ボケの程度が強く、ボケ回復処理が行えないと判断することになる。
【００７２】
また、基準振幅値とは、補正の目標となる値のことである。基本的には、テクスチャ画像の振幅値を基準振幅値と同じ大きさにする補正処理を行うことで、ボケを補正することになる。ただし、例外的な処理もあるため、詳細は後述する。
【００７３】
また、基準振幅値判定閾値は上述の基準振幅値を選定する為の閾値で、観察モード信号が拡大観察モードに変化した時点ではテクスチャ基準閾値の値に設定し、それ以外は例えばテクスチャ基準閾値と基準振幅値の平均値を設定する。テクスチャ画像の振幅値が基準振幅値判定閾値を超えていることが、基準振幅値の更新の条件の１つになっている。
【００７４】
振幅算出部３４１はテクスチャ抽出部３２０から出力される時刻ｔで抽出されたテクスチャ画像に対する振幅値ＭＡ（ｔ）を算出する。ここで振幅値はテクスチャ画像を構成するテクスチャ画像の画素値の絶対値に対する最大値で定義しても良いし、テクスチャ画像の画素値の最大値と最小値の差で定義しても良い。算出された振幅値ＭＡ（ｔ）は基準振幅更新判定部３４２へ出力される。
【００７５】
基準振幅更新判定部３４２は振幅算出部３４１から出力される振幅値ＭＡ（ｔ）と補正量制御部３４５から出力される基準振幅判定閾値が入力され、基準振幅更新判定部３４２に格納済みの２つ前までの振幅値ＭＡ（ｔ-１）、ＭＡ（ｔ-２）に基づき、振幅値ＭＡ（ｔ）が新しい基準振幅値となるかどうかを判定する。
【００７６】
より詳しくは図６の模式図を使って説明する。まず拡大観察モードに切り替わった直後は、補正量制御部３４５はテクスチャ基準閾値を基準振幅判定閾値として基準振幅更新判定部３４２へ出力する。そのため、動きが大きくブレボケが発生している場合や観察対象に近づきすぎてピンボケになっている場合等の例外を除いて、観察モードへの切り替え時のテクスチャ画像の振幅値が基準振幅値として選定され基準振幅記憶部３４３に出力される。
【００７７】
それ以降の拡大観察モードが維持されている状態では、基準振幅判定閾値が前記したように例えばテクスチャ基準閾値と基準振幅値の平均値となるので、基準振幅値を更新する基準振幅判定閾値はより大きな値が設定される。そのため、頻繁に基準振幅値が更新されるのが抑制される。このような制御を行う理由は、基準振幅値が頻繁に変動するのを抑える事で、それに連動して変化する合成部３７０から出力されるボケ補正画像の時間的な解像感変動を抑制することにある。これにより見かけ上、合焦状態を維持できることになる。
【００７８】
一方、ユーザーは拡大観察時にスコープ先端を観察対象に近づけつつ、ズームレバーを動かして所望の倍率と合焦状態を維持するように内視鏡を操作するが、倍率を上げる程、被写界深度が狭くなるので合焦状態を維持できずに図６の時間と振幅値のグラフのように合焦状態とそうでない状態を繰り返す事となる。
【００７９】
このような状態に対して基準振幅更新判定部３４２は前記した３つの振幅値ＭＡ（ｔ）、ＭＡ（ｔ-１）、ＭＡ（ｔ-２）から期間ｔ-２〜ｔの間で振幅値が極大値を持つかどうかを判断する。これは例えば３つの振幅値に対して２次式でフィッティングしてこの期間内に極大値が存在するかを判断する事で行う。極大値が存在する場合は２次式で算出された極大値が基準振幅値の候補となり、次に基準振幅判定閾値と比較を行う。極大値が基準振幅判定閾値よりも大きい場合には基準振幅値として基準振幅記憶部３４３へ出力する。一方、極大値が基準振幅判定閾値以下である場合は、基準振幅値とは見なされず、基準振幅記憶部３４３へ出力されない。一方、極小値が検出された場合は基準振幅判定閾値との比較を行わず、基準振幅値の変更は行なわれない。
【００８０】
このように基準振幅値を更新する理由は、観察倍率の違いにより観察対象の粘膜構造や血管が低倍率では解像できていないものが見えてくる場合や、観察位置自体を拡大状態で変更した場合等、テクスチャ画像の時間的な特性変化に対応する為のものである。
【００８１】
基準振幅記憶部３４３は基準振幅更新判定部３４２から出力される基準振幅値が入力され、過去に記録した基準振幅値を最新の値に更新する。最新の基準振幅値は補正量制御部３４５と補正量算出部３４４に出力される。
【００８２】
補正量算出部３４４では、振幅算出部３４１から出力される時刻ｔの振幅値ＭＡ（ｔ）と基準振幅記憶部３４３から出力される基準振幅値ＲＭＡと補正量制御部３４５から出力される補正量上限値が入力され、振幅値ＭＡ（ｔ）が基準振幅値ＲＭＡと同じ大きさとなる振幅ゲイン量、及び２つの閾値Ｔｈ１、Ｔｈ２とから補正量を算出する。算出した補正量はテクスチャ補正部３６０へ出力される。
【００８３】
補正量＝振幅ゲイン量−１ ・・・・・（５）
但し、振幅ゲイン量≧１、且つ振幅ゲイン量＜Ｔｈ１
補正量＝補正量上限値−α×振幅ゲイン量＋β ・・・・・（６）
但し、振幅ゲイン量≧Ｔｈ１、且つ振幅ゲイン量＜Ｔｈ２
補正量＝０ ・・・・・（７）
但し、振幅ゲイン量＜１、或いは振幅ゲイン量≧Ｔｈ２
またＴｈ１＝補正量上限値＋１、Ｔｈ２＝Ｔｈ１＋基準振幅値／テクスチャ基準閾値
α＝振幅上限値／（Ｔｈ２-Ｔｈ１）
β＝α×Ｔｈ２−補正量上限値
振幅ゲイン量＝ＲＭＡ／ＭＡ（ｔ）
【００８４】
ここでテクスチャ画像の振幅値と補正量の関係を図７（Ａ）〜図７（Ｃ）の模式図で説明する。図７（Ａ）と（Ｂ）に示すようにスコープ先端と観察対象が合焦位置からＺ方向（ここでＺ方向とはスコープ先端に設けられた光学系の光軸方向）に深度範囲を超えた±Δのブレを伴っている場合、テクスチャ画像の振幅値は合焦位置で最も大きな値をとる。つまり拡大観察時では±Δのブレがあるとピントが合っている画像とピントが甘い画像を連続して観察している事になり、光学系の解像度を十分に引き出した時系列表示画像を観察できていない事になる。
【００８５】
そこで図７（Ｃ）のようにテクスチャ画像の振幅を合焦位置での大きさに揃えるように、Ｚ方向ブレに伴うテクスチャ画像の振幅値の低下を補正した補正テクスチャ画像がテクスチャ補正部３６０から出力される。合成部３７０で画像構成処理部３１０から出力される時系列表示画像に補正テクスチャ画像が加算されるので、合焦位置に無い場合でも完全にボケていなければ、生体表面の粘膜構造や血管などが描出されたテクスチャを保持した画像をユーザーに提供できる。
【００８６】
上記実施例では、テクスチャ抽出処理を最終表示画像に対して行うように記述したが、その必要はなく、この処理を画像構成処理部３１０内の強調処理に組み込む事も可能である。
【００８７】
上記実施例では、またテクスチャ抽出処理を２つのバイラテラルフィルタを用いて処理する例を示したがそれに限定されない。例えば特定周波数以上を抽出するハイパスフィルタや、バンドパスフィルタを用いて簡易的にテクスチャ画像を抽出しても良い。但し、この場合は照明光の被写体からの正反射に伴う輝点領域等、時間的に変動する急峻なエッジ部の除去処理（例えば単純なものとしては輝度レベルを画像平均値に基づき設定した閾値との判定処理とその判定領域の削除処理（例えばモルフォロジー処理等））により輝点領域をカットしてテクスチャ画像に対する補正量の影響を極力抑えると安定した制御ができる。
【００８８】
以上のように第１実施の形態によれば、拡大観察時の浅い深度においてＺ方向ブレによるボケの改善が行なわれ、病変部の精査をストレス無く短時間に行なうことができ、患者の負担も軽減することができる。
【００８９】
以上の本実施形態では、内視鏡装置は、拡大観察状態における撮像画像を時系列的に取得する画像取得部と、拡大観察状態における撮像画像からボケ量情報を抽出するボケ量情報抽出部と、抽出したボケ量情報に基づいて撮像画像を補正するボケ量補正部とを含む。
【００９０】
ここで、画像取得部は、図２における画像構成処理部３１０に相当する。ボケ量情報抽出部は、図２におけるテクスチャ抽出部３２０に相当する。ボケ量補正部は、図２におけるテクスチャ補正量算出部３４０と、テクスチャ補正部３６０及び合成部３７０に相当する。
【００９１】
また、拡大観察状態とは、通常観察状態に比べて光学系の拡大倍率が高倍率である観察状態のことであり、例えば、数十〜数百倍の倍率での観察状態のことである。本実施形態においては、光学系の拡大倍率が所定倍率以上の状態を拡大観察状態とする。
【００９２】
これにより、拡大観察が可能な内視鏡装置において、拡大観察時の撮像画像から、撮像画像がどの程度ぼけているかを表す情報であるボケ量情報を抽出し、抽出したボケ量情報に基づいて撮像画像を補正することが可能になる。上述したように、内視鏡装置の光学系の撮像倍率が高くなるほど、被写界深度は狭くなりピントのあった画像を取得することが難しくなる。しかし、内視鏡装置がユーザー（ドクター）による診断、処置のために用いられることに鑑みれば、常にピントのあった画像を取得することが望ましい。よって、本実施形態の手法により、ボケ回復処理を行うことは非常に有用である。また、どの程度撮像画像がぼけているかを表す情報であるボケ量情報に基づいて補正処理を行うため、過剰な補正処理（例えばノイズ成分も増強してしまう等）を行うことがなく、見た目に違和感のないボケ補正画像を取得することができる。
【００９３】
また、ボケ量情報抽出部は、撮像画像から所定周波数帯域成分の画像である所定周波数帯域画像（テクスチャ画像）を抽出する所定周波数帯域画像抽出部を含む。
【００９４】
ここで、所定周波数帯域画像抽出部は、図２におけるテクスチャ抽出部３２０に相当する。
【００９５】
これにより、ボケ量情報として、撮像画像の所定周波数帯域成分の画像を抽出することが可能になる。抽出の際の所定周波数を適切に設定することで、ボケの影響を強く受ける領域（例えば生体の粘膜表面や血管構造等の微小階調構造）を抽出し、かつ、ボケの影響をあまり受けない領域、もしくはノイズ成分に対応する領域を抽出しないといった処理ができる。そのため、補正処理を行いたい領域のみを適切に抽出することが可能になる。
【００９６】
また、周波数帯域画像抽出部は、撮像画像の振幅値を算出する撮像画像振幅算出部を含んでもよい。
【００９７】
ここで、撮像画像の振幅値とは、注目画素（振幅値を求めたい画素）の画素値と、注目画素の周辺の画素である周辺画素の画素値との差によって求められる。
【００９８】
また、撮像画像振幅算出部は、図３における領域抽出部３２１及びフィルタ係数算出部３２２に対応する。また、図３における領域抽出部３２６及びフィルタ係数算出部３２７にも対応する。実際には、領域抽出部３２１もしくは領域抽出部３２６において、注目画素に対する周辺画素の領域を求める。そして、フィルタ係数算出部３２２もしくはフィルタ係数算出部３２７において、フィルタ係数の算出の際に、注目画素と周辺画素の画素値の差を求めている。具体的には上述した式（１）の|Ｐ（ｘ,ｙ,ｔ）-Ｐ（ｘ０,ｙ０,ｔ）|や、式（３）の|Ｄ（ｘ,ｙ,ｔ）-Ｄ（ｘ０,ｙ０,ｔ）|に相当する。
【００９９】
これにより、撮像画像の振幅値を求めることが可能になる。そのため、振幅値に応じた処理が可能になり、振幅値の大きいヒダ等の構造を除外し、振幅値の小さい粘膜や血管等の構造に対応する画像を抽出することができる。
【０１００】
また、所定周波数帯域画像抽出部は、撮像画像振幅算出部により算出された振幅値が、第１の振幅範囲にある場合には所定周波数帯域画像の抽出を行わず、撮像画像振幅算出部により算出された振幅値が、第２の振幅範囲にある場合には所定周波数帯域画像の抽出を行う。
【０１０１】
ここで、第１の振幅範囲は例えば、図４（Ａ）に対応し、第２の振幅範囲は、図４（Ｂ）に対応する。つまり、第１の振幅範囲における振幅値は、第２の振幅範囲における振幅値よりも大きい。具体的には、第１の振幅範囲にある画像は生体表面のヒダに対応する画像であり、第２の振幅範囲にある画像は粘膜表面及び血管に対応する画像である。
【０１０２】
これにより、撮像画像の振幅値に応じた処理が可能になる。具体的には、振幅値が大きい第１の振幅範囲の画像は所定周波数帯域画像として抽出せず、振幅値が第１の振幅範囲より小さい第２の振幅範囲の画像は所定周波数帯域画像として抽出する。これにより、振幅値が大きいヒダ等の構造は抽出せず、振幅値の小さい粘膜や血管等の構造のみ抽出することができる。つまり、ボケの影響を強く受ける領域のみを抽出することができるため、効率的なボケ補正が可能になる。
【０１０３】
また、所定周波数帯域画像抽出部は、撮像画像振幅算出部により算出された振幅値が、第３の振幅範囲にある場合には所定周波数帯域画像の抽出を行わない。
【０１０４】
ここで、第３の振幅範囲は例えば、図４（Ｃ）に対応する。つまり、第３の振幅範囲における振幅値は、第２の振幅範囲における振幅値よりも小さい。具体的には、第３の振幅範囲にある画像はノイズに対応する画像である。
【０１０５】
これにより、撮像画像の振幅値に応じた処理が可能になる。具体的には、振幅値が第２の振幅範囲よりも小さい第３の振幅範囲の画像は所定周波数帯域画像として抽出しない。これにより、振幅値が粘膜や血管等よりも小さいノイズ成分に対応する画像は抽出しないようにできる。つまり、ノイズ成分まで増強することを抑止しつつ、ボケ回復処理を行うことが可能になる。
【０１０６】
また、所定周波数帯域画像は、振幅値が第２の振幅範囲にあり、かつ、周波数成分が第１の周波数範囲にある画像である。
【０１０７】
ここで、第１の周波数範囲とは、図４（Ｂ）におけるＣ１の範囲に対応し、第２の周波数範囲とは、図４（Ｂ）におけるＣ２の範囲に対応する。つまり、第１の周波数範囲における周波数は、第２の周波数範囲における周波数よりも高い。
【０１０８】
これにより、振幅範囲だけでなく、周波数においても特定の範囲のみを抽出し所定周波数帯域画像とすることが可能になる。この際、抽出する第１の周波数範囲を重点的に観察したい領域（かつ、ボケ補正を適切にかけたい領域）にあわせることで、効果的なボケ補正処理を行うことができる。
【０１０９】
また、所定周波数帯域画像抽出部は、内視鏡装置の光学系の倍率情報に基づいて、所定周波数帯域画像の抽出条件を制御する抽出条件制御部を含んでもよい。
【０１１０】
ここで、抽出条件制御部は、図３におけるフィルタパラメータ制御部３２９に相当する。
【０１１１】
これにより、光学系の倍率情報に基づいて、所定周波数帯域画像の抽出条件を制御することが可能になる。そのため、倍率に応じて観察対象となる生体構造が変化した場合にも、その変化にあわせて所定周波数帯域画像を適切に抽出することができる。
【０１１２】
また、図４（Ｂ）のＣ１、Ｃ２に示したように、第１の周波数範囲における周波数が、第２の周波数範囲における周波数に比べて高い周波数である場合に、第１の周波数範囲が第１の周波数閾値よりも大きく第２の周波数閾値よりも小さい周波数範囲であるとする。これは例えば、第１の周波数閾値が図４（Ｂ）のフィルタ８０４のカットオフ周波数に対応し、第２の周波数閾値がフィルタ８０３のカットオフ周波数に対応するケース等が考えられる（もちろん周波数閾値はフィルタのカットオフ周波数に限定されるものではない）。さらに、所定周波数帯域画像は周波数成分が第１の周波数範囲にある場合を考える。このとき、所定周波数帯域画像抽出部は、内視鏡装置の光学系の倍率情報により表される倍率が大きくなるほど、第１の周波数閾値と第２の周波数閾値を大きくしてもよい。
【０１１３】
これにより、図１９（Ａ）〜図１９（Ｃ）のような処理が可能になる。図１９（Ａ）〜図１９（Ｃ）に示したように、光学系の倍率が高くなるほど、抽出する周波数範囲である第１の周波数範囲を周波数の高い方向にシフトさせることができる。これにより、倍率に応じて、重要な観察対象に対応する周波数範囲を適切に抽出することが可能になる。具体的には、低倍率では微妙な色変化を呈する発赤や退色調の大きな面積領域が重要であり、中倍率では腺管や血管走行パターンの構造が、そして高倍率ではより細かなピットパターンや粘膜表層の微細血管の構造が重要となる。
【０１１４】
また、所定周波数帯域画像抽出部は、図３に示したように、第１のフィルタ処理部と、減算処理部３２５と、ノイズ量推定部３２４と、第２のフィルタ処理部とを含む。そして、第１のフィルタ処理部は第１のフィルタ処理を行い、減算処理部３２５は第１のフィルタ処理によって得られた画像と撮像画像との差分をとることで構造画像を生成する。ノイズ量推定部は構造画像に含まれているノイズ量を抽出条件に基づいて推定し、第２のフィルタ処理部は、構造画像からノイズを分離し所定周波数帯域画像を取得する。
【０１１５】
ここで、構造画像とは、撮像画像から所定周波数帯域画像（テクスチャ画像）を抽出する際に、中間的に生成される画像のことである。具体的には、図３において、画像構成部３１０から出力され、第１のフィルタ処理部（領域抽出部３２１）及び減算処理部３２５に入力される画像が撮像画像であり、第１のフィルタ処理部からの出力と撮像画像との差分を減算処理部３２５で求めることで得られる画像が構造画像となる。また、構造画像が第２のフィルタ処理部（領域抽出部３２６）に入力され、第２のフィルタ処理が行われた結果、第２のフィルタ処理部（フィルタ処理部３２８）から出力されるのが所定周波数帯域画像（テクスチャ画像）となる。
【０１１６】
これにより、２段のフィルタ処理により所定周波数帯域画像を抽出することが可能になる。具体的には第１段のフィルタで、第１のフィルタ処理を行い（さらに具体的な例は後述する）、第２段のフィルタでノイズ除去を行う。
【０１１７】
また、ボケ量情報抽出部は、撮像画像の振幅値を算出する撮像画像振幅算出部を含む。そして、第１のフィルタ処理部は、撮像画像振幅算出部で算出された振幅値が、第１の振幅範囲にある画像に対して、第１の周波数範囲及び第２の周波数範囲に対応する周波数成分を透過するローパスフィルタ処理を行う。また、第１のフィルタ処理部は、第２の振幅範囲にある画像に対して、第２の周波数範囲に対応する周波数成分を透過し、第１の周波数範囲に対応する周波数成分をカットするローパスフィルタ処理を行う。
【０１１８】
これにより、図４（Ａ）の８０２及び図４（Ｂ）の８０４に対応した処理が可能になる。つまり、振幅値が大きい（ヒダ等に対応する）画像に対しては、高周波成分まで残し、振幅値が小さい（粘膜表面や血管等に対応する）画像に対しては、高周波成分をカットする。第１のフィルタ処理後に、上述したように減算処理部により撮像画像との差分がとられるため、振幅値が大きい画像は第１の周波数範囲よりも高い周波数成分しか残らないのに対し、振幅値が小さい画像は第１の周波数範囲の周波数成分も残ることになる。
【０１１９】
また、第１のフィルタ処理部は、図３に示したように、撮像画像から注目画素の周辺の所定領域を抽出する領域抽出部３２１を含む。また、注目画素に対する周辺画素の空間距離及び画素値間距離（画素値の差）を算出し、抽出条件に基づいてフィルタ係数を算出するフィルタ係数算出部３２２を含む。さらに、領域抽出部３２１で抽出された所定領域と、フィルタ係数算出部３２２で算出されたフィルタ係数に基づいてフィルタ処理を行うフィルタ処理部３２３を含む。
【０１２０】
これにより、図３に示したような構造によりフィルタ処理を行うことが可能になる。具体的には、注目画素の周辺領域を抽出し、周辺画素を設定する。そして、注目画素及び周辺画素の空間距離及び画素値の差を算出するとともに、抽出条件に基づいてフィルタ係数を算出する。これは、式（１）における、｛（ｘ−ｘ０）２＋（ｙ−ｙ０）２｝、|Ｐ（ｘ,ｙ,ｔ）-Ｐ（ｘ０,ｙ０,ｔ）|を求めることに相当する。そして、式（１）で求めたフィルタ係数に基づいて、式（２）によりフィルタ処理を行う。そのため、フィルタの係数に振幅値|Ｐ（ｘ,ｙ,ｔ）-Ｐ（ｘ０,ｙ０,ｔ）|が大きく関わることになるため、振幅範囲に応じた抽出処理が可能になる。また、σ１ｓも調整するため、振幅範囲を条件に合わせて適切に設定することができる。
【０１２１】
また、ボケ量情報抽出部は、撮像画像の振幅値を算出する撮像画像振幅算出部を含む。そして、第２のフィルタ処理部は、撮像画像振幅算出部で算出された振幅値が、第２の振幅範囲にある画像に対して、第１の周波数範囲及び第２の周波数範囲に対応する周波数成分を透過するローパスフィルタ処理を行う。また、第２のフィルタ処理部は、第３の振幅範囲にある画像に対して、第２の周波数範囲に対応する周波数成分を透過し、第１の周波数範囲に対応する周波数成分をカットするローパスフィルタ処理を行う。
【０１２２】
これにより、図４（Ｂ）の８０３及び図４（Ｃ）の８０５に対応した処理が可能になる。つまり、振幅値が小さい（粘膜表面や血管等に対応する）画像に対しては、高周波成分まで残し、振幅値がさらに小さい（ノイズに対応する）画像に対しては、高周波成分をカットする。第１のフィルタ処理後にこのようなフィルタ処理を行うため、第２の振幅範囲にある画像では第１の周波数範囲が残るのに対して、第３の振幅範囲にある画像はほとんどの成分がカットされることになる。そのため、ノイズの除去が可能になる。
【０１２３】
また、第２のフィルタ処理部は、図３に示したように、撮像画像から注目画素の周辺の所定領域を抽出する領域抽出部３２６を含む。また、注目画素に対する周辺画素の空間距離及び画素値間距離（画素値の差）を算出し、抽出条件に基づいてフィルタ係数を算出するフィルタ係数算出部３２７を含む。さらに、領域抽出部３２６で抽出された所定領域と、フィルタ係数算出部３２７で算出されたフィルタ係数に基づいてフィルタ処理を行い、ノイズを分離するノイズ分離部（図３のフィルタ処理部３２８に相当）を含む。
【０１２４】
これにより、図３に示したような構造によりフィルタ処理を行うことが可能になる。具体的には、注目画素の周辺領域を抽出し、周辺画素を設定する。そして、注目画素及び周辺画素の空間距離及び画素値の差を算出するとともに、抽出条件に基づいてフィルタ係数を算出する。これは、式（３）における、｛（ｘ−ｘ０）２＋（ｙ−ｙ０）２｝、|Ｄ（ｘ,ｙ,ｔ）-Ｄ（ｘ０,ｙ０,ｔ）|を求めることに相当する。そして、式（３）で求めたフィルタ係数に基づいて、式（４）によりフィルタ処理を行う。そのため、フィルタの係数に振幅値|Ｄ（ｘ,ｙ,ｔ）-Ｄ（ｘ０,ｙ０,ｔ）|が大きく関わることになるため、振幅範囲に応じた抽出処理が可能になる。また、σ２ｓも調整するため、振幅範囲を条件に合わせて適切に設定することができる。
【０１２５】
また、ボケ量補正部は、時系列的に取得された撮像画像に対して、合焦状態にあると判定された撮像画像である合焦撮像画像のボケ量に基づいて補正を行う。
【０１２６】
ここで、ボケ量補正部は、図２のテクスチャ補正量算出部３４０、テクスチャ補正部３６０及び合成部３７０に相当する。
【０１２７】
これにより、補正の基準を設定することが可能になる。合焦撮像画像はピントが合っていると判定された画像であるから、合焦撮像画像のレベルまで補正処理（例えば信号値の増幅等）を行えば、十分にボケ量の少ない画像を取得することができる。
【０１２８】
また、ボケ量補正部は、所定周波数帯域画像抽出部で抽出された所定周波数帯域画像の振幅値を算出する所定周波数帯域画像振幅算出部を含む。
【０１２９】
ここで、所定周波数帯域画像振幅算出部は、図５における振幅算出部３４１に相当する。また、所定周波数帯域画像の振幅値とは、所定周波数帯域画像の画素値の絶対値に対する最大値で定義しても良いし、所定周波数帯域画像の画素値の最大値と最小値の差で定義してもよい。
【０１３０】
これにより、所定周波数帯域画像の振幅値を算出することが可能になる。そのため、補正の基準として、画像の振幅値を用いることができる。具体的には、ボケた画像における振幅値を、合焦状態にある画像における振幅値と同等になるように増幅することで補正を行えばよい。
【０１３１】
また、ボケ量補正部は、図２に示したように、所定周波数帯域画像振幅算出部により算出された所定周波数帯域画像の振幅値に基づいて、所定周波数帯域画像を補正する所定周波数帯域画像補正部（テクスチャ補正部３６０に相当）と、撮像画像と、補正した所定周波数帯域画像を合成する合成部３７０と、を含む。
【０１３２】
これにより、所定周波数帯域画像を補正した上で、補正した所定周波数帯域画像と撮像画像とを合成することで補正処理を行うことが可能になる。所定周波数帯域画像が、ボケの影響を強く受け、かつ、重要な観察対象に対応する画像であることを鑑みれば、補正対象のみを抽出し補正を行い、合成という形で撮像画像に戻すことになるため、観察対象を安定して合焦時と同程度の解像感に保持した補正を実現することができる。
【０１３３】
また、所定周波数帯域画像補正部は、所定周波数帯域画像振幅算出部で時系列的に算出された振幅値の中から、合焦状態にあると判定された振幅値を、基準振幅値として選択する基準振幅値選択部（図５の基準振幅更新判定部３４２に相当）と、基準振幅値に基づいて所定周波数帯域画像に対する補正量を算出し乗算する補正量乗算部（図５の補正量算出部３４４とテクスチャ補正部３６０に相当）とを含む。
【０１３４】
これにより、基準振幅値を算出し、算出した基準振幅値に基づいて補正を行うことが可能になる。具体的には例えば、図１８における１＜振幅ゲイン量＜Ｔｈ１に示したように、ボケた画像の振幅値を基準振幅値と同じ値にするような補正処理を行えばよい。なお、図１８においては振幅ゲイン量がある程度よりも大きい場合（つまり、基準振幅値に比べてボケた画像の振幅値が小さい場合）には、ボケの程度が強すぎて補正がうまく機能しないと判断し、補正の度合いを弱めるようにしてある。
【０１３５】
また、合焦撮像画像は、光学系が拡大観察状態に切り替えられた時点で取得された撮像画像であってもよい。
【０１３６】
これにより、効率的に合焦撮像画像を取得することが可能になる。つまり、拡大観察状態に切り替えられた時点ではピントは合っている可能性が高いと考えられるため、切り替えた時点における画像を合焦撮像画像としても問題は少ない。そのため、後述するように、条件による判定を行う必要がなく、簡単な処理で合焦撮像画像を取得することができる。
【０１３７】
また、合焦撮像画像は、光学系が拡大観察状態に切り替えられた時点以降に取得された撮像画像であり、かつ、振幅値が所定期間内で所定条件を満たした撮像画像であってもよい。具体的には例えば、所定条件とは、振幅値が基準振幅判定閾値よりも大きく、かつ、極大値をとるという条件であってもよい。
【０１３８】
これにより、拡大観察状態への切り替え後にも、基準となる画像である合焦撮像画像を更新する（つまりは、基準振幅値を更新する）ことが可能になる。内視鏡による観察においては、観察倍率が変化したり、観察対象となる被写体が変化したり（例えば大きな横移動があった場合等）することが考えられ、その場合画像の振幅値が変化する可能性がある。そのような場合にも、合焦撮像画像を更新することで適切な基準を設定することができる。また、合焦撮像画像の更新に条件を設定することで、過剰に頻繁に更新処理が行われることを抑止することが可能になる。
【０１３９】
また、以上の本実施形態は、拡大観察状態における撮像画像を時系列的に取得する画像取得部と、拡大観察状態における撮像画像からボケ量情報を抽出するボケ量情報抽出部と、抽出したボケ量情報に基づいて撮像画像を補正するボケ量補正部としてコンピュータを機能させるプログラムに関係する。
【０１４０】
これにより、本実施形態は、撮像装置や内視鏡システムのように、画像を取得し、システム内で画像処理を行うものに限定されず、例えば、まず画像データを蓄積し、その後、蓄積された画像データに対してＰＣ等のコンピューターシステムでソフトウェア的に処理を行うものにも適用することが可能になる。そして、上記プログラムは、情報記憶媒体に記録される。ここで、情報記録媒体としては、ＤＶＤやＣＤ等の光ディスク、光磁気ディスク、ハードディスク（ＨＤＤ）、不揮発性メモリーやＲＡＭ等のメモリーなど、光学式検出システムによって読み取り可能な種々の記録媒体を想定できる。
【０１４１】
３．第２の実施形態
３．１ 構成
図１０は第２実施の形態の撮像装置の全体構成を示すブロック図である。本実施例を構成する撮像装置は光源部１００と撮像部２００とプロセッサ部３００と表示部４００と外部Ｉ／Ｆ部５００からなり、第１の実施形態と同一の基本構成であるので、異なる詳細構成を主に説明する。
【０１４２】
まず光源部１００に対しては白色光源１０１と複数の分光透過率を持った回転色フィルタ１０２と回転色フィルタ１０２を駆動させる回転駆動部１０３と回転色フィルタ１０２からの分光特性を持った光をライトガイドファイバ２０１の入射端面に集光させる集光レンズ１０４とからなる。
【０１４３】
回転色フィルタ１０２は例えば図９に示すように三原色の赤の色フィルタ６０１と緑の色フィルタ６０２と青の色フィルタ６０３と回転モータ６０４とから構成されている。これら３つの色フィルタの分光特性は図８に示した通りである。
【０１４４】
回転駆動部１０３はプロセッサ部３００の制御部３０２からの制御信号に基づき撮像素子２０９の撮像期間と同期して回転色フィルタ１０２を所定回転数で回転させる。例えば色フィルタを１秒間に２０回転させると、各色フィルタは６０分の１秒間隔で入射白色光を横切る事になり、撮像素子２０９は６０分の１秒間隔で３原色の各色光（Ｒ或いはＧ或いは（Ｂ）での反射光画像の撮像と転送を完了することになる。ここで撮像素子２０９はモノクロ用となる。つまりこの実施例はＲ画像、Ｇ画像、Ｂ画像が６０分の１秒間隔で面順次で撮像される内視鏡装置の例となり、実質のフレームレートは２０ｆｐｓとなる。
【０１４５】
続いて撮像部２００に対しては上記した通り撮像素子２０９が異なり、モノクロ単板撮像素子を用いる。さらに焦点位置制御部２０６と焦点位置調整レンズ２０７は、より高速に駆動が可能で、第２実施の形態ではオートフォーカスがリアルタイムで行えるものである。
【０１４６】
更にプロセッサ部３００に対しては、合焦位置算出部３０３が追加される。制御部３０２の制御内容は合焦位置算出部３０３の追加、及び回転色フィルタ１０２と回転駆動部１０３の追加に伴い修正される。
【０１４７】
プロセッサ部３００に追加された合焦位置算出部３０３は画像処理部３０１から出力される時系列表示画像と制御部３０２から出力される現在撮影中の色フィルタの情報が入力され、対応する色フィルタの画像に基づき合焦位置を算出し、制御部３０２に対して前記算出した合焦位置と共にＺ方向（スコープ先端の光軸方向）のオブリング量を出力する。
【０１４８】
制御部３０２は合焦位置算出部３０３から出力された合焦位置に基づき、焦点位置制御部２０６に焦点位置調整レンズ２０７の移動位置を出力し、その次に撮影する色フィルタが白色光源１０１を横切るタイミングまでに焦点位置調整レンズ２０７を移動させる。
【０１４９】
画像構成処理部３１０から出力される時系列表示画像はテクスチャ抽出部３２０でテクスチャ画像の抽出を行い、抽出されたテクスチャ画像が合焦位置算出部３０３へ出力される。
【０１５０】
また、テクスチャ抽出部３２０で抽出されたテクスチャ画像に基づき、テクスチャ補正量算出部３４０において、テクスチャ画像に対する補正量を算出する。そして、テクスチャ補正部３６０は算出された補正量に基づき、テクスチャ画像を補正し、合成部３７０は、補正されたテクスチャ画像と、画像構成処理部からの撮像画像とを合成することでボケ補正画像を生成する。
【０１５１】
３．２ ボケ量情報抽出部の詳細な構成
テクスチャ抽出部３２０の構成は、第１実施の形態とは異なり、図１３のブロック図に示す構成となっている。
【０１５２】
テクスチャ抽出部３２０はローパス処理部１３２１、１３２６、１３３１とダウンサンプリング部１３２２、１３２７と減算処理部１３２３、１３２８、１３３２とノイズ量推定部１３２４、１３２９、１３３３とコアリング部１３２５、１３３０、１３３４と処理パラメータ制御部１３３５とから構成される。
【０１５３】
この構成は、時系列表示画像をそれぞれ複数の周波数帯域に分割したサブバンド画像を生成し各々独立のノイズ低減処理を組み込んだ構成となっている。この周波数帯域分割よるテクスチャ抽出の特徴は分割する周波数帯域を拡大観察倍率に応じて観察したいテクスチャ（粘膜構造や血管走行パターン）の周波数帯域に合わせて変更することにある。
【０１５４】
続いて各構成部間のデータの流れを説明する。処理パラメータ制御部１３３５は制御部３０２から出力される倍率情報に基づき複数の周波数帯域（サブバンド）に分割する帯域幅が異なるように倍率情報と帯域幅の対応関係がテーブル化されている。その一例を図１４（Ａ）、図１４（Ｂ）に示す。図１４（Ａ）は拡大観察倍率が小さい場合の周波数帯域の分割例であり、図１４（Ｂ）は拡大観察倍率が大きな場合の周波数帯域の分割例である。共に（１）〜（４）の４つの周波数帯域から構成される。
【０１５５】
つまり制御部３０２からの倍率情報と所定閾値とを判定し、どちらの分割方法で帯域情報を分割するかを決定する。分割方法が決定したら、各周波数帯域に見合うローパス特性のフィルタ係数と、ダウンサンプリング時の縮小率を決定し、フィルタ係数はローパス処理部１３２１、１３２６、１３３１へ、縮小率はダウンサンプリング部１３２２、１３２７へ出力される。更に分割方法に基づき各周波数帯域のノイズ量推定モデルも変更される。各周波数帯域に対応するノイズ推定モデルはノイズ量推定部１３２４、１２３９、１３３３へそれぞれ出力される。
【０１５６】
以下、複数の周波数帯域の処理は同一となるので、周波数帯域（１）のサブバンド画像の処理についての説明を行う。ローパス処理部１３２１には画像構成処理部３１０から出力された時系列表示画像と処理パラメータ制御部１３２９から出力されたフィルタ係数が入力される。そして、時系列表示画像に対してフィルタ処理したローパス時系列表示画像を減算処理部１３２３とダウンサンプリング部１３２２とノイズ量推定部１３２４へ出力する。
【０１５７】
減算処理部１３２３には画像構成処理部３１０から出力された時系列表示画像とローパス処理部１３２１から出力されたローパス時系列表示画像が入力される。そして、時系列表示画像からローパス時系列表示画像を減算する事でハイパス時系列表示画像を生成し、コアリング部１３２５へ出力する。
【０１５８】
ノイズ量推定部１３２４にはローパス処理部１３２１から出力されるローパス時系列表示画像と処理パラメータ制御部１３３５から出力されるノイズ推定モデルが入力され、ローパス時系列表示画像の画素値をノイズ推定モデルによりノイズ量に変換し、コアリング部１３２５へ出力する。
【０１５９】
コアリング部１３２５には減算処理部１３２３から出力されるハイパス時系列表示画像が、そしてノイズ量推定部１３２４から出力されるノイズ量が入力され、ノイズ量に見合うコアリング幅でコアリング処理が施される。コアリング処理されたハイパス時系列表示画像はテクスチャ補正量算出部３４０、合焦位置算出部３０３、及びテクスチャ補正部３６０へ出力される。
【０１６０】
ここまでが図１４（Ａ）或いは図１４（Ｂ）の（１）の周波数帯域の抽出である。（２）、（３）の周波数帯域の抽出も基本的に同じであるので、説明は省略する。
【０１６１】
３．３ ボケ量補正部の詳細な構成
続いてテクスチャ補正量算出部３４０について図１５に基づき詳述する。
【０１６２】
テクスチャ補正量算出部３４０は振幅算出部１３４１、基準振幅更新判定部１３４２、基準振幅記憶部１３４３、補正量算出部１３４４、補正量制御部１３５３から構成される。テクスチャ補正量算出部３４０は図１４（Ａ）或いは図１４（Ｂ）の周波数帯域（１）、（２）、（３）の周波数帯域が入力され、各々の補正量が算出される。
【０１６３】
以下に図１４（Ａ）或いは図１４（Ｂ）の周波数帯域（１）に関する補正量算出に関してのみ説明する。補正量制御部１３５３には制御部３０２から出力される観察モード信号とテクスチャ基準閾値と補正量上限値、更に基準振幅記憶部１３４３から現時点の基準振幅値が入力される。そして、観察モード信号とテクスチャ基準閾値と基準振幅値に基づき基準振幅判定閾値を設定して基準振幅更新判定部１３４２へ出力し、更に補正量上限値を補正量算出部１３４４へ出力する。
【０１６４】
ここでテクスチャ基準閾値は撮像された時系列表示画像がボケている状態にあるかどうかを判定する基準値であり、撮像性能の違いにより変化するのでスコープの種類により異なる値が設定されている。基準振幅値判定閾値はテクスチャ画像に対して補正目標となる基準振幅値を選定する為の閾値で、観察モード信号が拡大観察モードに切り替わった時点でテクスチャ基準閾値に、それ以外は例えばテクスチャ基準閾値と基準振幅値の平均値を基準振幅値判定閾値として設定する。
【０１６５】
振幅算出部１３４１はテクスチャ抽出部３２０から出力される時刻ｔで抽出されたテクスチャ画像に対する振幅値ＭＡ（ｔ）を算出する。ここで振幅値はテクスチャ画像の画素値の絶対値に対する最大値で定義しても良いし、テクスチャ画像の画素値の最大値と最小値の差で定義しても良い。算出された振幅値ＭＡ（ｔ）は基準振幅更新判定部１３４２へ出力される。
【０１６６】
基準振幅更新判定部１３４２は振幅算出部１３４１から出力される振幅値ＭＡ（ｔ）と補正量制御部１３５３から出力される基準振幅判定閾値が入力され、基準振幅更新判定部１３４２に格納済みの８フィールド期間前までの振幅値ＭＡ（ｔ-１）、ＭＡ（ｔ-２）、ＭＡ（ｔ-３）、ＭＡ（ｔ-４）、ＭＡ（ｔ-５）、ＭＡ（ｔ-６）、ＭＡ（ｔ-７）、ＭＡ（ｔ-８）に基づき、振幅値ＭＡ（ｔ）が基準振幅値となるかどうかを判定する。ここで１フィールド期間はＲ、Ｇ、Ｂ各色フィルタに対応して撮影されるＲ画像、Ｂ画像、Ｇ画像を取得する期間（１/６０秒）である。
【０１６７】
基準振幅更新判定についての詳細を図１１の模式図を使って説明する。ユーザーは拡大観察時にスコープ先端を観察対象に近づけつつ、ズームレバーを動かして所望の倍率を得るように内視鏡のスコープ先端位置を操作する。本実施例ではオートフォーカス機能を有しているので、合焦状態をユーザーが気にする必要はない。但し、オートフォーカスをコントラスト値に基づき制御する事を前提としているので、図１１の模式図で示したようにＡ→Ｂ→ＣとＺ軸方向（光学系の光軸方向）に焦点位置をオブリングして撮影し、コントラスト変化を発生させる事で合焦位置を推定する必要がある。このようなＺ軸方向でのオブリングは、合焦状態とそうでない状態（ピントが甘い状態）を作り出す事になる。
【０１６８】
特にフレームレートが低いと合焦状態にない画像が表示される期間は長くなり、ピント変化が気になるようになるが、第２の実施形態の面順次内視鏡装置はまさにフレームレートが２０ｆｐｓと低い。
【０１６９】
第２の実施形態の面順次内視鏡装置にコントラスト変化を利用する場合には図１１のＡ→Ｂ→Ｃのそれぞれの焦点位置でＲ、Ｇ、Ｂフィルタでの撮像を行う事になる。つまりＡ→Ｂへ移行する期間は１フレーム期間（１/２０秒）に相当する。
【０１７０】
本実施例の画像構成処理部３１０から出力される時系列表示画像はＲ、Ｇ、Ｂフィルタで撮像された画像のみ（Ｒ画像、或いはＢ画像、或いはＧ画像）がフィールド期間で更新される為、複数のテクスチャ画像からＲ画像、或いはＧ画像、或いはＢ画像に対応する異なる３つのテクスチャ画像を確実に抽出するには９つ分のテクスチャ画像が必要となる。
【０１７１】
したがって基準振幅更新判定部１３４２は時系列的に連続するｔ-８〜ｔの期間での９つのテクスチャ画像に対応する９つの振幅値ＭＡ（ｔ）、ＭＡ（ｔ-１）、ＭＡ（ｔ-２）、ＭＡ（ｔ-３）、ＭＡ（ｔ-４）、ＭＡ（ｔ-５）、ＭＡ（ｔ-６）、ＭＡ（ｔ-７）、ＭＡ（ｔ-８）の振幅値が極大値を持つかどうかを判定する。そのために９つの振幅値から３つのグループ｛ＭＡ（ｔ）、ＭＡ（ｔ-３）、ＭＡ（ｔ-６）｝と｛ＭＡ（ｔ-１）、ＭＡ（ｔ-４）、ＭＡ（ｔ-７）｝と｛ＭＡ（ｔ-２）、ＭＡ（ｔ-５）、ＭＡ（ｔ-８）｝に分ける。そしてグループそれぞれの３つの振幅値に対して２次式にフィッティングして３つのグループのうち、１つでも極大値が存在するかどうか判定する。
【０１７２】
極大値が存在する場合は２次式で算出された極大値が基準振幅値の候補となる。また極大値が複数検出された場合は、最大となる極大値を１つ選択し、基準振幅値の候補とする。基準振幅値の候補は更に基準振幅判定閾値と比較され、極大値が基準振幅判定閾値よりも大きい場合には基準振幅値として基準振幅記憶部１３４３へ出力される。極大値が基準振幅判定閾値以下である場合は、基準振幅値とは見なされず、基準振幅記憶部１３４３へ出力されない。一方、３つのグループ全てで極小値しか検出されなかった場合は基準振幅判定閾値との比較を行わず、基準振幅の変更は行なわれない。
【０１７３】
基準振幅値を更新する理由は、第１の実施形態と同じである。
【０１７４】
基準振幅記憶部１３４３は基準振幅更新判定部１３４２から出力される基準振幅値が入力され、過去に記録した基準振幅値を最新の値に更新する。最新の基準振幅値は補正量制御部１３５３と補正量算出部１３４４に出力される。
【０１７５】
補正量算出部１３４４では、振幅算出部１３４１から出力される時刻ｔの振幅値ＭＡ（ｔ）と基準振幅記憶部１３４３から出力される基準振幅値ＲＭＡと補正量制御部１３５３から出力される補正量上限値が入力され、振幅値ＭＡ（ｔ）が基準振幅値ＲＭＡと同じ大きさとなるゲイン量を算出し、第１の実施形態で示した式（５）、式（６）、式（７）と同様に補正量を算出する。
【０１７６】
同様に周波数帯域（２）、（３）については同一の処理となるので省略するが、各周波数帯域で独立に補正量を算出し、３つの補正量がテクスチャ補正部３６０へ出力される。
【０１７７】
続いてテクスチャ補正部３６０について図１６に基づき詳述する。テクスチャ補正部３６０は処理パラメータ制御部１３６８と、乗算処理部１３６１、１３６２、１２６３と、アップサンプリング部１３６４、１３６６と、加算処理部１３６５、１３６７で構成される。
【０１７８】
続いて各構成部間のデータの流れを説明する。処理パラメータ制御部１３６８には制御部３０２から出力される倍率情報に基づき分割されている周波数帯域幅に対応しテクスチャ抽出部３２０で適用された縮小率が、アップサンプリング部１３６４、１３６６へ出力される。
【０１７９】
乗算処理部１３６１はテクスチャ抽出部３２０から出力される図１４（Ａ）或いは図１４（Ｂ）の周波数帯域（３）に対応するサブバンド画像と、テクスチャ補正量算出部３４０から出力される周波数帯域（３）に対応するサブバンド画像の補正量が入力され、補正量を周波数帯域（３）に対応するサブバンド画像に乗算する事で周波数帯域（３）に対応する補正サブバンド画像を生成してアップサンプリング部１３６４へ出力する。
【０１８０】
乗算処理部１３６２はテクスチャ抽出部３２０から出力される図１４（Ａ）或いは図１４（Ｂ）の周波数帯域（２）に対応するサブバンド画像と、テクスチャ補正量算出部３４０から出力される周波数帯域（２）に対応するサブバンド画像の補正量が入力され、補正量を周波数帯域（２）に対応するサブバンド画像に乗算する事で周波数帯域（２）に対応する補正サブバンド画像を生成して加算処理部１３６５へ出力する。
【０１８１】
乗算処理部１３６３はテクスチャ抽出部３２０から出力される図１４（Ａ）或いは図１４（Ｂ）の周波数帯域（１）に対応するサブバンド画像と、テクスチャ補正量算出部３４０から出力される周波数帯域（１）に対応するサブバンド画像の補正量が入力され、補正量を周波数帯域（１）に対応するサブバンド画像に乗算する事で周波数帯域（１）に対応する補正サブバンド画像を生成して加算処理部１３６７へ出力する。
【０１８２】
アップサンプリング部１３６４には乗算処理部１３６１から出力される周波数帯域（３）に対応する補正サブバンド画像と処理パラメータ制御部１３６８から出力される周波数帯域（３）の縮小率が入力され、縮小率の逆数となる倍率で、周波数帯域（３）に対応する補正サブバンド画像を拡大した周波数帯域（３）に対応する拡大補正サブバンド画像を生成し、加算処理部１３６５へ出力する。
【０１８３】
加算処理部１３６５にはアップサンプリング部１３６４で拡大された周波数帯域（３）に対応する拡大補正サブバンド画像と、乗算処理部１３６２から出力される周波数帯域（２）に対応する補正サブバンド画像が入力され、２つのサブバンド画像を加算することで周波数帯域（（３）＋（２））に対応する補正サブバンド画像を生成してアップサンプリング部１３６６へ出力する。
【０１８４】
アップサンプリング部１３６６には加算処理部１３６５から出力される周波数帯域（（３）＋（２））に対応する補正サブバンド画像と処理パラメータ制御部１３６８から出力される周波数帯域（２）の縮小率が入力され、周波数帯域（２）の縮小率の逆数となる倍率で、周波数帯域（（３）＋（２））に対応する補正サブバンド画像を拡大した周波数帯域（（３）＋（２））に対応する拡大補正サブバンド画像を生成し、加算処理部１３６７へ出力する。
【０１８５】
加算処理部１３６７にはアップサンプリング部１３６６で拡大された周波数帯域（（３）＋（２））に対応する拡大補正サブバンド画像と、乗算処理部１３６３から出力される周波数帯域（１）に対応する補正サブバンド画像が入力され、２つのサブバンド画像を加算することで周波数帯域（（３）＋（２）＋（１））に対応する補正サブバンド画像を生成して合成部３７０へ出力する。
【０１８６】
合成部３７０以降の処理は第１実施の形態と同一である。
【０１８７】
３．４ オートフォーカス処理の詳細
続いて合焦位置算出部３０３について図１７に基づき詳述する。合焦位置算出部３０３は領域抽出部１３７１、１３７５、１３７９と、平均振幅算出部１３７２、１３７６、１３８０と平均振幅記憶部１３７３、１３７７、１３８１と、合焦位置算出部１３７４、１３７８、１３８２と、合焦位置判定部１３８４と、合焦位置算出制御部１３８３とから構成される。
【０１８８】
合焦位置算出部３０３はコントラスト法を用いる事を前提としており、コントラスト検出する為の検出領域を設定する必要がある。この領域に関しては例えば外部Ｉ／Ｆ部５００からユーザー指定された合焦位置情報（例えば予め設定されている複数矩形領域から１つ選択した領域の識別番号）が制御部３０２に入力され、制御部３０２にてコントラスト検出領域情報（時系列表示画像内の矩形領域を示す座標）に変換されるものとする。
【０１８９】
続いて各構成部間のデータの流れを説明する。制御部３０２から出力されるコントラスト検出領域情報と倍率情報、焦点位置制御部２０６に設定されている現在の焦点位置が合焦位置算出制御部１３８３に入力される。合焦位置算出制御部１３８３はコントラスト検出領域情報と倍率情報に基づき、テクスチャ抽出部３２０から出力される３つのサブバンド画像に対応するコントラスト検出領域座標を算出し、算出されたコントラスト検出領域座標が領域抽出部１３７１、１３７５、１３７９にそれぞれ出力される。また現在の焦点位置は平均振幅記憶部１３７３、１３７７、１３８１へ出力される。ここでコントラスト検出領域座標は、周波数帯域（１）に関しては制御部３０２からの座標をそのまま使い、周波数帯域（２）は周波数帯域（１）に対して処理パラメータ制御部１３６８から出力される周波数帯域（２）の縮小率だけ縮小した座標を算出し、周波数帯域（３）は周波数帯域（２）に対して処理パラメータ制御部１３６８から出力される周波数帯域（３）の縮小率だけ縮小した座標を算出する。
【０１９０】
領域抽出部１３７１、１３７５、１３７９はテクスチャ抽出部３２０から出力されるそれぞれ３つのサブバンド画像に対して合焦位置算出制御部１３８３から出力されるコントラスト検出領域座標に基づきコントラスト検出領域を抽出し、平均振幅算出部１３７２、１３７６、１３８０にそれぞれ出力する。
【０１９１】
平均振幅算出部１３７２、１３７６、１３８０は領域抽出部１３７１、１３７５、１３７９から出力される各サブバンド画像から抽出されたコントラスト検出領域内の画素値の絶対値の平均値を平均振幅値として算出し、平均振幅記憶部１３７３、１３７７、１３８１へそれぞれ出力する。
【０１９２】
平均振幅記憶部１３７３、１３７７、１３８１には時系列的に算出された平均振幅値と対応する焦点位置がそれぞれ少なくとも９つ分、リングバッファの形式で記録されており、平均振幅算出部１３７２、１３７６、１３８０から出力される平均振幅値と、合焦位置算出制御部１３８３から出力される焦点位置が常に最新の平均振幅値と焦点位置して記憶される。
【０１９３】
合焦位置算出部１３７４、１３７８、１３８２は９つの平均振幅値から最新の平均振幅値を含めて２つおきに３つの平均振幅値とそれに対応する焦点位置を平均振幅記憶部１３７３、１３７７、１３８１の各リングバッファから読み出し、ラグランジュ補間等により最大振幅値となる合焦位置をそれぞれ算出する。算出した３つの合焦位置は、対応する最大振幅値と共に合焦位置判定部１３８４へ出力される。
【０１９４】
合焦位置判定部１３８４には、合焦位置算出部１３７４、１３７８、１３８２から出力される３つのサブバンド画像に対応する３つの合焦位置と算出された３つの最大振幅値が入力される。合焦位置判定部１３８４は入力される３つの最大振幅値の中で最大となる振幅値を選択し、選択された振幅値に対応する合焦位置を真の合焦位置として合焦位置算出制御部１３８３へ出力する。またよりノイズの影響を減らす合焦位置の決定方法としては、３つの合焦位置に対して対応する最大振幅値を重みとした加重平均を算出し、真の合焦位置としても良い。
【０１９５】
合焦位置算出制御部１３８３は合焦位置判定部１３８４から出力される合焦位置が入力された時点で制御部３０２へ出力する。
【０１９６】
これを受けて制御部３０２は焦点位置制御部２０６に合焦位置を出力し、焦点位置調整レンズ２０７を合焦位置に動かす事で合焦制御を行う。
【０１９７】
以上のように第２の実施形態によれば、フレームレートが低い内視鏡装置の拡大観察時のオートフォーカス処理を観察対象に対応して抽出するテクスチャに基づくコントラスト値で制御できるので合焦精度が向上すると共に、オートフォーカス起因のＺ方向のオブリングにより発生するボケ量の時間変動を抑制する事が可能となるので、ユーザーは病変部の精査をストレス無く短時間に行なうことができ、患者の負担も軽減することができる。
【０１９８】
以上の本実施形態では、所定周波数帯域画像抽出部は、サブバンド画像を複数生成する周波数帯域分離部と、複数のサブバンド画像から１又は複数のサブバンド画像を選択して所定周波数帯域画像を生成するサブバンド選択部とを含む。
【０１９９】
ここで、サブバンド画像とは、倍率情報に基づき決定される複数の所定周波数帯域に、撮像画像を分離した画像のことである。図１４（Ａ）、図１４（Ｂ）の例では、（１）〜（４）がそれぞれサブバンド画像となる。また、周波数帯域分離部は、図１２のテクスチャ抽出部３２０に相当し、サブバンド選択部は、図１２のテクスチャ補正量算出部３４０等に相当する。
【０２００】
これにより、サブバンド画像に基づいて所定周波数帯域画像を抽出することが可能になる。具体的には、撮像画像を複数のサブバンド画像に分割し、分割したサブバンド画像の中から適切なサブバンド画像を選んで所定周波数帯域画像を生成する。その際、図１４（Ａ）、図１４（Ｂ）のように光学系の撮像倍率に応じてサブバンド画像の幅を変えることで、倍率に応じた制御（第１の実施形態においては図１９の制御に相当）が可能になる。
【０２０１】
また、補正量乗算部は、所定周波数帯域画像振幅算出部で算出された各サブバンド画像に対応する振幅値と、光学系の倍率情報に基づいて、各サブバンド画像に対応する補正量を算出し、算出した補正量を各サブバンド画像に乗算するサブバンド画像補正量乗算部を含む。
【０２０２】
ここで、サブバンド画像補正量乗算部は、図１６における１３６１〜１３６３の乗算処理部に相当する。
【０２０３】
これにより、各サブバンド画像に対して補正量を乗算することで、所定周波数帯域画像の補正を行うことが可能になる。具体的には第１の実施形態と同様に、補正の対象となる画像の振幅値を基準振幅値と同じ値にするような補正が行われる。なお、本実施形態では、時間的に変動する急峻なエッジ部の除去処理による輝点領域の除去処理を、サブバンド画像に分割する前に挿入することで、振幅に応じた制御に対応できる。ここで、時間的に変動する急峻なエッジ部の除去処理とは、例えば単純なものとしては、輝度レベルを画像平均値に基づき設定した閾値にもとづいて判定する処理と、その判定領域の削除処理（具体的には例えばモルフォロジー処理等）である。また、本実施形態においては、複数のサブバンド画像を選択した上で、選択したサブバンド画像に対してのみ補正量を乗算してもよいし、複数のサブバンド画像全てに対して補正量を乗算し、不要なサブバンド画像に対しては０を乗算するようにしてもよい。図１３や図１６のブロック図では後者の構成となっている。
【０２０４】
また、内視鏡装置の光学系は、フォーカス位置を制御するフォーカス位置制御部と、撮像画像のボケ量に基づいてターゲットフォーカス位置を算出するターゲットフォーカス位置算出部を含む。そして、フォーカス位置制御部は、ターゲットフォーカス位置算出部で算出されたターゲットフォーカス位置に基づいてフォーカス位置を制御する。
【０２０５】
ここで、撮像画像のボケ量情報とは、複数のフォーカス位置における複数の撮像画像に対して、ボケ量情報抽出部で算出されるものである。また、フォーカス位置制御部は、図１２における焦点位置制御部２０６に相当し、ターゲットフォーカス位置算出部は、図１２における合焦位置算出部３０３に相当する。
【０２０６】
これにより、オートフォーカス処理が可能になる。ただし、図１１に示したように、複数のフォーカス位置にレンズを駆動させた上で合焦位置を求めるコントラスト法に基づくオートフォーカスを前提としているため、被写界深度範囲から外れてしまうタイミングもある。そのため、画像処理によるボケ回復処理が不要になるということではない。むしろ、短い時間の中で合焦状態とボケた状態とが現れるため、本実施形態のようにフレームレートが低い場合であれば、ユーザーに対して違和感のない画像を提供するためには画像処理的なボケ回復処理は重要である。
【０２０７】
また、ボケ量補正部は、フォーカス位置制御部で合焦していると判定したフォーカス位置において取得した撮像画像を合焦撮像画像であると判定する。そして、合焦撮像画像のボケ量情報に基づいて補正を行う。
【０２０８】
これにより、補正量算出のための基準となる合焦撮像画像として、オートフォーカスにおいて合焦していると判定されたフォーカス位置で取得した画像を用いることが可能になる。よって、第１の実施形態と同様の、基準振幅値の更新処理の他に、オートフォーカスによる基準振幅値の更新処理も行われることになるため、精度よく基準振幅値を更新することが可能になる。
【０２０９】
以上、本発明を適用した２つの実施の形態１〜２およびその変形例について説明したが、本発明は、各実施の形態１〜２やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態１〜２や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態１〜２や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
【符号の説明】
【０２１０】
１００ 光源部、１０１ 白色光源、１０２ 回転色フィルタ、１０３ 回転駆動部、
１０４ 集光レンズ、２００ 撮像部、２０１ ライトガイドファイバ、
２０２ 照明レンズ、２０３ 対物レンズ、２０６ 焦点位置制御部、
２０７ 焦点位置調整レンズ、２０９ 撮像素子、２１０ Ａ/Ｄ変換部、
３００ プロセッサ部、３０１ 画像処理部、３０２ 制御部、
３０３ 合焦位置算出部、３１０ 画像構成処理部、３２０ テクスチャ抽出部、
３２１ 領域抽出部、３２２ フィルタ係数算出部、３２３ フィルタ処理部、
３２４ ノイズ量推定部、３２５ 減算処理部、３２６ 領域抽出部、
３２７ フィルタ係数算出部、３２８ フィルタ処理部、
３２９ フィルタパラメータ制御部、３４０ テクスチャ補正量算出部、
３４１ 振幅算出部、３４２ 基準振幅更新判定部、３４３ 基準振幅記憶部、
３４４ 補正量算出部、３４５ 補正量制御部、３６０ テクスチャ補正部、
３７０ 合成部、４００ 表示部、５００ 外部Ｉ／Ｆ部、
６０１ 色フィルタ、６０２ 色フィルタ、６０３ 色フィルタ、６０４ 回転モータ、
１３２１ ローパス処理部、１３２２ ダウンサンプリング部、１３２３ 減算処理部、
１３２４ ノイズ量推定部、１３２５ コアリング部、
１３３５ 処理パラメータ制御部、１３４１ 振幅算出部、
１３４２ 基準振幅更新判定部、１３４３ 基準振幅記憶部、１３４４ 補正量算出部、
１３５３ 補正量制御部、１３６１ 乗算処理部、１３６２ 乗算処理部、
１３６３ 乗算処理部、１３６４ アップサンプリング部、１３６５ 加算処理部、
１３６６ アップサンプリング部、１３６７ 加算処理部、
１３６８ 処理パラメータ制御部、１３７１ 領域抽出部、１３７２ 平均振幅算出部、
１３７３ 平均振幅記憶部、１３７４ 合焦位置算出部、
１３８３ 合焦位置算出制御部、１３８４ 合焦位置判定部
【技術分野】
【０００１】
本発明は、内視鏡装置及びプログラム等に関する。
【背景技術】
【０００２】
従来、内視鏡診断において体腔内の病変検出精度を向上させたいという要求があり、病変部と正常部の組織上の違いを顕微鏡相当の倍率で拡大観察することで検出精度向上を達成する拡大光学系を備えた内視鏡（以降、拡大内視鏡と記す）が一般的に知られている。
【０００３】
このような拡大内視鏡は数十倍から数百倍の倍率を有したものがあり、染色散布や、狭帯域照明光による血管強調画像（ＮＢＩ画像とも呼ぶ）との併用により、粘膜表層の微細な構造や血管走行のパターンを観察することができる。病変部と正常部ではこれらのパターンに違いが表れることが知られており、病変診断の１つの判定基準になっている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１０−１６５３６５号公報
【特許文献２】特開２００３−１４００３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところが、このような拡大観察を行なうと高倍率になるにつれ被写界深度は通常観察時に比べて極端に狭くなる。そうなると被写体に対する内視鏡挿入部（以降、スコープ、或いは撮像部と記す）の先端位置を合焦範囲内に保持させ続ける事は難しく、常に合焦した状態の画像を観察し続けるにはかなりの熟練を要するのが現状である。
【０００６】
このような拡大観察時の合焦に伴うスコープ位置合わせ作業時間が増加すると、全体の診断時間が長時間に及んでしまう。結果、ドクターの疲労と共に患者の負担も大きくなるという課題が発生する。
【０００７】
このような課題を解決する方法としては、特許文献１で、１つの画像内で深度範囲外と想定される領域を設定しボケ回復処理を施して、深度拡大を実現するというものがある。この方法は管腔中を内視鏡で観察しているときに距離検出を行い、所定距離範囲領域に対するボケ回復処理を行うというものである。この方法の欠点は距離検出が必要であり、距離検出精度が低いとボケ領域の判定に誤りが発生し、更に使用しているボケ回復処理はデコンボリューション等を用いているので、ボケ領域誤判定に伴う過補正やノイズ増幅を懸念させる。
【０００８】
もう１つの解決する方法としては、特許文献２にあるように、拡大観察時にオートフォーカスを行うというものである。このオートフォーカス処理はコントラスト値を用いてピント制御を行う為、常にピントが合うわけではなく、時系列的に合焦画像とボケ画像が短期間に交互に繰り返し表示される。このようなオートフォーカス処理はフレームレートが十分速い場合は合焦画像とボケ画像が周期的に繰り返されてもほとんど識別できず問題とならないが、フレームレートが遅くなると目に付くようになるという欠点がある。
【０００９】
本発明の幾つかの態様によれば、拡大観察において、合焦状態と同等の少ないボケ量でかつ、ノイズ増大を抑えた表示画像を時系列表示することを可能とする内視鏡装置及びプログラム等を提供することができる。
【００１０】
また、本発明の幾つかの態様によれば、時系列でボケ量の変化が小さな高精細画像を表示できるので、視認性向上により病変診断時間を短縮でき、患者への負担を軽減することができる内視鏡装置及びプログラム等を提供することができる。
【課題を解決するための手段】
【００１１】
本発明の一態様は、通常観察状態に比べて光学系の拡大倍率が高倍率である拡大観察状態における撮像画像を時系列的に取得する画像取得部と、前記拡大観察状態における前記撮像画像からボケ量情報を抽出するボケ量情報抽出部と、抽出した前記ボケ量情報に基づいて前記撮像画像を補正するボケ量補正部と、を含む内視鏡装置に関係する。
【００１２】
本発明の一態様では、拡大観察状態における撮像画像のボケ量情報に基づいて撮像画像を補正する。ボケ量情報に基づく処理のため、ボケの影響を強く受ける領域等のボケ回復処理が必要な領域に対して効率的に補正処理を行い、その他の領域に対しては補正処理を行わないことができる。よって、ユーザーに対して違和感のないボケ補正画像を提供することができる。
【００１３】
本発明の他の態様は、通常観察状態に比べて光学系の拡大倍率が高倍率である拡大観察状態における撮像画像を時系列的に取得する画像取得部と、前記拡大観察状態における前記撮像画像からボケ量情報を抽出するボケ量情報抽出部と、抽出した前記ボケ量情報に基づいて前記撮像画像を補正するボケ量補正部として、コンピュータを機能させるプログラムに関係する。
【図面の簡単な説明】
【００１４】
【図１】本実施形態の内視鏡装置のシステム構成例。
【図２】画像処理部の構成例。
【図３】テクスチャ抽出部の構成例。
【図４】図４（Ａ）〜図４（Ｃ）は振幅範囲に応じて抽出する周波数範囲が変化することを説明する図。
【図５】テクスチャ補正量算出部の構成例。
【図６】ズームレバーによる観察状態の切り替え及び基準振幅値の更新処理を説明する図。
【図７】図７（Ａ）〜図７（Ｃ）はＺ方向のズレと補正量の関係を説明する図。
【図８】色フィルタのフィルタ透過率。
【図９】回転フィルタの構成例。
【図１０】本実施形態の内視鏡装置の他のシステム構成例。
【図１１】コントラスト法によるオートフォーカス処理の模式図。
【図１２】画像処理部の他の構成例。
【図１３】テクスチャ抽出部の他の構成例。
【図１４】図１４（Ａ）、図１４（Ｂ）はサブバンド画像の分割例。
【図１５】テクスチャ補正量算出部の他の構成例。
【図１６】テクスチャ補正部の構成例。
【図１７】合焦位置算出部の構成例。
【図１８】振幅ゲイン量に対する補正量の関係を説明する図。
【図１９】図１９（Ａ）〜図１９（Ｃ）は光学系の観察倍率と抽出する周波数範囲の関係を説明する図。
【発明を実施するための形態】
【００１５】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００１６】
１．本実施形態の手法
まず、本実施形態の手法について説明する。上述したように、本実施形態の手法によれば、合焦状態と同等の少ないボケ量の画像を、ノイズを増大させずに取得することが可能になる。
【００１７】
数十〜数百倍の観察倍率を用いる拡大観察モードにおいては、被写界深度が非常に狭くなってしまい、ピントがあった画像を取得することが困難である。そこで、ピントが合わず、ボケてしまった画像に対して、画像処理的にボケ回復処理を施すことで、合焦状態と同等の少ないボケ量の画像を取得する。
【００１８】
本実施形態の手法について説明する。本実施形態の画像取得部（画像構成処理部３１０）で取得される画像は、拡大観察によりピントを合わせることが困難であるため、ボケた画像となっている。この際、ボケの影響が大きく現れるのは、生体の粘膜表面や血管構造等の、微小な階調変化を示す領域であり、ヒダのような大きな階調変化を示す領域ではボケの影響は少ない。つまり、ピントボケによる粘膜や血管等の微細構造画像の振幅低減の影響によるところが大きい。よって、撮像画像から粘膜や血管等の微細構造画像（本実施形態ではテクスチャ画像、或いは、所定周波数帯域画像と呼ぶ）を抽出する。
【００１９】
そして、抽出したテクスチャ画像に対して、低減されてしまった振幅値を増強する（例えば信号値を増幅させる）ような補正処理を行う。その上で、画像取得部で取得された画像（ボケた画像）である撮像画像と、補正処理を行ったテクスチャ画像とを合成することで、診断に有用であるテクスチャが合焦状態となるように補正した画像を取得する。このようにすることで、ボケの影響を強く受ける領域に対してはボケ回復処理を行うとともに、ボケの影響が少ない領域やノイズ成分等にはボケ回復処理を行わないため、見た目に違和感の少ないボケ補正画像を取得することができる。つまり、診断に有用であるテクスチャに対して重点的にボケ回復処理を施した画像を取得することが可能となる。
【００２０】
以下、第１の実施形態では、２段のバイラテラルフィルタを用いることで、テクスチャ画像を抽出する手法について説明する。本実施形態においては、ヒダ等の構造は除いて、粘膜表面や血管等の画像を抽出する必要がある。そのため、適用するフィルタは周波数特性（例えばハイパスやバンドパス等）だけでなく、振幅特性も持つことになる。ここで、振幅とは注目画素の画素値と周辺画素の画素値から求められ、ヒダは振幅値が大きく、粘膜や血管等は振幅値が小さくなる。なお、小振幅〜微小振幅に対応する振幅値を持ち、かつ、所定周波数範囲にある画像を取得できればよく、そのためのフィルタはバイラテラルフィルタに限定されるものではない。
【００２１】
また、第２の実施形態では、テクスチャ画像の抽出を、図１４（Ａ）、図１４（Ｂ）のようにサブバンド画像を用いて行う。また、第２の実施形態においては、画像処理的なボケ回復処理にとどまらず、光学的なオートフォーカス処理も行うことで、ボケ量の少ない画像を取得することが特徴となっている。
【００２２】
２．第１の実施形態
２．１ 構成
図１は第１の実施形態の内視鏡装置の全体構成を示すブロック図である。本発明を構成する内視鏡装置は光源部１００と撮像部２００とプロセッサ部３００と表示部４００と外部Ｉ／Ｆ部５００からなる。
【００２３】
光源部１００は白色光源１０１と、白色光源１０１からの照明光をライトガイドファイバ２０１の入射端面に集光させる集光レンズ１０４とからなる。
【００２４】
撮像部２００は例えば体腔への挿入を可能にするため細長くかつ湾曲可能に形成されている。撮像部２００には、光源部１００で集光された光を導くためのライトガイドファイバ２０１と、ライトガイドファイバ２０１により先端まで導かれた光を拡散させて観察対象に照射する照明レンズ２０２と、観察対象から戻る反射光を集光する対物レンズ２０３と、焦点位置制御部２０６と、焦点位置調整レンズ２０７と、集光した結像光を検出するための撮像素子２０９と、撮像素子２０９からの光電変換されたアナログ信号をデジタル信号に変換するＡ/Ｄ変換部２１０を備えている。ここで上記撮像素子２０９は色フィルタが所定の配列で各画素に配置された単板撮像素子（補色や原色）とし、ＣＣＤやＣＭＯＳ等が利用できる。
【００２５】
プロセッサ部３００は画像処理部３０１と制御部３０２とから構成される。表示部４００はＣＲＴや液晶モニタ等の動画表示可能な表示装置である。
【００２６】
外部Ｉ／Ｆ部５００は、この内視鏡装置に対するユーザーからの入力等を行うためのインターフェースであり、電源のオン／オフを行うための電源スイッチ、撮影操作を開始するためのシャッタボタン、撮影モードやその他各種のモードを切り換えるためのモード切換ノブ（例えば図６に示すズームレバーを拡大観察モードとなる側に動かす事で焦点位置調整レンズを移動し、より近接位置での合焦状態を得る）などを含んで構成されている。そして、この外部Ｉ／Ｆ部５００は、入力された情報を制御部３０２へ出力するようになっている。
【００２７】
次に撮像部２００の構成要素である焦点位置制御部２０６と焦点位置調整レンズ２０７と制御部３０２の関係についてその詳細を説明する。まず本実施例の内視鏡装置が有する観察倍率が異なる２つの観察モードについて説明する。
【００２８】
２つの観察モードは通常観察モードと拡大観察モードがあり、通常観察モードはパンフォーカスの広視野画像で主にスクリーニング検査を行うモードである。拡大観察モードはスクリーニング検査で見つかった病変部に近接してその粘膜構造や血管走行状態等を拡大観察する事で病変部が悪性であるか否かを精査する精査モードである。
【００２９】
このような２つのモードを切り替える為に制御部３０２は、外部Ｉ／Ｆ部５００の図６に示すズームレバーに対する操作に基づき焦点位置制御部２０６に焦点位置調整制御信号を送信する。焦点位置制御部２０６では受信した前記制御信号に基づき焦点位置調整レンズ２０７の移動を制御する。
【００３０】
続いて焦点位置制御部２０６の拡大観察モード時の具体的な制御とユーザー操作について説明する。
【００３１】
拡大観察モードを選択した場合には、近接状態で合焦する予め決定された所定の焦点位置となるように焦点位置制御部２０６を介して焦点位置調整レンズ２０７を移動させることになる。拡大観察へスムーズに移行する１つの操作手順例としてはまず通常観察モードで合焦状態を維持しながら観察対象にできるだけ近接させる。この時点でユーザーが外部Ｉ／Ｆ部５００のズームレバーを操作し拡大観察モードに切り替える。この状態からズームレバーを操作し倍率を連続的（或いは段階的）に変化させ、それと共に、深度が狭くなるのでスコープをより観察対象に漸近させてピントを合わせる。このような作業により所望の倍率と合焦状態が獲得できる。
【００３２】
つまりユーザーは倍率が上がるにつれてスコープ先端を微妙な距離感で観察対象に近づけるという高度な操作をしないとボケ画像を観察する事となり、精査したい観察対象を拡大観察中、常に画面内にピントが合った状態でフレーミングし続けるのは非常に難しい作業である。
【００３３】
一方、通常観察モードを選択した場合はスクリーニング検査を行うのに十分な画角と被写界深度を得る為の焦点位置となるように焦点位置制御部２０６を介して焦点位置調整レンズ２０７を移動させることとなる。この場合は、常に合焦状態にあるのでユーザーは観察対象にスコープ先端を移動させるだけで観察する事ができ、複雑で微妙な操作を強いる事はない。
【００３４】
続いてプロセッサ部３００を構成する画像処理部３０１の詳細を図２のブロック図に基づいて説明する。
【００３５】
画像処理部３０１は画像構成処理部３１０、テクスチャ抽出部３２０、テクスチャ補正量算出部３４０、テクスチャ補正部３６０、合成部３７０から構成される。
【００３６】
続いて各構成部間のデータの流れを説明する。Ａ/Ｄ変換部２１０から出力された時系列撮像画像は画像構成処理部３１０に入力される。画像構成処理部３１０には更に制御部３０２が接続されており、制御部３０２に予め保存されている処理パラメータ（ＯＢクランプ値、ＷＢ係数、色補正係数、階調変換テーブル、輪郭強調レベル等）が画像構成処理部３１０に入力される。それらの処理パラメータに基づき画像構成処理部３１０は入力された時系列撮像画像から表示装置にて観察可能な時系列表示画像を生成し、テクスチャ抽出部３２０、及び合成部３７０へ出力する。
【００３７】
テクスチャ抽出部３２０は画像構成処理部３１０から出力される時系列表示画像が入力され、制御部３０２からは外部Ｉ／Ｆ部５００でユーザー指定された観察モード信号（拡大観察モードか通常観察モードかを示す情報）と、更に撮像部２００の倍率情報が入力される。テクスチャ抽出部３２０ではまず観察モードが拡大観察モードとなった時点で動作し、入力される時系列表示画像の各フレームに対してテクスチャ画像を抽出する。ここでテクスチャ画像は、観察対象である生体表面の微細な粘膜構造や血管等に対応する微小階調変化画像であり、粘膜表層で照明光が正反射した領域や、ヒダ等の大きな階調変化を呈する部分は極力取り除いた画像である。テクスチャ抽出部３２０の詳細については後述する。
【００３８】
テクスチャ抽出部３２０で抽出されたテクスチャ画像は、テクスチャ補正量算出部３４０に入力され、制御部３０２からの観察モード信号とテクスチャ基準閾値とテクスチャ画像の振幅値に基づきテクスチャ画像に対する補正量が算出される。算出した補正量はテクスチャ補正部３６０へ出力される。ここでテクスチャ基準閾値はテクスチャ補正量算出部３４０で時系列的に算出される複数のテクスチャ画像の振幅値から基準振幅値を選定する為の判定閾値である。また補正量は、現時点で抽出されたテクスチャ画像の振幅値が基準振幅値と同一の大きさとなる振幅ゲイン量に基づき算出される。但し、この振幅ゲイン量が所定閾値以上に大きくなる場合は、抽出されているテクスチャ画像内に有意な情報が無くピンボケ状態にあるとして補正量を０に修正する。ここで補正量は図１８に示すように振幅ゲイン量に対する２つの閾値Ｔｈ１とＴｈ２を設けてこの２つの閾値間で徐々に補正量を小さくするような連続的変化を与えても良い。テクスチャ補正量算出部３４０の詳細については後述する。
【００３９】
テクスチャ補正部３６０は入力されるテクスチャ画像と前記補正量とを乗算し、補正テクスチャ画像を生成して合成部３７０へ出力する。
【００４０】
合成部３７０には画像構成処理部３１０から出力される時系列表示画像とテクスチャ補正部３６０から出力される前記時系列表示画像に対応する補正テクスチャ画像とが入力され、制御部３０２の観察モード信号が拡大観察モード時である場合に前記２つの画像が加算されて、ボケ補正画像を生成する。
【００４１】
ボケ補正画像は表示部４００に出力され、ボケ補正された画像が表示される。また観察モードが通常観察モード時は、時系列表示画像が補正テクスチャ画像と加算されずにそのまま表示部４００へ出力される。
【００４２】
２．２ ボケ量情報抽出部の詳細な構成
続いてボケ量情報抽出部の詳細について説明する。本実施形態においては、ボケ量情報抽出部は、図２のテクスチャ抽出部３２０に相当する。
【００４３】
テクスチャ抽出部３２０の詳細について図３のブロック図に基づいて説明する。テクスチャ抽出部３２０は領域抽出部３２１、フィルタ係数算出部３２２、フィルタ処理部３２３、ノイズ量推定部３２４、減算処理部３２５、領域抽出部３２６、フィルタ係数算出部３２７、フィルタ処理部３２８、フィルタパラメータ制御部３２９から構成されている。
【００４４】
続いて各構成部間のデータの流れを説明する。制御部３０２から出力された観察モード信号と倍率情報がフィルタパラメータ制御部３２９へ入力され、フィルタ係数生成用パラメータに変換される。変換されたフィルタ係数生成用パラメータはフィルタ係数算出部３２２とノイズ量推定部３２４へ出力される。
【００４５】
画像構成処理部３１０から出力された時系列表示画像は領域抽出部３２１へ入力され、注目画素とその周辺ｐ×ｑ画素領域（ｐとｑは任意の正整数）が抽出されて、フィルタ係数算出部３２２とフィルタ処理部３２３へ出力される。ここで撮像された時系列表示画像の時刻がｔ、２次元座標が（ｘ,ｙ）からなる３次元座標での画素値をＰ（ｘ,ｙ,ｔ）とし、またフィルタ処理を行う注目画素は、その３次元座標を（ｘ０,ｙ０,ｔ）とする。また時系列表示画像はカラー画像であるので、画素値Ｐ（ｘ,ｙ,ｔ）はＲ、Ｇ、Ｂの３チャンネルで構成される３次元ベクトルとなる。
【００４６】
フィルタ係数算出部３２２はフィルタパラメータ制御部３２９から出力されるフィルタ係数生成用パラメータに基づきフィルタ係数を算出する。ここで入力されるフィルタ係数生成用パラメータは前記ｐ×ｑ画素領域の注目画素と周辺画素の画素値の差の絶対値をフィルタ係数に変換制御する為の量である。例えば、式（１）に示す２つのガウス関数の積で構成されるバイラテラルフィルタを用いた場合、注目画素とその周辺画素の画素値の差の絶対値に対する指標値σ１ｓがフィルタ係数生成用パラメータとなる。
【００４７】
ここでフィルタ係数Ｆ１（ｘ,ｙ,ｔ）は下式（１）で表され、Σｘｙはｐ×ｑ画素領域内の総和を、Ｐｆ（ｘ０,ｙ０,ｔ）はフィルタ処理後の画素値を示す。
【数１】
【００４８】
フィルタ処理部３２３は領域抽出部３２１から出力されたｐ×ｑ画素領域の画素値Ｐ（ｘ,ｙ,ｔ）とフィルタ係数算出部３２２から出力されるフィルタ係数Ｆ１（ｘ,ｙ,ｔ）によりフィルタ処理を行い、フィルタ処理後の画素値Ｐｆ（ｘ０,ｙ０,ｔ）を下式（２）で算出する。算出結果は減算処理部３２５とノイズ量推定部３２４へ出力される。
【数２】
【００４９】
減算処理部３２５には画像構成処理部３１０から出力される時系列表示画像の画素値Ｐ（ｘ０,ｙ０,ｔ）とフィルタ処理部３２３から出力されるフィルタ処理後の画素値Ｐｆ（ｘ０,ｙ０,ｔ）が入力され、Ｐ（ｘ０,ｙ０,ｔ）からＰｆ（ｘ０,ｙ０,ｔ）を減算した差分値Ｄ（ｘ０,ｙ０,ｔ）を算出し、算出した差分値Ｄ（ｘ０,ｙ０,ｔ）で構成される差分画像を一時保存する。保存された差分画像は領域抽出部３２６に出力される。
【００５０】
ノイズ量推定部３２４はフィルタパラメータ制御部３２９からフィルタ係数生成用パラメータとして出力されるノイズ量推定モデル（画素値をノイズ量に変換する関数）と、フィルタ処理部３２３からのフィルタ処理後の画素値Ｐｆ（ｘ０,ｙ０,ｔ）が入力され、Ｐｆ（ｘ０,ｙ０,ｔ）に対応するノイズ量Ｎ（ｘ０,ｙ０,ｔ）を推定する。推定ノイズ量Ｎ（ｘ０,ｙ０,ｔ）はフィルタ係数算出部３２７へ出力される。
【００５１】
ここでノイズ量推定モデルは所定領域内で均一な明るさとなる複数の反射率を持つグレーチャートを撮影し、画像構成処理部３１０から出力される時系列表示画像のグレーチャート内の前記所定領域の画素値Ｐ（ｘ,ｙ,ｔ）の平均値と標準偏差σを各々算出して求めたものである。これら複数の平均値と標準偏差から、定義域として取り得る各画素値とノイズ量（例えば標準偏差をノイズ量とする）のより詳細な対応関係は多項式近似曲線でフィッティングした関数で求め、実装時は例えばその関数を折れ線近似やルックアップテーブル化したものを使用する。
【００５２】
領域抽出部３２６は減算処理部３２５から出力される差分画像に対して注目画素の周辺ｖ×ｗ画素領域（ｖとｗは任意の正整数）を抽出し、フィルタ係数算出部３２７、及びフィルタ処理部３２８へ出力する。
【００５３】
フィルタ係数算出部３２７はノイズ量推定部３２４から出力されるノイズ量Ｎ（ｘ０,ｙ０,ｔ）に基づいて前記ｖ×ｗ画素領域の注目差分画素値Ｄ（ｘ０,ｙ０,ｔ）と周辺差分画素値Ｄ（ｘ,ｙ,ｔ）の差の絶対値に基づきフィルタ係数を算出する。ここでノイズ量Ｎ（ｘ０,ｙ０,ｔ）はフィルタ係数への変換制御量となる。式（３）に示すバイラテラルフィルタを用いると、注目差分画素値とその周辺差分画素値の差の絶対値に対する指標値σ２ｓを下式（３）に示すようにノイズ量Ｎ（ｘ０,ｙ０,ｔ）に対応させる。
【数３】
【００５４】
フィルタ処理部３２８は領域抽出部３２１から出力されたｖ×ｗ画素領域の差分画素値Ｄ（ｘ,ｙ,ｔ）とフィルタ係数算出部３２７から出力されるフィルタ係数Ｆ２（ｘ,ｙ,ｔ）によりフィルタ処理を行い、フィルタ処理後の差分画素値Ｄｆ（ｘ０,ｙ０,ｔ）を下式（４）で算出する。算出結果はテクスチャ補正量算出部３４０へ出力される。
【数４】
【００５５】
上記２つのバイラテラルフィルタＦ１（ｘ,ｙ,ｔ）とＦ２（ｘ,ｙ,ｔ）の特性とテクスチャ抽出についての考え方を図４（Ａ）〜図４（Ｃ）に基づいて説明する。
【００５６】
まずフィルタＦ１（ｘ,ｙ,ｔ）のフィルタ係数を制御する指標値σ１ｓは、フィルタＦ２（ｘ,ｙ,ｔ）の指標値σ２ｓに対して十分大きい値に設定する。
【００５７】
フィルタ係数の大きさを主に決定する第２項の画素値差|Ｐ（ｘ,ｙ,ｔ）-Ｐ（ｘ０,ｙ０,ｔ）|、或いは差分画素値差|Ｄ（ｘ,ｙ,ｔ）-Ｄ（ｘ０,ｙ０,ｔ）|の大きさが指標値σ１ｓに対して同等レベル以下で且つ指標値σ２ｓより大きな画素値差の領域ではフィルタＦ１（ｘ,ｙ,ｔ）の周波数特性は図４（Ｂ）の８０４に示すようにローパス特性が強い。また、フィルタＦ２（ｘ,ｙ,ｔ）の周波数特性は図４（Ｂ）の８０３に示すようにローパス特性が弱くなる。この結果、２つのフィルタ特性には大きな違いが発生する。
【００５８】
一方、上記画素値差よりも大きな画素値差が発生する領域ではフィルタＦ１（ｘ,ｙ,ｔ）の周波数特性は図４（Ａ）の８０２に示すようにローパス特性が弱く、フィルタＦ２（ｘ,ｙ,ｔ）の周波数特性は図４（Ａ）の８０１に示すように更にローパス特性が弱くなるが、その差は小さい。
【００５９】
更に、画素値差が指標値σ２ｓよりも小さな領域ではフィルタＦ１（ｘ,ｙ,ｔ）の周波数特性は図４（Ｃ）の８０６に示すようにローパス特性が強い。また、フィルタＦ２（ｘ,ｙ,ｔ）の周波数特性も図４（Ｃ）の８０５に示すようにローパス特性が強くなり、この場合も２つのフィルタ特性のその差は小さい。
【００６０】
このように２つのバイラテラルフィルタの画素値差（振幅値）の大きさに伴う周波数特性の違いを利用し、所定の小さな画素値差を持つ領域のテクスチャを抽出する。
【００６１】
つまり画素値差が小さなテクスチャ領域では減算処理部３２５から出力される差分画像の周波数帯域は周波数特性８０４以外のハイパス特性となる。このハイパス特性の信号はフィルタ処理部３２８で、周波数特性８０３のようにより高周波のみをカットすることになるので、フィルタ処理部３２８から出力される信号は周波数特性８０３と周波数特性８０４に挟まれた広帯域バンドパス特性の周波数特性を持つ事になる。この特性を、観察対象となる粘膜構造や血管走行パターンが持つ周波数帯域に合わせる事で狙ったテクスチャの抽出が可能となる。
【００６２】
一方、画素値差が大きな正反射領域やヒダ等の大きな構造境界では、減算処理部３２５から出力される信号の帯域は周波数特性８０２以外のハイパス特性となる。このハイパス特性の信号はフィルタ処理部３２８で周波数特性８０１により同等の高周波をカットする事になるので、フィルタ処理部３２８から出力される信号はほとんど通過する帯域が無く正反射領域やヒダ等の大きなエッジ構造をカットすることができる。
【００６３】
更に、画素値変化が非常に小さな領域にあるノイズ成分（ここで、ノイズ量に伴う変化は、上記テクスチャ領域の画素値変化よりも十分小さいものとする）については、図４（Ｃ）に示すように２つのフィルタ特性に差が出ないので、フィルタ処理部３２８から出力される信号はほとんど通過する帯域が無く、ノイズ成分をカットすることができる。
【００６４】
結果として画素値差が小さなテクスチャ画像のみがテクスチャ抽出部３２０から出力される事になる。抽出するテクスチャ画像の周波数特性と振幅特性は２つの指標値σ１ｓとσ２ｓを用いて制御する事ができる。
【００６５】
特に外部Ｉ／Ｆ部５００のズームレバーを操作し時系列表示画像の倍率を連続的（或いは段階的）に変化させるのと連動して、その倍率情報が制御部３０２を経由してフィルタパラメータ制御部３２９に入力される事でフィルタパラメータ制御部３２９は上記２つの指標値σ１ｓとσ２ｓを制御し、それぞれの倍率に応じた生体構造をより的確にテクスチャ画像として抽出する事ができる。
【００６６】
例えば、図１９（Ａ）に示すように倍率が小の状態ではσ１ｓとσ２ｓをそれぞれ大きな値（但しσ１ｓ＞σ２ｓ）を指定して、対応するフィルタＦ１とＦ２の周波数特性をそれぞれ１５０２、１５０１として低周波帯域１５０７を抽出するテクスチャ画像とする。また、図１９（Ｂ）に示すように倍率が中程度の状態ではσ１ｓとσ２ｓを倍率が小さい状態よりもそれぞれ小さくし（但しσ１ｓ＞σ２ｓ）、対応するフィルタＦ１とＦ２の周波数特性をそれぞれ１５０４、１５０３として中周波帯域１５０８を抽出したテクスチャ画像とする。さらに、図１９（Ｃ）に示すように倍率が大の状態ではσ１ｓとσ２ｓを倍率が中程度の状態よりもそれぞれ更に小さくし（但しσ１ｓ＞σ２ｓ）、対応するフィルタＦ１とＦ２の周波数特性をそれぞれ１５０６、１５０５として高周波帯域１５０９を抽出したテクスチャ画像とする。
【００６７】
上記したように倍率により抽出するテクスチャ画像の周波数帯域を変更する理由は、低倍率では微妙な色変化を呈する発赤や退色調の大きな面積領域が重要であり、中倍率では腺管や血管走行パターンの構造が、そして高倍率ではより細かなピットパターンや粘膜表層の微細血管の構造が診断上重要となる為である。
【００６８】
２．３ ボケ量補正部の詳細な構成
続いてボケ量補正部について説明する。本実施形態においては、ボケ量補正部は、テクスチャ補正量算出部３４０、テクスチャ補正部３６０及び合成部３７０に相当する。
【００６９】
テクスチャ補正量算出部３４０について図５のブロック図に基づき説明する。テクスチャ補正量算出部３４０は振幅算出部３４１、基準振幅更新判定部３４２、基準振幅記憶部３４３、補正量算出部３４４、補正量制御部３４５から構成される。
【００７０】
続いて各構成部間のデータの流れを説明する。補正量制御部３４５は制御部３０２から出力される観察モード信号とテクスチャ基準閾値と補正量上限値、更に基準振幅記憶部３４３から現時点の基準振幅値が入力され、観察モード信号とテクスチャ基準閾値と基準振幅値に基づき基準振幅判定閾値を設定して基準振幅更新判定部３４２へ、更に補正量上限値が補正量算出部３４４へ出力される。
【００７１】
ここでテクスチャ基準閾値は撮像された時系列表示画像がボケている状態にあるかどうかを判定する基準値であり、撮像性能の違いにより変化するのでスコープの種類により異なる値が設定されている。この設定値は撮像部２００が保有する不図示のＲＯＭに前記基準値が記録されており、撮像部２００がプロセッサ部３００と接続された時点でプロセッサ部３００の制御部３０２に前記基準値が取り込まれる。テクスチャ画像の振幅値がテクスチャ基準閾値よりも小さい場合には、ボケの程度が強く、ボケ回復処理が行えないと判断することになる。
【００７２】
また、基準振幅値とは、補正の目標となる値のことである。基本的には、テクスチャ画像の振幅値を基準振幅値と同じ大きさにする補正処理を行うことで、ボケを補正することになる。ただし、例外的な処理もあるため、詳細は後述する。
【００７３】
また、基準振幅値判定閾値は上述の基準振幅値を選定する為の閾値で、観察モード信号が拡大観察モードに変化した時点ではテクスチャ基準閾値の値に設定し、それ以外は例えばテクスチャ基準閾値と基準振幅値の平均値を設定する。テクスチャ画像の振幅値が基準振幅値判定閾値を超えていることが、基準振幅値の更新の条件の１つになっている。
【００７４】
振幅算出部３４１はテクスチャ抽出部３２０から出力される時刻ｔで抽出されたテクスチャ画像に対する振幅値ＭＡ（ｔ）を算出する。ここで振幅値はテクスチャ画像を構成するテクスチャ画像の画素値の絶対値に対する最大値で定義しても良いし、テクスチャ画像の画素値の最大値と最小値の差で定義しても良い。算出された振幅値ＭＡ（ｔ）は基準振幅更新判定部３４２へ出力される。
【００７５】
基準振幅更新判定部３４２は振幅算出部３４１から出力される振幅値ＭＡ（ｔ）と補正量制御部３４５から出力される基準振幅判定閾値が入力され、基準振幅更新判定部３４２に格納済みの２つ前までの振幅値ＭＡ（ｔ-１）、ＭＡ（ｔ-２）に基づき、振幅値ＭＡ（ｔ）が新しい基準振幅値となるかどうかを判定する。
【００７６】
より詳しくは図６の模式図を使って説明する。まず拡大観察モードに切り替わった直後は、補正量制御部３４５はテクスチャ基準閾値を基準振幅判定閾値として基準振幅更新判定部３４２へ出力する。そのため、動きが大きくブレボケが発生している場合や観察対象に近づきすぎてピンボケになっている場合等の例外を除いて、観察モードへの切り替え時のテクスチャ画像の振幅値が基準振幅値として選定され基準振幅記憶部３４３に出力される。
【００７７】
それ以降の拡大観察モードが維持されている状態では、基準振幅判定閾値が前記したように例えばテクスチャ基準閾値と基準振幅値の平均値となるので、基準振幅値を更新する基準振幅判定閾値はより大きな値が設定される。そのため、頻繁に基準振幅値が更新されるのが抑制される。このような制御を行う理由は、基準振幅値が頻繁に変動するのを抑える事で、それに連動して変化する合成部３７０から出力されるボケ補正画像の時間的な解像感変動を抑制することにある。これにより見かけ上、合焦状態を維持できることになる。
【００７８】
一方、ユーザーは拡大観察時にスコープ先端を観察対象に近づけつつ、ズームレバーを動かして所望の倍率と合焦状態を維持するように内視鏡を操作するが、倍率を上げる程、被写界深度が狭くなるので合焦状態を維持できずに図６の時間と振幅値のグラフのように合焦状態とそうでない状態を繰り返す事となる。
【００７９】
このような状態に対して基準振幅更新判定部３４２は前記した３つの振幅値ＭＡ（ｔ）、ＭＡ（ｔ-１）、ＭＡ（ｔ-２）から期間ｔ-２〜ｔの間で振幅値が極大値を持つかどうかを判断する。これは例えば３つの振幅値に対して２次式でフィッティングしてこの期間内に極大値が存在するかを判断する事で行う。極大値が存在する場合は２次式で算出された極大値が基準振幅値の候補となり、次に基準振幅判定閾値と比較を行う。極大値が基準振幅判定閾値よりも大きい場合には基準振幅値として基準振幅記憶部３４３へ出力する。一方、極大値が基準振幅判定閾値以下である場合は、基準振幅値とは見なされず、基準振幅記憶部３４３へ出力されない。一方、極小値が検出された場合は基準振幅判定閾値との比較を行わず、基準振幅値の変更は行なわれない。
【００８０】
このように基準振幅値を更新する理由は、観察倍率の違いにより観察対象の粘膜構造や血管が低倍率では解像できていないものが見えてくる場合や、観察位置自体を拡大状態で変更した場合等、テクスチャ画像の時間的な特性変化に対応する為のものである。
【００８１】
基準振幅記憶部３４３は基準振幅更新判定部３４２から出力される基準振幅値が入力され、過去に記録した基準振幅値を最新の値に更新する。最新の基準振幅値は補正量制御部３４５と補正量算出部３４４に出力される。
【００８２】
補正量算出部３４４では、振幅算出部３４１から出力される時刻ｔの振幅値ＭＡ（ｔ）と基準振幅記憶部３４３から出力される基準振幅値ＲＭＡと補正量制御部３４５から出力される補正量上限値が入力され、振幅値ＭＡ（ｔ）が基準振幅値ＲＭＡと同じ大きさとなる振幅ゲイン量、及び２つの閾値Ｔｈ１、Ｔｈ２とから補正量を算出する。算出した補正量はテクスチャ補正部３６０へ出力される。
【００８３】
補正量＝振幅ゲイン量−１ ・・・・・（５）
但し、振幅ゲイン量≧１、且つ振幅ゲイン量＜Ｔｈ１
補正量＝補正量上限値−α×振幅ゲイン量＋β ・・・・・（６）
但し、振幅ゲイン量≧Ｔｈ１、且つ振幅ゲイン量＜Ｔｈ２
補正量＝０ ・・・・・（７）
但し、振幅ゲイン量＜１、或いは振幅ゲイン量≧Ｔｈ２
またＴｈ１＝補正量上限値＋１、Ｔｈ２＝Ｔｈ１＋基準振幅値／テクスチャ基準閾値
α＝振幅上限値／（Ｔｈ２-Ｔｈ１）
β＝α×Ｔｈ２−補正量上限値
振幅ゲイン量＝ＲＭＡ／ＭＡ（ｔ）
【００８４】
ここでテクスチャ画像の振幅値と補正量の関係を図７（Ａ）〜図７（Ｃ）の模式図で説明する。図７（Ａ）と（Ｂ）に示すようにスコープ先端と観察対象が合焦位置からＺ方向（ここでＺ方向とはスコープ先端に設けられた光学系の光軸方向）に深度範囲を超えた±Δのブレを伴っている場合、テクスチャ画像の振幅値は合焦位置で最も大きな値をとる。つまり拡大観察時では±Δのブレがあるとピントが合っている画像とピントが甘い画像を連続して観察している事になり、光学系の解像度を十分に引き出した時系列表示画像を観察できていない事になる。
【００８５】
そこで図７（Ｃ）のようにテクスチャ画像の振幅を合焦位置での大きさに揃えるように、Ｚ方向ブレに伴うテクスチャ画像の振幅値の低下を補正した補正テクスチャ画像がテクスチャ補正部３６０から出力される。合成部３７０で画像構成処理部３１０から出力される時系列表示画像に補正テクスチャ画像が加算されるので、合焦位置に無い場合でも完全にボケていなければ、生体表面の粘膜構造や血管などが描出されたテクスチャを保持した画像をユーザーに提供できる。
【００８６】
上記実施例では、テクスチャ抽出処理を最終表示画像に対して行うように記述したが、その必要はなく、この処理を画像構成処理部３１０内の強調処理に組み込む事も可能である。
【００８７】
上記実施例では、またテクスチャ抽出処理を２つのバイラテラルフィルタを用いて処理する例を示したがそれに限定されない。例えば特定周波数以上を抽出するハイパスフィルタや、バンドパスフィルタを用いて簡易的にテクスチャ画像を抽出しても良い。但し、この場合は照明光の被写体からの正反射に伴う輝点領域等、時間的に変動する急峻なエッジ部の除去処理（例えば単純なものとしては輝度レベルを画像平均値に基づき設定した閾値との判定処理とその判定領域の削除処理（例えばモルフォロジー処理等））により輝点領域をカットしてテクスチャ画像に対する補正量の影響を極力抑えると安定した制御ができる。
【００８８】
以上のように第１実施の形態によれば、拡大観察時の浅い深度においてＺ方向ブレによるボケの改善が行なわれ、病変部の精査をストレス無く短時間に行なうことができ、患者の負担も軽減することができる。
【００８９】
以上の本実施形態では、内視鏡装置は、拡大観察状態における撮像画像を時系列的に取得する画像取得部と、拡大観察状態における撮像画像からボケ量情報を抽出するボケ量情報抽出部と、抽出したボケ量情報に基づいて撮像画像を補正するボケ量補正部とを含む。
【００９０】
ここで、画像取得部は、図２における画像構成処理部３１０に相当する。ボケ量情報抽出部は、図２におけるテクスチャ抽出部３２０に相当する。ボケ量補正部は、図２におけるテクスチャ補正量算出部３４０と、テクスチャ補正部３６０及び合成部３７０に相当する。
【００９１】
また、拡大観察状態とは、通常観察状態に比べて光学系の拡大倍率が高倍率である観察状態のことであり、例えば、数十〜数百倍の倍率での観察状態のことである。本実施形態においては、光学系の拡大倍率が所定倍率以上の状態を拡大観察状態とする。
【００９２】
これにより、拡大観察が可能な内視鏡装置において、拡大観察時の撮像画像から、撮像画像がどの程度ぼけているかを表す情報であるボケ量情報を抽出し、抽出したボケ量情報に基づいて撮像画像を補正することが可能になる。上述したように、内視鏡装置の光学系の撮像倍率が高くなるほど、被写界深度は狭くなりピントのあった画像を取得することが難しくなる。しかし、内視鏡装置がユーザー（ドクター）による診断、処置のために用いられることに鑑みれば、常にピントのあった画像を取得することが望ましい。よって、本実施形態の手法により、ボケ回復処理を行うことは非常に有用である。また、どの程度撮像画像がぼけているかを表す情報であるボケ量情報に基づいて補正処理を行うため、過剰な補正処理（例えばノイズ成分も増強してしまう等）を行うことがなく、見た目に違和感のないボケ補正画像を取得することができる。
【００９３】
また、ボケ量情報抽出部は、撮像画像から所定周波数帯域成分の画像である所定周波数帯域画像（テクスチャ画像）を抽出する所定周波数帯域画像抽出部を含む。
【００９４】
ここで、所定周波数帯域画像抽出部は、図２におけるテクスチャ抽出部３２０に相当する。
【００９５】
これにより、ボケ量情報として、撮像画像の所定周波数帯域成分の画像を抽出することが可能になる。抽出の際の所定周波数を適切に設定することで、ボケの影響を強く受ける領域（例えば生体の粘膜表面や血管構造等の微小階調構造）を抽出し、かつ、ボケの影響をあまり受けない領域、もしくはノイズ成分に対応する領域を抽出しないといった処理ができる。そのため、補正処理を行いたい領域のみを適切に抽出することが可能になる。
【００９６】
また、周波数帯域画像抽出部は、撮像画像の振幅値を算出する撮像画像振幅算出部を含んでもよい。
【００９７】
ここで、撮像画像の振幅値とは、注目画素（振幅値を求めたい画素）の画素値と、注目画素の周辺の画素である周辺画素の画素値との差によって求められる。
【００９８】
また、撮像画像振幅算出部は、図３における領域抽出部３２１及びフィルタ係数算出部３２２に対応する。また、図３における領域抽出部３２６及びフィルタ係数算出部３２７にも対応する。実際には、領域抽出部３２１もしくは領域抽出部３２６において、注目画素に対する周辺画素の領域を求める。そして、フィルタ係数算出部３２２もしくはフィルタ係数算出部３２７において、フィルタ係数の算出の際に、注目画素と周辺画素の画素値の差を求めている。具体的には上述した式（１）の|Ｐ（ｘ,ｙ,ｔ）-Ｐ（ｘ０,ｙ０,ｔ）|や、式（３）の|Ｄ（ｘ,ｙ,ｔ）-Ｄ（ｘ０,ｙ０,ｔ）|に相当する。
【００９９】
これにより、撮像画像の振幅値を求めることが可能になる。そのため、振幅値に応じた処理が可能になり、振幅値の大きいヒダ等の構造を除外し、振幅値の小さい粘膜や血管等の構造に対応する画像を抽出することができる。
【０１００】
また、所定周波数帯域画像抽出部は、撮像画像振幅算出部により算出された振幅値が、第１の振幅範囲にある場合には所定周波数帯域画像の抽出を行わず、撮像画像振幅算出部により算出された振幅値が、第２の振幅範囲にある場合には所定周波数帯域画像の抽出を行う。
【０１０１】
ここで、第１の振幅範囲は例えば、図４（Ａ）に対応し、第２の振幅範囲は、図４（Ｂ）に対応する。つまり、第１の振幅範囲における振幅値は、第２の振幅範囲における振幅値よりも大きい。具体的には、第１の振幅範囲にある画像は生体表面のヒダに対応する画像であり、第２の振幅範囲にある画像は粘膜表面及び血管に対応する画像である。
【０１０２】
これにより、撮像画像の振幅値に応じた処理が可能になる。具体的には、振幅値が大きい第１の振幅範囲の画像は所定周波数帯域画像として抽出せず、振幅値が第１の振幅範囲より小さい第２の振幅範囲の画像は所定周波数帯域画像として抽出する。これにより、振幅値が大きいヒダ等の構造は抽出せず、振幅値の小さい粘膜や血管等の構造のみ抽出することができる。つまり、ボケの影響を強く受ける領域のみを抽出することができるため、効率的なボケ補正が可能になる。
【０１０３】
また、所定周波数帯域画像抽出部は、撮像画像振幅算出部により算出された振幅値が、第３の振幅範囲にある場合には所定周波数帯域画像の抽出を行わない。
【０１０４】
ここで、第３の振幅範囲は例えば、図４（Ｃ）に対応する。つまり、第３の振幅範囲における振幅値は、第２の振幅範囲における振幅値よりも小さい。具体的には、第３の振幅範囲にある画像はノイズに対応する画像である。
【０１０５】
これにより、撮像画像の振幅値に応じた処理が可能になる。具体的には、振幅値が第２の振幅範囲よりも小さい第３の振幅範囲の画像は所定周波数帯域画像として抽出しない。これにより、振幅値が粘膜や血管等よりも小さいノイズ成分に対応する画像は抽出しないようにできる。つまり、ノイズ成分まで増強することを抑止しつつ、ボケ回復処理を行うことが可能になる。
【０１０６】
また、所定周波数帯域画像は、振幅値が第２の振幅範囲にあり、かつ、周波数成分が第１の周波数範囲にある画像である。
【０１０７】
ここで、第１の周波数範囲とは、図４（Ｂ）におけるＣ１の範囲に対応し、第２の周波数範囲とは、図４（Ｂ）におけるＣ２の範囲に対応する。つまり、第１の周波数範囲における周波数は、第２の周波数範囲における周波数よりも高い。
【０１０８】
これにより、振幅範囲だけでなく、周波数においても特定の範囲のみを抽出し所定周波数帯域画像とすることが可能になる。この際、抽出する第１の周波数範囲を重点的に観察したい領域（かつ、ボケ補正を適切にかけたい領域）にあわせることで、効果的なボケ補正処理を行うことができる。
【０１０９】
また、所定周波数帯域画像抽出部は、内視鏡装置の光学系の倍率情報に基づいて、所定周波数帯域画像の抽出条件を制御する抽出条件制御部を含んでもよい。
【０１１０】
ここで、抽出条件制御部は、図３におけるフィルタパラメータ制御部３２９に相当する。
【０１１１】
これにより、光学系の倍率情報に基づいて、所定周波数帯域画像の抽出条件を制御することが可能になる。そのため、倍率に応じて観察対象となる生体構造が変化した場合にも、その変化にあわせて所定周波数帯域画像を適切に抽出することができる。
【０１１２】
また、図４（Ｂ）のＣ１、Ｃ２に示したように、第１の周波数範囲における周波数が、第２の周波数範囲における周波数に比べて高い周波数である場合に、第１の周波数範囲が第１の周波数閾値よりも大きく第２の周波数閾値よりも小さい周波数範囲であるとする。これは例えば、第１の周波数閾値が図４（Ｂ）のフィルタ８０４のカットオフ周波数に対応し、第２の周波数閾値がフィルタ８０３のカットオフ周波数に対応するケース等が考えられる（もちろん周波数閾値はフィルタのカットオフ周波数に限定されるものではない）。さらに、所定周波数帯域画像は周波数成分が第１の周波数範囲にある場合を考える。このとき、所定周波数帯域画像抽出部は、内視鏡装置の光学系の倍率情報により表される倍率が大きくなるほど、第１の周波数閾値と第２の周波数閾値を大きくしてもよい。
【０１１３】
これにより、図１９（Ａ）〜図１９（Ｃ）のような処理が可能になる。図１９（Ａ）〜図１９（Ｃ）に示したように、光学系の倍率が高くなるほど、抽出する周波数範囲である第１の周波数範囲を周波数の高い方向にシフトさせることができる。これにより、倍率に応じて、重要な観察対象に対応する周波数範囲を適切に抽出することが可能になる。具体的には、低倍率では微妙な色変化を呈する発赤や退色調の大きな面積領域が重要であり、中倍率では腺管や血管走行パターンの構造が、そして高倍率ではより細かなピットパターンや粘膜表層の微細血管の構造が重要となる。
【０１１４】
また、所定周波数帯域画像抽出部は、図３に示したように、第１のフィルタ処理部と、減算処理部３２５と、ノイズ量推定部３２４と、第２のフィルタ処理部とを含む。そして、第１のフィルタ処理部は第１のフィルタ処理を行い、減算処理部３２５は第１のフィルタ処理によって得られた画像と撮像画像との差分をとることで構造画像を生成する。ノイズ量推定部は構造画像に含まれているノイズ量を抽出条件に基づいて推定し、第２のフィルタ処理部は、構造画像からノイズを分離し所定周波数帯域画像を取得する。
【０１１５】
ここで、構造画像とは、撮像画像から所定周波数帯域画像（テクスチャ画像）を抽出する際に、中間的に生成される画像のことである。具体的には、図３において、画像構成部３１０から出力され、第１のフィルタ処理部（領域抽出部３２１）及び減算処理部３２５に入力される画像が撮像画像であり、第１のフィルタ処理部からの出力と撮像画像との差分を減算処理部３２５で求めることで得られる画像が構造画像となる。また、構造画像が第２のフィルタ処理部（領域抽出部３２６）に入力され、第２のフィルタ処理が行われた結果、第２のフィルタ処理部（フィルタ処理部３２８）から出力されるのが所定周波数帯域画像（テクスチャ画像）となる。
【０１１６】
これにより、２段のフィルタ処理により所定周波数帯域画像を抽出することが可能になる。具体的には第１段のフィルタで、第１のフィルタ処理を行い（さらに具体的な例は後述する）、第２段のフィルタでノイズ除去を行う。
【０１１７】
また、ボケ量情報抽出部は、撮像画像の振幅値を算出する撮像画像振幅算出部を含む。そして、第１のフィルタ処理部は、撮像画像振幅算出部で算出された振幅値が、第１の振幅範囲にある画像に対して、第１の周波数範囲及び第２の周波数範囲に対応する周波数成分を透過するローパスフィルタ処理を行う。また、第１のフィルタ処理部は、第２の振幅範囲にある画像に対して、第２の周波数範囲に対応する周波数成分を透過し、第１の周波数範囲に対応する周波数成分をカットするローパスフィルタ処理を行う。
【０１１８】
これにより、図４（Ａ）の８０２及び図４（Ｂ）の８０４に対応した処理が可能になる。つまり、振幅値が大きい（ヒダ等に対応する）画像に対しては、高周波成分まで残し、振幅値が小さい（粘膜表面や血管等に対応する）画像に対しては、高周波成分をカットする。第１のフィルタ処理後に、上述したように減算処理部により撮像画像との差分がとられるため、振幅値が大きい画像は第１の周波数範囲よりも高い周波数成分しか残らないのに対し、振幅値が小さい画像は第１の周波数範囲の周波数成分も残ることになる。
【０１１９】
また、第１のフィルタ処理部は、図３に示したように、撮像画像から注目画素の周辺の所定領域を抽出する領域抽出部３２１を含む。また、注目画素に対する周辺画素の空間距離及び画素値間距離（画素値の差）を算出し、抽出条件に基づいてフィルタ係数を算出するフィルタ係数算出部３２２を含む。さらに、領域抽出部３２１で抽出された所定領域と、フィルタ係数算出部３２２で算出されたフィルタ係数に基づいてフィルタ処理を行うフィルタ処理部３２３を含む。
【０１２０】
これにより、図３に示したような構造によりフィルタ処理を行うことが可能になる。具体的には、注目画素の周辺領域を抽出し、周辺画素を設定する。そして、注目画素及び周辺画素の空間距離及び画素値の差を算出するとともに、抽出条件に基づいてフィルタ係数を算出する。これは、式（１）における、｛（ｘ−ｘ０）２＋（ｙ−ｙ０）２｝、|Ｐ（ｘ,ｙ,ｔ）-Ｐ（ｘ０,ｙ０,ｔ）|を求めることに相当する。そして、式（１）で求めたフィルタ係数に基づいて、式（２）によりフィルタ処理を行う。そのため、フィルタの係数に振幅値|Ｐ（ｘ,ｙ,ｔ）-Ｐ（ｘ０,ｙ０,ｔ）|が大きく関わることになるため、振幅範囲に応じた抽出処理が可能になる。また、σ１ｓも調整するため、振幅範囲を条件に合わせて適切に設定することができる。
【０１２１】
また、ボケ量情報抽出部は、撮像画像の振幅値を算出する撮像画像振幅算出部を含む。そして、第２のフィルタ処理部は、撮像画像振幅算出部で算出された振幅値が、第２の振幅範囲にある画像に対して、第１の周波数範囲及び第２の周波数範囲に対応する周波数成分を透過するローパスフィルタ処理を行う。また、第２のフィルタ処理部は、第３の振幅範囲にある画像に対して、第２の周波数範囲に対応する周波数成分を透過し、第１の周波数範囲に対応する周波数成分をカットするローパスフィルタ処理を行う。
【０１２２】
これにより、図４（Ｂ）の８０３及び図４（Ｃ）の８０５に対応した処理が可能になる。つまり、振幅値が小さい（粘膜表面や血管等に対応する）画像に対しては、高周波成分まで残し、振幅値がさらに小さい（ノイズに対応する）画像に対しては、高周波成分をカットする。第１のフィルタ処理後にこのようなフィルタ処理を行うため、第２の振幅範囲にある画像では第１の周波数範囲が残るのに対して、第３の振幅範囲にある画像はほとんどの成分がカットされることになる。そのため、ノイズの除去が可能になる。
【０１２３】
また、第２のフィルタ処理部は、図３に示したように、撮像画像から注目画素の周辺の所定領域を抽出する領域抽出部３２６を含む。また、注目画素に対する周辺画素の空間距離及び画素値間距離（画素値の差）を算出し、抽出条件に基づいてフィルタ係数を算出するフィルタ係数算出部３２７を含む。さらに、領域抽出部３２６で抽出された所定領域と、フィルタ係数算出部３２７で算出されたフィルタ係数に基づいてフィルタ処理を行い、ノイズを分離するノイズ分離部（図３のフィルタ処理部３２８に相当）を含む。
【０１２４】
これにより、図３に示したような構造によりフィルタ処理を行うことが可能になる。具体的には、注目画素の周辺領域を抽出し、周辺画素を設定する。そして、注目画素及び周辺画素の空間距離及び画素値の差を算出するとともに、抽出条件に基づいてフィルタ係数を算出する。これは、式（３）における、｛（ｘ−ｘ０）２＋（ｙ−ｙ０）２｝、|Ｄ（ｘ,ｙ,ｔ）-Ｄ（ｘ０,ｙ０,ｔ）|を求めることに相当する。そして、式（３）で求めたフィルタ係数に基づいて、式（４）によりフィルタ処理を行う。そのため、フィルタの係数に振幅値|Ｄ（ｘ,ｙ,ｔ）-Ｄ（ｘ０,ｙ０,ｔ）|が大きく関わることになるため、振幅範囲に応じた抽出処理が可能になる。また、σ２ｓも調整するため、振幅範囲を条件に合わせて適切に設定することができる。
【０１２５】
また、ボケ量補正部は、時系列的に取得された撮像画像に対して、合焦状態にあると判定された撮像画像である合焦撮像画像のボケ量に基づいて補正を行う。
【０１２６】
ここで、ボケ量補正部は、図２のテクスチャ補正量算出部３４０、テクスチャ補正部３６０及び合成部３７０に相当する。
【０１２７】
これにより、補正の基準を設定することが可能になる。合焦撮像画像はピントが合っていると判定された画像であるから、合焦撮像画像のレベルまで補正処理（例えば信号値の増幅等）を行えば、十分にボケ量の少ない画像を取得することができる。
【０１２８】
また、ボケ量補正部は、所定周波数帯域画像抽出部で抽出された所定周波数帯域画像の振幅値を算出する所定周波数帯域画像振幅算出部を含む。
【０１２９】
ここで、所定周波数帯域画像振幅算出部は、図５における振幅算出部３４１に相当する。また、所定周波数帯域画像の振幅値とは、所定周波数帯域画像の画素値の絶対値に対する最大値で定義しても良いし、所定周波数帯域画像の画素値の最大値と最小値の差で定義してもよい。
【０１３０】
これにより、所定周波数帯域画像の振幅値を算出することが可能になる。そのため、補正の基準として、画像の振幅値を用いることができる。具体的には、ボケた画像における振幅値を、合焦状態にある画像における振幅値と同等になるように増幅することで補正を行えばよい。
【０１３１】
また、ボケ量補正部は、図２に示したように、所定周波数帯域画像振幅算出部により算出された所定周波数帯域画像の振幅値に基づいて、所定周波数帯域画像を補正する所定周波数帯域画像補正部（テクスチャ補正部３６０に相当）と、撮像画像と、補正した所定周波数帯域画像を合成する合成部３７０と、を含む。
【０１３２】
これにより、所定周波数帯域画像を補正した上で、補正した所定周波数帯域画像と撮像画像とを合成することで補正処理を行うことが可能になる。所定周波数帯域画像が、ボケの影響を強く受け、かつ、重要な観察対象に対応する画像であることを鑑みれば、補正対象のみを抽出し補正を行い、合成という形で撮像画像に戻すことになるため、観察対象を安定して合焦時と同程度の解像感に保持した補正を実現することができる。
【０１３３】
また、所定周波数帯域画像補正部は、所定周波数帯域画像振幅算出部で時系列的に算出された振幅値の中から、合焦状態にあると判定された振幅値を、基準振幅値として選択する基準振幅値選択部（図５の基準振幅更新判定部３４２に相当）と、基準振幅値に基づいて所定周波数帯域画像に対する補正量を算出し乗算する補正量乗算部（図５の補正量算出部３４４とテクスチャ補正部３６０に相当）とを含む。
【０１３４】
これにより、基準振幅値を算出し、算出した基準振幅値に基づいて補正を行うことが可能になる。具体的には例えば、図１８における１＜振幅ゲイン量＜Ｔｈ１に示したように、ボケた画像の振幅値を基準振幅値と同じ値にするような補正処理を行えばよい。なお、図１８においては振幅ゲイン量がある程度よりも大きい場合（つまり、基準振幅値に比べてボケた画像の振幅値が小さい場合）には、ボケの程度が強すぎて補正がうまく機能しないと判断し、補正の度合いを弱めるようにしてある。
【０１３５】
また、合焦撮像画像は、光学系が拡大観察状態に切り替えられた時点で取得された撮像画像であってもよい。
【０１３６】
これにより、効率的に合焦撮像画像を取得することが可能になる。つまり、拡大観察状態に切り替えられた時点ではピントは合っている可能性が高いと考えられるため、切り替えた時点における画像を合焦撮像画像としても問題は少ない。そのため、後述するように、条件による判定を行う必要がなく、簡単な処理で合焦撮像画像を取得することができる。
【０１３７】
また、合焦撮像画像は、光学系が拡大観察状態に切り替えられた時点以降に取得された撮像画像であり、かつ、振幅値が所定期間内で所定条件を満たした撮像画像であってもよい。具体的には例えば、所定条件とは、振幅値が基準振幅判定閾値よりも大きく、かつ、極大値をとるという条件であってもよい。
【０１３８】
これにより、拡大観察状態への切り替え後にも、基準となる画像である合焦撮像画像を更新する（つまりは、基準振幅値を更新する）ことが可能になる。内視鏡による観察においては、観察倍率が変化したり、観察対象となる被写体が変化したり（例えば大きな横移動があった場合等）することが考えられ、その場合画像の振幅値が変化する可能性がある。そのような場合にも、合焦撮像画像を更新することで適切な基準を設定することができる。また、合焦撮像画像の更新に条件を設定することで、過剰に頻繁に更新処理が行われることを抑止することが可能になる。
【０１３９】
また、以上の本実施形態は、拡大観察状態における撮像画像を時系列的に取得する画像取得部と、拡大観察状態における撮像画像からボケ量情報を抽出するボケ量情報抽出部と、抽出したボケ量情報に基づいて撮像画像を補正するボケ量補正部としてコンピュータを機能させるプログラムに関係する。
【０１４０】
これにより、本実施形態は、撮像装置や内視鏡システムのように、画像を取得し、システム内で画像処理を行うものに限定されず、例えば、まず画像データを蓄積し、その後、蓄積された画像データに対してＰＣ等のコンピューターシステムでソフトウェア的に処理を行うものにも適用することが可能になる。そして、上記プログラムは、情報記憶媒体に記録される。ここで、情報記録媒体としては、ＤＶＤやＣＤ等の光ディスク、光磁気ディスク、ハードディスク（ＨＤＤ）、不揮発性メモリーやＲＡＭ等のメモリーなど、光学式検出システムによって読み取り可能な種々の記録媒体を想定できる。
【０１４１】
３．第２の実施形態
３．１ 構成
図１０は第２実施の形態の撮像装置の全体構成を示すブロック図である。本実施例を構成する撮像装置は光源部１００と撮像部２００とプロセッサ部３００と表示部４００と外部Ｉ／Ｆ部５００からなり、第１の実施形態と同一の基本構成であるので、異なる詳細構成を主に説明する。
【０１４２】
まず光源部１００に対しては白色光源１０１と複数の分光透過率を持った回転色フィルタ１０２と回転色フィルタ１０２を駆動させる回転駆動部１０３と回転色フィルタ１０２からの分光特性を持った光をライトガイドファイバ２０１の入射端面に集光させる集光レンズ１０４とからなる。
【０１４３】
回転色フィルタ１０２は例えば図９に示すように三原色の赤の色フィルタ６０１と緑の色フィルタ６０２と青の色フィルタ６０３と回転モータ６０４とから構成されている。これら３つの色フィルタの分光特性は図８に示した通りである。
【０１４４】
回転駆動部１０３はプロセッサ部３００の制御部３０２からの制御信号に基づき撮像素子２０９の撮像期間と同期して回転色フィルタ１０２を所定回転数で回転させる。例えば色フィルタを１秒間に２０回転させると、各色フィルタは６０分の１秒間隔で入射白色光を横切る事になり、撮像素子２０９は６０分の１秒間隔で３原色の各色光（Ｒ或いはＧ或いは（Ｂ）での反射光画像の撮像と転送を完了することになる。ここで撮像素子２０９はモノクロ用となる。つまりこの実施例はＲ画像、Ｇ画像、Ｂ画像が６０分の１秒間隔で面順次で撮像される内視鏡装置の例となり、実質のフレームレートは２０ｆｐｓとなる。
【０１４５】
続いて撮像部２００に対しては上記した通り撮像素子２０９が異なり、モノクロ単板撮像素子を用いる。さらに焦点位置制御部２０６と焦点位置調整レンズ２０７は、より高速に駆動が可能で、第２実施の形態ではオートフォーカスがリアルタイムで行えるものである。
【０１４６】
更にプロセッサ部３００に対しては、合焦位置算出部３０３が追加される。制御部３０２の制御内容は合焦位置算出部３０３の追加、及び回転色フィルタ１０２と回転駆動部１０３の追加に伴い修正される。
【０１４７】
プロセッサ部３００に追加された合焦位置算出部３０３は画像処理部３０１から出力される時系列表示画像と制御部３０２から出力される現在撮影中の色フィルタの情報が入力され、対応する色フィルタの画像に基づき合焦位置を算出し、制御部３０２に対して前記算出した合焦位置と共にＺ方向（スコープ先端の光軸方向）のオブリング量を出力する。
【０１４８】
制御部３０２は合焦位置算出部３０３から出力された合焦位置に基づき、焦点位置制御部２０６に焦点位置調整レンズ２０７の移動位置を出力し、その次に撮影する色フィルタが白色光源１０１を横切るタイミングまでに焦点位置調整レンズ２０７を移動させる。
【０１４９】
画像構成処理部３１０から出力される時系列表示画像はテクスチャ抽出部３２０でテクスチャ画像の抽出を行い、抽出されたテクスチャ画像が合焦位置算出部３０３へ出力される。
【０１５０】
また、テクスチャ抽出部３２０で抽出されたテクスチャ画像に基づき、テクスチャ補正量算出部３４０において、テクスチャ画像に対する補正量を算出する。そして、テクスチャ補正部３６０は算出された補正量に基づき、テクスチャ画像を補正し、合成部３７０は、補正されたテクスチャ画像と、画像構成処理部からの撮像画像とを合成することでボケ補正画像を生成する。
【０１５１】
３．２ ボケ量情報抽出部の詳細な構成
テクスチャ抽出部３２０の構成は、第１実施の形態とは異なり、図１３のブロック図に示す構成となっている。
【０１５２】
テクスチャ抽出部３２０はローパス処理部１３２１、１３２６、１３３１とダウンサンプリング部１３２２、１３２７と減算処理部１３２３、１３２８、１３３２とノイズ量推定部１３２４、１３２９、１３３３とコアリング部１３２５、１３３０、１３３４と処理パラメータ制御部１３３５とから構成される。
【０１５３】
この構成は、時系列表示画像をそれぞれ複数の周波数帯域に分割したサブバンド画像を生成し各々独立のノイズ低減処理を組み込んだ構成となっている。この周波数帯域分割よるテクスチャ抽出の特徴は分割する周波数帯域を拡大観察倍率に応じて観察したいテクスチャ（粘膜構造や血管走行パターン）の周波数帯域に合わせて変更することにある。
【０１５４】
続いて各構成部間のデータの流れを説明する。処理パラメータ制御部１３３５は制御部３０２から出力される倍率情報に基づき複数の周波数帯域（サブバンド）に分割する帯域幅が異なるように倍率情報と帯域幅の対応関係がテーブル化されている。その一例を図１４（Ａ）、図１４（Ｂ）に示す。図１４（Ａ）は拡大観察倍率が小さい場合の周波数帯域の分割例であり、図１４（Ｂ）は拡大観察倍率が大きな場合の周波数帯域の分割例である。共に（１）〜（４）の４つの周波数帯域から構成される。
【０１５５】
つまり制御部３０２からの倍率情報と所定閾値とを判定し、どちらの分割方法で帯域情報を分割するかを決定する。分割方法が決定したら、各周波数帯域に見合うローパス特性のフィルタ係数と、ダウンサンプリング時の縮小率を決定し、フィルタ係数はローパス処理部１３２１、１３２６、１３３１へ、縮小率はダウンサンプリング部１３２２、１３２７へ出力される。更に分割方法に基づき各周波数帯域のノイズ量推定モデルも変更される。各周波数帯域に対応するノイズ推定モデルはノイズ量推定部１３２４、１２３９、１３３３へそれぞれ出力される。
【０１５６】
以下、複数の周波数帯域の処理は同一となるので、周波数帯域（１）のサブバンド画像の処理についての説明を行う。ローパス処理部１３２１には画像構成処理部３１０から出力された時系列表示画像と処理パラメータ制御部１３２９から出力されたフィルタ係数が入力される。そして、時系列表示画像に対してフィルタ処理したローパス時系列表示画像を減算処理部１３２３とダウンサンプリング部１３２２とノイズ量推定部１３２４へ出力する。
【０１５７】
減算処理部１３２３には画像構成処理部３１０から出力された時系列表示画像とローパス処理部１３２１から出力されたローパス時系列表示画像が入力される。そして、時系列表示画像からローパス時系列表示画像を減算する事でハイパス時系列表示画像を生成し、コアリング部１３２５へ出力する。
【０１５８】
ノイズ量推定部１３２４にはローパス処理部１３２１から出力されるローパス時系列表示画像と処理パラメータ制御部１３３５から出力されるノイズ推定モデルが入力され、ローパス時系列表示画像の画素値をノイズ推定モデルによりノイズ量に変換し、コアリング部１３２５へ出力する。
【０１５９】
コアリング部１３２５には減算処理部１３２３から出力されるハイパス時系列表示画像が、そしてノイズ量推定部１３２４から出力されるノイズ量が入力され、ノイズ量に見合うコアリング幅でコアリング処理が施される。コアリング処理されたハイパス時系列表示画像はテクスチャ補正量算出部３４０、合焦位置算出部３０３、及びテクスチャ補正部３６０へ出力される。
【０１６０】
ここまでが図１４（Ａ）或いは図１４（Ｂ）の（１）の周波数帯域の抽出である。（２）、（３）の周波数帯域の抽出も基本的に同じであるので、説明は省略する。
【０１６１】
３．３ ボケ量補正部の詳細な構成
続いてテクスチャ補正量算出部３４０について図１５に基づき詳述する。
【０１６２】
テクスチャ補正量算出部３４０は振幅算出部１３４１、基準振幅更新判定部１３４２、基準振幅記憶部１３４３、補正量算出部１３４４、補正量制御部１３５３から構成される。テクスチャ補正量算出部３４０は図１４（Ａ）或いは図１４（Ｂ）の周波数帯域（１）、（２）、（３）の周波数帯域が入力され、各々の補正量が算出される。
【０１６３】
以下に図１４（Ａ）或いは図１４（Ｂ）の周波数帯域（１）に関する補正量算出に関してのみ説明する。補正量制御部１３５３には制御部３０２から出力される観察モード信号とテクスチャ基準閾値と補正量上限値、更に基準振幅記憶部１３４３から現時点の基準振幅値が入力される。そして、観察モード信号とテクスチャ基準閾値と基準振幅値に基づき基準振幅判定閾値を設定して基準振幅更新判定部１３４２へ出力し、更に補正量上限値を補正量算出部１３４４へ出力する。
【０１６４】
ここでテクスチャ基準閾値は撮像された時系列表示画像がボケている状態にあるかどうかを判定する基準値であり、撮像性能の違いにより変化するのでスコープの種類により異なる値が設定されている。基準振幅値判定閾値はテクスチャ画像に対して補正目標となる基準振幅値を選定する為の閾値で、観察モード信号が拡大観察モードに切り替わった時点でテクスチャ基準閾値に、それ以外は例えばテクスチャ基準閾値と基準振幅値の平均値を基準振幅値判定閾値として設定する。
【０１６５】
振幅算出部１３４１はテクスチャ抽出部３２０から出力される時刻ｔで抽出されたテクスチャ画像に対する振幅値ＭＡ（ｔ）を算出する。ここで振幅値はテクスチャ画像の画素値の絶対値に対する最大値で定義しても良いし、テクスチャ画像の画素値の最大値と最小値の差で定義しても良い。算出された振幅値ＭＡ（ｔ）は基準振幅更新判定部１３４２へ出力される。
【０１６６】
基準振幅更新判定部１３４２は振幅算出部１３４１から出力される振幅値ＭＡ（ｔ）と補正量制御部１３５３から出力される基準振幅判定閾値が入力され、基準振幅更新判定部１３４２に格納済みの８フィールド期間前までの振幅値ＭＡ（ｔ-１）、ＭＡ（ｔ-２）、ＭＡ（ｔ-３）、ＭＡ（ｔ-４）、ＭＡ（ｔ-５）、ＭＡ（ｔ-６）、ＭＡ（ｔ-７）、ＭＡ（ｔ-８）に基づき、振幅値ＭＡ（ｔ）が基準振幅値となるかどうかを判定する。ここで１フィールド期間はＲ、Ｇ、Ｂ各色フィルタに対応して撮影されるＲ画像、Ｂ画像、Ｇ画像を取得する期間（１/６０秒）である。
【０１６７】
基準振幅更新判定についての詳細を図１１の模式図を使って説明する。ユーザーは拡大観察時にスコープ先端を観察対象に近づけつつ、ズームレバーを動かして所望の倍率を得るように内視鏡のスコープ先端位置を操作する。本実施例ではオートフォーカス機能を有しているので、合焦状態をユーザーが気にする必要はない。但し、オートフォーカスをコントラスト値に基づき制御する事を前提としているので、図１１の模式図で示したようにＡ→Ｂ→ＣとＺ軸方向（光学系の光軸方向）に焦点位置をオブリングして撮影し、コントラスト変化を発生させる事で合焦位置を推定する必要がある。このようなＺ軸方向でのオブリングは、合焦状態とそうでない状態（ピントが甘い状態）を作り出す事になる。
【０１６８】
特にフレームレートが低いと合焦状態にない画像が表示される期間は長くなり、ピント変化が気になるようになるが、第２の実施形態の面順次内視鏡装置はまさにフレームレートが２０ｆｐｓと低い。
【０１６９】
第２の実施形態の面順次内視鏡装置にコントラスト変化を利用する場合には図１１のＡ→Ｂ→Ｃのそれぞれの焦点位置でＲ、Ｇ、Ｂフィルタでの撮像を行う事になる。つまりＡ→Ｂへ移行する期間は１フレーム期間（１/２０秒）に相当する。
【０１７０】
本実施例の画像構成処理部３１０から出力される時系列表示画像はＲ、Ｇ、Ｂフィルタで撮像された画像のみ（Ｒ画像、或いはＢ画像、或いはＧ画像）がフィールド期間で更新される為、複数のテクスチャ画像からＲ画像、或いはＧ画像、或いはＢ画像に対応する異なる３つのテクスチャ画像を確実に抽出するには９つ分のテクスチャ画像が必要となる。
【０１７１】
したがって基準振幅更新判定部１３４２は時系列的に連続するｔ-８〜ｔの期間での９つのテクスチャ画像に対応する９つの振幅値ＭＡ（ｔ）、ＭＡ（ｔ-１）、ＭＡ（ｔ-２）、ＭＡ（ｔ-３）、ＭＡ（ｔ-４）、ＭＡ（ｔ-５）、ＭＡ（ｔ-６）、ＭＡ（ｔ-７）、ＭＡ（ｔ-８）の振幅値が極大値を持つかどうかを判定する。そのために９つの振幅値から３つのグループ｛ＭＡ（ｔ）、ＭＡ（ｔ-３）、ＭＡ（ｔ-６）｝と｛ＭＡ（ｔ-１）、ＭＡ（ｔ-４）、ＭＡ（ｔ-７）｝と｛ＭＡ（ｔ-２）、ＭＡ（ｔ-５）、ＭＡ（ｔ-８）｝に分ける。そしてグループそれぞれの３つの振幅値に対して２次式にフィッティングして３つのグループのうち、１つでも極大値が存在するかどうか判定する。
【０１７２】
極大値が存在する場合は２次式で算出された極大値が基準振幅値の候補となる。また極大値が複数検出された場合は、最大となる極大値を１つ選択し、基準振幅値の候補とする。基準振幅値の候補は更に基準振幅判定閾値と比較され、極大値が基準振幅判定閾値よりも大きい場合には基準振幅値として基準振幅記憶部１３４３へ出力される。極大値が基準振幅判定閾値以下である場合は、基準振幅値とは見なされず、基準振幅記憶部１３４３へ出力されない。一方、３つのグループ全てで極小値しか検出されなかった場合は基準振幅判定閾値との比較を行わず、基準振幅の変更は行なわれない。
【０１７３】
基準振幅値を更新する理由は、第１の実施形態と同じである。
【０１７４】
基準振幅記憶部１３４３は基準振幅更新判定部１３４２から出力される基準振幅値が入力され、過去に記録した基準振幅値を最新の値に更新する。最新の基準振幅値は補正量制御部１３５３と補正量算出部１３４４に出力される。
【０１７５】
補正量算出部１３４４では、振幅算出部１３４１から出力される時刻ｔの振幅値ＭＡ（ｔ）と基準振幅記憶部１３４３から出力される基準振幅値ＲＭＡと補正量制御部１３５３から出力される補正量上限値が入力され、振幅値ＭＡ（ｔ）が基準振幅値ＲＭＡと同じ大きさとなるゲイン量を算出し、第１の実施形態で示した式（５）、式（６）、式（７）と同様に補正量を算出する。
【０１７６】
同様に周波数帯域（２）、（３）については同一の処理となるので省略するが、各周波数帯域で独立に補正量を算出し、３つの補正量がテクスチャ補正部３６０へ出力される。
【０１７７】
続いてテクスチャ補正部３６０について図１６に基づき詳述する。テクスチャ補正部３６０は処理パラメータ制御部１３６８と、乗算処理部１３６１、１３６２、１２６３と、アップサンプリング部１３６４、１３６６と、加算処理部１３６５、１３６７で構成される。
【０１７８】
続いて各構成部間のデータの流れを説明する。処理パラメータ制御部１３６８には制御部３０２から出力される倍率情報に基づき分割されている周波数帯域幅に対応しテクスチャ抽出部３２０で適用された縮小率が、アップサンプリング部１３６４、１３６６へ出力される。
【０１７９】
乗算処理部１３６１はテクスチャ抽出部３２０から出力される図１４（Ａ）或いは図１４（Ｂ）の周波数帯域（３）に対応するサブバンド画像と、テクスチャ補正量算出部３４０から出力される周波数帯域（３）に対応するサブバンド画像の補正量が入力され、補正量を周波数帯域（３）に対応するサブバンド画像に乗算する事で周波数帯域（３）に対応する補正サブバンド画像を生成してアップサンプリング部１３６４へ出力する。
【０１８０】
乗算処理部１３６２はテクスチャ抽出部３２０から出力される図１４（Ａ）或いは図１４（Ｂ）の周波数帯域（２）に対応するサブバンド画像と、テクスチャ補正量算出部３４０から出力される周波数帯域（２）に対応するサブバンド画像の補正量が入力され、補正量を周波数帯域（２）に対応するサブバンド画像に乗算する事で周波数帯域（２）に対応する補正サブバンド画像を生成して加算処理部１３６５へ出力する。
【０１８１】
乗算処理部１３６３はテクスチャ抽出部３２０から出力される図１４（Ａ）或いは図１４（Ｂ）の周波数帯域（１）に対応するサブバンド画像と、テクスチャ補正量算出部３４０から出力される周波数帯域（１）に対応するサブバンド画像の補正量が入力され、補正量を周波数帯域（１）に対応するサブバンド画像に乗算する事で周波数帯域（１）に対応する補正サブバンド画像を生成して加算処理部１３６７へ出力する。
【０１８２】
アップサンプリング部１３６４には乗算処理部１３６１から出力される周波数帯域（３）に対応する補正サブバンド画像と処理パラメータ制御部１３６８から出力される周波数帯域（３）の縮小率が入力され、縮小率の逆数となる倍率で、周波数帯域（３）に対応する補正サブバンド画像を拡大した周波数帯域（３）に対応する拡大補正サブバンド画像を生成し、加算処理部１３６５へ出力する。
【０１８３】
加算処理部１３６５にはアップサンプリング部１３６４で拡大された周波数帯域（３）に対応する拡大補正サブバンド画像と、乗算処理部１３６２から出力される周波数帯域（２）に対応する補正サブバンド画像が入力され、２つのサブバンド画像を加算することで周波数帯域（（３）＋（２））に対応する補正サブバンド画像を生成してアップサンプリング部１３６６へ出力する。
【０１８４】
アップサンプリング部１３６６には加算処理部１３６５から出力される周波数帯域（（３）＋（２））に対応する補正サブバンド画像と処理パラメータ制御部１３６８から出力される周波数帯域（２）の縮小率が入力され、周波数帯域（２）の縮小率の逆数となる倍率で、周波数帯域（（３）＋（２））に対応する補正サブバンド画像を拡大した周波数帯域（（３）＋（２））に対応する拡大補正サブバンド画像を生成し、加算処理部１３６７へ出力する。
【０１８５】
加算処理部１３６７にはアップサンプリング部１３６６で拡大された周波数帯域（（３）＋（２））に対応する拡大補正サブバンド画像と、乗算処理部１３６３から出力される周波数帯域（１）に対応する補正サブバンド画像が入力され、２つのサブバンド画像を加算することで周波数帯域（（３）＋（２）＋（１））に対応する補正サブバンド画像を生成して合成部３７０へ出力する。
【０１８６】
合成部３７０以降の処理は第１実施の形態と同一である。
【０１８７】
３．４ オートフォーカス処理の詳細
続いて合焦位置算出部３０３について図１７に基づき詳述する。合焦位置算出部３０３は領域抽出部１３７１、１３７５、１３７９と、平均振幅算出部１３７２、１３７６、１３８０と平均振幅記憶部１３７３、１３７７、１３８１と、合焦位置算出部１３７４、１３７８、１３８２と、合焦位置判定部１３８４と、合焦位置算出制御部１３８３とから構成される。
【０１８８】
合焦位置算出部３０３はコントラスト法を用いる事を前提としており、コントラスト検出する為の検出領域を設定する必要がある。この領域に関しては例えば外部Ｉ／Ｆ部５００からユーザー指定された合焦位置情報（例えば予め設定されている複数矩形領域から１つ選択した領域の識別番号）が制御部３０２に入力され、制御部３０２にてコントラスト検出領域情報（時系列表示画像内の矩形領域を示す座標）に変換されるものとする。
【０１８９】
続いて各構成部間のデータの流れを説明する。制御部３０２から出力されるコントラスト検出領域情報と倍率情報、焦点位置制御部２０６に設定されている現在の焦点位置が合焦位置算出制御部１３８３に入力される。合焦位置算出制御部１３８３はコントラスト検出領域情報と倍率情報に基づき、テクスチャ抽出部３２０から出力される３つのサブバンド画像に対応するコントラスト検出領域座標を算出し、算出されたコントラスト検出領域座標が領域抽出部１３７１、１３７５、１３７９にそれぞれ出力される。また現在の焦点位置は平均振幅記憶部１３７３、１３７７、１３８１へ出力される。ここでコントラスト検出領域座標は、周波数帯域（１）に関しては制御部３０２からの座標をそのまま使い、周波数帯域（２）は周波数帯域（１）に対して処理パラメータ制御部１３６８から出力される周波数帯域（２）の縮小率だけ縮小した座標を算出し、周波数帯域（３）は周波数帯域（２）に対して処理パラメータ制御部１３６８から出力される周波数帯域（３）の縮小率だけ縮小した座標を算出する。
【０１９０】
領域抽出部１３７１、１３７５、１３７９はテクスチャ抽出部３２０から出力されるそれぞれ３つのサブバンド画像に対して合焦位置算出制御部１３８３から出力されるコントラスト検出領域座標に基づきコントラスト検出領域を抽出し、平均振幅算出部１３７２、１３７６、１３８０にそれぞれ出力する。
【０１９１】
平均振幅算出部１３７２、１３７６、１３８０は領域抽出部１３７１、１３７５、１３７９から出力される各サブバンド画像から抽出されたコントラスト検出領域内の画素値の絶対値の平均値を平均振幅値として算出し、平均振幅記憶部１３７３、１３７７、１３８１へそれぞれ出力する。
【０１９２】
平均振幅記憶部１３７３、１３７７、１３８１には時系列的に算出された平均振幅値と対応する焦点位置がそれぞれ少なくとも９つ分、リングバッファの形式で記録されており、平均振幅算出部１３７２、１３７６、１３８０から出力される平均振幅値と、合焦位置算出制御部１３８３から出力される焦点位置が常に最新の平均振幅値と焦点位置して記憶される。
【０１９３】
合焦位置算出部１３７４、１３７８、１３８２は９つの平均振幅値から最新の平均振幅値を含めて２つおきに３つの平均振幅値とそれに対応する焦点位置を平均振幅記憶部１３７３、１３７７、１３８１の各リングバッファから読み出し、ラグランジュ補間等により最大振幅値となる合焦位置をそれぞれ算出する。算出した３つの合焦位置は、対応する最大振幅値と共に合焦位置判定部１３８４へ出力される。
【０１９４】
合焦位置判定部１３８４には、合焦位置算出部１３７４、１３７８、１３８２から出力される３つのサブバンド画像に対応する３つの合焦位置と算出された３つの最大振幅値が入力される。合焦位置判定部１３８４は入力される３つの最大振幅値の中で最大となる振幅値を選択し、選択された振幅値に対応する合焦位置を真の合焦位置として合焦位置算出制御部１３８３へ出力する。またよりノイズの影響を減らす合焦位置の決定方法としては、３つの合焦位置に対して対応する最大振幅値を重みとした加重平均を算出し、真の合焦位置としても良い。
【０１９５】
合焦位置算出制御部１３８３は合焦位置判定部１３８４から出力される合焦位置が入力された時点で制御部３０２へ出力する。
【０１９６】
これを受けて制御部３０２は焦点位置制御部２０６に合焦位置を出力し、焦点位置調整レンズ２０７を合焦位置に動かす事で合焦制御を行う。
【０１９７】
以上のように第２の実施形態によれば、フレームレートが低い内視鏡装置の拡大観察時のオートフォーカス処理を観察対象に対応して抽出するテクスチャに基づくコントラスト値で制御できるので合焦精度が向上すると共に、オートフォーカス起因のＺ方向のオブリングにより発生するボケ量の時間変動を抑制する事が可能となるので、ユーザーは病変部の精査をストレス無く短時間に行なうことができ、患者の負担も軽減することができる。
【０１９８】
以上の本実施形態では、所定周波数帯域画像抽出部は、サブバンド画像を複数生成する周波数帯域分離部と、複数のサブバンド画像から１又は複数のサブバンド画像を選択して所定周波数帯域画像を生成するサブバンド選択部とを含む。
【０１９９】
ここで、サブバンド画像とは、倍率情報に基づき決定される複数の所定周波数帯域に、撮像画像を分離した画像のことである。図１４（Ａ）、図１４（Ｂ）の例では、（１）〜（４）がそれぞれサブバンド画像となる。また、周波数帯域分離部は、図１２のテクスチャ抽出部３２０に相当し、サブバンド選択部は、図１２のテクスチャ補正量算出部３４０等に相当する。
【０２００】
これにより、サブバンド画像に基づいて所定周波数帯域画像を抽出することが可能になる。具体的には、撮像画像を複数のサブバンド画像に分割し、分割したサブバンド画像の中から適切なサブバンド画像を選んで所定周波数帯域画像を生成する。その際、図１４（Ａ）、図１４（Ｂ）のように光学系の撮像倍率に応じてサブバンド画像の幅を変えることで、倍率に応じた制御（第１の実施形態においては図１９の制御に相当）が可能になる。
【０２０１】
また、補正量乗算部は、所定周波数帯域画像振幅算出部で算出された各サブバンド画像に対応する振幅値と、光学系の倍率情報に基づいて、各サブバンド画像に対応する補正量を算出し、算出した補正量を各サブバンド画像に乗算するサブバンド画像補正量乗算部を含む。
【０２０２】
ここで、サブバンド画像補正量乗算部は、図１６における１３６１〜１３６３の乗算処理部に相当する。
【０２０３】
これにより、各サブバンド画像に対して補正量を乗算することで、所定周波数帯域画像の補正を行うことが可能になる。具体的には第１の実施形態と同様に、補正の対象となる画像の振幅値を基準振幅値と同じ値にするような補正が行われる。なお、本実施形態では、時間的に変動する急峻なエッジ部の除去処理による輝点領域の除去処理を、サブバンド画像に分割する前に挿入することで、振幅に応じた制御に対応できる。ここで、時間的に変動する急峻なエッジ部の除去処理とは、例えば単純なものとしては、輝度レベルを画像平均値に基づき設定した閾値にもとづいて判定する処理と、その判定領域の削除処理（具体的には例えばモルフォロジー処理等）である。また、本実施形態においては、複数のサブバンド画像を選択した上で、選択したサブバンド画像に対してのみ補正量を乗算してもよいし、複数のサブバンド画像全てに対して補正量を乗算し、不要なサブバンド画像に対しては０を乗算するようにしてもよい。図１３や図１６のブロック図では後者の構成となっている。
【０２０４】
また、内視鏡装置の光学系は、フォーカス位置を制御するフォーカス位置制御部と、撮像画像のボケ量に基づいてターゲットフォーカス位置を算出するターゲットフォーカス位置算出部を含む。そして、フォーカス位置制御部は、ターゲットフォーカス位置算出部で算出されたターゲットフォーカス位置に基づいてフォーカス位置を制御する。
【０２０５】
ここで、撮像画像のボケ量情報とは、複数のフォーカス位置における複数の撮像画像に対して、ボケ量情報抽出部で算出されるものである。また、フォーカス位置制御部は、図１２における焦点位置制御部２０６に相当し、ターゲットフォーカス位置算出部は、図１２における合焦位置算出部３０３に相当する。
【０２０６】
これにより、オートフォーカス処理が可能になる。ただし、図１１に示したように、複数のフォーカス位置にレンズを駆動させた上で合焦位置を求めるコントラスト法に基づくオートフォーカスを前提としているため、被写界深度範囲から外れてしまうタイミングもある。そのため、画像処理によるボケ回復処理が不要になるということではない。むしろ、短い時間の中で合焦状態とボケた状態とが現れるため、本実施形態のようにフレームレートが低い場合であれば、ユーザーに対して違和感のない画像を提供するためには画像処理的なボケ回復処理は重要である。
【０２０７】
また、ボケ量補正部は、フォーカス位置制御部で合焦していると判定したフォーカス位置において取得した撮像画像を合焦撮像画像であると判定する。そして、合焦撮像画像のボケ量情報に基づいて補正を行う。
【０２０８】
これにより、補正量算出のための基準となる合焦撮像画像として、オートフォーカスにおいて合焦していると判定されたフォーカス位置で取得した画像を用いることが可能になる。よって、第１の実施形態と同様の、基準振幅値の更新処理の他に、オートフォーカスによる基準振幅値の更新処理も行われることになるため、精度よく基準振幅値を更新することが可能になる。
【０２０９】
以上、本発明を適用した２つの実施の形態１〜２およびその変形例について説明したが、本発明は、各実施の形態１〜２やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態１〜２や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態１〜２や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
【符号の説明】
【０２１０】
１００ 光源部、１０１ 白色光源、１０２ 回転色フィルタ、１０３ 回転駆動部、
１０４ 集光レンズ、２００ 撮像部、２０１ ライトガイドファイバ、
２０２ 照明レンズ、２０３ 対物レンズ、２０６ 焦点位置制御部、
２０７ 焦点位置調整レンズ、２０９ 撮像素子、２１０ Ａ/Ｄ変換部、
３００ プロセッサ部、３０１ 画像処理部、３０２ 制御部、
３０３ 合焦位置算出部、３１０ 画像構成処理部、３２０ テクスチャ抽出部、
３２１ 領域抽出部、３２２ フィルタ係数算出部、３２３ フィルタ処理部、
３２４ ノイズ量推定部、３２５ 減算処理部、３２６ 領域抽出部、
３２７ フィルタ係数算出部、３２８ フィルタ処理部、
３２９ フィルタパラメータ制御部、３４０ テクスチャ補正量算出部、
３４１ 振幅算出部、３４２ 基準振幅更新判定部、３４３ 基準振幅記憶部、
３４４ 補正量算出部、３４５ 補正量制御部、３６０ テクスチャ補正部、
３７０ 合成部、４００ 表示部、５００ 外部Ｉ／Ｆ部、
６０１ 色フィルタ、６０２ 色フィルタ、６０３ 色フィルタ、６０４ 回転モータ、
１３２１ ローパス処理部、１３２２ ダウンサンプリング部、１３２３ 減算処理部、
１３２４ ノイズ量推定部、１３２５ コアリング部、
１３３５ 処理パラメータ制御部、１３４１ 振幅算出部、
１３４２ 基準振幅更新判定部、１３４３ 基準振幅記憶部、１３４４ 補正量算出部、
１３５３ 補正量制御部、１３６１ 乗算処理部、１３６２ 乗算処理部、
１３６３ 乗算処理部、１３６４ アップサンプリング部、１３６５ 加算処理部、
１３６６ アップサンプリング部、１３６７ 加算処理部、
１３６８ 処理パラメータ制御部、１３７１ 領域抽出部、１３７２ 平均振幅算出部、
１３７３ 平均振幅記憶部、１３７４ 合焦位置算出部、
１３８３ 合焦位置算出制御部、１３８４ 合焦位置判定部
【特許請求の範囲】
【請求項１】
通常観察状態に比べて光学系の拡大倍率が高倍率である拡大観察状態における撮像画像を時系列的に取得する画像取得部と、
前記拡大観察状態における前記撮像画像からボケ量情報を抽出するボケ量情報抽出部と、
抽出した前記ボケ量情報に基づいて前記撮像画像を補正するボケ量補正部と、
を含むことを特徴とする内視鏡装置。
【請求項２】
請求項１において、
前記ボケ量情報抽出部は、
前記撮像画像から所定周波数帯域成分の画像である所定周波数帯域画像を抽出する所定周波数帯域画像抽出部を含むことを特徴とする内視鏡装置。
【請求項３】
請求項２において、
前記所定周波数帯域画像抽出部は、
前記撮像画像の振幅値を算出する撮像画像振幅算出部を含むことを特徴とする内視鏡装置。
【請求項４】
請求項３において、
前記所定周波数帯域画像抽出部は、
前記撮像画像振幅算出部により算出された振幅値が、第１の振幅範囲にある場合には、前記所定周波数帯域画像の抽出を行わず、
前記撮像画像振幅算出部により算出された振幅値が、前記第１の振幅範囲における振幅値よりも小さい振幅値に対応する範囲である第２の振幅範囲にある場合には、前記所定周波数帯域画像の抽出を行うことを特徴とする内視鏡装置。
【請求項５】
請求項４において、
前記所定周波数帯域画像抽出部は、
前記撮像画像振幅算出部により算出された振幅値が、前記第２の振幅範囲における振幅値よりも小さい振幅値に対応する範囲である第３の振幅範囲にある場合には、前記所定周波数帯域画像の抽出を行わないことを特徴とする内視鏡装置。
【請求項６】
請求項４において、
前記所定周波数帯域画像は、
前記撮像画像振幅算出部により算出された振幅値が前記第２の振幅範囲にあり、
前記周波数成分が、第２の周波数範囲における周波数よりも高い周波数に対応する範囲である第１の周波数範囲にある画像であることを特徴とする内視鏡装置。
【請求項７】
請求項５において、
前記撮像画像振幅算出部により算出された振幅値が、前記第２の振幅範囲である前記所定周波数帯域画像は、
生体表面の粘膜表面及び血管に対応する画像であることを特徴とする内視鏡装置。
【請求項８】
請求項５において、
前記撮像画像振幅算出部により算出された振幅値が、前記第１の振幅範囲である画像は、
生体表面のヒダに対応する画像であり、
前記撮像画像振幅算出部により算出された振幅値が、前記第３の振幅範囲である画像は、
ノイズに対応する画像であることを特徴とする内視鏡装置。
【請求項９】
請求項２において、
前記所定周波数帯域画像抽出部は、
前記内視鏡装置の前記光学系の倍率情報に基づいて、所定周波数帯域画像の抽出条件を制御する抽出条件制御部を含むことを特徴とする内視鏡装置。
【請求項１０】
請求項９において、
第１の周波数範囲における周波数は、第２の周波数範囲における周波数に比べて高い周波数であり、
前記第１の周波数範囲は、第１の周波数閾値よりも大きく、第２の周波数閾値よりも小さい範囲であり、
前記所定周波数帯域画像が、周波数成分が第１の周波数範囲にある画像である場合に、
前記所定周波数帯域画像抽出部は、
前記内視鏡装置の前記光学系の倍率情報により表される倍率が大きくなるほど、前記第１の周波数閾値及び前記第２の周波数閾値を大きくすることを特徴とする内視鏡装置。
【請求項１１】
請求項９において、
前記所定周波数帯域画像抽出部は、
前記倍率情報に基づき決定される複数の所定周波数帯域に、前記撮像画像を分離した画像である複数のサブバンド画像を生成する周波数帯域分離部と、
前記複数のサブバンド画像から１又は複数のサブバンド画像を選択して前記所定周波数帯域画像を生成するサブバンド選択部と、
を含むことを特徴とする内視鏡装置。
【請求項１２】
請求項９において、
前記所定周波数帯域画像抽出部は、
第１のフィルタ処理部と、
減算処理部と、
ノイズ量推定部と、
第２のフィルタ処理部と、
を含み、
前記減算処理部は、
前記第１のフィルタ処理部による第１のフィルタ処理により取得された画像と、前記撮像画像との差分をとることで、構造画像を生成し、
前記ノイズ量推定部は、
前記構造画像に含まれているノイズ量を、前記抽出条件に基づいて推定し、
前記第２のフィルタ処理部は、
前記ノイズ量推定部により推定されたノイズ量に基づいて、前記構造画像からノイズを分離し、前記所定周波数帯域画像を取得することを特徴とする内視鏡装置。
【請求項１３】
請求項１２において、
前記ボケ量情報抽出部は、
前記撮像画像の振幅値を算出する撮像画像振幅算出部を含み、
前記第１のフィルタ処理部は、
第１の振幅範囲の画像に対しては、前記第１の周波数範囲及び前記第２の周波数範囲に対応する周波数成分を透過するローパスフィルタ処理を行い、
第２の振幅範囲の画像に対しては、前記第２の周波数範囲に対応する周波数成分を透過し、前記第１の周波数範囲に対応する周波数成分をカットするローパスフィルタ処理を行うことを特徴とする内視鏡装置。
【請求項１４】
請求項１２において、
前記第１のフィルタ処理部は、
前記撮像画像から注目画素の周辺の所定領域を抽出する領域抽出部と、
前記所定領域内の注目画素に対する周辺画素との空間距離、及び、画素値間距離を算出するとともに、前記抽出条件に基づき各所定領域の画素に対するフィルタ係数を算出するフィルタ係数算出部と、
前記所定領域と前記フィルタ係数によりフィルタ処理を行うフィルタ処理部と、
を含むことを特徴とする内視鏡装置。
【請求項１５】
請求項１２において、
前記ボケ量情報抽出部は、
前記撮像画像の振幅値を算出する撮像画像振幅算出部を含み、
前記第２のフィルタ処理部は、
第２の振幅範囲の画像に対しては、前記第１の周波数範囲及び前記第２の周波数範囲に対応する周波数成分を透過するローパスフィルタ処理を行い、
第３の振幅範囲の画像に対しては、前記第２の周波数範囲に対応する周波数成分を透過し、前記第１の周波数範囲に対応する周波数成分をカットするローパスフィルタ処理を行うことを特徴とする内視鏡装置。
【請求項１６】
請求項１２において、
前記第２のフィルタ処理部は、
前記構造画像から注目画素の周辺の所定領域を抽出する領域抽出部と、
前記所定領域内の注目画素に対する周辺画素との空間距離、及び、画素値間距離を算出するとともに、前記ノイズ量に基づき各所定領域の画素に対するフィルタ係数を算出するフィルタ係数算出部と、
前記抽出領域と前記フィルタ係数によりフィルタ処理する事で前記注目画素からノイズを分離するノイズ分離部と、
を含むことを特徴とする内視鏡装置。
【請求項１７】
請求項１において、
前記ボケ量補正部は、
時系列に取得された前記撮像画像に対して、合焦状態にあると判定された撮像画像である合焦撮像画像のボケ量に基づいて補正を行うことを特徴とする内視鏡装置。
【請求項１８】
請求項１７において、
前記ボケ量補正部は、
前記所定周波数帯域画像抽出部で抽出された前記所定周波数帯域画像の振幅値を算出する所定周波数帯域画像振幅算出部を含むことを特徴とする内視鏡装置。
【請求項１９】
請求項１８において、
前記ボケ量補正部は、
前記所定周波数帯域画像振幅算出部により算出された前記所定周波数帯域画像の振幅値に基づいて所定周波数帯域画像を補正する所定周波数帯域画像補正部と、
前記撮像画像と補正した前記所定周波数帯域画像を合成する合成部と、
を含むことを特徴とする内視鏡装置。
【請求項２０】
請求項１９において、
前記所定周波数帯域画像補正部は、
前記所定周波数帯域画像振幅算出部で時系列的に算出された所定周波数帯域画像の振幅値の中から、合焦状態と判定された振幅値を基準振幅値として選択する基準振幅値選択部と、
前記基準振幅値に基づいて前記所定周波数帯域画像に対する補正量を算出し、乗算する補正量乗算部と、
を含むことを特徴とする内視鏡装置。
【請求項２１】
請求項２０において、
前記所定周波数帯域画像抽出部で抽出される所定周波数帯域画像は、
１又は複数の周波数帯域からなる１又は複数のサブバンド画像であり、
前記補正量乗算部は、
前記所定周波数帯域画像振幅算出部で算出された各サブバンド画像に対応する１又は複数の振幅値と内視鏡装置の前記光学系の倍率情報に基づいて、前記各サブバンド画像に対応する補正量を算出し、前記各サブバンド画像に乗算するサブバンド画像補正量乗算部を含むことを特徴とする内視鏡装置。
【請求項２２】
請求項１７において、
前記合焦撮像画像は、
内視鏡装置の前記光学系を拡大観察状態に切換えた時点で抽出された撮像画像である事を特徴とする内視鏡装置。
【請求項２３】
請求項１７において、
前記合焦撮像画像は、
内視鏡装置の前記光学系を拡大観察状態に切換えた時点以降で抽出された撮像画像であり、かつ、前記振幅値が所定期間内で所定条件を満足した撮像画像であることを特徴とする内視鏡装置。
【請求項２４】
請求項２３において、
前記合焦撮像画像は、
内視鏡装置の前記光学系を拡大観察状態に切換えた時点以降で抽出された撮像画像であり、かつ、前記振幅値が基準振幅判定閾値より大きく、かつ、前記振幅値が極大値である撮像画像であることを特徴とする内視鏡装置。
【請求項２５】
請求項１において、
フォーカス位置を制御するフォーカス位置制御部と、
前記フォーカス位置制御部により時系列的に移動した複数のフォーカス位置に基づく撮像画像に対して、前記ボケ量情報抽出部で算出したボケ量情報に基づきターゲットフォーカス位置を算出するターゲットフォーカス位置算出部と、
を含み、
前記フォーカス位置制御部は、
前記ターゲットフォーカス位置に基づいて、フォーカス位置を制御することを特徴とする内視鏡装置。
【請求項２６】
請求項２５において、
前記ボケ量補正部は、
前記フォーカス位置制御部で合焦していると判定したフォーカス位置における撮像画像を前記合焦撮像画像であると判定し、前記合焦撮像画像のボケ量情報に基づいて補正を行うことを特徴とする内視鏡装置。
【請求項２７】
請求項１において、
前記拡大観察状態は、
前記内視鏡装置の光学系の拡大倍率が所定倍率以上となる状態であることを特徴とする内視鏡装置。
【請求項２８】
通常観察状態に比べて光学系の拡大倍率が高倍率である拡大観察状態における撮像画像を時系列的に取得する画像取得部と、
前記拡大観察状態における前記撮像画像からボケ量情報を抽出するボケ量情報抽出部と、
抽出した前記ボケ量情報に基づいて前記撮像画像を補正するボケ量補正部として、
コンピュータを機能させることを特徴とするプログラム。
【請求項１】
通常観察状態に比べて光学系の拡大倍率が高倍率である拡大観察状態における撮像画像を時系列的に取得する画像取得部と、
前記拡大観察状態における前記撮像画像からボケ量情報を抽出するボケ量情報抽出部と、
抽出した前記ボケ量情報に基づいて前記撮像画像を補正するボケ量補正部と、
を含むことを特徴とする内視鏡装置。
【請求項２】
請求項１において、
前記ボケ量情報抽出部は、
前記撮像画像から所定周波数帯域成分の画像である所定周波数帯域画像を抽出する所定周波数帯域画像抽出部を含むことを特徴とする内視鏡装置。
【請求項３】
請求項２において、
前記所定周波数帯域画像抽出部は、
前記撮像画像の振幅値を算出する撮像画像振幅算出部を含むことを特徴とする内視鏡装置。
【請求項４】
請求項３において、
前記所定周波数帯域画像抽出部は、
前記撮像画像振幅算出部により算出された振幅値が、第１の振幅範囲にある場合には、前記所定周波数帯域画像の抽出を行わず、
前記撮像画像振幅算出部により算出された振幅値が、前記第１の振幅範囲における振幅値よりも小さい振幅値に対応する範囲である第２の振幅範囲にある場合には、前記所定周波数帯域画像の抽出を行うことを特徴とする内視鏡装置。
【請求項５】
請求項４において、
前記所定周波数帯域画像抽出部は、
前記撮像画像振幅算出部により算出された振幅値が、前記第２の振幅範囲における振幅値よりも小さい振幅値に対応する範囲である第３の振幅範囲にある場合には、前記所定周波数帯域画像の抽出を行わないことを特徴とする内視鏡装置。
【請求項６】
請求項４において、
前記所定周波数帯域画像は、
前記撮像画像振幅算出部により算出された振幅値が前記第２の振幅範囲にあり、
前記周波数成分が、第２の周波数範囲における周波数よりも高い周波数に対応する範囲である第１の周波数範囲にある画像であることを特徴とする内視鏡装置。
【請求項７】
請求項５において、
前記撮像画像振幅算出部により算出された振幅値が、前記第２の振幅範囲である前記所定周波数帯域画像は、
生体表面の粘膜表面及び血管に対応する画像であることを特徴とする内視鏡装置。
【請求項８】
請求項５において、
前記撮像画像振幅算出部により算出された振幅値が、前記第１の振幅範囲である画像は、
生体表面のヒダに対応する画像であり、
前記撮像画像振幅算出部により算出された振幅値が、前記第３の振幅範囲である画像は、
ノイズに対応する画像であることを特徴とする内視鏡装置。
【請求項９】
請求項２において、
前記所定周波数帯域画像抽出部は、
前記内視鏡装置の前記光学系の倍率情報に基づいて、所定周波数帯域画像の抽出条件を制御する抽出条件制御部を含むことを特徴とする内視鏡装置。
【請求項１０】
請求項９において、
第１の周波数範囲における周波数は、第２の周波数範囲における周波数に比べて高い周波数であり、
前記第１の周波数範囲は、第１の周波数閾値よりも大きく、第２の周波数閾値よりも小さい範囲であり、
前記所定周波数帯域画像が、周波数成分が第１の周波数範囲にある画像である場合に、
前記所定周波数帯域画像抽出部は、
前記内視鏡装置の前記光学系の倍率情報により表される倍率が大きくなるほど、前記第１の周波数閾値及び前記第２の周波数閾値を大きくすることを特徴とする内視鏡装置。
【請求項１１】
請求項９において、
前記所定周波数帯域画像抽出部は、
前記倍率情報に基づき決定される複数の所定周波数帯域に、前記撮像画像を分離した画像である複数のサブバンド画像を生成する周波数帯域分離部と、
前記複数のサブバンド画像から１又は複数のサブバンド画像を選択して前記所定周波数帯域画像を生成するサブバンド選択部と、
を含むことを特徴とする内視鏡装置。
【請求項１２】
請求項９において、
前記所定周波数帯域画像抽出部は、
第１のフィルタ処理部と、
減算処理部と、
ノイズ量推定部と、
第２のフィルタ処理部と、
を含み、
前記減算処理部は、
前記第１のフィルタ処理部による第１のフィルタ処理により取得された画像と、前記撮像画像との差分をとることで、構造画像を生成し、
前記ノイズ量推定部は、
前記構造画像に含まれているノイズ量を、前記抽出条件に基づいて推定し、
前記第２のフィルタ処理部は、
前記ノイズ量推定部により推定されたノイズ量に基づいて、前記構造画像からノイズを分離し、前記所定周波数帯域画像を取得することを特徴とする内視鏡装置。
【請求項１３】
請求項１２において、
前記ボケ量情報抽出部は、
前記撮像画像の振幅値を算出する撮像画像振幅算出部を含み、
前記第１のフィルタ処理部は、
第１の振幅範囲の画像に対しては、前記第１の周波数範囲及び前記第２の周波数範囲に対応する周波数成分を透過するローパスフィルタ処理を行い、
第２の振幅範囲の画像に対しては、前記第２の周波数範囲に対応する周波数成分を透過し、前記第１の周波数範囲に対応する周波数成分をカットするローパスフィルタ処理を行うことを特徴とする内視鏡装置。
【請求項１４】
請求項１２において、
前記第１のフィルタ処理部は、
前記撮像画像から注目画素の周辺の所定領域を抽出する領域抽出部と、
前記所定領域内の注目画素に対する周辺画素との空間距離、及び、画素値間距離を算出するとともに、前記抽出条件に基づき各所定領域の画素に対するフィルタ係数を算出するフィルタ係数算出部と、
前記所定領域と前記フィルタ係数によりフィルタ処理を行うフィルタ処理部と、
を含むことを特徴とする内視鏡装置。
【請求項１５】
請求項１２において、
前記ボケ量情報抽出部は、
前記撮像画像の振幅値を算出する撮像画像振幅算出部を含み、
前記第２のフィルタ処理部は、
第２の振幅範囲の画像に対しては、前記第１の周波数範囲及び前記第２の周波数範囲に対応する周波数成分を透過するローパスフィルタ処理を行い、
第３の振幅範囲の画像に対しては、前記第２の周波数範囲に対応する周波数成分を透過し、前記第１の周波数範囲に対応する周波数成分をカットするローパスフィルタ処理を行うことを特徴とする内視鏡装置。
【請求項１６】
請求項１２において、
前記第２のフィルタ処理部は、
前記構造画像から注目画素の周辺の所定領域を抽出する領域抽出部と、
前記所定領域内の注目画素に対する周辺画素との空間距離、及び、画素値間距離を算出するとともに、前記ノイズ量に基づき各所定領域の画素に対するフィルタ係数を算出するフィルタ係数算出部と、
前記抽出領域と前記フィルタ係数によりフィルタ処理する事で前記注目画素からノイズを分離するノイズ分離部と、
を含むことを特徴とする内視鏡装置。
【請求項１７】
請求項１において、
前記ボケ量補正部は、
時系列に取得された前記撮像画像に対して、合焦状態にあると判定された撮像画像である合焦撮像画像のボケ量に基づいて補正を行うことを特徴とする内視鏡装置。
【請求項１８】
請求項１７において、
前記ボケ量補正部は、
前記所定周波数帯域画像抽出部で抽出された前記所定周波数帯域画像の振幅値を算出する所定周波数帯域画像振幅算出部を含むことを特徴とする内視鏡装置。
【請求項１９】
請求項１８において、
前記ボケ量補正部は、
前記所定周波数帯域画像振幅算出部により算出された前記所定周波数帯域画像の振幅値に基づいて所定周波数帯域画像を補正する所定周波数帯域画像補正部と、
前記撮像画像と補正した前記所定周波数帯域画像を合成する合成部と、
を含むことを特徴とする内視鏡装置。
【請求項２０】
請求項１９において、
前記所定周波数帯域画像補正部は、
前記所定周波数帯域画像振幅算出部で時系列的に算出された所定周波数帯域画像の振幅値の中から、合焦状態と判定された振幅値を基準振幅値として選択する基準振幅値選択部と、
前記基準振幅値に基づいて前記所定周波数帯域画像に対する補正量を算出し、乗算する補正量乗算部と、
を含むことを特徴とする内視鏡装置。
【請求項２１】
請求項２０において、
前記所定周波数帯域画像抽出部で抽出される所定周波数帯域画像は、
１又は複数の周波数帯域からなる１又は複数のサブバンド画像であり、
前記補正量乗算部は、
前記所定周波数帯域画像振幅算出部で算出された各サブバンド画像に対応する１又は複数の振幅値と内視鏡装置の前記光学系の倍率情報に基づいて、前記各サブバンド画像に対応する補正量を算出し、前記各サブバンド画像に乗算するサブバンド画像補正量乗算部を含むことを特徴とする内視鏡装置。
【請求項２２】
請求項１７において、
前記合焦撮像画像は、
内視鏡装置の前記光学系を拡大観察状態に切換えた時点で抽出された撮像画像である事を特徴とする内視鏡装置。
【請求項２３】
請求項１７において、
前記合焦撮像画像は、
内視鏡装置の前記光学系を拡大観察状態に切換えた時点以降で抽出された撮像画像であり、かつ、前記振幅値が所定期間内で所定条件を満足した撮像画像であることを特徴とする内視鏡装置。
【請求項２４】
請求項２３において、
前記合焦撮像画像は、
内視鏡装置の前記光学系を拡大観察状態に切換えた時点以降で抽出された撮像画像であり、かつ、前記振幅値が基準振幅判定閾値より大きく、かつ、前記振幅値が極大値である撮像画像であることを特徴とする内視鏡装置。
【請求項２５】
請求項１において、
フォーカス位置を制御するフォーカス位置制御部と、
前記フォーカス位置制御部により時系列的に移動した複数のフォーカス位置に基づく撮像画像に対して、前記ボケ量情報抽出部で算出したボケ量情報に基づきターゲットフォーカス位置を算出するターゲットフォーカス位置算出部と、
を含み、
前記フォーカス位置制御部は、
前記ターゲットフォーカス位置に基づいて、フォーカス位置を制御することを特徴とする内視鏡装置。
【請求項２６】
請求項２５において、
前記ボケ量補正部は、
前記フォーカス位置制御部で合焦していると判定したフォーカス位置における撮像画像を前記合焦撮像画像であると判定し、前記合焦撮像画像のボケ量情報に基づいて補正を行うことを特徴とする内視鏡装置。
【請求項２７】
請求項１において、
前記拡大観察状態は、
前記内視鏡装置の光学系の拡大倍率が所定倍率以上となる状態であることを特徴とする内視鏡装置。
【請求項２８】
通常観察状態に比べて光学系の拡大倍率が高倍率である拡大観察状態における撮像画像を時系列的に取得する画像取得部と、
前記拡大観察状態における前記撮像画像からボケ量情報を抽出するボケ量情報抽出部と、
抽出した前記ボケ量情報に基づいて前記撮像画像を補正するボケ量補正部として、
コンピュータを機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１２−１３５３４５（Ｐ２０１２−１３５３４５Ａ）
【公開日】平成２４年７月１９日（２０１２．７．１９）
【国際特許分類】
【出願番号】特願２０１０−２８７９４３（Ｐ２０１０−２８７９４３）
【出願日】平成２２年１２月２４日（２０１０．１２．２４）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２４年７月１９日（２０１２．７．１９）
【国際特許分類】
【出願日】平成２２年１２月２４日（２０１０．１２．２４）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]