画像処理装置、内視鏡装置、画像処理方法及びプログラム
【課題】拡大観察におけるスコープ先端と観察対象との間の相対的な動きの許容範囲を向上する画像処理装置、内視鏡装置、画像処理方法及びプログラム等を提供すること。
【解決手段】画像処理装置は、観察対象物を複数の異なる倍率で拡大して撮像することにより得られた複数の画像を取得する画像構成処理部３１０と、その複数の画像の中から、各画像間の倍率が相対的に異なる第１〜第ｎ倍率画像を選択する目標倍率画像選択部３２５と、その第１〜第ｎ倍率画像の中から、基準画像と基準画像より高倍率の検出対象画像を選択し、その検出対象画像に対応する基準画像上の領域を検出して、その領域に検出対象画像を対応付ける異倍率画像間位置決定部３３０と、を含む。
【解決手段】画像処理装置は、観察対象物を複数の異なる倍率で拡大して撮像することにより得られた複数の画像を取得する画像構成処理部３１０と、その複数の画像の中から、各画像間の倍率が相対的に異なる第１〜第ｎ倍率画像を選択する目標倍率画像選択部３２５と、その第１〜第ｎ倍率画像の中から、基準画像と基準画像より高倍率の検出対象画像を選択し、その検出対象画像に対応する基準画像上の領域を検出して、その領域に検出対象画像を対応付ける異倍率画像間位置決定部３３０と、を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、内視鏡装置、画像処理方法及びプログラム等に関する。
【背景技術】
【０００２】
内視鏡診断では、体腔内の病変検出精度を向上させたいという要求がある。この精度向上の一般的な手法として、拡大光学系を備えた内視鏡（拡大内視鏡）を用いて、病変部と正常部の組織上の違いを顕微鏡相当の拡大率で拡大観察する手法が知られている。このような拡大内視鏡は、例えば数十倍から数百倍の拡大率を有し、ピットパターンや血管走行パターンの観察に用いられる。病変部と正常部ではこれらのパターンに違いが表れることが知られており、病変診断の１つの判定基準となっている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−４６３３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、このような拡大観察では、拡大率が大きいため視野が非常に狭くなってしまう。そのため、スコープと観察対象との間に相対的に小さな動きが発生しただけでも、観察対象のどの位置を観察しているかの判断が困難となるという課題がある。このように観察位置が分からなくなった場合、拡大観察を止め、拡大率の小さい通常観察に戻し、観察したい領域に位置合わせを行い、再度拡大観察を行なうという手順を繰り返す必要がある。そのため、診断時間が延び、患者に負担がかかってしまう。
【０００５】
例えば、特許文献１には、スコープ先端と観察対象との間の相対的な動きに伴う画像ずれを相殺するための補正湾曲角度を計算し、その補正湾曲角度でスコープ先端を湾曲させることで、画像ずれを補正する手法が開示されている。この手法では、スコープ先端と観察対象との間の相対的な動きが小さい場合は画像ずれの補正が可能である。しかしながら、この手法では、撮像画像の視野を越えるような画像ずれが発生した場合には、撮像画像から画像ずれを算出できないため、補正湾曲角度を算出できないという課題がある。また、この手法では、倍率が高くなるほど許容されるずれ量は小さくなるため、高倍率な拡大内視鏡ほど実用性が低くなる。
【０００６】
本発明の幾つかの態様によれば、拡大観察におけるスコープ先端と観察対象との間の相対的な動きの許容範囲を向上する画像処理装置、内視鏡装置、画像処理方法及びプログラム等を提供できる。
【課題を解決するための手段】
【０００７】
本発明の一態様は、観察対象物を複数の異なる倍率で拡大して撮像することにより得られた複数の画像を取得する画像取得部と、前記複数の画像の中から、各画像間の倍率が相対的に異なる第１〜第ｎ倍率画像（ｎは、ｎ≧２の自然数）を選択する画像選択部と、前記第１〜第ｎ倍率画像の中から、基準画像と前記基準画像より高倍率の検出対象画像を選択し、前記検出対象画像に対応する前記基準画像上の領域を検出して、前記検出対象画像を前記領域に対応付ける領域検出部と、を含む画像処理装置に関係する。
【０００８】
本発明の一態様によれば、複数の画像の中から第１〜第ｎ倍率画像が選択され、その第１〜第ｎ倍率画像の中から基準画像と基準画像より高倍率の検出対象画像が選択され、その検出対象画像に対応する基準画像上の領域が検出されて、その領域に検出対象画像が対応付けられる。これにより、拡大観察におけるスコープ先端と観察対象との間の相対的な動きの許容範囲の向上等が可能になる。
【０００９】
また、本発明の他の態様は、上記に記載の画像処理装置を含む内視鏡装置に関係する。
【００１０】
また、本発明の他の態様は、観察対象物を複数の異なる倍率で拡大して撮像することにより得られた複数の画像を取得し、前記複数の画像の中から、各画像で相対的に倍率が異なる第１〜第ｎ倍率画像（ｎは、ｎ≧２の自然数）を選択し、前記第１〜第ｎ倍率画像の中から、基準画像と前記基準画像より高倍率の検出対象画像を選択し、前記検出対象画像に対応する前記基準画像上の領域を検出して、前記検出対象画像を前記領域に対応付ける画像処理方法に関係する。
【００１１】
また、本発明の他の態様は、観察対象物を複数の異なる倍率で拡大して撮像することにより得られた複数の画像を取得する画像取得部と、前記複数の画像の中から、各画像で相対的に倍率が異なる第１〜第ｎ倍率画像（ｎは、ｎ≧３の自然数）を選択する画像選択部と、前記第１〜第ｎ倍率画像の中から、基準画像と前記基準画像より高倍率の検出対象画像を選択し、前記検出対象画像に対応する前記基準画像上の領域を検出して、前記検出対象画像を前記領域に対応付ける領域検出部として、コンピュータを機能させるプログラムに関係する。
【００１２】
また、本発明の他の態様は、観察対象物を撮像することにより得られた一連の動画画像を取得する画像取得部と、前記一連の動画画像を第１の表示領域に表示する制御を行う表示制御部と、を含み、前記表示制御部は、前記第１の表示領域に表示される動画画像よりも低倍率の画像であって、前記一連の動画画像の中から選択された動画画像を、低倍率画像として第２の表示領域に表示する制御を行い、前記表示制御部は、前記第１の表示領域に表示される動画画像に対応する前記低倍率画像上の領域を表す情報であって、前記一連の動画画像の視野範囲の移動に応じて前記低倍率画像上を移動する識別情報を前記第２の表示領域に表示する制御を行う内視鏡装置に関係する。
【図面の簡単な説明】
【００１３】
【図１】本実施形態の比較例についての説明図。
【図２】本実施形態の手法についての説明図。
【図３】本実施形態の手法についての説明図。
【図４】内視鏡装置の構成例。
【図５】回転色フィルタの詳細な構成例。
【図６】色フィルタの分光特性例。
【図７】画像処理部の詳細な構成例。
【図８】表示画像の例。
【図９】目標倍率画像群選択部の詳細な構成例。
【図１０】目標倍率画像群選択部の動作についての説明図。
【図１１】目標倍率画像群選択部の動作についての説明図。
【図１２】目標倍率画像群選択部の動作についての説明図。
【図１３】異倍率画像間位置決定部の詳細な構成例。
【図１４】異倍率画像間位置決定部の動作についての説明図。
【図１５】異倍率画像間位置決定部の動作についての説明図。
【図１６】内視鏡装置の第２の構成例。
【図１７】回転色フィルタの詳細な構成例。
【図１８】白色光を透過する色フィルタの分光特性例。
【図１９】特殊光を透過する色フィルタの分光特性例。
【図２０】画像処理部の第２の詳細な構成例。
【図２１】スコープ先端部の模式的な構成例。
【図２２】撮像タイミングについての模式的な説明図。
【図２３】ＡＦ制御部の詳細な構成例。
【図２４】ＡＦエリアについての説明図。
【図２５】先端湾曲駆動部の詳細な構成例。
【図２６】コンピュータシステムの構成を示すシステム構成図。
【図２７】コンピュータシステムにおける本体部の構成を示すブロック図。
【図２８】本実施形態が行う処理のフローチャート例。
【図２９】目標倍率画像選択処理の詳細なフローチャート例。
【図３０】領域検出処理の詳細なフローチャート例。
【発明を実施するための形態】
【００１４】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００１５】
１．本実施形態の手法
まず図１を用いて、上述の拡大撮影での課題について説明する。図１のＡ１に示すように、拡大撮影時には、内視鏡のスコープを観察対象Ｔｇに近づけて撮影するため、スコープの視野ＦＡ１は非常に狭くなる。そのため、Ａ２に示すように、消化管の動きやスコープのブレが起きると、動きが小さくても視野が大きくずれ、視野ＦＡ２がＦＡ１から容易に外れてしまう。この場合、ＦＡ１とＦＡ２を撮影した重複のない画像のみから、観察対象Ｔｇを再び視野に導入することは困難である。
【００１６】
そこで、本実施形態では、低倍率撮影時の画像を取得しておき、その画像と高倍率撮影時の画像との位置関係を検出することで、観察対象Ｔｇの再導入を可能にする。この本実施形態の手法について、図２、図３を用いて具体的に説明する。
【００１７】
図２のＢ１に示すように、拡大撮影では、観察対象Ｔｇから離れた位置からスコープを徐々に近づけることが一般的である。そして、Ｂ２に示すように、最大倍率となる位置までスコープを観察対象Ｔｇに近づけていく。視野はＦＢ１からＦＢ２に狭まる。Ｂ３に示すように、視野ＦＢ３が観察対象Ｔｇからずれても、ＦＢ１内であればＦＢ３の位置を知ることが可能である。
【００１８】
具体的には、図３に示すように、視野ＦＢ１を撮像した画像ＰＢ１と、視野ＦＢ２，ＦＢ３を最大倍率で撮像した画像ＰＢ２，ＰＢ３とのマッチング処理を行う。そして、そのマッチング処理の結果を用いて、現在の撮影範囲を画像ＰＢ１上に表示したり、スコープ先端を観察対象Ｔｇの方向に自動的に曲げる制御を行う。なお、後述するように、本実施形態では低倍率画像と最大倍率画像のマッチング処理を、中間倍率画像を用いて段階的に行い、１００倍等の高倍率であっても高精度なマッチングを可能にする。
【００１９】
２．内視鏡装置
図４に、観察対象Ｔｇの再導入を容易にする本実施形態の内視鏡装置の構成例を示す。この内視鏡装置は、光源部１００と、撮像部２００と、制御装置３００（制御装置）と、表示部４００と、外部Ｉ／Ｆ部５００を含む。
【００２０】
光源部１００は、白色光源１０１と、それぞれ分光透過率が異なる複数のフィルタを有する回転色フィルタ１０２と、回転色フィルタ１０２を駆動させる回転駆動部１０３と、回転色フィルタ１０２からの分光特性を持った光をライトガイドファイバ２０１の入射端面に集光させる集光レンズ１０４を含む。
【００２１】
図５に示すように、回転色フィルタ１０２は、例えば三原色の赤の色フィルタ６０１と、三原色の青の色フィルタ６０２と、三原色の緑の色フィルタ６０３と、回転モータ８０３とから構成されている。図６に、これら３つの色フィルタの分光特性例を示す。図６に示すように、それぞれ波長５８０〜７００ｎｍ、４００〜５００ｎｍ、４８０〜６００ｎｍを透過する。
【００２２】
回転駆動部１０３は、制御装置３００の制御部３０２からの制御信号に基づいて、撮像素子２０９の撮像期間と同期して回転色フィルタ１０２を所定回転数で回転させる。例えば、色フィルタを１秒間に２０回転させると、各色フィルタは６０分の１秒間隔で入射白色光を横切る。そして、撮像素子２０９は、例えばモノクロ単板撮像素子であり、６０分の１秒間隔で３原色の各色光（Ｒまたは、Ｇまたは、Ｂ）での反射光の画像データの撮像と転送を完了する。すなわち、Ｒ画像データ、Ｇ画像データ、Ｂ画像データが６０分の１秒間隔で面順次で撮像される。
【００２３】
撮像部２００は、例えば体腔への挿入を可能にするため細長くかつ湾曲可能に形成されている。撮像部２００は、光源部１００で集光された光を導くためのライトガイドファイバ２０１と、そのライトガイドファイバ２０１により先端まで導かれてきた光を拡散させて観察対象に照射する照明レンズ２０２を含む。また、撮像部２００は、観察対象から戻る反射光を集光する対物レンズ２０３と、可変絞り制御部２０４と、可変絞り部２０５と、焦点位置制御部２０６と、焦点位置調整レンズ２０７を含む。また、撮像部２００は、集光した結像光を検出するための撮像素子２０９と、撮像素子２０９により光電変換されて得られたアナログ信号をデジタル信号に変換するＡ／Ｄ変換部２１０を含む。撮像素子２０９は、例えばＣＣＤやＣＭＯＳにより構成される。
【００２４】
制御装置３００は、画像処理部３０１と、制御部３０２を含む。画像処理部３０１は、Ａ／Ｄ変換部２１０からの画像データを画像処理したり、上述のマッチング処理を行ったり、マッチング処理の結果から現在の撮像領域を表示部４００に表示する制御を行ったりする。制御部３０２は、内視鏡装置の各構成要素を制御する。
【００２５】
表示部４００は、動画表示可能な表示装置であり、例えばＣＲＴや液晶モニタにより構成される。
【００２６】
外部Ｉ／Ｆ部５００は、内視鏡装置に対するユーザからの入力等を行うためのインターフェースである。外部Ｉ／Ｆ部５００は、例えば電源のオン／オフを行うための電源スイッチや、撮影操作を開始するためのシャッタボタンや、撮影モードやその他各種のモードを切り換えるためのモード切換ノブを含む。モード切替ノブは、例えば図１０に示すズーム操作ノブ５０１である。このズーム操作ノブ５０１を拡大観察モードとなる方向に動かすことで焦点位置調整レンズが移動され、より被写体に近接した位置でピントが合う状態が得られる。外部Ｉ／Ｆ部５００は、入力された情報を制御部３０２へ出力する。
【００２７】
次に、本実施形態の２つの観察モードについて説明する。観察モードの１つは、高深度低解像度となる通常観察モード（全域観察モード）であり、もう１つは、低深度高解像度となる拡大観察モード（近接拡大観察モード）である。
【００２８】
この２つの観察モードを切り替えるために、制御部３０２は、外部Ｉ／Ｆ部５００のモード切換ボタンによるユーザからのモード切換要求に基づいて、可変絞り制御部２０４と焦点位置制御部２０６に制御信号を送信する。可変絞り制御部２０４は、受信した制御信号に基づいて可変絞り部２０５の絞り量を制御する。焦点位置制御部２０６は、受信した制御信号に基づいて焦点位置調整レンズ２０７を制御する。
【００２９】
拡大観察モードを選択した場合には、絞りを開けてレンズ開口を大きくする。具体的には、許容錯乱円を撮像素子２０９の限界解像度が得られる大きさに設定し、レンズの焦点での錯乱円が許容錯乱円以下となるように絞りを設定する。また、焦点位置制御部２０６は、予め設定された所定の焦点位置となるように焦点位置調整レンズを駆動する。
【００３０】
一方、通常観察モードを選択した場合には、絞りを絞ってレンズ開口を小さくする。具体的には、実用的な解像度と被写界深度が得られる錯乱円の大きさとなるように絞りを設定する。また、焦点位置制御部２０６は、実用的な被写界深度を得るための焦点位置となるように焦点位置調整レンズを駆動する。
【００３１】
これらのモードの切り替えは、まず通常観察モードにおいて深度内限界まで被写体に近接し、その状態で拡大観察モードに切り替えることで行う。このようにして、近接拡大観察時の被写界深度が非常に狭い状態でも、ピントが合った高精細な画像を撮像できる。
【００３２】
３．画像処理部
図７に、上述のマッチング処理等を行う画像処理部３０１の詳細な構成例を示す。画像処理部３０１は、画像構成処理部３１０、目標倍率画像群選択部３２０、異倍率画像間位置決定部３３０、表示情報生成部３４０、合成部３５０を含む。
【００３３】
Ａ／Ｄ変換部２１０から出力された画像データは、画像構成処理部３１０に入力される。画像構成処理部３１０には、さらに制御部３０２が接続されており、制御部３０２に予め保存されている処理パラメータが入力される。例えば、処理パラメータは、ＯＢクランプ値や、ＷＢ係数、色補正係数、階調変換テーブル、輪郭強調レベル等である。画像構成処理部３１０は、それらの処理パラメータに基づいて、入力された画像データから表示部４００で観察可能な動画像を生成し、目標倍率画像群選択部３２０と合成部３５０へ出力する。
【００３４】
目標倍率画像群選択部３２０には、画像構成処理部３１０から出力される動画像が入力され、外部Ｉ／Ｆ部５００でユーザ指定された観察モード信号が制御部３０２から入力される。観察モード信号は、拡大観察モードか通常観察モードかを示す情報である。また、目標倍率画像群選択部３２０には、撮像部２００の最大倍率情報により予め設定された複数の選択すべき目標倍率情報が入力される。最大倍率情報は、光学系の設計情報に基づく最近接合焦時の像倍率である。
【００３５】
目標倍率画像群選択部３２０は、複数の目標倍率の代表画像を選択する。より具体的には、目標倍率画像群選択部３２０は、拡大観察モードにおいて動作状態となる。拡大観察では、観察対象領域１０と対物レンズ２０３との相対距離が近づくにつれて、観察対象領域１０の倍率が大きくなる。例えば、目標倍率画像群選択部３２０は、このような動画像から光学系の最大倍率の１、１／４、１／１６、１／６４倍に相当する目標倍率の代表画像を選択する。そして、目標倍率画像群選択部３２０は、入力される動画像から目標倍率を逐次選択し、選択した画像を目標倍率画像の最新画像として上書き保存し、その保存済みの目標倍率画像とその更新情報を異倍率画像間位置決定部３３０に出力する。詳細については後述する。
【００３６】
ここで、代表画像選択時の基準となる倍率は、例えば観察モードが拡大観察モードに切り替わった時点の撮像画像である。そして、目標倍率は、この基準画像から最大倍率までを所定整数で分割した倍率である。
【００３７】
異倍率画像間位置決定部３３０には、目標倍率画像群選択部３２０から出力された複数の目標倍率の代表画像と、制御部３０２からの観察モード信号と目標倍率情報が入力される。異倍率画像間位置決定部３３０は、入力される複数倍率の代表画像間で画像間マッチング処理を行い、高倍率画像が低倍率画像の何処に位置するかを示す位置情報を算出する。そして、異倍率画像間位置決定部３３０は、画像間マッチング処理で使用した低倍率画像と位置情報を表示情報生成部３４０へ出力する。
【００３８】
表示情報生成部３４０は、入力された低倍率画像と位置情報に基づいて、現在観察中の観察領域を矩形枠等で表した低倍率画像を生成し、生成した画像を合成部３５０へ出力する。
【００３９】
合成部３５０には、表示情報生成部３４０からの観察領域が表された低倍率画像と、画像構成処理部３１０から出力される動画像と、制御部３０２からの観察モード信号が入力される。合成部３５０は、観察モード信号が拡大観察モードを示す場合には、例えば２画面表示の表示画像を生成する。合成部３５０は、その表示画像を表示部４００に出力する。
【００４０】
図８に、２画面表示の表示画像の例を示す。図８のＤ１に示すように、画面左側の表示領域には、現在観察している動画像を表示する。Ｄ２に示すように、画面右側の表示領域には、低倍率画像を表示する。低倍率画像は、後述する目標倍率画像のうちの例えば最低倍率の画像である。例えば、これらの表示領域は、表示枠で囲まれる。Ｄ３に示すように、現在の観察領域を表す枠線を低倍率画像上に表示する。また、Ｄ４に示すように、観察ターゲットを表す枠線を低倍率画像上に表示する。なお、通常観察モードでは、Ｄ１に示す動画像と表示枠を合成した表示画像が生成される。
【００４１】
表示部４００には、合成部３５０から出力される合成画像が入力される。入力される画像は、例えばハイビジョン信号である。表示部４００は、例えば液晶モニタ等の表示装置であり、入力された合成画像を表示する。
【００４２】
４．目標倍率画像群選択部
図９に、目標倍率画像群選択部３２０の詳細な構成例を示す。目標倍率画像群選択部３２０は、フレームメモリ３２１、画像選択部３２２、領域抽出部３２３、倍率補正部３２４、目標倍率画像選択部３２５、マッチング処理部３２６、参照倍率画像選択部３２７、フレームメモリ３２８、目標倍率画像選択制御部３２９を含む。
【００４３】
フレームメモリ３２１は、画像構成処理部３１０からの動画像を保存する。画像構成処理部３１０から出力される動画像は、観察対象領域に撮像部２００の先端を徐々に近づけながら（例えば図１０のＥ１）撮像されたものである。そのため、フレームメモリ３２１には、時間と共に像倍率が高くなる傾向の動画像が保存される。
【００４４】
例えば、フレームメモリ３２１は、数秒分の動画像を保存できる容量を有し、リングバッファとして機能する。すなわち、フレームメモリ３２１は、既に保存されている画像を新しい画像で逐次上書きする。フレームメモリ３２１に保存されている動画像は、画像選択部３２２により所定位置の１フレーム画像が選択され、選択された画像は、領域抽出部３２３と目標倍率画像選択部３２５へ出力される。なお、フレームメモリ３２１に保存する動画像は、所定間隔でフレームを間引いてもよい。この場合、より長時間の動画像の保存が可能となる。
【００４５】
領域抽出部３２３には、画像選択部３２２からの１フレーム画像と、目標倍率画像選択制御部３２９からの目標倍率に対応する抽出領域情報が入力される。領域抽出部３２３は、抽出領域情報に基づいて、１フレーム画像の中央部あるいは中央部付近で最もコントラストが高い領域周辺を所定領域分抽出し、その抽出領域画像を倍率補正部３２４へ出力する。
【００４６】
倍率補正部３２４には、領域抽出部３２３から出力された抽出領域画像と、目標倍率画像選択制御部３２９からの目標倍率情報が入力される。倍率補正部３２４は、抽出領域画像を目標倍率情報に基づいて縮小処理し、その縮小抽出領域画像をマッチング処理部３２６へ出力する。
【００４７】
目標倍率画像選択部３２５には、目標倍率画像選択制御部３２９からの目標倍率情報と、マッチング処理部３２６から出力されるマッチング判定情報が入力される。目標倍率画像選択部３２５は、これらの情報に基づいて、フレームメモリ３２１から目標倍率画像を選択し、選択した目標倍率画像をフレームメモリ３２８へ出力する。目標倍率画像選択部３２５は、目標倍率情報が最小倍率である場合には、マッチング処理部３２６からの情報に依らず、拡大観察モードに切り替わった時点でフレームメモリ３２１に格納されたフレーム画像を、最小倍率の目標倍率画像としてフレームメモリ３２８へ出力する。フレームメモリ３２８には、目標倍率画像選択部３２５から出力されるフレーム画像が、目標倍率毎に指定された格納領域に上書き保存される。
【００４８】
参照倍率画像選択部３２７は、目標倍率画像選択制御部３２９から出力される目標倍率情報に基づいて、参照倍率画像をフレームメモリ３２８から読み出し、読み出した参照倍率画像をマッチング処理部３２６へ出力する。参照倍率画像は、マッチング処理部３２６において縮小抽出領域画像とマッチングを取る画像である。
【００４９】
マッチング処理部３２６は、参照倍率画像と縮小抽出領域とのマッチング処理を行い、最も相関が高くなる位置での相関値を目標倍率画像選択部３２５へ出力する。例えば、マッチング処理部３２６は、参照倍率画像と縮小抽出領域に対して血管構造をより強調させるための強調処理を施した後に、その２つの画像間でマッチング処理を行う。マッチング処理は、例えば差分絶対値和（または差分自乗和）が利用される。マッチング処理でのテンプレート画像は縮小抽出領域画像であり、マッチング処理での探索範囲画像は参照倍率画像である。すなわち、縮小抽出領域画像は参照倍率画像よりもサイズが小さく、テンプレート画像を探索範囲画像内で移動させて差分絶対値和が算出される。そして、算出された差分絶対値和の最小値が、画像間の相関値として目標倍率画像選択部３２５へ出力される。
【００５０】
目標倍率画像選択部３２５は、入力される相関値を複数フレーム期間分保存する。そして、目標倍率画像選択部３２５は、その複数の相関値の中で最小の相関値に対応するフレーム画像を、目標倍率画像としてフレームメモリ３２１から読み出し、フレームメモリ３２８の所定格納領域へ保存する。目標倍率画像選択部３２５は、目標倍率画像の選択完了を表す情報を目標倍率画像選択制御部３２９に出力する。
【００５１】
目標倍率画像選択制御部３２９は、選択が完了した目標倍率画像の更新情報を保存しており、この更新情報を異倍率画像間位置決定部３３０へ出力する。この目標倍率画像の更新情報は、最も新しく更新された画像の倍率判定が可能な形式で保存される。例えば、選択すべき目標倍率が４つの場合には、４ビットの情報を用意し、更新された倍率に対応するビットのみ１を立てることで更新情報とする。
【００５２】
目標倍率画像選択部３２５は、拡大観察モードにおいて、最大倍率画像まで更新したら目標倍率を最大倍率に固定し、以降は撮像画像を最大倍率の目標倍率画像として選択し続ける。この場合、マッチング処理部３２６からの相関値の大きさが安定して所定閾値以下の場合には、次の異倍率画像間位置決定部３３０での位置検出（フレーミング）が可能な状態として、上記選択を続ける。一方、相関値の大きさが所定閾値より大きい場合が連続して発生する場合は、位置検出が不可能であるとして、更新情報のビットを全て０にリセットし、その更新情報を異倍率画像間位置決定部３３０に出力してもよい。この場合、表示情報生成部３４０は、フレーミング不可である旨のアラート情報がスーパーインポーズされた低倍率画像を生成し、その画像を合成部３５０に出力する。
【００５３】
図１０〜図１２を用いて、目標倍率画像群選択部の動作について詳細に説明する。なお以下では、目標倍率が最大倍率の１／６４倍，１／１６倍，１／４倍，１倍である場合を例に説明する。また、以下で用いる最低倍率とは、目標倍率のうちの最も低い倍率のことであり、光学系が本来有する最低倍率と同一とは限らない。
【００５４】
図１０のＥ１に示すように、拡大観察モードに切り替えてスコープを徐々に観察対象に近づけながら観察対象を拡大していく。そして、Ｅ２に示すように、その一連の撮像画像から目標倍率画像を順次選択していく。例えば、最低倍率（基準倍率）を１倍とし、最大倍率を６４倍とすれば、目標倍率は、１倍，４倍，１６倍，６４倍となる。
【００５５】
より具体的には、図１１（Ａ）に示すように、通常観察モードにおいて、被写界深度の近点ＫＰ１が観察対象に接近するまで（近点ＫＰ１’）、スコープを観察対象に近づける。このときの撮像倍率が最低倍率である。そして、図１１（Ｂ）に示すように、拡大観察モードに切り替え、近点ＫＰ２が観察対象に接近するまで（近点ＫＰ２’）、スコープを観察対象に近づける。このときの撮像倍率が最大倍率である。
【００５６】
そして、図１２に示すように、拡大観察モードに切り替えた時のフレーム画像ＦＰ２を１倍の目標倍率画像ＢＰ１として記憶する。次に、フレーム画像ＦＰ３を１／４の画像サイズに縮小してテンプレート画像ＫＰ３を生成し、目標倍率画像ＢＰ１を参照倍率画像としてテンプレート画像ＫＰ３とのマッチング処理を行う。そして、ＦＰ４以降のフレーム画像を同様に順次縮小してマッチング処理を行い、相関性が最も高いフレーム画像ＦＰ４を４倍の目標倍率画像ＢＰ２として選択する。次に、目標倍率画像ＢＰ２を参照倍率画像としてマッチング処理を行い、１６倍の目標倍率画像を選択する。このようにして、順次目標倍率画像を選択し、６４倍の目標倍率画像まで選択する。６４倍の目標倍率画像までそろったら、以後は６４倍の目標倍率画像を撮像画像で更新する。
【００５７】
５．異倍率画像間位置決定部
図１３に、異倍率画像間位置決定部３３０の詳細な構成例を示す。異倍率画像間位置決定部３３０は、第１画像選択部３３１（第１倍率画像選択部）、第２画像選択部３３２（第２倍率画像選択部）、領域抽出部３３３、倍率補正部３３４、マッチング処理部３３５、倍率・抽出領域制御部３３６を含む。なお、以下では、フレームメモリ３２８に４つの目標倍率画像ＢＰ１〜ＢＰ４が格納されている場合を例に説明する。
【００５８】
第１画像選択部３３１と第２画像選択部３３２には、倍率・抽出領域制御部３３６から出力される画像間マッチングを行う階層レベル情報が入力される。図１４に示すように、４種類の倍率画像の場合、階層レベルは３階層である。第１階層は、現在観察している最大倍率の画像ＢＰ４と、次に倍率が大きい画像ＢＰ３との間のマッチングである。第２階層は、画像ＢＰ３と、３番目に倍率が大きい画像ＢＰ２との間のマッチングである。第３階層は、３番目に倍率が大きい画像ＢＰ２と、一番倍率が小さい画像ＢＰ１との間のマッチングである。
【００５９】
以下では、上記第１階層における処理を例に各構成要素について説明する。なお、他の階層においても同様の処理が行われるため、同様の処理については適宜説明を省略する。
【００６０】
第１画像選択部３３１は、フレームメモリ３２８から最も倍率が大きい現在観察している画像ＢＰ４を読み出して領域抽出部３３３へ出力する。第２画像選択部３３２は、フレームメモリ３２８から２番目に倍率が大きい画像ＢＰ３を読み出してマッチング処理部３３５へ出力する。
【００６１】
領域抽出部３３３は、倍率・抽出領域制御部３３６からの抽出領域情報に基づいて、入力画像内の指定領域を抽出し、その抽出領域画像を倍率補正部３３４へ出力する。
【００６２】
倍率補正部３３４は、倍率・抽出領域制御部３３６からの補正倍率情報に基づいて、抽出領域画像を縮小（倍率補正）した縮小抽出領域画像を生成し、その縮小抽出領域画像をマッチング処理部３３５へ出力する。
【００６３】
マッチング処理部３３５は、倍率補正部３３４からの縮小抽出領域画像と、第２倍率画像選択部から出力される画像ＢＰ３との間のマッチング処理を行う。ここで、マッチング処理は、例えば差分絶対値和（または差分自乗和）が利用される。そして、マッチング処理でのテンプレート画像は、画像ＢＰ４に対応する縮小抽出領域画像であり、マッチング処理での探索範囲画像は、画像ＢＰ３である。すなわち、縮小抽出領域画像は画像ＢＰ３よりもサイズが小さく、テンプレート画像を探索範囲画像内で移動させて差分絶対値和が算出される。そして、算出された差分絶対値和が最小値となる位置での位置情報を、第１階層でのマッチング位置情報として倍率・抽出領域制御部３３６へ出力する。
【００６４】
第２階層では、領域抽出部３３３は、倍率・抽出領域制御部３３６からの第１階層で算出されたマッチング位置情報に基づいて、入力画像内の指定領域を抽出し、その抽出領域画像を倍率補正部３３４へ出力する。第３階層においても同様に第２階層で算出されたマッチング位置情報に基づいて領域抽出が行われる。
【００６５】
このようにして第１〜第３階層でマッチング位置情報が算出され、それらのマッチング位置情報が表示情報生成部３４０へ出力される。拡大観察モードに切り替わってからフレームメモリ３２８に最初に記憶された最大倍率画像ＢＰ４は、ユーザが観察したいターゲット位置の画像であると考えられる。そのターゲット位置情報として、最初に記憶された画像ＢＰ４に対して第３階層において算出されたマッチング位置情報が、表示情報生成部３４０の図示しないメモリに記録される。図８のＤ４に示すように、そのターゲット位置情報に基づいて表示情報が表示される。
【００６６】
このようにして、現在拡大観察している領域の画像ＢＰ４が、倍率が小さい広視野画像ＢＰ１内の何処にあるかを検出できる。このとき、２番目に倍率が大きい画像ＢＰ３の範囲内のずれ（変位）まで許容された検出が可能である。
【００６７】
次に、図１５を用いて、異倍率画像間位置決定部の動作について詳細に説明する。なお、以下では、画像ＢＰ４〜ＢＰ１の倍率を６４倍，１６倍，４倍，１倍とする。まず、最初のマッチング処理の対象として画像ＢＰ４，ＢＰ３を選択する。次に、画像ＢＰ４を１／４の画像サイズに縮小してテンプレート画像ＴＰ４を生成する。そして、テンプレート画像ＴＰ４と画像ＢＰ３とのマッチング処理を行い、Ｆ１に示すように、テンプレート画像ＴＰ４に対応する領域を検出する。
【００６８】
次に、２回目のマッチング処理の対象として画像ＢＰ３，ＢＰ２を選択する。Ｆ２に示すように、テンプレート画像ＴＰ４に対応する領域とその周辺領域を画像ＢＰ３から抽出する。抽出した画像を１／４の画像サイズに縮小してテンプレート画像ＴＰ３を生成する。そして、テンプレート画像ＴＰ３と画像ＢＰ２とのマッチング処理を行い、Ｆ３に示すように、テンプレート画像ＴＰ３に対応する領域を検出する。そして、同様の処理を各階層で繰り返し、最終的に画像ＢＰ４に対応する画像ＢＰ１上の領域を検出する。
【００６９】
さて、上述のように、拡大観察では視野が狭いため、小さなぶれでも観察対象が視野から外れてしまい、低倍率に戻って再び観察対象を拡大する操作を繰り返す必要がある。このように、拡大観察におけるぶれに対する許容範囲が狭いという課題がある。
【００７０】
この点、本実施形態によれば、図７に示すように、画像処理装置（画像処理部３０１）は、画像取得部（画像構成処理部３１０）と、画像選択部（目標倍率画像群選択部３２０）と、領域検出部（異倍率画像間位置決定部３３０）を含む。そして、画像取得部は、観察対象物を複数の異なる倍率で拡大して撮像することにより得られた複数の画像を取得する。画像選択部は、その複数の画像の中から、各画像間の倍率が相対的に異なる第１〜第ｎ倍率画像（目標倍率画像）を選択する（ｎは、ｎ≧２の自然数）。領域検出部は、その第１〜第ｎ倍率画像の中から、基準画像と、その基準画像より高倍率の検出対象画像を選択し、その検出対象画像に対応する基準画像上の領域を検出して、その領域に検出対象画像を対応付ける。
【００７１】
これにより、拡大観察におけるスコープ先端と観察対象とのずれの許容範囲の向上が可能になる。すなわち、本実施形態によれば、拡大率の異なる（撮像画像の視野が異なる）複数の画像間で階層的にずれ量を算出できる。そのため、高倍率観察時にその撮像画像の視野を越えるずれ量が発生しても観察対象領域とのずれ量を算出することができる。これにより、拡大観察状態を保持したまま表示画像を確認することで素早く観察対象領域を視野内に導入することが可能になる。
【００７２】
ここで、上記対応付けとは、基準画像上において検出された領域の座標と、基準画像と、検出対象画像とを対応付けることであり、例えばこれらの情報を１組みのデータとして図示しないメモリに記憶することで対応付けが行われる。
【００７３】
また本実施形態では、図１４に示すように、第１〜第ｎ倍率画像（ＢＰ１〜ＢＰ４）の中の第ｉ倍率画像が第ｉ−１倍率画像よりも高倍率である（ｉは、２≦ｉ≦ｎの整数）。この場合に、領域検出部は、第ｉ−１倍率画像（例えばＢＰ１）を基準画像として選択し、第ｉ倍率画像（ＢＰ２）を検出対象画像として選択する。そして、領域検出部は、第ｉ倍率画像に対応する第ｉ−１倍率画像上の領域を検出し、各階層で順次検出を繰り返し、第ｎ倍率画像（ＢＰ４）に対応する第１倍率画像（ＢＰ１）上の領域を検出する。
【００７４】
このようにすれば、階層的に検出を繰り返すことで、第１倍率画像上での観察対象領域の位置を検出できる。また、階層的に検出を繰り返すことで、第ｎ倍率画像と第１倍率画像を直接マッチングする場合に比べて、マッチング精度を向上できる。
【００７５】
また本実施形態では、図９に示すように、画像選択部は、倍率補正部３２４と、マッチング処理部３２６と、目標倍率画像選択部３２５を含む。そして、図１２に示すように、倍率補正部３２４は、複数の画像の中のマッチング対象画像（例えばＦＰ３〜ＦＰ５）を所定倍率（１／４倍）で縮小する。マッチング処理部３２６は、その縮小されたマッチング対象画像（ＫＰ３〜ＫＰ５）と、第１〜第ｎ倍率画像の中の基準倍率画像（ＢＰ１）とのマッチング処理を行う。目標倍率画像選択部３２５は、マッチング処理において最も相関性が高い画像（ＦＰ４）を複数の画像（ＦＰ３〜ＦＰ５）の中から選択する。
【００７６】
このようにすれば、撮像画像から目標倍率画像を選択できる。また、マッチング対象画像を所定倍率で縮小してマッチング処理することで、所定倍率間隔の目標倍率画像を選択できる。
【００７７】
また本実施形態では、図９に示すように、画像選択部は繰り返し制御部（目標倍率画像選択制御部３２９）を含む。そして、繰り返し制御部は、マッチング処理と、マッチング処理において最も相関性が高い画像を選択する処理と、その選択された最も相関性が高い画像を次のマッチング処理に用いられる基準倍率画像として選択する処理とを繰り返す制御を行う。
【００７８】
より具体的には、画像選択部は、記憶部（フレームメモリ３２８）と、基準倍率画像選択部（参照倍率画像選択部３２７）を含む。そして、図１２に示すように、基準倍率画像選択部は、第ｊ倍率画像（例えばＢＰ１）が記憶部に記憶されている場合に、その第ｊ倍率画像を基準倍率画像として選択する（ｊはｎ−１以下の自然数）。マッチング処理部３２６は、その第ｊ倍率画像を用いてマッチング処理を行う。目標倍率画像選択部３２５は、最も相関性が高い画像を第ｋ倍率画像（ＢＰ２）として選択する（ｋは２≦ｋ≦ｎの整数）。記憶部は、その第ｋ倍率画像を記憶する。そして、基準倍率画像選択部は、次のマッチング処理に用いられる基準倍率画像として、その第ｋ倍率画像（ＢＰ２）を選択する。
【００７９】
このようにすれば、マッチング処理を繰り返すことで、撮像画像から目標倍率画像を順次選択できる。また、基準倍率画像とマッチング対象画像を順次選択することで、マッチング処理を共通化できる。
【００８０】
また本実施形態では、図９に示すように、画像選択部は、マッチング対象画像の中からマッチング対象領域を抽出する領域抽出部３２３を有する。そして、倍率補正部３２４は、そのマッチング対象領域を所定倍率で縮小し、マッチング処理部３２６は、その縮小されたマッチング対象領域と基準倍率画像とのマッチング処理を行う。
【００８１】
このようにすれば、マッチング処理に適した領域を抽出してマッチング処理を行うことができる。これによりマッチング精度を向上できる。例えば、画像の中央部を抽出すれば、光学系による像歪みの影響を軽減できる。
【００８２】
なお上記実施形態では、低倍率側の画像を縮小してマッチング処理を行う場合について説明したが、本実施形態では、高倍率側の画像を拡大してマッチング処理を行ってもよい。すなわち、画像処理装置は、第１〜第ｎ倍率画像の中の基準倍率画像（例えばＢＰ１）を所定倍率（４倍）で拡大する倍率補正部と、その拡大された基準倍率画像と、マッチング対象画像（ＦＰ３〜ＦＰ５）とのマッチング処理を行うマッチング処理部と、を含んでもよい。
【００８３】
また本実施形態では、図１３に示すように、領域検出部は、検出対象画像選択部（第１画像選択部３３１）と、基準画像選択部（第２画像選択部）と、倍率補正部３３４と、マッチング処理部３３５を含む。そして、図１５に示すように、検出対象画像選択部は、第１〜第ｎ倍率画像（ＢＰ１〜ＢＰ４）の中から検出対象画像（例えばＢＰ４）を選択する。基準画像選択部は、第１〜第ｎ倍率画像の中から基準画像（ＢＰ３）を選択する。倍率補正部は、検出対象画像を基準画像の倍率に縮小する（１／４倍する）。そして、マッチング処理部３３５は、その縮小された検出対象画像（ＴＰ４）と基準画像（ＢＰ３）とのマッチング処理を行う。
【００８４】
このようにすれば、目標倍率画像の各階層において画像間の位置検出を行うことができる。また、検出対象画像を基準画像の倍率に縮小してマッチング処理することで、倍率の異なる画像間においてマッチング処理が可能になる。
【００８５】
また本実施形態では、図１３に示すように、領域検出部は、繰り返し制御部（倍率・抽出領域制御部３３６）を含む。そして、繰り返し制御部は、マッチング処理と、マッチング処理に用いられた基準画像を次のマッチング処理に用いられる検出対象画像として選択する処理と、その検出対象画像の次に低倍率の画像を第１〜第ｎ倍率画像の中から次のマッチング処理に用いられる基準画像として選択する処理とを繰り返す。
【００８６】
具体的には、図１５に示すように、検出対象画像選択部は、検出対象画像として第ｍ倍率画像（例えばＢＰ４）を選択する。基準画像選択部は、基準画像として第ｍ倍率画像（ＢＰ４）の次に低倍率の第ｐ倍率画像（ＢＰ３）を選択する。マッチング処理部３３５は、第ｍ倍率画像（ＢＰ４）に対応する第ｐ倍率画像（ＢＰ３）上の領域（Ｆ１）を検出する。そして、検出対象画像選択部は、次のマッチング処理に用いられる検出対象画像として、第ｐ倍率画像（ＢＰ３）を選択する。基準画像選択部は、次のマッチング処理に用いられる基準画像として、第ｐ倍率画像（ＢＰ３）の次に低倍率である第ｑ倍率画像（ＢＰ２）を選択する。
【００８７】
このようにすれば、目標倍率画像の各階層の位置検出を繰り返して、第１倍率画像における現在の撮影領域を検出できる。また、基準画像と検出対象画像を順次選択することで、マッチング処理を共通化できる。
【００８８】
また本実施形態では、図１３に示すように、領域検出部は領域抽出部３３３を含む。そして、図１５に示すように、領域抽出部３３３は、第ｍ倍率画像（ＢＰ４）に対応する第ｐ倍率画像（ＢＰ３）上の領域（Ｆ１）を含む周辺領域（Ｆ２）を第ｐ倍率画像（ＢＰ３）から抽出し、次のマッチング処理に用いる検出対象画像として設定する。
【００８９】
このようにすれば、テンプレート画像が小さくなりすぎてマッチング精度が低下してしまうことを抑制できる。
【００９０】
また本実施形態では、図８に示すように、第１倍率画像（Ｄ２）と、第ｎ倍率画像に対応する領域を表す識別情報（Ｄ３）を表示する制御を行う表示制御部（図７に示す合成部３５０）を含む。
【００９１】
また本実施形態では、表示制御部は、第１倍率画像（Ｄ２）において観察のターゲットとなるターゲット領域を表す識別情報（Ｄ４）を表示する制御を行う。
【００９２】
また本実施形態では、画像取得部（画像構成処理部３１０）は、観察対象物を撮像することにより得られた一連の動画画像を取得する。表示制御部（合成部３５０）は、その一連の動画画像を第１の表示領域（Ｄ１）に表示する制御を行う。そして、第２の表示領域（Ｄ２）には、第１の表示領域に表示される動画画像よりも低倍率の画像であって、一連の動画画像の中から選択された動画画像が、低倍率画像（第１倍率画像）として表示される。第２の表示領域（Ｄ２）には、第１の表示領域（Ｄ１）に表示される動画画像に対応する低倍率画像上の領域を表す情報であって、一連の動画画像の視野範囲の移動に応じて低倍率画像上を移動する識別情報（Ｄ３）が表示される。
【００９３】
このようにすれば、現在の撮影領域を低倍率画像上に表示できる。これにより、撮影領域がターゲットからずれた場合であっても現在の撮影領域の位置を知ることができる。また、ターゲット領域を表示することで、ターゲットをすばやく視野に戻すことができる。
【００９４】
６．内視鏡装置の第２の構成例
本実施形態では、上述のマッチング処理の結果を用いてスコープ先端を曲げ、観察対象を自動的に視野範囲に導入してもよい。また本実施形態では、白色光だけでなく狭帯域光により撮影を行い、その狭帯域光画像を用いてマッチング処理を行ってもよい。
【００９５】
図１６に、このような内視鏡装置の第２の構成例を示す。この内視鏡装置は、光源部１００と、撮像部２００と、制御装置３００と、表示部４００と、外部Ｉ／Ｆ部５００を含む。なお、図４等で上述の構成要素と同一の構成要素には同一の符号を付し、以下では適宜説明を省略する。
【００９６】
光源部１００は、白色光と狭帯域光を出力する。この光源部１００は、白色光源１０１と、回転色フィルタ１０２と、回転駆動部１０３と、集光レンズ１０４を含む。
【００９７】
図１７に回転色フィルタ１０２の詳細な構成例を示す。この回転色フィルタ１０２は、白色光の分光透過率を示す色フィルタ８０１と、特殊光としての狭帯域の分光透過率を示す色フィルタ８０２と、回転モータ８０３とから構成されている。図１８に示すように、色フィルタ８０１は、例えば波長３８０ｎｍ〜６５０ｎｍの光を透過する分光特性を有している。図１９に示すように、色フィルタ８０２は、波長３９０ｎｍ〜４４５ｎｍ（Ｂ２）と、波長５３０ｎｍ〜５５０ｎｍ（Ｇ２）の光を透過する分光特性を有している。
【００９８】
回転駆動部１０３は、制御装置３００の制御部３０２からの制御信号に基づいて、撮像素子２０９の撮像期間と同期して回転色フィルタ１０２を所定回転数で回転させる。例えば、色フィルタを１秒間に３０回転させると、各色フィルタは６０分の１秒間隔で入射白色光を横切る。そして、撮像素子２０９は、６０分の１秒間隔で白色光と特殊光（ＮＢＩ）に対する反射光の画像データの撮像と転送を完了する。
【００９９】
撮像部２００は、ライトガイドファイバ２０１と、照明レンズ２０２と、対物レンズ２０３と、可変絞り制御部２０４と、可変絞り部２０５と、焦点位置制御部２０６と、焦点位置調整レンズ２０７と、撮像素子２０９と、Ａ／Ｄ変換部２１０を含む。
【０１００】
撮像素子２０９は、カラー撮像可能な撮像素子であり、例えばベイヤ配列の原色単板撮像素子により構成される。あるいは、撮像素子２０９は、補色単板撮像素子により構成されてもよい。
【０１０１】
制御装置３００は、画像処理部３０１と、制御部３０２と、先端湾曲駆動部３０３を含む。制御部３０２は、図４等で上述の制御に加え、さらに先端湾曲駆動部３０３の制御と後述するＡＦ制御部３６０の制御を行う。また、制御部３０２は、回転色フィルタ１０２の構成に応じた制御を行う。
【０１０２】
図２０に、画像処理部３０１の第２の詳細な構成例を示す。この画像処理部３０１は、画像構成処理部３１０、目標倍率画像群選択部３２０、異倍率画像間位置決定部３３０、表示情報生成部３４０、合成部３５０、ＡＦ制御部３６０を含む。この画像処理部３０１は、図７で上述の構成要素に加え、さらにＡＦ制御部３６０を含んでいる。
【０１０３】
ＡＦ制御部３６０は、撮像部２００に対してオートフォーカス制御を行う。具体的には、ＡＦ制御部３６０は、コントラスト法等によりオートフォーカス制御を行い、焦点位置制御部２０６を制御して被写体像を合焦させる。
【０１０４】
図２１に、撮像部２００（スコープ）の先端部を模式的に示す。撮像部２００は、表示画像の横方向（水平走査方向）に先端を湾曲させるためのワイヤ１００１，１００３と、表示画像の縦方向（垂直方向）に先端を湾曲させるためのワイヤ１００２，１００４を含む。例えば、左右方向に角度θだけ湾曲させるには、ワイヤ１００１，１００３を所定量Ｎだけ押し引きする。また、上下方向に角度θだけ湾曲させるには、ワイヤ１００２と１００４を所定量Ｎだけ押し引きする。
【０１０５】
図２２に、白色光画像と特殊光画像の撮像タイミングについて模式的に示す。図２２に示すように、光源部１００の回転色フィルタ１０２が回転することで、白色光と特殊光（ＮＢＩ）を時分割に照明する。そして、撮像素子２０９が白色光画像と特殊光画像を交互に撮像し、Ａ／Ｄ変換部２１０がＡ／Ｄ変換し、画像構成処理部３１０が白色光画像と特殊光画像を出力する。画像構成処理部３１０は、特殊光画像を目標倍率画像群選択部３２０へ出力し、白色光画像と特殊光画像を合成部３５０へ出力する。そして、目標倍率画像群選択部３２０と異倍率画像間位置決定部３３０は、特殊光画像を用いてマッチング処理を行う。
【０１０６】
このようにすれば、白色光画像よりも血管コントラストが高い画像である特殊光画像（ＮＢＩ）を用いてマッチング処理できる。これにより、マッチング精度を向上できる。
【０１０７】
７．ＡＦ制御部
図２３に、ＡＦ制御部３６０の詳細な構成例を示す。ＡＦ制御部３６０は、領域抽出部３６１、コントラスト算出部３６２、レンズ移動量算出部３６３、合焦画像選択部３６４を含む。
【０１０８】
領域抽出部３６１は、制御部３０２から入力されたＡＦエリア情報に基づいて、入力画像である特殊光画像の指定ＡＦエリアを抽出し、その指定ＡＦエリアの画像をコントラスト算出部３６２へ出力する。
【０１０９】
コントラスト算出部３６２は、抽出されたＡＦエリア内の例えばＧ信号の最大値と最小値の差分値をコントラスト値として算出する。算出したコントラスト値は、コントラスト算出部３６２が有する図示しないメモリに時系列データとして複数フレーム分保存される。例えば、複数フレームは少なくとも３フレームである。そして、そのメモリに格納されている複数フレームのコントラスト値は、レンズ移動量算出部３６３に出力される。
【０１１０】
レンズ移動量算出部３６３は、図示しないメモリを有し、そのメモリには、焦点位置調整レンズ２０７の現在の調整位置が保存されている。レンズ移動量算出部３６３は、入力される複数フレームのコントラスト値と対応付けられた調整位置から、合焦位置となる調整位置（レンズ調整位置）を算出し、その調整位置を制御部３０２に出力する。制御部３０２は、算出された調整位置を焦点位置制御部２０６に出力する。焦点位置制御部２０６は、算出された調整位置に基づいて焦点位置調整レンズ２０７を移動させる。このようにして、オートフォーカスが可能となる。なお、コントラスト値とレンズ調整位置の対応付けは、例えばコントラスト値を参照してレンズ調整位置を出力するルックアップテーブルにより実現される。
【０１１１】
合焦画像選択部３６４には、コントラスト算出部からのコントラスト値が入力される。合焦画像選択部３６４は、コントラスト値を閾値判定し、現在処理したフレームが後述するＡＦエリア１１００で合焦しているかを判定し、フレーム画像を目標倍率画像群選択部３２０に出力するか否かを選択する。合焦画像選択部３６４は、合焦と判定した場合には、フレーム画像を出力し、非合焦と判定した場合にはフレーム画像を出力しない。すなわち、目標倍率画像群選択部３２０へ入力される動画像は、画像構成処理部３１０からではなく、ＡＦ制御部３６０を経由して合焦判定された特殊光画像のみが入力される。
【０１１２】
次に、ＡＦ制御部の動作について説明する。ＡＦ制御部３６０には、画像構成処理部３１０から出力される特殊光画像が入力される。図２４に示すように、ユーザ指定により決定されたＡＦエリア１１００が制御部３０２から入力される。
【０１１３】
例えば、ＡＦエリア１１００の指定は、複数のＡＦエリアＡＦＡの中から観察対象Ｔｇに近いＡＦエリアをユーザが選択することで行われる。例えば、図１０に示すズーム操作ノブ５０１を所定方向に動かして近接拡大観察モードを選択した場合に、表示部４００にＡＦエリア指定画面が表示され、ユーザがＡＦエリアを選択する。このＡＦエリア指定画面の生成は合成部３５０が行なう。
【０１１４】
なお、ユーザ選択は、例えばズーム操作ノブ５０１を所定方向に動かして一定時間以上保持することでＡＦエリアの選択移動を行ない、その保持を止めることで選択決定されるようにしてもよい。あるいは、キーボードのカーソル移動キーを使用して移動と選択を行ってもよい。あるいは、表示部４００がタッチパネル式の表示装置である場合、ＡＦエリアを直接指で指定してもよい。
【０１１５】
８．先端湾曲駆動部
図２５に、先端湾曲駆動部３０３の詳細な構成例を示す。この先端湾曲駆動部３０３は、距離情報取得部３７１、ずれ情報取得部３７２、角度算出部３７３、駆動情報出力部３７４、ワイヤ駆動部３７５、現在位置情報取得部３７６を含む。
【０１１６】
距離情報取得部３７１は、視点方向に沿ったスコープ先端から被写体までの距離情報をＡＦ制御部３６０から取得する。例えば、ＡＦ制御部３６０は、ルックアップテーブル等を用いてレンズの調整位置から距離情報を求め、その距離情報を距離情報取得部３７１に出力する。
【０１１７】
現在位置情報取得部３７６は、異倍率画像間位置決定部３３０から現在位置情報を取得する。現在位置情報は、例えば図１４に示すように、画像ＢＰ１における現在の撮影領域ＢＰ４’の位置情報である。
【０１１８】
ずれ情報算出部３７２は、現在の撮影領域から観察対象までの距離情報（ずれ情報、変位情報）を算出する。具体的には、ずれ情報算出部３７２には、現在位置情報とターゲット位置情報が入力される。例えば図１４に示すように、ずれ情報算出部３７２は、領域ＢＰ４’とターゲット領域Ｔｇとの間の画像ＢＰ１上での距離を算出し、その距離と光学的な像倍率から被写体上での距離を算出する。光学的な像倍率は、画像ＢＰ１撮影時の像倍率であり、光学系の設計情報に基づいて予め設定されている。
【０１１９】
角度算出部３７３は、距離情報とずれ情報に基づいて、スコープ先端の曲げ角度を表す角度情報を算出する。具体的には、スコープ先端から被写体までの距離と、現在の撮影領域から観察対象までの距離を用いて、現在の視点方向と観察対象に向かう視点方向との間の角度を求める。
【０１２０】
駆動情報出力部３７４は、角度情報に基づいて、スコープ先端を駆動するためのワイヤの長さの調整量を駆動情報として出力する。具体的には、駆動情報出力部３７４は、ターゲット位置に撮像部２００の先端部を戻すために必要な横方向の湾曲角度θｈと縦方向の湾曲角度θｖを算出する。湾曲角度θｈは、画像の水平走査方向に視点方向を移動させる角度であり、湾曲角度θｖは、画像の垂直方向に視点方向を移動させる角度である。駆動情報出力部３７４は、湾曲角度θｈ，θｖに基づいて、図２１に示す４本のワイヤ１００１、１００２、１００３、１００４の押し引き量Ｎｈ，Ｎｖを算出する。そして、駆動情報出力部３７４は、ワイヤが連結している図示しないアングルノブの回転軸を回転駆動するモータを制御して、上記押し引き量Ｎｈ，Ｎｖでワイヤを調整する。このようにして、ユーザが観察したい観察対象領域を常に視野内にフレーミングし続けることが可能となる。
【０１２１】
上記のように本実施形態では、目標倍率画像群選択部３２０のマッチング処理部３２６は、マッチング対象画像（例えば図１２に示すＦＰ３〜ＦＰ５）及び基準倍率画像（ＢＰ１）として、特定の生体構造が強調された画像を用いてマッチング処理を行う。また、異倍率画像間位置決定部３３０のマッチング処理部３３５は、検出対象画像（図１５に示すＢＰ４）及び基準画像（ＢＰ３）として、特定の生体構造が強調された画像を用いてマッチング処理を行う。
【０１２２】
具体的には、特定の生体構造は、血管走行の構造（血管走行パターン）である。あるいは、特定の生体構造は、粘膜表層の構造（粘膜表層の微細な構造、ピットパターン）であってもよい。
【０１２３】
このようにすれば、特定の生体構造が強調された画像を用いることで、マッチング精度を向上できる。
【０１２４】
また本実施形態では、画像取得部（図７に示す画像構成処理部３１０）は、特定の波長帯域における情報を有した被写体像を含む特殊光画像を取得する図示しない特殊光画像取得部を有する。そして、特定の生体構造が強調された画像は、特殊光画像である。
【０１２５】
具体的には、特定の波長帯域は、白色の波長帯域（例えば３８０ｎｍ〜６５０ｎｍ）よりも狭い帯域である（ＮＢＩ：Narrow Band Imaging）。例えば、特殊光画像は、生体内を写した生体内画像であり、その生体内画像に含まれる特定の波長帯域は、血液中のヘモグロビンに吸収される波長の波長帯域である。例えば、このヘモグロビンに吸収される波長は、３９０ｎｍ〜４４５ｎｍ（狭帯域光のＢ２成分）、または５３０ｎｍ〜５５０ｎｍ（狭帯域光のＧ２成分）である。
【０１２６】
これにより、生体の表層部及び、深部に位置する血管の構造を観察することが可能になる。また得られた信号を特定のチャンネル（Ｇ２→Ｒ、Ｂ２→Ｇ，Ｂ）に入力することで、扁平上皮癌等の通常光では視認が難しい病変などを褐色等で表示することができ、病変部の見落としを抑止することができる。なお、３９０ｎｍ〜４４５ｎｍまたは５３０ｎｍ〜５５０ｎｍとは、ヘモグロビンに吸収されるという特性及び、それぞれ生体の表層部または深部まで到達するという特性から得られた数字である。ただし、この場合の波長帯域はこれに限定されず、例えばヘモグロビンによる吸収と生体の表層部又は深部への到達に関する実験結果等の変動要因により、波長帯域の下限値が０〜１０％程度減少し、上限値が０〜１０％程度上昇することも考えられる。
【０１２７】
また本実施形態では、図２５に示すように、内視鏡装置は、駆動情報出力部３７４と、ターゲット領域設定部（制御部３０２）と、現在位置情報取得部３７６を含む。そして、ターゲット領域設定部は、観察のターゲットとなるターゲット領域（Ｔｇ）を設定する。現在位置情報取得部は、第ｎ倍率画像（ＢＰ４）に対応する第１倍率画像（ＢＰ１）上の領域（ＢＰ４’）の位置情報を現在位置情報として取得する。駆動情報出力部３７４は、ターゲット領域の位置情報と現在位置情報に基づいて駆動情報を出力する。
【０１２８】
具体的には、内視鏡装置は、第１距離情報取得部（距離情報取得部３７１）と、第２距離情報算出部（ズレ情報算出部３７２）と、角度算出部３７３を含む。そして、第１距離情報取得部は、撮像部から被写体までの距離を表す第１距離情報を取得する。第２距離情報算出部は、撮像領域からターゲット領域までの被写体上での距離を表す第２距離情報を算出する。角度算出部３７３は、第１，第２距離情報から、角度θを表す角度情報を算出する。駆動情報出力部３７４は、その角度情報に基づいて駆動情報を出力する。
【０１２９】
より具体的には、図２１に示すように、撮像部２００は、ワイヤ１００１〜１００４を有する内視鏡スコープである。この場合、駆動情報は、そのワイヤ１００１〜１００４の長さの調整量を表す情報である。そして、撮像部２００の視野範囲は、その調整量に基づくワイヤ１００１〜１００４の長さの調整により移動される。
【０１３０】
このようにすれば、スコープの撮影領域がターゲットからずれた場合でも、スコープ先端をターゲットの方向に曲げることができる。これにより、ターゲットを自動的に視野範囲に導入できる。
【０１３１】
また、本実施形態では、図１６に示すように、撮像部２００はオートフォーカス部（焦点位置制御部２０６）を含む。また、撮像部２００は、可変絞り部２０５と、観察対象物を複数の異なる倍率で拡大して撮像する場合に倍率が低いほど可変絞り部２０５を絞る制御を行う可変絞り制御部２０４と、を含む。また、可変絞り制御部２０４は、撮像部２００の撮像倍率が所定倍率以上（拡大撮影モード）となった場合に可変絞り部２０５を開ける制御を行う。
【０１３２】
このようにすれば、ＡＦにより自動的に合焦できるため病変診断時間を短縮できる。また、絞り制御を行うことで、通常観察モードにおいてパンフォーカスで撮影し、拡大観察モードにおいて高解像度で撮影できる。
【０１３３】
９．ソフトウェア
上記の本実施形態では、画像処理部３０１を構成する各部をハードウェアで構成することとしたが、これに限定されるものではない。例えば、撮像装置により取得された画像に対して、ＣＰＵが各部の処理を行う構成とし、ＣＰＵがプログラムを実行することによってソフトウェアとして実現することとしてもよい。あるいは、各部が行う処理の一部をソフトウェアで構成することとしてもよい。
【０１３４】
画像処理部３０１の各部が行う処理をソフトウェアとして実現する場合には、例えばワークステーションやパソコン等の公知のコンピュータシステムを画像処理装置として用いることができる。そして、画像処理部３０１の各部が行う処理を実現するためのプログラム（画像処理プログラム）を予め用意し、この画像処理プログラムをコンピュータシステムのＣＰＵが実行することによって実現できる。
【０１３５】
図２６は、本変形例におけるコンピュータシステム６００の構成を示すシステム構成図であり、図２７は、このコンピュータシステム６００における本体部６１０の構成を示すブロック図である。図２６に示すように、コンピュータシステム６００は、本体部６１０と、本体部６１０からの指示によって表示画面６２１に画像等の情報を表示するためのディスプレイ６２０と、このコンピュータシステム６００に種々の情報を入力するためのキーボード６３０と、ディスプレイ６２０の表示画面６２１上の任意の位置を指定するためのマウス６４０とを備える。
【０１３６】
また、このコンピュータシステム６００における本体部６１０は、図２７に示すように、ＣＰＵ６１１と、ＲＡＭ６１２と、ＲＯＭ６１３と、ハードディスクドライブ（ＨＤＤ）６１４と、ＣＤ−ＲＯＭ６６０を受け入れるＣＤ−ＲＯＭドライブ６１５と、ＵＳＢメモリ６７０を着脱可能に接続するＵＳＢポート６１６と、ディスプレイ６２０、キーボード６３０およびマウス６４０を接続するＩ／Ｏインターフェース６１７と、ローカルエリアネットワークまたは広域エリアネットワーク（ＬＡＮ／ＷＡＮ）Ｎ１に接続するためのＬＡＮインターフェース６１８を備える。
【０１３７】
さらに、このコンピュータシステム６００には、インターネット等の公衆回線Ｎ３に接続するためのモデム６５０が接続されるとともに、ＬＡＮインターフェース６１８およびローカルエリアネットワークまたは広域エリアネットワークＮ１を介して、他のコンピュータシステムであるパソコン（ＰＣ）６８１、サーバ６８２、プリンタ６８３等が接続される。
【０１３８】
そして、このコンピュータシステム６００は、所定の記録媒体に記録された画像処理プログラム（例えば図２８〜図３０）を参照して、後述する処理手順を実現するための画像処理プログラムを読み出して実行することで画像処理装置を実現する。ここで、所定の記録媒体とは、ＣＤ−ＲＯＭ６６０やＵＳＢメモリ６７０の他、ＭＯディスクやＤＶＤディスク、フレキシブルディスク（ＦＤ）、光磁気ディスク、ＩＣカード等を含む「可搬用の物理媒体」、コンピュータシステム６００の内外に備えられるＨＤＤ６１４やＲＡＭ６１２、ＲＯＭ６１３等の「固定用の物理媒体」、モデム６５０を介して接続される公衆回線Ｎ３や、他のコンピュータシステム（ＰＣ）６８１またはサーバ６８２が接続されるローカルエリアネットワークまたは広域エリアネットワークＮ１等のように、プログラムの送信に際して短期にプログラムを記憶する「通信媒体」等、コンピュータシステム６００によって読み取り可能な画像処理プログラムを記録するあらゆる記録媒体を含む。
【０１３９】
すなわち、画像処理プログラムは、「可搬用の物理媒体」「固定用の物理媒体」「通信媒体」等の記録媒体にコンピュータ読み取り可能に記録されるものであり、コンピュータシステム６００は、このような記録媒体から画像処理プログラムを読み出して実行することで画像処理装置を実現する。なお、画像処理プログラムは、コンピュータシステム６００によって実行されることに限定されるものではなく、他のコンピュータシステム（ＰＣ）６８１またはサーバ６８２が画像処理プログラムを実行する場合や、これらが協働して画像処理プログラムを実行するような場合にも、本発明を同様に適用することができる。
【０１４０】
各部が行う処理の一部をソフトウェアで構成する場合の一例として、撮像装置により取得された画像に対して、画像処理部３０１の処理をソフトウェアで実現する場合の処理手順を、図２８〜図３０のフローチャートを用いて説明する。撮像装置により取得された画像は、例えば、Ａ／Ｄ変換部２１０が出力する画像である。
【０１４１】
図２８に示すように、この処理が開始されると、撮像画像を取得し（ステップＳ１）、目標倍率画像を選択する処理を行う（ステップＳ２）。次に、目標倍率画像間のマッチング処理を行って、１倍の画像における最大倍率の画像の位置を検出する処理を行う（ステップＳ３）。次に、観察位置を表示する制御を行い（ステップＳ４）、スコープ先端を駆動する制御を行う（ステップＳ５）。次に、拡大観察モードが終了したら処理を終了する（ステップＳ６、ＹＥＳ）。拡大観察モードが継続していれば（ステップＳ６、ＮＯ）、最大倍率画像を更新し（ステップＳ７）、ステップＳ３〜Ｓ６を繰り返す。
【０１４２】
図２９に、目標倍率画像選択処理の詳細なフローチャートを示す。この処理が開始されると、撮像画像から１倍の目標倍率画像を取得する（ステップＳ２０）。次に、目標倍率画像から第１画像を選択する（ステップＳ２１）。第１画像は、マッチング処理の基準となる参照倍率画像である。次に、撮像画像から第２画像を選択し（ステップＳ２２）、領域抽出を行い（ステップＳ２３）、抽出した領域の画像サイズを倍率補正してテンプレート画像を生成する（ステップＳ２４）。次に、参照倍率画像とテンプレート画像をマッチング処理する（ステップＳ２５）。相関値が最小値でない場合には（ステップＳ２６、ＮＯ）、ステップＳ２２〜Ｓ２５を繰り返す。相関値が最小値となった場合には（ステップＳ２６、ＹＥＳ）、その第２画像を目標倍率画像として選択する（ステップＳ２７）。最大倍率の目標倍率画像まで選択が完了していなければ（ステップＳ２８、ＮＯ）、ステップＳ２１〜Ｓ２７を繰り返す。最大倍率の目標倍率画像まで選択が完了したら、処理を終了する（ステップＳ２８、ＹＥＳ）。
【０１４３】
図３０に、領域検出処理の詳細なフローチャートを示す。この処理が開始されると、目標倍率画像から基準画像を選択し（ステップＳ４０）、目標倍率画像から検出対象画像を選択する（ステップＳ４１）。次に、検出対象画像から領域抽出を行い（ステップＳ４２）、抽出した領域の画像サイズを倍率補正してテンプレート画像を生成する（ステップＳ４３）。次に、基準画像とテンプレート画像をマッチング処理する（ステップＳ４４）。最大倍率の目標倍率画像までマッチング処理が完了していなければ（ステップＳ４５、ＮＯ）、ステップＳ４０〜Ｓ４４を繰り返す。最大倍率の目標倍率画像までマッチング処理が完了したら、処理を終了する（ステップ４５、ＹＥＳ）。
【０１４４】
また本実施形態は、本実施形態の各部（画像構成処理部、目標倍率画像群選択部、異倍率画像間位置決定部、表示情報生成部、合成部、ＡＦ制御部等）を実現するプログラムコードが記録されたコンピュータプログラムプロダクトにも適用できる。
【０１４５】
コンピュータプログラムプロダクトは、例えば、プログラムコードが記録された情報記憶媒体（ＤＶＤ等の光ディスク媒体、ハードディスク媒体、メモリ媒体等）、プログラムコードが記録されたコンピュータ、プログラムコードが記録されたインターネットシステム（例えば、サーバとクライアント端末を含むシステム）など、プログラムコードが組み込まれた情報記憶媒体、装置、機器或いはシステム等である。この場合に、本実施形態の各構成要素や各処理プロセスは各モジュールにより実装され、これらの実装されたモジュールにより構成されるプログラムコードは、コンピュータプログラムプロダクトに記録される。
【０１４６】
以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
【０１４７】
また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語（撮像部、特殊光、変位等）と共に記載された用語（スコープ、狭帯域光、ずれ等）は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。
【符号の説明】
【０１４８】
１０ 観察対象領域、１００ 光源部、１０１ 白色光源、１０２ 回転色フィルタ、
１０３ 回転駆動部、１０４ 集光レンズ、２００ 撮像部、
２０１ ライトガイドファイバ、２０２ 照明レンズ、２０３ 対物レンズ、
２０４ 可変絞り制御部、２０５ 可変絞り部、２０６ 焦点位置制御部、
２０７ 焦点位置調整レンズ、２０９ 撮像素子、２１０ Ａ／Ｄ変換部、
３００ 制御装置、３０１ 画像処理部、３０２ 制御部、
３０３ 先端湾曲駆動部、３１０ 画像構成処理部、３２０ 目標倍率画像群選択部、
３２１ フレームメモリ、３２２ 画像選択部、３２３ 領域抽出部、
３２４ 倍率補正部、３２５ 目標倍率画像選択部、３２６ マッチング処理部、
３２７ 参照倍率画像選択部、３２８ フレームメモリ、
３２９ 目標倍率画像選択制御部、３３０ 異倍率画像間位置決定部、
３３１ 第１画像選択部、３３２ 第２画像選択部、３３３ 領域抽出部、
３３４ 倍率補正部、３３５ マッチング処理部、３３６ 倍率・抽出領域制御部、
３４０ 表示情報生成部、３５０ 合成部、３６０ ＡＦ制御部、
３６１ 領域抽出部、３６２ コントラスト算出部、３６３ レンズ移動量算出部、
３６４ 合焦画像選択部、３７１ 距離情報取得部、３７２ ズレ情報算出部、
３７３ 角度算出部、３７４ 駆動情報出力部、３７５ ワイヤ駆動部、
３７６ 現在位置情報取得部、４００ 表示部、５００ 外部Ｉ／Ｆ部、
５０１ ズーム操作ノブ、６００ コンピュータシステム、
６０１〜６０３ 色フィルタ、６１０ 本体部、６１１ ＣＰＵ、６１２ ＲＡＭ、
６１３ ＲＯＭ、６１４ ＨＤＤ、６１５ ＣＤ−ＲＯＭドライブ、
６１６ ＵＳＢポート、６１７ Ｉ／Ｏインターフェース、
６１８ ＬＡＮインターフェース、６２０ ディスプレイ、６２１ 表示画面、
６３０ キーボード、６４０ マウス、６５０ モデム、６６０ ＣＤ−ＲＯＭ、
６７０ ＵＳＢメモリ、６８１ ＰＣ、６８２ サーバ、６８３ プリンタ、
８０１，８０２ 色フィルタ、８０３ 回転モータ、１００１〜１００４ ワイヤ、
ＡＦＡ ＡＦエリア、ＦＰ２ フレーム画像、ＫＰ３ テンプレート画像、
ＢＰ１〜ＢＰ４ 目標倍率画像、ＴＰ４ テンプレート画像、Ｔｇ 観察対象、
θ 角度、Ｎ１ 広域エリアネットワーク、Ｎ３ 公衆回線
【技術分野】
【０００１】
本発明は、画像処理装置、内視鏡装置、画像処理方法及びプログラム等に関する。
【背景技術】
【０００２】
内視鏡診断では、体腔内の病変検出精度を向上させたいという要求がある。この精度向上の一般的な手法として、拡大光学系を備えた内視鏡（拡大内視鏡）を用いて、病変部と正常部の組織上の違いを顕微鏡相当の拡大率で拡大観察する手法が知られている。このような拡大内視鏡は、例えば数十倍から数百倍の拡大率を有し、ピットパターンや血管走行パターンの観察に用いられる。病変部と正常部ではこれらのパターンに違いが表れることが知られており、病変診断の１つの判定基準となっている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−４６３３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、このような拡大観察では、拡大率が大きいため視野が非常に狭くなってしまう。そのため、スコープと観察対象との間に相対的に小さな動きが発生しただけでも、観察対象のどの位置を観察しているかの判断が困難となるという課題がある。このように観察位置が分からなくなった場合、拡大観察を止め、拡大率の小さい通常観察に戻し、観察したい領域に位置合わせを行い、再度拡大観察を行なうという手順を繰り返す必要がある。そのため、診断時間が延び、患者に負担がかかってしまう。
【０００５】
例えば、特許文献１には、スコープ先端と観察対象との間の相対的な動きに伴う画像ずれを相殺するための補正湾曲角度を計算し、その補正湾曲角度でスコープ先端を湾曲させることで、画像ずれを補正する手法が開示されている。この手法では、スコープ先端と観察対象との間の相対的な動きが小さい場合は画像ずれの補正が可能である。しかしながら、この手法では、撮像画像の視野を越えるような画像ずれが発生した場合には、撮像画像から画像ずれを算出できないため、補正湾曲角度を算出できないという課題がある。また、この手法では、倍率が高くなるほど許容されるずれ量は小さくなるため、高倍率な拡大内視鏡ほど実用性が低くなる。
【０００６】
本発明の幾つかの態様によれば、拡大観察におけるスコープ先端と観察対象との間の相対的な動きの許容範囲を向上する画像処理装置、内視鏡装置、画像処理方法及びプログラム等を提供できる。
【課題を解決するための手段】
【０００７】
本発明の一態様は、観察対象物を複数の異なる倍率で拡大して撮像することにより得られた複数の画像を取得する画像取得部と、前記複数の画像の中から、各画像間の倍率が相対的に異なる第１〜第ｎ倍率画像（ｎは、ｎ≧２の自然数）を選択する画像選択部と、前記第１〜第ｎ倍率画像の中から、基準画像と前記基準画像より高倍率の検出対象画像を選択し、前記検出対象画像に対応する前記基準画像上の領域を検出して、前記検出対象画像を前記領域に対応付ける領域検出部と、を含む画像処理装置に関係する。
【０００８】
本発明の一態様によれば、複数の画像の中から第１〜第ｎ倍率画像が選択され、その第１〜第ｎ倍率画像の中から基準画像と基準画像より高倍率の検出対象画像が選択され、その検出対象画像に対応する基準画像上の領域が検出されて、その領域に検出対象画像が対応付けられる。これにより、拡大観察におけるスコープ先端と観察対象との間の相対的な動きの許容範囲の向上等が可能になる。
【０００９】
また、本発明の他の態様は、上記に記載の画像処理装置を含む内視鏡装置に関係する。
【００１０】
また、本発明の他の態様は、観察対象物を複数の異なる倍率で拡大して撮像することにより得られた複数の画像を取得し、前記複数の画像の中から、各画像で相対的に倍率が異なる第１〜第ｎ倍率画像（ｎは、ｎ≧２の自然数）を選択し、前記第１〜第ｎ倍率画像の中から、基準画像と前記基準画像より高倍率の検出対象画像を選択し、前記検出対象画像に対応する前記基準画像上の領域を検出して、前記検出対象画像を前記領域に対応付ける画像処理方法に関係する。
【００１１】
また、本発明の他の態様は、観察対象物を複数の異なる倍率で拡大して撮像することにより得られた複数の画像を取得する画像取得部と、前記複数の画像の中から、各画像で相対的に倍率が異なる第１〜第ｎ倍率画像（ｎは、ｎ≧３の自然数）を選択する画像選択部と、前記第１〜第ｎ倍率画像の中から、基準画像と前記基準画像より高倍率の検出対象画像を選択し、前記検出対象画像に対応する前記基準画像上の領域を検出して、前記検出対象画像を前記領域に対応付ける領域検出部として、コンピュータを機能させるプログラムに関係する。
【００１２】
また、本発明の他の態様は、観察対象物を撮像することにより得られた一連の動画画像を取得する画像取得部と、前記一連の動画画像を第１の表示領域に表示する制御を行う表示制御部と、を含み、前記表示制御部は、前記第１の表示領域に表示される動画画像よりも低倍率の画像であって、前記一連の動画画像の中から選択された動画画像を、低倍率画像として第２の表示領域に表示する制御を行い、前記表示制御部は、前記第１の表示領域に表示される動画画像に対応する前記低倍率画像上の領域を表す情報であって、前記一連の動画画像の視野範囲の移動に応じて前記低倍率画像上を移動する識別情報を前記第２の表示領域に表示する制御を行う内視鏡装置に関係する。
【図面の簡単な説明】
【００１３】
【図１】本実施形態の比較例についての説明図。
【図２】本実施形態の手法についての説明図。
【図３】本実施形態の手法についての説明図。
【図４】内視鏡装置の構成例。
【図５】回転色フィルタの詳細な構成例。
【図６】色フィルタの分光特性例。
【図７】画像処理部の詳細な構成例。
【図８】表示画像の例。
【図９】目標倍率画像群選択部の詳細な構成例。
【図１０】目標倍率画像群選択部の動作についての説明図。
【図１１】目標倍率画像群選択部の動作についての説明図。
【図１２】目標倍率画像群選択部の動作についての説明図。
【図１３】異倍率画像間位置決定部の詳細な構成例。
【図１４】異倍率画像間位置決定部の動作についての説明図。
【図１５】異倍率画像間位置決定部の動作についての説明図。
【図１６】内視鏡装置の第２の構成例。
【図１７】回転色フィルタの詳細な構成例。
【図１８】白色光を透過する色フィルタの分光特性例。
【図１９】特殊光を透過する色フィルタの分光特性例。
【図２０】画像処理部の第２の詳細な構成例。
【図２１】スコープ先端部の模式的な構成例。
【図２２】撮像タイミングについての模式的な説明図。
【図２３】ＡＦ制御部の詳細な構成例。
【図２４】ＡＦエリアについての説明図。
【図２５】先端湾曲駆動部の詳細な構成例。
【図２６】コンピュータシステムの構成を示すシステム構成図。
【図２７】コンピュータシステムにおける本体部の構成を示すブロック図。
【図２８】本実施形態が行う処理のフローチャート例。
【図２９】目標倍率画像選択処理の詳細なフローチャート例。
【図３０】領域検出処理の詳細なフローチャート例。
【発明を実施するための形態】
【００１４】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００１５】
１．本実施形態の手法
まず図１を用いて、上述の拡大撮影での課題について説明する。図１のＡ１に示すように、拡大撮影時には、内視鏡のスコープを観察対象Ｔｇに近づけて撮影するため、スコープの視野ＦＡ１は非常に狭くなる。そのため、Ａ２に示すように、消化管の動きやスコープのブレが起きると、動きが小さくても視野が大きくずれ、視野ＦＡ２がＦＡ１から容易に外れてしまう。この場合、ＦＡ１とＦＡ２を撮影した重複のない画像のみから、観察対象Ｔｇを再び視野に導入することは困難である。
【００１６】
そこで、本実施形態では、低倍率撮影時の画像を取得しておき、その画像と高倍率撮影時の画像との位置関係を検出することで、観察対象Ｔｇの再導入を可能にする。この本実施形態の手法について、図２、図３を用いて具体的に説明する。
【００１７】
図２のＢ１に示すように、拡大撮影では、観察対象Ｔｇから離れた位置からスコープを徐々に近づけることが一般的である。そして、Ｂ２に示すように、最大倍率となる位置までスコープを観察対象Ｔｇに近づけていく。視野はＦＢ１からＦＢ２に狭まる。Ｂ３に示すように、視野ＦＢ３が観察対象Ｔｇからずれても、ＦＢ１内であればＦＢ３の位置を知ることが可能である。
【００１８】
具体的には、図３に示すように、視野ＦＢ１を撮像した画像ＰＢ１と、視野ＦＢ２，ＦＢ３を最大倍率で撮像した画像ＰＢ２，ＰＢ３とのマッチング処理を行う。そして、そのマッチング処理の結果を用いて、現在の撮影範囲を画像ＰＢ１上に表示したり、スコープ先端を観察対象Ｔｇの方向に自動的に曲げる制御を行う。なお、後述するように、本実施形態では低倍率画像と最大倍率画像のマッチング処理を、中間倍率画像を用いて段階的に行い、１００倍等の高倍率であっても高精度なマッチングを可能にする。
【００１９】
２．内視鏡装置
図４に、観察対象Ｔｇの再導入を容易にする本実施形態の内視鏡装置の構成例を示す。この内視鏡装置は、光源部１００と、撮像部２００と、制御装置３００（制御装置）と、表示部４００と、外部Ｉ／Ｆ部５００を含む。
【００２０】
光源部１００は、白色光源１０１と、それぞれ分光透過率が異なる複数のフィルタを有する回転色フィルタ１０２と、回転色フィルタ１０２を駆動させる回転駆動部１０３と、回転色フィルタ１０２からの分光特性を持った光をライトガイドファイバ２０１の入射端面に集光させる集光レンズ１０４を含む。
【００２１】
図５に示すように、回転色フィルタ１０２は、例えば三原色の赤の色フィルタ６０１と、三原色の青の色フィルタ６０２と、三原色の緑の色フィルタ６０３と、回転モータ８０３とから構成されている。図６に、これら３つの色フィルタの分光特性例を示す。図６に示すように、それぞれ波長５８０〜７００ｎｍ、４００〜５００ｎｍ、４８０〜６００ｎｍを透過する。
【００２２】
回転駆動部１０３は、制御装置３００の制御部３０２からの制御信号に基づいて、撮像素子２０９の撮像期間と同期して回転色フィルタ１０２を所定回転数で回転させる。例えば、色フィルタを１秒間に２０回転させると、各色フィルタは６０分の１秒間隔で入射白色光を横切る。そして、撮像素子２０９は、例えばモノクロ単板撮像素子であり、６０分の１秒間隔で３原色の各色光（Ｒまたは、Ｇまたは、Ｂ）での反射光の画像データの撮像と転送を完了する。すなわち、Ｒ画像データ、Ｇ画像データ、Ｂ画像データが６０分の１秒間隔で面順次で撮像される。
【００２３】
撮像部２００は、例えば体腔への挿入を可能にするため細長くかつ湾曲可能に形成されている。撮像部２００は、光源部１００で集光された光を導くためのライトガイドファイバ２０１と、そのライトガイドファイバ２０１により先端まで導かれてきた光を拡散させて観察対象に照射する照明レンズ２０２を含む。また、撮像部２００は、観察対象から戻る反射光を集光する対物レンズ２０３と、可変絞り制御部２０４と、可変絞り部２０５と、焦点位置制御部２０６と、焦点位置調整レンズ２０７を含む。また、撮像部２００は、集光した結像光を検出するための撮像素子２０９と、撮像素子２０９により光電変換されて得られたアナログ信号をデジタル信号に変換するＡ／Ｄ変換部２１０を含む。撮像素子２０９は、例えばＣＣＤやＣＭＯＳにより構成される。
【００２４】
制御装置３００は、画像処理部３０１と、制御部３０２を含む。画像処理部３０１は、Ａ／Ｄ変換部２１０からの画像データを画像処理したり、上述のマッチング処理を行ったり、マッチング処理の結果から現在の撮像領域を表示部４００に表示する制御を行ったりする。制御部３０２は、内視鏡装置の各構成要素を制御する。
【００２５】
表示部４００は、動画表示可能な表示装置であり、例えばＣＲＴや液晶モニタにより構成される。
【００２６】
外部Ｉ／Ｆ部５００は、内視鏡装置に対するユーザからの入力等を行うためのインターフェースである。外部Ｉ／Ｆ部５００は、例えば電源のオン／オフを行うための電源スイッチや、撮影操作を開始するためのシャッタボタンや、撮影モードやその他各種のモードを切り換えるためのモード切換ノブを含む。モード切替ノブは、例えば図１０に示すズーム操作ノブ５０１である。このズーム操作ノブ５０１を拡大観察モードとなる方向に動かすことで焦点位置調整レンズが移動され、より被写体に近接した位置でピントが合う状態が得られる。外部Ｉ／Ｆ部５００は、入力された情報を制御部３０２へ出力する。
【００２７】
次に、本実施形態の２つの観察モードについて説明する。観察モードの１つは、高深度低解像度となる通常観察モード（全域観察モード）であり、もう１つは、低深度高解像度となる拡大観察モード（近接拡大観察モード）である。
【００２８】
この２つの観察モードを切り替えるために、制御部３０２は、外部Ｉ／Ｆ部５００のモード切換ボタンによるユーザからのモード切換要求に基づいて、可変絞り制御部２０４と焦点位置制御部２０６に制御信号を送信する。可変絞り制御部２０４は、受信した制御信号に基づいて可変絞り部２０５の絞り量を制御する。焦点位置制御部２０６は、受信した制御信号に基づいて焦点位置調整レンズ２０７を制御する。
【００２９】
拡大観察モードを選択した場合には、絞りを開けてレンズ開口を大きくする。具体的には、許容錯乱円を撮像素子２０９の限界解像度が得られる大きさに設定し、レンズの焦点での錯乱円が許容錯乱円以下となるように絞りを設定する。また、焦点位置制御部２０６は、予め設定された所定の焦点位置となるように焦点位置調整レンズを駆動する。
【００３０】
一方、通常観察モードを選択した場合には、絞りを絞ってレンズ開口を小さくする。具体的には、実用的な解像度と被写界深度が得られる錯乱円の大きさとなるように絞りを設定する。また、焦点位置制御部２０６は、実用的な被写界深度を得るための焦点位置となるように焦点位置調整レンズを駆動する。
【００３１】
これらのモードの切り替えは、まず通常観察モードにおいて深度内限界まで被写体に近接し、その状態で拡大観察モードに切り替えることで行う。このようにして、近接拡大観察時の被写界深度が非常に狭い状態でも、ピントが合った高精細な画像を撮像できる。
【００３２】
３．画像処理部
図７に、上述のマッチング処理等を行う画像処理部３０１の詳細な構成例を示す。画像処理部３０１は、画像構成処理部３１０、目標倍率画像群選択部３２０、異倍率画像間位置決定部３３０、表示情報生成部３４０、合成部３５０を含む。
【００３３】
Ａ／Ｄ変換部２１０から出力された画像データは、画像構成処理部３１０に入力される。画像構成処理部３１０には、さらに制御部３０２が接続されており、制御部３０２に予め保存されている処理パラメータが入力される。例えば、処理パラメータは、ＯＢクランプ値や、ＷＢ係数、色補正係数、階調変換テーブル、輪郭強調レベル等である。画像構成処理部３１０は、それらの処理パラメータに基づいて、入力された画像データから表示部４００で観察可能な動画像を生成し、目標倍率画像群選択部３２０と合成部３５０へ出力する。
【００３４】
目標倍率画像群選択部３２０には、画像構成処理部３１０から出力される動画像が入力され、外部Ｉ／Ｆ部５００でユーザ指定された観察モード信号が制御部３０２から入力される。観察モード信号は、拡大観察モードか通常観察モードかを示す情報である。また、目標倍率画像群選択部３２０には、撮像部２００の最大倍率情報により予め設定された複数の選択すべき目標倍率情報が入力される。最大倍率情報は、光学系の設計情報に基づく最近接合焦時の像倍率である。
【００３５】
目標倍率画像群選択部３２０は、複数の目標倍率の代表画像を選択する。より具体的には、目標倍率画像群選択部３２０は、拡大観察モードにおいて動作状態となる。拡大観察では、観察対象領域１０と対物レンズ２０３との相対距離が近づくにつれて、観察対象領域１０の倍率が大きくなる。例えば、目標倍率画像群選択部３２０は、このような動画像から光学系の最大倍率の１、１／４、１／１６、１／６４倍に相当する目標倍率の代表画像を選択する。そして、目標倍率画像群選択部３２０は、入力される動画像から目標倍率を逐次選択し、選択した画像を目標倍率画像の最新画像として上書き保存し、その保存済みの目標倍率画像とその更新情報を異倍率画像間位置決定部３３０に出力する。詳細については後述する。
【００３６】
ここで、代表画像選択時の基準となる倍率は、例えば観察モードが拡大観察モードに切り替わった時点の撮像画像である。そして、目標倍率は、この基準画像から最大倍率までを所定整数で分割した倍率である。
【００３７】
異倍率画像間位置決定部３３０には、目標倍率画像群選択部３２０から出力された複数の目標倍率の代表画像と、制御部３０２からの観察モード信号と目標倍率情報が入力される。異倍率画像間位置決定部３３０は、入力される複数倍率の代表画像間で画像間マッチング処理を行い、高倍率画像が低倍率画像の何処に位置するかを示す位置情報を算出する。そして、異倍率画像間位置決定部３３０は、画像間マッチング処理で使用した低倍率画像と位置情報を表示情報生成部３４０へ出力する。
【００３８】
表示情報生成部３４０は、入力された低倍率画像と位置情報に基づいて、現在観察中の観察領域を矩形枠等で表した低倍率画像を生成し、生成した画像を合成部３５０へ出力する。
【００３９】
合成部３５０には、表示情報生成部３４０からの観察領域が表された低倍率画像と、画像構成処理部３１０から出力される動画像と、制御部３０２からの観察モード信号が入力される。合成部３５０は、観察モード信号が拡大観察モードを示す場合には、例えば２画面表示の表示画像を生成する。合成部３５０は、その表示画像を表示部４００に出力する。
【００４０】
図８に、２画面表示の表示画像の例を示す。図８のＤ１に示すように、画面左側の表示領域には、現在観察している動画像を表示する。Ｄ２に示すように、画面右側の表示領域には、低倍率画像を表示する。低倍率画像は、後述する目標倍率画像のうちの例えば最低倍率の画像である。例えば、これらの表示領域は、表示枠で囲まれる。Ｄ３に示すように、現在の観察領域を表す枠線を低倍率画像上に表示する。また、Ｄ４に示すように、観察ターゲットを表す枠線を低倍率画像上に表示する。なお、通常観察モードでは、Ｄ１に示す動画像と表示枠を合成した表示画像が生成される。
【００４１】
表示部４００には、合成部３５０から出力される合成画像が入力される。入力される画像は、例えばハイビジョン信号である。表示部４００は、例えば液晶モニタ等の表示装置であり、入力された合成画像を表示する。
【００４２】
４．目標倍率画像群選択部
図９に、目標倍率画像群選択部３２０の詳細な構成例を示す。目標倍率画像群選択部３２０は、フレームメモリ３２１、画像選択部３２２、領域抽出部３２３、倍率補正部３２４、目標倍率画像選択部３２５、マッチング処理部３２６、参照倍率画像選択部３２７、フレームメモリ３２８、目標倍率画像選択制御部３２９を含む。
【００４３】
フレームメモリ３２１は、画像構成処理部３１０からの動画像を保存する。画像構成処理部３１０から出力される動画像は、観察対象領域に撮像部２００の先端を徐々に近づけながら（例えば図１０のＥ１）撮像されたものである。そのため、フレームメモリ３２１には、時間と共に像倍率が高くなる傾向の動画像が保存される。
【００４４】
例えば、フレームメモリ３２１は、数秒分の動画像を保存できる容量を有し、リングバッファとして機能する。すなわち、フレームメモリ３２１は、既に保存されている画像を新しい画像で逐次上書きする。フレームメモリ３２１に保存されている動画像は、画像選択部３２２により所定位置の１フレーム画像が選択され、選択された画像は、領域抽出部３２３と目標倍率画像選択部３２５へ出力される。なお、フレームメモリ３２１に保存する動画像は、所定間隔でフレームを間引いてもよい。この場合、より長時間の動画像の保存が可能となる。
【００４５】
領域抽出部３２３には、画像選択部３２２からの１フレーム画像と、目標倍率画像選択制御部３２９からの目標倍率に対応する抽出領域情報が入力される。領域抽出部３２３は、抽出領域情報に基づいて、１フレーム画像の中央部あるいは中央部付近で最もコントラストが高い領域周辺を所定領域分抽出し、その抽出領域画像を倍率補正部３２４へ出力する。
【００４６】
倍率補正部３２４には、領域抽出部３２３から出力された抽出領域画像と、目標倍率画像選択制御部３２９からの目標倍率情報が入力される。倍率補正部３２４は、抽出領域画像を目標倍率情報に基づいて縮小処理し、その縮小抽出領域画像をマッチング処理部３２６へ出力する。
【００４７】
目標倍率画像選択部３２５には、目標倍率画像選択制御部３２９からの目標倍率情報と、マッチング処理部３２６から出力されるマッチング判定情報が入力される。目標倍率画像選択部３２５は、これらの情報に基づいて、フレームメモリ３２１から目標倍率画像を選択し、選択した目標倍率画像をフレームメモリ３２８へ出力する。目標倍率画像選択部３２５は、目標倍率情報が最小倍率である場合には、マッチング処理部３２６からの情報に依らず、拡大観察モードに切り替わった時点でフレームメモリ３２１に格納されたフレーム画像を、最小倍率の目標倍率画像としてフレームメモリ３２８へ出力する。フレームメモリ３２８には、目標倍率画像選択部３２５から出力されるフレーム画像が、目標倍率毎に指定された格納領域に上書き保存される。
【００４８】
参照倍率画像選択部３２７は、目標倍率画像選択制御部３２９から出力される目標倍率情報に基づいて、参照倍率画像をフレームメモリ３２８から読み出し、読み出した参照倍率画像をマッチング処理部３２６へ出力する。参照倍率画像は、マッチング処理部３２６において縮小抽出領域画像とマッチングを取る画像である。
【００４９】
マッチング処理部３２６は、参照倍率画像と縮小抽出領域とのマッチング処理を行い、最も相関が高くなる位置での相関値を目標倍率画像選択部３２５へ出力する。例えば、マッチング処理部３２６は、参照倍率画像と縮小抽出領域に対して血管構造をより強調させるための強調処理を施した後に、その２つの画像間でマッチング処理を行う。マッチング処理は、例えば差分絶対値和（または差分自乗和）が利用される。マッチング処理でのテンプレート画像は縮小抽出領域画像であり、マッチング処理での探索範囲画像は参照倍率画像である。すなわち、縮小抽出領域画像は参照倍率画像よりもサイズが小さく、テンプレート画像を探索範囲画像内で移動させて差分絶対値和が算出される。そして、算出された差分絶対値和の最小値が、画像間の相関値として目標倍率画像選択部３２５へ出力される。
【００５０】
目標倍率画像選択部３２５は、入力される相関値を複数フレーム期間分保存する。そして、目標倍率画像選択部３２５は、その複数の相関値の中で最小の相関値に対応するフレーム画像を、目標倍率画像としてフレームメモリ３２１から読み出し、フレームメモリ３２８の所定格納領域へ保存する。目標倍率画像選択部３２５は、目標倍率画像の選択完了を表す情報を目標倍率画像選択制御部３２９に出力する。
【００５１】
目標倍率画像選択制御部３２９は、選択が完了した目標倍率画像の更新情報を保存しており、この更新情報を異倍率画像間位置決定部３３０へ出力する。この目標倍率画像の更新情報は、最も新しく更新された画像の倍率判定が可能な形式で保存される。例えば、選択すべき目標倍率が４つの場合には、４ビットの情報を用意し、更新された倍率に対応するビットのみ１を立てることで更新情報とする。
【００５２】
目標倍率画像選択部３２５は、拡大観察モードにおいて、最大倍率画像まで更新したら目標倍率を最大倍率に固定し、以降は撮像画像を最大倍率の目標倍率画像として選択し続ける。この場合、マッチング処理部３２６からの相関値の大きさが安定して所定閾値以下の場合には、次の異倍率画像間位置決定部３３０での位置検出（フレーミング）が可能な状態として、上記選択を続ける。一方、相関値の大きさが所定閾値より大きい場合が連続して発生する場合は、位置検出が不可能であるとして、更新情報のビットを全て０にリセットし、その更新情報を異倍率画像間位置決定部３３０に出力してもよい。この場合、表示情報生成部３４０は、フレーミング不可である旨のアラート情報がスーパーインポーズされた低倍率画像を生成し、その画像を合成部３５０に出力する。
【００５３】
図１０〜図１２を用いて、目標倍率画像群選択部の動作について詳細に説明する。なお以下では、目標倍率が最大倍率の１／６４倍，１／１６倍，１／４倍，１倍である場合を例に説明する。また、以下で用いる最低倍率とは、目標倍率のうちの最も低い倍率のことであり、光学系が本来有する最低倍率と同一とは限らない。
【００５４】
図１０のＥ１に示すように、拡大観察モードに切り替えてスコープを徐々に観察対象に近づけながら観察対象を拡大していく。そして、Ｅ２に示すように、その一連の撮像画像から目標倍率画像を順次選択していく。例えば、最低倍率（基準倍率）を１倍とし、最大倍率を６４倍とすれば、目標倍率は、１倍，４倍，１６倍，６４倍となる。
【００５５】
より具体的には、図１１（Ａ）に示すように、通常観察モードにおいて、被写界深度の近点ＫＰ１が観察対象に接近するまで（近点ＫＰ１’）、スコープを観察対象に近づける。このときの撮像倍率が最低倍率である。そして、図１１（Ｂ）に示すように、拡大観察モードに切り替え、近点ＫＰ２が観察対象に接近するまで（近点ＫＰ２’）、スコープを観察対象に近づける。このときの撮像倍率が最大倍率である。
【００５６】
そして、図１２に示すように、拡大観察モードに切り替えた時のフレーム画像ＦＰ２を１倍の目標倍率画像ＢＰ１として記憶する。次に、フレーム画像ＦＰ３を１／４の画像サイズに縮小してテンプレート画像ＫＰ３を生成し、目標倍率画像ＢＰ１を参照倍率画像としてテンプレート画像ＫＰ３とのマッチング処理を行う。そして、ＦＰ４以降のフレーム画像を同様に順次縮小してマッチング処理を行い、相関性が最も高いフレーム画像ＦＰ４を４倍の目標倍率画像ＢＰ２として選択する。次に、目標倍率画像ＢＰ２を参照倍率画像としてマッチング処理を行い、１６倍の目標倍率画像を選択する。このようにして、順次目標倍率画像を選択し、６４倍の目標倍率画像まで選択する。６４倍の目標倍率画像までそろったら、以後は６４倍の目標倍率画像を撮像画像で更新する。
【００５７】
５．異倍率画像間位置決定部
図１３に、異倍率画像間位置決定部３３０の詳細な構成例を示す。異倍率画像間位置決定部３３０は、第１画像選択部３３１（第１倍率画像選択部）、第２画像選択部３３２（第２倍率画像選択部）、領域抽出部３３３、倍率補正部３３４、マッチング処理部３３５、倍率・抽出領域制御部３３６を含む。なお、以下では、フレームメモリ３２８に４つの目標倍率画像ＢＰ１〜ＢＰ４が格納されている場合を例に説明する。
【００５８】
第１画像選択部３３１と第２画像選択部３３２には、倍率・抽出領域制御部３３６から出力される画像間マッチングを行う階層レベル情報が入力される。図１４に示すように、４種類の倍率画像の場合、階層レベルは３階層である。第１階層は、現在観察している最大倍率の画像ＢＰ４と、次に倍率が大きい画像ＢＰ３との間のマッチングである。第２階層は、画像ＢＰ３と、３番目に倍率が大きい画像ＢＰ２との間のマッチングである。第３階層は、３番目に倍率が大きい画像ＢＰ２と、一番倍率が小さい画像ＢＰ１との間のマッチングである。
【００５９】
以下では、上記第１階層における処理を例に各構成要素について説明する。なお、他の階層においても同様の処理が行われるため、同様の処理については適宜説明を省略する。
【００６０】
第１画像選択部３３１は、フレームメモリ３２８から最も倍率が大きい現在観察している画像ＢＰ４を読み出して領域抽出部３３３へ出力する。第２画像選択部３３２は、フレームメモリ３２８から２番目に倍率が大きい画像ＢＰ３を読み出してマッチング処理部３３５へ出力する。
【００６１】
領域抽出部３３３は、倍率・抽出領域制御部３３６からの抽出領域情報に基づいて、入力画像内の指定領域を抽出し、その抽出領域画像を倍率補正部３３４へ出力する。
【００６２】
倍率補正部３３４は、倍率・抽出領域制御部３３６からの補正倍率情報に基づいて、抽出領域画像を縮小（倍率補正）した縮小抽出領域画像を生成し、その縮小抽出領域画像をマッチング処理部３３５へ出力する。
【００６３】
マッチング処理部３３５は、倍率補正部３３４からの縮小抽出領域画像と、第２倍率画像選択部から出力される画像ＢＰ３との間のマッチング処理を行う。ここで、マッチング処理は、例えば差分絶対値和（または差分自乗和）が利用される。そして、マッチング処理でのテンプレート画像は、画像ＢＰ４に対応する縮小抽出領域画像であり、マッチング処理での探索範囲画像は、画像ＢＰ３である。すなわち、縮小抽出領域画像は画像ＢＰ３よりもサイズが小さく、テンプレート画像を探索範囲画像内で移動させて差分絶対値和が算出される。そして、算出された差分絶対値和が最小値となる位置での位置情報を、第１階層でのマッチング位置情報として倍率・抽出領域制御部３３６へ出力する。
【００６４】
第２階層では、領域抽出部３３３は、倍率・抽出領域制御部３３６からの第１階層で算出されたマッチング位置情報に基づいて、入力画像内の指定領域を抽出し、その抽出領域画像を倍率補正部３３４へ出力する。第３階層においても同様に第２階層で算出されたマッチング位置情報に基づいて領域抽出が行われる。
【００６５】
このようにして第１〜第３階層でマッチング位置情報が算出され、それらのマッチング位置情報が表示情報生成部３４０へ出力される。拡大観察モードに切り替わってからフレームメモリ３２８に最初に記憶された最大倍率画像ＢＰ４は、ユーザが観察したいターゲット位置の画像であると考えられる。そのターゲット位置情報として、最初に記憶された画像ＢＰ４に対して第３階層において算出されたマッチング位置情報が、表示情報生成部３４０の図示しないメモリに記録される。図８のＤ４に示すように、そのターゲット位置情報に基づいて表示情報が表示される。
【００６６】
このようにして、現在拡大観察している領域の画像ＢＰ４が、倍率が小さい広視野画像ＢＰ１内の何処にあるかを検出できる。このとき、２番目に倍率が大きい画像ＢＰ３の範囲内のずれ（変位）まで許容された検出が可能である。
【００６７】
次に、図１５を用いて、異倍率画像間位置決定部の動作について詳細に説明する。なお、以下では、画像ＢＰ４〜ＢＰ１の倍率を６４倍，１６倍，４倍，１倍とする。まず、最初のマッチング処理の対象として画像ＢＰ４，ＢＰ３を選択する。次に、画像ＢＰ４を１／４の画像サイズに縮小してテンプレート画像ＴＰ４を生成する。そして、テンプレート画像ＴＰ４と画像ＢＰ３とのマッチング処理を行い、Ｆ１に示すように、テンプレート画像ＴＰ４に対応する領域を検出する。
【００６８】
次に、２回目のマッチング処理の対象として画像ＢＰ３，ＢＰ２を選択する。Ｆ２に示すように、テンプレート画像ＴＰ４に対応する領域とその周辺領域を画像ＢＰ３から抽出する。抽出した画像を１／４の画像サイズに縮小してテンプレート画像ＴＰ３を生成する。そして、テンプレート画像ＴＰ３と画像ＢＰ２とのマッチング処理を行い、Ｆ３に示すように、テンプレート画像ＴＰ３に対応する領域を検出する。そして、同様の処理を各階層で繰り返し、最終的に画像ＢＰ４に対応する画像ＢＰ１上の領域を検出する。
【００６９】
さて、上述のように、拡大観察では視野が狭いため、小さなぶれでも観察対象が視野から外れてしまい、低倍率に戻って再び観察対象を拡大する操作を繰り返す必要がある。このように、拡大観察におけるぶれに対する許容範囲が狭いという課題がある。
【００７０】
この点、本実施形態によれば、図７に示すように、画像処理装置（画像処理部３０１）は、画像取得部（画像構成処理部３１０）と、画像選択部（目標倍率画像群選択部３２０）と、領域検出部（異倍率画像間位置決定部３３０）を含む。そして、画像取得部は、観察対象物を複数の異なる倍率で拡大して撮像することにより得られた複数の画像を取得する。画像選択部は、その複数の画像の中から、各画像間の倍率が相対的に異なる第１〜第ｎ倍率画像（目標倍率画像）を選択する（ｎは、ｎ≧２の自然数）。領域検出部は、その第１〜第ｎ倍率画像の中から、基準画像と、その基準画像より高倍率の検出対象画像を選択し、その検出対象画像に対応する基準画像上の領域を検出して、その領域に検出対象画像を対応付ける。
【００７１】
これにより、拡大観察におけるスコープ先端と観察対象とのずれの許容範囲の向上が可能になる。すなわち、本実施形態によれば、拡大率の異なる（撮像画像の視野が異なる）複数の画像間で階層的にずれ量を算出できる。そのため、高倍率観察時にその撮像画像の視野を越えるずれ量が発生しても観察対象領域とのずれ量を算出することができる。これにより、拡大観察状態を保持したまま表示画像を確認することで素早く観察対象領域を視野内に導入することが可能になる。
【００７２】
ここで、上記対応付けとは、基準画像上において検出された領域の座標と、基準画像と、検出対象画像とを対応付けることであり、例えばこれらの情報を１組みのデータとして図示しないメモリに記憶することで対応付けが行われる。
【００７３】
また本実施形態では、図１４に示すように、第１〜第ｎ倍率画像（ＢＰ１〜ＢＰ４）の中の第ｉ倍率画像が第ｉ−１倍率画像よりも高倍率である（ｉは、２≦ｉ≦ｎの整数）。この場合に、領域検出部は、第ｉ−１倍率画像（例えばＢＰ１）を基準画像として選択し、第ｉ倍率画像（ＢＰ２）を検出対象画像として選択する。そして、領域検出部は、第ｉ倍率画像に対応する第ｉ−１倍率画像上の領域を検出し、各階層で順次検出を繰り返し、第ｎ倍率画像（ＢＰ４）に対応する第１倍率画像（ＢＰ１）上の領域を検出する。
【００７４】
このようにすれば、階層的に検出を繰り返すことで、第１倍率画像上での観察対象領域の位置を検出できる。また、階層的に検出を繰り返すことで、第ｎ倍率画像と第１倍率画像を直接マッチングする場合に比べて、マッチング精度を向上できる。
【００７５】
また本実施形態では、図９に示すように、画像選択部は、倍率補正部３２４と、マッチング処理部３２６と、目標倍率画像選択部３２５を含む。そして、図１２に示すように、倍率補正部３２４は、複数の画像の中のマッチング対象画像（例えばＦＰ３〜ＦＰ５）を所定倍率（１／４倍）で縮小する。マッチング処理部３２６は、その縮小されたマッチング対象画像（ＫＰ３〜ＫＰ５）と、第１〜第ｎ倍率画像の中の基準倍率画像（ＢＰ１）とのマッチング処理を行う。目標倍率画像選択部３２５は、マッチング処理において最も相関性が高い画像（ＦＰ４）を複数の画像（ＦＰ３〜ＦＰ５）の中から選択する。
【００７６】
このようにすれば、撮像画像から目標倍率画像を選択できる。また、マッチング対象画像を所定倍率で縮小してマッチング処理することで、所定倍率間隔の目標倍率画像を選択できる。
【００７７】
また本実施形態では、図９に示すように、画像選択部は繰り返し制御部（目標倍率画像選択制御部３２９）を含む。そして、繰り返し制御部は、マッチング処理と、マッチング処理において最も相関性が高い画像を選択する処理と、その選択された最も相関性が高い画像を次のマッチング処理に用いられる基準倍率画像として選択する処理とを繰り返す制御を行う。
【００７８】
より具体的には、画像選択部は、記憶部（フレームメモリ３２８）と、基準倍率画像選択部（参照倍率画像選択部３２７）を含む。そして、図１２に示すように、基準倍率画像選択部は、第ｊ倍率画像（例えばＢＰ１）が記憶部に記憶されている場合に、その第ｊ倍率画像を基準倍率画像として選択する（ｊはｎ−１以下の自然数）。マッチング処理部３２６は、その第ｊ倍率画像を用いてマッチング処理を行う。目標倍率画像選択部３２５は、最も相関性が高い画像を第ｋ倍率画像（ＢＰ２）として選択する（ｋは２≦ｋ≦ｎの整数）。記憶部は、その第ｋ倍率画像を記憶する。そして、基準倍率画像選択部は、次のマッチング処理に用いられる基準倍率画像として、その第ｋ倍率画像（ＢＰ２）を選択する。
【００７９】
このようにすれば、マッチング処理を繰り返すことで、撮像画像から目標倍率画像を順次選択できる。また、基準倍率画像とマッチング対象画像を順次選択することで、マッチング処理を共通化できる。
【００８０】
また本実施形態では、図９に示すように、画像選択部は、マッチング対象画像の中からマッチング対象領域を抽出する領域抽出部３２３を有する。そして、倍率補正部３２４は、そのマッチング対象領域を所定倍率で縮小し、マッチング処理部３２６は、その縮小されたマッチング対象領域と基準倍率画像とのマッチング処理を行う。
【００８１】
このようにすれば、マッチング処理に適した領域を抽出してマッチング処理を行うことができる。これによりマッチング精度を向上できる。例えば、画像の中央部を抽出すれば、光学系による像歪みの影響を軽減できる。
【００８２】
なお上記実施形態では、低倍率側の画像を縮小してマッチング処理を行う場合について説明したが、本実施形態では、高倍率側の画像を拡大してマッチング処理を行ってもよい。すなわち、画像処理装置は、第１〜第ｎ倍率画像の中の基準倍率画像（例えばＢＰ１）を所定倍率（４倍）で拡大する倍率補正部と、その拡大された基準倍率画像と、マッチング対象画像（ＦＰ３〜ＦＰ５）とのマッチング処理を行うマッチング処理部と、を含んでもよい。
【００８３】
また本実施形態では、図１３に示すように、領域検出部は、検出対象画像選択部（第１画像選択部３３１）と、基準画像選択部（第２画像選択部）と、倍率補正部３３４と、マッチング処理部３３５を含む。そして、図１５に示すように、検出対象画像選択部は、第１〜第ｎ倍率画像（ＢＰ１〜ＢＰ４）の中から検出対象画像（例えばＢＰ４）を選択する。基準画像選択部は、第１〜第ｎ倍率画像の中から基準画像（ＢＰ３）を選択する。倍率補正部は、検出対象画像を基準画像の倍率に縮小する（１／４倍する）。そして、マッチング処理部３３５は、その縮小された検出対象画像（ＴＰ４）と基準画像（ＢＰ３）とのマッチング処理を行う。
【００８４】
このようにすれば、目標倍率画像の各階層において画像間の位置検出を行うことができる。また、検出対象画像を基準画像の倍率に縮小してマッチング処理することで、倍率の異なる画像間においてマッチング処理が可能になる。
【００８５】
また本実施形態では、図１３に示すように、領域検出部は、繰り返し制御部（倍率・抽出領域制御部３３６）を含む。そして、繰り返し制御部は、マッチング処理と、マッチング処理に用いられた基準画像を次のマッチング処理に用いられる検出対象画像として選択する処理と、その検出対象画像の次に低倍率の画像を第１〜第ｎ倍率画像の中から次のマッチング処理に用いられる基準画像として選択する処理とを繰り返す。
【００８６】
具体的には、図１５に示すように、検出対象画像選択部は、検出対象画像として第ｍ倍率画像（例えばＢＰ４）を選択する。基準画像選択部は、基準画像として第ｍ倍率画像（ＢＰ４）の次に低倍率の第ｐ倍率画像（ＢＰ３）を選択する。マッチング処理部３３５は、第ｍ倍率画像（ＢＰ４）に対応する第ｐ倍率画像（ＢＰ３）上の領域（Ｆ１）を検出する。そして、検出対象画像選択部は、次のマッチング処理に用いられる検出対象画像として、第ｐ倍率画像（ＢＰ３）を選択する。基準画像選択部は、次のマッチング処理に用いられる基準画像として、第ｐ倍率画像（ＢＰ３）の次に低倍率である第ｑ倍率画像（ＢＰ２）を選択する。
【００８７】
このようにすれば、目標倍率画像の各階層の位置検出を繰り返して、第１倍率画像における現在の撮影領域を検出できる。また、基準画像と検出対象画像を順次選択することで、マッチング処理を共通化できる。
【００８８】
また本実施形態では、図１３に示すように、領域検出部は領域抽出部３３３を含む。そして、図１５に示すように、領域抽出部３３３は、第ｍ倍率画像（ＢＰ４）に対応する第ｐ倍率画像（ＢＰ３）上の領域（Ｆ１）を含む周辺領域（Ｆ２）を第ｐ倍率画像（ＢＰ３）から抽出し、次のマッチング処理に用いる検出対象画像として設定する。
【００８９】
このようにすれば、テンプレート画像が小さくなりすぎてマッチング精度が低下してしまうことを抑制できる。
【００９０】
また本実施形態では、図８に示すように、第１倍率画像（Ｄ２）と、第ｎ倍率画像に対応する領域を表す識別情報（Ｄ３）を表示する制御を行う表示制御部（図７に示す合成部３５０）を含む。
【００９１】
また本実施形態では、表示制御部は、第１倍率画像（Ｄ２）において観察のターゲットとなるターゲット領域を表す識別情報（Ｄ４）を表示する制御を行う。
【００９２】
また本実施形態では、画像取得部（画像構成処理部３１０）は、観察対象物を撮像することにより得られた一連の動画画像を取得する。表示制御部（合成部３５０）は、その一連の動画画像を第１の表示領域（Ｄ１）に表示する制御を行う。そして、第２の表示領域（Ｄ２）には、第１の表示領域に表示される動画画像よりも低倍率の画像であって、一連の動画画像の中から選択された動画画像が、低倍率画像（第１倍率画像）として表示される。第２の表示領域（Ｄ２）には、第１の表示領域（Ｄ１）に表示される動画画像に対応する低倍率画像上の領域を表す情報であって、一連の動画画像の視野範囲の移動に応じて低倍率画像上を移動する識別情報（Ｄ３）が表示される。
【００９３】
このようにすれば、現在の撮影領域を低倍率画像上に表示できる。これにより、撮影領域がターゲットからずれた場合であっても現在の撮影領域の位置を知ることができる。また、ターゲット領域を表示することで、ターゲットをすばやく視野に戻すことができる。
【００９４】
６．内視鏡装置の第２の構成例
本実施形態では、上述のマッチング処理の結果を用いてスコープ先端を曲げ、観察対象を自動的に視野範囲に導入してもよい。また本実施形態では、白色光だけでなく狭帯域光により撮影を行い、その狭帯域光画像を用いてマッチング処理を行ってもよい。
【００９５】
図１６に、このような内視鏡装置の第２の構成例を示す。この内視鏡装置は、光源部１００と、撮像部２００と、制御装置３００と、表示部４００と、外部Ｉ／Ｆ部５００を含む。なお、図４等で上述の構成要素と同一の構成要素には同一の符号を付し、以下では適宜説明を省略する。
【００９６】
光源部１００は、白色光と狭帯域光を出力する。この光源部１００は、白色光源１０１と、回転色フィルタ１０２と、回転駆動部１０３と、集光レンズ１０４を含む。
【００９７】
図１７に回転色フィルタ１０２の詳細な構成例を示す。この回転色フィルタ１０２は、白色光の分光透過率を示す色フィルタ８０１と、特殊光としての狭帯域の分光透過率を示す色フィルタ８０２と、回転モータ８０３とから構成されている。図１８に示すように、色フィルタ８０１は、例えば波長３８０ｎｍ〜６５０ｎｍの光を透過する分光特性を有している。図１９に示すように、色フィルタ８０２は、波長３９０ｎｍ〜４４５ｎｍ（Ｂ２）と、波長５３０ｎｍ〜５５０ｎｍ（Ｇ２）の光を透過する分光特性を有している。
【００９８】
回転駆動部１０３は、制御装置３００の制御部３０２からの制御信号に基づいて、撮像素子２０９の撮像期間と同期して回転色フィルタ１０２を所定回転数で回転させる。例えば、色フィルタを１秒間に３０回転させると、各色フィルタは６０分の１秒間隔で入射白色光を横切る。そして、撮像素子２０９は、６０分の１秒間隔で白色光と特殊光（ＮＢＩ）に対する反射光の画像データの撮像と転送を完了する。
【００９９】
撮像部２００は、ライトガイドファイバ２０１と、照明レンズ２０２と、対物レンズ２０３と、可変絞り制御部２０４と、可変絞り部２０５と、焦点位置制御部２０６と、焦点位置調整レンズ２０７と、撮像素子２０９と、Ａ／Ｄ変換部２１０を含む。
【０１００】
撮像素子２０９は、カラー撮像可能な撮像素子であり、例えばベイヤ配列の原色単板撮像素子により構成される。あるいは、撮像素子２０９は、補色単板撮像素子により構成されてもよい。
【０１０１】
制御装置３００は、画像処理部３０１と、制御部３０２と、先端湾曲駆動部３０３を含む。制御部３０２は、図４等で上述の制御に加え、さらに先端湾曲駆動部３０３の制御と後述するＡＦ制御部３６０の制御を行う。また、制御部３０２は、回転色フィルタ１０２の構成に応じた制御を行う。
【０１０２】
図２０に、画像処理部３０１の第２の詳細な構成例を示す。この画像処理部３０１は、画像構成処理部３１０、目標倍率画像群選択部３２０、異倍率画像間位置決定部３３０、表示情報生成部３４０、合成部３５０、ＡＦ制御部３６０を含む。この画像処理部３０１は、図７で上述の構成要素に加え、さらにＡＦ制御部３６０を含んでいる。
【０１０３】
ＡＦ制御部３６０は、撮像部２００に対してオートフォーカス制御を行う。具体的には、ＡＦ制御部３６０は、コントラスト法等によりオートフォーカス制御を行い、焦点位置制御部２０６を制御して被写体像を合焦させる。
【０１０４】
図２１に、撮像部２００（スコープ）の先端部を模式的に示す。撮像部２００は、表示画像の横方向（水平走査方向）に先端を湾曲させるためのワイヤ１００１，１００３と、表示画像の縦方向（垂直方向）に先端を湾曲させるためのワイヤ１００２，１００４を含む。例えば、左右方向に角度θだけ湾曲させるには、ワイヤ１００１，１００３を所定量Ｎだけ押し引きする。また、上下方向に角度θだけ湾曲させるには、ワイヤ１００２と１００４を所定量Ｎだけ押し引きする。
【０１０５】
図２２に、白色光画像と特殊光画像の撮像タイミングについて模式的に示す。図２２に示すように、光源部１００の回転色フィルタ１０２が回転することで、白色光と特殊光（ＮＢＩ）を時分割に照明する。そして、撮像素子２０９が白色光画像と特殊光画像を交互に撮像し、Ａ／Ｄ変換部２１０がＡ／Ｄ変換し、画像構成処理部３１０が白色光画像と特殊光画像を出力する。画像構成処理部３１０は、特殊光画像を目標倍率画像群選択部３２０へ出力し、白色光画像と特殊光画像を合成部３５０へ出力する。そして、目標倍率画像群選択部３２０と異倍率画像間位置決定部３３０は、特殊光画像を用いてマッチング処理を行う。
【０１０６】
このようにすれば、白色光画像よりも血管コントラストが高い画像である特殊光画像（ＮＢＩ）を用いてマッチング処理できる。これにより、マッチング精度を向上できる。
【０１０７】
７．ＡＦ制御部
図２３に、ＡＦ制御部３６０の詳細な構成例を示す。ＡＦ制御部３６０は、領域抽出部３６１、コントラスト算出部３６２、レンズ移動量算出部３６３、合焦画像選択部３６４を含む。
【０１０８】
領域抽出部３６１は、制御部３０２から入力されたＡＦエリア情報に基づいて、入力画像である特殊光画像の指定ＡＦエリアを抽出し、その指定ＡＦエリアの画像をコントラスト算出部３６２へ出力する。
【０１０９】
コントラスト算出部３６２は、抽出されたＡＦエリア内の例えばＧ信号の最大値と最小値の差分値をコントラスト値として算出する。算出したコントラスト値は、コントラスト算出部３６２が有する図示しないメモリに時系列データとして複数フレーム分保存される。例えば、複数フレームは少なくとも３フレームである。そして、そのメモリに格納されている複数フレームのコントラスト値は、レンズ移動量算出部３６３に出力される。
【０１１０】
レンズ移動量算出部３６３は、図示しないメモリを有し、そのメモリには、焦点位置調整レンズ２０７の現在の調整位置が保存されている。レンズ移動量算出部３６３は、入力される複数フレームのコントラスト値と対応付けられた調整位置から、合焦位置となる調整位置（レンズ調整位置）を算出し、その調整位置を制御部３０２に出力する。制御部３０２は、算出された調整位置を焦点位置制御部２０６に出力する。焦点位置制御部２０６は、算出された調整位置に基づいて焦点位置調整レンズ２０７を移動させる。このようにして、オートフォーカスが可能となる。なお、コントラスト値とレンズ調整位置の対応付けは、例えばコントラスト値を参照してレンズ調整位置を出力するルックアップテーブルにより実現される。
【０１１１】
合焦画像選択部３６４には、コントラスト算出部からのコントラスト値が入力される。合焦画像選択部３６４は、コントラスト値を閾値判定し、現在処理したフレームが後述するＡＦエリア１１００で合焦しているかを判定し、フレーム画像を目標倍率画像群選択部３２０に出力するか否かを選択する。合焦画像選択部３６４は、合焦と判定した場合には、フレーム画像を出力し、非合焦と判定した場合にはフレーム画像を出力しない。すなわち、目標倍率画像群選択部３２０へ入力される動画像は、画像構成処理部３１０からではなく、ＡＦ制御部３６０を経由して合焦判定された特殊光画像のみが入力される。
【０１１２】
次に、ＡＦ制御部の動作について説明する。ＡＦ制御部３６０には、画像構成処理部３１０から出力される特殊光画像が入力される。図２４に示すように、ユーザ指定により決定されたＡＦエリア１１００が制御部３０２から入力される。
【０１１３】
例えば、ＡＦエリア１１００の指定は、複数のＡＦエリアＡＦＡの中から観察対象Ｔｇに近いＡＦエリアをユーザが選択することで行われる。例えば、図１０に示すズーム操作ノブ５０１を所定方向に動かして近接拡大観察モードを選択した場合に、表示部４００にＡＦエリア指定画面が表示され、ユーザがＡＦエリアを選択する。このＡＦエリア指定画面の生成は合成部３５０が行なう。
【０１１４】
なお、ユーザ選択は、例えばズーム操作ノブ５０１を所定方向に動かして一定時間以上保持することでＡＦエリアの選択移動を行ない、その保持を止めることで選択決定されるようにしてもよい。あるいは、キーボードのカーソル移動キーを使用して移動と選択を行ってもよい。あるいは、表示部４００がタッチパネル式の表示装置である場合、ＡＦエリアを直接指で指定してもよい。
【０１１５】
８．先端湾曲駆動部
図２５に、先端湾曲駆動部３０３の詳細な構成例を示す。この先端湾曲駆動部３０３は、距離情報取得部３７１、ずれ情報取得部３７２、角度算出部３７３、駆動情報出力部３７４、ワイヤ駆動部３７５、現在位置情報取得部３７６を含む。
【０１１６】
距離情報取得部３７１は、視点方向に沿ったスコープ先端から被写体までの距離情報をＡＦ制御部３６０から取得する。例えば、ＡＦ制御部３６０は、ルックアップテーブル等を用いてレンズの調整位置から距離情報を求め、その距離情報を距離情報取得部３７１に出力する。
【０１１７】
現在位置情報取得部３７６は、異倍率画像間位置決定部３３０から現在位置情報を取得する。現在位置情報は、例えば図１４に示すように、画像ＢＰ１における現在の撮影領域ＢＰ４’の位置情報である。
【０１１８】
ずれ情報算出部３７２は、現在の撮影領域から観察対象までの距離情報（ずれ情報、変位情報）を算出する。具体的には、ずれ情報算出部３７２には、現在位置情報とターゲット位置情報が入力される。例えば図１４に示すように、ずれ情報算出部３７２は、領域ＢＰ４’とターゲット領域Ｔｇとの間の画像ＢＰ１上での距離を算出し、その距離と光学的な像倍率から被写体上での距離を算出する。光学的な像倍率は、画像ＢＰ１撮影時の像倍率であり、光学系の設計情報に基づいて予め設定されている。
【０１１９】
角度算出部３７３は、距離情報とずれ情報に基づいて、スコープ先端の曲げ角度を表す角度情報を算出する。具体的には、スコープ先端から被写体までの距離と、現在の撮影領域から観察対象までの距離を用いて、現在の視点方向と観察対象に向かう視点方向との間の角度を求める。
【０１２０】
駆動情報出力部３７４は、角度情報に基づいて、スコープ先端を駆動するためのワイヤの長さの調整量を駆動情報として出力する。具体的には、駆動情報出力部３７４は、ターゲット位置に撮像部２００の先端部を戻すために必要な横方向の湾曲角度θｈと縦方向の湾曲角度θｖを算出する。湾曲角度θｈは、画像の水平走査方向に視点方向を移動させる角度であり、湾曲角度θｖは、画像の垂直方向に視点方向を移動させる角度である。駆動情報出力部３７４は、湾曲角度θｈ，θｖに基づいて、図２１に示す４本のワイヤ１００１、１００２、１００３、１００４の押し引き量Ｎｈ，Ｎｖを算出する。そして、駆動情報出力部３７４は、ワイヤが連結している図示しないアングルノブの回転軸を回転駆動するモータを制御して、上記押し引き量Ｎｈ，Ｎｖでワイヤを調整する。このようにして、ユーザが観察したい観察対象領域を常に視野内にフレーミングし続けることが可能となる。
【０１２１】
上記のように本実施形態では、目標倍率画像群選択部３２０のマッチング処理部３２６は、マッチング対象画像（例えば図１２に示すＦＰ３〜ＦＰ５）及び基準倍率画像（ＢＰ１）として、特定の生体構造が強調された画像を用いてマッチング処理を行う。また、異倍率画像間位置決定部３３０のマッチング処理部３３５は、検出対象画像（図１５に示すＢＰ４）及び基準画像（ＢＰ３）として、特定の生体構造が強調された画像を用いてマッチング処理を行う。
【０１２２】
具体的には、特定の生体構造は、血管走行の構造（血管走行パターン）である。あるいは、特定の生体構造は、粘膜表層の構造（粘膜表層の微細な構造、ピットパターン）であってもよい。
【０１２３】
このようにすれば、特定の生体構造が強調された画像を用いることで、マッチング精度を向上できる。
【０１２４】
また本実施形態では、画像取得部（図７に示す画像構成処理部３１０）は、特定の波長帯域における情報を有した被写体像を含む特殊光画像を取得する図示しない特殊光画像取得部を有する。そして、特定の生体構造が強調された画像は、特殊光画像である。
【０１２５】
具体的には、特定の波長帯域は、白色の波長帯域（例えば３８０ｎｍ〜６５０ｎｍ）よりも狭い帯域である（ＮＢＩ：Narrow Band Imaging）。例えば、特殊光画像は、生体内を写した生体内画像であり、その生体内画像に含まれる特定の波長帯域は、血液中のヘモグロビンに吸収される波長の波長帯域である。例えば、このヘモグロビンに吸収される波長は、３９０ｎｍ〜４４５ｎｍ（狭帯域光のＢ２成分）、または５３０ｎｍ〜５５０ｎｍ（狭帯域光のＧ２成分）である。
【０１２６】
これにより、生体の表層部及び、深部に位置する血管の構造を観察することが可能になる。また得られた信号を特定のチャンネル（Ｇ２→Ｒ、Ｂ２→Ｇ，Ｂ）に入力することで、扁平上皮癌等の通常光では視認が難しい病変などを褐色等で表示することができ、病変部の見落としを抑止することができる。なお、３９０ｎｍ〜４４５ｎｍまたは５３０ｎｍ〜５５０ｎｍとは、ヘモグロビンに吸収されるという特性及び、それぞれ生体の表層部または深部まで到達するという特性から得られた数字である。ただし、この場合の波長帯域はこれに限定されず、例えばヘモグロビンによる吸収と生体の表層部又は深部への到達に関する実験結果等の変動要因により、波長帯域の下限値が０〜１０％程度減少し、上限値が０〜１０％程度上昇することも考えられる。
【０１２７】
また本実施形態では、図２５に示すように、内視鏡装置は、駆動情報出力部３７４と、ターゲット領域設定部（制御部３０２）と、現在位置情報取得部３７６を含む。そして、ターゲット領域設定部は、観察のターゲットとなるターゲット領域（Ｔｇ）を設定する。現在位置情報取得部は、第ｎ倍率画像（ＢＰ４）に対応する第１倍率画像（ＢＰ１）上の領域（ＢＰ４’）の位置情報を現在位置情報として取得する。駆動情報出力部３７４は、ターゲット領域の位置情報と現在位置情報に基づいて駆動情報を出力する。
【０１２８】
具体的には、内視鏡装置は、第１距離情報取得部（距離情報取得部３７１）と、第２距離情報算出部（ズレ情報算出部３７２）と、角度算出部３７３を含む。そして、第１距離情報取得部は、撮像部から被写体までの距離を表す第１距離情報を取得する。第２距離情報算出部は、撮像領域からターゲット領域までの被写体上での距離を表す第２距離情報を算出する。角度算出部３７３は、第１，第２距離情報から、角度θを表す角度情報を算出する。駆動情報出力部３７４は、その角度情報に基づいて駆動情報を出力する。
【０１２９】
より具体的には、図２１に示すように、撮像部２００は、ワイヤ１００１〜１００４を有する内視鏡スコープである。この場合、駆動情報は、そのワイヤ１００１〜１００４の長さの調整量を表す情報である。そして、撮像部２００の視野範囲は、その調整量に基づくワイヤ１００１〜１００４の長さの調整により移動される。
【０１３０】
このようにすれば、スコープの撮影領域がターゲットからずれた場合でも、スコープ先端をターゲットの方向に曲げることができる。これにより、ターゲットを自動的に視野範囲に導入できる。
【０１３１】
また、本実施形態では、図１６に示すように、撮像部２００はオートフォーカス部（焦点位置制御部２０６）を含む。また、撮像部２００は、可変絞り部２０５と、観察対象物を複数の異なる倍率で拡大して撮像する場合に倍率が低いほど可変絞り部２０５を絞る制御を行う可変絞り制御部２０４と、を含む。また、可変絞り制御部２０４は、撮像部２００の撮像倍率が所定倍率以上（拡大撮影モード）となった場合に可変絞り部２０５を開ける制御を行う。
【０１３２】
このようにすれば、ＡＦにより自動的に合焦できるため病変診断時間を短縮できる。また、絞り制御を行うことで、通常観察モードにおいてパンフォーカスで撮影し、拡大観察モードにおいて高解像度で撮影できる。
【０１３３】
９．ソフトウェア
上記の本実施形態では、画像処理部３０１を構成する各部をハードウェアで構成することとしたが、これに限定されるものではない。例えば、撮像装置により取得された画像に対して、ＣＰＵが各部の処理を行う構成とし、ＣＰＵがプログラムを実行することによってソフトウェアとして実現することとしてもよい。あるいは、各部が行う処理の一部をソフトウェアで構成することとしてもよい。
【０１３４】
画像処理部３０１の各部が行う処理をソフトウェアとして実現する場合には、例えばワークステーションやパソコン等の公知のコンピュータシステムを画像処理装置として用いることができる。そして、画像処理部３０１の各部が行う処理を実現するためのプログラム（画像処理プログラム）を予め用意し、この画像処理プログラムをコンピュータシステムのＣＰＵが実行することによって実現できる。
【０１３５】
図２６は、本変形例におけるコンピュータシステム６００の構成を示すシステム構成図であり、図２７は、このコンピュータシステム６００における本体部６１０の構成を示すブロック図である。図２６に示すように、コンピュータシステム６００は、本体部６１０と、本体部６１０からの指示によって表示画面６２１に画像等の情報を表示するためのディスプレイ６２０と、このコンピュータシステム６００に種々の情報を入力するためのキーボード６３０と、ディスプレイ６２０の表示画面６２１上の任意の位置を指定するためのマウス６４０とを備える。
【０１３６】
また、このコンピュータシステム６００における本体部６１０は、図２７に示すように、ＣＰＵ６１１と、ＲＡＭ６１２と、ＲＯＭ６１３と、ハードディスクドライブ（ＨＤＤ）６１４と、ＣＤ−ＲＯＭ６６０を受け入れるＣＤ−ＲＯＭドライブ６１５と、ＵＳＢメモリ６７０を着脱可能に接続するＵＳＢポート６１６と、ディスプレイ６２０、キーボード６３０およびマウス６４０を接続するＩ／Ｏインターフェース６１７と、ローカルエリアネットワークまたは広域エリアネットワーク（ＬＡＮ／ＷＡＮ）Ｎ１に接続するためのＬＡＮインターフェース６１８を備える。
【０１３７】
さらに、このコンピュータシステム６００には、インターネット等の公衆回線Ｎ３に接続するためのモデム６５０が接続されるとともに、ＬＡＮインターフェース６１８およびローカルエリアネットワークまたは広域エリアネットワークＮ１を介して、他のコンピュータシステムであるパソコン（ＰＣ）６８１、サーバ６８２、プリンタ６８３等が接続される。
【０１３８】
そして、このコンピュータシステム６００は、所定の記録媒体に記録された画像処理プログラム（例えば図２８〜図３０）を参照して、後述する処理手順を実現するための画像処理プログラムを読み出して実行することで画像処理装置を実現する。ここで、所定の記録媒体とは、ＣＤ−ＲＯＭ６６０やＵＳＢメモリ６７０の他、ＭＯディスクやＤＶＤディスク、フレキシブルディスク（ＦＤ）、光磁気ディスク、ＩＣカード等を含む「可搬用の物理媒体」、コンピュータシステム６００の内外に備えられるＨＤＤ６１４やＲＡＭ６１２、ＲＯＭ６１３等の「固定用の物理媒体」、モデム６５０を介して接続される公衆回線Ｎ３や、他のコンピュータシステム（ＰＣ）６８１またはサーバ６８２が接続されるローカルエリアネットワークまたは広域エリアネットワークＮ１等のように、プログラムの送信に際して短期にプログラムを記憶する「通信媒体」等、コンピュータシステム６００によって読み取り可能な画像処理プログラムを記録するあらゆる記録媒体を含む。
【０１３９】
すなわち、画像処理プログラムは、「可搬用の物理媒体」「固定用の物理媒体」「通信媒体」等の記録媒体にコンピュータ読み取り可能に記録されるものであり、コンピュータシステム６００は、このような記録媒体から画像処理プログラムを読み出して実行することで画像処理装置を実現する。なお、画像処理プログラムは、コンピュータシステム６００によって実行されることに限定されるものではなく、他のコンピュータシステム（ＰＣ）６８１またはサーバ６８２が画像処理プログラムを実行する場合や、これらが協働して画像処理プログラムを実行するような場合にも、本発明を同様に適用することができる。
【０１４０】
各部が行う処理の一部をソフトウェアで構成する場合の一例として、撮像装置により取得された画像に対して、画像処理部３０１の処理をソフトウェアで実現する場合の処理手順を、図２８〜図３０のフローチャートを用いて説明する。撮像装置により取得された画像は、例えば、Ａ／Ｄ変換部２１０が出力する画像である。
【０１４１】
図２８に示すように、この処理が開始されると、撮像画像を取得し（ステップＳ１）、目標倍率画像を選択する処理を行う（ステップＳ２）。次に、目標倍率画像間のマッチング処理を行って、１倍の画像における最大倍率の画像の位置を検出する処理を行う（ステップＳ３）。次に、観察位置を表示する制御を行い（ステップＳ４）、スコープ先端を駆動する制御を行う（ステップＳ５）。次に、拡大観察モードが終了したら処理を終了する（ステップＳ６、ＹＥＳ）。拡大観察モードが継続していれば（ステップＳ６、ＮＯ）、最大倍率画像を更新し（ステップＳ７）、ステップＳ３〜Ｓ６を繰り返す。
【０１４２】
図２９に、目標倍率画像選択処理の詳細なフローチャートを示す。この処理が開始されると、撮像画像から１倍の目標倍率画像を取得する（ステップＳ２０）。次に、目標倍率画像から第１画像を選択する（ステップＳ２１）。第１画像は、マッチング処理の基準となる参照倍率画像である。次に、撮像画像から第２画像を選択し（ステップＳ２２）、領域抽出を行い（ステップＳ２３）、抽出した領域の画像サイズを倍率補正してテンプレート画像を生成する（ステップＳ２４）。次に、参照倍率画像とテンプレート画像をマッチング処理する（ステップＳ２５）。相関値が最小値でない場合には（ステップＳ２６、ＮＯ）、ステップＳ２２〜Ｓ２５を繰り返す。相関値が最小値となった場合には（ステップＳ２６、ＹＥＳ）、その第２画像を目標倍率画像として選択する（ステップＳ２７）。最大倍率の目標倍率画像まで選択が完了していなければ（ステップＳ２８、ＮＯ）、ステップＳ２１〜Ｓ２７を繰り返す。最大倍率の目標倍率画像まで選択が完了したら、処理を終了する（ステップＳ２８、ＹＥＳ）。
【０１４３】
図３０に、領域検出処理の詳細なフローチャートを示す。この処理が開始されると、目標倍率画像から基準画像を選択し（ステップＳ４０）、目標倍率画像から検出対象画像を選択する（ステップＳ４１）。次に、検出対象画像から領域抽出を行い（ステップＳ４２）、抽出した領域の画像サイズを倍率補正してテンプレート画像を生成する（ステップＳ４３）。次に、基準画像とテンプレート画像をマッチング処理する（ステップＳ４４）。最大倍率の目標倍率画像までマッチング処理が完了していなければ（ステップＳ４５、ＮＯ）、ステップＳ４０〜Ｓ４４を繰り返す。最大倍率の目標倍率画像までマッチング処理が完了したら、処理を終了する（ステップ４５、ＹＥＳ）。
【０１４４】
また本実施形態は、本実施形態の各部（画像構成処理部、目標倍率画像群選択部、異倍率画像間位置決定部、表示情報生成部、合成部、ＡＦ制御部等）を実現するプログラムコードが記録されたコンピュータプログラムプロダクトにも適用できる。
【０１４５】
コンピュータプログラムプロダクトは、例えば、プログラムコードが記録された情報記憶媒体（ＤＶＤ等の光ディスク媒体、ハードディスク媒体、メモリ媒体等）、プログラムコードが記録されたコンピュータ、プログラムコードが記録されたインターネットシステム（例えば、サーバとクライアント端末を含むシステム）など、プログラムコードが組み込まれた情報記憶媒体、装置、機器或いはシステム等である。この場合に、本実施形態の各構成要素や各処理プロセスは各モジュールにより実装され、これらの実装されたモジュールにより構成されるプログラムコードは、コンピュータプログラムプロダクトに記録される。
【０１４６】
以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
【０１４７】
また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語（撮像部、特殊光、変位等）と共に記載された用語（スコープ、狭帯域光、ずれ等）は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。
【符号の説明】
【０１４８】
１０ 観察対象領域、１００ 光源部、１０１ 白色光源、１０２ 回転色フィルタ、
１０３ 回転駆動部、１０４ 集光レンズ、２００ 撮像部、
２０１ ライトガイドファイバ、２０２ 照明レンズ、２０３ 対物レンズ、
２０４ 可変絞り制御部、２０５ 可変絞り部、２０６ 焦点位置制御部、
２０７ 焦点位置調整レンズ、２０９ 撮像素子、２１０ Ａ／Ｄ変換部、
３００ 制御装置、３０１ 画像処理部、３０２ 制御部、
３０３ 先端湾曲駆動部、３１０ 画像構成処理部、３２０ 目標倍率画像群選択部、
３２１ フレームメモリ、３２２ 画像選択部、３２３ 領域抽出部、
３２４ 倍率補正部、３２５ 目標倍率画像選択部、３２６ マッチング処理部、
３２７ 参照倍率画像選択部、３２８ フレームメモリ、
３２９ 目標倍率画像選択制御部、３３０ 異倍率画像間位置決定部、
３３１ 第１画像選択部、３３２ 第２画像選択部、３３３ 領域抽出部、
３３４ 倍率補正部、３３５ マッチング処理部、３３６ 倍率・抽出領域制御部、
３４０ 表示情報生成部、３５０ 合成部、３６０ ＡＦ制御部、
３６１ 領域抽出部、３６２ コントラスト算出部、３６３ レンズ移動量算出部、
３６４ 合焦画像選択部、３７１ 距離情報取得部、３７２ ズレ情報算出部、
３７３ 角度算出部、３７４ 駆動情報出力部、３７５ ワイヤ駆動部、
３７６ 現在位置情報取得部、４００ 表示部、５００ 外部Ｉ／Ｆ部、
５０１ ズーム操作ノブ、６００ コンピュータシステム、
６０１〜６０３ 色フィルタ、６１０ 本体部、６１１ ＣＰＵ、６１２ ＲＡＭ、
６１３ ＲＯＭ、６１４ ＨＤＤ、６１５ ＣＤ−ＲＯＭドライブ、
６１６ ＵＳＢポート、６１７ Ｉ／Ｏインターフェース、
６１８ ＬＡＮインターフェース、６２０ ディスプレイ、６２１ 表示画面、
６３０ キーボード、６４０ マウス、６５０ モデム、６６０ ＣＤ−ＲＯＭ、
６７０ ＵＳＢメモリ、６８１ ＰＣ、６８２ サーバ、６８３ プリンタ、
８０１，８０２ 色フィルタ、８０３ 回転モータ、１００１〜１００４ ワイヤ、
ＡＦＡ ＡＦエリア、ＦＰ２ フレーム画像、ＫＰ３ テンプレート画像、
ＢＰ１〜ＢＰ４ 目標倍率画像、ＴＰ４ テンプレート画像、Ｔｇ 観察対象、
θ 角度、Ｎ１ 広域エリアネットワーク、Ｎ３ 公衆回線
【特許請求の範囲】
【請求項１】
観察対象物を複数の異なる倍率で拡大して撮像することにより得られた複数の画像を取得する画像取得部と、
前記複数の画像の中から、各画像間の倍率が相対的に異なる第１〜第ｎ倍率画像（ｎは、ｎ≧２の自然数）を選択する画像選択部と、
前記第１〜第ｎ倍率画像の中から、基準画像と前記基準画像より高倍率の検出対象画像を選択し、前記検出対象画像に対応する前記基準画像上の領域を検出して、前記検出対象画像を前記領域に対応付ける領域検出部と、
を含むことを特徴とする画像処理装置。
【請求項２】
請求項１において、
前記第１〜第ｎ倍率画像の中の第ｉ倍率画像が、前記第１〜第ｎ倍率画像の中の第ｉ−１倍率画像よりも高倍率の画像である場合に、
前記領域検出部は、
前記第ｉ−１倍率画像を前記基準画像として選択し、前記第ｉ倍率画像を前記検出対象画像として選択し、前記第ｉ倍率画像に対応する前記第ｉ−１倍率画像上の領域を順次検出していくことで、前記第ｎ倍率画像に対応する前記第１倍率画像上の領域を検出することを特徴とする画像処理装置。
【請求項３】
請求項１において、
前記画像選択部は、
前記複数の画像の中のマッチング対象画像を所定倍率で縮小する倍率補正部と、
前記縮小されたマッチング対象画像と、前記第１〜第ｎ倍率画像の中の基準倍率画像とのマッチング処理を行うマッチング処理部と、
前記マッチング処理において最も相関性が高い画像を前記複数の画像の中から選択する目標倍率画像選択部と、
を有することを特徴とする画像処理装置。
【請求項４】
請求項３において、
前記画像選択部は、
前記マッチング処理と、前記マッチング処理において最も相関性が高い画像を選択する処理と、前記選択された最も相関性が高い画像を次のマッチング処理に用いられる基準倍率画像として選択する処理とを繰り返す制御を行う繰り返し制御部を有することを特徴とする画像処理装置。
【請求項５】
請求項３において、
前記画像選択部は、
前記第１〜第ｎ倍率画像を記憶する記憶部と、
前記基準倍率画像を選択する基準倍率画像選択部と、
を有し、
前記基準倍率画像選択部は、
前記記憶部に、前記第１〜第ｎ倍率画像の中の第ｊ倍率画像が記憶されている場合に、前記第ｊ倍率画像を前記基準倍率画像として選択し、
前記マッチング処理部は、
前記第ｊ倍率画像を用いて前記マッチング処理を行い、
前記目標倍率画像選択部は、
前記最も相関性が高い画像を、前記第１〜第ｎ倍率画像の中の第ｋ倍率画像として選択し、
前記記憶部は、
前記第ｋ倍率画像を記憶することを特徴とする画像処理装置。
【請求項６】
請求項５において、
前記基準倍率画像選択部は、
次のマッチング処理に用いられる前記基準倍率画像として、前記第ｋ倍率画像を選択することを特徴とする画像処理装置。
【請求項７】
請求項３において、
前記画像選択部は、
前記マッチング対象画像の中からマッチング対象領域を抽出する領域抽出部を有し、
前記倍率補正部は、
前記マッチング対象領域を前記所定倍率で縮小し、
前記マッチング処理部は、
前記縮小されたマッチング対象領域と、前記基準倍率画像とのマッチング処理を行うことを特徴とする画像処理装置。
【請求項８】
請求項３において、
前記マッチング処理部は、
前記マッチング対象画像及び前記基準倍率画像として、特定の生体構造が強調された画像を用いて前記マッチング処理を行うことを特徴とする画像処理装置。
【請求項９】
請求項８において、
前記特定の生体構造は、
血管走行の構造であることを特徴とする画像処理装置。
【請求項１０】
請求項８において、
前記特定の生体構造は、
粘膜表層の構造であることを特徴とする画像処理装置。
【請求項１１】
請求項８において、
前記画像取得部は、
特定の波長帯域における情報を有した被写体像を含む特殊光画像を取得する特殊光画像取得部を有し、
前記特定の生体構造が強調された画像は、
前記特殊光画像であることを特徴とする画像処理装置
【請求項１２】
請求項１１において、
前記特定の波長帯域は、
白色の波長帯域よりも狭い帯域であることを特徴とする画像処理装置。
【請求項１３】
請求項１２において、
前記特殊光画像は生体内を写した生体内画像であり、
前記生体内画像に含まれる前記特定の波長帯域は、血液中のヘモグロビンに吸収される波長の波長帯域であることを特徴とする画像処理装置。
【請求項１４】
請求項１３において、
前記特定の波長帯域は、３９０ｎｍ〜４４５ｎｍ、または５３０ｎｍ〜５５０ｎｍであることを特徴とする画像処理装置。
【請求項１５】
請求項１において、
前記画像選択部は、
前記第１〜第ｎ倍率画像の中の基準倍率画像を所定倍率で拡大する倍率補正部と、
前記拡大された基準倍率画像と、前記複数の画像の中のマッチング対象画像とのマッチング処理を行うマッチング処理部と、
前記マッチング処理において最も相関性が高い画像を前記複数の画像の中から選択する目標倍率画像選択部と、
を有することを特徴とする画像処理装置。
【請求項１６】
請求項１において、
前記領域検出部は、
前記第１〜第ｎ倍率画像の中から前記検出対象画像を選択する検出対象画像選択部と、
前記第１〜第ｎ倍率画像の中から前記基準画像を選択する基準画像選択部と、
前記検出対象画像を前記基準画像の倍率に縮小する倍率補正部と、
前記縮小された検出対象画像と、前記基準画像とのマッチング処理を行うマッチング処理部と、
を有することを特徴とする画像処理装置。
【請求項１７】
請求項１６において、
前記領域検出部は、
前記マッチング処理と、前記マッチング処理に用いられた前記基準画像を次のマッチング処理に用いられる検出対象画像として選択する処理と、前記次のマッチング処理に用いられる検出対象画像の次に低倍率の画像を前記第１〜第ｎ倍率画像の中から次のマッチング処理に用いられる基準画像として選択する処理とを繰り返す制御を行う繰り返し制御部を有することを特徴とする画像処理装置。
【請求項１８】
請求項１６において、
前記検出対象画像選択部は、
前記検出対象画像として、前記第１〜第ｎ倍率画像の中の第ｍ倍率画像を選択し、
前記基準画像選択部は、
前記基準画像として、前記第１〜第ｎ倍率画像の中から前記第ｍ倍率画像の次に低倍率の第ｐ倍率画像を選択し、
前記マッチング処理部は、
前記第ｍ倍率画像に対応する前記第ｐ倍率画像上の領域を検出することを特徴とする画像処理装置。
【請求項１９】
請求項１８において、
前記検出対象画像選択部は、
次のマッチング処理に用いられる検出対象画像として、前記第ｐ倍率画像を選択し、
前記基準画像選択部は、
前記次のマッチング処理に用いられる基準画像として、前記第１〜第ｎ倍率画像の中から、前記第ｐ倍率画像の次に低倍率である第ｑ倍率画像を選択することを特徴とする画像処理装置。
【請求項２０】
請求項１８において、
前記領域検出部は、
前記第ｍ倍率画像に対応する前記第ｐ倍率画像上の領域を含む周辺領域を前記第ｐ倍率画像から抽出し、次のマッチング処理に用いる検出対象画像として設定する領域抽出部を有することを特徴とする画像処理装置。
【請求項２１】
請求項１６において、
前記マッチング処理部は、
前記検出対象画像及び前記基準画像として、特定の生体構造が強調された画像を用いて前記マッチング処理を行うことを特徴とする画像処理装置。
【請求項２２】
請求項２１において、
前記特定の生体構造は、
血管走行の構造であることを特徴とする画像処理装置。
【請求項２３】
請求項２１において、
前記特定の生体構造は、
粘膜表層の構造であることを特徴とする画像処理装置。
【請求項２４】
請求項２１において、
前記画像取得部は、
特定の波長帯域における情報を有した被写体像を含む特殊光画像を取得する特殊光画像取得部を有し、
前記特定の生体構造が強調された画像は、
前記特殊光画像であることを特徴とする画像処理装置
【請求項２５】
請求項２４において、
前記特定の波長帯域は、
白色の波長帯域よりも狭い帯域であることを特徴とする画像処理装置。
【請求項２６】
請求項２５において、
前記特殊光画像は生体内を写した生体内画像であり、
前記生体内画像に含まれる前記特定の波長帯域は、血液中のヘモグロビンに吸収される波長の波長帯域であることを特徴とする画像処理装置。
【請求項２７】
請求項２６において、
前記特定の波長帯域は、３９０ｎｍ〜４４５ｎｍ、または５３０ｎｍ〜５５０ｎｍであることを特徴とする画像処理装置。
【請求項２８】
請求項１に記載の画像処理装置を含むことを特徴とする内視鏡装置。
【請求項２９】
請求項２８において、
表示制御部を含み、
前記第１〜第ｎ倍率画像の中の第ｉ倍率画像が、前記第１〜第ｎ倍率画像の中の第ｉ−１倍率画像よりも高倍率の画像である場合に、
前記領域検出部は、
前記第ｉ倍率画像に対応する前記第ｉ−１倍率画像上の領域を順次検出して、前記第ｎ倍率画像に対応する前記第１倍率画像上の領域を検出し、
前記表示制御部は、
前記第１倍率画像と、前記第ｎ倍率画像に対応する領域を表す識別情報を表示する制御を行うことを特徴とする内視鏡装置。
【請求項３０】
請求項２９において、
前記表示制御部は、
前記第１倍率画像において観察のターゲットとなるターゲット領域を表す識別情報を表示する制御を行うことを特徴とする内視鏡装置。
【請求項３１】
請求項２８において、
駆動情報出力部と、
ターゲット領域設定部と、
現在位置情報取得部と、
を含み、
前記第１〜第ｎ倍率画像の中の第ｉ倍率画像が、前記第１〜第ｎ倍率画像の中の第ｉ−１倍率画像よりも高倍率の画像である場合に、
前記領域検出部は、
前記第ｉ倍率画像に対応する前記第ｉ−１倍率画像上の領域を順次検出していくことで、前記第ｎ倍率画像に対応する前記第１倍率画像上の領域を検出し、
前記ターゲット領域設定部は、
前記第１倍率画像において観察のターゲットとなるターゲット領域を設定し、
前記現在位置情報取得部は、
前記第ｎ倍率画像に対応する前記第１倍率画像上の領域の位置情報を現在位置情報として取得し、
前記駆動情報出力部は、
前記ターゲット領域の位置情報と前記現在位置情報に基づいて、前記ターゲット領域を撮像部の視野範囲に入れる駆動を行うための駆動情報を出力することを特徴とする内視鏡装置。
【請求項３２】
請求項３１において、
前記撮像部から前記観察対象物までの距離を表す第１距離情報を取得する第１距離情報取得部と、
前記ターゲット領域の位置情報と、前記現在位置情報と、前記第１倍率画像の倍率から、前記撮像部の撮像領域から前記ターゲット領域までの距離を表す第２距離情報を算出する第２距離情報算出部と、
前記第１距離情報と前記第２距離情報から、前記撮像部の視野方向と前記ターゲット領域へ向かう方向との間の角度を表す角度情報を算出する角度算出部と、
を含み、
前記駆動情報出力部は、
前記角度情報に基づいて前記駆動情報として出力することを特徴とする内視鏡装置。
【請求項３３】
請求項３１において、
前記撮像部は、
前記視野範囲を移動させるワイヤを有する内視鏡スコープであり、
前記駆動情報は、
前記ワイヤの長さの調整量を表す情報であり、
前記視野範囲は、
前記調整量に基づく前記ワイヤの長さの調整により移動されることを特徴とする内視鏡装置。
【請求項３４】
請求項２８において、
オートフォーカス部を有する撮像部を含むことを特徴とする内視鏡装置。
【請求項３５】
請求項２８において、
可変絞り部を有する撮像部と、
前記観察対象物を複数の異なる倍率で拡大して撮像する場合に、倍率が低いほど前記可変絞り部を絞る制御を行う可変絞り制御部と、
を含むことを特徴とする内視鏡装置。
【請求項３６】
請求項２８において、
可変絞り部を有する撮像部と、
前記撮像部の撮像倍率が所定倍率以上となった場合に、前記可変絞り部を開ける制御を行う可変絞り制御部と、
を含むことを特徴とする内視鏡装置。
【請求項３７】
観察対象物を複数の異なる倍率で拡大して撮像することにより得られた複数の画像を取得し、
前記複数の画像の中から、各画像で相対的に倍率が異なる第１〜第ｎ倍率画像（ｎは、ｎ≧２の自然数）を選択し、
前記第１〜第ｎ倍率画像の中から、基準画像と前記基準画像より高倍率の検出対象画像を選択し、
前記検出対象画像に対応する前記基準画像上の領域を検出して、前記検出対象画像を前記領域に対応付けることを特徴とする画像処理方法。
【請求項３８】
観察対象物を複数の異なる倍率で拡大して撮像することにより得られた複数の画像を取得する画像取得部と、
前記複数の画像の中から、各画像で相対的に倍率が異なる第１〜第ｎ倍率画像（ｎは、ｎ≧３の自然数）を選択する画像選択部と、
前記第１〜第ｎ倍率画像の中から、基準画像と前記基準画像より高倍率の検出対象画像を選択し、前記検出対象画像に対応する前記基準画像上の領域を検出して、前記検出対象画像を前記領域に対応付ける領域検出部として、
コンピュータを機能させることを特徴とするプログラム。
【請求項３９】
観察対象物を撮像することにより得られた一連の動画画像を取得する画像取得部と、
前記一連の動画画像を第１の表示領域に表示する制御を行う表示制御部と、
を含み、
前記表示制御部は、
前記第１の表示領域に表示される動画画像よりも低倍率の画像であって、前記一連の動画画像の中から選択された動画画像を、低倍率画像として第２の表示領域に表示する制御を行い、
前記表示制御部は、
前記第１の表示領域に表示される動画画像に対応する前記低倍率画像上の領域を表す情報であって、前記一連の動画画像の視野範囲の移動に応じて前記低倍率画像上を移動する識別情報を前記第２の表示領域に表示する制御を行うことを特徴とする内視鏡装置。
【請求項１】
観察対象物を複数の異なる倍率で拡大して撮像することにより得られた複数の画像を取得する画像取得部と、
前記複数の画像の中から、各画像間の倍率が相対的に異なる第１〜第ｎ倍率画像（ｎは、ｎ≧２の自然数）を選択する画像選択部と、
前記第１〜第ｎ倍率画像の中から、基準画像と前記基準画像より高倍率の検出対象画像を選択し、前記検出対象画像に対応する前記基準画像上の領域を検出して、前記検出対象画像を前記領域に対応付ける領域検出部と、
を含むことを特徴とする画像処理装置。
【請求項２】
請求項１において、
前記第１〜第ｎ倍率画像の中の第ｉ倍率画像が、前記第１〜第ｎ倍率画像の中の第ｉ−１倍率画像よりも高倍率の画像である場合に、
前記領域検出部は、
前記第ｉ−１倍率画像を前記基準画像として選択し、前記第ｉ倍率画像を前記検出対象画像として選択し、前記第ｉ倍率画像に対応する前記第ｉ−１倍率画像上の領域を順次検出していくことで、前記第ｎ倍率画像に対応する前記第１倍率画像上の領域を検出することを特徴とする画像処理装置。
【請求項３】
請求項１において、
前記画像選択部は、
前記複数の画像の中のマッチング対象画像を所定倍率で縮小する倍率補正部と、
前記縮小されたマッチング対象画像と、前記第１〜第ｎ倍率画像の中の基準倍率画像とのマッチング処理を行うマッチング処理部と、
前記マッチング処理において最も相関性が高い画像を前記複数の画像の中から選択する目標倍率画像選択部と、
を有することを特徴とする画像処理装置。
【請求項４】
請求項３において、
前記画像選択部は、
前記マッチング処理と、前記マッチング処理において最も相関性が高い画像を選択する処理と、前記選択された最も相関性が高い画像を次のマッチング処理に用いられる基準倍率画像として選択する処理とを繰り返す制御を行う繰り返し制御部を有することを特徴とする画像処理装置。
【請求項５】
請求項３において、
前記画像選択部は、
前記第１〜第ｎ倍率画像を記憶する記憶部と、
前記基準倍率画像を選択する基準倍率画像選択部と、
を有し、
前記基準倍率画像選択部は、
前記記憶部に、前記第１〜第ｎ倍率画像の中の第ｊ倍率画像が記憶されている場合に、前記第ｊ倍率画像を前記基準倍率画像として選択し、
前記マッチング処理部は、
前記第ｊ倍率画像を用いて前記マッチング処理を行い、
前記目標倍率画像選択部は、
前記最も相関性が高い画像を、前記第１〜第ｎ倍率画像の中の第ｋ倍率画像として選択し、
前記記憶部は、
前記第ｋ倍率画像を記憶することを特徴とする画像処理装置。
【請求項６】
請求項５において、
前記基準倍率画像選択部は、
次のマッチング処理に用いられる前記基準倍率画像として、前記第ｋ倍率画像を選択することを特徴とする画像処理装置。
【請求項７】
請求項３において、
前記画像選択部は、
前記マッチング対象画像の中からマッチング対象領域を抽出する領域抽出部を有し、
前記倍率補正部は、
前記マッチング対象領域を前記所定倍率で縮小し、
前記マッチング処理部は、
前記縮小されたマッチング対象領域と、前記基準倍率画像とのマッチング処理を行うことを特徴とする画像処理装置。
【請求項８】
請求項３において、
前記マッチング処理部は、
前記マッチング対象画像及び前記基準倍率画像として、特定の生体構造が強調された画像を用いて前記マッチング処理を行うことを特徴とする画像処理装置。
【請求項９】
請求項８において、
前記特定の生体構造は、
血管走行の構造であることを特徴とする画像処理装置。
【請求項１０】
請求項８において、
前記特定の生体構造は、
粘膜表層の構造であることを特徴とする画像処理装置。
【請求項１１】
請求項８において、
前記画像取得部は、
特定の波長帯域における情報を有した被写体像を含む特殊光画像を取得する特殊光画像取得部を有し、
前記特定の生体構造が強調された画像は、
前記特殊光画像であることを特徴とする画像処理装置
【請求項１２】
請求項１１において、
前記特定の波長帯域は、
白色の波長帯域よりも狭い帯域であることを特徴とする画像処理装置。
【請求項１３】
請求項１２において、
前記特殊光画像は生体内を写した生体内画像であり、
前記生体内画像に含まれる前記特定の波長帯域は、血液中のヘモグロビンに吸収される波長の波長帯域であることを特徴とする画像処理装置。
【請求項１４】
請求項１３において、
前記特定の波長帯域は、３９０ｎｍ〜４４５ｎｍ、または５３０ｎｍ〜５５０ｎｍであることを特徴とする画像処理装置。
【請求項１５】
請求項１において、
前記画像選択部は、
前記第１〜第ｎ倍率画像の中の基準倍率画像を所定倍率で拡大する倍率補正部と、
前記拡大された基準倍率画像と、前記複数の画像の中のマッチング対象画像とのマッチング処理を行うマッチング処理部と、
前記マッチング処理において最も相関性が高い画像を前記複数の画像の中から選択する目標倍率画像選択部と、
を有することを特徴とする画像処理装置。
【請求項１６】
請求項１において、
前記領域検出部は、
前記第１〜第ｎ倍率画像の中から前記検出対象画像を選択する検出対象画像選択部と、
前記第１〜第ｎ倍率画像の中から前記基準画像を選択する基準画像選択部と、
前記検出対象画像を前記基準画像の倍率に縮小する倍率補正部と、
前記縮小された検出対象画像と、前記基準画像とのマッチング処理を行うマッチング処理部と、
を有することを特徴とする画像処理装置。
【請求項１７】
請求項１６において、
前記領域検出部は、
前記マッチング処理と、前記マッチング処理に用いられた前記基準画像を次のマッチング処理に用いられる検出対象画像として選択する処理と、前記次のマッチング処理に用いられる検出対象画像の次に低倍率の画像を前記第１〜第ｎ倍率画像の中から次のマッチング処理に用いられる基準画像として選択する処理とを繰り返す制御を行う繰り返し制御部を有することを特徴とする画像処理装置。
【請求項１８】
請求項１６において、
前記検出対象画像選択部は、
前記検出対象画像として、前記第１〜第ｎ倍率画像の中の第ｍ倍率画像を選択し、
前記基準画像選択部は、
前記基準画像として、前記第１〜第ｎ倍率画像の中から前記第ｍ倍率画像の次に低倍率の第ｐ倍率画像を選択し、
前記マッチング処理部は、
前記第ｍ倍率画像に対応する前記第ｐ倍率画像上の領域を検出することを特徴とする画像処理装置。
【請求項１９】
請求項１８において、
前記検出対象画像選択部は、
次のマッチング処理に用いられる検出対象画像として、前記第ｐ倍率画像を選択し、
前記基準画像選択部は、
前記次のマッチング処理に用いられる基準画像として、前記第１〜第ｎ倍率画像の中から、前記第ｐ倍率画像の次に低倍率である第ｑ倍率画像を選択することを特徴とする画像処理装置。
【請求項２０】
請求項１８において、
前記領域検出部は、
前記第ｍ倍率画像に対応する前記第ｐ倍率画像上の領域を含む周辺領域を前記第ｐ倍率画像から抽出し、次のマッチング処理に用いる検出対象画像として設定する領域抽出部を有することを特徴とする画像処理装置。
【請求項２１】
請求項１６において、
前記マッチング処理部は、
前記検出対象画像及び前記基準画像として、特定の生体構造が強調された画像を用いて前記マッチング処理を行うことを特徴とする画像処理装置。
【請求項２２】
請求項２１において、
前記特定の生体構造は、
血管走行の構造であることを特徴とする画像処理装置。
【請求項２３】
請求項２１において、
前記特定の生体構造は、
粘膜表層の構造であることを特徴とする画像処理装置。
【請求項２４】
請求項２１において、
前記画像取得部は、
特定の波長帯域における情報を有した被写体像を含む特殊光画像を取得する特殊光画像取得部を有し、
前記特定の生体構造が強調された画像は、
前記特殊光画像であることを特徴とする画像処理装置
【請求項２５】
請求項２４において、
前記特定の波長帯域は、
白色の波長帯域よりも狭い帯域であることを特徴とする画像処理装置。
【請求項２６】
請求項２５において、
前記特殊光画像は生体内を写した生体内画像であり、
前記生体内画像に含まれる前記特定の波長帯域は、血液中のヘモグロビンに吸収される波長の波長帯域であることを特徴とする画像処理装置。
【請求項２７】
請求項２６において、
前記特定の波長帯域は、３９０ｎｍ〜４４５ｎｍ、または５３０ｎｍ〜５５０ｎｍであることを特徴とする画像処理装置。
【請求項２８】
請求項１に記載の画像処理装置を含むことを特徴とする内視鏡装置。
【請求項２９】
請求項２８において、
表示制御部を含み、
前記第１〜第ｎ倍率画像の中の第ｉ倍率画像が、前記第１〜第ｎ倍率画像の中の第ｉ−１倍率画像よりも高倍率の画像である場合に、
前記領域検出部は、
前記第ｉ倍率画像に対応する前記第ｉ−１倍率画像上の領域を順次検出して、前記第ｎ倍率画像に対応する前記第１倍率画像上の領域を検出し、
前記表示制御部は、
前記第１倍率画像と、前記第ｎ倍率画像に対応する領域を表す識別情報を表示する制御を行うことを特徴とする内視鏡装置。
【請求項３０】
請求項２９において、
前記表示制御部は、
前記第１倍率画像において観察のターゲットとなるターゲット領域を表す識別情報を表示する制御を行うことを特徴とする内視鏡装置。
【請求項３１】
請求項２８において、
駆動情報出力部と、
ターゲット領域設定部と、
現在位置情報取得部と、
を含み、
前記第１〜第ｎ倍率画像の中の第ｉ倍率画像が、前記第１〜第ｎ倍率画像の中の第ｉ−１倍率画像よりも高倍率の画像である場合に、
前記領域検出部は、
前記第ｉ倍率画像に対応する前記第ｉ−１倍率画像上の領域を順次検出していくことで、前記第ｎ倍率画像に対応する前記第１倍率画像上の領域を検出し、
前記ターゲット領域設定部は、
前記第１倍率画像において観察のターゲットとなるターゲット領域を設定し、
前記現在位置情報取得部は、
前記第ｎ倍率画像に対応する前記第１倍率画像上の領域の位置情報を現在位置情報として取得し、
前記駆動情報出力部は、
前記ターゲット領域の位置情報と前記現在位置情報に基づいて、前記ターゲット領域を撮像部の視野範囲に入れる駆動を行うための駆動情報を出力することを特徴とする内視鏡装置。
【請求項３２】
請求項３１において、
前記撮像部から前記観察対象物までの距離を表す第１距離情報を取得する第１距離情報取得部と、
前記ターゲット領域の位置情報と、前記現在位置情報と、前記第１倍率画像の倍率から、前記撮像部の撮像領域から前記ターゲット領域までの距離を表す第２距離情報を算出する第２距離情報算出部と、
前記第１距離情報と前記第２距離情報から、前記撮像部の視野方向と前記ターゲット領域へ向かう方向との間の角度を表す角度情報を算出する角度算出部と、
を含み、
前記駆動情報出力部は、
前記角度情報に基づいて前記駆動情報として出力することを特徴とする内視鏡装置。
【請求項３３】
請求項３１において、
前記撮像部は、
前記視野範囲を移動させるワイヤを有する内視鏡スコープであり、
前記駆動情報は、
前記ワイヤの長さの調整量を表す情報であり、
前記視野範囲は、
前記調整量に基づく前記ワイヤの長さの調整により移動されることを特徴とする内視鏡装置。
【請求項３４】
請求項２８において、
オートフォーカス部を有する撮像部を含むことを特徴とする内視鏡装置。
【請求項３５】
請求項２８において、
可変絞り部を有する撮像部と、
前記観察対象物を複数の異なる倍率で拡大して撮像する場合に、倍率が低いほど前記可変絞り部を絞る制御を行う可変絞り制御部と、
を含むことを特徴とする内視鏡装置。
【請求項３６】
請求項２８において、
可変絞り部を有する撮像部と、
前記撮像部の撮像倍率が所定倍率以上となった場合に、前記可変絞り部を開ける制御を行う可変絞り制御部と、
を含むことを特徴とする内視鏡装置。
【請求項３７】
観察対象物を複数の異なる倍率で拡大して撮像することにより得られた複数の画像を取得し、
前記複数の画像の中から、各画像で相対的に倍率が異なる第１〜第ｎ倍率画像（ｎは、ｎ≧２の自然数）を選択し、
前記第１〜第ｎ倍率画像の中から、基準画像と前記基準画像より高倍率の検出対象画像を選択し、
前記検出対象画像に対応する前記基準画像上の領域を検出して、前記検出対象画像を前記領域に対応付けることを特徴とする画像処理方法。
【請求項３８】
観察対象物を複数の異なる倍率で拡大して撮像することにより得られた複数の画像を取得する画像取得部と、
前記複数の画像の中から、各画像で相対的に倍率が異なる第１〜第ｎ倍率画像（ｎは、ｎ≧３の自然数）を選択する画像選択部と、
前記第１〜第ｎ倍率画像の中から、基準画像と前記基準画像より高倍率の検出対象画像を選択し、前記検出対象画像に対応する前記基準画像上の領域を検出して、前記検出対象画像を前記領域に対応付ける領域検出部として、
コンピュータを機能させることを特徴とするプログラム。
【請求項３９】
観察対象物を撮像することにより得られた一連の動画画像を取得する画像取得部と、
前記一連の動画画像を第１の表示領域に表示する制御を行う表示制御部と、
を含み、
前記表示制御部は、
前記第１の表示領域に表示される動画画像よりも低倍率の画像であって、前記一連の動画画像の中から選択された動画画像を、低倍率画像として第２の表示領域に表示する制御を行い、
前記表示制御部は、
前記第１の表示領域に表示される動画画像に対応する前記低倍率画像上の領域を表す情報であって、前記一連の動画画像の視野範囲の移動に応じて前記低倍率画像上を移動する識別情報を前記第２の表示領域に表示する制御を行うことを特徴とする内視鏡装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図２２】
【公開番号】特開２０１２−５５４１２（Ｐ２０１２−５５４１２Ａ）
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願番号】特願２０１０−１９９７７２（Ｐ２０１０−１９９７７２）
【出願日】平成２２年９月７日（２０１０．９．７）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願日】平成２２年９月７日（２０１０．９．７）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]