画像処理装置、画像処理装置の制御方法及び内視鏡装置
【課題】 内視鏡装置の状況を表す操作状況情報に基づいて、位置ずれの補正度合いの強弱を設定し、適度にブレを抑えた動画像をユーザに提示する画像処理装置、画像処理装置の制御方法及び内視鏡装置等を提供すること。
【解決手段】 画像処理装置は、内視鏡装置の撮像部による連続的な撮像処理によって、被検体像を含む画像である基準画像を連続的に取得する画像取得部１２０と、内視鏡装置の操作状況を検出し、検出結果を示す操作状況情報を取得する状況検出部１６０と、取得された基準画像から、被検体像を含む領域を抽出領域として抽出し、抽出画像を取得する抽出部１７０とを含み、抽出部１７０は状況検出部１６０において取得された操作状況情報に基づいて、被検体像の位置ずれの補正度合いの強弱を決定し、決定した補正度合いの強弱に対応した抽出態様に従って、基準画像から抽出画像を抽出する。
【解決手段】 画像処理装置は、内視鏡装置の撮像部による連続的な撮像処理によって、被検体像を含む画像である基準画像を連続的に取得する画像取得部１２０と、内視鏡装置の操作状況を検出し、検出結果を示す操作状況情報を取得する状況検出部１６０と、取得された基準画像から、被検体像を含む領域を抽出領域として抽出し、抽出画像を取得する抽出部１７０とを含み、抽出部１７０は状況検出部１６０において取得された操作状況情報に基づいて、被検体像の位置ずれの補正度合いの強弱を決定し、決定した補正度合いの強弱に対応した抽出態様に従って、基準画像から抽出画像を抽出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理装置の制御方法及び内視鏡装置等に関する。
【背景技術】
【０００２】
従来、民生用ビデオカメラなど動画像のブレを補正する方法については、電子式ブレ補正や光学式ブレ補正などの方式が広く用いられている。
【０００３】
内視鏡においては、例えば、特許文献１にあるように、スコープ先端の動きを検出してそれを元にブレ補正を行う方法が提案されている。
【０００４】
また、特許文献２では、動き量を検知し、さらにフリーズ指示信号を検知して動画を的確なタイミングで静止させて静止画を取得する方法が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平５−４９５９９号公報
【特許文献２】特開２００９−７１３８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
内視鏡装置では、内視鏡の操作観察方法として、体内に内視鏡を挿入し大まかに俯瞰して観察し、病変候補等の注目箇所を見つけたらその箇所をより大きく表示させて観察したいというニーズがある。
【０００７】
しかし、注目箇所へ内視鏡のスコープを近づけようとする際に、生体が静止していることはほとんどない。微妙な動きにより被写体またはスコープ自体がぶれてしまい、うまく近づけながら注目する箇所をブレなく観察することが難しい。よって、ブレを抑えた動画像を取得するという課題がある。
【０００８】
本発明の幾つかの態様によれば、内視鏡装置の状況を表す操作状況情報に基づいて、位置ずれの補正度合いの強弱を設定し、適度にブレを抑えた動画像をユーザに提示する画像処理装置、画像処理装置の制御方法及び内視鏡装置等を提供できる。
【０００９】
また、本発明の幾つかの態様によれば、注目箇所にスコープを近づけたとき等の特定の状況においてもブレのない動画像をユーザに提示することで、観察しやすさの向上及びユーザのストレスの低減等をはかった画像処理装置、画像処理装置の制御方法及び内視鏡装置を提供できる。
【課題を解決するための手段】
【００１０】
本発明の一態様は、内視鏡装置の撮像部による連続的な撮像処理によって、被検体像を含む画像である基準画像を連続的に取得する画像取得部と、前記内視鏡装置の操作状況を検出し、その検出結果を示す操作状況情報を取得する状況検出部と、連続的に取得された前記基準画像から、前記被検体像を含む領域を抽出領域として抽出し、抽出画像を取得する抽出部と、を含み、前記抽出部は、前記状況検出部において取得された前記操作状況情報に基づいて、前記被検体像の位置ずれの補正度合いの強弱を決定し、決定した補正度合いの強弱に対応した抽出態様に従って、前記基準画像から前記抽出画像を抽出する画像処理装置に関係する。また、本発明は、上記画像処理装置と、内視鏡スコープとを含む内視鏡装置に関係する。
【００１１】
本発明の一態様では、操作状況情報に基づいて、位置ずれの補正度合いの強弱を決定し、決定した補正度合いの強弱に対応した抽出態様で抽出画像を抽出する。よって、状況に合わせて適切な強さで位置ずれ補正を行うこと等が可能になる。
【００１２】
本発明の他の態様は、内視鏡装置の撮像部による連続的な撮像処理によって、被検体像を含む画像である基準画像を連続的に取得し、前記内視鏡装置の操作状況を検出し、その検出結果を示す操作状況情報を取得し、連続的に取得された前記基準画像から、前記被検体像を含む領域を抽出領域として抽出し、抽出画像を取得する際に、前記状況検出部において取得された前記操作状況情報に基づいて、前記被検体像の位置ずれの補正度合いの強弱を決定し、決定した補正度合いの強弱に対応した抽出態様に従って、前記基準画像から前記抽出画像を抽出する画像処理装置の制御方法に関係する。
【００１３】
本発明の他の態様は、内視鏡装置の撮像部による連続的な撮像処理によって、被検体像を含む画像である基準画像を連続的に取得する画像取得部と、前記取得された各基準画像から、基準画像内の被検体像を含む画像を抽出画像としてそれぞれ抽出するにあたって、それぞれの前記抽出画像に含まれる同一の被検体像の位置ずれを補正する第１抽出モードと、前記同一の被検体像の位置ずれを補正しない第２抽出モードとを設定する設定部と、前記内視鏡装置の操作状況を検出し、その検出結果を示す操作状況情報を取得する状況検出部と、前記取得された操作状況情報に基づいて、前記第１抽出モードまたは前記第２抽出モードのいずれかを選択し、選択した抽出モードに対応した抽出態様に従って、前記基準画像から前記抽出画像を抽出する抽出部と、を含み、前記状況検出部は、前記操作状況情報として、前記内視鏡装置のスコープ部が送気または送水に使用されているか否かに関する情報を取得し、前記抽出部は、取得された前記操作状況情報によって、前記内視鏡装置の前記スコープ部が送気または送水に使用されていると判断された場合には、前記第２抽出モードを選択する画像処理装置に関係する。
【００１４】
本発明の他の態様では、第１抽出モードと第２抽出モードを設定したうえで、送気又は送水の状況に応じて、適切な抽出モードを選択すること等が可能になる。
【００１５】
本発明の他の態様は、内視鏡装置の撮像部による連続的な撮像処理によって、被検体像を含む画像である基準画像を連続的に取得する画像取得部と、前記取得された各基準画像から、基準画像内の被検体像を含む画像を抽出画像としてそれぞれ抽出するにあたって、それぞれの前記抽出画像に含まれる同一の被検体像の位置ずれを補正する第１抽出モードと、前記同一の被検体像の位置ずれを補正しない第２抽出モードとを設定する設定部と、前記内視鏡装置の操作状況を検出し、その検出結果を示す操作状況情報を取得する状況検出部と、前記取得された操作状況情報に基づいて、前記第１抽出モードまたは前記第２抽出モードのいずれかを選択し、選択した抽出モードに対応した抽出態様に従って、前記基準画像から前記抽出画像を抽出する抽出部と、を含み、前記状況検出部は、前記操作状況情報として、前記内視鏡装置のスコープ部が被検体の治療処置に使用されているか否かに関する情報を取得し、前記抽出部は、取得された前記操作状況情報によって前記内視鏡装置の前記スコープ部が被検体の治療処置に使用されていると判断された場合には、前記第２抽出モードを選択する画像処理装置に関係する。
【００１６】
本発明の他の態様では、第１抽出モードと第２抽出モードを設定したうえで、被検体の治療処置の状況に応じて、適切な抽出モードを選択すること等が可能になる。
【図面の簡単な説明】
【００１７】
【図１】本実施形態の画像処理装置を含む内視鏡装置の構成例。
【図２】撮像素子の分光特性。
【図３】回転フィルタの構成例。
【図４】白色光透過フィルタの分光特性。
【図５】狭帯域透過フィルタの分光特性。
【図６】ズーム倍率と位置ずれの補正度合いの強弱の関係を示す図。
【図７】内視鏡装置のスコープ部の例。
【図８】通常の位置ずれ補正の手法を説明する図。
【図９】弱い位置ずれ補正の手法を説明する図。
【図１０】図１０（Ａ）〜図１０（Ｇ）は、通常の位置ずれ補正の挙動が極端になることを説明する図。
【図１１】ダイヤル操作と位置ずれの補正度合いの強弱の関係を示す図。
【図１２】送気量又は送水量と位置ずれの補正度合いの強弱の関係を示す図。
【図１３】本実施形態の画像処理装置を含む内視鏡装置の他の構成例。
【図１４】本実施形態の画像処理装置を含む内視鏡装置の他の構成例。
【図１５】注目領域を検出した場合の表示画像の例。
【発明を実施するための形態】
【００１８】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００１９】
１．本実施形態の手法
１．１ 内視鏡装置の構成例
図１は、本実施形態にかかる画像処理装置を含む内視鏡装置の構成例である。内視鏡装置は、照明部１２と、撮像部１３と、処理部１１と、を含む。なお、構成はこれに限定されず、これらの構成要素の一部を省略するなどの種々の変形実施が可能である。
【００２０】
照明部１２は、光源装置Ｓ０１と、外装Ｓ０５と、ライトガイドファイバＳ０６と、照明光学系Ｓ０７とを含む。そして、光源装置Ｓ０１は、白色光源Ｓ０２と、回転フィルタＳ０３と、集光レンズＳ０４とを含む。なお、構成はこれに限定されず、これらの構成要素の一部を省略するなどの種々の変形実施が可能である。
【００２１】
撮像部１３は、外装Ｓ０５と、集光レンズＳ０８と、撮像素子Ｓ０９とを含む。撮像素子Ｓ０９はベイヤ配列の色フィルタを持つ撮像素子である。撮像素子Ｓ０９の色フィルタＲ・Ｇ・Ｂは例えば図２に示すような分光特性を持っている。
【００２２】
ここでは撮像素子にＲ・Ｇ・ＢがＢａｙｅｒ配列された例を挙げているが、別の撮像方式のものでも良い。例えば補色を受光するものでもかまわない。
【００２３】
また、ここでは通常光画像と特殊光画像とをほぼ同時に撮像する構成にしているがこれに限らない。通常光画像だけを取得するのでも良いし、Ｒ・Ｇ・Ｂのそれぞれの撮像素子を設けて３板の画像を撮像しても良い。
【００２４】
処理部１１は、Ａ／Ｄ変換部１１０と、画像取得部１２０と、操作部１３０と、バッファ１４０と、状況検出部１６０と、抽出部１７０と、表示制御部１８０と、を含む。なお、構成はこれに限定されず、これらの構成要素の一部を省略するなどの種々の変形実施が可能である。
【００２５】
撮像素子Ｓ０９からのアナログ信号が入力されるＡ／Ｄ変換部１１０は、画像取得部１２０に接続されている。画像取得部１２０は、バッファ１４０に接続されている。操作部１３０は、照明部１２と、撮像部１３と、後述する状況検出部１６０の操作量情報取得部１６６とに接続されている。バッファ１４０は、状況検出部１６０と、抽出部１７０とに接続されている。抽出部１７０は、表示制御部１８０に接続されている。状況検出部１６０は、抽出部１７０に接続されている。
【００２６】
Ａ／Ｄ変換部１１０は、撮像素子Ｓ０９からのアナログ信号をデジタル信号に変換する。画像取得部１２０は、Ａ／Ｄ変換部１１０によって変換されたデジタル画像信号を基準画像として取得する。操作部１３０は、ユーザが操作するボタンなどのインターフェースを含む。また、操作部１３０にはスコープを操作するダイヤルなども含まれる。バッファ１４０は、画像取得部から送られた基準画像を受け取り保持する。
【００２７】
状況検出部１６０は、内視鏡装置の操作状況を検出し、検出結果を示す操作状況情報を取得する。状況検出部１６０は、停止近接検出部１６１と、注目領域検出部１６２と、部位検出部１６３と、観察状態検出部１６４と、倍率取得部１６５と、操作量情報取得部１６６と、送気送水検出部１６７とを含む。なお、構成はこれに限定されず、これらの構成要素の一部を省略するなどの種々の変形実施が可能である。また、状況検出部１６０の各部は、本実施形態において必ずしも全てが同時に備わっている必要はなく、このうちの少なくとも１つを含む構成であればよい。
【００２８】
停止近接検出部１６１は、内視鏡装置の挿入部（スコープ）の動きを検出する。具体的には、内視鏡装置の挿入部が停止しているか否か、もしくは、被写体に対して接近しているか否かを検出する。注目領域検出部１６２は、取得された基準画像の中から、注目すべき領域である注目領域を検出する。なお、注目領域の詳細については後述する。部位検出部１６３は、内視鏡装置の挿入部が挿入されている、生体内の部位を検出する。観察状態検出部１６４は、内視鏡装置の観察状態を検出する。具体的には通常観察モードと拡大観察モードを持つ内視鏡装置において、現在どちらのモードになっているのかを検出する。倍率取得部１６５は、撮像部１３における撮像倍率を取得する。操作量情報取得部１６６は、操作部１３０における操作量の情報を取得する。具体的には例えば、操作部１３０に設けられたダイヤルがどの程度回されたか等を取得する。送気送水検出部１６７は、内視鏡装置による送気処理又は送水処理が行われたことを検出する。あるいは、送気量、送水量を検出してもよい。
【００２９】
抽出部１７０は、状況検出部１６０が検出した操作状況情報に基づいて、被検体像の位置ずれの補正度合い（補正の強弱）を決定し、決定した補正の度合いに対応した抽出態様で、基準画像から抽出画像を抽出する。ここで、抽出画像とは、基準画像から対象となる被検体像を含む領域を抽出した画像のことである。
【００３０】
表示制御部１８０は、抽出画像の表示する制御を行う。また、抽出部１７０において決定された補正の度合いを表す補正度合い情報を表示する制御を行ってもよい。
【００３１】
１．２ 処理の流れ
次に、処理の流れについて説明する。まず、白色光光源Ｓ０２から白色光が発光される。図３に示すように、回転フィルタＳ０３には白色光透過フィルタＳ１６と狭帯域透過フィルタＳ１７がセットされている。白色光透過フィルタＳ１６は例えば、図４のような分光特性であり、狭帯域透過フィルタＳ１７は例えば、図５のような分光特性である。
【００３２】
白色光光源Ｓ０２から発光された白色光が、回転フィルタＳ０３の白色光透過フィルタＳ１６と狭帯域透過フィルタＳ１７を交互に透過する。よって、白色光透過フィルタＳ１６を透過した白色光と、狭帯域透過フィルタＳ１７を透過した特殊光が交互に集光レンズＳ０４に達し集光されることになる。集光された白色光または特殊光はライトガイドファイバＳ０６を通って照明光学系Ｓ０７から被写体に照射される。
【００３３】
被写体から反射した反射光が集光レンズＳ０８により集光され、Ｒ・Ｇ・Ｂを受光する撮像素子がＢａｙｅｒ型に配置された撮像素子Ｓ０９に到達し光電変換を行いアナログの信号となりＡ／Ｄ変換部１１０へ送られる。
【００３４】
白色光を照射することにより取得されＡ／Ｄ変換部１１０でデジタルの信号に変換された信号は画像取得部１２０へ送られ、通常光画像として保持される。また、特殊光を照射することにより取得されＡ／Ｄ変換部１１０でデジタルの信号に変換された信号を画像取得部１２０に送り、特殊光画像として保持してもよい。なお、本実施形態においては、特殊光画像は、注目領域検出部１６２における注目領域の検出処理に用いられることが考えられる。よって、注目領域検出部１６２がない構成を採用した場合、もしくは、注目領域検出部１６２における注目領域の検出処理を通常光画像に基づいて行う場合等では、特殊光画像は使われない。そのような場合には、特殊光画像を取得する必要はなく、回転フィルタＳ０３がなくてもよい構成となる。
【００３５】
画像取得部１２０で取得された画像を基準画像とする。基準画像は、最終的な出力の画像のサイズよりも大きな領域を持つ。画像取得部１２０で取得された基準画像は、一旦バッファ１４０に保持される。そして、抽出部１７０は、状況取得部１６０で取得された操作状況情報に基づいて、位置ずれの補正度合いの強弱を決定し、シーケンシャルに見てブレの少ないような領域を抽出画像として切り出し、表示制御部１８０へ送信する。これにより、ブレの少ない動画像が得られる。表示制御部１８０へ送信された動画像は、モニタなどの表示装置へ送信されユーザに提示される。
【００３６】
１．３ 操作状況情報に応じた補正度合いの決定
以上の処理により、ブレ補正が行われた動画像をユーザに提示することが可能になるが、本実施形態においては、抽出部１７０による抽出処理（具体的には位置ずれの補正度合いの強弱の決定）を、状況検出部１６０からの操作状況情報により制御する点が特徴となる。抽出部１７０は、状況検出部１６０の停止近接検出部１６１、注目領域検出部１６２、部位検出部１６３、観察状態検出部１６４、倍率取得部１６５、操作量情報取得部１６６、送気送水検出部１６７の少なくとも１つからの情報を受け取り、位置ずれの補正度合いの強弱を制御する。
【００３７】
以下、各部からの情報に基づいて、どのように位置ずれの補正度合いが決定されるのかについて詳述する。
【００３８】
１．３．１ 停止・近接検出に基づく補正度合いの決定
近づいているか、遠ざかっているか、或いは停止しているかの判断は、停止近接検出部１６１で行われ、具体的な手法としては例えば、画像に基づくマッチング処理等が考えられる。つまり、撮像画像内の被検体のエッジ形状等をエッジ抽出等で認識し、認識したエッジ形状の大きさが時間的に後のフレームの画像において、大きくなっているか小さくなっているかを判定することで、近づいているか否かの判定を行う。なお、近づいているか否かを判定する手法は画像処理に限定されるものではなく、例えば、赤外線アクティブセンサ等の測距センサを用いて被写体との距離の変化を見る手法等、種々の手法が考えられる。
【００３９】
スコープが被写体に近づいているときには、ユーザは近づく先の被写体の部分を詳細に観察しようとしていると判断できるため、抽出部１７０で行われる位置ずれの補正度合いの強度を強くする。また、遠ざかっているときには、詳細な観察は終了していると判断できるため、補正度合いの強度は弱くしてよい。また、スコープが停止しているときには、特定の箇所を詳細に観察しようとしていると判断できるため、補正度合いの強度を強くする。
【００４０】
１．３．２ 注目領域検出部からの注目領域情報に基づく補正度合いの決定
注目領域検出部１６２は、公知の領域検出、例えば病変検出のような処理を行うことで注目領域に関する情報である注目領域情報を検出する。画像の中に注目領域（病変領域）を検出したときには当該注目領域をじっくりと観察したい場合が多いので、抽出部１７０は位置ずれの補正度合いを強くする制御を行う。一方、病変等が検出されていないときにはじっくりと観察する必要がない場合が多いので、位置ずれの補正を弱くする（例えばオフにする）制御を行う。
【００４１】
操作部１３０には、更に領域検出を行うボタンが準備されていて、ユーザがそのボタンを押下すると注目領域検出部１６２にて画面の中心を含む領域を注目領域として抽出し、抽出した領域が中心に来るように抽出部１７０にて位置ずれの補正を行ってもよい。抽出した領域が中心に来るようなブレ補正を行うためには、抽出領域を認識する必要があるが、ここでは例えばエッジ抽出処理等を用いるものとする。ただし、領域の認識手法はエッジ抽出処理に限定されるものではない。
【００４２】
１．３．３ 部位検出に基づく補正度合いの決定
部位検出部１６３により、スコープが位置する部位を判定し、補正度合いを決定してもよい。スコープが生体内のどの部位（例えば、十二指腸、結腸等）にあるかの判定には、例えばテンプレートマッチングなどの既知の認識アルゴリズム等を用いる。また、既知のシーン変化認識アルゴリズムを用いて基準画像の画素の特徴量変化に基づいて、どの器官か判定することも可能である。
【００４３】
例えばスコープが位置する部位が食道である場合には、心臓に近いため被写体が常に拍動していて動いている。そのため、電子式ブレ補正を行おうとすると、動きが大きいため注目領域が視野から外れやすくなってしまい、うまく位置ずれの補正を行うことができない。そのような器官では補正の度合いを弱くしておくことでエラーを防止することができる。
【００４４】
１．３．４ 観察状態に基づく補正度合いの決定
近年の内視鏡装置では、通常観察の他に、高倍率（例えば１００倍以上）での観察である拡大観察を行うことができるものがある。拡大観察モードにおいては、高倍率での観察を行っているため、基準画像から抽出領域が外れてしまう可能性が非常に高くなる。そのため、拡大観察モードにおいては、位置ずれの補正度合いを弱くする処理を行う。
【００４５】
なお、拡大観察モードか否かは操作部１３０からの操作情報を用いて判断してもよいし、倍率取得部１６５で取得した倍率情報を用いてもよい。例えば、操作部１３０に拡大観察モードと他のモードとの切り替えを行う切り替えボタンが設けられているような場合には、そのボタンが押されたか否かの情報を操作量情報取得部１６６が取得し、それに基づき、観察状態検出部１６４が観察状態を検出する。また、倍率から判断する場合には、倍率取得部１６５が取得した倍率情報により、撮像部１３における倍率が拡大観察モードに対応する倍率になっていることを観察状態検出部１６４で検出すればよい。
【００４６】
１．３．５ 倍率取得部からの倍率情報に基づく補正度合いの決定
倍率取得部１６５は、撮像部１３における撮像倍率を倍率情報として取得する。そして、倍率情報により表される撮像倍率が所与の閾値より小さい場合には、ユーザは拡大観察を用いて被写体を詳細に観察しようとしていると判断できるため、図６に示したように、抽出部１７０は、倍率が大きくなるほど、位置ずれの補正度合いの強度を強くする制御を行う。しかし、倍率情報により表される撮像倍率が所与の閾値より大きい場合には、ユーザは所定の部分を詳細に観察しようとしていると判断できるものの、高倍率のためブレの影響が大きく、基準画像から抽出領域が外れてしまう可能性が高まる。そのため、図６に示したように、倍率が大きくなるほど、位置ずれの補正度合いの強度を弱くする制御を行う。
【００４７】
１．３．６ 操作部からの操作量情報に基づく補正度合いの決定
操作部１３０は、ユーザの操作による情報である操作量情報を取得し、抽出部１７０へ送信する。そして、抽出部１７０ではそのユーザの操作による情報に応じて位置ずれの補正度合いが決定される。
【００４８】
一例としては、図７のように内視鏡のスコープ先端部の動作と連動するダイヤルがスコープ付近に配置されていて、そのダイヤルの操作がある。この操作が行われると、ユーザのダイヤルの操作に対応する操作量情報を抽出部１７０へ送信する。そのダイヤルの動きに応じて抽出部１７０で行う位置ずれの補正度合いを調整する。ダイヤルの操作量が所与の閾値よりも大きい場合には、補正の度合いを小さくする（大きく動かすとき、ユーザはブレ補正よりも視界を変えたいと思われるため。）処理を行う。なお大きく動かすときは被写体を追随しきれず電子ブレ補正を適用できない場面も多くなる。追随できないときには無理にブレ補正は行わない。
【００４９】
１．３．７ 送気・送水情報に基づく補正度合いの決定
送気送水検出部１６７は、内視鏡装置による送気処理、送水処理を検出する。具体的には送気量や送水量を検出する。送気とは空気を送ることで、例えば管状の部位を広げたりすることに用いられる。また、送水とは水を流すことで、例えば観察位置にある残渣を洗い流したりすることに用いられる。
【００５０】
送気や送水が行われるケースでは、ドクターの目的はあくまで送気・送水であり、送気処理又は送水処理が終了するまでは観察や診断は行われないことが想定される。なにより、送気により被写体が細かく振動したり、送水により被写体上を水が流れているような状況では、効率的な位置ずれ補正を行うことは難しいと考えられる。そのため、送気送水検出部１６７により、送気量や送水量が所与の閾値以上であると判定された場合には、位置ずれの補正度合いは弱く設定する。
【００５１】
１．４ 通常の電子式位置ずれ補正と弱い位置ずれ補正
まず、公知の技術である通常の電子式位置ずれ補正について図８を用いて説明する。図８の縦軸が時間軸であり、左側の画像が画像取得部１２０で取得されバッファ１４０に保持される画像（基準画像）である。また、右側の基準画像に比べて小さい領域を切り出した後の画像がユーザに対して提示される画像（抽出画像）である。そして、画像中の線で囲まれた領域が注目領域であるとする。
【００５２】
このとき、電子式位置ずれ補正では、常に注目領域が抽出画像の所定位置に来るような領域を、基準画像から抽出し抽出画像とする。図８の例では所定位置とは抽出画像の中央位置となっているが、これに限定されるものではない。
【００５３】
まず時刻ｔ１では、注目領域が所定位置（中央位置）に来るような領域を抽出して、抽出画像とする。このようにすることで、注目領域を所定位置に表示するような抽出画像を取得できる。続いて時刻ｔ２では、ｔ１と同様に注目領域が所定位置（中央位置）に来るような領域を抽出して、抽出画像とするが、図８の例では、撮像部１３が右下方向にぶれたことにより、被写体が左上方向に移動してしまっている。そこで、ｔ２ではｔ１よりも左上方向に移動した領域を抽出領域とする。このようにすることで、時刻ｔ２においても所定位置に注目領域が位置するような画像を表示することができ、結果として、ｔ１、ｔ２の両方で注目領域の画像上位置が変化しないことになる。
【００５４】
また、時刻ｔ３以降も同様で、図８の例では撮像部１３が左方向にぶれたことにより、被写体が右方向に移動してしまっている。そこで、ｔ３では右方向に移動した領域を抽出領域とする。このようにすることで、時刻ｔ３においても、表示される画像（抽出画像）における注目領域の画像上位置が変化しないことになり、時系列的にブレのない動画像をユーザに提示することができる。
【００５５】
次に、本実施形態の手法である弱い位置ずれ補正について図９を参照して説明する。図８と同様に、縦軸が時間軸、左側が基準画像、右側が抽出画像となっている。時刻Ｔ１での抽出態様は通常の電子式位置ずれ補正と同様であり、注目領域が抽出画像の所定位置に来るような領域を抽出する。
【００５６】
次に時刻Ｔ２では、図９の例では被写体が左上方向に移動している。ここで、位置ずれ補正を全く行わない（ブレが生じた画像を取得する）場合には、直前の時刻Ｔ１と同じ位置の領域Ａ１を抽出することになる。Ａ１を抽出したときには、基準画像における注目領域の位置の変化が、そのまま抽出画像にも反映されることになる。それに対して、上述した通常の電子式位置ずれ補正を行った（ブレが全く生じない画像を取得する）場合には、図９のＡ２で示した領域を抽出することになる。Ａ２を抽出すれば、抽出画像においては位置ずれのない連続した画像を取得できる。
【００５７】
本実施形態における弱い位置ずれ補正とは、Ａ１とＡ２の間に位置する領域であるＡ３を抽出領域とする手法である。このようにすることで、抽出画像においても位置ずれ事態は発生してしまうものの、基準画像における注目領域の位置ずれに比べて、抽出画像における位置ずれを小さく抑えることが可能になる。
【００５８】
また、時刻Ｔ３のように、注目領域が基準画像の端に近いところに位置する場合にも、Ａ１に対応する領域Ｂ１、及び、Ａ２に対応する領域Ｂ２を設定し、Ｂ１とＢ２の間に位置する領域を抽出領域とすればよい。ただし、この場合には、抽出領域Ｂ３の位置が問題となる。なぜなら、画像情報は基準画像の大きさ分しか取得されていない（基準画像の外側は画像情報が存在しない）ため、抽出領域が基準画像をはみ出すように設定されてしまうことは好ましくない。そのため、Ｂ３は基準画像からはみ出さない範囲で設定されることになる。図９の例で言えばＢ３はＢ２に比べてＢ１に近い位置に設定されることになる。
【００５９】
ここで、弱い位置ずれ補正を行うことのメリットについて説明する。通常の（ブレが生じない）位置ずれ補正を行っていると、抽出画像において注目領域が所定位置に来るようにする必要が生じる。そのため、図１０（Ａ）のような大きさの基準画像と、図１０（Ｂ）のような大きさの抽出画像及び注目領域を考えたとき、位置ずれ補正が可能な注目領域（もしくは抽出領域）の左上限界位置、右上限界位置、左下限界位置及び右下限界位置は図１０（Ｃ）〜図１０（Ｆ）のようになる。図１０（Ｃ）〜図１０（Ｆ）よりも外側に注目領域が移動した場合には、抽出領域が基準画像から外れてしまうことになり好ましくない。結果として、基準画像において位置ずれ補正が可能な注目領域の移動範囲は図１０（Ｇ）で示したＣ１に限定されてしまう。つまり、基準画像のＣ１以外の領域をＣ２としたときに、Ｃ１では完全に位置ずれ補正を行うことができる反面、Ｃ２では位置ずれ補正が行えない。つまり通常の電子式位置ずれ補正では、注目領域の位置に応じて位置ずれ補正を行うか行わないかの選択しかなく、挙動が極端になってしまう。
【００６０】
それに対して、弱い位置ずれ補正では、上述したようなＣ１、Ｃ２の区別がなく、基準画像内に注目領域を捉えられていれば、いつでも位置ずれ補正を行うことが可能となる。もちろん、弱い位置ずれ補正では、抽出画像においてもある程度の位置ずれを許容しているため、通常の位置ずれ補正のように全くブレのない画像を提供できるわけではない。しかし、位置ずれ補正を行わない場合に比べて、位置ずれの程度（ズレ量の大きさ）を小さくすることが可能になるという効果があり、かつ注目領域が基準画像の端に近い位置に移動したとしても効果を持続することが可能である。
【００６１】
つまり、通常の位置ずれ補正を行う場合と、弱い位置ずれ補正を行う場合との挙動を比較した場合、通常の位置ずれ補正は、狭い範囲で完全に停止しているか、高速で移動してしまうかという段階的な変化をするのに対して、弱い位置ずれ補正では広い範囲で低速で移動することになる。ここで、狭い範囲、広い範囲とは、位置ずれ補正が可能な注目領域の移動範囲のことを指すものとする。
【００６２】
本実施形態を内視鏡装置に適用することを考えた場合、ユーザ（ドクター）は、注目領域を詳細に観察して、診断や処置を行うことになる。その場合、注目領域の画像上位置が極端に変化するよりも、多少のブレがあっても変化が少ない方が診断、処置には適していると考えられる。また、被写体（生体内の組織）は拍動等の理由により静止していないことが想定される。そのため、注目領域の画像上位置も頻繁に変化することが考えられる。その際、画像上位置の変化が図１０のＣ１に収まらないような場合には、通常の位置ずれ補正はほとんど機能しないことになり、弱い位置ずれ補正の優位性が高まることになる。
【００６３】
また、位置ずれ補正が稼働している状態から、急激な変化により、注目領域が基準画像から外れてしまう状態に移行してしまうケースも想定される。その場合、通常の位置ずれ補正では、注目領域は抽出画像の所定位置で静止していた状態から、画面から外れ観察できない状態へ変化することになる。そのため、注目領域の移動方向がわからず、見失った注目領域を再発見することが非常に困難である。それに対して、弱い位置ずれ補正では、位置ずれ補正が稼働している状態においても、ある程度のブレを許容しているため、大まかな動きの方向を判断することが可能である（これは、ユーザが判断してもよいし、システムが検出してもよい）。よって、基準画像から注目領域が外れてしまった場合でも、注目領域がフレーミングアウトしていく方向がわかるため、注目領域の再発見が容易になるというメリットがある。
【００６４】
なお、上述した図１０を用いた例では、抽出画像にしめる注目領域の面積が大きければ（注目領域を拡大すれば）、Ｃ１の領域も大きくできると考えることも可能である。そのようにすれば、Ｃ１とＣ２の間での段階的な変化は抑止できる。しかし、このようなケースでも、通常の位置ずれ補正では、Ｃ１においてブレのない画像を提供している状態から、注目領域が基準画像から外れ観察できない状態へ、急激に移行してしまうことがありうることに変わりはない。むしろ、高倍率での観察を行っているとすれば、基準画像から注目領域が外れてしまう可能性が高くなり、注目領域を見失う可能性も高くなる。よって、注目領域の画像上での面積を大きくした場合であっても、上述したように、弱いブレ補正にメリットがあることには変わりがない。
【００６５】
２．具体的な実施形態例
次に、実際の診断・観察処理を想定した、具体的な実施形態例について説明する。
【００６６】
２．１ 下部内視鏡
まず、肛門から挿入し、大腸等を観察するために用いられる下部内視鏡の実施形態例について説明する。なお本例においては、下部内視鏡は、最初に挿入しきってしまい、引き抜きながら観察していくものとする。
【００６７】
ここで、内視鏡のスコープには図１の外装Ｓ０５の内部が含まれる。なお、照明光学系Ｓ０７や集光レンズＳ０８がある側が、スコープの先端部である。挿入時には撮像部１３，Ａ／Ｄ変換部１１０を通じて、画像取得部１２０において画像が取得されている。
【００６８】
診断・観察処理が開始されると、まず、肛門から内視鏡を挿入する。この際、挿入可能なところまで挿入する（観察は引き抜きながら行う）。このようにすることで、生体内における観察位置の特定が容易になる。つまり、挿入時において、どの程度挿入することでどの部位に到達するかを認識することが出来る（例えば、Ｌ１ｃｍ〜Ｌ２ｃｍが下行結腸であり、Ｌ２ｃｍ〜Ｌ３ｃｍが横行結腸である等）ため、引き抜いた長さにより、どの部位のどの程度の位置を観察しているかがわかる。この挿入操作の際は、挿入しきってしまうことが目的であり、じっくりとは観察しないのでブレ補正は必要ない。そのため、ユーザのスコープを挿入するという操作やダイヤルの操作と連動して、抽出部１７０は、位置ずれの補正度合いの強弱を弱く（例えばオフに）設定する。
【００６９】
挿入しきったら、次に、引き抜きながら観察していく。この際、まずは病変部等をサーチする必要があるため、広域に観察することが想定される。視野を広くして注目領域があるかどうか探している状態なのでブレ補正は必要ない。よって、ユーザの引き抜く操作と連動して補正の度合いを弱くする。
【００７０】
広域観察中には、例えば注目領域検出部１６２において、注目領域の検出処理が行われている。ここで、注目領域検出部１６２により注目領域が検出されたら、検出された領域をじっくり観察するべきなのでなるべく静止した画を提示したい。よって、抽出部１７０は、注目領域検出部１６２で注目領域が検出されたら補正度合いを強くする制御を行う。一方、注目領域が検出されていない場合には位置ずれ補正は必要ないので補正度合いを弱くする制御を行う。つまり、注目領域検出部１６２での結果に応じて位置ずれ補正を制御することになる。
【００７１】
また、ユーザが気になる領域を見つけたとする。その場合、ユーザはじっくり観察するために挿入操作やダイヤル操作を止めることが想定される。よって、ユーザに対してブレの少ない静止した画像を提示する必要がある。そこで、所与の時間、挿入操作やダイヤル操作をしていないというのと連動して（挿入していない・ダイヤル操作をしていないという操作により制御されて）、抽出部１７０は、補正度合いを強くする制御を行う。
【００７２】
また、領域検出以外にも、ユーザがある領域を大きく表示させて観察するために、当該領域に向けてスコープ先端を近づける操作を行う場合が考えられる。この場合、状況検出部１６０の停止近接検出部１６１では、エッジ検出などを行って検出したエッジ形状を、時間的に前後のフレームの画像で比較し、検出したエッジ形状の大きさが大きくなっていれば近づいていると判定する。そして、近づいていると判定されたら、抽出部１７０は、補正度合いを強くする制御を行い、特定領域の詳細観察を意図していると考えられるユーザに対して静止している動画像を提供する。
【００７３】
生体内を観察している場合、観察しているところに残渣があるケースが想定される。この場合残渣は観察の邪魔になるため、ユーザは送水して洗い流すことが考えられる。送水しているときには得られる画像は、大きく変わるのでブレ補正が困難である。そもそも送水するときには残渣を洗い流すことが目的であり、観察しているわけではないのでブレ補正する必要がない。よって、抽出部１７０は、送気送水検出部１６７において送水操作していることが検出されたときには補正度合いを弱くする制御を行う。
【００７４】
なお、送気送水検出部１６７における検出処理は、操作部１３０による操作状況を取得することにより行ってもよい。この場合、操作部１３０の送水ボタン（不図示）が押下され送水タンクＳ１４から送水管Ｓ１５を通じて、水がスコープの先端から放出され、再度送水ボタンが押下されると水の放出が止まる。つまり、操作部１３０の操作情報を例えば操作量情報取得部１６６等で取得し、取得した情報に基づいて送気送水検出部１６７は送気処理、送水処理が行われたことを検出する。また、送水管Ｓ１５の先端にセンサを設けて、水が放出されているかを監視したり、送水タンクＳ１４の水の残量を監視することにより、送水しているかどうかの情報を取得してもよい。
【００７５】
２．２ 上部内視鏡
次に口や鼻から挿入され、食道や胃等を観察するために用いられる上部内視鏡について説明する。
【００７６】
観察処理が開始されると、まず、口（鼻）から内視鏡が挿入される。最初は、どんどん挿入している段階なので、ブレ補正をする必要がない。よって、ユーザによる操作部１３０の操作（スコープを挿入するという操作やダイヤルの操作）と連動して、抽出部１７０は、補正度合いを弱くする制御を行う。
【００７７】
ここで、状況検出部１６０の操作量情報取得部１６６等において、例えば挿入した長さ情報を取得することで、単位時間あたりに挿入した長さがどれだけ長くなっていったかで挿入スピードを推測してもよい。挿入スピードが所与の閾値よりも大きければ、詳細観察のための挿入ではなく、初期段階（どんどん挿入している段階）であると判断できる。
【００７８】
ある程度挿入することで、スコープ先端部が食道に達する。食道は心臓に近くその拍動によりほとんど動いている（ぶれている）状態であるため、ブレ補正を適切に行うことは困難である。よって、状況検出部１６０の部位検出部１６３により観察部位が食道と判定されたら、抽出部１７０は、補正度合いを弱くする（基本的にはオフにする）制御を行う。
【００７９】
食道を移動中にユーザが気になる領域を見つけた場合には、ユーザに対して静止した画像を提示することが求められる。この場合、ユーザはじっくり観察するために挿入操作やダイヤル操作を止めることが想定される。よって、下部内視鏡の例で示したように、所与の時間、操作が行われなかったことを持って、ブレ補正をオンにする制御を行いたい。しかし心臓に近く動き量が大きいので、ブレ補正が効きにくい。その際には抽出部１７０は、補正度合いを弱くする制御を行えばよい。弱くブレ補正をかける方法の例は上述したとおりである。
【００８０】
なお、部位の検出については状況検出部１６０の部位検出部１６３において行う。例えば、画像取得部１２０で取得され、バッファ１４０に格納された画像から、所定の部位を検出する認識処理を行えばよい。また、スコープの挿入長さを測定し、挿入長さと一般的な部位の長さとを比較することで、スコープの先端がどの部位にあるか推測してもよい。或いは、スコープの先端部に発信器を設置し、体表面に受信機を装着することで、スコープ先端が体内のどの位置にあるかを捕捉してもよい。この場合、一般的な体内の器官のマップと比較を行い、スコープの先端がどの器官にあるかを推測する。
【００８１】
更に挿入を続けることで、胃に到達する。胃に到達したかどうかの判断は部位検出部１６３で行う。進んでいるときはブレ補正の必要がない。よって、上述したように、ユーザのスコープを挿入するという操作やダイヤルの操作と連動して、抽出部１７０は、ブレ補正をオフにする制御を行う。
【００８２】
胃の中の観察では、ユーザは胃の壁面に病変などの注目領域があるか探す。この際、操作部１３０において、ダイヤル操作でアングルを変えることが想定される。サーチ中は特定の範囲を観察しているわけではないので、また、視点が大きく変わるため、ブレ補正は行われない。よって、ダイヤル操作と連動して、抽出部１７０は、ブレ補正をオフにする制御を行う。
【００８３】
そして、サーチの結果ユーザが胃の壁面に気になる領域を見つけたとする。その場合、ユーザは拡大してじっくり観察したいのでズーム操作（ただし、所与の閾値よりも小さい倍率内でのズームであるとする）を行う。じっくり観察する場合にはブレの少ない画像を提示する必要があるため、ズーム操作に連動して、抽出部１７０は、ブレ補正をオンにする制御を行う。
【００８４】
また、ズームレンズＳ１３と撮像素子Ｓ０８を前方（スコープの先端側）に動作させることで、集光レンズＳ０８で集められた光を拡大させて拡大画像を取得することができる。或いは、画像取得部１２０で取得されている画像に対して、画像拡大処理（デジタルズーム）を行うことで拡大画像を取得してもよい。これらの場合にも、倍率取得部１６５により、倍率情報を取得して、操作状況情報として抽出部１７０に送信する。
【００８５】
そして、場合によっては発見した病変に対してその場で切り取る等の処置を行う。この場合、スコープの先端から鉗子等の処置具を出して処置を行う。処置具での処置の際には本当はブレのない画像が望ましいが、被写体のブレと処置具とのブレは同期しておらず、被写体をベースにブレ補正を行ってしまうと処置具の方がブレてしまうので、ブレ補正を行わない。
【００８６】
具体的には、ユーザは挿入口Ｓ１１から処置具を挿入して誘導管Ｓ１２をたどらせ、誘導管Ｓ１２の先から出して処置を行う。状況検出部１６０では、処置具を挿入している情報を取得する。その取得は例えば、誘導管Ｓ１２の先端にセンサ（不図示）を設けて処置具が飛び出しているかどうかを監視してもよいし、誘導管Ｓ１２の長さと処置具の挿入長さとの比較から処置具が誘導管Ｓ１２の先から出ているかという判断をしてもよい。処置具が誘導管Ｓ１２の先から出ていたら抽出部１７０では、位置ズレの補正を考慮せずに抽出画像を抽出する。
【００８７】
以上の本実施形態では、画像処理装置は、図１に示したように、内視鏡装置の撮像部１３による連続的な撮像により、基準画像を連続的に取得する画像取得部１２０と、内視鏡装置の操作状況を検出し、検出結果を表す操作状況情報を取得する状況検出部１６０と、基準画像から抽出領域を抽出し抽出画像を取得する抽出部１７０とを含む。そして抽出部１７０は、操作状況情報に基づいて、被検体像の位置ずれの補正度合いの強弱を決定し、決定した補正度合いの強弱に対応した抽出態様に従って、基準画像から抽出画像を抽出する。
【００８８】
ここで、操作状況情報とは、内視鏡装置の状況情報を検出することにより取得される。状況情報とは内視鏡装置が操作されることにより検出される情報等である。ここでの操作とは、内視鏡装置のスコープ部の操作に限定されるものではなく、内視鏡装置全体の操作をも含むものとする。そのため、操作状況情報には、スクリーニングという内視鏡装置の操作状況に基づく、注目領域の検出という状況も含まれうる。
【００８９】
これにより、操作状況情報を取得した上で、取得した操作状況情報に基づいて位置ずれの補正度合いの強弱を決定することができる。そして、決定した補正度合いの強弱に対応した抽出態様で抽出画像を抽出する。よって、操作状況に対応させて適切な強さで位置ずれの補正を行うことが可能になる。なお、弱い位置ずれ補正を行うことのメリットは上述したとおりである。
【００９０】
また、抽出部１７０は、操作状況情報に基づいて位置ずれの補正度合いの強弱を決定し、決定した補正度合いの強弱に基づいて、基準画像における抽出領域の位置を決定してもよい。
【００９１】
これにより、補正度合いの強弱に対応した抽出態様として、基準画像における抽出領域の位置を変化させる抽出手法を用いることが可能になる。具体的には例えば、図９に示したように、位置ずれ補正を行わないＡ１と、完全に位置ずれ補正を行うＡ２との間に位置する領域Ａ３の位置を変化させる。図９の例では、Ａ１に近づけるほど位置ずれの補正度合いは弱くなり、Ａ２に近づけるほど位置ずれの補正度合いは強くなる。
【００９２】
また、状況検出部１６０は、内視鏡装置のスコープ部が停止しているか否かの情報を操作状況情報として取得し、抽出部１７０は、操作状況情報により内視鏡装置のスコープ部が停止していると判断された場合には、位置ずれの補正度合いを強くする。具体的には例えば、内視鏡装置の操作部が所与の期間操作されていないことを検出した場合に、スコープ部が停止していると判断すればよい。
【００９３】
ここで、位置ずれの補正度合いを強くするとは、スコープ部が停止していると判断されなかった場合よりも強くすることを意味する。また、補正度合いを強くするとは、所与の基準よりも強くする絶対的な変化を意味する場合もあるし、前の時刻よりも強くするという相対的な変化を意味する場合もある。なお、補正度合いを弱くする場合も、絶対的な変化と相対的な変化の両方のケースが考えられる。また、位置ずれの補正度合いを強くするとは位置ずれ補正の機能をオンにする場合も含まれるものとする。同様に、位置ずれの補正度合いを弱くするとは位置ずれ補正の機能をオフにする場合も含まれる。
【００９４】
これにより、スコープ部が停止していると判断された場合には、位置ずれの補正度合いを強くすることが可能になる。スコープ部が停止している状況では、取得された基準画像における注目領域の画像上位置は大きく変化しないと考えられるため、強い位置ずれ補正をかけても支障がないと考えられる。また、スコープ部が停止しているときには、ドクターが特定の領域を詳細に観察しようとしていることが考えられるため、強い位置ずれ補正をかけてブレのすくない動画像を提供することが望ましく、その要求にも合致することになる。
【００９５】
また、状況検出部１６０は、内視鏡装置のスコープ部が被検体に接近しているか否かの情報を操作状況情報として取得し、抽出部１７０は、操作状況情報により内視鏡装置のスコープ部が被検体に接近していると判断された場合には、位置ずれの補正度合いを強くする。具体的には例えば、基準画像にラプラシアンフィルタ等を適用し、被検体のエッジ形状を抽出した上で、エッジ形状の大きさの変化に基づいて、接近しているか否かを検出してもよい。また例えば、基準画像において複数の局所領域を設定し、局所領域間の距離情報の変化に基づいて接近しているか否かを検出してもよい。ここで、領域間の距離情報とは、各局所領域に設定された基準位置（例えば中央位置の座標情報）間の距離情報とすればよい。
【００９６】
ここで、位置ずれの補正度合いを強くするとは、スコープ部が被検体に接近していると判断されなかった場合よりも強くすることを意味する。
【００９７】
これにより、スコープ部が被検体に接近していると判断された場合には、位置ずれの補正度合いを強くすることが可能になる。スコープが被検体に接近している状況では、ユーザが対象の被検体を拡大して、より詳細に観察しようとしていることが想定されるため、位置ずれの補正度合いを強くすることで、ブレのすくない動画像を提供することができる。その際の接近を検出する手法は任意であり、例えば、被写体のエッジ形状が大きくなっているとき、もしくは設定された複数の局所領域間の距離情報が大きくなっているときに、被検体に接近していると判断すればよい。
【００９８】
また、状況検出部１６０は、基準画像内において注目領域を検出したか否かの情報を操作状況情報として取得し、抽出部１７０は、操作状況情報により注目領域が検出されたと判断された場合には、位置ずれの補正度合いを強くしてもよい。
【００９９】
ここで、位置ずれの補正度合いを強くするとは、注目領域が検出されたと判断されなかった場合よりも強くすることを意味する。また、注目領域とは、ユーザにとって観察の優先順位が他の領域よりも相対的に高い領域であり、例えば、ユーザがドクターであり治療を希望した場合、粘膜部や病変部を写した領域を指す。また、他の例として、ドクターが観察したいと欲した対象が泡や便であれば、注目領域は、その泡部分や便部分を写した領域になる。すなわち、ユーザが注目すべき対象は、その観察目的によって異なるが、いずれにしても、その観察に際し、ユーザにとって観察の優先順位が他の領域よりも相対的に高い領域が注目領域となる。注目領域をシステムが自動的に検出する場合には、図１５に示したように、ユーザに対して注目領域を検出した旨を知らせてもよい。図１５の例では画面の下部に特定の色のラインを表示している。
【０１００】
これにより、基準画像において注目領域を検出した場合には、位置ずれの補正度合いを強くすることが可能になる。注目領域は上述したようにユーザにとって観察の優先順位が他の領域よりも高い領域であるため、注目領域が検出された場合には、ユーザは注目領域を詳細に観察することが想定される。そのため、位置ずれの補正度合いを強くして、ブレの少ない動画像を提供する。
【０１０１】
また、状況検出部１６０は、内視鏡装置のスコープ部が位置する部位に関する情報を操作状況情報として取得し、抽出部１７０は、操作状況情報によりスコープ部が所与の部位に位置すると判断された場合には、注目領域が検出されたとしても、位置ずれの補正度合いを強くせずに弱くしてもよい。
【０１０２】
ここで、位置ずれの補正度合いを弱くするとは、スコープ部が所与の部位に位置すると判断されなかった場合よりも弱くすることを意味する。
【０１０３】
これにより、所与の部位を観察している場合には、注目領域が検出されたとしても位置ずれの補正度合いを弱くすることが可能になる。ここでの所与の部位とは例えば食道等である。食道等は心臓に近いため拍動の影響を強く受ける。そのため、食道を観察しているときは被写体が大きく動いてしまい、強いブレ補正をかけても機能しないことが考えられる。そのため、食道等を観察しているときには位置ずれの補正度合いを弱くする。
【０１０４】
また、状況検出部１６０は、基準画像の画素の特徴量に基づいて、内視鏡装置のスコープ部が位置する部位を検出してもよい。また、スコープ部が被験者の体内に挿入された長さを表す挿入長と、基準長とを比較することでスコープ部が位置する部位を検出してもよい。
【０１０５】
ここで、基準長とは、挿入長と部位の位置とを対応付けるものである。例えば、基準長としては被験者の性別、年齢から想定される一般的な体内器官の長さを用いることが考えられる。挿入開始地点（例えば肛門等）からＬ１ｃｍ〜Ｌ２ｃｍが下行結腸であり、Ｌ２ｃｍ〜Ｌ３ｃｍが横行結腸であるといったような情報を基準長として保持しておけば、挿入長と基準腸を比較することで部位を推定できる。例えば、挿入長がＬ２＜Ｌ４＜Ｌ３となる長さＬ４だったとすれば、上述の例ではスコープ部は横行結腸に位置すると推定できる。
【０１０６】
これにより、画像処理、或いは、挿入長と基準長との比較に基づいて、スコープ部が位置する部位を推定することが可能になる。
【０１０７】
また、状況検出部１６０は、撮像部１３が拡大観察状態か否かの情報を操作状況情報として取得し、抽出部１７０は、操作状況情報により撮像部１３が拡大観察状態であると判断された場合には、位置ずれの補正度合いを弱くしてもよい。
【０１０８】
ここで、位置ずれの補正度合いを弱くするとは、撮像部１３が拡大観察状態であると判断されなかった場合よりも弱くすることを意味する。
【０１０９】
これにより、撮像部１３が拡大観察状態にあると判断された場合には、位置ずれの補正度合いを弱くすることが可能になる。内視鏡の拡大観察とは、例えば１００倍以上の高倍率での観察が想定される。そのため、基準画像として取得される被写体の範囲は非常に狭い領域になっており、少しのブレでも被写体の画像上位置は大きく変化してしまう。そのため、強いブレ補正をかけても効果は期待できないため、補正度合いを弱くする。
【０１１０】
また、状況検出部１６０は、拡大観察状態にある内視鏡装置の撮像部１３のズーム倍率に関する情報を操作状況情報として取得し、抽出部１７０は、ズーム倍率が所与の閾値より小さいときにはズーム倍率が大きくなるほど補正度合いを強くし、ズーム倍率が所与の閾値よりも大きいときにはズーム倍率が大きくなるほど補正度合いを弱くしてもよい。この際、基準補正度合いよりも弱いことを前提とする。
【０１１１】
ここで、基準補正度合いとは、補正度合いの絶対的な基準となる補正度合いの強度のことであり、図６においては点線で示された補正度合いの強度に対応する。
【０１１２】
これにより、図６に示したような補正度合いの制御が可能になる。ユーザがズーム倍率を上げる操作を行うときには、特定の領域を詳細に観察しようとしていることが想定されるため、位置ずれの補正度合いは強くすることが基本となる。これは、被検体にスコープ部を接近させるケースと同様である。そのため、ある程度（所与の閾値以下の範囲）まではズーム倍率が大きくなるほど補正度合いも強くする。ただし、倍率が大きくなるほど、上述したように、少しのブレでも被写体の画像上位置が大きく変化してしまうことによる影響を無視できなくなってくる。この場合には、強いブレ補正をかけても効果が期待できないため、ズーム倍率が大きくなるほど（ブレの影響が強くなるほど）位置ずれの補正度合いを弱くする制御を行う。
【０１１３】
また、状況検出部１６０は、ユーザによる内視鏡装置のダイヤルの操作量に関する情報を操作状況情報として取得し、抽出部１７０は、ダイヤルの操作量が所与の基準操作量よりも大きい場合には、位置ずれの補正度合いを弱くしてもよい。
【０１１４】
ここで、位置ずれの補正度合いを弱くするとは、ダイヤルの操作量が基準操作量よりも大きいと判断されなかった場合よりも弱くすることを意味する。
【０１１５】
これにより、図１１に示したように、ダイヤルの操作量が大きい場合には位置ずれの補正度合いを弱くすることが可能になる。ダイヤルの操作は例えば、内視鏡装置のスコープ部の先端の移動量に相当する。そのため、ダイヤルの操作量が大きいとは、スコープを大きく移動させていることに相当することになる。よって、そのような場合には、ユーザは特定の領域を観察しているのではなく、スクリーニング操作等を行っていると考えられるため、位置ずれの補正度合いは弱く設定する。
【０１１６】
また、状況検出部１６０は、内視鏡装置の送気時における送気量、または、送水時における送水量に関する情報を操作状況情報として取得し、抽出部１７０は、送気量又は送水量が所与の閾値よりも大きい場合には、位置ずれの補正度合いを弱くしてもよい。
【０１１７】
ここで、位置ずれの補正度合いを弱くするとは、送気量又は送水量が所与の閾値よりも大きいと判断されなかった場合よりも弱くすることを意味する。
【０１１８】
これにより、図１２に示したように、送気量、送水量が大きい場合には、位置ずれの補正度合いを弱くすることが可能になる。送気量又は送水量が所与の閾値よりも大きいときには、ユーザは送気又は送水操作を行うことを目的としており、その際には観察に主眼をおいていないと考えられる。また、送水操作により水が流されていては被検体の観察そのものが困難である。よってこのような場合には位置ずれ補正を行っても効果がないため、補正度合いを弱くする。
【０１１９】
また、画像処理装置は、基準画像の画素の画素値に基づいて、基準画像から同一の被検体像を含む領域である位置ずれ補正対象領域を検出する位置ずれ補正対象領域検出部を含み、抽出部１７０は、位置ずれ補正対象領域の位置に応じて抽出領域の位置を変更してもよい。具体的には、位置ずれ補正対象領域が抽出領域内の所定の位置に来るように抽出領域の位置を変更してもよい。
【０１２０】
これにより、位置ずれの補正度合いの強弱に対応した抽出態様として、位置ずれ補正対象領域に応じた抽出領域の位置の変更を行う手法を用いることが可能になる。具体的には、位置ずれ補正対象領域が抽出領域内の所定の位置（例えば中央位置）に来るように抽出領域の位置を変更する態様が考えられる。
【０１２１】
また、位置ずれ補正を行わない場合の抽出領域の位置を第１の抽出領域位置とし、完全な位置ずれ補正を行った場合（抽出画像において被検体の位置ずれがない場合）の抽出領域の位置を第２の抽出領域位置とした場合に、抽出部１７０は、位置ずれの補正度合いの強弱を弱くする場合には、第１の抽出領域位置と第２の抽出領域位置の間の位置にある領域を抽出領域として設定する。
【０１２２】
ここで、各領域（第１の抽出領域位置に対応する領域、第２の抽出領域位置に対応する領域、抽出領域）の位置関係は、各領域に設定された基準位置の位置関係に基づいて判断するものとする。基準位置とは、領域に対応して設定される位置情報のことであり、例えば領域の中央位置の座標情報や、領域の左下端の座標情報等である。つまり、抽出領域が第１の抽出領域位置と第２の抽出領域位置の間にあるとは、第１の抽出領域位置に対応する領域の基準位置と、第２の抽出領域位置に対応する領域の基準位置との間に、抽出領域の基準位置が存在するということである。
【０１２３】
これにより、図９に示したような、弱い位置ずれ補正を行うことが可能になる。具体的な手法や、手法の利点等は上述したとおりである。
【０１２４】
また、画像処理装置は、表示制御部１８０を含んでもよい。表示制御部１８０は、抽出部１７０により抽出された抽出画像を連続して表示する制御を行ってもよいし、補正度合いを表す補正度合い情報を表示する制御を行ってもよい。
【０１２５】
これにより、抽出部１７０により抽出された抽出画像を表示することが可能になるとともに、抽出画像を取得する際に用いられた位置ずれの補正度合いの強弱の情報を表示することも可能になる。
【０１２６】
また、本実施形態の手法は、上述してきた画像処理装置と、内視鏡スコープとを含む内視鏡装置に関係する。
【０１２７】
これにより、画像処理装置にとどまらず、内視鏡装置にも本実施形態の手法を適用し、上述の効果を得ることが可能になる。
【０１２８】
また、本実施形態の手法は、撮像部１３による連続的な撮像処理によって、被検体像を含む画像である基準画像を連続的に取得し、内視鏡装置の操作状況を検出しその検出結果を示す操作状況情報を取得し、基準画像から被検体像を含む領域を抽出領域として抽出し、抽出画像を取得する際に、操作状況情報に基づいて、被検体像の位置ずれの補正度合いの強弱を決定し、決定した補正度合いの強弱に対応した抽出態様に従って、基準画像から抽出画像を抽出する画像処理装置の制御方法に関係する。
【０１２９】
これにより、画像処理装置にとどまらず、画像処理装置の制御方法にも本実施形態の手法を適用し、上述の効果を得ることが可能になる。
【０１３０】
また、本実施形態の手法は、図１３に示したように、画像取得部１２０と、設定部１５０と、状況検出部１６０と、抽出部１７０とを含む画像処理装置に関係する。画像取得部１２０は基準画像を連続的に取得する。設定部１５０は、基準画像から抽出画像を抽出するにあたって、第１抽出モードと第２抽出モードを設定する。状況検出部１６０は、操作状況情報を取得する。抽出部１７０は、操作状況情報に基づいて第１抽出モードと第２抽出モードのいずれかを選択し、選択したモードに対応した抽出態様で抽出を行う。さらに、状況検出部１６０は、内視鏡装置のスコープ部が送気又は送水に使用されているかに関する情報を操作状況情報として取得し、抽出部１７０は、内視鏡装置のスコープ部が送気又は送水に使用されていると判断された場合には、第２抽出モードを選択する。具体的には例えば、内視鏡装置の操作部において、送気指示又は送水指示が行われたか否かを検出することで、内視鏡装置のスコープ部が送気又は送水に使用されているか否かを検出してもよい。
【０１３１】
ここで、第１抽出モードとは、被検体像の位置ずれを補正する抽出モードであり、第２抽出モードとは、被検体像の位置ずれを補正しない抽出モードである。
【０１３２】
これにより、位置ずれ補正オンに対応する第１抽出モードと、位置ずれ補正オフに対応する第２抽出モードを設定した上で、送気又は送水に関する情報に基づいて、適切な抽出モードを選択することが可能になる。具体的には送気又は送水が行われているときは、位置ずれ補正オフに対応する第２抽出モードを選択することになる。第２抽出モードを選択する理由は、送気、送水時に位置ずれの補正度合いを弱く設定する理由と同様で、上述したとおりである。
【０１３３】
また、本実施形態の手法は、図１４に示したように、画像取得部１２０と、設定部１５０と、状況検出部１６０と、抽出部１７０とを含む画像処理装置に関係する。画像取得部１２０は基準画像を連続的に取得する。設定部１５０は、基準画像から抽出画像を抽出するにあたって、第１抽出モードと第２抽出モードを設定する。状況検出部１６０は、操作状況情報を取得する。抽出部１７０は、操作状況情報に基づいて第１抽出モードと第２抽出モードのいずれかを選択し、選択したモードに対応した抽出態様で抽出を行う。さらに、状況検出部１６０は、内視鏡装置のスコープ部が被検体の治療処置に使用されているかに関する情報を操作状況情報として取得し、抽出部１７０は、スコープ部が被検体の治療処置に使用されていると判断された場合には、第２抽出モードを選択する。具体的には例えば、スコープ部の先端に設けられたセンサからのセンサ情報に基づいて、スコープ部が被検体の治療処置に使用されているか否かを検出してもよい。
【０１３４】
ここで、抽出モードは上述した場合と同様であり、第１抽出モードとは、被検体像の位置ずれを補正する抽出モードであり、第２抽出モードとは、被検体像の位置ずれを補正しない抽出モードである。
【０１３５】
これにより、位置ずれ補正オンに対応する第１抽出モードと、位置ずれ補正オフに対応する第２抽出モードを設定した上で、スコープ部が被検体の治療処置に使用されているかに応じて、適切な抽出モードを選択することが可能になる。具体的には、スコープ部が被検体の治療処置に使用されているときは、位置ずれ補正オフに対応する第２抽出モードを選択することになる。これは、被検体の治療処置に使用される処置具の位置ずれと、被検体の位置ずれが同期しないことによる。つまり、治療処置時には、スコープ部の先端から処置具を出して処置を行うことになり、取得する基準画像内にも処置具が写り込む。しかし、被検体のブレと処置具とのブレは同期しないため、両方のブレを解消するような位置ずれ補正を行うことは困難である。そのため、治療処置時には位置ずれ補正をオフにする第２の抽出モードを選択することになる。その際、治療処置を行っているか否かは、例えば処置具をスコープ部の先端から出しているか否かで判断すればよい。つまり、スコープ部の先端に処置具を出しているか否かを検出するセンサを設けておき、センサからのセンサ情報に基づいて判断を行う。
【０１３６】
また、第２抽出モードに対応した抽出態様は、被検体の位置ずれの補正を考慮せずに、抽出領域を設定する抽出態様であり、抽出部１７０は、設定された抽出領域に含まれる画像を抽出画像として抽出する。また、第２抽出モードに対応した抽出態様は、被検体の位置ずれの補正を考慮せずに、基準画像上の予め決まった場所に抽出領域を設定する抽出態様であってもよい。
【０１３７】
これにより、第２抽出モードに対応した抽出態様として、位置ずれ補正を考慮しない抽出領域の設定を行う態様を用いることが可能になる。特に、基準画像上の予め決まった場所に抽出領域を設定してもよい。よって、抽出領域を容易に決定することが可能になり、処理を簡単化することができる。
【０１３８】
なお、以上のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また画像処理装置の構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。
【符号の説明】
【０１３９】
１１０ Ａ／Ｄ変換部、１２０ 画像取得部、１３０ 操作部、１４０ バッファ、
１５０ 設定部、１６０ 状況検出部、１６１ 停止近接検出部、
１６２ 注目領域検出部、１６３ 部位検出部、１６４ 観察状態検出部、
１６５ 倍率取得部、１６６ 操作量情報取得部、１６７ 送気送水検出部、
１７０ 抽出部、１８０ 表示制御部、
Ｓ０１ 光源装置、Ｓ０２ 白色光源、Ｓ０３ 回転フィルタ、Ｓ０４ 集光レンズ、
Ｓ０５ 外装、Ｓ０６ ライトガイドファイバ、Ｓ０７ 照明光学系、
Ｓ０８ 集光レンズ、Ｓ０９ 撮像素子、Ｓ１１ 挿入口、Ｓ１２ 誘導管、
Ｓ１３ ズームレンズ、Ｓ１４ 送水タンク、Ｓ１５ 送水管
Ｓ１６ 白色光透過フィルタ、Ｓ１７ 狭帯域透過フィルタ
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理装置の制御方法及び内視鏡装置等に関する。
【背景技術】
【０００２】
従来、民生用ビデオカメラなど動画像のブレを補正する方法については、電子式ブレ補正や光学式ブレ補正などの方式が広く用いられている。
【０００３】
内視鏡においては、例えば、特許文献１にあるように、スコープ先端の動きを検出してそれを元にブレ補正を行う方法が提案されている。
【０００４】
また、特許文献２では、動き量を検知し、さらにフリーズ指示信号を検知して動画を的確なタイミングで静止させて静止画を取得する方法が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平５−４９５９９号公報
【特許文献２】特開２００９−７１３８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
内視鏡装置では、内視鏡の操作観察方法として、体内に内視鏡を挿入し大まかに俯瞰して観察し、病変候補等の注目箇所を見つけたらその箇所をより大きく表示させて観察したいというニーズがある。
【０００７】
しかし、注目箇所へ内視鏡のスコープを近づけようとする際に、生体が静止していることはほとんどない。微妙な動きにより被写体またはスコープ自体がぶれてしまい、うまく近づけながら注目する箇所をブレなく観察することが難しい。よって、ブレを抑えた動画像を取得するという課題がある。
【０００８】
本発明の幾つかの態様によれば、内視鏡装置の状況を表す操作状況情報に基づいて、位置ずれの補正度合いの強弱を設定し、適度にブレを抑えた動画像をユーザに提示する画像処理装置、画像処理装置の制御方法及び内視鏡装置等を提供できる。
【０００９】
また、本発明の幾つかの態様によれば、注目箇所にスコープを近づけたとき等の特定の状況においてもブレのない動画像をユーザに提示することで、観察しやすさの向上及びユーザのストレスの低減等をはかった画像処理装置、画像処理装置の制御方法及び内視鏡装置を提供できる。
【課題を解決するための手段】
【００１０】
本発明の一態様は、内視鏡装置の撮像部による連続的な撮像処理によって、被検体像を含む画像である基準画像を連続的に取得する画像取得部と、前記内視鏡装置の操作状況を検出し、その検出結果を示す操作状況情報を取得する状況検出部と、連続的に取得された前記基準画像から、前記被検体像を含む領域を抽出領域として抽出し、抽出画像を取得する抽出部と、を含み、前記抽出部は、前記状況検出部において取得された前記操作状況情報に基づいて、前記被検体像の位置ずれの補正度合いの強弱を決定し、決定した補正度合いの強弱に対応した抽出態様に従って、前記基準画像から前記抽出画像を抽出する画像処理装置に関係する。また、本発明は、上記画像処理装置と、内視鏡スコープとを含む内視鏡装置に関係する。
【００１１】
本発明の一態様では、操作状況情報に基づいて、位置ずれの補正度合いの強弱を決定し、決定した補正度合いの強弱に対応した抽出態様で抽出画像を抽出する。よって、状況に合わせて適切な強さで位置ずれ補正を行うこと等が可能になる。
【００１２】
本発明の他の態様は、内視鏡装置の撮像部による連続的な撮像処理によって、被検体像を含む画像である基準画像を連続的に取得し、前記内視鏡装置の操作状況を検出し、その検出結果を示す操作状況情報を取得し、連続的に取得された前記基準画像から、前記被検体像を含む領域を抽出領域として抽出し、抽出画像を取得する際に、前記状況検出部において取得された前記操作状況情報に基づいて、前記被検体像の位置ずれの補正度合いの強弱を決定し、決定した補正度合いの強弱に対応した抽出態様に従って、前記基準画像から前記抽出画像を抽出する画像処理装置の制御方法に関係する。
【００１３】
本発明の他の態様は、内視鏡装置の撮像部による連続的な撮像処理によって、被検体像を含む画像である基準画像を連続的に取得する画像取得部と、前記取得された各基準画像から、基準画像内の被検体像を含む画像を抽出画像としてそれぞれ抽出するにあたって、それぞれの前記抽出画像に含まれる同一の被検体像の位置ずれを補正する第１抽出モードと、前記同一の被検体像の位置ずれを補正しない第２抽出モードとを設定する設定部と、前記内視鏡装置の操作状況を検出し、その検出結果を示す操作状況情報を取得する状況検出部と、前記取得された操作状況情報に基づいて、前記第１抽出モードまたは前記第２抽出モードのいずれかを選択し、選択した抽出モードに対応した抽出態様に従って、前記基準画像から前記抽出画像を抽出する抽出部と、を含み、前記状況検出部は、前記操作状況情報として、前記内視鏡装置のスコープ部が送気または送水に使用されているか否かに関する情報を取得し、前記抽出部は、取得された前記操作状況情報によって、前記内視鏡装置の前記スコープ部が送気または送水に使用されていると判断された場合には、前記第２抽出モードを選択する画像処理装置に関係する。
【００１４】
本発明の他の態様では、第１抽出モードと第２抽出モードを設定したうえで、送気又は送水の状況に応じて、適切な抽出モードを選択すること等が可能になる。
【００１５】
本発明の他の態様は、内視鏡装置の撮像部による連続的な撮像処理によって、被検体像を含む画像である基準画像を連続的に取得する画像取得部と、前記取得された各基準画像から、基準画像内の被検体像を含む画像を抽出画像としてそれぞれ抽出するにあたって、それぞれの前記抽出画像に含まれる同一の被検体像の位置ずれを補正する第１抽出モードと、前記同一の被検体像の位置ずれを補正しない第２抽出モードとを設定する設定部と、前記内視鏡装置の操作状況を検出し、その検出結果を示す操作状況情報を取得する状況検出部と、前記取得された操作状況情報に基づいて、前記第１抽出モードまたは前記第２抽出モードのいずれかを選択し、選択した抽出モードに対応した抽出態様に従って、前記基準画像から前記抽出画像を抽出する抽出部と、を含み、前記状況検出部は、前記操作状況情報として、前記内視鏡装置のスコープ部が被検体の治療処置に使用されているか否かに関する情報を取得し、前記抽出部は、取得された前記操作状況情報によって前記内視鏡装置の前記スコープ部が被検体の治療処置に使用されていると判断された場合には、前記第２抽出モードを選択する画像処理装置に関係する。
【００１６】
本発明の他の態様では、第１抽出モードと第２抽出モードを設定したうえで、被検体の治療処置の状況に応じて、適切な抽出モードを選択すること等が可能になる。
【図面の簡単な説明】
【００１７】
【図１】本実施形態の画像処理装置を含む内視鏡装置の構成例。
【図２】撮像素子の分光特性。
【図３】回転フィルタの構成例。
【図４】白色光透過フィルタの分光特性。
【図５】狭帯域透過フィルタの分光特性。
【図６】ズーム倍率と位置ずれの補正度合いの強弱の関係を示す図。
【図７】内視鏡装置のスコープ部の例。
【図８】通常の位置ずれ補正の手法を説明する図。
【図９】弱い位置ずれ補正の手法を説明する図。
【図１０】図１０（Ａ）〜図１０（Ｇ）は、通常の位置ずれ補正の挙動が極端になることを説明する図。
【図１１】ダイヤル操作と位置ずれの補正度合いの強弱の関係を示す図。
【図１２】送気量又は送水量と位置ずれの補正度合いの強弱の関係を示す図。
【図１３】本実施形態の画像処理装置を含む内視鏡装置の他の構成例。
【図１４】本実施形態の画像処理装置を含む内視鏡装置の他の構成例。
【図１５】注目領域を検出した場合の表示画像の例。
【発明を実施するための形態】
【００１８】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００１９】
１．本実施形態の手法
１．１ 内視鏡装置の構成例
図１は、本実施形態にかかる画像処理装置を含む内視鏡装置の構成例である。内視鏡装置は、照明部１２と、撮像部１３と、処理部１１と、を含む。なお、構成はこれに限定されず、これらの構成要素の一部を省略するなどの種々の変形実施が可能である。
【００２０】
照明部１２は、光源装置Ｓ０１と、外装Ｓ０５と、ライトガイドファイバＳ０６と、照明光学系Ｓ０７とを含む。そして、光源装置Ｓ０１は、白色光源Ｓ０２と、回転フィルタＳ０３と、集光レンズＳ０４とを含む。なお、構成はこれに限定されず、これらの構成要素の一部を省略するなどの種々の変形実施が可能である。
【００２１】
撮像部１３は、外装Ｓ０５と、集光レンズＳ０８と、撮像素子Ｓ０９とを含む。撮像素子Ｓ０９はベイヤ配列の色フィルタを持つ撮像素子である。撮像素子Ｓ０９の色フィルタＲ・Ｇ・Ｂは例えば図２に示すような分光特性を持っている。
【００２２】
ここでは撮像素子にＲ・Ｇ・ＢがＢａｙｅｒ配列された例を挙げているが、別の撮像方式のものでも良い。例えば補色を受光するものでもかまわない。
【００２３】
また、ここでは通常光画像と特殊光画像とをほぼ同時に撮像する構成にしているがこれに限らない。通常光画像だけを取得するのでも良いし、Ｒ・Ｇ・Ｂのそれぞれの撮像素子を設けて３板の画像を撮像しても良い。
【００２４】
処理部１１は、Ａ／Ｄ変換部１１０と、画像取得部１２０と、操作部１３０と、バッファ１４０と、状況検出部１６０と、抽出部１７０と、表示制御部１８０と、を含む。なお、構成はこれに限定されず、これらの構成要素の一部を省略するなどの種々の変形実施が可能である。
【００２５】
撮像素子Ｓ０９からのアナログ信号が入力されるＡ／Ｄ変換部１１０は、画像取得部１２０に接続されている。画像取得部１２０は、バッファ１４０に接続されている。操作部１３０は、照明部１２と、撮像部１３と、後述する状況検出部１６０の操作量情報取得部１６６とに接続されている。バッファ１４０は、状況検出部１６０と、抽出部１７０とに接続されている。抽出部１７０は、表示制御部１８０に接続されている。状況検出部１６０は、抽出部１７０に接続されている。
【００２６】
Ａ／Ｄ変換部１１０は、撮像素子Ｓ０９からのアナログ信号をデジタル信号に変換する。画像取得部１２０は、Ａ／Ｄ変換部１１０によって変換されたデジタル画像信号を基準画像として取得する。操作部１３０は、ユーザが操作するボタンなどのインターフェースを含む。また、操作部１３０にはスコープを操作するダイヤルなども含まれる。バッファ１４０は、画像取得部から送られた基準画像を受け取り保持する。
【００２７】
状況検出部１６０は、内視鏡装置の操作状況を検出し、検出結果を示す操作状況情報を取得する。状況検出部１６０は、停止近接検出部１６１と、注目領域検出部１６２と、部位検出部１６３と、観察状態検出部１６４と、倍率取得部１６５と、操作量情報取得部１６６と、送気送水検出部１６７とを含む。なお、構成はこれに限定されず、これらの構成要素の一部を省略するなどの種々の変形実施が可能である。また、状況検出部１６０の各部は、本実施形態において必ずしも全てが同時に備わっている必要はなく、このうちの少なくとも１つを含む構成であればよい。
【００２８】
停止近接検出部１６１は、内視鏡装置の挿入部（スコープ）の動きを検出する。具体的には、内視鏡装置の挿入部が停止しているか否か、もしくは、被写体に対して接近しているか否かを検出する。注目領域検出部１６２は、取得された基準画像の中から、注目すべき領域である注目領域を検出する。なお、注目領域の詳細については後述する。部位検出部１６３は、内視鏡装置の挿入部が挿入されている、生体内の部位を検出する。観察状態検出部１６４は、内視鏡装置の観察状態を検出する。具体的には通常観察モードと拡大観察モードを持つ内視鏡装置において、現在どちらのモードになっているのかを検出する。倍率取得部１６５は、撮像部１３における撮像倍率を取得する。操作量情報取得部１６６は、操作部１３０における操作量の情報を取得する。具体的には例えば、操作部１３０に設けられたダイヤルがどの程度回されたか等を取得する。送気送水検出部１６７は、内視鏡装置による送気処理又は送水処理が行われたことを検出する。あるいは、送気量、送水量を検出してもよい。
【００２９】
抽出部１７０は、状況検出部１６０が検出した操作状況情報に基づいて、被検体像の位置ずれの補正度合い（補正の強弱）を決定し、決定した補正の度合いに対応した抽出態様で、基準画像から抽出画像を抽出する。ここで、抽出画像とは、基準画像から対象となる被検体像を含む領域を抽出した画像のことである。
【００３０】
表示制御部１８０は、抽出画像の表示する制御を行う。また、抽出部１７０において決定された補正の度合いを表す補正度合い情報を表示する制御を行ってもよい。
【００３１】
１．２ 処理の流れ
次に、処理の流れについて説明する。まず、白色光光源Ｓ０２から白色光が発光される。図３に示すように、回転フィルタＳ０３には白色光透過フィルタＳ１６と狭帯域透過フィルタＳ１７がセットされている。白色光透過フィルタＳ１６は例えば、図４のような分光特性であり、狭帯域透過フィルタＳ１７は例えば、図５のような分光特性である。
【００３２】
白色光光源Ｓ０２から発光された白色光が、回転フィルタＳ０３の白色光透過フィルタＳ１６と狭帯域透過フィルタＳ１７を交互に透過する。よって、白色光透過フィルタＳ１６を透過した白色光と、狭帯域透過フィルタＳ１７を透過した特殊光が交互に集光レンズＳ０４に達し集光されることになる。集光された白色光または特殊光はライトガイドファイバＳ０６を通って照明光学系Ｓ０７から被写体に照射される。
【００３３】
被写体から反射した反射光が集光レンズＳ０８により集光され、Ｒ・Ｇ・Ｂを受光する撮像素子がＢａｙｅｒ型に配置された撮像素子Ｓ０９に到達し光電変換を行いアナログの信号となりＡ／Ｄ変換部１１０へ送られる。
【００３４】
白色光を照射することにより取得されＡ／Ｄ変換部１１０でデジタルの信号に変換された信号は画像取得部１２０へ送られ、通常光画像として保持される。また、特殊光を照射することにより取得されＡ／Ｄ変換部１１０でデジタルの信号に変換された信号を画像取得部１２０に送り、特殊光画像として保持してもよい。なお、本実施形態においては、特殊光画像は、注目領域検出部１６２における注目領域の検出処理に用いられることが考えられる。よって、注目領域検出部１６２がない構成を採用した場合、もしくは、注目領域検出部１６２における注目領域の検出処理を通常光画像に基づいて行う場合等では、特殊光画像は使われない。そのような場合には、特殊光画像を取得する必要はなく、回転フィルタＳ０３がなくてもよい構成となる。
【００３５】
画像取得部１２０で取得された画像を基準画像とする。基準画像は、最終的な出力の画像のサイズよりも大きな領域を持つ。画像取得部１２０で取得された基準画像は、一旦バッファ１４０に保持される。そして、抽出部１７０は、状況取得部１６０で取得された操作状況情報に基づいて、位置ずれの補正度合いの強弱を決定し、シーケンシャルに見てブレの少ないような領域を抽出画像として切り出し、表示制御部１８０へ送信する。これにより、ブレの少ない動画像が得られる。表示制御部１８０へ送信された動画像は、モニタなどの表示装置へ送信されユーザに提示される。
【００３６】
１．３ 操作状況情報に応じた補正度合いの決定
以上の処理により、ブレ補正が行われた動画像をユーザに提示することが可能になるが、本実施形態においては、抽出部１７０による抽出処理（具体的には位置ずれの補正度合いの強弱の決定）を、状況検出部１６０からの操作状況情報により制御する点が特徴となる。抽出部１７０は、状況検出部１６０の停止近接検出部１６１、注目領域検出部１６２、部位検出部１６３、観察状態検出部１６４、倍率取得部１６５、操作量情報取得部１６６、送気送水検出部１６７の少なくとも１つからの情報を受け取り、位置ずれの補正度合いの強弱を制御する。
【００３７】
以下、各部からの情報に基づいて、どのように位置ずれの補正度合いが決定されるのかについて詳述する。
【００３８】
１．３．１ 停止・近接検出に基づく補正度合いの決定
近づいているか、遠ざかっているか、或いは停止しているかの判断は、停止近接検出部１６１で行われ、具体的な手法としては例えば、画像に基づくマッチング処理等が考えられる。つまり、撮像画像内の被検体のエッジ形状等をエッジ抽出等で認識し、認識したエッジ形状の大きさが時間的に後のフレームの画像において、大きくなっているか小さくなっているかを判定することで、近づいているか否かの判定を行う。なお、近づいているか否かを判定する手法は画像処理に限定されるものではなく、例えば、赤外線アクティブセンサ等の測距センサを用いて被写体との距離の変化を見る手法等、種々の手法が考えられる。
【００３９】
スコープが被写体に近づいているときには、ユーザは近づく先の被写体の部分を詳細に観察しようとしていると判断できるため、抽出部１７０で行われる位置ずれの補正度合いの強度を強くする。また、遠ざかっているときには、詳細な観察は終了していると判断できるため、補正度合いの強度は弱くしてよい。また、スコープが停止しているときには、特定の箇所を詳細に観察しようとしていると判断できるため、補正度合いの強度を強くする。
【００４０】
１．３．２ 注目領域検出部からの注目領域情報に基づく補正度合いの決定
注目領域検出部１６２は、公知の領域検出、例えば病変検出のような処理を行うことで注目領域に関する情報である注目領域情報を検出する。画像の中に注目領域（病変領域）を検出したときには当該注目領域をじっくりと観察したい場合が多いので、抽出部１７０は位置ずれの補正度合いを強くする制御を行う。一方、病変等が検出されていないときにはじっくりと観察する必要がない場合が多いので、位置ずれの補正を弱くする（例えばオフにする）制御を行う。
【００４１】
操作部１３０には、更に領域検出を行うボタンが準備されていて、ユーザがそのボタンを押下すると注目領域検出部１６２にて画面の中心を含む領域を注目領域として抽出し、抽出した領域が中心に来るように抽出部１７０にて位置ずれの補正を行ってもよい。抽出した領域が中心に来るようなブレ補正を行うためには、抽出領域を認識する必要があるが、ここでは例えばエッジ抽出処理等を用いるものとする。ただし、領域の認識手法はエッジ抽出処理に限定されるものではない。
【００４２】
１．３．３ 部位検出に基づく補正度合いの決定
部位検出部１６３により、スコープが位置する部位を判定し、補正度合いを決定してもよい。スコープが生体内のどの部位（例えば、十二指腸、結腸等）にあるかの判定には、例えばテンプレートマッチングなどの既知の認識アルゴリズム等を用いる。また、既知のシーン変化認識アルゴリズムを用いて基準画像の画素の特徴量変化に基づいて、どの器官か判定することも可能である。
【００４３】
例えばスコープが位置する部位が食道である場合には、心臓に近いため被写体が常に拍動していて動いている。そのため、電子式ブレ補正を行おうとすると、動きが大きいため注目領域が視野から外れやすくなってしまい、うまく位置ずれの補正を行うことができない。そのような器官では補正の度合いを弱くしておくことでエラーを防止することができる。
【００４４】
１．３．４ 観察状態に基づく補正度合いの決定
近年の内視鏡装置では、通常観察の他に、高倍率（例えば１００倍以上）での観察である拡大観察を行うことができるものがある。拡大観察モードにおいては、高倍率での観察を行っているため、基準画像から抽出領域が外れてしまう可能性が非常に高くなる。そのため、拡大観察モードにおいては、位置ずれの補正度合いを弱くする処理を行う。
【００４５】
なお、拡大観察モードか否かは操作部１３０からの操作情報を用いて判断してもよいし、倍率取得部１６５で取得した倍率情報を用いてもよい。例えば、操作部１３０に拡大観察モードと他のモードとの切り替えを行う切り替えボタンが設けられているような場合には、そのボタンが押されたか否かの情報を操作量情報取得部１６６が取得し、それに基づき、観察状態検出部１６４が観察状態を検出する。また、倍率から判断する場合には、倍率取得部１６５が取得した倍率情報により、撮像部１３における倍率が拡大観察モードに対応する倍率になっていることを観察状態検出部１６４で検出すればよい。
【００４６】
１．３．５ 倍率取得部からの倍率情報に基づく補正度合いの決定
倍率取得部１６５は、撮像部１３における撮像倍率を倍率情報として取得する。そして、倍率情報により表される撮像倍率が所与の閾値より小さい場合には、ユーザは拡大観察を用いて被写体を詳細に観察しようとしていると判断できるため、図６に示したように、抽出部１７０は、倍率が大きくなるほど、位置ずれの補正度合いの強度を強くする制御を行う。しかし、倍率情報により表される撮像倍率が所与の閾値より大きい場合には、ユーザは所定の部分を詳細に観察しようとしていると判断できるものの、高倍率のためブレの影響が大きく、基準画像から抽出領域が外れてしまう可能性が高まる。そのため、図６に示したように、倍率が大きくなるほど、位置ずれの補正度合いの強度を弱くする制御を行う。
【００４７】
１．３．６ 操作部からの操作量情報に基づく補正度合いの決定
操作部１３０は、ユーザの操作による情報である操作量情報を取得し、抽出部１７０へ送信する。そして、抽出部１７０ではそのユーザの操作による情報に応じて位置ずれの補正度合いが決定される。
【００４８】
一例としては、図７のように内視鏡のスコープ先端部の動作と連動するダイヤルがスコープ付近に配置されていて、そのダイヤルの操作がある。この操作が行われると、ユーザのダイヤルの操作に対応する操作量情報を抽出部１７０へ送信する。そのダイヤルの動きに応じて抽出部１７０で行う位置ずれの補正度合いを調整する。ダイヤルの操作量が所与の閾値よりも大きい場合には、補正の度合いを小さくする（大きく動かすとき、ユーザはブレ補正よりも視界を変えたいと思われるため。）処理を行う。なお大きく動かすときは被写体を追随しきれず電子ブレ補正を適用できない場面も多くなる。追随できないときには無理にブレ補正は行わない。
【００４９】
１．３．７ 送気・送水情報に基づく補正度合いの決定
送気送水検出部１６７は、内視鏡装置による送気処理、送水処理を検出する。具体的には送気量や送水量を検出する。送気とは空気を送ることで、例えば管状の部位を広げたりすることに用いられる。また、送水とは水を流すことで、例えば観察位置にある残渣を洗い流したりすることに用いられる。
【００５０】
送気や送水が行われるケースでは、ドクターの目的はあくまで送気・送水であり、送気処理又は送水処理が終了するまでは観察や診断は行われないことが想定される。なにより、送気により被写体が細かく振動したり、送水により被写体上を水が流れているような状況では、効率的な位置ずれ補正を行うことは難しいと考えられる。そのため、送気送水検出部１６７により、送気量や送水量が所与の閾値以上であると判定された場合には、位置ずれの補正度合いは弱く設定する。
【００５１】
１．４ 通常の電子式位置ずれ補正と弱い位置ずれ補正
まず、公知の技術である通常の電子式位置ずれ補正について図８を用いて説明する。図８の縦軸が時間軸であり、左側の画像が画像取得部１２０で取得されバッファ１４０に保持される画像（基準画像）である。また、右側の基準画像に比べて小さい領域を切り出した後の画像がユーザに対して提示される画像（抽出画像）である。そして、画像中の線で囲まれた領域が注目領域であるとする。
【００５２】
このとき、電子式位置ずれ補正では、常に注目領域が抽出画像の所定位置に来るような領域を、基準画像から抽出し抽出画像とする。図８の例では所定位置とは抽出画像の中央位置となっているが、これに限定されるものではない。
【００５３】
まず時刻ｔ１では、注目領域が所定位置（中央位置）に来るような領域を抽出して、抽出画像とする。このようにすることで、注目領域を所定位置に表示するような抽出画像を取得できる。続いて時刻ｔ２では、ｔ１と同様に注目領域が所定位置（中央位置）に来るような領域を抽出して、抽出画像とするが、図８の例では、撮像部１３が右下方向にぶれたことにより、被写体が左上方向に移動してしまっている。そこで、ｔ２ではｔ１よりも左上方向に移動した領域を抽出領域とする。このようにすることで、時刻ｔ２においても所定位置に注目領域が位置するような画像を表示することができ、結果として、ｔ１、ｔ２の両方で注目領域の画像上位置が変化しないことになる。
【００５４】
また、時刻ｔ３以降も同様で、図８の例では撮像部１３が左方向にぶれたことにより、被写体が右方向に移動してしまっている。そこで、ｔ３では右方向に移動した領域を抽出領域とする。このようにすることで、時刻ｔ３においても、表示される画像（抽出画像）における注目領域の画像上位置が変化しないことになり、時系列的にブレのない動画像をユーザに提示することができる。
【００５５】
次に、本実施形態の手法である弱い位置ずれ補正について図９を参照して説明する。図８と同様に、縦軸が時間軸、左側が基準画像、右側が抽出画像となっている。時刻Ｔ１での抽出態様は通常の電子式位置ずれ補正と同様であり、注目領域が抽出画像の所定位置に来るような領域を抽出する。
【００５６】
次に時刻Ｔ２では、図９の例では被写体が左上方向に移動している。ここで、位置ずれ補正を全く行わない（ブレが生じた画像を取得する）場合には、直前の時刻Ｔ１と同じ位置の領域Ａ１を抽出することになる。Ａ１を抽出したときには、基準画像における注目領域の位置の変化が、そのまま抽出画像にも反映されることになる。それに対して、上述した通常の電子式位置ずれ補正を行った（ブレが全く生じない画像を取得する）場合には、図９のＡ２で示した領域を抽出することになる。Ａ２を抽出すれば、抽出画像においては位置ずれのない連続した画像を取得できる。
【００５７】
本実施形態における弱い位置ずれ補正とは、Ａ１とＡ２の間に位置する領域であるＡ３を抽出領域とする手法である。このようにすることで、抽出画像においても位置ずれ事態は発生してしまうものの、基準画像における注目領域の位置ずれに比べて、抽出画像における位置ずれを小さく抑えることが可能になる。
【００５８】
また、時刻Ｔ３のように、注目領域が基準画像の端に近いところに位置する場合にも、Ａ１に対応する領域Ｂ１、及び、Ａ２に対応する領域Ｂ２を設定し、Ｂ１とＢ２の間に位置する領域を抽出領域とすればよい。ただし、この場合には、抽出領域Ｂ３の位置が問題となる。なぜなら、画像情報は基準画像の大きさ分しか取得されていない（基準画像の外側は画像情報が存在しない）ため、抽出領域が基準画像をはみ出すように設定されてしまうことは好ましくない。そのため、Ｂ３は基準画像からはみ出さない範囲で設定されることになる。図９の例で言えばＢ３はＢ２に比べてＢ１に近い位置に設定されることになる。
【００５９】
ここで、弱い位置ずれ補正を行うことのメリットについて説明する。通常の（ブレが生じない）位置ずれ補正を行っていると、抽出画像において注目領域が所定位置に来るようにする必要が生じる。そのため、図１０（Ａ）のような大きさの基準画像と、図１０（Ｂ）のような大きさの抽出画像及び注目領域を考えたとき、位置ずれ補正が可能な注目領域（もしくは抽出領域）の左上限界位置、右上限界位置、左下限界位置及び右下限界位置は図１０（Ｃ）〜図１０（Ｆ）のようになる。図１０（Ｃ）〜図１０（Ｆ）よりも外側に注目領域が移動した場合には、抽出領域が基準画像から外れてしまうことになり好ましくない。結果として、基準画像において位置ずれ補正が可能な注目領域の移動範囲は図１０（Ｇ）で示したＣ１に限定されてしまう。つまり、基準画像のＣ１以外の領域をＣ２としたときに、Ｃ１では完全に位置ずれ補正を行うことができる反面、Ｃ２では位置ずれ補正が行えない。つまり通常の電子式位置ずれ補正では、注目領域の位置に応じて位置ずれ補正を行うか行わないかの選択しかなく、挙動が極端になってしまう。
【００６０】
それに対して、弱い位置ずれ補正では、上述したようなＣ１、Ｃ２の区別がなく、基準画像内に注目領域を捉えられていれば、いつでも位置ずれ補正を行うことが可能となる。もちろん、弱い位置ずれ補正では、抽出画像においてもある程度の位置ずれを許容しているため、通常の位置ずれ補正のように全くブレのない画像を提供できるわけではない。しかし、位置ずれ補正を行わない場合に比べて、位置ずれの程度（ズレ量の大きさ）を小さくすることが可能になるという効果があり、かつ注目領域が基準画像の端に近い位置に移動したとしても効果を持続することが可能である。
【００６１】
つまり、通常の位置ずれ補正を行う場合と、弱い位置ずれ補正を行う場合との挙動を比較した場合、通常の位置ずれ補正は、狭い範囲で完全に停止しているか、高速で移動してしまうかという段階的な変化をするのに対して、弱い位置ずれ補正では広い範囲で低速で移動することになる。ここで、狭い範囲、広い範囲とは、位置ずれ補正が可能な注目領域の移動範囲のことを指すものとする。
【００６２】
本実施形態を内視鏡装置に適用することを考えた場合、ユーザ（ドクター）は、注目領域を詳細に観察して、診断や処置を行うことになる。その場合、注目領域の画像上位置が極端に変化するよりも、多少のブレがあっても変化が少ない方が診断、処置には適していると考えられる。また、被写体（生体内の組織）は拍動等の理由により静止していないことが想定される。そのため、注目領域の画像上位置も頻繁に変化することが考えられる。その際、画像上位置の変化が図１０のＣ１に収まらないような場合には、通常の位置ずれ補正はほとんど機能しないことになり、弱い位置ずれ補正の優位性が高まることになる。
【００６３】
また、位置ずれ補正が稼働している状態から、急激な変化により、注目領域が基準画像から外れてしまう状態に移行してしまうケースも想定される。その場合、通常の位置ずれ補正では、注目領域は抽出画像の所定位置で静止していた状態から、画面から外れ観察できない状態へ変化することになる。そのため、注目領域の移動方向がわからず、見失った注目領域を再発見することが非常に困難である。それに対して、弱い位置ずれ補正では、位置ずれ補正が稼働している状態においても、ある程度のブレを許容しているため、大まかな動きの方向を判断することが可能である（これは、ユーザが判断してもよいし、システムが検出してもよい）。よって、基準画像から注目領域が外れてしまった場合でも、注目領域がフレーミングアウトしていく方向がわかるため、注目領域の再発見が容易になるというメリットがある。
【００６４】
なお、上述した図１０を用いた例では、抽出画像にしめる注目領域の面積が大きければ（注目領域を拡大すれば）、Ｃ１の領域も大きくできると考えることも可能である。そのようにすれば、Ｃ１とＣ２の間での段階的な変化は抑止できる。しかし、このようなケースでも、通常の位置ずれ補正では、Ｃ１においてブレのない画像を提供している状態から、注目領域が基準画像から外れ観察できない状態へ、急激に移行してしまうことがありうることに変わりはない。むしろ、高倍率での観察を行っているとすれば、基準画像から注目領域が外れてしまう可能性が高くなり、注目領域を見失う可能性も高くなる。よって、注目領域の画像上での面積を大きくした場合であっても、上述したように、弱いブレ補正にメリットがあることには変わりがない。
【００６５】
２．具体的な実施形態例
次に、実際の診断・観察処理を想定した、具体的な実施形態例について説明する。
【００６６】
２．１ 下部内視鏡
まず、肛門から挿入し、大腸等を観察するために用いられる下部内視鏡の実施形態例について説明する。なお本例においては、下部内視鏡は、最初に挿入しきってしまい、引き抜きながら観察していくものとする。
【００６７】
ここで、内視鏡のスコープには図１の外装Ｓ０５の内部が含まれる。なお、照明光学系Ｓ０７や集光レンズＳ０８がある側が、スコープの先端部である。挿入時には撮像部１３，Ａ／Ｄ変換部１１０を通じて、画像取得部１２０において画像が取得されている。
【００６８】
診断・観察処理が開始されると、まず、肛門から内視鏡を挿入する。この際、挿入可能なところまで挿入する（観察は引き抜きながら行う）。このようにすることで、生体内における観察位置の特定が容易になる。つまり、挿入時において、どの程度挿入することでどの部位に到達するかを認識することが出来る（例えば、Ｌ１ｃｍ〜Ｌ２ｃｍが下行結腸であり、Ｌ２ｃｍ〜Ｌ３ｃｍが横行結腸である等）ため、引き抜いた長さにより、どの部位のどの程度の位置を観察しているかがわかる。この挿入操作の際は、挿入しきってしまうことが目的であり、じっくりとは観察しないのでブレ補正は必要ない。そのため、ユーザのスコープを挿入するという操作やダイヤルの操作と連動して、抽出部１７０は、位置ずれの補正度合いの強弱を弱く（例えばオフに）設定する。
【００６９】
挿入しきったら、次に、引き抜きながら観察していく。この際、まずは病変部等をサーチする必要があるため、広域に観察することが想定される。視野を広くして注目領域があるかどうか探している状態なのでブレ補正は必要ない。よって、ユーザの引き抜く操作と連動して補正の度合いを弱くする。
【００７０】
広域観察中には、例えば注目領域検出部１６２において、注目領域の検出処理が行われている。ここで、注目領域検出部１６２により注目領域が検出されたら、検出された領域をじっくり観察するべきなのでなるべく静止した画を提示したい。よって、抽出部１７０は、注目領域検出部１６２で注目領域が検出されたら補正度合いを強くする制御を行う。一方、注目領域が検出されていない場合には位置ずれ補正は必要ないので補正度合いを弱くする制御を行う。つまり、注目領域検出部１６２での結果に応じて位置ずれ補正を制御することになる。
【００７１】
また、ユーザが気になる領域を見つけたとする。その場合、ユーザはじっくり観察するために挿入操作やダイヤル操作を止めることが想定される。よって、ユーザに対してブレの少ない静止した画像を提示する必要がある。そこで、所与の時間、挿入操作やダイヤル操作をしていないというのと連動して（挿入していない・ダイヤル操作をしていないという操作により制御されて）、抽出部１７０は、補正度合いを強くする制御を行う。
【００７２】
また、領域検出以外にも、ユーザがある領域を大きく表示させて観察するために、当該領域に向けてスコープ先端を近づける操作を行う場合が考えられる。この場合、状況検出部１６０の停止近接検出部１６１では、エッジ検出などを行って検出したエッジ形状を、時間的に前後のフレームの画像で比較し、検出したエッジ形状の大きさが大きくなっていれば近づいていると判定する。そして、近づいていると判定されたら、抽出部１７０は、補正度合いを強くする制御を行い、特定領域の詳細観察を意図していると考えられるユーザに対して静止している動画像を提供する。
【００７３】
生体内を観察している場合、観察しているところに残渣があるケースが想定される。この場合残渣は観察の邪魔になるため、ユーザは送水して洗い流すことが考えられる。送水しているときには得られる画像は、大きく変わるのでブレ補正が困難である。そもそも送水するときには残渣を洗い流すことが目的であり、観察しているわけではないのでブレ補正する必要がない。よって、抽出部１７０は、送気送水検出部１６７において送水操作していることが検出されたときには補正度合いを弱くする制御を行う。
【００７４】
なお、送気送水検出部１６７における検出処理は、操作部１３０による操作状況を取得することにより行ってもよい。この場合、操作部１３０の送水ボタン（不図示）が押下され送水タンクＳ１４から送水管Ｓ１５を通じて、水がスコープの先端から放出され、再度送水ボタンが押下されると水の放出が止まる。つまり、操作部１３０の操作情報を例えば操作量情報取得部１６６等で取得し、取得した情報に基づいて送気送水検出部１６７は送気処理、送水処理が行われたことを検出する。また、送水管Ｓ１５の先端にセンサを設けて、水が放出されているかを監視したり、送水タンクＳ１４の水の残量を監視することにより、送水しているかどうかの情報を取得してもよい。
【００７５】
２．２ 上部内視鏡
次に口や鼻から挿入され、食道や胃等を観察するために用いられる上部内視鏡について説明する。
【００７６】
観察処理が開始されると、まず、口（鼻）から内視鏡が挿入される。最初は、どんどん挿入している段階なので、ブレ補正をする必要がない。よって、ユーザによる操作部１３０の操作（スコープを挿入するという操作やダイヤルの操作）と連動して、抽出部１７０は、補正度合いを弱くする制御を行う。
【００７７】
ここで、状況検出部１６０の操作量情報取得部１６６等において、例えば挿入した長さ情報を取得することで、単位時間あたりに挿入した長さがどれだけ長くなっていったかで挿入スピードを推測してもよい。挿入スピードが所与の閾値よりも大きければ、詳細観察のための挿入ではなく、初期段階（どんどん挿入している段階）であると判断できる。
【００７８】
ある程度挿入することで、スコープ先端部が食道に達する。食道は心臓に近くその拍動によりほとんど動いている（ぶれている）状態であるため、ブレ補正を適切に行うことは困難である。よって、状況検出部１６０の部位検出部１６３により観察部位が食道と判定されたら、抽出部１７０は、補正度合いを弱くする（基本的にはオフにする）制御を行う。
【００７９】
食道を移動中にユーザが気になる領域を見つけた場合には、ユーザに対して静止した画像を提示することが求められる。この場合、ユーザはじっくり観察するために挿入操作やダイヤル操作を止めることが想定される。よって、下部内視鏡の例で示したように、所与の時間、操作が行われなかったことを持って、ブレ補正をオンにする制御を行いたい。しかし心臓に近く動き量が大きいので、ブレ補正が効きにくい。その際には抽出部１７０は、補正度合いを弱くする制御を行えばよい。弱くブレ補正をかける方法の例は上述したとおりである。
【００８０】
なお、部位の検出については状況検出部１６０の部位検出部１６３において行う。例えば、画像取得部１２０で取得され、バッファ１４０に格納された画像から、所定の部位を検出する認識処理を行えばよい。また、スコープの挿入長さを測定し、挿入長さと一般的な部位の長さとを比較することで、スコープの先端がどの部位にあるか推測してもよい。或いは、スコープの先端部に発信器を設置し、体表面に受信機を装着することで、スコープ先端が体内のどの位置にあるかを捕捉してもよい。この場合、一般的な体内の器官のマップと比較を行い、スコープの先端がどの器官にあるかを推測する。
【００８１】
更に挿入を続けることで、胃に到達する。胃に到達したかどうかの判断は部位検出部１６３で行う。進んでいるときはブレ補正の必要がない。よって、上述したように、ユーザのスコープを挿入するという操作やダイヤルの操作と連動して、抽出部１７０は、ブレ補正をオフにする制御を行う。
【００８２】
胃の中の観察では、ユーザは胃の壁面に病変などの注目領域があるか探す。この際、操作部１３０において、ダイヤル操作でアングルを変えることが想定される。サーチ中は特定の範囲を観察しているわけではないので、また、視点が大きく変わるため、ブレ補正は行われない。よって、ダイヤル操作と連動して、抽出部１７０は、ブレ補正をオフにする制御を行う。
【００８３】
そして、サーチの結果ユーザが胃の壁面に気になる領域を見つけたとする。その場合、ユーザは拡大してじっくり観察したいのでズーム操作（ただし、所与の閾値よりも小さい倍率内でのズームであるとする）を行う。じっくり観察する場合にはブレの少ない画像を提示する必要があるため、ズーム操作に連動して、抽出部１７０は、ブレ補正をオンにする制御を行う。
【００８４】
また、ズームレンズＳ１３と撮像素子Ｓ０８を前方（スコープの先端側）に動作させることで、集光レンズＳ０８で集められた光を拡大させて拡大画像を取得することができる。或いは、画像取得部１２０で取得されている画像に対して、画像拡大処理（デジタルズーム）を行うことで拡大画像を取得してもよい。これらの場合にも、倍率取得部１６５により、倍率情報を取得して、操作状況情報として抽出部１７０に送信する。
【００８５】
そして、場合によっては発見した病変に対してその場で切り取る等の処置を行う。この場合、スコープの先端から鉗子等の処置具を出して処置を行う。処置具での処置の際には本当はブレのない画像が望ましいが、被写体のブレと処置具とのブレは同期しておらず、被写体をベースにブレ補正を行ってしまうと処置具の方がブレてしまうので、ブレ補正を行わない。
【００８６】
具体的には、ユーザは挿入口Ｓ１１から処置具を挿入して誘導管Ｓ１２をたどらせ、誘導管Ｓ１２の先から出して処置を行う。状況検出部１６０では、処置具を挿入している情報を取得する。その取得は例えば、誘導管Ｓ１２の先端にセンサ（不図示）を設けて処置具が飛び出しているかどうかを監視してもよいし、誘導管Ｓ１２の長さと処置具の挿入長さとの比較から処置具が誘導管Ｓ１２の先から出ているかという判断をしてもよい。処置具が誘導管Ｓ１２の先から出ていたら抽出部１７０では、位置ズレの補正を考慮せずに抽出画像を抽出する。
【００８７】
以上の本実施形態では、画像処理装置は、図１に示したように、内視鏡装置の撮像部１３による連続的な撮像により、基準画像を連続的に取得する画像取得部１２０と、内視鏡装置の操作状況を検出し、検出結果を表す操作状況情報を取得する状況検出部１６０と、基準画像から抽出領域を抽出し抽出画像を取得する抽出部１７０とを含む。そして抽出部１７０は、操作状況情報に基づいて、被検体像の位置ずれの補正度合いの強弱を決定し、決定した補正度合いの強弱に対応した抽出態様に従って、基準画像から抽出画像を抽出する。
【００８８】
ここで、操作状況情報とは、内視鏡装置の状況情報を検出することにより取得される。状況情報とは内視鏡装置が操作されることにより検出される情報等である。ここでの操作とは、内視鏡装置のスコープ部の操作に限定されるものではなく、内視鏡装置全体の操作をも含むものとする。そのため、操作状況情報には、スクリーニングという内視鏡装置の操作状況に基づく、注目領域の検出という状況も含まれうる。
【００８９】
これにより、操作状況情報を取得した上で、取得した操作状況情報に基づいて位置ずれの補正度合いの強弱を決定することができる。そして、決定した補正度合いの強弱に対応した抽出態様で抽出画像を抽出する。よって、操作状況に対応させて適切な強さで位置ずれの補正を行うことが可能になる。なお、弱い位置ずれ補正を行うことのメリットは上述したとおりである。
【００９０】
また、抽出部１７０は、操作状況情報に基づいて位置ずれの補正度合いの強弱を決定し、決定した補正度合いの強弱に基づいて、基準画像における抽出領域の位置を決定してもよい。
【００９１】
これにより、補正度合いの強弱に対応した抽出態様として、基準画像における抽出領域の位置を変化させる抽出手法を用いることが可能になる。具体的には例えば、図９に示したように、位置ずれ補正を行わないＡ１と、完全に位置ずれ補正を行うＡ２との間に位置する領域Ａ３の位置を変化させる。図９の例では、Ａ１に近づけるほど位置ずれの補正度合いは弱くなり、Ａ２に近づけるほど位置ずれの補正度合いは強くなる。
【００９２】
また、状況検出部１６０は、内視鏡装置のスコープ部が停止しているか否かの情報を操作状況情報として取得し、抽出部１７０は、操作状況情報により内視鏡装置のスコープ部が停止していると判断された場合には、位置ずれの補正度合いを強くする。具体的には例えば、内視鏡装置の操作部が所与の期間操作されていないことを検出した場合に、スコープ部が停止していると判断すればよい。
【００９３】
ここで、位置ずれの補正度合いを強くするとは、スコープ部が停止していると判断されなかった場合よりも強くすることを意味する。また、補正度合いを強くするとは、所与の基準よりも強くする絶対的な変化を意味する場合もあるし、前の時刻よりも強くするという相対的な変化を意味する場合もある。なお、補正度合いを弱くする場合も、絶対的な変化と相対的な変化の両方のケースが考えられる。また、位置ずれの補正度合いを強くするとは位置ずれ補正の機能をオンにする場合も含まれるものとする。同様に、位置ずれの補正度合いを弱くするとは位置ずれ補正の機能をオフにする場合も含まれる。
【００９４】
これにより、スコープ部が停止していると判断された場合には、位置ずれの補正度合いを強くすることが可能になる。スコープ部が停止している状況では、取得された基準画像における注目領域の画像上位置は大きく変化しないと考えられるため、強い位置ずれ補正をかけても支障がないと考えられる。また、スコープ部が停止しているときには、ドクターが特定の領域を詳細に観察しようとしていることが考えられるため、強い位置ずれ補正をかけてブレのすくない動画像を提供することが望ましく、その要求にも合致することになる。
【００９５】
また、状況検出部１６０は、内視鏡装置のスコープ部が被検体に接近しているか否かの情報を操作状況情報として取得し、抽出部１７０は、操作状況情報により内視鏡装置のスコープ部が被検体に接近していると判断された場合には、位置ずれの補正度合いを強くする。具体的には例えば、基準画像にラプラシアンフィルタ等を適用し、被検体のエッジ形状を抽出した上で、エッジ形状の大きさの変化に基づいて、接近しているか否かを検出してもよい。また例えば、基準画像において複数の局所領域を設定し、局所領域間の距離情報の変化に基づいて接近しているか否かを検出してもよい。ここで、領域間の距離情報とは、各局所領域に設定された基準位置（例えば中央位置の座標情報）間の距離情報とすればよい。
【００９６】
ここで、位置ずれの補正度合いを強くするとは、スコープ部が被検体に接近していると判断されなかった場合よりも強くすることを意味する。
【００９７】
これにより、スコープ部が被検体に接近していると判断された場合には、位置ずれの補正度合いを強くすることが可能になる。スコープが被検体に接近している状況では、ユーザが対象の被検体を拡大して、より詳細に観察しようとしていることが想定されるため、位置ずれの補正度合いを強くすることで、ブレのすくない動画像を提供することができる。その際の接近を検出する手法は任意であり、例えば、被写体のエッジ形状が大きくなっているとき、もしくは設定された複数の局所領域間の距離情報が大きくなっているときに、被検体に接近していると判断すればよい。
【００９８】
また、状況検出部１６０は、基準画像内において注目領域を検出したか否かの情報を操作状況情報として取得し、抽出部１７０は、操作状況情報により注目領域が検出されたと判断された場合には、位置ずれの補正度合いを強くしてもよい。
【００９９】
ここで、位置ずれの補正度合いを強くするとは、注目領域が検出されたと判断されなかった場合よりも強くすることを意味する。また、注目領域とは、ユーザにとって観察の優先順位が他の領域よりも相対的に高い領域であり、例えば、ユーザがドクターであり治療を希望した場合、粘膜部や病変部を写した領域を指す。また、他の例として、ドクターが観察したいと欲した対象が泡や便であれば、注目領域は、その泡部分や便部分を写した領域になる。すなわち、ユーザが注目すべき対象は、その観察目的によって異なるが、いずれにしても、その観察に際し、ユーザにとって観察の優先順位が他の領域よりも相対的に高い領域が注目領域となる。注目領域をシステムが自動的に検出する場合には、図１５に示したように、ユーザに対して注目領域を検出した旨を知らせてもよい。図１５の例では画面の下部に特定の色のラインを表示している。
【０１００】
これにより、基準画像において注目領域を検出した場合には、位置ずれの補正度合いを強くすることが可能になる。注目領域は上述したようにユーザにとって観察の優先順位が他の領域よりも高い領域であるため、注目領域が検出された場合には、ユーザは注目領域を詳細に観察することが想定される。そのため、位置ずれの補正度合いを強くして、ブレの少ない動画像を提供する。
【０１０１】
また、状況検出部１６０は、内視鏡装置のスコープ部が位置する部位に関する情報を操作状況情報として取得し、抽出部１７０は、操作状況情報によりスコープ部が所与の部位に位置すると判断された場合には、注目領域が検出されたとしても、位置ずれの補正度合いを強くせずに弱くしてもよい。
【０１０２】
ここで、位置ずれの補正度合いを弱くするとは、スコープ部が所与の部位に位置すると判断されなかった場合よりも弱くすることを意味する。
【０１０３】
これにより、所与の部位を観察している場合には、注目領域が検出されたとしても位置ずれの補正度合いを弱くすることが可能になる。ここでの所与の部位とは例えば食道等である。食道等は心臓に近いため拍動の影響を強く受ける。そのため、食道を観察しているときは被写体が大きく動いてしまい、強いブレ補正をかけても機能しないことが考えられる。そのため、食道等を観察しているときには位置ずれの補正度合いを弱くする。
【０１０４】
また、状況検出部１６０は、基準画像の画素の特徴量に基づいて、内視鏡装置のスコープ部が位置する部位を検出してもよい。また、スコープ部が被験者の体内に挿入された長さを表す挿入長と、基準長とを比較することでスコープ部が位置する部位を検出してもよい。
【０１０５】
ここで、基準長とは、挿入長と部位の位置とを対応付けるものである。例えば、基準長としては被験者の性別、年齢から想定される一般的な体内器官の長さを用いることが考えられる。挿入開始地点（例えば肛門等）からＬ１ｃｍ〜Ｌ２ｃｍが下行結腸であり、Ｌ２ｃｍ〜Ｌ３ｃｍが横行結腸であるといったような情報を基準長として保持しておけば、挿入長と基準腸を比較することで部位を推定できる。例えば、挿入長がＬ２＜Ｌ４＜Ｌ３となる長さＬ４だったとすれば、上述の例ではスコープ部は横行結腸に位置すると推定できる。
【０１０６】
これにより、画像処理、或いは、挿入長と基準長との比較に基づいて、スコープ部が位置する部位を推定することが可能になる。
【０１０７】
また、状況検出部１６０は、撮像部１３が拡大観察状態か否かの情報を操作状況情報として取得し、抽出部１７０は、操作状況情報により撮像部１３が拡大観察状態であると判断された場合には、位置ずれの補正度合いを弱くしてもよい。
【０１０８】
ここで、位置ずれの補正度合いを弱くするとは、撮像部１３が拡大観察状態であると判断されなかった場合よりも弱くすることを意味する。
【０１０９】
これにより、撮像部１３が拡大観察状態にあると判断された場合には、位置ずれの補正度合いを弱くすることが可能になる。内視鏡の拡大観察とは、例えば１００倍以上の高倍率での観察が想定される。そのため、基準画像として取得される被写体の範囲は非常に狭い領域になっており、少しのブレでも被写体の画像上位置は大きく変化してしまう。そのため、強いブレ補正をかけても効果は期待できないため、補正度合いを弱くする。
【０１１０】
また、状況検出部１６０は、拡大観察状態にある内視鏡装置の撮像部１３のズーム倍率に関する情報を操作状況情報として取得し、抽出部１７０は、ズーム倍率が所与の閾値より小さいときにはズーム倍率が大きくなるほど補正度合いを強くし、ズーム倍率が所与の閾値よりも大きいときにはズーム倍率が大きくなるほど補正度合いを弱くしてもよい。この際、基準補正度合いよりも弱いことを前提とする。
【０１１１】
ここで、基準補正度合いとは、補正度合いの絶対的な基準となる補正度合いの強度のことであり、図６においては点線で示された補正度合いの強度に対応する。
【０１１２】
これにより、図６に示したような補正度合いの制御が可能になる。ユーザがズーム倍率を上げる操作を行うときには、特定の領域を詳細に観察しようとしていることが想定されるため、位置ずれの補正度合いは強くすることが基本となる。これは、被検体にスコープ部を接近させるケースと同様である。そのため、ある程度（所与の閾値以下の範囲）まではズーム倍率が大きくなるほど補正度合いも強くする。ただし、倍率が大きくなるほど、上述したように、少しのブレでも被写体の画像上位置が大きく変化してしまうことによる影響を無視できなくなってくる。この場合には、強いブレ補正をかけても効果が期待できないため、ズーム倍率が大きくなるほど（ブレの影響が強くなるほど）位置ずれの補正度合いを弱くする制御を行う。
【０１１３】
また、状況検出部１６０は、ユーザによる内視鏡装置のダイヤルの操作量に関する情報を操作状況情報として取得し、抽出部１７０は、ダイヤルの操作量が所与の基準操作量よりも大きい場合には、位置ずれの補正度合いを弱くしてもよい。
【０１１４】
ここで、位置ずれの補正度合いを弱くするとは、ダイヤルの操作量が基準操作量よりも大きいと判断されなかった場合よりも弱くすることを意味する。
【０１１５】
これにより、図１１に示したように、ダイヤルの操作量が大きい場合には位置ずれの補正度合いを弱くすることが可能になる。ダイヤルの操作は例えば、内視鏡装置のスコープ部の先端の移動量に相当する。そのため、ダイヤルの操作量が大きいとは、スコープを大きく移動させていることに相当することになる。よって、そのような場合には、ユーザは特定の領域を観察しているのではなく、スクリーニング操作等を行っていると考えられるため、位置ずれの補正度合いは弱く設定する。
【０１１６】
また、状況検出部１６０は、内視鏡装置の送気時における送気量、または、送水時における送水量に関する情報を操作状況情報として取得し、抽出部１７０は、送気量又は送水量が所与の閾値よりも大きい場合には、位置ずれの補正度合いを弱くしてもよい。
【０１１７】
ここで、位置ずれの補正度合いを弱くするとは、送気量又は送水量が所与の閾値よりも大きいと判断されなかった場合よりも弱くすることを意味する。
【０１１８】
これにより、図１２に示したように、送気量、送水量が大きい場合には、位置ずれの補正度合いを弱くすることが可能になる。送気量又は送水量が所与の閾値よりも大きいときには、ユーザは送気又は送水操作を行うことを目的としており、その際には観察に主眼をおいていないと考えられる。また、送水操作により水が流されていては被検体の観察そのものが困難である。よってこのような場合には位置ずれ補正を行っても効果がないため、補正度合いを弱くする。
【０１１９】
また、画像処理装置は、基準画像の画素の画素値に基づいて、基準画像から同一の被検体像を含む領域である位置ずれ補正対象領域を検出する位置ずれ補正対象領域検出部を含み、抽出部１７０は、位置ずれ補正対象領域の位置に応じて抽出領域の位置を変更してもよい。具体的には、位置ずれ補正対象領域が抽出領域内の所定の位置に来るように抽出領域の位置を変更してもよい。
【０１２０】
これにより、位置ずれの補正度合いの強弱に対応した抽出態様として、位置ずれ補正対象領域に応じた抽出領域の位置の変更を行う手法を用いることが可能になる。具体的には、位置ずれ補正対象領域が抽出領域内の所定の位置（例えば中央位置）に来るように抽出領域の位置を変更する態様が考えられる。
【０１２１】
また、位置ずれ補正を行わない場合の抽出領域の位置を第１の抽出領域位置とし、完全な位置ずれ補正を行った場合（抽出画像において被検体の位置ずれがない場合）の抽出領域の位置を第２の抽出領域位置とした場合に、抽出部１７０は、位置ずれの補正度合いの強弱を弱くする場合には、第１の抽出領域位置と第２の抽出領域位置の間の位置にある領域を抽出領域として設定する。
【０１２２】
ここで、各領域（第１の抽出領域位置に対応する領域、第２の抽出領域位置に対応する領域、抽出領域）の位置関係は、各領域に設定された基準位置の位置関係に基づいて判断するものとする。基準位置とは、領域に対応して設定される位置情報のことであり、例えば領域の中央位置の座標情報や、領域の左下端の座標情報等である。つまり、抽出領域が第１の抽出領域位置と第２の抽出領域位置の間にあるとは、第１の抽出領域位置に対応する領域の基準位置と、第２の抽出領域位置に対応する領域の基準位置との間に、抽出領域の基準位置が存在するということである。
【０１２３】
これにより、図９に示したような、弱い位置ずれ補正を行うことが可能になる。具体的な手法や、手法の利点等は上述したとおりである。
【０１２４】
また、画像処理装置は、表示制御部１８０を含んでもよい。表示制御部１８０は、抽出部１７０により抽出された抽出画像を連続して表示する制御を行ってもよいし、補正度合いを表す補正度合い情報を表示する制御を行ってもよい。
【０１２５】
これにより、抽出部１７０により抽出された抽出画像を表示することが可能になるとともに、抽出画像を取得する際に用いられた位置ずれの補正度合いの強弱の情報を表示することも可能になる。
【０１２６】
また、本実施形態の手法は、上述してきた画像処理装置と、内視鏡スコープとを含む内視鏡装置に関係する。
【０１２７】
これにより、画像処理装置にとどまらず、内視鏡装置にも本実施形態の手法を適用し、上述の効果を得ることが可能になる。
【０１２８】
また、本実施形態の手法は、撮像部１３による連続的な撮像処理によって、被検体像を含む画像である基準画像を連続的に取得し、内視鏡装置の操作状況を検出しその検出結果を示す操作状況情報を取得し、基準画像から被検体像を含む領域を抽出領域として抽出し、抽出画像を取得する際に、操作状況情報に基づいて、被検体像の位置ずれの補正度合いの強弱を決定し、決定した補正度合いの強弱に対応した抽出態様に従って、基準画像から抽出画像を抽出する画像処理装置の制御方法に関係する。
【０１２９】
これにより、画像処理装置にとどまらず、画像処理装置の制御方法にも本実施形態の手法を適用し、上述の効果を得ることが可能になる。
【０１３０】
また、本実施形態の手法は、図１３に示したように、画像取得部１２０と、設定部１５０と、状況検出部１６０と、抽出部１７０とを含む画像処理装置に関係する。画像取得部１２０は基準画像を連続的に取得する。設定部１５０は、基準画像から抽出画像を抽出するにあたって、第１抽出モードと第２抽出モードを設定する。状況検出部１６０は、操作状況情報を取得する。抽出部１７０は、操作状況情報に基づいて第１抽出モードと第２抽出モードのいずれかを選択し、選択したモードに対応した抽出態様で抽出を行う。さらに、状況検出部１６０は、内視鏡装置のスコープ部が送気又は送水に使用されているかに関する情報を操作状況情報として取得し、抽出部１７０は、内視鏡装置のスコープ部が送気又は送水に使用されていると判断された場合には、第２抽出モードを選択する。具体的には例えば、内視鏡装置の操作部において、送気指示又は送水指示が行われたか否かを検出することで、内視鏡装置のスコープ部が送気又は送水に使用されているか否かを検出してもよい。
【０１３１】
ここで、第１抽出モードとは、被検体像の位置ずれを補正する抽出モードであり、第２抽出モードとは、被検体像の位置ずれを補正しない抽出モードである。
【０１３２】
これにより、位置ずれ補正オンに対応する第１抽出モードと、位置ずれ補正オフに対応する第２抽出モードを設定した上で、送気又は送水に関する情報に基づいて、適切な抽出モードを選択することが可能になる。具体的には送気又は送水が行われているときは、位置ずれ補正オフに対応する第２抽出モードを選択することになる。第２抽出モードを選択する理由は、送気、送水時に位置ずれの補正度合いを弱く設定する理由と同様で、上述したとおりである。
【０１３３】
また、本実施形態の手法は、図１４に示したように、画像取得部１２０と、設定部１５０と、状況検出部１６０と、抽出部１７０とを含む画像処理装置に関係する。画像取得部１２０は基準画像を連続的に取得する。設定部１５０は、基準画像から抽出画像を抽出するにあたって、第１抽出モードと第２抽出モードを設定する。状況検出部１６０は、操作状況情報を取得する。抽出部１７０は、操作状況情報に基づいて第１抽出モードと第２抽出モードのいずれかを選択し、選択したモードに対応した抽出態様で抽出を行う。さらに、状況検出部１６０は、内視鏡装置のスコープ部が被検体の治療処置に使用されているかに関する情報を操作状況情報として取得し、抽出部１７０は、スコープ部が被検体の治療処置に使用されていると判断された場合には、第２抽出モードを選択する。具体的には例えば、スコープ部の先端に設けられたセンサからのセンサ情報に基づいて、スコープ部が被検体の治療処置に使用されているか否かを検出してもよい。
【０１３４】
ここで、抽出モードは上述した場合と同様であり、第１抽出モードとは、被検体像の位置ずれを補正する抽出モードであり、第２抽出モードとは、被検体像の位置ずれを補正しない抽出モードである。
【０１３５】
これにより、位置ずれ補正オンに対応する第１抽出モードと、位置ずれ補正オフに対応する第２抽出モードを設定した上で、スコープ部が被検体の治療処置に使用されているかに応じて、適切な抽出モードを選択することが可能になる。具体的には、スコープ部が被検体の治療処置に使用されているときは、位置ずれ補正オフに対応する第２抽出モードを選択することになる。これは、被検体の治療処置に使用される処置具の位置ずれと、被検体の位置ずれが同期しないことによる。つまり、治療処置時には、スコープ部の先端から処置具を出して処置を行うことになり、取得する基準画像内にも処置具が写り込む。しかし、被検体のブレと処置具とのブレは同期しないため、両方のブレを解消するような位置ずれ補正を行うことは困難である。そのため、治療処置時には位置ずれ補正をオフにする第２の抽出モードを選択することになる。その際、治療処置を行っているか否かは、例えば処置具をスコープ部の先端から出しているか否かで判断すればよい。つまり、スコープ部の先端に処置具を出しているか否かを検出するセンサを設けておき、センサからのセンサ情報に基づいて判断を行う。
【０１３６】
また、第２抽出モードに対応した抽出態様は、被検体の位置ずれの補正を考慮せずに、抽出領域を設定する抽出態様であり、抽出部１７０は、設定された抽出領域に含まれる画像を抽出画像として抽出する。また、第２抽出モードに対応した抽出態様は、被検体の位置ずれの補正を考慮せずに、基準画像上の予め決まった場所に抽出領域を設定する抽出態様であってもよい。
【０１３７】
これにより、第２抽出モードに対応した抽出態様として、位置ずれ補正を考慮しない抽出領域の設定を行う態様を用いることが可能になる。特に、基準画像上の予め決まった場所に抽出領域を設定してもよい。よって、抽出領域を容易に決定することが可能になり、処理を簡単化することができる。
【０１３８】
なお、以上のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また画像処理装置の構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。
【符号の説明】
【０１３９】
１１０ Ａ／Ｄ変換部、１２０ 画像取得部、１３０ 操作部、１４０ バッファ、
１５０ 設定部、１６０ 状況検出部、１６１ 停止近接検出部、
１６２ 注目領域検出部、１６３ 部位検出部、１６４ 観察状態検出部、
１６５ 倍率取得部、１６６ 操作量情報取得部、１６７ 送気送水検出部、
１７０ 抽出部、１８０ 表示制御部、
Ｓ０１ 光源装置、Ｓ０２ 白色光源、Ｓ０３ 回転フィルタ、Ｓ０４ 集光レンズ、
Ｓ０５ 外装、Ｓ０６ ライトガイドファイバ、Ｓ０７ 照明光学系、
Ｓ０８ 集光レンズ、Ｓ０９ 撮像素子、Ｓ１１ 挿入口、Ｓ１２ 誘導管、
Ｓ１３ ズームレンズ、Ｓ１４ 送水タンク、Ｓ１５ 送水管
Ｓ１６ 白色光透過フィルタ、Ｓ１７ 狭帯域透過フィルタ
【特許請求の範囲】
【請求項１】
内視鏡装置の撮像部による連続的な撮像処理によって、被検体像を含む画像である基準画像を連続的に取得する画像取得部と、
前記内視鏡装置の操作状況を検出し、その検出結果を示す操作状況情報を取得する状況検出部と、
連続的に取得された前記基準画像から、前記被検体像を含む領域を抽出領域として抽出し、抽出画像を取得する抽出部と、
を含み、
前記抽出部は、
前記状況検出部において取得された前記操作状況情報に基づいて、前記被検体像の位置ずれの補正度合いの強弱を決定し、決定した補正度合いの強弱に対応した抽出態様に従って、前記基準画像から前記抽出画像を抽出することを特徴とする画像処理装置。
【請求項２】
請求項１において、
前記抽出部は、
前記状況検出部において取得された前記操作状況情報に基づいて、前記被検体像の位置ずれの補正度合いの強弱を決定し、決定した補正度合いの強弱に基づいて、前記基準画像における前記抽出領域の位置を設定することを特徴とする画像処理装置。
【請求項３】
請求項１において、
前記状況検出部は、
前記操作状況情報として、前記内視鏡装置のスコープ部が停止しているか否かに関する情報を取得し、
前記抽出部は、
前記内視鏡装置のスコープ部が停止しているか否かに関する情報により、前記内視鏡装置の前記スコープ部が停止していると判断された場合には、前記補正度合いを強くすることを特徴とする画像処理装置。
【請求項４】
請求項３において、
前記状況検出部は、
取得された前記操作状況情報により、前記内視鏡装置の操作部が所与の期間操作されていないことを検出した場合には、前記内視鏡装置の前記スコープ部が停止していると判断し、
前記抽出部は、
前記内視鏡装置の前記操作部が所与の期間操作されていないことが検出されたことによって前記内視鏡の前記スコープ部が停止していると判断された場合には、前記補正度合いを強くすることを特徴とする画像処理装置。
【請求項５】
請求項１において、
前記状況検出部は、
前記操作状況情報として、前記内視鏡装置のスコープ部が前記被検体に接近しているか否かに関する情報を取得し、
前記抽出部は、
前記スコープ部が前記被検体に接近しているか否かに関する情報により、前記内視鏡装置の前記スコープ部が前記被検体に接近していると判断された場合には、前記補正度合いを強くすることを特徴とする画像処理装置。
【請求項６】
請求項５において、
前記状況検出部は、
前記基準画像において、前記被検体のエッジ形状の大きさを検出し、検出した前記エッジ形状の大きさの変化に基づいて、前記内視鏡装置の前記スコープ部が前記被検体に接近しているか否かを検出し、
前記抽出部は、
前記エッジ形状の大きさの変化に基づいて、前記内視鏡装置の前記スコープ部が前記被検体に接近していると判断された場合には、前記補正度合いを強くすることを特徴とする画像処理装置。
【請求項７】
請求項５において、
前記状況検出部は、
前記基準画像において、複数の局所領域を設定するとともに、設定した前記複数の局所領域の各局所領域に基準位置を設定し、
設定した前記基準位置間の距離情報の変化に基づいて、前記内視鏡装置の前記スコープ部が前記被検体に接近しているか否かを検出し、
前記抽出部は、
前記基準位置間の距離情報の変化に基づいて、前記内視鏡装置の前記スコープ部が前記被検体に接近していると判断された場合には、前記補正度合いを強くすることを特徴とする画像処理装置。
【請求項８】
請求項１において、
前記状況検出部は、
前記操作状況情報として、前記基準画像内において注目すべき領域である注目領域の検出の有無に関する情報を取得し、
前記抽出部は、
注目すべき領域である注目領域の検出の有無に関する情報により、前記注目領域が検出されたと判断された場合には、前記補正度合いを強くすることを特徴とする画像処理装置。
【請求項９】
請求項８において、
前記状況検出部は、
前記操作状況情報として、操作中の前記内視鏡装置のスコープ部が位置する部位に関する情報をさらに取得し、
前記抽出部は、
前記内視鏡装置の前記スコープ部が位置する部位に関する情報により、前記部位が所与の部位であると判断された場合には、前記注目領域が検出された場合にも、前記補正度合いを強くせず、前記補正度合いを弱くすることを特徴とする画像処理装置。
【請求項１０】
請求項９において、
前記状況検出部は、
前記基準画像の画素の特徴量に基づいて、操作中の前記内視鏡装置の前記スコープ部が位置する前記部位を検出し、
前記抽出部は、
前記基準画像の画素の前記特徴量により、前記部位が所与の部位であると判断された場合には、前記注目領域が検出された場合にも、前記補正度合いを強くせず、前記補正度合いを弱くすることを特徴とする画像処理装置。
【請求項１１】
請求項９において、
前記状況検出部は、
前記内視鏡装置の前記スコープ部が被験者の体内に挿入された長さである挿入長を検出し、検出した前記挿入長と、前記挿入長と前記部位の位置とを対応付ける基準長とを比較することで、操作中の前記内視鏡装置の前記スコープ部が位置する部位を検出し、
前記抽出部は、
前記挿入長と前記基準長との比較により、前記部位が所与の部位であると判断された場合には、前記注目領域が検出された場合にも、前記補正度合いを強くせず、前記補正度合いを弱くすることを特徴とする画像処理装置。
【請求項１２】
請求項１において、
前記状況検出部は、
前記操作状況情報として、前記撮像部が拡大観察状態か否かの情報を取得し、
前記抽出部は、
前記撮像部が拡大観察状態か否かの情報により、前記内視鏡装置の前記撮像部が拡大観察状態であると判断された場合には、前記補正度合いを弱くすることを特徴とする画像処理装置。
【請求項１３】
請求項１において、
前記状況検出部は、
前記操作状況情報として、拡大観察中の前記内視鏡装置の前記撮像部のズーム倍率に関する情報を取得し、
前記抽出部は、
前記ズーム倍率が所与の閾値よりも小さい場合には、前記補正度合いを、基準補正度合いよりも弱くしながら、前記ズーム倍率が大きくなるほど強くすることを特徴とする画像処理装置。
【請求項１４】
請求項１において、
前記状況検出部は、
前記操作状況情報として、拡大観察中の前記内視鏡装置の前記撮像部のズーム倍率に関する情報を取得し、
前記抽出部は、
前記ズーム倍率が所与の閾値よりも大きい場合には、前記補正度合いを、基準補正度合いよりも弱くしながら、前記ズーム倍率が大きくなるほど弱くすることを特徴とする画像処理装置。
【請求項１５】
請求項１において、
前記状況検出部は、
前記操作状況情報として、ユーザによる前記内視鏡装置のダイヤルの操作量に関する情報を取得するものであり、
前記抽出部は、
前記ダイヤルの操作量が所与の基準操作量よりも大きい場合には、前記補正度合いを弱くすることを特徴とする画像処理装置。
【請求項１６】
請求項１において、
前記状況検出部は、
前記操作状況情報として、前記内視鏡装置の送気時における送気量、または、送水時における送水量に関する情報を取得し、
前記抽出部は、
前記送気量または前記送水量が所与の閾値よりも大きい場合には、前記補正度合いを弱くすることを特徴とする画像処理装置。
【請求項１７】
請求項１において、
前記基準画像内の画素の画素値をもとに、前記基準画像から前記同一の被検体像を含む領域である位置ずれ補正対象領域を検出する位置ずれ補正対象領域検出部を含み、
前記抽出部は、
前記基準画像上において検出された前記位置ずれ補正対象領域の位置に応じて、前記抽出領域の位置を変更することを特徴とする画像処理装置。
【請求項１８】
請求項１７において、
前記抽出部は、
前記基準画像上において検出された前記位置ずれ補正対象領域の位置に基づいて、前記位置ずれ補正対象領域が前記抽出領域内の所定位置になる位置に、前記抽出領域の位置を変更することを特徴とする画像処理装置。
【請求項１９】
請求項１において、
前記被検体の位置ずれの補正を行わない場合の前記抽出領域の位置を第１の抽出領域位置とし、前記被検体の位置ずれがない前記抽出画像を抽出した場合の前記抽出領域の位置を第２の抽出領域位置とした場合に、
前記抽出部は、
前記被検体像の位置ずれの補正度合いを弱くする場合には、前記第１の抽出領域位置と前記第２の抽出領域位置の間の位置にある領域を、前記抽出領域として設定することを特徴とする画像処理装置。
【請求項２０】
請求項１において、
前記抽出部により抽出される抽出画像を連続して表示する制御を行う表示制御部を含むことを特徴とする画像処理装置。
【請求項２１】
請求項１において、
前記決定された補正度合いを表す補正度合い情報を表示する制御を行う表示制御部を含むことを特徴とする画像処理装置。
【請求項２２】
請求項１乃至２１のいずれかに記載の画像処理装置と、
内視鏡スコープと、
を含むことを特徴とする内視鏡装置。
【請求項２３】
内視鏡装置の撮像部による連続的な撮像処理によって、被検体像を含む画像である基準画像を連続的に取得し、
前記内視鏡装置の操作状況を検出し、その検出結果を示す操作状況情報を取得し、
連続的に取得された前記基準画像から、前記被検体像を含む領域を抽出領域として抽出し、抽出画像を取得する際に、前記状況検出部において取得された前記操作状況情報に基づいて、前記被検体像の位置ずれの補正度合いの強弱を決定し、決定した補正度合いの強弱に対応した抽出態様に従って、前記基準画像から前記抽出画像を抽出することを特徴とする画像処理装置の制御方法。
【請求項２４】
内視鏡装置の撮像部による連続的な撮像処理によって、被検体像を含む画像である基準画像を連続的に取得する画像取得部と、
前記取得された各基準画像から、基準画像内の被検体像を含む画像を抽出画像としてそれぞれ抽出するにあたって、それぞれの前記抽出画像に含まれる同一の被検体像の位置ずれを補正する第１抽出モードと、前記同一の被検体像の位置ずれを補正しない第２抽出モードとを設定する設定部と、
前記内視鏡装置の操作状況を検出し、その検出結果を示す操作状況情報を取得する状況検出部と、
前記取得された操作状況情報に基づいて、前記第１抽出モードまたは前記第２抽出モードのいずれかを選択し、選択した抽出モードに対応した抽出態様に従って、前記基準画像から前記抽出画像を抽出する抽出部と、
を含み、
前記状況検出部は、
前記操作状況情報として、前記内視鏡装置のスコープ部が送気または送水に使用されているか否かに関する情報を取得し、
前記抽出部は、
取得された前記操作状況情報によって、前記内視鏡装置の前記スコープ部が送気または送水に使用されていると判断された場合には、前記第２抽出モードを選択することを特徴とする画像処理装置。
【請求項２５】
請求項２４において、
前記状況検出部は、
前記内視鏡装置の操作部において送気指示、または、送水指示が行われたか否かを検出することで、前記内視鏡装置の前記スコープ部が送気または送水に使用されているか否かを検出することを特徴とする画像処理装置。
【請求項２６】
内視鏡装置の撮像部による連続的な撮像処理によって、被検体像を含む画像である基準画像を連続的に取得する画像取得部と、
前記取得された各基準画像から、基準画像内の被検体像を含む画像を抽出画像としてそれぞれ抽出するにあたって、それぞれの前記抽出画像に含まれる同一の被検体像の位置ずれを補正する第１抽出モードと、前記同一の被検体像の位置ずれを補正しない第２抽出モードとを設定する設定部と、
前記内視鏡装置の操作状況を検出し、その検出結果を示す操作状況情報を取得する状況検出部と、
前記取得された操作状況情報に基づいて、前記第１抽出モードまたは前記第２抽出モードのいずれかを選択し、選択した抽出モードに対応した抽出態様に従って、前記基準画像から前記抽出画像を抽出する抽出部と、
を含み、
前記状況検出部は、
前記操作状況情報として、前記内視鏡装置のスコープ部が被検体の治療処置に使用されているか否かに関する情報を取得し、
前記抽出部は、
取得された前記操作状況情報によって前記内視鏡装置の前記スコープ部が被検体の治療処置に使用されていると判断された場合には、前記第２抽出モードを選択することを特徴とする画像処理装置。
【請求項２７】
請求項２６において、
前記状況検出部は、
前記内視鏡装置の前記スコープ部の先端に設けられたセンサからのセンサ情報に基づいて、前記内視鏡装置の前記スコープ部が被検体の治療処置に使用されているか否かを検出することを特徴とする画像処理装置。
【請求項２８】
請求項２６において、
前記第２抽出モードに対応した抽出態様は、
前記同一の被検体像の位置ずれの補正を考慮せずに、前記基準画像上に前記抽出画像を抽出するための抽出領域を設定する抽出態様であり、
前記抽出部は、
前記基準画像上に設定された抽出領域に含まれる画像を前記抽出画像として抽出することを特徴とする画像処理装置。
【請求項２９】
請求項２８において、
前記第２抽出モードに対応した抽出態様は、
前記同一の被検体像の位置ずれの補正を考慮せずに、前記基準画像上の予め決まった場所に、前記抽出領域を設定する抽出態様であることを特徴とする画像処理装置。
【請求項１】
内視鏡装置の撮像部による連続的な撮像処理によって、被検体像を含む画像である基準画像を連続的に取得する画像取得部と、
前記内視鏡装置の操作状況を検出し、その検出結果を示す操作状況情報を取得する状況検出部と、
連続的に取得された前記基準画像から、前記被検体像を含む領域を抽出領域として抽出し、抽出画像を取得する抽出部と、
を含み、
前記抽出部は、
前記状況検出部において取得された前記操作状況情報に基づいて、前記被検体像の位置ずれの補正度合いの強弱を決定し、決定した補正度合いの強弱に対応した抽出態様に従って、前記基準画像から前記抽出画像を抽出することを特徴とする画像処理装置。
【請求項２】
請求項１において、
前記抽出部は、
前記状況検出部において取得された前記操作状況情報に基づいて、前記被検体像の位置ずれの補正度合いの強弱を決定し、決定した補正度合いの強弱に基づいて、前記基準画像における前記抽出領域の位置を設定することを特徴とする画像処理装置。
【請求項３】
請求項１において、
前記状況検出部は、
前記操作状況情報として、前記内視鏡装置のスコープ部が停止しているか否かに関する情報を取得し、
前記抽出部は、
前記内視鏡装置のスコープ部が停止しているか否かに関する情報により、前記内視鏡装置の前記スコープ部が停止していると判断された場合には、前記補正度合いを強くすることを特徴とする画像処理装置。
【請求項４】
請求項３において、
前記状況検出部は、
取得された前記操作状況情報により、前記内視鏡装置の操作部が所与の期間操作されていないことを検出した場合には、前記内視鏡装置の前記スコープ部が停止していると判断し、
前記抽出部は、
前記内視鏡装置の前記操作部が所与の期間操作されていないことが検出されたことによって前記内視鏡の前記スコープ部が停止していると判断された場合には、前記補正度合いを強くすることを特徴とする画像処理装置。
【請求項５】
請求項１において、
前記状況検出部は、
前記操作状況情報として、前記内視鏡装置のスコープ部が前記被検体に接近しているか否かに関する情報を取得し、
前記抽出部は、
前記スコープ部が前記被検体に接近しているか否かに関する情報により、前記内視鏡装置の前記スコープ部が前記被検体に接近していると判断された場合には、前記補正度合いを強くすることを特徴とする画像処理装置。
【請求項６】
請求項５において、
前記状況検出部は、
前記基準画像において、前記被検体のエッジ形状の大きさを検出し、検出した前記エッジ形状の大きさの変化に基づいて、前記内視鏡装置の前記スコープ部が前記被検体に接近しているか否かを検出し、
前記抽出部は、
前記エッジ形状の大きさの変化に基づいて、前記内視鏡装置の前記スコープ部が前記被検体に接近していると判断された場合には、前記補正度合いを強くすることを特徴とする画像処理装置。
【請求項７】
請求項５において、
前記状況検出部は、
前記基準画像において、複数の局所領域を設定するとともに、設定した前記複数の局所領域の各局所領域に基準位置を設定し、
設定した前記基準位置間の距離情報の変化に基づいて、前記内視鏡装置の前記スコープ部が前記被検体に接近しているか否かを検出し、
前記抽出部は、
前記基準位置間の距離情報の変化に基づいて、前記内視鏡装置の前記スコープ部が前記被検体に接近していると判断された場合には、前記補正度合いを強くすることを特徴とする画像処理装置。
【請求項８】
請求項１において、
前記状況検出部は、
前記操作状況情報として、前記基準画像内において注目すべき領域である注目領域の検出の有無に関する情報を取得し、
前記抽出部は、
注目すべき領域である注目領域の検出の有無に関する情報により、前記注目領域が検出されたと判断された場合には、前記補正度合いを強くすることを特徴とする画像処理装置。
【請求項９】
請求項８において、
前記状況検出部は、
前記操作状況情報として、操作中の前記内視鏡装置のスコープ部が位置する部位に関する情報をさらに取得し、
前記抽出部は、
前記内視鏡装置の前記スコープ部が位置する部位に関する情報により、前記部位が所与の部位であると判断された場合には、前記注目領域が検出された場合にも、前記補正度合いを強くせず、前記補正度合いを弱くすることを特徴とする画像処理装置。
【請求項１０】
請求項９において、
前記状況検出部は、
前記基準画像の画素の特徴量に基づいて、操作中の前記内視鏡装置の前記スコープ部が位置する前記部位を検出し、
前記抽出部は、
前記基準画像の画素の前記特徴量により、前記部位が所与の部位であると判断された場合には、前記注目領域が検出された場合にも、前記補正度合いを強くせず、前記補正度合いを弱くすることを特徴とする画像処理装置。
【請求項１１】
請求項９において、
前記状況検出部は、
前記内視鏡装置の前記スコープ部が被験者の体内に挿入された長さである挿入長を検出し、検出した前記挿入長と、前記挿入長と前記部位の位置とを対応付ける基準長とを比較することで、操作中の前記内視鏡装置の前記スコープ部が位置する部位を検出し、
前記抽出部は、
前記挿入長と前記基準長との比較により、前記部位が所与の部位であると判断された場合には、前記注目領域が検出された場合にも、前記補正度合いを強くせず、前記補正度合いを弱くすることを特徴とする画像処理装置。
【請求項１２】
請求項１において、
前記状況検出部は、
前記操作状況情報として、前記撮像部が拡大観察状態か否かの情報を取得し、
前記抽出部は、
前記撮像部が拡大観察状態か否かの情報により、前記内視鏡装置の前記撮像部が拡大観察状態であると判断された場合には、前記補正度合いを弱くすることを特徴とする画像処理装置。
【請求項１３】
請求項１において、
前記状況検出部は、
前記操作状況情報として、拡大観察中の前記内視鏡装置の前記撮像部のズーム倍率に関する情報を取得し、
前記抽出部は、
前記ズーム倍率が所与の閾値よりも小さい場合には、前記補正度合いを、基準補正度合いよりも弱くしながら、前記ズーム倍率が大きくなるほど強くすることを特徴とする画像処理装置。
【請求項１４】
請求項１において、
前記状況検出部は、
前記操作状況情報として、拡大観察中の前記内視鏡装置の前記撮像部のズーム倍率に関する情報を取得し、
前記抽出部は、
前記ズーム倍率が所与の閾値よりも大きい場合には、前記補正度合いを、基準補正度合いよりも弱くしながら、前記ズーム倍率が大きくなるほど弱くすることを特徴とする画像処理装置。
【請求項１５】
請求項１において、
前記状況検出部は、
前記操作状況情報として、ユーザによる前記内視鏡装置のダイヤルの操作量に関する情報を取得するものであり、
前記抽出部は、
前記ダイヤルの操作量が所与の基準操作量よりも大きい場合には、前記補正度合いを弱くすることを特徴とする画像処理装置。
【請求項１６】
請求項１において、
前記状況検出部は、
前記操作状況情報として、前記内視鏡装置の送気時における送気量、または、送水時における送水量に関する情報を取得し、
前記抽出部は、
前記送気量または前記送水量が所与の閾値よりも大きい場合には、前記補正度合いを弱くすることを特徴とする画像処理装置。
【請求項１７】
請求項１において、
前記基準画像内の画素の画素値をもとに、前記基準画像から前記同一の被検体像を含む領域である位置ずれ補正対象領域を検出する位置ずれ補正対象領域検出部を含み、
前記抽出部は、
前記基準画像上において検出された前記位置ずれ補正対象領域の位置に応じて、前記抽出領域の位置を変更することを特徴とする画像処理装置。
【請求項１８】
請求項１７において、
前記抽出部は、
前記基準画像上において検出された前記位置ずれ補正対象領域の位置に基づいて、前記位置ずれ補正対象領域が前記抽出領域内の所定位置になる位置に、前記抽出領域の位置を変更することを特徴とする画像処理装置。
【請求項１９】
請求項１において、
前記被検体の位置ずれの補正を行わない場合の前記抽出領域の位置を第１の抽出領域位置とし、前記被検体の位置ずれがない前記抽出画像を抽出した場合の前記抽出領域の位置を第２の抽出領域位置とした場合に、
前記抽出部は、
前記被検体像の位置ずれの補正度合いを弱くする場合には、前記第１の抽出領域位置と前記第２の抽出領域位置の間の位置にある領域を、前記抽出領域として設定することを特徴とする画像処理装置。
【請求項２０】
請求項１において、
前記抽出部により抽出される抽出画像を連続して表示する制御を行う表示制御部を含むことを特徴とする画像処理装置。
【請求項２１】
請求項１において、
前記決定された補正度合いを表す補正度合い情報を表示する制御を行う表示制御部を含むことを特徴とする画像処理装置。
【請求項２２】
請求項１乃至２１のいずれかに記載の画像処理装置と、
内視鏡スコープと、
を含むことを特徴とする内視鏡装置。
【請求項２３】
内視鏡装置の撮像部による連続的な撮像処理によって、被検体像を含む画像である基準画像を連続的に取得し、
前記内視鏡装置の操作状況を検出し、その検出結果を示す操作状況情報を取得し、
連続的に取得された前記基準画像から、前記被検体像を含む領域を抽出領域として抽出し、抽出画像を取得する際に、前記状況検出部において取得された前記操作状況情報に基づいて、前記被検体像の位置ずれの補正度合いの強弱を決定し、決定した補正度合いの強弱に対応した抽出態様に従って、前記基準画像から前記抽出画像を抽出することを特徴とする画像処理装置の制御方法。
【請求項２４】
内視鏡装置の撮像部による連続的な撮像処理によって、被検体像を含む画像である基準画像を連続的に取得する画像取得部と、
前記取得された各基準画像から、基準画像内の被検体像を含む画像を抽出画像としてそれぞれ抽出するにあたって、それぞれの前記抽出画像に含まれる同一の被検体像の位置ずれを補正する第１抽出モードと、前記同一の被検体像の位置ずれを補正しない第２抽出モードとを設定する設定部と、
前記内視鏡装置の操作状況を検出し、その検出結果を示す操作状況情報を取得する状況検出部と、
前記取得された操作状況情報に基づいて、前記第１抽出モードまたは前記第２抽出モードのいずれかを選択し、選択した抽出モードに対応した抽出態様に従って、前記基準画像から前記抽出画像を抽出する抽出部と、
を含み、
前記状況検出部は、
前記操作状況情報として、前記内視鏡装置のスコープ部が送気または送水に使用されているか否かに関する情報を取得し、
前記抽出部は、
取得された前記操作状況情報によって、前記内視鏡装置の前記スコープ部が送気または送水に使用されていると判断された場合には、前記第２抽出モードを選択することを特徴とする画像処理装置。
【請求項２５】
請求項２４において、
前記状況検出部は、
前記内視鏡装置の操作部において送気指示、または、送水指示が行われたか否かを検出することで、前記内視鏡装置の前記スコープ部が送気または送水に使用されているか否かを検出することを特徴とする画像処理装置。
【請求項２６】
内視鏡装置の撮像部による連続的な撮像処理によって、被検体像を含む画像である基準画像を連続的に取得する画像取得部と、
前記取得された各基準画像から、基準画像内の被検体像を含む画像を抽出画像としてそれぞれ抽出するにあたって、それぞれの前記抽出画像に含まれる同一の被検体像の位置ずれを補正する第１抽出モードと、前記同一の被検体像の位置ずれを補正しない第２抽出モードとを設定する設定部と、
前記内視鏡装置の操作状況を検出し、その検出結果を示す操作状況情報を取得する状況検出部と、
前記取得された操作状況情報に基づいて、前記第１抽出モードまたは前記第２抽出モードのいずれかを選択し、選択した抽出モードに対応した抽出態様に従って、前記基準画像から前記抽出画像を抽出する抽出部と、
を含み、
前記状況検出部は、
前記操作状況情報として、前記内視鏡装置のスコープ部が被検体の治療処置に使用されているか否かに関する情報を取得し、
前記抽出部は、
取得された前記操作状況情報によって前記内視鏡装置の前記スコープ部が被検体の治療処置に使用されていると判断された場合には、前記第２抽出モードを選択することを特徴とする画像処理装置。
【請求項２７】
請求項２６において、
前記状況検出部は、
前記内視鏡装置の前記スコープ部の先端に設けられたセンサからのセンサ情報に基づいて、前記内視鏡装置の前記スコープ部が被検体の治療処置に使用されているか否かを検出することを特徴とする画像処理装置。
【請求項２８】
請求項２６において、
前記第２抽出モードに対応した抽出態様は、
前記同一の被検体像の位置ずれの補正を考慮せずに、前記基準画像上に前記抽出画像を抽出するための抽出領域を設定する抽出態様であり、
前記抽出部は、
前記基準画像上に設定された抽出領域に含まれる画像を前記抽出画像として抽出することを特徴とする画像処理装置。
【請求項２９】
請求項２８において、
前記第２抽出モードに対応した抽出態様は、
前記同一の被検体像の位置ずれの補正を考慮せずに、前記基準画像上の予め決まった場所に、前記抽出領域を設定する抽出態様であることを特徴とする画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１２−８５６９６（Ｐ２０１２−８５６９６Ａ）
【公開日】平成２４年５月１０日（２０１２．５．１０）
【国際特許分類】
【出願番号】特願２０１０−２３２９３１（Ｐ２０１０−２３２９３１）
【出願日】平成２２年１０月１５日（２０１０．１０．１５）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２４年５月１０日（２０１２．５．１０）
【国際特許分類】
【出願日】平成２２年１０月１５日（２０１０．１０．１５）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]