画像処理装置、内視鏡システム及びプログラム
【課題】第１画像の被写体の種類判定の精度や信頼性を向上できる画像処理装置、内視鏡システム及びプログラム等の提供。
【解決手段】画像処理装置９０は、画像を取得する画像取得部２１２と、取得された画像上の被写体の種類判別についての信頼度を取得する処理を行う信頼度処理部２１３と、被写体の種類判別処理を行う種類判別部２１５を含む。画像取得部２１２は、第１画像と、第１画像とは取得フレームが異なる第２画像を取得する。種類判別部２１５は、第１画像の被写体の種類判別処理に第２画像の情報を用いるか否かを、第１画像において取得された信頼度に基づいて判断する。
【解決手段】画像処理装置９０は、画像を取得する画像取得部２１２と、取得された画像上の被写体の種類判別についての信頼度を取得する処理を行う信頼度処理部２１３と、被写体の種類判別処理を行う種類判別部２１５を含む。画像取得部２１２は、第１画像と、第１画像とは取得フレームが異なる第２画像を取得する。種類判別部２１５は、第１画像の被写体の種類判別処理に第２画像の情報を用いるか否かを、第１画像において取得された信頼度に基づいて判断する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、内視鏡システム及びプログラム等に関する。
【背景技術】
【０００２】
内視鏡検診においては、医者が内視鏡で撮影された内視鏡画像を見て、病変部／正常部の判定を行う。しかし、内視鏡画像において、光学レンズの特性、撮像素子の構成などが原因で画角の周辺部で照明強度が弱くなることや、撮像装置から被写体までの撮像距離が遠いなどで病変部／正常部の判定が困難になる場合がある。
【０００３】
例えば特許文献１には、撮像時刻が異なる複数の画像を用いて、ブロック単位で動きを検出し、現在のフレーム（フィールド）の画像と前のフレームの画像からテンプレートの重なり判定で同種類のテンプレート同士を追跡する技術が開示されている。この技術を適用することで、過去のフレームの画像の情報を現在のフレームの画像の被写体認識の判定結果に流用できるため、判別能力を高めることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−３７３３３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
この特許文献１の技術は、監視カメラなどの一般民生用分野に適用する場合には、精度的に十分である。しかしながら、内視鏡診断分野においては、過去のフレームの画像の判定結果を、そのまま現在のフレームの画像での病変部／正常部の判定に適用することは、判別精度として不十分であり、信頼度が欠けるおそれがある。
【０００６】
本発明の幾つかの態様によれば、第１画像の被写体の種類判定の精度や信頼性を向上できる画像処理装置、内視鏡システム及びプログラム等を提供できる。
【課題を解決するための手段】
【０００７】
本発明の一態様は、画像を取得する画像取得部と、取得された画像上の被写体の種類判別についての信頼度を取得する処理を行う信頼度処理部と、被写体の種類判別処理を行う種類判別部とを含み、前記画像取得部は、第１画像と、前記第１画像とは取得フレームが異なる第２画像を取得し、前記種類判別部は、前記第１画像の被写体の種類判別処理に前記第２画像の情報を用いるか否かを、前記第１画像において取得された前記信頼度に基づいて判断する画像処理装置に関係する。また本発明は、上記各部としてコンピュータを機能させるプログラムに関係する。
【０００８】
本発明の一態様によれば、第１画像と、第１画像とは取得フレームが異なる第２画像が取得される。これらの第１画像、第２画像は、撮像部によりリアルタイムに撮影されて取得されるものであってもよいし、メモリ等の保存部から読み出すことで取得されるものであってもよい。そして本発明の一態様では、第１画像の被写体の種類判別処理に第２画像の情報を用いるか否かが、第１画像において取得された信頼度に基づいて判断される。そして、第２画像の情報を用いると判断された場合には、第２画像の情報を利用して、第１画像の被写体の種類判別処理が行われる。このように第２画像の情報を用いて、第１画像の被写体の種類判別を行うことで、第１画像の被写体の種類判別の高精度化や容易化を図れる。また第２画像の情報を用いるか否かを、第１画像において取得された信頼度に基づいて判断すれば、例えば第１画像において信頼度が低い部分（画素、領域）を判断して、第２画像の情報を適用すれば、第１画像の被写体の種類を判別できるようになるため、第１画像の被写体の種類判定の精度や信頼性を向上できる。
【０００９】
また本発明の他の態様は、画像を取得する画像取得部と、取得された画像上の被写体の種類判別についての信頼度を取得する処理を行う信頼度処理部と、被写体の種類判別処理を行う種類判別部とを含み、前記画像取得部は、第１画像と、前記第１画像とは取得フレームが異なる第２画像を取得し、前記信頼度処理部は、前記信頼度が高いエリアを高信頼度エリアに設定し、前記高信頼度エリアよりも前記信頼度が低いエリアを低信頼度エリアに設定し、前記種類判別部は、前記第１画像の前記低信頼度エリアでの被写体の種類判別処理を、前記第２画像の情報を用いて行う画像処理装置に関係する。また本発明は、上記各部としてコンピュータを機能させるプログラムに関係する。
【００１０】
本発明の他の態様によれば、第１画像と、第１画像とは取得フレームが異なる第２画像が取得される。また、信頼度が高いエリアが高信頼度エリアに設定され、信頼度が低いエリアが低信頼度エリアに設定される。これらの高信頼度エリア、低信頼度エリアの設定は、画像の明るさ情報、色情報等などを用いて信頼度を算出することで行ってもよいし、画像内での位置に応じて行ってもよい。また高信頼度エリアと低信頼度エリアの中間の信頼度エリアを設定するなど、信頼度エリアの区分けの態様としては種々の態様を想定できる。そして本発明の他の態様によれば、第１画像の低信頼度エリアでの被写体については、第２画像の情報を用いて、その種類判別処理が行われる。従って、第１画像に低信頼度エリアが存在する場合にも、その低信頼度エリアでの被写体の種類判別を、例えば第２画像の高信頼度エリアでの情報等を用いて行うことが可能になるため、第１画像の被写体の種類判定の精度や信頼性を向上できる。
【００１１】
また本発明の他の態様は、画像を取得する画像取得部と、取得された画像上の被写体の種類判別についての信頼度を取得する処理を行う信頼度処理部と、被写体の種類判別処理を行う種類判別部とを含み、前記画像取得部は、第１画像と、前記第１画像とは取得フレームが異なる第２画像を取得し、前記種類判別部は、前記第１画像の被写体の種類判別処理に前記第２画像の情報を用いるか否かを、前記第１画像において取得された前記信頼度に基づいて判断する内視鏡システムに関係する。
【００１２】
また本発明の他の態様は、画像を取得する画像取得部と、取得された画像上の被写体の種類判別についての信頼度を取得する処理を行う信頼度処理部と、被写体の種類判別処理を行う種類判別部とを含み、前記画像取得部は、第１画像と、前記第１画像とは取得フレームが異なる第２画像を取得し、前記信頼度処理部は、前記信頼度が高いエリアを高信頼度エリアに設定し、前記高信頼度エリアよりも前記信頼度が低いエリアを低信頼度エリアに設定し、前記種類判別部は、前記第１画像の前記低信頼度エリアでの被写体の種類判別処理を、前記第２画像の情報を用いて行う内視鏡システムに関係する。
【図面の簡単な説明】
【００１３】
【図１】図１（Ａ）〜図１（Ｃ）は本実施形態の手法の説明図。
【図２】図２（Ａ）、図２（Ｂ）は第１画像の低信頼度エリアでの種類判定に第２画像の情報を用いる手法の説明図。
【図３】第２画像のマッチングブロック領域の情報を用いて第１画像のブロック領域の被写体の種類判別を行う手法の説明図。
【図４】本実施形態の第１の構成例。
【図５】通常光画像の分光特性の例。
【図６】特殊光画像の分光特性（ＮＢＩ）の例。
【図７】特殊光撮像素子のフィルタ構成例。
【図８】画像取得部の構成例。
【図９】信頼度処理部の構成例。
【図１０】色差領域の説明図。
【図１１】高信頼度／低信頼度エリアの設定例。
【図１２】種類判別部の構成例。
【図１３】種類判別処理の説明図。
【図１４】テンプレートマッチング処理の説明図。
【図１５】ソフトウェア処理で用いられるコンピュータの構成例。
【図１６】ソフトウェア処理で用いられるコンピュータの構成例。
【図１７】第１の構成例の処理を説明するためのフローチャート。
【図１８】信頼度取得処理を説明するためのフローチャート。
【図１９】種類判別処理を説明するためのフローチャート。
【図２０】本実施形態の第２の構成例。
【図２１】第２の構成例の種類判別部の構成例。
【図２２】第２の構成例の種類判別処理の説明図。
【図２３】第２の構成例の種類判別処理を説明するためのフローチャート。
【図２４】第２の構成例の種類判別部の変形例。
【図２５】変形例の種類判別処理の説明図。
【図２６】変形例の種類判別処理の説明図。
【図２７】第２の構成例のマッチング処理の説明図。
【発明を実施するための形態】
【００１４】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００１５】
１．概要
まず本実施形態の概要について説明する。ＣＣＤなどの撮像素子により被写体を撮像する場合に、撮像素子や光学系の特性により、画像の中央部は明るくなる一方で、中央部の周りの周辺部が暗くなってしまう現象が生じる。また消化器の内視鏡検診などにおいては、消化器は管空状であるため、画像の中央部に空洞形態が現れて中央部が暗くなる一方で、周辺部が明るくなる現象が生じる。
【００１６】
このような場合に、暗い画像を用いて病変部／正常部などの被写体の種類判別を行うと、診断結果の信頼度を今ひとつ高めることができない。
【００１７】
一方、種類判別の精度を高める１つの手法として、前述のように過去のフレームの画像とのマッチング処理を行う手法も考えられる。
【００１８】
しかしながら、過去のフレームの画像の情報をそのまま現在のフレームの画像での被写体の種類判別に適用するだけでは、被写体の判別精度の向上には限界がある。
【００１９】
そこで本実施形態では図１（Ａ）に示すように、第１画像ＩＭ１と、第１画像ＩＭ１とは取得フレーム（取得タイミング）が異なる第２画像ＩＭ２を取得する。例えば撮像素子や光学系を有する撮像部による時系列の撮像により、第１画像ＩＭ１、第２画像ＩＭ２を取得する。図１（Ａ）では、第１画像ＩＭ１は例えば現在のフレームＦ３（現在のタイミング）で撮像された画像であり、第２画像ＩＭ２は過去のフレームＦ２（過去のタイミング）で撮像された画像である。
【００２０】
そして本実施形態では、第１画像ＩＭ１の被写体の種類判別処理（例えば病変部／正常部の判別処理）に第２画像ＩＭ２の情報を用いるか否かを、第１画像ＩＭ１において取得（算出、設定）された信頼度（例えば高信頼度エリア、低信頼度エリアの判別情報）に基づいて判断する。ここで第２画像ＩＭ２の情報は、注目部を判別するための注目部情報や、信頼度を判別するための信頼度情報である。注目部情報は、例えば処理領域の画素が、注目部（例えば病変部）の画素であるか、非注目部（例えば正常部）の画素であるかを判別するための情報である。信頼度情報は、例えば処理領域（種類判別の対象となる領域）の画素が、高信頼度エリアに属するか、高信頼度エリアよりも信頼度が低い低信頼度エリアに属するかを判別するための情報である。
【００２１】
そして図１（Ａ）では、第１画像ＩＭ１は、フレームＦ３（第１のタイミング）で取得された画像であり、第２画像ＩＭ２は、フレームＦ３よりも時系列で過去のフレームＦ２（第２のタイミング）で取得された画像である。但し図１（Ｂ）に示すように、第１画像ＩＭ１の方が、第２画像ＩＭ２よりも時系列で過去のフレーム（過去のタイミング）で取得された画像であってもよい。或いは図１（Ｃ）に示すように、複数枚（複数フレーム）の第２画像ＩＭ２Ａ、ＩＭ２Ｂを用いて、第１画像ＩＭ１の種類判別処理を行ってもよい。この場合には、例えば後述する重み付け信頼度情報等により、第２画像ＩＭ２ＡとＩＭ２Ｂのいずれかを選択し、選択された画像の情報（注目部情報、信頼度情報）を用いて、第１画像ＩＭ１の種類を判別する。
【００２２】
図１（Ａ）〜図１（Ｃ）の手法によれば、第１画像ＩＭ１の種類判別に第２画像ＩＭ２の情報を用いるか否かを、第１画像ＩＭ１の信頼度（信頼度の判別情報等）に基づいて判断している。従って、例えば第１画像ＩＭ１において信頼度等が低い部分について、第２画像ＩＭ２の情報を流用して、第１画像ＩＭ１に映る被写体（被写体像）の種類判別を行うことなどが可能になるため、種類判別の精度や信頼性を向上できる。
【００２３】
また本実施形態では図２（Ａ）に示すように、信頼度が高いエリア（例えば所定の基準値よりも信頼度が高いエリア）を高信頼度エリアに設定し、信頼度が低いエリア（例えば所定の基準値よりも信頼度が低いエリア）を低信頼度エリアに設定する。例えば図２（Ａ）では、第１画像ＩＭ１の中央部を高信頼度エリアに設定し、中央部の周り（外周）の周辺部（周縁部）を低信頼度エリアに設定している。そして第１画像ＩＭ１の周辺部の低信頼度エリア（低信頼度画素）での被写体の種類判別処理（病変部／正常部の判別処理）を、第２画像ＩＭ２の情報（注目部情報、信頼度情報）に用いて行う。例えば第２画像ＩＭ２の高信頼度エリア（例えば中央部）の情報を用いて、第１画像ＩＭ１の低信頼度エリア（周辺部）での被写体の種類判別を行う。
【００２４】
図２（Ａ）の手法によれば、第１画像ＩＭ１のうちの信頼度が低いエリアでの被写体については、第２画像ＩＭ２の情報を流用して、その種類を判別できるようになる。従って、例えば第１画像ＩＭ１において中央部に比べて周辺部の方が暗く、第１画像ＩＭ１の周辺部での画像の特徴量だけでは、被写体の正確な種類判別が難しい場合でも、その部分に対応する第２画像ＩＭ２の情報を利用して、被写体の種類判別が可能になる。従って、種類判別の精度や信頼性を更に向上できる。
【００２５】
なお高信頼度エリア、低信頼度エリアの設定手法としては、種々の手法を想定できる。例えば図２（Ｂ）のように中央部を低信頼度エリアに設定し、周辺部を高信頼度エリアに設定してもよい。或いは、画素の明るさ情報（輝度情報）等に基づいて、高信頼度エリアに属するか低信頼度エリアに属するかを画素毎に設定してもよい。また例えば高信頼度エリアと低信頼度エリアの中間の信頼度エリアを設定するようにしてもよい。
【００２６】
また本実施形態では図３に示すように、第１画像ＩＭ１を複数のブロック領域に分割する。これらの各ブロック領域は、例えばＭ×Ｍ画素の所定サイズの領域である。そしてこの第１画像ＩＭ１のブロック領域（広義には処理領域）の画像と、第２画像ＩＭ２とのマッチング処理を行うことで、ブロック領域に対応するマッチングブロック領域（広義には対応処理領域）を抽出する。例えば図３では、第１画像ＩＭ１のブロック領域ＢＬと画像がマッチングする第２画像ＩＭ２内の領域として、マッチングブロック領域ＭＢＬが抽出されている。このため図３では、抽出されたマッチングブロック領域ＭＢＬの情報を用いて、第１画像ＩＭ１のブロック領域ＢＬでの被写体の種類判別を行う。
【００２７】
例えば図３では、ブロック領域ＢＬは低信頼度エリアに属しており、ブロック領域ＢＬでの画像の特徴量だけでは、被写体の種類判別は難しい。即ちブロック領域ＢＬでは画像の明るさが十分ではないため、被写体が病変部（広義には注目部）なのか正常部（広義には非注目部）なのかを判別することが難しい。
【００２８】
そこで本実施形態では、第１画像ＩＭ１とは取得フレーム（取得タイミング）が異なる第２画像ＩＭ２の中から、ブロック領域ＢＬと画像がマッチングするマッチングブロック領域ＭＢＬを抽出する。そして、このマッチングブロック領域ＭＢＬでの画像の情報を流用して、第１画像ＩＭ１の低信頼度エリアのブロック領域ＢＬでの被写体の種類判別を行う。このようにすれば、第１画像ＩＭ１内に信頼度が低いエリアが存在する場合にも、対応する第２画像ＩＭ２の情報を流用して、被写体の種類を判別できるようになるため、種類判別の精度や信頼性を向上できる。
【００２９】
２．第１の構成例
２．１ 全体構成
図４に、以上のような本実施形態の手法を実現する本実施形態の第１の構成例を示す。この第１の構成例は、本実施形態の画像処理装置２１０及びこの画像処理装置２１０を含む内視鏡システム（内視鏡装置）の構成例である。なお本実施形態の画像処理装置２１０、内視鏡システムは図４の構成に限定されず、その構成要素の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００３０】
図４の内視鏡システムは、挿入部１０２、制御装置９０（本体装置）を含む。
【００３１】
挿入部１０２は、ライトガイドファイバ１０３、レンズ２０１、ハーフミラー２０２、通常光撮像素子２０３、フィルタ２０４、特殊光撮像素子２０５を含み、撮像部を構成している。ここでレンズ２０１、ハーフミラー２０２、フィルタ２０４が、撮像部の光学系に相当し、通常光撮像素子２０３、特殊光撮像素子２０５が、撮像部の撮像素子に相当する。
【００３２】
制御装置９０は、通常光光源１０１（広義には光源部）、画像処理装置２１０、Ａ／Ｄ変換部２１１、出力部２１６、制御部２２１、外部Ｉ／Ｆ部２２２を含む。画像処理装置２１０は、画像取得部２１２、信頼度処理部２１３、領域抽出部２１４、種類判別部２１５、保存部２１７を含む。そしてＡ／Ｄ変換部２１１は、画像取得部２１２、信頼度処理部２１３、領域抽出部２１４、種類判別部２１５を介して出力部２１６へ接続している。保存部２１７は、種類判別部２１５と双方向に接続している。制御部２２１は、Ａ／Ｄ変換部２１１、画像取得部２１２、信頼度処理部２１３、領域抽出部２１４、種類判別部２１５、出力部２１６、保存部２１７と双方向に接続している。外部Ｉ／Ｆ部２２２は制御部２２１へ接続している。
【００３３】
挿入部１０２は、体内に挿入できるように湾曲が可能な細長いパイプ状になっており、通常光光源１０１からの光は湾曲可能なライトガイドファイバ１０３を経由して、被写体１００に照射される。挿入部１０２の先端部には、レンズ２０１が配置されており、被写体１００からの反射光はこのレンズ２０１を介して、ハーフミラー２０２により、二つの反射光に分離する。そして一つの反射光は通常光撮像素子２０３に入る。
【００３４】
この通常光撮像素子２０３は、通常光画像を形成するためのベイヤ配列の色フィルタを有する撮像素子である。本実施形態では、図５に示す分光特性を持つＲＧＢの色フィルタを有する撮像素子を用いる（Ｒ０（５８０ｎｍ〜７００ｎｍ）、Ｇ０（４８０ｎｍ〜６００ｎｍ）、Ｂ０（４００ｎｍ〜５００ｎｍ））。通常光撮像素子２０３は、光電変換により反射光を通常光アナログ画像信号へ変換する。
【００３５】
一方、ハーフミラー２０２からのもう一つの反射光は、フィルタ２０４を介して特殊光撮像素子２０５へ入る。このフィルタ２０４は、所定の狭帯域光のみを透過させる。本実施形態において、フィルタ２０４は図６に示す所定の狭帯域の透過率特性を有する（Ｇ１（５３０ｎｍ〜５５０ｎｍ）、Ｂ１（３９０ｎｍ〜４４５ｎｍ））。
【００３６】
この特殊光撮像素子２０５は、図７に示すように特殊光画像を形成するための市松状配列の２種類の色フィルタを有する撮像素子であり、フィルタ２０４からの狭帯域光を光電変換により特殊光アナログ画像信号（ＮＢＩ画像信号）へ変換する。内視鏡診断の分野では、このような狭帯域分光特性を有する光は、血液中のヘモグロビンに吸収されやすいため、粘膜表層の毛細血管、粘膜微細模様の強調表示を実現できる。ＮＢＩ画像信号は食道や大腸、胃などのがんの診断に効果が高い。
【００３７】
通常光撮像素子２０３からの通常光アナログ画像信号と、特殊光撮像素子２０５からの特殊光アナログ画像信号は、Ａ／Ｄ変換部２１１へ転送される。
【００３８】
Ａ／Ｄ変換部２１１は、通常光撮像素子２０３からの通常光アナログ画像信号と特殊光撮像素子２０５からの特殊光アナログ画像信号のＡ／Ｄ変換を行う。そしてＡ／Ｄ変換により得られた通常光デジタル画像信号（通常光デジタル画像データ）と特殊光デジタル画像信号（特殊光デジタル画像データ）を、画像取得部２１２へ転送する。
【００３９】
２．２ 画像取得部
図８に、画像取得部２１２の構成例を示す。画像取得部２１２は、通常光画像処理部３０１、特殊光画像処理部３０２を含む。Ａ／Ｄ変換部２１１は通常光画像処理部３０１及び特殊光画像処理部３０２へ接続している。通常光画像処理部３０１及び特殊光画像処理部３０２は信頼度処理部２１３へ接続している。制御部２２１は通常光画像処理部３０１及び特殊光画像処理部３０２と双方向に接続している。
【００４０】
通常光画像処理部３０１は、制御部２２１の制御に基づき、Ａ／Ｄ変換部２１１からの通常光デジタル画像信号（以下、通常光画像信号と呼ぶ）に対して画像処理を行う。本実施形態では、公知のベイヤ補間処理（ベイヤ画像信号から三板画像信号へ変換）、ホワイトバランス処理、カラーマネージメント処理、階調変換処理などを行う。通常光画像処理部３０１は、処理後のＲＧＢ信号からなる通常光画像信号（Ｒｃｈ，Ｇｃｈ，Ｂｃｈ）を信頼度処理部２１３へ転送する。
【００４１】
一方、特殊光画像処理部３０２は、制御部２２１の制御に基づき、Ａ／Ｄ変換部２１１からの特殊光デジタル画像信号（以下、特殊光画像信号と呼ぶ）に対して画像処理を行う。本実施形態では、まず、図７に示す市松状配列のＧ１及びＢ１の２種類の色フィルタを有する特殊光撮像素子２０５により生成された特殊光画像信号を用いて、欠落画素の補間処理を行う。具体的には、同種類のフィルタの欠落画素の周囲画素の平均信号値を算出し、信号値として欠落画素を補間する。例えば下式（１）を用いて、図７に示すＧ１（１，１）及びＢ１（２，１）を算出する。
【００４２】
Ｇ１（１，１）
＝{Ｇ１（１，０）＋Ｇ１（０，１）＋Ｇ１（２，１）＋Ｇ１（１，２）}／４
Ｂ１（２，１）
＝{Ｂ１（２，０）＋Ｂ１（１，１）＋Ｂ１（３，１）＋Ｂ１（２，２）}／４
・・・（１）
【００４３】
上記補間処理により全画素の２信号（Ｇ１，Ｂ１）の画像信号を生成する。次に、下式（２）を用いて、１画素あたり３信号のＮＢＩ特殊光画像（ＮＢＩ疑似カラー画像）を生成する。
【００４４】
Ｒｃｈ＿ｖ＝ｐ１＊Ｇ１
Ｇｃｈ＿ｖ＝ｐ２＊Ｂ１
Ｂｃｈ＿ｖ＝ｐ３＊Ｂ１ ・・・（２）
【００４５】
上式（２）において、Ｒｃｈ＿ｖはＮＢＩ特殊光画像のＲチャンネルの信号値（Ｒ画像データ）、Ｇｃｈ＿ｖはＮＢＩ特殊光画像のＧチャンネルの信号値（Ｇ画像データ）、Ｂｃｈ＿ｖはＮＢＩ特殊光画像のＢチャンネルの信号値（Ｂ画像データ）である。またＢ１は、上記補間処理後の全画素の２信号（Ｇ１、Ｂ１）の画像信号中のＢ１（狭帯域）画像の画素値（画素データ）である。Ｇ１は、上記補間処理後の全画素の２信号（Ｇ１、Ｂ１）の画像信号中のＧ１（狭帯域）画像の画素値である。またｐ１、ｐ２、ｐ３は所定係数である。
【００４６】
続いて、上記の３板のＮＢＩ特殊光画像信号に対して、ホワイトバランス処理、階調変換処理などを行う。そして処理後のＲＧＢ信号からなる特殊光画像信号（Ｒｃｈ＿ｖ，Ｇｃｈ＿ｖ，Ｂｃｈ＿ｖ）を信頼度処理部２１３へ転送する。
【００４７】
２．３ 信頼度処理部
図９に、信頼度処理部２１３の構成例を示す。信頼度処理部２１３（信頼度算出部、信頼度設定部）は、バッファ部４０１、分割部４０２、係数算出部４０３、信頼度判定部４０４、ＲＯＭ４０５（記憶部）を含む。画像取得部２１２は、バッファ部４０１、分割部４０２、係数算出部４０３、信頼度判定部４０４を介して領域抽出部２１４へ接続している。ＲＯＭ４０５は分割部４０２、係数算出部４０３、信頼度判定部４０４へ接続している。制御部２２１は、バッファ部４０１、分割部４０２、係数算出部４０３、信頼度判定部４０４及びＲＯＭ４０５と双方向に接続している。
【００４８】
一般的に、内視鏡画像により病変部／正常部（注目部／非注目部）を診断する場合に、被写体からの反射光の強度（被写体の明るさ）が強ければ、撮像素子により取得された画像中の被写体像は明るくなり、診断能力が高くなる（白とびの場合は除外）。逆に、被写体からの反射光の強度（被写体の明るさ）が弱ければ、撮像素子により取得された画像中の被写体像は暗くなり、診断能力も弱くなる。従って、光源からの照射光の強度を増強すれば、被写体からの反射光の強度も増強され、撮像素子により取得された画像中の被写体像は明るくなるため、診断能力が高くなる。また、撮像装置から被写体までの距離が長ければ長いほど、被写体からの反射光の強度は弱くなる。それが原因で画像も暗くなるため、診断能力は弱くなる。内視鏡画像において、被写体からの反射光の強弱は輝度信号の大きさに比例するため、本実施形態では、輝度信号を用いて信頼度を算出する構成になっている。
【００４９】
信頼度処理部２１３のバッファ部４０１は、画像取得部２１２からの通常光画像信号（通常光画像データ）及び特殊光画像信号（特殊光画像データ）を保存する。そして制御部２２１の制御に基づき、特殊光画像信号及び通常光画像信号を分割部４０２へ転送する。
【００５０】
分割部４０２は、制御部２２１の制御により、領域分割処理を行う。具体的には、ＲＯＭ４０５から読み出したサイズ情報で指定される所定サイズで、特殊光画像及び通常光画像を複数のブロック領域に分割する。例えば、特殊光画像及び通常光画像を、所定サイズの８×８（１６×１６、３２×３２なども可）の画素の矩形領域に分割する。そして分割部４０２は、分割した複数のブロック領域のＲＧＢ信号からなる特殊光画像信号及び通常光画像信号を係数算出部４０３へ転送する。なおブロック領域は、矩形領域には限定されず、矩形以外の形状の領域であってもよい。また、外部Ｉ／Ｆ部２２２を介して分割領域の形状をユーザが任意に指定できるようにしてもよい。更に、１画素を１ブロック領域としてもよい。
【００５１】
係数算出部４０３は、分割部４０２からの複数のブロック領域のＲＧＢ信号からなる特殊光画像信号あるいは通常光画像信号を用いて、信頼度算出用の係数を算出する。本実施形態では、ＲＧＢ信号から輝度信号を求める公知の算出式で、通常光画像信号を用いて画素ごとの輝度値を算出し、更にブロック領域ごとの輝度平均値Ｌａｖ（ｉ）を算出する。ここでｉは各ブロック領域を判別するために付したブロック領域番号である。この輝度平均値Ｌａｖ（ｉ）は、対応するブロック領域の輝度代表値となる。なお本実施形態では、通常光画像信号の輝度代表値を算出する構成となっているが、特殊光画像信号の輝度代表値を算出する構成にしてもよい。係数算出部４０３は、制御部２２１の制御に基づき、複数のブロック領域のＲＧＢ信号からなる特殊光画像信号、通常光画像信号と、複数のブロック領域の輝度代表値Ｌａｖ（ｉ）を、信頼度判定部４０４へ転送する。
【００５２】
信頼度判定部４０４は、係数算出部４０３からの複数のブロック領域の輝度代表値Ｌａｖ（ｉ）を用いて、各ブロック領域（ｉで指定される領域）の信頼度Ｓ（ｉ）を設定する。例えば、ＲＯＭ４０５から所定の信頼度用の輝度閾値ＳＴを読み込み、ブロック領域ごとの輝度代表値Ｌａｖ（ｉ）と大きさを比較する。そしてブロック領域の輝度代表値Ｌａｖ（ｉ）が輝度閾値ＳＴよりも大きい場合には、そのブロック領域の信頼度Ｓ（ｉ）を１に設定する。一方、ブロック領域の輝度代表値Ｌａｖ（ｉ）が輝度閾値ＳＴよりも小さい場合には、そのブロック領域の信頼度Ｓ（ｉ）を０に設定する。なお、１ブロック領域を１画素にする構成以外の場合には、各ブロック領域内の全ての画素に対して、ブロック領域の信頼度Ｓ（ｉ）を信頼度として付与する。信頼度判定部４０４は、制御部２２１の制御に基づき、信頼度Ｓ（ｉ）の情報と、複数のブロック領域のＲＧＢ信号からなる特殊光画像信号、通常光画像信号を、領域抽出部２１４へ転送する。
【００５３】
なお本実施形態では、ブロック領域の輝度代表値Ｌａｖ（ｉ）を用いて信頼度Ｓ（ｉ）を設定する構成となっているが、この構成に限定されず、以下のような変形実施も可能である。具体的には係数算出部４０３において、各ブロック領域内の各画素のＲ、Ｇ、Ｂ信号の平均値（Ｒａｖ，Ｇａｖ，Ｂａｖ）を算出する。そしてＲＧＢ信号から輝度、色差信号を求める公知の算出式で、各ブロック領域の輝度平均値Ｌａｖ（ｉ）と色差平均値ＣＲａｖ（ｉ）、ＣＢａｖ（ｉ）を算出する。続いて、色差平均値ＣＲａｖ（ｉ）、ＣＢａｖ（ｉ）を用いて、下式（３）により各ブロック領域の色相代表値Ｈ（ｉ）を算出する。
【００５４】
Ｈ（ｉ）＝ａｒｃｔａｎ{ＣＢａｖ（ｉ）／ＣＲａｖ（ｉ）} ・・・（３）
【００５５】
そして係数算出部４０３は、算出した複数のブロック領域の色相代表値Ｈ（ｉ）と、複数のブロック領域のＲＧＢ信号からなる特殊光画像信号及び通常光画像信号を、信頼度判定部４０４へ転送する。
【００５６】
すると信頼度判定部４０４は、ＲＯＭ４０５から所定の色差領域を代表する目標領域代表角度を取得する。内視鏡検診では、内臓、血液、血管を代表する赤色及び脂肪を代表する黄色が重要視される。このため信頼度判定部４０４は、図１０に示す赤色及び黄色を囲む目標領域の代表角度をＲＯＭ４０５から取得して、各ブロック領域の色相代表値Ｈ（ｉ）がこの目標領域に入るか否かを判断する。そしてブロック領域の色相代表値Ｈ（ｉ）が目標領域に入る場合には、そのブロック領域の信頼度Ｓ（ｉ）を１に設定する。一方、ブロック領域の色相代表値Ｈ（ｉ）が目標領域に入らない場合には、そのブロック領域の信頼度Ｓ（ｉ）を０に設定する。この場合に、各ブロック領域の色相代表値Ｈ（ｉ）及び輝度代表値Ｌａｖ（ｉ）の組み合わせで、各ブロック領域の信頼度Ｓ（ｉ）を設定してもよい。
【００５７】
また内視鏡画像において、均一な光で撮影しても、光学レンズの特性及びＣＣＤの配置構成により、撮影された画像の中央部が明るくなり、周辺部（周囲部）が暗くなる現象が発生する場合がある。この現象はシェーディングと呼ばれる。また、体内隆起物が画像の中央部に存在する場合にも、中央部が明るくなり、周辺部が暗くなる現象が発生する。このような場合には、各ブロック領域の位置情報（座標位置）に基づき、信頼度Ｓ（ｉ）を設定してもよい。例えば図１１に示すように、画像（第１画像）を２５個のブロック領域に分割した場合に、太い破線からなる矩形が囲む領域を中央部と想定する。そして中央部に位置するブロック領域（ＢＬ６，ＢＬ７，ＢＬ８，ＢＬ１１，ＢＬ１２，ＢＬ１３，ＢＬ１６，ＢＬ１７，ＢＬ１８）の信頼度Ｓ（ｉ）を１（高信頼度）に設定し、それ以外のブロック領域の信頼度Ｓ（ｉ）を０（低信頼度）に設定する。
【００５８】
一方、消化器の内視鏡検診において、観察する被写体の多くは空洞のような管空状であり、撮影された画像の中央部にその空洞形態（管空状の形態）が現れる場合が多い。この場合には、図１１において、太い破線からなる矩形に囲まれる中央部にある全てのブロック領域の信頼度Ｓ（ｉ）を０（低信頼度）に設定し、それ以外のブロック領域の信頼度Ｓ（ｉ）を１（高信頼度）に設定する。なお、外部Ｉ／Ｆ部２２２を介して信頼度Ｓ（ｉ）が１となるブロック領域をユーザが任意に指定できるようにしてもよい。また上述と同様に、１画素を１ブロック領域としてもよい。
【００５９】
更に、ブロック領域の信頼度Ｓ（ｉ）を自動的に設定する構成としてもよい。例えば、図１１に示す２５個のブロック領域の輝度平均値を算出し、全画像信号（全画素）の輝度平均値と比較する。そしてブロック領域の輝度平均値が全画像信号の輝度平均値よりも小さく、その差分が所定の閾値より大きい場合には、対応するブロック領域の信頼度Ｓ（ｉ）を０に設定する。一方、それ以外の場合には、対応するブロック領域の信頼度Ｓ（ｉ）を１に設定する。こうすることによって、実際の画像中の被写体像の明暗状況に応じて、自動的に信頼度を設定（算出）することが可能となる。
【００６０】
領域抽出部２１４は、制御部２２１の制御により、信頼度Ｓ（ｉ）の情報に基づいて、信頼度Ｓ（ｉ）＝１の画素あるいはブロック領域を高信頼度エリアと判定する。一方、信頼度Ｓ（ｉ）＝０の画素あるいはブロック領域を低信頼度エリアと判定する。そして領域抽出部２１４は、高信頼度／低信頼度エリアの情報（広義には信頼度情報）と、複数のブロック領域のＲＧＢ信号からなる特殊光画像信号及び通常光画像信号を、種類判別部２１５へ転送する。
【００６１】
２．４ 種類判別部
図１２に種類判別部２１５の構成例を示す。種類判別部２１５は、エリア選定部５００、第１特徴量算出部５０１、第１部位判定部５０２、第２特徴量算出部５０３、マッチング部５０４、第２部位判定部５０５、合成部５０６を含む。
【００６２】
領域抽出部２１４は、エリア選定部５００を介して第１特徴量算出部５０１及び第２特徴量算出部５０３へ接続している。第１特徴量算出部５０１は、第１部位判定部５０２及び合成部５０６を介して出力部２１６へ接続している。第２特徴量算出部５０３は、マッチング部５０４及び第２部位判定部５０５を介して合成部５０６へ接続している。保存部２１７はマッチング部５０４及び第２部位判定部５０５へ接続している。制御部２２１は、エリア選定部５００、第１特徴量算出部５０１、第１部位判定部５０２、第２特徴量算出部５０３、マッチング部５０４、第２部位判定部５０５及び合成部５０６と双方向に接続にしている。
【００６３】
エリア選定部５００は、図１３のＡ１、Ａ２に示すように高信頼度エリアの通常光・特殊光画像の信号を第１特徴量算出部５０１へ転送し、低信頼度エリアの通常光・特殊光画像の信号を第２特徴量算出部５０３へ転送する。具体的にはエリア選定部５００は、制御部２２１の制御により、領域抽出部２１４からの高信頼度／低信頼度エリアの情報（信頼度情報）に基づき高信頼度エリアと判定されたブロック領域に対応するＲＧＢ信号からなる特殊光画像信号及び通常光画像信号を、第１特徴量算出部５０１へ転送する。一方、低信頼度エリアと判定されたブロック領域に対応するＲＧＢ信号からなる特殊光画像信号及び通常光画像信号を、第２特徴量算出部５０３へ転送する。
【００６４】
第１特徴量算出部５０１は、図１３のＡ３に示すように、特殊光画像を用いて高信頼度エリアでの特徴量（例えば色相値）を算出する。具体的には、高信頼度エリアと判定されたブロック領域ごとに、対応するＲＧＢ信号からなる特殊光画像信号を用いて、ＲＧＢ信号から輝度、色差信号を求める公知の算出式で、各ブロック領域内の各画素の輝度値Ｌ（ｉ，ｍ，ｎ）、色差値ＣＲ（ｉ，ｍ，ｎ）、ＣＢ（ｉ，ｍ，ｎ）を算出する。ここでｉは各ブロック領域を判別するために付したブロック領域番号であり、ｍはブロック領域内にある画素の横軸座標であり、ｎはブロック領域内にある画素の縦軸座標である。続いて第１特徴量算出部５０１は、色差値ＣＲ（ｉ，ｍ，ｎ）、ＣＢ（ｉ，ｍ，ｎ）を用いて、ブロック領域中の画素ごとの色相値Ｈ（ｉ，ｍ，ｎ）を特徴量として下式（４）により算出する。
【００６５】
Ｈ（ｉ，ｍ，ｎ）＝ａｒｃｔａｎ{ＣＢ（ｉ，ｍ，ｎ）／ＣＲ（ｉ，ｍ，ｎ）}
・・・（４）
【００６６】
そして第１特徴量算出部５０１は、図１３のＡ４に示すように、特徴量、信頼度情報、通常光・特殊光画像の信号を、第１部位判定部５０２へ転送する。具体的には、算出した複数のブロック領域の各画素の特徴量である色相値Ｈ（ｉ，ｍ，ｎ）と、複数のブロック領域のＲＧＢ信号からなる特殊光画像信号及び通常光画像信号と、高信頼度／低信頼度エリアの情報を、第１部位判定部５０２へ転送する。
【００６７】
第１部位判定部５０２は、図１３のＡ５に示すように特徴量を用いて高信頼度エリアでの注目部／非注目部の判定を行う。具体的には第１部位判定部５０２は、制御部２２１の制御により、転送されて来た各画素の特徴量である色相値Ｈ（ｉ，ｍ，ｎ）を用いて、病変部／正常部を判定する。本実施形態では、特殊光画像（ＮＢＩ画像）である狭帯域画像において、扁平上皮癌などの病変部が褐色の領域として現れるため、特徴量として色相Ｈを用いて病変部を検出している。本実施形態では、各ブロック領域の特殊光画像信号において、各画素の色相値Ｈ（ｉ，ｍ，ｎ）を用いて閾値処理を行い、病変部に対応する画素を検出する。ここでは、褐色の領域を病変部として検出するため、例えば色相値Ｈ（ｉ，ｍ，ｎ）が−７５〜−１０５の範囲にある画素を病変部（注目部）に対応する画素として検出する。また、それ以外の画素は正常部（非注目部）に対応する画素として認定する。そして第１部位判定部５０２は、Ａ６に示すように処理後の各画素の病変部／正常部の情報と、高信頼度エリアに所属する複数ブロック領域のＲＧＢ信号からなる通常光画像信号及び特殊光画像信号を、合成部５０６へ転送する。
【００６８】
第２特徴量算出部５０３は、Ａ７に示すように特殊光画像を用いて低信頼度エリアでの特徴量を算出する。具体的には第２特徴量算出部５０３は、制御部２２１の制御に基づき、低信頼度エリアと判定されたブロック領域ごとに、対応するＲＧＢ信号からなる特殊光画像信号を用いて、第１特徴量算出部５０１の処理と同様に、各ブロック領域内の各画素の色相値Ｈ（ｉ，ｍ，ｎ）を算出する。そして第２特徴量算出部５０３は、Ａ８に示すように、複数のブロック領域のＲＧＢ信号からなる特殊光画像信号及び通常光画像信号と、各画素の色相値Ｈ（ｉ，ｍ，ｎ）をマッチング部５０４へ転送する。
【００６９】
マッチング部５０４は、Ａ９に示すように保存部２１７から過去フレームの画像を読み出し、Ａ１０に示すように現在フレームの各ブロック領域の画像とのマッチング処理を行う。具体的にはマッチング部５０４は、制御部２２１の制御に基づき、保存部２１７に保存されている１枚あるいは１枚以上の過去フレームに対応するＲＧＢ信号からなる特殊光画像信号、通常光画像信号を抽出し、第２特徴量算出部５０３からの現在フレームの低信頼度エリアに認定されている各ブロック領域の画像信号とのマッチング処理を行う。
【００７０】
本実施形態では、図１４に示すように、低信頼度エリアに設定されている現在フレームの全てのブロック領域の画像信号に対し、ラスタスキャン順で公知のテンプレートマッチング処理を行う。具体的には、第２特徴量算出部５０３からの現在フレームの各ブロック領域に対応する通常光画像信号Ｂ（ｉ）をテンプレートとして、過去フレームに対応する通常光画像信号Ｒｅｆの一番左上の位置から右方向にラスタスキャン順に移動して、画像の類似度を調べる処理を行う。この場合に、テンプレートとなる通常光画像信号Ｂ（ｉ）、及びラスタスキャン順に移動して類似度を調べる処理中に形成した複数枚の同一ブロックサイズを有する過去フレームの通常光画像信号Ｃ（ｊ）（候補ブロック領域と定義。ｊは候補ブロック領域の番号）を用いて、二つのブロック領域の画像信号の類似度を算出してマッチング処理を行う。本実施形態では、下式（５）、（６）に示すようにＳＳＤ（Sum of Squared Differece）やＳＡＤ（Sum of Absolute Difference）を利用したマッチング処理を行う。
【数１】
【００７１】
上式（５）、（６）では、ブロック領域の大きさをＭ×Ｎとし、テンプレートのブロック領域内の各画素位置（ｋ，ｌ）における画素値をＢ（ｉ，ｋ，ｌ）とし、候補ブロック領域の画素値をＣ（ｊ，ｋ，ｌ）としている。
【００７２】
本実施形態では、画素値Ｂ（ｉ，ｋ，ｌ）及びＣ（ｊ，ｋ，ｌ）は画素ごとの輝度値として設定する。その輝度値は、公知の算出式によりＲＧＢ信号から算出される。ＳＳＤやＳＡＤの値は、テンプレートとなるＢ（ｉ）が対応する候補ブロック領域Ｃ（ｊ）と完全一致したときに０になる。本実施形態では、まず、保存部２１７からの過去フレームの通常光画像信号に対して、テンプレートとなるＢ（ｉ）を用いて、画素ごとにラスタスキャンしながら全てのＳＡＤやＳＳＤの値を算出し、その中から最も小さいＳＡＤやＳＳＤの値に対応する過去フレームの注目ブロック領域を抽出する。そして抽出した注目ブロック領域に対応するＳＡＤやＳＳＤの値が所定の類似度閾値よりも小さい場合に、マッチング成功と判断し、そのときの注目ブロック領域がマッチングブロック領域となる。
【００７３】
そしてテンプレートとなる現在フレームの全てのブロック領域のマッチング処理が完了した後、マッチング部５０４は、図１３のＡ１１に示すように、マッチング情報と、低信頼度エリアと判定された複数のブロック領域のＲＧＢ信号からなる特殊光画像信号及び通常光画像信号と、各画素の色相値Ｈ（ｉ，ｍ，ｎ）を、第２部位判定部５０５へ転送する。
【００７４】
なお、内視鏡検診時の照明変動や対象物の表示位置の違いなどが原因で画像信号の明るさ（輝度信号）が変動するリスクが存在するため、マッチングの精度に影響を与える。このようなリスクを低減するため、下式（７）（８）によりＳＳＤやＳＡＤの値を算出してもよい。
【数２】
【００７５】
上式（７）、（８）において、ＡＶ（Ｂ（ｉ））はテンプレートのブロック領域の輝度平均値であり、ＡＶ（Ｃ（ｊ））は候補ブロック領域Ｃ（ｊ）の輝度平均値であり、Ｑ（j）は輝度補正値である。
【００７６】
第２部位判定部５０５は、図１３のＡ１２、Ａ１３に示すように、現在フレームの画像の特徴量と、過去フレームの画像の注目部情報及び信頼度情報を用いて、現在フレームの画像の低信頼度エリアでの注目部／非注目部の判定を行う。
【００７７】
具体的には第２部位判定部５０５は、制御部２２１の制御により、マッチング情報に基づきマッチング成功と判断されている現在フレームのブロック領域に対応する各画素の色相値Ｈ（ｉ，ｍ，ｎ）を用いて、第１部位判定部５０２と同様に、褐色の領域（扁平上皮癌などの病変部が褐色）を病変部（注目部）として検出する。例えば現在フレームのブロック領域の特殊光画像信号の色相値Ｈ（ｉ，ｍ，ｎ）が−７５〜−１０５の範囲にある画素を、病変候補画素（注目候補画素）として抽出する。
【００７８】
そして第２部位判定部５０５は、抽出された病変候補画素が低信頼度エリアに存在する場合、Ａ１２に示すようにブロック領域に対応する過去フレームのマッチングブロック領域（候補ブロック領域）の病変部／正常部の情報（注目部情報）と、高信頼度／低信頼度エリアの情報（信頼度情報）を、保存部２１７から読み出す。そして、抽出された病変候補画素に対応する過去フレームのマッチングブロック領域の画素が、高信頼度エリアに存在し病変部であると判断される場合には、その病変候補画素の信頼度を高信頼度エリアに存在することと設定し、その病変候補画素（注目候補画素）を病変部（注目部）と判断する。一方、それ以外の画素は、正常部（非注目部）に対応する画素であると判断する。
【００７９】
そして第２部位判定部５０５は、低信頼度エリアの全てのブロック領域に対する判定処理が終了した後、Ａ１４に示すように処理後の各画素の病変部／正常部の情報（注目部情報）、高信頼度／低信頼度エリアの情報（信頼度情報）と、複数ブロック領域のＲＧＢ信号からなる通常光画像信号及び特殊光画像信号を、合成部５０６へ転送する。
【００８０】
合成部５０６は、Ａ１５に示すように、注目部情報、信頼度情報を、現在フレームの画像の全画素に対応づける合成処理を行う。具体的には、制御部２２１の制御に基づき、第１部位判定部５０２及び第２部位判定部５０５からの各画素の病変部／正常部の情報、高信頼度／低信頼度エリアの情報を用いて、現在フレームの全画素の病変部／正常部の情報、高信頼度／低信頼度エリアの情報を、画素位置に対応して合成する。本実施形態では、診断しやすくするため、病変部／正常部の情報に基づき、特殊光画像信号あるいは通常光画像信号に対して、画素ごとに病変部／正常部を判断する。注目画素が病変部の場合には、その画素の値を所定の警告色となるように変更する。
【００８１】
そして合成部５０６は、全ての処理が完了後、通常光画像信号あるいは特殊光画像信号を、表示装置などの出力部２１６へ転送する。本実施形態では、表示装置に表示される通常光画像あるいは特殊光画像において、病変部と診断される部位の色は所定の警告色として表示されるため、医者にとって診断しやすくなる。また合成部５０６は、Ａ１６に示すように、通常光画像信号あるいは特殊光画像信号と、各画素の病変部／正常部の情報、高信頼度／低信頼度エリアの情報を、保存部２１７へ転送して保存する。
【００８２】
このように本実施形態では、過去フレームの高信頼度エリアの画像信号の病変部／正常部の情報を、現在フレームの低信頼度エリアの画像信号の病変部／正常部の判定に用いることで、リアルタイムでの内視鏡診断能力を高めている。
【００８３】
なお、本実施形態では、狭帯域の透過率特性（Ｇ１（５３０ｎｍ〜５５０ｎｍ）、Ｂ１（３９０ｎｍ〜４４５ｎｍ））を有するフィルタを用いて、血液中のヘモグロビンに吸収される波長の波長帯域に対応するＮＢＩの特殊光画像を用いる場合について説明したが、本実施形態はこれには限定されない。例えば後述するように、ＡＦＩやＩＲＩの特殊光画像を用いる構成にしてもよい。
【００８４】
また、本実施形態では、通常光画像及び特殊光画像を併用して病変部／正常部を判定しているが、通常光画像あるいは特殊光画像の一方を用いて判定する構成としてもよい。
【００８５】
２．５ ソフトウェア処理
以上では、本実施形態の画像処理装置２１０を構成する各部をハードウェアで構成する場合について主に説明したが、本実施形態はこれに限定されるものではない。例えば、カプセル型内視鏡などの撮像装置を用いて予め取得された画像に対して、ＣＰＵが各部の処理を行う構成とし、ＣＰＵがプログラムを実行することによってソフトウェアとして実現してもよい。或いは、各部が行う処理の一部をソフトウェアで構成することとしてもよい。具体的には、Ａ／Ｄ変換後の画像信号を未処理のままのロー（ＲＡＷ）データとしてメモリカードなどの記録媒体に記録するとともに、制御部２２１からの撮像時の情報（ＡＧＣ感度やホワイトバランス係数など）をヘッダ情報として記録媒体に記録しておく。そして、別途のソフトウェアである画像信号処理プログラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み取らせて、処理を実行する。なお、撮像装置からコンピュータへの各種情報の転送は、上述のように記録媒体を介して行う手法には限定されず、通信回線などを介して行うようにしてもよい。
【００８６】
本実施形態の画像処理装置２１０の各部が行う処理をソフトウェアとして実現する場合には、ワークステーションやパソコン等の公知のコンピュータシステムを画像処理装置として用いることができる。そして、画像処理装置２１０の各部が行う処理を実現するためのプログラム（画像処理プログラム）を予め用意し、この画像処理プログラムをコンピュータシステムのＣＰＵが実行することによって実現できる。
【００８７】
図１５は、本変形例におけるコンピュータシステム９００の構成を示すシステム構成図であり、図１６は、このコンピュータシステム９００における本体部９１０の構成を示すブロック図である。図１５に示すように、コンピュータシステム９００は、本体部９１０と、本体部９１０からの指示によって表示画面９２１に画像等の情報を表示するためのディスプレイ９２０と、このコンピュータシステム９００に種々の情報を入力するためのキーボード９３０と、ディスプレイ９２０の表示画面９２１上の任意の位置を指定するためのマウス９４０とを備える。
【００８８】
また、このコンピュータシステム９００における本体部９１０は、図１６に示すように、ＣＰＵ９１１と、ＲＡＭ９１２と、ＲＯＭ９１３と、ハードディスクドライブ（ＨＤＤ）９１４と、ＣＤ−ＲＯＭ９６０を受け入れるＣＤ−ＲＯＭドライブ９１５と、ＵＳＢメモリ９７０を着脱可能に接続するＵＳＢポート９１６と、ディスプレイ９２０、キーボード９３０及びマウス９４０を接続するＩ／Ｏインターフェース９１７と、ローカルエリアネットワーク又は広域エリアネットワーク（ＬＡＮ／ＷＡＮ）Ｎ１に接続するためのＬＡＮインターフェース９１８を備える。
【００８９】
更に、このコンピュータシステム９００には、インターネット等の公衆回線Ｎ３に接続するためのモデム９５０が接続されるとともに、ＬＡＮインターフェース９１８及びローカルエリアネットワーク又は広域エリアネットワークＮ１を介して、他のコンピュータシステムであるパソコン（ＰＣ）９８１、サーバ９８２、プリンタ９８３等が接続される。
【００９０】
そして、このコンピュータシステム９００は、所定の記録媒体に記録された画像処理プログラム（例えば図１７〜図１９の処理を実現するプログラム）を参照して、後述する処理手順を実現するための画像処理プログラムを読み出して実行することで画像処理装置を実現する。ここで所定の記録媒体とは、可搬用の物理媒体、固定用の物理媒体、或いは通信媒体等であり、コンピュータシステム９００によって読み取り可能な画像処理プログラムを記録するあらゆる記録媒体（記憶媒体）を含む。可搬用の物理媒体は、例えばＣＤ−ＲＯＭ９６０やＵＳＢメモリ９７０の他、ＭＯディスクやＤＶＤディスク、フレキシブルディスク（ＦＤ）、光磁気ディスク、ＩＣカード等である。固定用の物理媒体は、コンピュータシステム９００の内外に備えられるＨＤＤ９１４やＲＡＭ９１２、ＲＯＭ９１３等である。通信媒体は、モデム９５０を介して接続される公衆回線Ｎ３や、他のコンピュータシステム（ＰＣ）９８１又はサーバ９８２が接続されるローカルエリアネットワーク又は広域エリアネットワークＮ１等のように、プログラムの送信に際して短期的にプログラムを記憶する媒体である。
【００９１】
このように画像処理プログラムは、可搬用の物理媒体、固定用の物理媒体、通信媒体等の記録媒体にコンピュータ読み取り可能に記録されるものであり、コンピュータシステム９００は、このような記録媒体から画像処理プログラムを読み出して実行することで画像処理装置を実現する。なお、画像処理プログラムは、コンピュータシステム９００により実行される場合に限定されるものではなく、他のコンピュータシステム（ＰＣ）９８１又はサーバ９８２が画像処理プログラムを実行する場合や、これらが協働して画像処理プログラムを実行するような場合にも、本発明を同様に適用することができる。
【００９２】
各部が行う処理の一部をソフトウェアで構成する場合の一例として、あらかじめ取得された画像に対して、画像処理装置２１０の処理をソフトウェアで実現する場合の処理手順を、図１７〜図１９のフローチャートを用いて説明する。
【００９３】
図１７は、本実施形態における画像信号処理プログラムの全体的な処理を示すフローチャートである。
【００９４】
この処理を開始すると、まずステップＳ１にて、通常光画像信号及び特殊光画像信号のローデータやヘッダ情報などを読み込むと共に、画像信号処理プログラムが予め備えている階調特性係数などの情報も読み込んで、ステップＳ２へ進む。
【００９５】
次に、ステップＳ２にて、通常光画像信号に対して、公知のベイヤ補間処理（ベイヤ画像信号から三板画像信号への変換）、ホワイトバランス処理、カラーマネージメント処理、階調変換処理などを行う。特殊光画像が図７に示す市松状配列の構成となっているため、上述の式（１）、（２）に基づき補間処理、ホワイトバランス処理、階調変換処理などを行う。処理終了後、ステップＳ３へ進む。以上は図４の画像取得部２１２の処理に相当する。
【００９６】
続いて、ステップＳ３にて、通常光画像信号あるいは特殊光画像信号から信頼度を算出し、ステップＳ４へ進む。これは、図４の信頼度処理部２１３の処理に相当する（詳細は後述する）。次に、ステップＳ４にて、信頼度情報に基づき、通常光画像あるいは特殊光画像から高信頼度エリア／低信頼度エリアを判定し、ステップＳ５へ進む。これは図４の領域抽出部２１４の処理に相当する。
【００９７】
そして、ステップＳ５にて高信頼度エリアの画像信号に対して病変部／正常部を検出する。一方、低信頼度エリアの画像信号については、メモリから過去のフレームの画像信号の高信頼度／低信頼度エリアの情報及び病変部／正常部の情報を読み込んで、病変部／正常部を検出する（詳細は後述する）。処理終了後、通常光画像信号、特殊光画像信号、高信頼度／低信頼度エリアの情報及び病変部／正常部の情報を、過去画像信号及び情報としてメモリに保存する。以上は図４の種類判別部２１５の処理に相当する。
【００９８】
図１８は、図１７のステップＳ３における信頼度取得処理の詳細を示すフローチャートである。
【００９９】
この処理を開始すると、まず、ステップＳ１１にて、メモリから読み込んだ特殊光画像及び通常光画像を、複数のブロック領域（例えば８×８画素のサイズの領域）に分割し、ステップＳ１２へ進む。これは、図９の分割部４０２の処理に相当する。
【０１００】
続いて、ステップＳ１２にて、ＲＧＢ信号から輝度信号を求める公知の算出式で、通常光画像信号を用いて各画素の輝度値を算出し、ブロック領域内の画素の輝度平均値Ｌａｖ（ｉ）を算出する。この輝度平均値Ｌａｖ（ｉ）は、対応するブロック領域の輝度代表値とする。処理終了後、ステップＳ１３へ進む。以上は図９の係数算出部４０３の処理に相当する。
【０１０１】
次に、ステップＳ１３にて、複数のブロック領域の輝度代表値Ｌａｖ（ｉ）を用いて各ブロック領域の信頼度Ｓ（ｉ）を設定する。例えば、ＲＯＭ４０５から所定の輝度閾値ＳＴを読み込み、各ブロック領域の輝度代表値Ｌａｖ（ｉ）と比較する。ブロック領域の輝度代表値Ｌａｖ（ｉ）が輝度閾値ＳＴよりも大きい場合には、そのブロック領域の信頼度Ｓ（ｉ）を１に設定する。一方、ブロック領域の輝度代表値Ｌａｖ（ｉ）が輝度閾値ＳＴよりも小さい場合には、そのブロック領域の信頼度Ｓ（ｉ）を０に設定する。処理終了後、図１７に示した処理へ復帰する。以上は図９の信頼度判定部４０４の処理に相当する。
【０１０２】
図１９は、図１７のステップＳ５における種類判別処理の詳細を示すフローチャートである。
【０１０３】
この処理を開始すると、まず、ステップＳ２１にて、高信頼度／低信頼度エリアの情報に基づき、高信頼度エリアと判定されたブロック領域を選出して、ステップＳ２２へ進む。一方、低信頼度エリアと判定されたブロック領域を選出して、ステップＳ２４へ進む。これは図１２のエリア選定部５００の処理に相当する。
【０１０４】
次に、ステップＳ２２にて、高信頼度エリアと判定されたブロック領域ごとに、対応するＲＧＢ信号からなる特殊光画像信号を用いて、ＲＧＢ信号から輝度、色差信号を求める公知の算出式で、各ブロック領域内の各画素の輝度値Ｌ（ｉ，ｍ，ｎ）、色差値ＣＲ（ｉ，ｍ，ｎ）、ＣＢ（ｉ，ｍ，ｎ）を算出する。続いて、色差値ＣＲ（ｉ，ｍ，ｎ）、ＣＢ（ｉ，ｍ，ｎ）を用いて、上述の式（４）により、各ブロック領域内の各画素の色相値Ｈ（ｉ，ｍ，ｎ）を特徴量として算出する。処理終了後、ステップＳ２３へ進む。以上は図１２の第１特徴量算出部５０１の処理に相当する。
【０１０５】
そして、ステップＳ２３にて、色相値Ｈ（ｉ，ｍ，ｎ）を用いて病変部／正常部を判定して、ステップＳ２７へ進む。これは、図１２の第１部位判定部５０２の処理に相当する。一方、ステップＳ２４にて、低信頼度エリアと判定されたブロック領域ごとに、対応するＲＧＢ信号からなる特殊光画像信号を用いて、ステップＳ２２の処理と同様に、各ブロック領域の各画素の色相値Ｈ（ｉ，ｍ，ｎ）を算出し、ステップＳ２５へ進む。これは、図１２の第２特徴量算出部５０３の処理に相当する。
【０１０６】
続いて、ステップＳ２５にて、メモリから、保存されている１枚あるいは１枚以上の過去フレームに対応するＲＧＢ信号からなる特殊光画像信号、通常光画像信号を読み出して、現在フレームの低信頼度エリアに認定されている各ブロック領域の画像信号とのマッチング処理を行う。ここでは図１４に示すように、低信頼度エリアに認定されている現在フレームの全てのブロック領域の画像信号に対し、ラスタスキャン順に移動して類似度を調べることで公知のテンプレートマッチング処理を行う。処理終了後、ステップＳ２６へ進む。以上は、図１２のマッチング部５０４の処理に相当する。
【０１０７】
次に、ステップＳ２６にて、マッチング情報に基づきマッチング成功と判断されている現在フレームのブロック領域に対応する各画素の色相値Ｈ（ｉ，ｍ，ｎ）を用いて、褐色の領域（扁平上皮癌などの病変部が褐色）を病変部として検出する。次に、抽出した画素において、対応する過去フレームのマッチングブロック領域の病変部／正常部の情報と、高信頼度／低信頼度エリアの情報を、メモリから読み出す。そして、抽出した病変候補画素に対応する過去フレームの候補領域中の画素は高信頼度エリアに存在し病変部と判断されている場合は、病変候補画素の信頼度を高信頼度エリアに存在することと設定し、その画素を病変部と判断する。一方、それ以外の画素は正常部に対応する画素として認定する。そして処理終了後、ステップＳ２７へ進む。以上は図１２の第２部位判別部５０５の処理に相当する。
【０１０８】
最後に、ステップＳ２７にて、ステップＳ２３及びステップＳ２６からの画素ごとの病変部／正常部の情報、高信頼度／低信頼度エリアの情報を用いて、現在フレームの全画素の病変部／正常部の情報、高信頼度／低信頼度エリアの情報を、画素位置に対応して合成する。処理終了後、図１７に示した処理へ復帰する。以上は図１２の合成部５０６の処理に相当する。
【０１０９】
２．６ 本実施形態の手法
次に本実施形態の手法及び基本的な構成についてまとめる。図４に示すように本実施形態の画像処理装置２１０は、画像を取得する画像取得部２１２と、信頼度処理部２１３と、種類判別部２１５を含む。信頼度処理部２１３は、取得された画像上の被写体の種類判別についての信頼度を取得（算出、設定）する処理を行う。即ち、判別結果の確からしさを定める信頼度を取得する。また種類判別部２１５は被写体の種類判別処理を行う。例えば画像に映る被写体が、病変部等の注目部であるのか、正常部等の非注目部であるかを判別する。
【０１１０】
そして画像取得部２１２は、図１（Ａ）〜図１（Ｃ）で説明したように、第１画像（ＩＭ１）と、第１画像とは取得フレーム（取得タイミング）が異なる第２画像（ＩＭ２）を取得する。例えば第１画像は、現在のフレームの画像であり、第２画像は過去のフレームの画像である。或いは後述するように、第１画像が過去のフレームの画像であり、第２画像が現在のフレームの画像であってもよい。そして種類判別部２１５は、第１画像の被写体の種類判別処理に、第２画像の情報を用いるか否かを、第１画像において取得された信頼度（信頼度情報）に基づいて判断する。例えば第１画像の各領域での画像の信頼度の高低に応じて、第１画像の被写体の種類判別処理に第２画像の情報を用いたり、用いなかったりする。具体的には、第１画像において暗い画像の領域は、信頼度が低い領域であると判断し、被写体の種類判別に第２画像の情報を用いるようにする。このようにすれば、第１画像において信頼度が低い領域であっても、第２画像の情報を流用して被写体の種類を判別できるため、種類判別の精度や信頼性を向上できる。
【０１１１】
例えば図２（Ａ）、図２（Ｂ）に示すように、信頼度処理部２１３は、信頼度が高いエリアを高信頼度エリアに設定し、高信頼度エリアよりも信頼度が低いエリアを低信頼度エリアに設定する。例えば基準値（閾値）よりも信頼度が高いエリアが高信頼度エリアになり、基準値よりも信頼度が低いエリアが低信頼度エリアになる。
【０１１２】
そして種類判別部２１５は、第１画像の低信頼度エリアでの被写体の種類判別処理を、第２画像の情報を用いて行う。例えば図２（Ａ）において、画像の輝度が低い周辺部の低信頼度エリアでは、第２画像の情報（注目部情報、信頼度情報）を用いて被写体の種類を判別する。具体的には図３に示すように、種類判別部２１５は、第１画像の低信頼度エリアでの被写体の種類判別処理を、第２画像の高信頼度エリアでの情報を用いて行う。例えば第１画像の周辺部の低信頼度エリアに存在する被写体については、第２画像の中央部の高信頼度エリアでの情報を用いて、その種類判別を行う。このようにすれば、第１画像において被写体が低信頼度エリアに位置していた場合にも、その被写体が、第２画像においては高信頼度エリアに位置していた場合には、高信頼度エリアに位置していた時に得られた情報を用いて、その被写体が病変部であるのか正常部であるのかを判断できる。従って、被写体の種類判別の精度や信頼性を向上できる。
【０１１３】
また図１３のＡ３で説明したように、種類判別部２１５は、第１画像の高信頼度エリアでの被写体の種類判別処理については、第１画像の情報を用いて行う。例えば輝度が明るい高信頼度エリアでは、第２画像の情報を用いずに、例えば第１画像の情報だけを用いて種類判別を行う。このようにすれば、高信頼度エリアでの種類判別については、第２画像の情報を流用しなくても済むようになるため、処理負荷の軽減や処理の簡素化を図れる。
【０１１４】
また図１２に示すように種類判別部２１５は合成部５０６を含む。そして図１３のＡ６、Ａ１４、Ａ１５に示すように、この合成部５０６は、第１画像を用いて行われた高信頼度エリアでの種類判別処理の結果（高信頼度エリアでの注目部情報や信頼度情報）と、第２画像を用いて行われた低信頼度エリアでの種類判別処理の結果（高信頼度エリアでの注目部情報や信頼度情報）を合成する。具体的には、種類判別処理の結果である注目部情報や信頼度情報を、第１画像の全ての画素に対応づける処理を行う。このようにすれば、高信頼度エリアと低信頼度エリアに分けて処理を行った場合にも、これらの各エリアでの種類判別の結果を合成することで、第１画像の全ての画素での情報を取得できるようになる。
【０１１５】
また図１３のＡ１６に示すように、合成部５０６は、注目部を判別するための注目部情報と、信頼度を判別するための信頼度情報を、第１画像の各画素に対応づけて保存部２１７に保存する。このようにすることで、保存された注目部情報や信頼度情報を、それ以降の画像処理に利用することが可能になる。ここで、注目部情報は、処理対象となる画素や領域が、注目部（病変部）なのか、非注目部（正常部）なのかを判別するための情報である。また信頼度情報は、例えば処理対象となる画素や領域が、高信頼度エリアに属するのか（Ｓ（ｉ）＝１）、低信頼度エリアに属するのか（Ｓ（ｉ）＝０）を判別するための情報である。
【０１１６】
また図１３のＡ１３に示すように、種類判別部２１５は、第１画像の低信頼度エリアでの被写体の種類判別処理を、第１画像の情報と第２画像の情報の両方を用いて行ってもよい。例えば第１画像での各画素の特徴量と、第２画像での注目部情報や信頼度情報を用いて、被写体の種類判別を行う。このようにすれば、例えば第１画像においても、その特徴量から病変部である可能性が高く、第２画像においても、注目部情報等から病変部である蓋然性が高い画素を、病変部に対応する画素であると判定できるようになり、種類判別の精度や信頼性を更に向上できる。
【０１１７】
また図１３のＡ１２、Ａ１３に示すように、種類判別部２１５は、第１画像の低信頼度エリアでの被写体の種類判別処理を、第２画像の注目部情報と信頼度情報を用いて行ってもよい。このようにすれば、保存部２１７に保存された注目部情報（病変部／正常部の情報）や信頼度情報（高信頼度／低信頼度エリアの情報）を有効利用して、被写体の種類判別を実現できるようになる。
【０１１８】
また図３で説明したように、種類判別部２１５は、第１画像において被写体の種類判別処理が行われる処理領域が、低信頼度エリアである場合に、処理領域に対応する第２画像の対応処理領域での情報に基づいて、第１画像の処理領域での被写体の種類判別処理を行う。例えば種類判別部２１５は、処理領域の画像と第２画像とのマッチング処理を行うことで、処理領域に対応する対応処理領域を抽出する。
【０１１９】
ここで処理領域は、例えば図３のブロック領域ＢＬであり、対応処理領域はマッチングブロック領域ＭＢＬである。図１４で説明したように種類判別部２１５は、処理領域であるブロック領域ＢＬの画像と、第２画像とのマッチング処理を行うことで、対応処理領域であるマッチングブロック領域ＭＢＬを抽出する。
【０１２０】
そして図３では、処理領域であるブロック領域ＢＬが、低信頼度エリアに属している。従って種類判別部２１５は、対応処理領域であるマッチングブロック領域ＭＢＬでの情報（注目部情報、信頼度情報）を用いて、第１画像のブロック領域ＢＬでの被写体の種類判別処理を行う。こうすることで、ブロック領域ＢＬでの種類判別に、マッチングブロック領域ＭＢＬでの情報を流用できるようになる。
【０１２１】
この場合に、図１３のＡ１３等で説明したように、種類判別部２１５は、第１画像の処理領域（ＢＬ）での画素の特徴量（色相等）に基づいて注目候補画素（病変候補画素）を抽出する。そして抽出された注目候補画素が注目画素（病変画素）であるか否かを、第２画像の対応処理領域（ＭＢＬ）での情報に基づいて判断する。具体的には、対応処理領域での情報である注目部情報や信頼度情報に基づいて、注目候補画素が注目画素であるか否かを判断する。このようにすれば、低信頼度エリアについては、第１画像の情報（特徴量）と第２画像の情報（注目部情報、信頼度情報）の両方を用いて、被写体の種類判別が行われるようになるため、より信頼性の高い種類判別を実現できる。
【０１２２】
また図９に示す信頼度処理部２１３は、第１画像の被写体像の明るさ情報、第１画像の被写体像の色情報、及び第１画像を撮像した撮像部（撮像素子、光学系）と被写体との間の距離情報の少なくとも１つに基づいて、信頼度を算出することができる。
【０１２３】
即ち、内視鏡において病変部／正常部を判断する場合、被写体からの反射光の強度が強ければ、第１画像の被写体像は明るくなり、病変部／正常部などの種類判別の信頼度が向上する。従って、前述のように第１画像の各ブロック領域の輝度平均値を輝度代表値Ｌａｖ（ｉ）として算出し、この輝度代表値Ｌａｖ（ｉ）を用いてブロック領域ごとの信頼度Ｓ（ｉ）を算出することができる。また撮像素子と光学系を有する撮像部（図４の挿入部１０２の先端部）と被写体との間の距離が短いほど、被写体像は明るくなり、信頼度が向上する。従って、撮像部と被写体との距離情報を用いて信頼度Ｓ（ｉ）を算出してもよい。例えば輝度信号の大きさは、撮像部と被写体との距離が短いほど大きくなるため、輝度信号も距離情報に相当する情報となる。或いは、例えば挿入部１０２の先端部等に、距離を測定するための測距センサを設け、この測距センサにより検知された距離情報に基づいて、信頼度を算出するようにしてもよい。また例えば前述の式（３）に示すように、色情報の一例である色相代表値Ｈ（ｉ）を求め、図１０で説明したように、求められた色相代表値Ｈ（ｉ）が目標領域に入るか否かを判断することで、信頼度Ｓ（ｉ）を算出してもよい。このようにすれば、例えば病変の色に近い色相の領域を、病変部である確からしさが高い高信頼度の領域として抽出できる。
【０１２４】
また図１１で説明したように、信頼度処理部２１３は、第１画像内での位置情報（座標位置）に応じて、信頼度を設定してもよい。例えば第１画像内の位置と信頼度とが対応している場合には、第１画像内での位置情報に応じて信頼度が異なる値になるように信頼度を設定する。
【０１２５】
具体的には図２（Ａ）では、第１画像の中央部の位置では信頼度が高く、周辺部の位置では信頼度が低い。従って、この場合には信頼度処理部２１３は、第１画像の中央部を高信頼度エリアに設定し、中央部の周りの周辺部を、高信頼度エリアよりも信頼度が低い低信頼度エリアに設定する。例えば画像取得部２１２が、体内の隆起物が画像の中央になるように撮像部により撮像された画像を、第１画像として取得する場合には、このように中央部を高信頼度エリアに設定し周辺部を低信頼度エリアに設定する手法が効果的になる。
【０１２６】
一方、図２（Ｂ）では、第１画像の中央部の位置では信頼度が低く、周辺部の位置では信頼度が高い。従って、この場合には信頼度処理部２１３は、第１画像の中央部を低信頼度エリアに設定し、周辺部を高信頼度エリアに設定する。例えば画像取得部２１２が、体内の空洞形態（管空状の形態）が画像の中央になるように撮像部により撮像された画像を、第１画像として取得する場合には、このように中央部を低信頼度エリアに設定し周辺部を高信頼度エリアに設定する手法が効果的になる。即ち、消化器の内視鏡診断においては、被写体の多くは管空状であるため、図２（Ｂ）のように信頼度を設定することで、病変部の検出精度の向上や処理負荷の軽減を図れる。
【０１２７】
また図９に示すように信頼度処理部２１３は、第１画像を複数のブロック領域に分割する分割部４０２を含む。そして信頼度処理部２１３は、複数のブロック領域の各ブロック領域において、信頼度を取得する。例えば輝度代表値ＬＡＶ（ｉ）が所定の閾値（基準値）よりも高いブロック領域に対しては、信頼度をＳ（ｉ）＝１に設定し、所定の閾値よりも低いブロック領域に対しては、信頼度をＳ（ｉ）＝０に設定する。これにより、高信頼度エリア、低信頼度エリアの設定が可能になる。
【０１２８】
この場合に種類判別部２１５は、各ブロック領域を処理領域として、被写体の種類判別処理を行うことが望ましい。即ち図３の各ブロック領域ＢＬにおいて信頼度を取得して信頼度の設定処理を行うと共に、この各ブロック領域ＢＬを処理領域として、被写体の種類判別処理も行う。例えば高信頼度エリアのブロック領域では、第１画像の情報（特徴量）を用いて、病変部／正常部の判定を行い、低信頼度エリアのブロック領域では、第１画像の情報のみならず、第２画像の情報（図３のマッチングブロック領域ＭＢＬの情報）を用いて、病変部／正常部の判定を行う。このようにすることで、信頼度処理部２１３と種類判別部２１５は、同じサイズのブロック領域を用いて信頼度の処理と種類判別の処理を実行できるようになるため、処理の簡素化等を図れる。なお、信頼度処理部２１３の処理領域のサイズ、形状等と、種類判別部２１５での処理領域のサイズ、形状等を異ならせる変形実施も可能である。
【０１２９】
また種類判別部２１５は、種類判別処理として、第１画像の被写体が注目部（注目領域、注目画素）であるか非注目部（非注目領域、非注目画素）であるかを判別する処理を行う。具体的には、第１画像の被写体が病変部であるか正常部であるかを判別する処理を行う。
【０１３０】
ここで注目部（注目領域、注目画素）とは、使用者にとって観察の優先順位が他の部分よりも相対的に高い部分であり、例えば、使用者が医者であり治療を希望した場合、粘膜部や病変部を写した部分（領域、画素）を指す。また、他の例として、医者が観察したいと欲した対象が泡や便であれば、注目部は、その泡部分や便部分になる。即ち、使用者が注目すべき対象は、その観察目的によって異なるが、いずれにしても、その観察に際し、使用者にとって観察の優先順位が他の部分よりも相対的に高い部分が注目部となる。また、注目部は撮像画像の画素の特徴量（色相、彩度等）を用いて検出することができ、例えば特徴量に対する閾値は、注目部の種類に応じて変化する。例えば第１の種類の注目部に対する色相、彩度等の特徴量の閾値と、第２の種類の注目部に対する特徴量の閾値は異なった値になる。そして、注目部の種類が変わった場合には、この特徴量の閾値を変えるだけで済み、注目部の検出後の処理については、本実施形態で説明した処理と同様の処理で実現することができる。
【０１３１】
また画像取得部２１２は、第１画像及び第２画像の少なくとも１つとして、例えば図６で説明した特定の波長帯域の情報を含む特殊光画像を取得する。具体的には、画像取得部２１２は、第１画像として、図５で説明した白色光の波長帯域の情報を含む通常光画像と、図６で説明した特定の波長帯域の情報を含む特殊光画像を取得する。
【０１３２】
そして図１３のＡ３、Ａ５、Ａ７、Ａ１３で説明したように、種類判別部２１５は、通常光画像及び特殊光画像のうちの少なくとも特殊光画像を用いて、被写体の種類を判別する。このように特殊光画像を用いる手法によれば、通常光画像を用いる手法に比べて病変部等の検出を容易化できる。なお通常光画像及び特殊光画像の両方を用いて種類判別を行うことも可能である。
【０１３３】
また画像取得部２１２は、第２画像として、通常光画像を取得する。或いは第２画像として通常光画像と特殊光画像を取得する。そして図１３のＡ１３に示すように種類判別部２１５は、第２画像の特殊光画像により取得された情報（例えば注目部情報等）を用いて、第１画像の被写体の種類判別処理を行う。このようにすれば、第１画像の特殊光画像のみならず、第２画像の特殊光画像を用いて、病変部／正常部の判定を行うことが可能になり、種類判別の精度や信頼性を向上できる。
【０１３４】
また本実施形態における特定の波長帯域は、白色光の波長帯域よりも狭い帯域である（ＮＢＩ：Narrow Band Imaging）。例えば、通常光画像及び特殊光画像は生体内を写した生体内画像であり、生体内画像に含まれる特定の波長帯域は、血液中のヘモグロビンに吸収される波長の波長帯域である。このヘモグロビンに吸収される波長は、例えば３９０ナノメータ〜４４５ナノメータ（第１の狭帯域光。狭帯域光のＢ２成分）、または５３０ナノメータ〜５５０ナノメータ（第２の狭帯域光。狭帯域光のＧ２成分）である。
【０１３５】
これにより、生体の表層部及び、深部に位置する血管の構造を観察することが可能になる。また得られた信号を特定のチャンネル（Ｇ２→Ｒ、Ｂ２→Ｇ，Ｂ）に入力することで、扁平上皮癌等の通常光では視認が難しい病変などを褐色等で表示することができ、病変部の見落としを抑止することができる。なお、３９０ｎｍ〜４４５ｎｍまたは５３０ｎｍ〜５５０ｎｍとは、ヘモグロビンに吸収されるという特性及び、それぞれ生体の表層部または深部まで到達するという特性から得られた数字である。但し、この場合の波長帯域はこれに限定されず、例えばヘモグロビンによる吸収と生体の表層部又は深部への到達に関する実験結果等の変動要因により、波長帯域の下限値が０〜１０％程度減少し、上限値が０〜１０％程度上昇することも考えられる。
【０１３６】
また、本実施形態では、生体内画像に含まれる特定の波長帯域は、蛍光物質が発する蛍光の波長帯域であってもよい。例えば、特定の波長帯域は、４９０ナノメータ〜６２５ナノメータの波長帯域であってもよい。
【０１３７】
これにより、ＡＦＩ（Auto Fluorescence Imaging）と呼ばれる蛍光観察が可能となる。励起光（３９０ｎｍ〜４７０ｎｍ）を照射することで、コラーゲンなどの蛍光物質からの自家蛍光（intrinsic fluorescence、４９０ｎｍ〜６２５ｎｍ）を観察することができる。このような観察では病変を正常粘膜とは異なった色調で強調表示することができ、病変部の見落としを抑止すること等が可能になる。なお４９０ｎｍ〜６２５ｎｍという数字は、前述の励起光を照射した際、コラーゲン等の蛍光物質が発する自家蛍光の波長帯域を示したものである。但し、この場合の波長帯域はこれに限定されず、例えば蛍光物質が発する蛍光の波長帯域に関する実験結果等の変動要因により、波長帯域の下限値が０〜１０％程度減少し、上限値が０〜１０％程度上昇することも考えられる。また、ヘモグロビンに吸収される波長帯域（５４０ｎｍ〜５６０ｎｍ）を同時に照射し、擬似カラー画像を生成してもよい。
【０１３８】
また本実施形態では、生体内画像に含まれる特定の波長帯域は、赤外光の波長帯域であってもよい。例えば、特定の波長帯域は、７９０ナノメータ〜８２０ナノメータ、または９０５ナノメータ〜９７０ナノメータの波長帯域であってもよい。
【０１３９】
これにより、ＩＲＩ（Infra Red Imaging）と呼ばれる赤外光観察が可能となる。赤外光が吸収されやすい赤外指標薬剤であるＩＣＧ（インドシアニングリーン）を静脈注射した上で、上記波長帯域の赤外光を照射することで、人間の目では視認が難しい粘膜深部の血管や血流情報を強調表示することができ、胃癌の深達度診断や治療方針の判定などが可能になる。なお、７９０ｎｍ〜８２０ｎｍという数字は赤外指標薬剤の吸収がもっとも強いという特性から求められ、９０５ｎｍ〜９７０ｎｍという数字は赤外指標薬剤の吸収がもっとも弱いという特性から求められたものである。但し、この場合の波長帯域はこれに限定されず、例えば赤外指標薬剤の吸収に関する実験結果等の変動要因により、波長帯域の下限値が０〜１０％程度減少し、上限値が０〜１０％程度上昇することも考えられる。
【０１４０】
また本実施形態では、図４の画像取得部２１２が、取得された通常光画像に基づいて特殊光画像を生成してもよい。
【０１４１】
具体的には、画像取得部２１２は、取得された通常光画像から、白色光の波長帯域における信号を抽出する信号抽出部を含み、画像取得部２１２は、抽出された白色光の波長帯域における信号に基づいて、特定の波長帯域における信号を含む特殊光画像を生成する。例えば、信号抽出部は、通常光画像のＲＧＢ信号から１０ｎｍ刻みに被写体の分光反射率特性を推定し、画像取得部２１２は、その推定された信号成分を上記特定の帯域で積算して特殊光画像を生成する。
【０１４２】
より具体的には、画像取得部２１２は、白色光の波長帯域における信号から、特定の波長帯域における信号を算出するためのマトリクスデータを設定するマトリクスデータ設定部を含む。そして画像取得部２１２は、設定されたマトリクスデータを用いて、白色光の波長帯域における信号から特定の波長帯域における信号を算出して、特殊光画像を生成する。例えば、マトリクスデータ設定部は、特定の波長帯域の照射光の分光特性が１０ｎｍ刻みに記述されたテーブルデータをマトリクスデータとして設定する。そして、このテーブルデータに記述された分光特性（係数）を、推定された被写体の分光反射率特性に乗算して積算し、特殊光画像を生成する。
【０１４３】
これにより、通常光画像に基づいて特殊光画像を生成することができるので、通常光を照射する１つの光源と、通常光を撮像する１つの撮像素子のみでもシステムを実現することが可能になる。そのため、スコープ型内視鏡の挿入部やカプセル型内視鏡を小さくすることができ、また部品が少なくてすむためコストを下げる効果も期待できる。
【０１４４】
３．第２の構成例
次に本実施形態の第２の構成例について説明する。前述の図４に示す第１の構成例では、過去フレームの高信頼度エリアの画像信号の病変部／正常部の情報を用いて、現在フレームの低信頼度エリアの画像信号の病変部／正常部の判定を行っている。これに対して第２の構成例では、現在フレームの高信頼度エリアの画像信号の病変部／正常部の情報を用いて、過去フレームの低信頼度エリアの画像信号の病変部／正常部の判定を行う。処理の対象は、例えば撮像済みの時系列的に形成された画像信号である。ここでは第１の構成例と異なる部分について主に説明する。
【０１４５】
図２０に、本実施形態の第２の構成例を示す。この第２の構成例は、画像保存部２３１、画像処理装置２１０、制御部２２１、外部Ｉ／Ｆ部２２２を含む。画像処理装置２１０は、画像取得部２１２、信頼度処理部２１３、領域抽出部２１４、種類判別部２３２、保存部２１７を含む。
【０１４６】
画像保存部２３１は、画像取得部２１２、信頼度処理部２１３、領域抽出部２１４を介して種類判別部２３２へ接続している。保存部２１７は、種類判別部２３２と双方向に接続している。制御部２２１は、画像保存部２３１、画像取得部２１２、信頼度処理部２１３、領域抽出部２１４、種類判別部２３２、保存部２１７と双方向に接続している。外部Ｉ／Ｆ部２２２は制御部２２１へ接続している。
【０１４７】
画像保存部２３１は、内視鏡システムで撮像したＡ／Ｄ変換後の通常光画像信号（通常光画像データ）及び特殊光画像信号（特殊光画像データ）を保存している。画像保存部２３１は、制御部２２１の制御に基づき、通常光画像信号及び特殊光画像信号を画像取得部２１２へ転送する。画像取得部２１２、信頼度処理部２１３、領域抽出部２１４は、図４の第１の構成例と同様の構成であり、同様の処理を行う。
【０１４８】
図２１に種類判別部２３２の構成例を示す。この種類判別部２３２は、特徴量算出部６０１、第１部位判定部６０２、マッチング部６０３、第２部位判定部６０４を含む。領域抽出部２１４は、特徴量算出部６０１、第１部位判定部６０２を介して、保存部２１７へ接続している。第１部位判定部６０２は、マッチング部６０３、第２部位判定部６０４を介して保存部２１７へ接続している。保存部２１７はマッチング部６０３へ接続している。制御部２２１は、特徴量算出部６０１、第１部位判定部６０２、マッチング部６０３及び第２部位判定部６０４と双方向に接続している。
【０１４９】
特徴量算出部６０１は、図２２のＢ１に示すように、現在フレームの特殊光画像を用いて特徴量を算出する。具体的には、領域抽出部２１４からの現在フレームの画像信号からなる全てのブロック領域ごとに、対応するＲＧＢ信号からなる特殊光画像信号を用いて、ＲＧＢ信号から輝度、色差信号を求める公知の算出式で、各ブロック領域内の各画素の輝度値Ｌ（ｉ，ｍ，ｎ）、色差値ＣＲ（ｉ，ｍ，ｎ）、ＣＢ（ｉ，ｍ，ｎ）を算出する。ここでｉは各ブロック領域を判別するために付したブロック領域番号であり、ｍはブロック内にある画素の横軸座標であり、ｎはブロック内にある画素の縦軸座標である。続いて特徴量算出部６０１は、色差値ＣＲ（ｉ，ｍ，ｎ）、ＣＢ（ｉ，ｍ，ｎ）を用いて、各ブロック領域内の各画素の色相値Ｈ（ｉ，ｍ，ｎ）を特徴量として算出する（上述の式（４）参照）。
【０１５０】
そして特徴量算出部６０１は、図２２のＢ２に示すように、特徴量、信頼度情報、通常光・特殊光画像の信号を第１部位判定部６０２へ転送する。具体的には、算出した複数のブロック領域内の各画素の特徴量である色相値Ｈ（ｉ，ｍ，ｎ）と、現在フレームの画像信号の全てのブロック領域のＲＧＢ信号からなる特殊光画像信号及び通常光画像信号と、高信頼度／低信頼度エリアの情報を、第１部位判定部６０２へ転送する。
【０１５１】
第１部位判定部６０２は、図２２のＢ３に示すように特徴量を用いて現在フレームの画像の注目部／非注目部の判定を行う。具体的には、制御部２２１の制御により、転送されて来た各画素の色相値Ｈ（ｉ，ｍ，ｎ）を用いて病変部／正常部を判定する。本実施形態では、特殊光画像（ＮＢＩ画像）である狭帯域画像において、扁平上皮癌などの病変部が褐色の領域として現れるため、特徴量として色相値を用いて病変部を検出することができる。このため第１部位判定部６０２は、各ブロック領域の特殊光画像信号中の高信頼度エリアと判定されている画素に対して、色相値Ｈ（ｉ，ｍ，ｎ）を用いて閾値処理を行い、病変部に対応する画素を検出する。ここでは、褐色の領域を病変部として検出するため、例えば色相値Ｈ（ｉ，ｍ，ｎ）が−７５〜−１０５の範囲にある画素を病変部に対応する画素として検出する。また、それ以外の画素は正常部に対応する画素として認定する。処理の終了後、第１部位判定部６０２は、図２２のＢ４、Ｂ５に示すように、通常光画像信号、特殊光画像信号と、各画素の病変部／正常部の情報、高信頼度／低信頼度エリアの情報を、マッチング部６０３及び保存部２１７へ転送する。
【０１５２】
マッチング部６０３は、図２２のＢ６、Ｂ７に示すように、過去フレームの画像を保存部２１７から読み出して、現在フレームの各ブロック領域の画像とのマッチング処理を行う。具体的には、制御部２２１の制御に基づき、保存部２１７から１枚あるいは１枚以上の過去フレームに対応するＲＧＢ信号からなる特殊光画像信号、通常光画像信号を抽出し、第１部位判定部６０２からの現在フレームの各ブロック領域の画像信号とのマッチング処理を行う。本実施形態は、上述した第１の構成例と同様に、現在フレームの複数のブロック領域の画像信号を用いて、ラスタスキャン順で公知のテンプレートマッチング処理を行う。具体的には、現在フレームの各ブロック領域に対応する通常光画像信号Ｂ（ｉ）をテンプレートとして、過去フレームに対応する通常光画像信号Ｒｅｆの一番左上の位置から右方向にラスタスキャン順に移動して、画像の類似度を調べる処理を行う。その場合、テンプレートとなる通常光画像信号Ｂ（ｉ）、及びラスタスキャン順に移動して類似度を調べる処理中に形成した複数枚の同一ブロックサイズを有する過去フレームの通常光画像信号Ｃ（ｊ）（候補ブロック領域と定義。ｊは候補ブロック領域の番号）を用いて、二つブロック領域画像信号の類似度を算出して、マッチング処理を行う。
【０１５３】
そしてテンプレートとなる現在のフレームの全てのブロック領域のマッチング処理が完了した後、マッチング部６０３は、図２２のＢ８に示すように、マッチング情報、注目部情報、信頼度情報、特徴量、通常光・特殊光画像信号を、第２部位判定部６０４に転送する。具体的には、マッチング情報と、現在フレームに関する病変部／正常部の情報、高信頼度／低信頼度エリアの情報と、マッチング成功と判断されている過去フレームのブロック領域に対応する特殊光画像信号及び通常光画像信号と、各画素の色相値Ｈ（ｉ，ｍ，ｎ）を、第２部位判定部６０４へ転送する。
【０１５４】
第２部位判定部６０４は、図２２のＢ９に示すように、過去フレームの画像の特徴量と、現在フレームの画像の注目部情報、信頼度情報を用いて、過去フレームの画像の注目部／非注目部の判定を行う。
【０１５５】
具体的には第２部位判定部６０４は、制御部２２１の制御により、マッチング情報に基づきマッチング成功と判断されている過去フレームのブロック領域に対応する各画素の色相値Ｈ（ｉ，ｍ，ｎ）を用いて、病変部を検出する。例えば過去フレームの特殊光画像信号から色相値Ｈ（ｉ，ｍ，ｎ）が−７５〜−１０５の範囲にある病変候補画素を抽出する。
【０１５６】
そして、抽出された過去フレームの画像の病変候補画素が低信頼度エリアに存在したとする。また、マッチング部６０３からの現在フレームのブロック領域の病変部／正常部の情報と、高信頼度／低信頼度エリアの情報に基づき、病変候補画素に対応する現在フレームのブロック領域中の画素が高信頼度エリアに存在し、病変部と判断されているとする。この場合には、第２部位判定部６０４は、抽出された過去フレームの病変候補画素の信頼度を高信頼度エリアに存在することと設定し、その病変候補画素を病変部と判断して、その画素の病変部／正常部の情報を更新する。
【０１５７】
そして第２部位判定部６０４は、現在フレーム画像信号中の全ての高信頼度エリアのブロック領域に対する判定処理が終了した後に、図２２のＢ１０に示すように、処理後の各画素の病変部／正常部の情報、高信頼度／低信頼度エリアの情報と、ＲＧＢ信号からなる通常光画像信号及び特殊光画像信号を、保存部２１７へ転送する。
【０１５８】
以上のように第２の構成例では、現在フレームの高信頼度エリアの画像信号の病変部／正常部の情報を、過去フレームの低信頼度エリアの画像信号の病変部／正常部の判定に用いている。これにより、過去フレームの画像信号の病変部／正常部の判定精度を向上することができるため、内視鏡画像の診断能力（特にカプセル内視鏡で撮影した画像信号においての診断能力）を高めることができる。
【０１５９】
図２３は、図２１の種類判別部２３２の処理を示すフローチャートである。
【０１６０】
この処理を開始すると、まず、ステップＳ３１にて、現在フレームの画像信号からなる全てのブロック領域ごとに、対応するＲＧＢ信号からなる特殊光画像信号を用いて、ＲＧＢ信号から輝度、色差信号を求める公知の算出式で、各ブロック領域の各画素の輝度値Ｌ（ｉ，ｍ，ｎ）、色差値ＣＲ（ｉ，ｍ，ｎ）、ＣＢ（ｉ，ｍ，ｎ）を算出する。続いて、色差値ＣＲ（ｉ，ｍ，ｎ）、ＣＢ（ｉ，ｍ，ｎ）を用いて、上述の式（４）により、各ブロック領域の各画素の色相値Ｈ（ｉ，ｍ，ｎ）を特徴量として算出する。処理終了後、ステップＳ３２及びステップＳ３３へ進む。以上は図２１の特徴量算出部６０１の処理に相当する。
【０１６１】
次に、ステップＳ３２にて、各画素の色相値Ｈ（ｉ，ｍ，ｎ）を用いて病変部／正常部を判定する。具体的には、各ブロック領域の特殊光画像信号中の高信頼度エリアと判定されている画素に対して、色相値Ｈ（ｉ，ｍ，ｎ）を用いて閾値処理を行い、病変部に対応する画素を検出する。そして、それ以外の画素は正常部に対応する画素として認定する。これは図２１の第１部位判定部６０２の処理に相当する。
【０１６２】
一方、ステップＳ３３にて、メモリから１枚あるいは１枚以上の過去フレームに対応するＲＧＢ信号からなる特殊光画像信号、通常光画像信号を読み出して、現在フレームの各ブロック領域の画像信号とのマッチング処理を行い、ステップＳ３４へ進む。これは図２１のマッチング部６０３の処理に相当する。
【０１６３】
続いて、ステップＳ３４にて、マッチング情報に基づきマッチング成功と判断されている過去フレームのブロック領域に対応する各画素の色相値Ｈ（ｉ，ｍ，ｎ）を用いて、病変部を検出する。そして、抽出した画素において、マッチング部６０３からの現在フレームのブロック領域の病変部／正常部の情報と高信頼度／低信頼度エリアの情報に基づき、抽出した過去フレームのブロック領域中の病変候補画素に対応する現在フレームのブロック領域中の画素が、高信頼度エリアに存在し病変部と判断されたとする。この場合には、その過去フレームのブロック領域中の病変候補画素の信頼度を高信頼度エリアに存在することと設定し、その画素を病変部と判断して、その画素の病変部／正常部の情報を更新する。処理後の各画素の病変部／正常部の情報、高信頼度／低信頼度エリアの情報を、メモリに保存する。以上は図２１の第２部位判定部６０４の処理に相当する。
【０１６４】
なお第２の構成例では、現在フレームの高信頼度エリアの画像信号の病変部／正常部の情報を、過去フレームの低信頼度エリアの画像信号の病変部／正常部の判定に用いているが、本実施形態の手法はこれに限定されない。例えば図２４に種類判別部２３２の変形例を示す。
【０１６５】
図２４の種類判別部２３２は、特徴量算出部６０１、第１部位判定部６０２、マッチング部６１３、第２部位判定部６１４、画像検出部６１５を含む。領域抽出部２１４は、特徴量算出部６０１、第１部位判定部６０２を介して、保存部２１７へ接続している。保存部２１７は、マッチング部６１３、第２部位判定部６１４、画像検出部６１５へ接続している。画像検出部６１５は、マッチング部６１３及び第２部位判定部６１４を介して保存部２１７へ接続している。制御部２２１は、特徴量算出部６０１、第１部位判定部６０２、マッチング部６１３、第２部位判定部６１４及び画像検出部６１５と双方向に接続している。
【０１６６】
この変形例では、時系列的に連続撮像された画像信号に対し、２回の種類判別処理を行うことが特徴となっている。まず、１回目の処理において、時系列的に連続撮像された各フレームの画像信号に対し、信頼度に基づき高信頼度エリア／低信頼度エリアを設定する。そして高信頼度エリアの画像信号の病変部／正常部の判定を行い、画像信号、高信頼度エリア／低信頼度エリアの情報、病変部／正常部の情報を保存する。次に、１回目の処理済み後の時系列的に連続撮像された各フレームの低信頼度エリアの画像信号の病変部／正常部の判定において、時系列的に当該フレームの前及び後のフレームで撮像された画像信号の高信頼度エリアの画像信号の病変部／正常部の情報を流用する。
【０１６７】
この変形例の具体的な処理の流れについて図２５、図２６を用いて説明する。
【０１６８】
まず特徴量算出部６０１は、図２５のＣ１に示すように、特殊光画像を用いて特徴量を算出する。具体的には、領域抽出部２１４からの現在フレームの画像信号からなる全てのブロック領域ごとに、対応するＲＧＢ信号からなる特殊光画像信号を用いて、上述の式（４）に示すように、各ブロック領域の各画素の色相値Ｈ（ｉ，ｍ，ｎ）を特徴量として算出する。そして特徴量算出部６０１は、図２５のＣ２に示すように、算出した特徴量、信頼度情報、通常光・特殊光画像の信号を、第１部位判定部６０２に転送する。具体的には、算出した複数のブロック領域の各画素の色相値Ｈ（ｉ，ｍ，ｎ）と、現在フレームの全てのブロック領域のＲＧＢ信号からなる特殊光画像信号及び通常光画像信号と、高信頼度／低信頼度エリアの情報を、第１部位判定部６０２へ転送する。
【０１６９】
第１部位判定部６０２は、図２５のＣ３に示すように、特徴量を用いて注目部／非注目部の判定を行う。具体的には、制御部２２１の制御により、転送されて来た各画素の色相値Ｈ（ｉ，ｍ，ｎ）を用いて病変部／正常部を判定する。そして処理の終了後、Ｃ４に示すように、通常光画像信号、特殊光画像信号と、各画素の病変部／正常部の情報、高信頼度／低信頼度エリアの情報を、保存部２１７へ転送する。
【０１７０】
時系列的に連続撮像された全ての画像信号に対して、上述の１回目の処理が完了した後、下記の２回目の処理を行う。
【０１７１】
即ち画像検出部６１５は、図２６のＤ１に示すように、上述の１回目の処理が済んだ後の通常光画像信号あるいは特殊光画像信号と、それに対応する高信頼度／低信頼度エリアの情報及び病変部／正常部の情報を、保存部２１７から読み出して、マッチング部６１３へ転送する。
【０１７２】
マッチング部６１３は、図２６のＤ２に示すように、現在フレームの各ブロック領域の画像と、前後のフレームの画像のマッチング処理を行う。具体的にはＤ３に示すように、制御部２２１の制御に基づき、在フレームの前及び後のフレームで撮像された所定枚数のＲＧＢからなる特殊光画像信号、通常光画像信号を、保存部２１７から読み出す。そして、画像検出部６１５からの現在フレームの各ブロック領域の画像信号とのマッチング処理を行う。本変形例では、第１の構成例と同様に、ラスタスキャン順で公知のテンプレートマッチング処理を行う。例えば本変形例では、図２７に示すように、時系列的に現在フレームの前及び後のフレームで撮影された２枚ずつの画像信号を抽出して、現在フレームとのマッチング処理を行う。
【０１７３】
テンプレートとなる現在フレームの全てのブロック領域でのマッチング処理が完了した後、Ｄ４に示すように、マッチング情報と、現在フレームの前及び後に撮像されたフレームに関する病変部／正常部の情報、高信頼度／低信頼度エリアの情報と、マッチング成功となっている現在フレームの前及び後のフレームのブロック領域のＲＧＢ信号からなる特殊光画像信号及び通常光画像信号と、各画素の色相値Ｈ（ｉ，ｍ，ｎ）を、第２部位判定部６１４へ転送する。
【０１７４】
第２部位判定部６１４は、図２６のＤ５に示すように、現在フレームの画像の特徴量と、前後のフレームの画像の注目部情報、信頼度情報を用いて、現在フレームの画像の注目部／非注目部の判定を行う。具体的には、制御部２２１の制御により、マッチング情報に基づきマッチング成功と判断されている現在フレームの低信頼度のブロック領域に対応する各画素の色相値Ｈ（ｉ，ｍ，ｎ）を用いて、病変部を検出することで、病変候補画素を抽出する。次に、マッチング部６１３からの現在フレームの前及び後に撮像された所定枚数のフレーム画像のブロック領域の病変部／正常部の情報、高信頼度／低信頼度エリアの情報に基づき、病変候補画素とマッチングした注目画素が高信頼度エリアに存在するか否かを判定する。
【０１７５】
例えば、図２７に示すように、現在フレームの前及び後に撮像された４フレームの画像中に、病変候補画素とマッチングした、高信頼度エリアに属する注目画素が複数存在したとする。この場合には、現在フレームと撮像時間が近接するフレームに属する注目画素の病変部／正常部の情報を、病変候補画素の判定に適用する。その場合、病変候補画素の信頼度を高信頼度エリアに設定し、病変候補画素を病変部と判断して、病変候補画素の病変部／正常部の情報を更新する。そして図２６のＤ６に示すように、処理後の各画素の病変部／正常部の情報、高信頼度／低信頼度エリアの情報と、ＲＧＢ信号からなる通常光画像信号及び特殊光画像信号を、保存部２１７へ転送する。
【０１７６】
このよう本変形例では、１回目の処理において、時系列的に連続撮像された各フレームの画像信号に対し、信頼度に基づき高信頼度エリア／低信頼度エリアを設定する。そして高信頼度エリアの画像信号の病変部／正常部の判定を行い、画像信号と、高信頼度エリア／低信頼度エリアの情報と、病変部／正常部の情報を保存する。次に、１回目の処理が済んだ後の時系列的に連続撮像された各フレームの低信頼度エリアの画像信号の病変部／正常部の判定において、当該フレームの前及び後に撮像された所定枚数のフレーム画像信号の高信頼度エリアの画像信号の病変部／正常部の情報を流用する。このため、時系列的に各フレームの前及び後に撮像された画像信号中の病変部／正常部の情報が流用できるため、内視鏡画像の診断能力（特にカプセル内視鏡で撮影した画像信号においての診断能力）を高めることができる。
【０１７７】
なお、本変形例では、時系列的に現在フレームの前及び後に撮像された画像信号の高信頼度エリアの病変部／正常部の情報を、現在フレームの低信頼度エリアの画像信号の病変部／正常部の判定に流用する場合について説明したが、これに限定されるものではない。例えば現在フレームの高信頼度エリアの画像信号の病変部／正常部の情報を、時系列的に現在フレームの前及び後に撮像された画像信号の低信頼度エリアの病変部／正常部の判定に流用するようにしてもよい。
【０１７８】
また図２７に示すように、現在フレームの画像である第１画像のブロック領域とマッチングする領域として、複数のマッチングブロック領域が抽出された場合には、これらの複数のマッチングブロック領域から、重み付け信頼度情報により選択されたマッチングブロック領域の情報を用いて、病変部／正常部の判定を行えばよい。例えば、第１画像（現在フレームの画像）を基点として、時系列的な距離情報、及び同じフレーム中のマッチングブロック領域の位置情報に応じて、信頼度の重みを付けて、重み付き信頼度情報を算出する。
【０１７９】
具体的には、図２７に示すように、現在フレームとの時系列的な距離Ｆｄと、同じフレーム内のマッチングブロック領域の中心位置とそのフレームの中心位置との距離Ｂｄに基づき、下式（１０）のように重み付きの信頼度Ｓｄ（ｎ）を算出する。なお、図２（Ａ）に示すように画像の中央領域が高信頼度エリアに設定されているものとする。
【０１８０】
Ｓｄ（ｎ）＝α／{Ｆｄ（ｎ）＊Ｂｄ（ｎ）}＊Ｓ（ｎ，ｉ） ・・・（１０）
【０１８１】
ここで、αは０より大きい定数であり、ｎは候補となっている前後フレームの番号であり、ｉはフレーム内のブロック番号である。また図２７において、Ｃｅｎｔｅｒ（ｎ，ｐ，ｑ）はフレームの中心位置を示し、Ｂｃｅｎｔｅｒ（ｎ，ｂｐ，ｂｑ）はマッチングブロック領域の中心位置を示す。また（ｐ，ｑ）、（ｂｐ，ｂｑ）はフレーム内の２次元座標位置である。
【０１８２】
図２７では、複数フレーム中のマッチングブロック領域の重み付き信頼度Ｓｄ（ｎ）の中から最大値を選択し、重み付き信頼度Ｓｄ（ｎ）が最大値になるマッチングブロック領域を、最も高い信頼度を有するマッチングブロック領域であると判定する。例えば図２７では、第１画像のブロック領域ＢＬ５に画像がマッチングする領域として、Ｅ１、Ｅ２、Ｅ３、Ｅ４に示すマッチングブロック領域が抽出されている。この場合には、これらのＥ１、Ｅ２、Ｅ３、Ｅ４に示すマッチングブロック領域の中から、重み付き信頼度Ｓｄ（ｎ）が最大値となるマッチングブロック領域を選択する。そして、選択されたマッチングブロック領域の情報を用いて、第１画像のブロック領域ＢＬでの病変部／正常部の判定を行う。
【０１８３】
即ち図２７では、時系列的に現在フレームの前及び後に撮影された２枚ずつの画像を抽出して、現在フレームとのマッチング処理を行う。その場合、テンプレートとなる現在フレーム中の各ブロック領域とマッチングした前後のフレームの４つのマッチングブロック領域において、上記のように重み付き信頼度Ｓｄ（１）、Ｓｄ（２）、Ｓｄ（３）、Ｓｄ（４）を算出する。そして重み付け信頼度が最も高いエリアの種類判別結果が、対応する現在フレーム中ブロック領域の種類判別結果になる。
【０１８４】
なお、上式（１０）において、Ｆｄ（ｎ）＊Ｂｄ（ｎ）が０になるマッチングブロック領域が存在する場合には、そのマッチングブロック領域を最も高い信頼度を有するマッチングブロック領域であると判定する。更に、Ｆｄ（ｎ）＊Ｂｄ（ｎ）が０になるマッチングブロック領域が複数存在する場合には、時系列的に最も近いフレームにあるマッチングブロック領域を、最も高い信頼度を有するマッチングブロック領域であると判定する。
【０１８５】
以上の本実施形態の手法をまとめると以下のようになる。
【０１８６】
即ち本実施形態の画像取得部２１２は、撮像部により時系列に撮像された画像を、第１画像及び第２画像として取得する。そして図１２の第１の構成例の種類判別部２１５は、図１（Ａ）に示すように第１画像よりも時系列で前のフレームで取得された少なくとも１枚の第２画像の情報を用いて、第１画像の被写体の種類判別処理を行う。このようにすれば、前のフレームで取得された第２画像の情報を有効利用して、第１画像の被写体の種類判別処理を実現できる。
【０１８７】
一方、図２１の第２の構成例の種類判別部２３２は、図１（Ｂ）に示すように第１画像よりも時系列で後のフレームで取得された少なくとも１枚の第２画像の情報を用いて、第１画像の被写体の種類判別処理を行う。このようにすれば、例えば現在フレームの画像である第２画像を用いて、過去フレームの画像である第１画像の被写体の種類判別処理を実現できる。これにより、例えばカプセル内視鏡で撮影して保存した画像から病変部／正常部を検出する場合に、その検出精度を向上できる。
【０１８８】
また図２４で説明した変形例の種類判別部２３２は、図１（Ｃ）や図２７に示すように、第１画像よりも時系列で前のフレームで取得された少なくとも１枚の第２画像の情報と、第１画像よりも時系列で後のフレームで取得された少なくとも１枚の第２画像の情報を用いて、第１画像の被写体の種類判別処理を行う。別の言い方をすれば、第１画像とは取得フレームが異なる複数枚の第２画像の情報を用いて、第１画像の被写体の種類判別処理を行う。このようにすれば、複数枚の第２画像を利用できるため、１枚の第２画像を用いる場合に比べて、種類判別の精度や信頼性を向上できる。
【０１８９】
例えば種類判別部２３２は、第１画像を分割した複数のブロック領域の各ブロック領域の画像と、上述の複数枚の第２画像の各第２画像とのマッチング処理を行って、第１画像のブロック領域と画像がマッチングする各第２画像内の領域を、マッチングブロック領域として抽出する。例えば図２７では、第１画像のブロック領域ＢＬ５と画像がマッチングする領域として、Ｅ１、Ｅ２、Ｅ３、Ｅ４に示すマッチングブロック領域が抽出されている。従って、この場合には、これらの抽出されたマッチングブロック領域の情報を用いて、第１画像の被写体の種類判別処理を行う。
【０１９０】
更に具体的には、種類判別部２３２は、第１画像の各ブロック領域と画像がマッチングする領域として、複数のマッチングブロック領域が抽出された場合に、複数のマッチングブロック領域の中から重み付け信頼度情報Ｓｄ（ｎ）により選択されたマッチングブロック領域の情報を用いて、第１画像の被写体の種類判別処理を行う。このようにすれば、画像がマッチングする複数のマッチングブロック領域の中から、信頼度の重み付けが最も高いマッチングブロック領域を選択して、そのマッチングブロック領域の情報を用いて、第１画像のブロック領域での被写体の種類判別を実現できるようになる。
【０１９１】
そして種類判別部２３２は、重み付け信頼度情報Ｓｄ（ｎ）として、例えば上式（１０）に示すような情報を用いる。例えば、第１画像と各第２画像との間の時系列的な距離情報Ｆｄ（ｎ）、及び各第２画像内でのマッチングブロック領域の位置情報Ｂｄ（ｎ）の少なくとも一方を用いる。ここで時系列的な距離情報Ｆｄ（ｎ）は、第１画像の取得フレームと第２画像の取得フレームのフレーム差に対応する情報である。また位置情報Ｂｄ（ｎ）は、第２画像内でのマッチングブロック領域の相対的な位置を表す情報であり、例えば第２画像の中心位置とマッチングブロック領域の中心位置との間の距離等により表すことができる。このような重み付け信頼度情報を用いれば、例えば第１画像のブロック領域と画像がマッチングする領域として、複数のマッチングブロック領域が抽出された場合に、例えば第１画像との時系列的な距離情報が近いマッチングブロック領域や、第２画像内において高信頼度エリアに位置するマッチングブロック領域を選択することが可能になる。従って、第１画像の被写体の種類判別に利用するマッチングブロック領域として、より高い信頼度を有するマッチングブロック領域を選択できるようになり、第１画像の被写体の種類判別の精度や信頼性を更に向上できる。
【０１９２】
なお以上に説明した第１、第２の構成例や変形例の手法は、本実施形態の各部（画像取得部、信頼度処理部、種類判別部、分割部等）としてコンピュータを機能させるプログラムにも適用できる。
【０１９３】
これにより、例えばカプセル型内視鏡などのように、まず画像データを蓄積し、その後蓄積された画像データに対してＰＣ等のコンピュータシステムでソフトウェア的に処理を行うことが可能になる。
【０１９４】
また本実施形態は、本実施形態の各部（画像取得部、信頼度処理部、種類判別部、分割部等）を実現するプログラムコードが記録されたコンピュータプログラムプロダクトにも適用できる。
【０１９５】
ここでコンピュータプログラムプロダクトは、例えば、プログラムコードが記録された情報記憶媒体（ＤＶＤ等の光ディスク媒体、ハードディスク媒体、メモリ媒体等）、プログラムコードが記録されたコンピュータ、プログラムコードが記録されたインターネットシステム（例えば、サーバとクライアント端末を含むシステム）など、プログラムコードが組み込まれた情報記憶媒体、装置、機器或いはシステム等である。この場合に、本実施形態の各構成要素や各処理プロセスは各モジュールにより実装され、これらの実装されたモジュールにより構成されるプログラムコードは、コンピュータプログラムプロダクトに記録される。
【０１９６】
以上のように本実施形態について詳細に説明したが、本発明の新規事項及び効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また画像処理装置、内視鏡システムの構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。
【符号の説明】
【０１９７】
９０ 制御装置、１００ 被写体、１０１ 通常光光源、１０２ 挿入部、
１０３ ライトガイドファイバ、２０１ レンズ、２０２ ハーフミラー、
２０３ 通常光撮像素子、２０４ フィルタ、２０５ 特殊光撮像素子、
２１０ 画像処理装置、２１１ Ａ／Ｄ変換部、２１２ 画像取得部、
２１３ 信頼度処理部、２１４ 領域抽出部、２１５ 種類判別部、２１６ 出力部、
２１７ 保存部、２２１ 制御部、２２２ 外部Ｉ／Ｆ部、２３２ 種類判別部、
３０１ 通常光画像処理部、３０２ 特殊光画像処理部、４０１ バッファ部、
４０２ 分割部、４０３ 係数算出部、４０４ 信頼度判定部、４０５ ＲＯＭ、
５００ エリア選定部、５０１ 第１特徴量算出部、５０２ 第１部位判定部、
５０３ 第２特徴量算出部、５０４ マッチング部、５０５ 第２部位判定部、
５０６ 合成部、
６０１ 特徴量算出部、６０２ 第１部位判定部、６０３ マッチング部、
６０４ 第２部位判定部、６１３ マッチング部、６１４ 第２部位判定部、
６１５ 画像検出部、
９００ コンピュータシステム、９１０ 本体部、９１１ ＣＰＵ、
９１２ ＲＡＭ、９１３ ＲＯＭ、９１４ ＨＤＤ、
９１５ ＣＤ−ＲＯＭドライブ、９１６ ＵＳＢポート、
９１７ Ｉ／Ｏインターフェース、９１８ ＬＡＮインターフェース、
９２０ ディスプレイ、９２１ 表示画面、９３０ キーボード、９４０ マウス、
９５０ モデム、９６０ ＣＤ−ＲＯＭ、９７０ ＵＳＢメモリ、９８１ ＰＣ、
９８２ サーバ、９８３ プリンタ
【技術分野】
【０００１】
本発明は画像処理装置、内視鏡システム及びプログラム等に関する。
【背景技術】
【０００２】
内視鏡検診においては、医者が内視鏡で撮影された内視鏡画像を見て、病変部／正常部の判定を行う。しかし、内視鏡画像において、光学レンズの特性、撮像素子の構成などが原因で画角の周辺部で照明強度が弱くなることや、撮像装置から被写体までの撮像距離が遠いなどで病変部／正常部の判定が困難になる場合がある。
【０００３】
例えば特許文献１には、撮像時刻が異なる複数の画像を用いて、ブロック単位で動きを検出し、現在のフレーム（フィールド）の画像と前のフレームの画像からテンプレートの重なり判定で同種類のテンプレート同士を追跡する技術が開示されている。この技術を適用することで、過去のフレームの画像の情報を現在のフレームの画像の被写体認識の判定結果に流用できるため、判別能力を高めることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−３７３３３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
この特許文献１の技術は、監視カメラなどの一般民生用分野に適用する場合には、精度的に十分である。しかしながら、内視鏡診断分野においては、過去のフレームの画像の判定結果を、そのまま現在のフレームの画像での病変部／正常部の判定に適用することは、判別精度として不十分であり、信頼度が欠けるおそれがある。
【０００６】
本発明の幾つかの態様によれば、第１画像の被写体の種類判定の精度や信頼性を向上できる画像処理装置、内視鏡システム及びプログラム等を提供できる。
【課題を解決するための手段】
【０００７】
本発明の一態様は、画像を取得する画像取得部と、取得された画像上の被写体の種類判別についての信頼度を取得する処理を行う信頼度処理部と、被写体の種類判別処理を行う種類判別部とを含み、前記画像取得部は、第１画像と、前記第１画像とは取得フレームが異なる第２画像を取得し、前記種類判別部は、前記第１画像の被写体の種類判別処理に前記第２画像の情報を用いるか否かを、前記第１画像において取得された前記信頼度に基づいて判断する画像処理装置に関係する。また本発明は、上記各部としてコンピュータを機能させるプログラムに関係する。
【０００８】
本発明の一態様によれば、第１画像と、第１画像とは取得フレームが異なる第２画像が取得される。これらの第１画像、第２画像は、撮像部によりリアルタイムに撮影されて取得されるものであってもよいし、メモリ等の保存部から読み出すことで取得されるものであってもよい。そして本発明の一態様では、第１画像の被写体の種類判別処理に第２画像の情報を用いるか否かが、第１画像において取得された信頼度に基づいて判断される。そして、第２画像の情報を用いると判断された場合には、第２画像の情報を利用して、第１画像の被写体の種類判別処理が行われる。このように第２画像の情報を用いて、第１画像の被写体の種類判別を行うことで、第１画像の被写体の種類判別の高精度化や容易化を図れる。また第２画像の情報を用いるか否かを、第１画像において取得された信頼度に基づいて判断すれば、例えば第１画像において信頼度が低い部分（画素、領域）を判断して、第２画像の情報を適用すれば、第１画像の被写体の種類を判別できるようになるため、第１画像の被写体の種類判定の精度や信頼性を向上できる。
【０００９】
また本発明の他の態様は、画像を取得する画像取得部と、取得された画像上の被写体の種類判別についての信頼度を取得する処理を行う信頼度処理部と、被写体の種類判別処理を行う種類判別部とを含み、前記画像取得部は、第１画像と、前記第１画像とは取得フレームが異なる第２画像を取得し、前記信頼度処理部は、前記信頼度が高いエリアを高信頼度エリアに設定し、前記高信頼度エリアよりも前記信頼度が低いエリアを低信頼度エリアに設定し、前記種類判別部は、前記第１画像の前記低信頼度エリアでの被写体の種類判別処理を、前記第２画像の情報を用いて行う画像処理装置に関係する。また本発明は、上記各部としてコンピュータを機能させるプログラムに関係する。
【００１０】
本発明の他の態様によれば、第１画像と、第１画像とは取得フレームが異なる第２画像が取得される。また、信頼度が高いエリアが高信頼度エリアに設定され、信頼度が低いエリアが低信頼度エリアに設定される。これらの高信頼度エリア、低信頼度エリアの設定は、画像の明るさ情報、色情報等などを用いて信頼度を算出することで行ってもよいし、画像内での位置に応じて行ってもよい。また高信頼度エリアと低信頼度エリアの中間の信頼度エリアを設定するなど、信頼度エリアの区分けの態様としては種々の態様を想定できる。そして本発明の他の態様によれば、第１画像の低信頼度エリアでの被写体については、第２画像の情報を用いて、その種類判別処理が行われる。従って、第１画像に低信頼度エリアが存在する場合にも、その低信頼度エリアでの被写体の種類判別を、例えば第２画像の高信頼度エリアでの情報等を用いて行うことが可能になるため、第１画像の被写体の種類判定の精度や信頼性を向上できる。
【００１１】
また本発明の他の態様は、画像を取得する画像取得部と、取得された画像上の被写体の種類判別についての信頼度を取得する処理を行う信頼度処理部と、被写体の種類判別処理を行う種類判別部とを含み、前記画像取得部は、第１画像と、前記第１画像とは取得フレームが異なる第２画像を取得し、前記種類判別部は、前記第１画像の被写体の種類判別処理に前記第２画像の情報を用いるか否かを、前記第１画像において取得された前記信頼度に基づいて判断する内視鏡システムに関係する。
【００１２】
また本発明の他の態様は、画像を取得する画像取得部と、取得された画像上の被写体の種類判別についての信頼度を取得する処理を行う信頼度処理部と、被写体の種類判別処理を行う種類判別部とを含み、前記画像取得部は、第１画像と、前記第１画像とは取得フレームが異なる第２画像を取得し、前記信頼度処理部は、前記信頼度が高いエリアを高信頼度エリアに設定し、前記高信頼度エリアよりも前記信頼度が低いエリアを低信頼度エリアに設定し、前記種類判別部は、前記第１画像の前記低信頼度エリアでの被写体の種類判別処理を、前記第２画像の情報を用いて行う内視鏡システムに関係する。
【図面の簡単な説明】
【００１３】
【図１】図１（Ａ）〜図１（Ｃ）は本実施形態の手法の説明図。
【図２】図２（Ａ）、図２（Ｂ）は第１画像の低信頼度エリアでの種類判定に第２画像の情報を用いる手法の説明図。
【図３】第２画像のマッチングブロック領域の情報を用いて第１画像のブロック領域の被写体の種類判別を行う手法の説明図。
【図４】本実施形態の第１の構成例。
【図５】通常光画像の分光特性の例。
【図６】特殊光画像の分光特性（ＮＢＩ）の例。
【図７】特殊光撮像素子のフィルタ構成例。
【図８】画像取得部の構成例。
【図９】信頼度処理部の構成例。
【図１０】色差領域の説明図。
【図１１】高信頼度／低信頼度エリアの設定例。
【図１２】種類判別部の構成例。
【図１３】種類判別処理の説明図。
【図１４】テンプレートマッチング処理の説明図。
【図１５】ソフトウェア処理で用いられるコンピュータの構成例。
【図１６】ソフトウェア処理で用いられるコンピュータの構成例。
【図１７】第１の構成例の処理を説明するためのフローチャート。
【図１８】信頼度取得処理を説明するためのフローチャート。
【図１９】種類判別処理を説明するためのフローチャート。
【図２０】本実施形態の第２の構成例。
【図２１】第２の構成例の種類判別部の構成例。
【図２２】第２の構成例の種類判別処理の説明図。
【図２３】第２の構成例の種類判別処理を説明するためのフローチャート。
【図２４】第２の構成例の種類判別部の変形例。
【図２５】変形例の種類判別処理の説明図。
【図２６】変形例の種類判別処理の説明図。
【図２７】第２の構成例のマッチング処理の説明図。
【発明を実施するための形態】
【００１４】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００１５】
１．概要
まず本実施形態の概要について説明する。ＣＣＤなどの撮像素子により被写体を撮像する場合に、撮像素子や光学系の特性により、画像の中央部は明るくなる一方で、中央部の周りの周辺部が暗くなってしまう現象が生じる。また消化器の内視鏡検診などにおいては、消化器は管空状であるため、画像の中央部に空洞形態が現れて中央部が暗くなる一方で、周辺部が明るくなる現象が生じる。
【００１６】
このような場合に、暗い画像を用いて病変部／正常部などの被写体の種類判別を行うと、診断結果の信頼度を今ひとつ高めることができない。
【００１７】
一方、種類判別の精度を高める１つの手法として、前述のように過去のフレームの画像とのマッチング処理を行う手法も考えられる。
【００１８】
しかしながら、過去のフレームの画像の情報をそのまま現在のフレームの画像での被写体の種類判別に適用するだけでは、被写体の判別精度の向上には限界がある。
【００１９】
そこで本実施形態では図１（Ａ）に示すように、第１画像ＩＭ１と、第１画像ＩＭ１とは取得フレーム（取得タイミング）が異なる第２画像ＩＭ２を取得する。例えば撮像素子や光学系を有する撮像部による時系列の撮像により、第１画像ＩＭ１、第２画像ＩＭ２を取得する。図１（Ａ）では、第１画像ＩＭ１は例えば現在のフレームＦ３（現在のタイミング）で撮像された画像であり、第２画像ＩＭ２は過去のフレームＦ２（過去のタイミング）で撮像された画像である。
【００２０】
そして本実施形態では、第１画像ＩＭ１の被写体の種類判別処理（例えば病変部／正常部の判別処理）に第２画像ＩＭ２の情報を用いるか否かを、第１画像ＩＭ１において取得（算出、設定）された信頼度（例えば高信頼度エリア、低信頼度エリアの判別情報）に基づいて判断する。ここで第２画像ＩＭ２の情報は、注目部を判別するための注目部情報や、信頼度を判別するための信頼度情報である。注目部情報は、例えば処理領域の画素が、注目部（例えば病変部）の画素であるか、非注目部（例えば正常部）の画素であるかを判別するための情報である。信頼度情報は、例えば処理領域（種類判別の対象となる領域）の画素が、高信頼度エリアに属するか、高信頼度エリアよりも信頼度が低い低信頼度エリアに属するかを判別するための情報である。
【００２１】
そして図１（Ａ）では、第１画像ＩＭ１は、フレームＦ３（第１のタイミング）で取得された画像であり、第２画像ＩＭ２は、フレームＦ３よりも時系列で過去のフレームＦ２（第２のタイミング）で取得された画像である。但し図１（Ｂ）に示すように、第１画像ＩＭ１の方が、第２画像ＩＭ２よりも時系列で過去のフレーム（過去のタイミング）で取得された画像であってもよい。或いは図１（Ｃ）に示すように、複数枚（複数フレーム）の第２画像ＩＭ２Ａ、ＩＭ２Ｂを用いて、第１画像ＩＭ１の種類判別処理を行ってもよい。この場合には、例えば後述する重み付け信頼度情報等により、第２画像ＩＭ２ＡとＩＭ２Ｂのいずれかを選択し、選択された画像の情報（注目部情報、信頼度情報）を用いて、第１画像ＩＭ１の種類を判別する。
【００２２】
図１（Ａ）〜図１（Ｃ）の手法によれば、第１画像ＩＭ１の種類判別に第２画像ＩＭ２の情報を用いるか否かを、第１画像ＩＭ１の信頼度（信頼度の判別情報等）に基づいて判断している。従って、例えば第１画像ＩＭ１において信頼度等が低い部分について、第２画像ＩＭ２の情報を流用して、第１画像ＩＭ１に映る被写体（被写体像）の種類判別を行うことなどが可能になるため、種類判別の精度や信頼性を向上できる。
【００２３】
また本実施形態では図２（Ａ）に示すように、信頼度が高いエリア（例えば所定の基準値よりも信頼度が高いエリア）を高信頼度エリアに設定し、信頼度が低いエリア（例えば所定の基準値よりも信頼度が低いエリア）を低信頼度エリアに設定する。例えば図２（Ａ）では、第１画像ＩＭ１の中央部を高信頼度エリアに設定し、中央部の周り（外周）の周辺部（周縁部）を低信頼度エリアに設定している。そして第１画像ＩＭ１の周辺部の低信頼度エリア（低信頼度画素）での被写体の種類判別処理（病変部／正常部の判別処理）を、第２画像ＩＭ２の情報（注目部情報、信頼度情報）に用いて行う。例えば第２画像ＩＭ２の高信頼度エリア（例えば中央部）の情報を用いて、第１画像ＩＭ１の低信頼度エリア（周辺部）での被写体の種類判別を行う。
【００２４】
図２（Ａ）の手法によれば、第１画像ＩＭ１のうちの信頼度が低いエリアでの被写体については、第２画像ＩＭ２の情報を流用して、その種類を判別できるようになる。従って、例えば第１画像ＩＭ１において中央部に比べて周辺部の方が暗く、第１画像ＩＭ１の周辺部での画像の特徴量だけでは、被写体の正確な種類判別が難しい場合でも、その部分に対応する第２画像ＩＭ２の情報を利用して、被写体の種類判別が可能になる。従って、種類判別の精度や信頼性を更に向上できる。
【００２５】
なお高信頼度エリア、低信頼度エリアの設定手法としては、種々の手法を想定できる。例えば図２（Ｂ）のように中央部を低信頼度エリアに設定し、周辺部を高信頼度エリアに設定してもよい。或いは、画素の明るさ情報（輝度情報）等に基づいて、高信頼度エリアに属するか低信頼度エリアに属するかを画素毎に設定してもよい。また例えば高信頼度エリアと低信頼度エリアの中間の信頼度エリアを設定するようにしてもよい。
【００２６】
また本実施形態では図３に示すように、第１画像ＩＭ１を複数のブロック領域に分割する。これらの各ブロック領域は、例えばＭ×Ｍ画素の所定サイズの領域である。そしてこの第１画像ＩＭ１のブロック領域（広義には処理領域）の画像と、第２画像ＩＭ２とのマッチング処理を行うことで、ブロック領域に対応するマッチングブロック領域（広義には対応処理領域）を抽出する。例えば図３では、第１画像ＩＭ１のブロック領域ＢＬと画像がマッチングする第２画像ＩＭ２内の領域として、マッチングブロック領域ＭＢＬが抽出されている。このため図３では、抽出されたマッチングブロック領域ＭＢＬの情報を用いて、第１画像ＩＭ１のブロック領域ＢＬでの被写体の種類判別を行う。
【００２７】
例えば図３では、ブロック領域ＢＬは低信頼度エリアに属しており、ブロック領域ＢＬでの画像の特徴量だけでは、被写体の種類判別は難しい。即ちブロック領域ＢＬでは画像の明るさが十分ではないため、被写体が病変部（広義には注目部）なのか正常部（広義には非注目部）なのかを判別することが難しい。
【００２８】
そこで本実施形態では、第１画像ＩＭ１とは取得フレーム（取得タイミング）が異なる第２画像ＩＭ２の中から、ブロック領域ＢＬと画像がマッチングするマッチングブロック領域ＭＢＬを抽出する。そして、このマッチングブロック領域ＭＢＬでの画像の情報を流用して、第１画像ＩＭ１の低信頼度エリアのブロック領域ＢＬでの被写体の種類判別を行う。このようにすれば、第１画像ＩＭ１内に信頼度が低いエリアが存在する場合にも、対応する第２画像ＩＭ２の情報を流用して、被写体の種類を判別できるようになるため、種類判別の精度や信頼性を向上できる。
【００２９】
２．第１の構成例
２．１ 全体構成
図４に、以上のような本実施形態の手法を実現する本実施形態の第１の構成例を示す。この第１の構成例は、本実施形態の画像処理装置２１０及びこの画像処理装置２１０を含む内視鏡システム（内視鏡装置）の構成例である。なお本実施形態の画像処理装置２１０、内視鏡システムは図４の構成に限定されず、その構成要素の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００３０】
図４の内視鏡システムは、挿入部１０２、制御装置９０（本体装置）を含む。
【００３１】
挿入部１０２は、ライトガイドファイバ１０３、レンズ２０１、ハーフミラー２０２、通常光撮像素子２０３、フィルタ２０４、特殊光撮像素子２０５を含み、撮像部を構成している。ここでレンズ２０１、ハーフミラー２０２、フィルタ２０４が、撮像部の光学系に相当し、通常光撮像素子２０３、特殊光撮像素子２０５が、撮像部の撮像素子に相当する。
【００３２】
制御装置９０は、通常光光源１０１（広義には光源部）、画像処理装置２１０、Ａ／Ｄ変換部２１１、出力部２１６、制御部２２１、外部Ｉ／Ｆ部２２２を含む。画像処理装置２１０は、画像取得部２１２、信頼度処理部２１３、領域抽出部２１４、種類判別部２１５、保存部２１７を含む。そしてＡ／Ｄ変換部２１１は、画像取得部２１２、信頼度処理部２１３、領域抽出部２１４、種類判別部２１５を介して出力部２１６へ接続している。保存部２１７は、種類判別部２１５と双方向に接続している。制御部２２１は、Ａ／Ｄ変換部２１１、画像取得部２１２、信頼度処理部２１３、領域抽出部２１４、種類判別部２１５、出力部２１６、保存部２１７と双方向に接続している。外部Ｉ／Ｆ部２２２は制御部２２１へ接続している。
【００３３】
挿入部１０２は、体内に挿入できるように湾曲が可能な細長いパイプ状になっており、通常光光源１０１からの光は湾曲可能なライトガイドファイバ１０３を経由して、被写体１００に照射される。挿入部１０２の先端部には、レンズ２０１が配置されており、被写体１００からの反射光はこのレンズ２０１を介して、ハーフミラー２０２により、二つの反射光に分離する。そして一つの反射光は通常光撮像素子２０３に入る。
【００３４】
この通常光撮像素子２０３は、通常光画像を形成するためのベイヤ配列の色フィルタを有する撮像素子である。本実施形態では、図５に示す分光特性を持つＲＧＢの色フィルタを有する撮像素子を用いる（Ｒ０（５８０ｎｍ〜７００ｎｍ）、Ｇ０（４８０ｎｍ〜６００ｎｍ）、Ｂ０（４００ｎｍ〜５００ｎｍ））。通常光撮像素子２０３は、光電変換により反射光を通常光アナログ画像信号へ変換する。
【００３５】
一方、ハーフミラー２０２からのもう一つの反射光は、フィルタ２０４を介して特殊光撮像素子２０５へ入る。このフィルタ２０４は、所定の狭帯域光のみを透過させる。本実施形態において、フィルタ２０４は図６に示す所定の狭帯域の透過率特性を有する（Ｇ１（５３０ｎｍ〜５５０ｎｍ）、Ｂ１（３９０ｎｍ〜４４５ｎｍ））。
【００３６】
この特殊光撮像素子２０５は、図７に示すように特殊光画像を形成するための市松状配列の２種類の色フィルタを有する撮像素子であり、フィルタ２０４からの狭帯域光を光電変換により特殊光アナログ画像信号（ＮＢＩ画像信号）へ変換する。内視鏡診断の分野では、このような狭帯域分光特性を有する光は、血液中のヘモグロビンに吸収されやすいため、粘膜表層の毛細血管、粘膜微細模様の強調表示を実現できる。ＮＢＩ画像信号は食道や大腸、胃などのがんの診断に効果が高い。
【００３７】
通常光撮像素子２０３からの通常光アナログ画像信号と、特殊光撮像素子２０５からの特殊光アナログ画像信号は、Ａ／Ｄ変換部２１１へ転送される。
【００３８】
Ａ／Ｄ変換部２１１は、通常光撮像素子２０３からの通常光アナログ画像信号と特殊光撮像素子２０５からの特殊光アナログ画像信号のＡ／Ｄ変換を行う。そしてＡ／Ｄ変換により得られた通常光デジタル画像信号（通常光デジタル画像データ）と特殊光デジタル画像信号（特殊光デジタル画像データ）を、画像取得部２１２へ転送する。
【００３９】
２．２ 画像取得部
図８に、画像取得部２１２の構成例を示す。画像取得部２１２は、通常光画像処理部３０１、特殊光画像処理部３０２を含む。Ａ／Ｄ変換部２１１は通常光画像処理部３０１及び特殊光画像処理部３０２へ接続している。通常光画像処理部３０１及び特殊光画像処理部３０２は信頼度処理部２１３へ接続している。制御部２２１は通常光画像処理部３０１及び特殊光画像処理部３０２と双方向に接続している。
【００４０】
通常光画像処理部３０１は、制御部２２１の制御に基づき、Ａ／Ｄ変換部２１１からの通常光デジタル画像信号（以下、通常光画像信号と呼ぶ）に対して画像処理を行う。本実施形態では、公知のベイヤ補間処理（ベイヤ画像信号から三板画像信号へ変換）、ホワイトバランス処理、カラーマネージメント処理、階調変換処理などを行う。通常光画像処理部３０１は、処理後のＲＧＢ信号からなる通常光画像信号（Ｒｃｈ，Ｇｃｈ，Ｂｃｈ）を信頼度処理部２１３へ転送する。
【００４１】
一方、特殊光画像処理部３０２は、制御部２２１の制御に基づき、Ａ／Ｄ変換部２１１からの特殊光デジタル画像信号（以下、特殊光画像信号と呼ぶ）に対して画像処理を行う。本実施形態では、まず、図７に示す市松状配列のＧ１及びＢ１の２種類の色フィルタを有する特殊光撮像素子２０５により生成された特殊光画像信号を用いて、欠落画素の補間処理を行う。具体的には、同種類のフィルタの欠落画素の周囲画素の平均信号値を算出し、信号値として欠落画素を補間する。例えば下式（１）を用いて、図７に示すＧ１（１，１）及びＢ１（２，１）を算出する。
【００４２】
Ｇ１（１，１）
＝{Ｇ１（１，０）＋Ｇ１（０，１）＋Ｇ１（２，１）＋Ｇ１（１，２）}／４
Ｂ１（２，１）
＝{Ｂ１（２，０）＋Ｂ１（１，１）＋Ｂ１（３，１）＋Ｂ１（２，２）}／４
・・・（１）
【００４３】
上記補間処理により全画素の２信号（Ｇ１，Ｂ１）の画像信号を生成する。次に、下式（２）を用いて、１画素あたり３信号のＮＢＩ特殊光画像（ＮＢＩ疑似カラー画像）を生成する。
【００４４】
Ｒｃｈ＿ｖ＝ｐ１＊Ｇ１
Ｇｃｈ＿ｖ＝ｐ２＊Ｂ１
Ｂｃｈ＿ｖ＝ｐ３＊Ｂ１ ・・・（２）
【００４５】
上式（２）において、Ｒｃｈ＿ｖはＮＢＩ特殊光画像のＲチャンネルの信号値（Ｒ画像データ）、Ｇｃｈ＿ｖはＮＢＩ特殊光画像のＧチャンネルの信号値（Ｇ画像データ）、Ｂｃｈ＿ｖはＮＢＩ特殊光画像のＢチャンネルの信号値（Ｂ画像データ）である。またＢ１は、上記補間処理後の全画素の２信号（Ｇ１、Ｂ１）の画像信号中のＢ１（狭帯域）画像の画素値（画素データ）である。Ｇ１は、上記補間処理後の全画素の２信号（Ｇ１、Ｂ１）の画像信号中のＧ１（狭帯域）画像の画素値である。またｐ１、ｐ２、ｐ３は所定係数である。
【００４６】
続いて、上記の３板のＮＢＩ特殊光画像信号に対して、ホワイトバランス処理、階調変換処理などを行う。そして処理後のＲＧＢ信号からなる特殊光画像信号（Ｒｃｈ＿ｖ，Ｇｃｈ＿ｖ，Ｂｃｈ＿ｖ）を信頼度処理部２１３へ転送する。
【００４７】
２．３ 信頼度処理部
図９に、信頼度処理部２１３の構成例を示す。信頼度処理部２１３（信頼度算出部、信頼度設定部）は、バッファ部４０１、分割部４０２、係数算出部４０３、信頼度判定部４０４、ＲＯＭ４０５（記憶部）を含む。画像取得部２１２は、バッファ部４０１、分割部４０２、係数算出部４０３、信頼度判定部４０４を介して領域抽出部２１４へ接続している。ＲＯＭ４０５は分割部４０２、係数算出部４０３、信頼度判定部４０４へ接続している。制御部２２１は、バッファ部４０１、分割部４０２、係数算出部４０３、信頼度判定部４０４及びＲＯＭ４０５と双方向に接続している。
【００４８】
一般的に、内視鏡画像により病変部／正常部（注目部／非注目部）を診断する場合に、被写体からの反射光の強度（被写体の明るさ）が強ければ、撮像素子により取得された画像中の被写体像は明るくなり、診断能力が高くなる（白とびの場合は除外）。逆に、被写体からの反射光の強度（被写体の明るさ）が弱ければ、撮像素子により取得された画像中の被写体像は暗くなり、診断能力も弱くなる。従って、光源からの照射光の強度を増強すれば、被写体からの反射光の強度も増強され、撮像素子により取得された画像中の被写体像は明るくなるため、診断能力が高くなる。また、撮像装置から被写体までの距離が長ければ長いほど、被写体からの反射光の強度は弱くなる。それが原因で画像も暗くなるため、診断能力は弱くなる。内視鏡画像において、被写体からの反射光の強弱は輝度信号の大きさに比例するため、本実施形態では、輝度信号を用いて信頼度を算出する構成になっている。
【００４９】
信頼度処理部２１３のバッファ部４０１は、画像取得部２１２からの通常光画像信号（通常光画像データ）及び特殊光画像信号（特殊光画像データ）を保存する。そして制御部２２１の制御に基づき、特殊光画像信号及び通常光画像信号を分割部４０２へ転送する。
【００５０】
分割部４０２は、制御部２２１の制御により、領域分割処理を行う。具体的には、ＲＯＭ４０５から読み出したサイズ情報で指定される所定サイズで、特殊光画像及び通常光画像を複数のブロック領域に分割する。例えば、特殊光画像及び通常光画像を、所定サイズの８×８（１６×１６、３２×３２なども可）の画素の矩形領域に分割する。そして分割部４０２は、分割した複数のブロック領域のＲＧＢ信号からなる特殊光画像信号及び通常光画像信号を係数算出部４０３へ転送する。なおブロック領域は、矩形領域には限定されず、矩形以外の形状の領域であってもよい。また、外部Ｉ／Ｆ部２２２を介して分割領域の形状をユーザが任意に指定できるようにしてもよい。更に、１画素を１ブロック領域としてもよい。
【００５１】
係数算出部４０３は、分割部４０２からの複数のブロック領域のＲＧＢ信号からなる特殊光画像信号あるいは通常光画像信号を用いて、信頼度算出用の係数を算出する。本実施形態では、ＲＧＢ信号から輝度信号を求める公知の算出式で、通常光画像信号を用いて画素ごとの輝度値を算出し、更にブロック領域ごとの輝度平均値Ｌａｖ（ｉ）を算出する。ここでｉは各ブロック領域を判別するために付したブロック領域番号である。この輝度平均値Ｌａｖ（ｉ）は、対応するブロック領域の輝度代表値となる。なお本実施形態では、通常光画像信号の輝度代表値を算出する構成となっているが、特殊光画像信号の輝度代表値を算出する構成にしてもよい。係数算出部４０３は、制御部２２１の制御に基づき、複数のブロック領域のＲＧＢ信号からなる特殊光画像信号、通常光画像信号と、複数のブロック領域の輝度代表値Ｌａｖ（ｉ）を、信頼度判定部４０４へ転送する。
【００５２】
信頼度判定部４０４は、係数算出部４０３からの複数のブロック領域の輝度代表値Ｌａｖ（ｉ）を用いて、各ブロック領域（ｉで指定される領域）の信頼度Ｓ（ｉ）を設定する。例えば、ＲＯＭ４０５から所定の信頼度用の輝度閾値ＳＴを読み込み、ブロック領域ごとの輝度代表値Ｌａｖ（ｉ）と大きさを比較する。そしてブロック領域の輝度代表値Ｌａｖ（ｉ）が輝度閾値ＳＴよりも大きい場合には、そのブロック領域の信頼度Ｓ（ｉ）を１に設定する。一方、ブロック領域の輝度代表値Ｌａｖ（ｉ）が輝度閾値ＳＴよりも小さい場合には、そのブロック領域の信頼度Ｓ（ｉ）を０に設定する。なお、１ブロック領域を１画素にする構成以外の場合には、各ブロック領域内の全ての画素に対して、ブロック領域の信頼度Ｓ（ｉ）を信頼度として付与する。信頼度判定部４０４は、制御部２２１の制御に基づき、信頼度Ｓ（ｉ）の情報と、複数のブロック領域のＲＧＢ信号からなる特殊光画像信号、通常光画像信号を、領域抽出部２１４へ転送する。
【００５３】
なお本実施形態では、ブロック領域の輝度代表値Ｌａｖ（ｉ）を用いて信頼度Ｓ（ｉ）を設定する構成となっているが、この構成に限定されず、以下のような変形実施も可能である。具体的には係数算出部４０３において、各ブロック領域内の各画素のＲ、Ｇ、Ｂ信号の平均値（Ｒａｖ，Ｇａｖ，Ｂａｖ）を算出する。そしてＲＧＢ信号から輝度、色差信号を求める公知の算出式で、各ブロック領域の輝度平均値Ｌａｖ（ｉ）と色差平均値ＣＲａｖ（ｉ）、ＣＢａｖ（ｉ）を算出する。続いて、色差平均値ＣＲａｖ（ｉ）、ＣＢａｖ（ｉ）を用いて、下式（３）により各ブロック領域の色相代表値Ｈ（ｉ）を算出する。
【００５４】
Ｈ（ｉ）＝ａｒｃｔａｎ{ＣＢａｖ（ｉ）／ＣＲａｖ（ｉ）} ・・・（３）
【００５５】
そして係数算出部４０３は、算出した複数のブロック領域の色相代表値Ｈ（ｉ）と、複数のブロック領域のＲＧＢ信号からなる特殊光画像信号及び通常光画像信号を、信頼度判定部４０４へ転送する。
【００５６】
すると信頼度判定部４０４は、ＲＯＭ４０５から所定の色差領域を代表する目標領域代表角度を取得する。内視鏡検診では、内臓、血液、血管を代表する赤色及び脂肪を代表する黄色が重要視される。このため信頼度判定部４０４は、図１０に示す赤色及び黄色を囲む目標領域の代表角度をＲＯＭ４０５から取得して、各ブロック領域の色相代表値Ｈ（ｉ）がこの目標領域に入るか否かを判断する。そしてブロック領域の色相代表値Ｈ（ｉ）が目標領域に入る場合には、そのブロック領域の信頼度Ｓ（ｉ）を１に設定する。一方、ブロック領域の色相代表値Ｈ（ｉ）が目標領域に入らない場合には、そのブロック領域の信頼度Ｓ（ｉ）を０に設定する。この場合に、各ブロック領域の色相代表値Ｈ（ｉ）及び輝度代表値Ｌａｖ（ｉ）の組み合わせで、各ブロック領域の信頼度Ｓ（ｉ）を設定してもよい。
【００５７】
また内視鏡画像において、均一な光で撮影しても、光学レンズの特性及びＣＣＤの配置構成により、撮影された画像の中央部が明るくなり、周辺部（周囲部）が暗くなる現象が発生する場合がある。この現象はシェーディングと呼ばれる。また、体内隆起物が画像の中央部に存在する場合にも、中央部が明るくなり、周辺部が暗くなる現象が発生する。このような場合には、各ブロック領域の位置情報（座標位置）に基づき、信頼度Ｓ（ｉ）を設定してもよい。例えば図１１に示すように、画像（第１画像）を２５個のブロック領域に分割した場合に、太い破線からなる矩形が囲む領域を中央部と想定する。そして中央部に位置するブロック領域（ＢＬ６，ＢＬ７，ＢＬ８，ＢＬ１１，ＢＬ１２，ＢＬ１３，ＢＬ１６，ＢＬ１７，ＢＬ１８）の信頼度Ｓ（ｉ）を１（高信頼度）に設定し、それ以外のブロック領域の信頼度Ｓ（ｉ）を０（低信頼度）に設定する。
【００５８】
一方、消化器の内視鏡検診において、観察する被写体の多くは空洞のような管空状であり、撮影された画像の中央部にその空洞形態（管空状の形態）が現れる場合が多い。この場合には、図１１において、太い破線からなる矩形に囲まれる中央部にある全てのブロック領域の信頼度Ｓ（ｉ）を０（低信頼度）に設定し、それ以外のブロック領域の信頼度Ｓ（ｉ）を１（高信頼度）に設定する。なお、外部Ｉ／Ｆ部２２２を介して信頼度Ｓ（ｉ）が１となるブロック領域をユーザが任意に指定できるようにしてもよい。また上述と同様に、１画素を１ブロック領域としてもよい。
【００５９】
更に、ブロック領域の信頼度Ｓ（ｉ）を自動的に設定する構成としてもよい。例えば、図１１に示す２５個のブロック領域の輝度平均値を算出し、全画像信号（全画素）の輝度平均値と比較する。そしてブロック領域の輝度平均値が全画像信号の輝度平均値よりも小さく、その差分が所定の閾値より大きい場合には、対応するブロック領域の信頼度Ｓ（ｉ）を０に設定する。一方、それ以外の場合には、対応するブロック領域の信頼度Ｓ（ｉ）を１に設定する。こうすることによって、実際の画像中の被写体像の明暗状況に応じて、自動的に信頼度を設定（算出）することが可能となる。
【００６０】
領域抽出部２１４は、制御部２２１の制御により、信頼度Ｓ（ｉ）の情報に基づいて、信頼度Ｓ（ｉ）＝１の画素あるいはブロック領域を高信頼度エリアと判定する。一方、信頼度Ｓ（ｉ）＝０の画素あるいはブロック領域を低信頼度エリアと判定する。そして領域抽出部２１４は、高信頼度／低信頼度エリアの情報（広義には信頼度情報）と、複数のブロック領域のＲＧＢ信号からなる特殊光画像信号及び通常光画像信号を、種類判別部２１５へ転送する。
【００６１】
２．４ 種類判別部
図１２に種類判別部２１５の構成例を示す。種類判別部２１５は、エリア選定部５００、第１特徴量算出部５０１、第１部位判定部５０２、第２特徴量算出部５０３、マッチング部５０４、第２部位判定部５０５、合成部５０６を含む。
【００６２】
領域抽出部２１４は、エリア選定部５００を介して第１特徴量算出部５０１及び第２特徴量算出部５０３へ接続している。第１特徴量算出部５０１は、第１部位判定部５０２及び合成部５０６を介して出力部２１６へ接続している。第２特徴量算出部５０３は、マッチング部５０４及び第２部位判定部５０５を介して合成部５０６へ接続している。保存部２１７はマッチング部５０４及び第２部位判定部５０５へ接続している。制御部２２１は、エリア選定部５００、第１特徴量算出部５０１、第１部位判定部５０２、第２特徴量算出部５０３、マッチング部５０４、第２部位判定部５０５及び合成部５０６と双方向に接続にしている。
【００６３】
エリア選定部５００は、図１３のＡ１、Ａ２に示すように高信頼度エリアの通常光・特殊光画像の信号を第１特徴量算出部５０１へ転送し、低信頼度エリアの通常光・特殊光画像の信号を第２特徴量算出部５０３へ転送する。具体的にはエリア選定部５００は、制御部２２１の制御により、領域抽出部２１４からの高信頼度／低信頼度エリアの情報（信頼度情報）に基づき高信頼度エリアと判定されたブロック領域に対応するＲＧＢ信号からなる特殊光画像信号及び通常光画像信号を、第１特徴量算出部５０１へ転送する。一方、低信頼度エリアと判定されたブロック領域に対応するＲＧＢ信号からなる特殊光画像信号及び通常光画像信号を、第２特徴量算出部５０３へ転送する。
【００６４】
第１特徴量算出部５０１は、図１３のＡ３に示すように、特殊光画像を用いて高信頼度エリアでの特徴量（例えば色相値）を算出する。具体的には、高信頼度エリアと判定されたブロック領域ごとに、対応するＲＧＢ信号からなる特殊光画像信号を用いて、ＲＧＢ信号から輝度、色差信号を求める公知の算出式で、各ブロック領域内の各画素の輝度値Ｌ（ｉ，ｍ，ｎ）、色差値ＣＲ（ｉ，ｍ，ｎ）、ＣＢ（ｉ，ｍ，ｎ）を算出する。ここでｉは各ブロック領域を判別するために付したブロック領域番号であり、ｍはブロック領域内にある画素の横軸座標であり、ｎはブロック領域内にある画素の縦軸座標である。続いて第１特徴量算出部５０１は、色差値ＣＲ（ｉ，ｍ，ｎ）、ＣＢ（ｉ，ｍ，ｎ）を用いて、ブロック領域中の画素ごとの色相値Ｈ（ｉ，ｍ，ｎ）を特徴量として下式（４）により算出する。
【００６５】
Ｈ（ｉ，ｍ，ｎ）＝ａｒｃｔａｎ{ＣＢ（ｉ，ｍ，ｎ）／ＣＲ（ｉ，ｍ，ｎ）}
・・・（４）
【００６６】
そして第１特徴量算出部５０１は、図１３のＡ４に示すように、特徴量、信頼度情報、通常光・特殊光画像の信号を、第１部位判定部５０２へ転送する。具体的には、算出した複数のブロック領域の各画素の特徴量である色相値Ｈ（ｉ，ｍ，ｎ）と、複数のブロック領域のＲＧＢ信号からなる特殊光画像信号及び通常光画像信号と、高信頼度／低信頼度エリアの情報を、第１部位判定部５０２へ転送する。
【００６７】
第１部位判定部５０２は、図１３のＡ５に示すように特徴量を用いて高信頼度エリアでの注目部／非注目部の判定を行う。具体的には第１部位判定部５０２は、制御部２２１の制御により、転送されて来た各画素の特徴量である色相値Ｈ（ｉ，ｍ，ｎ）を用いて、病変部／正常部を判定する。本実施形態では、特殊光画像（ＮＢＩ画像）である狭帯域画像において、扁平上皮癌などの病変部が褐色の領域として現れるため、特徴量として色相Ｈを用いて病変部を検出している。本実施形態では、各ブロック領域の特殊光画像信号において、各画素の色相値Ｈ（ｉ，ｍ，ｎ）を用いて閾値処理を行い、病変部に対応する画素を検出する。ここでは、褐色の領域を病変部として検出するため、例えば色相値Ｈ（ｉ，ｍ，ｎ）が−７５〜−１０５の範囲にある画素を病変部（注目部）に対応する画素として検出する。また、それ以外の画素は正常部（非注目部）に対応する画素として認定する。そして第１部位判定部５０２は、Ａ６に示すように処理後の各画素の病変部／正常部の情報と、高信頼度エリアに所属する複数ブロック領域のＲＧＢ信号からなる通常光画像信号及び特殊光画像信号を、合成部５０６へ転送する。
【００６８】
第２特徴量算出部５０３は、Ａ７に示すように特殊光画像を用いて低信頼度エリアでの特徴量を算出する。具体的には第２特徴量算出部５０３は、制御部２２１の制御に基づき、低信頼度エリアと判定されたブロック領域ごとに、対応するＲＧＢ信号からなる特殊光画像信号を用いて、第１特徴量算出部５０１の処理と同様に、各ブロック領域内の各画素の色相値Ｈ（ｉ，ｍ，ｎ）を算出する。そして第２特徴量算出部５０３は、Ａ８に示すように、複数のブロック領域のＲＧＢ信号からなる特殊光画像信号及び通常光画像信号と、各画素の色相値Ｈ（ｉ，ｍ，ｎ）をマッチング部５０４へ転送する。
【００６９】
マッチング部５０４は、Ａ９に示すように保存部２１７から過去フレームの画像を読み出し、Ａ１０に示すように現在フレームの各ブロック領域の画像とのマッチング処理を行う。具体的にはマッチング部５０４は、制御部２２１の制御に基づき、保存部２１７に保存されている１枚あるいは１枚以上の過去フレームに対応するＲＧＢ信号からなる特殊光画像信号、通常光画像信号を抽出し、第２特徴量算出部５０３からの現在フレームの低信頼度エリアに認定されている各ブロック領域の画像信号とのマッチング処理を行う。
【００７０】
本実施形態では、図１４に示すように、低信頼度エリアに設定されている現在フレームの全てのブロック領域の画像信号に対し、ラスタスキャン順で公知のテンプレートマッチング処理を行う。具体的には、第２特徴量算出部５０３からの現在フレームの各ブロック領域に対応する通常光画像信号Ｂ（ｉ）をテンプレートとして、過去フレームに対応する通常光画像信号Ｒｅｆの一番左上の位置から右方向にラスタスキャン順に移動して、画像の類似度を調べる処理を行う。この場合に、テンプレートとなる通常光画像信号Ｂ（ｉ）、及びラスタスキャン順に移動して類似度を調べる処理中に形成した複数枚の同一ブロックサイズを有する過去フレームの通常光画像信号Ｃ（ｊ）（候補ブロック領域と定義。ｊは候補ブロック領域の番号）を用いて、二つのブロック領域の画像信号の類似度を算出してマッチング処理を行う。本実施形態では、下式（５）、（６）に示すようにＳＳＤ（Sum of Squared Differece）やＳＡＤ（Sum of Absolute Difference）を利用したマッチング処理を行う。
【数１】
【００７１】
上式（５）、（６）では、ブロック領域の大きさをＭ×Ｎとし、テンプレートのブロック領域内の各画素位置（ｋ，ｌ）における画素値をＢ（ｉ，ｋ，ｌ）とし、候補ブロック領域の画素値をＣ（ｊ，ｋ，ｌ）としている。
【００７２】
本実施形態では、画素値Ｂ（ｉ，ｋ，ｌ）及びＣ（ｊ，ｋ，ｌ）は画素ごとの輝度値として設定する。その輝度値は、公知の算出式によりＲＧＢ信号から算出される。ＳＳＤやＳＡＤの値は、テンプレートとなるＢ（ｉ）が対応する候補ブロック領域Ｃ（ｊ）と完全一致したときに０になる。本実施形態では、まず、保存部２１７からの過去フレームの通常光画像信号に対して、テンプレートとなるＢ（ｉ）を用いて、画素ごとにラスタスキャンしながら全てのＳＡＤやＳＳＤの値を算出し、その中から最も小さいＳＡＤやＳＳＤの値に対応する過去フレームの注目ブロック領域を抽出する。そして抽出した注目ブロック領域に対応するＳＡＤやＳＳＤの値が所定の類似度閾値よりも小さい場合に、マッチング成功と判断し、そのときの注目ブロック領域がマッチングブロック領域となる。
【００７３】
そしてテンプレートとなる現在フレームの全てのブロック領域のマッチング処理が完了した後、マッチング部５０４は、図１３のＡ１１に示すように、マッチング情報と、低信頼度エリアと判定された複数のブロック領域のＲＧＢ信号からなる特殊光画像信号及び通常光画像信号と、各画素の色相値Ｈ（ｉ，ｍ，ｎ）を、第２部位判定部５０５へ転送する。
【００７４】
なお、内視鏡検診時の照明変動や対象物の表示位置の違いなどが原因で画像信号の明るさ（輝度信号）が変動するリスクが存在するため、マッチングの精度に影響を与える。このようなリスクを低減するため、下式（７）（８）によりＳＳＤやＳＡＤの値を算出してもよい。
【数２】
【００７５】
上式（７）、（８）において、ＡＶ（Ｂ（ｉ））はテンプレートのブロック領域の輝度平均値であり、ＡＶ（Ｃ（ｊ））は候補ブロック領域Ｃ（ｊ）の輝度平均値であり、Ｑ（j）は輝度補正値である。
【００７６】
第２部位判定部５０５は、図１３のＡ１２、Ａ１３に示すように、現在フレームの画像の特徴量と、過去フレームの画像の注目部情報及び信頼度情報を用いて、現在フレームの画像の低信頼度エリアでの注目部／非注目部の判定を行う。
【００７７】
具体的には第２部位判定部５０５は、制御部２２１の制御により、マッチング情報に基づきマッチング成功と判断されている現在フレームのブロック領域に対応する各画素の色相値Ｈ（ｉ，ｍ，ｎ）を用いて、第１部位判定部５０２と同様に、褐色の領域（扁平上皮癌などの病変部が褐色）を病変部（注目部）として検出する。例えば現在フレームのブロック領域の特殊光画像信号の色相値Ｈ（ｉ，ｍ，ｎ）が−７５〜−１０５の範囲にある画素を、病変候補画素（注目候補画素）として抽出する。
【００７８】
そして第２部位判定部５０５は、抽出された病変候補画素が低信頼度エリアに存在する場合、Ａ１２に示すようにブロック領域に対応する過去フレームのマッチングブロック領域（候補ブロック領域）の病変部／正常部の情報（注目部情報）と、高信頼度／低信頼度エリアの情報（信頼度情報）を、保存部２１７から読み出す。そして、抽出された病変候補画素に対応する過去フレームのマッチングブロック領域の画素が、高信頼度エリアに存在し病変部であると判断される場合には、その病変候補画素の信頼度を高信頼度エリアに存在することと設定し、その病変候補画素（注目候補画素）を病変部（注目部）と判断する。一方、それ以外の画素は、正常部（非注目部）に対応する画素であると判断する。
【００７９】
そして第２部位判定部５０５は、低信頼度エリアの全てのブロック領域に対する判定処理が終了した後、Ａ１４に示すように処理後の各画素の病変部／正常部の情報（注目部情報）、高信頼度／低信頼度エリアの情報（信頼度情報）と、複数ブロック領域のＲＧＢ信号からなる通常光画像信号及び特殊光画像信号を、合成部５０６へ転送する。
【００８０】
合成部５０６は、Ａ１５に示すように、注目部情報、信頼度情報を、現在フレームの画像の全画素に対応づける合成処理を行う。具体的には、制御部２２１の制御に基づき、第１部位判定部５０２及び第２部位判定部５０５からの各画素の病変部／正常部の情報、高信頼度／低信頼度エリアの情報を用いて、現在フレームの全画素の病変部／正常部の情報、高信頼度／低信頼度エリアの情報を、画素位置に対応して合成する。本実施形態では、診断しやすくするため、病変部／正常部の情報に基づき、特殊光画像信号あるいは通常光画像信号に対して、画素ごとに病変部／正常部を判断する。注目画素が病変部の場合には、その画素の値を所定の警告色となるように変更する。
【００８１】
そして合成部５０６は、全ての処理が完了後、通常光画像信号あるいは特殊光画像信号を、表示装置などの出力部２１６へ転送する。本実施形態では、表示装置に表示される通常光画像あるいは特殊光画像において、病変部と診断される部位の色は所定の警告色として表示されるため、医者にとって診断しやすくなる。また合成部５０６は、Ａ１６に示すように、通常光画像信号あるいは特殊光画像信号と、各画素の病変部／正常部の情報、高信頼度／低信頼度エリアの情報を、保存部２１７へ転送して保存する。
【００８２】
このように本実施形態では、過去フレームの高信頼度エリアの画像信号の病変部／正常部の情報を、現在フレームの低信頼度エリアの画像信号の病変部／正常部の判定に用いることで、リアルタイムでの内視鏡診断能力を高めている。
【００８３】
なお、本実施形態では、狭帯域の透過率特性（Ｇ１（５３０ｎｍ〜５５０ｎｍ）、Ｂ１（３９０ｎｍ〜４４５ｎｍ））を有するフィルタを用いて、血液中のヘモグロビンに吸収される波長の波長帯域に対応するＮＢＩの特殊光画像を用いる場合について説明したが、本実施形態はこれには限定されない。例えば後述するように、ＡＦＩやＩＲＩの特殊光画像を用いる構成にしてもよい。
【００８４】
また、本実施形態では、通常光画像及び特殊光画像を併用して病変部／正常部を判定しているが、通常光画像あるいは特殊光画像の一方を用いて判定する構成としてもよい。
【００８５】
２．５ ソフトウェア処理
以上では、本実施形態の画像処理装置２１０を構成する各部をハードウェアで構成する場合について主に説明したが、本実施形態はこれに限定されるものではない。例えば、カプセル型内視鏡などの撮像装置を用いて予め取得された画像に対して、ＣＰＵが各部の処理を行う構成とし、ＣＰＵがプログラムを実行することによってソフトウェアとして実現してもよい。或いは、各部が行う処理の一部をソフトウェアで構成することとしてもよい。具体的には、Ａ／Ｄ変換後の画像信号を未処理のままのロー（ＲＡＷ）データとしてメモリカードなどの記録媒体に記録するとともに、制御部２２１からの撮像時の情報（ＡＧＣ感度やホワイトバランス係数など）をヘッダ情報として記録媒体に記録しておく。そして、別途のソフトウェアである画像信号処理プログラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み取らせて、処理を実行する。なお、撮像装置からコンピュータへの各種情報の転送は、上述のように記録媒体を介して行う手法には限定されず、通信回線などを介して行うようにしてもよい。
【００８６】
本実施形態の画像処理装置２１０の各部が行う処理をソフトウェアとして実現する場合には、ワークステーションやパソコン等の公知のコンピュータシステムを画像処理装置として用いることができる。そして、画像処理装置２１０の各部が行う処理を実現するためのプログラム（画像処理プログラム）を予め用意し、この画像処理プログラムをコンピュータシステムのＣＰＵが実行することによって実現できる。
【００８７】
図１５は、本変形例におけるコンピュータシステム９００の構成を示すシステム構成図であり、図１６は、このコンピュータシステム９００における本体部９１０の構成を示すブロック図である。図１５に示すように、コンピュータシステム９００は、本体部９１０と、本体部９１０からの指示によって表示画面９２１に画像等の情報を表示するためのディスプレイ９２０と、このコンピュータシステム９００に種々の情報を入力するためのキーボード９３０と、ディスプレイ９２０の表示画面９２１上の任意の位置を指定するためのマウス９４０とを備える。
【００８８】
また、このコンピュータシステム９００における本体部９１０は、図１６に示すように、ＣＰＵ９１１と、ＲＡＭ９１２と、ＲＯＭ９１３と、ハードディスクドライブ（ＨＤＤ）９１４と、ＣＤ−ＲＯＭ９６０を受け入れるＣＤ−ＲＯＭドライブ９１５と、ＵＳＢメモリ９７０を着脱可能に接続するＵＳＢポート９１６と、ディスプレイ９２０、キーボード９３０及びマウス９４０を接続するＩ／Ｏインターフェース９１７と、ローカルエリアネットワーク又は広域エリアネットワーク（ＬＡＮ／ＷＡＮ）Ｎ１に接続するためのＬＡＮインターフェース９１８を備える。
【００８９】
更に、このコンピュータシステム９００には、インターネット等の公衆回線Ｎ３に接続するためのモデム９５０が接続されるとともに、ＬＡＮインターフェース９１８及びローカルエリアネットワーク又は広域エリアネットワークＮ１を介して、他のコンピュータシステムであるパソコン（ＰＣ）９８１、サーバ９８２、プリンタ９８３等が接続される。
【００９０】
そして、このコンピュータシステム９００は、所定の記録媒体に記録された画像処理プログラム（例えば図１７〜図１９の処理を実現するプログラム）を参照して、後述する処理手順を実現するための画像処理プログラムを読み出して実行することで画像処理装置を実現する。ここで所定の記録媒体とは、可搬用の物理媒体、固定用の物理媒体、或いは通信媒体等であり、コンピュータシステム９００によって読み取り可能な画像処理プログラムを記録するあらゆる記録媒体（記憶媒体）を含む。可搬用の物理媒体は、例えばＣＤ−ＲＯＭ９６０やＵＳＢメモリ９７０の他、ＭＯディスクやＤＶＤディスク、フレキシブルディスク（ＦＤ）、光磁気ディスク、ＩＣカード等である。固定用の物理媒体は、コンピュータシステム９００の内外に備えられるＨＤＤ９１４やＲＡＭ９１２、ＲＯＭ９１３等である。通信媒体は、モデム９５０を介して接続される公衆回線Ｎ３や、他のコンピュータシステム（ＰＣ）９８１又はサーバ９８２が接続されるローカルエリアネットワーク又は広域エリアネットワークＮ１等のように、プログラムの送信に際して短期的にプログラムを記憶する媒体である。
【００９１】
このように画像処理プログラムは、可搬用の物理媒体、固定用の物理媒体、通信媒体等の記録媒体にコンピュータ読み取り可能に記録されるものであり、コンピュータシステム９００は、このような記録媒体から画像処理プログラムを読み出して実行することで画像処理装置を実現する。なお、画像処理プログラムは、コンピュータシステム９００により実行される場合に限定されるものではなく、他のコンピュータシステム（ＰＣ）９８１又はサーバ９８２が画像処理プログラムを実行する場合や、これらが協働して画像処理プログラムを実行するような場合にも、本発明を同様に適用することができる。
【００９２】
各部が行う処理の一部をソフトウェアで構成する場合の一例として、あらかじめ取得された画像に対して、画像処理装置２１０の処理をソフトウェアで実現する場合の処理手順を、図１７〜図１９のフローチャートを用いて説明する。
【００９３】
図１７は、本実施形態における画像信号処理プログラムの全体的な処理を示すフローチャートである。
【００９４】
この処理を開始すると、まずステップＳ１にて、通常光画像信号及び特殊光画像信号のローデータやヘッダ情報などを読み込むと共に、画像信号処理プログラムが予め備えている階調特性係数などの情報も読み込んで、ステップＳ２へ進む。
【００９５】
次に、ステップＳ２にて、通常光画像信号に対して、公知のベイヤ補間処理（ベイヤ画像信号から三板画像信号への変換）、ホワイトバランス処理、カラーマネージメント処理、階調変換処理などを行う。特殊光画像が図７に示す市松状配列の構成となっているため、上述の式（１）、（２）に基づき補間処理、ホワイトバランス処理、階調変換処理などを行う。処理終了後、ステップＳ３へ進む。以上は図４の画像取得部２１２の処理に相当する。
【００９６】
続いて、ステップＳ３にて、通常光画像信号あるいは特殊光画像信号から信頼度を算出し、ステップＳ４へ進む。これは、図４の信頼度処理部２１３の処理に相当する（詳細は後述する）。次に、ステップＳ４にて、信頼度情報に基づき、通常光画像あるいは特殊光画像から高信頼度エリア／低信頼度エリアを判定し、ステップＳ５へ進む。これは図４の領域抽出部２１４の処理に相当する。
【００９７】
そして、ステップＳ５にて高信頼度エリアの画像信号に対して病変部／正常部を検出する。一方、低信頼度エリアの画像信号については、メモリから過去のフレームの画像信号の高信頼度／低信頼度エリアの情報及び病変部／正常部の情報を読み込んで、病変部／正常部を検出する（詳細は後述する）。処理終了後、通常光画像信号、特殊光画像信号、高信頼度／低信頼度エリアの情報及び病変部／正常部の情報を、過去画像信号及び情報としてメモリに保存する。以上は図４の種類判別部２１５の処理に相当する。
【００９８】
図１８は、図１７のステップＳ３における信頼度取得処理の詳細を示すフローチャートである。
【００９９】
この処理を開始すると、まず、ステップＳ１１にて、メモリから読み込んだ特殊光画像及び通常光画像を、複数のブロック領域（例えば８×８画素のサイズの領域）に分割し、ステップＳ１２へ進む。これは、図９の分割部４０２の処理に相当する。
【０１００】
続いて、ステップＳ１２にて、ＲＧＢ信号から輝度信号を求める公知の算出式で、通常光画像信号を用いて各画素の輝度値を算出し、ブロック領域内の画素の輝度平均値Ｌａｖ（ｉ）を算出する。この輝度平均値Ｌａｖ（ｉ）は、対応するブロック領域の輝度代表値とする。処理終了後、ステップＳ１３へ進む。以上は図９の係数算出部４０３の処理に相当する。
【０１０１】
次に、ステップＳ１３にて、複数のブロック領域の輝度代表値Ｌａｖ（ｉ）を用いて各ブロック領域の信頼度Ｓ（ｉ）を設定する。例えば、ＲＯＭ４０５から所定の輝度閾値ＳＴを読み込み、各ブロック領域の輝度代表値Ｌａｖ（ｉ）と比較する。ブロック領域の輝度代表値Ｌａｖ（ｉ）が輝度閾値ＳＴよりも大きい場合には、そのブロック領域の信頼度Ｓ（ｉ）を１に設定する。一方、ブロック領域の輝度代表値Ｌａｖ（ｉ）が輝度閾値ＳＴよりも小さい場合には、そのブロック領域の信頼度Ｓ（ｉ）を０に設定する。処理終了後、図１７に示した処理へ復帰する。以上は図９の信頼度判定部４０４の処理に相当する。
【０１０２】
図１９は、図１７のステップＳ５における種類判別処理の詳細を示すフローチャートである。
【０１０３】
この処理を開始すると、まず、ステップＳ２１にて、高信頼度／低信頼度エリアの情報に基づき、高信頼度エリアと判定されたブロック領域を選出して、ステップＳ２２へ進む。一方、低信頼度エリアと判定されたブロック領域を選出して、ステップＳ２４へ進む。これは図１２のエリア選定部５００の処理に相当する。
【０１０４】
次に、ステップＳ２２にて、高信頼度エリアと判定されたブロック領域ごとに、対応するＲＧＢ信号からなる特殊光画像信号を用いて、ＲＧＢ信号から輝度、色差信号を求める公知の算出式で、各ブロック領域内の各画素の輝度値Ｌ（ｉ，ｍ，ｎ）、色差値ＣＲ（ｉ，ｍ，ｎ）、ＣＢ（ｉ，ｍ，ｎ）を算出する。続いて、色差値ＣＲ（ｉ，ｍ，ｎ）、ＣＢ（ｉ，ｍ，ｎ）を用いて、上述の式（４）により、各ブロック領域内の各画素の色相値Ｈ（ｉ，ｍ，ｎ）を特徴量として算出する。処理終了後、ステップＳ２３へ進む。以上は図１２の第１特徴量算出部５０１の処理に相当する。
【０１０５】
そして、ステップＳ２３にて、色相値Ｈ（ｉ，ｍ，ｎ）を用いて病変部／正常部を判定して、ステップＳ２７へ進む。これは、図１２の第１部位判定部５０２の処理に相当する。一方、ステップＳ２４にて、低信頼度エリアと判定されたブロック領域ごとに、対応するＲＧＢ信号からなる特殊光画像信号を用いて、ステップＳ２２の処理と同様に、各ブロック領域の各画素の色相値Ｈ（ｉ，ｍ，ｎ）を算出し、ステップＳ２５へ進む。これは、図１２の第２特徴量算出部５０３の処理に相当する。
【０１０６】
続いて、ステップＳ２５にて、メモリから、保存されている１枚あるいは１枚以上の過去フレームに対応するＲＧＢ信号からなる特殊光画像信号、通常光画像信号を読み出して、現在フレームの低信頼度エリアに認定されている各ブロック領域の画像信号とのマッチング処理を行う。ここでは図１４に示すように、低信頼度エリアに認定されている現在フレームの全てのブロック領域の画像信号に対し、ラスタスキャン順に移動して類似度を調べることで公知のテンプレートマッチング処理を行う。処理終了後、ステップＳ２６へ進む。以上は、図１２のマッチング部５０４の処理に相当する。
【０１０７】
次に、ステップＳ２６にて、マッチング情報に基づきマッチング成功と判断されている現在フレームのブロック領域に対応する各画素の色相値Ｈ（ｉ，ｍ，ｎ）を用いて、褐色の領域（扁平上皮癌などの病変部が褐色）を病変部として検出する。次に、抽出した画素において、対応する過去フレームのマッチングブロック領域の病変部／正常部の情報と、高信頼度／低信頼度エリアの情報を、メモリから読み出す。そして、抽出した病変候補画素に対応する過去フレームの候補領域中の画素は高信頼度エリアに存在し病変部と判断されている場合は、病変候補画素の信頼度を高信頼度エリアに存在することと設定し、その画素を病変部と判断する。一方、それ以外の画素は正常部に対応する画素として認定する。そして処理終了後、ステップＳ２７へ進む。以上は図１２の第２部位判別部５０５の処理に相当する。
【０１０８】
最後に、ステップＳ２７にて、ステップＳ２３及びステップＳ２６からの画素ごとの病変部／正常部の情報、高信頼度／低信頼度エリアの情報を用いて、現在フレームの全画素の病変部／正常部の情報、高信頼度／低信頼度エリアの情報を、画素位置に対応して合成する。処理終了後、図１７に示した処理へ復帰する。以上は図１２の合成部５０６の処理に相当する。
【０１０９】
２．６ 本実施形態の手法
次に本実施形態の手法及び基本的な構成についてまとめる。図４に示すように本実施形態の画像処理装置２１０は、画像を取得する画像取得部２１２と、信頼度処理部２１３と、種類判別部２１５を含む。信頼度処理部２１３は、取得された画像上の被写体の種類判別についての信頼度を取得（算出、設定）する処理を行う。即ち、判別結果の確からしさを定める信頼度を取得する。また種類判別部２１５は被写体の種類判別処理を行う。例えば画像に映る被写体が、病変部等の注目部であるのか、正常部等の非注目部であるかを判別する。
【０１１０】
そして画像取得部２１２は、図１（Ａ）〜図１（Ｃ）で説明したように、第１画像（ＩＭ１）と、第１画像とは取得フレーム（取得タイミング）が異なる第２画像（ＩＭ２）を取得する。例えば第１画像は、現在のフレームの画像であり、第２画像は過去のフレームの画像である。或いは後述するように、第１画像が過去のフレームの画像であり、第２画像が現在のフレームの画像であってもよい。そして種類判別部２１５は、第１画像の被写体の種類判別処理に、第２画像の情報を用いるか否かを、第１画像において取得された信頼度（信頼度情報）に基づいて判断する。例えば第１画像の各領域での画像の信頼度の高低に応じて、第１画像の被写体の種類判別処理に第２画像の情報を用いたり、用いなかったりする。具体的には、第１画像において暗い画像の領域は、信頼度が低い領域であると判断し、被写体の種類判別に第２画像の情報を用いるようにする。このようにすれば、第１画像において信頼度が低い領域であっても、第２画像の情報を流用して被写体の種類を判別できるため、種類判別の精度や信頼性を向上できる。
【０１１１】
例えば図２（Ａ）、図２（Ｂ）に示すように、信頼度処理部２１３は、信頼度が高いエリアを高信頼度エリアに設定し、高信頼度エリアよりも信頼度が低いエリアを低信頼度エリアに設定する。例えば基準値（閾値）よりも信頼度が高いエリアが高信頼度エリアになり、基準値よりも信頼度が低いエリアが低信頼度エリアになる。
【０１１２】
そして種類判別部２１５は、第１画像の低信頼度エリアでの被写体の種類判別処理を、第２画像の情報を用いて行う。例えば図２（Ａ）において、画像の輝度が低い周辺部の低信頼度エリアでは、第２画像の情報（注目部情報、信頼度情報）を用いて被写体の種類を判別する。具体的には図３に示すように、種類判別部２１５は、第１画像の低信頼度エリアでの被写体の種類判別処理を、第２画像の高信頼度エリアでの情報を用いて行う。例えば第１画像の周辺部の低信頼度エリアに存在する被写体については、第２画像の中央部の高信頼度エリアでの情報を用いて、その種類判別を行う。このようにすれば、第１画像において被写体が低信頼度エリアに位置していた場合にも、その被写体が、第２画像においては高信頼度エリアに位置していた場合には、高信頼度エリアに位置していた時に得られた情報を用いて、その被写体が病変部であるのか正常部であるのかを判断できる。従って、被写体の種類判別の精度や信頼性を向上できる。
【０１１３】
また図１３のＡ３で説明したように、種類判別部２１５は、第１画像の高信頼度エリアでの被写体の種類判別処理については、第１画像の情報を用いて行う。例えば輝度が明るい高信頼度エリアでは、第２画像の情報を用いずに、例えば第１画像の情報だけを用いて種類判別を行う。このようにすれば、高信頼度エリアでの種類判別については、第２画像の情報を流用しなくても済むようになるため、処理負荷の軽減や処理の簡素化を図れる。
【０１１４】
また図１２に示すように種類判別部２１５は合成部５０６を含む。そして図１３のＡ６、Ａ１４、Ａ１５に示すように、この合成部５０６は、第１画像を用いて行われた高信頼度エリアでの種類判別処理の結果（高信頼度エリアでの注目部情報や信頼度情報）と、第２画像を用いて行われた低信頼度エリアでの種類判別処理の結果（高信頼度エリアでの注目部情報や信頼度情報）を合成する。具体的には、種類判別処理の結果である注目部情報や信頼度情報を、第１画像の全ての画素に対応づける処理を行う。このようにすれば、高信頼度エリアと低信頼度エリアに分けて処理を行った場合にも、これらの各エリアでの種類判別の結果を合成することで、第１画像の全ての画素での情報を取得できるようになる。
【０１１５】
また図１３のＡ１６に示すように、合成部５０６は、注目部を判別するための注目部情報と、信頼度を判別するための信頼度情報を、第１画像の各画素に対応づけて保存部２１７に保存する。このようにすることで、保存された注目部情報や信頼度情報を、それ以降の画像処理に利用することが可能になる。ここで、注目部情報は、処理対象となる画素や領域が、注目部（病変部）なのか、非注目部（正常部）なのかを判別するための情報である。また信頼度情報は、例えば処理対象となる画素や領域が、高信頼度エリアに属するのか（Ｓ（ｉ）＝１）、低信頼度エリアに属するのか（Ｓ（ｉ）＝０）を判別するための情報である。
【０１１６】
また図１３のＡ１３に示すように、種類判別部２１５は、第１画像の低信頼度エリアでの被写体の種類判別処理を、第１画像の情報と第２画像の情報の両方を用いて行ってもよい。例えば第１画像での各画素の特徴量と、第２画像での注目部情報や信頼度情報を用いて、被写体の種類判別を行う。このようにすれば、例えば第１画像においても、その特徴量から病変部である可能性が高く、第２画像においても、注目部情報等から病変部である蓋然性が高い画素を、病変部に対応する画素であると判定できるようになり、種類判別の精度や信頼性を更に向上できる。
【０１１７】
また図１３のＡ１２、Ａ１３に示すように、種類判別部２１５は、第１画像の低信頼度エリアでの被写体の種類判別処理を、第２画像の注目部情報と信頼度情報を用いて行ってもよい。このようにすれば、保存部２１７に保存された注目部情報（病変部／正常部の情報）や信頼度情報（高信頼度／低信頼度エリアの情報）を有効利用して、被写体の種類判別を実現できるようになる。
【０１１８】
また図３で説明したように、種類判別部２１５は、第１画像において被写体の種類判別処理が行われる処理領域が、低信頼度エリアである場合に、処理領域に対応する第２画像の対応処理領域での情報に基づいて、第１画像の処理領域での被写体の種類判別処理を行う。例えば種類判別部２１５は、処理領域の画像と第２画像とのマッチング処理を行うことで、処理領域に対応する対応処理領域を抽出する。
【０１１９】
ここで処理領域は、例えば図３のブロック領域ＢＬであり、対応処理領域はマッチングブロック領域ＭＢＬである。図１４で説明したように種類判別部２１５は、処理領域であるブロック領域ＢＬの画像と、第２画像とのマッチング処理を行うことで、対応処理領域であるマッチングブロック領域ＭＢＬを抽出する。
【０１２０】
そして図３では、処理領域であるブロック領域ＢＬが、低信頼度エリアに属している。従って種類判別部２１５は、対応処理領域であるマッチングブロック領域ＭＢＬでの情報（注目部情報、信頼度情報）を用いて、第１画像のブロック領域ＢＬでの被写体の種類判別処理を行う。こうすることで、ブロック領域ＢＬでの種類判別に、マッチングブロック領域ＭＢＬでの情報を流用できるようになる。
【０１２１】
この場合に、図１３のＡ１３等で説明したように、種類判別部２１５は、第１画像の処理領域（ＢＬ）での画素の特徴量（色相等）に基づいて注目候補画素（病変候補画素）を抽出する。そして抽出された注目候補画素が注目画素（病変画素）であるか否かを、第２画像の対応処理領域（ＭＢＬ）での情報に基づいて判断する。具体的には、対応処理領域での情報である注目部情報や信頼度情報に基づいて、注目候補画素が注目画素であるか否かを判断する。このようにすれば、低信頼度エリアについては、第１画像の情報（特徴量）と第２画像の情報（注目部情報、信頼度情報）の両方を用いて、被写体の種類判別が行われるようになるため、より信頼性の高い種類判別を実現できる。
【０１２２】
また図９に示す信頼度処理部２１３は、第１画像の被写体像の明るさ情報、第１画像の被写体像の色情報、及び第１画像を撮像した撮像部（撮像素子、光学系）と被写体との間の距離情報の少なくとも１つに基づいて、信頼度を算出することができる。
【０１２３】
即ち、内視鏡において病変部／正常部を判断する場合、被写体からの反射光の強度が強ければ、第１画像の被写体像は明るくなり、病変部／正常部などの種類判別の信頼度が向上する。従って、前述のように第１画像の各ブロック領域の輝度平均値を輝度代表値Ｌａｖ（ｉ）として算出し、この輝度代表値Ｌａｖ（ｉ）を用いてブロック領域ごとの信頼度Ｓ（ｉ）を算出することができる。また撮像素子と光学系を有する撮像部（図４の挿入部１０２の先端部）と被写体との間の距離が短いほど、被写体像は明るくなり、信頼度が向上する。従って、撮像部と被写体との距離情報を用いて信頼度Ｓ（ｉ）を算出してもよい。例えば輝度信号の大きさは、撮像部と被写体との距離が短いほど大きくなるため、輝度信号も距離情報に相当する情報となる。或いは、例えば挿入部１０２の先端部等に、距離を測定するための測距センサを設け、この測距センサにより検知された距離情報に基づいて、信頼度を算出するようにしてもよい。また例えば前述の式（３）に示すように、色情報の一例である色相代表値Ｈ（ｉ）を求め、図１０で説明したように、求められた色相代表値Ｈ（ｉ）が目標領域に入るか否かを判断することで、信頼度Ｓ（ｉ）を算出してもよい。このようにすれば、例えば病変の色に近い色相の領域を、病変部である確からしさが高い高信頼度の領域として抽出できる。
【０１２４】
また図１１で説明したように、信頼度処理部２１３は、第１画像内での位置情報（座標位置）に応じて、信頼度を設定してもよい。例えば第１画像内の位置と信頼度とが対応している場合には、第１画像内での位置情報に応じて信頼度が異なる値になるように信頼度を設定する。
【０１２５】
具体的には図２（Ａ）では、第１画像の中央部の位置では信頼度が高く、周辺部の位置では信頼度が低い。従って、この場合には信頼度処理部２１３は、第１画像の中央部を高信頼度エリアに設定し、中央部の周りの周辺部を、高信頼度エリアよりも信頼度が低い低信頼度エリアに設定する。例えば画像取得部２１２が、体内の隆起物が画像の中央になるように撮像部により撮像された画像を、第１画像として取得する場合には、このように中央部を高信頼度エリアに設定し周辺部を低信頼度エリアに設定する手法が効果的になる。
【０１２６】
一方、図２（Ｂ）では、第１画像の中央部の位置では信頼度が低く、周辺部の位置では信頼度が高い。従って、この場合には信頼度処理部２１３は、第１画像の中央部を低信頼度エリアに設定し、周辺部を高信頼度エリアに設定する。例えば画像取得部２１２が、体内の空洞形態（管空状の形態）が画像の中央になるように撮像部により撮像された画像を、第１画像として取得する場合には、このように中央部を低信頼度エリアに設定し周辺部を高信頼度エリアに設定する手法が効果的になる。即ち、消化器の内視鏡診断においては、被写体の多くは管空状であるため、図２（Ｂ）のように信頼度を設定することで、病変部の検出精度の向上や処理負荷の軽減を図れる。
【０１２７】
また図９に示すように信頼度処理部２１３は、第１画像を複数のブロック領域に分割する分割部４０２を含む。そして信頼度処理部２１３は、複数のブロック領域の各ブロック領域において、信頼度を取得する。例えば輝度代表値ＬＡＶ（ｉ）が所定の閾値（基準値）よりも高いブロック領域に対しては、信頼度をＳ（ｉ）＝１に設定し、所定の閾値よりも低いブロック領域に対しては、信頼度をＳ（ｉ）＝０に設定する。これにより、高信頼度エリア、低信頼度エリアの設定が可能になる。
【０１２８】
この場合に種類判別部２１５は、各ブロック領域を処理領域として、被写体の種類判別処理を行うことが望ましい。即ち図３の各ブロック領域ＢＬにおいて信頼度を取得して信頼度の設定処理を行うと共に、この各ブロック領域ＢＬを処理領域として、被写体の種類判別処理も行う。例えば高信頼度エリアのブロック領域では、第１画像の情報（特徴量）を用いて、病変部／正常部の判定を行い、低信頼度エリアのブロック領域では、第１画像の情報のみならず、第２画像の情報（図３のマッチングブロック領域ＭＢＬの情報）を用いて、病変部／正常部の判定を行う。このようにすることで、信頼度処理部２１３と種類判別部２１５は、同じサイズのブロック領域を用いて信頼度の処理と種類判別の処理を実行できるようになるため、処理の簡素化等を図れる。なお、信頼度処理部２１３の処理領域のサイズ、形状等と、種類判別部２１５での処理領域のサイズ、形状等を異ならせる変形実施も可能である。
【０１２９】
また種類判別部２１５は、種類判別処理として、第１画像の被写体が注目部（注目領域、注目画素）であるか非注目部（非注目領域、非注目画素）であるかを判別する処理を行う。具体的には、第１画像の被写体が病変部であるか正常部であるかを判別する処理を行う。
【０１３０】
ここで注目部（注目領域、注目画素）とは、使用者にとって観察の優先順位が他の部分よりも相対的に高い部分であり、例えば、使用者が医者であり治療を希望した場合、粘膜部や病変部を写した部分（領域、画素）を指す。また、他の例として、医者が観察したいと欲した対象が泡や便であれば、注目部は、その泡部分や便部分になる。即ち、使用者が注目すべき対象は、その観察目的によって異なるが、いずれにしても、その観察に際し、使用者にとって観察の優先順位が他の部分よりも相対的に高い部分が注目部となる。また、注目部は撮像画像の画素の特徴量（色相、彩度等）を用いて検出することができ、例えば特徴量に対する閾値は、注目部の種類に応じて変化する。例えば第１の種類の注目部に対する色相、彩度等の特徴量の閾値と、第２の種類の注目部に対する特徴量の閾値は異なった値になる。そして、注目部の種類が変わった場合には、この特徴量の閾値を変えるだけで済み、注目部の検出後の処理については、本実施形態で説明した処理と同様の処理で実現することができる。
【０１３１】
また画像取得部２１２は、第１画像及び第２画像の少なくとも１つとして、例えば図６で説明した特定の波長帯域の情報を含む特殊光画像を取得する。具体的には、画像取得部２１２は、第１画像として、図５で説明した白色光の波長帯域の情報を含む通常光画像と、図６で説明した特定の波長帯域の情報を含む特殊光画像を取得する。
【０１３２】
そして図１３のＡ３、Ａ５、Ａ７、Ａ１３で説明したように、種類判別部２１５は、通常光画像及び特殊光画像のうちの少なくとも特殊光画像を用いて、被写体の種類を判別する。このように特殊光画像を用いる手法によれば、通常光画像を用いる手法に比べて病変部等の検出を容易化できる。なお通常光画像及び特殊光画像の両方を用いて種類判別を行うことも可能である。
【０１３３】
また画像取得部２１２は、第２画像として、通常光画像を取得する。或いは第２画像として通常光画像と特殊光画像を取得する。そして図１３のＡ１３に示すように種類判別部２１５は、第２画像の特殊光画像により取得された情報（例えば注目部情報等）を用いて、第１画像の被写体の種類判別処理を行う。このようにすれば、第１画像の特殊光画像のみならず、第２画像の特殊光画像を用いて、病変部／正常部の判定を行うことが可能になり、種類判別の精度や信頼性を向上できる。
【０１３４】
また本実施形態における特定の波長帯域は、白色光の波長帯域よりも狭い帯域である（ＮＢＩ：Narrow Band Imaging）。例えば、通常光画像及び特殊光画像は生体内を写した生体内画像であり、生体内画像に含まれる特定の波長帯域は、血液中のヘモグロビンに吸収される波長の波長帯域である。このヘモグロビンに吸収される波長は、例えば３９０ナノメータ〜４４５ナノメータ（第１の狭帯域光。狭帯域光のＢ２成分）、または５３０ナノメータ〜５５０ナノメータ（第２の狭帯域光。狭帯域光のＧ２成分）である。
【０１３５】
これにより、生体の表層部及び、深部に位置する血管の構造を観察することが可能になる。また得られた信号を特定のチャンネル（Ｇ２→Ｒ、Ｂ２→Ｇ，Ｂ）に入力することで、扁平上皮癌等の通常光では視認が難しい病変などを褐色等で表示することができ、病変部の見落としを抑止することができる。なお、３９０ｎｍ〜４４５ｎｍまたは５３０ｎｍ〜５５０ｎｍとは、ヘモグロビンに吸収されるという特性及び、それぞれ生体の表層部または深部まで到達するという特性から得られた数字である。但し、この場合の波長帯域はこれに限定されず、例えばヘモグロビンによる吸収と生体の表層部又は深部への到達に関する実験結果等の変動要因により、波長帯域の下限値が０〜１０％程度減少し、上限値が０〜１０％程度上昇することも考えられる。
【０１３６】
また、本実施形態では、生体内画像に含まれる特定の波長帯域は、蛍光物質が発する蛍光の波長帯域であってもよい。例えば、特定の波長帯域は、４９０ナノメータ〜６２５ナノメータの波長帯域であってもよい。
【０１３７】
これにより、ＡＦＩ（Auto Fluorescence Imaging）と呼ばれる蛍光観察が可能となる。励起光（３９０ｎｍ〜４７０ｎｍ）を照射することで、コラーゲンなどの蛍光物質からの自家蛍光（intrinsic fluorescence、４９０ｎｍ〜６２５ｎｍ）を観察することができる。このような観察では病変を正常粘膜とは異なった色調で強調表示することができ、病変部の見落としを抑止すること等が可能になる。なお４９０ｎｍ〜６２５ｎｍという数字は、前述の励起光を照射した際、コラーゲン等の蛍光物質が発する自家蛍光の波長帯域を示したものである。但し、この場合の波長帯域はこれに限定されず、例えば蛍光物質が発する蛍光の波長帯域に関する実験結果等の変動要因により、波長帯域の下限値が０〜１０％程度減少し、上限値が０〜１０％程度上昇することも考えられる。また、ヘモグロビンに吸収される波長帯域（５４０ｎｍ〜５６０ｎｍ）を同時に照射し、擬似カラー画像を生成してもよい。
【０１３８】
また本実施形態では、生体内画像に含まれる特定の波長帯域は、赤外光の波長帯域であってもよい。例えば、特定の波長帯域は、７９０ナノメータ〜８２０ナノメータ、または９０５ナノメータ〜９７０ナノメータの波長帯域であってもよい。
【０１３９】
これにより、ＩＲＩ（Infra Red Imaging）と呼ばれる赤外光観察が可能となる。赤外光が吸収されやすい赤外指標薬剤であるＩＣＧ（インドシアニングリーン）を静脈注射した上で、上記波長帯域の赤外光を照射することで、人間の目では視認が難しい粘膜深部の血管や血流情報を強調表示することができ、胃癌の深達度診断や治療方針の判定などが可能になる。なお、７９０ｎｍ〜８２０ｎｍという数字は赤外指標薬剤の吸収がもっとも強いという特性から求められ、９０５ｎｍ〜９７０ｎｍという数字は赤外指標薬剤の吸収がもっとも弱いという特性から求められたものである。但し、この場合の波長帯域はこれに限定されず、例えば赤外指標薬剤の吸収に関する実験結果等の変動要因により、波長帯域の下限値が０〜１０％程度減少し、上限値が０〜１０％程度上昇することも考えられる。
【０１４０】
また本実施形態では、図４の画像取得部２１２が、取得された通常光画像に基づいて特殊光画像を生成してもよい。
【０１４１】
具体的には、画像取得部２１２は、取得された通常光画像から、白色光の波長帯域における信号を抽出する信号抽出部を含み、画像取得部２１２は、抽出された白色光の波長帯域における信号に基づいて、特定の波長帯域における信号を含む特殊光画像を生成する。例えば、信号抽出部は、通常光画像のＲＧＢ信号から１０ｎｍ刻みに被写体の分光反射率特性を推定し、画像取得部２１２は、その推定された信号成分を上記特定の帯域で積算して特殊光画像を生成する。
【０１４２】
より具体的には、画像取得部２１２は、白色光の波長帯域における信号から、特定の波長帯域における信号を算出するためのマトリクスデータを設定するマトリクスデータ設定部を含む。そして画像取得部２１２は、設定されたマトリクスデータを用いて、白色光の波長帯域における信号から特定の波長帯域における信号を算出して、特殊光画像を生成する。例えば、マトリクスデータ設定部は、特定の波長帯域の照射光の分光特性が１０ｎｍ刻みに記述されたテーブルデータをマトリクスデータとして設定する。そして、このテーブルデータに記述された分光特性（係数）を、推定された被写体の分光反射率特性に乗算して積算し、特殊光画像を生成する。
【０１４３】
これにより、通常光画像に基づいて特殊光画像を生成することができるので、通常光を照射する１つの光源と、通常光を撮像する１つの撮像素子のみでもシステムを実現することが可能になる。そのため、スコープ型内視鏡の挿入部やカプセル型内視鏡を小さくすることができ、また部品が少なくてすむためコストを下げる効果も期待できる。
【０１４４】
３．第２の構成例
次に本実施形態の第２の構成例について説明する。前述の図４に示す第１の構成例では、過去フレームの高信頼度エリアの画像信号の病変部／正常部の情報を用いて、現在フレームの低信頼度エリアの画像信号の病変部／正常部の判定を行っている。これに対して第２の構成例では、現在フレームの高信頼度エリアの画像信号の病変部／正常部の情報を用いて、過去フレームの低信頼度エリアの画像信号の病変部／正常部の判定を行う。処理の対象は、例えば撮像済みの時系列的に形成された画像信号である。ここでは第１の構成例と異なる部分について主に説明する。
【０１４５】
図２０に、本実施形態の第２の構成例を示す。この第２の構成例は、画像保存部２３１、画像処理装置２１０、制御部２２１、外部Ｉ／Ｆ部２２２を含む。画像処理装置２１０は、画像取得部２１２、信頼度処理部２１３、領域抽出部２１４、種類判別部２３２、保存部２１７を含む。
【０１４６】
画像保存部２３１は、画像取得部２１２、信頼度処理部２１３、領域抽出部２１４を介して種類判別部２３２へ接続している。保存部２１７は、種類判別部２３２と双方向に接続している。制御部２２１は、画像保存部２３１、画像取得部２１２、信頼度処理部２１３、領域抽出部２１４、種類判別部２３２、保存部２１７と双方向に接続している。外部Ｉ／Ｆ部２２２は制御部２２１へ接続している。
【０１４７】
画像保存部２３１は、内視鏡システムで撮像したＡ／Ｄ変換後の通常光画像信号（通常光画像データ）及び特殊光画像信号（特殊光画像データ）を保存している。画像保存部２３１は、制御部２２１の制御に基づき、通常光画像信号及び特殊光画像信号を画像取得部２１２へ転送する。画像取得部２１２、信頼度処理部２１３、領域抽出部２１４は、図４の第１の構成例と同様の構成であり、同様の処理を行う。
【０１４８】
図２１に種類判別部２３２の構成例を示す。この種類判別部２３２は、特徴量算出部６０１、第１部位判定部６０２、マッチング部６０３、第２部位判定部６０４を含む。領域抽出部２１４は、特徴量算出部６０１、第１部位判定部６０２を介して、保存部２１７へ接続している。第１部位判定部６０２は、マッチング部６０３、第２部位判定部６０４を介して保存部２１７へ接続している。保存部２１７はマッチング部６０３へ接続している。制御部２２１は、特徴量算出部６０１、第１部位判定部６０２、マッチング部６０３及び第２部位判定部６０４と双方向に接続している。
【０１４９】
特徴量算出部６０１は、図２２のＢ１に示すように、現在フレームの特殊光画像を用いて特徴量を算出する。具体的には、領域抽出部２１４からの現在フレームの画像信号からなる全てのブロック領域ごとに、対応するＲＧＢ信号からなる特殊光画像信号を用いて、ＲＧＢ信号から輝度、色差信号を求める公知の算出式で、各ブロック領域内の各画素の輝度値Ｌ（ｉ，ｍ，ｎ）、色差値ＣＲ（ｉ，ｍ，ｎ）、ＣＢ（ｉ，ｍ，ｎ）を算出する。ここでｉは各ブロック領域を判別するために付したブロック領域番号であり、ｍはブロック内にある画素の横軸座標であり、ｎはブロック内にある画素の縦軸座標である。続いて特徴量算出部６０１は、色差値ＣＲ（ｉ，ｍ，ｎ）、ＣＢ（ｉ，ｍ，ｎ）を用いて、各ブロック領域内の各画素の色相値Ｈ（ｉ，ｍ，ｎ）を特徴量として算出する（上述の式（４）参照）。
【０１５０】
そして特徴量算出部６０１は、図２２のＢ２に示すように、特徴量、信頼度情報、通常光・特殊光画像の信号を第１部位判定部６０２へ転送する。具体的には、算出した複数のブロック領域内の各画素の特徴量である色相値Ｈ（ｉ，ｍ，ｎ）と、現在フレームの画像信号の全てのブロック領域のＲＧＢ信号からなる特殊光画像信号及び通常光画像信号と、高信頼度／低信頼度エリアの情報を、第１部位判定部６０２へ転送する。
【０１５１】
第１部位判定部６０２は、図２２のＢ３に示すように特徴量を用いて現在フレームの画像の注目部／非注目部の判定を行う。具体的には、制御部２２１の制御により、転送されて来た各画素の色相値Ｈ（ｉ，ｍ，ｎ）を用いて病変部／正常部を判定する。本実施形態では、特殊光画像（ＮＢＩ画像）である狭帯域画像において、扁平上皮癌などの病変部が褐色の領域として現れるため、特徴量として色相値を用いて病変部を検出することができる。このため第１部位判定部６０２は、各ブロック領域の特殊光画像信号中の高信頼度エリアと判定されている画素に対して、色相値Ｈ（ｉ，ｍ，ｎ）を用いて閾値処理を行い、病変部に対応する画素を検出する。ここでは、褐色の領域を病変部として検出するため、例えば色相値Ｈ（ｉ，ｍ，ｎ）が−７５〜−１０５の範囲にある画素を病変部に対応する画素として検出する。また、それ以外の画素は正常部に対応する画素として認定する。処理の終了後、第１部位判定部６０２は、図２２のＢ４、Ｂ５に示すように、通常光画像信号、特殊光画像信号と、各画素の病変部／正常部の情報、高信頼度／低信頼度エリアの情報を、マッチング部６０３及び保存部２１７へ転送する。
【０１５２】
マッチング部６０３は、図２２のＢ６、Ｂ７に示すように、過去フレームの画像を保存部２１７から読み出して、現在フレームの各ブロック領域の画像とのマッチング処理を行う。具体的には、制御部２２１の制御に基づき、保存部２１７から１枚あるいは１枚以上の過去フレームに対応するＲＧＢ信号からなる特殊光画像信号、通常光画像信号を抽出し、第１部位判定部６０２からの現在フレームの各ブロック領域の画像信号とのマッチング処理を行う。本実施形態は、上述した第１の構成例と同様に、現在フレームの複数のブロック領域の画像信号を用いて、ラスタスキャン順で公知のテンプレートマッチング処理を行う。具体的には、現在フレームの各ブロック領域に対応する通常光画像信号Ｂ（ｉ）をテンプレートとして、過去フレームに対応する通常光画像信号Ｒｅｆの一番左上の位置から右方向にラスタスキャン順に移動して、画像の類似度を調べる処理を行う。その場合、テンプレートとなる通常光画像信号Ｂ（ｉ）、及びラスタスキャン順に移動して類似度を調べる処理中に形成した複数枚の同一ブロックサイズを有する過去フレームの通常光画像信号Ｃ（ｊ）（候補ブロック領域と定義。ｊは候補ブロック領域の番号）を用いて、二つブロック領域画像信号の類似度を算出して、マッチング処理を行う。
【０１５３】
そしてテンプレートとなる現在のフレームの全てのブロック領域のマッチング処理が完了した後、マッチング部６０３は、図２２のＢ８に示すように、マッチング情報、注目部情報、信頼度情報、特徴量、通常光・特殊光画像信号を、第２部位判定部６０４に転送する。具体的には、マッチング情報と、現在フレームに関する病変部／正常部の情報、高信頼度／低信頼度エリアの情報と、マッチング成功と判断されている過去フレームのブロック領域に対応する特殊光画像信号及び通常光画像信号と、各画素の色相値Ｈ（ｉ，ｍ，ｎ）を、第２部位判定部６０４へ転送する。
【０１５４】
第２部位判定部６０４は、図２２のＢ９に示すように、過去フレームの画像の特徴量と、現在フレームの画像の注目部情報、信頼度情報を用いて、過去フレームの画像の注目部／非注目部の判定を行う。
【０１５５】
具体的には第２部位判定部６０４は、制御部２２１の制御により、マッチング情報に基づきマッチング成功と判断されている過去フレームのブロック領域に対応する各画素の色相値Ｈ（ｉ，ｍ，ｎ）を用いて、病変部を検出する。例えば過去フレームの特殊光画像信号から色相値Ｈ（ｉ，ｍ，ｎ）が−７５〜−１０５の範囲にある病変候補画素を抽出する。
【０１５６】
そして、抽出された過去フレームの画像の病変候補画素が低信頼度エリアに存在したとする。また、マッチング部６０３からの現在フレームのブロック領域の病変部／正常部の情報と、高信頼度／低信頼度エリアの情報に基づき、病変候補画素に対応する現在フレームのブロック領域中の画素が高信頼度エリアに存在し、病変部と判断されているとする。この場合には、第２部位判定部６０４は、抽出された過去フレームの病変候補画素の信頼度を高信頼度エリアに存在することと設定し、その病変候補画素を病変部と判断して、その画素の病変部／正常部の情報を更新する。
【０１５７】
そして第２部位判定部６０４は、現在フレーム画像信号中の全ての高信頼度エリアのブロック領域に対する判定処理が終了した後に、図２２のＢ１０に示すように、処理後の各画素の病変部／正常部の情報、高信頼度／低信頼度エリアの情報と、ＲＧＢ信号からなる通常光画像信号及び特殊光画像信号を、保存部２１７へ転送する。
【０１５８】
以上のように第２の構成例では、現在フレームの高信頼度エリアの画像信号の病変部／正常部の情報を、過去フレームの低信頼度エリアの画像信号の病変部／正常部の判定に用いている。これにより、過去フレームの画像信号の病変部／正常部の判定精度を向上することができるため、内視鏡画像の診断能力（特にカプセル内視鏡で撮影した画像信号においての診断能力）を高めることができる。
【０１５９】
図２３は、図２１の種類判別部２３２の処理を示すフローチャートである。
【０１６０】
この処理を開始すると、まず、ステップＳ３１にて、現在フレームの画像信号からなる全てのブロック領域ごとに、対応するＲＧＢ信号からなる特殊光画像信号を用いて、ＲＧＢ信号から輝度、色差信号を求める公知の算出式で、各ブロック領域の各画素の輝度値Ｌ（ｉ，ｍ，ｎ）、色差値ＣＲ（ｉ，ｍ，ｎ）、ＣＢ（ｉ，ｍ，ｎ）を算出する。続いて、色差値ＣＲ（ｉ，ｍ，ｎ）、ＣＢ（ｉ，ｍ，ｎ）を用いて、上述の式（４）により、各ブロック領域の各画素の色相値Ｈ（ｉ，ｍ，ｎ）を特徴量として算出する。処理終了後、ステップＳ３２及びステップＳ３３へ進む。以上は図２１の特徴量算出部６０１の処理に相当する。
【０１６１】
次に、ステップＳ３２にて、各画素の色相値Ｈ（ｉ，ｍ，ｎ）を用いて病変部／正常部を判定する。具体的には、各ブロック領域の特殊光画像信号中の高信頼度エリアと判定されている画素に対して、色相値Ｈ（ｉ，ｍ，ｎ）を用いて閾値処理を行い、病変部に対応する画素を検出する。そして、それ以外の画素は正常部に対応する画素として認定する。これは図２１の第１部位判定部６０２の処理に相当する。
【０１６２】
一方、ステップＳ３３にて、メモリから１枚あるいは１枚以上の過去フレームに対応するＲＧＢ信号からなる特殊光画像信号、通常光画像信号を読み出して、現在フレームの各ブロック領域の画像信号とのマッチング処理を行い、ステップＳ３４へ進む。これは図２１のマッチング部６０３の処理に相当する。
【０１６３】
続いて、ステップＳ３４にて、マッチング情報に基づきマッチング成功と判断されている過去フレームのブロック領域に対応する各画素の色相値Ｈ（ｉ，ｍ，ｎ）を用いて、病変部を検出する。そして、抽出した画素において、マッチング部６０３からの現在フレームのブロック領域の病変部／正常部の情報と高信頼度／低信頼度エリアの情報に基づき、抽出した過去フレームのブロック領域中の病変候補画素に対応する現在フレームのブロック領域中の画素が、高信頼度エリアに存在し病変部と判断されたとする。この場合には、その過去フレームのブロック領域中の病変候補画素の信頼度を高信頼度エリアに存在することと設定し、その画素を病変部と判断して、その画素の病変部／正常部の情報を更新する。処理後の各画素の病変部／正常部の情報、高信頼度／低信頼度エリアの情報を、メモリに保存する。以上は図２１の第２部位判定部６０４の処理に相当する。
【０１６４】
なお第２の構成例では、現在フレームの高信頼度エリアの画像信号の病変部／正常部の情報を、過去フレームの低信頼度エリアの画像信号の病変部／正常部の判定に用いているが、本実施形態の手法はこれに限定されない。例えば図２４に種類判別部２３２の変形例を示す。
【０１６５】
図２４の種類判別部２３２は、特徴量算出部６０１、第１部位判定部６０２、マッチング部６１３、第２部位判定部６１４、画像検出部６１５を含む。領域抽出部２１４は、特徴量算出部６０１、第１部位判定部６０２を介して、保存部２１７へ接続している。保存部２１７は、マッチング部６１３、第２部位判定部６１４、画像検出部６１５へ接続している。画像検出部６１５は、マッチング部６１３及び第２部位判定部６１４を介して保存部２１７へ接続している。制御部２２１は、特徴量算出部６０１、第１部位判定部６０２、マッチング部６１３、第２部位判定部６１４及び画像検出部６１５と双方向に接続している。
【０１６６】
この変形例では、時系列的に連続撮像された画像信号に対し、２回の種類判別処理を行うことが特徴となっている。まず、１回目の処理において、時系列的に連続撮像された各フレームの画像信号に対し、信頼度に基づき高信頼度エリア／低信頼度エリアを設定する。そして高信頼度エリアの画像信号の病変部／正常部の判定を行い、画像信号、高信頼度エリア／低信頼度エリアの情報、病変部／正常部の情報を保存する。次に、１回目の処理済み後の時系列的に連続撮像された各フレームの低信頼度エリアの画像信号の病変部／正常部の判定において、時系列的に当該フレームの前及び後のフレームで撮像された画像信号の高信頼度エリアの画像信号の病変部／正常部の情報を流用する。
【０１６７】
この変形例の具体的な処理の流れについて図２５、図２６を用いて説明する。
【０１６８】
まず特徴量算出部６０１は、図２５のＣ１に示すように、特殊光画像を用いて特徴量を算出する。具体的には、領域抽出部２１４からの現在フレームの画像信号からなる全てのブロック領域ごとに、対応するＲＧＢ信号からなる特殊光画像信号を用いて、上述の式（４）に示すように、各ブロック領域の各画素の色相値Ｈ（ｉ，ｍ，ｎ）を特徴量として算出する。そして特徴量算出部６０１は、図２５のＣ２に示すように、算出した特徴量、信頼度情報、通常光・特殊光画像の信号を、第１部位判定部６０２に転送する。具体的には、算出した複数のブロック領域の各画素の色相値Ｈ（ｉ，ｍ，ｎ）と、現在フレームの全てのブロック領域のＲＧＢ信号からなる特殊光画像信号及び通常光画像信号と、高信頼度／低信頼度エリアの情報を、第１部位判定部６０２へ転送する。
【０１６９】
第１部位判定部６０２は、図２５のＣ３に示すように、特徴量を用いて注目部／非注目部の判定を行う。具体的には、制御部２２１の制御により、転送されて来た各画素の色相値Ｈ（ｉ，ｍ，ｎ）を用いて病変部／正常部を判定する。そして処理の終了後、Ｃ４に示すように、通常光画像信号、特殊光画像信号と、各画素の病変部／正常部の情報、高信頼度／低信頼度エリアの情報を、保存部２１７へ転送する。
【０１７０】
時系列的に連続撮像された全ての画像信号に対して、上述の１回目の処理が完了した後、下記の２回目の処理を行う。
【０１７１】
即ち画像検出部６１５は、図２６のＤ１に示すように、上述の１回目の処理が済んだ後の通常光画像信号あるいは特殊光画像信号と、それに対応する高信頼度／低信頼度エリアの情報及び病変部／正常部の情報を、保存部２１７から読み出して、マッチング部６１３へ転送する。
【０１７２】
マッチング部６１３は、図２６のＤ２に示すように、現在フレームの各ブロック領域の画像と、前後のフレームの画像のマッチング処理を行う。具体的にはＤ３に示すように、制御部２２１の制御に基づき、在フレームの前及び後のフレームで撮像された所定枚数のＲＧＢからなる特殊光画像信号、通常光画像信号を、保存部２１７から読み出す。そして、画像検出部６１５からの現在フレームの各ブロック領域の画像信号とのマッチング処理を行う。本変形例では、第１の構成例と同様に、ラスタスキャン順で公知のテンプレートマッチング処理を行う。例えば本変形例では、図２７に示すように、時系列的に現在フレームの前及び後のフレームで撮影された２枚ずつの画像信号を抽出して、現在フレームとのマッチング処理を行う。
【０１７３】
テンプレートとなる現在フレームの全てのブロック領域でのマッチング処理が完了した後、Ｄ４に示すように、マッチング情報と、現在フレームの前及び後に撮像されたフレームに関する病変部／正常部の情報、高信頼度／低信頼度エリアの情報と、マッチング成功となっている現在フレームの前及び後のフレームのブロック領域のＲＧＢ信号からなる特殊光画像信号及び通常光画像信号と、各画素の色相値Ｈ（ｉ，ｍ，ｎ）を、第２部位判定部６１４へ転送する。
【０１７４】
第２部位判定部６１４は、図２６のＤ５に示すように、現在フレームの画像の特徴量と、前後のフレームの画像の注目部情報、信頼度情報を用いて、現在フレームの画像の注目部／非注目部の判定を行う。具体的には、制御部２２１の制御により、マッチング情報に基づきマッチング成功と判断されている現在フレームの低信頼度のブロック領域に対応する各画素の色相値Ｈ（ｉ，ｍ，ｎ）を用いて、病変部を検出することで、病変候補画素を抽出する。次に、マッチング部６１３からの現在フレームの前及び後に撮像された所定枚数のフレーム画像のブロック領域の病変部／正常部の情報、高信頼度／低信頼度エリアの情報に基づき、病変候補画素とマッチングした注目画素が高信頼度エリアに存在するか否かを判定する。
【０１７５】
例えば、図２７に示すように、現在フレームの前及び後に撮像された４フレームの画像中に、病変候補画素とマッチングした、高信頼度エリアに属する注目画素が複数存在したとする。この場合には、現在フレームと撮像時間が近接するフレームに属する注目画素の病変部／正常部の情報を、病変候補画素の判定に適用する。その場合、病変候補画素の信頼度を高信頼度エリアに設定し、病変候補画素を病変部と判断して、病変候補画素の病変部／正常部の情報を更新する。そして図２６のＤ６に示すように、処理後の各画素の病変部／正常部の情報、高信頼度／低信頼度エリアの情報と、ＲＧＢ信号からなる通常光画像信号及び特殊光画像信号を、保存部２１７へ転送する。
【０１７６】
このよう本変形例では、１回目の処理において、時系列的に連続撮像された各フレームの画像信号に対し、信頼度に基づき高信頼度エリア／低信頼度エリアを設定する。そして高信頼度エリアの画像信号の病変部／正常部の判定を行い、画像信号と、高信頼度エリア／低信頼度エリアの情報と、病変部／正常部の情報を保存する。次に、１回目の処理が済んだ後の時系列的に連続撮像された各フレームの低信頼度エリアの画像信号の病変部／正常部の判定において、当該フレームの前及び後に撮像された所定枚数のフレーム画像信号の高信頼度エリアの画像信号の病変部／正常部の情報を流用する。このため、時系列的に各フレームの前及び後に撮像された画像信号中の病変部／正常部の情報が流用できるため、内視鏡画像の診断能力（特にカプセル内視鏡で撮影した画像信号においての診断能力）を高めることができる。
【０１７７】
なお、本変形例では、時系列的に現在フレームの前及び後に撮像された画像信号の高信頼度エリアの病変部／正常部の情報を、現在フレームの低信頼度エリアの画像信号の病変部／正常部の判定に流用する場合について説明したが、これに限定されるものではない。例えば現在フレームの高信頼度エリアの画像信号の病変部／正常部の情報を、時系列的に現在フレームの前及び後に撮像された画像信号の低信頼度エリアの病変部／正常部の判定に流用するようにしてもよい。
【０１７８】
また図２７に示すように、現在フレームの画像である第１画像のブロック領域とマッチングする領域として、複数のマッチングブロック領域が抽出された場合には、これらの複数のマッチングブロック領域から、重み付け信頼度情報により選択されたマッチングブロック領域の情報を用いて、病変部／正常部の判定を行えばよい。例えば、第１画像（現在フレームの画像）を基点として、時系列的な距離情報、及び同じフレーム中のマッチングブロック領域の位置情報に応じて、信頼度の重みを付けて、重み付き信頼度情報を算出する。
【０１７９】
具体的には、図２７に示すように、現在フレームとの時系列的な距離Ｆｄと、同じフレーム内のマッチングブロック領域の中心位置とそのフレームの中心位置との距離Ｂｄに基づき、下式（１０）のように重み付きの信頼度Ｓｄ（ｎ）を算出する。なお、図２（Ａ）に示すように画像の中央領域が高信頼度エリアに設定されているものとする。
【０１８０】
Ｓｄ（ｎ）＝α／{Ｆｄ（ｎ）＊Ｂｄ（ｎ）}＊Ｓ（ｎ，ｉ） ・・・（１０）
【０１８１】
ここで、αは０より大きい定数であり、ｎは候補となっている前後フレームの番号であり、ｉはフレーム内のブロック番号である。また図２７において、Ｃｅｎｔｅｒ（ｎ，ｐ，ｑ）はフレームの中心位置を示し、Ｂｃｅｎｔｅｒ（ｎ，ｂｐ，ｂｑ）はマッチングブロック領域の中心位置を示す。また（ｐ，ｑ）、（ｂｐ，ｂｑ）はフレーム内の２次元座標位置である。
【０１８２】
図２７では、複数フレーム中のマッチングブロック領域の重み付き信頼度Ｓｄ（ｎ）の中から最大値を選択し、重み付き信頼度Ｓｄ（ｎ）が最大値になるマッチングブロック領域を、最も高い信頼度を有するマッチングブロック領域であると判定する。例えば図２７では、第１画像のブロック領域ＢＬ５に画像がマッチングする領域として、Ｅ１、Ｅ２、Ｅ３、Ｅ４に示すマッチングブロック領域が抽出されている。この場合には、これらのＥ１、Ｅ２、Ｅ３、Ｅ４に示すマッチングブロック領域の中から、重み付き信頼度Ｓｄ（ｎ）が最大値となるマッチングブロック領域を選択する。そして、選択されたマッチングブロック領域の情報を用いて、第１画像のブロック領域ＢＬでの病変部／正常部の判定を行う。
【０１８３】
即ち図２７では、時系列的に現在フレームの前及び後に撮影された２枚ずつの画像を抽出して、現在フレームとのマッチング処理を行う。その場合、テンプレートとなる現在フレーム中の各ブロック領域とマッチングした前後のフレームの４つのマッチングブロック領域において、上記のように重み付き信頼度Ｓｄ（１）、Ｓｄ（２）、Ｓｄ（３）、Ｓｄ（４）を算出する。そして重み付け信頼度が最も高いエリアの種類判別結果が、対応する現在フレーム中ブロック領域の種類判別結果になる。
【０１８４】
なお、上式（１０）において、Ｆｄ（ｎ）＊Ｂｄ（ｎ）が０になるマッチングブロック領域が存在する場合には、そのマッチングブロック領域を最も高い信頼度を有するマッチングブロック領域であると判定する。更に、Ｆｄ（ｎ）＊Ｂｄ（ｎ）が０になるマッチングブロック領域が複数存在する場合には、時系列的に最も近いフレームにあるマッチングブロック領域を、最も高い信頼度を有するマッチングブロック領域であると判定する。
【０１８５】
以上の本実施形態の手法をまとめると以下のようになる。
【０１８６】
即ち本実施形態の画像取得部２１２は、撮像部により時系列に撮像された画像を、第１画像及び第２画像として取得する。そして図１２の第１の構成例の種類判別部２１５は、図１（Ａ）に示すように第１画像よりも時系列で前のフレームで取得された少なくとも１枚の第２画像の情報を用いて、第１画像の被写体の種類判別処理を行う。このようにすれば、前のフレームで取得された第２画像の情報を有効利用して、第１画像の被写体の種類判別処理を実現できる。
【０１８７】
一方、図２１の第２の構成例の種類判別部２３２は、図１（Ｂ）に示すように第１画像よりも時系列で後のフレームで取得された少なくとも１枚の第２画像の情報を用いて、第１画像の被写体の種類判別処理を行う。このようにすれば、例えば現在フレームの画像である第２画像を用いて、過去フレームの画像である第１画像の被写体の種類判別処理を実現できる。これにより、例えばカプセル内視鏡で撮影して保存した画像から病変部／正常部を検出する場合に、その検出精度を向上できる。
【０１８８】
また図２４で説明した変形例の種類判別部２３２は、図１（Ｃ）や図２７に示すように、第１画像よりも時系列で前のフレームで取得された少なくとも１枚の第２画像の情報と、第１画像よりも時系列で後のフレームで取得された少なくとも１枚の第２画像の情報を用いて、第１画像の被写体の種類判別処理を行う。別の言い方をすれば、第１画像とは取得フレームが異なる複数枚の第２画像の情報を用いて、第１画像の被写体の種類判別処理を行う。このようにすれば、複数枚の第２画像を利用できるため、１枚の第２画像を用いる場合に比べて、種類判別の精度や信頼性を向上できる。
【０１８９】
例えば種類判別部２３２は、第１画像を分割した複数のブロック領域の各ブロック領域の画像と、上述の複数枚の第２画像の各第２画像とのマッチング処理を行って、第１画像のブロック領域と画像がマッチングする各第２画像内の領域を、マッチングブロック領域として抽出する。例えば図２７では、第１画像のブロック領域ＢＬ５と画像がマッチングする領域として、Ｅ１、Ｅ２、Ｅ３、Ｅ４に示すマッチングブロック領域が抽出されている。従って、この場合には、これらの抽出されたマッチングブロック領域の情報を用いて、第１画像の被写体の種類判別処理を行う。
【０１９０】
更に具体的には、種類判別部２３２は、第１画像の各ブロック領域と画像がマッチングする領域として、複数のマッチングブロック領域が抽出された場合に、複数のマッチングブロック領域の中から重み付け信頼度情報Ｓｄ（ｎ）により選択されたマッチングブロック領域の情報を用いて、第１画像の被写体の種類判別処理を行う。このようにすれば、画像がマッチングする複数のマッチングブロック領域の中から、信頼度の重み付けが最も高いマッチングブロック領域を選択して、そのマッチングブロック領域の情報を用いて、第１画像のブロック領域での被写体の種類判別を実現できるようになる。
【０１９１】
そして種類判別部２３２は、重み付け信頼度情報Ｓｄ（ｎ）として、例えば上式（１０）に示すような情報を用いる。例えば、第１画像と各第２画像との間の時系列的な距離情報Ｆｄ（ｎ）、及び各第２画像内でのマッチングブロック領域の位置情報Ｂｄ（ｎ）の少なくとも一方を用いる。ここで時系列的な距離情報Ｆｄ（ｎ）は、第１画像の取得フレームと第２画像の取得フレームのフレーム差に対応する情報である。また位置情報Ｂｄ（ｎ）は、第２画像内でのマッチングブロック領域の相対的な位置を表す情報であり、例えば第２画像の中心位置とマッチングブロック領域の中心位置との間の距離等により表すことができる。このような重み付け信頼度情報を用いれば、例えば第１画像のブロック領域と画像がマッチングする領域として、複数のマッチングブロック領域が抽出された場合に、例えば第１画像との時系列的な距離情報が近いマッチングブロック領域や、第２画像内において高信頼度エリアに位置するマッチングブロック領域を選択することが可能になる。従って、第１画像の被写体の種類判別に利用するマッチングブロック領域として、より高い信頼度を有するマッチングブロック領域を選択できるようになり、第１画像の被写体の種類判別の精度や信頼性を更に向上できる。
【０１９２】
なお以上に説明した第１、第２の構成例や変形例の手法は、本実施形態の各部（画像取得部、信頼度処理部、種類判別部、分割部等）としてコンピュータを機能させるプログラムにも適用できる。
【０１９３】
これにより、例えばカプセル型内視鏡などのように、まず画像データを蓄積し、その後蓄積された画像データに対してＰＣ等のコンピュータシステムでソフトウェア的に処理を行うことが可能になる。
【０１９４】
また本実施形態は、本実施形態の各部（画像取得部、信頼度処理部、種類判別部、分割部等）を実現するプログラムコードが記録されたコンピュータプログラムプロダクトにも適用できる。
【０１９５】
ここでコンピュータプログラムプロダクトは、例えば、プログラムコードが記録された情報記憶媒体（ＤＶＤ等の光ディスク媒体、ハードディスク媒体、メモリ媒体等）、プログラムコードが記録されたコンピュータ、プログラムコードが記録されたインターネットシステム（例えば、サーバとクライアント端末を含むシステム）など、プログラムコードが組み込まれた情報記憶媒体、装置、機器或いはシステム等である。この場合に、本実施形態の各構成要素や各処理プロセスは各モジュールにより実装され、これらの実装されたモジュールにより構成されるプログラムコードは、コンピュータプログラムプロダクトに記録される。
【０１９６】
以上のように本実施形態について詳細に説明したが、本発明の新規事項及び効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また画像処理装置、内視鏡システムの構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。
【符号の説明】
【０１９７】
９０ 制御装置、１００ 被写体、１０１ 通常光光源、１０２ 挿入部、
１０３ ライトガイドファイバ、２０１ レンズ、２０２ ハーフミラー、
２０３ 通常光撮像素子、２０４ フィルタ、２０５ 特殊光撮像素子、
２１０ 画像処理装置、２１１ Ａ／Ｄ変換部、２１２ 画像取得部、
２１３ 信頼度処理部、２１４ 領域抽出部、２１５ 種類判別部、２１６ 出力部、
２１７ 保存部、２２１ 制御部、２２２ 外部Ｉ／Ｆ部、２３２ 種類判別部、
３０１ 通常光画像処理部、３０２ 特殊光画像処理部、４０１ バッファ部、
４０２ 分割部、４０３ 係数算出部、４０４ 信頼度判定部、４０５ ＲＯＭ、
５００ エリア選定部、５０１ 第１特徴量算出部、５０２ 第１部位判定部、
５０３ 第２特徴量算出部、５０４ マッチング部、５０５ 第２部位判定部、
５０６ 合成部、
６０１ 特徴量算出部、６０２ 第１部位判定部、６０３ マッチング部、
６０４ 第２部位判定部、６１３ マッチング部、６１４ 第２部位判定部、
６１５ 画像検出部、
９００ コンピュータシステム、９１０ 本体部、９１１ ＣＰＵ、
９１２ ＲＡＭ、９１３ ＲＯＭ、９１４ ＨＤＤ、
９１５ ＣＤ−ＲＯＭドライブ、９１６ ＵＳＢポート、
９１７ Ｉ／Ｏインターフェース、９１８ ＬＡＮインターフェース、
９２０ ディスプレイ、９２１ 表示画面、９３０ キーボード、９４０ マウス、
９５０ モデム、９６０ ＣＤ−ＲＯＭ、９７０ ＵＳＢメモリ、９８１ ＰＣ、
９８２ サーバ、９８３ プリンタ
【特許請求の範囲】
【請求項１】
画像を取得する画像取得部と、
取得された画像上の被写体の種類判別についての信頼度を取得する処理を行う信頼度処理部と、
被写体の種類判別処理を行う種類判別部とを含み、
前記画像取得部は、
第１画像と、前記第１画像とは取得フレームが異なる第２画像を取得し、
前記種類判別部は、
前記第１画像の被写体の種類判別処理に前記第２画像の情報を用いるか否かを、前記第１画像において取得された前記信頼度に基づいて判断することを特徴とする画像処理装置。
【請求項２】
請求項１において、
前記信頼度処理部は、
前記信頼度が高いエリアを高信頼度エリアに設定し、前記高信頼度エリアよりも前記信頼度が低いエリアを低信頼度エリアに設定し、
前記種類判別部は、
前記第１画像の前記低信頼度エリアでの被写体の種類判別処理を、前記第２画像の情報を用いて行うことを特徴とする画像処理装置。
【請求項３】
請求項２において、
前記種類判別部は、
前記第１画像の前記低信頼度エリアでの被写体の種類判別処理を、前記第２画像の前記高信頼度エリアでの情報を用いて行うことを特徴とする画像処理装置。
【請求項４】
請求項２において、
前記種類判別部は、
前記第１画像の前記高信頼度エリアでの被写体の種類判別処理については、前記第１画像の情報を用いて行うことを特徴とする画像処理装置。
【請求項５】
請求項４において、
前記種類判別部は、
前記第１画像を用いて行われた前記高信頼度エリアでの種類判別処理の結果と、前記第２画像を用いて行われた前記低信頼度エリアでの種類判別処理の結果とを合成する合成部を含むことを特徴とする画像処理装置。
【請求項６】
請求項５において、
前記合成部は、
注目部を判別するための注目部情報と、信頼度を判別するための信頼度情報を、前記第１画像の各画素に対応づけて保存部に保存することを特徴とする画像処理装置。
【請求項７】
請求項２において、
前記種類判別部は、
前記第１画像の前記低信頼度エリアでの被写体の種類判別処理を、前記第１画像の情報と前記第２画像の情報の両方を用いて行うことを特徴とする画像処理装置。
【請求項８】
請求項２において、
前記第２画像の情報は、注目部を判別するための注目部情報と、信頼度を判別するための信頼度情報を含み、
前記種類判別部は、
前記第１画像の前記低信頼度エリアでの被写体の種類判別処理を、前記第２画像の前記注目部情報と前記信頼度情報を用いて行うことを特徴とする画像処理装置。
【請求項９】
請求項２において、
前記種類判別部は、
前記第１画像において被写体の種類判別処理が行われる処理領域が、前記低信頼度エリアである場合に、前記処理領域に対応する前記第２画像の対応処理領域での情報に基づいて、前記第１画像の前記処理領域での被写体の種類判別処理を行うことを特徴とする画像処理装置。
【請求項１０】
請求項９において、
前記種類判別部は、
前記処理領域の画像と前記第２画像とのマッチング処理を行うことで、前記処理領域に対応する前記対応処理領域を抽出することを特徴とする画像処理装置。
【請求項１１】
請求項９において、
前記種類判別部は、
前記第１画像の前記処理領域での画素の特徴量に基づいて注目候補画素を抽出し、抽出された前記注目候補画素が注目画素であるか否かを、前記第２画像の前記対応処理領域での情報に基づいて判断することを特徴とする画像処理装置。
【請求項１２】
請求項１１において、
前記第２画像の前記対応処理領域での情報は、注目部を判別するための注目部情報と、信頼度を判別するための信頼度情報を含み、
前記種類判別部は、
前記注目部情報と前記信頼度情報に基づいて、前記注目候補画素が前記注目画素であるか否かを判断することを特徴とする画像処理装置。
【請求項１３】
請求項１において、
前記信頼度処理部は、
前記第１画像の被写体像の明るさ情報、前記第１画像の被写体像の色情報、及び前記第１画像を撮像した撮像部と被写体との間の距離情報の少なくとも１つに基づいて、前記信頼度を算出することを特徴とする画像処理装置。
【請求項１４】
請求項１において、
前記信頼度処理部は、
前記第１画像内での位置情報に応じて、前記信頼度を設定することを特徴とする画像処理装置。
【請求項１５】
請求項１４において、
前記信頼度処理部は、
前記第１画像の中央部を高信頼度エリアに設定し、前記中央部の周りの周辺部を、前記高信頼度エリアよりも信頼度が低い低信頼度エリアに設定することを特徴とする画像処理装置。
【請求項１６】
請求項１４において、
前記信頼度処理部は、
前記第１画像の中央部を低信頼度エリアに設定し、前記中央部の周りの周辺部を、前記低信頼度エリアよりも信頼度が高い高信頼度エリアに設定することを特徴とする画像処理装置。
【請求項１７】
請求項１４において、
前記画像取得部は、
体内の隆起物が画像の中央になるように撮像部により撮像された画像を、前記第１画像として取得し、
前記信頼度処理部は、
前記第１画像の中央部を高信頼度エリアに設定し、前記中央部の周りの周辺部を、前高信頼度エリアよりも信頼度が低い低信頼度エリアに設定することを特徴とする画像処理装置。
【請求項１８】
請求項１４において、
前記画像取得部は、
体内の管空状の形態が画像の中央になるように撮像部により撮像された画像を、前記第１画像として取得し、
前記信頼度処理部は、
前記第１画像の中央部を低信頼度エリアに設定し、前記中央部の周りの周辺部を、前記低信頼度エリアよりも信頼度が高い高信頼度エリアに設定することを特徴とする画像処理装置。
【請求項１９】
請求項１において、
前記信頼度処理部は、
前記第１画像を、複数のブロック領域に分割する分割部を含み、
前記信頼度処理部は、
前記複数のブロック領域の各ブロック領域において、前記信頼度を取得することを特徴とする画像処理装置。
【請求項２０】
請求項１９において、
前記種類判別部は、
前記各ブロック領域を処理領域として、被写体の種類判別処理を行うことを特徴とする画像処理装置。
【請求項２１】
請求項１において、
前記種類判別部は、
前記種類判別処理として、前記第１画像の被写体が注目部であるか非注目部であるかを判別する処理を行うことを特徴とする画像処理装置。
【請求項２２】
請求項２１において、
前記種類判別部は、
前記種類判別処理として、前記第１画像の被写体が病変部であるか正常部であるかを判別する処理を行うことを特徴とする画像処理装置。
【請求項２３】
請求項１において、
前記画像取得部は、
前記第１画像及び前記第２画像の少なくとも１つとして、特定の波長帯域の情報を含む特殊光画像を取得することを特徴とする画像処理装置。
【請求項２４】
請求項１において、
前記画像取得部は、
前記第１画像として、白色光の波長帯域の情報を含む通常光画像と、特定の波長帯域の情報を含む特殊光画像を取得し、
前記種類判別部は、
前記通常光画像及び前記特殊光画像のうちの少なくとも前記特殊光画像を用いて、被写体の種類判別処理を行うことを特徴とする画像処理装置。
【請求項２５】
請求項２４において、
前記種類判別部は、
前記特殊光画像の特徴量である輝度情報及び色情報の少なくとも一方に基づいて、被写体が病変部であるか正常部であるかの種類判別処理を行うことを特徴とする画像処理装置。
【請求項２６】
請求項２４において、
前記信頼度処理部は、
前記通常光画像及び前記特殊光画像のうちの少なくとも前記通常光画像を用いて、前記信頼度を取得することを特徴とする画像処理装置。
【請求項２７】
請求項２４において、
前記画像取得部は、
前記第２画像として、特定の波長帯域の情報を含む特殊光画像を取得し、
前記種類判別部は、
前記第２画像の前記特殊光画像により取得された情報を用いて、前記第１画像の被写体の種類判別処理を行うことを特徴とする画像処理装置。
【請求項２８】
請求項２４において、
前記特定の波長帯域は、
前記白色光の波長帯域よりも狭い帯域であることを特徴とする画像処理装置。
【請求項２９】
請求項２４において、
前記通常光画像及び前記特殊光画像は生体内を写した生体内画像であり、
前記生体内画像に含まれる前記特定の波長帯域は、血液中のヘモグロビンに吸収される波長の波長帯域であることを特徴とする画像処理装置。
【請求項３０】
請求項２９において、
前記特定の波長帯域は、３９０ナノメータ〜４４５ナノメータ、または５３０ナノメータ〜５５０ナノメータであることを特徴とする画像処理装置。
【請求項３１】
請求項２４において、
前記通常光画像及び前記特殊光画像は生体内を写した生体内画像であり、
前記生体内画像に含まれる前記特定の波長帯域は、蛍光物質が発する蛍光の波長帯域であることを特徴とする画像処理装置。
【請求項３２】
請求項３１において、
前記特定の波長帯域は、４９０ナノメータ〜６２５ナノメータの波長帯域であることを特徴とする画像処理装置。
【請求項３３】
請求項２４において、
前記通常光画像及び前記特殊光画像は生体内を写した生体内画像であり、
前記生体内画像に含まれる前記特定の波長帯域は、赤外光の波長帯域であることを特徴とする画像処理装置。
【請求項３４】
請求項３３において、
前記特定の波長帯域は、７９０ナノメータ〜８２０ナノメータ、または９０５ナノメータ〜９７０ナノメータの波長帯域であることを特徴とする画像処理装置。
【請求項３５】
請求項２４において、
前記画像取得部は、
取得された前記通常光画像に基づいて、前記特殊光画像を生成することを特徴とする画像処理装置。
【請求項３６】
請求項３５において、
前記画像取得部は、
取得された前記通常光画像から、白色光の波長帯域における信号を抽出する信号抽出部を含み、
前記画像取得部は、
抽出された前記白色光の波長帯域における信号に基づいて、前記特定の波長帯域における信号を含む前記特殊光画像を生成することを特徴とする画像処理装置。
【請求項３７】
請求項３６において、
前記画像取得部は、
前記白色光の波長帯域における信号から、前記特定の波長帯域における信号を算出するためのマトリクスデータを設定するマトリクスデータ設定部を含み、
前記画像取得部は、
設定された前記マトリクスデータを用いて、前記白色光の波長帯域における信号から前記特定の波長帯域における信号を算出して、前記特殊光画像を生成することを特徴とする画像処理装置。
【請求項３８】
請求項１において、
前記画像取得部は、
撮像部により時系列に撮像された画像を、前記第１画像及び前記第２画像として取得し、
前記種類判別部は、
前記第１画像よりも時系列で前のフレームで取得された少なくとも１枚の前記第２画像の情報を用いて、前記第１画像の被写体の種類判別処理を行うことを特徴とする画像処理装置。
【請求項３９】
請求項１において、
前記画像取得部は、
撮像部により時系列に撮像された画像を、前記第１画像及び前記第２画像として取得し、
前記種類判別部は、
前記第１画像よりも時系列で後のフレームで取得された少なくとも１枚の前記第２画像の情報を用いて、前記第１画像の被写体の種類判別処理を行うことを特徴とする画像処理装置。
【請求項４０】
請求項１において、
前記画像取得部は、
撮像部により時系列に撮像された画像を、前記第１画像及び前記第２画像として取得し、
前記種類判別部は、
前記第１画像よりも時系列で前のフレームで取得された少なくとも１枚の前記第２画像の情報と、前記第１画像よりも時系列で後のフレームで取得された少なくとも１枚の前記第２画像の情報を用いて、前記第１画像の被写体の種類判別処理を行うことを特徴とする画像処理装置。
【請求項４１】
請求項１において、
前記画像取得部は、
撮像部により時系列に撮像された画像を、前記第１画像及び前記第２画像として取得し、
前記種類判別部は、
前記第１画像とは取得フレームが異なる複数枚の前記第２画像の情報を用いて、前記第１画像の被写体の種類判別処理を行うことを特徴とする画像処理装置。
【請求項４２】
請求項４１において、
前記種類判別部は、
前記第１画像を分割した複数のブロック領域の各ブロック領域の画像と、複数枚の前記第２画像の各第２画像とのマッチング処理を行って、前記第１画像のブロック領域と画像がマッチングする前記各第２画像内の領域を、マッチングブロック領域として抽出し、
抽出された前記マッチングブロック領域の情報を用いて、前記第１画像の被写体の種類判別処理を行うことを特徴とする画像処理装置。
【請求項４３】
請求項４２において、
前記種類判別部は、
前記第１画像の前記各ブロック領域と画像がマッチングする領域として、複数のマッチングブロック領域が抽出された場合に、前記複数のマッチングブロック領域の中から重み付け信頼度情報により選択されたマッチングブロック領域の情報を用いて、前記第１画像の被写体の種類判別処理を行うことを特徴とする画像処理装置。
【請求項４４】
請求項４３において、
前記種類判別部は、
前記重み付け信頼度情報として、前記第１画像と前記各第２画像との間の時系列的な距離情報、及び前記各第２画像内での前記マッチングブロック領域の位置情報の少なくとも一方を用いることを特徴とする画像処理装置。
【請求項４５】
画像を取得する画像取得部と、
取得された画像上の被写体の種類判別についての信頼度を取得する処理を行う信頼度処理部と、
被写体の種類判別処理を行う種類判別部とを含み、
前記画像取得部は、
第１画像と、前記第１画像とは取得フレームが異なる第２画像を取得し、
前記信頼度処理部は、
前記信頼度が高いエリアを高信頼度エリアに設定し、前記高信頼度エリアよりも前記信頼度が低いエリアを低信頼度エリアに設定し、
前記種類判別部は、
前記第１画像の前記低信頼度エリアでの被写体の種類判別処理を、前記第２画像の情報を用いて行うことを特徴とする画像処理装置。
【請求項４６】
画像を取得する画像取得部と、
取得された画像上の被写体の種類判別についての信頼度を取得する処理を行う信頼度処理部と、
被写体の種類判別処理を行う種類判別部とを含み、
前記画像取得部は、
第１画像と、前記第１画像とは取得フレームが異なる第２画像を取得し、
前記種類判別部は、
前記第１画像の被写体の種類判別処理に前記第２画像の情報を用いるか否かを、前記第１画像において取得された前記信頼度に基づいて判断することを特徴とする内視鏡システム。
【請求項４７】
画像を取得する画像取得部と、
取得された画像上の被写体の種類判別についての信頼度を取得する処理を行う信頼度処理部と、
被写体の種類判別処理を行う種類判別部とを含み、
前記画像取得部は、
第１画像と、前記第１画像とは取得フレームが異なる第２画像を取得し、
前記信頼度処理部は、
前記信頼度が高いエリアを高信頼度エリアに設定し、前記高信頼度エリアよりも前記信頼度が低いエリアを低信頼度エリアに設定し、
前記種類判別部は、
前記第１画像の前記低信頼度エリアでの被写体の種類判別処理を、前記第２画像の情報を用いて行うことを特徴とする内視鏡システム。
【請求項４８】
画像を取得する画像取得部と、
取得された画像上の被写体の種類判別についての信頼度を取得する処理を行う信頼度処理部と、
被写体の種類判別処理を行う種類判別部として、
コンピュータを機能させ、
前記画像取得部は、
第１画像と、前記第１画像とは取得フレームが異なる第２画像を取得し、
前記種類判別部は、
前記第１画像の被写体の種類判別処理に前記第２画像の情報を用いるか否かを、前記第１画像において取得された前記信頼度に基づいて判断することを特徴とするプログラム。
【請求項４９】
画像を取得する画像取得部と、
取得された画像上の被写体の種類判別についての信頼度を取得する処理を行う信頼度処理部と、
被写体の種類判別処理を行う種類判別部として、
コンピュータを機能させ、
前記画像取得部は、
第１画像と、前記第１画像とは取得フレームが異なる第２画像を取得し、
前記信頼度処理部は、
前記信頼度が高いエリアを高信頼度エリアに設定し、前記高信頼度エリアよりも前記信頼度が低いエリアを低信頼度エリアに設定し、
前記種類判別部は、
前記第１画像の前記低信頼度エリアでの被写体の種類判別処理を、前記第２画像の情報を用いて行うことを特徴とするプログラム。
【請求項１】
画像を取得する画像取得部と、
取得された画像上の被写体の種類判別についての信頼度を取得する処理を行う信頼度処理部と、
被写体の種類判別処理を行う種類判別部とを含み、
前記画像取得部は、
第１画像と、前記第１画像とは取得フレームが異なる第２画像を取得し、
前記種類判別部は、
前記第１画像の被写体の種類判別処理に前記第２画像の情報を用いるか否かを、前記第１画像において取得された前記信頼度に基づいて判断することを特徴とする画像処理装置。
【請求項２】
請求項１において、
前記信頼度処理部は、
前記信頼度が高いエリアを高信頼度エリアに設定し、前記高信頼度エリアよりも前記信頼度が低いエリアを低信頼度エリアに設定し、
前記種類判別部は、
前記第１画像の前記低信頼度エリアでの被写体の種類判別処理を、前記第２画像の情報を用いて行うことを特徴とする画像処理装置。
【請求項３】
請求項２において、
前記種類判別部は、
前記第１画像の前記低信頼度エリアでの被写体の種類判別処理を、前記第２画像の前記高信頼度エリアでの情報を用いて行うことを特徴とする画像処理装置。
【請求項４】
請求項２において、
前記種類判別部は、
前記第１画像の前記高信頼度エリアでの被写体の種類判別処理については、前記第１画像の情報を用いて行うことを特徴とする画像処理装置。
【請求項５】
請求項４において、
前記種類判別部は、
前記第１画像を用いて行われた前記高信頼度エリアでの種類判別処理の結果と、前記第２画像を用いて行われた前記低信頼度エリアでの種類判別処理の結果とを合成する合成部を含むことを特徴とする画像処理装置。
【請求項６】
請求項５において、
前記合成部は、
注目部を判別するための注目部情報と、信頼度を判別するための信頼度情報を、前記第１画像の各画素に対応づけて保存部に保存することを特徴とする画像処理装置。
【請求項７】
請求項２において、
前記種類判別部は、
前記第１画像の前記低信頼度エリアでの被写体の種類判別処理を、前記第１画像の情報と前記第２画像の情報の両方を用いて行うことを特徴とする画像処理装置。
【請求項８】
請求項２において、
前記第２画像の情報は、注目部を判別するための注目部情報と、信頼度を判別するための信頼度情報を含み、
前記種類判別部は、
前記第１画像の前記低信頼度エリアでの被写体の種類判別処理を、前記第２画像の前記注目部情報と前記信頼度情報を用いて行うことを特徴とする画像処理装置。
【請求項９】
請求項２において、
前記種類判別部は、
前記第１画像において被写体の種類判別処理が行われる処理領域が、前記低信頼度エリアである場合に、前記処理領域に対応する前記第２画像の対応処理領域での情報に基づいて、前記第１画像の前記処理領域での被写体の種類判別処理を行うことを特徴とする画像処理装置。
【請求項１０】
請求項９において、
前記種類判別部は、
前記処理領域の画像と前記第２画像とのマッチング処理を行うことで、前記処理領域に対応する前記対応処理領域を抽出することを特徴とする画像処理装置。
【請求項１１】
請求項９において、
前記種類判別部は、
前記第１画像の前記処理領域での画素の特徴量に基づいて注目候補画素を抽出し、抽出された前記注目候補画素が注目画素であるか否かを、前記第２画像の前記対応処理領域での情報に基づいて判断することを特徴とする画像処理装置。
【請求項１２】
請求項１１において、
前記第２画像の前記対応処理領域での情報は、注目部を判別するための注目部情報と、信頼度を判別するための信頼度情報を含み、
前記種類判別部は、
前記注目部情報と前記信頼度情報に基づいて、前記注目候補画素が前記注目画素であるか否かを判断することを特徴とする画像処理装置。
【請求項１３】
請求項１において、
前記信頼度処理部は、
前記第１画像の被写体像の明るさ情報、前記第１画像の被写体像の色情報、及び前記第１画像を撮像した撮像部と被写体との間の距離情報の少なくとも１つに基づいて、前記信頼度を算出することを特徴とする画像処理装置。
【請求項１４】
請求項１において、
前記信頼度処理部は、
前記第１画像内での位置情報に応じて、前記信頼度を設定することを特徴とする画像処理装置。
【請求項１５】
請求項１４において、
前記信頼度処理部は、
前記第１画像の中央部を高信頼度エリアに設定し、前記中央部の周りの周辺部を、前記高信頼度エリアよりも信頼度が低い低信頼度エリアに設定することを特徴とする画像処理装置。
【請求項１６】
請求項１４において、
前記信頼度処理部は、
前記第１画像の中央部を低信頼度エリアに設定し、前記中央部の周りの周辺部を、前記低信頼度エリアよりも信頼度が高い高信頼度エリアに設定することを特徴とする画像処理装置。
【請求項１７】
請求項１４において、
前記画像取得部は、
体内の隆起物が画像の中央になるように撮像部により撮像された画像を、前記第１画像として取得し、
前記信頼度処理部は、
前記第１画像の中央部を高信頼度エリアに設定し、前記中央部の周りの周辺部を、前高信頼度エリアよりも信頼度が低い低信頼度エリアに設定することを特徴とする画像処理装置。
【請求項１８】
請求項１４において、
前記画像取得部は、
体内の管空状の形態が画像の中央になるように撮像部により撮像された画像を、前記第１画像として取得し、
前記信頼度処理部は、
前記第１画像の中央部を低信頼度エリアに設定し、前記中央部の周りの周辺部を、前記低信頼度エリアよりも信頼度が高い高信頼度エリアに設定することを特徴とする画像処理装置。
【請求項１９】
請求項１において、
前記信頼度処理部は、
前記第１画像を、複数のブロック領域に分割する分割部を含み、
前記信頼度処理部は、
前記複数のブロック領域の各ブロック領域において、前記信頼度を取得することを特徴とする画像処理装置。
【請求項２０】
請求項１９において、
前記種類判別部は、
前記各ブロック領域を処理領域として、被写体の種類判別処理を行うことを特徴とする画像処理装置。
【請求項２１】
請求項１において、
前記種類判別部は、
前記種類判別処理として、前記第１画像の被写体が注目部であるか非注目部であるかを判別する処理を行うことを特徴とする画像処理装置。
【請求項２２】
請求項２１において、
前記種類判別部は、
前記種類判別処理として、前記第１画像の被写体が病変部であるか正常部であるかを判別する処理を行うことを特徴とする画像処理装置。
【請求項２３】
請求項１において、
前記画像取得部は、
前記第１画像及び前記第２画像の少なくとも１つとして、特定の波長帯域の情報を含む特殊光画像を取得することを特徴とする画像処理装置。
【請求項２４】
請求項１において、
前記画像取得部は、
前記第１画像として、白色光の波長帯域の情報を含む通常光画像と、特定の波長帯域の情報を含む特殊光画像を取得し、
前記種類判別部は、
前記通常光画像及び前記特殊光画像のうちの少なくとも前記特殊光画像を用いて、被写体の種類判別処理を行うことを特徴とする画像処理装置。
【請求項２５】
請求項２４において、
前記種類判別部は、
前記特殊光画像の特徴量である輝度情報及び色情報の少なくとも一方に基づいて、被写体が病変部であるか正常部であるかの種類判別処理を行うことを特徴とする画像処理装置。
【請求項２６】
請求項２４において、
前記信頼度処理部は、
前記通常光画像及び前記特殊光画像のうちの少なくとも前記通常光画像を用いて、前記信頼度を取得することを特徴とする画像処理装置。
【請求項２７】
請求項２４において、
前記画像取得部は、
前記第２画像として、特定の波長帯域の情報を含む特殊光画像を取得し、
前記種類判別部は、
前記第２画像の前記特殊光画像により取得された情報を用いて、前記第１画像の被写体の種類判別処理を行うことを特徴とする画像処理装置。
【請求項２８】
請求項２４において、
前記特定の波長帯域は、
前記白色光の波長帯域よりも狭い帯域であることを特徴とする画像処理装置。
【請求項２９】
請求項２４において、
前記通常光画像及び前記特殊光画像は生体内を写した生体内画像であり、
前記生体内画像に含まれる前記特定の波長帯域は、血液中のヘモグロビンに吸収される波長の波長帯域であることを特徴とする画像処理装置。
【請求項３０】
請求項２９において、
前記特定の波長帯域は、３９０ナノメータ〜４４５ナノメータ、または５３０ナノメータ〜５５０ナノメータであることを特徴とする画像処理装置。
【請求項３１】
請求項２４において、
前記通常光画像及び前記特殊光画像は生体内を写した生体内画像であり、
前記生体内画像に含まれる前記特定の波長帯域は、蛍光物質が発する蛍光の波長帯域であることを特徴とする画像処理装置。
【請求項３２】
請求項３１において、
前記特定の波長帯域は、４９０ナノメータ〜６２５ナノメータの波長帯域であることを特徴とする画像処理装置。
【請求項３３】
請求項２４において、
前記通常光画像及び前記特殊光画像は生体内を写した生体内画像であり、
前記生体内画像に含まれる前記特定の波長帯域は、赤外光の波長帯域であることを特徴とする画像処理装置。
【請求項３４】
請求項３３において、
前記特定の波長帯域は、７９０ナノメータ〜８２０ナノメータ、または９０５ナノメータ〜９７０ナノメータの波長帯域であることを特徴とする画像処理装置。
【請求項３５】
請求項２４において、
前記画像取得部は、
取得された前記通常光画像に基づいて、前記特殊光画像を生成することを特徴とする画像処理装置。
【請求項３６】
請求項３５において、
前記画像取得部は、
取得された前記通常光画像から、白色光の波長帯域における信号を抽出する信号抽出部を含み、
前記画像取得部は、
抽出された前記白色光の波長帯域における信号に基づいて、前記特定の波長帯域における信号を含む前記特殊光画像を生成することを特徴とする画像処理装置。
【請求項３７】
請求項３６において、
前記画像取得部は、
前記白色光の波長帯域における信号から、前記特定の波長帯域における信号を算出するためのマトリクスデータを設定するマトリクスデータ設定部を含み、
前記画像取得部は、
設定された前記マトリクスデータを用いて、前記白色光の波長帯域における信号から前記特定の波長帯域における信号を算出して、前記特殊光画像を生成することを特徴とする画像処理装置。
【請求項３８】
請求項１において、
前記画像取得部は、
撮像部により時系列に撮像された画像を、前記第１画像及び前記第２画像として取得し、
前記種類判別部は、
前記第１画像よりも時系列で前のフレームで取得された少なくとも１枚の前記第２画像の情報を用いて、前記第１画像の被写体の種類判別処理を行うことを特徴とする画像処理装置。
【請求項３９】
請求項１において、
前記画像取得部は、
撮像部により時系列に撮像された画像を、前記第１画像及び前記第２画像として取得し、
前記種類判別部は、
前記第１画像よりも時系列で後のフレームで取得された少なくとも１枚の前記第２画像の情報を用いて、前記第１画像の被写体の種類判別処理を行うことを特徴とする画像処理装置。
【請求項４０】
請求項１において、
前記画像取得部は、
撮像部により時系列に撮像された画像を、前記第１画像及び前記第２画像として取得し、
前記種類判別部は、
前記第１画像よりも時系列で前のフレームで取得された少なくとも１枚の前記第２画像の情報と、前記第１画像よりも時系列で後のフレームで取得された少なくとも１枚の前記第２画像の情報を用いて、前記第１画像の被写体の種類判別処理を行うことを特徴とする画像処理装置。
【請求項４１】
請求項１において、
前記画像取得部は、
撮像部により時系列に撮像された画像を、前記第１画像及び前記第２画像として取得し、
前記種類判別部は、
前記第１画像とは取得フレームが異なる複数枚の前記第２画像の情報を用いて、前記第１画像の被写体の種類判別処理を行うことを特徴とする画像処理装置。
【請求項４２】
請求項４１において、
前記種類判別部は、
前記第１画像を分割した複数のブロック領域の各ブロック領域の画像と、複数枚の前記第２画像の各第２画像とのマッチング処理を行って、前記第１画像のブロック領域と画像がマッチングする前記各第２画像内の領域を、マッチングブロック領域として抽出し、
抽出された前記マッチングブロック領域の情報を用いて、前記第１画像の被写体の種類判別処理を行うことを特徴とする画像処理装置。
【請求項４３】
請求項４２において、
前記種類判別部は、
前記第１画像の前記各ブロック領域と画像がマッチングする領域として、複数のマッチングブロック領域が抽出された場合に、前記複数のマッチングブロック領域の中から重み付け信頼度情報により選択されたマッチングブロック領域の情報を用いて、前記第１画像の被写体の種類判別処理を行うことを特徴とする画像処理装置。
【請求項４４】
請求項４３において、
前記種類判別部は、
前記重み付け信頼度情報として、前記第１画像と前記各第２画像との間の時系列的な距離情報、及び前記各第２画像内での前記マッチングブロック領域の位置情報の少なくとも一方を用いることを特徴とする画像処理装置。
【請求項４５】
画像を取得する画像取得部と、
取得された画像上の被写体の種類判別についての信頼度を取得する処理を行う信頼度処理部と、
被写体の種類判別処理を行う種類判別部とを含み、
前記画像取得部は、
第１画像と、前記第１画像とは取得フレームが異なる第２画像を取得し、
前記信頼度処理部は、
前記信頼度が高いエリアを高信頼度エリアに設定し、前記高信頼度エリアよりも前記信頼度が低いエリアを低信頼度エリアに設定し、
前記種類判別部は、
前記第１画像の前記低信頼度エリアでの被写体の種類判別処理を、前記第２画像の情報を用いて行うことを特徴とする画像処理装置。
【請求項４６】
画像を取得する画像取得部と、
取得された画像上の被写体の種類判別についての信頼度を取得する処理を行う信頼度処理部と、
被写体の種類判別処理を行う種類判別部とを含み、
前記画像取得部は、
第１画像と、前記第１画像とは取得フレームが異なる第２画像を取得し、
前記種類判別部は、
前記第１画像の被写体の種類判別処理に前記第２画像の情報を用いるか否かを、前記第１画像において取得された前記信頼度に基づいて判断することを特徴とする内視鏡システム。
【請求項４７】
画像を取得する画像取得部と、
取得された画像上の被写体の種類判別についての信頼度を取得する処理を行う信頼度処理部と、
被写体の種類判別処理を行う種類判別部とを含み、
前記画像取得部は、
第１画像と、前記第１画像とは取得フレームが異なる第２画像を取得し、
前記信頼度処理部は、
前記信頼度が高いエリアを高信頼度エリアに設定し、前記高信頼度エリアよりも前記信頼度が低いエリアを低信頼度エリアに設定し、
前記種類判別部は、
前記第１画像の前記低信頼度エリアでの被写体の種類判別処理を、前記第２画像の情報を用いて行うことを特徴とする内視鏡システム。
【請求項４８】
画像を取得する画像取得部と、
取得された画像上の被写体の種類判別についての信頼度を取得する処理を行う信頼度処理部と、
被写体の種類判別処理を行う種類判別部として、
コンピュータを機能させ、
前記画像取得部は、
第１画像と、前記第１画像とは取得フレームが異なる第２画像を取得し、
前記種類判別部は、
前記第１画像の被写体の種類判別処理に前記第２画像の情報を用いるか否かを、前記第１画像において取得された前記信頼度に基づいて判断することを特徴とするプログラム。
【請求項４９】
画像を取得する画像取得部と、
取得された画像上の被写体の種類判別についての信頼度を取得する処理を行う信頼度処理部と、
被写体の種類判別処理を行う種類判別部として、
コンピュータを機能させ、
前記画像取得部は、
第１画像と、前記第１画像とは取得フレームが異なる第２画像を取得し、
前記信頼度処理部は、
前記信頼度が高いエリアを高信頼度エリアに設定し、前記高信頼度エリアよりも前記信頼度が低いエリアを低信頼度エリアに設定し、
前記種類判別部は、
前記第１画像の前記低信頼度エリアでの被写体の種類判別処理を、前記第２画像の情報を用いて行うことを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【公開番号】特開２０１１−２１８０９０（Ｐ２０１１−２１８０９０Ａ）
【公開日】平成２３年１１月４日（２０１１．１１．４）
【国際特許分類】
【出願番号】特願２０１０−９３２０８（Ｐ２０１０−９３２０８）
【出願日】平成２２年４月１４日（２０１０．４．１４）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２３年１１月４日（２０１１．１１．４）
【国際特許分類】
【出願日】平成２２年４月１４日（２０１０．４．１４）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]