内視鏡用画像処理装置、内視鏡装置及び画像処理方法
【課題】境界領域による視認性低下を抑制することが可能な内視鏡用画像処理装置、内視鏡装置及び画像処理方法等を提供すること
【解決手段】内視鏡用画像処理装置は、画像取得部３０５と、境界領域補正部３１５を含む。画像取得部３０５は、前方視野に対応する前方画像と、側方視野に対応する側方画像とが、１枚の取得画像として形成された画像信号を、取得する。取得画像における前方視野に対応する領域を前方領域とし、取得画像における側方視野に対応する領域を側方領域とする。境界領域補正部３１５は、前方領域の画像及び側方領域の画像のうちの少なくとも一方を、前方領域と側方領域の境界となる領域である境界領域に対してオーバーラップする処理を行う。
【解決手段】内視鏡用画像処理装置は、画像取得部３０５と、境界領域補正部３１５を含む。画像取得部３０５は、前方視野に対応する前方画像と、側方視野に対応する側方画像とが、１枚の取得画像として形成された画像信号を、取得する。取得画像における前方視野に対応する領域を前方領域とし、取得画像における側方視野に対応する領域を側方領域とする。境界領域補正部３１５は、前方領域の画像及び側方領域の画像のうちの少なくとも一方を、前方領域と側方領域の境界となる領域である境界領域に対してオーバーラップする処理を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、内視鏡用画像処理装置、内視鏡装置及び画像処理方法等に関する。
【背景技術】
【０００２】
従来から内視鏡診断において体腔内の病変検出精度を向上させたいという要求があり、１７０度の広角光学系を有する内視鏡スコープが開発されている。
【０００３】
上記内視鏡スコープでは、例えば大腸のような大きなヒダを持った臓器のヒダの裏等のように、側方のやや後方に位置する領域は視野範囲に入らないことがあるため、そのような領域に存在する病変を画像として取得することが困難な場合がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１１７６６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
例えば、ヒダ裏等のような側方のやや後方に位置する領域を観察するために、１８０度以上の画角を有する魚眼レンズを備えた内視鏡スコープを用いる手法が考えられる。
【０００６】
しかしながら、この手法では、魚眼レンズの光学収差（特に歪曲収差）が大きいため、側方視野となる画像周辺部が大きく歪み、ヒダ裏の病変を十分大きなサイズで観察することが困難である。
【０００７】
特許文献１には、前方視野と側方視野の両方を同時に観察する光学系が開示されている。この光学系では、側方視野である画像周辺部の歪曲収差を小さくできるため、例えば大腸のヒダ裏観察に有効である。
【０００８】
しかしながら、上記光学系では、撮像画像の中央部が前方視野に対応し、その中央部の周辺のドーナッツ状領域が側方視野に対応するが、その２つの視野の間に死角となる境界領域が形成されるという課題がある。例えば、上記光学系で大腸を観察すると、本来ヒダが無いにも関わらず、境界領域をヒダと見誤る可能性がある。
【０００９】
本発明の幾つかの態様によれば、境界領域による視認性低下を抑制することが可能な内視鏡用画像処理装置、内視鏡装置及び画像処理方法等を提供できる。
【課題を解決するための手段】
【００１０】
本発明の一態様は、前方視野に対応する前方画像と、側方視野に対応する側方画像とが、１枚の取得画像として形成された画像信号を、取得する画像取得部と、前記取得画像における前記前方視野に対応する領域を前方領域とし、前記取得画像における前記側方視野に対応する領域を側方領域とする場合に、前記前方領域の画像及び前記側方領域の画像のうちの少なくとも一方を、前記前方領域と前記側方領域の境界となる領域である境界領域に対してオーバーラップさせるオーバーラップ処理を行う境界領域補正部と、を含む内視鏡用画像処理装置に関係する。
【００１１】
本発明の一態様によれば、前方画像と側方画像とが１枚の取得画像として形成された画像信号が取得され、前方領域の画像及び側方領域の画像のうちの一方を、境界領域に対してオーバーラップする処理が行われる。これにより、境界領域による視認性低下を抑制することが可能になる。
【００１２】
また本発明の他の態様は、前方視野に対応する前方画像と、側方視野に対応する側方画像とが、１枚の取得画像として形成された画像信号を、取得し、前記取得画像における前記前方視野に対応する領域を前方領域とし、前記取得画像における前記側方視野に対応する領域を側方領域とする場合に、前記前方領域の画像及び前記側方領域の画像のうちの少なくとも一方を、前記前方領域と前記側方領域の境界となる領域である境界領域に対してオーバーラップさせるオーバーラップ処理を行う画像処理方法に関係する。
【図面の簡単な説明】
【００１３】
【図１】内視鏡装置の第１の構成例。
【図２】回転色フィルタの詳細な構成例。
【図３】色フィルタの分光透過率特性の例。
【図４】図４（Ａ）、図４（Ｂ）は、対物レンズの詳細な構成例。図４（Ｃ）は、対物レンズにより撮像画像される画像についての説明図。
【図５】画像処理部の第１の詳細な構成例。
【図６】図６（Ａ）〜図６（Ｅ）は、境界領域を補正する処理についての説明図。
【図７】図７（Ａ）〜図７（Ｅ）は、境界領域を補正する処理についての説明図。
【図８】図８（Ａ）〜図８（Ｃ）は、変倍処理についての説明図。
【図９】抽出境界線の設定手法の変形例についての説明図。
【図１０】内視鏡装置の第２の構成例。
【図１１】ベイヤ配列における画素配列の模式図。
【図１２】画像処理部の第２の詳細な構成例。
【図１３】抽出領域設定部の詳細な構成例。
【図１４】図１４（Ａ）〜図１４（Ｃ）は、シェーディング補正についての説明図。
【発明を実施するための形態】
【００１４】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００１５】
１．本実施形態の概要
図４（Ａ）等で後述するように、本実施形態の内視鏡装置の光学系では、側方視野を観察するための反射光学系と、前方視野を観察するための屈折光学系が組み合わされている。このような光学系で撮像された画像では、反射光学系の視野と屈折光学系の視野の境界領域にシェーディングが発生する。このような局所的にシェーディングがある状態で大腸を観察すると、境界領域に本来のヒダが無い状態であっても、境界領域のシェーディングをヒダによる影と見誤る可能性があるという課題がある。
【００１６】
そこで本実施形態では、図６（Ａ）〜図７（Ｅ）等で説明するように、前方視野に対応する領域ＦＲ、又は側方視野に対応する領域ＳＲを拡大する処理を行い、その拡大した領域を、前方視野と側方視野の境界領域にオーバーラップする。これにより、光学系によるシェーディングを表示画像から消すことが可能になるので、境界領域を大腸のヒダによる影と誤認するのを防止でき、視認性の高い広視野の内視鏡装置を実現できる。
【００１７】
２．第１の実施形態
２．１．内視鏡装置
図１に、内視鏡装置の第１の構成例を示す。内視鏡装置は、光源部１００、撮像部２００、制御装置３００（プロセッサ部）、表示部４００、外部Ｉ／Ｆ部５００を含む。
【００１８】
光源部１００は、白色光源１０１と、複数の分光透過率を持つ回転色フィルタ１０２と、回転色フィルタ１０２を駆動させる回転駆動部１０３と、回転色フィルタ１０２からの分光特性を持った光をライトガイドファイバ２０１の入射端面に集光させる集光レンズ１０４と、を含む。
【００１９】
図２に示すように、回転色フィルタ１０２は、例えば三原色の赤（Ｒ）の色フィルタ６０１と、緑（Ｇ）の色フィルタ６０２と、青（Ｂ）の色フィルタ６０３と、回転モータ８０３と、から構成される。図３に、これら３つの色フィルタの分光特性を示す。
【００２０】
回転駆動部１０３は、制御装置３００の制御部３０２からの制御信号に基づいて、撮像素子２０９の撮像期間と同期して回転色フィルタ１０２を所定回転数で回転させる。例えば、色フィルタを１秒間に２０回転させると、各色フィルタは６０分の１秒間隔で入射白色光を横切ることになる。この場合、撮像素子２０９は、６０分の１秒間隔で３原色の各色光（Ｒ或はＧ或はＢ）に対する観察対象からの反射光を撮像し、画像の転送を完了することになる。即ち、本実施形態では、Ｒ画像、Ｇ画像、Ｂ画像が６０分の１秒間隔で撮像される面順次方式の撮像を行い、実質のフレームレートは２０ｆｐｓ（fps: frame per second）となる。
【００２１】
撮像部２００は、例えば大腸などの体腔への挿入を可能にするため細長くかつ湾曲可能に形成される。撮像部２００は、光源部１００により集光された光を導くためのライトガイドファイバ２０１と、ライトガイドファイバ２０１により先端まで導かれた光を拡散させて観察対象に照射する照明レンズ２０２、２０４と、を含む。また撮像部２００は、観察対象から戻る反射光を集光する対物レンズ２０３と、集光した結像光を検出するための撮像素子２０９と、撮像素子２０９からの光電変換されたアナログ信号をデジタル信号に変換するＡ／Ｄ変換部２１０と、を含む。また撮像部２００は、メモリ２１１と、制御装置３００に対して撮像部２００を着脱可能にするためのコネクタ２１２と、を含む。
【００２２】
メモリ２１１は、後述する前方視野画像と側方視野画像の抽出境界線情報や、前方視野画像と側方視野画像の表示倍率情報や、撮像部２００に固有の製造バラツキに関係する固有情報が記録される。
【００２３】
撮像素子２０９は、モノクロ単板撮像素子であり、例えばＣＣＤやＣＭＯＳイメージセンサ等が利用できる。
【００２４】
対物レンズ２０３は、後述するように前方観察光学系と側方観察光学系の組み合わせにより１８０度以上の視野角を持つ光学系で構成され、例えば大腸のヒダ裏にある病変部１０を観察できるようになっている。
【００２５】
照明レンズ２０２、２０４は、対物レンズ２０３の視野角内の観察対象を均一に照明できるように対物レンズ２０３の光軸に対して外側を向いて配置される。本実施形態では、数千本からなるライトガイドファイバ２０１を２つに分割したが、更に多くに分割して対応する照明レンズを内視鏡スコープ先端に配置してもよい。これにより広視野角の領域をより均一に照明できるようになる。また照明としてＬＥＤや有機ＥＬ等の発光素子を内視鏡スコープ先端に多数配置してもよい。
【００２６】
制御装置３００は、前方視野画像と側方視野画像の境界領域を補正する処理を行う画像処理部３０１と、内視鏡装置各部の制御を行う制御部３０２と、を含む。
【００２７】
表示部４００は、例えばＣＲＴや液晶モニタ等の動画表示可能な表示装置により構成される。
【００２８】
外部Ｉ／Ｆ部５００は、この内視鏡装置に対するユーザからの入力等を行うためのインターフェースである。例えば、外部Ｉ／Ｆ部５００は、電源のオン／オフを行うための電源スイッチや、撮影操作を開始するためのシャッタボタン、撮影モードやその他各種のモードを切り換えるためのモード切換スイッチ（例えば前方視野画像と側方視野画像の表示面積比率を手動で切換える為のスイッチ）などを含む。外部Ｉ／Ｆ部５００は、入力された情報を制御部３０２へ出力する。
【００２９】
２．２．対物レンズ
図４（Ａ）に、前方視野と側方視野を観察する対物レンズの詳細な構成例を示す。図４（Ａ）に示すように、レンズ２０の前面には、前方視野からの光が入射し、レンズ２０の側面には、側方視野からの光が入射する。前方視野からの光は、レンズ２０の透過部２１（屈折部）を透過し、撮像素子２０９へ導かれる。側方視野からの光は、レンズ２０の反射部２６、２２に反射され、撮像部２００へ導かれる。
【００３０】
図４（Ｂ）に示すように、レンズ２０を光軸Ｚ前方側から見た場合、前方視野からの光を透過する透過部２１（透過領域）と、側方視野からの光線を反射する反射部２２（反射領域）から構成される。このような光学系では、反射部２２と透過部２１の境界領域において、前方視野の被写体からの反射光が一部遮られる。そのため、図４（Ｃ）に示すように、撮像素子上に結像した前方視野画像２３と側方視野画像２４の境界領域には、シェーディングが発生する。このシェーディングにより、境界領域は黒い帯状の円環領域２５となる。
【００３１】
ここで、前方視野とは、光軸方向を含む前方の視野範囲であり、例えば光軸に対して０度〜７０度の範囲である。側方視野とは、光軸に直交する方向を含む側方の視野範囲であり、例えば光軸に対して７０度〜１３５度の範囲である。本実施形態の対物レンズ２０３は、例えば光軸に対して０度〜１１０度の視野範囲を有する。
【００３２】
また、シェーディングとは、画像上における陰影であり、光学系に起因して画像上において他の領域よりも暗い（例えば輝度が小さい）ことである。例えば、図４（Ａ）に示すように、前方視野と側方視野の間にはレンズ２０による死角が生じ、その死角に対応する画像上の影がシェーディングとなる。あるいは、透過部２１を透過する前方視野の光は、光学系によるケラレ等によって周辺減光を生じ、その周辺減光がシェーディングとなる。
【００３３】
２．３．画像処理部
図５に、画像処理部３０１の第１の詳細な構成例を示す。画像処理部３０１は、画像取得部３０５、出力画像生成部３１０、境界領域補正部３１５、境界線描画部３６０を含む。境界領域補正部３１５は、領域抽出部３２０、変倍処理部３２５、合成部３５０を含む。変倍処理部３２５は、第１領域倍率補正部３３０、第２領域倍率補正部３４０を含む。
【００３４】
各構成部間の接続関係とデータの流れを説明する。Ａ／Ｄ変換部２１０から出力された撮像画像は、画像取得部３０５に入力される。制御部３０２は、画像取得部３０５と、出力画像生成部３１０と、領域抽出部３２０と、第１領域倍率補正部３３０と、第２領域倍率補正部３４０と、境界線描画部３６０と、に接続されている。制御部３０２には、メモリ２１１に記録された撮像部２００に固有の情報（前方視野画像及び側方視野画像の抽出境界情報や、前方視野画像と側方視野画像の表示倍率情報）が入力される。
【００３５】
画像取得部３０５は、前方視野と側方視野が撮像された１枚の画像を取得し、取得した画像を出力画像生成部３１０に出力する。具体的には、上述のレンズ２０を用いて前方視野と側方視野が同時に１枚の画像として撮像され、画像取得部３０５が、その１枚の画像を取得する。なお、前方視野と側方視野は同時に撮像されなくてもよい。例えば、前方視野と側方視野が、別々の撮像動作により順次撮像され、画像取得部３０５が、その別々に撮像された前方視野画像と側方視野画像を合成して１枚の画像として取得してもよい。
【００３６】
出力画像生成部３１０は、入力された撮像画像を、制御部３０２から出力される出力画像生成パラメータ（例えばＯＢクランプ、ホワイトバランス、γ変換テーブル、強調係数、拡大倍率など）に基づいて表示モニタに表示可能な画像形式に変換し、変換後の画像を出力画像として領域抽出部３２０へ出力する。
【００３７】
境界領域補正部３１５は、前方視野画像及び側方視野画像のうちの少なくとも一方を、前方視野画像と側方視野画像の境界領域に対してオーバーラップさせて、境界領域を縮小するように補正する処理を行う。領域抽出部３２０には、メモリ２１１に記録されている前方視野画像と側方視野画像に対する抽出境界線情報が、制御部３０２を介して入力される。領域抽出部３２０により出力画像から抽出された前方視野画像は、第１領域倍率補正部３３０へ出力される。領域抽出部３２０により出力画像から抽出された側方視野画像は第２領域倍率補正部３４０へ出力される。
【００３８】
第１領域倍率補正部３３０は、入力される前方視野画像に対する変倍処理を、制御部３０２から出力される倍率情報に基づいて行い、変倍処理後の前方視野画像を合成部３５０へ出力する。前方視野画像に対する変倍処理として、倍率情報に基づく拡大処理と、等倍処理（倍率変化無し）と、縮小処理のうちのいずれかが、適宜行われる。この変倍処理は、前方視野画像の中心を基準としたときの径方向に沿って行われることが好ましい。
【００３９】
第２領域倍率補正部３４０は、入力される側方視野画像に対する変倍処理を、制御部３０２から出力される倍率情報に基づいて行い、変倍処理後の側方視野画像を合成部３５０へ出力する。側方視野画像に対する変倍処理として、倍率情報に基づく拡大処理と、等倍処理（倍率変化無し）と、縮小処理のうちのいずれかが、適宜行われる。
【００４０】
合成部３５０は、第１領域倍率補正部３３０から出力される変倍処理後の前方視野画像と、第２領域倍率補正部３４０から出力される変倍処理後の側方視野画像とを、境界領域でオーバーラップさせるようにして合成画像を作成し、合成画像を境界線描画部３６０へ出力する。オーバーラップの方法には、変倍後の前方視野画像を変倍後の側方視野画像にオーバーラップする方法、変倍後の側方視野画像を変倍後の前方視野画像にオーバーラップする方法がある。また、境界領域の前方視野画像側の領域において、変倍後の前方視野画像を変倍後の側方視野画像にオーバーラップするとともに、境界領域の側方視野画像側の領域において、変倍後の側方視野画像を変倍後の前方視野画像にオーバーラップしてもよい。
【００４１】
境界線描画部３６０は、合成部３５０から出力される合成画像に対して、制御部３０２からの前方視野画像と側方視野画像のオーバーラップ境界位置情報に基づいて、所定色の境界線を描画し、描画後の画像を表示部４００へ出力する。所定色は、例えば、黒等の固定色、或は周辺の色に対して反対色となる色などである。描画される境界線は、合成された前方視野画像と側方視野画像の境界が識別可能な形態であればよく、例えば実線や破線やその他の形態の線である。
【００４２】
次に、図６（Ａ）〜図６（Ｅ）に示す模式図を用いて、前方視野画像を用いて前方視野画像と側方視野画像の境界領域を補正する処理について説明する。
【００４３】
図６（Ａ）には、出力画像生成部３１０から出力される出力画像を示す。出力画像には、前方視野画像ＦＲ、側方視野画像ＳＲ、境界領域ＢＲが含まれる。Ｌ１は、前方視野画像ＦＲを抽出するための抽出境界線を表す。ＣＰは、前方視野画像ＦＲの中心位置を表す。
【００４４】
図６（Ｂ）に示すように、制御部３０２からの抽出境界線Ｌ１に基づいて、領域抽出部３２０により前方視野画像ＦＲが抽出される。抽出された前方視野画像ＦＲは、第１領域倍率補正部３３０により、制御部３０２からの中心位置ＣＰを基準に、制御部３０２からの倍率情報に基づいて径方向に拡大処理される。
【００４５】
図６（Ｃ）に示すように、第１領域倍率補正部３３０から出力された拡大された前方視野画像ＦＲ’は、合成部３５０により、第２領域倍率補正部３４０から出力された側方視野画像ＳＲ（例えば倍率変化無し）にオーバーラップされる。オーバーラップにより合成された画像は、合成画像として出力される。
【００４６】
図６（Ｄ）に示すように、合成部３５０から出力された合成画像のオーバーラップ境界部に、境界線描画部３６０により境界線ＷＬが描画される。描画後の画像は、前方視野画像と側方視野画像がより明確に識別可能な境界線描画済みの合成画像として出力される。オーバーラップ境界部は、例えばオーバーラップした前方視野画像ＦＲ’の外縁である。
【００４７】
なお、図６（Ｅ）に示すように、上記において前方視野画像ＦＲ（前方領域の画像）とは、抽出境界線Ｌ１（第１境界線）により抽出された画像を表し、側方視野画像ＳＲとは、側方観察光学系（図４（Ａ）の反射部２２、２６）により撮像される画像を表す。また、境界領域ＢＲとは、光学系の死角や周辺減光により生じるシェーディング領域を表す。
【００４８】
次に、図７（Ａ）〜図７（Ｅ）に示す模式図を用いて、側方視野画像を用いた前方視野画像と側方視野画像の境界領域の補正処理について説明する。
【００４９】
図７（Ａ）に示すように、Ｌ２は、側方視野画像ＳＲを抽出するための抽出境界線を表す。ＳＲＰは、側方視野ＳＲの外周を表す。
【００５０】
図７（Ｂ）に示すように、制御部３０２からの抽出境界線Ｌ２に基づいて、領域抽出部３２０により側方視野画像ＳＲが抽出される。抽出された側方視野画像ＳＲは、第２領域倍率補正部３４０により、制御部３０２からの情報である外周ＳＲＰを基準に、制御部３０２からの倍率情報に基づいて中心位置ＣＰに向かって径方向に拡大処理される。
【００５１】
図７（Ｃ）に示すように、第２領域倍率補正部３４０から出力された拡大された側方視野画像ＳＲ’は、合成部３５０により、第１領域倍率補正部３３０から出力された前方視野画像ＦＲ（例えば倍率変化無し）にオーバーラップされる。オーバーラップにより合成された画像は、合成画像として出力される。
【００５２】
図７（Ｄ）に示すように、合成部３５０から出力された合成画像のオーバーラップ境界部に、境界線描画部３６０により境界線ＷＬが描画される。描画後の画像は、前方視野画像と側方視野画像がより明確に識別可能な境界線描画済みの合成画像として出力される。オーバーラップ境界部は、例えばオーバーラップした側方視野画像ＳＲ’の内縁である。
【００５３】
なお、図７（Ｅ）に示すように、上記において前方視野画像ＦＲとは、前方観察光学系（図４（Ａ）の透過部２１）により撮像される画像を表し、側方視野画像ＳＲ（側方領域の画像）とは、抽出境界線Ｌ２（第２境界線）により抽出された画像を表す。
【００５４】
ここで、上述の前方視野画像の抽出境界線Ｌ１と、側方視野画像の抽出境界線Ｌ２は、例えばグレーパッチなどの均一な色チャートを撮影することにより設定する。具体的には、チャートが撮影された画像において、前方視野画像に属する第１の円と、側方視野画像に属する第２の円を設定する。第１、第２の円は中心を共有する円である。この２つの円の円周上の各最近点に対応する２つの画素の画素値差の絶対値が所定値以内となる場合において、第１、第２の円の半径差が最も小さな第１、第２の円を、抽出境界線Ｌ１、Ｌ２として設定する。このようにすれば、オーバーラップしたときに、オーバーラップ境界部において画素値の差を所定値より小さくできるため、見た目に違和感の無い画像を表示可能になる。
【００５５】
なお、上記では、前方視野画像又は側方視野画像の一方を変倍処理したが、本実施形態ではこれに限定されず、前方視野画像と側方視野画像の両方を変倍処理して合成することで境界領域を補正してもよい。
【００５６】
次に、図８（Ａ）〜図８（Ｃ）を用いて、変倍処理部３２５が行う変倍処理について説明する。
【００５７】
図８（Ａ）に示すように、前方視野画像と側方視野画像を両方とも拡大して境界領域を補正する場合、変倍処理による変位量は、前方視野画像において正であり、側方視野画像において負である。
【００５８】
図８（Ａ）において、グラフの横軸は、前方視野画像及び側方視野画像の中心（中心位置は２つの視野画像で共通）からの距離を表し、グラフの縦軸は、累積変位量を表す。前方視野画像における累積変位量の起点は、前方視野画像の中心であり、側方視野画像における累積変位量の起点は、側方視野画像の外周である。ＦＬは、前方視野画像に対する変位量の特性線を表し、ＳＬは、側方視野画像に対する変位量の特性線を表す。Ｄ１は、前方視野画像の中心から抽出境界線までの距離を表し、Ｄ２は、側方視野画像の中心から抽出境界線までの距離を表し、Ｄ３は、中心から側方視野画像の外周までの距離を表す。
【００５９】
図８（Ｂ）に示すように、前方視野画像を拡大し、側方視野画像を縮小して境界領域を補正する場合、変倍処理による変位量は、前方視野画像と側方視野画像において正である。
【００６０】
図８（Ｃ）に示すように、前方視野画像を縮小し、側方視野画像を拡大して境界領域を補正する場合、変倍処理による変位量は、前方視野画像と側方視野画像において負である。
【００６１】
上記３つの例の変倍率と変位量の関係式は以下の通りである。中心からの距離ｒに対する前方視野画像の変倍率Ｖｆ（ｒ）の一例を、下式（１）に示す。
Ｖｆ（ｒ）＝αｆｒ４＋βｆｒ２＋γｆ （１）
【００６２】
前方視野画像の変位量Ｄｆ（ｒ）を、下式（２）に示す。最大変位量、即ち距離Ｄ１における変位量は、Ｄｆ（Ｄ１）である。ここで、∫０→ｒは、区間［０，ｒ］の積分を表す。
Ｄｆ（ｒ）＝∫０→ｒＶｆ（ｘ）ｘｄｘ （２）
【００６３】
中心からの距離ｒに対する側方視野画像の変倍率Ｖｓ（ｒ）の一例を、下式（３）に示す。
Ｖｓ（ｒ）＝αｓｒ４＋βｓｒ２＋γｓ （３）
【００６４】
側方視野画像の変位量Ｄｓ（ｒ）を、下式（４）に示す。最大変位量、即ち距離Ｄ２における変位量は、Ｄｓ（Ｄ２）となる。ここで、∫Ｄ３→ｒは、区間［Ｄ３，ｒ］の積分を表す。
Ｄｓ（ｒ）＝∫Ｄ３→ｒＶｓ（ｘ）ｘｄｘ （４）
【００６５】
前方視野画像の最大変位量Ｄｆ（Ｄ１）と側方視野画像の最大変位量Ｄｓ（Ｄ２）は、下式（５）の関係を満足する。
Ｄ１＋Ｄｆ（Ｄ１）≧Ｄ２＋Ｄｓ（Ｄ２） （５）
【００６６】
例えば、外部Ｉ／Ｆ部５００のスイッチ操作により観察モードの変更を行い、上記変倍率パラメータαｆ、βｆ、γｆ、αｓ、βｓ、γｓを変更することで、境界領域を補正しつつ、前方視野画像と側方視野画像の全体及び局所的な表示比率を自由に変更することができる。これにより、観察したい病変部を自由に拡大表示することが可能となる。
【００６７】
以上の実施形態によれば、前方視野画像と側方視野画像の境界領域がヒダの影と誤認されることを防止でき、前方視野画像と側方視野画像の表示倍率を自由に変更できる。これにより、病変部の発見率向上に寄与することができる。
【００６８】
なお、上記の変倍率Ｖｆ（ｒ）、Ｖｓ（ｒ）において、係数αｆ、βｆ、αｓ、βｓは、ゼロであってもよい。この場合、中心からの距離ｒに依らず一定の変倍率γｆ、γｓで拡大縮小できる。
【００６９】
また、図９に示すように、抽出境界線Ｌ１、Ｌ２を、マージン領域ＭＲ１、ＭＲ２を確保して設定してもよい。ＭＲ１は、境界領域ＢＲと抽出境界線Ｌ１との間のマージン領域であり、ＭＲ２は、境界領域ＢＲと抽出境界線Ｌ２との間のマージン領域である。境界領域ＢＲは、光学設計上、観察に適さない視野角として決定された領域であり、その境界領域ＢＲに対して統計的な製造バラツキを考慮して十分なマージン領域ＭＲ１、ＭＲ２を確保する。このようにすれば、個別の撮像部２００に固有の抽出境界線Ｌ１、Ｌ２を記憶するメモリ２１１を用意しなくてもよいため、撮像部２００のコスト低減を図ることができる。
【００７０】
以上の実施形態によれば、図５に示すように内視鏡用画像処理装置は画像取得部３０５と境界領域補正部３１５を含む。図４で説明したように、画像取得部３０５は、前方視野に対応する前方画像（前方視野画像２３）と、側方視野に対応する側方画像（側方視野画像２４）とが、１枚の取得画像として形成された画像信号を、取得する。図６（Ａ）〜図７（Ｄ）で説明したように、境界領域補正部３１５は、取得画像における前方視野に対応する領域を前方領域とし、取得画像における側方視野に対応する領域を側方領域とする場合に、前方領域の画像ＦＲ及び側方領域の画像ＳＲのうちの少なくとも一方を、前方領域と側方領域の境界となる領域である境界領域ＢＲに対してオーバーラップさせるオーバーラップ処理を行う。
【００７１】
このようにすれば、境界領域ＢＲによる視認性低下を抑制することが可能になる。即ち、境界領域ＢＲを補正することで境界領域ＢＲのシェーディングを無くすことができるため、そのシェーディングをヒダの影と誤認することを防止できる。また、診断に不必要な領域を表示上から削除できるため、病変判定の効率向上が得られる。
【００７２】
ここで、オーバーラップ処理とは、画像の所定領域（本実施形態では境界領域）に対して、その所定領域とは異なる画像を上から重ねることである。例えば、画像が記憶される画像メモリにおいて、画像の所定領域に対応するメモリ領域に他の画像（本実施形態では、変倍後の画像）のデータを上書きすることにより、オーバーラップ処理が行われる。あるいは、画像から所定領域が削除され、その画像と他の画像とが１つの画像として合成されることによりオーバーラップ処理が行われる。
【００７３】
また、境界領域とは、前方領域と側方領域の間に存在するシェーディング領域であり、例えば本実施形態では、後述のように前方観察光学系と側方観察光学系の間の死角や、前方観察光学系の周辺減光により生じる領域である。あるいは、図５で説明したように前方視野と側方視野が時系列に撮像されてもよく、この場合、境界領域とは、前方画像と側方画像が合成された１枚の画像において、撮像光学系や合成処理等により生じたシェーディング領域である。
【００７４】
また本実施形態では、図５に示すように、境界領域補正部３１５は変倍処理部３２５と合成部３５０を含む。変倍処理部３２５は、前方領域の画像ＦＲ及び側方領域の画像ＳＲの少なくとも一方の表示倍率を変更する変倍処理を行う。合成部３５０は、変倍処理後の前方領域の画像と側方領域の画像を合成することにより、オーバーラップ処理を行う。
【００７５】
より具体的には、境界領域補正部３１５は領域抽出部３２０を有する。図６（Ａ）〜図７（Ｅ）で説明したように、領域抽出部３２０は、取得画像から、前方領域の画像ＦＲ及び側方領域の画像ＳＲのうちの一方を変倍処理の対象画像として抽出する。変倍処理部３２５は、その対象画像を拡大する変倍処理を行う。合成部３５０は、拡大された対象領域（ＦＲ’又はＳＲ’）と、前方領域及び側方領域のうちの他方（ＳＲ又はＦＲ）とを、合成する。
【００７６】
例えば、図６（Ａ）や図７（Ｂ）で説明したように、変倍処理部３２５は、前方視野画像ＦＲの中心ＣＰを基準としたときの径方向に沿って対象画像を拡大する処理を変倍処理として行う。ここで、径方向に沿った拡大処理は、図６（Ｂ）に示すように中心ＣＰから遠ざかる方向に対象画像を拡大する処理でもよいし、図７（Ｂ）に示すように中心ＣＰへ近づく方向に対象画像を拡大する処理でもよい。あるいは、対象画像の中心ＣＰ側を中心ＣＰへ近づく方向に、対象画像の外側を中心ＣＰから遠ざかる方向に拡大する処理でもよい。
【００７７】
このようにすれば、前方領域の画像ＦＲ及び側方領域の画像ＳＲのうちの一方を拡大し、他方と合成することで、境界領域ＢＲに対してオーバーラップ処理できる。一方のみを変倍処理するため、画像メモリ等のハードウェアを節約できる。
【００７８】
また本実施形態では、図８（Ａ）〜図８（Ｃ）で説明したように、変倍処理部３２５は、前方領域の画像ＦＲ及び側方領域の画像ＳＲのうちの一方を拡大する変倍処理を行い、前方領域の画像ＦＲ及び側方領域の画像ＳＲのうちの他方を縮小する変倍処理を行ってもよい。合成部３５０は、変倍処理後の前方領域の画像及び側方領域の画像を合成してもよい。
【００７９】
このようにすれば、前方領域の画像ＦＲ及び側方領域の画像ＳＲのうちの一方を拡大し、他方を縮小して合成することで、境界領域ＢＲに対してオーバーラップ処理できる。前方領域の画像ＦＲと側方領域の画像ＳＲを自由に拡大縮小できるため、観察領域を自在に拡大表示できる。例えば、視野中央部の病変部を観察する場合には前方領域の画像ＦＲを拡大し、スクリーニングにおいて視野側方のヒダ裏を観察する場合には側方視野の画像ＳＲを拡大できる。
【００８０】
また本実施形態では、図５に示すように、内視鏡用画像処理装置は境界線描画部３６０を含む。図６（Ｄ）等で説明したように、境界線描画部３６０は、合成された前方領域の画像と側方領域の画像の境界を識別可能にするための境界線ＷＬを描画する。
【００８１】
このようにすれば、前方領域の画像と側方領域の画像の境界を明確に表示できる。即ち、図４（Ａ）等で説明したように光学系により死角が生じ、その死角に対応する境界領域ＢＲをオーバーラップ処理により隠すため、合成された前方領域の画像と側方領域の画像の境界は不連続な画像になる。例えば鉗子等が境界にあると視覚的に違和感を与える可能性があるため、境界線を描画することで、その違和感を軽減できる。
【００８２】
また本実施形態では、境界領域は、図４（Ａ）〜図４（Ｃ）で説明したように、前方視野と側方視野を撮像するための光学系（レンズ２０）における光学設計値に基づく所定視野角の環状領域２５である。図９で説明したように、境界領域ＢＲと前方領域の間の境界線である第１境界線Ｌ１は、環状領域ＢＲよりも内側に設定される。境界領域ＢＲと側方領域の間の境界線である第２境界線Ｌ２は、環状領域ＢＲよりも外側に設定される。
【００８３】
このようにすれば、境界領域ＢＲよりも内側の前方領域と、境界領域ＢＲよりも外側の側方領域を抽出でき、境界領域ＢＲを除外した領域を抽出できる。
【００８４】
また本実施形態では、第１境界線Ｌ１と第２境界線Ｌ２は、所定視野角の環状領域ＢＲに対して、統計的な製造バラツキに応じたマージン領域ＭＲ１、ＭＲ２が付加（加味）されて設定される。
【００８５】
このようにすれば、製造バラツキを考慮した個々のスコープにおける境界線Ｌ１、Ｌ２を設定する必要がないため、共通の境界線Ｌ１、Ｌ２を用いることができる。これにより、例えば個々のスコープにおいて境界線の設定作業をする必要を無くすことができる。
【００８６】
また本実施形態では、図４（Ａ）等で説明したように、内視鏡装置は、前方視野を撮像するための前方観察光学系（レンズ２０の透過部２１）と、側方視野を撮像するための側方観察光学系（レンズ２０の反射部２２、２６）を含む。また図１に示すように、内視鏡装置は、前方視野と側方視野を同時に撮像する撮像素子２０９を含む。
【００８７】
このようにすれば、前方視野と側方視野を同時に１つの画像として撮像できる。なお、本実施形態では上記光学系に限定されず、例えば前方視野用と側方視野用の光学系が別個でない光学系により、前方視野と側方視野が時系列的に撮像されてもよい。この場合、図５で上述のように、時系列的に撮像された画像を合成することにより１つの画像としてもよい。
【００８８】
また本実施形態では、図４（Ａ）等で説明したように、境界領域は、前方観察光学系により得られる前方視野と、側方観察光学系により得られる側方視野との間の死角に対応する領域を含む。また、境界領域は、前方観察光学系の周辺減光によりシェーディングが生じた領域の少なくとも一部を含んでもよい。例えば、上述のグレーパッチを撮像した状態で、所定の輝度よりも暗い周辺減光領域が境界領域に含まれる。
【００８９】
３．第２の実施形態
３．１．内視鏡装置
図１０に、内視鏡装置の第２の構成例を示す。内視鏡装置は、光源部１００、撮像部２００、制御装置３００（プロセッサ部）、表示部４００、外部Ｉ／Ｆ部５００を含む。図１で上述の第１の構成例と異なる構成要素について主に説明し、同一の構成要素については適宜説明を省略する。
【００９０】
光源部１００は、白色光源１０１と、ライトガイドファイバ２０１の入射端面に集光させる集光レンズ１０４と、を含む。第２の構成例では、回転色フィルタは存在しない。
【００９１】
撮像部２００において、第２の構成例では、撮像素子２０９として原色単板撮像素子を用いる。原色単板撮像素子は、いわゆるベイヤ（Bayer）配列の撮像素子であり、ＣＣＤやＣＭＯＳイメージセンサが利用できる。
【００９２】
３．２．画像処理部
図１２に、画像処理部３０１の第２の詳細な構成例を示す。画像処理部３０１は、画像取得部９０５、前処理部９１０、境界領域補正部９１５、後処理部９９０、境界線描画部９９５を含む。境界領域補正部９１５は、抽出領域設定部９２０、領域抽出部９４０、シェーディング補正部９５０、変倍処理部９５５、合成部９８０を含む。変倍処理部９５５は、補正量制御部９３０、第１領域倍率補正部９６０、第２領域倍率補正部９７０を含む。
【００９３】
各構成部間の接続関係とデータの流れを説明する。Ａ／Ｄ変換部２１０から出力された撮像画像は、画像取得部９０５に入力される。画像取得部９０５により取得された画像は、前処理部９１０に入力される。制御部３０２は、画像取得部９０５と、前処理部９１０と、抽出領域設定部９２０と、補正量制御部９３０と、後処理部９９０と、境界線描画部９９５に双方に通信可能な状態で接続される。制御部３０２は、メモリ２１１に記録されている撮像部２００に固有の情報（前方視野画像及び側方視野画像の抽出境界情報や、前方視野画像と側方視野画像の表示倍率情報）の読み込みや、メモリ２１１に記録されている情報の更新を行う。
【００９４】
前処理部９１０は、入力される撮像画像を、制御部３０２から出力される出力画像生成パラメータ（ＯＢクランプ、ホワイトバランス）に基づいて補正し、補正した撮像画像を、抽出領域設定部９２０と領域抽出部９４０に出力する。
【００９５】
抽出領域設定部９２０は、制御部３０２からの抽出領域設定信号がＯＮの場合に抽出領域設定処理を行い、設定した抽出領域情報を、補正量制御部９３０と制御部３０２と領域抽出部９４０に出力する。また、抽出領域設定部９２０は、設定したシェーディング補正係数をシェーディング補正部９５０に出力する。抽出領域情報とは、第１の実施形態において説明したように、前方視野画像と側方視野画像の中心位置の情報、前方視野画像の抽出境界線の情報、側方視野画像の抽出境界線の情報、側方視野画像の外周の情報である。例えば、抽出領域情報は、中心位置ＣＰ（例えば図６（Ａ））の座標、その中心位置ＣＰを原点とする極座標形式において中心位置ＣＰからの距離Ｄ１、Ｄ２、Ｄ３（例えば図８（Ａ））である。この抽出領域設定処理については、詳細に後述する。
【００９６】
例えば、抽出領域設定信号は、外部Ｉ／Ｆ部５００のスイッチによりＯＮ・ＯＦＦ制御される。例えば、ユーザが、外部Ｉ／Ｆ部５００のスイッチによりホワイトバランス係数算出モードを選択した場合に、そのモードに連動して抽出領域設定信号がＯＮになり、通常の診察時においては、抽出領域設定信号はＯＦＦである。
【００９７】
補正量制御部９３０は、抽出領域設定部９２０と同様に、制御部３０２からの観察モード切替信号により補正量制御を行う。補正量制御部９３０は、抽出領域設定部９２０から入力される抽出領域情報に基づいて、前方視野画像の倍率補正情報と側方視野画像の倍率補正情報を設定し、前方視野画像の倍率補正情報を第１領域倍率補正部９６０へ出力し、側方視野画像の倍率補正情報を第２領域倍率補正部９７０へ出力する。例えば、倍率補正情報は、第１の実施形態で説明した上式（１）、（３）の多項式の係数値により与えられる。
【００９８】
領域抽出部９４０には、前処理部９１０から出力されたホワイトバランス処理済の撮像画像が入力される。領域抽出部９４０は、その入力された撮像画像から、抽出領域設定部９２０からの抽出領域情報に基づいて前方視野画像と側方視野画像をそれぞれ抽出し、抽出した画像をシェーディング補正部９５０へ出力する。
【００９９】
シェーディング補正部９５０は、入力される前方視野画像と側方視野画像に対して、抽出領域設定部９２０から出力されるシェーディング補正係数を使って、シェーディング補正を行う。シェーディング補正部９５０は、補正後の前方視野画像を第１領域倍率補正部９６０へ出力し、補正後の側方視野画像を第２領域倍率補正部９７０へ出力する。
【０１００】
第１領域倍率補正部９６０と第２領域倍率補正部９７０と合成部９８０は、第１の実施形態と基本的には同じ処理を行う。第１の実施形態との違いは、第１の実施形態では撮像画像は各画素当り３つの色信号からなり、第２の実施形態では撮像画像は各画素当り１つの色信号からなる点である。第２の実施形態では、前方視野画像と側方視野画像の倍率補正を行った後でも、図１１の信号配列が維持されるように倍率補正を行う。即ち、同色の周辺画素を用いて補間処理を行い、所定の画素位置に所定の１つの色信号を生成する。
【０１０１】
後処理部９９０には、合成部９８０から出力された前方視野画像と側方視野画像が合成された撮像画像が入力される。後処理部９９０は、その入力された撮像画像に対して、例えばデモザイキング処理や色補正処理、階調変換処理、強調処理、拡大処理等を行い、表示モニタに表示可能な出力画像を生成し、その出力画像を境界線描画部９９５へ出力する。
【０１０２】
境界線描画部９９５は、第１の実施形態と同様の処理を行うため、説明を省略する。
【０１０３】
３．３．抽出領域設定部
図１３に、抽出領域設定部９２０の詳細な構成例を示す。抽出領域設定部９２０は、境界領域検出部７１０、中心算出部７２０、境界線設定部７３０（抽出境界線決定部）、抽出領域パラメータ設定部７４０、シェーディング補正パラメータ設定部７５０を含む。
【０１０４】
各構成部間の接続関係とデータの流れを説明する。前処理部９１０から出力された撮像画像は、境界領域検出部７１０に入力される。ここで、撮像画像の対象物は、ホワイトバランス係数を算出する為の白色パッチであり、撮像部２００の先端と白色パッチの相対的な位置関係が保たれた状態で撮影できるものとする。
【０１０５】
制御部３０２は、境界領域検出部７１０と境界線設定部７３０と抽出領域パラメータ設定部７４０とシェーディング補正パラメータ設定部７５０に双方に通信可能な状態で接続される。
【０１０６】
境界領域検出部７１０には、前処理部９１０から出力されるホワイトバランス処理後の撮像画像が入力され、制御部３０２からの抽出領域設定信号がＯＮである場合には、境界領域を検出するための検出領域情報と検出閾値が制御部３０２から入力される。境界領域検出部７１０は、入力される撮像画像を検出領域情報に基づいて抽出し、抽出した検出領域に対して図１１のベイヤ配列の２×２の隣接画素（Ｒ、Ｇ、Ｇ、Ｂ）の総和をとる処理を行い、輝度信号を生成する。境界領域検出部７１０は、生成した輝度信号と検出閾値の比較により２値化処理を行い、２値化処理後の輝度信号から不要な細線の除去を行い、境界線を抽出する。境界領域検出部７１０は、抽出した境界線情報を中心算出部７２０へ出力し、生成した輝度信号を境界線設定部７３０へ出力する。
【０１０７】
中心算出部７２０は、入力される境界線情報から重心位置を算出し、この重心位置を前方視野画像及び側方視野画像の中心位置として設定し、設定した中心位置を境界線設定部７３０に出力する。
【０１０８】
境界線設定部７３０は、入力される輝度信号のシェーディング許容位置を、制御部３０２からのシェーディング許容閾値に基づいて決定する。具体的には図１４（Ａ）に示すように、境界線設定部７３０は、中心位置ＣＰ周辺の平均輝度値をシェーディングの基準値とし、その基準値により検出領域内（例えば画像全体）の輝度値を除算することでシェーディング画像を算出する。境界線設定部７３０は、算出したシェーディング画像と、制御部３０２から入力されたシェーディング許容閾値Ｔとにより、シェーディング許容位置を決定し、中心位置に最も近い位置を通る円形状の抽出境界線Ｌ１、Ｌ２を決定する。境界線設定部７３０は、決定した抽出境界線Ｌ１、Ｌ２を抽出領域パラメータ設定部７４０とシェーディング補正パラメータ設定部７５０へ出力し、算出したシェーディング画像をシェーディング補正パラメータ設定部７５０へ出力する。
【０１０９】
より具体的には図１４（Ｂ）に示すように、境界線設定部７３０は、シェーディング画像の輝度レベルが閾値Ｔとなる位置を求め、中心からその位置までの距離を算出する。算出された距離のうち小さい方の距離を半径とする円を、抽出境界線Ｌ１に設定する。また、境界線設定部７３０は、算出された距離のうち大きい方の距離に所定距離を足した距離を半径とする円を、抽出境界線Ｌ２に設定する。
【０１１０】
抽出領域パラメータ設定部７４０は、入力された抽出境界線Ｌ１、Ｌ２の半径情報及び中心座標を抽出領域パラメータとして設定し、その抽出領域パラメータを、制御部３０２を介してメモリ２１１に格納する。また、抽出領域パラメータを領域抽出部９４０へ出力する。
【０１１１】
シェーディング補正パラメータ設定部７５０は、入力される抽出境界線Ｌ１、Ｌ２と中心位置とシェーディング画像から、シェーディング補正係数画像又はシェーディング補正係数を算出する。シェーディング補正パラメータ設定部７５０は、そのシェーディング補正係数画像又はシェーディング補正係数をシェーディング補正パラメータとして設定し、設定したパラメータを、制御部３０２を経由してメモリ２１１に格納する。また、設定したパラメータをシェーディング補正部へ出力する。ここで、シェーディング補正係数画像は、中心位置を基準としたシェーディング画像の各画素値の逆数を取った画像である。また、図１４（Ｃ）に示すように、シェーディング補正係数（シェーディング補正量）は、シェーディング補正係数画像の画素値を円周方向で平均化して算出した係数であり、半径方向の１次元の係数である。
【０１１２】
抽出領域設定部９２０は、制御部３０２からの抽出領域設定信号がＯＦＦの場合は、メモリ２１１に記録されているパラメータを抽出領域パラメータ設定部７４０とシェーディング補正パラメータ設定部７５０に読み込み、そのパラメータを領域抽出部９４０とシェーディング補正部９５０へ出力する。
【０１１３】
なお、上記では前方視野画像のみにシェーディング補正を行う場合を例に説明したが、本実施形態はこれに限定されない。例えば、前方視野画像及び側方視野画像にシェーディング補正を行ってもよい。
【０１１４】
以上の実施形態によれば、図１２、図１３に示すように、境界領域補正部９１５は境界線設定部７３０と領域抽出部９４０を含む。図１４（Ａ）に示すように、境界線設定部７３０は、取得画像から前方領域の画像を抽出するための境界線である第１境界線Ｌ１、及び取得画像から側方領域の画像を抽出するための境界線である第２境界線Ｌ２のうちの少なくとも一方を設定する。領域抽出部９４０は、第１境界線Ｌ１が設定された場合に、第１境界線Ｌ１に基づいて前方領域の画像を抽出する。第２境界線が設定された場合に、第２境界線Ｌ２に基づいて側方領域の画像を抽出する。
【０１１５】
より具体的には、図１３に示すように、境界領域補正部９１５は、境界領域を検出する境界領域検出部７１０を有する。図１４（Ｂ）で説明したように、境界線設定部７３０は、検出された境界領域に基づいて第１境界線Ｌ１及び第２境界線Ｌ２の少なくとも一方を設定する。
【０１１６】
このようにすれば、第１、第２境界線Ｌ１、Ｌ２の少なくとも一方を設定でき、設定した境界線により前方領域、側方領域の少なくとも一方を設定できる。なお、第２の実施形態では、前方領域の画像と側方領域の画像の両方を抽出する場合を説明したが、第１の実施形態で説明したように、前方領域の画像と側方領域の画像の一方を抽出し、シェーディング補正とオーバーラップ処理を行ってもよい。
【０１１７】
また本実施形態では、図１４（Ｂ）で説明したように、境界線設定部７３０は、取得画像における輝度レベルの変化を表すシェーディング量（例えば、中心周辺の輝度平均値で正規化した輝度値）に基づいて第１境界線Ｌ１を設定する。領域抽出部９４０は、取得画像の中の第１境界線Ｌ１よりも内側の領域の画像を前方領域の画像として抽出する。
【０１１８】
より具体的には、図１２に示すように、境界領域補正部９１５は、前方領域におけるシェーディング量を補正するシェーディング補正部９５０を有する。合成部９８０は、シェーディング量が補正された前方領域の画像と側方領域の画像を合成する。
【０１１９】
このようにすれば、光学系によって生じた画像上のシェーディング（例えば前方領域における周辺減光）を、シェーディングの無い領域と同等の明るさで表示することができる。シェーディングが生じた領域も表示画像として利用できるため、観察できない死角領域を極力小さく押さえることができる。また、特定の撮影条件下（例えばホワイトバランスキャップ撮影時）において、抽出境界線Ｌ１、Ｌ２を決定できるので、製造バラツキに伴う調整工程を軽減でき、コスト低減も図ることができる。
【０１２０】
また本実施形態では、図１２に示すように、変倍処理部９５５は表示倍率設定部（補正量制御部９３０）を有する。第１境界線Ｌ１と第２境界線Ｌ２は、円形状の境界線である。表示倍率設定部は、その第１境界線Ｌ１と第２の境界線Ｌ２の中心点ＣＰを基準とする表示倍率を設定する（例えば上式（１）、（３）の変倍率Ｖｆ（ｒ）、Ｖｓ（ｒ））。変倍処理部９５５は、設定された表示倍率に基づいて変倍処理を行う。
【０１２１】
より具体的には、変倍処理部９５５は、表示倍率設定部により設定された表示倍率に基づく変位量であって、中心点ＣＰを基準とする半径方向の距離（ｒ）に対して線形又は非線形な変位量（例えば上式（２）、（４）の変位量Ｄｆ（ｒ）、Ｄｓ（ｒ））により、変倍処理を行う。
【０１２２】
このようにすれば、前方領域と側方領域を、自在な変倍率により拡大縮小することができる。また、中心からの距離に対して線形又は非線形の拡大縮小を行うことができるため、ユーザの観察領域に合わせた、より自由度の高い変倍処理が可能になる。
【０１２３】
ここで、上記の実施形態では、境界線Ｌ１、Ｌ２を真円である場合を例に説明したが、本実施形態はこれに限定されず、境界線Ｌ１、Ｌ２は円形状であればよい。即ち、境界線Ｌ１とＬ２の間に、境界領域が存在するものであればよい。
【０１２４】
以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
【０１２５】
また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。
【符号の説明】
【０１２６】
１０ 病変部、２０ レンズ、２１ 透過部、２２ 反射部、２３ 前方視野画像、
２４ 側方視野画像、２５ 環状領域、２６ 反射部、１００ 光源部、
１０１ 白色光源、１０２ 回転色フィルタ、１０３ 回転駆動部、
１０４ 集光レンズ、２００ 撮像部、２０１ ライトガイドファイバ、
２０２ 照明レンズ、２０３ 対物レンズ、２０９ 撮像素子、２１０ Ａ／Ｄ変換部、
２１１ メモリ、２１２ コネクタ、３００ 制御装置、３０１ 画像処理部、
３０２ 制御部、３０５ 画像取得部、３１０ 出力画像生成部、
３１５ 境界領域補正部、３２０ 領域抽出部、３２５ 変倍処理部、
３３０ 第１領域倍率補正部、３４０ 第２領域倍率補正部、３５０ 合成部、
３６０ 境界線描画部、４００ 表示部、５００ 外部Ｉ／Ｆ部、
６０１ 赤の色フィルタ、６０２ 緑の色フィルタ、６０３ 青の色フィルタ、
７１０ 境界領域検出部、７２０ 中心算出部、７３０ 境界線設定部、
７４０ 抽出領域パラメータ設定部、７５０ シェーディング補正パラメータ設定部、
８０３ 回転モータ、９０５ 画像取得部、９１０ 前処理部、
９１５ 境界領域補正部、９２０ 抽出領域設定部、９３０ 補正量制御部、
９４０ 領域抽出部、９５０ シェーディング補正部、９５５ 変倍処理部、
９６０ 第１領域倍率補正部、９７０ 第２領域倍率補正部、９８０ 合成部、
９９０ 後処理部、９９５ 境界線描画部、
ＢＲ 境界領域、ＣＰ 中心位置、Ｄ１〜Ｄ３ 距離、ＦＲ 前方視野画像、
Ｌ１，Ｌ２ 抽出境界線、ＭＲ１，ＭＲ２ マージン領域、ＳＲ 側方視野画像、
ＳＲＰ 外周、Ｔ シェーディング許容閾値、ＷＬ 境界線、Ｚ 光軸
【技術分野】
【０００１】
本発明は、内視鏡用画像処理装置、内視鏡装置及び画像処理方法等に関する。
【背景技術】
【０００２】
従来から内視鏡診断において体腔内の病変検出精度を向上させたいという要求があり、１７０度の広角光学系を有する内視鏡スコープが開発されている。
【０００３】
上記内視鏡スコープでは、例えば大腸のような大きなヒダを持った臓器のヒダの裏等のように、側方のやや後方に位置する領域は視野範囲に入らないことがあるため、そのような領域に存在する病変を画像として取得することが困難な場合がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１１７６６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
例えば、ヒダ裏等のような側方のやや後方に位置する領域を観察するために、１８０度以上の画角を有する魚眼レンズを備えた内視鏡スコープを用いる手法が考えられる。
【０００６】
しかしながら、この手法では、魚眼レンズの光学収差（特に歪曲収差）が大きいため、側方視野となる画像周辺部が大きく歪み、ヒダ裏の病変を十分大きなサイズで観察することが困難である。
【０００７】
特許文献１には、前方視野と側方視野の両方を同時に観察する光学系が開示されている。この光学系では、側方視野である画像周辺部の歪曲収差を小さくできるため、例えば大腸のヒダ裏観察に有効である。
【０００８】
しかしながら、上記光学系では、撮像画像の中央部が前方視野に対応し、その中央部の周辺のドーナッツ状領域が側方視野に対応するが、その２つの視野の間に死角となる境界領域が形成されるという課題がある。例えば、上記光学系で大腸を観察すると、本来ヒダが無いにも関わらず、境界領域をヒダと見誤る可能性がある。
【０００９】
本発明の幾つかの態様によれば、境界領域による視認性低下を抑制することが可能な内視鏡用画像処理装置、内視鏡装置及び画像処理方法等を提供できる。
【課題を解決するための手段】
【００１０】
本発明の一態様は、前方視野に対応する前方画像と、側方視野に対応する側方画像とが、１枚の取得画像として形成された画像信号を、取得する画像取得部と、前記取得画像における前記前方視野に対応する領域を前方領域とし、前記取得画像における前記側方視野に対応する領域を側方領域とする場合に、前記前方領域の画像及び前記側方領域の画像のうちの少なくとも一方を、前記前方領域と前記側方領域の境界となる領域である境界領域に対してオーバーラップさせるオーバーラップ処理を行う境界領域補正部と、を含む内視鏡用画像処理装置に関係する。
【００１１】
本発明の一態様によれば、前方画像と側方画像とが１枚の取得画像として形成された画像信号が取得され、前方領域の画像及び側方領域の画像のうちの一方を、境界領域に対してオーバーラップする処理が行われる。これにより、境界領域による視認性低下を抑制することが可能になる。
【００１２】
また本発明の他の態様は、前方視野に対応する前方画像と、側方視野に対応する側方画像とが、１枚の取得画像として形成された画像信号を、取得し、前記取得画像における前記前方視野に対応する領域を前方領域とし、前記取得画像における前記側方視野に対応する領域を側方領域とする場合に、前記前方領域の画像及び前記側方領域の画像のうちの少なくとも一方を、前記前方領域と前記側方領域の境界となる領域である境界領域に対してオーバーラップさせるオーバーラップ処理を行う画像処理方法に関係する。
【図面の簡単な説明】
【００１３】
【図１】内視鏡装置の第１の構成例。
【図２】回転色フィルタの詳細な構成例。
【図３】色フィルタの分光透過率特性の例。
【図４】図４（Ａ）、図４（Ｂ）は、対物レンズの詳細な構成例。図４（Ｃ）は、対物レンズにより撮像画像される画像についての説明図。
【図５】画像処理部の第１の詳細な構成例。
【図６】図６（Ａ）〜図６（Ｅ）は、境界領域を補正する処理についての説明図。
【図７】図７（Ａ）〜図７（Ｅ）は、境界領域を補正する処理についての説明図。
【図８】図８（Ａ）〜図８（Ｃ）は、変倍処理についての説明図。
【図９】抽出境界線の設定手法の変形例についての説明図。
【図１０】内視鏡装置の第２の構成例。
【図１１】ベイヤ配列における画素配列の模式図。
【図１２】画像処理部の第２の詳細な構成例。
【図１３】抽出領域設定部の詳細な構成例。
【図１４】図１４（Ａ）〜図１４（Ｃ）は、シェーディング補正についての説明図。
【発明を実施するための形態】
【００１４】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００１５】
１．本実施形態の概要
図４（Ａ）等で後述するように、本実施形態の内視鏡装置の光学系では、側方視野を観察するための反射光学系と、前方視野を観察するための屈折光学系が組み合わされている。このような光学系で撮像された画像では、反射光学系の視野と屈折光学系の視野の境界領域にシェーディングが発生する。このような局所的にシェーディングがある状態で大腸を観察すると、境界領域に本来のヒダが無い状態であっても、境界領域のシェーディングをヒダによる影と見誤る可能性があるという課題がある。
【００１６】
そこで本実施形態では、図６（Ａ）〜図７（Ｅ）等で説明するように、前方視野に対応する領域ＦＲ、又は側方視野に対応する領域ＳＲを拡大する処理を行い、その拡大した領域を、前方視野と側方視野の境界領域にオーバーラップする。これにより、光学系によるシェーディングを表示画像から消すことが可能になるので、境界領域を大腸のヒダによる影と誤認するのを防止でき、視認性の高い広視野の内視鏡装置を実現できる。
【００１７】
２．第１の実施形態
２．１．内視鏡装置
図１に、内視鏡装置の第１の構成例を示す。内視鏡装置は、光源部１００、撮像部２００、制御装置３００（プロセッサ部）、表示部４００、外部Ｉ／Ｆ部５００を含む。
【００１８】
光源部１００は、白色光源１０１と、複数の分光透過率を持つ回転色フィルタ１０２と、回転色フィルタ１０２を駆動させる回転駆動部１０３と、回転色フィルタ１０２からの分光特性を持った光をライトガイドファイバ２０１の入射端面に集光させる集光レンズ１０４と、を含む。
【００１９】
図２に示すように、回転色フィルタ１０２は、例えば三原色の赤（Ｒ）の色フィルタ６０１と、緑（Ｇ）の色フィルタ６０２と、青（Ｂ）の色フィルタ６０３と、回転モータ８０３と、から構成される。図３に、これら３つの色フィルタの分光特性を示す。
【００２０】
回転駆動部１０３は、制御装置３００の制御部３０２からの制御信号に基づいて、撮像素子２０９の撮像期間と同期して回転色フィルタ１０２を所定回転数で回転させる。例えば、色フィルタを１秒間に２０回転させると、各色フィルタは６０分の１秒間隔で入射白色光を横切ることになる。この場合、撮像素子２０９は、６０分の１秒間隔で３原色の各色光（Ｒ或はＧ或はＢ）に対する観察対象からの反射光を撮像し、画像の転送を完了することになる。即ち、本実施形態では、Ｒ画像、Ｇ画像、Ｂ画像が６０分の１秒間隔で撮像される面順次方式の撮像を行い、実質のフレームレートは２０ｆｐｓ（fps: frame per second）となる。
【００２１】
撮像部２００は、例えば大腸などの体腔への挿入を可能にするため細長くかつ湾曲可能に形成される。撮像部２００は、光源部１００により集光された光を導くためのライトガイドファイバ２０１と、ライトガイドファイバ２０１により先端まで導かれた光を拡散させて観察対象に照射する照明レンズ２０２、２０４と、を含む。また撮像部２００は、観察対象から戻る反射光を集光する対物レンズ２０３と、集光した結像光を検出するための撮像素子２０９と、撮像素子２０９からの光電変換されたアナログ信号をデジタル信号に変換するＡ／Ｄ変換部２１０と、を含む。また撮像部２００は、メモリ２１１と、制御装置３００に対して撮像部２００を着脱可能にするためのコネクタ２１２と、を含む。
【００２２】
メモリ２１１は、後述する前方視野画像と側方視野画像の抽出境界線情報や、前方視野画像と側方視野画像の表示倍率情報や、撮像部２００に固有の製造バラツキに関係する固有情報が記録される。
【００２３】
撮像素子２０９は、モノクロ単板撮像素子であり、例えばＣＣＤやＣＭＯＳイメージセンサ等が利用できる。
【００２４】
対物レンズ２０３は、後述するように前方観察光学系と側方観察光学系の組み合わせにより１８０度以上の視野角を持つ光学系で構成され、例えば大腸のヒダ裏にある病変部１０を観察できるようになっている。
【００２５】
照明レンズ２０２、２０４は、対物レンズ２０３の視野角内の観察対象を均一に照明できるように対物レンズ２０３の光軸に対して外側を向いて配置される。本実施形態では、数千本からなるライトガイドファイバ２０１を２つに分割したが、更に多くに分割して対応する照明レンズを内視鏡スコープ先端に配置してもよい。これにより広視野角の領域をより均一に照明できるようになる。また照明としてＬＥＤや有機ＥＬ等の発光素子を内視鏡スコープ先端に多数配置してもよい。
【００２６】
制御装置３００は、前方視野画像と側方視野画像の境界領域を補正する処理を行う画像処理部３０１と、内視鏡装置各部の制御を行う制御部３０２と、を含む。
【００２７】
表示部４００は、例えばＣＲＴや液晶モニタ等の動画表示可能な表示装置により構成される。
【００２８】
外部Ｉ／Ｆ部５００は、この内視鏡装置に対するユーザからの入力等を行うためのインターフェースである。例えば、外部Ｉ／Ｆ部５００は、電源のオン／オフを行うための電源スイッチや、撮影操作を開始するためのシャッタボタン、撮影モードやその他各種のモードを切り換えるためのモード切換スイッチ（例えば前方視野画像と側方視野画像の表示面積比率を手動で切換える為のスイッチ）などを含む。外部Ｉ／Ｆ部５００は、入力された情報を制御部３０２へ出力する。
【００２９】
２．２．対物レンズ
図４（Ａ）に、前方視野と側方視野を観察する対物レンズの詳細な構成例を示す。図４（Ａ）に示すように、レンズ２０の前面には、前方視野からの光が入射し、レンズ２０の側面には、側方視野からの光が入射する。前方視野からの光は、レンズ２０の透過部２１（屈折部）を透過し、撮像素子２０９へ導かれる。側方視野からの光は、レンズ２０の反射部２６、２２に反射され、撮像部２００へ導かれる。
【００３０】
図４（Ｂ）に示すように、レンズ２０を光軸Ｚ前方側から見た場合、前方視野からの光を透過する透過部２１（透過領域）と、側方視野からの光線を反射する反射部２２（反射領域）から構成される。このような光学系では、反射部２２と透過部２１の境界領域において、前方視野の被写体からの反射光が一部遮られる。そのため、図４（Ｃ）に示すように、撮像素子上に結像した前方視野画像２３と側方視野画像２４の境界領域には、シェーディングが発生する。このシェーディングにより、境界領域は黒い帯状の円環領域２５となる。
【００３１】
ここで、前方視野とは、光軸方向を含む前方の視野範囲であり、例えば光軸に対して０度〜７０度の範囲である。側方視野とは、光軸に直交する方向を含む側方の視野範囲であり、例えば光軸に対して７０度〜１３５度の範囲である。本実施形態の対物レンズ２０３は、例えば光軸に対して０度〜１１０度の視野範囲を有する。
【００３２】
また、シェーディングとは、画像上における陰影であり、光学系に起因して画像上において他の領域よりも暗い（例えば輝度が小さい）ことである。例えば、図４（Ａ）に示すように、前方視野と側方視野の間にはレンズ２０による死角が生じ、その死角に対応する画像上の影がシェーディングとなる。あるいは、透過部２１を透過する前方視野の光は、光学系によるケラレ等によって周辺減光を生じ、その周辺減光がシェーディングとなる。
【００３３】
２．３．画像処理部
図５に、画像処理部３０１の第１の詳細な構成例を示す。画像処理部３０１は、画像取得部３０５、出力画像生成部３１０、境界領域補正部３１５、境界線描画部３６０を含む。境界領域補正部３１５は、領域抽出部３２０、変倍処理部３２５、合成部３５０を含む。変倍処理部３２５は、第１領域倍率補正部３３０、第２領域倍率補正部３４０を含む。
【００３４】
各構成部間の接続関係とデータの流れを説明する。Ａ／Ｄ変換部２１０から出力された撮像画像は、画像取得部３０５に入力される。制御部３０２は、画像取得部３０５と、出力画像生成部３１０と、領域抽出部３２０と、第１領域倍率補正部３３０と、第２領域倍率補正部３４０と、境界線描画部３６０と、に接続されている。制御部３０２には、メモリ２１１に記録された撮像部２００に固有の情報（前方視野画像及び側方視野画像の抽出境界情報や、前方視野画像と側方視野画像の表示倍率情報）が入力される。
【００３５】
画像取得部３０５は、前方視野と側方視野が撮像された１枚の画像を取得し、取得した画像を出力画像生成部３１０に出力する。具体的には、上述のレンズ２０を用いて前方視野と側方視野が同時に１枚の画像として撮像され、画像取得部３０５が、その１枚の画像を取得する。なお、前方視野と側方視野は同時に撮像されなくてもよい。例えば、前方視野と側方視野が、別々の撮像動作により順次撮像され、画像取得部３０５が、その別々に撮像された前方視野画像と側方視野画像を合成して１枚の画像として取得してもよい。
【００３６】
出力画像生成部３１０は、入力された撮像画像を、制御部３０２から出力される出力画像生成パラメータ（例えばＯＢクランプ、ホワイトバランス、γ変換テーブル、強調係数、拡大倍率など）に基づいて表示モニタに表示可能な画像形式に変換し、変換後の画像を出力画像として領域抽出部３２０へ出力する。
【００３７】
境界領域補正部３１５は、前方視野画像及び側方視野画像のうちの少なくとも一方を、前方視野画像と側方視野画像の境界領域に対してオーバーラップさせて、境界領域を縮小するように補正する処理を行う。領域抽出部３２０には、メモリ２１１に記録されている前方視野画像と側方視野画像に対する抽出境界線情報が、制御部３０２を介して入力される。領域抽出部３２０により出力画像から抽出された前方視野画像は、第１領域倍率補正部３３０へ出力される。領域抽出部３２０により出力画像から抽出された側方視野画像は第２領域倍率補正部３４０へ出力される。
【００３８】
第１領域倍率補正部３３０は、入力される前方視野画像に対する変倍処理を、制御部３０２から出力される倍率情報に基づいて行い、変倍処理後の前方視野画像を合成部３５０へ出力する。前方視野画像に対する変倍処理として、倍率情報に基づく拡大処理と、等倍処理（倍率変化無し）と、縮小処理のうちのいずれかが、適宜行われる。この変倍処理は、前方視野画像の中心を基準としたときの径方向に沿って行われることが好ましい。
【００３９】
第２領域倍率補正部３４０は、入力される側方視野画像に対する変倍処理を、制御部３０２から出力される倍率情報に基づいて行い、変倍処理後の側方視野画像を合成部３５０へ出力する。側方視野画像に対する変倍処理として、倍率情報に基づく拡大処理と、等倍処理（倍率変化無し）と、縮小処理のうちのいずれかが、適宜行われる。
【００４０】
合成部３５０は、第１領域倍率補正部３３０から出力される変倍処理後の前方視野画像と、第２領域倍率補正部３４０から出力される変倍処理後の側方視野画像とを、境界領域でオーバーラップさせるようにして合成画像を作成し、合成画像を境界線描画部３６０へ出力する。オーバーラップの方法には、変倍後の前方視野画像を変倍後の側方視野画像にオーバーラップする方法、変倍後の側方視野画像を変倍後の前方視野画像にオーバーラップする方法がある。また、境界領域の前方視野画像側の領域において、変倍後の前方視野画像を変倍後の側方視野画像にオーバーラップするとともに、境界領域の側方視野画像側の領域において、変倍後の側方視野画像を変倍後の前方視野画像にオーバーラップしてもよい。
【００４１】
境界線描画部３６０は、合成部３５０から出力される合成画像に対して、制御部３０２からの前方視野画像と側方視野画像のオーバーラップ境界位置情報に基づいて、所定色の境界線を描画し、描画後の画像を表示部４００へ出力する。所定色は、例えば、黒等の固定色、或は周辺の色に対して反対色となる色などである。描画される境界線は、合成された前方視野画像と側方視野画像の境界が識別可能な形態であればよく、例えば実線や破線やその他の形態の線である。
【００４２】
次に、図６（Ａ）〜図６（Ｅ）に示す模式図を用いて、前方視野画像を用いて前方視野画像と側方視野画像の境界領域を補正する処理について説明する。
【００４３】
図６（Ａ）には、出力画像生成部３１０から出力される出力画像を示す。出力画像には、前方視野画像ＦＲ、側方視野画像ＳＲ、境界領域ＢＲが含まれる。Ｌ１は、前方視野画像ＦＲを抽出するための抽出境界線を表す。ＣＰは、前方視野画像ＦＲの中心位置を表す。
【００４４】
図６（Ｂ）に示すように、制御部３０２からの抽出境界線Ｌ１に基づいて、領域抽出部３２０により前方視野画像ＦＲが抽出される。抽出された前方視野画像ＦＲは、第１領域倍率補正部３３０により、制御部３０２からの中心位置ＣＰを基準に、制御部３０２からの倍率情報に基づいて径方向に拡大処理される。
【００４５】
図６（Ｃ）に示すように、第１領域倍率補正部３３０から出力された拡大された前方視野画像ＦＲ’は、合成部３５０により、第２領域倍率補正部３４０から出力された側方視野画像ＳＲ（例えば倍率変化無し）にオーバーラップされる。オーバーラップにより合成された画像は、合成画像として出力される。
【００４６】
図６（Ｄ）に示すように、合成部３５０から出力された合成画像のオーバーラップ境界部に、境界線描画部３６０により境界線ＷＬが描画される。描画後の画像は、前方視野画像と側方視野画像がより明確に識別可能な境界線描画済みの合成画像として出力される。オーバーラップ境界部は、例えばオーバーラップした前方視野画像ＦＲ’の外縁である。
【００４７】
なお、図６（Ｅ）に示すように、上記において前方視野画像ＦＲ（前方領域の画像）とは、抽出境界線Ｌ１（第１境界線）により抽出された画像を表し、側方視野画像ＳＲとは、側方観察光学系（図４（Ａ）の反射部２２、２６）により撮像される画像を表す。また、境界領域ＢＲとは、光学系の死角や周辺減光により生じるシェーディング領域を表す。
【００４８】
次に、図７（Ａ）〜図７（Ｅ）に示す模式図を用いて、側方視野画像を用いた前方視野画像と側方視野画像の境界領域の補正処理について説明する。
【００４９】
図７（Ａ）に示すように、Ｌ２は、側方視野画像ＳＲを抽出するための抽出境界線を表す。ＳＲＰは、側方視野ＳＲの外周を表す。
【００５０】
図７（Ｂ）に示すように、制御部３０２からの抽出境界線Ｌ２に基づいて、領域抽出部３２０により側方視野画像ＳＲが抽出される。抽出された側方視野画像ＳＲは、第２領域倍率補正部３４０により、制御部３０２からの情報である外周ＳＲＰを基準に、制御部３０２からの倍率情報に基づいて中心位置ＣＰに向かって径方向に拡大処理される。
【００５１】
図７（Ｃ）に示すように、第２領域倍率補正部３４０から出力された拡大された側方視野画像ＳＲ’は、合成部３５０により、第１領域倍率補正部３３０から出力された前方視野画像ＦＲ（例えば倍率変化無し）にオーバーラップされる。オーバーラップにより合成された画像は、合成画像として出力される。
【００５２】
図７（Ｄ）に示すように、合成部３５０から出力された合成画像のオーバーラップ境界部に、境界線描画部３６０により境界線ＷＬが描画される。描画後の画像は、前方視野画像と側方視野画像がより明確に識別可能な境界線描画済みの合成画像として出力される。オーバーラップ境界部は、例えばオーバーラップした側方視野画像ＳＲ’の内縁である。
【００５３】
なお、図７（Ｅ）に示すように、上記において前方視野画像ＦＲとは、前方観察光学系（図４（Ａ）の透過部２１）により撮像される画像を表し、側方視野画像ＳＲ（側方領域の画像）とは、抽出境界線Ｌ２（第２境界線）により抽出された画像を表す。
【００５４】
ここで、上述の前方視野画像の抽出境界線Ｌ１と、側方視野画像の抽出境界線Ｌ２は、例えばグレーパッチなどの均一な色チャートを撮影することにより設定する。具体的には、チャートが撮影された画像において、前方視野画像に属する第１の円と、側方視野画像に属する第２の円を設定する。第１、第２の円は中心を共有する円である。この２つの円の円周上の各最近点に対応する２つの画素の画素値差の絶対値が所定値以内となる場合において、第１、第２の円の半径差が最も小さな第１、第２の円を、抽出境界線Ｌ１、Ｌ２として設定する。このようにすれば、オーバーラップしたときに、オーバーラップ境界部において画素値の差を所定値より小さくできるため、見た目に違和感の無い画像を表示可能になる。
【００５５】
なお、上記では、前方視野画像又は側方視野画像の一方を変倍処理したが、本実施形態ではこれに限定されず、前方視野画像と側方視野画像の両方を変倍処理して合成することで境界領域を補正してもよい。
【００５６】
次に、図８（Ａ）〜図８（Ｃ）を用いて、変倍処理部３２５が行う変倍処理について説明する。
【００５７】
図８（Ａ）に示すように、前方視野画像と側方視野画像を両方とも拡大して境界領域を補正する場合、変倍処理による変位量は、前方視野画像において正であり、側方視野画像において負である。
【００５８】
図８（Ａ）において、グラフの横軸は、前方視野画像及び側方視野画像の中心（中心位置は２つの視野画像で共通）からの距離を表し、グラフの縦軸は、累積変位量を表す。前方視野画像における累積変位量の起点は、前方視野画像の中心であり、側方視野画像における累積変位量の起点は、側方視野画像の外周である。ＦＬは、前方視野画像に対する変位量の特性線を表し、ＳＬは、側方視野画像に対する変位量の特性線を表す。Ｄ１は、前方視野画像の中心から抽出境界線までの距離を表し、Ｄ２は、側方視野画像の中心から抽出境界線までの距離を表し、Ｄ３は、中心から側方視野画像の外周までの距離を表す。
【００５９】
図８（Ｂ）に示すように、前方視野画像を拡大し、側方視野画像を縮小して境界領域を補正する場合、変倍処理による変位量は、前方視野画像と側方視野画像において正である。
【００６０】
図８（Ｃ）に示すように、前方視野画像を縮小し、側方視野画像を拡大して境界領域を補正する場合、変倍処理による変位量は、前方視野画像と側方視野画像において負である。
【００６１】
上記３つの例の変倍率と変位量の関係式は以下の通りである。中心からの距離ｒに対する前方視野画像の変倍率Ｖｆ（ｒ）の一例を、下式（１）に示す。
Ｖｆ（ｒ）＝αｆｒ４＋βｆｒ２＋γｆ （１）
【００６２】
前方視野画像の変位量Ｄｆ（ｒ）を、下式（２）に示す。最大変位量、即ち距離Ｄ１における変位量は、Ｄｆ（Ｄ１）である。ここで、∫０→ｒは、区間［０，ｒ］の積分を表す。
Ｄｆ（ｒ）＝∫０→ｒＶｆ（ｘ）ｘｄｘ （２）
【００６３】
中心からの距離ｒに対する側方視野画像の変倍率Ｖｓ（ｒ）の一例を、下式（３）に示す。
Ｖｓ（ｒ）＝αｓｒ４＋βｓｒ２＋γｓ （３）
【００６４】
側方視野画像の変位量Ｄｓ（ｒ）を、下式（４）に示す。最大変位量、即ち距離Ｄ２における変位量は、Ｄｓ（Ｄ２）となる。ここで、∫Ｄ３→ｒは、区間［Ｄ３，ｒ］の積分を表す。
Ｄｓ（ｒ）＝∫Ｄ３→ｒＶｓ（ｘ）ｘｄｘ （４）
【００６５】
前方視野画像の最大変位量Ｄｆ（Ｄ１）と側方視野画像の最大変位量Ｄｓ（Ｄ２）は、下式（５）の関係を満足する。
Ｄ１＋Ｄｆ（Ｄ１）≧Ｄ２＋Ｄｓ（Ｄ２） （５）
【００６６】
例えば、外部Ｉ／Ｆ部５００のスイッチ操作により観察モードの変更を行い、上記変倍率パラメータαｆ、βｆ、γｆ、αｓ、βｓ、γｓを変更することで、境界領域を補正しつつ、前方視野画像と側方視野画像の全体及び局所的な表示比率を自由に変更することができる。これにより、観察したい病変部を自由に拡大表示することが可能となる。
【００６７】
以上の実施形態によれば、前方視野画像と側方視野画像の境界領域がヒダの影と誤認されることを防止でき、前方視野画像と側方視野画像の表示倍率を自由に変更できる。これにより、病変部の発見率向上に寄与することができる。
【００６８】
なお、上記の変倍率Ｖｆ（ｒ）、Ｖｓ（ｒ）において、係数αｆ、βｆ、αｓ、βｓは、ゼロであってもよい。この場合、中心からの距離ｒに依らず一定の変倍率γｆ、γｓで拡大縮小できる。
【００６９】
また、図９に示すように、抽出境界線Ｌ１、Ｌ２を、マージン領域ＭＲ１、ＭＲ２を確保して設定してもよい。ＭＲ１は、境界領域ＢＲと抽出境界線Ｌ１との間のマージン領域であり、ＭＲ２は、境界領域ＢＲと抽出境界線Ｌ２との間のマージン領域である。境界領域ＢＲは、光学設計上、観察に適さない視野角として決定された領域であり、その境界領域ＢＲに対して統計的な製造バラツキを考慮して十分なマージン領域ＭＲ１、ＭＲ２を確保する。このようにすれば、個別の撮像部２００に固有の抽出境界線Ｌ１、Ｌ２を記憶するメモリ２１１を用意しなくてもよいため、撮像部２００のコスト低減を図ることができる。
【００７０】
以上の実施形態によれば、図５に示すように内視鏡用画像処理装置は画像取得部３０５と境界領域補正部３１５を含む。図４で説明したように、画像取得部３０５は、前方視野に対応する前方画像（前方視野画像２３）と、側方視野に対応する側方画像（側方視野画像２４）とが、１枚の取得画像として形成された画像信号を、取得する。図６（Ａ）〜図７（Ｄ）で説明したように、境界領域補正部３１５は、取得画像における前方視野に対応する領域を前方領域とし、取得画像における側方視野に対応する領域を側方領域とする場合に、前方領域の画像ＦＲ及び側方領域の画像ＳＲのうちの少なくとも一方を、前方領域と側方領域の境界となる領域である境界領域ＢＲに対してオーバーラップさせるオーバーラップ処理を行う。
【００７１】
このようにすれば、境界領域ＢＲによる視認性低下を抑制することが可能になる。即ち、境界領域ＢＲを補正することで境界領域ＢＲのシェーディングを無くすことができるため、そのシェーディングをヒダの影と誤認することを防止できる。また、診断に不必要な領域を表示上から削除できるため、病変判定の効率向上が得られる。
【００７２】
ここで、オーバーラップ処理とは、画像の所定領域（本実施形態では境界領域）に対して、その所定領域とは異なる画像を上から重ねることである。例えば、画像が記憶される画像メモリにおいて、画像の所定領域に対応するメモリ領域に他の画像（本実施形態では、変倍後の画像）のデータを上書きすることにより、オーバーラップ処理が行われる。あるいは、画像から所定領域が削除され、その画像と他の画像とが１つの画像として合成されることによりオーバーラップ処理が行われる。
【００７３】
また、境界領域とは、前方領域と側方領域の間に存在するシェーディング領域であり、例えば本実施形態では、後述のように前方観察光学系と側方観察光学系の間の死角や、前方観察光学系の周辺減光により生じる領域である。あるいは、図５で説明したように前方視野と側方視野が時系列に撮像されてもよく、この場合、境界領域とは、前方画像と側方画像が合成された１枚の画像において、撮像光学系や合成処理等により生じたシェーディング領域である。
【００７４】
また本実施形態では、図５に示すように、境界領域補正部３１５は変倍処理部３２５と合成部３５０を含む。変倍処理部３２５は、前方領域の画像ＦＲ及び側方領域の画像ＳＲの少なくとも一方の表示倍率を変更する変倍処理を行う。合成部３５０は、変倍処理後の前方領域の画像と側方領域の画像を合成することにより、オーバーラップ処理を行う。
【００７５】
より具体的には、境界領域補正部３１５は領域抽出部３２０を有する。図６（Ａ）〜図７（Ｅ）で説明したように、領域抽出部３２０は、取得画像から、前方領域の画像ＦＲ及び側方領域の画像ＳＲのうちの一方を変倍処理の対象画像として抽出する。変倍処理部３２５は、その対象画像を拡大する変倍処理を行う。合成部３５０は、拡大された対象領域（ＦＲ’又はＳＲ’）と、前方領域及び側方領域のうちの他方（ＳＲ又はＦＲ）とを、合成する。
【００７６】
例えば、図６（Ａ）や図７（Ｂ）で説明したように、変倍処理部３２５は、前方視野画像ＦＲの中心ＣＰを基準としたときの径方向に沿って対象画像を拡大する処理を変倍処理として行う。ここで、径方向に沿った拡大処理は、図６（Ｂ）に示すように中心ＣＰから遠ざかる方向に対象画像を拡大する処理でもよいし、図７（Ｂ）に示すように中心ＣＰへ近づく方向に対象画像を拡大する処理でもよい。あるいは、対象画像の中心ＣＰ側を中心ＣＰへ近づく方向に、対象画像の外側を中心ＣＰから遠ざかる方向に拡大する処理でもよい。
【００７７】
このようにすれば、前方領域の画像ＦＲ及び側方領域の画像ＳＲのうちの一方を拡大し、他方と合成することで、境界領域ＢＲに対してオーバーラップ処理できる。一方のみを変倍処理するため、画像メモリ等のハードウェアを節約できる。
【００７８】
また本実施形態では、図８（Ａ）〜図８（Ｃ）で説明したように、変倍処理部３２５は、前方領域の画像ＦＲ及び側方領域の画像ＳＲのうちの一方を拡大する変倍処理を行い、前方領域の画像ＦＲ及び側方領域の画像ＳＲのうちの他方を縮小する変倍処理を行ってもよい。合成部３５０は、変倍処理後の前方領域の画像及び側方領域の画像を合成してもよい。
【００７９】
このようにすれば、前方領域の画像ＦＲ及び側方領域の画像ＳＲのうちの一方を拡大し、他方を縮小して合成することで、境界領域ＢＲに対してオーバーラップ処理できる。前方領域の画像ＦＲと側方領域の画像ＳＲを自由に拡大縮小できるため、観察領域を自在に拡大表示できる。例えば、視野中央部の病変部を観察する場合には前方領域の画像ＦＲを拡大し、スクリーニングにおいて視野側方のヒダ裏を観察する場合には側方視野の画像ＳＲを拡大できる。
【００８０】
また本実施形態では、図５に示すように、内視鏡用画像処理装置は境界線描画部３６０を含む。図６（Ｄ）等で説明したように、境界線描画部３６０は、合成された前方領域の画像と側方領域の画像の境界を識別可能にするための境界線ＷＬを描画する。
【００８１】
このようにすれば、前方領域の画像と側方領域の画像の境界を明確に表示できる。即ち、図４（Ａ）等で説明したように光学系により死角が生じ、その死角に対応する境界領域ＢＲをオーバーラップ処理により隠すため、合成された前方領域の画像と側方領域の画像の境界は不連続な画像になる。例えば鉗子等が境界にあると視覚的に違和感を与える可能性があるため、境界線を描画することで、その違和感を軽減できる。
【００８２】
また本実施形態では、境界領域は、図４（Ａ）〜図４（Ｃ）で説明したように、前方視野と側方視野を撮像するための光学系（レンズ２０）における光学設計値に基づく所定視野角の環状領域２５である。図９で説明したように、境界領域ＢＲと前方領域の間の境界線である第１境界線Ｌ１は、環状領域ＢＲよりも内側に設定される。境界領域ＢＲと側方領域の間の境界線である第２境界線Ｌ２は、環状領域ＢＲよりも外側に設定される。
【００８３】
このようにすれば、境界領域ＢＲよりも内側の前方領域と、境界領域ＢＲよりも外側の側方領域を抽出でき、境界領域ＢＲを除外した領域を抽出できる。
【００８４】
また本実施形態では、第１境界線Ｌ１と第２境界線Ｌ２は、所定視野角の環状領域ＢＲに対して、統計的な製造バラツキに応じたマージン領域ＭＲ１、ＭＲ２が付加（加味）されて設定される。
【００８５】
このようにすれば、製造バラツキを考慮した個々のスコープにおける境界線Ｌ１、Ｌ２を設定する必要がないため、共通の境界線Ｌ１、Ｌ２を用いることができる。これにより、例えば個々のスコープにおいて境界線の設定作業をする必要を無くすことができる。
【００８６】
また本実施形態では、図４（Ａ）等で説明したように、内視鏡装置は、前方視野を撮像するための前方観察光学系（レンズ２０の透過部２１）と、側方視野を撮像するための側方観察光学系（レンズ２０の反射部２２、２６）を含む。また図１に示すように、内視鏡装置は、前方視野と側方視野を同時に撮像する撮像素子２０９を含む。
【００８７】
このようにすれば、前方視野と側方視野を同時に１つの画像として撮像できる。なお、本実施形態では上記光学系に限定されず、例えば前方視野用と側方視野用の光学系が別個でない光学系により、前方視野と側方視野が時系列的に撮像されてもよい。この場合、図５で上述のように、時系列的に撮像された画像を合成することにより１つの画像としてもよい。
【００８８】
また本実施形態では、図４（Ａ）等で説明したように、境界領域は、前方観察光学系により得られる前方視野と、側方観察光学系により得られる側方視野との間の死角に対応する領域を含む。また、境界領域は、前方観察光学系の周辺減光によりシェーディングが生じた領域の少なくとも一部を含んでもよい。例えば、上述のグレーパッチを撮像した状態で、所定の輝度よりも暗い周辺減光領域が境界領域に含まれる。
【００８９】
３．第２の実施形態
３．１．内視鏡装置
図１０に、内視鏡装置の第２の構成例を示す。内視鏡装置は、光源部１００、撮像部２００、制御装置３００（プロセッサ部）、表示部４００、外部Ｉ／Ｆ部５００を含む。図１で上述の第１の構成例と異なる構成要素について主に説明し、同一の構成要素については適宜説明を省略する。
【００９０】
光源部１００は、白色光源１０１と、ライトガイドファイバ２０１の入射端面に集光させる集光レンズ１０４と、を含む。第２の構成例では、回転色フィルタは存在しない。
【００９１】
撮像部２００において、第２の構成例では、撮像素子２０９として原色単板撮像素子を用いる。原色単板撮像素子は、いわゆるベイヤ（Bayer）配列の撮像素子であり、ＣＣＤやＣＭＯＳイメージセンサが利用できる。
【００９２】
３．２．画像処理部
図１２に、画像処理部３０１の第２の詳細な構成例を示す。画像処理部３０１は、画像取得部９０５、前処理部９１０、境界領域補正部９１５、後処理部９９０、境界線描画部９９５を含む。境界領域補正部９１５は、抽出領域設定部９２０、領域抽出部９４０、シェーディング補正部９５０、変倍処理部９５５、合成部９８０を含む。変倍処理部９５５は、補正量制御部９３０、第１領域倍率補正部９６０、第２領域倍率補正部９７０を含む。
【００９３】
各構成部間の接続関係とデータの流れを説明する。Ａ／Ｄ変換部２１０から出力された撮像画像は、画像取得部９０５に入力される。画像取得部９０５により取得された画像は、前処理部９１０に入力される。制御部３０２は、画像取得部９０５と、前処理部９１０と、抽出領域設定部９２０と、補正量制御部９３０と、後処理部９９０と、境界線描画部９９５に双方に通信可能な状態で接続される。制御部３０２は、メモリ２１１に記録されている撮像部２００に固有の情報（前方視野画像及び側方視野画像の抽出境界情報や、前方視野画像と側方視野画像の表示倍率情報）の読み込みや、メモリ２１１に記録されている情報の更新を行う。
【００９４】
前処理部９１０は、入力される撮像画像を、制御部３０２から出力される出力画像生成パラメータ（ＯＢクランプ、ホワイトバランス）に基づいて補正し、補正した撮像画像を、抽出領域設定部９２０と領域抽出部９４０に出力する。
【００９５】
抽出領域設定部９２０は、制御部３０２からの抽出領域設定信号がＯＮの場合に抽出領域設定処理を行い、設定した抽出領域情報を、補正量制御部９３０と制御部３０２と領域抽出部９４０に出力する。また、抽出領域設定部９２０は、設定したシェーディング補正係数をシェーディング補正部９５０に出力する。抽出領域情報とは、第１の実施形態において説明したように、前方視野画像と側方視野画像の中心位置の情報、前方視野画像の抽出境界線の情報、側方視野画像の抽出境界線の情報、側方視野画像の外周の情報である。例えば、抽出領域情報は、中心位置ＣＰ（例えば図６（Ａ））の座標、その中心位置ＣＰを原点とする極座標形式において中心位置ＣＰからの距離Ｄ１、Ｄ２、Ｄ３（例えば図８（Ａ））である。この抽出領域設定処理については、詳細に後述する。
【００９６】
例えば、抽出領域設定信号は、外部Ｉ／Ｆ部５００のスイッチによりＯＮ・ＯＦＦ制御される。例えば、ユーザが、外部Ｉ／Ｆ部５００のスイッチによりホワイトバランス係数算出モードを選択した場合に、そのモードに連動して抽出領域設定信号がＯＮになり、通常の診察時においては、抽出領域設定信号はＯＦＦである。
【００９７】
補正量制御部９３０は、抽出領域設定部９２０と同様に、制御部３０２からの観察モード切替信号により補正量制御を行う。補正量制御部９３０は、抽出領域設定部９２０から入力される抽出領域情報に基づいて、前方視野画像の倍率補正情報と側方視野画像の倍率補正情報を設定し、前方視野画像の倍率補正情報を第１領域倍率補正部９６０へ出力し、側方視野画像の倍率補正情報を第２領域倍率補正部９７０へ出力する。例えば、倍率補正情報は、第１の実施形態で説明した上式（１）、（３）の多項式の係数値により与えられる。
【００９８】
領域抽出部９４０には、前処理部９１０から出力されたホワイトバランス処理済の撮像画像が入力される。領域抽出部９４０は、その入力された撮像画像から、抽出領域設定部９２０からの抽出領域情報に基づいて前方視野画像と側方視野画像をそれぞれ抽出し、抽出した画像をシェーディング補正部９５０へ出力する。
【００９９】
シェーディング補正部９５０は、入力される前方視野画像と側方視野画像に対して、抽出領域設定部９２０から出力されるシェーディング補正係数を使って、シェーディング補正を行う。シェーディング補正部９５０は、補正後の前方視野画像を第１領域倍率補正部９６０へ出力し、補正後の側方視野画像を第２領域倍率補正部９７０へ出力する。
【０１００】
第１領域倍率補正部９６０と第２領域倍率補正部９７０と合成部９８０は、第１の実施形態と基本的には同じ処理を行う。第１の実施形態との違いは、第１の実施形態では撮像画像は各画素当り３つの色信号からなり、第２の実施形態では撮像画像は各画素当り１つの色信号からなる点である。第２の実施形態では、前方視野画像と側方視野画像の倍率補正を行った後でも、図１１の信号配列が維持されるように倍率補正を行う。即ち、同色の周辺画素を用いて補間処理を行い、所定の画素位置に所定の１つの色信号を生成する。
【０１０１】
後処理部９９０には、合成部９８０から出力された前方視野画像と側方視野画像が合成された撮像画像が入力される。後処理部９９０は、その入力された撮像画像に対して、例えばデモザイキング処理や色補正処理、階調変換処理、強調処理、拡大処理等を行い、表示モニタに表示可能な出力画像を生成し、その出力画像を境界線描画部９９５へ出力する。
【０１０２】
境界線描画部９９５は、第１の実施形態と同様の処理を行うため、説明を省略する。
【０１０３】
３．３．抽出領域設定部
図１３に、抽出領域設定部９２０の詳細な構成例を示す。抽出領域設定部９２０は、境界領域検出部７１０、中心算出部７２０、境界線設定部７３０（抽出境界線決定部）、抽出領域パラメータ設定部７４０、シェーディング補正パラメータ設定部７５０を含む。
【０１０４】
各構成部間の接続関係とデータの流れを説明する。前処理部９１０から出力された撮像画像は、境界領域検出部７１０に入力される。ここで、撮像画像の対象物は、ホワイトバランス係数を算出する為の白色パッチであり、撮像部２００の先端と白色パッチの相対的な位置関係が保たれた状態で撮影できるものとする。
【０１０５】
制御部３０２は、境界領域検出部７１０と境界線設定部７３０と抽出領域パラメータ設定部７４０とシェーディング補正パラメータ設定部７５０に双方に通信可能な状態で接続される。
【０１０６】
境界領域検出部７１０には、前処理部９１０から出力されるホワイトバランス処理後の撮像画像が入力され、制御部３０２からの抽出領域設定信号がＯＮである場合には、境界領域を検出するための検出領域情報と検出閾値が制御部３０２から入力される。境界領域検出部７１０は、入力される撮像画像を検出領域情報に基づいて抽出し、抽出した検出領域に対して図１１のベイヤ配列の２×２の隣接画素（Ｒ、Ｇ、Ｇ、Ｂ）の総和をとる処理を行い、輝度信号を生成する。境界領域検出部７１０は、生成した輝度信号と検出閾値の比較により２値化処理を行い、２値化処理後の輝度信号から不要な細線の除去を行い、境界線を抽出する。境界領域検出部７１０は、抽出した境界線情報を中心算出部７２０へ出力し、生成した輝度信号を境界線設定部７３０へ出力する。
【０１０７】
中心算出部７２０は、入力される境界線情報から重心位置を算出し、この重心位置を前方視野画像及び側方視野画像の中心位置として設定し、設定した中心位置を境界線設定部７３０に出力する。
【０１０８】
境界線設定部７３０は、入力される輝度信号のシェーディング許容位置を、制御部３０２からのシェーディング許容閾値に基づいて決定する。具体的には図１４（Ａ）に示すように、境界線設定部７３０は、中心位置ＣＰ周辺の平均輝度値をシェーディングの基準値とし、その基準値により検出領域内（例えば画像全体）の輝度値を除算することでシェーディング画像を算出する。境界線設定部７３０は、算出したシェーディング画像と、制御部３０２から入力されたシェーディング許容閾値Ｔとにより、シェーディング許容位置を決定し、中心位置に最も近い位置を通る円形状の抽出境界線Ｌ１、Ｌ２を決定する。境界線設定部７３０は、決定した抽出境界線Ｌ１、Ｌ２を抽出領域パラメータ設定部７４０とシェーディング補正パラメータ設定部７５０へ出力し、算出したシェーディング画像をシェーディング補正パラメータ設定部７５０へ出力する。
【０１０９】
より具体的には図１４（Ｂ）に示すように、境界線設定部７３０は、シェーディング画像の輝度レベルが閾値Ｔとなる位置を求め、中心からその位置までの距離を算出する。算出された距離のうち小さい方の距離を半径とする円を、抽出境界線Ｌ１に設定する。また、境界線設定部７３０は、算出された距離のうち大きい方の距離に所定距離を足した距離を半径とする円を、抽出境界線Ｌ２に設定する。
【０１１０】
抽出領域パラメータ設定部７４０は、入力された抽出境界線Ｌ１、Ｌ２の半径情報及び中心座標を抽出領域パラメータとして設定し、その抽出領域パラメータを、制御部３０２を介してメモリ２１１に格納する。また、抽出領域パラメータを領域抽出部９４０へ出力する。
【０１１１】
シェーディング補正パラメータ設定部７５０は、入力される抽出境界線Ｌ１、Ｌ２と中心位置とシェーディング画像から、シェーディング補正係数画像又はシェーディング補正係数を算出する。シェーディング補正パラメータ設定部７５０は、そのシェーディング補正係数画像又はシェーディング補正係数をシェーディング補正パラメータとして設定し、設定したパラメータを、制御部３０２を経由してメモリ２１１に格納する。また、設定したパラメータをシェーディング補正部へ出力する。ここで、シェーディング補正係数画像は、中心位置を基準としたシェーディング画像の各画素値の逆数を取った画像である。また、図１４（Ｃ）に示すように、シェーディング補正係数（シェーディング補正量）は、シェーディング補正係数画像の画素値を円周方向で平均化して算出した係数であり、半径方向の１次元の係数である。
【０１１２】
抽出領域設定部９２０は、制御部３０２からの抽出領域設定信号がＯＦＦの場合は、メモリ２１１に記録されているパラメータを抽出領域パラメータ設定部７４０とシェーディング補正パラメータ設定部７５０に読み込み、そのパラメータを領域抽出部９４０とシェーディング補正部９５０へ出力する。
【０１１３】
なお、上記では前方視野画像のみにシェーディング補正を行う場合を例に説明したが、本実施形態はこれに限定されない。例えば、前方視野画像及び側方視野画像にシェーディング補正を行ってもよい。
【０１１４】
以上の実施形態によれば、図１２、図１３に示すように、境界領域補正部９１５は境界線設定部７３０と領域抽出部９４０を含む。図１４（Ａ）に示すように、境界線設定部７３０は、取得画像から前方領域の画像を抽出するための境界線である第１境界線Ｌ１、及び取得画像から側方領域の画像を抽出するための境界線である第２境界線Ｌ２のうちの少なくとも一方を設定する。領域抽出部９４０は、第１境界線Ｌ１が設定された場合に、第１境界線Ｌ１に基づいて前方領域の画像を抽出する。第２境界線が設定された場合に、第２境界線Ｌ２に基づいて側方領域の画像を抽出する。
【０１１５】
より具体的には、図１３に示すように、境界領域補正部９１５は、境界領域を検出する境界領域検出部７１０を有する。図１４（Ｂ）で説明したように、境界線設定部７３０は、検出された境界領域に基づいて第１境界線Ｌ１及び第２境界線Ｌ２の少なくとも一方を設定する。
【０１１６】
このようにすれば、第１、第２境界線Ｌ１、Ｌ２の少なくとも一方を設定でき、設定した境界線により前方領域、側方領域の少なくとも一方を設定できる。なお、第２の実施形態では、前方領域の画像と側方領域の画像の両方を抽出する場合を説明したが、第１の実施形態で説明したように、前方領域の画像と側方領域の画像の一方を抽出し、シェーディング補正とオーバーラップ処理を行ってもよい。
【０１１７】
また本実施形態では、図１４（Ｂ）で説明したように、境界線設定部７３０は、取得画像における輝度レベルの変化を表すシェーディング量（例えば、中心周辺の輝度平均値で正規化した輝度値）に基づいて第１境界線Ｌ１を設定する。領域抽出部９４０は、取得画像の中の第１境界線Ｌ１よりも内側の領域の画像を前方領域の画像として抽出する。
【０１１８】
より具体的には、図１２に示すように、境界領域補正部９１５は、前方領域におけるシェーディング量を補正するシェーディング補正部９５０を有する。合成部９８０は、シェーディング量が補正された前方領域の画像と側方領域の画像を合成する。
【０１１９】
このようにすれば、光学系によって生じた画像上のシェーディング（例えば前方領域における周辺減光）を、シェーディングの無い領域と同等の明るさで表示することができる。シェーディングが生じた領域も表示画像として利用できるため、観察できない死角領域を極力小さく押さえることができる。また、特定の撮影条件下（例えばホワイトバランスキャップ撮影時）において、抽出境界線Ｌ１、Ｌ２を決定できるので、製造バラツキに伴う調整工程を軽減でき、コスト低減も図ることができる。
【０１２０】
また本実施形態では、図１２に示すように、変倍処理部９５５は表示倍率設定部（補正量制御部９３０）を有する。第１境界線Ｌ１と第２境界線Ｌ２は、円形状の境界線である。表示倍率設定部は、その第１境界線Ｌ１と第２の境界線Ｌ２の中心点ＣＰを基準とする表示倍率を設定する（例えば上式（１）、（３）の変倍率Ｖｆ（ｒ）、Ｖｓ（ｒ））。変倍処理部９５５は、設定された表示倍率に基づいて変倍処理を行う。
【０１２１】
より具体的には、変倍処理部９５５は、表示倍率設定部により設定された表示倍率に基づく変位量であって、中心点ＣＰを基準とする半径方向の距離（ｒ）に対して線形又は非線形な変位量（例えば上式（２）、（４）の変位量Ｄｆ（ｒ）、Ｄｓ（ｒ））により、変倍処理を行う。
【０１２２】
このようにすれば、前方領域と側方領域を、自在な変倍率により拡大縮小することができる。また、中心からの距離に対して線形又は非線形の拡大縮小を行うことができるため、ユーザの観察領域に合わせた、より自由度の高い変倍処理が可能になる。
【０１２３】
ここで、上記の実施形態では、境界線Ｌ１、Ｌ２を真円である場合を例に説明したが、本実施形態はこれに限定されず、境界線Ｌ１、Ｌ２は円形状であればよい。即ち、境界線Ｌ１とＬ２の間に、境界領域が存在するものであればよい。
【０１２４】
以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
【０１２５】
また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。
【符号の説明】
【０１２６】
１０ 病変部、２０ レンズ、２１ 透過部、２２ 反射部、２３ 前方視野画像、
２４ 側方視野画像、２５ 環状領域、２６ 反射部、１００ 光源部、
１０１ 白色光源、１０２ 回転色フィルタ、１０３ 回転駆動部、
１０４ 集光レンズ、２００ 撮像部、２０１ ライトガイドファイバ、
２０２ 照明レンズ、２０３ 対物レンズ、２０９ 撮像素子、２１０ Ａ／Ｄ変換部、
２１１ メモリ、２１２ コネクタ、３００ 制御装置、３０１ 画像処理部、
３０２ 制御部、３０５ 画像取得部、３１０ 出力画像生成部、
３１５ 境界領域補正部、３２０ 領域抽出部、３２５ 変倍処理部、
３３０ 第１領域倍率補正部、３４０ 第２領域倍率補正部、３５０ 合成部、
３６０ 境界線描画部、４００ 表示部、５００ 外部Ｉ／Ｆ部、
６０１ 赤の色フィルタ、６０２ 緑の色フィルタ、６０３ 青の色フィルタ、
７１０ 境界領域検出部、７２０ 中心算出部、７３０ 境界線設定部、
７４０ 抽出領域パラメータ設定部、７５０ シェーディング補正パラメータ設定部、
８０３ 回転モータ、９０５ 画像取得部、９１０ 前処理部、
９１５ 境界領域補正部、９２０ 抽出領域設定部、９３０ 補正量制御部、
９４０ 領域抽出部、９５０ シェーディング補正部、９５５ 変倍処理部、
９６０ 第１領域倍率補正部、９７０ 第２領域倍率補正部、９８０ 合成部、
９９０ 後処理部、９９５ 境界線描画部、
ＢＲ 境界領域、ＣＰ 中心位置、Ｄ１〜Ｄ３ 距離、ＦＲ 前方視野画像、
Ｌ１，Ｌ２ 抽出境界線、ＭＲ１，ＭＲ２ マージン領域、ＳＲ 側方視野画像、
ＳＲＰ 外周、Ｔ シェーディング許容閾値、ＷＬ 境界線、Ｚ 光軸
【特許請求の範囲】
【請求項１】
前方視野に対応する前方画像と、側方視野に対応する側方画像とが、１枚の取得画像として形成された画像信号を、取得する画像取得部と、
前記取得画像における前記前方視野に対応する領域を前方領域とし、前記取得画像における前記側方視野に対応する領域を側方領域とする場合に、前記前方領域の画像及び前記側方領域の画像のうちの少なくとも一方を、前記前方領域と前記側方領域の境界となる領域である境界領域に対してオーバーラップさせるオーバーラップ処理を行う境界領域補正部と、
を含むことを特徴とする内視鏡用画像処理装置。
【請求項２】
請求項１において、
前記境界領域補正部は、
前記前方領域の画像及び前記側方領域の画像のうちの少なくとも一方の表示倍率を変更する変倍処理を行う変倍処理部と、
前記変倍処理後の前記前方領域の画像及び前記側方領域の画像を合成することにより、前記オーバーラップ処理を行う合成部と、
を有することを特徴とする内視鏡用画像処理装置。
【請求項３】
請求項２において、
前記境界領域補正部は、
前記取得画像から、前記前方領域の画像及び前記側方領域の画像のうちの一方を、前記変倍処理の対象画像として抽出する領域抽出部を有し、
前記変倍処理部は、
前記対象画像を拡大する前記変倍処理を行い、
前記合成部は、
拡大された前記対象画像と、前記前方領域の画像及び前記側方領域の画像のうちの他方とを、合成することを特徴とする内視鏡用画像処理装置。
【請求項４】
請求項３において、
前記変倍処理部は、
前記前方視野画像の中心を基準としたときの径方向に沿って前記対象画像を拡大する処理を前記変倍処理として行うことを特徴とする内視鏡画像処理装置。
【請求項５】
請求項２において、
前記境界領域補正部は、
前記取得画像から、前記前方領域の画像と前記側方領域の画像を抽出する領域抽出部を有し、
前記変倍処理部は、
前記前方領域の画像及び前記側方領域の画像のうちの一方を拡大する前記変倍処理を行い、前記前方領域の画像及び前記側方領域の画像のうちの他方を縮小する前記変倍処理を行い、
前記合成部は、
前記変倍処理後の前記前方領域の画像及び前記側方領域の画像を合成することを特徴とする内視鏡用画像処理装置。
【請求項６】
請求項２において、
前記境界領域補正部は、
前記取得画像から前記前方領域の画像を抽出するための境界線である第１境界線、及び前記取得画像から前記側方領域の画像を抽出するための境界線である第２境界線のうちの少なくとも一方の境界線を設定する境界線設定部と、
前記一方の境界線として前記第１境界線が設定された場合には、前記第１境界線に基づいて前記前方領域の画像を抽出し、前記一方の境界線として前記第２境界線が設定された場合には、前記第２境界線に基づいて前記側方領域の画像を抽出する領域抽出部と、
を有することを特徴とする内視鏡用画像処理装置。
【請求項７】
請求項６において、
前記境界領域補正部は、
前記境界領域を検出する境界領域検出部を有し、
前記境界線設定部は、
検出された前記境界領域に基づいて前記第１境界線及び前記第２境界線の少なくとも一方を設定することを特徴とする内視鏡用画像処理装置。
【請求項８】
請求項６において、
前記境界線設定部は、
前記取得画像における輝度レベルの変化を表すシェーディング量に基づいて前記第１境界線を設定し、
前記領域抽出部は、
前記取得画像の中の前記第１境界線よりも内側の領域の画像を前記前方領域の画像として抽出することを特徴とする内視鏡用画像処理装置。
【請求項９】
請求項８において、
前記境界領域補正部は、
前記前方領域における前記シェーディング量を補正するシェーディング補正部を有し、
前記合成部は、
前記シェーディング量が補正された前記前方領域の画像と前記側方領域の画像を合成することを特徴とする内視鏡用画像処理装置。
【請求項１０】
請求項６において、
前記第１境界線と前記第２境界線は、
円形状の境界線であり、
前記変倍処理部は、
前記第１境界線と前記第２の境界線の中心点を基準とする前記表示倍率を設定する表示倍率設定部を有し、
前記変倍処理部は、
設定された前記表示倍率に基づいて前記変倍処理を行うことを特徴とする内視鏡用画像処理装置。
【請求項１１】
請求項１０において、
前記変倍処理部は、
前記表示倍率設定部により設定された前記表示倍率に基づく変位量であって、前記中心点を基準とする半径方向の距離に対して線形又は非線形な変位量により、前記変倍処理を行うことを特徴とする内視鏡用画像処理装置。
【請求項１２】
請求項２において、
前記合成された前記前方領域の画像と前記側方領域の画像の境界を識別可能にするための境界線を描画する境界線描画部を含むことを特徴とする内視鏡用画像処理装置。
【請求項１３】
請求項１において、
前記境界領域は、
前記前方視野と前記側方視野を撮像するための光学系における光学設計値に基づく所定視野角の環状領域であり、
前記境界領域と前記前方領域の間の境界線である第１境界線は、
前記環状領域よりも内側に設定され、
前記境界領域と前記側方領域の間の境界線である第２境界線は、
前記環状領域よりも外側に設定されることを特徴とする内視鏡用画像処理装置。
【請求項１４】
請求項１３において、
前記第１境界線と前記第２境界線は、
前記所定視野角の環状領域に対して、統計的な製造バラツキに応じたマージン領域が付加されて設定されることを特徴とする内視鏡用画像処理装置。
【請求項１５】
請求項１に記載の内視鏡用画像処理装置と、
前記前方視野を撮像するための前方観察光学系と、
前記側方視野を撮像するための側方観察光学系と、
前記前方視野と前記側方視野を同時に撮像する撮像素子と、
を含むことを特徴とする内視鏡装置。
【請求項１６】
請求項１５において、
前記境界領域は、
前記前方観察光学系により得られる前記前方視野と、前記側方観察光学系により得られる前記側方視野との間の死角に対応する領域を含むことを特徴とする内視鏡装置。
【請求項１７】
請求項１５において、
前記境界領域は、
前記前方観察光学系の周辺減光によりシェーディングが生じた領域の少なくとも一部を含むことを特徴とする内視鏡装置。
【請求項１８】
前方視野に対応する前方画像と、側方視野に対応する側方画像とが、１枚の取得画像として形成された画像信号を、取得し、
前記取得画像における前記前方視野に対応する領域を前方領域とし、前記取得画像における前記側方視野に対応する領域を側方領域とする場合に、前記前方領域の画像及び前記側方領域の画像のうちの少なくとも一方を、前記前方領域と前記側方領域の境界となる領域である境界領域に対してオーバーラップさせるオーバーラップ処理を行うことを特徴とする画像処理方法。
【請求項１】
前方視野に対応する前方画像と、側方視野に対応する側方画像とが、１枚の取得画像として形成された画像信号を、取得する画像取得部と、
前記取得画像における前記前方視野に対応する領域を前方領域とし、前記取得画像における前記側方視野に対応する領域を側方領域とする場合に、前記前方領域の画像及び前記側方領域の画像のうちの少なくとも一方を、前記前方領域と前記側方領域の境界となる領域である境界領域に対してオーバーラップさせるオーバーラップ処理を行う境界領域補正部と、
を含むことを特徴とする内視鏡用画像処理装置。
【請求項２】
請求項１において、
前記境界領域補正部は、
前記前方領域の画像及び前記側方領域の画像のうちの少なくとも一方の表示倍率を変更する変倍処理を行う変倍処理部と、
前記変倍処理後の前記前方領域の画像及び前記側方領域の画像を合成することにより、前記オーバーラップ処理を行う合成部と、
を有することを特徴とする内視鏡用画像処理装置。
【請求項３】
請求項２において、
前記境界領域補正部は、
前記取得画像から、前記前方領域の画像及び前記側方領域の画像のうちの一方を、前記変倍処理の対象画像として抽出する領域抽出部を有し、
前記変倍処理部は、
前記対象画像を拡大する前記変倍処理を行い、
前記合成部は、
拡大された前記対象画像と、前記前方領域の画像及び前記側方領域の画像のうちの他方とを、合成することを特徴とする内視鏡用画像処理装置。
【請求項４】
請求項３において、
前記変倍処理部は、
前記前方視野画像の中心を基準としたときの径方向に沿って前記対象画像を拡大する処理を前記変倍処理として行うことを特徴とする内視鏡画像処理装置。
【請求項５】
請求項２において、
前記境界領域補正部は、
前記取得画像から、前記前方領域の画像と前記側方領域の画像を抽出する領域抽出部を有し、
前記変倍処理部は、
前記前方領域の画像及び前記側方領域の画像のうちの一方を拡大する前記変倍処理を行い、前記前方領域の画像及び前記側方領域の画像のうちの他方を縮小する前記変倍処理を行い、
前記合成部は、
前記変倍処理後の前記前方領域の画像及び前記側方領域の画像を合成することを特徴とする内視鏡用画像処理装置。
【請求項６】
請求項２において、
前記境界領域補正部は、
前記取得画像から前記前方領域の画像を抽出するための境界線である第１境界線、及び前記取得画像から前記側方領域の画像を抽出するための境界線である第２境界線のうちの少なくとも一方の境界線を設定する境界線設定部と、
前記一方の境界線として前記第１境界線が設定された場合には、前記第１境界線に基づいて前記前方領域の画像を抽出し、前記一方の境界線として前記第２境界線が設定された場合には、前記第２境界線に基づいて前記側方領域の画像を抽出する領域抽出部と、
を有することを特徴とする内視鏡用画像処理装置。
【請求項７】
請求項６において、
前記境界領域補正部は、
前記境界領域を検出する境界領域検出部を有し、
前記境界線設定部は、
検出された前記境界領域に基づいて前記第１境界線及び前記第２境界線の少なくとも一方を設定することを特徴とする内視鏡用画像処理装置。
【請求項８】
請求項６において、
前記境界線設定部は、
前記取得画像における輝度レベルの変化を表すシェーディング量に基づいて前記第１境界線を設定し、
前記領域抽出部は、
前記取得画像の中の前記第１境界線よりも内側の領域の画像を前記前方領域の画像として抽出することを特徴とする内視鏡用画像処理装置。
【請求項９】
請求項８において、
前記境界領域補正部は、
前記前方領域における前記シェーディング量を補正するシェーディング補正部を有し、
前記合成部は、
前記シェーディング量が補正された前記前方領域の画像と前記側方領域の画像を合成することを特徴とする内視鏡用画像処理装置。
【請求項１０】
請求項６において、
前記第１境界線と前記第２境界線は、
円形状の境界線であり、
前記変倍処理部は、
前記第１境界線と前記第２の境界線の中心点を基準とする前記表示倍率を設定する表示倍率設定部を有し、
前記変倍処理部は、
設定された前記表示倍率に基づいて前記変倍処理を行うことを特徴とする内視鏡用画像処理装置。
【請求項１１】
請求項１０において、
前記変倍処理部は、
前記表示倍率設定部により設定された前記表示倍率に基づく変位量であって、前記中心点を基準とする半径方向の距離に対して線形又は非線形な変位量により、前記変倍処理を行うことを特徴とする内視鏡用画像処理装置。
【請求項１２】
請求項２において、
前記合成された前記前方領域の画像と前記側方領域の画像の境界を識別可能にするための境界線を描画する境界線描画部を含むことを特徴とする内視鏡用画像処理装置。
【請求項１３】
請求項１において、
前記境界領域は、
前記前方視野と前記側方視野を撮像するための光学系における光学設計値に基づく所定視野角の環状領域であり、
前記境界領域と前記前方領域の間の境界線である第１境界線は、
前記環状領域よりも内側に設定され、
前記境界領域と前記側方領域の間の境界線である第２境界線は、
前記環状領域よりも外側に設定されることを特徴とする内視鏡用画像処理装置。
【請求項１４】
請求項１３において、
前記第１境界線と前記第２境界線は、
前記所定視野角の環状領域に対して、統計的な製造バラツキに応じたマージン領域が付加されて設定されることを特徴とする内視鏡用画像処理装置。
【請求項１５】
請求項１に記載の内視鏡用画像処理装置と、
前記前方視野を撮像するための前方観察光学系と、
前記側方視野を撮像するための側方観察光学系と、
前記前方視野と前記側方視野を同時に撮像する撮像素子と、
を含むことを特徴とする内視鏡装置。
【請求項１６】
請求項１５において、
前記境界領域は、
前記前方観察光学系により得られる前記前方視野と、前記側方観察光学系により得られる前記側方視野との間の死角に対応する領域を含むことを特徴とする内視鏡装置。
【請求項１７】
請求項１５において、
前記境界領域は、
前記前方観察光学系の周辺減光によりシェーディングが生じた領域の少なくとも一部を含むことを特徴とする内視鏡装置。
【請求項１８】
前方視野に対応する前方画像と、側方視野に対応する側方画像とが、１枚の取得画像として形成された画像信号を、取得し、
前記取得画像における前記前方視野に対応する領域を前方領域とし、前記取得画像における前記側方視野に対応する領域を側方領域とする場合に、前記前方領域の画像及び前記側方領域の画像のうちの少なくとも一方を、前記前方領域と前記側方領域の境界となる領域である境界領域に対してオーバーラップさせるオーバーラップ処理を行うことを特徴とする画像処理方法。
【図３】
【図５】
【図８】
【図１１】
【図１２】
【図１３】
【図１】
【図２】
【図４】
【図６】
【図７】
【図９】
【図１０】
【図１４】
【図５】
【図８】
【図１１】
【図１２】
【図１３】
【図１】
【図２】
【図４】
【図６】
【図７】
【図９】
【図１０】
【図１４】
【公開番号】特開２０１３−６６６４６（Ｐ２０１３−６６６４６Ａ）
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願番号】特願２０１１−２０８７３４（Ｐ２０１１−２０８７３４）
【出願日】平成２３年９月２６日（２０１１．９．２６）
【出願人】（３０４０５０９２３）オリンパスメディカルシステムズ株式会社 (1,905)
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願日】平成２３年９月２６日（２０１１．９．２６）
【出願人】（３０４０５０９２３）オリンパスメディカルシステムズ株式会社 (1,905)
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]