撮影装置
【課題】スコープ部の細径化を妨げることなく、画像の全領域において合焦している画像を取得する。
【解決手段】照明光が照射された被写体の画像を、複数のピント位置の中から所定のピント位置で撮像する内視鏡装置において、制御部２１０は、第１のピント位置で撮像した第１の画像の各画素領域の明るさに基づいて、この画像のほぼ全領域において合焦しているか否かを判定し、この画像のほぼ全領域において合焦してはいないと判定した場合には、第１のピント位置とは異なる第２のピント位置で被写体の第２の画像を撮像させ、第１の画像内の合焦している領域と、第２の画像内の合焦している領域とを合成して、合成画像を生成する。
【解決手段】照明光が照射された被写体の画像を、複数のピント位置の中から所定のピント位置で撮像する内視鏡装置において、制御部２１０は、第１のピント位置で撮像した第１の画像の各画素領域の明るさに基づいて、この画像のほぼ全領域において合焦しているか否かを判定し、この画像のほぼ全領域において合焦してはいないと判定した場合には、第１のピント位置とは異なる第２のピント位置で被写体の第２の画像を撮像させ、第１の画像内の合焦している領域と、第２の画像内の合焦している領域とを合成して、合成画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、体腔内などの被写体の画像を取得する内視鏡装置に関するものである。
【背景技術】
【０００２】
従来から、医療の分野においては、先端にＣＣＤなどが取り付けられた細長いスコープ部を被検体の体腔内に挿入し、被検体の体腔内を撮影して腫瘍や血栓などを観察する内視鏡装置が広く利用されている。このような内視鏡装置によれば、被検体の体腔内を直接撮影することによって、被検体に外的なダメージを与えることなく、放射線画像では分かりにくい病巣の色や形状などを把握することができ、治療方針の決定などに必要な情報を手軽に得ることができる。このような内視鏡装置では、被検体の体腔内を照明により照らし、その照明下で撮影が行われる。
【０００３】
一方、内視鏡では細長い体腔内を撮影する場合も多く、そのような場合には、一枚の画像の中に、近距離から遠距離までの画像が含まれ、画像の一部、例えば中距離に対応する部分のみがピントが合い、近距離や遠距離に対応する部分はピントが合っていない場合がある。
【０００４】
通常のカメラにおいては、一枚の画像内の複数の被写体について、撮影距離の異なる複数の被写体に関して、それぞれ撮影距離を測定し、撮影光学系のピント位置をずらしながら複数回撮影を繰り返し、それらの複数の撮影駒から、それぞれピントが合っている部分を選択して、複数の被写体のピントが全て合っている１枚の画像を合成する方法が提案されている。（特許文献１参照）しかし、このようなカメラでは測距手段が必要であり、製造コストが増加する。また、この技術を内視鏡装置へ適用する場合、内視鏡のスコープ部の先端に、測距手段を設置するためのスペースが必要となるので、少しでも細いスコープ部を使用したいという医師の要望にも応えられなくなる。さらに、画像を合成する場合においてピントを合わせたい被写体を指定する必要があり煩わしい。内視鏡装置では、通常観察するのは胃等の内部であるため、カメラで風景シーンや、人物シーンを写すのとは異なり、画像は、１つ１つの被写体で構成されるような画像ではないので、複数の被写体の撮影距離を得るにも、画像のどの部分の撮影距離を測定してよいか不明瞭である、
また、異なる焦点距離をもって撮影された複数枚の画像から１枚の画像を合成する機能を有し、撮影済み画像のそれぞれをお互いに対応する複数の画像領域に分割したうえ、高周波成分量の多い画像領域を優先的に選択することにより、対応する画像領域同士のうちから合焦している画像領域のみを選択して組み合わせること特徴とする電子スチルカメラも提案されている。（特許文献２参照）このカメラには、測距手段も必要でなく、合成時にピントを合わせたい被写体を指定する必要もない。
【特許文献１】特開平１０−１０８０５号公報
【特許文献２】特開平１０−２１０３４１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、内視鏡で通常観察する画像は、胃などの粘膜の画像であるため、局所領域においては、画像のコントラストが小さく、ノイズ等の影響もあり高周波成分量では合焦している画像領域をうまく抽出できない場合がある。このため、上記特許文献２に記載の技術を内視鏡装置へ適用した場合、合成した画像が不自然になる場合がある。
【０００６】
本発明は、上記事情に鑑み、スコープ部の細径化を妨げることなく、画像の全領域において合焦している画像を取得することのできる内視鏡装置を提供することを目的とするものである。
【課題を解決するための手段】
【０００７】
本発明の内視鏡装置は、照明光を射出する光源手段と、前記照明光が照射された被写体の画像を、複数のピント位置の中から所定のピント位置で撮像する撮像手段と、前記画像の撮像動作を制御する制御手段とを有する内視鏡装置において、
前記制御手段が、第１のピント位置で撮像した第１の画像の各画素領域の明るさに基づいて、前記画像のほぼ全領域において合焦しているか否かを判定し、
前記画像のほぼ全領域において合焦してはいないと判定した場合には、前記撮像手段により、前記第１のピント位置とは異なる第２のピント位置で前記被写体の第２の画像を撮像させ、
前記第１の画像内の合焦している領域と、前記第２の画像内の合焦している領域とを合成して、合成画像を生成することを特徴とするものである。
【０００８】
なお、ここで「画素領域の明るさ」とは、一つの画素の明るさであってもよいし、あるいは隣接する複数個の画素の明るさであってもよい。具体的には、一つの画素の輝度値や、あるいは隣接する複数個の画素の平均輝度値などを「画素領域の明るさ」として用いることができる。また、「画像のほぼ全領域」とは、画像の８０％以上の領域、好ましくは９０％以上、より好ましくは９５％以上の領域を意味している。
【０００９】
前記制御手段は、前記第1の画像を、各画素領域の明るさに基づいて、前記第1のピント位置と対応する第1の領域と、前記第2のピント位置と対応する第２の領域とへ分割し、
前記第１の領域では、前記第１の画像を用い、前記第２の領域では第２の画像を用いることにより、合成画像を生成するものであってもよい。
【００１０】
さらに、前記被写体と光の反射特性がほぼ等しい模擬被写体を所定被写体距離へ配置し、所定の光量の照明光を照射して撮像した画像の画素領域の明るさである基準明るさ情報と、前記複数のピント位置毎の被写界深度とを記憶する記憶手段を備える場合であれば、
前記制御手段は、前記第１の画像の各画素領域の明るさと、前記基準明るさ情報とに基づいて、前記被写体の被写体距離範囲を算出し、該被写体距離範囲と前記複数のピント位置毎の被写界深度とから、前記画像のほぼ全領域において合焦しているか否かを判定するものであってもよい。
【００１１】
また、前記被写体と光の反射特性がほぼ等しい模擬被写体を所定被写体距離へ配置し、所定の光量の照明光を照射して撮像した画像の画素領域の明るさである基準明るさ情報と、前記複数のピント位置毎の被写界深度とを記憶する記憶手段を備えるものであれば、
前記制御手段は、前記第１の画像の各画素領域の明るさと、前記基準明るさ情報とに基づいて、前記各画素領域毎に、前記被写体の被写体距離を算出し、算出した各画素領域毎の前記被写体の被写体距離と前記複数のピント位置毎の被写界深度とに基づいて、前記第1の画像を、前記第1のピント位置と対応する第1の領域と、前記第2のピント位置と対応する第２の領域とへ分割するものであってもよい。
【発明の効果】
【００１２】
本発明の内視鏡装置は、第１のピント位置で撮像した第１の画像の各画素領域の明るさに基づいて、前記画像のほぼ全領域において合焦しているか否かを判定し、前記画像のほぼ全領域において合焦してはいないと判定した場合には、前記撮像手段により、前記第１のピント位置とは異なる第２のピント位置で前記被写体の第２の画像を撮像させ、前記第１の画像内の合焦している領域と、前記第２の画像内の合焦している領域とを合成して、合成画像を生成するため、従来必要であった測距手段を備える必要がないので、スコープ部の細径化が妨げられることがなく、また、各画素領域の明るさに基づいて、前記画像のほぼ全領域において合焦しているか否かを判定するため、画像のコントラストが少ない場合であっても、良好な精度で前記画像のほぼ全領域において合焦しているか否かを判定することができ、合焦していない場合のみ、複数のピント位置において画像を取得して、合成画像を生成するので、装置の利便性が向上する。
【００１３】
前記制御手段が、前記第1の画像を、各画素領域の明るさに基づいて、前記第1のピント位置と対応する第1の領域と、前記第2のピント位置と対応する第２の領域とへ分割し、
前記第１の領域では、前記第１の画像を用い、前記第２の領域では第２の画像を用いることにより、合成画像を生成するものであれば、容易に合成画像を生成することができる。
【００１４】
さらに、前記被写体と光の反射特性がほぼ等しい模擬被写体を所定被写体距離へ配置し、所定の光量の照明光を照射して撮像した画像の画素領域の明るさである基準明るさ情報と、前記複数のピント位置毎の被写界深度とを記憶する記憶手段を備え、前記制御手段が、前記第１の画像の各画素領域の明るさと、前記基準明るさ情報とに基づいて、前記被写体の被写体距離範囲を算出し、該被写体距離範囲と前記複数のピント位置毎の被写界深度とから、前記画像のほぼ全領域において合焦しているか否かを判定する場合には、より良好な精度で、前記画像のほぼ全領域において合焦しているか否かを判定することができる。
【００１５】
また、前記被写体と光の反射特性がほぼ等しい模擬被写体を所定被写体距離へ配置し、所定の光量の照明光を照射して撮像した画像の画素領域の明るさである基準明るさ情報と、前記複数のピント位置毎の被写界深度とを記憶する記憶手段を備え、前記制御手段が、前記第１の画像の各画素領域の明るさと、前記基準明るさ情報とに基づいて、前記各画素領域毎に、前記被写体の被写体距離を算出し、算出した各画素領域毎の前記被写体の被写体距離と前記複数のピント位置毎の被写界深度とに基づいて、前記第1の画像を、前記第1のピント位置と対応する第1の領域と、前記第2のピント位置と対応する第２の領域とへ分割するものであれば、ピント位置が異なる画像の中から、それぞれの領域で合焦している画像を確実に選択することができ、より自然な合成画像を生成することができる。
【発明を実施するための最良の形態】
【００１６】
以下図面を参照して本発明の実施の形態を説明する。図１は、本発明の一実施形態である内視鏡装置を示す図である。
【００１７】
この図１に示す内視鏡装置１０は、動作を表示する動画表示モードまたは静止画を表示する静止画表示モードにより動作するものであり、照明光を伝播する光ファイバからなるライトガイド１１０が内部に配置され、また先端近傍にＣＣＤ１２０が設けられており、被検者の体腔内、例えば食道等に挿入されるスコープ部１００と、ＣＣＤ１２０で撮像された画像に各種の画像処理等を施し、動画用の画像データまたは静止画用の画像データを生成するプロセッサ部２００と、ライトガイド１１０へ照明光を供給する光源装置３００と、プロセッサ部２００において生成された画像データを表示するモニタ４００とを備えている。
【００１８】
スコープ部１００は、プロセッサ部２００および光源装置３００に着脱自在に装着されるものであり、ＣＣＤ１２０の先端には該ＣＣＤ１２０へ被写体像を結像させるための撮像光学系１８０とピント位置変更手段１７０とが設けられている。ライトガイド１１０は、光源装置３００から射出される照明光を、被検体の体腔内にある被写体に導き、ＣＣＤ１２０は、その照明光下で、被写体で反射された光を受光することでその被写体の像をあらわすアナログ画像データを生成する。ＣＣＤ１２０には、相関二重サンプリング（ＣＤＳ）を行うとともに、アナログデータを適宜に増幅する自動利得制御（ＡＧＣ）を行うＣＤＳ／ＡＧＣ回路１３０が接続され、該ＣＤＳ／ＡＧＣ回路１３０には、Ａ／Ｄ変換回路１４０が接続されている。ＣＣＤ１２０で生成されたアナログ画像データは、ＣＤＳ／ＡＧＣ回路１３０を経てＡ／Ｄ変換回路１４０に渡され、デジタル画像データに変換される。そして、そのデジタル画像データが、プロセッサ部２００に渡される。スコープ部１００の根元部分には、表示モードを動画表示モードから静止画表示モードへ切り換えるための静止画指定ボタン１６０が設けられている。また、スコープ部１００には、このスコープ部１００の型番等の各種情報を記憶するＥＥＰＲＯＭ１５０も備えられている。
【００１９】
プロセッサ部２００は、スコープ１００の各構成要素の動作を含む、この内視鏡装置１０全体の制御を行い、また静止画像表示モードが指示された場合には、静止画像データを生成する制御部２１０と、動画表示モードが選択されている場合には、スコープ部１００から出力される動画画像データを後段へ出力し、静止画表示モードが選択されている場合には、制御部２１０から出力される静止画像データを後段へ出力する切換部２２０と、該切換部２２０から出力された画像データに対してホワイトバランス補正、ガンマ補正や彩度補正等といった各種画像処理を行う信号処理回路２３０と、該信号処理回路２３０により画像処理が施された表示画像データをモニタ４００に表示させる表示制御部２４０とを備えている。また、制御部２１０には、各種制御プログラム、制御に必要な各種情報、を記憶するメモリ２５０が接続されている。
【００２０】
制御部２１０には、ヒストグラム生成手段２１１、画像領域分割手段２１２および画像合成手段２１３を有している。なお、ヒストグラム生成手段２１１、画像領域分割手段２１２および画像合成手段２１３の詳細については後述する。
【００２１】
また、メモリ２５０には、ピント位置・被写界深度情報と後述する基準輝度情報が記憶されている。ピント位置・被写界深度情報は、各ピント位置と、被写界深度前端Ｄｎと被写界深度後端Ｄｆとの関係を示すものであり、テーブルとして記憶されている。本実施形態において、このメモリ２５０に格納されているマトリクスデータの一例は次の表１のようになる。
【表１】
【００２２】
光源装置３００は、光源３１０と、該光源３１０とスコープ部１００のライトガイド１１０の入射端の間に配置された絞り３２０と、この光源部装置３００全体の動作制御を行う光源制御部３３０と、各種制御プログラムや制御に必要な各種情報を記憶する光源装置側のメモリ３４０とが備えられている。光源制御部３３０は、絞り３２０の開閉量を制御することにより、光源装置３００から射出される照明光の射出光量を制御する。なお、本装置においては、動画表示モードが選択されている場合には、被写体に照射される照明光の照度が適切な値となるように、光源装置３００から射出される照明光の照射光量が自動的に調整される。
【００２３】
以下、まず動画表示モードが選択されている場合の撮影動作および照明光の照射光量の自動調整動作について説明する。
【００２４】
まず、動画表示モードにおいては、スコープ部１００から出力される画像データは、切換部２２０と制御部２１０の両方へ送られる。切換部２２０は、スコープ部１００から出力される動画画像データを信号処理回路２３０へ出力する。信号処理回路２３０では、順次おくられてくる各フレームの動画画像データに対して、ホワイトバランス補正、ガンマ補正および彩度補正を施し、表示制御部２４０に出力する。なお、信号処理回路２３０においては、その他、シャープネス処理や、ノイズ抑制処理など、既知の画像処理を適宜施しても良い。
【００２５】
また、上記の信号処理動作と平行して、プロセッサ部２００の制御部２１０内のヒスとグラム生成手段２１１では、送られてくる各フレームの画像データについて、まず画素毎の輝度値を取得する。制御部２１０のヒストグラム生成手段２１１では、この輝度値を用いて図２に示すようなヒストグラムを作成する。なお、輝度値Ｙとしては、例えば画素データが、ＲＧＢからなる場合であれば、Ｙ＝（Ｒ+Ｇ+Ｂ）／３ あるいはＹ＝（Ｒ+２Ｂ+Ｂ）／４として求めることができる。このヒストグラムの縦軸は度数、横軸は輝度値である。制御部２１０では、このヒストグラムから、ヒストグラム特徴量である下記のピーク輝度値Ｙｐ、平均輝度値Ｙａおよびボトム輝度値Ｙｂを算出する。
【００２６】
ピーク輝度値Ｙｐ：ヒストグラムの高輝度側からカウントして所定の相対累積度数(3%〜２０%程度が望ましい)になる輝度値
平均輝度値Ｙａ：ヒストグラムの平均値となる輝度値
ボトム輝度値Ｙｂ：ヒストグラムの低輝度側からカウントして所定の相対累積度数(3%〜２０%程度が望ましい)になる輝度値
ピーク輝度値Ｙｐは画像データの高輝度側代表値であり、ボトム輝度値Ｙｂは画像データの低輝度側代表値である。画像データの輝度値は、ボトム輝度値Ｙｂ〜ピーク輝度値Ｙｐの範囲に分布しているとみなすことができる。
【００２７】
次に、制御部２１０は、平均輝度値Ｙａとあらかじめ設定されている基準平均輝度値Ｙｉとを比較し、次フレームの画像を撮像する際の照明光の射出光量Ｉを算出し、光源制御部３３０へ出力する。制御部２１０は、平均輝度値Ｙａが基準平均輝度値Ｙｉよりも小さい場合は、次フレームの画像を取得する際の照明光の射出光量を増大させ、平均輝度値Ｙａが基準平均輝度値Ｙｉよりも大きい場合は、次フレームの画像を取得する際の照明光の射出光量を減少させ、平均輝度値Ｙａと基準平均輝度値Ｙｉとが同じ値である場合には、照明光の射出光量を変化させない。
【００２８】
光源制御部３３０では、予めメモリ３４０に記憶されている照明光の射出光量と絞りの開閉量との関係に基づいて、光源装置３００から所定の射出光量Ｉの照明光が射出されるように、絞り３２０の開閉量を制御する。
【００２９】
なお、本実施の形態においては、平均輝度値Ｙａを用いて照明光の射出光量を制御したが、これに限定されるものではなく、他の輝度値、例えばヒストグラムの高輝度側からカウントして２０の相対累積度数になる高域輝度値Ｙｃと、予め設定されている基準高域輝度値Ｙｉとが等しくなるように、照明光の射出光量を制御してもよい。あるいは、使用者が、平均輝度値Ｙａまたは高域輝度値Ｙｃの一方を選択できるようにしてもよい。
【００３０】
次に、静止画表示モードが選択された場合の動作について説明する。使用者はモニタ４００に表示されている動画を観察しながら、所望のタイミングで、スコープ部１００に設けられている静止画指定ボタン１６０を押圧する。静止画指定ボタン１６０が押圧されると、該静止画指定ボタン１６０からプロセッサ２００の制御部２１０内へ表示モードを静止画表示モードへ切り替える静止画表示モード信号が送信される。制御部２１０では、この静止画表示モード信号を受信すると、受信したタイミングにおいて、CCD１２０から出力されてくる動画用の画像データから、静止画表示モード信号を受信したタイミングで取得された画像データに関して、前述した各画素領域毎の輝度値のヒストグラムを生成すると同時に、この画像データ(以下画像データＭｓと記載)をメモリ２５０内に取り込む。なお、
静止画表示モードにおいては、切換部２２０は、制御部２１０の画像合成手段２１３から出力される画像データを信号処理回路２３０へ出力する。
【００３１】
制御部２１０では、まず画像データＭｓのヒストグラムと、該画像データMsを取得した際の照明光の射出光量Ｉｓと、メモリ２５０に記憶されている基準輝度値情報とから、被写体距離範囲Ｄsp〜Dsbを算出する。
【００３２】
なお、基準輝度値情報は、基準輝度値Ｙo、基準被写体距離Doおよび基準射出光量Ｉoとからなる。基準輝度値Yoとは、被写体と略同一の反射率を有する粘膜を、基準被写体距離Doに配置し、基準射出光量Ｉoの照明光を照射して撮像した画像の所定画素の輝度値であり、予め実測により求められて、メモリ２５０に記憶されている。
【００３３】
内視鏡においては、被写体に照射される照明光の照度がM倍になると画素の輝度値ＹはM倍になり、被写体の被写体距離ＤがN倍になると被写体に照射される照明光の照度は１／N２倍になると考えることができる。また、観察される被写体は胃等の粘膜であり、反射率はほぼ一定であるとみなすことができる。
【００３４】
このため、画像データMsの所定の画素の被写体距離Dは下記式（１）を用いて算出することができる。
【数１】
【００３５】
なお、式（１）において、Yｏは基準輝度値、Doは基準被写体距離、Iｏは照明光の基準射出光量、Ｙは画像データＭｓの所定の画素の輝度値、Iは画像データMsを撮像した際の照明光の射出光量である。
【００３６】
上述したように、画像データＭｓの輝度値は、ボトム輝度値Ｙｂ〜ピーク輝度値Ｙｐの範囲に分布しているとみなすことができるので、画像データＭｓの被写体距離範囲をＤｐ〜Ｄｂとすると、ＤｐおよびＤｂは下記の式（２）により求めることができる。
【数２】
【００３７】
制御部２１０では、画像データＭｓを撮像した際のピント位置と、メモリ２５０に予め記憶されているピント位置・被写界深度情報とから、画像データＭｓを撮像した際の被写界深度範囲Ｄｎ〜Ｄｆを求め、被写体距離範囲Ｄｐ〜Ｄｂと比較する。
【００３８】
もし、被写体距離範囲Ｄｐ〜Ｄｂが被写界深度範囲Ｄｎ〜Ｄｆに含まれる場合には、被写体距離の全範囲にわたって合焦しているとみなすことができる。制御部２１０は、メモリ２５０内に取り込んだ画像データＭｓを、画像合成手段２１３へ読み込み、切換部２２０へ出力する。切換部２２０は、画像合成手段２１３から出力された画像データＭｓを信号処理回路２３０へ出力する。信号処理回路２３０では、この画像データＭｓに対して、ホワイトバランス補正、ガンマ補正および彩度補正を施し、表示制御部２４０に出力する。表示制御部２４０では、この画像データＭｓを静止画としてモニタ４００へ表示する。
【００３９】
一方、被写体距離範囲Ｄｐ〜Ｄｂが被写界深度範囲Ｄｎ〜Ｄｆに含まれない場合には、被写体範囲の全範囲にわたっては合焦していないことになる。この場合には、制御部２１０は、メモリ２５０に記憶した被写界深度情報を参照して、被写体距離範囲の全範囲で合焦させるために必要なピント位置を決定する。
【００４０】
まず、制御部２１０は、各ピント位置Ｐ１〜Ｐ５において、被写界深度情報後端Ｄｆ、被写界深度前端Ｄｎ、基準輝度値Ｙo、基準被写体距離Do、基準射出光量Ｉoおよび画像データＭｓを撮像時の照明光の射出光量Ｉｓを用いて、被写界深度後端Ｄｆに相当する輝度値（後端）Ｙｆと被写界深度前端Ｄｎに相当する輝度値（前端）Ｙｎとを算出する。
【００４１】
各ピント位置Ｐ１〜Ｐ５に対する輝度値（後端）Ｙｆおよび輝度値（前端）Ｙｎは、次の表２のようになる。
【表２】
【００４２】
すなわち、画像データＭｓの所定画素の輝度値Ｙが、例えばＹｆ３より小さく、Ｙｆ４＜Ｙ＜Ｙｎ４であれば、この画素に対応する被写体の画像はピント位置４で撮像することにより合焦することがわかる。また、各ピント位置毎の被写界深度範囲はそれぞれ重なりがあるため、各ピント位置での合焦する輝度値の範囲も重なりが生じる。このため、制御部２１０は、各ピント位置に対応する被写界の合焦輝度値範囲の境界を表３に示すように、重なっている範囲の中間に設定する。
【表３】
【００４３】
制御部２１０では、表３に示す各ピント位置に対応する被写界の合焦輝度値範囲と、画像データＭｓのボトム輝度値Ｙｂ〜ピーク輝度値Ｙｐとを比較し、ボトム輝度値Ｙｂ〜ピーク輝度値Ｙｐの範囲をカバーするために必要なピント位置を決定し、そのピント位置での撮像が行われていないピント位置での画像の撮像を行い、その画像データをメモリ２５０へ記憶する。
【００４４】
例えば、ボトム輝度値Ｙｂ〜ピーク輝度値Ｙｐの範囲が、ピント位置Ｐ３、ピント位置Ｐ４およびピント位置Ｐ５に該当するものであり、画像データＭｓがピント位置Ｐ３で撮像された画像であった場合には、制御部２１０は、ピント位置変更手段１７０によりピンと位置を変更し、ピント位置Ｐ４およびピント位置Ｐ５での画像を撮像し、その画像データをメモリ２５０へ記憶する。
【００４５】
制御部２１０の画像領域分割手段２１２では、画像データＭｓに対して、表３に示した合焦輝度範囲と、画像データＭｓの各画素の輝度値とに基づいて、領域分割を行い、領域データとする。これは、撮影した複数枚の画像の中で、画像データの局所的な領域ごとに、どのピント位置で撮影した画像が合焦しているかを示すものである。図３Ａは画像データＭｓを表示した画面の一例であり、図３Ｂは画像データＭｓを領域分割した領域データの一例である。Ｐ３と記載されている領域は、ピント位置Ｐ３で撮影した画像で合焦している領域であり、Ｐ４およびＰ５と記載されている領域は、それぞれ、ピント位置Ｐ４およびＰ５で合焦する領域である。
【００４６】
画像合成手段２１３では、図３Ｂに示す領域データに基づいて、領域Ｐ３はピント位置Ｐ３で撮像された画像データＭｓを用い、領域Ｐ４はピント位置Ｐ４で撮像された画像データを用い、領域Ｐ５はピント位置Ｐ５で撮像された画像データを用いて、合成画像データを生成し、切換部２２０へ出力する。
【００４７】
切換部２２０は、画像合成手段２１３から出力された合成画像データを信号処理回路２３０へ出力する。信号処理回路２３０では、この画像データＭｓに対して、ホワイトバランス補正、ガンマ補正および彩度補正を施し、表示制御部２４０に出力する。表示制御部２４０では、この合成画像データを静止画としてモニタ４００へ表示する。モニタ４００には、近景から遠景まで合焦した静止画像が表示される。なお、ピント位置Ｐ３で撮像した画像データＭｓを用いる領域とピント位置Ｐ４で撮像した画像データを用いる領域との境界など、領域の境界付近では合成結果が不自然とならないように、両方の画像データの重み付け平均をとるなどの処理を行っても良い。
【００４８】
なお、使用者が、スコープ部１００に設けられている静止画指定ボタン１６０を再度押圧すると、表示モードは静止画表示モードから動画表示モードに戻る。あるいは、静止画表示モードから所定時間経過後した場合に、動画表示モードに自動的に戻ってもよい。
【００４９】
以上の説明で明らかなように、本内視鏡装置では、従来必要であった測距手段を備える必要がないので、スコープ部の細径化が妨げられることなく、画像全体が合焦している画像を取得することができる。また、各画素領域の明るさに基づいて、画像のほぼ全領域において合焦しているか否かを判定するため、画像のコントラストが少ない場合であっても、良好な精度で前記画像のほぼ全領域において合焦しているか否かを判定することができる。さらに、合焦していない場合のみ、複数のピント位置において画像を取得して、合成画像を生成するので、装置の利便性が向上する。
【００５０】
なお、基準輝度情報や各ピント位置における被写界深度情報は、スコープ部１００に設けられたＣＣＤ１２０の感度や、撮像光学系１８０の特性等により変化するので、異なる特性のスコープ部１００がプロセッサ部２００へ接続されて使用される場合は、スコープ部１００の機種別にこれらの情報を設定する必要がある。このため、例えば、スコープ部１００に設けられＥＥＰＲＯＭ１５０へこれらの情報を記憶し、スコープ部１００とプロセッサ部２００との接続時にプロセッサ部２００がこれらの情報を読み出して、用いてもよい。
【００５１】
また、プロセッサ部２００のメモリ２５０に、複数の機種別のスコープ部１００に対応する基準輝度情報や各ピント位置における被写界深度情報が記憶されている場合であれば、スコープ部１００とプロセッサ部２００との接続時に、スコープ部１００に設けられＥＥＰＲＯＭ１５０に保存されたスコープ部１００の機種情報を読み出し、プロセッサ内２００のメモリ２５０に機種別に保存された基準輝度情報と被写界深度情報から該当機種のものを読み出し用いても良い。
【００５２】
また、上記実施例では基準輝度情報は「基準射出光量で模擬被写体を基準被写体距離で撮像した場合の輝度」として一つの値が設定されており、照明光の射出光量が調整されることは考慮されているが、シャッタースピード設定や、アナログゲイン設定が変更されることは考慮していない。これらの変更機能を搭載する場合は、各設定組合せにおける基準輝度情報を保持しておき、該当設定の基準輝度情報を読み出して用いるか、基準輝度情報Ｙｏを「基準シャッタースピードＴｏ、基準アナログゲイン設定値Ｇｏ、基準射出光量Ｉｏで、模擬被写体を基準被写体距離Ｄｏで撮影した場合の輝度値」として記憶しておき、式(1)の代わりに下記式を適用して、被写体距離を算出することができる。
【数３】
【００５３】
ただし、Ｔはシャッタースピード設定値、Ｇはアナログゲイン設定値である。他の式も同様に変形して用いることができる。
【００５４】
また、静止画像表示モードにおいては、上記実施例のように、画像データのほぼ全域にわたり合焦していないと判断された場合に、複数のピント位置で撮影した画像から合焦している画像を合成する処理を有効にする場合と、無効にする場合とをスイッチ等で任意に切り替えられようにしてもよい。
【００５５】
さらに、静止画像データをメディア等に画像ファイルとして保存する場合には、合成画像データと、合成されていない画像データとの双方を保存するようにしてもよい。
【図面の簡単な説明】
【００５６】
【図１】本発明の一実施形態である内視鏡装置の概略構成図。
【図２】ヒストグラムを示す図
【図３Ａ】画面の模式図
【図３Ｂ】画像データを領域分割した領域データの模式図
【符号の説明】
【００５７】
１０ 内視鏡装置
１００ スコープ部
１１０ ライトガイド
１２０ ＣＣＤ
１３０ ＣＤＳ／ＡＧＣ回路
１４０ Ａ／Ｄ変換回路
１５０ ＥＥＰＲＯＭ
１６０ 静止画指定ボタン
１７０ ピント位置変更部
１８０ 撮像光学系
２００ プロセッサ部
２１０ 制御部
２１１ ヒストグラム生成手段
２１２ 画像領域分割手段
２１３ 画像合成手段
２２０ 切換部
２３０ 信号処理回路
２４０ 表示制御部
２５０ メモリ
３００ 光源装置
３１０ 光源
３２０ 絞り
３３０ 光源装置側ＣＰＵ
３４０ 光源装置側メモリ
４００ モニタ
【技術分野】
【０００１】
本発明は、体腔内などの被写体の画像を取得する内視鏡装置に関するものである。
【背景技術】
【０００２】
従来から、医療の分野においては、先端にＣＣＤなどが取り付けられた細長いスコープ部を被検体の体腔内に挿入し、被検体の体腔内を撮影して腫瘍や血栓などを観察する内視鏡装置が広く利用されている。このような内視鏡装置によれば、被検体の体腔内を直接撮影することによって、被検体に外的なダメージを与えることなく、放射線画像では分かりにくい病巣の色や形状などを把握することができ、治療方針の決定などに必要な情報を手軽に得ることができる。このような内視鏡装置では、被検体の体腔内を照明により照らし、その照明下で撮影が行われる。
【０００３】
一方、内視鏡では細長い体腔内を撮影する場合も多く、そのような場合には、一枚の画像の中に、近距離から遠距離までの画像が含まれ、画像の一部、例えば中距離に対応する部分のみがピントが合い、近距離や遠距離に対応する部分はピントが合っていない場合がある。
【０００４】
通常のカメラにおいては、一枚の画像内の複数の被写体について、撮影距離の異なる複数の被写体に関して、それぞれ撮影距離を測定し、撮影光学系のピント位置をずらしながら複数回撮影を繰り返し、それらの複数の撮影駒から、それぞれピントが合っている部分を選択して、複数の被写体のピントが全て合っている１枚の画像を合成する方法が提案されている。（特許文献１参照）しかし、このようなカメラでは測距手段が必要であり、製造コストが増加する。また、この技術を内視鏡装置へ適用する場合、内視鏡のスコープ部の先端に、測距手段を設置するためのスペースが必要となるので、少しでも細いスコープ部を使用したいという医師の要望にも応えられなくなる。さらに、画像を合成する場合においてピントを合わせたい被写体を指定する必要があり煩わしい。内視鏡装置では、通常観察するのは胃等の内部であるため、カメラで風景シーンや、人物シーンを写すのとは異なり、画像は、１つ１つの被写体で構成されるような画像ではないので、複数の被写体の撮影距離を得るにも、画像のどの部分の撮影距離を測定してよいか不明瞭である、
また、異なる焦点距離をもって撮影された複数枚の画像から１枚の画像を合成する機能を有し、撮影済み画像のそれぞれをお互いに対応する複数の画像領域に分割したうえ、高周波成分量の多い画像領域を優先的に選択することにより、対応する画像領域同士のうちから合焦している画像領域のみを選択して組み合わせること特徴とする電子スチルカメラも提案されている。（特許文献２参照）このカメラには、測距手段も必要でなく、合成時にピントを合わせたい被写体を指定する必要もない。
【特許文献１】特開平１０−１０８０５号公報
【特許文献２】特開平１０−２１０３４１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、内視鏡で通常観察する画像は、胃などの粘膜の画像であるため、局所領域においては、画像のコントラストが小さく、ノイズ等の影響もあり高周波成分量では合焦している画像領域をうまく抽出できない場合がある。このため、上記特許文献２に記載の技術を内視鏡装置へ適用した場合、合成した画像が不自然になる場合がある。
【０００６】
本発明は、上記事情に鑑み、スコープ部の細径化を妨げることなく、画像の全領域において合焦している画像を取得することのできる内視鏡装置を提供することを目的とするものである。
【課題を解決するための手段】
【０００７】
本発明の内視鏡装置は、照明光を射出する光源手段と、前記照明光が照射された被写体の画像を、複数のピント位置の中から所定のピント位置で撮像する撮像手段と、前記画像の撮像動作を制御する制御手段とを有する内視鏡装置において、
前記制御手段が、第１のピント位置で撮像した第１の画像の各画素領域の明るさに基づいて、前記画像のほぼ全領域において合焦しているか否かを判定し、
前記画像のほぼ全領域において合焦してはいないと判定した場合には、前記撮像手段により、前記第１のピント位置とは異なる第２のピント位置で前記被写体の第２の画像を撮像させ、
前記第１の画像内の合焦している領域と、前記第２の画像内の合焦している領域とを合成して、合成画像を生成することを特徴とするものである。
【０００８】
なお、ここで「画素領域の明るさ」とは、一つの画素の明るさであってもよいし、あるいは隣接する複数個の画素の明るさであってもよい。具体的には、一つの画素の輝度値や、あるいは隣接する複数個の画素の平均輝度値などを「画素領域の明るさ」として用いることができる。また、「画像のほぼ全領域」とは、画像の８０％以上の領域、好ましくは９０％以上、より好ましくは９５％以上の領域を意味している。
【０００９】
前記制御手段は、前記第1の画像を、各画素領域の明るさに基づいて、前記第1のピント位置と対応する第1の領域と、前記第2のピント位置と対応する第２の領域とへ分割し、
前記第１の領域では、前記第１の画像を用い、前記第２の領域では第２の画像を用いることにより、合成画像を生成するものであってもよい。
【００１０】
さらに、前記被写体と光の反射特性がほぼ等しい模擬被写体を所定被写体距離へ配置し、所定の光量の照明光を照射して撮像した画像の画素領域の明るさである基準明るさ情報と、前記複数のピント位置毎の被写界深度とを記憶する記憶手段を備える場合であれば、
前記制御手段は、前記第１の画像の各画素領域の明るさと、前記基準明るさ情報とに基づいて、前記被写体の被写体距離範囲を算出し、該被写体距離範囲と前記複数のピント位置毎の被写界深度とから、前記画像のほぼ全領域において合焦しているか否かを判定するものであってもよい。
【００１１】
また、前記被写体と光の反射特性がほぼ等しい模擬被写体を所定被写体距離へ配置し、所定の光量の照明光を照射して撮像した画像の画素領域の明るさである基準明るさ情報と、前記複数のピント位置毎の被写界深度とを記憶する記憶手段を備えるものであれば、
前記制御手段は、前記第１の画像の各画素領域の明るさと、前記基準明るさ情報とに基づいて、前記各画素領域毎に、前記被写体の被写体距離を算出し、算出した各画素領域毎の前記被写体の被写体距離と前記複数のピント位置毎の被写界深度とに基づいて、前記第1の画像を、前記第1のピント位置と対応する第1の領域と、前記第2のピント位置と対応する第２の領域とへ分割するものであってもよい。
【発明の効果】
【００１２】
本発明の内視鏡装置は、第１のピント位置で撮像した第１の画像の各画素領域の明るさに基づいて、前記画像のほぼ全領域において合焦しているか否かを判定し、前記画像のほぼ全領域において合焦してはいないと判定した場合には、前記撮像手段により、前記第１のピント位置とは異なる第２のピント位置で前記被写体の第２の画像を撮像させ、前記第１の画像内の合焦している領域と、前記第２の画像内の合焦している領域とを合成して、合成画像を生成するため、従来必要であった測距手段を備える必要がないので、スコープ部の細径化が妨げられることがなく、また、各画素領域の明るさに基づいて、前記画像のほぼ全領域において合焦しているか否かを判定するため、画像のコントラストが少ない場合であっても、良好な精度で前記画像のほぼ全領域において合焦しているか否かを判定することができ、合焦していない場合のみ、複数のピント位置において画像を取得して、合成画像を生成するので、装置の利便性が向上する。
【００１３】
前記制御手段が、前記第1の画像を、各画素領域の明るさに基づいて、前記第1のピント位置と対応する第1の領域と、前記第2のピント位置と対応する第２の領域とへ分割し、
前記第１の領域では、前記第１の画像を用い、前記第２の領域では第２の画像を用いることにより、合成画像を生成するものであれば、容易に合成画像を生成することができる。
【００１４】
さらに、前記被写体と光の反射特性がほぼ等しい模擬被写体を所定被写体距離へ配置し、所定の光量の照明光を照射して撮像した画像の画素領域の明るさである基準明るさ情報と、前記複数のピント位置毎の被写界深度とを記憶する記憶手段を備え、前記制御手段が、前記第１の画像の各画素領域の明るさと、前記基準明るさ情報とに基づいて、前記被写体の被写体距離範囲を算出し、該被写体距離範囲と前記複数のピント位置毎の被写界深度とから、前記画像のほぼ全領域において合焦しているか否かを判定する場合には、より良好な精度で、前記画像のほぼ全領域において合焦しているか否かを判定することができる。
【００１５】
また、前記被写体と光の反射特性がほぼ等しい模擬被写体を所定被写体距離へ配置し、所定の光量の照明光を照射して撮像した画像の画素領域の明るさである基準明るさ情報と、前記複数のピント位置毎の被写界深度とを記憶する記憶手段を備え、前記制御手段が、前記第１の画像の各画素領域の明るさと、前記基準明るさ情報とに基づいて、前記各画素領域毎に、前記被写体の被写体距離を算出し、算出した各画素領域毎の前記被写体の被写体距離と前記複数のピント位置毎の被写界深度とに基づいて、前記第1の画像を、前記第1のピント位置と対応する第1の領域と、前記第2のピント位置と対応する第２の領域とへ分割するものであれば、ピント位置が異なる画像の中から、それぞれの領域で合焦している画像を確実に選択することができ、より自然な合成画像を生成することができる。
【発明を実施するための最良の形態】
【００１６】
以下図面を参照して本発明の実施の形態を説明する。図１は、本発明の一実施形態である内視鏡装置を示す図である。
【００１７】
この図１に示す内視鏡装置１０は、動作を表示する動画表示モードまたは静止画を表示する静止画表示モードにより動作するものであり、照明光を伝播する光ファイバからなるライトガイド１１０が内部に配置され、また先端近傍にＣＣＤ１２０が設けられており、被検者の体腔内、例えば食道等に挿入されるスコープ部１００と、ＣＣＤ１２０で撮像された画像に各種の画像処理等を施し、動画用の画像データまたは静止画用の画像データを生成するプロセッサ部２００と、ライトガイド１１０へ照明光を供給する光源装置３００と、プロセッサ部２００において生成された画像データを表示するモニタ４００とを備えている。
【００１８】
スコープ部１００は、プロセッサ部２００および光源装置３００に着脱自在に装着されるものであり、ＣＣＤ１２０の先端には該ＣＣＤ１２０へ被写体像を結像させるための撮像光学系１８０とピント位置変更手段１７０とが設けられている。ライトガイド１１０は、光源装置３００から射出される照明光を、被検体の体腔内にある被写体に導き、ＣＣＤ１２０は、その照明光下で、被写体で反射された光を受光することでその被写体の像をあらわすアナログ画像データを生成する。ＣＣＤ１２０には、相関二重サンプリング（ＣＤＳ）を行うとともに、アナログデータを適宜に増幅する自動利得制御（ＡＧＣ）を行うＣＤＳ／ＡＧＣ回路１３０が接続され、該ＣＤＳ／ＡＧＣ回路１３０には、Ａ／Ｄ変換回路１４０が接続されている。ＣＣＤ１２０で生成されたアナログ画像データは、ＣＤＳ／ＡＧＣ回路１３０を経てＡ／Ｄ変換回路１４０に渡され、デジタル画像データに変換される。そして、そのデジタル画像データが、プロセッサ部２００に渡される。スコープ部１００の根元部分には、表示モードを動画表示モードから静止画表示モードへ切り換えるための静止画指定ボタン１６０が設けられている。また、スコープ部１００には、このスコープ部１００の型番等の各種情報を記憶するＥＥＰＲＯＭ１５０も備えられている。
【００１９】
プロセッサ部２００は、スコープ１００の各構成要素の動作を含む、この内視鏡装置１０全体の制御を行い、また静止画像表示モードが指示された場合には、静止画像データを生成する制御部２１０と、動画表示モードが選択されている場合には、スコープ部１００から出力される動画画像データを後段へ出力し、静止画表示モードが選択されている場合には、制御部２１０から出力される静止画像データを後段へ出力する切換部２２０と、該切換部２２０から出力された画像データに対してホワイトバランス補正、ガンマ補正や彩度補正等といった各種画像処理を行う信号処理回路２３０と、該信号処理回路２３０により画像処理が施された表示画像データをモニタ４００に表示させる表示制御部２４０とを備えている。また、制御部２１０には、各種制御プログラム、制御に必要な各種情報、を記憶するメモリ２５０が接続されている。
【００２０】
制御部２１０には、ヒストグラム生成手段２１１、画像領域分割手段２１２および画像合成手段２１３を有している。なお、ヒストグラム生成手段２１１、画像領域分割手段２１２および画像合成手段２１３の詳細については後述する。
【００２１】
また、メモリ２５０には、ピント位置・被写界深度情報と後述する基準輝度情報が記憶されている。ピント位置・被写界深度情報は、各ピント位置と、被写界深度前端Ｄｎと被写界深度後端Ｄｆとの関係を示すものであり、テーブルとして記憶されている。本実施形態において、このメモリ２５０に格納されているマトリクスデータの一例は次の表１のようになる。
【表１】
【００２２】
光源装置３００は、光源３１０と、該光源３１０とスコープ部１００のライトガイド１１０の入射端の間に配置された絞り３２０と、この光源部装置３００全体の動作制御を行う光源制御部３３０と、各種制御プログラムや制御に必要な各種情報を記憶する光源装置側のメモリ３４０とが備えられている。光源制御部３３０は、絞り３２０の開閉量を制御することにより、光源装置３００から射出される照明光の射出光量を制御する。なお、本装置においては、動画表示モードが選択されている場合には、被写体に照射される照明光の照度が適切な値となるように、光源装置３００から射出される照明光の照射光量が自動的に調整される。
【００２３】
以下、まず動画表示モードが選択されている場合の撮影動作および照明光の照射光量の自動調整動作について説明する。
【００２４】
まず、動画表示モードにおいては、スコープ部１００から出力される画像データは、切換部２２０と制御部２１０の両方へ送られる。切換部２２０は、スコープ部１００から出力される動画画像データを信号処理回路２３０へ出力する。信号処理回路２３０では、順次おくられてくる各フレームの動画画像データに対して、ホワイトバランス補正、ガンマ補正および彩度補正を施し、表示制御部２４０に出力する。なお、信号処理回路２３０においては、その他、シャープネス処理や、ノイズ抑制処理など、既知の画像処理を適宜施しても良い。
【００２５】
また、上記の信号処理動作と平行して、プロセッサ部２００の制御部２１０内のヒスとグラム生成手段２１１では、送られてくる各フレームの画像データについて、まず画素毎の輝度値を取得する。制御部２１０のヒストグラム生成手段２１１では、この輝度値を用いて図２に示すようなヒストグラムを作成する。なお、輝度値Ｙとしては、例えば画素データが、ＲＧＢからなる場合であれば、Ｙ＝（Ｒ+Ｇ+Ｂ）／３ あるいはＹ＝（Ｒ+２Ｂ+Ｂ）／４として求めることができる。このヒストグラムの縦軸は度数、横軸は輝度値である。制御部２１０では、このヒストグラムから、ヒストグラム特徴量である下記のピーク輝度値Ｙｐ、平均輝度値Ｙａおよびボトム輝度値Ｙｂを算出する。
【００２６】
ピーク輝度値Ｙｐ：ヒストグラムの高輝度側からカウントして所定の相対累積度数(3%〜２０%程度が望ましい)になる輝度値
平均輝度値Ｙａ：ヒストグラムの平均値となる輝度値
ボトム輝度値Ｙｂ：ヒストグラムの低輝度側からカウントして所定の相対累積度数(3%〜２０%程度が望ましい)になる輝度値
ピーク輝度値Ｙｐは画像データの高輝度側代表値であり、ボトム輝度値Ｙｂは画像データの低輝度側代表値である。画像データの輝度値は、ボトム輝度値Ｙｂ〜ピーク輝度値Ｙｐの範囲に分布しているとみなすことができる。
【００２７】
次に、制御部２１０は、平均輝度値Ｙａとあらかじめ設定されている基準平均輝度値Ｙｉとを比較し、次フレームの画像を撮像する際の照明光の射出光量Ｉを算出し、光源制御部３３０へ出力する。制御部２１０は、平均輝度値Ｙａが基準平均輝度値Ｙｉよりも小さい場合は、次フレームの画像を取得する際の照明光の射出光量を増大させ、平均輝度値Ｙａが基準平均輝度値Ｙｉよりも大きい場合は、次フレームの画像を取得する際の照明光の射出光量を減少させ、平均輝度値Ｙａと基準平均輝度値Ｙｉとが同じ値である場合には、照明光の射出光量を変化させない。
【００２８】
光源制御部３３０では、予めメモリ３４０に記憶されている照明光の射出光量と絞りの開閉量との関係に基づいて、光源装置３００から所定の射出光量Ｉの照明光が射出されるように、絞り３２０の開閉量を制御する。
【００２９】
なお、本実施の形態においては、平均輝度値Ｙａを用いて照明光の射出光量を制御したが、これに限定されるものではなく、他の輝度値、例えばヒストグラムの高輝度側からカウントして２０の相対累積度数になる高域輝度値Ｙｃと、予め設定されている基準高域輝度値Ｙｉとが等しくなるように、照明光の射出光量を制御してもよい。あるいは、使用者が、平均輝度値Ｙａまたは高域輝度値Ｙｃの一方を選択できるようにしてもよい。
【００３０】
次に、静止画表示モードが選択された場合の動作について説明する。使用者はモニタ４００に表示されている動画を観察しながら、所望のタイミングで、スコープ部１００に設けられている静止画指定ボタン１６０を押圧する。静止画指定ボタン１６０が押圧されると、該静止画指定ボタン１６０からプロセッサ２００の制御部２１０内へ表示モードを静止画表示モードへ切り替える静止画表示モード信号が送信される。制御部２１０では、この静止画表示モード信号を受信すると、受信したタイミングにおいて、CCD１２０から出力されてくる動画用の画像データから、静止画表示モード信号を受信したタイミングで取得された画像データに関して、前述した各画素領域毎の輝度値のヒストグラムを生成すると同時に、この画像データ(以下画像データＭｓと記載)をメモリ２５０内に取り込む。なお、
静止画表示モードにおいては、切換部２２０は、制御部２１０の画像合成手段２１３から出力される画像データを信号処理回路２３０へ出力する。
【００３１】
制御部２１０では、まず画像データＭｓのヒストグラムと、該画像データMsを取得した際の照明光の射出光量Ｉｓと、メモリ２５０に記憶されている基準輝度値情報とから、被写体距離範囲Ｄsp〜Dsbを算出する。
【００３２】
なお、基準輝度値情報は、基準輝度値Ｙo、基準被写体距離Doおよび基準射出光量Ｉoとからなる。基準輝度値Yoとは、被写体と略同一の反射率を有する粘膜を、基準被写体距離Doに配置し、基準射出光量Ｉoの照明光を照射して撮像した画像の所定画素の輝度値であり、予め実測により求められて、メモリ２５０に記憶されている。
【００３３】
内視鏡においては、被写体に照射される照明光の照度がM倍になると画素の輝度値ＹはM倍になり、被写体の被写体距離ＤがN倍になると被写体に照射される照明光の照度は１／N２倍になると考えることができる。また、観察される被写体は胃等の粘膜であり、反射率はほぼ一定であるとみなすことができる。
【００３４】
このため、画像データMsの所定の画素の被写体距離Dは下記式（１）を用いて算出することができる。
【数１】
【００３５】
なお、式（１）において、Yｏは基準輝度値、Doは基準被写体距離、Iｏは照明光の基準射出光量、Ｙは画像データＭｓの所定の画素の輝度値、Iは画像データMsを撮像した際の照明光の射出光量である。
【００３６】
上述したように、画像データＭｓの輝度値は、ボトム輝度値Ｙｂ〜ピーク輝度値Ｙｐの範囲に分布しているとみなすことができるので、画像データＭｓの被写体距離範囲をＤｐ〜Ｄｂとすると、ＤｐおよびＤｂは下記の式（２）により求めることができる。
【数２】
【００３７】
制御部２１０では、画像データＭｓを撮像した際のピント位置と、メモリ２５０に予め記憶されているピント位置・被写界深度情報とから、画像データＭｓを撮像した際の被写界深度範囲Ｄｎ〜Ｄｆを求め、被写体距離範囲Ｄｐ〜Ｄｂと比較する。
【００３８】
もし、被写体距離範囲Ｄｐ〜Ｄｂが被写界深度範囲Ｄｎ〜Ｄｆに含まれる場合には、被写体距離の全範囲にわたって合焦しているとみなすことができる。制御部２１０は、メモリ２５０内に取り込んだ画像データＭｓを、画像合成手段２１３へ読み込み、切換部２２０へ出力する。切換部２２０は、画像合成手段２１３から出力された画像データＭｓを信号処理回路２３０へ出力する。信号処理回路２３０では、この画像データＭｓに対して、ホワイトバランス補正、ガンマ補正および彩度補正を施し、表示制御部２４０に出力する。表示制御部２４０では、この画像データＭｓを静止画としてモニタ４００へ表示する。
【００３９】
一方、被写体距離範囲Ｄｐ〜Ｄｂが被写界深度範囲Ｄｎ〜Ｄｆに含まれない場合には、被写体範囲の全範囲にわたっては合焦していないことになる。この場合には、制御部２１０は、メモリ２５０に記憶した被写界深度情報を参照して、被写体距離範囲の全範囲で合焦させるために必要なピント位置を決定する。
【００４０】
まず、制御部２１０は、各ピント位置Ｐ１〜Ｐ５において、被写界深度情報後端Ｄｆ、被写界深度前端Ｄｎ、基準輝度値Ｙo、基準被写体距離Do、基準射出光量Ｉoおよび画像データＭｓを撮像時の照明光の射出光量Ｉｓを用いて、被写界深度後端Ｄｆに相当する輝度値（後端）Ｙｆと被写界深度前端Ｄｎに相当する輝度値（前端）Ｙｎとを算出する。
【００４１】
各ピント位置Ｐ１〜Ｐ５に対する輝度値（後端）Ｙｆおよび輝度値（前端）Ｙｎは、次の表２のようになる。
【表２】
【００４２】
すなわち、画像データＭｓの所定画素の輝度値Ｙが、例えばＹｆ３より小さく、Ｙｆ４＜Ｙ＜Ｙｎ４であれば、この画素に対応する被写体の画像はピント位置４で撮像することにより合焦することがわかる。また、各ピント位置毎の被写界深度範囲はそれぞれ重なりがあるため、各ピント位置での合焦する輝度値の範囲も重なりが生じる。このため、制御部２１０は、各ピント位置に対応する被写界の合焦輝度値範囲の境界を表３に示すように、重なっている範囲の中間に設定する。
【表３】
【００４３】
制御部２１０では、表３に示す各ピント位置に対応する被写界の合焦輝度値範囲と、画像データＭｓのボトム輝度値Ｙｂ〜ピーク輝度値Ｙｐとを比較し、ボトム輝度値Ｙｂ〜ピーク輝度値Ｙｐの範囲をカバーするために必要なピント位置を決定し、そのピント位置での撮像が行われていないピント位置での画像の撮像を行い、その画像データをメモリ２５０へ記憶する。
【００４４】
例えば、ボトム輝度値Ｙｂ〜ピーク輝度値Ｙｐの範囲が、ピント位置Ｐ３、ピント位置Ｐ４およびピント位置Ｐ５に該当するものであり、画像データＭｓがピント位置Ｐ３で撮像された画像であった場合には、制御部２１０は、ピント位置変更手段１７０によりピンと位置を変更し、ピント位置Ｐ４およびピント位置Ｐ５での画像を撮像し、その画像データをメモリ２５０へ記憶する。
【００４５】
制御部２１０の画像領域分割手段２１２では、画像データＭｓに対して、表３に示した合焦輝度範囲と、画像データＭｓの各画素の輝度値とに基づいて、領域分割を行い、領域データとする。これは、撮影した複数枚の画像の中で、画像データの局所的な領域ごとに、どのピント位置で撮影した画像が合焦しているかを示すものである。図３Ａは画像データＭｓを表示した画面の一例であり、図３Ｂは画像データＭｓを領域分割した領域データの一例である。Ｐ３と記載されている領域は、ピント位置Ｐ３で撮影した画像で合焦している領域であり、Ｐ４およびＰ５と記載されている領域は、それぞれ、ピント位置Ｐ４およびＰ５で合焦する領域である。
【００４６】
画像合成手段２１３では、図３Ｂに示す領域データに基づいて、領域Ｐ３はピント位置Ｐ３で撮像された画像データＭｓを用い、領域Ｐ４はピント位置Ｐ４で撮像された画像データを用い、領域Ｐ５はピント位置Ｐ５で撮像された画像データを用いて、合成画像データを生成し、切換部２２０へ出力する。
【００４７】
切換部２２０は、画像合成手段２１３から出力された合成画像データを信号処理回路２３０へ出力する。信号処理回路２３０では、この画像データＭｓに対して、ホワイトバランス補正、ガンマ補正および彩度補正を施し、表示制御部２４０に出力する。表示制御部２４０では、この合成画像データを静止画としてモニタ４００へ表示する。モニタ４００には、近景から遠景まで合焦した静止画像が表示される。なお、ピント位置Ｐ３で撮像した画像データＭｓを用いる領域とピント位置Ｐ４で撮像した画像データを用いる領域との境界など、領域の境界付近では合成結果が不自然とならないように、両方の画像データの重み付け平均をとるなどの処理を行っても良い。
【００４８】
なお、使用者が、スコープ部１００に設けられている静止画指定ボタン１６０を再度押圧すると、表示モードは静止画表示モードから動画表示モードに戻る。あるいは、静止画表示モードから所定時間経過後した場合に、動画表示モードに自動的に戻ってもよい。
【００４９】
以上の説明で明らかなように、本内視鏡装置では、従来必要であった測距手段を備える必要がないので、スコープ部の細径化が妨げられることなく、画像全体が合焦している画像を取得することができる。また、各画素領域の明るさに基づいて、画像のほぼ全領域において合焦しているか否かを判定するため、画像のコントラストが少ない場合であっても、良好な精度で前記画像のほぼ全領域において合焦しているか否かを判定することができる。さらに、合焦していない場合のみ、複数のピント位置において画像を取得して、合成画像を生成するので、装置の利便性が向上する。
【００５０】
なお、基準輝度情報や各ピント位置における被写界深度情報は、スコープ部１００に設けられたＣＣＤ１２０の感度や、撮像光学系１８０の特性等により変化するので、異なる特性のスコープ部１００がプロセッサ部２００へ接続されて使用される場合は、スコープ部１００の機種別にこれらの情報を設定する必要がある。このため、例えば、スコープ部１００に設けられＥＥＰＲＯＭ１５０へこれらの情報を記憶し、スコープ部１００とプロセッサ部２００との接続時にプロセッサ部２００がこれらの情報を読み出して、用いてもよい。
【００５１】
また、プロセッサ部２００のメモリ２５０に、複数の機種別のスコープ部１００に対応する基準輝度情報や各ピント位置における被写界深度情報が記憶されている場合であれば、スコープ部１００とプロセッサ部２００との接続時に、スコープ部１００に設けられＥＥＰＲＯＭ１５０に保存されたスコープ部１００の機種情報を読み出し、プロセッサ内２００のメモリ２５０に機種別に保存された基準輝度情報と被写界深度情報から該当機種のものを読み出し用いても良い。
【００５２】
また、上記実施例では基準輝度情報は「基準射出光量で模擬被写体を基準被写体距離で撮像した場合の輝度」として一つの値が設定されており、照明光の射出光量が調整されることは考慮されているが、シャッタースピード設定や、アナログゲイン設定が変更されることは考慮していない。これらの変更機能を搭載する場合は、各設定組合せにおける基準輝度情報を保持しておき、該当設定の基準輝度情報を読み出して用いるか、基準輝度情報Ｙｏを「基準シャッタースピードＴｏ、基準アナログゲイン設定値Ｇｏ、基準射出光量Ｉｏで、模擬被写体を基準被写体距離Ｄｏで撮影した場合の輝度値」として記憶しておき、式(1)の代わりに下記式を適用して、被写体距離を算出することができる。
【数３】
【００５３】
ただし、Ｔはシャッタースピード設定値、Ｇはアナログゲイン設定値である。他の式も同様に変形して用いることができる。
【００５４】
また、静止画像表示モードにおいては、上記実施例のように、画像データのほぼ全域にわたり合焦していないと判断された場合に、複数のピント位置で撮影した画像から合焦している画像を合成する処理を有効にする場合と、無効にする場合とをスイッチ等で任意に切り替えられようにしてもよい。
【００５５】
さらに、静止画像データをメディア等に画像ファイルとして保存する場合には、合成画像データと、合成されていない画像データとの双方を保存するようにしてもよい。
【図面の簡単な説明】
【００５６】
【図１】本発明の一実施形態である内視鏡装置の概略構成図。
【図２】ヒストグラムを示す図
【図３Ａ】画面の模式図
【図３Ｂ】画像データを領域分割した領域データの模式図
【符号の説明】
【００５７】
１０ 内視鏡装置
１００ スコープ部
１１０ ライトガイド
１２０ ＣＣＤ
１３０ ＣＤＳ／ＡＧＣ回路
１４０ Ａ／Ｄ変換回路
１５０ ＥＥＰＲＯＭ
１６０ 静止画指定ボタン
１７０ ピント位置変更部
１８０ 撮像光学系
２００ プロセッサ部
２１０ 制御部
２１１ ヒストグラム生成手段
２１２ 画像領域分割手段
２１３ 画像合成手段
２２０ 切換部
２３０ 信号処理回路
２４０ 表示制御部
２５０ メモリ
３００ 光源装置
３１０ 光源
３２０ 絞り
３３０ 光源装置側ＣＰＵ
３４０ 光源装置側メモリ
４００ モニタ
【特許請求の範囲】
【請求項１】
照明光を射出する光源手段と、前記照明光が照射された被写体の画像を、複数のピント位置の中から所定のピント位置で撮像する撮像手段と、前記画像の撮像動作を制御する制御手段とを有する内視鏡装置において、
前記制御手段が、第１のピント位置で撮像した第１の画像の各画素領域の明るさに基づいて、前記画像のほぼ全領域において合焦しているか否かを判定し、
前記画像のほぼ全領域において合焦してはいないと判定した場合には、前記撮像手段により、前記第１のピント位置とは異なる第２のピント位置で前記被写体の第２の画像を撮像させ、
前記第１の画像内の合焦している領域と、前記第２の画像内の合焦している領域とを合成して、合成画像を生成することを特徴とする内視鏡装置。
【請求項２】
前記制御手段が、前記第1の画像を、各画素領域の明るさに基づいて、前記第1のピント位置と対応する第1の領域と、前記第2のピント位置と対応する第２の領域とへ分割し、
前記第１の領域では、前記第１の画像を用い、前記第２の領域では前記第２の画像を用いることにより、合成画像を生成することを特徴とする請求項１記載の内視鏡装置。
【請求項３】
前記被写体と光の反射特性がほぼ等しい模擬被写体を所定被写体距離へ配置し、所定の光量の照明光を照射して撮像した画像の画素領域の明るさである基準明るさ情報と、前記複数のピント位置毎の被写界深度とを記憶する記憶手段を備え、
前記制御手段が、前記第１の画像の各画素領域の明るさと、前記基準明るさ情報とに基づいて、前記被写体の被写体距離範囲を算出し、該被写体距離範囲と前記複数のピント位置毎の被写界深度とから、前記画像のほぼ全領域において合焦しているか否かを判定するものであることを特徴とする請求項1または２記載の内視鏡装置。
【請求項４】
前記被写体と光の反射特性がほぼ等しい模擬被写体を所定被写体距離へ配置し、所定の光量の照明光を照射して撮像した画像の画素領域の明るさである基準明るさ情報と、前記複数のピント位置毎の被写界深度とを記憶する記憶手段を備え、
前記制御手段が、前記第１の画像の各画素領域の明るさと、前記基準明るさ情報とに基づいて、前記各画素領域毎に、前記被写体の被写体距離を算出し、算出した各画素領域毎の前記被写体の被写体距離と前記複数のピント位置毎の被写界深度とに基づいて、前記第1の画像を、前記第1のピント位置と対応する第1の領域と、前記第2のピント位置と対応する第２の領域とへ分割することを特徴とする請求項２または３記載の内視鏡装置。
【請求項１】
照明光を射出する光源手段と、前記照明光が照射された被写体の画像を、複数のピント位置の中から所定のピント位置で撮像する撮像手段と、前記画像の撮像動作を制御する制御手段とを有する内視鏡装置において、
前記制御手段が、第１のピント位置で撮像した第１の画像の各画素領域の明るさに基づいて、前記画像のほぼ全領域において合焦しているか否かを判定し、
前記画像のほぼ全領域において合焦してはいないと判定した場合には、前記撮像手段により、前記第１のピント位置とは異なる第２のピント位置で前記被写体の第２の画像を撮像させ、
前記第１の画像内の合焦している領域と、前記第２の画像内の合焦している領域とを合成して、合成画像を生成することを特徴とする内視鏡装置。
【請求項２】
前記制御手段が、前記第1の画像を、各画素領域の明るさに基づいて、前記第1のピント位置と対応する第1の領域と、前記第2のピント位置と対応する第２の領域とへ分割し、
前記第１の領域では、前記第１の画像を用い、前記第２の領域では前記第２の画像を用いることにより、合成画像を生成することを特徴とする請求項１記載の内視鏡装置。
【請求項３】
前記被写体と光の反射特性がほぼ等しい模擬被写体を所定被写体距離へ配置し、所定の光量の照明光を照射して撮像した画像の画素領域の明るさである基準明るさ情報と、前記複数のピント位置毎の被写界深度とを記憶する記憶手段を備え、
前記制御手段が、前記第１の画像の各画素領域の明るさと、前記基準明るさ情報とに基づいて、前記被写体の被写体距離範囲を算出し、該被写体距離範囲と前記複数のピント位置毎の被写界深度とから、前記画像のほぼ全領域において合焦しているか否かを判定するものであることを特徴とする請求項1または２記載の内視鏡装置。
【請求項４】
前記被写体と光の反射特性がほぼ等しい模擬被写体を所定被写体距離へ配置し、所定の光量の照明光を照射して撮像した画像の画素領域の明るさである基準明るさ情報と、前記複数のピント位置毎の被写界深度とを記憶する記憶手段を備え、
前記制御手段が、前記第１の画像の各画素領域の明るさと、前記基準明るさ情報とに基づいて、前記各画素領域毎に、前記被写体の被写体距離を算出し、算出した各画素領域毎の前記被写体の被写体距離と前記複数のピント位置毎の被写界深度とに基づいて、前記第1の画像を、前記第1のピント位置と対応する第1の領域と、前記第2のピント位置と対応する第２の領域とへ分割することを特徴とする請求項２または３記載の内視鏡装置。
【図１】
【図２】
【図３Ｂ】
【図３Ａ】
【図２】
【図３Ｂ】
【図３Ａ】
【公開番号】特開２００９−２４０５３１（Ｐ２００９−２４０５３１Ａ）
【公開日】平成２１年１０月２２日（２００９．１０．２２）
【国際特許分類】
【出願番号】特願２００８−９０６７４（Ｐ２００８−９０６７４）
【出願日】平成２０年３月３１日（２００８．３．３１）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２１年１０月２２日（２００９．１０．２２）
【国際特許分類】
【出願日】平成２０年３月３１日（２００８．３．３１）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]