画像処理装置、内視鏡システム、画像処理方法及びプログラム
【課題】 ウォブリングを行いながら、合焦状態になるようにレンズを移動させる場合に、表示画像の画角の変動を抑制することができる画像処理装置、内視鏡システム、画像処理方法及びプログラム等の提供。
【解決手段】 画像処理装置３００は、レンズ位置が変化すると焦点位置および画角の両方が変化するレンズをウォブリングさせるための制御信号を出力するレンズ駆動制御部（合焦状態判定部３３０）と、ウォブリング中のレンズを通して撮像された複数の画像を取得する画像取得部（補間処理部３１０）と、ウォブリング経路上にある複数の折り返し位置のうちの、いずれかの折り返し位置にレンズが位置する時に撮像された画像を、取得された複数の画像の中から選択する表示用画像選択部３４０と、選択された画像を表示画像として表示部４００に出力する出力部（表示画像生成部３５０）とを含む。
【解決手段】 画像処理装置３００は、レンズ位置が変化すると焦点位置および画角の両方が変化するレンズをウォブリングさせるための制御信号を出力するレンズ駆動制御部（合焦状態判定部３３０）と、ウォブリング中のレンズを通して撮像された複数の画像を取得する画像取得部（補間処理部３１０）と、ウォブリング経路上にある複数の折り返し位置のうちの、いずれかの折り返し位置にレンズが位置する時に撮像された画像を、取得された複数の画像の中から選択する表示用画像選択部３４０と、選択された画像を表示画像として表示部４００に出力する出力部（表示画像生成部３５０）とを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、内視鏡システム、画像処理方法及びプログラム等に関係する。
【背景技術】
【０００２】
一般にコントラストＡＦ（autofocus）と呼ばれる方法では、取得される画像から検出したコントラスト情報（高周波成分やエッジ量など）を基に、画像に映る被写体が合焦状態となる被写体の位置を推定する。画像に映る被写体が合焦状態である場合には、画像のコントラスト情報が最大となる特徴がある。そのためコントラストＡＦと呼ばれる方法では、レンズを移動させ、焦点位置を変化させながら取得した複数の画像に基づいて、画像のコントラスト情報を検出し、コントラスト情報が最大となる時に合焦状態であると判断する。
【０００３】
ここで、合焦状態となる被写体の位置の検出方法としては、レンズを往復駆動させることによりレンズの焦点位置を近点及び遠点よりに微小変化（ウォブリング：wobbling）させ、この場合におけるコントラスト情報に基づいて、合焦状態となる被写体の位置を検出する方法が一般に用いられる。
【０００４】
画像処理装置に関する発明としては特許文献１に記載される従来技術がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−０２３９４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
内視鏡スコープにおいては、スコープの細径化を実現するために、比較的簡便な構成のレンズが用いられることが一般的である。具体的には、焦点位置及び画角を同時に制御するレンズが用いられる。
【０００７】
従って、内視鏡スコープにおいて、合焦状態となる被写体の位置を前述したウォブリングにより検出する場合、ウォブリングに起因して画角が変動するため、取得される画像上において被写体の大きさが変動する。さらにウォブリング時には、レンズが高速に駆動されるため、画像上における被写体の大きさが高速に変動する。そのため、ウォブリング時に取得される画像は非常に見にくい画像となり、医師の負担の増加や、病変の見落としの増加を招くおそれがある。
【０００８】
前述した特許文献１は、画像の画角の変動を、電子ズーム処理により補償し表示画像の大きさを一定にする方法を開示している。しかし、特許文献１では、画像に映る被写体が合焦状態になった後に撮像された画像に対して、電子ズーム処理を行い、画像の画角を一定にしているのであって、合焦状態になるようにレンズ位置を動かしている最中に撮像された画像の画角を一定にする方法については記載されていない。
【０００９】
本発明の幾つかの態様によれば、ウォブリングを行いながら、合焦状態になるようにレンズを移動させる場合に、表示画像の画角の変動を抑制することができる画像処理装置、内視鏡システム、画像処理方法及びプログラム等を提供することができる。
【課題を解決するための手段】
【００１０】
本発明の一態様は、レンズ位置が変化すると焦点位置および画角の両方が変化するレンズをウォブリングさせるための制御信号を出力するレンズ駆動制御部と、ウォブリング中の前記レンズを通して撮像された複数の画像を取得する画像取得部と、ウォブリング経路上にある複数の折り返し位置のうちの、いずれかの折り返し位置に前記レンズが位置する時に撮像された画像を、取得された前記複数の画像の中から選択する表示用画像選択部と、選択された前記画像を表示画像として表示部に出力する出力部と、を含む画像処理装置に関係する。
【００１１】
これにより、ウォブリング経路上にある複数の折り返し位置のうち、いずれかの折り返し位置にレンズが位置する時に撮像された画像を、表示部に出力することが可能となる。例えば、一方の折り返し位置において撮像された画像のみを表示画像として選択すれば、画角の差は小さくなり、表示画像の画角が高速に変化することを抑制することができる。
【００１２】
また、本発明の他の態様では、レンズ位置が変化すると焦点位置および画角の両方が変化するレンズをウォブリングさせるための制御信号を出力するレンズ駆動制御部と、ウォブリング中の前記レンズを通して撮像された第１の画像と第２の画像と第３の画像とを取得する画像取得部と、前記第１の画像の画角と前記第２の画像の画角との差が所定の許容範囲外であり、前記第１の画像の画角と前記第３の画像の画角との差が前記所定の許容範囲内である時に、前記第１の画像と前記第３の画像とを選択する表示用画像選択部と、選択された前記画像を表示画像として表示部に出力する出力部と、を含む画像処理装置に関係する。
【００１３】
これにより、画角の差が所定の許容範囲内にある画像のみを表示画像として選択して、表示画像の画角が高速に変化することを抑制することができる。
【００１４】
また、本発明の他の態様では、前記画像処理装置を含む内視鏡システムに関係する。
【００１５】
また、本発明の他の態様では、レンズ位置が変化すると焦点位置および画角の両方が変化するレンズをウォブリングさせるための制御信号を出力し、ウォブリング中の前記レンズを通して撮像された複数の画像を取得し、ウォブリング経路上にある複数の折り返し位置のうち、いずれかの折り返し位置に前記レンズが位置する時に撮像された画像を、取得された前記複数の画像の中から選択し、選択された前記画像を表示画像として表示部に出力することを特徴とする画像処理方法に関係する。
【００１６】
また、本発明の他の態様では、レンズ位置が変化すると焦点位置および画角の両方が変化するレンズをウォブリングさせるための制御信号を出力し、ウォブリング中の前記レンズを通して撮像された第１の画像と第２の画像と第３の画像とを取得し、前記第１の画像の画角と前記第２の画像の画角との差が所定の許容範囲外であり、前記第１の画像の画角と前記第３の画像の画角との差が前記所定の許容範囲内である時に、前記第１の画像と前記第３の画像とを選択し、選択された前記画像を表示画像として表示部に出力することを特徴とする画像処理方法に関係する。
【００１７】
また、本発明の他の態様では、前記各部としてコンピューターを機能させるプログラムに関係する。
【図面の簡単な説明】
【００１８】
【図１】本実施形態のシステム構成図。
【図２】焦点位置とレンズ位置の説明図。
【図３】本実施形態で用いる撮像素子のベイヤ配列。
【図４】本実施形態で用いる色フィルタの特性。
【図５】本実施形態の合焦状態判定部の詳細な構成図。
【図６】焦点位置とコントラスト値の関係の説明図。
【図７】折り返し地点の片方の画像のみを表示する処理のフローチャート。
【図８】図８（Ａ）〜図８（Ｃ）は、ウォブリングの説明図。
【図９】焦点位置と画角の関係の説明図。
【図１０】本実施形態の表示用画像選択部の詳細な構成図。
【図１１】非選択画像に電子ズーム処理を行う場合の画像選択処理のフローチャート。
【図１２】画角と電子ズーム処理の説明図。
【図１３】図１３（Ａ）及び図１３（Ｂ）は、表示画像の表示倍率の説明図。
【発明を実施するための形態】
【００１９】
以下、本実施形態について説明する。まず、本実施形態の概要を説明し、次に本実施形態のシステム構成例について説明する。そして、本実施形態の手法について説明し、最後に、フローチャートを用いて本実施形態の処理の詳細について具体例を挙げて説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また、本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００２０】
１．概要
一般にコントラストＡＦ（autofocus）と呼ばれる方法では、取得される画像から検出したコントラスト情報（高周波成分やエッジ量など）を基に、画像に映る被写体が合焦状態となる被写体の位置を推定する。画像に映る被写体が合焦状態である場合には、画像のコントラスト情報が最大となる特徴がある。そのためコントラストＡＦと呼ばれる方法では、レンズを移動させ、焦点位置を変化させながら取得した複数の画像に基づいて、画像のコントラスト情報を検出し、コントラスト情報が最大となる時に合焦状態であると判断する。
【００２１】
ここで、合焦状態となる被写体の位置の検出方法としては、レンズを往復駆動させることによりレンズの焦点位置を近点及び遠点よりに微小変化（ウォブリング：wobbling）させ、この場合におけるコントラスト情報に基づいて、合焦状態となる被写体の位置を検出する方法が一般に用いられる。
【００２２】
内視鏡スコープにおいては、スコープの細径化を実現するために、比較的簡便な構成のレンズが用いられることが一般的である。具体的には、焦点位置及び画角を同時に制御するレンズが用いられる。
【００２３】
従って、内視鏡スコープにおいて、合焦状態となる被写体の位置を前述したウォブリングにより検出する場合、ウォブリングに起因して画角が変動するため、取得される画像上において被写体の大きさが変動する。さらにウォブリング時には、レンズが高速に駆動されるため、画像上における被写体の大きさが高速に変動する。そのため、ウォブリング時に取得される画像は非常に見にくい画像となり、医師の負担の増加や、病変の見落としの増加を招くおそれがある。
【００２４】
前述した特許文献１は、画像の画角の変動を、電子ズーム処理により補償し表示画像の大きさを一定にする方法を開示している。しかし、特許文献１では、画像に映る被写体が合焦状態になった後に撮像された画像に対して、電子ズーム処理を行い、画像の画角を一定にしているのであって、合焦状態になるようにレンズ位置を動かしている最中に撮像された画像の画角を一定にする方法については記載されていない。
【００２５】
本実施形態の画像処理装置等によれば、ウォブリングを行いながら、合焦状態になるようにレンズを移動させる場合に、表示画像の画角の変動を抑制することができる。
【００２６】
２．第１の実施形態
まず、図１に本実施形態の画像処理装置３００及びこれを含む内視鏡システムの構成例を示す。本実施形態に係る内視鏡システムは、光源部１００と、撮像部２００と、画像処理装置３００と、表示部４００と、外部Ｉ／Ｆ部５００と、を含む。そして、画像処理装置３００は、補間処理部（画像取得部）３１０と、合焦状態判定部３３０と、表示用画像選択部３４０と、表示画像生成部（出力部）３５０と、制御部３９０を備えている。なお、画像処理装置３００及びこれを含む内視鏡システムは、図１の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加したりするなどの種々の変形実施が可能である。例えば、合焦状態判定部３３０を省略した実施が可能である。
【００２７】
次に各部の接続について説明する。補間処理部３１０は、合焦状態判定部３３０と、表示用画像選択部３４０と、に接続されている。合焦状態判定部３３０は、表示用画像選択部３４０と、制御部３９０と、に接続されている。表示用画像選択部３４０は、表示画像生成部３５０に接続されている。表示画像生成部３５０は、表示部４００に接続されている。制御部３９０は、後述するレンズ駆動部２５０と、補間処理部３１０と、合焦状態判定部３３０と、表示用画像選択部３４０と、表示画像生成部３５０と、に接続されている。
【００２８】
次に内視鏡システムの各部について説明する。
【００２９】
まず、光源部１００は、白色光を発生する白色光源１１０と、白色光をライトガイドファイバ２１０に集光するためのレンズ１２０と、を含む。
【００３０】
次に、撮像部２００は、体腔への挿入を可能にするため細長く且つ湾曲可能に形成されている。撮像部２００は、光源部１００で集光された光を導くためのライトガイドファイバ２１０と、ライトガイドファイバ２１０により導かれた光を拡散させて被写体に照射する照明レンズ２２０と、被写体からの反射光を集光する集光レンズ２３０と、集光レンズ２３０により集光された反射光を検出するための撮像素子２４０と、レンズ駆動部２５０と、を含む。レンズ駆動部２５０は、集光レンズ２３０と、合焦状態判定部３３０と、に接続されている。
【００３１】
そして、集光レンズ２３０は、焦点位置及び画角を制御できるものとする。
【００３２】
ここで、レンズＬＳとスクリーンＳＣが図２のように配置される場合について、具体的に図２を用いて用語の説明をする。
【００３３】
まず、焦点とは、レンズに対して無限遠からの並行な光が入射した場合に、光軸と交わる点のこという。焦点はレンズ固有の点であり、レンズに対して一意に定まる。図２では、（後側）焦点はＦＰである。
【００３４】
次に、レンズ位置とは、被写体に対するレンズ自体の位置のこという。具体的に図２では、レンズの中央部ＭＰ（ＭＰのことを主点という）の位置のことをレンズ位置という。
【００３５】
また、焦点位置とは、レンズを通して撮像される画像に映る被写体が合焦状態となる被写体側の位置のことをいう。
【００３６】
さらに、合焦状態とは、レンズを通して撮像される画像に映る被写体が合焦している状態、すなわちピントが合っている状態のことをいう。言い換えれば、実際の被写体の位置と焦点位置が一致している状態のことである。ただし、両者の位置が完全に一致している必要はなく、両者の位置が所定の距離範囲内にある場合を合焦状態としてもよい。さらに、具体的には、画像のコントラスト値が所定の閾値以上となる状態などのことを合焦状態という。
【００３７】
例えば、図２のように被写体ＳＢの像をスクリーンＳＣ上に結像させる場合について考える。この場合には、被写体ＳＢの先端部からレンズＬＳに対して並行に入射し、焦点ＦＰを通る光Ｒ１と主点ＭＰを通る入射光Ｒ２とが、スクリーンＳＣの同じ点ＩＭＰで交わる時に合焦状態となる。また、この時の被写体の位置ＦＯＰが焦点位置となる。
【００３８】
なお、撮像素子（スクリーン）の位置とレンズ位置が固定である場合には、前述したレンズの焦点位置は一意に定まる。言い換えれば、撮像素子（スクリーン）の位置とレンズ位置が固定である場合には、レンズ位置と焦点位置は一対一の対応関係にある。従って、このような場合に合焦状態にするためには、カメラを動かして、被写体とレンズの距離（相互位置）を調整する必要がある。
【００３９】
逆に、図２において、被写体ＳＢを位置ＦＯＰから位置ＮＧＰに移動させた場合には、合焦状態ではなくなってしまう。被写体ＳＢの位置が焦点位置からずれてしまうためである。この場合には、被写体ＳＢの先端部からレンズＬＳの主点ＭＰを通る入射光Ｒ３は、スクリーンＳＣ上のＮＧＩＰの点に照射され、入射光Ｒ１がスクリーンＳＣ上に照射される点ＩＭＰとずれが生じ、合焦状態とならない。
【００４０】
なお、本実施形態では、焦点位置及び画角を、それぞれｄｍｉｎ〜ｄｍａｘ[ｍｍ]（ｄｍａｘ＞ｄｍｉｎ）、θｍｉｎ〜θｍａｘ[ｄｅｇ]（θｍａｘ＞θｍｉｎ）の範囲で調整できるものとする。画角については後述する。
【００４１】
また、撮像素子２４０は、図３に示されるようなベイヤ配列を有する撮像素子である。また、図３に示した３種類の色フィルタｒ、ｇ、ｂは、図４に示されるようにｒフィルタが５８０〜７００ｎｍ、ｇフィルタが４８０〜６００ｎｍ、ｂフィルタが４００〜５００ｎｍの光を透過させる特徴を有するものとする。
【００４２】
レンズ駆動部２５０は、後述するレンズ駆動制御部３９１から出力される制御信号に基づいて、集光レンズ２３０のレンズ位置を移動する。
【００４３】
次に、画像処理装置３００は、撮像部２００により撮像された画像を取得して、画像処理を行い、表示部４００に表示する画像（表示画像）を生成し、生成された画像を出力する。画像処理装置３００の各部については、後述する。
【００４４】
そして、表示部４００は、後述する表示画像生成部３５０から出力される表示画像を表示する。
【００４５】
さらに、外部Ｉ／Ｆ部５００は、画像処理装置３００に対するユーザからの入力等を行うためのインターフェースであり、電源のオン／オフを行うための電源スイッチ、撮影モードやその他各種のモードを切り換えるためのモード切換ボタンなどを含んで構成されている。また、外部Ｉ／Ｆ部５００は、入力された情報を後述する制御部３９０へ出力するようになっている。
【００４６】
次に、画像処理装置３００の各部で行われる処理について説明する。
【００４７】
まず、補間処理部３１０は、撮像素子２４０で取得される画像に対し、補間処理を施す。前述したように、撮像素子２４０は図３に示すベイヤ配列を有するため、撮像素子２４０で取得される画像の各画素は、Ｒ、Ｇ、Ｂ信号のうち、何れか１つの信号値を有するのみで、他の２種類の信号が欠落した状態である。
【００４８】
そのため、補間処理部３１０では、取得した画像の各画素に対し補間処理を施すことで、欠落している信号値を補間し、各画素でＲ、Ｇ、Ｂ信号の全ての信号値を有する画像（以下、ＲＧＢ画像）を生成する。ここで補間処理としては、例えば公知のバイキュービック補間処理を用いれば良い。補間処理部３１０は、生成したＲＧＢ画像を表示用画像選択部３４０に出力する。
【００４９】
次に、補間処理部３１０は、生成したＲＧＢ画像より、輝度画像を生成する。具体的には、ＲＧＢ画像の全ての画素について、（１）式を用いて輝度信号Ｙを算出することで、輝度画像を生成する。さらに補間処理部３１０は、生成した輝度画像を合焦状態判定部３３０に出力する。
【００５０】
【数１】
【００５１】
そして、合焦状態判定部３３０は、補間処理部３１０より出力される輝度画像よりコントラスト値を算出し、算出したコントラスト値に基づいて、後述する方法で合焦状態（ピントが合っている状態）となるような集光レンズ２３０の焦点位置を求め、制御部３９０に出力する。
【００５２】
また、本実施例においては、合焦状態判定部３３０は、図５に示すように、コントラスト値算出部３３１と、焦点位置制御部３３２と、を含む。この時、補間処理部３１０は、コントラスト値算出部３３１に接続されている。コントラスト値算出部３３１は、焦点位置制御部３３２に接続されている。焦点位置制御部３３２は、表示用画像選択部３４０と、レンズ駆動制御部３９１に接続されている。制御部３９０は、焦点位置制御部３３２に接続されている。なお、合焦状態判定部３３０は、図５の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加したりするなどの種々の変形実施が可能である。
【００５３】
さらに、コントラスト値としては、公知のエッジ抽出処理により得られたエッジ量の絶対値を輝度画像全体で積算した値などを用いる。
【００５４】
一般に、合焦状態においては、輝度画像のコントラスト値が最大となることが知られている。ここで、集光レンズ２３０を用いた場合に合焦状態となる被写体の位置をｄｍとする（ｄｍｉｎ＜ｄｍ＜ｄｍａｘ）。この場合には、集光レンズ２３０の焦点位置とコントラスト値の関係は、図６に示すようになる。具体的には、合焦状態となる被写体の位置ｄｍにおいてコントラスト値が最大となる。
【００５５】
したがって、焦点位置制御部３３２は、補間処理部３１０から出力される輝度画像のコントラスト値が最大となる焦点位置を検出することによって、合焦状態となる被写体の位置を検出可能である。
【００５６】
さらに、表示用画像選択部３４０は、補間処理部３１０から取得されるＲＧＢ画像のうち、特定のＲＧＢ画像のみを選択して表示画像生成部３５０に出力する。
【００５７】
そして、表示画像生成部３５０は、表示用画像選択部３４０より出力されるＲＧＢ画像に対し、既存のホワイトバランス、色変換、階調変換処理を施し、表示画像を生成する。さらに、表示画像生成部３５０は、生成した表示画像を表示部４００に出力する。
【００５８】
最後に、制御部３９０は、外部Ｉ／Ｆ部５００から入力される情報を、補間処理部３１０と、合焦状態判定部３３０と、表示用画像選択部３４０と、表示画像生成部３５０に通知して、これら各部を制御する。
【００５９】
また、本実施例においては、制御部３９０は、図１に示すように、レンズ駆動制御部３９１と、を含む。レンズ駆動制御部３９１は、合焦状態判定部３３０から取得された情報に基づいて、レンズ位置を制御するために用いる制御信号を求めて、制御信号をレンズ駆動部２５０に出力する。この時、レンズ駆動制御部３９１は、レンズ駆動部２５０に接続されている。なお、制御部３９０は、図１の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加したりするなどの種々の変形実施が可能である。
【００６０】
次に、第１の実施形態で行う処理の流れについて、図７のフローチャートを用いて説明する。また、以下で行うウォブリング（往復駆動）については、図８（Ａ）〜図８（Ｃ）を用いて説明する。図８（Ａ）は、内視鏡ＥＳを用いて患部ＬＡを撮像する様子を示している。
【００６１】
まず、合焦状態となる被写体の位置を算出する際には、焦点位置制御部３３２が、現在の焦点位置を初期位置ｄｓ０に設定する（Ｓ１）。すなわち、ステップＳ２前の焦点位置をｄｓ１とし、ｄｓ１＝ｄｓ０に設定する。そして、焦点位置制御部３３２は、レンズ駆動部２５０を介して、集光レンズ２３０の現在の焦点位置をｄｓ１からｄｓ２＝ｄｓ１−ｄｗ（初回はｄｓ２＝ｄｓ０−ｄｗ）に変更する（Ｓ２）。（図８（Ａ）参照）すなわち、レンズ位置をｌｓ１からｌｓ２＝ｌｓ１−ｌｗ（初回はｌｓ２＝ｌｓ０−ｌｗ）に変更する。さらに、焦点位置制御部３３２は、表示用画像選択部３４０に対しトリガ信号を出力する。
【００６２】
次に、焦点位置を変更した後に、撮像部２００が第１の画像を撮像する（Ｓ３）。この時、第１の画像は、図８（Ｂ）に示すＩＭ１のような画像となる。そして、コントラスト値算出部３３１が、補間処理部３１０から出力される輝度画像より、コントラスト値Ｃ−ｄｗを算出する（Ｓ４）。その後、算出したコントラスト値Ｃ−ｄｗを、焦点位置制御部３３２に出力する。
【００６３】
同様にして、補間処理部３１０は、レンズ駆動部２５０を介して、集光レンズ２３０の現在の焦点位置をｄｓ２からｄｓ３＝ｄｓ１＋ｄｗ（初回はｄｓ３＝ｄｓ０＋ｄｗとなる）に変更する（Ｓ５）。すなわち、レンズ位置をｌｓ２からｌｓ３＝ｌｓ１＋ｌｗ（初回はｌｓ３＝ｌｓ０＋ｌｗ）に変更する。なお、焦点位置制御部３３２は、ここではトリガ信号を出力しない。焦点位置を変更した後は、ステップＳ３と同様に、撮像部２００が第２の画像を撮像し（Ｓ６）、コントラスト値算出部３３１が、補間処理部３１０から出力される輝度画像より、コントラスト値Ｃ＋ｄｗを算出し（Ｓ７）、算出したコントラスト値Ｃ＋ｄｗを焦点位置制御部３３２に出力する。この時、第２の画像は、図８（Ｃ）に示すＩＭ２のような画像となる。第２の画像ＩＭ２は、第１の画像ＩＭ１に比べて画角が大きく、より広い範囲が映されているが、患部ＬＡが小さく映ることとなる。
【００６４】
ここで、（２）式により、前述したウォブリングをしながら算出した二つのコントラスト値の差の絶対値Ｃａｂｓを算出し、コントラスト値の差分絶対値Ｃａｂｓが所定の閾値Ｔｈｃ以下であるか否かを判定する（Ｓ８）。なお、閾値Ｔｈｃは、予め一定の値を定めておいても良いし、外部Ｉ／Ｆ部５００よりユーザが任意の値を設定する構成としても良い。
【００６５】
【数２】
【００６６】
コントラスト値の差分絶対値Ｃａｂｓが閾値Ｔｈｃ以下である場合（図６のピークにあると判定できる場合）には、合焦状態であると判定する。一方、コントラスト値の差分絶対値Ｃａｂｓが閾値Ｔｈｃよりも大きい場合には、合焦状態ではないと判定する。
【００６７】
ステップＳ８において、コントラスト値の差分絶対値Ｃａｂｓが所定の閾値Ｔｈｃより大きいと判定した場合、すなわち合焦状態ではない場合には、二つのコントラスト値の大小関係を判断する（Ｓ９）。
【００６８】
ここで、Ｃ−ｄｗ＞Ｃ＋ｄｗであると判断する場合には、現在の焦点位置がｄｓ３から（ｄｓ１−ｄｎ）（初回は（ｄｓ０−ｄｎ））となるようにレンズを移動し、ｄｓ１を（ｄｓ１−ｄｎ）に更新する（Ｓ１０）。すなわち、レンズ位置をｌｓ３から（ｌｓ１−ｌｎ）（初回は（ｌｓ０−ｌｎ））に変更する。
【００６９】
一方、Ｃ＋ｄｗ＞Ｃ−ｄｗであると判断する場合には、現在の焦点位置がｄｓ３から（ｄｓ１＋ｄｎ）（初回は（ｄｓ０＋ｄｎ））となるようにレンズを移動し、ｄｓ１を（ｄｓ１＋ｄｎ）に更新する（Ｓ１１）。すなわち、レンズ位置をｌｓ３から（ｌｓ１＋ｌｎ）（初回は（ｌｓ０＋ｌｎ））に変更する。図８（Ａ）では、ステップＳ１１の処理を行った様子を示している。なお、前述したウォブリングによる往復幅ｄｗと、山登りＡＦによる焦点位置の移動幅ｄｎの値は、予め一定の値を設定しておいても良いし、外部Ｉ／Ｆ部５００よりユーザが任意の値を設定する構成としても良い。
【００７０】
通常は、この後、前述した処理によって得られた第１の画像ＩＭ１と第２の画像ＩＭ２とを表示部に表示する。しかし、本実施形態で用いられる集光レンズ２３０は、前述したように焦点位置と画角が同時に変化する特徴がある。そのため、前述した方法で集光レンズ２３０の焦点位置が制御されている間、補間処理部３１０から出力される画像は、画角（画像に映し出される被写体の範囲の大きさ）が時間的に変動するという問題がある。
【００７１】
そこで、本実施形態では、表示用画像選択部３４０は、焦点位置制御部３３２からトリガ信号が出力された時に、補間処理部３１０から出力されるＲＧＢ画像（第１の画像ＩＭ１）を表示画像として選択する（Ｓ１２）。そして、選択した画像を表示画像生成部３５０に出力する。これにより、集光レンズ２３０の焦点位置が近点よりであるｄｓ２に変更された時に取得された画像のみが、表示画像生成部３５０に出力されることとなり、表示画像の画角の変動を抑えることができる。
【００７２】
なお、本実施形態では、集光レンズ２３０の焦点位置が近点よりであるｄｓ２にある場合の画像（第１の画像ＩＭ１）を表示する例を示したが、本発明はこれに限定されるものではなく、集光レンズ２３０の焦点位置が遠点よりであるｄｓ３にある場合に撮像された画像（第２の画像ＩＭ２）を表示しても良い。
【００７３】
そして、表示画像生成部３５０は、表示用画像選択部３４０より出力されるＲＧＢ画像に対し、既存のホワイトバランス、色変換、階調変換処理を施し、表示画像を生成し、生成した表示画像を表示部４００に出力する（Ｓ１３）。
【００７４】
ここで、ユーザ等から撮影終了指示があるか否かを判定し、撮影終了指示がある場合には処理を終了する（Ｓ１４）。一方、終了指示がない場合には、ステップＳ２から処理を繰り返す。
【００７５】
以上の方法を用いた場合、表示画像のフレームレートが、撮像素子２４０により取得される画像のフレームレートの１／２になるという問題がある。
【００７６】
そこで、本実施の形態では、合焦状態にあると判定された場合には、表示用画像選択部３４０が、補間処理部３１０から出力される全てのＲＧＢ画像を、表示画像生成部３５０に出力する。これにより、合焦状態である場合には、撮像素子２４０から取得される画像と同一のフレームレートで表示画像を得ることが可能となる。
【００７７】
ステップＳ８において、コントラスト値の差分絶対値Ｃａｂｓが閾値Ｔｈｃ以下である場合、すなわち合焦状態であると判定した場合には、焦点位置制御部３３２は、焦点位置がステップＳ２を行う前の焦点位置となるように集光レンズ２３０の位置を変更する（Ｓ１５）。すなわち、現在の焦点位置がｄｓ３からｄｓ１となるように、集光レンズ２３０の位置をｌｓ３からｌｓ１に変更する。その後、焦点位置制御部３３２は集光レンズ２３０の駆動を停止する。さらに、焦点位置制御部３３２は、表示用画像選択部３４０に対し、合焦状態にあることを示すトリガ信号を出力する。
【００７８】
そして、撮像部２００が画像を撮像し（Ｓ１６）、表示用画像選択部３４０は、焦点位置制御部３３２からトリガ信号を受信して、補間処理部３１０から出力される全てのＲＧＢ画像を表示画像として選択する。そして、表示画像生成部３５０は全てのＲＧＢ画像から表示画像を生成して、表示部に出力する（Ｓ１７）。ここで、焦点位置制御部３３２は、前記のコントラスト値Ｃ−ｄｗとＣ＋ｄｗの平均値Ｃａｖｅを保持しておく。
【００７９】
その後、焦点位置制御部３３２は、ウォブリングを停止している期間中に、コントラスト値算出部３３１より出力されるコントラスト値と、閾値Ａ×Ｃａｖｅとを比較し、合焦状態か否かを判定する（Ｓ１８）。ここで、コントラスト値算出部３３１より出力されるコントラスト値が、閾値Ａ×Ｃａｖｅよりも小さくなった場合には、合焦状態でなくなったと判定し、集光レンズの駆動（ウォブリング）を再開する（ステップＳ２に戻る）。
【００８０】
一方、コントラスト値算出部３３１より出力されるコントラスト値が、閾値Ａ×Ｃａｖｅ以上である場合には、合焦状態を維持していると判定する。そして、ユーザ等から撮影終了指示があるか否かを判定し（Ｓ１９）、撮影終了指示がある場合には処理を終了する。一方、終了指示がない場合には、ステップＳ１６から処理を繰り返す。なお、係数Ａは、予め一定の値を定めておいても良いし、外部Ｉ／Ｆ部５００よりユーザが任意の値を設定する構成としても良い。
【００８１】
以上に示した方法により、ウォブリングに起因して画像の大きさが変動する問題を解決することができる。さらに、合焦状態においては、通常のフレームレートで表示画像を取得することが可能である。
【００８２】
３．第２の実施形態
次に、第２の実施形態に係る内視鏡システムについて、図１を参照して説明する。図１に示す集光レンズ２３０と、合焦状態判定部３３０と、表示用画像選択部３４０以外の処理は、第１の実施形態と同一であるため、説明を省略する。
【００８３】
集光レンズ２３０は、焦点位置及び画角をそれぞれｄｍｉｎ〜ｄｍａｘ[ｍｍ]（ｄｍａｘ＞ｄｍｉｎ）、θｍｉｎ〜θｍａｘ[ｄｅｇ]（θｍａｘ＞θｍｉｎ）の範囲で調整できるものとし、焦点位置と画角の間には、図９に示す関係が成立するものとする。
【００８４】
また、合焦状態判定部３３０の構成は第１の実施形態と同様に図５に示す通りであり、焦点位置制御部３３２以外の処理は第１の実施形態と同一であるため、説明を省略する。
【００８５】
また、図１０に示すように、表示用画像選択部３４０は、画像選択部３４１と、電子ズーム処理部３４２と、拡大率算出部３４３と、を含む。この時、制御部３９０は、画像選択部３４１と、電子ズーム処理部３４２と、拡大率算出部３４３に接続されている。補間処理部３１０は、画像選択部３４１に接続されている。画像選択部３４１は、電子ズーム処理部３４２と、表示画像生成部３５０に接続されている。電子ズーム処理部３４２は、表示画像生成部３５０に接続されている。拡大率算出部３４３は、電子ズーム処理部３４２に接続されている。焦点位置制御部３３２は、画像選択部３４１と、拡大率算出部３４３に接続されている。なお、表示用画像選択部３４０は、図１０の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加したりするなどの種々の変形実施が可能である。
【００８６】
次に、第２の実施形態で行う処理の流れについて、図７と図１１のフローチャートを用いて説明する。処理の流れは図７に示した第１の実施形態と同様であるが、表示画像の選択処理（Ｓ１２）が異なる。第２の実施形態では、図１１に示すような流れで表示画像の選択処理を行う。また、後述する電子ズーム処理を行う場合において、現在の第２の画像の画角と目標画角について図１２を用いて説明する。
【００８７】
まず、画像選択部３４１は、焦点位置制御部３３２から前述のトリガ信号が出力されている期間に補間処理部３１０から出力されるＲＧＢ画像（第１の画像）を選択し、表示画像生成部３５０に出力する（Ｓ１２１）。一方、トリガ信号が出力されていない場合に取得したＲＧＢ画像（第２の画像）は電子ズーム処理部３４２に出力する。図１２では、ＩＭ２が第２の画像（または第２の画像に映し出される被写体の範囲）を示している。
【００８８】
なお本実施形態では、図７のステップＳ７において、焦点位置制御部３３２は、拡大倍率を算出するために、焦点位置がｄｓ３の場合における画角θ＋ｄｗ（すなわち図１２に示す第２の画像ＩＭ２の画角θ＋ｄｗ）を取得し、後述する拡大率算出部３４３に出力しておく。
【００８９】
次に、第２の画像の目標画角θｎｅｗを算出する（Ｓ１２２）。具体的には、Ｃ−ｄｗ＞Ｃ＋ｄｗである場合にはθｎｅｗ＝θ（ｄｓ１−ｄｎ／２）とし、Ｃ＋ｄｗ＞Ｃ−ｄｗである場合には、θｎｅｗ＝θ（ｄｓ１＋ｄｎ／２）として、焦点位置制御部３３２が目標画角θｎｅｗを算出し、後述する拡大率算出部３４３に出力する。ただし、θ（ｄｓ）は、集光レンズ２３０の焦点位置がｄｓの場合における画角を表すものとする。図１２には、目標画角θｎｅｗを有する画像を目標画像ＴＩＭとして示している。
【００９０】
なお、本実施形態では、画角θｎｅｗをθ（ｄｓ１−ｄｎ／２）若しくはθ（ｄｓ１＋ｄｎ／２）とする例を示したが、本発明はこれに限定されるものではない。例えば、Ｃ−ｄｗ＞Ｃ＋ｄｗの場合には、θ（ｄｓ１−ｄｎ）≦θｎｅｗ≦θ（ｄｓ１）の範囲で画角θｎｅｗを求めれば良く、Ｃ＋ｄｗ＞Ｃ―ｄｗの場合には、θ（ｄｓ１）≦θｎｅｗ≦θ（ｄｓ１＋ｄｎ）の範囲で画角θｎｅｗを求めれば良い。
【００９１】
次に、拡大率算出部３４３は、焦点位置制御部３３２より出力される画角θ＋ｄｗ、θｎｅｗに基づき、電子ズーム処理部３４２における電子ズーム処理の拡大倍率Ｚを算出する（Ｓ１２３）。拡大倍率Ｚは（３）式を用いて算出する。
【００９２】
【数３】
【００９３】
そして、電子ズーム処理部３４２は、求められた拡大倍率に基づいて、画像選択部３４１から出力されるＲＧＢ画像に対し、電子ズーム処理を施し（Ｓ１２４）、表示画像生成部３５０に出力する（Ｓ１２５）。
【００９４】
以上に示した方法により、ウォブリングに起因して画像の大きさが変動する問題を解決することができる。さらに、本実施の形態によれば、非合焦時においても通常のフレームレートで表示画像を取得できる利点がある。
【００９５】
また、本実施形態では、焦点位置が近点よりの画像のみを選択して表示し、さらに選択されなかった画像（焦点位置が遠点よりの画像）に対し、電子ズーム処理による拡大処理を施した画像を表示する例を示した。
【００９６】
ここで他の方法としては、焦点位置が遠点よりの画像のみを選択して表示し、さらに選択されなかった画像（焦点位置が近点よりの画像）に対し、電子ズーム処理を施した画像を表示する例も考えられる。しかしこの方法では、選択されなかった画像に対して、縮小処理が施される。そのため、電子ズーム処理後の画像は、前記選択された画像よりも小さい画像となるため、画像周辺部に信号値が存在しない画像となる問題がある。
【００９７】
そこで、本実施形態で示したように、焦点位置が近点よりの画像のみを選択して表示し、さらに選択されなかった画像（焦点位置が遠点よりの画像）に対して電子ズーム処理による拡大処理を施せば、前記の問題は生じない。
【００９８】
４．作用・効果
以上の本実施形態の画像処理装置３００は、レンズ位置が変化すると焦点位置および画角の両方が変化するレンズをウォブリングさせるための制御信号を出力するレンズ駆動制御部３９１と、ウォブリング中のレンズを通して撮像された複数の画像を取得する画像取得部（補間処理部３１０）と、ウォブリング経路上にある複数の折り返し位置のうちの、いずれかの折り返し位置にレンズが位置する時に撮像された画像を、取得された複数の画像の中から選択する表示用画像選択部３４０と、選択された画像を表示画像として表示部４００に出力する出力部３５０（表示画像生成部）と、を含む。
【００９９】
ここで、折り返し位置とは、ウォブリングを行う場合に、レンズの移動方向を変更する位置のことをいう。具体的に図８（Ａ）の例で言えば、ｌｓ０−ｌｗ及びｌｓ０＋ｌｗの位置のことをいう。また、折り返し位置は、実際にレンズの移動方向を変更する位置と完全に一致する位置でなくてもよい。例えば、実際にレンズの移動方向を変更する位置から所定の距離だけ離れた位置を、折り返し位置として扱ってもよい。
【０１００】
これにより、ウォブリング経路上にある複数の折り返し位置のうち、いずれかの折り返し位置にレンズが位置する時に撮像された画像を、表示部４００に出力することが可能となる。
【０１０１】
その具体例を図１３（Ａ）に示す。図１３（Ａ）では、縦軸が表示画像の表示倍率を表し、横軸がウォブリングを行っている場合の時間軸を表す。本例では、ウォブリングの一方の折り返し位置に対応する時刻ｔｎ（ｔｎ＋２、ｔｎ＋４）において取得された画像を選択画像ＳＩＭとし、ウォブリングの他方の折り返し位置に対応する時刻ｔｎ＋１（ｔｎ＋３、ｔｎ＋５）において取得された画像を非選択画像ＮＳＩＭとする（ｔｎ＋５は不図示）。言い換えれば、時刻ｔｎにおいて取得された画像が第１の画像であり、時刻ｔｎ＋１において取得された画像が第２の画像であり、時刻ｔｎ＋２において取得された画像が第３の画像である。そして、第１の画像と第３の画像を表示する。
【０１０２】
図１３（Ａ）からも分かる通り、選択画像ＳＩＭ同士の表示倍率（画角）の差は、選択画像ＳＩＭと非選択画像ＮＳＩＭの表示倍率の差よりも小さい。また、選択画像ＳＩＭ同士の表示倍率（画角）の差は、ウォブリングに起因するものではなく、被写体が合焦状態となるレンズ位置にレンズ位置を近づける際に生じる画角の変化であり、ウォブリングによる画角の変化と比べてゆったりと変化するため、問題とはならない。
【０１０３】
このように、一方の折り返し位置において撮像された画像のみを表示画像として選択すれば、画角の差は小さくなり、表示画像の画角が高速に変化することを抑制することができる。
【０１０４】
さらに、本実施形態では、電子ズーム処理等を行う必要がないため、回路規模の増大や内視鏡の構成の複雑化等を防ぎつつ、表示画像の画角の変動を抑制することが可能となる。
【０１０５】
また、取得された複数の画像に基づいて、画像に映る被写体が合焦状態であるか否かを判定する合焦状態判定部（合焦状態判定部３３０）を含んでもよい。そして、レンズ駆動制御部３９１は、現在の焦点位置に対応するレンズ位置を中心として、レンズをウォブリングさせるための制御信号を出力してもよい。さらに、合焦状態判定部は、ウォブリング中に撮像された画像に基づいて、フォーカス評価値を求め、求めたフォーカス評価値に基づいて、画像に映る被写体が合焦状態であるか否かを判定してもよい。
【０１０６】
ここで、前述したように、撮像素子（スクリーン）の位置とレンズ位置が固定である場合には、レンズ位置と焦点位置は一対一の対応関係にある。本実施形態では、スクリーンの位置とレンズ位置が固定である場合を想定しているため、焦点位置が定まればレンズ位置も定まる。具体的には例えば、図８（Ａ）に示すような場合には、焦点位置ｄｓ０に対応するレンズ位置はｌｓ０となる。すなわち、本実施形態では、レンズ位置ｌｓ０を中心として、図８（Ａ）に示すようなウォブリングを行う。
【０１０７】
またここで、フォーカス評価値とは、撮像された画像に映る被写体が合焦状態である否かを判定するために用いる値または情報のことをいう。例えば、コントラストＡＦを行う場合には、後述するようにフォーカス評価値としてコントラスト値等が用いられ、位相差ＡＦを行う場合には位相差等が用いられる。
【０１０８】
これにより、画像に映る被写体が合焦状態であるか否かを判定すること等が可能となる。よって、画像に映る被写体が合焦状態であると判定された場合と、合焦状態ではないと判定された場合とで、後述するような異なる処理を行うこと等が可能となる。
【０１０９】
また、レンズ駆動制御部３９１は、合焦状態判定部により画像に映る被写体が合焦状態であると判定された場合には、レンズのウォブリングの停止処理を行ってもよい。
【０１１０】
ここで、レンズのウォブリングの停止処理は、レンズをウォブリングさせるための制御信号の出力を停止することを含む処理であっても良いし、ウォブリングの停止を指示する制御信号（停止信号）を出力することを含む処理であってもよい。
【０１１１】
これにより、合焦状態であると判定された場合に、ウォブリングを停止すること等が可能になる。既に合焦状態になった場合には、ウォブリングを行う目的を達成していると言うことができ、目標達成後の無駄なウォブリングを継続する必要がなくなり、処理負荷を低減することが可能となる。
【０１１２】
また、画像取得部は、レンズ駆動制御部３９１によりウォブリングの停止処理が行われた場合にも、画像を取得し続けてもよい。そして、出力部３５０は、ウォブリングの停止中に画像取得部により取得された画像を、表示部４００に出力してもよい。
【０１１３】
この時、出力部３５０が表示部４００に出力する画像は、折り返し位置にレンズが位置する時に撮像された画像であってもよいし、折り返し位置以外の位置にレンズが位置する時に撮像された画像であってもよい。また、表示用画像選択部３４０が、ウォブリングの停止中に画像取得部により取得された画像の中から表示画像を選択してもよいし、選択せずに画像取得部から得られた画像を出力部３５０に出力してもよい。
【０１１４】
これにより、合焦状態であると判定された場合に、合焦状態で画像を撮像し、取得し続けること等が可能になる。前述した手法でウォブリングのいずれかの折り返し位置で撮像された画像のみを表示部４００に出力する場合には、フレームレートが半分になるという問題があったが、本実施形態の場合には、例えば、取得した全ての画像を表示部４００に出力することが可能となるため、画像の画角の変化がない状態で、フレームレートを通常の値に戻すこと等が可能となる。
【０１１５】
また、合焦状態判定部は、レンズ駆動制御部３９１によりウォブリングの停止処理が行われた場合にも、画像に映る被写体が合焦状態であるか否かを判定し続けてもよい。そして、レンズ駆動制御部３９１は、合焦状態でないと判定された場合には、レンズのウォブリングの再開処理を行ってもよい。
【０１１６】
ここで、レンズのウォブリングの再開処理は、レンズをウォブリングさせるための制御信号を出力することを含む処理であってもよいし、ウォブリングの再開を指示する制御信号（再開信号）を出力することを含む処理であってもよい。
【０１１７】
例えば、一度合焦状態となった後に、合焦状態ではなくなった場合に、前述したように全ての画像を表示し続けても、ピントが合っていない画像が表示されたままになる。本実施形態では、このような問題を解決するために、例えば、一度合焦状態となった後に、合焦状態ではなくなったことを検出して、再度ウォブリングを開始することができ、再度合焦状態にすること等が可能となる。
【０１１８】
また、画像取得部（補間処理部３１０）は、取得した画像に基づいて、輝度画像を生成してもよい。そして、合焦状態判定部は、生成された輝度画像のコントラスト値をフォーカス評価値として算出し、コントラスト値に基づいて、画像に映る被写体が合焦状態であるか否かを判定してもよい。
【０１１９】
ここで、輝度画像とは、各画素が映す被写体の輝度が、各画素に割り当てられた画像のことをいう。本実施形態では、輝度画像の他に各画素の輝度を羅列した情報等を用いてもよく、画像に限定されない。
【０１２０】
また、コントラスト値とは、例えばコントラスト比などの情報のことをいう。コントラスト値は、数学的にコントラスト比と等価な情報であれば、コントラスト比以外の値を用いてもよい。
【０１２１】
これにより、コントラスト値に基づいて、画像に映る被写体が合焦状態であるか否かを判定すること等が可能になる。
【０１２２】
また、表示用画像選択部３４０は、電子ズーム処理部３４２を含んでもよい。そして、画像取得部は、ウォブリング中に、第１の画像に続いて、第２の画像を取得し、さらに第３の画像を取得してもよい。そして、電子ズーム処理部は、表示用画像選択部３４０により、第１の画像と第３の画像とが選択され、第２の画像が選択されない場合に、第２の画像に対して電子ズーム処理を行ってもよい。さらに、出力部３５０は、電子ズーム処理後の第２の画像を表示画像として出力してもよい。
【０１２３】
ここで、第１の画像と、第２の画像と、第３の画像は、時系列順に撮像される画像のことをいう。具体的には、図８（Ａ）のようにウォブリングの折り返し位置で画像を撮像する場合には、１回目のウォブリングの左側の折り返し位置（ｌｓ０−ｌｗ）で撮像された画像が第１の画像であり、右側の折り返し位置（ｌｓ０＋ｌｗ）で撮像された画像が第２の画像であり、２回目のウォブリングの左側の折り返し位置で撮像された画像が第３の画像である。
【０１２４】
また、電子ズーム処理とは、元々の画像情報はそのままに、画像の周辺部をカットし、トリミングすることによって画像の一部を拡大し、あたかもレンズでズーミングしたような画像を生成する処理などのことをいう。
【０１２５】
前述した手法ではウォブリングを行っている間は、表示画像のフレームレートが半分になるという問題があったが、本実施形態によれば、ウォブリングを行っている間にも、画像の画角の変化を抑制しつつ、フレームレートを通常の値に戻すこと等が可能となる。
【０１２６】
その具体例を図１３（Ａ）及び図１３（Ｂ）に示す。前述したように、図１３（Ａ）では、ウォブリングの一方の折り返し位置に対応する時刻ｔｎ（ｔｎ＋２、ｔｎ＋４）において取得された画像を選択画像ＳＩＭとし、ウォブリングの他方の折り返し位置に対応する時刻ｔｎ＋１（ｔｎ＋３、ｔｎ＋５）において取得された画像を非選択画像ＮＳＩＭとして、選択画像ＳＩＭのみを表示部４００に出力する。言い換えれば、時刻ｔｎにおいて取得された画像が第１の画像であり、時刻ｔｎ＋１において取得された画像が第２の画像であり、時刻ｔｎ＋２において取得された画像が第３の画像である。そして、第１の画像と第３の画像を表示部４００に出力する。この場合には、図１３（Ａ）からも分かる通り、表示画像のフレームレートが半分になるという問題があった。
【０１２７】
そこで、本実施形態では、図１３（Ａ）の非選択画像ＮＳＩＭ（第２の画像）に対して電子ズーム処理を行うことによって、表示倍率が選択画像ＳＩＭに近い画像ＬＩＭを生成し、表示部４００に出力する。これによって、画像の画角の変化を抑制しつつ、通常のフレームレートの値に戻すことができる。
【０１２８】
また、表示用画像選択部３４０は、拡大率算出部３４３を更に含んでもよい。そして、拡大率算出部は、第１の画像の画角θ１と第３の画像の画角θ３とに基づいて、第２の画像の目標画角θｎｅｗを求めて、目標画角θｎｅｗと電子ズーム処理前の第２の画像の画角θ２とに基づいて拡大倍率を求めてもよい。さらに、電子ズーム処理部は、求めた拡大倍率で第２の画像に対して電子ズーム処理を行ってもよい。
【０１２９】
ここで、第１の画像の画角は、実際の第１の画像の画角を用いても良いし、第１の画像を撮像した時のウォブリングの中心点にレンズが位置する場合に取得される画像の画角を用いても良い。具体的には、図８（Ａ）の例においては、実際の第１の画像の画角は、図８（Ｂ）のＩＭ１の画角のことを指す。また、後者の場合には、第１の画像ＩＭ１は、レンズ位置ｌｓ０を中心としてウォブリングしている際に撮像された画像であるため、レンズ位置ｌｓ０に対応する焦点位置ｄｓ０を求め、図９のグラフから焦点位置ｄｓ０に対応する画角を第１の画像として求めて用いる。なお、第３の画像についても同様である。また、ここで挙げた例以外の画角を用いてもよい。
【０１３０】
一方、第２の画像の画角は、実際の第２の画像の画角を用いる。具体的には、図８（Ａ）の例においては、実際の第２の画像の画角は、図８（Ｃ）のＩＭ２の画角のことを指す。
【０１３１】
また、拡大倍率とは、電子ズーム後の画像の画角に対する電子ズーム前の画像の画角の比率を表す情報のことをいう。または、拡大倍率とは、電子ズーム前の画像の画素の大きさに対する電子ズーム後の画像の画素の大きさの比率を表す情報のことをいう。拡大倍率は数学的にこれらと等価な情報を用いても良い。
【０１３２】
これにより、第１の画像の画角と第３の画像の画角に基づいて決定した画角を有する第２の画像を、表示部４００に出力して、ウォブリングを行っている間も表示画像のフレームレートを通常の値に保つこと等が可能になる。
【０１３３】
また、拡大率算出部は、θ１≦θｎｅｗ≦θ３となる第２の画像の目標画角θｎｅｗを求めて、求めた目標画角θｎｅｗと電子ズーム処理前の第２の画像の画角θ２とに基づいて拡大倍率を求めてもよい。
【０１３４】
これにより、第１の画像の画角と第３の画像の画角の中間値となるように第２の画像の画角を調整して、画角が滑らかに変化するように画像を出力すること等が可能になる。
【０１３５】
また、他の実施形態の画像処理装置３００は、レンズ位置が変化すると焦点位置および画角の両方が変化するレンズをウォブリングさせるための制御信号を出力するレンズ駆動制御部３９１と、ウォブリング中のレンズを通して撮像された第１の画像と第２の画像と第３の画像とを取得する画像取得部（補間処理部３１０）と、第１の画像の画角と第２の画像の画角との差が所定の許容範囲外であり、第１の画像の画角と第３の画像の画角との差が所定の許容範囲内である時に、第１の画像と第３の画像とを選択する表示用画像選択部３４０と、選択された画像を表示画像として表示部４００に出力する出力部３５０（表示画像生成部）と、を含む。
【０１３６】
本実施形態の目的は、ウォブリングによる画角の変化を排除することである。また、本例は、ウォブリングによる往復幅（図８（Ａ）のｄｗ）の方が、山登りＡＦ処理による焦点位置の移動幅（図８（Ａ）のｄｎ）よりも大きい場合を前提としている。すなわち、本例の前提に則れば、ウォブリングによる画角変動の方が、山登りＡＦ処理による画角変動よりも大きくなる。
【０１３７】
そのため、第１の画像の画角と第２の画像の画角の差、及び第１の画像の画角と第３の画像の画角の差に対して、所定の許容範囲を設定して、所定の許容範囲よりも画角の差が大きい場合には、ウォブリングに起因する画角変動だと判断する。そして、ウォブリングの一方の折り返し位置において取得された画像のみを選択し、表示部４００に出力する。
【０１３８】
これにより、画角の差が所定の許容範囲内にある画像のみを表示画像として選択して、表示画像の画角が高速に変化することを抑制することができる。
【０１３９】
さらに、本実施形態では、電子ズーム処理等を行う必要がないため、回路規模の増大や内視鏡の構成の複雑化等を防ぎつつ、表示画像の画角の変動を抑制することが可能となる。
【０１４０】
なお、本実施形態の画像処理装置３００等は、プログラムにより実現してもよい。この場合には、ＣＰＵ等のプロセッサーがプログラムを実行することで、本実施形態の画像処理装置３００等が実現される。具体的には、情報記憶媒体に記憶されたプログラムが読み出され、読み出されたプログラムをＣＰＵ等のプロセッサーが実行する。ここで、情報記憶媒体（コンピューターにより読み取り可能な媒体）は、プログラムやデーターなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ＨＤＤ（ハードディスクドライブ）、或いはメモリー（カード型メモリー、ＲＯＭ等）などにより実現できる。そして、ＣＰＵ等のプロセッサーは、情報記憶媒体に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち、情報記憶媒体には、本実施形態の各部としてコンピューター（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピューターに実行させるためのプログラム）が記憶される。
【０１４１】
以上のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また、画像処理装置、内視鏡システム、画像処理方法及びプログラムの構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。
【符号の説明】
【０１４２】
１００ 光源部、１１０ 白色光源、１２０ レンズ、２００ 撮像部、
２１０ ライトガイドファイバ、２２０ 照明レンズ、２３０ 集光レンズ、
２４０ 撮像素子、２５０ レンズ駆動部、３００ 画像処理装置、
３１０ 補間処理部、３３０ 合焦状態判定部、３３１ コントラスト値算出部、
３３２ 焦点位置制御部、３４０ 表示用画像選択部、３４１ 画像選択部、
３４２ 電子ズーム処理部、３４３ 拡大率算出部、３５０ 表示画像生成部、
３９０ 制御部、４００ 表示部、５００ 外部Ｉ／Ｆ部
【技術分野】
【０００１】
本発明は、画像処理装置、内視鏡システム、画像処理方法及びプログラム等に関係する。
【背景技術】
【０００２】
一般にコントラストＡＦ（autofocus）と呼ばれる方法では、取得される画像から検出したコントラスト情報（高周波成分やエッジ量など）を基に、画像に映る被写体が合焦状態となる被写体の位置を推定する。画像に映る被写体が合焦状態である場合には、画像のコントラスト情報が最大となる特徴がある。そのためコントラストＡＦと呼ばれる方法では、レンズを移動させ、焦点位置を変化させながら取得した複数の画像に基づいて、画像のコントラスト情報を検出し、コントラスト情報が最大となる時に合焦状態であると判断する。
【０００３】
ここで、合焦状態となる被写体の位置の検出方法としては、レンズを往復駆動させることによりレンズの焦点位置を近点及び遠点よりに微小変化（ウォブリング：wobbling）させ、この場合におけるコントラスト情報に基づいて、合焦状態となる被写体の位置を検出する方法が一般に用いられる。
【０００４】
画像処理装置に関する発明としては特許文献１に記載される従来技術がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−０２３９４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
内視鏡スコープにおいては、スコープの細径化を実現するために、比較的簡便な構成のレンズが用いられることが一般的である。具体的には、焦点位置及び画角を同時に制御するレンズが用いられる。
【０００７】
従って、内視鏡スコープにおいて、合焦状態となる被写体の位置を前述したウォブリングにより検出する場合、ウォブリングに起因して画角が変動するため、取得される画像上において被写体の大きさが変動する。さらにウォブリング時には、レンズが高速に駆動されるため、画像上における被写体の大きさが高速に変動する。そのため、ウォブリング時に取得される画像は非常に見にくい画像となり、医師の負担の増加や、病変の見落としの増加を招くおそれがある。
【０００８】
前述した特許文献１は、画像の画角の変動を、電子ズーム処理により補償し表示画像の大きさを一定にする方法を開示している。しかし、特許文献１では、画像に映る被写体が合焦状態になった後に撮像された画像に対して、電子ズーム処理を行い、画像の画角を一定にしているのであって、合焦状態になるようにレンズ位置を動かしている最中に撮像された画像の画角を一定にする方法については記載されていない。
【０００９】
本発明の幾つかの態様によれば、ウォブリングを行いながら、合焦状態になるようにレンズを移動させる場合に、表示画像の画角の変動を抑制することができる画像処理装置、内視鏡システム、画像処理方法及びプログラム等を提供することができる。
【課題を解決するための手段】
【００１０】
本発明の一態様は、レンズ位置が変化すると焦点位置および画角の両方が変化するレンズをウォブリングさせるための制御信号を出力するレンズ駆動制御部と、ウォブリング中の前記レンズを通して撮像された複数の画像を取得する画像取得部と、ウォブリング経路上にある複数の折り返し位置のうちの、いずれかの折り返し位置に前記レンズが位置する時に撮像された画像を、取得された前記複数の画像の中から選択する表示用画像選択部と、選択された前記画像を表示画像として表示部に出力する出力部と、を含む画像処理装置に関係する。
【００１１】
これにより、ウォブリング経路上にある複数の折り返し位置のうち、いずれかの折り返し位置にレンズが位置する時に撮像された画像を、表示部に出力することが可能となる。例えば、一方の折り返し位置において撮像された画像のみを表示画像として選択すれば、画角の差は小さくなり、表示画像の画角が高速に変化することを抑制することができる。
【００１２】
また、本発明の他の態様では、レンズ位置が変化すると焦点位置および画角の両方が変化するレンズをウォブリングさせるための制御信号を出力するレンズ駆動制御部と、ウォブリング中の前記レンズを通して撮像された第１の画像と第２の画像と第３の画像とを取得する画像取得部と、前記第１の画像の画角と前記第２の画像の画角との差が所定の許容範囲外であり、前記第１の画像の画角と前記第３の画像の画角との差が前記所定の許容範囲内である時に、前記第１の画像と前記第３の画像とを選択する表示用画像選択部と、選択された前記画像を表示画像として表示部に出力する出力部と、を含む画像処理装置に関係する。
【００１３】
これにより、画角の差が所定の許容範囲内にある画像のみを表示画像として選択して、表示画像の画角が高速に変化することを抑制することができる。
【００１４】
また、本発明の他の態様では、前記画像処理装置を含む内視鏡システムに関係する。
【００１５】
また、本発明の他の態様では、レンズ位置が変化すると焦点位置および画角の両方が変化するレンズをウォブリングさせるための制御信号を出力し、ウォブリング中の前記レンズを通して撮像された複数の画像を取得し、ウォブリング経路上にある複数の折り返し位置のうち、いずれかの折り返し位置に前記レンズが位置する時に撮像された画像を、取得された前記複数の画像の中から選択し、選択された前記画像を表示画像として表示部に出力することを特徴とする画像処理方法に関係する。
【００１６】
また、本発明の他の態様では、レンズ位置が変化すると焦点位置および画角の両方が変化するレンズをウォブリングさせるための制御信号を出力し、ウォブリング中の前記レンズを通して撮像された第１の画像と第２の画像と第３の画像とを取得し、前記第１の画像の画角と前記第２の画像の画角との差が所定の許容範囲外であり、前記第１の画像の画角と前記第３の画像の画角との差が前記所定の許容範囲内である時に、前記第１の画像と前記第３の画像とを選択し、選択された前記画像を表示画像として表示部に出力することを特徴とする画像処理方法に関係する。
【００１７】
また、本発明の他の態様では、前記各部としてコンピューターを機能させるプログラムに関係する。
【図面の簡単な説明】
【００１８】
【図１】本実施形態のシステム構成図。
【図２】焦点位置とレンズ位置の説明図。
【図３】本実施形態で用いる撮像素子のベイヤ配列。
【図４】本実施形態で用いる色フィルタの特性。
【図５】本実施形態の合焦状態判定部の詳細な構成図。
【図６】焦点位置とコントラスト値の関係の説明図。
【図７】折り返し地点の片方の画像のみを表示する処理のフローチャート。
【図８】図８（Ａ）〜図８（Ｃ）は、ウォブリングの説明図。
【図９】焦点位置と画角の関係の説明図。
【図１０】本実施形態の表示用画像選択部の詳細な構成図。
【図１１】非選択画像に電子ズーム処理を行う場合の画像選択処理のフローチャート。
【図１２】画角と電子ズーム処理の説明図。
【図１３】図１３（Ａ）及び図１３（Ｂ）は、表示画像の表示倍率の説明図。
【発明を実施するための形態】
【００１９】
以下、本実施形態について説明する。まず、本実施形態の概要を説明し、次に本実施形態のシステム構成例について説明する。そして、本実施形態の手法について説明し、最後に、フローチャートを用いて本実施形態の処理の詳細について具体例を挙げて説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また、本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００２０】
１．概要
一般にコントラストＡＦ（autofocus）と呼ばれる方法では、取得される画像から検出したコントラスト情報（高周波成分やエッジ量など）を基に、画像に映る被写体が合焦状態となる被写体の位置を推定する。画像に映る被写体が合焦状態である場合には、画像のコントラスト情報が最大となる特徴がある。そのためコントラストＡＦと呼ばれる方法では、レンズを移動させ、焦点位置を変化させながら取得した複数の画像に基づいて、画像のコントラスト情報を検出し、コントラスト情報が最大となる時に合焦状態であると判断する。
【００２１】
ここで、合焦状態となる被写体の位置の検出方法としては、レンズを往復駆動させることによりレンズの焦点位置を近点及び遠点よりに微小変化（ウォブリング：wobbling）させ、この場合におけるコントラスト情報に基づいて、合焦状態となる被写体の位置を検出する方法が一般に用いられる。
【００２２】
内視鏡スコープにおいては、スコープの細径化を実現するために、比較的簡便な構成のレンズが用いられることが一般的である。具体的には、焦点位置及び画角を同時に制御するレンズが用いられる。
【００２３】
従って、内視鏡スコープにおいて、合焦状態となる被写体の位置を前述したウォブリングにより検出する場合、ウォブリングに起因して画角が変動するため、取得される画像上において被写体の大きさが変動する。さらにウォブリング時には、レンズが高速に駆動されるため、画像上における被写体の大きさが高速に変動する。そのため、ウォブリング時に取得される画像は非常に見にくい画像となり、医師の負担の増加や、病変の見落としの増加を招くおそれがある。
【００２４】
前述した特許文献１は、画像の画角の変動を、電子ズーム処理により補償し表示画像の大きさを一定にする方法を開示している。しかし、特許文献１では、画像に映る被写体が合焦状態になった後に撮像された画像に対して、電子ズーム処理を行い、画像の画角を一定にしているのであって、合焦状態になるようにレンズ位置を動かしている最中に撮像された画像の画角を一定にする方法については記載されていない。
【００２５】
本実施形態の画像処理装置等によれば、ウォブリングを行いながら、合焦状態になるようにレンズを移動させる場合に、表示画像の画角の変動を抑制することができる。
【００２６】
２．第１の実施形態
まず、図１に本実施形態の画像処理装置３００及びこれを含む内視鏡システムの構成例を示す。本実施形態に係る内視鏡システムは、光源部１００と、撮像部２００と、画像処理装置３００と、表示部４００と、外部Ｉ／Ｆ部５００と、を含む。そして、画像処理装置３００は、補間処理部（画像取得部）３１０と、合焦状態判定部３３０と、表示用画像選択部３４０と、表示画像生成部（出力部）３５０と、制御部３９０を備えている。なお、画像処理装置３００及びこれを含む内視鏡システムは、図１の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加したりするなどの種々の変形実施が可能である。例えば、合焦状態判定部３３０を省略した実施が可能である。
【００２７】
次に各部の接続について説明する。補間処理部３１０は、合焦状態判定部３３０と、表示用画像選択部３４０と、に接続されている。合焦状態判定部３３０は、表示用画像選択部３４０と、制御部３９０と、に接続されている。表示用画像選択部３４０は、表示画像生成部３５０に接続されている。表示画像生成部３５０は、表示部４００に接続されている。制御部３９０は、後述するレンズ駆動部２５０と、補間処理部３１０と、合焦状態判定部３３０と、表示用画像選択部３４０と、表示画像生成部３５０と、に接続されている。
【００２８】
次に内視鏡システムの各部について説明する。
【００２９】
まず、光源部１００は、白色光を発生する白色光源１１０と、白色光をライトガイドファイバ２１０に集光するためのレンズ１２０と、を含む。
【００３０】
次に、撮像部２００は、体腔への挿入を可能にするため細長く且つ湾曲可能に形成されている。撮像部２００は、光源部１００で集光された光を導くためのライトガイドファイバ２１０と、ライトガイドファイバ２１０により導かれた光を拡散させて被写体に照射する照明レンズ２２０と、被写体からの反射光を集光する集光レンズ２３０と、集光レンズ２３０により集光された反射光を検出するための撮像素子２４０と、レンズ駆動部２５０と、を含む。レンズ駆動部２５０は、集光レンズ２３０と、合焦状態判定部３３０と、に接続されている。
【００３１】
そして、集光レンズ２３０は、焦点位置及び画角を制御できるものとする。
【００３２】
ここで、レンズＬＳとスクリーンＳＣが図２のように配置される場合について、具体的に図２を用いて用語の説明をする。
【００３３】
まず、焦点とは、レンズに対して無限遠からの並行な光が入射した場合に、光軸と交わる点のこという。焦点はレンズ固有の点であり、レンズに対して一意に定まる。図２では、（後側）焦点はＦＰである。
【００３４】
次に、レンズ位置とは、被写体に対するレンズ自体の位置のこという。具体的に図２では、レンズの中央部ＭＰ（ＭＰのことを主点という）の位置のことをレンズ位置という。
【００３５】
また、焦点位置とは、レンズを通して撮像される画像に映る被写体が合焦状態となる被写体側の位置のことをいう。
【００３６】
さらに、合焦状態とは、レンズを通して撮像される画像に映る被写体が合焦している状態、すなわちピントが合っている状態のことをいう。言い換えれば、実際の被写体の位置と焦点位置が一致している状態のことである。ただし、両者の位置が完全に一致している必要はなく、両者の位置が所定の距離範囲内にある場合を合焦状態としてもよい。さらに、具体的には、画像のコントラスト値が所定の閾値以上となる状態などのことを合焦状態という。
【００３７】
例えば、図２のように被写体ＳＢの像をスクリーンＳＣ上に結像させる場合について考える。この場合には、被写体ＳＢの先端部からレンズＬＳに対して並行に入射し、焦点ＦＰを通る光Ｒ１と主点ＭＰを通る入射光Ｒ２とが、スクリーンＳＣの同じ点ＩＭＰで交わる時に合焦状態となる。また、この時の被写体の位置ＦＯＰが焦点位置となる。
【００３８】
なお、撮像素子（スクリーン）の位置とレンズ位置が固定である場合には、前述したレンズの焦点位置は一意に定まる。言い換えれば、撮像素子（スクリーン）の位置とレンズ位置が固定である場合には、レンズ位置と焦点位置は一対一の対応関係にある。従って、このような場合に合焦状態にするためには、カメラを動かして、被写体とレンズの距離（相互位置）を調整する必要がある。
【００３９】
逆に、図２において、被写体ＳＢを位置ＦＯＰから位置ＮＧＰに移動させた場合には、合焦状態ではなくなってしまう。被写体ＳＢの位置が焦点位置からずれてしまうためである。この場合には、被写体ＳＢの先端部からレンズＬＳの主点ＭＰを通る入射光Ｒ３は、スクリーンＳＣ上のＮＧＩＰの点に照射され、入射光Ｒ１がスクリーンＳＣ上に照射される点ＩＭＰとずれが生じ、合焦状態とならない。
【００４０】
なお、本実施形態では、焦点位置及び画角を、それぞれｄｍｉｎ〜ｄｍａｘ[ｍｍ]（ｄｍａｘ＞ｄｍｉｎ）、θｍｉｎ〜θｍａｘ[ｄｅｇ]（θｍａｘ＞θｍｉｎ）の範囲で調整できるものとする。画角については後述する。
【００４１】
また、撮像素子２４０は、図３に示されるようなベイヤ配列を有する撮像素子である。また、図３に示した３種類の色フィルタｒ、ｇ、ｂは、図４に示されるようにｒフィルタが５８０〜７００ｎｍ、ｇフィルタが４８０〜６００ｎｍ、ｂフィルタが４００〜５００ｎｍの光を透過させる特徴を有するものとする。
【００４２】
レンズ駆動部２５０は、後述するレンズ駆動制御部３９１から出力される制御信号に基づいて、集光レンズ２３０のレンズ位置を移動する。
【００４３】
次に、画像処理装置３００は、撮像部２００により撮像された画像を取得して、画像処理を行い、表示部４００に表示する画像（表示画像）を生成し、生成された画像を出力する。画像処理装置３００の各部については、後述する。
【００４４】
そして、表示部４００は、後述する表示画像生成部３５０から出力される表示画像を表示する。
【００４５】
さらに、外部Ｉ／Ｆ部５００は、画像処理装置３００に対するユーザからの入力等を行うためのインターフェースであり、電源のオン／オフを行うための電源スイッチ、撮影モードやその他各種のモードを切り換えるためのモード切換ボタンなどを含んで構成されている。また、外部Ｉ／Ｆ部５００は、入力された情報を後述する制御部３９０へ出力するようになっている。
【００４６】
次に、画像処理装置３００の各部で行われる処理について説明する。
【００４７】
まず、補間処理部３１０は、撮像素子２４０で取得される画像に対し、補間処理を施す。前述したように、撮像素子２４０は図３に示すベイヤ配列を有するため、撮像素子２４０で取得される画像の各画素は、Ｒ、Ｇ、Ｂ信号のうち、何れか１つの信号値を有するのみで、他の２種類の信号が欠落した状態である。
【００４８】
そのため、補間処理部３１０では、取得した画像の各画素に対し補間処理を施すことで、欠落している信号値を補間し、各画素でＲ、Ｇ、Ｂ信号の全ての信号値を有する画像（以下、ＲＧＢ画像）を生成する。ここで補間処理としては、例えば公知のバイキュービック補間処理を用いれば良い。補間処理部３１０は、生成したＲＧＢ画像を表示用画像選択部３４０に出力する。
【００４９】
次に、補間処理部３１０は、生成したＲＧＢ画像より、輝度画像を生成する。具体的には、ＲＧＢ画像の全ての画素について、（１）式を用いて輝度信号Ｙを算出することで、輝度画像を生成する。さらに補間処理部３１０は、生成した輝度画像を合焦状態判定部３３０に出力する。
【００５０】
【数１】
【００５１】
そして、合焦状態判定部３３０は、補間処理部３１０より出力される輝度画像よりコントラスト値を算出し、算出したコントラスト値に基づいて、後述する方法で合焦状態（ピントが合っている状態）となるような集光レンズ２３０の焦点位置を求め、制御部３９０に出力する。
【００５２】
また、本実施例においては、合焦状態判定部３３０は、図５に示すように、コントラスト値算出部３３１と、焦点位置制御部３３２と、を含む。この時、補間処理部３１０は、コントラスト値算出部３３１に接続されている。コントラスト値算出部３３１は、焦点位置制御部３３２に接続されている。焦点位置制御部３３２は、表示用画像選択部３４０と、レンズ駆動制御部３９１に接続されている。制御部３９０は、焦点位置制御部３３２に接続されている。なお、合焦状態判定部３３０は、図５の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加したりするなどの種々の変形実施が可能である。
【００５３】
さらに、コントラスト値としては、公知のエッジ抽出処理により得られたエッジ量の絶対値を輝度画像全体で積算した値などを用いる。
【００５４】
一般に、合焦状態においては、輝度画像のコントラスト値が最大となることが知られている。ここで、集光レンズ２３０を用いた場合に合焦状態となる被写体の位置をｄｍとする（ｄｍｉｎ＜ｄｍ＜ｄｍａｘ）。この場合には、集光レンズ２３０の焦点位置とコントラスト値の関係は、図６に示すようになる。具体的には、合焦状態となる被写体の位置ｄｍにおいてコントラスト値が最大となる。
【００５５】
したがって、焦点位置制御部３３２は、補間処理部３１０から出力される輝度画像のコントラスト値が最大となる焦点位置を検出することによって、合焦状態となる被写体の位置を検出可能である。
【００５６】
さらに、表示用画像選択部３４０は、補間処理部３１０から取得されるＲＧＢ画像のうち、特定のＲＧＢ画像のみを選択して表示画像生成部３５０に出力する。
【００５７】
そして、表示画像生成部３５０は、表示用画像選択部３４０より出力されるＲＧＢ画像に対し、既存のホワイトバランス、色変換、階調変換処理を施し、表示画像を生成する。さらに、表示画像生成部３５０は、生成した表示画像を表示部４００に出力する。
【００５８】
最後に、制御部３９０は、外部Ｉ／Ｆ部５００から入力される情報を、補間処理部３１０と、合焦状態判定部３３０と、表示用画像選択部３４０と、表示画像生成部３５０に通知して、これら各部を制御する。
【００５９】
また、本実施例においては、制御部３９０は、図１に示すように、レンズ駆動制御部３９１と、を含む。レンズ駆動制御部３９１は、合焦状態判定部３３０から取得された情報に基づいて、レンズ位置を制御するために用いる制御信号を求めて、制御信号をレンズ駆動部２５０に出力する。この時、レンズ駆動制御部３９１は、レンズ駆動部２５０に接続されている。なお、制御部３９０は、図１の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加したりするなどの種々の変形実施が可能である。
【００６０】
次に、第１の実施形態で行う処理の流れについて、図７のフローチャートを用いて説明する。また、以下で行うウォブリング（往復駆動）については、図８（Ａ）〜図８（Ｃ）を用いて説明する。図８（Ａ）は、内視鏡ＥＳを用いて患部ＬＡを撮像する様子を示している。
【００６１】
まず、合焦状態となる被写体の位置を算出する際には、焦点位置制御部３３２が、現在の焦点位置を初期位置ｄｓ０に設定する（Ｓ１）。すなわち、ステップＳ２前の焦点位置をｄｓ１とし、ｄｓ１＝ｄｓ０に設定する。そして、焦点位置制御部３３２は、レンズ駆動部２５０を介して、集光レンズ２３０の現在の焦点位置をｄｓ１からｄｓ２＝ｄｓ１−ｄｗ（初回はｄｓ２＝ｄｓ０−ｄｗ）に変更する（Ｓ２）。（図８（Ａ）参照）すなわち、レンズ位置をｌｓ１からｌｓ２＝ｌｓ１−ｌｗ（初回はｌｓ２＝ｌｓ０−ｌｗ）に変更する。さらに、焦点位置制御部３３２は、表示用画像選択部３４０に対しトリガ信号を出力する。
【００６２】
次に、焦点位置を変更した後に、撮像部２００が第１の画像を撮像する（Ｓ３）。この時、第１の画像は、図８（Ｂ）に示すＩＭ１のような画像となる。そして、コントラスト値算出部３３１が、補間処理部３１０から出力される輝度画像より、コントラスト値Ｃ−ｄｗを算出する（Ｓ４）。その後、算出したコントラスト値Ｃ−ｄｗを、焦点位置制御部３３２に出力する。
【００６３】
同様にして、補間処理部３１０は、レンズ駆動部２５０を介して、集光レンズ２３０の現在の焦点位置をｄｓ２からｄｓ３＝ｄｓ１＋ｄｗ（初回はｄｓ３＝ｄｓ０＋ｄｗとなる）に変更する（Ｓ５）。すなわち、レンズ位置をｌｓ２からｌｓ３＝ｌｓ１＋ｌｗ（初回はｌｓ３＝ｌｓ０＋ｌｗ）に変更する。なお、焦点位置制御部３３２は、ここではトリガ信号を出力しない。焦点位置を変更した後は、ステップＳ３と同様に、撮像部２００が第２の画像を撮像し（Ｓ６）、コントラスト値算出部３３１が、補間処理部３１０から出力される輝度画像より、コントラスト値Ｃ＋ｄｗを算出し（Ｓ７）、算出したコントラスト値Ｃ＋ｄｗを焦点位置制御部３３２に出力する。この時、第２の画像は、図８（Ｃ）に示すＩＭ２のような画像となる。第２の画像ＩＭ２は、第１の画像ＩＭ１に比べて画角が大きく、より広い範囲が映されているが、患部ＬＡが小さく映ることとなる。
【００６４】
ここで、（２）式により、前述したウォブリングをしながら算出した二つのコントラスト値の差の絶対値Ｃａｂｓを算出し、コントラスト値の差分絶対値Ｃａｂｓが所定の閾値Ｔｈｃ以下であるか否かを判定する（Ｓ８）。なお、閾値Ｔｈｃは、予め一定の値を定めておいても良いし、外部Ｉ／Ｆ部５００よりユーザが任意の値を設定する構成としても良い。
【００６５】
【数２】
【００６６】
コントラスト値の差分絶対値Ｃａｂｓが閾値Ｔｈｃ以下である場合（図６のピークにあると判定できる場合）には、合焦状態であると判定する。一方、コントラスト値の差分絶対値Ｃａｂｓが閾値Ｔｈｃよりも大きい場合には、合焦状態ではないと判定する。
【００６７】
ステップＳ８において、コントラスト値の差分絶対値Ｃａｂｓが所定の閾値Ｔｈｃより大きいと判定した場合、すなわち合焦状態ではない場合には、二つのコントラスト値の大小関係を判断する（Ｓ９）。
【００６８】
ここで、Ｃ−ｄｗ＞Ｃ＋ｄｗであると判断する場合には、現在の焦点位置がｄｓ３から（ｄｓ１−ｄｎ）（初回は（ｄｓ０−ｄｎ））となるようにレンズを移動し、ｄｓ１を（ｄｓ１−ｄｎ）に更新する（Ｓ１０）。すなわち、レンズ位置をｌｓ３から（ｌｓ１−ｌｎ）（初回は（ｌｓ０−ｌｎ））に変更する。
【００６９】
一方、Ｃ＋ｄｗ＞Ｃ−ｄｗであると判断する場合には、現在の焦点位置がｄｓ３から（ｄｓ１＋ｄｎ）（初回は（ｄｓ０＋ｄｎ））となるようにレンズを移動し、ｄｓ１を（ｄｓ１＋ｄｎ）に更新する（Ｓ１１）。すなわち、レンズ位置をｌｓ３から（ｌｓ１＋ｌｎ）（初回は（ｌｓ０＋ｌｎ））に変更する。図８（Ａ）では、ステップＳ１１の処理を行った様子を示している。なお、前述したウォブリングによる往復幅ｄｗと、山登りＡＦによる焦点位置の移動幅ｄｎの値は、予め一定の値を設定しておいても良いし、外部Ｉ／Ｆ部５００よりユーザが任意の値を設定する構成としても良い。
【００７０】
通常は、この後、前述した処理によって得られた第１の画像ＩＭ１と第２の画像ＩＭ２とを表示部に表示する。しかし、本実施形態で用いられる集光レンズ２３０は、前述したように焦点位置と画角が同時に変化する特徴がある。そのため、前述した方法で集光レンズ２３０の焦点位置が制御されている間、補間処理部３１０から出力される画像は、画角（画像に映し出される被写体の範囲の大きさ）が時間的に変動するという問題がある。
【００７１】
そこで、本実施形態では、表示用画像選択部３４０は、焦点位置制御部３３２からトリガ信号が出力された時に、補間処理部３１０から出力されるＲＧＢ画像（第１の画像ＩＭ１）を表示画像として選択する（Ｓ１２）。そして、選択した画像を表示画像生成部３５０に出力する。これにより、集光レンズ２３０の焦点位置が近点よりであるｄｓ２に変更された時に取得された画像のみが、表示画像生成部３５０に出力されることとなり、表示画像の画角の変動を抑えることができる。
【００７２】
なお、本実施形態では、集光レンズ２３０の焦点位置が近点よりであるｄｓ２にある場合の画像（第１の画像ＩＭ１）を表示する例を示したが、本発明はこれに限定されるものではなく、集光レンズ２３０の焦点位置が遠点よりであるｄｓ３にある場合に撮像された画像（第２の画像ＩＭ２）を表示しても良い。
【００７３】
そして、表示画像生成部３５０は、表示用画像選択部３４０より出力されるＲＧＢ画像に対し、既存のホワイトバランス、色変換、階調変換処理を施し、表示画像を生成し、生成した表示画像を表示部４００に出力する（Ｓ１３）。
【００７４】
ここで、ユーザ等から撮影終了指示があるか否かを判定し、撮影終了指示がある場合には処理を終了する（Ｓ１４）。一方、終了指示がない場合には、ステップＳ２から処理を繰り返す。
【００７５】
以上の方法を用いた場合、表示画像のフレームレートが、撮像素子２４０により取得される画像のフレームレートの１／２になるという問題がある。
【００７６】
そこで、本実施の形態では、合焦状態にあると判定された場合には、表示用画像選択部３４０が、補間処理部３１０から出力される全てのＲＧＢ画像を、表示画像生成部３５０に出力する。これにより、合焦状態である場合には、撮像素子２４０から取得される画像と同一のフレームレートで表示画像を得ることが可能となる。
【００７７】
ステップＳ８において、コントラスト値の差分絶対値Ｃａｂｓが閾値Ｔｈｃ以下である場合、すなわち合焦状態であると判定した場合には、焦点位置制御部３３２は、焦点位置がステップＳ２を行う前の焦点位置となるように集光レンズ２３０の位置を変更する（Ｓ１５）。すなわち、現在の焦点位置がｄｓ３からｄｓ１となるように、集光レンズ２３０の位置をｌｓ３からｌｓ１に変更する。その後、焦点位置制御部３３２は集光レンズ２３０の駆動を停止する。さらに、焦点位置制御部３３２は、表示用画像選択部３４０に対し、合焦状態にあることを示すトリガ信号を出力する。
【００７８】
そして、撮像部２００が画像を撮像し（Ｓ１６）、表示用画像選択部３４０は、焦点位置制御部３３２からトリガ信号を受信して、補間処理部３１０から出力される全てのＲＧＢ画像を表示画像として選択する。そして、表示画像生成部３５０は全てのＲＧＢ画像から表示画像を生成して、表示部に出力する（Ｓ１７）。ここで、焦点位置制御部３３２は、前記のコントラスト値Ｃ−ｄｗとＣ＋ｄｗの平均値Ｃａｖｅを保持しておく。
【００７９】
その後、焦点位置制御部３３２は、ウォブリングを停止している期間中に、コントラスト値算出部３３１より出力されるコントラスト値と、閾値Ａ×Ｃａｖｅとを比較し、合焦状態か否かを判定する（Ｓ１８）。ここで、コントラスト値算出部３３１より出力されるコントラスト値が、閾値Ａ×Ｃａｖｅよりも小さくなった場合には、合焦状態でなくなったと判定し、集光レンズの駆動（ウォブリング）を再開する（ステップＳ２に戻る）。
【００８０】
一方、コントラスト値算出部３３１より出力されるコントラスト値が、閾値Ａ×Ｃａｖｅ以上である場合には、合焦状態を維持していると判定する。そして、ユーザ等から撮影終了指示があるか否かを判定し（Ｓ１９）、撮影終了指示がある場合には処理を終了する。一方、終了指示がない場合には、ステップＳ１６から処理を繰り返す。なお、係数Ａは、予め一定の値を定めておいても良いし、外部Ｉ／Ｆ部５００よりユーザが任意の値を設定する構成としても良い。
【００８１】
以上に示した方法により、ウォブリングに起因して画像の大きさが変動する問題を解決することができる。さらに、合焦状態においては、通常のフレームレートで表示画像を取得することが可能である。
【００８２】
３．第２の実施形態
次に、第２の実施形態に係る内視鏡システムについて、図１を参照して説明する。図１に示す集光レンズ２３０と、合焦状態判定部３３０と、表示用画像選択部３４０以外の処理は、第１の実施形態と同一であるため、説明を省略する。
【００８３】
集光レンズ２３０は、焦点位置及び画角をそれぞれｄｍｉｎ〜ｄｍａｘ[ｍｍ]（ｄｍａｘ＞ｄｍｉｎ）、θｍｉｎ〜θｍａｘ[ｄｅｇ]（θｍａｘ＞θｍｉｎ）の範囲で調整できるものとし、焦点位置と画角の間には、図９に示す関係が成立するものとする。
【００８４】
また、合焦状態判定部３３０の構成は第１の実施形態と同様に図５に示す通りであり、焦点位置制御部３３２以外の処理は第１の実施形態と同一であるため、説明を省略する。
【００８５】
また、図１０に示すように、表示用画像選択部３４０は、画像選択部３４１と、電子ズーム処理部３４２と、拡大率算出部３４３と、を含む。この時、制御部３９０は、画像選択部３４１と、電子ズーム処理部３４２と、拡大率算出部３４３に接続されている。補間処理部３１０は、画像選択部３４１に接続されている。画像選択部３４１は、電子ズーム処理部３４２と、表示画像生成部３５０に接続されている。電子ズーム処理部３４２は、表示画像生成部３５０に接続されている。拡大率算出部３４３は、電子ズーム処理部３４２に接続されている。焦点位置制御部３３２は、画像選択部３４１と、拡大率算出部３４３に接続されている。なお、表示用画像選択部３４０は、図１０の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加したりするなどの種々の変形実施が可能である。
【００８６】
次に、第２の実施形態で行う処理の流れについて、図７と図１１のフローチャートを用いて説明する。処理の流れは図７に示した第１の実施形態と同様であるが、表示画像の選択処理（Ｓ１２）が異なる。第２の実施形態では、図１１に示すような流れで表示画像の選択処理を行う。また、後述する電子ズーム処理を行う場合において、現在の第２の画像の画角と目標画角について図１２を用いて説明する。
【００８７】
まず、画像選択部３４１は、焦点位置制御部３３２から前述のトリガ信号が出力されている期間に補間処理部３１０から出力されるＲＧＢ画像（第１の画像）を選択し、表示画像生成部３５０に出力する（Ｓ１２１）。一方、トリガ信号が出力されていない場合に取得したＲＧＢ画像（第２の画像）は電子ズーム処理部３４２に出力する。図１２では、ＩＭ２が第２の画像（または第２の画像に映し出される被写体の範囲）を示している。
【００８８】
なお本実施形態では、図７のステップＳ７において、焦点位置制御部３３２は、拡大倍率を算出するために、焦点位置がｄｓ３の場合における画角θ＋ｄｗ（すなわち図１２に示す第２の画像ＩＭ２の画角θ＋ｄｗ）を取得し、後述する拡大率算出部３４３に出力しておく。
【００８９】
次に、第２の画像の目標画角θｎｅｗを算出する（Ｓ１２２）。具体的には、Ｃ−ｄｗ＞Ｃ＋ｄｗである場合にはθｎｅｗ＝θ（ｄｓ１−ｄｎ／２）とし、Ｃ＋ｄｗ＞Ｃ−ｄｗである場合には、θｎｅｗ＝θ（ｄｓ１＋ｄｎ／２）として、焦点位置制御部３３２が目標画角θｎｅｗを算出し、後述する拡大率算出部３４３に出力する。ただし、θ（ｄｓ）は、集光レンズ２３０の焦点位置がｄｓの場合における画角を表すものとする。図１２には、目標画角θｎｅｗを有する画像を目標画像ＴＩＭとして示している。
【００９０】
なお、本実施形態では、画角θｎｅｗをθ（ｄｓ１−ｄｎ／２）若しくはθ（ｄｓ１＋ｄｎ／２）とする例を示したが、本発明はこれに限定されるものではない。例えば、Ｃ−ｄｗ＞Ｃ＋ｄｗの場合には、θ（ｄｓ１−ｄｎ）≦θｎｅｗ≦θ（ｄｓ１）の範囲で画角θｎｅｗを求めれば良く、Ｃ＋ｄｗ＞Ｃ―ｄｗの場合には、θ（ｄｓ１）≦θｎｅｗ≦θ（ｄｓ１＋ｄｎ）の範囲で画角θｎｅｗを求めれば良い。
【００９１】
次に、拡大率算出部３４３は、焦点位置制御部３３２より出力される画角θ＋ｄｗ、θｎｅｗに基づき、電子ズーム処理部３４２における電子ズーム処理の拡大倍率Ｚを算出する（Ｓ１２３）。拡大倍率Ｚは（３）式を用いて算出する。
【００９２】
【数３】
【００９３】
そして、電子ズーム処理部３４２は、求められた拡大倍率に基づいて、画像選択部３４１から出力されるＲＧＢ画像に対し、電子ズーム処理を施し（Ｓ１２４）、表示画像生成部３５０に出力する（Ｓ１２５）。
【００９４】
以上に示した方法により、ウォブリングに起因して画像の大きさが変動する問題を解決することができる。さらに、本実施の形態によれば、非合焦時においても通常のフレームレートで表示画像を取得できる利点がある。
【００９５】
また、本実施形態では、焦点位置が近点よりの画像のみを選択して表示し、さらに選択されなかった画像（焦点位置が遠点よりの画像）に対し、電子ズーム処理による拡大処理を施した画像を表示する例を示した。
【００９６】
ここで他の方法としては、焦点位置が遠点よりの画像のみを選択して表示し、さらに選択されなかった画像（焦点位置が近点よりの画像）に対し、電子ズーム処理を施した画像を表示する例も考えられる。しかしこの方法では、選択されなかった画像に対して、縮小処理が施される。そのため、電子ズーム処理後の画像は、前記選択された画像よりも小さい画像となるため、画像周辺部に信号値が存在しない画像となる問題がある。
【００９７】
そこで、本実施形態で示したように、焦点位置が近点よりの画像のみを選択して表示し、さらに選択されなかった画像（焦点位置が遠点よりの画像）に対して電子ズーム処理による拡大処理を施せば、前記の問題は生じない。
【００９８】
４．作用・効果
以上の本実施形態の画像処理装置３００は、レンズ位置が変化すると焦点位置および画角の両方が変化するレンズをウォブリングさせるための制御信号を出力するレンズ駆動制御部３９１と、ウォブリング中のレンズを通して撮像された複数の画像を取得する画像取得部（補間処理部３１０）と、ウォブリング経路上にある複数の折り返し位置のうちの、いずれかの折り返し位置にレンズが位置する時に撮像された画像を、取得された複数の画像の中から選択する表示用画像選択部３４０と、選択された画像を表示画像として表示部４００に出力する出力部３５０（表示画像生成部）と、を含む。
【００９９】
ここで、折り返し位置とは、ウォブリングを行う場合に、レンズの移動方向を変更する位置のことをいう。具体的に図８（Ａ）の例で言えば、ｌｓ０−ｌｗ及びｌｓ０＋ｌｗの位置のことをいう。また、折り返し位置は、実際にレンズの移動方向を変更する位置と完全に一致する位置でなくてもよい。例えば、実際にレンズの移動方向を変更する位置から所定の距離だけ離れた位置を、折り返し位置として扱ってもよい。
【０１００】
これにより、ウォブリング経路上にある複数の折り返し位置のうち、いずれかの折り返し位置にレンズが位置する時に撮像された画像を、表示部４００に出力することが可能となる。
【０１０１】
その具体例を図１３（Ａ）に示す。図１３（Ａ）では、縦軸が表示画像の表示倍率を表し、横軸がウォブリングを行っている場合の時間軸を表す。本例では、ウォブリングの一方の折り返し位置に対応する時刻ｔｎ（ｔｎ＋２、ｔｎ＋４）において取得された画像を選択画像ＳＩＭとし、ウォブリングの他方の折り返し位置に対応する時刻ｔｎ＋１（ｔｎ＋３、ｔｎ＋５）において取得された画像を非選択画像ＮＳＩＭとする（ｔｎ＋５は不図示）。言い換えれば、時刻ｔｎにおいて取得された画像が第１の画像であり、時刻ｔｎ＋１において取得された画像が第２の画像であり、時刻ｔｎ＋２において取得された画像が第３の画像である。そして、第１の画像と第３の画像を表示する。
【０１０２】
図１３（Ａ）からも分かる通り、選択画像ＳＩＭ同士の表示倍率（画角）の差は、選択画像ＳＩＭと非選択画像ＮＳＩＭの表示倍率の差よりも小さい。また、選択画像ＳＩＭ同士の表示倍率（画角）の差は、ウォブリングに起因するものではなく、被写体が合焦状態となるレンズ位置にレンズ位置を近づける際に生じる画角の変化であり、ウォブリングによる画角の変化と比べてゆったりと変化するため、問題とはならない。
【０１０３】
このように、一方の折り返し位置において撮像された画像のみを表示画像として選択すれば、画角の差は小さくなり、表示画像の画角が高速に変化することを抑制することができる。
【０１０４】
さらに、本実施形態では、電子ズーム処理等を行う必要がないため、回路規模の増大や内視鏡の構成の複雑化等を防ぎつつ、表示画像の画角の変動を抑制することが可能となる。
【０１０５】
また、取得された複数の画像に基づいて、画像に映る被写体が合焦状態であるか否かを判定する合焦状態判定部（合焦状態判定部３３０）を含んでもよい。そして、レンズ駆動制御部３９１は、現在の焦点位置に対応するレンズ位置を中心として、レンズをウォブリングさせるための制御信号を出力してもよい。さらに、合焦状態判定部は、ウォブリング中に撮像された画像に基づいて、フォーカス評価値を求め、求めたフォーカス評価値に基づいて、画像に映る被写体が合焦状態であるか否かを判定してもよい。
【０１０６】
ここで、前述したように、撮像素子（スクリーン）の位置とレンズ位置が固定である場合には、レンズ位置と焦点位置は一対一の対応関係にある。本実施形態では、スクリーンの位置とレンズ位置が固定である場合を想定しているため、焦点位置が定まればレンズ位置も定まる。具体的には例えば、図８（Ａ）に示すような場合には、焦点位置ｄｓ０に対応するレンズ位置はｌｓ０となる。すなわち、本実施形態では、レンズ位置ｌｓ０を中心として、図８（Ａ）に示すようなウォブリングを行う。
【０１０７】
またここで、フォーカス評価値とは、撮像された画像に映る被写体が合焦状態である否かを判定するために用いる値または情報のことをいう。例えば、コントラストＡＦを行う場合には、後述するようにフォーカス評価値としてコントラスト値等が用いられ、位相差ＡＦを行う場合には位相差等が用いられる。
【０１０８】
これにより、画像に映る被写体が合焦状態であるか否かを判定すること等が可能となる。よって、画像に映る被写体が合焦状態であると判定された場合と、合焦状態ではないと判定された場合とで、後述するような異なる処理を行うこと等が可能となる。
【０１０９】
また、レンズ駆動制御部３９１は、合焦状態判定部により画像に映る被写体が合焦状態であると判定された場合には、レンズのウォブリングの停止処理を行ってもよい。
【０１１０】
ここで、レンズのウォブリングの停止処理は、レンズをウォブリングさせるための制御信号の出力を停止することを含む処理であっても良いし、ウォブリングの停止を指示する制御信号（停止信号）を出力することを含む処理であってもよい。
【０１１１】
これにより、合焦状態であると判定された場合に、ウォブリングを停止すること等が可能になる。既に合焦状態になった場合には、ウォブリングを行う目的を達成していると言うことができ、目標達成後の無駄なウォブリングを継続する必要がなくなり、処理負荷を低減することが可能となる。
【０１１２】
また、画像取得部は、レンズ駆動制御部３９１によりウォブリングの停止処理が行われた場合にも、画像を取得し続けてもよい。そして、出力部３５０は、ウォブリングの停止中に画像取得部により取得された画像を、表示部４００に出力してもよい。
【０１１３】
この時、出力部３５０が表示部４００に出力する画像は、折り返し位置にレンズが位置する時に撮像された画像であってもよいし、折り返し位置以外の位置にレンズが位置する時に撮像された画像であってもよい。また、表示用画像選択部３４０が、ウォブリングの停止中に画像取得部により取得された画像の中から表示画像を選択してもよいし、選択せずに画像取得部から得られた画像を出力部３５０に出力してもよい。
【０１１４】
これにより、合焦状態であると判定された場合に、合焦状態で画像を撮像し、取得し続けること等が可能になる。前述した手法でウォブリングのいずれかの折り返し位置で撮像された画像のみを表示部４００に出力する場合には、フレームレートが半分になるという問題があったが、本実施形態の場合には、例えば、取得した全ての画像を表示部４００に出力することが可能となるため、画像の画角の変化がない状態で、フレームレートを通常の値に戻すこと等が可能となる。
【０１１５】
また、合焦状態判定部は、レンズ駆動制御部３９１によりウォブリングの停止処理が行われた場合にも、画像に映る被写体が合焦状態であるか否かを判定し続けてもよい。そして、レンズ駆動制御部３９１は、合焦状態でないと判定された場合には、レンズのウォブリングの再開処理を行ってもよい。
【０１１６】
ここで、レンズのウォブリングの再開処理は、レンズをウォブリングさせるための制御信号を出力することを含む処理であってもよいし、ウォブリングの再開を指示する制御信号（再開信号）を出力することを含む処理であってもよい。
【０１１７】
例えば、一度合焦状態となった後に、合焦状態ではなくなった場合に、前述したように全ての画像を表示し続けても、ピントが合っていない画像が表示されたままになる。本実施形態では、このような問題を解決するために、例えば、一度合焦状態となった後に、合焦状態ではなくなったことを検出して、再度ウォブリングを開始することができ、再度合焦状態にすること等が可能となる。
【０１１８】
また、画像取得部（補間処理部３１０）は、取得した画像に基づいて、輝度画像を生成してもよい。そして、合焦状態判定部は、生成された輝度画像のコントラスト値をフォーカス評価値として算出し、コントラスト値に基づいて、画像に映る被写体が合焦状態であるか否かを判定してもよい。
【０１１９】
ここで、輝度画像とは、各画素が映す被写体の輝度が、各画素に割り当てられた画像のことをいう。本実施形態では、輝度画像の他に各画素の輝度を羅列した情報等を用いてもよく、画像に限定されない。
【０１２０】
また、コントラスト値とは、例えばコントラスト比などの情報のことをいう。コントラスト値は、数学的にコントラスト比と等価な情報であれば、コントラスト比以外の値を用いてもよい。
【０１２１】
これにより、コントラスト値に基づいて、画像に映る被写体が合焦状態であるか否かを判定すること等が可能になる。
【０１２２】
また、表示用画像選択部３４０は、電子ズーム処理部３４２を含んでもよい。そして、画像取得部は、ウォブリング中に、第１の画像に続いて、第２の画像を取得し、さらに第３の画像を取得してもよい。そして、電子ズーム処理部は、表示用画像選択部３４０により、第１の画像と第３の画像とが選択され、第２の画像が選択されない場合に、第２の画像に対して電子ズーム処理を行ってもよい。さらに、出力部３５０は、電子ズーム処理後の第２の画像を表示画像として出力してもよい。
【０１２３】
ここで、第１の画像と、第２の画像と、第３の画像は、時系列順に撮像される画像のことをいう。具体的には、図８（Ａ）のようにウォブリングの折り返し位置で画像を撮像する場合には、１回目のウォブリングの左側の折り返し位置（ｌｓ０−ｌｗ）で撮像された画像が第１の画像であり、右側の折り返し位置（ｌｓ０＋ｌｗ）で撮像された画像が第２の画像であり、２回目のウォブリングの左側の折り返し位置で撮像された画像が第３の画像である。
【０１２４】
また、電子ズーム処理とは、元々の画像情報はそのままに、画像の周辺部をカットし、トリミングすることによって画像の一部を拡大し、あたかもレンズでズーミングしたような画像を生成する処理などのことをいう。
【０１２５】
前述した手法ではウォブリングを行っている間は、表示画像のフレームレートが半分になるという問題があったが、本実施形態によれば、ウォブリングを行っている間にも、画像の画角の変化を抑制しつつ、フレームレートを通常の値に戻すこと等が可能となる。
【０１２６】
その具体例を図１３（Ａ）及び図１３（Ｂ）に示す。前述したように、図１３（Ａ）では、ウォブリングの一方の折り返し位置に対応する時刻ｔｎ（ｔｎ＋２、ｔｎ＋４）において取得された画像を選択画像ＳＩＭとし、ウォブリングの他方の折り返し位置に対応する時刻ｔｎ＋１（ｔｎ＋３、ｔｎ＋５）において取得された画像を非選択画像ＮＳＩＭとして、選択画像ＳＩＭのみを表示部４００に出力する。言い換えれば、時刻ｔｎにおいて取得された画像が第１の画像であり、時刻ｔｎ＋１において取得された画像が第２の画像であり、時刻ｔｎ＋２において取得された画像が第３の画像である。そして、第１の画像と第３の画像を表示部４００に出力する。この場合には、図１３（Ａ）からも分かる通り、表示画像のフレームレートが半分になるという問題があった。
【０１２７】
そこで、本実施形態では、図１３（Ａ）の非選択画像ＮＳＩＭ（第２の画像）に対して電子ズーム処理を行うことによって、表示倍率が選択画像ＳＩＭに近い画像ＬＩＭを生成し、表示部４００に出力する。これによって、画像の画角の変化を抑制しつつ、通常のフレームレートの値に戻すことができる。
【０１２８】
また、表示用画像選択部３４０は、拡大率算出部３４３を更に含んでもよい。そして、拡大率算出部は、第１の画像の画角θ１と第３の画像の画角θ３とに基づいて、第２の画像の目標画角θｎｅｗを求めて、目標画角θｎｅｗと電子ズーム処理前の第２の画像の画角θ２とに基づいて拡大倍率を求めてもよい。さらに、電子ズーム処理部は、求めた拡大倍率で第２の画像に対して電子ズーム処理を行ってもよい。
【０１２９】
ここで、第１の画像の画角は、実際の第１の画像の画角を用いても良いし、第１の画像を撮像した時のウォブリングの中心点にレンズが位置する場合に取得される画像の画角を用いても良い。具体的には、図８（Ａ）の例においては、実際の第１の画像の画角は、図８（Ｂ）のＩＭ１の画角のことを指す。また、後者の場合には、第１の画像ＩＭ１は、レンズ位置ｌｓ０を中心としてウォブリングしている際に撮像された画像であるため、レンズ位置ｌｓ０に対応する焦点位置ｄｓ０を求め、図９のグラフから焦点位置ｄｓ０に対応する画角を第１の画像として求めて用いる。なお、第３の画像についても同様である。また、ここで挙げた例以外の画角を用いてもよい。
【０１３０】
一方、第２の画像の画角は、実際の第２の画像の画角を用いる。具体的には、図８（Ａ）の例においては、実際の第２の画像の画角は、図８（Ｃ）のＩＭ２の画角のことを指す。
【０１３１】
また、拡大倍率とは、電子ズーム後の画像の画角に対する電子ズーム前の画像の画角の比率を表す情報のことをいう。または、拡大倍率とは、電子ズーム前の画像の画素の大きさに対する電子ズーム後の画像の画素の大きさの比率を表す情報のことをいう。拡大倍率は数学的にこれらと等価な情報を用いても良い。
【０１３２】
これにより、第１の画像の画角と第３の画像の画角に基づいて決定した画角を有する第２の画像を、表示部４００に出力して、ウォブリングを行っている間も表示画像のフレームレートを通常の値に保つこと等が可能になる。
【０１３３】
また、拡大率算出部は、θ１≦θｎｅｗ≦θ３となる第２の画像の目標画角θｎｅｗを求めて、求めた目標画角θｎｅｗと電子ズーム処理前の第２の画像の画角θ２とに基づいて拡大倍率を求めてもよい。
【０１３４】
これにより、第１の画像の画角と第３の画像の画角の中間値となるように第２の画像の画角を調整して、画角が滑らかに変化するように画像を出力すること等が可能になる。
【０１３５】
また、他の実施形態の画像処理装置３００は、レンズ位置が変化すると焦点位置および画角の両方が変化するレンズをウォブリングさせるための制御信号を出力するレンズ駆動制御部３９１と、ウォブリング中のレンズを通して撮像された第１の画像と第２の画像と第３の画像とを取得する画像取得部（補間処理部３１０）と、第１の画像の画角と第２の画像の画角との差が所定の許容範囲外であり、第１の画像の画角と第３の画像の画角との差が所定の許容範囲内である時に、第１の画像と第３の画像とを選択する表示用画像選択部３４０と、選択された画像を表示画像として表示部４００に出力する出力部３５０（表示画像生成部）と、を含む。
【０１３６】
本実施形態の目的は、ウォブリングによる画角の変化を排除することである。また、本例は、ウォブリングによる往復幅（図８（Ａ）のｄｗ）の方が、山登りＡＦ処理による焦点位置の移動幅（図８（Ａ）のｄｎ）よりも大きい場合を前提としている。すなわち、本例の前提に則れば、ウォブリングによる画角変動の方が、山登りＡＦ処理による画角変動よりも大きくなる。
【０１３７】
そのため、第１の画像の画角と第２の画像の画角の差、及び第１の画像の画角と第３の画像の画角の差に対して、所定の許容範囲を設定して、所定の許容範囲よりも画角の差が大きい場合には、ウォブリングに起因する画角変動だと判断する。そして、ウォブリングの一方の折り返し位置において取得された画像のみを選択し、表示部４００に出力する。
【０１３８】
これにより、画角の差が所定の許容範囲内にある画像のみを表示画像として選択して、表示画像の画角が高速に変化することを抑制することができる。
【０１３９】
さらに、本実施形態では、電子ズーム処理等を行う必要がないため、回路規模の増大や内視鏡の構成の複雑化等を防ぎつつ、表示画像の画角の変動を抑制することが可能となる。
【０１４０】
なお、本実施形態の画像処理装置３００等は、プログラムにより実現してもよい。この場合には、ＣＰＵ等のプロセッサーがプログラムを実行することで、本実施形態の画像処理装置３００等が実現される。具体的には、情報記憶媒体に記憶されたプログラムが読み出され、読み出されたプログラムをＣＰＵ等のプロセッサーが実行する。ここで、情報記憶媒体（コンピューターにより読み取り可能な媒体）は、プログラムやデーターなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ＨＤＤ（ハードディスクドライブ）、或いはメモリー（カード型メモリー、ＲＯＭ等）などにより実現できる。そして、ＣＰＵ等のプロセッサーは、情報記憶媒体に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち、情報記憶媒体には、本実施形態の各部としてコンピューター（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピューターに実行させるためのプログラム）が記憶される。
【０１４１】
以上のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また、画像処理装置、内視鏡システム、画像処理方法及びプログラムの構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。
【符号の説明】
【０１４２】
１００ 光源部、１１０ 白色光源、１２０ レンズ、２００ 撮像部、
２１０ ライトガイドファイバ、２２０ 照明レンズ、２３０ 集光レンズ、
２４０ 撮像素子、２５０ レンズ駆動部、３００ 画像処理装置、
３１０ 補間処理部、３３０ 合焦状態判定部、３３１ コントラスト値算出部、
３３２ 焦点位置制御部、３４０ 表示用画像選択部、３４１ 画像選択部、
３４２ 電子ズーム処理部、３４３ 拡大率算出部、３５０ 表示画像生成部、
３９０ 制御部、４００ 表示部、５００ 外部Ｉ／Ｆ部
【特許請求の範囲】
【請求項１】
レンズ位置が変化すると焦点位置および画角の両方が変化するレンズをウォブリングさせるための制御信号を出力するレンズ駆動制御部と、
ウォブリング中の前記レンズを通して撮像された複数の画像を取得する画像取得部と、
ウォブリング経路上にある複数の折り返し位置のうちの、いずれかの折り返し位置に前記レンズが位置する時に撮像された画像を、取得された前記複数の画像の中から選択する表示用画像選択部と、
選択された前記画像を表示画像として表示部に出力する出力部と、
を含む画像処理装置。
【請求項２】
請求項１において、
取得された前記複数の画像に基づいて、画像に映る被写体が合焦状態であるか否かを判定する合焦状態判定部を含み、
前記レンズ駆動制御部は、
現在の前記焦点位置に対応する前記レンズ位置を中心として、前記レンズをウォブリングさせるための前記制御信号を出力し、
前記合焦状態判定部は、
ウォブリング中に撮像された画像に基づいて、フォーカス評価値を求め、求めた前記フォーカス評価値に基づいて、前記画像に映る前記被写体が前記合焦状態であるか否かを判定することを特徴とする画像処理装置。
【請求項３】
請求項２において、
前記レンズ駆動制御部は、
前記合焦状態判定部により前記画像に映る前記被写体が前記合焦状態であると判定された場合には、前記レンズのウォブリングの停止処理を行うことを特徴とする画像処理装置。
【請求項４】
請求項３において、
前記画像取得部は、
前記レンズ駆動制御部によりウォブリングの前記停止処理が行われた場合にも、画像を取得し続け、
前記出力部は、
ウォブリングの停止中に前記画像取得部により取得された画像を、前記表示部に出力することを特徴とする画像処理装置。
【請求項５】
請求項３において、
前記合焦状態判定部は、
前記レンズ駆動制御部によりウォブリングの前記停止処理が行われた場合にも、前記画像に映る前記被写体が前記合焦状態であるか否かを判定し続け、
前記レンズ駆動制御部は、
前記合焦状態でないと判定された場合には、前記レンズのウォブリングの再開処理を行うことを特徴とする画像処理装置。
【請求項６】
請求項２において、
前記画像取得部は、
取得した画像に基づいて、輝度画像を生成し、
前記合焦状態判定部は、
生成された前記輝度画像のコントラスト値を前記フォーカス評価値として算出し、前記コントラスト値に基づいて、前記画像に映る前記被写体が前記合焦状態であるか否かを判定することを特徴とする画像処理装置。
【請求項７】
請求項１において、
前記表示用画像選択部は、電子ズーム処理部を含み、
前記画像取得部は、
ウォブリング中に、第１の画像に続いて、第２の画像を取得し、さらに第３の画像を取得し、
前記電子ズーム処理部は、
前記表示用画像選択部により、前記第１の画像と前記第３の画像とが選択され、前記第２の画像が選択されない場合に、前記第２の画像に対して電子ズーム処理を行い、
前記出力部は、
前記電子ズーム処理後の前記第２の画像を前記表示画像として出力することを特徴とする画像処理装置。
【請求項８】
請求項７において、
前記表示用画像選択部は、拡大率算出部を更に含み、
前記拡大率算出部は、
前記第１の画像の画角θ１と前記第３の画像の画角θ３とに基づいて、前記第２の画像の目標画角θｎｅｗを求めて、前記目標画角θｎｅｗと前記電子ズーム処理前の前記第２の画像の画角θ２とに基づいて拡大倍率を求め、
前記電子ズーム処理部は、
求めた前記拡大倍率で前記第２の画像に対して前記電子ズーム処理を行うことを特徴とする画像処理装置。
【請求項９】
請求項８において、
前記拡大率算出部は、
θ１≦θｎｅｗ≦θ３となる前記第２の画像の目標画角θｎｅｗを求めて、求めた前記目標画角θｎｅｗと前記電子ズーム処理前の前記第２の画像の画角θ２とに基づいて前記拡大倍率を求めることを特徴とする画像処理装置。
【請求項１０】
レンズ位置が変化すると焦点位置および画角の両方が変化するレンズをウォブリングさせるための制御信号を出力するレンズ駆動制御部と、
ウォブリング中の前記レンズを通して撮像された第１の画像と第２の画像と第３の画像とを取得する画像取得部と、
前記第１の画像の画角と前記第２の画像の画角との差が所定の許容範囲外であり、前記第１の画像の画角と前記第３の画像の画角との差が前記所定の許容範囲内である時に、前記第１の画像と前記第３の画像とを選択する表示用画像選択部と、
選択された前記画像を表示画像として表示部に出力する出力部と、
を含む画像処理装置。
【請求項１１】
請求項１に記載の画像処理装置を含むことを特徴とする内視鏡システム。
【請求項１２】
請求項１０に記載の画像処理装置を含むことを特徴とする内視鏡システム。
【請求項１３】
レンズ位置が変化すると焦点位置および画角の両方が変化するレンズをウォブリングさせるための制御信号を出力し、
ウォブリング中の前記レンズを通して撮像された複数の画像を取得し、
ウォブリング経路上にある複数の折り返し位置のうちの、いずれかの折り返し位置に前記レンズが位置する時に撮像された画像を、取得された前記複数の画像の中から選択し、
選択された前記画像を表示画像として表示部に出力することを特徴とする画像処理方法。
【請求項１４】
レンズ位置が変化すると焦点位置および画角の両方が変化するレンズをウォブリングさせるための制御信号を出力し、
ウォブリング中の前記レンズを通して撮像された第１の画像と第２の画像と第３の画像とを取得し、
前記第１の画像の画角と前記第２の画像の画角との差が所定の許容範囲外であり、前記第１の画像の画角と前記第３の画像の画角との差が前記所定の許容範囲内である時に、前記第１の画像と前記第３の画像とを選択し、
選択された前記画像を表示画像として表示部に出力することを特徴とする画像処理方法。
【請求項１５】
レンズ位置が変化すると焦点位置および画角の両方が変化するレンズをウォブリングさせるための制御信号を出力するレンズ駆動制御部と、
ウォブリング中の前記レンズを通して撮像された複数の画像を取得する画像取得部と、
ウォブリング経路上にある複数の折り返し位置のうちの、いずれかの折り返し位置に前記レンズが位置する時に撮像された画像を、取得された前記複数の画像の中から選択する表示用画像選択部と、
選択された前記画像を表示画像として表示部に出力する出力部として、
コンピューターを機能させることを特徴とするプログラム。
【請求項１６】
レンズ位置が変化すると焦点位置および画角の両方が変化するレンズをウォブリングさせるための制御信号を出力するレンズ駆動制御部と、
ウォブリング中の前記レンズを通して撮像された第１の画像と第２の画像と第３の画像とを取得する画像取得部と、
前記第１の画像の画角と前記第２の画像の画角との差が所定の許容範囲外であり、前記第１の画像の画角と前記第３の画像の画角との差が前記所定の許容範囲内である時に、前記第１の画像と前記第３の画像とを選択する表示用画像選択部と、
選択された前記画像を表示画像として表示部に出力する出力部として、
コンピューターを機能させることを特徴とするプログラム。
【請求項１】
レンズ位置が変化すると焦点位置および画角の両方が変化するレンズをウォブリングさせるための制御信号を出力するレンズ駆動制御部と、
ウォブリング中の前記レンズを通して撮像された複数の画像を取得する画像取得部と、
ウォブリング経路上にある複数の折り返し位置のうちの、いずれかの折り返し位置に前記レンズが位置する時に撮像された画像を、取得された前記複数の画像の中から選択する表示用画像選択部と、
選択された前記画像を表示画像として表示部に出力する出力部と、
を含む画像処理装置。
【請求項２】
請求項１において、
取得された前記複数の画像に基づいて、画像に映る被写体が合焦状態であるか否かを判定する合焦状態判定部を含み、
前記レンズ駆動制御部は、
現在の前記焦点位置に対応する前記レンズ位置を中心として、前記レンズをウォブリングさせるための前記制御信号を出力し、
前記合焦状態判定部は、
ウォブリング中に撮像された画像に基づいて、フォーカス評価値を求め、求めた前記フォーカス評価値に基づいて、前記画像に映る前記被写体が前記合焦状態であるか否かを判定することを特徴とする画像処理装置。
【請求項３】
請求項２において、
前記レンズ駆動制御部は、
前記合焦状態判定部により前記画像に映る前記被写体が前記合焦状態であると判定された場合には、前記レンズのウォブリングの停止処理を行うことを特徴とする画像処理装置。
【請求項４】
請求項３において、
前記画像取得部は、
前記レンズ駆動制御部によりウォブリングの前記停止処理が行われた場合にも、画像を取得し続け、
前記出力部は、
ウォブリングの停止中に前記画像取得部により取得された画像を、前記表示部に出力することを特徴とする画像処理装置。
【請求項５】
請求項３において、
前記合焦状態判定部は、
前記レンズ駆動制御部によりウォブリングの前記停止処理が行われた場合にも、前記画像に映る前記被写体が前記合焦状態であるか否かを判定し続け、
前記レンズ駆動制御部は、
前記合焦状態でないと判定された場合には、前記レンズのウォブリングの再開処理を行うことを特徴とする画像処理装置。
【請求項６】
請求項２において、
前記画像取得部は、
取得した画像に基づいて、輝度画像を生成し、
前記合焦状態判定部は、
生成された前記輝度画像のコントラスト値を前記フォーカス評価値として算出し、前記コントラスト値に基づいて、前記画像に映る前記被写体が前記合焦状態であるか否かを判定することを特徴とする画像処理装置。
【請求項７】
請求項１において、
前記表示用画像選択部は、電子ズーム処理部を含み、
前記画像取得部は、
ウォブリング中に、第１の画像に続いて、第２の画像を取得し、さらに第３の画像を取得し、
前記電子ズーム処理部は、
前記表示用画像選択部により、前記第１の画像と前記第３の画像とが選択され、前記第２の画像が選択されない場合に、前記第２の画像に対して電子ズーム処理を行い、
前記出力部は、
前記電子ズーム処理後の前記第２の画像を前記表示画像として出力することを特徴とする画像処理装置。
【請求項８】
請求項７において、
前記表示用画像選択部は、拡大率算出部を更に含み、
前記拡大率算出部は、
前記第１の画像の画角θ１と前記第３の画像の画角θ３とに基づいて、前記第２の画像の目標画角θｎｅｗを求めて、前記目標画角θｎｅｗと前記電子ズーム処理前の前記第２の画像の画角θ２とに基づいて拡大倍率を求め、
前記電子ズーム処理部は、
求めた前記拡大倍率で前記第２の画像に対して前記電子ズーム処理を行うことを特徴とする画像処理装置。
【請求項９】
請求項８において、
前記拡大率算出部は、
θ１≦θｎｅｗ≦θ３となる前記第２の画像の目標画角θｎｅｗを求めて、求めた前記目標画角θｎｅｗと前記電子ズーム処理前の前記第２の画像の画角θ２とに基づいて前記拡大倍率を求めることを特徴とする画像処理装置。
【請求項１０】
レンズ位置が変化すると焦点位置および画角の両方が変化するレンズをウォブリングさせるための制御信号を出力するレンズ駆動制御部と、
ウォブリング中の前記レンズを通して撮像された第１の画像と第２の画像と第３の画像とを取得する画像取得部と、
前記第１の画像の画角と前記第２の画像の画角との差が所定の許容範囲外であり、前記第１の画像の画角と前記第３の画像の画角との差が前記所定の許容範囲内である時に、前記第１の画像と前記第３の画像とを選択する表示用画像選択部と、
選択された前記画像を表示画像として表示部に出力する出力部と、
を含む画像処理装置。
【請求項１１】
請求項１に記載の画像処理装置を含むことを特徴とする内視鏡システム。
【請求項１２】
請求項１０に記載の画像処理装置を含むことを特徴とする内視鏡システム。
【請求項１３】
レンズ位置が変化すると焦点位置および画角の両方が変化するレンズをウォブリングさせるための制御信号を出力し、
ウォブリング中の前記レンズを通して撮像された複数の画像を取得し、
ウォブリング経路上にある複数の折り返し位置のうちの、いずれかの折り返し位置に前記レンズが位置する時に撮像された画像を、取得された前記複数の画像の中から選択し、
選択された前記画像を表示画像として表示部に出力することを特徴とする画像処理方法。
【請求項１４】
レンズ位置が変化すると焦点位置および画角の両方が変化するレンズをウォブリングさせるための制御信号を出力し、
ウォブリング中の前記レンズを通して撮像された第１の画像と第２の画像と第３の画像とを取得し、
前記第１の画像の画角と前記第２の画像の画角との差が所定の許容範囲外であり、前記第１の画像の画角と前記第３の画像の画角との差が前記所定の許容範囲内である時に、前記第１の画像と前記第３の画像とを選択し、
選択された前記画像を表示画像として表示部に出力することを特徴とする画像処理方法。
【請求項１５】
レンズ位置が変化すると焦点位置および画角の両方が変化するレンズをウォブリングさせるための制御信号を出力するレンズ駆動制御部と、
ウォブリング中の前記レンズを通して撮像された複数の画像を取得する画像取得部と、
ウォブリング経路上にある複数の折り返し位置のうちの、いずれかの折り返し位置に前記レンズが位置する時に撮像された画像を、取得された前記複数の画像の中から選択する表示用画像選択部と、
選択された前記画像を表示画像として表示部に出力する出力部として、
コンピューターを機能させることを特徴とするプログラム。
【請求項１６】
レンズ位置が変化すると焦点位置および画角の両方が変化するレンズをウォブリングさせるための制御信号を出力するレンズ駆動制御部と、
ウォブリング中の前記レンズを通して撮像された第１の画像と第２の画像と第３の画像とを取得する画像取得部と、
前記第１の画像の画角と前記第２の画像の画角との差が所定の許容範囲外であり、前記第１の画像の画角と前記第３の画像の画角との差が前記所定の許容範囲内である時に、前記第１の画像と前記第３の画像とを選択する表示用画像選択部と、
選択された前記画像を表示画像として表示部に出力する出力部として、
コンピューターを機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１３−７６８２３（Ｐ２０１３−７６８２３Ａ）
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願番号】特願２０１１−２１６３０２（Ｐ２０１１−２１６３０２）
【出願日】平成２３年９月３０日（２０１１．９．３０）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願日】平成２３年９月３０日（２０１１．９．３０）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]