説明

制御装置、内視鏡装置及びフォーカス制御方法

【課題】輝点を抑制することが可能な制御装置、内視鏡装置及びフォーカス制御方法等を提供すること。
【解決手段】制御装置300は、画像取得部と、フォーカス制御部を含む。画像取得部は、撮像部200により撮像された画像を取得する。フォーカス制御部は、取得された画像に基づいて、撮像部200を被写体に合焦させる制御を行う。フォーカス制御部は、輝点が抑制された画像に基づいて合焦制御を行う。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、制御装置、内視鏡装置及びフォーカス制御方法等に関する。
【背景技術】
【0002】
内視鏡等の撮像装置では、ドクターの診断に支障をきたさないため、パンフォーカスの画像が求められる。このため、内視鏡では比較的Fナンバーが大きい光学系を使用して被写界深度を深くすることでパンフォーカスを実現している。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平8−106060号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら近年、内視鏡システムにおいても数十万画素程度の高画素の撮像素子が使用されるようになっている。光学系が一定の場合、撮像装置の被写界深度は許容錯乱円の大きさによって決定される。高画素の撮像素子では、画素ピッチが小さくなると許容錯乱円も小さくなるため撮像装置の被写界深度は狭くなる。
【0005】
このため、内視鏡の撮像部に対物光学系の焦点位置を駆動する焦点位置駆動部を設け、被写体に対してAF(オートフォーカス)を行う内視鏡装置が提案されている(例えば特許文献1)。特許文献1では、焦点位置を変えて取得した複数枚の画像からコントラスト値を算出し、算出したコントラスト値から焦点位置を検出することでAFを行っている。
【0006】
さて、内視鏡では、被写体の表面で反射した照明光が撮像素子に入射することで、輝点が生じるという課題がある。例えば、輝点の影響により画像からコントラスト値を正確に算出できなくなるため、AFの精度が劣化してしまう。
【0007】
本発明の幾つかの態様によれば、輝点を抑制することが可能な制御装置、内視鏡装置及びフォーカス制御方法等を提供できる。
【課題を解決するための手段】
【0008】
本発明の一態様は、撮像部により撮像された画像を取得する画像取得部と、取得された前記画像に基づいて、前記撮像部を被写体に合焦させる制御を行うフォーカス制御部と、を含み、前記フォーカス制御部は、輝点が抑制された画像に基づいて前記合焦制御を行う制御装置に関係する。
【0009】
本発明の一態様によれば、輝点が抑制された画像に基づいて、撮像部を被写体に合焦させる制御が行うことが可能になる。
【0010】
また、本発明の他の態様は、撮像部により撮像された画像を取得する画像取得部と、取得された前記画像に基づいて、前記撮像部を被写体に合焦させる制御を行うフォーカス制御部と、を含み、前記フォーカス制御部は、通常画像の撮影条件とは異なる撮影条件で撮像された合焦検出用画像に基づいて、前記合焦制御を行う制御装置に関係する。
【0011】
また、本発明のさらに他の態様は、撮像部により撮像された画像を取得すると共に、取得された前記画像に基づいて、前記撮像部を被写体に合焦させる制御を行う場合に、輝点が抑制された画像に基づいて前記合焦制御を行うフォーカス制御方法に関係する。
【図面の簡単な説明】
【0012】
【図1】内視鏡システムの第1の構成例。
【図2】AF制御部の第1の詳細な構成例。
【図3】コントラスト値を求めるための評価領域の設定例。
【図4】コントラスト値算出部の詳細な構成例。
【図5】AF制御部の変形構成例。
【図6】内視鏡システムの変形構成例。
【図7】内視鏡システムの第2の変形構成例。
【図8】内視鏡システムの第2の構成例。
【図9】第2の実施形態における輝点抑制手法についての説明図。
【図10】第2の実施形態における輝点抑制手法についての説明図。
【図11】第2の実施形態における輝点抑制手法についての説明図。
【図12】第2の実施形態における輝点抑制手法についての説明図。
【図13】第2の実施形態における輝点抑制手法についての説明図。
【図14】AF制御部の第2の詳細な構成例。
【図15】第2の実施形態における輝点抑制手法についての説明図。
【図16】第2の実施形態における輝点抑制手法についての説明図。
【図17】内視鏡システムの第3の構成例。
【図18】第3の実施形態における輝点抑制手法についての説明図。
【図19】第3の実施形態における輝点抑制手法についての説明図。
【図20】第3の実施形態における輝点抑制手法についての説明図。
【図21】第3の実施形態における輝点抑制手法についての説明図。
【図22】AF制御部の第3の詳細な構成例。
【図23】内視鏡システムの第4の構成例。
【図24】第4の実施形態における輝点抑制手法についての説明図。
【図25】第4の実施形態における輝点抑制手法についての説明図。
【図26】AF制御部の第4の詳細な構成例。
【図27】AF制御部の第5の詳細な構成例。
【図28】第5の実施形態における輝点抑制手法についての説明図。
【図29】第5の実施形態における輝点抑制手法についての説明図。
【図30】内視鏡システムの第3の変形構成例。
【図31】第5の実施形態の変形例についての説明図。
【図32】AF制御部の第6の詳細な構成例。
【図33】第6の実施形態における輝点抑制手法についての説明図。
【発明を実施するための形態】
【0013】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【0014】
1.本実施形態の概要
まず本実施形態の概要について説明する。図1に示すように、内視鏡では、被写体を照明する照明レンズ220と、被写体からの反射光を集光する対物レンズ230が隣接して設置される。このため、図9に示すように、内視鏡で取得された画像には、被写体の表面で反射した照明光が撮像素子に入射することで、画素が飽和して白トビした領域(輝点)が存在する場合が多い。
【0015】
この輝点と周辺領域のコントラスト値は、例えば内視鏡の代表的な被写体である血管と粘膜のコントラスト値と比較して非常に大きい値となる。そのため、コントラストAFを行う場合に、画像から算出するコントラスト値は輝点の影響を大きく受ける。被写体やスコープの動きによって各画像で輝点の発生量が異なるため、コントラスト値を安定して算出できないという課題がある。
【0016】
そこで本実施形態では、輝点が抑制された画像を用いることで、コントラスト値に対する輝点の影響を低減する。例えば、図1等で後述するように、AF制御時に露光量を小さくして輝点を減らし、その画像を用いてコントラストAFを行う。なお本実施形態では、AF制御に限らず表示画像等の輝点を抑制することも可能である。この場合、輝点の少ない画像をドクターに提示できるため、被写体の視認性を向上可能である。
【0017】
2.第1の実施形態
2.1.内視鏡システム
図1に、内視鏡システム(内視鏡装置)の第1の構成例を示す。内視鏡システムは、光源部100、撮像部200、制御装置300(処理部)、表示部400、外部I/F部500を含む。
【0018】
光源部100は、被写体に照明する照明光を発生する。光源部100は、白色光を発生する白色光源110と、白色光をライトガイドファイバ210に集光するための集光レンズ120を含む。
【0019】
撮像部200は、被写体の撮像を行う。撮像部200は、例えば体腔への挿入を可能にするため細長くかつ湾曲可能に形成されている。撮像部200は、光源部で集光された光を導くためのライトガイドファイバ210と、そのライトガイドファイバにより先端まで導かれてきた光を拡散させて観察対象に照射する照明レンズ220と、観察対象から戻る反射光を集光する対物レンズ230を含む。また、撮像部200は、焦点位置を調整するための焦点調整レンズ240と、焦点調整レンズ240を駆動するための焦点位置駆動部260と、集光した反射光を検出するための撮像素子250を含む。
【0020】
焦点位置駆動部260は、例えばステッピングモーターであり、焦点調整レンズ240と接続されている。焦点位置駆動部260は、焦点調整レンズ240の位置を変更することで焦点位置を調整する。撮像素子250は、例えばベイヤ配列の色フィルタを持つ撮像素子である。ここで、焦点調整レンズ240の位置は、例えば撮像素子250から焦点調整レンズ240までの光軸上における距離で表される。また、焦点位置とは、その位置に被写体がある場合にその被写体に合焦する位置であり、例えば対物レンズ230からの距離で表される。
【0021】
制御装置300は、内視鏡システムの各構成要素の制御や、画像処理等を行う。制御装置300は、A/D変換部310、画像処理部320、AF制御部330、制御部340を含む。
【0022】
A/D変換部310は、撮像素子250から出力されるアナログ信号をデジタル信号に変換し、変換後の信号を画像処理部320とAF制御部330に出力する。画像処理部320は、A/D変換部310から出力されたデジタル信号に対して、ホワイトバランス処理や補間処理(デモザイキング処理)、色変換処理、階調変換処理等の画像処理を施し、その画像を表示部400に出力する。制御部340は、白色光源110、画像処理部320、AF制御部330、外部I/F部500と双方向に接続されており、外部I/F部500からの入力情報に従ってこれらを制御する。AF制御部330は、撮像画像に基づいてAF制御を行う。
【0023】
表示部400は、例えば液晶モニタであり、画像処理部320から出力される画像を表示する。外部I/F部500は、内視鏡システムに対するユーザーからの入力等を行うためのインターフェースである。外部I/F部500は、撮影の開始/終了を行うためのスタートボタンや、AFの開始/終了を行うためのAF切換ボタン、その他各種の撮影条件を調整するための調整ボタンなどを含んで構成されている。
【0024】
制御部340は、例えば外部I/F部500から入力された露光量情報(第1露光量)に従って、白色光源110からの出射光量を制御することで、画像の露光量を調整する。そして、制御部340は、外部I/F部500から入力された情報のうち、AFの開始/終了に関する情報をAF制御部330に出力する。なお、本実施形態ではAF切換ボタンでAF動作を行う場合に限定されず、例えば所定間隔でAF動作を行ったり、コンティニュアスAFを行ってもよい。
【0025】
2.2.AF制御部
図2に、AF制御部330の第1の詳細な構成例を示す。AF制御部330は、フレームメモリ331、評価領域設定部332、コントラスト値算出部333(評価値算出部)、合焦位置検出部334、露光量制御部335、焦点位置制御部336を含む。
【0026】
焦点位置制御部336は、制御部340と双方向に接続されており、制御部340からAFの開始情報を受け取った場合にAF動作を開始する。具体的には、焦点位置制御部336は、まず焦点位置駆動部260に焦点位置情報を出力する。焦点位置駆動部260は、焦点位置制御部336から出力された焦点位置情報に基づいて、焦点調整レンズ240の位置を変更する。焦点位置制御部336から出力された焦点位置での画像が撮像素子250により撮像され、A/D変換部310によりデジタル信号に変換されてフレームメモリ331に記憶される。
【0027】
評価領域設定部332は、フレームメモリ331に記憶された画像に対して、コントラスト値(評価値)を算出するための評価領域を設定する。例えば図3に示すように、事前に設定した領域を評価領域として設定してもよいし、あるいは、外部I/F部500からユーザーが評価領域に関する情報を入力し、これに基づいて画像に任意の評価領域を設定するようにしてもよい。その後、評価領域設定部332は、設定された評価領域情報と画像をコントラスト値算出部333に出力する。
【0028】
コントラスト値算出部333は、評価領域情報と画像に基づいて、評価領域のコントラスト値を算出する。例えば、評価領域設定部332から出力される画像がベイヤ配列の画像である場合、画像の各画素がR,G,Bの3チャンネルの画素値を持つように公知の同時化処理を行い、任意のチャンネルに対してコントラスト値を算出すればよい。あるいは、R,G,Bの3チャンネルの画素値から輝度信号を生成し、生成した輝度信号の画素値に対してコントラスト値を算出してもよい。コントラスト値算出部333は、評価領域のコントラスト値を、合焦位置検出部334に出力する。
【0029】
図4に、コントラスト値算出部333の詳細な構成例を示す。コントラスト値算出部333は、輝点除去部731、HPF処理部732を含む。なお、本実施形態では図4の構成に限定されず、例えば輝点除去部731を含まなくてもよい。
【0030】
HPF処理部732は、評価領域に対してHPF(ハイパスフィルタ)処理を行う。例えば、HPF処理部732は、評価領域に含まれるすべての画素に対して任意のHPF処理を行い、各画素のHPF出力値を加算することでコントラスト値を算出する。
【0031】
輝点除去部731は、評価領域に含まれる輝点を除去する処理を行う。例えば、輝点除去部731は、評価領域に含まれるすべての画素における任意のチャンネルもしくは輝度信号の画素値に対して閾値処理を行う。そして、輝点除去部731は、画素値が閾値以上の場合には、その画素は輝点であると判断し、その画素の情報(例えば座標)をHPF処理部732に出力する。HPF処理部732は、輝点であると判断された画素のHPF出力値を0とする。輝点の画素のHPF出力値がコントラスト値に加算されないため、輝点がコントラスト値に与える影響を低減することができる。
【0032】
合焦位置検出部334は、コントラスト値算出部333により算出されたコントラスト値に基づいて、合焦位置を検出する。ここで、合焦位置とは、被写体にピントが合っていると考えられる焦点位置のことである。
【0033】
次に、AF制御について詳細に説明する。焦点位置制御部336は、少しずつ位置が変位された焦点位置情報を順次、焦点位置駆動部260に出力する。コントラスト値算出部333は、各焦点位置において撮像された画像に基づいてコントラスト値を算出し、各焦点位置でのコントラスト値を合焦位置検出部334に順次出力する。
【0034】
合焦位置検出部334は、コントラスト値算出部333から順次出力されるコントラスト情報を用いて、例えば公知の山登り法などのAF手法を用いて合焦位置を検出する。すなわち、合焦位置検出部334は、コントラスト値が最大となる焦点位置を合焦位置とする。合焦位置検出部334は、検出した合焦位置情報を焦点位置制御部336に出力する。
【0035】
焦点位置制御部336は、その合焦位置情報を焦点位置駆動部260に出力する。焦点位置駆動部260は、合焦位置情報に基づいて、焦点調整レンズ240の位置を移動する。焦点位置制御部336は、焦点調整レンズ240が合焦位置に移動したことを確認し、AF動作を終了する。
【0036】
次に、安定してコントラスト値を算出する手法について説明する。焦点位置制御部336は、制御部340からAFの開始情報を受け取った場合に、露光量制御の開始情報を露光量制御部335に出力する。露光量制御部335は、露光量制御の開始情報に基づいて、コントラスト値算出用の露光量情報(第2露光量)を生成し、その露光量情報を制御部340に出力する。
【0037】
制御部340は、露光量制御部335から露光量情報が出力されている場合、その露光量情報に基づいて白色光源110からの出射光量を制御する。具体的には、露光量制御部335は、第2露光量を第1露光量より小さな値に設定する。そのため、AF動作時にコントラスト値の算出に使用する画像の露光量は、AF動作の開始前に取得されていた画像の露光量と比較して小さくなる。この結果、コントラスト値の算出に使用される画像において、輝点の発生を低減することができ、安定してコントラスト値を算出することが可能になる。
【0038】
焦点位置制御部336は、AF動作が終了した場合、露光量制御の終了情報を露光量制御部335に出力する。露光量制御部335は、その露光量制御の終了情報に基づいてコントラスト値算出用の露光量情報の出力を停止する。制御部340は、露光量制御部335から露光量情報(第2露光量)の出力が停止された場合、外部I/F部500から事前に入力されていた露光量情報(第1露光量)に基づいて、白色光源110からの出射光量を制御する動作に復帰する。
【0039】
2.3.変形例
次に、本実施形態の第1の変形例について説明する。図5に、AF制御部330の変形構成例を示す。AF制御部330は、フレームメモリ331、評価領域設定部332、コントラスト値算出部333、合焦位置検出部334、露光量制御部335、焦点位置制御部336、適正露光判定部337を含む。なお以下では、上述の構成要素と同一の構成要素には同一の符号を付し、適宜説明を省略する。
【0040】
適正露光判定部337は、評価領域設定部332から出力された評価領域情報と画像から評価領域の露光量を算出する。例えば、評価領域設定部332から出力される画像はベイヤ配列の画像である。この場合、適正露光判定部337は、例えば画像の各画素がR,G,Bの3チャンネルの画素値を持つように既知の同時化処理を行い、その後、任意のチャンネルに対して画素値の平均値を算出することで露光量を算出する。あるいは、適正露光判定部337は、R,G,Bの3チャンネルの画素値から輝度信号を生成し、生成した輝度信号の画素値に対して露光量を算出してもよい。
【0041】
適正露光判定部337は、算出された露光量に対して、適正露光量を用いて閾値処理を行って、適正露光が得られた否かの判定を行う。例えば、適正露光量は、予め設定された上限値と下限値であり、適正露光判定部337は、その上限値から下限値の範囲内に露光量が入っている場合に、適正露光であると判定する。ここで、適正露光量とは、例えばコントラスト値の算出に適した露光量、あるいは輝点の抑制に適した露光量である。
【0042】
適正露光判定部337は、画像が適正露光であると判定した場合は、”適正露光”の識別情報を焦点位置制御部336に出力し、評価領域情報が付加された画像をコントラスト値算出部333に出力する。この場合、適正露光判定部337は、同時化処理を行った画像、もしくはそこから生成した輝度信号画像を後段のコントラスト値算出部333に出力すればよい。コントラスト値算出部333は、適正露光判定部337から出力された画像に対して、上述のようにコントラスト値を算出する。
【0043】
一方、適正露光判定部337は、画像が適正露光ではないと判定した場合、”露光量大”または”露光量小”との識別情報を焦点位置制御部336に出力する。具体的には、適正露光判定部337は、露光量が適正露光量の上限値よりも大きかった場合は”露光量大”との識別情報を出力し、露光量が適正露光量の下限値よりも小さかった場合は”露光量小”との識別情報を出力する。適正露光でないと判定された場合、画像はコントラスト値算出部333に出力されない。
【0044】
焦点位置制御部336は、適正露光判定部337から”露光量大”または“露光量小”との識別情報が出力された場合、同じ焦点位置情報を焦点位置駆動部260に再度出力し、露光量補正情報を露光量制御部335に出力する。露光量制御部335は、露光量補正情報に基づいて、コントラスト値算出用の露光量情報(第2露光量)を補正し、補正後の露光量情報を制御部340に出力する。具体的には、焦点位置駆動部260は、”露光量大”との識別情報を受け取った場合は、第2露光量を小さくする露光量補正情報を出力し、”露光量小”との識別情報を受け取った場合は、第2露光量を大きくする露光量補正情報を出力する。
【0045】
上記の変形例によれば、取得された画像が適正露光ではないと判定された場合、同じ焦点位置において、露光量が補正された画像を再度取得することが可能になる。このような処理を行うことで、コントラスト値算出部333は、輝点が低減された適正露光の画像に基づいてコントラスト値の算出を行うことが可能になり、安定してコントラスト値を算出できる。また、適正露光量の下限値を設定することで、露光量低下によるS/N劣化を抑制し、コントラスト値に対するノイズの影響を低減できる。
【0046】
次に、本実施形態の第2の変形例について説明する。図6に、内視鏡システムの変形構成例を示す。内視鏡システムは、光源部100、撮像部200、制御装置300、表示部400、外部I/F部500を含む。この変形例では、制御部340と撮像素子250が双方向に接続される。
【0047】
露光量制御部335は、白色光源110からの出射光量ではなく、撮像素子250が画像を撮像する際の露光時間を変更することで、画像の露光量を制御する。例えば、露光量制御部335は、撮像素子250が画像を撮像する際の電子シャッターの速度を変更することで、画像の露光量を制御すればよい。この場合、上述の第2露光量に対応する露出時間を、第1露光量に対応する露出時間より短い時間に設定して、同様のAF動作を行う。これにより、AF動作時にコントラスト値の算出に使用する画像の露光量を、AF動作の開始前に取得されていた画像の露光量と比較して小さくすることができる。
【0048】
次に、本実施形態の第3の変形例について説明する。図7に、内視鏡システムの第2の変形構成例を示す。内視鏡システムは、光源部100、撮像部200、制御装置300、表示部400、外部I/F部500を含む。この変形例では、撮像部200は、制御信号に応じて透過率を変更可能な透過率調整部275をさらに含む。
【0049】
透過率調整部275は、例えば液晶シャッターや、絞り径を変更可能な可変絞り等で構成される。透過率調整部275は、対物レンズ230と撮像素子250の間に設置され、制御部340と双方向に接続される。
【0050】
露光量制御部335は、白色光源110からの出射光量ではなく、透過率調整部275の透過率を変更することで、画像の露光量を制御する。この場合、上述の第2露光量に対応する透過率を、第1露光量に対応する透過率より小さな値に設定して、同様のAF動作を行う。これにより、AF動作時にコントラスト値の算出に使用する画像の露光量を、AF動作の開始前に取得されていた画像の露光量と比較して小さくすることができる。
【0051】
さて上述のように、輝点の影響によってAFの合焦精度が劣化するという課題がある。すなわち、内視鏡では消化管の運動等により輝点の発生状況が変化し、その変化によってコントラスト値が変動するという課題がある。
【0052】
この点、本実施形態の制御装置300は、撮像部200により撮像された画像を取得する画像取得部(例えばA/D変換部310)と、取得された画像に基づいて、撮像部200を被写体に合焦させる制御を行うフォーカス制御部(AF制御部330)と、を含む。フォーカス制御部は、輝点が抑制された画像に基づいて合焦制御を行う。
【0053】
これにより、輝点が抑制された画像からコントラスト値を算出できるため、コントラスト値に対する輝点の影響を低減できる。そのため、輝点の発生状況が変化する場合であっても、高精度に合焦することが可能になる。
【0054】
ここで、輝点とは、輝度値等の画素値が飽和した(例えば閾値以上となった)画素であり、例えば被写体の表面で照明光が正反射されることで生じた照明の写り込みなどである。あるいは、輝点は、正反射光に限らず、照明光により生じたハイライトであってもよい。
【0055】
輝点が抑制された画像とは、他の画像よりも相対的に輝点が抑制された画像、あるいは画像の中の他の領域よりも相対的に輝点が抑制された領域である。例えば、撮影条件の切り替えにより非AF動作時の画像に比べて輝点が抑制された画像であり、あるいは図33等で後述するように、被写体等の動きによって他の画像や領域に比べて輝点が少なくなった画像や領域である。
【0056】
また本実施形態では、フォーカス制御部は、通常画像の撮影条件とは異なる撮影条件で撮像された合焦検出用画像を輝点が抑制された画像として、合焦制御を行う。
【0057】
このようにすれば、撮影条件を切り替えることで輝点が抑制された合焦検出用画像を取得し、その合焦検出用画像のコントラスト値を算出してAF制御を行うことができる。
【0058】
ここで、通常画像とは、非AF制御時に撮像される画像であり、例えば表示部に表示される画像である。また、撮影条件とは、撮影時の種々の設定や状況などであり、例えばFナンバーや露出時間、撮像感度、照明光の光量、照明光の照射時間、照明光の照射/非照射、照明光の出射方向、偏光/非偏光、フレームレートなどである。また、合焦検出用画像とは、AF制御に使用するために撮像された画像、あるいは撮像画像に設定された評価領域内の画像である。
【0059】
また本実施形態では、撮影条件は露光量である。図2に示すように、フォーカス制御部は、合焦検出用画像の露光量を、通常画像の露光量よりも小さくする制御を行う露光量制御部335を有する。
【0060】
具体的には、露光量制御部335は、被写体を照明する照明光の光量を制御することで、露光量の制御を行う。露光量制御部335は、合焦検出用画像が撮像される場合の光量を、通常画像が撮像される場合の光量よりも小さくする制御を行う。
【0061】
また図6に示すように、露光量制御部335は、撮像部200による撮像の露光時間を制御することで、露光量の制御を行ってもよい。この場合、露光量制御部335は、合焦検出用画像が撮像される場合の露光時間を、通常画像が撮像される場合の露光時間よりも小さくする制御を行う。
【0062】
また図7に示すように、露光量制御部335は、撮像部200が有する対物光学系の透過率を制御することで、露光量の制御を行ってもよい。この場合、露光量制御部335は、合焦検出用画像が撮像される場合の透過率を、通常画像が撮像される場合の透過率よりも小さくする制御を行う。
【0063】
このようにすれば、AF制御時に露光量を切り替えることで、合焦検出用画像の輝点を抑制できる。また、照明光の光量や、露光時間や、対物光学系の透過率を小さくすることで、輝点の面積や数を減らすことができる。
【0064】
ここで、対物光学系の透過率とは、対物光学系への入射光量に対する出射光量の比である。透過率は、液晶シャッターによって調整されてもよく、絞り等によって調整されてもよい。
【0065】
また本実施形態では、フォーカス制御部は、取得された画像に設定された評価領域のコントラスト値を算出するコントラスト値算出部333を有する。フォーカス制御部は、算出されたコントラスト値に基づいて合焦制御を行う。
【0066】
このようにすれば、評価領域のコントラスト値を算出し、そのコントラスト値に基づいてAF制御できる。例えば、上述のように山登り法によるAF制御が可能になる。ここで、コントラスト値とは、被写体の合焦度合いを評価するための評価値であり、例えば画像の高周波成分を抽出することで求められる。
【0067】
また本実施形態では、図4に示すように、コントラスト値算出部333は、評価領域の各画素が輝点か否かを判定し、輝点と判定した画素以外の画素に基づいてコントラスト値を算出する。
【0068】
このようにすれば、撮影条件の切り替え等により輝点を除去しきれなかった場合であっても、その除去しきれなかった輝点がコントラスト値に与える影響を抑制することができる。
【0069】
また本実施形態では、図5に示すように、フォーカス制御部は、評価領域が適正露光か否かを判定する適正露光判定部337を有する。フォーカス制御部は、適正露光判定部337により適正露光であると判定された場合に、合焦制御を行う。
【0070】
このようにすれば、コントラスト値の算出に適した露光量でAF動作を行うことが可能になる。例えば、適正露光の上限を設定することで、輝点を抑制するために適切な露光量にすることが可能になる。また、適正露光の下限を設定することで、画像が暗すぎてコントラスト値が小さすぎたり、ノイズが影響することを抑止できる。
【0071】
3.第2の実施形態
照明光の出射位置を切り替えて輝点抑制を行う第2の実施形態について説明する。図8に、内視鏡システムの第2の構成例を示す。内視鏡システムは、撮像部200、制御装置300、表示部400、外部I/F部500を含む。なお、第1の実施形態と同一の構成要素については、適宜説明を省略する。
【0072】
撮像部200は、例えばLED等で構成され、白色光を発生する2つの白色光源270,271(広義には複数の白色光源)を含む。また撮像部200は、その白色光を集光して観察対象に照射する照明レンズ220,221と、観察対象から戻る反射光を集光する対物レンズ230と、焦点位置を調整するための焦点調整レンズ240と、集光した反射光を検出するための撮像素子250と、焦点調整レンズ240を駆動する焦点位置駆動部260を含む。
【0073】
次に、本実施形態において、安定してコントラスト値を算出するための手法について説明する。一般に内視鏡システムでは、図8に示すように対物レンズ230と照明レンズ220,221が隣接して設置される。このため、図9に示すように、照明レンズ220,221から出射された照明光が被写体表面で正反射され、その被写体表面からの正反射光P1,P2が対物レンズ230に入射することで、画像に輝点が発生する。
【0074】
この結果、図10に示すように、撮像素子250により撮像される画像は輝点の多い画像となる。図10に示す領域R1、R2には、それぞれ正反射光P1、P2により発生した輝点が含まれる。この正反射光P1、P2は、それぞれ照明レンズ220、221からの照明光により発生した反射光である。
【0075】
さて、画像に発生する輝点は、照明レンズ220,221から出射される照明光の照明条件によって大きく変化する。例えば2つの白色光源270,271のうち、白色光源270のみを点灯させた場合には、照明レンズ221からは照明光が照射されない。この場合、図11に示すように、撮像素子250に入射する正反射光はP1のみとなる。このため、図12に示すように領域R2の輝点が抑制され、図10に示す画像に比べて輝点の少ない画像が取得される。一方、白色光源271のみを点灯させた場合には、図13に示すように領域R1の輝点が抑制され、図10に示す画像に比べて輝点の少ない画像が取得される。
【0076】
以上のように、複数の白色光源270,271のうち、照明光を出射する光源を切り替えて画像を取得することで、すべての白色光源から照明光を出射した場合に比べて輝点の抑制された画像を取得することが可能になる。
【0077】
図14に、AF制御部330の第2の詳細な構成例を示す。AF制御部330は、フレームメモリ331、評価領域設定部332a、コントラスト値算出部333a、合焦位置検出部334、焦点位置制御部336a、輝点抑制部337a、コントラスト値記憶部338、平均値算出部339を含む。フレームメモリ331、合焦位置検出部334が行う処理は、第1の実施形態と同様である。
【0078】
焦点位置制御部336aは、制御部340と双方向に接続される。焦点位置制御部336aは、制御部340からAFの開始情報を受け取った場合に、AF動作を開始し、輝点抑制部337aに輝点抑制の開始情報を出力する。焦点位置制御部336aは、AFが完了した場合に、輝度抑制の終了情報を輝点抑制部337aに出力する。
【0079】
輝点抑制部337aは、白色光源270と白色光源271に接続され、各白色光源の点灯/消灯を独立して切り替える制御を行う。輝点抑制部337aは、焦点位置制御部336aから出力された輝点抑制の開始情報に基づいて、白色光源270,271を制御する。例えば、輝点抑制部337aは、白色光源270のみを点灯させる場合(以下、左側1灯照明)と、白色光源271のみを点灯させる場合(以下、右側1灯照明)を順次切り替える。輝点抑制部337aは、現在の照明条件を識別するための識別信号を、評価領域設定部332a及びコントラスト値算出部333aに出力する。例えば、識別信号は下記に示す通りとする。なお、非AF動作(通常観察)時における照明条件は、白色光源270,271の両方が点灯された状態(以下、2灯照明)である。
照明条件 : 識別信号
左側1灯照明 : 1
右側1灯照明 : 2
【0080】
輝点抑制部337aは、焦点位置制御部336aより輝度抑制の終了情報が出力された場合、照明条件を2灯照明に変更し、識別信号の出力を停止する。これにより、白色光源270,271の照明条件を、非AF動作時の状態に復帰する。
【0081】
評価領域設定部332aは、フレームメモリ331に記憶された画像に対して、コントラスト値を算出するための評価領域を設定する。評価領域設定部332aは、輝点抑制部337aより出力される識別信号に基づいて評価領域を設定する。
【0082】
照明条件と評価領域の設定方法の関係について説明する。まず、輝点抑制部337aより出力される識別信号が“1”(左側1灯照明)の場合、図15に示すように、評価領域設定部332aは、図13に示すように、画像の右側に評価領域を設定する。これは、図12で上述のように、左側1灯照明時には画像の右側が輝点の少ない画像となるためである。一方、識別信号が“2”(右側1灯照明)の場合、図16に示すように、評価領域設定部332aは、画像の左側に評価領域を設定する。これは、図13で上述のように、右側1灯照明時には画像の左側が輝点の少ない画像となるためである。
【0083】
コントラスト値算出部333aは、評価領域設定部332aより出力される画像と評価領域情報に基づいて、コントラスト値を算出する。コントラスト値の算出手法は、第1の実施形態と同様である。コントラスト値算出部333aは、輝点抑制部337aより出力される識別情報を参照する。そして、識別情報が“1”の場合、コントラスト値算出部333aは、算出したコントラスト値をコントラスト値記憶部338に出力する。コントラスト値記憶部338は、出力されたコントラスト値を保持する。一方、識別情報が“2”の場合、コントラスト値算出部333aは、算出したコントラスト値を平均値算出部339に出力する。
【0084】
平均値算出部339は、コントラスト値算出部333aよりコントラスト値が出力された場合、そのコントラスト値と、コントラスト値記憶部338に保持されているコントラスト値の平均値を算出する。平均値算出部339は、算出した平均値を合焦位置検出部に334に出力する。合焦位置検出部334は、平均値算出部339より出力されるコントラスト値の平均値から、合焦位置を検出する。
【0085】
本実施形態によれば、照明光を切り替えることで、コントラスト値の算出に使用される画像における輝点の発生を低減することができ、安定的にコントラスト値を算出することが可能となる。
【0086】
なお、上記では、複数の照明条件下で算出したコントラスト値の平均値を、合焦位置の検出に用いる例を説明したが、本実施形態はこれに限定されない。例えば、複数のコントラスト値のうちの最大値を検出し、その最大値を合焦位置の検出に用いる構成としてもよい。また、上記では、照明光源及び照明レンズを2組用いる構成を示したが、本実施形態はこれに限定されず、3組以上の任意の組の照明光源及び照明レンズを用いる構成とすることも可能である。
【0087】
上記の実施形態によれば、図14に示すように、フォーカス制御部(AF制御部330)は、合焦検出用画像の輝点の発生を抑制するように撮影条件の制御を行う輝点抑制部337aを有する。
【0088】
具体的には、輝点抑制部337aは、被写体を照明する複数の照明光源(白色光源270、271)を切り替える制御を行うことで、合焦検出用画像の輝点の発生を抑制する。図12、図13に示すように、フォーカス制御部は、1つの焦点位置における複数の合焦検出用画像を取得する。輝点抑制部337aは、複数の照明光源を切り替える制御により、複数の合焦検出用画像の各画像における輝点の抑制条件を異ならせる。
【0089】
より具体的には、図10に示すように、撮像部200により撮像される画像において第1方向D1の反対方向を第2方向D2とする。この場合に、図11、図12に示すように、輝点抑制部337aは、撮像部200により第1画像が撮像される際に、被写体に第1方向D1側から照射される第1照明光を照射(白色光源270を点灯)させる。図13に示すように、輝点抑制部337aは、撮像部200により第2画像が撮像される際に、被写体に第2方向D2側から照射される第2照明光を照射(白色光源271を点灯)させる。図15、図16に示すように、フォーカス制御部は、第1画像の中の第2方向D2側の領域を第1合焦検出用画像とし、第2画像の中の第1方向D1側の領域を第2合焦検出用画像とする。フォーカス制御部は、第1合焦検出用画像と第2合焦検出用画像に基づいて合焦制御を行う。
【0090】
このようにすれば、照明光の出射位置を切り替えることで輝点の抑制された領域を生じさせることが可能になる。その領域のコントラスト値を算出することで、コントラスト値に対する輝点の影響を抑制できる。
【0091】
4.第3の実施形態
照明光の照射方向を切り替えて輝点抑制を行う第3の実施形態について説明する。図17に、内視鏡システムの第3の構成例を示す。内視鏡システムは、撮像部200、制御装置300、表示部400、外部I/F部500を含む。第1の実施形態と同一の構成については、適宜説明を省略する。
【0092】
撮像部200は、例えばLED等で構成され、白色光を発生する2つの白色光源270,271(広義には複数の白色光源)を含む。また撮像部200は、その白色光を集光して観察対象に照射する照明レンズ220,221と、その照明レンズ220,221の照射角度を調整するための照射角度変更部280,281を含む。また撮像部200は、観察対象から戻る反射光を集光する対物レンズ230と、焦点位置を調整するための焦点調整レンズ240と、集光した反射光を検出するための撮像素子250と、焦点調整レンズ240を駆動する焦点位置駆動部260を含む。
【0093】
照射角度変更部280,281は、AF制御部330に接続されており、AF制御部330からの制御信号に応じて、照明レンズ220,221の角度を変更する。照射角度変更部280,281の詳細については後述する。
【0094】
本実施例において、安定してコントラスト値を算出するための手法について説明する。図18に示すように、非AF動作時には、照明レンズ220,221の角度は“φ1”に設定される。この場合、照明レンズ220,221より出力される照明光と、照明光が被写体正面で正反射されることにより生じる正反射光との関係は、図9に示すようになる。
【0095】
図19に示すように、AF動作時には、照明レンズ220,221の角度は“φ2”に設定される。さて、図20に示すように、照明レンズ220,221より出射される照明光の強度は、一般的に照明レンズの光軸上で最も強くなり、照明レンズの光軸となす角が大きくなるに従って弱くなる傾向がある。図20では、矢印の長さが照明光の強度を示している。そのため、照明レンズ220,221の角度を“φ2”にした場合、照明レンズ220,221より出力される照明光と、照明光が被写体正面で正反射されることにより生じる正反射光との関係は、図21に示すようになる。
【0096】
被写体上の点“S1”と照明レンズを結んだ直線と、照明レンズの光軸がなす角度は、図9に比べて図20の方が大きいことが分かる。このため、照明レンズ220,221の角度が“φ2”の場合(図20)において被写体上の点“S1”到達する照明光の強度は、照明レンズ220,221の角度が“φ1”の場合(図8)において被写体上の点“S1”到達する照明光の強度に比べて相対的に小さくなる。この結果、撮像素子250に入射する正反射光が小さくなり、輝点の発生を低減することができるため、安定的にコントラスト値を算出することが可能となる。
【0097】
ここで、図18に示すように、角度φ1(φ2)は、撮像光学系の光軸ZPと照明レンズ220,221の光軸Z1,Z2との間の角度である。角度φ2は、角度φ1に比べて、正反射光が減少する角度であればよい。照明光の出射方向が対物レンズ側に向く場合を負の角度とすると、例えばφ2−φ1>0であればよい。なお、図18にはφ1<0の例を示すが、φ1≧0であってもよい。
【0098】
図22に、AF制御部330の第3の詳細な構成例を示す。AF制御部330は、フレームメモリ331、評価領域設定部332、コントラスト値算出部333、合焦位置検出部334、焦点位置制御部336b、輝点抑制部337bを含む。フレームメモリ331、評価領域設定部332、コントラスト値算出部333、合焦位置検出部334が行う処理は、第1の実施形態と同様である。
【0099】
焦点位置制御部336bは、制御部340と双方向に接続される。焦点位置制御部336bは、制御部340からAFの開始情報を受け取った場合に、AF動作を開始し、輝点抑制部337bに輝点抑制の開始情報を出力する。
【0100】
輝点抑制部337bは、焦点位置制御部336bから出力された輝点抑制の開始情報に基づいて、照射角度変更部280,281に制御信号を出力し、照明レンズの角度を変更する制御を行う。照射角度変更部280,281は、照明レンズの角度を例えば“φ1”と“φ2”の2通りに設定する。
【0101】
非AF動作時の照明レンズの角度は、“φ1”に設定される。輝点抑制部337bは、焦点位置制御部336aから出力される輝点抑制の開始情報に基づいて、照明レンズ220,221の角度を“φ2”に変更するためのトリガ信号を、照射角度変更部280,281に出力する。照射角度変更部280,281は、輝点抑制部337bよりトリガ信号が出力された場合に、照明レンズ220,221の角度を“φ2”に設定する。
【0102】
輝点抑制部337bは、焦点位置制御部336aより輝点抑制の終了情報が出力された場合に、照明レンズの角度を“φ1”に変更することを示すトリガ信号を、照射角度変更部280,281に出力する。照射角度変更部280,281は、輝点抑制部337bより前記トリガ信号が出力された場合に、照明レンズ220,221の角度を“φ1”に設定する。これにより、照明レンズ220,221の角度が非AF動作時の状態に復帰する。
【0103】
上記の実施形態によれば、図22に示すように、輝点抑制部337bは、被写体を照明する照明光の出射方向(照射角度)を制御することで、合焦検出用画像の輝点の発生を抑制する。
【0104】
具体的には図18に示すように、輝点抑制部337bは、通常画像が撮像される場合に、被写体を照明する照明光の出射方向を第1出射方向(角度φ1)に設定する。図19に示すように、輝点抑制部337bは、合焦検出用画像が撮像される場合に、照明光の出射方向を第1出射方向とは異なる第2出射方向(角度φ2)に設定する。
【0105】
このようにすれば、照明光の出射方向を切り替えることで、輝点が抑制された画像を取得でき、その画像のコントラスト値を算出することで、コントラスト値に対する輝点の影響を抑制できる。
【0106】
ここで、照明光の出射方向は、照明光の強度が最も大きくなる方向であり、例えば照明レンズの光軸方向である。
【0107】
5.第4の実施形態
偏光を利用して輝点抑制を行う第4の実施形態について説明する。図23に、内視鏡装置の第4の構成例を示す。内視鏡システムは、撮像部200、制御装置300、表示部400、外部I/F部500を含む。なお、第1の実施形態と同一の構成要素については、適宜説明を省略する。
【0108】
撮像部200は、白色光を発生する白色光源270と、その白色光を集光して観察対象に照射する照明レンズ220と、観察対象から戻る反射光を集光する対物レンズ230を含む。また撮像部200は、焦点位置を調整するための焦点調整レンズ240と、集光した反射光を検出するための撮像素子250と、焦点調整レンズ240を駆動するための焦点位置駆動部260を含む。焦点調整レンズ240や撮像素子250の構成は、第1の実施形態と同様である。
【0109】
撮像部200は、白色光源270と照明レンズ220の間の光路中に偏光フィルタ290を挿入可能な構成である。また、撮像部200は、焦点調整レンズ240と撮像素子250の間の光路中に、偏光フィルタ291を挿入可能な構成である。
【0110】
偏光フィルタ290,291は、それぞれ偏光フィルタ駆動部282,283に接続されている。偏光フィルタ駆動部282,283は、後述するAF制御部330に接続されている。偏光フィルタ駆動部282,283は、AF制御部330からの制御信号に基づいて偏光フィルタ290,291を駆動し、上記光路への挿入/非挿入の切り換えを行う。AF動作時には、偏光フィルタ290,291は挿入状態に設定され、非AF動作時には、偏光フィルタ290,291は非挿入状態に設定される。
【0111】
偏光フィルタ290,291は、それぞれ白色光源270、焦点調整レンズ240からの光のうち、特定方向に振動する光のみを透過する特性を持つ。また、これら2つの偏光フィルタ290,291が透過する光の振動方向は、互いに直交する特性を持つ。例えば、偏光フィルタ290が垂直偏光を透過する特性を有し、偏光フィルタ291が水平偏光(第1直線偏光)を透過する特性を有する。このとき、偏光フィルタ290が白色光源270と照明レンズ220の間の光路に挿入されている場合、照明レンズ220から出力される照明光は、垂直偏光(第2直線偏光)となる。
【0112】
制御装置300は、A/D変換部310、画像処理部320、AF制御部330、制御部340を含む。A/D変換部310、画像処理部320、制御部340が行う処理は、第1の実施形態と同様である。
【0113】
本実施形態における輝点の抑制手法について説明する。一般に、ある被写体に対して照明光を照射した場合、その被写体から戻ってくる光は、正反射光と内部散乱光に大別される。図24に示すように、正反射光とは、照明光が被写体表面で反射された光であり、例えば消化管粘膜等の濡れた表面で鏡面的に反射された光である。また図25に示すように、内部散乱光とは、照明光が被写体内部で散乱された光である。画像に輝点を生じる原因となるのは、このうち正反射光である。
【0114】
図24に示すように、照明光が垂直偏光の状態だとすると、正反射光は照明光と同様に垂直偏光となる特徴がある。一方、図25に示すように、内部散乱光は散乱により偏光状態が崩れるため、非偏光となる特徴がある。従って、垂直偏光の照明光を被写体に照射し、撮像素子側では水平偏光のみを透過(垂直偏光を遮断)する偏光フィルタを用いて被写体からの反射光を検出することで、輝点が抑制された画像を取得することが可能となる。
【0115】
図26に、AF制御部330の詳細な構成例を示す。AF制御部330は、フレームメモリ331、評価領域設定部332、コントラスト値算出部333、合焦位置検出部334、焦点位置制御部336c、輝点抑制部337cを含む。フレームメモリ331、評価領域設定部332、コントラスト値算出部333、合焦位置検出部334が行う処理は、第1の実施形態と同様である。
【0116】
焦点位置制御部336cは、制御部340と双方向に接続される。焦点位置制御部336cは、制御部340からAFの開始情報を受け取った場合に、AF動作を開始し、輝点抑制部337cに輝点抑制の開始情報を出力する。
【0117】
輝点抑制部337cは、焦点位置制御部336cより輝点抑制の開始情報が出力された場合、偏光フィルタ290,291を上述の光路に挿入することを指示するトリガ信号を、偏光フィルタ駆動部282,283に対して出力する。偏光フィルタ駆動部282,283は、輝点抑制部337cよりトリガ信号が出力された場合に、偏光フィルタ290,291を光路に挿入する。この結果、撮像素子250に入射する正反射光が小さくなり、輝点の発生を低減することができるため、安定的にコントラスト値を算出することが可能となる。
【0118】
輝点抑制部337cは、焦点位置制御部336cより輝点抑制の終了情報が出力された場合、偏光フィルタ290,291を非挿入とすることを示すトリガ信号を、偏光フィルタ駆動部282,283に対して出力する。偏光フィルタ駆動部282,283は、輝点抑制部337cよりトリガ信号が出力された場合に、偏光フィルタ290,291を駆動して非挿入の状態とする。
【0119】
上記の実施形態によれば、図26に示すように、輝点抑制部337cは、撮像部200により撮像される被写体像の偏光条件を制御することで、合焦検出用画像の輝点の発生を抑制する。
【0120】
具体的には図23に示すように、撮像部200は、対物レンズ230と、撮像素子250と、第1直線偏光を透過する偏光フィルタ291と、を有する。輝点抑制部337cは、合焦検出用画像が撮像される場合に、対物レンズ230と撮像素子250の間に偏光フィルタ291を挿入する制御を行う。輝点抑制部337cは、通常画像が撮像される場合に、対物レンズ230と撮像素子250の間に偏光フィルタ291を非挿入にする制御を行う。
【0121】
また、撮像部200は、照明レンズ220と、第1直線偏光に直交する第2直線偏光を透過する第2偏光フィルタ290を有する。輝点抑制部337cは、合焦検出用画像が撮像される場合に、白色光源270と照明レンズ220の間に第2偏光フィルタ290を挿入する制御を行う。輝点抑制部337cは、通常画像が撮像される場合に、白色光源270と照明レンズ220の間に第2偏光フィルタ290を非挿入にする制御を行う。
【0122】
このようにすれば、偏光フィルタの挿入/非挿入を切り替えることで、輝点が抑制された画像を取得でき、その画像のコントラスト値を算出することで、コントラスト値に対する輝点の影響を抑制できる。
【0123】
なお、上記では偏光フィルタの挿入/非挿入を切り替える例を説明したが、本実施形態ではこれに限定されず、非AF動作時において挿入状態であってもよい。この場合、非AF動作時においても輝点が抑制された画像を取得することが可能になる。例えば、表示画像の輝点を減らすことができるため、被写体の視認性を向上できる。
【0124】
6.第5の実施形態
フレームレートの制御により輝点抑制を行う第5の実施形態について説明する。内視鏡システムは、光源部100、撮像部200、制御装置300、表示部400、外部I/F部500を含む。なお、第1の実施形態と同一の構成要素については、適宜説明を省略する。
【0125】
図27に、AF制御部330の第5の詳細な構成例を示す。AF制御部330は、フレームメモリ331、評価領域設定部332、コントラスト値算出部333、合焦位置検出部334、焦点位置制御部336d、フレームレート制御部337dを含む。フレームメモリ331、評価領域設定部332、コントラスト値算出部333、合焦位置検出部334が行う処理は、第1の実施形態と同様である。
【0126】
焦点位置制御部336dは、フレームレート制御部337dに接続されている。焦点位置制御部336dは、制御部340からAFの開始情報を受け取った場合に、AF動作を開始し、フレームレート制御部337dにフレームレート制御の開始情報を出力する。
【0127】
フレームレート制御部337dは、撮像素子250に接続され、制御部340と双方向に接続されている。フレームレート制御部337dは、フレームレート制御の開始情報に基づいて、フレームレートを決定して撮像素子250の制御を行う。
【0128】
制御部340は、非AF動作時においては、予め設定された固定のフレームレートf1[fps](fps: frame per second)で画像を撮像するように撮像素子250を制御する。この場合、図28に示すように、画像1フレームを取得するために要する時間は1/f1[s]となる。ここで、画像1フレームを取得するために要する時間は、露光時間と遮光時間の和である。
【0129】
フレームレート制御部337dは、フレームレート制御の開始情報を受け取った場合、コントラスト値算出用のフレームレートf2[fps]で画像を撮像するように撮像素子250を制御する。この場合、図29に示すように、画像1フレームを取得するために要する時間は1/f2[s]となる。例えば、フレームレートf2は、外部I/F部500と制御部340を介して予め設定されればよい。
【0130】
フレームレートf2をフレームレートf1より大きな値に設定することで、画像1フレームあたりの露光時間が短くなり、露光量を小さくすることができる。この結果、コントラスト値の算出に使用される画像において、輝点の発生を低減することができ、安定してコントラスト値を算出することが可能になる。また、AF動作時にフレームレートを大きな値に変更することで、短時間で焦点位置を検出することができる。
【0131】
次に、本実施形態の変形例について説明する。図30に、内視鏡システムの第3の変形構成例を示す。内視鏡システムは、光源部100、撮像部200、制御装置300、表示部400、外部I/F部500を含む。制御装置300は、A/D変換部310、画像処理部320、AF制御部330、制御部340、画像選択部350を含む。
【0132】
この変形例では、コントラスト値算出用の画像と表示用の画像を順次に取得する。具体的には、A/D変換部310は、撮像素子250から出力されるアナログ信号をデジタル信号に変換して画像選択部350に出力する。
【0133】
図31に示すように、フレームレート制御部337dは、フレームレート制御の開始情報を受けとると、1フレーム毎に画像を取得する時間を変更するように撮像素子250を制御する。1/f1[s]で取得した画像は表示用の画像として使用され、1/f2[s]で取得した画像はコントラスト値算出用の画像として使用される。フレームレート制御部337dは、取得した画像が表示用の画像であるか否かの制御信号を制御部340に出力する。
【0134】
画像選択部350は、取得した画像が表示用の画像であるか否かの制御信号を制御部340から受け取り、取得した画像が表示用の画像である場合は、画像を画像処理部320に出力する。一方、画像選択部350は、取得した画像が表示用の画像ではない場合は、コントラスト値算出用の画像としてAF制御部330に出力する。
【0135】
このような処理を行うことで、AF動作を行う期間においても非AF動作時と同等の明るさの画像を表示部400に表示することが可能になる。これにより、ユーザーは常に被写体を観察することができるため、操作性や安全性を向上することができる。
【0136】
なお、上記では1フレーム毎にフレームレートを切り替える例を説明したが、本実施形態ではこれに限定されない。例えば、非AF動作用のフレームレートf2[fps]が複数フレーム続いてもよい。
【0137】
上記の実施形態によれば、撮影条件はフレームレートである。図27に示すように、フォーカス制御部(AF制御部330)は、フレームレート制御部337dを有する。図28、図29に示すように、フレームレート制御部337dは、通常画像が撮像される場合の第1フレームレートf1と、合焦検出用画像が撮像される場合の第2フレームレートf2を、異なるフレームレートに設定する。
【0138】
具体的には、フレームレート制御部337dは、第2フレームレートf2を第1フレームレートf1よりも大きいフレームレートに設定する。
【0139】
また本実施形態では、図31に示すように、表示部400を制御する表示制御部(例えば画像処理部320)を含む。図31に示すように、フレームレート制御部337dは、第1フレームレートf1と第2フレームレートf2を交互に設定してもよい。表示制御部は、第1フレームレートf1で撮像された通常画像を表示部400に表示する制御を行う。
【0140】
このようにすれば、フレームレートを切り替えることで、輝点が抑制された画像を取得でき、その画像のコントラスト値を算出することで、コントラスト値に対する輝点の影響を抑制できる。また、フレームレートを交互に切り替えることで、AF動作中においても表示画像を撮像して表示することが可能になる。
【0141】
7.第6の実施形態
AF動作時と非AF動作時で撮影条件を切り替えずに、輝点が抑制された画像を取得する第6の実施形態について説明する。内視鏡システムは、光源部100、撮像部200、制御装置300、表示部400、外部I/F部500を含む。なお、第1の実施形態と同一の構成要素については、適宜説明を省略する。
【0142】
図32に、AF制御部330の第6の詳細な構成例を示す。AF制御部330は、フレームメモリ331、評価領域設定部332、コントラスト値算出部333、合焦位置検出部334、焦点位置制御部336を含む。
【0143】
図33を用いて、本実施形態が行う処理について具体的に説明する。図33に示すように、内視鏡の画像では、被写体やスコープの動きによって輝点の数や発生領域が変化し、相対的に輝点が少ない画像や領域が生じる。そのため本実施形態では、AF用と表示用の画像を別々に撮像せず、表示用に撮像した画像の中から輝点の少ない領域を選択してコントラスト値を算出する。
【0144】
まず、焦点位置制御部336は、焦点調整レンズ240を第1焦点位置d1に設定する。焦点位置d1において複数の画像F1〜F3が撮像され、フレームメモリ331が画像F1〜F3を記憶する。評価領域設定部332は、画像F1〜F3において輝点が少ない領域に評価領域EA1〜EA3を設定する。例えば、評価領域設定部332は、輝度値が閾値よりも大きい画素を輝点と判定し、輝点と判定された画素の数が閾値以下である領域を評価領域に設定する。コントラスト値算出部333は、評価領域EA1〜EA3のコントラスト値を算出する。例えば、コントラスト値算出部333は、上述したHPF処理により各評価領域のコントラスト値を算出し、そのコントラスト値の平均値を焦点位置d1におけるコントラスト値とする。
【0145】
次に、焦点位置制御部336は、焦点調整レンズ240を第2焦点位置d2に設定する。焦点位置d2において複数の画像F4〜F6が撮像され、評価領域設定部332が、評価領域EA4〜EA5を設定し、コントラスト値算出部333が、焦点位置d2におけるコントラスト値を算出する。そして、合焦位置検出部334が、複数の焦点位置で算出されたコントラスト値に基づいて合焦位置を検出し、焦点位置制御部336が、その合焦位置に焦点調整レンズ240を移動させる。
【0146】
なお、上記では各画像において輝点の少ない領域を選択したが、本実施形態ではこれに限定されない。例えば、同一焦点位置で撮像された複数の画像の中から最も輝点が少ない画像を選択し、その画像からコントラスト値を算出してもよい。また、上記では所定フレーム数毎に焦点位置を変えたが、本実施形態ではこれに限定されない。例えば、画像に含まれる輝点の画素数をカウントし、その画素数が閾値より小さい画像が撮像された場合にその画像からコントラスト値を算出し、次の焦点位置に移動してもよい。
【0147】
上記の実施形態によれば、図33に示すように、画像取得部(A/D変換部310)は、1つの焦点位置(例えばd1)において撮像された複数の画像F1〜F3を取得する。フォーカス制御部(AF制御部330)は、複数の画像F1〜F3の中から輝点が抑制された画像を取得し、取得した画像を合焦検出用画像として合焦制御を行う。
【0148】
具体的には、フォーカス制御部は、複数の画像F1〜F3の各画像の画素が輝点であるか否かを判定し、その判定結果に基づいて各画像に評価領域EA1〜EA3を設定し、その評価領域EA1〜EA3の画像を合焦検出用画像とする。
【0149】
また、フォーカス制御部は、複数の画像F1〜F3の中から最も輝点の少ない画像を判定し、判定された最も輝点の少ない画像(例えばF3)を合焦検出用画像としてもよい。
【0150】
このようにすれば、輝点が少ない領域や画像のコントラスト値を算出することで、撮影条件を切り替えることなく輝点抑制を行うことができる。また、撮影条件を切り替えないため、通常画像の撮影中にバックグラウンドでAF動作を行うことが可能になる。
【0151】
以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
【0152】
また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語(フォーカス制御部、評価値等)と共に記載された用語(AF制御部、コントラスト値等)は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。
【符号の説明】
【0153】
100 光源部、110 白色光源、120 集光レンズ、200 撮像部、
210 ライトガイドファイバ、220,221 照明レンズ、230 対物レンズ、
240 焦点調整レンズ、250 撮像素子、260 焦点位置駆動部、
270,271 白色光源、275 透過率調整部、
280,281 照射角度変更部、282,283 偏光フィルタ駆動部、
290,291 偏光フィルタ、300 制御装置、310 A/D変換部、
320 画像処理部、330 AF制御部、331 フレームメモリ、
332,332a 評価領域設定部、333,333a コントラスト値算出部、
334 合焦位置検出部、335 露光量制御部、
336,336a〜336d 焦点位置制御部、337 適正露光判定部、
337a〜337c 輝点抑制部、337d フレームレート制御部、
338 コントラスト値記憶部、339 平均値算出部、340 制御部、
350 画像選択部、400 表示部、500 外部I/F部、731 輝点除去部、
732 HPF処理部、
d1 第1焦点位置、d2 第2焦点位置、D1 第1方向、D2 第2方向、
EA1〜EA5 評価領域、f1,f2 フレームレート、F1〜F6 画像、
P1,P2 正反射光、R1,R2 領域、Z1,Z2,ZP 光軸、
φ1,φ2 角度

【特許請求の範囲】
【請求項1】
撮像部により撮像された画像を取得する画像取得部と、
取得された前記画像に基づいて、前記撮像部を被写体に合焦させる制御を行うフォーカス制御部と、
を含み、
前記フォーカス制御部は、
輝点が抑制された画像に基づいて前記合焦制御を行うことを特徴とする制御装置。
【請求項2】
請求項1において、
前記フォーカス制御部は、
通常画像の撮影条件とは異なる撮影条件で撮像された合焦検出用画像を、前記輝点が抑制された画像として、前記合焦制御を行うことを特徴とする制御装置。
【請求項3】
請求項2において、
前記撮影条件は露光量であり、
前記フォーカス制御部は、
前記合焦検出用画像の露光量を、前記通常画像の露光量よりも小さくする制御を行う露光量制御部を有することを特徴とする制御装置。
【請求項4】
請求項3において、
前記露光量制御部は、
前記被写体を照明する照明光の光量を制御することで、前記露光量の制御を行い、
前記露光量制御部は、
前記合焦検出用画像が撮像される場合の前記光量を、前記通常画像が撮像される場合の前記光量よりも小さくする制御を行うことを特徴とする制御装置。
【請求項5】
請求項3において、
前記露光量制御部は、
前記撮像部による撮像の露光時間を制御することで、前記露光量の制御を行い、
前記露光量制御部は、
前記合焦検出用画像が撮像される場合の前記露光時間を、前記通常画像が撮像される場合の前記露光時間よりも小さくする制御を行うことを特徴とする制御装置。
【請求項6】
請求項3において、
前記露光量制御部は、
前記撮像部が有する対物光学系の透過率を制御することで、前記露光量の制御を行い、
前記露光量制御部は、
前記合焦検出用画像が撮像される場合の前記透過率を、前記通常画像が撮像される場合の前記透過率よりも小さくする制御を行うことを特徴とする制御装置。
【請求項7】
請求項2において、
前記フォーカス制御部は、
前記合焦検出用画像の輝点の発生を抑制するように前記撮影条件の制御を行う輝点抑制部を有することを特徴とする制御装置。
【請求項8】
請求項7において、
前記輝点抑制部は、
前記被写体を照明する複数の照明光源を切り替える制御を行うことで、前記合焦検出用画像の輝点の発生を抑制することを特徴とする制御装置。
【請求項9】
請求項8において、
前記フォーカス制御部は、
1つの焦点位置における複数の合焦検出用画像を取得し、
前記輝点抑制部は、
前記複数の照明光源を切り替える制御により、前記複数の合焦検出用画像の各画像における輝点の抑制条件を異ならせることを特徴とする制御装置。
【請求項10】
請求項7において、
前記撮像部により撮像される画像において第1方向の反対方向を第2方向とする場合に、
前記輝点抑制部は、
前記撮像部により第1画像が撮像される際に、前記被写体に前記第1方向側から照射される第1照明光を照射させ、前記撮像部により第2画像が撮像される際に、前記被写体に前記第2方向側から照射される第2照明光を照射させ、
前記フォーカス制御部は、
前記第1画像の中の前記第2方向側の領域を第1合焦検出用画像とし、前記第2画像の中の前記第1方向側の領域を第2合焦検出用画像とし、前記第1合焦検出用画像と前記第2合焦検出用画像に基づいて前記合焦制御を行うことを特徴とする制御装置。
【請求項11】
請求項7において、
前記輝点抑制部は、
前記被写体を照明する照明光の出射方向を制御することで、前記合焦検出用画像の輝点の発生を抑制することを特徴とする制御装置。
【請求項12】
請求項7において、
前記輝点抑制部は、
前記通常画像が撮像される場合に、前記被写体を照明する照明光の出射方向を第1出射方向に設定し、前記合焦検出用画像が撮像される場合に、前記照明光の出射方向を前記第1出射方向とは異なる第2出射方向に設定することを特徴とする制御装置。
【請求項13】
請求項7において、
前記輝点抑制部は、
前記撮像部により撮像される被写体像の偏光条件を制御することで、前記合焦検出用画像の輝点の発生を抑制することを特徴とする制御装置。
【請求項14】
請求項7において、
前記撮像部は、
対物レンズと、撮像素子と、直線偏光を透過する偏光フィルタと、を有し、
前記輝点抑制部は、
前記合焦検出用画像が撮像される場合に、前記対物レンズと前記撮像素子の間に前記偏光フィルタを挿入する制御を行い、前記通常画像が撮像される場合に、前記対物レンズと前記撮像素子の間に前記偏光フィルタを非挿入にする制御を行うことを特徴とする制御装置。
【請求項15】
請求項14において、
前記撮像部は、
照明レンズと、前記直線偏光に直交する第2直線偏光を透過する第2偏光フィルタを有し、
前記輝点抑制部は、
前記合焦検出用画像が撮像される場合に、光源と前記照明レンズの間に前記第2偏光フィルタを挿入する制御を行い、前記通常画像が撮像される場合に、前記光源と前記照明レンズの間に前記第2偏光フィルタを非挿入にする制御を行うことを特徴とする制御装置。
【請求項16】
請求項2において、
前記撮影条件はフレームレートであり、
前記フォーカス制御部は、
前記通常画像が撮像される場合の第1フレームレートと、前記合焦検出用画像が撮像される場合の第2フレームレートを、異なるフレームレートに設定するフレームレート制御部を有することを特徴とする制御装置。
【請求項17】
請求項16において、
前記フレームレート制御部は、
前記第2フレームレートを前記第1フレームレートよりも大きいフレームレートに設定することを特徴とする制御装置。
【請求項18】
請求項16において、
表示部を制御する表示制御部を含み、
前記フレームレート制御部は、
前記第1フレームレートと前記第2フレームレートを交互に設定し、
前記表示制御部は、
前記第1フレームレートで撮像された前記通常画像を前記表示部に表示する制御を行うことを特徴とする制御装置。
【請求項19】
請求項1において、
前記撮像部は、
対物レンズと撮像素子の間に設けられ、直線偏光を透過する偏光板を有し、
前記フォーカス制御部は、
前記偏光板を透過した被写体像が撮像された画像に基づいて前記合焦制御を行うことを特徴とする制御装置。
【請求項20】
請求項19において、
前記撮像部は、
照明レンズと、
前記照明レンズと光源の間に設けられ、前記直線偏光に直交する第2直線偏光を透過する第2偏光フィルタと、
を有し、
前記フォーカス制御部は、
前記第2偏光フィルタを透過した照明光が照射された被写体が撮像された画像に基づいて、前記合焦制御を行うことを特徴とする制御装置。
【請求項21】
請求項1において、
前記画像取得部は、
1つの焦点位置において撮像された複数の画像を取得し、
前記フォーカス制御部は、
前記複数の画像の中から前記輝点が抑制された画像を取得し、取得した画像を合焦検出用画像として前記合焦制御を行うことを特徴とする制御装置。
【請求項22】
請求項21において、
前記フォーカス制御部は、
前記複数の画像の各画像の画素が輝点であるか否かを判定し、前記判定結果に基づいて前記各画像に評価領域を設定し、前記評価領域の画像を前記合焦検出用画像とすることを特徴とする制御装置。
【請求項23】
請求項21において、
前記フォーカス制御部は、
前記複数の画像の中から最も輝点の少ない画像を判定し、判定された前記最も輝点の少ない画像を前記合焦検出用画像とすることを特徴とする制御装置。
【請求項24】
請求項1において、
前記フォーカス制御部は、
前記取得された画像に設定された評価領域のコントラスト値を算出するコントラスト値算出部を有し、
前記フォーカス制御部は、
算出された前記コントラスト値に基づいて前記合焦制御を行うことを特徴とする制御装置。
【請求項25】
請求項24において、
前記コントラスト値算出部は、
前記評価領域の各画素が輝点か否かを判定し、輝点と判定した画素以外の画素に基づいて前記コントラスト値を算出することを特徴とする制御装置。
【請求項26】
請求項1において、
前記フォーカス制御部は、
前記評価領域が適正露光か否かを判定する適正露光判定部を有し、
前記フォーカス制御部は、
前記適正露光判定部により適正露光であると判定された場合に、前記合焦制御を行うことを特徴とする制御装置。
【請求項27】
請求項1乃至26のいずれかに記載の制御装置を含むことを特徴とする内視鏡装置。
【請求項28】
撮像部により撮像された画像を取得する画像取得部と、
取得された前記画像に基づいて、前記撮像部を被写体に合焦させる制御を行うフォーカス制御部と、
を含み、
前記フォーカス制御部は、
通常画像の撮影条件とは異なる撮影条件で撮像された合焦検出用画像に基づいて、前記合焦制御を行うことを特徴とする制御装置。
【請求項29】
請求項28に記載の制御装置を含むことを特徴とする内視鏡装置。
【請求項30】
撮像部により撮像された画像を取得すると共に、
取得された前記画像に基づいて、前記撮像部を被写体に合焦させる制御を行う場合に、
輝点が抑制された画像に基づいて前記合焦制御を行うことを特徴とするフォーカス制御方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate

【図27】
image rotate

【図28】
image rotate

【図29】
image rotate

【図30】
image rotate

【図31】
image rotate

【図32】
image rotate

【図33】
image rotate


【公開番号】特開2012−125293(P2012−125293A)
【公開日】平成24年7月5日(2012.7.5)
【国際特許分類】
【出願番号】特願2010−277079(P2010−277079)
【出願日】平成22年12月13日(2010.12.13)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】