三次元内視鏡装置
【課題】MOS型センサのローリングシャッタの特性による左右の画像のズレを抑制することができる三次元内視鏡装置を提供する。
【解決手段】内視鏡スコープ201は、左目用画像と右目用画像のそれぞれに対応する光を結像する左目用光学系101と右目用光学系102を備えると共に、これらの光学系を通して得られる2系統の光が単一の受光面に分かれて結像されるCMOSセンサ110を備える。CMOSセンサ110の受光面に結像された2つの像のそれぞれの中心を結ぶ直線は視差方向と直交している。CMOSセンサ110の受光面において、2つの像が結像される第1の領域及び第2の領域は複数個の分割領域に分割されている。CMOSセンサ110は、第1の領域と第2の領域から映像信号を構成するデータを読み出す際、左目用画像と右目用画像のそれぞれ対応する位置の分割領域を交互にスキャンしてデータを読み出す。
【解決手段】内視鏡スコープ201は、左目用画像と右目用画像のそれぞれに対応する光を結像する左目用光学系101と右目用光学系102を備えると共に、これらの光学系を通して得られる2系統の光が単一の受光面に分かれて結像されるCMOSセンサ110を備える。CMOSセンサ110の受光面に結像された2つの像のそれぞれの中心を結ぶ直線は視差方向と直交している。CMOSセンサ110の受光面において、2つの像が結像される第1の領域及び第2の領域は複数個の分割領域に分割されている。CMOSセンサ110は、第1の領域と第2の領域から映像信号を構成するデータを読み出す際、左目用画像と右目用画像のそれぞれ対応する位置の分割領域を交互にスキャンしてデータを読み出す。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、1枚のMOS型センサに左目用・右目用の画像を結像させる三次元内視鏡装置に関する。
【背景技術】
【０００２】
1枚のMOS型センサに、視差を有する左目用・右目用の画像を結像させることで立体視を実現する三次元内視鏡装置がある。内視鏡スコープの搭載スペースの関係から、複数の撮像素子を用いる方式よりも、受光面の形状が正方形に近い1枚の撮像素子に左目用・右目用の画像を結像させる方式が好ましい。
【０００３】
左目用画像と右目用画像を１枚の撮像素子に結像させる場合、撮像素子の受光面を左右に分割した領域に結像させるのが一般的である。しかし、ハイビジョン画像を得る場合、16:9というように横に長い画像を生成する必要があるため、正方形に近い撮像素子の受光面を左右に分割した領域に結像させる方式では、後で大きな倍率で水平方向に画像を拡大しなければならないため、画質劣化の要因となる。これを解決する手段として特許文献1では、図7に示すように、撮像素子の受光面を上下に分割した領域S11，S12に左目用画像と右目用画像とを結像させることが提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】再公表ＷＯ２００４／１０６８５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献1に記載された技術は、横に長いハイビジョン画像を得るために左右の画像を1枚の撮像素子に結像させる際に有効な技術であるが、特許文献1では撮像素子の種類は特定されていないため、撮像素子をMOS型センサとしたときの課題には言及されていない。メカシャッタを用いず、また、遮光期間を設けずにMOS型センサを使用すると、ローリングシャッタの特性から、結像された画像の位置に応じて、光情報が電気情報として画素に蓄積される時刻が異なる。
【０００６】
例えば、図8に示すように、領域S11を複数に分割した各領域では、領域S11-1、領域S11-2、領域S11-3、・・・、領域S11-nというように上側から下側に向かって順に光情報が画素に蓄積される。領域S11において領域S11-nに光情報が蓄積された後、領域S12を複数に分割した各領域では、領域S12-1、領域S12-2、領域S12-3、・・・、領域S12-nというように上側から下側に向かって順に光情報が画素に蓄積される。
【０００７】
そのため、左目用画像と右目用画像とで、互いに対応する位置（例えば領域S11-1と領域S12-1）の画像では1フレーム周期の半分の時差が生じ、動いている被写体を撮影した場合に左右の画像で位置がずれる。三次元内視鏡装置は、視差を利用して被写体を立体的に見せる装置であるため、時差による位置ズレは、適切に設定されている視差を狂わせてしまい、立体表示ができなくなる。
【０００８】
また、三次元内視鏡では、適切な視差を得るために撮像素子の配置や光学系の構成が高精度に決定されているが、オートクレイブなどの利用によって内視鏡スコープが変形することや、内視鏡使用時にレンズに水滴が付着することなどによって、物理的にズレが生ずるという問題がある。このズレは事前に予測困難なものであるため、内視鏡スコープの使用前あるいは必要であれば内視鏡スコープの使用中にズレを検出し、そのズレを電子的に補正する機能が求められている。このような経年や使用条件によって生ずるズレに、MOS型センサのローリングシャッタの特性によるズレが加わると、補正対象としたい前者のズレだけを検出できなくなる。
【０００９】
本発明は、上述した課題に鑑みてなされたものであって、MOS型センサのローリングシャッタの特性による左右の画像のズレを抑制することができる三次元内視鏡装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、上記の課題を解決するためになされたもので、視差を有する左目用画像と右目用画像とを取得する三次元内視鏡装置において、前記左目用画像と前記右目用画像のそれぞれに対応する光を結像する2系統の光学系を備えると共に、前記2系統の光学系を通して得られる2系統の光が単一の受光面に分かれて結像され、結像された2つの像に基づく映像信号を生成するMOS型センサを備える内視鏡スコープと、前記映像信号に画像処理を行う画像処理プロセッサと、前記画像処理プロセッサによって処理された前記映像信号に基づいて、前記左目用画像と前記右目用画像を含む画像を表示する画像表示装置と、を備え、前記MOS型センサの前記受光面に結像された前記2つの像のそれぞれの中心を結ぶ直線が視差方向と直交し、前記MOS型センサの前記受光面において、前記2つの像の一方が結像される第1の領域及び前記2つの像の他方が結像される第2の領域は複数個の分割領域に分割され、前記MOS型センサは、前記第1の領域と前記第2の領域から前記映像信号を構成するデータを読み出す際、前記左目用画像と前記右目用画像のそれぞれ対応する位置の前記分割領域を交互にスキャンしてデータを読み出すことを特徴とする三次元内視鏡装置である。
【００１１】
また、本発明の三次元内視鏡装置において、前記MOS型センサは、ラスタスキャンにより前記複数個の分割領域をスキャンしてデータを読み出し、前記ラスタスキャンの方向が前記視差方向と直交することを特徴とする。
【００１２】
また、本発明の三次元内視鏡装置において、前記画像処理プロセッサは、前記画像処理を行う画像処理部と、前記映像信号を、前記左目用画像に対応する左目用映像信号と、前記右目用画像に対応する右目用映像信号とに分離する分離部と、前記左目用映像信号及び前記右目用映像信号のそれぞれを構成するデータの順序を、前記ラスタスキャンの方向が前記視差方向と同一となるように前記複数個の分割領域をスキャンしてデータを読み出した場合のデータの順序と同一となるように並べ替える調整部と、を備えることを特徴とする。
【００１３】
また、本発明の三次元内視鏡装置において、前記画像処理プロセッサは、通常動作を行う前、あるいは通常動作の途中で、校正動作を指示する制御部と、校正動作時に前記左目用画像及び前記右目用画像のズレ量を検出するズレ検出部と、校正動作時に前記左目用画像及び前記右目用画像の補正量を算出する補正量算出部と、前記左目用画像及び前記右目用画像の補正量に応じて前記映像信号に補正を行う補正部と、を備えることを特徴とする。
【００１４】
また、本発明の三次元内視鏡装置において、前記ズレ検出部は、明るさ、ホワイトバランス、大きさ、回転、平行移動の少なくとも1つ以上のズレの種類ごとのズレ量を検出し、前記補正量算出部は、前記ズレの種類ごとのズレ量に対応した補正量を算出することを特徴とする。
【発明の効果】
【００１５】
本発明によれば、MOS型センサが、第1の領域と第2の領域から映像信号を構成するデータを読み出す際、左目用画像と右目用画像のそれぞれ対応する位置の分割領域を交互にスキャンしてデータを読み出すことによって、MOS型センサのローリングシャッタの特性による左右の画像のズレを抑制することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態による三次元内視鏡装置の概略構成を示す構成図である。
【図２】本発明の一実施形態による三次元内視鏡装置が備えるCMOSセンサの受光面を示す参考図である。
【図３】本発明の一実施形態による三次元内視鏡装置が備えるCMOSセンサが受光面をスキャンして各画素から映像信号を構成するデータを読み出す様子を示す参考図である。
【図４】本発明の一実施形態による三次元内視鏡装置が備える画像処理プロセッサの構成を示すブロック図である。
【図５】本発明の一実施形態による三次元内視鏡装置が備える画像処理プロセッサ内の映像信号分離部と映像信号調整部が行う処理の様子を示す参考図である。
【図６】本発明の一実施形態による三次元内視鏡装置が備えるCMOSセンサが受光面をスキャンして各画素から映像信号を構成するデータを読み出す様子を示す参考図である。
【図７】撮像素子に左右の画像を結像させる様子を示す参考図である。
【図８】MOS型センサのローリングシャッタの特性による蓄積時刻の差を説明するための参考図である。
【発明を実施するための形態】
【００１７】
以下、図面を参照し、本発明の実施形態を説明する。図１は、本発明の一実施形態による三次元内視鏡装置の概略構成を示している。図１を参照し、三次元内視鏡装置の概略を述べる。
【００１８】
三次元内視鏡装置は、左目用光学系101、右目用光学系102、CMOSセンサ110（MOS型センサ）を備えた内視鏡スコープ201と、画像処理プロセッサ202と、モニタである画像表示装置203とからなる。左目用光学系101、右目用光学系102、CMOSセンサ110は内視鏡スコープ201の先端に配置されている。
【００１９】
左目用光学系101と右目用光学系102は、左目用画像と右目用画像のそれぞれに対応する光を結像する2系統の光学系である。左目用光学系101と右目用光学系102は、ハイビジョン画像に好適な、例えばアスペクト比が16:9の画角を有している。また、左目用光学系101と右目用光学系102は、三次元表示に適切な視差を左目用画像と右目用画像に与えられる形態で配置されている。左目用光学系101と右目用光学系102を通った2系統の光は、CMOSセンサ110の受光面の上下に分かれて左目用画像と右目用画像として結像される。
【００２０】
CMOSセンサ110は、受光面に結像された左目用画像と右目用画像に基づく映像信号を生成する。画像処理プロセッサ202は、CMOSセンサ110から出力された映像信号に画像処理を行う。画像表示装置203は、画像処理プロセッサ202によって処理された映像信号に基づいて、左目用画像と右目用画像を含む画像を表示する。
【００２１】
ここで表現した左右及び上下の関係について、図2を参照して補足する。図2は、CMOSセンサ110の受光面を示している。CMOSセンサ110の受光面には、結像された光に基づくデータを生成する画素が複数個、行列状に配置されている。CMOSセンサ110の受光面は、左目用光学系101を通った光が左目用画像として結像される領域S1と、右目用光学系102を通った光が右目用画像として結像される領域S2とを備える。左目用画像と右目用画像に視差を与えている方向（視差方向）が左右方向（図2の矢印D1の方向）であり、CMOSセンサ110の受光面に2つに分かれて結像される左目用画像と右目用画像のそれぞれの中心を結ぶ直線の方向が上下方向（図2の矢印D2の方向）である。この2つの方向は直交する関係となっている。
【００２２】
図3は、CMOSセンサ110が、受光面をラスタスキャンによりスキャンして、受光面に行列状に配置された各画素から、映像信号を構成するデータを読み出す様子を示している。CMOSセンサ110が受光面をスキャンする方向（図3の矢印D3の方向）は視差方向と直交している。領域S1と領域S2は複数の分割領域に分割されている。領域S1は、行列状に配列された画素の列の単位で分割された分割領域S1-1、分割領域S1-2、分割領域S1-3、・・・、分割領域S1-nを備える。領域S2は、行列状に配列された画素の列の単位で分割された分割領域S2-1、分割領域S2-2、分割領域S2-3、・・・、分割領域S2-nを備える。領域S1内の各分割領域は、領域S2内の同一列の各分割領域と対応付けられている。例えば、分割領域S1-1と分割領域S2-1が対応しており、分割領域S1-nと分割領域S2-nが対応している。
【００２３】
CMOSセンサ110は、矢印D3の方向に受光面をスキャンして、各分割領域の各画素から映像信号を構成するデータを読み出す。これによって、領域S1内の各分割領域と領域S2内の各分割領域とが交互にスキャンされる。より具体的には、分割領域S2-1、分割領域S1-1、分割領域S2-2、分割領域S1-2、分割領域S2-3、分割領域S1-3、・・・、分割領域S2-n、分割領域S1-nという順序（順番）で各分割領域がスキャンされる。このように、領域S1と領域S2は、列単位で分割された分割領域をスキャン単位として交互に同一方向にスキャンされる。
【００２４】
これにより、左目用画像と右目用画像の互いに対応する位置（左目用画像と右目用画像において画像内の位置が同一となる位置）で、光情報が電気情報として蓄積される時刻（蓄積の開始時刻又は終了時刻）の差が、1ラインのスキャン時間の半分という微小時間となる。例えば、分割領域S1-1の最も上側の画素において光情報が電気情報として蓄積される時刻と、対応する分割領域S2-1の最も上側の画素において光情報が電気情報として蓄積される時刻との差が1ラインのスキャン時間（分割領域S1-1と分割領域S2-1をそれぞれスキャンする時間の合計）の半分である。CMOSセンサ110は、左目用画像のデータと右目用画像のデータとが交互に混合された映像信号を画像処理プロセッサ202に出力する。
【００２５】
図４は、画像処理プロセッサ202の詳細な構成を示している。画像処理プロセッサ202は、映像信号分離部120と、映像信号調整部121と、ズレ検出部130と、補正量算出部140と、補正部150と、画像処理部160と、制御部180とからなる。
【００２６】
映像信号分離部120は、左目用画像のデータと右目用画像のデータとが交互に混合されている映像信号を、左目用画像のデータで構成される左目用映像信号と、右目用画像のデータで構成される右目用映像信号とに分離する。これにより、以降の処理を左目用と右目用の各画像の単位で行うことが可能となる。
【００２７】
映像信号調整部121は、映像信号分離部120から出力された左目用映像信号と右目用映像信号のそれぞれを構成するデータの順序を調整する。CMOSセンサ110の受光面を垂直方向にスキャンしたことによって、各画素のデータの順番は特殊な状態になっている。このため、映像信号調整部121は、ラスタスキャンの方向が視差方向と同一となるように領域S1をスキャンしたときの各画素のデータの順序と同一となるように、左目用映像信号を構成するデータの順序を調整する。また、映像信号調整部121は、ラスタスキャンの方向が視差方向と同一となるように領域S2をスキャンしたときの各画素のデータの順序と同一となるように、右目用映像信号を構成するデータの順序を調整する。これにより、左目用映像信号と右目用映像信号のそれぞれを構成するデータの順序は、最後に画像表示装置203に入力すべきデータの順序と同じ順序となる。
【００２８】
なお、データの並び換えにはメモリを用いるのが一般的であるが、左目用映像信号と右目用映像信号を左目用のメモリ、右目用のメモリに分割して書き込み、左右のメモリ単位でデータを管理すれば、別途分離という行程を用意する必要はない。
【００２９】
図5は、映像信号分離部120と映像信号調整部121が行う処理の様子を示している。説明を簡単にするため、CMOSセンサ110の受光面において、左目用画像が結像される領域S1の画素と、右目用画像が結像される領域S2の画素は2行3列に配置されているものとする。また、図5に示す12個の画素を区別するため、各画素には1から12までの番号が付与されているものとする。
【００３０】
CMOSセンサ110の受光面が垂直方向（図5の矢印D4の方向）にスキャンされるため、CMOSセンサ110から出力される映像信号E1における各画素のデータは、図5に示す順序で並んでいる。映像信号分離部120は、映像信号E1を左目用映像信号EL1と右目用映像信号ER1とに分離する。映像信号調整部121は、左目用映像信号EL1を構成する各画素のデータの順序を調整し、左目用映像信号EL2を生成する。また、映像信号調整部121は、右目用映像信号ER1を構成する各画素のデータの順序を調整し、右目用映像信号ER2を生成する。左目用映像信号EL2における各画素のデータの順序は、ラスタスキャンの方向が視差方向と同一となるように領域S1をスキャンしたときの各画素のデータの順序と同一である。また、右目用映像信号ER2における各画素のデータの順序は、ラスタスキャンの方向が視差方向と同一となるように領域S2をスキャンしたときの各画素のデータの順序と同一である。
【００３１】
ズレ検出部130、補正量算出部140は、制御部180が出力する制御信号に基づいて動作する。制御部180が出力する制御信号は、動作モードを指示する信号である。本実施形態の三次元内視鏡装置は、動作モードとして通常モードと校正モードを備える。公正モードは、通常動作を行う前、あるいは通常動作の途中で指示される。ズレ検出部130と補正量算出部140は、制御信号が校正モードを指示しているときに、左目用映像信号と右目用映像信号とに基づいて、左目用画像と右目用画像のズレを検出し、補正量を算出する。算出した補正量は校正終了時に保持し、通常モードで利用する。通常モードのときには、ズレ検出部130は動作を停止するか、動作しても、算出したズレ量を無効とし、ズレ量を更新しない。また、通常モードのときには、補正量算出部140は、後述する歪み補正を除いて動作を停止するか、動作しても、算出した補正量を無効とし、補正量を更新しない。なお、ズレ検出部130、補正量算出部140以外については制御信号に依存せずに単一の動作を行う。
【００３２】
ズレ検出部130は、明るさ、ホワイトバランス、大きさ、回転、平行移動の各ズレを個々に検出する5つの種別ズレ検出部131を備える。図4では1つの種別ズレ検出部131のみが示され、他の4つの種別ズレ検出部131は省略されている。以下に校正モードにおける種別ズレ検出部131の動作を詳述する。
【００３３】
ズレを検出するために、校正モードでは三次元内視鏡装置は、チャート画像が描かれた校正冶具を撮像する。校正冶具に描かれるチャート画像としては様々なものが考えられるが、本実施形態では白地の中央部に黒く塗り潰された正方形が描かれている場合を例に説明する。
【００３４】
明るさ用の種別ズレ検出部131は、左目用画像と右目用画像の輝度平均などから、例えば左目用画像に対する右目用画像の明るさのズレ量を検出する。平均を求める範囲は画像全体でも、予め規定した範囲だけでもよい。また、明るさのズレ量は輝度の比とするが、輝度の差であってもよい。
【００３５】
ホワイトバランスのズレ量に関しては、バランスのとれた状態に対する左目用画像と右目用画像のそれぞれのズレ量をホワイトバランス用の種別ズレ検出部131が検出する。
【００３６】
大きさ、回転、平行移動のズレ量に関しては、事前に左目用映像信号と右目用映像信号とに所定の歪み補正が実施されてから、これらのズレ量が検出される。内視鏡スコープのレンズ特性や、術者に好まれる画像を再現するために、内視鏡画像には所定の歪みが生じている。この歪みを除去することで、大きさ、回転、平行移動のズレ量を正確に検出できるようになる。
【００３７】
大きさ用、回転用、平行移動用の種別ズレ検出部131は、左目用画像と右目用画像を解析してズレ量を検出する。歪みが除去され、正方形が正方形として認識できる状態において、黒と白との境界位置を検出していくことで、正方形の4つの頂点の座標は容易に得られる。
【００３８】
大きさ用の種別ズレ検出部131は、各画像の頂点間の距離の比を算出して、例えば左目用画像に対する右目用画像の頂点間の距離の比をズレ量として検出する。本実施形態では、各画像の頂点間の距離が各画像の大きさに相当する。校正冶具に描かれているチャート画像とレンズとの距離は一定であり、本来設定されている所定の視差量は大きさに影響を与えないため、単純に大きさの比を得ればよい。例えば、左目用画像から検出される4つの頂点のうち任意の2つの頂点間の距離と、右目用画像から検出される4つの頂点のうち、左目用画像で距離を算出した2つの頂点に対応する2つの頂点間の距離とが算出され、それらの距離の比が算出される。
【００３９】
回転用の種別ズレ検出部131は、各画像の頂点から得られる傾き角を算出して、例えば左目用画像に対する右目用画像の傾き角の差をズレ量として検出する。校正冶具に描かれているチャート画像とレンズとの距離は一定であり、本来設定されている所定の視差量は傾き角に影響を与えないため、単純に傾き角の差を得ればよい。例えば、左目用画像から検出される4つの頂点のうち任意の2つの頂点を通る直線の傾き角と、右目用画像から検出される4つの頂点のうち、左目用画像で傾き角を算出した直線が通る2つの頂点に対応する2つの頂点を通る直線の傾き角とが算出され、それらの傾き角の差が算出される。
【００４０】
平行移動用の種別ズレ検出部131は、各画像の重心位置の差を算出して、例えば左目用画像に対する右目用画像の位置の差をズレ量として検出する。単純に位置の差とするのでなく、本来設定されている所定の視差量を考慮してズレ量を得る。
【００４１】
ホワイトバランス以外のズレに関して、左目用画像を基準にズレ量を検出するように記載したが、逆であってもよい。また、上記に述べたズレ量の検出方法は一例に過ぎず、その他にも様々な検出方法が考えられる。
【００４２】
補正量算出部140は、基準調整部142と、明るさ、ホワイトバランス、大きさ、回転、平行移動の各ズレの個々の補正量を算出する5つの種別補正量算出部143とを備える。図4では1つの種別補正量算出部143のみが示され、他の4つの種別補正量算出部143は省略されている。以下に校正モードにおける種別補正量算出部143の動作を詳述する。
【００４３】
ホワイトバランス補正には絶対的な基準があるが、明るさ、大きさ、回転、平行移動に関しては、絶対的な基準が存在していない。しかも、左目用画像と右目用画像を比較して両画像間のズレ量を知ることはできるが、左目用画像と右目用画像のどちらがズレてしまったのか、あるいは両方ともズレてしまったのかを知ることは困難である。
【００４４】
そこで、明るさ、大きさ、傾き角、位置の基準とする画像をユーザが左目用画像と右目用画像とから選択できるようにするため、基準調整部142が設けられている。基準調整部142は、左目用画像と右目用画像のうち、明るさ、大きさ、傾き角、位置の基準としてユーザが指示する画像を選択する。
【００４５】
ホワイトバランス用の種別補正量算出部143は、ホワイトバランスの絶対的なズレ量に基づいて、左目用画像と右目用画像の補正量を算出する。具体的には、ホワイトバランスが調整されている状態にするために左目用映像信号及び右目用映像信号に乗ずる係数を算出する。
【００４６】
明るさ用、大きさ用、回転用、平行移動用のそれぞれの種別補正量算出部143は、基準調整部142が左目用画像と右目用画像とから選択した一方の画像を基準としたときの他方の画像の補正量を算出する。以下に、補正量算出部140の動作として例示したように左目用画像を基準として右目用画像の明るさ、大きさ、傾き角、位置の相対的なズレ量を検出する場合の補正量の算出方法と補正方法について説明する。
【００４７】
まず、明るさに関する補正量の算出方法と補正方法について説明する。補正量算出部140によって、左目用画像を基準とした右目用画像の明るさの比が検出されるため、基準調整部142が左目用画像を基準として選択した場合は、明るさの比の逆数が補正量となる。種別補正量算出部143は、この補正量を右目用映像信号の各画素値に乗じて右目用画像を左目用画像に合わせ込む。また、基準調整部142が右目用画像を基準として選択した場合は、明るさの比が補正量となり、種別補正量算出部143は、この補正量を左目用映像信号の各画素値に乗じて左目用画像を右目用画像に合わせ込む。
【００４８】
次に、大きさに関する補正量の算出方法と補正方法について説明する。補正量算出部140によって、左目用画像を基準とした右目用画像の大きさの比が検出されるため、基準調整部142が左目用画像を基準として選択した場合は、大きさの比の逆数が補正量となる。種別補正量算出部143は、この補正量に基づいて右目用映像信号を拡大処理して右目用画像を左目用画像に合わせ込む。また、基準調整部142が右目用画像を基準として選択した場合は、大きさの比が補正量となり、種別補正量算出部143は、この補正量に基づいて左目用映像信号を拡大処理して左目用画像を右目用画像に合わせ込む。
【００４９】
次に、傾き角に関する補正量の算出方法と補正方法について説明する。補正量算出部140によって、左目用画像を基準とした右目用画像の傾き角の差が検出されるため、基準調整部142が左目用画像を基準として選択した場合は、傾き角の差を-1倍したものが補正量となる。種別補正量算出部143は、この補正量に基づいて右目用映像信号を回転処理して右目用画像を左目用画像に合わせ込む。基準調整部142が右目用画像を基準として選択した場合は、傾き角の差が補正量となり、種別補正量算出部143は、この補正量に基づいて左目用映像信号を回転処理して左目用画像を右目用画像に合わせ込む。
【００５０】
次に、位置に関する補正量の算出方法と補正方法について説明する。補正量算出部140によって、左目用画像を基準とした右目用画像の位置の差が検出されるため、基準調整部142が左目用画像を基準として選択した場合は、位置の差を-1倍したものが補正量となる。種別補正量算出部143は、この補正量に基づいて右目用映像信号を平行移動処理して右目用画像を左目用画像に合わせ込む。また、基準調整部142が右目用画像を基準として選択した場合は、位置の差が補正量となり、種別補正量算出部143は、この補正量に基づいて左目用映像信号を平行移動処理して左目用画像を右目用画像に合わせ込む。
【００５１】
補正量算出部140は、算出した補正量と、事前に歪みを除去するために所定の歪み補正を施した左目用映像信号及び右目用映像信号とを出力する。補正部150は、補正量算出部140によって算出された補正量に基づいて左目用映像信号と右目映像信号とを補正する。
【００５２】
補正部150は、明るさに関してはゲイン乗算を行い、ホワイトバランスに関してはホワイトバランスマトリクス乗算を行い、大きさに関してはズーム処理を行い、回転に関しては回転処理を行い、平行移動に関しては平行移動処理（位置変換）を行う。なお、補正部150が処理する左目用映像信号と右目用映像信号は、歪み補正により画像中の歪みが除去された映像信号であるため、補正部150は、補正を施した後に、左目用映像信号と右目用映像信号に対して、本来有していた歪みを復元する処理を行う。この復元処理は、歪みを除去したときの逆変換となるように調整されている。
【００５３】
歪み以外のズレが補正された左目用映像信号と右目用映像信号は、画像処理部160で所定の画像処理（画素数変換や、エッジ補正、色調整等の表示のための画像処理）が施され、モニタである画像表示装置203に出力される。画像表示装置203は、画像処理部160によって画像処理が施された左目用映像信号と右目用映像信号に基づいて、右目用画像と左目用画像を含む画像を表示する。
【００５４】
以上の構成の中で、ズレ検出部130、補正量算出部140、補正部150、制御部180、及びこれらに内包される部位は、経年や使用条件によって生ずるズレを検出して補正するためのものである。こうしたズレを無視できる場合には、これらの部位は不要である。
【００５５】
また、これらの部位を省いた装置では、映像信号分離部120と映像信号調整部121は必ずしも画像処理部160の前段に配置する必要はなく、画像処理部160が左目用映像信号と右目用映像信号を混合した状態で所定の画像処理を施すならば、画像処理部160の後段に配置してもよい。
【００５６】
次に、本実施形態の変形例を説明する。上記では、CMOSセンサの配置を工夫することで、左目用画像と右目用画像の互いに対応する位置で、光情報が電気情報として蓄積される時刻の差が小さくなるようにしたが、CMOSセンサのランダムアクセスが可能な特徴を活かしてもよい。この場合、左目用画像と右目用画像の互いに対応する位置にアクセスするタイミングが近くなるようにアドレスを発生し、発生されたアドレスに従ってCMOSセンサは受光面をスキャンする。
【００５７】
例えば、CMOSセンサ110が、図6に示すように受光面をスキャンしてもよい。図6は、CMOSセンサ110が、受光面をラスタスキャンによりスキャンして、受光面に行列状に配置された各画素から、映像信号を構成するデータを読み出す様子を示している。CMOSセンサ110が受光面をスキャンする方向（図6の矢印D5の方向）は視差方向と平行である。領域S3と領域S4は複数の分割領域に分割されている。領域S3は、行列状に配列された画素の行の単位で分割された分割領域S3-1、分割領域S3-2、分割領域S3-3、・・・、分割領域S3-nを備える。領域S4は、行列状に配列された画素の行の単位で分割された分割領域S4-1、分割領域S4-2、分割領域S4-3、・・・、分割領域S4-nを備える。領域S3内の各分割領域は、領域S4内の対応する行の各分割領域と対応付けられている。例えば、分割領域S3-1と分割領域S4-1が対応しており、分割領域S3-nと分割領域S4-nが対応している。
【００５８】
CMOSセンサ110は、矢印D5の方向に受光面をスキャンして、各分割領域の各画素から映像信号を構成するデータを読み出す。これによって、領域S3内の各分割領域と領域S4内の各分割領域とが交互にスキャンされる。より具体的には、分割領域S3-1、分割領域S4-1、分割領域S3-2、分割領域S4-2、分割領域S3-3、分割領域S4-3、・・・、分割領域S3-n、分割領域S4-nという順序（順番）で各分割領域がスキャンされる。このように、領域S3と領域S4は、行単位で分割された分割領域をスキャン単位として交互に同一方向にスキャンされる。
【００５９】
これにより、左目用画像と右目用画像の互いに対応する位置（左目用画像と右目用画像において画像内の位置が同一となる位置）で、光情報が電気情報として蓄積される時刻（蓄積の開始時刻又は終了時刻）の差が1ラインのスキャン時間と同じ時間となる。例えば、分割領域S3-1の最も左側の画素において光情報が電気情報として蓄積される時刻と、対応する分割領域S4-1の最も左側の画素において光情報が電気情報として蓄積される時刻との差が1ラインのスキャン時間（分割領域S1-1、分割領域S2-1をそれぞれスキャンする時間）と同じ時間である。
【００６０】
上述したように、本実施形態によれば、CMOSセンサ110が、左目用画像が結像される第1の領域と、右目用画像が結像される第2の領域とから映像信号を構成するデータを読み出す際、左目用画像と右目用画像のそれぞれ対応する位置の分割領域を交互にスキャンしてデータを読み出すことによって、左目用画像と右目用画像の互いに対応する位置において光情報が電気情報として蓄積される時刻（蓄積の開始時刻又は終了時刻）の差を小さくすることが可能となる。このため、ローリングシャッタの特性による左右の画像のズレを抑制することができる。よって、ハイビジョン画像として表示するのに適した映像信号が得られ、動いている被写体を撮影したとしても左右の画像の時差の影響を抑制することができる。
【００６１】
また、CMOSセンサ110が、ラスタスキャンにより複数個の分割領域をスキャンしてデータを読み出す際、ラスタスキャンの方向が視差方向と直交しているため、左目用画像と右目用画像の互いに対応する位置において光情報が電気情報として蓄積される時刻（蓄積の開始時刻又は終了時刻）の差が1ライン分のスキャン時間の半分となる。このため、動いている被写体を撮影したとしても左右の画像の時差の影響を抑制することができる。
【００６２】
また、映像信号分離部120が、CMOSセンサ110から出力された映像信号を左目用映像信号と右目用映像信号とに分離し、映像信号調整部121が、左目用映像信号及び右目用映像信号のそれぞれを構成するデータの順序を、ラスタスキャンの方向が視差方向と同一となるように分割領域をスキャンした場合のデータの順序と同一となるように並べ替えることによって、CMOSセンサ110から出力された映像信号におけるデータの並びが特殊な状態になっていても、通常の画像表示装置の入力フォーマットに対応した左目用映像信号及び右目用映像信号を生成することができる。
【００６３】
また、ズレ検出部130が、校正動作時に左目用画像及び右目用画像のズレ量を検出し、補正量算出部140が、校正動作時に左目用画像及び右目用画像の補正量を算出し、補正部150が、左目用画像及び右目用画像の補正量に応じて映像信号に補正を行うことによって、経年や使用条件によって生ずるズレを補正することができる。よって、常に適正な視差を有する左目用画像及び右目用画像を生成し、立体視を実現することができる。
【００６４】
また、ズレ検出部130が、明るさ、ホワイトバランス、大きさ、回転、平行移動のズレの種類ごとのズレ量を検出する種別ズレ検出部131を備え、補正量算出部140が、ズレの種類ごとのズレ量に対応した補正量を算出する種別補正量算出部143を備えることによって、様々なズレが複合的に生じている場合でも、ズレの種類ごとに独立したズレ量を検出し、各種類のズレを補正することができる。
【００６５】
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【符号の説明】
【００６６】
101・・・左目用光学系、102・・・右目用光学系、110・・・ CMOSセンサ、120・・・映像信号分離部、121・・・映像信号調整部、130・・・ズレ検出部、131・・・種別ズレ検出部、140・・・補正量算出部、142・・・基準調整部、143・・・種別補正量算出部、150・・・補正部、160・・・画像処理部、180・・・制御部、201・・・内視鏡スコープ、202・・・画像処理プロセッサ、203・・・画像表示装置
【技術分野】
【０００１】
本発明は、1枚のMOS型センサに左目用・右目用の画像を結像させる三次元内視鏡装置に関する。
【背景技術】
【０００２】
1枚のMOS型センサに、視差を有する左目用・右目用の画像を結像させることで立体視を実現する三次元内視鏡装置がある。内視鏡スコープの搭載スペースの関係から、複数の撮像素子を用いる方式よりも、受光面の形状が正方形に近い1枚の撮像素子に左目用・右目用の画像を結像させる方式が好ましい。
【０００３】
左目用画像と右目用画像を１枚の撮像素子に結像させる場合、撮像素子の受光面を左右に分割した領域に結像させるのが一般的である。しかし、ハイビジョン画像を得る場合、16:9というように横に長い画像を生成する必要があるため、正方形に近い撮像素子の受光面を左右に分割した領域に結像させる方式では、後で大きな倍率で水平方向に画像を拡大しなければならないため、画質劣化の要因となる。これを解決する手段として特許文献1では、図7に示すように、撮像素子の受光面を上下に分割した領域S11，S12に左目用画像と右目用画像とを結像させることが提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】再公表ＷＯ２００４／１０６８５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献1に記載された技術は、横に長いハイビジョン画像を得るために左右の画像を1枚の撮像素子に結像させる際に有効な技術であるが、特許文献1では撮像素子の種類は特定されていないため、撮像素子をMOS型センサとしたときの課題には言及されていない。メカシャッタを用いず、また、遮光期間を設けずにMOS型センサを使用すると、ローリングシャッタの特性から、結像された画像の位置に応じて、光情報が電気情報として画素に蓄積される時刻が異なる。
【０００６】
例えば、図8に示すように、領域S11を複数に分割した各領域では、領域S11-1、領域S11-2、領域S11-3、・・・、領域S11-nというように上側から下側に向かって順に光情報が画素に蓄積される。領域S11において領域S11-nに光情報が蓄積された後、領域S12を複数に分割した各領域では、領域S12-1、領域S12-2、領域S12-3、・・・、領域S12-nというように上側から下側に向かって順に光情報が画素に蓄積される。
【０００７】
そのため、左目用画像と右目用画像とで、互いに対応する位置（例えば領域S11-1と領域S12-1）の画像では1フレーム周期の半分の時差が生じ、動いている被写体を撮影した場合に左右の画像で位置がずれる。三次元内視鏡装置は、視差を利用して被写体を立体的に見せる装置であるため、時差による位置ズレは、適切に設定されている視差を狂わせてしまい、立体表示ができなくなる。
【０００８】
また、三次元内視鏡では、適切な視差を得るために撮像素子の配置や光学系の構成が高精度に決定されているが、オートクレイブなどの利用によって内視鏡スコープが変形することや、内視鏡使用時にレンズに水滴が付着することなどによって、物理的にズレが生ずるという問題がある。このズレは事前に予測困難なものであるため、内視鏡スコープの使用前あるいは必要であれば内視鏡スコープの使用中にズレを検出し、そのズレを電子的に補正する機能が求められている。このような経年や使用条件によって生ずるズレに、MOS型センサのローリングシャッタの特性によるズレが加わると、補正対象としたい前者のズレだけを検出できなくなる。
【０００９】
本発明は、上述した課題に鑑みてなされたものであって、MOS型センサのローリングシャッタの特性による左右の画像のズレを抑制することができる三次元内視鏡装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、上記の課題を解決するためになされたもので、視差を有する左目用画像と右目用画像とを取得する三次元内視鏡装置において、前記左目用画像と前記右目用画像のそれぞれに対応する光を結像する2系統の光学系を備えると共に、前記2系統の光学系を通して得られる2系統の光が単一の受光面に分かれて結像され、結像された2つの像に基づく映像信号を生成するMOS型センサを備える内視鏡スコープと、前記映像信号に画像処理を行う画像処理プロセッサと、前記画像処理プロセッサによって処理された前記映像信号に基づいて、前記左目用画像と前記右目用画像を含む画像を表示する画像表示装置と、を備え、前記MOS型センサの前記受光面に結像された前記2つの像のそれぞれの中心を結ぶ直線が視差方向と直交し、前記MOS型センサの前記受光面において、前記2つの像の一方が結像される第1の領域及び前記2つの像の他方が結像される第2の領域は複数個の分割領域に分割され、前記MOS型センサは、前記第1の領域と前記第2の領域から前記映像信号を構成するデータを読み出す際、前記左目用画像と前記右目用画像のそれぞれ対応する位置の前記分割領域を交互にスキャンしてデータを読み出すことを特徴とする三次元内視鏡装置である。
【００１１】
また、本発明の三次元内視鏡装置において、前記MOS型センサは、ラスタスキャンにより前記複数個の分割領域をスキャンしてデータを読み出し、前記ラスタスキャンの方向が前記視差方向と直交することを特徴とする。
【００１２】
また、本発明の三次元内視鏡装置において、前記画像処理プロセッサは、前記画像処理を行う画像処理部と、前記映像信号を、前記左目用画像に対応する左目用映像信号と、前記右目用画像に対応する右目用映像信号とに分離する分離部と、前記左目用映像信号及び前記右目用映像信号のそれぞれを構成するデータの順序を、前記ラスタスキャンの方向が前記視差方向と同一となるように前記複数個の分割領域をスキャンしてデータを読み出した場合のデータの順序と同一となるように並べ替える調整部と、を備えることを特徴とする。
【００１３】
また、本発明の三次元内視鏡装置において、前記画像処理プロセッサは、通常動作を行う前、あるいは通常動作の途中で、校正動作を指示する制御部と、校正動作時に前記左目用画像及び前記右目用画像のズレ量を検出するズレ検出部と、校正動作時に前記左目用画像及び前記右目用画像の補正量を算出する補正量算出部と、前記左目用画像及び前記右目用画像の補正量に応じて前記映像信号に補正を行う補正部と、を備えることを特徴とする。
【００１４】
また、本発明の三次元内視鏡装置において、前記ズレ検出部は、明るさ、ホワイトバランス、大きさ、回転、平行移動の少なくとも1つ以上のズレの種類ごとのズレ量を検出し、前記補正量算出部は、前記ズレの種類ごとのズレ量に対応した補正量を算出することを特徴とする。
【発明の効果】
【００１５】
本発明によれば、MOS型センサが、第1の領域と第2の領域から映像信号を構成するデータを読み出す際、左目用画像と右目用画像のそれぞれ対応する位置の分割領域を交互にスキャンしてデータを読み出すことによって、MOS型センサのローリングシャッタの特性による左右の画像のズレを抑制することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態による三次元内視鏡装置の概略構成を示す構成図である。
【図２】本発明の一実施形態による三次元内視鏡装置が備えるCMOSセンサの受光面を示す参考図である。
【図３】本発明の一実施形態による三次元内視鏡装置が備えるCMOSセンサが受光面をスキャンして各画素から映像信号を構成するデータを読み出す様子を示す参考図である。
【図４】本発明の一実施形態による三次元内視鏡装置が備える画像処理プロセッサの構成を示すブロック図である。
【図５】本発明の一実施形態による三次元内視鏡装置が備える画像処理プロセッサ内の映像信号分離部と映像信号調整部が行う処理の様子を示す参考図である。
【図６】本発明の一実施形態による三次元内視鏡装置が備えるCMOSセンサが受光面をスキャンして各画素から映像信号を構成するデータを読み出す様子を示す参考図である。
【図７】撮像素子に左右の画像を結像させる様子を示す参考図である。
【図８】MOS型センサのローリングシャッタの特性による蓄積時刻の差を説明するための参考図である。
【発明を実施するための形態】
【００１７】
以下、図面を参照し、本発明の実施形態を説明する。図１は、本発明の一実施形態による三次元内視鏡装置の概略構成を示している。図１を参照し、三次元内視鏡装置の概略を述べる。
【００１８】
三次元内視鏡装置は、左目用光学系101、右目用光学系102、CMOSセンサ110（MOS型センサ）を備えた内視鏡スコープ201と、画像処理プロセッサ202と、モニタである画像表示装置203とからなる。左目用光学系101、右目用光学系102、CMOSセンサ110は内視鏡スコープ201の先端に配置されている。
【００１９】
左目用光学系101と右目用光学系102は、左目用画像と右目用画像のそれぞれに対応する光を結像する2系統の光学系である。左目用光学系101と右目用光学系102は、ハイビジョン画像に好適な、例えばアスペクト比が16:9の画角を有している。また、左目用光学系101と右目用光学系102は、三次元表示に適切な視差を左目用画像と右目用画像に与えられる形態で配置されている。左目用光学系101と右目用光学系102を通った2系統の光は、CMOSセンサ110の受光面の上下に分かれて左目用画像と右目用画像として結像される。
【００２０】
CMOSセンサ110は、受光面に結像された左目用画像と右目用画像に基づく映像信号を生成する。画像処理プロセッサ202は、CMOSセンサ110から出力された映像信号に画像処理を行う。画像表示装置203は、画像処理プロセッサ202によって処理された映像信号に基づいて、左目用画像と右目用画像を含む画像を表示する。
【００２１】
ここで表現した左右及び上下の関係について、図2を参照して補足する。図2は、CMOSセンサ110の受光面を示している。CMOSセンサ110の受光面には、結像された光に基づくデータを生成する画素が複数個、行列状に配置されている。CMOSセンサ110の受光面は、左目用光学系101を通った光が左目用画像として結像される領域S1と、右目用光学系102を通った光が右目用画像として結像される領域S2とを備える。左目用画像と右目用画像に視差を与えている方向（視差方向）が左右方向（図2の矢印D1の方向）であり、CMOSセンサ110の受光面に2つに分かれて結像される左目用画像と右目用画像のそれぞれの中心を結ぶ直線の方向が上下方向（図2の矢印D2の方向）である。この2つの方向は直交する関係となっている。
【００２２】
図3は、CMOSセンサ110が、受光面をラスタスキャンによりスキャンして、受光面に行列状に配置された各画素から、映像信号を構成するデータを読み出す様子を示している。CMOSセンサ110が受光面をスキャンする方向（図3の矢印D3の方向）は視差方向と直交している。領域S1と領域S2は複数の分割領域に分割されている。領域S1は、行列状に配列された画素の列の単位で分割された分割領域S1-1、分割領域S1-2、分割領域S1-3、・・・、分割領域S1-nを備える。領域S2は、行列状に配列された画素の列の単位で分割された分割領域S2-1、分割領域S2-2、分割領域S2-3、・・・、分割領域S2-nを備える。領域S1内の各分割領域は、領域S2内の同一列の各分割領域と対応付けられている。例えば、分割領域S1-1と分割領域S2-1が対応しており、分割領域S1-nと分割領域S2-nが対応している。
【００２３】
CMOSセンサ110は、矢印D3の方向に受光面をスキャンして、各分割領域の各画素から映像信号を構成するデータを読み出す。これによって、領域S1内の各分割領域と領域S2内の各分割領域とが交互にスキャンされる。より具体的には、分割領域S2-1、分割領域S1-1、分割領域S2-2、分割領域S1-2、分割領域S2-3、分割領域S1-3、・・・、分割領域S2-n、分割領域S1-nという順序（順番）で各分割領域がスキャンされる。このように、領域S1と領域S2は、列単位で分割された分割領域をスキャン単位として交互に同一方向にスキャンされる。
【００２４】
これにより、左目用画像と右目用画像の互いに対応する位置（左目用画像と右目用画像において画像内の位置が同一となる位置）で、光情報が電気情報として蓄積される時刻（蓄積の開始時刻又は終了時刻）の差が、1ラインのスキャン時間の半分という微小時間となる。例えば、分割領域S1-1の最も上側の画素において光情報が電気情報として蓄積される時刻と、対応する分割領域S2-1の最も上側の画素において光情報が電気情報として蓄積される時刻との差が1ラインのスキャン時間（分割領域S1-1と分割領域S2-1をそれぞれスキャンする時間の合計）の半分である。CMOSセンサ110は、左目用画像のデータと右目用画像のデータとが交互に混合された映像信号を画像処理プロセッサ202に出力する。
【００２５】
図４は、画像処理プロセッサ202の詳細な構成を示している。画像処理プロセッサ202は、映像信号分離部120と、映像信号調整部121と、ズレ検出部130と、補正量算出部140と、補正部150と、画像処理部160と、制御部180とからなる。
【００２６】
映像信号分離部120は、左目用画像のデータと右目用画像のデータとが交互に混合されている映像信号を、左目用画像のデータで構成される左目用映像信号と、右目用画像のデータで構成される右目用映像信号とに分離する。これにより、以降の処理を左目用と右目用の各画像の単位で行うことが可能となる。
【００２７】
映像信号調整部121は、映像信号分離部120から出力された左目用映像信号と右目用映像信号のそれぞれを構成するデータの順序を調整する。CMOSセンサ110の受光面を垂直方向にスキャンしたことによって、各画素のデータの順番は特殊な状態になっている。このため、映像信号調整部121は、ラスタスキャンの方向が視差方向と同一となるように領域S1をスキャンしたときの各画素のデータの順序と同一となるように、左目用映像信号を構成するデータの順序を調整する。また、映像信号調整部121は、ラスタスキャンの方向が視差方向と同一となるように領域S2をスキャンしたときの各画素のデータの順序と同一となるように、右目用映像信号を構成するデータの順序を調整する。これにより、左目用映像信号と右目用映像信号のそれぞれを構成するデータの順序は、最後に画像表示装置203に入力すべきデータの順序と同じ順序となる。
【００２８】
なお、データの並び換えにはメモリを用いるのが一般的であるが、左目用映像信号と右目用映像信号を左目用のメモリ、右目用のメモリに分割して書き込み、左右のメモリ単位でデータを管理すれば、別途分離という行程を用意する必要はない。
【００２９】
図5は、映像信号分離部120と映像信号調整部121が行う処理の様子を示している。説明を簡単にするため、CMOSセンサ110の受光面において、左目用画像が結像される領域S1の画素と、右目用画像が結像される領域S2の画素は2行3列に配置されているものとする。また、図5に示す12個の画素を区別するため、各画素には1から12までの番号が付与されているものとする。
【００３０】
CMOSセンサ110の受光面が垂直方向（図5の矢印D4の方向）にスキャンされるため、CMOSセンサ110から出力される映像信号E1における各画素のデータは、図5に示す順序で並んでいる。映像信号分離部120は、映像信号E1を左目用映像信号EL1と右目用映像信号ER1とに分離する。映像信号調整部121は、左目用映像信号EL1を構成する各画素のデータの順序を調整し、左目用映像信号EL2を生成する。また、映像信号調整部121は、右目用映像信号ER1を構成する各画素のデータの順序を調整し、右目用映像信号ER2を生成する。左目用映像信号EL2における各画素のデータの順序は、ラスタスキャンの方向が視差方向と同一となるように領域S1をスキャンしたときの各画素のデータの順序と同一である。また、右目用映像信号ER2における各画素のデータの順序は、ラスタスキャンの方向が視差方向と同一となるように領域S2をスキャンしたときの各画素のデータの順序と同一である。
【００３１】
ズレ検出部130、補正量算出部140は、制御部180が出力する制御信号に基づいて動作する。制御部180が出力する制御信号は、動作モードを指示する信号である。本実施形態の三次元内視鏡装置は、動作モードとして通常モードと校正モードを備える。公正モードは、通常動作を行う前、あるいは通常動作の途中で指示される。ズレ検出部130と補正量算出部140は、制御信号が校正モードを指示しているときに、左目用映像信号と右目用映像信号とに基づいて、左目用画像と右目用画像のズレを検出し、補正量を算出する。算出した補正量は校正終了時に保持し、通常モードで利用する。通常モードのときには、ズレ検出部130は動作を停止するか、動作しても、算出したズレ量を無効とし、ズレ量を更新しない。また、通常モードのときには、補正量算出部140は、後述する歪み補正を除いて動作を停止するか、動作しても、算出した補正量を無効とし、補正量を更新しない。なお、ズレ検出部130、補正量算出部140以外については制御信号に依存せずに単一の動作を行う。
【００３２】
ズレ検出部130は、明るさ、ホワイトバランス、大きさ、回転、平行移動の各ズレを個々に検出する5つの種別ズレ検出部131を備える。図4では1つの種別ズレ検出部131のみが示され、他の4つの種別ズレ検出部131は省略されている。以下に校正モードにおける種別ズレ検出部131の動作を詳述する。
【００３３】
ズレを検出するために、校正モードでは三次元内視鏡装置は、チャート画像が描かれた校正冶具を撮像する。校正冶具に描かれるチャート画像としては様々なものが考えられるが、本実施形態では白地の中央部に黒く塗り潰された正方形が描かれている場合を例に説明する。
【００３４】
明るさ用の種別ズレ検出部131は、左目用画像と右目用画像の輝度平均などから、例えば左目用画像に対する右目用画像の明るさのズレ量を検出する。平均を求める範囲は画像全体でも、予め規定した範囲だけでもよい。また、明るさのズレ量は輝度の比とするが、輝度の差であってもよい。
【００３５】
ホワイトバランスのズレ量に関しては、バランスのとれた状態に対する左目用画像と右目用画像のそれぞれのズレ量をホワイトバランス用の種別ズレ検出部131が検出する。
【００３６】
大きさ、回転、平行移動のズレ量に関しては、事前に左目用映像信号と右目用映像信号とに所定の歪み補正が実施されてから、これらのズレ量が検出される。内視鏡スコープのレンズ特性や、術者に好まれる画像を再現するために、内視鏡画像には所定の歪みが生じている。この歪みを除去することで、大きさ、回転、平行移動のズレ量を正確に検出できるようになる。
【００３７】
大きさ用、回転用、平行移動用の種別ズレ検出部131は、左目用画像と右目用画像を解析してズレ量を検出する。歪みが除去され、正方形が正方形として認識できる状態において、黒と白との境界位置を検出していくことで、正方形の4つの頂点の座標は容易に得られる。
【００３８】
大きさ用の種別ズレ検出部131は、各画像の頂点間の距離の比を算出して、例えば左目用画像に対する右目用画像の頂点間の距離の比をズレ量として検出する。本実施形態では、各画像の頂点間の距離が各画像の大きさに相当する。校正冶具に描かれているチャート画像とレンズとの距離は一定であり、本来設定されている所定の視差量は大きさに影響を与えないため、単純に大きさの比を得ればよい。例えば、左目用画像から検出される4つの頂点のうち任意の2つの頂点間の距離と、右目用画像から検出される4つの頂点のうち、左目用画像で距離を算出した2つの頂点に対応する2つの頂点間の距離とが算出され、それらの距離の比が算出される。
【００３９】
回転用の種別ズレ検出部131は、各画像の頂点から得られる傾き角を算出して、例えば左目用画像に対する右目用画像の傾き角の差をズレ量として検出する。校正冶具に描かれているチャート画像とレンズとの距離は一定であり、本来設定されている所定の視差量は傾き角に影響を与えないため、単純に傾き角の差を得ればよい。例えば、左目用画像から検出される4つの頂点のうち任意の2つの頂点を通る直線の傾き角と、右目用画像から検出される4つの頂点のうち、左目用画像で傾き角を算出した直線が通る2つの頂点に対応する2つの頂点を通る直線の傾き角とが算出され、それらの傾き角の差が算出される。
【００４０】
平行移動用の種別ズレ検出部131は、各画像の重心位置の差を算出して、例えば左目用画像に対する右目用画像の位置の差をズレ量として検出する。単純に位置の差とするのでなく、本来設定されている所定の視差量を考慮してズレ量を得る。
【００４１】
ホワイトバランス以外のズレに関して、左目用画像を基準にズレ量を検出するように記載したが、逆であってもよい。また、上記に述べたズレ量の検出方法は一例に過ぎず、その他にも様々な検出方法が考えられる。
【００４２】
補正量算出部140は、基準調整部142と、明るさ、ホワイトバランス、大きさ、回転、平行移動の各ズレの個々の補正量を算出する5つの種別補正量算出部143とを備える。図4では1つの種別補正量算出部143のみが示され、他の4つの種別補正量算出部143は省略されている。以下に校正モードにおける種別補正量算出部143の動作を詳述する。
【００４３】
ホワイトバランス補正には絶対的な基準があるが、明るさ、大きさ、回転、平行移動に関しては、絶対的な基準が存在していない。しかも、左目用画像と右目用画像を比較して両画像間のズレ量を知ることはできるが、左目用画像と右目用画像のどちらがズレてしまったのか、あるいは両方ともズレてしまったのかを知ることは困難である。
【００４４】
そこで、明るさ、大きさ、傾き角、位置の基準とする画像をユーザが左目用画像と右目用画像とから選択できるようにするため、基準調整部142が設けられている。基準調整部142は、左目用画像と右目用画像のうち、明るさ、大きさ、傾き角、位置の基準としてユーザが指示する画像を選択する。
【００４５】
ホワイトバランス用の種別補正量算出部143は、ホワイトバランスの絶対的なズレ量に基づいて、左目用画像と右目用画像の補正量を算出する。具体的には、ホワイトバランスが調整されている状態にするために左目用映像信号及び右目用映像信号に乗ずる係数を算出する。
【００４６】
明るさ用、大きさ用、回転用、平行移動用のそれぞれの種別補正量算出部143は、基準調整部142が左目用画像と右目用画像とから選択した一方の画像を基準としたときの他方の画像の補正量を算出する。以下に、補正量算出部140の動作として例示したように左目用画像を基準として右目用画像の明るさ、大きさ、傾き角、位置の相対的なズレ量を検出する場合の補正量の算出方法と補正方法について説明する。
【００４７】
まず、明るさに関する補正量の算出方法と補正方法について説明する。補正量算出部140によって、左目用画像を基準とした右目用画像の明るさの比が検出されるため、基準調整部142が左目用画像を基準として選択した場合は、明るさの比の逆数が補正量となる。種別補正量算出部143は、この補正量を右目用映像信号の各画素値に乗じて右目用画像を左目用画像に合わせ込む。また、基準調整部142が右目用画像を基準として選択した場合は、明るさの比が補正量となり、種別補正量算出部143は、この補正量を左目用映像信号の各画素値に乗じて左目用画像を右目用画像に合わせ込む。
【００４８】
次に、大きさに関する補正量の算出方法と補正方法について説明する。補正量算出部140によって、左目用画像を基準とした右目用画像の大きさの比が検出されるため、基準調整部142が左目用画像を基準として選択した場合は、大きさの比の逆数が補正量となる。種別補正量算出部143は、この補正量に基づいて右目用映像信号を拡大処理して右目用画像を左目用画像に合わせ込む。また、基準調整部142が右目用画像を基準として選択した場合は、大きさの比が補正量となり、種別補正量算出部143は、この補正量に基づいて左目用映像信号を拡大処理して左目用画像を右目用画像に合わせ込む。
【００４９】
次に、傾き角に関する補正量の算出方法と補正方法について説明する。補正量算出部140によって、左目用画像を基準とした右目用画像の傾き角の差が検出されるため、基準調整部142が左目用画像を基準として選択した場合は、傾き角の差を-1倍したものが補正量となる。種別補正量算出部143は、この補正量に基づいて右目用映像信号を回転処理して右目用画像を左目用画像に合わせ込む。基準調整部142が右目用画像を基準として選択した場合は、傾き角の差が補正量となり、種別補正量算出部143は、この補正量に基づいて左目用映像信号を回転処理して左目用画像を右目用画像に合わせ込む。
【００５０】
次に、位置に関する補正量の算出方法と補正方法について説明する。補正量算出部140によって、左目用画像を基準とした右目用画像の位置の差が検出されるため、基準調整部142が左目用画像を基準として選択した場合は、位置の差を-1倍したものが補正量となる。種別補正量算出部143は、この補正量に基づいて右目用映像信号を平行移動処理して右目用画像を左目用画像に合わせ込む。また、基準調整部142が右目用画像を基準として選択した場合は、位置の差が補正量となり、種別補正量算出部143は、この補正量に基づいて左目用映像信号を平行移動処理して左目用画像を右目用画像に合わせ込む。
【００５１】
補正量算出部140は、算出した補正量と、事前に歪みを除去するために所定の歪み補正を施した左目用映像信号及び右目用映像信号とを出力する。補正部150は、補正量算出部140によって算出された補正量に基づいて左目用映像信号と右目映像信号とを補正する。
【００５２】
補正部150は、明るさに関してはゲイン乗算を行い、ホワイトバランスに関してはホワイトバランスマトリクス乗算を行い、大きさに関してはズーム処理を行い、回転に関しては回転処理を行い、平行移動に関しては平行移動処理（位置変換）を行う。なお、補正部150が処理する左目用映像信号と右目用映像信号は、歪み補正により画像中の歪みが除去された映像信号であるため、補正部150は、補正を施した後に、左目用映像信号と右目用映像信号に対して、本来有していた歪みを復元する処理を行う。この復元処理は、歪みを除去したときの逆変換となるように調整されている。
【００５３】
歪み以外のズレが補正された左目用映像信号と右目用映像信号は、画像処理部160で所定の画像処理（画素数変換や、エッジ補正、色調整等の表示のための画像処理）が施され、モニタである画像表示装置203に出力される。画像表示装置203は、画像処理部160によって画像処理が施された左目用映像信号と右目用映像信号に基づいて、右目用画像と左目用画像を含む画像を表示する。
【００５４】
以上の構成の中で、ズレ検出部130、補正量算出部140、補正部150、制御部180、及びこれらに内包される部位は、経年や使用条件によって生ずるズレを検出して補正するためのものである。こうしたズレを無視できる場合には、これらの部位は不要である。
【００５５】
また、これらの部位を省いた装置では、映像信号分離部120と映像信号調整部121は必ずしも画像処理部160の前段に配置する必要はなく、画像処理部160が左目用映像信号と右目用映像信号を混合した状態で所定の画像処理を施すならば、画像処理部160の後段に配置してもよい。
【００５６】
次に、本実施形態の変形例を説明する。上記では、CMOSセンサの配置を工夫することで、左目用画像と右目用画像の互いに対応する位置で、光情報が電気情報として蓄積される時刻の差が小さくなるようにしたが、CMOSセンサのランダムアクセスが可能な特徴を活かしてもよい。この場合、左目用画像と右目用画像の互いに対応する位置にアクセスするタイミングが近くなるようにアドレスを発生し、発生されたアドレスに従ってCMOSセンサは受光面をスキャンする。
【００５７】
例えば、CMOSセンサ110が、図6に示すように受光面をスキャンしてもよい。図6は、CMOSセンサ110が、受光面をラスタスキャンによりスキャンして、受光面に行列状に配置された各画素から、映像信号を構成するデータを読み出す様子を示している。CMOSセンサ110が受光面をスキャンする方向（図6の矢印D5の方向）は視差方向と平行である。領域S3と領域S4は複数の分割領域に分割されている。領域S3は、行列状に配列された画素の行の単位で分割された分割領域S3-1、分割領域S3-2、分割領域S3-3、・・・、分割領域S3-nを備える。領域S4は、行列状に配列された画素の行の単位で分割された分割領域S4-1、分割領域S4-2、分割領域S4-3、・・・、分割領域S4-nを備える。領域S3内の各分割領域は、領域S4内の対応する行の各分割領域と対応付けられている。例えば、分割領域S3-1と分割領域S4-1が対応しており、分割領域S3-nと分割領域S4-nが対応している。
【００５８】
CMOSセンサ110は、矢印D5の方向に受光面をスキャンして、各分割領域の各画素から映像信号を構成するデータを読み出す。これによって、領域S3内の各分割領域と領域S4内の各分割領域とが交互にスキャンされる。より具体的には、分割領域S3-1、分割領域S4-1、分割領域S3-2、分割領域S4-2、分割領域S3-3、分割領域S4-3、・・・、分割領域S3-n、分割領域S4-nという順序（順番）で各分割領域がスキャンされる。このように、領域S3と領域S4は、行単位で分割された分割領域をスキャン単位として交互に同一方向にスキャンされる。
【００５９】
これにより、左目用画像と右目用画像の互いに対応する位置（左目用画像と右目用画像において画像内の位置が同一となる位置）で、光情報が電気情報として蓄積される時刻（蓄積の開始時刻又は終了時刻）の差が1ラインのスキャン時間と同じ時間となる。例えば、分割領域S3-1の最も左側の画素において光情報が電気情報として蓄積される時刻と、対応する分割領域S4-1の最も左側の画素において光情報が電気情報として蓄積される時刻との差が1ラインのスキャン時間（分割領域S1-1、分割領域S2-1をそれぞれスキャンする時間）と同じ時間である。
【００６０】
上述したように、本実施形態によれば、CMOSセンサ110が、左目用画像が結像される第1の領域と、右目用画像が結像される第2の領域とから映像信号を構成するデータを読み出す際、左目用画像と右目用画像のそれぞれ対応する位置の分割領域を交互にスキャンしてデータを読み出すことによって、左目用画像と右目用画像の互いに対応する位置において光情報が電気情報として蓄積される時刻（蓄積の開始時刻又は終了時刻）の差を小さくすることが可能となる。このため、ローリングシャッタの特性による左右の画像のズレを抑制することができる。よって、ハイビジョン画像として表示するのに適した映像信号が得られ、動いている被写体を撮影したとしても左右の画像の時差の影響を抑制することができる。
【００６１】
また、CMOSセンサ110が、ラスタスキャンにより複数個の分割領域をスキャンしてデータを読み出す際、ラスタスキャンの方向が視差方向と直交しているため、左目用画像と右目用画像の互いに対応する位置において光情報が電気情報として蓄積される時刻（蓄積の開始時刻又は終了時刻）の差が1ライン分のスキャン時間の半分となる。このため、動いている被写体を撮影したとしても左右の画像の時差の影響を抑制することができる。
【００６２】
また、映像信号分離部120が、CMOSセンサ110から出力された映像信号を左目用映像信号と右目用映像信号とに分離し、映像信号調整部121が、左目用映像信号及び右目用映像信号のそれぞれを構成するデータの順序を、ラスタスキャンの方向が視差方向と同一となるように分割領域をスキャンした場合のデータの順序と同一となるように並べ替えることによって、CMOSセンサ110から出力された映像信号におけるデータの並びが特殊な状態になっていても、通常の画像表示装置の入力フォーマットに対応した左目用映像信号及び右目用映像信号を生成することができる。
【００６３】
また、ズレ検出部130が、校正動作時に左目用画像及び右目用画像のズレ量を検出し、補正量算出部140が、校正動作時に左目用画像及び右目用画像の補正量を算出し、補正部150が、左目用画像及び右目用画像の補正量に応じて映像信号に補正を行うことによって、経年や使用条件によって生ずるズレを補正することができる。よって、常に適正な視差を有する左目用画像及び右目用画像を生成し、立体視を実現することができる。
【００６４】
また、ズレ検出部130が、明るさ、ホワイトバランス、大きさ、回転、平行移動のズレの種類ごとのズレ量を検出する種別ズレ検出部131を備え、補正量算出部140が、ズレの種類ごとのズレ量に対応した補正量を算出する種別補正量算出部143を備えることによって、様々なズレが複合的に生じている場合でも、ズレの種類ごとに独立したズレ量を検出し、各種類のズレを補正することができる。
【００６５】
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【符号の説明】
【００６６】
101・・・左目用光学系、102・・・右目用光学系、110・・・ CMOSセンサ、120・・・映像信号分離部、121・・・映像信号調整部、130・・・ズレ検出部、131・・・種別ズレ検出部、140・・・補正量算出部、142・・・基準調整部、143・・・種別補正量算出部、150・・・補正部、160・・・画像処理部、180・・・制御部、201・・・内視鏡スコープ、202・・・画像処理プロセッサ、203・・・画像表示装置
【特許請求の範囲】
【請求項１】
視差を有する左目用画像と右目用画像とを取得する三次元内視鏡装置において、
前記左目用画像と前記右目用画像のそれぞれに対応する光を結像する2系統の光学系を備えると共に、前記2系統の光学系を通して得られる2系統の光が単一の受光面に分かれて結像され、結像された2つの像に基づく映像信号を生成するMOS型センサを備える内視鏡スコープと、
前記映像信号に画像処理を行う画像処理プロセッサと、
前記画像処理プロセッサによって処理された前記映像信号に基づいて、前記左目用画像と前記右目用画像を含む画像を表示する画像表示装置と、
を備え、
前記MOS型センサの前記受光面に結像された前記2つの像のそれぞれの中心を結ぶ直線が視差方向と直交し、
前記MOS型センサの前記受光面において、前記2つの像の一方が結像される第1の領域及び前記2つの像の他方が結像される第2の領域は複数個の分割領域に分割され、
前記MOS型センサは、前記第1の領域と前記第2の領域から前記映像信号を構成するデータを読み出す際、前記左目用画像と前記右目用画像のそれぞれ対応する位置の前記分割領域を交互にスキャンしてデータを読み出すことを特徴とする三次元内視鏡装置。
【請求項２】
前記MOS型センサは、ラスタスキャンにより前記複数個の分割領域をスキャンしてデータを読み出し、
前記ラスタスキャンの方向が前記視差方向と直交することを特徴とする請求項１に記載の三次元内視鏡装置。
【請求項３】
前記画像処理プロセッサは、
前記画像処理を行う画像処理部と、
前記映像信号を、前記左目用画像に対応する左目用映像信号と、前記右目用画像に対応する右目用映像信号とに分離する分離部と、
前記左目用映像信号及び前記右目用映像信号のそれぞれを構成するデータの順序を、前記ラスタスキャンの方向が前記視差方向と同一となるように前記複数個の分割領域をスキャンしてデータを読み出した場合のデータの順序と同一となるように並べ替える調整部と、
を備えることを特徴とする請求項１に記載の三次元内視鏡装置。
【請求項４】
前記画像処理プロセッサは、
通常動作を行う前、あるいは通常動作の途中で、校正動作を指示する制御部と、
校正動作時に前記左目用画像及び前記右目用画像のズレ量を検出するズレ検出部と、
校正動作時に前記左目用画像及び前記右目用画像の補正量を算出する補正量算出部と、
前記左目用画像及び前記右目用画像の補正量に応じて前記映像信号に補正を行う補正部と、
を備えることを特徴とする請求項３に記載の三次元内視鏡装置。
【請求項５】
前記ズレ検出部は、明るさ、ホワイトバランス、大きさ、回転、平行移動の少なくとも1つ以上のズレの種類ごとのズレ量を検出し、
前記補正量算出部は、前記ズレの種類ごとのズレ量に対応した補正量を算出することを特徴とする請求項４に記載の三次元内視鏡装置。
【請求項１】
視差を有する左目用画像と右目用画像とを取得する三次元内視鏡装置において、
前記左目用画像と前記右目用画像のそれぞれに対応する光を結像する2系統の光学系を備えると共に、前記2系統の光学系を通して得られる2系統の光が単一の受光面に分かれて結像され、結像された2つの像に基づく映像信号を生成するMOS型センサを備える内視鏡スコープと、
前記映像信号に画像処理を行う画像処理プロセッサと、
前記画像処理プロセッサによって処理された前記映像信号に基づいて、前記左目用画像と前記右目用画像を含む画像を表示する画像表示装置と、
を備え、
前記MOS型センサの前記受光面に結像された前記2つの像のそれぞれの中心を結ぶ直線が視差方向と直交し、
前記MOS型センサの前記受光面において、前記2つの像の一方が結像される第1の領域及び前記2つの像の他方が結像される第2の領域は複数個の分割領域に分割され、
前記MOS型センサは、前記第1の領域と前記第2の領域から前記映像信号を構成するデータを読み出す際、前記左目用画像と前記右目用画像のそれぞれ対応する位置の前記分割領域を交互にスキャンしてデータを読み出すことを特徴とする三次元内視鏡装置。
【請求項２】
前記MOS型センサは、ラスタスキャンにより前記複数個の分割領域をスキャンしてデータを読み出し、
前記ラスタスキャンの方向が前記視差方向と直交することを特徴とする請求項１に記載の三次元内視鏡装置。
【請求項３】
前記画像処理プロセッサは、
前記画像処理を行う画像処理部と、
前記映像信号を、前記左目用画像に対応する左目用映像信号と、前記右目用画像に対応する右目用映像信号とに分離する分離部と、
前記左目用映像信号及び前記右目用映像信号のそれぞれを構成するデータの順序を、前記ラスタスキャンの方向が前記視差方向と同一となるように前記複数個の分割領域をスキャンしてデータを読み出した場合のデータの順序と同一となるように並べ替える調整部と、
を備えることを特徴とする請求項１に記載の三次元内視鏡装置。
【請求項４】
前記画像処理プロセッサは、
通常動作を行う前、あるいは通常動作の途中で、校正動作を指示する制御部と、
校正動作時に前記左目用画像及び前記右目用画像のズレ量を検出するズレ検出部と、
校正動作時に前記左目用画像及び前記右目用画像の補正量を算出する補正量算出部と、
前記左目用画像及び前記右目用画像の補正量に応じて前記映像信号に補正を行う補正部と、
を備えることを特徴とする請求項３に記載の三次元内視鏡装置。
【請求項５】
前記ズレ検出部は、明るさ、ホワイトバランス、大きさ、回転、平行移動の少なくとも1つ以上のズレの種類ごとのズレ量を検出し、
前記補正量算出部は、前記ズレの種類ごとのズレ量に対応した補正量を算出することを特徴とする請求項４に記載の三次元内視鏡装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１３−９００３５（Ｐ２０１３−９００３５Ａ）
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願番号】特願２０１１−２２６７５６（Ｐ２０１１−２２６７５６）
【出願日】平成２３年１０月１４日（２０１１．１０．１４）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願日】平成２３年１０月１４日（２０１１．１０．１４）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]