立体画像撮影表示システム
【課題】径方向に大きく突出させることなく、立体観察画像における観察者に与える違和感を解消可能な立体画像撮影表示システムを提供する。
【解決手段】視差の異なる光学系１Ｌ，１Ｒを有する撮像手段１と、画像処理手段２と、処理された画像を表示する表示手段３とを有し、画像処理手段２が、左右の画像を用いて立体計測を行う機能を有する計測手段２ａと、計測手段２ａを介して得られた結果に基づいて、左右の画像を融像して立体画像表示する場合の観察し難い領域の有無を検出する検出手段２ｂと、所定の画像加工を行う画像加工手段２ｃとを有し、さらに、検出手段２ｂを介して観察し難い領域が検出された場合に、視差の異なる光学系同士の光軸間の距離を固定した状態でその領域を観察し易い状態にして、表示手段３に画像表示されるように、撮像手段１又は画像処理手段２を制御する観察画像自動調整手段４を備える。
【解決手段】視差の異なる光学系１Ｌ，１Ｒを有する撮像手段１と、画像処理手段２と、処理された画像を表示する表示手段３とを有し、画像処理手段２が、左右の画像を用いて立体計測を行う機能を有する計測手段２ａと、計測手段２ａを介して得られた結果に基づいて、左右の画像を融像して立体画像表示する場合の観察し難い領域の有無を検出する検出手段２ｂと、所定の画像加工を行う画像加工手段２ｃとを有し、さらに、検出手段２ｂを介して観察し難い領域が検出された場合に、視差の異なる光学系同士の光軸間の距離を固定した状態でその領域を観察し易い状態にして、表示手段３に画像表示されるように、撮像手段１又は画像処理手段２を制御する観察画像自動調整手段４を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、内視鏡を用いた手術における術部の立体画像の観察等に用いる立体画像撮影表示システムに関するものである。
【背景技術】
【０００２】
従来、この種の立体画像撮影表示システムとしては、例えば、次の特許文献１に記載の内視鏡の映像表示装置がある。
【特許文献１】特開平６−２６１８６０号公報
【０００３】
図１８は特許文献１に記載の内視鏡の映像表示装置の構成についての説明図であり、(a)は内視鏡挿入部先端の観察光学系の配置構成を示す図、(b)は視差調整動作の説明図である。
この立体画像撮影表示システムでは、撮像素子と物体との距離を測定し、その距離に応じて、立体角（左右視差量）を変更できるようにすることで、観察対象の立体映像の見やすさを向上させている。
即ち、図１８(a)に示すように、測距部５１における赤外線出射部５２からの被写体Ｍへの赤外線の照射、赤外線センサ５３による被写体Ｍで反射した赤外線の受光を介して、被写体Ｍと左右の固体撮像素子６１，６２との距離を測定する。そして、この測距部５１で測定した距離に基づき、制御部（図示省略）が視差調整機構（図示省略）を駆動して、左右の固体撮像素子６１，６２間の視差を調整することで、良好な観察対象物の立体映像が得られるようにしている。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１に記載の内視鏡の映像表示装置は、図１８(b)に示すように、立体角を変更するために、左右の固体撮像素子６１，６２の光軸間の間隔を移動させるようにしている。このため、撮像ユニットが径方向に太くなってしまう。撮像ユニットの径が太くなると、特に内視鏡等の機器においては患者への挿入性が大きく阻害され、患者への肉体的負担が増大してしまう。
【０００５】
また、一般に術部は平らではなく、凹凸を含んでいる。このため、凹凸のある術部を立体観察したときに、観察する画像の一部が突出したように見えることがある。しかし、立体観察している画像の一部に、突出したように見える部分があると、観察者は立体観察画像に違和感を受け、観察に支障を来たしやすい。
【０００６】
本発明は上記従来の課題に鑑みてなされたものであり、撮像ユニットを径方向に太くすることなく、立体観察画像における観察者に与える違和感を解消可能な立体画像撮影表示システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明による立体画像撮影表示システムは、視差の異なる左右一対の光学系を有する左右の撮像手段と、該左右の撮像手段を介して撮像された視差の異なる左右の画像を用いて、所定の画像処理を施す画像処理手段と、該画像処理手段を介して画像処理された画像を表示する表示手段とを有し、該左右の撮像手段、画像処理手段、及び表示手段を介して観察対象の立体画像を観察可能にする立体画像撮影表示システムであって、前記画像処理手段が、前記左右の撮像手段を介して撮像された、前記視差の異なる左右の画像を用いて、前記観察対象に対する立体計測を行う機能を少なくとも有する計測手段と、前記計測手段を介して得られた結果に基づいて、前記視差の異なる左右の画像を融像して前記表示手段を介して立体画像として表示するとした場合における該立体画像内での観察し難い領域の有無を検出する検出手段と、所定の画像加工を行う画像加工手段とを有し、さらに、前記検出手段を介して前記観察し難い領域が検出された場合に、該検出された領域の観察し難い状態を観察し易い状態にして、前記表示手段に画像表示されるように、前記視差の異なる左右一対の光学系同士の光軸間の距離を固定した状態で前記撮像手段又は前記画像処理手段を制御する、観察画像自動調整手段を備えたことを特徴としている。
【０００８】
また、本発明の立体画像撮影表示システムにおいては、前記画像加工手段は、前記左右の撮像手段を介して撮像された、前記視差の異なる左右の画像を用いて、前記所定の画像加工を行うのが好ましい。
【０００９】
また、本発明の立体画像撮影表示システムにおいては、前記計測手段は、前記視差の異なる左右の画像の融像位置を算出する機能を有し、前記検出手段は、前記視差の異なる左右の画像を融像して前記表示手段を介して立体画像として表示するとした場合における該立体画像の各領域について、観察者から該表示手段の表示面までの距離と、前記計測手段を介して算出された前記視差の異なる画像の融像位置から前記表示手段の表示面までの距離との比率を算出し、算出した比率が次の条件式(1)を満足する場合に立体画像内での観察し難い領域として検出するのが好ましい。
２５％＜Ｈ／Ｍ ・・・(1)
但し、Ｈは計測手段を介して算出された視差の異なる画像の融像位置の、表示手段の表示面からの飛び出し量、Ｍは観察者から表示手段の表示面までの距離である。
【００１０】
また、本発明の立体画像撮影表示システムにおいては、前記計測手段は、前記視差の異なる左右の画像の融像位置を算出する機能を有し、前記検出手段は、前記視差の異なる左右の画像を融像して前記表示手段を介して立体画像として表示するとした場合における該立体画像の各領域について、観察者から該表示手段の表示面までの距離と、前記計測手段を介して算出された前記視差の異なる画像の融像位置から前記表示手段の表示面までの距離との比率を算出し、算出した比率が次の条件式(1')を満足する場合に立体画像内での観察し難い領域として検出するのが好ましい。
１５％＜Ｈ／Ｍ ・・・(1')
但し、Ｈは計測手段を介して算出された視差の異なる画像の融像位置の、表示手段の表示面からの飛び出し量、Ｍは観察者から表示手段の表示面までの距離である。
【００１１】
また、本発明の立体画像撮影表示システムにおいては、前記観察画像自動調整手段が、前記画像加工手段に、前記立体画像における前記観察し難い領域での所定の画像特性を観察し易い状態となるように変換させる、画像処理制御手段よりなるのが好ましい。
【００１２】
また、本発明の立体画像撮影表示システムにおいては、前記画像処理制御手段が、前記画像加工手段に、前記立体画像における観察し難い領域を、３次元画像から２次元画像へと変換させるのが好ましい。
【００１３】
また、本発明の立体画像撮影表示システムにおいては、前記画像処理制御手段が、前記画像加工手段に、前記立体画像における全領域を、３次元画像から２次元画像へと変換させるのが好ましい。
【００１４】
また、本発明の立体画像撮影表示システムにおいては、前記画像処理制御手段が、前記画像加工手段に、前記立体画像における観察し難い領域での明るさを変更させるのが好ましい。
【００１５】
また、本発明の立体画像撮影表示システムにおいては、前記画像処理制御手段が、前記画像加工手段に、前記立体画像における観察し難い領域での周波数を変更させるのが好ましい。
【００１６】
また、本発明の立体画像撮影表示システムにおいては、前記観察画像自動調整手段が、前記立体画像における前記観察し難い領域での所定の画像特性が観察し易い状態となるように、前記左右の撮像手段に対して所定の制御を行う、撮像制御手段であるのが好ましい。
【００１７】
また、本発明の立体画像撮影表示システムにおいては、前記撮像制御手段は、前記左右の撮像手段に備わる光学系の絞りを制御するのが好ましい。
【００１８】
また、本発明の立体画像撮影表示システムにおいては、前記撮像制御手段は、前記左右の撮像手段に備わる光学系の焦点位置を制御するのが好ましい。
【００１９】
また、本発明の立体画像撮影表示システムにおいては、前記撮像手段は、前記左右一対の光学系に共通の光学部材を有し、前記撮像制御手段は、前記左右の撮像手段に備わる前記共通の光学部材を介して焦点位置を制御するのが好ましい。
【００２０】
また、本発明の立体画像撮影表示システムにおいては、さらに、前記視差の異なる左右の画像を融像して前記表示手段を介して立体画像として表示した場合における該立体画像内で観察し難い領域を生じさせる原因となる物体についての少なくとも一部の物理量を予め記憶する記憶手段を有するとともに、前記計測手段は、前記観察対象の少なくとも一部の物理量を計測する機能を有し、前記検出手段は、前記視差の異なる左右の画像を融像して前記表示手段を介して立体画像として表示するとした場合における該立体画像の各領域について、前記計測手段を介して計測された観察対象の物理量を、前記記憶手段を介して予め記憶させておいた物体の物理量と比較し、これらの物理量が一致した場合に立体画像内での観察し難い領域として検出するのが好ましい。
【００２１】
また、本発明の立体画像撮影表示システムにおいては、前記物理量が、形状寸法、色、立体形状、分光特性のいずれかであるのが好ましい。
【００２２】
また、本発明の立体画像撮影表示システムにおいては、前記記憶手段による物理量の記憶対象となる物体には、処置具が含まれるのが好ましい。
【発明の効果】
【００２３】
本発明によれば、撮像ユニットを径方向に太くすることなく、立体観察画像における観察者に与える違和感を解消可能な立体画像撮影表示システムが得られる。
【発明を実施するための最良の形態】
【００２４】
図１は本発明の立体画像撮影表示システムの基本的な概略構成の一例を示すブロック図、図２は図１の立体画像撮影表示システムによる観察対象を撮影した画像の表示処理手順を示すフローチャートである。
図１に示す立体画像撮影表示システムは、左右の撮像手段１と、画像処理手段２と、表示手段３を有している。
左右の撮像手段１は、視差の異なる左右一対の光学系として、左眼用光学系１Ｌと右眼用光学系１Ｒを有し、視差の異なる観察対象をリアルタイムに撮像するように構成されている。
画像処理手段２は、左右の撮像手段１を介して撮像された視差の異なる左右の画像を用いて、所定の画像処理を施すように構成されている。
表示手段３は、画像処理手段２を介して画像処理された画像を表示するように構成されている。
そして、左右の撮像手段１、画像処理手段２、及び表示手段３を介して観察対象（図１において省略）の立体画像を観察することができるようになっている。
【００２５】
また、図１に示す立体画像撮影表示システムは、画像処理手段２が計測手段２ａと検出手段２ｂと画像加工手段２ｃとを有するとともに、さらに、観察画像自動調整手段４を備えている。
計測手段２ａは、左右の撮像手段１を介して撮像された、視差の異なる左右の画像を用いて、観察対象に対する立体計測を行う機能を少なくとも有している。
検出手段２ｂは、計測手段２ａを介して得られた結果に基づいて、視差の異なる左右の画像を融像して表示手段３を介して立体画像として表示するとした場合における、その立体画像内での観察し難い領域の有無を検出するように構成されている。
画像加工手段２ｃは、左右の撮像手段１を介して撮像された、視差の異なる左右の画像を用いて、所定の画像加工を行うように構成されている。
【００２６】
観察画像自動調整手段４は、検出手段２ｂを介して観察し難い領域が検出された場合に、検出された領域の観察し難い状態を観察し易い状態にして、表示手段３に画像表示されるように、視差の異なる左右一対の光学系１Ｌ，１Ｒ同士の光軸間の距離を固定した状態で撮像手段１又は画像処理手段２を制御するように構成されている。
【００２７】
このように構成された図１の立体画像撮影表示システムでは、撮像手段１を介して撮像した観察対象の画像に対し図２に示すような処理手順の処理を施した画像を、表示手段３に表示する。
まず、左右の撮像手段１を介して撮像された、視差の異なる左右の画像を融像して表示手段３を介して立体画像として表示するとした場合における、当該画像についての処理対象の初期領域を選択する（ステップＳ１）。
【００２８】
次いで、計測手段２ａが、選択された領域において、左右の撮像手段１を介して撮像された、視差の異なる左右の画像を用いて、観察対象に対する立体計測を行う（ステップＳ２）。
【００２９】
次いで、検出手段２ｂが、計測手段２ａを介して得られた結果に基づいて、立体画像内で観察し難い領域を検出する（ステップＳ３，Ｓ４）。
選択された領域が立体画像内で観察し難い領域として検出された場合には、観察画像自動調整手段４が、選択された領域における観察し難い状態を、観察し易い状態となるように、視差の異なる左右一対の光学系１Ｌ，１Ｒ同士の光軸間の距離が固定されたままの状態で撮像手段１又は画像処理手段２を制御する（ステップＳ５）。そして、画像加工手段２ｃが、観察し易い状態となるように制御された画像を作成する（ステップＳ６）。
次いで、観察画像自動調整手段４を介して制御され、画像加工手段２を介して作成された、選択された領域での画像を、画像表示手段３が表示する（ステップＳ７）。
【００３０】
次いで、全ての領域についての選択が終了したかをチェックし（ステップＳ８）、選択が終了していない場合は、左右の撮像手段１を介して撮像された、視差の異なる左右の画像における処理対象の次の領域を選択し（ステップＳ９）、ステップＳ２〜ステップＳ８の処理を繰り返す。
これにより、観察される画像は、全体にわたって見易い画像となる。
【００３１】
このように、本発明の立体観察撮影表示システムによれば、撮像手段１を介して撮像された画像を用いて、画像処理手段２が観察し難い領域の有無を検出し、観察し難い領域があるときには、観察画像自動調整手段４が、選択された領域における観察し難い状態を、観察し易い状態となるように、視差の異なる左右一対の光学系同士の光軸間の距離が固定されたままの状態で撮像手段１又は画像処理手段２を制御するようにしたので、撮像手段１を径方向に太くすることなく、立体観察画像における観察者に与える違和感を解消することができる。
【００３２】
第一実施形態
図３は本発明の第一実施形態にかかる立体画像撮影表示システムの概略構成を示すブロック図、図４は図３の立体画像撮影表示システムの全体構成の一例を模式的に示す説明図である。図５は図４に示す立体画像撮影表示システムにおける撮像手段から画像処理手段に至るまでの具体的な構成を示す説明図である。図６は第一実施形態の立体画像撮影表示システムにおける撮像手段を構成する左右一対の撮像光学系を示す図、図７は第一実施形態の立体画像撮影表示システムにおける三次元情報の計測原理を示す説明図である。図８は第一実施形態の立体画像撮影表示システムにおける、観察対象の画像を立体視した場合の画像の表示面からの飛び出し位置の算出方法を概略的に示す説明図、図９は図８における観察対象（被写体）付近を示す説明図である。図１０は第一実施形態の立体画像撮影表示システムによる観察対象を撮影した画像の表示処理手順を示すフローチャートである。
【００３３】
第一実施形態の立体画像撮影表示システムは、図３に示すように、左右の撮像手段１と、画像処理手段２と、表示手段３と、観察画像自動調整手段４’を有している。
左右の撮像手段１は、視差の異なる左右一対の光学系として、左眼用光学系１Ｌと右眼用光学系１Ｒを有し、視差の異なる観察対象をリアルタイムに撮像するように構成されている。左眼用光学系１Ｌは、図４に示すように、左眼用対物レンズ１Ｌ1と、左眼用撮像素子１ＬMを有している。右眼用光学系１Ｒは、右眼用対物レンズ１Ｒ1と、右眼用撮像素子１ＲMを有している。左右一対の対物レンズ１Ｌ1，１Ｒ1は、所定の距離Ｌを隔て配置されており、視差Ｌを隔てた観察対象２０の像を左右一対の撮像素子１ＬM，１ＲM上に結像させるように構成されている。左右一対の撮像素子１ＬM，１ＲMは、ＣＣＤ等で構成されている。
また、左右の撮像手段１は、左右一対の撮像素子１ＬM，１ＲMと画像処理手段２との間に、例えば図５に示すように、左右一対のビデオアンプ１Ｌa，１Ｒa、左右一対のＡ／Ｄ変換器１Ｌb，１Ｒb、左右一対のフレームメモリ１Ｌc，１Ｒcを備えている。そして、左右の撮像素子１ＬM，１ＲMで撮像された画像の出力を、夫々、ビデオアンプ１Ｌa，１Ｒaで増幅し、Ａ／Ｄ変換器１Ｌb，１Ｒbでデジタル信号に変換し、フレームメモリ１Ｌc，１Ｒcに格納するようになっている。
【００３４】
ここで、フレームメモリ１Ｌc，１Ｒcに格納される左右の画像は、視差Ｌをもって撮像された画像であり、これら両画像における観察対象２０上の同一点の位置ずれに観察対象２０の３次元情報が含まれている。フレームメモリにフレームメモリ１Ｌc，１Ｒcに格納された画像データは、画像処理手段２に供給され、画像処理手段２において、視差Ｌのデータに基づいて、所定の画像処理が施され、観察対象２０の凹凸や、長さ、面積等の３次元情報が計算される。
【００３５】
画像処理手段２は、図３に示すように、計測手段２ａと、検出手段２ｂと、画像加工手段２ｃを有している。
計測手段２ａは、左右の撮像手段１を介して撮像された、視差の異なる左右の画像を用いて、観察対象に対する立体計測を行う機能を少なくとも有している。
検出手段２ｂは、計測手段２ａを介して得られた結果に基づいて、視差の異なる左右の画像を融像して表示手段３を介して立体画像として表示するとした場合における、その立体画像内での観察し難い領域の有無を検出するように構成されている。
画像加工手段２ｃは、左右の撮像手段１を介して撮像された、視差の異なる左右の画像を用いて、所定の画像加工を行うように構成されている。
【００３６】
表示手段３は、画像処理手段２を介して画像処理された画像を表示するように構成されている。
観察画像自動調整手段４’は、検出手段２ｂを介して観察し難い領域が検出された場合に、画像加工手段２ｃに、立体画像における観察し難い領域での所定の画像特性を観察し易い状態となるように変換させる、画像処理制御手段としての機能を有している。
【００３７】
ここで、画像処理手段２の計測手段２ａにおける３次元情報の計測原理について説明する。
図６に示すように、視差Ｌを有する第１の視点としての右眼用対物レンズ１Ｒ1による画像と、第２の視点としての左眼用対物レンズ１Ｌ1による画像とを、それぞれ撮像素子１ＲM，１ＬMで撮像する場合、これらの撮像素子１ＲM，１ＬM上における夫々の画像と観察対象２０との幾何学的対応は図７に示すようになる。ここで、対物レンズ１Ｒ1，１Ｌ1の中心の位置をＯ1，Ｏ2、そのとき得られる画像をＰ1，Ｐ2、対物レンズ１Ｒ1，１Ｌ1の焦点位置をｆとする。この場合、観察対象２０の任意の点Ａ，Ｂは、画像Ｐ1上ではａ1，ｂ1の位置に、また、画像Ｐ2上ではａ2，ｂ2の位置にそれぞれ写しとられるので、これらの画像を、中心を合わせて重ね合わせると、ａ1，ｂ1の点は、画像Ｐ2上ではａ1’，ｂ1’の位置に相当する。このときのａ1’とａ2との間の距離をｄa、ｂ1’とｂ2との間の距離をｄbとする。また、位置Ｏ1，Ｏ2を含む面Ｐ0と観察対象２０の点Ａとの間の距離をｈA、面Ｐ0と点Ｂとの間の距離をｈBとすると、距離ｈAと距離ｄaとの間には、三角形ＡＯ1Ｏ2と三角形Ｏ2ａ1’ａ2との相似関係より、次の関係式(a)が成り立つ。
ｈA／Ｌ＝ｆ／ｄa ・・・(a)
【００３８】
したがって、距離ｈAは次式(b)で求めることができる。
ｈA＝（ｆ・Ｌ）／ｄa ・・・(b)
同様にして、距離ｈBは次式(c)で求めることができる。
ｈB＝（ｆ・Ｌ）／ｄb ・・・(c)
このように、視差がＬ異なる２つの画像Ｐ1，Ｐ2における対応点間の距離ｄa，ｄbを求めることによって、その点の観察対象２０上での高さ方向の絶対的大きさｈA，ｈBを求めることができる。
【００３９】
次に、観察対象２０上における任意の点の間の距離の絶対的大きさを求める場合について説明する。
画像Ｐ1における中心をｃ1とし、画像Ｐ1上でｃ1とａ1との間及びｃ1とｂ1との間の距離をそれぞれｅa及びｅbとする。また、位置Ｏ1から垂直に観察対象２０上に下した直線Ｉと点Ａ及び点Ｂとの間の距離をそれぞれＷA及びＷBとすると、まず、距離ＷAと距離ｅaとの間には、比例関係より、
ＷA／ｈA＝ｅa／ｆ ・・・（d）
が成立する。よって、この式(d)に上記式(b)を代入すると、ＷAは次式(e)により求めることができる。
ＷA＝（ｅa・ｈA）／ｆ＝（ｅa・ｆ・Ｌ）／（ｆ・ｄa）＝（ｅa・Ｌ）／ｄa
・・・(e)
同様に、Ｗｂは次式(f)で求められる。
ＷB＝（ｅb・Ｌ）／ｄb ・・・(f)
したがって、観察対象２０を面Ｐ0と平行な平面に投影したときの点Ａと点Ｂとの間の距離ＷABは、次式(g)のようにして求めることができる。
ＷAB＝ＷB−ＷA＝Ｌ[（ｅb／ｄb）−（ｅa／ｄa）] ・・・(g)
これにより、画像Ｐ1上で観察対象２０上での任意の点間の距離の絶対的大きさを測定することができる。
【００４０】
次に、上述した２つの画像Ｐ1及び画像Ｐ2において、対応する点間の距離ｄを求める場合について説明する。この距離ｄは、基本的には２つの画像Ｐ1，Ｐ2の中の小領域における相関を調べることによって求める。ここで、２つの画像Ｐ1，Ｐ2内の小領域を関数ｆ（ｒ），ｇ（ｒ）で表わし、関数ｇ（ｒ）が関数ｆ（ｒ）と比べてＤだけシフトしているものとする。つまり、ｇ（ｒ）＝ｆ（ｒ−Ｄ）と仮定する。ただし、ｒは二次元を表わす座標である。この場合の関数ｆ（ｒ）と関数ｇ（ｒ）との相関は次式(h)で定義される。
・・・(h)
但し、Ａは小領域の面積を表わすものとする。以下、この式(h)をφ（ｓ）＝ｆ（ｒ）＊ｇ（ｒ）と略記する。
上記式(h)をフーリエ変換すると、
Φ（ｕ）＝Ｆ（ｕ）・Ｇ*（ｕ） ・・・(i)
となる。なお、Ｆ（ｕ）は関数ｆ（ｒ）をフーリエ変換した関数を示し、Ｇ（ｕ）は関数ｇ（ｒ）をフーリエ変換した関数を示す。
【００４１】
ここで、ｇ（ｒ）＝ｆ（ｒ−Ｄ）の条件を使うと、上記式(i)は、
Φ（ｕ）＝Ｆ（ｕ）・Ｆ*（ｕ）・ｅ-j・2π・u・D ・・・(j)
となり、これを逆フーリエ変換すると、次式(k)のようになる。
φ（Ｓ）＝Ｒff（t）＊δ（ｔ−Ｄ） ・・・(k)
但し、この式(k)においては、Ｒff（t）がｆ（ｒ）の自己相関関数で、
Ｒff（t）＝ｆ（ｒ）＊ｆ（ｒ） ・・・(l）
で表わされることを、またｅ-j・2π・u・Dの逆フーリエ変換がδ（ｔ−Ｄ）となることを用いている。
【００４２】
上記式(k)は相関関数φ（Ｓ）がＳ＝Ｄのところでピークを有することを示している。したがって、相関関数φ（Ｓ）を求め、そのピークの位置Ｄを調べることにより、関数ｇ（ｒ）が関数ｆ（ｒ）に対してどれだけシフトしているかを決定することができる。このことを利用して、２つの画像Ｐ1，Ｐ2から対応する小領域を求め、対応する点間の距離ｄを求めることができる。
【００４３】
次に、検出手段２ｂにおける観察し難い領域を検出するための判断指標を図８及び図９を用いて説明する。
図８は観察対象の画像を立体視した場合の画像の飛び出す位置の算出方法を示す概略図、図９は図８における観察対象付近を示す拡大図である。
ここでは、観察対象２０である物体の任意の点ａ（ｘ1、ｚ1）を表示手段３としての３Ｄモニターを介して観察した場合における、融像した画像の３Ｄモニターの表示面からの飛び出し量Ｈを算出することとする。
まず、計測手段２ａを介して立体計測された任意の点ａ（ｘ1、ｚ1）と左眼用光学系１Ｌの光軸Ｃｌとのｘ方向の距離は図９より、
ｘ1＋[ｚ1×ｔａｎ（α／２）]
同様に、任意の点ａ（ｘ1、ｚ1）と右眼用光学系１Ｒの光軸Ｃｒとのｘ方向の距離は、
ｘ1−[ｚ1×ｔａｎ（α／２）]
となる。
【００４４】
ここで、このｘ方向の距離は、対物レンズ１Ｌ1，１Ｒ1を介在させると、撮像素子としてのＣＣＤ１ＬM，１ＲMの面上では縦倍率βがかかる。このため、距離ａ’、ｂ’は、図８に示すように、
ａ’＝（ｘ1＋ｚ1×ｔａｎ（α／２）×β（ｘ）
ｂ’＝（ｘ1−ｚ1×ｔａｎ（α／２）×β（ｘ）
となる。但し、β（ｘ）は、対物レンズ１Ｌ1，１Ｒ1のｘ方向の距離に対する縦倍率である。
【００４５】
また、距離ａ’，ｂ’を３Ｄモニターに表示すると、３Ｄモニター上での距離ａ”，ｂ”は、ＣＣＤの大きさに対する表示面の大きさを表示倍率ｒとすると、
ａ”＝（ｘ1＋ｚ1×ｔａｎ（α／２）×β（ｘ）×ｒ
ｂ”＝（ｘ1−ｚ1×ｔａｎ（α／２）×β（ｘ）×ｒ
となる。
【００４６】
しかるに、本件出願人は、観察者からモニターまでの距離Ｍと飛び出し量Ｈとの比率を変えて、立体観察画像の観察のし難さを調べるという実験を繰り返した。その結果、立体観察画像における観察のし難さ（見にくさ）の判断指標は、観察者１０から表示手段３である３Ｄモニターまでの距離Ｍと飛び出し量Ｈとの比率で決まることが判明した。
ここで、距離Ｍに対する飛び出し量Ｈの比率Ｈ／Ｍを３Ｄモニター上での距離ａ”，ｂ”、眼幅距離Ｗで表わすことする。
図８より、
（Ｍ−Ｈ）：Ｈ＝Ｗ：（ａ”−ｂ”）
が成り立つため、
Ｈ／Ｍ＝（ａ”−ｂ”）／（Ｗ＋ａ”−ｂ”）
＝２ｚ1×ｔａｎ（α／２）×β（ｘ）×ｒ／（Ｗ＋２ｚ1×ｔａｎ（α／２）×β（ｘ）×ｒ）
となる。
そして、次の条件式(1)を満足するときに、立体画像が見難くなると判断することができることが実験により判明した。
２５％＜Ｈ／Ｍ ・・・(1)
第一実施形態の立体画像撮影表示システムでは、検出手段２ｂは、算出した比率Ｈ／Ｍが件式(1)を満足する場合に立体画像内での観察し難い領域であるとして検出するように構成されている。
なお、次の条件式(1')を満足する場合に立体画像内での観察し難い領域であるとして検出するのが好ましい。
１５％＜Ｈ／Ｍ ・・・(1')
【００４７】
画像処理制御手段４’は、画像加工手段２ｃに、立体画像における観察し難い領域での明るさの変更処理を行わせるように制御しており、例えば、図４に示すように、観察し難い領域を部分的に暗くする処理を行わせるように制御している。
なお、画像処理制御手段４’は、画像加工手段２ｃへの制御としては、その他に、立体画像における観察し難い領域での周波数を変更する処理を行わせて、観察し難い領域をボカすようにしてもよい。または、観察し難い領域を、２次元画像に変換する画像加工処理を行わせるようにしてもよい。さらには、観察し難い領域が検出された場合に画像領域全体を２次元画像に変換する画像加工処理を行わせるようにしてもよい。その場合は、左右いずれかの画像を、左右共通の画像として用いるようにするとよい。
【００４８】
このように構成された第一実施形態の立体画像撮影表示システムでは、撮像手段１を介して撮像された観察対象２０の画像に対し図１０に示すような処理手順の処理を施した画像を、表示手段３に表示する。
まず、左右の撮像手段１を介して撮像された、視差の異なる左右の画像を融像して表示手段３を介して立体画像として表示するとした場合における、当該画像についての処理対象の初期領域を選択する（ステップＳ１１）。
【００４９】
次いで、計測手段２ａが、選択された領域において、左右の撮像手段１を介して撮像された、視差の異なる左右の画像を用いて、観察対象２０に対する立体計測を行い、視差の異なる左右の画像の融像位置を算出する（ステップＳ１２）。
【００５０】
次いで、検出手段２ｂが、観察者１０から表示手段３の表示面までの距離と、計測手段２ａを介して算出された視差の異なる画像の融像位置から表示手段３の表示面までの距離との比率Ｈ／Ｍを算出し、算出した比率が条件式(1)（２５％＜Ｈ／Ｍ）を満足する場合に、立体画像内で観察し難い領域として検出する（ステップＳ１３，Ｓ１４）。
選択された領域が立体画像内で観察し難い領域として検出された場合には、観察画像自動調整手段としての画像処理制御手段４’が、選択された領域での観察し難い状態を、観察し易い状態となるように、画像加工手段２ｃを制御する（ステップＳ１５）。そして、画像加工手段２ｃが、観察し易い状態となるように制御された画像を作成する（ステップＳ１６）。
次いで、画像処理制御手段４’を介して制御され、画像加工手段２ｃを介して作成された、選択された領域での画像を、画像表示手段３が表示する（ステップＳ１７）。
【００５１】
次いで、全ての領域についての選択が終了したかをチェックし（ステップＳ１８）、選択が終了していない場合は、左右の撮像手段１を介して撮像された、視差の異なる左右の画像における処理対象の次の領域を選択し（ステップＳ１９）、ステップＳ１２〜ステップＳ１８の処理を繰り返す。
これにより、観察される画像は、全体にわたって見易い画像となる。
【００５２】
第一実施形態の立体観察撮影表示システムによれば、撮像手段１を介して撮像された画像を用いて、画像処理手段２が観察し難い領域の有無を検出し、観察し難い領域があるときには、観察画像自動調整手段としての画像処理制御手段４’が、選択された領域における観察し難い状態を、観察し易い状態となるように、視差の異なる左右一対の光学系同士の光軸間の距離が固定されたままの状態で画像処理手段２を制御するようにしたので、撮像手段１を径方向に太くすることなく、立体観察画像における観察者に与える違和感を解消することができる。
【００５３】
第二実施形態
図１１は本発明の第二実施形態にかかる立体画像撮影表示システムの概略構成を示すブロック図、図１２は図１１の立体画像撮影表示システムの要部の一構成例を模式的に示す説明図、図１３は図１１の立体画像撮影表示システムの要部の他の構成例を模式的に示す説明図である。図１４は第二実施形態の立体画像撮影表示システムによる観察対象を撮影した画像の表示処理手順を示すフローチャートである。
【００５４】
第二実施形態の立体画像撮影表示システムは、図１１に示すように、左右の撮像手段１と、画像処理手段２と、表示手段３と、観察画像自動調整手段４”を有している。
左右の撮像手段１は、後述する観察画像自動調整手段４”を介して撮影が制御されるように構成されている。より詳しくは、例えば、図１２に示すように、左眼用対物レンズ１Ｌ1と右眼用対物レンズ１Ｒ1は、夫々の光軸方向に移動可能に配置されており、夫々光軸方向に移動することによって焦点位置を変化させることができるようになっている。
【００５５】
また、例えば、図１３に示すように、左右の撮像手段１が、共通のレンズ１ＲＬ1，１ＲＬ2を備え、レンズ１ＲＬ1が光軸方向に移動可能に配置され、光軸方向を移動することによって焦点距離を変化させることができるようにしてもよい。なお、図１３中、１Ｌ13、１Ｒ13は、左右一対の光学系１Ｌ，１Ｒに夫々別個に設けられたレンズである。
画像処理手段２は、第一実施形態と同様に、計測手段２ａと、検出手段２ｂと、画像加工手段２ｃを有して構成されている。
表示手段３は、第一実施形態と同様に、画像処理手段２を介して画像処理された画像を表示するように構成されている。
【００５６】
観察画像自動調整手段４”は、検出手段２ｂを介して観察し難い領域が検出された場合に、立体画像における観察し難い領域での所定の画像特性が観察し易い状態となるように、左右の撮像手段１に対して所定の制御を行う、撮像制御手段としての機能を有している。
例えば、図１２に示すように、左右の撮像手段１に備わる光学系１Ｌ，１Ｒの対物レンズ１Ｌ1，１Ｒ1が可動である場合、光学系１Ｌ1，１Ｒ1を夫々の光軸方向に移動させることによって焦点位置を制御する。これにより、観察し難い領域の画像をボカす。
或いは、図示を省略したが、左右の撮像手段１に備わる光学系１Ｒ，１Ｌの瞳位置に絞り開閉機構を備え、その絞り開閉機構を制御することにより、観察し難い領域については、絞りを開くことで被写界深度を浅くしてボカすようにするとよい。
【００５７】
なお、「観察し難い領域」での画像が、観察者側に突出することによって、観察者に圧迫感などの違和感を与える場合の他に、場合によっては、観察者側に突出することによって、その部分の像がボケて不鮮明になり、画像全体として観察者に違和感を与える場合も生じ得る。
そこで、「観察し難い領域」での画像が、不鮮明になるのを解消するために、例えば、図１３に示す例において、左右の撮像手段１に備わる光学系１Ｒ，１Ｌに共通のレンズ１ＲＬ1を光軸方向に移動させることによって焦点位置を制御し、観察し難い領域（不鮮明な領域）の画像を鮮明にするようにしてもよい。なお、「観察し難い領域」での画像が、観察者側に突出することによって、観察者に圧迫感を与えるのを解消するために、図１３の例においても、共通のレンズ１ＲＬ1を光軸方向に移動させることによって焦点位置を制御し、観察し難い領域（不鮮明な領域）の画像をボカするようにしてもよい。
また、図１３の例に示すように、左右の光学系１Ｌ，１Ｒに共通のレンズＲＬ1でフォーカスすると、立体角を調整することによって、観察し難さを解消させることができる。
第二実施形態の立体画像撮影表示システムのその他の構成は、第一実施形態の立体画像撮影表示システムと略同じである。
【００５８】
このように構成された第二実施形態の立体画像撮影表示システムでは、撮像手段１を介して撮像された観察対象２０の画像に対し図１４に示すような処理手順の処理を施した画像を、表示画面３に表示する。
まず、左右の撮像手段１を介して撮像された、視差の異なる左右の画像を融像して表示手段３を介して立体画像として表示するとした場合における、当該画像についての処理対象の初期領域を選択する（ステップＳ２１）。
【００５９】
次いで、計測手段２ａが、選択された領域において、左右の撮像手段１を介して撮像された、視差の異なる左右の画像を用いて、観察対象２０に対する立体計測を行い、視差の異なる左右の画像の融像位置を算出する（ステップＳ２２）。
【００６０】
次いで、検出手段２ｂが、観察者１０から表示手段３の表示面までの距離と、計測手段２ａを介して算出された視差の異なる画像の融像位置から表示手段３の表示面までの距離との比率Ｈ／Ｍを算出し、算出した比率が条件式(1)（２５％＜Ｈ／Ｍ）を満足する場合に、立体画像内で観察し難い領域として検出する（ステップＳ２３，Ｓ２４）。
選択された領域が立体画像内で観察し難い領域として検出された場合には、観察画像自動調整手段としての画像処理制御手段４”が、選択された領域での観察し難い状態を、観察し易い状態となるように、撮像手段１を制御する（ステップＳ２５）。そして、撮像手段１を介して、観察し易い状態となるように制御された画像が撮像され、画像加工手段２ｃを介して、撮像された画像に対して所定の処理を施した画像が作成される（ステップＳ２６）。
次いで、画像処理制御手段４”を介して撮像手段１による撮像が制御され、画像加工手段２ｃを介して処理された、選択された領域での画像を、画像表示手段３が表示する（ステップＳ２７）。
【００６１】
次いで、全ての領域についての選択が終了したかをチェックし（ステップＳ２８）、選択が終了していない場合は、左右の撮像手段１を介して撮像された、視差の異なる左右の画像における処理対象の次の領域を選択し（ステップＳ２９）、ステップＳ２２〜ステップＳ２８の処理を繰り返す。
これにより、観察される画像は、全体にわたって見易い画像となる。
【００６２】
第二実施形態の立体観察撮影表示システムによれば、撮像手段１を介して撮像された画像を用いて、画像処理手段２が観察し難い領域の有無を検出し、観察し難い領域があるときには、観察画像自動調整手段としての撮像制御手段４”が、選択された領域における観察し難い状態を、観察し易い状態となるように、視差の異なる左右一対の光学系同士の光軸間の距離が固定されたままの状態で撮像手段１を制御するようにしたので、撮像手段１を径方向に太くすることなく、立体観察画像における観察者に与える違和感を解消することができる。
【００６３】
第三実施形態
図１５は本発明の第三実施形態にかかる立体画像撮影表示システムの概略構成を示すブロック図、図１６は図１５の立体画像撮影表示システムの要部の一構成例を模式的に示す説明図、図１７は第三実施形態の立体画像撮影表示システムによる観察対象を撮影した画像の表示処理手順を示すフローチャートである。
【００６４】
第三実施形態の立体画像撮影表示システムは、図１５に示すように、左右の撮像手段１と、画像処理手段２と、表示手段３と、観察画像自動調整手段４”と、記憶手段５を有している。
左右の撮像手段１は、後述する観察画像自動調整手段４”を介して撮影が制御されるように構成されている。より詳しくは、第二実施形態と同様に、例えば、図１６に示すように、左右の撮像手段１が、共通のレンズ１ＲＬ1，１ＲＬ2を備え、レンズ１ＲＬ1が光軸方向に移動可能に配置され、光軸方向を移動することによって焦点距離を変化させることができるよう構成されている。
【００６５】
記憶手段５は、視差の異なる左右の画像を融像して表示手段３を介して立体画像として表示した場合における、その立体画像内で観察し難い領域を生じさせる物体（図１６では、処置具としての手術用ナイフ２１）についての少なくとも一部の物理量（例えば、形状・寸法、色、立体形状、分光特性）を予め記録して備えている。
画像処理手段２は、計測手段２ａ’と、検出手段２ｂ’と、画像加工手段２ｃを有して構成されている。
【００６６】
計測手段２ａ’は、観察対象２０（ここでは、術部に挿入される処置具である手術用ナイフ２１を含む）の少なくとも一部の物理量（例えば、形状・寸法、色、立体形状、分光特性）を計測する機能を有している。
検出手段２ｂ’は、視差の異なる左右の画像を融像して、表示手段３を介して立体画像として表示するとした場合における立体画像の各領域について、計測手段２ａ’を介して計測された観察対象２０（ここでは、手術用ナイフ２１を含む）の物理量を、記憶手段５に予め記憶された物体（ここでは、手術用ナイフ２１）の物理量と比較する。そして、その計測された観察対象２０の物理量と記憶手段５に予め記憶された物体（手術用ナイフ２１）の物理量とが一致した場合に立体画像内での観察し難い領域として検出する。
表示手段３は、第一実施形態と同様に、画像処理手段２を介して画像処理された画像を表示するように構成されている。
【００６７】
手術用ナイフ２１などの処置具は、形状が細長く、また光を強く反射するため、立体観察すると、観察し難くなることが多い。
このため、第三実施形態の立体画像撮影表示システムでは、予め処置具の形状・寸法、色、立体形状、分光特性などの物理量を記憶手段５を介して記憶させておき、観察対象２０を観察中に、観察対象２０の領域におけるこれらの物理量を計測手段２ａ’を介して測定する。そして、この計測手段２ａ’を介して測定された観察対象２０についての物理量と、記憶手段５を介して記憶させておいた物体２１の物理量を、検出手段２ｂ’を介して比較し、これらの物理量が一致したときに、観察し難い領域として検出し、第二実施形態の立体画像撮影表示システムと同様に、観察画像自動調整手段４”を介して観察し易い領域となるように、左右の撮像手段１に対して所定の制御を行い、撮像手段１による撮像が制御され、画像加工手段２ｃを介して作成された画像が表示手段３に表示されるようにしている。
第三実施形態の立体画像撮影表示システムのその他の構成は第二実施形態の立体画像撮影表示システムと略同じである。
【００６８】
このように構成された第三実施形態の立体画像撮影表示システムでは、撮像手段１を介して撮像された観察対象２０の画像に対し図１７に示すような処理手順の処理を施した画像を、表示画面３に表示する。
まず、左右の撮像手段１を介して撮像された、視差の異なる左右の画像を融像して表示手段３を介して立体画像として表示するとした場合における、画像の処理対象の初期領域を選択する（ステップＳ３１）。
【００６９】
次いで、計測手段２ａ’が、選択された領域において、左右の撮像手段１を介して撮像された、視差の異なる左右の画像を用いて、観察対象２０に対する立体計測を行い、観察対象２０についての少なくとも一部の物理量を計測する（ステップＳ３２）。
【００７０】
次いで、検出手段２ｂ’が、計測手段２ａ’を介して計測された物理量を、記憶手段５を介して予め記憶させておいた物体の物理量と比較し、計測した物理量が記憶させておいた物理量と一致する場合に、立体画像内で観察し難い領域として検出する（ステップＳ３３，Ｓ３４）。
選択された領域が立体画像内で観察し難い領域として検出された場合には、観察画像自動調整手段としての画像処理制御手段４”が、選択された領域での観察し難い状態を、観察し易い状態となるように、撮像手段１を制御する（ステップＳ３５）。そして、撮像手段１を介して、観察し易い状態となるように制御された画像が撮像され、画像加工手段２ｃを介して、撮像された画像に対して所定の処理を施した画像が作成される（ステップＳ３６）。
次いで、画像処理制御手段４”を介して撮像手段１による撮像が制御され、画像加工手段２ｃを介して処理された、選択された領域での画像を、画像表示手段３が表示する（ステップＳ３７）。
【００７１】
次いで、全ての領域についての選択が終了したかをチェックし（ステップＳ３８）、選択が終了していない場合は、左右の撮像手段１を介して撮像された、視差の異なる左右の画像における処理対象の次の領域を選択し（ステップＳ３９）、ステップＳ３２〜ステップＳ３８の処理を繰り返す。
これにより、観察される画像は、全体にわたって見易い画像となる。
【００７２】
第三実施形態の立体観察撮影表示システムによれば、撮像手段１を介して撮像された画像を用いて、画像処理手段２が観察し難い領域の有無を検出し、観察し難い領域があるときには、観察画像自動調整手段としての撮像制御手段４”が、選択された領域における観察し難い状態を、観察し易い状態となるように、視差の異なる左右一対の光学系同士の光軸間の距離が固定されたままの状態で撮像手段１を制御するようにしたので、撮像手段１を径方向に太くすることなく、立体観察画像における観察者に与える違和感を解消することができる。
そして、第三実施形態の立体観察撮影表示システムによれば、計測手段２ａ’を介して計測された観察対象２０の物理量を、記憶手段５を介して予め記憶させておいた物体の物理量と比較し、これらの物理量が一致した場合に立体画像内での観察し難い領域として検出するようにしたので、例えば、処置具を用いて手術中の術部を観察するような場合に、処置具により観察し難くなる状態を解消することができる。
【００７３】
なお、本発明の立体画像撮影表示システムは、上述した各実施形態の構成に限定されるものではなく、各実施形態の立体画像撮影表示システムにおける特徴的な構成を組み合わせても勿論よい。
例えば、観察画像自動調整手段４を、第一実施形態に示した画像処理制御手段４’としての機能と、第二実施形態及び第三実施形態に示した撮像制御手段４”としての機能とを兼ね備えて構成し、観察用途に応じて観察画像自動調整手段としての機能を、スイッチ等の切換手段を介して切換えるようにしてもよい。
また、さらに、画像処理手段２を、第一実施形態及び第二実施形態に示した計測手段２ａ、及び検出手段２ｂと、第三実施形態に示した計測手段２ａ’、検出手段２ｂ’、及び記憶手段５とを兼ね備えて構成し、観察用途に応じて観察画像自動調整手段としての機能を、スイッチ等の切換手段を介して切換えるようにしてもよい。
【産業上の利用可能性】
【００７４】
本発明の立体画像撮影表示システムは、例えば、手術用顕微鏡や手術用内視鏡を用いて凹凸のある術部を観察する医療、医学の分野に有用である。
【図面の簡単な説明】
【００７５】
【図１】本発明の立体画像撮影表示システムの基本的な概略構成の一例を示すブロック図である。
【図２】図１の立体画像撮影表示システムによる観察対象を撮影した画像の表示処理手順を示すフローチャートである。
【図３】本発明の第一実施形態にかかる立体画像撮影表示システムの概略構成を示すブロック図である。
【図４】図３の立体画像撮影表示システムの全体構成の一例を模式的に示す説明図である。
【図５】図４に示す立体画像撮影表示システムにおける撮像手段から画像処理手段に至るまでの具体的な構成を示す説明図である。
【図６】第一実施形態の立体画像撮影表示システムにおける撮像手段を構成する左右一対の撮像光学系を示す図である。
【図７】第一実施形態の立体画像撮影表示システムにおける三次元情報の計測原理を示す説明図である。
【図８】第一実施形態の立体画像撮影表示システムにおける、観察対象の画像を立体視した場合の画像の表示面からの飛び出し位置の算出方法を概略的に示す説明図である。
【図９】図８における観察対象（被写体）付近を示す説明図である。図１０は第一実施形態の立体画像撮影表示システムによる観察対象を撮影した画像の表示処理手順を示すフローチャートである。
【図１０】第一実施形態の立体画像撮影表示システムによる観察対象を撮影した画像の表示処理手順を示すフローチャートである。
【図１１】本発明の第二実施形態にかかる立体画像撮影表示システムの概略構成を示すブロック図である。
【図１２】図１１の立体画像撮影表示システムの要部の一構成例を模式的に示す説明図である。
【図１３】図１１の立体画像撮影表示システムの要部の他の構成例を模式的に示す説明図である。
【図１４】第二実施形態の立体画像撮影表示システムによる観察対象を撮影した画像の表示処理手順を示すフローチャートである。
【図１５】本発明の第三実施形態にかかる立体画像撮影表示システムの概略構成を示すブロック図である。
【図１６】図１５の立体画像撮影表示システムの要部の一構成例を模式的に示す説明図である。
【図１７】第三実施形態の立体画像撮影表示システムによる観察対象を撮影した画像の表示処理手順を示すフローチャートである。
【図１８】特許文献１に記載の内視鏡の映像表示装置の構成についての説明図であり、(a)は内視鏡挿入部先端の観察光学系の配置構成を示す図、(b)は視差調整動作の説明図である。
【符号の説明】
【００７６】
１ 撮像手段
１Ｌ 左眼用光学系
１Ｌ1 左眼用対物レンズ
１Ｌ13 左右一対の光学系１Ｌ，１Ｒに夫々別個に設けられたレンズ
１ＬM 左眼用撮像素子
１Ｌa 左眼用ビデオアンプ
１Ｌb 左眼用Ａ／Ｄ変換器
１Ｌc 左眼用フレームメモリ
１Ｒ 右眼用光学系
１Ｒ1 右眼用対物レンズ
１Ｒ13 レンズ
１ＲM 右眼用撮像素子
１Ｒa 右眼用ビデオアンプ
１Ｒb 右眼用Ａ／Ｄ変換器
１Ｒc 右眼用フレームメモリ
１ＲＬ1 レンズ
１ＲＬ2 レンズ
２ 画像処理手段
２ａ，２ａ’ 計測手段
２ｂ，２ｂ’ 検出手段
２ｃ 画像加工手段
３ 表示手段（３Ｄモニタ）
４ 観察画像自動調整手段
４’ 観察画像自動調整手段（画像処理制御手段）
４” 観察画像自動調整手段（撮像制御手段）
１０ 観察者
２０ 観察対象（被写体）
２１ 手術用ナイフ（立体画像内で観察し難い領域を生じさせる物体）
【技術分野】
【０００１】
本発明は、例えば、内視鏡を用いた手術における術部の立体画像の観察等に用いる立体画像撮影表示システムに関するものである。
【背景技術】
【０００２】
従来、この種の立体画像撮影表示システムとしては、例えば、次の特許文献１に記載の内視鏡の映像表示装置がある。
【特許文献１】特開平６−２６１８６０号公報
【０００３】
図１８は特許文献１に記載の内視鏡の映像表示装置の構成についての説明図であり、(a)は内視鏡挿入部先端の観察光学系の配置構成を示す図、(b)は視差調整動作の説明図である。
この立体画像撮影表示システムでは、撮像素子と物体との距離を測定し、その距離に応じて、立体角（左右視差量）を変更できるようにすることで、観察対象の立体映像の見やすさを向上させている。
即ち、図１８(a)に示すように、測距部５１における赤外線出射部５２からの被写体Ｍへの赤外線の照射、赤外線センサ５３による被写体Ｍで反射した赤外線の受光を介して、被写体Ｍと左右の固体撮像素子６１，６２との距離を測定する。そして、この測距部５１で測定した距離に基づき、制御部（図示省略）が視差調整機構（図示省略）を駆動して、左右の固体撮像素子６１，６２間の視差を調整することで、良好な観察対象物の立体映像が得られるようにしている。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１に記載の内視鏡の映像表示装置は、図１８(b)に示すように、立体角を変更するために、左右の固体撮像素子６１，６２の光軸間の間隔を移動させるようにしている。このため、撮像ユニットが径方向に太くなってしまう。撮像ユニットの径が太くなると、特に内視鏡等の機器においては患者への挿入性が大きく阻害され、患者への肉体的負担が増大してしまう。
【０００５】
また、一般に術部は平らではなく、凹凸を含んでいる。このため、凹凸のある術部を立体観察したときに、観察する画像の一部が突出したように見えることがある。しかし、立体観察している画像の一部に、突出したように見える部分があると、観察者は立体観察画像に違和感を受け、観察に支障を来たしやすい。
【０００６】
本発明は上記従来の課題に鑑みてなされたものであり、撮像ユニットを径方向に太くすることなく、立体観察画像における観察者に与える違和感を解消可能な立体画像撮影表示システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明による立体画像撮影表示システムは、視差の異なる左右一対の光学系を有する左右の撮像手段と、該左右の撮像手段を介して撮像された視差の異なる左右の画像を用いて、所定の画像処理を施す画像処理手段と、該画像処理手段を介して画像処理された画像を表示する表示手段とを有し、該左右の撮像手段、画像処理手段、及び表示手段を介して観察対象の立体画像を観察可能にする立体画像撮影表示システムであって、前記画像処理手段が、前記左右の撮像手段を介して撮像された、前記視差の異なる左右の画像を用いて、前記観察対象に対する立体計測を行う機能を少なくとも有する計測手段と、前記計測手段を介して得られた結果に基づいて、前記視差の異なる左右の画像を融像して前記表示手段を介して立体画像として表示するとした場合における該立体画像内での観察し難い領域の有無を検出する検出手段と、所定の画像加工を行う画像加工手段とを有し、さらに、前記検出手段を介して前記観察し難い領域が検出された場合に、該検出された領域の観察し難い状態を観察し易い状態にして、前記表示手段に画像表示されるように、前記視差の異なる左右一対の光学系同士の光軸間の距離を固定した状態で前記撮像手段又は前記画像処理手段を制御する、観察画像自動調整手段を備えたことを特徴としている。
【０００８】
また、本発明の立体画像撮影表示システムにおいては、前記画像加工手段は、前記左右の撮像手段を介して撮像された、前記視差の異なる左右の画像を用いて、前記所定の画像加工を行うのが好ましい。
【０００９】
また、本発明の立体画像撮影表示システムにおいては、前記計測手段は、前記視差の異なる左右の画像の融像位置を算出する機能を有し、前記検出手段は、前記視差の異なる左右の画像を融像して前記表示手段を介して立体画像として表示するとした場合における該立体画像の各領域について、観察者から該表示手段の表示面までの距離と、前記計測手段を介して算出された前記視差の異なる画像の融像位置から前記表示手段の表示面までの距離との比率を算出し、算出した比率が次の条件式(1)を満足する場合に立体画像内での観察し難い領域として検出するのが好ましい。
２５％＜Ｈ／Ｍ ・・・(1)
但し、Ｈは計測手段を介して算出された視差の異なる画像の融像位置の、表示手段の表示面からの飛び出し量、Ｍは観察者から表示手段の表示面までの距離である。
【００１０】
また、本発明の立体画像撮影表示システムにおいては、前記計測手段は、前記視差の異なる左右の画像の融像位置を算出する機能を有し、前記検出手段は、前記視差の異なる左右の画像を融像して前記表示手段を介して立体画像として表示するとした場合における該立体画像の各領域について、観察者から該表示手段の表示面までの距離と、前記計測手段を介して算出された前記視差の異なる画像の融像位置から前記表示手段の表示面までの距離との比率を算出し、算出した比率が次の条件式(1')を満足する場合に立体画像内での観察し難い領域として検出するのが好ましい。
１５％＜Ｈ／Ｍ ・・・(1')
但し、Ｈは計測手段を介して算出された視差の異なる画像の融像位置の、表示手段の表示面からの飛び出し量、Ｍは観察者から表示手段の表示面までの距離である。
【００１１】
また、本発明の立体画像撮影表示システムにおいては、前記観察画像自動調整手段が、前記画像加工手段に、前記立体画像における前記観察し難い領域での所定の画像特性を観察し易い状態となるように変換させる、画像処理制御手段よりなるのが好ましい。
【００１２】
また、本発明の立体画像撮影表示システムにおいては、前記画像処理制御手段が、前記画像加工手段に、前記立体画像における観察し難い領域を、３次元画像から２次元画像へと変換させるのが好ましい。
【００１３】
また、本発明の立体画像撮影表示システムにおいては、前記画像処理制御手段が、前記画像加工手段に、前記立体画像における全領域を、３次元画像から２次元画像へと変換させるのが好ましい。
【００１４】
また、本発明の立体画像撮影表示システムにおいては、前記画像処理制御手段が、前記画像加工手段に、前記立体画像における観察し難い領域での明るさを変更させるのが好ましい。
【００１５】
また、本発明の立体画像撮影表示システムにおいては、前記画像処理制御手段が、前記画像加工手段に、前記立体画像における観察し難い領域での周波数を変更させるのが好ましい。
【００１６】
また、本発明の立体画像撮影表示システムにおいては、前記観察画像自動調整手段が、前記立体画像における前記観察し難い領域での所定の画像特性が観察し易い状態となるように、前記左右の撮像手段に対して所定の制御を行う、撮像制御手段であるのが好ましい。
【００１７】
また、本発明の立体画像撮影表示システムにおいては、前記撮像制御手段は、前記左右の撮像手段に備わる光学系の絞りを制御するのが好ましい。
【００１８】
また、本発明の立体画像撮影表示システムにおいては、前記撮像制御手段は、前記左右の撮像手段に備わる光学系の焦点位置を制御するのが好ましい。
【００１９】
また、本発明の立体画像撮影表示システムにおいては、前記撮像手段は、前記左右一対の光学系に共通の光学部材を有し、前記撮像制御手段は、前記左右の撮像手段に備わる前記共通の光学部材を介して焦点位置を制御するのが好ましい。
【００２０】
また、本発明の立体画像撮影表示システムにおいては、さらに、前記視差の異なる左右の画像を融像して前記表示手段を介して立体画像として表示した場合における該立体画像内で観察し難い領域を生じさせる原因となる物体についての少なくとも一部の物理量を予め記憶する記憶手段を有するとともに、前記計測手段は、前記観察対象の少なくとも一部の物理量を計測する機能を有し、前記検出手段は、前記視差の異なる左右の画像を融像して前記表示手段を介して立体画像として表示するとした場合における該立体画像の各領域について、前記計測手段を介して計測された観察対象の物理量を、前記記憶手段を介して予め記憶させておいた物体の物理量と比較し、これらの物理量が一致した場合に立体画像内での観察し難い領域として検出するのが好ましい。
【００２１】
また、本発明の立体画像撮影表示システムにおいては、前記物理量が、形状寸法、色、立体形状、分光特性のいずれかであるのが好ましい。
【００２２】
また、本発明の立体画像撮影表示システムにおいては、前記記憶手段による物理量の記憶対象となる物体には、処置具が含まれるのが好ましい。
【発明の効果】
【００２３】
本発明によれば、撮像ユニットを径方向に太くすることなく、立体観察画像における観察者に与える違和感を解消可能な立体画像撮影表示システムが得られる。
【発明を実施するための最良の形態】
【００２４】
図１は本発明の立体画像撮影表示システムの基本的な概略構成の一例を示すブロック図、図２は図１の立体画像撮影表示システムによる観察対象を撮影した画像の表示処理手順を示すフローチャートである。
図１に示す立体画像撮影表示システムは、左右の撮像手段１と、画像処理手段２と、表示手段３を有している。
左右の撮像手段１は、視差の異なる左右一対の光学系として、左眼用光学系１Ｌと右眼用光学系１Ｒを有し、視差の異なる観察対象をリアルタイムに撮像するように構成されている。
画像処理手段２は、左右の撮像手段１を介して撮像された視差の異なる左右の画像を用いて、所定の画像処理を施すように構成されている。
表示手段３は、画像処理手段２を介して画像処理された画像を表示するように構成されている。
そして、左右の撮像手段１、画像処理手段２、及び表示手段３を介して観察対象（図１において省略）の立体画像を観察することができるようになっている。
【００２５】
また、図１に示す立体画像撮影表示システムは、画像処理手段２が計測手段２ａと検出手段２ｂと画像加工手段２ｃとを有するとともに、さらに、観察画像自動調整手段４を備えている。
計測手段２ａは、左右の撮像手段１を介して撮像された、視差の異なる左右の画像を用いて、観察対象に対する立体計測を行う機能を少なくとも有している。
検出手段２ｂは、計測手段２ａを介して得られた結果に基づいて、視差の異なる左右の画像を融像して表示手段３を介して立体画像として表示するとした場合における、その立体画像内での観察し難い領域の有無を検出するように構成されている。
画像加工手段２ｃは、左右の撮像手段１を介して撮像された、視差の異なる左右の画像を用いて、所定の画像加工を行うように構成されている。
【００２６】
観察画像自動調整手段４は、検出手段２ｂを介して観察し難い領域が検出された場合に、検出された領域の観察し難い状態を観察し易い状態にして、表示手段３に画像表示されるように、視差の異なる左右一対の光学系１Ｌ，１Ｒ同士の光軸間の距離を固定した状態で撮像手段１又は画像処理手段２を制御するように構成されている。
【００２７】
このように構成された図１の立体画像撮影表示システムでは、撮像手段１を介して撮像した観察対象の画像に対し図２に示すような処理手順の処理を施した画像を、表示手段３に表示する。
まず、左右の撮像手段１を介して撮像された、視差の異なる左右の画像を融像して表示手段３を介して立体画像として表示するとした場合における、当該画像についての処理対象の初期領域を選択する（ステップＳ１）。
【００２８】
次いで、計測手段２ａが、選択された領域において、左右の撮像手段１を介して撮像された、視差の異なる左右の画像を用いて、観察対象に対する立体計測を行う（ステップＳ２）。
【００２９】
次いで、検出手段２ｂが、計測手段２ａを介して得られた結果に基づいて、立体画像内で観察し難い領域を検出する（ステップＳ３，Ｓ４）。
選択された領域が立体画像内で観察し難い領域として検出された場合には、観察画像自動調整手段４が、選択された領域における観察し難い状態を、観察し易い状態となるように、視差の異なる左右一対の光学系１Ｌ，１Ｒ同士の光軸間の距離が固定されたままの状態で撮像手段１又は画像処理手段２を制御する（ステップＳ５）。そして、画像加工手段２ｃが、観察し易い状態となるように制御された画像を作成する（ステップＳ６）。
次いで、観察画像自動調整手段４を介して制御され、画像加工手段２を介して作成された、選択された領域での画像を、画像表示手段３が表示する（ステップＳ７）。
【００３０】
次いで、全ての領域についての選択が終了したかをチェックし（ステップＳ８）、選択が終了していない場合は、左右の撮像手段１を介して撮像された、視差の異なる左右の画像における処理対象の次の領域を選択し（ステップＳ９）、ステップＳ２〜ステップＳ８の処理を繰り返す。
これにより、観察される画像は、全体にわたって見易い画像となる。
【００３１】
このように、本発明の立体観察撮影表示システムによれば、撮像手段１を介して撮像された画像を用いて、画像処理手段２が観察し難い領域の有無を検出し、観察し難い領域があるときには、観察画像自動調整手段４が、選択された領域における観察し難い状態を、観察し易い状態となるように、視差の異なる左右一対の光学系同士の光軸間の距離が固定されたままの状態で撮像手段１又は画像処理手段２を制御するようにしたので、撮像手段１を径方向に太くすることなく、立体観察画像における観察者に与える違和感を解消することができる。
【００３２】
第一実施形態
図３は本発明の第一実施形態にかかる立体画像撮影表示システムの概略構成を示すブロック図、図４は図３の立体画像撮影表示システムの全体構成の一例を模式的に示す説明図である。図５は図４に示す立体画像撮影表示システムにおける撮像手段から画像処理手段に至るまでの具体的な構成を示す説明図である。図６は第一実施形態の立体画像撮影表示システムにおける撮像手段を構成する左右一対の撮像光学系を示す図、図７は第一実施形態の立体画像撮影表示システムにおける三次元情報の計測原理を示す説明図である。図８は第一実施形態の立体画像撮影表示システムにおける、観察対象の画像を立体視した場合の画像の表示面からの飛び出し位置の算出方法を概略的に示す説明図、図９は図８における観察対象（被写体）付近を示す説明図である。図１０は第一実施形態の立体画像撮影表示システムによる観察対象を撮影した画像の表示処理手順を示すフローチャートである。
【００３３】
第一実施形態の立体画像撮影表示システムは、図３に示すように、左右の撮像手段１と、画像処理手段２と、表示手段３と、観察画像自動調整手段４’を有している。
左右の撮像手段１は、視差の異なる左右一対の光学系として、左眼用光学系１Ｌと右眼用光学系１Ｒを有し、視差の異なる観察対象をリアルタイムに撮像するように構成されている。左眼用光学系１Ｌは、図４に示すように、左眼用対物レンズ１Ｌ1と、左眼用撮像素子１ＬMを有している。右眼用光学系１Ｒは、右眼用対物レンズ１Ｒ1と、右眼用撮像素子１ＲMを有している。左右一対の対物レンズ１Ｌ1，１Ｒ1は、所定の距離Ｌを隔て配置されており、視差Ｌを隔てた観察対象２０の像を左右一対の撮像素子１ＬM，１ＲM上に結像させるように構成されている。左右一対の撮像素子１ＬM，１ＲMは、ＣＣＤ等で構成されている。
また、左右の撮像手段１は、左右一対の撮像素子１ＬM，１ＲMと画像処理手段２との間に、例えば図５に示すように、左右一対のビデオアンプ１Ｌa，１Ｒa、左右一対のＡ／Ｄ変換器１Ｌb，１Ｒb、左右一対のフレームメモリ１Ｌc，１Ｒcを備えている。そして、左右の撮像素子１ＬM，１ＲMで撮像された画像の出力を、夫々、ビデオアンプ１Ｌa，１Ｒaで増幅し、Ａ／Ｄ変換器１Ｌb，１Ｒbでデジタル信号に変換し、フレームメモリ１Ｌc，１Ｒcに格納するようになっている。
【００３４】
ここで、フレームメモリ１Ｌc，１Ｒcに格納される左右の画像は、視差Ｌをもって撮像された画像であり、これら両画像における観察対象２０上の同一点の位置ずれに観察対象２０の３次元情報が含まれている。フレームメモリにフレームメモリ１Ｌc，１Ｒcに格納された画像データは、画像処理手段２に供給され、画像処理手段２において、視差Ｌのデータに基づいて、所定の画像処理が施され、観察対象２０の凹凸や、長さ、面積等の３次元情報が計算される。
【００３５】
画像処理手段２は、図３に示すように、計測手段２ａと、検出手段２ｂと、画像加工手段２ｃを有している。
計測手段２ａは、左右の撮像手段１を介して撮像された、視差の異なる左右の画像を用いて、観察対象に対する立体計測を行う機能を少なくとも有している。
検出手段２ｂは、計測手段２ａを介して得られた結果に基づいて、視差の異なる左右の画像を融像して表示手段３を介して立体画像として表示するとした場合における、その立体画像内での観察し難い領域の有無を検出するように構成されている。
画像加工手段２ｃは、左右の撮像手段１を介して撮像された、視差の異なる左右の画像を用いて、所定の画像加工を行うように構成されている。
【００３６】
表示手段３は、画像処理手段２を介して画像処理された画像を表示するように構成されている。
観察画像自動調整手段４’は、検出手段２ｂを介して観察し難い領域が検出された場合に、画像加工手段２ｃに、立体画像における観察し難い領域での所定の画像特性を観察し易い状態となるように変換させる、画像処理制御手段としての機能を有している。
【００３７】
ここで、画像処理手段２の計測手段２ａにおける３次元情報の計測原理について説明する。
図６に示すように、視差Ｌを有する第１の視点としての右眼用対物レンズ１Ｒ1による画像と、第２の視点としての左眼用対物レンズ１Ｌ1による画像とを、それぞれ撮像素子１ＲM，１ＬMで撮像する場合、これらの撮像素子１ＲM，１ＬM上における夫々の画像と観察対象２０との幾何学的対応は図７に示すようになる。ここで、対物レンズ１Ｒ1，１Ｌ1の中心の位置をＯ1，Ｏ2、そのとき得られる画像をＰ1，Ｐ2、対物レンズ１Ｒ1，１Ｌ1の焦点位置をｆとする。この場合、観察対象２０の任意の点Ａ，Ｂは、画像Ｐ1上ではａ1，ｂ1の位置に、また、画像Ｐ2上ではａ2，ｂ2の位置にそれぞれ写しとられるので、これらの画像を、中心を合わせて重ね合わせると、ａ1，ｂ1の点は、画像Ｐ2上ではａ1’，ｂ1’の位置に相当する。このときのａ1’とａ2との間の距離をｄa、ｂ1’とｂ2との間の距離をｄbとする。また、位置Ｏ1，Ｏ2を含む面Ｐ0と観察対象２０の点Ａとの間の距離をｈA、面Ｐ0と点Ｂとの間の距離をｈBとすると、距離ｈAと距離ｄaとの間には、三角形ＡＯ1Ｏ2と三角形Ｏ2ａ1’ａ2との相似関係より、次の関係式(a)が成り立つ。
ｈA／Ｌ＝ｆ／ｄa ・・・(a)
【００３８】
したがって、距離ｈAは次式(b)で求めることができる。
ｈA＝（ｆ・Ｌ）／ｄa ・・・(b)
同様にして、距離ｈBは次式(c)で求めることができる。
ｈB＝（ｆ・Ｌ）／ｄb ・・・(c)
このように、視差がＬ異なる２つの画像Ｐ1，Ｐ2における対応点間の距離ｄa，ｄbを求めることによって、その点の観察対象２０上での高さ方向の絶対的大きさｈA，ｈBを求めることができる。
【００３９】
次に、観察対象２０上における任意の点の間の距離の絶対的大きさを求める場合について説明する。
画像Ｐ1における中心をｃ1とし、画像Ｐ1上でｃ1とａ1との間及びｃ1とｂ1との間の距離をそれぞれｅa及びｅbとする。また、位置Ｏ1から垂直に観察対象２０上に下した直線Ｉと点Ａ及び点Ｂとの間の距離をそれぞれＷA及びＷBとすると、まず、距離ＷAと距離ｅaとの間には、比例関係より、
ＷA／ｈA＝ｅa／ｆ ・・・（d）
が成立する。よって、この式(d)に上記式(b)を代入すると、ＷAは次式(e)により求めることができる。
ＷA＝（ｅa・ｈA）／ｆ＝（ｅa・ｆ・Ｌ）／（ｆ・ｄa）＝（ｅa・Ｌ）／ｄa
・・・(e)
同様に、Ｗｂは次式(f)で求められる。
ＷB＝（ｅb・Ｌ）／ｄb ・・・(f)
したがって、観察対象２０を面Ｐ0と平行な平面に投影したときの点Ａと点Ｂとの間の距離ＷABは、次式(g)のようにして求めることができる。
ＷAB＝ＷB−ＷA＝Ｌ[（ｅb／ｄb）−（ｅa／ｄa）] ・・・(g)
これにより、画像Ｐ1上で観察対象２０上での任意の点間の距離の絶対的大きさを測定することができる。
【００４０】
次に、上述した２つの画像Ｐ1及び画像Ｐ2において、対応する点間の距離ｄを求める場合について説明する。この距離ｄは、基本的には２つの画像Ｐ1，Ｐ2の中の小領域における相関を調べることによって求める。ここで、２つの画像Ｐ1，Ｐ2内の小領域を関数ｆ（ｒ），ｇ（ｒ）で表わし、関数ｇ（ｒ）が関数ｆ（ｒ）と比べてＤだけシフトしているものとする。つまり、ｇ（ｒ）＝ｆ（ｒ−Ｄ）と仮定する。ただし、ｒは二次元を表わす座標である。この場合の関数ｆ（ｒ）と関数ｇ（ｒ）との相関は次式(h)で定義される。
・・・(h)
但し、Ａは小領域の面積を表わすものとする。以下、この式(h)をφ（ｓ）＝ｆ（ｒ）＊ｇ（ｒ）と略記する。
上記式(h)をフーリエ変換すると、
Φ（ｕ）＝Ｆ（ｕ）・Ｇ*（ｕ） ・・・(i)
となる。なお、Ｆ（ｕ）は関数ｆ（ｒ）をフーリエ変換した関数を示し、Ｇ（ｕ）は関数ｇ（ｒ）をフーリエ変換した関数を示す。
【００４１】
ここで、ｇ（ｒ）＝ｆ（ｒ−Ｄ）の条件を使うと、上記式(i)は、
Φ（ｕ）＝Ｆ（ｕ）・Ｆ*（ｕ）・ｅ-j・2π・u・D ・・・(j)
となり、これを逆フーリエ変換すると、次式(k)のようになる。
φ（Ｓ）＝Ｒff（t）＊δ（ｔ−Ｄ） ・・・(k)
但し、この式(k)においては、Ｒff（t）がｆ（ｒ）の自己相関関数で、
Ｒff（t）＝ｆ（ｒ）＊ｆ（ｒ） ・・・(l）
で表わされることを、またｅ-j・2π・u・Dの逆フーリエ変換がδ（ｔ−Ｄ）となることを用いている。
【００４２】
上記式(k)は相関関数φ（Ｓ）がＳ＝Ｄのところでピークを有することを示している。したがって、相関関数φ（Ｓ）を求め、そのピークの位置Ｄを調べることにより、関数ｇ（ｒ）が関数ｆ（ｒ）に対してどれだけシフトしているかを決定することができる。このことを利用して、２つの画像Ｐ1，Ｐ2から対応する小領域を求め、対応する点間の距離ｄを求めることができる。
【００４３】
次に、検出手段２ｂにおける観察し難い領域を検出するための判断指標を図８及び図９を用いて説明する。
図８は観察対象の画像を立体視した場合の画像の飛び出す位置の算出方法を示す概略図、図９は図８における観察対象付近を示す拡大図である。
ここでは、観察対象２０である物体の任意の点ａ（ｘ1、ｚ1）を表示手段３としての３Ｄモニターを介して観察した場合における、融像した画像の３Ｄモニターの表示面からの飛び出し量Ｈを算出することとする。
まず、計測手段２ａを介して立体計測された任意の点ａ（ｘ1、ｚ1）と左眼用光学系１Ｌの光軸Ｃｌとのｘ方向の距離は図９より、
ｘ1＋[ｚ1×ｔａｎ（α／２）]
同様に、任意の点ａ（ｘ1、ｚ1）と右眼用光学系１Ｒの光軸Ｃｒとのｘ方向の距離は、
ｘ1−[ｚ1×ｔａｎ（α／２）]
となる。
【００４４】
ここで、このｘ方向の距離は、対物レンズ１Ｌ1，１Ｒ1を介在させると、撮像素子としてのＣＣＤ１ＬM，１ＲMの面上では縦倍率βがかかる。このため、距離ａ’、ｂ’は、図８に示すように、
ａ’＝（ｘ1＋ｚ1×ｔａｎ（α／２）×β（ｘ）
ｂ’＝（ｘ1−ｚ1×ｔａｎ（α／２）×β（ｘ）
となる。但し、β（ｘ）は、対物レンズ１Ｌ1，１Ｒ1のｘ方向の距離に対する縦倍率である。
【００４５】
また、距離ａ’，ｂ’を３Ｄモニターに表示すると、３Ｄモニター上での距離ａ”，ｂ”は、ＣＣＤの大きさに対する表示面の大きさを表示倍率ｒとすると、
ａ”＝（ｘ1＋ｚ1×ｔａｎ（α／２）×β（ｘ）×ｒ
ｂ”＝（ｘ1−ｚ1×ｔａｎ（α／２）×β（ｘ）×ｒ
となる。
【００４６】
しかるに、本件出願人は、観察者からモニターまでの距離Ｍと飛び出し量Ｈとの比率を変えて、立体観察画像の観察のし難さを調べるという実験を繰り返した。その結果、立体観察画像における観察のし難さ（見にくさ）の判断指標は、観察者１０から表示手段３である３Ｄモニターまでの距離Ｍと飛び出し量Ｈとの比率で決まることが判明した。
ここで、距離Ｍに対する飛び出し量Ｈの比率Ｈ／Ｍを３Ｄモニター上での距離ａ”，ｂ”、眼幅距離Ｗで表わすことする。
図８より、
（Ｍ−Ｈ）：Ｈ＝Ｗ：（ａ”−ｂ”）
が成り立つため、
Ｈ／Ｍ＝（ａ”−ｂ”）／（Ｗ＋ａ”−ｂ”）
＝２ｚ1×ｔａｎ（α／２）×β（ｘ）×ｒ／（Ｗ＋２ｚ1×ｔａｎ（α／２）×β（ｘ）×ｒ）
となる。
そして、次の条件式(1)を満足するときに、立体画像が見難くなると判断することができることが実験により判明した。
２５％＜Ｈ／Ｍ ・・・(1)
第一実施形態の立体画像撮影表示システムでは、検出手段２ｂは、算出した比率Ｈ／Ｍが件式(1)を満足する場合に立体画像内での観察し難い領域であるとして検出するように構成されている。
なお、次の条件式(1')を満足する場合に立体画像内での観察し難い領域であるとして検出するのが好ましい。
１５％＜Ｈ／Ｍ ・・・(1')
【００４７】
画像処理制御手段４’は、画像加工手段２ｃに、立体画像における観察し難い領域での明るさの変更処理を行わせるように制御しており、例えば、図４に示すように、観察し難い領域を部分的に暗くする処理を行わせるように制御している。
なお、画像処理制御手段４’は、画像加工手段２ｃへの制御としては、その他に、立体画像における観察し難い領域での周波数を変更する処理を行わせて、観察し難い領域をボカすようにしてもよい。または、観察し難い領域を、２次元画像に変換する画像加工処理を行わせるようにしてもよい。さらには、観察し難い領域が検出された場合に画像領域全体を２次元画像に変換する画像加工処理を行わせるようにしてもよい。その場合は、左右いずれかの画像を、左右共通の画像として用いるようにするとよい。
【００４８】
このように構成された第一実施形態の立体画像撮影表示システムでは、撮像手段１を介して撮像された観察対象２０の画像に対し図１０に示すような処理手順の処理を施した画像を、表示手段３に表示する。
まず、左右の撮像手段１を介して撮像された、視差の異なる左右の画像を融像して表示手段３を介して立体画像として表示するとした場合における、当該画像についての処理対象の初期領域を選択する（ステップＳ１１）。
【００４９】
次いで、計測手段２ａが、選択された領域において、左右の撮像手段１を介して撮像された、視差の異なる左右の画像を用いて、観察対象２０に対する立体計測を行い、視差の異なる左右の画像の融像位置を算出する（ステップＳ１２）。
【００５０】
次いで、検出手段２ｂが、観察者１０から表示手段３の表示面までの距離と、計測手段２ａを介して算出された視差の異なる画像の融像位置から表示手段３の表示面までの距離との比率Ｈ／Ｍを算出し、算出した比率が条件式(1)（２５％＜Ｈ／Ｍ）を満足する場合に、立体画像内で観察し難い領域として検出する（ステップＳ１３，Ｓ１４）。
選択された領域が立体画像内で観察し難い領域として検出された場合には、観察画像自動調整手段としての画像処理制御手段４’が、選択された領域での観察し難い状態を、観察し易い状態となるように、画像加工手段２ｃを制御する（ステップＳ１５）。そして、画像加工手段２ｃが、観察し易い状態となるように制御された画像を作成する（ステップＳ１６）。
次いで、画像処理制御手段４’を介して制御され、画像加工手段２ｃを介して作成された、選択された領域での画像を、画像表示手段３が表示する（ステップＳ１７）。
【００５１】
次いで、全ての領域についての選択が終了したかをチェックし（ステップＳ１８）、選択が終了していない場合は、左右の撮像手段１を介して撮像された、視差の異なる左右の画像における処理対象の次の領域を選択し（ステップＳ１９）、ステップＳ１２〜ステップＳ１８の処理を繰り返す。
これにより、観察される画像は、全体にわたって見易い画像となる。
【００５２】
第一実施形態の立体観察撮影表示システムによれば、撮像手段１を介して撮像された画像を用いて、画像処理手段２が観察し難い領域の有無を検出し、観察し難い領域があるときには、観察画像自動調整手段としての画像処理制御手段４’が、選択された領域における観察し難い状態を、観察し易い状態となるように、視差の異なる左右一対の光学系同士の光軸間の距離が固定されたままの状態で画像処理手段２を制御するようにしたので、撮像手段１を径方向に太くすることなく、立体観察画像における観察者に与える違和感を解消することができる。
【００５３】
第二実施形態
図１１は本発明の第二実施形態にかかる立体画像撮影表示システムの概略構成を示すブロック図、図１２は図１１の立体画像撮影表示システムの要部の一構成例を模式的に示す説明図、図１３は図１１の立体画像撮影表示システムの要部の他の構成例を模式的に示す説明図である。図１４は第二実施形態の立体画像撮影表示システムによる観察対象を撮影した画像の表示処理手順を示すフローチャートである。
【００５４】
第二実施形態の立体画像撮影表示システムは、図１１に示すように、左右の撮像手段１と、画像処理手段２と、表示手段３と、観察画像自動調整手段４”を有している。
左右の撮像手段１は、後述する観察画像自動調整手段４”を介して撮影が制御されるように構成されている。より詳しくは、例えば、図１２に示すように、左眼用対物レンズ１Ｌ1と右眼用対物レンズ１Ｒ1は、夫々の光軸方向に移動可能に配置されており、夫々光軸方向に移動することによって焦点位置を変化させることができるようになっている。
【００５５】
また、例えば、図１３に示すように、左右の撮像手段１が、共通のレンズ１ＲＬ1，１ＲＬ2を備え、レンズ１ＲＬ1が光軸方向に移動可能に配置され、光軸方向を移動することによって焦点距離を変化させることができるようにしてもよい。なお、図１３中、１Ｌ13、１Ｒ13は、左右一対の光学系１Ｌ，１Ｒに夫々別個に設けられたレンズである。
画像処理手段２は、第一実施形態と同様に、計測手段２ａと、検出手段２ｂと、画像加工手段２ｃを有して構成されている。
表示手段３は、第一実施形態と同様に、画像処理手段２を介して画像処理された画像を表示するように構成されている。
【００５６】
観察画像自動調整手段４”は、検出手段２ｂを介して観察し難い領域が検出された場合に、立体画像における観察し難い領域での所定の画像特性が観察し易い状態となるように、左右の撮像手段１に対して所定の制御を行う、撮像制御手段としての機能を有している。
例えば、図１２に示すように、左右の撮像手段１に備わる光学系１Ｌ，１Ｒの対物レンズ１Ｌ1，１Ｒ1が可動である場合、光学系１Ｌ1，１Ｒ1を夫々の光軸方向に移動させることによって焦点位置を制御する。これにより、観察し難い領域の画像をボカす。
或いは、図示を省略したが、左右の撮像手段１に備わる光学系１Ｒ，１Ｌの瞳位置に絞り開閉機構を備え、その絞り開閉機構を制御することにより、観察し難い領域については、絞りを開くことで被写界深度を浅くしてボカすようにするとよい。
【００５７】
なお、「観察し難い領域」での画像が、観察者側に突出することによって、観察者に圧迫感などの違和感を与える場合の他に、場合によっては、観察者側に突出することによって、その部分の像がボケて不鮮明になり、画像全体として観察者に違和感を与える場合も生じ得る。
そこで、「観察し難い領域」での画像が、不鮮明になるのを解消するために、例えば、図１３に示す例において、左右の撮像手段１に備わる光学系１Ｒ，１Ｌに共通のレンズ１ＲＬ1を光軸方向に移動させることによって焦点位置を制御し、観察し難い領域（不鮮明な領域）の画像を鮮明にするようにしてもよい。なお、「観察し難い領域」での画像が、観察者側に突出することによって、観察者に圧迫感を与えるのを解消するために、図１３の例においても、共通のレンズ１ＲＬ1を光軸方向に移動させることによって焦点位置を制御し、観察し難い領域（不鮮明な領域）の画像をボカするようにしてもよい。
また、図１３の例に示すように、左右の光学系１Ｌ，１Ｒに共通のレンズＲＬ1でフォーカスすると、立体角を調整することによって、観察し難さを解消させることができる。
第二実施形態の立体画像撮影表示システムのその他の構成は、第一実施形態の立体画像撮影表示システムと略同じである。
【００５８】
このように構成された第二実施形態の立体画像撮影表示システムでは、撮像手段１を介して撮像された観察対象２０の画像に対し図１４に示すような処理手順の処理を施した画像を、表示画面３に表示する。
まず、左右の撮像手段１を介して撮像された、視差の異なる左右の画像を融像して表示手段３を介して立体画像として表示するとした場合における、当該画像についての処理対象の初期領域を選択する（ステップＳ２１）。
【００５９】
次いで、計測手段２ａが、選択された領域において、左右の撮像手段１を介して撮像された、視差の異なる左右の画像を用いて、観察対象２０に対する立体計測を行い、視差の異なる左右の画像の融像位置を算出する（ステップＳ２２）。
【００６０】
次いで、検出手段２ｂが、観察者１０から表示手段３の表示面までの距離と、計測手段２ａを介して算出された視差の異なる画像の融像位置から表示手段３の表示面までの距離との比率Ｈ／Ｍを算出し、算出した比率が条件式(1)（２５％＜Ｈ／Ｍ）を満足する場合に、立体画像内で観察し難い領域として検出する（ステップＳ２３，Ｓ２４）。
選択された領域が立体画像内で観察し難い領域として検出された場合には、観察画像自動調整手段としての画像処理制御手段４”が、選択された領域での観察し難い状態を、観察し易い状態となるように、撮像手段１を制御する（ステップＳ２５）。そして、撮像手段１を介して、観察し易い状態となるように制御された画像が撮像され、画像加工手段２ｃを介して、撮像された画像に対して所定の処理を施した画像が作成される（ステップＳ２６）。
次いで、画像処理制御手段４”を介して撮像手段１による撮像が制御され、画像加工手段２ｃを介して処理された、選択された領域での画像を、画像表示手段３が表示する（ステップＳ２７）。
【００６１】
次いで、全ての領域についての選択が終了したかをチェックし（ステップＳ２８）、選択が終了していない場合は、左右の撮像手段１を介して撮像された、視差の異なる左右の画像における処理対象の次の領域を選択し（ステップＳ２９）、ステップＳ２２〜ステップＳ２８の処理を繰り返す。
これにより、観察される画像は、全体にわたって見易い画像となる。
【００６２】
第二実施形態の立体観察撮影表示システムによれば、撮像手段１を介して撮像された画像を用いて、画像処理手段２が観察し難い領域の有無を検出し、観察し難い領域があるときには、観察画像自動調整手段としての撮像制御手段４”が、選択された領域における観察し難い状態を、観察し易い状態となるように、視差の異なる左右一対の光学系同士の光軸間の距離が固定されたままの状態で撮像手段１を制御するようにしたので、撮像手段１を径方向に太くすることなく、立体観察画像における観察者に与える違和感を解消することができる。
【００６３】
第三実施形態
図１５は本発明の第三実施形態にかかる立体画像撮影表示システムの概略構成を示すブロック図、図１６は図１５の立体画像撮影表示システムの要部の一構成例を模式的に示す説明図、図１７は第三実施形態の立体画像撮影表示システムによる観察対象を撮影した画像の表示処理手順を示すフローチャートである。
【００６４】
第三実施形態の立体画像撮影表示システムは、図１５に示すように、左右の撮像手段１と、画像処理手段２と、表示手段３と、観察画像自動調整手段４”と、記憶手段５を有している。
左右の撮像手段１は、後述する観察画像自動調整手段４”を介して撮影が制御されるように構成されている。より詳しくは、第二実施形態と同様に、例えば、図１６に示すように、左右の撮像手段１が、共通のレンズ１ＲＬ1，１ＲＬ2を備え、レンズ１ＲＬ1が光軸方向に移動可能に配置され、光軸方向を移動することによって焦点距離を変化させることができるよう構成されている。
【００６５】
記憶手段５は、視差の異なる左右の画像を融像して表示手段３を介して立体画像として表示した場合における、その立体画像内で観察し難い領域を生じさせる物体（図１６では、処置具としての手術用ナイフ２１）についての少なくとも一部の物理量（例えば、形状・寸法、色、立体形状、分光特性）を予め記録して備えている。
画像処理手段２は、計測手段２ａ’と、検出手段２ｂ’と、画像加工手段２ｃを有して構成されている。
【００６６】
計測手段２ａ’は、観察対象２０（ここでは、術部に挿入される処置具である手術用ナイフ２１を含む）の少なくとも一部の物理量（例えば、形状・寸法、色、立体形状、分光特性）を計測する機能を有している。
検出手段２ｂ’は、視差の異なる左右の画像を融像して、表示手段３を介して立体画像として表示するとした場合における立体画像の各領域について、計測手段２ａ’を介して計測された観察対象２０（ここでは、手術用ナイフ２１を含む）の物理量を、記憶手段５に予め記憶された物体（ここでは、手術用ナイフ２１）の物理量と比較する。そして、その計測された観察対象２０の物理量と記憶手段５に予め記憶された物体（手術用ナイフ２１）の物理量とが一致した場合に立体画像内での観察し難い領域として検出する。
表示手段３は、第一実施形態と同様に、画像処理手段２を介して画像処理された画像を表示するように構成されている。
【００６７】
手術用ナイフ２１などの処置具は、形状が細長く、また光を強く反射するため、立体観察すると、観察し難くなることが多い。
このため、第三実施形態の立体画像撮影表示システムでは、予め処置具の形状・寸法、色、立体形状、分光特性などの物理量を記憶手段５を介して記憶させておき、観察対象２０を観察中に、観察対象２０の領域におけるこれらの物理量を計測手段２ａ’を介して測定する。そして、この計測手段２ａ’を介して測定された観察対象２０についての物理量と、記憶手段５を介して記憶させておいた物体２１の物理量を、検出手段２ｂ’を介して比較し、これらの物理量が一致したときに、観察し難い領域として検出し、第二実施形態の立体画像撮影表示システムと同様に、観察画像自動調整手段４”を介して観察し易い領域となるように、左右の撮像手段１に対して所定の制御を行い、撮像手段１による撮像が制御され、画像加工手段２ｃを介して作成された画像が表示手段３に表示されるようにしている。
第三実施形態の立体画像撮影表示システムのその他の構成は第二実施形態の立体画像撮影表示システムと略同じである。
【００６８】
このように構成された第三実施形態の立体画像撮影表示システムでは、撮像手段１を介して撮像された観察対象２０の画像に対し図１７に示すような処理手順の処理を施した画像を、表示画面３に表示する。
まず、左右の撮像手段１を介して撮像された、視差の異なる左右の画像を融像して表示手段３を介して立体画像として表示するとした場合における、画像の処理対象の初期領域を選択する（ステップＳ３１）。
【００６９】
次いで、計測手段２ａ’が、選択された領域において、左右の撮像手段１を介して撮像された、視差の異なる左右の画像を用いて、観察対象２０に対する立体計測を行い、観察対象２０についての少なくとも一部の物理量を計測する（ステップＳ３２）。
【００７０】
次いで、検出手段２ｂ’が、計測手段２ａ’を介して計測された物理量を、記憶手段５を介して予め記憶させておいた物体の物理量と比較し、計測した物理量が記憶させておいた物理量と一致する場合に、立体画像内で観察し難い領域として検出する（ステップＳ３３，Ｓ３４）。
選択された領域が立体画像内で観察し難い領域として検出された場合には、観察画像自動調整手段としての画像処理制御手段４”が、選択された領域での観察し難い状態を、観察し易い状態となるように、撮像手段１を制御する（ステップＳ３５）。そして、撮像手段１を介して、観察し易い状態となるように制御された画像が撮像され、画像加工手段２ｃを介して、撮像された画像に対して所定の処理を施した画像が作成される（ステップＳ３６）。
次いで、画像処理制御手段４”を介して撮像手段１による撮像が制御され、画像加工手段２ｃを介して処理された、選択された領域での画像を、画像表示手段３が表示する（ステップＳ３７）。
【００７１】
次いで、全ての領域についての選択が終了したかをチェックし（ステップＳ３８）、選択が終了していない場合は、左右の撮像手段１を介して撮像された、視差の異なる左右の画像における処理対象の次の領域を選択し（ステップＳ３９）、ステップＳ３２〜ステップＳ３８の処理を繰り返す。
これにより、観察される画像は、全体にわたって見易い画像となる。
【００７２】
第三実施形態の立体観察撮影表示システムによれば、撮像手段１を介して撮像された画像を用いて、画像処理手段２が観察し難い領域の有無を検出し、観察し難い領域があるときには、観察画像自動調整手段としての撮像制御手段４”が、選択された領域における観察し難い状態を、観察し易い状態となるように、視差の異なる左右一対の光学系同士の光軸間の距離が固定されたままの状態で撮像手段１を制御するようにしたので、撮像手段１を径方向に太くすることなく、立体観察画像における観察者に与える違和感を解消することができる。
そして、第三実施形態の立体観察撮影表示システムによれば、計測手段２ａ’を介して計測された観察対象２０の物理量を、記憶手段５を介して予め記憶させておいた物体の物理量と比較し、これらの物理量が一致した場合に立体画像内での観察し難い領域として検出するようにしたので、例えば、処置具を用いて手術中の術部を観察するような場合に、処置具により観察し難くなる状態を解消することができる。
【００７３】
なお、本発明の立体画像撮影表示システムは、上述した各実施形態の構成に限定されるものではなく、各実施形態の立体画像撮影表示システムにおける特徴的な構成を組み合わせても勿論よい。
例えば、観察画像自動調整手段４を、第一実施形態に示した画像処理制御手段４’としての機能と、第二実施形態及び第三実施形態に示した撮像制御手段４”としての機能とを兼ね備えて構成し、観察用途に応じて観察画像自動調整手段としての機能を、スイッチ等の切換手段を介して切換えるようにしてもよい。
また、さらに、画像処理手段２を、第一実施形態及び第二実施形態に示した計測手段２ａ、及び検出手段２ｂと、第三実施形態に示した計測手段２ａ’、検出手段２ｂ’、及び記憶手段５とを兼ね備えて構成し、観察用途に応じて観察画像自動調整手段としての機能を、スイッチ等の切換手段を介して切換えるようにしてもよい。
【産業上の利用可能性】
【００７４】
本発明の立体画像撮影表示システムは、例えば、手術用顕微鏡や手術用内視鏡を用いて凹凸のある術部を観察する医療、医学の分野に有用である。
【図面の簡単な説明】
【００７５】
【図１】本発明の立体画像撮影表示システムの基本的な概略構成の一例を示すブロック図である。
【図２】図１の立体画像撮影表示システムによる観察対象を撮影した画像の表示処理手順を示すフローチャートである。
【図３】本発明の第一実施形態にかかる立体画像撮影表示システムの概略構成を示すブロック図である。
【図４】図３の立体画像撮影表示システムの全体構成の一例を模式的に示す説明図である。
【図５】図４に示す立体画像撮影表示システムにおける撮像手段から画像処理手段に至るまでの具体的な構成を示す説明図である。
【図６】第一実施形態の立体画像撮影表示システムにおける撮像手段を構成する左右一対の撮像光学系を示す図である。
【図７】第一実施形態の立体画像撮影表示システムにおける三次元情報の計測原理を示す説明図である。
【図８】第一実施形態の立体画像撮影表示システムにおける、観察対象の画像を立体視した場合の画像の表示面からの飛び出し位置の算出方法を概略的に示す説明図である。
【図９】図８における観察対象（被写体）付近を示す説明図である。図１０は第一実施形態の立体画像撮影表示システムによる観察対象を撮影した画像の表示処理手順を示すフローチャートである。
【図１０】第一実施形態の立体画像撮影表示システムによる観察対象を撮影した画像の表示処理手順を示すフローチャートである。
【図１１】本発明の第二実施形態にかかる立体画像撮影表示システムの概略構成を示すブロック図である。
【図１２】図１１の立体画像撮影表示システムの要部の一構成例を模式的に示す説明図である。
【図１３】図１１の立体画像撮影表示システムの要部の他の構成例を模式的に示す説明図である。
【図１４】第二実施形態の立体画像撮影表示システムによる観察対象を撮影した画像の表示処理手順を示すフローチャートである。
【図１５】本発明の第三実施形態にかかる立体画像撮影表示システムの概略構成を示すブロック図である。
【図１６】図１５の立体画像撮影表示システムの要部の一構成例を模式的に示す説明図である。
【図１７】第三実施形態の立体画像撮影表示システムによる観察対象を撮影した画像の表示処理手順を示すフローチャートである。
【図１８】特許文献１に記載の内視鏡の映像表示装置の構成についての説明図であり、(a)は内視鏡挿入部先端の観察光学系の配置構成を示す図、(b)は視差調整動作の説明図である。
【符号の説明】
【００７６】
１ 撮像手段
１Ｌ 左眼用光学系
１Ｌ1 左眼用対物レンズ
１Ｌ13 左右一対の光学系１Ｌ，１Ｒに夫々別個に設けられたレンズ
１ＬM 左眼用撮像素子
１Ｌa 左眼用ビデオアンプ
１Ｌb 左眼用Ａ／Ｄ変換器
１Ｌc 左眼用フレームメモリ
１Ｒ 右眼用光学系
１Ｒ1 右眼用対物レンズ
１Ｒ13 レンズ
１ＲM 右眼用撮像素子
１Ｒa 右眼用ビデオアンプ
１Ｒb 右眼用Ａ／Ｄ変換器
１Ｒc 右眼用フレームメモリ
１ＲＬ1 レンズ
１ＲＬ2 レンズ
２ 画像処理手段
２ａ，２ａ’ 計測手段
２ｂ，２ｂ’ 検出手段
２ｃ 画像加工手段
３ 表示手段（３Ｄモニタ）
４ 観察画像自動調整手段
４’ 観察画像自動調整手段（画像処理制御手段）
４” 観察画像自動調整手段（撮像制御手段）
１０ 観察者
２０ 観察対象（被写体）
２１ 手術用ナイフ（立体画像内で観察し難い領域を生じさせる物体）
【特許請求の範囲】
【請求項１】
視差の異なる左右一対の光学系を有する左右の撮像手段と、該左右の撮像手段を介して撮像された視差の異なる左右の画像を用いて、所定の画像処理を施す画像処理手段と、該画像処理手段を介して画像処理された画像を表示する表示手段とを有し、該左右の撮像手段、画像処理手段、及び表示手段を介して観察対象の立体画像を観察可能にする立体画像撮影表示システムであって、
前記画像処理手段が、
前記左右の撮像手段を介して撮像された、前記視差の異なる左右の画像を用いて、前記観察対象に対する立体計測を行う機能を少なくとも有する計測手段と、
前記計測手段を介して得られた結果に基づいて、前記視差の異なる左右の画像を融像して前記表示手段を介して立体画像として表示するとした場合における該立体画像内での観察し難い領域の有無を検出する検出手段と、
所定の画像加工を行う画像加工手段と
を有し、
さらに、前記検出手段を介して前記観察し難い領域が検出された場合に、該検出された領域の観察し難い状態を観察し易い状態にして、前記表示手段に画像表示されるように、前記視差の異なる左右一対の光学系同士の光軸間の距離を固定した状態で前記撮像手段又は前記画像処理手段を制御する、観察画像自動調整手段を備えたことを特徴とする立体画像撮影表示システム。
【請求項２】
前記画像加工手段は、前記左右の撮像手段を介して撮像された、前記視差の異なる左右の画像を用いて、前記所定の画像加工を行うことを特徴とする請求項１に記載の立体画像撮影表示システム。
【請求項３】
前記計測手段は、前記視差の異なる左右の画像の融像位置を算出する機能を有し、
前記検出手段は、前記視差の異なる左右の画像を融像して前記表示手段を介して立体画像として表示するとした場合における該立体画像の各領域について、観察者から該表示手段の表示面までの距離と、前記計測手段を介して算出された前記視差の異なる画像の融像位置から前記表示手段の表示面までの距離との比率を算出し、算出した比率が次の条件式(1)を満足する場合に立体画像内での観察し難い領域として検出することを特徴とする請求項１又は２に記載の立体画像撮影表示システム。
２５％＜Ｈ／Ｍ ・・・(1)
但し、Ｈは計測手段を介して算出された視差の異なる画像の融像位置の、表示手段の表示面からの飛び出し量、Ｍは観察者から表示手段の表示面までの距離である。
【請求項４】
前記計測手段は、前記視差の異なる左右の画像の融像位置を算出する機能を有し、
前記検出手段は、前記視差の異なる左右の画像を融像して前記表示手段を介して立体画像として表示するとした場合における該立体画像の各領域について、観察者から該表示手段の表示面までの距離と、前記計測手段を介して算出された前記視差の異なる画像の融像位置から前記表示手段の表示面までの距離との比率を算出し、算出した比率が次の条件式(1')を満足する場合に立体画像内での観察し難い領域として検出することを特徴とする請求項１又は２に記載の立体画像撮影表示システム。
１５％＜Ｈ／Ｍ ・・・(1')
但し、Ｈは計測手段を介して算出された視差の異なる画像の融像位置の、表示手段の表示面からの飛び出し量、Ｍは観察者から表示手段の表示面までの距離である。
【請求項５】
前記観察画像自動調整手段が、前記画像加工手段に、前記立体画像における前記観察し難い領域での所定の画像特性を観察し易い状態となるように変換させる、画像処理制御手段よりなることを特徴とする請求項１〜４のいずれかに記載の立体画像撮影表示システム。
【請求項６】
前記画像処理制御手段が、前記画像加工手段に、前記立体画像における観察し難い領域を、３次元画像から２次元画像へと変換させることを特徴とする請求項５に記載の立体画像撮影表示システム。
【請求項７】
前記画像処理制御手段が、前記画像加工手段に、前記立体画像における全領域を、３次元画像から２次元画像へと変換させることを特徴とする請求項５に記載の立体画像撮影表示システム。
【請求項８】
前記画像処理制御手段が、前記画像加工手段に、前記立体画像における観察し難い領域での明るさを変更させることを特徴とする請求項５に記載の立体画像撮影表示システム。
【請求項９】
前記画像処理制御手段が、前記画像加工手段に、前記立体画像における観察し難い領域での周波数を変更させることを特徴とする請求項５に記載の立体画像撮影表示システム。
【請求項１０】
前記観察画像自動調整手段が、前記立体画像における前記観察し難い領域での所定の画像特性が観察し易い状態となるように、前記左右の撮像手段に対して所定の制御を行う、撮像制御手段であることを特徴とする請求項１〜４のいずれかに記載の立体画像撮影表示システム。
【請求項１１】
前記撮像制御手段は、前記左右の撮像手段に備わる光学系の絞りを制御することを特徴とする請求項１０に記載の立体画像撮影表示システム。
【請求項１２】
前記撮像制御手段は、前記左右の撮像手段に備わる光学系の焦点位置を制御することを特徴とする請求項１０又は１１に記載の立体画像撮影表示システム。
【請求項１３】
前記撮像手段は、前記左右一対の光学系に共通の光学部材を有し、
前記撮像制御手段は、前記左右の撮像手段に備わる前記共通の光学部材を介して焦点位置を制御することを特徴とする請求項１０に記載の立体画像撮影表示システム。
【請求項１４】
さらに、前記視差の異なる左右の画像を融像して前記表示手段を介して立体画像として表示した場合における該立体画像内で観察し難い領域を生じさせる原因となる物体についての少なくとも一部の物理量を予め記憶する記憶手段を有するとともに、
前記計測手段は、前記観察対象の少なくとも一部の物理量を計測する機能を有し、
前記検出手段は、前記視差の異なる左右の画像を融像して前記表示手段を介して立体画像として表示するとした場合における該立体画像の各領域について、前記計測手段を介して計測された観察対象の物理量を、前記記憶手段を介して予め記憶させておいた物体の物理量と比較し、これらの物理量が一致した場合に立体画像内での観察し難い領域として検出することを特徴とする請求項１０〜１３のいずれかに記載の立体画像撮影表示システム。
【請求項１５】
前記物理量が、形状寸法、色、立体形状、分光特性のいずれかであることを特徴とする請求項１４に記載の立体画像撮影表示システム。
【請求項１６】
前記記憶手段による物理量の記憶対象となる物体には、処置具が含まれることを特徴とする請求項１４又は１５に記載の立体画像撮影表示システム。
【請求項１】
視差の異なる左右一対の光学系を有する左右の撮像手段と、該左右の撮像手段を介して撮像された視差の異なる左右の画像を用いて、所定の画像処理を施す画像処理手段と、該画像処理手段を介して画像処理された画像を表示する表示手段とを有し、該左右の撮像手段、画像処理手段、及び表示手段を介して観察対象の立体画像を観察可能にする立体画像撮影表示システムであって、
前記画像処理手段が、
前記左右の撮像手段を介して撮像された、前記視差の異なる左右の画像を用いて、前記観察対象に対する立体計測を行う機能を少なくとも有する計測手段と、
前記計測手段を介して得られた結果に基づいて、前記視差の異なる左右の画像を融像して前記表示手段を介して立体画像として表示するとした場合における該立体画像内での観察し難い領域の有無を検出する検出手段と、
所定の画像加工を行う画像加工手段と
を有し、
さらに、前記検出手段を介して前記観察し難い領域が検出された場合に、該検出された領域の観察し難い状態を観察し易い状態にして、前記表示手段に画像表示されるように、前記視差の異なる左右一対の光学系同士の光軸間の距離を固定した状態で前記撮像手段又は前記画像処理手段を制御する、観察画像自動調整手段を備えたことを特徴とする立体画像撮影表示システム。
【請求項２】
前記画像加工手段は、前記左右の撮像手段を介して撮像された、前記視差の異なる左右の画像を用いて、前記所定の画像加工を行うことを特徴とする請求項１に記載の立体画像撮影表示システム。
【請求項３】
前記計測手段は、前記視差の異なる左右の画像の融像位置を算出する機能を有し、
前記検出手段は、前記視差の異なる左右の画像を融像して前記表示手段を介して立体画像として表示するとした場合における該立体画像の各領域について、観察者から該表示手段の表示面までの距離と、前記計測手段を介して算出された前記視差の異なる画像の融像位置から前記表示手段の表示面までの距離との比率を算出し、算出した比率が次の条件式(1)を満足する場合に立体画像内での観察し難い領域として検出することを特徴とする請求項１又は２に記載の立体画像撮影表示システム。
２５％＜Ｈ／Ｍ ・・・(1)
但し、Ｈは計測手段を介して算出された視差の異なる画像の融像位置の、表示手段の表示面からの飛び出し量、Ｍは観察者から表示手段の表示面までの距離である。
【請求項４】
前記計測手段は、前記視差の異なる左右の画像の融像位置を算出する機能を有し、
前記検出手段は、前記視差の異なる左右の画像を融像して前記表示手段を介して立体画像として表示するとした場合における該立体画像の各領域について、観察者から該表示手段の表示面までの距離と、前記計測手段を介して算出された前記視差の異なる画像の融像位置から前記表示手段の表示面までの距離との比率を算出し、算出した比率が次の条件式(1')を満足する場合に立体画像内での観察し難い領域として検出することを特徴とする請求項１又は２に記載の立体画像撮影表示システム。
１５％＜Ｈ／Ｍ ・・・(1')
但し、Ｈは計測手段を介して算出された視差の異なる画像の融像位置の、表示手段の表示面からの飛び出し量、Ｍは観察者から表示手段の表示面までの距離である。
【請求項５】
前記観察画像自動調整手段が、前記画像加工手段に、前記立体画像における前記観察し難い領域での所定の画像特性を観察し易い状態となるように変換させる、画像処理制御手段よりなることを特徴とする請求項１〜４のいずれかに記載の立体画像撮影表示システム。
【請求項６】
前記画像処理制御手段が、前記画像加工手段に、前記立体画像における観察し難い領域を、３次元画像から２次元画像へと変換させることを特徴とする請求項５に記載の立体画像撮影表示システム。
【請求項７】
前記画像処理制御手段が、前記画像加工手段に、前記立体画像における全領域を、３次元画像から２次元画像へと変換させることを特徴とする請求項５に記載の立体画像撮影表示システム。
【請求項８】
前記画像処理制御手段が、前記画像加工手段に、前記立体画像における観察し難い領域での明るさを変更させることを特徴とする請求項５に記載の立体画像撮影表示システム。
【請求項９】
前記画像処理制御手段が、前記画像加工手段に、前記立体画像における観察し難い領域での周波数を変更させることを特徴とする請求項５に記載の立体画像撮影表示システム。
【請求項１０】
前記観察画像自動調整手段が、前記立体画像における前記観察し難い領域での所定の画像特性が観察し易い状態となるように、前記左右の撮像手段に対して所定の制御を行う、撮像制御手段であることを特徴とする請求項１〜４のいずれかに記載の立体画像撮影表示システム。
【請求項１１】
前記撮像制御手段は、前記左右の撮像手段に備わる光学系の絞りを制御することを特徴とする請求項１０に記載の立体画像撮影表示システム。
【請求項１２】
前記撮像制御手段は、前記左右の撮像手段に備わる光学系の焦点位置を制御することを特徴とする請求項１０又は１１に記載の立体画像撮影表示システム。
【請求項１３】
前記撮像手段は、前記左右一対の光学系に共通の光学部材を有し、
前記撮像制御手段は、前記左右の撮像手段に備わる前記共通の光学部材を介して焦点位置を制御することを特徴とする請求項１０に記載の立体画像撮影表示システム。
【請求項１４】
さらに、前記視差の異なる左右の画像を融像して前記表示手段を介して立体画像として表示した場合における該立体画像内で観察し難い領域を生じさせる原因となる物体についての少なくとも一部の物理量を予め記憶する記憶手段を有するとともに、
前記計測手段は、前記観察対象の少なくとも一部の物理量を計測する機能を有し、
前記検出手段は、前記視差の異なる左右の画像を融像して前記表示手段を介して立体画像として表示するとした場合における該立体画像の各領域について、前記計測手段を介して計測された観察対象の物理量を、前記記憶手段を介して予め記憶させておいた物体の物理量と比較し、これらの物理量が一致した場合に立体画像内での観察し難い領域として検出することを特徴とする請求項１０〜１３のいずれかに記載の立体画像撮影表示システム。
【請求項１５】
前記物理量が、形状寸法、色、立体形状、分光特性のいずれかであることを特徴とする請求項１４に記載の立体画像撮影表示システム。
【請求項１６】
前記記憶手段による物理量の記憶対象となる物体には、処置具が含まれることを特徴とする請求項１４又は１５に記載の立体画像撮影表示システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１０−５７６１９（Ｐ２０１０−５７６１９Ａ）
【公開日】平成２２年３月１８日（２０１０．３．１８）
【国際特許分類】
【出願番号】特願２００８−２２４９１７（Ｐ２００８−２２４９１７）
【出願日】平成２０年９月２日（２００８．９．２）
【出願人】（３０４０５０９２３）オリンパスメディカルシステムズ株式会社 (1,905)
【Ｆターム（参考）】
【公開日】平成２２年３月１８日（２０１０．３．１８）
【国際特許分類】
【出願日】平成２０年９月２日（２００８．９．２）
【出願人】（３０４０５０９２３）オリンパスメディカルシステムズ株式会社 (1,905)
【Ｆターム（参考）】
[ Back to top ]