立体映像表示装置の立体ノギス像形成装置およびプログラム
【課題】立体カメラで撮影した対象物の寸法や他の事物との距離を測定するため、測定位置にポインター先端を当てた立体ノギス像と、演算で求めたポインター先端間距離の数値表示を生成して立体映像表示装置に表示させる立体ノギス像形成装置を提供する。
【解決手段】ディスプレー４に立体表示する２つのポインター像４２，４３の位置情報を生成して立体映像信号生成装置３に伝送するポインター像表示装置２１と、ポインター像の位置を立体画像中で移動させる操作端を備えた操作盤２４と、立体画像中のポインターの３次元位置を立体撮像装置１に固定された座標系の座標で表す座標演算装置２２と、立体画像中の２つのポインターの座標に基づいて２つのポインターの間の実体距離を算出して立体映像信号生成装置３に伝送しディスプレー４に表示させる距離演算装置２３とを備える。
【解決手段】ディスプレー４に立体表示する２つのポインター像４２，４３の位置情報を生成して立体映像信号生成装置３に伝送するポインター像表示装置２１と、ポインター像の位置を立体画像中で移動させる操作端を備えた操作盤２４と、立体画像中のポインターの３次元位置を立体撮像装置１に固定された座標系の座標で表す座標演算装置２２と、立体画像中の２つのポインターの座標に基づいて２つのポインターの間の実体距離を算出して立体映像信号生成装置３に伝送しディスプレー４に表示させる距離演算装置２３とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体撮像装置で取得する画像を立体的に表示する立体映像表示装置において、画像に表示された物体の幅や物体間の距離を推定するために使用する立体ノギス像及び幅や距離の数値表示を生成する装置に関する。
【背景技術】
【０００２】
近年、立体映像表示装置は著しく発達してきている。立体映像表示装置では、たとえば、視差を持つように左右一対の撮像手段を配置し、撮像された左右一対の画像をモニターに表示し、それぞれの画像を左右の目で別々に捉えて脳で合成することにより、立体視化する。
【０００３】
立体視には、左右画像を時分割で交互に表示し、液晶シャッターを備えたメガネで左右画像を交互に観察する時間分割立体表示方式や、左右画像をそれぞれ偏光軸が直交する偏光フィルタを通した上で、同一面に重ねて偏光表示し、左右で偏光軸が直交する偏光フィルタメガネを用いて左右画像に分離する偏光フィルタ眼鏡方式、液晶表示画面の水平１ドットライン毎に偏光方向が９０度変化する液晶フィルタなどを設置し左眼用と右眼用の画像を交互に並べ、右回転円偏光板と左回転円偏光板を左右に配置した円偏光メガネで見ることにより分離された左右用の映像をそれぞれ左右の目で同時に見て立体視する円偏光方式など、各種の原理に基づく装置が利用されている。なお、裸眼で立体映像を観察することができる方法もある。
【０００４】
映像の立体視化により、被写体に対する識別力が格段に向上する。また、特に医療の現場において立体内視鏡カメラが使用できれば、内蔵疾患の診断や手術を支援する上で大きな効果が期待される。さらに、立体映像中の物体の寸法や物体間の距離を簡単に知ることができれば、的確な診断や手術に大きく貢献することになる。
【０００５】
しかし、立体内視鏡カメラから得られる映像は、形状と配置、色が主な情報で、映像として映し出される物体の大きさに関する情報は、直接に得ることはできない。立体カメラと人の目の位置関係は必ずしも対応していないので、特に立体視している対象の寸法や距離を正確に測ることは難しい。したがって、通常は、表示映像内に映し込まれた鉗子など比較対象物に基づいて寸法等を推定することが多い。このように、映像中の対象物についての大きさや距離に関する情報は確実性がない。
【０００６】
立体カメラによる撮影方法には、カメラの光軸方向に注目した平行法と交差法の区別がある。しかし、立体視した映像中のある点の位置を求める場合は、いずれも左右両眼に対応するカメラの視線の交わり状況に基づく方法に従うので、本質的な相違はない。ただし、立体視を可能にするためには対象が左右のカメラ視野の両方に含まれている必要があるので、交差法の方が、よりカメラに近い対象まで立体視できる点、また視線の交角がより大きくなるため、視認したときの画像の立体感が大きい点などの利点がある。
特に、立体内視鏡装置では、左右のカメラの間隔が狭いので交差法がよく用いられている。
【０００７】
立体内視鏡装置を用いた診断あるいは手術においては、術者が、立体内視鏡カメラにより撮影して表示された立体映像に映し出された患部を立体的に観察して、たとえば、患部の形状や周囲の状況、色などを診断の重要な判断材料とすることが期待される。しかし、患部の寸法や他の贓物との距離などを正確に推定する適当な手段がなく、奥行きを感じさせる立体映像は得られるものの、その寸法や距離は、過去の経験に基づいて類推するしか方法がなかった。また、患部の大きさも、鉗子など一緒に映像に写し込まれた比較対象物により推定するしかないが、位置関係が明確でなく正確に推定することは難しかった。
【０００８】
このため、立体内視鏡カメラで撮影した映像を対象として距離画像を生成する手法が求められる。しかし、立体映像表示装置において、立体表示された映像から実物の距離や寸法を感得する簡便な手法は、未だ知られていない。
なお、このような事情は、立体内視鏡装置に限らず、一般に用いられる立体カメラを使用した立体映像表示装置においても同様で、映像中の事物の寸法や相互の距離を正確に求めることが難しい。
【０００９】
特許文献1には、計測用目盛発生回路により最適なサイズの計測用目盛をモニター上に描画するようにした立体撮像装置が記載されている。特許文献1に開示された計測用目盛発生回路は、カメラの光軸が交わらない平行法に従って配置された立体カメラを対象として、別途測定される被検物までの距離にしたがって映像の倍率を求め、倍率に対応する目盛を発生させる。
【００１０】
特許文献1に記載された立体撮像装置では、観察したい被検物を画像中心部に持ってくると、新しく提供された立体計測装置によりカメラに写った被検物のＣＣＤ素子上の位置に基づいて被検物までの距離が自動的に測定され、測定された距離に従い被写体の撮影倍率に対応した計測用目盛が形成される。形成された計測用目盛は自動的にモニター画面に表示されるようになっている。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００７−１８７５９０号公報（段落００２７、００３０等）
【発明の概要】
【発明が解決しようとする課題】
【００１２】
特許文献１記載の目盛表示は、画像中心部に持ってきた被検物が距離測定された結果に基づいて目盛合わせされるもので、奥行き方向には目盛が与えられない。したがって、別の被検物について寸法を知ろうとすると、その度にカメラの視野を移動して被検物が画像中心部に来るようにして測定する必要がある。
【００１３】
しかも、カメラから被検物までの距離は得られても、カメラ視野の移動量を補償しなければ被検物の寸法を知ることはできない。また、任意の２点間距離、特に奥行き方向成分を含む距離を知るために利用することができなかった。
なお、特許文献１記載の目盛表示は、輻輳角とコンバージェンス点までの距離を取り込んだ演算を行うことにより、交差法を用いた立体カメラにも適用することができるが、平行法の立体カメラと同様に、被検体の寸法や２点間距離を知ることはできない。
【００１４】
これに対して、本願出願人は、すでに特願２００９−１６０６６４により、立体映像中に奥行き方向の寸法も表わせる立体スケールを表示する立体スケール像形成装置を提示している。本願出願人が開示した立体スケール像形成装置は、実寸目盛の付いた立体スケール像を映像中の任意の３次元位置に適宜の向きに置くことができる。
【００１５】
しかし、本願出願人が先に開示した立体スケール像形成装置によっても、被検物の寸法や２点間の距離を知るためには、操作者が目盛を読み取る必要があり、正確な寸法や距離を得るには多少の熟練を要する。
【００１６】
そこで、本発明が解決しようとする課題は、立体カメラで撮影した立体映像の適宜の位置に存在する対象物について、その寸法や他の事物との距離を測定するため、距離を知りたい測定位置にポインターを立てると、ポインター間の距離を求めて、立体映像表示装置に表示させる立体ノギス像形成装置を提供することである。
【課題を解決するための手段】
【００１７】
本発明に係る立体ノギス像形成装置は、左目と右目に対応して第１の撮像装置と第２の撮像装置とを備えた立体撮像装置（立体カメラ）と、立体撮像装置からの撮像信号について信号処理して左目と右目に対応する画像信号をそれぞれ生成する画像信号生成装置と、左目と右目に対応する画像信号を合成して立体映像表示するための立体映像信号を生成する立体映像信号生成装置と、立体映像信号に基づいて、立体視できる映像を立体表示するディスプレーとを備えた立体映像表示装置に適用する装置である。
【００１８】
上記課題を解決するため、本発明に係る立体ノギス像形成装置は、ディスプレーに表される立体画像中に表示されるポインターの位置を指定する操作端を備える操作盤と、ポインターの位置情報を生成して供給するポインター像表示装置と、ポインターの位置情報を入力して立体撮像装置に固定される座標系においてポインターの３次元位置を表す座標値を算定する座標演算装置と、立体画像中の２つのポインターについて算定された座標値に基づいて上記２つのポインター間の実体距離値を算定して供給する距離演算装置と、を備え、立体映像信号生成装置が、ポインターの位置情報を入力して第１の撮像装置による画像と第２の撮像装置による画像のそれぞれにポインターの像を加えた画像信号を生成してディスプレーに伝達し、また、２つのポインターの間の実体距離値を入力して数値表示する画像信号を生成してディスプレーに伝達し、ディスプレーがポインターの像と２つのポインター間の実体距離値を表示することを特徴とする。
本発明の立体ノギス像形成装置は、さらに、立体ノギス像表示装置を備えて、２つのポインターの位置を測定長の端点とする立体ノギス像を形成してディスプレーに立体表示させるようにしてもよい。
【００１９】
また、上記課題を解決するため、本発明に係る立体ノギス像形成プログラムは、立体ノギス像形成装置におけるコンピュータを、ディスプレーに立体表示する第１のポインター像と第２のポインター像の位置情報を生成して立体映像信号生成装置に伝送するポインター像表示手段と、ポインター像の位置を立体画像中で移動させる操作端から入力された信号に基づいて、ポインターの位置を立体画像中で移動させる手段と、立体画像中のポインターの３次元位置を立体撮像装置に固定された座標系の座標で表す座標演算手段と、立体画像中の２つのポインターについて指定された座標に基づいて２つのポインターの間の実体距離を算出して、ディスプレーに表示させるため、算出した実体距離の情報を立体映像信号生成装置に伝送する距離演算手段として機能させることを特徴とする。
さらに、本発明のプログラムは、立体ノギス像形成装置におけるコンピュータを、第１と第２のポインターの位置にアンビルとスピンドルの先端を合わせた立体ノギス像を形成してディスプレーに立体表示させる立体ノギス像表示手段として機能させるようにしてもよい。
【００２０】
オペレータは、ディスプレーの立体映像を観察して、本発明に係る立体ノギス像形成装置により立体映像中に表示される立体ノギス像のアンビルとスピンドルの位置すなわち測定距離の端点の位置を、操作盤を用いて３次元的に移動させて、立体映像中の対象物について寸法を知ろうとする部分や立体映像中で距離を測りたい位置を示す任意の２点を指定することができる。２点間距離はディスプレーに逐次表示されるため、対象物の寸法や距離は直ちに知ることができる。
なお、立体ノギス像が立体表示されるため、立体ノギス像の各部が立体映像中の奥行き距離に対応する大きさを有するので、立体ノギス像を観察することにより立体ノギスが当てられた対象物の位置を直感的に把握することができる。
【００２１】
交差法を用いた立体撮像装置に固定される座標系は、２つの撮像装置の光軸が交差する輻輳角を２等分する２等分線を１つの座標軸（Ｙ軸）とする直交座標系であることが好ましい。特に、２つの撮像装置の光軸が含まれる面に、すなわち２つの撮像装置が並ぶ方向に、第２の座標軸（Ｘ軸）を持つようにすることができる。さらに、２つの撮像装置の光学系の主点を結ぶ線分の中点に原点を配置した座標系を用いると、座標計算や距離計算を簡素化することができる。なお、原点を、２つの撮像装置の光軸が交差する点であるコンバージェンス点に配置してもよい。
【００２２】
オペレータが設定するポインターの座標は、左目に見せる画像と右目に見せる画像としておのおのディスプレーに表示する基準映像画面の中のポインターの表示位置に基づいて、演算で簡単に求めることができる。また、ポインターの３次元位置から、基準映像画面の中のポインターの表示位置を求めることも容易である。
基準映像画面は、たとえば、第１の撮像装置と第２の撮像装置の光軸が交差するコンバージェンス点にＹ軸に垂直に設けられたコンバージェンス面に設定される。左目に見せる画像と右目に見せる画像におけるコンバージェンス点の映像は、ディスプレーにおいて同じ点に重なることになる。
ポインターの位置を立体映像撮影に使う立体撮像装置に固定される３次元座標で求めると、２つのポインター間の距離は演算で簡単に求めることができる。
【００２３】
オペレータは、操作盤を操作することにより、立体ノギス像の測定先端（アンビル）の位置を簡単に調整することができる。オペレータが、対象とする被測物と立体ノギス像が表示された映像を観察しながらそれぞれのポインターの位置を目的物に合わせると、アンビルを２つのポインターに合わせた立体ノギス像が表示されると共に、２個のポインター間の実体距離が自動的に表示される。ポインターと目的物の位置が３次元的に合致したか否かは、ディスプレーに表示された画像を立体視するオペレータの視覚によって判定することができる。
【００２４】
なお、演算装置が実体距離を算出して表示するときには、たとえば原点とコンバージェンス点の距離を基準値として与えることにより、立体撮像装置に固定される座標系の座標値と実寸の間で正確に換算を行うことができる。
また、立体撮像装置の光学系が異なれば座標系も異なるので、立体撮像装置ごとに固有の座標系を作成するときに、実寸に関連付けられた基準立体スケールを、コンバージェンス点など、基準の位置に配置して立体撮像装置で撮影して得られた映像に基づいて、目盛を実際の寸法と対比して校正するようにしてもよい。
【００２５】
なお、本装置によればポインター間の距離は簡単に算出できるので、ポインターの位置を移動させる間も立体ノギス像を追従させると共に、リアルタイムにディスプレーに距離を表示することができる。
また、立体ノギス像の形状は、立体撮像装置からの距離あるいはＹ座標値にしたがった大きさで表示すると、対象の遠近感が的確に把握できて正確な観察が可能になる。
【００２６】
立体カメラが映し出す映像にオーバーライドされる立体ノギス像の位置を制御するための操作盤は、オペレータが映像を観察しながら操作できるばかりでなく、たとえば、術者の指示で補助者が間違いなく操作したり、収録された立体映像を後日分析する場合に正確に操作したりできることが要求されるので、再現性がよく、簡単に操作できるものであることが好ましい。
【００２７】
操作盤には、ポインターについて直交座標系の３軸方向の運動をそれぞれ指定する操作端と、１操作で直ちに基準位置に戻すことができる操作端を備える。ポインターまたは立体ノギス像の基準位置は、２つの撮影装置の光軸の交差点すなわちコンバージェンス点であることが好ましい。
【００２８】
操作盤には、さらに、立体ノギスの測定軸方向を固定したままポインター間距離を伸縮させるダイアルを備えると便利である。また、ポインターの選択に使うスイッチや位置確定の指示を行うためのスイッチなどを搭載することもできる。なお、マウスやジョイスティックなど、常用されるポインティングデバイスをこれら操作端やスイッチ類の代わりに利用することもできる。
また、操作盤にトラッキングボールなどの操作端を設けて、立体ノギス像が映像を観察するために障害となる場合には、立体ノギス像の姿勢を簡単に変化させることができるようにすると、より便利である。
【００２９】
立体撮像装置を取り換えるときは、立体映像表示装置に新しく組み合わせる立体撮像装置について予め較正した測定パラメータを選択して適用することができる。較正した測定パラメータはデータベースとして記憶装置に格納しておいて、切り換え時に新しい立体撮像装置に適合する設定値のセットを読み出して適用するようにしても良い。こうすることにより使用前の調整時間を節約することができるので、たとえば、立体内視鏡を用いた手術を行う場合など、術者の執刀前の準備時間を短縮して、他の作業に注力する余裕が与えられるので好ましい。
【００３０】
なお、ポインター像表示装置と座標演算装置と距離演算装置とは、論理を実行する電子回路により構成することができるが、プログラムで制御することによりそれぞれの機能を遂行するようにした汎用または専用のコンピュータによって構成することもできる。
本発明に係る立体ノギス像形成装置は、上記構成を有する既存の立体映像表示装置に対しても、立体ノギス像形成装置を追加することにより、適用することができる。なお、立体ノギス像形成装置がコンピュータを機能させるためのプログラムで構成される場合は、既存の立体映像表示装置の制御装置にこのプログラム及び操作盤を追加することにより、本発明を適用することができる。
また、本発明の立体ノギス像形成装置は、立体映像（動画）に対して適用できるが、立体静止画像についても利用できることは言うまでもない。
【発明の効果】
【００３１】
本発明に係る立体映像表示装置の立体ノギス像形成装置は、オペレータが画像中の対象物体の映像に対して立体ノギス像のポインター位置を指定することにより、対象物の寸法や適宜の２点間距離など、ポインター間の正確な距離を簡単に得ることができる。
特に、立体内視鏡装置を用いて患部の観察や手術を行うときには、本発明に係る立体ノギス像形成装置を用いることにより、術者が画像中に表示された患部などの寸法や対象物間の距離を簡単に知ることができるので補助装置として有用である。
【図面の簡単な説明】
【００３２】
【図１】本発明の１つの実施形態に係る立体映像表示装置の立体ノギス像形成装置の構成図である。
【図２】本実施形態におけるディスプレーの表示例を示す概念図である。
【図３】本実施形態におけるディスプレーの立体ノギス像の表示例を示す概念図である。
【図４】本実施形態に係る操作盤の斜視図である。
【図５】本実施形態に係るポインターをＹ軸方向に移動したときの立体ノギス像の変化例を示す斜視図である。
【図６】本実施形態における立体撮影装置の第１の撮像装置と第２の撮像装置に対する基準図形の位置と表示大きさとの関係を説明する斜視図である。
【図７】本実施形態に係る立体ノギスのポインター位置と左右の撮像装置の視線の関係を説明する平面概念図である。
【図８】本実施形態に係る立体ノギスのポインター位置と左右の撮像装置の視線の関係を説明する側面概念図である。
【図９】本実施形態に係る任意の点の座標と立体視化する画像上の対応点の関係を説明する概念図である。
【図１０】本実施形態に係る立体ノギスのポインターを立体表示するときの左右の画像面を説明する概念図である。
【図１１】本実施形態に係る立体ノギス像の使用手順を説明するフロー図である。
【図１２】本実施形態の立体ノギスのポインター位置設定手順を説明するフロー図である。
【発明を実施するための形態】
【００３３】
以下、本発明に係る立体映像表示装置の立体ノギス像形成装置について、図面を参照しながら詳しく説明する。なお、図面においては、同じ機能を有する構成部材については同じ参照番号を付して説明を簡約にし、説明の重複を避けた。
【００３４】
図１は、本発明の１つの実施形態に係る立体ノギス像形成装置を用いた立体映像表示装置の構成図である。本実施形態の立体ノギス像形成装置を適用した立体映像表示装置は、立体撮像装置１と画像信号生成装置２と立体映像信号生成装置３とディスプレー４と立体ノギス像形成装置５とを含んで構成される。
【００３５】
立体撮像装置１に含まれる第１の撮像装置１１と第２の撮像装置１２は、ほぼ同じ性能を有するカメラで、固定の主点間距離をおいて結合され、左右一対の撮像装置は、視差を持つように配置され、左右一対の画像を撮像して撮像信号を出力する。本実施形態におけるように交差法を利用する場合は、一対の撮像装置の光軸が輻輳角をもって交わるため前方の決められたコンバージェンス点１３で交差するように配置される。
立体撮像装置１は、立体内視鏡のプローブ先端に設けられた１対のカメラであっても良い。
【００３６】
第１の撮像装置１１と第２の撮像装置１２が生成した撮像信号は、画像信号生成装置２に入力される。画像信号生成装置２は、撮像装置１１，１２から入力された撮像信号を信号処理して、それぞれのカメラごとに画像信号を生成する。図において、第１の撮像装置１１からは左目で見るための画像が生成され、第２の撮像装置１２からは右目で見るための画像が生成される。
画像信号生成装置２から出力される左目用と右目用の１対の画像信号は、立体映像信号生成装置３により合成されて、ディスプレー４に立体映像として表示するための立体映像信号となり、ディスプレー４に送信される。
【００３７】
ディスプレー４では、左目用の画像は左目で見えるように、また右目用の画像は右目で見えるように表示する。左目用画像と右目用画像に分離した一対の画像を、コンバージェンス点１３における映像が重なるように配置することにより、２つの画像から実物像を立体視することができるようになる。
【００３８】
立体視化の方法は、たとえば、右目用画像と左目用画像を交互に切り換え表示し、これと同期してオンオフする液晶シャッタメガネなど専用の立体メガネで観察する時間分割立体表示方式や、偏光軸が直交する偏光フィルタを通して左右の画像をプロジェクタに投射して同一画面に重ねて表示し、偏光フィルタ眼鏡で左目用画像と右目用画像に分離する偏光フィルタ眼鏡方式や、液晶表示面の水平走査ライン毎に偏光方向が９０度変化する液晶フィルタを設置し、液晶表示面に左眼用と右眼用の画像を水平走査ライン毎に交互に並べて、右回転円偏光板と左回転円偏光板を左右に配置した円偏光メガネで見ることにより分離された左右用の映像をそれぞれ左右の目で同時に見て立体視する円偏光方式など、色々な方法が知られている。
【００３９】
立体ノギス像形成装置５は、ポインター像表示装置２１、座標演算装置２２、距離演算装置２３、操作盤２４、記憶装置２５、立体ノギス像表示装置２６を含んで構成される。
オペレータが操作盤２４を用いて指定するポインターの位置情報は、ポインター表示装置２１で生成され、ポインター表示装置２１から立体映像信号生成装置３に送信される。立体映像信号生成装置３は、立体撮像装置１で生成された撮像信号から画像信号生成装置２で左右の目用にそれぞれ生成された画像信号と、受信したポインターの位置情報を合成して、立体撮像装置１で取得した対象物の立体画像とポインターの立体画像が重なった立体映像信号としてディスプレー４に表示させる。
【００４０】
図２は、ディスプレー４の表示面４１における表示例を示す概念図である。表示面４１には、左右両眼の視差に基づいて奥行きを判断する視差法に基づいた立体像４６が表示されている。
ディスプレー４の表示面４１には、第１の撮像装置１１から供給される左目用の画像と第２の撮像装置１２から供給される右目用の画像が両方表示されている。このような表示から立体像４６を得るには、左目用の画像と右目用の画像を分離して、左目と右目で別々に見ることが必要になる。
【００４１】
立体視には、先に述べた通り、時間分割立体表示方式や偏光フィルタ眼鏡方式など、いくつかの方法があるが、本実施形態では、２枚の画像を並べてそれぞれ別の目で見て立体視化する視差法であれば具体的な方法を問わない。
【００４２】
図２に示された表示面４１には、さらに２つのポインター４２，４３とポインター間を繋ぐ結合線４４で代表する立体ノギス、およびポインター４２，４３の実体距離を表示する距離表示枠４５が立体表示されている。図２では、２つのポインター４２，４３は物体像４６の輪郭でなく、その内部における知りたい寸法の端点を３次元的に指示している。
また、ポインター４２，４３は、ポインターのある位置が近いほど大きく、遠いほど小さく表示して、距離感の直感的な把握を容易にするようにしてもよい。
【００４３】
なお、画像のリアリティを向上させるために、２つのポインター４２，４３とポインター間を繋ぐ直線４４でノギスを代表する代わりに、ノギス像を立体表示することができる。図３は、マイクロメータに似せてフレーム４８やバーニア４９を備えたノギス形状をデザイン化した立体表示用のノギス像４７の例を示す。ノギス像４７はコンピュータグラフィックス（ＣＧ）を使って、ディスプレー４の画面中に立体的に表現される。
【００４４】
ポインター４２，４３には、ノギス像４７のアンビル３８とスピンドル３９（ノギスのジョーに当たる）が当接され、２つのポインター４２，４３を結ぶ結合線４４の上にノギス像４７の測定軸Ｙｎ軸が設定されている。距離や間隔の測定はＹｎ軸に沿って行う。また、操作盤２４にトラッキングボール３７などポインタデバイスを備えて、ポインタデバイス３７を操作することにより、Ｙｎ軸を回転軸としてフレーム４８の傾きを加減して、背景の立体映像の邪魔にならないようにすることができる。なお、立体表示するノギス像４７は、背景映像の邪魔にならないように半透明に表示してもよい。
【００４５】
操作盤２４を使ってポインター４２，４３をそれぞれ対象の測定位置に当接させると、座標演算装置２２によりそれぞれの座標が算定され、立体ノギス像表示装置２６によりポインター位置に対応する立体ノギス像のグラフィックスが形成され、距離演算装置２３によりポインター間の距離が算定される。形成された立体ノギス像の表示情報と求められた距離は立体映像信号生成装置３に送信され立体映像信号に組み入れられて、立体ノギス像は表示画面４１中に立体表示され、距離値は表示画面４１中の距離表示枠４５に表示される。
なお、距離表示枠４５は立体表示する必要がないので、平面的に表示するようにしてもよい。
【００４６】
図４は、本実施形態の立体ノギス像形成装置に用いられる操作盤の例を示す斜視図である。操作盤２４は、ノギスの当て方、すなわちポインターの立体位置、を指定する装置である。
図４に示すように、操作盤２４には、シーソーキー３１と、十字キー３２と、いくつかの押しボタンスイッチ３３，３４，３５と、ラチェットストップ付きバーニア３６とが配置されている。操作の自由度を上げるため、トラッキングボール３７や図示しないジョイスティックなどをさらに設けてもよい。
【００４７】
シーソーキー３１は、ポインターの奥行き方向（Ｙ軸方向）の移動を指示するスイッチである。シーソーキー３１は、操作盤２４の側面に設けられ前後方向にスイングするスイッチで、シーソーキー３１の向側の端部を押し込めば指定されたポインターが遠方に（Ｙ軸正方向に）表示されるようになり、手前側の端部を押し込めばポインターが手前に近づく方向（Ｙ軸負方向）に移動する。実際には、たとえば、立体撮像装置に固定された座標系におけるポインターのＹ座標値を増減することでＹ軸方向に移動させることができる。
シーソーキー３１は押し込み深さや押し込み継続時間によってポインターの運動方向と速度を指定するものであっても良い。
【００４８】
十字キー３２は、操作盤上面に設けられ２方向にスイングして、画像中のポインターの横方向（Ｘ軸方向）と縦方向（Ｚ軸方向）の移動を指示するスイッチで、直交配置された２個のシーソーキーと等価なスイッチである。十字キー３２の横方向の腕は、たとえばＸ座標値を増減することによってポインターの横方向の運動制御を行い、腕の右側を押し込めば、ポインターは横方向右側（Ｘ軸正方向）に移動し、左側を押し込めばポインターは横方向左側（Ｘ軸負方向）に移動する。また、縦方向の腕は、たとえばＺ座標値を増減することによって画像中のポインターの縦方向の運動制御を行い、腕の上側を押し込めば、ポインターは上の方向（Ｚ軸正方向）に移動し、下側を押し込めば、下の方向（Ｚ軸負方向）に移動する。なお、十字キー３２は、長押しにより上の通り決められた方向に高速移動するように構成しても良い。
【００４９】
押しボタンスイッチ３３，３４，３５は、ボタンを押すことにより、ポインターの位置決定や、ポインターの初期位置に戻す指令や、操作するポインターの選択などを行うスイッチである。なお、押しボタンスイッチは、必要に応じて、４個以上設けても良い。
ラチェットストップ付きバーニア３６は、操作盤２４の側面に設けられ、立体ノギス像のアンビル３８とスピンドル３９を結ぶ方向を変えずに、距離を増減するために使用する。マイクロメータにおけるバーニアと同じ機能を担わせたものである。
【００５０】
オペレータは、操作盤２４のシーソーキー３１と十字キー３２により、ポインターの位置を映像中の任意の位置に移動させることができる。ポインターの位置は、立体撮像装置に固定された直交座標系のＸＹＺ座標で表わすことができる。ここで便宜のため、座標系の原点を２つの撮像装置における光学系の主点同士を結ぶ線分の中点に置き、Ｘ軸を主点同士を結ぶ線分の上に、Ｙ軸を原点とコンバージェンス点１３を結ぶ線の上に、Ｚ軸をＸ軸とＹ軸に垂直な方向に取ったＸＹＺ直交座標系を用いるものとする。
【００５１】
２つのポインター４２，４３の３次元位置が決まれば、これらポインターにアンビル３８とスピンドル３９を当接させた立体ノギス像４７は容易に形成され、ポインター間を結ぶ直線は簡単に描くことができ、ポインター間の距離も与えられる。ポインター４２，４３の３次元位置を決めるには、各ポインターについて３自由度を調整するシーソーキー３１と十字キー３２があれば足りる。
【００５２】
なお、ポインターの移動を行う操作端として、トラックボール３７やジョイスティックで、シーソーキー３１と十字キー３２の組み合わせに代替することもできる。これらは、操作性に差があり、操作する者の嗜好もあるので、選択できるようにしておいてもよい。
また、トラッキングボール３７は、立体表示したノギス像４７のフレーム４８の影が映像の観察に邪魔になるときに、立体表示したノギス像４７の回転軸（Ｙｎ軸）を中心としてフレーム４８を回転させるために使用するようにすることができる。
【００５３】
立体ノギス像の形態は、２次元の画面中のポインターの位置だけでは決まらず、３次元位置にしたがって定まることは、いうまでもない。また、立体ノギス像の形状は、立体撮像装置からの距離あるいはＹ座標値にしたがった大きさで表示することができる。
たとえば、図５は、ポインターが画面中の距離を変えずにＹ軸方向に移動したときに、立体ノギス像が変化する様子を説明する図である。また、図６は、立体撮影装置の第１の撮像装置と第２の撮像装置に対する基準図形の位置と表示大きさとの関係を説明する斜視図である。
【００５４】
図６は、基準立体図形を、第１の撮像装置１１の光軸と第２の撮像装置１２の光軸が交わって形成するコンバージェンス点１３と、２つの撮像装置の主点１４，１５の中間点Ｏとを結ぶＹ軸上に置いたときに、表示装置４に投影される立体図形の像２１，２２，２３の大きさがＹ軸上の位置により変化する状態を示す。
図６に示すように、コンバージェンス点１３の位置に、２つの撮像装置の光軸を含む面に垂直なコンバージェンス面１８を想定する。ここで、第１の撮像装置１１と第２の撮像装置１２のたとえば主点１４，１５同士を結ぶ線を基準線１９とし、基準線１９からコンバージェンス面１８までの距離をＤｃとする。
【００５５】
コンバージェンス面１８に立体図形が存在するとき、ディスプレー４に表示される立体図形像２１は、光学系と電子回路と表示装置などにより規定される所定の倍率が掛かった所定の大きさを有するものになる。
立体図形像２２は、基準立体図形がコンバージェンス面１８より撮像装置に近い位置にあるものとして表示されたときの像である。ここで、基準線１９から立体図形像２２に対応する基準立体図形までの距離をＤｓとすると、立体図形像２２の大きさは、コンバージェンス面１８にあるものとして表示される立体図形像２１のＤｃ／Ｄｓ倍に拡大して表示される。
【００５６】
また、立体図形像２３は、基準立体図形がコンバージェンス面１８より撮像装置から遠い位置に配置されたときの像である。ここで、基準線１９から立体図形像２３に対応する標準図形までの距離をＤｌとすると、立体図形像２３の大きさは、コンバージェンス面１８にあるものとして表示される立体図形像２１のＤｃ／Ｄｌ倍に縮小して表示されることになる。
【００５７】
こうして、同じ大きさの対象物であっても、撮像装置２からの距離が変化すれば、シスプレー４に表示される像の大きさが距離に対応して規則的に変化して、映像観察者に映像中の像の遠近感覚を的確に喚起させることができる。
したがって、距離あるいは間隔を測定する立体ノギスの像に対して上記説明の通り距離に従って大きさを変化させるようにして、測定対象に当てた立体ノギスの像を観察することにより、直感的に測定対象の奥行き位置を推察できるようにすることができる。
【００５８】
図５（ａ）は、本実施例における、ポインターＡとポインターＢがほぼ同じＸＺ面上に存在する場合の立体ノギス像を示す。図５（ｂ）は、図５（ａ）におけるポインターＡとポインターＢが画面中のほぼ同じ位置に見えるにもかかわらず、ポインターＢが奥行き方向のＹ軸に沿って遠ざかった状態にある場合の立体ノギス像を示している。
【００５９】
図５（ａ）では、ポインターＢに合わせられたアンビル部分はポインターＡに合わせられたスピンドル部の大きさに近くなっている。これに対して、図５（ｂ）では、ポインターＢに対応するアンビルの像が距離に対応して小さくなり、フレームがアンビルに近い方で細くなり、かつ立体ノギス像が傾いていることから、画面中のポインターＡの像とポインターＢの像の距離が変化しなくても、ポインターＢが遠ざかっていることが直感的にも明らかである。
【００６０】
ポインターの奥行き位置が異なる場合でも、ポインターＡとポインターＢの座標値を用いることにより、両ポインター間の距離は正しく求めることができるが、本実施例では、立体ノギス像を立体撮像装置からの距離あるいはＹ座標値にしたがった大きさで表示することにより、対象の遠近感が的確に把握でき、直感的な観察が可能になる。
また、ポインターＡ，Ｂにラベルを付して、そのラベルの大きさを遠近に従って変更することも、対象の遠近を直感的に観察するために有効である。
【００６１】
なお、立体ノギスやポインターのラベルの表示寸法は、Ｙ座標値に対応して演算に基づいて決めることができるが、基準立体スケールを立体撮像装置で撮影してＹ座標と寸法の関係を実地で確認した結果を利用することもできる。
たとえば、所定の形状をした基準の立体スケールを光軸上の適宜の位置に配置して実写することにより、撮影した位置すなわちＹ座標位置における画像中の立体スケール像の大きさが確定する。したがって、適当な範囲において、複数の異なる位置で撮影した結果を使って、使用範囲内の実物と映像の大きさの換算係数を求めることができる。なお、中間位置については補間計算により妥当な係数を得ることができる。
こうして得られた換算係数は、光学系の非線形性などの影響や不測の外乱も含めた結果であるので、実態と整合させるために複雑な補正演算を行う必要がない。
【００６２】
図７は、立体ノギスのアンビルとスピンドルの位置を定めるポインターの位置と、左右の撮像装置の視線の関係を説明する平面概念図、図８はその側面概念図である。表示された実施例では、左目用撮像装置１１と右目用撮像装置１２は立体内視鏡の先端筒１６に収まっているものとする。
左目用撮像装置１１の主点１４と右目用撮像装置１２の主点１５を適宜の距離２ｄだけ離して左目用撮像装置１１と右目用撮像装置１２の位置が固定される。左右一対の立体画像は、両者の光軸がコンバージェンス点５３で交差するようにした交差法により撮像される。
【００６３】
立体映像化するためには、その部分の映像が２つの撮像装置１１，１２のいずれの撮像画面にも入っている必要がある。したがって、立体視化可能な領域は、２つの撮像装置の視野５５が重なる図中斜線で影を付けた部分になる。図８の側面図では、上下方向の視野５６により制限される図中斜線で影を付けた領域となる。
【００６４】
なお、立体撮像装置１に固定され２つの撮像装置の主点１４，１５を結ぶ線分の中点に原点Ｏを配置した直交座標系の座標で表現すれば、左目用の第１撮像装置１１の主点１４は（−ｄ，０，０）の位置、右目用の第２撮像装置１２の主点１５は（ｄ，０，０）の位置にあることになる。
【００６５】
立体視可能な領域内に設定した第１のポインター４２および第２のポインター４３は、それぞれ第１撮像装置１１からポインター４２，４３を見た視線がコンバージェンス点５３におけるＸＺ面（コンバージェンス面）５４に投影された点６３，６５を左目用画像における指示ポイントとして、ディスプレー４に表示させるようにする。
【００６６】
また、第２撮像装置１２からポインター４２，４３を見た視線がコンバージェンス面５４に投影された点６４，６６を右目用画像における指示ポイントとして、ディスプレー４に表示させるようにする。
こうしてディスプレー４に表示された指示ポイントを両眼で立体視すると、第１のポインター４２と第２のポインター４３が立体映像中のそれぞれの実体位置に存在するように見ることができる。
【００６７】
図９は、適宜の位置にあるポインターなどの点の座標と、左右の撮像装置から見通す視線がコンバージェンス面と交わる位置の座標の関係を説明する図面である。
図７，図８に表された第１のポインター４２が、図９に示す位置Ｐ（Ｘ，Ｙ，Ｚ）にあるとして、第１撮像装置１１から第１のポインター４２を見た視線をコンバージェンス点５３におけるＸＺ面（コンバージェンス面：Ｙ＝Ｌ）に投影した点Ｃｌの座標が（Ｘｌ，Ｌ，Ｚｃ）となり、第２撮像装置１２から第１のポインター４２を見た視線をコンバージェンス面に投影した点Ｃｒの座標が（Ｘｒ，Ｌ，Ｚｃ）となるとする。ここで、第１撮像装置１１と第２撮像装置１２の主点間距離は２ｄであり、主点間接続線とコンバージェンス点５３との距離はＬである。
【００６８】
図９に示された、相似比Ｙ：（Ｌ−Ｙ）の相似三角形から、Ｙ：（Ｌ−Ｙ）＝２ｄ：（Ｘｌ−Ｘｒ）であるから、
Ｙ／Ｌ＝２ｄ／（２ｄ＋Ｘｌ−Ｘｒ）
相似比Ｙ：Ｌの多数の相似三角形から、
Ｚ／Ｚｃ＝Ｙ／Ｌ
Ｘ／（Ｘｌ＋Ｘｒ）＝Ｙ／Ｌ
なる関係が成立することから、Ｃｌ（Ｘｌ，Ｌ，Ｚｃ）とＣｒ（Ｘｒ，Ｌ，Ｚｃ）の座標が分かれば、簡単にＰ（Ｘ，Ｙ，Ｚ）の座標が求められることが分かる。
【００６９】
ちなみに、Ｘ，Ｙ，Ｚは下の式で求められる。
Ｘ＝ｄ（Ｘｌ＋Ｘｒ）／（２ｄ＋Ｘｌ−Ｘｒ）
Ｙ＝２ｄＬ／（２ｄ＋Ｘｌ−Ｘｒ）
Ｚ＝２ｄＺｃ／（２ｄ＋Ｘｌ−Ｘｒ）
すなわち、ポインターを立体視化するための左目用画像と右目用画像には、ポインターを見通すカメラの視線がコンバージェンス面（Ｙ＝Ｌ）に投影されたときの座標がＣｌ（Ｘｌ，Ｌ，Ｚｃ）およびＣｒ（Ｘｒ，Ｌ，Ｚｃ）として与えられるので、実体に対応するポインターの位置Ｐ（Ｘ，Ｙ，Ｚ）の座標が論理的に求められる。
【００７０】
また、逆に、Ｐ（Ｘ，Ｙ，Ｚ）の座標が与えられれば、Ｃｌ（Ｘｌ，Ｌ，Ｚｃ）とＣｒ（Ｘｒ，Ｌ，Ｚｃ）の座標が論理的に求まる。
ちなみに、Ｚｃ，Ｘｌ，Ｘｒは下の式で求められる。
Ｚｃ＝ＺＬ／Ｙ
Ｘｌ＝（ＸＬ―ｄ（Ｌ−Ｙ））／Ｙ
Ｘｒ＝（ＸＬ―ｄ（Ｌ＋Ｙ））／Ｙ
したがって、ポインターの位置Ｐが与えられたときに、そのポインターを立体視させるための左目用画像と右目用画像を理想的に生成することができる。
なお、より現実的には、たとえば本願出願人が開示した特願２００９−１６０６６４に記載された手法を用いて、基準パターンを実写した結果得られる座標空間で左右の画像を生成することもできる。
【００７１】
立体ノギスを使用して対象物の径や距離を測定するときは、オペレータは、図４に例示した操作盤２４を操作して、第１ポインター４２と第２ポインター４３の立体位置を定める必要がある。操作盤２４の押しボタンスイッチを使って第１ポインター４２を選択すると、ポインター像表示装置２１の働きにより、第１ポインター４２は初めに基準点となるコンバージェンス点５３の位置、すなわち座標（０，Ｌ，０）の位置に移動する。コンバージェンス点５３は左目用と右目用の画像面における共通中心点である。
【００７２】
そこで、オペレータは、操作盤６のシーソーキー３１と十字キー３２を操作して、第１ポインター４２をＸＹＺの各方向に動かして目標の位置Ｐに移動させる。
シーソーキー３１は、たとえば、Ｙ値を増減する指令をポインター像表示装置２１に送信して、ポインターの位置をＹ軸方向に動かさせる機能を有する。また、十字キー３２は、ポインター像表示装置２１におけるＸ値とＺ値をそれぞれ増減させて、ポインターの位置をＸ軸とＺ軸の方向に移動させる機能を有する。
【００７３】
ポインター像表示装置２１は常にポインターの座標値を使ってポインターの立体画像情報を生成して、立体映像信号生成装置３に送っているので、移動中に変化する座標（Ｘ，Ｙ，Ｚ）は逐一、撮像装置１１，１２のポインターを見通す視線がコンバージェンス面５４上に投影される位置に反映されるので、いつでもポインターの立体視ができる。
【００７４】
オペレータは、立体視したポインターの３次元位置と立体画像中の対象物の３次元位置とをディスプレー４の立体映像画面４１中で目視により比較して、ポインターが目標位置に到達したと判断できるところまで移動させると押しボタンスイッチを操作して、第１ポインター４２の位置を確定する。第１ポインター４２の位置が確定したときには、同時に虫ピンのようなピン画像を確定位置に立てて、目印にするようにしてもよい。
【００７５】
また、目印のピン画像は、先に画像中の対象物の位置に立てておいて、ピンをめがけてポインターを誘導するような利用方法もある。
なお、上記手順では、第１ポインター４２の位置を合わせるために、静置したカメラの画面中でポインターを動かしたが、カメラの画像中にポインター位置を固定して、カメラの撮影方向や対象までの距離を変化させて、第１ポインター４２の位置合わせを行うこともできる。
第１ポインター４２には、図３に示したようなマイクロメータ型の立体ノギス像４７のアンビル３８が当接して、第１ポインター４２の移動に追従して立体ノギス像を移動あるいは変形させている。
【００７６】
次に、第２ポインター４３を選択すると、第２ポインター４３も初めに基準点であるコンバージェンス点５３（０，Ｌ，０）の位置に移動する。そこで、第１ポインター４２と同様にシーソーキー３１と十字キー３２を操作して、第２ポインター４３の目標位置まで移動させてから、押しボタンスイッチを操作して位置決定する。
第２ポインター４３には、マイクロメータ型立体ノギス像４７のスピンドル３９が当接して、第２ポインター４２が移動すると、これに追従して立体ノギス像を移動あるいは変形させている。
【００７７】
ポインター間の位置関係を分かりやすくするため、第１ポインター４２と第２ポインター４３の間は、画面上、常に結合線４４で結合させておいてもよい。結合線４４は、背景となる映像が見えるように薄い透明色の線で表示されることが好ましい。
また、ポインター４２，４３の座標値は常時把握されているので、移動中においても距離演算装置２３によって２つのポインターの間の距離を算定することができる。したがって、演算結果が立体映像信号生成装置３に送信され、ディスプレー４の表示面４１における距離数値表示４５に移動中における両者間の距離値が表示されるようにすることができる。
【００７８】
また、シーソーキー３１や十字キー３２は直交座標系の各軸に沿って移動させるが、ポインター４２，４３が挟む測定対象物が膨張縮小した場合など、測定方向が変化しないときには、座標軸ごとの動きでなく、ポインター間の距離のみを直接変更するため、操作盤２４におけるラチェット付きバーニア３６を操作することができる。バーニア３６は、使い慣れているマイクロメータの操作部と同じ物であるので、オペレータにとって扱い馴れているという利点がある。
【００７９】
さらに、操作盤２４には、リセット用の押しボタンスイッチが設けられていて、ポインターの位置が大きくずれたときや、撮影対象を変えたときなどに操作すると、ポインターの位置を一挙にコンバージェンス点５３などの基準位置に移動させることができる。この機能があることにより、対象が画面中の離れた場所に移ったときにも、迅速なポインターの位置指定が可能になる。
【００８０】
図１０は、１対のポインター４２，４３に対応する立体ノギスの立体表示を可能にするための、左目用画像と右目用画像の概念を説明する図面である。図１０（ａ）は立体ノギスの左目用画像、図１０（ｂ）は同じ立体ノギスの右目用画像である。なお、簡単のため、図では、立体ノギス像のアンビルとスピンドルを黒塗りの三角形で代表し、立体ノギス像の表示を省略している。
図１０（ａ）に示した立体ノギスの左目用画像６１は、第１撮像装置１１で撮影した左目用映像と一体となって、ディスプレー４に表示されたときに人の左目で観察される部分となる。また、図１０（ｂ）の立体ノギスの右目用画像６２は、第２撮像装置１２で撮影した右目用映像と一体となって、ディスプレー４に表示されたときに人の右目で観察される部分となる。
【００８１】
図７，図８などを参照して分かるように、図１０に表示された点６３，６４：６５，６６は、実際の３次元位置の点４２：４３を撮像装置１１，１２から見た視線がコンバージェンス面５４（ｙ＝Ｌ）に当たる位置として表示される。図１０（ａ）と図１０（ｂ）の画像６１，６２は、第１ポインター４２および第２ポインター４３のコンバージェンス面５４における投影図ということもできる。図１０（ａ）と図１０（ｂ）の画像６１，６２は、ディスプレー４に表示されて、左右の目でそれぞれ見た画面が脳で合成されることにより、立体ノギスを立体的に観察されるようにするものである。
【００８２】
なお、図１０（ａ）の左目用画像６１と図１０（ｂ）の右目用画像６２を比較すると、１つの点について表示する各点の高さ（Ｚ値）は左目用画像６１と右目用画像６２で同じ値になる。そして、Ｘ値が左目用画像６１における値より右目用画像６２における値が大きいときは、その点が表すポインター位置がコンバージェンス面５４より撮像装置１に近く、右目用画像６２における値が小さいときは、ポインター位置がコンバージェンス面５４より遠いことが分かる。
【００８３】
図１０には、両画像において中心位置に当たるコンバージェンス点５３と図７と図８に表わした適宜な点５７も一緒に表わされている。
なお、ここでは、２つの撮像装置の主点の中点に原点を置いた直交座標系を使って説明をしているが、座標変換可能な他の座標系を使う場合でも、本質的に等価であることはいうまでもない。
【００８４】
図１１は、本実施形態に係る立体ノギス像の使用手順を説明するフロー図、図１２は、本実施形態の立体ノギスのポインター位置設定手順を説明するフロー図である。
立体ノギスを使用するのに先立って、ノギスを当てる対象となる被測物の立体撮影を行う（Ｓ０１）。立体撮影は、第１撮像装置１１と第２撮像装置１２により、左眼用の画像と右眼用の画像を取得する作業である。撮像装置はビデオカメラであってもよい。取得した左眼用画像と右眼用画像は、立体表示のための処理を行ってディスプレー４上に表示する（Ｓ０２）。ディスプレー４に表示された被測物は、立体視用眼鏡を使うなど立体視化手法に従って、画像中に立体として観察できる。
【００８５】
次に、第１ポインター４２の位置を確定する（Ｓ０３）。
第１ポインター４２の位置確定は、図１２に示す手順に従って行われる。まず、ポインター像表示装置２１が、第１ポインター４２と第２ポインター４３の位置をディスプレー４の画面４１中に表示させる（Ｓ１１）。立体ノギス像として、第１ポインター４２と第２ポインター４３の位置にアンビルとスピンドルとを適宜対応させた立体ノギスの形状模写像を表示してもよい。なお、立体ノギス像は、コンピュータグラフィックスの技法を使って大きさや姿勢を実態に合わせて立体的に表示することが好ましい。
【００８６】
オペレータは、ディスプレー４に表示された第１ポインター４２の像を立体視で位置確認しながら、操作盤２４のシーソースイッチ３１と十字キー３２を操作して、測定対象の一方の端点に当たる三次元位置に移動させる（Ｓ１２）。
スイッチ類から出力される指令信号はポインター像表示装置２１に伝送されて、指令通りにポインターの位置を変化させる。ポインターの位置情報は立体映像信号生成装置３に伝送され、立体視用画像に組み込まれて、ディスプレー４に表示される。
【００８７】
第１ポインター４２の位置が目的にかなう三次元位置になっているか否かは、目視により被測物との位置関係を判定して決定する。ポインターの奥行き位置は、オペレータが画面中の映像と比較して視覚で判定することができる。
立体ノギス像が表示されているときは、第１ポインター４２の移動につれて対応するアンビルの部分も移動する。なお、ディスプレー４に表示されるアンビルの部分は、第１ポインター４２のＹ座標値に応じて大きさが変化する。
【００８８】
第１ポインター４２が所望に位置にあることが判定できたら、押しボタンスイッチを押して位置を確定し、それ以後の第１ポインター４２に関する移動用キーの操作を無効にする（Ｓ１３）。
これにより、図１１に示す、第１ポインター４２の位置確定ができる（Ｓ０３）。位置確定した第１ポインター４２の位置に、ピンの像を立てて目印にしても良い。また、立体ノギス像が表示されているときは、第１ポインター４２の位置が確定したときに、立体ノギス像のアンビルの位置が確定する。
【００８９】
さらに、第２ポインター４３を選択して、第１ポインター４２と同様に図１２に示す手順に従って、第２ポインター４３の像を、測定対象の他方の端点に当たる三次元位置に移動させて、位置を確認した後、押しボタンスイッチを押して位置確定をする（Ｓ０４−Ｓ０６）。
立体ノギス像が表示されているときは、第２ポインター４２の移動につれてスピンドルの部分も移動する。なお、ディスプレー４に表示されるスピンドル部分の大きさは、第２ポインター４３のＹ座標値に応じて変化する。
【００９０】
第２ポインター４３の移動中も、第２ポインター４３の座標は座標演算装置２２により逐一算定されており、距離演算装置２３がこれら座標値を使って第１ポインター４２と第２ポインター４３の間の距離を逐一算定している。算定した結果は、立体映像信号生成装置３で編成されて、ディスプレー４の表示面４１の距離数値表示４５にリアルタイムで表示されている（Ｓ０５）。
【００９１】
そこで、第２ポインター４３の位置が確定されたら（Ｓ０６）、そのときに距離数値表示４５に表示されている距離値を読み取れば、その値が第１ポインター４２と第２ポインター４３で指定された測定対象における距離になる（Ｓ０７）。
ここで表示される距離は、座標値から実寸に換算された実体距離とすることができる。
【００９２】
なお、本実施形態では、立体ノギス像を使用して対象物の測定位置を確定するが、立体ノギス像の表示をせずに、ポインター自体を使って測定位置の確定をすることもできる。立体ノギス像を省くことにより、対象物周りの状態をより明瞭にディスプレー４に表示することができる。なお、ポインターは、ポイント位置のＹ軸方向距離に対応する大きさで表示することが好ましい。
また、立体ノギス像形成装置の適用先として、交差法配置された立体撮像装置を挙げているが、平行法配置の立体撮像装置においても、立体ノギス像の三次元位置を適宜に調整することにより、本発明の立体ノギス像形成装置を適用することができる。
【産業上の利用可能性】
【００９３】
本発明の立体ノギス像形成装置を用いることにより、立体映像装置に表示される物体のサイズや物体間距離を立体的に測定することができるようになるので、特に立体内視鏡装置を用いた診断や手術などにおいて有効である。
【符号の説明】
【００９４】
１ 立体撮像装置
２ 画像信号生成装置
３ 映像信号生成装置
４ ディスプレー
５ 立体ノギス像生成装置
１１ 第１の撮像装置
１２ 第２の撮像装置
１３ コンバージェンス点
１４，１５ 主点
１６ 内視鏡先端筒
１８ コンバージェンス面
１９ 基準線
２１ ポインター像表示装置
２２ 座標演算装置
２３ 距離演算装置
２４ 操作盤
２５ 記憶装置
３１ Ｙ軸用シーソースイッチ
３２ 十字キー
３３ 押しボタンスイッチ
３４ 押しボタンスイッチ
３５ 押しボタンスイッチ
３６ ラチェット付きバーニア
３７ トラッキングボール
３８ アンビル
３９ スピンドル
４１ 表示画面
４２ ポインター像
４３ ポインター像
４４ 結合線
４５ 距離数値表示
４６ 対象物像
４７ 立体ノギス像
４８ フレーム
４９ ラチェット付きバーニア
５１，５２ 光軸
５３ コンバージェンス点
５４ コンバージェンス面
５５ 立体表示領域水平境界
５６ 立体表示領域垂直境界
５７ 観測点
６１ 左目用の画像
６２ 右目用の画像
６３，６４，６５，６６ 表示された点
【技術分野】
【０００１】
本発明は、立体撮像装置で取得する画像を立体的に表示する立体映像表示装置において、画像に表示された物体の幅や物体間の距離を推定するために使用する立体ノギス像及び幅や距離の数値表示を生成する装置に関する。
【背景技術】
【０００２】
近年、立体映像表示装置は著しく発達してきている。立体映像表示装置では、たとえば、視差を持つように左右一対の撮像手段を配置し、撮像された左右一対の画像をモニターに表示し、それぞれの画像を左右の目で別々に捉えて脳で合成することにより、立体視化する。
【０００３】
立体視には、左右画像を時分割で交互に表示し、液晶シャッターを備えたメガネで左右画像を交互に観察する時間分割立体表示方式や、左右画像をそれぞれ偏光軸が直交する偏光フィルタを通した上で、同一面に重ねて偏光表示し、左右で偏光軸が直交する偏光フィルタメガネを用いて左右画像に分離する偏光フィルタ眼鏡方式、液晶表示画面の水平１ドットライン毎に偏光方向が９０度変化する液晶フィルタなどを設置し左眼用と右眼用の画像を交互に並べ、右回転円偏光板と左回転円偏光板を左右に配置した円偏光メガネで見ることにより分離された左右用の映像をそれぞれ左右の目で同時に見て立体視する円偏光方式など、各種の原理に基づく装置が利用されている。なお、裸眼で立体映像を観察することができる方法もある。
【０００４】
映像の立体視化により、被写体に対する識別力が格段に向上する。また、特に医療の現場において立体内視鏡カメラが使用できれば、内蔵疾患の診断や手術を支援する上で大きな効果が期待される。さらに、立体映像中の物体の寸法や物体間の距離を簡単に知ることができれば、的確な診断や手術に大きく貢献することになる。
【０００５】
しかし、立体内視鏡カメラから得られる映像は、形状と配置、色が主な情報で、映像として映し出される物体の大きさに関する情報は、直接に得ることはできない。立体カメラと人の目の位置関係は必ずしも対応していないので、特に立体視している対象の寸法や距離を正確に測ることは難しい。したがって、通常は、表示映像内に映し込まれた鉗子など比較対象物に基づいて寸法等を推定することが多い。このように、映像中の対象物についての大きさや距離に関する情報は確実性がない。
【０００６】
立体カメラによる撮影方法には、カメラの光軸方向に注目した平行法と交差法の区別がある。しかし、立体視した映像中のある点の位置を求める場合は、いずれも左右両眼に対応するカメラの視線の交わり状況に基づく方法に従うので、本質的な相違はない。ただし、立体視を可能にするためには対象が左右のカメラ視野の両方に含まれている必要があるので、交差法の方が、よりカメラに近い対象まで立体視できる点、また視線の交角がより大きくなるため、視認したときの画像の立体感が大きい点などの利点がある。
特に、立体内視鏡装置では、左右のカメラの間隔が狭いので交差法がよく用いられている。
【０００７】
立体内視鏡装置を用いた診断あるいは手術においては、術者が、立体内視鏡カメラにより撮影して表示された立体映像に映し出された患部を立体的に観察して、たとえば、患部の形状や周囲の状況、色などを診断の重要な判断材料とすることが期待される。しかし、患部の寸法や他の贓物との距離などを正確に推定する適当な手段がなく、奥行きを感じさせる立体映像は得られるものの、その寸法や距離は、過去の経験に基づいて類推するしか方法がなかった。また、患部の大きさも、鉗子など一緒に映像に写し込まれた比較対象物により推定するしかないが、位置関係が明確でなく正確に推定することは難しかった。
【０００８】
このため、立体内視鏡カメラで撮影した映像を対象として距離画像を生成する手法が求められる。しかし、立体映像表示装置において、立体表示された映像から実物の距離や寸法を感得する簡便な手法は、未だ知られていない。
なお、このような事情は、立体内視鏡装置に限らず、一般に用いられる立体カメラを使用した立体映像表示装置においても同様で、映像中の事物の寸法や相互の距離を正確に求めることが難しい。
【０００９】
特許文献1には、計測用目盛発生回路により最適なサイズの計測用目盛をモニター上に描画するようにした立体撮像装置が記載されている。特許文献1に開示された計測用目盛発生回路は、カメラの光軸が交わらない平行法に従って配置された立体カメラを対象として、別途測定される被検物までの距離にしたがって映像の倍率を求め、倍率に対応する目盛を発生させる。
【００１０】
特許文献1に記載された立体撮像装置では、観察したい被検物を画像中心部に持ってくると、新しく提供された立体計測装置によりカメラに写った被検物のＣＣＤ素子上の位置に基づいて被検物までの距離が自動的に測定され、測定された距離に従い被写体の撮影倍率に対応した計測用目盛が形成される。形成された計測用目盛は自動的にモニター画面に表示されるようになっている。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００７−１８７５９０号公報（段落００２７、００３０等）
【発明の概要】
【発明が解決しようとする課題】
【００１２】
特許文献１記載の目盛表示は、画像中心部に持ってきた被検物が距離測定された結果に基づいて目盛合わせされるもので、奥行き方向には目盛が与えられない。したがって、別の被検物について寸法を知ろうとすると、その度にカメラの視野を移動して被検物が画像中心部に来るようにして測定する必要がある。
【００１３】
しかも、カメラから被検物までの距離は得られても、カメラ視野の移動量を補償しなければ被検物の寸法を知ることはできない。また、任意の２点間距離、特に奥行き方向成分を含む距離を知るために利用することができなかった。
なお、特許文献１記載の目盛表示は、輻輳角とコンバージェンス点までの距離を取り込んだ演算を行うことにより、交差法を用いた立体カメラにも適用することができるが、平行法の立体カメラと同様に、被検体の寸法や２点間距離を知ることはできない。
【００１４】
これに対して、本願出願人は、すでに特願２００９−１６０６６４により、立体映像中に奥行き方向の寸法も表わせる立体スケールを表示する立体スケール像形成装置を提示している。本願出願人が開示した立体スケール像形成装置は、実寸目盛の付いた立体スケール像を映像中の任意の３次元位置に適宜の向きに置くことができる。
【００１５】
しかし、本願出願人が先に開示した立体スケール像形成装置によっても、被検物の寸法や２点間の距離を知るためには、操作者が目盛を読み取る必要があり、正確な寸法や距離を得るには多少の熟練を要する。
【００１６】
そこで、本発明が解決しようとする課題は、立体カメラで撮影した立体映像の適宜の位置に存在する対象物について、その寸法や他の事物との距離を測定するため、距離を知りたい測定位置にポインターを立てると、ポインター間の距離を求めて、立体映像表示装置に表示させる立体ノギス像形成装置を提供することである。
【課題を解決するための手段】
【００１７】
本発明に係る立体ノギス像形成装置は、左目と右目に対応して第１の撮像装置と第２の撮像装置とを備えた立体撮像装置（立体カメラ）と、立体撮像装置からの撮像信号について信号処理して左目と右目に対応する画像信号をそれぞれ生成する画像信号生成装置と、左目と右目に対応する画像信号を合成して立体映像表示するための立体映像信号を生成する立体映像信号生成装置と、立体映像信号に基づいて、立体視できる映像を立体表示するディスプレーとを備えた立体映像表示装置に適用する装置である。
【００１８】
上記課題を解決するため、本発明に係る立体ノギス像形成装置は、ディスプレーに表される立体画像中に表示されるポインターの位置を指定する操作端を備える操作盤と、ポインターの位置情報を生成して供給するポインター像表示装置と、ポインターの位置情報を入力して立体撮像装置に固定される座標系においてポインターの３次元位置を表す座標値を算定する座標演算装置と、立体画像中の２つのポインターについて算定された座標値に基づいて上記２つのポインター間の実体距離値を算定して供給する距離演算装置と、を備え、立体映像信号生成装置が、ポインターの位置情報を入力して第１の撮像装置による画像と第２の撮像装置による画像のそれぞれにポインターの像を加えた画像信号を生成してディスプレーに伝達し、また、２つのポインターの間の実体距離値を入力して数値表示する画像信号を生成してディスプレーに伝達し、ディスプレーがポインターの像と２つのポインター間の実体距離値を表示することを特徴とする。
本発明の立体ノギス像形成装置は、さらに、立体ノギス像表示装置を備えて、２つのポインターの位置を測定長の端点とする立体ノギス像を形成してディスプレーに立体表示させるようにしてもよい。
【００１９】
また、上記課題を解決するため、本発明に係る立体ノギス像形成プログラムは、立体ノギス像形成装置におけるコンピュータを、ディスプレーに立体表示する第１のポインター像と第２のポインター像の位置情報を生成して立体映像信号生成装置に伝送するポインター像表示手段と、ポインター像の位置を立体画像中で移動させる操作端から入力された信号に基づいて、ポインターの位置を立体画像中で移動させる手段と、立体画像中のポインターの３次元位置を立体撮像装置に固定された座標系の座標で表す座標演算手段と、立体画像中の２つのポインターについて指定された座標に基づいて２つのポインターの間の実体距離を算出して、ディスプレーに表示させるため、算出した実体距離の情報を立体映像信号生成装置に伝送する距離演算手段として機能させることを特徴とする。
さらに、本発明のプログラムは、立体ノギス像形成装置におけるコンピュータを、第１と第２のポインターの位置にアンビルとスピンドルの先端を合わせた立体ノギス像を形成してディスプレーに立体表示させる立体ノギス像表示手段として機能させるようにしてもよい。
【００２０】
オペレータは、ディスプレーの立体映像を観察して、本発明に係る立体ノギス像形成装置により立体映像中に表示される立体ノギス像のアンビルとスピンドルの位置すなわち測定距離の端点の位置を、操作盤を用いて３次元的に移動させて、立体映像中の対象物について寸法を知ろうとする部分や立体映像中で距離を測りたい位置を示す任意の２点を指定することができる。２点間距離はディスプレーに逐次表示されるため、対象物の寸法や距離は直ちに知ることができる。
なお、立体ノギス像が立体表示されるため、立体ノギス像の各部が立体映像中の奥行き距離に対応する大きさを有するので、立体ノギス像を観察することにより立体ノギスが当てられた対象物の位置を直感的に把握することができる。
【００２１】
交差法を用いた立体撮像装置に固定される座標系は、２つの撮像装置の光軸が交差する輻輳角を２等分する２等分線を１つの座標軸（Ｙ軸）とする直交座標系であることが好ましい。特に、２つの撮像装置の光軸が含まれる面に、すなわち２つの撮像装置が並ぶ方向に、第２の座標軸（Ｘ軸）を持つようにすることができる。さらに、２つの撮像装置の光学系の主点を結ぶ線分の中点に原点を配置した座標系を用いると、座標計算や距離計算を簡素化することができる。なお、原点を、２つの撮像装置の光軸が交差する点であるコンバージェンス点に配置してもよい。
【００２２】
オペレータが設定するポインターの座標は、左目に見せる画像と右目に見せる画像としておのおのディスプレーに表示する基準映像画面の中のポインターの表示位置に基づいて、演算で簡単に求めることができる。また、ポインターの３次元位置から、基準映像画面の中のポインターの表示位置を求めることも容易である。
基準映像画面は、たとえば、第１の撮像装置と第２の撮像装置の光軸が交差するコンバージェンス点にＹ軸に垂直に設けられたコンバージェンス面に設定される。左目に見せる画像と右目に見せる画像におけるコンバージェンス点の映像は、ディスプレーにおいて同じ点に重なることになる。
ポインターの位置を立体映像撮影に使う立体撮像装置に固定される３次元座標で求めると、２つのポインター間の距離は演算で簡単に求めることができる。
【００２３】
オペレータは、操作盤を操作することにより、立体ノギス像の測定先端（アンビル）の位置を簡単に調整することができる。オペレータが、対象とする被測物と立体ノギス像が表示された映像を観察しながらそれぞれのポインターの位置を目的物に合わせると、アンビルを２つのポインターに合わせた立体ノギス像が表示されると共に、２個のポインター間の実体距離が自動的に表示される。ポインターと目的物の位置が３次元的に合致したか否かは、ディスプレーに表示された画像を立体視するオペレータの視覚によって判定することができる。
【００２４】
なお、演算装置が実体距離を算出して表示するときには、たとえば原点とコンバージェンス点の距離を基準値として与えることにより、立体撮像装置に固定される座標系の座標値と実寸の間で正確に換算を行うことができる。
また、立体撮像装置の光学系が異なれば座標系も異なるので、立体撮像装置ごとに固有の座標系を作成するときに、実寸に関連付けられた基準立体スケールを、コンバージェンス点など、基準の位置に配置して立体撮像装置で撮影して得られた映像に基づいて、目盛を実際の寸法と対比して校正するようにしてもよい。
【００２５】
なお、本装置によればポインター間の距離は簡単に算出できるので、ポインターの位置を移動させる間も立体ノギス像を追従させると共に、リアルタイムにディスプレーに距離を表示することができる。
また、立体ノギス像の形状は、立体撮像装置からの距離あるいはＹ座標値にしたがった大きさで表示すると、対象の遠近感が的確に把握できて正確な観察が可能になる。
【００２６】
立体カメラが映し出す映像にオーバーライドされる立体ノギス像の位置を制御するための操作盤は、オペレータが映像を観察しながら操作できるばかりでなく、たとえば、術者の指示で補助者が間違いなく操作したり、収録された立体映像を後日分析する場合に正確に操作したりできることが要求されるので、再現性がよく、簡単に操作できるものであることが好ましい。
【００２７】
操作盤には、ポインターについて直交座標系の３軸方向の運動をそれぞれ指定する操作端と、１操作で直ちに基準位置に戻すことができる操作端を備える。ポインターまたは立体ノギス像の基準位置は、２つの撮影装置の光軸の交差点すなわちコンバージェンス点であることが好ましい。
【００２８】
操作盤には、さらに、立体ノギスの測定軸方向を固定したままポインター間距離を伸縮させるダイアルを備えると便利である。また、ポインターの選択に使うスイッチや位置確定の指示を行うためのスイッチなどを搭載することもできる。なお、マウスやジョイスティックなど、常用されるポインティングデバイスをこれら操作端やスイッチ類の代わりに利用することもできる。
また、操作盤にトラッキングボールなどの操作端を設けて、立体ノギス像が映像を観察するために障害となる場合には、立体ノギス像の姿勢を簡単に変化させることができるようにすると、より便利である。
【００２９】
立体撮像装置を取り換えるときは、立体映像表示装置に新しく組み合わせる立体撮像装置について予め較正した測定パラメータを選択して適用することができる。較正した測定パラメータはデータベースとして記憶装置に格納しておいて、切り換え時に新しい立体撮像装置に適合する設定値のセットを読み出して適用するようにしても良い。こうすることにより使用前の調整時間を節約することができるので、たとえば、立体内視鏡を用いた手術を行う場合など、術者の執刀前の準備時間を短縮して、他の作業に注力する余裕が与えられるので好ましい。
【００３０】
なお、ポインター像表示装置と座標演算装置と距離演算装置とは、論理を実行する電子回路により構成することができるが、プログラムで制御することによりそれぞれの機能を遂行するようにした汎用または専用のコンピュータによって構成することもできる。
本発明に係る立体ノギス像形成装置は、上記構成を有する既存の立体映像表示装置に対しても、立体ノギス像形成装置を追加することにより、適用することができる。なお、立体ノギス像形成装置がコンピュータを機能させるためのプログラムで構成される場合は、既存の立体映像表示装置の制御装置にこのプログラム及び操作盤を追加することにより、本発明を適用することができる。
また、本発明の立体ノギス像形成装置は、立体映像（動画）に対して適用できるが、立体静止画像についても利用できることは言うまでもない。
【発明の効果】
【００３１】
本発明に係る立体映像表示装置の立体ノギス像形成装置は、オペレータが画像中の対象物体の映像に対して立体ノギス像のポインター位置を指定することにより、対象物の寸法や適宜の２点間距離など、ポインター間の正確な距離を簡単に得ることができる。
特に、立体内視鏡装置を用いて患部の観察や手術を行うときには、本発明に係る立体ノギス像形成装置を用いることにより、術者が画像中に表示された患部などの寸法や対象物間の距離を簡単に知ることができるので補助装置として有用である。
【図面の簡単な説明】
【００３２】
【図１】本発明の１つの実施形態に係る立体映像表示装置の立体ノギス像形成装置の構成図である。
【図２】本実施形態におけるディスプレーの表示例を示す概念図である。
【図３】本実施形態におけるディスプレーの立体ノギス像の表示例を示す概念図である。
【図４】本実施形態に係る操作盤の斜視図である。
【図５】本実施形態に係るポインターをＹ軸方向に移動したときの立体ノギス像の変化例を示す斜視図である。
【図６】本実施形態における立体撮影装置の第１の撮像装置と第２の撮像装置に対する基準図形の位置と表示大きさとの関係を説明する斜視図である。
【図７】本実施形態に係る立体ノギスのポインター位置と左右の撮像装置の視線の関係を説明する平面概念図である。
【図８】本実施形態に係る立体ノギスのポインター位置と左右の撮像装置の視線の関係を説明する側面概念図である。
【図９】本実施形態に係る任意の点の座標と立体視化する画像上の対応点の関係を説明する概念図である。
【図１０】本実施形態に係る立体ノギスのポインターを立体表示するときの左右の画像面を説明する概念図である。
【図１１】本実施形態に係る立体ノギス像の使用手順を説明するフロー図である。
【図１２】本実施形態の立体ノギスのポインター位置設定手順を説明するフロー図である。
【発明を実施するための形態】
【００３３】
以下、本発明に係る立体映像表示装置の立体ノギス像形成装置について、図面を参照しながら詳しく説明する。なお、図面においては、同じ機能を有する構成部材については同じ参照番号を付して説明を簡約にし、説明の重複を避けた。
【００３４】
図１は、本発明の１つの実施形態に係る立体ノギス像形成装置を用いた立体映像表示装置の構成図である。本実施形態の立体ノギス像形成装置を適用した立体映像表示装置は、立体撮像装置１と画像信号生成装置２と立体映像信号生成装置３とディスプレー４と立体ノギス像形成装置５とを含んで構成される。
【００３５】
立体撮像装置１に含まれる第１の撮像装置１１と第２の撮像装置１２は、ほぼ同じ性能を有するカメラで、固定の主点間距離をおいて結合され、左右一対の撮像装置は、視差を持つように配置され、左右一対の画像を撮像して撮像信号を出力する。本実施形態におけるように交差法を利用する場合は、一対の撮像装置の光軸が輻輳角をもって交わるため前方の決められたコンバージェンス点１３で交差するように配置される。
立体撮像装置１は、立体内視鏡のプローブ先端に設けられた１対のカメラであっても良い。
【００３６】
第１の撮像装置１１と第２の撮像装置１２が生成した撮像信号は、画像信号生成装置２に入力される。画像信号生成装置２は、撮像装置１１，１２から入力された撮像信号を信号処理して、それぞれのカメラごとに画像信号を生成する。図において、第１の撮像装置１１からは左目で見るための画像が生成され、第２の撮像装置１２からは右目で見るための画像が生成される。
画像信号生成装置２から出力される左目用と右目用の１対の画像信号は、立体映像信号生成装置３により合成されて、ディスプレー４に立体映像として表示するための立体映像信号となり、ディスプレー４に送信される。
【００３７】
ディスプレー４では、左目用の画像は左目で見えるように、また右目用の画像は右目で見えるように表示する。左目用画像と右目用画像に分離した一対の画像を、コンバージェンス点１３における映像が重なるように配置することにより、２つの画像から実物像を立体視することができるようになる。
【００３８】
立体視化の方法は、たとえば、右目用画像と左目用画像を交互に切り換え表示し、これと同期してオンオフする液晶シャッタメガネなど専用の立体メガネで観察する時間分割立体表示方式や、偏光軸が直交する偏光フィルタを通して左右の画像をプロジェクタに投射して同一画面に重ねて表示し、偏光フィルタ眼鏡で左目用画像と右目用画像に分離する偏光フィルタ眼鏡方式や、液晶表示面の水平走査ライン毎に偏光方向が９０度変化する液晶フィルタを設置し、液晶表示面に左眼用と右眼用の画像を水平走査ライン毎に交互に並べて、右回転円偏光板と左回転円偏光板を左右に配置した円偏光メガネで見ることにより分離された左右用の映像をそれぞれ左右の目で同時に見て立体視する円偏光方式など、色々な方法が知られている。
【００３９】
立体ノギス像形成装置５は、ポインター像表示装置２１、座標演算装置２２、距離演算装置２３、操作盤２４、記憶装置２５、立体ノギス像表示装置２６を含んで構成される。
オペレータが操作盤２４を用いて指定するポインターの位置情報は、ポインター表示装置２１で生成され、ポインター表示装置２１から立体映像信号生成装置３に送信される。立体映像信号生成装置３は、立体撮像装置１で生成された撮像信号から画像信号生成装置２で左右の目用にそれぞれ生成された画像信号と、受信したポインターの位置情報を合成して、立体撮像装置１で取得した対象物の立体画像とポインターの立体画像が重なった立体映像信号としてディスプレー４に表示させる。
【００４０】
図２は、ディスプレー４の表示面４１における表示例を示す概念図である。表示面４１には、左右両眼の視差に基づいて奥行きを判断する視差法に基づいた立体像４６が表示されている。
ディスプレー４の表示面４１には、第１の撮像装置１１から供給される左目用の画像と第２の撮像装置１２から供給される右目用の画像が両方表示されている。このような表示から立体像４６を得るには、左目用の画像と右目用の画像を分離して、左目と右目で別々に見ることが必要になる。
【００４１】
立体視には、先に述べた通り、時間分割立体表示方式や偏光フィルタ眼鏡方式など、いくつかの方法があるが、本実施形態では、２枚の画像を並べてそれぞれ別の目で見て立体視化する視差法であれば具体的な方法を問わない。
【００４２】
図２に示された表示面４１には、さらに２つのポインター４２，４３とポインター間を繋ぐ結合線４４で代表する立体ノギス、およびポインター４２，４３の実体距離を表示する距離表示枠４５が立体表示されている。図２では、２つのポインター４２，４３は物体像４６の輪郭でなく、その内部における知りたい寸法の端点を３次元的に指示している。
また、ポインター４２，４３は、ポインターのある位置が近いほど大きく、遠いほど小さく表示して、距離感の直感的な把握を容易にするようにしてもよい。
【００４３】
なお、画像のリアリティを向上させるために、２つのポインター４２，４３とポインター間を繋ぐ直線４４でノギスを代表する代わりに、ノギス像を立体表示することができる。図３は、マイクロメータに似せてフレーム４８やバーニア４９を備えたノギス形状をデザイン化した立体表示用のノギス像４７の例を示す。ノギス像４７はコンピュータグラフィックス（ＣＧ）を使って、ディスプレー４の画面中に立体的に表現される。
【００４４】
ポインター４２，４３には、ノギス像４７のアンビル３８とスピンドル３９（ノギスのジョーに当たる）が当接され、２つのポインター４２，４３を結ぶ結合線４４の上にノギス像４７の測定軸Ｙｎ軸が設定されている。距離や間隔の測定はＹｎ軸に沿って行う。また、操作盤２４にトラッキングボール３７などポインタデバイスを備えて、ポインタデバイス３７を操作することにより、Ｙｎ軸を回転軸としてフレーム４８の傾きを加減して、背景の立体映像の邪魔にならないようにすることができる。なお、立体表示するノギス像４７は、背景映像の邪魔にならないように半透明に表示してもよい。
【００４５】
操作盤２４を使ってポインター４２，４３をそれぞれ対象の測定位置に当接させると、座標演算装置２２によりそれぞれの座標が算定され、立体ノギス像表示装置２６によりポインター位置に対応する立体ノギス像のグラフィックスが形成され、距離演算装置２３によりポインター間の距離が算定される。形成された立体ノギス像の表示情報と求められた距離は立体映像信号生成装置３に送信され立体映像信号に組み入れられて、立体ノギス像は表示画面４１中に立体表示され、距離値は表示画面４１中の距離表示枠４５に表示される。
なお、距離表示枠４５は立体表示する必要がないので、平面的に表示するようにしてもよい。
【００４６】
図４は、本実施形態の立体ノギス像形成装置に用いられる操作盤の例を示す斜視図である。操作盤２４は、ノギスの当て方、すなわちポインターの立体位置、を指定する装置である。
図４に示すように、操作盤２４には、シーソーキー３１と、十字キー３２と、いくつかの押しボタンスイッチ３３，３４，３５と、ラチェットストップ付きバーニア３６とが配置されている。操作の自由度を上げるため、トラッキングボール３７や図示しないジョイスティックなどをさらに設けてもよい。
【００４７】
シーソーキー３１は、ポインターの奥行き方向（Ｙ軸方向）の移動を指示するスイッチである。シーソーキー３１は、操作盤２４の側面に設けられ前後方向にスイングするスイッチで、シーソーキー３１の向側の端部を押し込めば指定されたポインターが遠方に（Ｙ軸正方向に）表示されるようになり、手前側の端部を押し込めばポインターが手前に近づく方向（Ｙ軸負方向）に移動する。実際には、たとえば、立体撮像装置に固定された座標系におけるポインターのＹ座標値を増減することでＹ軸方向に移動させることができる。
シーソーキー３１は押し込み深さや押し込み継続時間によってポインターの運動方向と速度を指定するものであっても良い。
【００４８】
十字キー３２は、操作盤上面に設けられ２方向にスイングして、画像中のポインターの横方向（Ｘ軸方向）と縦方向（Ｚ軸方向）の移動を指示するスイッチで、直交配置された２個のシーソーキーと等価なスイッチである。十字キー３２の横方向の腕は、たとえばＸ座標値を増減することによってポインターの横方向の運動制御を行い、腕の右側を押し込めば、ポインターは横方向右側（Ｘ軸正方向）に移動し、左側を押し込めばポインターは横方向左側（Ｘ軸負方向）に移動する。また、縦方向の腕は、たとえばＺ座標値を増減することによって画像中のポインターの縦方向の運動制御を行い、腕の上側を押し込めば、ポインターは上の方向（Ｚ軸正方向）に移動し、下側を押し込めば、下の方向（Ｚ軸負方向）に移動する。なお、十字キー３２は、長押しにより上の通り決められた方向に高速移動するように構成しても良い。
【００４９】
押しボタンスイッチ３３，３４，３５は、ボタンを押すことにより、ポインターの位置決定や、ポインターの初期位置に戻す指令や、操作するポインターの選択などを行うスイッチである。なお、押しボタンスイッチは、必要に応じて、４個以上設けても良い。
ラチェットストップ付きバーニア３６は、操作盤２４の側面に設けられ、立体ノギス像のアンビル３８とスピンドル３９を結ぶ方向を変えずに、距離を増減するために使用する。マイクロメータにおけるバーニアと同じ機能を担わせたものである。
【００５０】
オペレータは、操作盤２４のシーソーキー３１と十字キー３２により、ポインターの位置を映像中の任意の位置に移動させることができる。ポインターの位置は、立体撮像装置に固定された直交座標系のＸＹＺ座標で表わすことができる。ここで便宜のため、座標系の原点を２つの撮像装置における光学系の主点同士を結ぶ線分の中点に置き、Ｘ軸を主点同士を結ぶ線分の上に、Ｙ軸を原点とコンバージェンス点１３を結ぶ線の上に、Ｚ軸をＸ軸とＹ軸に垂直な方向に取ったＸＹＺ直交座標系を用いるものとする。
【００５１】
２つのポインター４２，４３の３次元位置が決まれば、これらポインターにアンビル３８とスピンドル３９を当接させた立体ノギス像４７は容易に形成され、ポインター間を結ぶ直線は簡単に描くことができ、ポインター間の距離も与えられる。ポインター４２，４３の３次元位置を決めるには、各ポインターについて３自由度を調整するシーソーキー３１と十字キー３２があれば足りる。
【００５２】
なお、ポインターの移動を行う操作端として、トラックボール３７やジョイスティックで、シーソーキー３１と十字キー３２の組み合わせに代替することもできる。これらは、操作性に差があり、操作する者の嗜好もあるので、選択できるようにしておいてもよい。
また、トラッキングボール３７は、立体表示したノギス像４７のフレーム４８の影が映像の観察に邪魔になるときに、立体表示したノギス像４７の回転軸（Ｙｎ軸）を中心としてフレーム４８を回転させるために使用するようにすることができる。
【００５３】
立体ノギス像の形態は、２次元の画面中のポインターの位置だけでは決まらず、３次元位置にしたがって定まることは、いうまでもない。また、立体ノギス像の形状は、立体撮像装置からの距離あるいはＹ座標値にしたがった大きさで表示することができる。
たとえば、図５は、ポインターが画面中の距離を変えずにＹ軸方向に移動したときに、立体ノギス像が変化する様子を説明する図である。また、図６は、立体撮影装置の第１の撮像装置と第２の撮像装置に対する基準図形の位置と表示大きさとの関係を説明する斜視図である。
【００５４】
図６は、基準立体図形を、第１の撮像装置１１の光軸と第２の撮像装置１２の光軸が交わって形成するコンバージェンス点１３と、２つの撮像装置の主点１４，１５の中間点Ｏとを結ぶＹ軸上に置いたときに、表示装置４に投影される立体図形の像２１，２２，２３の大きさがＹ軸上の位置により変化する状態を示す。
図６に示すように、コンバージェンス点１３の位置に、２つの撮像装置の光軸を含む面に垂直なコンバージェンス面１８を想定する。ここで、第１の撮像装置１１と第２の撮像装置１２のたとえば主点１４，１５同士を結ぶ線を基準線１９とし、基準線１９からコンバージェンス面１８までの距離をＤｃとする。
【００５５】
コンバージェンス面１８に立体図形が存在するとき、ディスプレー４に表示される立体図形像２１は、光学系と電子回路と表示装置などにより規定される所定の倍率が掛かった所定の大きさを有するものになる。
立体図形像２２は、基準立体図形がコンバージェンス面１８より撮像装置に近い位置にあるものとして表示されたときの像である。ここで、基準線１９から立体図形像２２に対応する基準立体図形までの距離をＤｓとすると、立体図形像２２の大きさは、コンバージェンス面１８にあるものとして表示される立体図形像２１のＤｃ／Ｄｓ倍に拡大して表示される。
【００５６】
また、立体図形像２３は、基準立体図形がコンバージェンス面１８より撮像装置から遠い位置に配置されたときの像である。ここで、基準線１９から立体図形像２３に対応する標準図形までの距離をＤｌとすると、立体図形像２３の大きさは、コンバージェンス面１８にあるものとして表示される立体図形像２１のＤｃ／Ｄｌ倍に縮小して表示されることになる。
【００５７】
こうして、同じ大きさの対象物であっても、撮像装置２からの距離が変化すれば、シスプレー４に表示される像の大きさが距離に対応して規則的に変化して、映像観察者に映像中の像の遠近感覚を的確に喚起させることができる。
したがって、距離あるいは間隔を測定する立体ノギスの像に対して上記説明の通り距離に従って大きさを変化させるようにして、測定対象に当てた立体ノギスの像を観察することにより、直感的に測定対象の奥行き位置を推察できるようにすることができる。
【００５８】
図５（ａ）は、本実施例における、ポインターＡとポインターＢがほぼ同じＸＺ面上に存在する場合の立体ノギス像を示す。図５（ｂ）は、図５（ａ）におけるポインターＡとポインターＢが画面中のほぼ同じ位置に見えるにもかかわらず、ポインターＢが奥行き方向のＹ軸に沿って遠ざかった状態にある場合の立体ノギス像を示している。
【００５９】
図５（ａ）では、ポインターＢに合わせられたアンビル部分はポインターＡに合わせられたスピンドル部の大きさに近くなっている。これに対して、図５（ｂ）では、ポインターＢに対応するアンビルの像が距離に対応して小さくなり、フレームがアンビルに近い方で細くなり、かつ立体ノギス像が傾いていることから、画面中のポインターＡの像とポインターＢの像の距離が変化しなくても、ポインターＢが遠ざかっていることが直感的にも明らかである。
【００６０】
ポインターの奥行き位置が異なる場合でも、ポインターＡとポインターＢの座標値を用いることにより、両ポインター間の距離は正しく求めることができるが、本実施例では、立体ノギス像を立体撮像装置からの距離あるいはＹ座標値にしたがった大きさで表示することにより、対象の遠近感が的確に把握でき、直感的な観察が可能になる。
また、ポインターＡ，Ｂにラベルを付して、そのラベルの大きさを遠近に従って変更することも、対象の遠近を直感的に観察するために有効である。
【００６１】
なお、立体ノギスやポインターのラベルの表示寸法は、Ｙ座標値に対応して演算に基づいて決めることができるが、基準立体スケールを立体撮像装置で撮影してＹ座標と寸法の関係を実地で確認した結果を利用することもできる。
たとえば、所定の形状をした基準の立体スケールを光軸上の適宜の位置に配置して実写することにより、撮影した位置すなわちＹ座標位置における画像中の立体スケール像の大きさが確定する。したがって、適当な範囲において、複数の異なる位置で撮影した結果を使って、使用範囲内の実物と映像の大きさの換算係数を求めることができる。なお、中間位置については補間計算により妥当な係数を得ることができる。
こうして得られた換算係数は、光学系の非線形性などの影響や不測の外乱も含めた結果であるので、実態と整合させるために複雑な補正演算を行う必要がない。
【００６２】
図７は、立体ノギスのアンビルとスピンドルの位置を定めるポインターの位置と、左右の撮像装置の視線の関係を説明する平面概念図、図８はその側面概念図である。表示された実施例では、左目用撮像装置１１と右目用撮像装置１２は立体内視鏡の先端筒１６に収まっているものとする。
左目用撮像装置１１の主点１４と右目用撮像装置１２の主点１５を適宜の距離２ｄだけ離して左目用撮像装置１１と右目用撮像装置１２の位置が固定される。左右一対の立体画像は、両者の光軸がコンバージェンス点５３で交差するようにした交差法により撮像される。
【００６３】
立体映像化するためには、その部分の映像が２つの撮像装置１１，１２のいずれの撮像画面にも入っている必要がある。したがって、立体視化可能な領域は、２つの撮像装置の視野５５が重なる図中斜線で影を付けた部分になる。図８の側面図では、上下方向の視野５６により制限される図中斜線で影を付けた領域となる。
【００６４】
なお、立体撮像装置１に固定され２つの撮像装置の主点１４，１５を結ぶ線分の中点に原点Ｏを配置した直交座標系の座標で表現すれば、左目用の第１撮像装置１１の主点１４は（−ｄ，０，０）の位置、右目用の第２撮像装置１２の主点１５は（ｄ，０，０）の位置にあることになる。
【００６５】
立体視可能な領域内に設定した第１のポインター４２および第２のポインター４３は、それぞれ第１撮像装置１１からポインター４２，４３を見た視線がコンバージェンス点５３におけるＸＺ面（コンバージェンス面）５４に投影された点６３，６５を左目用画像における指示ポイントとして、ディスプレー４に表示させるようにする。
【００６６】
また、第２撮像装置１２からポインター４２，４３を見た視線がコンバージェンス面５４に投影された点６４，６６を右目用画像における指示ポイントとして、ディスプレー４に表示させるようにする。
こうしてディスプレー４に表示された指示ポイントを両眼で立体視すると、第１のポインター４２と第２のポインター４３が立体映像中のそれぞれの実体位置に存在するように見ることができる。
【００６７】
図９は、適宜の位置にあるポインターなどの点の座標と、左右の撮像装置から見通す視線がコンバージェンス面と交わる位置の座標の関係を説明する図面である。
図７，図８に表された第１のポインター４２が、図９に示す位置Ｐ（Ｘ，Ｙ，Ｚ）にあるとして、第１撮像装置１１から第１のポインター４２を見た視線をコンバージェンス点５３におけるＸＺ面（コンバージェンス面：Ｙ＝Ｌ）に投影した点Ｃｌの座標が（Ｘｌ，Ｌ，Ｚｃ）となり、第２撮像装置１２から第１のポインター４２を見た視線をコンバージェンス面に投影した点Ｃｒの座標が（Ｘｒ，Ｌ，Ｚｃ）となるとする。ここで、第１撮像装置１１と第２撮像装置１２の主点間距離は２ｄであり、主点間接続線とコンバージェンス点５３との距離はＬである。
【００６８】
図９に示された、相似比Ｙ：（Ｌ−Ｙ）の相似三角形から、Ｙ：（Ｌ−Ｙ）＝２ｄ：（Ｘｌ−Ｘｒ）であるから、
Ｙ／Ｌ＝２ｄ／（２ｄ＋Ｘｌ−Ｘｒ）
相似比Ｙ：Ｌの多数の相似三角形から、
Ｚ／Ｚｃ＝Ｙ／Ｌ
Ｘ／（Ｘｌ＋Ｘｒ）＝Ｙ／Ｌ
なる関係が成立することから、Ｃｌ（Ｘｌ，Ｌ，Ｚｃ）とＣｒ（Ｘｒ，Ｌ，Ｚｃ）の座標が分かれば、簡単にＰ（Ｘ，Ｙ，Ｚ）の座標が求められることが分かる。
【００６９】
ちなみに、Ｘ，Ｙ，Ｚは下の式で求められる。
Ｘ＝ｄ（Ｘｌ＋Ｘｒ）／（２ｄ＋Ｘｌ−Ｘｒ）
Ｙ＝２ｄＬ／（２ｄ＋Ｘｌ−Ｘｒ）
Ｚ＝２ｄＺｃ／（２ｄ＋Ｘｌ−Ｘｒ）
すなわち、ポインターを立体視化するための左目用画像と右目用画像には、ポインターを見通すカメラの視線がコンバージェンス面（Ｙ＝Ｌ）に投影されたときの座標がＣｌ（Ｘｌ，Ｌ，Ｚｃ）およびＣｒ（Ｘｒ，Ｌ，Ｚｃ）として与えられるので、実体に対応するポインターの位置Ｐ（Ｘ，Ｙ，Ｚ）の座標が論理的に求められる。
【００７０】
また、逆に、Ｐ（Ｘ，Ｙ，Ｚ）の座標が与えられれば、Ｃｌ（Ｘｌ，Ｌ，Ｚｃ）とＣｒ（Ｘｒ，Ｌ，Ｚｃ）の座標が論理的に求まる。
ちなみに、Ｚｃ，Ｘｌ，Ｘｒは下の式で求められる。
Ｚｃ＝ＺＬ／Ｙ
Ｘｌ＝（ＸＬ―ｄ（Ｌ−Ｙ））／Ｙ
Ｘｒ＝（ＸＬ―ｄ（Ｌ＋Ｙ））／Ｙ
したがって、ポインターの位置Ｐが与えられたときに、そのポインターを立体視させるための左目用画像と右目用画像を理想的に生成することができる。
なお、より現実的には、たとえば本願出願人が開示した特願２００９−１６０６６４に記載された手法を用いて、基準パターンを実写した結果得られる座標空間で左右の画像を生成することもできる。
【００７１】
立体ノギスを使用して対象物の径や距離を測定するときは、オペレータは、図４に例示した操作盤２４を操作して、第１ポインター４２と第２ポインター４３の立体位置を定める必要がある。操作盤２４の押しボタンスイッチを使って第１ポインター４２を選択すると、ポインター像表示装置２１の働きにより、第１ポインター４２は初めに基準点となるコンバージェンス点５３の位置、すなわち座標（０，Ｌ，０）の位置に移動する。コンバージェンス点５３は左目用と右目用の画像面における共通中心点である。
【００７２】
そこで、オペレータは、操作盤６のシーソーキー３１と十字キー３２を操作して、第１ポインター４２をＸＹＺの各方向に動かして目標の位置Ｐに移動させる。
シーソーキー３１は、たとえば、Ｙ値を増減する指令をポインター像表示装置２１に送信して、ポインターの位置をＹ軸方向に動かさせる機能を有する。また、十字キー３２は、ポインター像表示装置２１におけるＸ値とＺ値をそれぞれ増減させて、ポインターの位置をＸ軸とＺ軸の方向に移動させる機能を有する。
【００７３】
ポインター像表示装置２１は常にポインターの座標値を使ってポインターの立体画像情報を生成して、立体映像信号生成装置３に送っているので、移動中に変化する座標（Ｘ，Ｙ，Ｚ）は逐一、撮像装置１１，１２のポインターを見通す視線がコンバージェンス面５４上に投影される位置に反映されるので、いつでもポインターの立体視ができる。
【００７４】
オペレータは、立体視したポインターの３次元位置と立体画像中の対象物の３次元位置とをディスプレー４の立体映像画面４１中で目視により比較して、ポインターが目標位置に到達したと判断できるところまで移動させると押しボタンスイッチを操作して、第１ポインター４２の位置を確定する。第１ポインター４２の位置が確定したときには、同時に虫ピンのようなピン画像を確定位置に立てて、目印にするようにしてもよい。
【００７５】
また、目印のピン画像は、先に画像中の対象物の位置に立てておいて、ピンをめがけてポインターを誘導するような利用方法もある。
なお、上記手順では、第１ポインター４２の位置を合わせるために、静置したカメラの画面中でポインターを動かしたが、カメラの画像中にポインター位置を固定して、カメラの撮影方向や対象までの距離を変化させて、第１ポインター４２の位置合わせを行うこともできる。
第１ポインター４２には、図３に示したようなマイクロメータ型の立体ノギス像４７のアンビル３８が当接して、第１ポインター４２の移動に追従して立体ノギス像を移動あるいは変形させている。
【００７６】
次に、第２ポインター４３を選択すると、第２ポインター４３も初めに基準点であるコンバージェンス点５３（０，Ｌ，０）の位置に移動する。そこで、第１ポインター４２と同様にシーソーキー３１と十字キー３２を操作して、第２ポインター４３の目標位置まで移動させてから、押しボタンスイッチを操作して位置決定する。
第２ポインター４３には、マイクロメータ型立体ノギス像４７のスピンドル３９が当接して、第２ポインター４２が移動すると、これに追従して立体ノギス像を移動あるいは変形させている。
【００７７】
ポインター間の位置関係を分かりやすくするため、第１ポインター４２と第２ポインター４３の間は、画面上、常に結合線４４で結合させておいてもよい。結合線４４は、背景となる映像が見えるように薄い透明色の線で表示されることが好ましい。
また、ポインター４２，４３の座標値は常時把握されているので、移動中においても距離演算装置２３によって２つのポインターの間の距離を算定することができる。したがって、演算結果が立体映像信号生成装置３に送信され、ディスプレー４の表示面４１における距離数値表示４５に移動中における両者間の距離値が表示されるようにすることができる。
【００７８】
また、シーソーキー３１や十字キー３２は直交座標系の各軸に沿って移動させるが、ポインター４２，４３が挟む測定対象物が膨張縮小した場合など、測定方向が変化しないときには、座標軸ごとの動きでなく、ポインター間の距離のみを直接変更するため、操作盤２４におけるラチェット付きバーニア３６を操作することができる。バーニア３６は、使い慣れているマイクロメータの操作部と同じ物であるので、オペレータにとって扱い馴れているという利点がある。
【００７９】
さらに、操作盤２４には、リセット用の押しボタンスイッチが設けられていて、ポインターの位置が大きくずれたときや、撮影対象を変えたときなどに操作すると、ポインターの位置を一挙にコンバージェンス点５３などの基準位置に移動させることができる。この機能があることにより、対象が画面中の離れた場所に移ったときにも、迅速なポインターの位置指定が可能になる。
【００８０】
図１０は、１対のポインター４２，４３に対応する立体ノギスの立体表示を可能にするための、左目用画像と右目用画像の概念を説明する図面である。図１０（ａ）は立体ノギスの左目用画像、図１０（ｂ）は同じ立体ノギスの右目用画像である。なお、簡単のため、図では、立体ノギス像のアンビルとスピンドルを黒塗りの三角形で代表し、立体ノギス像の表示を省略している。
図１０（ａ）に示した立体ノギスの左目用画像６１は、第１撮像装置１１で撮影した左目用映像と一体となって、ディスプレー４に表示されたときに人の左目で観察される部分となる。また、図１０（ｂ）の立体ノギスの右目用画像６２は、第２撮像装置１２で撮影した右目用映像と一体となって、ディスプレー４に表示されたときに人の右目で観察される部分となる。
【００８１】
図７，図８などを参照して分かるように、図１０に表示された点６３，６４：６５，６６は、実際の３次元位置の点４２：４３を撮像装置１１，１２から見た視線がコンバージェンス面５４（ｙ＝Ｌ）に当たる位置として表示される。図１０（ａ）と図１０（ｂ）の画像６１，６２は、第１ポインター４２および第２ポインター４３のコンバージェンス面５４における投影図ということもできる。図１０（ａ）と図１０（ｂ）の画像６１，６２は、ディスプレー４に表示されて、左右の目でそれぞれ見た画面が脳で合成されることにより、立体ノギスを立体的に観察されるようにするものである。
【００８２】
なお、図１０（ａ）の左目用画像６１と図１０（ｂ）の右目用画像６２を比較すると、１つの点について表示する各点の高さ（Ｚ値）は左目用画像６１と右目用画像６２で同じ値になる。そして、Ｘ値が左目用画像６１における値より右目用画像６２における値が大きいときは、その点が表すポインター位置がコンバージェンス面５４より撮像装置１に近く、右目用画像６２における値が小さいときは、ポインター位置がコンバージェンス面５４より遠いことが分かる。
【００８３】
図１０には、両画像において中心位置に当たるコンバージェンス点５３と図７と図８に表わした適宜な点５７も一緒に表わされている。
なお、ここでは、２つの撮像装置の主点の中点に原点を置いた直交座標系を使って説明をしているが、座標変換可能な他の座標系を使う場合でも、本質的に等価であることはいうまでもない。
【００８４】
図１１は、本実施形態に係る立体ノギス像の使用手順を説明するフロー図、図１２は、本実施形態の立体ノギスのポインター位置設定手順を説明するフロー図である。
立体ノギスを使用するのに先立って、ノギスを当てる対象となる被測物の立体撮影を行う（Ｓ０１）。立体撮影は、第１撮像装置１１と第２撮像装置１２により、左眼用の画像と右眼用の画像を取得する作業である。撮像装置はビデオカメラであってもよい。取得した左眼用画像と右眼用画像は、立体表示のための処理を行ってディスプレー４上に表示する（Ｓ０２）。ディスプレー４に表示された被測物は、立体視用眼鏡を使うなど立体視化手法に従って、画像中に立体として観察できる。
【００８５】
次に、第１ポインター４２の位置を確定する（Ｓ０３）。
第１ポインター４２の位置確定は、図１２に示す手順に従って行われる。まず、ポインター像表示装置２１が、第１ポインター４２と第２ポインター４３の位置をディスプレー４の画面４１中に表示させる（Ｓ１１）。立体ノギス像として、第１ポインター４２と第２ポインター４３の位置にアンビルとスピンドルとを適宜対応させた立体ノギスの形状模写像を表示してもよい。なお、立体ノギス像は、コンピュータグラフィックスの技法を使って大きさや姿勢を実態に合わせて立体的に表示することが好ましい。
【００８６】
オペレータは、ディスプレー４に表示された第１ポインター４２の像を立体視で位置確認しながら、操作盤２４のシーソースイッチ３１と十字キー３２を操作して、測定対象の一方の端点に当たる三次元位置に移動させる（Ｓ１２）。
スイッチ類から出力される指令信号はポインター像表示装置２１に伝送されて、指令通りにポインターの位置を変化させる。ポインターの位置情報は立体映像信号生成装置３に伝送され、立体視用画像に組み込まれて、ディスプレー４に表示される。
【００８７】
第１ポインター４２の位置が目的にかなう三次元位置になっているか否かは、目視により被測物との位置関係を判定して決定する。ポインターの奥行き位置は、オペレータが画面中の映像と比較して視覚で判定することができる。
立体ノギス像が表示されているときは、第１ポインター４２の移動につれて対応するアンビルの部分も移動する。なお、ディスプレー４に表示されるアンビルの部分は、第１ポインター４２のＹ座標値に応じて大きさが変化する。
【００８８】
第１ポインター４２が所望に位置にあることが判定できたら、押しボタンスイッチを押して位置を確定し、それ以後の第１ポインター４２に関する移動用キーの操作を無効にする（Ｓ１３）。
これにより、図１１に示す、第１ポインター４２の位置確定ができる（Ｓ０３）。位置確定した第１ポインター４２の位置に、ピンの像を立てて目印にしても良い。また、立体ノギス像が表示されているときは、第１ポインター４２の位置が確定したときに、立体ノギス像のアンビルの位置が確定する。
【００８９】
さらに、第２ポインター４３を選択して、第１ポインター４２と同様に図１２に示す手順に従って、第２ポインター４３の像を、測定対象の他方の端点に当たる三次元位置に移動させて、位置を確認した後、押しボタンスイッチを押して位置確定をする（Ｓ０４−Ｓ０６）。
立体ノギス像が表示されているときは、第２ポインター４２の移動につれてスピンドルの部分も移動する。なお、ディスプレー４に表示されるスピンドル部分の大きさは、第２ポインター４３のＹ座標値に応じて変化する。
【００９０】
第２ポインター４３の移動中も、第２ポインター４３の座標は座標演算装置２２により逐一算定されており、距離演算装置２３がこれら座標値を使って第１ポインター４２と第２ポインター４３の間の距離を逐一算定している。算定した結果は、立体映像信号生成装置３で編成されて、ディスプレー４の表示面４１の距離数値表示４５にリアルタイムで表示されている（Ｓ０５）。
【００９１】
そこで、第２ポインター４３の位置が確定されたら（Ｓ０６）、そのときに距離数値表示４５に表示されている距離値を読み取れば、その値が第１ポインター４２と第２ポインター４３で指定された測定対象における距離になる（Ｓ０７）。
ここで表示される距離は、座標値から実寸に換算された実体距離とすることができる。
【００９２】
なお、本実施形態では、立体ノギス像を使用して対象物の測定位置を確定するが、立体ノギス像の表示をせずに、ポインター自体を使って測定位置の確定をすることもできる。立体ノギス像を省くことにより、対象物周りの状態をより明瞭にディスプレー４に表示することができる。なお、ポインターは、ポイント位置のＹ軸方向距離に対応する大きさで表示することが好ましい。
また、立体ノギス像形成装置の適用先として、交差法配置された立体撮像装置を挙げているが、平行法配置の立体撮像装置においても、立体ノギス像の三次元位置を適宜に調整することにより、本発明の立体ノギス像形成装置を適用することができる。
【産業上の利用可能性】
【００９３】
本発明の立体ノギス像形成装置を用いることにより、立体映像装置に表示される物体のサイズや物体間距離を立体的に測定することができるようになるので、特に立体内視鏡装置を用いた診断や手術などにおいて有効である。
【符号の説明】
【００９４】
１ 立体撮像装置
２ 画像信号生成装置
３ 映像信号生成装置
４ ディスプレー
５ 立体ノギス像生成装置
１１ 第１の撮像装置
１２ 第２の撮像装置
１３ コンバージェンス点
１４，１５ 主点
１６ 内視鏡先端筒
１８ コンバージェンス面
１９ 基準線
２１ ポインター像表示装置
２２ 座標演算装置
２３ 距離演算装置
２４ 操作盤
２５ 記憶装置
３１ Ｙ軸用シーソースイッチ
３２ 十字キー
３３ 押しボタンスイッチ
３４ 押しボタンスイッチ
３５ 押しボタンスイッチ
３６ ラチェット付きバーニア
３７ トラッキングボール
３８ アンビル
３９ スピンドル
４１ 表示画面
４２ ポインター像
４３ ポインター像
４４ 結合線
４５ 距離数値表示
４６ 対象物像
４７ 立体ノギス像
４８ フレーム
４９ ラチェット付きバーニア
５１，５２ 光軸
５３ コンバージェンス点
５４ コンバージェンス面
５５ 立体表示領域水平境界
５６ 立体表示領域垂直境界
５７ 観測点
６１ 左目用の画像
６２ 右目用の画像
６３，６４，６５，６６ 表示された点
【特許請求の範囲】
【請求項１】
第１の撮像装置と第２の撮像装置とを備えた立体撮像装置と、画像信号生成装置と、立体映像信号生成装置と、ディスプレーと、を備えた立体映像表示装置において、
前記ディスプレーに表される立体画像中に表示されるポインターの位置を指定する操作端を備える操作盤と、
前記ポインターの位置情報を生成して供給するポインター像表示装置と、
前記ポインターの位置情報を入力して前記立体撮像装置に固定される座標系において該ポインターの３次元位置を表す座標値を算定する座標演算装置と、
前記立体画像中の２つのポインターについて算定された座標値に基づいて該２つのポインター間の実体距離値を算定して供給する距離演算装置と、
を備え、
前記立体映像信号生成装置が、前記ポインターの位置情報を入力して前記第１の撮像装置による画像と前記第２の撮像装置による画像のそれぞれにポインターの像を加えた画像信号を生成して前記ディスプレーに伝達し、前記２つのポインターの間の実体距離値を入力して数値表示する画像信号を生成して前記ディスプレーに伝達し、
前記ディスプレーが前記ポインターの像と前記２つのポインター間の実体距離値を表示する
立体映像表示装置の立体ノギス像形成装置。
【請求項２】
さらに、前記２つのポインターの位置を測定長の端点とする立体ノギス像を表示する画像信号を形成して供給する立体ノギス像表示装置を備えて、
前記立体映像信号生成装置が、前記立体ノギス像を表示する画像信号を入力して前記第１の撮像装置による画像と前記第２の撮像装置による画像のそれぞれに該立体ノギス像を加えて表示する画像信号を生成して前記ディスプレーに伝達し、
前記ディスプレーが該立体ノギス像を３次元表示すること
を特徴とする請求項１記載の立体ノギス像形成装置。
【請求項３】
前記立体撮像装置に固定される座標系は、前記２つの撮像装置の光軸が交差する角を２等分する２等分線を１つの座標軸とする直交座標系であることを特徴とする請求項１または２記載の立体ノギス像形成装置。
【請求項４】
前記第１の撮像装置による画像と前記第２の撮像装置による画像のそれぞれにおけるポインターの立体像位置は、前記第１の撮像装置と前記第２の撮像装置の光軸の交点であるコンバージェンス点における前記１つの座標軸に垂直なコンバージェンス面を、前記ポインターがあるべき位置に向けた前記第１の撮像装置の視線が通過する点の座標と前記ポインターに向けた前記第２の撮像装置の視線が通過する点の座標によりそれぞれ指定することを特徴とする請求項３記載の立体ノギス像形成装置。
【請求項５】
前記操作盤は、映像中の前記ポインターの位置を前記２つの撮像装置の光軸の交点の位置に移動させる操作端を備えることを特徴とする請求項１から４のいずれか１項に記載の立体ノギス像形成装置。
【請求項６】
前記第１の撮像装置と第２の撮像装置は、立体内視鏡のカメラである、請求項１から５のいずれか１項に記載の立体ノギス像形成装置。
【請求項７】
請求項６記載の立体ノギス像形成装置を備えた立体内視鏡装置。
【請求項８】
第１の撮像装置と第２の撮像装置とを備えた立体撮像装置と、画像信号生成装置と、立体映像信号生成装置と、ディスプレーとを備えた立体映像表示装置に適用する、ポインター像の位置を立体画像中で移動させる操作端を有する操作盤とコンピュータとを備えた立体ノギス像形成装置において、
該コンピュータを、
前記立体映像信号生成装置にポインターの位置情報を供給して、前記第１の撮像装置による画像と前記第２の撮像装置による画像のそれぞれにポインターの像を加えさせて該ポインターの位置を前記ディスプレーに３次元で表示させるポインター像表示手段と、
前記操作盤の操作端から入力される信号に基づいて、前記ポインターの位置を前記ディスプレーに表される立体画像中で移動させる手段と、
前記ポインターの３次元位置を立体撮像装置に固定される座標系の座標で表す座標演算手段と、
前記立体画像中の２つのポインターについて指定された座標に基づいて該２つのポインターの間の実体距離を算定して前記映像信号生成装置に伝達して、前記ディスプレーに該実体距離を数値表示させる距離演算手段として機能させるためのプログラム。
【請求項９】
前記ポインター像表示手段は、前記ポインターの位置を測定長の端点とする立体ノギス像を形成して前記ディスプレーに３次元で表示させることを特徴とする請求項８記載のプログラム。
【請求項１】
第１の撮像装置と第２の撮像装置とを備えた立体撮像装置と、画像信号生成装置と、立体映像信号生成装置と、ディスプレーと、を備えた立体映像表示装置において、
前記ディスプレーに表される立体画像中に表示されるポインターの位置を指定する操作端を備える操作盤と、
前記ポインターの位置情報を生成して供給するポインター像表示装置と、
前記ポインターの位置情報を入力して前記立体撮像装置に固定される座標系において該ポインターの３次元位置を表す座標値を算定する座標演算装置と、
前記立体画像中の２つのポインターについて算定された座標値に基づいて該２つのポインター間の実体距離値を算定して供給する距離演算装置と、
を備え、
前記立体映像信号生成装置が、前記ポインターの位置情報を入力して前記第１の撮像装置による画像と前記第２の撮像装置による画像のそれぞれにポインターの像を加えた画像信号を生成して前記ディスプレーに伝達し、前記２つのポインターの間の実体距離値を入力して数値表示する画像信号を生成して前記ディスプレーに伝達し、
前記ディスプレーが前記ポインターの像と前記２つのポインター間の実体距離値を表示する
立体映像表示装置の立体ノギス像形成装置。
【請求項２】
さらに、前記２つのポインターの位置を測定長の端点とする立体ノギス像を表示する画像信号を形成して供給する立体ノギス像表示装置を備えて、
前記立体映像信号生成装置が、前記立体ノギス像を表示する画像信号を入力して前記第１の撮像装置による画像と前記第２の撮像装置による画像のそれぞれに該立体ノギス像を加えて表示する画像信号を生成して前記ディスプレーに伝達し、
前記ディスプレーが該立体ノギス像を３次元表示すること
を特徴とする請求項１記載の立体ノギス像形成装置。
【請求項３】
前記立体撮像装置に固定される座標系は、前記２つの撮像装置の光軸が交差する角を２等分する２等分線を１つの座標軸とする直交座標系であることを特徴とする請求項１または２記載の立体ノギス像形成装置。
【請求項４】
前記第１の撮像装置による画像と前記第２の撮像装置による画像のそれぞれにおけるポインターの立体像位置は、前記第１の撮像装置と前記第２の撮像装置の光軸の交点であるコンバージェンス点における前記１つの座標軸に垂直なコンバージェンス面を、前記ポインターがあるべき位置に向けた前記第１の撮像装置の視線が通過する点の座標と前記ポインターに向けた前記第２の撮像装置の視線が通過する点の座標によりそれぞれ指定することを特徴とする請求項３記載の立体ノギス像形成装置。
【請求項５】
前記操作盤は、映像中の前記ポインターの位置を前記２つの撮像装置の光軸の交点の位置に移動させる操作端を備えることを特徴とする請求項１から４のいずれか１項に記載の立体ノギス像形成装置。
【請求項６】
前記第１の撮像装置と第２の撮像装置は、立体内視鏡のカメラである、請求項１から５のいずれか１項に記載の立体ノギス像形成装置。
【請求項７】
請求項６記載の立体ノギス像形成装置を備えた立体内視鏡装置。
【請求項８】
第１の撮像装置と第２の撮像装置とを備えた立体撮像装置と、画像信号生成装置と、立体映像信号生成装置と、ディスプレーとを備えた立体映像表示装置に適用する、ポインター像の位置を立体画像中で移動させる操作端を有する操作盤とコンピュータとを備えた立体ノギス像形成装置において、
該コンピュータを、
前記立体映像信号生成装置にポインターの位置情報を供給して、前記第１の撮像装置による画像と前記第２の撮像装置による画像のそれぞれにポインターの像を加えさせて該ポインターの位置を前記ディスプレーに３次元で表示させるポインター像表示手段と、
前記操作盤の操作端から入力される信号に基づいて、前記ポインターの位置を前記ディスプレーに表される立体画像中で移動させる手段と、
前記ポインターの３次元位置を立体撮像装置に固定される座標系の座標で表す座標演算手段と、
前記立体画像中の２つのポインターについて指定された座標に基づいて該２つのポインターの間の実体距離を算定して前記映像信号生成装置に伝達して、前記ディスプレーに該実体距離を数値表示させる距離演算手段として機能させるためのプログラム。
【請求項９】
前記ポインター像表示手段は、前記ポインターの位置を測定長の端点とする立体ノギス像を形成して前記ディスプレーに３次元で表示させることを特徴とする請求項８記載のプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１１−１５３９９５（Ｐ２０１１−１５３９９５Ａ）
【公開日】平成２３年８月１１日（２０１１．８．１１）
【国際特許分類】
【出願番号】特願２０１０−１７１７９（Ｐ２０１０−１７１７９）
【出願日】平成２２年１月２８日（２０１０．１．２８）
【出願人】（３９５０１１２１８）エフ・エーシステムエンジニアリング株式会社 (7)
【出願人】（５９４０４４６４６）株式会社エヌエイチケイメディアテクノロジー (20)
【Ｆターム（参考）】
【公開日】平成２３年８月１１日（２０１１．８．１１）
【国際特許分類】
【出願日】平成２２年１月２８日（２０１０．１．２８）
【出願人】（３９５０１１２１８）エフ・エーシステムエンジニアリング株式会社 (7)
【出願人】（５９４０４４６４６）株式会社エヌエイチケイメディアテクノロジー (20)
【Ｆターム（参考）】
[ Back to top ]