立体映像表示装置の立体スケール像形成装置
【課題】立体カメラで撮影した立体映像の任意の位置に存在する対象物について、奥行き、幅、高さなどの計測を容易にする立体スケールを形成して立体映像表示装置に表示させる。
【解決手段】互いに光軸が交差するように配置した第１の撮像装置１と第２の撮像装置２と、立体画像表示装置４とを備えて、第１の撮像装置と第２の撮像装置それぞれの映像の中に長さ目盛を付した立体スケールの画像を形成し、立体スケールの視線交差角αと長さ目盛の大きさとを調整して立体画像表示装置４に表示し、映像中の立体スケールを立体視させる立体スケール像演算装置５と、表示された立体スケール１１の位置を前記映像中で移動させる操作端を設けた操作盤６とを備える。
【解決手段】互いに光軸が交差するように配置した第１の撮像装置１と第２の撮像装置２と、立体画像表示装置４とを備えて、第１の撮像装置と第２の撮像装置それぞれの映像の中に長さ目盛を付した立体スケールの画像を形成し、立体スケールの視線交差角αと長さ目盛の大きさとを調整して立体画像表示装置４に表示し、映像中の立体スケールを立体視させる立体スケール像演算装置５と、表示された立体スケール１１の位置を前記映像中で移動させる操作端を設けた操作盤６とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体撮像装置で取得する画像を表示する立体映像表示装置において、画像に表示された物体の実寸法を推定するために使用する立体スケール像を形成する装置に関する。
【背景技術】
【０００２】
近年、立体映像表示装置は著しく発達してきている。立体映像表示装置では、たとえば、左右一対の撮像手段を視差を持つように配置し、撮像された左右一対の画像をモニターに表示して立体視化する。立体視には、左右画像を時分割で交互に表示し、液晶シャッターを備えたメガネで左右画像を交互に観察する時間分割立体表示方式や、左右画像をそれぞれ偏光軸が直交する偏光フィルタを通した上で、同一面に重ねて偏光表示し、左右で偏光軸が直交する偏光フィルタメガネを用いて左右画像に分離する偏光フィルタ眼鏡方式など、各種の原理に基づく装置が利用されている。なお、裸眼で立体映像を観察することができる方法も開発されている。
【０００３】
映像の立体視化により、被写体に対する識別力が格段に向上する。この利点を使って、２次元画像では自動判定が難しかった侵入者の識別を試みた例が報告されている。また、特に立体内視鏡カメラが使用できれば、内蔵疾患の診断や手術を支援する上で大きな効果が期待される。
さらに、立体映像中の物体の寸法を簡単に知ることができれば、的確な診断や手術に大きく貢献することになる。
【０００４】
しかし、立体内視鏡カメラから得られる映像は、形状と配置、色が主な情報で、映し出される映像の大きさに関する情報は、直接に得ることはできず、表示映像内に映し込まれた予め寸法を知っている鉗子など比較対象物に基づいて得ることになる。しかし、比較対象物との位置関係は必ずしも正確に求めることができないので、映像中の対象物についての大きさや距離に関する情報は確実性がない。
【０００５】
立体カメラによる撮影方法には平行法と交叉法がある。特に立体内視鏡においては、立体視化する２台のカメラの間隔が小さいため、平行法による場合は視線交差角が小さくなって立体感に乏しくなる。一方、立体内視鏡を使う目的からすると、観察可能な領域が広く立体感が高いことが好ましい。そこで、立体内視鏡では、普通、交叉法を使った広角レンズにより撮像した映像を立体視化することで、視野を広げ、かつ奥行き方向の距離を大きく表示できるようにしている。
このような、交叉法により撮影した映像を対象として距離画像を生成する手法は、実現していない。また、立体映像表示装置において、立体表示された映像の距離や寸法を取得する簡便な手法は、未だ知られていない。
【０００６】
立体内視鏡装置を用いた診断あるいは手術においては、術者が、立体内視鏡カメラにより撮影して表示された立体映像に映し出された患部を立体的に観察して、たとえば、患部の形状や周囲の状況、色などを診断の重要な判断材料とする。しかし、患部の奥行き寸法を正確に推定する手段がなく、立体映像として奥行きを感じさせる立体映像は得られるものの、その寸法は、過去の経験に基づいて類推するしか方法がなかった。また、患部の大きさも、鉗子など一緒に映像に写し込まれた比較対象物により推定するしかないが、位置関係が明確でなく正確に推定することができなかった。
なお、このような事情は、立体内視鏡装置に限らず、一般に用いられる交差法立体カメラを使用した立体映像表示装置においても、同様に、映像中の事物の寸法を正確に求めることが難しい。
【０００７】
特許文献1には、計測用目盛発生回路により最適なサイズの計測用目盛をモニター上に描画するようにした立体撮像装置が記載されている。特許文献1に開示された計測用目盛発生回路は、平行法に従って配置された立体カメラを対象として、別途測定される被検物までの距離にしたがって映像の倍率を求め、倍率に対応する目盛を発生させる。
特許文献1に記載された立体撮像装置では、観察したい被検物を画像中心部に持ってくると、新しく提供された立体計測装置により被検物までの距離が自動的に測定され、測定された距離に従い被写体の撮影倍率に対応した計測用目盛が形成されて、形成された計測用目盛がモニター画面に自動的に表示されるようになっている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００７−１８７５９０号公報（特に、段落００２７、００３０等）
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかし、特許文献１記載の目盛表示は、平行法に従って配置された立体カメラを対象として、画像中心部に持ってきた被検物のみに目盛が合うので、別の被検物について寸法を知ろうとすると、その度にカメラを移動して被検物が画像中心部に来るようにして測定する必要がある。
そこで、本発明が解決しようとする課題は、立体カメラで撮影した立体映像の任意の位置に存在する対象物について、その奥行き（距離）、幅、高さなど長さに関する計測を容易にする立体スケールを形成して立体映像表示装置に表示させる立体スケール像形成装置を提供することである。
【００１０】
特に、立体内視鏡装置において、画像表示装置に映し出される対象物の立体的な大きさを数値的に表現するための立体スケールを形成表示する立体スケール像形成装置を提供することである。術者は、立体スケールを利用して対象物の実際の大きさを知って、診断あるいは手術を行うことができる。
【課題を解決するための手段】
【００１１】
上記課題を解決するため、第１の撮像装置と第２の撮像装置と、立体画像表示装置とを備えた立体映像表示装置における、本発明に係る立体スケール像形成装置は、第１の撮像装置と第２の撮像装置それぞれの映像の中に長さ目盛を付した立体スケールの画像を形成し、映像における立体スケールの位置と第１および第２の撮像装置の主点面との距離に従って、立体スケールの視線交差角と長さ目盛の大きさとを調整して立体画像表示装置に表示し、映像中の立体スケールを立体視させる立体スケール像形成装置と、表示された前記立体スケールの位置を前記映像中で移動させる操作端を設けた操作盤とを備えることを特徴とする。
【００１２】
立体映像表示装置に用いられる立体カメラは、画角等を使用用途に合わせたレンズを使用し、種類も多い。また、同じ品番の部品を使用しても光学的特性が微妙に異なることも多く、調整により光学的特性が変化する場合もある。さらに、立体カメラの特性や使用用途に合った調整(コンバージェンスなど)を行う必要がある。そのため使用レンズ、撮影条件ごとに基準を設定する必要がある。本発明の立体撮像装置における第１の撮像装置と第２の撮像装置は、交差法を用いて、互いに光軸が交差するように配置したものであってもよい。
本発明の１態様に係る立体スケール像形成装置は、交差法を用いた立体カメラの光軸交差角である輻輳角に対応した映像深度に、実物に対応する大きさを持った長さ目盛を備えた立体スケールを画像中に表示するので、撮像装置から同じ距離にある被写体の奥行き(距離または長さ)、水平方向の長さ（幅）、垂直方向の高さ(長さ)を知ることができる。
また、立体スケールは適宜の位置に表示することができ、立体スケールの表示位置と第１および第２の撮像装置の主点面との距離に従って目盛を調整することにより、適宜の位置に撮像された被写体に適用することができる立体スケールを表示することができるので、被写体の実際の大きさを容易に推定することができる。
【００１３】
さらに、看者は、操作盤を用いて、簡単に立体スケールの表示位置あるいは姿勢を調整することができる。看者は、対象とする被写体と立体スケールが表示された映像を観察しながら被写体の深度に立体スケールの深度を合わせて、表示された目盛を使って実物の大きさを測定する。操作盤には、直交座標系の３軸、あるいはさらに３個の回転軸を加えた６軸の運動を指定する操作端に加えて、１操作で直ちに基準位置に戻すことができる操作端を備えることが便利である。立体スケールの基準位置は、２つの撮影装置の光軸の交差点すなわちコンバージェンス点であることが好ましい。
【００１４】
立体カメラが映し出す映像にオーバーライドされる立体スケールのマンマシンインターフェースとしての操作盤は、簡便に操作できるものであることが好ましい。たとえば、術者の指示で補助者が簡単に操作したり、収録された立体映像を後日分析する場合に簡便に操作したりできることが要求される。特に、観察対象物の形状や向きがあらかじめ特定できないことを考慮し、本発明における操作盤は、ローカル座標系に基づく操作により各軸ごとに指定することにより、立体スケールの目盛を移動・回転させることができることが好ましい。また、用途によっては各軸同士を拘束して使用することが必要な場合があるので、対象とする軸を操作することで各軸が連動するように構成してもよい。
【００１５】
立体画像表示装置の画像に表示する立体スケールは、対象位置に設置した基準立体スケールを立体撮像装置で撮影して得られた映像に基づいて、目盛を実際の寸法と対比して校正したデータを集積して校正マトリックスとして記憶装置に記憶し、記憶された校正マトリックスに基づいて形成して表示することができる。
なお、位置や姿勢の変更に伴い、立体スケールの目盛の大きさを計算で求めることができる。一方、立体スケールの使われる領域について、その領域をカバーする点位置について、予め計算あるいは基準パターン実写像との対比により、目盛に振り直すことができるデータを形成しておいて、校正マトリックスとして記憶装置に格納しておくことができる。
目盛パターンを実写して、目盛パターンの実写像と立体スケール像の目盛とを対比させて較正する場合は、校正マトリックスを用いて、実態に沿った立体スケールを簡単に形成することができる。校正マトリックスの値をそのまま利用できないときは、内挿法あるいは外挿法を使用して補完することができる。
【発明の効果】
【００１６】
本発明に係る立体映像表示装置の立体スケール像形成装置が被写体の位置に立体スケールを生成するので、看者は、立体スケールを参照して立体映像に表された被写体の寸法を正確に計測することができる。
特に、立体内視鏡装置を用いて患部の観察や手術を行うときには、本発明に係る立体スケール像形成装置を用いることにより、術者が画像中に表示された患部などの寸法を簡単に知ることができるので便利である。
【図面の簡単な説明】
【００１７】
【図１】本発明の１つの実施形態に係る立体スケール像形成装置を用いた立体映像表示装置の構成図である。
【図２】人の目による立体視の原理を説明する概念図である。
【図３】立体画像表示装置の映像中における対象物の画像の表示位置を示す概念図である。
【図４】本実施形態に係る立体スケールの配置と立体カメラの視線との関係を示す概念図である。
【図５】本実施形態に係る立体スケールの位置と立体画像表示装置における表示位置の関係を説明する概念図である。
【図６】本実施形態に係る立体スケール像形成装置に用いる操作盤の１例を示す斜視図である。
【図７】本実施形態に係る立体スケールの各軸の移動状況を説明する概念図である。
【図８】本実施形態に係る基準立体スケールの作成方法の１例を示す概念図である。
【図９】本実施形態におけるレンズ系の幾何学歪みの補正方法を説明する概念図である。
【図１０】本実施形態におけるレンズ系の幾何学歪みの補正に使用する校正データマトリクスを示す概念図である。
【図１１】本実施形態に係る立体スケール像形成装置を立体内視鏡装置に適用した場合の例を示す立体映像表示装置の構成図である。
【発明を実施するための形態】
【００１８】
以下、本発明に係る立体映像表示装置の立体スケール像形成装置について、図面を参照しながら詳しく説明する。なお、図面においては、同じ機能を有する構成部材については同じ参照番号を付して説明を簡約にし、説明の重複を避けるようにした。
【００１９】
図１は、本発明の１つの実施形態に係る立体スケール像形成装置を用いた立体映像表示装置の構成図である。第１の撮像装置１と第２の撮像装置２は、ほぼ同じ性能を有するカメラで、固定の光軸間距離をおいて結合され、光軸が前方の決められたコンバージェンスポイント８で交差するように配置されている。また、コンバージェンスポイント８を通り、２つの撮像装置の主点同士を結ぶ直線９と２本の光軸を含む面に垂直な面をコンバージェンス面１８という。なお、対象物上の1点を見通す２個の撮像装置の視線が交差して形成される角度を視線交差角αという。また、コンバージェンスポイント８に対する視線交差角を特に輻輳角θとよぶ。
【００２０】
第１の撮像装置１と第２の撮像装置２が形成した映像信号は、画像処理装置３に入力される。画像処理装置３は、撮像装置１，２から入力された映像信号を立体画像表示装置４に右目用と左目用に分離して表示させる。図においては、第１の撮像装置１から供給される映像信号は左目で見る画像を表示するもの、第２の撮像装置２から供給される映像信号は右目で見る画像を表示するものである。
【００２１】
立体画像表示装置４は、右目用画像と左目用画像を交互に切り換え表示し、これと同期してオンオフする液晶シャッタメガネなど図示しない専用の立体メガネで観察する時間分割立体表示方式の立体画像表示装置であれば、色彩の再現性も確保できるので好ましい。また、左右の画像を偏光軸が直交する偏光フィルタを通してプロジェクタ投射したりして同一画面に重ねて表示し、偏光フィルタ眼鏡で左目用画像と右目用画像に分離する偏光フィルタ眼鏡方式や、立体画像表示装置と立体メガネの機能を共に備えたオーバーヘッドディスプレイ（ＯＨＤ）などを使うこともできる。
なお、特に、術者が患部の観察や手術を行うために使用する立体映像表示装置では、患部の色彩も重要な情報であるため、立体視のために映像の色彩が変化する方式は好ましくない。
【００２２】
立体スケール像演算装置５は、立体スケールの左目用と右目用の画像信号を形成して、画像処理装置４に供給する。画像処理装置４で、立体スケール画像信号の左目用信号が第１の撮像装置１の映像信号と重畳され、右目用信号が第２の撮像装置２の映像信号に重畳されて、立体画像表示装置４に送信され表示される。
こうして、立体画像表示装置４に、対象とする物体７の立体映像１０と立体スケール１１が表示され、立体メガネを装着して観察するとこれらの映像を立体視することができる。
【００２３】
立体スケール像演算装置５には、人が操作する操作盤６が付属して、画像中の立体スケール１１の位置と姿勢を指定することができる。立体スケール像形成装置２０は、立体スケール像演算装置５と操作盤６により、構成される。操作盤６を用いて、対象物７の立体映像１０の位置に立体スケール１１の像が重なるように調整すれば、立体スケール１１の目盛を読み取ることにより、対象物７の寸法を測定することができる。
なお、対象物の映像１０において垂直や水平の方向でない斜行した方向について寸法を知りたいときには、操作盤６により立体スケール１１を適宜の軸について回転させて目盛を測定方向に沿うようにさせることにより、直接対象物の映像１０に当てて寸法を測定できるようにすればよい。
【００２４】
図２は、人の目による立体視の原理を説明する概念図である。図は、立体カメラで距離の異なる対象物を観察する場合を示している。図３は、立体画像表示装置４の映像中における対象物画像の表示位置を示す概念図である。右目で見る画像を実線で、左目で見る画像を点線で囲んで示している。
人の左目に擬せられる第１の撮像装置１と、右目に擬せられる第２の撮像装置２は、交差法を使って立体視を可能とする。
【００２５】
図２において、撮像装置の光軸が交差するコンバージェンスポイント８より撮像装置に近い位置に存在する対象物（猫）１２は、第１の撮像装置１で生成された左目用の画像１４が、図３に点線で示すように立体画像表示装置４の中心より右側に表示され、第２の撮像装置２で生成された右目用の画像１５が、実線で示すように立体画像表示装置４の中心より左側に表示される。これらの画像を立体メガネにより立体視することにより、対象物１２は、立体画像表示装置４の映像中に実際の空間における対象物１２の位置にあるように観察される。
【００２６】
一方、コンバージェンスポイント８より遠方にある対象物（教会）１３は、近い位置にある対象物１２とは逆に、左目用の画像１６が点線で示されるように立体画像表示装置４の中心より左側に表示され、右目用の画像１７が実線で示されるように立体画像表示装置４の中心より右側に表示されて、立体視することにより、２つの撮像装置の画像を見る視線の交点となる、実際の空間における対象物１３の位置にあるように観察される。
【００２７】
このように、撮像装置１，２と対象物との距離がコンバージェンス面より近い場合は、立体画像表示装置４に表示される左目用画像１４が右目用画像１５より右に表示され、撮像装置１，２と対象物との距離がコンバージェンス面より遠い場合は、立体画像表示装置４に表示される左目用画像１６が右目用画像１７より左に表示される。さらに、対象物が近いほど視線交差角αが大きく、遠いほど視線交差角αが小さくなり、対象物の画像の大きさは距離に反比例する。
【００２８】
立体スケールについても、映像空間内の立体スケールの位置に対応して同じことが言える。すなわち、立体画像表示装置４において立体スケール１１を立体視する場合の立体スケール像の配置位置までの距離は、左目用画像と右目用画像の左右配置と視線交差角αを決めることにより確定されることになる。なお、視線交差角αは、立体スケール中のある１点を見通す時の第１の撮像装置１の視線と第２の撮像装置２の視線が交差する角であるため、立体画像表示装置４において、コンバージェンス面に投影された左目用画像と右目用画像の間の距離に関係する量となる。
【００２９】
図４は、本実施形態に係る立体スケールの配置と立体カメラの視線との関係を示す概念図、図５は、本実施形態に係る立体スケールの位置と立体画像表示装置における表示位置の関係を説明する概念図である。
図４は、立体画像表示装置に表示する立体スケールを立体的に表示した概念図である。図４では、立体スケールの中心に原点を置くローカル座標系について、水平軸をＸ軸、奥行き方向の軸をＹ軸、垂直軸をＺ軸として表現し、位置の異なる立体スケール相互間の関係、特に奥行き関係を明確に示すようにした。このため、図４では、立体スケール２１，２２，２３は、撮像装置の中間点とコンバージェンスポイント８を結ぶ絶対座標系のＹ軸上に置かれている。
【００３０】
図４に示すように、第１の撮像装置１の光軸と第２の撮像装置２の光軸が交わって形成するコンバージェンスポイント８の位置に、２つの光軸を含む面に垂直なコンバージェンス面１８が存在する。このコンバージェンス面１８に基準立体スケール２１が形成される。基準立体スケール２１は、光軸の交差角と同じ輻輳角θ（α０）を有する。基準立体スケール２１の目盛は、実寸、あるいは決まった縮尺で表示される。ここで、第１の撮像装置１と第２の撮像装置２のたとえば主点同士を結ぶ基準線９からコンバージェンス面１８までの距離をＤｃとする。
なお、立体スケールは、方眼を形成した面や、図４に示すような目盛棒を直交させた十字など、適宜のものであっても良い。
【００３１】
立体スケール２２は、コンバージェンス面１８より立体カメラに近い位置に配置されたときの立体スケールである。ここで、第１の撮像装置１と第２の撮像装置２を結ぶ基準線９から立体スケール２２までの距離をＤｓとすると、立体スケール２２の目盛の大きさは、基準立体スケール２１の目盛のＤｃ／Ｄｓ倍になる。
なお、基準線９から立体スケール２２までの距離は、先に述べた通り、立体画像表示装置４において、立体スケール２２の左目用画像と右目用画像の左右配置関係と視線交差角α１、あるいは、コンバージェンス面１８に投影された左目用画像と右目用画像の間の距離Ｌ１に関係する量として、算出することができる。
【００３２】
また、立体スケール２３は、コンバージェンス面１８より立体カメラから遠い位置に配置されたときの立体スケールである。ここで、第１の撮像装置１と第２の撮像装置２を結ぶ基準線９から立体スケール２３までの距離をＤｌとすると、立体スケール２３の目盛の大きさは、基準立体スケール２１の目盛のＤｃ／Ｄｌ倍になる。
なお、基準線９から立体スケール２３までの距離は、立体画像表示装置４において、立体スケール２３の左目用画像と右目用画像の左右配置関係と視線交差角α２、あるいは、コンバージェンス面１８に投影された左目用画像と右目用画像の間の距離Ｌ２に関係する量として、算出することができる。
【００３３】
図５には、図４に示した立体スケール２１，２２，２３について、立体画像表示装置４における、左目用画像Ｌの表示位置と表示画像、右目用画像Ｒの表示位置と表示画像とを示している。図には、画面の中央位置が一点鎖線で示されており、画面の中央位置と立体スケールの中心位置との距離が示されている。
【００３４】
図５（ａ）は、立体カメラに最も近い立体スケール２２について示す立体画像表示装置４の表示画面である。左側の図面が立体スケール２２の左目用画像が表示された立体画像表示装置４の表示部を表し、右側の図面が立体スケール２２の右目用画像が表示された表示部を表す。
立体スケール２２は立体画像表示装置４の画像中央に立体表示されるにもかかわらず、左目用画像は右側に偏倚しており、右目用画像は左側に偏倚している。片目用画像の偏倚量はそれぞれＬ１／２で、両者の隔たりはＬ１になる。立体スケール２２の目盛の大きさは、基準立体スケール２１の目盛に対して、Ｄｃ／Ｄｓ倍になっている。
【００３５】
図５（ｂ）は、コンバージェンス面に形成される基準立体スケール２１について示す立体画像表示装置４の表示画面である。左側の図面が左目用画像を表示した立体画像表示装置４の表示部を表し、右側の図面が右目用画像を表示した表示部を表す。
基準立体スケール２１は、左目用画像と右目用画像のいずれも画面中央位置に表されて、標準立体スケール２１の画像の中心位置の偏倚はない。基準立体スケール２１の目盛の大きさは、実体の立体スケールテンプレートと対照させて校正された値になっている。
【００３６】
図５（ｃ）は、コンバージェンス面より遠い立体スケール２３について示す立体画像表示装置４の表示画面である。左側の図面が立体スケール２３の左目用画像が表示された立体画像表示装置４の表示部を表し、右側の図面が立体スケール２３の右目用画像が表示された表示部を表す。
立体スケール２３は立体画像表示装置４の画像中央に表示されるにもかかわらず、左目用画像は左側に偏倚しており、右目用画像は右側に偏倚している。片目用画像の偏倚量はそれぞれＬ２／２で、両者の隔たりはＬ２になる。立体スケール２３の目盛の大きさは、基準立体スケール２１の目盛に対して、Ｄｃ／Ｄｌ倍になっている。
【００３７】
立体スケールは、看者がたとえば操作盤を通じて指示する表示位置にしたがって、立体スケールの形状と大きさ、および表示位置を決め、これに適合する立体スケールの左目用画像と右目用画像を生成し、立体画像表示装置４に表示させる。
図６は、本実施形態の立体画像表示装置に係る立体スケール像形成装置に用いる操作盤６の１例を示す斜視図である。
【００３８】
図６に示すように、操作盤６には、２方向にスイングする十字キー３１と、トラッキングボール３２と、前後方向にスイングするシーソーキー３３と、２個の押しボタンスイッチ３４，３５とが設けられている。
十字キー３１は、Ｘ軸方向とＺ軸方向の移動を指示するスイッチである。十字キー３１の横方向の腕はＸ軸方向の制御を行い、腕の右側を押し込めば、立体スケールは横方向右側（Ｘ軸正方向）に移動し、左側を押し込めば立体スケールは横方向左側（Ｘ軸負方向）に移動する。また、縦方向の腕はＺ軸方向の制御を行い、腕の上側を押し込めば、立体スケールは上の方向（Ｚ軸正方向）に移動し、下側を押し込めば、下の方向（Ｚ軸負方向）に移動する。なお、十字キー３１は、長押しにより上の通り決められた方向に高速移動するように構成しても良い。
【００３９】
シーソーキー３３は、Ｙ軸方向の移動を指示するスイッチである。シーソーキー３３は、操作盤６の側面に設けられ、シーソーキー３３の向側の端部を押し込めば立体スケールが遠方に（Ｙ軸負方向に）表示されるようになり、手前側の端部を押し込めば立体スケールが手前に近づくようになる（Ｙ軸正方向に移動する）。シーソーキー３３は押し込み深さによって立体スケールの運動方向と速度を指定するものであっても良い。
【００４０】
操作盤６は、十字キー３１とシーソーキー３３により、立体スケールの中心位置を映像中の任意の位置に決めることができる。立体スケールの目盛は、Ｙ軸方向の座標に基づいて大きさが決められる。したがって、映像中の任意の対象物について、操作盤６の十字キー３１とシーソーキー３３を操作して、立体スケールの表示位置が対象物の位置に来るように調整することにより、対象物の位置における実寸測定を行うことができる。
【００４１】
ただし、十字キー３１とシーソーキー３３だけでは、立体スケールは平行移動するだけなので、対象物について測定したい方向が鉛直方向や水平方向でないときは、立体スケールを対象物の像の寸法を知りたい向きに当てて直接に寸法を知ることができない。
トラックボール３２は、３軸回転方向の運動を指示する操作端で、トラックボールの垂直軸周りの回転に立体スケールのＺ軸周りのヨー運動、左右方向の回転にＹ軸周りのピッチ運動、前後方向の回転にＸ軸周りのロール運動をそれぞれ割り当てて、立体スケールの回転運動を制御できるようになっている。
【００４２】
たとえば、立体スケールを映像画面中で右に傾けたいときは、トラックボール３２を右に回せばよい。立体スケールをＺ軸周りに回転させたいときは、トラックボール３２を水平面内で回転させればよい。さらに、立体スケールを手前に傾けたいときは、トラックボール３２を手前に回せばよい。いずれも、トラックボールの運動方向と、立体スケールの運動方向が直感的な関係を有するので、操作する人が立体スケールを制御するときに迷うことがない。
このように、トラックボール３２を操作端として追加すれば、立体スケールの回転を含めた６軸を簡単に制御することができるようになる。
【００４３】
図７は、本実施形態に係る立体スケールの各軸の移動状況を説明する概念図で、十字キー３１とシーソーキー３３とトラックボール３２を操作端として、立体スケールの位置や姿勢を調整する関係を示す。
十字キー３１により、立体スケールのＸ軸方向の平行移動とＺ軸方向の平行移動を制御する。また、シーソーキー３３により、立体スケールのＹ軸方向の平行移動を制御する。
【００４４】
また、トラックボール３２により、立体スケールの回転を制御する。トラックボール３２が支配する回転運動は、Ｚ軸周りのヨー運動、Ｙ軸周りのピッチ運動、Ｘ軸周りのロール運動の、３軸の回転運動である。
このように、立体スケールは、６軸の自由度を持っていて、それぞれが単独に変化することができるが、変化した立体スケールは、その位置に応じた目盛を持っていなければならない。すなわち、Ｙ軸方向に移動した場合は、撮像装置の基準線９から立体スケールまでの距離Ｄｙが変化するので、基準線からの距離Ｄｃの位置にある基準立体スケール２１の目盛を基準として、そのＤｃ／Ｄｙ倍の大きさの目盛を備えるようにしなければならない。
【００４５】
なお、６自由度の装置は制御が容易でないので、むしろ拘束をして自由度を減少させることにより、制御の簡易化を図ることができる。本実施形態の操作盤６では、Ｘ軸とロール軸、Ｙ軸とピッチ軸、Ｚ軸とヨー軸の２軸毎にグループ化して、同時にはそれぞれ組み合わされた２軸のみが操作できるようにするモードを採用している。なお、Ｘ，Ｙ，Ｚの３軸の内のいずれか一つの操作を選んだときに、ロール軸、ピッチ軸、ヨー軸を同時に操作できるモードも準備することができる。操作盤６の押しボタンスイッチ３４は、これら軸拘束機能の作動と解除を選択するスイッチである。これら軸拘束機能を備えることにより、更に一段の操作性向上が可能になった。
【００４６】
撮影における映像の拡大縮小や、対象の切り換えなどがあると、対象物に沿わせて表示した立体スケールの位置や目盛の大きさを急速に変更する必要がある。こうした場合に、トラックボール３２やシーソーキー３３などの操作端を操作して追従することが困難である場合がある。このため、操作盤６には、基準立体スケール２１の位置に直接回帰する指示をだせるリセットキーとして押しボタンスイッチ３５が用意されている。リセットキーを押すことで、立体スケールが一挙に基準位置における基準立体スケールに変化する。
このリセットキーが使えるため、映像が変化するときや映像中の測定対象を変更するときにおける立体スケールの追従性が向上する。
【００４７】
図８は、本実施形態に係る基準立体スケールの作成方法の１例を示す概念図である。
立体画像表示装置４に表示する立体スケールの目盛の大きさは、コンバージェンス面１８を基準として光学的配置関係に基づく演算により求めることができる。しかし、部品の光学性能のばらつきや、組立誤差、あるいは光学調整や使用による変動などにより、光学パラメータが設計値と異なる場合には、演算により得た立体スケールの目盛は信頼性が低下する。
これに対して、図８に示すように、実体の立体スケールテンプレートに基づいて、映像中に表示する立体スケールの目盛を校正する方法を用いることができる。
【００４８】
図４に示したコンバージェンス面１８に対応して生成される基準立体スケール２１においては、原寸大の目盛が記載された実体を有する立体スケールテンプレート２９を立体カメラのコンバージェンス面１８に置いて第１の撮像装置１と第２の撮像装置２で撮影し、立体画像表示装置４に表示した画像中の基準立体スケール２１の像と実体の立体スケールテンプレート２９の像を近接させ、基準立体スケール２１の像を伸縮して目盛を実体の立体スケールテンプレート２９に刻まれた単位長の目盛３０と合わせることにより目盛合わせを行うことができる。
【００４９】
なお、コンバージェンス面１８を規定するコンバージェンスポイント８は、光学系により定まる点であって、幾何的な配置から容易に決めることができる。たとえば、実体の立体スケールテンプレートを２つの撮像装置で撮影して立体画像表示装置４に表示したときに、裸眼で観察して立体スケールの左目用画像と右目用画像が重なる位置がコンバージェンス面１８に当たるので、比較的簡単に正確な位置を定めることができる。
【００５０】
基準立体スケール２１はコンバージェンス面１８に配置されるので、立体画像表示装置４に表示された左目用画像の中心位置と右目用画像の中心位置は、一致してずれがない。
なお、画像処理技術を用いて自動的に実体の立体スケールテンプレート２９の目盛を検出して大きさを算定し、目盛合わせに使うこともできる。
さらに、実体の立体スケールテンプレート２９の単位長目盛３０の寸法と、第１の撮像装置１と第２の撮像装置２のたとえば主点同士を結ぶ基準線９からコンバージェンス面１８までの距離Ｄｃを検出してシステムに記録し、その後にそれらのデータを使用して基準立体スケール２１の像を形成するようにしてもよい。
【００５１】
つぎに、コンバージェンス面１８より近い位置にある対象物について適用する立体スケール２２を形成する場合は、対象物の位置に実体の立体スケールテンプレートを置いて、第１の撮像装置１と第２の撮像装置２で撮影し、立体画像表示装置４に表示した画像中の立体スケール２２の像を伸縮して目盛を実体の立体スケールテンプレート２９に刻まれた単位長の目盛３０と合わせることにより目盛合わせを行う。
なお、第１の撮像装置１と第２の撮像装置２を結ぶ基準線９から対象物の位置までの距離Ｄｓに基づいて目盛の大きさを決めた立体スケールの像を形成し、対象物の像の位置に立体表示するようにしてもよい。目盛の大きさは、基準立体スケール２１の目盛に対して、Ｄｃ／Ｄｓ倍になる。
【００５２】
また、コンバージェンス面１８より遠い位置にある対象物について適用する立体スケール２３を形成する場合も同様に、対象物の位置に実体の立体スケールテンプレートを置いて、第１の撮像装置１と第２の撮像装置２で撮影し、立体画像表示装置４に表示した画像中の立体スケール２３の像を伸縮して目盛を実体の立体スケールテンプレート２９に刻まれた単位長の目盛３０と合わせることにより目盛合わせを行う。
なお、第１の撮像装置１と第２の撮像装置２を結ぶ基準線９から対象物の位置までの距離Ｄｌに基づいて、基準立体スケール２１の目盛のＤｃ／Ｄｌ倍の大きさの目盛を持った立体スケールの像を、対象物の像の位置に立体表示するようにしてもよい。
【００５３】
このように、コンバージェンス面以外に配置される立体スケールについては、コンバージェンス面に配置された立体スケールの目盛に係るデータを利用することにより、実体の立体スケールテンプレートを用いず、幾何学的な配置関係に基づいて演算によって決めることもできる。
一旦各位置における目盛の校正を行った後では、そのデータを校正データマトリクスとしてシステムのメモリに格納しておいて、測定の必要に応じて校正データマトリクスのデータを選択して立体スケールを表示すればよい。校正を行っていない位置に関する立体スケールは、校正を行った位置のデータを使って内挿法または外挿法により適切な立体スケールを形成して表示すればよい。
【００５４】
図９は、本実施形態におけるレンズ系の幾何学歪みの補正方法を説明する概念図である。光学系が理想的な薄レンズで構成されている場合は、立体スケールの目盛は正方形の格子で形成すれば済む。しかし、立体内視鏡などでは、視野範囲を広くする目的で広角レンズを使用するため、図９に示すように、広角レンズ３６の中心を通る光路と広角レンズ３６の周辺を通る光路の間に、光路差が生じる。この光路差が画像歪みを引き起こす。
【００５５】
理想的なレンズを用いれば、実体の立体スケールテンプレートの像が平坦なスクリーン３９に歪みのない格子からなる理想の目盛３７を表示するが、広角レンズを使用するときは、光路差のために、歪みを有する目盛３８を形成する。歪みを有する目盛３８を較正して歪みを持たない目盛３７とするためには、歪んだスクリーン４０を形成する必要がある。
本実施形態における立体スケールは、特に立体内視鏡装置に適用するため、歪んだスクリーンを使わずに、歪みのある立体映像の中に、歪みに適合する立体スケールを形成することで対処することができる。
【００５６】
図１０は、本実施形態におけるレンズ系の幾何学歪みの補正に使用する校正データマトリクスを示す概念図で、光学系歪みがある場合に形成する校正データマトリクスの概念を説明する。
校正データマトリクスは、Ｙ座標上の平面における目盛の大きさについての数値情報によりマトリクスを構成したもので、このマトリクス上に立体スケールの各軸目盛の情報が存在する。したがって、任意の座標位置における立体スケールが、校正データマトリクスに集積された情報を用いることで形成することができる。たとえば、立体スケールの回転に対しても、校正データマトリクス上からスケール作成情報を取得して、斜行する腕に刻む目盛の大きさを確定することができる。また、必要な情報がない位置についても、内挿法あるいは外挿法などにより、欲しい情報を形成することができる。
【００５７】
システムを構成する時点で、光学系歪みがあると判明している場合は、光学系歪みを前提として立体スケールの目盛を実体目盛に対応させるための光学系歪み補正用の校正データマトリクスを作成して、立体スケールの形成に利用すればよい。
光学系歪み補正用の校正データマトリクス４１は、実体の立体スケールテンプレートを適宜の位置に配置して、立体カメラ（第１の撮像装置と第２の撮像装置）で取得する立体画像信号に基づいて形成する。不足のデータは、内挿法や外挿法により補填することができる。校正データマトリクス４１は、立体スケール像演算装置に内蔵もしくは付属する記憶装置に格納することが好ましい。
【００５８】
たとえば、コンバージェンス面に対応して生成される基準立体スケール４３においては、原寸大の目盛を持つ実体の立体スケールテンプレートを立体カメラのコンバージェンス面に置いて第１の撮像装置と第２の撮像装置で撮影し、立体画像表示装置に表示した画像中の実体の立体スケールテンプレートの像を基準として、基準立体スケール４３の像を伸縮して目盛を実体の立体スケールテンプレートの目盛と合わせることにより目盛合わせを行う。こうして得られたスケール像を、校正データマトリクスを構成するデータとしてメモリに記憶させる。実際には、目盛板の格子点における座標を使うことができる。
【００５９】
遠地点における立体スケール４２についても、同様に実体の立体スケールテンプレートを遠地点の立体スケール４２の位置に置いて、画像中の実体の立体スケールテンプレート像と比較しながら遠地点の立体スケール４２の目盛調整を行う。得られた目盛のデータを、校正データマトリクス４１を構成するデータとして記憶させる。
さらに、近地点における立体スケール４４について、同様にして目盛のデータを形成しする。近地点における立体スケール４４では、広角レンズの影響で光学系歪みが現れるため、特に枠の周辺部分における格子がゆがむ現象が見られる。こうした実態を反映した測定データを、校正データマトリクス４１を構成するデータとして記憶させる。
【００６０】
校正データマトリクス４１を形成するためのデータ数は、立体スケールに要求される精度と構成における作業量を勘案して決める。実測しなかった領域では、実測で得たデータについて内挿法あるいは外挿法を用いてデータを補充することができる。
こうして得られた校正データマトリクス４１に、立体スケールの各軸方向の目盛の情報が存在する。立体スケールの６軸を変更したときにも、立体スケールの位置と姿勢に基づき、この校正データマトリクス４１のデータを用いて、寸法測定に対して適正な目盛を有する立体スケールを形成することができる。
なお、校正データマトリクス４１は、光学系歪みがない場合についても同様に作成して利用することにより、立体スケールの形成における効率を向上させることができる。
【００６１】
図１１は、本実施形態に係る立体スケール像形成装置を立体内視鏡装置に適用した場合の例を示す立体映像表示装置の構成図である。
立体内視鏡５１は、光軸が前方の決められたコンバージェンスポイント５７で交差するように配置されたほぼ同じ性能を有する２個のカメラ５５，５６を備えている。
２個のカメラ５５，５６で構成される立体カメラが形成した映像信号は、立体表示コントロールユニット５２に入力される。立体表示コントロールユニット５２は、画像処理装置と立体スケール像演算装置を内蔵する。立体表示コントロールユニット５２は、内蔵した画像処理装置により、立体カメラ５５，５６から入力された映像信号を立体液晶モニター５３に右目用と左目用に分離して表示させる。
【００６２】
立体液晶モニター５３は、右目用画像と左目用画像を交互に切り換え表示し、これと同期してオンオフする専用の立体メガネ（図示しない）で観察することにより、立体内視鏡５１で撮影した患部を立体的に観察することができる。
立体表示コントロールユニット５２は、内蔵する立体スケール像演算装置により、立体スケールの左目用と右目用の画像信号を形成して、内蔵する画像処理装置に供給する。画像処理装置で、立体スケール画像信号の左目用信号が左目用の立体カメラの映像信号と重畳され、右目用信号が右目用の立体カメラの映像信号に重畳されて、立体液晶モニター５３に送信され表示される。
こうして、立体液晶モニター５３に、患部の立体映像と立体スケール５８が立体的に表示される。
【００６３】
立体表示コントロールユニット５２には、人が操作する操作盤４４が付属していて、立体表示コントロールユニット５２に内蔵する立体スケール像演算装置を介して、術者あるいは補助者が、画像中の立体スケール５８の位置と姿勢を指定することができる。
したがって、立体映像中の患部の位置に立体スケール５８の像が重なるように調整すれば、立体スケール５８の目盛を読み取ることにより、患部の寸法を測定することができ、的確な診断および手術が可能になる。
【００６４】
なお、本明細書に記載の実施形態では、立体スケール像形成装置の適用先として、交差法配置された立体撮像装置を挙げているが、平行法配置の立体撮像装置においても、立体スケールの位置と姿勢を適宜に調整することができ、立体スケールの目盛を立体スケールの位置姿勢に適合する寸法に合わせることができ、さらに、立体スケールの表示位置に適合する位置に立体スケールテンプレートを配することにより、立体スケールの目盛合わせを行う立体スケール像形成装置を適用することができる。
なお、校正データマトリクスは、撮像装置の分解掃除、再調整、特性変化などがあれば、適宜に再校正して更新するものであることはいうまでもない。
【００６５】
立体スケール像形成装置の操作盤は、十字キーとシーソーキー、トラッキングボール、押しボタンスイッチなどで構成されているが、３次元の位置、更に高度には３次元の姿勢をも、指定できるのであれば、操縦桿やゲーム機のコントローラなど、適宜のスイッチ操作機と同じ機構を利用することができる。
【産業上の利用可能性】
【００６６】
本発明の立体スケール像形成装置を用いることにより、立体映像装置に表示される物体のサイズを立体的に測定することができるようになるので、特に立体内視鏡装置を用いた診断や手術などにおいて、有効である。
【符号の説明】
【００６７】
１ 第１の撮像装置
２ 第２の撮像装置
３ 画像処理装置
４ 立体画像表示装置
５ 立体スケール像演算装置
６ 操作盤
７ 対象物
８ コンバージェンスポイント
９ 撮像装置の主点を結ぶ基準線
１０ 対象物の像
１１ 立体スケール像
１２ 対象物（猫）
１３ 対象物（教会）
１４ 左目用の画像
１５ 右目用の画像
１６ 左目用の画像
１７ 右目用の画像
１８ コンバージェンス面
２０ 立体スケール像形成装置
２１ 基準立体スケール像
２２ 立体スケール像
２３ 立体スケール像
２９ 実体の立体スケールテンプレート
３０ 単位長の目盛
３１ 十字キー
３２ トラッキングボール
３３ シーソーキー
３４，３５ 押しボタンスイッチ
３６ 広角レンズ
３７ 理想の目盛
３８ 広角レンズで得られる目盛
３９ 歪みのない表示位置
４０ 広角レンズによる表示位置
４１ 校正データマトリクス
４２ 遠地点データ
４３ コンバージェンスポイントのデータ
４４ 近地点データ
５１ 立体内視鏡
５２ 立体表示コントロールユニット
５３ 立体液晶モニター
５４ 操作盤
５５，５６ 立体カメラ
５７ コンバージェンスポイント
５８ 立体スケール
【技術分野】
【０００１】
本発明は、立体撮像装置で取得する画像を表示する立体映像表示装置において、画像に表示された物体の実寸法を推定するために使用する立体スケール像を形成する装置に関する。
【背景技術】
【０００２】
近年、立体映像表示装置は著しく発達してきている。立体映像表示装置では、たとえば、左右一対の撮像手段を視差を持つように配置し、撮像された左右一対の画像をモニターに表示して立体視化する。立体視には、左右画像を時分割で交互に表示し、液晶シャッターを備えたメガネで左右画像を交互に観察する時間分割立体表示方式や、左右画像をそれぞれ偏光軸が直交する偏光フィルタを通した上で、同一面に重ねて偏光表示し、左右で偏光軸が直交する偏光フィルタメガネを用いて左右画像に分離する偏光フィルタ眼鏡方式など、各種の原理に基づく装置が利用されている。なお、裸眼で立体映像を観察することができる方法も開発されている。
【０００３】
映像の立体視化により、被写体に対する識別力が格段に向上する。この利点を使って、２次元画像では自動判定が難しかった侵入者の識別を試みた例が報告されている。また、特に立体内視鏡カメラが使用できれば、内蔵疾患の診断や手術を支援する上で大きな効果が期待される。
さらに、立体映像中の物体の寸法を簡単に知ることができれば、的確な診断や手術に大きく貢献することになる。
【０００４】
しかし、立体内視鏡カメラから得られる映像は、形状と配置、色が主な情報で、映し出される映像の大きさに関する情報は、直接に得ることはできず、表示映像内に映し込まれた予め寸法を知っている鉗子など比較対象物に基づいて得ることになる。しかし、比較対象物との位置関係は必ずしも正確に求めることができないので、映像中の対象物についての大きさや距離に関する情報は確実性がない。
【０００５】
立体カメラによる撮影方法には平行法と交叉法がある。特に立体内視鏡においては、立体視化する２台のカメラの間隔が小さいため、平行法による場合は視線交差角が小さくなって立体感に乏しくなる。一方、立体内視鏡を使う目的からすると、観察可能な領域が広く立体感が高いことが好ましい。そこで、立体内視鏡では、普通、交叉法を使った広角レンズにより撮像した映像を立体視化することで、視野を広げ、かつ奥行き方向の距離を大きく表示できるようにしている。
このような、交叉法により撮影した映像を対象として距離画像を生成する手法は、実現していない。また、立体映像表示装置において、立体表示された映像の距離や寸法を取得する簡便な手法は、未だ知られていない。
【０００６】
立体内視鏡装置を用いた診断あるいは手術においては、術者が、立体内視鏡カメラにより撮影して表示された立体映像に映し出された患部を立体的に観察して、たとえば、患部の形状や周囲の状況、色などを診断の重要な判断材料とする。しかし、患部の奥行き寸法を正確に推定する手段がなく、立体映像として奥行きを感じさせる立体映像は得られるものの、その寸法は、過去の経験に基づいて類推するしか方法がなかった。また、患部の大きさも、鉗子など一緒に映像に写し込まれた比較対象物により推定するしかないが、位置関係が明確でなく正確に推定することができなかった。
なお、このような事情は、立体内視鏡装置に限らず、一般に用いられる交差法立体カメラを使用した立体映像表示装置においても、同様に、映像中の事物の寸法を正確に求めることが難しい。
【０００７】
特許文献1には、計測用目盛発生回路により最適なサイズの計測用目盛をモニター上に描画するようにした立体撮像装置が記載されている。特許文献1に開示された計測用目盛発生回路は、平行法に従って配置された立体カメラを対象として、別途測定される被検物までの距離にしたがって映像の倍率を求め、倍率に対応する目盛を発生させる。
特許文献1に記載された立体撮像装置では、観察したい被検物を画像中心部に持ってくると、新しく提供された立体計測装置により被検物までの距離が自動的に測定され、測定された距離に従い被写体の撮影倍率に対応した計測用目盛が形成されて、形成された計測用目盛がモニター画面に自動的に表示されるようになっている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００７−１８７５９０号公報（特に、段落００２７、００３０等）
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかし、特許文献１記載の目盛表示は、平行法に従って配置された立体カメラを対象として、画像中心部に持ってきた被検物のみに目盛が合うので、別の被検物について寸法を知ろうとすると、その度にカメラを移動して被検物が画像中心部に来るようにして測定する必要がある。
そこで、本発明が解決しようとする課題は、立体カメラで撮影した立体映像の任意の位置に存在する対象物について、その奥行き（距離）、幅、高さなど長さに関する計測を容易にする立体スケールを形成して立体映像表示装置に表示させる立体スケール像形成装置を提供することである。
【００１０】
特に、立体内視鏡装置において、画像表示装置に映し出される対象物の立体的な大きさを数値的に表現するための立体スケールを形成表示する立体スケール像形成装置を提供することである。術者は、立体スケールを利用して対象物の実際の大きさを知って、診断あるいは手術を行うことができる。
【課題を解決するための手段】
【００１１】
上記課題を解決するため、第１の撮像装置と第２の撮像装置と、立体画像表示装置とを備えた立体映像表示装置における、本発明に係る立体スケール像形成装置は、第１の撮像装置と第２の撮像装置それぞれの映像の中に長さ目盛を付した立体スケールの画像を形成し、映像における立体スケールの位置と第１および第２の撮像装置の主点面との距離に従って、立体スケールの視線交差角と長さ目盛の大きさとを調整して立体画像表示装置に表示し、映像中の立体スケールを立体視させる立体スケール像形成装置と、表示された前記立体スケールの位置を前記映像中で移動させる操作端を設けた操作盤とを備えることを特徴とする。
【００１２】
立体映像表示装置に用いられる立体カメラは、画角等を使用用途に合わせたレンズを使用し、種類も多い。また、同じ品番の部品を使用しても光学的特性が微妙に異なることも多く、調整により光学的特性が変化する場合もある。さらに、立体カメラの特性や使用用途に合った調整(コンバージェンスなど)を行う必要がある。そのため使用レンズ、撮影条件ごとに基準を設定する必要がある。本発明の立体撮像装置における第１の撮像装置と第２の撮像装置は、交差法を用いて、互いに光軸が交差するように配置したものであってもよい。
本発明の１態様に係る立体スケール像形成装置は、交差法を用いた立体カメラの光軸交差角である輻輳角に対応した映像深度に、実物に対応する大きさを持った長さ目盛を備えた立体スケールを画像中に表示するので、撮像装置から同じ距離にある被写体の奥行き(距離または長さ)、水平方向の長さ（幅）、垂直方向の高さ(長さ)を知ることができる。
また、立体スケールは適宜の位置に表示することができ、立体スケールの表示位置と第１および第２の撮像装置の主点面との距離に従って目盛を調整することにより、適宜の位置に撮像された被写体に適用することができる立体スケールを表示することができるので、被写体の実際の大きさを容易に推定することができる。
【００１３】
さらに、看者は、操作盤を用いて、簡単に立体スケールの表示位置あるいは姿勢を調整することができる。看者は、対象とする被写体と立体スケールが表示された映像を観察しながら被写体の深度に立体スケールの深度を合わせて、表示された目盛を使って実物の大きさを測定する。操作盤には、直交座標系の３軸、あるいはさらに３個の回転軸を加えた６軸の運動を指定する操作端に加えて、１操作で直ちに基準位置に戻すことができる操作端を備えることが便利である。立体スケールの基準位置は、２つの撮影装置の光軸の交差点すなわちコンバージェンス点であることが好ましい。
【００１４】
立体カメラが映し出す映像にオーバーライドされる立体スケールのマンマシンインターフェースとしての操作盤は、簡便に操作できるものであることが好ましい。たとえば、術者の指示で補助者が簡単に操作したり、収録された立体映像を後日分析する場合に簡便に操作したりできることが要求される。特に、観察対象物の形状や向きがあらかじめ特定できないことを考慮し、本発明における操作盤は、ローカル座標系に基づく操作により各軸ごとに指定することにより、立体スケールの目盛を移動・回転させることができることが好ましい。また、用途によっては各軸同士を拘束して使用することが必要な場合があるので、対象とする軸を操作することで各軸が連動するように構成してもよい。
【００１５】
立体画像表示装置の画像に表示する立体スケールは、対象位置に設置した基準立体スケールを立体撮像装置で撮影して得られた映像に基づいて、目盛を実際の寸法と対比して校正したデータを集積して校正マトリックスとして記憶装置に記憶し、記憶された校正マトリックスに基づいて形成して表示することができる。
なお、位置や姿勢の変更に伴い、立体スケールの目盛の大きさを計算で求めることができる。一方、立体スケールの使われる領域について、その領域をカバーする点位置について、予め計算あるいは基準パターン実写像との対比により、目盛に振り直すことができるデータを形成しておいて、校正マトリックスとして記憶装置に格納しておくことができる。
目盛パターンを実写して、目盛パターンの実写像と立体スケール像の目盛とを対比させて較正する場合は、校正マトリックスを用いて、実態に沿った立体スケールを簡単に形成することができる。校正マトリックスの値をそのまま利用できないときは、内挿法あるいは外挿法を使用して補完することができる。
【発明の効果】
【００１６】
本発明に係る立体映像表示装置の立体スケール像形成装置が被写体の位置に立体スケールを生成するので、看者は、立体スケールを参照して立体映像に表された被写体の寸法を正確に計測することができる。
特に、立体内視鏡装置を用いて患部の観察や手術を行うときには、本発明に係る立体スケール像形成装置を用いることにより、術者が画像中に表示された患部などの寸法を簡単に知ることができるので便利である。
【図面の簡単な説明】
【００１７】
【図１】本発明の１つの実施形態に係る立体スケール像形成装置を用いた立体映像表示装置の構成図である。
【図２】人の目による立体視の原理を説明する概念図である。
【図３】立体画像表示装置の映像中における対象物の画像の表示位置を示す概念図である。
【図４】本実施形態に係る立体スケールの配置と立体カメラの視線との関係を示す概念図である。
【図５】本実施形態に係る立体スケールの位置と立体画像表示装置における表示位置の関係を説明する概念図である。
【図６】本実施形態に係る立体スケール像形成装置に用いる操作盤の１例を示す斜視図である。
【図７】本実施形態に係る立体スケールの各軸の移動状況を説明する概念図である。
【図８】本実施形態に係る基準立体スケールの作成方法の１例を示す概念図である。
【図９】本実施形態におけるレンズ系の幾何学歪みの補正方法を説明する概念図である。
【図１０】本実施形態におけるレンズ系の幾何学歪みの補正に使用する校正データマトリクスを示す概念図である。
【図１１】本実施形態に係る立体スケール像形成装置を立体内視鏡装置に適用した場合の例を示す立体映像表示装置の構成図である。
【発明を実施するための形態】
【００１８】
以下、本発明に係る立体映像表示装置の立体スケール像形成装置について、図面を参照しながら詳しく説明する。なお、図面においては、同じ機能を有する構成部材については同じ参照番号を付して説明を簡約にし、説明の重複を避けるようにした。
【００１９】
図１は、本発明の１つの実施形態に係る立体スケール像形成装置を用いた立体映像表示装置の構成図である。第１の撮像装置１と第２の撮像装置２は、ほぼ同じ性能を有するカメラで、固定の光軸間距離をおいて結合され、光軸が前方の決められたコンバージェンスポイント８で交差するように配置されている。また、コンバージェンスポイント８を通り、２つの撮像装置の主点同士を結ぶ直線９と２本の光軸を含む面に垂直な面をコンバージェンス面１８という。なお、対象物上の1点を見通す２個の撮像装置の視線が交差して形成される角度を視線交差角αという。また、コンバージェンスポイント８に対する視線交差角を特に輻輳角θとよぶ。
【００２０】
第１の撮像装置１と第２の撮像装置２が形成した映像信号は、画像処理装置３に入力される。画像処理装置３は、撮像装置１，２から入力された映像信号を立体画像表示装置４に右目用と左目用に分離して表示させる。図においては、第１の撮像装置１から供給される映像信号は左目で見る画像を表示するもの、第２の撮像装置２から供給される映像信号は右目で見る画像を表示するものである。
【００２１】
立体画像表示装置４は、右目用画像と左目用画像を交互に切り換え表示し、これと同期してオンオフする液晶シャッタメガネなど図示しない専用の立体メガネで観察する時間分割立体表示方式の立体画像表示装置であれば、色彩の再現性も確保できるので好ましい。また、左右の画像を偏光軸が直交する偏光フィルタを通してプロジェクタ投射したりして同一画面に重ねて表示し、偏光フィルタ眼鏡で左目用画像と右目用画像に分離する偏光フィルタ眼鏡方式や、立体画像表示装置と立体メガネの機能を共に備えたオーバーヘッドディスプレイ（ＯＨＤ）などを使うこともできる。
なお、特に、術者が患部の観察や手術を行うために使用する立体映像表示装置では、患部の色彩も重要な情報であるため、立体視のために映像の色彩が変化する方式は好ましくない。
【００２２】
立体スケール像演算装置５は、立体スケールの左目用と右目用の画像信号を形成して、画像処理装置４に供給する。画像処理装置４で、立体スケール画像信号の左目用信号が第１の撮像装置１の映像信号と重畳され、右目用信号が第２の撮像装置２の映像信号に重畳されて、立体画像表示装置４に送信され表示される。
こうして、立体画像表示装置４に、対象とする物体７の立体映像１０と立体スケール１１が表示され、立体メガネを装着して観察するとこれらの映像を立体視することができる。
【００２３】
立体スケール像演算装置５には、人が操作する操作盤６が付属して、画像中の立体スケール１１の位置と姿勢を指定することができる。立体スケール像形成装置２０は、立体スケール像演算装置５と操作盤６により、構成される。操作盤６を用いて、対象物７の立体映像１０の位置に立体スケール１１の像が重なるように調整すれば、立体スケール１１の目盛を読み取ることにより、対象物７の寸法を測定することができる。
なお、対象物の映像１０において垂直や水平の方向でない斜行した方向について寸法を知りたいときには、操作盤６により立体スケール１１を適宜の軸について回転させて目盛を測定方向に沿うようにさせることにより、直接対象物の映像１０に当てて寸法を測定できるようにすればよい。
【００２４】
図２は、人の目による立体視の原理を説明する概念図である。図は、立体カメラで距離の異なる対象物を観察する場合を示している。図３は、立体画像表示装置４の映像中における対象物画像の表示位置を示す概念図である。右目で見る画像を実線で、左目で見る画像を点線で囲んで示している。
人の左目に擬せられる第１の撮像装置１と、右目に擬せられる第２の撮像装置２は、交差法を使って立体視を可能とする。
【００２５】
図２において、撮像装置の光軸が交差するコンバージェンスポイント８より撮像装置に近い位置に存在する対象物（猫）１２は、第１の撮像装置１で生成された左目用の画像１４が、図３に点線で示すように立体画像表示装置４の中心より右側に表示され、第２の撮像装置２で生成された右目用の画像１５が、実線で示すように立体画像表示装置４の中心より左側に表示される。これらの画像を立体メガネにより立体視することにより、対象物１２は、立体画像表示装置４の映像中に実際の空間における対象物１２の位置にあるように観察される。
【００２６】
一方、コンバージェンスポイント８より遠方にある対象物（教会）１３は、近い位置にある対象物１２とは逆に、左目用の画像１６が点線で示されるように立体画像表示装置４の中心より左側に表示され、右目用の画像１７が実線で示されるように立体画像表示装置４の中心より右側に表示されて、立体視することにより、２つの撮像装置の画像を見る視線の交点となる、実際の空間における対象物１３の位置にあるように観察される。
【００２７】
このように、撮像装置１，２と対象物との距離がコンバージェンス面より近い場合は、立体画像表示装置４に表示される左目用画像１４が右目用画像１５より右に表示され、撮像装置１，２と対象物との距離がコンバージェンス面より遠い場合は、立体画像表示装置４に表示される左目用画像１６が右目用画像１７より左に表示される。さらに、対象物が近いほど視線交差角αが大きく、遠いほど視線交差角αが小さくなり、対象物の画像の大きさは距離に反比例する。
【００２８】
立体スケールについても、映像空間内の立体スケールの位置に対応して同じことが言える。すなわち、立体画像表示装置４において立体スケール１１を立体視する場合の立体スケール像の配置位置までの距離は、左目用画像と右目用画像の左右配置と視線交差角αを決めることにより確定されることになる。なお、視線交差角αは、立体スケール中のある１点を見通す時の第１の撮像装置１の視線と第２の撮像装置２の視線が交差する角であるため、立体画像表示装置４において、コンバージェンス面に投影された左目用画像と右目用画像の間の距離に関係する量となる。
【００２９】
図４は、本実施形態に係る立体スケールの配置と立体カメラの視線との関係を示す概念図、図５は、本実施形態に係る立体スケールの位置と立体画像表示装置における表示位置の関係を説明する概念図である。
図４は、立体画像表示装置に表示する立体スケールを立体的に表示した概念図である。図４では、立体スケールの中心に原点を置くローカル座標系について、水平軸をＸ軸、奥行き方向の軸をＹ軸、垂直軸をＺ軸として表現し、位置の異なる立体スケール相互間の関係、特に奥行き関係を明確に示すようにした。このため、図４では、立体スケール２１，２２，２３は、撮像装置の中間点とコンバージェンスポイント８を結ぶ絶対座標系のＹ軸上に置かれている。
【００３０】
図４に示すように、第１の撮像装置１の光軸と第２の撮像装置２の光軸が交わって形成するコンバージェンスポイント８の位置に、２つの光軸を含む面に垂直なコンバージェンス面１８が存在する。このコンバージェンス面１８に基準立体スケール２１が形成される。基準立体スケール２１は、光軸の交差角と同じ輻輳角θ（α０）を有する。基準立体スケール２１の目盛は、実寸、あるいは決まった縮尺で表示される。ここで、第１の撮像装置１と第２の撮像装置２のたとえば主点同士を結ぶ基準線９からコンバージェンス面１８までの距離をＤｃとする。
なお、立体スケールは、方眼を形成した面や、図４に示すような目盛棒を直交させた十字など、適宜のものであっても良い。
【００３１】
立体スケール２２は、コンバージェンス面１８より立体カメラに近い位置に配置されたときの立体スケールである。ここで、第１の撮像装置１と第２の撮像装置２を結ぶ基準線９から立体スケール２２までの距離をＤｓとすると、立体スケール２２の目盛の大きさは、基準立体スケール２１の目盛のＤｃ／Ｄｓ倍になる。
なお、基準線９から立体スケール２２までの距離は、先に述べた通り、立体画像表示装置４において、立体スケール２２の左目用画像と右目用画像の左右配置関係と視線交差角α１、あるいは、コンバージェンス面１８に投影された左目用画像と右目用画像の間の距離Ｌ１に関係する量として、算出することができる。
【００３２】
また、立体スケール２３は、コンバージェンス面１８より立体カメラから遠い位置に配置されたときの立体スケールである。ここで、第１の撮像装置１と第２の撮像装置２を結ぶ基準線９から立体スケール２３までの距離をＤｌとすると、立体スケール２３の目盛の大きさは、基準立体スケール２１の目盛のＤｃ／Ｄｌ倍になる。
なお、基準線９から立体スケール２３までの距離は、立体画像表示装置４において、立体スケール２３の左目用画像と右目用画像の左右配置関係と視線交差角α２、あるいは、コンバージェンス面１８に投影された左目用画像と右目用画像の間の距離Ｌ２に関係する量として、算出することができる。
【００３３】
図５には、図４に示した立体スケール２１，２２，２３について、立体画像表示装置４における、左目用画像Ｌの表示位置と表示画像、右目用画像Ｒの表示位置と表示画像とを示している。図には、画面の中央位置が一点鎖線で示されており、画面の中央位置と立体スケールの中心位置との距離が示されている。
【００３４】
図５（ａ）は、立体カメラに最も近い立体スケール２２について示す立体画像表示装置４の表示画面である。左側の図面が立体スケール２２の左目用画像が表示された立体画像表示装置４の表示部を表し、右側の図面が立体スケール２２の右目用画像が表示された表示部を表す。
立体スケール２２は立体画像表示装置４の画像中央に立体表示されるにもかかわらず、左目用画像は右側に偏倚しており、右目用画像は左側に偏倚している。片目用画像の偏倚量はそれぞれＬ１／２で、両者の隔たりはＬ１になる。立体スケール２２の目盛の大きさは、基準立体スケール２１の目盛に対して、Ｄｃ／Ｄｓ倍になっている。
【００３５】
図５（ｂ）は、コンバージェンス面に形成される基準立体スケール２１について示す立体画像表示装置４の表示画面である。左側の図面が左目用画像を表示した立体画像表示装置４の表示部を表し、右側の図面が右目用画像を表示した表示部を表す。
基準立体スケール２１は、左目用画像と右目用画像のいずれも画面中央位置に表されて、標準立体スケール２１の画像の中心位置の偏倚はない。基準立体スケール２１の目盛の大きさは、実体の立体スケールテンプレートと対照させて校正された値になっている。
【００３６】
図５（ｃ）は、コンバージェンス面より遠い立体スケール２３について示す立体画像表示装置４の表示画面である。左側の図面が立体スケール２３の左目用画像が表示された立体画像表示装置４の表示部を表し、右側の図面が立体スケール２３の右目用画像が表示された表示部を表す。
立体スケール２３は立体画像表示装置４の画像中央に表示されるにもかかわらず、左目用画像は左側に偏倚しており、右目用画像は右側に偏倚している。片目用画像の偏倚量はそれぞれＬ２／２で、両者の隔たりはＬ２になる。立体スケール２３の目盛の大きさは、基準立体スケール２１の目盛に対して、Ｄｃ／Ｄｌ倍になっている。
【００３７】
立体スケールは、看者がたとえば操作盤を通じて指示する表示位置にしたがって、立体スケールの形状と大きさ、および表示位置を決め、これに適合する立体スケールの左目用画像と右目用画像を生成し、立体画像表示装置４に表示させる。
図６は、本実施形態の立体画像表示装置に係る立体スケール像形成装置に用いる操作盤６の１例を示す斜視図である。
【００３８】
図６に示すように、操作盤６には、２方向にスイングする十字キー３１と、トラッキングボール３２と、前後方向にスイングするシーソーキー３３と、２個の押しボタンスイッチ３４，３５とが設けられている。
十字キー３１は、Ｘ軸方向とＺ軸方向の移動を指示するスイッチである。十字キー３１の横方向の腕はＸ軸方向の制御を行い、腕の右側を押し込めば、立体スケールは横方向右側（Ｘ軸正方向）に移動し、左側を押し込めば立体スケールは横方向左側（Ｘ軸負方向）に移動する。また、縦方向の腕はＺ軸方向の制御を行い、腕の上側を押し込めば、立体スケールは上の方向（Ｚ軸正方向）に移動し、下側を押し込めば、下の方向（Ｚ軸負方向）に移動する。なお、十字キー３１は、長押しにより上の通り決められた方向に高速移動するように構成しても良い。
【００３９】
シーソーキー３３は、Ｙ軸方向の移動を指示するスイッチである。シーソーキー３３は、操作盤６の側面に設けられ、シーソーキー３３の向側の端部を押し込めば立体スケールが遠方に（Ｙ軸負方向に）表示されるようになり、手前側の端部を押し込めば立体スケールが手前に近づくようになる（Ｙ軸正方向に移動する）。シーソーキー３３は押し込み深さによって立体スケールの運動方向と速度を指定するものであっても良い。
【００４０】
操作盤６は、十字キー３１とシーソーキー３３により、立体スケールの中心位置を映像中の任意の位置に決めることができる。立体スケールの目盛は、Ｙ軸方向の座標に基づいて大きさが決められる。したがって、映像中の任意の対象物について、操作盤６の十字キー３１とシーソーキー３３を操作して、立体スケールの表示位置が対象物の位置に来るように調整することにより、対象物の位置における実寸測定を行うことができる。
【００４１】
ただし、十字キー３１とシーソーキー３３だけでは、立体スケールは平行移動するだけなので、対象物について測定したい方向が鉛直方向や水平方向でないときは、立体スケールを対象物の像の寸法を知りたい向きに当てて直接に寸法を知ることができない。
トラックボール３２は、３軸回転方向の運動を指示する操作端で、トラックボールの垂直軸周りの回転に立体スケールのＺ軸周りのヨー運動、左右方向の回転にＹ軸周りのピッチ運動、前後方向の回転にＸ軸周りのロール運動をそれぞれ割り当てて、立体スケールの回転運動を制御できるようになっている。
【００４２】
たとえば、立体スケールを映像画面中で右に傾けたいときは、トラックボール３２を右に回せばよい。立体スケールをＺ軸周りに回転させたいときは、トラックボール３２を水平面内で回転させればよい。さらに、立体スケールを手前に傾けたいときは、トラックボール３２を手前に回せばよい。いずれも、トラックボールの運動方向と、立体スケールの運動方向が直感的な関係を有するので、操作する人が立体スケールを制御するときに迷うことがない。
このように、トラックボール３２を操作端として追加すれば、立体スケールの回転を含めた６軸を簡単に制御することができるようになる。
【００４３】
図７は、本実施形態に係る立体スケールの各軸の移動状況を説明する概念図で、十字キー３１とシーソーキー３３とトラックボール３２を操作端として、立体スケールの位置や姿勢を調整する関係を示す。
十字キー３１により、立体スケールのＸ軸方向の平行移動とＺ軸方向の平行移動を制御する。また、シーソーキー３３により、立体スケールのＹ軸方向の平行移動を制御する。
【００４４】
また、トラックボール３２により、立体スケールの回転を制御する。トラックボール３２が支配する回転運動は、Ｚ軸周りのヨー運動、Ｙ軸周りのピッチ運動、Ｘ軸周りのロール運動の、３軸の回転運動である。
このように、立体スケールは、６軸の自由度を持っていて、それぞれが単独に変化することができるが、変化した立体スケールは、その位置に応じた目盛を持っていなければならない。すなわち、Ｙ軸方向に移動した場合は、撮像装置の基準線９から立体スケールまでの距離Ｄｙが変化するので、基準線からの距離Ｄｃの位置にある基準立体スケール２１の目盛を基準として、そのＤｃ／Ｄｙ倍の大きさの目盛を備えるようにしなければならない。
【００４５】
なお、６自由度の装置は制御が容易でないので、むしろ拘束をして自由度を減少させることにより、制御の簡易化を図ることができる。本実施形態の操作盤６では、Ｘ軸とロール軸、Ｙ軸とピッチ軸、Ｚ軸とヨー軸の２軸毎にグループ化して、同時にはそれぞれ組み合わされた２軸のみが操作できるようにするモードを採用している。なお、Ｘ，Ｙ，Ｚの３軸の内のいずれか一つの操作を選んだときに、ロール軸、ピッチ軸、ヨー軸を同時に操作できるモードも準備することができる。操作盤６の押しボタンスイッチ３４は、これら軸拘束機能の作動と解除を選択するスイッチである。これら軸拘束機能を備えることにより、更に一段の操作性向上が可能になった。
【００４６】
撮影における映像の拡大縮小や、対象の切り換えなどがあると、対象物に沿わせて表示した立体スケールの位置や目盛の大きさを急速に変更する必要がある。こうした場合に、トラックボール３２やシーソーキー３３などの操作端を操作して追従することが困難である場合がある。このため、操作盤６には、基準立体スケール２１の位置に直接回帰する指示をだせるリセットキーとして押しボタンスイッチ３５が用意されている。リセットキーを押すことで、立体スケールが一挙に基準位置における基準立体スケールに変化する。
このリセットキーが使えるため、映像が変化するときや映像中の測定対象を変更するときにおける立体スケールの追従性が向上する。
【００４７】
図８は、本実施形態に係る基準立体スケールの作成方法の１例を示す概念図である。
立体画像表示装置４に表示する立体スケールの目盛の大きさは、コンバージェンス面１８を基準として光学的配置関係に基づく演算により求めることができる。しかし、部品の光学性能のばらつきや、組立誤差、あるいは光学調整や使用による変動などにより、光学パラメータが設計値と異なる場合には、演算により得た立体スケールの目盛は信頼性が低下する。
これに対して、図８に示すように、実体の立体スケールテンプレートに基づいて、映像中に表示する立体スケールの目盛を校正する方法を用いることができる。
【００４８】
図４に示したコンバージェンス面１８に対応して生成される基準立体スケール２１においては、原寸大の目盛が記載された実体を有する立体スケールテンプレート２９を立体カメラのコンバージェンス面１８に置いて第１の撮像装置１と第２の撮像装置２で撮影し、立体画像表示装置４に表示した画像中の基準立体スケール２１の像と実体の立体スケールテンプレート２９の像を近接させ、基準立体スケール２１の像を伸縮して目盛を実体の立体スケールテンプレート２９に刻まれた単位長の目盛３０と合わせることにより目盛合わせを行うことができる。
【００４９】
なお、コンバージェンス面１８を規定するコンバージェンスポイント８は、光学系により定まる点であって、幾何的な配置から容易に決めることができる。たとえば、実体の立体スケールテンプレートを２つの撮像装置で撮影して立体画像表示装置４に表示したときに、裸眼で観察して立体スケールの左目用画像と右目用画像が重なる位置がコンバージェンス面１８に当たるので、比較的簡単に正確な位置を定めることができる。
【００５０】
基準立体スケール２１はコンバージェンス面１８に配置されるので、立体画像表示装置４に表示された左目用画像の中心位置と右目用画像の中心位置は、一致してずれがない。
なお、画像処理技術を用いて自動的に実体の立体スケールテンプレート２９の目盛を検出して大きさを算定し、目盛合わせに使うこともできる。
さらに、実体の立体スケールテンプレート２９の単位長目盛３０の寸法と、第１の撮像装置１と第２の撮像装置２のたとえば主点同士を結ぶ基準線９からコンバージェンス面１８までの距離Ｄｃを検出してシステムに記録し、その後にそれらのデータを使用して基準立体スケール２１の像を形成するようにしてもよい。
【００５１】
つぎに、コンバージェンス面１８より近い位置にある対象物について適用する立体スケール２２を形成する場合は、対象物の位置に実体の立体スケールテンプレートを置いて、第１の撮像装置１と第２の撮像装置２で撮影し、立体画像表示装置４に表示した画像中の立体スケール２２の像を伸縮して目盛を実体の立体スケールテンプレート２９に刻まれた単位長の目盛３０と合わせることにより目盛合わせを行う。
なお、第１の撮像装置１と第２の撮像装置２を結ぶ基準線９から対象物の位置までの距離Ｄｓに基づいて目盛の大きさを決めた立体スケールの像を形成し、対象物の像の位置に立体表示するようにしてもよい。目盛の大きさは、基準立体スケール２１の目盛に対して、Ｄｃ／Ｄｓ倍になる。
【００５２】
また、コンバージェンス面１８より遠い位置にある対象物について適用する立体スケール２３を形成する場合も同様に、対象物の位置に実体の立体スケールテンプレートを置いて、第１の撮像装置１と第２の撮像装置２で撮影し、立体画像表示装置４に表示した画像中の立体スケール２３の像を伸縮して目盛を実体の立体スケールテンプレート２９に刻まれた単位長の目盛３０と合わせることにより目盛合わせを行う。
なお、第１の撮像装置１と第２の撮像装置２を結ぶ基準線９から対象物の位置までの距離Ｄｌに基づいて、基準立体スケール２１の目盛のＤｃ／Ｄｌ倍の大きさの目盛を持った立体スケールの像を、対象物の像の位置に立体表示するようにしてもよい。
【００５３】
このように、コンバージェンス面以外に配置される立体スケールについては、コンバージェンス面に配置された立体スケールの目盛に係るデータを利用することにより、実体の立体スケールテンプレートを用いず、幾何学的な配置関係に基づいて演算によって決めることもできる。
一旦各位置における目盛の校正を行った後では、そのデータを校正データマトリクスとしてシステムのメモリに格納しておいて、測定の必要に応じて校正データマトリクスのデータを選択して立体スケールを表示すればよい。校正を行っていない位置に関する立体スケールは、校正を行った位置のデータを使って内挿法または外挿法により適切な立体スケールを形成して表示すればよい。
【００５４】
図９は、本実施形態におけるレンズ系の幾何学歪みの補正方法を説明する概念図である。光学系が理想的な薄レンズで構成されている場合は、立体スケールの目盛は正方形の格子で形成すれば済む。しかし、立体内視鏡などでは、視野範囲を広くする目的で広角レンズを使用するため、図９に示すように、広角レンズ３６の中心を通る光路と広角レンズ３６の周辺を通る光路の間に、光路差が生じる。この光路差が画像歪みを引き起こす。
【００５５】
理想的なレンズを用いれば、実体の立体スケールテンプレートの像が平坦なスクリーン３９に歪みのない格子からなる理想の目盛３７を表示するが、広角レンズを使用するときは、光路差のために、歪みを有する目盛３８を形成する。歪みを有する目盛３８を較正して歪みを持たない目盛３７とするためには、歪んだスクリーン４０を形成する必要がある。
本実施形態における立体スケールは、特に立体内視鏡装置に適用するため、歪んだスクリーンを使わずに、歪みのある立体映像の中に、歪みに適合する立体スケールを形成することで対処することができる。
【００５６】
図１０は、本実施形態におけるレンズ系の幾何学歪みの補正に使用する校正データマトリクスを示す概念図で、光学系歪みがある場合に形成する校正データマトリクスの概念を説明する。
校正データマトリクスは、Ｙ座標上の平面における目盛の大きさについての数値情報によりマトリクスを構成したもので、このマトリクス上に立体スケールの各軸目盛の情報が存在する。したがって、任意の座標位置における立体スケールが、校正データマトリクスに集積された情報を用いることで形成することができる。たとえば、立体スケールの回転に対しても、校正データマトリクス上からスケール作成情報を取得して、斜行する腕に刻む目盛の大きさを確定することができる。また、必要な情報がない位置についても、内挿法あるいは外挿法などにより、欲しい情報を形成することができる。
【００５７】
システムを構成する時点で、光学系歪みがあると判明している場合は、光学系歪みを前提として立体スケールの目盛を実体目盛に対応させるための光学系歪み補正用の校正データマトリクスを作成して、立体スケールの形成に利用すればよい。
光学系歪み補正用の校正データマトリクス４１は、実体の立体スケールテンプレートを適宜の位置に配置して、立体カメラ（第１の撮像装置と第２の撮像装置）で取得する立体画像信号に基づいて形成する。不足のデータは、内挿法や外挿法により補填することができる。校正データマトリクス４１は、立体スケール像演算装置に内蔵もしくは付属する記憶装置に格納することが好ましい。
【００５８】
たとえば、コンバージェンス面に対応して生成される基準立体スケール４３においては、原寸大の目盛を持つ実体の立体スケールテンプレートを立体カメラのコンバージェンス面に置いて第１の撮像装置と第２の撮像装置で撮影し、立体画像表示装置に表示した画像中の実体の立体スケールテンプレートの像を基準として、基準立体スケール４３の像を伸縮して目盛を実体の立体スケールテンプレートの目盛と合わせることにより目盛合わせを行う。こうして得られたスケール像を、校正データマトリクスを構成するデータとしてメモリに記憶させる。実際には、目盛板の格子点における座標を使うことができる。
【００５９】
遠地点における立体スケール４２についても、同様に実体の立体スケールテンプレートを遠地点の立体スケール４２の位置に置いて、画像中の実体の立体スケールテンプレート像と比較しながら遠地点の立体スケール４２の目盛調整を行う。得られた目盛のデータを、校正データマトリクス４１を構成するデータとして記憶させる。
さらに、近地点における立体スケール４４について、同様にして目盛のデータを形成しする。近地点における立体スケール４４では、広角レンズの影響で光学系歪みが現れるため、特に枠の周辺部分における格子がゆがむ現象が見られる。こうした実態を反映した測定データを、校正データマトリクス４１を構成するデータとして記憶させる。
【００６０】
校正データマトリクス４１を形成するためのデータ数は、立体スケールに要求される精度と構成における作業量を勘案して決める。実測しなかった領域では、実測で得たデータについて内挿法あるいは外挿法を用いてデータを補充することができる。
こうして得られた校正データマトリクス４１に、立体スケールの各軸方向の目盛の情報が存在する。立体スケールの６軸を変更したときにも、立体スケールの位置と姿勢に基づき、この校正データマトリクス４１のデータを用いて、寸法測定に対して適正な目盛を有する立体スケールを形成することができる。
なお、校正データマトリクス４１は、光学系歪みがない場合についても同様に作成して利用することにより、立体スケールの形成における効率を向上させることができる。
【００６１】
図１１は、本実施形態に係る立体スケール像形成装置を立体内視鏡装置に適用した場合の例を示す立体映像表示装置の構成図である。
立体内視鏡５１は、光軸が前方の決められたコンバージェンスポイント５７で交差するように配置されたほぼ同じ性能を有する２個のカメラ５５，５６を備えている。
２個のカメラ５５，５６で構成される立体カメラが形成した映像信号は、立体表示コントロールユニット５２に入力される。立体表示コントロールユニット５２は、画像処理装置と立体スケール像演算装置を内蔵する。立体表示コントロールユニット５２は、内蔵した画像処理装置により、立体カメラ５５，５６から入力された映像信号を立体液晶モニター５３に右目用と左目用に分離して表示させる。
【００６２】
立体液晶モニター５３は、右目用画像と左目用画像を交互に切り換え表示し、これと同期してオンオフする専用の立体メガネ（図示しない）で観察することにより、立体内視鏡５１で撮影した患部を立体的に観察することができる。
立体表示コントロールユニット５２は、内蔵する立体スケール像演算装置により、立体スケールの左目用と右目用の画像信号を形成して、内蔵する画像処理装置に供給する。画像処理装置で、立体スケール画像信号の左目用信号が左目用の立体カメラの映像信号と重畳され、右目用信号が右目用の立体カメラの映像信号に重畳されて、立体液晶モニター５３に送信され表示される。
こうして、立体液晶モニター５３に、患部の立体映像と立体スケール５８が立体的に表示される。
【００６３】
立体表示コントロールユニット５２には、人が操作する操作盤４４が付属していて、立体表示コントロールユニット５２に内蔵する立体スケール像演算装置を介して、術者あるいは補助者が、画像中の立体スケール５８の位置と姿勢を指定することができる。
したがって、立体映像中の患部の位置に立体スケール５８の像が重なるように調整すれば、立体スケール５８の目盛を読み取ることにより、患部の寸法を測定することができ、的確な診断および手術が可能になる。
【００６４】
なお、本明細書に記載の実施形態では、立体スケール像形成装置の適用先として、交差法配置された立体撮像装置を挙げているが、平行法配置の立体撮像装置においても、立体スケールの位置と姿勢を適宜に調整することができ、立体スケールの目盛を立体スケールの位置姿勢に適合する寸法に合わせることができ、さらに、立体スケールの表示位置に適合する位置に立体スケールテンプレートを配することにより、立体スケールの目盛合わせを行う立体スケール像形成装置を適用することができる。
なお、校正データマトリクスは、撮像装置の分解掃除、再調整、特性変化などがあれば、適宜に再校正して更新するものであることはいうまでもない。
【００６５】
立体スケール像形成装置の操作盤は、十字キーとシーソーキー、トラッキングボール、押しボタンスイッチなどで構成されているが、３次元の位置、更に高度には３次元の姿勢をも、指定できるのであれば、操縦桿やゲーム機のコントローラなど、適宜のスイッチ操作機と同じ機構を利用することができる。
【産業上の利用可能性】
【００６６】
本発明の立体スケール像形成装置を用いることにより、立体映像装置に表示される物体のサイズを立体的に測定することができるようになるので、特に立体内視鏡装置を用いた診断や手術などにおいて、有効である。
【符号の説明】
【００６７】
１ 第１の撮像装置
２ 第２の撮像装置
３ 画像処理装置
４ 立体画像表示装置
５ 立体スケール像演算装置
６ 操作盤
７ 対象物
８ コンバージェンスポイント
９ 撮像装置の主点を結ぶ基準線
１０ 対象物の像
１１ 立体スケール像
１２ 対象物（猫）
１３ 対象物（教会）
１４ 左目用の画像
１５ 右目用の画像
１６ 左目用の画像
１７ 右目用の画像
１８ コンバージェンス面
２０ 立体スケール像形成装置
２１ 基準立体スケール像
２２ 立体スケール像
２３ 立体スケール像
２９ 実体の立体スケールテンプレート
３０ 単位長の目盛
３１ 十字キー
３２ トラッキングボール
３３ シーソーキー
３４，３５ 押しボタンスイッチ
３６ 広角レンズ
３７ 理想の目盛
３８ 広角レンズで得られる目盛
３９ 歪みのない表示位置
４０ 広角レンズによる表示位置
４１ 校正データマトリクス
４２ 遠地点データ
４３ コンバージェンスポイントのデータ
４４ 近地点データ
５１ 立体内視鏡
５２ 立体表示コントロールユニット
５３ 立体液晶モニター
５４ 操作盤
５５，５６ 立体カメラ
５７ コンバージェンスポイント
５８ 立体スケール
【特許請求の範囲】
【請求項１】
第１の撮像装置と第２の撮像装置と、立体画像処理装置と、画像表示装置とを備えた立体映像表示装置において、前記第１の撮像装置と前記第２の撮像装置それぞれの映像の中に長さ目盛を付した立体スケールの画像を形成し、前記立体スケールの視線交差角と前記長さ目盛の大きさとを該立体スケールの位置に合わせて調整して前記画像表示装置に表示し、前記立体スケールを立体視させる立体スケール像演算装置と、表示される前記立体スケールの位置を前記映像中で移動させる操作端を設けた操作盤とを備える、立体映像表示装置の立体スケール像形成装置。
【請求項２】
前記立体スケールの目盛は、前記立体スケールの表示位置と前記第１および第２の撮像装置の主点面との実体上の距離に従って、大きさを調整する、請求項１記載の立体映像表示装置の立体スケール像形成装置。
【請求項３】
前記立体スケールの画像は、寸法の一定したパターンを前記立体スケールの表示位置に配置して撮影した実写画像と対比して立体スケールの目盛の大きさを較正したデータを集積して形成した校正データマトリクスに基づいて形成した、請求項１記載の立体映像表示装置の立体スケール像形成装置。
【請求項４】
前記第１の撮像装置と第２の撮像装置は互いに光軸が交差するように配置され、前記立体スケールの画像は、前記第１および第２の撮像装置の光軸の交差点を含み該光軸に挟まれた角を２分する線に垂直なコンバージェンス面に、該立体スケールの右目用画像と左目用画像を投影したときの距離差を基準として、大きさを調整する、請求項１記載の立体映像表示装置の立体スケール像形成装置。
【請求項５】
前記操作盤は、映像中の該立体スケールの位置を前記光軸の交差点の位置に移動させる操作端を備える、請求項４記載の立体映像表示装置の立体スケール像形成装置。
【請求項６】
前記操作盤は、映像中の該立体スケールの姿勢を調整する操作端を備える、請求項１から５のいずれか一項に記載の立体映像表示装置の立体スケール像形成装置。
【請求項７】
前記操作盤は、映像中の該立体スケールの位置を直交座標系のＸ軸方向、Ｙ軸方向、Ｚ軸方向に独立に移動させる操作端と、映像中の該立体スケールの回転をロール軸、ピッチ軸、ヨー軸の周りに独立に調整して該立体スケールの姿勢を調整する操作端とを備え、前記立体スケール像形成装置は、ロール軸とピッチ軸とヨー軸の各軸をそれぞれ直交座標系の１軸と組み合わせて、同時にはそれぞれ組み合わされた２軸のみが操作できるようにするモードを有し、前記操作盤が該モードの指定と解除を行う操作端を備える、請求項１から４のいずれか一項に記載の立体映像表示装置の立体スケール像形成装置。
【請求項８】
立体スケールの目盛を実体目盛に対応させる数値情報を集積した校正データマトリクスを記憶装置に格納して、前記立体スケールの位置と姿勢に従って得た該校正データマトリックスの数値情報に基づいて立体スケールの画像を形成し、前記画像表示装置に表示する、請求項１から７のいずれか一項に記載の立体映像表示装置の立体スケール像形成装置。
【請求項９】
前記第１の撮像装置と第２の撮像装置は、立体内視鏡のカメラである、請求項１から８のいずれか一項に記載の立体映像表示装置の立体スケール像形成装置。
【請求項１０】
請求項９記載の立体映像表示装置の立体スケール像形成装置を備えた立体内視鏡装置。
【請求項１】
第１の撮像装置と第２の撮像装置と、立体画像処理装置と、画像表示装置とを備えた立体映像表示装置において、前記第１の撮像装置と前記第２の撮像装置それぞれの映像の中に長さ目盛を付した立体スケールの画像を形成し、前記立体スケールの視線交差角と前記長さ目盛の大きさとを該立体スケールの位置に合わせて調整して前記画像表示装置に表示し、前記立体スケールを立体視させる立体スケール像演算装置と、表示される前記立体スケールの位置を前記映像中で移動させる操作端を設けた操作盤とを備える、立体映像表示装置の立体スケール像形成装置。
【請求項２】
前記立体スケールの目盛は、前記立体スケールの表示位置と前記第１および第２の撮像装置の主点面との実体上の距離に従って、大きさを調整する、請求項１記載の立体映像表示装置の立体スケール像形成装置。
【請求項３】
前記立体スケールの画像は、寸法の一定したパターンを前記立体スケールの表示位置に配置して撮影した実写画像と対比して立体スケールの目盛の大きさを較正したデータを集積して形成した校正データマトリクスに基づいて形成した、請求項１記載の立体映像表示装置の立体スケール像形成装置。
【請求項４】
前記第１の撮像装置と第２の撮像装置は互いに光軸が交差するように配置され、前記立体スケールの画像は、前記第１および第２の撮像装置の光軸の交差点を含み該光軸に挟まれた角を２分する線に垂直なコンバージェンス面に、該立体スケールの右目用画像と左目用画像を投影したときの距離差を基準として、大きさを調整する、請求項１記載の立体映像表示装置の立体スケール像形成装置。
【請求項５】
前記操作盤は、映像中の該立体スケールの位置を前記光軸の交差点の位置に移動させる操作端を備える、請求項４記載の立体映像表示装置の立体スケール像形成装置。
【請求項６】
前記操作盤は、映像中の該立体スケールの姿勢を調整する操作端を備える、請求項１から５のいずれか一項に記載の立体映像表示装置の立体スケール像形成装置。
【請求項７】
前記操作盤は、映像中の該立体スケールの位置を直交座標系のＸ軸方向、Ｙ軸方向、Ｚ軸方向に独立に移動させる操作端と、映像中の該立体スケールの回転をロール軸、ピッチ軸、ヨー軸の周りに独立に調整して該立体スケールの姿勢を調整する操作端とを備え、前記立体スケール像形成装置は、ロール軸とピッチ軸とヨー軸の各軸をそれぞれ直交座標系の１軸と組み合わせて、同時にはそれぞれ組み合わされた２軸のみが操作できるようにするモードを有し、前記操作盤が該モードの指定と解除を行う操作端を備える、請求項１から４のいずれか一項に記載の立体映像表示装置の立体スケール像形成装置。
【請求項８】
立体スケールの目盛を実体目盛に対応させる数値情報を集積した校正データマトリクスを記憶装置に格納して、前記立体スケールの位置と姿勢に従って得た該校正データマトリックスの数値情報に基づいて立体スケールの画像を形成し、前記画像表示装置に表示する、請求項１から７のいずれか一項に記載の立体映像表示装置の立体スケール像形成装置。
【請求項９】
前記第１の撮像装置と第２の撮像装置は、立体内視鏡のカメラである、請求項１から８のいずれか一項に記載の立体映像表示装置の立体スケール像形成装置。
【請求項１０】
請求項９記載の立体映像表示装置の立体スケール像形成装置を備えた立体内視鏡装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１１−１５７２１（Ｐ２０１１−１５７２１Ａ）
【公開日】平成２３年１月２７日（２０１１．１．２７）
【国際特許分類】
【出願番号】特願２００９−１６０６６４（Ｐ２００９−１６０６６４）
【出願日】平成２１年７月７日（２００９．７．７）
【出願人】（３９５０１１２１８）エフ・エーシステムエンジニアリング株式会社 (7)
【出願人】（５９４０４４６４６）株式会社エヌエイチケイメディアテクノロジー (20)
【Ｆターム（参考）】
【公開日】平成２３年１月２７日（２０１１．１．２７）
【国際特許分類】
【出願日】平成２１年７月７日（２００９．７．７）
【出願人】（３９５０１１２１８）エフ・エーシステムエンジニアリング株式会社 (7)
【出願人】（５９４０４４６４６）株式会社エヌエイチケイメディアテクノロジー (20)
【Ｆターム（参考）】
[ Back to top ]