画像処理装置および方法
【課題】所望の視点方向から観察対象物を立体視する。
【解決手段】画像取得部２１１は、観察対象物を拡大観察する実体顕微鏡の左右眼光路上に配置された撮像素子１６１Ｌ,１６１Ｒにより撮影された左右一対の観察画像を取得し、画像生成部２１２は、画像取得部２１１により取得された左右一対の観察画像に基づいて、観察対象物の３次元モデルを生成する。そして、画像生成部２１２は、観察者の入力装置２０２に対する操作に応じて視点設定部２１３により設定される複数の視点から、３次元モデルを見たときの左右両眼用の２次元画像である左右両眼用画像を生成し、画像出力部２１４は、生成された前記左右両眼用画像を、裸眼立体視ディスプレイ装置２０４に出力して表示させる。本発明は、例えば、実体顕微鏡から取得した観察画像に対して画像処理を行う画像処理装置に適用できる。
【解決手段】画像取得部２１１は、観察対象物を拡大観察する実体顕微鏡の左右眼光路上に配置された撮像素子１６１Ｌ,１６１Ｒにより撮影された左右一対の観察画像を取得し、画像生成部２１２は、画像取得部２１１により取得された左右一対の観察画像に基づいて、観察対象物の３次元モデルを生成する。そして、画像生成部２１２は、観察者の入力装置２０２に対する操作に応じて視点設定部２１３により設定される複数の視点から、３次元モデルを見たときの左右両眼用の２次元画像である左右両眼用画像を生成し、画像出力部２１４は、生成された前記左右両眼用画像を、裸眼立体視ディスプレイ装置２０４に出力して表示させる。本発明は、例えば、実体顕微鏡から取得した観察画像に対して画像処理を行う画像処理装置に適用できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および方法に関する。
【背景技術】
【０００２】
従来、凹凸のある観察対象物の拡大像を、両眼で直接見る場合と同様な立体感で観察するために、実体顕微鏡が用いられている。実体顕微鏡は、例えば、観察対象物とピンセット等の道具との距離を容易に把握することができるため、精密機械工業、生物の解剖、手術等、道具を用いて緻密な作業を行う分野で特に有用である。
【０００３】
実体顕微鏡は、左右の眼に写る像に視差を与えるために、左眼に入射する光が通過する光学系と右眼に入射する光が通過する光学系を少なくとも部分的に独立させるとともに、左右の光学系の光軸が観察対象物の表面で交わるように設計される。そして、観察対象物を異なる方向から見た左眼用と右眼用の拡大像を生成し、接眼レンズを介して観察することにより、微小な観察対象物の像を拡大して立体視することができる。
【０００４】
また、実体顕微鏡により観察対象物を観察する場合、接眼レンズが設けられた双眼鏡筒を覗き込む姿勢は、観察者にとって自由度が少なく、長時間の観察には疲労を伴う。そこで、従来、左眼用および右眼用の光学系にそれぞれ撮像素子を設け、左眼用の画像と右眼用の画像を撮影し、得られた２つの画像を用いて観察対象物の立体画像を立体視ディスプレイ装置に表示するようにして、観察者の負担を軽減することが行われている（例えば、特許文献１、２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３２０９５４３号公報
【特許文献２】特開２００５−３２３８７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、観察対象物の立体画像を立体視ディスプレイ装置に表示して観察するに際して、観察対象物における観察箇所を変更するためには、実体顕微鏡側で光学条件を変更したり、光学素子の配置を変更したりする必要があった。このため、そのような実体顕微鏡側の設定変更をすることなく、所望の視点方向から観察対象物を立体視したいという要求があった。
【０００７】
本発明はこのような状況に鑑みてなされたものであり、実体顕微鏡側の設定変更をすることなく、所望の視点方向から観察対象物を立体視することができるようにするものである。
【課題を解決するための手段】
【０００８】
本発明の画像処理装置は、観察対象物を拡大観察する実体顕微鏡の左右眼光路上に配置された撮像手段により撮影された左右一対の観察画像を取得する画像取得手段と、取得された前記左右一対の観察画像に基づいて、前記観察対象物に対応する３次元モデルを生成する３次元モデル生成手段と、生成された前記３次元モデルに対する複数の視点を設定する視点設定手段と、設定された前記複数の視点から前記３次元モデルを見たときの左右両眼用の２次元画像である左右両眼用画像を生成する左右両眼用画像生成手段と、生成された前記左右両眼用画像を、立体視可能な画像を表示する立体視表示装置に出力する画像出力手段とを備えることを特徴とする。
【０００９】
本発明の画像処理装置および方法においては、観察対象物を拡大観察する実体顕微鏡の左右眼光路上に配置された撮像手段により撮影された左右一対の観察画像が取得され、取得された左右一対の観察画像に基づいて、観察対象物に対応する３次元モデルが生成され、生成された３次元モデルに対する複数の視点が設定され、設定された複数の視点から３次元モデルを見たときの左右両眼用の２次元画像である左右両眼用画像が生成され、生成された左右両眼用画像が、立体視可能な画像を表示する立体視表示装置に出力される。
【発明の効果】
【００１０】
本発明によれば、所望の視点方向から観察対象物を立体視することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明を適用した実体顕微鏡の一実施の形態を示す外観図である。
【図２】実体顕微鏡の光学系の構成例を示す図である。
【図３】本発明を適用した画像処理装置の構成例を示すブロック図である。
【図４】左右両眼用画像の生成処理を説明するフローチャートである。
【図５】観察対象物の奥行き量の求め方を説明する図である。
【図６】左右一対の観察画像、３次元モデル、左右両眼用画像の生成過程を示す概略図である。
【図７】左右両眼画像による視差量の調整方法について説明する図である。
【図８】左右両眼用画像による視点方向の変更方法について説明する図である。
【発明を実施するための形態】
【００１２】
以下、本発明を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．変形例
【００１３】
＜１．第１の実施の形態＞
最初に、図１乃至図７を参照して、本発明の第１の実施の形態について説明する。
【００１４】
［実体顕微鏡の構成例］
図１は、本発明を適用した実体顕微鏡の一実施の形態の外観図であり、図２は、光学系の構成例を示している。なお、以下に説明する本発明の第１乃至第２の実施の形態において、実体顕微鏡の外観および光学系の構成は共通である。
【００１５】
実体顕微鏡１０１は、単対物双眼構成の平行光学系（ガリレオ式）の実体顕微鏡である。実体顕微鏡１０１は、ベース部（照明部）１１１、変倍レンズ鏡筒１１２、および、焦点合わせ装置１１３を備えている。焦点合わせ装置１１３は、ベース部１１１の上面の後端かつ左右方向の中央に立設され、変倍レンズ鏡筒１１２は、焦点合わせ装置１１３の前面の上部に設けられている。
【００１６】
ベース部１１１には、透過照明装置（不図示）が内蔵され、透明部材が埋め込まれた観察対象載置台１１４が上面に設けられている。観察対象載置台１１４には、観察する対象となる観察対象物１０２（図２）が載置される。
【００１７】
変倍レンズ鏡筒１１２の下面には、対物レンズ取付部１１５が設けられている。対物レンズ取付部１１５には、例えば、対物レンズを１つだけ取付けることが可能なタイプや、対物レンズを複数取付けて、使用する対物レンズを切替えることが可能なタイプがあり、いずれのタイプを採用してもよい。そして、観察者は、例えば、予め定められた複数の低倍率の対物レンズおよび複数の高倍率の対物レンズの中から、取付け可能な個数以下の対物レンズを選択して、対物レンズ取付部１１５に取付けて実体顕微鏡１０１を使用する。
【００１８】
変倍レンズ鏡筒１１２には、左眼用の変倍光学系１５２Ｌ乃至偏向素子１５３Ｌ（図２）、並びに、右眼用の変倍光学系１５２Ｒ乃至偏向素子１５３Ｒ（図２）が内蔵されている。また、変倍レンズ鏡筒１１２の左側面および右側面には、変倍ノブ１１６が設けられている。さらに、変倍レンズ鏡筒１１２には、左眼用の撮影ユニット１５６Ｌ（図２）および右眼用の撮影ユニット１５６Ｒ（図２）を取付けることが可能である。
【００１９】
変倍レンズ鏡筒１１２の上部には、双眼鏡筒１１７が設けられている。双眼鏡筒１１７には、左眼用の結像レンズ１５４Ｌ（図２）および接眼レンズ（不図示）、並びに、右眼用の結像レンズ１５４Ｒ（図２）および接眼レンズ（不図示）が内蔵されている。
【００２０】
焦点合わせ装置１１３の左右の側面の上部には、焦点合わせノブ１１８が設けられている。また、焦点合わせ装置１１３には、焦点合わせノブ１１８の回転に伴い、変倍レンズ鏡筒１１２を光軸に沿って上下動させる機構部（不図示）が設けられている。
【００２１】
観察対象物１０２からの光（以下、観察光という）は、対物レンズ１５１を透過した後、その光路によって変倍光学系１５２Ｌおよび変倍光学系１５２Ｒに分かれて入射する。変倍光学系１５２Ｌおよび変倍光学系１５２Ｒをそれぞれ構成する各変倍レンズ群には、観察倍率を調整するための可動群が含まれている。そして、変倍ノブ１１６を回転することにより、回転量に応じた距離だけ各可動群が光軸方向に移動し、観察倍率を調整することができる。また、各変倍レンズ群には可変絞り（不図示）が含まれており、変倍レンズ鏡筒１１２に設けられている調節機構（不図示）により、可変絞りの絞り量を調節することができる。
【００２２】
変倍光学系１５２Ｌから射出された観察光は、例えば、ビームスプリッタプリズムにより構成される偏向素子１５３Ｌに入射し、偏向素子１５３Ｌを透過し、結像レンズ１５４Ｌに入射する接眼用の光と、偏向素子１５３Ｌにより反射され、可変式ＮＤフィルタ１５５Ｌに入射する撮影用の光に分割される。可変式ＮＤフィルタ１５５Ｌは、例えば、円環状で円周方向に透過率が連続して変化する可変式のＮＤフィルタにより構成される。可変式ＮＤフィルタ１５５Ｌにより減光された観察光は、撮影ユニット１５６Ｌに入射する。
【００２３】
同様に、変倍光学系１５２Ｒから射出された観察光は、偏向素子１５３Ｌと同様の構成の偏向素子１５３Ｒに入射し、偏向素子１５３Ｒを透過し、結像レンズ１５４Ｒに入射する接眼用の光と、偏向素子１５３Ｒにより反射され、可変式ＮＤフィルタ１５５Ｌと同様の構成の可変式ＮＤフィルタ１５５Ｒを通過して、撮影ユニット１５６Ｒに入射する撮影用の光に分割される。
【００２４】
そして、結像レンズ１５４Ｌおよび結像レンズ１５４Ｒにより、互いに視差が異なる左眼用および右眼用の像（以下、観察像という）が形成される。観察者は、接眼レンズ（不図示）を介して、左眼用および右眼の観察像をそれぞれ左眼および右眼で見ることにより、観察対象物１０２の像を立体視することができる。
【００２５】
また、撮影ユニット１５６Ｌの撮像素子１６１Ｌは、偏向素子１５３Ｌにより反射された観察光による像を撮影し、得られた左眼用の画像（以下、観察画像という）を示す画像信号を画像処理装置２０１（図３）に供給する。同様に、撮影ユニット１５６Ｒの撮像素子１６１Ｒは、偏向素子１５３Ｒにより反射された観察光による像を撮影し、得られた右眼用の観察画像を示す画像信号を画像処理装置２０１（図３）に供給する。
【００２６】
［画像処理装置の構成例］
図３は、実体顕微鏡１０１から供給された左右一対の観察画像を示す画像信号から、左右両眼用の２次元画像（以下、左右両眼用画像という）を生成して、裸眼立体視ディスプレイ装置２０４に出力する画像処理装置２０１の構成例を示している。画像処理装置２０１は、例えば、コンピュータ、または、CPU（Central Processing Unit）などのプロセッサを含むようにして構成され、所定の制御プログラムを実行することにより、画像取得部２１１、画像生成部２１２、視点設定部２１３、および、画像出力部２１４を含む機能を実現する。
【００２７】
なお、画像取得部２１１乃至画像出力部２１４の一連の処理例の詳細については、図４のフローチャートを用いて後述する。
【００２８】
入力装置２０２は、例えばマウスやトラックボールに代表される観察者による指示を受け付けるための機器である。入力装置２０２は、例えば、画像処理装置２０１により実行される処理の内容の選択や、画像処理に関するパラメータの調整の指示などの、観察者の操作に応じた操作信号を画像処理装置２０１に供給する。
【００２９】
外部記録装置２０３は、画像処理装置２０１により生成された画像のデータや、画像処理で用いられるパラメータなどの各種のデータを記録するための機器である。
【００３０】
裸眼立体視ディスプレイ装置２０４は、例えば、レンチキュラー方式またはパララックスバリア方式の裸眼立体視ディスプレイ装置により構成される。そして、裸眼立体視ディスプレイ装置２０４は、画像処理装置２０１から供給される左右両眼用画像のデータに基づく立体画像を表示したときに、左眼用の画素列から発せられた光が観察者２０５の左眼に入射し、右眼用の画素列から発せられた光が観察者２０５の右眼に入射するように、各画素からの光の進路を調整する。
【００３１】
これにより、観察者２０５は、専用の３Ｄ眼鏡等を用いずに、左眼用画像を左眼で見て、右眼用画像を右眼で見ることができ、観察対象物１０２の像を立体視することができる。
【００３２】
［画像処理装置の処理の詳細］
次に、図４のフローチャートを参照して、図３の画像処理装置２０１により実行される、左右両眼用画像の生成処理について説明する。
【００３３】
ステップＳ１１において、画像取得部２１１は、実体顕微鏡１０１の左右眼光路上に配置された撮像素子１６１Ｌ，１６１Ｒにより撮影された左右一対の観察画像を取得し、画像生成部２１２に供給する。
【００３４】
ステップＳ１２において、画像生成部２１２は、画像取得部２１１により取得された左右一対の観察画像に基づいて、実体顕微鏡１０１により観察される観察対象物１０２に対応する３次元モデルを生成する。
【００３５】
具体的には、図５に示すように、左右一対の観察画像のうち、左眼光路上の撮像素子１６１Ｌにより撮影された観察画像を左観察画像３０１Ｌとし、右眼光路上の撮像素子１６１Ｒにより撮影された観察画像を右観察画像３０１Ｒとした場合、画像生成部２１２は、この左右一対となる左観察画像３０１Ｌと右観察画像３０１Ｒについて、観察対象物１０２（図５の物体Ａ，Ｂ）上の同じ領域に対応する要素を対応点として抽出して、各要素の座標を比較する。この対応点は、例えば、左右一対の左観察画像３０１Ｌと右観察画像３０１Ｒに共通に撮影された物体Ａの同一の場所の座標であり、左観察画像３０１Ｌでの物体Ａの座標をＡＬ（ｘＬ，ｙＬ）とし、右観察画像３０１Ｒでの物体Ａの座標をＡＲ（ｘＲ，ｙＲ）としてＸＹ平面上の座標で表すことにより、それらの観察画像における座標ＡＬ，ＡＲの座標位置に基づいて、物体Ａ上の各座標における奥行き量（Ｚ軸方向の座標）が求められる。
【００３６】
同様に、左観察画像３０１Ｌでの物体Ｂの座標をＢＬ（ｘＬ，ｙＬ）、右観察画像３０１Ｒでの物体Ｂの座標をＢＲ（ｘＲ，ｙＲ）とすると、それらの観察画像における座標ＢＬ，ＢＲの座標位置に基づいて、物体Ｂ上の各座標における奥行き量が求められる。
【００３７】
この奥行き量の求め方であるが、例えば、画像処理の公開ライブラリ集として知られている、OpenCVに公開されている処理アルゴリズムを利用することができる。このOpenCVの詳細については、OpenCVのホームページ（インターネット＜URL：http://opencv.jp/＞、［平成２２年２月１６日検索］）に開示されている。
【００３８】
なお、奥行き量の算出方法は、既に各種の方法が提案されており、それらの公知の方法を用いることも可能である。
【００３９】
また、実体顕微鏡１０１の撮像素子１６１Ｌ，１６１Ｒにより撮影された左観察画像３０１Ｌと右観察画像３０１Ｒは、図中の左右方向（Ｘ軸方向）のみ視差を持つため、原理的にはｙ座標は一致するはずであるが、製造、組み立て誤差などにより若干のずれを持つ場合がある。その場合は、奥行き量の座標を決定する処理の前段において、ｙ座標の差分がゼロになるように、画像を補正する処理を施した後で、奥行き量の座標を決定するのが望ましい。
【００４０】
画像生成部２１２は、各対応点において決定した奥行き量を、実体顕微鏡１０１の中心軸に垂直な平面全体にマッピングして、いわゆるデプスマップ（Depth Map）を生成する。そして、画像生成部２１２は、この奥行き量の情報が表現されたデプスマップに対して、左観察画像３０１Ｌと右観察画像３０１Ｒから抽出される、物体Ａ，Ｂ上の各座標における表面の色情報が表されたテクスチャを貼り付ける（いわゆるテクスチャマッピング処理）ことにより、物体Ａ，Ｂに対応する３次元モデルを生成する。
【００４１】
図６の上側には、物体Ａ，Ｂを含む左観察画像３０１Ｌと右観察画像３０１Ｒから、物体Ａ，Ｂに対応する３次元モデル３０２が生成される過程が模式的に図示されている。すなわち、先に述べたように、左観察画像３０１Ｌと右観察画像３０１Ｒから、物体Ａ，Ｂ上の各座標における奥行き量が求められ、その奥行き量に基づきデプスマップが生成され、さらに、テクスチャマッピング処理が施されると、図６に示すように、仮想空間内に配置された、円柱形状をなす物体Ａと、中空の円柱形状をなす物体Ｂからなる３次元モデル３０２が得られることになる。
【００４２】
なお、３次元モデル３０２に対して貼り付けるテクスチャであるが、左観察画像３０１Ｌと右観察画像３０１Ｒのいずれか一方の画像のみから生成してもよいが、一方の観察画像からの情報では得ることのできないオクルージョンの領域に対する対応のために両方の観察画像から必要な部分を切り出してくるようなアルゴリズムを適応したほうが、より自然で、観察対象物１０２の表面情報の欠落領域が少ないテクスチャを生成できる。
【００４３】
以上のようにして、左観察画像３０１Ｌと右観察画像３０１Ｒに基づいて、物体Ａ，Ｂの３次元モデル３０２が生成される。
【００４４】
図４のフローチャートに戻り、ステップＳ１３において、視点設定部２１３は、画像生成部２１２により生成された３次元モデルに対する視点を設定し、その視点からカメラ座標を決定する。このカメラ座標は、３次元モデルを任意の視点から見たときの左右両眼用の２次元画像（左右両眼用画像）を生成するために設定される、３次元モデルを含んだ仮想空間上の座標である。従って、ここでは、観察者に対して立体視させるために、左右両眼用に２枚の２次元画像を生成する必要があるため、カメラ座標としては、仮想空間上の２箇所の座標が決定される。
【００４５】
なお、設定される視点の初期値としては、例えば、実際に実体顕微鏡１０１の接眼光学系を使用して観察したときの視差量と同程度となるような視点が予め設定されるが、任意の視点を設定することも可能である。また、観察者に対して立体視をさせるためには、左右両眼用に２枚の２次元画像を用意する必要があるため、最低でも２つの視点を設定して２箇所のカメラ座標を決定することになるが、裸眼立体視ディスプレイ装置２０４の表示能力に応じて、３次元モデルを２つ以上の複数の視点から見たときの画像を表示できるようにするために、２つ以上の複数の視点を設定することも可能である。
【００４６】
ステップＳ１４において、画像生成部１４は、視点設定部２１３により決定されたカメラ座標に基づいて、画像生成部２１２により生成された３次元モデルに対してレンダリング処理を行い、左右両眼用の２枚の２次元画像である左右両眼用画像を生成する。
【００４７】
図６の下側には、物体Ａ，Ｂに対応する３次元モデル３０２から、左右両眼用画像としての画像３０３−１乃至３０３−４が生成される過程が模式的に図示されている。なお、図６において、画像３０３−１乃至３０３−４は、実体顕微鏡１０１における左眼光学系と右眼光学系の中心軸を結んだ方向をＸ軸と定義したとき、２箇所のカメラ座標を、そのＸ軸方向に離散的に移動させながらそれぞれのカメラ座標においてレンダリング処理を行うことで得られる画像である。
【００４８】
図６に示すように、３次元モデル３０２に対するレンダリング処理により得られる複数の左右両眼用画像のうち、画像３０３−２は、３次元モデル３０２を生成した元画像のうちの左観察画像３０１Ｌに相当するカメラ座標、画像３０３−３は、３次元モデル３０２を生成した元画像のうちの右観察画像３０１Ｒに相当するカメラ座標でレンダリング処理が行われて得られた画像となる。一方、複数の左右両眼用画像のうち、画像３０３−１は画像３０３−２よりも左方向、画像３０３−４は画像３０３−３よりも右方向にカメラ座標を移動したときにレンダリング処理が行われて得られる画像となる。
【００４９】
すなわち、左眼用に選択された画像をレンダリングするためのカメラ座標と、右眼用に選択された画像をレンダリングするためのカメラ座標との差が、左右両眼用画像間における視差量の大きさに比例することになる。例えば、図６において、画像３０３−２と画像３０３−３との組み合わせ（図６ではＰ１と記述している）の場合、３次元モデル３０２の元画像である左観察画像３０１Ｌおよび右観察画像３０１Ｒと同じ画像であるため、左右両眼用画像間の視差量、すなわち、左眼用画像としての画像３０３−２と、右眼用画像としての画像３０３−３との視差量は、実際に実体顕微鏡１０１の接眼光学系を使用して観察した際に、観察者が認知する立体感と同程度となる。
【００５０】
一方、左眼用画像としての画像３０３−１と、右眼用画像としての画像３０３−４との組み合わせ（図６ではＰ２と記述している）の場合、上述したＰ１の組み合わせと比べて、カメラ座標の差が大きい、つまり、視差量が増加しているので、Ｐ２の組み合わせのほうが、Ｐ１の組み合わせよりも、観察者の認知する立体感は増加することになる。
【００５１】
図４のフローチャートに戻り、ステップＳ１５において、画像出力部２１４は、視点の初期値として、実際に実体顕微鏡１０１の接眼光学系を使用して観察したときの視差量と同程度となるように設定されているので、左右両眼用画像として、左眼用画像としての画像３０３−２および右眼用画像としての画像３０３−３を、裸眼立体視ディスプレイ装置２０４に出力する。
【００５２】
これにより、裸眼立体視ディスプレイ装置２０４では、左眼用画像としての画像３０３−２と、右眼用画像としての画像３０３−３がそれぞれ表示され、左眼用の画像３０３−２の画素列から発せられた光が観察者２０５の左眼に入射し、右眼用の画像３０３−３の画素列から発せられた光が観察者２０５の右眼に入射することになる。その結果、裸眼立体視ディスプレイ装置２０４に表示された左右両眼用画像間の視差量により、観察者は、実際に実体顕微鏡１０１の接眼光学系を使用して観察した際に認知する立体感と同程度の立体感を認知することになる。
【００５３】
ステップＳ１６において、視点設定部２１３は、入力装置２０２からの操作信号に基づいて、観察者の操作により、３次元モデルに対する視点の変更が指示されたか否かを判定する。ステップＳ１６において、視点の変更が指示されたと判定された場合、処理は、ステップＳ１３に戻り、先に述べたステップＳ１３乃至Ｓ１５の処理が実行され、変更された視点に対応するカメラ座標が決定され、決定されたカメラ座標に応じた左右両眼用画像が生成され、出力される。
【００５４】
すなわち、画像処理装置２０１において、左右両眼用画像として、画像３０３−２および画像３０３−３を裸眼立体視ディスプレイ装置２０４に表示させた場合でも、左右の眼に入力される画像における物体形状の違い（両眼視差）により、観察者は、実際に実体顕微鏡１０１の接眼光学系を使用して観察した際に認知する立体感と同程度の立体感を得ることができる。しかし、左右両眼用画像における視差量により立体感を認知させることができるものの、各観察者が認知する立体感の感受性の個体差により、過剰な立体感を認知する観察者にとっては疲労感を感じさせるものとなる一方、立体感が乏しければ観察者の作業効率が悪化することになる。そこで、３次元モデルに対する視点、つまり、左右両眼用画像における視差量を、観察者が自由に調整できるようにしている。この視差量の調整は、例えば、図７のインジケータ４０１を操作することで行われる。
【００５５】
図７に示すように、インジケータ４０１は、扁平な三角形の形状からなるインジケータ部４１１、原点表示部４１２、および、設定量指示部４１３から構成される。原点表示部４１２は、視差量が所定の基準値であることを示しており、例えば設定量指示部４１３が原点表示部４１２と重なった状態では、裸眼立体視ディスプレイ装置２０４に表示される左右両眼用画像間の視差量は、実際に実体顕微鏡１０１の接眼光学系を使用して観察した際に、観察者が認知する立体感と同程度となる。つまり、視点の初期値はこの状態に設定されており、この場合、図７のＰ１の組み合わせの画像３０３−２と画像３０３−２が裸眼立体視ディスプレイ装置２０４に出力され、表示される。
【００５６】
また、観察者は、設定量指示部４１３を操作して、原点表示部４１２よりも図中左方向に移動させることで、例えば図７のＰ２の組み合わせの画像３０３−１と画像３０３−４が裸眼立体視ディスプレイ装置２０４に出力され、表示される。このとき、左眼用画像としての画像３０３−１と、右眼用画像としての画像３０３−４における視差量は、図７のＰ１の組み合わせによる視差量よりも大きくなっており、観察者が認知する立体感は、Ｐ１の組み合わせの場合よりも増加する。
【００５７】
一方、図示はしていないが、観察者の操作により、設定量指示部４１３が原点表示部４１２よりも図中右方向に移動されると、左眼用画像と右眼用画像の間の視差量を小さくした左右両眼用画像が表示され、観察者が認知する立体感は、Ｐ１の組み合わせの場合よりも少なくなる。
【００５８】
このように、観察者は、裸眼立体視ディスプレイ装置２０４に表示される左右両眼用画像を立体視しながら、入力装置２０２を操作して、その左右両眼用画像間の視差量を、自分の希望するものに調整することができる。そのため、スムーズに立体感を得ることができるようになるとともに、視差量を調整してなるべく作業時に疲労発生の少ない視差量となるようにすることができるので、疲労感の少ない姿勢で立体視を行いながら、実体顕微鏡１０１を使用した作業を行うことができる。また、観察者は、インジケータ４０１を操作するだけで、より直感的に、かつ、簡便に、裸眼立体視ディスプレイ装置２０４に表示される左右両眼用画像間の視差量の調整を行うことができる。
【００５９】
図４のフローチャートに戻り、ステップＳ１６において、視点の変更が指示されていないと判定され（ステップＳ１６の「No」）、さらに、処理を終了すると判定された場合（ステップＳ１７の「Yes」）、図４のフローチャートに示す処理は終了する。
【００６０】
以上のように、画像処理装置２０１においては、観察者の操作に応じて設定される視点から決定される座標を、Ｘ軸方向に移動させた場合において、その座標の方向から３次元モデルを見たときの左右両眼用画像が生成され、生成された左右両眼用画像が、裸眼立体視ディスプレイ装置２０４に表示されるので、左右両眼用画像間の視差量を、観察者の希望するものに調整することができる。そして、この視差量の調整に際しては、例えば、対物レンズ１５１の倍率の変更などの、実体顕微鏡１０１側の設定変更を行うことなく、３次元モデルに対する視点の変更を行って、所望の視点方向から観察対象物１０１を立体視させることができる。
【００６１】
＜２．第２の実施の形態＞
次に、図８を参照して、本発明の第２の実施の形態について説明する。
【００６２】
第１の実施の形態においては、カメラ座標を１軸方向に移動させて、左右両眼用画像を生成する例について説明したが、このカメラ座標は、２軸方向に移動させることも可能である。そこで、次に、第２の実施の形態として、カメラ座標を２軸方向に移動させて、左右両眼用画像を生成する例について説明する。
【００６３】
第２の実施の形態において、左右両眼光路上に配置された撮像素子１６１Ｌ、撮像素子１６１Ｒにより撮影された左観察画像３０１Ｌ、右観察画像３０１Ｒに基づいて、３次元モデルを生成し、その３次元モデルを含んだ仮想空間上で左右両眼用に２箇所のカメラ座標を決定して、左右両眼画像として出力するための画像のレンダリング処理を行うまでは、先に述べた第１の実施の形態と同様である。第２の実施の形態においては、カメラ座標を左右両眼光学系の中心軸を結んだ方向をＸ軸として定義したときのＸ軸方向だけでなく、このＸ軸と実体顕微鏡の中心軸（Ｚ軸）とは垂直となるＹ軸方向にもカメラ座標を移動させてレンダリング処理を行う。
【００６４】
図８には、上述したＸ軸方向とＹ軸方向の２軸方向に離散的に移動させながら、それぞれのカメラ座標においてレンダリング処理を行うことで得られる複数の画像の例が模式的に図示されている。
【００６５】
図８において、画像３０３−１乃至画像３０３−４は、図６の画像３０３−１乃至画像３０３−４と同様に、Ｘ軸方向に離散的に移動させながらそれぞれのカメラ座標においてレンダリング処理を行うことで得られる画像である。また、図６と同様に、画像３０３−２は、３次元モデル３０２を生成した元画像のうちの左観察画像３０１Ｌに相当するカメラ座標でレンダリング処理された画像であり、画像３０３−３は、３次元モデル３０２を生成した元画像のうちの右観察画像３０１Ｒに相当するカメラ座標でレンダリング処理された画像となる。
【００６６】
画像３０３−５と画像３０３−７は、画像３０３−２に対してＹ軸方向にカメラ座標を移動させてレンダリング処理をすることで得られる画像である。また、画像３０３−６と画像３０３−８は、画像３０３−３に対してＹ軸方向にカメラ座標を移動させてレンダリング処理をすることで得られる画像である。
【００６７】
これらの画像３０３−１乃至３０３−８から選択される左眼用画像と右眼用画像がそれぞれ、裸眼立体視ディスプレイ装置２０４に出力され、表示される。例えば、左眼用画像として画像３０３−１、右眼用画像として画像３０３−２がそれぞれ選択された場合、観察者は、観察対象物１０２（物体Ａ，Ｂ）に対して視点を左方向に移動させる、あるいは、観察対象物１０２をＹ軸周りに回転させたときに得られる立体感を、裸眼立体視ディスプレイ装置２０４に表示される左眼用画像としての画像３０３−１と、右眼用画像としての画像３０３−２から認知できる。
【００６８】
また、例えば、左眼用画像として画像３０３−５、右眼用画像として画像３０３−６がそれぞれ選択された場合、観察者は、観察対象物１０２に対して視点をＹ軸方向に移動させる、あるいは、観察対象物１０２をＸ軸周りに回転させたときに得られる立体感を、裸眼立体視ディスプレイ装置２０４に表示される左眼用画像としての画像３０３−５と、右眼用画像としての画像３０３−６から認知できる。
【００６９】
このように、カメラ座標をＸ軸方向に移動させて視差量を調整するのみならず、カメラ座標を、Ｘ軸とＹ軸の一方向またはその両方向に移動させることで、観察対象物１０２をＹ軸周りやＸ軸周りに回転させたときに得られる立体感を認知させることが可能となる。
【００７０】
なお、デプスマップに貼り付けるテクスチャの限界もあり、元の座標からの移動量が大きくなると３次元モデルの再現性に問題が生じる場合もあるが、ある程度の移動量であれば実際に観察対象物１０２を動かすことなく、視点を移動させることができる。また、生成された３次元モデルのデータを数値化して外部記録装置２０３に記録させておくことで、観察対象物１０２を実際に使った観察作業が終わったあとでも、その記録しておいた３次元モデルから、実際の観察時には観察することがなかった視点からの画像を観察するといったことも可能となる。
【００７１】
以上のように、画像処理装置２０１においては、観察者の操作に応じて設定される視点から決定される座標を、Ｘ軸とＹ軸の一方向またはその両方向に移動させた場合において、その座標の方向から３次元モデルを見たときの左右両眼用画像が生成され、生成された左右両眼用画像が、裸眼立体視ディスプレイ装置２０４に表示されるので、観察対象物１０２をＹ軸周りやＸ軸周りに回転させて、観察対象物１０２における観察箇所を、観察者の希望の位置に変更することができる。そして、この観察箇所の変更に際しては、実体顕微鏡１０１側の設定変更を行うことなく、３次元モデルに対する視点の変更を行って、所望の視点方向から観察対象物１０１を立体視させることができる。
【００７２】
また、従来、観察者が観察対象物を現在の実体顕微鏡の中心軸にそった視点方向から変化させた視点からの観察を意図する場合、通常は、観察対象物を手に持って回転させていたが、手に持って回転させると、微小な視点の変化量が欲しい場合や、厳密に元の視点方向に戻すことは不可能であり、そのため、細かい処置が必要となる観察対象物の場合、最適な状態で観察していたとは言い難い。一方、本発明では、観察者は、観察対象物１０２を実体顕微鏡１０１の中心軸に対して微小に回転させる事を目的として、例えばマウスやトラックボールなどの入力装置２０２を操作して、所望の視点方向から見た観察対象物１０１を裸眼立体視ディスプレイ装置２０４に表示させることができるため、視点を微小に変化させたり、あるいは、視点方向を元の状態に戻したりして、細かい処置が必要となる観察対象物１０２を最適な状態で観察することができる。
【００７３】
＜３．変形例＞
以上の説明では、実体顕微鏡１０１、撮影ユニット１５６Ｌおよび撮影ユニット１５６Ｒ、画像処理装置２０１、裸眼立体視ディスプレイ装置２０４を別装置として説明したが、画像処理装置２０１の全部または一部の機能を、実体顕微鏡１０１や、撮影ユニット１５６Ｌおよび撮影ユニット１５６Ｒ、裸眼立体視ディスプレイ装置２０４に内蔵するようにしてもよい。
【００７４】
また、以上の説明では、画像処理装置２０１は、画像処理を専用に行う装置であると説明したが、画像処理装置２０１の代わりに、実体顕微鏡１０１の制御を行う顕微鏡用制御装置やパーソナルコンピュータが、上述した画像処理装置２０１と同様の処理を実行するようにしてもよい。
【００７５】
また、以上の説明では、裸眼立体視ディスプレイ装置２０４を用いて左右両眼用画像を観察する例を示したが、本発明は、３Ｄ眼鏡等を用いて左右両眼用画像を観察する場合にも適用することができる。
【００７６】
なお、本明細書において、プログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００７７】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【００７８】
１０１ 実体顕微鏡， １０２ 観察対象物, １５１ 対物レンズ, １５２Ｌ,１５２Ｒ 変倍光学系, １５３Ｌ,１５３Ｒ 偏向素子, １５４Ｌ,１５４Ｒ 結像レンズ, １５５Ｌ,１５５Ｒ 可変式ＮＤフィルタ, １５６Ｌ,１５６Ｒ 撮影ユニット, １６１Ｌ,１６１Ｒ 撮像素子, ２０１ 画像処理装置， ２０２ 入力装置， ２０３ 外部記録装置， ２０４ 裸眼立体視ディスプレイ装置， ２１１ 画像取得部， ２１２ 画像生成部， ２１３ 視点設定部， ２１４ 画像出力部
【技術分野】
【０００１】
本発明は、画像処理装置および方法に関する。
【背景技術】
【０００２】
従来、凹凸のある観察対象物の拡大像を、両眼で直接見る場合と同様な立体感で観察するために、実体顕微鏡が用いられている。実体顕微鏡は、例えば、観察対象物とピンセット等の道具との距離を容易に把握することができるため、精密機械工業、生物の解剖、手術等、道具を用いて緻密な作業を行う分野で特に有用である。
【０００３】
実体顕微鏡は、左右の眼に写る像に視差を与えるために、左眼に入射する光が通過する光学系と右眼に入射する光が通過する光学系を少なくとも部分的に独立させるとともに、左右の光学系の光軸が観察対象物の表面で交わるように設計される。そして、観察対象物を異なる方向から見た左眼用と右眼用の拡大像を生成し、接眼レンズを介して観察することにより、微小な観察対象物の像を拡大して立体視することができる。
【０００４】
また、実体顕微鏡により観察対象物を観察する場合、接眼レンズが設けられた双眼鏡筒を覗き込む姿勢は、観察者にとって自由度が少なく、長時間の観察には疲労を伴う。そこで、従来、左眼用および右眼用の光学系にそれぞれ撮像素子を設け、左眼用の画像と右眼用の画像を撮影し、得られた２つの画像を用いて観察対象物の立体画像を立体視ディスプレイ装置に表示するようにして、観察者の負担を軽減することが行われている（例えば、特許文献１、２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３２０９５４３号公報
【特許文献２】特開２００５−３２３８７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、観察対象物の立体画像を立体視ディスプレイ装置に表示して観察するに際して、観察対象物における観察箇所を変更するためには、実体顕微鏡側で光学条件を変更したり、光学素子の配置を変更したりする必要があった。このため、そのような実体顕微鏡側の設定変更をすることなく、所望の視点方向から観察対象物を立体視したいという要求があった。
【０００７】
本発明はこのような状況に鑑みてなされたものであり、実体顕微鏡側の設定変更をすることなく、所望の視点方向から観察対象物を立体視することができるようにするものである。
【課題を解決するための手段】
【０００８】
本発明の画像処理装置は、観察対象物を拡大観察する実体顕微鏡の左右眼光路上に配置された撮像手段により撮影された左右一対の観察画像を取得する画像取得手段と、取得された前記左右一対の観察画像に基づいて、前記観察対象物に対応する３次元モデルを生成する３次元モデル生成手段と、生成された前記３次元モデルに対する複数の視点を設定する視点設定手段と、設定された前記複数の視点から前記３次元モデルを見たときの左右両眼用の２次元画像である左右両眼用画像を生成する左右両眼用画像生成手段と、生成された前記左右両眼用画像を、立体視可能な画像を表示する立体視表示装置に出力する画像出力手段とを備えることを特徴とする。
【０００９】
本発明の画像処理装置および方法においては、観察対象物を拡大観察する実体顕微鏡の左右眼光路上に配置された撮像手段により撮影された左右一対の観察画像が取得され、取得された左右一対の観察画像に基づいて、観察対象物に対応する３次元モデルが生成され、生成された３次元モデルに対する複数の視点が設定され、設定された複数の視点から３次元モデルを見たときの左右両眼用の２次元画像である左右両眼用画像が生成され、生成された左右両眼用画像が、立体視可能な画像を表示する立体視表示装置に出力される。
【発明の効果】
【００１０】
本発明によれば、所望の視点方向から観察対象物を立体視することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明を適用した実体顕微鏡の一実施の形態を示す外観図である。
【図２】実体顕微鏡の光学系の構成例を示す図である。
【図３】本発明を適用した画像処理装置の構成例を示すブロック図である。
【図４】左右両眼用画像の生成処理を説明するフローチャートである。
【図５】観察対象物の奥行き量の求め方を説明する図である。
【図６】左右一対の観察画像、３次元モデル、左右両眼用画像の生成過程を示す概略図である。
【図７】左右両眼画像による視差量の調整方法について説明する図である。
【図８】左右両眼用画像による視点方向の変更方法について説明する図である。
【発明を実施するための形態】
【００１２】
以下、本発明を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．変形例
【００１３】
＜１．第１の実施の形態＞
最初に、図１乃至図７を参照して、本発明の第１の実施の形態について説明する。
【００１４】
［実体顕微鏡の構成例］
図１は、本発明を適用した実体顕微鏡の一実施の形態の外観図であり、図２は、光学系の構成例を示している。なお、以下に説明する本発明の第１乃至第２の実施の形態において、実体顕微鏡の外観および光学系の構成は共通である。
【００１５】
実体顕微鏡１０１は、単対物双眼構成の平行光学系（ガリレオ式）の実体顕微鏡である。実体顕微鏡１０１は、ベース部（照明部）１１１、変倍レンズ鏡筒１１２、および、焦点合わせ装置１１３を備えている。焦点合わせ装置１１３は、ベース部１１１の上面の後端かつ左右方向の中央に立設され、変倍レンズ鏡筒１１２は、焦点合わせ装置１１３の前面の上部に設けられている。
【００１６】
ベース部１１１には、透過照明装置（不図示）が内蔵され、透明部材が埋め込まれた観察対象載置台１１４が上面に設けられている。観察対象載置台１１４には、観察する対象となる観察対象物１０２（図２）が載置される。
【００１７】
変倍レンズ鏡筒１１２の下面には、対物レンズ取付部１１５が設けられている。対物レンズ取付部１１５には、例えば、対物レンズを１つだけ取付けることが可能なタイプや、対物レンズを複数取付けて、使用する対物レンズを切替えることが可能なタイプがあり、いずれのタイプを採用してもよい。そして、観察者は、例えば、予め定められた複数の低倍率の対物レンズおよび複数の高倍率の対物レンズの中から、取付け可能な個数以下の対物レンズを選択して、対物レンズ取付部１１５に取付けて実体顕微鏡１０１を使用する。
【００１８】
変倍レンズ鏡筒１１２には、左眼用の変倍光学系１５２Ｌ乃至偏向素子１５３Ｌ（図２）、並びに、右眼用の変倍光学系１５２Ｒ乃至偏向素子１５３Ｒ（図２）が内蔵されている。また、変倍レンズ鏡筒１１２の左側面および右側面には、変倍ノブ１１６が設けられている。さらに、変倍レンズ鏡筒１１２には、左眼用の撮影ユニット１５６Ｌ（図２）および右眼用の撮影ユニット１５６Ｒ（図２）を取付けることが可能である。
【００１９】
変倍レンズ鏡筒１１２の上部には、双眼鏡筒１１７が設けられている。双眼鏡筒１１７には、左眼用の結像レンズ１５４Ｌ（図２）および接眼レンズ（不図示）、並びに、右眼用の結像レンズ１５４Ｒ（図２）および接眼レンズ（不図示）が内蔵されている。
【００２０】
焦点合わせ装置１１３の左右の側面の上部には、焦点合わせノブ１１８が設けられている。また、焦点合わせ装置１１３には、焦点合わせノブ１１８の回転に伴い、変倍レンズ鏡筒１１２を光軸に沿って上下動させる機構部（不図示）が設けられている。
【００２１】
観察対象物１０２からの光（以下、観察光という）は、対物レンズ１５１を透過した後、その光路によって変倍光学系１５２Ｌおよび変倍光学系１５２Ｒに分かれて入射する。変倍光学系１５２Ｌおよび変倍光学系１５２Ｒをそれぞれ構成する各変倍レンズ群には、観察倍率を調整するための可動群が含まれている。そして、変倍ノブ１１６を回転することにより、回転量に応じた距離だけ各可動群が光軸方向に移動し、観察倍率を調整することができる。また、各変倍レンズ群には可変絞り（不図示）が含まれており、変倍レンズ鏡筒１１２に設けられている調節機構（不図示）により、可変絞りの絞り量を調節することができる。
【００２２】
変倍光学系１５２Ｌから射出された観察光は、例えば、ビームスプリッタプリズムにより構成される偏向素子１５３Ｌに入射し、偏向素子１５３Ｌを透過し、結像レンズ１５４Ｌに入射する接眼用の光と、偏向素子１５３Ｌにより反射され、可変式ＮＤフィルタ１５５Ｌに入射する撮影用の光に分割される。可変式ＮＤフィルタ１５５Ｌは、例えば、円環状で円周方向に透過率が連続して変化する可変式のＮＤフィルタにより構成される。可変式ＮＤフィルタ１５５Ｌにより減光された観察光は、撮影ユニット１５６Ｌに入射する。
【００２３】
同様に、変倍光学系１５２Ｒから射出された観察光は、偏向素子１５３Ｌと同様の構成の偏向素子１５３Ｒに入射し、偏向素子１５３Ｒを透過し、結像レンズ１５４Ｒに入射する接眼用の光と、偏向素子１５３Ｒにより反射され、可変式ＮＤフィルタ１５５Ｌと同様の構成の可変式ＮＤフィルタ１５５Ｒを通過して、撮影ユニット１５６Ｒに入射する撮影用の光に分割される。
【００２４】
そして、結像レンズ１５４Ｌおよび結像レンズ１５４Ｒにより、互いに視差が異なる左眼用および右眼用の像（以下、観察像という）が形成される。観察者は、接眼レンズ（不図示）を介して、左眼用および右眼の観察像をそれぞれ左眼および右眼で見ることにより、観察対象物１０２の像を立体視することができる。
【００２５】
また、撮影ユニット１５６Ｌの撮像素子１６１Ｌは、偏向素子１５３Ｌにより反射された観察光による像を撮影し、得られた左眼用の画像（以下、観察画像という）を示す画像信号を画像処理装置２０１（図３）に供給する。同様に、撮影ユニット１５６Ｒの撮像素子１６１Ｒは、偏向素子１５３Ｒにより反射された観察光による像を撮影し、得られた右眼用の観察画像を示す画像信号を画像処理装置２０１（図３）に供給する。
【００２６】
［画像処理装置の構成例］
図３は、実体顕微鏡１０１から供給された左右一対の観察画像を示す画像信号から、左右両眼用の２次元画像（以下、左右両眼用画像という）を生成して、裸眼立体視ディスプレイ装置２０４に出力する画像処理装置２０１の構成例を示している。画像処理装置２０１は、例えば、コンピュータ、または、CPU（Central Processing Unit）などのプロセッサを含むようにして構成され、所定の制御プログラムを実行することにより、画像取得部２１１、画像生成部２１２、視点設定部２１３、および、画像出力部２１４を含む機能を実現する。
【００２７】
なお、画像取得部２１１乃至画像出力部２１４の一連の処理例の詳細については、図４のフローチャートを用いて後述する。
【００２８】
入力装置２０２は、例えばマウスやトラックボールに代表される観察者による指示を受け付けるための機器である。入力装置２０２は、例えば、画像処理装置２０１により実行される処理の内容の選択や、画像処理に関するパラメータの調整の指示などの、観察者の操作に応じた操作信号を画像処理装置２０１に供給する。
【００２９】
外部記録装置２０３は、画像処理装置２０１により生成された画像のデータや、画像処理で用いられるパラメータなどの各種のデータを記録するための機器である。
【００３０】
裸眼立体視ディスプレイ装置２０４は、例えば、レンチキュラー方式またはパララックスバリア方式の裸眼立体視ディスプレイ装置により構成される。そして、裸眼立体視ディスプレイ装置２０４は、画像処理装置２０１から供給される左右両眼用画像のデータに基づく立体画像を表示したときに、左眼用の画素列から発せられた光が観察者２０５の左眼に入射し、右眼用の画素列から発せられた光が観察者２０５の右眼に入射するように、各画素からの光の進路を調整する。
【００３１】
これにより、観察者２０５は、専用の３Ｄ眼鏡等を用いずに、左眼用画像を左眼で見て、右眼用画像を右眼で見ることができ、観察対象物１０２の像を立体視することができる。
【００３２】
［画像処理装置の処理の詳細］
次に、図４のフローチャートを参照して、図３の画像処理装置２０１により実行される、左右両眼用画像の生成処理について説明する。
【００３３】
ステップＳ１１において、画像取得部２１１は、実体顕微鏡１０１の左右眼光路上に配置された撮像素子１６１Ｌ，１６１Ｒにより撮影された左右一対の観察画像を取得し、画像生成部２１２に供給する。
【００３４】
ステップＳ１２において、画像生成部２１２は、画像取得部２１１により取得された左右一対の観察画像に基づいて、実体顕微鏡１０１により観察される観察対象物１０２に対応する３次元モデルを生成する。
【００３５】
具体的には、図５に示すように、左右一対の観察画像のうち、左眼光路上の撮像素子１６１Ｌにより撮影された観察画像を左観察画像３０１Ｌとし、右眼光路上の撮像素子１６１Ｒにより撮影された観察画像を右観察画像３０１Ｒとした場合、画像生成部２１２は、この左右一対となる左観察画像３０１Ｌと右観察画像３０１Ｒについて、観察対象物１０２（図５の物体Ａ，Ｂ）上の同じ領域に対応する要素を対応点として抽出して、各要素の座標を比較する。この対応点は、例えば、左右一対の左観察画像３０１Ｌと右観察画像３０１Ｒに共通に撮影された物体Ａの同一の場所の座標であり、左観察画像３０１Ｌでの物体Ａの座標をＡＬ（ｘＬ，ｙＬ）とし、右観察画像３０１Ｒでの物体Ａの座標をＡＲ（ｘＲ，ｙＲ）としてＸＹ平面上の座標で表すことにより、それらの観察画像における座標ＡＬ，ＡＲの座標位置に基づいて、物体Ａ上の各座標における奥行き量（Ｚ軸方向の座標）が求められる。
【００３６】
同様に、左観察画像３０１Ｌでの物体Ｂの座標をＢＬ（ｘＬ，ｙＬ）、右観察画像３０１Ｒでの物体Ｂの座標をＢＲ（ｘＲ，ｙＲ）とすると、それらの観察画像における座標ＢＬ，ＢＲの座標位置に基づいて、物体Ｂ上の各座標における奥行き量が求められる。
【００３７】
この奥行き量の求め方であるが、例えば、画像処理の公開ライブラリ集として知られている、OpenCVに公開されている処理アルゴリズムを利用することができる。このOpenCVの詳細については、OpenCVのホームページ（インターネット＜URL：http://opencv.jp/＞、［平成２２年２月１６日検索］）に開示されている。
【００３８】
なお、奥行き量の算出方法は、既に各種の方法が提案されており、それらの公知の方法を用いることも可能である。
【００３９】
また、実体顕微鏡１０１の撮像素子１６１Ｌ，１６１Ｒにより撮影された左観察画像３０１Ｌと右観察画像３０１Ｒは、図中の左右方向（Ｘ軸方向）のみ視差を持つため、原理的にはｙ座標は一致するはずであるが、製造、組み立て誤差などにより若干のずれを持つ場合がある。その場合は、奥行き量の座標を決定する処理の前段において、ｙ座標の差分がゼロになるように、画像を補正する処理を施した後で、奥行き量の座標を決定するのが望ましい。
【００４０】
画像生成部２１２は、各対応点において決定した奥行き量を、実体顕微鏡１０１の中心軸に垂直な平面全体にマッピングして、いわゆるデプスマップ（Depth Map）を生成する。そして、画像生成部２１２は、この奥行き量の情報が表現されたデプスマップに対して、左観察画像３０１Ｌと右観察画像３０１Ｒから抽出される、物体Ａ，Ｂ上の各座標における表面の色情報が表されたテクスチャを貼り付ける（いわゆるテクスチャマッピング処理）ことにより、物体Ａ，Ｂに対応する３次元モデルを生成する。
【００４１】
図６の上側には、物体Ａ，Ｂを含む左観察画像３０１Ｌと右観察画像３０１Ｒから、物体Ａ，Ｂに対応する３次元モデル３０２が生成される過程が模式的に図示されている。すなわち、先に述べたように、左観察画像３０１Ｌと右観察画像３０１Ｒから、物体Ａ，Ｂ上の各座標における奥行き量が求められ、その奥行き量に基づきデプスマップが生成され、さらに、テクスチャマッピング処理が施されると、図６に示すように、仮想空間内に配置された、円柱形状をなす物体Ａと、中空の円柱形状をなす物体Ｂからなる３次元モデル３０２が得られることになる。
【００４２】
なお、３次元モデル３０２に対して貼り付けるテクスチャであるが、左観察画像３０１Ｌと右観察画像３０１Ｒのいずれか一方の画像のみから生成してもよいが、一方の観察画像からの情報では得ることのできないオクルージョンの領域に対する対応のために両方の観察画像から必要な部分を切り出してくるようなアルゴリズムを適応したほうが、より自然で、観察対象物１０２の表面情報の欠落領域が少ないテクスチャを生成できる。
【００４３】
以上のようにして、左観察画像３０１Ｌと右観察画像３０１Ｒに基づいて、物体Ａ，Ｂの３次元モデル３０２が生成される。
【００４４】
図４のフローチャートに戻り、ステップＳ１３において、視点設定部２１３は、画像生成部２１２により生成された３次元モデルに対する視点を設定し、その視点からカメラ座標を決定する。このカメラ座標は、３次元モデルを任意の視点から見たときの左右両眼用の２次元画像（左右両眼用画像）を生成するために設定される、３次元モデルを含んだ仮想空間上の座標である。従って、ここでは、観察者に対して立体視させるために、左右両眼用に２枚の２次元画像を生成する必要があるため、カメラ座標としては、仮想空間上の２箇所の座標が決定される。
【００４５】
なお、設定される視点の初期値としては、例えば、実際に実体顕微鏡１０１の接眼光学系を使用して観察したときの視差量と同程度となるような視点が予め設定されるが、任意の視点を設定することも可能である。また、観察者に対して立体視をさせるためには、左右両眼用に２枚の２次元画像を用意する必要があるため、最低でも２つの視点を設定して２箇所のカメラ座標を決定することになるが、裸眼立体視ディスプレイ装置２０４の表示能力に応じて、３次元モデルを２つ以上の複数の視点から見たときの画像を表示できるようにするために、２つ以上の複数の視点を設定することも可能である。
【００４６】
ステップＳ１４において、画像生成部１４は、視点設定部２１３により決定されたカメラ座標に基づいて、画像生成部２１２により生成された３次元モデルに対してレンダリング処理を行い、左右両眼用の２枚の２次元画像である左右両眼用画像を生成する。
【００４７】
図６の下側には、物体Ａ，Ｂに対応する３次元モデル３０２から、左右両眼用画像としての画像３０３−１乃至３０３−４が生成される過程が模式的に図示されている。なお、図６において、画像３０３−１乃至３０３−４は、実体顕微鏡１０１における左眼光学系と右眼光学系の中心軸を結んだ方向をＸ軸と定義したとき、２箇所のカメラ座標を、そのＸ軸方向に離散的に移動させながらそれぞれのカメラ座標においてレンダリング処理を行うことで得られる画像である。
【００４８】
図６に示すように、３次元モデル３０２に対するレンダリング処理により得られる複数の左右両眼用画像のうち、画像３０３−２は、３次元モデル３０２を生成した元画像のうちの左観察画像３０１Ｌに相当するカメラ座標、画像３０３−３は、３次元モデル３０２を生成した元画像のうちの右観察画像３０１Ｒに相当するカメラ座標でレンダリング処理が行われて得られた画像となる。一方、複数の左右両眼用画像のうち、画像３０３−１は画像３０３−２よりも左方向、画像３０３−４は画像３０３−３よりも右方向にカメラ座標を移動したときにレンダリング処理が行われて得られる画像となる。
【００４９】
すなわち、左眼用に選択された画像をレンダリングするためのカメラ座標と、右眼用に選択された画像をレンダリングするためのカメラ座標との差が、左右両眼用画像間における視差量の大きさに比例することになる。例えば、図６において、画像３０３−２と画像３０３−３との組み合わせ（図６ではＰ１と記述している）の場合、３次元モデル３０２の元画像である左観察画像３０１Ｌおよび右観察画像３０１Ｒと同じ画像であるため、左右両眼用画像間の視差量、すなわち、左眼用画像としての画像３０３−２と、右眼用画像としての画像３０３−３との視差量は、実際に実体顕微鏡１０１の接眼光学系を使用して観察した際に、観察者が認知する立体感と同程度となる。
【００５０】
一方、左眼用画像としての画像３０３−１と、右眼用画像としての画像３０３−４との組み合わせ（図６ではＰ２と記述している）の場合、上述したＰ１の組み合わせと比べて、カメラ座標の差が大きい、つまり、視差量が増加しているので、Ｐ２の組み合わせのほうが、Ｐ１の組み合わせよりも、観察者の認知する立体感は増加することになる。
【００５１】
図４のフローチャートに戻り、ステップＳ１５において、画像出力部２１４は、視点の初期値として、実際に実体顕微鏡１０１の接眼光学系を使用して観察したときの視差量と同程度となるように設定されているので、左右両眼用画像として、左眼用画像としての画像３０３−２および右眼用画像としての画像３０３−３を、裸眼立体視ディスプレイ装置２０４に出力する。
【００５２】
これにより、裸眼立体視ディスプレイ装置２０４では、左眼用画像としての画像３０３−２と、右眼用画像としての画像３０３−３がそれぞれ表示され、左眼用の画像３０３−２の画素列から発せられた光が観察者２０５の左眼に入射し、右眼用の画像３０３−３の画素列から発せられた光が観察者２０５の右眼に入射することになる。その結果、裸眼立体視ディスプレイ装置２０４に表示された左右両眼用画像間の視差量により、観察者は、実際に実体顕微鏡１０１の接眼光学系を使用して観察した際に認知する立体感と同程度の立体感を認知することになる。
【００５３】
ステップＳ１６において、視点設定部２１３は、入力装置２０２からの操作信号に基づいて、観察者の操作により、３次元モデルに対する視点の変更が指示されたか否かを判定する。ステップＳ１６において、視点の変更が指示されたと判定された場合、処理は、ステップＳ１３に戻り、先に述べたステップＳ１３乃至Ｓ１５の処理が実行され、変更された視点に対応するカメラ座標が決定され、決定されたカメラ座標に応じた左右両眼用画像が生成され、出力される。
【００５４】
すなわち、画像処理装置２０１において、左右両眼用画像として、画像３０３−２および画像３０３−３を裸眼立体視ディスプレイ装置２０４に表示させた場合でも、左右の眼に入力される画像における物体形状の違い（両眼視差）により、観察者は、実際に実体顕微鏡１０１の接眼光学系を使用して観察した際に認知する立体感と同程度の立体感を得ることができる。しかし、左右両眼用画像における視差量により立体感を認知させることができるものの、各観察者が認知する立体感の感受性の個体差により、過剰な立体感を認知する観察者にとっては疲労感を感じさせるものとなる一方、立体感が乏しければ観察者の作業効率が悪化することになる。そこで、３次元モデルに対する視点、つまり、左右両眼用画像における視差量を、観察者が自由に調整できるようにしている。この視差量の調整は、例えば、図７のインジケータ４０１を操作することで行われる。
【００５５】
図７に示すように、インジケータ４０１は、扁平な三角形の形状からなるインジケータ部４１１、原点表示部４１２、および、設定量指示部４１３から構成される。原点表示部４１２は、視差量が所定の基準値であることを示しており、例えば設定量指示部４１３が原点表示部４１２と重なった状態では、裸眼立体視ディスプレイ装置２０４に表示される左右両眼用画像間の視差量は、実際に実体顕微鏡１０１の接眼光学系を使用して観察した際に、観察者が認知する立体感と同程度となる。つまり、視点の初期値はこの状態に設定されており、この場合、図７のＰ１の組み合わせの画像３０３−２と画像３０３−２が裸眼立体視ディスプレイ装置２０４に出力され、表示される。
【００５６】
また、観察者は、設定量指示部４１３を操作して、原点表示部４１２よりも図中左方向に移動させることで、例えば図７のＰ２の組み合わせの画像３０３−１と画像３０３−４が裸眼立体視ディスプレイ装置２０４に出力され、表示される。このとき、左眼用画像としての画像３０３−１と、右眼用画像としての画像３０３−４における視差量は、図７のＰ１の組み合わせによる視差量よりも大きくなっており、観察者が認知する立体感は、Ｐ１の組み合わせの場合よりも増加する。
【００５７】
一方、図示はしていないが、観察者の操作により、設定量指示部４１３が原点表示部４１２よりも図中右方向に移動されると、左眼用画像と右眼用画像の間の視差量を小さくした左右両眼用画像が表示され、観察者が認知する立体感は、Ｐ１の組み合わせの場合よりも少なくなる。
【００５８】
このように、観察者は、裸眼立体視ディスプレイ装置２０４に表示される左右両眼用画像を立体視しながら、入力装置２０２を操作して、その左右両眼用画像間の視差量を、自分の希望するものに調整することができる。そのため、スムーズに立体感を得ることができるようになるとともに、視差量を調整してなるべく作業時に疲労発生の少ない視差量となるようにすることができるので、疲労感の少ない姿勢で立体視を行いながら、実体顕微鏡１０１を使用した作業を行うことができる。また、観察者は、インジケータ４０１を操作するだけで、より直感的に、かつ、簡便に、裸眼立体視ディスプレイ装置２０４に表示される左右両眼用画像間の視差量の調整を行うことができる。
【００５９】
図４のフローチャートに戻り、ステップＳ１６において、視点の変更が指示されていないと判定され（ステップＳ１６の「No」）、さらに、処理を終了すると判定された場合（ステップＳ１７の「Yes」）、図４のフローチャートに示す処理は終了する。
【００６０】
以上のように、画像処理装置２０１においては、観察者の操作に応じて設定される視点から決定される座標を、Ｘ軸方向に移動させた場合において、その座標の方向から３次元モデルを見たときの左右両眼用画像が生成され、生成された左右両眼用画像が、裸眼立体視ディスプレイ装置２０４に表示されるので、左右両眼用画像間の視差量を、観察者の希望するものに調整することができる。そして、この視差量の調整に際しては、例えば、対物レンズ１５１の倍率の変更などの、実体顕微鏡１０１側の設定変更を行うことなく、３次元モデルに対する視点の変更を行って、所望の視点方向から観察対象物１０１を立体視させることができる。
【００６１】
＜２．第２の実施の形態＞
次に、図８を参照して、本発明の第２の実施の形態について説明する。
【００６２】
第１の実施の形態においては、カメラ座標を１軸方向に移動させて、左右両眼用画像を生成する例について説明したが、このカメラ座標は、２軸方向に移動させることも可能である。そこで、次に、第２の実施の形態として、カメラ座標を２軸方向に移動させて、左右両眼用画像を生成する例について説明する。
【００６３】
第２の実施の形態において、左右両眼光路上に配置された撮像素子１６１Ｌ、撮像素子１６１Ｒにより撮影された左観察画像３０１Ｌ、右観察画像３０１Ｒに基づいて、３次元モデルを生成し、その３次元モデルを含んだ仮想空間上で左右両眼用に２箇所のカメラ座標を決定して、左右両眼画像として出力するための画像のレンダリング処理を行うまでは、先に述べた第１の実施の形態と同様である。第２の実施の形態においては、カメラ座標を左右両眼光学系の中心軸を結んだ方向をＸ軸として定義したときのＸ軸方向だけでなく、このＸ軸と実体顕微鏡の中心軸（Ｚ軸）とは垂直となるＹ軸方向にもカメラ座標を移動させてレンダリング処理を行う。
【００６４】
図８には、上述したＸ軸方向とＹ軸方向の２軸方向に離散的に移動させながら、それぞれのカメラ座標においてレンダリング処理を行うことで得られる複数の画像の例が模式的に図示されている。
【００６５】
図８において、画像３０３−１乃至画像３０３−４は、図６の画像３０３−１乃至画像３０３−４と同様に、Ｘ軸方向に離散的に移動させながらそれぞれのカメラ座標においてレンダリング処理を行うことで得られる画像である。また、図６と同様に、画像３０３−２は、３次元モデル３０２を生成した元画像のうちの左観察画像３０１Ｌに相当するカメラ座標でレンダリング処理された画像であり、画像３０３−３は、３次元モデル３０２を生成した元画像のうちの右観察画像３０１Ｒに相当するカメラ座標でレンダリング処理された画像となる。
【００６６】
画像３０３−５と画像３０３−７は、画像３０３−２に対してＹ軸方向にカメラ座標を移動させてレンダリング処理をすることで得られる画像である。また、画像３０３−６と画像３０３−８は、画像３０３−３に対してＹ軸方向にカメラ座標を移動させてレンダリング処理をすることで得られる画像である。
【００６７】
これらの画像３０３−１乃至３０３−８から選択される左眼用画像と右眼用画像がそれぞれ、裸眼立体視ディスプレイ装置２０４に出力され、表示される。例えば、左眼用画像として画像３０３−１、右眼用画像として画像３０３−２がそれぞれ選択された場合、観察者は、観察対象物１０２（物体Ａ，Ｂ）に対して視点を左方向に移動させる、あるいは、観察対象物１０２をＹ軸周りに回転させたときに得られる立体感を、裸眼立体視ディスプレイ装置２０４に表示される左眼用画像としての画像３０３−１と、右眼用画像としての画像３０３−２から認知できる。
【００６８】
また、例えば、左眼用画像として画像３０３−５、右眼用画像として画像３０３−６がそれぞれ選択された場合、観察者は、観察対象物１０２に対して視点をＹ軸方向に移動させる、あるいは、観察対象物１０２をＸ軸周りに回転させたときに得られる立体感を、裸眼立体視ディスプレイ装置２０４に表示される左眼用画像としての画像３０３−５と、右眼用画像としての画像３０３−６から認知できる。
【００６９】
このように、カメラ座標をＸ軸方向に移動させて視差量を調整するのみならず、カメラ座標を、Ｘ軸とＹ軸の一方向またはその両方向に移動させることで、観察対象物１０２をＹ軸周りやＸ軸周りに回転させたときに得られる立体感を認知させることが可能となる。
【００７０】
なお、デプスマップに貼り付けるテクスチャの限界もあり、元の座標からの移動量が大きくなると３次元モデルの再現性に問題が生じる場合もあるが、ある程度の移動量であれば実際に観察対象物１０２を動かすことなく、視点を移動させることができる。また、生成された３次元モデルのデータを数値化して外部記録装置２０３に記録させておくことで、観察対象物１０２を実際に使った観察作業が終わったあとでも、その記録しておいた３次元モデルから、実際の観察時には観察することがなかった視点からの画像を観察するといったことも可能となる。
【００７１】
以上のように、画像処理装置２０１においては、観察者の操作に応じて設定される視点から決定される座標を、Ｘ軸とＹ軸の一方向またはその両方向に移動させた場合において、その座標の方向から３次元モデルを見たときの左右両眼用画像が生成され、生成された左右両眼用画像が、裸眼立体視ディスプレイ装置２０４に表示されるので、観察対象物１０２をＹ軸周りやＸ軸周りに回転させて、観察対象物１０２における観察箇所を、観察者の希望の位置に変更することができる。そして、この観察箇所の変更に際しては、実体顕微鏡１０１側の設定変更を行うことなく、３次元モデルに対する視点の変更を行って、所望の視点方向から観察対象物１０１を立体視させることができる。
【００７２】
また、従来、観察者が観察対象物を現在の実体顕微鏡の中心軸にそった視点方向から変化させた視点からの観察を意図する場合、通常は、観察対象物を手に持って回転させていたが、手に持って回転させると、微小な視点の変化量が欲しい場合や、厳密に元の視点方向に戻すことは不可能であり、そのため、細かい処置が必要となる観察対象物の場合、最適な状態で観察していたとは言い難い。一方、本発明では、観察者は、観察対象物１０２を実体顕微鏡１０１の中心軸に対して微小に回転させる事を目的として、例えばマウスやトラックボールなどの入力装置２０２を操作して、所望の視点方向から見た観察対象物１０１を裸眼立体視ディスプレイ装置２０４に表示させることができるため、視点を微小に変化させたり、あるいは、視点方向を元の状態に戻したりして、細かい処置が必要となる観察対象物１０２を最適な状態で観察することができる。
【００７３】
＜３．変形例＞
以上の説明では、実体顕微鏡１０１、撮影ユニット１５６Ｌおよび撮影ユニット１５６Ｒ、画像処理装置２０１、裸眼立体視ディスプレイ装置２０４を別装置として説明したが、画像処理装置２０１の全部または一部の機能を、実体顕微鏡１０１や、撮影ユニット１５６Ｌおよび撮影ユニット１５６Ｒ、裸眼立体視ディスプレイ装置２０４に内蔵するようにしてもよい。
【００７４】
また、以上の説明では、画像処理装置２０１は、画像処理を専用に行う装置であると説明したが、画像処理装置２０１の代わりに、実体顕微鏡１０１の制御を行う顕微鏡用制御装置やパーソナルコンピュータが、上述した画像処理装置２０１と同様の処理を実行するようにしてもよい。
【００７５】
また、以上の説明では、裸眼立体視ディスプレイ装置２０４を用いて左右両眼用画像を観察する例を示したが、本発明は、３Ｄ眼鏡等を用いて左右両眼用画像を観察する場合にも適用することができる。
【００７６】
なお、本明細書において、プログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００７７】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【００７８】
１０１ 実体顕微鏡， １０２ 観察対象物, １５１ 対物レンズ, １５２Ｌ,１５２Ｒ 変倍光学系, １５３Ｌ,１５３Ｒ 偏向素子, １５４Ｌ,１５４Ｒ 結像レンズ, １５５Ｌ,１５５Ｒ 可変式ＮＤフィルタ, １５６Ｌ,１５６Ｒ 撮影ユニット, １６１Ｌ,１６１Ｒ 撮像素子, ２０１ 画像処理装置， ２０２ 入力装置， ２０３ 外部記録装置， ２０４ 裸眼立体視ディスプレイ装置， ２１１ 画像取得部， ２１２ 画像生成部， ２１３ 視点設定部， ２１４ 画像出力部
【特許請求の範囲】
【請求項１】
観察対象物を拡大観察する実体顕微鏡の左右眼光路上に配置された撮像手段により撮影された左右一対の観察画像を取得する画像取得手段と、
取得された前記左右一対の観察画像に基づいて、前記観察対象物に対応する３次元モデルを生成する３次元モデル生成手段と、
生成された前記３次元モデルに対する複数の視点を設定する視点設定手段と、
設定された前記複数の視点から前記３次元モデルを見たときの左右両眼用の２次元画像である左右両眼用画像を生成する左右両眼用画像生成手段と、
生成された前記左右両眼用画像を、立体視可能な画像を表示する立体視表示装置に出力する画像出力手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記複数の視点は、前記実体顕微鏡の左右両眼光学系の中心軸を結んだ方向をＸ軸と定義したとき、前記３次元モデルを含んだ仮想空間上のＸ軸上の座標で示され、
前記左右両眼用画像生成手段は、前記複数の視点に対応する座標をＸ軸方向に移動させた場合において、その座標の方向から前記３次元モデルを見たときの前記左右両眼用画像を生成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記複数の視点は、前記実体顕微鏡の左右両眼光学系の中心軸を結んだ方向をＸ軸とし、前記Ｘ軸および前記実体顕微鏡の中心軸と垂直の方向をＹ軸と定義したとき、前記３次元モデルを含んだ仮想空間上のＹ軸上の座標で示され、
前記左右両眼用画像生成手段は、前記複数の視点に対応する座標をＹ軸方向に移動させた場合において、その座標の方向から前記３次元モデルを見たときの前記左右両眼用画像を生成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記複数の視点は、前記実体顕微鏡の左右両眼光学系の中心軸を結んだ方向をＸ軸とし、前記Ｘ軸および前記実体顕微鏡の中心軸と垂直の方向をＹ軸と定義したとき、前記３次元モデルを含んだ仮想空間上のＸＹ軸上の座標で示され、
前記左右両眼用画像生成手段は、前記複数の視点に対応する座標をＸ軸またはＹ軸方向に移動させた場合において、その座標の方向から前記３次元モデルを見たときの前記左右両眼用画像を生成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
画像処理装置が、
観察対象物を拡大観察する実体顕微鏡の左右眼光路上に配置された撮像手段により撮影された左右一対の観察画像を取得し、
取得された前記左右一対の観察画像に基づいて、前記観察対象物に対応する３次元モデルを生成し、
生成された前記３次元モデルに対する複数の視点を設定し、
設定された前記複数の視点から前記３次元モデルを見たときの左右両眼用の２次元画像である左右両眼用画像を生成し、
生成された前記左右両眼用画像を、立体視可能な画像を表示する立体視表示装置に出力する
ステップを含むことを特徴とする画像処理方法。
【請求項１】
観察対象物を拡大観察する実体顕微鏡の左右眼光路上に配置された撮像手段により撮影された左右一対の観察画像を取得する画像取得手段と、
取得された前記左右一対の観察画像に基づいて、前記観察対象物に対応する３次元モデルを生成する３次元モデル生成手段と、
生成された前記３次元モデルに対する複数の視点を設定する視点設定手段と、
設定された前記複数の視点から前記３次元モデルを見たときの左右両眼用の２次元画像である左右両眼用画像を生成する左右両眼用画像生成手段と、
生成された前記左右両眼用画像を、立体視可能な画像を表示する立体視表示装置に出力する画像出力手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記複数の視点は、前記実体顕微鏡の左右両眼光学系の中心軸を結んだ方向をＸ軸と定義したとき、前記３次元モデルを含んだ仮想空間上のＸ軸上の座標で示され、
前記左右両眼用画像生成手段は、前記複数の視点に対応する座標をＸ軸方向に移動させた場合において、その座標の方向から前記３次元モデルを見たときの前記左右両眼用画像を生成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記複数の視点は、前記実体顕微鏡の左右両眼光学系の中心軸を結んだ方向をＸ軸とし、前記Ｘ軸および前記実体顕微鏡の中心軸と垂直の方向をＹ軸と定義したとき、前記３次元モデルを含んだ仮想空間上のＹ軸上の座標で示され、
前記左右両眼用画像生成手段は、前記複数の視点に対応する座標をＹ軸方向に移動させた場合において、その座標の方向から前記３次元モデルを見たときの前記左右両眼用画像を生成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記複数の視点は、前記実体顕微鏡の左右両眼光学系の中心軸を結んだ方向をＸ軸とし、前記Ｘ軸および前記実体顕微鏡の中心軸と垂直の方向をＹ軸と定義したとき、前記３次元モデルを含んだ仮想空間上のＸＹ軸上の座標で示され、
前記左右両眼用画像生成手段は、前記複数の視点に対応する座標をＸ軸またはＹ軸方向に移動させた場合において、その座標の方向から前記３次元モデルを見たときの前記左右両眼用画像を生成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
画像処理装置が、
観察対象物を拡大観察する実体顕微鏡の左右眼光路上に配置された撮像手段により撮影された左右一対の観察画像を取得し、
取得された前記左右一対の観察画像に基づいて、前記観察対象物に対応する３次元モデルを生成し、
生成された前記３次元モデルに対する複数の視点を設定し、
設定された前記複数の視点から前記３次元モデルを見たときの左右両眼用の２次元画像である左右両眼用画像を生成し、
生成された前記左右両眼用画像を、立体視可能な画像を表示する立体視表示装置に出力する
ステップを含むことを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１１−２１５１７６（Ｐ２０１１−２１５１７６Ａ）
【公開日】平成２３年１０月２７日（２０１１．１０．２７）
【国際特許分類】
【出願番号】特願２０１０−８０２２３（Ｐ２０１０−８０２２３）
【出願日】平成２２年３月３１日（２０１０．３．３１）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２３年１０月２７日（２０１１．１０．２７）
【国際特許分類】
【出願日】平成２２年３月３１日（２０１０．３．３１）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]