単一のビデオカメラの映像からの静止画立体表示方法
【課題】単一のビデオカメラの映像からの３以上の像を抽出して静止画立体表示を可能にする単一のビデオカメラの映像からの静止画立体表示方法を提供する。
【解決手段】単一のビデオカメラの映像からの静止画立体表示方法は、ビデオカメラ９等のビデオ映像取得装置を撮像対象物１１に対して相対移動可能に設け、表示装置１により前記ビデオ映像出力を表示しながら、入力手段６により、必要に応じて立体視画像形成条件の選択の入力および操作者２３により立体像を表示する時点を指定し、演算手段により立体像をなす複数のフレームを選定し、条件を満たしたフレームとその間の１以上のフレームを立体表示手段３に表示するステップを含んでいる。
【解決手段】単一のビデオカメラの映像からの静止画立体表示方法は、ビデオカメラ９等のビデオ映像取得装置を撮像対象物１１に対して相対移動可能に設け、表示装置１により前記ビデオ映像出力を表示しながら、入力手段６により、必要に応じて立体視画像形成条件の選択の入力および操作者２３により立体像を表示する時点を指定し、演算手段により立体像をなす複数のフレームを選定し、条件を満たしたフレームとその間の１以上のフレームを立体表示手段３に表示するステップを含んでいる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、単眼ビデオ映像から、静止画として立体視するに適した３以上の画像集合を自動的に抽出し、表示する単一のビデオカメラの映像からの静止画立体表示方法に関する。
【背景技術】
【０００２】
ＶＴＲやビデオカメラ等から出力されたり、ＴＶ放送により伝送された２次元画像を立体視画像に変換する方法が提案されている。特許文献１記載の発明も、その一つであり、動きベクトルという概念を用いて、視線方向との関連を付けている。
特許文献２は、ビデオ映像から左右２枚の両眼立体視に適する画像を抽出し、立体表示する方法を提案している。
非特許文献１は、前記動きベクトルと同じ概念の（オプティカルフロー）についての詳細な説明をしている。
【特許文献１】特開平７−２７４２０９号公報
【特許文献２】国際公開第２００５／０９１６４９号公報
【非特許文献１】太田 直哉 信頼性指標をもつ移動ベクトルの検出 コンピュータビジョン’９０ 情報処理学会シンポジウム論文集，Ｖｏｌ．９０，Ｎｏ．２，ｐｐ．２１−３０，１９９０
【０００３】
本発明は、一般のビデオ映像に適用可能であるが、例として、上部消化管（胃、食道等）、下部消化管（直腸、大腸等）の内視鏡検査に用いられる軟性内視鏡に応用する例を述べる。上部消化管および下部消化管の内視鏡検査に用いられる軟性内視鏡は、従来単眼、すなわち１つの内視鏡カメラを用いて実現されている。２つのカメラを組み込んで立体視すれば、単眼内視鏡では医師が経験的に判断している管壁の凹凸を、直接立体視することができるはずである。そこで、従来から双眼立体視内視鏡の開発が何度も試みられてきた。しかし、狭い（直径１０ｍｍ程度以下）内視鏡先端に２つのレンズを組み込むことによる明るさと解像度の低下、立体視表示に特殊な装置を用い特殊な眼鏡の着用を要するシステムが多いこと、立体視をする医師の疲労などの理由により、実用に供されているものはまだない。
単眼軟性内視鏡のビデオ映像を立体視可能にするシステムと称するもの（橋本大定氏の提案）もあるが、擬似的な立体視に留まっている。
【０００４】
特許文献３記載の発明は、内視鏡システムおよび内視鏡画像の奥行き情報検出用制御プログラムを記録した記録媒体に関するものである。
運動視差の原理を用い、内視鏡自身に取り付けられた位置・方向センサにより得られる内視鏡の動きとこれに伴って変化する内視鏡像の対応位置の変化から、運動視差に相当する情報を演算処理により得ることにより、単眼でも奥行きの情報を得られるようにした内視鏡システムを提案している。
【特許文献３】特開２０００−２１０２４８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献３記載の発明は内視鏡の実施例として、単眼硬性内視鏡を示しているが、このような内視鏡は人の胃壁の診断等には適さない。本件発明者等による前述した特許文献２による単眼軟性内視鏡カメラのビデオ映像による立体表示方法は特許文献３の問題を解決したものであるが、これに対して単一の視点ではなく視点を変えて立体像がえられないかという要請がある。また内視鏡映像の立体視以外にも静止画立体像の再現をしたいという要請もある。
本発明は、３枚以上の画像を用いる立体表示システムへも適用可能となるように拡張した方法を提供するものである。
本発明の主たる目的は単一のビデオカメラの映像からの３以上の画像を抽出して静止画立体表示を可能にする単一のビデオカメラの映像からの静止画立体表示方法を提供することにある。
さらに、本発明の目的は、当然に体内腔の診断装置に適用できる上部消化管（胃、食道等）下部消化管（直腸、大腸等）の内視鏡検査に用いられる軟性内視鏡カメラを用いて、立体視診断を可能にする装置の利用方法である単一のビデオカメラの映像からの静止画立体表示方法を提供することにある。
本発明のさらに詳細な目的は、前記診断をリアルタイムでしかも十分な診断を可能にする良質な立体像を提供することができる単一のビデオカメラの映像からの静止画立体表示方法を提供することにある。
【課題を解決するための手段】
【０００６】
前記目的を達成するために、本発明による請求項１記載の単一のビデオカメラの映像からの静止画立体表示方法は、
単一のビデオカメラの映像からの静止画立体表示方法は、
撮像対象に対して相対移動可能に設けられたビデオ映像取得装置と、
前記ビデオ映像出力を表示する表示装置と、
１以上の立体視画像形成条件を記憶する動作メモリと、
前記映像出力を経時間的に記憶するフレームメモリと、
必要に応じて前記立体視画像形成条件の選択の入力および操作者により立体像を表示する時点を指定する入力手段と、
前記入力手段により指定された時点の前後において、立体像をなす複数のフレームを選定する演算手段と、
前記フレームに基づく立体像を表示する立体表示手段と、および
前記各構成にシステムバスを介して接続され制御を行なうＣＰＵとによりシステムを構成し、
前記演算手段は
(a) 選択された立体視画像形成条件による命令およびフレームの探索範囲を定める定数Ｎ，Ｋ，Ｌを用意するステップと、
(b) 立体表示する複数のフレームからなる集合の探索範囲を設定するステップと、
(c) ２つのフレーム間の移動ベクトルの算出ステップと、
(d) 立体視画像形成条件を満たしているかの判断をする判断ステップと、
(e) 前記判断ステップで条件を満たしているときは移動方向が水平になるように両フレームを回転して、条件を満たしたフレームとその間の１以上のフレームを前記立体表示手段に表示するステップと、
(f) 前記(d) の条件を満たさなかった場合または前記(e) での表示が不満足である場合は、前記フレームの集合とは異なるフレームの集合について前記(c) 〜(e) のステップを実行するように構成されている。
本発明による請求項２記載の単一のビデオカメラの映像からの静止画立体表示方法は、請求項１記載の方法において、
前記選択された立体視画像形成条件は、前記移動ベクトルの方向の平均値である平均移動ベクトルを求め、その方向から、予め定めた限界内の移動ベクトルの割合が予め定められた割合を越えることを条件とするものである。
本発明による請求項３記載の単一のビデオカメラの映像からの静止画立体表示方法は、請求項１記載の方法において、
前記選択された立体視画像形成条件は、画像の中心を通る水平線および垂直線によって画像を４分割し、各部分画像中の平均移動ベクトルを求め、これらの平均移動ベクトルと、画像全体の中心と部分画像の中心とを結ぶ直線とのなす４つの角の平均値が予め定められた角度以上であることを条件とするものである。
本発明による請求項４記載の単一のビデオカメラの映像からの静止画立体表示方法は、請求項１記載の方法において、
前記ビデオ映像取得装置は、体内腔で先端が移動させられる内視鏡カメラである。
【発明の効果】
【０００７】
前記方法によれば、通常のビデオカメラで撮影したビデオ映像から、静止画ではあるが立体表示を得ることができる。特にこれを上部消化管（胃、食道等）下部消化管（直腸、大腸等）の内視鏡検査に用いられる軟性内視鏡カメラに用いれば、立体視診断が可能となる。
また前記診断をリアルタイムでしかも十分な診断を可能にする良質な立体像を提供することができる。オプティカルフローにより、フレームを選択するのであり、軟性内視鏡カメラ（一般にはビデオカメラ）の方向や位置を他の手段で特定する必要はない。
特許文献２における、左眼用と右眼用の２枚の画像を用いてステレオ視する方法では、ステレオ視する視点が特定の位置に限られる。本発明で提案している方法では、複数の画像を用いるために立体視できる視点の範囲が広がることと、その範囲で視点を動かすことにより運動視差の効果も得られてより立体感が増すという効果が得られる。
【発明を実施するための最良の形態】
【０００８】
（本発明によるフレーム対選択の原理）図１は、本発明による方法を実施するための装置の実施例を示すブロック図である。本発明による方法は、単一のビデオカメラ９から得られるビデオ映像をビデオ表示装置１で見ながら、操作者が立体表示を得たい画像の時点（これをフレームＴとする）を入力手段６によって指示する。これにより、システムはこのフレームの前後で数フレーム離れた２つのフレーム（フレームｔとフレームｓ）間で、画像内容の移動方向（つまり、カメラの移動方向の逆方向）の推定を行う。
移動方向の推定には、既存の任意の推定方法を利用できるが本願では、オプティカルフローとして知られている画像の局所相互相関を用いる。ビデオカメラ９の移動方向の前進／後退成分および回転成分が小さく、従ってカメラの光軸にほぼ垂直な併進運動とみなされる（これを立体視画像形成条件と呼ぶ）フレーム対の集合のみを処理対象として取り出す。
【０００９】
併進運動の方向がほぼ水平であるフレーム集合に属する画像を立体視表示可能な表示装置に送り、立体表示する。併進運動の方向が水平に近くなく、かつ画像を回転して表示しても違和感のない場合には、その方向が水平となるようフレーム集合の画像を回転して立体視可能な表示装置に表示する。
表示する立体視表示装置の種類・原理は種々あるが、本発明による方法では、３Ｄ表示用のディスプレイ３あるいは立体印刷を用いる。
【００１０】
本システムを一般のビデオ映像に対して利用する場合には、ビデオ映像を再生しながら事後に立体視表示を行なうのが普通であると考える。
本システムを軟性内視鏡ビデオ映像に用いる場合には、前述したフレームＴは医師が内視鏡を被験者の体内で操作中に、何らかの手段で指令を発し、その前後のビデオ映像から上記の手段で立体視に適切なフレーム集合を選んでリアルタイムの立体視表示をするものである。
【００１１】
（フレーム対選択のツールとしてのオプティカルフロー）立体視条件を満足するフレーム集合は、立体視画像形成条件を満たすフレーム対の集合によって構成される。フレーム対の画像選定のために用いるオプティカルフローについて説明する。図３は、本発明による方法で使用する立体視画像形成条件の算出の原理を説明するための略図である。
オプティカルフローは、前時刻の画像中の各点が、後時刻の画像においてどの点に移動したかを表すベクトル群（以下では、各ベクトルを移動ベクトルと呼ぶ）である。ビデオカメラの撮影対象は静止しているものと仮定すると、オプティカルフローはビデオカメラ自身の動きを表す。なお、そのために、
１．対象物は大まかに言って、カメラの画像面と平行であると仮定する（対象物を、斜め方向からでなく、正面から映すという仮定であり、通常成り立つと考える）。
２．計算されたオプティカルフローを各点の移動ベクトルには誤差の大きいものも含まれるが、全体的として見れば誤差の小さいものが多い。
【００１２】
次にカメラの動きをいくつかの場合に分けて検討する。
（イ）カメラが対象物に対して前進（後退）している場合には、オプティカルフローはある点から発する（ある点に至る）放射状の移動ベクトル群となる。すなわち、これらの場合、移動ベクトルの方向は、ほぼあらゆる方向にわたる。
（ロ）カメラがその光軸を軸として回転している場合には、オプティカルフローの移動ベクトル群は光軸と画像面との交点を中心とする回転運動になる。この場合も、移動ベクトルの方向はあらゆる方向にわたる。
（ハ）カメラがその光軸と直行する軸回りに回転している場合には、以下に述べるカメラの併進運動で近似する。
（ニ）カメラが画像面に平行に併進運動している場合には、オプティカルフローの移動ベクトルはカメラの動きと逆向きの動きを示し、その方向はすべての移動ベクトルにおいて同一である。
なお、移動ベクトルの長さは、カメラから近い点では長く、遠い点では短くなる。しかし、内視鏡画像において、各点の個々のオプティカルフローが正確に求められることは期待薄のため、この情報から直接に対象物の３次元形状を得ることはできない。
（ホ）一般には、カメラの運動は以上の運動成分を合成したものになる。その中から（ニ）の平行移動成分が主で、他は無視できるようなフレームの対だけを選び出すことが目的となる。
【００１３】
以上の原理を背景に、カメラの運動が主として平行移動成分のみであるフレーム対を検出するには、オプティカルフローを構成する移動ベクトルの方向の一様性を何らかの方法でチェックすればよい。次の方法のいずれかまたは双方を併用する。
（方法その１）まず、移動ベクトルの方向の平均値を求め、それを画像全体の移動方向（平均移動ベクトルと呼ぶ）とする。この方向から、ある限界（例えば±１０°）内の移動ベクトルが全体のある割合（例えば３０％）以上あれば、平行移動成分が主であると判定する（図３の（Ａ））。
（方法その２）画像の中心を通る水平線および垂直線によって画像を４分割し、各部分画像中の平均移動ベクトルを求める。これらの平均移動ベクトルと、画像全体の中心と部分画像の中心とを結ぶ直線とのなす４つの角の平均値がある角度（例えば７５°）以上であれば、平行移動成分が主であると判定する（図３の（Ｂ））。
【実施例】
【００１４】
以下図面等を参照して本発明による方法の実施例をさらに詳しく説明する。
図１は、本発明による方法を実施するための装置の実施例を示すブロック図である。
操作者２３は撮影対象物１１をビデオカメラ９を用いて撮影する。この図では撮影対象物１１が固定していてビデオカメラ９を移動させながら撮影する場合を想定したが、ゆっくりと移動する撮影対象物１１をビデオカメラ９を固定して撮影してもよい。この撮影は３Ｄ表示を行う以前ならいつでもかまわない。
ビデオカメラ９からの映像はビデオ入力インタフェイス９ａを介して２Ｄ表示装置１とフレームメモリ２に接続されている。システムバス５には前述したビデオカメラ９がビデオ入力インタフェイス９ａを介して、よく知られているレンチキュラー方式等の３Ｄ表示手段３が、インタフェイス３ａを介して接続されている。
ＣＰＵ４、操作者２３が立体視をしたい時点を指示する入力手段６、メモリ８がさらに接続されている。操作者２３は、２Ｄ表示装置１に表示されている映像に関連して、立体情報を取得したいときは、その命令を入力手段６を操作して入力する。入力手段６は立体視画像形成条件の選択の入力にも用いられる。
【００１５】
立体表示に適するフレーム集合を選定するには２つの方法がある。第１は、立体視画像形成条件を満たすフレーム対として、できるだけ時間間隔の大きい対を選び、それらを両端としてその間のフレームをすべてを選択する（フレーム数が多ければ適宜間引くことも可能である）。これは、時間軸上で両端のフレーム間の移動方向が平行併進運動であるならば、その中間でも同じ方向への運動であるだろうと仮定することになる。
第２の方法は、時間的に連続するフレーム対の間ですべて立体視画像形成条件が成立し、かつ移動方向がほぼ同じと見なせるフレームの集合を選定する方法である。
【００１６】
図４は、上記の第１の方法を説明するための流れ図である。この流れ図を図１に示したシステム対応で説明する。この方法は同様に図２に示したシステムにおいても実施可能である。図２に示したシステムでは、図１の操作者２３が医師１３とカメラ操作手段７に対応し、ビデオカメラ９が単眼軟性内視鏡カメラ１０に対応する点においてのみ異なる。なお図２において、１ｂはカメラインタフェイスである。
（ステップ１０１）
入力手段６等による操作者の指示により、前述したシステムを起動する。このときビデオカメラ９はすでにある時間移動しつつ映像を表示装置に表示し、かつフレームメモリに記録している。
（ステップ１０２）
ＮとＫとＬを用意する。
Ｎ：立体視のために映像から抽出するフレームの最小枚数
Ｋ：あるフレームｔに対して、その相手となるフレームｓを探す区間の幅（Ｋ＞Ｎ）
Ｌ：基準となるフレームｔを番号Ｔから前後に探す区間の幅
ｔ＝Ｔ−Ｌ，Ｔ−Ｌ＋１，・・・，Ｔ−１，Ｔ，Ｔ＋１，・・・，Ｔ＋Ｌ−１，Ｔ＋Ｌ
ｓ＝ｔ＋Ｋ，ｔ＋Ｋ−１，・・・，ｔ−Ｎ＋１
これらの設定値は、システムの利用目的や立体表示する映像の状況に応じて予め定めておく。また、画像を回転して表示することが許されるか否かも予め決めておく。
（ステップ１０３）
操作者２３が２Ｄ表示装置１に表示されている映像に関連して、立体情報を取得したいときは、その命令を入力手段６を操作して入力する。これにより、探索範囲の基準となるフレームＴと最初のフレームｔ＝Ｔ−Ｌが決定される。
（ステップ１０４）
前記フレームに対応するフレームｔより後のフレームｓがステップ１０２で入力された設定に基づいて決定される。前のステップで指定されたフレームｔに対してフレームｓ（＝ｔ＋Ｋ）を選ぶ。
（ステップ１０５）
フレームｔとフレームｓの画像から移動ベクトルを算出する。
【００１７】
（ステップ１０６）
前記ステップの算出結果を判定して、ステレオ画像が形成できる対であるか否かの判定をする。
（ステップ１０７）
多数の移動ベクトルから平均移動方向を決定する。
（ステップ１０８）
フレームｔとフレームｓの間の全てのフレームを抽出する（フレーム数が多ければ適宜間引くことも可能である）。
（ステップ１０９）
平均移動方向がほぼ水平であるかを判定して、そうであればステップ１１２へ進み立体表示する。
（ステップ１１０，１１１）
画像の回転が許されるならば、平均移動方向が水平になるように、抽出したフレームｔ，ｓ間の画像を回転する。
（ステップ１１２）
抽出した画像を用いて立体表示を行う。
（ステップ１１３）
前記表示が操作者２３が満足できるものであるかを判断させる。
操作者２３が満足できるものであれはステップ１１７で終了する。
【００１８】
（ステップ１１４），（ステップ１１５）
前記１０６のステップで判定が成立しないとき、前記１１０のステップで画像の回転が許されないとき、および前記１１３で満足すべきもので無いとされた場合は、前記ｔ，ｓに関連して他の対を選択して、ステップ１０３〜１０５を行い他の組についての演算を行なう。
（ステップ１１６）
予め予定する全てのｔ，ｓの組み合わせの検討を行なっても、判定が成立しないときは、その旨の表示を行なう。
（ステップ１１７）
終了し、操作者２３の次の立体視表示の時点の指示を持つ。
【００１９】
図５は、上記の第２の方法を説明するための流れ図である。
この第２の方法も、前述のように、図２に示したシステムにおいても実施可能である。図２に示したシステムでは、図１の操作者２３が医師１３とカメラ操作手段７に対応し、ビデオカメラ９が単眼軟性内視鏡カメラ１０に対応する点においてのみ異なる。
（ステップ２０１）
入力手段６等による操作者の指示により、前述したシステムを起動する。このときビデオカメラ９はすでにある時間移動しつつ映像を表示装置に表示し、かつフレームメモリに記録している。
（ステップ２０２）
ＮとＫとＬとΔｔとΔθを用意する。
Ｎ：立体視のために映像から抽出するフレームの最小枚数
Ｋ：あるフレームｔに対して、その相手となるフレームｓを探す区間の幅（Ｋ＞Ｎ）
Ｌ：基準となるフレームｔを番号Ｔから前後に探す区間の幅
Δｔ：立体視のために映像から抽出するフレームの間隔（Δｔは１〜３程度）
Δθ：移動方向の差の許容最大角度（Δθ＝３°〜５°）
ｔ＝Ｔ−Ｌ，Ｔ−Ｌ＋１，・・・，Ｔ−１，Ｔ，Ｔ＋１，・・・，Ｔ＋Ｌ−１，Ｔ＋Ｌ
これらの設定値は、システムの利用目的や立体表示する映像の状況に応じて予め定めておく。また、画像を回転して表示することが許されるか否かも予め決めておく。
（ステップ２０３）
操作者２３が２Ｄ表示装置１に表示されている映像に関連して、立体情報を取得したいときは、その命令を入力手段６を操作して入力する。これにより、探索範囲の基準となるフレームＴと最初のフレームｔ＝Ｔ−Ｌが決定される。
（ステップ２０４）
変数ｒの初期値をｔ（つまり、この時点ではフレームｒ＝フレームｔ）とし、フレームｒに対してフレームｓ（＝ｒ＋Δｔ）を選ぶ。
（ステップ２０５）
フレームｒとフレームｓの画像から移動ベクトルを算出する。
【００２０】
（ステップ２０６）
前記ステップの算出結果を判定して、ステレオ画像が形成できる対であるか否かの判定をする。
（ステップ２０７）
多数の移動ベクトルから平均移動方向を決定する。
（ステップ２０８）
平均移動方向がほぼ水平であるかを判定して、そうであるか、または画像の回転が許されるならば、以下の処理へ進み、そうでなければステップ２０２で規定された新たなｔの値を選び、ステップ２０４以降を繰り返す。
（ステップ２０９）
フレームｒをフレームｒ0 とし、フレームｓを新たにフレームｒとし、フレームｓはｓ＝ｒ＋Δｔとして、ステップ２０５からステップ２０７を繰り返し、新たに得られた（ｒ，ｓ）の対のｒにたいして、順にｒ1，ｒ2，・・・と番号を振る。
（ステップ２１０，２１１）
ｒN-1 まで（もしくはそれ以上）得られたら、各（ｒ、ｓ）間の平均移動方向がΔθ内に納まっているか否かを判定する。納まっていない場合には、ステップ２０２で規定された新たなｔの値を選び、ステップ２０４以降を繰り返す。
（ステップ２１２，２１３）平均移動方向が水平でないならば、平均移動方向が水平になるように、抽出したフレームｒ0 ，ｒ1 ，・・・の画像を回転する。
（ステップ２１４）
フレームｒ0 ，ｒ1 ，・・・を用いて立体表示を行う。
（ステップ２１５）
前記表示が操作者２３が満足できるものであるかを判断させる。
操作者２３が満足できるものであれはステップ２１８で終了する。
【００２１】
（ステップ２１６）
前記２１４で満足すべきもので無いとされた場合は、ステップ２０２で規定された新たなｔの値を選び、ステップ２０４以降を繰り返す。
（ステップ２１７）
予め予定する全てのｔにたいする検討を行なっても、判定が成立しないときは、その旨の表示を行なう。
（ステップ２１８）
終了し、操作者２３の次の立体視表示の時点の指示を持つ。
【産業上の利用可能性】
【００２２】
本発明方法によれば、単一のビデオカメラ映像から、静止画としての立体表示（表示像または立体印刷）を作成することができる。例えば、個人向けのエンターテインメント・ソフトの一部として利用される可能性がある。また、上部消化管（胃、食道等）下部消化管（直腸、大腸等）の内視鏡検査に用いられる軟性内視鏡カメラを用いて、立体視診断を可能にする装置の動作方法を提供できる。また前記診断をリアルタイムでしかも十分な診断を可能にする良質な立体像を提供することができる。したがって医療装置の産業の分野に利用できる。
【図面の簡単な説明】
【００２３】
【図１】本発明による方法を実施するための装置の実施例を示すブロック図である。
【図２】本発明による方法を軟性内視鏡ビデオ映像に対して実施するための装置の実施例を示すブロック図である。
【図３】本発明による方法で使用する立体視画像形成条件の算出の原理を説明するための略図である。
【図４】立体表示に適するフレーム集合を選定する第１の方法を説明するための流れ図である。
【図５】立体表示に適するフレーム集合を選定する第２の方法を説明するための流れ図である。
【符号の説明】
【００２４】
１ 表示装置（２Ｄモニタ）
２ フレームメモリ
３ ３Ｄ表示手段
４ ＣＰＵ
５ システムバス
６ 入力手段
７ カメラ操作手段
８ メモリ
９ ビデオカメラ
９ａ ビデオ入力インタフェイス
１０ 単眼軟性内視鏡カメラ
１０ａ，１０ｂ カメラ先端の位置
１１ 撮影対象物
１３ 医師
１４ 体内腔（例えば胃壁）
２３ 操作者
【技術分野】
【０００１】
本発明は、単眼ビデオ映像から、静止画として立体視するに適した３以上の画像集合を自動的に抽出し、表示する単一のビデオカメラの映像からの静止画立体表示方法に関する。
【背景技術】
【０００２】
ＶＴＲやビデオカメラ等から出力されたり、ＴＶ放送により伝送された２次元画像を立体視画像に変換する方法が提案されている。特許文献１記載の発明も、その一つであり、動きベクトルという概念を用いて、視線方向との関連を付けている。
特許文献２は、ビデオ映像から左右２枚の両眼立体視に適する画像を抽出し、立体表示する方法を提案している。
非特許文献１は、前記動きベクトルと同じ概念の（オプティカルフロー）についての詳細な説明をしている。
【特許文献１】特開平７−２７４２０９号公報
【特許文献２】国際公開第２００５／０９１６４９号公報
【非特許文献１】太田 直哉 信頼性指標をもつ移動ベクトルの検出 コンピュータビジョン’９０ 情報処理学会シンポジウム論文集，Ｖｏｌ．９０，Ｎｏ．２，ｐｐ．２１−３０，１９９０
【０００３】
本発明は、一般のビデオ映像に適用可能であるが、例として、上部消化管（胃、食道等）、下部消化管（直腸、大腸等）の内視鏡検査に用いられる軟性内視鏡に応用する例を述べる。上部消化管および下部消化管の内視鏡検査に用いられる軟性内視鏡は、従来単眼、すなわち１つの内視鏡カメラを用いて実現されている。２つのカメラを組み込んで立体視すれば、単眼内視鏡では医師が経験的に判断している管壁の凹凸を、直接立体視することができるはずである。そこで、従来から双眼立体視内視鏡の開発が何度も試みられてきた。しかし、狭い（直径１０ｍｍ程度以下）内視鏡先端に２つのレンズを組み込むことによる明るさと解像度の低下、立体視表示に特殊な装置を用い特殊な眼鏡の着用を要するシステムが多いこと、立体視をする医師の疲労などの理由により、実用に供されているものはまだない。
単眼軟性内視鏡のビデオ映像を立体視可能にするシステムと称するもの（橋本大定氏の提案）もあるが、擬似的な立体視に留まっている。
【０００４】
特許文献３記載の発明は、内視鏡システムおよび内視鏡画像の奥行き情報検出用制御プログラムを記録した記録媒体に関するものである。
運動視差の原理を用い、内視鏡自身に取り付けられた位置・方向センサにより得られる内視鏡の動きとこれに伴って変化する内視鏡像の対応位置の変化から、運動視差に相当する情報を演算処理により得ることにより、単眼でも奥行きの情報を得られるようにした内視鏡システムを提案している。
【特許文献３】特開２０００−２１０２４８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献３記載の発明は内視鏡の実施例として、単眼硬性内視鏡を示しているが、このような内視鏡は人の胃壁の診断等には適さない。本件発明者等による前述した特許文献２による単眼軟性内視鏡カメラのビデオ映像による立体表示方法は特許文献３の問題を解決したものであるが、これに対して単一の視点ではなく視点を変えて立体像がえられないかという要請がある。また内視鏡映像の立体視以外にも静止画立体像の再現をしたいという要請もある。
本発明は、３枚以上の画像を用いる立体表示システムへも適用可能となるように拡張した方法を提供するものである。
本発明の主たる目的は単一のビデオカメラの映像からの３以上の画像を抽出して静止画立体表示を可能にする単一のビデオカメラの映像からの静止画立体表示方法を提供することにある。
さらに、本発明の目的は、当然に体内腔の診断装置に適用できる上部消化管（胃、食道等）下部消化管（直腸、大腸等）の内視鏡検査に用いられる軟性内視鏡カメラを用いて、立体視診断を可能にする装置の利用方法である単一のビデオカメラの映像からの静止画立体表示方法を提供することにある。
本発明のさらに詳細な目的は、前記診断をリアルタイムでしかも十分な診断を可能にする良質な立体像を提供することができる単一のビデオカメラの映像からの静止画立体表示方法を提供することにある。
【課題を解決するための手段】
【０００６】
前記目的を達成するために、本発明による請求項１記載の単一のビデオカメラの映像からの静止画立体表示方法は、
単一のビデオカメラの映像からの静止画立体表示方法は、
撮像対象に対して相対移動可能に設けられたビデオ映像取得装置と、
前記ビデオ映像出力を表示する表示装置と、
１以上の立体視画像形成条件を記憶する動作メモリと、
前記映像出力を経時間的に記憶するフレームメモリと、
必要に応じて前記立体視画像形成条件の選択の入力および操作者により立体像を表示する時点を指定する入力手段と、
前記入力手段により指定された時点の前後において、立体像をなす複数のフレームを選定する演算手段と、
前記フレームに基づく立体像を表示する立体表示手段と、および
前記各構成にシステムバスを介して接続され制御を行なうＣＰＵとによりシステムを構成し、
前記演算手段は
(a) 選択された立体視画像形成条件による命令およびフレームの探索範囲を定める定数Ｎ，Ｋ，Ｌを用意するステップと、
(b) 立体表示する複数のフレームからなる集合の探索範囲を設定するステップと、
(c) ２つのフレーム間の移動ベクトルの算出ステップと、
(d) 立体視画像形成条件を満たしているかの判断をする判断ステップと、
(e) 前記判断ステップで条件を満たしているときは移動方向が水平になるように両フレームを回転して、条件を満たしたフレームとその間の１以上のフレームを前記立体表示手段に表示するステップと、
(f) 前記(d) の条件を満たさなかった場合または前記(e) での表示が不満足である場合は、前記フレームの集合とは異なるフレームの集合について前記(c) 〜(e) のステップを実行するように構成されている。
本発明による請求項２記載の単一のビデオカメラの映像からの静止画立体表示方法は、請求項１記載の方法において、
前記選択された立体視画像形成条件は、前記移動ベクトルの方向の平均値である平均移動ベクトルを求め、その方向から、予め定めた限界内の移動ベクトルの割合が予め定められた割合を越えることを条件とするものである。
本発明による請求項３記載の単一のビデオカメラの映像からの静止画立体表示方法は、請求項１記載の方法において、
前記選択された立体視画像形成条件は、画像の中心を通る水平線および垂直線によって画像を４分割し、各部分画像中の平均移動ベクトルを求め、これらの平均移動ベクトルと、画像全体の中心と部分画像の中心とを結ぶ直線とのなす４つの角の平均値が予め定められた角度以上であることを条件とするものである。
本発明による請求項４記載の単一のビデオカメラの映像からの静止画立体表示方法は、請求項１記載の方法において、
前記ビデオ映像取得装置は、体内腔で先端が移動させられる内視鏡カメラである。
【発明の効果】
【０００７】
前記方法によれば、通常のビデオカメラで撮影したビデオ映像から、静止画ではあるが立体表示を得ることができる。特にこれを上部消化管（胃、食道等）下部消化管（直腸、大腸等）の内視鏡検査に用いられる軟性内視鏡カメラに用いれば、立体視診断が可能となる。
また前記診断をリアルタイムでしかも十分な診断を可能にする良質な立体像を提供することができる。オプティカルフローにより、フレームを選択するのであり、軟性内視鏡カメラ（一般にはビデオカメラ）の方向や位置を他の手段で特定する必要はない。
特許文献２における、左眼用と右眼用の２枚の画像を用いてステレオ視する方法では、ステレオ視する視点が特定の位置に限られる。本発明で提案している方法では、複数の画像を用いるために立体視できる視点の範囲が広がることと、その範囲で視点を動かすことにより運動視差の効果も得られてより立体感が増すという効果が得られる。
【発明を実施するための最良の形態】
【０００８】
（本発明によるフレーム対選択の原理）図１は、本発明による方法を実施するための装置の実施例を示すブロック図である。本発明による方法は、単一のビデオカメラ９から得られるビデオ映像をビデオ表示装置１で見ながら、操作者が立体表示を得たい画像の時点（これをフレームＴとする）を入力手段６によって指示する。これにより、システムはこのフレームの前後で数フレーム離れた２つのフレーム（フレームｔとフレームｓ）間で、画像内容の移動方向（つまり、カメラの移動方向の逆方向）の推定を行う。
移動方向の推定には、既存の任意の推定方法を利用できるが本願では、オプティカルフローとして知られている画像の局所相互相関を用いる。ビデオカメラ９の移動方向の前進／後退成分および回転成分が小さく、従ってカメラの光軸にほぼ垂直な併進運動とみなされる（これを立体視画像形成条件と呼ぶ）フレーム対の集合のみを処理対象として取り出す。
【０００９】
併進運動の方向がほぼ水平であるフレーム集合に属する画像を立体視表示可能な表示装置に送り、立体表示する。併進運動の方向が水平に近くなく、かつ画像を回転して表示しても違和感のない場合には、その方向が水平となるようフレーム集合の画像を回転して立体視可能な表示装置に表示する。
表示する立体視表示装置の種類・原理は種々あるが、本発明による方法では、３Ｄ表示用のディスプレイ３あるいは立体印刷を用いる。
【００１０】
本システムを一般のビデオ映像に対して利用する場合には、ビデオ映像を再生しながら事後に立体視表示を行なうのが普通であると考える。
本システムを軟性内視鏡ビデオ映像に用いる場合には、前述したフレームＴは医師が内視鏡を被験者の体内で操作中に、何らかの手段で指令を発し、その前後のビデオ映像から上記の手段で立体視に適切なフレーム集合を選んでリアルタイムの立体視表示をするものである。
【００１１】
（フレーム対選択のツールとしてのオプティカルフロー）立体視条件を満足するフレーム集合は、立体視画像形成条件を満たすフレーム対の集合によって構成される。フレーム対の画像選定のために用いるオプティカルフローについて説明する。図３は、本発明による方法で使用する立体視画像形成条件の算出の原理を説明するための略図である。
オプティカルフローは、前時刻の画像中の各点が、後時刻の画像においてどの点に移動したかを表すベクトル群（以下では、各ベクトルを移動ベクトルと呼ぶ）である。ビデオカメラの撮影対象は静止しているものと仮定すると、オプティカルフローはビデオカメラ自身の動きを表す。なお、そのために、
１．対象物は大まかに言って、カメラの画像面と平行であると仮定する（対象物を、斜め方向からでなく、正面から映すという仮定であり、通常成り立つと考える）。
２．計算されたオプティカルフローを各点の移動ベクトルには誤差の大きいものも含まれるが、全体的として見れば誤差の小さいものが多い。
【００１２】
次にカメラの動きをいくつかの場合に分けて検討する。
（イ）カメラが対象物に対して前進（後退）している場合には、オプティカルフローはある点から発する（ある点に至る）放射状の移動ベクトル群となる。すなわち、これらの場合、移動ベクトルの方向は、ほぼあらゆる方向にわたる。
（ロ）カメラがその光軸を軸として回転している場合には、オプティカルフローの移動ベクトル群は光軸と画像面との交点を中心とする回転運動になる。この場合も、移動ベクトルの方向はあらゆる方向にわたる。
（ハ）カメラがその光軸と直行する軸回りに回転している場合には、以下に述べるカメラの併進運動で近似する。
（ニ）カメラが画像面に平行に併進運動している場合には、オプティカルフローの移動ベクトルはカメラの動きと逆向きの動きを示し、その方向はすべての移動ベクトルにおいて同一である。
なお、移動ベクトルの長さは、カメラから近い点では長く、遠い点では短くなる。しかし、内視鏡画像において、各点の個々のオプティカルフローが正確に求められることは期待薄のため、この情報から直接に対象物の３次元形状を得ることはできない。
（ホ）一般には、カメラの運動は以上の運動成分を合成したものになる。その中から（ニ）の平行移動成分が主で、他は無視できるようなフレームの対だけを選び出すことが目的となる。
【００１３】
以上の原理を背景に、カメラの運動が主として平行移動成分のみであるフレーム対を検出するには、オプティカルフローを構成する移動ベクトルの方向の一様性を何らかの方法でチェックすればよい。次の方法のいずれかまたは双方を併用する。
（方法その１）まず、移動ベクトルの方向の平均値を求め、それを画像全体の移動方向（平均移動ベクトルと呼ぶ）とする。この方向から、ある限界（例えば±１０°）内の移動ベクトルが全体のある割合（例えば３０％）以上あれば、平行移動成分が主であると判定する（図３の（Ａ））。
（方法その２）画像の中心を通る水平線および垂直線によって画像を４分割し、各部分画像中の平均移動ベクトルを求める。これらの平均移動ベクトルと、画像全体の中心と部分画像の中心とを結ぶ直線とのなす４つの角の平均値がある角度（例えば７５°）以上であれば、平行移動成分が主であると判定する（図３の（Ｂ））。
【実施例】
【００１４】
以下図面等を参照して本発明による方法の実施例をさらに詳しく説明する。
図１は、本発明による方法を実施するための装置の実施例を示すブロック図である。
操作者２３は撮影対象物１１をビデオカメラ９を用いて撮影する。この図では撮影対象物１１が固定していてビデオカメラ９を移動させながら撮影する場合を想定したが、ゆっくりと移動する撮影対象物１１をビデオカメラ９を固定して撮影してもよい。この撮影は３Ｄ表示を行う以前ならいつでもかまわない。
ビデオカメラ９からの映像はビデオ入力インタフェイス９ａを介して２Ｄ表示装置１とフレームメモリ２に接続されている。システムバス５には前述したビデオカメラ９がビデオ入力インタフェイス９ａを介して、よく知られているレンチキュラー方式等の３Ｄ表示手段３が、インタフェイス３ａを介して接続されている。
ＣＰＵ４、操作者２３が立体視をしたい時点を指示する入力手段６、メモリ８がさらに接続されている。操作者２３は、２Ｄ表示装置１に表示されている映像に関連して、立体情報を取得したいときは、その命令を入力手段６を操作して入力する。入力手段６は立体視画像形成条件の選択の入力にも用いられる。
【００１５】
立体表示に適するフレーム集合を選定するには２つの方法がある。第１は、立体視画像形成条件を満たすフレーム対として、できるだけ時間間隔の大きい対を選び、それらを両端としてその間のフレームをすべてを選択する（フレーム数が多ければ適宜間引くことも可能である）。これは、時間軸上で両端のフレーム間の移動方向が平行併進運動であるならば、その中間でも同じ方向への運動であるだろうと仮定することになる。
第２の方法は、時間的に連続するフレーム対の間ですべて立体視画像形成条件が成立し、かつ移動方向がほぼ同じと見なせるフレームの集合を選定する方法である。
【００１６】
図４は、上記の第１の方法を説明するための流れ図である。この流れ図を図１に示したシステム対応で説明する。この方法は同様に図２に示したシステムにおいても実施可能である。図２に示したシステムでは、図１の操作者２３が医師１３とカメラ操作手段７に対応し、ビデオカメラ９が単眼軟性内視鏡カメラ１０に対応する点においてのみ異なる。なお図２において、１ｂはカメラインタフェイスである。
（ステップ１０１）
入力手段６等による操作者の指示により、前述したシステムを起動する。このときビデオカメラ９はすでにある時間移動しつつ映像を表示装置に表示し、かつフレームメモリに記録している。
（ステップ１０２）
ＮとＫとＬを用意する。
Ｎ：立体視のために映像から抽出するフレームの最小枚数
Ｋ：あるフレームｔに対して、その相手となるフレームｓを探す区間の幅（Ｋ＞Ｎ）
Ｌ：基準となるフレームｔを番号Ｔから前後に探す区間の幅
ｔ＝Ｔ−Ｌ，Ｔ−Ｌ＋１，・・・，Ｔ−１，Ｔ，Ｔ＋１，・・・，Ｔ＋Ｌ−１，Ｔ＋Ｌ
ｓ＝ｔ＋Ｋ，ｔ＋Ｋ−１，・・・，ｔ−Ｎ＋１
これらの設定値は、システムの利用目的や立体表示する映像の状況に応じて予め定めておく。また、画像を回転して表示することが許されるか否かも予め決めておく。
（ステップ１０３）
操作者２３が２Ｄ表示装置１に表示されている映像に関連して、立体情報を取得したいときは、その命令を入力手段６を操作して入力する。これにより、探索範囲の基準となるフレームＴと最初のフレームｔ＝Ｔ−Ｌが決定される。
（ステップ１０４）
前記フレームに対応するフレームｔより後のフレームｓがステップ１０２で入力された設定に基づいて決定される。前のステップで指定されたフレームｔに対してフレームｓ（＝ｔ＋Ｋ）を選ぶ。
（ステップ１０５）
フレームｔとフレームｓの画像から移動ベクトルを算出する。
【００１７】
（ステップ１０６）
前記ステップの算出結果を判定して、ステレオ画像が形成できる対であるか否かの判定をする。
（ステップ１０７）
多数の移動ベクトルから平均移動方向を決定する。
（ステップ１０８）
フレームｔとフレームｓの間の全てのフレームを抽出する（フレーム数が多ければ適宜間引くことも可能である）。
（ステップ１０９）
平均移動方向がほぼ水平であるかを判定して、そうであればステップ１１２へ進み立体表示する。
（ステップ１１０，１１１）
画像の回転が許されるならば、平均移動方向が水平になるように、抽出したフレームｔ，ｓ間の画像を回転する。
（ステップ１１２）
抽出した画像を用いて立体表示を行う。
（ステップ１１３）
前記表示が操作者２３が満足できるものであるかを判断させる。
操作者２３が満足できるものであれはステップ１１７で終了する。
【００１８】
（ステップ１１４），（ステップ１１５）
前記１０６のステップで判定が成立しないとき、前記１１０のステップで画像の回転が許されないとき、および前記１１３で満足すべきもので無いとされた場合は、前記ｔ，ｓに関連して他の対を選択して、ステップ１０３〜１０５を行い他の組についての演算を行なう。
（ステップ１１６）
予め予定する全てのｔ，ｓの組み合わせの検討を行なっても、判定が成立しないときは、その旨の表示を行なう。
（ステップ１１７）
終了し、操作者２３の次の立体視表示の時点の指示を持つ。
【００１９】
図５は、上記の第２の方法を説明するための流れ図である。
この第２の方法も、前述のように、図２に示したシステムにおいても実施可能である。図２に示したシステムでは、図１の操作者２３が医師１３とカメラ操作手段７に対応し、ビデオカメラ９が単眼軟性内視鏡カメラ１０に対応する点においてのみ異なる。
（ステップ２０１）
入力手段６等による操作者の指示により、前述したシステムを起動する。このときビデオカメラ９はすでにある時間移動しつつ映像を表示装置に表示し、かつフレームメモリに記録している。
（ステップ２０２）
ＮとＫとＬとΔｔとΔθを用意する。
Ｎ：立体視のために映像から抽出するフレームの最小枚数
Ｋ：あるフレームｔに対して、その相手となるフレームｓを探す区間の幅（Ｋ＞Ｎ）
Ｌ：基準となるフレームｔを番号Ｔから前後に探す区間の幅
Δｔ：立体視のために映像から抽出するフレームの間隔（Δｔは１〜３程度）
Δθ：移動方向の差の許容最大角度（Δθ＝３°〜５°）
ｔ＝Ｔ−Ｌ，Ｔ−Ｌ＋１，・・・，Ｔ−１，Ｔ，Ｔ＋１，・・・，Ｔ＋Ｌ−１，Ｔ＋Ｌ
これらの設定値は、システムの利用目的や立体表示する映像の状況に応じて予め定めておく。また、画像を回転して表示することが許されるか否かも予め決めておく。
（ステップ２０３）
操作者２３が２Ｄ表示装置１に表示されている映像に関連して、立体情報を取得したいときは、その命令を入力手段６を操作して入力する。これにより、探索範囲の基準となるフレームＴと最初のフレームｔ＝Ｔ−Ｌが決定される。
（ステップ２０４）
変数ｒの初期値をｔ（つまり、この時点ではフレームｒ＝フレームｔ）とし、フレームｒに対してフレームｓ（＝ｒ＋Δｔ）を選ぶ。
（ステップ２０５）
フレームｒとフレームｓの画像から移動ベクトルを算出する。
【００２０】
（ステップ２０６）
前記ステップの算出結果を判定して、ステレオ画像が形成できる対であるか否かの判定をする。
（ステップ２０７）
多数の移動ベクトルから平均移動方向を決定する。
（ステップ２０８）
平均移動方向がほぼ水平であるかを判定して、そうであるか、または画像の回転が許されるならば、以下の処理へ進み、そうでなければステップ２０２で規定された新たなｔの値を選び、ステップ２０４以降を繰り返す。
（ステップ２０９）
フレームｒをフレームｒ0 とし、フレームｓを新たにフレームｒとし、フレームｓはｓ＝ｒ＋Δｔとして、ステップ２０５からステップ２０７を繰り返し、新たに得られた（ｒ，ｓ）の対のｒにたいして、順にｒ1，ｒ2，・・・と番号を振る。
（ステップ２１０，２１１）
ｒN-1 まで（もしくはそれ以上）得られたら、各（ｒ、ｓ）間の平均移動方向がΔθ内に納まっているか否かを判定する。納まっていない場合には、ステップ２０２で規定された新たなｔの値を選び、ステップ２０４以降を繰り返す。
（ステップ２１２，２１３）平均移動方向が水平でないならば、平均移動方向が水平になるように、抽出したフレームｒ0 ，ｒ1 ，・・・の画像を回転する。
（ステップ２１４）
フレームｒ0 ，ｒ1 ，・・・を用いて立体表示を行う。
（ステップ２１５）
前記表示が操作者２３が満足できるものであるかを判断させる。
操作者２３が満足できるものであれはステップ２１８で終了する。
【００２１】
（ステップ２１６）
前記２１４で満足すべきもので無いとされた場合は、ステップ２０２で規定された新たなｔの値を選び、ステップ２０４以降を繰り返す。
（ステップ２１７）
予め予定する全てのｔにたいする検討を行なっても、判定が成立しないときは、その旨の表示を行なう。
（ステップ２１８）
終了し、操作者２３の次の立体視表示の時点の指示を持つ。
【産業上の利用可能性】
【００２２】
本発明方法によれば、単一のビデオカメラ映像から、静止画としての立体表示（表示像または立体印刷）を作成することができる。例えば、個人向けのエンターテインメント・ソフトの一部として利用される可能性がある。また、上部消化管（胃、食道等）下部消化管（直腸、大腸等）の内視鏡検査に用いられる軟性内視鏡カメラを用いて、立体視診断を可能にする装置の動作方法を提供できる。また前記診断をリアルタイムでしかも十分な診断を可能にする良質な立体像を提供することができる。したがって医療装置の産業の分野に利用できる。
【図面の簡単な説明】
【００２３】
【図１】本発明による方法を実施するための装置の実施例を示すブロック図である。
【図２】本発明による方法を軟性内視鏡ビデオ映像に対して実施するための装置の実施例を示すブロック図である。
【図３】本発明による方法で使用する立体視画像形成条件の算出の原理を説明するための略図である。
【図４】立体表示に適するフレーム集合を選定する第１の方法を説明するための流れ図である。
【図５】立体表示に適するフレーム集合を選定する第２の方法を説明するための流れ図である。
【符号の説明】
【００２４】
１ 表示装置（２Ｄモニタ）
２ フレームメモリ
３ ３Ｄ表示手段
４ ＣＰＵ
５ システムバス
６ 入力手段
７ カメラ操作手段
８ メモリ
９ ビデオカメラ
９ａ ビデオ入力インタフェイス
１０ 単眼軟性内視鏡カメラ
１０ａ，１０ｂ カメラ先端の位置
１１ 撮影対象物
１３ 医師
１４ 体内腔（例えば胃壁）
２３ 操作者
【特許請求の範囲】
【請求項１】
単一のビデオカメラの映像からの静止画立体表示方法は、
撮像対象に対して相対移動可能に設けられたビデオ映像取得装置と、
前記ビデオ映像出力を表示する表示装置と、
１以上の立体視画像形成条件を記憶する動作メモリと、
前記映像出力を経時間的に記憶するフレームメモリと、
必要に応じて前記立体視画像形成条件の選択の入力および操作者により立体像を表示する時点を指定する入力手段と、
前記入力手段により指定された時点の前後において、立体像をなす複数のフレームを選定する演算手段と、
前記フレームに基づく立体像を表示する立体表示手段と、および
前記各構成にシステムバスを介して接続され制御を行なうＣＰＵとによりシステムを構成し、
前記演算手段は
(a) 選択された立体視画像形成条件による命令およびフレームの探索範囲を定める定数Ｎ，Ｋ，Ｌを用意するステップと、
(b) 立体表示する複数のフレームからなる集合の探索範囲を設定するステップと、
(c) ２つのフレーム間の移動ベクトルの算出ステップと、
(d) 立体視画像形成条件を満たしているかの判断をする判断ステップと、
(e) 前記判断ステップで条件を満たしているときは移動方向が水平になるように両フレームを回転して、条件を満たしたフレームとその間の１以上のフレームを前記立体表示手段に表示するステップと、
(f) 前記(d) の条件を満たさなかった場合または前記(e) での表示が不満足である場合は、前記フレームの集合とは異なるフレームの集合について前記(c) 〜(e) のステップを実行するように構成されている
単一のビデオカメラの映像からの静止画立体表示方法。
【請求項２】
前記選択された立体視画像形成条件は、前記移動ベクトルの方向の平均値である平均移動ベクトルを求め、その方向から、予め定めた限界内の移動ベクトルの割合が予め定められた割合を越えることを条件とするものである請求項１記載の単一のビデオカメラの映像からの静止画立体表示方法。
【請求項３】
前記選択された立体視画像形成条件は、画像の中心を通る水平線および垂直線によって画像を４分割し、各部分画像中の平均移動ベクトルを求め、これらの平均移動ベクトルと、画像全体の中心と部分画像の中心とを結ぶ直線とのなす４つの角の平均値が予め定められた角度以上であることを条件とするものである請求項１記載の単一のビデオカメラの映像からの静止画立体表示方法。
【請求項４】
前記ビデオ映像取得装置は、体内腔で先端が移動させられる内視鏡カメラである請求項１記載の単一のビデオカメラの映像からの静止画立体表示方法。
【請求項１】
単一のビデオカメラの映像からの静止画立体表示方法は、
撮像対象に対して相対移動可能に設けられたビデオ映像取得装置と、
前記ビデオ映像出力を表示する表示装置と、
１以上の立体視画像形成条件を記憶する動作メモリと、
前記映像出力を経時間的に記憶するフレームメモリと、
必要に応じて前記立体視画像形成条件の選択の入力および操作者により立体像を表示する時点を指定する入力手段と、
前記入力手段により指定された時点の前後において、立体像をなす複数のフレームを選定する演算手段と、
前記フレームに基づく立体像を表示する立体表示手段と、および
前記各構成にシステムバスを介して接続され制御を行なうＣＰＵとによりシステムを構成し、
前記演算手段は
(a) 選択された立体視画像形成条件による命令およびフレームの探索範囲を定める定数Ｎ，Ｋ，Ｌを用意するステップと、
(b) 立体表示する複数のフレームからなる集合の探索範囲を設定するステップと、
(c) ２つのフレーム間の移動ベクトルの算出ステップと、
(d) 立体視画像形成条件を満たしているかの判断をする判断ステップと、
(e) 前記判断ステップで条件を満たしているときは移動方向が水平になるように両フレームを回転して、条件を満たしたフレームとその間の１以上のフレームを前記立体表示手段に表示するステップと、
(f) 前記(d) の条件を満たさなかった場合または前記(e) での表示が不満足である場合は、前記フレームの集合とは異なるフレームの集合について前記(c) 〜(e) のステップを実行するように構成されている
単一のビデオカメラの映像からの静止画立体表示方法。
【請求項２】
前記選択された立体視画像形成条件は、前記移動ベクトルの方向の平均値である平均移動ベクトルを求め、その方向から、予め定めた限界内の移動ベクトルの割合が予め定められた割合を越えることを条件とするものである請求項１記載の単一のビデオカメラの映像からの静止画立体表示方法。
【請求項３】
前記選択された立体視画像形成条件は、画像の中心を通る水平線および垂直線によって画像を４分割し、各部分画像中の平均移動ベクトルを求め、これらの平均移動ベクトルと、画像全体の中心と部分画像の中心とを結ぶ直線とのなす４つの角の平均値が予め定められた角度以上であることを条件とするものである請求項１記載の単一のビデオカメラの映像からの静止画立体表示方法。
【請求項４】
前記ビデオ映像取得装置は、体内腔で先端が移動させられる内視鏡カメラである請求項１記載の単一のビデオカメラの映像からの静止画立体表示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２００７−２６０１３８（Ｐ２００７−２６０１３８Ａ）
【公開日】平成１９年１０月１１日（２００７．１０．１１）
【国際特許分類】
【出願番号】特願２００６−８９０４６（Ｐ２００６−８９０４６）
【出願日】平成１８年３月２８日（２００６．３．２８）
【出願人】（３０４０２３３１８）国立大学法人静岡大学 (416)
【出願人】（５０４３００１８１）国立大学法人浜松医科大学 (96)
【Ｆターム（参考）】
【公開日】平成１９年１０月１１日（２００７．１０．１１）
【国際特許分類】
【出願日】平成１８年３月２８日（２００６．３．２８）
【出願人】（３０４０２３３１８）国立大学法人静岡大学 (416)
【出願人】（５０４３００１８１）国立大学法人浜松医科大学 (96)
【Ｆターム（参考）】
[ Back to top ]