多視点裸眼立体内視鏡システム
【課題】本発明は、立体内視鏡システムに特有のストレスから手術スタッフを解放するとともに、質の高い施術を支援することができる新規な立体内視鏡システムを提供することを目的とする。
【解決手段】立体内視鏡用ステレオカメラによって取得されたステレオ画像に基づいて撮像対象の奥行値とＲＧＢ値を関連付けた３Ｄデータを生成し、当該３Ｄデータに基づいて描画した複数の仮想的な視点に対応する複数のステレオ画像が集約してなる多視点ステレオ画像を多視点裸眼立体ディスプレイ装置に表示させることによって、患部の実写映像の多視点裸眼立体視を実現する。
【解決手段】立体内視鏡用ステレオカメラによって取得されたステレオ画像に基づいて撮像対象の奥行値とＲＧＢ値を関連付けた３Ｄデータを生成し、当該３Ｄデータに基づいて描画した複数の仮想的な視点に対応する複数のステレオ画像が集約してなる多視点ステレオ画像を多視点裸眼立体ディスプレイ装置に表示させることによって、患部の実写映像の多視点裸眼立体視を実現する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体内視鏡システムに関し、より詳細には、多視点裸眼立体内視鏡システムに関する。
【背景技術】
【０００２】
近年、外科分野において内視鏡手術が急速に普及している。内視鏡手術によれば、鉗子などの手術器具と内視鏡スコープを挿入するための小さな切開だけで済むため、従来の開腹手術に比べて手術創を格段に小さくすることができ、患者の身体的負担を軽減することができる。現在、一般に多く行われている内視鏡手術においては、患部の画像が手術台に設置された大型モニターに映し出され、執刀医とその助手をはじめ、麻酔医や看護師などから構成される手術スタッフは、当該モニターを見ながら手術を行う。しかしながら、モニターに映し出される２Ｄ画像から患部の「奥行き」を正確に感じとることは難しく、空間認識の点から見れば、直接的に患部を目視することができる開腹手術に劣るといわざるを得なかった。
【０００３】
この点につき、最近、３Ｄ画像システムを適用した立体内視鏡システムが種々検討されている。立体内視鏡システムにおいて、手術スタッフは、患部の３Ｄ画像を見ながら手術することができる。特開２００７−０４４１５３号公報（特許文献１）は、そのような立体内視鏡装置を開示する。
【０００４】
ここで、現在最も多く用いられている眼鏡式立体内視鏡システムの原理について説明する。図２０は、眼鏡式立体内視鏡システム２００を示す。眼鏡式立体内視鏡システム２００は、内視鏡スコープの先端にステレオカメラ２０１を備え、配置された２つのＣＣＤカメラ（左目用カメラ２０２・右目用カメラ２０４）が対象物の左目用画像および右目用画像をそれぞれ撮像して画像出力制御部２０６に送信する。画像出力制御部２０６においては、画像切替部２０８がフレームシーケンシャル方式に則って左目用画像と右目用画像を交互に出力し、ディスプレイ２１０が左目用画像と右目用画像を交互に表示する。一方、手術スタッフは、専用の３Ｄメガネ２１２を装着した状態で、ディスプレイ２１０に表示される画像を見る。ここで、３Ｄメガネ２１２は、左目用画像と右目用画像の切り替えに同期して左右の視界を交互に遮断する液晶シャッターを備えているため、左目用画像は左目だけに見え、右目用画像は右目だけに見える。その結果、手術スタッフは、その脳内で左右の画像を合成し、対象物の立体イメージを得る。
【０００５】
しかしながら、上述した眼鏡式立体内視鏡システムを用いる手術スタッフについて、専用の３Ｄメガネに起因する肉体的・精神的ストレスが報告されている。アクティブシャッター特有のフリッカー現象に伴う眼精疲労や重量のある特殊なメガネを長時間装着することに伴う精神的ストレスなどはその一例である。さらに、眼鏡式立体内視鏡システムにおいて、単一視点のステレオ画像が映し出されることに起因する問題がある。すなわち、複数の手術スタッフがディスプレイ２１０を見ながら手術を行う場合、ディスプレイ２１０を正面から見る手術スタッフにおいては、実際の視点と画像の視点が一致するので問題はないが、ディスプレイ２１０を左側あるいは右側から見る手術スタッフにおいては、実際の患部の奥行きと画像から感受される奥行き感が一致せず、このことがバーチャルリアリティ酔い（ＶＲ酔い）の原因となっていた。外科手術においては、長時間にわたり細心の注意力と高度な集中力が要求されるため、手術環境からストレスの原因を出来る限り排除しなければならない。
【０００６】
上述した点に関し、近年、マルチビューの裸眼立体ディスプレイ装置の実用化が進んでいる。特開２００５−８６４１４号公報（特許文献２）は、そのような多視点裸眼立体ディスプレイ装置を開示する。図２１は、多視点裸眼立体ディスプレイ装置の機構を説明するための概念図である。多視点裸眼立体ディスプレイ装置３００は、多眼方式やインテグラルフォトグラフィー方式などの古くから知られる立体写真技術を応用したものであり、レンチキュラーレンズアレイ３０２を用いることによって、裸眼による立体視と多視点を同時に実現している。
【０００７】
図２１の右側に破線で囲んで示すように、多視点裸眼立体ディスプレイ装置３００においては、複数のピクセル（図２１に示す例においては７つのピクセル）が１単位として１つのレンチキュラーレンズ内に収められている。なお、各ピクセルは、縦方向（紙面に垂直方向）に並んだ図示しない３つのサブピクセル（ＲＧＢ）からなる。各ピクセルの光はレンチキュラーレンズによって屈折し、別々の方向に放射線状に出射する。この多重化されたピクセルとレンチキュラーレンズを組み合わせることによって、複数の異なる視点に対応付けられた複数のステレオ画像を集約してディスプレイ上に同時に表示することができる。
【０００８】
なお、多視点裸眼立体ディスプレイ装置３００に表示させるための多視点ステレオ画像は、３次元コンピュータグラフィックス（３ＤＣＧ）によって作成することができる。たとえば、７つの視点に対応する７組のステレオ画像（左目用画像および右目用画像の組）を３ＤＣＧによって作成する場合、予め形状データを定義したオブジェクトを仮想３次元空間に配置した上で、７組の仮想的なカメラ視点を設定し、各カメラ視点を原点とする仮想スクリーンに透視投影した場合のオブジェクトの２次元画像を計算によって求めて生成する（レンダリング）。なお、１視点に対応するステレオ画像は、左目視点に対応する画像と右目視点に対応する画像からなるので、都合、７×２＝１４の２次元画像を算出する必要がある。
【０００９】
上述した手順で生成された１４の２次元画像を構成する各画素データは、左目用画像および右目用画像が適切な視差を持つように、且つ、それぞれが予め定義された視点で結像するように、適切なピクセル座標が計算され割り当てられる。その結果、各視点に対応付けられたステレオ画像が当該視点に位置するユーザの左右の目に振り分けられて結像し、且つ、ユーザの視点移動に合わせてユーザの左右の目に結像するステレオ画像が遷移する。上述した機構によって裸眼による多視点立体視が実現される。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００７−０４４１５３号公報
【特許文献２】特開２００５−８６４１４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
本発明は、上記従来技術における課題に鑑みてなされたものであり、本発明は、立体内視鏡システムに特有のストレスから手術スタッフを解放するとともに、質の高い施術を支援することができる新規な立体内視鏡システムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明者は、立体内視鏡システムに特有のストレスから手術スタッフを解放するとともに、質の高い施術を支援することができる立体内視鏡システムにつき鋭意検討した結果、撮像対象の奥行値とＲＧＢ値を関連付けた３Ｄデータに基づいて、複数の仮想的な視点に対応する複数のステレオ画像をリアルタイムに生成し、これを既存の多視点裸眼立体ディスプレイ装置に表示させることによって、患部の実写映像の多視点裸眼立体視が可能になることを見出し、本発明に至ったのである。
【００１３】
すなわち、本発明によれば、ステレオカメラと、該ステレオカメラによって取得されたステレオ画像に基づいて多視点ステレオ画像を生成する多視点ステレオ画像生成部と、該多視点ステレオ画像を表示するための多視点裸眼立体ディスプレイとを含む立体内視鏡システムであって、多視点ステレオ画像生成部は、前記ステレオカメラによって取得されたステレオ画像の画素毎の奥行値とＲＧＢ値を対応付けた３Ｄデータを生成する３Ｄデータ生成部と、前記３Ｄデータに基づいて複数の仮想的な視点に対応する複数のステレオ画像が集約してなる多視点ステレオ画像を描画するレンダリング部とを含む立体内視鏡システムが提供される。
【００１４】
さらに、本発明によれば、ステレオ画像の各画素について視差を取得するために動的計画法に基づいてステレオマッチングを行う方法であって、注目画素を含んで縦方向に連続する複数の画素を輝度値取得領域として定義し、該複数の画素の各画素について算出した輝度距離の平均値またはその累乗根を前記ステレオマッチングにおけるコストとして定義することを特徴とする方法が提供される。本発明においては、前記輝度値取得領域をエッジにまたがって延在しないように動的に定義し、前記ステレオマッチングにおける斜め経路選択の重み係数が前記輝度距離の平均値の大きさに応じて大きくなるように設定することを好ましい。さらに、本発明においては、前記ステレオ画像において対象となる走査線を所定間隔毎に定義して該走査線上の各画素の視差を前記ステレオマッチングによって取得した上で、縦方向に存在する視差取得済みの２つの画素の間に位置する画素について、前記２つの画素の視差が変化しない場合には、前記２つの画素の間に位置する画素に前記２つの画素の視差を承継させ、前記２つの画素の視差が変化する場合には、前記２つの画素の間に位置する画素についてのみ新たに前記ステレオマッチングを行って視差を取得するといった一連の処理を実行することが好ましく、前記一連の処理を前記ステレオ画像の全画素の視差が取得されるまで再帰的に繰り返すことが好ましい。
【発明の効果】
【００１５】
上述したように、本発明によれば、立体内視鏡システムに特有のストレスから手術スタッフを解放するとともに、質の高い施術を支援することができる新規な立体内視鏡システムが提供される。本発明によれば、開放的な環境において、一斉に多人数が特別な観察道具に接触することなく、対象について連続的多視点から奥行感をつかむことができる。
【図面の簡単な説明】
【００１６】
【図１】本実施形態の多視点裸眼立体内視鏡システムの機能ブロック図。
【図２】ステレオ視計測の基本原理を説明するための概念図。
【図３】ステレオ視計測の基本原理を説明するための概念図。
【図４】ステレオ視計測の基本原理を説明するための概念図。
【図５】単一画素の輝度距離をコストとする従来のＤＰマッチングの概念図。
【図６】本実施形態における輝度値取得領域を説明するための概念図。
【図７】本実施形態における輝度値取得領域を説明するための概念図。
【図８】本実施形態における輝度値取得領域を説明するための概念図。
【図９】本実施形態における輝度値取得領域を決定する処理を示すフローチャート。
【図１０】大きな色の差の影響を低減する処理を説明するための概念図。
【図１１】本実施形態における視差承継処理を説明するための概念図。
【図１２】本実施形態における視差承継処理を示すフローチャート。
【図１３】視差計測実験に用いた４組のステレオ画像を示す図。
【図１４】ステレオ画像「Cones」について得られた結果を示す図。
【図１５】ステレオ画像「Teddy」について得られた結果を示す図。
【図１６】ステレオ画像「Tsukuba」について得られた結果を示す図。
【図１７】ステレオ画像「Venus」について得られた結果を示す図。
【図１８】パラメータαとＭＤＥ／Ｓの平均値との関係を示す図。
【図１９】パラメータαと正解率[%]の平均値との関係を示す図。
【図２０】従来の眼鏡式立体内視鏡システム示す図。
【図２１】多視点裸眼立体ディスプレイ装置の機構を説明するための概念図。
【発明を実施するための形態】
【００１７】
以下、本発明を図面に示した実施の形態をもって説明するが、本発明は、図面に示した実施の形態に限定されるものではない。なお、以下に参照する各図においては、共通する要素について同じ符号を用い、適宜、その説明を省略するものとする。
【００１８】
図１は、本発明の実施形態である多視点裸眼立体内視鏡システム１００の機能ブロック図を示す。本実施形態の多視点裸眼立体内視鏡システム１００は、ステレオカメラ２０１と、多視点ステレオ画像生成部１０２と、多視点裸眼立体ディスプレイ３００とを含んで構成されている。
【００１９】
ステレオカメラ２０１は、既存の立体内視鏡用カメラとして参照することができる。２つのＣＣＤカメラ（左目用カメラ２０２・右目用カメラ２０４）がそれぞれ撮像した対象物の左目用画像および右目用画像は、多視点ステレオ画像生成部１０２の３Ｄデータ生成部１０４に送信される。３Ｄデータ生成部１０４においては、受信した左目用画像および右目用画像に基づいて３Ｄデータが生成される。なお、本発明における３Ｄデータとは、画素毎に定義される情報であって、奥行値とＲＧＢ値を対応付けた情報をいう。
【００２０】
レンダリング部１０６は、３Ｄデータ生成部１０４が生成した３Ｄデータに基づいて、複数の仮想的な視点に対応する複数のステレオ画像をレンダリングする。具体的には、レンダリング部１０６は、３Ｄデータに含まれる奥行値に基づいて、実空間上の座標系の対象物（患部）の３次元座標値を計算により取得する。さらに、取得した３次元座標値に基づいて複数の仮想的な視点に対応する複数のステレオ画像をレンダリングし、レンダリングした各画像について適切なピクセル座標を割り当てて集約する。その結果、複数の仮想的な視点に対応する複数のステレオ画像が集約した１枚の多視点ステレオ画像が描画される。レンダリング部１０６が生成した多視点ステレオ画像は、多視点裸眼立体ディスプレイ３００に送信され表示される。
【００２１】
本実施形態の多視点裸眼立体内視鏡システム１００によれば、手術スタッフは専用のメガネを装着する必要がないため、開放的な環境下で施術することができる。また、本システムにおいては、どの方向からディスプレイ３００を見た場合でも、実際の対象の奥行きと画像から感受される奥行き感が一致するので、複数の手術スタッフが施術する場合であってもＶＲ酔いになることがない。また、視点を左右上下に少しずつ変えることによって運動視差が得られるため、単一視点の立体映像を観察する場合に比較して、対象物（患部）についてより自然な奥行き感を感受することが可能になる。このことは、施術の精度の向上に少なからず寄与するであろう。
【００２２】
以上、説明したように、従来の眼鏡式立体内視鏡システムにおいては、対象物（患部）について取得した単一視点のステレオ画像（左目用画像および右目用画像）をそのままの形で交互にディスプレイに表示することによって、単一視点の立体視を実現していたのに対し、本実施形態の多視点裸眼立体内視鏡システム１００においては、対象物（患部）について取得した単一視点のステレオ画像から、一旦、計算によって３Ｄデータを生成した上で、当該３Ｄデータに基づいて複数の仮想的な視点に対応する複数のステレオ画像を再構築し、当該複数のステレオ画像を集約した１枚の多視点ステレオ画像として表示させることによって、患部の実写映像の多視点裸眼立体視を実現することを特徴とする。
【００２３】
ここで、本システムの実用化のためには、まず第１に、複数の仮想的な視点に対応する複数のステレオ画像を再構築する際の根拠となる３Ｄデータにおける奥行値を高精度に算出する必要がある。誤った奥行値からは正しい奥行き感を反映したステレオ画像を再現できず、結果的に患部の観察精度が低下するからである。第２に、患部の実写動画をリアルタイムで表示する必要があるため、奥行値の算出処理速度のリアルタイム性を担保しなければならない。本発明においては、上述した２つの課題をクリアするための手段が３Ｄデータ生成部１０４の奥行値算出部１０８に実装される。以下、本実施形態の多視点裸眼立体内視鏡システム１００における特徴的な構成である奥行値算出部１０８の構成について、順を追って詳細に説明する。
【００２４】
本実施形態における奥行値算出部１０８の説明に入る前に、ステレオ画像から奥行値を取得する際に用いるステレオ視計測の基本原理を説明しておく。なお、以降の説明において、上述した「左目用カメラ」および「右目用カメラ」を「主カメラ」および「副カメラ」として参照する。図２は、ステレオ視計測の基本原理を説明するための概念図である。図２においては、実空間上の座標系（ワールド座標系）の３次元座標（x,y,z)に対して、主カメラ画像上の２次元座標(i,h)および副カメラ画像上の２次元座標(j,h)が定義されており、カメラをピンホールカメラとしてモデル化したうえで、主カメラの焦点をＰ、副カメラの焦点をＰ’、両カメラの焦点間の距離（基線長）をb、焦点からスクリーン（各カメラ画像）までの距離（焦点距離）をｆとして示している。なお、焦点距離ｆは、カメラをピンホールカメラとしてモデル化した場合に適切な値となるように、事前のカメラ校正で求めておく。
【００２５】
ここで、図２（ａ）に示すように、対象物上の任意の点Ａの主カメラ画像上の投影点をＭ，点Ａの副カメラ画像上の投影点をＳとし、副カメラの焦点Ｐ’および副カメラ画像をｘ軸方向に平行移動して、主カメラの焦点Ｐおよび主カメラ画像に完全に重ねると、図２（ｂ）に示す位置関係が得られる。ここで、ステレオ視計測における視差は、主カメラ画像上の投影点Ｍ(i,h)と副カメラ画像上の投影点Ｓ(j,h)の離間距離（i-j)として求めることができる。ここで、図２（ｂ）に示す三角形ＰＡＡ’と三角形ＰＳＭは相似の関係にあるので、下記式（１）が成立する。
【００２６】
【数１】
【００２７】
上記式（１）を変形すると、下記式（２）が得られる。
【００２８】
【数２】
【００２９】
上記式（２）によれば、視差（i-j)を求めることによって、対象物上の任意の点Ａまでの距離Ｚ（すなわち、奥行値）を導出できることが理解され、その結果、奥行値の算出処理の速度が視差（i-j)の算出処理の速度に依存することが理解されるであろう。ここで、カメラの取得画像がＲＧＢデジタル画像である場合、投影点Ｍおよび投影点Ｓは、ＲＧＢデジタル画像の画素Ｍおよび画素Ｓに置き換えることができるので、視差（i-j)の算出処理は、実質的に、画素Ｍおよび画素Ｓの座標値を求める処理と等価であるということができる。
【００３０】
図３（ａ）は、対象物を撮像した際の主カメラ画像および副カメラ画像を示す。ステレオ視計測装置においては、主カメラおよび副カメラが平行等位に配置されているので、主カメラ画像上の画素（以下、主画素という）に対応する副カメラ画像上の画素（以下、副画素という）は、同じ高さにある走査線上に存在するはずである。したがって、対象物上の任意の点に対応する主カメラ画像上の画素Ｍおよび副カメラ画像上の画素Ｓの正しい組み合わせを取得することは、図３（ｂ）に示すように、同じ高さの（すなわち、ｈ座標値が等しい）走査線上の２つの画素群のマッチング問題（いわゆるステレオマッチング）に帰着することが理解されるであろう。
【００３１】
図４（ａ）は、図３（ｂ）に示した主カメラ走査線と副カメラ走査線との間でステレオマッチングを行った結果を示す。図４（ａ）においては、主画素と副画素のマッチング結果を矢線で示している。
【００３２】
また、図４（ｂ）は、主カメラ走査線上の画素群と副カメラ走査線上の画素群の間のマッチング問題を解くためのマトリックスを示す。マトリックスの縦軸および横軸は、それぞれ、副カメラ画像のj座標軸および主カメラ画像のi座標軸に対応しており、マトリックスの各交点は、主画素と副画素の組に対応している。
【００３３】
マトリックスの各交点には、マッチングにおけるコストとして、当該交点に対応する主画素と副画素の間の輝度値の差の絶対値（以下、輝度距離という）が付与されている。ここで、同一の対象点Ａが写り込んだ正しい画素の組み合わせ（すなわち、画素Ｍおよび画素Ｓ）は、輝度値の差が最も小さい画素の組み合わせと考えることができる。したがって、上述したマッチング問題は、図４（ｂ）に示したマトリックスにおいて、左下の始点から右上の終点に至るパスのうち、パス上の各交点に付与されたコスト（輝度距離）の総和が最も小さくなる最適パスの探索問題に置き換えることができる。この探索問題は、以下の理由により、動的計画法に基づくステレオマッチング（以下、ＤＰマッチングという）によって処理することができる。
【００３４】
すなわち、図４（ａ）に示されるように、仮に、画素Ｍと画素Ｓを正しい組み合わせとすれば、その余の正しい組み合わせにおいて、画素Ｍよりも左側に存在する画素は、画素Ｓよりも左側に存在する画素と組み合うはずである。このことを図４（ｂ）に示すマトリックスに照らして考えれば、画素Ｍと画素Ｓの組み合わせの直前の正しい組み合わせ（交点）は、必ず画素Ｍと画素Ｓの交点から見て、左、下、斜め左下の３つのうちのいずれかに存在することを意味する。つまり、画素Ｍと画素Ｓの正しい組み合わせに至るまでの最適な組み合わせの列として、画素Ｍと画素Ｓの交点から見て、左、下、斜め左下の３つの各交点に至る３つの組み合わせの列の中から最適なものを選べばよいことになる。
【００３５】
図４（ｂ）に示すマトリックスを用いたＤＰマッチングにおいて、マトリックスの交点(i,j)に至る最適パスの総コストD(i,j)は、下記式（３）で表すことができる。なお、下記式（３）において、d(i,j)は、マトリックスの交点(i,j)に付与された輝度距離（コスト）を示し、D(i-1,j)、D(i-1,j-1)、D(i,j-1)は、交点(i,j)の直前の交点(i-1,j)、交点(i-1,j-1)、交点(i,j-1)に至るそれぞれの最適パスの総コストを示し、λは、斜めの経路を選択する重み係数を示す。
【００３６】
【数３】
【００３７】
ＤＰマッチングにおいては、図４（ｃ）に示すように、直前に求められたD(i-1,j)、D(i-1,j-1)、D(i,j-1)と、d(i,j)と、重み係数λを上記式（３）に代入し、最小値minを与えるものを最適パスとして選択するといった処理を図４（ｂ）に示すマトリックスの始点から終点に至るまで繰り返すことによって、始点から終点に至るパスのうち、パス上の各交点に付与されたコスト（輝度距離）の総和が最も小さくなる最適パスを決定することができる。
【００３８】
以上、ＤＰマッチングを用いたステレオ視計測の原理について説明してきたが、次に、本実施形態の多視点裸眼立体内視鏡システム１００における奥行値算出部１０８が備える特徴的な構成について説明する。本実施形態における奥行値算出部１０８の特徴は、上述した従来のステレオ視計測におけるＤＰマッチング方法を改良した新規なＤＰマッチング方法を採用する点にある。すなわち、本実施形態における新規なＤＰマッチング方法においては、まず第１に、正解率の向上のために、ＤＰマッチングにおけるコストを新たに定義する。第２に、ＤＰマッチングの正解率の向上のために、斜め経路選択の重み係数λを適応的に決定する構成を採用する。さらに、本実施形態における奥行値算出部１０８は、第３に、処理の高速化のために、マッチング処理の省略化のための構成を採用する。以下、上述した第１〜第３の各内容につき、順を追って詳細に説明する。
【００３９】
（ＤＰマッチングにおける新たなコスト定義の導入について）
従来のステレオ視計測におけるＤＰマッチングにおいては、図５（ａ）に示すように、注目する主画素(i,h)の輝度値ｍ(i,h)と、これと照合する副画素(j,h)の輝度値ｓ(j,h)の差の絶対値を輝度距離d(i,j)とし、この輝度距離d(i,j)をＤＰマッチングにおけるコストとして定義するものであった。しかしながら、このような単一の画素についての輝度距離をコストとする方法では、ノイズの影響を大きく受けざるを得ず、このことがマッチング正解率を低下させていた。さらに、単一の画素についての輝度距離をコストとする方法では、走査線上に同じ色（すなわち、同じ輝度値）の画素が続く領域において曖昧さを排除することができず、マッチング正解率の向上に限界があった。この点について、図５（ｂ）を参照して説明する。
【００４０】
図５（ｂ）は、単一の画素の輝度距離に基づくマッチングを示す。ここで、副カメラ画像上の画素（ロ）および画素（ハ）の輝度値が等しい場合、主カメラ画像の注目画素（イ）と副カメラ画像上の画素（ロ）の輝度距離は、主カメラ画像の注目画素（イ）と副カメラ画像上の画素（ハ）の輝度距離と等しくなって曖昧さが残る。このような従来法の問題点につき、本発明は、注目画素を含む複数の画素の輝度値を利用してコストを定義することによってこれを解決する。以下、この点について、図６を参照して説明する。
【００４１】
本発明においては、注目画素を含んで縦方向（ｈ軸方向）に連続する複数の画素を輝度値取得領域として定義する。具体的には、図６（ａ）の左側に太線で囲んで示すように、注目する主画素(i,h)を基準（０）として、走査線に対して垂直なｈ座標軸の正方向εＵ番目の画素を上端画素とし、ｈ座標軸の負方向εＬ番目（εＬは負の値とする）の画素を下端画素とする画素群を特定し、これらを輝度値取得領域Ｇｍとして定義する。同様に、マッチング対象となる副画素(j,h)を基準（０）として、ｈ座標軸の正方向にεＵ番目の画素を上端画素とし、ｈ座標軸の負方向にεＬ番目の画素を下端画素とする画素群を特定し、これらを輝度値取得領域Ｇｓとして定義する。すなわち、輝度値取得領域Ｇｓは輝度値取得領域Ｇｍと同じ大きさに定義される。
【００４２】
本発明においては、輝度値取得領域Ｇｍに含まれる各画素について算出した輝度距離の平均値を領域平均輝度距離ｄAVE.とし、この領域平均輝度距離ｄAVE.をＤＰマッチングにおけるコストとして定義する。領域平均輝度距離ｄAVE.を下記式（４）に示す。なお、下記式（４）において、εはｈ座標の加算値を示し、Ｎは輝度値取得領域Ｇを構成する画素数（εＵ−εＬ+１）を示し、ｍは主画素の輝度値を示し、ｓは副画素の輝度値を示す。
【００４３】
【数４】
【００４４】
本発明がＤＰマッチングにおけるコストとして領域平均輝度距離ｄAVE.を採用することには以下の利点がある。まず第１に、本発明は、注目画素に対して当該注目画素を含む複数の画素について算出した輝度距離の平均値を値として持たせる構成を採用するので、仮に、左右のカメラの受光量の差異やＣＣＤ素子の感度の違いに起因するノイズが当該注目画素に含まれていたとしても、輝度距離の平均化によってノイズの影響が平準化され、その結果、ノイズに起因するマッチング正解率の低下が抑止される。第２に、領域平均輝度距離ｄAVEを求める際の輝度値取得領域Ｇを規定するεＵおよびεＬの値は、対象の形状に応じて動的に決定されるため、このような領域平均輝度距離ｄAVEを用いたマッチングは、実質的に、注目画素近傍の空間情報を利用するものとなり、その結果、単一画素を用いる場合に比較してマッチング正解率が格段に向上する。以下、この点について、図６（ｂ）を参照して説明する。
【００４５】
図６（ｂ）は、領域平均輝度距離ｄAVEをコストとするマッチングを示す。図６（ｂ）に示す例においては、副画素（ロ）を含む輝度値取得領域Ｇｓは、副画素（ロ）の上に副画素（ロ）と色の異なる画素を含んでいるため、注目画素（イ）と副画素（ロ）の領域平均輝度距離ｄAVEは、注目画素（イ）と副画素（ハ）の領域平均輝度距離ｄAVEよりも大きくなる。その結果、副カメラ画像の画素（ハ）を正解として選出することが可能になる。なお、図６（ｂ）は、理解の容易のため、輝度値取得領域Ｇｓ内の色が大きく異なる例を示したが、仮に、輝度値取得領域Ｇ内の画素の色が同色であったとしても、領域内の画素の輝度値にはある程度の分散が見込めるため、上述した効果を得ることができる。
【００４６】
次に、本発明において、最適な輝度値取得領域Ｇを動的に設定する構成を採用することによって、マッチング正解率をさらに向上させることができる点について説明する。
【００４７】
図７（ａ）は、２つの対象物を撮像した際の主カメラ画像および副カメラ画像を示す。図７（ａ）に示す例においては、輝度値取得領域Ｇｍの大きさは固定されているものとする。ここで、四角形の対象物が写り込んだ主画素（ア）を注目画素とした場合、輝度値取得領域Ｇｍ内の画素（イ）には、背後の三角形の対象物が写り込む一方で、主画素（イ）に対応する輝度値取得領域Ｇｓ内の副画素（ウ）には、背後の三角形の対象物が写り込まず、背景が写り込むといったことが起こる。このような場合、主画素（ア）と副画素（ア’)の領域平均輝度距離ｄAVEが大きくなり、その結果、両者の組み合わせが正解として判断されない虞が生じる。つまり、輝度値取得領域Ｇｍの大きさの設定如何によっては、返ってノイズを拾ってしまうことになり、マッチング正解率を低下させてしまうことになりかねない。この点につき、本発明は、図７（ｂ）に概念的に示すように、主カメラ画像に写り込んだ対象物のエッジを基準にして、当該エッジにまたがって延在しないような輝度値取得領域Ｇｍを動的に設定することによって、ノイズを拾うことを防止してマッチング正解率を向上させる。以下、輝度値取得領域Ｇの動的設定について詳細に説明する。
【００４８】
本発明において、輝度値取得領域Ｇを設定することは、すなわち、輝度値取得領域Ｇの上端画素および下端画素を決定することと同義である。以下、輝度値取得領域Ｇの上端画素を決定する場合を例にとって説明する。本発明においては、注目画素(i,h)から見てｈ座標軸上方向のエッジ領域上にある画素を上端画素として決定する。注目画素(i,h)から見て、ｈ座標軸上方向に存在する画素およびエッジ領域上が図８（ａ）に示されるような態様である場合、エッジ領域上の画素であって、注目画素(i,h)から見て色が大きく変化しない最上位の画素(i,h+3)が上端画素として決定される。また、注目画素(i,h)から見てｈ座標軸上方向に存在する画素およびエッジ領域上が図８（ｂ）に示されるような態様である場合、色の変化よりもエッジが優先され、エッジ領域内の最上位の画素(i,h+4)が上端画素として決定される。なお、図８（ｃ）に示すように、注目画素(i,h)近傍にエッジ領域が存在しない場合には、予め定められた最大画素数Ｅ（ｈ座標の最大加算値Ｅ）をもって上端画素を決定する。図８（ｃ）に示す例においては、Ｅ＝５と定められているので、画素(i,h+5)が上端画素として決定される。
【００４９】
上述した輝度値取得領域Ｇの上端画素を決定する処理を図９に示したフローチャートに基づいて説明する。まず、注目する主画素の座標値(i,h)をセットし（ステップ１０１）、ｈ座標の加算値εを「１」とする（ステップ１０２）。次に、画素(i,h+ε)がエッジ領域上にあるか否かを判断する（ステップ１０３）。ここで、画素(i,h+ε)がエッジ領域上にあるか否かの判断は、以下の手順で実行することができる。
【００５０】
まず、画素(i,h+ε)を基準として、下記式（５）に示す、i軸方向の輝度変化量ηおよびｈ軸方向の輝度変化量ζをＳｏｂｅｌフィルタを用いて求める。なお、下記式（５）において、ｍは主画素の輝度値を示す。
【００５１】
【数５】
【００５２】
次に、画素(i,h+ε)について求めたηおよびζを下記式（６）に代入して求まる値を画素(i,h+ε)における輝度変化量ｋとし、輝度変化量ｋが予め定めた閾値Ｋeを超える場合に、当該画素(i,h+ε)がエッジ領域上にあると判断する。
【数６】
【００５３】
画素(i,h+ε)がエッジ領域上にあると判断される場合には（ステップ１０３,Ｙｅｓ）、ステップ１０４に進んでエッジフラグｆeを立てた後に、注目画素(i,h)の輝度値ｍ(i,h)と画素(i,h+ε)の輝度値の差の絶対値（輝度距離）が予め定めた閾値ＫCを超えるか否かを判断する（ステップ１０５）。輝度距離が閾値ＫCを超えない場合には（ステップ１０５,Ｎｏ）、ステップ１０６に進んでｈ座標の加算値εを「１」インクリメントした後に、加算値εが予め定められたｈ座標の最大加算値Ｅ（最大画素数Ｅ）を超えたか否かが判断される（ステップ１０７）。加算値εが最大加算値Ｅを超えている場合（ステップ１０７,Ｙｅｓ）、画素(i,h+Ｅ)を上端画素として定義して処理を終了する（ステップ１０８）。
【００５４】
加算値εが最大加算値Ｅを超えていない場合（ステップ１０７,Ｎｏ）、ステップ１０３に戻り、前回判断した画素の一つ上の画素(i,h+ε)がエッジ領域上にあるか否かを判断する。以降、ステップ１０４→ステップ１０５→ステップ１０６→ステップ１０７→ステップ１０３の処理が繰り返されるごとに、判断対象となる画素のｈ座標が１ずつ繰り上がる。
【００５５】
その間、ステップ１０５において、輝度距離が閾値ＫCを超えた場合には（ステップ１０５,Ｙｅｓ）、現在の画素(i,h+ε)の１つ手前の画素(i,h+ε-1)を上端画素として定義し（ステップ１０９）、処理を終了する。一方、画素(i,h+ε)がエッジ領域上に無い場合には（ステップ１０３,Ｎｏ）、エッジフラグが立っているか否かを判断する（ステップ１１０）。エッジフラグが立っている場合（ステップ１１０,Ｙｅｓ）、エッジ領域を超えたと判断し、現在の画素(i,h+ε)の１つ手前の画素(i,h+ε-1)を上端画素として定義して処理を終了する（ステップ１０９）。エッジフラグが立っていない場合（ステップ１１０,Ｎｏ）、ステップ１０６に進んで、先に説明したようにｈ座標の加算値εが「１」インクリメントされ、以降の処理が繰り返される。
【００５６】
本発明においては、上述したのと同様の手順で輝度値取得領域Ｇの下端画素を決定した上で、上端画素から下端画素に至る複数の画素群を輝度値取得領域Ｇとして動的に設定する。以上、本発明におけるＤＰマッチングのコストについて説明してきたが、本発明においては、領域平均輝度距離ｄAVE.をマッチングコストとする構成に代えて、領域平均輝度距離ｄAVE.の累乗根をマッチングコストとする構成を採用することによって、マッチング正解率をさらに向上させることができる。以下、この点について説明する。なお、以下の説明において、単一の画素について言及する部分は、輝度値取得領域Ｇについて言及するものとして置き換えて参照されたい。
【００５７】
図１０（ａ）は、色の異なる３つの対象物を撮像した際の主カメラ画像および副カメラ画像を示す。図１０（ａ）に示す例においては、主カメラ画像には、赤色、緑色、および黄色の３つの対象物が写っているが、副カメラ画像においては、赤色の対象物が緑色の対象物の背後に隠れてしまっている。この場合、赤色の対象物が写り込んだ主画素（ア）を注目画素としたマッチングにおいては、副カメラ画像の走査線上に正解は存在せず、誤った組み合わせを決定せざるを得ない。すなわち、ステレオ視計測におけるＤＰマッチングは、その原理上、不適切なマッチングを完全に排除することはできないのである。
【００５８】
このような場合、副カメラ画像の走査線上にある全ての副画素は、マッチングコストの観点から見て等価であることが望ましいが実際にはそうはならない。なぜならば、ＲＧＢデジタル画像の画素の輝度値は、Ｒ値、Ｇ値、Ｂ値からなる３次元ベクトル情報であるため、特に、補色の関係にある色の組み合わせの場合、各値の差分の総和である輝度距離が大きくなるからである。
【００５９】
たとえば、赤色の対象物上の主画素（ア）の輝度値は、[R=255,G=0,B=0]であり、緑色の対象物上の副画素（イ）の輝度値は、[R=0,G=255,B=0]であり、黄色の対象物上の副画素（ウ）の輝度値は、[R=255,G=255,B=0]である。その結果、主画素（ア）と副画素（イ）の組に付与されるコスト（輝度距離＝510）が主画素（ア）と副画素（ウ）の組に付与されるコスト（輝度距離＝255）の２倍になるといったことが生じる。このような大きな色の違いに起因して生じるコストの大きな差は、最適パスの探索に悪影響を及ぼす場合がある。
【００６０】
ここで、説明の便宜上、１０個の画素からなる画素群のマッチングを想定する。第１のパスにおいては、１０組の画素組のうち、７組の画素組が正解（コスト＝１）であり、残りの３組の画素組が誤った組み合わせであって、誤った組み合わせのコストがそれぞれ「１０」であったとする。一方、第２のパスにおいては、１０組の画素組のうち、９組の画素組が正解（コスト＝１）であり、残りの１組の画素組が誤った組み合わせであって、この誤った組み合わせに大きな色の違いがあったため、そのコストが「５０」であったとする。この例の場合、第１のパスのコストの総和は「５９」となり、第２のパスのコストの総和は「３７」となる。その結果、正答率の高い第２のパスではなく、正答率の低い第１のパスが最適マッチングとして決定されるといったことが生じる。
【００６１】
上述した問題点につき、本発明においては、先に説明した領域平均輝度距離ｄAVE.の累乗根をＤＰマッチングにおけるコストとして定義する。下記式（７）にコストｃ(i,j)を示す。なお、下記式（７）において、根ｒは固定値であり、適切な値を設定する。たとえば、本発明においては、根ｒ＝５１２〜１０２４とすることができる。
【００６２】
【数７】
【００６３】
図１０（ｂ）は、領域平均輝度距離ｄAVE.とコストｃ(i,j)の関係を示す図である。図１０（ｂ）に示されるように、領域平均輝度距離ｄAVE.をそのままコストｃ(i,j)として定義する場合には、当然のごとく領域平均輝度距離ｄAVE.に正比例してコストｃ(i,j)が増大するが、領域平均輝度距離ｄAVE.の累乗根をコストｃ(i,j)として定義する場合には、領域平均輝度距離ｄAVE.の値が小さい範囲においては、領域平均輝度距離ｄAVE.の増加に応じてコストｃ(i,j)が増大するが、領域平均輝度距離ｄAVE.の値が大きい範囲においては、コストｃ(i,j)の増加率が徐々に低下する。すなわち、領域平均輝度距離ｄAVE.の累乗根をＤＰマッチングにおけるコストとして定義することによって、不適切なマッチングを含むパスの総コストを適切に見積もることが可能になり、その結果、マッチング正解率をさらに向上させることができる。以上、本実施形態における奥行値算出部１０８が採用するＤＰマッチングにおけるコストの詳細について説明してきたが、続いて、奥行値算出部１０８の第２の特徴である、斜め経路選択の重み係数λを適応的に決定する構成について説明する。
【００６４】
（斜め経路選択の重み係数λを適応的に決定する構成について）
本発明におけるＤＰマッチングにおいて、図４（ｂ）に示したマトリックスの交点(i,j)に至る最適パスの総コストC(i,j)は、下記式（８）で表すことができる。なお、下記式（８）において、c(i,j)は、マトリックスの交点(i,j)に付与されたコスト（すなわち、上記式（７）に示した領域平均輝度距離ｄAVE.の累乗根）を示し、C(i-1,j)、C(i-1,j-1)、C(i,j-1)は、交点(i,j)の直前の交点(i-1,j)、交点(i-1,j-1)、交点(i,j-1)に至るそれぞれの最適パスの総コストを示し、λは、斜めの経路を選択する重み係数を示す。
【００６５】
【数８】
【００６６】
ここで、上記式（８）における斜め経路選択の重み係数λの値を大きく設定すれば、斜めの経路を採り難くなり、重み係数λの値を小さく設定すれば、斜めの経路を採り易くなる。従来のＤＰマッチングにおいては、この重み係数λを固定値としていたが、本発明においては、この重み係数λをマトリックスの交点(i,j)における領域平均輝度距離ｄAVE.の大きさに応じて適応的に変化させる。すなわち、本発明においては、上記式（８）における斜め経路選択の重み係数λ（固定値）に代えて、下記式（９）に示す重み係数λ(i,j)を採用する。なお、下記式（９）におけるｗは固定値であり、適切な値を設定する。本発明においては、ｗ＝０．１５〜０．３５とすることができる。
【００６７】
【数９】
【００６８】
ＤＰマッチングにおいては、注目画素に対して適切なマッチング対象が存在しない場合であっても、縦または横の経路を採ることによって、一つの画素に二つ以上の画素を対応させることで適切に処理することができるので、そのための追加的な処理をおこなう必要がない。ここで、パスが斜めの経路を取るか、あるいは、縦または横の経路を取るのかは、重み係数λ(i,j)の値に大きく依存する。したがって、本発明においては、この重み係数λ(i,j)を適応的に変化させることによって、マッチング正解率をさらに向上させるものである。すなわち、本発明においては、マトリックスの交点(i,j)に付与されたコストc(i,j)が大きいほど（つまり、注目画素に対して適切なマッチング対象が存在しない可能性が大きいほど）、重み係数λ(i,j)の値が大きくなるので、パスが縦または横の経路を採りやすくなるように構成されている。以上、斜め経路選択の重み係数λを適応的に決定する構成について説明してきたが、続いて、奥行値算出部１０８の第３の特徴である、マッチング処理の省略化について説明する。
【００６９】
（マッチング処理の省略化について）
先に図３を参照して説明したように、ステレオ視計測におけるＤＰマッチングは、走査線ごとに独立して行われる。従来のステレオ視計測においては、たとえば、主カメラ画像の縦幅が３００ピクセルの場合、全画素の視差を取得するために３００回のＤＰマッチングが必要であった。この点につき、本発明は、視差に変化が無い画素領域が画像のｈ軸方向に多く存在する点に着目し、視差に変化が無いと推定される画素領域については、既に取得した視差を継承することによって処理量を大幅に削減することで処理時間のリアルタイム性を実現する。以下、その具体的な内容について図１１および図１２に示すフローチャートに基づいて説明する。
【００７０】
以下の説明は、図１１（ａ）に示す主カメラ画像を例にとって説明する。なお、図１１（ａ）に示す主カメラ画像は、２５本（０〜２４）の走査線を有しているものとする。
【００７１】
まず、ステップ２０１において、一番下の走査線（ｈ座標値＝０）について通常のマッチング処理を実行し、画素毎の視差を取得する。視差の取得が完了した走査線は「視差取得済」とマークされる（以下、同様）。その後、ステップ２０２において、パラメータεが「０」にセットされる。
【００７２】
次に、ステップ２０３において、視差取得済の走査線（この場合、ｈ座標値＝０の走査線）から所定間隔離れた走査線のｈ座標値（＝ε+α）を指定して、当該走査線について通常のマッチング処理を実行し、画素毎の視差を取得する。本発明において、「α」は視差の継承範囲を規定するためのパラメータであり、２の倍数として定義される適切な大きさの固定値であり、図１１に示す例においては、α＝８に設定されている。したがって、ｈ座標値＝ε+α＝０+８＝８が指定され、ｈ座標値＝８の走査線について通常のマッチング処理を実行し視差を取得する。
【００７３】
次に、ステップ２０４においては、「視差取得済」とマークされた走査線が探索され、その中で隣接する走査線の中間に存在する走査線（以下、中間走査線という）のｈ座標値を指定する。なお、中間走査線のｈ座標値は、隣接する走査線のうち上側の走査線のｈ座標値＝ｈＵとその下側の走査線のｈ座標値＝ｈＬを加算しこれを２で除算することによって求めることができる。この場合、下側の走査線のｈ座標値＝０と上側の走査線のｈ座標値＝８を加算しこれを２で除算して得られる値「４」が中間走査線のｈ座標値となる。中間走査線（ｈ座標値＝４）が指定されると、ステップ２０５に進み、指定した中間走査線の各画素(i,h)について「視差承継処理」が実行される。以下、図１１（ｂ）を参照して、本発明における「視差承継処理」について説明する。
【００７４】
「視差承継処理」においては、指定した中間走査線の画素(i,h)と同じi座標値を持つ、上側の走査線上の画素(i,h+ｎ)の視差と下側の走査線上の画素(i,h-ｎ)の視差が比較される。その結果、２つの視差が等しい場合には、中間走査線の画素(i,h)に当該視差を承継させ、２つの視差が異なる場合には、中間走査線の画素(i,h)を「要処理」とマークする。
【００７５】
図１１（ｂ）に示す例においては、中間走査線（ｈ座標値＝４）の画素(0,4)に着目すると、画素(0,4)と同じi座標を持つ、下側の走査線（ｈ座標値＝０）の画素(0,0)の視差（＝５）と上側の走査線（ｈ座標値＝８）の画素(0,8)の視差（＝５）は等しい。この場合、その間に挟まれる画素(0,4)に視差の変化がないと推定し、画素(0,4)に視差＝５を承継させる。また、中間走査線の画素(7,4)に着目すると、下側の走査線の画素(7,0)の視差（＝４）と上側の走査線の画素(7,8)の視差（＝４）は等しいので、同様に、画素(7,4)に視差＝５を承継させる。このように、本発明の方法によれば、中間走査線上の一部の領域について、マッチング処理を要することなく視差を取得することができるので、処理量を大幅に削減することができ、その結果、処理速度を格段に高速化することができる。
【００７６】
一方、中間走査線の画素(3,4)に着目すると、画素(3,4)の下側の走査線上の画素(3,0)の視差（＝５）と上側の走査線上の画素(3,8)の視差（＝３）は異なる。この場合、その間に挟まれる画素(3,4)について改めて視差を取得する必要があると判断し、画素(3,4)を「要処理」とマークする。
【００７７】
上述した処理が中間走査線（ｈ座標値＝４）の全ての画素について実行される結果、中間走査線（ｈ座標値＝４）の画素(0,4)、画素(1,4)、画素(2,4)、画素(7,4)、画素(8,4)、画素(9,4)については既に計算された視差が承継され、画素(3，4)、画素(4,4)、画素(5,4)、画素(6,4)については「要処理」とマークされる。その後、「要処理」とマークされた画素領域についてのみ、通常のマッチング処理が実行される。その結果、中間走査線（ｈ座標値＝４）の全画素について視差が取得され、中間走査線（ｈ座標値＝４）が「視差取得済」とマークされる。
【００７８】
次に、ステップ２０６において、「視差取得済」とマークされた複数の走査線間のｈ座標値の差の最大値＝１であるか否かを判断する。走査線間のｈ座標値の差の最大値＝１でない場合（ステップ２０６、Ｎｏ）、２つの視差取得済走査線に挟まれた視差を取得していない領域が残っていることになるので、ステップ２０４〜ステップ２０５の処理を再度実行する。
【００７９】
図１１（ｂ）に示す例の場合、「視差取得済」とマークされた走査線は、走査線（ｈ座標値＝０）、走査線（ｈ座標値＝４）、走査線（ｈ座標値＝８）であり、視差取得済走査線間のｈ座標値の差の最大値＝４であるので（ステップ２０６、Ｎｏ）、処理は、ステップ２０４に戻って新たな中間走査線が指定される。具体的には、視差取得済走査線（ｈ座標値＝０）と視差取得済走査線（ｈ座標値＝４）に対する中間走査線（ｈ座標値＝２）が指定され、視差取得済走査線（ｈ座標値＝４）と視差取得済走査線（ｈ座標値＝８）に対する中間走査線（ｈ座標値＝６）が指定される。その後、ステップ２０５に進んで、新たに指定された中間走査線（ｈ座標値＝２）および中間走査線（ｈ座標値＝６）について、上述した視差承継処理が実行される。
【００８０】
その後、再び、ステップ２０６において、「視差取得済」とマークされた複数の走査線間のｈ座標値の差の最大値＝１であるか否かを判断され、この場合、視差取得済走査線間のｈ座標値の差の最大値＝２であるので（ステップ２０６、Ｎｏ）、もう一度、ステップ２０４〜２０５の処理が繰り返される。その結果、視差取得済走査線間のｈ座標値の差の最大値＝１となる（ステップ２０６、Ｙｅｓ）。走査線間の座標値の差の最大値＝１であるということは、２つの視差取得済走査線に挟まれた未処理領域がないことを意味するので、処理回数カウントＣをインクリメントし（ステップ２０７）、ステップ２０８に進む。ステップ２０８においては、予め定められた目標処理回数が達成された否かが判断される。ここで、目標処理回数は、主カメラ画像の全走査線数−１をパラメータα（２の倍数）で除算した値が設定される。図１１（ａ）に示す例の場合、主カメラ画像の全走査線数は「２５」あり、パラメータα＝８であるので、（２５−１）÷８＝３回が目標処理回数となる。
【００８１】
この場合、処理回数カウントＣ＝１であるので（ステップ２０８、Ｎｏ）、ステップ２０９に進む。ステップ２０９においては、パラメータεにパラメータαを加算した値を新たなパラメータε（０+８＝８）とし、ステップ２０３に進む。ステップ２０３においては、ｈ座標値（＝ε+α＝８+８＝１６）の走査線が指定され、当該走査線について通常のマッチング処理を実行し視差を取得する。その後、視差取得済走査線（ｈ座標値＝８）と視差取得済走査線（ｈ座標値＝１６）の間に存在する７本の走査線について、上述したのと同様の処理が実行した後、ステップ２０９においては、パラメータεがさらに更新され（８+８＝１６）、さらに、視差取得済走査線（ｈ座標値＝１６）と視差取得済走査線（ｈ座標値＝２４）の間に存在する７本の走査線について、上述したのと同様の処理を実行する。その結果、処理回数カウントＣ＝３となり（ステップ２０８、Ｙｅｓ）、全走査線（２５本）上の全画素の視差の取得を完了して処理を終了する。
【００８２】
以上、説明したように、本発明が採用する奥行値算出部１０８の構成によれば、３Ｄデータにおける奥行値を高精度に算出することが可能になり、且つ、奥行値の算出処理速度のリアルタイム性が担保される。その結果、裸眼の手術スタッフに対して、患部の実写映像の立体視画像を、多視点で、且つ、リアルタイムに提供することが可能な立体内視鏡システムが実現される。
【００８３】
以上、本発明について実施形態をもって説明してきたが、本発明は上述した実施形態に限定されるものではなく、その他、当業者が推考しうる実施態様の範囲内において、本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。なお、上述した本発明における奥行値算出部が採用する視差の算出手法は、立体内視鏡に化限らず、ステレオ視計測を用いる技術全般に適用することができるのは言うまでもない。
【実施例】
【００８４】
以下、本発明の多視点裸眼立体内視鏡システムについて、実施例を用いてより具体的に説明を行なうが、本発明は、後述する実施例に限定されるものではない。
【００８５】
本発明の多視点裸眼立体内視鏡システムの奥行値算出部が採用する新規なＤＰマッチング手法を実装した計算機（CPU : Intel Core2 Quad Q9300／メモリ : 3GB ／ OS : Windows（登録商標） XP (32bit))による視差計測実験を実施した。なお、本実験においては、http://vision.middlebury.edu/stereo/から入手した、図１３(ａ）〜（ｄ）に示す４組のステレオ画像（「Cones」「Teddy」「Tsukuba」「Venus」）を用いた。
【００８６】
本実験においては、実施例１の計算機を下の条件で動作させた。すなわち、輝度取得領域Ｇの動的設定については、（１）最大画素数Ｅ＝３（上側），-３（下側）、（２）注目画素(i,h)に対する輝度距離の閾値ＫC＝１０、（３）輝度変化量ｋの閾値Ｋe＝４００とした。
【００８７】
また、斜め経路先端の重み係数λ(i,j)については、下記式（９）におけるｗ＝０．２５とした。
【００８８】
【数１０】
【００８９】
さらに、コストｃ(i,j)については、下記式（７）における根ｒ＝５１２とした。
【００９０】
【数１１】
【００９１】
一方、比較例として、従来のステレオ視計測方法を実装した計算機（実施例１と同じスペックのもの）による視差計測実験を実施した。すなわち、単一画素の輝度距離をコストとして定義し、斜め経路選択の重み係数λ＝０．４（固定値）とした。
【００９２】
＜正解率の検証＞
図１４〜図１７は、それぞれ、４つのステレオ画像対（「Cones」「Teddy」「Tsukuba」「Venus」）について得られた結果を示す。なお、図１４(ａ）は、予め用意された正解の視差を示し、図１４(ｂ）は、比較例の視差を示し、図１４(ｃ）は、実施例１の視差を示す（図１５および図１６についても同様）。
【００９３】
また、下記表１は、実施例１および比較例について、４組のステレオ画像（「Cones」「Teddy」「Tsukuba」「Venus」）における正解率[%]を示す。なお、本実験においては「正解」＝正解の視差に対するずれが1画素以内のものとし、正解率[%]＝正解画素の数／視差の算出が可能な全画素数×１００とした。
【００９４】
【表１】
【００９５】
上記表１に示されるように、実施例１の正解率は、比較例のそれに比べて１０ポイント以上高い値を示した。
【００９６】
＜処理の高速化の検証＞
上述した実施例１の構成に対して、さらに、視差継承処理の機能を実装させた計算機により、同じく、図１３(ａ）〜（ｄ）に示す４組のステレオ画像（「Cones」「Teddy」「Tsukuba」「Venus」）を用いて視差計測実験を実施した。なお、本実験においては、計測対象画像をＸ軸方向に４分割した並列処理により視差を計測した。また、本実験においては、視差の継承範囲を規定するためのパラメータαについて、５つの条件（パラメータα＝２、４、８、１６、３２）を設定し、それぞれの実験を実施例２〜６とした。下記表２は、実施例１〜６について、４つのステレオ画像対（「Cones」「Teddy」「Tsukuba」「Venus」）におけるＭＤＥ／Ｓ (Million Disparity Estimations per second)を示す。また、図１８は、パラメータαとＭＤＥ／Ｓの平均値との関係を示す。なお、ＭＤＥ／Ｓは、(視差の最大値)×(画像の総画素数)×(１秒間に処理した画像の枚数)×１０６として定義される画像の大きさに依存しない計算速度の指標である。
【００９７】
【表２】
【００９８】
上記表２および図１８に示されるように、ＭＤＥ／Ｓの値は、パラメータαの値にほぼ比例して増加した。さらに、下記表３は、実施例１〜６の４組のステレオ画像（「Cones」「Teddy」「Tsukuba」「Venus」）における正解率[%]を示す。また、図１９は、パラメータαと正解率[%]の平均値との関係を示す。
【００９９】
【表３】
【０１００】
上記表３および図１９に示されるように、正解率[%]は、パラメータαの値が大きくなるにつれ若干低くなる傾向が見られたが、それでも、比較例に比べてかなり高い値を維持した。
【産業上の利用可能性】
【０１０１】
以上、説明したように、本発明によれば、立体内視鏡システムに特有のストレスから手術スタッフを解放するとともに、質の高い施術を支援することができる新規な立体内視鏡システムが提供される。本発明の多視点裸眼立体内視鏡システムの普及により、外科手術がより高度な発展を遂げ、その結果、一人でも多くの命が救われることを期待する。
【符号の説明】
【０１０２】
１００…多視点裸眼立体内視鏡システム
１０２…多視点ステレオ画像生成部
１０４…３Ｄデータ生成部
１０６…レンダリング部
１０８…奥行値算出部
２００…眼鏡式立体内視鏡システム
２０１…ステレオカメラ
２０２…左目用カメラ
２０４…右目用カメラ
２０６…画像出力制御部
２０８…画像切替部
２１０…ディスプレイ
２１２…３Ｄメガネ
３００…多視点裸眼立体ディスプレイ装置
３０２…レンチキュラーレンズアレイ
【技術分野】
【０００１】
本発明は、立体内視鏡システムに関し、より詳細には、多視点裸眼立体内視鏡システムに関する。
【背景技術】
【０００２】
近年、外科分野において内視鏡手術が急速に普及している。内視鏡手術によれば、鉗子などの手術器具と内視鏡スコープを挿入するための小さな切開だけで済むため、従来の開腹手術に比べて手術創を格段に小さくすることができ、患者の身体的負担を軽減することができる。現在、一般に多く行われている内視鏡手術においては、患部の画像が手術台に設置された大型モニターに映し出され、執刀医とその助手をはじめ、麻酔医や看護師などから構成される手術スタッフは、当該モニターを見ながら手術を行う。しかしながら、モニターに映し出される２Ｄ画像から患部の「奥行き」を正確に感じとることは難しく、空間認識の点から見れば、直接的に患部を目視することができる開腹手術に劣るといわざるを得なかった。
【０００３】
この点につき、最近、３Ｄ画像システムを適用した立体内視鏡システムが種々検討されている。立体内視鏡システムにおいて、手術スタッフは、患部の３Ｄ画像を見ながら手術することができる。特開２００７−０４４１５３号公報（特許文献１）は、そのような立体内視鏡装置を開示する。
【０００４】
ここで、現在最も多く用いられている眼鏡式立体内視鏡システムの原理について説明する。図２０は、眼鏡式立体内視鏡システム２００を示す。眼鏡式立体内視鏡システム２００は、内視鏡スコープの先端にステレオカメラ２０１を備え、配置された２つのＣＣＤカメラ（左目用カメラ２０２・右目用カメラ２０４）が対象物の左目用画像および右目用画像をそれぞれ撮像して画像出力制御部２０６に送信する。画像出力制御部２０６においては、画像切替部２０８がフレームシーケンシャル方式に則って左目用画像と右目用画像を交互に出力し、ディスプレイ２１０が左目用画像と右目用画像を交互に表示する。一方、手術スタッフは、専用の３Ｄメガネ２１２を装着した状態で、ディスプレイ２１０に表示される画像を見る。ここで、３Ｄメガネ２１２は、左目用画像と右目用画像の切り替えに同期して左右の視界を交互に遮断する液晶シャッターを備えているため、左目用画像は左目だけに見え、右目用画像は右目だけに見える。その結果、手術スタッフは、その脳内で左右の画像を合成し、対象物の立体イメージを得る。
【０００５】
しかしながら、上述した眼鏡式立体内視鏡システムを用いる手術スタッフについて、専用の３Ｄメガネに起因する肉体的・精神的ストレスが報告されている。アクティブシャッター特有のフリッカー現象に伴う眼精疲労や重量のある特殊なメガネを長時間装着することに伴う精神的ストレスなどはその一例である。さらに、眼鏡式立体内視鏡システムにおいて、単一視点のステレオ画像が映し出されることに起因する問題がある。すなわち、複数の手術スタッフがディスプレイ２１０を見ながら手術を行う場合、ディスプレイ２１０を正面から見る手術スタッフにおいては、実際の視点と画像の視点が一致するので問題はないが、ディスプレイ２１０を左側あるいは右側から見る手術スタッフにおいては、実際の患部の奥行きと画像から感受される奥行き感が一致せず、このことがバーチャルリアリティ酔い（ＶＲ酔い）の原因となっていた。外科手術においては、長時間にわたり細心の注意力と高度な集中力が要求されるため、手術環境からストレスの原因を出来る限り排除しなければならない。
【０００６】
上述した点に関し、近年、マルチビューの裸眼立体ディスプレイ装置の実用化が進んでいる。特開２００５−８６４１４号公報（特許文献２）は、そのような多視点裸眼立体ディスプレイ装置を開示する。図２１は、多視点裸眼立体ディスプレイ装置の機構を説明するための概念図である。多視点裸眼立体ディスプレイ装置３００は、多眼方式やインテグラルフォトグラフィー方式などの古くから知られる立体写真技術を応用したものであり、レンチキュラーレンズアレイ３０２を用いることによって、裸眼による立体視と多視点を同時に実現している。
【０００７】
図２１の右側に破線で囲んで示すように、多視点裸眼立体ディスプレイ装置３００においては、複数のピクセル（図２１に示す例においては７つのピクセル）が１単位として１つのレンチキュラーレンズ内に収められている。なお、各ピクセルは、縦方向（紙面に垂直方向）に並んだ図示しない３つのサブピクセル（ＲＧＢ）からなる。各ピクセルの光はレンチキュラーレンズによって屈折し、別々の方向に放射線状に出射する。この多重化されたピクセルとレンチキュラーレンズを組み合わせることによって、複数の異なる視点に対応付けられた複数のステレオ画像を集約してディスプレイ上に同時に表示することができる。
【０００８】
なお、多視点裸眼立体ディスプレイ装置３００に表示させるための多視点ステレオ画像は、３次元コンピュータグラフィックス（３ＤＣＧ）によって作成することができる。たとえば、７つの視点に対応する７組のステレオ画像（左目用画像および右目用画像の組）を３ＤＣＧによって作成する場合、予め形状データを定義したオブジェクトを仮想３次元空間に配置した上で、７組の仮想的なカメラ視点を設定し、各カメラ視点を原点とする仮想スクリーンに透視投影した場合のオブジェクトの２次元画像を計算によって求めて生成する（レンダリング）。なお、１視点に対応するステレオ画像は、左目視点に対応する画像と右目視点に対応する画像からなるので、都合、７×２＝１４の２次元画像を算出する必要がある。
【０００９】
上述した手順で生成された１４の２次元画像を構成する各画素データは、左目用画像および右目用画像が適切な視差を持つように、且つ、それぞれが予め定義された視点で結像するように、適切なピクセル座標が計算され割り当てられる。その結果、各視点に対応付けられたステレオ画像が当該視点に位置するユーザの左右の目に振り分けられて結像し、且つ、ユーザの視点移動に合わせてユーザの左右の目に結像するステレオ画像が遷移する。上述した機構によって裸眼による多視点立体視が実現される。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００７−０４４１５３号公報
【特許文献２】特開２００５−８６４１４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
本発明は、上記従来技術における課題に鑑みてなされたものであり、本発明は、立体内視鏡システムに特有のストレスから手術スタッフを解放するとともに、質の高い施術を支援することができる新規な立体内視鏡システムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明者は、立体内視鏡システムに特有のストレスから手術スタッフを解放するとともに、質の高い施術を支援することができる立体内視鏡システムにつき鋭意検討した結果、撮像対象の奥行値とＲＧＢ値を関連付けた３Ｄデータに基づいて、複数の仮想的な視点に対応する複数のステレオ画像をリアルタイムに生成し、これを既存の多視点裸眼立体ディスプレイ装置に表示させることによって、患部の実写映像の多視点裸眼立体視が可能になることを見出し、本発明に至ったのである。
【００１３】
すなわち、本発明によれば、ステレオカメラと、該ステレオカメラによって取得されたステレオ画像に基づいて多視点ステレオ画像を生成する多視点ステレオ画像生成部と、該多視点ステレオ画像を表示するための多視点裸眼立体ディスプレイとを含む立体内視鏡システムであって、多視点ステレオ画像生成部は、前記ステレオカメラによって取得されたステレオ画像の画素毎の奥行値とＲＧＢ値を対応付けた３Ｄデータを生成する３Ｄデータ生成部と、前記３Ｄデータに基づいて複数の仮想的な視点に対応する複数のステレオ画像が集約してなる多視点ステレオ画像を描画するレンダリング部とを含む立体内視鏡システムが提供される。
【００１４】
さらに、本発明によれば、ステレオ画像の各画素について視差を取得するために動的計画法に基づいてステレオマッチングを行う方法であって、注目画素を含んで縦方向に連続する複数の画素を輝度値取得領域として定義し、該複数の画素の各画素について算出した輝度距離の平均値またはその累乗根を前記ステレオマッチングにおけるコストとして定義することを特徴とする方法が提供される。本発明においては、前記輝度値取得領域をエッジにまたがって延在しないように動的に定義し、前記ステレオマッチングにおける斜め経路選択の重み係数が前記輝度距離の平均値の大きさに応じて大きくなるように設定することを好ましい。さらに、本発明においては、前記ステレオ画像において対象となる走査線を所定間隔毎に定義して該走査線上の各画素の視差を前記ステレオマッチングによって取得した上で、縦方向に存在する視差取得済みの２つの画素の間に位置する画素について、前記２つの画素の視差が変化しない場合には、前記２つの画素の間に位置する画素に前記２つの画素の視差を承継させ、前記２つの画素の視差が変化する場合には、前記２つの画素の間に位置する画素についてのみ新たに前記ステレオマッチングを行って視差を取得するといった一連の処理を実行することが好ましく、前記一連の処理を前記ステレオ画像の全画素の視差が取得されるまで再帰的に繰り返すことが好ましい。
【発明の効果】
【００１５】
上述したように、本発明によれば、立体内視鏡システムに特有のストレスから手術スタッフを解放するとともに、質の高い施術を支援することができる新規な立体内視鏡システムが提供される。本発明によれば、開放的な環境において、一斉に多人数が特別な観察道具に接触することなく、対象について連続的多視点から奥行感をつかむことができる。
【図面の簡単な説明】
【００１６】
【図１】本実施形態の多視点裸眼立体内視鏡システムの機能ブロック図。
【図２】ステレオ視計測の基本原理を説明するための概念図。
【図３】ステレオ視計測の基本原理を説明するための概念図。
【図４】ステレオ視計測の基本原理を説明するための概念図。
【図５】単一画素の輝度距離をコストとする従来のＤＰマッチングの概念図。
【図６】本実施形態における輝度値取得領域を説明するための概念図。
【図７】本実施形態における輝度値取得領域を説明するための概念図。
【図８】本実施形態における輝度値取得領域を説明するための概念図。
【図９】本実施形態における輝度値取得領域を決定する処理を示すフローチャート。
【図１０】大きな色の差の影響を低減する処理を説明するための概念図。
【図１１】本実施形態における視差承継処理を説明するための概念図。
【図１２】本実施形態における視差承継処理を示すフローチャート。
【図１３】視差計測実験に用いた４組のステレオ画像を示す図。
【図１４】ステレオ画像「Cones」について得られた結果を示す図。
【図１５】ステレオ画像「Teddy」について得られた結果を示す図。
【図１６】ステレオ画像「Tsukuba」について得られた結果を示す図。
【図１７】ステレオ画像「Venus」について得られた結果を示す図。
【図１８】パラメータαとＭＤＥ／Ｓの平均値との関係を示す図。
【図１９】パラメータαと正解率[%]の平均値との関係を示す図。
【図２０】従来の眼鏡式立体内視鏡システム示す図。
【図２１】多視点裸眼立体ディスプレイ装置の機構を説明するための概念図。
【発明を実施するための形態】
【００１７】
以下、本発明を図面に示した実施の形態をもって説明するが、本発明は、図面に示した実施の形態に限定されるものではない。なお、以下に参照する各図においては、共通する要素について同じ符号を用い、適宜、その説明を省略するものとする。
【００１８】
図１は、本発明の実施形態である多視点裸眼立体内視鏡システム１００の機能ブロック図を示す。本実施形態の多視点裸眼立体内視鏡システム１００は、ステレオカメラ２０１と、多視点ステレオ画像生成部１０２と、多視点裸眼立体ディスプレイ３００とを含んで構成されている。
【００１９】
ステレオカメラ２０１は、既存の立体内視鏡用カメラとして参照することができる。２つのＣＣＤカメラ（左目用カメラ２０２・右目用カメラ２０４）がそれぞれ撮像した対象物の左目用画像および右目用画像は、多視点ステレオ画像生成部１０２の３Ｄデータ生成部１０４に送信される。３Ｄデータ生成部１０４においては、受信した左目用画像および右目用画像に基づいて３Ｄデータが生成される。なお、本発明における３Ｄデータとは、画素毎に定義される情報であって、奥行値とＲＧＢ値を対応付けた情報をいう。
【００２０】
レンダリング部１０６は、３Ｄデータ生成部１０４が生成した３Ｄデータに基づいて、複数の仮想的な視点に対応する複数のステレオ画像をレンダリングする。具体的には、レンダリング部１０６は、３Ｄデータに含まれる奥行値に基づいて、実空間上の座標系の対象物（患部）の３次元座標値を計算により取得する。さらに、取得した３次元座標値に基づいて複数の仮想的な視点に対応する複数のステレオ画像をレンダリングし、レンダリングした各画像について適切なピクセル座標を割り当てて集約する。その結果、複数の仮想的な視点に対応する複数のステレオ画像が集約した１枚の多視点ステレオ画像が描画される。レンダリング部１０６が生成した多視点ステレオ画像は、多視点裸眼立体ディスプレイ３００に送信され表示される。
【００２１】
本実施形態の多視点裸眼立体内視鏡システム１００によれば、手術スタッフは専用のメガネを装着する必要がないため、開放的な環境下で施術することができる。また、本システムにおいては、どの方向からディスプレイ３００を見た場合でも、実際の対象の奥行きと画像から感受される奥行き感が一致するので、複数の手術スタッフが施術する場合であってもＶＲ酔いになることがない。また、視点を左右上下に少しずつ変えることによって運動視差が得られるため、単一視点の立体映像を観察する場合に比較して、対象物（患部）についてより自然な奥行き感を感受することが可能になる。このことは、施術の精度の向上に少なからず寄与するであろう。
【００２２】
以上、説明したように、従来の眼鏡式立体内視鏡システムにおいては、対象物（患部）について取得した単一視点のステレオ画像（左目用画像および右目用画像）をそのままの形で交互にディスプレイに表示することによって、単一視点の立体視を実現していたのに対し、本実施形態の多視点裸眼立体内視鏡システム１００においては、対象物（患部）について取得した単一視点のステレオ画像から、一旦、計算によって３Ｄデータを生成した上で、当該３Ｄデータに基づいて複数の仮想的な視点に対応する複数のステレオ画像を再構築し、当該複数のステレオ画像を集約した１枚の多視点ステレオ画像として表示させることによって、患部の実写映像の多視点裸眼立体視を実現することを特徴とする。
【００２３】
ここで、本システムの実用化のためには、まず第１に、複数の仮想的な視点に対応する複数のステレオ画像を再構築する際の根拠となる３Ｄデータにおける奥行値を高精度に算出する必要がある。誤った奥行値からは正しい奥行き感を反映したステレオ画像を再現できず、結果的に患部の観察精度が低下するからである。第２に、患部の実写動画をリアルタイムで表示する必要があるため、奥行値の算出処理速度のリアルタイム性を担保しなければならない。本発明においては、上述した２つの課題をクリアするための手段が３Ｄデータ生成部１０４の奥行値算出部１０８に実装される。以下、本実施形態の多視点裸眼立体内視鏡システム１００における特徴的な構成である奥行値算出部１０８の構成について、順を追って詳細に説明する。
【００２４】
本実施形態における奥行値算出部１０８の説明に入る前に、ステレオ画像から奥行値を取得する際に用いるステレオ視計測の基本原理を説明しておく。なお、以降の説明において、上述した「左目用カメラ」および「右目用カメラ」を「主カメラ」および「副カメラ」として参照する。図２は、ステレオ視計測の基本原理を説明するための概念図である。図２においては、実空間上の座標系（ワールド座標系）の３次元座標（x,y,z)に対して、主カメラ画像上の２次元座標(i,h)および副カメラ画像上の２次元座標(j,h)が定義されており、カメラをピンホールカメラとしてモデル化したうえで、主カメラの焦点をＰ、副カメラの焦点をＰ’、両カメラの焦点間の距離（基線長）をb、焦点からスクリーン（各カメラ画像）までの距離（焦点距離）をｆとして示している。なお、焦点距離ｆは、カメラをピンホールカメラとしてモデル化した場合に適切な値となるように、事前のカメラ校正で求めておく。
【００２５】
ここで、図２（ａ）に示すように、対象物上の任意の点Ａの主カメラ画像上の投影点をＭ，点Ａの副カメラ画像上の投影点をＳとし、副カメラの焦点Ｐ’および副カメラ画像をｘ軸方向に平行移動して、主カメラの焦点Ｐおよび主カメラ画像に完全に重ねると、図２（ｂ）に示す位置関係が得られる。ここで、ステレオ視計測における視差は、主カメラ画像上の投影点Ｍ(i,h)と副カメラ画像上の投影点Ｓ(j,h)の離間距離（i-j)として求めることができる。ここで、図２（ｂ）に示す三角形ＰＡＡ’と三角形ＰＳＭは相似の関係にあるので、下記式（１）が成立する。
【００２６】
【数１】
【００２７】
上記式（１）を変形すると、下記式（２）が得られる。
【００２８】
【数２】
【００２９】
上記式（２）によれば、視差（i-j)を求めることによって、対象物上の任意の点Ａまでの距離Ｚ（すなわち、奥行値）を導出できることが理解され、その結果、奥行値の算出処理の速度が視差（i-j)の算出処理の速度に依存することが理解されるであろう。ここで、カメラの取得画像がＲＧＢデジタル画像である場合、投影点Ｍおよび投影点Ｓは、ＲＧＢデジタル画像の画素Ｍおよび画素Ｓに置き換えることができるので、視差（i-j)の算出処理は、実質的に、画素Ｍおよび画素Ｓの座標値を求める処理と等価であるということができる。
【００３０】
図３（ａ）は、対象物を撮像した際の主カメラ画像および副カメラ画像を示す。ステレオ視計測装置においては、主カメラおよび副カメラが平行等位に配置されているので、主カメラ画像上の画素（以下、主画素という）に対応する副カメラ画像上の画素（以下、副画素という）は、同じ高さにある走査線上に存在するはずである。したがって、対象物上の任意の点に対応する主カメラ画像上の画素Ｍおよび副カメラ画像上の画素Ｓの正しい組み合わせを取得することは、図３（ｂ）に示すように、同じ高さの（すなわち、ｈ座標値が等しい）走査線上の２つの画素群のマッチング問題（いわゆるステレオマッチング）に帰着することが理解されるであろう。
【００３１】
図４（ａ）は、図３（ｂ）に示した主カメラ走査線と副カメラ走査線との間でステレオマッチングを行った結果を示す。図４（ａ）においては、主画素と副画素のマッチング結果を矢線で示している。
【００３２】
また、図４（ｂ）は、主カメラ走査線上の画素群と副カメラ走査線上の画素群の間のマッチング問題を解くためのマトリックスを示す。マトリックスの縦軸および横軸は、それぞれ、副カメラ画像のj座標軸および主カメラ画像のi座標軸に対応しており、マトリックスの各交点は、主画素と副画素の組に対応している。
【００３３】
マトリックスの各交点には、マッチングにおけるコストとして、当該交点に対応する主画素と副画素の間の輝度値の差の絶対値（以下、輝度距離という）が付与されている。ここで、同一の対象点Ａが写り込んだ正しい画素の組み合わせ（すなわち、画素Ｍおよび画素Ｓ）は、輝度値の差が最も小さい画素の組み合わせと考えることができる。したがって、上述したマッチング問題は、図４（ｂ）に示したマトリックスにおいて、左下の始点から右上の終点に至るパスのうち、パス上の各交点に付与されたコスト（輝度距離）の総和が最も小さくなる最適パスの探索問題に置き換えることができる。この探索問題は、以下の理由により、動的計画法に基づくステレオマッチング（以下、ＤＰマッチングという）によって処理することができる。
【００３４】
すなわち、図４（ａ）に示されるように、仮に、画素Ｍと画素Ｓを正しい組み合わせとすれば、その余の正しい組み合わせにおいて、画素Ｍよりも左側に存在する画素は、画素Ｓよりも左側に存在する画素と組み合うはずである。このことを図４（ｂ）に示すマトリックスに照らして考えれば、画素Ｍと画素Ｓの組み合わせの直前の正しい組み合わせ（交点）は、必ず画素Ｍと画素Ｓの交点から見て、左、下、斜め左下の３つのうちのいずれかに存在することを意味する。つまり、画素Ｍと画素Ｓの正しい組み合わせに至るまでの最適な組み合わせの列として、画素Ｍと画素Ｓの交点から見て、左、下、斜め左下の３つの各交点に至る３つの組み合わせの列の中から最適なものを選べばよいことになる。
【００３５】
図４（ｂ）に示すマトリックスを用いたＤＰマッチングにおいて、マトリックスの交点(i,j)に至る最適パスの総コストD(i,j)は、下記式（３）で表すことができる。なお、下記式（３）において、d(i,j)は、マトリックスの交点(i,j)に付与された輝度距離（コスト）を示し、D(i-1,j)、D(i-1,j-1)、D(i,j-1)は、交点(i,j)の直前の交点(i-1,j)、交点(i-1,j-1)、交点(i,j-1)に至るそれぞれの最適パスの総コストを示し、λは、斜めの経路を選択する重み係数を示す。
【００３６】
【数３】
【００３７】
ＤＰマッチングにおいては、図４（ｃ）に示すように、直前に求められたD(i-1,j)、D(i-1,j-1)、D(i,j-1)と、d(i,j)と、重み係数λを上記式（３）に代入し、最小値minを与えるものを最適パスとして選択するといった処理を図４（ｂ）に示すマトリックスの始点から終点に至るまで繰り返すことによって、始点から終点に至るパスのうち、パス上の各交点に付与されたコスト（輝度距離）の総和が最も小さくなる最適パスを決定することができる。
【００３８】
以上、ＤＰマッチングを用いたステレオ視計測の原理について説明してきたが、次に、本実施形態の多視点裸眼立体内視鏡システム１００における奥行値算出部１０８が備える特徴的な構成について説明する。本実施形態における奥行値算出部１０８の特徴は、上述した従来のステレオ視計測におけるＤＰマッチング方法を改良した新規なＤＰマッチング方法を採用する点にある。すなわち、本実施形態における新規なＤＰマッチング方法においては、まず第１に、正解率の向上のために、ＤＰマッチングにおけるコストを新たに定義する。第２に、ＤＰマッチングの正解率の向上のために、斜め経路選択の重み係数λを適応的に決定する構成を採用する。さらに、本実施形態における奥行値算出部１０８は、第３に、処理の高速化のために、マッチング処理の省略化のための構成を採用する。以下、上述した第１〜第３の各内容につき、順を追って詳細に説明する。
【００３９】
（ＤＰマッチングにおける新たなコスト定義の導入について）
従来のステレオ視計測におけるＤＰマッチングにおいては、図５（ａ）に示すように、注目する主画素(i,h)の輝度値ｍ(i,h)と、これと照合する副画素(j,h)の輝度値ｓ(j,h)の差の絶対値を輝度距離d(i,j)とし、この輝度距離d(i,j)をＤＰマッチングにおけるコストとして定義するものであった。しかしながら、このような単一の画素についての輝度距離をコストとする方法では、ノイズの影響を大きく受けざるを得ず、このことがマッチング正解率を低下させていた。さらに、単一の画素についての輝度距離をコストとする方法では、走査線上に同じ色（すなわち、同じ輝度値）の画素が続く領域において曖昧さを排除することができず、マッチング正解率の向上に限界があった。この点について、図５（ｂ）を参照して説明する。
【００４０】
図５（ｂ）は、単一の画素の輝度距離に基づくマッチングを示す。ここで、副カメラ画像上の画素（ロ）および画素（ハ）の輝度値が等しい場合、主カメラ画像の注目画素（イ）と副カメラ画像上の画素（ロ）の輝度距離は、主カメラ画像の注目画素（イ）と副カメラ画像上の画素（ハ）の輝度距離と等しくなって曖昧さが残る。このような従来法の問題点につき、本発明は、注目画素を含む複数の画素の輝度値を利用してコストを定義することによってこれを解決する。以下、この点について、図６を参照して説明する。
【００４１】
本発明においては、注目画素を含んで縦方向（ｈ軸方向）に連続する複数の画素を輝度値取得領域として定義する。具体的には、図６（ａ）の左側に太線で囲んで示すように、注目する主画素(i,h)を基準（０）として、走査線に対して垂直なｈ座標軸の正方向εＵ番目の画素を上端画素とし、ｈ座標軸の負方向εＬ番目（εＬは負の値とする）の画素を下端画素とする画素群を特定し、これらを輝度値取得領域Ｇｍとして定義する。同様に、マッチング対象となる副画素(j,h)を基準（０）として、ｈ座標軸の正方向にεＵ番目の画素を上端画素とし、ｈ座標軸の負方向にεＬ番目の画素を下端画素とする画素群を特定し、これらを輝度値取得領域Ｇｓとして定義する。すなわち、輝度値取得領域Ｇｓは輝度値取得領域Ｇｍと同じ大きさに定義される。
【００４２】
本発明においては、輝度値取得領域Ｇｍに含まれる各画素について算出した輝度距離の平均値を領域平均輝度距離ｄAVE.とし、この領域平均輝度距離ｄAVE.をＤＰマッチングにおけるコストとして定義する。領域平均輝度距離ｄAVE.を下記式（４）に示す。なお、下記式（４）において、εはｈ座標の加算値を示し、Ｎは輝度値取得領域Ｇを構成する画素数（εＵ−εＬ+１）を示し、ｍは主画素の輝度値を示し、ｓは副画素の輝度値を示す。
【００４３】
【数４】
【００４４】
本発明がＤＰマッチングにおけるコストとして領域平均輝度距離ｄAVE.を採用することには以下の利点がある。まず第１に、本発明は、注目画素に対して当該注目画素を含む複数の画素について算出した輝度距離の平均値を値として持たせる構成を採用するので、仮に、左右のカメラの受光量の差異やＣＣＤ素子の感度の違いに起因するノイズが当該注目画素に含まれていたとしても、輝度距離の平均化によってノイズの影響が平準化され、その結果、ノイズに起因するマッチング正解率の低下が抑止される。第２に、領域平均輝度距離ｄAVEを求める際の輝度値取得領域Ｇを規定するεＵおよびεＬの値は、対象の形状に応じて動的に決定されるため、このような領域平均輝度距離ｄAVEを用いたマッチングは、実質的に、注目画素近傍の空間情報を利用するものとなり、その結果、単一画素を用いる場合に比較してマッチング正解率が格段に向上する。以下、この点について、図６（ｂ）を参照して説明する。
【００４５】
図６（ｂ）は、領域平均輝度距離ｄAVEをコストとするマッチングを示す。図６（ｂ）に示す例においては、副画素（ロ）を含む輝度値取得領域Ｇｓは、副画素（ロ）の上に副画素（ロ）と色の異なる画素を含んでいるため、注目画素（イ）と副画素（ロ）の領域平均輝度距離ｄAVEは、注目画素（イ）と副画素（ハ）の領域平均輝度距離ｄAVEよりも大きくなる。その結果、副カメラ画像の画素（ハ）を正解として選出することが可能になる。なお、図６（ｂ）は、理解の容易のため、輝度値取得領域Ｇｓ内の色が大きく異なる例を示したが、仮に、輝度値取得領域Ｇ内の画素の色が同色であったとしても、領域内の画素の輝度値にはある程度の分散が見込めるため、上述した効果を得ることができる。
【００４６】
次に、本発明において、最適な輝度値取得領域Ｇを動的に設定する構成を採用することによって、マッチング正解率をさらに向上させることができる点について説明する。
【００４７】
図７（ａ）は、２つの対象物を撮像した際の主カメラ画像および副カメラ画像を示す。図７（ａ）に示す例においては、輝度値取得領域Ｇｍの大きさは固定されているものとする。ここで、四角形の対象物が写り込んだ主画素（ア）を注目画素とした場合、輝度値取得領域Ｇｍ内の画素（イ）には、背後の三角形の対象物が写り込む一方で、主画素（イ）に対応する輝度値取得領域Ｇｓ内の副画素（ウ）には、背後の三角形の対象物が写り込まず、背景が写り込むといったことが起こる。このような場合、主画素（ア）と副画素（ア’)の領域平均輝度距離ｄAVEが大きくなり、その結果、両者の組み合わせが正解として判断されない虞が生じる。つまり、輝度値取得領域Ｇｍの大きさの設定如何によっては、返ってノイズを拾ってしまうことになり、マッチング正解率を低下させてしまうことになりかねない。この点につき、本発明は、図７（ｂ）に概念的に示すように、主カメラ画像に写り込んだ対象物のエッジを基準にして、当該エッジにまたがって延在しないような輝度値取得領域Ｇｍを動的に設定することによって、ノイズを拾うことを防止してマッチング正解率を向上させる。以下、輝度値取得領域Ｇの動的設定について詳細に説明する。
【００４８】
本発明において、輝度値取得領域Ｇを設定することは、すなわち、輝度値取得領域Ｇの上端画素および下端画素を決定することと同義である。以下、輝度値取得領域Ｇの上端画素を決定する場合を例にとって説明する。本発明においては、注目画素(i,h)から見てｈ座標軸上方向のエッジ領域上にある画素を上端画素として決定する。注目画素(i,h)から見て、ｈ座標軸上方向に存在する画素およびエッジ領域上が図８（ａ）に示されるような態様である場合、エッジ領域上の画素であって、注目画素(i,h)から見て色が大きく変化しない最上位の画素(i,h+3)が上端画素として決定される。また、注目画素(i,h)から見てｈ座標軸上方向に存在する画素およびエッジ領域上が図８（ｂ）に示されるような態様である場合、色の変化よりもエッジが優先され、エッジ領域内の最上位の画素(i,h+4)が上端画素として決定される。なお、図８（ｃ）に示すように、注目画素(i,h)近傍にエッジ領域が存在しない場合には、予め定められた最大画素数Ｅ（ｈ座標の最大加算値Ｅ）をもって上端画素を決定する。図８（ｃ）に示す例においては、Ｅ＝５と定められているので、画素(i,h+5)が上端画素として決定される。
【００４９】
上述した輝度値取得領域Ｇの上端画素を決定する処理を図９に示したフローチャートに基づいて説明する。まず、注目する主画素の座標値(i,h)をセットし（ステップ１０１）、ｈ座標の加算値εを「１」とする（ステップ１０２）。次に、画素(i,h+ε)がエッジ領域上にあるか否かを判断する（ステップ１０３）。ここで、画素(i,h+ε)がエッジ領域上にあるか否かの判断は、以下の手順で実行することができる。
【００５０】
まず、画素(i,h+ε)を基準として、下記式（５）に示す、i軸方向の輝度変化量ηおよびｈ軸方向の輝度変化量ζをＳｏｂｅｌフィルタを用いて求める。なお、下記式（５）において、ｍは主画素の輝度値を示す。
【００５１】
【数５】
【００５２】
次に、画素(i,h+ε)について求めたηおよびζを下記式（６）に代入して求まる値を画素(i,h+ε)における輝度変化量ｋとし、輝度変化量ｋが予め定めた閾値Ｋeを超える場合に、当該画素(i,h+ε)がエッジ領域上にあると判断する。
【数６】
【００５３】
画素(i,h+ε)がエッジ領域上にあると判断される場合には（ステップ１０３,Ｙｅｓ）、ステップ１０４に進んでエッジフラグｆeを立てた後に、注目画素(i,h)の輝度値ｍ(i,h)と画素(i,h+ε)の輝度値の差の絶対値（輝度距離）が予め定めた閾値ＫCを超えるか否かを判断する（ステップ１０５）。輝度距離が閾値ＫCを超えない場合には（ステップ１０５,Ｎｏ）、ステップ１０６に進んでｈ座標の加算値εを「１」インクリメントした後に、加算値εが予め定められたｈ座標の最大加算値Ｅ（最大画素数Ｅ）を超えたか否かが判断される（ステップ１０７）。加算値εが最大加算値Ｅを超えている場合（ステップ１０７,Ｙｅｓ）、画素(i,h+Ｅ)を上端画素として定義して処理を終了する（ステップ１０８）。
【００５４】
加算値εが最大加算値Ｅを超えていない場合（ステップ１０７,Ｎｏ）、ステップ１０３に戻り、前回判断した画素の一つ上の画素(i,h+ε)がエッジ領域上にあるか否かを判断する。以降、ステップ１０４→ステップ１０５→ステップ１０６→ステップ１０７→ステップ１０３の処理が繰り返されるごとに、判断対象となる画素のｈ座標が１ずつ繰り上がる。
【００５５】
その間、ステップ１０５において、輝度距離が閾値ＫCを超えた場合には（ステップ１０５,Ｙｅｓ）、現在の画素(i,h+ε)の１つ手前の画素(i,h+ε-1)を上端画素として定義し（ステップ１０９）、処理を終了する。一方、画素(i,h+ε)がエッジ領域上に無い場合には（ステップ１０３,Ｎｏ）、エッジフラグが立っているか否かを判断する（ステップ１１０）。エッジフラグが立っている場合（ステップ１１０,Ｙｅｓ）、エッジ領域を超えたと判断し、現在の画素(i,h+ε)の１つ手前の画素(i,h+ε-1)を上端画素として定義して処理を終了する（ステップ１０９）。エッジフラグが立っていない場合（ステップ１１０,Ｎｏ）、ステップ１０６に進んで、先に説明したようにｈ座標の加算値εが「１」インクリメントされ、以降の処理が繰り返される。
【００５６】
本発明においては、上述したのと同様の手順で輝度値取得領域Ｇの下端画素を決定した上で、上端画素から下端画素に至る複数の画素群を輝度値取得領域Ｇとして動的に設定する。以上、本発明におけるＤＰマッチングのコストについて説明してきたが、本発明においては、領域平均輝度距離ｄAVE.をマッチングコストとする構成に代えて、領域平均輝度距離ｄAVE.の累乗根をマッチングコストとする構成を採用することによって、マッチング正解率をさらに向上させることができる。以下、この点について説明する。なお、以下の説明において、単一の画素について言及する部分は、輝度値取得領域Ｇについて言及するものとして置き換えて参照されたい。
【００５７】
図１０（ａ）は、色の異なる３つの対象物を撮像した際の主カメラ画像および副カメラ画像を示す。図１０（ａ）に示す例においては、主カメラ画像には、赤色、緑色、および黄色の３つの対象物が写っているが、副カメラ画像においては、赤色の対象物が緑色の対象物の背後に隠れてしまっている。この場合、赤色の対象物が写り込んだ主画素（ア）を注目画素としたマッチングにおいては、副カメラ画像の走査線上に正解は存在せず、誤った組み合わせを決定せざるを得ない。すなわち、ステレオ視計測におけるＤＰマッチングは、その原理上、不適切なマッチングを完全に排除することはできないのである。
【００５８】
このような場合、副カメラ画像の走査線上にある全ての副画素は、マッチングコストの観点から見て等価であることが望ましいが実際にはそうはならない。なぜならば、ＲＧＢデジタル画像の画素の輝度値は、Ｒ値、Ｇ値、Ｂ値からなる３次元ベクトル情報であるため、特に、補色の関係にある色の組み合わせの場合、各値の差分の総和である輝度距離が大きくなるからである。
【００５９】
たとえば、赤色の対象物上の主画素（ア）の輝度値は、[R=255,G=0,B=0]であり、緑色の対象物上の副画素（イ）の輝度値は、[R=0,G=255,B=0]であり、黄色の対象物上の副画素（ウ）の輝度値は、[R=255,G=255,B=0]である。その結果、主画素（ア）と副画素（イ）の組に付与されるコスト（輝度距離＝510）が主画素（ア）と副画素（ウ）の組に付与されるコスト（輝度距離＝255）の２倍になるといったことが生じる。このような大きな色の違いに起因して生じるコストの大きな差は、最適パスの探索に悪影響を及ぼす場合がある。
【００６０】
ここで、説明の便宜上、１０個の画素からなる画素群のマッチングを想定する。第１のパスにおいては、１０組の画素組のうち、７組の画素組が正解（コスト＝１）であり、残りの３組の画素組が誤った組み合わせであって、誤った組み合わせのコストがそれぞれ「１０」であったとする。一方、第２のパスにおいては、１０組の画素組のうち、９組の画素組が正解（コスト＝１）であり、残りの１組の画素組が誤った組み合わせであって、この誤った組み合わせに大きな色の違いがあったため、そのコストが「５０」であったとする。この例の場合、第１のパスのコストの総和は「５９」となり、第２のパスのコストの総和は「３７」となる。その結果、正答率の高い第２のパスではなく、正答率の低い第１のパスが最適マッチングとして決定されるといったことが生じる。
【００６１】
上述した問題点につき、本発明においては、先に説明した領域平均輝度距離ｄAVE.の累乗根をＤＰマッチングにおけるコストとして定義する。下記式（７）にコストｃ(i,j)を示す。なお、下記式（７）において、根ｒは固定値であり、適切な値を設定する。たとえば、本発明においては、根ｒ＝５１２〜１０２４とすることができる。
【００６２】
【数７】
【００６３】
図１０（ｂ）は、領域平均輝度距離ｄAVE.とコストｃ(i,j)の関係を示す図である。図１０（ｂ）に示されるように、領域平均輝度距離ｄAVE.をそのままコストｃ(i,j)として定義する場合には、当然のごとく領域平均輝度距離ｄAVE.に正比例してコストｃ(i,j)が増大するが、領域平均輝度距離ｄAVE.の累乗根をコストｃ(i,j)として定義する場合には、領域平均輝度距離ｄAVE.の値が小さい範囲においては、領域平均輝度距離ｄAVE.の増加に応じてコストｃ(i,j)が増大するが、領域平均輝度距離ｄAVE.の値が大きい範囲においては、コストｃ(i,j)の増加率が徐々に低下する。すなわち、領域平均輝度距離ｄAVE.の累乗根をＤＰマッチングにおけるコストとして定義することによって、不適切なマッチングを含むパスの総コストを適切に見積もることが可能になり、その結果、マッチング正解率をさらに向上させることができる。以上、本実施形態における奥行値算出部１０８が採用するＤＰマッチングにおけるコストの詳細について説明してきたが、続いて、奥行値算出部１０８の第２の特徴である、斜め経路選択の重み係数λを適応的に決定する構成について説明する。
【００６４】
（斜め経路選択の重み係数λを適応的に決定する構成について）
本発明におけるＤＰマッチングにおいて、図４（ｂ）に示したマトリックスの交点(i,j)に至る最適パスの総コストC(i,j)は、下記式（８）で表すことができる。なお、下記式（８）において、c(i,j)は、マトリックスの交点(i,j)に付与されたコスト（すなわち、上記式（７）に示した領域平均輝度距離ｄAVE.の累乗根）を示し、C(i-1,j)、C(i-1,j-1)、C(i,j-1)は、交点(i,j)の直前の交点(i-1,j)、交点(i-1,j-1)、交点(i,j-1)に至るそれぞれの最適パスの総コストを示し、λは、斜めの経路を選択する重み係数を示す。
【００６５】
【数８】
【００６６】
ここで、上記式（８）における斜め経路選択の重み係数λの値を大きく設定すれば、斜めの経路を採り難くなり、重み係数λの値を小さく設定すれば、斜めの経路を採り易くなる。従来のＤＰマッチングにおいては、この重み係数λを固定値としていたが、本発明においては、この重み係数λをマトリックスの交点(i,j)における領域平均輝度距離ｄAVE.の大きさに応じて適応的に変化させる。すなわち、本発明においては、上記式（８）における斜め経路選択の重み係数λ（固定値）に代えて、下記式（９）に示す重み係数λ(i,j)を採用する。なお、下記式（９）におけるｗは固定値であり、適切な値を設定する。本発明においては、ｗ＝０．１５〜０．３５とすることができる。
【００６７】
【数９】
【００６８】
ＤＰマッチングにおいては、注目画素に対して適切なマッチング対象が存在しない場合であっても、縦または横の経路を採ることによって、一つの画素に二つ以上の画素を対応させることで適切に処理することができるので、そのための追加的な処理をおこなう必要がない。ここで、パスが斜めの経路を取るか、あるいは、縦または横の経路を取るのかは、重み係数λ(i,j)の値に大きく依存する。したがって、本発明においては、この重み係数λ(i,j)を適応的に変化させることによって、マッチング正解率をさらに向上させるものである。すなわち、本発明においては、マトリックスの交点(i,j)に付与されたコストc(i,j)が大きいほど（つまり、注目画素に対して適切なマッチング対象が存在しない可能性が大きいほど）、重み係数λ(i,j)の値が大きくなるので、パスが縦または横の経路を採りやすくなるように構成されている。以上、斜め経路選択の重み係数λを適応的に決定する構成について説明してきたが、続いて、奥行値算出部１０８の第３の特徴である、マッチング処理の省略化について説明する。
【００６９】
（マッチング処理の省略化について）
先に図３を参照して説明したように、ステレオ視計測におけるＤＰマッチングは、走査線ごとに独立して行われる。従来のステレオ視計測においては、たとえば、主カメラ画像の縦幅が３００ピクセルの場合、全画素の視差を取得するために３００回のＤＰマッチングが必要であった。この点につき、本発明は、視差に変化が無い画素領域が画像のｈ軸方向に多く存在する点に着目し、視差に変化が無いと推定される画素領域については、既に取得した視差を継承することによって処理量を大幅に削減することで処理時間のリアルタイム性を実現する。以下、その具体的な内容について図１１および図１２に示すフローチャートに基づいて説明する。
【００７０】
以下の説明は、図１１（ａ）に示す主カメラ画像を例にとって説明する。なお、図１１（ａ）に示す主カメラ画像は、２５本（０〜２４）の走査線を有しているものとする。
【００７１】
まず、ステップ２０１において、一番下の走査線（ｈ座標値＝０）について通常のマッチング処理を実行し、画素毎の視差を取得する。視差の取得が完了した走査線は「視差取得済」とマークされる（以下、同様）。その後、ステップ２０２において、パラメータεが「０」にセットされる。
【００７２】
次に、ステップ２０３において、視差取得済の走査線（この場合、ｈ座標値＝０の走査線）から所定間隔離れた走査線のｈ座標値（＝ε+α）を指定して、当該走査線について通常のマッチング処理を実行し、画素毎の視差を取得する。本発明において、「α」は視差の継承範囲を規定するためのパラメータであり、２の倍数として定義される適切な大きさの固定値であり、図１１に示す例においては、α＝８に設定されている。したがって、ｈ座標値＝ε+α＝０+８＝８が指定され、ｈ座標値＝８の走査線について通常のマッチング処理を実行し視差を取得する。
【００７３】
次に、ステップ２０４においては、「視差取得済」とマークされた走査線が探索され、その中で隣接する走査線の中間に存在する走査線（以下、中間走査線という）のｈ座標値を指定する。なお、中間走査線のｈ座標値は、隣接する走査線のうち上側の走査線のｈ座標値＝ｈＵとその下側の走査線のｈ座標値＝ｈＬを加算しこれを２で除算することによって求めることができる。この場合、下側の走査線のｈ座標値＝０と上側の走査線のｈ座標値＝８を加算しこれを２で除算して得られる値「４」が中間走査線のｈ座標値となる。中間走査線（ｈ座標値＝４）が指定されると、ステップ２０５に進み、指定した中間走査線の各画素(i,h)について「視差承継処理」が実行される。以下、図１１（ｂ）を参照して、本発明における「視差承継処理」について説明する。
【００７４】
「視差承継処理」においては、指定した中間走査線の画素(i,h)と同じi座標値を持つ、上側の走査線上の画素(i,h+ｎ)の視差と下側の走査線上の画素(i,h-ｎ)の視差が比較される。その結果、２つの視差が等しい場合には、中間走査線の画素(i,h)に当該視差を承継させ、２つの視差が異なる場合には、中間走査線の画素(i,h)を「要処理」とマークする。
【００７５】
図１１（ｂ）に示す例においては、中間走査線（ｈ座標値＝４）の画素(0,4)に着目すると、画素(0,4)と同じi座標を持つ、下側の走査線（ｈ座標値＝０）の画素(0,0)の視差（＝５）と上側の走査線（ｈ座標値＝８）の画素(0,8)の視差（＝５）は等しい。この場合、その間に挟まれる画素(0,4)に視差の変化がないと推定し、画素(0,4)に視差＝５を承継させる。また、中間走査線の画素(7,4)に着目すると、下側の走査線の画素(7,0)の視差（＝４）と上側の走査線の画素(7,8)の視差（＝４）は等しいので、同様に、画素(7,4)に視差＝５を承継させる。このように、本発明の方法によれば、中間走査線上の一部の領域について、マッチング処理を要することなく視差を取得することができるので、処理量を大幅に削減することができ、その結果、処理速度を格段に高速化することができる。
【００７６】
一方、中間走査線の画素(3,4)に着目すると、画素(3,4)の下側の走査線上の画素(3,0)の視差（＝５）と上側の走査線上の画素(3,8)の視差（＝３）は異なる。この場合、その間に挟まれる画素(3,4)について改めて視差を取得する必要があると判断し、画素(3,4)を「要処理」とマークする。
【００７７】
上述した処理が中間走査線（ｈ座標値＝４）の全ての画素について実行される結果、中間走査線（ｈ座標値＝４）の画素(0,4)、画素(1,4)、画素(2,4)、画素(7,4)、画素(8,4)、画素(9,4)については既に計算された視差が承継され、画素(3，4)、画素(4,4)、画素(5,4)、画素(6,4)については「要処理」とマークされる。その後、「要処理」とマークされた画素領域についてのみ、通常のマッチング処理が実行される。その結果、中間走査線（ｈ座標値＝４）の全画素について視差が取得され、中間走査線（ｈ座標値＝４）が「視差取得済」とマークされる。
【００７８】
次に、ステップ２０６において、「視差取得済」とマークされた複数の走査線間のｈ座標値の差の最大値＝１であるか否かを判断する。走査線間のｈ座標値の差の最大値＝１でない場合（ステップ２０６、Ｎｏ）、２つの視差取得済走査線に挟まれた視差を取得していない領域が残っていることになるので、ステップ２０４〜ステップ２０５の処理を再度実行する。
【００７９】
図１１（ｂ）に示す例の場合、「視差取得済」とマークされた走査線は、走査線（ｈ座標値＝０）、走査線（ｈ座標値＝４）、走査線（ｈ座標値＝８）であり、視差取得済走査線間のｈ座標値の差の最大値＝４であるので（ステップ２０６、Ｎｏ）、処理は、ステップ２０４に戻って新たな中間走査線が指定される。具体的には、視差取得済走査線（ｈ座標値＝０）と視差取得済走査線（ｈ座標値＝４）に対する中間走査線（ｈ座標値＝２）が指定され、視差取得済走査線（ｈ座標値＝４）と視差取得済走査線（ｈ座標値＝８）に対する中間走査線（ｈ座標値＝６）が指定される。その後、ステップ２０５に進んで、新たに指定された中間走査線（ｈ座標値＝２）および中間走査線（ｈ座標値＝６）について、上述した視差承継処理が実行される。
【００８０】
その後、再び、ステップ２０６において、「視差取得済」とマークされた複数の走査線間のｈ座標値の差の最大値＝１であるか否かを判断され、この場合、視差取得済走査線間のｈ座標値の差の最大値＝２であるので（ステップ２０６、Ｎｏ）、もう一度、ステップ２０４〜２０５の処理が繰り返される。その結果、視差取得済走査線間のｈ座標値の差の最大値＝１となる（ステップ２０６、Ｙｅｓ）。走査線間の座標値の差の最大値＝１であるということは、２つの視差取得済走査線に挟まれた未処理領域がないことを意味するので、処理回数カウントＣをインクリメントし（ステップ２０７）、ステップ２０８に進む。ステップ２０８においては、予め定められた目標処理回数が達成された否かが判断される。ここで、目標処理回数は、主カメラ画像の全走査線数−１をパラメータα（２の倍数）で除算した値が設定される。図１１（ａ）に示す例の場合、主カメラ画像の全走査線数は「２５」あり、パラメータα＝８であるので、（２５−１）÷８＝３回が目標処理回数となる。
【００８１】
この場合、処理回数カウントＣ＝１であるので（ステップ２０８、Ｎｏ）、ステップ２０９に進む。ステップ２０９においては、パラメータεにパラメータαを加算した値を新たなパラメータε（０+８＝８）とし、ステップ２０３に進む。ステップ２０３においては、ｈ座標値（＝ε+α＝８+８＝１６）の走査線が指定され、当該走査線について通常のマッチング処理を実行し視差を取得する。その後、視差取得済走査線（ｈ座標値＝８）と視差取得済走査線（ｈ座標値＝１６）の間に存在する７本の走査線について、上述したのと同様の処理が実行した後、ステップ２０９においては、パラメータεがさらに更新され（８+８＝１６）、さらに、視差取得済走査線（ｈ座標値＝１６）と視差取得済走査線（ｈ座標値＝２４）の間に存在する７本の走査線について、上述したのと同様の処理を実行する。その結果、処理回数カウントＣ＝３となり（ステップ２０８、Ｙｅｓ）、全走査線（２５本）上の全画素の視差の取得を完了して処理を終了する。
【００８２】
以上、説明したように、本発明が採用する奥行値算出部１０８の構成によれば、３Ｄデータにおける奥行値を高精度に算出することが可能になり、且つ、奥行値の算出処理速度のリアルタイム性が担保される。その結果、裸眼の手術スタッフに対して、患部の実写映像の立体視画像を、多視点で、且つ、リアルタイムに提供することが可能な立体内視鏡システムが実現される。
【００８３】
以上、本発明について実施形態をもって説明してきたが、本発明は上述した実施形態に限定されるものではなく、その他、当業者が推考しうる実施態様の範囲内において、本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。なお、上述した本発明における奥行値算出部が採用する視差の算出手法は、立体内視鏡に化限らず、ステレオ視計測を用いる技術全般に適用することができるのは言うまでもない。
【実施例】
【００８４】
以下、本発明の多視点裸眼立体内視鏡システムについて、実施例を用いてより具体的に説明を行なうが、本発明は、後述する実施例に限定されるものではない。
【００８５】
本発明の多視点裸眼立体内視鏡システムの奥行値算出部が採用する新規なＤＰマッチング手法を実装した計算機（CPU : Intel Core2 Quad Q9300／メモリ : 3GB ／ OS : Windows（登録商標） XP (32bit))による視差計測実験を実施した。なお、本実験においては、http://vision.middlebury.edu/stereo/から入手した、図１３(ａ）〜（ｄ）に示す４組のステレオ画像（「Cones」「Teddy」「Tsukuba」「Venus」）を用いた。
【００８６】
本実験においては、実施例１の計算機を下の条件で動作させた。すなわち、輝度取得領域Ｇの動的設定については、（１）最大画素数Ｅ＝３（上側），-３（下側）、（２）注目画素(i,h)に対する輝度距離の閾値ＫC＝１０、（３）輝度変化量ｋの閾値Ｋe＝４００とした。
【００８７】
また、斜め経路先端の重み係数λ(i,j)については、下記式（９）におけるｗ＝０．２５とした。
【００８８】
【数１０】
【００８９】
さらに、コストｃ(i,j)については、下記式（７）における根ｒ＝５１２とした。
【００９０】
【数１１】
【００９１】
一方、比較例として、従来のステレオ視計測方法を実装した計算機（実施例１と同じスペックのもの）による視差計測実験を実施した。すなわち、単一画素の輝度距離をコストとして定義し、斜め経路選択の重み係数λ＝０．４（固定値）とした。
【００９２】
＜正解率の検証＞
図１４〜図１７は、それぞれ、４つのステレオ画像対（「Cones」「Teddy」「Tsukuba」「Venus」）について得られた結果を示す。なお、図１４(ａ）は、予め用意された正解の視差を示し、図１４(ｂ）は、比較例の視差を示し、図１４(ｃ）は、実施例１の視差を示す（図１５および図１６についても同様）。
【００９３】
また、下記表１は、実施例１および比較例について、４組のステレオ画像（「Cones」「Teddy」「Tsukuba」「Venus」）における正解率[%]を示す。なお、本実験においては「正解」＝正解の視差に対するずれが1画素以内のものとし、正解率[%]＝正解画素の数／視差の算出が可能な全画素数×１００とした。
【００９４】
【表１】
【００９５】
上記表１に示されるように、実施例１の正解率は、比較例のそれに比べて１０ポイント以上高い値を示した。
【００９６】
＜処理の高速化の検証＞
上述した実施例１の構成に対して、さらに、視差継承処理の機能を実装させた計算機により、同じく、図１３(ａ）〜（ｄ）に示す４組のステレオ画像（「Cones」「Teddy」「Tsukuba」「Venus」）を用いて視差計測実験を実施した。なお、本実験においては、計測対象画像をＸ軸方向に４分割した並列処理により視差を計測した。また、本実験においては、視差の継承範囲を規定するためのパラメータαについて、５つの条件（パラメータα＝２、４、８、１６、３２）を設定し、それぞれの実験を実施例２〜６とした。下記表２は、実施例１〜６について、４つのステレオ画像対（「Cones」「Teddy」「Tsukuba」「Venus」）におけるＭＤＥ／Ｓ (Million Disparity Estimations per second)を示す。また、図１８は、パラメータαとＭＤＥ／Ｓの平均値との関係を示す。なお、ＭＤＥ／Ｓは、(視差の最大値)×(画像の総画素数)×(１秒間に処理した画像の枚数)×１０６として定義される画像の大きさに依存しない計算速度の指標である。
【００９７】
【表２】
【００９８】
上記表２および図１８に示されるように、ＭＤＥ／Ｓの値は、パラメータαの値にほぼ比例して増加した。さらに、下記表３は、実施例１〜６の４組のステレオ画像（「Cones」「Teddy」「Tsukuba」「Venus」）における正解率[%]を示す。また、図１９は、パラメータαと正解率[%]の平均値との関係を示す。
【００９９】
【表３】
【０１００】
上記表３および図１９に示されるように、正解率[%]は、パラメータαの値が大きくなるにつれ若干低くなる傾向が見られたが、それでも、比較例に比べてかなり高い値を維持した。
【産業上の利用可能性】
【０１０１】
以上、説明したように、本発明によれば、立体内視鏡システムに特有のストレスから手術スタッフを解放するとともに、質の高い施術を支援することができる新規な立体内視鏡システムが提供される。本発明の多視点裸眼立体内視鏡システムの普及により、外科手術がより高度な発展を遂げ、その結果、一人でも多くの命が救われることを期待する。
【符号の説明】
【０１０２】
１００…多視点裸眼立体内視鏡システム
１０２…多視点ステレオ画像生成部
１０４…３Ｄデータ生成部
１０６…レンダリング部
１０８…奥行値算出部
２００…眼鏡式立体内視鏡システム
２０１…ステレオカメラ
２０２…左目用カメラ
２０４…右目用カメラ
２０６…画像出力制御部
２０８…画像切替部
２１０…ディスプレイ
２１２…３Ｄメガネ
３００…多視点裸眼立体ディスプレイ装置
３０２…レンチキュラーレンズアレイ
【特許請求の範囲】
【請求項１】
ステレオカメラと、該ステレオカメラによって取得されたステレオ画像に基づいて多視点ステレオ画像を生成する多視点ステレオ画像生成部と、該多視点ステレオ画像を表示するための多視点裸眼立体ディスプレイとを含む立体内視鏡システムであって、
多視点ステレオ画像生成部は、
前記ステレオカメラによって取得されたステレオ画像の画素毎の奥行値とＲＧＢ値を対応付けた３Ｄデータを生成する３Ｄデータ生成部と、
前記３Ｄデータに基づいて複数の仮想的な視点に対応する複数のステレオ画像が集約してなる多視点ステレオ画像を描画するレンダリング部と
を含む、
立体内視鏡システム。
【請求項２】
前記３Ｄデータ生成部は、奥行値算出部を含み、
前記奥行値算出部は、
前記ステレオ画像について動的計画法に基づくステレオマッチングを実行することにより画素毎の視差を取得し、該視差に基づいて画素毎の奥行値を算出する、
請求項１に記載の立体内視鏡システム。
【請求項３】
前記奥行値算出部は、
注目画素を含んで縦方向に連続する複数の画素を輝度値取得領域として定義し、該複数の画素の各画素について算出した輝度距離の平均値を前記ステレオマッチングにおけるコストとして定義する、
請求項１または２に記載の立体内視鏡システム。
【請求項４】
前記奥行値算出部は、
注目画素を含んで縦方向に連続する複数の画素を輝度値取得領域として定義し、該複数の画素の各画素について算出した輝度距離の平均値の累乗根を前記ステレオマッチングにおけるコストとして定義する、
請求項１または２に記載の立体内視鏡システム。
【請求項５】
前記奥行値算出部は、
エッジにまたがって延在しない前記輝度値取得領域を動的に定義する、
請求項３または４に記載の立体内視鏡システム。
【請求項６】
前記奥行値算出部は、
前記ステレオマッチングにおける斜め経路選択の重み係数が前記輝度距離の平均値の大きさに応じて大きくなるように設定する、
請求項３〜５のいずれか一項に記載の立体内視鏡システム。
【請求項７】
前記奥行値算出部は、
前記ステレオ画像において対象となる走査線を所定間隔毎に定義して該走査線上の各画素の視差を前記ステレオマッチングによって取得した上で、縦方向に存在する視差取得済みの２つの画素の間に位置する画素について、前記２つの画素の視差が変化しない場合には、前記２つの画素の間に位置する画素に前記２つの画素の視差を承継させ、前記２つの画素の視差が変化する場合には、前記２つの画素の間に位置する画素についてのみ新たに前記ステレオマッチングを行って視差を取得するといった一連の処理を実行する、
請求項２〜６のいずれか一項に記載の立体内視鏡システム。
【請求項８】
前記奥行値算出部は、
前記一連の処理を前記ステレオ画像の全画素の視差が取得されるまで再帰的に繰り返す、
請求項７に記載の立体内視鏡システム。
【請求項９】
ステレオ画像の各画素について視差を取得するために動的計画法に基づいてステレオマッチングを行う方法であって、
注目画素を含んで縦方向に連続する複数の画素を輝度値取得領域として定義し、該複数の画素の各画素について算出した輝度距離の平均値を前記ステレオマッチングにおけるコストとして定義することを特徴とする方法。
【請求項１０】
ステレオ画像の各画素について視差を取得するために動的計画法に基づいてステレオマッチングを行う方法であって、
注目画素を含んで縦方向に連続する複数の画素を輝度値取得領域として定義し、該複数の画素の各画素について算出した輝度距離の平均値の累乗根を前記ステレオマッチングにおけるコストとして定義することを特徴とする方法。
【請求項１１】
前記輝度値取得領域をエッジにまたがって延在しないように動的に定義することを特徴とする、請求項９または１０に記載の方法。
【請求項１２】
前記ステレオマッチングにおける斜め経路選択の重み係数が前記輝度距離の平均値の大きさに応じて大きくなるように設定することを特徴とする、請求項９〜１１のいずれか一項に記載の方法。
【請求項１３】
前記ステレオ画像において対象となる走査線を所定間隔毎に定義して該走査線上の各画素の視差を前記ステレオマッチングによって取得した上で、縦方向に存在する視差取得済みの２つの画素の間に位置する画素について、前記２つの画素の視差が変化しない場合には、前記２つの画素の間に位置する画素に前記２つの画素の視差を承継させ、前記２つの画素の視差が変化する場合には、前記２つの画素の間に位置する画素についてのみ新たに前記ステレオマッチングを行って視差を取得するといった一連の処理を実行することを特徴とする、請求項９〜１２のいずれか一項に記載の方法。
【請求項１４】
前記一連の処理を前記ステレオ画像の全画素の視差が取得されるまで再帰的に繰り返すことを特徴とする、請求項１３に記載の方法。
【請求項１】
ステレオカメラと、該ステレオカメラによって取得されたステレオ画像に基づいて多視点ステレオ画像を生成する多視点ステレオ画像生成部と、該多視点ステレオ画像を表示するための多視点裸眼立体ディスプレイとを含む立体内視鏡システムであって、
多視点ステレオ画像生成部は、
前記ステレオカメラによって取得されたステレオ画像の画素毎の奥行値とＲＧＢ値を対応付けた３Ｄデータを生成する３Ｄデータ生成部と、
前記３Ｄデータに基づいて複数の仮想的な視点に対応する複数のステレオ画像が集約してなる多視点ステレオ画像を描画するレンダリング部と
を含む、
立体内視鏡システム。
【請求項２】
前記３Ｄデータ生成部は、奥行値算出部を含み、
前記奥行値算出部は、
前記ステレオ画像について動的計画法に基づくステレオマッチングを実行することにより画素毎の視差を取得し、該視差に基づいて画素毎の奥行値を算出する、
請求項１に記載の立体内視鏡システム。
【請求項３】
前記奥行値算出部は、
注目画素を含んで縦方向に連続する複数の画素を輝度値取得領域として定義し、該複数の画素の各画素について算出した輝度距離の平均値を前記ステレオマッチングにおけるコストとして定義する、
請求項１または２に記載の立体内視鏡システム。
【請求項４】
前記奥行値算出部は、
注目画素を含んで縦方向に連続する複数の画素を輝度値取得領域として定義し、該複数の画素の各画素について算出した輝度距離の平均値の累乗根を前記ステレオマッチングにおけるコストとして定義する、
請求項１または２に記載の立体内視鏡システム。
【請求項５】
前記奥行値算出部は、
エッジにまたがって延在しない前記輝度値取得領域を動的に定義する、
請求項３または４に記載の立体内視鏡システム。
【請求項６】
前記奥行値算出部は、
前記ステレオマッチングにおける斜め経路選択の重み係数が前記輝度距離の平均値の大きさに応じて大きくなるように設定する、
請求項３〜５のいずれか一項に記載の立体内視鏡システム。
【請求項７】
前記奥行値算出部は、
前記ステレオ画像において対象となる走査線を所定間隔毎に定義して該走査線上の各画素の視差を前記ステレオマッチングによって取得した上で、縦方向に存在する視差取得済みの２つの画素の間に位置する画素について、前記２つの画素の視差が変化しない場合には、前記２つの画素の間に位置する画素に前記２つの画素の視差を承継させ、前記２つの画素の視差が変化する場合には、前記２つの画素の間に位置する画素についてのみ新たに前記ステレオマッチングを行って視差を取得するといった一連の処理を実行する、
請求項２〜６のいずれか一項に記載の立体内視鏡システム。
【請求項８】
前記奥行値算出部は、
前記一連の処理を前記ステレオ画像の全画素の視差が取得されるまで再帰的に繰り返す、
請求項７に記載の立体内視鏡システム。
【請求項９】
ステレオ画像の各画素について視差を取得するために動的計画法に基づいてステレオマッチングを行う方法であって、
注目画素を含んで縦方向に連続する複数の画素を輝度値取得領域として定義し、該複数の画素の各画素について算出した輝度距離の平均値を前記ステレオマッチングにおけるコストとして定義することを特徴とする方法。
【請求項１０】
ステレオ画像の各画素について視差を取得するために動的計画法に基づいてステレオマッチングを行う方法であって、
注目画素を含んで縦方向に連続する複数の画素を輝度値取得領域として定義し、該複数の画素の各画素について算出した輝度距離の平均値の累乗根を前記ステレオマッチングにおけるコストとして定義することを特徴とする方法。
【請求項１１】
前記輝度値取得領域をエッジにまたがって延在しないように動的に定義することを特徴とする、請求項９または１０に記載の方法。
【請求項１２】
前記ステレオマッチングにおける斜め経路選択の重み係数が前記輝度距離の平均値の大きさに応じて大きくなるように設定することを特徴とする、請求項９〜１１のいずれか一項に記載の方法。
【請求項１３】
前記ステレオ画像において対象となる走査線を所定間隔毎に定義して該走査線上の各画素の視差を前記ステレオマッチングによって取得した上で、縦方向に存在する視差取得済みの２つの画素の間に位置する画素について、前記２つの画素の視差が変化しない場合には、前記２つの画素の間に位置する画素に前記２つの画素の視差を承継させ、前記２つの画素の視差が変化する場合には、前記２つの画素の間に位置する画素についてのみ新たに前記ステレオマッチングを行って視差を取得するといった一連の処理を実行することを特徴とする、請求項９〜１２のいずれか一項に記載の方法。
【請求項１４】
前記一連の処理を前記ステレオ画像の全画素の視差が取得されるまで再帰的に繰り返すことを特徴とする、請求項１３に記載の方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１２−６５８５１（Ｐ２０１２−６５８５１Ａ）
【公開日】平成２４年４月５日（２０１２．４．５）
【国際特許分類】
【出願番号】特願２０１０−２１３２０９（Ｐ２０１０−２１３２０９）
【出願日】平成２２年９月２４日（２０１０．９．２４）
【出願人】（５９９０１１６８７）学校法人 中央大学 (110)
【Ｆターム（参考）】
【公開日】平成２４年４月５日（２０１２．４．５）
【国際特許分類】
【出願日】平成２２年９月２４日（２０１０．９．２４）
【出願人】（５９９０１１６８７）学校法人 中央大学 (110)
【Ｆターム（参考）】
[ Back to top ]