画像処理装置及び方法、並びにプログラム
【課題】 ＤＰマッチングでの対応付けが困難な場合であっても、左右の画像から高品質の仮想視点画像を作成する。
【解決手段】 指定通過点探索部２０は、ＤＰマッチングでの対応付けが困難な特徴点、例えば眼鏡フレームの両端部分を検出し、その座標を指定通過点とする。ＤＰマッチング部２１のうち、コスト計算部２２は、左画像のスキャンライン上の画素を縦軸、右画像のスキャンライン上の画素を横軸として、各対応点についてマッチングコストを計算する。パス探索部２３は、右上の対応点からパス探索を始め、隣接する対応点のうち原則としてマッチングコストが最小の対応点を辿り、且つ、指定通過点を通過させながら、左下の対応点へと至るパスを探索する。仮想視点画像作成部１０４は、ＤＰマッチング部２１から供給された対応点情報に基づいて、左右の画像から仮想視点画像を作成する。
【解決手段】 指定通過点探索部２０は、ＤＰマッチングでの対応付けが困難な特徴点、例えば眼鏡フレームの両端部分を検出し、その座標を指定通過点とする。ＤＰマッチング部２１のうち、コスト計算部２２は、左画像のスキャンライン上の画素を縦軸、右画像のスキャンライン上の画素を横軸として、各対応点についてマッチングコストを計算する。パス探索部２３は、右上の対応点からパス探索を始め、隣接する対応点のうち原則としてマッチングコストが最小の対応点を辿り、且つ、指定通過点を通過させながら、左下の対応点へと至るパスを探索する。仮想視点画像作成部１０４は、ＤＰマッチング部２１から供給された対応点情報に基づいて、左右の画像から仮想視点画像を作成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばステレオカメラシステムによって得られた左右の画像の対応付けを行い、あたかも左右のカメラ間の仮想カメラによって撮像したかのような仮想視点画像を作成する際に用いて好適な画像処理装置及びその方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、テレビ会議システム等に代表されるように、複数のユーザが互いに離れた場所で相手の表示像を視認しながら遠隔対話するシステムが提案されている。このようなシステムでは、相手の表示像をディスプレイ上に表示すると共に、当該ディスプレイを視認するユーザを被写体として撮像し、得られた画像信号を公衆回線、専用回線等のネットワークを介して相手側の画像処理装置に送信することにより、双方のユーザに対して臨場感を持たせることが可能となる。
【０００３】
従来におけるテレビ会議システムでは、ディスプレイの中心付近に映し出される相手の表示像を視認するユーザを、ディスプレイ上部にあるカメラにより撮像していたため、ユーザが下を向いた状態の画像がディスプレイ上に表示されることになっていた。このため、実際にディスプレイを視認するユーザ間において視線が不一致の状態で対話がなされることになり、互いに違和感を与えてしまうという問題があった。
【０００４】
理想的には、相手の表示像が映し出されるディスプレイの中心付近にカメラを設置すれば、双方のユーザの視線を一致させた状態で対話を実現することができる。しかしながら、このようにディスプレイの中心付近にカメラを設置することは物理的に困難である。
【０００５】
そこで、このような視線不一致に関する問題を解決するために、ディスプレイの左右に設置された２台のカメラで撮影した左右の画像の対応付けを行うことにより、あたかも左右のカメラ間の仮想カメラによって撮像したかのような仮想視点画像を作成し、これを相手側のディスプレイに表示させる画像処理装置が提案されている（例えば、特許文献１参照）。このような画像処理装置では、あたかもディスプレイ中心付近の仮想カメラによって撮像したかのような仮想視点画像を作成して相手側のディスプレイに表示させることにより、ユーザの視線を一致させて臨場感の高いコミュニケーションを実現することができる。
【０００６】
このように左右の画像の対応付けを行うことにより仮想視点画像を作成する画像処理装置では、左右の画像の対応付けを如何に正確に行うかが言うまでもなく重要である。左右の画像の対応付けには様々な手法があるが、その中でも、全体の最適化を図るＤＰ（Dynamic Programming）マッチング（動的計画法）が、比較的良好な品質の仮想視点画像を作成するための対応付け手法として知られている。
【０００７】
ＤＰマッチングを利用して仮想視点画像を作成する従来の画像処理装置の概略構成を図１１に示す。図１１に示すように、画像処理装置１００は、ＤＰマッチング部１０１と、仮想視点画像作成部１０４とから構成されており、ＤＰマッチング部１０１は、コスト計算部１０２とパス探索部１０３とから構成されている。
【０００８】
この画像処理装置１００において、ＤＰマッチング部１０１は、例えば図１２に示すような左右の画像が供給されると、スキャンライン（水平ライン）毎に画素同士の対応付けを行い、対応点情報を仮想視点画像作成部１０４に供給する。より詳細に説明すると、コスト計算部１０２は、図１３に示すように、左画像のスキャンラインＬ１上の画素を縦軸（ｙ軸）、右画像のスキャンラインＬ２上の画素を横軸（ｘ軸）として、各対応点について左下の対応点から右上の対応点への順にマッチングコストを計算する。そして、パス探索部１０３は、右上の対応点からパス探索を始め、隣接する対応点のうちマッチングコストが最小の対応点を辿りながら、左下の対応点へと至るパス（経路）を探索する。このパス上の対応点がスキャンラインＬ１，Ｌ２上の画素同士の対応関係を表しているため、パス探索部１０３は、この対応点情報を仮想視点画像作成部１０４に供給する。仮想視点画像作成部１０４は、この対応点情報に基づいて仮想視点画像を作成する。
【０００９】
【特許文献１】特開平２−５３１８７号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
ところで、上述したＤＰマッチングを利用すれば、左右の画像の対応付けを行うことにより比較的高品質の仮想視点画像を作成することができるが、本来ならば対応すべき左右の画像の特徴点が小さい場合やその画素付近における左右の画像の視差が急激に変化する場合には、必ずしも左右の画素が対応する保証はなく、対応付けの精度が周囲の画素との関係に大きく影響されるという問題がある。
【００１１】
例えば、被写体であるユーザが眼鏡をかけていない場合、顔表面の左右視差の変化が比較的連続的であるため、作成される仮想視点画像について視覚的に大きな問題は生じないが、被写体であるユーザが眼鏡をかけている場合、眼鏡フレームは周囲の肌領域に対して十分細く、且つ顔表面から離れているため、左右の視差が顔表面から急激に変わったり視差の逆転が起こったりし、左右の画像の眼鏡フレーム同士が対応しないことが多い。具体的に、図１２のスキャンラインＬ１，Ｌ２上の画素同士を対応付けた場合、理想的には図１４（Ａ）のような対応関係になるところが、図１４（Ｂ）のように左右の眼鏡フレーム位置でミスマッチを起こしてしまう。このように眼鏡フレーム同士が対応していない状況で仮想視点画像を作成すると、理想的には図１５（Ａ）のような仮想視点画像が得られるところが、図１５（Ｂ）のように眼鏡フレームが２重に大きく離れた仮想視点画像が得られてしまい、仮想視点映像の品質が大きく損なわれるという問題が生じる。
【００１２】
本発明は、このような従来の実情に鑑みて提案されたものであり、ＤＰマッチングを利用して左右の画像の対応付けを行い、仮想視点画像を作成する際に、左右の画像の対応付けが困難な場合であっても高品質の仮想視点画像を作成することが可能な画像処理装置及びその方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
上述した目的を達成するために、本発明に係る画像処理装置は、２台のカメラにより互いに異なる視点から被写体を撮像して得られた第１の画像及び第２の画像に基づいて、動的計画法を利用して仮想視点画像を作成する画像処理装置であって、上記第１の画像中の特徴点と、当該特徴点に対応する上記第２の画像中の特徴点とを検出する特徴点検出手段と、上記第１の画像の任意の水平ラインを第１の軸、当該水平ラインに対応する上記第２の画像の水平ラインを上記第１の軸と垂直な第２の軸として、対応する画素を表す対応点を辿りながら、当該水平ライン上の画素同士の対応関係を表す経路を探索する経路探索手段と、水平ライン毎に求められた対応関係に基づいて上記仮想視点画像を作成する仮想視点画像作成手段とを備え、上記経路探索手段は、上記特徴点検出手段によって特徴点が検出された水平ライン上の画素同士の対応関係を求める場合、検出された上記第１の画像中の特徴点と上記第２の画像中の特徴点とを予め対応付けた指定通過点を通過するように、上記経路を作成することを特徴とする。
【００１４】
また、上述した目的を達成するために、本発明に係る画像処理方法は、２台のカメラにより互いに異なる視点から被写体を撮像して得られた第１の画像及び第２の画像に基づいて、動的計画法を利用して仮想視点画像を作成する画像処理方法であって、上記第１の画像中の特徴点と、当該特徴点に対応する上記第２の画像中の特徴点とを検出する特徴点検出工程と、上記第１の画像の任意の水平ラインを第１の軸、当該水平ラインに対応する上記第２の画像の水平ラインを上記第１の軸と垂直な第２の軸として、対応する画素を表す対応点を辿りながら、当該水平ライン上の画素同士の対応関係を表す経路を探索する経路探索工程と、水平ライン毎に求められた対応関係に基づいて上記仮想視点画像を作成する仮想視点画像作成工程とを有し、上記経路探索工程では、上記特徴点検出工程にて特徴点が検出された水平ライン上の画素同士の対応関係を求める場合、検出された上記第１の画像中の特徴点と上記第２の画像中の特徴点とを予め対応付けた指定通過点を通過するように、上記経路を作成することを特徴とする。
【００１５】
また、本発明に係るプログラムは、上述した画像処理をコンピュータに実行させるものである。
【発明の効果】
【００１６】
本発明に係る画像処理装置及びその方法、並びにプログラムによれば、動的計画法を利用して第１の画像及び第２の画像の対応付けを行い、仮想視点画像を作成する際に、画像同士の対応付けが困難な場合であっても、指定通過点を設定しておくことで、高品質の仮想視点画像を作成することが可能となる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００１８】
先ず、本発明が適用された通信システムの概略構成を図１に示す。図１に示すように、本実施の形態における通信システム１は、Ａ地点のユーザａとＢ地点のユーザｂとが、互いに離れた場所で相手の表示像を視認しながら遠隔対話するものである。
【００１９】
Ａ地点には、被写体としてのユーザａを互いに異なる視点から撮像するカメラ１１ａ，１２ａと、Ｂ地点側で撮像されたユーザｂの画像をユーザａに対して表示するためのディスプレイ１３ａと、カメラ１１ａ，１２ａによって撮像された各画像Ｐａ１，Ｐａ２に基づいて仮想視点画像Ｉｍａを作成する画像処理装置１４ａと、ネットワーク２を介して、作成された仮想視点画像ＩｍａをＢ地点側に伝送する画像伝送装置１５ａとが配設されている。
【００２０】
Ｂ地点には、被写体としてのユーザｂを互いに異なる視点から撮像するカメラ１１ｂ，１２ｂと、Ａ地点側で撮像されたユーザａの画像をユーザｂに対して表示するためのディスプレイ１３ｂと、カメラ１１ｂ，１２ｂによって撮像された各画像Ｐｂ１，Ｐｂ２に基づいて仮想視点画像Ｉｍｂを作成する画像処理装置１４ｂと、ネットワーク２を介して、作成された仮想視点画像ＩｍｂをＡ地点側に伝送する画像伝送装置１５ｂとが配設されている。
【００２１】
なお、この画像処理装置１４ａ，１４ｂによって作成される仮想視点画像Ｉｍａ，Ｉｍｂは、相手の表示像が映しだされるディスプレイ１３ａ，１３ｂの中心付近に仮想的に設置される仮想カメラによって撮像される画像に相当する。
【００２２】
カメラ１１ａ，１１ｂは、それぞれユーザａ，ｂ側から見てディスプレイ１３ａ，１３ｂの左側面に設置されてなり、カメラ１２ａ，１２ｂは、それぞれユーザａ，ｂ側から見てディスプレイ１３ａ，１３ｂの右側面に設置されてなる。このカメラ１１ａ，１１ｂ，１２ａ，１２ｂは、撮影方向、撮影画角が固定された状態で設置されるが、ユーザａ，ｂから入力される情報に基づき、これらを自在に変更するようにしてもよい。
【００２３】
ディスプレイ１３ａ，１３ｂは、それぞれネットワーク２を介して相手側地点から伝送される仮想視点画像Ｉｍｂ,Ｉｍａに基づく画像を、例えば液晶表示面を介して表示する。このディスプレイ１３ａ，１３ｂにおける液晶表示面は、多数の液晶表示素子等からなり、各仮想視点画像Ｉｍｂ,Ｉｍａに基づく出力信号に応じて液晶表示素子を光変調させてユーザに表示する画像を作り出す。
【００２４】
画像処理装置１４ａ，１４ｂは、通常、パーソナルコンピュータ（ＰＣ）等の電子機器で構成される。画像処理装置１４ａは、ＤＰマッチングを利用して画像Ｐａ１，Ｐａ２の対応付けを行い、仮想視点画像Ｉｍａを作成する。同様に、画像処理装置１４ｂは、ＤＰマッチングを利用して画像Ｐｂ１，Ｐｂ２の対応付けを行い、仮想視点画像Ｉｍｂを作成する。なお、画像処理装置１４ａ，１４ｂについての詳細は後述する。画像伝送装置１５ａ，１５ｂは、ネットワーク２を介して互いに通信するための機能を備え、相手側からの要求に応じて仮想視点画像Ｉｍａ，Ｉｍｂや音声を送信する。
【００２５】
ネットワーク２は、例えば画像伝送装置１５ａ，１５ｂと電話回線を介して接続されるインターネット網を始め、ＴＡ（Terminal Adapter）／モデムと接続されるＩＳＤＮ（Integrated Services Digital Network）／Ｂ（broadband）−ＩＳＤＮ等のように、情報の双方向送受信を可能とした公衆通信網である。なお、通信システム１を一定の狭いエリア内で運用する場合には、このネットワーク２をＬＡＮ（Local Area Network）で構成してもよい。ネットワーク２においては、動画像が伝送される場合には、インターネットプロトコル（ＩＰ）に基づき、例えばＭＰＥＧ（Moving Picture Experts Group）データを始めとする動画像がある１つのチャネルから継続的に伝送される。また、静止画像が伝送される場合には、例えばＪＰＥＧ（Joint Photographic Experts Group）データを始めとする静止画像が動画像とは別のチャネルから一定時間毎に伝送される。なお、このネットワーク２には、さらに図示しないネットワークサーバを接続してもよい。この図示しないネットワークサーバは、例えばインターネット情報を管理し、画像伝送装置１５ａ，１５ｂによる要求を受けて、自身に格納してある所定の情報を送信する。
【００２６】
次に、ＤＰマッチングを利用して仮想視点画像Ｉｍａ，Ｉｍｂを作成する画像処理装置１４ａ，１４ｂについて詳細に説明する。
【００２７】
前述したように、ＤＰマッチングでは、対応すべき左右の画像の特徴点が小さい場合やその画素付近における左右の画像の視差が急激に変化する場合には、必ずしも左右の画素が対応する保証はない。例えば、被写体であるユーザが眼鏡をかけている場合、眼鏡フレームは周囲の肌領域に対して十分細く、且つ顔表面から離れているため、左右の視差が顔表面から急激に変わったり視差の逆転が起こったりし、左右の画像の眼鏡フレーム同士が対応しないことが多い。この結果、眼鏡フレームを通るスキャンラインについてパス探索を行った場合、図２に示すように、理想的には図中太実線で示すパスとなるところが、図中太波線で示すようなパスとなってしまう。
【００２８】
そこで、本実施の形態における画像処理装置１４ａ，１４ｂは、このようにＤＰマッチングでの対応付けが困難な特徴点を予め検出し、その対応点を図３に示すように指定通過点として設定する。そして、画像処理装置１４ａ，１４ｂは、この指定通過点を強制的に通過するようにパス探索を行う。なお、図３における指定通過点Ｔ１，Ｔ２は、眼鏡フレームの両端を指定したものである。これは、眼鏡フレームは細く、且つその両端は顔表面から最も離れているため、図２に示したように理想的なパスを通らないことが多いからである。
【００２９】
以下、画像処理装置１４ａ，１４ｂの構成について、画像処理装置１４ｂを例にとり説明する。画像処理装置１４ｂは、図４に示すように、指定通過点探索部２０と、ＤＰマッチング部２１と、仮想視点画像作成部２４とから構成されており、ＤＰマッチング部２１は、コスト計算部２２とパス探索部２３とから構成されている。
【００３０】
この画像処理装置１４ｂにおいて、指定通過点探索部２０は、ユーザｂを撮像した画像Ｐｂ１，Ｐｂ２が供給されると、ＤＰマッチングでの対応付けが困難な特徴点、例えば眼鏡フレームの両端部分を検出し、その座標を指定通過点情報としてＤＰマッチング部２１に供給する。なお、この指定通過点探索部２０において眼鏡フレームの両端部分を検出する処理についての詳細は後述する。
【００３１】
ＤＰマッチング部２１は、画像Ｐｂ１，Ｐｂ２が供給されるとスキャンライン毎に画素同士の対応付けを行い、対応点情報を仮想視点画像作成部２４に供給する。以下、詳細に説明する。
【００３２】
コスト計算部２２は、左画像のスキャンライン上の画素を縦軸（ｙ軸）、右画像のスキャンライン上の画素を横軸（ｘ軸）として、各対応点について左下の対応点から右上の対応点への順にマッチングコストを計算する。
【００３３】
パス探索部２３は、右上の対応点からパス探索を始め、隣接する対応点のうち原則としてマッチングコストが最小の対応点を辿り、且つ、指定通過点を通過させながら、左下の対応点へと至るパスを探索する。一例として、指定通過点の座標を（ｐ，ｑ）とし、現在の対応点の座標を（ｘ，ｙ）とした場合について説明する。パス探索部２３は、ｘ＞ｐ、且つｙ＞ｑである場合には、図５に示すように、左、左下、下に向かう３通りのパスのうち、マッチングコストが最小の対応点を辿るパスを選択する。この図５では、対応点上の丸の大小でマッチングコストの大小を概念的に表している。一方、現在の対応点のｘ座標、ｙ座標の何れか一方でも指定通過点のｘ座標、ｙ座標と一致した場合には、パス探索部２３は、マッチングコストを考慮せず、一致していない方の座標を座標が（ｐ，ｑ）となるまで直線的にシフトさせる。図６は、ｘ座標が先に指定通過点のｘ座標と一致した場合（ｘ＝ｐ）のパスを示したものである。パス探索部２３は、このようにして右上の対応点から左下の対応点へと至るパスを探索する。このパス上の対応点がスキャンライン上の画素同士の対応関係を表しているため、パス探索部２３は、この対応点情報を仮想視点画像作成部２４に供給する。
【００３４】
なお、現在の対応点のｘ座標、ｙ座標の何れか一方でも指定通過点のｘ座標、ｙ座標と一致するまでは従来通りのパス探索を行い、何れか一方でも指定通過点のｘ座標、ｙ座標と一致すると、一致していない方の座標を座標が（ｐ，ｑ）となるまで直線的にシフトさせるようにしているのは、指定通過点付近ではオクルージョンが生じることが多いためである。因みに、水平方向にシフトする場合には、視差が生じた結果、画像Ｐｂ１において示されている画素が画像Ｐｂ２において隠れてしまったことを示唆しており、垂直方向にシフトする場合には、視差が生じた結果、画像Ｐｂ２において示されている画素が画像Ｐｂ１において隠れてしまったことを示唆している。
【００３５】
図４に戻って、仮想視点画像作成部１０４は、ＤＰマッチング部２１から供給された対応点情報に基づいて、画像Ｐｂ１，Ｐｂ２から仮想視点画像Ｉｍｂを作成する。
【００３６】
ここで、上述した指定通過点探索部２０において眼鏡フレームの両端部分を検出する処理について具体的に説明する。眼鏡フレームの両端部分の座標は、画像Ｐｂ１，Ｐｂ２のそれぞれについて独立に、図７のフローチャートに示すような手順で行われる。
【００３７】
先ずステップＳ１において、左右の画像から顔領域を大まかに抽出する。具体的には、各画像から肌色付近のＨｕｅ値（色相値）の最大値から前後１０°程度の範囲を抽出し、２値化画像を作成する。そして、この２値化画像をラベリングし、最大面積ラベルを顔の肌領域と推定する。さらに、最大面積ラベルのみを抽出し、ラベリング情報に基づいてラベル内の穴埋めを行う。その後、この最大面積ラベルに拡大フィルタをかけ、顔領域が十分含まれる単一領域を顔領域として抽出する。
【００３８】
次にステップＳ２において、抽出された顔領域の２値化画像に対して図８に示すような積分値フィルタをかける。積分値フィルタとは、ある（ｘ，ｙ）と（ｘ＋ａ，ｙ＋ｂ）とで指定される面積ａ×ｂの領域内の画素の平均値の組み合わせの大小関係を規定したものである。例えば、３２０×２４０の画像に十分大きく顔領域が写っている状態で、４×４の領域が６個合わさり、Ｓ１＜Ｓ２＆＆Ｓ１＜Ｓ４＆＆Ｓ３＜Ｓ２＆＆Ｓ３＜Ｓ６を満たす場合に真、満たさない場合に偽となるフィルタを用いることができる。抽出された顔領域に対してこのフィルタをかけると、結果が真である領域はクラスタ状の塊になる。このような積分値フィルタの結果をさらにラベリングし、さらに結果の左右に眼鏡領域候補が存在するという条件を加え、図９に示すような眼鏡領域を抽出する。
【００３９】
続いてステップＳ３において、抽出された眼鏡領域に対してＳｏｂｅｌフィルタをかけ、図１０に示すような縦方向エッジを抽出する。
【００４０】
そしてステップＳ４において、眼鏡フレームの両端部分Ｔ１，Ｔ２を検出する。例えば、顔が正面を向いている場合、左右の目の位置を合わせて左右の画像を重ね合わせると顔の輪郭線と眼鏡フレームとが大体重なるという経験則を利用し、左画像では、眼鏡フレームの右エッジは左画像の右輪郭線付近、左エッジは対応する右画像の左輪郭線付近となり、右画像では、眼鏡フレームの左エッジは右画像の左輪郭線付近、右エッジは対応する左画像の右輪郭線付近となるという条件により、眼鏡フレームの両端部分Ｔ１，Ｔ２を検出することができる。このようにして検出された眼鏡フレームの両端部分Ｔ１，Ｔ２の座標は、指定通過点情報としてＤＰマッチング部２１に供給され、ＤＰマッチング部２１では、この指定通過点を強制的に通過するようにパス探索が行われる。
【００４１】
以上説明したように、本実施の形態の通信システム１に用いられる画像処理装置１４ｂによれば、被写体であるユーザｂの画像Ｐｂ１，Ｐｂ２から、ＤＰマッチングでの対応付けが困難な眼鏡フレームの両端部分Ｔ１，Ｔ２を予め検出しておき、パス探索における指定通過点とすることで、ユーザｂが眼鏡をかけている場合であっても高品質の仮想視点画像Ｉｍｂを作成することができる。
【００４２】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【００４３】
例えば、上述した実施の形態では、左右の画像の眼鏡フレーム同士を対応付けることが困難なことに鑑み、眼鏡フレームの両端部分を指定通過点として設定する場合について説明したが、本発明は、ＤＰマッチングでの対応付けが困難な場合に広く適用可能である。一例として、サッカー場のフィールドを左右のカメラで撮像して得られた左右の画像から仮想視点画像を作成する場合、フィールド上の選手を指定対応点とすることで、高品質の仮想視点画像を作成することが可能となる。
【図面の簡単な説明】
【００４４】
【図１】本実施の形態における通信システムの概略構成を示す図である。
【図２】被写体であるユーザが眼鏡をかけている場合にＤＰマッチングで探索されるパスの一例と理想的なパスとを示す図である。
【図３】設定される指定通過点の一例を示す図である。
【図４】画像処理装置の概略構成を示す図である。
【図５】通常のパス探索を示す図である。
【図６】指定通過点を強制的に通過させるパス探索を示す図である。
【図７】指定通過点としての眼鏡フレームの両端部分を検出する処理を説明するフローチャートである。
【図８】積分値フィルタの一例を示す図である。
【図９】抽出された眼鏡領域を示す図である。
【図１０】抽出された縦エッジと、眼鏡フレームの両端部分Ｔ１，Ｔ２とを示す図である。
【図１１】従来の画像処理装置の概略構成を示す図である。
【図１２】ＤＰマッチング部に供給される左右の画像の一例を示す図である。
【図１３】ＤＰマッチングの手法を説明する図である。
【図１４】スキャンライン上の画素同士の対応関係を示す図であり、同図（Ａ）は理想的な対応関係を示し、同図（Ｂ）はミスマッチを起こした場合の対応関係を示す。
【図１５】仮想視点画像の一例を示す図であり、同図（Ａ）は理想的な仮想視点画像を示し、同図（Ｂ）はミスマッチを起こした場合の仮想視点画像を示す。
【符号の説明】
【００４５】
１ 通信システム、２ ネットワーク、１１ａ，１１ｂ，１２ａ，１２ｂ カメラ、１３ａ，１３ｂ ディスプレイ、１４ａ，１４ｂ 画像処理装置、１５ａ，１５ｂ 画像伝送装置、２０ 指定通過点探索部、２１ ＤＰマッチング部、２２ コスト計算部、２３ パス探索部、２４ 仮想視点画像作成部
【技術分野】
【０００１】
本発明は、例えばステレオカメラシステムによって得られた左右の画像の対応付けを行い、あたかも左右のカメラ間の仮想カメラによって撮像したかのような仮想視点画像を作成する際に用いて好適な画像処理装置及びその方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、テレビ会議システム等に代表されるように、複数のユーザが互いに離れた場所で相手の表示像を視認しながら遠隔対話するシステムが提案されている。このようなシステムでは、相手の表示像をディスプレイ上に表示すると共に、当該ディスプレイを視認するユーザを被写体として撮像し、得られた画像信号を公衆回線、専用回線等のネットワークを介して相手側の画像処理装置に送信することにより、双方のユーザに対して臨場感を持たせることが可能となる。
【０００３】
従来におけるテレビ会議システムでは、ディスプレイの中心付近に映し出される相手の表示像を視認するユーザを、ディスプレイ上部にあるカメラにより撮像していたため、ユーザが下を向いた状態の画像がディスプレイ上に表示されることになっていた。このため、実際にディスプレイを視認するユーザ間において視線が不一致の状態で対話がなされることになり、互いに違和感を与えてしまうという問題があった。
【０００４】
理想的には、相手の表示像が映し出されるディスプレイの中心付近にカメラを設置すれば、双方のユーザの視線を一致させた状態で対話を実現することができる。しかしながら、このようにディスプレイの中心付近にカメラを設置することは物理的に困難である。
【０００５】
そこで、このような視線不一致に関する問題を解決するために、ディスプレイの左右に設置された２台のカメラで撮影した左右の画像の対応付けを行うことにより、あたかも左右のカメラ間の仮想カメラによって撮像したかのような仮想視点画像を作成し、これを相手側のディスプレイに表示させる画像処理装置が提案されている（例えば、特許文献１参照）。このような画像処理装置では、あたかもディスプレイ中心付近の仮想カメラによって撮像したかのような仮想視点画像を作成して相手側のディスプレイに表示させることにより、ユーザの視線を一致させて臨場感の高いコミュニケーションを実現することができる。
【０００６】
このように左右の画像の対応付けを行うことにより仮想視点画像を作成する画像処理装置では、左右の画像の対応付けを如何に正確に行うかが言うまでもなく重要である。左右の画像の対応付けには様々な手法があるが、その中でも、全体の最適化を図るＤＰ（Dynamic Programming）マッチング（動的計画法）が、比較的良好な品質の仮想視点画像を作成するための対応付け手法として知られている。
【０００７】
ＤＰマッチングを利用して仮想視点画像を作成する従来の画像処理装置の概略構成を図１１に示す。図１１に示すように、画像処理装置１００は、ＤＰマッチング部１０１と、仮想視点画像作成部１０４とから構成されており、ＤＰマッチング部１０１は、コスト計算部１０２とパス探索部１０３とから構成されている。
【０００８】
この画像処理装置１００において、ＤＰマッチング部１０１は、例えば図１２に示すような左右の画像が供給されると、スキャンライン（水平ライン）毎に画素同士の対応付けを行い、対応点情報を仮想視点画像作成部１０４に供給する。より詳細に説明すると、コスト計算部１０２は、図１３に示すように、左画像のスキャンラインＬ１上の画素を縦軸（ｙ軸）、右画像のスキャンラインＬ２上の画素を横軸（ｘ軸）として、各対応点について左下の対応点から右上の対応点への順にマッチングコストを計算する。そして、パス探索部１０３は、右上の対応点からパス探索を始め、隣接する対応点のうちマッチングコストが最小の対応点を辿りながら、左下の対応点へと至るパス（経路）を探索する。このパス上の対応点がスキャンラインＬ１，Ｌ２上の画素同士の対応関係を表しているため、パス探索部１０３は、この対応点情報を仮想視点画像作成部１０４に供給する。仮想視点画像作成部１０４は、この対応点情報に基づいて仮想視点画像を作成する。
【０００９】
【特許文献１】特開平２−５３１８７号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
ところで、上述したＤＰマッチングを利用すれば、左右の画像の対応付けを行うことにより比較的高品質の仮想視点画像を作成することができるが、本来ならば対応すべき左右の画像の特徴点が小さい場合やその画素付近における左右の画像の視差が急激に変化する場合には、必ずしも左右の画素が対応する保証はなく、対応付けの精度が周囲の画素との関係に大きく影響されるという問題がある。
【００１１】
例えば、被写体であるユーザが眼鏡をかけていない場合、顔表面の左右視差の変化が比較的連続的であるため、作成される仮想視点画像について視覚的に大きな問題は生じないが、被写体であるユーザが眼鏡をかけている場合、眼鏡フレームは周囲の肌領域に対して十分細く、且つ顔表面から離れているため、左右の視差が顔表面から急激に変わったり視差の逆転が起こったりし、左右の画像の眼鏡フレーム同士が対応しないことが多い。具体的に、図１２のスキャンラインＬ１，Ｌ２上の画素同士を対応付けた場合、理想的には図１４（Ａ）のような対応関係になるところが、図１４（Ｂ）のように左右の眼鏡フレーム位置でミスマッチを起こしてしまう。このように眼鏡フレーム同士が対応していない状況で仮想視点画像を作成すると、理想的には図１５（Ａ）のような仮想視点画像が得られるところが、図１５（Ｂ）のように眼鏡フレームが２重に大きく離れた仮想視点画像が得られてしまい、仮想視点映像の品質が大きく損なわれるという問題が生じる。
【００１２】
本発明は、このような従来の実情に鑑みて提案されたものであり、ＤＰマッチングを利用して左右の画像の対応付けを行い、仮想視点画像を作成する際に、左右の画像の対応付けが困難な場合であっても高品質の仮想視点画像を作成することが可能な画像処理装置及びその方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
上述した目的を達成するために、本発明に係る画像処理装置は、２台のカメラにより互いに異なる視点から被写体を撮像して得られた第１の画像及び第２の画像に基づいて、動的計画法を利用して仮想視点画像を作成する画像処理装置であって、上記第１の画像中の特徴点と、当該特徴点に対応する上記第２の画像中の特徴点とを検出する特徴点検出手段と、上記第１の画像の任意の水平ラインを第１の軸、当該水平ラインに対応する上記第２の画像の水平ラインを上記第１の軸と垂直な第２の軸として、対応する画素を表す対応点を辿りながら、当該水平ライン上の画素同士の対応関係を表す経路を探索する経路探索手段と、水平ライン毎に求められた対応関係に基づいて上記仮想視点画像を作成する仮想視点画像作成手段とを備え、上記経路探索手段は、上記特徴点検出手段によって特徴点が検出された水平ライン上の画素同士の対応関係を求める場合、検出された上記第１の画像中の特徴点と上記第２の画像中の特徴点とを予め対応付けた指定通過点を通過するように、上記経路を作成することを特徴とする。
【００１４】
また、上述した目的を達成するために、本発明に係る画像処理方法は、２台のカメラにより互いに異なる視点から被写体を撮像して得られた第１の画像及び第２の画像に基づいて、動的計画法を利用して仮想視点画像を作成する画像処理方法であって、上記第１の画像中の特徴点と、当該特徴点に対応する上記第２の画像中の特徴点とを検出する特徴点検出工程と、上記第１の画像の任意の水平ラインを第１の軸、当該水平ラインに対応する上記第２の画像の水平ラインを上記第１の軸と垂直な第２の軸として、対応する画素を表す対応点を辿りながら、当該水平ライン上の画素同士の対応関係を表す経路を探索する経路探索工程と、水平ライン毎に求められた対応関係に基づいて上記仮想視点画像を作成する仮想視点画像作成工程とを有し、上記経路探索工程では、上記特徴点検出工程にて特徴点が検出された水平ライン上の画素同士の対応関係を求める場合、検出された上記第１の画像中の特徴点と上記第２の画像中の特徴点とを予め対応付けた指定通過点を通過するように、上記経路を作成することを特徴とする。
【００１５】
また、本発明に係るプログラムは、上述した画像処理をコンピュータに実行させるものである。
【発明の効果】
【００１６】
本発明に係る画像処理装置及びその方法、並びにプログラムによれば、動的計画法を利用して第１の画像及び第２の画像の対応付けを行い、仮想視点画像を作成する際に、画像同士の対応付けが困難な場合であっても、指定通過点を設定しておくことで、高品質の仮想視点画像を作成することが可能となる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００１８】
先ず、本発明が適用された通信システムの概略構成を図１に示す。図１に示すように、本実施の形態における通信システム１は、Ａ地点のユーザａとＢ地点のユーザｂとが、互いに離れた場所で相手の表示像を視認しながら遠隔対話するものである。
【００１９】
Ａ地点には、被写体としてのユーザａを互いに異なる視点から撮像するカメラ１１ａ，１２ａと、Ｂ地点側で撮像されたユーザｂの画像をユーザａに対して表示するためのディスプレイ１３ａと、カメラ１１ａ，１２ａによって撮像された各画像Ｐａ１，Ｐａ２に基づいて仮想視点画像Ｉｍａを作成する画像処理装置１４ａと、ネットワーク２を介して、作成された仮想視点画像ＩｍａをＢ地点側に伝送する画像伝送装置１５ａとが配設されている。
【００２０】
Ｂ地点には、被写体としてのユーザｂを互いに異なる視点から撮像するカメラ１１ｂ，１２ｂと、Ａ地点側で撮像されたユーザａの画像をユーザｂに対して表示するためのディスプレイ１３ｂと、カメラ１１ｂ，１２ｂによって撮像された各画像Ｐｂ１，Ｐｂ２に基づいて仮想視点画像Ｉｍｂを作成する画像処理装置１４ｂと、ネットワーク２を介して、作成された仮想視点画像ＩｍｂをＡ地点側に伝送する画像伝送装置１５ｂとが配設されている。
【００２１】
なお、この画像処理装置１４ａ，１４ｂによって作成される仮想視点画像Ｉｍａ，Ｉｍｂは、相手の表示像が映しだされるディスプレイ１３ａ，１３ｂの中心付近に仮想的に設置される仮想カメラによって撮像される画像に相当する。
【００２２】
カメラ１１ａ，１１ｂは、それぞれユーザａ，ｂ側から見てディスプレイ１３ａ，１３ｂの左側面に設置されてなり、カメラ１２ａ，１２ｂは、それぞれユーザａ，ｂ側から見てディスプレイ１３ａ，１３ｂの右側面に設置されてなる。このカメラ１１ａ，１１ｂ，１２ａ，１２ｂは、撮影方向、撮影画角が固定された状態で設置されるが、ユーザａ，ｂから入力される情報に基づき、これらを自在に変更するようにしてもよい。
【００２３】
ディスプレイ１３ａ，１３ｂは、それぞれネットワーク２を介して相手側地点から伝送される仮想視点画像Ｉｍｂ,Ｉｍａに基づく画像を、例えば液晶表示面を介して表示する。このディスプレイ１３ａ，１３ｂにおける液晶表示面は、多数の液晶表示素子等からなり、各仮想視点画像Ｉｍｂ,Ｉｍａに基づく出力信号に応じて液晶表示素子を光変調させてユーザに表示する画像を作り出す。
【００２４】
画像処理装置１４ａ，１４ｂは、通常、パーソナルコンピュータ（ＰＣ）等の電子機器で構成される。画像処理装置１４ａは、ＤＰマッチングを利用して画像Ｐａ１，Ｐａ２の対応付けを行い、仮想視点画像Ｉｍａを作成する。同様に、画像処理装置１４ｂは、ＤＰマッチングを利用して画像Ｐｂ１，Ｐｂ２の対応付けを行い、仮想視点画像Ｉｍｂを作成する。なお、画像処理装置１４ａ，１４ｂについての詳細は後述する。画像伝送装置１５ａ，１５ｂは、ネットワーク２を介して互いに通信するための機能を備え、相手側からの要求に応じて仮想視点画像Ｉｍａ，Ｉｍｂや音声を送信する。
【００２５】
ネットワーク２は、例えば画像伝送装置１５ａ，１５ｂと電話回線を介して接続されるインターネット網を始め、ＴＡ（Terminal Adapter）／モデムと接続されるＩＳＤＮ（Integrated Services Digital Network）／Ｂ（broadband）−ＩＳＤＮ等のように、情報の双方向送受信を可能とした公衆通信網である。なお、通信システム１を一定の狭いエリア内で運用する場合には、このネットワーク２をＬＡＮ（Local Area Network）で構成してもよい。ネットワーク２においては、動画像が伝送される場合には、インターネットプロトコル（ＩＰ）に基づき、例えばＭＰＥＧ（Moving Picture Experts Group）データを始めとする動画像がある１つのチャネルから継続的に伝送される。また、静止画像が伝送される場合には、例えばＪＰＥＧ（Joint Photographic Experts Group）データを始めとする静止画像が動画像とは別のチャネルから一定時間毎に伝送される。なお、このネットワーク２には、さらに図示しないネットワークサーバを接続してもよい。この図示しないネットワークサーバは、例えばインターネット情報を管理し、画像伝送装置１５ａ，１５ｂによる要求を受けて、自身に格納してある所定の情報を送信する。
【００２６】
次に、ＤＰマッチングを利用して仮想視点画像Ｉｍａ，Ｉｍｂを作成する画像処理装置１４ａ，１４ｂについて詳細に説明する。
【００２７】
前述したように、ＤＰマッチングでは、対応すべき左右の画像の特徴点が小さい場合やその画素付近における左右の画像の視差が急激に変化する場合には、必ずしも左右の画素が対応する保証はない。例えば、被写体であるユーザが眼鏡をかけている場合、眼鏡フレームは周囲の肌領域に対して十分細く、且つ顔表面から離れているため、左右の視差が顔表面から急激に変わったり視差の逆転が起こったりし、左右の画像の眼鏡フレーム同士が対応しないことが多い。この結果、眼鏡フレームを通るスキャンラインについてパス探索を行った場合、図２に示すように、理想的には図中太実線で示すパスとなるところが、図中太波線で示すようなパスとなってしまう。
【００２８】
そこで、本実施の形態における画像処理装置１４ａ，１４ｂは、このようにＤＰマッチングでの対応付けが困難な特徴点を予め検出し、その対応点を図３に示すように指定通過点として設定する。そして、画像処理装置１４ａ，１４ｂは、この指定通過点を強制的に通過するようにパス探索を行う。なお、図３における指定通過点Ｔ１，Ｔ２は、眼鏡フレームの両端を指定したものである。これは、眼鏡フレームは細く、且つその両端は顔表面から最も離れているため、図２に示したように理想的なパスを通らないことが多いからである。
【００２９】
以下、画像処理装置１４ａ，１４ｂの構成について、画像処理装置１４ｂを例にとり説明する。画像処理装置１４ｂは、図４に示すように、指定通過点探索部２０と、ＤＰマッチング部２１と、仮想視点画像作成部２４とから構成されており、ＤＰマッチング部２１は、コスト計算部２２とパス探索部２３とから構成されている。
【００３０】
この画像処理装置１４ｂにおいて、指定通過点探索部２０は、ユーザｂを撮像した画像Ｐｂ１，Ｐｂ２が供給されると、ＤＰマッチングでの対応付けが困難な特徴点、例えば眼鏡フレームの両端部分を検出し、その座標を指定通過点情報としてＤＰマッチング部２１に供給する。なお、この指定通過点探索部２０において眼鏡フレームの両端部分を検出する処理についての詳細は後述する。
【００３１】
ＤＰマッチング部２１は、画像Ｐｂ１，Ｐｂ２が供給されるとスキャンライン毎に画素同士の対応付けを行い、対応点情報を仮想視点画像作成部２４に供給する。以下、詳細に説明する。
【００３２】
コスト計算部２２は、左画像のスキャンライン上の画素を縦軸（ｙ軸）、右画像のスキャンライン上の画素を横軸（ｘ軸）として、各対応点について左下の対応点から右上の対応点への順にマッチングコストを計算する。
【００３３】
パス探索部２３は、右上の対応点からパス探索を始め、隣接する対応点のうち原則としてマッチングコストが最小の対応点を辿り、且つ、指定通過点を通過させながら、左下の対応点へと至るパスを探索する。一例として、指定通過点の座標を（ｐ，ｑ）とし、現在の対応点の座標を（ｘ，ｙ）とした場合について説明する。パス探索部２３は、ｘ＞ｐ、且つｙ＞ｑである場合には、図５に示すように、左、左下、下に向かう３通りのパスのうち、マッチングコストが最小の対応点を辿るパスを選択する。この図５では、対応点上の丸の大小でマッチングコストの大小を概念的に表している。一方、現在の対応点のｘ座標、ｙ座標の何れか一方でも指定通過点のｘ座標、ｙ座標と一致した場合には、パス探索部２３は、マッチングコストを考慮せず、一致していない方の座標を座標が（ｐ，ｑ）となるまで直線的にシフトさせる。図６は、ｘ座標が先に指定通過点のｘ座標と一致した場合（ｘ＝ｐ）のパスを示したものである。パス探索部２３は、このようにして右上の対応点から左下の対応点へと至るパスを探索する。このパス上の対応点がスキャンライン上の画素同士の対応関係を表しているため、パス探索部２３は、この対応点情報を仮想視点画像作成部２４に供給する。
【００３４】
なお、現在の対応点のｘ座標、ｙ座標の何れか一方でも指定通過点のｘ座標、ｙ座標と一致するまでは従来通りのパス探索を行い、何れか一方でも指定通過点のｘ座標、ｙ座標と一致すると、一致していない方の座標を座標が（ｐ，ｑ）となるまで直線的にシフトさせるようにしているのは、指定通過点付近ではオクルージョンが生じることが多いためである。因みに、水平方向にシフトする場合には、視差が生じた結果、画像Ｐｂ１において示されている画素が画像Ｐｂ２において隠れてしまったことを示唆しており、垂直方向にシフトする場合には、視差が生じた結果、画像Ｐｂ２において示されている画素が画像Ｐｂ１において隠れてしまったことを示唆している。
【００３５】
図４に戻って、仮想視点画像作成部１０４は、ＤＰマッチング部２１から供給された対応点情報に基づいて、画像Ｐｂ１，Ｐｂ２から仮想視点画像Ｉｍｂを作成する。
【００３６】
ここで、上述した指定通過点探索部２０において眼鏡フレームの両端部分を検出する処理について具体的に説明する。眼鏡フレームの両端部分の座標は、画像Ｐｂ１，Ｐｂ２のそれぞれについて独立に、図７のフローチャートに示すような手順で行われる。
【００３７】
先ずステップＳ１において、左右の画像から顔領域を大まかに抽出する。具体的には、各画像から肌色付近のＨｕｅ値（色相値）の最大値から前後１０°程度の範囲を抽出し、２値化画像を作成する。そして、この２値化画像をラベリングし、最大面積ラベルを顔の肌領域と推定する。さらに、最大面積ラベルのみを抽出し、ラベリング情報に基づいてラベル内の穴埋めを行う。その後、この最大面積ラベルに拡大フィルタをかけ、顔領域が十分含まれる単一領域を顔領域として抽出する。
【００３８】
次にステップＳ２において、抽出された顔領域の２値化画像に対して図８に示すような積分値フィルタをかける。積分値フィルタとは、ある（ｘ，ｙ）と（ｘ＋ａ，ｙ＋ｂ）とで指定される面積ａ×ｂの領域内の画素の平均値の組み合わせの大小関係を規定したものである。例えば、３２０×２４０の画像に十分大きく顔領域が写っている状態で、４×４の領域が６個合わさり、Ｓ１＜Ｓ２＆＆Ｓ１＜Ｓ４＆＆Ｓ３＜Ｓ２＆＆Ｓ３＜Ｓ６を満たす場合に真、満たさない場合に偽となるフィルタを用いることができる。抽出された顔領域に対してこのフィルタをかけると、結果が真である領域はクラスタ状の塊になる。このような積分値フィルタの結果をさらにラベリングし、さらに結果の左右に眼鏡領域候補が存在するという条件を加え、図９に示すような眼鏡領域を抽出する。
【００３９】
続いてステップＳ３において、抽出された眼鏡領域に対してＳｏｂｅｌフィルタをかけ、図１０に示すような縦方向エッジを抽出する。
【００４０】
そしてステップＳ４において、眼鏡フレームの両端部分Ｔ１，Ｔ２を検出する。例えば、顔が正面を向いている場合、左右の目の位置を合わせて左右の画像を重ね合わせると顔の輪郭線と眼鏡フレームとが大体重なるという経験則を利用し、左画像では、眼鏡フレームの右エッジは左画像の右輪郭線付近、左エッジは対応する右画像の左輪郭線付近となり、右画像では、眼鏡フレームの左エッジは右画像の左輪郭線付近、右エッジは対応する左画像の右輪郭線付近となるという条件により、眼鏡フレームの両端部分Ｔ１，Ｔ２を検出することができる。このようにして検出された眼鏡フレームの両端部分Ｔ１，Ｔ２の座標は、指定通過点情報としてＤＰマッチング部２１に供給され、ＤＰマッチング部２１では、この指定通過点を強制的に通過するようにパス探索が行われる。
【００４１】
以上説明したように、本実施の形態の通信システム１に用いられる画像処理装置１４ｂによれば、被写体であるユーザｂの画像Ｐｂ１，Ｐｂ２から、ＤＰマッチングでの対応付けが困難な眼鏡フレームの両端部分Ｔ１，Ｔ２を予め検出しておき、パス探索における指定通過点とすることで、ユーザｂが眼鏡をかけている場合であっても高品質の仮想視点画像Ｉｍｂを作成することができる。
【００４２】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【００４３】
例えば、上述した実施の形態では、左右の画像の眼鏡フレーム同士を対応付けることが困難なことに鑑み、眼鏡フレームの両端部分を指定通過点として設定する場合について説明したが、本発明は、ＤＰマッチングでの対応付けが困難な場合に広く適用可能である。一例として、サッカー場のフィールドを左右のカメラで撮像して得られた左右の画像から仮想視点画像を作成する場合、フィールド上の選手を指定対応点とすることで、高品質の仮想視点画像を作成することが可能となる。
【図面の簡単な説明】
【００４４】
【図１】本実施の形態における通信システムの概略構成を示す図である。
【図２】被写体であるユーザが眼鏡をかけている場合にＤＰマッチングで探索されるパスの一例と理想的なパスとを示す図である。
【図３】設定される指定通過点の一例を示す図である。
【図４】画像処理装置の概略構成を示す図である。
【図５】通常のパス探索を示す図である。
【図６】指定通過点を強制的に通過させるパス探索を示す図である。
【図７】指定通過点としての眼鏡フレームの両端部分を検出する処理を説明するフローチャートである。
【図８】積分値フィルタの一例を示す図である。
【図９】抽出された眼鏡領域を示す図である。
【図１０】抽出された縦エッジと、眼鏡フレームの両端部分Ｔ１，Ｔ２とを示す図である。
【図１１】従来の画像処理装置の概略構成を示す図である。
【図１２】ＤＰマッチング部に供給される左右の画像の一例を示す図である。
【図１３】ＤＰマッチングの手法を説明する図である。
【図１４】スキャンライン上の画素同士の対応関係を示す図であり、同図（Ａ）は理想的な対応関係を示し、同図（Ｂ）はミスマッチを起こした場合の対応関係を示す。
【図１５】仮想視点画像の一例を示す図であり、同図（Ａ）は理想的な仮想視点画像を示し、同図（Ｂ）はミスマッチを起こした場合の仮想視点画像を示す。
【符号の説明】
【００４５】
１ 通信システム、２ ネットワーク、１１ａ，１１ｂ，１２ａ，１２ｂ カメラ、１３ａ，１３ｂ ディスプレイ、１４ａ，１４ｂ 画像処理装置、１５ａ，１５ｂ 画像伝送装置、２０ 指定通過点探索部、２１ ＤＰマッチング部、２２ コスト計算部、２３ パス探索部、２４ 仮想視点画像作成部
【特許請求の範囲】
【請求項１】
２台のカメラにより互いに異なる視点から被写体を撮像して得られた第１の画像及び第２の画像に基づいて、動的計画法を利用して仮想視点画像を作成する画像処理装置であって、
上記第１の画像中の特徴点と、当該特徴点に対応する上記第２の画像中の特徴点とを検出する特徴点検出手段と、
上記第１の画像の任意の水平ラインを第１の軸、当該水平ラインに対応する上記第２の画像の水平ラインを上記第１の軸と垂直な第２の軸として、対応する画素を表す対応点を辿りながら、当該水平ライン上の画素同士の対応関係を表す経路を探索する経路探索手段と、
水平ライン毎に求められた対応関係に基づいて上記仮想視点画像を作成する仮想視点画像作成手段とを備え、
上記経路探索手段は、上記特徴点検出手段によって特徴点が検出された水平ライン上の画素同士の対応関係を求める場合、検出された上記第１の画像中の特徴点と上記第２の画像中の特徴点とを予め対応付けた指定通過点を通過するように、上記経路を作成する
ことを特徴とする画像処理装置。
【請求項２】
上記経路探索手段は、経路探索途中の対応点の上記第１の軸上又は上記第２の軸上の座標が、上記指定通過点の上記第１の軸上又は上記第２の軸上の座標と一致した場合、一致していない方の座標が上記指定通過点の座標と一致するまで、経路を直線的にシフトさせることを特徴とする請求項１記載の画像処理装置。
【請求項３】
上記第１の画像及び上記第２の画像は、被写体である人物の顔を互いに異なる視点から撮像して得られたものであり、
上記特徴点は、眼鏡のフレーム部分である
ことを特徴とする請求項１記載の画像処理装置。
【請求項４】
２台のカメラにより互いに異なる視点から被写体を撮像して得られた第１の画像及び第２の画像に基づいて、動的計画法を利用して仮想視点画像を作成する画像処理方法であって、
上記第１の画像中の特徴点と、当該特徴点に対応する上記第２の画像中の特徴点とを検出する特徴点検出工程と、
上記第１の画像の任意の水平ラインを第１の軸、当該水平ラインに対応する上記第２の画像の水平ラインを上記第１の軸と垂直な第２の軸として、対応する画素を表す対応点を辿りながら、当該水平ライン上の画素同士の対応関係を表す経路を探索する経路探索工程と、
水平ライン毎に求められた対応関係に基づいて上記仮想視点画像を作成する仮想視点画像作成工程とを有し、
上記経路探索工程では、上記特徴点検出工程にて特徴点が検出された水平ライン上の画素同士の対応関係を求める場合、検出された上記第１の画像中の特徴点と上記第２の画像中の特徴点とを予め対応付けた指定通過点を通過するように、上記経路を作成する
ことを特徴とする画像処理方法。
【請求項５】
上記経路探索工程では、経路探索途中の対応点の上記第１の軸上又は上記第２の軸上の座標が、上記指定通過点の上記第１の軸上又は上記第２の軸上の座標と一致した場合、一致していない方の座標が上記指定通過点の座標と一致するまで、経路を直線的にシフトさせることを特徴とする請求項４記載の画像処理方法。
【請求項６】
上記第１の画像及び上記第２の画像は、被写体である人物の顔を互いに異なる視点から撮像して得られたものであり、
上記特徴点は、眼鏡のフレーム部分である
ことを特徴とする請求項４記載の画像処理方法。
【請求項７】
２台のカメラにより互いに異なる視点から被写体を撮像して得られた第１の画像及び第２の画像に基づいて、動的計画法を利用して仮想視点画像を作成する処理をコンピュータに実行させるプログラムであって、
上記第１の画像中の特徴点と、当該特徴点に対応する上記第２の画像中の特徴点とを検出する特徴点検出工程と、
上記第１の画像の任意の水平ラインを第１の軸、当該水平ラインに対応する上記第２の画像の水平ラインを上記第１の軸と垂直な第２の軸として、対応する画素を表す対応点を辿りながら、当該水平ライン上の画素同士の対応関係を表す経路を探索する経路探索工程と、
水平ライン毎に求められた対応関係に基づいて上記仮想視点画像を作成する仮想視点画像作成工程とを有し、
上記経路探索工程では、上記特徴点検出工程にて特徴点が検出された水平ライン上の画素同士の対応関係を求める場合、検出された上記第１の画像中の特徴点と上記第２の画像中の特徴点とを予め対応付けた指定通過点を通過するように、上記経路を作成する
ことを特徴とする処理をコンピュータに実行させるプログラム。
【請求項１】
２台のカメラにより互いに異なる視点から被写体を撮像して得られた第１の画像及び第２の画像に基づいて、動的計画法を利用して仮想視点画像を作成する画像処理装置であって、
上記第１の画像中の特徴点と、当該特徴点に対応する上記第２の画像中の特徴点とを検出する特徴点検出手段と、
上記第１の画像の任意の水平ラインを第１の軸、当該水平ラインに対応する上記第２の画像の水平ラインを上記第１の軸と垂直な第２の軸として、対応する画素を表す対応点を辿りながら、当該水平ライン上の画素同士の対応関係を表す経路を探索する経路探索手段と、
水平ライン毎に求められた対応関係に基づいて上記仮想視点画像を作成する仮想視点画像作成手段とを備え、
上記経路探索手段は、上記特徴点検出手段によって特徴点が検出された水平ライン上の画素同士の対応関係を求める場合、検出された上記第１の画像中の特徴点と上記第２の画像中の特徴点とを予め対応付けた指定通過点を通過するように、上記経路を作成する
ことを特徴とする画像処理装置。
【請求項２】
上記経路探索手段は、経路探索途中の対応点の上記第１の軸上又は上記第２の軸上の座標が、上記指定通過点の上記第１の軸上又は上記第２の軸上の座標と一致した場合、一致していない方の座標が上記指定通過点の座標と一致するまで、経路を直線的にシフトさせることを特徴とする請求項１記載の画像処理装置。
【請求項３】
上記第１の画像及び上記第２の画像は、被写体である人物の顔を互いに異なる視点から撮像して得られたものであり、
上記特徴点は、眼鏡のフレーム部分である
ことを特徴とする請求項１記載の画像処理装置。
【請求項４】
２台のカメラにより互いに異なる視点から被写体を撮像して得られた第１の画像及び第２の画像に基づいて、動的計画法を利用して仮想視点画像を作成する画像処理方法であって、
上記第１の画像中の特徴点と、当該特徴点に対応する上記第２の画像中の特徴点とを検出する特徴点検出工程と、
上記第１の画像の任意の水平ラインを第１の軸、当該水平ラインに対応する上記第２の画像の水平ラインを上記第１の軸と垂直な第２の軸として、対応する画素を表す対応点を辿りながら、当該水平ライン上の画素同士の対応関係を表す経路を探索する経路探索工程と、
水平ライン毎に求められた対応関係に基づいて上記仮想視点画像を作成する仮想視点画像作成工程とを有し、
上記経路探索工程では、上記特徴点検出工程にて特徴点が検出された水平ライン上の画素同士の対応関係を求める場合、検出された上記第１の画像中の特徴点と上記第２の画像中の特徴点とを予め対応付けた指定通過点を通過するように、上記経路を作成する
ことを特徴とする画像処理方法。
【請求項５】
上記経路探索工程では、経路探索途中の対応点の上記第１の軸上又は上記第２の軸上の座標が、上記指定通過点の上記第１の軸上又は上記第２の軸上の座標と一致した場合、一致していない方の座標が上記指定通過点の座標と一致するまで、経路を直線的にシフトさせることを特徴とする請求項４記載の画像処理方法。
【請求項６】
上記第１の画像及び上記第２の画像は、被写体である人物の顔を互いに異なる視点から撮像して得られたものであり、
上記特徴点は、眼鏡のフレーム部分である
ことを特徴とする請求項４記載の画像処理方法。
【請求項７】
２台のカメラにより互いに異なる視点から被写体を撮像して得られた第１の画像及び第２の画像に基づいて、動的計画法を利用して仮想視点画像を作成する処理をコンピュータに実行させるプログラムであって、
上記第１の画像中の特徴点と、当該特徴点に対応する上記第２の画像中の特徴点とを検出する特徴点検出工程と、
上記第１の画像の任意の水平ラインを第１の軸、当該水平ラインに対応する上記第２の画像の水平ラインを上記第１の軸と垂直な第２の軸として、対応する画素を表す対応点を辿りながら、当該水平ライン上の画素同士の対応関係を表す経路を探索する経路探索工程と、
水平ライン毎に求められた対応関係に基づいて上記仮想視点画像を作成する仮想視点画像作成工程とを有し、
上記経路探索工程では、上記特徴点検出工程にて特徴点が検出された水平ライン上の画素同士の対応関係を求める場合、検出された上記第１の画像中の特徴点と上記第２の画像中の特徴点とを予め対応付けた指定通過点を通過するように、上記経路を作成する
ことを特徴とする処理をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２００６−２４３９５８（Ｐ２００６−２４３９５８Ａ）
【公開日】平成１８年９月１４日（２００６．９．１４）
【国際特許分類】
【出願番号】特願２００５−５６３５２（Ｐ２００５−５６３５２）
【出願日】平成１７年３月１日（２００５．３．１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成１８年９月１４日（２００６．９．１４）
【国際特許分類】
【出願日】平成１７年３月１日（２００５．３．１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]