立体映像調整装置及び調整方法
【課題】オクルージョン領域の推定や情報を保持することなく、ステレオ画像における前景と背景の視差量を調整する。
【解決手段】
立体映像調整装置は、複数のカメラで前景物体と背景物体が撮影され、ステレオマッチングの対応点が取られた画像に対して、前景物体が写っている画像領域と前景物体との重畳によって別の視点位置からは隠ぺいされる背景の領域を合わせた領域を通過する画像勾配の小さい領域を連結したパスを複数本取得する手段と、背景画像において画像勾配の小さい領域を連結したパスを複数本取得する手段と、それらのパス上のピクセルを削除または複製することによって、ステレオ視を行った際に前景物体と背景物体の奥行量の差が異なる疑似画像を作成する手段を備える。
【解決手段】
立体映像調整装置は、複数のカメラで前景物体と背景物体が撮影され、ステレオマッチングの対応点が取られた画像に対して、前景物体が写っている画像領域と前景物体との重畳によって別の視点位置からは隠ぺいされる背景の領域を合わせた領域を通過する画像勾配の小さい領域を連結したパスを複数本取得する手段と、背景画像において画像勾配の小さい領域を連結したパスを複数本取得する手段と、それらのパス上のピクセルを削除または複製することによって、ステレオ視を行った際に前景物体と背景物体の奥行量の差が異なる疑似画像を作成する手段を備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、立体映像調整装置及び調整方法に係り、特にステレオ立体映像で提示される画像の編集処理と表示調整に関する。
【背景技術】
【0002】
三次元ディスプレイに表示するステレオ画像では、複数の画像の間の対応関係(視差量)によって、奥行き方向の長さが決定される。このため、ステレオ画像を編集・改変する場合には、二次元画像の編集・改変作業よりもペア画像の整合性を満たす制約条件が加わる分だけ作業が困難になる。これらの視差は、具体的な画像データ上においては、左右のステレオ画像間で対応の取れないピクセルの領域として表現される。このような領域は前景オブジェクトが背景を隠す部分に多く現れ、オクルージョン領域と呼ばれる。この領域によって視差が生まれることで立体感と臨場感を感じる一方で、その提示手段であるディスプレイ性能や、視聴の環境条件と一致しないほどの過剰な視差がある場合には、視聴者が疲労しやすいなどの事例も指摘されており、視差の量は、環境ごと、個人ごとの制約に合わせた適切な値になっていることが望ましい。
【0003】
このため、撮影環境のステレオカメラの視差量を、提示環境の条件に一致させて映像を取得するなどの配慮が多くの場合に必要とされてきた。しかし、立体コンテンツが一般的になるにつれ、異なる立体映像環境に画像を提示する場合や、ポストプロダクションレベルでの調整など、視差の量の調整が望まれるケースも生まれ始めてきた。このため、立体映像素材を用いて、画像中間画像や自由視点画像と呼ばれる、視差量を調整した映像を人為的に作成する発明がある(特許文献1)。
【0004】
中間画像を作成する場合には、元画像では別の物体の陰になって見えなかったオクルージョン領域の映像部分を復元する必要が生まれる。非特許文献1では、そのようなオクルージョンの情報を推定し、類似画像領域から復元する手法(ホールコンプリーション)についての手法が開示されている。
【0005】
また、特許文献2では、視差の量を奥行きやオブジェクトの条件に合わせて変化させることによって、人間の視聴の興味のある部分に重点を置いて立体性を強調する手法が語られている。このような部分的な視差の強調処理を行うことによって、ディスプレイの飛び出し量の限界性能などを制御することが可能になる。
【0006】
一方、二次元画像コンテンツの改変技術として、人間による観察時に画像内で重要となる部分を考慮した映像処理(Context-aware image processing)の研究が進められてきた。その種の技術の中で、重要なオブジェクトの形状を維持したままで縦横比率の変更を行うImage Retargetingと呼ばれる処理技術があり、このImage retargetingの処理技法の一つにSeam-carvingと呼ばれる技術が提唱されている(非特許文献2)。図1は、同技法を適用する概念図である。この技法では、元画像100に写っている主被写体や背景の物体など、目に付きやすい画像領域を避けながら、画像の上下をつなぐ 110〜115のような継ぎ目(seam:以下シームと記載)と呼ばれる一連の連結パスを探索し、このシームに沿って、ピクセルの削除、複製を行うことで、異なるサイズの画像101を作成する。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2007-294270号公報
【特許文献2】特開2004-374113号公報
【非特許文献】
【0008】
【非特許文献1】Hole Filling Through Photomontage, Marta Wilczkowiak, Gabriel J. Brostow, Ben Tordoff and Roberto Cipolla, pp. 492-501, In Proc. of BMVC 2005
【非特許文献2】Seam carving for content-aware image resizing, Shai Avidan and Ariel Shamir, ACM Trans. Graph., Vol 26, No. 3, 2007, 10.
【発明の概要】
【発明が解決しようとする課題】
【0009】
しかしながら、上記従来の技術では、画一的な視差量調整しかできなかった。また、利用者によっては映像に違和感が発生するおそれもあり、これに対応することは困難であった。そのため、オクルージョン領域の映像情報が不明であるステレオ画像において、映像としての違和感を与えることなく前景と背景の視差量を調整することが望まれている。
【課題を解決するための手段】
【0010】
本発明は、上記課題を解決するため、以下の構成を備える。即ち、立体映像調整装置は、複数のカメラで前景物体と背景物体が撮影され、ステレオマッチングの対応点が取られた画像に対して、前記前景物体が写っている画像領域と前記前景物体との重畳によって別の視点位置からは隠ぺいされる背景の領域を合わせた領域を通過する画像勾配の小さい領域を連結したパスを複数本取得する手段と、背景画像において画像勾配の小さい領域を連結したパスを複数本取得する手段と、それらのパス上のピクセルを削除または複製することによって、ステレオ視を行った際に前記前景物体と前記背景物体の奥行量の差が異なる疑似画像を作成する手段とを備える。
【発明の効果】
【0011】
本発明によれば、ステレオ画像における映像の違和感を低減することが可能となる。
【図面の簡単な説明】
【0012】
【図1】シームカービング処理の適用効果を説明する図である。
【図2】実施例の適用対象となるステレオ画像の図である。
【図3】図2の各物体の三次元内の位置を説明する図である。
【図4】実施例1を実現する情報処理装置である。
【図5】各画素の対応するステレオ画像位置への移動量の配列データである。
【図6】各画素の対応するオブジェクトIDを示すラベルの配列データである。
【図7】実施例1の動作順序を示すフロー図である。
【図8】前景画像に対応する背面領域のデータである。
【図9】シーム作成処理工程である。
【図10】視差領域調整用シームを示す図である。
【図11】背景領域調整用シームを示す図である。
【図12】視差の削減による効果を示す図である。
【図13】実施例2を実現する情報処理装置である。
【図14】実施例3でのシーム作成順序を示すフロー図である。
【図15】実施例3での画像再生順序を示すフロー図である。
【図16】画像から一本のシームを抽出する方法を示すフロー図である。
【発明を実施するための形態】
【0013】
本発明の実施形態をいくつかの実施例によって説明する。
【実施例1】
【0014】
実施例1は、図2の201、202としてステレオ画像が与えられたとき、画像の主要なオブジェクトの見た目に改変を少なく抑えたままで、ペア画像との視差を改変するための継ぎ目領域を複数セット抽出し、その継ぎ目領域のピクセルを削減または複製することで継ぎ目領域の左右の領域の視差を変更したステレオ画像を生成する画像情報処理を実行する。
【0015】
図3は、この画像201,202に写っている各物体の三次元的な位置情報を示す模式図である。前面(手前)にある物体306,307は、本ステレオ画像で注視されることを想定されて撮影された前景物体であり、画像201上の物体206,207に対応する。領域305は画像201上の物体205に対応する背景物体である。311は右目位置302から見て前景物体307に背景物体305が隠蔽される領域、312は左目位置301から見て前景物体307に背景物体305が隠蔽される領域、321は左目画像として見える視差領域の背景画像、322は右目画像として見える視差領域の背景画像領域をそれぞれ表す。以下では、左目301から見て物体307の背面となる背景領域と、右目302から見て同物体307の背面となる領域を合わせた(論理和をとった)領域310を、物体307の背面領域と呼ぶ。左目301から見た画像において、背面領域310の画像上での大きさと、物体307の大きさの差は、背景画像に対する前景画像とのオクルージョンの大きさであり、ステレオ視における相対的な奥行き量を生む。右目画像の背面領域も、同様に左右を入れ替えて定義される。
【0016】
前景物体に注視している場合、背景画像のうち背面領域に含まれる領域においてはステレオマッチングの対象が与えられない、または逆視の状態になり、奥行き情報を認識することができない。本実施例では、この領域で奥行きマッチングが行われないことに着目して、シームカービングや拡大縮小によるサイズ変更を行うことによって背景と前景との奥行き距離を調整する。
【0017】
図4は、このような情報処理を実行するための情報処理装置400の例を示す模式図である。中央演算装置405、主記憶装置406、外部記憶装置407と、外部に接続するモニタディスプレイ402にステレオ立体映像を提示する立体映像出力装置408、表示するステレオ画像を408に送る立体映像入出力インタフェース409、ネットワークインタフェース410の要素から構成される。
【0018】
この情報処理装置400は汎用の計算機である。情報処理装置400は、必要に応じて、外部入出力インタフェースとしてUSBなど汎用の外部機器制御インタフェースを用いる。情報処理装置400は、他の情報処理装置とネットワークIF410を介してメッセージを交換するが、このネットワークの実装には、TCP/IPなどの既存のメッセージ交換用プロトコルを利用する。情報処理装置400は、画像データを入出力する画像データ入出力機器411が接続される。この画像データ入出力機器411としては、SDカードなど既存の磁気・光学データの読み取り装置などである。
【0019】
画像データ入出力機器411には、画像情報および補佐情報が含まれるデータ媒体415が接続される。このデータ媒体415には、図2のステレオ画像201,202が保存されており、最終的な調整後のステレオ画像が保存される。また、データ媒体415には別装置によって計測されたステレオ画像の視差情報も、視差マップの構造体(配列データ)501、502としてあらかじめ保存されている。
【0020】
図5は各画素の対応するステレオ画像位置への移動量の配列データを示す図であり、501は画像201から画像202への移動量を示す配列データ、502は画像202から画像201への移動量を示す配列データ、510はある画素の移動量を示すベクトル構造体である。この視差情報については、レーザ計測を用いたレンジファインダや、ステレオ画像の対応点探索処理を実行して既に取得されているものとする。また、データ媒体415にはアプリケーションで注視の対象となる前景オブジェクトと、背景オブジェクトを分離したラベル情報も保存されている。
【0021】
図6は各画素の対応するオブジェクトIDを示すラベルの配列データを示す図である。601は画像201の各画素に対するラベルデータの配列、602は画像202の各画素に対するラベルデータの配列、610はある画素がどのオブジェクトに含まれるかを表現するIDのデータをそれぞれ示す。このラベル情報についても、本実施例では、人間の手作業による入力、物体の画像認識、奥行き情報に基づく切り出しなどをもとに、あらかじめ作成されているものとする。
【0022】
本実施例を実現するための一連の情報処理の流れを示すフロー図を図7に示す。本実施例の処理工程は、各種情報の読み込み処理(701)、背面領域の作成(702)、シームの作成(703)、画素の移動(704)、画像の保存(705)の順で、それぞれ情報処理装置400によって処理される。以下、それぞれの処理内容を説明する。
【0023】
工程701では、データ媒体415に保存されている各種情報を、主記憶装置406上に読み込む。ラベルデータ601と602は、左右視点の画像の解像度と同一サイズの配列情報であり、前景のオブジェクト毎に固有のID(1〜N)を付したデータが保存されている。このとき背景画像に相当する画像ピクセルのIDは0とする。また、視差情報500と501を、主記憶上装置406に読み込む。この視差情報は、左右視点の画像の解像度と同一サイズの配列であり、左画像のpL位置にあるピクセルに対応する右画像内の位置pRへの差分情報pR−pLというベクトルが保存されている。
【0024】
工程702では、ラベルデータのIDで特定される左右画像の各前景オブジェクトに対して、背面領域310を推定したラベル情報を作成する。
【0025】
図8は前景画像に対応する背面領域のラベルデータの完成状態を示す模式図である。801は画像201に対応する背面領域のラベルデータ配列、806は物体206に対応する背面領域のラベル領域、807は物体207に対応する背面領域のラベル領域をそれぞれ示したものである。
【0026】
右画像(右目画像)の解像度と同一サイズの配列801を用意し、配列801の全ての要素を−1でクリアする。左画像(左目画像)の各ピクセルについて、視差情報501から相対位置を読み込んで右画像内の位置を探し、配列801のその対応する位置に、前景オブジェクトに含まれている場合にはそのIDを、背景の場合には0を書き込む。左画像の全てのピクセルについて同様の処理を行う。この結果、-1として残っていた要素については、右画像内で同一位置にあるオブジェクトのIDを書き込む。出来上がった配列の各IDを背面領域データ801として、主記憶装置406上に保存する。続いて右画像と左画像を入れ替えて、同様の検出作業を行う。
【0027】
工程703では、背景画像を分割し、拡張または縮小するためのシームの検出を行う。図9のフロー図に、このシームの検出手順を示す。
【0028】
工程901では、シーム検出用のエネルギー補正項を計算する。各オブジェクト(オブジェクトのIDを示すサフィックスをkとする)について、左画像についてオブジェクトの背面領域を通過するシームを作成する。背面領域データ801のラベル値がkであるピクセルには、定数値−Cを、それ以外は0を割り当てた配列を作成し、これを補正エネルギーマップE1とする。定数値−Cは、シームが該当するラベル部分を通過するように誘導するための補正エネルギー値である。また、画素位置(X,Y)について、背面領域データ801のラベル値がkであるピクセル数をYについて合計した一次元のヒストグラムP1(X)を作成し、P1にガウシアンフィルタを適用して平滑化して定数倍(−C2)したヒストグラムP2(X)を作成する。定数値C2は、シームがラベル部分の上部を通過しやすいように誘導するための補正エネルギー値である。820はこのヒストグラムP2を表したヒストグラムのグラフの概念図である。
エネルギー補正項EsをEs(X,Y)=E1(X,Y)+P2(X)として算出する。
【0029】
工程902では、Esを勾配エネルギーに追加して、各前景物体(以下、このIDをkとする)視差領域調整用シームを取得する。
【0030】
映像からシームを取得する方法は、非特許文献2に記載されている。図16は、同手法に基づいてシームの作成方法を示したものである。シームはdynamic programingの計算手法を用い、上から下に向けて一ラインずつエネルギーE(X,Y)の最小値をたどるパスを計算していくことで得られる。上から順に横方向のラインを選び(1601)、そのラインの各ピクセル(X,Y)について(1602)、一つ上のラインで近接するピクセル(距離k)のエネルギーE(X+k,Y-1)の中から最も小さいものを選びE_0(X,Y)とする(1603)。さらに、(X,Y)位置での画像の勾配値ΔI(X,Y)をE_g(X,R)とする。さらに、工程901で計算されたEs(X,Y)を合わせて、E(X,Y)=E_0(X,Y)+E_g(X,Y)+E_s(X,Y)として、このピクセルでのエネルギー量を代入する。すべてのラインについてエネルギーの計算を終えた後、最終ラインY=heightの位置で最も小さいエネルギーのピクセルを選び(1608)、工程1603でこのピクセルが選択したラインを順にたどっていくことで、すべてのYについてシームが選択される。この処理により1本のシームが選択できる。次のシームを選ぶ場合には、このシームのピクセルを削除してX方向に1ピクセル縮小した画像を作成して、繰り返し処理を行っていく。以上の一連の処理をは「シームの取得」と表現する。
【0031】
まず左画像について、S本の視差領域調整用シームを取得する。以下では、これらをS1L(k,s)とする。但しsは0<s<Sとなるサフィックスとする。(なお、このシームの取得の際に、別のオブジェクトk’のシームとして選ばれたピクセルに距離Sよりも近づいた場合には、エネルギー補正項P2が足りなかった場合である。この場合、C2を二倍にして工程901から再び処理を行う。)取得されたS本のシームのピクセルのうちで、左画像のオブジェクト領域(すなわち画像601がkとなっている領域)と重複しているものを、背面領域で左画像のオブジェクトと重複していない領域(すなわち視差となる背景画像の領域)の中で、もっとも勾配の小さい領域に移動させる。この処理により、シームが背面領域に交差したときにはオクルージョン部分が調整されるようになる。
【0032】
左画像内で得られたシームの各ピクセルについて、テーブル502の移動量を用いて右画像の対応位置を算出して右画像のS本のシームS1R(k,s)を作成する。但しsは0<s<Sとなるサフィックスとする。この右画像のシームについても、取得されたシームの各ピクセルのうち、右画像のオブジェクト領域と重複しているものを、背面領域で右画像のオブジェクトと重複していない領域(すなわち視差となる背景画像の領域)の中で、もっとも勾配の小さい領域に移動させる。以上を繰り返すことにより、各前景オブジェクトに対して、背面領域操作用のシームS1L(k,s)とS1R(k,s)の対が作成される。
【0033】
工程903では、背景領域調整用シームS2を作成する。
まず左画像について、S本の背景領域調整用シームを取得する。左画像で、背面領域操作用のシームS1によって分割された背景領域について、ラベリング処理を行い、異なるオブジェクトIDによってはさまれている領域を取り出す。この各領域を中間背景領域と呼び、各領域のIDをmで表現する。
【0034】
各中間背景領域mについてS本のシームを取得する。これらを左画像のシームS2L(m,s)とする。但しsは0<s<Sとなるサフィックスとする。また、テーブル502の移動量を用いてS2Lの各ピクセルの右画像上の対応位置を算出して右画像のS本のシームを作成し、右画像のシームS2R(m,s)とする。
以上でシームが作成される。
【0035】
工程704では、工程703で作成されたシームを用いて視差量の変更処理を行う。
視差を縮小する場合には、非特許文献2の手法にもとづき、シームS1の領域のピクセルを削除して、シームS2の領域を複製する。(このとき、シームS1の領域を複製し、シームS2の領域を削除することで視差を拡大することが出来る。)図12はこの処理によって改変される処理の内容を示したものである。右目画像の背景領域1201、1202は相対的に左に動き、左目画像の背景領域1203〜1205は相対的に右に動く。この処理の結果として、シームカービングによって背景の画像領域が拡大して、オクルージョン領域が削減されるため、前景と背景の間の視差が小さくなる。
【0036】
図10はこの手法によって作成される視差領域を調整するためのシームである。このシーム1001〜1004上のピクセルを削除することで前景と背景の視差が減少し、逆にピクセルを複製することで前景と背景の視差は増大する。また図11のシームは図10のシーム部分の改変で行われる領域の調整に合わせ、1001〜1004のピクセルを削減した時には1101〜1104のピクセルを複製することで、画像全体のサイズを維持する。
【0037】
工程705では、工程704で改変された画像を、立体映像入出力インタフェース409を通して、立体映像出力装置408に提示する。また、同画像を、外部出力415に保存する。
以上の一連の処理により、背景視差の量を制御したステレオ画像が作成される。
【実施例2】
【0038】
実施例2は、実施例1のシステムに、ステレオカメラとレンジファインダを追加して、その場で撮影された映像の奥行きを加工して表示する装置である。図13は、この実施例を実現するための装置を示した図である。1300〜1310までは、それぞれ400〜410までの機器と同一であり、ステレオの調整がされたカメラ1311,1312とレンジファインダ1313を備えている。
【0039】
この装置では、実施例1での工程701において、データ媒体415からステレオ画像を読み込む代わりに、ステレオカメラ1311,1312で撮影し、撮影した画像201と202を読み込む。また、データ媒体415から視差情報を読み取る代わりに、奥行き情報をレンジファインダ1313で取得し、得られた情報を視差情報に変換して、その奥行き量のデータを対応距離に変換したものをデータ501,502として用いる。また、各Y座標についてスキャンを行って奥行き量がそのラインでの最頻値よりも一定以上近い部分を前景オブジェクトとみなして、その判別結果にラベリング処理を施したものをしたデータを作成し、ラベル情報601,602として用いる。
それ以外の各工程処理については実施例1と同様の処理を行う。
【実施例3】
【0040】
実施例3は、実施例1のシステムで変換した画像を表示、保存する代わりに、シーム自体を保存して、表示時にインタラクティブに奥行き情報を変換できるようにしたものである。
【0041】
図14は、実施例1においての動作フロー図7に対応する動作フローの図である。工程1401〜1403は、工程701〜703と同様である。実施例1において、工程704で画素の移動が行われ工程705で改変後の画像が保存されるのに対し、本実施例では、工程1404でシームの情報自体をデータ媒体415に保存する。この情報は再生時に読み込まれ、表示時のユーザ入力に併せてピクセルを削除・複製量が決められる。
【0042】
図15は、再生時の工程を示した動作フロー図である。この処理は情報処理機器400で実行される。工程1500でステレオ画像を読み込む。またシーム情報を工程1501で読み込む。工程1502では、視差の制御数を入力として受付け、工程1503でその値をメモリ領域S0に保存する。工程1504では、S0本のシームについて画素の移動改変を行い、その結果を工程1505で表示する。
これにより、最終的に出力される画像は、工程1502で入力された値に応じて視差の調整が反映されたものとなる。
【実施例4】
【0043】
実施例4は、実施例1のシステムでのシーム取得に対して、ステレオマッチング対応点の信頼精度に合わせた重み付けを行うものである。
【0044】
画像201を移動量のテーブル502で移動して作成された画像R’(0)を作成する。この画像R’(0)と画像202の差の絶対値を計算し、D(0)とする。また、R’を左右にpピクセル移動した画像R’(p)と画像202の差の絶対値を計算し、それぞれD(p)とする。(本実施例では、pの値として、-2,-1,1,2の四種類を用いることにする)。各ピクセルについて、D(p)-D(0)の平均値を取り、この値をステレオマッチングの信頼精度Wとする。実施例1の工程902で行われるシームの抽出処理において、視差領域調整用シームが背面領域に交差したときに、シーム上の各ピクセルp(y)を移動する位置について、式(1)を用いて定める。
Min ( E_data(p(y)) + E_smooth(p(y))) (1)
”Computing Visual Correspondence with Occlusions via Graph Cuts”, Vladimir Kolmogorov and Ramin Zabih, In International Conference on Computer Vision, 2001に示されるように、式(1)は、平滑項とデータ項としてグラフ上にエネルギーを定義してグラフカットの手法を用いて最小化するための一般的な定式条件である。ただしここで、E_data(p(y))には、グラフカット処理のデータ項であり、背景領域として分割された部分領域についてはWの値を、前景領域としてラベルされた領域については定数値C3を代入する。また、E_smooth(p(y))には、シームの削除によって改変される勾配の変動量を用いる。具体的手法は、Improved seam carving for video retargeting, Michael Rubinstein, Arial Shamir, Shai Avidan, 2009に記載されている。
【0045】
この値を最小化することにより、シームの削除を行うことによって視差にズレの出る可能性のある画像領域を避けながら、連続性の高いシームを選択することが出来る。
【符号の説明】
【0046】
100:シームカービング適用前の元画像、101:シームカービング適用後の縮小画像、110〜115:シーム、201:右目位置から視たステレオ画像、202:左目位置から視たステレオ画像、205:画像201上の背景物体映像、206,207:画像201上の前景物体映像、215:画像202上の背景物体映像、216,217:画像202上の前景物体映像、301:左目観察点の位置、302:右目観察点の位置、305:画像上の物体205に対応する背景物体、306,307:画像上の物体206,207に対応する前景物体、310:物体307の背面領域、311:右左目位置から見て前景物体307に背景物体305が隠蔽される領域、321:左目画像から見える視差領域の背景画像、322:右目画像から見える視差領域の背景画像、400:情報処理装置、402:モニタディスプレイ、405:中央演算装置(CPU)、406:主記憶装置(メモリ)、407:外部記憶装置(HDD)、408:立体映像出力装置、409:立体映像入出力インタフェース、410:ネットワークインタフェース、411:画像データ入出力機器、415:データ媒体、501:画像201から画像202への移動量を示す配列データ、502:画像202から画像201への移動量を示す配列データ、510:ある画素の移動量を示すベクトル構造体、601:画像201の各画素に対するラベルデータの配列、602:画像202の各画素に対するラベルデータの配列、610:ある画素がどのオブジェクトに含まれるかを表現するIDのデータ、801:201に対応する背面領域のラベルデータ配列、806:206に対応する背面領域のラベル領域、807:207に対応する背面領域のラベル領域、820:ラベル806に対してY方向に加算カウントしたヒストグラム、1001〜1004:視差領域調整用シーム、1101〜1104:視差領域調整用シーム、1201,1202:相対的に左に動く背景領域、1203,1204:相対的に右に動く背景領域、1311,1312:ステレオカメラ、1313:レンジファインダ。
【技術分野】
【0001】
本発明は、立体映像調整装置及び調整方法に係り、特にステレオ立体映像で提示される画像の編集処理と表示調整に関する。
【背景技術】
【0002】
三次元ディスプレイに表示するステレオ画像では、複数の画像の間の対応関係(視差量)によって、奥行き方向の長さが決定される。このため、ステレオ画像を編集・改変する場合には、二次元画像の編集・改変作業よりもペア画像の整合性を満たす制約条件が加わる分だけ作業が困難になる。これらの視差は、具体的な画像データ上においては、左右のステレオ画像間で対応の取れないピクセルの領域として表現される。このような領域は前景オブジェクトが背景を隠す部分に多く現れ、オクルージョン領域と呼ばれる。この領域によって視差が生まれることで立体感と臨場感を感じる一方で、その提示手段であるディスプレイ性能や、視聴の環境条件と一致しないほどの過剰な視差がある場合には、視聴者が疲労しやすいなどの事例も指摘されており、視差の量は、環境ごと、個人ごとの制約に合わせた適切な値になっていることが望ましい。
【0003】
このため、撮影環境のステレオカメラの視差量を、提示環境の条件に一致させて映像を取得するなどの配慮が多くの場合に必要とされてきた。しかし、立体コンテンツが一般的になるにつれ、異なる立体映像環境に画像を提示する場合や、ポストプロダクションレベルでの調整など、視差の量の調整が望まれるケースも生まれ始めてきた。このため、立体映像素材を用いて、画像中間画像や自由視点画像と呼ばれる、視差量を調整した映像を人為的に作成する発明がある(特許文献1)。
【0004】
中間画像を作成する場合には、元画像では別の物体の陰になって見えなかったオクルージョン領域の映像部分を復元する必要が生まれる。非特許文献1では、そのようなオクルージョンの情報を推定し、類似画像領域から復元する手法(ホールコンプリーション)についての手法が開示されている。
【0005】
また、特許文献2では、視差の量を奥行きやオブジェクトの条件に合わせて変化させることによって、人間の視聴の興味のある部分に重点を置いて立体性を強調する手法が語られている。このような部分的な視差の強調処理を行うことによって、ディスプレイの飛び出し量の限界性能などを制御することが可能になる。
【0006】
一方、二次元画像コンテンツの改変技術として、人間による観察時に画像内で重要となる部分を考慮した映像処理(Context-aware image processing)の研究が進められてきた。その種の技術の中で、重要なオブジェクトの形状を維持したままで縦横比率の変更を行うImage Retargetingと呼ばれる処理技術があり、このImage retargetingの処理技法の一つにSeam-carvingと呼ばれる技術が提唱されている(非特許文献2)。図1は、同技法を適用する概念図である。この技法では、元画像100に写っている主被写体や背景の物体など、目に付きやすい画像領域を避けながら、画像の上下をつなぐ 110〜115のような継ぎ目(seam:以下シームと記載)と呼ばれる一連の連結パスを探索し、このシームに沿って、ピクセルの削除、複製を行うことで、異なるサイズの画像101を作成する。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2007-294270号公報
【特許文献2】特開2004-374113号公報
【非特許文献】
【0008】
【非特許文献1】Hole Filling Through Photomontage, Marta Wilczkowiak, Gabriel J. Brostow, Ben Tordoff and Roberto Cipolla, pp. 492-501, In Proc. of BMVC 2005
【非特許文献2】Seam carving for content-aware image resizing, Shai Avidan and Ariel Shamir, ACM Trans. Graph., Vol 26, No. 3, 2007, 10.
【発明の概要】
【発明が解決しようとする課題】
【0009】
しかしながら、上記従来の技術では、画一的な視差量調整しかできなかった。また、利用者によっては映像に違和感が発生するおそれもあり、これに対応することは困難であった。そのため、オクルージョン領域の映像情報が不明であるステレオ画像において、映像としての違和感を与えることなく前景と背景の視差量を調整することが望まれている。
【課題を解決するための手段】
【0010】
本発明は、上記課題を解決するため、以下の構成を備える。即ち、立体映像調整装置は、複数のカメラで前景物体と背景物体が撮影され、ステレオマッチングの対応点が取られた画像に対して、前記前景物体が写っている画像領域と前記前景物体との重畳によって別の視点位置からは隠ぺいされる背景の領域を合わせた領域を通過する画像勾配の小さい領域を連結したパスを複数本取得する手段と、背景画像において画像勾配の小さい領域を連結したパスを複数本取得する手段と、それらのパス上のピクセルを削除または複製することによって、ステレオ視を行った際に前記前景物体と前記背景物体の奥行量の差が異なる疑似画像を作成する手段とを備える。
【発明の効果】
【0011】
本発明によれば、ステレオ画像における映像の違和感を低減することが可能となる。
【図面の簡単な説明】
【0012】
【図1】シームカービング処理の適用効果を説明する図である。
【図2】実施例の適用対象となるステレオ画像の図である。
【図3】図2の各物体の三次元内の位置を説明する図である。
【図4】実施例1を実現する情報処理装置である。
【図5】各画素の対応するステレオ画像位置への移動量の配列データである。
【図6】各画素の対応するオブジェクトIDを示すラベルの配列データである。
【図7】実施例1の動作順序を示すフロー図である。
【図8】前景画像に対応する背面領域のデータである。
【図9】シーム作成処理工程である。
【図10】視差領域調整用シームを示す図である。
【図11】背景領域調整用シームを示す図である。
【図12】視差の削減による効果を示す図である。
【図13】実施例2を実現する情報処理装置である。
【図14】実施例3でのシーム作成順序を示すフロー図である。
【図15】実施例3での画像再生順序を示すフロー図である。
【図16】画像から一本のシームを抽出する方法を示すフロー図である。
【発明を実施するための形態】
【0013】
本発明の実施形態をいくつかの実施例によって説明する。
【実施例1】
【0014】
実施例1は、図2の201、202としてステレオ画像が与えられたとき、画像の主要なオブジェクトの見た目に改変を少なく抑えたままで、ペア画像との視差を改変するための継ぎ目領域を複数セット抽出し、その継ぎ目領域のピクセルを削減または複製することで継ぎ目領域の左右の領域の視差を変更したステレオ画像を生成する画像情報処理を実行する。
【0015】
図3は、この画像201,202に写っている各物体の三次元的な位置情報を示す模式図である。前面(手前)にある物体306,307は、本ステレオ画像で注視されることを想定されて撮影された前景物体であり、画像201上の物体206,207に対応する。領域305は画像201上の物体205に対応する背景物体である。311は右目位置302から見て前景物体307に背景物体305が隠蔽される領域、312は左目位置301から見て前景物体307に背景物体305が隠蔽される領域、321は左目画像として見える視差領域の背景画像、322は右目画像として見える視差領域の背景画像領域をそれぞれ表す。以下では、左目301から見て物体307の背面となる背景領域と、右目302から見て同物体307の背面となる領域を合わせた(論理和をとった)領域310を、物体307の背面領域と呼ぶ。左目301から見た画像において、背面領域310の画像上での大きさと、物体307の大きさの差は、背景画像に対する前景画像とのオクルージョンの大きさであり、ステレオ視における相対的な奥行き量を生む。右目画像の背面領域も、同様に左右を入れ替えて定義される。
【0016】
前景物体に注視している場合、背景画像のうち背面領域に含まれる領域においてはステレオマッチングの対象が与えられない、または逆視の状態になり、奥行き情報を認識することができない。本実施例では、この領域で奥行きマッチングが行われないことに着目して、シームカービングや拡大縮小によるサイズ変更を行うことによって背景と前景との奥行き距離を調整する。
【0017】
図4は、このような情報処理を実行するための情報処理装置400の例を示す模式図である。中央演算装置405、主記憶装置406、外部記憶装置407と、外部に接続するモニタディスプレイ402にステレオ立体映像を提示する立体映像出力装置408、表示するステレオ画像を408に送る立体映像入出力インタフェース409、ネットワークインタフェース410の要素から構成される。
【0018】
この情報処理装置400は汎用の計算機である。情報処理装置400は、必要に応じて、外部入出力インタフェースとしてUSBなど汎用の外部機器制御インタフェースを用いる。情報処理装置400は、他の情報処理装置とネットワークIF410を介してメッセージを交換するが、このネットワークの実装には、TCP/IPなどの既存のメッセージ交換用プロトコルを利用する。情報処理装置400は、画像データを入出力する画像データ入出力機器411が接続される。この画像データ入出力機器411としては、SDカードなど既存の磁気・光学データの読み取り装置などである。
【0019】
画像データ入出力機器411には、画像情報および補佐情報が含まれるデータ媒体415が接続される。このデータ媒体415には、図2のステレオ画像201,202が保存されており、最終的な調整後のステレオ画像が保存される。また、データ媒体415には別装置によって計測されたステレオ画像の視差情報も、視差マップの構造体(配列データ)501、502としてあらかじめ保存されている。
【0020】
図5は各画素の対応するステレオ画像位置への移動量の配列データを示す図であり、501は画像201から画像202への移動量を示す配列データ、502は画像202から画像201への移動量を示す配列データ、510はある画素の移動量を示すベクトル構造体である。この視差情報については、レーザ計測を用いたレンジファインダや、ステレオ画像の対応点探索処理を実行して既に取得されているものとする。また、データ媒体415にはアプリケーションで注視の対象となる前景オブジェクトと、背景オブジェクトを分離したラベル情報も保存されている。
【0021】
図6は各画素の対応するオブジェクトIDを示すラベルの配列データを示す図である。601は画像201の各画素に対するラベルデータの配列、602は画像202の各画素に対するラベルデータの配列、610はある画素がどのオブジェクトに含まれるかを表現するIDのデータをそれぞれ示す。このラベル情報についても、本実施例では、人間の手作業による入力、物体の画像認識、奥行き情報に基づく切り出しなどをもとに、あらかじめ作成されているものとする。
【0022】
本実施例を実現するための一連の情報処理の流れを示すフロー図を図7に示す。本実施例の処理工程は、各種情報の読み込み処理(701)、背面領域の作成(702)、シームの作成(703)、画素の移動(704)、画像の保存(705)の順で、それぞれ情報処理装置400によって処理される。以下、それぞれの処理内容を説明する。
【0023】
工程701では、データ媒体415に保存されている各種情報を、主記憶装置406上に読み込む。ラベルデータ601と602は、左右視点の画像の解像度と同一サイズの配列情報であり、前景のオブジェクト毎に固有のID(1〜N)を付したデータが保存されている。このとき背景画像に相当する画像ピクセルのIDは0とする。また、視差情報500と501を、主記憶上装置406に読み込む。この視差情報は、左右視点の画像の解像度と同一サイズの配列であり、左画像のpL位置にあるピクセルに対応する右画像内の位置pRへの差分情報pR−pLというベクトルが保存されている。
【0024】
工程702では、ラベルデータのIDで特定される左右画像の各前景オブジェクトに対して、背面領域310を推定したラベル情報を作成する。
【0025】
図8は前景画像に対応する背面領域のラベルデータの完成状態を示す模式図である。801は画像201に対応する背面領域のラベルデータ配列、806は物体206に対応する背面領域のラベル領域、807は物体207に対応する背面領域のラベル領域をそれぞれ示したものである。
【0026】
右画像(右目画像)の解像度と同一サイズの配列801を用意し、配列801の全ての要素を−1でクリアする。左画像(左目画像)の各ピクセルについて、視差情報501から相対位置を読み込んで右画像内の位置を探し、配列801のその対応する位置に、前景オブジェクトに含まれている場合にはそのIDを、背景の場合には0を書き込む。左画像の全てのピクセルについて同様の処理を行う。この結果、-1として残っていた要素については、右画像内で同一位置にあるオブジェクトのIDを書き込む。出来上がった配列の各IDを背面領域データ801として、主記憶装置406上に保存する。続いて右画像と左画像を入れ替えて、同様の検出作業を行う。
【0027】
工程703では、背景画像を分割し、拡張または縮小するためのシームの検出を行う。図9のフロー図に、このシームの検出手順を示す。
【0028】
工程901では、シーム検出用のエネルギー補正項を計算する。各オブジェクト(オブジェクトのIDを示すサフィックスをkとする)について、左画像についてオブジェクトの背面領域を通過するシームを作成する。背面領域データ801のラベル値がkであるピクセルには、定数値−Cを、それ以外は0を割り当てた配列を作成し、これを補正エネルギーマップE1とする。定数値−Cは、シームが該当するラベル部分を通過するように誘導するための補正エネルギー値である。また、画素位置(X,Y)について、背面領域データ801のラベル値がkであるピクセル数をYについて合計した一次元のヒストグラムP1(X)を作成し、P1にガウシアンフィルタを適用して平滑化して定数倍(−C2)したヒストグラムP2(X)を作成する。定数値C2は、シームがラベル部分の上部を通過しやすいように誘導するための補正エネルギー値である。820はこのヒストグラムP2を表したヒストグラムのグラフの概念図である。
エネルギー補正項EsをEs(X,Y)=E1(X,Y)+P2(X)として算出する。
【0029】
工程902では、Esを勾配エネルギーに追加して、各前景物体(以下、このIDをkとする)視差領域調整用シームを取得する。
【0030】
映像からシームを取得する方法は、非特許文献2に記載されている。図16は、同手法に基づいてシームの作成方法を示したものである。シームはdynamic programingの計算手法を用い、上から下に向けて一ラインずつエネルギーE(X,Y)の最小値をたどるパスを計算していくことで得られる。上から順に横方向のラインを選び(1601)、そのラインの各ピクセル(X,Y)について(1602)、一つ上のラインで近接するピクセル(距離k)のエネルギーE(X+k,Y-1)の中から最も小さいものを選びE_0(X,Y)とする(1603)。さらに、(X,Y)位置での画像の勾配値ΔI(X,Y)をE_g(X,R)とする。さらに、工程901で計算されたEs(X,Y)を合わせて、E(X,Y)=E_0(X,Y)+E_g(X,Y)+E_s(X,Y)として、このピクセルでのエネルギー量を代入する。すべてのラインについてエネルギーの計算を終えた後、最終ラインY=heightの位置で最も小さいエネルギーのピクセルを選び(1608)、工程1603でこのピクセルが選択したラインを順にたどっていくことで、すべてのYについてシームが選択される。この処理により1本のシームが選択できる。次のシームを選ぶ場合には、このシームのピクセルを削除してX方向に1ピクセル縮小した画像を作成して、繰り返し処理を行っていく。以上の一連の処理をは「シームの取得」と表現する。
【0031】
まず左画像について、S本の視差領域調整用シームを取得する。以下では、これらをS1L(k,s)とする。但しsは0<s<Sとなるサフィックスとする。(なお、このシームの取得の際に、別のオブジェクトk’のシームとして選ばれたピクセルに距離Sよりも近づいた場合には、エネルギー補正項P2が足りなかった場合である。この場合、C2を二倍にして工程901から再び処理を行う。)取得されたS本のシームのピクセルのうちで、左画像のオブジェクト領域(すなわち画像601がkとなっている領域)と重複しているものを、背面領域で左画像のオブジェクトと重複していない領域(すなわち視差となる背景画像の領域)の中で、もっとも勾配の小さい領域に移動させる。この処理により、シームが背面領域に交差したときにはオクルージョン部分が調整されるようになる。
【0032】
左画像内で得られたシームの各ピクセルについて、テーブル502の移動量を用いて右画像の対応位置を算出して右画像のS本のシームS1R(k,s)を作成する。但しsは0<s<Sとなるサフィックスとする。この右画像のシームについても、取得されたシームの各ピクセルのうち、右画像のオブジェクト領域と重複しているものを、背面領域で右画像のオブジェクトと重複していない領域(すなわち視差となる背景画像の領域)の中で、もっとも勾配の小さい領域に移動させる。以上を繰り返すことにより、各前景オブジェクトに対して、背面領域操作用のシームS1L(k,s)とS1R(k,s)の対が作成される。
【0033】
工程903では、背景領域調整用シームS2を作成する。
まず左画像について、S本の背景領域調整用シームを取得する。左画像で、背面領域操作用のシームS1によって分割された背景領域について、ラベリング処理を行い、異なるオブジェクトIDによってはさまれている領域を取り出す。この各領域を中間背景領域と呼び、各領域のIDをmで表現する。
【0034】
各中間背景領域mについてS本のシームを取得する。これらを左画像のシームS2L(m,s)とする。但しsは0<s<Sとなるサフィックスとする。また、テーブル502の移動量を用いてS2Lの各ピクセルの右画像上の対応位置を算出して右画像のS本のシームを作成し、右画像のシームS2R(m,s)とする。
以上でシームが作成される。
【0035】
工程704では、工程703で作成されたシームを用いて視差量の変更処理を行う。
視差を縮小する場合には、非特許文献2の手法にもとづき、シームS1の領域のピクセルを削除して、シームS2の領域を複製する。(このとき、シームS1の領域を複製し、シームS2の領域を削除することで視差を拡大することが出来る。)図12はこの処理によって改変される処理の内容を示したものである。右目画像の背景領域1201、1202は相対的に左に動き、左目画像の背景領域1203〜1205は相対的に右に動く。この処理の結果として、シームカービングによって背景の画像領域が拡大して、オクルージョン領域が削減されるため、前景と背景の間の視差が小さくなる。
【0036】
図10はこの手法によって作成される視差領域を調整するためのシームである。このシーム1001〜1004上のピクセルを削除することで前景と背景の視差が減少し、逆にピクセルを複製することで前景と背景の視差は増大する。また図11のシームは図10のシーム部分の改変で行われる領域の調整に合わせ、1001〜1004のピクセルを削減した時には1101〜1104のピクセルを複製することで、画像全体のサイズを維持する。
【0037】
工程705では、工程704で改変された画像を、立体映像入出力インタフェース409を通して、立体映像出力装置408に提示する。また、同画像を、外部出力415に保存する。
以上の一連の処理により、背景視差の量を制御したステレオ画像が作成される。
【実施例2】
【0038】
実施例2は、実施例1のシステムに、ステレオカメラとレンジファインダを追加して、その場で撮影された映像の奥行きを加工して表示する装置である。図13は、この実施例を実現するための装置を示した図である。1300〜1310までは、それぞれ400〜410までの機器と同一であり、ステレオの調整がされたカメラ1311,1312とレンジファインダ1313を備えている。
【0039】
この装置では、実施例1での工程701において、データ媒体415からステレオ画像を読み込む代わりに、ステレオカメラ1311,1312で撮影し、撮影した画像201と202を読み込む。また、データ媒体415から視差情報を読み取る代わりに、奥行き情報をレンジファインダ1313で取得し、得られた情報を視差情報に変換して、その奥行き量のデータを対応距離に変換したものをデータ501,502として用いる。また、各Y座標についてスキャンを行って奥行き量がそのラインでの最頻値よりも一定以上近い部分を前景オブジェクトとみなして、その判別結果にラベリング処理を施したものをしたデータを作成し、ラベル情報601,602として用いる。
それ以外の各工程処理については実施例1と同様の処理を行う。
【実施例3】
【0040】
実施例3は、実施例1のシステムで変換した画像を表示、保存する代わりに、シーム自体を保存して、表示時にインタラクティブに奥行き情報を変換できるようにしたものである。
【0041】
図14は、実施例1においての動作フロー図7に対応する動作フローの図である。工程1401〜1403は、工程701〜703と同様である。実施例1において、工程704で画素の移動が行われ工程705で改変後の画像が保存されるのに対し、本実施例では、工程1404でシームの情報自体をデータ媒体415に保存する。この情報は再生時に読み込まれ、表示時のユーザ入力に併せてピクセルを削除・複製量が決められる。
【0042】
図15は、再生時の工程を示した動作フロー図である。この処理は情報処理機器400で実行される。工程1500でステレオ画像を読み込む。またシーム情報を工程1501で読み込む。工程1502では、視差の制御数を入力として受付け、工程1503でその値をメモリ領域S0に保存する。工程1504では、S0本のシームについて画素の移動改変を行い、その結果を工程1505で表示する。
これにより、最終的に出力される画像は、工程1502で入力された値に応じて視差の調整が反映されたものとなる。
【実施例4】
【0043】
実施例4は、実施例1のシステムでのシーム取得に対して、ステレオマッチング対応点の信頼精度に合わせた重み付けを行うものである。
【0044】
画像201を移動量のテーブル502で移動して作成された画像R’(0)を作成する。この画像R’(0)と画像202の差の絶対値を計算し、D(0)とする。また、R’を左右にpピクセル移動した画像R’(p)と画像202の差の絶対値を計算し、それぞれD(p)とする。(本実施例では、pの値として、-2,-1,1,2の四種類を用いることにする)。各ピクセルについて、D(p)-D(0)の平均値を取り、この値をステレオマッチングの信頼精度Wとする。実施例1の工程902で行われるシームの抽出処理において、視差領域調整用シームが背面領域に交差したときに、シーム上の各ピクセルp(y)を移動する位置について、式(1)を用いて定める。
Min ( E_data(p(y)) + E_smooth(p(y))) (1)
”Computing Visual Correspondence with Occlusions via Graph Cuts”, Vladimir Kolmogorov and Ramin Zabih, In International Conference on Computer Vision, 2001に示されるように、式(1)は、平滑項とデータ項としてグラフ上にエネルギーを定義してグラフカットの手法を用いて最小化するための一般的な定式条件である。ただしここで、E_data(p(y))には、グラフカット処理のデータ項であり、背景領域として分割された部分領域についてはWの値を、前景領域としてラベルされた領域については定数値C3を代入する。また、E_smooth(p(y))には、シームの削除によって改変される勾配の変動量を用いる。具体的手法は、Improved seam carving for video retargeting, Michael Rubinstein, Arial Shamir, Shai Avidan, 2009に記載されている。
【0045】
この値を最小化することにより、シームの削除を行うことによって視差にズレの出る可能性のある画像領域を避けながら、連続性の高いシームを選択することが出来る。
【符号の説明】
【0046】
100:シームカービング適用前の元画像、101:シームカービング適用後の縮小画像、110〜115:シーム、201:右目位置から視たステレオ画像、202:左目位置から視たステレオ画像、205:画像201上の背景物体映像、206,207:画像201上の前景物体映像、215:画像202上の背景物体映像、216,217:画像202上の前景物体映像、301:左目観察点の位置、302:右目観察点の位置、305:画像上の物体205に対応する背景物体、306,307:画像上の物体206,207に対応する前景物体、310:物体307の背面領域、311:右左目位置から見て前景物体307に背景物体305が隠蔽される領域、321:左目画像から見える視差領域の背景画像、322:右目画像から見える視差領域の背景画像、400:情報処理装置、402:モニタディスプレイ、405:中央演算装置(CPU)、406:主記憶装置(メモリ)、407:外部記憶装置(HDD)、408:立体映像出力装置、409:立体映像入出力インタフェース、410:ネットワークインタフェース、411:画像データ入出力機器、415:データ媒体、501:画像201から画像202への移動量を示す配列データ、502:画像202から画像201への移動量を示す配列データ、510:ある画素の移動量を示すベクトル構造体、601:画像201の各画素に対するラベルデータの配列、602:画像202の各画素に対するラベルデータの配列、610:ある画素がどのオブジェクトに含まれるかを表現するIDのデータ、801:201に対応する背面領域のラベルデータ配列、806:206に対応する背面領域のラベル領域、807:207に対応する背面領域のラベル領域、820:ラベル806に対してY方向に加算カウントしたヒストグラム、1001〜1004:視差領域調整用シーム、1101〜1104:視差領域調整用シーム、1201,1202:相対的に左に動く背景領域、1203,1204:相対的に右に動く背景領域、1311,1312:ステレオカメラ、1313:レンジファインダ。
【特許請求の範囲】
【請求項1】
複数のカメラで前景物体と背景物体が撮影され、ステレオマッチングの対応点が取られた画像に対して、前記前景物体が写っている画像領域と前記前景物体との重畳によって別の視点位置からは隠ぺいされる背景の領域を合わせた領域を通過する画像勾配の小さい領域を連結したパスを複数本取得する手段と、背景画像において画像勾配の小さい領域を連結したパスを複数本取得する手段と、それらのパス上のピクセルを削除または複製することによって、ステレオ視を行った際に前記前景物体と前記背景物体の奥行量の差が異なる疑似画像を作成する手段とを備えることを特徴とする立体映像調整装置。
【請求項2】
複数のカメラで前景物体と背景物体が撮影され、ステレオマッチングの対応点が取られた画像に対して、前記前景物体が写っている画像領域とその物体との重畳によって別の視点位置からは隠ぺいされる背景の領域を合わせた領域を通過する画像勾配の小さい領域を連結したパスを複数本取得し、背景画像において画像勾配の小さい領域を連結したパスを複数本取得し、それらのパス上のピクセルを削除または複製することによって、ステレオ視を行った際に前記前景物体と前記背景物体の奥行量の差が異なる疑似画像を作成することを特徴とする立体映像調整方法。
【請求項3】
請求項1の立体映像調整装置において、前記前景物体が写っている画像領域と前記前景物体との重畳によって別の視点位置からは隠ぺいされる背景の領域を合わせた領域を通過する画像勾配の小さい領域を連結したパスの近傍については横方向の縮小処理を実行する縮小処理手段と、前記背景画像において画像勾配の小さい領域を連結したパスの近傍については横方向の拡大処理を実行する拡大処理手段と、前記縮小処理手段と前記拡大処理手段とによって、ステレオ視を行った際に前記前景物体と前記背景物体の奥行量の差が小さくなる疑似画像を作成する手段とを備えることを特徴とする立体映像調整装置。
【請求項4】
請求項1の立体映像調整装置において、前記前景物体が写っている画像領域と前記前景物体との重畳によって別の視点位置からは隠ぺいされる背景の領域を合わせた領域を通過する画像勾配の小さい領域を連結したパスの近傍については横方向の拡大処理を実行する拡大処理手段と、前記背景画像において画像勾配の小さい領域を連結したパスの近傍については横方向の縮小処理を実行する縮小処理手段と、前記拡大処理手段と前記縮小処理手段とによって、ステレオ視を行った際に前記前景物体と前記背景物体の奥行量の差が大きくなる疑似画像を作成する手段とを備えることを特徴とする立体映像調整装置。
【請求項5】
請求項1の立体映像調整装置において、前記前景物体が写っている画像領域と前記前景物体との重畳によって別の視点位置からは隠ぺいされる背景の領域を合わせた領域を通過する画像勾配の小さい領域を連結したパスの各座標情報と、前記背景画像において画像勾配の小さい領域を連結したパスの各座標情報を、ステレオ画像と共にメディアに保存する手段とを備えることを特徴とする立体映像調整装置。
【請求項6】
請求項5の立体映像調整装置において保存された前記パス情報と前記ステレオ画像を読み込む手段と、視聴するユーザからの入力情報を受け取る手段と、前記前景物体が写っている画像領域とその物体との重畳によって別の視点位置からは隠ぺいされる背景の領域を合わせた領域を通過する画像勾配の小さい領域を連結したパスの近傍については横方向の縮小処理を実行する縮小処理手段と、背景画像において画像勾配の小さい領域を連結したパスの近傍については横方向の拡大処理を実行する拡大処理手段と、前記縮小処理手段と前記拡大処理手段とによって、ステレオ視を行った際に前記前景物体と前記背景物体の奥行量の差が小さくなる疑似画像を再生する手段とを備えることを特徴とする立体映像調整装置。
【請求項1】
複数のカメラで前景物体と背景物体が撮影され、ステレオマッチングの対応点が取られた画像に対して、前記前景物体が写っている画像領域と前記前景物体との重畳によって別の視点位置からは隠ぺいされる背景の領域を合わせた領域を通過する画像勾配の小さい領域を連結したパスを複数本取得する手段と、背景画像において画像勾配の小さい領域を連結したパスを複数本取得する手段と、それらのパス上のピクセルを削除または複製することによって、ステレオ視を行った際に前記前景物体と前記背景物体の奥行量の差が異なる疑似画像を作成する手段とを備えることを特徴とする立体映像調整装置。
【請求項2】
複数のカメラで前景物体と背景物体が撮影され、ステレオマッチングの対応点が取られた画像に対して、前記前景物体が写っている画像領域とその物体との重畳によって別の視点位置からは隠ぺいされる背景の領域を合わせた領域を通過する画像勾配の小さい領域を連結したパスを複数本取得し、背景画像において画像勾配の小さい領域を連結したパスを複数本取得し、それらのパス上のピクセルを削除または複製することによって、ステレオ視を行った際に前記前景物体と前記背景物体の奥行量の差が異なる疑似画像を作成することを特徴とする立体映像調整方法。
【請求項3】
請求項1の立体映像調整装置において、前記前景物体が写っている画像領域と前記前景物体との重畳によって別の視点位置からは隠ぺいされる背景の領域を合わせた領域を通過する画像勾配の小さい領域を連結したパスの近傍については横方向の縮小処理を実行する縮小処理手段と、前記背景画像において画像勾配の小さい領域を連結したパスの近傍については横方向の拡大処理を実行する拡大処理手段と、前記縮小処理手段と前記拡大処理手段とによって、ステレオ視を行った際に前記前景物体と前記背景物体の奥行量の差が小さくなる疑似画像を作成する手段とを備えることを特徴とする立体映像調整装置。
【請求項4】
請求項1の立体映像調整装置において、前記前景物体が写っている画像領域と前記前景物体との重畳によって別の視点位置からは隠ぺいされる背景の領域を合わせた領域を通過する画像勾配の小さい領域を連結したパスの近傍については横方向の拡大処理を実行する拡大処理手段と、前記背景画像において画像勾配の小さい領域を連結したパスの近傍については横方向の縮小処理を実行する縮小処理手段と、前記拡大処理手段と前記縮小処理手段とによって、ステレオ視を行った際に前記前景物体と前記背景物体の奥行量の差が大きくなる疑似画像を作成する手段とを備えることを特徴とする立体映像調整装置。
【請求項5】
請求項1の立体映像調整装置において、前記前景物体が写っている画像領域と前記前景物体との重畳によって別の視点位置からは隠ぺいされる背景の領域を合わせた領域を通過する画像勾配の小さい領域を連結したパスの各座標情報と、前記背景画像において画像勾配の小さい領域を連結したパスの各座標情報を、ステレオ画像と共にメディアに保存する手段とを備えることを特徴とする立体映像調整装置。
【請求項6】
請求項5の立体映像調整装置において保存された前記パス情報と前記ステレオ画像を読み込む手段と、視聴するユーザからの入力情報を受け取る手段と、前記前景物体が写っている画像領域とその物体との重畳によって別の視点位置からは隠ぺいされる背景の領域を合わせた領域を通過する画像勾配の小さい領域を連結したパスの近傍については横方向の縮小処理を実行する縮小処理手段と、背景画像において画像勾配の小さい領域を連結したパスの近傍については横方向の拡大処理を実行する拡大処理手段と、前記縮小処理手段と前記拡大処理手段とによって、ステレオ視を行った際に前記前景物体と前記背景物体の奥行量の差が小さくなる疑似画像を再生する手段とを備えることを特徴とする立体映像調整装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【公開番号】特開2011−166498(P2011−166498A)
【公開日】平成23年8月25日(2011.8.25)
【国際特許分類】
【出願番号】特願2010−27682(P2010−27682)
【出願日】平成22年2月10日(2010.2.10)
【国等の委託研究の成果に係る記載事項】(出願人による申告)国等の委託研究の成果に係る特許出願(平成21年度 独立行政法人情報通信研究機構「革新的な三次元映像技術による超臨場感コミュニケーション技術の研究開発」委託研究、産業技術力強化法第19条の適用を受ける特許出願)
【出願人】(000005108)株式会社日立製作所 (27,607)
【Fターム(参考)】
【公開日】平成23年8月25日(2011.8.25)
【国際特許分類】
【出願日】平成22年2月10日(2010.2.10)
【国等の委託研究の成果に係る記載事項】(出願人による申告)国等の委託研究の成果に係る特許出願(平成21年度 独立行政法人情報通信研究機構「革新的な三次元映像技術による超臨場感コミュニケーション技術の研究開発」委託研究、産業技術力強化法第19条の適用を受ける特許出願)
【出願人】(000005108)株式会社日立製作所 (27,607)
【Fターム(参考)】
[ Back to top ]