裸眼立体視画像処理方法および装置ならびに演算プログラムを記録した記録媒体
【課題】 撮影後に立体画像の、より自然な奥行き感の調整を行い得る裸眼立体視画像処理方法および装置ならびに演算プログラムを記録した記録媒体を提供する。
【解決手段】 本発明は、撮像装置（カメラ）３から供給される多視差画像を裸眼での立体視を可能とする立体画像表示装置（ディスプレイ）５に供給するときの裸眼立体視画像処理装置であって、前記多視差画像に注視点を付与する注視点付与手段と、この注視点付与手段で付与された注視点の奥行き位置を変更する注視点変更用ポインタＰP等の注視点位置変更手段とを備える。
【解決手段】 本発明は、撮像装置（カメラ）３から供給される多視差画像を裸眼での立体視を可能とする立体画像表示装置（ディスプレイ）５に供給するときの裸眼立体視画像処理装置であって、前記多視差画像に注視点を付与する注視点付与手段と、この注視点付与手段で付与された注視点の奥行き位置を変更する注視点変更用ポインタＰP等の注視点位置変更手段とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体画像の奥行き感を調節し違和感の無い裸眼立体視を可能とする裸眼立体視画像処理方法および装置ならびに演算プログラムを記録した記録媒体に関する。
【背景技術】
【０００２】
近年、裸眼で画像を立体視可能とする技術が種々、提供されるようになってきている。また、最近では、漠然とした立体視映像では無く、自然な裸眼立体視映像を提供しようとする試みを提案するものも見られる。
【０００３】
例えば、特許文献１に記載の技術にあっては、課題として、視差分割方式において、視点を微妙にずらして視差を生じさせた２枚の２次元画像を「交差法」や「平行法」によって１枚の立体画像として認識させようとする際に、人間の個々の個人差により立体視映像を享受できない場合が想定されている。
【０００４】
特許文献１に記載の技術は、このように極めて不自然な映像、つまり微妙にずれた２枚の画像が交互に合成された映像としてか認識できない場合の不具合を少しでも軽減しようとするものである。
【０００５】
例えば特許文献１の実施例４に記載の技術にあっては、視差分割方式の「交差法」において、その視線の交差ポイントを算出し、ユーザに対して表示画面上で交差ポイントを位置を知らせる機能を備える。
【０００６】
つまり、この特許文献１の実施例４に記載の技術は、視線の交差ポイントを知らせることにより、個人差による立体視映像の享受可否を解消しようとするものである。
【特許文献１】特開２００５−３１８４２１号
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上述したように、従来の立体視映像表示装置では、特定の方式、例えば視差分割方式の「交差法」における課題を解決するに過ぎないものであり、裸眼立体視画像表示におけるより自然な奥行き感で立体視が可能な視差画像を提供するものはなかった。また、カメラから得られる視差画像に対する処理は、通常はカメラの光軸変更等、撮像前または撮像時に設定あるいは処理されるものであるという認識が一般的であることから、撮像後に視差の調整等の処理を行うことは全く想定されていなかった。
【０００８】
本発明は、このような技術的課題に鑑みてなされたもので、その目的は、撮影後に立体画像の奥行き位置を制御し、より自然な奥行き感の立体画像情報を提供することができる裸眼立体視画像処理方法および装置ならびに演算プログラムを記録した記録媒体を提供することにある。
【課題を解決するための手段】
【０００９】
上記の課題を解決するために、請求項１に記載の裸眼立体視画像処理方法は、画像供給手段から供給される多視差画像を裸眼での立体視を可能とする立体画像表示装置に供給するときの裸眼立体視画像処理方法であって、前記多視差画像から得られる立体画像の任意の奥行き位置に注視点を付与することを要旨とする。
【００１０】
請求項１の裸眼立体視画像処理方法によれば、撮影後には変更できなかった立体画像の奥行き感を撮影後に制御し、より自然な奥行き感の立体画像情報を提供することが可能となる。
【００１１】
請求項２に記載の裸眼立体視画像処理方法は、それぞれの光軸が平行となるように設置される複数のカメラにより構成される画像供給手段から供給される多視差画像を処理して、裸眼での立体視を可能とする立体画像表示装置に供給するときの裸眼立体視画像処理方法であって、前記多視差画像から得られる立体画像の任意の奥行き位置に注視点を付与する注視点付与工程と、この注視点付与工程で付与された注視点の奥行き位置を変更する注視点位置変更工程とを備えることを要旨とする。
【００１２】
請求項２の裸眼立体視画像処理装置によれば、撮影後には変更できなかった立体画像の奥行き感を撮影後に制御し、より自然な奥行き感の立体画像情報を提供することが可能となる。
【００１３】
請求項３に記載の裸眼立体視画像処理装置は、画像供給手段から供給される多視差画像を裸眼での立体視を可能とする立体画像表示装置に供給するときの裸眼立体視画像処理装置であって、前記多視差画像から得られる立体画像に対し設定される注視点の奥行き位置を任意の奥行き位置に変更する注視点位置変更手段を備えることを要旨とする。
【００１４】
請求項４に記載の裸眼立体視画像処理装置は、画像供給手段から供給される多視差画像を処理し、裸眼での立体視を可能とする立体画像表示装置に供給するときの裸眼立体視画像処理装置であって、前記多視差画像から得られる立体画像の任意の奥行き位置に注視点を付与する注視点付与手段と、この注視点付与手段で付与された注視点の奥行き位置を変更する注視点位置変更手段とを備えることを要旨とする。
【００１５】
請求項５に記載の裸眼立体視画像処理装置は、前記請求項３又は４のいずれかに記載の画像供給手段が、それぞれの光軸が平行となるように設置される複数の撮像手段により構成されることを要旨とする。
【００１６】
請求項６に記載の裸眼立体視画像処理装置は、前記請求項５記載の任意の奥行き位置に注視点を付与する処理または前記注視点の奥行き位置を変更する処理が、前記画像供給手段を構成する各カメラの光軸を当該注視点に擬似的に傾けたときの注視点位置の横方向の移動量を計算し、この移動量を前記多視差画像に反映することを要旨とする。
【００１７】
請求項７に記載の裸眼立体視画像処理装置は、前記請求項３乃至６のいずれかに記載の注視点位置変更手段が、立体画像表示装置の画面に、常態でまたは操作時に一時的に表示される注視点変更用ポインタで示された奥行き位置に注視点位置を変更することを要旨とする。
【００１８】
請求項８に記載の裸眼立体視画像処理装置は、前記請求項３乃至６のいずれかに記載の注視点位置変更手段が、立体画像表示装置の画面に画面縦方向に、常態でまたは操作時に一時的に表示される注視点変更用カーソルを移動して示された奥行き位置に注視点位置を変更することを要旨とする。
【００１９】
請求項９に記載の裸眼立体視画像処理装置は、前記請求項３乃至６のいずれかに記載の注視点位置変更手段が、前記立体画像表示装置の画面に表示される注視点変更用カーソル位置から水平に注視点変更用注視点表示ラインを表示することを要旨とする。
【００２０】
請求項１０に記載の裸眼立体視画像処理装置は、前記請求項３乃至６のいずれかに記載の注視点位置変更手段が、立体画像表示装置の画面に、常態でまたは操作時に一時的に表示される注視点変更用数値入力ウィンドウに入力される数値に対応する奥行き位置に注視点位置を変更することを要旨とする。
【００２１】
請求項１１に記載の裸眼立体視画像処理装置は、前記請求項３乃至６のいずれかに記載の注視点位置変更手段が、前記注視点変更用数値入力ウィンドウに入力される数値に対応する奥行き位置に水平に注視点変更用注視点表示ラインを表示することを要旨とする。
【００２２】
請求項１２に記載の裸眼立体視画像処理演算プログラムは、画像供給手段から供給される多視差画像を裸眼での立体視を可能とする立体画像表示装置に供給するときの裸眼立体視画像処理演算プログラムであって、前記多視差画像に注視点を付与する注視点付与処理と、この注視点付与処理で付与された注視点の奥行き位置を変更する注視点位置変更処理とを含み、これらの処理をコンピュータに実行させることを要旨とする。
【００２３】
請求項１３に記載のコンピュータ読み取り可能な記録媒体は、請求項１２に記載の裸眼立体視画像処理演算プログラムを記録したことを要旨とする。
【発明の効果】
【００２４】
本発明の裸眼立体視画像処理方法および装置ならびに演算プログラムを記録した記録媒体によれば、従来、撮影後には変更できなかった立体画像の奥行き感を撮影後に制御し、より自然な奥行き感の立体画像情報を提供することができる。
【発明を実施するための最良の形態】
【００２５】
以下、本発明の実施の形態を図面を参照して説明する。
【００２６】
図１は本発明に係る立体視画像処理装置を含む裸眼立体視画像処理システム全体の構成を示すブロック図である。
【００２７】
図１を参照するに、立体画像処理装置１は画像供給手段としての撮像装置（カメラ）３と立体画像表示装置（ディスプレイ）５との間に設けられる。
【００２８】
撮像装置３は、本実施形態では光軸が平行となる向きに固定された７台のデジタルカメラ若しくは１台の筐体中に７つのＣＣＤ（１つのＣＣＤを７台分と区分する場合を含む）が設けられたカメラにより構成され、７カメラ分の非圧縮フルＨＤハイビジョン画像を多視差画像として立体画像処理装置１に供給する。なお、本実施の形態においては、複数のカメラ等からなる撮像装置３を例にして説明するが、画像供給手段としては放送、通信回線を介して供給されるもの、記録媒体等を介して供給されるもの、また画像としてはコンピュータグラフィックス（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ；ＣＧ）等の任意の画像を供給するものが含まれることは言うまでもない。
【００２９】
立体画像処理装置１は、後述するように、この供給された多視差画像を裸眼立体視が可能なように画像処理を施し、立体画像表示装置５に出力する。
【００３０】
立体画像表示装置５は立体画像処理装置１から供給された処理画像を裸眼立体視が可能な画像として表示する。立体画像表示装置５には、多視差画像をソースとして生成できる立体画像が表示できる全てのディスプレイが含まれ、例えば、２眼式の表示方式では、アナグリフ方式、シャッターグラス方式、偏向レンズ方式、レンチキュラー方式が含まれ、多眼式の表示方式ではレンチキュラー方式、マイクロレンズアレイ方式（フライアイレンズ方式）、パララックスバリア方式などが含まれる。また、必要視差数が足りない場合は各カメラ間を補間し、必要視差数を補うことにより立体視が可能となる。
【００３１】
次に、立体画像処理装置１の構成を詳細に説明する。
【００３２】
ディスクストレージ装置１１はハードディスクドライブ（HDD）等で構成される大容量の記憶媒体であり、撮像装置３から取得した７台分のカメラ（以下、７カメラ分と略記することもある）からの非圧縮フルＨＤハイビジョン画像、あるいはを記録するための装置である。ＤＶＤやＭＯ（光磁気ディスク）等のディスクタイプの外、半導体を用いたフラッシュメモリタイプのものを利用することにより、より高速なアクセス・スピードを確保するようにしても良い。
【００３３】
データ圧縮解凍装置１３は、例えばディスクストレージ装置１１に記録・蓄積された多視差画像（本実施形態では７カメラ分の視差画像）を一つのファイルにまとめる処理をソフトウェア若しくは専用チップによりリアルタイムに行う。
【００３４】
このデータ圧縮解凍装置１３は、現状の７カメラ分の非圧縮フルＨＤハイビジョン（フルスペックハイビジョン）画像を圧縮して扱いやすくするために設けられる。具体的には、非圧縮でのフルＨＤハイビジョン画像７枚のデータ量は４３５．４ＭＢ／秒になるため、現在のパソコン（ＰＣ）における最大転送レートに対応するファイルサイズまで圧縮しておく。これにより制御領域の確保やデータへのアクセスタイムの短縮、さらには記録媒体への記録が容易となる。
【００３５】
立体画像編集装置１５は、母体となる既存のソフトウェアに対し補助的な「立体画像編集・合成プログラム」を搭載し、既存の編集、合成システムと同じ感覚で立体画像の編集、合成を行う。このとき立体画像編集装置１５は、後述するアルゴリズムにより、立体画像を生成する際カメラの間隔（視差）を変化させることで立体感（奥行き感）を変化させる等の処理を行う。
【００３６】
データ変換装置１７は、多視差の画像情報から立体像表示装置にリアルタイムで表示する画像変換を行う。
【００３７】
次に図２乃至図８を参照して、本実施形態における裸眼立体視画像処理システムでの注視点の変更処理について説明する。
【００３８】
図２は本実施形態における撮像条件の前提条件を示すものであり、便宜的に被写体Ｔとカメラ及びそれぞれのカメラで撮像された画像内容を３組として示している（本実施形態では本来７カメラ分の視差画像を得るため７組が必要である）。
【００３９】
図２では、被写体Ｔとして、カメラ側からみて右側かつ遠方にある右側被写体ＴRと、中央かつ中間距離にある中央被写体ＴCと、左側かつより近距離にある左側被写体ＴLと、撮像装置３としての３台のカメラＣ0、Ｃ1、Ｃ2が示される。なお、３台のカメラＣ0、Ｃ1、Ｃ2は等間隔に配置され、またそれぞれの光軸は平行である。
【００４０】
さらに各カメラＣ0、Ｃ1、Ｃ2で撮像された画像Ｉ0、Ｉ1、Ｉ2が視差画像としてそれぞれのカメラＣ0、Ｃ1、Ｃ2に対応して示されている。例えば、カメラＣ1で被写体Ｔを撮像して得られた画像Ｉ1には、右側から右側被写体ＴRの撮像画像である右側被写体画像（ＴR）と、中央被写体ＴCの撮像画像である中央被写体画像（ＴC）と、左側被写体ＴLの撮像画像である左側被写体画像（ＴL）が示されている。また画像Ｉ0、Ｉ1、Ｉ2とを比較すると、カメラＣ0、Ｃ1、Ｃ2毎に視差が生じた画像となっていることが示されている。
【００４１】
次に図３、４を参照して、注視点と擬似的な注視点操作により自然な奥行き感が得られることについて説明する。
【００４２】
図３、４の（ａ）にはカメラＣ0、Ｃ1、Ｃ2で撮像された画像Ｉ0、Ｉ1、Ｉ2と注視点（点線で示す）との関係が示され、図３、４の（ｂ）にはユーザＵが立体画像表示装置５の表示画面（図中ＩLで示すディスプレイ面）を介して右側被写体ＴR、中央被写体ＴC、及び左側被写体ＴLを眺めている様子がそれぞれ模式的に示される。
【００４３】
さらに図３、４（ｂ）にはユーザＵが自然な奥行き感の立体画像と感じる領域である「適切な立体表示領域」が点線で示される。つまり表示画面ＩLは、「適切な立体表示領域」の前後中心にあり、注視点でもある。なお、ここではユーザＵが注視する場合、点であることから注視点としているが、現実的には感覚的には面であり、そのため図３、４（ｂ）では、その横断面を示す線で注視点が示されている。
【００４４】
図３（ｂ）を参照するに、左側被写体ＴLに注視点をもってきた場合（図３（ａ）を参照）、ユーザＵにとって右側被写体ＴRが「適切な立体表示領域」の領域外にあることから、全体として不自然な奥行き感の立体画像と感じることになる。
【００４５】
そこで、図４（ｂ）に示すように中央被写体ＴCに注視点を持ってくる（図４（ａ）を参照）。この場合、手前側にも、奥行き側にも自然な奥行き感のある立体画像として認識されることになる。
【００４６】
次に、図５、６、７を参照してトリミング領域について説明する。
【００４７】
図５では、カメラＣの光軸を４５度づつずらして撮影し、３枚の画像（Ａ1、Ａ2、Ａ3）を得、これら３枚の画像（Ａ1、Ａ2、Ａ3）を繋ぎ合わして１枚の連続した画像とする様子を示す。また、図６ではカメラＣを左から右に振りながら撮影した場合を示す。この場合にも連続した画像が得られ、逆には単にパンしたときと同じ効果の画像（Ａ4、Ａ5）が得られる。
【００４８】
次に図７を参照するに、図７ではカメラＣ1、Ｃ2の光軸が平行になるように設置し撮像した様子を点線で、カメラＣ1、Ｃ2の光軸が注視点Ａで一致するように設置し撮像した様子を２点鎖線で示す。このどちらの場合も図５、６と同様に連続した画像が得られる。
【００４９】
今回、発明者らの実験で、２点鎖線で示す場合には注視点の存在により自然な立体画像が得られ、一方、点線で示す平行な光軸の場合には、注視点が存在しないため裸眼立体視した場合には、奥行き感に違和感のある画像となることが判った。このような場合、トリミングによって注視点を与えているような効果を作り出すことができる。
【００５０】
次に、図８を参照して擬似的な注視点操作について説明する。この擬似的な注視点操作は、図５、６、７で説明したように平行光軸で撮影した画像、すなわち注視点の存在しない画像に対して、任意の位置に注視点を与え、これにより、より違和感のない立体画像を提供することを可能とすると共に、任意の位置に与えられる注視点を適宜、最適位置に変更することで（注視点操作）、さらに自然な奥行き感のある立体画像を提供することを可能にしている。
【００５１】
また従来、撮影後には変更できなかった表示奥行き位置のコントロールを、立体画像製作者が立体画像表示時に擬似的に注視点操作を行うことにより、、撮影後もしくはCG 製作後に表示された立体画像の奥行き情報を維持した状態で、表示奥行き位置を前後させ、見やすい立体画像を表示、作成できるようにするものである。
【００５２】
図８において、７台のカメラＣ0、Ｃ1、Ｃ2、Ｃ3、Ｃ4、Ｃ5、Ｃ6は等間隔（カメラ間隔ｄ）になるように配置される。また７台のうちの中央のカメラＣ0の撮像面Ｂと注視点Ａとの距離を注視点距離Ｄとする。この図３では説明のために各カメラＣ0、Ｃ1、Ｃ2、Ｃ3、Ｃ4、Ｃ5、Ｃ6は注視点Ａの方向を向いており、それぞれの傾き角をθ0、θ1、θ2、θ3、θ4、θ5、θ6とする。逆に言えば、各カメラＣ0、Ｃ1、Ｃ2、Ｃ3、Ｃ4、Ｃ5、Ｃ6の光軸を平行にした場合の、各光軸の注視点との傾きとなる。
【００５３】
このように配置した例において、等間隔で平行に配置した撮像装置上で得られた画像に対して（但し、ａｔａｎ＝ａｒｃｔａｎ）、
ａｔａｎ（カメラ間隔）÷（ 注視距離）＝（傾き角）
（画像サイズ（横））÷（ 画角）÷θ＝（移動するピクセル数（横方向））
という式により、各画像の配置X 座標を決定し、各画像それぞれ決定した位置に配置、合成を行う。合成方法は各裸眼立体ディスプレイに伴い変化する。合成された立体画像に「表示奥行き位置情報」が付加され、擬似的に注視点操作を行った結果、各ディスプレイ表示時に立体画像の「表示奥行き位置」を前後に変更でき、結果、見やすい立体画像を確認しながら生成できる。
【００５４】
次に、立体画像の奥行き表示位置変更方法について説明する。
【００５５】
まず、ステップＳ１１において、均等な間隔ｄでかつ光軸が平行となるように配置された撮像装置３の７台のカメラＣにより、７個の視点から撮影された７つの画像を得る。この７つの画像は、ディスクストレージ装置１１の図示しないＨＤＤに撮像装置３の７台カメラＣの毎に設けられた（設定された）７つのフォルダにそれぞれ一時的に保存される。この保存された画像は、保存性・取扱性を高めるためにデータ圧縮解凍装置１３Ａで圧縮され、解凍され、立体画像編集装置１５に出力される。
【００５６】
次に、ステップＳ13において、立体画像編集装置１５は、撮影時もしくはCG製作時に使用したカメラ情報を画像移動量算出プログラムに入力、実行し、各画像の横移動量を算出する。
【００５７】
各画像をディスクストレージ装置１１から、データ圧縮解凍装置１３Ａを介して立体画像編集装置１５に読み込み、その演算部が演算を行う。入力するカメラ情報としては、
カメラ間隔（距離）単位：ｍｍ
レンズのｍｍ数；ｆ
撮像素子の横幅（CCD、CMOS、フィルムなど）単位：ｍｍ
撮影した画像のサイズ（横）単位：ピクセル数
撮影に使用したカメラの数（視点数）単位：台
擬似的に与えたい注視点距離 単位：mm
がある。またCPUが行う演算としては、このカメラ情報を入力し後述するステップＳ23の式を計算する。計算後、各カメラから得た画像の移動量が分かるので、それに伴い各画像の表示位置を横方向に移動させる。
【００５８】
次に、ステップＳ15において、算出した画像移動量に伴い、各画像を移動し、各立体画像表示装置に合わせた合成方法で多視点画像の合成を行う。このPCに読み込まれた画像を、一時的にメモリに記録し、CPUが画像の合成を行う。
【００５９】
さらにステップＳ17において、画像合成後、各立体画像表示装置に表示する。CPUが演算した結果（各立体画像表示装置にあわせた合成方法で合成した結果）をGPUを通して各表示装置に転送し、各立体画像表示装置に表示する。
【００６０】
ステップＳ19においては、立体画像表示時に見にくい場合、任意に注視距離の変更を行い、表示奥行き位置を変更する。ステップＳ15と同じく、PCに読み込まれた画像を、一時的にメモリに記録し、再度CPUが画像の合成を行う。
【００６１】
さらにステップＳ21において、各立体画像表示装置に自然な立体画像を表示する。ステップＳ17と同じく、CPUが演算した結果（各立体画像表示装置にあわせた合成方法で合成した結果）をGPUを通して各表示装置に転送し、各立体画像表示装置に表示する。
【００６２】
なお、以上の作業をフレーム毎（日本国内での通常のビデオ、テレビなどでは29.97fps）に連続して上記の作業を繰り返すことで、動画に対応する。
【００６３】
次に、画像の横移動算出プログラムについて説明する。
【００６４】
まず、ステップＳ23においては、下記の入力を行う。
【００６５】
・立体画像合成に使用する各画像の幅を入力（印刷物の場合はｍｍなど、モニタなどへの表示用にはピクセル数など出力先によって単位を変更）
・撮影時もしくはCG製作時に使用したカメラの撮像素子サイズｗを入力（縦、もしくは対角線の長さ）
・撮影時もしくはCG製作時に使用したカメラのレンズmm数ｆを入力
・撮影時もしくはCG製作時に使用したカメラ間隔ｄを入力
・撮影時もしくはCG製作時に使用したカメラの数(ｎ＝７)を入力
・擬似的に与える注視距離を入力
続いて、ステップＳ25において、撮影時に使用したカメラの画角(θ)を算出する。
【００６６】
｛atan((ｗ／２)÷ｆ)｝×２＝θ
ステップＳ27では、平行、また均等な間隔に並べられたカメラから、擬似的に注視点を設けるため、カメラの光軸の角度θを算出する。
【００６７】
｛（ｄ×(ｎ−１)）／２｝＋ｄ×((左からｍ台目のカメラ)−１)＝Ｌ
｛atan(Ｌ)｝÷Ｄ＝θ
但し、
ｄ；カメラ間隔
ｎ；カメラ台数
Ｄ；注視距離
θ；カメラの傾き角
Ｌ；原点からカメラｍまでの距離
またステップＳ29では、撮影した各画像の横移動量を各画像ごとに算出する。
【００６８】
｛（画角）÷θ｝／(画像の横方向サイズ)＝(画像の横方向移動量)
これにより撮影時に使用したカメラの台数分、横移動量を算出する。
【００６９】
次に、図９，１０，１１を参照して、注視点の変更操作について説明する。
【００７０】
まず、図９を参照するに、立体画像表示装置５の表示画面５ａには、裸眼立体視可能な右側被写体立体画像Ｉ（ＴR）、中央被写体画像Ｉ（ＴC）、左側被写体画像Ｉ（ＴL）が表示されているものとする。また（＋）は注視点変更用ポインタＰPである。
【００７１】
ここでユーザＵが 立体画像表示装置５の表示画面５ａ上の裸眼立体視可能な被写体立体画像Ｉ（右側被写体立体画像Ｉ（ＴR）、中央被写体画像Ｉ（ＴC）、左側被写体画像Ｉ（ＴL）を含む画面全体）を眺めて、立体視に不自然さを覚えたものとする。
【００７２】
そこでユーザＵは、マウスの右クリック等により、注視点変更モードに表示画面５ａを切り換え、表示画面５ａ上に注視点変更用ポインタＰPを表示させる。次に、マウスを用いて注視点変更用ポインタＰPを移動し、違和感の無い、自然な立体視が出来る位置に注視点変更用ポインタＰPを配置する。
【００７３】
図９では、注視点変更用ポインタＰPは中央被写体画像Ｉ（ＴC）上に配置され、これにより注視点位置は中央被写体画像Ｉ（ＴC）位置に移動される。この注視点の移動処理はリアルタイムに行われるため、ユーザＵは表示画面５ａ上で立体視の効果を確認しながら、注視点の変更をおこなうことができる。
【００７４】
なお、このとき注視点変更用ポインタＰPの位置は、特に被写体画像Ｉ（Ｔ）上にある必要は無く、例えば右側被写体立体画像Ｉ（ＴR）、中央被写体画像Ｉ（ＴC）との間に設定しても構わない。この場合、対象となる被写体が無くなることがあるが、その場合には右側被写体立体画像Ｉ（ＴR）と中央被写体画像Ｉ（ＴC）との間の中間距離等の位置に応じた比率の位置に設定すれば良い。
【００７５】
次に、図１０を参照して他の注視点の変更操作例について説明する。
【００７６】
この図１０に示す例では、図９に示した注視点変更用ポインタＰPに替えて、注視点変更用カーソルＰCを用いて注視点を変更するようにしている。
【００７７】
ユーザ操作は図９に示す例と同様に、表示画面５ｂ上に注視点変更用カーソルＰCを表示させ、この注視点変更用カーソルＰCをマウスで画面上下方向に移動する。これにより立体視の効果が変更されるので、ユーザＵは被写体画像Ｉ（Ｔ）の立体視が自然と感じる位置に注視点変更用カーソルＰCを移動する。これにより注視点位置は、例えば中央被写体画像Ｉ（ＴC）位置に移動される。
【００７８】
この注視点の移動処理はリアルタイムに行われるため、ユーザＵは表示画面５ｂ上で立体視の効果を確認しながら、注視点の変更をおこなうことができる。
【００７９】
また、この注視点変更用カーソルＰCの上下方向の移動に連動して移動する注視点変更用注視点表示ラインＰLを表示させるようにしてもよい。この注視点変更用注視点表示ラインＰLの表示により、ユーザＵは視覚的に注視点位置を知ることができ、注視点の変更がより容易となる。
【００８０】
なお、この注視点変更用注視点表示ラインＰLの表示位置は、必ずしも注視点変更用カーソルＰCと画面上下方向の同位置にある必要はない。これは表示画面５ｂ上に表示される画像内容により、当然のことであり、また注視点変更用カーソルＰCのカーソル有効長を画面最大に確保するためにも有効である。
【００８１】
次に、図１０を参照して他の注視点の変更操作例について説明する。
【００８２】
この図１１に示す例では、図９に示した注視点変更用ポインタＰPに替えて、注視点変更用数値入力ウィンドウＰWを用いて注視点を変更するようにしている。
【００８３】
ユーザ操作は図９に示す例と同様にして、表示画面５ｃ上に注視点変更用数値入力ウィンドウＰWを表示させ、この注視点変更用数値入力ウィンドウＰWに任意の数値を手入力もしくはプルダウンによる数値表示を選択することで行う。これにより立体視の効果が変更されるので、ユーザＵは被写体画像Ｉ（Ｔ）の立体視が自然と感じる数値となるまで注視点変更用数値入力ウィンドウＰWを操作入力する。これにより注視点位置は、例えば中央被写体画像Ｉ（ＴC）位置に移動される。
【００８４】
この注視点の移動処理はリアルタイムに行われるため、ユーザＵは表示画面５ｃ上で立体視の効果を確認しながら、注視点の変更をおこなうことができる。
【００８５】
また、この注視点変更用数値入力ウィンドウＰWに入力された数値に連動して移動する注視点変更用注視点表示ラインＰLを表示させるようにしてもよい。この注視点変更用注視点表示ラインＰLの表示により、ユーザＵは視覚的に注視点位置を知ることができ、注視点の変更がより容易となる。
【００８６】
上述してきたように、本実施形態によれば、裸眼立体視画像による映像を視聴している際に、ユーザ自らがより自然な奥行き感の立体画像となるように、裸眼立体視画像を視覚的に確認しながら変更することが可能となる。
【００８７】
本発明の実施形態に係る裸眼立体視画像処理演算は、プログラム化しコンピュータ読取り可能な記録媒体に保存しても良い。そして、裸眼立体視画像処理を行う際は、この記録媒体をコンピュータシステムにより構成される立体画像処理装置１に読み込ませ、立体画像処理装置１内のメモリ等の記憶部にプログラムを格納し、裸眼立体視画像処理演算プログラムを演算装置で実行することにより、本発明の裸眼立体視画像処理演算システムおよびその方法を実現することができる。ここで、記録媒体とは、例えば、半導体メモリ、磁気ディスク、光ディスク、光磁気ディスク、磁気テープなどのプログラムを記録することができるようなコンピュータ読み取り可能な記録媒体等が含まれる。
【図面の簡単な説明】
【００８８】
【図１】本発明の裸眼立体視画像処理装置を含むシステム全体の構成を示すブロック図である。
【図２】被写体とカメラ及びそれぞれのカメラで撮像された画像内容を示す図である。
【図３】注視点の変更処理について説明する図である。
【図４】注視点の変更処理について説明する図である。
【図５】注視点の変更処理について説明する図である。
【図６】注視点の変更処理について説明する図である。
【図７】注視点の変更処理について説明する図である。
【図８】注視点の変更処理について説明する図である。
【図９】注視点の変更方法について説明する図である。
【図１０】注視点の変更方法について説明する図である。
【図１１】注視点の変更方法について説明する図である。
【符号の説明】
【００８９】
１…立体画像処理装置
３…撮像装置（カメラ）
５…立体画像表示装置（ディスプレイ）
１１…ディスクストレージ装置
１３…データ圧縮解凍装置
１５…立体画像編集装置
１７…データ変換装置
Ａ…注視点
Ｂ…撮像面
Ｃ…カメラ
Ｄ…注視点距離
ｄ…カメラ間隔
Ｉ…表示画像
ＰP…注視点変更用ポインタ
ＰC…注視点変更用カーソル
ＰL…注視点変更用注視点表示ライン
ＰW…注視点変更用数値入力ウィンドウ
Ｔ…被写体
ＴR…右側被写体
ＴC…中央被写体
ＴL…左側被写体
（Ｔ）…被写体画像
（ＴR）…右側被写体画像
（ＴC）…中央被写体画像
（ＴL）…左側被写体画像
【技術分野】
【０００１】
本発明は、立体画像の奥行き感を調節し違和感の無い裸眼立体視を可能とする裸眼立体視画像処理方法および装置ならびに演算プログラムを記録した記録媒体に関する。
【背景技術】
【０００２】
近年、裸眼で画像を立体視可能とする技術が種々、提供されるようになってきている。また、最近では、漠然とした立体視映像では無く、自然な裸眼立体視映像を提供しようとする試みを提案するものも見られる。
【０００３】
例えば、特許文献１に記載の技術にあっては、課題として、視差分割方式において、視点を微妙にずらして視差を生じさせた２枚の２次元画像を「交差法」や「平行法」によって１枚の立体画像として認識させようとする際に、人間の個々の個人差により立体視映像を享受できない場合が想定されている。
【０００４】
特許文献１に記載の技術は、このように極めて不自然な映像、つまり微妙にずれた２枚の画像が交互に合成された映像としてか認識できない場合の不具合を少しでも軽減しようとするものである。
【０００５】
例えば特許文献１の実施例４に記載の技術にあっては、視差分割方式の「交差法」において、その視線の交差ポイントを算出し、ユーザに対して表示画面上で交差ポイントを位置を知らせる機能を備える。
【０００６】
つまり、この特許文献１の実施例４に記載の技術は、視線の交差ポイントを知らせることにより、個人差による立体視映像の享受可否を解消しようとするものである。
【特許文献１】特開２００５−３１８４２１号
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上述したように、従来の立体視映像表示装置では、特定の方式、例えば視差分割方式の「交差法」における課題を解決するに過ぎないものであり、裸眼立体視画像表示におけるより自然な奥行き感で立体視が可能な視差画像を提供するものはなかった。また、カメラから得られる視差画像に対する処理は、通常はカメラの光軸変更等、撮像前または撮像時に設定あるいは処理されるものであるという認識が一般的であることから、撮像後に視差の調整等の処理を行うことは全く想定されていなかった。
【０００８】
本発明は、このような技術的課題に鑑みてなされたもので、その目的は、撮影後に立体画像の奥行き位置を制御し、より自然な奥行き感の立体画像情報を提供することができる裸眼立体視画像処理方法および装置ならびに演算プログラムを記録した記録媒体を提供することにある。
【課題を解決するための手段】
【０００９】
上記の課題を解決するために、請求項１に記載の裸眼立体視画像処理方法は、画像供給手段から供給される多視差画像を裸眼での立体視を可能とする立体画像表示装置に供給するときの裸眼立体視画像処理方法であって、前記多視差画像から得られる立体画像の任意の奥行き位置に注視点を付与することを要旨とする。
【００１０】
請求項１の裸眼立体視画像処理方法によれば、撮影後には変更できなかった立体画像の奥行き感を撮影後に制御し、より自然な奥行き感の立体画像情報を提供することが可能となる。
【００１１】
請求項２に記載の裸眼立体視画像処理方法は、それぞれの光軸が平行となるように設置される複数のカメラにより構成される画像供給手段から供給される多視差画像を処理して、裸眼での立体視を可能とする立体画像表示装置に供給するときの裸眼立体視画像処理方法であって、前記多視差画像から得られる立体画像の任意の奥行き位置に注視点を付与する注視点付与工程と、この注視点付与工程で付与された注視点の奥行き位置を変更する注視点位置変更工程とを備えることを要旨とする。
【００１２】
請求項２の裸眼立体視画像処理装置によれば、撮影後には変更できなかった立体画像の奥行き感を撮影後に制御し、より自然な奥行き感の立体画像情報を提供することが可能となる。
【００１３】
請求項３に記載の裸眼立体視画像処理装置は、画像供給手段から供給される多視差画像を裸眼での立体視を可能とする立体画像表示装置に供給するときの裸眼立体視画像処理装置であって、前記多視差画像から得られる立体画像に対し設定される注視点の奥行き位置を任意の奥行き位置に変更する注視点位置変更手段を備えることを要旨とする。
【００１４】
請求項４に記載の裸眼立体視画像処理装置は、画像供給手段から供給される多視差画像を処理し、裸眼での立体視を可能とする立体画像表示装置に供給するときの裸眼立体視画像処理装置であって、前記多視差画像から得られる立体画像の任意の奥行き位置に注視点を付与する注視点付与手段と、この注視点付与手段で付与された注視点の奥行き位置を変更する注視点位置変更手段とを備えることを要旨とする。
【００１５】
請求項５に記載の裸眼立体視画像処理装置は、前記請求項３又は４のいずれかに記載の画像供給手段が、それぞれの光軸が平行となるように設置される複数の撮像手段により構成されることを要旨とする。
【００１６】
請求項６に記載の裸眼立体視画像処理装置は、前記請求項５記載の任意の奥行き位置に注視点を付与する処理または前記注視点の奥行き位置を変更する処理が、前記画像供給手段を構成する各カメラの光軸を当該注視点に擬似的に傾けたときの注視点位置の横方向の移動量を計算し、この移動量を前記多視差画像に反映することを要旨とする。
【００１７】
請求項７に記載の裸眼立体視画像処理装置は、前記請求項３乃至６のいずれかに記載の注視点位置変更手段が、立体画像表示装置の画面に、常態でまたは操作時に一時的に表示される注視点変更用ポインタで示された奥行き位置に注視点位置を変更することを要旨とする。
【００１８】
請求項８に記載の裸眼立体視画像処理装置は、前記請求項３乃至６のいずれかに記載の注視点位置変更手段が、立体画像表示装置の画面に画面縦方向に、常態でまたは操作時に一時的に表示される注視点変更用カーソルを移動して示された奥行き位置に注視点位置を変更することを要旨とする。
【００１９】
請求項９に記載の裸眼立体視画像処理装置は、前記請求項３乃至６のいずれかに記載の注視点位置変更手段が、前記立体画像表示装置の画面に表示される注視点変更用カーソル位置から水平に注視点変更用注視点表示ラインを表示することを要旨とする。
【００２０】
請求項１０に記載の裸眼立体視画像処理装置は、前記請求項３乃至６のいずれかに記載の注視点位置変更手段が、立体画像表示装置の画面に、常態でまたは操作時に一時的に表示される注視点変更用数値入力ウィンドウに入力される数値に対応する奥行き位置に注視点位置を変更することを要旨とする。
【００２１】
請求項１１に記載の裸眼立体視画像処理装置は、前記請求項３乃至６のいずれかに記載の注視点位置変更手段が、前記注視点変更用数値入力ウィンドウに入力される数値に対応する奥行き位置に水平に注視点変更用注視点表示ラインを表示することを要旨とする。
【００２２】
請求項１２に記載の裸眼立体視画像処理演算プログラムは、画像供給手段から供給される多視差画像を裸眼での立体視を可能とする立体画像表示装置に供給するときの裸眼立体視画像処理演算プログラムであって、前記多視差画像に注視点を付与する注視点付与処理と、この注視点付与処理で付与された注視点の奥行き位置を変更する注視点位置変更処理とを含み、これらの処理をコンピュータに実行させることを要旨とする。
【００２３】
請求項１３に記載のコンピュータ読み取り可能な記録媒体は、請求項１２に記載の裸眼立体視画像処理演算プログラムを記録したことを要旨とする。
【発明の効果】
【００２４】
本発明の裸眼立体視画像処理方法および装置ならびに演算プログラムを記録した記録媒体によれば、従来、撮影後には変更できなかった立体画像の奥行き感を撮影後に制御し、より自然な奥行き感の立体画像情報を提供することができる。
【発明を実施するための最良の形態】
【００２５】
以下、本発明の実施の形態を図面を参照して説明する。
【００２６】
図１は本発明に係る立体視画像処理装置を含む裸眼立体視画像処理システム全体の構成を示すブロック図である。
【００２７】
図１を参照するに、立体画像処理装置１は画像供給手段としての撮像装置（カメラ）３と立体画像表示装置（ディスプレイ）５との間に設けられる。
【００２８】
撮像装置３は、本実施形態では光軸が平行となる向きに固定された７台のデジタルカメラ若しくは１台の筐体中に７つのＣＣＤ（１つのＣＣＤを７台分と区分する場合を含む）が設けられたカメラにより構成され、７カメラ分の非圧縮フルＨＤハイビジョン画像を多視差画像として立体画像処理装置１に供給する。なお、本実施の形態においては、複数のカメラ等からなる撮像装置３を例にして説明するが、画像供給手段としては放送、通信回線を介して供給されるもの、記録媒体等を介して供給されるもの、また画像としてはコンピュータグラフィックス（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ；ＣＧ）等の任意の画像を供給するものが含まれることは言うまでもない。
【００２９】
立体画像処理装置１は、後述するように、この供給された多視差画像を裸眼立体視が可能なように画像処理を施し、立体画像表示装置５に出力する。
【００３０】
立体画像表示装置５は立体画像処理装置１から供給された処理画像を裸眼立体視が可能な画像として表示する。立体画像表示装置５には、多視差画像をソースとして生成できる立体画像が表示できる全てのディスプレイが含まれ、例えば、２眼式の表示方式では、アナグリフ方式、シャッターグラス方式、偏向レンズ方式、レンチキュラー方式が含まれ、多眼式の表示方式ではレンチキュラー方式、マイクロレンズアレイ方式（フライアイレンズ方式）、パララックスバリア方式などが含まれる。また、必要視差数が足りない場合は各カメラ間を補間し、必要視差数を補うことにより立体視が可能となる。
【００３１】
次に、立体画像処理装置１の構成を詳細に説明する。
【００３２】
ディスクストレージ装置１１はハードディスクドライブ（HDD）等で構成される大容量の記憶媒体であり、撮像装置３から取得した７台分のカメラ（以下、７カメラ分と略記することもある）からの非圧縮フルＨＤハイビジョン画像、あるいはを記録するための装置である。ＤＶＤやＭＯ（光磁気ディスク）等のディスクタイプの外、半導体を用いたフラッシュメモリタイプのものを利用することにより、より高速なアクセス・スピードを確保するようにしても良い。
【００３３】
データ圧縮解凍装置１３は、例えばディスクストレージ装置１１に記録・蓄積された多視差画像（本実施形態では７カメラ分の視差画像）を一つのファイルにまとめる処理をソフトウェア若しくは専用チップによりリアルタイムに行う。
【００３４】
このデータ圧縮解凍装置１３は、現状の７カメラ分の非圧縮フルＨＤハイビジョン（フルスペックハイビジョン）画像を圧縮して扱いやすくするために設けられる。具体的には、非圧縮でのフルＨＤハイビジョン画像７枚のデータ量は４３５．４ＭＢ／秒になるため、現在のパソコン（ＰＣ）における最大転送レートに対応するファイルサイズまで圧縮しておく。これにより制御領域の確保やデータへのアクセスタイムの短縮、さらには記録媒体への記録が容易となる。
【００３５】
立体画像編集装置１５は、母体となる既存のソフトウェアに対し補助的な「立体画像編集・合成プログラム」を搭載し、既存の編集、合成システムと同じ感覚で立体画像の編集、合成を行う。このとき立体画像編集装置１５は、後述するアルゴリズムにより、立体画像を生成する際カメラの間隔（視差）を変化させることで立体感（奥行き感）を変化させる等の処理を行う。
【００３６】
データ変換装置１７は、多視差の画像情報から立体像表示装置にリアルタイムで表示する画像変換を行う。
【００３７】
次に図２乃至図８を参照して、本実施形態における裸眼立体視画像処理システムでの注視点の変更処理について説明する。
【００３８】
図２は本実施形態における撮像条件の前提条件を示すものであり、便宜的に被写体Ｔとカメラ及びそれぞれのカメラで撮像された画像内容を３組として示している（本実施形態では本来７カメラ分の視差画像を得るため７組が必要である）。
【００３９】
図２では、被写体Ｔとして、カメラ側からみて右側かつ遠方にある右側被写体ＴRと、中央かつ中間距離にある中央被写体ＴCと、左側かつより近距離にある左側被写体ＴLと、撮像装置３としての３台のカメラＣ0、Ｃ1、Ｃ2が示される。なお、３台のカメラＣ0、Ｃ1、Ｃ2は等間隔に配置され、またそれぞれの光軸は平行である。
【００４０】
さらに各カメラＣ0、Ｃ1、Ｃ2で撮像された画像Ｉ0、Ｉ1、Ｉ2が視差画像としてそれぞれのカメラＣ0、Ｃ1、Ｃ2に対応して示されている。例えば、カメラＣ1で被写体Ｔを撮像して得られた画像Ｉ1には、右側から右側被写体ＴRの撮像画像である右側被写体画像（ＴR）と、中央被写体ＴCの撮像画像である中央被写体画像（ＴC）と、左側被写体ＴLの撮像画像である左側被写体画像（ＴL）が示されている。また画像Ｉ0、Ｉ1、Ｉ2とを比較すると、カメラＣ0、Ｃ1、Ｃ2毎に視差が生じた画像となっていることが示されている。
【００４１】
次に図３、４を参照して、注視点と擬似的な注視点操作により自然な奥行き感が得られることについて説明する。
【００４２】
図３、４の（ａ）にはカメラＣ0、Ｃ1、Ｃ2で撮像された画像Ｉ0、Ｉ1、Ｉ2と注視点（点線で示す）との関係が示され、図３、４の（ｂ）にはユーザＵが立体画像表示装置５の表示画面（図中ＩLで示すディスプレイ面）を介して右側被写体ＴR、中央被写体ＴC、及び左側被写体ＴLを眺めている様子がそれぞれ模式的に示される。
【００４３】
さらに図３、４（ｂ）にはユーザＵが自然な奥行き感の立体画像と感じる領域である「適切な立体表示領域」が点線で示される。つまり表示画面ＩLは、「適切な立体表示領域」の前後中心にあり、注視点でもある。なお、ここではユーザＵが注視する場合、点であることから注視点としているが、現実的には感覚的には面であり、そのため図３、４（ｂ）では、その横断面を示す線で注視点が示されている。
【００４４】
図３（ｂ）を参照するに、左側被写体ＴLに注視点をもってきた場合（図３（ａ）を参照）、ユーザＵにとって右側被写体ＴRが「適切な立体表示領域」の領域外にあることから、全体として不自然な奥行き感の立体画像と感じることになる。
【００４５】
そこで、図４（ｂ）に示すように中央被写体ＴCに注視点を持ってくる（図４（ａ）を参照）。この場合、手前側にも、奥行き側にも自然な奥行き感のある立体画像として認識されることになる。
【００４６】
次に、図５、６、７を参照してトリミング領域について説明する。
【００４７】
図５では、カメラＣの光軸を４５度づつずらして撮影し、３枚の画像（Ａ1、Ａ2、Ａ3）を得、これら３枚の画像（Ａ1、Ａ2、Ａ3）を繋ぎ合わして１枚の連続した画像とする様子を示す。また、図６ではカメラＣを左から右に振りながら撮影した場合を示す。この場合にも連続した画像が得られ、逆には単にパンしたときと同じ効果の画像（Ａ4、Ａ5）が得られる。
【００４８】
次に図７を参照するに、図７ではカメラＣ1、Ｃ2の光軸が平行になるように設置し撮像した様子を点線で、カメラＣ1、Ｃ2の光軸が注視点Ａで一致するように設置し撮像した様子を２点鎖線で示す。このどちらの場合も図５、６と同様に連続した画像が得られる。
【００４９】
今回、発明者らの実験で、２点鎖線で示す場合には注視点の存在により自然な立体画像が得られ、一方、点線で示す平行な光軸の場合には、注視点が存在しないため裸眼立体視した場合には、奥行き感に違和感のある画像となることが判った。このような場合、トリミングによって注視点を与えているような効果を作り出すことができる。
【００５０】
次に、図８を参照して擬似的な注視点操作について説明する。この擬似的な注視点操作は、図５、６、７で説明したように平行光軸で撮影した画像、すなわち注視点の存在しない画像に対して、任意の位置に注視点を与え、これにより、より違和感のない立体画像を提供することを可能とすると共に、任意の位置に与えられる注視点を適宜、最適位置に変更することで（注視点操作）、さらに自然な奥行き感のある立体画像を提供することを可能にしている。
【００５１】
また従来、撮影後には変更できなかった表示奥行き位置のコントロールを、立体画像製作者が立体画像表示時に擬似的に注視点操作を行うことにより、、撮影後もしくはCG 製作後に表示された立体画像の奥行き情報を維持した状態で、表示奥行き位置を前後させ、見やすい立体画像を表示、作成できるようにするものである。
【００５２】
図８において、７台のカメラＣ0、Ｃ1、Ｃ2、Ｃ3、Ｃ4、Ｃ5、Ｃ6は等間隔（カメラ間隔ｄ）になるように配置される。また７台のうちの中央のカメラＣ0の撮像面Ｂと注視点Ａとの距離を注視点距離Ｄとする。この図３では説明のために各カメラＣ0、Ｃ1、Ｃ2、Ｃ3、Ｃ4、Ｃ5、Ｃ6は注視点Ａの方向を向いており、それぞれの傾き角をθ0、θ1、θ2、θ3、θ4、θ5、θ6とする。逆に言えば、各カメラＣ0、Ｃ1、Ｃ2、Ｃ3、Ｃ4、Ｃ5、Ｃ6の光軸を平行にした場合の、各光軸の注視点との傾きとなる。
【００５３】
このように配置した例において、等間隔で平行に配置した撮像装置上で得られた画像に対して（但し、ａｔａｎ＝ａｒｃｔａｎ）、
ａｔａｎ（カメラ間隔）÷（ 注視距離）＝（傾き角）
（画像サイズ（横））÷（ 画角）÷θ＝（移動するピクセル数（横方向））
という式により、各画像の配置X 座標を決定し、各画像それぞれ決定した位置に配置、合成を行う。合成方法は各裸眼立体ディスプレイに伴い変化する。合成された立体画像に「表示奥行き位置情報」が付加され、擬似的に注視点操作を行った結果、各ディスプレイ表示時に立体画像の「表示奥行き位置」を前後に変更でき、結果、見やすい立体画像を確認しながら生成できる。
【００５４】
次に、立体画像の奥行き表示位置変更方法について説明する。
【００５５】
まず、ステップＳ１１において、均等な間隔ｄでかつ光軸が平行となるように配置された撮像装置３の７台のカメラＣにより、７個の視点から撮影された７つの画像を得る。この７つの画像は、ディスクストレージ装置１１の図示しないＨＤＤに撮像装置３の７台カメラＣの毎に設けられた（設定された）７つのフォルダにそれぞれ一時的に保存される。この保存された画像は、保存性・取扱性を高めるためにデータ圧縮解凍装置１３Ａで圧縮され、解凍され、立体画像編集装置１５に出力される。
【００５６】
次に、ステップＳ13において、立体画像編集装置１５は、撮影時もしくはCG製作時に使用したカメラ情報を画像移動量算出プログラムに入力、実行し、各画像の横移動量を算出する。
【００５７】
各画像をディスクストレージ装置１１から、データ圧縮解凍装置１３Ａを介して立体画像編集装置１５に読み込み、その演算部が演算を行う。入力するカメラ情報としては、
カメラ間隔（距離）単位：ｍｍ
レンズのｍｍ数；ｆ
撮像素子の横幅（CCD、CMOS、フィルムなど）単位：ｍｍ
撮影した画像のサイズ（横）単位：ピクセル数
撮影に使用したカメラの数（視点数）単位：台
擬似的に与えたい注視点距離 単位：mm
がある。またCPUが行う演算としては、このカメラ情報を入力し後述するステップＳ23の式を計算する。計算後、各カメラから得た画像の移動量が分かるので、それに伴い各画像の表示位置を横方向に移動させる。
【００５８】
次に、ステップＳ15において、算出した画像移動量に伴い、各画像を移動し、各立体画像表示装置に合わせた合成方法で多視点画像の合成を行う。このPCに読み込まれた画像を、一時的にメモリに記録し、CPUが画像の合成を行う。
【００５９】
さらにステップＳ17において、画像合成後、各立体画像表示装置に表示する。CPUが演算した結果（各立体画像表示装置にあわせた合成方法で合成した結果）をGPUを通して各表示装置に転送し、各立体画像表示装置に表示する。
【００６０】
ステップＳ19においては、立体画像表示時に見にくい場合、任意に注視距離の変更を行い、表示奥行き位置を変更する。ステップＳ15と同じく、PCに読み込まれた画像を、一時的にメモリに記録し、再度CPUが画像の合成を行う。
【００６１】
さらにステップＳ21において、各立体画像表示装置に自然な立体画像を表示する。ステップＳ17と同じく、CPUが演算した結果（各立体画像表示装置にあわせた合成方法で合成した結果）をGPUを通して各表示装置に転送し、各立体画像表示装置に表示する。
【００６２】
なお、以上の作業をフレーム毎（日本国内での通常のビデオ、テレビなどでは29.97fps）に連続して上記の作業を繰り返すことで、動画に対応する。
【００６３】
次に、画像の横移動算出プログラムについて説明する。
【００６４】
まず、ステップＳ23においては、下記の入力を行う。
【００６５】
・立体画像合成に使用する各画像の幅を入力（印刷物の場合はｍｍなど、モニタなどへの表示用にはピクセル数など出力先によって単位を変更）
・撮影時もしくはCG製作時に使用したカメラの撮像素子サイズｗを入力（縦、もしくは対角線の長さ）
・撮影時もしくはCG製作時に使用したカメラのレンズmm数ｆを入力
・撮影時もしくはCG製作時に使用したカメラ間隔ｄを入力
・撮影時もしくはCG製作時に使用したカメラの数(ｎ＝７)を入力
・擬似的に与える注視距離を入力
続いて、ステップＳ25において、撮影時に使用したカメラの画角(θ)を算出する。
【００６６】
｛atan((ｗ／２)÷ｆ)｝×２＝θ
ステップＳ27では、平行、また均等な間隔に並べられたカメラから、擬似的に注視点を設けるため、カメラの光軸の角度θを算出する。
【００６７】
｛（ｄ×(ｎ−１)）／２｝＋ｄ×((左からｍ台目のカメラ)−１)＝Ｌ
｛atan(Ｌ)｝÷Ｄ＝θ
但し、
ｄ；カメラ間隔
ｎ；カメラ台数
Ｄ；注視距離
θ；カメラの傾き角
Ｌ；原点からカメラｍまでの距離
またステップＳ29では、撮影した各画像の横移動量を各画像ごとに算出する。
【００６８】
｛（画角）÷θ｝／(画像の横方向サイズ)＝(画像の横方向移動量)
これにより撮影時に使用したカメラの台数分、横移動量を算出する。
【００６９】
次に、図９，１０，１１を参照して、注視点の変更操作について説明する。
【００７０】
まず、図９を参照するに、立体画像表示装置５の表示画面５ａには、裸眼立体視可能な右側被写体立体画像Ｉ（ＴR）、中央被写体画像Ｉ（ＴC）、左側被写体画像Ｉ（ＴL）が表示されているものとする。また（＋）は注視点変更用ポインタＰPである。
【００７１】
ここでユーザＵが 立体画像表示装置５の表示画面５ａ上の裸眼立体視可能な被写体立体画像Ｉ（右側被写体立体画像Ｉ（ＴR）、中央被写体画像Ｉ（ＴC）、左側被写体画像Ｉ（ＴL）を含む画面全体）を眺めて、立体視に不自然さを覚えたものとする。
【００７２】
そこでユーザＵは、マウスの右クリック等により、注視点変更モードに表示画面５ａを切り換え、表示画面５ａ上に注視点変更用ポインタＰPを表示させる。次に、マウスを用いて注視点変更用ポインタＰPを移動し、違和感の無い、自然な立体視が出来る位置に注視点変更用ポインタＰPを配置する。
【００７３】
図９では、注視点変更用ポインタＰPは中央被写体画像Ｉ（ＴC）上に配置され、これにより注視点位置は中央被写体画像Ｉ（ＴC）位置に移動される。この注視点の移動処理はリアルタイムに行われるため、ユーザＵは表示画面５ａ上で立体視の効果を確認しながら、注視点の変更をおこなうことができる。
【００７４】
なお、このとき注視点変更用ポインタＰPの位置は、特に被写体画像Ｉ（Ｔ）上にある必要は無く、例えば右側被写体立体画像Ｉ（ＴR）、中央被写体画像Ｉ（ＴC）との間に設定しても構わない。この場合、対象となる被写体が無くなることがあるが、その場合には右側被写体立体画像Ｉ（ＴR）と中央被写体画像Ｉ（ＴC）との間の中間距離等の位置に応じた比率の位置に設定すれば良い。
【００７５】
次に、図１０を参照して他の注視点の変更操作例について説明する。
【００７６】
この図１０に示す例では、図９に示した注視点変更用ポインタＰPに替えて、注視点変更用カーソルＰCを用いて注視点を変更するようにしている。
【００７７】
ユーザ操作は図９に示す例と同様に、表示画面５ｂ上に注視点変更用カーソルＰCを表示させ、この注視点変更用カーソルＰCをマウスで画面上下方向に移動する。これにより立体視の効果が変更されるので、ユーザＵは被写体画像Ｉ（Ｔ）の立体視が自然と感じる位置に注視点変更用カーソルＰCを移動する。これにより注視点位置は、例えば中央被写体画像Ｉ（ＴC）位置に移動される。
【００７８】
この注視点の移動処理はリアルタイムに行われるため、ユーザＵは表示画面５ｂ上で立体視の効果を確認しながら、注視点の変更をおこなうことができる。
【００７９】
また、この注視点変更用カーソルＰCの上下方向の移動に連動して移動する注視点変更用注視点表示ラインＰLを表示させるようにしてもよい。この注視点変更用注視点表示ラインＰLの表示により、ユーザＵは視覚的に注視点位置を知ることができ、注視点の変更がより容易となる。
【００８０】
なお、この注視点変更用注視点表示ラインＰLの表示位置は、必ずしも注視点変更用カーソルＰCと画面上下方向の同位置にある必要はない。これは表示画面５ｂ上に表示される画像内容により、当然のことであり、また注視点変更用カーソルＰCのカーソル有効長を画面最大に確保するためにも有効である。
【００８１】
次に、図１０を参照して他の注視点の変更操作例について説明する。
【００８２】
この図１１に示す例では、図９に示した注視点変更用ポインタＰPに替えて、注視点変更用数値入力ウィンドウＰWを用いて注視点を変更するようにしている。
【００８３】
ユーザ操作は図９に示す例と同様にして、表示画面５ｃ上に注視点変更用数値入力ウィンドウＰWを表示させ、この注視点変更用数値入力ウィンドウＰWに任意の数値を手入力もしくはプルダウンによる数値表示を選択することで行う。これにより立体視の効果が変更されるので、ユーザＵは被写体画像Ｉ（Ｔ）の立体視が自然と感じる数値となるまで注視点変更用数値入力ウィンドウＰWを操作入力する。これにより注視点位置は、例えば中央被写体画像Ｉ（ＴC）位置に移動される。
【００８４】
この注視点の移動処理はリアルタイムに行われるため、ユーザＵは表示画面５ｃ上で立体視の効果を確認しながら、注視点の変更をおこなうことができる。
【００８５】
また、この注視点変更用数値入力ウィンドウＰWに入力された数値に連動して移動する注視点変更用注視点表示ラインＰLを表示させるようにしてもよい。この注視点変更用注視点表示ラインＰLの表示により、ユーザＵは視覚的に注視点位置を知ることができ、注視点の変更がより容易となる。
【００８６】
上述してきたように、本実施形態によれば、裸眼立体視画像による映像を視聴している際に、ユーザ自らがより自然な奥行き感の立体画像となるように、裸眼立体視画像を視覚的に確認しながら変更することが可能となる。
【００８７】
本発明の実施形態に係る裸眼立体視画像処理演算は、プログラム化しコンピュータ読取り可能な記録媒体に保存しても良い。そして、裸眼立体視画像処理を行う際は、この記録媒体をコンピュータシステムにより構成される立体画像処理装置１に読み込ませ、立体画像処理装置１内のメモリ等の記憶部にプログラムを格納し、裸眼立体視画像処理演算プログラムを演算装置で実行することにより、本発明の裸眼立体視画像処理演算システムおよびその方法を実現することができる。ここで、記録媒体とは、例えば、半導体メモリ、磁気ディスク、光ディスク、光磁気ディスク、磁気テープなどのプログラムを記録することができるようなコンピュータ読み取り可能な記録媒体等が含まれる。
【図面の簡単な説明】
【００８８】
【図１】本発明の裸眼立体視画像処理装置を含むシステム全体の構成を示すブロック図である。
【図２】被写体とカメラ及びそれぞれのカメラで撮像された画像内容を示す図である。
【図３】注視点の変更処理について説明する図である。
【図４】注視点の変更処理について説明する図である。
【図５】注視点の変更処理について説明する図である。
【図６】注視点の変更処理について説明する図である。
【図７】注視点の変更処理について説明する図である。
【図８】注視点の変更処理について説明する図である。
【図９】注視点の変更方法について説明する図である。
【図１０】注視点の変更方法について説明する図である。
【図１１】注視点の変更方法について説明する図である。
【符号の説明】
【００８９】
１…立体画像処理装置
３…撮像装置（カメラ）
５…立体画像表示装置（ディスプレイ）
１１…ディスクストレージ装置
１３…データ圧縮解凍装置
１５…立体画像編集装置
１７…データ変換装置
Ａ…注視点
Ｂ…撮像面
Ｃ…カメラ
Ｄ…注視点距離
ｄ…カメラ間隔
Ｉ…表示画像
ＰP…注視点変更用ポインタ
ＰC…注視点変更用カーソル
ＰL…注視点変更用注視点表示ライン
ＰW…注視点変更用数値入力ウィンドウ
Ｔ…被写体
ＴR…右側被写体
ＴC…中央被写体
ＴL…左側被写体
（Ｔ）…被写体画像
（ＴR）…右側被写体画像
（ＴC）…中央被写体画像
（ＴL）…左側被写体画像
【特許請求の範囲】
【請求項１】
画像供給手段から供給される多視差画像を裸眼での立体視を可能とする立体画像表示装置に供給するときの裸眼立体視画像処理方法であって、
前記多視差画像から得られる立体画像の任意の奥行き位置に注視点を付与することを特徴とする裸眼立体視画像処理方法。
【請求項２】
それぞれの光軸が平行となるように設置される複数のカメラにより構成される画像供給手段から供給される多視差画像を処理して、裸眼での立体視を可能とする立体画像表示装置に供給するときの裸眼立体視画像処理方法であって、
前記多視差画像から得られる立体画像の任意の奥行き位置に注視点を付与する注視点付与工程と、
この注視点付与工程で付与された注視点の奥行き位置を変更する注視点位置変更工程と
を備えることを特徴とする裸眼立体視画像処理方法。
【請求項３】
画像供給手段から供給される多視差画像を裸眼での立体視を可能とする立体画像表示装置に供給するときの裸眼立体視画像処理装置であって、
前記多視差画像から得られる立体画像に対し設定される注視点の奥行き位置を任意の奥行き位置に変更する注視点位置変更手段を備えることを特徴とする裸眼立体視画像処理装置。
【請求項４】
画像供給手段から供給される多視差画像を処理し、裸眼での立体視を可能とする立体画像表示装置に供給するときの裸眼立体視画像処理装置であって、
前記多視差画像から得られる立体画像の任意の奥行き位置に注視点を付与する注視点付与手段と、
この注視点付与手段で付与された注視点の奥行き位置を変更する注視点位置変更手段と
を備えることを特徴とする裸眼立体視画像処理装置。
【請求項５】
前記画像供給手段は、それぞれの光軸が平行となるように設置される複数の撮像手段により構成されることを特徴とする請求項３又は４のいずれかに記載の裸眼立体視画像処理装置。
【請求項６】
前記任意の奥行き位置に注視点を付与する処理または前記注視点の奥行き位置を変更する処理は、
前記画像供給手段を構成する各カメラの光軸を当該注視点に擬似的に傾けたときの注視点位置の横方向の移動量を計算し、この移動量を前記多視差画像に反映することを特徴とする請求項５記載の裸眼立体視画像処理装置。
【請求項７】
前記注視点位置変更手段は、立体画像表示装置の画面に、常態でまたは操作時に一時的に表示される注視点変更用ポインタで示された奥行き位置に注視点位置を変更することを特徴とする請求項３乃至６のいずれかに記載の裸眼立体視画像処理装置。
【請求項８】
前記注視点位置変更手段は、立体画像表示装置の画面に画面縦方向に、常態でまたは操作時に一時的に表示される注視点変更用カーソルを移動して示された奥行き位置に注視点位置を変更することを特徴とする請求項３乃至６のいずれかに記載の裸眼立体視画像処理装置。
【請求項９】
前記注視点位置変更手段は、前記立体画像表示装置の画面に表示される注視点変更用カーソル位置から水平に注視点変更用注視点表示ラインを表示することを特徴とする請求項３乃至６のいずれかに記載の裸眼立体視画像処理装置。
【請求項１０】
前記注視点位置変更手段は、立体画像表示装置の画面に、常態でまたは操作時に一時的に表示される注視点変更用数値入力ウィンドウに入力される数値に対応する奥行き位置に注視点位置を変更することを特徴とする請求項３乃至６のいずれかに記載の裸眼立体視画像処理装置。
【請求項１１】
前記注視点位置変更手段は、前記注視点変更用数値入力ウィンドウに入力される数値に対応する奥行き位置に水平に注視点変更用注視点表示ラインを表示することを特徴とする請求項３乃至６のいずれかに記載の裸眼立体視画像処理装置。
【請求項１２】
画像供給手段から供給される多視差画像を裸眼での立体視を可能とする立体画像表示装置に供給するときの裸眼立体視画像処理演算プログラムであって、
前記多視差画像に注視点を付与する注視点付与処理と、
この注視点付与処理で付与された注視点の奥行き位置を変更する注視点位置変
更処理とを含み、
これらの処理をコンピュータに実行させることを特徴とする裸眼立体視画像処理演算プログラム。
【請求項１３】
請求項１２に記載の裸眼立体視画像処理演算プログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
【請求項１】
画像供給手段から供給される多視差画像を裸眼での立体視を可能とする立体画像表示装置に供給するときの裸眼立体視画像処理方法であって、
前記多視差画像から得られる立体画像の任意の奥行き位置に注視点を付与することを特徴とする裸眼立体視画像処理方法。
【請求項２】
それぞれの光軸が平行となるように設置される複数のカメラにより構成される画像供給手段から供給される多視差画像を処理して、裸眼での立体視を可能とする立体画像表示装置に供給するときの裸眼立体視画像処理方法であって、
前記多視差画像から得られる立体画像の任意の奥行き位置に注視点を付与する注視点付与工程と、
この注視点付与工程で付与された注視点の奥行き位置を変更する注視点位置変更工程と
を備えることを特徴とする裸眼立体視画像処理方法。
【請求項３】
画像供給手段から供給される多視差画像を裸眼での立体視を可能とする立体画像表示装置に供給するときの裸眼立体視画像処理装置であって、
前記多視差画像から得られる立体画像に対し設定される注視点の奥行き位置を任意の奥行き位置に変更する注視点位置変更手段を備えることを特徴とする裸眼立体視画像処理装置。
【請求項４】
画像供給手段から供給される多視差画像を処理し、裸眼での立体視を可能とする立体画像表示装置に供給するときの裸眼立体視画像処理装置であって、
前記多視差画像から得られる立体画像の任意の奥行き位置に注視点を付与する注視点付与手段と、
この注視点付与手段で付与された注視点の奥行き位置を変更する注視点位置変更手段と
を備えることを特徴とする裸眼立体視画像処理装置。
【請求項５】
前記画像供給手段は、それぞれの光軸が平行となるように設置される複数の撮像手段により構成されることを特徴とする請求項３又は４のいずれかに記載の裸眼立体視画像処理装置。
【請求項６】
前記任意の奥行き位置に注視点を付与する処理または前記注視点の奥行き位置を変更する処理は、
前記画像供給手段を構成する各カメラの光軸を当該注視点に擬似的に傾けたときの注視点位置の横方向の移動量を計算し、この移動量を前記多視差画像に反映することを特徴とする請求項５記載の裸眼立体視画像処理装置。
【請求項７】
前記注視点位置変更手段は、立体画像表示装置の画面に、常態でまたは操作時に一時的に表示される注視点変更用ポインタで示された奥行き位置に注視点位置を変更することを特徴とする請求項３乃至６のいずれかに記載の裸眼立体視画像処理装置。
【請求項８】
前記注視点位置変更手段は、立体画像表示装置の画面に画面縦方向に、常態でまたは操作時に一時的に表示される注視点変更用カーソルを移動して示された奥行き位置に注視点位置を変更することを特徴とする請求項３乃至６のいずれかに記載の裸眼立体視画像処理装置。
【請求項９】
前記注視点位置変更手段は、前記立体画像表示装置の画面に表示される注視点変更用カーソル位置から水平に注視点変更用注視点表示ラインを表示することを特徴とする請求項３乃至６のいずれかに記載の裸眼立体視画像処理装置。
【請求項１０】
前記注視点位置変更手段は、立体画像表示装置の画面に、常態でまたは操作時に一時的に表示される注視点変更用数値入力ウィンドウに入力される数値に対応する奥行き位置に注視点位置を変更することを特徴とする請求項３乃至６のいずれかに記載の裸眼立体視画像処理装置。
【請求項１１】
前記注視点位置変更手段は、前記注視点変更用数値入力ウィンドウに入力される数値に対応する奥行き位置に水平に注視点変更用注視点表示ラインを表示することを特徴とする請求項３乃至６のいずれかに記載の裸眼立体視画像処理装置。
【請求項１２】
画像供給手段から供給される多視差画像を裸眼での立体視を可能とする立体画像表示装置に供給するときの裸眼立体視画像処理演算プログラムであって、
前記多視差画像に注視点を付与する注視点付与処理と、
この注視点付与処理で付与された注視点の奥行き位置を変更する注視点位置変
更処理とを含み、
これらの処理をコンピュータに実行させることを特徴とする裸眼立体視画像処理演算プログラム。
【請求項１３】
請求項１２に記載の裸眼立体視画像処理演算プログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００８−１６７３１０（Ｐ２００８−１６７３１０Ａ）
【公開日】平成２０年７月１７日（２００８．７．１７）
【国際特許分類】
【出願番号】特願２００６−３５６３５６（Ｐ２００６−３５６３５６）
【出願日】平成１８年１２月２８日（２００６．１２．２８）
【出願人】（５０７００３２８１）株式会社ディードライヴ (1)
【Ｆターム（参考）】
【公開日】平成２０年７月１７日（２００８．７．１７）
【国際特許分類】
【出願日】平成１８年１２月２８日（２００６．１２．２８）
【出願人】（５０７００３２８１）株式会社ディードライヴ (1)
【Ｆターム（参考）】
[ Back to top ]