説明

視差画像生成装置、視差画像生成方法及び視差画像生成装置の制御プログラム

【課題】左右の視差画像の信号を1つの信号として出力する視差画像生成装置、視差画像生成方法及び視差画像生成装置の制御プログラムを提供すること
【解決手段】本発明にかかる視差画像生成装置10は、3次元情報を有する映像信号を受信する受信部11と、左目用画像を生成するための第1の位置データと、右目用画像を生成するための第2の位置データと、を出力する位置データ出力部13と、前記映像信号及び前記第1の位置データに基づく左目用画像の生成と、前記映像信号及び前記第2の位置データに基づく右目用画像の生成と、を交互に行って2次元画像信号を出力する画像信号出力部12と、を備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、視差画像生成装置、視差画像生成方法及び視差画像生成装置の制御プログラムに関する。
【背景技術】
【0002】
映像産業分野においては、近年、3次元映像を表示可能なテレビ(3Dテレビ)が販売されるなど、3次元映像の作成、表示等に関する技術が進歩している。
【0003】
例えば、特許文献1は、2次元表示装置用の3次元コンテンツデータを立体ディスプレイ装置用データに加工して出力するステレオビューアの技術を開示している。このステレオビューアは、右目用画像及び左目用画像を、それぞれ別のVRMLプラグインの描画エンジンで生成する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2011−070432号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
従来、映像の拡大、縮小、移動、回転等の座標変換の映像処理を実行する場合は、座標変換の回路が1出力に対して1回路必要となる。立体表示のために左右の視差画像を作成する場合、その回路が左右の視差画像毎に1セットずつ必要となる。そのため、視差画像を作成するための回路規模が大きくなってしまう。
【0006】
例えば、特許文献1においては、右目用画像及び左目用画像を生成するための描画エンジンがそれぞれ必要である。
【0007】
本発明は、このような問題点を解決するためになされたものであり、左右の視差画像の信号を1つの信号として出力する視差画像生成装置、視差画像生成方法及び視差画像生成装置の制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明にかかる視差画像生成装置は、映像信号を受信する受信部と、左目用画像を生成するための第1の位置データと、右目用画像を生成するための第2の位置データと、を出力する位置データ出力部と、前記映像信号及び前記第1の位置データに基づく左目用画像の生成と、前記映像信号及び前記第2の位置データに基づく右目用画像の生成と、を交互に行って2次元画像信号を出力する画像信号出力部と、を備える。
【0009】
本発明にかかる視差画像生成方法は、映像信号を受信するステップと、左目用画像を生成するための第1の位置データと、右目用画像を生成するための第2の位置データと、を出力するステップと、前記映像信号及び前記第1の位置データに基づく左目用画像の生成と、前記映像信号及び前記第2の位置データに基づく右目用画像の生成と、を交互に行って2次元画像信号を出力するステップと、を備える。
【0010】
本発明にかかる視差画像生成装置の制御プログラムは、映像信号を受信するステップと、左目用画像を生成するための第1の位置データと、右目用画像を生成するための第2の位置データと、を出力するステップと、前記映像信号及び前記第1の位置データに基づく左目用画像の生成と、前記映像信号及び前記第2の位置データに基づく右目用画像の生成と、を交互に行って2次元画像信号を出力するステップと、を視差画像生成装置に実行させる。
【発明の効果】
【0011】
本発明により、左右の視差画像の信号を1つの信号として出力する視差画像生成装置、視差画像生成方法及び視差画像生成装置の制御プログラムを提供することができる。
【図面の簡単な説明】
【0012】
【図1】実施の形態1にかかる視差画像生成装置の構成例を示す図である。
【図2】実施の形態2にかかる視差画像生成装置の構成例を示す図である。
【図3】実施の形態2にかかるカメラ座標変換に用いる、仮想的なカメラ撮影位置の例を示す図である。
【図4】実施の形態2にかかる制御信号変換器等の処理例を示す図である。
【図5】実施の形態2にかかる出力制御部等の処理例を示す図である。
【図6】実施の形態3にかかる視差画像生成装置の構成例を示す図である。
【図7】実施の形態4にかかる合成出力信号の例を示す図である。
【図8】実施の形態4にかかる合成出力信号の例を示す図である。
【図9】実施の形態4にかかる合成出力信号の例を示す図である。
【発明を実施するための形態】
【0013】
実施の形態1
本実施形態にかかる視差画像生成装置は、左目用の視差画像の信号及び右目用の視差画像の信号を交互に出力する。このようにすることにより、左目用の視差画像の信号及び右目用の視差画像の信号を1つの信号として出力することができる。
【0014】
以下、図面を参照して本発明の実施の形態について説明する。図1は、本実施形態にかかる視差画像生成装置の全体構成例である。視差画像生成装置10は、受信部11、画像信号出力部12及び位置データ出力部13を備える。視差画像生成装置10は、例えばプロダクションスイッチャ、映像編集機、パーソナルコンピュータ等のコンピュータ、といった映像の生成・編集を行う装置である。受信部11、画像信号出力部12及び位置データ出力部13は、適宜IC(集積回路)等のハードウェアあるいはソフトウェア、又はその両方により構成される。
【0015】
受信部11は、外部から映像信号を受信し、画像信号出力部12に出力する。なお、この映像信号は、2次元の映像信号である。
【0016】
画像信号出力部12は、受信した2次元の映像信号及び位置データ出力部13から受信した位置データに基づいて、2つの視差画像である2次元の左目用画像及び右目用画像を生成し、出力する。
【0017】
なお、画像信号出力部12は、受信した2次元の映像信号を、映像信号中のオブジェクトの3次元情報のデータに変換する。変換に必要な各種パラメータは、外部から提供されてもよいし、視差画像生成装置10にある図示しないデータ保持部から提供されてもよい。そして、その3次元情報のデータと、3次元の第1の位置データとに基づいて、左目用画像を生成する。さらに、その3次元情報のデータと、3次元の第2の位置データとに基づいて、右目用画像を生成する。このようにして、画像信号出力部12は、受信した映像信号に基づいて、2次元の左目用画像及び右目用画像を生成する。
【0018】
このとき、画像信号出力部12は、左目用画像の生成と、右目用画像の生成とを交互に実行する。これにより、画像信号出力部12は、左目用画像の信号と右目用画像の信号とを交互に出力する。
【0019】
位置データ出力部13は、第1の位置データ及び第2の位置データという2種類の3次元の位置データを、画像信号出力部12に出力する。この位置データは、例えば、3次元座標上において、左目用画像及び右目用画像の仮想的なカメラ撮影位置を示すデータである。
【0020】
なお、位置データ出力部13は、画像信号出力部12に対し、第1の位置データ及び第2の位置データを1回だけ出力してもよいし、複数回出力してもよい。位置データが1回だけ出力される場合、画像信号出力部12は出力された位置データを保持し、そのデータに基づいて左目用画像及び右目用画像を生成する。位置データ出力部13から新しく位置データが出力された場合、画像信号出力部12は、前の位置データに代わり、新しく出力された位置データを保持し、そのデータに基づいて左目用画像及び右目用画像を生成する。
【0021】
あるいは、位置データ出力部13は、交互に第1の位置データ及び第2の位置データを画像信号出力部12に対して出力してもよい。その場合、画像信号出力部12は、出力された位置データが第1の位置データであれば左目用画像を生成し、出力された位置データが第2の位置データであれば右目用画像を生成する。
【0022】
以上のようにして、画像信号出力部12は、左目用画像及び右目用画像を交互に生成して、2次元の画像信号を出力する。画像信号出力部12は、左目用画像の信号及び右目用画像の信号を交互に出力することによって、出力する2次元の画像信号を1つの信号にすることができる。これにより、左目用画像及び右目用画像を生成する回路が1つで済むため、視差画像生成装置10の回路規模が削減できるという効果が生じる。さらに、信号線も、左目用画像と右目用画像とで1本ずつ用意する(合計2本用意する)必要がなく、左目用画像及び右目用画像を合わせて1本の信号線ですむ。これによっても、視差画像生成装置10の回路規模を削減することができる。
【0023】
実施の形態2
本実施形態にかかる視差画像生成装置は、クロックに基づいて、左目用の視差画像の信号及び右目用の視差画像の信号を周期的に出力する。このようにして、実施の形態1と同様に、左目用の視差画像の信号及び右目用の視差画像の信号を1つの信号として出力することができる。
【0024】
以下、図面を参照して本発明の実施の形態について説明する。図2は、本実施形態にかかる視差画像生成装置の全体構成例である。視差画像生成装置20は、受信部21、3次元座標変換部30、制御信号発生器22、距離データ保持部23、クロック生成部24、制御信号変換器25、出力制御部26、画像信号出力部27及び画像信号出力部28を備える。3次元座標変換部30は、実施の形態1に示した画像信号出力部12に対応する。制御信号発生器22、距離データ保持部23、クロック生成部24及び制御信号変換器25は、実施の形態1に示した位置データ出力部13に対応する。
【0025】
受信部21は、外部から2次元の映像信号を受信し、3次元座標変換部30に出力する。この映像信号は、例えばハイビジョンで用いられる画面アスペクト比16:9の映像信号である。視差画像生成装置20は、この映像信号に基づいて、座標変換を実行し、立体視用の左目用画像及び右目用画像の視差画像を生成する。
【0026】
3次元座標変換部30は、入力された2次元の映像信号の3次元座標変換を実行する。具体的には、2次元の映像信号の画像に表示されたオブジェクトを、仮想的な3次元空間中にあるオブジェクトとして定義する。その後、3次元座標変換部30は、その3次元空間上において、左目用画像の仮想的な第1のカメラ撮影位置でオブジェクトを撮影した2次元画像と、右目用画像の仮想的な第2のカメラ撮影位置でオブジェクトを撮影した2次元画像とを生成して出力する。
【0027】
3次元座標変換部30は、左目用画像及び右目用画像の生成のため、拡大・縮小部31、ローカル座標変換部32、ワールド座標変換部33、カメラ座標変換部34及び透視変換部35を備える。
【0028】
拡大・縮小部31は、入力された2次元の映像信号において、画面サイズの拡大又は縮小といった加工を実行する。拡大・縮小部31は、加工した2次元の映像信号を、ローカル座標変換部32に出力する。なお、画面サイズの拡大又は縮小の比率といった加工に必要なパラメータは、制御信号発生器22から出力される制御信号により供給される。
【0029】
ローカル座標変換部32は、受信した2次元の映像信号において、オブジェクト毎の3次元座標系(ローカル座標系)の情報を設定する。これにより、ローカル座標変換部32は、各オブジェクトのモデリングを実行する。設定されたオブジェクトの情報は、ワールド座標変換部33に出力される。以上のローカル座標系の設定に必要なパラメータは、制御信号発生器22から供給される。
【0030】
ワールド座標変換部33は、ローカル座標変換部32で設定された各オブジェクトを3次元仮想空間(ワールド座標により定義される空間)に配置する。これにより、ローカル座標系からワールド座標系への変換を実行する。以上の変換を行った後、ワールド座標変換部33は、ワールド座標系で見たオブジェクトの3次元の座標情報をカメラ座標変換部34に出力する。
【0031】
この変換に際して、オブジェクトの拡大又は縮小、回転、平行移動等が適宜実施される。例えば、オブジェクトの拡大又は縮小を表すスケーリング行列sizeの一例は、次の通りである。
【数1】

この行列は同次変換行列であり、これによって、オブジェクトのx軸方向のサイズがXsize倍に拡大され、オブジェクトのy軸方向のサイズがYsize倍に拡大される。なお、(式1)におけるx軸、y軸、z軸は、ワールド座標のx軸、y軸、z軸のことである。以下の(式2)〜(式5)も同様である。
【0032】
オブジェクトの回転を表す回転行列は、次の通りである。z軸回りの回転を表す回転行列Zrotは
【数2】

であり、x軸回りの回転を表す回転行列Xrotは
【数3】

であり、y軸回りの回転を表す回転行列Yrotは
【数4】

である。(式2)中の角度Z、(式3)中の角度X、(式4)中の角度Yは、それぞれ、z軸回りの回転角、x軸回りの回転角、y軸回りの回転角を示す。(式2)の回転行列Zrotにより、オブジェクトはz軸回りに角度Zで回転する。(式3)の回転行列Yrotにより、オブジェクトはy軸回りに角度Yで回転する。(式4)の回転行列Xrotにより、オブジェクトはx軸回りに角度Xで回転する。
【0033】
オブジェクトの平行移動を表す平行移動行列posは、次の通りである。
【数5】

(式5)の平行移動行列posにより、オブジェクトは、x軸方向にXpos、y軸方向にYpos、z軸方向にZposだけ平行移動する。なお、以上のワールド座標系の設定に必要なパラメータは、制御信号発生器22から供給される。
【0034】
カメラ座標変換部34は、ワールド座標変換部33から受信したオブジェクトの3次元情報において、ワールド座標系をカメラ座標系に変換する。なお、カメラ座標系は、オブジェクトを撮影するカメラの撮影位置及び撮影方向のパラメータに基づいて決定される。このパラメータは、制御信号変換器25から出力される制御信号により供給される。
【0035】
カメラ座標変換部34は、オブジェクトの3次元情報及び左目用画像のための仮想的な第1のカメラ撮影位置に基づいて、その第1のカメラ撮影位置から撮影したオブジェクトの3次元座標の情報(左目用画像のための3次元情報)を生成する。同様に、オブジェクトの3次元情報及び右目用画像のための仮想的な第2のカメラ撮影位置に基づいて、その第2のカメラ撮影位置から撮影したオブジェクトの3次元座標の情報(右目用画像のための3次元情報)を生成する。カメラ座標変換部34は、左目用画像のための3次元情報と、右目用画像のための3次元情報とを、透視変換部35に対し、周期的に出力する。この詳細については後述する。
【0036】
透視変換部35は、透視変換を行い、出力された左目用画像のための3次元情報から、2次元の左目用画像を生成する。同様に、出力された右目用画像のための3次元情報から、2次元の右目用画像を生成する。
【0037】
透視変換に用いる変換行列persの一例は以下の通りである。
【数6】

ここで、rは、カメラから、透視変換に用いる仮想的なスクリーンまでの距離を表す。透視変換により、仮想的なスクリーンに映し出されたオブジェクトの画像を、透視変換部35は2次元の画像として出力する。透視変換に必要なr等のパラメータは、制御信号発生器22から制御信号により供給される。なお、(式6)におけるx軸、y軸、z軸は、カメラ座標系におけるx軸、y軸、z軸のことである。
【0038】
透視変換部35には、カメラ座標変換部34から、左目用画像のための3次元情報及び右目用画像のための3次元情報が周期的に出力される。これにより、透視変換部35は、左目用画像のみを含む第1の画像信号及び右目用画像のみを含む第2の画像信号を分けて出力する。ここでは、第1の画像信号及び第2の画像信号を、1つの出力信号として出力する。以上のようにして、3次元座標変換部30は、第1の画像信号及び第2の画像信号を出力する。
【0039】
制御信号発生器22は、拡大、縮小、移動、回転等の変換に用いるパラメータを保持する。制御信号発生器22は、これらのパラメータを、拡大・縮小部31、ローカル座標変換部32、ワールド座標変換部33及び透視変換部35に対し、制御信号として供給する。
【0040】
制御信号発生器22は、更に、カメラの基準位置のデータを保持しており、制御信号変換器25に対し、基準位置のデータを制御信号として出力する。
【0041】
距離データ保持部23は、制御信号変換器25に対し、カメラ座標系における第1のカメラ撮影位置とカメラの基準位置との距離(以下、視差距離と表す)のデータをパラメータとして出力する。なお、距離データ保持部23が保持する視差距離のデータは、ここでは一意的に定められている。
【0042】
ここで、図3を用いて、制御信号変換器25及び視差距離について説明する。図3では、図3(a)に示すようなオブジェクト(球として表されている)を、図3(b)に示す撮影位置によりカメラで撮影する。図3(b)では、カメラ座標系におけるカメラの基準位置(立体視を行わないときのカメラ位置)はC、左目用画像用のカメラ(以下第1のカメラと表記)の位置はL、右目用画像用のカメラ(以下第2のカメラと表記)の位置はRである。この場合、視差距離d(正の値)は、x軸方向のCとLとの距離、又はCとRとの距離を示す。つまり、カメラ座標系における第1のカメラ撮影位置とカメラの基準位置との距離、第2のカメラ撮影位置とカメラの基準位置との距離は同じである。図3(b)の例では、視差距離はdなので、C=(x,y,z)としたとき、L=(x−d,y,z)、R=(x+d,y,z)となる。
【0043】
なお図3(b)の例では、x軸方向にカメラの視差距離をとっている場合を考慮したが、y軸方向としてもよい。
【0044】
図3(b)における第1のカメラの注視方向は、基準位置にあるカメラの注視方向と平行ではなく、基準位置にあるカメラと同じオブジェクトを撮影するように、注視方向がずれている。
【0045】
図3(b)における第2のカメラの注視方向も、基準位置にあるカメラの注視方向と平行ではなく、基準位置にあるカメラと同じオブジェクトを撮影するように、注視方向がずれている。この第1のカメラ及び第2のカメラの注視方向は、視差距離d及びカメラの注視点によって一意的に決定される。
【0046】
この第1のカメラ及び第2のカメラの注視方向のデータは、視差距離に応じて変化するように設定される。制御信号発生器22は、このデータを制御信号変換器25に供給する。
【0047】
以下、図2の視差画像生成装置20の説明に戻る。クロック生成部24は、クロックを生成し、制御信号変換器25に出力する。
【0048】
制御信号変換器25は、カメラ座標変換部34へ渡す制御信号を変換する。ここで、制御信号変換器25には、制御信号発生器22からカメラの基準位置のデータ及びカメラの注視方向のデータがパラメータとして出力される。距離データ保持部23からは、視差距離のデータがパラメータとして出力され、クロック生成部24からは、クロックが出力される。
【0049】
ここで、図4を用いて、図2のカメラ座標変換部34、制御信号発生器22、距離データ保持部23、クロック生成部24及び制御信号変換器25の処理の詳細を説明する。カメラ座標変換部34は、制御信号発生器22から出力されたデータ(図3における、カメラの基準位置(x,y,z))に対して、クロック生成部24で発生したクロックに基づいて変換を行っている。その変換方法は、1クロック毎にカメラ位置xに対して視差距離dを加減算し、第1のカメラ撮影位置(x−d,y,z)のデータと第2のカメラ撮影位置(x+d,y,z)のデータを1クロック毎に出力するというものである。こうすることによって、カメラの基準位置が1クロック毎に立体視用の左右のカメラ位置に変換され、カメラ座標変換部34に供給される。
【0050】
なお、第1のカメラ撮影位置のデータが出力される場合、そのカメラの位置に対応するカメラの注視方向についてもカメラ座標変換部34に供給される。第2のカメラ撮影位置に対応するカメラの注視方向についても同様である。制御信号発生器22は、カメラの注視方向を、対象物の方向及び距離データ保持部23に保持された視差距離に基づいて計算し、制御信号変換器25に出力する。
【0051】
なお、図4では1クロック毎に視差距離dを加減算したが、数クロック毎に視差距離dの加減算を行ってもよい。以上のようにして、制御信号変換器25は、クロックのタイミングに基づき、制御信号を変換して、第1のカメラ撮影位置のデータと第2のカメラ撮影位置のデータとを交互にカメラ座標変換部34に出力する。カメラの注視方向のデータについても、同様に交互にカメラ座標変換部34に出力する。カメラ座標変換部34は、第1のカメラ撮影位置のデータ及び対応する注視方向のデータ、第2のカメラ撮影位置のデータ及び対応する注視方向のデータに基づいて、右目用画像のための3次元情報と、左目用画像のための3次元情報とを交互に生成する。
【0052】
以下、図2に戻って視差画像生成装置20の説明を続ける。出力制御部26は、透視変換部35から出力された1つの映像信号を、第1の画像信号及び第2の画像信号の2つの信号として分割する。
【0053】
ここで、図5を用いて、クロック生成部24、出力制御部26及び画像信号出力部27、28の処理の詳細を説明する。図5では、透視変換部35から出力された映像信号は、出力制御部26によって、1クロック毎に右目用画像及び左目用画像の出力信号に分けて出力される。
【0054】
図5において、1クロック毎に0〜4で示された画像信号が、出力制御部26に入力される。出力制御部26は、クロック生成部24のクロックに基づいて、透視変換部35から出力された映像信号を左目用画像の出力信号及び右目用画像の出力信号に分配する。図5において、画像信号0、2、4は左目用画像の信号であり、1、3は右目用画像の信号であるため、画像信号0、2、4は画像信号出力部27に、画像信号1、3は画像信号出力部28に入力される。これによって、視差画像生成装置20は、1画面の出力あたり、受信部21が受信した映像信号の1/2の解像度の映像信号を2つ生成する。あるいは、視差画像生成装置20は、クロックがない場合に生成される右目用画像の信号及び左目用画像の信号の1/2の解像度となる映像信号を2つ生成する、と言ってもよい。以上から、画像信号出力部27からは偶数番目の画像信号のみが出力され、奇数番目の画像信号は出力されない。反対に、画像信号出力部28からは奇数番目の画像信号のみが出力され、偶数番目の画像信号は出力されない。
【0055】
以上の通り、制御信号変換器25は、3次元座標変換の途中でカメラ座標変換部34がカメラ座標系での座標変換を実行するときに、カメラ座標変換部34にクロックに基づく視差距離のデータを与える。これによって、3次元座標変換部30は、右目用画像及び左目用画像の視差画像を生成する。
【0056】
映像の制作編集をする映像制作スイッチャ等の視差画像生成装置において、拡大、縮小、回転、移動等の3次元座標変換を実行する場合、入力された1つの映像に対して変換された映像が1つ出力される。そのため、従来の装置では、3次元映像のための右目用画像及び左目用画像を生成するために、ハードウェア上に左目用と右目用のそれぞれの座標変換の回路を備える必要がある。
【0057】
具体的にいえば、従来の視差画像生成装置では、図2におけるクロック生成部24、制御信号変換器25がなく、第1のカメラ、第2のカメラに対応するカメラ座標変換部が2個設けられていた。制御信号発生器22から出力された第1のカメラ撮影位置のデータが一方のカメラ座標変換部に、第2のカメラ撮影位置のデータが他方のカメラ座標変換部に供給された。2個のカメラ座標変換部は、それぞれ左目用画像のための3次元情報と右目用画像のための3次元情報を独立に生成し、個々に1つの信号線で出力した。そして、左目用画像のための3次元情報と右目用画像のための3次元情報は、別々の透視変換部により、第1の画像信号と第2の画像信号に変換され、そのまま1本ずつの信号として出力される。そのため、カメラ座標変換部及び透視変換部が2個ずつ必要になった。
【0058】
しかしながら、座標変換の回路を左目用と右目用の2個用意する必要があるため、視差画像生成装置内における回路規模が膨らむという第一の問題点があった。さらに、座標変換前と比較して信号の解像度が変わらない左目用と右目用の信号が計2本出力されるため、装置内の信号線が多くなるという第二の問題点があった。
【0059】
図2に示した視差画像生成装置20では、クロック信号に基づき、入力信号の解像度を1/2にして座標変換を行い、出力信号を生成する。そのため、1個の座標変換回路で右目用画像及び左目用画像を生成することができ、立体視に対応した座標変換信号生成装置の回路規模を小さく出来る。さらに、座標変換回路の途中においても、信号帯域の合計が1信号分の帯域と同等となり、信号線が1本で済むため、立体視に対応した座標変換信号生成装置の信号線を少なくすることが出来る。
【0060】
さらに、出力制御部26は、カメラ座標変換に用いたクロック信号を用いることで、他の制御装置等を用いずに第1の画像信号及び第2の画像信号を分けて出力することができる。このため、座標変換信号生成装置の回路数を少なくすることが出来る。
【0061】
実施の形態3
本実施の形態においては、実施の形態2において示した視差距離を変更することにより、右目用画像及び左目用画像からなる3次元映像の立体感を変えることができる。
【0062】
図6を用いて、本実施の形態にかかる視差画像生成装置20の構成について説明する。視差画像生成装置20は、図2に示した構成の他に、距離データ変更部29を備える。それ以外の視差画像生成装置20の構成要素については、図2と同様なので説明を省略する。視差画像生成装置20の処理動作についても、実施の形態2と同様である。
【0063】
この距離データ変更部29は、視差距離のデータを変えて距離データ保持部23に出力することで、距離データ保持部23が保持する視差距離のデータを変更する。これにより、実施の形態2において一意的に定められていた視差距離のデータ及び対応するカメラの注視方向のデータを適宜変更することができる。
【0064】
例えば、距離データ変更部29は、視差距離を0からdの値までリニアに変更して、距離データ保持部23に供給する。従って、距離データ保持部23が制御信号変換器25に供給する視差距離は、0からdの値までリニアに変更する。制御信号変換器25は、初期時刻において、カメラ座標変換部34に対し、第1のカメラ撮影位置の座標としてL=(x,y,z)、第2のカメラ撮影位置の座標としてR=(x,y,z)を出力する。その後、第1のカメラ撮影位置の座標としてL=(x−α,y,z)、第2のカメラ撮影位置の座標としてR=(x+α,y,z)を出力する。なお、0<α<dであり、αは時間経過に従い一定の割合で大きくなる。最後に、第1のカメラ撮影位置の座標としてL=(x−d,y,z)、第2のカメラ撮影位置の座標としてR=(x+d,y,z)を出力する。
【0065】
カメラ座標変換部34は、この第1のカメラ撮影位置の座標及び対応する注視方向のデータに基づいて、左目用画像のための3次元情報を生成し、透視変換部35に出力する。カメラ座標変換部34は、同様に、第2のカメラ撮影位置の座標及び対応する注視方向のデータに基づいて、右目用画像のための3次元情報を生成し、透視変換部35に出力する。透視変換部35は、実施の形態2と同様の処理を行い、右目用画像及び左目用画像を生成する。以上のようにして、視差画像生成装置20は、右目用画像及び左目用画像を生成する。
【0066】
この右目用画像と左目用画像は、初期時刻においては同じ画像(同じ視差を有する画像)であったのが、時刻が経過するに従い、視差が次第に大きくなるような画像に変わる。この右目用画像及び左目用画像を見るユーザは、最初は立体視ではない2次元映像を見ていたのが、徐々に立体感が増す3次元映像を見ることができる。このように、視差距離をリニアに変化して、第1のカメラ撮影位置の座標及び第2のカメラ撮影位置の座標を変化させることにより、以上のような効果を得ることができる。
【0067】
なお、視差距離が0の場合、右目用画像の仮想的な第1のカメラ撮影位置と、左目用画像の仮想的な第2のカメラ撮影位置は同じ位置である。さらに、カメラの注視方向も、第1のカメラ及び第2のカメラで同じである。視差距離の拡大に伴い、第1のカメラの注視方向と第2のカメラの注視方向の変化の向きも大きくなる。以上のように、第1のカメラの注視方向及び第2のカメラの注視方向は、視差距離に応じて変化する。そのため、制御信号発生器22は、距離データ変更部29から、変化する視差距離のデータを取得して、クロック毎に注視方向を算出する。制御信号発生器22は、この算出した注視方向のデータをパラメータとして制御信号変換器25に出力する。
【0068】
実施の形態4
本実施の形態においては、実施の形態2又は3において視差画像生成装置20から出力した右目用画像及び左目用画像を、合成出力信号により、特定の映像信号フォーマットとして出力することができる。
【0069】
以下、図7を用いて、本実施の形態にかかる視差画像生成装置20の構成について説明する。視差画像生成装置20は、図2に示した構成の他に、図7に示した信号合成器41を備える。それ以外の視差画像生成装置20の構成要素については、図2と同様なので説明を省略する。視差画像生成装置20の処理動作についても、実施の形態2と同様である。
【0070】
信号合成器41は、画像信号出力部27から出力された右目用画像の信号と、画像信号出力部28から出力された左目用画像の信号とを合成して、合成出力信号を合成する。これにより、右目用画像の信号と左目用画像の信号とを、視差画像生成装置20に入力された映像信号と同じ映像信号フォーマットとして出力することができる。なお、信号合成器41には、合成出力信号の画像を表示する画面を有する図示しない表示装置が接続されている。この表示装置は、入力された右目用画像の信号及び左目用画像の信号を変換して画面に表示することにより、立体画像を表示することができる。
【0071】
図7では、表示装置の画面における垂直同期信号をクロック発生器として扱い、垂直方向に解像度が1/2となった右目用画像の信号及び左目用画像の信号を合成することによって、トップアンドボトムフォーマットの合成出力信号を出力する。なお、図7において、画像信号出力部27に入力される画像信号0、2、4は左目用画像の信号であり、画像信号出力部28に入力される画像信号1、3は右目用画像の信号である。画像信号0〜4は、図5で示した画像信号0〜4と同じものである。
【0072】
信号合成器41が出力する合成出力信号により、1枚の画像の上半分に左目用画像、下半分に右目用画像が並ぶような伝送フォーマットで、左目用画像及び右目用画像が出力される。
【0073】
従来、1つの3次元映像信号を生成するためには、視差画像を有する2つの映像信号を1つの3次元映像信号に変換する2D−3D変換器が必要であった。しかし本実施形態においては、信号合成器を用いるだけで1つの3次元映像信号に変換することができる。
【0074】
なお、信号合成器により、他の映像信号フォーマットを出力することもできる。図8は、図7の信号合成器41とは異なる信号合成器42の処理を示す。信号合成器42は、表示装置の画面における水平同期信号をクロック発生器として扱い、水平方向に解像度が1/2となった右目用画像の信号及び左目用画像の信号を信号合成器42で合成することによって、サイドバイサイドフォーマットの合成出力信号を出力する。なお、図8において、画像信号出力部27に入力される画像信号0、2、4は左目用画像の信号であり、画像信号出力部28に入力される画像信号1、3は右目用画像の信号である。画像信号0〜4は、図7で示した画像信号0〜4と同じものである。
【0075】
信号合成器42が出力する合成出力信号により、1枚の画像の左半分に左目用画像、右半分に右目用画像が並ぶような伝送フォーマットで、左目用画像及び右目用画像が出力される。
【0076】
次に、図9を用いて、図7の信号合成器41、図8の信号合成器42とは異なる信号合成器43の処理を示す。信号合成器43は、表示装置の画面における水平同期信号をクロック発生器として扱い、フィールドあるいはフレーム毎に交互に出力された右目用画像の信号及び左目用画像の信号を合成することによって、フレームパッキングフォーマットの合成出力信号を出力する。なお、図9において、画像信号出力部27に入力される画像信号0、2、4は左目用画像の信号であり、画像信号出力部28に入力される画像信号1、3は右目用画像の信号である。画像信号0〜4は、図7、図8で示した画像信号0〜4と同じものである。
【0077】
信号合成器43が出力する合成出力信号により、画像全体に左目用画像と右目用画像が交互に表示されるような伝送フォーマットで、左目用画像及び右目用画像が出力される。
【0078】
図7〜図9に示した通り、視差画像生成装置に信号合成器を設けることによって、複数の3Dフォーマットに対応した出力信号を作成することが出来る。その理由は、出力信号制御の基となるクロック生成部の設定を変更することが出来るからである。トップアンドボトム、サイドバイサイド等の3Dフォーマットにおける画像は、水平方向又は垂直方向の解像度が通常の画像の半分である。そのため、クロック生成部で生成するクロックを水平同期又は垂直同期の周波数をもとに生成あるいは変更することにより、複数の3Dフォーマットに対応可能とすることができる。
【0079】
以上、実施の形態2〜4に記載した視差画像生成装置により、ディジタル映像処理において、座標変換された映像の視差画像を出力することができる。
【0080】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、実施の形態2において、3次元座標変換を実行するプロセスは、図2に示した方法に限られない。
【0081】
例えば、実施の形態2、3においては、距離データ保持部23及び制御信号変換器25を設けず、制御信号発生器22が、第1のカメラ撮影位置と第2のカメラ撮影位置とを周期的にカメラ座標変換部34に出力してもよい。そのようにしても、3次元座標変換部30は、左目用画像及び右目用画像を生成することができる。ただし、ユーザの設定により、カメラの基準位置を変更せず、視差距離を適宜変更して3次元映像を作成するような場合が考えられる。そのような場合は、実施の形態2、3に記載したように、視差距離のパラメータをカメラ撮影位置のパラメータと分けて制御する方が、制御が簡便である。具体的には、同じシーンにおいて、大人用の3次元映像及び子供用の3次元映像を作成するような場合である。このように視差距離を適宜変更できると、2Dの映像から3Dの映像に移り変わる映像効果や、立体感をリニアに変更できる映像効果を得ることができる。
【0082】
実施の形態3において、視差距離をリニアに変更するような例を記載したが、両眼視差の角度をリニアに変更するように、視差距離を変更してもよい。どのような方法で視差距離を変更するにせよ、左目用画像及び右目用画像からなる3次元映像の立体感を変えることができる。
【0083】
実施の形態4において、3次元座標変換部30から出力された2次元の画像信号は、出力制御部26によって左目用画像の信号及び右目用画像の信号に分離された後、画像信号出力部27、28を介して信号合成器41に入力される。しかしながら、3次元座標変換部30から出力された2次元の画像信号は、そのまま信号合成器41に入力されてもよい。信号合成器41は、入力された2次元の画像信号に基づき、トップアンドボトムフォーマットの合成出力信号を出力する。サイドバイサイドフォーマット又はフレームパッキングフォーマットの合成出力信号も、同様に出力することができる。
【0084】
実施の形態4において、信号合成器43が出力する合成出力信号は、適宜変更することができる。例えば、1枚の画像の上半分に右目用画像、下半分に左目用画像が並ぶような伝送フォーマットにより、トップアンドボトムフォーマットの合成出力信号を出力してもよい。
【0085】
実施の形態1〜4に示した視差画像生成装置の処理は、制御方法の1つとして、視差画像生成装置に実行させることができる。例えば、制御プログラムとして視差画像生成装置に実行させることができる。また、当該制御プログラムは、視差画像生成装置によって読み取り可能なようにプログラム記録媒体に記録されてもよい。
【符号の説明】
【0086】
10 視差画像生成装置
11 受信部
12 画像信号出力部
13 位置データ出力部
20 視差画像生成装置
21 受信部
22 制御信号発生器
23 距離データ保持部
24 クロック生成部
25 制御信号変換器
26 出力制御部
27、28 画像信号出力部
30 3次元座標変換部
31 拡大・縮小部
32 ローカル座標変換部
33 ワールド座標変換部
34 カメラ座標変換部
35 透視変換部
41、42、43 信号合成器

【特許請求の範囲】
【請求項1】
映像信号を受信する受信部と、
左目用画像を生成するための第1の位置データと、右目用画像を生成するための第2の位置データと、を出力する位置データ出力部と、
前記映像信号及び前記第1の位置データに基づく左目用画像の生成と、前記映像信号及び前記第2の位置データに基づく右目用画像の生成と、を交互に行って2次元画像信号を出力する画像信号出力部と、
を備える視差画像生成装置。
【請求項2】
前記視差画像生成装置は、クロックを生成するクロック生成部をさらに備え、
前記位置データ出力部は、前記クロックに基づき、前記第1の位置データと、第2の位置データと、を周期的に出力する、
請求項1に記載の視差画像生成装置。
【請求項3】
前記視差画像生成装置は、前記クロックに基づいて、前記2次元画像信号を、前記左目用画像のみを含む第1の画像信号及び前記右目用画像のみを含む第2の画像信号に分けて出力する出力制御部をさらに備える、
請求項2に記載の視差画像生成装置。
【請求項4】
前記視差画像生成装置は、立体画像を表示する表示装置の垂直同期信号又は水平同期信号を同期信号として、前記左目用画像の信号と、前記右目用画像の信号とを合成し、トップアンドボトム方式、サイドバイサイド方式又はフレームパッキング方式で前記表示装置に出力する信号合成器をさらに備える、
請求項1乃至3のいずれか一項に記載の視差画像生成装置。
【請求項5】
前記第1の位置データは、前記左目用画像の仮想的な第1のカメラ撮影位置のデータであり、前記第2の位置データは、前記右目用画像の仮想的な第2のカメラ撮影位置のデータである、
請求項1乃至4のいずれか一項に記載の視差画像生成装置。
【請求項6】
前記視差画像生成装置は、カメラの基準位置のデータを保持する基準位置データ保持部と、前記第1のカメラ撮影位置と前記第2のカメラ撮影位置との距離に関する距離データを保持する距離データ保持部と、をさらに備え、
位置データ出力部は、前記基準位置のデータ及び前記距離データに基づいて、前記第1の位置データ及び前記第2の位置データを決定する、
請求項5に記載の視差画像生成装置。
【請求項7】
前記視差画像生成装置は、前記距離データ保持部が保持する前記距離データを変更する距離データ変更部をさらに備える、
請求項6に記載の視差画像生成装置。
【請求項8】
前記距離データ変更部は、前記第1のカメラ撮影位置と前記第2のカメラ撮影位置との距離をリニアに変更する、
請求項7に記載の視差画像生成装置。
【請求項9】
映像信号を受信するステップと、
左目用画像を生成するための第1の位置データと、右目用画像を生成するための第2の位置データと、を出力するステップと、
前記映像信号及び前記第1の位置データに基づく左目用画像の生成と、前記映像信号及び前記第2の位置データに基づく右目用画像の生成と、を交互に行って2次元画像信号を出力するステップと、
を備える視差画像生成方法。
【請求項10】
映像信号を受信するステップと、
左目用画像を生成するための第1の位置データと、右目用画像を生成するための第2の位置データと、を出力するステップと、
前記映像信号及び前記第1の位置データに基づく左目用画像の生成と、前記映像信号及び前記第2の位置データに基づく右目用画像の生成と、を交互に行って2次元画像信号を出力するステップと、
を視差画像生成装置に実行させる視差画像生成装置の制御プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate