説明

3D映像撮影制御システム、3D映像撮影制御方法、およびプログラム

【課題】 撮影条件および鑑賞条件を総合的に考慮し、好適な3D効果を得るため、または安全性を維持するために、一対の撮像装置の位置および方向を制御する3D映像撮影制御システムを提供する。
【解決手段】 3D撮影・放送モデルおよび3D被写体モデルを統合した統合モデルに基づいて、一対の撮像装置の基線長と輻輳角を制御する。基線長決定部6d−1は、統合モデル式1で表わされる関係(撮像装置の基線長と人間両眼の基線長との比率が、引込率に比例する関係)に基づいて基線長を決定し、カメラ制御部6eは、一対の撮像装置が、決定された基線長になるよう、当該一対の撮像装置の位置を移動させる。また、輻輳角制御部2d−2は、統合モデル式2の関係(引込率と撮像装置の画角との掛け算が定数になる関係)に基づいて求められた引込率によって輻輳角を制御し、基線長決定部6d−1は、当該引込率と統合モデル式1に基づいて基線長を決定する。

【発明の詳細な説明】
【技術分野】
【0001】
この発明は、3D映像を撮影するための撮像装置(カメラ)の位置および方向を制御するシステムに関する。
【背景技術】
【0002】
近年、3D映画や3Dテレビジョンに代表されるように、様々な分野で、立体的な表現が可能な3次元(3D)映像が用いられることが多くなってきている。こうした3D映像は通常、一対の3D撮影用カメラ(左目映像用のカメラと右目映像用のカメラ)によって撮影される。
【0003】
一対の3D撮影用カメラは常に位置が固定され、その状態で撮影が行われる。また、このとき、箱庭効果(巨人視)等の問題が生じないように、3D撮影用カメラの間隔(基線長)は常に約65mmに保つことが普通である。さらに、3D撮影用カメラの間隔と、その画角との関係は手動(たとえば、ユーザの手作業)で調整される。
【0004】
こうした、3D効果のための基線長の調整は、特許文献1の「3次元撮影装置および方法並びにプログラム」に開示があり、当該文献では、3D映像の立体効果を得るために、2台の3D撮影用カメラの基線長を調整する点が記載されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2010−81010号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
上記のような、2台の3D撮影用カメラによる撮影方法、すなわち、カメラの間隔が固定され、この間隔と画角との関係が手動により調整されるような撮影方法では、基本的に、近距離の3D映像しか撮影することができない。
【0007】
遠距離の物体を撮影する場合は、ズームまたは望遠レンズを利用する必要があるので、このときにカメラの間隔を65mmに設定したのでは、撮影対象の立体感を得ることができない。このように、これまでの3D撮影において、カメラの間隔や画角等を含む撮影条件は、撮影者(たとえば、カメラマンや3Dグラファー)の経験や勘によって設定されているのが現状である。
【0008】
たとえば、従来の3D撮影方法では、近いシーンと遠いシーンの3D撮影では立体感が異なるものとなってしまう。特に近距離撮影の難しいスポーツなどの3D撮影は非常に困難である。
【0009】
しかしながら、これまで、カメラの画角や基線長、輻輳角、対象物までの距離といった撮影条件の好適な関係を表す関係式は提供されておらず、また撮影条件や鑑賞条件を総合的に考慮した3D撮影システムの理論的体系も確立されていない。さらに、安全視差(たとえば、視差は50mm以内)と3D効果の両方を考慮した撮影条件の明確な関係式が存在しないため、この場合も、カメラの基線長や画角などをどのように設定するかは、撮影者の経験や勘に頼ることになる。
【0010】
このように、上記特許文献1を含む従来の技術において、3D撮影における好適な撮影条件を求める関係式や好適な制御方法を具体的に示したものはない。上記特許文献1には、ズーム操作がされた場合に、撮影された映像での立体視ができなくなるという不具合を解消すべく、2台の3D撮影用カメラの基線長を変更する旨の記載があるが、変更後の基線長を、どのような情報に基づいて決定するのかは具体的にされていない。
【0011】
したがって、本発明の目的は、撮影条件および鑑賞条件を総合的に考慮し、好適な3D効果を得るため、または安全性を維持するために、一対のカメラの位置および方向の少なくとも一方を制御する3D映像撮影制御システムを提供することにある。
【課題を解決するための手段】
【0012】
上記課題を解決するために、まず、理論的に2台の3D撮影用カメラに関し、3D効果および安全視差に関連するすべてのパラメータを抽出し、それらの関係を数式により表現する。次に、撮影者の立場から、実際に撮影する場合に調節が必要なパラメータ(たとえば、被写体視差、画角(ズーム)、輻輳角等)を決定し、それに基づいて他のパラメータを、関係式により算出する。その後、求められたパラメータに基づいて、3D撮影用カメラをそれぞれ制御する。
【0013】
本発明の第1の実施態様は、3D映像の撮影制御を行うための3D映像撮影制御システムである。この3D映像撮影制御システムは、被写体を撮影する一対の撮像装置から得られた映像から、被写体に関する視差を算出する視差算出手段と、一対の撮像装置の基線長を決定する基線長決定手段と、決定された基線長となるよう一対の撮像装置を移動させるよう制御する基線長制御手段とを有する。ここで、基線長決定手段は、一対の撮像装置の基線長と人間両眼の基線長との比率と、撮影時における一対の撮像装置の基線から被写体までの距離(実際距離)と3D映像の鑑賞時における人間両眼の基線から被写体までの距離(感知距離)との比率(引込率)が、所定関数により対応付けられる関係であることに基づいて、一対の撮像装置の基線長を決定し、感知距離を、視差に基づいて求めるように構成される。
【0014】
このような本発明の第1の実施態様に係る3D映像撮影制御システムによって、好適な3D効果の得られる基線長が、「一対の撮像装置の基線長と人間両眼の基線長との比率と引込率が、所定関数により対応付けられる関係」に基づいて求められ、一対の撮像装置(カメラ)が、その決定された基線長に調整される。なお、人間両眼の基線長は、ユーザ等により指定されたもののほか、事前に設定された定数であってもよい。
【0015】
本発明の第2の実施態様は、第1の実施態様において、指定された視差を受信する視差受信手段と、輻輳角を調整するために一対の撮像装置を移動させるよう制御する輻輳角制御手段とをさらに有する3D映像撮影制御システムである。ここで、輻輳角制御手段は、指定された視差に応じた輻輳角となるよう一対の撮像装置を移動させ、基線長決定手段は、感知距離を、指定された視差に基づいて求めるように構成される。
【0016】
このような本発明の第2の実施態様に係る3D映像撮影制御システムによって、ユーザ等によって視差が指定された場合に、この視差に基づいて、好適な3D効果の得られる輻輳角と基線長が決定され、一対の撮像装置(カメラ)が、当該基線長および輻輳角に調整される。
【0017】
本発明の第3の実施態様は、第1の実施態様において、指定された引込率を受信する引込率受信手段と、輻輳角を調整するために一対の撮像装置を移動させるよう制御する輻輳角制御手段とをさらに有する3D映像撮影制御システムである。ここで、輻輳角制御手段は、指定された引込率に基づいて得られる視差に応じた輻輳角となるよう一対の撮像装置を移動させ、基線長決定手段は、指定された引込率に基づいて一対の撮像装置の基線長を決定するように構成される。
【0018】
このような本発明の第3の実施態様に係る3D映像撮影制御システムによって、ユーザ等によって引込率が指定された場合に、この引込率に基づいて、好適な3D効果の得られる輻輳角と基線長が決定され、一対の撮像装置(カメラ)が、当該基線長および輻輳角に調整される。
【0019】
本発明の第4の実施態様は、第1の実施態様において、輻輳角を調整するために一対の撮像装置を移動させるよう制御する輻輳角制御手段をさらに有する3D映像撮影制御システムである。ここで、引込率は、引込率と一対の撮像装置の画角との掛け算が定数となる関係に基づいて、画角から求められ、輻輳角制御手段は、求められた引込率に基づいて得られる視差に応じた輻輳角となるよう一対の撮像装置を移動させ、 基線長決定手段は、求められた引込率に基づいて一対の撮像装置の基線長を決定するように構成される。
【0020】
このような本発明の第4の実施態様に係る3D映像撮影制御システムによって、引込率は、「引込率と一対の撮像装置の画角との掛け算が定数となる関係」に基づいて求められ、基線長と輻輳角は、この関係とは異なる関係(すなわち、「一対の撮像装置の基線長と人間両眼の基線長との比率と引込率が、所定関数により対応付けられる関係」)に基づいて求められる。こうして求められた輻輳角と基線長により、好適な3D効果が得られ、一対の撮像装置(カメラ)が、当該基線長および輻輳角に調整される。
【0021】
本発明の第5の実施態様は、第4の実施態様において、画角が、画角を計測する画角計測手段によって計測され、または一対の撮像装置における焦点距離および撮像素子幅によって算出されるように構成される。
【0022】
本発明の第6の実施態様は、第4または第5の実施態様において、指定された横幅拡大倍率を受信する横幅拡大倍率受信手段をさらに有する3D映像撮影制御システムである。ここで、引込率は、引込率、一対の撮像装置の画角、および指定された横幅拡大倍率の掛け算が定数となる関係に基づいて、画角および横幅拡大倍率から求められるように構成される。
【0023】
本発明の第7の実施態様は、第1ないし第6の実施態様において、指定された奥行横幅比率を受信する奥行横幅比率受信手段をさらに有する3D映像撮影制御システムである。ここで、基線長決定手段は、一対の撮像装置の基線長と人間両眼の基線長との比率が、引込率と奥行横幅比率との掛け算に比例する関係に基づいて、一対の撮像装置の基線長を決定するように構成される。
【0024】
本発明の第8の実施態様は、第2ないし第7の実施態様において、指定された許容視差範囲を受信する許容視差範囲受信手段と、視差が許容視差範囲になるよう各種パラメータを調整する撮影条件調整手段とをさらに有する3D映像撮影制御システムである。ここで、視差算出手段は、一対の撮像装置から得られた映像における画像全体の視差範囲を算出し、撮影条件調整手段は、算出された画像全体の視差範囲と許容視差範囲とから、一対の撮像装置の基線長についての許容範囲および輻輳角についての許容範囲の少なくとも一方を決定し、当該決定された許容範囲に一対の撮像装置の基線長または輻輳角を調整するように構成される。
【0025】
このような本発明の第8の実施態様に係る3D映像撮影制御システムによって、カメラの基線長および輻輳角が、安全な視差範囲で3D映像の撮影がされるように制御される。
【0026】
本発明の第9の実施態様は、第1ないし第8の実施態様において、基線長決定手段が、前記感知距離を、視差および鑑賞条件に基づいて求め、鑑賞条件が、人間両眼の基線長、スクリーンの幅、および人間両眼の基線とスクリーンとの距離を含むように構成される。
【0027】
本発明の第10の実施態様は、第1ないし第9の実施態様において、実際距離が、実際距離を計測する実際距離計測手段によって計測され、または視差、一対の撮像装置の基線長、輻輳角、および画角によって求められるように構成される。
【0028】
本発明の第11の実施態様は、第1ないし第10の実施態様において、被写体を撮影する3台以上の撮像装置で構成される2対以上の撮像装置についてそれぞれ、3D映像の撮影制御を行うように構成される。
【0029】
本発明の第12の実施態様は、3D映像の撮影制御を行うための3D映像撮影制御方法である。この3D映像撮影制御方法は、被写体を撮影する一対の撮像装置から得られた映像から、被写体に関する視差を算出する視差算出ステップと、一対の撮像装置の基線長を決定する基線長決定ステップと、決定された基線長となるよう一対の撮像装置を移動させるよう制御する基線長制御ステップとを有する。ここで、基線長決定ステップは、一対の撮像装置の基線長と人間両眼の基線長との比率が、撮影時における一対の撮像装置の基線から被写体までの距離(実際距離)と3D映像の鑑賞時における人間両眼の基線から被写体までの距離(感知距離)との比率(引込率)が、所定関数により対応付けられる関係であることに基づいて、一対の撮像装置の基線長を決定し、感知距離を、視差に基づいて求めるように構成される。
【0030】
本発明の第13の実施態様は、第12の実施態様において、指定された視差を受信する視差受信ステップと、輻輳角を調整するために一対の撮像装置を移動させるよう制御する輻輳角制御ステップとをさらに有する3D映像撮影制御方法である。ここで、輻輳角制御ステップは、指定された視差に応じた輻輳角となるよう一対の撮像装置を移動させ、基線長決定ステップは、感知距離を、指定された視差に基づいて求めるように構成される。
【0031】
本発明の第14の実施態様は、第12の実施態様において、指定された引込率を受信する引込率受信ステップと、輻輳角を調整するために一対の撮像装置を移動させるよう制御する輻輳角制御ステップとをさらに有する3D映像撮影制御方法である。ここで、輻輳角制御ステップは、指定された引込率に基づいて得られる視差に応じた輻輳角となるよう一対の撮像装置を移動させ、基線長決定ステップは、指定された引込率に基づいて一対の撮像装置の基線長を決定するように構成される。
【0032】
本発明の第15の実施態様は、第12の実施態様において、輻輳角を調整するために一対の撮像装置を移動させるよう制御する輻輳角制御方法をさらに有する3D映像撮影制御方法である。ここで、引込率は、引込率と一対の撮像装置の画角との掛け算が定数となる関係に基づいて、画角から求められ、輻輳角制御ステップは、求められた引込率に基づいて得られる視差に応じた輻輳角となるよう一対の撮像装置を移動させ、基線長決定ステップは、求められた引込率に基づいて一対の撮像装置の基線長を決定するように構成される。
【0033】
本発明の第16の実施態様は、コンピュータに、被写体を撮影する一対の撮像装置から得られた映像から、被写体に関する視差を算出する視差算出手段、一対の撮像装置の基線長を決定する基線長決定手段、および、決定された基線長となるよう一対の撮像装置を移動させるよう制御する基線長制御手段として機能させる、3D映像の撮影制御を行うための3D映像撮影制御を行うプログラムである。ここで、基線長決定手段は、一対の撮像装置の基線長と人間両眼の基線長との比率が、撮影時における一対の撮像装置の基線から被写体までの距離(実際距離)と3D映像の鑑賞時における人間両眼の基線から被写体までの距離(感知距離)との比率(引込率)が、所定関数により対応付けられる関係であることに基づいて、一対の撮像装置の基線長を決定し、感知距離を、視差に基づいて求めるように構成される。
【0034】
本発明の第17の実施態様は、第16の実施態様において、指定された視差を受信する視差受信手段、および、輻輳角を調整するために一対の撮像装置を移動させるよう制御する輻輳角制御手段として機能させるプログラムをさらに含むプログラムである。ここで、輻輳角制御手段は、指定された視差に応じた輻輳角となるよう一対の撮像装置を移動させ、基線長決定手段は、感知距離を、指定された視差に基づいて求めるように構成される。
【0035】
本発明の第18の実施態様は、第16の実施態様において、指定された引込率を受信する引込率受信手段、および、輻輳角を調整するために一対の撮像装置を移動させるよう制御する輻輳角制御手段として機能させるプログラムをさらに含むプログラムである。ここで、輻輳角制御手段は、指定された引込率に基づいて得られる視差に応じた輻輳角となるよう一対の撮像装置を移動させ、基線長決定手段は、指定された引込率に基づいて一対の撮像装置の基線長を決定するように構成される。
【0036】
本発明の第19の実施態様は、第16の実施態様において、輻輳角を調整するために一対の撮像装置を移動させるよう制御する輻輳角制御手段として機能させるプログラムをさらに含むプログラムである。ここで、引込率は、引込率と一対の撮像装置の画角との掛け算が定数となる関係に基づいて、画角から求められ、輻輳角制御手段は、求められた引込率に基づいて得られる視差に応じた輻輳角となるよう一対の撮像装置を移動させ、基線長決定手段は、求められた引込率に基づいて一対の撮像装置の基線長を決定するように構成される。
【発明の効果】
【0037】
本発明に係る3D映像撮影制御システムによって、撮影条件および鑑賞条件を総合的に考慮したパラメータが求められ、当該パラメータによって好適な3D効果を得るため、または安全性を維持するために、一対のカメラの位置および方向の少なくとも一方が制御される。
【図面の簡単な説明】
【0038】
【図1】本発明の一実施形態に係る3D映像撮影制御システムおよびこれに関連する他の装置の概略を示す略線図である。
【図2】本発明の一実施形態に係る3D映像撮影制御システムの3D撮影機構を模式的に表した略線図である。
【図3】本発明の一実施形態に係る3D映像撮影制御システムに関し、撮影条件と鑑賞条件を説明するための略線図である。
【図4】本発明の一実施形態に係る3D映像撮影制御システムに関し、実際距離と感知距離を求める式を説明するための略線図である。
【図5】本発明の一実施形態に係る3D映像撮影制御システムの3D撮影機構と制御装置に関する機能ブロック図である。
【図6】本発明の一実施形態に係る3D映像撮影制御システムの制御装置を構成するコンピュータのハードウエア構成の例を示す略線図である。
【発明を実施するための形態】
【0039】
本発明の一実施形態に係る3D映像撮影制御システムは、撮影条件および鑑賞条件に基づいて、好適な3D効果が得られるように、または好適な安全視差となるように、一対の3D撮像用カメラの間隔(基線長)および方向(輻輳角)の少なくとも一方を制御する。
【0040】
最初に、図1を参照して、本発明の一実施形態に係る3D映像撮影制御システム7と、3D映像撮影制御システム7によって取得された3D映像データを鑑賞者に対して表示するまでの装置について説明する。
【0041】
図1の3D映像撮影制御システム7は、3D撮影機構5および制御装置6を含み、3D撮影機構5はカメラ1、アクチュエータ2、移動量計測装置3(図2参照)、およびカメラ制御雲台4を含む。カメラ1は、3D映像を撮影するための撮像装置であり、一対のカメラ、すなわち、左画像撮影用カメラ1−Lと右画像撮影用カメラ1−Rからなり、ズーム等の一部操作はこれらのカメラ1が制御装置6を介さずに直接、連動制御される。本明細書では、これらの2台のカメラを集合的に指す場合に、カメラ1と表記する。
【0042】
アクチュエータ2は、制御装置6からの制御信号に応じて、カメラ1(左画像撮影用カメラ1−Lおよび右画像撮影用カメラ1−Rのそれぞれ)を移動させる。アクチュエータ2は、カメラ1の3軸方向の回転移動、基線方向の水平移動を実現する。この例では、移動手段としてアクチュエータ2が用いられているが、それ以外の既知の手段によってカメラ1を任意の位置・方向に移動させることができる。移動量計測装置3は、アクチュエータ2によって移動されたカメラ1の移動量(回転角度、移動距離)を計測し、計測結果を制御装置6に送信する。
【0043】
カメラ制御雲台4の基盤4aには、2台のカメラ1が、基本的には同じ高さに併設される。また、左画像撮影用カメラ1−Lは、アクチュエータ2により、3軸方向に回転移動可能かつ基線方向に水平移動可能な状態で、基盤4aに取り付けられる。同様に、右画像撮影用カメラ1−Rも、アクチュエータ2により、3軸方向に回転移動可能かつ基線方向に水平移動可能な状態で、基盤4aに取り付けられる。また、基盤4aは、カメラ制御雲台4に対してパン回転可能な状態に取り付けられる。
【0044】
制御装置6は、カメラ1から受信した3D映像データに対し所定の処理を行い、これを送信装置8に送信する。その後、3D映像データは、インターネットやWANのようなネットワークを介して(たとえば、送信装置8から遠く離れた)受信装置9に送信され、さらに映画館、放送局、中継局、家庭などに配置された3D画質調整装置10に送られる。3D画質調整装置10では、3D映像データの画質調整や他の映像処理が行われる。
【0045】
次に、画質調整や映像処理が行われた3D映像データは、鑑賞者による鑑賞に供される。たとえば、図1に示すように、映画館では、3D映像データが3D映写機11に送信され、3D映写機11からスクリーン12に対して3D映像が投射される。一方、一般的な家庭では、送信されてきた3D映像データが3Dテレビジョン13のモニターに表示される。
【0046】
図1の例では、3D映像撮影制御システム7は、3D撮影機構5を含むように構成されるが、カメラ1やカメラ制御雲台4等を備えず、実質的にカメラ1の制御を行うための制御装置6のみを含むように構成されてもよい。
【0047】
次に、図2を参照して、3D撮影機構5におけるカメラ1の位置および方向の調整・移動について説明する。
【0048】
左カメラ(左画像撮影用カメラ)1−Lの光軸15Lと右カメラ(右画像撮影用カメラ)1−Rの光軸15Rが、これらの光軸を含む平面上でなす角の1/2が輻輳角(図4参照)であり、左カメラ1−Lおよび右カメラ1−Rの被写体(視標)が被写体20として図2に示されている。
【0049】
左カメラ1−Lの光軸15Lを基準とした被写体20の角度は、パン方向の角度φl−p、チルド方向の角度φl−t、ロール方向の角度φl−rでそれぞれ表される。同様に、右カメラ1−Rの光軸15Rを基準とした被写体20の角度は、パン方向の角度φr−p、チルド方向の角度φr−t、ロール方向の角度φr−rでそれぞれ表される。
【0050】
図2には、左カメラ1−Lと右カメラ1−Rの基線長bが示されている。ここで基線長とは、2つのカメラ(または人間の眼)の光学中心の距離であり、光学中心とは、カメラをピンホールモデルに近似した場合のピンホールの位置をいう。また、この基線長bは、2つのカメラのパン方向の回転軸の距離として表すこともできる。その他、2つのカメラの基線長bとして、上記距離を近似する他の基点を用いることもできる(ただし、この場合は、当該パラメータの誤差について考慮する必要がある)。
【0051】
アクチュエータ2は、2つのカメラのそれぞれについて、たとえば、3自由度を有するように構成され、各回転軸に対してカメラを回転させるよう配置される。さらに、基線長を変化させるアクチュエータ2も備える。また、2台のカメラ1が設置されている基盤4aは、上述のようにパン方向に回転させることができるが、この回転をアクチュエータ2で制御することができる。
【0052】
図2において、アクチュエータ2−L-Pは、左カメラ1−Lのパン方向回転用アクチュエータであり、その回転角度はθl−pで表され、アクチュエータ2−R-Pは、右カメラ1−Rのパン方向回転用アクチュエータであり、その回転角度はθr−pで表される。アクチュエータ2−L-Tは、左カメラ1−Lのチルト方向回転用アクチュエータであり、その回転角度はθl−tで表され、アクチュエータ2−R-Tは、右カメラ1−Rのチルト方向回転用アクチュエータであり、その回転角度はθr−tで表される。アクチュエータ2−L-Rは、左カメラ1−Lのロール方向(視軸方向)回転用アクチュエータであり、その回転角度はθl−rで表され、アクチュエータ2−R-Rは、右カメラ1−Rのロール方向(視軸方向)回転用アクチュエータであり、その回転角度はθr−rで表される。
【0053】
アクチュエータ2−Bは、2つのカメラ1の間隔を変化させる(基線長を変化させる)アクチュエータであり、カメラ1の間隔は、上述の通り基線長bで表される。また、アクチュエータ2−Nは、カメラ制御雲台4の基盤4aをパン方向に回転させるアクチュエータであり、その回転角はθで表される。
【0054】
ここで、図1に示す制御装置6から、所定の距離に基線長bを変化させる制御信号が送信された場合は、アクチュエータ2−Bが当該所定の距離に基線長を変化させるよう動作する。同様に、制御装置6から、2つのカメラ1の輻輳角を所定の角度に変化させる制御信号が送信された場合は、アクチュエータ2−L-Pおよびアクチュエータ2−L-Rが当該所定の角度に輻輳角を変化させるよう動作する。
【0055】
基線長は、図2では、1つのアクチュエータ2−Bにより変化させるような機構として模式的に表されているが、図1に示すように、それぞれのカメラ1を移動させる2つのアクチュエータにより制御されてもよい。また、輻輳角を変化させる2つのアクチュエータ(アクチュエータ2−L-P、アクチュエータ2−L-R)は基本的に、それぞれのカメラを同じ角度だけ回転させることによって所定の輻輳角となるよう動作する。
【0056】
また、本明細書で説明する実施例では、アクチュエータ(モータ)によってカメラ1の位置および方向が調整されるが、これに限定されるものではなく、他の機構によってカメラ1を移動させてもよい。
【0057】
ここで、図3を参照して、3D映像の撮影と放送についてのモデル化を説明する。図3Aには、2台のカメラ(左カメラ1−L、右カメラ1−R)が輻輳撮影法により3D撮影を行う、3D撮影モデルが示されている。左カメラ1−Lと右カメラ1−Rは、基線長bの間隔で配置され、この2台のカメラの光軸がなす角の1/2が輻輳角βで表される。左カメラ1−Lと右カメラ1−Rの画角はそれぞれαであり、カメラの光学中心からの距離(2つの光学中心を結ぶ基線の中点から当該基線に対し垂直に伸ばした直線の距離)が1となる平面を正規化平面と呼び、当該正規化平面上の画角範囲を正規化画角rとする。
【0058】
この一対のカメラの光軸交点を通り、両方のカメラの画角範囲が一致する平面が輻輳平面であり、カメラの光学中心から輻輳平面までの距離(2つの光学中心を結ぶ基線の中点から当該基線に対し垂直に伸ばした直線の距離)をgとする。2台のカメラのパン操作によって輻輳角βと距離gが変化し、ズーム操作によって画角αと正規化画角rが変化する。また、基線長bと輻輳角βによって距離gが決定される。基線長b、輻輳角β、および画角αは、撮影条件を表すパラメータである。
【0059】
図3Bには、3D映像が放送または上映されて人間の両眼により鑑賞がされる、3D放送モデルが示されている。人間の両眼の間隔(光学中心の距離)は、基線長mで表され、スクリーン幅がwで表される。人間の両眼の光学中心からスクリーンまでの距離(2つの光学中心を結ぶ基線の中点から当該基線に対し垂直に伸ばした直線の距離)はdで表される。人間両眼の基線長m、スクリーン幅w、人間両眼の基線とスクリーンとの距離dは、鑑賞条件を表すパラメータである。
【0060】
ここで、正規化画角rは以下の式で近似される。
r=2tan(α/2) ・・・(式1)
また、距離gは、以下の式で近似される。
g=(b/2)cot(β) ・・・(式2)
【0061】
次に、図4を参照して、3D映像の撮影および放送における被写体モデルについて説明する。図4Aは、図3Aにおける3D撮影モデルに対応する被写体モデルを示している。ここで、3D撮影をする際の2台のカメラの光学中心を結ぶ直線(基線)の中点を原点とし、原点から右カメラ1−Rの光学中心に向かう軸をx軸とし、当該原点から2台のカメラの光軸交点に向かう軸をy軸とする二次元平面を撮影平面と定義する。
【0062】
図4Aの例では、被写体20aが、基線からの距離yにおいて2台のカメラに撮影されている。2台のカメラ(左カメラ1−L、右カメラ1−R)が被写体20aを撮影すると、撮影された画像から、この被写体における左目画像(左カメラ1−Lで撮影された画像)と右目画像(右カメラ1−Rで撮影された画像)の横軸座標の差(視差)が算出され、この視差とスクリーンの幅との比率である視差情報pが求められる。
【0063】
被写体20aの撮影平面における座標を(x、y)とし、yを被写体の実際距離と定義する。被写体20aの実際距離y、2台のカメラの基線長b、カメラと輻輳平面の距離g、正規化画角r、および被写体の視差情報pの関係は、以下の式で表すことができる。
(g−y)/y=grp/b ・・・(式3)
これより、実際距離は、以下のように求められる。
y=bg/(b+grp) ・・・(式4)
【0064】
一方、図4Bは、図3Bにおける3D放送モデルに対応する被写体モデルを示している。ここで、3D映像の放送または上映を鑑賞する際の人間両眼の光学中心を結ぶ直線(基線)の中点を原点とし、原点から右眼の光学中心に向かう軸をa軸とし、原点から人間両眼の光学中心を結ぶ基線に垂直方向(正前方)に伸びる軸をz軸とする二次元平面を感知平面と定義する。3D撮影モデルと3D放送モデルとで、撮影平面から感知平面への空間変換が発生する。
【0065】
図4Bの例では、図4Aに示す被写体20aに対応する被写体20bが、基線からの距離zにおいて感知される。被写体20bの感知平面における座標を(a、z)とし、zを被写体の感知距離と定義する。被写体20bの感知距離z、人間両眼の基線長m、人間両眼の基線とスクリーンとの距離d、スクリーン幅w、および被写体の視差情報pの関係は、以下の式で表すことができる。
(d−z)/z=wp/m ・・・(式5)
これより、感知距離は、以下のように求められる。
z=md/(m+wp) ・・・(式6)
【0066】
シーンが撮影された後に放送または上映された場合、実際より被写体が近く見える程度(すなわち、被写体の実際距離と被写体の感知距離との比率)を引込率hと定義し、被写体の奥行きの拡大倍率を奥行拡大倍率tと定義する。さらに、被写体の横幅の拡大倍率を横幅拡大倍率sと定義し、奥行拡大倍率と横幅拡大倍率の比率を奥行横幅比率qと定義する。
【0067】
箱庭効果(巨人視)は横幅拡大倍率が小さい時に発生する。一方、書割効果は奥行横幅比率が小さい時に発生する。
【0068】
次に、上記で説明した3D撮影モデル、3D放送モデル、および被写体モデルを統合した、統合モデルについて説明する。最初に、3D撮影モデルおよび3D放送モデルに関して、撮影平面の1点(x、y)を感知平面の1点(a、z)に変換する、空間変換関数を求める。
【0069】
A=m−(bw/gr)、B=bw/r、C=lw/r、D=dlとすると、座標aおよび座標zは、それぞれ以下のように求められる。
a=Cx/(Ay+B) ・・・(式7)
z=Dy/(Ay+B) ・・・(式8)
【0070】
次に、上記空間変換関数を用いて、シーン中の被写体に関する引込率h、奥行拡大倍率t、横幅拡大倍率s、および奥行横幅比率qをそれぞれ求める。
引込率h =y/z=(Ay+B)/D ・・・(式9)
奥行拡大倍率t=∂z/∂y=BD/(Ay+B) ・・・(式10)
横幅拡大倍率s=∂a/∂x=C/(Ay+B) ・・・(式11)
奥行横幅比率q=t/s=BD/C(Ay+B) ・・・(式12)
【0071】
最後に、任意の3D撮影モデル、3D放送モデルで、シーン中の任意の被写体に適用可能な次の2つの方程式が得られる。
hq=B/C=b/m ・・・(式13)
hs=C/D=w/dr ・・・(式14)
【0072】
ここで、式13のb/mは、2台のカメラの基線長bと人間両眼の基線長mの比率であり、これを基線長拡大倍率と定義する。そうすると、式13は、以下の式15(統合モデル式1)で表すことができる。
被写体の引込率×被写体の奥行横幅比率 = 基線長拡大倍率 ・・・(式15)
【0073】
また、式14のd/wは、人間両眼からスクリーンまでの距離とスクリーンの幅との比率であり、これを鑑賞距離倍率と定義する。そうすると、式14は、以下の式16(統合モデル式2)で表すことができる。
被写体の引込率×被写体の横幅拡大倍率×鑑賞距離倍率×正規化画角 = 1
・・・(式16)
【0074】
次に、図5を参照して、制御装置6の各機能について説明する。本発明の一実施形態に係る制御装置6は、図5に示すように、映像データ受信部6a、撮影条件受信部6b、視差算出部6c、撮影制御処理部6d、カメラ制御部6e、鑑賞条件等受信部6f、設定値受信部6g、エンコーダ部6h、および輻輳角算出部6iを含むよう構成される。さらに、撮影制御処理部6dは、基線長決定部6d−1、輻輳角制御部6d−2、および撮影条件調整部6d−3を含む。
【0075】
映像データ受信部6aは、2台のカメラ1(左カメラ1−Lおよび右カメラ1−R)にケーブル等で接続され、これらのカメラ1を用いて輻輳撮影法により3D撮影された(左右で同期のとれた)映像データを受信する。また、映像データ受信部6aは、カメラ1においてユーザが指定した、または、被写体の追従等による自動的な指定によって生成された被写体を指すデータ等(たとえば、座標データ)も、必要に応じて受信する。
【0076】
撮影条件受信部6bは、2台のカメラ1にケーブル等で接続され、これらのカメラ1から、撮影条件を表すパラメータを受信する。また、移動量計測装置3(画角計測装置3a、実際距離計測装置3b)にケーブル等で接続され、これらの装置からも撮影条件を表すパラメータを受信する。また、基線長計測装置3cにより計測された基線長bや、輻輳角算出部6iが記憶する輻輳角βも必要に応じて受信する。
【0077】
パラメータとしては、たとえば、カメラ1から焦点距離や撮像素子幅を必要に応じて受信する。焦点距離および撮像素子幅は、画角αを計算する場合に使用される。また、画角計測装置3aからは、計測された画角αを受信し、実際距離計測装置3bからは、計測された(カメラ1の基線中点から)被写体までの実際距離y、または実際距離yを求めるために使用される距離データを受信する。画角計測装置3aおよび実際距離計測装置3bは、図5では、カメラ1の外部に別の装置として構成されている。たとえば、実際距離計測装置3bとして、アクティブ方式レーザーセンサなどのレーザー距離計を用いることができ、この場合は、近距離の被写体を計測するのに特に適している。しかしながら、画角計測装置3aや実際距離計測装置3bの少なくとも一部の機能部が、カメラ1に組み込まれるように構成されてもよい。
【0078】
視差算出部6cは、映像データ受信部6aで受信したカメラ1の左右の映像データから、それぞれ被写体の特徴点を抽出し、これらの特徴点をマッチングすることにより横軸座標の差(視差)を算出する。被写体は、撮影された映像のなかの特定のオブジェクトであり、カメラマンや3Dグラファーが撮影時に(たとえば、カメラの入力手段を用いて入力することにより)選択したり、あるいは自動的に選択するなど、様々な方法で指定することができる。こうして指定された被写体に関する座標データは、映像データと同様、カメラ1から映像データ受信部6aを経由して視差算出部6cに送信される。
【0079】
特徴点の抽出方法としては、被写体選択位置のある半径内の特徴点、分割された特定の領域分内の特徴点、すべての特徴点(すべての視差の平均や重み付け平均値を視差とする)など、様々な方法を採用することができる。また、特徴点のマッチング方法は、SIFT法等の既知の様々な方法を用いて行うことができる。
【0080】
ここで求められる視差は、後述する撮影制御処理部6dにおいて、スクリーン幅wとの比率(ピクセルベースまたは物理長(メートル)ベース)が求められ、求められた値が視差情報pとして、その後の計算に用いられる。
【0081】
撮影制御処理部6dは、上述した統合モデル等から導かれる条件にしたがって、3D撮影に好適なカメラ1の基線長を決定し、輻輳角を制御する。また、安全な基線長および輻輳角の範囲を決定する。詳細な方法については後で説明する。
【0082】
カメラ制御部6eは、撮影制御処理部6dの基線長決定部6d−1によって決定された基線長を受信するとともに、移動量計測装置3(基線長計測装置3c)からの計測データを受信し、カメラ1がその基線長になるよう、カメラ1の水平位置(間隔)を、カメラ1の角度を変えることなく調整する。そのために、カメラ制御部6eは、アクチュエータ2を動作させるための制御データをアクチュエータ2に送信する。たとえば、カメラ1の基線長bを調整するために、アクチュエータ2−Bの動作を制御する(図2参照)。
【0083】
また、カメラ制御部6eは、撮影制御処理部6dの輻輳角制御部6d−2によってカメラ1の輻輳角βをフィードバック制御する。輻輳角制御部6d−2は、視差算出部6cから受信する視差に応じて、カメラ1の角度を調整する。そのために、カメラ制御部6eは、アクチュエータ2を動作させるための制御データをアクチュエータ2に送信する。カメラ1の輻輳角βを調整するために、アクチュエータ2−L-P、およびアクチュエータ2−R-Pの動作を制御する(図2参照)。
【0084】
アクチュエータ(モータ)の制御は、たとえば、カメラ制御部6eから出力されたデジタル信号がD/A変換され、変換後のアナログ信号がモータのドライバに入力され、そのドライバによってモータが指定された移動量だけ移動するよう駆動される。移動量計測装置3は、たとえば、モータに設置されている移動量検出センサであり、これによって検出されたモータの回転角信号がA/D変換され、変換後のデジタル信号がカメラ制御部6eに送信される。
【0085】
アクチュエータ2−Bによる制御の結果として生じるカメラ1の基線長bの変化は、基線長計測装置3cによって計測され、計測結果がカメラ制御部6eに送信される。カメラ制御部6eは、この計測結果を用いて、アクチュエータ2−Bの動作について、PID制御のようなフィードバック制御やフィードフォワード制御等を行う。
【0086】
図5では、基線長計測装置3cおよび回転角計測装置3dは、説明の便宜のため、カメラ1やアクチュエータ2の外部に別の装置として構成されているが、これらの少なくとも一部の機能部が、カメラ1やアクチュエータ2に組み込まれるように構成されてもよい(上述のように、モータに設置されている移動量検出センサのようなものであってもよい)。また、アクチュエータ2は、ここではフィードバック制御やフィードフォワード制御がされることを前提としているが、必ずしもこのような制御は必須ではない。
【0087】
鑑賞条件等受信部6fは、人間両眼の基線長m、スクリーン幅w、および人間両眼の基線とスクリーンとの距離dといった、鑑賞者が3D映像を鑑賞する鑑賞条件に関するデータを受信する。また、カメラ1の撮像素子の幅といった、カメラ1の基線長bを求めるために、または輻輳角βを制御するために利用されるデータ等を受信する。これらのデータは、ユーザ等からキーボードなどの入力手段を介して入力してもよいし、任意の手段で自動的に送信されるようにしてもよい。なお、この実施例においては、人間両眼の基線長mを鑑賞条件等受信部6fで受信するように構成されるが、事前に設定した定数(たとえば、60mm)を登録しておくことができ、この場合、人間両眼の基線長mとして、その定数を使用することができる。
【0088】
設定値受信部6gは、カメラ1の基線長bを求めるため、または輻輳角βを制御するための前提とされる、ユーザ等により指定された指定データを受信する。たとえば、指定された視差を受信する視差受信部、指定された引込率を受信する引込率受信部を含む。さらに、指定された奥行横幅比率を受信する奥行横幅比率受信部や、指定された横幅拡大倍率を受信する横幅拡大倍率部を含む。また、安全視差の調整に利用される、許容視差範囲を受信する許容視差範囲受信手段も含む。これらの指定データは通常、ユーザ等からキーボードなどの入力手段を介して入力され登録される。
【0089】
エンコーダ部6hは、映像データ受信部6aで受信した映像に必要な処理を施した後に所定のデータ形式にエンコードし、これを3D映像データとして出力する。
【0090】
輻輳角算出部6iは、回転角計測装置3dから回転角θを受信し、このデータに基づいてカメラ1の輻輳角βを算出し記憶する。輻輳角βの値は、カメラ制御部6eに送信されるとともに、撮影条件受信部6bに送信される。
【0091】
次に、撮影制御処理部6dにおける制御方法について説明する。
【0092】
[統合モデル式1に基づく制御]
撮影制御処理部6dは、上述の統合モデル式1で表される関係を用いて、いくつかのパターンの制御を行う。ここでは、代表的な4つのパターンについて説明を行う。
【0093】
・第1の制御
統合モデル式1で示されるように、好適な基線長拡大率(b/m)は、被写体の引込率h×被写体の奥行横幅比率qに比例する。被写体の引込率hは、被写体の実際距離yと感知距離zを用いて算出される。ここで、書割効果の問題を効果的に排除できるよう、統合モデル式1の被写体の奥行横幅比率qを既定値1に設定する。
【0094】
このような場合、すなわち、被写体の奥行横幅比率qを定数に指定した場合、好適な基線長拡大率(b/m)は、被写体の引込率hに比例する。ただし、被写体の奥行横幅比率qは、他の所定関数とすることもでき(ここで、定数は一種の関数(定数関数)である)、この場合、好適な基線長拡大率(b/m)と被写体の引込率hが、この所定関数により対応付けられる関係を有する。ここで、所定関数は、たとえば、被写体とカメラ1の距離が近い場合は1で、遠い場合は0.5となるような、実際距離yの関数として表現することができる。また、被写体の奥行横幅比率qは、以下のような式(所定関数)で表すこともできる(ただし、kは係数)。
q=k2/3 ・・・ (式17)
また、統合モデル式1では、被写体の奥行横幅比率qは、被写体の実際距離y、カメラの基線長b、カメラと輻輳平面の距離g、正規化画角rの関数となる。
【0095】
そうすると、統合モデル式1によって、カメラ1の基線長を求めることができる。基線長決定部6d−1は、このようにしてカメラ1の基線長を決定し、決定された基線長bをカメラ制御部6eに送信し、カメラ制御部6eの制御によって、カメラ1の基線長が、当該決定された基線長bに調整される。
【0096】
カメラ1の基線長bを求めるためには、被写体の実際距離y、被写体の感知距離z、および人間両眼の基線長mが分かればよい。被写体の実際距離yは、実際距離計測装置3bの計測結果を用いることができる。また、被写体の実際距離yは、被写体の視差情報p、カメラ1の基線長b、カメラ1の基線と輻輳平面の距離g、正規化画角rにより算出することができるので、カメラ1の基線長b以外の値を求めることによって、最終的にカメラ1の基線長bを求めることができる。
【0097】
被写体の視差情報pは、視差算出部6cから送信された視差とスクリーン幅wとから求められる。カメラ1の基線と輻輳平面の距離gは、上述したように、カメラ1の基線長bと輻輳角βから求めることができる。輻輳角βは、回転角計測装置3dで計測される回転角に基づいて求めることができ、たとえば、輻輳角算出部6iにより記憶された輻輳角βが、撮影条件受信部6bを経由して撮影制御処理部6dに送信される。正規化画角rは、上述のように、カメラ1の画角αから求めることができ、画角αは、画角計測装置3aで計測された画角、または、撮影条件受信部6bで受信したカメラ1の焦点距離およびカメラ1の撮像素子幅から求められる。カメラ1の撮像素子幅は、鑑賞条件等受信部6fからユーザ等によって入力された値を用いることもできる。
【0098】
被写体の感知距離zは、被写体の視差情報pと鑑賞条件(すなわち、人間両眼の基線長m、スクリーン幅w、人間両眼の基線とスクリーンとの距離d)を用いて算出される。
【0099】
・第2の制御
第2の制御では、ユーザ等から視差の値が指定される。設定値受信部6gによって、ユーザ等から指定された視差の値が撮影制御処理部6dに提供されると、輻輳角制御部6d−2は、カメラ1が撮影する映像データを元に視差算出部6cで算出された視差を受信しながら、指定された視差が維持されるようにカメラ制御部6eを制御し、輻輳角βを調整する(フィードバック制御(PID制御))。
【0100】
このとき、統合モデル式1においては、視差が指定されたことによって、視差情報pが求まり(wが既知)、次いで、視差情報pと鑑賞条件(人間両眼の基線長m、スクリーン幅w、人間両眼の基線とスクリーンとの距離d)とから被写体の感知距離zも求められる。そして、調整された輻輳角βにより変化した被写体の実際距離yが把握される。撮影制御処理部6dの基線長決定部6d−1は、被写体の実際距離yと被写体の感知距離zから、変化した引込率hを求め、これに基づいて基線長bを決定し、カメラ制御部6eによって、カメラ1の基線長が、決定された基線長bに制御される。
【0101】
なお、被写体の実際距離yは、実際距離計測装置3bの計測結果を用いることもできるが、上記第1の制御で説明したように、当該計測結果を用いずに最終的に基線長bを決定するようにもできる。
【0102】
また、第2の制御においては、ユーザ等から視差の値が指定された後、輻輳角βを調整するプロセスと基線長bを制御するプロセスは、非同期で実行され得る。
【0103】
・第3の制御
第3の制御では、ユーザ等から被写体の引込率hの値が指定される。設定値受信部6gによって、ユーザ等から指定された引込率の値が撮影制御処理部6dに提供される。撮影制御処理部6dの基線長決定部6d−1は、指定された引込率hによって基線長bを決定し、カメラ制御部6eによって、カメラ1の基線長が、決定された基線長bに制御される。
【0104】
また、撮影制御処理部6dは、指定された引込率hと被写体の実際距離yから被写体の感知距離zを求め、被写体の感知距離zと鑑賞条件(m、w、dは既知)とからさらに視差情報pおよび視差を求める。そうすると、輻輳角制御部6d−2は、カメラ1が撮影する映像データを元に視差算出部6cで算出された視差を受信しながら、求められた視差が維持されるように、カメラ制御部6eの制御により輻輳角βをフィードバック制御(PID制御)する。
【0105】
なお、被写体の実際距離yは、実際距離計測装置3bの計測結果を用いることもできるが、上記第1の制御で説明したように、当該計測結果を用いずに実際距離yを算出することもできる。
【0106】
また、第3の制御においては、第2の制御と同様、ユーザ等から被写体の引込率hの値が指定された後、輻輳角βを調整するプロセスと基線長bを制御するプロセスは、非同期で実行され得る。
【0107】
・第4の制御
第4の制御では、これまで既定値1または他の所定関数として扱ってきた奥行横幅比率qの値を、ユーザ等が指定した値とする。設定値受信部6gによって、ユーザ等から指定された奥行横幅比率の値が撮影制御処理部6dに提供される。撮影制御処理部6dは、上述した第1の制御から第3の制御の処理において、奥行横幅比率qに、ここで指定された値を(これまでの値の代わりに)用いて基線長の決定等を行う。
【0108】
[統合モデル式1および統合モデル式2に基づく制御]
撮影制御処理部6dは、上述の統合モデル式1と統合モデル式2で表される関係を用いて、いくつかのパターンの制御を行う。ここでは、代表的な2つのパターンについて説明を行う。
【0109】
・第5の制御
統合モデル式2で示されるように、被写体の引込率h、被写体の横幅拡大倍率s、鑑賞距離倍率(d/w)、および正規化画角rの乗算は、定数(=1)になる。ここで、箱庭効果の問題を効果的に制御できるよう、カメラ1のズームを調整して画角αを変化させ、被写体の横幅拡大倍率sを1に保持する。また、鑑賞距離倍率(d/w)は、ユーザ等により鑑賞条件として事前に入力されるため、被写体の引込率hと正規化画角rの乗算も定数になる。
【0110】
被写体の横幅拡大倍率sは、上述した被写体の奥行横幅比率qと同様、定数ではなく、所定関数とすることもできる。統合モデル式2に従えば、被写体の被写体の横幅拡大倍率sは、被写体の実際距離y、カメラの基線長b、カメラと輻輳平面の距離g、正規化画角rの関数となる。
【0111】
このとき、撮影制御処理部6dは、統合モデル式2に基づいて、画角計測装置3aによって計測された、あるいは焦点距離から求められた画角αにより正規化画角rを求め、これによって好適な引込率hを算出する。
【0112】
次に、基線長決定部6d−1は、算出された引込率hから基線長bを決定し、カメラ制御部6eによって、カメラ1の基線長が、決定された基線長bに制御される。
【0113】
また、撮影制御処理部6dは、統合モデル式1に基づいて、算出された引込率hと被写体の実際距離yから被写体の感知距離zを求め、被写体の感知距離zと鑑賞条件(m、w、dは既知)とからさらに視差情報pおよび視差を求める。ここで、輻輳角制御部6d−2は、カメラ1が撮影する映像データを元に視差算出部6cで算出された視差を受信しながら、求められた視差が維持されるように、カメラ制御部6eの制御により輻輳角βをフィードバック制御(PID制御)する。
【0114】
なお、被写体の実際距離yは、実際距離計測装置3bの計測結果を用いることもできるが、上記第1の制御で説明したように、当該計測結果を用いずに実際距離yを算出することもできる。
【0115】
また、第5の制御においては、引込率hが算出された後、輻輳角βを調整するプロセスと基線長bを制御するプロセスは、非同期で実行され得る。
【0116】
・第6の制御
第6の制御では、第5の制御において1として保持していた横幅拡大倍率sの値を、ユーザ等が指定した値とする。設定値受信部6gによって、ユーザ等から指定された横幅拡大倍率の値が撮影制御処理部6dに提供される。撮影制御処理部6dは、上述した第5の制御の処理において、横幅拡大倍率sに、ここで指定された値を用いて輻輳角の制御等を行う。
【0117】
[安全性に基づく制御]
撮影制御処理部6dは、3D映像の安全性に関して、第7の制御を行うことができる。撮影制御処理部6dは、所定の安全ガイドライン、たとえば、3Dに関する安全ガイドライン(3DC安全ガイドライン(3Dコンソーシアム、安全ガイドライン部会))に基づいて、安全な視差範囲となるよう、基線長bおよび輻輳角βを制御する。
【0118】
撮影制御処理部6dの撮影条件調整部6d−3は、ユーザ等により事前に指定され設定値受信部6gより受信した許容視差範囲(p_lower, p_upper)、視差算出部6cにより算出された画像全体の視差の範囲(p_min(t), p_max(t))の現在値、および基線長計測装置3cから受信したカメラ1の現在の基線長b(t)を用いて、次の時刻の基線長の許容範囲(特に最大値b_upper(t+1)を指す)を、以下の式18を用いて決定する。ここで、画像全体の視差とは、カメラ1により撮影された画像について、一部の特徴点ではなく、全部またはほとんどのピクセル(画素)における視差であり、この視差を求めることによって、画像全体の視差の範囲(p_min(t), p_max(t))が得られる。
【0119】
b_upper(t+1)=b(t)・(p_upper−p_lower)/(p_max(t)−p_min(t))
・・・(式18)
【0120】
式18が示すように、次の時刻(t+1)における基線長bの上限b_upper(t+1)は、現在時刻(t)の基線長b(t)と画像全体の視差の範囲の最大値と最小値の差、および許容視差範囲の上限と下限の差との比率に基づいて定められる。
【0121】
また、撮影条件調整部6d−3は、ユーザ等により事前に指定され設定値受信部6gより受信した許容視差範囲(p_lower, p_upper)、視差算出部6cにより算出された画像全体の視差の範囲(p_min(t), p_max(t))の現在値、および輻輳角算出部6iにより記憶されているカメラ1の現在の輻輳角β(t)を用いて、次の時刻の輻輳角の許容範囲を、以下の式19および式20を用いて決定する。
【0122】
β_upper(t+1)=β(t)+δ (p_max(t)<p_upper)
=β(t)−δ (p_max(t)>p_upper) ・・・(式19)
β_lower(t+1)=β(t)+δ (p_min(t)>p_lower)
=β(t)−δ (p_min(t)<p_lower) ・・・(式20)
ここで、δの大きさは、許容視差範囲と画像全体の視差との差や時刻(t)をはじめとする様々な要素に応じて適宜調整することができ、たとえば、0.01度といった値が用いられ得る。
【0123】
式19からわかるように、次の時刻(t+1)における輻輳角の上限β_upper(t+1)は、現在時刻(t)の輻輳角β(t)に基づいて求められ、画像全体の視差の最大値(p_max(t))が、許容視差範囲の上限(p_upper)を超えると、β(t)からδだけマイナスされた値がβ_upper(t+1)とされ、逆に、画像全体の視差の最大値(p_max(t))が、許容視差範囲の上限(p_upper)より小さいと、β(t)にδをプラスした値がβ_upper(t+1)とされる。同様に、式19から、次の時刻(t+1)における輻輳角の下限β_lower(t+1)は、画像全体の視差の最小値(p_min(t))が、許容視差範囲の下限(p_lower)より小さいと、β(t)からδだけマイナスされた値がβ_lower(t+1)とされ、逆に、画像全体の視差の最小値(p_min(t))が、許容視差範囲の下限(p_lower)を超えると、β(t)にδをプラスした値がβ_lower(t+1)とされる。
【0124】
またここで、画像全体の視差の最大値(p_max(t))が、許容視差範囲の上限(p_upper)を超えるとともに、画像全体の視差の最小値(p_min(t))が、許容視差範囲の下限(p_lower)より小さくなる場合は、式18に基づいて、b_upper(t+1)が、b(t)よりも小さい値となって基線長bが小さく調整されるので、時間が経過すると、画像全体の視差が許容範囲内に収まるようになる。
【0125】
撮影条件調整部6d−3は、基線長決定部6d−1または輻輳角制御部6d−2の決定内容や制御内容をチェックして、基線長bが、上述の基線長bの上限b_upper(t+1)を超える場合や、輻輳角βが、輻輳角の範囲(β_lower(t+1)〜β_upper(t+1))を超える場合、基線長bおよび輻輳角βを当該範囲内になるよう調整する。また、本発明の一実施形態に係る3D映像撮影制御システム7では、このような撮影条件調整部6d−3による、基線長bおよび輻輳角βの調整機能は必須ではなく、必要に応じて適宜組み込むことができる。
【0126】
ここまで、図1から図5を参照して説明してきた本発明の一実施形態に係る3D映像撮影制御システム7は、一対のカメラからなる構成のカメラ1を備えるものであったが、複数の鑑賞条件に対応して、一度に複数パターンの3D撮影ができるように、複数のカメラセット(カメラの対)を使用することができ、制御装置6は、それぞれのカメラセットに対して、好ましい基線長および輻輳角を決定し、対応するカメラセットの位置および方向を制御するようにできる。
【0127】
たとえば、3D映像撮影制御システム7が、4台のカメラ(カメラA、カメラB、カメラC、カメラD)を備えるものとすると、複数のカメラセット(カメラA+カメラB)(カメラC+カメラD)や、(カメラA+カメラB)(カメラA+カメラC)(カメラA+カメラD)等を構成することができる。
【0128】
次に、図6を参照して、本発明の一実施形態に係る3D映像撮影制御システム7の制御装置6を構成するコンピュータの構成例について説明する。ただし、図6のコンピュータ100は、制御装置6の各機能を実現するコンピュータの代表的な構成を例示したにすぎない。
【0129】
コンピュータ100は、CPU(Central
Processing Unit)101、メモリ102、撮像装置インタフェース103、アクチュエータインタフェース104、移動量計測装置インタフェース105、ディスプレイコントローラ106、ディスプレイ107、入力機器インタフェース108、キーボード109、マウス110、外部記録媒体インタフェース111、外部記憶装置112、ネットワークインタフェース113、およびこれらの構成要素を互いに接続するバス114を含んでいる。
【0130】
CPU101は、コンピュータ100の各構成要素の動作を制御し、OSの制御下で、各機能を実行する。たとえば、図5に示す視差算出部6cや撮影制御処理部6d等の処理についての制御を行う。
【0131】
メモリ102は、通常RAM(Random Access Memory)により構成される。メモリ102には、CPU101で実行される各機能(視差算出部6cや撮影制御処理部6d等の機能)を実現するためのプログラムがロードされ、当該プログラムに必要なデータ等(たとえば、現在の輻輳角βや画角α)が一時的に記憶される。
【0132】
撮像装置インタフェース103は、カメラ1(左画像撮影用カメラ1−L、右画像撮影用カメラ1−Rのそれぞれ)に接続され、カメラ1とのデータ送受信を制御してカメラ1から映像データ等を受信する。
【0133】
アクチュエータインタフェース104は、アクチュエータ2に接続され、アクチュエータ2に対して、アクチュエータの動作を制御するための制御データを送信する。また、移動量計測装置インタフェース105は、移動量計測装置3から角度や距離などの計測データを受信する。
【0134】
ディスプレイコントローラ106は、CPU101等から送信される描画データを処理して、LCD(Liquid Crystal
Display)で構成される表示装置やタッチスクリーンなどを含むディスプレイ107に画面を表示する。たとえば、制御装置6に対してユーザ等から設定値が入力される場合、ディスプレイ107には設定値入力画面が表示される。
【0135】
入力機器インタフェース108は、ユーザが制御装置6に対して入力を行うために操作するキーボード109、マウス110、タッチスクリーンなどの入力装置から信号を受け取り、CPU101に送信する。また、入力データ等はメモリ102等に記憶される。
【0136】
外部記録媒体インタフェース111は、外部記録媒体120にアクセスしてデータの送受信を制御する。たとえば、光ディスク121を駆動して記録面にアクセスし、記録されているデータを読み取り、または外部記憶装置112に記憶されたデータを光ディスク121に書き出す。また、可搬型のフラッシュメモリ122にアクセスし、コンピュータ100との間でデータをやりとりする。
【0137】
外部記憶装置112は、一般的には、ハードディスクのような記憶装置である。外部記憶装置112は、CPU101で実行される各機能を実現するためのプログラムを記憶するほか、当該プログラムが利用するデータなどが格納される。
【0138】
ネットワークインタフェース113は、LANやインターネットを含むネットワーク130との接続を実現し、コンピュータ100とネットワーク130との間のデータの送受信を制御する。ネットワークインタフェース113により、コンピュータ100は、LANやインターネットと接続してデータの送受信を行うことができる。CPU101で実行され、本発明の各機能を実現するためのプログラムは、このネットワークインタフェース113や、上述の外部記録媒体インタフェース111を経由して、外部からコンピュータ100に提供されうる。
【0139】
また、本発明の各機能を実現するためのプログラムのすべて、または一部は、チップ化されて市場に流通する場合もある。
【符号の説明】
【0140】
1・・・カメラ、2・・・アクチュエータ、3・・・移動量計測装置、4・・・カメラ制御雲台、5・・・3D撮影機構、6・・・制御装置、7・・・3D映像撮影制御システム、8・・・送信装置、9・・・受信装置、10・・・3D画質調整装置、11・・・3D映写機、12・・・スクリーン、13・・・3Dテレビジョン

【特許請求の範囲】
【請求項1】
3D映像の撮影制御を行うための3D映像撮影制御システムであって、前記3D映像撮影制御システムは、
被写体を撮影する一対の撮像装置から得られた映像から、前記被写体に関する視差を算出する視差算出手段と、
前記一対の撮像装置の基線長を決定する基線長決定手段と、
前記決定された基線長となるよう前記一対の撮像装置を移動させるよう制御する基線長制御手段とを有し、
前記基線長決定手段は、前記一対の撮像装置の基線長と人間両眼の基線長との比率と、撮影時における前記一対の撮像装置の基線から被写体までの距離(実際距離)と前記3D映像の鑑賞時における人間両眼の基線から被写体までの距離(感知距離)との比率(引込率)が、所定関数により対応付けられる関係であることに基づいて、前記一対の撮像装置の基線長を決定し、前記感知距離を、前記視差に基づいて求めることを特徴とする3D映像撮影制御システム。
【請求項2】
請求項1に記載の3D映像撮影制御システムにおいて、
指定された視差を受信する視差受信手段と、
輻輳角を調整するために前記一対の撮像装置を移動させるよう制御する輻輳角制御手段とをさらに有し、
前記輻輳角制御手段は、前記指定された視差に応じた輻輳角となるよう前記一対の撮像装置を移動させ、
前記基線長決定手段は、前記感知距離を、前記指定された視差に基づいて求めることを特徴とする3D映像撮影制御システム。
【請求項3】
請求項1に記載の3D映像撮影制御システムにおいて、
指定された引込率を受信する引込率受信手段と、
輻輳角を調整するために前記一対の撮像装置を移動させるよう制御する輻輳角制御手段とをさらに有し、
前記輻輳角制御手段は、前記指定された引込率に基づいて得られる視差に応じた輻輳角となるよう前記一対の撮像装置を移動させ、
前記基線長決定手段は、前記指定された引込率に基づいて前記一対の撮像装置の基線長を決定することを特徴とする3D映像撮影制御システム。
【請求項4】
請求項1に記載の3D映像撮影制御システムにおいて、
輻輳角を調整するために前記一対の撮像装置を移動させるよう制御する輻輳角制御手段をさらに有し、
前記引込率と前記一対の撮像装置の画角との掛け算が定数となる関係に基づいて、前記画角から前記引込率を求め、
前記輻輳角制御手段は、前記求められた引込率に基づいて得られる視差に応じた輻輳角となるよう前記一対の撮像装置を移動させ、
前記基線長決定手段は、前記求められた引込率に基づいて前記一対の撮像装置の基線長を決定することを特徴とする3D映像撮影制御システム。
【請求項5】
請求項4に記載の3D映像撮影制御システムにおいて、
前記画角は、画角を計測する画角計測手段によって計測され、または前記一対の撮像装置における焦点距離および撮像素子幅によって算出されることを特徴とする3D映像撮影制御システム。
【請求項6】
請求項4または請求項5に記載の3D映像撮影制御システムにおいて、
指定された横幅拡大倍率を受信する横幅拡大倍率受信手段をさらに有し、
前記引込率、前記一対の撮像装置の画角、および前記指定された横幅拡大倍率の掛け算が定数となる関係に基づいて、前記画角および前記横幅拡大倍率から前記引込率を求めることを特徴とする3D映像撮影制御システム。
【請求項7】
請求項1ないし請求項6のいずれかに記載の3D映像撮影制御システムにおいて、
指定された奥行横幅比率を受信する奥行横幅比率受信手段をさらに有し、
前記基線長決定手段は、前記一対の撮像装置の基線長と人間両眼の基線長との比率が、前記引込率と前記奥行横幅比率との掛け算に比例する関係に基づいて、前記一対の撮像装置の基線長を決定することを特徴とする3D映像撮影制御システム。
【請求項8】
請求項2ないし請求項7のいずれかに記載の3D映像撮影制御システムにおいて、
指定された許容視差範囲を受信する許容視差範囲受信手段と、
視差が許容視差範囲になるよう各種パラメータを調整する撮影条件調整手段とをさらに有し、
前記視差算出手段は、前記一対の撮像装置から得られた映像における画像全体の視差範囲を算出し、
前記撮影条件調整手段は、前記算出された画像全体の視差範囲と前記許容視差範囲とから、前記一対の撮像装置の基線長についての許容範囲および前記輻輳角についての許容範囲の少なくとも一方を決定し、当該決定された許容範囲に前記一対の撮像装置の基線長または前記輻輳角を調整することを特徴とする3D映像撮影制御システム。
【請求項9】
請求項1ないし請求項8のいずれかに記載の3D映像撮影制御システムにおいて、
前記基線長決定手段は、前記感知距離を、前記視差および鑑賞条件に基づいて求め、
前記鑑賞条件は、人間両眼の基線長、スクリーンの幅、および前記人間両眼の基線と前記スクリーンとの距離を含むことを特徴とする3D映像撮影制御システム。
【請求項10】
請求項1ないし請求項9のいずれかに記載の3D映像撮影制御システムにおいて、
前記実際距離は、実際距離を計測する実際距離計測手段によって計測され、または前記視差、前記一対の撮像装置の基線長、輻輳角、および画角によって求められることを特徴とする3D映像撮影制御システム。
【請求項11】
請求項1ないし請求項10のいずれかに記載の3D映像撮影制御システムにおいて、
前記被写体を撮影する3台以上の撮像装置で構成される2対以上の撮像装置についてそれぞれ、前記3D映像の撮影制御を行うことを特徴とする3D映像撮影制御システム。
【請求項12】
3D映像の撮影制御を行うための3D映像撮影制御方法であって、前記3D映像撮影制御方法は、
被写体を撮影する一対の撮像装置から得られた映像から、前記被写体に関する視差を算出する視差算出ステップと、
前記一対の撮像装置の基線長を決定する基線長決定ステップと、
前記決定された基線長となるよう前記一対の撮像装置を移動させるよう制御する基線長制御ステップとを有し、
前記基線長決定ステップは、前記一対の撮像装置の基線長と人間両眼の基線長との比率が、撮影時における前記一対の撮像装置の基線から被写体までの距離(実際距離)と前記3D映像の鑑賞時における人間両眼の基線から被写体までの距離(感知距離)との比率(引込率)が、所定関数により対応付けられる関係であることに基づいて、前記一対の撮像装置の基線長を決定し、前記感知距離を、前記視差に基づいて求めることを特徴とする3D映像撮影制御方法。
【請求項13】
請求項12に記載の3D映像撮影制御方法において、
指定された視差を受信する視差受信ステップと、
輻輳角を調整するために前記一対の撮像装置を移動させるよう制御する輻輳角制御ステップとをさらに有し、
前記輻輳角制御ステップは、前記指定された視差に応じた輻輳角となるよう前記一対の撮像装置を移動させ、
前記基線長決定ステップは、前記感知距離を、前記指定された視差に基づいて求めることを特徴とする3D映像撮影制御方法。
【請求項14】
請求項12に記載の3D映像撮影制御方法において、
指定された引込率を受信する引込率受信ステップと、
輻輳角を調整するために前記一対の撮像装置を移動させるよう制御する輻輳角制御ステップとをさらに有し、
前記輻輳角制御ステップは、前記指定された引込率に基づいて得られる視差に応じた輻輳角となるよう前記一対の撮像装置を移動させ、
前記基線長決定ステップは、前記指定された引込率に基づいて前記一対の撮像装置の基線長を決定することを特徴とする3D映像撮影制御方法。
【請求項15】
請求項12に記載の3D映像撮影制御方法において、
輻輳角を調整するために前記一対の撮像装置を移動させるよう制御する輻輳角制御方法をさらに有し、
前記引込率と前記一対の撮像装置の画角との掛け算が定数となる関係に基づいて、前記画角から前記引込率を求め、
前記輻輳角制御ステップは、前記求められた引込率に基づいて得られる視差に応じた輻輳角となるよう前記一対の撮像装置を移動させ、
前記基線長決定ステップは、前記求められた引込率に基づいて前記一対の撮像装置の基線長を決定することを特徴とする3D映像撮影制御方法。
【請求項16】
コンピュータに、
被写体を撮影する一対の撮像装置から得られた映像から、前記被写体に関する視差を算出する視差算出手段、
前記一対の撮像装置の基線長を決定する基線長決定手段、および、
前記決定された基線長となるよう前記一対の撮像装置を移動させるよう制御する基線長制御手段として機能させる、3D映像の撮影制御を行うための3D映像撮影制御を行うプログラムであって、
前記基線長決定手段は、前記一対の撮像装置の基線長と人間両眼の基線長との比率が、撮影時における前記一対の撮像装置の基線から被写体までの距離(実際距離)と前記3D映像の鑑賞時における人間両眼の基線から被写体までの距離(感知距離)との比率(引込率)が、所定関数により対応付けられる関係であることに基づいて、前記一対の撮像装置の基線長を決定し、前記感知距離を、前記視差に基づいて求めることを特徴とするプログラム。
【請求項17】
請求項16に記載のプログラムにおいて、コンピュータに、
指定された視差を受信する視差受信手段、および、
輻輳角を調整するために前記一対の撮像装置を移動させるよう制御する輻輳角制御手段として機能させるプログラムをさらに含み、
前記輻輳角制御手段は、前記指定された視差に応じた輻輳角となるよう前記一対の撮像装置を移動させ、
前記基線長決定手段は、前記感知距離を、前記指定された視差に基づいて求めることを特徴とするプログラム。
【請求項18】
請求項16に記載のプログラムにおいて、コンピュータに、
指定された引込率を受信する引込率受信手段、および、
輻輳角を調整するために前記一対の撮像装置を移動させるよう制御する輻輳角制御手段として機能させるプログラムをさらに含み、
前記輻輳角制御手段は、前記指定された引込率に基づいて得られる視差に応じた輻輳角となるよう前記一対の撮像装置を移動させ、
前記基線長決定手段は、前記指定された引込率に基づいて前記一対の撮像装置の基線長を決定することを特徴とするプログラム。
【請求項19】
請求項16に記載のプログラムにおいて、コンピュータに、
輻輳角を調整するために前記一対の撮像装置を移動させるよう制御する輻輳角制御手段として機能させるプログラムをさらに含み、
前記引込率と前記一対の撮像装置の画角との掛け算が定数となる関係に基づいて、前記画角から前記引込率を求め、
前記輻輳角制御手段は、前記求められた引込率に基づいて得られる視差に応じた輻輳角となるよう前記一対の撮像装置を移動させ、
前記基線長決定手段は、前記求められた引込率に基づいて前記一対の撮像装置の基線長を決定することを特徴とするプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate


【公開番号】特開2013−105002(P2013−105002A)
【公開日】平成25年5月30日(2013.5.30)
【国際特許分類】
【出願番号】特願2011−248419(P2011−248419)
【出願日】平成23年11月14日(2011.11.14)
【出願人】(510017077)Bi2−Vision株式会社 (2)
【Fターム(参考)】