説明

動画撮像装置および動画撮像方法

【課題】3D映像として認識される映像(第2映像)から平面映像として認識される映像(第1映像)への切り換えまたその逆において、視聴者が違和感なく映像を視聴することができるようにする。
【解決手段】動画撮像装置100は、センターカメラ102と、センターカメラの光軸を含む垂直な面に対して面対称に並置されたサイドカメラ104a、104bであり、光軸210a、210bが光軸212と略平行かつ略同一平面上に位置し、物側主点214a、214bから設定点216までの距離が物側主点214cから設定点までの距離である第1切換距離と略等しく、物側主点を両端としセンターカメラの物側主点を含む円弧が劣弧となる、2つのサイドカメラと、センターカメラと被写体との距離が、第1切換距離より短い場合は第1映像を出力し、第1切換距離より長い場合は第2映像を出力する切換出力部186と、を備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、3D映像として認識される映像を撮像する動画撮像装置および動画撮像方法に関する。
【背景技術】
【0002】
近年、左右に離隔した2台のカメラで同一の被写体を撮像し、水平視差のある左右2つの映像を、偏光眼鏡等を用いて、右のカメラの映像を右眼に、左のカメラの映像を左眼に視認させることで、立体的な映像(3D映像)を視聴者に認識させる技術が、映画やテレビジョン放送等様々な映像技術に採用されている。
【0003】
3D映像として認識される映像は、撮像時にカメラと被写体との距離が近くなりすぎると、左右2つの映像の視差が大きくなりすぎ、自然な3D映像として認識させにくくなり、視聴者の眼に負担がかかってしまう。そこで、カメラから被写体までの距離(以下、被写体距離と称する)が所定値以下のときには一方のカメラで撮像した映像のみを出力し、視聴者に立体的ではない平面的な映像(平面映像)として認識させる方法が知られている。具体的に、左右に離隔した2台のカメラにより撮像された被写体の映像をそれぞれ左右映像として出力し視聴者に3D映像として認識させ、被写体距離が所定値以下のときには2台のうち一方のカメラによる映像を単視点映像(平面映像)として出力し視聴者に平面映像として認識させる立体テレビカメラが提案されている(例えば、特許文献1)。
【0004】
特許文献1に記載したような技術においては、被写体の移動または撮像者(ユーザ)の移動により、被写体距離が変化する場合、被写体距離が所定値より大きい状態から所定値以下になったときに、出力される映像が左右2台のカメラの映像から一方の映像のみに変更され、3D映像として認識させることが困難な映像を視認することに起因する視聴者の眼の負担を軽減できる。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開平8−47001号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかし、上述した技術において、左右2台のカメラの撮像方向は輻輳角を2分した軸であり、いずれか一方のカメラの撮像方向は輻輳角の中心角を成す軸なので、両者で被写体像の位置や向きが異なることとなるため、2台のカメラを用いた3D映像の撮像から、いずれか一方のカメラを用いた平面映像に切り換えると映像がぶれて、視聴者に違和感が生じてしまう。
【0007】
本発明は、このような課題に鑑み、3D映像として認識される映像(第2映像)から平面映像として認識される映像(第1映像)への切り換え、および平面映像として認識される映像から3D映像として認識される映像への切り換えにおいて、視聴者が違和感なく映像を視聴することが可能な、動画撮像装置および動画撮像方法を提供することを目的としている。
【課題を解決するための手段】
【0008】
上記課題を解決するために、本発明の動画撮像装置は、第1映像を撮像するためのセンターカメラと、センターカメラの光軸を含む面に対して面対称に並置された2つのサイドカメラであり、2つのサイドカメラそれぞれの光軸がセンターカメラの光軸と略平行かつ略同一平面上に位置し、それぞれの物側主点からセンターカメラの光軸上の所定の設定点までの距離がセンターカメラの物側主点から所定の設定点までの距離である第1切換距離と略等しく、それぞれの物側主点を両端としセンターカメラの物側主点を含む円弧が劣弧となる、第2映像を撮像するための2つのサイドカメラと、センターカメラと被写体との距離を示す距離情報を取得する距離取得部と、距離情報が示すセンターカメラと被写体との距離が、第1切換距離より短い場合は第1映像を出力し、第1切換距離より長い場合は第2映像を出力する切換出力部と、を備えることを特徴とする。
【0009】
上記動画撮像装置は、上記切換出力部が第1映像から第2映像に出力を切り換えるとき、センターカメラの所定の設定点における縦方向の画角を、2つのサイドカメラの所定の設定点における縦方向の画角と略等しくなるように設定する画角調整部をさらに備えてもよい。
【0010】
上記動画撮像装置は、上記切換出力部が第1映像から第2映像に出力を切り換えるとき、その旨を報知する切換報知部をさらに備えてもよい。
【0011】
上記切換出力部は、センターカメラと被写体との距離が、第1切換距離より長いときであって、第1切換距離より長い第2切換距離より短い場合は、第2映像を出力し、第2切換距離より長い場合は、第1映像を出力してもよい。
【0012】
上記第2切換距離は、視聴者と第1映像または第2映像の表示画面との距離である視聴予定距離に基づいて算出された値以下であってもよい。
【0013】
上記動画撮像装置は、センターカメラで撮像された第1映像および2つのサイドカメラで撮像された第2映像の撮像素子上の光軸の位置を示す光軸情報を含む補助情報を、それぞれ第1映像および第2映像に付与する補助情報付与部をさらに備えてもよい。
【0014】
上記動画撮像装置は、視聴者と第1映像または第2映像の表示画面との予定された距離である視聴予定距離を示す視聴予定距離情報と、表示画面の表示領域の大きさを示す表示領域情報と、を含む入力情報を受け付ける入力受付部と、入力情報に基づいて、センターカメラで撮像した第1映像および2つのサイドカメラで撮像した第2映像のうち、利用される部分領域を特定し、第1映像および第2映像から部分領域を抽出する部分抽出部と、をさらに備えてもよい。
【0015】
上記2つのサイドカメラは交換可能または変形可能に構成され、基線長を変更できてもよい。
【0016】
上記2つのサイドカメラは、撮像された映像の撮像素子上の光軸の位置を示す光軸情報、抽出する部分領域の大きさと画角との関係情報、を含む補助情報を記憶している補助記憶部を備えてもよい。
【0017】
上記課題を解決するために、第1映像を撮像するためのセンターカメラと、センターカメラの光軸を含む垂直な面に対して面対称に並置された2つのサイドカメラであり、2つのサイドカメラそれぞれの光軸がセンターカメラの光軸と略平行かつ略同一平面上に位置し、それぞれの物側主点からセンターカメラの光軸上の所定の設定点までの距離がセンターカメラの物側主点から所定の設定点までの距離である第1切換距離と略等しく、それぞれの物側主点を両端としセンターカメラの物側主点を含む円弧が劣弧となる、第2映像を撮像するための2つのサイドカメラと、を備える動画撮像装置を用いて撮像する本発明の動画撮像方法は、センターカメラと被写体との距離を示す距離情報を取得し、距離情報が示すセンターカメラと被写体との距離が、第1切換距離より短い場合は第1映像を出力し、第1切換距離より長い場合は第2映像を出力する。
【発明の効果】
【0018】
本発明の動画撮像装置は、3D映像として認識される映像から平面映像として認識される映像への切り換え、および平面映像として認識される映像から3D映像として認識される映像への切り換えにおいて、視聴者が違和感なく映像を視聴することが可能となる。
【図面の簡単な説明】
【0019】
【図1】本実施形態の動画撮像装置の一例を示した説明図である。
【図2】遠方の被写体を撮像した第2映像の表示についての説明図である。
【図3】被写体距離が短い場合の第2映像の撮像についての説明図である。
【図4】本実施形態の動画撮像装置の電気的な構成を示した機能ブロック図である。
【図5】本実施形態のセンターカメラとサイドカメラとの位置関係を示す説明図である。
【図6】本実施形態の第2映像の撮像に必要な入力情報の設定画面の一例を示す説明図である。
【図7】第2映像と表示装置に表示される映像の対応関係を示す説明図である。
【図8】センターカメラの光軸上に被写体が位置するときのセンターカメラとサイドカメラの画角を説明する説明図である。
【図9】本実施形態の第1映像と第2映像の出力の切り換えと画角との関係を示す説明図である。
【図10】視距離と奥行き感度の関係を示す説明図である。
【図11】本実施形態のサイドカメラの着脱を示す説明図である。
【図12】本実施形態の遠方撮像用のサイドカメラを示す説明図である。
【図13】本実施形態の動画撮像方法の具体的な処理を示したフローチャートである。
【図14】本実施形態の動画撮像方法の具体的な処理を示したフローチャートである。
【発明を実施するための形態】
【0020】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【0021】
(動画撮像装置100)
図1は、本実施形態の動画撮像装置100の一例を示した説明図である。図1(a)は、動画撮像装置100を正面から見た説明図であり、図1(b)は、動画撮像装置100を上面から見た説明図である。
【0022】
図1(a)に示すように、動画撮像装置100はセンターカメラ102と所定の距離を基線長とするサイドカメラ104(104a、104b)とを備え、センターカメラ102で撮像した映像が平面映像として認識される第1映像となり、また、図1(b)に示すように、被写体106をサイドカメラ104a、104bでそれぞれ撮像した映像が、水平視差のある、3D映像として認識される第2映像となる。第2映像は、3D映像を形成するための互いに水平視差のある2つの映像(サイドカメラ104aにおいて撮像される映像が右眼映像108a、サイドカメラ104bにおいて撮像される映像が左眼映像108b)であり、この2つの映像を両眼視差が得られるように表示装置に表示することで、つまり、表示装置中央正面で表示装置を視聴している視聴者の右眼の正面に右眼映像108aの光軸に相当する点が配置されるように表示装置に表示し、また、視聴者の左眼の正面に左眼映像108bの光軸に相当する点が配置されるように表示装置に表示することで、視聴者により自然な3D映像を知覚させることが可能となる。以下、センターカメラ102(より詳細には後述するセンターカメラ102の物側主点)と被写体106との距離を被写体距離と称する。
【0023】
撮像した第2映像をより自然な3D映像として認識させる場合、サイドカメラ104の基線長と視聴者の眼の間隔とを合わせるとよい。大人と子供では眼の間隔(の標準値)が異なるため、特に遠方の被写体106を撮像する場合には、基線長と、表示装置に表示する右眼映像108aと左眼映像108bとの間隔(以下、ずれ幅と称する)とを子供の眼の間隔に合わせると大人が、大人の眼の間隔に合わせると子供が、3D映像として安全かつ有効に認識できない場合がある。かかる場合について、図2を用いて説明する。
【0024】
図2は、遠方の被写体を撮像した第2映像の表示についての説明図である。図2(a)は、基線長を子供の眼110(110a、110b)の間隔の標準値5.00cmに合わせて子供の眼110の輻輳角が0度となるような遠方(無限遠)の被写体を撮像した第2映像を、右眼映像108aの被写体の映像116aと、左眼映像108bの被写体の映像116bとの間隔を5cmあけて(ずれ幅5cm)表示装置114に表示した場合について、図2(b)は、基線長を大人の眼112(112a、112b)の間隔の標準値6.25cmに合わせて大人の眼112の輻輳角が0度となるような遠方(無限遠)の被写体を撮像した第2映像を、右眼映像108aの被写体の映像116aと、左眼映像108bの被写体の映像116bとの間隔を6.25cmあけて(ずれ幅6.25cm)表示装置114に表示した場合について、それぞれ大人と子供が第2映像を視認する状態の一例を示している。図2(a)および(b)においては、表示装置114に表示されている被写体の映像116a、116bのうち、被写体の映像116aを子供の眼110a(右眼)と大人の眼112a(右眼)で、被写体の映像116bを子供の眼110b(左眼)と大人の眼112b(左眼)でそれぞれ視認しているとする。
【0025】
図2(a)に示すように、子供の眼110(110a、110b)では輻輳角が略0度となり無限遠にあるように認識できる映像も、大人の眼112(112a、112b)では輻輳角が正の値となって近くの限界点118に存在するように認識されてしまい、どんな遠方の被写体の映像も限界点118より離れているようには認識できない。子供の眼110の間隔を5.00cm、大人の眼112の間隔を6.25cmとすると、子供の眼110(大人の眼112)を両端とする線分から限界点118までの距離は視聴距離Aの5倍(距離5A)となる。
【0026】
また、図2(b)に示すように、大人の眼112では輻輳角が略0度となり無限遠にあるように認識できる映像116a、116bも、子供の眼110a、110bでは輻輳角がマイナスの値となってしまい、眼に負担をかけてしまう。子供の眼110の輻輳角がマイナスの値とならずに視認できる限界、すなわち輻輳角が略0度となる場合の被写体の位置は、図2(a)において示す限界点118と等しく、子供の眼110(大人の眼112)を両端とする線分から限界点118までの距離は距離5Aとなる。
【0027】
被写体が限界点118にいるときの被写体距離が、第2映像を3D映像として眼に負担をかけず有効に認識させることができる遠方の限界値になる。この遠方の限界値以下の所定の距離を第2切換距離とする。
【0028】
このように、第2切換距離は、右眼映像108aと左眼映像108bとのずれ幅と、視聴者の眼間距離と、視聴者と第1映像または第2映像の表示画面との距離である視聴予定距離と、に基づいて算出された値以下であればよい。また、右眼映像108aと左眼映像108bとのずれ幅と、眼間距離とは、第2映像を3D映像として眼に負担をかけない範囲であれば、それぞれ所定値を用いてもよい。
【0029】
同様に、第2映像として有効な撮像領域は被写体距離が近くなるほど小さくなり、そのことに伴う近距離側の撮像可能距離の限界値(以下、第1切換距離と称する)もある。第1切換距離に関して、図3を用いて説明する。
【0030】
図3は、被写体距離が短い場合の第2映像の撮像についての説明図である。図3において、動画撮像装置100のサイドカメラ104a、104bの基線長は6.25cm、サイドカメラ104a、104bそれぞれの水平方向の画角を40度とする。また、ハッチングを施した楕円形の範囲は、サイドカメラ104aとサイドカメラ104bの撮像範囲の重複範囲、すなわち、第2映像を有効に取得可能な範囲であり、黒く塗りつぶした楕円形の範囲は、3D映像として認識できない映像となってしまう範囲である。つまり、表示装置114に映される映像は、ハッチングを施した楕円形の範囲の映像のみが利用されることとなる。
【0031】
被写体が、サイドカメラ104からの距離のサイドカメラ104の光軸に平行な成分が8.6cmまでとなる位置にある場合、サイドカメラ104a、104bの一方にしか被写体が映らないため3D映像として認識できる第2映像を撮像できない。被写体が、サイドカメラ104からの距離のサイドカメラ104の光軸に平行な成分が17.2cmとなる位置にある場合、被写体がサイドカメラ104a、104bのどちらにも映り3D映像として認識できる第2映像を有効に取得可能な範囲の割合は、例えばサイドカメラ104aにおいて撮像範囲全体の50%となる。同様に、サイドカメラ104bにおいても第2映像を有効に取得可能な範囲の割合は撮像範囲全体の50%となる。
【0032】
また、被写体が、サイドカメラ104からの距離のサイドカメラ104の光軸に平行な成分が43cmとなる位置にある場合、被写体がサイドカメラ104a、104bのどちらにも映り3D映像として認識できる第2映像を有効に取得可能な範囲の割合は、撮像範囲全体の80%となる。
【0033】
この割合が低すぎると撮像した映像を第2映像として有効利用可能な範囲が小さくなり、撮像素子の有効に利用される領域が狭くなることによる画質の劣化等が原因となって、第2映像を3D映像として認識させることが困難となる。そのため、3D映像として認識できる第2映像を有効に取得可能な範囲の割合として許容する割合の最小値を、例えば80%に設定する。この割合の最小値と、基線長と、サイドカメラ104の画角とによって、第2映像を3D映像として取得可能な、サイドカメラ104から被写体までの距離の下限が定まる。その下限とセンターカメラ102とサイドカメラ104との位置関係とから、第1切換距離が定まる。
【0034】
上述した3D映像として認識できる第2映像を有効に取得可能な範囲の割合として許容する割合の最小値(例えば80%)を定めると、第1切換距離は、基線長が長くなれば長くなり、サイドカメラ104の画角が大きくなれば短くなる。つまり、第1切換距離は、サイドカメラ104の基線長と、サイドカメラ104の画角と、に基づいて算出されることとなる。
【0035】
本実施形態においては、許容する割合の最小値を80%、サイドカメラ104a、104bの基線長を6.25cm、サイドカメラ104a、104bそれぞれの水平方向の画角を40度として定まる、図3に示した約43cmを仮にサイドカメラ104から被写体までの距離の下限の設定値とする。
【0036】
上述した理由から、第2映像を3D映像として認識できる被写体距離の適正な範囲は第1切換距離から第2切換距離までとなる。動画撮像装置100は、被写体距離がその範囲から外れるときは第2映像から第1映像に出力する映像を切り換えるとよい。しかし、単純に映像を切り換えると、この第2映像と第1映像の切り換えの前後で映像内の被写体の位置や画角が変化してしまい、第2映像と第1映像とが切り換わるときに映像がぶれて違和感が生じてしまう。
【0037】
本実施形態では、3D映像として認識される映像と、平面映像として認識される映像との切り換えにおいて、視聴者が違和感なく映像を視聴できるようにすることを目的としている。以下、この目的を達成可能な動画撮像装置100を説明し、その後、動画撮像方法の一連の動作を述べる。
【0038】
図4は、本実施形態の動画撮像装置100の電気的な構成を示した機能ブロック図である。動画撮像装置100は、センターカメラ102と、サイドカメラ104(104a、104b)と、ビューファインダ120と、操作キー122と、信号処理部124と、画像合成部126と、画像圧縮部128と、画像記録部130と、外部出力部132と、中央制御部134と、部分抽出部136と、第1メモリ138と、を含んで構成される。
【0039】
センターカメラ102は、焦点調整に用いられるフォーカスレンズ150、露光調整に用いられる絞り152、撮像レンズ154を通じて入射する光を電気信号(画像信号)に変換する撮像素子(撮像回路)156、フォーカスレンズ150および絞り152を駆動させる駆動回路158、補助記憶部としての第2メモリ170と、を含んで構成され、第1映像を撮像する。センターカメラ102によって撮像され変換された画像信号は、部分抽出部136に向け出力される。
【0040】
サイドカメラ104は、センターカメラ102の光軸を含む面に対して面対称に2つ並置され、それぞれが、フォーカスレンズ150と、絞り152と、撮像レンズ154と、撮像素子156と、駆動回路158と、補助記憶部としての第2メモリ170と、を含んで構成され、第2映像を撮像する。サイドカメラ104の構成要素のうちセンターカメラ102の各構成要素と実質的に同等のものは、同一の符号を付して説明を省略する。サイドカメラ104によって撮像され変換された画像信号は、部分抽出部136に向け出力される。
【0041】
センターカメラ102およびサイドカメラ104における第2メモリ170には、基線長を示す基線長情報(サイドカメラ104のみ)、撮像素子上の光軸の位置を示す光軸情報、抽出する部分領域の大きさと画角との関係情報を含む補助情報が予め記憶されている。第2メモリ170と補助情報については後に詳述する。
【0042】
センターカメラ102とサイドカメラ104とは、本実施形態において特徴的な所定の位置関係を持っている。この位置関係について、図5を用いて説明する。
【0043】
図5は、本実施形態のセンターカメラ102とサイドカメラ104との位置関係を示す説明図である。ここでは、センターカメラ102とサイドカメラ104とを上面側から見ている。センターカメラ102の光軸212上の設定点216に被写体がある場合、被写体が反射する光は、サイドカメラ104a、104b、センターカメラ102それぞれの光学系(図4におけるフォーカスレンズ150、絞り152、撮像レンズ154)218a、218b、218cを通り、撮像素子156上の位置220a、220b、220cで結像する。ここで、センターカメラ102の光軸212は、センターカメラ102の撮像素子上に設定された撮像領域(画像として取得される領域)の中心に差し込む、センターカメラの物側主点214cを通る光の線である。
【0044】
本実施形態における2つのサイドカメラ104a、104bは、センターカメラ102の光軸212を含む面に対して面対称に並置され、サイドカメラ104a、104bの物側主点214a、214bを通る光の線であるそれぞれの光軸210(210a、210b)がセンターカメラ102の光軸212と略平行かつ略同一平面上に位置し、それぞれの物側主点214a、214bからセンターカメラ102の光軸212上の所定の設定点216までの距離が、センターカメラの物側主点214cから所定の設定点216までの距離と略等しく、それぞれの物側主点214a、214bを両端としセンターカメラ102の物側主点214cを含む円弧(図5において、弧ABC)が劣弧となるように配置される。
【0045】
図5には、サイドカメラ104の光軸210a、210bは、センターカメラ102の光軸212と平行である例を挙げたが、かかる場合に限定されず、例えば、サイドカメラ104の光学的な光軸が平行でなかったり、被写体の位置に応じて変動したりしてもよい。この場合も、サイドカメラ104の光軸は、サイドカメラ104a、140bの物側主点214a、214bをそれぞれ通り、センターカメラ102の光軸212に平行な軸を、光軸210a、210bとみなす。
【0046】
本実施形態においては、上述したように図3に示す約43cmを、サイドカメラ104からの距離のサイドカメラ104の光軸に平行な成分の下限とし、この限界に被写体が位置する場合のセンターカメラ102から被写体までの距離(被写体距離)を第1切換距離とする。そして、被写体距離が第1切換距離となる光軸212上の点が設定点216となる。従って、サイドカメラ104a、104bは、基線長が6.25cmとなり設定点216から第1切換距離だけ離れた点にサイドカメラ104の物側主点214a、214bが位置するように配置される。
【0047】
上述したように第1切換距離以内に被写体があるときは3D映像として認識される第2映像を適切に得ることができないので、第1映像に切り換えた方がよい。本実施形態では、第1映像と第2映像との切り換えにおいて、すなわち、被写体が切り換え点にあり被写体距離が第1切換距離となったとき、それぞれの物側主点214a、214b、214cから被写体までの距離が等しくなるように、センターカメラ102とサイドカメラ104とを配置している。
【0048】
そのため、第1映像と第2映像との切り換えにおいて、第1映像全体に対する被写体や背景の大きさの比が第2映像全体に対する被写体や背景の大きさの比と等しくなり、映像内の被写体の大きさも背景の大きさも変化しないため、視聴者が違和感なく映像を視聴できる。
【0049】
図4において、ビューファインダ120は、液晶ディスプレイ、有機EL(Electro Luminescence)ディスプレイ等で構成され、信号処理部124から出力された映像を表示する。撮像者は、ビューファインダ120を介して、信号処理部124から出力された映像であり自身が撮像している映像を視認することができる。操作キー122は、撮像者の操作入力を受け付け、受け付けた操作入力を入力受付部182に向け出力する。
【0050】
信号処理部124は、部分抽出部136から出力された画像信号に、ガンマ補正、ニー処理等の所定の処理を施し、所定の処理を施した画像信号を画像データとして、中央制御部134からの指示に応じて中央制御部134から指定された拡大率で拡大し(電子ズーム)、第1映像の画像データは画像圧縮部128に、第2映像の画像データは画像合成部126に出力する。信号処理部124は、第1映像を拡大する場合、第1映像を光軸212が通る点が、第1映像の中心に位置するように制御する。また、信号処理部124は、並行して、画像データに記録媒体200の空き容量等の種々の情報を重畳してビューファインダ120に出力し、ビューファインダ120に画像(映像)を表示させる。
【0051】
画像合成部126は、信号処理部124から出力された第2映像(右眼映像108aと左眼映像108b)の画像データを、例えば、時分割表示方式、ラインバイライン方式、サイドバイサイド方式、トップアンドボトム方式、フィールドシーケンシャル方式、またはこれらの方式の組み合わせ、設計的に選択が可能なその他の方式等の所定の方式を用いて合成し、画像圧縮部128に出力する。
【0052】
画像圧縮部128は、信号処理部124または画像合成部126から出力された画像データを、M−JPEG(モーションJPEG)やMPEG(Moving Picture Experts Group)−2、H.264などの所定の符号化方式で符号化した画像データとし、符号化された画像データを画像記録部130または外部出力部132に出力する。
【0053】
画像記録部130は、画像圧縮部128から出力された画像データを任意の記録媒体200に記録する。尚、画像データは、第1映像の画像データと、画像合成部126で合成された第2映像の画像データとが、併存するまたは時間軸で排他的に切り換わるデータである。また、画像データには、後述する入力情報の設定を別体の動画再生装置で行う場合、例えばメタデータとして、補助情報付与部184に付与される補助情報(第1映像に関しては、撮像素子上の光軸の位置を示す光軸情報、抽出する部分領域の大きさと画角との関係情報、第2映像に関しては第1映像の補助情報にさらに基線長を示す基線長情報を加えもの)も含む。
【0054】
任意の記録媒体200としては、DVD(Digital Versatile Disc)やBD(Blu-ray Disc)、RAM(Random Access Memory)、EEPROM(Electrically Erasable and Programmable Read Only Memory)、不揮発性RAM、フラッシュメモリ、HD(Hard Disk)等の媒体を適用することができる。また、任意の記録媒体200として、着脱可能な別体の記録媒体を用いることもできる。
【0055】
別体の動画再生装置は、画像データが記録された記録媒体200から、画像データを読み取り、読みとった画像データを復号化して再生可能な画像信号に変換し再生する。特に、第2映像について、動画再生装置は、画像合成部126が映像データの合成に用いた方式を踏まえ、動画再生装置で3D映像として正しく認識できる映像データに変換した上で再生する。
【0056】
外部出力部132は、画像圧縮部128から出力された画像データを、視聴可能な画像信号に加工して、例えば、接続された表示装置114に出力する。画像データは、第1映像の画像データと、画像合成部126で合成された第2映像の画像データとを含み、第2映像の画像データが加工された画像信号は、例えば、第2映像がラインバイライン方式で合成されていた場合、1ライン毎に右眼映像108aと左眼映像108bの画像信号が交互に並んでおり、表示装置114は、偏光表示方式等を利用し1ライン毎に偏光表示し、偏光眼鏡等を装着した視聴者は、右眼に右眼映像108aを、左眼に左眼映像108bを、視認することとなる。
【0057】
中央制御部134は、中央処理装置(CPU)や信号処理装置(DSP:Digital Signal Processor)を含む半導体集積回路により動画撮像装置100全体を管理および制御する。また、中央制御部134は、距離取得部としても機能する撮像制御部180と、入力受付部182と、補助情報付与部184と、切換出力部186と、画角調整部188と、切換報知部190と、を含んで構成される。
【0058】
撮像制御部180は、焦点調整や露光調整を含む撮像制御を遂行する。具体的に、撮像制御部180は、撮像制御を遂行するための制御指令を各カメラの駆動回路158に送出し、駆動回路158は、撮像制御部180から送出された制御指令に従って、フォーカスや絞りを調整する。
【0059】
さらに、撮像制御部180は、センターカメラ102と被写体との距離を示す距離情報を取得する距離取得部として機能し、取得した距離情報を切換出力部186に出力する。具体的に、撮像制御部180は、センターカメラ102から、駆動回路158を通じてフォーカスレンズ150の位置の情報である合焦情報を取得し、合焦情報に基づいて、センターカメラ102から焦点の合った被写体までの被写体距離を求め、距離情報とする。また、被写体距離は、この方法に限られず、例えば、赤外線を放出し被写体からの反射光を検出することで求めてもよいし、フォーカスレンズ150の位置を手動で調節できる調節リングがある場合、その調節リングの位置情報を取得して算出してもよい。
【0060】
また、センターカメラ102およびサイドカメラ104はズームレンズを備えてもよく、その場合、合焦情報は、センターカメラ102のズームレンズの位置の情報を含み、撮像制御部180は、フォーカスレンズ150の位置の情報と、ズームレンズの位置の情報とに基づいて、センターカメラ102から焦点の合った被写体までの被写体距離を算出する。この場合、第1メモリ138は、ズームレンズの位置の情報と倍率との関係を示す関数やテーブルを予め記憶しているものとする。
【0061】
入力受付部182は、操作キー122や、例えばビューファインダ120の表示面に重畳して設置された図示しないタッチパネル等を通じて、撮像者が行った操作入力を受け付け、対応する機能、例えば、電源のON/OFF、撮像開始、撮像停止、等の機能を、対応する各部(例えば、中央制御部134)に実行させる。
【0062】
また、入力受付部182は、入力情報を受け付ける。本実施形態において、入力情報は、第2映像の撮像にかかわる設定情報であり、視聴者が、動画撮像装置100で撮像した第1映像または第2映像を視聴するときの、表示装置114の表示画面との想定される視聴距離(例えば、0.63m、1m、1.9m等)である視聴予定距離を示す視聴予定距離情報と、表示装置114の表示画面の想定される表示領域の大きさ(例えば、17インチ、25インチ、50インチ等)を示す表示領域情報と、視聴者の眼間距離を示す眼間距離情報とを含む。
【0063】
図6は、本実施形態の第2映像の撮像に必要な入力情報の設定画面の一例を示す説明図である。上述したように、撮像者は、入力情報の設定を動画撮像装置100で行うことができるが、別体の動画再生装置で行うこともできる。図6に示す設定画面230aにおいて、撮像者は、操作キー122を用いて、カーソル232を動かし、「設定は動画撮像装置」、「設定は動画再生装置」の表記の左側にある2つのチェックボックス234のうち、いずれかにチェックを入れることで、入力情報の設定を動画撮像装置100で行うか、または別体の動画再生装置で行うか、を設定できる。
【0064】
入力情報の設定を動画撮像装置100で行う場合、撮像者は、操作キー122を用いて、「次画面へ」と表記されたアイコン236を選択し、次画面の設定画面230bに遷移して、表示装置114の表示画面の想定される表示領域の大きさと、視聴予定距離とをテキストボックス238に入力して設定できる。ここでは、視聴者の眼間距離を大人か子供のいずれかに固定しているため、視聴者の眼間距離の入力を省略している。設定された情報は入力情報として入力受付部182に出力され、部分抽出部136において、部分領域を特定するために用いられる。
【0065】
入力情報を受け付ける構成により、撮像者は、後述の出力する第2映像を、視認する環境に応じた適切なものとすることが可能となる。
【0066】
また、入力情報の設定を別体の動画再生装置で行う場合、補助情報付与部184が特に有効に機能する。
【0067】
補助情報付与部184は、センターカメラ102およびサイドカメラ104で撮像された第1映像および第2映像(右眼映像108a、左眼映像108b)の撮像素子156上の光軸の位置を示す光軸情報を生成し、予め定められた、第2映像に関する基線長を示す基線長情報や、抽出する第1映像および第2映像(右眼映像108a、左眼映像108b)の部分領域248の大きさと画角との関係情報と共に第1映像および第2映像に付与する。光軸情報は、例えば、撮像素子156の撮像領域全体もしくは実際に画像を取得する部分領域248に対する座標であったり、または撮像素子156の撮像領域全体もしくは実際に画像を取得する部分領域248の縦横それぞれの長さに対する比率で表したものであったりする。また、基線長情報と、第1映像および第2映像108(右眼映像108a、左眼映像108b)の部分領域248の大きさと画角との関係情報とは、所定値を用いてもよい。尚、光軸情報は撮像領域に対する横方向の情報のみであっても構わない。
【0068】
第2映像に光軸情報が付与されているため、動画再生装置において設定される入力情報と、光軸情報とに基づいて、右眼映像108aと左眼映像108bとのずれ幅を任意の人(例えば子供や大人の眼)の間隔に合わせて表示されるように、部分領域248を抽出することができる。
【0069】
補助情報付与部184は、入力情報の設定を別体の動画再生装置で行わず、動画撮像装置100で行う場合であっても、第1映像および第2映像に補助情報を付与してよい。
【0070】
第2映像をより自然な3D映像として認識するためには、表示装置114の横幅W、視聴予定距離L、眼間距離wとすると、以下の式に基づいて横方向の画角Bを定めるとよい。
B=2×atan((W+w)/2/L) 式(1)
横方向の画角をBとし、サイドカメラ104の基線長を眼間距離wと等しい基線長wとして、動画撮像装置100で第2映像を撮像して表示すると、第2映像がより自然な3D映像として認識される。また、例えば、基線長wを10倍の10wとして第2映像を撮像すると、1/10の箱庭を見ているような3D映像として認識される。また、左右映像のずれ幅を、表示装置114上において視聴者の眼間距離とすることで、視聴者は自然な3D映像を知覚することができる。このとき右眼映像108aの光軸に相当する点は視聴者からみて右側に、左側映像108bの光軸に相当する点は視聴者から見て左側に位置し、互いに水平の位置関係となっている。
【0071】
動画撮像装置100は、この第2映像(右眼映像108a、左眼映像108b)のずれ幅が、任意の人(例えば子供や大人の眼)の間隔に合わせて表示されるように合成し、表示装置114に表示させる。
【0072】
続いて、第2映像を3D映像として認識させる際、どのように表示装置114に表示されるのかを図7を用いて説明する。
【0073】
図7は、第2映像と表示装置114に表示される映像の対応関係を示す説明図である。図7(a)は、センターカメラ102の光軸上にある被写体(センターカメラ102から近い順に被写体242a、242b、242c)をサイドカメラ104a、104bで撮像した場合における、サイドカメラ104a、104bでそれぞれ撮像された右眼映像108a、左眼映像108b上の被写体像244a〜244fと部分領域248(248a〜248f)との関係を示し、図7(b)〜(d)は、それぞれ距離X、Y、Z(0<X<Y<Zとする)で視聴した場合の右眼246aおよび左眼246bに視認される映像254(視聴時に表示装置114の表示領域全体に表示され、右眼246aに視認される映像を右眼用映像254a、左眼に視認される映像を左眼用映像254bとする)と結像された被写体との関係を示している。
【0074】
図7(a)において、サイドカメラ104aで撮像された右眼映像108aには、被写体距離の異なる被写体242a〜242cにそれぞれ対応する被写体像244a〜244cが表示される。また、サイドカメラ104bで撮像された左眼映像108bには、被写体距離の異なる被写体242a〜242cにそれぞれ対応する被写体像244d〜244fが表示される。
【0075】
ここでは、右眼映像108aの光軸に相当する点240aが右眼映像108aの中心位置から右に偏り、左眼映像108bに光軸に相当する点240bが左眼映像108bの中心位置から左に偏っている。
【0076】
第2映像を3D映像として認識させるために、部分抽出部136は、上述した入力情報に含まれる視聴予定距離情報、表示領域情報、眼間距離情報と、第2メモリ170に記憶された補助情報に含まれる基線長情報、光軸情報、抽出する部分領域の大きさと画角との関係情報とに基づいて、第1映像および第2映像から部分領域を抽出する。第1映像の部分領域は、センターカメラ102の光軸を中心として抽出される。第2映像(右眼映像108a、左目映像108b)に関しては以下に説明する処理を通じて部分領域248a〜248fを抽出する。
【0077】
右眼映像108a、左眼映像108bにおいて実際に第2映像として利用される部分領域248a〜248fは表示装置114の表示画面の想定される表示領域の大きさや視聴予定距離に応じて変化する。これは、例えば、窓枠を通して景色を見る場合、窓枠の大きさと視聴者から窓枠までの距離とに応じて見える景色の範囲が変化することと同じ原理である。
【0078】
部分抽出部136は、上述したように、入力情報や補助情報に応じて部分領域248を抽出する。また、部分抽出部136は、センターカメラ102が撮像した部分領域、および、サイドカメラ104a、104bそれぞれが撮像した右眼映像108a、左眼映像108bの部分領域248a〜248fの映像を、視聴予定距離に応じた拡大率で拡大し(アップスケーリング)、表示装置114に表示させる。表示装置114の想定される表示領域の大きさは、部分領域248を抽出する際、表示装置114に表示させる映像の大きさと、表示画面に表示した際の右眼映像108aと左眼映像108bとのずれ幅との関係を求めるために用いられる。
【0079】
例えば、図7(b)に示すように、視聴距離が、サイドカメラ104a、104bからの被写体242aまでの距離のサイドカメラの光軸に平行な成分と等しい場合(視聴距離Xの場合)、部分抽出部136が部分領域248a、248d(図7(a)に示す)を抽出すると、被写体242aの被写体像244a、244dがそれぞれ画面の中心に位置することとなる。部分抽出部136は、第2映像に関して、その抽出された部分領域248a、248dの映像を、例えば水平ラインを交互に並置して、表示装置114に表示させる。右眼用映像254aには、被写体像244a〜244cが、左眼用映像254bには、被写体像244d〜244fがそれぞれ表示される。
【0080】
視聴者が、偏光眼鏡等を着用し、予め設定した視聴予定距離(視聴距離Xを設定したとする)に従って表示装置114を視認すると、右眼246aで右眼用映像254a、左眼246bで左眼用映像254bを、それぞれ視認することとなる。右眼用映像254aには、被写体像244a〜244cが、左眼用映像254bには、被写体像244d〜244fが表示されているので、被写体像244a〜244cと被写体像244d〜244fとは融像し、視聴者は、近距離にある被写体242aを近く(表示装置114の位置)に、中程度の距離にある被写体242bを位置256bに、遠方にある被写体242cを位置256cに、それぞれ存在するかのように3D映像として認識する。
【0081】
同様に、図7(c)に示すように、視聴距離が、サイドカメラ104a、104bからの被写体242bまでの距離のサイドカメラの光軸に平行な成分と等しい場合(視聴距離Yの場合)、部分抽出部136が部分領域248b、248e(図7(a)に示す)を抽出すると、被写体242bの被写体像244b、244eがそれぞれ画面の中心に位置することとなる。ここでも、右眼用映像254aには、被写体像244a〜244cが、左眼用映像254bには、被写体像244d〜244fがそれぞれ図7(b)と位置を異ならせて表示される。
【0082】
視聴者が、偏光眼鏡等を着用し、予め設定した視聴予定距離(視聴距離Yを設定したとする)に従って視認すると、被写体像244a〜244cと被写体像244d〜244fとは融像し、被写体242aを位置256aに、被写体242bを表示装置114の位置に、被写体242cを位置256cに、それぞれ存在するかのように3D映像として認識する。
【0083】
同様に、図7(d)に示すように、視聴距離が、サイドカメラ104a、104bからの被写体242cまでの距離のサイドカメラの光軸に平行な成分と等しい場合(視聴距離Zの場合)、部分抽出部136が部分領域248c、248f(図7(a)に示す)を抽出すると、被写体242cの被写体像244c、244fがそれぞれ画面の中心に位置することとなる。視聴者が、偏光眼鏡等を着用し、予め設定した視聴予定距離(視聴距離Zを設定したとする)に従って視認すると、被写体242aを位置256aに、被写体242bを位置256bに、被写体242cを表示装置114の位置に、それぞれ存在するかのように3D映像として認識する。
【0084】
上述した図7においては、理解を容易にするため電子ズーム機能のみ用いる場合を例に挙げて説明したが、かかる場合に限定されず、図7(c)および(d)において動画撮像装置100は光学ズーム機能を用いて撮像をしてもよい。この場合、部分抽出部136は、光学ズーム機能によって拡大された映像である右眼映像108aおよび左眼映像108bから、光学ズーム機能を用いていない場合より広い部分領域を抽出する。動画撮像装置100は、光学ズーム機能によって拡大された分だけ拡大率を下げて拡大した映像を、表示装置114に表示させる。
【0085】
図4において、切換出力部186は、距離情報が示すセンターカメラ102と被写体との距離、本実施形態において上述した被写体距離が、第1切換距離より短い場合は第1映像をセンターカメラ102に出力させ、第1切換距離より長い場合は第2映像をサイドカメラ104に出力させる。
【0086】
また、センターカメラ102は第1映像を、サイドカメラ104は第2映像を、撮像中、常時、部分抽出部136に出力してもよい。その場合、切換出力部186は、部分抽出部136が部分領域を抽出し信号処理部124に出力する映像を第1映像と第2映像とで切り換える。第1映像および第2映像の撮像を常時出力させる構成により、映像の切り換えを迅速に行うことができる。
【0087】
本実施形態の動画撮像装置100は、第1映像を撮像するセンターカメラ102と、第2映像を撮像するサイドカメラ104a、104bとがそれぞれ個別に設けられ、センターカメラ102とサイドカメラ104a、104bとが図5に示すように配置されているため、第1切換距離における第2映像と第1映像との切り換えにおいても、被写体の位置がずれることがなく、また、所定の設定点216と各カメラとの距離が略等しいため、第1映像全体に対する被写体や背景の大きさの比が第2映像全体に対する被写体や背景の大きさの比と等しくなり、映像内の被写体の大きさも背景の大きさも変化しない。従って、第1映像と第2映像との切り換えにおいて、視聴者が違和感なく映像を視聴できるようにすることが可能となる。
【0088】
上述したサイドカメラ104a、104bが撮像した2つの映像のうち、両方に被写体が含まれる領域が第2映像として用いられる。しかし、被写体距離が短くなると、この3D映像として認識できる第2映像として有効利用可能な映像の領域が小さくなる。ここでは、第2映像として有効利用可能な映像の領域が所定の割合(例えば80%)以下になる第1切換距離を、図3で説明したように、基線長と被写体距離とに基づいて適切に算出しているので、第2映像として有効利用可能な映像の領域が小さくなる前に第1映像に切り換えることが可能となる。
【0089】
さらに、動画撮像装置100は、第1切換距離に限らず第2切換距離においても、限界点118と各カメラとの距離が略等しければ、映像内の被写体の大きさも背景の大きさも変化せず、視聴者が違和感なく映像を視聴できる。しかし、第1切換距離、第2切換距離のどちらにおいても、所定の設定点216もしくは限界点118と各カメラとの距離を略等しくすることはできない。本実施形態の動画撮像装置100では、被写体と各カメラとの距離の差が、画角に大きな影響を与える第1切換距離を優先し、第1切換距離において、所定の設定点216と各カメラとの距離が略等しくなるように配置されている。
【0090】
また、切換出力部186は、距離情報が示すセンターカメラ102と被写体との距離、本実施形態において上述した被写体距離が、第1切換距離より長いときであって、第1切換距離より長い第2切換距離より短い場合は、第2映像をサイドカメラ104に出力させ、第2切換距離より長い場合は、第1映像をセンターカメラ102に、出力させる。
【0091】
上述した式(1)に基づいて横方向の画角Bを決め、サイドカメラ104の物側主点214a、214b間の距離である基線長を、人の眼の間隔と略等しくして撮像すると、視聴者は第2映像をより自然な3D映像として認識し易い。しかし、人の眼の間隔は、例えば大人と子供とで異なり、基線長を子供の眼の間隔に合わせて第2映像を撮像した場合、大人は、遠方の被写体を本来の位置より近くに知覚してしまう。一方、基線長を大人の眼の間隔に合わせて第2映像を撮像した場合、第2映像を子供が視認すると、遠方の被写体の輻輳角がマイナスとなり、眼に負担をかけてしまう。それぞれの場合の限界の被写体距離は略等しく、それを第2切換距離とする。第2切換距離を基準として第1映像と第2映像とを切り換える構成により、3D映像として有効に認識できなくなる離れた被写体の映像を、平面映像として認識されるように適切に出力することが可能となる。
【0092】
図2の説明において上述したように、第2切換距離の適切な値は、眼間距離と、視聴予定距離によって算出された値以下となる。かかる構成により、第1映像と第2映像とを適切な位置で切り換えることが可能となる。
【0093】
さらに、切換出力部186は、第1切換距離および第2切換距離における第1映像と第2映像の出力の切り換えを行わずに、撮像者の操作入力に応じて、第1映像から第2映像に、または第2映像から第1映像に、出力を切り換えてもよい。
【0094】
図4において、画角調整部188は、切換出力部186が第1映像から第2映像に出力を切り換えるとき、センターカメラ102の所定の設定点における縦方向の画角を、2つのサイドカメラ104a、104bの所定の設定点における縦方向の画角と略等しくなるように設定する。
【0095】
図8は、センターカメラ102の光軸212上に、矢印で示された被写体260が垂直方向に立設して位置するときのセンターカメラ102とサイドカメラ104の画角を説明する説明図である。センターカメラ102の光軸212上の被写体260に対してセンターカメラ102の画角262が2・Θであって、かつサイドカメラ104の被写体方向の画角264a、264bが同じく2・Θである場合、切換出力部186が第1映像と第2映像との出力を相互に切り換えるとき、センターカメラ102の光軸212上の被写体260が映る第1映像の被写体の縦方向の画角と、センターカメラ102の光軸212上の被写体が映る第2映像の被写体位置における縦方向の画角とが略等しくなる。このときのサイドカメラ104の光軸210a、210bに沿った画角266a、266bを2・Θとすると、画角調整部188は、サイドカメラ102の画角266a、266bである2・Θに対して、センターカメラ102の画角262を、以下の式(2)(3)で導出される2・Θと設定する(以下、式(2)(3)を用いて導出されるサイドカメラ102の画角266a、266bと、センターカメラ102の画角262との関係を単に「式(3)の関係」といった表現を用いる。)。
【0096】
例えば、撮像対象を平面として捉え、それを平面に投影するレンズを用い、眼間距離をw、基線長をk・w、第1切換距離をLとすると、サイドカメラ104から設定点216までの距離の光軸に平行な成分であるLは、
=((L−(k・w/2))^(1/2) 式(2)
で求められる。
【0097】
センターカメラ102の撮影領域の画角262を2・Θ1、サイドカメラ104の撮影領域の画角266a、266bを2・Θとして、サイドカメラ104の撮影領域の画角266a、266bに対するセンターカメラ102の撮影領域の画角262を、
tanΘ=tanΘ1×L/L 式(3)
とすることで、センターカメラ102の光軸212上の設定点216における被写体とその背景とを同じ比率で撮像することが出来るため、第1映像と第2映像との切換時点におけるそれぞれの被写体260に対する画角が略等しいため、視聴者に違和感を与えることなく映像を切り替えることができる。
【0098】
尚、魚眼レンズを用いる場合も、撮像面に投影された映像を平面映像に補正し、その補正された平面画像に関して、式(3)の関係であればよい。
【0099】
図9は、本実施形態の第1映像と第2映像の出力の切り換えと画角との関係を示す説明図である。ここでは、理解を容易にするため、第2映像としてサイドカメラ104a、104bのうち、サイドカメラ104bの映像を示している。
【0100】
図9において、映像274aは、映像272aを撮像したときよりも被写体が離れており、映像274bは、映像272bを撮像したときよりも被写体が近づいている。また、映像276a、276bは、それぞれ、光学ズームや電子ズーム機能によって映像272a、272bを拡大したものである。さらに、映像278a、278bは、光学ズームや電子ズーム機能によって映像274a、274bを拡大したものである。映像270aと映像272a、映像270bと272bとは、それぞれ式(3)の関係であるものとする。
【0101】
本実施形態において、式(3)の関係であるという状態は、センターカメラ102、サイドカメラ104a、104bそれぞれの撮像素子における撮像領域(電子ズーム機能によって絞られた、撮像される領域)に対応するそれぞれの物側主点214a、214b、214cからの角度である撮像領域中の特定位置の縦方向の画角がそれぞれ略等しい状態を示し、その縦方向の画角を示す撮像領域の特定位置はセンターカメラ102においては光軸が示す位置であり、サイドカメラ104a、104bでは光軸が示す位置ではなく、夫々が映すセンターカメラ102の光軸上の被写体の位置となる。
【0102】
被写体距離が第1切換距離から第2切換距離までの間、切換出力部186は、サイドカメラ104に第2映像(例えば、被写体距離が第2切換距離である映像270a、第1切換距離である映像270b)を出力させる。
【0103】
また、被写体距離が第1切換距離より短い場合、もしくは、第2切換距離より長い場合、切換出力部186は、センターカメラ102に第1映像(例えば、被写体距離が第1切換距離である映像272a、第2切換距離である映像272b)を出力させる。
【0104】
被写体距離が第1切換距離以上第2切換距離以下である場合において被写体が動き、被写体距離が第1切換距離よりも短く、もしくは、第2切換距離よりも長くなった際、切換出力部186は、第2映像から第1映像に出力を強制的に切り換える。
【0105】
一方、被写体距離が第1切換距離より短い場合に被写体が遠ざかり、被写体距離が第1切換距離を超えた際、もしくは、被写体距離が第2切換距離より長い場合に被写体が近づき、被写体距離が第2切換距離より短くなった際、画角調整部188による以下の調整の後に、切換出力部186は、第1映像から第2映像に出力を切り換える。
【0106】
画角調整部188は、切換出力部186が第1映像から第2映像に出力を切り換えるとき、センターカメラ102の画角をサイドカメラ104a、104bの画角に対して、式(3)の関係であるように設定する。
【0107】
例えば、センターカメラ102が、光学ズーム機能もしくは電子ズーム機能によって映像276a、276bや映像278a、278bを撮像している際、第1映像から第2映像に切り換える場合、画角調整部188は、一旦、センターカメラ102の画角をサイドカメラ104a、104bに設定された所定の画角に対して式(3)の関係であるように設定し、サイドカメラ104の映像を映像270a、270bにしてから、センターカメラ102に映像272a、272bを出力させる。上述したように、図9において、映像270aと映像272a、映像270bと272bとは、それぞれの画角が式(3)の関係となっている。
【0108】
画角調整部188が画角を式(3)の関係に設定することで、動画撮像装置100は、第2映像と第1映像の切り換えの前後で、表示装置114上に被写体を同じ大きさで表示させることができる。かかる構成により、第1映像から第2映像に出力を切り換える際に、第1映像において任意の画角を設定していたとしても、第1映像の画角を第2映像の画角に対して式(3)の関係に設定し直してから切り換えるため、視聴者に違和感を与えることなく映像を切り換えることが可能となる。
【0109】
サイドカメラ104の画角は、上述した入力情報や補助情報に基づいて中央制御部134によって決定され、入力情報が変更されたり、サイドカメラ104が着脱・変形され補助情報が変更されたりしない限り、第2映像を出力中、決定された画角が維持される。
【0110】
画角調整部188は、当該動画撮像装置100の電源がONになり、入力情報や補助情報に基づいてサイドカメラ104の画角が決定されると、センターカメラ102およびサイドカメラ104a、104bの画角を、決定された画角と略等しくなるように調整(設定)する。センターカメラ102の画角も決定された画角と略等しくなるように調整することで、当該動画撮像装置100の電源がONになった後、すぐに第2映像の出力を開始し、途中で第1映像に出力を切り換える場合においても、画角の調整がすでに完了しているため、即座に、第1映像に出力を切り換えることができる。
【0111】
切換報知部190は、切換出力部186が第1映像から第2映像に出力を切り換えるとき、その旨を、ビューファインダ120を通じて、例えば、OSD(on-screen display)によって報知する。撮像者は、操作キー122を通じて、第2映像の出力を許可するか否かの応答入力を行う。切換出力部186は、応答入力が第2映像の出力の許可であった場合のみ、サイドカメラ104に第2映像を出力させる。
【0112】
第2映像から第1映像への切り換えは、より自然な3D映像として認識できない第2映像の出力を回避するため強制的に行うべきであるが、第1映像から第2映像への切り換えは、必ずしも行わなくてもよい。かかる構成により、撮像者に第2映像への切り換えを事前に認識させ、その切り換えの要否を判断する機会を与えることができる。
【0113】
さらに、切換報知部190は、第1映像を出力中に第1所定時間(例えば3秒間)、被写体距離が第1切換距離以上第2切換距離以下であった場合、第2映像に切り換える旨を報知し、その後、第2所定時間(例えば2秒間)、被写体距離が第1切換距離以上第2切換距離以下の範囲を維持した場合、切換出力部186は、第1映像から第2映像に出力を切り換えてもよい。かかる構成により安定した第2映像または第1映像を撮像することができる。
【0114】
また、切換報知部190は、被写体距離が第1切換距離より短くなった、あるいは、第2切換距離よりも長くなった場合、切換出力部186が第2映像から第1映像に出力を切り換えるとき、その旨、すなわち、被写体距離が短すぎるあるいは長すぎるため第2映像から第1映像に切り換えることを、報知してもよく、さらに、切換報知部190は、第2映像の出力中に被写体距離が第1切換距離や第2切換距離に近付いた場合、その旨、報知してもよい。
【0115】
また、例えば、第1映像から第2映像に出力を切り換える旨を切換報知部190が報知する際、第1映像の画角が第2映像の画角よりも広い場合、第2映像の画角に相当する範囲を示す、四角い線を画面内に示すことによって第2映像への出力切り換えを報知してもよい。
【0116】
部分抽出部136は、上述したように、設定画面230において入力情報の設定がなされた場合、入力情報および補助情報に基づいて、センターカメラ102で撮像した第1映像およびサイドカメラ104a、104bで撮像した第2映像から部分領域を特定し、第1映像および第2映像から部分領域を抽出して新たに第1映像および第2映像とする。また、部分抽出部136は、ビデオスケーラとしても機能し、抽出した部分領域の解像度を、表示装置114の表示領域に全画面表示できるように所定の解像度までアップスケーリングし、アップスケーリングされた映像信号を信号処理部124に出力する。
【0117】
図10は、視距離と奥行き感度の関係を示す説明図である。図10に示すように、両眼視差は、視距離が近距離であるほど奥行き感度が高く3D映像として認識し易いが、視距離が離れるほど奥行き感度は下がり、視距離が10mにも満たないうちに、運動視差による奥行き感度にも劣ってしまう。即ち、10mを超えるような被写体に対しては両眼視差による立体的な表示効果が劣化する。また、上述したように、子供の眼110の間隔と大人の眼112の間隔との違いから、被写体距離が第2切換距離、例えば9.5mを超えると立体的な表示効果を適切に得ることができない。
【0118】
しかし、遠方の被写体を撮像する場合においても、第2映像を撮像し3D映像として視認したいという場面も想定される。そこで、サイドカメラ104は、着脱可能もしくは変更可能に構成され、基線長を変更できることとする。
【0119】
図11は、本実施形態のサイドカメラ104a、104bの着脱を示す説明図である。図11(a)は、動画撮像装置100を上面から見た説明図であり、図11(b)は、動画撮像装置100を正面から見た説明図であり、図11(c)(d)は、図11(b)のサイドカメラ104a、104bを取り外した様子を示す。
【0120】
サイドカメラ104a、104bは、図11(c)に示すように、接続部290で接続されて一体となっていてもよいし、図11(d)に示すように、別体として個々に取り外し可能であってもよい。
【0121】
図12は、本実施形態の遠方撮像用のサイドカメラ104を示す説明図である。上述したように遠方の被写体を撮像したい場合、動画撮像装置100のサイドカメラ104a、104bを、図12に示すように、図1に示すサイドカメラ104より基線長が長いものと取り換えることができる。
【0122】
サイドカメラ104を交換可能または変形可能に構成することで、サイドカメラ104の物側主点214間の距離、即ち基線長を変更することができ、例えば、基線長を人の眼の間隔の10倍の長さとして撮像することで、第2切換距離を10倍に延長することが可能となる。同様に、第2切換距離は、例えば、基線長を人の眼の間隔の2倍として撮像すれば2倍に、5倍として撮像すれば5倍に延長できる。かかる構成により、例えば、運動会において、基線長を長くし第2切換距離を延ばすことで、遠方の被写体を3D映像として認識される映像を撮像することができる。
【0123】
第1メモリ138には、動画撮像装置100の機械的な寸法や姿勢等の形状情報が予め記憶されている。動画撮像装置100は、形状情報と、上述した第2メモリ170に記憶されている基線長とに基づいて、センターカメラ102の物側主点214cに対するサイドカメラ104の物側主点214a、214bの相対的な位置を特定できる。
【0124】
また、第2メモリ170には、サイドカメラ104のメーカー、製品名が特定できる識別番号等のみを記憶させておき、第1メモリ138には、識別番号と補助情報とを関連付けた情報(テーブル)を記憶させておいてもよい。
【0125】
上述したように、サイドカメラ104に第2メモリ170を備える構成により、サイドカメラ104を基線長が異なる他のサイドカメラ104と交換した際、動画撮像装置100は、交換後の他のサイドカメラ104の第2メモリ170の補助情報を参照し、第2映像の撮像に関わる設定を自動的に更新することができる。したがって、撮像者は面倒な手動による設定を行わずとも3D映像として認識される映像を容易に撮像することが可能となる。
【0126】
本実施形態の動画撮像装置100は、第1切換距離における第2映像と第1映像との切り換えにおいても、映像内の被写体や背景の位置や大きさも変化せず、視聴者が違和感なく映像を視聴することが可能となる。
【0127】
(動画撮像方法)
続いて、上述した動画撮像装置100を用いた動画撮像方法について説明する。図13および図13は、本実施形態の動画撮像方法の具体的な処理を示したフローチャートである。図13における動画撮像方法の処理は、動画撮像装置100が起動されると実行され、図14における動画撮像方法の処理は、動画撮像装置100が撮像している間実行される。
【0128】
図13において、動画撮像装置100の電源がONされると(S300)、中央制御部134は、第2メモリ170から補助情報を取得する(S302)。そして、撮像者が撮像モードを選択し(S304)、選択された撮像モードが第1映像と第2映像の切換モードであるか否かの判定をする(S306)。
【0129】
選択された撮像モードが第1映像と第2映像の切換モードである場合(S306のYES)、中央制御部134は、撮像者に設定画面230、232で3D撮像の条件設定を行わせ(S308)、入力情報と補助情報とに基づいてサイドカメラ104の画角を決定する(S310)。そして、画角調整部188は、センターカメラ102およびサイドカメラ104a、104bの画角を、決定された画角に調整する(S312)。一方、選択された撮像モードが第1映像と第2映像の切換モードでない場合(S306のNO)、特別な処理は行わない。
【0130】
図13の処理が完了したのち、動画撮像装置100の撮像が開始され、選択された撮像モードが第1映像と第2映像の切換モードである場合、所定のサンプリング周期毎に図14の処理が繰り返される。
【0131】
図14において、中央制御部134は、センターカメラ102の合焦情報を取得し(S350)、合焦情報に基づいて、被写体距離が第1切換距離以上第2切換距離以下であるか否かを判定する(S352)。被写体距離が第1切換距離以上第2切換距離以下でない場合(S352のNO)、切換出力部186は、センターカメラ102に第1映像を出力させる(S354)。
【0132】
被写体距離が第1切換距離以上第2切換距離以下である場合(S352のYES)、現在、センターカメラ102が第1映像を出力中であるか否かを判定する(S356)。第1映像を出力中である場合(S356のYES)、第2映像に切り換える旨を前回報知してから所定時間が経過しているか否かを判定する(S358)。報知してから所定時間が経過している場合(S358のYES)、切換報知部190は第1映像から第2映像に出力を切り換える旨を、ビューファインダ120を通じて撮像者に報知する(S360)。そして、撮像者からの応答入力が第2映像の出力の許可であるか否かを判定し(S362)、第2映像の出力の許可である場合(S362のYES)、画角調整部188は、センターカメラ102の画角をサイドカメラ104a、104bに設定された画角に対して式(3)の関係となるように設定し直す(S364)。
【0133】
第1映像出力中判定ステップ(S356)において、第1映像を出力中でないと判定された場合(S356のNO)、もしくは、画角調整ステップ(S364)の後、切換出力部186は、サイドカメラ104に第2映像を出力させる(S366)。
【0134】
報知後時間判定ステップ(S358)において、所定時間が経過していないと判定された場合(S358のNO)、または、許可判定ステップ(S362)において、撮像者からの応答入力が第2映像の出力の許可でない場合(S362のNO)、第1映像出力ステップ(S354)の処理を行う。
【0135】
本実施形態の動画撮像装置100を用いた動画撮像方法によれば、第2映像と第1映像との切り換えにおいて、設定点216と各カメラとの距離が略等しいため、映像内の被写体や背景の位置や大きさも変化せず、視聴者が違和感なく映像を視聴することが可能となる。
【0136】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【0137】
例えば、上述したセンターカメラ102の光軸212は、光学系の撮像レンズ154の光軸に限らず、撮像レンズ154の光軸が撮像素子156上の撮像領域の中心からずれている場合に、撮像レンズ154の光軸を撮像素子156上の撮像領域の中心を通るように平行移動させた軸をセンターカメラ102の光軸212とみなしてもよい。
【0138】
上述した動画撮像装置100は、中央制御部134がセンターカメラ102、サイドカメラ104a、104bをそれぞれ制御していたが、かかる場合に限定されず、センターカメラ102、サイドカメラ104a、104bがそれぞれ制御部を備えてもよい。また、センターカメラ102やサイドカメラ104a、104bは、それぞれ第2メモリ170を備えているが、サイドカメラ104a、104bが同一の躯体に備えられている場合、1つの第2メモリ170にセンターカメラ102やサイドカメラ104の全ての補助情報が記憶されていてもよい。
【0139】
なお、本明細書の動画撮像方法における各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【0140】
本発明は、3D映像として認識される映像を撮像する動画撮像装置および動画撮像方法に利用することができる。
【符号の説明】
【0141】
100 …動画撮像装置
102 …センターカメラ
104(104a、140b) …サイドカメラ
106 …被写体
136 …部分抽出部
170 …第2メモリ(補助記憶部)
180 …撮像制御部(距離取得部)
182 …入力受付部
184 …補助情報付与部
186 …切換出力部
188 …画角調整部
190 …切換報知部
210(210a、210b) …光軸
212 …光軸
214(214a、214b、214c) …物側主点
216 …設定点
248 …部分領域

【特許請求の範囲】
【請求項1】
第1映像を撮像するためのセンターカメラと、
前記センターカメラの光軸を含む面に対して面対称に並置された2つのサイドカメラであり、前記2つのサイドカメラそれぞれの光軸が前記センターカメラの光軸と略平行かつ略同一平面上に位置し、それぞれの物側主点から前記センターカメラの光軸上の所定の設定点までの距離が前記センターカメラの物側主点から前記所定の設定点までの距離である第1切換距離と略等しく、前記それぞれの物側主点を両端とし前記センターカメラの物側主点を含む円弧が劣弧となる、第2映像を撮像するための2つのサイドカメラと、
前記センターカメラと被写体との距離を示す距離情報を取得する距離取得部と、
前記距離情報が示す前記センターカメラと被写体との距離が、前記第1切換距離より短い場合は前記第1映像を出力し、前記第1切換距離より長い場合は前記第2映像を出力する切換出力部と、
を備えることを特徴とする動画撮像装置。
【請求項2】
前記切換出力部が前記第1映像から前記第2映像に出力を切り換えるとき、前記センターカメラの前記所定の設定点における縦方向の画角を、前記2つのサイドカメラの前記所定の設定点における縦方向の画角と略等しくなるように設定する画角調整部をさらに備えることを特徴とする請求項1に記載の動画撮像装置。
【請求項3】
前記切換出力部が前記第1映像から前記第2映像に出力を切り換えるとき、その旨を報知する切換報知部をさらに備えることを特徴とする請求項1または2に記載の動画撮像装置。
【請求項4】
前記切換出力部は、前記センターカメラと被写体との距離が、前記第1切換距離より長いときであって、
前記第1切換距離より長い第2切換距離より短い場合は、前記第2映像を出力し、前記第2切換距離より長い場合は、前記第1映像を出力することを特徴とする請求項1から3のいずれか1項に記載の動画撮像装置。
【請求項5】
前記第2切換距離は、前記視聴者と前記第1映像または第2映像の表示画面との距離である視聴予定距離に基づいて算出された値以下であることを特徴とする請求項4に記載の動画撮像装置。
【請求項6】
前記センターカメラで撮像された第1映像および前記2つのサイドカメラで撮像された第2映像の撮像素子上の光軸の位置を示す光軸情報を含む補助情報を、それぞれ前記第1映像および前記第2映像に付与する補助情報付与部をさらに備えることを特徴とする請求項1から5のいずれか1項に記載の動画撮像装置。
【請求項7】
視聴者と前記第1映像または第2映像の表示画面との予定された距離である視聴予定距離を示す視聴予定距離情報と、前記表示画面の表示領域の大きさを示す表示領域情報と、を含む入力情報を受け付ける入力受付部と、
前記入力情報に基づいて、前記センターカメラで撮像した第1映像および前記2つのサイドカメラで撮像した第2映像のうち、利用される部分領域を特定し、前記第1映像および前記第2映像から前記部分領域を抽出する部分抽出部と、
をさらに備えることを特徴とする請求項1から6のいずれか1項に記載の動画撮像装置。
【請求項8】
前記2つのサイドカメラは交換可能または変形可能に構成され、前記基線長を変更できることを特徴とする請求項1から7のいずれか1項に記載の動画撮像装置。
【請求項9】
前記2つのサイドカメラは、撮像された映像の撮像素子上の光軸の位置を示す光軸情報、抽出する部分領域の大きさと画角との関係情報、を含む補助情報を記憶している補助記憶部を備えることを特徴とする請求項8に記載の動画撮像装置。
【請求項10】
第1映像を撮像するためのセンターカメラと、前記センターカメラの光軸を含む垂直な面に対して面対称に並置された2つのサイドカメラであり、前記2つのサイドカメラそれぞれの光軸が前記センターカメラの光軸と略平行かつ略同一平面上に位置し、それぞれの物側主点から前記センターカメラの光軸上の所定の設定点までの距離が前記センターカメラの物側主点から前記所定の設定点までの距離である第1切換距離と略等しく、それぞれの物側主点を両端とし前記センターカメラの物側主点を含む円弧が劣弧となる、第2映像を撮像するための2つのサイドカメラと、を備える動画撮像装置を用いて撮像する動画撮像方法であって、
前記センターカメラと被写体との距離を示す距離情報を取得し、
前記距離情報が示す前記センターカメラと被写体との距離が、前記第1切換距離より短い場合は前記第1映像を出力し、前記第1切換距離より長い場合は前記第2映像を出力することを特徴とする動画撮像方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate


【公開番号】特開2011−114382(P2011−114382A)
【公開日】平成23年6月9日(2011.6.9)
【国際特許分類】
【出願番号】特願2009−266357(P2009−266357)
【出願日】平成21年11月24日(2009.11.24)
【出願人】(000004329)日本ビクター株式会社 (3,896)
【Fターム(参考)】