動画像撮影装置および動画像撮影方法
【課題】視差を持って配置された２つの撮像部を有する動画像撮影装置により、長時間の２次元動画像の撮影を実現する。
【解決手段】異なる視点から共通の被写体を撮像する２つの撮像部と、２つの撮像部を交互に撮像動作させ、撮像動作させている撮像部によって得られる画像を出力する切り替え部を有し、切り替え部によって出力される画像を用いて、２次元動画像データを生成する生成部と、切り替えに先立って、２つの撮像部によって得られる画像に含まれる共通の被写体についての視差が所定の閾値よりも小さくなるタイミングを切り替えタイミングとして検出する検出部とを備え、切り替え部は、検出部によって検出された切り替えタイミングに基づいて、２つの撮像部による撮像動作の切り替えを制御する。
【解決手段】異なる視点から共通の被写体を撮像する２つの撮像部と、２つの撮像部を交互に撮像動作させ、撮像動作させている撮像部によって得られる画像を出力する切り替え部を有し、切り替え部によって出力される画像を用いて、２次元動画像データを生成する生成部と、切り替えに先立って、２つの撮像部によって得られる画像に含まれる共通の被写体についての視差が所定の閾値よりも小さくなるタイミングを切り替えタイミングとして検出する検出部とを備え、切り替え部は、検出部によって検出された切り替えタイミングに基づいて、２つの撮像部による撮像動作の切り替えを制御する。
【発明の詳細な説明】
【技術分野】
【０００１】
本件開示は、２つの撮像素子を有する動画像撮影装置および動画像撮影方法に関する。
【背景技術】
【０００２】
携帯端末や電子カメラなどの撮像装置に搭載されている撮像素子は、長時間にわたって駆動し続けると過熱してしまう場合がある。撮像素子の過熱を防ぐために、従来は、電子カメラなどの制御プログラムなどにより、動画像の連続撮影時間を制限する技術が提案されている。
【０００３】
また、複数の撮像素子を有する携帯端末を用いてテレビ電話サービスを利用する際に、温度時間テーブルに基づいて、複数の撮像素子を同時に駆動するモードの継続時間を制限する技術が提案されている(特許文献１参照)。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１９５０４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、３次元(３Ｄ)動画像の撮影のために、視差を持って配置された２つの撮像部を有する動画像撮影装置が実用化されている。このような動画像撮影装置に搭載された２つの撮像部は、それぞれ２次元(２Ｄ)動画像の取得にも利用することができる。
【０００６】
本件開示の装置および方法は、視差を持って配置された２つの撮像部を有する動画像撮影装置により、長時間の２次元動画像の撮影を実現することを目的とする。
【課題を解決するための手段】
【０００７】
一つの観点による動画像撮影装置は、異なる視点から共通の被写体を撮像する２つの撮像部と、２つの撮像部を交互に撮像動作させ、撮像動作させている撮像部によって得られる画像を出力する切り替え部を有し、切り替え部によって出力される画像を用いて、２次元動画像データを生成する生成部と、切り替えに先立って、２つの撮像部によって得られる画像に含まれる共通の被写体についての視差が所定の閾値よりも小さくなるタイミングを切り替えタイミングとして検出する検出部とを備え、切り替え部は、検出部によって検出された切り替えタイミングに基づいて、２つの撮像部による撮像動作の切り替えを制御する。
【０００８】
別の観点による動画像撮影方法は、異なる視点から共通の被写体を撮像する２つの撮像部を交互に切り替えて動作させることにより、２次元動画像データを取得する際に、切り替えに先立って、２つの撮像部によって得られる画像間の視差が所定の閾値よりも小さくなるタイミングを切り替えタイミングとして検出し、検出された切り替えタイミングに基づいて、２つの撮像部の動作の切り替えを制御する。
【発明の効果】
【０００９】
本件開示の装置および方法によれば、視差を持って配置された２つの撮像部を有する動画像撮影装置により、長時間の２次元動画像の撮影を実現することができる。
【図面の簡単な説明】
【００１０】
【図１】動画像撮影装置の一実施形態を示す図である。
【図２】動画像撮影動作を説明する図である。
【図３】動画像撮影装置の状態遷移図の一例を示す図である。
【図４】動画像撮影装置のハードウェア構成の一例を示す図である。
【図５】撮像部を切り替える処理のフローチャートである。
【図６】視差を評価する処理を説明する図である。
【図７】視差を評価する処理のフローチャートである。
【図８】補間画像の生成処理を説明する図である。
【図９】補間画像を生成する処理のフローチャートである。
【発明を実施するための形態】
【００１１】
以下、図面に基づいて、本発明の実施形態について詳細に説明する。
【００１２】
図１に、動画像撮影装置の一実施形態を示す。
【００１３】
図１に示した動画像撮影装置は、２つの撮像部１０１Ｌ，１０１Ｒと、生成部１１０と、検出部１２０とを含んでいる。２つの撮像部１０１Ｌ，１０１Ｒは、例えば、３次元動画像あるいは３次元静止画像の撮影を目的として、人間の左右の目に相当する視差を持つように配置されている。
【００１４】
生成部１１０は、２つの撮像部１０１Ｌ，１０１Ｒの一方に撮像動作を実行させるとともに、他方を待機状態とすることにより、２つの撮像部１０１Ｌ，１０１Ｒを交互に切り替えて動作させる。また、生成部１１０は、これらの撮像部１０１Ｌ，１０１Ｒで得られる画像に基づいて、２次元動画像ｍｖを生成する。そして、生成部１１０は、生成した２次元動画像ｍｖを、出力端子Ｖｏｕｔを介して出力する。
【００１５】
検出部１２０は、２つの撮像部１０１Ｌ，１０１Ｒで得られる画像に基づいて、例えば、これらの撮像部１０１Ｌ，１０１Ｒが共通して捉えている被写体についての視差が所定の閾値以下となるタイミングを切り替えタイミングＴｃとして検出する。検出部１２０は、例えば、撮像部１０１Ｌが動作中である場合に、この撮像部１０１Ｌの連続動作時間が過熱の防止のために設定された制限時間に到達する前に、撮像部１０１Ｒへの切り替えタイミングＴｃを検出してもよい。
【００１６】
そして、検出部１２０によって検出された切り替えタイミングＴｃに基づいて、生成部１１０は、２つの撮像部１０１Ｌ，１０１Ｒの動作状態の切り替えを制御する。これにより、例えば、動作中の撮像部１０１Ｌと待機中の撮像部１０１Ｒとで得られる２つの画像に共通する被写体の視差が小さくなったときに、生成部１１０は、撮像部１０１Ｌを待機状態に切り替え、撮像部１０１Ｒを動作状態に切り替えることができる。
【００１７】
このように、本件開示の動画像撮影装置は、２つの撮像部１０１Ｌ，１０１Ｒの切り替えに先立って、好適な切り替えタイミングＴｃを探索し、この探索で検出した切り替えタイミングＴｃに基づいて、２つの撮像部１０１Ｌ，１０１Ｒの切り替えを実行する。これにより、本件開示の動画像撮影装置の生成部１１０は、切り替えによる不連続性の少ない２次元動画像ｍｖを生成することができる。
【００１８】
このようにして、本件開示の動画像撮影装置は、視差を持って配置された２つの撮像部１０１Ｌ，１０１Ｒを切り替え動作させながら、切り替え前後での画像の変化が抑制された長時間の２次元動画像を撮影することができる。
【００１９】
次に、本件開示の動画像撮影装置に含まれる生成部１１０および検出部１２０について説明する。
【００２０】
生成部１１０は、切り替え部１０２と、第２取得部１１１と、補間部１１２と、出力制御部１１３とを含んでいる。
【００２１】
切り替え部１０２は、動画像撮影装置に搭載された２つの撮像部１０１Ｌ，１０１Ｒを交互に駆動する。以下の説明では、２つの撮像部１０１Ｌ，１０１Ｒのうち、切り替え部１０２によって撮像動作させられている方を動作中の撮像部１０１と称し、他方を待機中の撮像部１０１と称する。切り替え部１０２は、検出部１２０によって検出される切り替えタイミングＴｃに基づいて、２つの撮像部１０１Ｌ，１０１Ｒの動作状態の切り替えを制御する。
【００２２】
また、切り替え部１０２は、例えば、動作中の撮像部１０１を動画像撮影のための所定のフレームレートで駆動することにより、動作中の撮像部１０１から各フレームの画像を取得し、取得した画像を順次に出力する。例えば、撮像部１０１Ｌが動作中の撮像部１０１である場合に、切り替え部１０２は、上述したフレームレートに対応するフレーム間隔ｔｆごとに、撮像部１０１Ｌによって得られる画像ＧＬを順次に出力する。なお、切り替え部１０２が動作中の撮像部１０１に適用するフレームレートは、例えば、毎秒３０フレームとしてよい。
【００２３】
切り替え部１０２によって出力される画像は、出力制御部１１３と補間部１１２とに入力される。
【００２４】
また、第２取得部１１１は、検出部１２０によって検出された切り替えタイミングＴｃの後に設定される所定の時間を有する移行期間にわたって、待機中の撮像部１０１を動作中の撮像部１０１の撮像動作に同期して駆動させる。これにより、第２取得部１１１は、上述した移行期間にわたって、動作中の撮像部１０１と同時に撮影された画像を、待機中の撮像部１０１から取得する。
【００２５】
補間部１１２は、第２取得部１１１によって取得された画像と、切り替え部１０２によって出力される動作中の撮像部１０１によって得られる画像とを合成することにより、補間画像Ｇｉｎｔを生成する。以下の説明では、補間部１１２による合成処理の対象となる画像のうち、動作中の撮像部１０１で得られた画像を切り替え元の画像ＧＢと称する。一方、第２取得部１１１によって取得される画像は、切り替え先となる待機中の撮像部１０１によって得られた画像であるので、切り替え先の画像ＧＦと称する。
【００２６】
また、図１に示した出力制御部１１３は、検出部１２０によって検出される切り替えタイミングＴｃに応じて、切り替え部１０２によって出力される画像と補間部１１２によって生成される補間画像Ｇｉｎｔとを切り替えて出力する。出力制御部１１３は、通常は、切り替え部１０２によって出力される各フレームの画像を順次に出力することによって２次元動画像ｍｖを生成する。一方、上述した移行期間にわたって、出力制御部１１３は、切り替え部１０２の出力に代えて、補間部１１２によって得られる各フレームの補間画像Ｇｉｎｔを２次元動画像ｍｖの一部として順次に出力する。
【００２７】
図２に、動画像撮影動作を説明する図を示す。図２において、撮像部１０１Ｌによる撮像動作で得られる画像ＧＬを白い矩形で示す。また、図２に示した網掛けを付した矩形は、撮像部１０１Ｒによる撮像動作で得られる画像ＧＲを示す。
【００２８】
図２は、動作中の撮像部１０１を撮像部１０１Ｌから撮像部１０１Ｒに切り替える過程で、各撮像部１０１Ｌ，１０１Ｒで得られる画像ＧＬ，ＧＲと、動画像撮影装置から出力される２次元動画像ｍｖとの関係を示している。
【００２９】
また、図２に示した符号Ｔｃは、検出部１２０によって検出される切り替えタイミングを示す。図２に示した例において、この切り替えタイミングＴｃ以前の期間において、出力制御部１１３によって出力される２次元動画像ｍｖは、動作中の撮像部１０１である撮像部１０１Ｌで得られた画像ＧＬに基づいて生成される。
【００３０】
第２取得部１１１は、例えば、図２に示すように、切り替えタイミングＴｃから所定の時間ｔｐが経過した後に、待機中の撮像部１０１を、動作中の撮像部１０１と同等のフレームレートで駆動する動作を開始してもよい。なお、図２の例において、移行期間は、切り替えタイミングＴｃから時間ｔｐが経過した後の時間ｔｒの期間である。この移行期間の長さは、例えば、上述したフレーム間隔ｔｆの自然数ｍ倍としてもよい。この移行期間において、第２取得部１１１は、待機中の撮像部１０１によってフレーム間隔ｔｆごとに得られる各フレームの画像を切り替え先の画像ＧＦとして取得する。
【００３１】
そして、図１に示した補間部１１２は、図２に示すように、２つの撮像部１０１Ｌ，１０１Ｒからそれぞれフレーム間隔ｔｆごとに得られる画像ＧＬ，ＧＲを、それぞれ切り替え元の画像ＧＢ，切り替え先の画像ＧＦとして合成する。この合成処理により、補間部１１２は、２つの撮像部１０１Ｌ，１０１Ｒの中間の視点を持つ仮想的な撮像部に対応する補間画像Ｇｉｎｔをフレーム間隔ｔｆごとに生成する。
【００３２】
上述した移行期間にわたって、出力制御部１１３は、この補間部１１２によって生成された補間画像Ｇｉｎｔを、切り替え部１０２によって出力される画像に代えて、２次元動画像ｍｖの一部として出力する。なお、図２の例において、二重線で表した矩形は、移行期間において補間部１１２によって生成される補間画像Ｇｉｎｔを示す。
【００３３】
このようにして、移行期間が経過した後に、切り替え部１０２は、２つの撮像部１０１Ｌ，１０１Ｒの動作状態を切り替える。例えば、切り替え部１０２は、それまで動作させていた動作中の撮像部１０１に対する駆動動作を停止し、待機中の撮像部１０１に対する駆動動作を開始する。
【００３４】
例えば、図２に示した例において、符号Ｔａを付した矢印は、撮像部１０１Ｌから撮像部１０１Ｒへの切り替えが実行されるタイミングを示す。このタイミングＴａにおいて、切り替え部１０２は、撮像部１０１Ｌの撮像動作を停止させる一方、移行期間において動作を開始した撮像部１０１Ｒの撮像動作はそのまま継続させる。これにより、図２に示すように、上述したタイミングＴａ以降は、フレーム間隔ｔｆごとに撮像部１０１Ｒによって得られる画像ＧＲが、２次元動画像ｍｖの一部として出力される。
【００３５】
一方、図１に例示した検出部１２０は、第１取得部１２１と、評価部１２２と、特定部１２３と、タイマ１２４とを含んでいる。
【００３６】
第１取得部１２１は、例えば、タイマ１２４からの制御信号ＳＴに応じて、待機中の撮像部１０１を周期的に駆動する動作を開始する。第１取得部１２１は、例えば、待機中の撮像部１０１を所定の時間間隔ｔｄごとに駆動することにより、この待機中の撮像部１０１で得られる画像を周期的に取得する。なお、この時間間隔ｔｄは、例えば、フレーム間隔ｔｆの自然数ｎ倍に設定してもよい。
【００３７】
図１に示したタイマ１２４は、動作中の撮像部１０１が撮像動作を継続することが可能な残り時間Ｔｒｅｍを示す内部値を保持しており、この内部値を時間の経過に応じて減じる動作を行う。タイマ１２４は、例えば、上述した切り替え部１０２が撮像部１０１の切り替えを実行したタイミングを示す制御信号ＲＳに応じて、内部値に、撮像部１０１の過熱を防ぐために設定された制限時間に相当する値を初期値としてセットしてもよい。また、タイマ１２４は、時間の経過に応じて減じられた内部値が、所定の時間Ｄｓを示す値に到達したときに、制御信号ＳＴを出力することによって、第１取得部１２１に動作を開始させる。
【００３８】
例えば、図２に示した符号Ｔｓは、動作中となっている撮像部１０１Ｌが撮像動作を継続している時間が、撮像部１０１の過熱を防ぐために設定された制限時間に到達するタイミングを示す。上述したタイマ１２４は、このタイミングＴｓから上述した時間Ｄｓだけ遡った時点で制御信号ＳＴを出力することにより、第１取得部１２１の動作を開始させる。
【００３９】
このようにして、動作中の撮像部１０１による撮像動作が継続可能なうちに、第１取得部１２１による待機中の撮像部１０１の画像を取得する動作を開始させることができる。
【００４０】
また、図１に示した評価部１２２は、切り替え部１０２によって出力される画像と第１取得部１２１が取得した画像とを比較することにより、２つの撮像部１０１Ｌ，１０１Ｒが共通して捉えている被写体についての視差を評価する。特定部１２３は、評価部１２２による評価結果に基づいて、２つの撮像部１０１Ｌ，１０１Ｒが共通して捉えている被写体についての視差が所定の閾値よりも小さくなるタイミングを切り替えタイミングＴｃとして特定する。このようにして、検出部１２０は、２つの撮像部１０１Ｌ，１０１Ｒが共通して捉えている被写体についての視差が所定の閾値よりも小さくなる切り替えタイミングＴｃを検出することができる。
【００４１】
図２に示した符号Ｔ１，Ｔ２，Ｔ３は、上述した第１取得部１２１が、待機中となっている撮像部１０１Ｒから画像ＧＲを取得するタイミングの例を示す。図２の例は、タイミングＴ３で、２つの撮像部１０１Ｌ，１０１Ｒからそれぞれ得られる画像ＧＬ，ＧＲを比較した結果に基づいて、切り替えタイミングＴｃが検出された場合を示している。
【００４２】
このようにして検出された切り替えタイミングＴｃに基づいて、生成部１１０は、上述したようにして、補間部１１２によって生成した補間画像Ｇｉｎｔを出力する移行期間を経て、２つの撮像部１０１Ｌ，１０１Ｒを切り替える。
【００４３】
動画像撮影装置に搭載された２つの撮像部１０１Ｌ，１０１Ｒの切り替えに先立って、このような移行期間を設けることにより、切り替えに伴う視点の変化が出力される２次元動画像ｍｖに及ぼす影響を更に抑制することができる。これにより、本件開示の動画像撮影装置は、視点の異なる２つの撮像部１０１Ｌ，１０１Ｒを切り替えながら、自然な連続性を維持した２次元動画像を出力することができる。
【００４４】
図３に、本件開示の動画像撮影装置の状態遷移図の一例を示す。
【００４５】
図３に示した符号ＰＬは、図１に示した撮像部１０１Ｌが単独で撮像動作している状態を示す。また、符号Ｐｓ(Ｌ→Ｒ)は、撮像部１０１Ｌから撮像部１０１Ｒへの切り替えタイミングを探索している状態を示す。そして、符号Ｐｔ(Ｌ→Ｒ)は、撮像部１０１Ｌから撮像部１０１Ｒへの切り替えに先立つ移行期間に対応する状態を示す。また、符号ＰＲは、図１に示した撮像部１０１Ｒが単独で撮像動作している状態を示す。また、符号Ｐｓ(Ｒ→Ｌ)は、撮像部１０１Ｒから撮像部１０１Ｌへの切り替えタイミングを探索している状態を示す。そして、符号Ｐｔ(Ｒ→Ｌ)は、撮像部１０１Ｒから撮像部１０１Ｌへの切り替えに先立つ移行期間に対応する状態を示す。
【００４６】
図３に示したように、本件開示の動画像撮影装置の状態は、状態ＰＬ，状態Ｐｓ(Ｌ→Ｒ)，状態Ｐｔ(Ｌ→Ｒ)、状態ＰＲ，状態Ｐｓ(Ｒ→Ｌ)、状態Ｐｔ(Ｒ→Ｌ)を循環的遷移する過程で、２つの撮像部１０１Ｌ，１０１Ｒを切り替え動作させる。これにより、個々の撮像部１０１Ｌ，１０１Ｒに設定された過熱防止のための連続動作時間に対する制限にかかわらず、本件開示の動画像撮影装置は、長時間の２次元動画像の撮影を実現することができる。なお、図２に示した符号ＰＬは、動画像撮影装置の状態が状態ＰＬである期間を示す。また、図２に示した符号Ｐｓ(Ｌ→Ｒ)は、動画像撮影装置の状態が状態Ｐｓ(Ｌ→Ｒ)である期間を示す。同様に、図２に示した符号Ｐｔ(Ｌ→Ｒ)は、動画像撮影装置の状態が状態Ｐｔ(Ｌ→Ｒ)である期間を示す。そして、図２に示した符号ＰＲは、動画像撮影装置の状態が状態ＰＲである期間を示す。
【００４７】
図４に、動画像撮影装置のハードウェア構成の一例を示す。
【００４８】
図４に例示した動画像撮影装置は、２つの撮像部１０１Ｌ，１０１Ｒと、画像処理用のプロセッサ２１と、メモリ２２と、記録処理部２３と、メモリコントローラ２４とを含んでいる。２つの撮像部１０１Ｌ，１０１Ｒと、プロセッサ２１と、メモリ２２と、記録処理部２３との各部は、メモリコントローラ２４を介して互いに接続されている。
【００４９】
図４に例示した動画像撮影装置は、例えば、３次元動画像撮影機能を有するデジタルビデオカメラあるいはデジタルカメラなどである。そして、２つの撮像部１０１Ｌ，１０１Ｒは、例えば、３次元動画像あるいは３次元静止画像の撮影を目的として、人間の左右の目に相当する視差を持つように配置されている。また、記録処理部２３は、例えば、メモリカードなどの着脱可能な記録媒体との間で、画像データなどの記録処理および読出処理を実行する。
【００５０】
また、動画像撮影装置は、装置制御用のプロセッサ２８と、外部インタフェース(外部Ｉ／Ｆ)２９と、操作パネル３０とを含んでもよい。プロセッサ２８と、外部インタフェース２９、操作パネル３０およびメモリコントローラ２４とは、互いにバスを介して接続されている。外部インタフェース２９は、プロセッサ２８の制御の下で、例えば、パーソナルコンピュータなどとメモリ２２との間のデータのやり取りを媒介する。
【００５１】
メモリ２２は、２つの撮像部１０１Ｌ，１０１Ｒを交互に動作させるための切り替え処理プログラムを格納している。プロセッサ２１は、この切り替え処理プログラムに従って撮像部１０１Ｌ，１０１Ｒの動作を制御することにより、図１に示した生成部１１０および検出部１２０の機能を実現する。
【００５２】
なお、例えば、外部インタフェース２９を利用して、パーソナルコンピュータなどを経由して切り替え処理プログラムを読み込み、読み込んだ切り替え処理プログラムをメモリ２２に格納させてもよい。
【００５３】
また、図４に示した撮像部１０１Ｒは、撮像素子２５Ｒと、駆動制御部２６Ｒと、フォーマット変換部２７Ｒとを含んでいる。同様に、撮像部１０１Ｌは、撮像素子２５Ｌと、駆動制御部２６Ｌと、フォーマット変換部２７Ｌとを含んでいる。
【００５４】
駆動制御部２６Ｒ，２６Ｌは、それぞれ撮像素子２５Ｒ，２５Ｌによる撮像動作を駆動する。また、駆動制御部２６Ｒ，２６Ｌは、撮像素子２５Ｒ，２５Ｌによる撮像動作で得られた信号から画像ＧＲ，ＧＬを生成する。フォーマット変換部２７Ｒ，２７Ｌは、駆動制御部２６Ｒ，２６Ｌで生成された画像ＧＲ，ＧＬのデータ形式を、ＹＣｂＣｒ形式などの出力用のデータ形式に変換する。
【００５５】
動画像撮影装置が３次元動画像の撮影を行う場合に、撮像部１０１Ｒ，１０１Ｌは動画像撮影のための所定のフレームレートで並行して動作する。そして、フォーマット変換部２７Ｒ，２７Ｌは、出力用のデータ形式に変換した画像ＧＲ，ＧＬを、動画像撮影のためのフレームレートに対応するフレーム間隔ｔｆごとに、メモリコントローラ２４を介してメモリ２２に格納する。また、記録処理部２３は、メモリ２２に格納された出力用のデータ形式の画像ＧＲ，ＧＬを記録媒体に記録する処理を行う。なお、記録処理部２３は、画像ＧＲ，ＧＬの記録媒体に記録する過程で、例えば、ＭＰＥＧ方式などに基づいた圧縮処理を行ってもよい。
【００５６】
一方、動画像撮影装置が２次元動画像の撮影を行う際に、プロセッサ２１は、撮像部１０１Ｒ，１０１Ｌを交互に切り替えて動作させる処理を行う。
【００５７】
なお、動画像撮影装置は、例えば、プロセッサ２８の制御の下で、操作パネル３０などを介して撮影者が入力したモード切り替え指示に応じて、３次元動画像を撮影するモードと２次元動画像を撮影するモードとを切り替えて動作してもよい。また、プロセッサ２８は、動画像撮影装置の各部を制御することにより、３次元静止画像および２次元静止画像の撮影を行ってもよい。
【００５８】
例えば、モード切り替え指示により、２次元動画像を撮影するモードへの切り替えが指示されたときに、プロセッサ２１は、２つの撮像部１０１Ｌ，１０１Ｒを交互に切り替えて２次元動画像を生成する処理を開始する。
【００５９】
そして、一方の撮像部１０１の連続動作時間が、過熱防止のために設定された制限時間に近づいたときに、プロセッサ２１は、切り替え処理プログラムの実行を開始する。例えば、プロセッサ２１は、図１に示したタイマ１２４について説明したように、制限時間から連続動作時間を差し引いて得られる残り時間Ｔｒｅｍが時間Ｄｓとなったときに、切り替え処理プログラムの実行を開始してもよい。なお、この時間Ｄｓは、例えば、２つの撮像部１０１Ｌ，１０１Ｒの切り替えに好適なタイミングを探索するために要する時間と、上述した移行期間とを考慮して決定してもよい。
【００６０】
図５に、撮像部１０１Ｒ，１０１Ｌを切り替える処理のフローチャートを示す。
【００６１】
プロセッサ２１は、まず、待機中の撮像部１０１から画像を取得するタイミングを制御するための変数ｔに初期値０を設定する(ステップＳ１１)。次いで、プロセッサ２１は、動作中の撮像部１０１で得られる画像を、２次元動画像ｍｖの一部として出力する(ステップＳ１２)。ステップＳ１２において、プロセッサ２１は、動作中の撮像部１０１に含まれるフォーマット変換部２７に対して、変換済みの画像をメモリコントローラ２４を介して出力させてもよい。
【００６２】
その後、プロセッサ２１は、変数ｔが待機中の撮像部１０１から画像を取得する時間間隔ｔｄ未満であるか否かを判定する(ステップＳ１３)。なお、この時間間隔ｔｄは、例えば、図２に示したように、フレーム間隔ｔｆの整数ｎ倍としてもよい。変数ｔの値が時間間隔ｔｄ未満である場合に(ステップＳ１３の肯定判定)、プロセッサ２１は、ステップＳ１４で変数ｔにフレーム間隔ｔｆを加算した後に、ステップＳ１２の処理に戻る。
【００６３】
図５に示したステップＳ１１〜ステップＳ１４を繰り返して、動作中の撮像部１０１で得られたｎフレームの画像を出力したときに、上述した変数ｔの値は時間間隔ｔｄに等しくなる。このとき、プロセッサ２１は、ステップＳ１３の肯定判定として、ステップＳ１５の処理に進む。
【００６４】
ステップＳ１５で、プロセッサ２１は、待機中の撮像部１０１を駆動して１フレームの画像を取得する。例えば、プロセッサ２１は、待機中の撮像部１０１に含まれる駆動制御部２６を介して撮像素子２５を一時的に駆動し、待機中の撮像部１０１に含まれるフォーマット変換部２７と、メモリ２２、メモリコントローラ２４を介して、１フレームの画像を取得すればよい。このように、プロセッサ２１が、ステップＳ１５の処理を実行することにより、図１に示した第１取得部１２１の機能を実現してもよい。
【００６５】
次いで、プロセッサ２１は、ステップＳ１５で得られた画像とステップＳ１２で得られた画像とに基づいて、これらの画像に共通して捉えられた被写体についての２つの撮像部１０１Ｒ，Ｌの視差を評価する(ステップＳ１６)。このように、プロセッサ２１が、ステップＳ１６の処理を実行することにより、図１に示した評価部１２２の機能を実現してもよい。なお、ステップＳ１６の処理の詳細については後述する。
【００６６】
そして、プロセッサ２１は、ステップＳ１６で得られた評価結果で示される視差の大きさと所定の閾値との比較結果に基づいて、動作中の撮像部１０１から待機中の撮像部１０１への切り替えが可能であるか否かを判定する(ステップＳ１７)。なお、ステップＳ１７において、プロセッサ２１がステップＳ１６で得られた評価結果と比較する閾値を決定する手法については後述する。
【００６７】
ステップＳ１６で得られた評価結果で示される視差の大きさが上述した閾値よりも大きい場合に(ステップＳ１７の否定判定)、プロセッサ２１は、ステップＳ１８に進む。このステップＳ１８で、プロセッサ２１は、動作中の撮像部１０１を連続動作させられる残り時間Ｔｒｅｍが、上述した時間Ｄｅよりも大きいか否かを判定する。なお、ステップＳ１８において、プロセッサ２１が残り時間Ｔｒｅｍと比較する時間Ｄｅは、例えば、図２に示した時間Ｄｓよりも短い時間であって、移行期間に相当する時間ｔｒよりも長い時間に設定してもよい。
【００６８】
動作中の撮像部１０１に対応する残り時間Ｔｒｅｍが上述した時間Ｄｅよりも大きい場合に(ステップＳ１８の肯定判定)、プロセッサ２１は、ステップＳ１１の処理に戻る。そして、プロセッサ２１は、待機中の撮像部１０１から新たな画像を取得する処理を開始する。
【００６９】
このようにしてステップＳ１１〜ステップＳ１８の処理を繰り返すことにより、プロセッサ２１は、上述した時間間隔ｔｄで、待機中の撮像部１０１である撮像部１０１Ｒによって得られる画像ＧＲを取得する。
【００７０】
そして、例えば、図２にタイミングＴ３で取得した画像ＧＲと画像ＧＬとについて得られた評価結果が上述した閾値以下である場合に(ステップＳ１７の肯定判定)、プロセッサ２１は、撮像部１０１Ｌから撮像部１０１Ｒへの切り替えが可能になったと判断する。このように、プロセッサ２１が、ステップＳ１７の処理を実行することにより、図１に示した特定部１２３の機能を実現してもよい。
【００７１】
ステップＳ１７の肯定判定の場合に、プロセッサ２１は、図５に示したステップＳ１９の処理に進む。ステップＳ１９で、プロセッサ２１は、動作中の撮像部１０１で得られる画像を切り替え元の画像ＧＢとして取得するとともに、待機中の撮像部１０１で得られる画像を切り替え先の画像ＧＦとして取得する。例えば、プロセッサ２１は、待機中の撮像部１０１に含まれる駆動制御部２６を介して、撮像素子２５を動画像撮影のためのフレームレートで駆動してもよい。この駆動処理によって駆動制御部２６Ｒで得られた画像ＧＲを、プロセッサ２１は、切り替え先の画像ＧＦとして取得する。このように、プロセッサ２１が、ステップＳ１９の処理を実行することにより、図１に示した第２取得部１１１の機能を実現してもよい。
【００７２】
次いで、プロセッサ２１は、ステップＳ１９で取得した切り替え元の画像ＧＢおよび切り替え先の画像ＧＦに基づいて、補間画像Ｇｉｎｔを生成する(ステップＳ２０)。このように、プロセッサ２１が、ステップＳ２０の処理を実行することにより、図１に示した補間部１１２の機能を実現してもよい。なお、ステップＳ２０の処理の詳細については後述する。
【００７３】
次に、プロセッサ２１は、ステップＳ２０で生成した補間画像Ｇｉｎｔを、切り替え元の画像ＧＢの代わりに、２次元動画像データの一部として出力する(ステップＳ２１)。このようにして、プロセッサ２１がステップＳ２１の処理を実行することにより、図１に示した出力制御部１１３の機能を実現してもよい。
【００７４】
その後、プロセッサ２１は、ステップＳ２２において、図２に例示した時間ｔｒを有する移行期間が終了したと判定するまで、ステップＳ１９〜ステップＳ２２の処理を繰り返す。
【００７５】
例えば、図２に示した移行期間Ｐｔ(Ｌ→Ｒ)において、プロセッサ２１は、ステップＳ１９〜ステップＳ２２の処理を繰り返す。この処理の過程で、プロセッサ２１は、撮像部１０１Ｌおよび撮像部１０１Ｒから各フレームの画像ＧＬおよび画像ＧＲを取得するごとに、ステップＳ２０の処理を実行することにより、各フレームの補間画像Ｇｉｎｔを生成する。そして、このようにして生成した各フレームの補間画像Ｇｉｎｔを、プロセッサ２１は、２次元動画像ｍｖの一部として出力する。
【００７６】
なお、プロセッサ２１は、待機中の撮像部１０１を動画撮影用のフレームレートで駆動するのに先立って、図２の例のように、所定の予備時間ｔｐを設けてもよい。この場合に、プロセッサ２１は、上述したようにして切り替え可能なタイミングＴ３が検出されてから予備時間ｔｐが経過した後に、ステップＳ１９〜ステップＳ２２の移行処理を開始する。一方、上述した予備時間ｔｐが不要である場合に、プロセッサ２１は、ステップＳ１７で、切り替え可能なタイミングを検出したときに、ステップＳ１９〜ステップＳ２２の移行処理を開始してもよい。
【００７７】
ステップＳ１９〜ステップＳ２２の移行処理を開始してから時間ｔｒが経過したときに(ステップＳ２２の肯定判定)、プロセッサ２１は、２つの撮像部１０１Ｒ，１０１Ｌの動作状態を切り替える処理を行う(ステップＳ２３)。例えば、プロセッサ２１は、動作中の撮像部１０１Ｌ内の駆動制御部２６Ｌを介して、撮像部１０１Ｌを休止状態にする。その一方、プロセッサ２１は、撮像部１０１Ｒ内の駆動制御部２６Ｒを介して、この撮像部１０１Ｒによる撮像動作を継続させる。このようにして、プロセッサ２１によって、撮像部１０１Ｌと撮像部１０１Ｒとの役割を切り替えた後の動画像撮影装置の状態は、撮像部１０１Ｒの単独動作状態ＰＲに遷移する。
【００７８】
図３に示した単独動作期間ＰＲにおいて、撮像部１０１Ｒは、撮像部１０１Ｌに代わって、動画撮影用のフレームレートに対応するフレーム間隔ｔｆで画像ＧＲを生成する。そして、この画像ＧＲは、そのまま２次元動画像ｍｖの一部として、メモリコントローラ２４を介してメモリ２２に格納される。
【００７９】
このように、本件開示の動画像撮影装置は、撮像部１０１Ｌから撮像部１０１Ｒへの切り替えを実現することができる。そして、撮像部１０１Ｒを動作中の撮像部１０１とし、撮像部１０１Ｌを待機中の撮像部１０１として動作させた後、上述した切り替え処理を再び行うことにより、撮像部１０１Ｒから撮像部１０１Ｌへの切り替えを実現することができる。
【００８０】
このように、図４に例示したハードウェア構成を有する動画像撮影装置により、図３に示した６つの状態を循環的に遷移する過程で、２つの撮像部１０１Ｌ，１０１Ｒを交互に切り替えながら長時間の２次元動画像撮影を行う動画像撮影装置を実現することができる。
【００８１】
なお、図５に例示したフローチャートのように、ステップＳ１７の否定判定の場合でも、残り時間Ｔｒｅｍが時間Ｄｅ以下であると判定したときに(ステップＳ１８の否定判定)、プロセッサ２１は、ステップＳ１９〜ステップＳ２２の移行処理を実行してもよい。
【００８２】
例えば、時間Ｄｅに、上述した移行期間に相当する時間ｔｒに所定の猶予時間を加算した時間を設定してもよい。この場合に、プロセッサ２１は、動作中の撮像部１０１の連続動作時間が過熱防止のために設定された制限時間に到達する前に、確実に、待機中の撮像部１０１への切り替えを完了させることができる。
【００８３】
また、ステップＳ１６で得られた評価結果により、２つの撮像部１０１Ｌ，１０１Ｒの視差が極めて小さいことが示された場合などに、プロセッサ２１は、ステップＳ１９〜ステップＳ２２の移行処理をスキップしてもよい。例えば、遠くの山並みなどの風景を撮影している場合などには、主要な被写体である風景に対する２つの撮像部１０１Ｌ，１０１Ｒの視差は非常に小さくなる。したがって、プロセッサ２１は、ステップＳ１６で得られた評価結果と、このような場合について２つの撮像部１０１Ｌ，１０１Ｒの視差を評価した結果に相当する閾値とを比較することにより、上述した移行処理をスキップするか否かを判定してもよい。
【００８４】
また、図４に例示したプロセッサ２１に代えて、図５に示した撮像部を切り替える処理のためのプログラムを組み込んだデジタルシグナルプロセッサ(ＤＳＰ：Digital Signal Processor)などのハードウェアを用いてもよい。
【００８５】
次に、２つの撮像部１０１Ｌ，１０１Ｒの視差を評価する処理について説明する。
【００８６】
図６に、視差を評価する処理を説明する図を示す。図６において、符号ＧＬ，ＧＲは、それぞれ撮像部１０１Ｌ，１０１Ｒで得られた画像ＧＬ，ＧＲを示す。また、図６に示した各画像ＧＬにおいて、符号ＭＢは、画像ＧＬをＮ×Ｎ画素の小領域に分割して得られるブロックの一つである。なお、各ブロックの大きさは、例えば、１６画素×１６画素としてもよい。図６においては、図の見易さのために、個々のブロックの大きさを拡大して示している。
【００８７】
図６(Ａ)，(Ｂ)は、２つの撮像部１０１Ｌ，１０１Ｒにより、樹木を含む風景を背景として近距離にいる人物を同時に撮影して得られた画像ＧＬ，ＧＲの例である。
【００８８】
図６(Ａ)，(Ｂ)に示した画像ＧＬ，ＧＲに共通して含まれる人物についての視差は、例えば、画像ＧＬの人物の部分に含まれるブロックＭＢについて、画像ＧＲとブロックマッチングを行って得られる視差ベクトルＶｄに基づいて求めることができる。図６(Ｂ)において、符号ＭＢ’は、画像ＧＬに含まれるブロックＭＢについてのブロックマッチングによって画像ＧＲから検出された領域を示す。画像ＧＬのブロックＭＢについての画像ＧＲとの視差ベクトルＶｄは、例えば、画像ＧＬのブロックＭＢの左上の画素の位置を基準として、画像ＧＲの領域ＭＢ’の左上の画素の位置を示すベクトルとして求めることができる。
【００８９】
また、図６(Ｃ)，(Ｄ)は、２つの撮像部１０１Ｌ，１０１Ｒにより、背景となる樹木に近い位置にある車両を同時に撮影して得られた画像ＧＬ，ＧＲの例である。また、図６(Ｄ)に示した符号符号ＭＢ’は、画像ＧＬに含まれるブロックＭＢについてのブロックマッチングによって画像ＧＲから検出された領域を示す。そして、図６(Ｃ)に示した符号Ｖｄは、画像ＧＬに含まれる車両の像の一部を含むブロック部分ＭＢについての視差ベクトルを示す。
【００９０】
図６(Ａ)、(Ｃ)に示した視差ベクトルＶｄの比較から分かるように、図６(Ａ)，(Ｂ)に示した画像ＧＬ，ＧＲに含まれる人物についての視差に比べて、図６(Ｃ)，(Ｄ)に示した画像ＧＬ，ＧＲに含まれる車両についての視差は小さい。このように、２つの撮像部１０１Ｌ，１０１Ｒによって同時に得られる画像ＧＬ，ＧＲに共通して含まれる被写体の視差が小さいときに、撮像部１０１Ｌ，１０１Ｒの切り替えれば、切り替え前後での画像の急激な変化を抑制することができる。
【００９１】
ところで、図６(Ａ)，(Ｂ)に示した画像ＧＬ，ＧＲに共通に含まれる樹木の部分を互いに比較すると、樹木の部分についての視差は、人物についての視差に比べて小さいことがわかる。また、図６(Ｃ)，(Ｄ)に示した画像ＧＬ，ＧＲにおいても、同様に、樹木の部分についての視差と、車両についての視差とは異なっている。
【００９２】
このように、２つの撮像部１０１Ｌ，１０１Ｒによって同時に得られる画像ＧＬ，ＧＲに共通して含まれる各被写体の視差は、それぞれ異なっているので、この画像ＧＬ，ＧＲ間の視差は、各被写体についての視差ベクトルに基づいて評価することが望ましい。
【００９３】
画像ＧＬと画像ＧＲとの間の視差の大きさは、例えば、画像ＧＬに含まれる各ブロックについて求めた視差ベクトルＶｄに基づいて評価することができる。例えば、各ブロックについて求めた視差ベクトルＶｄの平均値を、画像ＧＬと画像ＧＲとの間の視差の大きさを示す評価指標としてもよい。
【００９４】
このように、各ブロックについて求めた視差ベクトルＶｄの平均値を評価指標の一つとすることにより、人間の視覚による印象と同様に、近距離に被写体が存在する画像ＧＬ，ＧＲについての視差が、被写体の位置が背景に近い場合よりも大きいと判定することができる。
【００９５】
図７に、２つの撮像部１０１Ｌ，１０１Ｒの視差を評価する処理のフローチャートを示す。図７に示したステップＳ３１〜ステップＳ３７の処理は、図５に示したステップＳ１６の処理の一例である。
【００９６】
プロセッサ２１は、まず、動作中の撮像部１０１で得られた切り替え元の画像ＧＢをＮ×Ｎ画素のブロックに分割する(ステップＳ３１)。例えば、プロセッサ２１は、切り替え元の画像ＧＢを１６×１６画素あるいは８×８画素のブロックに分割してもよい。
【００９７】
次いで、プロセッサ２１は、切り替え元の画像ＧＢを分割して得られた各ブロックについて、待機中の撮像部１０１で得られた切り替え先の画像ＧＦとのブロックマッチング処理を行う(ステップＳ３２)。Ｓ３２の処理で、プロセッサ２１は、まず、切り替え元の画像ＧＢに含まれるブロックの一つを順に選択する。次いで、このブロックＭＢについて、プロセッサ２１は、切り替え先の画像ＧＦから最も類似している領域ＭＢ’を検出する。そして、切り替え元の画像ＧＢに含まれるブロックＭＢの位置と切り替え先の画像ＧＦに含まれる領域ＭＢ’の位置とに基づいて、ブロックＭＢに対応する視差ベクトルＶｄを算出する。また、このとき、プロセッサ２１は、ブロックＭＢに含まれる各画素と領域ＭＢ’に含まれる各画素との差分の絶対値をブロックＭＢに含まれる全画素について積算することにより、差分絶対値和ＳＡＤ(Sum of Absolute Difference)を算出する。
【００９８】
次に、プロセッサ２１は、ステップＳ３２の処理で算出した視差ベクトルＶｄを、例えば、当該ブロックＭＢを識別するブロック番号に対応して保持する(ステップＳ３３)。プロセッサ２１は、例えば、切り替え元の画像ＧＢに含まれる全ブロックに対応して視差ベクトルＶｄを保持するための領域をメモリ２２に確保し、この領域に、ステップＳ３２で算出した視差ベクトルＶｄを格納してもよい。次いで、プロセッサ２１は、ステップＳ３２で算出した差分絶対値和ＳＡＤを総和Ｓに加算する(ステップＳ３４)。なお、プロセッサ２１は、上述したステップＳ３３とステップＳ３４の処理を逆の順序で実行してもよい。
【００９９】
その後、プロセッサ２１は、切り替え元の画像ＧＢに含まれる全てのブロックについて、上述したステップＳ３２からステップＳ３４の処理が完了したか否かを判定する(ステップＳ３５)。
【０１００】
未処理のブロックがある場合に(ステップＳ３５の否定判定)、プロセッサ２１は、ステップＳ３２の処理に戻る。そして、新たに選択したブロックについて、ステップＳ３２〜ステップＳ３４の処理を実行する。
【０１０１】
このようにして、プロセッサ２１は、切り替え元の画像ＧＢに含まれる各ブロックについて、ステップＳ３２〜ステップＳ３４の処理を繰り返して実行する。そして、全てのブロックについてステップＳ３２〜ステップＳ３４の処理が完了したときに(ステップＳ３５の肯定判定)、プロセッサ２１は、ステップＳ３６処理に進む。
【０１０２】
ステップＳ３６で、プロセッサ２１は、上述したステップＳ３３で各ブロックについて保持した視差ベクトルＶｄに基づいて、平均視差ベクトルＶｄａｖを算出する。例えば、プロセッサ２１は、各ブロックのブロック番号に対応してメモリ２２に格納した視差ベクトルＶｄを読み出し、読み出した視差ベクトルＶｄの平均値を求めることにより、平均視差ベクトルＶｄａｖを求めてもよい。
【０１０３】
その後、プロセッサ２１は、ステップＳ３６で求めた平均視差ベクトルＶｄａｖと、総和Ｓとを２つの画像ＧＢ，ＧＦの視差の大きさを示す指標として出力する(ステップＳ３７)。なお、総和Ｓは、プロセッサ２１が、１フレームに含まれる全てのブロックについて上述したステップＳ３２〜ステップＳ３４の処理を実行する過程で、各ブロックについて得られた差分絶対値和ＳＡＤを積算していくことによって得られる。
【０１０４】
このようにして求めた平均視差ベクトルＶｄａｖは、図６を用いて説明したように、切り替え元の画像ＧＢと切り替え先の画像ＧＦとの視差の大きさを示している。また、１フレームに含まれる差分絶対値和ＳＡＤを積算した値である総和Ｓは、各ブロックについて得られた視差ベクトルが確からしいときに小さい値となる。逆に、例えば、撮像部１０１Ｌ，１０１Ｒの一方に撮影者の指がかかっている場合のように、各ブロックについて得られる視差ベクトルの確からしさが低い場合には、差分絶対値和ＳＡＤの総和Ｓは大きな値となる。
【０１０５】
このようにして求めた平均視差ベクトルＶｄａｖと差分絶対値和ＳＡＤの総和Ｓとを評価指標とすることにより、プロセッサ２１は、図５に示したステップＳ１７の処理で、２つの画像ＧＢ、ＧＦの視差が小さいか否かを高い確度で判定することができる。
例えば、プロセッサ２１は、ステップＳ１７の処理で評価結果と比較する閾値として、平均視差ベクトルＶｄａｖについての閾値Ｔｈｖと差分絶対値和ＳＡＤの総和Ｓについての閾値Ｔｈｓを用いてもよい。
【０１０６】
なお、平均視差ベクトルＶｄａｖについての閾値Ｔｈｖに好適な値および差分絶対値和の総和Ｓについての閾値Ｔｈｓに好適な値は、例えば、２つの撮像素子に備えられたレンズの光軸の関係や撮像素子の解像度により異なる。このため、製品の開発段階などに、動画像撮影装置によって視差があるシーンを撮影した３Ｄ静止画像および視差が無いシーンを撮影した３Ｄ静止画像に基づいて、動画像撮影装置ごとに閾値Ｔｈｖ，Ｔｈｓを決定しておくことが望ましい。例えば、視差があるシーンを撮影した３Ｄ静止画像について得られる平均視差ベクトルＶｄの範囲と、視差が無いシーンを撮影した３Ｄ静止画像について得られる平均視差ベクトルＶｄの分布との範囲とをそれぞれ求めておく。そして、これらの範囲を互いに比較した結果に基づいて、平均視差ベクトルＶｄａｖについての閾値Ｔｈｖを決定してもよい。同様に、視差があるシーンを撮影した３Ｄ静止画像に対応する差分絶対値和ＳＡＤの総和Ｓの範囲と、視差が無いシーンを撮影した３Ｄ静止画像に対応する差分絶対値和ＳＡＤの総和Ｓの範囲とをそれぞれ求めておく。そして、これらの範囲を互いに比較した結果に基づいて、差分絶対値和ＳＡＤの総和Ｓについての閾値Ｔｈｓを決定してもよい。
【０１０７】
本件開示の動画像撮影装置は、上述したようにして求めた評価指標に基づいて、２つの撮像部１０１Ｌ，１０１Ｒの切り替えタイミングを決定する。これにより、本件開示の動画像撮影装置によれば、出力される２次元動画像の連続性を維持しやすいタイミングで、２つの撮像部１０１Ｌ，１０１Ｒを切り替えることができる。したがって、本件開示の動画像撮影装置によれば、２つの撮像部１０１Ｌ，１０１Ｒの切り替えながら、違和感の少ない長時間の２次元動画像を撮影することができる。
【０１０８】
次に、補間画像の生成処理について説明する。
【０１０９】
図８に、補間画像を生成する処理を説明する図を示す。図８において、符号ＧＢは動作中の撮像部１０１で得られた切り替え元の画像を示す。また、符号ＧＦは、待機中の撮像部１０１で得られた切り替え先の画像を示す。また、符号Ｇｉｎｔは、２つの画像ＧＢ，ＧＦに基づいて生成される補間画像を示す。
【０１１０】
図８に示した符号ＭＢは、生成対象の補間画像Ｇｉｎｔに含まれるブロックである。また、画像ＧＢにおいて、このブロックＭＢに相当する位置のブロックを符号ＭＢｂで示し、画像ＧＦにおいて、このブロックＭＢに相当する位置のブロックを符号ＭＢｆで示した。また、図８に示した符号Ｖｄは、画像ＧＢに含まれるブロックＭＢｂについて、画像ＧＦとのブロックマッチング処理を行って検出された視差ベクトルを示す。
【０１１１】
生成対象の補間画像Ｇｉｎｔの視点を、切り替え元の画像ＧＢの視点と切り替え先の画像ＧＦの視点との間を比α：１−αで内分する位置に対応させて、補間画像ＧｉｎｔのブロックＭＢに含まれる各画素を生成する方法を説明する。
【０１１２】
切り替え元の画像ＧＢにおいて、上述したブロックＭＢｂからブロックＭＢ対応の参照画像Ｂｂに向かうベクトルＶｂは、上述した視差ベクトルＶｄと係数αとを用いて式(１)で表される。また、切り替え先の画像ＧＦにおいて、上述したブロックＭＢｆからブロックＭＢ対応の参照画像Ｂｆへ向かうベクトルＶｆは、上述した視差ベクトルＶｄと係数αとを用いて式(２)で表される。
【０１１３】
Ｖｆ＝Ｖｄ×(１．０−α) ・・・(１)
Ｖｂ＝−Ｖｄ×α ・・・(２)
つまり、上述した式(１)、(２)で示されるベクトルＶｂ，Ｖｆに基づいて、生成対象の補間画像ＧｉｎｔのブロックＭＢを生成する際に参照する画像ＧＢにおける参照画像Ｂｂと画像Ｇｆにおける参照画像Ｂｆとをそれぞれ求めることができる。
【０１１４】
そして、補間画像ＧｉｎｔのブロックＭＢに含まれる各画素Ｐ(ｘ，ｙ)は、画像ＧＢにおける参照画像Ｂｂに含まれる各画素Ｐｂ(ｘ，ｙ)および画像Ｇｆにおける参照画像Ｂｆに含まれる各画素Ｐｆ(ｘ，ｙ)を用いて、式(３)のように表される。
【０１１５】
Ｐ(ｘ，ｙ)＝β×Ｐｆ(ｘ，ｙ)＋(１．０−β)×Ｐｂ(ｘ，ｙ) ・・・(３)
なお、式(３)において係数βの値は、上述した係数αの増大に伴って０〜１までの範囲で単調に増大するように設定してもよい。このように係数α、βを調整することにより、移行期間の開始から終了に近づくに従って切り替え先画像ＧＦに近づくように、切り替え元画像ＧＢと切り替え先画像ＧＦとの合成比率を調整しながら、補間画像Ｇｉｎｔを生成することができる。
【０１１６】
図９に、補間画像を生成する処理のフローチャートを示す。図９に示したステップＳ４１〜ステップＳ４８の処理は、図５に示したステップＳ２０の処理の一例である。
【０１１７】
ステップＳ４１で、プロセッサ２１は、まず、ステップＳ１９で取得した切り替え元画像ＧＢと生成対象の補間画像Ｇｉｎｔを、それぞれＮ画素×Ｎ画素のブロックに分割する。
【０１１８】
次に、プロセッサ２１は、生成対象の補間画像Ｇｉｎｔに適用する係数αおよび係数βの値を決定する(ステップＳ４２)。プロセッサ２１は、ステップＳ４２の処理で、生成対象の補間画像Ｇｉｎｔが移行期間内で占める位置に基づいて、移行期間の経過に伴って数値０に近い値から数値１に近づくように、係数αおよび係数βを決定してもよい。例えば、移行期間にＭフレームの補間画像を生成する場合に、プロセッサ２１は、ｋ番目に生成される補間画像Ｇｉｎｔに適用する係数α、βの値を、値ｋ／(Ｍ＋１)に基づいて決定してもよい。
【０１１９】
次に、プロセッサ２１は、切り替え元画像ＧＢに含まれるブロックＭＢｂについて、順次に、切り替え先画像ＧＦとの間でブロックマッチングを行うことにより、それぞれの視差ベクトルＶｄを求める(ステップＳ４３)。プロセッサ２１は、例えば、切り替え元画像ＧＢに含まれるブロックＭＢｂの一つを走査順などに基づいて処理対象として選択する。選択したブロックＭＢｂについてのブロックマッチングを行うことにより、プロセッサ２１は、切り替え先画像ＧＦにおいて最も類似している領域を検出する。そして、プロセッサ２１は、検出した領域の位置を、切り替え先の画像ＧＦにおいて、上述したブロックＭＢｂに対応するブロックの位置を基準として示す視差ベクトルＶｄを求めてもよい。
【０１２０】
次いで、プロセッサ２１は、上述した式(１)、(２)を用いて、切り替え元の画像ＧＢおよび切り替え先の画像ＧＦにおいて、それぞれ生成対象のブロックＭＢに対応する参照画像Ｂｂ，Ｂｆの位置を示すベクトルＶｂ，Ｖｆを求める(ステップＳ４４)。なお、ステップＳ４４の処理で、プロセッサ２１は、ベクトルＶｂ，Ｖｆを小数精度で求めることが望ましい。
【０１２１】
次に、プロセッサ２１は、ステップＳ４４で求めたベクトルＶｂ，Ｖｆに基づいて、参照画像Ｂｂ，Ｂｆを生成する(ステップＳ４５)。プロセッサ２１は、例えば、小数精度で求められたベクトルＶｂ，Ｖｆで示される参照画像Ｂｂ，Ｂｆに含まれる各画素Ｐｂ(ｘ，ｙ)、Ｐｆ(ｘ，ｙ)を、切り替え元画像ＧＢおよび切り替え先画像ＧＦに補間フィルタを適用することによって求めることが望ましい。
【０１２２】
このようにして生成した参照画像Ｂｂ，Ｂｆに含まれる各画素Ｐｂ(ｘ，ｙ)、Ｐｆ(ｘ，ｙ)に基づいて、プロセッサ２１は、上述した式(３)を用いて、補間画像Ｇｉｎｔ内のブロックＭＢに含まれる各画素Ｐ(ｘ，ｙ)を生成する(ステップＳ４６)。
【０１２３】
次いで、プロセッサ２１は、生成対象のブロックＭＢに含まれる全ての画素の生成が完了したか否かを判定する(ステップＳ４７)。未生成の画素がある場合に(ステップＳ４７の否定判定)、プロセッサ２１は、ステップＳ４６の処理に戻って、次の画素を生成する処理を実行する。
【０１２４】
ステップＳ４６，Ｓ４７を繰り返すことにより、生成対象のブロックに含まれる全ての画素の生成が完了したときに(ステップＳ４７の肯定判定)、プロセッサ２１は、ステップＳ４８の処理に進む。このステップＳ４８で、プロセッサ２１は、補間画像Ｇｉｎｔに含まれる全てのブロックＭＢの生成が完了したか否かを判定する。
【０１２５】
未だ生成されていないブロックＭＢがある場合に(ステップＳ４８の否定判定)、プロセッサ２１は、ステップＳ４３の処理に戻って、次のブロックＭＢを生成する処理を開始する。
【０１２６】
そして、補間画像Ｇｉｎｔに含まれる全てのブロックＭＢについて、ステップＳ４３〜ステップＳ４７に示した生成処理を完了したときに(ステップＳ４８の肯定判定)、プロセッサ２１は、補間画像Ｇｉｎｔの生成処理を終了する。
【０１２７】
このようにして、本件開示の動画像撮影装置は、移行期間の経過に伴って、切り替え元画像ＧＢから切り替え先画像ＧＦに次第に近づくような補間画像Ｇｉｎｔを生成することができる。これにより、本件開示の動画像撮影装置は、長時間の２次元動画像撮影において、２つの撮像部１０１Ｌ，１０１Ｒを切り替える際の視点の変化が、出力画像の変化となって現れることを抑制することができる。したがって、本件開示の動画像撮影装置によれば、２つの撮像部１０１Ｌ，１０１Ｒの切り替えながら、視聴者に違和感を覚えさせない長時間の２次元動画像を撮影することができる。
【符号の説明】
【０１２８】
１０１Ｌ，１０１Ｒ…撮像部；１１０…生成部；１１１…第２取得部；１１２…補間部；１１３…出力制御部；１２０…検出部；１２１…第１取得部；１２２…評価部；１２３…特定部；２１，２８…プロセッサ；２２…メモリ；２３…記録処理部；２４…メモリコントローラ；２５…撮像素子；２６…駆動制御部；２７…フォーマット変換部；２９…外部インタフェース(Ｉ／Ｆ)；３０…操作パネル
【技術分野】
【０００１】
本件開示は、２つの撮像素子を有する動画像撮影装置および動画像撮影方法に関する。
【背景技術】
【０００２】
携帯端末や電子カメラなどの撮像装置に搭載されている撮像素子は、長時間にわたって駆動し続けると過熱してしまう場合がある。撮像素子の過熱を防ぐために、従来は、電子カメラなどの制御プログラムなどにより、動画像の連続撮影時間を制限する技術が提案されている。
【０００３】
また、複数の撮像素子を有する携帯端末を用いてテレビ電話サービスを利用する際に、温度時間テーブルに基づいて、複数の撮像素子を同時に駆動するモードの継続時間を制限する技術が提案されている(特許文献１参照)。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１９５０４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、３次元(３Ｄ)動画像の撮影のために、視差を持って配置された２つの撮像部を有する動画像撮影装置が実用化されている。このような動画像撮影装置に搭載された２つの撮像部は、それぞれ２次元(２Ｄ)動画像の取得にも利用することができる。
【０００６】
本件開示の装置および方法は、視差を持って配置された２つの撮像部を有する動画像撮影装置により、長時間の２次元動画像の撮影を実現することを目的とする。
【課題を解決するための手段】
【０００７】
一つの観点による動画像撮影装置は、異なる視点から共通の被写体を撮像する２つの撮像部と、２つの撮像部を交互に撮像動作させ、撮像動作させている撮像部によって得られる画像を出力する切り替え部を有し、切り替え部によって出力される画像を用いて、２次元動画像データを生成する生成部と、切り替えに先立って、２つの撮像部によって得られる画像に含まれる共通の被写体についての視差が所定の閾値よりも小さくなるタイミングを切り替えタイミングとして検出する検出部とを備え、切り替え部は、検出部によって検出された切り替えタイミングに基づいて、２つの撮像部による撮像動作の切り替えを制御する。
【０００８】
別の観点による動画像撮影方法は、異なる視点から共通の被写体を撮像する２つの撮像部を交互に切り替えて動作させることにより、２次元動画像データを取得する際に、切り替えに先立って、２つの撮像部によって得られる画像間の視差が所定の閾値よりも小さくなるタイミングを切り替えタイミングとして検出し、検出された切り替えタイミングに基づいて、２つの撮像部の動作の切り替えを制御する。
【発明の効果】
【０００９】
本件開示の装置および方法によれば、視差を持って配置された２つの撮像部を有する動画像撮影装置により、長時間の２次元動画像の撮影を実現することができる。
【図面の簡単な説明】
【００１０】
【図１】動画像撮影装置の一実施形態を示す図である。
【図２】動画像撮影動作を説明する図である。
【図３】動画像撮影装置の状態遷移図の一例を示す図である。
【図４】動画像撮影装置のハードウェア構成の一例を示す図である。
【図５】撮像部を切り替える処理のフローチャートである。
【図６】視差を評価する処理を説明する図である。
【図７】視差を評価する処理のフローチャートである。
【図８】補間画像の生成処理を説明する図である。
【図９】補間画像を生成する処理のフローチャートである。
【発明を実施するための形態】
【００１１】
以下、図面に基づいて、本発明の実施形態について詳細に説明する。
【００１２】
図１に、動画像撮影装置の一実施形態を示す。
【００１３】
図１に示した動画像撮影装置は、２つの撮像部１０１Ｌ，１０１Ｒと、生成部１１０と、検出部１２０とを含んでいる。２つの撮像部１０１Ｌ，１０１Ｒは、例えば、３次元動画像あるいは３次元静止画像の撮影を目的として、人間の左右の目に相当する視差を持つように配置されている。
【００１４】
生成部１１０は、２つの撮像部１０１Ｌ，１０１Ｒの一方に撮像動作を実行させるとともに、他方を待機状態とすることにより、２つの撮像部１０１Ｌ，１０１Ｒを交互に切り替えて動作させる。また、生成部１１０は、これらの撮像部１０１Ｌ，１０１Ｒで得られる画像に基づいて、２次元動画像ｍｖを生成する。そして、生成部１１０は、生成した２次元動画像ｍｖを、出力端子Ｖｏｕｔを介して出力する。
【００１５】
検出部１２０は、２つの撮像部１０１Ｌ，１０１Ｒで得られる画像に基づいて、例えば、これらの撮像部１０１Ｌ，１０１Ｒが共通して捉えている被写体についての視差が所定の閾値以下となるタイミングを切り替えタイミングＴｃとして検出する。検出部１２０は、例えば、撮像部１０１Ｌが動作中である場合に、この撮像部１０１Ｌの連続動作時間が過熱の防止のために設定された制限時間に到達する前に、撮像部１０１Ｒへの切り替えタイミングＴｃを検出してもよい。
【００１６】
そして、検出部１２０によって検出された切り替えタイミングＴｃに基づいて、生成部１１０は、２つの撮像部１０１Ｌ，１０１Ｒの動作状態の切り替えを制御する。これにより、例えば、動作中の撮像部１０１Ｌと待機中の撮像部１０１Ｒとで得られる２つの画像に共通する被写体の視差が小さくなったときに、生成部１１０は、撮像部１０１Ｌを待機状態に切り替え、撮像部１０１Ｒを動作状態に切り替えることができる。
【００１７】
このように、本件開示の動画像撮影装置は、２つの撮像部１０１Ｌ，１０１Ｒの切り替えに先立って、好適な切り替えタイミングＴｃを探索し、この探索で検出した切り替えタイミングＴｃに基づいて、２つの撮像部１０１Ｌ，１０１Ｒの切り替えを実行する。これにより、本件開示の動画像撮影装置の生成部１１０は、切り替えによる不連続性の少ない２次元動画像ｍｖを生成することができる。
【００１８】
このようにして、本件開示の動画像撮影装置は、視差を持って配置された２つの撮像部１０１Ｌ，１０１Ｒを切り替え動作させながら、切り替え前後での画像の変化が抑制された長時間の２次元動画像を撮影することができる。
【００１９】
次に、本件開示の動画像撮影装置に含まれる生成部１１０および検出部１２０について説明する。
【００２０】
生成部１１０は、切り替え部１０２と、第２取得部１１１と、補間部１１２と、出力制御部１１３とを含んでいる。
【００２１】
切り替え部１０２は、動画像撮影装置に搭載された２つの撮像部１０１Ｌ，１０１Ｒを交互に駆動する。以下の説明では、２つの撮像部１０１Ｌ，１０１Ｒのうち、切り替え部１０２によって撮像動作させられている方を動作中の撮像部１０１と称し、他方を待機中の撮像部１０１と称する。切り替え部１０２は、検出部１２０によって検出される切り替えタイミングＴｃに基づいて、２つの撮像部１０１Ｌ，１０１Ｒの動作状態の切り替えを制御する。
【００２２】
また、切り替え部１０２は、例えば、動作中の撮像部１０１を動画像撮影のための所定のフレームレートで駆動することにより、動作中の撮像部１０１から各フレームの画像を取得し、取得した画像を順次に出力する。例えば、撮像部１０１Ｌが動作中の撮像部１０１である場合に、切り替え部１０２は、上述したフレームレートに対応するフレーム間隔ｔｆごとに、撮像部１０１Ｌによって得られる画像ＧＬを順次に出力する。なお、切り替え部１０２が動作中の撮像部１０１に適用するフレームレートは、例えば、毎秒３０フレームとしてよい。
【００２３】
切り替え部１０２によって出力される画像は、出力制御部１１３と補間部１１２とに入力される。
【００２４】
また、第２取得部１１１は、検出部１２０によって検出された切り替えタイミングＴｃの後に設定される所定の時間を有する移行期間にわたって、待機中の撮像部１０１を動作中の撮像部１０１の撮像動作に同期して駆動させる。これにより、第２取得部１１１は、上述した移行期間にわたって、動作中の撮像部１０１と同時に撮影された画像を、待機中の撮像部１０１から取得する。
【００２５】
補間部１１２は、第２取得部１１１によって取得された画像と、切り替え部１０２によって出力される動作中の撮像部１０１によって得られる画像とを合成することにより、補間画像Ｇｉｎｔを生成する。以下の説明では、補間部１１２による合成処理の対象となる画像のうち、動作中の撮像部１０１で得られた画像を切り替え元の画像ＧＢと称する。一方、第２取得部１１１によって取得される画像は、切り替え先となる待機中の撮像部１０１によって得られた画像であるので、切り替え先の画像ＧＦと称する。
【００２６】
また、図１に示した出力制御部１１３は、検出部１２０によって検出される切り替えタイミングＴｃに応じて、切り替え部１０２によって出力される画像と補間部１１２によって生成される補間画像Ｇｉｎｔとを切り替えて出力する。出力制御部１１３は、通常は、切り替え部１０２によって出力される各フレームの画像を順次に出力することによって２次元動画像ｍｖを生成する。一方、上述した移行期間にわたって、出力制御部１１３は、切り替え部１０２の出力に代えて、補間部１１２によって得られる各フレームの補間画像Ｇｉｎｔを２次元動画像ｍｖの一部として順次に出力する。
【００２７】
図２に、動画像撮影動作を説明する図を示す。図２において、撮像部１０１Ｌによる撮像動作で得られる画像ＧＬを白い矩形で示す。また、図２に示した網掛けを付した矩形は、撮像部１０１Ｒによる撮像動作で得られる画像ＧＲを示す。
【００２８】
図２は、動作中の撮像部１０１を撮像部１０１Ｌから撮像部１０１Ｒに切り替える過程で、各撮像部１０１Ｌ，１０１Ｒで得られる画像ＧＬ，ＧＲと、動画像撮影装置から出力される２次元動画像ｍｖとの関係を示している。
【００２９】
また、図２に示した符号Ｔｃは、検出部１２０によって検出される切り替えタイミングを示す。図２に示した例において、この切り替えタイミングＴｃ以前の期間において、出力制御部１１３によって出力される２次元動画像ｍｖは、動作中の撮像部１０１である撮像部１０１Ｌで得られた画像ＧＬに基づいて生成される。
【００３０】
第２取得部１１１は、例えば、図２に示すように、切り替えタイミングＴｃから所定の時間ｔｐが経過した後に、待機中の撮像部１０１を、動作中の撮像部１０１と同等のフレームレートで駆動する動作を開始してもよい。なお、図２の例において、移行期間は、切り替えタイミングＴｃから時間ｔｐが経過した後の時間ｔｒの期間である。この移行期間の長さは、例えば、上述したフレーム間隔ｔｆの自然数ｍ倍としてもよい。この移行期間において、第２取得部１１１は、待機中の撮像部１０１によってフレーム間隔ｔｆごとに得られる各フレームの画像を切り替え先の画像ＧＦとして取得する。
【００３１】
そして、図１に示した補間部１１２は、図２に示すように、２つの撮像部１０１Ｌ，１０１Ｒからそれぞれフレーム間隔ｔｆごとに得られる画像ＧＬ，ＧＲを、それぞれ切り替え元の画像ＧＢ，切り替え先の画像ＧＦとして合成する。この合成処理により、補間部１１２は、２つの撮像部１０１Ｌ，１０１Ｒの中間の視点を持つ仮想的な撮像部に対応する補間画像Ｇｉｎｔをフレーム間隔ｔｆごとに生成する。
【００３２】
上述した移行期間にわたって、出力制御部１１３は、この補間部１１２によって生成された補間画像Ｇｉｎｔを、切り替え部１０２によって出力される画像に代えて、２次元動画像ｍｖの一部として出力する。なお、図２の例において、二重線で表した矩形は、移行期間において補間部１１２によって生成される補間画像Ｇｉｎｔを示す。
【００３３】
このようにして、移行期間が経過した後に、切り替え部１０２は、２つの撮像部１０１Ｌ，１０１Ｒの動作状態を切り替える。例えば、切り替え部１０２は、それまで動作させていた動作中の撮像部１０１に対する駆動動作を停止し、待機中の撮像部１０１に対する駆動動作を開始する。
【００３４】
例えば、図２に示した例において、符号Ｔａを付した矢印は、撮像部１０１Ｌから撮像部１０１Ｒへの切り替えが実行されるタイミングを示す。このタイミングＴａにおいて、切り替え部１０２は、撮像部１０１Ｌの撮像動作を停止させる一方、移行期間において動作を開始した撮像部１０１Ｒの撮像動作はそのまま継続させる。これにより、図２に示すように、上述したタイミングＴａ以降は、フレーム間隔ｔｆごとに撮像部１０１Ｒによって得られる画像ＧＲが、２次元動画像ｍｖの一部として出力される。
【００３５】
一方、図１に例示した検出部１２０は、第１取得部１２１と、評価部１２２と、特定部１２３と、タイマ１２４とを含んでいる。
【００３６】
第１取得部１２１は、例えば、タイマ１２４からの制御信号ＳＴに応じて、待機中の撮像部１０１を周期的に駆動する動作を開始する。第１取得部１２１は、例えば、待機中の撮像部１０１を所定の時間間隔ｔｄごとに駆動することにより、この待機中の撮像部１０１で得られる画像を周期的に取得する。なお、この時間間隔ｔｄは、例えば、フレーム間隔ｔｆの自然数ｎ倍に設定してもよい。
【００３７】
図１に示したタイマ１２４は、動作中の撮像部１０１が撮像動作を継続することが可能な残り時間Ｔｒｅｍを示す内部値を保持しており、この内部値を時間の経過に応じて減じる動作を行う。タイマ１２４は、例えば、上述した切り替え部１０２が撮像部１０１の切り替えを実行したタイミングを示す制御信号ＲＳに応じて、内部値に、撮像部１０１の過熱を防ぐために設定された制限時間に相当する値を初期値としてセットしてもよい。また、タイマ１２４は、時間の経過に応じて減じられた内部値が、所定の時間Ｄｓを示す値に到達したときに、制御信号ＳＴを出力することによって、第１取得部１２１に動作を開始させる。
【００３８】
例えば、図２に示した符号Ｔｓは、動作中となっている撮像部１０１Ｌが撮像動作を継続している時間が、撮像部１０１の過熱を防ぐために設定された制限時間に到達するタイミングを示す。上述したタイマ１２４は、このタイミングＴｓから上述した時間Ｄｓだけ遡った時点で制御信号ＳＴを出力することにより、第１取得部１２１の動作を開始させる。
【００３９】
このようにして、動作中の撮像部１０１による撮像動作が継続可能なうちに、第１取得部１２１による待機中の撮像部１０１の画像を取得する動作を開始させることができる。
【００４０】
また、図１に示した評価部１２２は、切り替え部１０２によって出力される画像と第１取得部１２１が取得した画像とを比較することにより、２つの撮像部１０１Ｌ，１０１Ｒが共通して捉えている被写体についての視差を評価する。特定部１２３は、評価部１２２による評価結果に基づいて、２つの撮像部１０１Ｌ，１０１Ｒが共通して捉えている被写体についての視差が所定の閾値よりも小さくなるタイミングを切り替えタイミングＴｃとして特定する。このようにして、検出部１２０は、２つの撮像部１０１Ｌ，１０１Ｒが共通して捉えている被写体についての視差が所定の閾値よりも小さくなる切り替えタイミングＴｃを検出することができる。
【００４１】
図２に示した符号Ｔ１，Ｔ２，Ｔ３は、上述した第１取得部１２１が、待機中となっている撮像部１０１Ｒから画像ＧＲを取得するタイミングの例を示す。図２の例は、タイミングＴ３で、２つの撮像部１０１Ｌ，１０１Ｒからそれぞれ得られる画像ＧＬ，ＧＲを比較した結果に基づいて、切り替えタイミングＴｃが検出された場合を示している。
【００４２】
このようにして検出された切り替えタイミングＴｃに基づいて、生成部１１０は、上述したようにして、補間部１１２によって生成した補間画像Ｇｉｎｔを出力する移行期間を経て、２つの撮像部１０１Ｌ，１０１Ｒを切り替える。
【００４３】
動画像撮影装置に搭載された２つの撮像部１０１Ｌ，１０１Ｒの切り替えに先立って、このような移行期間を設けることにより、切り替えに伴う視点の変化が出力される２次元動画像ｍｖに及ぼす影響を更に抑制することができる。これにより、本件開示の動画像撮影装置は、視点の異なる２つの撮像部１０１Ｌ，１０１Ｒを切り替えながら、自然な連続性を維持した２次元動画像を出力することができる。
【００４４】
図３に、本件開示の動画像撮影装置の状態遷移図の一例を示す。
【００４５】
図３に示した符号ＰＬは、図１に示した撮像部１０１Ｌが単独で撮像動作している状態を示す。また、符号Ｐｓ(Ｌ→Ｒ)は、撮像部１０１Ｌから撮像部１０１Ｒへの切り替えタイミングを探索している状態を示す。そして、符号Ｐｔ(Ｌ→Ｒ)は、撮像部１０１Ｌから撮像部１０１Ｒへの切り替えに先立つ移行期間に対応する状態を示す。また、符号ＰＲは、図１に示した撮像部１０１Ｒが単独で撮像動作している状態を示す。また、符号Ｐｓ(Ｒ→Ｌ)は、撮像部１０１Ｒから撮像部１０１Ｌへの切り替えタイミングを探索している状態を示す。そして、符号Ｐｔ(Ｒ→Ｌ)は、撮像部１０１Ｒから撮像部１０１Ｌへの切り替えに先立つ移行期間に対応する状態を示す。
【００４６】
図３に示したように、本件開示の動画像撮影装置の状態は、状態ＰＬ，状態Ｐｓ(Ｌ→Ｒ)，状態Ｐｔ(Ｌ→Ｒ)、状態ＰＲ，状態Ｐｓ(Ｒ→Ｌ)、状態Ｐｔ(Ｒ→Ｌ)を循環的遷移する過程で、２つの撮像部１０１Ｌ，１０１Ｒを切り替え動作させる。これにより、個々の撮像部１０１Ｌ，１０１Ｒに設定された過熱防止のための連続動作時間に対する制限にかかわらず、本件開示の動画像撮影装置は、長時間の２次元動画像の撮影を実現することができる。なお、図２に示した符号ＰＬは、動画像撮影装置の状態が状態ＰＬである期間を示す。また、図２に示した符号Ｐｓ(Ｌ→Ｒ)は、動画像撮影装置の状態が状態Ｐｓ(Ｌ→Ｒ)である期間を示す。同様に、図２に示した符号Ｐｔ(Ｌ→Ｒ)は、動画像撮影装置の状態が状態Ｐｔ(Ｌ→Ｒ)である期間を示す。そして、図２に示した符号ＰＲは、動画像撮影装置の状態が状態ＰＲである期間を示す。
【００４７】
図４に、動画像撮影装置のハードウェア構成の一例を示す。
【００４８】
図４に例示した動画像撮影装置は、２つの撮像部１０１Ｌ，１０１Ｒと、画像処理用のプロセッサ２１と、メモリ２２と、記録処理部２３と、メモリコントローラ２４とを含んでいる。２つの撮像部１０１Ｌ，１０１Ｒと、プロセッサ２１と、メモリ２２と、記録処理部２３との各部は、メモリコントローラ２４を介して互いに接続されている。
【００４９】
図４に例示した動画像撮影装置は、例えば、３次元動画像撮影機能を有するデジタルビデオカメラあるいはデジタルカメラなどである。そして、２つの撮像部１０１Ｌ，１０１Ｒは、例えば、３次元動画像あるいは３次元静止画像の撮影を目的として、人間の左右の目に相当する視差を持つように配置されている。また、記録処理部２３は、例えば、メモリカードなどの着脱可能な記録媒体との間で、画像データなどの記録処理および読出処理を実行する。
【００５０】
また、動画像撮影装置は、装置制御用のプロセッサ２８と、外部インタフェース(外部Ｉ／Ｆ)２９と、操作パネル３０とを含んでもよい。プロセッサ２８と、外部インタフェース２９、操作パネル３０およびメモリコントローラ２４とは、互いにバスを介して接続されている。外部インタフェース２９は、プロセッサ２８の制御の下で、例えば、パーソナルコンピュータなどとメモリ２２との間のデータのやり取りを媒介する。
【００５１】
メモリ２２は、２つの撮像部１０１Ｌ，１０１Ｒを交互に動作させるための切り替え処理プログラムを格納している。プロセッサ２１は、この切り替え処理プログラムに従って撮像部１０１Ｌ，１０１Ｒの動作を制御することにより、図１に示した生成部１１０および検出部１２０の機能を実現する。
【００５２】
なお、例えば、外部インタフェース２９を利用して、パーソナルコンピュータなどを経由して切り替え処理プログラムを読み込み、読み込んだ切り替え処理プログラムをメモリ２２に格納させてもよい。
【００５３】
また、図４に示した撮像部１０１Ｒは、撮像素子２５Ｒと、駆動制御部２６Ｒと、フォーマット変換部２７Ｒとを含んでいる。同様に、撮像部１０１Ｌは、撮像素子２５Ｌと、駆動制御部２６Ｌと、フォーマット変換部２７Ｌとを含んでいる。
【００５４】
駆動制御部２６Ｒ，２６Ｌは、それぞれ撮像素子２５Ｒ，２５Ｌによる撮像動作を駆動する。また、駆動制御部２６Ｒ，２６Ｌは、撮像素子２５Ｒ，２５Ｌによる撮像動作で得られた信号から画像ＧＲ，ＧＬを生成する。フォーマット変換部２７Ｒ，２７Ｌは、駆動制御部２６Ｒ，２６Ｌで生成された画像ＧＲ，ＧＬのデータ形式を、ＹＣｂＣｒ形式などの出力用のデータ形式に変換する。
【００５５】
動画像撮影装置が３次元動画像の撮影を行う場合に、撮像部１０１Ｒ，１０１Ｌは動画像撮影のための所定のフレームレートで並行して動作する。そして、フォーマット変換部２７Ｒ，２７Ｌは、出力用のデータ形式に変換した画像ＧＲ，ＧＬを、動画像撮影のためのフレームレートに対応するフレーム間隔ｔｆごとに、メモリコントローラ２４を介してメモリ２２に格納する。また、記録処理部２３は、メモリ２２に格納された出力用のデータ形式の画像ＧＲ，ＧＬを記録媒体に記録する処理を行う。なお、記録処理部２３は、画像ＧＲ，ＧＬの記録媒体に記録する過程で、例えば、ＭＰＥＧ方式などに基づいた圧縮処理を行ってもよい。
【００５６】
一方、動画像撮影装置が２次元動画像の撮影を行う際に、プロセッサ２１は、撮像部１０１Ｒ，１０１Ｌを交互に切り替えて動作させる処理を行う。
【００５７】
なお、動画像撮影装置は、例えば、プロセッサ２８の制御の下で、操作パネル３０などを介して撮影者が入力したモード切り替え指示に応じて、３次元動画像を撮影するモードと２次元動画像を撮影するモードとを切り替えて動作してもよい。また、プロセッサ２８は、動画像撮影装置の各部を制御することにより、３次元静止画像および２次元静止画像の撮影を行ってもよい。
【００５８】
例えば、モード切り替え指示により、２次元動画像を撮影するモードへの切り替えが指示されたときに、プロセッサ２１は、２つの撮像部１０１Ｌ，１０１Ｒを交互に切り替えて２次元動画像を生成する処理を開始する。
【００５９】
そして、一方の撮像部１０１の連続動作時間が、過熱防止のために設定された制限時間に近づいたときに、プロセッサ２１は、切り替え処理プログラムの実行を開始する。例えば、プロセッサ２１は、図１に示したタイマ１２４について説明したように、制限時間から連続動作時間を差し引いて得られる残り時間Ｔｒｅｍが時間Ｄｓとなったときに、切り替え処理プログラムの実行を開始してもよい。なお、この時間Ｄｓは、例えば、２つの撮像部１０１Ｌ，１０１Ｒの切り替えに好適なタイミングを探索するために要する時間と、上述した移行期間とを考慮して決定してもよい。
【００６０】
図５に、撮像部１０１Ｒ，１０１Ｌを切り替える処理のフローチャートを示す。
【００６１】
プロセッサ２１は、まず、待機中の撮像部１０１から画像を取得するタイミングを制御するための変数ｔに初期値０を設定する(ステップＳ１１)。次いで、プロセッサ２１は、動作中の撮像部１０１で得られる画像を、２次元動画像ｍｖの一部として出力する(ステップＳ１２)。ステップＳ１２において、プロセッサ２１は、動作中の撮像部１０１に含まれるフォーマット変換部２７に対して、変換済みの画像をメモリコントローラ２４を介して出力させてもよい。
【００６２】
その後、プロセッサ２１は、変数ｔが待機中の撮像部１０１から画像を取得する時間間隔ｔｄ未満であるか否かを判定する(ステップＳ１３)。なお、この時間間隔ｔｄは、例えば、図２に示したように、フレーム間隔ｔｆの整数ｎ倍としてもよい。変数ｔの値が時間間隔ｔｄ未満である場合に(ステップＳ１３の肯定判定)、プロセッサ２１は、ステップＳ１４で変数ｔにフレーム間隔ｔｆを加算した後に、ステップＳ１２の処理に戻る。
【００６３】
図５に示したステップＳ１１〜ステップＳ１４を繰り返して、動作中の撮像部１０１で得られたｎフレームの画像を出力したときに、上述した変数ｔの値は時間間隔ｔｄに等しくなる。このとき、プロセッサ２１は、ステップＳ１３の肯定判定として、ステップＳ１５の処理に進む。
【００６４】
ステップＳ１５で、プロセッサ２１は、待機中の撮像部１０１を駆動して１フレームの画像を取得する。例えば、プロセッサ２１は、待機中の撮像部１０１に含まれる駆動制御部２６を介して撮像素子２５を一時的に駆動し、待機中の撮像部１０１に含まれるフォーマット変換部２７と、メモリ２２、メモリコントローラ２４を介して、１フレームの画像を取得すればよい。このように、プロセッサ２１が、ステップＳ１５の処理を実行することにより、図１に示した第１取得部１２１の機能を実現してもよい。
【００６５】
次いで、プロセッサ２１は、ステップＳ１５で得られた画像とステップＳ１２で得られた画像とに基づいて、これらの画像に共通して捉えられた被写体についての２つの撮像部１０１Ｒ，Ｌの視差を評価する(ステップＳ１６)。このように、プロセッサ２１が、ステップＳ１６の処理を実行することにより、図１に示した評価部１２２の機能を実現してもよい。なお、ステップＳ１６の処理の詳細については後述する。
【００６６】
そして、プロセッサ２１は、ステップＳ１６で得られた評価結果で示される視差の大きさと所定の閾値との比較結果に基づいて、動作中の撮像部１０１から待機中の撮像部１０１への切り替えが可能であるか否かを判定する(ステップＳ１７)。なお、ステップＳ１７において、プロセッサ２１がステップＳ１６で得られた評価結果と比較する閾値を決定する手法については後述する。
【００６７】
ステップＳ１６で得られた評価結果で示される視差の大きさが上述した閾値よりも大きい場合に(ステップＳ１７の否定判定)、プロセッサ２１は、ステップＳ１８に進む。このステップＳ１８で、プロセッサ２１は、動作中の撮像部１０１を連続動作させられる残り時間Ｔｒｅｍが、上述した時間Ｄｅよりも大きいか否かを判定する。なお、ステップＳ１８において、プロセッサ２１が残り時間Ｔｒｅｍと比較する時間Ｄｅは、例えば、図２に示した時間Ｄｓよりも短い時間であって、移行期間に相当する時間ｔｒよりも長い時間に設定してもよい。
【００６８】
動作中の撮像部１０１に対応する残り時間Ｔｒｅｍが上述した時間Ｄｅよりも大きい場合に(ステップＳ１８の肯定判定)、プロセッサ２１は、ステップＳ１１の処理に戻る。そして、プロセッサ２１は、待機中の撮像部１０１から新たな画像を取得する処理を開始する。
【００６９】
このようにしてステップＳ１１〜ステップＳ１８の処理を繰り返すことにより、プロセッサ２１は、上述した時間間隔ｔｄで、待機中の撮像部１０１である撮像部１０１Ｒによって得られる画像ＧＲを取得する。
【００７０】
そして、例えば、図２にタイミングＴ３で取得した画像ＧＲと画像ＧＬとについて得られた評価結果が上述した閾値以下である場合に(ステップＳ１７の肯定判定)、プロセッサ２１は、撮像部１０１Ｌから撮像部１０１Ｒへの切り替えが可能になったと判断する。このように、プロセッサ２１が、ステップＳ１７の処理を実行することにより、図１に示した特定部１２３の機能を実現してもよい。
【００７１】
ステップＳ１７の肯定判定の場合に、プロセッサ２１は、図５に示したステップＳ１９の処理に進む。ステップＳ１９で、プロセッサ２１は、動作中の撮像部１０１で得られる画像を切り替え元の画像ＧＢとして取得するとともに、待機中の撮像部１０１で得られる画像を切り替え先の画像ＧＦとして取得する。例えば、プロセッサ２１は、待機中の撮像部１０１に含まれる駆動制御部２６を介して、撮像素子２５を動画像撮影のためのフレームレートで駆動してもよい。この駆動処理によって駆動制御部２６Ｒで得られた画像ＧＲを、プロセッサ２１は、切り替え先の画像ＧＦとして取得する。このように、プロセッサ２１が、ステップＳ１９の処理を実行することにより、図１に示した第２取得部１１１の機能を実現してもよい。
【００７２】
次いで、プロセッサ２１は、ステップＳ１９で取得した切り替え元の画像ＧＢおよび切り替え先の画像ＧＦに基づいて、補間画像Ｇｉｎｔを生成する(ステップＳ２０)。このように、プロセッサ２１が、ステップＳ２０の処理を実行することにより、図１に示した補間部１１２の機能を実現してもよい。なお、ステップＳ２０の処理の詳細については後述する。
【００７３】
次に、プロセッサ２１は、ステップＳ２０で生成した補間画像Ｇｉｎｔを、切り替え元の画像ＧＢの代わりに、２次元動画像データの一部として出力する(ステップＳ２１)。このようにして、プロセッサ２１がステップＳ２１の処理を実行することにより、図１に示した出力制御部１１３の機能を実現してもよい。
【００７４】
その後、プロセッサ２１は、ステップＳ２２において、図２に例示した時間ｔｒを有する移行期間が終了したと判定するまで、ステップＳ１９〜ステップＳ２２の処理を繰り返す。
【００７５】
例えば、図２に示した移行期間Ｐｔ(Ｌ→Ｒ)において、プロセッサ２１は、ステップＳ１９〜ステップＳ２２の処理を繰り返す。この処理の過程で、プロセッサ２１は、撮像部１０１Ｌおよび撮像部１０１Ｒから各フレームの画像ＧＬおよび画像ＧＲを取得するごとに、ステップＳ２０の処理を実行することにより、各フレームの補間画像Ｇｉｎｔを生成する。そして、このようにして生成した各フレームの補間画像Ｇｉｎｔを、プロセッサ２１は、２次元動画像ｍｖの一部として出力する。
【００７６】
なお、プロセッサ２１は、待機中の撮像部１０１を動画撮影用のフレームレートで駆動するのに先立って、図２の例のように、所定の予備時間ｔｐを設けてもよい。この場合に、プロセッサ２１は、上述したようにして切り替え可能なタイミングＴ３が検出されてから予備時間ｔｐが経過した後に、ステップＳ１９〜ステップＳ２２の移行処理を開始する。一方、上述した予備時間ｔｐが不要である場合に、プロセッサ２１は、ステップＳ１７で、切り替え可能なタイミングを検出したときに、ステップＳ１９〜ステップＳ２２の移行処理を開始してもよい。
【００７７】
ステップＳ１９〜ステップＳ２２の移行処理を開始してから時間ｔｒが経過したときに(ステップＳ２２の肯定判定)、プロセッサ２１は、２つの撮像部１０１Ｒ，１０１Ｌの動作状態を切り替える処理を行う(ステップＳ２３)。例えば、プロセッサ２１は、動作中の撮像部１０１Ｌ内の駆動制御部２６Ｌを介して、撮像部１０１Ｌを休止状態にする。その一方、プロセッサ２１は、撮像部１０１Ｒ内の駆動制御部２６Ｒを介して、この撮像部１０１Ｒによる撮像動作を継続させる。このようにして、プロセッサ２１によって、撮像部１０１Ｌと撮像部１０１Ｒとの役割を切り替えた後の動画像撮影装置の状態は、撮像部１０１Ｒの単独動作状態ＰＲに遷移する。
【００７８】
図３に示した単独動作期間ＰＲにおいて、撮像部１０１Ｒは、撮像部１０１Ｌに代わって、動画撮影用のフレームレートに対応するフレーム間隔ｔｆで画像ＧＲを生成する。そして、この画像ＧＲは、そのまま２次元動画像ｍｖの一部として、メモリコントローラ２４を介してメモリ２２に格納される。
【００７９】
このように、本件開示の動画像撮影装置は、撮像部１０１Ｌから撮像部１０１Ｒへの切り替えを実現することができる。そして、撮像部１０１Ｒを動作中の撮像部１０１とし、撮像部１０１Ｌを待機中の撮像部１０１として動作させた後、上述した切り替え処理を再び行うことにより、撮像部１０１Ｒから撮像部１０１Ｌへの切り替えを実現することができる。
【００８０】
このように、図４に例示したハードウェア構成を有する動画像撮影装置により、図３に示した６つの状態を循環的に遷移する過程で、２つの撮像部１０１Ｌ，１０１Ｒを交互に切り替えながら長時間の２次元動画像撮影を行う動画像撮影装置を実現することができる。
【００８１】
なお、図５に例示したフローチャートのように、ステップＳ１７の否定判定の場合でも、残り時間Ｔｒｅｍが時間Ｄｅ以下であると判定したときに(ステップＳ１８の否定判定)、プロセッサ２１は、ステップＳ１９〜ステップＳ２２の移行処理を実行してもよい。
【００８２】
例えば、時間Ｄｅに、上述した移行期間に相当する時間ｔｒに所定の猶予時間を加算した時間を設定してもよい。この場合に、プロセッサ２１は、動作中の撮像部１０１の連続動作時間が過熱防止のために設定された制限時間に到達する前に、確実に、待機中の撮像部１０１への切り替えを完了させることができる。
【００８３】
また、ステップＳ１６で得られた評価結果により、２つの撮像部１０１Ｌ，１０１Ｒの視差が極めて小さいことが示された場合などに、プロセッサ２１は、ステップＳ１９〜ステップＳ２２の移行処理をスキップしてもよい。例えば、遠くの山並みなどの風景を撮影している場合などには、主要な被写体である風景に対する２つの撮像部１０１Ｌ，１０１Ｒの視差は非常に小さくなる。したがって、プロセッサ２１は、ステップＳ１６で得られた評価結果と、このような場合について２つの撮像部１０１Ｌ，１０１Ｒの視差を評価した結果に相当する閾値とを比較することにより、上述した移行処理をスキップするか否かを判定してもよい。
【００８４】
また、図４に例示したプロセッサ２１に代えて、図５に示した撮像部を切り替える処理のためのプログラムを組み込んだデジタルシグナルプロセッサ(ＤＳＰ：Digital Signal Processor)などのハードウェアを用いてもよい。
【００８５】
次に、２つの撮像部１０１Ｌ，１０１Ｒの視差を評価する処理について説明する。
【００８６】
図６に、視差を評価する処理を説明する図を示す。図６において、符号ＧＬ，ＧＲは、それぞれ撮像部１０１Ｌ，１０１Ｒで得られた画像ＧＬ，ＧＲを示す。また、図６に示した各画像ＧＬにおいて、符号ＭＢは、画像ＧＬをＮ×Ｎ画素の小領域に分割して得られるブロックの一つである。なお、各ブロックの大きさは、例えば、１６画素×１６画素としてもよい。図６においては、図の見易さのために、個々のブロックの大きさを拡大して示している。
【００８７】
図６(Ａ)，(Ｂ)は、２つの撮像部１０１Ｌ，１０１Ｒにより、樹木を含む風景を背景として近距離にいる人物を同時に撮影して得られた画像ＧＬ，ＧＲの例である。
【００８８】
図６(Ａ)，(Ｂ)に示した画像ＧＬ，ＧＲに共通して含まれる人物についての視差は、例えば、画像ＧＬの人物の部分に含まれるブロックＭＢについて、画像ＧＲとブロックマッチングを行って得られる視差ベクトルＶｄに基づいて求めることができる。図６(Ｂ)において、符号ＭＢ’は、画像ＧＬに含まれるブロックＭＢについてのブロックマッチングによって画像ＧＲから検出された領域を示す。画像ＧＬのブロックＭＢについての画像ＧＲとの視差ベクトルＶｄは、例えば、画像ＧＬのブロックＭＢの左上の画素の位置を基準として、画像ＧＲの領域ＭＢ’の左上の画素の位置を示すベクトルとして求めることができる。
【００８９】
また、図６(Ｃ)，(Ｄ)は、２つの撮像部１０１Ｌ，１０１Ｒにより、背景となる樹木に近い位置にある車両を同時に撮影して得られた画像ＧＬ，ＧＲの例である。また、図６(Ｄ)に示した符号符号ＭＢ’は、画像ＧＬに含まれるブロックＭＢについてのブロックマッチングによって画像ＧＲから検出された領域を示す。そして、図６(Ｃ)に示した符号Ｖｄは、画像ＧＬに含まれる車両の像の一部を含むブロック部分ＭＢについての視差ベクトルを示す。
【００９０】
図６(Ａ)、(Ｃ)に示した視差ベクトルＶｄの比較から分かるように、図６(Ａ)，(Ｂ)に示した画像ＧＬ，ＧＲに含まれる人物についての視差に比べて、図６(Ｃ)，(Ｄ)に示した画像ＧＬ，ＧＲに含まれる車両についての視差は小さい。このように、２つの撮像部１０１Ｌ，１０１Ｒによって同時に得られる画像ＧＬ，ＧＲに共通して含まれる被写体の視差が小さいときに、撮像部１０１Ｌ，１０１Ｒの切り替えれば、切り替え前後での画像の急激な変化を抑制することができる。
【００９１】
ところで、図６(Ａ)，(Ｂ)に示した画像ＧＬ，ＧＲに共通に含まれる樹木の部分を互いに比較すると、樹木の部分についての視差は、人物についての視差に比べて小さいことがわかる。また、図６(Ｃ)，(Ｄ)に示した画像ＧＬ，ＧＲにおいても、同様に、樹木の部分についての視差と、車両についての視差とは異なっている。
【００９２】
このように、２つの撮像部１０１Ｌ，１０１Ｒによって同時に得られる画像ＧＬ，ＧＲに共通して含まれる各被写体の視差は、それぞれ異なっているので、この画像ＧＬ，ＧＲ間の視差は、各被写体についての視差ベクトルに基づいて評価することが望ましい。
【００９３】
画像ＧＬと画像ＧＲとの間の視差の大きさは、例えば、画像ＧＬに含まれる各ブロックについて求めた視差ベクトルＶｄに基づいて評価することができる。例えば、各ブロックについて求めた視差ベクトルＶｄの平均値を、画像ＧＬと画像ＧＲとの間の視差の大きさを示す評価指標としてもよい。
【００９４】
このように、各ブロックについて求めた視差ベクトルＶｄの平均値を評価指標の一つとすることにより、人間の視覚による印象と同様に、近距離に被写体が存在する画像ＧＬ，ＧＲについての視差が、被写体の位置が背景に近い場合よりも大きいと判定することができる。
【００９５】
図７に、２つの撮像部１０１Ｌ，１０１Ｒの視差を評価する処理のフローチャートを示す。図７に示したステップＳ３１〜ステップＳ３７の処理は、図５に示したステップＳ１６の処理の一例である。
【００９６】
プロセッサ２１は、まず、動作中の撮像部１０１で得られた切り替え元の画像ＧＢをＮ×Ｎ画素のブロックに分割する(ステップＳ３１)。例えば、プロセッサ２１は、切り替え元の画像ＧＢを１６×１６画素あるいは８×８画素のブロックに分割してもよい。
【００９７】
次いで、プロセッサ２１は、切り替え元の画像ＧＢを分割して得られた各ブロックについて、待機中の撮像部１０１で得られた切り替え先の画像ＧＦとのブロックマッチング処理を行う(ステップＳ３２)。Ｓ３２の処理で、プロセッサ２１は、まず、切り替え元の画像ＧＢに含まれるブロックの一つを順に選択する。次いで、このブロックＭＢについて、プロセッサ２１は、切り替え先の画像ＧＦから最も類似している領域ＭＢ’を検出する。そして、切り替え元の画像ＧＢに含まれるブロックＭＢの位置と切り替え先の画像ＧＦに含まれる領域ＭＢ’の位置とに基づいて、ブロックＭＢに対応する視差ベクトルＶｄを算出する。また、このとき、プロセッサ２１は、ブロックＭＢに含まれる各画素と領域ＭＢ’に含まれる各画素との差分の絶対値をブロックＭＢに含まれる全画素について積算することにより、差分絶対値和ＳＡＤ(Sum of Absolute Difference)を算出する。
【００９８】
次に、プロセッサ２１は、ステップＳ３２の処理で算出した視差ベクトルＶｄを、例えば、当該ブロックＭＢを識別するブロック番号に対応して保持する(ステップＳ３３)。プロセッサ２１は、例えば、切り替え元の画像ＧＢに含まれる全ブロックに対応して視差ベクトルＶｄを保持するための領域をメモリ２２に確保し、この領域に、ステップＳ３２で算出した視差ベクトルＶｄを格納してもよい。次いで、プロセッサ２１は、ステップＳ３２で算出した差分絶対値和ＳＡＤを総和Ｓに加算する(ステップＳ３４)。なお、プロセッサ２１は、上述したステップＳ３３とステップＳ３４の処理を逆の順序で実行してもよい。
【００９９】
その後、プロセッサ２１は、切り替え元の画像ＧＢに含まれる全てのブロックについて、上述したステップＳ３２からステップＳ３４の処理が完了したか否かを判定する(ステップＳ３５)。
【０１００】
未処理のブロックがある場合に(ステップＳ３５の否定判定)、プロセッサ２１は、ステップＳ３２の処理に戻る。そして、新たに選択したブロックについて、ステップＳ３２〜ステップＳ３４の処理を実行する。
【０１０１】
このようにして、プロセッサ２１は、切り替え元の画像ＧＢに含まれる各ブロックについて、ステップＳ３２〜ステップＳ３４の処理を繰り返して実行する。そして、全てのブロックについてステップＳ３２〜ステップＳ３４の処理が完了したときに(ステップＳ３５の肯定判定)、プロセッサ２１は、ステップＳ３６処理に進む。
【０１０２】
ステップＳ３６で、プロセッサ２１は、上述したステップＳ３３で各ブロックについて保持した視差ベクトルＶｄに基づいて、平均視差ベクトルＶｄａｖを算出する。例えば、プロセッサ２１は、各ブロックのブロック番号に対応してメモリ２２に格納した視差ベクトルＶｄを読み出し、読み出した視差ベクトルＶｄの平均値を求めることにより、平均視差ベクトルＶｄａｖを求めてもよい。
【０１０３】
その後、プロセッサ２１は、ステップＳ３６で求めた平均視差ベクトルＶｄａｖと、総和Ｓとを２つの画像ＧＢ，ＧＦの視差の大きさを示す指標として出力する(ステップＳ３７)。なお、総和Ｓは、プロセッサ２１が、１フレームに含まれる全てのブロックについて上述したステップＳ３２〜ステップＳ３４の処理を実行する過程で、各ブロックについて得られた差分絶対値和ＳＡＤを積算していくことによって得られる。
【０１０４】
このようにして求めた平均視差ベクトルＶｄａｖは、図６を用いて説明したように、切り替え元の画像ＧＢと切り替え先の画像ＧＦとの視差の大きさを示している。また、１フレームに含まれる差分絶対値和ＳＡＤを積算した値である総和Ｓは、各ブロックについて得られた視差ベクトルが確からしいときに小さい値となる。逆に、例えば、撮像部１０１Ｌ，１０１Ｒの一方に撮影者の指がかかっている場合のように、各ブロックについて得られる視差ベクトルの確からしさが低い場合には、差分絶対値和ＳＡＤの総和Ｓは大きな値となる。
【０１０５】
このようにして求めた平均視差ベクトルＶｄａｖと差分絶対値和ＳＡＤの総和Ｓとを評価指標とすることにより、プロセッサ２１は、図５に示したステップＳ１７の処理で、２つの画像ＧＢ、ＧＦの視差が小さいか否かを高い確度で判定することができる。
例えば、プロセッサ２１は、ステップＳ１７の処理で評価結果と比較する閾値として、平均視差ベクトルＶｄａｖについての閾値Ｔｈｖと差分絶対値和ＳＡＤの総和Ｓについての閾値Ｔｈｓを用いてもよい。
【０１０６】
なお、平均視差ベクトルＶｄａｖについての閾値Ｔｈｖに好適な値および差分絶対値和の総和Ｓについての閾値Ｔｈｓに好適な値は、例えば、２つの撮像素子に備えられたレンズの光軸の関係や撮像素子の解像度により異なる。このため、製品の開発段階などに、動画像撮影装置によって視差があるシーンを撮影した３Ｄ静止画像および視差が無いシーンを撮影した３Ｄ静止画像に基づいて、動画像撮影装置ごとに閾値Ｔｈｖ，Ｔｈｓを決定しておくことが望ましい。例えば、視差があるシーンを撮影した３Ｄ静止画像について得られる平均視差ベクトルＶｄの範囲と、視差が無いシーンを撮影した３Ｄ静止画像について得られる平均視差ベクトルＶｄの分布との範囲とをそれぞれ求めておく。そして、これらの範囲を互いに比較した結果に基づいて、平均視差ベクトルＶｄａｖについての閾値Ｔｈｖを決定してもよい。同様に、視差があるシーンを撮影した３Ｄ静止画像に対応する差分絶対値和ＳＡＤの総和Ｓの範囲と、視差が無いシーンを撮影した３Ｄ静止画像に対応する差分絶対値和ＳＡＤの総和Ｓの範囲とをそれぞれ求めておく。そして、これらの範囲を互いに比較した結果に基づいて、差分絶対値和ＳＡＤの総和Ｓについての閾値Ｔｈｓを決定してもよい。
【０１０７】
本件開示の動画像撮影装置は、上述したようにして求めた評価指標に基づいて、２つの撮像部１０１Ｌ，１０１Ｒの切り替えタイミングを決定する。これにより、本件開示の動画像撮影装置によれば、出力される２次元動画像の連続性を維持しやすいタイミングで、２つの撮像部１０１Ｌ，１０１Ｒを切り替えることができる。したがって、本件開示の動画像撮影装置によれば、２つの撮像部１０１Ｌ，１０１Ｒの切り替えながら、違和感の少ない長時間の２次元動画像を撮影することができる。
【０１０８】
次に、補間画像の生成処理について説明する。
【０１０９】
図８に、補間画像を生成する処理を説明する図を示す。図８において、符号ＧＢは動作中の撮像部１０１で得られた切り替え元の画像を示す。また、符号ＧＦは、待機中の撮像部１０１で得られた切り替え先の画像を示す。また、符号Ｇｉｎｔは、２つの画像ＧＢ，ＧＦに基づいて生成される補間画像を示す。
【０１１０】
図８に示した符号ＭＢは、生成対象の補間画像Ｇｉｎｔに含まれるブロックである。また、画像ＧＢにおいて、このブロックＭＢに相当する位置のブロックを符号ＭＢｂで示し、画像ＧＦにおいて、このブロックＭＢに相当する位置のブロックを符号ＭＢｆで示した。また、図８に示した符号Ｖｄは、画像ＧＢに含まれるブロックＭＢｂについて、画像ＧＦとのブロックマッチング処理を行って検出された視差ベクトルを示す。
【０１１１】
生成対象の補間画像Ｇｉｎｔの視点を、切り替え元の画像ＧＢの視点と切り替え先の画像ＧＦの視点との間を比α：１−αで内分する位置に対応させて、補間画像ＧｉｎｔのブロックＭＢに含まれる各画素を生成する方法を説明する。
【０１１２】
切り替え元の画像ＧＢにおいて、上述したブロックＭＢｂからブロックＭＢ対応の参照画像Ｂｂに向かうベクトルＶｂは、上述した視差ベクトルＶｄと係数αとを用いて式(１)で表される。また、切り替え先の画像ＧＦにおいて、上述したブロックＭＢｆからブロックＭＢ対応の参照画像Ｂｆへ向かうベクトルＶｆは、上述した視差ベクトルＶｄと係数αとを用いて式(２)で表される。
【０１１３】
Ｖｆ＝Ｖｄ×(１．０−α) ・・・(１)
Ｖｂ＝−Ｖｄ×α ・・・(２)
つまり、上述した式(１)、(２)で示されるベクトルＶｂ，Ｖｆに基づいて、生成対象の補間画像ＧｉｎｔのブロックＭＢを生成する際に参照する画像ＧＢにおける参照画像Ｂｂと画像Ｇｆにおける参照画像Ｂｆとをそれぞれ求めることができる。
【０１１４】
そして、補間画像ＧｉｎｔのブロックＭＢに含まれる各画素Ｐ(ｘ，ｙ)は、画像ＧＢにおける参照画像Ｂｂに含まれる各画素Ｐｂ(ｘ，ｙ)および画像Ｇｆにおける参照画像Ｂｆに含まれる各画素Ｐｆ(ｘ，ｙ)を用いて、式(３)のように表される。
【０１１５】
Ｐ(ｘ，ｙ)＝β×Ｐｆ(ｘ，ｙ)＋(１．０−β)×Ｐｂ(ｘ，ｙ) ・・・(３)
なお、式(３)において係数βの値は、上述した係数αの増大に伴って０〜１までの範囲で単調に増大するように設定してもよい。このように係数α、βを調整することにより、移行期間の開始から終了に近づくに従って切り替え先画像ＧＦに近づくように、切り替え元画像ＧＢと切り替え先画像ＧＦとの合成比率を調整しながら、補間画像Ｇｉｎｔを生成することができる。
【０１１６】
図９に、補間画像を生成する処理のフローチャートを示す。図９に示したステップＳ４１〜ステップＳ４８の処理は、図５に示したステップＳ２０の処理の一例である。
【０１１７】
ステップＳ４１で、プロセッサ２１は、まず、ステップＳ１９で取得した切り替え元画像ＧＢと生成対象の補間画像Ｇｉｎｔを、それぞれＮ画素×Ｎ画素のブロックに分割する。
【０１１８】
次に、プロセッサ２１は、生成対象の補間画像Ｇｉｎｔに適用する係数αおよび係数βの値を決定する(ステップＳ４２)。プロセッサ２１は、ステップＳ４２の処理で、生成対象の補間画像Ｇｉｎｔが移行期間内で占める位置に基づいて、移行期間の経過に伴って数値０に近い値から数値１に近づくように、係数αおよび係数βを決定してもよい。例えば、移行期間にＭフレームの補間画像を生成する場合に、プロセッサ２１は、ｋ番目に生成される補間画像Ｇｉｎｔに適用する係数α、βの値を、値ｋ／(Ｍ＋１)に基づいて決定してもよい。
【０１１９】
次に、プロセッサ２１は、切り替え元画像ＧＢに含まれるブロックＭＢｂについて、順次に、切り替え先画像ＧＦとの間でブロックマッチングを行うことにより、それぞれの視差ベクトルＶｄを求める(ステップＳ４３)。プロセッサ２１は、例えば、切り替え元画像ＧＢに含まれるブロックＭＢｂの一つを走査順などに基づいて処理対象として選択する。選択したブロックＭＢｂについてのブロックマッチングを行うことにより、プロセッサ２１は、切り替え先画像ＧＦにおいて最も類似している領域を検出する。そして、プロセッサ２１は、検出した領域の位置を、切り替え先の画像ＧＦにおいて、上述したブロックＭＢｂに対応するブロックの位置を基準として示す視差ベクトルＶｄを求めてもよい。
【０１２０】
次いで、プロセッサ２１は、上述した式(１)、(２)を用いて、切り替え元の画像ＧＢおよび切り替え先の画像ＧＦにおいて、それぞれ生成対象のブロックＭＢに対応する参照画像Ｂｂ，Ｂｆの位置を示すベクトルＶｂ，Ｖｆを求める(ステップＳ４４)。なお、ステップＳ４４の処理で、プロセッサ２１は、ベクトルＶｂ，Ｖｆを小数精度で求めることが望ましい。
【０１２１】
次に、プロセッサ２１は、ステップＳ４４で求めたベクトルＶｂ，Ｖｆに基づいて、参照画像Ｂｂ，Ｂｆを生成する(ステップＳ４５)。プロセッサ２１は、例えば、小数精度で求められたベクトルＶｂ，Ｖｆで示される参照画像Ｂｂ，Ｂｆに含まれる各画素Ｐｂ(ｘ，ｙ)、Ｐｆ(ｘ，ｙ)を、切り替え元画像ＧＢおよび切り替え先画像ＧＦに補間フィルタを適用することによって求めることが望ましい。
【０１２２】
このようにして生成した参照画像Ｂｂ，Ｂｆに含まれる各画素Ｐｂ(ｘ，ｙ)、Ｐｆ(ｘ，ｙ)に基づいて、プロセッサ２１は、上述した式(３)を用いて、補間画像Ｇｉｎｔ内のブロックＭＢに含まれる各画素Ｐ(ｘ，ｙ)を生成する(ステップＳ４６)。
【０１２３】
次いで、プロセッサ２１は、生成対象のブロックＭＢに含まれる全ての画素の生成が完了したか否かを判定する(ステップＳ４７)。未生成の画素がある場合に(ステップＳ４７の否定判定)、プロセッサ２１は、ステップＳ４６の処理に戻って、次の画素を生成する処理を実行する。
【０１２４】
ステップＳ４６，Ｓ４７を繰り返すことにより、生成対象のブロックに含まれる全ての画素の生成が完了したときに(ステップＳ４７の肯定判定)、プロセッサ２１は、ステップＳ４８の処理に進む。このステップＳ４８で、プロセッサ２１は、補間画像Ｇｉｎｔに含まれる全てのブロックＭＢの生成が完了したか否かを判定する。
【０１２５】
未だ生成されていないブロックＭＢがある場合に(ステップＳ４８の否定判定)、プロセッサ２１は、ステップＳ４３の処理に戻って、次のブロックＭＢを生成する処理を開始する。
【０１２６】
そして、補間画像Ｇｉｎｔに含まれる全てのブロックＭＢについて、ステップＳ４３〜ステップＳ４７に示した生成処理を完了したときに(ステップＳ４８の肯定判定)、プロセッサ２１は、補間画像Ｇｉｎｔの生成処理を終了する。
【０１２７】
このようにして、本件開示の動画像撮影装置は、移行期間の経過に伴って、切り替え元画像ＧＢから切り替え先画像ＧＦに次第に近づくような補間画像Ｇｉｎｔを生成することができる。これにより、本件開示の動画像撮影装置は、長時間の２次元動画像撮影において、２つの撮像部１０１Ｌ，１０１Ｒを切り替える際の視点の変化が、出力画像の変化となって現れることを抑制することができる。したがって、本件開示の動画像撮影装置によれば、２つの撮像部１０１Ｌ，１０１Ｒの切り替えながら、視聴者に違和感を覚えさせない長時間の２次元動画像を撮影することができる。
【符号の説明】
【０１２８】
１０１Ｌ，１０１Ｒ…撮像部；１１０…生成部；１１１…第２取得部；１１２…補間部；１１３…出力制御部；１２０…検出部；１２１…第１取得部；１２２…評価部；１２３…特定部；２１，２８…プロセッサ；２２…メモリ；２３…記録処理部；２４…メモリコントローラ；２５…撮像素子；２６…駆動制御部；２７…フォーマット変換部；２９…外部インタフェース(Ｉ／Ｆ)；３０…操作パネル
【特許請求の範囲】
【請求項１】
異なる視点から共通の被写体を撮像する２つの撮像部と、
前記２つの撮像部を交互に撮像動作させ、撮像動作させている前記撮像部によって得られる画像を出力する切り替え部を有し、
前記前記切り替え部によって出力される画像を用いて、２次元動画像データを生成する生成部と、
前記切り替えに先立って、前記２つの撮像部によって得られる画像に含まれる前記共通の被写体についての視差が所定の閾値よりも小さくなるタイミングを切り替えタイミングとして検出する検出部とを備え、
前記切り替え部は、前記検出部によって検出された切り替えタイミングに基づいて、前記２つの撮像部による撮像動作の切り替えを制御する
ことを特徴とする動画像撮影装置。
【請求項２】
請求項１に記載の動画像撮影装置において、
前記検出部は、
前記切り替え部によって撮像動作させられている方の前記撮像部の動作継続時間が所定の制限時間に到達する前に設けた所定の探索期間において、他方の前記撮像部を所定の時間間隔で動作させることにより、前記他方の撮像部による画像を取得する第１取得部と、
前記第１取得部によって得られた画像と前記切り替え部によって出力される画像との間の視差を評価する評価部と、
前記評価部による評価結果に基づいて、前記２つの撮像部によって得られる画像間の視差が所定の閾値よりも小さくなるタイミングを前記切り替えタイミングとして特定する特定部とを備える
ことを特徴とする動画像撮像装置。
【請求項３】
請求項１に記載の動画像撮影装置において、
前記生成部は、
前記検出部によって検出された切り替えタイミングに基づいて設定した所定の移行期間において、前記切り替え部によって撮像動作させられている方の前記撮像部と同期して、他方の前記撮像部を動作させることにより、前記他方の撮像部による画像を取得する第２取得部と、
前記切り替え部によって出力される画像と前記第２取得部で得られる画像とに基づいて補間画像を生成する補間部と、
前記移行期間において、前記切り替え部によって出力される画像に代えて、前記補間部で得られる補間画像を含む２次元動画像データを出力する出力制御部とを備える
ことを特徴とする動画像撮影装置。
【請求項４】
請求項３に記載の動画像撮影装置において、
前記補間部は、
前記移行期間の開始から終了に近づくに従って前記他方の撮像部の視点で得られる画像に近づくように、前記切り替え部によって出力される画像と前記第２取得部で取得される画像との合成比率を調整する
ことを特徴とする動画像撮影装置。
【請求項５】
異なる視点から共通の被写体を撮像する２つの撮像部を交互に切り替えて動作させることにより、２次元動画像データを取得する際に、
前記切り替えに先立って、前記２つの撮像部によって得られる画像間の視差が所定の閾値よりも小さくなるタイミングを切り替えタイミングとして検出し、
前記検出された切り替えタイミングに基づいて、前記２つの撮像部の動作の切り替えを制御する、
ことを特徴とする動画像撮影方法。
【請求項１】
異なる視点から共通の被写体を撮像する２つの撮像部と、
前記２つの撮像部を交互に撮像動作させ、撮像動作させている前記撮像部によって得られる画像を出力する切り替え部を有し、
前記前記切り替え部によって出力される画像を用いて、２次元動画像データを生成する生成部と、
前記切り替えに先立って、前記２つの撮像部によって得られる画像に含まれる前記共通の被写体についての視差が所定の閾値よりも小さくなるタイミングを切り替えタイミングとして検出する検出部とを備え、
前記切り替え部は、前記検出部によって検出された切り替えタイミングに基づいて、前記２つの撮像部による撮像動作の切り替えを制御する
ことを特徴とする動画像撮影装置。
【請求項２】
請求項１に記載の動画像撮影装置において、
前記検出部は、
前記切り替え部によって撮像動作させられている方の前記撮像部の動作継続時間が所定の制限時間に到達する前に設けた所定の探索期間において、他方の前記撮像部を所定の時間間隔で動作させることにより、前記他方の撮像部による画像を取得する第１取得部と、
前記第１取得部によって得られた画像と前記切り替え部によって出力される画像との間の視差を評価する評価部と、
前記評価部による評価結果に基づいて、前記２つの撮像部によって得られる画像間の視差が所定の閾値よりも小さくなるタイミングを前記切り替えタイミングとして特定する特定部とを備える
ことを特徴とする動画像撮像装置。
【請求項３】
請求項１に記載の動画像撮影装置において、
前記生成部は、
前記検出部によって検出された切り替えタイミングに基づいて設定した所定の移行期間において、前記切り替え部によって撮像動作させられている方の前記撮像部と同期して、他方の前記撮像部を動作させることにより、前記他方の撮像部による画像を取得する第２取得部と、
前記切り替え部によって出力される画像と前記第２取得部で得られる画像とに基づいて補間画像を生成する補間部と、
前記移行期間において、前記切り替え部によって出力される画像に代えて、前記補間部で得られる補間画像を含む２次元動画像データを出力する出力制御部とを備える
ことを特徴とする動画像撮影装置。
【請求項４】
請求項３に記載の動画像撮影装置において、
前記補間部は、
前記移行期間の開始から終了に近づくに従って前記他方の撮像部の視点で得られる画像に近づくように、前記切り替え部によって出力される画像と前記第２取得部で取得される画像との合成比率を調整する
ことを特徴とする動画像撮影装置。
【請求項５】
異なる視点から共通の被写体を撮像する２つの撮像部を交互に切り替えて動作させることにより、２次元動画像データを取得する際に、
前記切り替えに先立って、前記２つの撮像部によって得られる画像間の視差が所定の閾値よりも小さくなるタイミングを切り替えタイミングとして検出し、
前記検出された切り替えタイミングに基づいて、前記２つの撮像部の動作の切り替えを制御する、
ことを特徴とする動画像撮影方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１３−１２８２２（Ｐ２０１３−１２８２２Ａ）
【公開日】平成２５年１月１７日（２０１３．１．１７）
【国際特許分類】
【出願番号】特願２０１１−１４２８２７（Ｐ２０１１−１４２８２７）
【出願日】平成２３年６月２８日（２０１１．６．２８）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２５年１月１７日（２０１３．１．１７）
【国際特許分類】
【出願日】平成２３年６月２８日（２０１１．６．２８）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]