３Ｄ画像生成方法、３Ｄ画像生成プログラム、及び３Ｄ画像生成装置
【課題】動体の様子を１つの画像内で立体視することができる立体画像を生成する。
【解決手段】複眼カメラの左視点撮像部及び右視点撮像部で、時刻ｔ０から時刻ｔ４までの間、動体を一定時間毎に撮像する。この撮像により、時刻ｔ０から時刻ｔ４までの間の左視点画像及び右視点画像が得られる。これら左視点画像の中から、他の時刻の左視点画像と重ね合わせたときに動体が重なり合わない時刻ｔ０、時刻ｔ２、ｔ４の左視点画像を特定の左視点画像として選択する。右視点画像についても、同様に特定の右視点画像を選択する。これら特定の左視点画像及び特定の右視点画像を合成することにより、動体の様子を１つの画像内で立体視することができる動体立体視化画像が生成される。
【解決手段】複眼カメラの左視点撮像部及び右視点撮像部で、時刻ｔ０から時刻ｔ４までの間、動体を一定時間毎に撮像する。この撮像により、時刻ｔ０から時刻ｔ４までの間の左視点画像及び右視点画像が得られる。これら左視点画像の中から、他の時刻の左視点画像と重ね合わせたときに動体が重なり合わない時刻ｔ０、時刻ｔ２、ｔ４の左視点画像を特定の左視点画像として選択する。右視点画像についても、同様に特定の右視点画像を選択する。これら特定の左視点画像及び特定の右視点画像を合成することにより、動体の様子を１つの画像内で立体視することができる動体立体視化画像が生成される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を立体視可能にする３Ｄ画像を生成する３Ｄ画像生成方法、３Ｄ画像生成プログラム、及び３Ｄ画像生成装置に関する。
【背景技術】
【０００２】
１枚の写真内に、動く被写体（動体）の様子を表したストロボ写真が知られている。従来の撮像手段として広く用いられていたフィルムカメラでは、絞りを開放してフィルムを露光させた状態で、一定時間毎に複数回のストロボ発光を行うことによって、ストロボ写真を生成していた。このような従来のフイルムカメラに代わって、今日広く普及しているデジタルカメラでは、動体が動く間、連写撮影をすることによって得られる複数枚の画像をコンピュータで画像処理することによって、ストロボ写真のような画像を生成している（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１６６５４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
今日では、１つの撮像ユニットで撮像を行う単眼のデジタルカメラの他に、左目用と右目用の２つの撮像ユニットで被写体を撮像することによって、被写体の立体視が可能な３D画像を取得する立体撮像装置に対する需要が伸びてきている。このような立体撮像装置には、３Dの静止画や３Dの動画を取得する機能を備えているものは存在するが、動く被写体の様子を１つの画像内で立体視することができる立体画像を取得する３Dストロボ機能を備えているものは現時点では存在しない（特許文献１にも記載及び示唆は無い）。
【０００５】
なお、立体撮像装置においても、連写撮像により得られる複数枚の左視点画像及び右視点画像を合成することで、ストロボ写真のような立体画像を得ることはできる。しかしながら、このように単に左視点画像及び右視点画像を合成しただけの立体画像は、動体の動きが遅い部分があると、その部分の動体が重複してしまうことがある。このように動体が重複してしまうと、部分的に動体の前後関係が分かり難くなるため、観察者は動体を立体視し難くなるおそれがある。
【０００６】
本発明は、動体の様子を１つの画像内で立体視することができる立体画像を生成できる３Ｄ画像生成方法、３Ｄ画像生成プログラム、及び３Ｄ画像生成装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の３Ｄ画像生成方法は、互いに異なる２つの視点から動く被写体である動体を同じタイミングで撮像する同時撮像を、連続して行うことによって得られる複数枚の第１の視点画像及び第２の視点画像を取得する画像取得ステップと、前記複数枚の第１の視点画像及び第２の視点画像の中から、他のタイミングで撮像された第１の視点画像を合成したときに動体が重なり合わない特定の第１の視点画像と、この特定の第１の視点画像と同時撮像され、且つ、他のタイミングで撮像された第２の視点画像を合成したときに動体が重なり合わない特定の第２の視点画像を選択する画像選択ステップと、選択された特定の第１の視点画像及び特定の第２の視点画像を合成することにより、動体の様子を１つの画像内で立体視可能な立体画像を生成する立体画像生成ステップとを有することを特徴とする。
【０００８】
前記画像選択ステップは、各撮像タイミングにおける第１の視点画像中の動体の動き方向を検出するとともに、各撮像タイミングにおける第２の視点画像中の動体の動き方向を検出する第１の動き方向検出ステップと、前記複数枚の第１の視点画像及び第２の視点画像の中から、動き方向に関する動体の座標が所定の条件を満たす第１の視点画像を前記特定の第１の視点画像として選択し、この特定の第１の視点画像と同時撮像され、且つ、動き方向に関する動体の座標が所定の条件を満たす第２の視点画像を特定の第２の視点画像として選択する第１の選択ステップとを含むことが好ましい。
【０００９】
前記画像選択ステップは、各撮像タイミングにおける第１の視点画像中の動体の動き方向を検出する第２の動体検出ステップと、前記複数枚の第１の視点画像の中から、動き方向に関する動体の座標が所定の条件を満たす特定の第１の視点画像を仮選択するとともに、前記複数枚の第２の視点画像の中から、仮選択された特定の第１の視点画像と同時撮像された第２の視点画像を選択する第２の選択ステップと、前記第２の選択ステップで選択された第２の視点画像中の動体の動き方向を検出する第３の動体検出ステップと、前記第２の選択ステップで選択された第２の視点画像の中から、動き方向に関する動体の座標が所定の条件を満たす特定の第２の視点画像を選択するとともに、仮選択された特定の第１の視点画像の中から、前記特定の第２の視点画像と同時撮像された特定の第１の視点画像を本選択する第３の選択ステップと、前記立体画像生成ステップは、前記第３の選択ステップで本選択された特定の第１の視点画像及び前記第３の選択ステップで選択された特定の第２の視点画像を合成することにより、立体画像を生成することが好ましい。
【００１０】
前記所定の条件は、第１の撮像タイミングにおける動体の最小位置座標が、その第１の撮像タイミングの前の第２の撮像タイミングにおける動体の最大位置座標から設定された基準座標以上であることが好ましい。
【００１１】
前記立体画像生成ステップは、特定の撮像タイミングにおける動体が他の撮像タイミングの動体よりも強調されるように、立体画像を生成することが好ましい。
【００１２】
前記立体画像生成ステップは、前記選択された特定の第１の視点画像及び前記特定の第２の視点画像に加えて、前記特定の第１の視点画像として選択されなかった第１の視点画像の一部と、前記特定の第２の視点画像として選択されなかった第２の視点画像の一部とを合成することにより、立体画像を生成することが好ましい。
【００１３】
前記立体画像生成ステップは、複数の動体の様子を１つの画像内で立体視可能な立体画像を生成することが好ましい。
【００１４】
同時撮像された第１の視点画像及び第２の視点画像において同一の動体がどの程度離れているかを示す視差量が、予め設定された許容値を超えたか否かを判定する視差量判定ステップを有し、前記立体画像生成ステップは、前記選択された特定の第１の視点画像及び前記特定の第２の視点画像のうち視差量が許容値未満である画像のみを合成することにより、立体画像を生成することが好ましい。
【００１５】
本発明の３Ｄ画像生成プログラムは、上記記載の本発明の３Ｄ画像生成方法における各ステップをコンピュータに実行させることを特徴とする。
【００１６】
本発明の３Ｄ画像生成装置は、互いに異なる２つの視点から動く被写体である動体を同じタイミングで撮像する同時撮像を、連続して行うことによって得られる複数枚の第１の視点画像及び第２の視点画像を取得する画像取得手段と、前記複数枚の第１の視点画像及び第２の視点画像の中から、他のタイミングで撮像された第１の視点画像を合成したときに動体が重なり合わない特定の第１の視点画像と、この特定の第１の視点画像と同時撮像され、且つ、他のタイミングで撮像された第２の視点画像を合成したときに動体が重なり合わない特定の第２の視点画像を選択する画像選択手段と、選択された特定の第１の視点画像及び前記特定の第２の視点画像を合成することにより、動体の様子を１つの画像内で立体視可能な立体画像を生成する立体画像生成手段とを備えることを特徴とする。
【発明の効果】
【００１７】
本発明によれば、動体の様子を１つの画像内で立体視することができる立体画像を生成することができる。この立体画像は、複数枚の第１の視点画像及び第２の視点画像の中から、他のタイミングで撮像された第１の視点画像を合成したときに動体が重なり合わない特定の第１の視点画像と、この特定の第１の視点画像と同時撮像され、且つ、他のタイミングで撮像された第２の視点画像を合成したときに動体が重なり合わない特定の第２の視点画像を選択した上で、これら選択された特定の第１の視点画像及び特定の第２の視点画像を用いて生成されているため、画質が顕著に劣化せず、また不自然な３Ｄ画像とならない。
【００１８】
また、立体画像は特定の第１の視点画像及び特定の第２の視点画像のマルチフレーム合成により生成されるため、背景など動体が無い領域は高感度低ノイズの画質を得ることができる。また、上記特定の第１の視点画像及び特定の第２の視点画像の選択は、各撮像タイミングにおける第１の視点画像及び第２の視点画像中の動体の動き方向の座標を用いて行っているため、他の撮像タイミングの左視点画像及び右視点画像を合成したときの動体の重なり合い（多重化）を確実に回避することができる。
【図面の簡単な説明】
【００１９】
【図１】正面側から見た複眼カメラの図である。
【図２】背面側から見た複眼カメラの図である。
【図３】複眼カメラの電気的構成を示す図である。
【図４】第２立体画像生成回路の各部を示す図である。
【図５】各時刻における動体の対応点を説明するための図である。
【図６】第１実施形態で行う特定の左視点画像及び特定の右視点画像の選択を説明するための図である。
【図７】第１実施形態の動体立体視化画像を示す図である。
【図８】左視点画像及び右視点画像の取得から動体立体視化画像の生成までの流れを示す図である。
【図９】図８のフローに従って得られる特定の左視点画像及び特定の右視点画像から動体立体視化画像を生成する手順を示す図である。
【図１０】左視点画像及び右視点画像の取得から特定の右視点画像の仮選択を行うまでのフローを示す図である。
【図１１】図１０のフローに引き続いて動体立体視化画像を生成するまでのフローを示す図である。
【図１２】図１０及び図１１のフローに従って得られる特定の左視点画像及び本選択された特定の右視点画像から動体立体視化画像を生成する手順を示す図である。
【図１３】第２実施形態の動体立体視化画像を生成する手順を示す図である。
【図１４】第２実施形態の動体立体視化画像を示す図である。
【図１５】特定の左視点画像及び特定の右視点画像でない左視点画像及び右視点画像からその一部を切り取る処理を説明するための図である。
【図１６】第３実施形態の動体立体視化画像を示す図である。
【図１７】第４実施形態で行う特定の左視点画像及び特定の右視点画像の選択を説明するための図である。
【図１８】第４実施形態の動体立体視化画像を示す図である。
【図１９】第５実施形態で行う特定の左視点画像及び特定の右視点画像の選択と視差量の判定を説明するための図である。
【図２０】第５実施形態の動体立体視化画像を示す図である。
【図２１】本発明の動体立体視化画像生成プログラムがインストールされたＰＣを示す図である。
【発明を実施するための形態】
【００２０】
図１に示すように、第１実施形態の複眼カメラ１０は、カメラ本体１１の前面に、左視点用１２及び右視点用撮像部１３とストロボ発光部１４を、カメラ本体１１の上面に、シャッタボタン１５と電源スイッチ１６を備えている。左視点用及び右視点用撮像部１２，１３は、互いの光軸が略平行となるように、所定間隔を隔てて設けられている。また、シャッタボタン１５は半押し操作と全押し操作とが可能であり、半押し操作時にはオートフォーカスが行われ、全押し操作時には、その操作時点での撮像画像をメモリカード２０（図２参照）に記録する。
【００２１】
図２に示すように、カメラ本体１１の背面には、モニタ１８及び操作部１９が設けられている。また、カメラ本体１１の底面には、SDカードなどのメモリカード２０が着脱自在に装填されるカードスロットと、このカードスロットの開口部を覆う開閉自在の装填蓋とが設けられている（いずれも図示省略）。
【００２２】
モニタ１８は、画像を表示するLCDとこのLCD上に貼り付けられたレンチキュラシート（いずれも図示省略）を備えており、LCDに表示された立体画像をレンチキュラシートを介して観察することで、画像を立体視することができる。操作部１９は、各種モードの設定を行うモード切替スイッチ２２と、モニタ１８にメニュー画面や設定画面を表示させるメニューボタン２３と、画面上のカーソルを移動させる十字キー２４と、これらスイッチ等によって選択されるモード等を確定させる実行ボタン２５とを備えている。
【００２３】
本実施形態では、モード切替スイッチ２２は、モニタ１８上で静止状態の被写体を立体視可能にする立体画像を取得する静止画モードと、一定時間内に動く被写体（動体）の様子を１つの画像内で立体視可能にした立体画像である動体立体視化画像を取得するストロボモードとの間で、モードの切り替えが可能である。なお、静止画モードやストロボモードの他、動画モードなどを設けてもよい。
【００２４】
図３に示すように、左視点用撮像部１２は、被写体からの光が入射するレンズユニット３７と、レンズユニット３７によって結像される左視点画像を撮像して撮像信号を出力するCCD３９と、CCD３９から出力された撮像信号を所定の処理によって左視点画像信号（Ｌ画像信号）に変換し、変換したＬ画像信号を画像入力コントローラ４５へと出力するAFE（Analog Front End）４０と、CCD３９及びAFE４０に接続されており、ＣＰＵ３３からの指示に基づいて、画像入力コントローラ４５への撮像信号の出力を制御する左視点用撮像制御部４１を備えている。なお、被写体の撮像は、ＣＣＤに代えて、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）で行ってもよい。
【００２５】
右視点用撮像部１３は、左視点用撮像部１２と同様に、レンズユニット３８、CCD４８、AFE４９、右視点用撮像制御部５０を備えている。右視点用撮像部１３では、右視点画像の撮像により得られる右視点画像信号（Ｒ画像信号）を画像入力コントローラ４５へと出力する。
【００２６】
CPU３３は、カメラ本体１１の内部に設けられており、複眼カメラ１０の各部を電気的に制御する。このCPU３３には、左視点用撮像制御部４１及び右視点用撮像制御部５０の両方を制御する統括撮像制御部３３ａが設けられている。統括撮像制御部３３ａは、静止画モードとストロボモードとで異なる制御を行う。静止画モードの場合、左視点用撮像部１２及び右視点用撮像部１３の両方で被写体を同時に撮像し、シャッタボタン１５が全押し操作されたときに、メモリカード２０に記録する左視点画像及び右視点画像の元となるＬ画像信号及びR画像信号を画像入力コントローラ４５に出力する。
【００２７】
一方、ストロボモードに設定されている場合には、時刻ｔ０でシャッタボタン１５を全押し操作してから、一定時間後の時刻ｔｎで再度シャッタボタン１５を全押し操作するまでの間、左視点用撮像部１２及び右視点用撮像部１３で被写体を同時に撮像するように制御する。撮像は、時刻ｔ０から時刻ｔｎの間、一定の時間間隔（ｔ１―ｔ０＝ｔ２−ｔ１＝・・・＝ｔｎ―ｔ（ｎ−１））で連続的に行われる。即ち、連写撮影が行われる。これにより、左視差用撮像部１２の撮像で得られる（ｎ＋１）枚分のＬ画像信号と、右視差用撮像部１３の撮像で得られる（ｎ＋１）枚分のR画像信号が画像入力コントローラ４５に出力される。
【００２８】
画像入力コントローラ４５は、所定容量のバッファを有しており、左視点用撮像部１２及び右視点用撮像部１３から出力されたＬ，Ｒ画像信号を一時的に蓄積するとともに、蓄積したＬ，Ｒ画像信号を信号処理回路５６へと送信する。
【００２９】
信号処理回路５６は、画像入力コントローラ４５からのＬ，Ｒ画像信号に対して階調変換、ホワイトバランス補正、γ補正処理、ＹＣ変換処理などの各種処理を施すことによって、Ｌ，Ｒ画像データを生成する。生成されたＬ，Ｒ画像データは、RAM３４に格納される。RAM３４に格納されたL，R画像データは、第１立体画像生成回路６０及び第２立体画像生成回路６１に読み出される。
【００３０】
第１立体画像生成回路６０は、静止画モードに設定されている場合に、RAM３４から読み出したＬ，Ｒ画像データを合成することによって３Ｄ静止画像データを生成する。生成された３Ｄ静止画像データは表示回路５９へ送信され、表示回路５９は受信した３Ｄ静止画像データに基づいて、モニタ１８に３Ｄ静止画像を表示する。そして、シャッタボタン１５が全押し操作されたときには、静止画像データは、表示回路５９及び圧縮伸張処理回路５７に送信される。
【００３１】
圧縮伸張処理回路５７では、静止画像データに圧縮処理を行い、所定のファイル形式の圧縮合成画像データを生成する。生成された圧縮合成画像データは、メディアコントローラ５８によってメモリカード２０に記録される。また、表示回路５９は、３Ｄ静止画像データに基づいて、モニタ１８にシャッタボタン１５全押し操作時点での３Ｄ静止画像を表示する。
【００３２】
図４に示すように、第２立体画像生成回路６１はストロボモード時に動体立体視化画像を生成する回路であり、左視点画像及び右視点画像の情報が含まれるL，R画像データから、動く被写体（動体）を検出する動体検出部７０と、動体検出部７０での検出結果に基づいて、全ての左視点画像及び右視点画像の中から、他の時刻の左視点画像及び右視点画像と合成したときに動体が重なり合わない特定の左視点画像及び右視点画像を選択する画像選択部７１と、特定の左視点画像及び右視点画像から動体立体視化画像を生成する動体立体視化画像生成部７２とを備えている。動体立体視化画像生成部７２で生成された動体立体視化画像は、３Ｄ静止画像と同様に、モニタ１８に表示されるとともに、動体立体視化画像データとして、メモリカード２０に記録される。
【００３３】
動体検出部７０は、（ｎ＋１）枚分の左視点画像のそれぞれについて特徴点を抽出するととともに、各左視点画像間で互いに略共通する特徴点を対応点として特定する。例えば、図５の場合であれば、時刻ｔ０の左視点画像上の特徴点Aの対応点は、時刻ｔ１の左視点画像上では特徴点A１であり、時刻ｔ２の左視点画像上ではA２となる。また、動体検出部７０は、（ｎ＋１）枚分の右視点画像についても、同様にして特徴点を抽出し、各右視点画像間で互いに略共通する特徴点を対応点として特定する。
【００３４】
そして、時刻ｔ０を基準として、時刻ｔ１、時刻ｔ２・・・の順に各左視点画像及び右視点画像それぞれの対応点を比較することによって、動体を検出する。そして、時刻ｔｋ（ｋはｎ以下の自然数）で動体が検出されたら、対応点の位置情報とその周辺画素の輝度情報をRAM３４に記録するとともに、動体の領域（大きさ）と動き方向Ｘ（図５参照）を推定する。そして、この推定結果から、時刻ｔ０における動体の最大位置座標XmaxL0及び最小位置座標XminL0（いずれも動き方向Ｘに関する座標）を求めるとともに、時刻ｔｋにおける動体の時刻ｔｋにおける最大位置座標XmaxLk及び最小位置座標XminLk（いずれも動き方向Ｘに関する座標）を求める。動体検出部７０では、動体の検出毎に、動体の領域と動き方向を推定し、その検出時点での動き方向に対する最大位置座標と最小位置座標を求める。
【００３５】
画像選択部７１は、時刻ｔ０における動体の最大位置座標XmaxL0,XmaxR0を基準座標Ls,Rsとして設定した上で、動体検出時である時刻ｔｋの左視点画像及び右視点画像において、動体の最小位置座標が基準座標Ls,Rs以上となるか否かを判定する。判定の結果、動体の最小位置座標XminLk, XminRkの両方が基準座標Ls,Rs以上でない場合は、時刻ｔｋの左視点画像及び右視点画像は特定の左視点画像及び右視点画像画像として選択されない。
【００３６】
一方、動体の最小位置座標XminLk, XminRkの両方が基準座標Ls,Rs以上と判定された場合には、時刻ｔｋの左視点画像及び右視点画像を特定の左視点画像及び右視点画像画像として選択するとともに、基準座標Ls,Rsを時刻ｔｋにおける最大位置座標XmaxLk,XmaxRkに変更する。以上の特定の左視点画像及び右視点画像画像の選択は、動体が検出される毎に行われる。
【００３７】
例えば、図６に示すように、時刻ｔ０から時刻ｔ４までの間、被写体を連写撮影することによって、時刻ｔ０から時刻ｔ４までの５枚分の左視点画像及び５枚分の右視点画像が得られた場合における特定の左視点画像及び右視点画像画像の選択手順を、以下に示す。まず、時刻ｔ０の左視点画像から動き方向Xに対する最大位置座標XmaxL0を基準座標Lsとして設定し、同様にして、時刻ｔ０の右視点画像から動き方向Xに対する最大位置座標XmaxR0を基準座標Rsとして設定する。なお、図６では、動き方向Ｘの座標は、右側から左側に向かうほど大きくなる。
【００３８】
次に、時刻ｔ１の左視点画像中の動体の最小位置座標XminL1が基準座標Ls（XmaxL0）以上か否かを判定するとともに、時刻ｔ１の右視点画像中の最小位置座標XminR1が基準座標Rs（XminR0）以上か否かを判定する。時刻ｔ１においては、Ls（XmaxL0）＞XminL1、且つRs（XmaxR0）＞XminR1であるので、時刻ｔ１の左視点画像及び右視点画像は特定の左視点画像及び右視点画像画像として選択されない。
【００３９】
同様にして、次に、時刻ｔ２の左視点画像において、動き方向Xに対する最小位置座標XminL2が基準座標Ls（XmaxL0）以上か否かを判定するとともに、時刻ｔ２の右視点画像において、最小位置座標XminR2が基準座標Rs（XminR0）以上か否かを判定する。時刻ｔ２においては、Ls（XmaxL0）≦XminL2、且つRs（XmaxR0）≦XminR2であるので、時刻ｔ２の左視点画像及び右視点画像は特定の左視点画像及び右視点画像画像として選択される。また、基準座標LsはXmaxL2に、基準座標RsはXmaxR2に更新される。
【００４０】
次に、時刻ｔ３の左視点画像において、動き方向Xに対する最小位置座標XminL3が基準座標Ls（XmaxL2）以上か否かを判定するとともに、時刻ｔ３の右視点画像において、最小位置座標XminR3が基準座標Rs（XminR2）以上か否かを判定する。時刻ｔ３においては、Rs（XmaxR2）≦XminR3であるものの、Ls（XmaxL2）＞XminL3であるので、時刻ｔ３の左視点画像及び右視点画像は特定の左視点画像及び右視点画像画像として選択されない。
【００４１】
次に、時刻ｔ４の左視点画像において、動き方向Xに対する最小位置座標XminL4が基準座標Ls（XmaxL2）以上か否かを判定するとともに、時刻ｔ４の右視点画像において、最小位置座標XminR4が基準座標Rs（XminR2）以上か否かを判定する。時刻ｔ４においては、Ls（XmaxL2）≦XminL4、且つRs（XmaxR2）≦XminR4であるので、時刻ｔ４の左視点画像及び右視点画像は特定の左視点画像及び右視点画像画像として選択される。
【００４２】
以上から、時刻ｔ０から時刻ｔ４までの左視点画像及び右視点画像の中から、時刻ｔ２、時刻ｔ４の左視点画像及び右視点画像が合成対象画像として選択される。また、時刻ｔ０の左視点画像及び右視点画像についても、他の時刻の左視点画像及び右視点画像と合成したときに動体が重なり合うことが無いので、特定の左視点画像及び右視点画像画像として選択される。
【００４３】
動体立体視化画像生成部７２は、特定の左視点画像を合成することにより左視点合成画像を生成するとともに、特定の右視点画像とを合成することにより右視点合成画像を生成する。そして、左視点合成画像と右視点合成画像を更に合成することによって、１つの画像内で動体の様子を立体視することができる動体立体視化画像が生成される。
【００４４】
例えば、図６のように、時刻ｔ０、時刻ｔ２、時刻ｔ４の左視点画像及び右視点画像が特定の左視点画像及び右視点画像画像として選択された場合には、図７に示すように、時刻ｔ０、時刻ｔ２、時刻ｔ４の左視点画像の合成画像である左視点合成画像７５と、時刻ｔ０、時刻ｔ２、時刻ｔ４の右視点画像の合成画像である右視点合成画像７６とを更に合成することによって、時刻ｔ０から時刻ｔ４間における動体の様子を立体視可能にした動体立体視化画像７７が得られる。
【００４５】
この動体立体視化画像７７の生成には、特定の左視点画像及び右視点画像画像として選択された時刻ｔ０、時刻ｔ２、時刻ｔ４の左視点画像及び右視点画像のみが使用され、特定の左視点画像及び右視点画像画像として選択されなかった時刻ｔ１、時刻ｔ３の左視点画像及び右視点画像は使用されない。仮に、この使用されなかった時刻ｔ１の左視点画像及び右視点画像と時刻ｔ０の左視点画像及び右視点画像と合成した場合には、それぞれの動体が重なり合ってしまう（動体の多重化）。また、同様にして、時刻ｔ３の左視点画像を時刻ｔ２の左視点画像に合成した場合にも、動体の多重化が発生する。
【００４６】
したがって、動体立体視化画像は、このような動体の多重化が起こり得る左視点画像及び右視点画像を使用せずに生成されているため、画質破綻を起こすことなく、動体の様子を３Ｄ画像として確実に把握することができる。
【００４７】
また、時刻ｔ３のときのように、左視点画像又は右視点画像いずれか一方ののみ動体の多重化が起こり得る場合であっても、その時刻における左視点画像及び右視点画像は動体立体視化画像の生成に使用しないことで、画質劣化を引き起こすおそれがない。例えば、動体の多重化と両眼における視差とを混同してしまうことを防止することができる。
【００４８】
また、動体が検出される毎に、動体の大きさや動き方向を検出しているため、途中で動体が異なる方向に移動したり、大きさが変形した場合であっても、画像を合成したときに動体が多重化を起こすか否かを正確に判定することができる。
【００４９】
また、動体立体視化画像を生成する際には、特定の左視点画像をマルチフレーム合成処理した左視点合成画像と、同様にして特定の右視点画像をマルチフレーム合成処理した右視点合成画像とを用いていることから、背景などの動体以外の領域を高感度で低ノイズな画質にすることができる。
【００５０】
次に、動体立体視化画像を生成するまでの流れを、図８及び図９のフローチャートに沿って説明する。まず、モード切替スイッチ２２によってストロボモードに切り替える。そして、左視点用撮像部１２及び右視点用撮像部１３を被写体に向けた状態で、シャッタボタン１５を全押し操作する（時刻ｔ０）。この全押し操作と同時又は直後に、被写体を動かす。一定時間後に、動く被写体（動体）がモニタ１８上からフレームアウトしたら、再度、シャッタボタン１５を全押し操作する（時刻ｔｎ）。これにより、時刻ｔ０〜時刻ｔｎ（ｎは１以上の自然数）間の左視点画像及び右視点画像が得られる。
【００５１】
時刻ｔ０〜時刻ｔｎ間の左視点画像及び右視点画像が得られたら、動体検出部７０によって、全ての左視点画像及び右視点画像から特徴点を抽出する。次に、時刻ｔ０の左視点画像及び右視点画像と時刻ｔ１の左視点画像及び右視点画像との対応点を比較することによって、時刻ｔ１の左視点画像及び右視点画像に動体が存在するか否かを検出する動体の検出処理を行う。動体が検出されない場合には、次の時刻ｔ２の左視点画像及び右視点画像に対して、同様の処理を行う。この動体の検出処理は、各時刻の左視点画像及び右視点画像毎に行われ、動体が検出されるまで繰り返し行われる。
【００５２】
そして、時刻ｔｋの左視点画像及び右視点画像から動体が検出されたら、その対応点及びその周辺画素の輝度情報を利用して、動体の大きさと動き方向Ｘを推定する。また、画像選択部７１において、時刻ｔ０における動体の最大位置座標XmaxL0,XmaxR0を基準座標Ls,Rsに設定した上で、基準座標Ls,Rsと時刻ｔｋにおける動体の最小位置座標XminLk,XminRkとを大小比較する。大小比較した結果、XminLk≧LsとXminRk≧Rsの両方を満たさない場合には、時刻ｔｋの左視点画像及び右視点画像を特定の左視点画像及び右視点画像画像として選択せず、次の時刻ｔ（ｋ＋１）について動体の検出処理を行う。
【００５３】
一方、XminLk≧LsとXminRk≧Rsの両方を満たす場合には、時刻ｔｋの左視点画像及び右視点画像を特定の左視点画像及び右視点画像画像として選択する。そして、基準座標Ls,Rsを時刻ｔｋにおける動体の最大位置座標XmaxLk,XmaxRkに変更する。この基準座標の変更が完了したら、次の時刻ｔ（ｋ＋１）について動体の検出処理を行う。
【００５４】
全ての左視点画像及び右視点画像について、動体の検出と特定の左視点画像及び右視点画像画像か否かの判定が完了した後は、動体立体視化画像生成部７２で動体立体視化画像生成処理を行う。動体立体視化画像生成部７２では、特定の左視点画像を合成することによって、左視点合成画像を生成する。また、同様にして、特定の右視点画像を合成することによって、右視点合成画像を生成する。その上で、左視点合成画像と右視点合成画像とを更に合成することによって、動体立体視化画像を生成する。生成された動体立体視化画像は、モニタ１８に表示されるとともに、動体立体視化画像データとして、メモリカード２０に記録される。
【００５５】
なお、第１実施形態では、全ての左視点画像及び右視点画像に対して動体の検出処理をし、動体が検出された左視点画像及び右視点画像の中で、特定の左視点画像及び右視点画像画像に該当するか否かの判定を行ったが、これに限る必要はない。
【００５６】
例えば、図１０に示すように、右視点画像のみ特徴点の抽出を行い、その抽出結果に基づいて、動体の検出処理を行う。検出の結果、時刻ｔｋの右視点画像から動体が検出されたら、時刻ｔｋにおける動体の最小位置座標XminRkと基準座標Rsとを大小比較する。大小比較の結果、XminRk≧Rsを満たす場合には、時刻ｔｋの右視点画像を特定の右視点画像として仮選択する。なお、図１０において、特徴点の抽出から基準座標の変更までのフローは、右視点画像のみ処理を行う点以外は、図８と同様であるので、詳細な説明を省略する。
【００５７】
全ての右視点画像について動体の検出処理及び特定の右視点画像か否かの判定が完了したら、図１１に示すように、全ての左視点画像の中から、仮選択した特定の右視点画像と同時刻に撮像した左視点画像を選択する。そして、これら選択された左視点画像（以下「選択左視点画像」とする）から特徴点を抽出し、抽出した特徴点を用いて各画像毎に動体の大きさ及び動き方向を推定する。そして、この推定結果を利用して、選択左視点画像の中から、他の時刻の選択左視点画像と合成したときに動体が重なり合わない特定の左視点画像を選択する。特定の左視点画像か否かの判定は、全ての選択左視点画像に対して行われる。
【００５８】
なお、選択左視点画像の中から選択される特定の左視点画像は、上記実施形態と同様に、動き方向における動体の最小位置座標が基準座標以上である選択左視点画像とされる。また、特定の左視点画像の選択の際に行われる基準座標の設定及び最小位置座標と基準座標の大小比較については、上記実施形態と同様であるため、詳細な説明を省略する。
【００５９】
そして、全ての選択左視点画像について特定の左視点画像か否かの判定が完了すると、仮選択された特定の右視点画像の中から、特定の左視点画像と同時刻に撮像された特定の右視点画像を本選択してから、動体立体視化画像生成処理を行う。
【００６０】
図１２に示すように、動体立体視化画像生成処理では、特定の左視点画像を合成することによって、左視点合成画像を生成する。また、本選択された特定の右視点画像を合成することによって、右視点合成画像を生成する。そして、これら生成された左視点合成画像及び右視点合成画像を更に合成することによって、動体立体視化画像を生成する。
【００６１】
以上のように、動体立体視化画像を生成することで、この画像の生成に必要な処理を減らすことができ、また、処理時間を短くすることができる。なお、全ての右視点画像の中から特定の右視点画像を仮選択した上で、その仮選択した特定の右視点画像と同時刻に撮像した左視点画像の中から特定の左視点画像を選択したが、反対に、全ての左視点画像の中から特定の左視点画像を仮選択した上で、その仮選択した特定の左視点画像と同時刻の撮像した右視点画像の中から特定の右視点画像を選択してもよい。
【００６２】
本発明の第２実施形態では、特定の左視点画像及び特定の右視点画像をマルチフレーム合成する際にいずれの時刻における動体も同等の輝度となるように合成する第１実施形態と異なり、特定の時刻における動体が、他の時刻における動体よりも強調されるように合成を行う。即ち、特定の時刻における動体の合成比率を、他の時刻における動体の合成比率よりも大きくする。第２実施形態では、特徴点の抽出から基準座標の変更まで（図８参照）は、第１実施形態と同様の処理を行う。
【００６３】
そして、全ての左視点画像及び右視点画像について動体の検出及び特定の左視点画像及び右視点画像に該当するか否かの判定が完了したら、図１３に示すように、動体の合成比率を高くする時刻ｔｘを、操作部１９によって入力する。そして、図１４に示すように、時刻ｔｘにおける動体１００ａの合成比率が他の時刻の動体の合成比率よりも高くなるように、特定の左視点画像をマルチフレーム合成して左視点合成画像１００を生成する。また、右視点画像についても同様の処理を行うことによって、時刻ｔｘにおける動体１０１ａの合成比率が高い右視点合成画像１０１を生成する。これら左視点合成画像と右視点合成画像を合成することによって、時刻ｔの動体１０２ａが他の時刻の動体よりも強調された動体立体視化画像１０２が得られる。
【００６４】
なお、第２実施形態では、動体立体視化画像において特定の時刻の動体のみを強調したが、これに限られない。例えば、モニタに動体立体視化画像を表示するときには、動体の動きの様子が分かるように、強調する動体を一定時間毎に変えてもよい。
【００６５】
本発明の第３実施形態では、特定の左視点画像及び右視点画像のみ合成し、特定の左視点画像及び右視点画像でない左視点画像及び右視点画像については合成しなかった第１実施形態と異なり、特定の左視点画像及び右視点画像でない左視点画像及び右視点画像であっても、動体立体視化画像内で不自然な立体画像とならなければ、それらの一部を合成してもよい。
【００６６】
例えば、図１５では、時刻ｔ２の左視点画像及び右視点画像については、特定の左視点画像及び右視点画像であるため、いずれも動体の最小位置座標XminL2,XminR2が基準座標Ls,Rsを超えている。これに対して、時刻ｔ１の左視点画像及び右視点画像については、いずれも動体の最小位置座標XminL1,XminR1が基準座標Ls,Rs未満となっており、時刻ｔ３の右視点画像については動体の最小位置座標XminR3が基準座標Lsを超えているものの、時刻ｔ３の左視点画像については動体の最小位置座標XminL3が基準座標Rs未満となっている。
【００６７】
そこで、動体の最小位置座標XminL1,XminR1がいずれも基準座標Ls,Rs未満となっている時刻ｔ１の左視点画像及び右視点画像について、時刻ｔ１の左視点画像のうち動き方向Ｘに関してLs(XminL0)を超える領域を切り取るとともに、時刻ｔ１の右視点画像のうち動き方向Ｘに関してRs(XminR0)を超える領域を切り取る。
【００６８】
そして、図１６に示すように、時刻ｔ０、時刻ｔ２の特定の左視点画像及び特定の右視点画像と、時刻ｔ１の左視点画像及び右視点画像から切り取られた領域部分（Ls(XminL0),Rs(XminR0)を超える領域部分）の画像とを合成することによって、左視点合成画像１２０が得られる。その際、上記の時刻ｔ１の左視点画像及び右視点画像から切り取られた領域部分の合成比率は、他の画像よりも低くする。右視点画像についても同様の合成処理をすることによって、右視点合成画像１２１が得られる。そして、得られた左視点合成画像１２０と右視点合成画像１２１を更に合成することによって、動体立体視化画像１２２が得られる。
【００６９】
動体立体視化画像１２２には、特定の左視点画像及び右視点画像でない画像中の動体の一部が合成されたことで、動体立体視化画像１２２上で動体のスピード感を表現することができる。また、その動体の一部の合成比率は他の画像よりも低くしているため、動体が見にくくなったりするなどの画質劣化が起こることが無い。
【００７０】
なお、第３実施形態では、時刻ｔ１のように、左視点画像及び右視点画像についていずれも動体の最小位置座標が基準座標未満の場合にのみ、それら画像中の動体の一部を動体立体視化画像に加えたが、時刻ｔ３のように、左視点画像及び右視点画像のうちのいずれか一方のみが動体の最小位置座標が基準座標未満の場合にも、それら画像中の動体の一部を動体立体視化画像に加えてもよい。
【００７１】
本発明の第４実施形態では、動体立体視化画像内で１つの動体の様子を立体視可能にした第１実施形態と異なり、２つ以上の動体の様子を１つの画像内で立体視可能にする動体立体視化画像を生成する。動体が２以上の場合であっても、各時刻における左視点画像及び右視点画像において、動体の大きさ及び動き方向を検出するとともに、検出された全ての動体について最小位置座標が基準座標以上か否かを判定する。そして、判定の結果、全ての動体について最小位置座標が基準座標以上のときに、その時刻の左視点画像及び右視点画像を特定の左視点画像及び右視点画像とする。
【００７２】
例えば、図１７に示すように、時刻ｔ１の左視点画像及び右視点画像では、時刻ｔ０の左視点画像及び右視点画像との対応点の比較から、右側から左側に向かう動き方向Ｘで移動する動体Ｚ１と、左側から右側に向かう動き方向Ｙで移動する動体Ｚ２が検出される。動体Ｚ１については、左視点画像及び右視点画像ともに、最小位置座標XminL1,XminR1が基準座標XLs,XRsを下回っている。また、動体Ｚ２についても、左視点画像及び右視点画像ともに、最小位置座標YminL1,YminR1が基準座標YLs,YRsを下回っている。したがって、いずれの動体Ｚ１及びＺ２についても最小位置座標が基準座標を下回っているため、左視点画像及び右視点画像は特定の左視点画像及び右視点画像とされない。なお、図１７では、動き方向Ｙの座標は、左側から右側に向かうほど大きくなる。
【００７３】
一方、時刻ｔ２の左視点画像及び右視点画像については、動体Ｚ１の最小位置座標XminL2,XminR2が基準座標XLs,XRsを超えており、また動体Ｚ２の最小位置座標YminL2,YminR2が基準座標YLs,YRsを超えているため、左視点画像及び右視点画像は特定の左視点画像及び右視点画像とされる。そして、図１８に示すように、時刻ｔ０、時刻ｔ２の特定の左視点画像を合成することにより左視点合成画像１３０を生成するとともに、初期時刻ｔ０、時刻ｔ２の特定の右視点画像を合成することにより右視点合成画像１３１を生成する。そして、これら左視点合成画像１３０と右視点合成画像１３１を更に合成することにより、２つの動体Ｚ１及びＺ２が１つの画像内で立体視可能な動体立体視化画像１３２が生成される。
【００７４】
本発明の第５実施形態では、複眼カメラ１０に対して接近する方向または離れる方向（奥行き方向）に動く被写体の動体立体視化画像を生成する。第５実施形態では、各時刻における左視点画像及び右視点画像が特定の左視点画像及び右視点画像に該当するか否かの判定には、各時刻における動体の最小位置座標が基準座標以上となるか否かの判定だけでなく、同時刻における左視点画像と右視点画像とで同一の動体がどの程度離れているかを示す視差量が許容範囲内に収まっているか否かの判定を利用する。
【００７５】
例えば、図１９に示すように、時刻ｔ０から時刻ｔ３までの間で、動体が複眼カメラ１０に接近する方向に移動する場合について説明する。まず、時刻ｔ０の左視点画像から動き方向Ｙに移動する動体の最大位置座標YmaxL0を基準座標Lsに設定するとともに、時刻ｔ０の右視点画像から動き方向Ｘに移動する動体の最大位置座標XmaxR0を基準座標Rsに設定する。また、時刻ｔ０の左視点画像及び右視点画像から、動体の視差量Ｄ０を求め、この求めた視差量Ｄ０から最大限許容される許容値Ｄｍａｘを求める。
【００７６】
次に、各時刻の左視点画像及び右視点画像において、動体の最小位置座標が基準座標以上か否かを判定するとともに、動体の視差量が許容値を超えているか否かを判定する。時刻ｔ１では、視差量Ｄ１は許容量Ｄｍａｘ未満である。しかしながら、時刻ｔ１の左視点画像及び右視点画像のいずれも、動体の最小位置座標XminL1,XminR1は基準座標XLs,XRs未満であり、最小位置座標,YminL1,YminR1は基準座標YLs,YRs未満である。したがって、左視点画像及び右視点画像は特定の左視点画像及び右視点画像として選択されない。
【００７７】
時刻ｔ２の左視点画像及び右視点画像では、視差量Ｄ２は許容量Ｄｍａｘ未満である。また、時刻ｔ２の左視点画像及び右視点画像のいずれも、動体の最小位置座標XminL2,XminR2は基準座標XLs,XRsを超えており、最小位置座標,YminL2,YminR2は基準座標YLs,YRsを超えている。したがって、時刻ｔ２の左視点画像及び右視点画像は特定の左視点画像及び右視点画像として選択される。
【００７８】
時刻ｔ３左視点画像及び右視点画像については、動体の最小位置座標XminL3,XminR3は基準座標XLs,XRsを超えており、最小位置座標,YminL3,YminR3は基準座標YLs,YRsを超えている。しかしながら、視差量Ｄ３が許容量Ｄｍａｘを超えている。したがって、時刻ｔ３の左視点画像及び右視点画像は特定の左視点画像及び右視点画像として選択されない。
【００７９】
以上から、時刻ｔ０から時刻ｔ３までの左視点画像及び右視点画像の中から、時刻ｔ２の左視点画像及び右視点画像が特定の左視点画像及び右視点画像として、また、他の時刻の左視点画像及び右視点画像と合成したときに動体が重なり合わない時刻ｔ０の左視点画像及び右視点画像も、特定の左視点画像及び右視点画像として選択される。
【００８０】
そして、図２０に示すように、時刻ｔ０、時刻ｔ２の左視点画像を合成することにより左視点合成画像１４０が生成される。また、時刻ｔ０、時刻ｔ２の右視点画像を合成することにより右視点合成画像１４１が生成される。そして、これら左視点合成画像１４０と右視点合成画像１４１を更に合成することにより、複眼カメラ１０に対して奥行き方向に移動する動体の様子を立体視することができる動体立体視化画像１４２が生成される。このように動体立体視化画像１４２を生成することで、複眼カメラ１０から一定距離離れた平面内を移動する動体ではなく、奥行き方向に移動する動体の場合であっても、その動体の様子を３Ｄ画像として確実に把握することができる。
【００８１】
なお、上記第１〜第５実施形態では、ストロボモード時に取得した左視点画像及び右視点画像を用いて、複眼カメラ１０で動体立体視化画像を生成したが、これに代えて、図２１に示すように、メモリカード２０に記録したストロボモード時の左視点画像及び右視点画像をＰＣ１５０のカードスロット１５０ａを介して読み込み、その読み込んだ左視点画像及び右視点画像を用いて、ＰＣ１５０内の動体立体視化画像生成部１５１で動体立体視化画像を生成してもよい。生成された動体立体視化画像は、画像表示部にレンチキュラシート（いずれも図示省略）が設けられたディスプレイ１５２に表示される。
【００８２】
なお、ＰＣ内は第２立体画像生成回路６１と同様の機能を有する動体立体視化画像生成プログラムが格納された記憶部を備えており、３Ｄ画像ストロボ生成回路１５１はその動体立体視化画像生成プログラムを実行することによって、動体立体視化画像を生成する。
【符号の説明】
【００８３】
１０ 複眼カメラ
１２ 左視点用撮像部
１３ 右視点用撮像部
６１ 第２立体画像生成回路
７０ 動体検出部
７１ 画像選択部
７２ 動体立体視化画像生成部
７５，１００，１２０，１３０，１４０ 左視点合成画像
７６，１０１，１２１，１３１，１４１ 右視点合成画像
７７，１０２，１２２，１３２，１４２ 動体立体視化画像
【技術分野】
【０００１】
本発明は、被写体を立体視可能にする３Ｄ画像を生成する３Ｄ画像生成方法、３Ｄ画像生成プログラム、及び３Ｄ画像生成装置に関する。
【背景技術】
【０００２】
１枚の写真内に、動く被写体（動体）の様子を表したストロボ写真が知られている。従来の撮像手段として広く用いられていたフィルムカメラでは、絞りを開放してフィルムを露光させた状態で、一定時間毎に複数回のストロボ発光を行うことによって、ストロボ写真を生成していた。このような従来のフイルムカメラに代わって、今日広く普及しているデジタルカメラでは、動体が動く間、連写撮影をすることによって得られる複数枚の画像をコンピュータで画像処理することによって、ストロボ写真のような画像を生成している（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１６６５４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
今日では、１つの撮像ユニットで撮像を行う単眼のデジタルカメラの他に、左目用と右目用の２つの撮像ユニットで被写体を撮像することによって、被写体の立体視が可能な３D画像を取得する立体撮像装置に対する需要が伸びてきている。このような立体撮像装置には、３Dの静止画や３Dの動画を取得する機能を備えているものは存在するが、動く被写体の様子を１つの画像内で立体視することができる立体画像を取得する３Dストロボ機能を備えているものは現時点では存在しない（特許文献１にも記載及び示唆は無い）。
【０００５】
なお、立体撮像装置においても、連写撮像により得られる複数枚の左視点画像及び右視点画像を合成することで、ストロボ写真のような立体画像を得ることはできる。しかしながら、このように単に左視点画像及び右視点画像を合成しただけの立体画像は、動体の動きが遅い部分があると、その部分の動体が重複してしまうことがある。このように動体が重複してしまうと、部分的に動体の前後関係が分かり難くなるため、観察者は動体を立体視し難くなるおそれがある。
【０００６】
本発明は、動体の様子を１つの画像内で立体視することができる立体画像を生成できる３Ｄ画像生成方法、３Ｄ画像生成プログラム、及び３Ｄ画像生成装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の３Ｄ画像生成方法は、互いに異なる２つの視点から動く被写体である動体を同じタイミングで撮像する同時撮像を、連続して行うことによって得られる複数枚の第１の視点画像及び第２の視点画像を取得する画像取得ステップと、前記複数枚の第１の視点画像及び第２の視点画像の中から、他のタイミングで撮像された第１の視点画像を合成したときに動体が重なり合わない特定の第１の視点画像と、この特定の第１の視点画像と同時撮像され、且つ、他のタイミングで撮像された第２の視点画像を合成したときに動体が重なり合わない特定の第２の視点画像を選択する画像選択ステップと、選択された特定の第１の視点画像及び特定の第２の視点画像を合成することにより、動体の様子を１つの画像内で立体視可能な立体画像を生成する立体画像生成ステップとを有することを特徴とする。
【０００８】
前記画像選択ステップは、各撮像タイミングにおける第１の視点画像中の動体の動き方向を検出するとともに、各撮像タイミングにおける第２の視点画像中の動体の動き方向を検出する第１の動き方向検出ステップと、前記複数枚の第１の視点画像及び第２の視点画像の中から、動き方向に関する動体の座標が所定の条件を満たす第１の視点画像を前記特定の第１の視点画像として選択し、この特定の第１の視点画像と同時撮像され、且つ、動き方向に関する動体の座標が所定の条件を満たす第２の視点画像を特定の第２の視点画像として選択する第１の選択ステップとを含むことが好ましい。
【０００９】
前記画像選択ステップは、各撮像タイミングにおける第１の視点画像中の動体の動き方向を検出する第２の動体検出ステップと、前記複数枚の第１の視点画像の中から、動き方向に関する動体の座標が所定の条件を満たす特定の第１の視点画像を仮選択するとともに、前記複数枚の第２の視点画像の中から、仮選択された特定の第１の視点画像と同時撮像された第２の視点画像を選択する第２の選択ステップと、前記第２の選択ステップで選択された第２の視点画像中の動体の動き方向を検出する第３の動体検出ステップと、前記第２の選択ステップで選択された第２の視点画像の中から、動き方向に関する動体の座標が所定の条件を満たす特定の第２の視点画像を選択するとともに、仮選択された特定の第１の視点画像の中から、前記特定の第２の視点画像と同時撮像された特定の第１の視点画像を本選択する第３の選択ステップと、前記立体画像生成ステップは、前記第３の選択ステップで本選択された特定の第１の視点画像及び前記第３の選択ステップで選択された特定の第２の視点画像を合成することにより、立体画像を生成することが好ましい。
【００１０】
前記所定の条件は、第１の撮像タイミングにおける動体の最小位置座標が、その第１の撮像タイミングの前の第２の撮像タイミングにおける動体の最大位置座標から設定された基準座標以上であることが好ましい。
【００１１】
前記立体画像生成ステップは、特定の撮像タイミングにおける動体が他の撮像タイミングの動体よりも強調されるように、立体画像を生成することが好ましい。
【００１２】
前記立体画像生成ステップは、前記選択された特定の第１の視点画像及び前記特定の第２の視点画像に加えて、前記特定の第１の視点画像として選択されなかった第１の視点画像の一部と、前記特定の第２の視点画像として選択されなかった第２の視点画像の一部とを合成することにより、立体画像を生成することが好ましい。
【００１３】
前記立体画像生成ステップは、複数の動体の様子を１つの画像内で立体視可能な立体画像を生成することが好ましい。
【００１４】
同時撮像された第１の視点画像及び第２の視点画像において同一の動体がどの程度離れているかを示す視差量が、予め設定された許容値を超えたか否かを判定する視差量判定ステップを有し、前記立体画像生成ステップは、前記選択された特定の第１の視点画像及び前記特定の第２の視点画像のうち視差量が許容値未満である画像のみを合成することにより、立体画像を生成することが好ましい。
【００１５】
本発明の３Ｄ画像生成プログラムは、上記記載の本発明の３Ｄ画像生成方法における各ステップをコンピュータに実行させることを特徴とする。
【００１６】
本発明の３Ｄ画像生成装置は、互いに異なる２つの視点から動く被写体である動体を同じタイミングで撮像する同時撮像を、連続して行うことによって得られる複数枚の第１の視点画像及び第２の視点画像を取得する画像取得手段と、前記複数枚の第１の視点画像及び第２の視点画像の中から、他のタイミングで撮像された第１の視点画像を合成したときに動体が重なり合わない特定の第１の視点画像と、この特定の第１の視点画像と同時撮像され、且つ、他のタイミングで撮像された第２の視点画像を合成したときに動体が重なり合わない特定の第２の視点画像を選択する画像選択手段と、選択された特定の第１の視点画像及び前記特定の第２の視点画像を合成することにより、動体の様子を１つの画像内で立体視可能な立体画像を生成する立体画像生成手段とを備えることを特徴とする。
【発明の効果】
【００１７】
本発明によれば、動体の様子を１つの画像内で立体視することができる立体画像を生成することができる。この立体画像は、複数枚の第１の視点画像及び第２の視点画像の中から、他のタイミングで撮像された第１の視点画像を合成したときに動体が重なり合わない特定の第１の視点画像と、この特定の第１の視点画像と同時撮像され、且つ、他のタイミングで撮像された第２の視点画像を合成したときに動体が重なり合わない特定の第２の視点画像を選択した上で、これら選択された特定の第１の視点画像及び特定の第２の視点画像を用いて生成されているため、画質が顕著に劣化せず、また不自然な３Ｄ画像とならない。
【００１８】
また、立体画像は特定の第１の視点画像及び特定の第２の視点画像のマルチフレーム合成により生成されるため、背景など動体が無い領域は高感度低ノイズの画質を得ることができる。また、上記特定の第１の視点画像及び特定の第２の視点画像の選択は、各撮像タイミングにおける第１の視点画像及び第２の視点画像中の動体の動き方向の座標を用いて行っているため、他の撮像タイミングの左視点画像及び右視点画像を合成したときの動体の重なり合い（多重化）を確実に回避することができる。
【図面の簡単な説明】
【００１９】
【図１】正面側から見た複眼カメラの図である。
【図２】背面側から見た複眼カメラの図である。
【図３】複眼カメラの電気的構成を示す図である。
【図４】第２立体画像生成回路の各部を示す図である。
【図５】各時刻における動体の対応点を説明するための図である。
【図６】第１実施形態で行う特定の左視点画像及び特定の右視点画像の選択を説明するための図である。
【図７】第１実施形態の動体立体視化画像を示す図である。
【図８】左視点画像及び右視点画像の取得から動体立体視化画像の生成までの流れを示す図である。
【図９】図８のフローに従って得られる特定の左視点画像及び特定の右視点画像から動体立体視化画像を生成する手順を示す図である。
【図１０】左視点画像及び右視点画像の取得から特定の右視点画像の仮選択を行うまでのフローを示す図である。
【図１１】図１０のフローに引き続いて動体立体視化画像を生成するまでのフローを示す図である。
【図１２】図１０及び図１１のフローに従って得られる特定の左視点画像及び本選択された特定の右視点画像から動体立体視化画像を生成する手順を示す図である。
【図１３】第２実施形態の動体立体視化画像を生成する手順を示す図である。
【図１４】第２実施形態の動体立体視化画像を示す図である。
【図１５】特定の左視点画像及び特定の右視点画像でない左視点画像及び右視点画像からその一部を切り取る処理を説明するための図である。
【図１６】第３実施形態の動体立体視化画像を示す図である。
【図１７】第４実施形態で行う特定の左視点画像及び特定の右視点画像の選択を説明するための図である。
【図１８】第４実施形態の動体立体視化画像を示す図である。
【図１９】第５実施形態で行う特定の左視点画像及び特定の右視点画像の選択と視差量の判定を説明するための図である。
【図２０】第５実施形態の動体立体視化画像を示す図である。
【図２１】本発明の動体立体視化画像生成プログラムがインストールされたＰＣを示す図である。
【発明を実施するための形態】
【００２０】
図１に示すように、第１実施形態の複眼カメラ１０は、カメラ本体１１の前面に、左視点用１２及び右視点用撮像部１３とストロボ発光部１４を、カメラ本体１１の上面に、シャッタボタン１５と電源スイッチ１６を備えている。左視点用及び右視点用撮像部１２，１３は、互いの光軸が略平行となるように、所定間隔を隔てて設けられている。また、シャッタボタン１５は半押し操作と全押し操作とが可能であり、半押し操作時にはオートフォーカスが行われ、全押し操作時には、その操作時点での撮像画像をメモリカード２０（図２参照）に記録する。
【００２１】
図２に示すように、カメラ本体１１の背面には、モニタ１８及び操作部１９が設けられている。また、カメラ本体１１の底面には、SDカードなどのメモリカード２０が着脱自在に装填されるカードスロットと、このカードスロットの開口部を覆う開閉自在の装填蓋とが設けられている（いずれも図示省略）。
【００２２】
モニタ１８は、画像を表示するLCDとこのLCD上に貼り付けられたレンチキュラシート（いずれも図示省略）を備えており、LCDに表示された立体画像をレンチキュラシートを介して観察することで、画像を立体視することができる。操作部１９は、各種モードの設定を行うモード切替スイッチ２２と、モニタ１８にメニュー画面や設定画面を表示させるメニューボタン２３と、画面上のカーソルを移動させる十字キー２４と、これらスイッチ等によって選択されるモード等を確定させる実行ボタン２５とを備えている。
【００２３】
本実施形態では、モード切替スイッチ２２は、モニタ１８上で静止状態の被写体を立体視可能にする立体画像を取得する静止画モードと、一定時間内に動く被写体（動体）の様子を１つの画像内で立体視可能にした立体画像である動体立体視化画像を取得するストロボモードとの間で、モードの切り替えが可能である。なお、静止画モードやストロボモードの他、動画モードなどを設けてもよい。
【００２４】
図３に示すように、左視点用撮像部１２は、被写体からの光が入射するレンズユニット３７と、レンズユニット３７によって結像される左視点画像を撮像して撮像信号を出力するCCD３９と、CCD３９から出力された撮像信号を所定の処理によって左視点画像信号（Ｌ画像信号）に変換し、変換したＬ画像信号を画像入力コントローラ４５へと出力するAFE（Analog Front End）４０と、CCD３９及びAFE４０に接続されており、ＣＰＵ３３からの指示に基づいて、画像入力コントローラ４５への撮像信号の出力を制御する左視点用撮像制御部４１を備えている。なお、被写体の撮像は、ＣＣＤに代えて、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）で行ってもよい。
【００２５】
右視点用撮像部１３は、左視点用撮像部１２と同様に、レンズユニット３８、CCD４８、AFE４９、右視点用撮像制御部５０を備えている。右視点用撮像部１３では、右視点画像の撮像により得られる右視点画像信号（Ｒ画像信号）を画像入力コントローラ４５へと出力する。
【００２６】
CPU３３は、カメラ本体１１の内部に設けられており、複眼カメラ１０の各部を電気的に制御する。このCPU３３には、左視点用撮像制御部４１及び右視点用撮像制御部５０の両方を制御する統括撮像制御部３３ａが設けられている。統括撮像制御部３３ａは、静止画モードとストロボモードとで異なる制御を行う。静止画モードの場合、左視点用撮像部１２及び右視点用撮像部１３の両方で被写体を同時に撮像し、シャッタボタン１５が全押し操作されたときに、メモリカード２０に記録する左視点画像及び右視点画像の元となるＬ画像信号及びR画像信号を画像入力コントローラ４５に出力する。
【００２７】
一方、ストロボモードに設定されている場合には、時刻ｔ０でシャッタボタン１５を全押し操作してから、一定時間後の時刻ｔｎで再度シャッタボタン１５を全押し操作するまでの間、左視点用撮像部１２及び右視点用撮像部１３で被写体を同時に撮像するように制御する。撮像は、時刻ｔ０から時刻ｔｎの間、一定の時間間隔（ｔ１―ｔ０＝ｔ２−ｔ１＝・・・＝ｔｎ―ｔ（ｎ−１））で連続的に行われる。即ち、連写撮影が行われる。これにより、左視差用撮像部１２の撮像で得られる（ｎ＋１）枚分のＬ画像信号と、右視差用撮像部１３の撮像で得られる（ｎ＋１）枚分のR画像信号が画像入力コントローラ４５に出力される。
【００２８】
画像入力コントローラ４５は、所定容量のバッファを有しており、左視点用撮像部１２及び右視点用撮像部１３から出力されたＬ，Ｒ画像信号を一時的に蓄積するとともに、蓄積したＬ，Ｒ画像信号を信号処理回路５６へと送信する。
【００２９】
信号処理回路５６は、画像入力コントローラ４５からのＬ，Ｒ画像信号に対して階調変換、ホワイトバランス補正、γ補正処理、ＹＣ変換処理などの各種処理を施すことによって、Ｌ，Ｒ画像データを生成する。生成されたＬ，Ｒ画像データは、RAM３４に格納される。RAM３４に格納されたL，R画像データは、第１立体画像生成回路６０及び第２立体画像生成回路６１に読み出される。
【００３０】
第１立体画像生成回路６０は、静止画モードに設定されている場合に、RAM３４から読み出したＬ，Ｒ画像データを合成することによって３Ｄ静止画像データを生成する。生成された３Ｄ静止画像データは表示回路５９へ送信され、表示回路５９は受信した３Ｄ静止画像データに基づいて、モニタ１８に３Ｄ静止画像を表示する。そして、シャッタボタン１５が全押し操作されたときには、静止画像データは、表示回路５９及び圧縮伸張処理回路５７に送信される。
【００３１】
圧縮伸張処理回路５７では、静止画像データに圧縮処理を行い、所定のファイル形式の圧縮合成画像データを生成する。生成された圧縮合成画像データは、メディアコントローラ５８によってメモリカード２０に記録される。また、表示回路５９は、３Ｄ静止画像データに基づいて、モニタ１８にシャッタボタン１５全押し操作時点での３Ｄ静止画像を表示する。
【００３２】
図４に示すように、第２立体画像生成回路６１はストロボモード時に動体立体視化画像を生成する回路であり、左視点画像及び右視点画像の情報が含まれるL，R画像データから、動く被写体（動体）を検出する動体検出部７０と、動体検出部７０での検出結果に基づいて、全ての左視点画像及び右視点画像の中から、他の時刻の左視点画像及び右視点画像と合成したときに動体が重なり合わない特定の左視点画像及び右視点画像を選択する画像選択部７１と、特定の左視点画像及び右視点画像から動体立体視化画像を生成する動体立体視化画像生成部７２とを備えている。動体立体視化画像生成部７２で生成された動体立体視化画像は、３Ｄ静止画像と同様に、モニタ１８に表示されるとともに、動体立体視化画像データとして、メモリカード２０に記録される。
【００３３】
動体検出部７０は、（ｎ＋１）枚分の左視点画像のそれぞれについて特徴点を抽出するととともに、各左視点画像間で互いに略共通する特徴点を対応点として特定する。例えば、図５の場合であれば、時刻ｔ０の左視点画像上の特徴点Aの対応点は、時刻ｔ１の左視点画像上では特徴点A１であり、時刻ｔ２の左視点画像上ではA２となる。また、動体検出部７０は、（ｎ＋１）枚分の右視点画像についても、同様にして特徴点を抽出し、各右視点画像間で互いに略共通する特徴点を対応点として特定する。
【００３４】
そして、時刻ｔ０を基準として、時刻ｔ１、時刻ｔ２・・・の順に各左視点画像及び右視点画像それぞれの対応点を比較することによって、動体を検出する。そして、時刻ｔｋ（ｋはｎ以下の自然数）で動体が検出されたら、対応点の位置情報とその周辺画素の輝度情報をRAM３４に記録するとともに、動体の領域（大きさ）と動き方向Ｘ（図５参照）を推定する。そして、この推定結果から、時刻ｔ０における動体の最大位置座標XmaxL0及び最小位置座標XminL0（いずれも動き方向Ｘに関する座標）を求めるとともに、時刻ｔｋにおける動体の時刻ｔｋにおける最大位置座標XmaxLk及び最小位置座標XminLk（いずれも動き方向Ｘに関する座標）を求める。動体検出部７０では、動体の検出毎に、動体の領域と動き方向を推定し、その検出時点での動き方向に対する最大位置座標と最小位置座標を求める。
【００３５】
画像選択部７１は、時刻ｔ０における動体の最大位置座標XmaxL0,XmaxR0を基準座標Ls,Rsとして設定した上で、動体検出時である時刻ｔｋの左視点画像及び右視点画像において、動体の最小位置座標が基準座標Ls,Rs以上となるか否かを判定する。判定の結果、動体の最小位置座標XminLk, XminRkの両方が基準座標Ls,Rs以上でない場合は、時刻ｔｋの左視点画像及び右視点画像は特定の左視点画像及び右視点画像画像として選択されない。
【００３６】
一方、動体の最小位置座標XminLk, XminRkの両方が基準座標Ls,Rs以上と判定された場合には、時刻ｔｋの左視点画像及び右視点画像を特定の左視点画像及び右視点画像画像として選択するとともに、基準座標Ls,Rsを時刻ｔｋにおける最大位置座標XmaxLk,XmaxRkに変更する。以上の特定の左視点画像及び右視点画像画像の選択は、動体が検出される毎に行われる。
【００３７】
例えば、図６に示すように、時刻ｔ０から時刻ｔ４までの間、被写体を連写撮影することによって、時刻ｔ０から時刻ｔ４までの５枚分の左視点画像及び５枚分の右視点画像が得られた場合における特定の左視点画像及び右視点画像画像の選択手順を、以下に示す。まず、時刻ｔ０の左視点画像から動き方向Xに対する最大位置座標XmaxL0を基準座標Lsとして設定し、同様にして、時刻ｔ０の右視点画像から動き方向Xに対する最大位置座標XmaxR0を基準座標Rsとして設定する。なお、図６では、動き方向Ｘの座標は、右側から左側に向かうほど大きくなる。
【００３８】
次に、時刻ｔ１の左視点画像中の動体の最小位置座標XminL1が基準座標Ls（XmaxL0）以上か否かを判定するとともに、時刻ｔ１の右視点画像中の最小位置座標XminR1が基準座標Rs（XminR0）以上か否かを判定する。時刻ｔ１においては、Ls（XmaxL0）＞XminL1、且つRs（XmaxR0）＞XminR1であるので、時刻ｔ１の左視点画像及び右視点画像は特定の左視点画像及び右視点画像画像として選択されない。
【００３９】
同様にして、次に、時刻ｔ２の左視点画像において、動き方向Xに対する最小位置座標XminL2が基準座標Ls（XmaxL0）以上か否かを判定するとともに、時刻ｔ２の右視点画像において、最小位置座標XminR2が基準座標Rs（XminR0）以上か否かを判定する。時刻ｔ２においては、Ls（XmaxL0）≦XminL2、且つRs（XmaxR0）≦XminR2であるので、時刻ｔ２の左視点画像及び右視点画像は特定の左視点画像及び右視点画像画像として選択される。また、基準座標LsはXmaxL2に、基準座標RsはXmaxR2に更新される。
【００４０】
次に、時刻ｔ３の左視点画像において、動き方向Xに対する最小位置座標XminL3が基準座標Ls（XmaxL2）以上か否かを判定するとともに、時刻ｔ３の右視点画像において、最小位置座標XminR3が基準座標Rs（XminR2）以上か否かを判定する。時刻ｔ３においては、Rs（XmaxR2）≦XminR3であるものの、Ls（XmaxL2）＞XminL3であるので、時刻ｔ３の左視点画像及び右視点画像は特定の左視点画像及び右視点画像画像として選択されない。
【００４１】
次に、時刻ｔ４の左視点画像において、動き方向Xに対する最小位置座標XminL4が基準座標Ls（XmaxL2）以上か否かを判定するとともに、時刻ｔ４の右視点画像において、最小位置座標XminR4が基準座標Rs（XminR2）以上か否かを判定する。時刻ｔ４においては、Ls（XmaxL2）≦XminL4、且つRs（XmaxR2）≦XminR4であるので、時刻ｔ４の左視点画像及び右視点画像は特定の左視点画像及び右視点画像画像として選択される。
【００４２】
以上から、時刻ｔ０から時刻ｔ４までの左視点画像及び右視点画像の中から、時刻ｔ２、時刻ｔ４の左視点画像及び右視点画像が合成対象画像として選択される。また、時刻ｔ０の左視点画像及び右視点画像についても、他の時刻の左視点画像及び右視点画像と合成したときに動体が重なり合うことが無いので、特定の左視点画像及び右視点画像画像として選択される。
【００４３】
動体立体視化画像生成部７２は、特定の左視点画像を合成することにより左視点合成画像を生成するとともに、特定の右視点画像とを合成することにより右視点合成画像を生成する。そして、左視点合成画像と右視点合成画像を更に合成することによって、１つの画像内で動体の様子を立体視することができる動体立体視化画像が生成される。
【００４４】
例えば、図６のように、時刻ｔ０、時刻ｔ２、時刻ｔ４の左視点画像及び右視点画像が特定の左視点画像及び右視点画像画像として選択された場合には、図７に示すように、時刻ｔ０、時刻ｔ２、時刻ｔ４の左視点画像の合成画像である左視点合成画像７５と、時刻ｔ０、時刻ｔ２、時刻ｔ４の右視点画像の合成画像である右視点合成画像７６とを更に合成することによって、時刻ｔ０から時刻ｔ４間における動体の様子を立体視可能にした動体立体視化画像７７が得られる。
【００４５】
この動体立体視化画像７７の生成には、特定の左視点画像及び右視点画像画像として選択された時刻ｔ０、時刻ｔ２、時刻ｔ４の左視点画像及び右視点画像のみが使用され、特定の左視点画像及び右視点画像画像として選択されなかった時刻ｔ１、時刻ｔ３の左視点画像及び右視点画像は使用されない。仮に、この使用されなかった時刻ｔ１の左視点画像及び右視点画像と時刻ｔ０の左視点画像及び右視点画像と合成した場合には、それぞれの動体が重なり合ってしまう（動体の多重化）。また、同様にして、時刻ｔ３の左視点画像を時刻ｔ２の左視点画像に合成した場合にも、動体の多重化が発生する。
【００４６】
したがって、動体立体視化画像は、このような動体の多重化が起こり得る左視点画像及び右視点画像を使用せずに生成されているため、画質破綻を起こすことなく、動体の様子を３Ｄ画像として確実に把握することができる。
【００４７】
また、時刻ｔ３のときのように、左視点画像又は右視点画像いずれか一方ののみ動体の多重化が起こり得る場合であっても、その時刻における左視点画像及び右視点画像は動体立体視化画像の生成に使用しないことで、画質劣化を引き起こすおそれがない。例えば、動体の多重化と両眼における視差とを混同してしまうことを防止することができる。
【００４８】
また、動体が検出される毎に、動体の大きさや動き方向を検出しているため、途中で動体が異なる方向に移動したり、大きさが変形した場合であっても、画像を合成したときに動体が多重化を起こすか否かを正確に判定することができる。
【００４９】
また、動体立体視化画像を生成する際には、特定の左視点画像をマルチフレーム合成処理した左視点合成画像と、同様にして特定の右視点画像をマルチフレーム合成処理した右視点合成画像とを用いていることから、背景などの動体以外の領域を高感度で低ノイズな画質にすることができる。
【００５０】
次に、動体立体視化画像を生成するまでの流れを、図８及び図９のフローチャートに沿って説明する。まず、モード切替スイッチ２２によってストロボモードに切り替える。そして、左視点用撮像部１２及び右視点用撮像部１３を被写体に向けた状態で、シャッタボタン１５を全押し操作する（時刻ｔ０）。この全押し操作と同時又は直後に、被写体を動かす。一定時間後に、動く被写体（動体）がモニタ１８上からフレームアウトしたら、再度、シャッタボタン１５を全押し操作する（時刻ｔｎ）。これにより、時刻ｔ０〜時刻ｔｎ（ｎは１以上の自然数）間の左視点画像及び右視点画像が得られる。
【００５１】
時刻ｔ０〜時刻ｔｎ間の左視点画像及び右視点画像が得られたら、動体検出部７０によって、全ての左視点画像及び右視点画像から特徴点を抽出する。次に、時刻ｔ０の左視点画像及び右視点画像と時刻ｔ１の左視点画像及び右視点画像との対応点を比較することによって、時刻ｔ１の左視点画像及び右視点画像に動体が存在するか否かを検出する動体の検出処理を行う。動体が検出されない場合には、次の時刻ｔ２の左視点画像及び右視点画像に対して、同様の処理を行う。この動体の検出処理は、各時刻の左視点画像及び右視点画像毎に行われ、動体が検出されるまで繰り返し行われる。
【００５２】
そして、時刻ｔｋの左視点画像及び右視点画像から動体が検出されたら、その対応点及びその周辺画素の輝度情報を利用して、動体の大きさと動き方向Ｘを推定する。また、画像選択部７１において、時刻ｔ０における動体の最大位置座標XmaxL0,XmaxR0を基準座標Ls,Rsに設定した上で、基準座標Ls,Rsと時刻ｔｋにおける動体の最小位置座標XminLk,XminRkとを大小比較する。大小比較した結果、XminLk≧LsとXminRk≧Rsの両方を満たさない場合には、時刻ｔｋの左視点画像及び右視点画像を特定の左視点画像及び右視点画像画像として選択せず、次の時刻ｔ（ｋ＋１）について動体の検出処理を行う。
【００５３】
一方、XminLk≧LsとXminRk≧Rsの両方を満たす場合には、時刻ｔｋの左視点画像及び右視点画像を特定の左視点画像及び右視点画像画像として選択する。そして、基準座標Ls,Rsを時刻ｔｋにおける動体の最大位置座標XmaxLk,XmaxRkに変更する。この基準座標の変更が完了したら、次の時刻ｔ（ｋ＋１）について動体の検出処理を行う。
【００５４】
全ての左視点画像及び右視点画像について、動体の検出と特定の左視点画像及び右視点画像画像か否かの判定が完了した後は、動体立体視化画像生成部７２で動体立体視化画像生成処理を行う。動体立体視化画像生成部７２では、特定の左視点画像を合成することによって、左視点合成画像を生成する。また、同様にして、特定の右視点画像を合成することによって、右視点合成画像を生成する。その上で、左視点合成画像と右視点合成画像とを更に合成することによって、動体立体視化画像を生成する。生成された動体立体視化画像は、モニタ１８に表示されるとともに、動体立体視化画像データとして、メモリカード２０に記録される。
【００５５】
なお、第１実施形態では、全ての左視点画像及び右視点画像に対して動体の検出処理をし、動体が検出された左視点画像及び右視点画像の中で、特定の左視点画像及び右視点画像画像に該当するか否かの判定を行ったが、これに限る必要はない。
【００５６】
例えば、図１０に示すように、右視点画像のみ特徴点の抽出を行い、その抽出結果に基づいて、動体の検出処理を行う。検出の結果、時刻ｔｋの右視点画像から動体が検出されたら、時刻ｔｋにおける動体の最小位置座標XminRkと基準座標Rsとを大小比較する。大小比較の結果、XminRk≧Rsを満たす場合には、時刻ｔｋの右視点画像を特定の右視点画像として仮選択する。なお、図１０において、特徴点の抽出から基準座標の変更までのフローは、右視点画像のみ処理を行う点以外は、図８と同様であるので、詳細な説明を省略する。
【００５７】
全ての右視点画像について動体の検出処理及び特定の右視点画像か否かの判定が完了したら、図１１に示すように、全ての左視点画像の中から、仮選択した特定の右視点画像と同時刻に撮像した左視点画像を選択する。そして、これら選択された左視点画像（以下「選択左視点画像」とする）から特徴点を抽出し、抽出した特徴点を用いて各画像毎に動体の大きさ及び動き方向を推定する。そして、この推定結果を利用して、選択左視点画像の中から、他の時刻の選択左視点画像と合成したときに動体が重なり合わない特定の左視点画像を選択する。特定の左視点画像か否かの判定は、全ての選択左視点画像に対して行われる。
【００５８】
なお、選択左視点画像の中から選択される特定の左視点画像は、上記実施形態と同様に、動き方向における動体の最小位置座標が基準座標以上である選択左視点画像とされる。また、特定の左視点画像の選択の際に行われる基準座標の設定及び最小位置座標と基準座標の大小比較については、上記実施形態と同様であるため、詳細な説明を省略する。
【００５９】
そして、全ての選択左視点画像について特定の左視点画像か否かの判定が完了すると、仮選択された特定の右視点画像の中から、特定の左視点画像と同時刻に撮像された特定の右視点画像を本選択してから、動体立体視化画像生成処理を行う。
【００６０】
図１２に示すように、動体立体視化画像生成処理では、特定の左視点画像を合成することによって、左視点合成画像を生成する。また、本選択された特定の右視点画像を合成することによって、右視点合成画像を生成する。そして、これら生成された左視点合成画像及び右視点合成画像を更に合成することによって、動体立体視化画像を生成する。
【００６１】
以上のように、動体立体視化画像を生成することで、この画像の生成に必要な処理を減らすことができ、また、処理時間を短くすることができる。なお、全ての右視点画像の中から特定の右視点画像を仮選択した上で、その仮選択した特定の右視点画像と同時刻に撮像した左視点画像の中から特定の左視点画像を選択したが、反対に、全ての左視点画像の中から特定の左視点画像を仮選択した上で、その仮選択した特定の左視点画像と同時刻の撮像した右視点画像の中から特定の右視点画像を選択してもよい。
【００６２】
本発明の第２実施形態では、特定の左視点画像及び特定の右視点画像をマルチフレーム合成する際にいずれの時刻における動体も同等の輝度となるように合成する第１実施形態と異なり、特定の時刻における動体が、他の時刻における動体よりも強調されるように合成を行う。即ち、特定の時刻における動体の合成比率を、他の時刻における動体の合成比率よりも大きくする。第２実施形態では、特徴点の抽出から基準座標の変更まで（図８参照）は、第１実施形態と同様の処理を行う。
【００６３】
そして、全ての左視点画像及び右視点画像について動体の検出及び特定の左視点画像及び右視点画像に該当するか否かの判定が完了したら、図１３に示すように、動体の合成比率を高くする時刻ｔｘを、操作部１９によって入力する。そして、図１４に示すように、時刻ｔｘにおける動体１００ａの合成比率が他の時刻の動体の合成比率よりも高くなるように、特定の左視点画像をマルチフレーム合成して左視点合成画像１００を生成する。また、右視点画像についても同様の処理を行うことによって、時刻ｔｘにおける動体１０１ａの合成比率が高い右視点合成画像１０１を生成する。これら左視点合成画像と右視点合成画像を合成することによって、時刻ｔの動体１０２ａが他の時刻の動体よりも強調された動体立体視化画像１０２が得られる。
【００６４】
なお、第２実施形態では、動体立体視化画像において特定の時刻の動体のみを強調したが、これに限られない。例えば、モニタに動体立体視化画像を表示するときには、動体の動きの様子が分かるように、強調する動体を一定時間毎に変えてもよい。
【００６５】
本発明の第３実施形態では、特定の左視点画像及び右視点画像のみ合成し、特定の左視点画像及び右視点画像でない左視点画像及び右視点画像については合成しなかった第１実施形態と異なり、特定の左視点画像及び右視点画像でない左視点画像及び右視点画像であっても、動体立体視化画像内で不自然な立体画像とならなければ、それらの一部を合成してもよい。
【００６６】
例えば、図１５では、時刻ｔ２の左視点画像及び右視点画像については、特定の左視点画像及び右視点画像であるため、いずれも動体の最小位置座標XminL2,XminR2が基準座標Ls,Rsを超えている。これに対して、時刻ｔ１の左視点画像及び右視点画像については、いずれも動体の最小位置座標XminL1,XminR1が基準座標Ls,Rs未満となっており、時刻ｔ３の右視点画像については動体の最小位置座標XminR3が基準座標Lsを超えているものの、時刻ｔ３の左視点画像については動体の最小位置座標XminL3が基準座標Rs未満となっている。
【００６７】
そこで、動体の最小位置座標XminL1,XminR1がいずれも基準座標Ls,Rs未満となっている時刻ｔ１の左視点画像及び右視点画像について、時刻ｔ１の左視点画像のうち動き方向Ｘに関してLs(XminL0)を超える領域を切り取るとともに、時刻ｔ１の右視点画像のうち動き方向Ｘに関してRs(XminR0)を超える領域を切り取る。
【００６８】
そして、図１６に示すように、時刻ｔ０、時刻ｔ２の特定の左視点画像及び特定の右視点画像と、時刻ｔ１の左視点画像及び右視点画像から切り取られた領域部分（Ls(XminL0),Rs(XminR0)を超える領域部分）の画像とを合成することによって、左視点合成画像１２０が得られる。その際、上記の時刻ｔ１の左視点画像及び右視点画像から切り取られた領域部分の合成比率は、他の画像よりも低くする。右視点画像についても同様の合成処理をすることによって、右視点合成画像１２１が得られる。そして、得られた左視点合成画像１２０と右視点合成画像１２１を更に合成することによって、動体立体視化画像１２２が得られる。
【００６９】
動体立体視化画像１２２には、特定の左視点画像及び右視点画像でない画像中の動体の一部が合成されたことで、動体立体視化画像１２２上で動体のスピード感を表現することができる。また、その動体の一部の合成比率は他の画像よりも低くしているため、動体が見にくくなったりするなどの画質劣化が起こることが無い。
【００７０】
なお、第３実施形態では、時刻ｔ１のように、左視点画像及び右視点画像についていずれも動体の最小位置座標が基準座標未満の場合にのみ、それら画像中の動体の一部を動体立体視化画像に加えたが、時刻ｔ３のように、左視点画像及び右視点画像のうちのいずれか一方のみが動体の最小位置座標が基準座標未満の場合にも、それら画像中の動体の一部を動体立体視化画像に加えてもよい。
【００７１】
本発明の第４実施形態では、動体立体視化画像内で１つの動体の様子を立体視可能にした第１実施形態と異なり、２つ以上の動体の様子を１つの画像内で立体視可能にする動体立体視化画像を生成する。動体が２以上の場合であっても、各時刻における左視点画像及び右視点画像において、動体の大きさ及び動き方向を検出するとともに、検出された全ての動体について最小位置座標が基準座標以上か否かを判定する。そして、判定の結果、全ての動体について最小位置座標が基準座標以上のときに、その時刻の左視点画像及び右視点画像を特定の左視点画像及び右視点画像とする。
【００７２】
例えば、図１７に示すように、時刻ｔ１の左視点画像及び右視点画像では、時刻ｔ０の左視点画像及び右視点画像との対応点の比較から、右側から左側に向かう動き方向Ｘで移動する動体Ｚ１と、左側から右側に向かう動き方向Ｙで移動する動体Ｚ２が検出される。動体Ｚ１については、左視点画像及び右視点画像ともに、最小位置座標XminL1,XminR1が基準座標XLs,XRsを下回っている。また、動体Ｚ２についても、左視点画像及び右視点画像ともに、最小位置座標YminL1,YminR1が基準座標YLs,YRsを下回っている。したがって、いずれの動体Ｚ１及びＺ２についても最小位置座標が基準座標を下回っているため、左視点画像及び右視点画像は特定の左視点画像及び右視点画像とされない。なお、図１７では、動き方向Ｙの座標は、左側から右側に向かうほど大きくなる。
【００７３】
一方、時刻ｔ２の左視点画像及び右視点画像については、動体Ｚ１の最小位置座標XminL2,XminR2が基準座標XLs,XRsを超えており、また動体Ｚ２の最小位置座標YminL2,YminR2が基準座標YLs,YRsを超えているため、左視点画像及び右視点画像は特定の左視点画像及び右視点画像とされる。そして、図１８に示すように、時刻ｔ０、時刻ｔ２の特定の左視点画像を合成することにより左視点合成画像１３０を生成するとともに、初期時刻ｔ０、時刻ｔ２の特定の右視点画像を合成することにより右視点合成画像１３１を生成する。そして、これら左視点合成画像１３０と右視点合成画像１３１を更に合成することにより、２つの動体Ｚ１及びＺ２が１つの画像内で立体視可能な動体立体視化画像１３２が生成される。
【００７４】
本発明の第５実施形態では、複眼カメラ１０に対して接近する方向または離れる方向（奥行き方向）に動く被写体の動体立体視化画像を生成する。第５実施形態では、各時刻における左視点画像及び右視点画像が特定の左視点画像及び右視点画像に該当するか否かの判定には、各時刻における動体の最小位置座標が基準座標以上となるか否かの判定だけでなく、同時刻における左視点画像と右視点画像とで同一の動体がどの程度離れているかを示す視差量が許容範囲内に収まっているか否かの判定を利用する。
【００７５】
例えば、図１９に示すように、時刻ｔ０から時刻ｔ３までの間で、動体が複眼カメラ１０に接近する方向に移動する場合について説明する。まず、時刻ｔ０の左視点画像から動き方向Ｙに移動する動体の最大位置座標YmaxL0を基準座標Lsに設定するとともに、時刻ｔ０の右視点画像から動き方向Ｘに移動する動体の最大位置座標XmaxR0を基準座標Rsに設定する。また、時刻ｔ０の左視点画像及び右視点画像から、動体の視差量Ｄ０を求め、この求めた視差量Ｄ０から最大限許容される許容値Ｄｍａｘを求める。
【００７６】
次に、各時刻の左視点画像及び右視点画像において、動体の最小位置座標が基準座標以上か否かを判定するとともに、動体の視差量が許容値を超えているか否かを判定する。時刻ｔ１では、視差量Ｄ１は許容量Ｄｍａｘ未満である。しかしながら、時刻ｔ１の左視点画像及び右視点画像のいずれも、動体の最小位置座標XminL1,XminR1は基準座標XLs,XRs未満であり、最小位置座標,YminL1,YminR1は基準座標YLs,YRs未満である。したがって、左視点画像及び右視点画像は特定の左視点画像及び右視点画像として選択されない。
【００７７】
時刻ｔ２の左視点画像及び右視点画像では、視差量Ｄ２は許容量Ｄｍａｘ未満である。また、時刻ｔ２の左視点画像及び右視点画像のいずれも、動体の最小位置座標XminL2,XminR2は基準座標XLs,XRsを超えており、最小位置座標,YminL2,YminR2は基準座標YLs,YRsを超えている。したがって、時刻ｔ２の左視点画像及び右視点画像は特定の左視点画像及び右視点画像として選択される。
【００７８】
時刻ｔ３左視点画像及び右視点画像については、動体の最小位置座標XminL3,XminR3は基準座標XLs,XRsを超えており、最小位置座標,YminL3,YminR3は基準座標YLs,YRsを超えている。しかしながら、視差量Ｄ３が許容量Ｄｍａｘを超えている。したがって、時刻ｔ３の左視点画像及び右視点画像は特定の左視点画像及び右視点画像として選択されない。
【００７９】
以上から、時刻ｔ０から時刻ｔ３までの左視点画像及び右視点画像の中から、時刻ｔ２の左視点画像及び右視点画像が特定の左視点画像及び右視点画像として、また、他の時刻の左視点画像及び右視点画像と合成したときに動体が重なり合わない時刻ｔ０の左視点画像及び右視点画像も、特定の左視点画像及び右視点画像として選択される。
【００８０】
そして、図２０に示すように、時刻ｔ０、時刻ｔ２の左視点画像を合成することにより左視点合成画像１４０が生成される。また、時刻ｔ０、時刻ｔ２の右視点画像を合成することにより右視点合成画像１４１が生成される。そして、これら左視点合成画像１４０と右視点合成画像１４１を更に合成することにより、複眼カメラ１０に対して奥行き方向に移動する動体の様子を立体視することができる動体立体視化画像１４２が生成される。このように動体立体視化画像１４２を生成することで、複眼カメラ１０から一定距離離れた平面内を移動する動体ではなく、奥行き方向に移動する動体の場合であっても、その動体の様子を３Ｄ画像として確実に把握することができる。
【００８１】
なお、上記第１〜第５実施形態では、ストロボモード時に取得した左視点画像及び右視点画像を用いて、複眼カメラ１０で動体立体視化画像を生成したが、これに代えて、図２１に示すように、メモリカード２０に記録したストロボモード時の左視点画像及び右視点画像をＰＣ１５０のカードスロット１５０ａを介して読み込み、その読み込んだ左視点画像及び右視点画像を用いて、ＰＣ１５０内の動体立体視化画像生成部１５１で動体立体視化画像を生成してもよい。生成された動体立体視化画像は、画像表示部にレンチキュラシート（いずれも図示省略）が設けられたディスプレイ１５２に表示される。
【００８２】
なお、ＰＣ内は第２立体画像生成回路６１と同様の機能を有する動体立体視化画像生成プログラムが格納された記憶部を備えており、３Ｄ画像ストロボ生成回路１５１はその動体立体視化画像生成プログラムを実行することによって、動体立体視化画像を生成する。
【符号の説明】
【００８３】
１０ 複眼カメラ
１２ 左視点用撮像部
１３ 右視点用撮像部
６１ 第２立体画像生成回路
７０ 動体検出部
７１ 画像選択部
７２ 動体立体視化画像生成部
７５，１００，１２０，１３０，１４０ 左視点合成画像
７６，１０１，１２１，１３１，１４１ 右視点合成画像
７７，１０２，１２２，１３２，１４２ 動体立体視化画像
【特許請求の範囲】
【請求項１】
互いに異なる２つの視点から動く被写体である動体を同じタイミングで撮像する同時撮像を、連続して行うことによって得られる複数枚の第１の視点画像及び第２の視点画像を取得する画像取得ステップと、
前記複数枚の第１の視点画像及び第２の視点画像の中から、他のタイミングで撮像された第１の視点画像を合成したときに動体が重なり合わない特定の第１の視点画像と、この特定の第１の視点画像と同時撮像され、且つ、他のタイミングで撮像された第２の視点画像を合成したときに動体が重なり合わない特定の第２の視点画像を選択する画像選択ステップと、
選択された特定の第１の視点画像及び特定の第２の視点画像を合成することにより、動体の様子を１つの画像内で立体視可能な立体画像を生成する立体画像生成ステップとを有することを特徴とする３Ｄ画像生成方法。
【請求項２】
前記画像選択ステップは、
各撮像タイミングにおける第１の視点画像中の動体の動き方向を検出するとともに、各撮像タイミングにおける第２の視点画像中の動体の動き方向を検出する第１の動き方向検出ステップと、
前記複数枚の第１の視点画像及び第２の視点画像の中から、動き方向に関する動体の座標が所定の条件を満たす第１の視点画像を前記特定の第１の視点画像として選択し、この特定の第１の視点画像と同時撮像され、且つ、動き方向に関する動体の座標が所定の条件を満たす第２の視点画像を特定の第２の視点画像として選択する第１の選択ステップとを含むことを特徴とする請求項１記載の３Ｄ画像生成方法。
【請求項３】
前記画像選択ステップは、
各撮像タイミングにおける第１の視点画像中の動体の動き方向を検出する第２の動体検出ステップと、
前記複数枚の第１の視点画像の中から、動き方向に関する動体の座標が所定の条件を満たす特定の第１の視点画像を仮選択するとともに、前記複数枚の第２の視点画像の中から、仮選択された特定の第１の視点画像と同時撮像された第２の視点画像を選択する第２の選択ステップと、
前記第２の選択ステップで選択された第２の視点画像中の動体の動き方向を検出する第３の動体検出ステップと、
前記第２の選択ステップで選択された第２の視点画像の中から、動き方向に関する動体の座標が所定の条件を満たす特定の第２の視点画像を選択するとともに、仮選択された特定の第１の視点画像の中から、前記特定の第２の視点画像と同時撮像された特定の第１の視点画像を本選択する第３の選択ステップと、
前記立体画像生成ステップは、
前記第３の選択ステップで本選択された特定の第１の視点画像及び前記第３の選択ステップで選択された特定の第２の視点画像を合成することにより、立体画像を生成することを特徴とする請求項１記載の３Ｄ画像生成方法。
【請求項４】
前記所定の条件は、第１の撮像タイミングにおける動体の最小位置座標が、その第１の撮像タイミングの前の第２の撮像タイミングにおける動体の最大位置座標から設定された基準座標以上であることを特徴とする請求項２または３記載の３Ｄ画像生成方法。
【請求項５】
前記立体画像生成ステップは、特定の撮像タイミングにおける動体が他の撮像タイミングの動体よりも強調されるように、立体画像を生成することを特徴とする請求項１ないし４いずれか１項記載の３Ｄ画像生成方法。
【請求項６】
前記立体画像生成ステップは、前記選択された特定の第１の視点画像及び前記特定の第２の視点画像に加えて、前記特定の第１の視点画像として選択されなかった第１の視点画像の一部と、前記特定の第２の視点画像として選択されなかった第２の視点画像の一部とを合成することにより、立体画像を生成することを特徴とする請求項１ないし５いずれか１項記載の３Ｄ画像生成方法。
【請求項７】
前記立体画像生成ステップは、複数の動体の様子を１つの画像内で立体視可能な立体画像を生成することを特徴とする請求項１ないし６いずれか１項記載の３Ｄ画像生成方法。
【請求項８】
同時撮像された第１の視点画像及び第２の視点画像において同一の動体がどの程度離れているかを示す視差量が、予め設定された許容値を超えたか否かを判定する視差量判定ステップを有し、
前記立体画像生成ステップは、前記選択された特定の第１の視点画像及び前記特定の第２の視点画像のうち視差量が許容値未満である画像のみを合成することにより、立体画像を生成することを特徴とする請求項１ないし７いずれか１項記載の３Ｄ画像生成方法。
【請求項９】
請求項１ないし８いずれか１項記載の３Ｄ画像生成方法における各ステップをコンピュータに実行させることを特徴とする３Ｄ画像生成プログラム。
【請求項１０】
互いに異なる２つの視点から動く被写体である動体を同じタイミングで撮像する同時撮像を、連続して行うことによって得られる複数枚の第１の視点画像及び第２の視点画像を取得する画像取得手段と、
前記複数枚の第１の視点画像及び第２の視点画像の中から、他のタイミングで撮像された第１の視点画像を合成したときに動体が重なり合わない特定の第１の視点画像と、この特定の第１の視点画像と同時撮像され、且つ、他のタイミングで撮像された第２の視点画像を合成したときに動体が重なり合わない特定の第２の視点画像を選択する画像選択手段と、
選択された特定の第１の視点画像及び前記特定の第２の視点画像を合成することにより、動体の様子を１つの画像内で立体視可能な立体画像を生成する立体画像生成手段とを備えることを特徴とする３Ｄ画像生成装置。
【請求項１】
互いに異なる２つの視点から動く被写体である動体を同じタイミングで撮像する同時撮像を、連続して行うことによって得られる複数枚の第１の視点画像及び第２の視点画像を取得する画像取得ステップと、
前記複数枚の第１の視点画像及び第２の視点画像の中から、他のタイミングで撮像された第１の視点画像を合成したときに動体が重なり合わない特定の第１の視点画像と、この特定の第１の視点画像と同時撮像され、且つ、他のタイミングで撮像された第２の視点画像を合成したときに動体が重なり合わない特定の第２の視点画像を選択する画像選択ステップと、
選択された特定の第１の視点画像及び特定の第２の視点画像を合成することにより、動体の様子を１つの画像内で立体視可能な立体画像を生成する立体画像生成ステップとを有することを特徴とする３Ｄ画像生成方法。
【請求項２】
前記画像選択ステップは、
各撮像タイミングにおける第１の視点画像中の動体の動き方向を検出するとともに、各撮像タイミングにおける第２の視点画像中の動体の動き方向を検出する第１の動き方向検出ステップと、
前記複数枚の第１の視点画像及び第２の視点画像の中から、動き方向に関する動体の座標が所定の条件を満たす第１の視点画像を前記特定の第１の視点画像として選択し、この特定の第１の視点画像と同時撮像され、且つ、動き方向に関する動体の座標が所定の条件を満たす第２の視点画像を特定の第２の視点画像として選択する第１の選択ステップとを含むことを特徴とする請求項１記載の３Ｄ画像生成方法。
【請求項３】
前記画像選択ステップは、
各撮像タイミングにおける第１の視点画像中の動体の動き方向を検出する第２の動体検出ステップと、
前記複数枚の第１の視点画像の中から、動き方向に関する動体の座標が所定の条件を満たす特定の第１の視点画像を仮選択するとともに、前記複数枚の第２の視点画像の中から、仮選択された特定の第１の視点画像と同時撮像された第２の視点画像を選択する第２の選択ステップと、
前記第２の選択ステップで選択された第２の視点画像中の動体の動き方向を検出する第３の動体検出ステップと、
前記第２の選択ステップで選択された第２の視点画像の中から、動き方向に関する動体の座標が所定の条件を満たす特定の第２の視点画像を選択するとともに、仮選択された特定の第１の視点画像の中から、前記特定の第２の視点画像と同時撮像された特定の第１の視点画像を本選択する第３の選択ステップと、
前記立体画像生成ステップは、
前記第３の選択ステップで本選択された特定の第１の視点画像及び前記第３の選択ステップで選択された特定の第２の視点画像を合成することにより、立体画像を生成することを特徴とする請求項１記載の３Ｄ画像生成方法。
【請求項４】
前記所定の条件は、第１の撮像タイミングにおける動体の最小位置座標が、その第１の撮像タイミングの前の第２の撮像タイミングにおける動体の最大位置座標から設定された基準座標以上であることを特徴とする請求項２または３記載の３Ｄ画像生成方法。
【請求項５】
前記立体画像生成ステップは、特定の撮像タイミングにおける動体が他の撮像タイミングの動体よりも強調されるように、立体画像を生成することを特徴とする請求項１ないし４いずれか１項記載の３Ｄ画像生成方法。
【請求項６】
前記立体画像生成ステップは、前記選択された特定の第１の視点画像及び前記特定の第２の視点画像に加えて、前記特定の第１の視点画像として選択されなかった第１の視点画像の一部と、前記特定の第２の視点画像として選択されなかった第２の視点画像の一部とを合成することにより、立体画像を生成することを特徴とする請求項１ないし５いずれか１項記載の３Ｄ画像生成方法。
【請求項７】
前記立体画像生成ステップは、複数の動体の様子を１つの画像内で立体視可能な立体画像を生成することを特徴とする請求項１ないし６いずれか１項記載の３Ｄ画像生成方法。
【請求項８】
同時撮像された第１の視点画像及び第２の視点画像において同一の動体がどの程度離れているかを示す視差量が、予め設定された許容値を超えたか否かを判定する視差量判定ステップを有し、
前記立体画像生成ステップは、前記選択された特定の第１の視点画像及び前記特定の第２の視点画像のうち視差量が許容値未満である画像のみを合成することにより、立体画像を生成することを特徴とする請求項１ないし７いずれか１項記載の３Ｄ画像生成方法。
【請求項９】
請求項１ないし８いずれか１項記載の３Ｄ画像生成方法における各ステップをコンピュータに実行させることを特徴とする３Ｄ画像生成プログラム。
【請求項１０】
互いに異なる２つの視点から動く被写体である動体を同じタイミングで撮像する同時撮像を、連続して行うことによって得られる複数枚の第１の視点画像及び第２の視点画像を取得する画像取得手段と、
前記複数枚の第１の視点画像及び第２の視点画像の中から、他のタイミングで撮像された第１の視点画像を合成したときに動体が重なり合わない特定の第１の視点画像と、この特定の第１の視点画像と同時撮像され、且つ、他のタイミングで撮像された第２の視点画像を合成したときに動体が重なり合わない特定の第２の視点画像を選択する画像選択手段と、
選択された特定の第１の視点画像及び前記特定の第２の視点画像を合成することにより、動体の様子を１つの画像内で立体視可能な立体画像を生成する立体画像生成手段とを備えることを特徴とする３Ｄ画像生成装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１２−２０９８７２（Ｐ２０１２−２０９８７２Ａ）
【公開日】平成２４年１０月２５日（２０１２．１０．２５）
【国際特許分類】
【出願番号】特願２０１１−７５６７０（Ｐ２０１１−７５６７０）
【出願日】平成２３年３月３０日（２０１１．３．３０）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２４年１０月２５日（２０１２．１０．２５）
【国際特許分類】
【出願日】平成２３年３月３０日（２０１１．３．３０）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]