撮像装置およびプログラム
【課題】適切な基線長で立体画像を撮影する。
【解決手段】立体表示のための右眼用画像および左眼用画像を撮像する撮像装置であって、主要被写体までの撮影距離および焦点距離に基づき、右眼用画像の撮像位置と左眼用画像の撮像位置との間の左右方向の距離である基線長を決定する決定部と、決定部により決定された基線長分、撮像位置を左右方向にずらして右眼用画像および左眼用画像を撮像する撮像部と、を備え、決定部は、撮影距離が大きいほど基線長を大きい値とし、焦点距離が大きいほど基線長を小さい値とし、撮影距離および焦点距離によらず基線長を予め定められた最小設定距離以上とする撮像装置を提供する。
【解決手段】立体表示のための右眼用画像および左眼用画像を撮像する撮像装置であって、主要被写体までの撮影距離および焦点距離に基づき、右眼用画像の撮像位置と左眼用画像の撮像位置との間の左右方向の距離である基線長を決定する決定部と、決定部により決定された基線長分、撮像位置を左右方向にずらして右眼用画像および左眼用画像を撮像する撮像部と、を備え、決定部は、撮影距離が大きいほど基線長を大きい値とし、焦点距離が大きいほど基線長を小さい値とし、撮影距離および焦点距離によらず基線長を予め定められた最小設定距離以上とする撮像装置を提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置およびプログラムに関する。
【背景技術】
【０００２】
従来より、１眼式のカメラにより立体視用の画像を撮像する方法が知られている。この方法では、右眼用画像および左眼用画像のうち一方の画像（第１画像）を１回目に撮像し、続いて、カメラを水平方向にスライドさせて右眼用画像および左眼用画像のうち他方の画像（第２画像）を２回目に撮像する。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
ところで、第１画像の撮像時のレンズ位置から第２画像の撮像時のレンズ位置までの間の距離（基線長）によって、立体画像の印象が大きく異なる。例えば、基線長が小さければ立体感は弱いが、基線長が大きければ立体感が強くなる。従って、立体画像を撮像する場合には基線長を適切に設定しなければならない。
【課題を解決するための手段】
【０００４】
本発明の第１の態様においては、立体表示のための右眼用画像および左眼用画像を撮像する撮像装置であって、主要被写体までの撮影距離および焦点距離に基づき、前記右眼用画像の撮像位置と前記左眼用画像の撮像位置との間の左右方向の距離である基線長を決定する決定部と、前記決定部により決定された基線長分、撮像位置を左右方向にずらして前記右眼用画像および前記左眼用画像を撮像する撮像部と、を備え、前記決定部は、前記撮影距離が大きいほど前記基線長を大きい値とし、前記焦点距離が大きいほど前記基線長を小さい値とし、前記撮影距離および前記焦点距離によらず前記基線長を予め定められた最小設定距離以上とする撮像装置、および、このような撮像装置に実行されるプログラムを提供する。
【０００５】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００６】
【図１】本実施形態に係る撮像装置１０を表面側から見た外観、および、第１画像の撮像位置および第２画像の撮像位置の一例を示す。
【図２】本実施形態に係る撮像装置１０の裏面側から見た外観、および、第１画像の撮像位置および第２画像の撮像位置のそれぞれにおいて表示部３０に表示される画像の一例を示す。
【図３】本実施形態に係る撮像装置１０の機能構成を示す。
【図４】本実施形態に係る撮像装置１０の立体撮影モードの処理フローを示す。
【図５】主要被写体の撮影距離および焦点距離に対する基線長の数値を記述したテーブルの第１例を示す。
【図６】主要被写体の撮影距離および焦点距離に対する基線長の数値を記述したテーブルの第２例を示す。
【図７】奥側に位置する被写体の視差角および手前側に位置する被写体の視差角の一例を示す。
【図８】本実施形態に係る補正部３６による補正処理の一例を示す。
【図９】画像シフト処理により生成される右眼用画像および左眼用画像の一例を示す。
【図１０】本実施形態に係る撮像装置１０の表示部３０に表示される方向マーク６０の一例を示す。
【図１１】縦撮り状態の撮像装置１０の外観、および、第１画像および第２画像の撮像位置の一例を示す。
【図１２】本実施形態に係る変形例の撮像装置１０の外観を示す。
【発明を実施するための形態】
【０００７】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【０００８】
図１は、本実施形態に係る撮像装置１０を表面側から見た外観、および、第１画像の撮像位置および第２画像の撮像位置の一例を示す。本実施形態に係る撮像装置１０は、立体表示のための右眼用画像および左眼用画像を撮像する。
【０００９】
本実施形態に係る撮像装置１０は、１つのレンズ部１２を有する。撮像装置１０は、右眼用画像および左眼用画像のうち一方の静止画像（第１画像）を１回目に撮像し、続いて、レンズ部１２を左右方向に例えば手動により移動させて（スライドさせて）、右眼用画像および左眼用画像のうち他方の静止画像（第２画像）を２回目に撮像する。
【００１０】
ここで、第１画像の撮像位置と第２画像の撮像位置との間の左右方向の距離を、基線長と呼ぶ。本実施形態に係る撮像装置１０は、第１画像の撮像後であってスライド前において基線長を決定し、第２画像の撮像位置を特定する。
【００１１】
図２は、本実施形態に係る撮像装置１０の裏面側から見た外観、および、第１画像の撮像位置および第２画像の撮像位置のそれぞれにおいて表示部３０に表示される画像の一例を示す。
【００１２】
撮像装置１０は、裏面側に表示部３０を備える。表示部３０は、通常撮影において、撮影範囲のリアルタイムの画像を表すスルー画像を表示する。ユーザは、このスルー画像を確認しながら画角および各種のカメラパラメータを設定して、静止画像を撮像する。
【００１３】
ここで、撮像装置１０は、立体撮影モードにおいて、まず、ユーザによるシャッタボタンの押下しの動作に応じて第１画像を撮像する。続いて、撮像装置１０は、第１画像を撮像した後に、第２画像の予測画像を第１画像から予測して生成し、生成した予測画像をスルー画像に重ねて表示する。これにより、撮像装置１０は、ユーザに第１画像の撮像位置を知らせて、当該撮像装置１０を適切な位置へとスライドさせることができる。
【００１４】
そして、撮像装置１０は、ユーザが当該撮像装置１０の本体をスライドさせた結果、スルー画像と予測画像とが一致したことに応じて第２画像を自動的に撮像する。このようにして、撮像装置１０は、第２画像を適切な位置で撮像することができる。
【００１５】
図３は、本実施形態に係る撮像装置１０の機能構成を示す。撮像装置１０は、撮像部２０と、テーブル記憶部２２と、決定部２４と、一時保存部２６と、予測画生成部２８と、表示部３０と、一致検出部３２と、シャッタ指示部３４と、補正部３６と、シフト部３８と、出力部４０とを備える。
【００１６】
撮像部２０は、被写体を撮像して静止画像を生成する。また、撮像部２０は、立体撮影モードにおいて、最初に右眼用画像および左眼用画像のうち一方の画像（第１画像）を撮像し、続いて、基線長を決定し、続いて、右眼用画像および左眼用画像のうち他方の画像（第２画像）を撮像する。これにより、撮像部２０は、決定部２４により決定された基線長分、撮像位置を左右方向にずらして右眼用画像および左眼用画像を撮像することができる。
【００１７】
テーブル記憶部２２は、撮影距離のそれぞれと焦点距離のそれぞれとの対応毎に予め定められた基線長の値が記述されたテーブルを記憶する。テーブルの内容については図５および図６を参照して説明する。
【００１８】
決定部２４は、第１画像を撮像したときの主要被写体までの撮影距離および焦点距離を撮像部２０から取得する。決定部２４は、主要被写体までの撮影距離および焦点距離に基づき基線長を決定する。より詳しくは、決定部２４は、テーブル記憶部２２に記憶されたテーブルを参照し、主要被写体までの撮影距離および焦点距離に対応する基線長を決定する。
【００１９】
一時保存部２６は、撮像部２０により撮像された第１画像を一時的に保存する。即ち、一時保存部２６は、第１画像を撮像してから第２画像を撮像するまでの間、第１画像を記憶する。
【００２０】
予測画生成部２８は、第１画像を決定部２４により決定された基線長に対応するシフト量分左右方向にシフトして、第２画像の予測画像を生成する。予測画生成部２８は、第２画像の予測画像を画角全体について生成するのではなく、主要被写体の部分画像のような第１画像の一部のみについて生成してもよい。
【００２１】
表示部３０は、第１画像を撮像してから第２画像を撮像するまでの間において、スルー画像と予測画像とを合成して表示する。そして、表示部３０は、スルー画像と予測画像とを合成した合成画像を表示面に表示する。
【００２２】
一致検出部３２は、第１画像を撮像した後において、スルー画像が予測画像と一致したかを検出する。より詳しくは、一致検出部３２は、スルー画像と予測画像とが予め定められた一致度以上で一致したかを検出する。一致検出部３２は、一例として、スルー画像と予測画像とを画素単位毎に比較して、スルー画像の画素と予測画像の画素とが予め定められた割合で一致している場合には、一致したと判断する。
【００２３】
シャッタ指示部３４は、ユーザがシャッタボタンを押下す操作をしたことに応じて撮像部２０に撮像指示を与える。これにより、シャッタ指示部３４は、ユーザがシャッタボタンを押下したことに応じて撮像部２０に第１画像を撮像させることができる。
【００２４】
また、シャッタ指示部３４は、第１画像を撮像した後において、スルー画像が予測画像と一致したことに応じて撮像部２０に撮像指示を与える。これにより、シャッタ指示部３４は、撮像部２０にスルー画像が予測画像と一致したことに応じて撮像部２０に第２画像を撮像させることができる。
【００２５】
補正部３６は、第２画像を撮像した後において、第１画像および第２画像のうち一方である右眼用画像、および、第１画像および第２画像のうち他方である左眼用画像を補正する。補正部３６は、一例として、手動のスライド操作により生じる右眼用画像および左眼用画像の上下方向のずれおよび回転方向のずれを補正する。
【００２６】
シフト部３８は、補正部３６により補正された右眼用画像および左眼用画像を予め定められたピクセル数分左右方向にシフトして、右眼用画像および左眼用画像を左右方向に離間させる。シフト部３８は、右眼用画像および左眼用画像の画素のそれぞれを同一のピクセル数分左右方向にシフトする。
【００２７】
出力部４０は、シフト部３８によりシフトされた右眼用画像および左眼用画像を予め定められたフォーマットの立体表示用の画像ファイルとして出力する。そして、出力部４０は、ファイル化した画像データをメモリカード等に保存する。
【００２８】
図４は、本実施形態に係る撮像装置１０の立体撮影モードの処理フローを示す。撮像装置１０は、立体撮影モードにおいて、図４に示すステップＳ１１〜ステップＳ２５の処理を実行する。
【００２９】
まず、シャッタ指示部３４は、ユーザによりシャッタボタンが押下されたか否かを判断する（ステップＳ１１）。シャッタ指示部３４は、シャッタボタンが押下されない場合には（ステップＳ１１のＮｏ）、スルー画像を逐次更新しながら表示して、シャッタボタンが押下されるまで処理を待機する（Ｓ１２）。
【００３０】
ユーザによりシャッタボタンが押下された場合には（ステップＳ１１のＹｅｓ）、撮像部２０は、右眼用画像および左眼用画像のうち予め定められた一方の画像（第１画像）を撮像する（ステップＳ１３）。続いて、一時保存部２６は、撮像部２０により撮像された第１画像を一時保存する（Ｓ１４）。
【００３１】
続いて、決定部２４は、主要被写体の撮影距離および焦点距離を撮像部２０から取得する（ステップＳ１５）。決定部２４は、一例として、当該撮像装置１０からピントを合わせた被写体までの距離を、撮影距離として取得する。
【００３２】
続いて、決定部２４は、主要被写体までの撮影距離および焦点距離に基づき、テーブル記憶部２２に記憶されたテーブルを参照して基線長を決定する（ステップＳ１６）。なお、テーブルの内容については図５および図６を参照して説明する。
【００３３】
続いて、予測画生成部２８は、第１画像を決定された基線長に対応するピクセル数分左右方向にシフトして、第２画像の予測画像を生成する（ステップＳ１７）。即ち、予測画生成部２８は、第１画像の撮像位置から左右方向に基線長分スライドした位置から撮像した画像の予測画像を、第１画像の各画素を左右方向にシフトさせることにより生成する。
【００３４】
なお、予測画生成部２８は、第１画像を予め定められた方向にシフトする。予測画生成部２８は、一例として、第１画像を右眼用画像とする場合には、第１画像を右側にシフトさせて予測画像を生成する。また、予測画生成部２８は、一例として、第１画像を左眼用画像とする場合には、第１画像を左側にシフトさせて予測画像を生成する。また、予測画生成部２８は、表示される画面全体の予測画像ではなく、画面内における一部の被写体（例えば、主要被写体）の画像を予測画像としてもよい。
【００３５】
続いて、表示部３０は、スルー画像と予測画像とを合成した合成画像を生成して表示する（ステップＳ１８）。この場合において、表示部３０は、予測画像に透過度を与えて、スルー画像上に上書きして表示させる。そして、表示部３０は、撮像部２０による撮像位置が移動しても、予測画像を表示面に対して固定した位置に表示させ続ける。これにより、表示部３０は、撮像部２０による撮像位置が、予測画像が撮像できる位置（即ち、第２画像の撮像位置）に近づいているか否かをユーザに認識させることができる。
【００３６】
続いて、一致検出部３２は、スルー画像が予測画像と一致したかを検出する（ステップＳ１９）。より詳しくは、一致検出部３２は、スルー画像と予測画像とが予め定められた一致度以上で一致したかを検出する。一致検出部３２は、一例として、スルー画像と予測画像とを画素単位毎に比較して、スルー画像の画素と予測画像の画素とが予め定められた割合で一致している場合には、一致したと判断する。
【００３７】
スルー画像と予測画像とが一致していると判断されない場合（ステップＳ１９のＮｏ）、続いて、シャッタ指示部３４は、ユーザによりシャッタボタンが強制的に押下されたか否かを判断する（ステップＳ２０）。シャッタ指示部３４は、シャッタボタンが押下されない場合には（ステップＳ２０のＮｏ）、スルー画像を逐次更新しながら（ステップＳ２１）、スルー画像と予測画像を合成した合成画像を表示して（ステップＳ１８）、スルー画像と予測画像とが一致するまで処理を待機する。
【００３８】
スルー画像と予測画像とが一致したと判断された場合（ステップＳ１９のＹｅｓ）には、撮像部２０は、右眼用画像および左眼用画像のうち予め定められた他方の画像（第２画像）を撮像する（ステップＳ２２）。即ち、撮像部２０は、第１画像を基線長に対応するシフト量分左右方向にシフトして第２画像の予測画像と、当該撮像部２０の撮像範囲のリアルタイムの画像を表すスルー画像とが一致したことに応じて第２画像を撮像する。これにより、撮像装置１０は、ユーザが当該撮像装置１０をスライドさせるのみで、自動的に第２画像を撮像することができる。
【００３９】
また、スルー画像と予測画像とが一致しないと判断される場合であっても（ステップＳ１９のＮｏ）、ユーザによりシャッタボタンが強制的に押下された場合（ステップＳ２０のＹｅｓ）には、撮像部２０は、第２画像を撮像する（ステップＳ２２）。これにより、撮像装置１０は、第２画像が自動的に撮像されるのを待たずに、自身の意図で強制的に第２画像を撮像することができる。
【００４０】
続いて、補正部３６は、第１画像および第２画像のうち一方である右眼用画像、および、第１画像および第２画像のうち他方である左眼用画像を補正する（ステップＳ２３）。補正部３６は、一例として、右眼用画像および左眼用画像の上下方向のずれおよび回転方向のずれを補正する。
【００４１】
続いて、シフト部３８は、補正された右眼用画像および左眼用画像の全体を予め定められたピクセル数分左右方向にシフトして、右眼用画像および左眼用画像を左右方向に離間させる（ステップＳ２４）。シフト部３８は、一例として、右眼用画像の各画素の位置を、予め定められたピクセル数の１／２分右側にシフトさせる。また、シフト部３８は、一例として、左眼用画像の各画素の位置を、予め定められたピクセル数の１／２分左側にシフトさせる。
【００４２】
これにより、シフト部３８は、より奥行き感のある立体画像を提供することができる。なお、シフト部３８は、左右にシフトさせるピクセル数を、撮影距離、焦点距離および基線長等に応じて画像毎に変更してもよい。
【００４３】
続いて、出力部４０は、シフト部３８によりシフトされた右眼用画像および左眼用画像を予め定められたフォーマットの立体表示用の画像ファイルとして出力する（ステップＳ２５）。出力部４０は、一例として、右眼用画像および左眼用画像のそれぞれから表示範囲の画像データを切り出したり、所定の圧縮処理符号化処理等をしたりして、ファイル化する。
【００４４】
この場合、出力部４０は、立体画像を表示するモニタのアスペクト比を予め取得している場合には、対応するサイズで画像データを切り出してもよい。例えば、表示するモニタが４：３の比率であることを予め取得している場合には、出力部４０は、アスペクト比が４：３の画像データを切り出して生成する。また、例えば、表示するモニタが１６：９の比率であることを予め取得している場合には、出力部４０は、アスペクト比が１６：９の画像データを切り出して生成する。そして、出力部４０は、このようにファイル化した画像データをメモリカード等に保存する。
【００４５】
以上のように、撮像装置１０によれば、１つのレンズ部１２により結像される被写体像を異なるタイミングにおいて撮像して、右眼用画像および左眼用画像を生成することができる。また、撮像装置１０によれば、撮影距離および焦点距離に応じて基線長が設定されるので、適切な立体感のある立体画像を撮像することができる。
【００４６】
図５および図６は、主要被写体の撮影距離および焦点距離に対する基線長の数値を記述したテーブルの一例を示す。なお、図５および図６において、テーブル内の各数値は基線長を表す。図５の数値の単位はセンチメートルである。また、図６の左側の数値の単位はセンチメートルであり、右側の数値は、予め定められたサイズの表示画面上における、基線長に対応したピクセル数を表す。
【００４７】
決定部２４は、一例として、図５に示されるようなテーブルまたは図６に示されるようなテーブルを参照して、撮影距離（Ｌ）および焦点距離（ｆ）に基づき基線長を決定する。
【００４８】
これらのテーブルには、撮影距離が大きい程、大きい値となる基線長が記述されている。従って、決定部２４は、焦点距離が同じであれば、撮影距離が大きいほど基線長を大きい値とする。これにより、決定部２４は、被写体が遠い程、基線長を大きくして、遠い被写体により大きな立体感を与えるようにしている。
【００４９】
また、これらのテーブルには、焦点距離が大きい程、小さい値となる基線長が記述されている。従って、決定部２４は、撮影距離が同じであれば、焦点距離が大きいほど基線長を小さい値とする。これにより、決定部２４は、拡大して撮影する場合には、基線長を小さくして、過度な視差を与えなくできる。
【００５０】
さらに、これらのテーブルには、撮影距離および焦点距離によらず最小設定距離以上となる基線長が記述されている。従って、決定部２４は、撮影距離および焦点距離によらず基線長を最小設定距離以上とする。これにより、決定部２４は、手振れにより撮像装置１０の本体が微小にずれて意図せずに第２画像が撮像されてしまって精度の悪い立体画像が生成されることを、回避することができる。
【００５１】
なお、最小設定距離は、手振れにより生じる移動量よりも大きな距離とすることが好ましい。コンパクトデジタルカメラに適用する場合には、最小設定距離は、一例として、０．５ｃｍである。
【００５２】
また、決定部２４は、撮影距離が予め定められた第１基準距離以下の場合において、焦点距離によらず基線長を最小設定距離としてもよい。第１基準距離は、手振れにより本体の微小なずれの影響が撮影した画像に大きく影響する撮影距離であり、例えば０．１ｍである。これにより、決定部２４は、手振れにより撮像装置１０の本体が微小にずれて意図せずに第２画像が撮像されてしまって精度の悪い立体画像が生成されることを、回避することができる。
【００５３】
また、さらに、これらのテーブルには、撮影距離および焦点距離によらず、最大設定距離以下となる基線長が記述されている。従って、決定部２４は、撮影距離および焦点距離によらず、基線長を最大設定距離以下にする。これにより、決定部２４は、想定される距離以上のシフト量の被写体が撮像されてしまうことを回避することができる。コンパクトデジタルカメラに適用する場合には、最大設定距離は、一例として、３ｃｍである。
【００５４】
また、決定部２４は、撮影距離が予め定められた第２基準距離以上の場合において、焦点距離によらず基線長を最大設定距離としてもよい。第２基準距離は、第１基準距離より大きく、一例として、想定される距離以上のシフト量の被写体が撮像されてしまう可能性のある撮影距離であり、例えば２ｍである。これにより、決定部２４は、想定される距離以上のシフト量の被写体が撮像されてしまうことを回避することができる。
【００５５】
また、さらに、これらのテーブルには、撮影距離および焦点距離によらず、撮像素子上または予め定められたサイズの表示画面上で、予め定められた最小ピクセル数以上となる基線長が記述されている。従って、決定部２４は、撮影距離および焦点距離によらず、基線長を撮像素子上または予め定められたサイズの表示画面上で予め定められた最小ピクセル数以上とする。
【００５６】
これにより、決定部２４は、右眼用画像と左眼用画像との間の差異を認識させて、少なくとも立体感を感じさせることができる画像を生成させることができる。３５ｍｍフルサイズ相当の撮像素子を備えるコンパクトデジタルカメラに適用する場合、最小ピクセル数は、一例として、横サイズが６４０ピクセルの表示画面上において、１０ピクセルである。
【００５７】
これに代えて、これらのテーブルには、撮影距離および焦点距離によらず、撮像素子上で左右方向の長さに対して予め定められた割合以上の長さに相当する基線長が記述されていてもよい。この場合、決定部２４は、撮影距離および焦点距離によらず、基線長を撮像素子上で左右方向の長さに対して予め定められた割合以上の長さに相当する値とする。
【００５８】
これにより、決定部２４は、右眼用画像と左眼用画像との間の差異を認識させて、少なくとも立体感を感じさせることができる画像を生成させることができる。３５ｍｍフルサイズ相当の撮像素子を備えるコンパクトデジタルカメラに適用する場合、予め定められた割合は、一例として３％である。
【００５９】
以上のように、決定部２４は、予め設定されたテーブルを参照して、撮影距離および焦点距離に基づき適切な基線長を決定する。そして、決定部２４は、手振れによるずれで自動的に画像が撮像されたり、想定以上の距離の基線長で画像が撮像されたりしないように、基線長の範囲を制限している。これにより、本実施形態に係る撮像装置１０によれば、適切な基線長で右眼用画像および左眼用画像を撮像することができる。
【００６０】
なお、テーブル記憶部２２は、当該撮像装置１０の撮影モードに対応付けられた複数種類のテーブルを記憶していてもよい。テーブル記憶部２２は、一例として、風景撮影モード、接写モードおよび望遠モード等の、主な撮影対象を指定するモードに応じたテーブルを記憶していてもよい。そして、決定部２４は、テーブル記憶部２２に記憶された複数のテーブルのうち、撮像モードに対応するテーブルを参照して基線長を決定してもよい。これにより、決定部２４は、主な被写体に応じてより適切な基線長で立体撮影をすることができる。
【００６１】
図７は、奥側に位置する被写体の視差角および手前側に位置する被写体の視差角の一例を示す。決定部２４は、少なくとも２つの被写体を含む立体画像の撮像において、右眼用画像および左眼用画像を表示した場合における２つの被写体の視差角の差を、予め定められた範囲内とするように基線長を決定してもよい。
【００６２】
例えば、撮影距離が異なる２つの被写体を含む立体画像を撮影するとする。ここで、左眼用画像の撮像位置と被写体Ａとを結ぶ直線ａ１と、右眼用画像の撮像位置と被写体Ａとを結ぶ直線ａ２との成す角を輻輳角αとする。また、左眼用画像の撮像位置と被写体Ｂとを結ぶ直線ｂ１と、右眼用画像の撮像位置と被写体Ｂとを結ぶ直線ｂ２との成す角を輻輳角βとする。この場合、被写体Ａと被写体Ｂとの視差角は、β−αとなる。
【００６３】
決定部２４は、奥側の被写体Ａと手前側の被写体Ｂとの視差角（β−α）が予め定められた角度の範囲内（視差角の差が±１°の範囲内）となるように、基線長を設定する。決定部２４は、一例として、それぞれの被写体の撮影距離を撮像部２０から取得することにより、視差角の差を算出する。
【００６４】
決定部２４は、テーブルを参照して決定した基線長が視差角の差が予め定められた範囲外となる場合には、この範囲内となるように基線長を小さくする。撮像装置１０は、このように基線長を調整することにより、立体視に適した視差角の差の画像を撮像することができる。
【００６５】
図８は、本実施形態に係る補正部３６による補正処理の一例を示す。第１画像を撮像した後に左右方向に手動でスライドさせて第２画像を撮像する場合、正確に左右方向にスライドできずに、第２画像が第１画像に対して上下方向にずれてしまうことがある。また、第１画像および第２画像を撮像する場合に、手振れ等により面内において傾いてしまうことがある。
【００６６】
補正部３６は、右眼用画像および左眼用画像を比較して撮像位置が上下方向にずれた場合には、右眼用画像および左眼用画像を上下方向にずらす補正する。また、補正部３６は、右眼用画像および左眼用画像が面内方向に傾いて撮像された場合には、右眼用画像および左眼用画像を面内において回転する方向に補正する。さらに、補正部３６は、このような補正に限らず、その他の画像処理により補正をしてもよい。
【００６７】
ここで、右眼用画像および左眼用画像の間に、補正処理によっては補正できない程度のずれが生じている場合がある。このような場合、補正部３６は、立体視に適した画像を生成できない旨をユーザに警告する。これにより、補正部３６は、ユーザに再度の撮影をさせることができる。
【００６８】
また、このように補正できない程度のずれが生じている場合であっても、補正部３６は、右眼用画像および左眼用画像のうちの一方のみを保存する処理をしてもよい。これにより、補正部３６は、少なくとも２次元画像の記録をすることができる。この場合、補正部３６は、一例として、先に撮像した画像（即ち、第１画像）を保存してもよいし、より高品質であると判定された画像を保存してもよい。
【００６９】
図９は、画像シフト処理により生成される右眼用画像および左眼用画像の一例を示す。また、右眼用画像および左眼用画像の間に補正処理によっては補正できない程度のずれが生じている場合、補正部３６は、右眼用画像および左眼用画像のうちの一方から、他方を生成する処理をしてもよい。
【００７０】
例えば、補正部３６は、図９に示されるように、左眼用画像から、左眼用画像を右方向に予め定められたシフト量分シフトさせて、右眼用画像を生成してもよい。また、補正部３６は、右眼用画像から、右眼用画像を左方向に予め定められたシフト量分シフトさせて、左眼用画像を生成してもよい。この場合において、補正部３６は、例えば、先に撮像した画像（即ち、第１画像）を元に他方を生成してもよいし、より高品質であると判定された画像を元に他方を生成してもよい。
【００７１】
これにより、補正部３６は、右眼用画像または左眼用画像の何れか一方の撮影に失敗した場合であっても、少なくとも立体視が可能な画像ファイルを生成することができる。
【００７２】
図１０は、本実施形態に係る撮像装置１０の表示部３０に表示される方向マーク６０の一例を示す。表示部３０は、第１画像を撮像してから第２画像を撮像するまでの間において、当該撮像装置を移動させるべき方向を示す方向マーク６０を表示してもよい。
【００７３】
これにより、撮像装置１０は、ユーザに対して当該撮像装置１０を右方向にスライドさせればよいのか、左方向にスライドさせればよいのかを理解させることができる。特に、撮像装置１０は、誤って移動させすぎてしまいスルー画像に主要被写体が含まれなくなった場合であっても、ユーザがどの方向に被写体を動かせばよいのかを知らせることができる。
【００７４】
また、表示部３０は、予測画像を第１色の色フィルタにより画像変換して表示し、スルー画像を第１色とは補色関係にある第２色の色フィルタにより画像変換して表示してもよい。これにより、表示部３０は、スルー画像が予測画像に一致したことに応じて、現実の色の被写体をユーザに見せることができる。
【００７５】
図１１は、縦撮り状態の撮像装置１０の外観、および、第１画像および第２画像の撮像位置の一例を示す。撮像装置１０は、方向センサ７０を更に備えてもよい。方向センサ７０は、当該撮像装置１０が横撮り状態であるか、縦撮り状態であるかを検出する。さらに、方向センサ７０は、縦撮り状態である場合には、右辺側が下に位置しているか、左辺側が下に位置しているかを検出する。
【００７６】
そして、撮像部２０は、横撮り状態、右辺側が下の縦撮り状態、または、左辺側が下の縦撮り状態の何れであるかに応じて、撮像した画像データの左右方向を切り換えて出力する。これにより、撮像装置１０は、何れの状態であっても、立体画像を撮像することができる。
【００７７】
更に、決定部２４は、横撮り状態であるか、縦撮り状態であるかによって、基線長を切り換える。より具体的には、決定部２４は、横撮り状態の場合よりも、縦撮り状態の方の基線長を短くする。通常の場合、表示モニタは横長であるので、縦撮り状態で撮像された画像は縮小して表示される。従って、決定部２４は、横撮り状態の基線長よりも、縮小率に応じた割合分、縦撮り状態の基線長を短くする。
【００７８】
また、予測画生成部２８は、右辺側が下の縦撮り状態か、左辺側が下の縦撮り状態に応じて、予測画像を生成するための第１画像のシフト方向を切り替える。これにより、予測画生成部２８は、右辺側が下の縦撮り状態か、または、左辺側が下の縦撮り状態かによらず、第１画像を右眼用画像または左眼用画像の何れか一方に固定して撮像させることができる。
【００７９】
図１２は、本実施形態に係る変形例の撮像装置１０の外観を示す。本変形例に係る撮像装置１０は、右側および左側の２個のレンズ部１２（１２−Ｒ，１２−Ｌ）を有する。本変形例に係る撮像装置１０は、右眼用画像および左眼用画像を同時に撮像できる。
【００８０】
更に、本変形例に係る撮像装置１０は、片方のレンズ部１２（例えばレンズ部１２−Ｌ）が左右方向に移動可能となっている。移動可能な片方のレンズ部１２は、決定部２４により決定される２つのレンズ部１２の間の距離を調整する。
【００８１】
そして、本変形例に係る撮像装置１０は、基線長を調整した後に、右眼用画像および左眼用画像を同時に撮像する。これにより、本変形例に係る撮像装置１０は、撮影距離および焦点距離に応じて適切な基線長で立体画像を撮像することができる。
【００８２】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００８３】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【００８４】
１０ 撮像装置、１２ レンズ部、２０ 撮像部、２２ テーブル記憶部、２４ 決定部、２６ 一時保存部、２８ 予測画生成部、３０ 表示部、３２ 一致検出部、３４ シャッタ指示部、３６ 補正部、３８ シフト部、４０ 出力部、６０ 方向マーク、７０ 方向センサ
【技術分野】
【０００１】
本発明は、撮像装置およびプログラムに関する。
【背景技術】
【０００２】
従来より、１眼式のカメラにより立体視用の画像を撮像する方法が知られている。この方法では、右眼用画像および左眼用画像のうち一方の画像（第１画像）を１回目に撮像し、続いて、カメラを水平方向にスライドさせて右眼用画像および左眼用画像のうち他方の画像（第２画像）を２回目に撮像する。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
ところで、第１画像の撮像時のレンズ位置から第２画像の撮像時のレンズ位置までの間の距離（基線長）によって、立体画像の印象が大きく異なる。例えば、基線長が小さければ立体感は弱いが、基線長が大きければ立体感が強くなる。従って、立体画像を撮像する場合には基線長を適切に設定しなければならない。
【課題を解決するための手段】
【０００４】
本発明の第１の態様においては、立体表示のための右眼用画像および左眼用画像を撮像する撮像装置であって、主要被写体までの撮影距離および焦点距離に基づき、前記右眼用画像の撮像位置と前記左眼用画像の撮像位置との間の左右方向の距離である基線長を決定する決定部と、前記決定部により決定された基線長分、撮像位置を左右方向にずらして前記右眼用画像および前記左眼用画像を撮像する撮像部と、を備え、前記決定部は、前記撮影距離が大きいほど前記基線長を大きい値とし、前記焦点距離が大きいほど前記基線長を小さい値とし、前記撮影距離および前記焦点距離によらず前記基線長を予め定められた最小設定距離以上とする撮像装置、および、このような撮像装置に実行されるプログラムを提供する。
【０００５】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００６】
【図１】本実施形態に係る撮像装置１０を表面側から見た外観、および、第１画像の撮像位置および第２画像の撮像位置の一例を示す。
【図２】本実施形態に係る撮像装置１０の裏面側から見た外観、および、第１画像の撮像位置および第２画像の撮像位置のそれぞれにおいて表示部３０に表示される画像の一例を示す。
【図３】本実施形態に係る撮像装置１０の機能構成を示す。
【図４】本実施形態に係る撮像装置１０の立体撮影モードの処理フローを示す。
【図５】主要被写体の撮影距離および焦点距離に対する基線長の数値を記述したテーブルの第１例を示す。
【図６】主要被写体の撮影距離および焦点距離に対する基線長の数値を記述したテーブルの第２例を示す。
【図７】奥側に位置する被写体の視差角および手前側に位置する被写体の視差角の一例を示す。
【図８】本実施形態に係る補正部３６による補正処理の一例を示す。
【図９】画像シフト処理により生成される右眼用画像および左眼用画像の一例を示す。
【図１０】本実施形態に係る撮像装置１０の表示部３０に表示される方向マーク６０の一例を示す。
【図１１】縦撮り状態の撮像装置１０の外観、および、第１画像および第２画像の撮像位置の一例を示す。
【図１２】本実施形態に係る変形例の撮像装置１０の外観を示す。
【発明を実施するための形態】
【０００７】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【０００８】
図１は、本実施形態に係る撮像装置１０を表面側から見た外観、および、第１画像の撮像位置および第２画像の撮像位置の一例を示す。本実施形態に係る撮像装置１０は、立体表示のための右眼用画像および左眼用画像を撮像する。
【０００９】
本実施形態に係る撮像装置１０は、１つのレンズ部１２を有する。撮像装置１０は、右眼用画像および左眼用画像のうち一方の静止画像（第１画像）を１回目に撮像し、続いて、レンズ部１２を左右方向に例えば手動により移動させて（スライドさせて）、右眼用画像および左眼用画像のうち他方の静止画像（第２画像）を２回目に撮像する。
【００１０】
ここで、第１画像の撮像位置と第２画像の撮像位置との間の左右方向の距離を、基線長と呼ぶ。本実施形態に係る撮像装置１０は、第１画像の撮像後であってスライド前において基線長を決定し、第２画像の撮像位置を特定する。
【００１１】
図２は、本実施形態に係る撮像装置１０の裏面側から見た外観、および、第１画像の撮像位置および第２画像の撮像位置のそれぞれにおいて表示部３０に表示される画像の一例を示す。
【００１２】
撮像装置１０は、裏面側に表示部３０を備える。表示部３０は、通常撮影において、撮影範囲のリアルタイムの画像を表すスルー画像を表示する。ユーザは、このスルー画像を確認しながら画角および各種のカメラパラメータを設定して、静止画像を撮像する。
【００１３】
ここで、撮像装置１０は、立体撮影モードにおいて、まず、ユーザによるシャッタボタンの押下しの動作に応じて第１画像を撮像する。続いて、撮像装置１０は、第１画像を撮像した後に、第２画像の予測画像を第１画像から予測して生成し、生成した予測画像をスルー画像に重ねて表示する。これにより、撮像装置１０は、ユーザに第１画像の撮像位置を知らせて、当該撮像装置１０を適切な位置へとスライドさせることができる。
【００１４】
そして、撮像装置１０は、ユーザが当該撮像装置１０の本体をスライドさせた結果、スルー画像と予測画像とが一致したことに応じて第２画像を自動的に撮像する。このようにして、撮像装置１０は、第２画像を適切な位置で撮像することができる。
【００１５】
図３は、本実施形態に係る撮像装置１０の機能構成を示す。撮像装置１０は、撮像部２０と、テーブル記憶部２２と、決定部２４と、一時保存部２６と、予測画生成部２８と、表示部３０と、一致検出部３２と、シャッタ指示部３４と、補正部３６と、シフト部３８と、出力部４０とを備える。
【００１６】
撮像部２０は、被写体を撮像して静止画像を生成する。また、撮像部２０は、立体撮影モードにおいて、最初に右眼用画像および左眼用画像のうち一方の画像（第１画像）を撮像し、続いて、基線長を決定し、続いて、右眼用画像および左眼用画像のうち他方の画像（第２画像）を撮像する。これにより、撮像部２０は、決定部２４により決定された基線長分、撮像位置を左右方向にずらして右眼用画像および左眼用画像を撮像することができる。
【００１７】
テーブル記憶部２２は、撮影距離のそれぞれと焦点距離のそれぞれとの対応毎に予め定められた基線長の値が記述されたテーブルを記憶する。テーブルの内容については図５および図６を参照して説明する。
【００１８】
決定部２４は、第１画像を撮像したときの主要被写体までの撮影距離および焦点距離を撮像部２０から取得する。決定部２４は、主要被写体までの撮影距離および焦点距離に基づき基線長を決定する。より詳しくは、決定部２４は、テーブル記憶部２２に記憶されたテーブルを参照し、主要被写体までの撮影距離および焦点距離に対応する基線長を決定する。
【００１９】
一時保存部２６は、撮像部２０により撮像された第１画像を一時的に保存する。即ち、一時保存部２６は、第１画像を撮像してから第２画像を撮像するまでの間、第１画像を記憶する。
【００２０】
予測画生成部２８は、第１画像を決定部２４により決定された基線長に対応するシフト量分左右方向にシフトして、第２画像の予測画像を生成する。予測画生成部２８は、第２画像の予測画像を画角全体について生成するのではなく、主要被写体の部分画像のような第１画像の一部のみについて生成してもよい。
【００２１】
表示部３０は、第１画像を撮像してから第２画像を撮像するまでの間において、スルー画像と予測画像とを合成して表示する。そして、表示部３０は、スルー画像と予測画像とを合成した合成画像を表示面に表示する。
【００２２】
一致検出部３２は、第１画像を撮像した後において、スルー画像が予測画像と一致したかを検出する。より詳しくは、一致検出部３２は、スルー画像と予測画像とが予め定められた一致度以上で一致したかを検出する。一致検出部３２は、一例として、スルー画像と予測画像とを画素単位毎に比較して、スルー画像の画素と予測画像の画素とが予め定められた割合で一致している場合には、一致したと判断する。
【００２３】
シャッタ指示部３４は、ユーザがシャッタボタンを押下す操作をしたことに応じて撮像部２０に撮像指示を与える。これにより、シャッタ指示部３４は、ユーザがシャッタボタンを押下したことに応じて撮像部２０に第１画像を撮像させることができる。
【００２４】
また、シャッタ指示部３４は、第１画像を撮像した後において、スルー画像が予測画像と一致したことに応じて撮像部２０に撮像指示を与える。これにより、シャッタ指示部３４は、撮像部２０にスルー画像が予測画像と一致したことに応じて撮像部２０に第２画像を撮像させることができる。
【００２５】
補正部３６は、第２画像を撮像した後において、第１画像および第２画像のうち一方である右眼用画像、および、第１画像および第２画像のうち他方である左眼用画像を補正する。補正部３６は、一例として、手動のスライド操作により生じる右眼用画像および左眼用画像の上下方向のずれおよび回転方向のずれを補正する。
【００２６】
シフト部３８は、補正部３６により補正された右眼用画像および左眼用画像を予め定められたピクセル数分左右方向にシフトして、右眼用画像および左眼用画像を左右方向に離間させる。シフト部３８は、右眼用画像および左眼用画像の画素のそれぞれを同一のピクセル数分左右方向にシフトする。
【００２７】
出力部４０は、シフト部３８によりシフトされた右眼用画像および左眼用画像を予め定められたフォーマットの立体表示用の画像ファイルとして出力する。そして、出力部４０は、ファイル化した画像データをメモリカード等に保存する。
【００２８】
図４は、本実施形態に係る撮像装置１０の立体撮影モードの処理フローを示す。撮像装置１０は、立体撮影モードにおいて、図４に示すステップＳ１１〜ステップＳ２５の処理を実行する。
【００２９】
まず、シャッタ指示部３４は、ユーザによりシャッタボタンが押下されたか否かを判断する（ステップＳ１１）。シャッタ指示部３４は、シャッタボタンが押下されない場合には（ステップＳ１１のＮｏ）、スルー画像を逐次更新しながら表示して、シャッタボタンが押下されるまで処理を待機する（Ｓ１２）。
【００３０】
ユーザによりシャッタボタンが押下された場合には（ステップＳ１１のＹｅｓ）、撮像部２０は、右眼用画像および左眼用画像のうち予め定められた一方の画像（第１画像）を撮像する（ステップＳ１３）。続いて、一時保存部２６は、撮像部２０により撮像された第１画像を一時保存する（Ｓ１４）。
【００３１】
続いて、決定部２４は、主要被写体の撮影距離および焦点距離を撮像部２０から取得する（ステップＳ１５）。決定部２４は、一例として、当該撮像装置１０からピントを合わせた被写体までの距離を、撮影距離として取得する。
【００３２】
続いて、決定部２４は、主要被写体までの撮影距離および焦点距離に基づき、テーブル記憶部２２に記憶されたテーブルを参照して基線長を決定する（ステップＳ１６）。なお、テーブルの内容については図５および図６を参照して説明する。
【００３３】
続いて、予測画生成部２８は、第１画像を決定された基線長に対応するピクセル数分左右方向にシフトして、第２画像の予測画像を生成する（ステップＳ１７）。即ち、予測画生成部２８は、第１画像の撮像位置から左右方向に基線長分スライドした位置から撮像した画像の予測画像を、第１画像の各画素を左右方向にシフトさせることにより生成する。
【００３４】
なお、予測画生成部２８は、第１画像を予め定められた方向にシフトする。予測画生成部２８は、一例として、第１画像を右眼用画像とする場合には、第１画像を右側にシフトさせて予測画像を生成する。また、予測画生成部２８は、一例として、第１画像を左眼用画像とする場合には、第１画像を左側にシフトさせて予測画像を生成する。また、予測画生成部２８は、表示される画面全体の予測画像ではなく、画面内における一部の被写体（例えば、主要被写体）の画像を予測画像としてもよい。
【００３５】
続いて、表示部３０は、スルー画像と予測画像とを合成した合成画像を生成して表示する（ステップＳ１８）。この場合において、表示部３０は、予測画像に透過度を与えて、スルー画像上に上書きして表示させる。そして、表示部３０は、撮像部２０による撮像位置が移動しても、予測画像を表示面に対して固定した位置に表示させ続ける。これにより、表示部３０は、撮像部２０による撮像位置が、予測画像が撮像できる位置（即ち、第２画像の撮像位置）に近づいているか否かをユーザに認識させることができる。
【００３６】
続いて、一致検出部３２は、スルー画像が予測画像と一致したかを検出する（ステップＳ１９）。より詳しくは、一致検出部３２は、スルー画像と予測画像とが予め定められた一致度以上で一致したかを検出する。一致検出部３２は、一例として、スルー画像と予測画像とを画素単位毎に比較して、スルー画像の画素と予測画像の画素とが予め定められた割合で一致している場合には、一致したと判断する。
【００３７】
スルー画像と予測画像とが一致していると判断されない場合（ステップＳ１９のＮｏ）、続いて、シャッタ指示部３４は、ユーザによりシャッタボタンが強制的に押下されたか否かを判断する（ステップＳ２０）。シャッタ指示部３４は、シャッタボタンが押下されない場合には（ステップＳ２０のＮｏ）、スルー画像を逐次更新しながら（ステップＳ２１）、スルー画像と予測画像を合成した合成画像を表示して（ステップＳ１８）、スルー画像と予測画像とが一致するまで処理を待機する。
【００３８】
スルー画像と予測画像とが一致したと判断された場合（ステップＳ１９のＹｅｓ）には、撮像部２０は、右眼用画像および左眼用画像のうち予め定められた他方の画像（第２画像）を撮像する（ステップＳ２２）。即ち、撮像部２０は、第１画像を基線長に対応するシフト量分左右方向にシフトして第２画像の予測画像と、当該撮像部２０の撮像範囲のリアルタイムの画像を表すスルー画像とが一致したことに応じて第２画像を撮像する。これにより、撮像装置１０は、ユーザが当該撮像装置１０をスライドさせるのみで、自動的に第２画像を撮像することができる。
【００３９】
また、スルー画像と予測画像とが一致しないと判断される場合であっても（ステップＳ１９のＮｏ）、ユーザによりシャッタボタンが強制的に押下された場合（ステップＳ２０のＹｅｓ）には、撮像部２０は、第２画像を撮像する（ステップＳ２２）。これにより、撮像装置１０は、第２画像が自動的に撮像されるのを待たずに、自身の意図で強制的に第２画像を撮像することができる。
【００４０】
続いて、補正部３６は、第１画像および第２画像のうち一方である右眼用画像、および、第１画像および第２画像のうち他方である左眼用画像を補正する（ステップＳ２３）。補正部３６は、一例として、右眼用画像および左眼用画像の上下方向のずれおよび回転方向のずれを補正する。
【００４１】
続いて、シフト部３８は、補正された右眼用画像および左眼用画像の全体を予め定められたピクセル数分左右方向にシフトして、右眼用画像および左眼用画像を左右方向に離間させる（ステップＳ２４）。シフト部３８は、一例として、右眼用画像の各画素の位置を、予め定められたピクセル数の１／２分右側にシフトさせる。また、シフト部３８は、一例として、左眼用画像の各画素の位置を、予め定められたピクセル数の１／２分左側にシフトさせる。
【００４２】
これにより、シフト部３８は、より奥行き感のある立体画像を提供することができる。なお、シフト部３８は、左右にシフトさせるピクセル数を、撮影距離、焦点距離および基線長等に応じて画像毎に変更してもよい。
【００４３】
続いて、出力部４０は、シフト部３８によりシフトされた右眼用画像および左眼用画像を予め定められたフォーマットの立体表示用の画像ファイルとして出力する（ステップＳ２５）。出力部４０は、一例として、右眼用画像および左眼用画像のそれぞれから表示範囲の画像データを切り出したり、所定の圧縮処理符号化処理等をしたりして、ファイル化する。
【００４４】
この場合、出力部４０は、立体画像を表示するモニタのアスペクト比を予め取得している場合には、対応するサイズで画像データを切り出してもよい。例えば、表示するモニタが４：３の比率であることを予め取得している場合には、出力部４０は、アスペクト比が４：３の画像データを切り出して生成する。また、例えば、表示するモニタが１６：９の比率であることを予め取得している場合には、出力部４０は、アスペクト比が１６：９の画像データを切り出して生成する。そして、出力部４０は、このようにファイル化した画像データをメモリカード等に保存する。
【００４５】
以上のように、撮像装置１０によれば、１つのレンズ部１２により結像される被写体像を異なるタイミングにおいて撮像して、右眼用画像および左眼用画像を生成することができる。また、撮像装置１０によれば、撮影距離および焦点距離に応じて基線長が設定されるので、適切な立体感のある立体画像を撮像することができる。
【００４６】
図５および図６は、主要被写体の撮影距離および焦点距離に対する基線長の数値を記述したテーブルの一例を示す。なお、図５および図６において、テーブル内の各数値は基線長を表す。図５の数値の単位はセンチメートルである。また、図６の左側の数値の単位はセンチメートルであり、右側の数値は、予め定められたサイズの表示画面上における、基線長に対応したピクセル数を表す。
【００４７】
決定部２４は、一例として、図５に示されるようなテーブルまたは図６に示されるようなテーブルを参照して、撮影距離（Ｌ）および焦点距離（ｆ）に基づき基線長を決定する。
【００４８】
これらのテーブルには、撮影距離が大きい程、大きい値となる基線長が記述されている。従って、決定部２４は、焦点距離が同じであれば、撮影距離が大きいほど基線長を大きい値とする。これにより、決定部２４は、被写体が遠い程、基線長を大きくして、遠い被写体により大きな立体感を与えるようにしている。
【００４９】
また、これらのテーブルには、焦点距離が大きい程、小さい値となる基線長が記述されている。従って、決定部２４は、撮影距離が同じであれば、焦点距離が大きいほど基線長を小さい値とする。これにより、決定部２４は、拡大して撮影する場合には、基線長を小さくして、過度な視差を与えなくできる。
【００５０】
さらに、これらのテーブルには、撮影距離および焦点距離によらず最小設定距離以上となる基線長が記述されている。従って、決定部２４は、撮影距離および焦点距離によらず基線長を最小設定距離以上とする。これにより、決定部２４は、手振れにより撮像装置１０の本体が微小にずれて意図せずに第２画像が撮像されてしまって精度の悪い立体画像が生成されることを、回避することができる。
【００５１】
なお、最小設定距離は、手振れにより生じる移動量よりも大きな距離とすることが好ましい。コンパクトデジタルカメラに適用する場合には、最小設定距離は、一例として、０．５ｃｍである。
【００５２】
また、決定部２４は、撮影距離が予め定められた第１基準距離以下の場合において、焦点距離によらず基線長を最小設定距離としてもよい。第１基準距離は、手振れにより本体の微小なずれの影響が撮影した画像に大きく影響する撮影距離であり、例えば０．１ｍである。これにより、決定部２４は、手振れにより撮像装置１０の本体が微小にずれて意図せずに第２画像が撮像されてしまって精度の悪い立体画像が生成されることを、回避することができる。
【００５３】
また、さらに、これらのテーブルには、撮影距離および焦点距離によらず、最大設定距離以下となる基線長が記述されている。従って、決定部２４は、撮影距離および焦点距離によらず、基線長を最大設定距離以下にする。これにより、決定部２４は、想定される距離以上のシフト量の被写体が撮像されてしまうことを回避することができる。コンパクトデジタルカメラに適用する場合には、最大設定距離は、一例として、３ｃｍである。
【００５４】
また、決定部２４は、撮影距離が予め定められた第２基準距離以上の場合において、焦点距離によらず基線長を最大設定距離としてもよい。第２基準距離は、第１基準距離より大きく、一例として、想定される距離以上のシフト量の被写体が撮像されてしまう可能性のある撮影距離であり、例えば２ｍである。これにより、決定部２４は、想定される距離以上のシフト量の被写体が撮像されてしまうことを回避することができる。
【００５５】
また、さらに、これらのテーブルには、撮影距離および焦点距離によらず、撮像素子上または予め定められたサイズの表示画面上で、予め定められた最小ピクセル数以上となる基線長が記述されている。従って、決定部２４は、撮影距離および焦点距離によらず、基線長を撮像素子上または予め定められたサイズの表示画面上で予め定められた最小ピクセル数以上とする。
【００５６】
これにより、決定部２４は、右眼用画像と左眼用画像との間の差異を認識させて、少なくとも立体感を感じさせることができる画像を生成させることができる。３５ｍｍフルサイズ相当の撮像素子を備えるコンパクトデジタルカメラに適用する場合、最小ピクセル数は、一例として、横サイズが６４０ピクセルの表示画面上において、１０ピクセルである。
【００５７】
これに代えて、これらのテーブルには、撮影距離および焦点距離によらず、撮像素子上で左右方向の長さに対して予め定められた割合以上の長さに相当する基線長が記述されていてもよい。この場合、決定部２４は、撮影距離および焦点距離によらず、基線長を撮像素子上で左右方向の長さに対して予め定められた割合以上の長さに相当する値とする。
【００５８】
これにより、決定部２４は、右眼用画像と左眼用画像との間の差異を認識させて、少なくとも立体感を感じさせることができる画像を生成させることができる。３５ｍｍフルサイズ相当の撮像素子を備えるコンパクトデジタルカメラに適用する場合、予め定められた割合は、一例として３％である。
【００５９】
以上のように、決定部２４は、予め設定されたテーブルを参照して、撮影距離および焦点距離に基づき適切な基線長を決定する。そして、決定部２４は、手振れによるずれで自動的に画像が撮像されたり、想定以上の距離の基線長で画像が撮像されたりしないように、基線長の範囲を制限している。これにより、本実施形態に係る撮像装置１０によれば、適切な基線長で右眼用画像および左眼用画像を撮像することができる。
【００６０】
なお、テーブル記憶部２２は、当該撮像装置１０の撮影モードに対応付けられた複数種類のテーブルを記憶していてもよい。テーブル記憶部２２は、一例として、風景撮影モード、接写モードおよび望遠モード等の、主な撮影対象を指定するモードに応じたテーブルを記憶していてもよい。そして、決定部２４は、テーブル記憶部２２に記憶された複数のテーブルのうち、撮像モードに対応するテーブルを参照して基線長を決定してもよい。これにより、決定部２４は、主な被写体に応じてより適切な基線長で立体撮影をすることができる。
【００６１】
図７は、奥側に位置する被写体の視差角および手前側に位置する被写体の視差角の一例を示す。決定部２４は、少なくとも２つの被写体を含む立体画像の撮像において、右眼用画像および左眼用画像を表示した場合における２つの被写体の視差角の差を、予め定められた範囲内とするように基線長を決定してもよい。
【００６２】
例えば、撮影距離が異なる２つの被写体を含む立体画像を撮影するとする。ここで、左眼用画像の撮像位置と被写体Ａとを結ぶ直線ａ１と、右眼用画像の撮像位置と被写体Ａとを結ぶ直線ａ２との成す角を輻輳角αとする。また、左眼用画像の撮像位置と被写体Ｂとを結ぶ直線ｂ１と、右眼用画像の撮像位置と被写体Ｂとを結ぶ直線ｂ２との成す角を輻輳角βとする。この場合、被写体Ａと被写体Ｂとの視差角は、β−αとなる。
【００６３】
決定部２４は、奥側の被写体Ａと手前側の被写体Ｂとの視差角（β−α）が予め定められた角度の範囲内（視差角の差が±１°の範囲内）となるように、基線長を設定する。決定部２４は、一例として、それぞれの被写体の撮影距離を撮像部２０から取得することにより、視差角の差を算出する。
【００６４】
決定部２４は、テーブルを参照して決定した基線長が視差角の差が予め定められた範囲外となる場合には、この範囲内となるように基線長を小さくする。撮像装置１０は、このように基線長を調整することにより、立体視に適した視差角の差の画像を撮像することができる。
【００６５】
図８は、本実施形態に係る補正部３６による補正処理の一例を示す。第１画像を撮像した後に左右方向に手動でスライドさせて第２画像を撮像する場合、正確に左右方向にスライドできずに、第２画像が第１画像に対して上下方向にずれてしまうことがある。また、第１画像および第２画像を撮像する場合に、手振れ等により面内において傾いてしまうことがある。
【００６６】
補正部３６は、右眼用画像および左眼用画像を比較して撮像位置が上下方向にずれた場合には、右眼用画像および左眼用画像を上下方向にずらす補正する。また、補正部３６は、右眼用画像および左眼用画像が面内方向に傾いて撮像された場合には、右眼用画像および左眼用画像を面内において回転する方向に補正する。さらに、補正部３６は、このような補正に限らず、その他の画像処理により補正をしてもよい。
【００６７】
ここで、右眼用画像および左眼用画像の間に、補正処理によっては補正できない程度のずれが生じている場合がある。このような場合、補正部３６は、立体視に適した画像を生成できない旨をユーザに警告する。これにより、補正部３６は、ユーザに再度の撮影をさせることができる。
【００６８】
また、このように補正できない程度のずれが生じている場合であっても、補正部３６は、右眼用画像および左眼用画像のうちの一方のみを保存する処理をしてもよい。これにより、補正部３６は、少なくとも２次元画像の記録をすることができる。この場合、補正部３６は、一例として、先に撮像した画像（即ち、第１画像）を保存してもよいし、より高品質であると判定された画像を保存してもよい。
【００６９】
図９は、画像シフト処理により生成される右眼用画像および左眼用画像の一例を示す。また、右眼用画像および左眼用画像の間に補正処理によっては補正できない程度のずれが生じている場合、補正部３６は、右眼用画像および左眼用画像のうちの一方から、他方を生成する処理をしてもよい。
【００７０】
例えば、補正部３６は、図９に示されるように、左眼用画像から、左眼用画像を右方向に予め定められたシフト量分シフトさせて、右眼用画像を生成してもよい。また、補正部３６は、右眼用画像から、右眼用画像を左方向に予め定められたシフト量分シフトさせて、左眼用画像を生成してもよい。この場合において、補正部３６は、例えば、先に撮像した画像（即ち、第１画像）を元に他方を生成してもよいし、より高品質であると判定された画像を元に他方を生成してもよい。
【００７１】
これにより、補正部３６は、右眼用画像または左眼用画像の何れか一方の撮影に失敗した場合であっても、少なくとも立体視が可能な画像ファイルを生成することができる。
【００７２】
図１０は、本実施形態に係る撮像装置１０の表示部３０に表示される方向マーク６０の一例を示す。表示部３０は、第１画像を撮像してから第２画像を撮像するまでの間において、当該撮像装置を移動させるべき方向を示す方向マーク６０を表示してもよい。
【００７３】
これにより、撮像装置１０は、ユーザに対して当該撮像装置１０を右方向にスライドさせればよいのか、左方向にスライドさせればよいのかを理解させることができる。特に、撮像装置１０は、誤って移動させすぎてしまいスルー画像に主要被写体が含まれなくなった場合であっても、ユーザがどの方向に被写体を動かせばよいのかを知らせることができる。
【００７４】
また、表示部３０は、予測画像を第１色の色フィルタにより画像変換して表示し、スルー画像を第１色とは補色関係にある第２色の色フィルタにより画像変換して表示してもよい。これにより、表示部３０は、スルー画像が予測画像に一致したことに応じて、現実の色の被写体をユーザに見せることができる。
【００７５】
図１１は、縦撮り状態の撮像装置１０の外観、および、第１画像および第２画像の撮像位置の一例を示す。撮像装置１０は、方向センサ７０を更に備えてもよい。方向センサ７０は、当該撮像装置１０が横撮り状態であるか、縦撮り状態であるかを検出する。さらに、方向センサ７０は、縦撮り状態である場合には、右辺側が下に位置しているか、左辺側が下に位置しているかを検出する。
【００７６】
そして、撮像部２０は、横撮り状態、右辺側が下の縦撮り状態、または、左辺側が下の縦撮り状態の何れであるかに応じて、撮像した画像データの左右方向を切り換えて出力する。これにより、撮像装置１０は、何れの状態であっても、立体画像を撮像することができる。
【００７７】
更に、決定部２４は、横撮り状態であるか、縦撮り状態であるかによって、基線長を切り換える。より具体的には、決定部２４は、横撮り状態の場合よりも、縦撮り状態の方の基線長を短くする。通常の場合、表示モニタは横長であるので、縦撮り状態で撮像された画像は縮小して表示される。従って、決定部２４は、横撮り状態の基線長よりも、縮小率に応じた割合分、縦撮り状態の基線長を短くする。
【００７８】
また、予測画生成部２８は、右辺側が下の縦撮り状態か、左辺側が下の縦撮り状態に応じて、予測画像を生成するための第１画像のシフト方向を切り替える。これにより、予測画生成部２８は、右辺側が下の縦撮り状態か、または、左辺側が下の縦撮り状態かによらず、第１画像を右眼用画像または左眼用画像の何れか一方に固定して撮像させることができる。
【００７９】
図１２は、本実施形態に係る変形例の撮像装置１０の外観を示す。本変形例に係る撮像装置１０は、右側および左側の２個のレンズ部１２（１２−Ｒ，１２−Ｌ）を有する。本変形例に係る撮像装置１０は、右眼用画像および左眼用画像を同時に撮像できる。
【００８０】
更に、本変形例に係る撮像装置１０は、片方のレンズ部１２（例えばレンズ部１２−Ｌ）が左右方向に移動可能となっている。移動可能な片方のレンズ部１２は、決定部２４により決定される２つのレンズ部１２の間の距離を調整する。
【００８１】
そして、本変形例に係る撮像装置１０は、基線長を調整した後に、右眼用画像および左眼用画像を同時に撮像する。これにより、本変形例に係る撮像装置１０は、撮影距離および焦点距離に応じて適切な基線長で立体画像を撮像することができる。
【００８２】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００８３】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【００８４】
１０ 撮像装置、１２ レンズ部、２０ 撮像部、２２ テーブル記憶部、２４ 決定部、２６ 一時保存部、２８ 予測画生成部、３０ 表示部、３２ 一致検出部、３４ シャッタ指示部、３６ 補正部、３８ シフト部、４０ 出力部、６０ 方向マーク、７０ 方向センサ
【特許請求の範囲】
【請求項１】
立体表示のための右眼用画像および左眼用画像を撮像する撮像装置であって、
主要被写体までの撮影距離および焦点距離に基づき、前記右眼用画像の撮像位置と前記左眼用画像の撮像位置との間の左右方向の距離である基線長を決定する決定部と、
前記決定部により決定された基線長分、撮像位置を左右方向にずらして前記右眼用画像および前記左眼用画像を撮像する撮像部と、
を備え、
前記決定部は、
前記撮影距離が大きいほど前記基線長を大きい値とし、前記焦点距離が大きいほど前記基線長を小さい値とし、
前記撮影距離および前記焦点距離によらず前記基線長を予め定められた最小設定距離以上とする
撮像装置。
【請求項２】
前記決定部は、前記撮影距離が第１基準距離以下の場合において、前記焦点距離によらず前記基線長を前記最小設定距離とする
請求項１に記載の撮像装置。
【請求項３】
前記決定部は、前記撮影距離および前記焦点距離によらず前記基線長を予め定められた最大設定距離以下とする
請求項１または２に記載の撮像装置。
【請求項４】
前記決定部は、前記撮影距離が第２基準距離以上の場合において、前記焦点距離によらず前記基線長を予め定められた最大設定距離とする
請求項１から３の何れか１項に記載の撮像装置。
【請求項５】
前記決定部は、前記撮影距離および前記焦点距離によらず、基線長を撮像素子上または予め定められたサイズの表示画面上で予め定められたピクセル数以上とする
請求項１から４の何れか１項に記載の撮像装置。
【請求項６】
前記決定部は、前記撮影距離および前記焦点距離によらず、基線長を撮像素子上で左右方向の長さに対して予め定められた割合以上の長さに相当する値とする
請求項１から４の何れか１項に記載の撮像装置。
【請求項７】
前記右眼用画像および前記左眼用画像を予め定められたピクセル数分左右方向に離間させるシフト部を更に備える
請求項１から６の何れか１項に記載の撮像装置。
【請求項８】
前記決定部は、前記撮影距離のそれぞれと前記焦点距離のそれぞれとの対応毎に予め定められた基線長の値が記述されたテーブルを参照して前記基線長を決定する
請求項１から７の何れか１項に記載の撮像装置。
【請求項９】
前記決定部は、当該撮像装置の撮像モード毎に対応付けられた複数のテーブルのうち、設定された撮像モードに対応するテーブルを参照して前記基線長を決定する
請求項８に記載の撮像装置。
【請求項１０】
前記撮像部は、
前記右眼用画像および前記左眼用画像のうちの一方である第１画像を撮像し、
前記第１画像の撮像位置から、当該撮像装置が前記基線長に対応する距離分左右方向に移動したことを検出したことに応じて、前記右眼用画像および前記左眼用画像のうちの他方である第２画像を撮像する
請求項１から９の何れか１項に記載の撮像装置。
【請求項１１】
前記撮像部は、前記第１画像を前記基線長に対応するシフト量分左右方向にシフトして生成された第２画像の予測画像と、前記撮像部の撮像範囲のリアルタイムの画像を表すスルー画像とが一致したことに応じて前記第２画像を撮像する
請求項１０に記載の撮像装置。
【請求項１２】
前記第１画像を撮像してから前記第２画像を撮像するまでの間において、前記スルー画像と前記予測画像とを合成して表示する表示部を更に備える
請求項１１に記載の撮像装置。
【請求項１３】
前記表示部は、前記第１画像を撮像してから前記第２画像を撮像するまでの間において、当該撮像装置を移動させるべき方向を示す方向マークを表示する
請求項１２に記載の撮像装置。
【請求項１４】
前記表示部は、前記予測画像を第１色の色フィルタにより画像変換して表示し、前記スルー画像を前記第１色とは補色関係にある第２色の色フィルタにより画像変換して表示する
請求項１２または１３に記載の撮像装置。
【請求項１５】
前記決定部は、少なくとも２つの被写体を含む立体画像の撮像において、前記右眼用画像および前記左眼用画像を表示した場合における２つの被写体の視差角の差を、予め定められた範囲内とするように前記基線長を決定する
請求項１から１４の何れか１項に記載の撮像装置。
【請求項１６】
前記決定部は、主要被写体までの撮影距離および焦点距離に基づき決定された基線長を、前記視差角の差を予め定められた範囲内とするように更に調整する
請求項１５に記載の撮像装置。
【請求項１７】
前記決定部は、表示面より手前側に表示される被写体の視差角と、前記表示面より奥側に表示される被写体の視差角との差を、予め定められた範囲内とするように前記基線長を決定する
請求項１５または１６に記載の撮像装置。
【請求項１８】
被写体を撮像する撮像装置に実行され、請求項１から１７の何れか１項の撮像装置として機能させるためのプログラム。
【請求項１】
立体表示のための右眼用画像および左眼用画像を撮像する撮像装置であって、
主要被写体までの撮影距離および焦点距離に基づき、前記右眼用画像の撮像位置と前記左眼用画像の撮像位置との間の左右方向の距離である基線長を決定する決定部と、
前記決定部により決定された基線長分、撮像位置を左右方向にずらして前記右眼用画像および前記左眼用画像を撮像する撮像部と、
を備え、
前記決定部は、
前記撮影距離が大きいほど前記基線長を大きい値とし、前記焦点距離が大きいほど前記基線長を小さい値とし、
前記撮影距離および前記焦点距離によらず前記基線長を予め定められた最小設定距離以上とする
撮像装置。
【請求項２】
前記決定部は、前記撮影距離が第１基準距離以下の場合において、前記焦点距離によらず前記基線長を前記最小設定距離とする
請求項１に記載の撮像装置。
【請求項３】
前記決定部は、前記撮影距離および前記焦点距離によらず前記基線長を予め定められた最大設定距離以下とする
請求項１または２に記載の撮像装置。
【請求項４】
前記決定部は、前記撮影距離が第２基準距離以上の場合において、前記焦点距離によらず前記基線長を予め定められた最大設定距離とする
請求項１から３の何れか１項に記載の撮像装置。
【請求項５】
前記決定部は、前記撮影距離および前記焦点距離によらず、基線長を撮像素子上または予め定められたサイズの表示画面上で予め定められたピクセル数以上とする
請求項１から４の何れか１項に記載の撮像装置。
【請求項６】
前記決定部は、前記撮影距離および前記焦点距離によらず、基線長を撮像素子上で左右方向の長さに対して予め定められた割合以上の長さに相当する値とする
請求項１から４の何れか１項に記載の撮像装置。
【請求項７】
前記右眼用画像および前記左眼用画像を予め定められたピクセル数分左右方向に離間させるシフト部を更に備える
請求項１から６の何れか１項に記載の撮像装置。
【請求項８】
前記決定部は、前記撮影距離のそれぞれと前記焦点距離のそれぞれとの対応毎に予め定められた基線長の値が記述されたテーブルを参照して前記基線長を決定する
請求項１から７の何れか１項に記載の撮像装置。
【請求項９】
前記決定部は、当該撮像装置の撮像モード毎に対応付けられた複数のテーブルのうち、設定された撮像モードに対応するテーブルを参照して前記基線長を決定する
請求項８に記載の撮像装置。
【請求項１０】
前記撮像部は、
前記右眼用画像および前記左眼用画像のうちの一方である第１画像を撮像し、
前記第１画像の撮像位置から、当該撮像装置が前記基線長に対応する距離分左右方向に移動したことを検出したことに応じて、前記右眼用画像および前記左眼用画像のうちの他方である第２画像を撮像する
請求項１から９の何れか１項に記載の撮像装置。
【請求項１１】
前記撮像部は、前記第１画像を前記基線長に対応するシフト量分左右方向にシフトして生成された第２画像の予測画像と、前記撮像部の撮像範囲のリアルタイムの画像を表すスルー画像とが一致したことに応じて前記第２画像を撮像する
請求項１０に記載の撮像装置。
【請求項１２】
前記第１画像を撮像してから前記第２画像を撮像するまでの間において、前記スルー画像と前記予測画像とを合成して表示する表示部を更に備える
請求項１１に記載の撮像装置。
【請求項１３】
前記表示部は、前記第１画像を撮像してから前記第２画像を撮像するまでの間において、当該撮像装置を移動させるべき方向を示す方向マークを表示する
請求項１２に記載の撮像装置。
【請求項１４】
前記表示部は、前記予測画像を第１色の色フィルタにより画像変換して表示し、前記スルー画像を前記第１色とは補色関係にある第２色の色フィルタにより画像変換して表示する
請求項１２または１３に記載の撮像装置。
【請求項１５】
前記決定部は、少なくとも２つの被写体を含む立体画像の撮像において、前記右眼用画像および前記左眼用画像を表示した場合における２つの被写体の視差角の差を、予め定められた範囲内とするように前記基線長を決定する
請求項１から１４の何れか１項に記載の撮像装置。
【請求項１６】
前記決定部は、主要被写体までの撮影距離および焦点距離に基づき決定された基線長を、前記視差角の差を予め定められた範囲内とするように更に調整する
請求項１５に記載の撮像装置。
【請求項１７】
前記決定部は、表示面より手前側に表示される被写体の視差角と、前記表示面より奥側に表示される被写体の視差角との差を、予め定められた範囲内とするように前記基線長を決定する
請求項１５または１６に記載の撮像装置。
【請求項１８】
被写体を撮像する撮像装置に実行され、請求項１から１７の何れか１項の撮像装置として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１３−３８６４０（Ｐ２０１３−３８６４０Ａ）
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願番号】特願２０１１−１７３８８２（Ｐ２０１１−１７３８８２）
【出願日】平成２３年８月９日（２０１１．８．９）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願日】平成２３年８月９日（２０１１．８．９）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]