撮像装置
【課題】 特別な構成なく、簡単に被写体の立体視が可能な画像を取得することを目的とする。
【解決手段】 第１画像を取得する撮像部と、撮像部により取得される第１画像から主要被写体を特定する特定部と、特定部により特定された主要被写体までの距離情報を取得する距離情報取得部と、第１画像に対して視差を有する第２画像を撮像部により取得するときに、距離情報取得部によって取得された距離情報に基づいて、表示部に補助的に表示する補助画像を表示させる表示制御部と、を備えることを特徴とする。
【解決手段】 第１画像を取得する撮像部と、撮像部により取得される第１画像から主要被写体を特定する特定部と、特定部により特定された主要被写体までの距離情報を取得する距離情報取得部と、第１画像に対して視差を有する第２画像を撮像部により取得するときに、距離情報取得部によって取得された距離情報に基づいて、表示部に補助的に表示する補助画像を表示させる表示制御部と、を備えることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を取得する撮像装置に関する。
【背景技術】
【０００２】
従来から、独立した２つの撮像手段により、右眼用の画像及び左眼用の画像等、水平方向の視差を有する一対の画像を取得し、それらを左右それぞれの眼で観察することができるように表示することにより、立体的な画像を得る方法が提案されている（例えば、特許文献１など）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１３０３１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところが、特許文献１の技術では、２つの撮像手段を有することで、製造コストの増大や、撮像装置本体が大型化するという問題がある。また、右眼用の画像と左眼用の画像との双方の向きまたは角度等が異なる場合、立体的な画像を得ることができないため、向きや角度等を合わせて撮影する必要がある。
【０００５】
そこで、本発明の撮像装置は、特別な構成なく、簡単に被写体の立体視が可能な画像を取得することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の撮像装置は、第１画像を取得する撮像部と、前記撮像部により取得される第１画像から主要被写体を特定する特定部と、前記特定部により特定された前記主要被写体までの距離情報を取得する距離情報取得部と、前記第１画像に対して視差を有する第２画像を前記撮像部により取得するときに、前記距離情報取得部によって取得された前記距離情報に基づいて、表示部に補助的に表示する補助画像を表示させる表示制御部と、を備えることを特徴とする。
【０００７】
また、前記第１画像における被写体を解析する解析部と、前記撮像部により前記第２画像を取得するときに、前記解析部による前記被写体の解析結果及び前記距離情報取得部により特定された前記主要被写体までの距離情報に基づいて、前記第２画像における前記主要被写体の状態を推定する推定部と、を備えるものである。
【０００８】
また、前記推定部は、前記第１画像を取得した位置から水平方向に所定間隔移動した位置、又は前記主要被写体を中心にして、前記第１画像を取得した位置から所定角度移動した位置のいずれか一方の位置において取得される前記第２画像の前記主要被写体の状態を推定するものである。
【０００９】
また、前記表示制御部は、前記第１画像を取得した位置から前記第２画像を取得する位置への移動を示唆する表示と、前記撮像部の光軸が前記第２画像を取得する位置と前記主要被写体との位置とを結ぶ直線と一致するまでの前記撮像部の光軸の回転を示唆する表示とを行うものである。
【００１０】
また、前記推定部により推定された結果に基づく前記主要被写体の状態の表示は、前記第２画像における前記主要被写体の少なくとも一部の領域を含む補助枠の表示であることが好ましい。
【００１１】
また、前記表示部は、前記解析部による前記被写体の解析結果に基づいて、前記第１画像における前記主要被写体の少なくとも一部の領域を含む被写体枠を表示することが可能であることが好ましい。
【００１２】
また、撮像倍率を指定する指定部を備え、前記補助枠は、前記第２画像の取得時に前記指定部により指定された前記撮像倍率に応じて、拡大又は縮小されることが好ましい。
【００１３】
また、前記解析部は、前記第２画像における前記被写体の状態を解析し、前記第１画像における前記被写体の解析結果と前記第２画像における前記被写体の解析結果とに基づいて、前記第１画像と前記第２画像とを用いた前記被写体の立体視が可能であるか否かを判定する判定部をさらに備えるものである。
【００１４】
また、前記判定部により前記被写体の立体視が不可であると判定された場合に、前記第１画像と補正後の前記第２画像とを用いた前記被写体の立体視が可能となるように、前記第２画像を補正する補正部とを備えるものである。
【００１５】
また、前記第１画像と前記第２画像と前記補助枠とを１つのファイルに記録する記録部を備えるものである。
【発明の効果】
【００１６】
本発明の撮像装置によれば、特別な構成なく、簡単に被写体の立体視が可能な画像を取得することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施形態における撮像装置１０の構成を示すブロック図である。
【図２】左眼用画像と被写体フレームＦとを重畳表示した一例を示す図である。
【図３】撮影を行うユーザの両眼と、被写体Ｓとの位置関係を示す図である。
【図４】左眼用画像とアシストフレームＡとを重畳表示した一例を示す図である。
【図５】撮影時の動作を示すフローチャートである。
【図６】スルー画像の被写体ＳがアシストフレームＡに収まる状態を示す図である。
【図７】（Ａ）撮像装置１０を水平方向へ移動させることを示す図である。（Ｂ）撮像装置１０をパン方向へ回転させることを示す図である。
【発明を実施するための形態】
【００１８】
以下、図面を用いて本発明の実施形態について説明する。図１は、本実施形態における撮像装置１０の構成を示すブロック図である。撮像装置１０は、撮影モードの一つとして、３次元撮影モードを有している。３次元撮影モードは、左眼用画像、右眼用画像など立体画像の元になる一対の画像を取得する撮影モードである。この３次元撮影モードにおいては、ユーザは、例えば左眼用画像を取得した後、撮像装置１０を移動させて、右眼用画像を取得する。この右眼用画像は、先に取得した左眼用画像に対して被写体や背景の向き等、所謂構図が異なる。そこで、この３次元撮影モードにおいては、右眼用画像を取得する前に、これから取得する右眼用画像に含まれる被写体の好ましい状態（被写体の向きや大きさ等）をユーザに認識させるためのアシスト表示を行う。なお、このアシスト表示についての詳細については、後述する。
【００１９】
図１に示すように、撮像装置１０は、撮像レンズ１１、撮像素子１２、Ａ／Ｄ変換部１３、バッファメモリ１４、画像処理部１５、表示部１６、測距センサ１７、加速度センサ１８、メモリ１９、操作部２０、記録Ｉ／Ｆ部２１、記録媒体２２、制御部２３、バス２４を備える。
【００２０】
撮像レンズ１１は、撮像素子１２の結像面に被写体像を結像する。撮像素子１２は、撮像レンズ１１を通過した被写体光を光電変換し、Ｒ、Ｇ、Ｂの各色に対応するアナログ画像信号を出力する。撮影モードにおいて、撮像素子１２は、所定間隔毎に間引き読み出しを行い、スルー画像を取得する。その後、撮像素子１２は、後述するレリーズ釦２５が全押しされると、本画像を取得する。撮像素子１２から出力される画像信号は、Ａ／Ｄ変換部１３に入力される。Ａ／Ｄ変換部１３は、撮像素子１２から出力されるアナログの画像信号をデジタルの画像信号に変換する。なお、このデジタルの画像信号は、１コマにまとめられ、画像データとしてバッファメモリ１４に記録される。バッファメモリ１４は、後述する画像処理部１５による画像処理の前工程や後工程で画像データを一時的に記録する。
【００２１】
画像処理部１５は、バッファメモリ１４に記録された画像データに対して画像処理を施す。なお、この画像処理としては、周知の解像度変換処理、ＷＢ（ホワイトバランス）調整、明るさ調整、色補間、階調変換処理、輪郭強調処理等が挙げられる。また、画像処理部１５は、ＪＰＥＧ（Joint Photographic Experts Group）形式等で圧縮する処理や、圧縮された上記のデータを伸長復元する処理をも実行する。
【００２２】
表示部１６は、各種の画像を表示する。表示部１６に表示される各種の画像は、スルー画像、本画像、メニュー画像、後述する記録媒体２２に記録された画像等である。測距センサ１７は、レリーズ釦２５の半押し操作時に作動し、被写体Ｓまでの距離を検出する。加速度センサ１８は、例えば、ジャイロセンサにより構成され、撮像装置１０の移動距離や、回転角度を検出する。
【００２３】
操作部２０は、レリーズ釦２５、十字キー２６等を有する。操作部２０は、レリーズ釦２５、十字キー２６等を有する。レリーズ釦２５は、その半押し操作時にＡＥ演算やＡＦ演算、ＷＢ調整が実行される。また、レリーズ釦２５は、その全押し操作時に撮像に係る処理が行われる。十字キー２６は、メニュー画像の表示時等に操作される。なお、レリーズ釦２５、十字キー２６の状態は制御部２３により検知され、検知された釦やキーの状態に基づいたシーケンスが実行される。記録Ｉ／Ｆ部２１は、記録媒体２２が接続されることにより、記録媒体２２に対してデータの書き込み／読み出しを実行する。
【００２４】
制御部２３は、所定のシーケンスプログラムにしたがって、撮像装置１０の統括的な制御を行うとともに、撮影時に必要となる各種演算（ＡＦ、ＡＥ等）を実行する。この制御部２３は、解析部２７、推定部２８等の機能を有している。以下、これら解析部２７、推定部２８の機能が３次元撮影モードにて有効となる場合について説明する。
【００２５】
解析部２７は、左眼用画像が取得されたときに、この左眼用画像に含まれる被写体Ｓを解析する。なお、被写体Ｓを解析する方法としては、周知のパターンマッチングや特徴量抽出が用いられる。
【００２６】
推定部２８は、解析部２７により解析された解析結果に基づいて、右眼用画像取得時の被写体Ｓの状態を推定する。被写体Ｓの推定としては、被写体フレームＦ及びアシストフレームＡの生成が挙げられる。まず、被写体フレームＦについて説明する。推定部２８は、左眼用画像の取得時のＡＦ演算時に使用されるフォーカスポイント位置、解析部２７により解析された被写体Ｓ及び被写体Ｓからの距離（以下、被写体距離Ｍ）を利用して、左眼用画像に含まれる被写体Ｓの状態（向き、大きさ）を示す３次元の被写体フレームＦを生成する。なお、この被写体フレームＦは、直方体や立方体などの枠からなる。なお、周知のように、画像は３次元で示される被写体の像を撮影光軸に直交する撮像面に投影したものであることから、表示部１６に表示される被写体フレームＦは、３次元の枠が撮像面に投影された状態で表示される（図２参照）。
【００２７】
図３は、撮影を行うユーザの両眼と、被写体Ｓとの位置関係を示す。人間が被写体を観察したときに被写体に対して立体感を感じる条件としては、例えば視差、言い換えれば、被写体Ｓと左眼Ｌとを結ぶ直線と、被写体Ｓと右眼Ｒとを結ぶ直線とがなす角度θが４度となることである。また、上述した角度が４度未満となる場合は、被写体までの距離（被写体距離Ｍ）が遠くなることから視差が無くなり、被写体に対して立体感を感じにくくなる。
【００２８】
そこで、推定部２８は、左眼用画像と右眼用画像とを用いた立体画像の表示の際に、被写体Ｓが立体視されるように、右眼用画像の構図を決定するためのアシストフレームＡを生成する。なお、このアシストフレームＡは、被写体フレームＦを、垂直方向を軸にして所定の角度θ回転させることで生成することができる。この角度θは、以下の手順で決定される。
【００２９】
まず、推定部２８は、被写体距離Ｍが閾値以下か否かを判定する。この閾値は、例えば、人間が被写体Ｓを観察したときに、該被写体Ｓに対して立体感を感じるときの被写体距離Ｍが挙げられる。例えば、被写体距離Ｍが閾値以下である場合は、推定部２８は、人間の左眼Ｌと右眼Ｒとの間隔Ｄと被写体距離Ｍとを用いて角度θを算出する。一般的に、人間の左眼Ｌと右眼Ｒとの間隔Ｄは、６〜７ｃｍである。一方、被写体距離Ｍが閾値を超える場合は、被写体Ｓを観察したときに、該被写体Ｓに対して立体感を感じなくなることから、この場合には、一般的に立体感を感じるときの角度である４度を、上記角度θとする。
【００３０】
この角度θを決定した後、推定部２８は、生成された被写体フレームＦを４度回転させたアシストフレームＡを生成する。なお、この被写体フレームＦを回転させる場合には、例えば、被写体フレームＦの上面の中心を通り、垂直方向に延びる直線を軸に回転させればよい。なお、図４は、左眼用画像とアシストフレームＡとを重畳表示した一例を示している。
【００３１】
バス２４は、バッファメモリ１４、画像処理部１５、表示部１６、測距センサ１７、加速度センサ１８、記録Ｉ／Ｆ部２１、制御部２３を相互に接続することにより、データや信号の出入力を実行する。
【００３２】
次に、撮影時の動作について、図５のフローチャートに基づいて説明する。なお、図５のフローチャートは、３次元撮影モードが設定されていることを前提に説明する。また、以下、撮像装置１０は横向きに構えられた状態で、１つの被写体Ｓを撮影するシーンを例に挙げて説明する。
【００３３】
ステップＳ１０１は、レリーズ釦２５が半押しされたか否かを判定する処理である。制御部２３は、レリーズ釦２５が半押しされたと判定した場合（ステップＳ１０１の判定がＹＥＳとなる場合）には、ステップＳ１０２に進む。一方、制御部２３は、レリーズ釦２５が半押しされていないと判定した場合（ステップＳ１０１の判定がＮＯとなる場合）には、レリーズ釦２５が半押しされるまで待機する。
【００３４】
ステップＳ１０２は、ＡＥ、ＡＦ演算、ＷＢ調整、被写体距離Ｍを検出する処理である。制御部２３は、ＡＥ、ＡＦ演算、ＷＢ調整を行う。また、測距センサ１７は、撮像装置１０から被写体Ｓまでの被写体距離Ｍを検出する。
【００３５】
ステップＳ１０３は、レリーズ釦２５が全押しされたか否かを判定する処理である。制御部２３は、レリーズ釦２５が全押しされたと判定した場合（ステップＳ１０３の判定がＹＥＳとなる場合）には、ステップＳ１０４に進む。一方、制御部２３は、レリーズ釦２５が全押しされていないと判定した場合（ステップＳ１０３の判定がＮＯとなる場合）には、レリーズ釦２５が全押しされるまで待機する。
【００３６】
ステップＳ１０４は、左眼用画像を取得する処理である。撮像素子１２は、左眼用画像を取得する。その後、撮像素子１２は、スルー画像を取得する。
【００３７】
ステップＳ１０５は、被写体Ｓを解析する処理である。解析部２７は、左眼用画像の被写体Ｓを解析する。
【００３８】
ステップＳ１０６は、被写体フレームＦを生成する処理である。推定部２８は、ステップＳ１０２でＡＦ演算時に使用されたフォーカスポイント位置、解析部２７により解析された被写体Ｓ及び被写体距離Ｍを利用して、左眼用画像に含まれる被写体Ｓの状態を示す被写体フレームＦを生成する。
【００３９】
ステップＳ１０７は、アシストフレームＡを生成する処理である。まず、推定部２８は、ステップＳ１０２で検出した被写体距離Ｍが閾値以下か否かを判定し、この判定結果に基づいて、被写体フレームＦを回転させるときの角度θを決定する。例えば、被写体距離Ｍが閾値以下であると判定した場合には、推定部２８は、被写体距離Ｍ及び左眼と右眼との間隔Ｄを用いて、角度θを算出する。一方、被写体距離Ｍが閾値を超えると判定した場合には、推定部２８は上述した角度θを４度に決定する。最後に、推定部２８は、先に生成されている被写体フレームＦを、所定方向に算出した角度θ回転させる。推定部２８は、被写体フレームＦを角度θ回転させることで、アシストフレームＡを生成する。
【００４０】
ステップＳ１０８は、アシストフレームＡとスルー画像とを重畳表示する処理である。表示部１６は、アシストフレームＡとスルー画像とを重畳表示する。これにより、アシスト表示が行われる。例えば、ユーザは、撮像装置１０を右方向に水平移動させる。次に、ユーザは、撮像装置１０を水平方向へ移動させた直後の撮像レンズ１１の光軸が、被写体Ｓの位置と右眼用画像を取得する位置とを結ぶ直線に一致するように、撮像装置１０を回転（以下、パン方向へ回転）させる。これにより、図６に示すように、スルー画像の被写体Ｓは、アシストフレームＡに収まる状態になる。
【００４１】
ステップＳ１０９からＳ１１１は、ステップＳ１０１からＳ１０３と同様の処理である。なお、ステップＳ１１０において、制御部２３は、右眼用画像の明るさや色合いが左眼用画像と同様になるようにＡＥ演算、ＷＢ調整を行う。
【００４２】
ステップＳ１１２は、右眼用画像を取得する処理である。撮像素子１２は、右眼用画像を取得する。
【００４３】
ステップＳ１１３は、左眼用画像と右眼用画像とを用いて、被写体Ｓの立体視が不可であるか否かを判定する処理である。まず、解析部２７は、右眼用画像から被写体Ｓを解析し、被写体Ｓの大きさ、位置、向き等を検出する。次に、制御部２３は、左眼用画像と右眼用画像との被写体Ｓの大きさ、位置、向き等を比較し、左眼用画像と右眼用画像とを用いて、被写体Ｓの立体視が不可であるか否かを判定する。制御部２３は、被写体Ｓの立体視が不可であると判定した場合（ステップＳ１１３の判定がＹＥＳとなる場合）には、ステップＳ１１４に進む。一方、制御部２３は、被写体Ｓの立体視が可能であると判定した場合（ステップＳ１１３の判定がＮＯとなる場合）には、ステップＳ１１５に進む。
【００４４】
ステップＳ１１４は、補正する処理である。画像処理部１５は、左眼用画像と補正後の右眼用画像とを用いて、被写体Ｓの立体視が可能となるように、右眼用画像を補正する。例えば、画像処理部１５は、被写体距離Ｍや、左眼用画像と右眼用画像との被写体Ｓの目や顔の大きさ、被写体Ｓの高さなどを比較することにより、左眼用画像と右眼用画像との被写体Ｓの大きさが一致するか否かを判定する。画像処理部１５は、左眼用画像と右眼用画像との被写体Ｓの大きさが異なる場合は、左眼用画像の被写体Ｓの大きさに合うように、右眼用画像の被写体Ｓが含まれる領域を拡大するか、又は右眼用画像を縮小する。
【００４５】
また、画像処理部１５は、左眼用画像と右眼用画像との被写体Ｓの位置が合わない場合は、左眼用画像の被写体Ｓの位置に合うように、右眼用画像の水平位置と垂直位置とを補正するか、又は傾きを補正する。また、画像処理部１５は、左眼用画像と右眼用画像との被写体Ｓの向きが合わない場合は、被写体Ｓの目、鼻、口の位置や相対距離などから被写体Ｓの向きを検出し、検出した被写体Ｓの向きが所定の方向になるように補正する。さらに、画像処理部１５は、左眼用画像と右眼用画像との明るさや色合いが合わない場合は、左眼用画像の明るさや色合いに合うように、右眼用画像に輝度補正、色相補正等を行う。
【００４６】
ステップＳ１１５は、記録する処理である。制御部２３は、ステップＳ１１４の画像補正を行った場合には、ステップＳ１０４で取得した左眼用画像、ステップＳ１０６で生成したアシストフレームＡ、ステップＳ１１４で補正を行った右眼用画像を同一のファイルに記録する。一方、制御部２３は、ステップＳ１１４の画像補正を行っていない場合には、ステップＳ１０４で取得した左眼用画像、ステップＳ１０６で生成したアシストフレームＡ、ステップＳ１１２で取得した右眼用画像を同一のファイルに記録する。なお、制御部２３は、このファイルを、マルチピクチャフォーマット規格に準拠したファイル形式で記録してもよい。
【００４７】
以上説明したように、本実施形態の撮像装置１０は、先に取得した左眼用画像に基づいてアシストフレームＡを生成し、生成したアシストフレームＡをスルー画像に重畳表示する。そのため、右眼用画像を取得するときに、ユーザにとって直感的でわかりやすいアシスト表示を行うことができる。したがって、本実施形態の撮像装置１０によれば、特別な構成なく、簡単に被写体Ｓの立体視が可能な画像を取得することができる。
【００４８】
また、撮像装置１０は、左眼用画像、右眼用画像、アシストフレームＡを同一のファイルに記録するため、ユーザにとって扱いやすいファイルとなる。
【００４９】
なお、上記の実施形態では、被写体フレームＦ、アシストフレームＡは、直方体や立方体などの枠からなる例を説明したが、これに限らない。例えば、アシストフレームＡは、右眼用画像の被写体Ｓを補助的に表示したものでもよい。
【００５０】
また、左眼用画像及び右眼用画像を用いて、被写体Ｓを立体視する方法は限定されない。例えば、ユーザは、左眼用画像と右眼用画像とを用いて、平行法又は交差法により、被写体Ｓを立体視してもよい。また、表示部１６に液晶シャッタを備え、この液晶シャッタに対応して、左眼用画像と右眼用画像とを交互に表示してもよい。さらに、左眼用画像と右眼用画像とが縦方向の縞状に交互に配置された立体テレビ用の画像を画像処理部１５が生成してもよい。
【００５１】
また、上記の実施形態では、被写体Ｓの全体を含むアシストフレームＡを生成する例を示したが、これに限らない。例えば、顔など被写体Ｓの一部のみを含むアシストフレームＡを生成してもよい。
【００５２】
また、上記の実施形態では、１つの被写体Ｓを撮影するシーンを例に挙げて説明したが、複数の被写体Ｓを撮影するシーンにも対応できる。この場合、ステップＳ１０５の後で、制御部２３は、ステップＳ１０４で取得した左眼用画像を表示部１６に表示し、ユーザから十字キー２６を介して、基準となる被写体Ｓの選択を受け付ければよい。
【００５３】
また、上記の実施形態では、アシストフレームＡのみをスルー画像と重畳表示する例を示したが、これに限らない。例えば、解析部２７は、加速度センサ１８により検出された撮像装置１０の移動距離や、回転角度に基づいて、スルー画像が取得される毎に、被写体Ｓを解析する。同様に、推定部２８は、解析部２７により解析された被写体Ｓに基づいて、スルー画像が取得される毎に、被写体フレームＦを随時生成する。そして、表示部１６は、被写体フレームＦとアシストフレームＡとスルー画像とを重畳表示する。これにより、ユーザは、被写体フレームＦを随時認識することができる。
【００５４】
また、制御部２３は、スルー画像に表示した被写体フレームＦとアシストフレームＡとが一致したときに、被写体フレームＦの色を変える等により、ユーザに一致したことを通知してもよい。また、制御部２３は、スルー画像に表示した被写体フレームＦとアシストフレームＡとが一致したときに、自動的に右眼用画像を取得するよう撮像素子１２を制御してもよい。
【００５５】
また、アシストフレームＡの補助として、図７（Ａ）に示すように、撮像装置１０を水平方向へ移動させることを示す矢印３０、「右方向へ水平移動」のメッセージ３１を表示してもよい。また、図７（Ｂ）に示すように、撮像装置１０を左方向へ回転させることを示す矢印３２、撮像装置１０を上から見た図３３、「パン方向へ回転」のメッセージ３４を表示してもよい。また、推定部２８は、右眼用画像を取得するときの、撮像装置１０の水平方向への移動距離及びパン方向への回転角度を算出し、これらを表示部１６に表示してもよい。さらに、撮像装置１０に音声を発生する発生部を備え、メッセージ３１やメッセージ３４を音声で発してもよい。これらの表示や音声により、ユーザにとって、さらにわかりやすいアシスト表示を行うことができる。
【００５６】
なお、アシストフレームＡを表示せずに、矢印３０又は矢印３２のみ、或いは、メッセージ３１又はメッセージ３４のみを表示してもよいし、矢印とメッセージとの両方を表示してもよい。
【００５７】
また、先に取得した左眼用画像の全て、又はその一部を補助画像とすることも可能である。ここで、左眼用画像の少なくとも一部を補助画像とする場合、左眼用画像を少しずらして補助画像とする。
【００５８】
また、ＧＰＳ情報を利用してもよい。例えば、撮像装置１０にＧＰＳ受信機を設け、このＧＰＳ受信機により、ＧＰＳ衛星からのＧＰＳ情報を取得する。制御部２３は、ＧＰＳ情報及びアシストフレームＡに基づいて、左眼用画像と右眼用画像とを用いて被写体Ｓの立体視が可能となる、右眼画像の取得位置を算出する。その後、制御部２３は、撮像装置１０がその位置に移動したときに、アラームなどによって、ユーザに右眼用画像を取得する位置に到達したことを通知する。これにより、撮像装置１０と被写体Ｓとの被写体距離Ｍが大きい場合であっても、適切な位置で右眼用画像を取得することができる。
【００５９】
また、上記の実施形態では、左眼用画像と右眼用画像とを用いて、被写体Ｓの立体視が不可であるか否かを判定する例を示したが、これに限らない。例えば、左眼用画像と、右眼用画像を取得する前のスルー画像とを用いて、被写体Ｓの立体視が不可であるか否かを判定してもよい。この場合、制御部２３は、左眼用画像とスルー像との被写体Ｓの大きさが異なる場合は、左眼用画像の被写体Ｓの大きさに合うように、光学ズーム又は電子ズームにより、スルー画像を拡大表示又は縮小表示する。また、制御部２３は、左眼用画像とスルー画像との被写体Ｓの位置又は向きが合わない場合は、位置又は向きがあっていない旨のメッセージを表示する。これにより、左眼用画像と右眼用画像とを用いて、被写体Ｓを立体視できる可能性が高くなる。なお、画像処理部１５は、電子ズームによりスルー画像を拡大又は縮小した場合、右眼用画像も同様に拡大又は縮小する。
【００６０】
また、上記の実施形態では、ステップＳ１１３で被写体Ｓの立体視が不可であると判定した場合に、右眼用画像を補正する例を示したが、これに限らない。例えば、制御部２３は、被写体Ｓの立体視が不可であると判定した場合に、警告を表示し、右眼用画像を再度取得するように促してもよい。さらに、制御部２３は、左眼用画像と右眼用画像との被写体Ｓの大きさ、位置、向き等のずれが大きく、補正不可と判定した場合に、警告を表示し、右眼用画像を再度取得するように促してもよい。
【００６１】
また、上記の実施形態では、先に左眼用画像を取得してから、右眼用画像を取得する例を示したが、先に右眼用画像を取得してから、左眼用画像を取得してもよい。
【００６２】
また、左眼用画像を取得した位置と右眼用画像を取得する位置との間隔が広くなるほど、立体感をより強調することができる。そのため、弱、中、強など立体感の程度をユーザが設定できるようにし、ユーザが設定した程度に応じて、左眼用画像を取得した位置と右眼用画像を取得する位置との間隔を変更してもよい。
【００６３】
また、上記の実施形態では、左眼用画像と右眼用画像とを取得する際の撮像倍率が同じである例を示したが、これに限らない。例えば、左眼用画像取得後に、撮像倍率が変更された場合、推定部２８は、変更された撮像倍率に応じて、アシストフレームＡを拡大又は縮小する。
【００６４】
また、上記の実施形態では、撮像装置１０の向きが横向きに構えられた状態を例に挙げて説明したが、縦向きに構えられた状態にも対応できる。さらに、推定部２８は、左眼用画像の取得後、加速度センサ１８により撮像装置１０の向きが横向きから縦向きに変更されたことが検出された場合は、縦向き用のアシストフレームＡを生成する。
【００６５】
また、上記の実施形態では、撮像装置１０を例に挙げて説明したが、これに限らない。例えば、撮像機能を備える携帯電話機等の携帯型端末機器にも本発明を同様に適用することができる。
【符号の説明】
【００６６】
１０…撮像装置、１２…撮像素子、１５…画像処理部、１６…表示部、１７…測距センサ、１８…加速度センサ、２３…制御部、２７…解析部、２８…推定部
【技術分野】
【０００１】
本発明は、画像を取得する撮像装置に関する。
【背景技術】
【０００２】
従来から、独立した２つの撮像手段により、右眼用の画像及び左眼用の画像等、水平方向の視差を有する一対の画像を取得し、それらを左右それぞれの眼で観察することができるように表示することにより、立体的な画像を得る方法が提案されている（例えば、特許文献１など）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１３０３１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところが、特許文献１の技術では、２つの撮像手段を有することで、製造コストの増大や、撮像装置本体が大型化するという問題がある。また、右眼用の画像と左眼用の画像との双方の向きまたは角度等が異なる場合、立体的な画像を得ることができないため、向きや角度等を合わせて撮影する必要がある。
【０００５】
そこで、本発明の撮像装置は、特別な構成なく、簡単に被写体の立体視が可能な画像を取得することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の撮像装置は、第１画像を取得する撮像部と、前記撮像部により取得される第１画像から主要被写体を特定する特定部と、前記特定部により特定された前記主要被写体までの距離情報を取得する距離情報取得部と、前記第１画像に対して視差を有する第２画像を前記撮像部により取得するときに、前記距離情報取得部によって取得された前記距離情報に基づいて、表示部に補助的に表示する補助画像を表示させる表示制御部と、を備えることを特徴とする。
【０００７】
また、前記第１画像における被写体を解析する解析部と、前記撮像部により前記第２画像を取得するときに、前記解析部による前記被写体の解析結果及び前記距離情報取得部により特定された前記主要被写体までの距離情報に基づいて、前記第２画像における前記主要被写体の状態を推定する推定部と、を備えるものである。
【０００８】
また、前記推定部は、前記第１画像を取得した位置から水平方向に所定間隔移動した位置、又は前記主要被写体を中心にして、前記第１画像を取得した位置から所定角度移動した位置のいずれか一方の位置において取得される前記第２画像の前記主要被写体の状態を推定するものである。
【０００９】
また、前記表示制御部は、前記第１画像を取得した位置から前記第２画像を取得する位置への移動を示唆する表示と、前記撮像部の光軸が前記第２画像を取得する位置と前記主要被写体との位置とを結ぶ直線と一致するまでの前記撮像部の光軸の回転を示唆する表示とを行うものである。
【００１０】
また、前記推定部により推定された結果に基づく前記主要被写体の状態の表示は、前記第２画像における前記主要被写体の少なくとも一部の領域を含む補助枠の表示であることが好ましい。
【００１１】
また、前記表示部は、前記解析部による前記被写体の解析結果に基づいて、前記第１画像における前記主要被写体の少なくとも一部の領域を含む被写体枠を表示することが可能であることが好ましい。
【００１２】
また、撮像倍率を指定する指定部を備え、前記補助枠は、前記第２画像の取得時に前記指定部により指定された前記撮像倍率に応じて、拡大又は縮小されることが好ましい。
【００１３】
また、前記解析部は、前記第２画像における前記被写体の状態を解析し、前記第１画像における前記被写体の解析結果と前記第２画像における前記被写体の解析結果とに基づいて、前記第１画像と前記第２画像とを用いた前記被写体の立体視が可能であるか否かを判定する判定部をさらに備えるものである。
【００１４】
また、前記判定部により前記被写体の立体視が不可であると判定された場合に、前記第１画像と補正後の前記第２画像とを用いた前記被写体の立体視が可能となるように、前記第２画像を補正する補正部とを備えるものである。
【００１５】
また、前記第１画像と前記第２画像と前記補助枠とを１つのファイルに記録する記録部を備えるものである。
【発明の効果】
【００１６】
本発明の撮像装置によれば、特別な構成なく、簡単に被写体の立体視が可能な画像を取得することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施形態における撮像装置１０の構成を示すブロック図である。
【図２】左眼用画像と被写体フレームＦとを重畳表示した一例を示す図である。
【図３】撮影を行うユーザの両眼と、被写体Ｓとの位置関係を示す図である。
【図４】左眼用画像とアシストフレームＡとを重畳表示した一例を示す図である。
【図５】撮影時の動作を示すフローチャートである。
【図６】スルー画像の被写体ＳがアシストフレームＡに収まる状態を示す図である。
【図７】（Ａ）撮像装置１０を水平方向へ移動させることを示す図である。（Ｂ）撮像装置１０をパン方向へ回転させることを示す図である。
【発明を実施するための形態】
【００１８】
以下、図面を用いて本発明の実施形態について説明する。図１は、本実施形態における撮像装置１０の構成を示すブロック図である。撮像装置１０は、撮影モードの一つとして、３次元撮影モードを有している。３次元撮影モードは、左眼用画像、右眼用画像など立体画像の元になる一対の画像を取得する撮影モードである。この３次元撮影モードにおいては、ユーザは、例えば左眼用画像を取得した後、撮像装置１０を移動させて、右眼用画像を取得する。この右眼用画像は、先に取得した左眼用画像に対して被写体や背景の向き等、所謂構図が異なる。そこで、この３次元撮影モードにおいては、右眼用画像を取得する前に、これから取得する右眼用画像に含まれる被写体の好ましい状態（被写体の向きや大きさ等）をユーザに認識させるためのアシスト表示を行う。なお、このアシスト表示についての詳細については、後述する。
【００１９】
図１に示すように、撮像装置１０は、撮像レンズ１１、撮像素子１２、Ａ／Ｄ変換部１３、バッファメモリ１４、画像処理部１５、表示部１６、測距センサ１７、加速度センサ１８、メモリ１９、操作部２０、記録Ｉ／Ｆ部２１、記録媒体２２、制御部２３、バス２４を備える。
【００２０】
撮像レンズ１１は、撮像素子１２の結像面に被写体像を結像する。撮像素子１２は、撮像レンズ１１を通過した被写体光を光電変換し、Ｒ、Ｇ、Ｂの各色に対応するアナログ画像信号を出力する。撮影モードにおいて、撮像素子１２は、所定間隔毎に間引き読み出しを行い、スルー画像を取得する。その後、撮像素子１２は、後述するレリーズ釦２５が全押しされると、本画像を取得する。撮像素子１２から出力される画像信号は、Ａ／Ｄ変換部１３に入力される。Ａ／Ｄ変換部１３は、撮像素子１２から出力されるアナログの画像信号をデジタルの画像信号に変換する。なお、このデジタルの画像信号は、１コマにまとめられ、画像データとしてバッファメモリ１４に記録される。バッファメモリ１４は、後述する画像処理部１５による画像処理の前工程や後工程で画像データを一時的に記録する。
【００２１】
画像処理部１５は、バッファメモリ１４に記録された画像データに対して画像処理を施す。なお、この画像処理としては、周知の解像度変換処理、ＷＢ（ホワイトバランス）調整、明るさ調整、色補間、階調変換処理、輪郭強調処理等が挙げられる。また、画像処理部１５は、ＪＰＥＧ（Joint Photographic Experts Group）形式等で圧縮する処理や、圧縮された上記のデータを伸長復元する処理をも実行する。
【００２２】
表示部１６は、各種の画像を表示する。表示部１６に表示される各種の画像は、スルー画像、本画像、メニュー画像、後述する記録媒体２２に記録された画像等である。測距センサ１７は、レリーズ釦２５の半押し操作時に作動し、被写体Ｓまでの距離を検出する。加速度センサ１８は、例えば、ジャイロセンサにより構成され、撮像装置１０の移動距離や、回転角度を検出する。
【００２３】
操作部２０は、レリーズ釦２５、十字キー２６等を有する。操作部２０は、レリーズ釦２５、十字キー２６等を有する。レリーズ釦２５は、その半押し操作時にＡＥ演算やＡＦ演算、ＷＢ調整が実行される。また、レリーズ釦２５は、その全押し操作時に撮像に係る処理が行われる。十字キー２６は、メニュー画像の表示時等に操作される。なお、レリーズ釦２５、十字キー２６の状態は制御部２３により検知され、検知された釦やキーの状態に基づいたシーケンスが実行される。記録Ｉ／Ｆ部２１は、記録媒体２２が接続されることにより、記録媒体２２に対してデータの書き込み／読み出しを実行する。
【００２４】
制御部２３は、所定のシーケンスプログラムにしたがって、撮像装置１０の統括的な制御を行うとともに、撮影時に必要となる各種演算（ＡＦ、ＡＥ等）を実行する。この制御部２３は、解析部２７、推定部２８等の機能を有している。以下、これら解析部２７、推定部２８の機能が３次元撮影モードにて有効となる場合について説明する。
【００２５】
解析部２７は、左眼用画像が取得されたときに、この左眼用画像に含まれる被写体Ｓを解析する。なお、被写体Ｓを解析する方法としては、周知のパターンマッチングや特徴量抽出が用いられる。
【００２６】
推定部２８は、解析部２７により解析された解析結果に基づいて、右眼用画像取得時の被写体Ｓの状態を推定する。被写体Ｓの推定としては、被写体フレームＦ及びアシストフレームＡの生成が挙げられる。まず、被写体フレームＦについて説明する。推定部２８は、左眼用画像の取得時のＡＦ演算時に使用されるフォーカスポイント位置、解析部２７により解析された被写体Ｓ及び被写体Ｓからの距離（以下、被写体距離Ｍ）を利用して、左眼用画像に含まれる被写体Ｓの状態（向き、大きさ）を示す３次元の被写体フレームＦを生成する。なお、この被写体フレームＦは、直方体や立方体などの枠からなる。なお、周知のように、画像は３次元で示される被写体の像を撮影光軸に直交する撮像面に投影したものであることから、表示部１６に表示される被写体フレームＦは、３次元の枠が撮像面に投影された状態で表示される（図２参照）。
【００２７】
図３は、撮影を行うユーザの両眼と、被写体Ｓとの位置関係を示す。人間が被写体を観察したときに被写体に対して立体感を感じる条件としては、例えば視差、言い換えれば、被写体Ｓと左眼Ｌとを結ぶ直線と、被写体Ｓと右眼Ｒとを結ぶ直線とがなす角度θが４度となることである。また、上述した角度が４度未満となる場合は、被写体までの距離（被写体距離Ｍ）が遠くなることから視差が無くなり、被写体に対して立体感を感じにくくなる。
【００２８】
そこで、推定部２８は、左眼用画像と右眼用画像とを用いた立体画像の表示の際に、被写体Ｓが立体視されるように、右眼用画像の構図を決定するためのアシストフレームＡを生成する。なお、このアシストフレームＡは、被写体フレームＦを、垂直方向を軸にして所定の角度θ回転させることで生成することができる。この角度θは、以下の手順で決定される。
【００２９】
まず、推定部２８は、被写体距離Ｍが閾値以下か否かを判定する。この閾値は、例えば、人間が被写体Ｓを観察したときに、該被写体Ｓに対して立体感を感じるときの被写体距離Ｍが挙げられる。例えば、被写体距離Ｍが閾値以下である場合は、推定部２８は、人間の左眼Ｌと右眼Ｒとの間隔Ｄと被写体距離Ｍとを用いて角度θを算出する。一般的に、人間の左眼Ｌと右眼Ｒとの間隔Ｄは、６〜７ｃｍである。一方、被写体距離Ｍが閾値を超える場合は、被写体Ｓを観察したときに、該被写体Ｓに対して立体感を感じなくなることから、この場合には、一般的に立体感を感じるときの角度である４度を、上記角度θとする。
【００３０】
この角度θを決定した後、推定部２８は、生成された被写体フレームＦを４度回転させたアシストフレームＡを生成する。なお、この被写体フレームＦを回転させる場合には、例えば、被写体フレームＦの上面の中心を通り、垂直方向に延びる直線を軸に回転させればよい。なお、図４は、左眼用画像とアシストフレームＡとを重畳表示した一例を示している。
【００３１】
バス２４は、バッファメモリ１４、画像処理部１５、表示部１６、測距センサ１７、加速度センサ１８、記録Ｉ／Ｆ部２１、制御部２３を相互に接続することにより、データや信号の出入力を実行する。
【００３２】
次に、撮影時の動作について、図５のフローチャートに基づいて説明する。なお、図５のフローチャートは、３次元撮影モードが設定されていることを前提に説明する。また、以下、撮像装置１０は横向きに構えられた状態で、１つの被写体Ｓを撮影するシーンを例に挙げて説明する。
【００３３】
ステップＳ１０１は、レリーズ釦２５が半押しされたか否かを判定する処理である。制御部２３は、レリーズ釦２５が半押しされたと判定した場合（ステップＳ１０１の判定がＹＥＳとなる場合）には、ステップＳ１０２に進む。一方、制御部２３は、レリーズ釦２５が半押しされていないと判定した場合（ステップＳ１０１の判定がＮＯとなる場合）には、レリーズ釦２５が半押しされるまで待機する。
【００３４】
ステップＳ１０２は、ＡＥ、ＡＦ演算、ＷＢ調整、被写体距離Ｍを検出する処理である。制御部２３は、ＡＥ、ＡＦ演算、ＷＢ調整を行う。また、測距センサ１７は、撮像装置１０から被写体Ｓまでの被写体距離Ｍを検出する。
【００３５】
ステップＳ１０３は、レリーズ釦２５が全押しされたか否かを判定する処理である。制御部２３は、レリーズ釦２５が全押しされたと判定した場合（ステップＳ１０３の判定がＹＥＳとなる場合）には、ステップＳ１０４に進む。一方、制御部２３は、レリーズ釦２５が全押しされていないと判定した場合（ステップＳ１０３の判定がＮＯとなる場合）には、レリーズ釦２５が全押しされるまで待機する。
【００３６】
ステップＳ１０４は、左眼用画像を取得する処理である。撮像素子１２は、左眼用画像を取得する。その後、撮像素子１２は、スルー画像を取得する。
【００３７】
ステップＳ１０５は、被写体Ｓを解析する処理である。解析部２７は、左眼用画像の被写体Ｓを解析する。
【００３８】
ステップＳ１０６は、被写体フレームＦを生成する処理である。推定部２８は、ステップＳ１０２でＡＦ演算時に使用されたフォーカスポイント位置、解析部２７により解析された被写体Ｓ及び被写体距離Ｍを利用して、左眼用画像に含まれる被写体Ｓの状態を示す被写体フレームＦを生成する。
【００３９】
ステップＳ１０７は、アシストフレームＡを生成する処理である。まず、推定部２８は、ステップＳ１０２で検出した被写体距離Ｍが閾値以下か否かを判定し、この判定結果に基づいて、被写体フレームＦを回転させるときの角度θを決定する。例えば、被写体距離Ｍが閾値以下であると判定した場合には、推定部２８は、被写体距離Ｍ及び左眼と右眼との間隔Ｄを用いて、角度θを算出する。一方、被写体距離Ｍが閾値を超えると判定した場合には、推定部２８は上述した角度θを４度に決定する。最後に、推定部２８は、先に生成されている被写体フレームＦを、所定方向に算出した角度θ回転させる。推定部２８は、被写体フレームＦを角度θ回転させることで、アシストフレームＡを生成する。
【００４０】
ステップＳ１０８は、アシストフレームＡとスルー画像とを重畳表示する処理である。表示部１６は、アシストフレームＡとスルー画像とを重畳表示する。これにより、アシスト表示が行われる。例えば、ユーザは、撮像装置１０を右方向に水平移動させる。次に、ユーザは、撮像装置１０を水平方向へ移動させた直後の撮像レンズ１１の光軸が、被写体Ｓの位置と右眼用画像を取得する位置とを結ぶ直線に一致するように、撮像装置１０を回転（以下、パン方向へ回転）させる。これにより、図６に示すように、スルー画像の被写体Ｓは、アシストフレームＡに収まる状態になる。
【００４１】
ステップＳ１０９からＳ１１１は、ステップＳ１０１からＳ１０３と同様の処理である。なお、ステップＳ１１０において、制御部２３は、右眼用画像の明るさや色合いが左眼用画像と同様になるようにＡＥ演算、ＷＢ調整を行う。
【００４２】
ステップＳ１１２は、右眼用画像を取得する処理である。撮像素子１２は、右眼用画像を取得する。
【００４３】
ステップＳ１１３は、左眼用画像と右眼用画像とを用いて、被写体Ｓの立体視が不可であるか否かを判定する処理である。まず、解析部２７は、右眼用画像から被写体Ｓを解析し、被写体Ｓの大きさ、位置、向き等を検出する。次に、制御部２３は、左眼用画像と右眼用画像との被写体Ｓの大きさ、位置、向き等を比較し、左眼用画像と右眼用画像とを用いて、被写体Ｓの立体視が不可であるか否かを判定する。制御部２３は、被写体Ｓの立体視が不可であると判定した場合（ステップＳ１１３の判定がＹＥＳとなる場合）には、ステップＳ１１４に進む。一方、制御部２３は、被写体Ｓの立体視が可能であると判定した場合（ステップＳ１１３の判定がＮＯとなる場合）には、ステップＳ１１５に進む。
【００４４】
ステップＳ１１４は、補正する処理である。画像処理部１５は、左眼用画像と補正後の右眼用画像とを用いて、被写体Ｓの立体視が可能となるように、右眼用画像を補正する。例えば、画像処理部１５は、被写体距離Ｍや、左眼用画像と右眼用画像との被写体Ｓの目や顔の大きさ、被写体Ｓの高さなどを比較することにより、左眼用画像と右眼用画像との被写体Ｓの大きさが一致するか否かを判定する。画像処理部１５は、左眼用画像と右眼用画像との被写体Ｓの大きさが異なる場合は、左眼用画像の被写体Ｓの大きさに合うように、右眼用画像の被写体Ｓが含まれる領域を拡大するか、又は右眼用画像を縮小する。
【００４５】
また、画像処理部１５は、左眼用画像と右眼用画像との被写体Ｓの位置が合わない場合は、左眼用画像の被写体Ｓの位置に合うように、右眼用画像の水平位置と垂直位置とを補正するか、又は傾きを補正する。また、画像処理部１５は、左眼用画像と右眼用画像との被写体Ｓの向きが合わない場合は、被写体Ｓの目、鼻、口の位置や相対距離などから被写体Ｓの向きを検出し、検出した被写体Ｓの向きが所定の方向になるように補正する。さらに、画像処理部１５は、左眼用画像と右眼用画像との明るさや色合いが合わない場合は、左眼用画像の明るさや色合いに合うように、右眼用画像に輝度補正、色相補正等を行う。
【００４６】
ステップＳ１１５は、記録する処理である。制御部２３は、ステップＳ１１４の画像補正を行った場合には、ステップＳ１０４で取得した左眼用画像、ステップＳ１０６で生成したアシストフレームＡ、ステップＳ１１４で補正を行った右眼用画像を同一のファイルに記録する。一方、制御部２３は、ステップＳ１１４の画像補正を行っていない場合には、ステップＳ１０４で取得した左眼用画像、ステップＳ１０６で生成したアシストフレームＡ、ステップＳ１１２で取得した右眼用画像を同一のファイルに記録する。なお、制御部２３は、このファイルを、マルチピクチャフォーマット規格に準拠したファイル形式で記録してもよい。
【００４７】
以上説明したように、本実施形態の撮像装置１０は、先に取得した左眼用画像に基づいてアシストフレームＡを生成し、生成したアシストフレームＡをスルー画像に重畳表示する。そのため、右眼用画像を取得するときに、ユーザにとって直感的でわかりやすいアシスト表示を行うことができる。したがって、本実施形態の撮像装置１０によれば、特別な構成なく、簡単に被写体Ｓの立体視が可能な画像を取得することができる。
【００４８】
また、撮像装置１０は、左眼用画像、右眼用画像、アシストフレームＡを同一のファイルに記録するため、ユーザにとって扱いやすいファイルとなる。
【００４９】
なお、上記の実施形態では、被写体フレームＦ、アシストフレームＡは、直方体や立方体などの枠からなる例を説明したが、これに限らない。例えば、アシストフレームＡは、右眼用画像の被写体Ｓを補助的に表示したものでもよい。
【００５０】
また、左眼用画像及び右眼用画像を用いて、被写体Ｓを立体視する方法は限定されない。例えば、ユーザは、左眼用画像と右眼用画像とを用いて、平行法又は交差法により、被写体Ｓを立体視してもよい。また、表示部１６に液晶シャッタを備え、この液晶シャッタに対応して、左眼用画像と右眼用画像とを交互に表示してもよい。さらに、左眼用画像と右眼用画像とが縦方向の縞状に交互に配置された立体テレビ用の画像を画像処理部１５が生成してもよい。
【００５１】
また、上記の実施形態では、被写体Ｓの全体を含むアシストフレームＡを生成する例を示したが、これに限らない。例えば、顔など被写体Ｓの一部のみを含むアシストフレームＡを生成してもよい。
【００５２】
また、上記の実施形態では、１つの被写体Ｓを撮影するシーンを例に挙げて説明したが、複数の被写体Ｓを撮影するシーンにも対応できる。この場合、ステップＳ１０５の後で、制御部２３は、ステップＳ１０４で取得した左眼用画像を表示部１６に表示し、ユーザから十字キー２６を介して、基準となる被写体Ｓの選択を受け付ければよい。
【００５３】
また、上記の実施形態では、アシストフレームＡのみをスルー画像と重畳表示する例を示したが、これに限らない。例えば、解析部２７は、加速度センサ１８により検出された撮像装置１０の移動距離や、回転角度に基づいて、スルー画像が取得される毎に、被写体Ｓを解析する。同様に、推定部２８は、解析部２７により解析された被写体Ｓに基づいて、スルー画像が取得される毎に、被写体フレームＦを随時生成する。そして、表示部１６は、被写体フレームＦとアシストフレームＡとスルー画像とを重畳表示する。これにより、ユーザは、被写体フレームＦを随時認識することができる。
【００５４】
また、制御部２３は、スルー画像に表示した被写体フレームＦとアシストフレームＡとが一致したときに、被写体フレームＦの色を変える等により、ユーザに一致したことを通知してもよい。また、制御部２３は、スルー画像に表示した被写体フレームＦとアシストフレームＡとが一致したときに、自動的に右眼用画像を取得するよう撮像素子１２を制御してもよい。
【００５５】
また、アシストフレームＡの補助として、図７（Ａ）に示すように、撮像装置１０を水平方向へ移動させることを示す矢印３０、「右方向へ水平移動」のメッセージ３１を表示してもよい。また、図７（Ｂ）に示すように、撮像装置１０を左方向へ回転させることを示す矢印３２、撮像装置１０を上から見た図３３、「パン方向へ回転」のメッセージ３４を表示してもよい。また、推定部２８は、右眼用画像を取得するときの、撮像装置１０の水平方向への移動距離及びパン方向への回転角度を算出し、これらを表示部１６に表示してもよい。さらに、撮像装置１０に音声を発生する発生部を備え、メッセージ３１やメッセージ３４を音声で発してもよい。これらの表示や音声により、ユーザにとって、さらにわかりやすいアシスト表示を行うことができる。
【００５６】
なお、アシストフレームＡを表示せずに、矢印３０又は矢印３２のみ、或いは、メッセージ３１又はメッセージ３４のみを表示してもよいし、矢印とメッセージとの両方を表示してもよい。
【００５７】
また、先に取得した左眼用画像の全て、又はその一部を補助画像とすることも可能である。ここで、左眼用画像の少なくとも一部を補助画像とする場合、左眼用画像を少しずらして補助画像とする。
【００５８】
また、ＧＰＳ情報を利用してもよい。例えば、撮像装置１０にＧＰＳ受信機を設け、このＧＰＳ受信機により、ＧＰＳ衛星からのＧＰＳ情報を取得する。制御部２３は、ＧＰＳ情報及びアシストフレームＡに基づいて、左眼用画像と右眼用画像とを用いて被写体Ｓの立体視が可能となる、右眼画像の取得位置を算出する。その後、制御部２３は、撮像装置１０がその位置に移動したときに、アラームなどによって、ユーザに右眼用画像を取得する位置に到達したことを通知する。これにより、撮像装置１０と被写体Ｓとの被写体距離Ｍが大きい場合であっても、適切な位置で右眼用画像を取得することができる。
【００５９】
また、上記の実施形態では、左眼用画像と右眼用画像とを用いて、被写体Ｓの立体視が不可であるか否かを判定する例を示したが、これに限らない。例えば、左眼用画像と、右眼用画像を取得する前のスルー画像とを用いて、被写体Ｓの立体視が不可であるか否かを判定してもよい。この場合、制御部２３は、左眼用画像とスルー像との被写体Ｓの大きさが異なる場合は、左眼用画像の被写体Ｓの大きさに合うように、光学ズーム又は電子ズームにより、スルー画像を拡大表示又は縮小表示する。また、制御部２３は、左眼用画像とスルー画像との被写体Ｓの位置又は向きが合わない場合は、位置又は向きがあっていない旨のメッセージを表示する。これにより、左眼用画像と右眼用画像とを用いて、被写体Ｓを立体視できる可能性が高くなる。なお、画像処理部１５は、電子ズームによりスルー画像を拡大又は縮小した場合、右眼用画像も同様に拡大又は縮小する。
【００６０】
また、上記の実施形態では、ステップＳ１１３で被写体Ｓの立体視が不可であると判定した場合に、右眼用画像を補正する例を示したが、これに限らない。例えば、制御部２３は、被写体Ｓの立体視が不可であると判定した場合に、警告を表示し、右眼用画像を再度取得するように促してもよい。さらに、制御部２３は、左眼用画像と右眼用画像との被写体Ｓの大きさ、位置、向き等のずれが大きく、補正不可と判定した場合に、警告を表示し、右眼用画像を再度取得するように促してもよい。
【００６１】
また、上記の実施形態では、先に左眼用画像を取得してから、右眼用画像を取得する例を示したが、先に右眼用画像を取得してから、左眼用画像を取得してもよい。
【００６２】
また、左眼用画像を取得した位置と右眼用画像を取得する位置との間隔が広くなるほど、立体感をより強調することができる。そのため、弱、中、強など立体感の程度をユーザが設定できるようにし、ユーザが設定した程度に応じて、左眼用画像を取得した位置と右眼用画像を取得する位置との間隔を変更してもよい。
【００６３】
また、上記の実施形態では、左眼用画像と右眼用画像とを取得する際の撮像倍率が同じである例を示したが、これに限らない。例えば、左眼用画像取得後に、撮像倍率が変更された場合、推定部２８は、変更された撮像倍率に応じて、アシストフレームＡを拡大又は縮小する。
【００６４】
また、上記の実施形態では、撮像装置１０の向きが横向きに構えられた状態を例に挙げて説明したが、縦向きに構えられた状態にも対応できる。さらに、推定部２８は、左眼用画像の取得後、加速度センサ１８により撮像装置１０の向きが横向きから縦向きに変更されたことが検出された場合は、縦向き用のアシストフレームＡを生成する。
【００６５】
また、上記の実施形態では、撮像装置１０を例に挙げて説明したが、これに限らない。例えば、撮像機能を備える携帯電話機等の携帯型端末機器にも本発明を同様に適用することができる。
【符号の説明】
【００６６】
１０…撮像装置、１２…撮像素子、１５…画像処理部、１６…表示部、１７…測距センサ、１８…加速度センサ、２３…制御部、２７…解析部、２８…推定部
【特許請求の範囲】
【請求項１】
第１画像を取得する撮像部と、
前記撮像部により取得される第１画像から主要被写体を特定する特定部と、
前記特定部により特定された前記主要被写体までの距離情報を取得する距離情報取得部と、
前記第１画像に対して視差を有する第２画像を前記撮像部により取得するときに、前記距離情報取得部によって取得された前記距離情報に基づいて、表示部に補助的に表示する補助画像を表示させる表示制御部と、
を備えることを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記第１画像における被写体を解析する解析部と、
前記撮像部により前記第２画像を取得するときに、前記解析部による前記被写体の解析結果及び前記距離情報取得部により特定された前記主要被写体までの距離情報に基づいて、前記第２画像における前記主要被写体の状態を推定する推定部と、を備えることを特徴とする撮像装置。
【請求項３】
請求項２に記載の撮像装置において、
前記推定部は、前記第１画像を取得した位置から水平方向に所定間隔移動した位置、又は前記主要被写体を中心にして、前記第１画像を取得した位置から所定角度移動した位置のいずれか一方の位置において取得される前記第２画像の前記主要被写体の状態を推定することを特徴とする撮像装置。
【請求項４】
請求項１から請求項３のいずれか１項に記載の撮像装置において、
前記表示制御部は、前記第１画像を取得した位置から前記第２画像を取得する位置への移動を示唆する表示と、前記撮像部の光軸が前記第２画像を取得する位置と前記主要被写体との位置とを結ぶ直線と一致するまでの前記撮像部の光軸の回転を示唆する表示とを行うことを特徴とする撮像装置。
【請求項５】
請求項１から請求項４のいずれか１項に記載の撮像装置において、
前記推定部により推定された結果に基づく前記主要被写体の状態の表示は、前記第２画像における前記主要被写体の少なくとも一部の領域を含む補助枠の表示であることを特徴とする撮像装置。
【請求項６】
請求項５に記載の撮像装置において、
前記表示部は、前記解析部による前記被写体の解析結果に基づいて、前記第１画像における前記主要被写体の少なくとも一部の領域を含む被写体枠を表示することが可能であることを特徴とする撮像装置。
【請求項７】
請求項５又は請求項６に記載の撮像装置において、
撮像倍率を指定する指定部を備え、
前記補助枠は、前記第２画像の取得時に前記指定部により指定された前記撮像倍率に応じて、拡大又は縮小されることを特徴とする撮像装置。
【請求項８】
請求項１から請求項７のいずれか１項に記載の撮像装置において、
前記解析部は、前記第２画像における前記被写体の状態を解析し、
前記第１画像における前記被写体の解析結果と前記第２画像における前記被写体の解析結果とに基づいて、前記第１画像と前記第２画像とを用いた前記被写体の立体視が可能であるか否かを判定する判定部をさらに備えることを特徴とする撮像装置。
【請求項９】
請求項８に記載の撮像装置において、
前記判定部により前記被写体の立体視が不可であると判定された場合に、前記第１画像と補正後の前記第２画像とを用いた前記被写体の立体視が可能となるように、前記第２画像を補正する補正部とを備えることを特徴とする撮像装置。
【請求項１０】
請求項５から請求項７のいずれか１項に記載の撮像装置において、
前記第１画像と前記第２画像と前記補助枠とを１つのファイルに記録する記録部を備えることを特徴とする撮像装置。
【請求項１】
第１画像を取得する撮像部と、
前記撮像部により取得される第１画像から主要被写体を特定する特定部と、
前記特定部により特定された前記主要被写体までの距離情報を取得する距離情報取得部と、
前記第１画像に対して視差を有する第２画像を前記撮像部により取得するときに、前記距離情報取得部によって取得された前記距離情報に基づいて、表示部に補助的に表示する補助画像を表示させる表示制御部と、
を備えることを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記第１画像における被写体を解析する解析部と、
前記撮像部により前記第２画像を取得するときに、前記解析部による前記被写体の解析結果及び前記距離情報取得部により特定された前記主要被写体までの距離情報に基づいて、前記第２画像における前記主要被写体の状態を推定する推定部と、を備えることを特徴とする撮像装置。
【請求項３】
請求項２に記載の撮像装置において、
前記推定部は、前記第１画像を取得した位置から水平方向に所定間隔移動した位置、又は前記主要被写体を中心にして、前記第１画像を取得した位置から所定角度移動した位置のいずれか一方の位置において取得される前記第２画像の前記主要被写体の状態を推定することを特徴とする撮像装置。
【請求項４】
請求項１から請求項３のいずれか１項に記載の撮像装置において、
前記表示制御部は、前記第１画像を取得した位置から前記第２画像を取得する位置への移動を示唆する表示と、前記撮像部の光軸が前記第２画像を取得する位置と前記主要被写体との位置とを結ぶ直線と一致するまでの前記撮像部の光軸の回転を示唆する表示とを行うことを特徴とする撮像装置。
【請求項５】
請求項１から請求項４のいずれか１項に記載の撮像装置において、
前記推定部により推定された結果に基づく前記主要被写体の状態の表示は、前記第２画像における前記主要被写体の少なくとも一部の領域を含む補助枠の表示であることを特徴とする撮像装置。
【請求項６】
請求項５に記載の撮像装置において、
前記表示部は、前記解析部による前記被写体の解析結果に基づいて、前記第１画像における前記主要被写体の少なくとも一部の領域を含む被写体枠を表示することが可能であることを特徴とする撮像装置。
【請求項７】
請求項５又は請求項６に記載の撮像装置において、
撮像倍率を指定する指定部を備え、
前記補助枠は、前記第２画像の取得時に前記指定部により指定された前記撮像倍率に応じて、拡大又は縮小されることを特徴とする撮像装置。
【請求項８】
請求項１から請求項７のいずれか１項に記載の撮像装置において、
前記解析部は、前記第２画像における前記被写体の状態を解析し、
前記第１画像における前記被写体の解析結果と前記第２画像における前記被写体の解析結果とに基づいて、前記第１画像と前記第２画像とを用いた前記被写体の立体視が可能であるか否かを判定する判定部をさらに備えることを特徴とする撮像装置。
【請求項９】
請求項８に記載の撮像装置において、
前記判定部により前記被写体の立体視が不可であると判定された場合に、前記第１画像と補正後の前記第２画像とを用いた前記被写体の立体視が可能となるように、前記第２画像を補正する補正部とを備えることを特徴とする撮像装置。
【請求項１０】
請求項５から請求項７のいずれか１項に記載の撮像装置において、
前記第１画像と前記第２画像と前記補助枠とを１つのファイルに記録する記録部を備えることを特徴とする撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−７０１５３（Ｐ２０１３−７０１５３Ａ）
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願番号】特願２０１１−２０５９９４（Ｐ２０１１−２０５９９４）
【出願日】平成２３年９月２１日（２０１１．９．２１）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願日】平成２３年９月２１日（２０１１．９．２１）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]