撮像装置及び撮像方法、並びにプログラム
【課題】ユーザが身体を固定したまま撮像装置のみを移動させるだけで、所望の構図の画像を視認できるようにすること。
【解決手段】注目被写体決定部６１は、撮像画像に含まれる１以上の被写体から、注目被写体を決定する。３次元モデル生成取得部６２は、注目被写体の３次元モデルを生成又は取得する。位置情報取得部５５は、撮像装置１の位置及び姿勢を示す位置情報を取得する。仮想スルー画像生成部６３は、位置情報取得部５５により取得された位置情報に応じて特定される視点であって、所定の撮像方向とは異なる方向の視点から、３次元モデル生成取得部６２により生成又は取得された注目被写体の３次元モデルを眺望した様子を示す画像のデータを、仮想スルー画像のデータとして生成する。表示制御部５３は、仮想スルー画像生成部６３によりデータとして生成された仮想スルー画像の表示を制御する。
【解決手段】注目被写体決定部６１は、撮像画像に含まれる１以上の被写体から、注目被写体を決定する。３次元モデル生成取得部６２は、注目被写体の３次元モデルを生成又は取得する。位置情報取得部５５は、撮像装置１の位置及び姿勢を示す位置情報を取得する。仮想スルー画像生成部６３は、位置情報取得部５５により取得された位置情報に応じて特定される視点であって、所定の撮像方向とは異なる方向の視点から、３次元モデル生成取得部６２により生成又は取得された注目被写体の３次元モデルを眺望した様子を示す画像のデータを、仮想スルー画像のデータとして生成する。表示制御部５３は、仮想スルー画像生成部６３によりデータとして生成された仮想スルー画像の表示を制御する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザが身体を固定したまま撮像装置のみを移動させるだけで、所望の構図の画像を視認することが可能になる、撮像装置及び撮像方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来より、デジタルカメラ等の撮像装置は、その裏面等に表示部を有しており、シャッタ釦の押下操作等の記録指示操作がなされる前の段階から、被写体を撮像方向（レンズの光軸の方向）からみた様子を示す画像を表示部にリアルタイム表示している。
このような画像は、一般的に、「ライブビュー画像」や「スルー画像」と呼ばれている。なお、本明細書では、「スルー画像」という呼称に統一して説明することにする。
【０００３】
ユーザは、撮像装置を手等で保持した状態で移動させたり回転させたりして、その都度、スルー画像をみて所望の構図となっているか否かを確認する。そして、ユーザは、所望の構図のスルー画像が表示部に映っていることを確認すると、その状態を維持したまま、シャッタ釦の押下操作等の記録指示操作をする。
すると、撮像装置は、記録指示操作がなされた段階で撮像している画像のデータ、即ち、当該所望の構図のスルー画像と略同一の画像のデータを、メモリカード等に記録する。
【０００４】
このように、ユーザは、記録指示操作をする前に、所望の構図を決定するために、スルー画像を活用することが多い。
しかしながら、スルー画像とは、上述の如く、現時点の撮像方向（レンズの光軸の方向）から被写体をみた様子を示す画像である。このため、ユーザが直立不動して撮像装置のみを手で移動させただけでは所望の構図が得られない場合、ユーザ自身の身体を移動させなければならないため、ユーザにとって、所望の構図を決定する操作は負担なものになっている。
このような状況から、ユーザが身体を固定したまま撮像装置のみを移動させるだけで、所望の構図の画像を視認したいという要求が、近年多くのユーザから挙げられている。ただし、当該要求に応えるためには、現時点で肉眼視できないものを表示させる技術が必要になる。
【０００５】
現時点で肉眼視できないものを表示させる従来の技術として、赤外線カメラ、暗視カメラ、赤外線サーモグラフィカメラ等で特殊な画像を表示させる技術が知られている。
ただし、これらの特殊な画像は、あくまでも、現時点の撮像方向（レンズの光軸の方向）の画角の範囲内に映る画像である。
しかしながら、現時点で肉眼視できないものとして表示させる対象は、現在の視点からは肉眼視できない対象、即ち、現時点の撮像方向の画角の範囲外にある対象である。換言すると、仮に視点を移動させれば肉眼視が可能になる対象であって、視点を移動させるためにはユーザが身体を移動させなければならない対象を、表示させることが必要になる。例えば、撮像装置が、所定物体の正面側に向いている場合、当該所定物体の背面側を表示させることが必要になる。
【０００６】
このような必要性に応え得る従来の技術としては、仮想世界を構築可能なＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）の技術（以下、「ＣＧ技術」と呼ぶ）が存在する。
例えば、非特許文献１には、予め用意された３次元形状のモデルを用いて、所定視点から当該モデルを眺めた様子を示す画像を描画可能なＣＧ技術が開示されている（非特許文献１参照）。
このような非特許文献１の技術を受けて、特許文献１や２には、予め用意された対象物体の３次元形状データに基づいて、任意の視点から当該対象物体を眺めた様子を示す画像を表示可能なＣＧ技術が記載されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００２−２９８１６０号公報
【特許文献２】特開２００４−２７１６７１号公報
【非特許文献】
【０００８】
【非特許文献１】渋沢英次郎『代数学的誤差の最小化に基づく未校正多視点画像からの三次元復元に関する研究』博士学位論文，電気通信大学 大学院 電気通信学研究科，Ｍａｒｃｈ，２０１０．
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、非特許文献１並びに特許文献１及び２に記載のＣＧ技術を含め、従来のＣＧ技術を適用して、任意の視点から眺めた所定物体の画像を表示するためには、当該所定物体の３次元モデル（３次元形状データ）が予め用意されていることが前提になる。
従って、このような前提が必要になる従来のＣＧ技術をそのまま適用しても、上述の要望に応えること、即ち、ユーザが身体を固定したまま撮像装置のみを移動させるだけで、所望の構図の画像を視認したいという要求に応えることは困難である。
【００１０】
本発明は、このような状況に鑑みてなされたものであり、ユーザが身体を固定したまま撮像装置のみを移動させるだけで、所望の構図の画像を視認可能にすることを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するため、本発明の一態様の撮像装置は、
１以上の被写体を所定の撮像方向から撮像し、その結果得られる撮像画像のデータを出力する撮像手段と、
前記撮像手段から出力された前記撮像画像のデータに基づいて、前記１以上の被写体の中から、処理対象として注目すべき注目被写体を決定する注目被写体決定手段と、
前記注目被写体決定手段により決定された前記注目被写体の３次元モデルを生成又は取得する３次元モデル生成取得手段と、
前記撮像手段の位置及び姿勢を示す位置情報を取得する位置情報取得手段と、
前記位置情報取得手段により取得された前記位置情報に応じて特定される視点であって、前記所定の撮像方向とは異なる方向の視点から、前記３次元モデル生成取得手段により生成又は取得された前記注目被写体の３次元モデルを眺望した様子を示す画像のデータを、仮想画像のデータとして生成する仮想画像生成手段と、
前記仮想画像生成手段によりデータとして生成された前記仮想画像の表示を制御する表示制御手段と、
を備えることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、ユーザが身体を固定したまま撮像装置のみを移動させるだけで、所望の構図の画像を視認することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。
【図２】図１の撮像装置の機能的構成のうち、仮想スルー表示処理を含む撮像記録処理の実行機能を実現する機能的構成を示す機能ブロック図である。
【図３】図２の機能的構成を有する図１の撮像装置が実行する撮像記録処理の流れを説明するフローチャートである。
【図４】仮想スルー表示処理の結果について、通常スルー表示処理の結果と比較しながら説明する図である。
【図５】図３の撮像記録処理のうち、仮想スルー表示処理の流れの詳細の一例を説明するフローチャートである。
【図６】図５の仮想スルー表示処理のうち、３次元モデル生成処理の流れの詳細の一例を説明するフローチャートである。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態について、図面を用いて説明する。
【００１５】
図１は、本発明の一実施形態に係る撮像装置１のハードウェアの構成を示すブロック図である。
撮像装置１は、例えばデジタルカメラとして構成される。
【００１６】
撮像装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、画像処理部１４と、バス１５と、入出力インターフェース１６と、撮像部１７と、操作部１８と、センサ部１９と、表示部２０と、記憶部２１と、通信部２２と、ドライブ２３と、を備えている。
【００１７】
ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部２１からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
【００１８】
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００１９】
画像処理部１４は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）や、ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成されており、ＣＰＵ１１と協働して、画像のデータに対して各種画像処理を施す。
【００２０】
ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、及び画像処理部１４は、バス１５を介して相互に接続されている。このバス１５にはまた、入出力インターフェース１６も接続されている。入出力インターフェース１６には、撮像部１７、操作部１８、センサ部１９、表示部２０、記憶部２１、通信部２２及びドライブ２３が接続されている。
【００２１】
撮像部１７は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
【００２２】
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
【００２３】
イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、デジタル信号が生成され、撮像部１７の出力信号として出力される。
このような撮像部１７の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、ＣＰＵ１１等に適宜供給される。
【００２４】
操作部１８は、シャッタ釦等の各種釦で構成され、ユーザの指示操作に応じて各種情報を入力する。
【００２５】
センサ部１９は、例えば、３軸地磁気センサ、３軸加速度センサ、傾斜センサ、距離センサ等で構成され、撮像部１７の姿勢や位置を検出する。
ＣＰＵ１１は、センサ部１９の検出結果に基づいて、撮像装置１の方位角、撮像装置１の傾斜、被写体と撮像装置１との間の距離等、被写体に対する相対的な撮像装置１の姿勢や位置を示す情報（以下、「撮像装置１の位置情報」と呼ぶ）を算出する。
例えば、センサ部１９の３軸地磁気センサは、地磁気の方向の３軸（Ｘ，Ｙ，Ｚ）成分を検出する。ＣＰＵ１１は、この３軸地磁気センサの検出結果に基づいて、撮像装置１の方位角を算出する。
また例えば、傾斜センサは、例えば、圧電振動ジャイロで構成され、加えられた角速度に対応した電圧値を出力する。ＣＰＵ１１は、傾斜センサから出力される電圧値を積分することによって、傾斜の変化量を算出し、当該傾斜の変化量に基づいて撮像装置１の傾斜を算出する。
なお、ＣＰＵ１１は、３軸地磁気センサや傾斜センサの検出結果を、任意の姿勢（傾斜角度）状態においても方位及び傾斜の計測が可能な３軸加速度センサの検出結果を用いて補正し、その補正結果に基づいて撮像装置１の方位角や傾斜を算出するようにしてもよい。
距離センサは、非接触の対象物との距離を検出する。ＣＰＵ１１は、距離センサの検出結果に基づいて、被写体と撮像装置１との間の距離を算出する。
【００２６】
表示部２０は、液晶ディスプレイ等で構成され、撮像画像等の各種画像を表示する。
記憶部２１は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２２は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
【００２７】
ドライブ２３には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２３によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部２１にインストールされる。また、リムーバブルメディア３１は、記憶部２１に記憶されている画像のデータ等の各種データも、記憶部２１と同様に記憶することができる。
【００２８】
このような構成の撮像装置１は、被写体を撮像し、その結果得られる撮像画像のデータをリムーバブルメディア３１等に記録するまでの一連の処理（以下、「撮像記録処理」と呼ぶ）を実行することができる。
本実施形態の撮像記録処理においては、ＣＰＵ１１は、操作部１８のシャッタ釦の押下操作がなされたことを、撮像画像の記録指示であると認識し、当該押下操作直後に撮像された撮像画像のデータをリムーバブルメディア３１等に記録する。
【００２９】
このような撮像画像の記録指示の前には、ＣＰＵ１１は、スルー撮像処理及びスルー表示処理を実行することで、スルー画像を表示部２０に表示させる。
具体的には、ＣＰＵ１１は、撮像記録処理が開始されると、撮像部１７による撮像動作を継続させる。そして、ＣＰＵ１１は、撮像部１７による撮像動作が継続されている間、当該撮像部１７から順次出力される撮像画像のデータを、メモリ（本実施形態では記憶部２１）に一時的に記憶させる。このような一連の制御処理が、ここでいう「スルー撮像処理」である。
また、ＣＰＵ１１は、スルー撮像処理の最中にメモリ（本実施形態では記憶部２１）に一時的に記録された各撮像画像のデータを順次読み出して、当該撮像画像を表示部２０に順次表示させる。このような一連の制御処理が、ここでいう「スルー表示処理」であり、スルー表示処理により表示部２０に表示されている撮像画像が、ここでいう「スルー画像」である。
【００３０】
本実施形態では、撮像装置１は、スルー表示処理中の動作モード（以下、「スルー表示モード」と呼ぶ）として、通常表示モードと仮想表示モードとを有しており、これら２種類の動作モードを自在に切り替えることができる。
「通常表示モード」とは、通常通り、現時点で撮像された撮像画像そのものをスルー画像として表示部２０に表示させるモードをいう。なお、以下、通常表示モードにおけるスルー表示処理を、「通常スルー表示処理」と呼ぶ。
「仮想表示モード」とは、次のような一連の処理の結果得られる、仮想的な画像のスルー画像（以下、「仮想スルー画像」と呼ぶ）を表示部２０に表示させるモードをいう。
即ち、ＣＰＵ１１は、現時点で撮像された撮像画像のデータに基づいて、当該撮像画像に含まれる被写体のうち、処理の対象として注目すべき被写体（以下、「注目被写体」と呼ぶ）を認識し、当該注目被写体の３次元モデルを作成又は取得する。ＣＰＵ１１は、当該３次元モデルに基づいて、現時点の状態とは異なる姿勢又は位置で撮像部１７が注目被写体を撮像したと仮定した場合に得られる仮想的な画像のデータを、推定演算する。そして、ＣＰＵ１１は、当該仮想的な画像を仮想スルー画像として表示部２０に表示させる。なお、以下、このような一連の処理、即ち、仮想表示モードにおけるスルー表示処理を、「仮想スルー表示処理」と呼ぶ。
【００３１】
図２は、撮像装置１の機能的構成のうち、このような仮想スルー表示処理を含む撮像記録処理の実行機能を実現する機能的構成を示す機能ブロック図である。
【００３２】
撮像記録処理が実行される場合、ＣＰＵ１１においては、スルー表示モード選択部５１と、切替部５２と、表示制御部５３と、記録制御部５４と、が機能する。
なお、スルー表示モード選択部５１乃至記録制御部５４の各々の機能の説明については、後述する図３の撮像記録処理のうち、関連するステップの処理の説明の際に併せて行うものとする。
本実施形態では、スルー表示モード選択部５１乃至記録制御部５４の各々は、図１に示す構成のうち、ＣＰＵ１１というハードウェアと、ＲＯＭ１２等に記憶されたプログラム（ソフトウェア）との組み合わせとして構成されている。
しかしながら、これは例示にすぎず、スルー表示モード選択部５１乃至記録制御部５４の各機能のうち少なくとも一部を、ＣＰＵ１１以外の他の構成要素（画像処理部１４等）に移譲させることも当然可能である。
【００３３】
撮像記録処理が実行される場合、画像処理部１４においては、注目被写体決定部６１と、３次元モデル生成取得部６２と、仮想スルー画像生成部６３と、が機能する。
なお、注目被写体決定部６１乃至仮想スルー画像生成部６３の各々の機能の説明については、後述する図３の撮像記録処理のうち、関連するステップの処理の説明の際に併せて行うものとする。
本実施形態では、注目被写体決定部６１乃至仮想スルー画像生成部６３の各々は、図１に示す構成のうち、画像処理部１４単体、又は、当該画像処理部１４というハードウェアと、ＲＯＭ１２等に記憶されたプログラム（ソフトウェア）との組み合わせとして構成されている。
しかしながら、これは例示にすぎず、注目被写体決定部６１乃至仮想スルー画像生成部６３の各機能のうち少なくとも一部を、画像処理部１４以外の他の構成要素（ＣＰＵ１１等）に移譲させることも当然可能である。
【００３４】
また、本実施形態では、記憶部２１の一領域として、撮像画像記憶部７１と、３次元モデル記憶部７２、とが設けられている。
撮像画像記憶部７１及び３次元モデル記憶部７２の各々の記憶内容の具体例については、後述する図３の撮像記録処理のうち、関連するステップの処理の説明の際に併せて示すものとする。
なお、撮像画像記憶部７１及び３次元モデル記憶部７２が記憶部２１の一領域として設けられているが、これも例示にすぎず、撮像画像記憶部７１及び３次元モデル記憶部７２は、記憶部２１以外の記憶領域、例えばリムーバブルメディア３１の一領域として設けるようにしてもよい。また、撮像画像記憶部７１及び３次元モデル記憶部７２は、撮像装置１に設けられている必要は特になく、例えば通信部２２を介して接続される他の装置内に設けられていてもよい。
【００３５】
次に、図３を参照して、このような図２の機能的構成を有する撮像装置１が実行する撮像記録処理について説明する。
図３は、図２の機能的構成を有する撮像装置１が実行する撮像記録処理の流れの一例を説明するフローチャートである。
【００３６】
撮像記録処理は、例えば、ユーザの操作部１８に対する所定操作により、撮像装置１の動作モードが撮像モード等の特定モードに切り替えられると、それを契機として開始される。
なお、撮像記録処理が開始されてから終了するまでの間、撮像部１７は撮像動作を継続し、その間、当該撮像部１７から順次出力される撮像画像のデータは、撮像画像記憶部７１に記憶されるものとする。
【００３７】
ステップＳ１において、スルー表示モード選択部５１は、スルー表示モードとして、仮想スルー表示モードが選択されたか否かを判定する。
即ち、ユーザは、操作部１８に対する所定の操作をすることで、スルー表示モードとして、通常スルー表示モードと仮想スルー表示モードとのうちの所望のモードを選択することができる。
【００３８】
このようなユーザの操作により通常スルー表示モードが選択された場合、ステップＳ１においてＮＯであると判定される。この場合、スルー表示モード選択部５１は、切替部５２の出力端を表示制御部５３側に切り替える。すると、撮像部１７から出力されて撮像画像記憶部７１に一旦記憶されていた撮像画像のデータは、切替部５２を介して、表示制御部５３に供給される。
ステップＳ２において、ＣＰＵ１１の表示制御部５３は、通常スルー表示処理を実行して、このような撮像画像をそのままスルー画像として表示部２０に表示させる。
【００３９】
これに対して、ユーザの操作により仮想スルー表示モードが選択された場合、ステップＳ１においてＹＥＳであると判定される。この場合、スルー表示モード選択部５１は、切替部５２の出力端を画像処理部１４の注目被写体決定部６１側に切り替える。すると、撮像部１７から出力されて撮像画像記憶部７１に一旦記憶されていた撮像画像のデータは、切替部５２を介して、画像処理部１４の注目被写体決定部６１に供給される。
ステップＳ３において、画像処理部１４及びＣＰＵ１１は、仮想スルー表示処理を実行して、仮想スルー画像を表示部２０に表示させる。
【００４０】
このようにして、ステップＳ２の通常スルー表示処理で通常のスルー画像が表示されるか、或いは、ステップＳ３の仮想スルー表示処理で仮想スルー画像が表示されると、処理はステップＳ４に進む。
ステップＳ４において、記録制御部５４は、操作部１８のシャッタ釦が押下操作されたか否かを判定する。
ユーザによりシャッタ釦が押下操作されていない場合、ステップＳ４においてＮＯであると判定されて、処理はステップＳ１に戻され、それ以降の処理が繰り返される。即ち、シャッタ釦が押下操作されるまでの間、ステップＳ１乃至Ｓ４のループ処理が繰り返し実行され、通常のスルー画像又は仮想スルー画像が表示部２０に表示される。
【００４１】
例えば、仮想スルー表示モードが維持されている場合には、ステップＳ１：ＹＥＳ、ステップＳ３、及びステップＳ４：ＮＯのループ処理が繰り返し実行され、仮想スルー画像があたかもリアルタイム表示のように表示される。即ち、撮像部１７は、連続的に繰り返して撮像し、その都度得られる撮像画像のデータを逐次出力する。この場合、注目被写体決定部６１、３次元モデル生成取得部６２、位置情報取得部５５、仮想スルー画像生成部６３、及び表示制御部５３は、撮像部１７から撮像画像のデータが逐次出力される毎に、後述する各機能に基づく処理をそれぞれ実行する。これにより、撮像部１７から逐次データとして出力される撮像画像の各々に対応する仮想スルー画像の各々が、表示部２０に連続的に繰り返して表示される。
よって、ユーザは、身体をほぼ固定した状態で、仮想スルー画像を適宜見ながら撮像装置１の位置及び姿勢を移動させ、所望の構図の画像が仮想スルー画像として表示されたか否かを確認することができる。
ここで、上述したように、表示制御部５３の制御によりスルー画像を表示させるモードとして、撮像部１７からデータとして逐次出力される撮像画像を通常のスルー画像として表示させる通常スルー表示モードと、撮像部１７から逐次データとして出力される撮像画像の各々に対応する仮想スルー画像の各々を表示させる仮想スルー表示モードとが存在する。スルー表示モード選択部５１は、これらの通常スルー表示モードと仮想スルー表示モードとのうち一方を選択することができる。
そこで、仮想スルー画像として所望の構図の画像が得られた場合には、今度は、ユーザは、操作部１８を操作して、スルー表示モードとして通常表示スルーモードを指示することができる。これにより、スルー表示モード選択部５１は、通常スルー表示モードを選択する。すると、ステップＳ１：ＮＯ、ステップＳ２、及びステップＳ４：ＮＯのループ処理が繰り返し実行され、今度は、通常スルー画像がリアルタイム表示される。
これにより、ユーザは、所望の構図の通常のスルー画像が表示されるまで、撮像装置１の位置及び姿勢を移動させると共に、必要に応じて、その身体も移動させる。
このようにして、ユーザは、通常のスルー画像又は仮想スルー画像を適宜見ながら撮像装置１の位置及び姿勢を移動させ、或いはその身体を適宜移動させて、所望の構図の通常のスルー画像が表示されたことを確認すると、その段階で、操作部１８のシャッタ釦を押下操作する。
すると、ステップＳ４においてＹＥＳであると判定されて、処理はステップＳ５の処理に進む。ステップＳ５において、記録制御部５４は、その時点で撮像画像記憶部７１に記憶されている撮像画像のデータを取得して、リムーバブルメディア３１に記録させる。
これにより、撮像記録処理が終了となる。
【００４２】
さらに以下、このような撮像記録処理のうち、ステップＳ３の仮想スルー表示処理について説明する。
【００４３】
図４は、仮想スルー表示処理の結果について、通常スルー表示処理の結果と比較しながら説明する図である。
図４（Ａ）は、図３の撮像記録処理の開始直後の初期状態において、撮像装置１が、人物Ｍａの前面と対向する姿勢で、当該人物Ｍａを撮像した様子を示している。
なお、初期状態では、撮像装置１の基準姿勢を確定する必要があるため、通常スルー表示処理が実行された場合のみならず、仮想スルー表示処理が実行された場合でも、図４（Ａ）に示すように、撮像装置１が人物Ｍａを撮像した結果得られる撮像画像がそのまま、スルー画像ＳＰ１として表示されるものとする。
図４（Ｂ）は、撮像装置１が、初期状態の基準姿勢に対して、図示せぬユーザ（撮像装置１の操作者）からみて左方向に回転移動して、人物Ｍａの斜め側面と対向する姿勢で、通常スルー表示処理（図３のステップＳ２）を実行して、当該人物Ｍａを撮像した様子を示している。
この場合、図４（Ｂ）に示すように、撮像装置１が人物Ｍａを撮像した結果得られる撮像画像がそのまま、スルー画像ＳＰ２として表示部２０に表示される。
図４（Ｃ）は、撮像装置１が、初期状態の基準姿勢に対して、図示せぬユーザ（撮像装置１の操作者）からみて左方向に回転移動した姿勢、即ち図４（Ｂ）と同一の姿勢で、仮想スルー表示処理（図３のステップＳ３）を実行して、当該人物Ｍａを撮像した様子を示している。
この場合、本来、撮像装置１の画角の範囲内の人物Ｍａの斜め側面が写るところ（図４（Ｂ）のスルー画像ＳＰ２参照）、撮像装置１の画角の範囲外の人物Ｍａの背面（後頭部）があたかも写っている仮想スルー画像ＶＳＰ２が、表示部２０に表示される。
【００４４】
このように、ユーザ（撮像装置１の操作者）は、操作部１８を操作して仮想スルー表示モードを選択した後、自身が実際に長い距離を移動して回り込む等することなく、撮像装置１の位置や姿勢を少し移動させるだけで、撮像装置１により仮想スルー表示処理（図３のステップＳ３）が実行される。その結果、ユーザは、自身が移動して回り込んで撮像した場合に得られる撮像画像と等価な仮想スルー画像を容易に視認することができる。
また、被写体の存在位置によっては回り込むことが不可能な場所も存在する。このような場合であっても、ユーザは、そのような場所で撮像した場合に得られる撮像画像と等価な仮想スルー画像を容易に視認することができる。
これにより、ユーザにとっては、被写体の撮像アングルを決める作業が著しく楽になり、被写体を撮影するまでに要する時間が短縮される。また、モデル（被写体）にとっても、長時間同一のポーズを強いられたり、立ち位置を変えて同一ポーズを取ったりする苦痛から開放される。
以上まとめると、ユーザは、その手で撮像装置１を保持して、傾けたり回したりして、当該撮像装置１の位置及び姿勢を少しだけ変化させるだけの直感的操作をするだけで、被写体を様々な視点から眺望することが容易にできる。その結果、ユーザは、被写体の周囲を回ったり、或いは被写体の方を動かしたりする必要はなくなる。このため、ユーザは、被写体の外観や形状を、わかりやすく把握したり、詳しく調べたりすることが容易に可能になる。即ち、ユーザは、その場から大きく動くことなく、撮像方向、撮像角度、構図等の理想的な撮像条件を詳しく吟味や検討して、所望の撮像条件で被写体を撮像することが容易にできる。
即ち、ユーザが身体を固定したまま撮像装置１のみを移動させるだけで、所望の構図の画像を仮想スルー画像により視認することが可能になる。
【００４５】
さらに以下、このような仮想スルー表示処理の詳細について説明する。
図５は、図３の撮像記録処理のうち、ステップＳ３の仮想スルー表示処理の流れの詳細の一例を説明するフローチャートである。
【００４６】
ステップＳ２１において、図２の画像処理部１４の注目被写体決定部６１は、撮像画像のデータに基づいて、当該撮像画像に含まれる被写体の中から、注目被写体を決定する。
なお、注目被写体の決定手法は、特に限定されず、例えば図示はしないがユーザが操作部１８を操作して選択した被写体を、注目被写体として決定する手法を採用してもよい。或いはまた、公知の又は今後登場するであろう顔検出処理や注目領域検出処理の結果に基づいて注目被写体を決定する手法を、注目被写体の決定手法として採用することもできる。
ステップＳ２１の処理で決定された注目被写体に関する情報と、当該注目被写体を含む撮像画像のデータとが、注目被写体決定部６１から３次元モデル生成取得部６２に供給されると、処理はステップＳ２２に進む。
【００４７】
ステップＳ２２において、ＣＰＵ１１の位置情報取得部５５は、センサ部１９の検出結果に基づいて、撮像装置１の方位角、撮像装置１の傾斜、注目被写体と撮像装置１との間の距離等、撮像装置１の位置及び姿勢を示す情報を、注目被写体に対する相対的な撮像装置１の位置情報として取得する。
撮像装置１の位置情報が、位置情報取得部５５から３次元モデル生成取得部６２に供給されると、処理はステップＳ２３に進む。
【００４８】
ステップＳ２３において、画像処理部１４の３次元モデル生成取得部６２は、注目被写体の３次元モデルは生成済みか否かを判定する。
注目被写体と同一又は類似する３次元モデルが３次元モデル記憶部７２に既に記憶されている場合、例えば過去に実行されたステップＳ２５の３次元モデル生成処理（処理内容は後述する）の結果として既に記憶されている場合、ステップＳ２３においてＹＥＳであると判定されて、処理はステップＳ２４に進む。
ステップＳ２４において、３次元モデル生成取得部６２は、注目被写体の３次元モデルを３次元モデル記憶部７２から取得する。
これに対して、注目被写体と同一又は類似する３次元モデルが３次元モデル記憶部７２に１つも記憶されていない場合、ステップＳ２３においてＮＯであると判定されて、処理はステップＳ２５に進む。
ステップＳ２５において、３次元モデル生成取得部６２は、注目被写体の３次元モデルを生成して、３次元モデル記憶部７２に記憶させるまでの一連の処理（以下、このような一連の処理を「３次元モデル生成処理」と呼ぶ）を実行する。なお、３次元モデル生成処理の詳細については、図６のフローチャートを参照して後述する。
このようにして、ステップＳ２４の処理で取得されるか又はステップＳ２５の処理で生成された注目被写体の３次元モデルが、ステップＳ２２の処理で取得された撮像装置１の位置情報、及び撮像画像のデータとともに、３次元モデル生成取得部６２から仮想スルー画像生成部６３に供給されると、処理はステップＳ２６に進む。
【００４９】
ステップＳ２６において、画像処理部１４の仮想スルー画像生成部６３は、撮像装置１の位置情報と、注目被写体の３次元モデルと、撮像画像のデータとに基づいて、仮想スルー画像のデータを生成する。
ステップＳ２７において、ＣＰＵ１１の表示制御部５３は、ステップＳ２６の処理で仮想スルー画像生成部６３によりデータとして生成された仮想スルー画像を、表示部２０に表示させる。
【００５０】
例えば、仮想スルー画像生成部６３は、ステップＳ２６の処理として、撮像装置１の位置情報に対応付けられた視点から、注目被写体の３次元モデルを眺望した様子を示す２次元像（当該視点からみた場合の注目被写体の像）を、撮像画像の背景等の像に合成した合成画像のデータを、仮想スルー画像のデータとして生成する。
ここで、撮像装置１の位置情報に対応付けられた視点とは、撮像装置１の撮像方向（撮像部１７の光軸方向）とは異なる方向からの視点である。具体的には、図４の例でいえば、撮像装置１の撮像方向（撮像部１７の光軸方向）の視点で人物Ｍａを眺望した様子（人物Ｍａの斜め側面をみた様子）が、図４（Ｂ）に示す通常のスルー画像ＳＰ２である。これに対して、撮像装置１の撮像方向（撮像部１７の光軸方向）とは異なる方向からの視点で人物Ｍａの３次元モデルを眺望した様子（人物Ｍａの３次元モデルの背面、即ち後頭部をみた様子）が、図４（Ｃ）に示す仮想スルー画像ＶＳＰ２である。即ち、ステップＳ２７の処理で、図４に示す仮想スルー画像ＶＳＰ２等が表示部２０に表示される。
より具体的には、図４（Ａ）に示す撮像装置１の基準姿勢の水平方向の角度を０度とするならば、撮像装置１の水平方向の実際の回転角度θの位置を視点として採用すると、単に、図４（Ｂ）に示す通常のスルー画像ＳＰ２と等価な画像しか表示されない。そこで、図４の例では、実際の回転角度θに所定の係数Ａ（＞１）を掛けて得られる回転角度α（＝Ａ×θ）、即ち、実際の回転角度θよりも大きな回転角度αの仮想位置が視点として採用されており、当該視点で人物Ｍａの３次元モデルを眺望した様子が、図４（Ｃ）に示す仮想スルー画像ＶＳＰ２として、ステップＳ２７の処理で表示部２０に表示されるのである。
このようにして、仮想スルー画像ＶＳＰ２等が表示部２０に表示されると、仮想スルー表示処理が終了する。即ち、図３のステップＳ３の処理が終了し、処理はステップＳ４に進む。
【００５１】
次に、このような図５の仮想スルー表示処理のうち、ステップＳ２５の３次元モデル生成処理の詳細について説明する。
図６は、図５の仮想スルー表示処理のうち、ステップＳ２５の３次元モデル生成処理の流れの詳細の一例を説明するフローチャートである。
【００５２】
ステップＳ４１において、３次元モデル生成取得部６２は、異なる視点から注目被写体を撮像した結果得られる複数の撮像画像のデータを、撮像画像記憶部７１から切替部５２を介して取得する。
なお、このステップＳ４１の処理時点に、複数の撮像画像のデータが存在すれば足り、当該複数の撮像画像の撮像タイミングは、特に限定されない。また、注目被写体そのもの（原物）を撮像したものである必要はなく、類似のものを過去に撮像した結果得られる撮像画像のデータが取得されてもよい。さらに、このような複数の撮像画像のデータの取得先は、撮像画像記憶部７１である必要は特になく、その他、リムーバブルメディア３１や、通信部２２により通信が可能な他の装置であってもよい。
【００５３】
ステップＳ４２において、３次元モデル生成取得部６２は、ステップＳ２１の処理で取得された複数の画像データに対して、前処理（例えば、鮮鋭化、ノイズ除去、傾斜補正等の各種画像処理）を施す。
【００５４】
ステップＳ４３において、３次元モデル生成取得部６２は、ステップＳ２１の処理で取得された複数の撮像画像のデータに関し、それらが撮像された時点の撮像装置の位置情報が取得されたか否かを判定する。
ここで、複数の撮像画像が撮像部１７により撮像されたものである場合、センサ部１９の検出結果に基づいて位置情報取得部５５によって取得される「撮像装置１の位置情報」が、ステップＳ４３における「撮像装置の位置情報」に該当する。一方、複数の撮像画像が他の撮像装置によって撮像されたものである場合、当該他の撮像装置によって取得された、「撮像装置１の位置情報」と等価な情報が、「撮像装置の位置情報」に該当する。
これらの「撮像装置の位置情報」が取得できなかった場合、ステップＳ４３においてＮＯであると判定されて、処理はステップＳ４７に進む。ただし、ステップＳ４７以降の処理については後述する。
これに対して、これらの「撮像装置の位置情報」が取得できた場合、ステップＳ４３においてＹＥＳであると判定されて、処理はステップＳ４４に進む。
【００５５】
ステップＳ４４において、３次元モデル生成取得部６２は、ステップＳ４１の処理で取得された複数の撮像画像のデータの各々から、注目被写体の輪郭（エッジ）を抽出し、当該輪郭を特定可能な画像のデータ（以下、「輪郭画像データ」と呼ぶ）を生成する。
【００５６】
ステップＳ４５において、３次元モデル生成取得部６２は、ステップＳ４１の処理でデータとして取得された複数の撮像画像の各々についての、「撮像装置の位置情報」と輪郭画像データとに基づいて、注目被写体の３次元モデル（３次元形状データ）を生成する。
ステップＳ４６において、３次元モデル生成取得部６２は、このようにして生成した注目被写体の３次元モデルを、３次元モデル記憶部７２に記憶させる。
なお、注目被写体の３次元モデルを３次元モデル記憶部７２に記憶させる場合のデータ構造は、特に限定されず、例えば、ワイヤーフレーム・モデル、サーフェス・モデル、ソリッド・モデル、ＣＳＧ（Ｃｏｎｓｔｒｕｃｔｉｖｅ Ｓｏｌｉｄ Ｇｅｏｍｅｔｒｙ）表現、又は境界表現等に基づくデータ構造を採用することができる。
【００５７】
このようにして、ステップＳ４１の処理で取得された複数の撮像画像のデータの各々に関する「撮像装置の位置情報」が取得できた場合には、ステップＳ４３の処理でＹＥＳであると判定された後、ステップＳ４４乃至Ｓ４６の処理が実行されて、注目被写体の３次元モデルが生成されて、３次元モデル記憶部７２に記憶される。これにより、３次元モデル生成処理が終了し、即ち図５のステップＳ２５の処理が終了し、処理はステップＳ２６に進む。
【００５８】
これに対して、ステップＳ４１の処理で取得された複数の撮像画像のデータの各々に関する「撮像装置の位置情報」が取得できなかった場合には、ステップＳ４３の処理でＮＯであると判定されて、処理はステップＳ４７に進む。
ステップＳ４７において、３次元モデル生成取得部６２は、因子分解法を適用するか否かを判定する。
【００５９】
因子分解法を適用すると判定された場合、ステップＳ４７においてＹＥＳであると判定されて、処理はステップＳ４８に進む。
ステップＳ４８において、３次元モデル生成取得部６２は、因子分解法で、注目被写体の３次元モデルを生成する。
因子分解法とは、被写体の奥行きがカメラ（ここでは撮像装置１）との距離に比べて十分に小さい場合に、当該被写体の３次元形状（３次元モデル）を求める式が、行列の因子分解で解ける線形の連立方程式になることを利用した手法をいう。因子分解法は、被写体から十分な距離をとって撮像した複数の撮像画像のデータから３次元形状（３次元モデル）を求める場合に適用すると好適である。
具体的には、ステップＳ４８の処理として、次のような処理が実行される。
３次元モデル生成取得部６２は、ステップＳ４１の処理で取得された複数の撮像画像（異なる視点からの各注目被写体の撮像画像）のデータから、注目被写体の輪郭外形や顔の特徴部位を表す要素、例えば、線分、曲線、特徴点等の要素を抽出する。
３次元モデル生成取得部６２は、ステップＳ４１の処理で取得された複数の撮像画像のデータから、主要点の点特徴を抽出し、各特徴点と対応付ける。
３次元モデル生成取得部６２は、このような対応付けに基づいて、主要被写体の３次元形状情報を復元するようにして、主要被写体の３次元モデルを生成する。
なお、因子分解法のさらなる詳細については、非特許文献１を参照するとよい。
【００６０】
このような因子分解法を適用しないと判定された場合、ステップＳ４７においてＮＯであると判定されて、処理はステップＳ４９に進む。
ステップＳ４９において、３次元モデル生成取得部６２は、視体積交差法で、注目被写体の３次元モデルを生成する。
具体的には、ステップＳ４９の処理として、次のような処理が実行される。
３次元モデル生成取得部６２は、形状を記憶する３次元ボクセル空間を用意し、これを立方格子に分割する。
３次元モデル生成取得部６２は、ステップＳ４１の処理で取得された複数の撮像画像（異なる視点からの各注目被写体の撮像画像）のデータから、処理対象となる各多視点画像のシルエット画像のデータを生成する。
３次元モデル生成取得部６２は、処理対象となる各多視点画像のシルエット画像のデータを用いて、立方格子に分割した各ボクセルに対して正射影による逆投影を実施する。
３次元モデル生成取得部６２は、各ボクセルについて処理対象画像のシルエットが内在するか否かを判定し、内在するボクセルを残し、他のボクセルを削除する。
３次元モデル生成取得部６２は、残存したボクセルの集合に基づいて、主要被写体の３次元形状モデルを生成する。
【００６１】
このようにして、ステップＳ４８の処理においては因子分解法で、或いはステップＳ４９の処理においては視体交差法で、注目被写体の３次元モデルが生成されると、次のステップＳ４６の処理で、当該注目被写体の３次元モデルが３次元モデル記憶部７２に記憶される。これにより、３次元モデル生成処理が終了し、即ち図５のステップＳ２５の処理が終了し、処理はステップＳ２６に進む。
【００６２】
なお、注目被写体の３次元モデルの生成手法は、図６に示される手法に特に限定されず、例えば、撮像装置１として２眼カメラやステレオカメラ等を採用し、これらの２眼カメラやステレオカメラ等の撮像画像のデータを用いる手法を採用してもよい。
【００６３】
以上説明したように、本実施形態の撮像装置１は、撮像部１７と、注目被写体決定部６１と、３次元モデル記憶部７２と、３次元モデル生成取得部６２と、仮想スルー画像生成部６３と、を備える。
撮像部１７は、１以上の被写体を所定の撮像方向から撮像し、その結果得られる撮像画像のデータを出力する。
注目被写体決定部６１は、撮像部１７から出力された撮像画像のデータに基づいて、１以上の被写体の中から、処理対象として注目すべき注目被写体を決定する。
３次元モデル生成取得部６２は、注目被写体決定部６１により決定された注目被写体の３次元モデルを生成又は取得する。
位置情報取得部５５は、撮像装置１の位置及び姿勢を示す撮像装置１の位置情報、より正確には撮像部１７の位置及び姿勢を示す位置情報を取得する。
仮想スルー画像生成部６３は、位置情報取得部５５により取得された位置情報に応じて特定される視点であって、所定の撮像方向とは異なる方向の視点から、３次元モデル生成取得部６２により生成又は取得された注目被写体の３次元モデルを眺望した様子を示す画像のデータを、仮想スルー画像のデータとして生成する。
表示制御部５３は、仮想スルー画像生成部６３によりデータとして生成された仮想スルー画像の表示を制御する。
これにより、ユーザは、その手で撮像装置１を保持して、傾けたり回したりして、当該撮像装置１の位置及び勢姿勢を少しだけ変化させるだけの直感的操作をするだけで、注目被写体を様々な視点から眺望することが容易にできる。その結果、ユーザは、注目被写体の周囲を回ったり、或いは注目被写体の方を動かしたりする必要はなくなる。このため、ユーザは、注目被写体の外観や形状を、わかりやすく把握したり、詳しく調べたりすることが容易に可能になる。即ち、ユーザは、その場から大きく動くことなく、撮像方向、撮像角度、構図等の理想的な撮像条件を詳しく吟味や検討して、所望の撮像条件で被写体を撮像することが容易にできる。
即ち、ユーザが身体を固定したまま撮像装置１のみを移動させるだけで、所望の構図の画像を仮想スルー画像により視認することが可能になる。
【００６４】
以上、本発明の実施形態について説明した。しかしながら、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【００６５】
例えば、表示部２０として、上述の実施形態では液晶や有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）等フラットな平面形状の表示パネルが採用されている。
この場合には、撮像装置１の姿勢角度や傾斜角の量（大きさ）をそのまま、視線方向（例えば物体像の観察角度の方向）の変化量に用いると、表示面と視線方向との角度が小さくなってしまい、仮想スルー画像に表示される主要被写体の像が見にくくなったり、表示できる角度範囲も限られてしまったりすることになる。例えば、主要被写体の側面は見られても、裏側（背面）までは見ることができなくなる問題がある。
そこで、上述の実施形態では、当該問題を解決する手法として、次のような手法を採用していた。即ち、撮像装置１の回転角θ（姿勢角θ）に比べて、主要被写体の像の視線方向（仮想的な回転角）αを大きくして、例えばα＝Ａ×θ（Ａは、１より大きい整数値であって、例えば１．５〜３程度）と大きくする手法が、本実施形態では採用されている。これにより、撮像装置１の小さな姿勢変化に応じて、より広い視線方向の範囲での主要被写体の像を含む仮想スルー画像が見られるようになる。
しかしながら、上述の問題を解決する手法は、特に本実施形態の手法（以下、「第１の手法」と呼ぶ）に限定されず、各種各様の手法、例えば、次の第２乃至第７の手法を採用することができる。
【００６６】
第２の手法とは、表示部２０の表示面を、球面状、半球面状、又は凸面状にして、見やすく表示できる角度範囲を広くする、という手法である。
【００６７】
第３の手法とは、船の舵や、車両のハンドル操作のように、撮像装置１の姿勢角の変化△θ（回転角の変化△θ）に比較して、主要被写体の像の視線方向の変化△α（仮想的な回転角△α）を大きくする、例えば△α＝Ｃ×△θ（Ｃは、１より大きい整数値）と大きくする手法である。
第３の手法を採用することで、ユーザ（撮像装置１の操作者）が、視線方向を変えるときに、撮像装置１の姿勢を傾け、所望の視線方向になったら、当該撮像装置１の姿勢を元に戻すと、その視線方向や角度に保つことができる。その結果、表示部２０の表示面と視線方向とのなす角度が小さくなったり、表示できる角度範囲も限られたり、といった事態がほぼ生じなくなる。
【００６８】
第４の手法とは、いわゆる「微分ハンドル」、即ち車両のタイヤの実舵角を、ハンドル操舵角θの微分に比例させることが可能なハンドルのように、撮像装置１の姿勢角の時間当りの変化量（角速度）ｄθ／ｄｔに応じて、主要被写体の像の視線方向の変化△α（仮想的な回転角△α）を変化させる、という手法である。
具体的には、△α＝Ｃ×ｄθ／ｄｔを演算する手法が、第４の手法である。
このような第４の手法を適用することで、「微分ハンドル」と同様の効果、即ち、速く回せば大きな実舵角がつき、ゆっくり回せば小さな実舵角がつくという効果を奏することが可能になる。
具体的には、「微分ハンドル」では、一定の実舵角θを維持するには一定の角速度で回し続けなければならないが、所望の方向になったら、回すのを止めれば（角速度が０）実舵角θが０となり、直進方向に戻れるため、ハンドルを元に戻す必要がない。これと同様に、撮像装置１を一定の角速度で回転移動させた後、所望の方向になったら、回すのを止めれば、撮像装置１（ハンドルと等価）の姿勢を元に戻す必要がなくなる。
【００６９】
第５の手法とは、第３の手法と第４の手法とを組み合わせたもの、即ち、通常ハンドル（第３手法）と「微分ハンドル」（第４手法）とを組み合わせた制御を行う、という手法である。
具体的には、α＝Ｃ１×θ＋Ｃ２×ｄθ／ｄｔを演算する手法が、第５の手法である。
【００７０】
第６の手法とは、ユーザが、表示部２０の表示面のタッチパネル等に指で触りながら、撮像装置１を傾ける方向や大きさを変化させることで、その視線方向を変化させるが、その指をタッチパネルから離すと、その時点の視線方向を維持させる、という手法である。
これにより、撮像装置１の姿勢を元に戻す操作が省ける。
【００７１】
第７の手法とは、撮像装置１の本体の位置や姿勢に関わりなく、表示部２０のタッチパネル上での指でなでる（スイープ）操作や、ダイアルの回転操作等に応じて、表示されている主要被写体を所望方向に回転させた仮想スルー画像を表示させたり、幾つかの視点方向から眺めた仮想スルー画像を順次切り替えて表示させたりする、という手法である。
【００７２】
なお、上述の問題を解決する必要が特にない場合、上述の第１の手法乃至第７の手法を採用しなくても、特に構わない。
【００７３】
また、上述の実施形態では、本発明が適用される撮像装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、撮像機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、ポータブルゲーム機等に適用可能である。
【００７４】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図２の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
【００７５】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【００７６】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部２１に含まれるハードディスク等で構成される。
【００７７】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
【００７８】
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００７９】
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
１以上の被写体を所定の撮像方向から撮像し、その結果得られる撮像画像のデータを出力する撮像手段と、
前記撮像手段から出力された前記撮像画像のデータに基づいて、前記１以上の被写体の中から、処理対象として注目すべき注目被写体を決定する注目被写体決定手段と、
前記注目被写体決定手段により決定された前記注目被写体の３次元モデルを生成又は取得する３次元モデル生成取得手段と、
前記撮像手段の位置及び姿勢を示す位置情報を取得する位置情報取得手段と、
前記位置情報取得手段により取得された前記位置情報に応じて特定される視点であって、前記所定の撮像方向とは異なる方向の視点から、前記３次元モデル生成取得手段により生成又は取得された前記注目被写体の３次元モデルを眺望した様子を示す画像のデータを、仮想画像のデータとして生成する仮想画像生成手段と、
前記仮想画像生成手段によりデータとして生成された前記仮想画像の表示を制御する表示制御手段と、
を備える撮像装置。
［付記２］
前記撮像手段は、連続的に繰り返して撮像し、その都度得られる撮像画像のデータを逐次出力し、
前記注目被写体決定手段、前記３次元モデル生成取得手段、前記位置情報取得手段、前記仮想画像生成手段、及び前記表示制御手段は、前記撮像手段から前記撮像画像のデータが逐次出力される毎に処理を実行することで、前記撮像手段から逐次データとして出力される前記撮像画像の各々に対応する前記仮想画像の各々を、連続的に繰り返して表示させる、
付記１に記載の撮像装置。
［付記３］
前記表示制御手段の制御により画像を表示させるモードとして、前記撮像手段からデータとして逐次出力される前記撮像画像を通常のスルー画像として表示させる通常スルー表示モードと、前記撮像手段から逐次データとして出力される前記撮像画像の各々に対応する前記仮想画像の各々を仮想スルー画像として表示させる仮想スルー表示モードとのうち一方を選択するモード選択手段
をさらに備える付記２に記載の撮像装置。
［付記４］
１以上の被写体を所定の撮像方向から撮像し、その結果得られる撮像画像のデータを出力する撮像手段を備える撮像装置が実行する撮像方法において、
前記撮像手段から出力された前記撮像画像のデータに基づいて、前記１以上の被写体の中から、処理対象として注目すべき注目被写体を決定する注目被写体決定ステップと、
前記注目被写体決定ステップの処理により決定された前記注目被写体の３次元モデルを生成又は取得する３次元モデル生成取得ステップと、
前記撮像手段の位置及び姿勢を示す位置情報を取得する位置情報取得ステップと、
前記位置情報取得ステップの処理により取得された前記位置情報に応じて特定される視点であって、前記所定の撮像方向とは異なる方向の視点から、前記３次元モデル生成取得ステップの処理により生成又は取得された前記注目被写体の３次元モデルを眺望した様子を示す画像のデータを、仮想画像のデータとして生成する仮想画像生成ステップと、
前記仮想画像生成ステップの処理によりデータとして生成された前記仮想画像の表示を制御する表示制御ステップと、
を含む撮像方法。
［付記５］
１以上の被写体を所定の撮像方向から撮像し、その結果得られる撮像画像のデータを出力する撮像手段を備える撮像装置を制御するコンピュータに、
前記撮像手段から出力された前記撮像画像のデータに基づいて、前記１以上の被写体の中から、処理対象として注目すべき注目被写体を決定する注目被写体決定機能、
前記注目被写体決定機能により決定された前記注目被写体の３次元モデルを生成又は取得する３次元モデル生成取得機能、
前記撮像手段の位置及び姿勢を示す位置情報を取得する位置情報取得機能、
前記位置情報取得機能により取得された前記位置情報に応じて特定される視点であって、前記所定の撮像方向とは異なる方向の視点から、前記３次元モデル生成取得機能により生成又は取得された前記注目被写体の３次元モデルを眺望した様子を示す画像のデータを、仮想画像のデータとして生成する仮想画像生成機能、
前記仮想画像生成機能によりデータとして生成された前記仮想画像の表示を制御する表示制御機能、
を実現させるためのプログラム。
【符号の説明】
【００８０】
１１・・・ＣＰＵ、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１４・・・画像処理部、１７・・・撮像部、１８・・・操作部、１９・・・センサ部、２０・・・表示部、２１・・・記憶部、２２・・・通信部、２３・・・ドライブ、３１・・・リムーバブルメディア、５１・・・スルー表示モード選択部、５２・・・切替部、５３・・・表示制御部、５４・・・記録制御部、５５・・・位置情報取得部、６１・・・注目被写体決定部、６２・・・３次元モデル生成取得部、６３・・・仮想スルー画像生成部、７１・・・撮像画像記憶部、７２・・・３次元モデル記憶部
【技術分野】
【０００１】
本発明は、ユーザが身体を固定したまま撮像装置のみを移動させるだけで、所望の構図の画像を視認することが可能になる、撮像装置及び撮像方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来より、デジタルカメラ等の撮像装置は、その裏面等に表示部を有しており、シャッタ釦の押下操作等の記録指示操作がなされる前の段階から、被写体を撮像方向（レンズの光軸の方向）からみた様子を示す画像を表示部にリアルタイム表示している。
このような画像は、一般的に、「ライブビュー画像」や「スルー画像」と呼ばれている。なお、本明細書では、「スルー画像」という呼称に統一して説明することにする。
【０００３】
ユーザは、撮像装置を手等で保持した状態で移動させたり回転させたりして、その都度、スルー画像をみて所望の構図となっているか否かを確認する。そして、ユーザは、所望の構図のスルー画像が表示部に映っていることを確認すると、その状態を維持したまま、シャッタ釦の押下操作等の記録指示操作をする。
すると、撮像装置は、記録指示操作がなされた段階で撮像している画像のデータ、即ち、当該所望の構図のスルー画像と略同一の画像のデータを、メモリカード等に記録する。
【０００４】
このように、ユーザは、記録指示操作をする前に、所望の構図を決定するために、スルー画像を活用することが多い。
しかしながら、スルー画像とは、上述の如く、現時点の撮像方向（レンズの光軸の方向）から被写体をみた様子を示す画像である。このため、ユーザが直立不動して撮像装置のみを手で移動させただけでは所望の構図が得られない場合、ユーザ自身の身体を移動させなければならないため、ユーザにとって、所望の構図を決定する操作は負担なものになっている。
このような状況から、ユーザが身体を固定したまま撮像装置のみを移動させるだけで、所望の構図の画像を視認したいという要求が、近年多くのユーザから挙げられている。ただし、当該要求に応えるためには、現時点で肉眼視できないものを表示させる技術が必要になる。
【０００５】
現時点で肉眼視できないものを表示させる従来の技術として、赤外線カメラ、暗視カメラ、赤外線サーモグラフィカメラ等で特殊な画像を表示させる技術が知られている。
ただし、これらの特殊な画像は、あくまでも、現時点の撮像方向（レンズの光軸の方向）の画角の範囲内に映る画像である。
しかしながら、現時点で肉眼視できないものとして表示させる対象は、現在の視点からは肉眼視できない対象、即ち、現時点の撮像方向の画角の範囲外にある対象である。換言すると、仮に視点を移動させれば肉眼視が可能になる対象であって、視点を移動させるためにはユーザが身体を移動させなければならない対象を、表示させることが必要になる。例えば、撮像装置が、所定物体の正面側に向いている場合、当該所定物体の背面側を表示させることが必要になる。
【０００６】
このような必要性に応え得る従来の技術としては、仮想世界を構築可能なＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）の技術（以下、「ＣＧ技術」と呼ぶ）が存在する。
例えば、非特許文献１には、予め用意された３次元形状のモデルを用いて、所定視点から当該モデルを眺めた様子を示す画像を描画可能なＣＧ技術が開示されている（非特許文献１参照）。
このような非特許文献１の技術を受けて、特許文献１や２には、予め用意された対象物体の３次元形状データに基づいて、任意の視点から当該対象物体を眺めた様子を示す画像を表示可能なＣＧ技術が記載されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００２−２９８１６０号公報
【特許文献２】特開２００４−２７１６７１号公報
【非特許文献】
【０００８】
【非特許文献１】渋沢英次郎『代数学的誤差の最小化に基づく未校正多視点画像からの三次元復元に関する研究』博士学位論文，電気通信大学 大学院 電気通信学研究科，Ｍａｒｃｈ，２０１０．
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、非特許文献１並びに特許文献１及び２に記載のＣＧ技術を含め、従来のＣＧ技術を適用して、任意の視点から眺めた所定物体の画像を表示するためには、当該所定物体の３次元モデル（３次元形状データ）が予め用意されていることが前提になる。
従って、このような前提が必要になる従来のＣＧ技術をそのまま適用しても、上述の要望に応えること、即ち、ユーザが身体を固定したまま撮像装置のみを移動させるだけで、所望の構図の画像を視認したいという要求に応えることは困難である。
【００１０】
本発明は、このような状況に鑑みてなされたものであり、ユーザが身体を固定したまま撮像装置のみを移動させるだけで、所望の構図の画像を視認可能にすることを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するため、本発明の一態様の撮像装置は、
１以上の被写体を所定の撮像方向から撮像し、その結果得られる撮像画像のデータを出力する撮像手段と、
前記撮像手段から出力された前記撮像画像のデータに基づいて、前記１以上の被写体の中から、処理対象として注目すべき注目被写体を決定する注目被写体決定手段と、
前記注目被写体決定手段により決定された前記注目被写体の３次元モデルを生成又は取得する３次元モデル生成取得手段と、
前記撮像手段の位置及び姿勢を示す位置情報を取得する位置情報取得手段と、
前記位置情報取得手段により取得された前記位置情報に応じて特定される視点であって、前記所定の撮像方向とは異なる方向の視点から、前記３次元モデル生成取得手段により生成又は取得された前記注目被写体の３次元モデルを眺望した様子を示す画像のデータを、仮想画像のデータとして生成する仮想画像生成手段と、
前記仮想画像生成手段によりデータとして生成された前記仮想画像の表示を制御する表示制御手段と、
を備えることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、ユーザが身体を固定したまま撮像装置のみを移動させるだけで、所望の構図の画像を視認することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。
【図２】図１の撮像装置の機能的構成のうち、仮想スルー表示処理を含む撮像記録処理の実行機能を実現する機能的構成を示す機能ブロック図である。
【図３】図２の機能的構成を有する図１の撮像装置が実行する撮像記録処理の流れを説明するフローチャートである。
【図４】仮想スルー表示処理の結果について、通常スルー表示処理の結果と比較しながら説明する図である。
【図５】図３の撮像記録処理のうち、仮想スルー表示処理の流れの詳細の一例を説明するフローチャートである。
【図６】図５の仮想スルー表示処理のうち、３次元モデル生成処理の流れの詳細の一例を説明するフローチャートである。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態について、図面を用いて説明する。
【００１５】
図１は、本発明の一実施形態に係る撮像装置１のハードウェアの構成を示すブロック図である。
撮像装置１は、例えばデジタルカメラとして構成される。
【００１６】
撮像装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、画像処理部１４と、バス１５と、入出力インターフェース１６と、撮像部１７と、操作部１８と、センサ部１９と、表示部２０と、記憶部２１と、通信部２２と、ドライブ２３と、を備えている。
【００１７】
ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部２１からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
【００１８】
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００１９】
画像処理部１４は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）や、ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成されており、ＣＰＵ１１と協働して、画像のデータに対して各種画像処理を施す。
【００２０】
ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、及び画像処理部１４は、バス１５を介して相互に接続されている。このバス１５にはまた、入出力インターフェース１６も接続されている。入出力インターフェース１６には、撮像部１７、操作部１８、センサ部１９、表示部２０、記憶部２１、通信部２２及びドライブ２３が接続されている。
【００２１】
撮像部１７は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
【００２２】
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
【００２３】
イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、デジタル信号が生成され、撮像部１７の出力信号として出力される。
このような撮像部１７の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、ＣＰＵ１１等に適宜供給される。
【００２４】
操作部１８は、シャッタ釦等の各種釦で構成され、ユーザの指示操作に応じて各種情報を入力する。
【００２５】
センサ部１９は、例えば、３軸地磁気センサ、３軸加速度センサ、傾斜センサ、距離センサ等で構成され、撮像部１７の姿勢や位置を検出する。
ＣＰＵ１１は、センサ部１９の検出結果に基づいて、撮像装置１の方位角、撮像装置１の傾斜、被写体と撮像装置１との間の距離等、被写体に対する相対的な撮像装置１の姿勢や位置を示す情報（以下、「撮像装置１の位置情報」と呼ぶ）を算出する。
例えば、センサ部１９の３軸地磁気センサは、地磁気の方向の３軸（Ｘ，Ｙ，Ｚ）成分を検出する。ＣＰＵ１１は、この３軸地磁気センサの検出結果に基づいて、撮像装置１の方位角を算出する。
また例えば、傾斜センサは、例えば、圧電振動ジャイロで構成され、加えられた角速度に対応した電圧値を出力する。ＣＰＵ１１は、傾斜センサから出力される電圧値を積分することによって、傾斜の変化量を算出し、当該傾斜の変化量に基づいて撮像装置１の傾斜を算出する。
なお、ＣＰＵ１１は、３軸地磁気センサや傾斜センサの検出結果を、任意の姿勢（傾斜角度）状態においても方位及び傾斜の計測が可能な３軸加速度センサの検出結果を用いて補正し、その補正結果に基づいて撮像装置１の方位角や傾斜を算出するようにしてもよい。
距離センサは、非接触の対象物との距離を検出する。ＣＰＵ１１は、距離センサの検出結果に基づいて、被写体と撮像装置１との間の距離を算出する。
【００２６】
表示部２０は、液晶ディスプレイ等で構成され、撮像画像等の各種画像を表示する。
記憶部２１は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２２は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
【００２７】
ドライブ２３には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２３によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部２１にインストールされる。また、リムーバブルメディア３１は、記憶部２１に記憶されている画像のデータ等の各種データも、記憶部２１と同様に記憶することができる。
【００２８】
このような構成の撮像装置１は、被写体を撮像し、その結果得られる撮像画像のデータをリムーバブルメディア３１等に記録するまでの一連の処理（以下、「撮像記録処理」と呼ぶ）を実行することができる。
本実施形態の撮像記録処理においては、ＣＰＵ１１は、操作部１８のシャッタ釦の押下操作がなされたことを、撮像画像の記録指示であると認識し、当該押下操作直後に撮像された撮像画像のデータをリムーバブルメディア３１等に記録する。
【００２９】
このような撮像画像の記録指示の前には、ＣＰＵ１１は、スルー撮像処理及びスルー表示処理を実行することで、スルー画像を表示部２０に表示させる。
具体的には、ＣＰＵ１１は、撮像記録処理が開始されると、撮像部１７による撮像動作を継続させる。そして、ＣＰＵ１１は、撮像部１７による撮像動作が継続されている間、当該撮像部１７から順次出力される撮像画像のデータを、メモリ（本実施形態では記憶部２１）に一時的に記憶させる。このような一連の制御処理が、ここでいう「スルー撮像処理」である。
また、ＣＰＵ１１は、スルー撮像処理の最中にメモリ（本実施形態では記憶部２１）に一時的に記録された各撮像画像のデータを順次読み出して、当該撮像画像を表示部２０に順次表示させる。このような一連の制御処理が、ここでいう「スルー表示処理」であり、スルー表示処理により表示部２０に表示されている撮像画像が、ここでいう「スルー画像」である。
【００３０】
本実施形態では、撮像装置１は、スルー表示処理中の動作モード（以下、「スルー表示モード」と呼ぶ）として、通常表示モードと仮想表示モードとを有しており、これら２種類の動作モードを自在に切り替えることができる。
「通常表示モード」とは、通常通り、現時点で撮像された撮像画像そのものをスルー画像として表示部２０に表示させるモードをいう。なお、以下、通常表示モードにおけるスルー表示処理を、「通常スルー表示処理」と呼ぶ。
「仮想表示モード」とは、次のような一連の処理の結果得られる、仮想的な画像のスルー画像（以下、「仮想スルー画像」と呼ぶ）を表示部２０に表示させるモードをいう。
即ち、ＣＰＵ１１は、現時点で撮像された撮像画像のデータに基づいて、当該撮像画像に含まれる被写体のうち、処理の対象として注目すべき被写体（以下、「注目被写体」と呼ぶ）を認識し、当該注目被写体の３次元モデルを作成又は取得する。ＣＰＵ１１は、当該３次元モデルに基づいて、現時点の状態とは異なる姿勢又は位置で撮像部１７が注目被写体を撮像したと仮定した場合に得られる仮想的な画像のデータを、推定演算する。そして、ＣＰＵ１１は、当該仮想的な画像を仮想スルー画像として表示部２０に表示させる。なお、以下、このような一連の処理、即ち、仮想表示モードにおけるスルー表示処理を、「仮想スルー表示処理」と呼ぶ。
【００３１】
図２は、撮像装置１の機能的構成のうち、このような仮想スルー表示処理を含む撮像記録処理の実行機能を実現する機能的構成を示す機能ブロック図である。
【００３２】
撮像記録処理が実行される場合、ＣＰＵ１１においては、スルー表示モード選択部５１と、切替部５２と、表示制御部５３と、記録制御部５４と、が機能する。
なお、スルー表示モード選択部５１乃至記録制御部５４の各々の機能の説明については、後述する図３の撮像記録処理のうち、関連するステップの処理の説明の際に併せて行うものとする。
本実施形態では、スルー表示モード選択部５１乃至記録制御部５４の各々は、図１に示す構成のうち、ＣＰＵ１１というハードウェアと、ＲＯＭ１２等に記憶されたプログラム（ソフトウェア）との組み合わせとして構成されている。
しかしながら、これは例示にすぎず、スルー表示モード選択部５１乃至記録制御部５４の各機能のうち少なくとも一部を、ＣＰＵ１１以外の他の構成要素（画像処理部１４等）に移譲させることも当然可能である。
【００３３】
撮像記録処理が実行される場合、画像処理部１４においては、注目被写体決定部６１と、３次元モデル生成取得部６２と、仮想スルー画像生成部６３と、が機能する。
なお、注目被写体決定部６１乃至仮想スルー画像生成部６３の各々の機能の説明については、後述する図３の撮像記録処理のうち、関連するステップの処理の説明の際に併せて行うものとする。
本実施形態では、注目被写体決定部６１乃至仮想スルー画像生成部６３の各々は、図１に示す構成のうち、画像処理部１４単体、又は、当該画像処理部１４というハードウェアと、ＲＯＭ１２等に記憶されたプログラム（ソフトウェア）との組み合わせとして構成されている。
しかしながら、これは例示にすぎず、注目被写体決定部６１乃至仮想スルー画像生成部６３の各機能のうち少なくとも一部を、画像処理部１４以外の他の構成要素（ＣＰＵ１１等）に移譲させることも当然可能である。
【００３４】
また、本実施形態では、記憶部２１の一領域として、撮像画像記憶部７１と、３次元モデル記憶部７２、とが設けられている。
撮像画像記憶部７１及び３次元モデル記憶部７２の各々の記憶内容の具体例については、後述する図３の撮像記録処理のうち、関連するステップの処理の説明の際に併せて示すものとする。
なお、撮像画像記憶部７１及び３次元モデル記憶部７２が記憶部２１の一領域として設けられているが、これも例示にすぎず、撮像画像記憶部７１及び３次元モデル記憶部７２は、記憶部２１以外の記憶領域、例えばリムーバブルメディア３１の一領域として設けるようにしてもよい。また、撮像画像記憶部７１及び３次元モデル記憶部７２は、撮像装置１に設けられている必要は特になく、例えば通信部２２を介して接続される他の装置内に設けられていてもよい。
【００３５】
次に、図３を参照して、このような図２の機能的構成を有する撮像装置１が実行する撮像記録処理について説明する。
図３は、図２の機能的構成を有する撮像装置１が実行する撮像記録処理の流れの一例を説明するフローチャートである。
【００３６】
撮像記録処理は、例えば、ユーザの操作部１８に対する所定操作により、撮像装置１の動作モードが撮像モード等の特定モードに切り替えられると、それを契機として開始される。
なお、撮像記録処理が開始されてから終了するまでの間、撮像部１７は撮像動作を継続し、その間、当該撮像部１７から順次出力される撮像画像のデータは、撮像画像記憶部７１に記憶されるものとする。
【００３７】
ステップＳ１において、スルー表示モード選択部５１は、スルー表示モードとして、仮想スルー表示モードが選択されたか否かを判定する。
即ち、ユーザは、操作部１８に対する所定の操作をすることで、スルー表示モードとして、通常スルー表示モードと仮想スルー表示モードとのうちの所望のモードを選択することができる。
【００３８】
このようなユーザの操作により通常スルー表示モードが選択された場合、ステップＳ１においてＮＯであると判定される。この場合、スルー表示モード選択部５１は、切替部５２の出力端を表示制御部５３側に切り替える。すると、撮像部１７から出力されて撮像画像記憶部７１に一旦記憶されていた撮像画像のデータは、切替部５２を介して、表示制御部５３に供給される。
ステップＳ２において、ＣＰＵ１１の表示制御部５３は、通常スルー表示処理を実行して、このような撮像画像をそのままスルー画像として表示部２０に表示させる。
【００３９】
これに対して、ユーザの操作により仮想スルー表示モードが選択された場合、ステップＳ１においてＹＥＳであると判定される。この場合、スルー表示モード選択部５１は、切替部５２の出力端を画像処理部１４の注目被写体決定部６１側に切り替える。すると、撮像部１７から出力されて撮像画像記憶部７１に一旦記憶されていた撮像画像のデータは、切替部５２を介して、画像処理部１４の注目被写体決定部６１に供給される。
ステップＳ３において、画像処理部１４及びＣＰＵ１１は、仮想スルー表示処理を実行して、仮想スルー画像を表示部２０に表示させる。
【００４０】
このようにして、ステップＳ２の通常スルー表示処理で通常のスルー画像が表示されるか、或いは、ステップＳ３の仮想スルー表示処理で仮想スルー画像が表示されると、処理はステップＳ４に進む。
ステップＳ４において、記録制御部５４は、操作部１８のシャッタ釦が押下操作されたか否かを判定する。
ユーザによりシャッタ釦が押下操作されていない場合、ステップＳ４においてＮＯであると判定されて、処理はステップＳ１に戻され、それ以降の処理が繰り返される。即ち、シャッタ釦が押下操作されるまでの間、ステップＳ１乃至Ｓ４のループ処理が繰り返し実行され、通常のスルー画像又は仮想スルー画像が表示部２０に表示される。
【００４１】
例えば、仮想スルー表示モードが維持されている場合には、ステップＳ１：ＹＥＳ、ステップＳ３、及びステップＳ４：ＮＯのループ処理が繰り返し実行され、仮想スルー画像があたかもリアルタイム表示のように表示される。即ち、撮像部１７は、連続的に繰り返して撮像し、その都度得られる撮像画像のデータを逐次出力する。この場合、注目被写体決定部６１、３次元モデル生成取得部６２、位置情報取得部５５、仮想スルー画像生成部６３、及び表示制御部５３は、撮像部１７から撮像画像のデータが逐次出力される毎に、後述する各機能に基づく処理をそれぞれ実行する。これにより、撮像部１７から逐次データとして出力される撮像画像の各々に対応する仮想スルー画像の各々が、表示部２０に連続的に繰り返して表示される。
よって、ユーザは、身体をほぼ固定した状態で、仮想スルー画像を適宜見ながら撮像装置１の位置及び姿勢を移動させ、所望の構図の画像が仮想スルー画像として表示されたか否かを確認することができる。
ここで、上述したように、表示制御部５３の制御によりスルー画像を表示させるモードとして、撮像部１７からデータとして逐次出力される撮像画像を通常のスルー画像として表示させる通常スルー表示モードと、撮像部１７から逐次データとして出力される撮像画像の各々に対応する仮想スルー画像の各々を表示させる仮想スルー表示モードとが存在する。スルー表示モード選択部５１は、これらの通常スルー表示モードと仮想スルー表示モードとのうち一方を選択することができる。
そこで、仮想スルー画像として所望の構図の画像が得られた場合には、今度は、ユーザは、操作部１８を操作して、スルー表示モードとして通常表示スルーモードを指示することができる。これにより、スルー表示モード選択部５１は、通常スルー表示モードを選択する。すると、ステップＳ１：ＮＯ、ステップＳ２、及びステップＳ４：ＮＯのループ処理が繰り返し実行され、今度は、通常スルー画像がリアルタイム表示される。
これにより、ユーザは、所望の構図の通常のスルー画像が表示されるまで、撮像装置１の位置及び姿勢を移動させると共に、必要に応じて、その身体も移動させる。
このようにして、ユーザは、通常のスルー画像又は仮想スルー画像を適宜見ながら撮像装置１の位置及び姿勢を移動させ、或いはその身体を適宜移動させて、所望の構図の通常のスルー画像が表示されたことを確認すると、その段階で、操作部１８のシャッタ釦を押下操作する。
すると、ステップＳ４においてＹＥＳであると判定されて、処理はステップＳ５の処理に進む。ステップＳ５において、記録制御部５４は、その時点で撮像画像記憶部７１に記憶されている撮像画像のデータを取得して、リムーバブルメディア３１に記録させる。
これにより、撮像記録処理が終了となる。
【００４２】
さらに以下、このような撮像記録処理のうち、ステップＳ３の仮想スルー表示処理について説明する。
【００４３】
図４は、仮想スルー表示処理の結果について、通常スルー表示処理の結果と比較しながら説明する図である。
図４（Ａ）は、図３の撮像記録処理の開始直後の初期状態において、撮像装置１が、人物Ｍａの前面と対向する姿勢で、当該人物Ｍａを撮像した様子を示している。
なお、初期状態では、撮像装置１の基準姿勢を確定する必要があるため、通常スルー表示処理が実行された場合のみならず、仮想スルー表示処理が実行された場合でも、図４（Ａ）に示すように、撮像装置１が人物Ｍａを撮像した結果得られる撮像画像がそのまま、スルー画像ＳＰ１として表示されるものとする。
図４（Ｂ）は、撮像装置１が、初期状態の基準姿勢に対して、図示せぬユーザ（撮像装置１の操作者）からみて左方向に回転移動して、人物Ｍａの斜め側面と対向する姿勢で、通常スルー表示処理（図３のステップＳ２）を実行して、当該人物Ｍａを撮像した様子を示している。
この場合、図４（Ｂ）に示すように、撮像装置１が人物Ｍａを撮像した結果得られる撮像画像がそのまま、スルー画像ＳＰ２として表示部２０に表示される。
図４（Ｃ）は、撮像装置１が、初期状態の基準姿勢に対して、図示せぬユーザ（撮像装置１の操作者）からみて左方向に回転移動した姿勢、即ち図４（Ｂ）と同一の姿勢で、仮想スルー表示処理（図３のステップＳ３）を実行して、当該人物Ｍａを撮像した様子を示している。
この場合、本来、撮像装置１の画角の範囲内の人物Ｍａの斜め側面が写るところ（図４（Ｂ）のスルー画像ＳＰ２参照）、撮像装置１の画角の範囲外の人物Ｍａの背面（後頭部）があたかも写っている仮想スルー画像ＶＳＰ２が、表示部２０に表示される。
【００４４】
このように、ユーザ（撮像装置１の操作者）は、操作部１８を操作して仮想スルー表示モードを選択した後、自身が実際に長い距離を移動して回り込む等することなく、撮像装置１の位置や姿勢を少し移動させるだけで、撮像装置１により仮想スルー表示処理（図３のステップＳ３）が実行される。その結果、ユーザは、自身が移動して回り込んで撮像した場合に得られる撮像画像と等価な仮想スルー画像を容易に視認することができる。
また、被写体の存在位置によっては回り込むことが不可能な場所も存在する。このような場合であっても、ユーザは、そのような場所で撮像した場合に得られる撮像画像と等価な仮想スルー画像を容易に視認することができる。
これにより、ユーザにとっては、被写体の撮像アングルを決める作業が著しく楽になり、被写体を撮影するまでに要する時間が短縮される。また、モデル（被写体）にとっても、長時間同一のポーズを強いられたり、立ち位置を変えて同一ポーズを取ったりする苦痛から開放される。
以上まとめると、ユーザは、その手で撮像装置１を保持して、傾けたり回したりして、当該撮像装置１の位置及び姿勢を少しだけ変化させるだけの直感的操作をするだけで、被写体を様々な視点から眺望することが容易にできる。その結果、ユーザは、被写体の周囲を回ったり、或いは被写体の方を動かしたりする必要はなくなる。このため、ユーザは、被写体の外観や形状を、わかりやすく把握したり、詳しく調べたりすることが容易に可能になる。即ち、ユーザは、その場から大きく動くことなく、撮像方向、撮像角度、構図等の理想的な撮像条件を詳しく吟味や検討して、所望の撮像条件で被写体を撮像することが容易にできる。
即ち、ユーザが身体を固定したまま撮像装置１のみを移動させるだけで、所望の構図の画像を仮想スルー画像により視認することが可能になる。
【００４５】
さらに以下、このような仮想スルー表示処理の詳細について説明する。
図５は、図３の撮像記録処理のうち、ステップＳ３の仮想スルー表示処理の流れの詳細の一例を説明するフローチャートである。
【００４６】
ステップＳ２１において、図２の画像処理部１４の注目被写体決定部６１は、撮像画像のデータに基づいて、当該撮像画像に含まれる被写体の中から、注目被写体を決定する。
なお、注目被写体の決定手法は、特に限定されず、例えば図示はしないがユーザが操作部１８を操作して選択した被写体を、注目被写体として決定する手法を採用してもよい。或いはまた、公知の又は今後登場するであろう顔検出処理や注目領域検出処理の結果に基づいて注目被写体を決定する手法を、注目被写体の決定手法として採用することもできる。
ステップＳ２１の処理で決定された注目被写体に関する情報と、当該注目被写体を含む撮像画像のデータとが、注目被写体決定部６１から３次元モデル生成取得部６２に供給されると、処理はステップＳ２２に進む。
【００４７】
ステップＳ２２において、ＣＰＵ１１の位置情報取得部５５は、センサ部１９の検出結果に基づいて、撮像装置１の方位角、撮像装置１の傾斜、注目被写体と撮像装置１との間の距離等、撮像装置１の位置及び姿勢を示す情報を、注目被写体に対する相対的な撮像装置１の位置情報として取得する。
撮像装置１の位置情報が、位置情報取得部５５から３次元モデル生成取得部６２に供給されると、処理はステップＳ２３に進む。
【００４８】
ステップＳ２３において、画像処理部１４の３次元モデル生成取得部６２は、注目被写体の３次元モデルは生成済みか否かを判定する。
注目被写体と同一又は類似する３次元モデルが３次元モデル記憶部７２に既に記憶されている場合、例えば過去に実行されたステップＳ２５の３次元モデル生成処理（処理内容は後述する）の結果として既に記憶されている場合、ステップＳ２３においてＹＥＳであると判定されて、処理はステップＳ２４に進む。
ステップＳ２４において、３次元モデル生成取得部６２は、注目被写体の３次元モデルを３次元モデル記憶部７２から取得する。
これに対して、注目被写体と同一又は類似する３次元モデルが３次元モデル記憶部７２に１つも記憶されていない場合、ステップＳ２３においてＮＯであると判定されて、処理はステップＳ２５に進む。
ステップＳ２５において、３次元モデル生成取得部６２は、注目被写体の３次元モデルを生成して、３次元モデル記憶部７２に記憶させるまでの一連の処理（以下、このような一連の処理を「３次元モデル生成処理」と呼ぶ）を実行する。なお、３次元モデル生成処理の詳細については、図６のフローチャートを参照して後述する。
このようにして、ステップＳ２４の処理で取得されるか又はステップＳ２５の処理で生成された注目被写体の３次元モデルが、ステップＳ２２の処理で取得された撮像装置１の位置情報、及び撮像画像のデータとともに、３次元モデル生成取得部６２から仮想スルー画像生成部６３に供給されると、処理はステップＳ２６に進む。
【００４９】
ステップＳ２６において、画像処理部１４の仮想スルー画像生成部６３は、撮像装置１の位置情報と、注目被写体の３次元モデルと、撮像画像のデータとに基づいて、仮想スルー画像のデータを生成する。
ステップＳ２７において、ＣＰＵ１１の表示制御部５３は、ステップＳ２６の処理で仮想スルー画像生成部６３によりデータとして生成された仮想スルー画像を、表示部２０に表示させる。
【００５０】
例えば、仮想スルー画像生成部６３は、ステップＳ２６の処理として、撮像装置１の位置情報に対応付けられた視点から、注目被写体の３次元モデルを眺望した様子を示す２次元像（当該視点からみた場合の注目被写体の像）を、撮像画像の背景等の像に合成した合成画像のデータを、仮想スルー画像のデータとして生成する。
ここで、撮像装置１の位置情報に対応付けられた視点とは、撮像装置１の撮像方向（撮像部１７の光軸方向）とは異なる方向からの視点である。具体的には、図４の例でいえば、撮像装置１の撮像方向（撮像部１７の光軸方向）の視点で人物Ｍａを眺望した様子（人物Ｍａの斜め側面をみた様子）が、図４（Ｂ）に示す通常のスルー画像ＳＰ２である。これに対して、撮像装置１の撮像方向（撮像部１７の光軸方向）とは異なる方向からの視点で人物Ｍａの３次元モデルを眺望した様子（人物Ｍａの３次元モデルの背面、即ち後頭部をみた様子）が、図４（Ｃ）に示す仮想スルー画像ＶＳＰ２である。即ち、ステップＳ２７の処理で、図４に示す仮想スルー画像ＶＳＰ２等が表示部２０に表示される。
より具体的には、図４（Ａ）に示す撮像装置１の基準姿勢の水平方向の角度を０度とするならば、撮像装置１の水平方向の実際の回転角度θの位置を視点として採用すると、単に、図４（Ｂ）に示す通常のスルー画像ＳＰ２と等価な画像しか表示されない。そこで、図４の例では、実際の回転角度θに所定の係数Ａ（＞１）を掛けて得られる回転角度α（＝Ａ×θ）、即ち、実際の回転角度θよりも大きな回転角度αの仮想位置が視点として採用されており、当該視点で人物Ｍａの３次元モデルを眺望した様子が、図４（Ｃ）に示す仮想スルー画像ＶＳＰ２として、ステップＳ２７の処理で表示部２０に表示されるのである。
このようにして、仮想スルー画像ＶＳＰ２等が表示部２０に表示されると、仮想スルー表示処理が終了する。即ち、図３のステップＳ３の処理が終了し、処理はステップＳ４に進む。
【００５１】
次に、このような図５の仮想スルー表示処理のうち、ステップＳ２５の３次元モデル生成処理の詳細について説明する。
図６は、図５の仮想スルー表示処理のうち、ステップＳ２５の３次元モデル生成処理の流れの詳細の一例を説明するフローチャートである。
【００５２】
ステップＳ４１において、３次元モデル生成取得部６２は、異なる視点から注目被写体を撮像した結果得られる複数の撮像画像のデータを、撮像画像記憶部７１から切替部５２を介して取得する。
なお、このステップＳ４１の処理時点に、複数の撮像画像のデータが存在すれば足り、当該複数の撮像画像の撮像タイミングは、特に限定されない。また、注目被写体そのもの（原物）を撮像したものである必要はなく、類似のものを過去に撮像した結果得られる撮像画像のデータが取得されてもよい。さらに、このような複数の撮像画像のデータの取得先は、撮像画像記憶部７１である必要は特になく、その他、リムーバブルメディア３１や、通信部２２により通信が可能な他の装置であってもよい。
【００５３】
ステップＳ４２において、３次元モデル生成取得部６２は、ステップＳ２１の処理で取得された複数の画像データに対して、前処理（例えば、鮮鋭化、ノイズ除去、傾斜補正等の各種画像処理）を施す。
【００５４】
ステップＳ４３において、３次元モデル生成取得部６２は、ステップＳ２１の処理で取得された複数の撮像画像のデータに関し、それらが撮像された時点の撮像装置の位置情報が取得されたか否かを判定する。
ここで、複数の撮像画像が撮像部１７により撮像されたものである場合、センサ部１９の検出結果に基づいて位置情報取得部５５によって取得される「撮像装置１の位置情報」が、ステップＳ４３における「撮像装置の位置情報」に該当する。一方、複数の撮像画像が他の撮像装置によって撮像されたものである場合、当該他の撮像装置によって取得された、「撮像装置１の位置情報」と等価な情報が、「撮像装置の位置情報」に該当する。
これらの「撮像装置の位置情報」が取得できなかった場合、ステップＳ４３においてＮＯであると判定されて、処理はステップＳ４７に進む。ただし、ステップＳ４７以降の処理については後述する。
これに対して、これらの「撮像装置の位置情報」が取得できた場合、ステップＳ４３においてＹＥＳであると判定されて、処理はステップＳ４４に進む。
【００５５】
ステップＳ４４において、３次元モデル生成取得部６２は、ステップＳ４１の処理で取得された複数の撮像画像のデータの各々から、注目被写体の輪郭（エッジ）を抽出し、当該輪郭を特定可能な画像のデータ（以下、「輪郭画像データ」と呼ぶ）を生成する。
【００５６】
ステップＳ４５において、３次元モデル生成取得部６２は、ステップＳ４１の処理でデータとして取得された複数の撮像画像の各々についての、「撮像装置の位置情報」と輪郭画像データとに基づいて、注目被写体の３次元モデル（３次元形状データ）を生成する。
ステップＳ４６において、３次元モデル生成取得部６２は、このようにして生成した注目被写体の３次元モデルを、３次元モデル記憶部７２に記憶させる。
なお、注目被写体の３次元モデルを３次元モデル記憶部７２に記憶させる場合のデータ構造は、特に限定されず、例えば、ワイヤーフレーム・モデル、サーフェス・モデル、ソリッド・モデル、ＣＳＧ（Ｃｏｎｓｔｒｕｃｔｉｖｅ Ｓｏｌｉｄ Ｇｅｏｍｅｔｒｙ）表現、又は境界表現等に基づくデータ構造を採用することができる。
【００５７】
このようにして、ステップＳ４１の処理で取得された複数の撮像画像のデータの各々に関する「撮像装置の位置情報」が取得できた場合には、ステップＳ４３の処理でＹＥＳであると判定された後、ステップＳ４４乃至Ｓ４６の処理が実行されて、注目被写体の３次元モデルが生成されて、３次元モデル記憶部７２に記憶される。これにより、３次元モデル生成処理が終了し、即ち図５のステップＳ２５の処理が終了し、処理はステップＳ２６に進む。
【００５８】
これに対して、ステップＳ４１の処理で取得された複数の撮像画像のデータの各々に関する「撮像装置の位置情報」が取得できなかった場合には、ステップＳ４３の処理でＮＯであると判定されて、処理はステップＳ４７に進む。
ステップＳ４７において、３次元モデル生成取得部６２は、因子分解法を適用するか否かを判定する。
【００５９】
因子分解法を適用すると判定された場合、ステップＳ４７においてＹＥＳであると判定されて、処理はステップＳ４８に進む。
ステップＳ４８において、３次元モデル生成取得部６２は、因子分解法で、注目被写体の３次元モデルを生成する。
因子分解法とは、被写体の奥行きがカメラ（ここでは撮像装置１）との距離に比べて十分に小さい場合に、当該被写体の３次元形状（３次元モデル）を求める式が、行列の因子分解で解ける線形の連立方程式になることを利用した手法をいう。因子分解法は、被写体から十分な距離をとって撮像した複数の撮像画像のデータから３次元形状（３次元モデル）を求める場合に適用すると好適である。
具体的には、ステップＳ４８の処理として、次のような処理が実行される。
３次元モデル生成取得部６２は、ステップＳ４１の処理で取得された複数の撮像画像（異なる視点からの各注目被写体の撮像画像）のデータから、注目被写体の輪郭外形や顔の特徴部位を表す要素、例えば、線分、曲線、特徴点等の要素を抽出する。
３次元モデル生成取得部６２は、ステップＳ４１の処理で取得された複数の撮像画像のデータから、主要点の点特徴を抽出し、各特徴点と対応付ける。
３次元モデル生成取得部６２は、このような対応付けに基づいて、主要被写体の３次元形状情報を復元するようにして、主要被写体の３次元モデルを生成する。
なお、因子分解法のさらなる詳細については、非特許文献１を参照するとよい。
【００６０】
このような因子分解法を適用しないと判定された場合、ステップＳ４７においてＮＯであると判定されて、処理はステップＳ４９に進む。
ステップＳ４９において、３次元モデル生成取得部６２は、視体積交差法で、注目被写体の３次元モデルを生成する。
具体的には、ステップＳ４９の処理として、次のような処理が実行される。
３次元モデル生成取得部６２は、形状を記憶する３次元ボクセル空間を用意し、これを立方格子に分割する。
３次元モデル生成取得部６２は、ステップＳ４１の処理で取得された複数の撮像画像（異なる視点からの各注目被写体の撮像画像）のデータから、処理対象となる各多視点画像のシルエット画像のデータを生成する。
３次元モデル生成取得部６２は、処理対象となる各多視点画像のシルエット画像のデータを用いて、立方格子に分割した各ボクセルに対して正射影による逆投影を実施する。
３次元モデル生成取得部６２は、各ボクセルについて処理対象画像のシルエットが内在するか否かを判定し、内在するボクセルを残し、他のボクセルを削除する。
３次元モデル生成取得部６２は、残存したボクセルの集合に基づいて、主要被写体の３次元形状モデルを生成する。
【００６１】
このようにして、ステップＳ４８の処理においては因子分解法で、或いはステップＳ４９の処理においては視体交差法で、注目被写体の３次元モデルが生成されると、次のステップＳ４６の処理で、当該注目被写体の３次元モデルが３次元モデル記憶部７２に記憶される。これにより、３次元モデル生成処理が終了し、即ち図５のステップＳ２５の処理が終了し、処理はステップＳ２６に進む。
【００６２】
なお、注目被写体の３次元モデルの生成手法は、図６に示される手法に特に限定されず、例えば、撮像装置１として２眼カメラやステレオカメラ等を採用し、これらの２眼カメラやステレオカメラ等の撮像画像のデータを用いる手法を採用してもよい。
【００６３】
以上説明したように、本実施形態の撮像装置１は、撮像部１７と、注目被写体決定部６１と、３次元モデル記憶部７２と、３次元モデル生成取得部６２と、仮想スルー画像生成部６３と、を備える。
撮像部１７は、１以上の被写体を所定の撮像方向から撮像し、その結果得られる撮像画像のデータを出力する。
注目被写体決定部６１は、撮像部１７から出力された撮像画像のデータに基づいて、１以上の被写体の中から、処理対象として注目すべき注目被写体を決定する。
３次元モデル生成取得部６２は、注目被写体決定部６１により決定された注目被写体の３次元モデルを生成又は取得する。
位置情報取得部５５は、撮像装置１の位置及び姿勢を示す撮像装置１の位置情報、より正確には撮像部１７の位置及び姿勢を示す位置情報を取得する。
仮想スルー画像生成部６３は、位置情報取得部５５により取得された位置情報に応じて特定される視点であって、所定の撮像方向とは異なる方向の視点から、３次元モデル生成取得部６２により生成又は取得された注目被写体の３次元モデルを眺望した様子を示す画像のデータを、仮想スルー画像のデータとして生成する。
表示制御部５３は、仮想スルー画像生成部６３によりデータとして生成された仮想スルー画像の表示を制御する。
これにより、ユーザは、その手で撮像装置１を保持して、傾けたり回したりして、当該撮像装置１の位置及び勢姿勢を少しだけ変化させるだけの直感的操作をするだけで、注目被写体を様々な視点から眺望することが容易にできる。その結果、ユーザは、注目被写体の周囲を回ったり、或いは注目被写体の方を動かしたりする必要はなくなる。このため、ユーザは、注目被写体の外観や形状を、わかりやすく把握したり、詳しく調べたりすることが容易に可能になる。即ち、ユーザは、その場から大きく動くことなく、撮像方向、撮像角度、構図等の理想的な撮像条件を詳しく吟味や検討して、所望の撮像条件で被写体を撮像することが容易にできる。
即ち、ユーザが身体を固定したまま撮像装置１のみを移動させるだけで、所望の構図の画像を仮想スルー画像により視認することが可能になる。
【００６４】
以上、本発明の実施形態について説明した。しかしながら、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【００６５】
例えば、表示部２０として、上述の実施形態では液晶や有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）等フラットな平面形状の表示パネルが採用されている。
この場合には、撮像装置１の姿勢角度や傾斜角の量（大きさ）をそのまま、視線方向（例えば物体像の観察角度の方向）の変化量に用いると、表示面と視線方向との角度が小さくなってしまい、仮想スルー画像に表示される主要被写体の像が見にくくなったり、表示できる角度範囲も限られてしまったりすることになる。例えば、主要被写体の側面は見られても、裏側（背面）までは見ることができなくなる問題がある。
そこで、上述の実施形態では、当該問題を解決する手法として、次のような手法を採用していた。即ち、撮像装置１の回転角θ（姿勢角θ）に比べて、主要被写体の像の視線方向（仮想的な回転角）αを大きくして、例えばα＝Ａ×θ（Ａは、１より大きい整数値であって、例えば１．５〜３程度）と大きくする手法が、本実施形態では採用されている。これにより、撮像装置１の小さな姿勢変化に応じて、より広い視線方向の範囲での主要被写体の像を含む仮想スルー画像が見られるようになる。
しかしながら、上述の問題を解決する手法は、特に本実施形態の手法（以下、「第１の手法」と呼ぶ）に限定されず、各種各様の手法、例えば、次の第２乃至第７の手法を採用することができる。
【００６６】
第２の手法とは、表示部２０の表示面を、球面状、半球面状、又は凸面状にして、見やすく表示できる角度範囲を広くする、という手法である。
【００６７】
第３の手法とは、船の舵や、車両のハンドル操作のように、撮像装置１の姿勢角の変化△θ（回転角の変化△θ）に比較して、主要被写体の像の視線方向の変化△α（仮想的な回転角△α）を大きくする、例えば△α＝Ｃ×△θ（Ｃは、１より大きい整数値）と大きくする手法である。
第３の手法を採用することで、ユーザ（撮像装置１の操作者）が、視線方向を変えるときに、撮像装置１の姿勢を傾け、所望の視線方向になったら、当該撮像装置１の姿勢を元に戻すと、その視線方向や角度に保つことができる。その結果、表示部２０の表示面と視線方向とのなす角度が小さくなったり、表示できる角度範囲も限られたり、といった事態がほぼ生じなくなる。
【００６８】
第４の手法とは、いわゆる「微分ハンドル」、即ち車両のタイヤの実舵角を、ハンドル操舵角θの微分に比例させることが可能なハンドルのように、撮像装置１の姿勢角の時間当りの変化量（角速度）ｄθ／ｄｔに応じて、主要被写体の像の視線方向の変化△α（仮想的な回転角△α）を変化させる、という手法である。
具体的には、△α＝Ｃ×ｄθ／ｄｔを演算する手法が、第４の手法である。
このような第４の手法を適用することで、「微分ハンドル」と同様の効果、即ち、速く回せば大きな実舵角がつき、ゆっくり回せば小さな実舵角がつくという効果を奏することが可能になる。
具体的には、「微分ハンドル」では、一定の実舵角θを維持するには一定の角速度で回し続けなければならないが、所望の方向になったら、回すのを止めれば（角速度が０）実舵角θが０となり、直進方向に戻れるため、ハンドルを元に戻す必要がない。これと同様に、撮像装置１を一定の角速度で回転移動させた後、所望の方向になったら、回すのを止めれば、撮像装置１（ハンドルと等価）の姿勢を元に戻す必要がなくなる。
【００６９】
第５の手法とは、第３の手法と第４の手法とを組み合わせたもの、即ち、通常ハンドル（第３手法）と「微分ハンドル」（第４手法）とを組み合わせた制御を行う、という手法である。
具体的には、α＝Ｃ１×θ＋Ｃ２×ｄθ／ｄｔを演算する手法が、第５の手法である。
【００７０】
第６の手法とは、ユーザが、表示部２０の表示面のタッチパネル等に指で触りながら、撮像装置１を傾ける方向や大きさを変化させることで、その視線方向を変化させるが、その指をタッチパネルから離すと、その時点の視線方向を維持させる、という手法である。
これにより、撮像装置１の姿勢を元に戻す操作が省ける。
【００７１】
第７の手法とは、撮像装置１の本体の位置や姿勢に関わりなく、表示部２０のタッチパネル上での指でなでる（スイープ）操作や、ダイアルの回転操作等に応じて、表示されている主要被写体を所望方向に回転させた仮想スルー画像を表示させたり、幾つかの視点方向から眺めた仮想スルー画像を順次切り替えて表示させたりする、という手法である。
【００７２】
なお、上述の問題を解決する必要が特にない場合、上述の第１の手法乃至第７の手法を採用しなくても、特に構わない。
【００７３】
また、上述の実施形態では、本発明が適用される撮像装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、撮像機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、ポータブルゲーム機等に適用可能である。
【００７４】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図２の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
【００７５】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【００７６】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部２１に含まれるハードディスク等で構成される。
【００７７】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
【００７８】
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００７９】
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
１以上の被写体を所定の撮像方向から撮像し、その結果得られる撮像画像のデータを出力する撮像手段と、
前記撮像手段から出力された前記撮像画像のデータに基づいて、前記１以上の被写体の中から、処理対象として注目すべき注目被写体を決定する注目被写体決定手段と、
前記注目被写体決定手段により決定された前記注目被写体の３次元モデルを生成又は取得する３次元モデル生成取得手段と、
前記撮像手段の位置及び姿勢を示す位置情報を取得する位置情報取得手段と、
前記位置情報取得手段により取得された前記位置情報に応じて特定される視点であって、前記所定の撮像方向とは異なる方向の視点から、前記３次元モデル生成取得手段により生成又は取得された前記注目被写体の３次元モデルを眺望した様子を示す画像のデータを、仮想画像のデータとして生成する仮想画像生成手段と、
前記仮想画像生成手段によりデータとして生成された前記仮想画像の表示を制御する表示制御手段と、
を備える撮像装置。
［付記２］
前記撮像手段は、連続的に繰り返して撮像し、その都度得られる撮像画像のデータを逐次出力し、
前記注目被写体決定手段、前記３次元モデル生成取得手段、前記位置情報取得手段、前記仮想画像生成手段、及び前記表示制御手段は、前記撮像手段から前記撮像画像のデータが逐次出力される毎に処理を実行することで、前記撮像手段から逐次データとして出力される前記撮像画像の各々に対応する前記仮想画像の各々を、連続的に繰り返して表示させる、
付記１に記載の撮像装置。
［付記３］
前記表示制御手段の制御により画像を表示させるモードとして、前記撮像手段からデータとして逐次出力される前記撮像画像を通常のスルー画像として表示させる通常スルー表示モードと、前記撮像手段から逐次データとして出力される前記撮像画像の各々に対応する前記仮想画像の各々を仮想スルー画像として表示させる仮想スルー表示モードとのうち一方を選択するモード選択手段
をさらに備える付記２に記載の撮像装置。
［付記４］
１以上の被写体を所定の撮像方向から撮像し、その結果得られる撮像画像のデータを出力する撮像手段を備える撮像装置が実行する撮像方法において、
前記撮像手段から出力された前記撮像画像のデータに基づいて、前記１以上の被写体の中から、処理対象として注目すべき注目被写体を決定する注目被写体決定ステップと、
前記注目被写体決定ステップの処理により決定された前記注目被写体の３次元モデルを生成又は取得する３次元モデル生成取得ステップと、
前記撮像手段の位置及び姿勢を示す位置情報を取得する位置情報取得ステップと、
前記位置情報取得ステップの処理により取得された前記位置情報に応じて特定される視点であって、前記所定の撮像方向とは異なる方向の視点から、前記３次元モデル生成取得ステップの処理により生成又は取得された前記注目被写体の３次元モデルを眺望した様子を示す画像のデータを、仮想画像のデータとして生成する仮想画像生成ステップと、
前記仮想画像生成ステップの処理によりデータとして生成された前記仮想画像の表示を制御する表示制御ステップと、
を含む撮像方法。
［付記５］
１以上の被写体を所定の撮像方向から撮像し、その結果得られる撮像画像のデータを出力する撮像手段を備える撮像装置を制御するコンピュータに、
前記撮像手段から出力された前記撮像画像のデータに基づいて、前記１以上の被写体の中から、処理対象として注目すべき注目被写体を決定する注目被写体決定機能、
前記注目被写体決定機能により決定された前記注目被写体の３次元モデルを生成又は取得する３次元モデル生成取得機能、
前記撮像手段の位置及び姿勢を示す位置情報を取得する位置情報取得機能、
前記位置情報取得機能により取得された前記位置情報に応じて特定される視点であって、前記所定の撮像方向とは異なる方向の視点から、前記３次元モデル生成取得機能により生成又は取得された前記注目被写体の３次元モデルを眺望した様子を示す画像のデータを、仮想画像のデータとして生成する仮想画像生成機能、
前記仮想画像生成機能によりデータとして生成された前記仮想画像の表示を制御する表示制御機能、
を実現させるためのプログラム。
【符号の説明】
【００８０】
１１・・・ＣＰＵ、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１４・・・画像処理部、１７・・・撮像部、１８・・・操作部、１９・・・センサ部、２０・・・表示部、２１・・・記憶部、２２・・・通信部、２３・・・ドライブ、３１・・・リムーバブルメディア、５１・・・スルー表示モード選択部、５２・・・切替部、５３・・・表示制御部、５４・・・記録制御部、５５・・・位置情報取得部、６１・・・注目被写体決定部、６２・・・３次元モデル生成取得部、６３・・・仮想スルー画像生成部、７１・・・撮像画像記憶部、７２・・・３次元モデル記憶部
【特許請求の範囲】
【請求項１】
１以上の被写体を所定の撮像方向から撮像し、その結果得られる撮像画像のデータを出力する撮像手段と、
前記撮像手段から出力された前記撮像画像のデータに基づいて、前記１以上の被写体の中から、処理対象として注目すべき注目被写体を決定する注目被写体決定手段と、
前記注目被写体決定手段により決定された前記注目被写体の３次元モデルを生成又は取得する３次元モデル生成取得手段と、
前記撮像手段の位置及び姿勢を示す位置情報を取得する位置情報取得手段と、
前記位置情報取得手段により取得された前記位置情報に応じて特定される視点であって、前記所定の撮像方向とは異なる方向の視点から、前記３次元モデル生成取得手段により生成又は取得された前記注目被写体の３次元モデルを眺望した様子を示す画像のデータを、仮想画像のデータとして生成する仮想画像生成手段と、
前記仮想画像生成手段によりデータとして生成された前記仮想画像の表示を制御する表示制御手段と、
を備える撮像装置。
【請求項２】
前記撮像手段は、連続的に繰り返して撮像し、その都度得られる撮像画像のデータを逐次出力し、
前記注目被写体決定手段、前記３次元モデル生成取得手段、前記位置情報取得手段、前記仮想画像生成手段、及び前記表示制御手段は、前記撮像手段から前記撮像画像のデータが逐次出力される毎に処理を実行することで、前記撮像手段から逐次データとして出力される前記撮像画像の各々に対応する前記仮想画像の各々を、連続的に繰り返して表示させる、
請求項１に記載の撮像装置。
【請求項３】
前記表示制御手段の制御により画像を表示させるモードとして、前記撮像手段からデータとして逐次出力される前記撮像画像を通常のスルー画像として表示させる通常スルー表示モードと、前記撮像手段から逐次データとして出力される前記撮像画像の各々に対応する前記仮想画像の各々を仮想スルー画像として表示させる仮想スルー表示モードとのうち一方を選択するモード選択手段
をさらに備える請求項２に記載の撮像装置。
【請求項４】
１以上の被写体を所定の撮像方向から撮像し、その結果得られる撮像画像のデータを出力する撮像手段を備える撮像装置が実行する撮像方法において、
前記撮像手段から出力された前記撮像画像のデータに基づいて、前記１以上の被写体の中から、処理対象として注目すべき注目被写体を決定する注目被写体決定ステップと、
前記注目被写体決定ステップの処理により決定された前記注目被写体の３次元モデルを生成又は取得する３次元モデル生成取得ステップと、
前記撮像手段の位置及び姿勢を示す位置情報を取得する位置情報取得ステップと、
前記位置情報取得ステップの処理により取得された前記位置情報に応じて特定される視点であって、前記所定の撮像方向とは異なる方向の視点から、前記３次元モデル生成取得ステップの処理により生成又は取得された前記注目被写体の３次元モデルを眺望した様子を示す画像のデータを、仮想画像のデータとして生成する仮想画像生成ステップと、
前記仮想画像生成ステップの処理によりデータとして生成された前記仮想画像の表示を制御する表示制御ステップと、
を含む撮像方法。
【請求項５】
１以上の被写体を所定の撮像方向から撮像し、その結果得られる撮像画像のデータを出力する撮像手段を備える撮像装置を制御するコンピュータに、
前記撮像手段から出力された前記撮像画像のデータに基づいて、前記１以上の被写体の中から、処理対象として注目すべき注目被写体を決定する注目被写体決定機能、
前記注目被写体決定機能により決定された前記注目被写体の３次元モデルを生成又は取得する３次元モデル生成取得機能、
前記撮像手段の位置及び姿勢を示す位置情報を取得する位置情報取得機能、
前記位置情報取得機能により取得された前記位置情報に応じて特定される視点であって、前記所定の撮像方向とは異なる方向の視点から、前記３次元モデル生成取得機能により生成又は取得された前記注目被写体の３次元モデルを眺望した様子を示す画像のデータを、仮想画像のデータとして生成する仮想画像生成機能、
前記仮想画像生成機能によりデータとして生成された前記仮想画像の表示を制御する表示制御機能、
を実現させるためのプログラム。
【請求項１】
１以上の被写体を所定の撮像方向から撮像し、その結果得られる撮像画像のデータを出力する撮像手段と、
前記撮像手段から出力された前記撮像画像のデータに基づいて、前記１以上の被写体の中から、処理対象として注目すべき注目被写体を決定する注目被写体決定手段と、
前記注目被写体決定手段により決定された前記注目被写体の３次元モデルを生成又は取得する３次元モデル生成取得手段と、
前記撮像手段の位置及び姿勢を示す位置情報を取得する位置情報取得手段と、
前記位置情報取得手段により取得された前記位置情報に応じて特定される視点であって、前記所定の撮像方向とは異なる方向の視点から、前記３次元モデル生成取得手段により生成又は取得された前記注目被写体の３次元モデルを眺望した様子を示す画像のデータを、仮想画像のデータとして生成する仮想画像生成手段と、
前記仮想画像生成手段によりデータとして生成された前記仮想画像の表示を制御する表示制御手段と、
を備える撮像装置。
【請求項２】
前記撮像手段は、連続的に繰り返して撮像し、その都度得られる撮像画像のデータを逐次出力し、
前記注目被写体決定手段、前記３次元モデル生成取得手段、前記位置情報取得手段、前記仮想画像生成手段、及び前記表示制御手段は、前記撮像手段から前記撮像画像のデータが逐次出力される毎に処理を実行することで、前記撮像手段から逐次データとして出力される前記撮像画像の各々に対応する前記仮想画像の各々を、連続的に繰り返して表示させる、
請求項１に記載の撮像装置。
【請求項３】
前記表示制御手段の制御により画像を表示させるモードとして、前記撮像手段からデータとして逐次出力される前記撮像画像を通常のスルー画像として表示させる通常スルー表示モードと、前記撮像手段から逐次データとして出力される前記撮像画像の各々に対応する前記仮想画像の各々を仮想スルー画像として表示させる仮想スルー表示モードとのうち一方を選択するモード選択手段
をさらに備える請求項２に記載の撮像装置。
【請求項４】
１以上の被写体を所定の撮像方向から撮像し、その結果得られる撮像画像のデータを出力する撮像手段を備える撮像装置が実行する撮像方法において、
前記撮像手段から出力された前記撮像画像のデータに基づいて、前記１以上の被写体の中から、処理対象として注目すべき注目被写体を決定する注目被写体決定ステップと、
前記注目被写体決定ステップの処理により決定された前記注目被写体の３次元モデルを生成又は取得する３次元モデル生成取得ステップと、
前記撮像手段の位置及び姿勢を示す位置情報を取得する位置情報取得ステップと、
前記位置情報取得ステップの処理により取得された前記位置情報に応じて特定される視点であって、前記所定の撮像方向とは異なる方向の視点から、前記３次元モデル生成取得ステップの処理により生成又は取得された前記注目被写体の３次元モデルを眺望した様子を示す画像のデータを、仮想画像のデータとして生成する仮想画像生成ステップと、
前記仮想画像生成ステップの処理によりデータとして生成された前記仮想画像の表示を制御する表示制御ステップと、
を含む撮像方法。
【請求項５】
１以上の被写体を所定の撮像方向から撮像し、その結果得られる撮像画像のデータを出力する撮像手段を備える撮像装置を制御するコンピュータに、
前記撮像手段から出力された前記撮像画像のデータに基づいて、前記１以上の被写体の中から、処理対象として注目すべき注目被写体を決定する注目被写体決定機能、
前記注目被写体決定機能により決定された前記注目被写体の３次元モデルを生成又は取得する３次元モデル生成取得機能、
前記撮像手段の位置及び姿勢を示す位置情報を取得する位置情報取得機能、
前記位置情報取得機能により取得された前記位置情報に応じて特定される視点であって、前記所定の撮像方向とは異なる方向の視点から、前記３次元モデル生成取得機能により生成又は取得された前記注目被写体の３次元モデルを眺望した様子を示す画像のデータを、仮想画像のデータとして生成する仮想画像生成機能、
前記仮想画像生成機能によりデータとして生成された前記仮想画像の表示を制御する表示制御機能、
を実現させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−２０８７１９（Ｐ２０１２−２０８７１９Ａ）
【公開日】平成２４年１０月２５日（２０１２．１０．２５）
【国際特許分類】
【出願番号】特願２０１１−７３６１５（Ｐ２０１１−７３６１５）
【出願日】平成２３年３月２９日（２０１１．３．２９）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２４年１０月２５日（２０１２．１０．２５）
【国際特許分類】
【出願日】平成２３年３月２９日（２０１１．３．２９）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]