撮像装置、画像処理装置、撮像装置の制御方法及び制御プログラム
【課題】光電変換により画像情報を生成する撮像装置において、生成された画像に表示されている被写体や背景の奥行きの情報を、簡易な構成により取得する。
【解決手段】ＣＣＤ１６から出力された電気信号に基づいて画像情報を生成する画像生成部１０２を含み、ユーザの撮像操作に応じて画像情報を生成するデジタルカメラ１であって、撮像操作に応じて生成された画像情報とは異なる視点での画像情報である他視点画像情報の取得処理を開始した後、デジタルカメラ１が変位したことを判断した場合に、画像生成部１０２にＣＣＤ１６から出力された電気信号に基づいて他視点画像情報を生成させて取得し、撮像操作に応じて生成された画像情報及び前記他視点画像情報に基づきＺ情報を算出するＺ情報制御部１６と、撮像操作に応じて生成された画像情報とＺ情報とを関連付けて記憶媒体に記憶させる記憶媒体制御部１０３とを含む。
【解決手段】ＣＣＤ１６から出力された電気信号に基づいて画像情報を生成する画像生成部１０２を含み、ユーザの撮像操作に応じて画像情報を生成するデジタルカメラ１であって、撮像操作に応じて生成された画像情報とは異なる視点での画像情報である他視点画像情報の取得処理を開始した後、デジタルカメラ１が変位したことを判断した場合に、画像生成部１０２にＣＣＤ１６から出力された電気信号に基づいて他視点画像情報を生成させて取得し、撮像操作に応じて生成された画像情報及び前記他視点画像情報に基づきＺ情報を算出するＺ情報制御部１６と、撮像操作に応じて生成された画像情報とＺ情報とを関連付けて記憶媒体に記憶させる記憶媒体制御部１０３とを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、画像処理装置、撮像装置の制御方法及び制御プログラムに関し、特に、撮像によって生成された画像に含まれる被写体や背景の奥行き情報の取得に関する。
【背景技術】
【０００２】
デジタルカメラ等により撮影されて生成された画像について、被写体や背景と撮影者、撮影位置との距離の情報（以降、Ｚ情報とする）を取得する方法が各種提案されている。そのような方法の１つとして、一度に複数視点の画像を撮影して生成するステレオカメラを用い、複数の画像から奥行き情報を計算する方法が提案されている（例えば、特許文献１参照）。
【０００３】
また、複数の異なる配向から得られた画像から奥行きマップを決定するために、奥行きが決定されるべき画像の点について一組のマッチング・ウィンドウを用いる方法が提案されている（例えば、特許文献２参照）。特許文献２に開示された方法においては、奥行きが決定されるべき画像の点に２つ以上の候補奥行き値が割り当てられた仮奥行きマップを生成し、その後、各点について、近傍点についての候補視差値からその点に向かう単位ベクトルの和のノルムの少なくともｚ成分を最少化する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２５９１５５号公報
【特許文献２】特表２０１０−５０２９４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示された技術は、高価なステレオカメラが必要であるため、一般的なユーザが容易に用いることは困難である。また、特許文献２に開示された技術は、複数の異なる配向から画像が得られることが前提となっており、そのような複数の画像を得る方法については考慮されていない。
【０００６】
本発明は、上記実情を考慮してなされたものであり、光電変換により画像情報を生成する撮像装置において、生成された画像に表示されている被写体や背景の奥行きの情報を、簡易な構成により取得することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明の一態様は、受光した光に応じて電気信号を出力する光電変換部及び前記出力された電気信号に基づいて画像情報を生成する画像情報生成部を含む撮像装置であって、ユーザの撮像操作に応じて前記画像情報を生成させる撮像指示部と、前記撮像操作に応じて生成された画像情報とは異なる視点での画像情報である他視点画像情報の取得処理を、前記撮像操作に応じて実行する他視点画像情報取得処理部と、前記撮像操作に応じて生成された画像情報及び前記他視点画像情報に基づき、前記撮像操作に応じて生成された画像情報に表示されている対象までの距離の情報である距離情報を算出する距離情報算出部と、前記撮像操作に応じて生成された画像情報と前記算出された距離の情報とを関連付けて記憶媒体に記憶させる記憶処理部とを含み、前記他視点画像情報取得処理部は、前記他視点画像情報の取得処理を開始した後、前記撮像装置が変位したことを判断した場合に、前記画像情報生成部に前記光電変換部から出力された電気信号に基づいて他視点画像情報を生成させることを特徴とする。
【０００８】
また、本発明の他の態様は、受光した光に応じて電気信号を出力する光電変換部及び前記出力された電気信号に基づいて画像情報を生成する画像情報生成部を含む撮像装置に含まれる画像処理装置であって、ユーザの撮像操作に応じて前記画像情報を生成させる撮像指示部と、前記撮像操作に応じて生成された画像情報とは異なる視点での画像情報である他視点画像情報の取得処理を、前記撮像操作に応じて実行する他視点画像情報取得処理部と、前記撮像操作に応じて生成された画像情報及び前記他視点画像情報に基づき、前記撮像操作に応じて生成された画像情報に表示されている対象までの距離の情報である距離情報を算出する距離情報算出部と、前記撮像操作に応じて生成された画像情報と前記算出された距離の情報とを関連付けて記憶媒体に記憶させる記憶処理部とを含み、前記他視点画像情報取得処理部は、前記他視点画像情報の取得処理を開始した後、前記撮像装置が変位したことを判断した場合に、前記画像情報生成部に前記光電変換部から出力された電気信号に基づいて他視点画像情報を生成させることを特徴とする。
【０００９】
また、本発明の更に他の態様は、受光した光に応じて電気信号を出力する光電変換部及び前記出力された電気信号に基づいて画像情報を生成する画像情報生成部を含む撮像装置の制御方法であって、ユーザの撮像操作に応じて前記画像情報生成部に前記画像情報を生成させ、前記撮像操作に応じて生成された画像情報とは異なる視点での画像情報である他視点画像情報の取得処理を開始した後、前記撮像装置が変位したことを判断した場合に、前記画像情報生成部に前記光電変換部から出力された電気信号に基づいて他視点画像情報を生成させて取得し、前記撮像操作に応じて生成された画像情報及び前記他視点画像情報に基づき、前記撮像操作に応じて生成された画像情報に表示されている対象までの距離の情報である距離情報を算出し、前記撮像操作に応じて生成された画像情報と前記算出された距離の情報とを関連付けて記憶媒体に記憶させることを特徴とする。
【００１０】
また、本発明の更に他の態様は、受光した光に応じて電気信号を出力する光電変換部及び前記出力された電気信号に基づいて画像情報を生成する画像情報生成部を含む撮像装置の制御プログラムであって、ユーザの撮像操作に応じて前記画像情報生成部に前記画像情報を生成させるステップと、前記撮像操作に応じて生成された画像情報とは異なる視点での画像情報である他視点画像情報の取得処理を開始した後、前記撮像装置が変位したことを判断した場合に、前記画像情報生成部に前記光電変換部から出力された電気信号に基づいて他視点画像情報を生成させて取得するステップと、前記撮像操作に応じて生成された画像情報及び前記他視点画像情報に基づき、前記撮像操作に応じて生成された画像情報に表示されている対象までの距離の情報である距離情報を算出するステップと、前記撮像操作に応じて生成された画像情報と前記算出された距離の情報とを関連付けて記憶媒体に記憶させるステップとを前記撮像装置に実行させることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、光電変換により画像情報を生成する撮像装置において、生成された画像に表示されている被写体や背景の奥行きの情報を、簡易な構成により取得することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態に係るデジタルカメラのハードウェア構成を示すブロック図である。
【図２】本発明の実施形態に係るデジタルカメラの機能構成を示す図である。
【図３】本発明の実施形態に係るデジタルカメラによって取得される距離情報の例を示す図である。
【図４】本発明の実施形態に係るデジタルカメラの仕様態様を模式的に示す図である。
【図５】本発明の実施形態に係るデジタルカメラの動作を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、図面を参照して、本発明の実施形態を詳細に説明する。本実施形態においては、光電変換により画像情報を生成する撮像装置としてのデジタルカメラを例として説明する。本実施形態に係るデジタルカメラは、通常のデジタルカメラの仕様態様により撮影を行った後、ユーザがそのデジタルカメラを所定期間動かすことにより、最初の撮影とは異なる視点での画像情報を取得し、視点の異なる複数の画像情報に基づいて、最初の撮影によって生成された画像情報の被写体や背景の奥行き情報であるＺ情報を算出する。尚、Ｚ情報は、画像情報の各部に表示されている対象までの距離を示す情報であり、距離情報ということもできる。
【００１４】
図１は、本実施形態に係るデジタルカメラ１のハードウェア構成を示すブロック図である。図１に示すように、本実施形態に係るデジタルカメラ１は、一般的なサーバやＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等の情報処理端末と同様の構成に加えて、デジタルカメラとしての機能を実現するためのデバイスを含む。
【００１５】
即ち、本実施形態に係るデジタルカメラ１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２、メモリカード１３、表示部１４、操作部１５及びＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）がバス１７を介して接続されている。
【００１６】
ＣＰＵ１０は演算手段であり、デジタルカメラ１全体の動作を制御する。ＲＡＭ１１は、情報の高速な読み書きが可能な揮発性の記憶媒体であり、ＣＰＵ１０が情報を処理する際の作業領域として用いられる。ＲＯＭ１２は、読み出し専用の不揮発性記憶媒体であり、ファームウェア等の制御プログラムやアプリケーション・プログラムが格納されている。メモリカード１３は、情報の読み書きが可能な不揮発性の記憶媒体であり、撮像により生成された画像情報を記憶する。
【００１７】
表示部１４は、ユーザが画像形成装置１の状態を確認するための視覚的ユーザインタフェースであり、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等を含んで実現される。操作部１５は、デジタルカメラ１をユーザが操作するためのユーザインタフェースであり、スイッチやスライドバー、ダイヤル及び表示部１４に構成されるタッチパネル等を含む。ＣＣＤ１６は、撮像レンズによって結像された光を受光し、光学情報をアナログ電気信号に変換する光電変換部である。
【００１８】
このようなハードウェア構成において、ＲＯＭ１２等の記録媒体に格納されたプログラムがＲＡＭ１１に読み出され、そのプログラムに従ってＣＰＵ１０が演算を行う事により、ソフトウェア制御部が構成される。このようにして構成されたソフトウェア制御部と、ハードウェアとの組み合わせによって、本実施形態に係るデジタルカメラ１の機能を実現する機能ブロックが構成される。
【００１９】
次に、図２を参照して、本実施形態に係るデジタルカメラ１の機能構成について説明する。図２は、本実施形態に係るデジタルカメラ１の機能構成を示すブロック図である。図２に示すように、本実施形態に係るデジタルカメラ１は、図１において説明したハードウェアに加えて、上述したようにソフトウェア制御部とハードウェアとの組み合わせによって構成されるコントローラ１００を含む。
【００２０】
コントローラ１００は、図２に示すように、ＣＣＤ制御部１０１、画像生成部１０２、記憶媒体制御部１０３、操作制御部１０４、表示制御部１０５及びＺ情報制御部１０６を含む。ＣＣＤ制御部１０１は、ＣＣＤ１６を制御し、操作制御部１０４から入力される操作信号に基づいて、ＣＣＤ１６が出力する電気信号を取得する。
【００２１】
画像生成部１０２は、ＣＣＤ制御部１０１が取得した電気信号に基づき、画像処理等を行って画像情報を生成する。画像生成部１０２によって生成された画像情報が、撮影によって生成される画像情報である。即ち、ＣＣＤ制御部１０１及び画像生成部１０２が連動して、光電変換部であるＣＣＤ１６から出力された電気信号に基づいて画像情報を生成する画像情報生成部として機能する。記憶媒体制御部１０３は、メモリカード１３への情報の書き込み及びメモリカード１３からの情報の読み出しを制御する。操作制御部１０４は、操作部１５に対するユーザの操作に応じて、操作信号を出力する。表示制御部１５は、デジタルカメラ１の動作状態に応じた画像を表示部１４に表示させる。
【００２２】
Ｚ情報制御部１０６は、本実施形態の要旨に係る構成であり、画像生成部１０２によって生成された上記画像情報について、画像中に表示されている被写体、背景のＺ情報を生成する。Ｚ情報制御部１０６は、上記画像情報に加え、他視点による撮影によって生成された画像情報を用い、異なる視点における撮影によって生成された複数の画像情報に基づいてＺ情報を生成する。Ｚ情報制御部１０６によって生成されたＺ情報は、記憶媒体制御部１０３によって、上記画像情報と共にメモリカード１３に記憶される。
【００２３】
ここで、図３を参照して、本実施形態において生成されるＺ情報の例について説明する。図３に示すように、本実施形態に係るＺ情報は、上記撮影により生成された画像情報における水平方向の座標である“ｕ”（ｐｉｘｅｌ）及び垂直方向の座標である“ｖ” （ｐｉｘｅｌ）に加えて、“ｕ”、“ｖ”によって特定される画像上の位置に表示されている被写体や背景の奥行き、即ち原点からの水平距離“Ｚ”（ｍｍ）を含む。
【００２４】
換言すると、Ｚ情報に含まれる奥行きの情報は、撮影によって生成された画像情報の画像上における夫々の座標に表示されている対象物との距離と関連付けられている。このような情報により、撮影によって生成された画像に表示されている被写体や背景の、実際の空間上における距離を認識することが可能となる。尚、本実施形態における上記原点とは、ＣＣＤ１６の受光点である。
【００２５】
尚、本実施形態に係るデジタルカメラ１は、図２に示す構成の他、ＣＣＤ１６に光を結像させるレンズ類や、それらのレンズ類を稼動させる機構並びにそれらの機構を操作部１５に対する操作に応じて制御する制御部等、デジタルカメラとして備えるべき一般的な構成を備えている。
【００２６】
本実施形態に係るデジタルカメラ１により通常の撮影を行う場合、デジタルカメラ１に電源が投入されることにより、ＣＣＤ１６は、受光した光情報を光電変換して電気信号を出力する。ＣＣＤ制御部１０１は、ＣＣＤ１６から取得した電気信号を画像生成部１０２に入力する。画像生成部１０２は、ＣＣＤ制御部１０１から入力された電気信号に基づいて画像情報を生成し、表示制御部１０５に入力する。画像生成部１０２が表示制御部１０５に入力する画像情報は、表示部１４の画面サイズに応じて縮小若しくは画素が間引かれた画像情報である。
【００２７】
表示制御部１０５は、画像生成部１０２から取得した画像情報を表示部１４に表示させる。これにより、ユーザは、表示部１４を介して撮影対象の被写体や背景、風景等の画像を視認することが可能になる。ユーザが表示部１４に表示された画像に基づいて撮影対象を決定し、操作部１５を操作することによりズーム倍率等を決定して、操作部１５に含まれるレリーズスイッチを押下すると、操作制御部１０４が操作部１５に対するユーザの操作に応じてＣＣＤ制御部１０１に制御信号を入力し、ＣＣＤ制御部１０１が電子シャッター制御を行う。即ち、操作制御部１０４が撮像指示部として機能する。以降、ユーザによるレリーズスイッチの押下を、撮像操作若しくはシャッター操作と称する。
【００２８】
電子シャッター制御において、ＣＣＤ制御部１０１は、ＣＣＤ１６の光電変換により蓄積されている電荷をリセットし、リセット後の所定期間であるシャッター期間にＣＣＤ１６に蓄積された電荷を電気信号として取得する。ＣＣＤ制御部１０１が電子シャッター制御において取得した電気信号は、画像生成部１０２に入力され、画像生成部１０２が、その電気信号に基づいて画像情報を生成する。
【００２９】
画像生成部１０２が生成した画像情報は、記憶媒体制御部１０３によってメモリカード１３に記憶される。このような動作により、本実施形態に係るデジタルカメラ１による通常の撮像動作が完了し、メモリカード１３に撮像によって生成された画像情報が記憶される。尚、撮像によって生成された画像情報の記憶先は、メモリカード１３の他、デジタルカメラ１に内蔵された記憶媒体であっても良い。
【００３０】
次に、本実施形態に係るデジタルカメラ１の要旨に係る使用方法及び動作について説明する。図４は、本実施形態に係るデジタルカメラ１の使用方法を模式的に示す図である。上述したように、本実施形態に係るデジタルカメラ１により撮影を行う際、ユーザは、通常のデジタルカメラと同様の使用態様、即ち上述した通常の撮像動作のようにレリーズスイッチを押下して撮影を行った後、所定の期間デジタルカメラ１を動かす。このデジタルカメラ１を動かすという動作は、図４に示すように、デジタルカメラ１の受光部を撮像対象の方向に向けたまま、デジタルカメラ１を持っている手を動かす程度の動作、即ち、持っているデジタルカメラを揺り動かす程度の動作である。
【００３１】
図４に示すように、ユーザがデジタルカメラ１を持っている手を動かすことにより、本実施形態に係るデジタルカメラ１は、最初の通常の撮像動作によって生成される画像情報に加えて、最初の撮像動作における位置とは異なる位置においてＣＣＤ１６に入射する光に基づく画像の画像情報を生成する。これにより、デジタルカメラ１は、最初の撮像動作とは異なる視点において撮像された他視点画像情報を取得し、それら複数の画像情報に基づいてＺ情報を生成する。以下、本実施形態に係るデジタルカメラ１の動作について、図５を参照して説明する。
【００３２】
図５に示すように、まず、ユーザによるシャッター操作、即ちレリーズスイッチの押下に応じてコントローラ１００が動作し、画像生成部１０２が画像情報を生成する（Ｓ５０１）。画像生成部１０２は、生成した画像情報を記憶媒体制御部１０３に入力してメモリカード１３に記憶させると共に、Ｚ情報制御部１０６にも入力する。これにより、Ｚ情報制御部１０６が、カウントをスタートすると共に、表示制御部１０５が、他視点画像情報の取得中であることをユーザに通知するためにＬＥＤを点灯させる（Ｓ５０２）。
【００３３】
即ち、Ｚ情報制御部１０６が、ユーザによる撮像操作に応じて、他視点画像情報の取得処理を実行する他視点画像情報取得処理部として機能すると共に、表示制御部１０５が、他視点画像情報の取得処理中であることをユーザに通知する通知部として機能する。尚、ＬＥＤの点灯は、表示制御部１０５ではなくＺ情報制御部１０６が行っても良く、点灯ではなく点滅であっても良い。
【００３４】
カウント値が予め定められた所定値に達すると（Ｓ５０３／ＹＥＳ）、Ｚ情報制御部１０６は、操作制御部１０４がレリーズスイッチの押下に応じて出力するシャッター信号と同様の信号をＣＣＤ制御部１０１に出力する。これにより、ＣＣＤ制御部１０１が上述した電子シャッター制御を行い、電気信号を取得して画像生成部１０２に入力する。画像生成部１０２は、Ｚ情報制御部１０６によるシャッター信号に応じて取得した電気信号に基づいて他視点画像情報を生成すると（Ｓ５０４）、その他視点画像情報をＺ情報制御部１０６に入力する。
【００３５】
Ｚ情報制御部１０６は、所定数の他視点画像情報が取得されるまでカウントを繰り返す（Ｓ５０５／ＮＯ）。所定数の他視点画像情報が取得されると（Ｓ５０５／ＹＥＳ）、表示制御部１０５が、他視点画像情報の取得が完了したことをユーザに通知するため、Ｓ５０２において点灯させたＬＥＤを消灯制御する。そして、Ｚ情報制御部１０６は、最初に取得した画像情報及び他視点画像情報に基づき、Ｚ情報を算出する。即ち、Ｚ情報制御部１０６が、距離情報算出部として機能する。そして、Ｚ情報制御部１０６は、生成したＺ情報を記憶媒体制御部１０３に入力し、Ｓ５０１において記憶された画像情報に関連付けてメモリカード１３に記憶させる（Ｓ５０６）。即ち、記憶媒体制御部１０３が、記憶処理部として機能する。このような処理により、本実施形態に係るデジタルカメラ１の動作が終了する。
【００３６】
尚、Ｓ５０６におけるＺ情報の算出は、異なる複数の視点による画像に基づくＺ情報の算出方法として公知の方法を用いることにより実現することができる。例えば、Ｚ情報制御部１０６は、最初の撮像により取得された画像情報（以降、主画像情報とする）と、他視点画像情報との共通点を抽出することにより、２つの画像情報夫々における画素の対応関係を示すテーブルを生成すると共に、デジタルカメラ１の焦点距離及び光軸のずれ等の内部パラメータに基づいて画像上の位置を実空間の位置に変換し、三角測量に基づく計算によって主画像情報の夫々の画素のＺ情報を算出することができる。
【００３７】
このように、本実施形態に係るデジタルカメラ１においては、ステレオカメラのような特別なハードウェアを追加することなく、既存のデジタルカメラに搭載されている構成を制御することにより、異なる複数の視点から撮像された画像を容易に取得することができ、取得した主画像情報を構成する夫々の画素のＺ情報を計算することができるため、光電変換により画像情報を生成する撮像装置において、生成された画像に表示されている被写体や背景の奥行きの情報を、簡易な構成により取得することができる。
【００３８】
尚、上記実施形態においては、他視点画像情報の取得に際して、ＣＣＤ制御部１０１に電気信号を取得させ、画像生成部１０２に画像情報を生成させるタイミング、即ち、デジタルカメラ１が、最初の撮像時の位置から変位したことを判断するための判断基準として、Ｚ情報制御部１０６は、タイマのカウンタが所定のカウント値に達したタイミングを用いる場合を例として説明した。
【００３９】
この他、デジタルカメラ１の変位判断に際しては、加速度センサのセンサ出力や、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等の位置センサのセンサ出力を用いることができる。加速度センサを用いる場合、Ｚ情報制御部１０６は、加速度の検知信号に基づいてデジタルカメラ１がある方向に動き出したことを検知した後、所定の期間が経過したタイミング、若しくは、再度の加速度の検知信号に基づいてデジタルカメラ１が停止したことを検知したタイミングを用いることができる。
【００４０】
図４のように、ユーザがデジタルカメラ１を揺り動かしている間に複数枚の画像を撮像する場合、デジタルカメラ１の位置が主画像の撮像位置とあまり変わらないタイミングにおいてカウント値が所定値に達する場合もあり得る。その結果、他視点画像情報として取得された画像の視点が、主画像の視点とあまり変わらなくなってしまうようなことがあり得る。これに対して、加速度センサを用いる態様の場合、デジタルカメラ１が変位した先に位置することを高精度に検知することができるため、上記課題を解決することができる。
【００４１】
また、位置センサを用いる場合、Ｚ情報制御部１０６は、位置センサのセンサ出力に基づき、主画像情報が生成された際のデジタルカメラ１の位置から所定の間隔離れたタイミングを用いることが出来る。これにより、加速度センサを用いる場合と同様に、デジタルカメラ１が主画像の撮像位置とは異なる位置にあることを高精度に検知することが可能であり、上記課題を解決することができる。また、複数視点の画像によるＺ情報の算出の一態様として、視点の位置をパラメータとして用いる態様がある。従って、位置センサによる位置検知信号は、Ｚ情報制御部によるＺ情報の算出処理にも用いることができる。
【００４２】
また、上記実施形態においては、主画像情報に加えて、複数の他視点画像情報を取得するため、図４に示すように、主画像情報を生成するための撮像を行った後にデジタルカメラ１を左右に変位させる場合を例として説明した。しかしながら、複数の異なる視点で撮像された画像に基づくＺ情報の算出は、少なくとも２つの視点で撮像された画像があれば可能であり、主画像情報に加えて、１つの他視点画像情報があれば可能である。
【００４３】
従って、本実施形態に係るデジタルカメラ１の使用方法としては、図４に示すようにデジタルカメラ１を左右に変位させるのではなく、一方向にパン若しくはティルトするだけでも良い。これにより、主画像情報の撮像の際の視点とは異なる視点の画像を少なくとも１つ取得することができ、Ｚ情報の算出を行うことが可能となる。
【符号の説明】
【００４４】
１ デジタルカメラ
１０ ＣＰＵ
１１ ＲＡＭ
１２ ＲＯＭ
１３ メモリカード
１４ 表示部
１５ 操作部
１６ ＣＣＤ
１７ バス
１００ コントローラ
１０１ ＣＣＤ制御部
１０２ 画像生成部
１０３ 記憶媒体制御部
１０４ 操作制御部
１０５ 表示制御部
１０６ Ｚ情報制御部
【技術分野】
【０００１】
本発明は、撮像装置、画像処理装置、撮像装置の制御方法及び制御プログラムに関し、特に、撮像によって生成された画像に含まれる被写体や背景の奥行き情報の取得に関する。
【背景技術】
【０００２】
デジタルカメラ等により撮影されて生成された画像について、被写体や背景と撮影者、撮影位置との距離の情報（以降、Ｚ情報とする）を取得する方法が各種提案されている。そのような方法の１つとして、一度に複数視点の画像を撮影して生成するステレオカメラを用い、複数の画像から奥行き情報を計算する方法が提案されている（例えば、特許文献１参照）。
【０００３】
また、複数の異なる配向から得られた画像から奥行きマップを決定するために、奥行きが決定されるべき画像の点について一組のマッチング・ウィンドウを用いる方法が提案されている（例えば、特許文献２参照）。特許文献２に開示された方法においては、奥行きが決定されるべき画像の点に２つ以上の候補奥行き値が割り当てられた仮奥行きマップを生成し、その後、各点について、近傍点についての候補視差値からその点に向かう単位ベクトルの和のノルムの少なくともｚ成分を最少化する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２５９１５５号公報
【特許文献２】特表２０１０−５０２９４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示された技術は、高価なステレオカメラが必要であるため、一般的なユーザが容易に用いることは困難である。また、特許文献２に開示された技術は、複数の異なる配向から画像が得られることが前提となっており、そのような複数の画像を得る方法については考慮されていない。
【０００６】
本発明は、上記実情を考慮してなされたものであり、光電変換により画像情報を生成する撮像装置において、生成された画像に表示されている被写体や背景の奥行きの情報を、簡易な構成により取得することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明の一態様は、受光した光に応じて電気信号を出力する光電変換部及び前記出力された電気信号に基づいて画像情報を生成する画像情報生成部を含む撮像装置であって、ユーザの撮像操作に応じて前記画像情報を生成させる撮像指示部と、前記撮像操作に応じて生成された画像情報とは異なる視点での画像情報である他視点画像情報の取得処理を、前記撮像操作に応じて実行する他視点画像情報取得処理部と、前記撮像操作に応じて生成された画像情報及び前記他視点画像情報に基づき、前記撮像操作に応じて生成された画像情報に表示されている対象までの距離の情報である距離情報を算出する距離情報算出部と、前記撮像操作に応じて生成された画像情報と前記算出された距離の情報とを関連付けて記憶媒体に記憶させる記憶処理部とを含み、前記他視点画像情報取得処理部は、前記他視点画像情報の取得処理を開始した後、前記撮像装置が変位したことを判断した場合に、前記画像情報生成部に前記光電変換部から出力された電気信号に基づいて他視点画像情報を生成させることを特徴とする。
【０００８】
また、本発明の他の態様は、受光した光に応じて電気信号を出力する光電変換部及び前記出力された電気信号に基づいて画像情報を生成する画像情報生成部を含む撮像装置に含まれる画像処理装置であって、ユーザの撮像操作に応じて前記画像情報を生成させる撮像指示部と、前記撮像操作に応じて生成された画像情報とは異なる視点での画像情報である他視点画像情報の取得処理を、前記撮像操作に応じて実行する他視点画像情報取得処理部と、前記撮像操作に応じて生成された画像情報及び前記他視点画像情報に基づき、前記撮像操作に応じて生成された画像情報に表示されている対象までの距離の情報である距離情報を算出する距離情報算出部と、前記撮像操作に応じて生成された画像情報と前記算出された距離の情報とを関連付けて記憶媒体に記憶させる記憶処理部とを含み、前記他視点画像情報取得処理部は、前記他視点画像情報の取得処理を開始した後、前記撮像装置が変位したことを判断した場合に、前記画像情報生成部に前記光電変換部から出力された電気信号に基づいて他視点画像情報を生成させることを特徴とする。
【０００９】
また、本発明の更に他の態様は、受光した光に応じて電気信号を出力する光電変換部及び前記出力された電気信号に基づいて画像情報を生成する画像情報生成部を含む撮像装置の制御方法であって、ユーザの撮像操作に応じて前記画像情報生成部に前記画像情報を生成させ、前記撮像操作に応じて生成された画像情報とは異なる視点での画像情報である他視点画像情報の取得処理を開始した後、前記撮像装置が変位したことを判断した場合に、前記画像情報生成部に前記光電変換部から出力された電気信号に基づいて他視点画像情報を生成させて取得し、前記撮像操作に応じて生成された画像情報及び前記他視点画像情報に基づき、前記撮像操作に応じて生成された画像情報に表示されている対象までの距離の情報である距離情報を算出し、前記撮像操作に応じて生成された画像情報と前記算出された距離の情報とを関連付けて記憶媒体に記憶させることを特徴とする。
【００１０】
また、本発明の更に他の態様は、受光した光に応じて電気信号を出力する光電変換部及び前記出力された電気信号に基づいて画像情報を生成する画像情報生成部を含む撮像装置の制御プログラムであって、ユーザの撮像操作に応じて前記画像情報生成部に前記画像情報を生成させるステップと、前記撮像操作に応じて生成された画像情報とは異なる視点での画像情報である他視点画像情報の取得処理を開始した後、前記撮像装置が変位したことを判断した場合に、前記画像情報生成部に前記光電変換部から出力された電気信号に基づいて他視点画像情報を生成させて取得するステップと、前記撮像操作に応じて生成された画像情報及び前記他視点画像情報に基づき、前記撮像操作に応じて生成された画像情報に表示されている対象までの距離の情報である距離情報を算出するステップと、前記撮像操作に応じて生成された画像情報と前記算出された距離の情報とを関連付けて記憶媒体に記憶させるステップとを前記撮像装置に実行させることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、光電変換により画像情報を生成する撮像装置において、生成された画像に表示されている被写体や背景の奥行きの情報を、簡易な構成により取得することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態に係るデジタルカメラのハードウェア構成を示すブロック図である。
【図２】本発明の実施形態に係るデジタルカメラの機能構成を示す図である。
【図３】本発明の実施形態に係るデジタルカメラによって取得される距離情報の例を示す図である。
【図４】本発明の実施形態に係るデジタルカメラの仕様態様を模式的に示す図である。
【図５】本発明の実施形態に係るデジタルカメラの動作を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、図面を参照して、本発明の実施形態を詳細に説明する。本実施形態においては、光電変換により画像情報を生成する撮像装置としてのデジタルカメラを例として説明する。本実施形態に係るデジタルカメラは、通常のデジタルカメラの仕様態様により撮影を行った後、ユーザがそのデジタルカメラを所定期間動かすことにより、最初の撮影とは異なる視点での画像情報を取得し、視点の異なる複数の画像情報に基づいて、最初の撮影によって生成された画像情報の被写体や背景の奥行き情報であるＺ情報を算出する。尚、Ｚ情報は、画像情報の各部に表示されている対象までの距離を示す情報であり、距離情報ということもできる。
【００１４】
図１は、本実施形態に係るデジタルカメラ１のハードウェア構成を示すブロック図である。図１に示すように、本実施形態に係るデジタルカメラ１は、一般的なサーバやＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等の情報処理端末と同様の構成に加えて、デジタルカメラとしての機能を実現するためのデバイスを含む。
【００１５】
即ち、本実施形態に係るデジタルカメラ１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２、メモリカード１３、表示部１４、操作部１５及びＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）がバス１７を介して接続されている。
【００１６】
ＣＰＵ１０は演算手段であり、デジタルカメラ１全体の動作を制御する。ＲＡＭ１１は、情報の高速な読み書きが可能な揮発性の記憶媒体であり、ＣＰＵ１０が情報を処理する際の作業領域として用いられる。ＲＯＭ１２は、読み出し専用の不揮発性記憶媒体であり、ファームウェア等の制御プログラムやアプリケーション・プログラムが格納されている。メモリカード１３は、情報の読み書きが可能な不揮発性の記憶媒体であり、撮像により生成された画像情報を記憶する。
【００１７】
表示部１４は、ユーザが画像形成装置１の状態を確認するための視覚的ユーザインタフェースであり、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等を含んで実現される。操作部１５は、デジタルカメラ１をユーザが操作するためのユーザインタフェースであり、スイッチやスライドバー、ダイヤル及び表示部１４に構成されるタッチパネル等を含む。ＣＣＤ１６は、撮像レンズによって結像された光を受光し、光学情報をアナログ電気信号に変換する光電変換部である。
【００１８】
このようなハードウェア構成において、ＲＯＭ１２等の記録媒体に格納されたプログラムがＲＡＭ１１に読み出され、そのプログラムに従ってＣＰＵ１０が演算を行う事により、ソフトウェア制御部が構成される。このようにして構成されたソフトウェア制御部と、ハードウェアとの組み合わせによって、本実施形態に係るデジタルカメラ１の機能を実現する機能ブロックが構成される。
【００１９】
次に、図２を参照して、本実施形態に係るデジタルカメラ１の機能構成について説明する。図２は、本実施形態に係るデジタルカメラ１の機能構成を示すブロック図である。図２に示すように、本実施形態に係るデジタルカメラ１は、図１において説明したハードウェアに加えて、上述したようにソフトウェア制御部とハードウェアとの組み合わせによって構成されるコントローラ１００を含む。
【００２０】
コントローラ１００は、図２に示すように、ＣＣＤ制御部１０１、画像生成部１０２、記憶媒体制御部１０３、操作制御部１０４、表示制御部１０５及びＺ情報制御部１０６を含む。ＣＣＤ制御部１０１は、ＣＣＤ１６を制御し、操作制御部１０４から入力される操作信号に基づいて、ＣＣＤ１６が出力する電気信号を取得する。
【００２１】
画像生成部１０２は、ＣＣＤ制御部１０１が取得した電気信号に基づき、画像処理等を行って画像情報を生成する。画像生成部１０２によって生成された画像情報が、撮影によって生成される画像情報である。即ち、ＣＣＤ制御部１０１及び画像生成部１０２が連動して、光電変換部であるＣＣＤ１６から出力された電気信号に基づいて画像情報を生成する画像情報生成部として機能する。記憶媒体制御部１０３は、メモリカード１３への情報の書き込み及びメモリカード１３からの情報の読み出しを制御する。操作制御部１０４は、操作部１５に対するユーザの操作に応じて、操作信号を出力する。表示制御部１５は、デジタルカメラ１の動作状態に応じた画像を表示部１４に表示させる。
【００２２】
Ｚ情報制御部１０６は、本実施形態の要旨に係る構成であり、画像生成部１０２によって生成された上記画像情報について、画像中に表示されている被写体、背景のＺ情報を生成する。Ｚ情報制御部１０６は、上記画像情報に加え、他視点による撮影によって生成された画像情報を用い、異なる視点における撮影によって生成された複数の画像情報に基づいてＺ情報を生成する。Ｚ情報制御部１０６によって生成されたＺ情報は、記憶媒体制御部１０３によって、上記画像情報と共にメモリカード１３に記憶される。
【００２３】
ここで、図３を参照して、本実施形態において生成されるＺ情報の例について説明する。図３に示すように、本実施形態に係るＺ情報は、上記撮影により生成された画像情報における水平方向の座標である“ｕ”（ｐｉｘｅｌ）及び垂直方向の座標である“ｖ” （ｐｉｘｅｌ）に加えて、“ｕ”、“ｖ”によって特定される画像上の位置に表示されている被写体や背景の奥行き、即ち原点からの水平距離“Ｚ”（ｍｍ）を含む。
【００２４】
換言すると、Ｚ情報に含まれる奥行きの情報は、撮影によって生成された画像情報の画像上における夫々の座標に表示されている対象物との距離と関連付けられている。このような情報により、撮影によって生成された画像に表示されている被写体や背景の、実際の空間上における距離を認識することが可能となる。尚、本実施形態における上記原点とは、ＣＣＤ１６の受光点である。
【００２５】
尚、本実施形態に係るデジタルカメラ１は、図２に示す構成の他、ＣＣＤ１６に光を結像させるレンズ類や、それらのレンズ類を稼動させる機構並びにそれらの機構を操作部１５に対する操作に応じて制御する制御部等、デジタルカメラとして備えるべき一般的な構成を備えている。
【００２６】
本実施形態に係るデジタルカメラ１により通常の撮影を行う場合、デジタルカメラ１に電源が投入されることにより、ＣＣＤ１６は、受光した光情報を光電変換して電気信号を出力する。ＣＣＤ制御部１０１は、ＣＣＤ１６から取得した電気信号を画像生成部１０２に入力する。画像生成部１０２は、ＣＣＤ制御部１０１から入力された電気信号に基づいて画像情報を生成し、表示制御部１０５に入力する。画像生成部１０２が表示制御部１０５に入力する画像情報は、表示部１４の画面サイズに応じて縮小若しくは画素が間引かれた画像情報である。
【００２７】
表示制御部１０５は、画像生成部１０２から取得した画像情報を表示部１４に表示させる。これにより、ユーザは、表示部１４を介して撮影対象の被写体や背景、風景等の画像を視認することが可能になる。ユーザが表示部１４に表示された画像に基づいて撮影対象を決定し、操作部１５を操作することによりズーム倍率等を決定して、操作部１５に含まれるレリーズスイッチを押下すると、操作制御部１０４が操作部１５に対するユーザの操作に応じてＣＣＤ制御部１０１に制御信号を入力し、ＣＣＤ制御部１０１が電子シャッター制御を行う。即ち、操作制御部１０４が撮像指示部として機能する。以降、ユーザによるレリーズスイッチの押下を、撮像操作若しくはシャッター操作と称する。
【００２８】
電子シャッター制御において、ＣＣＤ制御部１０１は、ＣＣＤ１６の光電変換により蓄積されている電荷をリセットし、リセット後の所定期間であるシャッター期間にＣＣＤ１６に蓄積された電荷を電気信号として取得する。ＣＣＤ制御部１０１が電子シャッター制御において取得した電気信号は、画像生成部１０２に入力され、画像生成部１０２が、その電気信号に基づいて画像情報を生成する。
【００２９】
画像生成部１０２が生成した画像情報は、記憶媒体制御部１０３によってメモリカード１３に記憶される。このような動作により、本実施形態に係るデジタルカメラ１による通常の撮像動作が完了し、メモリカード１３に撮像によって生成された画像情報が記憶される。尚、撮像によって生成された画像情報の記憶先は、メモリカード１３の他、デジタルカメラ１に内蔵された記憶媒体であっても良い。
【００３０】
次に、本実施形態に係るデジタルカメラ１の要旨に係る使用方法及び動作について説明する。図４は、本実施形態に係るデジタルカメラ１の使用方法を模式的に示す図である。上述したように、本実施形態に係るデジタルカメラ１により撮影を行う際、ユーザは、通常のデジタルカメラと同様の使用態様、即ち上述した通常の撮像動作のようにレリーズスイッチを押下して撮影を行った後、所定の期間デジタルカメラ１を動かす。このデジタルカメラ１を動かすという動作は、図４に示すように、デジタルカメラ１の受光部を撮像対象の方向に向けたまま、デジタルカメラ１を持っている手を動かす程度の動作、即ち、持っているデジタルカメラを揺り動かす程度の動作である。
【００３１】
図４に示すように、ユーザがデジタルカメラ１を持っている手を動かすことにより、本実施形態に係るデジタルカメラ１は、最初の通常の撮像動作によって生成される画像情報に加えて、最初の撮像動作における位置とは異なる位置においてＣＣＤ１６に入射する光に基づく画像の画像情報を生成する。これにより、デジタルカメラ１は、最初の撮像動作とは異なる視点において撮像された他視点画像情報を取得し、それら複数の画像情報に基づいてＺ情報を生成する。以下、本実施形態に係るデジタルカメラ１の動作について、図５を参照して説明する。
【００３２】
図５に示すように、まず、ユーザによるシャッター操作、即ちレリーズスイッチの押下に応じてコントローラ１００が動作し、画像生成部１０２が画像情報を生成する（Ｓ５０１）。画像生成部１０２は、生成した画像情報を記憶媒体制御部１０３に入力してメモリカード１３に記憶させると共に、Ｚ情報制御部１０６にも入力する。これにより、Ｚ情報制御部１０６が、カウントをスタートすると共に、表示制御部１０５が、他視点画像情報の取得中であることをユーザに通知するためにＬＥＤを点灯させる（Ｓ５０２）。
【００３３】
即ち、Ｚ情報制御部１０６が、ユーザによる撮像操作に応じて、他視点画像情報の取得処理を実行する他視点画像情報取得処理部として機能すると共に、表示制御部１０５が、他視点画像情報の取得処理中であることをユーザに通知する通知部として機能する。尚、ＬＥＤの点灯は、表示制御部１０５ではなくＺ情報制御部１０６が行っても良く、点灯ではなく点滅であっても良い。
【００３４】
カウント値が予め定められた所定値に達すると（Ｓ５０３／ＹＥＳ）、Ｚ情報制御部１０６は、操作制御部１０４がレリーズスイッチの押下に応じて出力するシャッター信号と同様の信号をＣＣＤ制御部１０１に出力する。これにより、ＣＣＤ制御部１０１が上述した電子シャッター制御を行い、電気信号を取得して画像生成部１０２に入力する。画像生成部１０２は、Ｚ情報制御部１０６によるシャッター信号に応じて取得した電気信号に基づいて他視点画像情報を生成すると（Ｓ５０４）、その他視点画像情報をＺ情報制御部１０６に入力する。
【００３５】
Ｚ情報制御部１０６は、所定数の他視点画像情報が取得されるまでカウントを繰り返す（Ｓ５０５／ＮＯ）。所定数の他視点画像情報が取得されると（Ｓ５０５／ＹＥＳ）、表示制御部１０５が、他視点画像情報の取得が完了したことをユーザに通知するため、Ｓ５０２において点灯させたＬＥＤを消灯制御する。そして、Ｚ情報制御部１０６は、最初に取得した画像情報及び他視点画像情報に基づき、Ｚ情報を算出する。即ち、Ｚ情報制御部１０６が、距離情報算出部として機能する。そして、Ｚ情報制御部１０６は、生成したＺ情報を記憶媒体制御部１０３に入力し、Ｓ５０１において記憶された画像情報に関連付けてメモリカード１３に記憶させる（Ｓ５０６）。即ち、記憶媒体制御部１０３が、記憶処理部として機能する。このような処理により、本実施形態に係るデジタルカメラ１の動作が終了する。
【００３６】
尚、Ｓ５０６におけるＺ情報の算出は、異なる複数の視点による画像に基づくＺ情報の算出方法として公知の方法を用いることにより実現することができる。例えば、Ｚ情報制御部１０６は、最初の撮像により取得された画像情報（以降、主画像情報とする）と、他視点画像情報との共通点を抽出することにより、２つの画像情報夫々における画素の対応関係を示すテーブルを生成すると共に、デジタルカメラ１の焦点距離及び光軸のずれ等の内部パラメータに基づいて画像上の位置を実空間の位置に変換し、三角測量に基づく計算によって主画像情報の夫々の画素のＺ情報を算出することができる。
【００３７】
このように、本実施形態に係るデジタルカメラ１においては、ステレオカメラのような特別なハードウェアを追加することなく、既存のデジタルカメラに搭載されている構成を制御することにより、異なる複数の視点から撮像された画像を容易に取得することができ、取得した主画像情報を構成する夫々の画素のＺ情報を計算することができるため、光電変換により画像情報を生成する撮像装置において、生成された画像に表示されている被写体や背景の奥行きの情報を、簡易な構成により取得することができる。
【００３８】
尚、上記実施形態においては、他視点画像情報の取得に際して、ＣＣＤ制御部１０１に電気信号を取得させ、画像生成部１０２に画像情報を生成させるタイミング、即ち、デジタルカメラ１が、最初の撮像時の位置から変位したことを判断するための判断基準として、Ｚ情報制御部１０６は、タイマのカウンタが所定のカウント値に達したタイミングを用いる場合を例として説明した。
【００３９】
この他、デジタルカメラ１の変位判断に際しては、加速度センサのセンサ出力や、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等の位置センサのセンサ出力を用いることができる。加速度センサを用いる場合、Ｚ情報制御部１０６は、加速度の検知信号に基づいてデジタルカメラ１がある方向に動き出したことを検知した後、所定の期間が経過したタイミング、若しくは、再度の加速度の検知信号に基づいてデジタルカメラ１が停止したことを検知したタイミングを用いることができる。
【００４０】
図４のように、ユーザがデジタルカメラ１を揺り動かしている間に複数枚の画像を撮像する場合、デジタルカメラ１の位置が主画像の撮像位置とあまり変わらないタイミングにおいてカウント値が所定値に達する場合もあり得る。その結果、他視点画像情報として取得された画像の視点が、主画像の視点とあまり変わらなくなってしまうようなことがあり得る。これに対して、加速度センサを用いる態様の場合、デジタルカメラ１が変位した先に位置することを高精度に検知することができるため、上記課題を解決することができる。
【００４１】
また、位置センサを用いる場合、Ｚ情報制御部１０６は、位置センサのセンサ出力に基づき、主画像情報が生成された際のデジタルカメラ１の位置から所定の間隔離れたタイミングを用いることが出来る。これにより、加速度センサを用いる場合と同様に、デジタルカメラ１が主画像の撮像位置とは異なる位置にあることを高精度に検知することが可能であり、上記課題を解決することができる。また、複数視点の画像によるＺ情報の算出の一態様として、視点の位置をパラメータとして用いる態様がある。従って、位置センサによる位置検知信号は、Ｚ情報制御部によるＺ情報の算出処理にも用いることができる。
【００４２】
また、上記実施形態においては、主画像情報に加えて、複数の他視点画像情報を取得するため、図４に示すように、主画像情報を生成するための撮像を行った後にデジタルカメラ１を左右に変位させる場合を例として説明した。しかしながら、複数の異なる視点で撮像された画像に基づくＺ情報の算出は、少なくとも２つの視点で撮像された画像があれば可能であり、主画像情報に加えて、１つの他視点画像情報があれば可能である。
【００４３】
従って、本実施形態に係るデジタルカメラ１の使用方法としては、図４に示すようにデジタルカメラ１を左右に変位させるのではなく、一方向にパン若しくはティルトするだけでも良い。これにより、主画像情報の撮像の際の視点とは異なる視点の画像を少なくとも１つ取得することができ、Ｚ情報の算出を行うことが可能となる。
【符号の説明】
【００４４】
１ デジタルカメラ
１０ ＣＰＵ
１１ ＲＡＭ
１２ ＲＯＭ
１３ メモリカード
１４ 表示部
１５ 操作部
１６ ＣＣＤ
１７ バス
１００ コントローラ
１０１ ＣＣＤ制御部
１０２ 画像生成部
１０３ 記憶媒体制御部
１０４ 操作制御部
１０５ 表示制御部
１０６ Ｚ情報制御部
【特許請求の範囲】
【請求項１】
受光した光に応じて電気信号を出力する光電変換部及び前記出力された電気信号に基づいて画像情報を生成する画像情報生成部を含む撮像装置であって、
ユーザの撮像操作に応じて前記画像情報を生成させる撮像指示部と、
前記撮像操作に応じて生成された画像情報とは異なる視点での画像情報である他視点画像情報の取得処理を、前記撮像操作に応じて実行する他視点画像情報取得処理部と、
前記撮像操作に応じて生成された画像情報及び前記他視点画像情報に基づき、前記撮像操作に応じて生成された画像情報に表示されている対象までの距離の情報である距離情報を算出する距離情報算出部と、
前記撮像操作に応じて生成された画像情報と前記算出された距離の情報とを関連付けて記憶媒体に記憶させる記憶処理部とを含み、
前記他視点画像情報取得処理部は、前記他視点画像情報の取得処理を開始した後、前記撮像装置が変位したことを判断した場合に、前記画像情報生成部に前記光電変換部から出力された電気信号に基づいて他視点画像情報を生成させることを特徴とする撮像装置。
【請求項２】
前記他視点画像情報取得処理部は、前記他視点画像情報の取得処理の開始に応じて開始したカウントのカウント値が所定の値になった場合に、前記撮像装置が変位したことを判断することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像装置の動きを検知する加速度センサを更に含み、
前記他視点画像情報取得処理部は、前記加速度センサによる前記撮像装置の動きの検知に応じて、前記撮像装置の変位を判断することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記撮像装置の位置を検知する位置検知センサを更に含み、
前記他視点画像情報取得処理部、前記位置検知センサによる前記撮像装置の位置の検知に応じて、前記撮像装置の変位を判断することを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記距離情報算出部は、前記撮像操作に応じて前記画像情報が生成された際の前記撮像装置の位置及び前記他視点画像情報が生成された際の前記撮像装置の位置を前記位置検知センサから取得し、前記距離情報の算出に用いることを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記他視点画像情報の取得処理の実行中であることをユーザに通知する通知部を更に含むことを特徴とする撮像装置。
【請求項７】
受光した光に応じて電気信号を出力する光電変換部及び前記出力された電気信号に基づいて画像情報を生成する画像情報生成部を含む撮像装置に含まれる画像処理装置であって、
ユーザの撮像操作に応じて前記画像情報を生成させる撮像指示部と、
前記撮像操作に応じて生成された画像情報とは異なる視点での画像情報である他視点画像情報の取得処理を、前記撮像操作に応じて実行する他視点画像情報取得処理部と、
前記撮像操作に応じて生成された画像情報及び前記他視点画像情報に基づき、前記撮像操作に応じて生成された画像情報に表示されている対象までの距離の情報である距離情報を算出する距離情報算出部と、
前記撮像操作に応じて生成された画像情報と前記算出された距離の情報とを関連付けて記憶媒体に記憶させる記憶処理部とを含み、
前記他視点画像情報取得処理部は、前記他視点画像情報の取得処理を開始した後、前記撮像装置が変位したことを判断した場合に、前記画像情報生成部に前記光電変換部から出力された電気信号に基づいて他視点画像情報を生成させることを特徴とする画像処理装置。
【請求項８】
受光した光に応じて電気信号を出力する光電変換部及び前記出力された電気信号に基づいて画像情報を生成する画像情報生成部を含む撮像装置の制御方法であって、
ユーザの撮像操作に応じて前記画像情報生成部に前記画像情報を生成させ、
前記撮像操作に応じて生成された画像情報とは異なる視点での画像情報である他視点画像情報の取得処理を開始した後、前記撮像装置が変位したことを判断した場合に、前記画像情報生成部に前記光電変換部から出力された電気信号に基づいて他視点画像情報を生成させて取得し、
前記撮像操作に応じて生成された画像情報及び前記他視点画像情報に基づき、前記撮像操作に応じて生成された画像情報に表示されている対象までの距離の情報である距離情報を算出し、
前記撮像操作に応じて生成された画像情報と前記算出された距離の情報とを関連付けて記憶媒体に記憶させることを特徴とする撮像装置の制御方法。
【請求項９】
受光した光に応じて電気信号を出力する光電変換部及び前記出力された電気信号に基づいて画像情報を生成する画像情報生成部を含む撮像装置の制御プログラムであって、
ユーザの撮像操作に応じて前記画像情報生成部に前記画像情報を生成させるステップと、
前記撮像操作に応じて生成された画像情報とは異なる視点での画像情報である他視点画像情報の取得処理を開始した後、前記撮像装置が変位したことを判断した場合に、前記画像情報生成部に前記光電変換部から出力された電気信号に基づいて他視点画像情報を生成させて取得するステップと、
前記撮像操作に応じて生成された画像情報及び前記他視点画像情報に基づき、前記撮像操作に応じて生成された画像情報に表示されている対象までの距離の情報である距離情報を算出するステップと、
前記撮像操作に応じて生成された画像情報と前記算出された距離の情報とを関連付けて記憶媒体に記憶させるステップとを前記撮像装置に実行させることを特徴とする撮像装置の制御プログラム。
【請求項１】
受光した光に応じて電気信号を出力する光電変換部及び前記出力された電気信号に基づいて画像情報を生成する画像情報生成部を含む撮像装置であって、
ユーザの撮像操作に応じて前記画像情報を生成させる撮像指示部と、
前記撮像操作に応じて生成された画像情報とは異なる視点での画像情報である他視点画像情報の取得処理を、前記撮像操作に応じて実行する他視点画像情報取得処理部と、
前記撮像操作に応じて生成された画像情報及び前記他視点画像情報に基づき、前記撮像操作に応じて生成された画像情報に表示されている対象までの距離の情報である距離情報を算出する距離情報算出部と、
前記撮像操作に応じて生成された画像情報と前記算出された距離の情報とを関連付けて記憶媒体に記憶させる記憶処理部とを含み、
前記他視点画像情報取得処理部は、前記他視点画像情報の取得処理を開始した後、前記撮像装置が変位したことを判断した場合に、前記画像情報生成部に前記光電変換部から出力された電気信号に基づいて他視点画像情報を生成させることを特徴とする撮像装置。
【請求項２】
前記他視点画像情報取得処理部は、前記他視点画像情報の取得処理の開始に応じて開始したカウントのカウント値が所定の値になった場合に、前記撮像装置が変位したことを判断することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像装置の動きを検知する加速度センサを更に含み、
前記他視点画像情報取得処理部は、前記加速度センサによる前記撮像装置の動きの検知に応じて、前記撮像装置の変位を判断することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記撮像装置の位置を検知する位置検知センサを更に含み、
前記他視点画像情報取得処理部、前記位置検知センサによる前記撮像装置の位置の検知に応じて、前記撮像装置の変位を判断することを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記距離情報算出部は、前記撮像操作に応じて前記画像情報が生成された際の前記撮像装置の位置及び前記他視点画像情報が生成された際の前記撮像装置の位置を前記位置検知センサから取得し、前記距離情報の算出に用いることを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記他視点画像情報の取得処理の実行中であることをユーザに通知する通知部を更に含むことを特徴とする撮像装置。
【請求項７】
受光した光に応じて電気信号を出力する光電変換部及び前記出力された電気信号に基づいて画像情報を生成する画像情報生成部を含む撮像装置に含まれる画像処理装置であって、
ユーザの撮像操作に応じて前記画像情報を生成させる撮像指示部と、
前記撮像操作に応じて生成された画像情報とは異なる視点での画像情報である他視点画像情報の取得処理を、前記撮像操作に応じて実行する他視点画像情報取得処理部と、
前記撮像操作に応じて生成された画像情報及び前記他視点画像情報に基づき、前記撮像操作に応じて生成された画像情報に表示されている対象までの距離の情報である距離情報を算出する距離情報算出部と、
前記撮像操作に応じて生成された画像情報と前記算出された距離の情報とを関連付けて記憶媒体に記憶させる記憶処理部とを含み、
前記他視点画像情報取得処理部は、前記他視点画像情報の取得処理を開始した後、前記撮像装置が変位したことを判断した場合に、前記画像情報生成部に前記光電変換部から出力された電気信号に基づいて他視点画像情報を生成させることを特徴とする画像処理装置。
【請求項８】
受光した光に応じて電気信号を出力する光電変換部及び前記出力された電気信号に基づいて画像情報を生成する画像情報生成部を含む撮像装置の制御方法であって、
ユーザの撮像操作に応じて前記画像情報生成部に前記画像情報を生成させ、
前記撮像操作に応じて生成された画像情報とは異なる視点での画像情報である他視点画像情報の取得処理を開始した後、前記撮像装置が変位したことを判断した場合に、前記画像情報生成部に前記光電変換部から出力された電気信号に基づいて他視点画像情報を生成させて取得し、
前記撮像操作に応じて生成された画像情報及び前記他視点画像情報に基づき、前記撮像操作に応じて生成された画像情報に表示されている対象までの距離の情報である距離情報を算出し、
前記撮像操作に応じて生成された画像情報と前記算出された距離の情報とを関連付けて記憶媒体に記憶させることを特徴とする撮像装置の制御方法。
【請求項９】
受光した光に応じて電気信号を出力する光電変換部及び前記出力された電気信号に基づいて画像情報を生成する画像情報生成部を含む撮像装置の制御プログラムであって、
ユーザの撮像操作に応じて前記画像情報生成部に前記画像情報を生成させるステップと、
前記撮像操作に応じて生成された画像情報とは異なる視点での画像情報である他視点画像情報の取得処理を開始した後、前記撮像装置が変位したことを判断した場合に、前記画像情報生成部に前記光電変換部から出力された電気信号に基づいて他視点画像情報を生成させて取得するステップと、
前記撮像操作に応じて生成された画像情報及び前記他視点画像情報に基づき、前記撮像操作に応じて生成された画像情報に表示されている対象までの距離の情報である距離情報を算出するステップと、
前記撮像操作に応じて生成された画像情報と前記算出された距離の情報とを関連付けて記憶媒体に記憶させるステップとを前記撮像装置に実行させることを特徴とする撮像装置の制御プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１３−３８６８９（Ｐ２０１３−３８６８９Ａ）
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願番号】特願２０１１−１７４８５８（Ｐ２０１１−１７４８５８）
【出願日】平成２３年８月１０日（２０１１．８．１０）
【出願人】（５０１０４１８９４）チームラボ株式会社 (10)
【Ｆターム（参考）】
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願日】平成２３年８月１０日（２０１１．８．１０）
【出願人】（５０１０４１８９４）チームラボ株式会社 (10)
【Ｆターム（参考）】
[ Back to top ]