説明

撮像装置

【課題】 簡易な方法で画像処理による遠距離の被写体の測距を行い,その被写体の位置や名称の情報を得ることができる撮像装置を提供することである。
【解決手段】 一つの被写体を異なる場所から撮影した一対の画像を画像処理し,該二画像から検出した該被写体の画像間視差から該被写体までの距離を演算する遠距離測距演算部と,前記姿勢計測部からの姿勢情報および前記方位計測部から方位情報を用いた補助情報を表示し,撮影した画像を前記遠距離測距演算部に伝達する遠距離測距制御部とを備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は,測位機能を備え,装置本体の位置だけでなく,記録した被写体の位置や名称を表示および記録可能な撮像装置および撮像装置の制御方法に関する。
【背景技術】
【0002】
従来,撮像装置に測位機能を備え,装置本体の位置,すなわち撮影場所の位置情報を画像に付与することで後から撮影場所の確認を容易にしたりする機能がある。また,これをさらに応用し,撮影した場所だけでなく,被写体の位置情報や名称を表示および記録する技術が提案されている。例えば,特許文献1では,GPSなどによるカメラ位置測位,位相差センサなどによる被写体の測距,及び方位センサなどによる方位計測を行い,取得したカメラ位置,被写体との距離,及び方位を基に被写体の位置を算出する技術が開示されている。また,算出した被写体位置をキーとしてデータベースを検索してズーム値に応じた名称を取り出し,取り出した名称をスルー画像に重畳表示し,撮影を行うと撮影画像及び撮影画像に対応付けた被写体情報を記録する技術が開示されている。
【0003】
一方で,位相差センサなどの測距手段ではなく,複数のカメラで撮影された画像を画像処理して被写体までの距離を測定する技術が提案されている。例えば,特許文献2では自動車用の車室内に取り付けられたステレオカメラから車外の対象風景を撮像し,その撮像した画像を画像処理して車両から対象物までの距離を計測する技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2001−169164号公報
【特許文献2】特開平05−114099号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら,特許文献1に開示された位相差センサや光パルス測距装置などの測距手段では,その測距原理から比較的近距離の被写体を高精度に測距するのには適しているが,遠距離の被写体の測距には適していない。例えば位相差センサは,カメラ内部の撮影レンズの異なる場所を通った2つの像をずれ量を用いて測距するため,被写体が遠距離になるほど2つの像のずれ量が少なくなり,測距精度が落ちる。また,光パルス測距装置は,投射光が被写体で反射して戻ってくるまでの時間で測距するため,遠距離の被写体では投射光が届かず測距できない。これに対して,より大きなセンサを用いたり,より強力な投射が可能な装置にすることである程度改善は可能であるが,カメラの外形寸法が大きくなり,コストがかかるため非現実的である。また,AF(Auto Focus)用途という観点では,同じ測距誤差でも遠方の被写体ほど焦点ずれへの影響が小さくなり,ある一定距離以上の被写体に対しては無限遠として扱うことができるため,遠距離の被写体に対する測距精度が要求されない。したがって,遠方の被写体に限っては,AF用途の測距手段を被写体の位置や名称などの情報を得るための測距手段として兼用できないという問題があった。
【0006】
一方で,特許文献2に開示された測距方法は,2画像の水平距離差が確保できれば原理的に遠距離の測距に適しているが,それぞれの撮影光軸が平行で,かつ一定距離以上離れた状態で撮影した複数画像を用いる必要がある。本特許文献でも2台のあらかじめ光軸が調整,固定されたステレオカメラを用いており,持ち出し可能な小型の撮像装置での適用は困難であるという問題があった。
【0007】
そこで,本発明の目的は,簡易な方法で画像処理による遠距離の被写体の測距を行い,その被写体の位置や名称の情報を得ることができる撮像装置を提供することである。
【課題を解決するための手段】
【0008】
上記目的を達成するための本発明に係る撮像装置の構成は、
現在位置座標を取得するGPS部と,
近距離の被写体までの距離を計測する近距離測距部と,
遠距離の被写体までの距離を計測する遠距離測距部と,
撮影方位を計測する方位計測部と,
撮影時の水平方向や仰角方向の姿勢を計測する姿勢計測部と,
前記近距離測距部が計測した被写体までの距離と,前記遠距離測距部が計測した被写体までの距離のいずれか一方を選択する被写体距離判定部と,
被写体位置座標の演算を行う被写体位置算出部と,
を備えた撮像装置において,
前記被写体距離判定部は,前記近距離測距部が計測した被写体までの距離があらかじめ設定されたしきい値以下の場合は前記近距離測距部が計測した距離を選択し,しきい値より大きい場合は前記遠距離測距部が計測した距離を選択し,
前記被写体距離判定部が選択した被写体までの距離情報と,前記GPS部が算出した現在位置座標と,前記方位計測部が計測した撮影方位情報を用いて,前記被写体位置算出部により被写体位置を算出することを特徴とする。
【発明の効果】
【0009】
本発明によれば,画像処理による遠距離の被写体の測距を行い,簡易な方法でその被写体の位置や名称の情報を得ることができる撮像装置を提供することができる。
【図面の簡単な説明】
【0010】
【図1】本実施形態の被写体情報取得部の構成を示すブロック図
【図2】本実施形態の被写体情報取得の処理の流れを示すフロー図
【図3】本実施形態を適用したデジタルカメラの全体構成を示すブロック図
【図4】本実施形態の加速度センサによるデジタルカメラの姿勢検出の概念図
【図5】本実施形態の測距後の被写体位置算出の概念図
【図6】電子方位差器の説明図
【発明を実施するための形態】
【0011】
以下,本発明をデジタルカメラに適用した実施形態を,図面を参照して説明する。
【0012】
最初に,デジタルカメラの全体構成を図3に基づき説明する。図3は,撮像装置の全体構成を示すブロック図である。撮像装置の操作部1は,電源ボタン,再生ボタン,表示切り替えボタン,モードダイアル,ズームスイッチ,レリーズスイッチ(以上不図示)等を備え,操作者による様々な操作を検出する。操作者が操作部1の電源ボタンをONすると,電源部4のシステム系電源回路が起動する。その後,CPU5が起動し,操作者によるモードダイアルの操作に伴う撮像装置のモードの設定状態等を検出する。
【0013】
CPU5は,検出したモードが撮影モードであれば,電源回路を制御して撮像電源やバックライト電源を起動すると共に,アナログフロントエンド(以後AFE)6,メカドライバ7,液晶表示ドライバ8の初期設定を行う。メカドライバ7は,シャッタ,絞り,フォーカスやズームなどのレンズ群からなる光学系11を駆動する。AFE6は,CCD12を駆動する。液晶表示ドライバ8は,液晶パネル9を駆動する。これにより撮影可能状態に移行する。
【0014】
CPU5は,撮像装置全体の制御及びCCD12から得られた画像の処理を行う。撮像装置全体の制御としては,例えば,操作部1のボタン操作の検知とそれに応じた撮像駆動モード・表示モードの切換え制御,記録メディア13への書き込み・読み出し処理,液晶表示ドライバ8への表示データ送信,電源部4のON/OFF制御等である。CPU5は,前記以外にも,各種LEDの点灯制御,ストロボ14の充電・発光制御等も行う。
【0015】
撮影者が撮影可能状態でレリーズボタンを半押しすると,近距離測距部としての位相差センサ21はそのときのAF(Auto Focus)設定にしたがい,被写体までの距離を測距する。AF設定は,例えば画面を分割してそれぞれの領域で測距を行うマルチパターンAF,中央の定められた固定点で測距を行う中央一点AFなどである。それと同時にCPU5はその時の撮影モード(Av優先,Tv優先,オートなど)に応じてシャッタ速度,絞り値,ISO感度を決定し,撮影待機状態に移行する。この状態で撮影者がレリーズボタンを全押しすると,決定した撮影条件でCCD12から画像を取り込み,画像処理を行ってメディア13に記録を行う。この時,設定や撮影状況に応じてストロボの充電・発光制御も行う。
【0016】
次に図1を用いて本実施形態の被写体情報取得部16の構成を説明する。被写体情報取得部16は,GPS部としてのGPSアンテナ22およびGPS処理CPU23,方位計測部としての方位センサ24,姿勢計測部としての加速度センサ25,被写体情報取得CPU26,被写体情報記録手段としての被写体情報記録ROM27から構成される。被写体情報取得CPU26は,被写体距離判定部30,遠距離測距制御部31,遠距離測距演算部32,被写体位置算出部33,被写体名称検索部としての機能を併せ持つ。
【0017】
本実施形態では,遠距離測距部として2画像によるステレオマッチング画像処理技術を用いている。画像処理技術そのものは従来技術と同じであり,同一方位すなわち互いに光軸が平行で,かつ同一姿勢すなわち互いに水平方向に回転していない(ロールしていない)2つの画像を用いる。一方の画像に写った被写体と同じ対象物をパターンマッチングによって他方の画像から探し出し,これらの水平座標の差(視差)を求めることで被写体までの距離を求める方法である。被写体情報取得CPU26は,2画像間の光軸方位や水平方向の姿勢状態が相対的にずれないように,方位センサ24,加速度センサ25から得た方位情報やカメラの姿勢情報を液晶パネル9に表示してユーザーの撮影を補助しつつ,CPU5などを介して撮像部を制御して一対の画像を取得する。さらに取得した画像に対して画像演算処理を行い,被写体までの距離RFARを算出する。さらに,GPSアンテナ22およびGPS処理CPU23を制御してカメラの位置情報を取得し,方位センサ24から得た方位とRFARを用いて被写体の位置座標を算出する。算出した位置情報をキーにして本体内の被写体情報記録ROM27に記録された位置座標に対する名称情報のデータベースを検索して被写体の名称を取得し,液晶パネル9に表示する。
【0018】
被写体情報取得までの具体的な処理の流れを図2を用いて説明する。まず,被写体情報取得CPU26はGPSアンテナ22およびGPS処理CPU23を制御してカメラの位置情報PC1(x,y,z)を取得し(S201),被写体情報取得の待機状態に遷移する(S202)。この状態でユーザーが被写体情報を取得したい被写体をAF枠内に捕捉してレリーズボタンを半押しすると,被写体情報取得CPU26はまず方位センサ24からカメラ光軸方向の方位Dを取得する(S203)。方位Dは,図5(b)に示すように,北向きを基準(0°)として,時計回りに角度で出力される。東であれば90°,南西であれば225°である。
【0019】
次に,被写体情報取得CPU26は加速度センサ25からの情報を取得してカメラの仰角を検知する(S204)。加速度センサ25は3つの互いに直交する検出軸を持ち,図4(a)に示すようにカメラ横方向がx軸,レンズ光軸方向がy軸,カメラ上下方向がz軸となるように設置されている。正位置で水平に構えた場合,z軸にのみ重力加速度Gがかかるため,各軸の加速度は,図4(b)に示すようにAx=Ay=0,Az=−Gとなる。正位置で角度θだけ上に向けて構えた場合,y軸とz軸にGがかかり,図4(c)に示すようにAx=0,Ay=−Gsinθ,Az=−Gcosθとなる。静止していればカメラにかかる加速度はGのみであるから,θ=tan−1(Ay/Az)によってカメラの仰角θを算出することができる。
【0020】
方位Dを取得するとともに,CPU5を介して位相差センサ21から被写体までの距離RAFを取得し,従来通りCPU5はメカドライバ7を介して光学系11を駆動し,フォーカスを合わせる(S205)。被写体情報取得CPU26の被写体距離判定部30は,RAFがあらかじめ定められた遠距離測距しきい値Rth以下かどうかを判定し(S206),RAF≦Rthの時は被写体情報取得CPU26内の被写体位置算出部33が以下のようにRAFを用いた被写体位置P算出を行う(S207)。なお,GPS処理CPU23が演算する位置情報は緯度,経度,高度の3次元であるが,被写体情報を得るための位置情報検索は緯度,経度だけで可能であるため,2次元平面での演算を行う。図5(a)に示すように,S204で取得した仰角θから,RAFの水平成分はRAFcosθと求まる。図5(b)に示すように,Po(x,y)はPC1(x,y)から方位D方向に距離RAFcosθだけ離れているので,Po(x,y)=(x+RAFcosθsinD, y+RAFcosθcosD)によって算出することができる。
【0021】
次に,被写体情報取得CPU26内の被写体名称検索部は,算出した被写体位置Pをキーにして被写体情報記録ROM27に記録された位置座標の中から最も近い座標を検索して,対応する名称情報を取得する(S208)。さらに,取得した被写体名称をCPU5を介して液晶パネル9のライブ画像に重畳表示する(S209)。この状態でユーザーがレリーズボタンを全押しすると(S210),AFE6を介してCCD12からキャプチャした画像情報に従来通りの画像処理を行った上で(S211),カメラの位置情報PC1,被写体の位置情報Pおよび被写体名称を画像に付加してメディア13に記録する(S212)。
【0022】
一方,S206でRAF>Rthだった場合,被写体情報取得のための遠距離測距を行うかどうかをユーザーに選択させる画面を液晶パネル9に表示する(S213)。ユーザーが「いいえ」を選択した場合は,レリーズ全押し待機状態となり(S214),撮像部から取得した画像情報に従来通りの画像処理を行った上で(S215),カメラの位置情報PC1のみを画像に付加してメディア13に記録する(S216)。一方,S212でユーザーが「はい」を選択した場合は,被写体情報取得CPU26内の遠距離測距制御部31が以下のステップで遠距離測距を行う。
【0023】
まず,S204と同様に,加速度センサ25から各軸の加速度情報を取得して演算したカメラの姿勢情報を電子水準器40としてライブ画像に重畳表示し,水平状態,すなわちAx=Ay=0,Az=−Gの状態で撮影するようガイドを行う(S217)。ここでレリーズ全押し待機状態となり(S218),ユーザーが撮影した画像(画像Aと呼ぶ)を,CPU5内部の一時メモリに一旦保存しておく(S219)。次に,ユーザーに水平方向に移動して再度撮影するよう要請するメッセージを液晶パネル9に表示する(S220)。それとともに,図6(a)に示すように,現在の方位Dと画像Aの方位Dとのずれ角を示す電子方位差器41と,加速度センサ25からの加速度情報を演算して得られた現在のカメラの姿勢情報を示す電子水準器40とをライブ画像にガイド表示する(S221)。
【0024】
電子方位差器41は,図6(a)のようにコンパスを模した円形をしており,Dを時計の12時方向の基準位置に線で表示し,現在の方位DをDに対する相対方位として線を重ねて表示する。相対方位が一定以下になると,二つの線が重なって表示され,これにより撮影者は同一方位であることを知ることができる。また,電子水準器40は,カメラの水平方向の姿勢に応じて水準バー43が左右に移動することでカメラの姿勢を報知する。例えば,図6(b)のようにカメラ正位置から見て右側を下げると水準バー43が左に移動し,図6(c)のようにカメラ正位置から見て左側を下げると水準バー43が右に移動する。水準バー43と水平基準ライン44が重なることで,撮影者は水平状態であることを知ることができる。
【0025】
ここでレリーズ半押し待機状態となるので(S222),ユーザーはガイドに従って移動した後,電子水準器40および電子方位差器41の各線が重なった状態で被写体が画角内に入るように構図を決める。ここでレリーズボタンを半押しすると,再度GPSアンテナ22およびGPS処理CPU23を制御してカメラ位置PC2(x,y,z)を取得する(S223)。さらに,この時の方位Dを取得し(S224),被写体情報取得CPU26はDと前回取得した画像の方位Dとのずれ角ΔD=D-Dを算出し,これが最小方位差Dth以下かどうかを判定する(S225)。ΔD>Dthの時は,被写体位置算出の精度が確保されないため,ユーザーに再測定を促すメッセージを表示して(S226),S222に戻る。ΔD≦Dthの時は,ユーザーに被写体位置算出可能である旨のメッセージを表示し,ユーザーに撮影を促す(S227)。
【0026】
ここでレリーズ全押し待機状態となり(S228),この状態でユーザーが撮影した画像(画像Bと呼ぶ)は,画像Aと同様にCPU5内部の一時メモリの異なる領域に保存する(S229)。さらに,PCとPCから,図5(c)に示すような2画像の撮影位置差ΔPc=((x−x)+(y−y))1/2 を算出する(S230)。なお,ここでの演算においては,GPSのx座標とy座標のみを使用し,z座標情報を使用していない。
【0027】
次に,被写体情報取得CPU26内の遠距離測距演算部32は,一時保存した画像A,画像Bおよび撮影位置差ΔPcから,上述のステレオマッチング画像処理技術を用いて被写体距離RFARを算出する(S231)。このとき,図6(b)に示すように,撮影した画像A,Bを順次液晶パネル9に表示し,被写体情報を取得したい被写体が撮影された領域A42をユーザーに選択させ,領域A42について演算を行う。
【0028】
次に,被写体情報取得CPU26内の被写体位置算出部33は,S207と同様にRFARを用いた被写体位置POFの算出を行う(S232)。すなわち,POF(x,y)=(x+RFARcosθsinD, y+RFARcosθcosD)によって算出することができる。
【0029】
次に,被写体情報取得CPU26内の被写体名称検索部は,算出した被写体位置POFをキーにして被写体情報記録ROM27を検索し(S233),画像Aにはカメラの位置情報PC1,被写体の位置情報POFおよび被写体名称,画像Bにはカメラの位置情報PC2,被写体の位置情報POFおよび被写体名称を付加してメディア13に記録する(S234)。
【0030】
なお,いずれの方法においても,被写体名称を検索結果に複数の名称候補が該当した場合は,候補を全て表示してユーザーに選択させ,選択された被写体名称を画像に付加する。
【0031】
以上,本発明をその好適な実施形態に基づいて詳述してきたが,本発明はこれら特定の実施形態に限られるものではなく,この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。例えば,本実施例では姿勢計測部として加速度センサを用いたが,重力センサや角速度センサに演算を施して姿勢情報を取得してもよい。
【0032】
また,近距離測距部として位相差センサを用いたが,光パルス測距装置を用いてもよい。また,本実施例では,カメラ内部に位置座標に対する名称情報のデータベースを有する場合について記述したが,PCなどの記録装置やネットワーク上にデータベースがあってもよい。この場合,撮影した一対の画像が遠距離測距可能であることを示す識別子を画像に関連付けて記録することにより,PC上での後処理によって遠距離測距を行った上で,PC上またはネットワーク上のデータベースを検索して被写体名称を取得することができる。
【符号の説明】
【0033】
1 操作部
5 CPU
9 液晶パネル
21 位相差センサ
22 GPSアンテナ
23 GPS処理CPU
24 方位センサ
25 加速度センサ
26 被写体情報取得CPU
27 被写体情報記録ROM
30 被写体距離判定部
31 遠距離測距制御部
32 遠距離測距演算部
33 被写体位置算出部
34 被写体名称検索部


【特許請求の範囲】
【請求項1】
現在位置座標を取得するGPS部と,
近距離の被写体までの距離を計測する近距離測距部と,
遠距離の被写体までの距離を計測する遠距離測距部と,
撮影方位を計測する方位計測部と,
撮影時の水平方向や仰角方向の姿勢を計測する姿勢計測部と,
前記近距離測距部が計測した被写体までの距離と,前記遠距離測距部が計測した被写体までの距離のいずれか一方を選択する被写体距離判定部と,
被写体位置座標の演算を行う被写体位置算出部と,
を備えた撮像装置において,
前記被写体距離判定部は,前記近距離測距部が計測した被写体までの距離があらかじめ設定されたしきい値以下の場合は前記近距離測距部が計測した距離を選択し,しきい値より大きい場合は前記遠距離測距部が計測した距離を選択し,
前記被写体距離判定部が選択した被写体までの距離情報と,前記GPS部が算出した現在位置座標と,前記方位計測部が計測した撮影方位情報を用いて,前記被写体位置算出部により被写体位置を算出することを特徴とする撮像装置。
【請求項2】
前記被写体位置算出部により算出した前記被写体位置情報を,撮影した画像とともに記録媒体に記録する画像記録部を具備することを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記GPS部が算出した現在位置座標と,前記被写体距離判定部が選択した被写体までの距離情報と,前記方位計測部が計測した撮影方位情報と,前記姿勢計測部が計測した姿勢情報を用いて被写体の位置座標を演算する被写体位置算出部と,
位置座標および位置座標に関連付けられた位置名称を記録した被写体情報記録手段と,
前記被写体位置算出部が算出した被写体位置座標をもとに,前記被写体情報記録手段により記録された位置座標および位置座標に関連付けられた位置名称のデータベースを検索して被写体名称の候補を取得する被写体名称検索部と,
前記被写体名称検索部が取得した被写体名称の候補を表示する表示部と,
前記GPS部が算出した現在位置座標と,前記被写体位置算出部が算出した被写体位置情報と,前記被写体名称検索部が取得した被写体名称を撮影画像に関連付けて記録媒体に記録する記録部と,
を具備することを特徴とする請求項1に記載の撮像装置。
【請求項4】
前記遠距離測距部は,
一つの被写体を異なる場所から撮影した一対の画像を画像処理し,該二画像から検出した該被写体の画像間視差から該被写体までの距離を演算する遠距離測距演算部と,
前記姿勢計測部からの姿勢情報および前記方位計測部からの方位情報を用いた補助情報を表示し,撮影した画像を前記遠距離測距演算部に伝達する遠距離測距制御部と,
を有することを特徴とする請求項1乃至請求項3のいずれか1項に記載の撮像装置。
【請求項5】
撮影する一対の画像のうち一枚目の撮影時における前記補助情報は,
前記姿勢計測部からの姿勢情報であることを特徴とする請求項4に記載の撮像装置。
【請求項6】
撮影する一対の画像のうち二枚目の撮影時における前記補助情報は,
前記姿勢計測部からの姿勢情報と,
撮影する一対の画像のうち一枚目の撮影における前記方位計測部によって測定された方位と,撮影する一対の画像のうち二枚目の撮影における前記方位計測部によって測定された方位との差分を表示する方位差分情報と,
であることを特徴とする請求項4または請求項5に記載の撮像装置。
【請求項7】
前記遠距離測距演算部は,
撮影した画像を表示して被写体情報の取得対象となる被写体が撮影された領域を撮影者に選択させ,該領域情報を付加して前記遠距離測距演算部に伝達し,
前記遠距離測距演算部は該領域のみを画像処理して被写体距離を演算することを特徴とする請求項4乃至請求項6のいずれか1項に記載の撮像装置。
【請求項8】
前記画像記録部は,
前記一対の画像が前記遠距離測距手段によって遠距離測距の演算が可能であることを示す識別子を該二画像に関連付けて記録媒体に記録することを特徴とする請求項1乃至請求項7のいずれか1項に記載の撮像装置。
【請求項9】
前記被写体位置算出部は,前記GPS部から取得した現在位置座標情報のうち,緯度情報と経度情報のみを用いて被写体位置を算出することを特徴とする請求項1乃至請求項8のいずれか1項に記載の撮像装置。


【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate


【公開番号】特開2012−124554(P2012−124554A)
【公開日】平成24年6月28日(2012.6.28)
【国際特許分類】
【出願番号】特願2010−271201(P2010−271201)
【出願日】平成22年12月6日(2010.12.6)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】