電子機器および撮像装置
【課題】電子機器の内部で発生する磁気の乱れによって、検出する方位の精度が低下することを防止する。
【解決手段】地磁気に応じた磁気方位データを所定時間ごとに取得する地磁気検出部と、磁気方位データの変化量を算出する変化量算出部と、磁気方位データを記憶する記憶部と、角加速度検出部によって取得される角速度を積分して角度データを算出する積分部とを備える。磁気方位データおよび角速度が閾値の範囲内である場合は、磁気方位データを出力方位データとして採用する。変化量および角速度の一方が閾値の範囲外である場合は、閾値の範囲外となった時点を零の基準時点として角速度積分部により算出された角度を用いる。変化量および角速度が閾値の範囲内である場合に記憶された最も新しい地磁気データに対してこの角度を加算したものを出力方位として採用する。
【解決手段】地磁気に応じた磁気方位データを所定時間ごとに取得する地磁気検出部と、磁気方位データの変化量を算出する変化量算出部と、磁気方位データを記憶する記憶部と、角加速度検出部によって取得される角速度を積分して角度データを算出する積分部とを備える。磁気方位データおよび角速度が閾値の範囲内である場合は、磁気方位データを出力方位データとして採用する。変化量および角速度の一方が閾値の範囲外である場合は、閾値の範囲外となった時点を零の基準時点として角速度積分部により算出された角度を用いる。変化量および角速度が閾値の範囲内である場合に記憶された最も新しい地磁気データに対してこの角度を加算したものを出力方位として採用する。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、デジタルカメラ、携帯電話等の携帯電子機器に適用される電子機器および撮像装置に関する。
【背景技術】
【０００２】
従来、デジタルカメラ、携帯電話等の携帯電子機器において、機器が向いている方位を機器の使用者に提示する機能や、その方位を利用して使用者に何らかの利便や娯楽を与えるような機能が実現されてきた。例えば、撮像装置の表示画面上に現在撮像装置が向いている方向を表示するコンパス機能が実用化されている。さらに、写真が撮影された時点で、撮影者の位置と撮影方向とのデータを写真の画像データと共に記録しておき、写真を鑑賞する際に、地図上に方角つきで写真を表示する機能が実用化されている。これらの機能を実現するにあたり、小型であるために携帯電子機器への組み込みに適した電子磁気コンパスが多く用いられている。
【０００３】
しかしながら、電子磁気コンパスは、磁気センサにより磁気方位を検出するため、磁気の乱れ等の影響を受け、検出方位にふらつきが多く含まれる。ふらつきを除去するために、高周波成分を除去するローパスフィルタや平均化処理を用いる方法が考えられる。しかしながら、ローパスフィルタや平均化処理によって、応答性が低下するという問題がある。特に携帯電子機器は、船舶や車両等の大型装置に搭載される方位センサと比較すると、使用者の動きに合わせてその方向が高速に変化するため、応答性の低下は問題となりやすい。
【０００４】
さらに、携帯電子機器では、携帯電子機器内部に磁気を乱す様々な要因がある。これを磁気撹乱と適宜称する。例えば撮像装置においては、ズーム動作時に作動するモータや、フラッシュの充電・放電、シャッター機構、オートフォーカス機構等、機器に組み込まれたさまざまな機構の動作により磁気撹乱が発生する。そのため、撮像装置に電子磁気コンパスを組み込む際には、機器内部で発生する磁気攪乱の影響を受けないようにする必要がある。
【０００５】
電子磁気コンパスの欠点を補うために、ジャイロセンサに代表される応答性の良い角速度センサを組み合わせて用いることが既に提案されている。電子磁気コンパスによる磁気方位の特徴は、応答性が悪くふらつきがあるが、長い時間で見れば（ローパスフィルタや平均化によって処理を行えば）検出精度は良いということである。一方、角速度センサの出力を積分して得られる積分方位は、短い時間で見れば応答性は良いが長い時間でみると誤差が加算されるドリフト現象が発生するので精度が悪くなる。
【０００６】
特許文献１には、磁気方位と積分方位の差分をローパスフィルタで処理し、積分方位と加算して出力することで、高精度でかつ応答特性の良い電子磁気コンパスを実現することが記載されている。特許文献２には、装着型の位置検出携帯端末装置において、磁気センサから所定の時間ごとに地磁気ベクトルを取得し、当該所定の時間における地磁気ベクトルの大きさの変化量である地磁気変化量を算出している。この算出された地磁気変化量が所定の閾値の範囲内である場合は、磁気センサが取得した地磁気ベクトルから装着者の方位を決定する。また、当該地磁気変化量が当該所定の閾値の範囲外である場合は、当該所定の閾値の範囲内の地磁気変化量を示した最新の地磁気ベクトルから決定された方位である最新方位を装着者の方位として採用して決定する。または、この場合、最新方位にジャイロセンサによって取得された回転量を加算した方位である回転量加算方位を装着者の方位として決定する。特許文献３では、磁気方位計および回転角速度センサーを使用し、回転角速度センサーの角速度データから相対回転角を得る。そして、磁気方位計の方位角データを統計処理して標準偏差を求め、標準偏差が大きい場合は、磁気乱れが発生していると判定して方位角に相対回転角を加えるようになされる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平１１−３４４３３９号公報
【特許文献２】特開２００８−２８１４９４号公報
【特許文献３】特開平８−１１４４５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
これらの特許文献には、磁気センサと角速度センサを用いて方位検出の精度を高めることが記載されている。しかしながら、電子機器の内部で発生する磁気攪乱に対する対策が行われていなかった。磁気センサを利用した方位検出手法を例えば携帯電子機器に組み込むに当たっては、携帯電子機器内部で発生するさまざまな磁気攪乱を考慮する必要がある。
【０００９】
例えば特許文献１の手法は船舶や車両の方位検出を対象としている。船舶や車両は、携帯電子機器と比較して磁気攪乱の少ない環境におかれる。特許文献1 では、ローパスフィルタを通した磁気方位を、長い時間で見たときの正しい方位として、角速度センサによる積分方位を加算しているが、磁気センサの出力に含まれる短周期のふらつきがローパスフィルタで除去できるのに対し、機器内部で磁気撹乱が発生した場合の磁気センサの出力乱れは周波数が小さくフィルタを通過するため、基準となる正しい方位が算出できないという問題があった。
【００１０】
特許文献２においても、位置検出専用の端末装置の発明であるため、機器内部の磁気状態が使用者操作または内部動作によって一時的に撹乱されるという問題には対処できない。さらに、特許文献２の手法では、磁気センサの出力変化量のみを閾値判別して、ジャイロセンサを用いるか否かを決定するため、磁気センサの応答性の遅さに部分的にしか対処できない。特許文献３に記載の方法は、自動車で走行中に人口構造物の磁場の影響によって地磁気の乱れが生じている場合に精度を高めるものであり、機器内部の磁気攪乱に対処するものではなかった。
【００１１】
したがって、本開示は、機器内部で発生する磁気攪乱によって精度の低下を防止することが可能な電子機器および撮像装置の提供を目的とする。
【課題を解決するための手段】
【００１２】
上述の課題を解決するために、本開示は、地磁気に応じた磁気方位データを所定時間ごとに取得する地磁気検出部と、
磁気方位データの変化量を算出する変化量算出部と、
磁気方位データを記憶する記憶部と、
角加速度検出部によって取得される角速度を積分して角度データを算出する積分部と、
磁気方位データおよび角速度が閾値の範囲内である場合は、磁気方位データを出力方位データとして採用し、
変化量および角速度の一方が閾値の範囲外である場合は、閾値の範囲外となった時点を零の基準時点として角速度積分部により算出された角度を使用し、
変化量および角速度が閾値の範囲内である場合に記憶された最も新しい地磁気データに対して角度を加算したものを出力方位として採用する方位出力部と
を備えた電子機器である。
【発明の効果】
【００１３】
本開示は、地磁気センサ等により検出される磁気方位と、角速度センサにより検出される積分方位とを組み合わせて、高応答性と対ノイズ性を持ち合わせた方位検出を行うことができる。本開示では、各センサ出力値および機器の動作状態を常時モニタすることによって、磁気方位優先モードと積分方位優先モードを動的に切り替える。すなわち、安定した時点での磁気方位を真の方位とし、積分方位優先モードに入ると、その時点での磁気方位を基準としてレジスタに保存し、基準方位から積分方位に対応してオフセットさせたものを出力する。
【図面の簡単な説明】
【００１４】
【図１】本開示による撮像装置の外観を示す斜視図である。
【図２】本開示による撮像装置の一実施の形態のブロック図である。
【図３】本開示による撮像装置の一実施の形態の一部の構成のブロック図である。
【図４】センサ部の方位検出動作の説明に用いるフローチャートである。
【図５】センサ部の方位検出におけるモード切り替えの説明に用いるフローチャートである。
【図６】表示物の概略の説明のための略線図である。
【図７】本開示による撮像装置と被写体との位置関係を示す略線図、並びに本開示による撮像装置のＬＣＤ画面の表示を示す略線図である。
【図８】本開示による撮像装置と被写体との位置関係を示す略線図、並びに本開示による撮像装置のＬＣＤ画面の表示を示す略線図である。
【図９】本開示による撮像装置と被写体との位置関係を示す略線図、並びに本開示による撮像装置のＬＣＤ画面の表示を示す略線図である。
【図１０】本開示による撮像装置と被写体との位置関係を示す略線図、並びに本開示による撮像装置のＬＣＤ画面の表示を示す略線図である。
【図１１】本開示による撮像装置と被写体との位置関係を示す略線図、並びに本開示による撮像装置のＬＣＤ画面の表示を示す略線図である。
【図１２】本開示による撮像装置と被写体との位置関係を示す略線図、並びに本開示による撮像装置のＬＣＤ画面の表示を示す略線図である。
【図１３】本開示による撮像装置のＬＣＤ画面の表示の他の例を示す略線図である。
【図１４】本開示による撮像装置のＬＣＤ画面の表示のさらに他の例を示す略線図である。
【図１５】本開示による撮像装置の表示物を生成するためのビューイング・パイプライン処理の流れを説明するための略線図である。
【図１６】本開示による撮像装置の一実施の形態の処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下に説明する実施の形態は、この発明の好適な具体例であり、技術的に好ましい種々の限定が付されているが、この発明の範囲は、以下の説明において、特にこの発明を限定する旨の記載がない限り、これらの実施の形態に限定されないものとする。
【００１６】
「撮像装置の一例」
本開示の一実施の形態について説明する。図１を参照して本開示を適用できる撮像装置の一例を説明する。図１Ａは、撮像装置２０の前面を示し、図１Ｂが撮像装置２０の背面を示す。２１がシャッターボタンであり、２２がモードダイヤルであり、２３がズームレバーであり、２４がフラッシュである。２５が電源ボタンであり、２６が連写ボタンであり、２７がマイクロホンであり、２８がセルフタイマーボタンであり、２９がレンズである。モードダイヤル２２は、操作したい機能を選択するように回転される。例えば自動設定が撮像できるオート撮像モード、マニュアル露出撮像、プログラムオート撮像、動画撮像等の機能が切り替えられる。
【００１７】
撮像装置の背面には、ＬＣＤ（Liquid Crystal Display）３０、ストラップ取り付け部３１、動画ボタン３２、再ボタン３３、削除ボタン３４、メニューボタン３５、コントロールボタン３６が設けられている。コントロールボタン３６は、拡大して示すように、中央位置の決定ボタンと、上下左右の選択ボタンとを有する。例えば上の選択ボタンを押すと、画面表示設定の表示がＬＣＤ３０の画面に表示される。図面に向かって右側の選択ボタンを押すと、フラッシュ設定の表示がＬＣＤ３０の画面に表示される。なお、ＬＣＤ３０は、ＥＶＦ(Electric View Finder:電子ビューファインダ）の機能を有するもので、ＥＶＦ機能を持つ表示部としては、ＬＣＤ以外の表示装置例えば有機ＥＬ(Electro-Luminescence)を使用したものでも良い。さらに、図１に示す撮像装置は、一例であって、他の構成例えばスマートフォンの撮像機能に対しても本開示を適用することができる。
【００１８】
図２に示すように、撮像装置は、カメラ部１と、デジタル信号処理部２と、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）３と、媒体インターフェース（以下、媒体Ｉ／Ｆという。）４と、制御部５と、操作部６と、センサ部７を有する。さらに、ＬＣＤコントローラ８と、ＬＣＤ３０と、外部インターフェース（以下、外部Ｉ／Ｆという。）９とを有する。媒体Ｉ／Ｆ４に対して記録媒体１０が着脱可能とされている。さらに、画像ファイルを蓄積するために大容量の記録媒体であるハードディスクドライブ１７が備えられている。
【００１９】
記録媒体１０は、例えば半導体メモリーを用いたいわゆるメモリーカードである。メモリカード以外に、ハード・ディスク装置、記録可能なＤＶＤ（Digital Versatile Disc）や記録可能なＣＤ（Compact Disc）等の光記録媒体、磁気ディスクなどを用いることができる。
【００２０】
カメラ部１は、光学ブロック１１、ＣＣＤ（Charge Coupled Device)、ＣＭＯＳ(Complementary Metal Oxide Semiconductor) 等の撮像素子１２、前処理回路１３、光学ブロック用ドライバ１４、ＣＣＤ用ドライバ１５、タイミング生成回路１６とを備えたものである。ここで、光学ブロック１１は、レンズ、フォーカス機構、シャッター機構、絞り（アイリス）機構などを備えている。
【００２１】
制御部５は、ＣＰＵ（Central Processing Unit ）５１、ＲＡＭ（Random Access Memory）５２、フラッシュＲＯＭ（Read Only Memory）５３、時計回路５４が、システムバス５５を通じて接続されて構成されたマイクロコンピュータであり、この一実施の形態の撮像装置の各部を制御する。ＲＡＭ５２は、処理の途中結果を一時記憶するなど主に作業領域として用いられるものである。フラッシュＲＯＭ５３は、ＣＰＵ５１において実行する種々のプログラムや、処理に必要になるデータなどが記憶されたものである。時計回路５４は、現在年月日、現在曜日、現在時刻、撮影日時などを提供すると共に、撮影日時等の日時情報を撮影画像ファイルに付与する機能を有する。
【００２２】
撮影時においては、光学ブロック用ドライバ１４は、制御部５からの制御に応じて、光学ブロック１１を動作させるための駆動信号を形成し、駆動信号を光学ブロック１１に供給して、光学ブロック１１を動作させる。光学ブロック１１では、ドライバ１４からの駆動信号に応じて、フォーカス機構、シャッター機構、絞り機構が制御され、被写体像が取り込まれ、被写体像が撮像素子１２に対して提供される。さらに、光学ブロック１１のレンズ装置が交換可能とされている。例えばレンズ装置の内部には、マイクロコンピュータが構成されており、レンズ装置の種類、現在の焦点距離等の情報がＣＰＵ５１に対して伝送される。
【００２３】
撮像素子１２は、光学ブロック１１からの被写体像を光電変換して出力する。撮像素子ドライバ１５からの駆動信号に応じて撮像素子１２が動作し、被写体像が取り込まれ、制御部５によって制御されるタイミング生成回路１６からのタイミング信号に基づいて、取り込まれた被写体の画像が電気信号として前処理回路１３に供給される。
【００２４】
なお、タイミング生成回路１６は、制御部５からの制御に応じて、所定のタイミングを提供するタイミング信号を形成する。また、撮像素子ドライバ１５は、タイミング生成回路１６からのタイミング信号に基づいて、撮像素子１２に供給する駆動信号を形成する。
【００２５】
前処理回路１３は、供給された撮像信号に対して、ＣＤＳ（Correlated Double Sampling）処理を行って、Ｓ／Ｎ比を良好にし、ＡＧＣ（Automatic Gain Control）処理を行って、利得を制御し、そして、Ａ／Ｄ（Analog/Digital）変換によって、デジタル信号とされた撮像データを形成する。
【００２６】
前処理回路１３からのデジタル撮像データがデジタル信号処理部２に供給される。デジタル信号処理部２は、撮像データに対して、ＡＦ（Auto Focus）、ＡＥ（Auto Exposure
）、ＡＷＢ（Auto White Balance）などのカメラ信号処理を施す。カメラ信号処理がなされた画像データが所定の圧縮方式でデータ圧縮され、システムバス５５、媒体Ｉ／Ｆ４を通じて装填された記録媒体１０および／またはハードディスクドライブ１７に供給され、記録媒体１０および／またはハードディスクドライブ１７に例えばＤＣＦ（Design rule
for Camera File system）規格に準じた画像ファイルとして記録される。
【００２７】
また、記録媒体１０に記録された画像データは、操作部６を通じて受け付けたユーザーからの操作入力に応じて、目的とする画像データが媒体Ｉ／Ｆ４を通じて記録媒体１０から読み出され、これがデジタル信号処理部２に供給される。操作部６には、シャッタレリーズボタン等の各種ボタンやレバー、ダイヤル等が含まれる。ＬＣＤ３０をタッチパネルと構成とし、ユーザが画面上を指や指示具で押圧することで入力操作を行うことが可能としても良い。
【００２８】
デジタル信号処理部２は、記録媒体１０から読み出され、媒体Ｉ／Ｆ４を通じて供給された圧縮されている画像データに関して、その圧縮の解凍処理（伸張処理）を行い、解凍後の画像データをシステムバス５５を通じて、ＬＣＤコントローラ８に供給する。ＬＣＤコントローラ８は、画像データからＬＣＤ３０に供給する表示画像信号を形成し、表示画像信号をＬＣＤ３０に供給する。これにより、記録媒体１０に記録されている画像データに応じた画像がＬＣＤ３０の画面に表示される。さらに、制御部５およびＬＣＤコントローラ８の制御によって、ＬＣＤ３０の画面上にメニュー等のテキスト、グラフィックスの表示が行うことが可能とされている。なお、画像の表示の形態は、ＲＯＭに記録された表示処理プログラムに従う。
【００２９】
また、撮像装置には、外部Ｉ／Ｆ９が設けられている。この外部Ｉ／Ｆ９を通じて、例えば外部のパーソナルコンピュータが接続され、パーソナルコンピュータから画像データの供給を受けて、これを自身に装填された記録媒体に記録したり、また、自身に装填された記録媒体に記録されている画像データを外部のパーソナルコンピュータに供給することが可能とされている。
【００３０】
また、外部Ｉ／Ｆ９に通信モジュールを接続することにより、例えば、インターネットなどのネットワークと接続して、ネットワークを通じて種々の画像データやその他の情報を取得し、自身に装填された記録媒体に記録したり、あるいは、自身に装填された記録媒体に記録されているデータを、ネットワークを通じて目的とする相手先に送信することが可能とされている。
【００３１】
また、外部のパーソナルコンピュータやネットワークを通じて取得し、記録媒体に記録した画像データなどの情報についても、読み出して再生し、ＬＣＤ３０に表示することが可能とされている。
【００３２】
なお、外部Ｉ／Ｆ９は、ＩＥＥＥ（Institute of Electrical and Electronics Engineers ）１３９４、ＵＳＢ（Universal Serial Bus）などの有線用インターフェースとして設けることも可能であるし、光や電波による無線インターフェースとして設けることも可能である。すなわち、外部Ｉ／Ｆ９は、有線、無線のいずれのインターフェースであってもよい。外部インタフェース９を通じて、例えば図示しない外部のコンピュータ装置と接続して、コンピュータ装置から画像データの供給を受けて、画像データを記録媒体１０および／またはハードディスクドライブ１７に記録できる。記録媒体１０および／またはハードディスクドライブ１７に記録されている画像データを外部のコンピュータ装置等に供給することもできる。
【００３３】
上述した撮像装置によって、被写体の画像（静止画および動画）を撮影して、装填された記録媒体１０および／またはハードディスクドライブ１７に記録することができる。さらに、記録媒体１０および／またはハードディスクドライブ１７に記録された画像データを読み出して、画像を表示し、任意に閲覧、編集することが可能である。画像データの管理のためにインデックスファイルが記録媒体１０および／またはハードディスクドライブ１７の特定領域に記録されている。
【００３４】
ここで、上述した撮像装置の動作について概略的に説明する。撮像素子１２によって受光され、光電変換された信号が前処理回路１３に供給され、ＣＤＳ処理、ＡＧＣ処理が行われてデジタル信号に変換され、デジタル信号処理部２に供給される。デジタル信号処理部２では、画像データが画質補正処理され、カメラスルー画像の画像データとして制御部５に供給される。制御部５から入力された画像データがＬＣＤコントローラ８に供給され、カメラスルー画像がＬＣＤ３０に表示される。
【００３５】
ＬＣＤ３０に表示されたカメラスルー画像を見ながら画角合わせを行うことが可能となる。後述するように、本開示では、撮像時に、被写体が表示されるＬＣＤ３０の画面上に仮想物体をＡＲによって表示する。仮想物体を表示することによって、ユーザに対して推奨される写真を撮像するためのガイドを行うようになされる。
【００３６】
そして、操作部６のシャッターボタンが押下されると、ＣＰＵ５１がカメラ部１に制御信号を出力して、光学ブロック１１のシャッタを動作させる。これとともに、デジタル信号処理部２によって、前処理回路１３から供給された１フレーム分の画像データ（記録画像データ）が処理されて後、ＳＤＲＡＭ３に記憶される。さらに、この記録画像データがデジタル信号処理部２によって圧縮符号化され、符号化データがハードディスク１７に記憶されると共に、システムバス５５および媒体インターフェース４を通じて記録媒体１０に記憶される。
【００３７】
なお、静止画像データに対して、ＣＰＵ５１が撮影時の日時や時刻を時計回路５４から取得し、データに付加してハードディスク１７および記録媒体１０に記憶する。さらに、センサ部７から取得される位置データ、方位データおよび姿勢データも取得した画像データに対して付加される。さらに、静止画像についてはさらに、静止画像の縮小画像のデータが生成され、縮小画像のデータが元の静止画像と対応付けてハードディスク１７および記録媒体１０に記憶される。
【００３８】
一方、ハードディスク１７および記録媒体１０に記憶された記録画像データを再生する場合には、操作部６からの操作入力に応じて、ＣＰＵ５１が選択された記録画像データがＳＤＲＡＭ３に読み込まれる。そして、デジタル信号処理部２によって復号される。復号された画像データがＬＣＤコントローラ８を通じてＬＣＤ３０に供給され、ＬＣＤ３０に再生画像が表示される。
【００３９】
「センサ部」
図３に示すように、センサ部７は、位置検出部７１を有する。位置検出部７１は、例えばＧＰＳ(Global Positioning System)によって撮像装置の現在位置を検出し、現在位置
の位置データを取得する。位置検出部７１の検出信号がＡＲ(Augmented Reality：拡張現実）表示制御部７７に供給される。ＡＲ表示制御部７７に対して記憶部７８からのデータが供給される。
【００４０】
ＡＲ表示制御部７７は、制御部５の機能の一部である。ＡＲ表示制御部７７の出力データが画面表示制御部７９を介してＬＣＤ３０に対して供給される。ＡＲは、ＬＣＤ３０の画面上に、現実の環境の画像（撮像画像）に仮想物体を重畳表示するものである。ＡＲ表示制御部７７を含むＡＲの構成については、後述する。
【００４１】
さらに、センサ部７は、加速度センサ７２、地磁気センサ７３およびジャイロセンサ７４を有する。加速度センサ７２は、撮像装置の姿勢を検知するために設けられており、加速度データを発生する。地磁気センサ７３は、地磁気に応じた磁気方位のデータを発生する。ジャイロセンサ７４は、角速度検出部を構成し、角速度データを発生する。これらの加速度センサ７２、地磁気センサ７３およびジャイロセンサ７４の出力データ（デジタル信号）が方位演算部７５に供給される。方位演算部７５は、マイクロコンピュータ等のデジタル信号処理部を有する。なお、各センサからアナログ信号を受け取って方位演算部７５においてデジタル化の処理を行うようにしても良い。
【００４２】
方位演算部７５に対して磁気攪乱を検出する攪乱検出部７６の出力データが供給される。攪乱検出部７６に対して、カメラ制御部８０の出力信号が供給され、装置の内部の磁気攪乱についての情報がカメラ制御部８０の出力信号から取得される。さらに、カメラ制御部８０の出力信号が画面表示制御部７９に対して供給され、画面表示制御部７９が画角情報を取得する。
【００４３】
本開示では、現に撮像装置の内部で起きている磁気攪乱を検出する攪乱認識と、撮像装置の内部で起こりうる磁気撹乱を予測する攪乱予測との両方を行うようにしている。攪乱検出部７６は、磁気攪乱が発生する直前から、磁気攪乱が発生している期間を攪乱の期間として検出する。攪乱検出部７６に対して、カメラ制御部８０からのカメラ制御信号を供給することによって攪乱の期間を攪乱検出部７６が検出することができる。
【００４４】
例えば、使用者が撮像装置のズームレバーを操作すると、内蔵モータが回転してレンズが駆動するので、モータの駆動のため磁気の乱れが発生する。したがって、ズームレバーの操作に対応するコントロール信号が発生してズームモータの回転している期間が攪乱検出部７６によって検出される。ズーム操作以外に、ストロボの充電、放電、アイリスモータの駆動等による磁気の撹乱も同様に攪乱検出部７６が検出する。なお、実際にモータが回転している期間に対応する信号が得られない場合でも、ユーザの操作から、モータ等が回転している期間が既知の場合には、その期間が攪乱の期間として検出される。
【００４５】
方位演算部７５に対して、加速度センサ７２、地磁気センサ７３、ジャイロセンサ７４、攪乱検出部７６の出力データが供給され、方位演算部７５から方位データが出力される。出力方位データがＡＲ表示制御部７７に供給される。方位データは、撮像装置の現在の撮像方向（水平面内）を示す。さらに、加速度センサ７２の出力信号がＡＲ表示制御部７７に供給される。加速度センサ７２は、姿勢検出部の機能を有し、撮像装置の現在の撮像方向（垂直面内）を示す姿勢データを取得する。方位データおよび姿勢データによって撮像角度が示される。
【００４６】
「方位検出処理」
センサ部７の方位検出部は、地磁気センサ７３による磁気方位と、ジャイロセンサ（角速度センサ）７４による積分方位とを組み合わせた構成であり、高応答性と対ノイズ性とを備えている。各センサ出力値および撮像装置の動作状態を常時モニタすることで、磁気方位優先モードと積分方位優先モードとが動的に切り替えられる。磁気方位優先モードとは、地磁気センサ７３から得られた磁気方位を最終出力方位として用いる状態である。積分方位優先モードとは、ジャイロセンサ７４による積分方位を優先して出力として用いる状態である。
【００４７】
図４のフローチャートを参照して方位演算部７５においてなされる方位検出処理について説明する。地磁気センサ７３から出力された信号は、ふらつきを除去するために、フィルタによって間引きおよび平均化の処理Ｓ１がなされる。次に、オフセット補正、テーブル補正などの各種補正処理Ｓ２がなされる。そして、加速度センサ７２の出力に基づいて姿勢による軸変換処理（センサの姿勢の補正処理）Ｓ３がなされ、磁気方位データθmag
が出力される。磁気方位優先モードでは、地磁気センサ７３から得られた磁気方位データθmagが最終的な方位出力として用いられる。
【００４８】
ジャイロセンサ７４から出力された角速度データに対して、誤差の蓄積を防止するために、ドリフト補正の処理Ｓ４がなされ、角速度データθ’gyroが出力される。角速度データθ’gyroに対して、角速度積分処理Ｓ５が施され、角度データが得られる。さらに、加速度センサ７２の出力に基づいて姿勢による軸変換処理（センサの姿勢の補正処理）Ｓ６がなされる。そして、積分方位（角度）データθgyroが出力される。
【００４９】
加速度センサ７２は、撮像装置の姿勢を検知するために用いられている。仮に撮像装置が水平面上で垂直軸周りを回転するだけならば、加速度センサ７２は、不要である。しかしながら、撮像装置等の携帯機器では、機器の姿勢が固定されておらず、機器に取り付けられているセンサの角度も常に変化するため、３軸の加速度センサによって姿勢を測定して、方位の出力値を補正するようになされる。
【００５０】
磁気方位データθmag は、方位の変化を検出するために、角度微分処理Ｓ７が施されてθ’mag となる。例えば１秒間の方位の変化量が検出される。この微分された磁気方位データθ’mag と角速度データθ’gyroと攪乱検出部７６からの磁気撹乱状態の情報とを使用して、モード判定処理Ｓ８が行われる。すなわち、モード判定処理Ｓ８において、磁気方位優先モードと積分方位優先モードの２つのモードの何れかが設定される。モード判定処理Ｓ８とは、これらのモードを状況に応じて動的に切り替えることである。
【００５１】
攪乱検出部７６によって、磁気攪乱状態の検出が可能である。この検出は、磁気の撹乱を予測する磁気撹乱発生予測と、現に磁気攪乱が発生していることを認識する磁気攪乱認識との両方が含まれる。磁気攪乱が検出される期間では、方位演算部７５内のモード判定処理Ｓ８に対し磁気撹乱状態であることが通知される。
【００５２】
モード判定処理Ｓ８の判定結果が方位計算処理Ｓ９に与えられる。レジスタ８１が設けられ、磁気方位優先モードから積分方位優先モードに切り替わった時点Ｔにおける磁気方位θTmag がレジスタ８１に保持される。後述するように、磁気方位θTmag は、方位の変化量が閾値以下であり、且つ角速度が閾値以下の場合においては、攪乱検出部７６によって攪乱が検出された時点で、その時の磁気方位がレジスタ８１に記憶される。この意味では、攪乱が検出される時点に最も近い磁気方位がθTmag となる。レジスタ８１に保持さ
れるθTmag が方位計算処理Ｓ９において使用可能とされる。方位計算処理Ｓ９の結果、
最終的な方位データが出力される。
【００５３】
モード判定処理Ｓ８のより詳細な処理について、図５に示すフローチャートを参照して説明する。任意の、予め設定された第１閾値をε１と表記し、第２閾値をε２と表記する。さらに、このモード判定処理によって、積分方位優先モードとなった時点の時刻をＴと表記する。この時刻Ｔが積分処理の基準時点となる。
【００５４】
最初のステップＳ１１において、各センサからのデータが取得される。次のステップＳ１２において、（θ’gyro＞ε１）の比較処理がなされる。この比較処理は、ジャイロセンサ７４から出力される角速度データθ’gyroが閾値ε１より小であるか否かを判定する処理であり、角速度データθ’gyroが閾値ε１以上の場合では、処理がステップＳ１６に移る。ステップＳ１６は、レジスタ８１にＴの時刻の磁気方位データθTmag を保存する
処理である。ステップＳ１６の後に積分方位優先モードとなる（ステップＳ１７）。
【００５５】
角速度データθ’gyroがε１以下の場合、ステップＳ１３において、（θ’mag ＞ε２）の比較処理がなされる。微分された磁気方位データθ’mag （すなわち、磁気方位データの変化量）が閾値ε２以下の場合、ステップＳ１４において、攪乱検出部７６によって攪乱が検出されたか否かが判定される。攪乱が検出されない場合には、ステップＳ１５において、磁気方位優先モードが設定される。磁気方位優先モードでの最終的に出力される方位データθは、地磁気センサ７３により検出された磁気方位データθmag である。
【００５６】
磁気方位優先モードでない場合は、積分方位優先モードとなる。積分方位優先モードでは、方位の最終出力が下記の式のようになる。すなわち、磁気方位優先モードから積分方位優先モードに切り替わった時点Ｔでの磁気方位θTmag を基準としてレジスタ８１に記
憶する。この基準値の記憶時点から所定時間、角速度データを積分して得られる角度データをオフセット分として基準値に対して加算する。すなわち、積分方位優先モードにおける方位出力データは、下記の式で表される。
【００５７】
出力方位データθ＝θTmag ＋∫θ’gyro ｄｔ
但し、∫は、時刻Ｔを零として所定時刻ｔまでの積分を意味する。
【００５８】
上述した本開示は、高い応答性でもって方位を取得することが可能である。これにより、方位に基づき画面表示を行う際の実際の機器の向きと表示物との対応性が高まる。したがって、機器の方位が実際には変化していないにもかかわらず、周囲の環境の変化によって磁気センサの入力が変化する際にも、その影響を抑えることができる。例えば、機器の使用者の前を車両等が横切ることによって、一時的な磁気の乱れが観察されることがある。これは、車両が発する電磁波・磁場の影響である。磁気センサの誤差要因は多く、一般に、磁場、電磁波の影響や、鉄板によるソフトアイロン効果などが挙げられる。これらによる影響に全て対処し、誤差を無くすことは事実上不可能であるが、先の車両の例のように、比較的短時間の大きな磁界変化に対しては、本開示の手法により対処が可能である。特に、本開示によれば、携帯機器において使用者の操作、もしくは機器の内部状態の変化によって磁気の乱れが予測される場合に、積分方位を優先させることにより、それらの磁気撹乱の影響を受けずに方位を出力することが可能となる。
【００５９】
「仮想物体」
本開示では、撮像を行うユーザに対して良好な撮像を行うためのガイドを行う機能を有する。ガイドを行うために、被写体が表示されるＬＣＤ３０の画面上に仮想物体をＡＲによって表示する。仮想物体は、撮像位置、撮像角度および画角に応じて現実の被写体のように変化する。仮想物体は、第１の表示物と第２の表示物とを含んでいる。なお、撮像装置から取得される現実の環境の映像に良く追従するように仮想物体を提示するためには、カメラの向く方向を高い応答性をもって検出するようになされる。
【００６０】
第１および第２の表示物の情報は、ＡＲ表示制御部５６において生成される。ＡＲ表示制御部５６には、上述したように、センサ部７の出力信号が供給される。さらに、記憶装置５７から構図データがＡＲ表示制御部５６に供給される。記憶装置５７には、観光地の風景、建物等の推奨写真に関して、推奨の撮像地点を示す参照位置データ（例えば経度および緯度情報）と、推奨の構図データとが格納されている。構図データには、撮像角度に関する参照角度データと画角に関する参照画角データとが含まれる。
【００６１】
記憶装置７８（図３参照）に記憶する参照位置データ、参照角度データおよび参照画角データ（これらのデータを参照データと適宜総称する）は、予め書き込まれている。例えばインターネットを介して参照データを取得して記憶装置７８に記憶するようにしても良い。例えばユーザが撮像モードとしてガイドモードを設定すると、撮像装置（ユーザ）の現在位置の近傍の写真の参照データが検索され、検索された参照データが記憶装置７８から読み出されて、ＡＲ表示制御部７７に供給される。
【００６２】
ＡＲ表示制御部７７は、センサ部７からの現在のデータと、参照データとを使用して第１および第２の表示物に対応する表示物を生成する。表示物が画面表示制御部７９に供給され、ＬＣＤ３０の画面表示のための表示信号が生成される。さらに、ユーザのカメラ操作信号がカメラ制御部８０に供給され、撮像に必要な制御がなされる。上述したように、カメラ制御部８０から発生するコントロール信号によって、攪乱検出部７６が撮像装置内部で発生すると予測される磁気攪乱、並びに内部で発生した磁気攪乱を検出する。さらに、画角に関する画角情報が画面表示制御部７９に供給される。
【００６３】
画角とは、レンズを通じて撮像可能な範囲のことで、レンズの焦点距離によって画角が変化する。通常、焦点距離が短いと画角が大きくなり、焦点距離が長いと画角が小さくなる。したがって、同じ被写体を撮像しても、画角が相違すると撮像範囲が相違し、撮像画角の構図も変化する。さらに、焦点距離だけでなく、レンズの特性からも画角は影響を受けるので、レンズの特性情報も画角情報として必要とされる。さらに、画角は、同じ焦点距離であっても撮像素子の面積が大きくなると画角が大きくなり、撮像素子の面積が小さくなると、画角が小さくなる。撮像素子の面積は、撮像装置の機種に応じた一定の値である。なお、画角には、水平画角、垂直画角および対角線画角の３種類の情報がある。これらの全ての情報を使用しても良いし、一部の情報を使用しても良い。画角情報の単位は、度である。
【００６４】
これらの点を考慮して、焦点距離、レンズの特性、その他の情報から計算される画角情報がカメラ制御部８０から画面表示制御部７９に対して供給される。他の構成として、カメラ制御部８０から供給される焦点距離と、レンズ特性等の必要なデータから画角情報が画面表示制御部７９において計算される。撮像のガイドとなる画角と、現在の画角との関係から撮像のガイドとなる画角を示す表示物が生成される。
【００６５】
ＡＲ表示制御部７７にて生成される表示物について図６を参照して概略的に説明する。説明の簡単のため、撮像素子の面積および焦点距離を一定とする。例えば仮想物体として矩形の枠状の被写体Ｏを想定する。図６Ａに示すように、被写体ＯをＱ１の位置で撮像したとする。この撮像位置Ｑ１および撮像角度が記憶装置７８に記憶されている参照位置データおよび参照角度データに一致している場合には、図６Ｂに示すように、正方形の枠Ｆ１が表示物として生成される。同じ撮像角度を保って、より遠い撮像位置Ｑ２で被写体Ｏを撮像すると、図６Ｃに示すように、より小さい正方形の枠Ｆ２が表示物として生成される。枠Ｆ２が表示されると、ユーザが推奨位置に比して被写体と離れすぎていることが分かる。
【００６６】
図６Ｄに示すように、被写体Ｏを参照位置データと等しい距離で、異なる撮像角度で撮像した場合には、図６Ｅに示すように歪んだ枠Ｆ３が表示物として生成される。若し、撮像角度が逆に傾いている場合には、図６Ｆに示すように斜めに歪んだ枠Ｆ４が表示物として生成される。ユーザは、枠の形状の歪みがなくなるように、撮像角度を調整する。このように、枠は、３次元被写体を２次元表示面に変換したもので、枠の大きさと枠の形状によって、ユーザを推奨の撮像位置および撮像角度にガイドするものである。
【００６７】
すなわち、実際の被写体に対して仮想的な表示物（枠）が重畳されてＬＣＤ３０の画面に表示されるので、枠が例えば正方形のように歪みのない図形となり、その大きさが画面上で最大となるか、または画面からはみ出て消えるように、撮像位置と撮像角度とを設定して撮像を行うことによって、推奨の画像と同様の写真をとることができる。仮想的な表示物は、例えば３次元の物体を２次元表示に変換したものであるので、ユーザ自身が現在の撮像位置および撮像角度を認識することが容易となる。
【００６８】
「表示物の具体例」
本開示についてさらに説明する。図７Ａに示すように、実際の被写体例えばビルを撮像装置２０によって撮像すると、図７Ｂに示すように、撮像装置２０のＬＣＤ３０には、被写体画像Ｒ１に加えて第１の表示物としてのピンＰ１と第２の表示物としての枠Ｆ１とが表示される。ピンと枠とで１組の撮像構図が表される。図７Ａに示されるピンのマークは、現実の景色としては存在しないが、撮像装置２０の現在位置を分かりやすくするために、描かれている。表示画像中のピンＰ１は、撮像する者が実際に立つべき位置（撮影スポット）を指定する。枠Ｆ１は、撮像装置を向けるべき方向と画角を指定する。撮像位置と撮像装置を向けるべき方向と画角とによって、構図が指定される。記憶装置５７に記憶されている参照データ（撮像位置および構図）は、例えば観光地において、「良い構図」の写真が撮像できる撮像ポイントを表している。
【００６９】
図８Ａに示すように、図７Ａに示す撮像位置よりも被写体に近づいた場合、図８Ｂに示すように、撮像装置２０のＬＣＤ３０には、被写体画像Ｒ２、ピンＰ２および枠Ｆ２が表示される。これらの画像は、近づいた分、画像が大きくなっている。被写体に対する撮像角度および画角は、変わっていないので、枠Ｆ２の形状は、枠Ｆ１を拡大したものである。表示物としての枠およびピンは、撮像装置の位置情報、方位情報、姿勢情報および画角情報を所定時間ごとに取得し、取得したこれらの情報を使用して再描画される。
【００７０】
図９Ａに示すように、図７Ａと同様の撮像位置において、撮像装置２０の被写体に対する向き（撮像方向）を左側に動かすと、図９Ｂに示すように、撮像装置２０のＬＣＤ３０には、被写体画像Ｒ３、ピンＰ３および枠Ｆ３が右側に移動して表示される。図１０Ａに示すように、図７Ａと同様の撮像位置において、撮像装置２０の被写体に対する向き（撮像方向）を右側に動かすと、図１０Ｂに示すように、撮像装置２０のＬＣＤ３０には、被写体画像Ｒ４、ピンＰ４および枠Ｆ４が左側に移動して表示される。
【００７１】
このように、ＬＣＤ３０の画面に表示されるピンおよび枠は、被写体と同様に、撮像装置２０の動きに対して現実の環境のように変化する。さらに、図１１Ａに示すように、ユーザが推奨の撮像ポイントに近づくと、図１１Ｂに示す画像がＬＣＤ３０に表示される。撮像角度および画角が参照撮像角度および撮像画角とほぼ等しいので、表示画面の全体に正方形の枠Ｆ５が表示される。被写体画像Ｒ５は、推奨撮像画像にかなり近い画像となり、ピンＰ５が表示され、推奨撮像ポイントが現在位置よりも若干被写体に近づいたものであることがガイドされる。
【００７２】
図１１Ｂに示すＬＣＤ３０の画面を見てユーザが少し被写体に近づく。そして、図１２Ａに示すように、撮像装置２０が参照撮像位置と一致する位置に到達する。この場合のＬＣＤ３０の画面は、図１２Ｂに示すものとなる。すなわち、枠およびピンの表示が消え、ＬＣＤ３０の画面には、撮像された被写体画像Ｒ６のみが表示される。このように、ＬＣＤ３０の画面から枠およびピンの表示が消えることによって、ユーザが参照撮像位置に到達したことを知り、また、現在の撮像装置２０の方位および姿勢が参照撮像角度と一致したことが分かり、さらに、現在の画角が参照画角に一致したことを知りることができる。こての状態でもって、シャッターボタン２１が押され、推奨の構図の写真を撮ることができる。
【００７３】
図１３に示すように、被写体画像Ｒ７、枠Ｆ７およびピンＰ７に加えて参照撮像位置、参照アングルおよび参照画角で撮像された推奨の画像のサムネイル（縮小画像）ＲｒをＬＣＤ３０の画面上に表示しても良い。ユーザは、サムネイルを手本として撮像位置、撮像アングル、画角を設定することができる。なお、サムネイルに代えて手本となる半透過画像を表示するようにしても良い。サムネイルによって、撮影者は実際に撮影地点まで行かなくとも、その撮影地点から撮影が可能な写真の構図を把握でき、さらにサムネイルを参照しながら撮影することによって、より正確に好ましい構図を再現することが可能となる。
【００７４】
さらに、本開示では、図１２Ｂに示すように、参照撮像位置、参照アングルおよび参照画角と一致すると、ＬＣＤ３０の画面から枠ＦおよびピンＰが消えてしまうので、参照撮像位置より近づき過ぎたことをユーザが分からないおそれがある。このような問題を避けるために、図１４Ａまたは図１４Ｂに示すように、枠の表示が消えた後に、さらに、被写体に近づいた場合には、被写体画像Ｒ８およびＲ９のそれぞれと重畳して参照撮像位置に近づく方向を示すカーソルを表示してユーザに知らせるようにしても良い。
【００７５】
上述したように、ユーザが撮像装置を向ける方向を変えると、方位演算部７５および加速度センサ７２の出力信号が変化する。この出力信号の値に応じてピンと枠の表示位置を変化させる。図９Ａの例のように、ユーザが撮像装置を向ける方位を１０度左側に変化させると、図９Ｂに示すように、ＬＣＤ３０の表示物は画面内で１０度に相当する分だけ右側に移動する。さらに、撮像装置を向ける方向を上向きにすれば、ＬＣＤ３０の表示物は画面内ですべて下向きに移動する。撮像装置の画角によっても表示は変化する。例えば、画角が広い場合には表示物は小さく表示され、画角が狭い場合は大きく表示される。
【００７６】
「表示変換の処理の一例」
これらの表示変換は、一例として、３次元ゲーム等で広く用いられるビューイング・パイプライン処理によって実時間で矛盾無く処理される。図１５にＡＲ表示制御部７７においてなされるビューイング・パイプライン処理の流れを示す。ビューイング・ パイプラ
イン処理とは、３次元データで表される３次元モデルを、２次元平面上に立体的に表示するための一連の座標変換のことである。この処理により、撮像装置を通して風景を見ることで、現実の空間にあたかも仮想的なピンと枠が存在しているような感覚を使用者に与えることができる。
【００７７】
図１５は、ビューイング・パイプライン処理の流れを示している。最初に仮想物体モデルがローカル座標で作成される。すなわち、撮像位置を示すピンと被写体を表す枠とが仮想物体モデルとして作成される。次に仮想的物体モデルに対する撮像角度に応じて座標変換がなされ、ローカル座標上で仮想的物体が定義される。仮想物体モデルからローカル座標への変換の際に、構図データに含まれる撮像角度および画角が使用される。次に、構図データに含まれる撮像位置データ（緯度、経度、高度）から世界座標への座標変換がなされる。
【００７８】
世界座標は、ＧＰＳの緯度・経度情報で規定される座標である。次に、各人の視点から仮想的物体を見ているので、世界座標をビュー座標に座標変換する。撮像装置の姿勢、位置、および方位を定義することで、世界座標をビュー座標に変換する。ビュー座標変換によって、撮像装置２０が座標の原点に位置することになる。
【００７９】
撮像装置２０では、ズーム等によって画角が変化するので、画角の情報に基づいてビュー座標をパースペクティブ座標に変換するようになされる。この座標変換の方法としては、平行投影および透視投影の何れか一方が使用される。ビュー座標をパースペクティブ座標に変換することは、３Ｄの物体を２Ｄにすることである。
【００８０】
さらに、撮像装置２０のＬＣＤ３０の画面に合わせるために、表示画面サイズ例えば（４８０×６４０）に応じた表示座標へパースペクティブ座標が変換される。このようにして、撮像装置２０のＬＣＤ３０の表示画面上には、現在の撮像装置の位置、姿勢、方位および画角に応じて枠およびピンからなる仮想物体が表示される。
【００８１】
なお、上述したビューイング・パイプライン処理に限らず、３Ｄの仮想物体を現在の撮像装置の位置、姿勢、方位および画角に応じて形状および位置を変化させて２Ｄの表示装置の画面上に表示することができる他の処理を使用しても良い。
【００８２】
「処理の流れ」
本開示では、図１６のフローチャートに示すように処理がなされる。この処理は、ＡＲ表示制御部７７（図３参照）においてなされるものである。ステップＳ２１において、位置検出部７１によって撮像装置の現在の位置データが取得される。次に、ステップＳ２２において、方位演算部７５によって撮像装置の現在の方位データが取得される。次に、ステップＳ２３において、加速度センサ７２によって撮像装置の現在の姿勢データが取得される。ステップＳ２４において、記憶装置７８から参照データ（参照位置データおよび参照構図データ）が取得される。
【００８３】
ステップＳ２５において、現在の撮像装置の位置データ、方位データ、姿勢データおよび参照データが取得できたか否かが判定される。これらの全てのデータが取得できたと判定されると、ステップＳ２６において、上述したビューイング・パイプライン処理がなされる。ビューイング・パイプライン処理によって、表示物（枠およびピン）が生成され、ステップＳ２７において、重畳表示処理がなされる。そして、処理がステップＳ２１に戻り、所定時間後に上述したステップＳ２１以降の処理が繰り返される。
【００８４】
本開示により、撮影地点に移動し、撮像装置を向ける方向を決め、ズーム調整等によって画角を決定して撮影する、という３段階の手続きにおいて、一貫性のあるユーザ・インタフェースによって誰にでも分かりやすい直感的なガイドを提供できる。撮像装置の使用者は、撮像装置を起動し撮像装置を通して風景を見ることで、視界内の撮影地点を分かりやすく把握できると同時に、その地点まで行けば良いという意味を直感的に把握できる。さらに撮影構図を表す枠が３次元的に表示されており、それらの撮影地点からどちらの方向を向けば望ましい撮影構図が得られるかも容易に理解できるため、写真撮影が苦手な使用者であっても、好ましい構図で写真を撮ることができる。
【００８５】
上述した本開示における拡張現実技術では、仮想表示物の空間における存在感の一貫性が、現実の空間にあたかも仮想的な物体が存在しているという感覚（仮想現実感）を使用者に与えるために重要である。本開示においては、使用者の撮像装置操作に対して、枠やピンが一貫して風景と対応していることが重要となる。
【００８６】
若し、方位検出の出力に応答遅れがあると、使用者が撮像装置を向ける方向を変えた際に、表示物の動きに応答の遅れが出てしまう。そのため、本機能には、応答性の高い方位検出方法を用いることが推奨される。また、使用者が撮像装置のズームレバーを操作すると、内蔵モータが回転してレンズが駆動するが、その間モータの駆動のため磁気の乱れ（攪乱）が発生する。その際、従来の方位検出方法では、前述したように攪乱を補正しきれず、出力方位にブレが生じる。その乱れた方位をＡＲ表示制御に用いると、撮像装置の向きは変化していないにもかかわらず、画面内のピンや枠の表示は方位の乱れに応じてずれることになる。よって、機能の使用者にとって風景と表示物の対応がその間大きく乱れてしまう。
【００８７】
本開示を用いれば、使用者がこれらの問題点を解決することが可能である。前述の例では、使用者のズームレバー操作によって磁気撹乱が予測されるため、ズームレバーの操作直後に方位検出方法において積分方位優先モードに切り替えることで、磁気の乱れの影響を一切受けることなく方位を出力できる。また、その他ストロボの充電、放電等による磁気の撹乱に対しても同様の手順で積分方位優先モードへの切り替えがなされ、同様に、方位を出力することができる。
【００８８】
なお、本開示は、以下のような構成も取ることができる。
（１）
地磁気に応じた磁気方位データを所定時間ごとに取得する地磁気検出部と、
前記磁気方位データの変化量を算出する変化量算出部と、
前記磁気方位データを記憶する記憶部と、
角加速度検出部によって取得される角速度を積分して角度データを算出する積分部と、
前記磁気方位データおよび前記角速度が閾値の範囲内である場合は、前記磁気方位データを出力方位データとして採用し、
前記変化量および前記角速度の一方が閾値の範囲外である場合は、前記閾値の範囲外となった時点を零の基準時点として前記角速度積分部により算出された前記角度を使用し、
前記変化量および前記角速度が閾値の範囲内である場合に記憶された最も新しい地磁気データに対して前記角度を加算したものを出力方位として採用する方位出力部と
を備えた電子機器。
（２）
機器内部で磁気撹乱が発生する直前から、前記磁気攪乱が発生している期間を攪乱として検出する撹乱検出部を備え、
前記方位出力部は、前記撹乱検出部によって磁気撹乱が検出される場合には、前記変化量および前記角速度が閾値の範囲内である最も新しい時点を基準時点として前記角速度積分部により算出された前記角度を、前記基準時点における地磁気ベクトルに対して加算したものを出力方位として採用する（１）に記載の電子機器。
（３）
前記攪乱検出部は、機器の制御のためのコントロール信号から前記磁気攪乱が発生している期間を検出する（２）に記載の電子機器
（４）
現在位置の位置データを取得する位置検出部と、
現在の撮像方向の方位データを取得する方位検出部と、現在の撮像方向の姿勢データを取得する姿勢検出部とを有する角度検出部と、
被写体に対する撮像地点を示す参照位置データ、および前記撮像地点における参照撮像角度データを記憶する記憶部と、
現実の環境に付加され、前記位置データおよび前記角度データに応じて現実の環境のように変化する仮想物体を生成する表示物生成部と、
前記仮想物体を取得される画像データに重畳して表示部に表示する表示制御部とを備え、
前記仮想物体が前記現在位置のデータに応じて表示位置が変化する第１の表示物と、前記角度データに基づいて形状が変化する第２の表示物とを含み、
前記方位検出部は、
地磁気に応じた磁気方位データを所定時間ごとに取得する地磁気検出部と、
前記磁気方位データの変化量を算出する変化量算出部と、
前記磁気方位データを記憶する記憶部と、
角加速度検出部によって取得される角速度を積分して角度データを算出する積分部と、
前記磁気方位データおよび前記角速度が閾値の範囲内である場合は、前記磁気方位データを出力方位データとして採用し、
前記変化量および前記角速度の一方が閾値の範囲外である場合は、前記閾値の範囲外となった時点を零の基準時点として前記角速度積分部により算出された前記角度を使用し、
前記変化量および前記角速度が閾値の範囲内である場合に記憶された最も新しい地磁気データに対して前記角度を加算したものを出力方位として採用する方位出力部と
を備えた撮像装置。
（５）
機器内部で磁気撹乱が発生する直前から、前記磁気攪乱が発生している期間を攪乱として検出する撹乱検出部を備え、
前記方位出力部は、前記撹乱検出部によって磁気撹乱が検出される場合には、前記変化量および前記角速度が閾値の範囲内である最も新しい時点を基準時点として前記角速度積分部により算出された前記角度を、前記基準時点における地磁気ベクトルに対して加算したものを出力方位として採用する（４）に記載の撮像装置。
（６）
現在の画角データを取得する画角検出部を有し、
前記第２の表示物が前記角度データおよび前記画角データに基づいて形状が変化する（４）に記載の撮像装置。
（７）
前記第２の表示物が３次元物体を前記表示部の２次元表示に変換した表示物である（４）に記載の撮像装置。
（８）
前記第２の表示物が枠である請求項５に記載の撮像装置。
（９）
前記参照位置データが撮像の推奨ポイントを示し、前記参照撮像角度データが撮像の推奨アングルを示す（４）に記載の撮像装置。
（１０）
前記撮像地点において過去に撮影された画像の縮小画像または半透過表示を取得される画像に重畳して表示する（４）に記載の撮像装置。
【００８９】
「変形例」
以上、本開示の実施形態について具体的に説明したが、上述の各実施形態に限定されるものではなく、本開示の技術的思想に基づく各種の変形が可能である。例えば、上述した実施の形態では、表示物として位置を表すピンと、枠とを使用している。しかしながら、撮像の構図をガイドすることができるものであれば、他のマークを使用しても良い。例えば十字、×等のマークを使用しても良い。さらに、撮像対象が固定の風景に限らず、動く被写体であっても良い。
【００９０】
また、上述の実施形態の構成、方法、工程、形状、材料および数値などは、本開示の主旨を逸脱しない限り、互いに組み合わせることが可能である。
【符号の説明】
【００９１】
１・・・カメラ部
２・・・デジタル信号処理部
５・・・制御部
６・・・操作部
７・・・センサ部
２０・・・撮像装置
３０・・・ＬＣＤ
５１・・・ＣＰＵ
７７・・・ＡＲ表示制御部
７８・・・記憶装置
７９・・・画面表示制御部
７１・・・位置検出部
７２・・・加速度センサ
７３・・・地磁気センサ
７４・・・ジャイロセンサ
【技術分野】
【０００１】
本開示は、デジタルカメラ、携帯電話等の携帯電子機器に適用される電子機器および撮像装置に関する。
【背景技術】
【０００２】
従来、デジタルカメラ、携帯電話等の携帯電子機器において、機器が向いている方位を機器の使用者に提示する機能や、その方位を利用して使用者に何らかの利便や娯楽を与えるような機能が実現されてきた。例えば、撮像装置の表示画面上に現在撮像装置が向いている方向を表示するコンパス機能が実用化されている。さらに、写真が撮影された時点で、撮影者の位置と撮影方向とのデータを写真の画像データと共に記録しておき、写真を鑑賞する際に、地図上に方角つきで写真を表示する機能が実用化されている。これらの機能を実現するにあたり、小型であるために携帯電子機器への組み込みに適した電子磁気コンパスが多く用いられている。
【０００３】
しかしながら、電子磁気コンパスは、磁気センサにより磁気方位を検出するため、磁気の乱れ等の影響を受け、検出方位にふらつきが多く含まれる。ふらつきを除去するために、高周波成分を除去するローパスフィルタや平均化処理を用いる方法が考えられる。しかしながら、ローパスフィルタや平均化処理によって、応答性が低下するという問題がある。特に携帯電子機器は、船舶や車両等の大型装置に搭載される方位センサと比較すると、使用者の動きに合わせてその方向が高速に変化するため、応答性の低下は問題となりやすい。
【０００４】
さらに、携帯電子機器では、携帯電子機器内部に磁気を乱す様々な要因がある。これを磁気撹乱と適宜称する。例えば撮像装置においては、ズーム動作時に作動するモータや、フラッシュの充電・放電、シャッター機構、オートフォーカス機構等、機器に組み込まれたさまざまな機構の動作により磁気撹乱が発生する。そのため、撮像装置に電子磁気コンパスを組み込む際には、機器内部で発生する磁気攪乱の影響を受けないようにする必要がある。
【０００５】
電子磁気コンパスの欠点を補うために、ジャイロセンサに代表される応答性の良い角速度センサを組み合わせて用いることが既に提案されている。電子磁気コンパスによる磁気方位の特徴は、応答性が悪くふらつきがあるが、長い時間で見れば（ローパスフィルタや平均化によって処理を行えば）検出精度は良いということである。一方、角速度センサの出力を積分して得られる積分方位は、短い時間で見れば応答性は良いが長い時間でみると誤差が加算されるドリフト現象が発生するので精度が悪くなる。
【０００６】
特許文献１には、磁気方位と積分方位の差分をローパスフィルタで処理し、積分方位と加算して出力することで、高精度でかつ応答特性の良い電子磁気コンパスを実現することが記載されている。特許文献２には、装着型の位置検出携帯端末装置において、磁気センサから所定の時間ごとに地磁気ベクトルを取得し、当該所定の時間における地磁気ベクトルの大きさの変化量である地磁気変化量を算出している。この算出された地磁気変化量が所定の閾値の範囲内である場合は、磁気センサが取得した地磁気ベクトルから装着者の方位を決定する。また、当該地磁気変化量が当該所定の閾値の範囲外である場合は、当該所定の閾値の範囲内の地磁気変化量を示した最新の地磁気ベクトルから決定された方位である最新方位を装着者の方位として採用して決定する。または、この場合、最新方位にジャイロセンサによって取得された回転量を加算した方位である回転量加算方位を装着者の方位として決定する。特許文献３では、磁気方位計および回転角速度センサーを使用し、回転角速度センサーの角速度データから相対回転角を得る。そして、磁気方位計の方位角データを統計処理して標準偏差を求め、標準偏差が大きい場合は、磁気乱れが発生していると判定して方位角に相対回転角を加えるようになされる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平１１−３４４３３９号公報
【特許文献２】特開２００８−２８１４９４号公報
【特許文献３】特開平８−１１４４５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
これらの特許文献には、磁気センサと角速度センサを用いて方位検出の精度を高めることが記載されている。しかしながら、電子機器の内部で発生する磁気攪乱に対する対策が行われていなかった。磁気センサを利用した方位検出手法を例えば携帯電子機器に組み込むに当たっては、携帯電子機器内部で発生するさまざまな磁気攪乱を考慮する必要がある。
【０００９】
例えば特許文献１の手法は船舶や車両の方位検出を対象としている。船舶や車両は、携帯電子機器と比較して磁気攪乱の少ない環境におかれる。特許文献1 では、ローパスフィルタを通した磁気方位を、長い時間で見たときの正しい方位として、角速度センサによる積分方位を加算しているが、磁気センサの出力に含まれる短周期のふらつきがローパスフィルタで除去できるのに対し、機器内部で磁気撹乱が発生した場合の磁気センサの出力乱れは周波数が小さくフィルタを通過するため、基準となる正しい方位が算出できないという問題があった。
【００１０】
特許文献２においても、位置検出専用の端末装置の発明であるため、機器内部の磁気状態が使用者操作または内部動作によって一時的に撹乱されるという問題には対処できない。さらに、特許文献２の手法では、磁気センサの出力変化量のみを閾値判別して、ジャイロセンサを用いるか否かを決定するため、磁気センサの応答性の遅さに部分的にしか対処できない。特許文献３に記載の方法は、自動車で走行中に人口構造物の磁場の影響によって地磁気の乱れが生じている場合に精度を高めるものであり、機器内部の磁気攪乱に対処するものではなかった。
【００１１】
したがって、本開示は、機器内部で発生する磁気攪乱によって精度の低下を防止することが可能な電子機器および撮像装置の提供を目的とする。
【課題を解決するための手段】
【００１２】
上述の課題を解決するために、本開示は、地磁気に応じた磁気方位データを所定時間ごとに取得する地磁気検出部と、
磁気方位データの変化量を算出する変化量算出部と、
磁気方位データを記憶する記憶部と、
角加速度検出部によって取得される角速度を積分して角度データを算出する積分部と、
磁気方位データおよび角速度が閾値の範囲内である場合は、磁気方位データを出力方位データとして採用し、
変化量および角速度の一方が閾値の範囲外である場合は、閾値の範囲外となった時点を零の基準時点として角速度積分部により算出された角度を使用し、
変化量および角速度が閾値の範囲内である場合に記憶された最も新しい地磁気データに対して角度を加算したものを出力方位として採用する方位出力部と
を備えた電子機器である。
【発明の効果】
【００１３】
本開示は、地磁気センサ等により検出される磁気方位と、角速度センサにより検出される積分方位とを組み合わせて、高応答性と対ノイズ性を持ち合わせた方位検出を行うことができる。本開示では、各センサ出力値および機器の動作状態を常時モニタすることによって、磁気方位優先モードと積分方位優先モードを動的に切り替える。すなわち、安定した時点での磁気方位を真の方位とし、積分方位優先モードに入ると、その時点での磁気方位を基準としてレジスタに保存し、基準方位から積分方位に対応してオフセットさせたものを出力する。
【図面の簡単な説明】
【００１４】
【図１】本開示による撮像装置の外観を示す斜視図である。
【図２】本開示による撮像装置の一実施の形態のブロック図である。
【図３】本開示による撮像装置の一実施の形態の一部の構成のブロック図である。
【図４】センサ部の方位検出動作の説明に用いるフローチャートである。
【図５】センサ部の方位検出におけるモード切り替えの説明に用いるフローチャートである。
【図６】表示物の概略の説明のための略線図である。
【図７】本開示による撮像装置と被写体との位置関係を示す略線図、並びに本開示による撮像装置のＬＣＤ画面の表示を示す略線図である。
【図８】本開示による撮像装置と被写体との位置関係を示す略線図、並びに本開示による撮像装置のＬＣＤ画面の表示を示す略線図である。
【図９】本開示による撮像装置と被写体との位置関係を示す略線図、並びに本開示による撮像装置のＬＣＤ画面の表示を示す略線図である。
【図１０】本開示による撮像装置と被写体との位置関係を示す略線図、並びに本開示による撮像装置のＬＣＤ画面の表示を示す略線図である。
【図１１】本開示による撮像装置と被写体との位置関係を示す略線図、並びに本開示による撮像装置のＬＣＤ画面の表示を示す略線図である。
【図１２】本開示による撮像装置と被写体との位置関係を示す略線図、並びに本開示による撮像装置のＬＣＤ画面の表示を示す略線図である。
【図１３】本開示による撮像装置のＬＣＤ画面の表示の他の例を示す略線図である。
【図１４】本開示による撮像装置のＬＣＤ画面の表示のさらに他の例を示す略線図である。
【図１５】本開示による撮像装置の表示物を生成するためのビューイング・パイプライン処理の流れを説明するための略線図である。
【図１６】本開示による撮像装置の一実施の形態の処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下に説明する実施の形態は、この発明の好適な具体例であり、技術的に好ましい種々の限定が付されているが、この発明の範囲は、以下の説明において、特にこの発明を限定する旨の記載がない限り、これらの実施の形態に限定されないものとする。
【００１６】
「撮像装置の一例」
本開示の一実施の形態について説明する。図１を参照して本開示を適用できる撮像装置の一例を説明する。図１Ａは、撮像装置２０の前面を示し、図１Ｂが撮像装置２０の背面を示す。２１がシャッターボタンであり、２２がモードダイヤルであり、２３がズームレバーであり、２４がフラッシュである。２５が電源ボタンであり、２６が連写ボタンであり、２７がマイクロホンであり、２８がセルフタイマーボタンであり、２９がレンズである。モードダイヤル２２は、操作したい機能を選択するように回転される。例えば自動設定が撮像できるオート撮像モード、マニュアル露出撮像、プログラムオート撮像、動画撮像等の機能が切り替えられる。
【００１７】
撮像装置の背面には、ＬＣＤ（Liquid Crystal Display）３０、ストラップ取り付け部３１、動画ボタン３２、再ボタン３３、削除ボタン３４、メニューボタン３５、コントロールボタン３６が設けられている。コントロールボタン３６は、拡大して示すように、中央位置の決定ボタンと、上下左右の選択ボタンとを有する。例えば上の選択ボタンを押すと、画面表示設定の表示がＬＣＤ３０の画面に表示される。図面に向かって右側の選択ボタンを押すと、フラッシュ設定の表示がＬＣＤ３０の画面に表示される。なお、ＬＣＤ３０は、ＥＶＦ(Electric View Finder:電子ビューファインダ）の機能を有するもので、ＥＶＦ機能を持つ表示部としては、ＬＣＤ以外の表示装置例えば有機ＥＬ(Electro-Luminescence)を使用したものでも良い。さらに、図１に示す撮像装置は、一例であって、他の構成例えばスマートフォンの撮像機能に対しても本開示を適用することができる。
【００１８】
図２に示すように、撮像装置は、カメラ部１と、デジタル信号処理部２と、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）３と、媒体インターフェース（以下、媒体Ｉ／Ｆという。）４と、制御部５と、操作部６と、センサ部７を有する。さらに、ＬＣＤコントローラ８と、ＬＣＤ３０と、外部インターフェース（以下、外部Ｉ／Ｆという。）９とを有する。媒体Ｉ／Ｆ４に対して記録媒体１０が着脱可能とされている。さらに、画像ファイルを蓄積するために大容量の記録媒体であるハードディスクドライブ１７が備えられている。
【００１９】
記録媒体１０は、例えば半導体メモリーを用いたいわゆるメモリーカードである。メモリカード以外に、ハード・ディスク装置、記録可能なＤＶＤ（Digital Versatile Disc）や記録可能なＣＤ（Compact Disc）等の光記録媒体、磁気ディスクなどを用いることができる。
【００２０】
カメラ部１は、光学ブロック１１、ＣＣＤ（Charge Coupled Device)、ＣＭＯＳ(Complementary Metal Oxide Semiconductor) 等の撮像素子１２、前処理回路１３、光学ブロック用ドライバ１４、ＣＣＤ用ドライバ１５、タイミング生成回路１６とを備えたものである。ここで、光学ブロック１１は、レンズ、フォーカス機構、シャッター機構、絞り（アイリス）機構などを備えている。
【００２１】
制御部５は、ＣＰＵ（Central Processing Unit ）５１、ＲＡＭ（Random Access Memory）５２、フラッシュＲＯＭ（Read Only Memory）５３、時計回路５４が、システムバス５５を通じて接続されて構成されたマイクロコンピュータであり、この一実施の形態の撮像装置の各部を制御する。ＲＡＭ５２は、処理の途中結果を一時記憶するなど主に作業領域として用いられるものである。フラッシュＲＯＭ５３は、ＣＰＵ５１において実行する種々のプログラムや、処理に必要になるデータなどが記憶されたものである。時計回路５４は、現在年月日、現在曜日、現在時刻、撮影日時などを提供すると共に、撮影日時等の日時情報を撮影画像ファイルに付与する機能を有する。
【００２２】
撮影時においては、光学ブロック用ドライバ１４は、制御部５からの制御に応じて、光学ブロック１１を動作させるための駆動信号を形成し、駆動信号を光学ブロック１１に供給して、光学ブロック１１を動作させる。光学ブロック１１では、ドライバ１４からの駆動信号に応じて、フォーカス機構、シャッター機構、絞り機構が制御され、被写体像が取り込まれ、被写体像が撮像素子１２に対して提供される。さらに、光学ブロック１１のレンズ装置が交換可能とされている。例えばレンズ装置の内部には、マイクロコンピュータが構成されており、レンズ装置の種類、現在の焦点距離等の情報がＣＰＵ５１に対して伝送される。
【００２３】
撮像素子１２は、光学ブロック１１からの被写体像を光電変換して出力する。撮像素子ドライバ１５からの駆動信号に応じて撮像素子１２が動作し、被写体像が取り込まれ、制御部５によって制御されるタイミング生成回路１６からのタイミング信号に基づいて、取り込まれた被写体の画像が電気信号として前処理回路１３に供給される。
【００２４】
なお、タイミング生成回路１６は、制御部５からの制御に応じて、所定のタイミングを提供するタイミング信号を形成する。また、撮像素子ドライバ１５は、タイミング生成回路１６からのタイミング信号に基づいて、撮像素子１２に供給する駆動信号を形成する。
【００２５】
前処理回路１３は、供給された撮像信号に対して、ＣＤＳ（Correlated Double Sampling）処理を行って、Ｓ／Ｎ比を良好にし、ＡＧＣ（Automatic Gain Control）処理を行って、利得を制御し、そして、Ａ／Ｄ（Analog/Digital）変換によって、デジタル信号とされた撮像データを形成する。
【００２６】
前処理回路１３からのデジタル撮像データがデジタル信号処理部２に供給される。デジタル信号処理部２は、撮像データに対して、ＡＦ（Auto Focus）、ＡＥ（Auto Exposure
）、ＡＷＢ（Auto White Balance）などのカメラ信号処理を施す。カメラ信号処理がなされた画像データが所定の圧縮方式でデータ圧縮され、システムバス５５、媒体Ｉ／Ｆ４を通じて装填された記録媒体１０および／またはハードディスクドライブ１７に供給され、記録媒体１０および／またはハードディスクドライブ１７に例えばＤＣＦ（Design rule
for Camera File system）規格に準じた画像ファイルとして記録される。
【００２７】
また、記録媒体１０に記録された画像データは、操作部６を通じて受け付けたユーザーからの操作入力に応じて、目的とする画像データが媒体Ｉ／Ｆ４を通じて記録媒体１０から読み出され、これがデジタル信号処理部２に供給される。操作部６には、シャッタレリーズボタン等の各種ボタンやレバー、ダイヤル等が含まれる。ＬＣＤ３０をタッチパネルと構成とし、ユーザが画面上を指や指示具で押圧することで入力操作を行うことが可能としても良い。
【００２８】
デジタル信号処理部２は、記録媒体１０から読み出され、媒体Ｉ／Ｆ４を通じて供給された圧縮されている画像データに関して、その圧縮の解凍処理（伸張処理）を行い、解凍後の画像データをシステムバス５５を通じて、ＬＣＤコントローラ８に供給する。ＬＣＤコントローラ８は、画像データからＬＣＤ３０に供給する表示画像信号を形成し、表示画像信号をＬＣＤ３０に供給する。これにより、記録媒体１０に記録されている画像データに応じた画像がＬＣＤ３０の画面に表示される。さらに、制御部５およびＬＣＤコントローラ８の制御によって、ＬＣＤ３０の画面上にメニュー等のテキスト、グラフィックスの表示が行うことが可能とされている。なお、画像の表示の形態は、ＲＯＭに記録された表示処理プログラムに従う。
【００２９】
また、撮像装置には、外部Ｉ／Ｆ９が設けられている。この外部Ｉ／Ｆ９を通じて、例えば外部のパーソナルコンピュータが接続され、パーソナルコンピュータから画像データの供給を受けて、これを自身に装填された記録媒体に記録したり、また、自身に装填された記録媒体に記録されている画像データを外部のパーソナルコンピュータに供給することが可能とされている。
【００３０】
また、外部Ｉ／Ｆ９に通信モジュールを接続することにより、例えば、インターネットなどのネットワークと接続して、ネットワークを通じて種々の画像データやその他の情報を取得し、自身に装填された記録媒体に記録したり、あるいは、自身に装填された記録媒体に記録されているデータを、ネットワークを通じて目的とする相手先に送信することが可能とされている。
【００３１】
また、外部のパーソナルコンピュータやネットワークを通じて取得し、記録媒体に記録した画像データなどの情報についても、読み出して再生し、ＬＣＤ３０に表示することが可能とされている。
【００３２】
なお、外部Ｉ／Ｆ９は、ＩＥＥＥ（Institute of Electrical and Electronics Engineers ）１３９４、ＵＳＢ（Universal Serial Bus）などの有線用インターフェースとして設けることも可能であるし、光や電波による無線インターフェースとして設けることも可能である。すなわち、外部Ｉ／Ｆ９は、有線、無線のいずれのインターフェースであってもよい。外部インタフェース９を通じて、例えば図示しない外部のコンピュータ装置と接続して、コンピュータ装置から画像データの供給を受けて、画像データを記録媒体１０および／またはハードディスクドライブ１７に記録できる。記録媒体１０および／またはハードディスクドライブ１７に記録されている画像データを外部のコンピュータ装置等に供給することもできる。
【００３３】
上述した撮像装置によって、被写体の画像（静止画および動画）を撮影して、装填された記録媒体１０および／またはハードディスクドライブ１７に記録することができる。さらに、記録媒体１０および／またはハードディスクドライブ１７に記録された画像データを読み出して、画像を表示し、任意に閲覧、編集することが可能である。画像データの管理のためにインデックスファイルが記録媒体１０および／またはハードディスクドライブ１７の特定領域に記録されている。
【００３４】
ここで、上述した撮像装置の動作について概略的に説明する。撮像素子１２によって受光され、光電変換された信号が前処理回路１３に供給され、ＣＤＳ処理、ＡＧＣ処理が行われてデジタル信号に変換され、デジタル信号処理部２に供給される。デジタル信号処理部２では、画像データが画質補正処理され、カメラスルー画像の画像データとして制御部５に供給される。制御部５から入力された画像データがＬＣＤコントローラ８に供給され、カメラスルー画像がＬＣＤ３０に表示される。
【００３５】
ＬＣＤ３０に表示されたカメラスルー画像を見ながら画角合わせを行うことが可能となる。後述するように、本開示では、撮像時に、被写体が表示されるＬＣＤ３０の画面上に仮想物体をＡＲによって表示する。仮想物体を表示することによって、ユーザに対して推奨される写真を撮像するためのガイドを行うようになされる。
【００３６】
そして、操作部６のシャッターボタンが押下されると、ＣＰＵ５１がカメラ部１に制御信号を出力して、光学ブロック１１のシャッタを動作させる。これとともに、デジタル信号処理部２によって、前処理回路１３から供給された１フレーム分の画像データ（記録画像データ）が処理されて後、ＳＤＲＡＭ３に記憶される。さらに、この記録画像データがデジタル信号処理部２によって圧縮符号化され、符号化データがハードディスク１７に記憶されると共に、システムバス５５および媒体インターフェース４を通じて記録媒体１０に記憶される。
【００３７】
なお、静止画像データに対して、ＣＰＵ５１が撮影時の日時や時刻を時計回路５４から取得し、データに付加してハードディスク１７および記録媒体１０に記憶する。さらに、センサ部７から取得される位置データ、方位データおよび姿勢データも取得した画像データに対して付加される。さらに、静止画像についてはさらに、静止画像の縮小画像のデータが生成され、縮小画像のデータが元の静止画像と対応付けてハードディスク１７および記録媒体１０に記憶される。
【００３８】
一方、ハードディスク１７および記録媒体１０に記憶された記録画像データを再生する場合には、操作部６からの操作入力に応じて、ＣＰＵ５１が選択された記録画像データがＳＤＲＡＭ３に読み込まれる。そして、デジタル信号処理部２によって復号される。復号された画像データがＬＣＤコントローラ８を通じてＬＣＤ３０に供給され、ＬＣＤ３０に再生画像が表示される。
【００３９】
「センサ部」
図３に示すように、センサ部７は、位置検出部７１を有する。位置検出部７１は、例えばＧＰＳ(Global Positioning System)によって撮像装置の現在位置を検出し、現在位置
の位置データを取得する。位置検出部７１の検出信号がＡＲ(Augmented Reality：拡張現実）表示制御部７７に供給される。ＡＲ表示制御部７７に対して記憶部７８からのデータが供給される。
【００４０】
ＡＲ表示制御部７７は、制御部５の機能の一部である。ＡＲ表示制御部７７の出力データが画面表示制御部７９を介してＬＣＤ３０に対して供給される。ＡＲは、ＬＣＤ３０の画面上に、現実の環境の画像（撮像画像）に仮想物体を重畳表示するものである。ＡＲ表示制御部７７を含むＡＲの構成については、後述する。
【００４１】
さらに、センサ部７は、加速度センサ７２、地磁気センサ７３およびジャイロセンサ７４を有する。加速度センサ７２は、撮像装置の姿勢を検知するために設けられており、加速度データを発生する。地磁気センサ７３は、地磁気に応じた磁気方位のデータを発生する。ジャイロセンサ７４は、角速度検出部を構成し、角速度データを発生する。これらの加速度センサ７２、地磁気センサ７３およびジャイロセンサ７４の出力データ（デジタル信号）が方位演算部７５に供給される。方位演算部７５は、マイクロコンピュータ等のデジタル信号処理部を有する。なお、各センサからアナログ信号を受け取って方位演算部７５においてデジタル化の処理を行うようにしても良い。
【００４２】
方位演算部７５に対して磁気攪乱を検出する攪乱検出部７６の出力データが供給される。攪乱検出部７６に対して、カメラ制御部８０の出力信号が供給され、装置の内部の磁気攪乱についての情報がカメラ制御部８０の出力信号から取得される。さらに、カメラ制御部８０の出力信号が画面表示制御部７９に対して供給され、画面表示制御部７９が画角情報を取得する。
【００４３】
本開示では、現に撮像装置の内部で起きている磁気攪乱を検出する攪乱認識と、撮像装置の内部で起こりうる磁気撹乱を予測する攪乱予測との両方を行うようにしている。攪乱検出部７６は、磁気攪乱が発生する直前から、磁気攪乱が発生している期間を攪乱の期間として検出する。攪乱検出部７６に対して、カメラ制御部８０からのカメラ制御信号を供給することによって攪乱の期間を攪乱検出部７６が検出することができる。
【００４４】
例えば、使用者が撮像装置のズームレバーを操作すると、内蔵モータが回転してレンズが駆動するので、モータの駆動のため磁気の乱れが発生する。したがって、ズームレバーの操作に対応するコントロール信号が発生してズームモータの回転している期間が攪乱検出部７６によって検出される。ズーム操作以外に、ストロボの充電、放電、アイリスモータの駆動等による磁気の撹乱も同様に攪乱検出部７６が検出する。なお、実際にモータが回転している期間に対応する信号が得られない場合でも、ユーザの操作から、モータ等が回転している期間が既知の場合には、その期間が攪乱の期間として検出される。
【００４５】
方位演算部７５に対して、加速度センサ７２、地磁気センサ７３、ジャイロセンサ７４、攪乱検出部７６の出力データが供給され、方位演算部７５から方位データが出力される。出力方位データがＡＲ表示制御部７７に供給される。方位データは、撮像装置の現在の撮像方向（水平面内）を示す。さらに、加速度センサ７２の出力信号がＡＲ表示制御部７７に供給される。加速度センサ７２は、姿勢検出部の機能を有し、撮像装置の現在の撮像方向（垂直面内）を示す姿勢データを取得する。方位データおよび姿勢データによって撮像角度が示される。
【００４６】
「方位検出処理」
センサ部７の方位検出部は、地磁気センサ７３による磁気方位と、ジャイロセンサ（角速度センサ）７４による積分方位とを組み合わせた構成であり、高応答性と対ノイズ性とを備えている。各センサ出力値および撮像装置の動作状態を常時モニタすることで、磁気方位優先モードと積分方位優先モードとが動的に切り替えられる。磁気方位優先モードとは、地磁気センサ７３から得られた磁気方位を最終出力方位として用いる状態である。積分方位優先モードとは、ジャイロセンサ７４による積分方位を優先して出力として用いる状態である。
【００４７】
図４のフローチャートを参照して方位演算部７５においてなされる方位検出処理について説明する。地磁気センサ７３から出力された信号は、ふらつきを除去するために、フィルタによって間引きおよび平均化の処理Ｓ１がなされる。次に、オフセット補正、テーブル補正などの各種補正処理Ｓ２がなされる。そして、加速度センサ７２の出力に基づいて姿勢による軸変換処理（センサの姿勢の補正処理）Ｓ３がなされ、磁気方位データθmag
が出力される。磁気方位優先モードでは、地磁気センサ７３から得られた磁気方位データθmagが最終的な方位出力として用いられる。
【００４８】
ジャイロセンサ７４から出力された角速度データに対して、誤差の蓄積を防止するために、ドリフト補正の処理Ｓ４がなされ、角速度データθ’gyroが出力される。角速度データθ’gyroに対して、角速度積分処理Ｓ５が施され、角度データが得られる。さらに、加速度センサ７２の出力に基づいて姿勢による軸変換処理（センサの姿勢の補正処理）Ｓ６がなされる。そして、積分方位（角度）データθgyroが出力される。
【００４９】
加速度センサ７２は、撮像装置の姿勢を検知するために用いられている。仮に撮像装置が水平面上で垂直軸周りを回転するだけならば、加速度センサ７２は、不要である。しかしながら、撮像装置等の携帯機器では、機器の姿勢が固定されておらず、機器に取り付けられているセンサの角度も常に変化するため、３軸の加速度センサによって姿勢を測定して、方位の出力値を補正するようになされる。
【００５０】
磁気方位データθmag は、方位の変化を検出するために、角度微分処理Ｓ７が施されてθ’mag となる。例えば１秒間の方位の変化量が検出される。この微分された磁気方位データθ’mag と角速度データθ’gyroと攪乱検出部７６からの磁気撹乱状態の情報とを使用して、モード判定処理Ｓ８が行われる。すなわち、モード判定処理Ｓ８において、磁気方位優先モードと積分方位優先モードの２つのモードの何れかが設定される。モード判定処理Ｓ８とは、これらのモードを状況に応じて動的に切り替えることである。
【００５１】
攪乱検出部７６によって、磁気攪乱状態の検出が可能である。この検出は、磁気の撹乱を予測する磁気撹乱発生予測と、現に磁気攪乱が発生していることを認識する磁気攪乱認識との両方が含まれる。磁気攪乱が検出される期間では、方位演算部７５内のモード判定処理Ｓ８に対し磁気撹乱状態であることが通知される。
【００５２】
モード判定処理Ｓ８の判定結果が方位計算処理Ｓ９に与えられる。レジスタ８１が設けられ、磁気方位優先モードから積分方位優先モードに切り替わった時点Ｔにおける磁気方位θTmag がレジスタ８１に保持される。後述するように、磁気方位θTmag は、方位の変化量が閾値以下であり、且つ角速度が閾値以下の場合においては、攪乱検出部７６によって攪乱が検出された時点で、その時の磁気方位がレジスタ８１に記憶される。この意味では、攪乱が検出される時点に最も近い磁気方位がθTmag となる。レジスタ８１に保持さ
れるθTmag が方位計算処理Ｓ９において使用可能とされる。方位計算処理Ｓ９の結果、
最終的な方位データが出力される。
【００５３】
モード判定処理Ｓ８のより詳細な処理について、図５に示すフローチャートを参照して説明する。任意の、予め設定された第１閾値をε１と表記し、第２閾値をε２と表記する。さらに、このモード判定処理によって、積分方位優先モードとなった時点の時刻をＴと表記する。この時刻Ｔが積分処理の基準時点となる。
【００５４】
最初のステップＳ１１において、各センサからのデータが取得される。次のステップＳ１２において、（θ’gyro＞ε１）の比較処理がなされる。この比較処理は、ジャイロセンサ７４から出力される角速度データθ’gyroが閾値ε１より小であるか否かを判定する処理であり、角速度データθ’gyroが閾値ε１以上の場合では、処理がステップＳ１６に移る。ステップＳ１６は、レジスタ８１にＴの時刻の磁気方位データθTmag を保存する
処理である。ステップＳ１６の後に積分方位優先モードとなる（ステップＳ１７）。
【００５５】
角速度データθ’gyroがε１以下の場合、ステップＳ１３において、（θ’mag ＞ε２）の比較処理がなされる。微分された磁気方位データθ’mag （すなわち、磁気方位データの変化量）が閾値ε２以下の場合、ステップＳ１４において、攪乱検出部７６によって攪乱が検出されたか否かが判定される。攪乱が検出されない場合には、ステップＳ１５において、磁気方位優先モードが設定される。磁気方位優先モードでの最終的に出力される方位データθは、地磁気センサ７３により検出された磁気方位データθmag である。
【００５６】
磁気方位優先モードでない場合は、積分方位優先モードとなる。積分方位優先モードでは、方位の最終出力が下記の式のようになる。すなわち、磁気方位優先モードから積分方位優先モードに切り替わった時点Ｔでの磁気方位θTmag を基準としてレジスタ８１に記
憶する。この基準値の記憶時点から所定時間、角速度データを積分して得られる角度データをオフセット分として基準値に対して加算する。すなわち、積分方位優先モードにおける方位出力データは、下記の式で表される。
【００５７】
出力方位データθ＝θTmag ＋∫θ’gyro ｄｔ
但し、∫は、時刻Ｔを零として所定時刻ｔまでの積分を意味する。
【００５８】
上述した本開示は、高い応答性でもって方位を取得することが可能である。これにより、方位に基づき画面表示を行う際の実際の機器の向きと表示物との対応性が高まる。したがって、機器の方位が実際には変化していないにもかかわらず、周囲の環境の変化によって磁気センサの入力が変化する際にも、その影響を抑えることができる。例えば、機器の使用者の前を車両等が横切ることによって、一時的な磁気の乱れが観察されることがある。これは、車両が発する電磁波・磁場の影響である。磁気センサの誤差要因は多く、一般に、磁場、電磁波の影響や、鉄板によるソフトアイロン効果などが挙げられる。これらによる影響に全て対処し、誤差を無くすことは事実上不可能であるが、先の車両の例のように、比較的短時間の大きな磁界変化に対しては、本開示の手法により対処が可能である。特に、本開示によれば、携帯機器において使用者の操作、もしくは機器の内部状態の変化によって磁気の乱れが予測される場合に、積分方位を優先させることにより、それらの磁気撹乱の影響を受けずに方位を出力することが可能となる。
【００５９】
「仮想物体」
本開示では、撮像を行うユーザに対して良好な撮像を行うためのガイドを行う機能を有する。ガイドを行うために、被写体が表示されるＬＣＤ３０の画面上に仮想物体をＡＲによって表示する。仮想物体は、撮像位置、撮像角度および画角に応じて現実の被写体のように変化する。仮想物体は、第１の表示物と第２の表示物とを含んでいる。なお、撮像装置から取得される現実の環境の映像に良く追従するように仮想物体を提示するためには、カメラの向く方向を高い応答性をもって検出するようになされる。
【００６０】
第１および第２の表示物の情報は、ＡＲ表示制御部５６において生成される。ＡＲ表示制御部５６には、上述したように、センサ部７の出力信号が供給される。さらに、記憶装置５７から構図データがＡＲ表示制御部５６に供給される。記憶装置５７には、観光地の風景、建物等の推奨写真に関して、推奨の撮像地点を示す参照位置データ（例えば経度および緯度情報）と、推奨の構図データとが格納されている。構図データには、撮像角度に関する参照角度データと画角に関する参照画角データとが含まれる。
【００６１】
記憶装置７８（図３参照）に記憶する参照位置データ、参照角度データおよび参照画角データ（これらのデータを参照データと適宜総称する）は、予め書き込まれている。例えばインターネットを介して参照データを取得して記憶装置７８に記憶するようにしても良い。例えばユーザが撮像モードとしてガイドモードを設定すると、撮像装置（ユーザ）の現在位置の近傍の写真の参照データが検索され、検索された参照データが記憶装置７８から読み出されて、ＡＲ表示制御部７７に供給される。
【００６２】
ＡＲ表示制御部７７は、センサ部７からの現在のデータと、参照データとを使用して第１および第２の表示物に対応する表示物を生成する。表示物が画面表示制御部７９に供給され、ＬＣＤ３０の画面表示のための表示信号が生成される。さらに、ユーザのカメラ操作信号がカメラ制御部８０に供給され、撮像に必要な制御がなされる。上述したように、カメラ制御部８０から発生するコントロール信号によって、攪乱検出部７６が撮像装置内部で発生すると予測される磁気攪乱、並びに内部で発生した磁気攪乱を検出する。さらに、画角に関する画角情報が画面表示制御部７９に供給される。
【００６３】
画角とは、レンズを通じて撮像可能な範囲のことで、レンズの焦点距離によって画角が変化する。通常、焦点距離が短いと画角が大きくなり、焦点距離が長いと画角が小さくなる。したがって、同じ被写体を撮像しても、画角が相違すると撮像範囲が相違し、撮像画角の構図も変化する。さらに、焦点距離だけでなく、レンズの特性からも画角は影響を受けるので、レンズの特性情報も画角情報として必要とされる。さらに、画角は、同じ焦点距離であっても撮像素子の面積が大きくなると画角が大きくなり、撮像素子の面積が小さくなると、画角が小さくなる。撮像素子の面積は、撮像装置の機種に応じた一定の値である。なお、画角には、水平画角、垂直画角および対角線画角の３種類の情報がある。これらの全ての情報を使用しても良いし、一部の情報を使用しても良い。画角情報の単位は、度である。
【００６４】
これらの点を考慮して、焦点距離、レンズの特性、その他の情報から計算される画角情報がカメラ制御部８０から画面表示制御部７９に対して供給される。他の構成として、カメラ制御部８０から供給される焦点距離と、レンズ特性等の必要なデータから画角情報が画面表示制御部７９において計算される。撮像のガイドとなる画角と、現在の画角との関係から撮像のガイドとなる画角を示す表示物が生成される。
【００６５】
ＡＲ表示制御部７７にて生成される表示物について図６を参照して概略的に説明する。説明の簡単のため、撮像素子の面積および焦点距離を一定とする。例えば仮想物体として矩形の枠状の被写体Ｏを想定する。図６Ａに示すように、被写体ＯをＱ１の位置で撮像したとする。この撮像位置Ｑ１および撮像角度が記憶装置７８に記憶されている参照位置データおよび参照角度データに一致している場合には、図６Ｂに示すように、正方形の枠Ｆ１が表示物として生成される。同じ撮像角度を保って、より遠い撮像位置Ｑ２で被写体Ｏを撮像すると、図６Ｃに示すように、より小さい正方形の枠Ｆ２が表示物として生成される。枠Ｆ２が表示されると、ユーザが推奨位置に比して被写体と離れすぎていることが分かる。
【００６６】
図６Ｄに示すように、被写体Ｏを参照位置データと等しい距離で、異なる撮像角度で撮像した場合には、図６Ｅに示すように歪んだ枠Ｆ３が表示物として生成される。若し、撮像角度が逆に傾いている場合には、図６Ｆに示すように斜めに歪んだ枠Ｆ４が表示物として生成される。ユーザは、枠の形状の歪みがなくなるように、撮像角度を調整する。このように、枠は、３次元被写体を２次元表示面に変換したもので、枠の大きさと枠の形状によって、ユーザを推奨の撮像位置および撮像角度にガイドするものである。
【００６７】
すなわち、実際の被写体に対して仮想的な表示物（枠）が重畳されてＬＣＤ３０の画面に表示されるので、枠が例えば正方形のように歪みのない図形となり、その大きさが画面上で最大となるか、または画面からはみ出て消えるように、撮像位置と撮像角度とを設定して撮像を行うことによって、推奨の画像と同様の写真をとることができる。仮想的な表示物は、例えば３次元の物体を２次元表示に変換したものであるので、ユーザ自身が現在の撮像位置および撮像角度を認識することが容易となる。
【００６８】
「表示物の具体例」
本開示についてさらに説明する。図７Ａに示すように、実際の被写体例えばビルを撮像装置２０によって撮像すると、図７Ｂに示すように、撮像装置２０のＬＣＤ３０には、被写体画像Ｒ１に加えて第１の表示物としてのピンＰ１と第２の表示物としての枠Ｆ１とが表示される。ピンと枠とで１組の撮像構図が表される。図７Ａに示されるピンのマークは、現実の景色としては存在しないが、撮像装置２０の現在位置を分かりやすくするために、描かれている。表示画像中のピンＰ１は、撮像する者が実際に立つべき位置（撮影スポット）を指定する。枠Ｆ１は、撮像装置を向けるべき方向と画角を指定する。撮像位置と撮像装置を向けるべき方向と画角とによって、構図が指定される。記憶装置５７に記憶されている参照データ（撮像位置および構図）は、例えば観光地において、「良い構図」の写真が撮像できる撮像ポイントを表している。
【００６９】
図８Ａに示すように、図７Ａに示す撮像位置よりも被写体に近づいた場合、図８Ｂに示すように、撮像装置２０のＬＣＤ３０には、被写体画像Ｒ２、ピンＰ２および枠Ｆ２が表示される。これらの画像は、近づいた分、画像が大きくなっている。被写体に対する撮像角度および画角は、変わっていないので、枠Ｆ２の形状は、枠Ｆ１を拡大したものである。表示物としての枠およびピンは、撮像装置の位置情報、方位情報、姿勢情報および画角情報を所定時間ごとに取得し、取得したこれらの情報を使用して再描画される。
【００７０】
図９Ａに示すように、図７Ａと同様の撮像位置において、撮像装置２０の被写体に対する向き（撮像方向）を左側に動かすと、図９Ｂに示すように、撮像装置２０のＬＣＤ３０には、被写体画像Ｒ３、ピンＰ３および枠Ｆ３が右側に移動して表示される。図１０Ａに示すように、図７Ａと同様の撮像位置において、撮像装置２０の被写体に対する向き（撮像方向）を右側に動かすと、図１０Ｂに示すように、撮像装置２０のＬＣＤ３０には、被写体画像Ｒ４、ピンＰ４および枠Ｆ４が左側に移動して表示される。
【００７１】
このように、ＬＣＤ３０の画面に表示されるピンおよび枠は、被写体と同様に、撮像装置２０の動きに対して現実の環境のように変化する。さらに、図１１Ａに示すように、ユーザが推奨の撮像ポイントに近づくと、図１１Ｂに示す画像がＬＣＤ３０に表示される。撮像角度および画角が参照撮像角度および撮像画角とほぼ等しいので、表示画面の全体に正方形の枠Ｆ５が表示される。被写体画像Ｒ５は、推奨撮像画像にかなり近い画像となり、ピンＰ５が表示され、推奨撮像ポイントが現在位置よりも若干被写体に近づいたものであることがガイドされる。
【００７２】
図１１Ｂに示すＬＣＤ３０の画面を見てユーザが少し被写体に近づく。そして、図１２Ａに示すように、撮像装置２０が参照撮像位置と一致する位置に到達する。この場合のＬＣＤ３０の画面は、図１２Ｂに示すものとなる。すなわち、枠およびピンの表示が消え、ＬＣＤ３０の画面には、撮像された被写体画像Ｒ６のみが表示される。このように、ＬＣＤ３０の画面から枠およびピンの表示が消えることによって、ユーザが参照撮像位置に到達したことを知り、また、現在の撮像装置２０の方位および姿勢が参照撮像角度と一致したことが分かり、さらに、現在の画角が参照画角に一致したことを知りることができる。こての状態でもって、シャッターボタン２１が押され、推奨の構図の写真を撮ることができる。
【００７３】
図１３に示すように、被写体画像Ｒ７、枠Ｆ７およびピンＰ７に加えて参照撮像位置、参照アングルおよび参照画角で撮像された推奨の画像のサムネイル（縮小画像）ＲｒをＬＣＤ３０の画面上に表示しても良い。ユーザは、サムネイルを手本として撮像位置、撮像アングル、画角を設定することができる。なお、サムネイルに代えて手本となる半透過画像を表示するようにしても良い。サムネイルによって、撮影者は実際に撮影地点まで行かなくとも、その撮影地点から撮影が可能な写真の構図を把握でき、さらにサムネイルを参照しながら撮影することによって、より正確に好ましい構図を再現することが可能となる。
【００７４】
さらに、本開示では、図１２Ｂに示すように、参照撮像位置、参照アングルおよび参照画角と一致すると、ＬＣＤ３０の画面から枠ＦおよびピンＰが消えてしまうので、参照撮像位置より近づき過ぎたことをユーザが分からないおそれがある。このような問題を避けるために、図１４Ａまたは図１４Ｂに示すように、枠の表示が消えた後に、さらに、被写体に近づいた場合には、被写体画像Ｒ８およびＲ９のそれぞれと重畳して参照撮像位置に近づく方向を示すカーソルを表示してユーザに知らせるようにしても良い。
【００７５】
上述したように、ユーザが撮像装置を向ける方向を変えると、方位演算部７５および加速度センサ７２の出力信号が変化する。この出力信号の値に応じてピンと枠の表示位置を変化させる。図９Ａの例のように、ユーザが撮像装置を向ける方位を１０度左側に変化させると、図９Ｂに示すように、ＬＣＤ３０の表示物は画面内で１０度に相当する分だけ右側に移動する。さらに、撮像装置を向ける方向を上向きにすれば、ＬＣＤ３０の表示物は画面内ですべて下向きに移動する。撮像装置の画角によっても表示は変化する。例えば、画角が広い場合には表示物は小さく表示され、画角が狭い場合は大きく表示される。
【００７６】
「表示変換の処理の一例」
これらの表示変換は、一例として、３次元ゲーム等で広く用いられるビューイング・パイプライン処理によって実時間で矛盾無く処理される。図１５にＡＲ表示制御部７７においてなされるビューイング・パイプライン処理の流れを示す。ビューイング・ パイプラ
イン処理とは、３次元データで表される３次元モデルを、２次元平面上に立体的に表示するための一連の座標変換のことである。この処理により、撮像装置を通して風景を見ることで、現実の空間にあたかも仮想的なピンと枠が存在しているような感覚を使用者に与えることができる。
【００７７】
図１５は、ビューイング・パイプライン処理の流れを示している。最初に仮想物体モデルがローカル座標で作成される。すなわち、撮像位置を示すピンと被写体を表す枠とが仮想物体モデルとして作成される。次に仮想的物体モデルに対する撮像角度に応じて座標変換がなされ、ローカル座標上で仮想的物体が定義される。仮想物体モデルからローカル座標への変換の際に、構図データに含まれる撮像角度および画角が使用される。次に、構図データに含まれる撮像位置データ（緯度、経度、高度）から世界座標への座標変換がなされる。
【００７８】
世界座標は、ＧＰＳの緯度・経度情報で規定される座標である。次に、各人の視点から仮想的物体を見ているので、世界座標をビュー座標に座標変換する。撮像装置の姿勢、位置、および方位を定義することで、世界座標をビュー座標に変換する。ビュー座標変換によって、撮像装置２０が座標の原点に位置することになる。
【００７９】
撮像装置２０では、ズーム等によって画角が変化するので、画角の情報に基づいてビュー座標をパースペクティブ座標に変換するようになされる。この座標変換の方法としては、平行投影および透視投影の何れか一方が使用される。ビュー座標をパースペクティブ座標に変換することは、３Ｄの物体を２Ｄにすることである。
【００８０】
さらに、撮像装置２０のＬＣＤ３０の画面に合わせるために、表示画面サイズ例えば（４８０×６４０）に応じた表示座標へパースペクティブ座標が変換される。このようにして、撮像装置２０のＬＣＤ３０の表示画面上には、現在の撮像装置の位置、姿勢、方位および画角に応じて枠およびピンからなる仮想物体が表示される。
【００８１】
なお、上述したビューイング・パイプライン処理に限らず、３Ｄの仮想物体を現在の撮像装置の位置、姿勢、方位および画角に応じて形状および位置を変化させて２Ｄの表示装置の画面上に表示することができる他の処理を使用しても良い。
【００８２】
「処理の流れ」
本開示では、図１６のフローチャートに示すように処理がなされる。この処理は、ＡＲ表示制御部７７（図３参照）においてなされるものである。ステップＳ２１において、位置検出部７１によって撮像装置の現在の位置データが取得される。次に、ステップＳ２２において、方位演算部７５によって撮像装置の現在の方位データが取得される。次に、ステップＳ２３において、加速度センサ７２によって撮像装置の現在の姿勢データが取得される。ステップＳ２４において、記憶装置７８から参照データ（参照位置データおよび参照構図データ）が取得される。
【００８３】
ステップＳ２５において、現在の撮像装置の位置データ、方位データ、姿勢データおよび参照データが取得できたか否かが判定される。これらの全てのデータが取得できたと判定されると、ステップＳ２６において、上述したビューイング・パイプライン処理がなされる。ビューイング・パイプライン処理によって、表示物（枠およびピン）が生成され、ステップＳ２７において、重畳表示処理がなされる。そして、処理がステップＳ２１に戻り、所定時間後に上述したステップＳ２１以降の処理が繰り返される。
【００８４】
本開示により、撮影地点に移動し、撮像装置を向ける方向を決め、ズーム調整等によって画角を決定して撮影する、という３段階の手続きにおいて、一貫性のあるユーザ・インタフェースによって誰にでも分かりやすい直感的なガイドを提供できる。撮像装置の使用者は、撮像装置を起動し撮像装置を通して風景を見ることで、視界内の撮影地点を分かりやすく把握できると同時に、その地点まで行けば良いという意味を直感的に把握できる。さらに撮影構図を表す枠が３次元的に表示されており、それらの撮影地点からどちらの方向を向けば望ましい撮影構図が得られるかも容易に理解できるため、写真撮影が苦手な使用者であっても、好ましい構図で写真を撮ることができる。
【００８５】
上述した本開示における拡張現実技術では、仮想表示物の空間における存在感の一貫性が、現実の空間にあたかも仮想的な物体が存在しているという感覚（仮想現実感）を使用者に与えるために重要である。本開示においては、使用者の撮像装置操作に対して、枠やピンが一貫して風景と対応していることが重要となる。
【００８６】
若し、方位検出の出力に応答遅れがあると、使用者が撮像装置を向ける方向を変えた際に、表示物の動きに応答の遅れが出てしまう。そのため、本機能には、応答性の高い方位検出方法を用いることが推奨される。また、使用者が撮像装置のズームレバーを操作すると、内蔵モータが回転してレンズが駆動するが、その間モータの駆動のため磁気の乱れ（攪乱）が発生する。その際、従来の方位検出方法では、前述したように攪乱を補正しきれず、出力方位にブレが生じる。その乱れた方位をＡＲ表示制御に用いると、撮像装置の向きは変化していないにもかかわらず、画面内のピンや枠の表示は方位の乱れに応じてずれることになる。よって、機能の使用者にとって風景と表示物の対応がその間大きく乱れてしまう。
【００８７】
本開示を用いれば、使用者がこれらの問題点を解決することが可能である。前述の例では、使用者のズームレバー操作によって磁気撹乱が予測されるため、ズームレバーの操作直後に方位検出方法において積分方位優先モードに切り替えることで、磁気の乱れの影響を一切受けることなく方位を出力できる。また、その他ストロボの充電、放電等による磁気の撹乱に対しても同様の手順で積分方位優先モードへの切り替えがなされ、同様に、方位を出力することができる。
【００８８】
なお、本開示は、以下のような構成も取ることができる。
（１）
地磁気に応じた磁気方位データを所定時間ごとに取得する地磁気検出部と、
前記磁気方位データの変化量を算出する変化量算出部と、
前記磁気方位データを記憶する記憶部と、
角加速度検出部によって取得される角速度を積分して角度データを算出する積分部と、
前記磁気方位データおよび前記角速度が閾値の範囲内である場合は、前記磁気方位データを出力方位データとして採用し、
前記変化量および前記角速度の一方が閾値の範囲外である場合は、前記閾値の範囲外となった時点を零の基準時点として前記角速度積分部により算出された前記角度を使用し、
前記変化量および前記角速度が閾値の範囲内である場合に記憶された最も新しい地磁気データに対して前記角度を加算したものを出力方位として採用する方位出力部と
を備えた電子機器。
（２）
機器内部で磁気撹乱が発生する直前から、前記磁気攪乱が発生している期間を攪乱として検出する撹乱検出部を備え、
前記方位出力部は、前記撹乱検出部によって磁気撹乱が検出される場合には、前記変化量および前記角速度が閾値の範囲内である最も新しい時点を基準時点として前記角速度積分部により算出された前記角度を、前記基準時点における地磁気ベクトルに対して加算したものを出力方位として採用する（１）に記載の電子機器。
（３）
前記攪乱検出部は、機器の制御のためのコントロール信号から前記磁気攪乱が発生している期間を検出する（２）に記載の電子機器
（４）
現在位置の位置データを取得する位置検出部と、
現在の撮像方向の方位データを取得する方位検出部と、現在の撮像方向の姿勢データを取得する姿勢検出部とを有する角度検出部と、
被写体に対する撮像地点を示す参照位置データ、および前記撮像地点における参照撮像角度データを記憶する記憶部と、
現実の環境に付加され、前記位置データおよび前記角度データに応じて現実の環境のように変化する仮想物体を生成する表示物生成部と、
前記仮想物体を取得される画像データに重畳して表示部に表示する表示制御部とを備え、
前記仮想物体が前記現在位置のデータに応じて表示位置が変化する第１の表示物と、前記角度データに基づいて形状が変化する第２の表示物とを含み、
前記方位検出部は、
地磁気に応じた磁気方位データを所定時間ごとに取得する地磁気検出部と、
前記磁気方位データの変化量を算出する変化量算出部と、
前記磁気方位データを記憶する記憶部と、
角加速度検出部によって取得される角速度を積分して角度データを算出する積分部と、
前記磁気方位データおよび前記角速度が閾値の範囲内である場合は、前記磁気方位データを出力方位データとして採用し、
前記変化量および前記角速度の一方が閾値の範囲外である場合は、前記閾値の範囲外となった時点を零の基準時点として前記角速度積分部により算出された前記角度を使用し、
前記変化量および前記角速度が閾値の範囲内である場合に記憶された最も新しい地磁気データに対して前記角度を加算したものを出力方位として採用する方位出力部と
を備えた撮像装置。
（５）
機器内部で磁気撹乱が発生する直前から、前記磁気攪乱が発生している期間を攪乱として検出する撹乱検出部を備え、
前記方位出力部は、前記撹乱検出部によって磁気撹乱が検出される場合には、前記変化量および前記角速度が閾値の範囲内である最も新しい時点を基準時点として前記角速度積分部により算出された前記角度を、前記基準時点における地磁気ベクトルに対して加算したものを出力方位として採用する（４）に記載の撮像装置。
（６）
現在の画角データを取得する画角検出部を有し、
前記第２の表示物が前記角度データおよび前記画角データに基づいて形状が変化する（４）に記載の撮像装置。
（７）
前記第２の表示物が３次元物体を前記表示部の２次元表示に変換した表示物である（４）に記載の撮像装置。
（８）
前記第２の表示物が枠である請求項５に記載の撮像装置。
（９）
前記参照位置データが撮像の推奨ポイントを示し、前記参照撮像角度データが撮像の推奨アングルを示す（４）に記載の撮像装置。
（１０）
前記撮像地点において過去に撮影された画像の縮小画像または半透過表示を取得される画像に重畳して表示する（４）に記載の撮像装置。
【００８９】
「変形例」
以上、本開示の実施形態について具体的に説明したが、上述の各実施形態に限定されるものではなく、本開示の技術的思想に基づく各種の変形が可能である。例えば、上述した実施の形態では、表示物として位置を表すピンと、枠とを使用している。しかしながら、撮像の構図をガイドすることができるものであれば、他のマークを使用しても良い。例えば十字、×等のマークを使用しても良い。さらに、撮像対象が固定の風景に限らず、動く被写体であっても良い。
【００９０】
また、上述の実施形態の構成、方法、工程、形状、材料および数値などは、本開示の主旨を逸脱しない限り、互いに組み合わせることが可能である。
【符号の説明】
【００９１】
１・・・カメラ部
２・・・デジタル信号処理部
５・・・制御部
６・・・操作部
７・・・センサ部
２０・・・撮像装置
３０・・・ＬＣＤ
５１・・・ＣＰＵ
７７・・・ＡＲ表示制御部
７８・・・記憶装置
７９・・・画面表示制御部
７１・・・位置検出部
７２・・・加速度センサ
７３・・・地磁気センサ
７４・・・ジャイロセンサ
【特許請求の範囲】
【請求項１】
地磁気に応じた磁気方位データを所定時間ごとに取得する地磁気検出部と、
前記磁気方位データの変化量を算出する変化量算出部と、
前記磁気方位データを記憶する記憶部と、
角加速度検出部によって取得される角速度を積分して角度データを算出する積分部と、
前記磁気方位データおよび前記角速度が閾値の範囲内である場合は、前記磁気方位データを出力方位データとして採用し、
前記変化量および前記角速度の一方が閾値の範囲外である場合は、前記閾値の範囲外となった時点を零の基準時点として前記角速度積分部により算出された前記角度を使用し、
前記変化量および前記角速度が閾値の範囲内である場合に記憶された最も新しい地磁気データに対して前記角度を加算したものを出力方位として採用する方位出力部と
を備えた電子機器。
【請求項２】
機器内部で磁気撹乱が発生する直前から、前記磁気攪乱が発生している期間を攪乱として検出する撹乱検出部を備え、
前記方位出力部は、前記撹乱検出部によって磁気撹乱が検出される場合には、前記変化量および前記角速度が閾値の範囲内である最も新しい時点を基準時点として前記角速度積分部により算出された前記角度を、前記基準時点における地磁気ベクトルに対して加算したものを出力方位として採用する請求項1 に記載の電子機器。
【請求項３】
前記攪乱検出部は、機器の制御のためのコントロール信号から前記磁気攪乱が発生している期間を検出する請求項２に記載の電子機器
【請求項４】
現在位置の位置データを取得する位置検出部と、
現在の撮像方向の方位データを取得する方位検出部と、現在の撮像方向の姿勢データを取得する姿勢検出部とを有する角度検出部と、
被写体に対する撮像地点を示す参照位置データ、および前記撮像地点における参照撮像角度データを記憶する記憶部と、
現実の環境に付加され、前記位置データおよび前記角度データに応じて現実の環境のように変化する仮想物体を生成する表示物生成部と、
前記仮想物体を取得される画像データに重畳して表示部に表示する表示制御部とを備え、
前記仮想物体が前記現在位置のデータに応じて表示位置が変化する第１の表示物と、前記角度データに基づいて形状が変化する第２の表示物とを含み、
前記方位検出部は、
地磁気に応じた磁気方位データを所定時間ごとに取得する地磁気検出部と、
前記磁気方位データの変化量を算出する変化量算出部と、
前記磁気方位データを記憶する記憶部と、
角加速度検出部によって取得される角速度を積分して角度データを算出する積分部と、
前記磁気方位データおよび前記角速度が閾値の範囲内である場合は、前記磁気方位データを出力方位データとして採用し、
前記変化量および前記角速度の一方が閾値の範囲外である場合は、前記閾値の範囲外となった時点を零の基準時点として前記角速度積分部により算出された前記角度を使用し、
前記変化量および前記角速度が閾値の範囲内である場合に記憶された最も新しい地磁気データに対して前記角度を加算したものを出力方位として採用する方位出力部と
を備えた撮像装置。
【請求項５】
機器内部で磁気撹乱が発生する直前から、前記磁気攪乱が発生している期間を攪乱として検出する撹乱検出部を備え、
前記方位出力部は、前記撹乱検出部によって磁気撹乱が検出される場合には、前記変化量および前記角速度が閾値の範囲内である最も新しい時点を基準時点として前記角速度積分部により算出された前記角度を、前記基準時点における地磁気ベクトルに対して加算したものを出力方位として採用する請求項４に記載の撮像装置。
【請求項６】
現在の画角データを取得する画角検出部を有し、
前記第２の表示物が前記角度データおよび前記画角データに基づいて形状が変化する請求項４に記載の撮像装置。
【請求項７】
前記第２の表示物が３次元物体を前記表示部の２次元表示に変換した表示物である請求項４に記載の撮像装置。
【請求項８】
前記第２の表示物が枠である請求項５に記載の撮像装置。
【請求項９】
前記参照位置データが撮像の推奨ポイントを示し、前記参照撮像角度データが撮像の推奨アングルを示す請求項４に記載の撮像装置。
【請求項１０】
前記撮像地点において過去に撮影された画像の縮小画像または半透過表示を取得される画像に重畳して表示する請求項４に記載の撮像装置。
【請求項１】
地磁気に応じた磁気方位データを所定時間ごとに取得する地磁気検出部と、
前記磁気方位データの変化量を算出する変化量算出部と、
前記磁気方位データを記憶する記憶部と、
角加速度検出部によって取得される角速度を積分して角度データを算出する積分部と、
前記磁気方位データおよび前記角速度が閾値の範囲内である場合は、前記磁気方位データを出力方位データとして採用し、
前記変化量および前記角速度の一方が閾値の範囲外である場合は、前記閾値の範囲外となった時点を零の基準時点として前記角速度積分部により算出された前記角度を使用し、
前記変化量および前記角速度が閾値の範囲内である場合に記憶された最も新しい地磁気データに対して前記角度を加算したものを出力方位として採用する方位出力部と
を備えた電子機器。
【請求項２】
機器内部で磁気撹乱が発生する直前から、前記磁気攪乱が発生している期間を攪乱として検出する撹乱検出部を備え、
前記方位出力部は、前記撹乱検出部によって磁気撹乱が検出される場合には、前記変化量および前記角速度が閾値の範囲内である最も新しい時点を基準時点として前記角速度積分部により算出された前記角度を、前記基準時点における地磁気ベクトルに対して加算したものを出力方位として採用する請求項1 に記載の電子機器。
【請求項３】
前記攪乱検出部は、機器の制御のためのコントロール信号から前記磁気攪乱が発生している期間を検出する請求項２に記載の電子機器
【請求項４】
現在位置の位置データを取得する位置検出部と、
現在の撮像方向の方位データを取得する方位検出部と、現在の撮像方向の姿勢データを取得する姿勢検出部とを有する角度検出部と、
被写体に対する撮像地点を示す参照位置データ、および前記撮像地点における参照撮像角度データを記憶する記憶部と、
現実の環境に付加され、前記位置データおよび前記角度データに応じて現実の環境のように変化する仮想物体を生成する表示物生成部と、
前記仮想物体を取得される画像データに重畳して表示部に表示する表示制御部とを備え、
前記仮想物体が前記現在位置のデータに応じて表示位置が変化する第１の表示物と、前記角度データに基づいて形状が変化する第２の表示物とを含み、
前記方位検出部は、
地磁気に応じた磁気方位データを所定時間ごとに取得する地磁気検出部と、
前記磁気方位データの変化量を算出する変化量算出部と、
前記磁気方位データを記憶する記憶部と、
角加速度検出部によって取得される角速度を積分して角度データを算出する積分部と、
前記磁気方位データおよび前記角速度が閾値の範囲内である場合は、前記磁気方位データを出力方位データとして採用し、
前記変化量および前記角速度の一方が閾値の範囲外である場合は、前記閾値の範囲外となった時点を零の基準時点として前記角速度積分部により算出された前記角度を使用し、
前記変化量および前記角速度が閾値の範囲内である場合に記憶された最も新しい地磁気データに対して前記角度を加算したものを出力方位として採用する方位出力部と
を備えた撮像装置。
【請求項５】
機器内部で磁気撹乱が発生する直前から、前記磁気攪乱が発生している期間を攪乱として検出する撹乱検出部を備え、
前記方位出力部は、前記撹乱検出部によって磁気撹乱が検出される場合には、前記変化量および前記角速度が閾値の範囲内である最も新しい時点を基準時点として前記角速度積分部により算出された前記角度を、前記基準時点における地磁気ベクトルに対して加算したものを出力方位として採用する請求項４に記載の撮像装置。
【請求項６】
現在の画角データを取得する画角検出部を有し、
前記第２の表示物が前記角度データおよび前記画角データに基づいて形状が変化する請求項４に記載の撮像装置。
【請求項７】
前記第２の表示物が３次元物体を前記表示部の２次元表示に変換した表示物である請求項４に記載の撮像装置。
【請求項８】
前記第２の表示物が枠である請求項５に記載の撮像装置。
【請求項９】
前記参照位置データが撮像の推奨ポイントを示し、前記参照撮像角度データが撮像の推奨アングルを示す請求項４に記載の撮像装置。
【請求項１０】
前記撮像地点において過去に撮影された画像の縮小画像または半透過表示を取得される画像に重畳して表示する請求項４に記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１３−５７６０１（Ｐ２０１３−５７６０１Ａ）
【公開日】平成２５年３月２８日（２０１３．３．２８）
【国際特許分類】
【出願番号】特願２０１１−１９６３８６（Ｐ２０１１−１９６３８６）
【出願日】平成２３年９月８日（２０１１．９．８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年３月２８日（２０１３．３．２８）
【国際特許分類】
【出願日】平成２３年９月８日（２０１１．９．８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]