撮像装置、方位情報処理方法及びプログラム
【課題】撮像装置の姿勢が変化したときでも、ユーザの視点から見て自然な態様でコンパス画像を表示できるとともに、正しい撮像方位を記録することができるようにする。
【解決手段】被写体を撮像して撮像画像を出力する撮像部と、地磁気センサにより検出された地磁気情報と、加速度センサにより検出された加速度情報に基づいて、前記撮像部による撮像方向の方位を算出する方位算出部と、前記加速度情報に基づいて、撮像装置のロール方向の回転角を算出し、前記ロール方向の回転角に基づいて、前記撮像方向の方位を表示用の方位に変換する方位変換部と、前記表示用の方位を表すコンパス画像を、前記撮像画像とともに表示する表示部と、前記撮像方向の方位を表す方位情報を、前記撮像画像に関連づけて記録媒体に記録する記録部と、を備える、撮像装置が提供される。
【解決手段】被写体を撮像して撮像画像を出力する撮像部と、地磁気センサにより検出された地磁気情報と、加速度センサにより検出された加速度情報に基づいて、前記撮像部による撮像方向の方位を算出する方位算出部と、前記加速度情報に基づいて、撮像装置のロール方向の回転角を算出し、前記ロール方向の回転角に基づいて、前記撮像方向の方位を表示用の方位に変換する方位変換部と、前記表示用の方位を表すコンパス画像を、前記撮像画像とともに表示する表示部と、前記撮像方向の方位を表す方位情報を、前記撮像画像に関連づけて記録媒体に記録する記録部と、を備える、撮像装置が提供される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、方位情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
近年、デジタルカメラなどの撮像装置において、電子コンパスを搭載した機種が登場している。電子コンパスは、地磁気センサにより検出される地磁気に基づいて、機器が正対する方位を電子的に算出する機能を有する。該電子コンパスをデジタルカメラに搭載することによって、当該デジタルカメラが正対する方位（即ち、撮像方向の方位）を示す２次元コンパス画像を表示部に表示して、撮像者に当該方位を認知させることができる。
【０００３】
ここで、デジタルカメラなどの撮像装置で用いられる方位情報は、上述したコンパス画像を表示する目的とは別に、撮像画像の付加情報として、撮像方向の方位（以下、撮像方位）を記録する目的でも用いられる。例えば、特許文献１に記載のデジタルカメラは、電子コンパスで得られる撮像方位情報を、表示部に表示される撮像画像上に重畳表示するとともに、撮像画像の付加情報として該撮像方位情報を該撮像画像に関連付けて記録する。また、該特許文献１記載のデジタルカメラは、本体部に対して撮像部を回動可能な機構を具備しており、本体部に対する撮像部の回動状態に応じて、電子コンパスで得られる撮像方位情報を補正して記録することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３７８１０１６号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、上記特許文献１に記載のデジタルカメラは、本体部に対する撮像部の回動状態に応じて、電子コンパスで得られる方位を補正するが、デジタルカメラの姿勢の変化（例えば、ロール方向の回転）に応じて、表示部に表示するための方位（以下、表示用の方位）を補正していなかった。しかし、カメラの姿勢の変化に応じて表示用の方位を補正しないと、以下のような問題が生じる。
【０００６】
一般的なデジタルカメラは、表示画面の背面にレンズが設置されているため、撮像方向（即ち、レンズの光軸方向）と、表示画面の背面方向（即ち、カメラの正対方向）とが一致する。ユーザが、かかるデジタルカメラを、表示画面が地面に対して垂直（９０°）に起立するようにして持ち、撮像方向を水平方向にして撮像する場合を考える。この場合、デジタルカメラの電子コンパスにより、撮像方向の水平方位が算出され、該方位を上向きにしたコンパス画像が表示部に表示される。
【０００７】
この状態で、ユーザが、地面と表示画面との角度を垂直に保ったまま、デジタルカメラをロール方向に９０°回転させて撮像する場合（即ち、縦撮りする場合）でも、ユーザの向いている方位（ヨー方向）に変化は無く、撮像方位も不変である。従って、カメラの姿勢の変化（ロール方向の回転）にかかわらず、撮像方位を示すコンパス画像が地面に対して常に一定方向を向くように、該コンパス画像を表示することが、ユーザの視点から見て自然である。
【０００８】
このようにコンパス画像を表示するためには、電子コンパスで算出された撮像方位を、ロール方向の回転角分だけ補正して表示用の方位を求め、この表示用の方位を示すコンパス画像を表示部に表示すればよい。これにより、カメラをロール方向に回転させても、ユーザの視点からは、表示画面上のコンパス画像は地面に対して常に一定方向を向いているように見える。従って、撮像方位を示すコンパス画像の表示態様が、ユーザにとって自然なものとなる。
【０００９】
しかしながら、上記のように補正した表示用の方位は、実際の撮像方位とは異なる。従って、該表示用の方位を撮像画像の付加情報として記録してしまうと、正しい撮像方位情報を記録することができず、撮像画像の再生時に、該撮像画像の正しい撮像方位を提示できなくなってしまう。
【００１０】
以上のように、従来の電子コンパス付きのデジタルカメラでは、カメラの姿勢の変化（例えば、横撮りから縦撮りへの変更）に応じて表示用の方位を補正しておらず、該表示用の方位と、撮像画像の付加情報としての記録用の方位（正しい撮像方位）とを使い分けていなかった。
【００１１】
そこで、本発明は、上記事情に鑑みてなされたものであり、撮像装置の姿勢が変化したときでも、ユーザの視点から見て自然な態様でコンパス画像を表示できるとともに、正しい撮像方位を記録することができるようにするものである。
【課題を解決するための手段】
【００１２】
上記課題を解決するために、本発明のある観点によれば、被写体を撮像して撮像画像を出力する撮像部と、地磁気センサにより検出された地磁気情報と、加速度センサにより検出された加速度情報に基づいて、前記撮像部による撮像方向の方位を算出する方位算出部と、前記加速度情報に基づいて、撮像装置のロール方向の回転角を算出し、前記ロール方向の回転角に基づいて、前記撮像方向の方位を表示用の方位に変換する方位変換部と、前記表示用の方位を表すコンパス画像を、前記撮像画像とともに表示する表示部と、前記撮像方向の方位を表す方位情報を、前記撮像画像に関連づけて記録媒体に記録する記録部と、を備える、撮像装置が提供される。
【００１３】
前記方位算出部は、前記加速度情報に基づいて、前記撮像装置のピッチ方向の回転角を算出し、前記ピッチ方向の回転角に基づいて、前記撮像方向が略鉛直方向であるか否かを検出し、前記撮像方向が略鉛直方向である場合、前記方位算出部は、前記撮像方向の方位に代えて、前記撮像方向に対して垂直な方向の方位を算出し、前記表示部は、前記表示用の方位を表すコンパス画像に代えて、前記撮像方向に対して垂直な方向の方位を表すコンパス画像を、前記撮像画像とともに表示し、前記記録部は、前記撮像方向の方位を表す方位情報に代えて、前記撮像方向に対して垂直な方向の方位を表す方位情報を、前記撮像画像に関連づけて前記記録媒体に記録するようにしてもよい。
【００１４】
前記方位算出部は、前記加速度情報に基づいて、前記撮像装置のピッチ方向の回転角を算出し、前記ピッチ方向の回転角に基づき、前記撮像方向が略鉛直下方であるか否かを検出し、前記撮像方向が略鉛直下方である場合、前記方位算出部は、前記撮像方向の方位に代えて、前記撮像装置の天面方向の方位を算出し、前記表示部は、前記表示用の方位を表すコンパス画像に代えて、前記天面方向の方位を表すコンパス画像を、前記撮像画像とともに表示し、前記記録部は、前記撮像方向の方位を表す方位情報に代えて、前記天面方向の方位を表す方位情報を、前記撮像画像に関連づけて前記記録媒体に記録するようにしてもよい。
【００１５】
前記方位算出部は、前記加速度情報に基づいて、前記撮像装置のピッチ方向の回転角を算出し、前記ピッチ方向の回転角に基づき、前記撮像方向が略鉛直上方であるか否かを検出し、前記撮像方向が略鉛直上方である場合、前記方位算出部は、前記撮像方向の方位に代えて、前記撮像装置の底面方向の方位を算出し、前記表示部は、前記表示用の方位を表すコンパス画像に代えて、前記底面方向の方位を表すコンパス画像を、前記撮像画像とともに表示し、前記記録部は、前記撮像方向の方位を表す方位情報に代えて、前記底面方向の方位を表す方位情報を、前記撮像画像に関連づけて前記記録媒体に記録するようにしてもよい。
【００１６】
前記撮像装置は、前記記録媒体に記録された前記撮像画像及び前記方位情報を再生する再生部をさらに備え、前記表示部は、前記再生部により再生された前記方位情報の方位を表すコンパス画像を、前記再生部により再生された前記撮像画像とともに表示するようにしてもよい。
【００１７】
また、上記課題を解決するために、本発明の別の観点によれば、撮像部により被写体を撮像しながら、地磁気センサにより検出された地磁気情報と、加速度センサにより検出された加速度情報に基づいて、前記撮像部による撮像方向の方位を算出するステップと、前記加速度情報に基づいて、撮像装置のロール方向の回転角を算出し、前記ロール方向の回転角に基づいて、前記撮像方向の方位を表示用の方位に変換するステップと、前記表示用の方位を表すコンパス画像を、前記撮像部から出力された撮像画像とともに表示するステップと、前記撮像方向の方位を表す方位情報を、前記撮像画像に関連づけて記録媒体に記録するステップと、を含む、方位情報処理方法が提供される。
【００１８】
また、上記課題を解決するために、本発明の別の観点によれば、撮像部により被写体を撮像しながら、地磁気センサにより検出された地磁気情報と、加速度センサにより検出された加速度情報に基づいて、前記撮像部による撮像方向の方位を算出するステップと、前記加速度情報に基づいて、撮像装置のロール方向の回転角を算出し、前記ロール方向の回転角に基づいて、前記撮像方向の方位を表示用の方位に変換するステップと、前記表示用の方位を表すコンパス画像を、前記撮像部から出力された撮像画像とともに表示するステップと、前記撮像方向の方位を表す方位情報を、前記撮像画像に関連づけて記録媒体に記録するステップと、をコンピュータに実行させるためのプログラムが提供される。
【００１９】
上記構成によれば、撮像部により被写体を撮像しながら、地磁気センサにより検出された地磁気情報と、加速度センサにより検出された加速度情報に基づいて、前記撮像部による撮像方向の方位が算出され、前記加速度情報に基づいて、撮像装置のロール方向の回転角を算出し、前記ロール方向の回転角に基づいて、前記撮像方向の方位が表示用の方位に変換され、前記表示用の方位を表すコンパス画像が、前記撮像部から出力された撮像画像とともに表示され、前記撮像方向の方位を表す方位情報が、前記撮像画像に関連づけて記録媒体に記録される。これにより、撮像時に表示部に表示する方位として、撮像装置の姿勢（ロール方向の回転角）に応じて撮像方向の方位を変換した表示用の方位を用いる一方、撮像画像の付加情報として記録する方位として、当該撮像方向の方位を用いることができる。
【発明の効果】
【００２０】
以上説明したように本発明によれば、撮像装置の姿勢が変化したときでも、ユーザの視点から見て自然な態様でコンパス画像を表示できるとともに、正しい撮像方位を記録することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の第１の実施形態に係る撮像装置のハードウェア構成を示すブロック図である。
【図２】同実施形態に係る撮像装置の機能構成を示すブロック図である。
【図３】同実施形態に係る撮像装置の撮像方向と姿勢を示す斜視図である。
【図４】同実施形態に係るロール方向に傾いた撮像装置を示す斜視図である。
【図５】同実施形態に係るロール方向に９０°回転した撮像装置を示す斜視図である。
【図６】図３の状態の撮像装置の表示画面を示す背面図である。
【図７】図４の状態の撮像装置の表示画面を示す背面図である。
【図８】図５の状態の撮像装置の表示画面を示す背面図である。
【図９】同実施形態に係る撮像装置の再生画面を示す図である。
【図１０】本発明の第２の実施形態に係る撮像装置の機能構成を示すブロック図である。
【図１１】同実施形態に係る撮像装置の天面方向と姿勢を示す斜視図である。
【図１２】同実施形態に係る撮像装置の底面方向と姿勢を示す斜視図である。
【図１３】同実施形態に係る撮像装置の表示画面を示す斜視図である。
【図１４】図１３の状態で撮像された画像の再生画面を示す図である。
【図１５】同実施形態に係るロール方向に９０°回転した撮像装置の表示画面を示す斜視図である。
【図１６】図１５の状態で撮像された画像の再生画面を示す図である。
【図１７】同実施形態に係る撮像装置による方位情報処理方法を示すフローチャートである。
【発明を実施するための形態】
【００２２】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２３】
なお、説明は以下の順序で行うものとする。
１．撮像装置のハードウェア構成
２．撮像装置の機能構成
２．１．撮像方位の算出処理
２．２．コンパス画像の表示処理
２．３．撮像方位の記録処理
２．４．撮像方位の再生処理
３．第２の実施形態
３．１．撮像装置の機能構成
３．２．撮像方位の算出処理
３．３．コンパス画像の表示処理
３．４．方位情報処理方法
４．まとめ
【００２４】
［１．撮像装置のハードウェア構成］
まず、図１を参照して、本発明の第１の実施形態に係る撮像装置１０のハードウェア構成について詳細に説明する。図１は、本実施形態に係る撮像装置１０のハードウェア構成を示すブロック図である。本発明の撮像装置は、例えば、図１に示す撮像装置１０のようなデジタルカメラで具現されるが、かかる例に限定されず、撮像機能を備えた任意の電子機器に適用可能である。
【００２５】
図１に示すように、本実施形態に係る撮像装置１０は、例えば、静止画又は動画を撮像可能なデジタルカメラ（例えばデジタルスチルカメラ、デジタルビデオカメラ）で構成される。この撮像装置１０は、被写体を撮像して、当該撮像により得られた撮像画像（静止画又は動画のいずれでもよい。）をデジタル方式の画像データとして記録媒体に記録する。
【００２６】
図１に示すように、本実施形態にかかる撮像装置１０は、概略的には、撮像部１１０と、信号処理部１２０と、表示部１３０と、記録媒体１４０と、制御部１５０と、操作部１６０と、地磁気センサ１７０と、加速度センサ１７２と、を備える。
【００２７】
撮像部１１０は、被写体を撮像してアナログ画像信号を出力する。撮像部１１０は、撮像光学系１１１と、撮像素子１１２と、タイミングジェネレータ１１３と、光学部品駆動部１１４とを備える。
【００２８】
撮像光学系１１１は、フォーカスレンズ、ズームレンズ等の各種レンズや、不要な波長を除去する光学フィルタ、絞り等の光学部品からなる。被写体から入射された光学像（被写体像）は、撮像光学系１１１における各光学部品を介して、撮像素子１１２の露光面に結像される。撮像素子１１２（イメージセンサ）は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの固体撮像素子で構成される。この撮像素子１１２は、撮像光学系１１１から導かれた光学像を光電変換し、撮像画像を表す電気信号（アナログ画像信号）を出力する。
【００２９】
撮像光学系１１１には、該撮像光学系１１１の光学部品を駆動するための光学部品駆動部１１４が機械的に接続されている。この光学部品駆動部１１４は、例えば、ズームモータ、フォーカスモータ、絞り調整機構などであり、ズームレンズ、フォーカスレンズを移動させたり、絞りを調整したりする。光学部品駆動部１１４は、後述する制御部１５０の指示に従って、撮像光学系１１１の光学部品を駆動させる。また、ＴＧ（Ｔｉｍｉｎｇ Ｇｅｎｅｒａｔｏｒ）１１３は、制御部１５０の指示に従って、撮像素子１１２に必要な動作パルスを生成する。例えば、ＴＧ１１３は、垂直転送のための４相パルス、フィールドシフトパルス、水平転送のための２相パルス、シャッタパルスなどの各種パルスを生成し、撮像素子１１２に供給する。このＴＧ１１３により撮像素子１１２を駆動させることで、被写体像が撮像される（電子シャッター機能）。また、ＴＧ１１３が、撮像素子１１２のシャッタースピードを調整することで、撮像画像の露出が制御される。
【００３０】
上記の撮像素子１１２が出力した画像信号は信号処理部１２０に入力される。信号処理部１２０は、撮像素子１１２から出力される画像信号に対して所定の信号処理を実行し、当該信号処理後の画像信号を表示部１３０や制御部１５０に出力する。信号処理部１２０は、アナログ信号処理部１２１、アナログ／デジタル（Ａ／Ｄ）変換部１２２、デジタル信号処理部１２３を備える。
【００３１】
アナログ信号処理部１２１は、画像信号を前処理する所謂アナログフロントエンドである。該アナログ信号処理部１２１は、例えば、撮像素子１１２から出力される画像信号に対して、ＣＤＳ（ｃｏｒｒｅｌａｔｅｄ ｄｏｕｂｌｅ ｓａｍｐｌｉｎｇ：相関２重サンプリング）処理、プログラマブルゲインアンプ（ＰＧＡ）によるゲイン処理などを行う。Ａ／Ｄ変換部１２２は、アナログ信号処理部１２１から入力されたアナログ画像信号をデジタル画像信号に変換して、デジタル信号処理部１２３に出力する。デジタル信号処理部１２３は、入力されたデジタル画像信号に対して、例えば、ノイズ除去、ホワイトバランス調整、色補正、エッジ強調、ガンマ補正等のデジタル信号処理を行って、表示部１３０や制御部１５０等に出力する。
【００３２】
表示部１３０は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機ＥＬディスプレイなどの平板表示装置で構成される。表示部１３０は、制御部１５０による制御に従って、入力された各種の画像データを表示する。例えば、表示部１３０は、撮像中に信号処理部１２０からリアルタイムで入力される撮像画像（スルー画像）を表示する。これにより、ユーザは、撮像装置１０で撮像中のスルー画像を見ながら、撮像装置１０を操作することができる。また、記録媒体１４０に記録されている撮像画像を再生したときに、表示部１３０は、当該再生画像を表示する。これにより、ユーザは、記録媒体１４０に記録されている撮像画像の内容を確認することができる。
【００３３】
記録媒体１４０は、上記撮像画像のデータ、そのメタデータなどの各種のデータを記憶する。記録媒体１４０は、例えば、メモリカード等の半導体メモリ、又は、光ディスク、ハードディスク等のディスク状記録媒体などを使用できる。なお、光ディスクは、例えば、ブルーレイディスク（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）又はＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）等を含む。なお、記録媒体１４０は、撮像装置１０に内蔵されてもよいし、撮像装置１０に着脱可能なリムーバブルメディアであってもよい。
【００３４】
制御部１５０は、マイクロコントローラなどで構成され、撮像装置１０の全体の動作を制御する。制御部１５０は、例えば、ＣＰＵ１５１、ＥＥＰＲＯＭ１５２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１５３、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１５４を備える。なお、ＥＥＰＲＯＭは、「Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ」の略称である。
【００３５】
制御部１５０におけるＲＯＭ１５３には、ＣＰＵ１５１に各種の制御処理を実行させるためのプログラムが格納されている。ＣＰＵ１５１は、該プログラムに基づいて動作して、ＲＡＭ１５４を用いながら、上記各制御のための必要な演算・制御処理を実行する。該プログラムは、撮像装置１０に内蔵された記憶装置（例えば、ＥＥＰＲＯＭ１５２、ＲＯＭ１５３等）に予め格納しておくことができる。また、当該プログラムは、ディスク状記録媒体、メモリカードなどのリムーバブル記録媒体に格納されて、撮像装置１０に提供されてもよいし、ＬＡＮ、インターネット等のネットワークを介して撮像装置１０にダウンロードされてもよい。
【００３６】
ここで、制御部１５０による制御の具体例について説明する。制御部１５０は、上記撮像部１１０のＴＧ１１３や光学部品駆動部１１４を制御して、撮像部１１０による撮像処理を制御する。例えば、制御部１５０は、上記撮像光学系１１１の絞りの調整、撮像素子１１２の電子シャッタースピードの設定、アナログ信号処理部１２１のＡＧＣのゲイン設定などにより、自動露光制御を行う（ＡＥ機能）。また、制御部１５０は、上記撮像光学系１１１のフォーカスレンズを移動させて、フォーカスポジションを変更することで、特定の被写体に対して撮像光学系１１１の焦点を自動的に合わせるオートフォーカス制御を行う（ＡＦ機能）。また、制御部１５０は、上記撮像光学系１１１のズームレンズを移動させて、ズームポジションを変更することで、撮像画像の画角を調整する。また、制御部１５０は、記録媒体１４０に対して撮像画像、メタデータなどの各種のデータを記録し、また、記録媒体１４０に記録されているデータを読み出して再生する。さらに、制御部１５０は、表示部１３０に表示するための各種の表示画像を生成し、表示部１３０を制御して該表示画像を表示させる。
【００３７】
操作部１６０、表示部１３０は、ユーザインターフェースとして機能する。操作部１６０は、例えば、ボタン、レバー等の各種の操作キー、又はタッチパネル等で構成され、ユーザ操作に応じて指示情報を制御部１５０に出力する。
【００３８】
地磁気センサ１７０及び加速度センサ１７２は、撮像方位を検出するための電子コンパス（方位センサ）を構成する。ここで、撮像方位は、撮像装置１０により被写体を撮像するときの撮像方向の水平方位である。撮像方位は、例えば、基準方位（例えば北）を基準とした方位角θ（θ＝０°〜３６０°）で表すことができる。また、撮像方向は、上記撮像光学系１１１の光軸方向である。一般的なデジタルカメラにおいては、該撮像方向は、撮像装置１０の正対方向であり、上記表示部１３０の表示画面の背面方向と一致する。
【００３９】
地磁気センサ１７０は、例えば、２軸地磁気センサ又は３軸地磁気センサで構成され、撮像装置１０が存在する場所における地磁気を検出する。２軸地磁気センサは、撮像装置１０の前後方向及び左右方向の地磁気を検出し、３軸地磁気センサは、撮像装置１０の前後方向、左右方向及び上下方向の地磁気を検出する。地磁気センサ１７０は、検出した地磁気を表す地磁気情報を制御部１５０に出力する。
【００４０】
加速度センサ１７２は、撮像装置１０に作用する加速度を検出する。加速度センサ１７２は、例えば、撮像装置１０の前後、左右、上下方向の加速度を検出する３軸の加速度センサで構成され、撮像装置１０に作用する３軸方向の加速度を検出する。該加速度センサ１７２は、検出した３軸の加速度を表す加速度情報を制御部１５０に出力する。制御部１５０は、上記地磁気センサ１７０の検出値（地磁気情報）と、加速度センサ１７２の検出値（加速度情報）とを用いて、撮像装置１０の姿勢と、撮像方位を算出する。この算出手法の詳細は後述する。
【００４１】
［２．撮像装置の機能構成］
次に、図２を参照して、本実施形態に係る撮像装置１０の要部の機能構成と、その処理について説明する。図２は、本実施形態に係る撮像装置１０の機能構成を示すブロック図である。
【００４２】
図２に示すように、撮像装置１０の制御部１５０は、方位算出部２００と、方位変換部２０２と、コンパス画像生成部２０４と、付加情報管理部２０６と、記録部２０８と、再生部２１０とを備える。これらの機能部は、図１に示すＣＰＵ１５１が、ＲＯＭ１５３等に記憶されているプログラムを実行することにより実現されるが、かかる例に限定されず、専用のハードウェアで実現されてもよい。
【００４３】
［２．１．撮像方位の算出処理］
まず、方位算出部２００により、撮像装置１０の撮像方位を算出する処理について説明する。方位算出部２００と、上述した地磁気センサ１７０及び加速度センサ１７２（方位センサ）は、撮像方位を測位する電子コンパスを構成する。方位算出部２００は、地磁気センサ１７０と加速度センサ１７２の検出値に基づいて、撮像方位を算出する。
【００４４】
上述したように、地磁気センサ１７０は、撮像装置１０が存在する場所における地磁気を検出して、検出値として、地磁気情報を出力する。また、加速度センサ１７２は、撮像装置１０に作用する３軸方向の加速度を検出する。この加速度センサ１７２により検出された加速度情報を用いて、撮像装置１０の姿勢（例えば静姿勢）を検出することができる。つまり、撮像装置１０が静姿勢にあるときには、撮像装置１０に作用する加速度は、地球からの重力加速度になる。従って、加速度センサ１７２により検出された３軸方向の加速度情報に基づいて、３次元空間において撮像装置１０に対して作用する重力加速度の向きを算出すれば、撮像装置１０の姿勢を検出きる。撮像装置１０の姿勢は、地面に対する撮像装置１０の傾き（例えば、ロール方向、ピッチ方向、ヨー方向の回転角）で表される。
【００４５】
ここで、図３を参照して、撮像装置１０の姿勢について詳細に説明する。図３は、本実施形態に係る撮像装置１０の撮像方向と姿勢を示す斜視図である。
【００４６】
撮像装置１０は、例えば、平行な天面１０１と底面１０２を有する矩形状のハウジング１００を備える。ハウジング１００の前面１０３には、撮像部１１０の撮像光学系１１１が設けられ、ハウジング１００の背面１０４には、表示部１３０の表示画面（図示せず。）が設けられる。ロール軸１０５は、ハウジング１００の前後方向に延びる回転軸であり、撮像装置１０は、該ロール軸１０５を中心としてロール方向に回転して、地面に対して左右に傾く。同様に、ピッチ軸１０６は、ハウジング１００の左右方向に延びる回転軸であり、撮像装置１０は、該ピッチ軸１０６を中心としてピッチ方向に回転して、地面に対して前後に傾く。また、ヨー軸１０７は、ハウジング１００の上下方向に延びる回転軸であり、撮像装置１０は、該ヨー軸１０７を中心としてヨー方向に回転して、撮像方向を変える。
【００４７】
以上のように、撮像装置１０の姿勢は、撮像装置１０が地面に対してロール方向、ピッチ方向、ヨー方向に回転したときの回転角（ロール角α、ピッチ角β、ヨー角γ）で表すことができる。なお、ロール軸１０５は、撮像装置１０の撮像方向と同一方向である。また、撮像装置１０がヨー方向に回転すれば、撮像装置１０が正対する水平方向が変わるので、撮像方位（撮像方向の水平方位）も変化することになる。
【００４８】
また、加速度センサ１７２により、撮像装置１０の上記ロール方向、ピッチ方向、ヨー方向の回転角（地面に対する傾き角）が分かれば、地磁気センサ１７０の検出値から当該回転角分を差し引くことで、水平方向の地磁気を計算して、正しい撮像方位を求めることができる。なお、１軸、２軸の加速度センサを用いても、撮像装置１０の１又は２方向の回転角を検出できるので、撮像方位を算出することは可能であるが、３軸の加速度センサを用いた方が、より正確に撮像方位を算出できる。
【００４９】
図２に戻り、方位算出部２００による撮像方位の算出処理の説明を続ける。方位算出部２００は、加速度センサ１７２により検出された加速度情報に基づいて、地面に対する撮像装置１０の姿勢を算出する。この撮像装置１０の姿勢は、例えば、上述した撮像装置１０の回転角（ロール角α、ピッチ角β、ヨー角γ）で表される。さらに、方位算出部２００は、予め保存されている地磁気センサ設置情報２２２と、上記で算出した撮像装置１０の姿勢の情報とから、地磁気センサ１７０の姿勢を算出する。ここで、地磁気センサ設置情報２２２は、撮像装置１０に設置されている地磁気センサ１７０の設置姿勢（撮像装置１０に対する地磁気センサ１７０の向き）を表す情報である。当該地磁気センサ１７０の設置姿勢は、撮像装置１０の製造時に既知である。方位算出部２００は、この地磁気センサ１７０の設置姿勢（デフォルトの回転角）に、地面に対する撮像装置１０の姿勢（ロール角α、ピッチ角β、ヨー角γ）を加算することで、地面に対する地磁気センサ１７０の姿勢を求める。
【００５０】
さらに、方位算出部２００は、地磁気センサ１７０が測位した地磁気情報と、上記で算出した地磁気センサ１７０の姿勢の情報とから、地磁気の水平ベクトルを抽出し、基準方位（例えば北方向）を算出する。また、方位算出部２００は、予め保存されている光学系設置情報２２４と、先に算出した撮像装置１０の姿勢の情報とから、撮像光学系１１１の光軸方向（即ち、撮像方向）の水平ベクトルを算出する。ここで、光学系設置情報２２４は、撮像装置１０に設置されている撮像光学系１１１の設置姿勢（撮像装置１０に対する撮像光学系１１１の光軸の向き）を表す情報である。この光学系設置情報２２４も、撮像装置１０の製造時に既知である。方位算出部２００は、上記で算出した基準方位のベクトルと、撮像方向の水平ベクトルとの差分から、撮像方向の水平方位（即ち、撮像方位）を求める。例えば、方位算出部２００は、この撮像方位として、基準方位（例えば北）を基準とした方位角θ（θ＝０°〜３６０°）を求める。
【００５１】
以上の方位算出部２００の演算処理により、撮像方位を正確に検出することができる。なお、ユーザが縦撮りするために、撮像装置１０をロール方向に９０°回転させた場合でも（後述の図４参照）、方位算出部２００は、撮像方向の水平ベクトルを算出しているので、正しい撮像方位を算出可能である。
【００５２】
［２．２．コンパス画像の表示処理］
次に、図２とともに、図３〜図８を参照して、方位変換部２０２、コンパス画像生成部２０４及び表示部１３０により、撮像方位から変換された表示用の方位を表すコンパス画像を表示する処理について説明する。
【００５３】
まず、図２に示す方位変換部２０２は、必要に応じて、上記方位算出部２００により算出された撮像方位を、表示用の方位に変換する。ここで、表示用の方位とは、撮像方位を表す情報（例えば図６のコンパス画像３０２）を表示部１３０に表示するための方位である。表示部１３０に表示されるコンパス画像３０２は、該表示用の方位を所定の基準方向（撮像装置１０の天面１０１の方向）に向けて指し示す。撮像装置１０がロール方向に回転している場合は、該表示用の方位は、実際の撮像方位とは異なるものとなる。
【００５４】
この表示用の方位の必要性について説明する。北を向いているユーザが、図３に示すように撮像装置１０を横方向に持って被写体を撮像（即ち、横撮り）している状態から、図４に示すようにロール軸１０５を中心として撮像装置１０をロール方向に回転させ、図５に示すように、撮像装置１０を縦方向に持ち替えて（ロール角α＝９０°）、同一の被写体を撮像（即ち、縦撮り）する場合を考える。この場合、撮像装置１０はヨー方向には回転しておらず、ユーザの向いている方位（北）に変化は無いので、撮像装置１０の撮像方位（北）も不変である。従って、図６〜図８に示すように、撮像装置１０の表示部１３０に表示される撮像画像３００（スルー画像）上に、撮像方位を表すコンパス画像３０２を重畳表示するときには、撮像装置１０の姿勢の変化（ロール方向の回転）にかかわらず、表示画面上のコンパス画像３０２が地面に対して常に一定方向を向いていることが、ユーザの視点から見て自然である。このようにコンパス画像３０２を表示するためには、上記方位算出部２００により算出された撮像方位（北）を、ロール方向の回転角（ロール角α＝９０°）分だけ補正して、表示用の方位（東）を求めればよい。
【００５５】
そこで、方位変換部２０２は、加速度センサ１７２の検出値に基づいて、撮像装置１０のロール方向の回転角（ロール角α）を算出し、該ロール角αに基づいて、上記方位変換部２０２により算出された撮像方位を補正して、表示用の方位を求める。
【００５６】
具体的には、まず、方位変換部２０２は、加速度センサ１７２が検出した加速度情報から、上述したように、地面に対する撮像装置１０の姿勢（ロール角α、ピッチ角β、ヨー角γ）を算出する。次いで、方位変換部２０２は、方位算出部２００は、予め保存されている表示部設置情報２２６と、上記で算出した撮像装置１０の姿勢の情報とから、撮像装置１０に伴ってロール方向に回転した表示部１３０の回転角（ロール角α）を算出する。ここで、表示部設置情報２２６は、撮像装置１０に設置されている表示部１３０の設置姿勢（撮像装置１０に対する表示部１３０の向き）を表す情報である。当該表示部１３０の設置姿勢は、撮像装置１０の製造時に既知である。方位変換部２０２は、この表示部１３０の設置姿勢（デフォルトの回転角）に、地面に対する撮像装置１０の姿勢（ロール角α、ピッチ角β、ヨー角γ）を加算することで、表示部１３０のロール角αを求める。
【００５７】
さらに、方位変換部２０２は、上記方位変換部２０２により算出された撮像方位を、表示部１３０のロール角αの分だけ補正して、表示用の方位を求める。例えば、撮像方位が、基準方位を基準とする方位角θ（θ＝０°〜３６０°）で表される場合、方位変換部２０２は、撮像方位の方位角θから上記表示部１３０のロール角αを減算（又は加算）して、表示用の方位の方位角φを算出する（φ＝θ±α）。なお、撮像装置１０がロール方向に回転していない場合には、α＝０°であるので、表示用の方位の方位角φは、撮像方位の方位角θと等しくなる（φ＝θ）。
【００５８】
そして、方位変換部２０２は、上記のようにして算出した表示用の方位を表す情報（例えば方位角φの値）を、コンパス画像生成部２０４に渡す。
【００５９】
コンパス画像生成部２０４は、方位変換部２０２により算出された表示用の方位を表す情報に基づいて、表示部１３０に表示するためのコンパス画像３０２を生成する。例えば、φ＝θ−αとして方位角φを求めた場合には、コンパス画像生成部２０４は、コンパスの針が上記表示用の方位（方位角φ）に向けて基準方位（例えば北）を指すようなコンパス画像３０２を生成する。一方、φ＝θ＋αとして方位角φを求めた場合には、コンパス画像生成部２０４は、上記表示用の方位（方位角φ）が表示画面の上向きとなるようなコンパス画像３０２を生成する。そして、表示部１３０は、制御部１５０からの指示に基づいて、撮像部１１０から入力される撮像画像３００上に、上記コンパス画像３０２を重畳して表示する。
【００６０】
以上の表示処理により、図６〜図８に示すように、撮像部１１０により撮像中の撮像画像３００上に、方位変換部２０２により補正された表示用の方位（方位角φ）を示すコンパス画像３０２が表示される。これにより、ユーザは、撮像画像３００の撮像方位を視認しながら、撮像することができる。また、図６、図７、図８はそれぞれ、撮像装置１０の表示部１３０のロール角αが０°、３０°、９０°である場合の表示状態を示している。いずれの場合も、撮像方位を示すコンパス画像３０２は、ユーザの視点から見て、方位算出部２００により算出された撮像方位（方位角θ）である北が、地面に対して上向きとなるように表示される。
【００６１】
つまり、図３〜図５に示したようにユーザが撮像装置１０をロール方向に９０°回転させた場合でも、図６〜図８に示すようにコンパス画像３０２は、表示部１３０に対しては相対的に回転するが、地面に対しては回転せず、コンパス画像３０２の針は常に一定方向を指す。このように、コンパス画像３０２は、表示部１３０のロール方向の回転に追従して回転しないので、撮像方位が変化しない限りは、ユーザの視点から見て、表示画面上のコンパス画像３０２が指し示す方位は変化しない。よって、ユーザが一定の方位の被写体を撮像しているときに、撮像装置１０の姿勢を変化させた場合（例えば、横取りから縦撮りに変えた場合）であっても、ユーザの視点から見て、自然な表示態様でコンパス画像３０２を表示できる。
【００６２】
［２．３．撮像方位の記録処理］
次に、再び図２を参照して、付加情報管理部２０６及び記録部２０８により、撮像画像とともに、上記のように算出した撮像方位を撮像画像の付加情報として記録する処理について説明する。なお、以下では主として、ユーザが撮像装置１０のシャッタボタン１６１を押下して（レリーズ操作）、静止画の撮像画像（写真）を記録媒体１４０に記録する処理について説明する。
【００６３】
図２に示すように、レリーズ操作に応じて撮像画像を記録媒体１４０に記録するとき、方位算出部２００は、上記のように算出した撮像方位（方位角θ）を表す撮像方位情報を、付加情報管理部２０６に出力する。
【００６４】
付加情報管理部２０６は、記録媒体１４０に記録される撮像画像の付加情報（例えばＥｘｉｆ情報）を管理する機能を有する。この付加情報は、一般的に、撮像画像に関する各種情報（例えば、画像サイズ、ファイル形式、圧縮符号化形式など）や、撮像日時情報、記録画像のサムネイル画像などを含む。付加情報管理部２０６は、これら一般的な情報に加えて、方位算出部２００により得られた撮像方位情報と、撮像装置１０の姿勢情報を付加情報に含める。後者の撮像装置１０の姿勢情報は、例えば、撮像画像を記録するとき（レリーズ時）の撮像装置１０の姿勢（例えば、横撮り、右回転撮り、左回転撮りなど）を表す情報である。該姿勢情報は、上記のように方位算出部２００によって加速度センサ１７２の検出値から算出される。付加情報管理部２０６は、これらの撮像画像の付加情報を記録部２０８に出力する。
【００６５】
記録部２０８は、上記レリーズ操作に応じて、付加情報管理部２０６から得た撮像画像の付加情報と、撮像部１１０から得た撮像画像を、圧縮・符号化し、相互に関連づけて記録媒体１４０に記録する。これにより、上記撮像方位情報（例えば、方位角θ）と、撮像装置１０の姿勢情報（例えば、横撮り、右回転撮り、左回転撮りなど）を、撮像画像の付加情報として、撮像画像に関連づけて記録できる。これらの情報は、撮像画像の再生・表示時に有用である。
【００６６】
上記のように、記録部２０８は、上記方位変換部２０２により補正された表示用の方位（方位角φ）ではなく、方位算出部２００により算出された撮像方位（方位角θ）を、撮像画像の付加情報として記録する。これにより、撮像時の撮像装置１０の姿勢（ロール角α）にかかわらず、当該撮像装置１０により撮像画像を撮像したときの正しい撮像方位（方位角θ）を記録することができる。
【００６７】
なお、上記では静止画の記録処理について説明したが、動画の記録処理においても、動画の記録中に定期的若しくは随時に、上記撮像方位情報及び姿勢情報を動画の付加情報として動画に関連づけて記録媒体１４０に記録すればよい。
【００６８】
［２．４．撮像方位の再生処理］
次に、図９を参照して、図２に示す再生部２１０及び表示部１３０により、記録媒体１４０に記録された撮像画像と付加情報を再生して、表示部１３０に表示する処理について説明する。図９は、本実施形態に係る縦撮り時の撮像画像３００（図８参照。）を再生した再生画像３０４を示す説明図である。
【００６９】
ユーザによる再生操作に応じて、再生部２１０は、記録媒体１４０に記録されている撮像画像３００及びその付加情報を読み出して、再生（伸張・復号化）する。そして、表示部１３０は、図９に示すように、再生部２１０により再生された再生画像３０４と、該再生画像３０４の撮像方位を示すコンパス画像３０６を表示する。
【００７０】
かかる再生及び表示処理では、再生部２１０は、上記付加情報に含まれる撮像装置１０の姿勢情報に基づき、必要に応じて再生画像３０４を回転させて、表示部１３０に表示する。例えば、再生部２１０は、記録媒体１４０に記録された撮像画像３００を再生するとき、該撮像画像３００に付加されている姿勢情報に基づいて、該撮像画像３００が縦撮りされた画像であるか否かと、縦撮り時の回転方向を判別する。縦撮りされた画像である場合には、再生部２１０は、天地方向が正しくなるように再生画像３０４を右回り又は左回りに９０°回転させて、表示部１３０に表示させる。
【００７１】
さらに、再生部２１０は、該撮像画像３００に付加されている撮像方位情報に基づいて、該撮像画像３００を撮像したときの撮像方位を判別し、該撮像画像３００の撮像方位を表す情報（例えば方位角θ）を、コンパス画像生成部２０４に渡す。すると、コンパス画像生成部２０４は、当該撮像方位を表す情報に基づいて、表示部１３０に表示するためのコンパス画像３０６を生成し、表示部１３０に出力する。この結果、図９に示すように、表示部１３０は、再生部２１０から得た再生画像３０４とともに、コンパス画像生成部２０４から得たコンパス画像３０６を表示する。なお、図９の再生画像３０４は、図８に示した状態で縦撮りしたときの撮像画像３００を再生した画像である。
【００７２】
このとき、再生画像３０４とともに表示されるコンパス画像３０６は、撮像画像３００を撮像したときの実際の撮像方位（方位角θ＝０°）を指し示す。この理由は、上記撮像方位情報の記録時に、上記方位変換部２０２により補正された表示用の方位（方位角φ＝−９０°）ではなく、方位算出部２００により算出された撮像方位（方位角θ＝０°）を記録しているからである。もし、表示用の方位（方位角φ＝−９０°）を記録した場合には、図９の再生画面では、コンパス画像３０６は、西（方位角φ＝−９０°に相当する。）を指し示すことになる。しかし、本実施形態では、撮像時に方位算出部２００が算出した撮像方位（方位角θ＝０°）を記録しているので、再生画像３０４とともに表示されるコンパス画像３０６は、該再生画像３０４の正しい撮像方位（方位角θ＝０°）を指し示すことができる。
【００７３】
さらに、再生画像３０４の表示時には、撮像時の撮像装置１０の姿勢（縦撮り又は横撮り）に応じて、再生画像３０４の天地方向が上下方向となるように再生画像３０４を自動的に回転して表示する。図９の例では、縦撮りされた再生画像３０４が、表示部１３０の横長の表示画面上に９０°回転して表示されている。従って、例えば縦撮りされた撮像画像３００を再生する場合でも、表示部１３０を回転することなく、撮像内容を表す再生画像３０４と、その撮像方位を示すコンパス画像３０６を適切な方向で表示することができる（図９参照。）。
【００７４】
以上説明したように、本実施形態に係る撮像装置１０は、方位算出部２００により算出された撮像方位（方位角θ）と、上記方位変換部２０２により補正された表示用の方位（方位角φ）とを、用途に応じて適切に使い分けている。例えば、撮像時には、撮像方位（方位角θ）を表示用の方位（方位角φ）に変換することで、撮像装置１０の姿勢がロール方向に変化したときでも、ユーザの視点から見て自然な態様で、撮像画像３００の撮像方位を示すコンパス画像３０２を表示できる。一方、撮像画像３００の記録時には、撮像画像３００の付加情報として、補正前の正しい撮像方位（方位角θ）を記録する。このため、撮像画像３００の再生時には、その再生画像３０４とともに、撮像画像３００の撮像方位（方位角θ）を示すコンパス画像３０６を正しい方向で表示することが可能となる。また、パーソナルコンピュータ（ＰＣ）に撮像画像３００をコピーし、ＰＣ上のアプリケーションで方位を確認する場合においても、上記付加情報として撮像方位（方位角θ）が記録されているため、上記アプリケーションは、撮像画像３００の撮像方位を認識することが可能である。
【００７５】
［３．第２の実施形態］
次に、第２の実施形態に係る撮像装置１０と、該撮像装置１０による方位情報処理方法について説明する。第２の実施形態は、上記第１の実施形態と比べて、撮像方向が鉛直方向であるときの処理が相違し、その他の機能構成は、第１の実施形態と実質的に同一であるので、その詳細説明は省略する。
【００７６】
撮像者は、自分の真上にある被写体や、真下にある被写体を撮像する場合、撮像装置１０を真上、真下に向けるので、撮像方向（撮像光学系１１１の光軸方向）は、略鉛直方向（略鉛直上方又は略鉛直下方）となる。この場合、撮像方位として、第１の実施形態のように撮像方向の方位を算出してしまうと、撮像方向が僅かに変化した場合でも、撮像方位は過敏に反応して大きく振れてしまうという問題がある。例えば、撮像装置１０を真下に向けて撮像するとき、撮像方向は鉛直下方になるが、この状態で撮像装置１０をピッチ方向又はヨー方向に僅かに傾けただけで、撮像方位は東西南北に振れてしまい、表示画面上でコンパス画像３０２がめまぐるしく変化してしまう。
【００７７】
そこで、第２の実施形態では、撮像方向が略鉛直方向である場合には、撮像方向に対して垂直な方向（例えば、撮像装置１０の天面１０１の方向、又は底面１０２の方向）の方位を求め、当該垂直な方向の方位を表示及び記録する。これにより、撮像方向が鉛直方向の近傍で変化したとしても、表示及び記録される方位が、大きく振れずに安定するので、撮像者に対して撮像方位を適切に提示できるようになる。
【００７８】
なお、本明細書における「略鉛直方向」とは、実質的な鉛直方向であり、厳密な鉛直方向（水平面に対して垂直な方向）のみならず、鉛直方向に対して所定の角度δ（例えば、０＜δ≦１０°）を有する方向も含む。撮像者が、撮像方向が真上又は真下であると認識する場合には、該撮像方向は、厳密な鉛直方向でなくても、「略鉛直方向」であると言える。同様に、「略鉛直下方」は、厳密な鉛直下方のみならず、鉛直下方に対して所定の角度δを有する方向も含み、「略鉛直上方」は、厳密な鉛直上方のみならず、鉛直上方に対して所定の角度δを有する方向も含む。
【００７９】
［３．１．撮像装置の機能構成］
次に、図１０を参照して、第２の実施形態に係る撮像装置１０の要部の機能構成と、その処理について説明する。図１０は、第２の実施形態に係る撮像装置１０の機能構成を示すブロック図である。
【００８０】
図１０に示すように、第２の実施形態に係る撮像装置１０は、上記第１の実施形態に係る機能に加えて、次の機能を有する。方位算出部２００は、加速度センサ１７２から得た加速度情報に基づいて、撮像装置１０のピッチ方向の回転角（ピッチ角β）を算出し、該ピッチ角βに基づき、撮像方向が略鉛直方向（略鉛直上方又は略鉛直下方）であるか否かを検出する。
【００８１】
例えば、算出したピッチ角βが、鉛直上方を表すピッチ角度（９０°）若しくはその近傍の角度である場合〔（９０°−δ）＜β＜（９０°＋δ）〕、方位算出部２００は、撮像方向が略鉛直上方であると判定する。また、算出したピッチ角βが、鉛直下方を表すピッチ角度（−９０°）若しくはその近傍の角度である場合〔（−９０°−δ）＜β＜（−９０°＋δ）〕、方位算出部２００は、撮像方向が略鉛直下方であると判定する。このように、加速度センサ１７２の検出値から撮像装置１０のピッチ角βを求め、該ピッチ角βを用いて、撮像方向が略鉛直上方又は下方であるか否かを判定できる。
【００８２】
かかる判定の結果、撮像方向が略鉛直方向でない場合には、上述した第１の実施形態と同様に、方位算出部２００は、撮像方向の方位（撮像方位）を算出し、方位変換部２０２は、該撮像方位を表示用の方位に変換する。その後のコンパス画像３０２の表示処理や、撮像方位情報の記録及び再生処理も、第１の実施形態と同様である。
【００８３】
一方、撮像方向が略鉛直方向である場合には、方位算出部２００は、上記撮像方位の代わりに、撮像方向に対して垂直な方向の方位を算出する。ここで、撮像方向に対して垂直な方向は、例えば、撮像装置１０の天面方向、撮像装置１０の底面方向などである。ここで、撮像装置１０の天面方向は、図１１に示すように、撮像装置１０の天面１０１が正対する方向であり、撮像装置１０の底面方向は、図１２に示すように、撮像装置１０の底面１０２が正対する方向である。方位算出部２００は、撮像方向が略鉛直下方である場合には、撮像装置１０の天面方向の方位（以下、天面方位）を算出し、撮像方向が略鉛直上方である場合には、底面方向の方位（以下、底面方位）を算出する。なお、撮像方向に対して垂直な方向として、上記天面方向や底面方向以外にも、撮像装置１０の左右いずれかの側面が正対する方向などを用いてもよい。
【００８４】
このように、撮像方向が略鉛直方向である場合には、方位算出部２００は、上記第１の実施形態に係る撮像方位（方位角θ）の代わりに、天面方位又は底面方位（方位角ψ）を算出する。この天面方位又は底面方位は、撮像方向に対して垂直な方向の方位である。従って、真上又は真下を向いている撮像装置１０が、ロール方向又はヨー方向に僅かに回転して、その撮像方向が多少変化したときに、撮像方位（方位角θ）は大きく振れるが、天面方位又は底面方位（方位角ψ）は大きく振れることがない。従って、撮像装置１０の略鉛直上方又は略鉛直下方にある被写体を撮像する場合に、当該天面方位又は底面方位（方位角ψ）を算出すれば、安定した方位を得ることができる。
【００８５】
次いで、方位算出部２００は、算出した天面方位又は底面方位を表す情報を、方位変換部２０２を介すことなく、直接、コンパス画像生成部２０４に出力する。すると、図１３に示すように、コンパス画像生成部２０４は、方位算出部２００により算出された天面方位又は底面方位（方位角ψ）を表すコンパス画像３１２を生成し、表示部１３０は、該コンパス画像３１２を撮像画像３１０上に重畳表示する。このように、第２の実施形態にかに係る表示部１３０は、第１の実施形態のような表示用の方位（方位角φ）を表すコンパス画像３０２の代わりに、天面方位又は底面方位（方位角ψ）を表すコンパス画像３１２を、撮像中の撮像画像３１０とともに表示する。
【００８６】
また、撮像画像３１０を記録するときにも、記録部２０８は、撮像画像３１０の付加情報として、上記第１の実施形態に係る撮像方位（方位角θ）を表す情報の代わりに、天面方位又は底面方位（方位角ψ）を表す方位情報を、撮像画像３１０に関連づけて記録媒体１４０に記録する。そして、記録媒体１４０に記録されている撮像画像３１０を再生及び表示するときには、まず、再生部２１０は、記録媒体１４０に記録されている撮像画像３１０を再生し、コンパス画像生成部２０４は、記録媒体１４０に記録されている方位情報に基づき、天面方位又は底面方位（方位角ψ）を表すコンパス画像３１６を生成する。この結果、図１４に示すように、表示部１３０は、天面方位又は底面方位（方位角ψ）を表すコンパス画像３１６を、再生画像３１４とともに表示する。
【００８７】
なお、上記第１の実施形態に係る撮像装置１０は、再生時に、撮像画像３００の付加情報として記録された姿勢情報に基づいて、撮像時の撮像装置１０のロール方向の姿勢（横撮り、右回転撮り、左回転撮り等）を判別し、該ロール方向の姿勢に応じて再生画像３０４を自動的に９０°回転して表示させていた（図９参照。）。撮像装置１０を略水平方向に向けて撮像された撮像画像３００は、表示基準となる方向性（例えば、天地方向が上下となるように表示する。）を有しているので、図９のような回転表示処理によりユーザの利便性が高まる。
【００８８】
これに対し、第２の実施形態に係る撮像装置１０は、撮像時の方位情報として、撮像方向の方位情報が記録された場合には、再生時に、第１の実施形態と同様、姿勢判別及び回転表示処理を行う。しかし、撮像方向が真下（又は真上）であるため、撮像時の方位情報として、天面方位（又は底面方位）を表す情報が記録された場合には、撮像装置１０は、第１の実施形態のような姿勢判別及び回転表示処理を行わない。撮像装置１０を略鉛直方向に向けて撮像された撮像画像３１０は、表示基準となる方向性を有していない。このため、上記回転表示処理等は、ユーザにとって不要であるので、省略する方が好ましい。
【００８９】
［３．２．撮像方位の算出処理］
次に、図１１を参照して、撮像装置１０を真下に向けて撮像したときに、上記天面方位を算出する処理について詳述する。
【００９０】
図１１に示すように、ユーザが、足下の被写体を撮像するために、撮像装置１０を真下に向けた場合には、撮像方向（撮像光学系１１１の光軸方向）が略鉛直下方となる。方位算出部２００は、撮像方向（撮像光学系１１１の光軸方向）が略鉛直下方であることを検出できる。
【００９１】
具体的には、まず、方位算出部２００は、加速度センサ１７２により検出された加速度情報に基づいて、地面に対する撮像装置１０の姿勢（ロール角α、ピッチ角β、ヨー角γ）を算出する。次いで、方位算出部２００は、算出したピッチ角βが、上限値（−９０°−δ）より大きく、下限値（−９０°＋δ）未満である場合に、撮像方向が略鉛直下方であると判定する。
【００９２】
撮像方向が略鉛直下方であることを検出した場合、方位算出部２００は、地磁気センサ１７０の地磁気情報と、加速度センサ１７２の加速度情報とに基づいて、撮像装置１０の天面方位を算出する。
【００９３】
具体的には、方位算出部２００は、方位算出部２００は、上述した地磁気センサ設置情報２２２と、上記で算出した撮像装置１０の姿勢の情報とから、地磁気センサ１７０の姿勢を算出する。さらに、方位算出部２００は、地磁気センサ１７０が測位した地磁気情報と、上記で算出した地磁気センサ１７０の姿勢の情報とから、地磁気の水平ベクトルを抽出し、基準方位（例えば北方向）を算出する。次いで、方位算出部２００は、上述した光学系設置情報２２４と、先に算出した撮像装置１０の姿勢の情報とから、撮像方向のベクトルを算出する。さらに、方位算出部２００は、当該撮像方向のベクトルに対してピッチ方向に上向き９０°のベクトル（即ち、天面方向のベクトル）を求める。その後、方位算出部２００は、上記で算出した基準方位のベクトルと、天面方向のベクトルとの差分から、天面方向の水平方位（即ち、天面方位）を求める。例えば、方位算出部２００は、この天面方位として、基準方位（例えば北）を基準とした方位角ψ（ψ＝０°〜３６０°）を求める。
【００９４】
［３．３．コンパス画像の表示処理］
次に、図１３〜図１６を参照して、撮像装置１０を真下に向けて撮像したときに、天面方位を表すコンパス画像３１２、３１６を表示する処理について詳述する。
【００９５】
上述したように、方位算出部２００は天面方位（方位角ψ）を算出し、該天面方位を表す情報を、方位変換部２０２を介さずにコンパス画像生成部２０４に出力する。すると、コンパス画像生成部２０４は、該天面方位（方位角ψ）を表すコンパス画像３１２を生成し、表示部１３０は該コンパス画像３１２を撮像画像３１０上に重畳表示する。
【００９６】
ここで、図１３及び図１５を参照して、撮像時のコンパス画像３１２の表示態様について説明する。例えば、図１３の例では、真下に向けられた撮像装置１０の天面１０１が北を向いているので、天面方位は北であり（ψ＝０°）、コンパス画像３１２は北を指す。また、図１５の例では、真下に向けられた撮像装置１０の天面１０１が東北を向いているので、天面方位は東であり（ψ＝９０°）、コンパス画像３１２は東を指す。
【００９７】
この図１３と図１５の関係から分かるように、真下を向いている撮像装置１０（図１１参照。）を、地面に対して水平に回転（ロール軸１０５を中心として回転）させた分だけ、表示画面上でコンパス画像３１２が示す方位が変わる（北→東）従って、図１３及び図１５に示すように、ユーザが真下に向けて撮像装置１０を持ちながら右を向いた場合には、方位磁石を地面に置いて右に回転させたときと同様、コンパスの針の方向が変わらないように、コンパス画像３１２を表示することができる。一般に、ユーザが撮像装置１０を横持して真下に向けたときには、ユーザの向いている方向と撮像装置１０の天面方向とが一致する。よって、上記図１３及び図１５のようにコンパス画像３１２を表示することで、ユーザの視点からみて、自然な表示態様で方位を表示できる。
【００９８】
次に、図１４及び図１６を参照して、画像再生時のコンパス画像３１６の表示態様について説明する。図１４は、図１３の状態で記録された撮像画像３１０を再生したときの表示画面であり、図１６は、図１５の状態で記録された撮像画像３１０を再生したときの表示画面である。
【００９９】
第２の実施形態では、第１の実施形態と異なり、表示用の方位と記録用の方位として、同一の方位（天面方位）を用いており、該天面方位の情報が撮像画像３１０の付加情報として記録される。従って、再生時と撮影時とでは、同様の撮像画像及びコンパス画像を表示できる。
【０１００】
例えば、図１４に示す再生画像３１４及びコンパス画像３１６は、図１３に示した撮像時の撮像画像３１０及びコンパス画像３１２と同様に表示部１３０に表示され、再生時のコンパス画像３１６は北を示している。また、図１６に示す再生画像３１４及びコンパス画像３１６も、図１５に示した撮像時の撮像画像３１０及びコンパス画像３１２と同様に表示部１３０に表示され、再生時のコンパス画像３１６は東を示している。ただし、図１５と図１６の関係から分かるように、撮像装置１０を略鉛直方向に向けて撮像された撮像画像３１０を再生するときには、図９に示したような再生画像３０４の回転処理は行われない。
【０１０１】
なお、撮像装置１０を真上に向けて撮像した場合には、方位算出部２００は撮像装置１０の底面方位を算出し、表示部１３０は、撮像時及び再生時に当該底面方位を表すコンパス画像を表示する。かかる算出及び表示処理は、上記の撮像装置１０を真上に向けて撮像した場合と同様であるので、詳細説明は省略する。
【０１０２】
［３．４．方位情報処理方法］
次に、図１７を参照して、第２の実施形態に係る撮像装置１０による方位情報処理方法について説明する。図１７は、第２の実施形態に係る撮像装置１０による方位情報処理方法を示すフローチャートである。
【０１０３】
図１７に示すように、まず、撮像装置１０は、地磁気センサ１７０により、撮像装置１０が存在する場所の例えば３軸方向の地磁気を検出する（Ｓ１００）。さらに、撮像装置１０は、加速度センサ１７２により、撮像装置１０に作用する例えば３軸方向の重力加速度を検出する（Ｓ１０２）。次いで、撮像装置１０は、加速度センサ１７２により検出された加速度情報に基づいて、撮像装置１０の姿勢（ロール角α、ピッチ角β、ヨー角γ）を検出する（Ｓ１０４）。
【０１０４】
次いで、撮像装置１０は、Ｓ１０４で求めた撮像装置１０の姿勢情報に基づいて、撮像部１１０による撮像方向を検出し、該撮像方向が、略鉛直下方、略鉛直上方、又は、該略鉛直下方及び略鉛直上方以外の方向のうちいずれであるかを判別する（Ｓ１０６）。詳細には、撮像装置１０は、撮像装置１０の姿勢情報と、光学系設置情報２２４とから、撮像光学系１１１の光軸方向（即ち、撮像方向）を算出する。次いで、撮像装置１０は、上記姿勢情報のピッチ角βに基づいて、該撮像方向が略鉛直方向であるか否かを判別する。さらに、該撮像方向が略鉛直方向である場合、撮像装置１０は、ピッチ角βに基づいて、該撮像方向が略鉛直下方又は略鉛直上方のいずれであるかを判別する。ピッチ角βが、予め設定された第１の角度範囲内であれば（例えば、９０°−δ＜β＜９０°＋δ）、撮像方向が略鉛直上方であると判別される。また、ピッチ角βが、予め設定された第２の角度範囲内であれば（例えば、−９０°−δ＜β＜−９０°＋δ）、撮像方向が略鉛直下方であると判別される。また、ピッチ角βが、上記第１及び第２の角度範囲外であれば、撮像方向が略鉛直方向ではないと判別される。
【０１０５】
撮像方向が略鉛直下方である場合、撮像装置１０は、Ｓ１００で得られた地磁気情報と、Ｓ１０４で得られた撮像装置１０の姿勢情報とに基づいて、撮像装置１０の天面方向の方位（即ち、天面方位）を算出する（Ｓ１０８）。そして、撮像装置１０は、当該天面方位（方位角ψ）を、方位情報の記録及び表示に利用する（Ｓ１１２）。例えば、撮像装置１０は、天面方位を表すコンパス画像３１２を、撮像画像３１０（スルー画像）とともに表示部１３０に表示する（図１３参照。）。また、撮像装置１０は、撮像画像３１０の記録時に、天面方位を表す方位情報を、撮像画像３１０の付加情報として記録する。さらに、撮像装置１０は、撮像画像３１０の再生時に、当該方位情報に基づき、天面方位を表すコンパス画像３１６を、再生画像３１４とともに表示部１３０に表示する（図１４参照。）。
【０１０６】
一方、撮像方向が略鉛直上方である場合、撮像装置１０は、Ｓ１００で得られた地磁気情報と、Ｓ１０４で得られた撮像装置１０の姿勢情報とに基づいて、撮像装置１０の底面方向の方位（即ち、底面方位）を算出する（Ｓ１１０）。そして、撮像装置１０は、当該底面方位を、方位情報の記録及び表示に利用する（Ｓ１１２）。この利用の具体例は、上記天面方位の場合と同様であるので、詳細説明は省略する。
【０１０７】
また、撮像方向が略鉛直方向でない場合、撮像装置１０は、Ｓ１００で得られた地磁気情報と、Ｓ１０４で得られた撮像装置１０の姿勢情報とに基づいて、撮像方向の方位（即ち、撮像方位）を算出する（Ｓ１１４）。当該撮像方位（方位角θ）は、方位情報の記録に利用される（Ｓ１２２）。例えば、撮像装置１０は、撮像画像３００の記録時に、撮像方位を表す方位情報を、撮像画像３００の付加情報として記録する。
【０１０８】
次いで、撮像装置１０は、上記Ｓ１０４で求めた撮像装置１０の姿勢情報を用いて、表示部１３０のロール方向の回転角（ロール角α）を求める（Ｓ１１６）。さらに、撮像装置１０は、Ｓ１１６で得たロール角αに基づいて、Ｓ１１４で算出した撮像方位（方位角θ）を、表示用の方位（方位角φ）に変換する（Ｓ１１８）。例えば、撮像方位の方位角θに対いてロール角αを減算又加算することで、表示用の方位の方位角φが算出される（φ＝θ±α）。
【０１０９】
当該表示用の方位（方位角φ）は、方位情報の表示に利用される（Ｓ１２０）。例えば、撮像装置１０は、表示用の方位（方位角φ）を表すコンパス画像３０２を、撮像画像３００（スルー画像）とともに表示部１３０に表示する（図６〜図８参照。）。
【０１１０】
以上のように、第２の実施形態に係る方位情報処理方法では、撮像装置１０の姿勢に応じて、表示及び記録する方位を使い分ける。例えば、撮像方向が略鉛直方向である場合には、天面方位又は底面方位（方位角ψ）を求め、該天面方位又は底面方位（方位角ψ）を方位情報の表示及び記録の双方に利用する。一方、撮像方向が略鉛直方向でない場合には、撮像方位（方位角θ）を求めるとともに、撮像方位（方位角θ）をロール角α分だけ補正して、表示用の方位（方位角φ）も求める。そして、撮像方位（方位角θ）を方位情報の記録に利用する一方、表示用の方位（方位角φ）を方位情報の表示に利用する。
【０１１１】
［４．まとめ］
以上、本発明の第１及び第２の実施形態に係る撮像装置１０と方位情報処理方法について説明した。上記実施形態によれば、撮像装置１０は、実際の撮像方向を表す撮像方位（方位角θ）を算出するとともに、撮像装置１０の姿勢変化（表示部１３０のロール方向の回転角α）に応じて撮像方位（方位角θ）を補正して、表示用の方位（方位角φ）も算出する。そして、撮像装置１０は、撮像画像とともに記録するための方位として、撮像方位（方位角θ）を使用する一方、表示部１３０に表示されてユーザに視認されるコンパス画像３０２の方位として、方位（方位角φ）を使用する。
【０１１２】
これにより、撮影時に、ユーザが撮像装置１０を用いて縦撮りしても、ユーザ視点からみて、正しい方位のコンパス画像３０２を表示できる。さらに、このコンパス画像３０２は、表示部１３０のロール方向の回転に追従して回転せず、ユーザ視点からみて、常に一定の方向を指す。従って、当該ロール方向の回転にかかわらず、ユーザの視点から見て、自然な表示態様でコンパス画像３０２を表示できる。しかも、撮像画像３００の記録時には、実際の撮像方向を表す正しい撮像方位を、撮像画像３００の付加情報として記録できる。従って、画像再生時に、再生画像３０４とともに、その正しい撮像方位をユーザに提示できる。
【０１１３】
また、第２の実施形態によれば、撮像装置１０の撮像方向に応じて、撮像方位、天面方位及び底面方位を使い分け、撮影方向が略鉛直方向でない場合にのみ、上記の撮像方位と表示用の方位を使用する。一方、撮像方向が略鉛直下方又は略鉛直情報である場合は、天面方位又は底面方位を使用し、表示部１３０がロール方向に回転しても、該天面方位又は底面方位をロール角αに応じて変換しない。これにより、ユーザが方位磁石を見ているような自然な表示態様で、天面方位又は底面方位を表すコンパス画像３１２を表示することが可能になり、ユーザに対して直感的に把握しやすい方位情報を提示できる。
【０１１４】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【０１１５】
１０ 撮像装置
１００ ハウジング
１０１ 天面
１０２ 底面
１０５ ロール軸
１０６ ピッチ軸
１０７ ヨー軸
１１０ 撮像部
１１１ 撮像光学系
１１２ 撮像素子
１２０ 信号処理部
１３０ 表示部
１４０ 記録媒体
１５０ 制御部
１５１ ＣＰＵ
１６０ 操作部
１７０ 地磁気センサ
１７２ 加速度センサ
２００ 方位算出部
２０２ 方位変換部
２０４ コンパス画像生成部
２０６ 付加情報管理部
２０８ 記録部
２１０ 再生部
３００、３１０ 撮像画像
３０２、３０６、３１２、３１６ コンパス画像
３０４、３１４ 再生画像
α ロール角
β ピッチ角
γ ヨー角
θ 撮像方位の方位角
φ 表示用の方位の方位角
ψ 天面方位又は底面方位の方位角
【技術分野】
【０００１】
本発明は、撮像装置、方位情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
近年、デジタルカメラなどの撮像装置において、電子コンパスを搭載した機種が登場している。電子コンパスは、地磁気センサにより検出される地磁気に基づいて、機器が正対する方位を電子的に算出する機能を有する。該電子コンパスをデジタルカメラに搭載することによって、当該デジタルカメラが正対する方位（即ち、撮像方向の方位）を示す２次元コンパス画像を表示部に表示して、撮像者に当該方位を認知させることができる。
【０００３】
ここで、デジタルカメラなどの撮像装置で用いられる方位情報は、上述したコンパス画像を表示する目的とは別に、撮像画像の付加情報として、撮像方向の方位（以下、撮像方位）を記録する目的でも用いられる。例えば、特許文献１に記載のデジタルカメラは、電子コンパスで得られる撮像方位情報を、表示部に表示される撮像画像上に重畳表示するとともに、撮像画像の付加情報として該撮像方位情報を該撮像画像に関連付けて記録する。また、該特許文献１記載のデジタルカメラは、本体部に対して撮像部を回動可能な機構を具備しており、本体部に対する撮像部の回動状態に応じて、電子コンパスで得られる撮像方位情報を補正して記録することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３７８１０１６号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、上記特許文献１に記載のデジタルカメラは、本体部に対する撮像部の回動状態に応じて、電子コンパスで得られる方位を補正するが、デジタルカメラの姿勢の変化（例えば、ロール方向の回転）に応じて、表示部に表示するための方位（以下、表示用の方位）を補正していなかった。しかし、カメラの姿勢の変化に応じて表示用の方位を補正しないと、以下のような問題が生じる。
【０００６】
一般的なデジタルカメラは、表示画面の背面にレンズが設置されているため、撮像方向（即ち、レンズの光軸方向）と、表示画面の背面方向（即ち、カメラの正対方向）とが一致する。ユーザが、かかるデジタルカメラを、表示画面が地面に対して垂直（９０°）に起立するようにして持ち、撮像方向を水平方向にして撮像する場合を考える。この場合、デジタルカメラの電子コンパスにより、撮像方向の水平方位が算出され、該方位を上向きにしたコンパス画像が表示部に表示される。
【０００７】
この状態で、ユーザが、地面と表示画面との角度を垂直に保ったまま、デジタルカメラをロール方向に９０°回転させて撮像する場合（即ち、縦撮りする場合）でも、ユーザの向いている方位（ヨー方向）に変化は無く、撮像方位も不変である。従って、カメラの姿勢の変化（ロール方向の回転）にかかわらず、撮像方位を示すコンパス画像が地面に対して常に一定方向を向くように、該コンパス画像を表示することが、ユーザの視点から見て自然である。
【０００８】
このようにコンパス画像を表示するためには、電子コンパスで算出された撮像方位を、ロール方向の回転角分だけ補正して表示用の方位を求め、この表示用の方位を示すコンパス画像を表示部に表示すればよい。これにより、カメラをロール方向に回転させても、ユーザの視点からは、表示画面上のコンパス画像は地面に対して常に一定方向を向いているように見える。従って、撮像方位を示すコンパス画像の表示態様が、ユーザにとって自然なものとなる。
【０００９】
しかしながら、上記のように補正した表示用の方位は、実際の撮像方位とは異なる。従って、該表示用の方位を撮像画像の付加情報として記録してしまうと、正しい撮像方位情報を記録することができず、撮像画像の再生時に、該撮像画像の正しい撮像方位を提示できなくなってしまう。
【００１０】
以上のように、従来の電子コンパス付きのデジタルカメラでは、カメラの姿勢の変化（例えば、横撮りから縦撮りへの変更）に応じて表示用の方位を補正しておらず、該表示用の方位と、撮像画像の付加情報としての記録用の方位（正しい撮像方位）とを使い分けていなかった。
【００１１】
そこで、本発明は、上記事情に鑑みてなされたものであり、撮像装置の姿勢が変化したときでも、ユーザの視点から見て自然な態様でコンパス画像を表示できるとともに、正しい撮像方位を記録することができるようにするものである。
【課題を解決するための手段】
【００１２】
上記課題を解決するために、本発明のある観点によれば、被写体を撮像して撮像画像を出力する撮像部と、地磁気センサにより検出された地磁気情報と、加速度センサにより検出された加速度情報に基づいて、前記撮像部による撮像方向の方位を算出する方位算出部と、前記加速度情報に基づいて、撮像装置のロール方向の回転角を算出し、前記ロール方向の回転角に基づいて、前記撮像方向の方位を表示用の方位に変換する方位変換部と、前記表示用の方位を表すコンパス画像を、前記撮像画像とともに表示する表示部と、前記撮像方向の方位を表す方位情報を、前記撮像画像に関連づけて記録媒体に記録する記録部と、を備える、撮像装置が提供される。
【００１３】
前記方位算出部は、前記加速度情報に基づいて、前記撮像装置のピッチ方向の回転角を算出し、前記ピッチ方向の回転角に基づいて、前記撮像方向が略鉛直方向であるか否かを検出し、前記撮像方向が略鉛直方向である場合、前記方位算出部は、前記撮像方向の方位に代えて、前記撮像方向に対して垂直な方向の方位を算出し、前記表示部は、前記表示用の方位を表すコンパス画像に代えて、前記撮像方向に対して垂直な方向の方位を表すコンパス画像を、前記撮像画像とともに表示し、前記記録部は、前記撮像方向の方位を表す方位情報に代えて、前記撮像方向に対して垂直な方向の方位を表す方位情報を、前記撮像画像に関連づけて前記記録媒体に記録するようにしてもよい。
【００１４】
前記方位算出部は、前記加速度情報に基づいて、前記撮像装置のピッチ方向の回転角を算出し、前記ピッチ方向の回転角に基づき、前記撮像方向が略鉛直下方であるか否かを検出し、前記撮像方向が略鉛直下方である場合、前記方位算出部は、前記撮像方向の方位に代えて、前記撮像装置の天面方向の方位を算出し、前記表示部は、前記表示用の方位を表すコンパス画像に代えて、前記天面方向の方位を表すコンパス画像を、前記撮像画像とともに表示し、前記記録部は、前記撮像方向の方位を表す方位情報に代えて、前記天面方向の方位を表す方位情報を、前記撮像画像に関連づけて前記記録媒体に記録するようにしてもよい。
【００１５】
前記方位算出部は、前記加速度情報に基づいて、前記撮像装置のピッチ方向の回転角を算出し、前記ピッチ方向の回転角に基づき、前記撮像方向が略鉛直上方であるか否かを検出し、前記撮像方向が略鉛直上方である場合、前記方位算出部は、前記撮像方向の方位に代えて、前記撮像装置の底面方向の方位を算出し、前記表示部は、前記表示用の方位を表すコンパス画像に代えて、前記底面方向の方位を表すコンパス画像を、前記撮像画像とともに表示し、前記記録部は、前記撮像方向の方位を表す方位情報に代えて、前記底面方向の方位を表す方位情報を、前記撮像画像に関連づけて前記記録媒体に記録するようにしてもよい。
【００１６】
前記撮像装置は、前記記録媒体に記録された前記撮像画像及び前記方位情報を再生する再生部をさらに備え、前記表示部は、前記再生部により再生された前記方位情報の方位を表すコンパス画像を、前記再生部により再生された前記撮像画像とともに表示するようにしてもよい。
【００１７】
また、上記課題を解決するために、本発明の別の観点によれば、撮像部により被写体を撮像しながら、地磁気センサにより検出された地磁気情報と、加速度センサにより検出された加速度情報に基づいて、前記撮像部による撮像方向の方位を算出するステップと、前記加速度情報に基づいて、撮像装置のロール方向の回転角を算出し、前記ロール方向の回転角に基づいて、前記撮像方向の方位を表示用の方位に変換するステップと、前記表示用の方位を表すコンパス画像を、前記撮像部から出力された撮像画像とともに表示するステップと、前記撮像方向の方位を表す方位情報を、前記撮像画像に関連づけて記録媒体に記録するステップと、を含む、方位情報処理方法が提供される。
【００１８】
また、上記課題を解決するために、本発明の別の観点によれば、撮像部により被写体を撮像しながら、地磁気センサにより検出された地磁気情報と、加速度センサにより検出された加速度情報に基づいて、前記撮像部による撮像方向の方位を算出するステップと、前記加速度情報に基づいて、撮像装置のロール方向の回転角を算出し、前記ロール方向の回転角に基づいて、前記撮像方向の方位を表示用の方位に変換するステップと、前記表示用の方位を表すコンパス画像を、前記撮像部から出力された撮像画像とともに表示するステップと、前記撮像方向の方位を表す方位情報を、前記撮像画像に関連づけて記録媒体に記録するステップと、をコンピュータに実行させるためのプログラムが提供される。
【００１９】
上記構成によれば、撮像部により被写体を撮像しながら、地磁気センサにより検出された地磁気情報と、加速度センサにより検出された加速度情報に基づいて、前記撮像部による撮像方向の方位が算出され、前記加速度情報に基づいて、撮像装置のロール方向の回転角を算出し、前記ロール方向の回転角に基づいて、前記撮像方向の方位が表示用の方位に変換され、前記表示用の方位を表すコンパス画像が、前記撮像部から出力された撮像画像とともに表示され、前記撮像方向の方位を表す方位情報が、前記撮像画像に関連づけて記録媒体に記録される。これにより、撮像時に表示部に表示する方位として、撮像装置の姿勢（ロール方向の回転角）に応じて撮像方向の方位を変換した表示用の方位を用いる一方、撮像画像の付加情報として記録する方位として、当該撮像方向の方位を用いることができる。
【発明の効果】
【００２０】
以上説明したように本発明によれば、撮像装置の姿勢が変化したときでも、ユーザの視点から見て自然な態様でコンパス画像を表示できるとともに、正しい撮像方位を記録することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の第１の実施形態に係る撮像装置のハードウェア構成を示すブロック図である。
【図２】同実施形態に係る撮像装置の機能構成を示すブロック図である。
【図３】同実施形態に係る撮像装置の撮像方向と姿勢を示す斜視図である。
【図４】同実施形態に係るロール方向に傾いた撮像装置を示す斜視図である。
【図５】同実施形態に係るロール方向に９０°回転した撮像装置を示す斜視図である。
【図６】図３の状態の撮像装置の表示画面を示す背面図である。
【図７】図４の状態の撮像装置の表示画面を示す背面図である。
【図８】図５の状態の撮像装置の表示画面を示す背面図である。
【図９】同実施形態に係る撮像装置の再生画面を示す図である。
【図１０】本発明の第２の実施形態に係る撮像装置の機能構成を示すブロック図である。
【図１１】同実施形態に係る撮像装置の天面方向と姿勢を示す斜視図である。
【図１２】同実施形態に係る撮像装置の底面方向と姿勢を示す斜視図である。
【図１３】同実施形態に係る撮像装置の表示画面を示す斜視図である。
【図１４】図１３の状態で撮像された画像の再生画面を示す図である。
【図１５】同実施形態に係るロール方向に９０°回転した撮像装置の表示画面を示す斜視図である。
【図１６】図１５の状態で撮像された画像の再生画面を示す図である。
【図１７】同実施形態に係る撮像装置による方位情報処理方法を示すフローチャートである。
【発明を実施するための形態】
【００２２】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２３】
なお、説明は以下の順序で行うものとする。
１．撮像装置のハードウェア構成
２．撮像装置の機能構成
２．１．撮像方位の算出処理
２．２．コンパス画像の表示処理
２．３．撮像方位の記録処理
２．４．撮像方位の再生処理
３．第２の実施形態
３．１．撮像装置の機能構成
３．２．撮像方位の算出処理
３．３．コンパス画像の表示処理
３．４．方位情報処理方法
４．まとめ
【００２４】
［１．撮像装置のハードウェア構成］
まず、図１を参照して、本発明の第１の実施形態に係る撮像装置１０のハードウェア構成について詳細に説明する。図１は、本実施形態に係る撮像装置１０のハードウェア構成を示すブロック図である。本発明の撮像装置は、例えば、図１に示す撮像装置１０のようなデジタルカメラで具現されるが、かかる例に限定されず、撮像機能を備えた任意の電子機器に適用可能である。
【００２５】
図１に示すように、本実施形態に係る撮像装置１０は、例えば、静止画又は動画を撮像可能なデジタルカメラ（例えばデジタルスチルカメラ、デジタルビデオカメラ）で構成される。この撮像装置１０は、被写体を撮像して、当該撮像により得られた撮像画像（静止画又は動画のいずれでもよい。）をデジタル方式の画像データとして記録媒体に記録する。
【００２６】
図１に示すように、本実施形態にかかる撮像装置１０は、概略的には、撮像部１１０と、信号処理部１２０と、表示部１３０と、記録媒体１４０と、制御部１５０と、操作部１６０と、地磁気センサ１７０と、加速度センサ１７２と、を備える。
【００２７】
撮像部１１０は、被写体を撮像してアナログ画像信号を出力する。撮像部１１０は、撮像光学系１１１と、撮像素子１１２と、タイミングジェネレータ１１３と、光学部品駆動部１１４とを備える。
【００２８】
撮像光学系１１１は、フォーカスレンズ、ズームレンズ等の各種レンズや、不要な波長を除去する光学フィルタ、絞り等の光学部品からなる。被写体から入射された光学像（被写体像）は、撮像光学系１１１における各光学部品を介して、撮像素子１１２の露光面に結像される。撮像素子１１２（イメージセンサ）は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの固体撮像素子で構成される。この撮像素子１１２は、撮像光学系１１１から導かれた光学像を光電変換し、撮像画像を表す電気信号（アナログ画像信号）を出力する。
【００２９】
撮像光学系１１１には、該撮像光学系１１１の光学部品を駆動するための光学部品駆動部１１４が機械的に接続されている。この光学部品駆動部１１４は、例えば、ズームモータ、フォーカスモータ、絞り調整機構などであり、ズームレンズ、フォーカスレンズを移動させたり、絞りを調整したりする。光学部品駆動部１１４は、後述する制御部１５０の指示に従って、撮像光学系１１１の光学部品を駆動させる。また、ＴＧ（Ｔｉｍｉｎｇ Ｇｅｎｅｒａｔｏｒ）１１３は、制御部１５０の指示に従って、撮像素子１１２に必要な動作パルスを生成する。例えば、ＴＧ１１３は、垂直転送のための４相パルス、フィールドシフトパルス、水平転送のための２相パルス、シャッタパルスなどの各種パルスを生成し、撮像素子１１２に供給する。このＴＧ１１３により撮像素子１１２を駆動させることで、被写体像が撮像される（電子シャッター機能）。また、ＴＧ１１３が、撮像素子１１２のシャッタースピードを調整することで、撮像画像の露出が制御される。
【００３０】
上記の撮像素子１１２が出力した画像信号は信号処理部１２０に入力される。信号処理部１２０は、撮像素子１１２から出力される画像信号に対して所定の信号処理を実行し、当該信号処理後の画像信号を表示部１３０や制御部１５０に出力する。信号処理部１２０は、アナログ信号処理部１２１、アナログ／デジタル（Ａ／Ｄ）変換部１２２、デジタル信号処理部１２３を備える。
【００３１】
アナログ信号処理部１２１は、画像信号を前処理する所謂アナログフロントエンドである。該アナログ信号処理部１２１は、例えば、撮像素子１１２から出力される画像信号に対して、ＣＤＳ（ｃｏｒｒｅｌａｔｅｄ ｄｏｕｂｌｅ ｓａｍｐｌｉｎｇ：相関２重サンプリング）処理、プログラマブルゲインアンプ（ＰＧＡ）によるゲイン処理などを行う。Ａ／Ｄ変換部１２２は、アナログ信号処理部１２１から入力されたアナログ画像信号をデジタル画像信号に変換して、デジタル信号処理部１２３に出力する。デジタル信号処理部１２３は、入力されたデジタル画像信号に対して、例えば、ノイズ除去、ホワイトバランス調整、色補正、エッジ強調、ガンマ補正等のデジタル信号処理を行って、表示部１３０や制御部１５０等に出力する。
【００３２】
表示部１３０は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機ＥＬディスプレイなどの平板表示装置で構成される。表示部１３０は、制御部１５０による制御に従って、入力された各種の画像データを表示する。例えば、表示部１３０は、撮像中に信号処理部１２０からリアルタイムで入力される撮像画像（スルー画像）を表示する。これにより、ユーザは、撮像装置１０で撮像中のスルー画像を見ながら、撮像装置１０を操作することができる。また、記録媒体１４０に記録されている撮像画像を再生したときに、表示部１３０は、当該再生画像を表示する。これにより、ユーザは、記録媒体１４０に記録されている撮像画像の内容を確認することができる。
【００３３】
記録媒体１４０は、上記撮像画像のデータ、そのメタデータなどの各種のデータを記憶する。記録媒体１４０は、例えば、メモリカード等の半導体メモリ、又は、光ディスク、ハードディスク等のディスク状記録媒体などを使用できる。なお、光ディスクは、例えば、ブルーレイディスク（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）又はＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）等を含む。なお、記録媒体１４０は、撮像装置１０に内蔵されてもよいし、撮像装置１０に着脱可能なリムーバブルメディアであってもよい。
【００３４】
制御部１５０は、マイクロコントローラなどで構成され、撮像装置１０の全体の動作を制御する。制御部１５０は、例えば、ＣＰＵ１５１、ＥＥＰＲＯＭ１５２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１５３、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１５４を備える。なお、ＥＥＰＲＯＭは、「Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ」の略称である。
【００３５】
制御部１５０におけるＲＯＭ１５３には、ＣＰＵ１５１に各種の制御処理を実行させるためのプログラムが格納されている。ＣＰＵ１５１は、該プログラムに基づいて動作して、ＲＡＭ１５４を用いながら、上記各制御のための必要な演算・制御処理を実行する。該プログラムは、撮像装置１０に内蔵された記憶装置（例えば、ＥＥＰＲＯＭ１５２、ＲＯＭ１５３等）に予め格納しておくことができる。また、当該プログラムは、ディスク状記録媒体、メモリカードなどのリムーバブル記録媒体に格納されて、撮像装置１０に提供されてもよいし、ＬＡＮ、インターネット等のネットワークを介して撮像装置１０にダウンロードされてもよい。
【００３６】
ここで、制御部１５０による制御の具体例について説明する。制御部１５０は、上記撮像部１１０のＴＧ１１３や光学部品駆動部１１４を制御して、撮像部１１０による撮像処理を制御する。例えば、制御部１５０は、上記撮像光学系１１１の絞りの調整、撮像素子１１２の電子シャッタースピードの設定、アナログ信号処理部１２１のＡＧＣのゲイン設定などにより、自動露光制御を行う（ＡＥ機能）。また、制御部１５０は、上記撮像光学系１１１のフォーカスレンズを移動させて、フォーカスポジションを変更することで、特定の被写体に対して撮像光学系１１１の焦点を自動的に合わせるオートフォーカス制御を行う（ＡＦ機能）。また、制御部１５０は、上記撮像光学系１１１のズームレンズを移動させて、ズームポジションを変更することで、撮像画像の画角を調整する。また、制御部１５０は、記録媒体１４０に対して撮像画像、メタデータなどの各種のデータを記録し、また、記録媒体１４０に記録されているデータを読み出して再生する。さらに、制御部１５０は、表示部１３０に表示するための各種の表示画像を生成し、表示部１３０を制御して該表示画像を表示させる。
【００３７】
操作部１６０、表示部１３０は、ユーザインターフェースとして機能する。操作部１６０は、例えば、ボタン、レバー等の各種の操作キー、又はタッチパネル等で構成され、ユーザ操作に応じて指示情報を制御部１５０に出力する。
【００３８】
地磁気センサ１７０及び加速度センサ１７２は、撮像方位を検出するための電子コンパス（方位センサ）を構成する。ここで、撮像方位は、撮像装置１０により被写体を撮像するときの撮像方向の水平方位である。撮像方位は、例えば、基準方位（例えば北）を基準とした方位角θ（θ＝０°〜３６０°）で表すことができる。また、撮像方向は、上記撮像光学系１１１の光軸方向である。一般的なデジタルカメラにおいては、該撮像方向は、撮像装置１０の正対方向であり、上記表示部１３０の表示画面の背面方向と一致する。
【００３９】
地磁気センサ１７０は、例えば、２軸地磁気センサ又は３軸地磁気センサで構成され、撮像装置１０が存在する場所における地磁気を検出する。２軸地磁気センサは、撮像装置１０の前後方向及び左右方向の地磁気を検出し、３軸地磁気センサは、撮像装置１０の前後方向、左右方向及び上下方向の地磁気を検出する。地磁気センサ１７０は、検出した地磁気を表す地磁気情報を制御部１５０に出力する。
【００４０】
加速度センサ１７２は、撮像装置１０に作用する加速度を検出する。加速度センサ１７２は、例えば、撮像装置１０の前後、左右、上下方向の加速度を検出する３軸の加速度センサで構成され、撮像装置１０に作用する３軸方向の加速度を検出する。該加速度センサ１７２は、検出した３軸の加速度を表す加速度情報を制御部１５０に出力する。制御部１５０は、上記地磁気センサ１７０の検出値（地磁気情報）と、加速度センサ１７２の検出値（加速度情報）とを用いて、撮像装置１０の姿勢と、撮像方位を算出する。この算出手法の詳細は後述する。
【００４１】
［２．撮像装置の機能構成］
次に、図２を参照して、本実施形態に係る撮像装置１０の要部の機能構成と、その処理について説明する。図２は、本実施形態に係る撮像装置１０の機能構成を示すブロック図である。
【００４２】
図２に示すように、撮像装置１０の制御部１５０は、方位算出部２００と、方位変換部２０２と、コンパス画像生成部２０４と、付加情報管理部２０６と、記録部２０８と、再生部２１０とを備える。これらの機能部は、図１に示すＣＰＵ１５１が、ＲＯＭ１５３等に記憶されているプログラムを実行することにより実現されるが、かかる例に限定されず、専用のハードウェアで実現されてもよい。
【００４３】
［２．１．撮像方位の算出処理］
まず、方位算出部２００により、撮像装置１０の撮像方位を算出する処理について説明する。方位算出部２００と、上述した地磁気センサ１７０及び加速度センサ１７２（方位センサ）は、撮像方位を測位する電子コンパスを構成する。方位算出部２００は、地磁気センサ１７０と加速度センサ１７２の検出値に基づいて、撮像方位を算出する。
【００４４】
上述したように、地磁気センサ１７０は、撮像装置１０が存在する場所における地磁気を検出して、検出値として、地磁気情報を出力する。また、加速度センサ１７２は、撮像装置１０に作用する３軸方向の加速度を検出する。この加速度センサ１７２により検出された加速度情報を用いて、撮像装置１０の姿勢（例えば静姿勢）を検出することができる。つまり、撮像装置１０が静姿勢にあるときには、撮像装置１０に作用する加速度は、地球からの重力加速度になる。従って、加速度センサ１７２により検出された３軸方向の加速度情報に基づいて、３次元空間において撮像装置１０に対して作用する重力加速度の向きを算出すれば、撮像装置１０の姿勢を検出きる。撮像装置１０の姿勢は、地面に対する撮像装置１０の傾き（例えば、ロール方向、ピッチ方向、ヨー方向の回転角）で表される。
【００４５】
ここで、図３を参照して、撮像装置１０の姿勢について詳細に説明する。図３は、本実施形態に係る撮像装置１０の撮像方向と姿勢を示す斜視図である。
【００４６】
撮像装置１０は、例えば、平行な天面１０１と底面１０２を有する矩形状のハウジング１００を備える。ハウジング１００の前面１０３には、撮像部１１０の撮像光学系１１１が設けられ、ハウジング１００の背面１０４には、表示部１３０の表示画面（図示せず。）が設けられる。ロール軸１０５は、ハウジング１００の前後方向に延びる回転軸であり、撮像装置１０は、該ロール軸１０５を中心としてロール方向に回転して、地面に対して左右に傾く。同様に、ピッチ軸１０６は、ハウジング１００の左右方向に延びる回転軸であり、撮像装置１０は、該ピッチ軸１０６を中心としてピッチ方向に回転して、地面に対して前後に傾く。また、ヨー軸１０７は、ハウジング１００の上下方向に延びる回転軸であり、撮像装置１０は、該ヨー軸１０７を中心としてヨー方向に回転して、撮像方向を変える。
【００４７】
以上のように、撮像装置１０の姿勢は、撮像装置１０が地面に対してロール方向、ピッチ方向、ヨー方向に回転したときの回転角（ロール角α、ピッチ角β、ヨー角γ）で表すことができる。なお、ロール軸１０５は、撮像装置１０の撮像方向と同一方向である。また、撮像装置１０がヨー方向に回転すれば、撮像装置１０が正対する水平方向が変わるので、撮像方位（撮像方向の水平方位）も変化することになる。
【００４８】
また、加速度センサ１７２により、撮像装置１０の上記ロール方向、ピッチ方向、ヨー方向の回転角（地面に対する傾き角）が分かれば、地磁気センサ１７０の検出値から当該回転角分を差し引くことで、水平方向の地磁気を計算して、正しい撮像方位を求めることができる。なお、１軸、２軸の加速度センサを用いても、撮像装置１０の１又は２方向の回転角を検出できるので、撮像方位を算出することは可能であるが、３軸の加速度センサを用いた方が、より正確に撮像方位を算出できる。
【００４９】
図２に戻り、方位算出部２００による撮像方位の算出処理の説明を続ける。方位算出部２００は、加速度センサ１７２により検出された加速度情報に基づいて、地面に対する撮像装置１０の姿勢を算出する。この撮像装置１０の姿勢は、例えば、上述した撮像装置１０の回転角（ロール角α、ピッチ角β、ヨー角γ）で表される。さらに、方位算出部２００は、予め保存されている地磁気センサ設置情報２２２と、上記で算出した撮像装置１０の姿勢の情報とから、地磁気センサ１７０の姿勢を算出する。ここで、地磁気センサ設置情報２２２は、撮像装置１０に設置されている地磁気センサ１７０の設置姿勢（撮像装置１０に対する地磁気センサ１７０の向き）を表す情報である。当該地磁気センサ１７０の設置姿勢は、撮像装置１０の製造時に既知である。方位算出部２００は、この地磁気センサ１７０の設置姿勢（デフォルトの回転角）に、地面に対する撮像装置１０の姿勢（ロール角α、ピッチ角β、ヨー角γ）を加算することで、地面に対する地磁気センサ１７０の姿勢を求める。
【００５０】
さらに、方位算出部２００は、地磁気センサ１７０が測位した地磁気情報と、上記で算出した地磁気センサ１７０の姿勢の情報とから、地磁気の水平ベクトルを抽出し、基準方位（例えば北方向）を算出する。また、方位算出部２００は、予め保存されている光学系設置情報２２４と、先に算出した撮像装置１０の姿勢の情報とから、撮像光学系１１１の光軸方向（即ち、撮像方向）の水平ベクトルを算出する。ここで、光学系設置情報２２４は、撮像装置１０に設置されている撮像光学系１１１の設置姿勢（撮像装置１０に対する撮像光学系１１１の光軸の向き）を表す情報である。この光学系設置情報２２４も、撮像装置１０の製造時に既知である。方位算出部２００は、上記で算出した基準方位のベクトルと、撮像方向の水平ベクトルとの差分から、撮像方向の水平方位（即ち、撮像方位）を求める。例えば、方位算出部２００は、この撮像方位として、基準方位（例えば北）を基準とした方位角θ（θ＝０°〜３６０°）を求める。
【００５１】
以上の方位算出部２００の演算処理により、撮像方位を正確に検出することができる。なお、ユーザが縦撮りするために、撮像装置１０をロール方向に９０°回転させた場合でも（後述の図４参照）、方位算出部２００は、撮像方向の水平ベクトルを算出しているので、正しい撮像方位を算出可能である。
【００５２】
［２．２．コンパス画像の表示処理］
次に、図２とともに、図３〜図８を参照して、方位変換部２０２、コンパス画像生成部２０４及び表示部１３０により、撮像方位から変換された表示用の方位を表すコンパス画像を表示する処理について説明する。
【００５３】
まず、図２に示す方位変換部２０２は、必要に応じて、上記方位算出部２００により算出された撮像方位を、表示用の方位に変換する。ここで、表示用の方位とは、撮像方位を表す情報（例えば図６のコンパス画像３０２）を表示部１３０に表示するための方位である。表示部１３０に表示されるコンパス画像３０２は、該表示用の方位を所定の基準方向（撮像装置１０の天面１０１の方向）に向けて指し示す。撮像装置１０がロール方向に回転している場合は、該表示用の方位は、実際の撮像方位とは異なるものとなる。
【００５４】
この表示用の方位の必要性について説明する。北を向いているユーザが、図３に示すように撮像装置１０を横方向に持って被写体を撮像（即ち、横撮り）している状態から、図４に示すようにロール軸１０５を中心として撮像装置１０をロール方向に回転させ、図５に示すように、撮像装置１０を縦方向に持ち替えて（ロール角α＝９０°）、同一の被写体を撮像（即ち、縦撮り）する場合を考える。この場合、撮像装置１０はヨー方向には回転しておらず、ユーザの向いている方位（北）に変化は無いので、撮像装置１０の撮像方位（北）も不変である。従って、図６〜図８に示すように、撮像装置１０の表示部１３０に表示される撮像画像３００（スルー画像）上に、撮像方位を表すコンパス画像３０２を重畳表示するときには、撮像装置１０の姿勢の変化（ロール方向の回転）にかかわらず、表示画面上のコンパス画像３０２が地面に対して常に一定方向を向いていることが、ユーザの視点から見て自然である。このようにコンパス画像３０２を表示するためには、上記方位算出部２００により算出された撮像方位（北）を、ロール方向の回転角（ロール角α＝９０°）分だけ補正して、表示用の方位（東）を求めればよい。
【００５５】
そこで、方位変換部２０２は、加速度センサ１７２の検出値に基づいて、撮像装置１０のロール方向の回転角（ロール角α）を算出し、該ロール角αに基づいて、上記方位変換部２０２により算出された撮像方位を補正して、表示用の方位を求める。
【００５６】
具体的には、まず、方位変換部２０２は、加速度センサ１７２が検出した加速度情報から、上述したように、地面に対する撮像装置１０の姿勢（ロール角α、ピッチ角β、ヨー角γ）を算出する。次いで、方位変換部２０２は、方位算出部２００は、予め保存されている表示部設置情報２２６と、上記で算出した撮像装置１０の姿勢の情報とから、撮像装置１０に伴ってロール方向に回転した表示部１３０の回転角（ロール角α）を算出する。ここで、表示部設置情報２２６は、撮像装置１０に設置されている表示部１３０の設置姿勢（撮像装置１０に対する表示部１３０の向き）を表す情報である。当該表示部１３０の設置姿勢は、撮像装置１０の製造時に既知である。方位変換部２０２は、この表示部１３０の設置姿勢（デフォルトの回転角）に、地面に対する撮像装置１０の姿勢（ロール角α、ピッチ角β、ヨー角γ）を加算することで、表示部１３０のロール角αを求める。
【００５７】
さらに、方位変換部２０２は、上記方位変換部２０２により算出された撮像方位を、表示部１３０のロール角αの分だけ補正して、表示用の方位を求める。例えば、撮像方位が、基準方位を基準とする方位角θ（θ＝０°〜３６０°）で表される場合、方位変換部２０２は、撮像方位の方位角θから上記表示部１３０のロール角αを減算（又は加算）して、表示用の方位の方位角φを算出する（φ＝θ±α）。なお、撮像装置１０がロール方向に回転していない場合には、α＝０°であるので、表示用の方位の方位角φは、撮像方位の方位角θと等しくなる（φ＝θ）。
【００５８】
そして、方位変換部２０２は、上記のようにして算出した表示用の方位を表す情報（例えば方位角φの値）を、コンパス画像生成部２０４に渡す。
【００５９】
コンパス画像生成部２０４は、方位変換部２０２により算出された表示用の方位を表す情報に基づいて、表示部１３０に表示するためのコンパス画像３０２を生成する。例えば、φ＝θ−αとして方位角φを求めた場合には、コンパス画像生成部２０４は、コンパスの針が上記表示用の方位（方位角φ）に向けて基準方位（例えば北）を指すようなコンパス画像３０２を生成する。一方、φ＝θ＋αとして方位角φを求めた場合には、コンパス画像生成部２０４は、上記表示用の方位（方位角φ）が表示画面の上向きとなるようなコンパス画像３０２を生成する。そして、表示部１３０は、制御部１５０からの指示に基づいて、撮像部１１０から入力される撮像画像３００上に、上記コンパス画像３０２を重畳して表示する。
【００６０】
以上の表示処理により、図６〜図８に示すように、撮像部１１０により撮像中の撮像画像３００上に、方位変換部２０２により補正された表示用の方位（方位角φ）を示すコンパス画像３０２が表示される。これにより、ユーザは、撮像画像３００の撮像方位を視認しながら、撮像することができる。また、図６、図７、図８はそれぞれ、撮像装置１０の表示部１３０のロール角αが０°、３０°、９０°である場合の表示状態を示している。いずれの場合も、撮像方位を示すコンパス画像３０２は、ユーザの視点から見て、方位算出部２００により算出された撮像方位（方位角θ）である北が、地面に対して上向きとなるように表示される。
【００６１】
つまり、図３〜図５に示したようにユーザが撮像装置１０をロール方向に９０°回転させた場合でも、図６〜図８に示すようにコンパス画像３０２は、表示部１３０に対しては相対的に回転するが、地面に対しては回転せず、コンパス画像３０２の針は常に一定方向を指す。このように、コンパス画像３０２は、表示部１３０のロール方向の回転に追従して回転しないので、撮像方位が変化しない限りは、ユーザの視点から見て、表示画面上のコンパス画像３０２が指し示す方位は変化しない。よって、ユーザが一定の方位の被写体を撮像しているときに、撮像装置１０の姿勢を変化させた場合（例えば、横取りから縦撮りに変えた場合）であっても、ユーザの視点から見て、自然な表示態様でコンパス画像３０２を表示できる。
【００６２】
［２．３．撮像方位の記録処理］
次に、再び図２を参照して、付加情報管理部２０６及び記録部２０８により、撮像画像とともに、上記のように算出した撮像方位を撮像画像の付加情報として記録する処理について説明する。なお、以下では主として、ユーザが撮像装置１０のシャッタボタン１６１を押下して（レリーズ操作）、静止画の撮像画像（写真）を記録媒体１４０に記録する処理について説明する。
【００６３】
図２に示すように、レリーズ操作に応じて撮像画像を記録媒体１４０に記録するとき、方位算出部２００は、上記のように算出した撮像方位（方位角θ）を表す撮像方位情報を、付加情報管理部２０６に出力する。
【００６４】
付加情報管理部２０６は、記録媒体１４０に記録される撮像画像の付加情報（例えばＥｘｉｆ情報）を管理する機能を有する。この付加情報は、一般的に、撮像画像に関する各種情報（例えば、画像サイズ、ファイル形式、圧縮符号化形式など）や、撮像日時情報、記録画像のサムネイル画像などを含む。付加情報管理部２０６は、これら一般的な情報に加えて、方位算出部２００により得られた撮像方位情報と、撮像装置１０の姿勢情報を付加情報に含める。後者の撮像装置１０の姿勢情報は、例えば、撮像画像を記録するとき（レリーズ時）の撮像装置１０の姿勢（例えば、横撮り、右回転撮り、左回転撮りなど）を表す情報である。該姿勢情報は、上記のように方位算出部２００によって加速度センサ１７２の検出値から算出される。付加情報管理部２０６は、これらの撮像画像の付加情報を記録部２０８に出力する。
【００６５】
記録部２０８は、上記レリーズ操作に応じて、付加情報管理部２０６から得た撮像画像の付加情報と、撮像部１１０から得た撮像画像を、圧縮・符号化し、相互に関連づけて記録媒体１４０に記録する。これにより、上記撮像方位情報（例えば、方位角θ）と、撮像装置１０の姿勢情報（例えば、横撮り、右回転撮り、左回転撮りなど）を、撮像画像の付加情報として、撮像画像に関連づけて記録できる。これらの情報は、撮像画像の再生・表示時に有用である。
【００６６】
上記のように、記録部２０８は、上記方位変換部２０２により補正された表示用の方位（方位角φ）ではなく、方位算出部２００により算出された撮像方位（方位角θ）を、撮像画像の付加情報として記録する。これにより、撮像時の撮像装置１０の姿勢（ロール角α）にかかわらず、当該撮像装置１０により撮像画像を撮像したときの正しい撮像方位（方位角θ）を記録することができる。
【００６７】
なお、上記では静止画の記録処理について説明したが、動画の記録処理においても、動画の記録中に定期的若しくは随時に、上記撮像方位情報及び姿勢情報を動画の付加情報として動画に関連づけて記録媒体１４０に記録すればよい。
【００６８】
［２．４．撮像方位の再生処理］
次に、図９を参照して、図２に示す再生部２１０及び表示部１３０により、記録媒体１４０に記録された撮像画像と付加情報を再生して、表示部１３０に表示する処理について説明する。図９は、本実施形態に係る縦撮り時の撮像画像３００（図８参照。）を再生した再生画像３０４を示す説明図である。
【００６９】
ユーザによる再生操作に応じて、再生部２１０は、記録媒体１４０に記録されている撮像画像３００及びその付加情報を読み出して、再生（伸張・復号化）する。そして、表示部１３０は、図９に示すように、再生部２１０により再生された再生画像３０４と、該再生画像３０４の撮像方位を示すコンパス画像３０６を表示する。
【００７０】
かかる再生及び表示処理では、再生部２１０は、上記付加情報に含まれる撮像装置１０の姿勢情報に基づき、必要に応じて再生画像３０４を回転させて、表示部１３０に表示する。例えば、再生部２１０は、記録媒体１４０に記録された撮像画像３００を再生するとき、該撮像画像３００に付加されている姿勢情報に基づいて、該撮像画像３００が縦撮りされた画像であるか否かと、縦撮り時の回転方向を判別する。縦撮りされた画像である場合には、再生部２１０は、天地方向が正しくなるように再生画像３０４を右回り又は左回りに９０°回転させて、表示部１３０に表示させる。
【００７１】
さらに、再生部２１０は、該撮像画像３００に付加されている撮像方位情報に基づいて、該撮像画像３００を撮像したときの撮像方位を判別し、該撮像画像３００の撮像方位を表す情報（例えば方位角θ）を、コンパス画像生成部２０４に渡す。すると、コンパス画像生成部２０４は、当該撮像方位を表す情報に基づいて、表示部１３０に表示するためのコンパス画像３０６を生成し、表示部１３０に出力する。この結果、図９に示すように、表示部１３０は、再生部２１０から得た再生画像３０４とともに、コンパス画像生成部２０４から得たコンパス画像３０６を表示する。なお、図９の再生画像３０４は、図８に示した状態で縦撮りしたときの撮像画像３００を再生した画像である。
【００７２】
このとき、再生画像３０４とともに表示されるコンパス画像３０６は、撮像画像３００を撮像したときの実際の撮像方位（方位角θ＝０°）を指し示す。この理由は、上記撮像方位情報の記録時に、上記方位変換部２０２により補正された表示用の方位（方位角φ＝−９０°）ではなく、方位算出部２００により算出された撮像方位（方位角θ＝０°）を記録しているからである。もし、表示用の方位（方位角φ＝−９０°）を記録した場合には、図９の再生画面では、コンパス画像３０６は、西（方位角φ＝−９０°に相当する。）を指し示すことになる。しかし、本実施形態では、撮像時に方位算出部２００が算出した撮像方位（方位角θ＝０°）を記録しているので、再生画像３０４とともに表示されるコンパス画像３０６は、該再生画像３０４の正しい撮像方位（方位角θ＝０°）を指し示すことができる。
【００７３】
さらに、再生画像３０４の表示時には、撮像時の撮像装置１０の姿勢（縦撮り又は横撮り）に応じて、再生画像３０４の天地方向が上下方向となるように再生画像３０４を自動的に回転して表示する。図９の例では、縦撮りされた再生画像３０４が、表示部１３０の横長の表示画面上に９０°回転して表示されている。従って、例えば縦撮りされた撮像画像３００を再生する場合でも、表示部１３０を回転することなく、撮像内容を表す再生画像３０４と、その撮像方位を示すコンパス画像３０６を適切な方向で表示することができる（図９参照。）。
【００７４】
以上説明したように、本実施形態に係る撮像装置１０は、方位算出部２００により算出された撮像方位（方位角θ）と、上記方位変換部２０２により補正された表示用の方位（方位角φ）とを、用途に応じて適切に使い分けている。例えば、撮像時には、撮像方位（方位角θ）を表示用の方位（方位角φ）に変換することで、撮像装置１０の姿勢がロール方向に変化したときでも、ユーザの視点から見て自然な態様で、撮像画像３００の撮像方位を示すコンパス画像３０２を表示できる。一方、撮像画像３００の記録時には、撮像画像３００の付加情報として、補正前の正しい撮像方位（方位角θ）を記録する。このため、撮像画像３００の再生時には、その再生画像３０４とともに、撮像画像３００の撮像方位（方位角θ）を示すコンパス画像３０６を正しい方向で表示することが可能となる。また、パーソナルコンピュータ（ＰＣ）に撮像画像３００をコピーし、ＰＣ上のアプリケーションで方位を確認する場合においても、上記付加情報として撮像方位（方位角θ）が記録されているため、上記アプリケーションは、撮像画像３００の撮像方位を認識することが可能である。
【００７５】
［３．第２の実施形態］
次に、第２の実施形態に係る撮像装置１０と、該撮像装置１０による方位情報処理方法について説明する。第２の実施形態は、上記第１の実施形態と比べて、撮像方向が鉛直方向であるときの処理が相違し、その他の機能構成は、第１の実施形態と実質的に同一であるので、その詳細説明は省略する。
【００７６】
撮像者は、自分の真上にある被写体や、真下にある被写体を撮像する場合、撮像装置１０を真上、真下に向けるので、撮像方向（撮像光学系１１１の光軸方向）は、略鉛直方向（略鉛直上方又は略鉛直下方）となる。この場合、撮像方位として、第１の実施形態のように撮像方向の方位を算出してしまうと、撮像方向が僅かに変化した場合でも、撮像方位は過敏に反応して大きく振れてしまうという問題がある。例えば、撮像装置１０を真下に向けて撮像するとき、撮像方向は鉛直下方になるが、この状態で撮像装置１０をピッチ方向又はヨー方向に僅かに傾けただけで、撮像方位は東西南北に振れてしまい、表示画面上でコンパス画像３０２がめまぐるしく変化してしまう。
【００７７】
そこで、第２の実施形態では、撮像方向が略鉛直方向である場合には、撮像方向に対して垂直な方向（例えば、撮像装置１０の天面１０１の方向、又は底面１０２の方向）の方位を求め、当該垂直な方向の方位を表示及び記録する。これにより、撮像方向が鉛直方向の近傍で変化したとしても、表示及び記録される方位が、大きく振れずに安定するので、撮像者に対して撮像方位を適切に提示できるようになる。
【００７８】
なお、本明細書における「略鉛直方向」とは、実質的な鉛直方向であり、厳密な鉛直方向（水平面に対して垂直な方向）のみならず、鉛直方向に対して所定の角度δ（例えば、０＜δ≦１０°）を有する方向も含む。撮像者が、撮像方向が真上又は真下であると認識する場合には、該撮像方向は、厳密な鉛直方向でなくても、「略鉛直方向」であると言える。同様に、「略鉛直下方」は、厳密な鉛直下方のみならず、鉛直下方に対して所定の角度δを有する方向も含み、「略鉛直上方」は、厳密な鉛直上方のみならず、鉛直上方に対して所定の角度δを有する方向も含む。
【００７９】
［３．１．撮像装置の機能構成］
次に、図１０を参照して、第２の実施形態に係る撮像装置１０の要部の機能構成と、その処理について説明する。図１０は、第２の実施形態に係る撮像装置１０の機能構成を示すブロック図である。
【００８０】
図１０に示すように、第２の実施形態に係る撮像装置１０は、上記第１の実施形態に係る機能に加えて、次の機能を有する。方位算出部２００は、加速度センサ１７２から得た加速度情報に基づいて、撮像装置１０のピッチ方向の回転角（ピッチ角β）を算出し、該ピッチ角βに基づき、撮像方向が略鉛直方向（略鉛直上方又は略鉛直下方）であるか否かを検出する。
【００８１】
例えば、算出したピッチ角βが、鉛直上方を表すピッチ角度（９０°）若しくはその近傍の角度である場合〔（９０°−δ）＜β＜（９０°＋δ）〕、方位算出部２００は、撮像方向が略鉛直上方であると判定する。また、算出したピッチ角βが、鉛直下方を表すピッチ角度（−９０°）若しくはその近傍の角度である場合〔（−９０°−δ）＜β＜（−９０°＋δ）〕、方位算出部２００は、撮像方向が略鉛直下方であると判定する。このように、加速度センサ１７２の検出値から撮像装置１０のピッチ角βを求め、該ピッチ角βを用いて、撮像方向が略鉛直上方又は下方であるか否かを判定できる。
【００８２】
かかる判定の結果、撮像方向が略鉛直方向でない場合には、上述した第１の実施形態と同様に、方位算出部２００は、撮像方向の方位（撮像方位）を算出し、方位変換部２０２は、該撮像方位を表示用の方位に変換する。その後のコンパス画像３０２の表示処理や、撮像方位情報の記録及び再生処理も、第１の実施形態と同様である。
【００８３】
一方、撮像方向が略鉛直方向である場合には、方位算出部２００は、上記撮像方位の代わりに、撮像方向に対して垂直な方向の方位を算出する。ここで、撮像方向に対して垂直な方向は、例えば、撮像装置１０の天面方向、撮像装置１０の底面方向などである。ここで、撮像装置１０の天面方向は、図１１に示すように、撮像装置１０の天面１０１が正対する方向であり、撮像装置１０の底面方向は、図１２に示すように、撮像装置１０の底面１０２が正対する方向である。方位算出部２００は、撮像方向が略鉛直下方である場合には、撮像装置１０の天面方向の方位（以下、天面方位）を算出し、撮像方向が略鉛直上方である場合には、底面方向の方位（以下、底面方位）を算出する。なお、撮像方向に対して垂直な方向として、上記天面方向や底面方向以外にも、撮像装置１０の左右いずれかの側面が正対する方向などを用いてもよい。
【００８４】
このように、撮像方向が略鉛直方向である場合には、方位算出部２００は、上記第１の実施形態に係る撮像方位（方位角θ）の代わりに、天面方位又は底面方位（方位角ψ）を算出する。この天面方位又は底面方位は、撮像方向に対して垂直な方向の方位である。従って、真上又は真下を向いている撮像装置１０が、ロール方向又はヨー方向に僅かに回転して、その撮像方向が多少変化したときに、撮像方位（方位角θ）は大きく振れるが、天面方位又は底面方位（方位角ψ）は大きく振れることがない。従って、撮像装置１０の略鉛直上方又は略鉛直下方にある被写体を撮像する場合に、当該天面方位又は底面方位（方位角ψ）を算出すれば、安定した方位を得ることができる。
【００８５】
次いで、方位算出部２００は、算出した天面方位又は底面方位を表す情報を、方位変換部２０２を介すことなく、直接、コンパス画像生成部２０４に出力する。すると、図１３に示すように、コンパス画像生成部２０４は、方位算出部２００により算出された天面方位又は底面方位（方位角ψ）を表すコンパス画像３１２を生成し、表示部１３０は、該コンパス画像３１２を撮像画像３１０上に重畳表示する。このように、第２の実施形態にかに係る表示部１３０は、第１の実施形態のような表示用の方位（方位角φ）を表すコンパス画像３０２の代わりに、天面方位又は底面方位（方位角ψ）を表すコンパス画像３１２を、撮像中の撮像画像３１０とともに表示する。
【００８６】
また、撮像画像３１０を記録するときにも、記録部２０８は、撮像画像３１０の付加情報として、上記第１の実施形態に係る撮像方位（方位角θ）を表す情報の代わりに、天面方位又は底面方位（方位角ψ）を表す方位情報を、撮像画像３１０に関連づけて記録媒体１４０に記録する。そして、記録媒体１４０に記録されている撮像画像３１０を再生及び表示するときには、まず、再生部２１０は、記録媒体１４０に記録されている撮像画像３１０を再生し、コンパス画像生成部２０４は、記録媒体１４０に記録されている方位情報に基づき、天面方位又は底面方位（方位角ψ）を表すコンパス画像３１６を生成する。この結果、図１４に示すように、表示部１３０は、天面方位又は底面方位（方位角ψ）を表すコンパス画像３１６を、再生画像３１４とともに表示する。
【００８７】
なお、上記第１の実施形態に係る撮像装置１０は、再生時に、撮像画像３００の付加情報として記録された姿勢情報に基づいて、撮像時の撮像装置１０のロール方向の姿勢（横撮り、右回転撮り、左回転撮り等）を判別し、該ロール方向の姿勢に応じて再生画像３０４を自動的に９０°回転して表示させていた（図９参照。）。撮像装置１０を略水平方向に向けて撮像された撮像画像３００は、表示基準となる方向性（例えば、天地方向が上下となるように表示する。）を有しているので、図９のような回転表示処理によりユーザの利便性が高まる。
【００８８】
これに対し、第２の実施形態に係る撮像装置１０は、撮像時の方位情報として、撮像方向の方位情報が記録された場合には、再生時に、第１の実施形態と同様、姿勢判別及び回転表示処理を行う。しかし、撮像方向が真下（又は真上）であるため、撮像時の方位情報として、天面方位（又は底面方位）を表す情報が記録された場合には、撮像装置１０は、第１の実施形態のような姿勢判別及び回転表示処理を行わない。撮像装置１０を略鉛直方向に向けて撮像された撮像画像３１０は、表示基準となる方向性を有していない。このため、上記回転表示処理等は、ユーザにとって不要であるので、省略する方が好ましい。
【００８９】
［３．２．撮像方位の算出処理］
次に、図１１を参照して、撮像装置１０を真下に向けて撮像したときに、上記天面方位を算出する処理について詳述する。
【００９０】
図１１に示すように、ユーザが、足下の被写体を撮像するために、撮像装置１０を真下に向けた場合には、撮像方向（撮像光学系１１１の光軸方向）が略鉛直下方となる。方位算出部２００は、撮像方向（撮像光学系１１１の光軸方向）が略鉛直下方であることを検出できる。
【００９１】
具体的には、まず、方位算出部２００は、加速度センサ１７２により検出された加速度情報に基づいて、地面に対する撮像装置１０の姿勢（ロール角α、ピッチ角β、ヨー角γ）を算出する。次いで、方位算出部２００は、算出したピッチ角βが、上限値（−９０°−δ）より大きく、下限値（−９０°＋δ）未満である場合に、撮像方向が略鉛直下方であると判定する。
【００９２】
撮像方向が略鉛直下方であることを検出した場合、方位算出部２００は、地磁気センサ１７０の地磁気情報と、加速度センサ１７２の加速度情報とに基づいて、撮像装置１０の天面方位を算出する。
【００９３】
具体的には、方位算出部２００は、方位算出部２００は、上述した地磁気センサ設置情報２２２と、上記で算出した撮像装置１０の姿勢の情報とから、地磁気センサ１７０の姿勢を算出する。さらに、方位算出部２００は、地磁気センサ１７０が測位した地磁気情報と、上記で算出した地磁気センサ１７０の姿勢の情報とから、地磁気の水平ベクトルを抽出し、基準方位（例えば北方向）を算出する。次いで、方位算出部２００は、上述した光学系設置情報２２４と、先に算出した撮像装置１０の姿勢の情報とから、撮像方向のベクトルを算出する。さらに、方位算出部２００は、当該撮像方向のベクトルに対してピッチ方向に上向き９０°のベクトル（即ち、天面方向のベクトル）を求める。その後、方位算出部２００は、上記で算出した基準方位のベクトルと、天面方向のベクトルとの差分から、天面方向の水平方位（即ち、天面方位）を求める。例えば、方位算出部２００は、この天面方位として、基準方位（例えば北）を基準とした方位角ψ（ψ＝０°〜３６０°）を求める。
【００９４】
［３．３．コンパス画像の表示処理］
次に、図１３〜図１６を参照して、撮像装置１０を真下に向けて撮像したときに、天面方位を表すコンパス画像３１２、３１６を表示する処理について詳述する。
【００９５】
上述したように、方位算出部２００は天面方位（方位角ψ）を算出し、該天面方位を表す情報を、方位変換部２０２を介さずにコンパス画像生成部２０４に出力する。すると、コンパス画像生成部２０４は、該天面方位（方位角ψ）を表すコンパス画像３１２を生成し、表示部１３０は該コンパス画像３１２を撮像画像３１０上に重畳表示する。
【００９６】
ここで、図１３及び図１５を参照して、撮像時のコンパス画像３１２の表示態様について説明する。例えば、図１３の例では、真下に向けられた撮像装置１０の天面１０１が北を向いているので、天面方位は北であり（ψ＝０°）、コンパス画像３１２は北を指す。また、図１５の例では、真下に向けられた撮像装置１０の天面１０１が東北を向いているので、天面方位は東であり（ψ＝９０°）、コンパス画像３１２は東を指す。
【００９７】
この図１３と図１５の関係から分かるように、真下を向いている撮像装置１０（図１１参照。）を、地面に対して水平に回転（ロール軸１０５を中心として回転）させた分だけ、表示画面上でコンパス画像３１２が示す方位が変わる（北→東）従って、図１３及び図１５に示すように、ユーザが真下に向けて撮像装置１０を持ちながら右を向いた場合には、方位磁石を地面に置いて右に回転させたときと同様、コンパスの針の方向が変わらないように、コンパス画像３１２を表示することができる。一般に、ユーザが撮像装置１０を横持して真下に向けたときには、ユーザの向いている方向と撮像装置１０の天面方向とが一致する。よって、上記図１３及び図１５のようにコンパス画像３１２を表示することで、ユーザの視点からみて、自然な表示態様で方位を表示できる。
【００９８】
次に、図１４及び図１６を参照して、画像再生時のコンパス画像３１６の表示態様について説明する。図１４は、図１３の状態で記録された撮像画像３１０を再生したときの表示画面であり、図１６は、図１５の状態で記録された撮像画像３１０を再生したときの表示画面である。
【００９９】
第２の実施形態では、第１の実施形態と異なり、表示用の方位と記録用の方位として、同一の方位（天面方位）を用いており、該天面方位の情報が撮像画像３１０の付加情報として記録される。従って、再生時と撮影時とでは、同様の撮像画像及びコンパス画像を表示できる。
【０１００】
例えば、図１４に示す再生画像３１４及びコンパス画像３１６は、図１３に示した撮像時の撮像画像３１０及びコンパス画像３１２と同様に表示部１３０に表示され、再生時のコンパス画像３１６は北を示している。また、図１６に示す再生画像３１４及びコンパス画像３１６も、図１５に示した撮像時の撮像画像３１０及びコンパス画像３１２と同様に表示部１３０に表示され、再生時のコンパス画像３１６は東を示している。ただし、図１５と図１６の関係から分かるように、撮像装置１０を略鉛直方向に向けて撮像された撮像画像３１０を再生するときには、図９に示したような再生画像３０４の回転処理は行われない。
【０１０１】
なお、撮像装置１０を真上に向けて撮像した場合には、方位算出部２００は撮像装置１０の底面方位を算出し、表示部１３０は、撮像時及び再生時に当該底面方位を表すコンパス画像を表示する。かかる算出及び表示処理は、上記の撮像装置１０を真上に向けて撮像した場合と同様であるので、詳細説明は省略する。
【０１０２】
［３．４．方位情報処理方法］
次に、図１７を参照して、第２の実施形態に係る撮像装置１０による方位情報処理方法について説明する。図１７は、第２の実施形態に係る撮像装置１０による方位情報処理方法を示すフローチャートである。
【０１０３】
図１７に示すように、まず、撮像装置１０は、地磁気センサ１７０により、撮像装置１０が存在する場所の例えば３軸方向の地磁気を検出する（Ｓ１００）。さらに、撮像装置１０は、加速度センサ１７２により、撮像装置１０に作用する例えば３軸方向の重力加速度を検出する（Ｓ１０２）。次いで、撮像装置１０は、加速度センサ１７２により検出された加速度情報に基づいて、撮像装置１０の姿勢（ロール角α、ピッチ角β、ヨー角γ）を検出する（Ｓ１０４）。
【０１０４】
次いで、撮像装置１０は、Ｓ１０４で求めた撮像装置１０の姿勢情報に基づいて、撮像部１１０による撮像方向を検出し、該撮像方向が、略鉛直下方、略鉛直上方、又は、該略鉛直下方及び略鉛直上方以外の方向のうちいずれであるかを判別する（Ｓ１０６）。詳細には、撮像装置１０は、撮像装置１０の姿勢情報と、光学系設置情報２２４とから、撮像光学系１１１の光軸方向（即ち、撮像方向）を算出する。次いで、撮像装置１０は、上記姿勢情報のピッチ角βに基づいて、該撮像方向が略鉛直方向であるか否かを判別する。さらに、該撮像方向が略鉛直方向である場合、撮像装置１０は、ピッチ角βに基づいて、該撮像方向が略鉛直下方又は略鉛直上方のいずれであるかを判別する。ピッチ角βが、予め設定された第１の角度範囲内であれば（例えば、９０°−δ＜β＜９０°＋δ）、撮像方向が略鉛直上方であると判別される。また、ピッチ角βが、予め設定された第２の角度範囲内であれば（例えば、−９０°−δ＜β＜−９０°＋δ）、撮像方向が略鉛直下方であると判別される。また、ピッチ角βが、上記第１及び第２の角度範囲外であれば、撮像方向が略鉛直方向ではないと判別される。
【０１０５】
撮像方向が略鉛直下方である場合、撮像装置１０は、Ｓ１００で得られた地磁気情報と、Ｓ１０４で得られた撮像装置１０の姿勢情報とに基づいて、撮像装置１０の天面方向の方位（即ち、天面方位）を算出する（Ｓ１０８）。そして、撮像装置１０は、当該天面方位（方位角ψ）を、方位情報の記録及び表示に利用する（Ｓ１１２）。例えば、撮像装置１０は、天面方位を表すコンパス画像３１２を、撮像画像３１０（スルー画像）とともに表示部１３０に表示する（図１３参照。）。また、撮像装置１０は、撮像画像３１０の記録時に、天面方位を表す方位情報を、撮像画像３１０の付加情報として記録する。さらに、撮像装置１０は、撮像画像３１０の再生時に、当該方位情報に基づき、天面方位を表すコンパス画像３１６を、再生画像３１４とともに表示部１３０に表示する（図１４参照。）。
【０１０６】
一方、撮像方向が略鉛直上方である場合、撮像装置１０は、Ｓ１００で得られた地磁気情報と、Ｓ１０４で得られた撮像装置１０の姿勢情報とに基づいて、撮像装置１０の底面方向の方位（即ち、底面方位）を算出する（Ｓ１１０）。そして、撮像装置１０は、当該底面方位を、方位情報の記録及び表示に利用する（Ｓ１１２）。この利用の具体例は、上記天面方位の場合と同様であるので、詳細説明は省略する。
【０１０７】
また、撮像方向が略鉛直方向でない場合、撮像装置１０は、Ｓ１００で得られた地磁気情報と、Ｓ１０４で得られた撮像装置１０の姿勢情報とに基づいて、撮像方向の方位（即ち、撮像方位）を算出する（Ｓ１１４）。当該撮像方位（方位角θ）は、方位情報の記録に利用される（Ｓ１２２）。例えば、撮像装置１０は、撮像画像３００の記録時に、撮像方位を表す方位情報を、撮像画像３００の付加情報として記録する。
【０１０８】
次いで、撮像装置１０は、上記Ｓ１０４で求めた撮像装置１０の姿勢情報を用いて、表示部１３０のロール方向の回転角（ロール角α）を求める（Ｓ１１６）。さらに、撮像装置１０は、Ｓ１１６で得たロール角αに基づいて、Ｓ１１４で算出した撮像方位（方位角θ）を、表示用の方位（方位角φ）に変換する（Ｓ１１８）。例えば、撮像方位の方位角θに対いてロール角αを減算又加算することで、表示用の方位の方位角φが算出される（φ＝θ±α）。
【０１０９】
当該表示用の方位（方位角φ）は、方位情報の表示に利用される（Ｓ１２０）。例えば、撮像装置１０は、表示用の方位（方位角φ）を表すコンパス画像３０２を、撮像画像３００（スルー画像）とともに表示部１３０に表示する（図６〜図８参照。）。
【０１１０】
以上のように、第２の実施形態に係る方位情報処理方法では、撮像装置１０の姿勢に応じて、表示及び記録する方位を使い分ける。例えば、撮像方向が略鉛直方向である場合には、天面方位又は底面方位（方位角ψ）を求め、該天面方位又は底面方位（方位角ψ）を方位情報の表示及び記録の双方に利用する。一方、撮像方向が略鉛直方向でない場合には、撮像方位（方位角θ）を求めるとともに、撮像方位（方位角θ）をロール角α分だけ補正して、表示用の方位（方位角φ）も求める。そして、撮像方位（方位角θ）を方位情報の記録に利用する一方、表示用の方位（方位角φ）を方位情報の表示に利用する。
【０１１１】
［４．まとめ］
以上、本発明の第１及び第２の実施形態に係る撮像装置１０と方位情報処理方法について説明した。上記実施形態によれば、撮像装置１０は、実際の撮像方向を表す撮像方位（方位角θ）を算出するとともに、撮像装置１０の姿勢変化（表示部１３０のロール方向の回転角α）に応じて撮像方位（方位角θ）を補正して、表示用の方位（方位角φ）も算出する。そして、撮像装置１０は、撮像画像とともに記録するための方位として、撮像方位（方位角θ）を使用する一方、表示部１３０に表示されてユーザに視認されるコンパス画像３０２の方位として、方位（方位角φ）を使用する。
【０１１２】
これにより、撮影時に、ユーザが撮像装置１０を用いて縦撮りしても、ユーザ視点からみて、正しい方位のコンパス画像３０２を表示できる。さらに、このコンパス画像３０２は、表示部１３０のロール方向の回転に追従して回転せず、ユーザ視点からみて、常に一定の方向を指す。従って、当該ロール方向の回転にかかわらず、ユーザの視点から見て、自然な表示態様でコンパス画像３０２を表示できる。しかも、撮像画像３００の記録時には、実際の撮像方向を表す正しい撮像方位を、撮像画像３００の付加情報として記録できる。従って、画像再生時に、再生画像３０４とともに、その正しい撮像方位をユーザに提示できる。
【０１１３】
また、第２の実施形態によれば、撮像装置１０の撮像方向に応じて、撮像方位、天面方位及び底面方位を使い分け、撮影方向が略鉛直方向でない場合にのみ、上記の撮像方位と表示用の方位を使用する。一方、撮像方向が略鉛直下方又は略鉛直情報である場合は、天面方位又は底面方位を使用し、表示部１３０がロール方向に回転しても、該天面方位又は底面方位をロール角αに応じて変換しない。これにより、ユーザが方位磁石を見ているような自然な表示態様で、天面方位又は底面方位を表すコンパス画像３１２を表示することが可能になり、ユーザに対して直感的に把握しやすい方位情報を提示できる。
【０１１４】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【０１１５】
１０ 撮像装置
１００ ハウジング
１０１ 天面
１０２ 底面
１０５ ロール軸
１０６ ピッチ軸
１０７ ヨー軸
１１０ 撮像部
１１１ 撮像光学系
１１２ 撮像素子
１２０ 信号処理部
１３０ 表示部
１４０ 記録媒体
１５０ 制御部
１５１ ＣＰＵ
１６０ 操作部
１７０ 地磁気センサ
１７２ 加速度センサ
２００ 方位算出部
２０２ 方位変換部
２０４ コンパス画像生成部
２０６ 付加情報管理部
２０８ 記録部
２１０ 再生部
３００、３１０ 撮像画像
３０２、３０６、３１２、３１６ コンパス画像
３０４、３１４ 再生画像
α ロール角
β ピッチ角
γ ヨー角
θ 撮像方位の方位角
φ 表示用の方位の方位角
ψ 天面方位又は底面方位の方位角
【特許請求の範囲】
【請求項１】
被写体を撮像して撮像画像を出力する撮像部と、
地磁気センサにより検出された地磁気情報と、加速度センサにより検出された加速度情報に基づいて、前記撮像部による撮像方向の方位を算出する方位算出部と、
前記加速度情報に基づいて、撮像装置のロール方向の回転角を算出し、前記ロール方向の回転角に基づいて、前記撮像方向の方位を表示用の方位に変換する方位変換部と、
前記表示用の方位を表すコンパス画像を、前記撮像画像とともに表示する表示部と、
前記撮像方向の方位を表す方位情報を、前記撮像画像に関連づけて記録媒体に記録する記録部と、
を備える、撮像装置。
【請求項２】
前記方位算出部は、前記加速度情報に基づいて、前記撮像装置のピッチ方向の回転角を算出し、前記ピッチ方向の回転角に基づいて、前記撮像方向が略鉛直方向であるか否かを検出し、
前記撮像方向が略鉛直方向である場合、
前記方位算出部は、前記撮像方向の方位に代えて、前記撮像方向に対して垂直な方向の方位を算出し、
前記表示部は、前記表示用の方位を表すコンパス画像に代えて、前記撮像方向に対して垂直な方向の方位を表すコンパス画像を、前記撮像画像とともに表示し、
前記記録部は、前記撮像方向の方位を表す方位情報に代えて、前記撮像方向に対して垂直な方向の方位を表す方位情報を、前記撮像画像に関連づけて前記記録媒体に記録する、請求項１に記載の撮像装置。
【請求項３】
前記方位算出部は、前記加速度情報に基づいて、前記撮像装置のピッチ方向の回転角を算出し、前記ピッチ方向の回転角に基づき、前記撮像方向が略鉛直下方であるか否かを検出し、
前記撮像方向が略鉛直下方である場合、
前記方位算出部は、前記撮像方向の方位に代えて、前記撮像装置の天面方向の方位を算出し、
前記表示部は、前記表示用の方位を表すコンパス画像に代えて、前記天面方向の方位を表すコンパス画像を、前記撮像画像とともに表示し、
前記記録部は、前記撮像方向の方位を表す方位情報に代えて、前記天面方向の方位を表す方位情報を、前記撮像画像に関連づけて前記記録媒体に記録する、請求項２に記載の撮像装置。
【請求項４】
前記方位算出部は、前記加速度情報に基づいて、前記撮像装置のピッチ方向の回転角を算出し、前記ピッチ方向の回転角に基づき、前記撮像方向が略鉛直上方であるか否かを検出し、
前記撮像方向が略鉛直上方である場合、
前記方位算出部は、前記撮像方向の方位に代えて、前記撮像装置の底面方向の方位を算出し、
前記表示部は、前記表示用の方位を表すコンパス画像に代えて、前記底面方向の方位を表すコンパス画像を、前記撮像画像とともに表示し、
前記記録部は、前記撮像方向の方位を表す方位情報に代えて、前記底面方向の方位を表す方位情報を、前記撮像画像に関連づけて前記記録媒体に記録する、請求項２に記載の撮像装置。
【請求項５】
前記記録媒体に記録された前記撮像画像及び前記方位情報を再生する再生部をさらに備え、
前記表示部は、前記再生部により再生された前記方位情報の方位を表すコンパス画像を、前記再生部により再生された前記撮像画像とともに表示する、請求項１〜４のいずれか一項に記載の撮像装置。
【請求項６】
撮像部により被写体を撮像しながら、地磁気センサにより検出された地磁気情報と、加速度センサにより検出された加速度情報に基づいて、前記撮像部による撮像方向の方位を算出するステップと、
前記加速度情報に基づいて、撮像装置のロール方向の回転角を算出し、前記ロール方向の回転角に基づいて、前記撮像方向の方位を表示用の方位に変換するステップと、
前記表示用の方位を表すコンパス画像を、前記撮像部から出力された撮像画像とともに表示するステップと、
前記撮像方向の方位を表す方位情報を、前記撮像画像に関連づけて記録媒体に記録するステップと、
を含む、方位情報処理方法。
【請求項７】
撮像部により被写体を撮像しながら、地磁気センサにより検出された地磁気情報と、加速度センサにより検出された加速度情報に基づいて、前記撮像部による撮像方向の方位を算出するステップと、
前記加速度情報に基づいて、撮像装置のロール方向の回転角を算出し、前記ロール方向の回転角に基づいて、前記撮像方向の方位を表示用の方位に変換するステップと、
前記表示用の方位を表すコンパス画像を、前記撮像部から出力された撮像画像とともに表示するステップと、
前記撮像方向の方位を表す方位情報を、前記撮像画像に関連づけて記録媒体に記録するステップと、
をコンピュータに実行させるためのプログラム。
【請求項１】
被写体を撮像して撮像画像を出力する撮像部と、
地磁気センサにより検出された地磁気情報と、加速度センサにより検出された加速度情報に基づいて、前記撮像部による撮像方向の方位を算出する方位算出部と、
前記加速度情報に基づいて、撮像装置のロール方向の回転角を算出し、前記ロール方向の回転角に基づいて、前記撮像方向の方位を表示用の方位に変換する方位変換部と、
前記表示用の方位を表すコンパス画像を、前記撮像画像とともに表示する表示部と、
前記撮像方向の方位を表す方位情報を、前記撮像画像に関連づけて記録媒体に記録する記録部と、
を備える、撮像装置。
【請求項２】
前記方位算出部は、前記加速度情報に基づいて、前記撮像装置のピッチ方向の回転角を算出し、前記ピッチ方向の回転角に基づいて、前記撮像方向が略鉛直方向であるか否かを検出し、
前記撮像方向が略鉛直方向である場合、
前記方位算出部は、前記撮像方向の方位に代えて、前記撮像方向に対して垂直な方向の方位を算出し、
前記表示部は、前記表示用の方位を表すコンパス画像に代えて、前記撮像方向に対して垂直な方向の方位を表すコンパス画像を、前記撮像画像とともに表示し、
前記記録部は、前記撮像方向の方位を表す方位情報に代えて、前記撮像方向に対して垂直な方向の方位を表す方位情報を、前記撮像画像に関連づけて前記記録媒体に記録する、請求項１に記載の撮像装置。
【請求項３】
前記方位算出部は、前記加速度情報に基づいて、前記撮像装置のピッチ方向の回転角を算出し、前記ピッチ方向の回転角に基づき、前記撮像方向が略鉛直下方であるか否かを検出し、
前記撮像方向が略鉛直下方である場合、
前記方位算出部は、前記撮像方向の方位に代えて、前記撮像装置の天面方向の方位を算出し、
前記表示部は、前記表示用の方位を表すコンパス画像に代えて、前記天面方向の方位を表すコンパス画像を、前記撮像画像とともに表示し、
前記記録部は、前記撮像方向の方位を表す方位情報に代えて、前記天面方向の方位を表す方位情報を、前記撮像画像に関連づけて前記記録媒体に記録する、請求項２に記載の撮像装置。
【請求項４】
前記方位算出部は、前記加速度情報に基づいて、前記撮像装置のピッチ方向の回転角を算出し、前記ピッチ方向の回転角に基づき、前記撮像方向が略鉛直上方であるか否かを検出し、
前記撮像方向が略鉛直上方である場合、
前記方位算出部は、前記撮像方向の方位に代えて、前記撮像装置の底面方向の方位を算出し、
前記表示部は、前記表示用の方位を表すコンパス画像に代えて、前記底面方向の方位を表すコンパス画像を、前記撮像画像とともに表示し、
前記記録部は、前記撮像方向の方位を表す方位情報に代えて、前記底面方向の方位を表す方位情報を、前記撮像画像に関連づけて前記記録媒体に記録する、請求項２に記載の撮像装置。
【請求項５】
前記記録媒体に記録された前記撮像画像及び前記方位情報を再生する再生部をさらに備え、
前記表示部は、前記再生部により再生された前記方位情報の方位を表すコンパス画像を、前記再生部により再生された前記撮像画像とともに表示する、請求項１〜４のいずれか一項に記載の撮像装置。
【請求項６】
撮像部により被写体を撮像しながら、地磁気センサにより検出された地磁気情報と、加速度センサにより検出された加速度情報に基づいて、前記撮像部による撮像方向の方位を算出するステップと、
前記加速度情報に基づいて、撮像装置のロール方向の回転角を算出し、前記ロール方向の回転角に基づいて、前記撮像方向の方位を表示用の方位に変換するステップと、
前記表示用の方位を表すコンパス画像を、前記撮像部から出力された撮像画像とともに表示するステップと、
前記撮像方向の方位を表す方位情報を、前記撮像画像に関連づけて記録媒体に記録するステップと、
を含む、方位情報処理方法。
【請求項７】
撮像部により被写体を撮像しながら、地磁気センサにより検出された地磁気情報と、加速度センサにより検出された加速度情報に基づいて、前記撮像部による撮像方向の方位を算出するステップと、
前記加速度情報に基づいて、撮像装置のロール方向の回転角を算出し、前記ロール方向の回転角に基づいて、前記撮像方向の方位を表示用の方位に変換するステップと、
前記表示用の方位を表すコンパス画像を、前記撮像部から出力された撮像画像とともに表示するステップと、
前記撮像方向の方位を表す方位情報を、前記撮像画像に関連づけて記録媒体に記録するステップと、
をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１１−１３５１６５（Ｐ２０１１−１３５１６５Ａ）
【公開日】平成２３年７月７日（２０１１．７．７）
【国際特許分類】
【出願番号】特願２００９−２９０６９５（Ｐ２００９−２９０６９５）
【出願日】平成２１年１２月２２日（２００９．１２．２２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年７月７日（２０１１．７．７）
【国際特許分類】
【出願日】平成２１年１２月２２日（２００９．１２．２２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]