情報端末装置
【課題】地磁気センサを搭載する必要がなく、利用者の向きを推定したり、その推定結果に従って表示部の表示情報を制御したりすることができる、信頼性の高い情報端末装置を提供すること。
【解決手段】生成部12は、撮像部11により取得された利用者周囲の画像を入力とし、その特徴量から周囲情報を生成するとともに該周囲情報に基準方位を設定する。推定部13は、撮像部11により取得された１枚の画像から特徴量を抽出し、該特徴量を周囲情報と比較することにより、１枚の画像の、基準方位に対する方位を推定する。制御部15は、メモリ14から表示情報を読み出すともに、推定部13により推定された方位に応じて、表示情報を制御し、表示部16に表示させる。
【解決手段】生成部12は、撮像部11により取得された利用者周囲の画像を入力とし、その特徴量から周囲情報を生成するとともに該周囲情報に基準方位を設定する。推定部13は、撮像部11により取得された１枚の画像から特徴量を抽出し、該特徴量を周囲情報と比較することにより、１枚の画像の、基準方位に対する方位を推定する。制御部15は、メモリ14から表示情報を読み出すともに、推定部13により推定された方位に応じて、表示情報を制御し、表示部16に表示させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報端末装置に関し、特に、撮像部により取得された画像を解析することによって利用者の向きを推定したり、その推定結果に従って表示部の表示情報を制御したりすることができる情報端末装置に関する。
【背景技術】
【０００２】
利用者の位置情報や利用者の向きなどの方位情報を取得し、取得された位置情報や方位情報に関連した地理的情報などの提供を受けることができる情報端末装置が存在する。情報端末装置で位置情報や方位情報を取得する手法は、特許文献１−３に記載されているように、公知である。
【０００３】
特許文献１には、情報端末装置に着脱可能な外装パネルの一機能として、全地球測位システム(Global Positioning System : GPS)装置および地磁気センサが記載されている。
【０００４】
特許文献２には、偏角補正および伏角補正を行うことにより、正確に真北と携帯電話機の表示画面の向きとの関係を知ることができる携帯電話機および携帯電話システムが記載されている。
【０００５】
特許文献３には、情報端末装置内部での磁界変化のイベントを検知し、地磁気センサによる地磁気検出値の補正用データを用いることにより、精度良く方位を求めることができる携帯方位算出装置が記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−２９５０７７号公報
【特許文献２】特開２００６−９４３６８号公報
【特許文献３】特開２００８−２９２４９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１のGPS装置や地磁気センサ、特許文献２の携帯電話機では、地磁気センサが情報端末装置から受ける磁場の影響を考慮していない。微弱な地磁気を検出する地磁気センサは、情報端末装置の部品が発する磁場の影響を受けやすいので、特許文献１のGPS装置や地磁気センサ、特許文献２の携帯電話機では、正確な方位情報を取得することが難しいという課題がある。
【０００８】
特許文献３では、地磁気センサによる地磁気検出値に、静的な磁場に対する補正値を導入することを提案している。しかし、この携帯方位算出装置では、情報端末装置の動作時に生じる動的な磁場変化を考慮していない。したがって、これでも正確な方位情報を取得することが難しいという課題がある。
【０００９】
以上のように、特許文献１−３に記載の先行技術のいずれにおいても、正確な方位情報を取得することが難しく、装置の信頼性が低いという課題がある。また、特許文献１−３に記載の先行技術は、方位情報を取得するために地磁気センサを使用することを前提としているので、地磁気センサを搭載するスペースの確保および部品の密集に伴う磁場強度の増加に対する防護の必要性が生じ、装置としての小型化が困難であるという課題もある。
【００１０】
本発明の目的は、上記課題を解決し、地磁気センサを搭載する必要がなく、利用者の向きを推定したり、その推定結果に従って表示部の表示情報を制御したりすることができる、信頼性の高い情報端末装置を提供することにある。
【課題を解決するための手段】
【００１１】
上記目的を達成するため、本発明は、画像を取得する撮像部と、前記撮像部により一定間隔で予め取得された利用者周囲の所定範囲の複数の画像を入力とし、該複数枚の画像各々から特徴量を抽出し、抽出された特徴量を用いて周囲情報を生成するとともに該周囲情報に基準方位を設定する生成部と、前記生成部により周囲情報が生成されて基準方位が設定された後、前記撮像部により取得された１枚の画像から、前記生成部により抽出された特徴量と同じ特徴量を抽出し、該特徴量を周囲情報と比較することにより、前記撮像部により取得された１枚の画像の、基準方位に対する方位を推定する推定部を備える点に第１の特徴がある。
【００１２】
また、本発明は、前記撮影部が、利用者周囲の全方位の複数枚の画像を取得し、該複数枚の画像は、互いに一部が重なり合う点に第２の特徴がある。
【００１３】
また、本発明は、前記生成部が、前記撮影部により取得された複数枚の画像各々から特徴量を抽出し、該複数枚の画像各々から抽出された特徴量の一致度から検出される該複数枚の画像の位置関係に従って重ね合わせ処理する機能を備える点に第３の特徴がある。
【００１４】
また、本発明は、前記生成部が、前記撮影部により取得された複数枚の画像各々から特徴量を抽出し、該複数枚の画像各々から抽出された特徴量を合成して周囲情報を生成する機能を備える点に第４の特徴がある。
【００１５】
また、本発明は、前記生成部が、前記撮影部により取得された複数枚の画像各々から角領域を特徴量として抽出し、角領域の分布の重なり度合いを複数枚の画像の特徴量の一致度とし、該一致度が高い位置関係で複数枚の画像を重ね合わせ処理したときの画像あるいは角領域の分布を周囲情報として生成する機能を備える点に第５の特徴がある。
【００１６】
また、本発明は、前記生成部が、前記撮影部により取得された複数枚の画像各々を一次元射影した信号を特徴量として抽出し、該特徴量を互いにずらしながら画素当たり相関値を算出し、該相関値を複数枚の画像の特徴量の一致度とし、該一致度が高い位置関係で複数枚の画像の特徴量を重ね合わせ処理したときの一次元射影の信号を周囲情報として生成する機能を備える点に第６の特徴がある。
【００１７】
また、本発明は、前記生成部が、前記撮影部により取得された複数枚の画像の取得順序が既知である場合に、重ね合わせ処理の探索範囲を限定することで、計算量を削減しながらロバストな周囲情報を生成する機能を備える点に第７の特徴がある。
【００１８】
また、本発明は、前記生成部が、入力される基準方位を周囲情報に設定するとともに、入力された基準方位以外の方位を、周囲情報を均等分割して設定する機能を備える点に第８の特徴がある。
【００１９】
また、本発明は、前記生成部が、天体の方位が指示されたとき、天体の絶対的方位を算出し、該天体の絶対的方位を基準方位として周囲情報に設定するとともに、該基準方位以外の方位を、周囲情報を均等分割して設定する機能を備える点に第９の特徴がある。
【００２０】
また、本発明は、前記生成部が、前記第５ないし９の特徴での機能の少なくとも２つを併用できるようになっている点に第１０の特徴がある。
【００２１】
また、本発明は、実際の太陽の方位が指示されたとき、天体の絶対的方位として太陽の絶対的な方位を位置情報と方位情報から算出する点に第１１の特徴がある。
【００２２】
また、本発明は、前記推定部が、前記生成部により生成される特徴量と同一の特徴量および前記生成部での重ね合わせ処理と同一の重ね合わせ処理を用いて、前記撮影部により取得された１枚の画像の、基準方位に対する方位を推定する機能を備える点に第１２の特徴がある。
【００２３】
また、本発明は、さらに、表示情報を記憶するメモリと、前記メモリから表示情報を読み出すともに、前記推定部により推定された、基準方位に対する方位に応じて、表示情報を制御する制御部と、前記制御部により制御された表示情報を表示する表示部を備える点に第１３の特徴がある。
【発明の効果】
【００２４】
本発明は、周囲情報および撮像部により取得された画像を解析することにより該画像の方位を推定する。これにより推定された画像の方位から利用者の向きを推定することができる。この推定は、ソフトウェアで実現可能であるので、情報端末装置にジャイロや地磁気センサなどの特別なハードウェアを組み込む必要がない。
【００２５】
また、推定された画像の方位の変化に応じて表示部での情報表示を制御することにより、利用者は、空間的位置で向きを変えるという操作で情報表示を制御できる。これにより、利用者は、位置情報と方位情報に対応づけられた情報表示の操作を、実空間と対応づけながら直感的に行うことが可能となり、信頼性の高い情報端末装置を提供することができる。
【図面の簡単な説明】
【００２６】
【図１】本発明の一実施形態を示す機能ブロック図である。
【図２】本発明を携帯電話機と想定した場合の外観図である。
【図３】周囲情報の生成のための１手法の説明図である。
【図４】周囲情報の生成のための別手法の説明図である。
【図５】周囲情報の生成のための別手法の説明図である。
【図６】太陽の方位算出の説明図である。
【図７】本発明を地図の表示制御に適用した場合の表示例を示す図である。
【図８】本発明を画像への情報付加に適用した場合の表示例を示す図である。
【発明を実施するための形態】
【００２７】
以下、図面を参照して本発明を説明する。図１は、本発明の一実施形態を示す機能ブロック図であり、図２は、情報端末装置として携帯電話機を想定した場合の外観図(正面図と側面図)である。
【００２８】
本実施形態の情報端末装置は、撮影部11、生成部12、推定部13、メモリ14、制御部15および表示部16を備える。情報端末装置は、例えば携帯電話機であるが、PCとカメラの組み合わせでもよい。
【００２９】
撮影部11は、情報端末装置に設置されたデジタルカメラで構成される。情報端末装置が携帯電話機の場合、その内蔵カメラを撮影部11として利用でき、情報端末装置がPCとカメラの組み合わせの場合、撮影部11は、PCに付加される。
【００３０】
撮影部11は、利用者周囲を撮影対象として、風景を含む画像を取得する。方位推定に先立つ準備時において、撮影部11は、利用者の周囲360度の範囲の風景を一定間隔で撮影し、利用者の周囲全方位の複数枚の画像を取得する。また、方位推定時、撮影部11は、利用者の周囲の特定方位の１枚の画像を取得する。準備時に撮影部11により取得された複数枚の画像は、生成部12に出力され、方位推定時に撮影部11により取得された１枚の画像は、推定部13に出力される。
【００３１】
生成部12は、準備時に撮像部11により取得された複数枚の画像から特徴量を抽出し、抽出された特徴量から利用者の周囲情報を生成するとともに周囲情報に基準方位を設定する。
【００３２】
推定部13は、方位推定時に撮影部11により取得された１枚の画像から、生成部12により抽出された特徴量と同じ特徴量を抽出し、抽出された特徴量を準備時に先に生成部12により生成された周囲情報と比較することにより、１枚の画像の方位を推定する。
【００３３】
メモリ14は、文字情報や地図情報などの情報を格納している。制御部15は、メモリ14に格納されている情報を読み出して表示部12に表示させる。この際、制御部15は、推定部13で推定された方位に従って情報表示を制御する。表示部16は、制御部15での制御に従って情報を表示する。
【００３４】
なお、図２には、撮像部11、生成部12、推定部13、メモリ14、制御部15および表示部16の、携帯電話機内での大体の位置を示している。
【００３５】
次に、図１の情報端末装置における動作を説明する。
【００３６】
まず、方位推定に先立つ準備時の動作について説明する。準備時、利用者は、自分の位置を移動することなく、撮影部11により周囲360度の範囲の風景を一定間隔で撮影する。これにより取得された複数枚の画像は、生成部12に出力される。
【００３７】
生成部12は、撮影部11により取得された複数枚の画像を入力し、特徴量の抽出および重ね合わせ処理を行って周囲情報を生成する。
【００３８】
撮影部11により取得された複数枚の画像に重複がなければ、複数枚の画像各々から抽出された特徴量をそのまま合成して周囲情報を生成できる。しかし、複数枚の画像に一部重複がある場合には、その重複をなくして周囲情報を生成する必要がある。
【００３９】
そこで、まず、撮影部11により取得された複数枚の画像各々から特徴量を抽出する。次に、抽出された特徴量を比較して類似箇所を探索し、類似箇所が存在する場合には、類似箇所同士を重ね合わせ処理して周囲情報を生成する。
【００４０】
また、生成部12は、周囲情報に基準方位、例えば、絶対的方位「西」を設定する。基準方位が設定された周囲情報は、生成部12に保持され、方位推定時に推定部13へ出力される。
【００４１】
生成部12で周囲情報を生成する際に抽出する特徴量としては、例えば、SIFT(Scale Invariant Feature Transformations)特徴量を利用できる。また、周囲情報を生成する重ね合わせ処理には、例えば、下記文献に記載の手法を利用することができる。
【００４２】
M.Brown and D.G.Lowe,"Recognising Panoramas",In Proceedings of the 9th International Conference on Computer Vision(ICCV), pp.1218-1225, Oct. 2003.
【００４３】
図３は、上記文献に記載の手法を利用した場合の周囲情報の生成を説明する図である。図３(A)は、複数枚の画像が重ね合わされた状態を示し、図３(B)は、図３(A)の複数枚の画像の重ね合わせ処理で生成された周囲情報を示す。上記文献に記載されているように、重ね合わせ処理は、複数枚の画像各々から特徴量として抽出される角領域(エッジコーナ部)の分布を利用して行うことができる。この場合、各画像から抽出される角領域の分布の重なり度合いを一致度として算出し、該一致度が高い位置関係で複数枚の画像を重ね合わせる。周囲情報として利用者の周囲360度の２次元画像あるいは角領域の分布が生成される。
【００４４】
図４、図５は、別の手法による周囲情報の生成を説明する図である。この手法では、特徴量として画像の垂直方向に画素値の加算した値、すなわち画像を一次元射影した信号を利用する。図４(A)は１枚の画像を示し、図４(B)は、図４(A)の画像の垂直方向に画素値を加算した値を示す。また、図５(A)は、複数枚の画像が重ね合わされた状態を示し、図５(B)は、図５(A)の複数枚の画像が重ね合わせ処理された画像の垂直方向の画素値の加算値を示す。この場合、図５(A)の複数枚の画像から抽出された特徴量が重ね合わされて図５(B)が生成されるので、これを周囲情報として利用できる。
【００４５】
図４、図５に示す手法では、複数の特徴量の間の差分二乗和が最小値を取る組み合わせおよび移動量を求めることにより画像を重ね合わせることができる。
【００４６】
具体的には、例えば、ｎｎ枚の画像Ｉｉ(０≦ｉ＜ｎｎ)からそれぞれ横幅ｎｗの要素数からなるｎｎ個の一次元ベクトルｖｉ，ｊ(０≦ｊ＜ｎｗ)として特徴量(画像の垂直方向に画素値の加算した値)を算出する。次に、式(1)に示すコスト関数ｅを最小とするｖｐおよびｖｑの組み合わせおよび移動量ｋを求める。ただし、０＜ｋ＜ｎｗである。
【００４７】
【数１】
【００４８】
コスト関数ｅは、式(1)に限られるものではなく、別の式を用いることもできる。例えば、明るさの変動に対するロバスト性を持たせるために、ｖｐおよびｖｑから平均値を削除した式(2)をコスト関数ｅとすることもできる。なお、式(2)中のE(ｖ)は、ｖの平均値を意味する。
【００４９】
【数２】
【００５０】
また、画素値としては、輝度値以外にRGBの値を利用することもできる。RGBの値を利用する場合には、RGBそれぞれを１チャネルとし、１枚の画像当たり３チャネルの一次元ベクトルを生成し、チャネルごとのコスト値の総和を求める式をコスト関数とすればよい。
【００５１】
なお、上記何れの手法においても、複数枚の画像の取得順序が既知である場合には、重ね合わせ処理での探索範囲を限定することができる。例えば、複数枚の画像が撮影部11により連続的に撮影されたものであるときは、ｐ＝ｑ＋１と設定することができる。これにより重ね合わせ処理での組み合わせの数を削減し、計算負荷を低減させることができる。
【００５２】
次に、周囲情報への基準方位の設定について説明する。以下では、基準方位を絶対的方位とする場合について説明する。しかし、基準方位は、絶対的方位でなくてもよい。例えば、本発明を、利用者が向いている方位(絶対的方位)を推定するための電子コンパスに適用する場合には、基準方位を絶対的方位とする必要があるが、利用者の向きに応じて単に情報表示を制御するユーザインタフェースに適用する場合には、基準方位は周囲情報の周方向で基準となる座標でよい。
【００５３】
基準方位を周囲情報に設定する際、絶対的方位が分かっている場合には、手動で該基準方位を周囲情報に設定すればよい。基準方位を設定すれば、該基準方位を基に他の方位を求めることができる。すなわち、１カ所の方位を手動で設定すれば、360度の周囲情報を均等に分割して、設定されない他の方位を割り振ることができる。
【００５４】
絶対的方位が不明である場合には、天体、例えば太陽を基準として周囲情報に方位を設定することができる。この場合には、まず、時刻情報と位置情報から太陽の方位を基準方位として算出する。
【００５５】
時刻情報は、情報端末装置内蔵の時計から取得することができる。また、位置情報は、情報端末装置内蔵のGPS装置から取得することができる。GPS装置は、情報端末装置に設置されているGPSアンテナでの受信信号に基づいて位置情報を取得する。位置情報は、通信アンテナにより無線接続された無線基地局に記録された位置情報を利用して取得することもでき、利用者が手動で地名または住所などをサーバに送信し、サーバに蓄積された地理情報データベースから取得することもできる。
【００５６】
利用者が実際の太陽と正対し、基準方位の設定を情報端末装置に指示するとともに撮影部11によりその方向の画像を取得すると、生成部12は、取得された画像の方位が太陽の方位であるとして、絶対的方位(算出された太陽の方位)を周囲情報に設定する。太陽の方位の画像と周囲情報との対応が分かれば、周囲情報に太陽の方位を設定し、周囲情報を均等に分割して他の方位を設定することができる。
【００５７】
図６は、太陽の方位算出の説明図である。緯度Ｌ、経度φである地点での太陽高度ｈと太陽方位角ａは、球面三角法を適用すると、下記式(3)〜(5)の関係がある。
【００５８】
【数３】
【００５９】
【数４】
【００６０】
【数５】
【００６１】
ここで、Ｈ，ｄはそれぞれ、時角、太陽赤経である。なお、日本の標準時間JSTと標準子午線(135度)を使うと時角Ｈは、下記式(6)で与えられる。
【００６２】
【数６】
【００６３】
ここで、Ｅｑは、平均太陽時による時刻と真太陽時による時刻との差分(均時差)である。均時差Ｅｑは、下記式(7)で得られる。
【００６４】
【数７】
【００６５】
ここで、ｗ＝２π/３６５(閏年は、ｗ＝２π/３６６)、Ｊは、(元旦からの通算日数−１)である。したがって、太陽高度ｈおよび太陽方位ａは、下記式(8),(9)で与えられる。
【００６６】
【数８】
【００６７】
【数９】
【００６８】
ここで、αは、太陽赤緯であり、下記式(10)で求められる。
【００６９】
【数１０】
【００７０】
なお，太陽方位ａは、真南を０度とし、南西方向を正、南東方向を負の角度で表している。
【００７１】
推定部13は、生成部12により周囲情報が生成された後に、撮影部11により取得された１枚の画像および生成部12により生成された周囲情報を入力とし、１枚の画像の特徴量と最も類似する、周囲情報中の部分を探索することにより１枚の画像の方位を推定する。利用者は、自分の前方向に情報端末装置の撮像部11を向けて撮像対象を撮像するのが普通であるから、撮像部11により取得された１枚の画像の方位から利用者の向きを推定することができる。
【００７２】
そのために、まず、生成部12により周囲情報が生成された後に撮影部11により取得された１枚の画像から、生成部12が周囲情報を生成する際に抽出した特徴量と同じ特徴量を抽出する。次に、生成部11での重ね合わせ処理と同様の処理を適用することにより、抽出された特徴量が周囲情報のどの部分に対応するかを探索し、対応する部分の周方向における座標を求める。この座標は、周囲情報の基準方位からの相対的移動量として求められる。これにより求められた周囲情報における座標は、周囲情報に設定された基準方位を参照して方位情報に変換され、制御部15へ出力される。
【００７３】
メモリ14上には、表示部16で表示する表示情報が予め展開されており、制御部15は、推定部13で推定された方位およびその変化に応じてメモリ上の該当する情報を読み出し、表示部に送出する。
【００７４】
表示部16は、制御部15から送出されてきた表示情報を表示する。この際、制御部15は、推定部13で推定された方位およびその変化に応じて表示を制御する。例えば、撮像部11を動作させた状態で、利用者が情報端末装置の空間的方位を任意に連続的に変化させた場合、制御部15は、表示部16での表示情報を連続的に変化させる。
【００７５】
利用者は、情報端末装置の空間的方位を任意方向に変化させることにより、表示部16で表示される画面や画面内のカーソル位置などをアナログ的に変化させることができるので、画面スクロールやカーソル位置などの操作を直感的に行うことができる。また、表示部16に、例えば、地図、画像、Webページなどを表示させ、撮影部11を任意方向に向けることにより、その方位に応じて文字や地図などの画像を回転あるいはスクロール移動させたり、その視点を移動させたりすることもできる。
【００７６】
図７は、本発明を地図の表示制御に適用した場合の表示例である。ここでは、推定部13により推定された方位が常に表示画面の上側になるようにして地図を表示させる例を示している。本発明は、このような地図の表示制御を行う地図表示アプリケーションに適用できる。
【００７７】
図８は、本発明を画像への情報付加に適用した場合の表示例である。ここでは、撮影部11により取得された山岳画像が表示部16に表示されており、この表示に対して山岳の名称を重畳して表示している。この場合、利用者が情報端末装置の空間的方位を変化させると、その変化に応じて撮影部11により取得される画像が変化し、新たな方位が推定され、重畳される情報やその表示位置が制御される。本発明は、このような位置情報と方位情報から画像の画角に入ると推定される物体に対して情報を付加する情報重畳アプリケーションにも適用できる。
【００７８】
以上、実施形態を説明したが、本発明は、上記実施形態に限定されず、種々に変形されたものも含む。例えば、上記実施形態では、基準方位として絶対的方位を設定しているが、絶対的方位を問題としない情報の表示制御では、基準方位として単に基準とする方位を設定し、その方位からの周方向ズレに従って表示を制御するようにすることができる。
【００７９】
また、上記実施形態では、利用者の周囲全方向の周囲情報を生成しているが、周囲情報は、利用者の周囲全方向とする必要はなく、周囲の一部所定範囲でもよい。ただし、絶対的方位が必要な場合、１カ所の絶対的な方位から他の方位を割り振ることができないので、手動で他の方位まで設定したり、２カ所の絶対的方位から他の方位を割り振ることなどが必要である。
【００８０】
また、上記実施形態では、絶対的方位を太陽の方位から求めるものとしたが、月などの他の天体の方位から絶対的方位を求めるようにしてもよい。
さらに、上述の、角領域を特徴量として抽出しての周囲情報の生成、画像各々を一次元射影した信号を特徴量として抽出しての周囲情報の生成、重ね合わせ処理の探索範囲を限定しての周囲情報の生成、周囲情報を均等分割しての基準方位以外の方位の設定、天体の絶対的方位を基準方位とした周囲情報への基準方位以外の方位設定の手法は、２つ以上を適宜併用することができる。
【００８１】
本発明は、利用者が向いている絶対的方位を推定する装置、すなわち電子コンパスとしても有効である。電子コンパスは、図１の撮影部11、生成部12、推定部13および推定部13で構成でき、推定部13で推定された方位を利用者が向いている絶対的方位と推定すればよい。
【符号の説明】
【００８２】
11・・・撮影部、12・・・生成部、13・・・推定部、14・・・メモリ、15・・・制御部、16・・・表示部
【技術分野】
【０００１】
本発明は、情報端末装置に関し、特に、撮像部により取得された画像を解析することによって利用者の向きを推定したり、その推定結果に従って表示部の表示情報を制御したりすることができる情報端末装置に関する。
【背景技術】
【０００２】
利用者の位置情報や利用者の向きなどの方位情報を取得し、取得された位置情報や方位情報に関連した地理的情報などの提供を受けることができる情報端末装置が存在する。情報端末装置で位置情報や方位情報を取得する手法は、特許文献１−３に記載されているように、公知である。
【０００３】
特許文献１には、情報端末装置に着脱可能な外装パネルの一機能として、全地球測位システム(Global Positioning System : GPS)装置および地磁気センサが記載されている。
【０００４】
特許文献２には、偏角補正および伏角補正を行うことにより、正確に真北と携帯電話機の表示画面の向きとの関係を知ることができる携帯電話機および携帯電話システムが記載されている。
【０００５】
特許文献３には、情報端末装置内部での磁界変化のイベントを検知し、地磁気センサによる地磁気検出値の補正用データを用いることにより、精度良く方位を求めることができる携帯方位算出装置が記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−２９５０７７号公報
【特許文献２】特開２００６−９４３６８号公報
【特許文献３】特開２００８−２９２４９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１のGPS装置や地磁気センサ、特許文献２の携帯電話機では、地磁気センサが情報端末装置から受ける磁場の影響を考慮していない。微弱な地磁気を検出する地磁気センサは、情報端末装置の部品が発する磁場の影響を受けやすいので、特許文献１のGPS装置や地磁気センサ、特許文献２の携帯電話機では、正確な方位情報を取得することが難しいという課題がある。
【０００８】
特許文献３では、地磁気センサによる地磁気検出値に、静的な磁場に対する補正値を導入することを提案している。しかし、この携帯方位算出装置では、情報端末装置の動作時に生じる動的な磁場変化を考慮していない。したがって、これでも正確な方位情報を取得することが難しいという課題がある。
【０００９】
以上のように、特許文献１−３に記載の先行技術のいずれにおいても、正確な方位情報を取得することが難しく、装置の信頼性が低いという課題がある。また、特許文献１−３に記載の先行技術は、方位情報を取得するために地磁気センサを使用することを前提としているので、地磁気センサを搭載するスペースの確保および部品の密集に伴う磁場強度の増加に対する防護の必要性が生じ、装置としての小型化が困難であるという課題もある。
【００１０】
本発明の目的は、上記課題を解決し、地磁気センサを搭載する必要がなく、利用者の向きを推定したり、その推定結果に従って表示部の表示情報を制御したりすることができる、信頼性の高い情報端末装置を提供することにある。
【課題を解決するための手段】
【００１１】
上記目的を達成するため、本発明は、画像を取得する撮像部と、前記撮像部により一定間隔で予め取得された利用者周囲の所定範囲の複数の画像を入力とし、該複数枚の画像各々から特徴量を抽出し、抽出された特徴量を用いて周囲情報を生成するとともに該周囲情報に基準方位を設定する生成部と、前記生成部により周囲情報が生成されて基準方位が設定された後、前記撮像部により取得された１枚の画像から、前記生成部により抽出された特徴量と同じ特徴量を抽出し、該特徴量を周囲情報と比較することにより、前記撮像部により取得された１枚の画像の、基準方位に対する方位を推定する推定部を備える点に第１の特徴がある。
【００１２】
また、本発明は、前記撮影部が、利用者周囲の全方位の複数枚の画像を取得し、該複数枚の画像は、互いに一部が重なり合う点に第２の特徴がある。
【００１３】
また、本発明は、前記生成部が、前記撮影部により取得された複数枚の画像各々から特徴量を抽出し、該複数枚の画像各々から抽出された特徴量の一致度から検出される該複数枚の画像の位置関係に従って重ね合わせ処理する機能を備える点に第３の特徴がある。
【００１４】
また、本発明は、前記生成部が、前記撮影部により取得された複数枚の画像各々から特徴量を抽出し、該複数枚の画像各々から抽出された特徴量を合成して周囲情報を生成する機能を備える点に第４の特徴がある。
【００１５】
また、本発明は、前記生成部が、前記撮影部により取得された複数枚の画像各々から角領域を特徴量として抽出し、角領域の分布の重なり度合いを複数枚の画像の特徴量の一致度とし、該一致度が高い位置関係で複数枚の画像を重ね合わせ処理したときの画像あるいは角領域の分布を周囲情報として生成する機能を備える点に第５の特徴がある。
【００１６】
また、本発明は、前記生成部が、前記撮影部により取得された複数枚の画像各々を一次元射影した信号を特徴量として抽出し、該特徴量を互いにずらしながら画素当たり相関値を算出し、該相関値を複数枚の画像の特徴量の一致度とし、該一致度が高い位置関係で複数枚の画像の特徴量を重ね合わせ処理したときの一次元射影の信号を周囲情報として生成する機能を備える点に第６の特徴がある。
【００１７】
また、本発明は、前記生成部が、前記撮影部により取得された複数枚の画像の取得順序が既知である場合に、重ね合わせ処理の探索範囲を限定することで、計算量を削減しながらロバストな周囲情報を生成する機能を備える点に第７の特徴がある。
【００１８】
また、本発明は、前記生成部が、入力される基準方位を周囲情報に設定するとともに、入力された基準方位以外の方位を、周囲情報を均等分割して設定する機能を備える点に第８の特徴がある。
【００１９】
また、本発明は、前記生成部が、天体の方位が指示されたとき、天体の絶対的方位を算出し、該天体の絶対的方位を基準方位として周囲情報に設定するとともに、該基準方位以外の方位を、周囲情報を均等分割して設定する機能を備える点に第９の特徴がある。
【００２０】
また、本発明は、前記生成部が、前記第５ないし９の特徴での機能の少なくとも２つを併用できるようになっている点に第１０の特徴がある。
【００２１】
また、本発明は、実際の太陽の方位が指示されたとき、天体の絶対的方位として太陽の絶対的な方位を位置情報と方位情報から算出する点に第１１の特徴がある。
【００２２】
また、本発明は、前記推定部が、前記生成部により生成される特徴量と同一の特徴量および前記生成部での重ね合わせ処理と同一の重ね合わせ処理を用いて、前記撮影部により取得された１枚の画像の、基準方位に対する方位を推定する機能を備える点に第１２の特徴がある。
【００２３】
また、本発明は、さらに、表示情報を記憶するメモリと、前記メモリから表示情報を読み出すともに、前記推定部により推定された、基準方位に対する方位に応じて、表示情報を制御する制御部と、前記制御部により制御された表示情報を表示する表示部を備える点に第１３の特徴がある。
【発明の効果】
【００２４】
本発明は、周囲情報および撮像部により取得された画像を解析することにより該画像の方位を推定する。これにより推定された画像の方位から利用者の向きを推定することができる。この推定は、ソフトウェアで実現可能であるので、情報端末装置にジャイロや地磁気センサなどの特別なハードウェアを組み込む必要がない。
【００２５】
また、推定された画像の方位の変化に応じて表示部での情報表示を制御することにより、利用者は、空間的位置で向きを変えるという操作で情報表示を制御できる。これにより、利用者は、位置情報と方位情報に対応づけられた情報表示の操作を、実空間と対応づけながら直感的に行うことが可能となり、信頼性の高い情報端末装置を提供することができる。
【図面の簡単な説明】
【００２６】
【図１】本発明の一実施形態を示す機能ブロック図である。
【図２】本発明を携帯電話機と想定した場合の外観図である。
【図３】周囲情報の生成のための１手法の説明図である。
【図４】周囲情報の生成のための別手法の説明図である。
【図５】周囲情報の生成のための別手法の説明図である。
【図６】太陽の方位算出の説明図である。
【図７】本発明を地図の表示制御に適用した場合の表示例を示す図である。
【図８】本発明を画像への情報付加に適用した場合の表示例を示す図である。
【発明を実施するための形態】
【００２７】
以下、図面を参照して本発明を説明する。図１は、本発明の一実施形態を示す機能ブロック図であり、図２は、情報端末装置として携帯電話機を想定した場合の外観図(正面図と側面図)である。
【００２８】
本実施形態の情報端末装置は、撮影部11、生成部12、推定部13、メモリ14、制御部15および表示部16を備える。情報端末装置は、例えば携帯電話機であるが、PCとカメラの組み合わせでもよい。
【００２９】
撮影部11は、情報端末装置に設置されたデジタルカメラで構成される。情報端末装置が携帯電話機の場合、その内蔵カメラを撮影部11として利用でき、情報端末装置がPCとカメラの組み合わせの場合、撮影部11は、PCに付加される。
【００３０】
撮影部11は、利用者周囲を撮影対象として、風景を含む画像を取得する。方位推定に先立つ準備時において、撮影部11は、利用者の周囲360度の範囲の風景を一定間隔で撮影し、利用者の周囲全方位の複数枚の画像を取得する。また、方位推定時、撮影部11は、利用者の周囲の特定方位の１枚の画像を取得する。準備時に撮影部11により取得された複数枚の画像は、生成部12に出力され、方位推定時に撮影部11により取得された１枚の画像は、推定部13に出力される。
【００３１】
生成部12は、準備時に撮像部11により取得された複数枚の画像から特徴量を抽出し、抽出された特徴量から利用者の周囲情報を生成するとともに周囲情報に基準方位を設定する。
【００３２】
推定部13は、方位推定時に撮影部11により取得された１枚の画像から、生成部12により抽出された特徴量と同じ特徴量を抽出し、抽出された特徴量を準備時に先に生成部12により生成された周囲情報と比較することにより、１枚の画像の方位を推定する。
【００３３】
メモリ14は、文字情報や地図情報などの情報を格納している。制御部15は、メモリ14に格納されている情報を読み出して表示部12に表示させる。この際、制御部15は、推定部13で推定された方位に従って情報表示を制御する。表示部16は、制御部15での制御に従って情報を表示する。
【００３４】
なお、図２には、撮像部11、生成部12、推定部13、メモリ14、制御部15および表示部16の、携帯電話機内での大体の位置を示している。
【００３５】
次に、図１の情報端末装置における動作を説明する。
【００３６】
まず、方位推定に先立つ準備時の動作について説明する。準備時、利用者は、自分の位置を移動することなく、撮影部11により周囲360度の範囲の風景を一定間隔で撮影する。これにより取得された複数枚の画像は、生成部12に出力される。
【００３７】
生成部12は、撮影部11により取得された複数枚の画像を入力し、特徴量の抽出および重ね合わせ処理を行って周囲情報を生成する。
【００３８】
撮影部11により取得された複数枚の画像に重複がなければ、複数枚の画像各々から抽出された特徴量をそのまま合成して周囲情報を生成できる。しかし、複数枚の画像に一部重複がある場合には、その重複をなくして周囲情報を生成する必要がある。
【００３９】
そこで、まず、撮影部11により取得された複数枚の画像各々から特徴量を抽出する。次に、抽出された特徴量を比較して類似箇所を探索し、類似箇所が存在する場合には、類似箇所同士を重ね合わせ処理して周囲情報を生成する。
【００４０】
また、生成部12は、周囲情報に基準方位、例えば、絶対的方位「西」を設定する。基準方位が設定された周囲情報は、生成部12に保持され、方位推定時に推定部13へ出力される。
【００４１】
生成部12で周囲情報を生成する際に抽出する特徴量としては、例えば、SIFT(Scale Invariant Feature Transformations)特徴量を利用できる。また、周囲情報を生成する重ね合わせ処理には、例えば、下記文献に記載の手法を利用することができる。
【００４２】
M.Brown and D.G.Lowe,"Recognising Panoramas",In Proceedings of the 9th International Conference on Computer Vision(ICCV), pp.1218-1225, Oct. 2003.
【００４３】
図３は、上記文献に記載の手法を利用した場合の周囲情報の生成を説明する図である。図３(A)は、複数枚の画像が重ね合わされた状態を示し、図３(B)は、図３(A)の複数枚の画像の重ね合わせ処理で生成された周囲情報を示す。上記文献に記載されているように、重ね合わせ処理は、複数枚の画像各々から特徴量として抽出される角領域(エッジコーナ部)の分布を利用して行うことができる。この場合、各画像から抽出される角領域の分布の重なり度合いを一致度として算出し、該一致度が高い位置関係で複数枚の画像を重ね合わせる。周囲情報として利用者の周囲360度の２次元画像あるいは角領域の分布が生成される。
【００４４】
図４、図５は、別の手法による周囲情報の生成を説明する図である。この手法では、特徴量として画像の垂直方向に画素値の加算した値、すなわち画像を一次元射影した信号を利用する。図４(A)は１枚の画像を示し、図４(B)は、図４(A)の画像の垂直方向に画素値を加算した値を示す。また、図５(A)は、複数枚の画像が重ね合わされた状態を示し、図５(B)は、図５(A)の複数枚の画像が重ね合わせ処理された画像の垂直方向の画素値の加算値を示す。この場合、図５(A)の複数枚の画像から抽出された特徴量が重ね合わされて図５(B)が生成されるので、これを周囲情報として利用できる。
【００４５】
図４、図５に示す手法では、複数の特徴量の間の差分二乗和が最小値を取る組み合わせおよび移動量を求めることにより画像を重ね合わせることができる。
【００４６】
具体的には、例えば、ｎｎ枚の画像Ｉｉ(０≦ｉ＜ｎｎ)からそれぞれ横幅ｎｗの要素数からなるｎｎ個の一次元ベクトルｖｉ，ｊ(０≦ｊ＜ｎｗ)として特徴量(画像の垂直方向に画素値の加算した値)を算出する。次に、式(1)に示すコスト関数ｅを最小とするｖｐおよびｖｑの組み合わせおよび移動量ｋを求める。ただし、０＜ｋ＜ｎｗである。
【００４７】
【数１】
【００４８】
コスト関数ｅは、式(1)に限られるものではなく、別の式を用いることもできる。例えば、明るさの変動に対するロバスト性を持たせるために、ｖｐおよびｖｑから平均値を削除した式(2)をコスト関数ｅとすることもできる。なお、式(2)中のE(ｖ)は、ｖの平均値を意味する。
【００４９】
【数２】
【００５０】
また、画素値としては、輝度値以外にRGBの値を利用することもできる。RGBの値を利用する場合には、RGBそれぞれを１チャネルとし、１枚の画像当たり３チャネルの一次元ベクトルを生成し、チャネルごとのコスト値の総和を求める式をコスト関数とすればよい。
【００５１】
なお、上記何れの手法においても、複数枚の画像の取得順序が既知である場合には、重ね合わせ処理での探索範囲を限定することができる。例えば、複数枚の画像が撮影部11により連続的に撮影されたものであるときは、ｐ＝ｑ＋１と設定することができる。これにより重ね合わせ処理での組み合わせの数を削減し、計算負荷を低減させることができる。
【００５２】
次に、周囲情報への基準方位の設定について説明する。以下では、基準方位を絶対的方位とする場合について説明する。しかし、基準方位は、絶対的方位でなくてもよい。例えば、本発明を、利用者が向いている方位(絶対的方位)を推定するための電子コンパスに適用する場合には、基準方位を絶対的方位とする必要があるが、利用者の向きに応じて単に情報表示を制御するユーザインタフェースに適用する場合には、基準方位は周囲情報の周方向で基準となる座標でよい。
【００５３】
基準方位を周囲情報に設定する際、絶対的方位が分かっている場合には、手動で該基準方位を周囲情報に設定すればよい。基準方位を設定すれば、該基準方位を基に他の方位を求めることができる。すなわち、１カ所の方位を手動で設定すれば、360度の周囲情報を均等に分割して、設定されない他の方位を割り振ることができる。
【００５４】
絶対的方位が不明である場合には、天体、例えば太陽を基準として周囲情報に方位を設定することができる。この場合には、まず、時刻情報と位置情報から太陽の方位を基準方位として算出する。
【００５５】
時刻情報は、情報端末装置内蔵の時計から取得することができる。また、位置情報は、情報端末装置内蔵のGPS装置から取得することができる。GPS装置は、情報端末装置に設置されているGPSアンテナでの受信信号に基づいて位置情報を取得する。位置情報は、通信アンテナにより無線接続された無線基地局に記録された位置情報を利用して取得することもでき、利用者が手動で地名または住所などをサーバに送信し、サーバに蓄積された地理情報データベースから取得することもできる。
【００５６】
利用者が実際の太陽と正対し、基準方位の設定を情報端末装置に指示するとともに撮影部11によりその方向の画像を取得すると、生成部12は、取得された画像の方位が太陽の方位であるとして、絶対的方位(算出された太陽の方位)を周囲情報に設定する。太陽の方位の画像と周囲情報との対応が分かれば、周囲情報に太陽の方位を設定し、周囲情報を均等に分割して他の方位を設定することができる。
【００５７】
図６は、太陽の方位算出の説明図である。緯度Ｌ、経度φである地点での太陽高度ｈと太陽方位角ａは、球面三角法を適用すると、下記式(3)〜(5)の関係がある。
【００５８】
【数３】
【００５９】
【数４】
【００６０】
【数５】
【００６１】
ここで、Ｈ，ｄはそれぞれ、時角、太陽赤経である。なお、日本の標準時間JSTと標準子午線(135度)を使うと時角Ｈは、下記式(6)で与えられる。
【００６２】
【数６】
【００６３】
ここで、Ｅｑは、平均太陽時による時刻と真太陽時による時刻との差分(均時差)である。均時差Ｅｑは、下記式(7)で得られる。
【００６４】
【数７】
【００６５】
ここで、ｗ＝２π/３６５(閏年は、ｗ＝２π/３６６)、Ｊは、(元旦からの通算日数−１)である。したがって、太陽高度ｈおよび太陽方位ａは、下記式(8),(9)で与えられる。
【００６６】
【数８】
【００６７】
【数９】
【００６８】
ここで、αは、太陽赤緯であり、下記式(10)で求められる。
【００６９】
【数１０】
【００７０】
なお，太陽方位ａは、真南を０度とし、南西方向を正、南東方向を負の角度で表している。
【００７１】
推定部13は、生成部12により周囲情報が生成された後に、撮影部11により取得された１枚の画像および生成部12により生成された周囲情報を入力とし、１枚の画像の特徴量と最も類似する、周囲情報中の部分を探索することにより１枚の画像の方位を推定する。利用者は、自分の前方向に情報端末装置の撮像部11を向けて撮像対象を撮像するのが普通であるから、撮像部11により取得された１枚の画像の方位から利用者の向きを推定することができる。
【００７２】
そのために、まず、生成部12により周囲情報が生成された後に撮影部11により取得された１枚の画像から、生成部12が周囲情報を生成する際に抽出した特徴量と同じ特徴量を抽出する。次に、生成部11での重ね合わせ処理と同様の処理を適用することにより、抽出された特徴量が周囲情報のどの部分に対応するかを探索し、対応する部分の周方向における座標を求める。この座標は、周囲情報の基準方位からの相対的移動量として求められる。これにより求められた周囲情報における座標は、周囲情報に設定された基準方位を参照して方位情報に変換され、制御部15へ出力される。
【００７３】
メモリ14上には、表示部16で表示する表示情報が予め展開されており、制御部15は、推定部13で推定された方位およびその変化に応じてメモリ上の該当する情報を読み出し、表示部に送出する。
【００７４】
表示部16は、制御部15から送出されてきた表示情報を表示する。この際、制御部15は、推定部13で推定された方位およびその変化に応じて表示を制御する。例えば、撮像部11を動作させた状態で、利用者が情報端末装置の空間的方位を任意に連続的に変化させた場合、制御部15は、表示部16での表示情報を連続的に変化させる。
【００７５】
利用者は、情報端末装置の空間的方位を任意方向に変化させることにより、表示部16で表示される画面や画面内のカーソル位置などをアナログ的に変化させることができるので、画面スクロールやカーソル位置などの操作を直感的に行うことができる。また、表示部16に、例えば、地図、画像、Webページなどを表示させ、撮影部11を任意方向に向けることにより、その方位に応じて文字や地図などの画像を回転あるいはスクロール移動させたり、その視点を移動させたりすることもできる。
【００７６】
図７は、本発明を地図の表示制御に適用した場合の表示例である。ここでは、推定部13により推定された方位が常に表示画面の上側になるようにして地図を表示させる例を示している。本発明は、このような地図の表示制御を行う地図表示アプリケーションに適用できる。
【００７７】
図８は、本発明を画像への情報付加に適用した場合の表示例である。ここでは、撮影部11により取得された山岳画像が表示部16に表示されており、この表示に対して山岳の名称を重畳して表示している。この場合、利用者が情報端末装置の空間的方位を変化させると、その変化に応じて撮影部11により取得される画像が変化し、新たな方位が推定され、重畳される情報やその表示位置が制御される。本発明は、このような位置情報と方位情報から画像の画角に入ると推定される物体に対して情報を付加する情報重畳アプリケーションにも適用できる。
【００７８】
以上、実施形態を説明したが、本発明は、上記実施形態に限定されず、種々に変形されたものも含む。例えば、上記実施形態では、基準方位として絶対的方位を設定しているが、絶対的方位を問題としない情報の表示制御では、基準方位として単に基準とする方位を設定し、その方位からの周方向ズレに従って表示を制御するようにすることができる。
【００７９】
また、上記実施形態では、利用者の周囲全方向の周囲情報を生成しているが、周囲情報は、利用者の周囲全方向とする必要はなく、周囲の一部所定範囲でもよい。ただし、絶対的方位が必要な場合、１カ所の絶対的な方位から他の方位を割り振ることができないので、手動で他の方位まで設定したり、２カ所の絶対的方位から他の方位を割り振ることなどが必要である。
【００８０】
また、上記実施形態では、絶対的方位を太陽の方位から求めるものとしたが、月などの他の天体の方位から絶対的方位を求めるようにしてもよい。
さらに、上述の、角領域を特徴量として抽出しての周囲情報の生成、画像各々を一次元射影した信号を特徴量として抽出しての周囲情報の生成、重ね合わせ処理の探索範囲を限定しての周囲情報の生成、周囲情報を均等分割しての基準方位以外の方位の設定、天体の絶対的方位を基準方位とした周囲情報への基準方位以外の方位設定の手法は、２つ以上を適宜併用することができる。
【００８１】
本発明は、利用者が向いている絶対的方位を推定する装置、すなわち電子コンパスとしても有効である。電子コンパスは、図１の撮影部11、生成部12、推定部13および推定部13で構成でき、推定部13で推定された方位を利用者が向いている絶対的方位と推定すればよい。
【符号の説明】
【００８２】
11・・・撮影部、12・・・生成部、13・・・推定部、14・・・メモリ、15・・・制御部、16・・・表示部
【特許請求の範囲】
【請求項１】
画像を取得する撮像部と、
前記撮像部により一定間隔で予め取得された利用者周囲の所定範囲の複数の画像を入力とし、該複数枚の画像各々から特徴量を抽出し、抽出された特徴量を用いて周囲情報を生成するとともに該周囲情報に基準方位を設定する生成部と、
前記生成部により周囲情報が生成されて基準方位が設定された後、前記撮像部により取得された１枚の画像から、前記生成部により抽出された特徴量と同じ特徴量を抽出し、該特徴量を周囲情報と比較することにより、前記撮像部により取得された１枚の画像の、基準方位に対する方位を推定する推定部を備えることを特徴とする情報端末装置。
【請求項２】
前記撮影部は、利用者周囲の全方位の複数枚の画像を取得し、該複数枚の画像は、互いに一部が重なり合うことを特徴とする請求項１に記載の情報端末装置。
【請求項３】
前記生成部は、前記撮影部により取得された複数枚の画像各々から特徴量を抽出し、該複数枚の画像各々から抽出された特徴量の一致度から検出される該複数枚の画像の位置関係に従って重ね合わせ処理する機能を備えることを特徴とする請求項１に記載の情報端末装置。
【請求項４】
前記生成部は、前記撮影部により取得された複数枚の画像各々から特徴量を抽出し、該複数枚の画像各々から抽出された特徴量を合成して周囲情報を生成する機能を備えることを特徴とする請求項１に記載の情報端末装置。
【請求項５】
前記生成部は、前記撮影部により取得された複数枚の画像各々から角領域を特徴量として抽出し、角領域の分布の重なり度合いを複数枚の画像の特徴量の一致度とし、該一致度が高い位置関係で複数枚の画像を重ね合わせ処理したときの画像あるいは角領域の分布を周囲情報として生成する機能を備えることを特徴とする請求項３に記載の情報端末装置。
【請求項６】
前記生成部は、前記撮影部により取得された複数枚の画像各々を一次元射影した信号を特徴量として抽出し、該特徴量を互いにずらしながら画素当たり相関値を算出し、該相関値を複数枚の画像の特徴量の一致度とし、該一致度が高い位置関係で複数枚の画像の特徴量を重ね合わせ処理したときの一次元射影の信号を周囲情報として生成する機能を備えることを特徴とする請求項３に記載の情報端末装置。
【請求項７】
前記生成部は、前記撮影部により取得された複数枚の画像の取得順序が既知である場合に、重ね合わせ処理の探索範囲を限定することで、計算量を削減しながらロバストな周囲情報を生成する機能を備えることを特徴とする請求項３に記載の情報端末装置。
【請求項８】
前記生成部は、入力される基準方位を周囲情報に設定するとともに、入力された基準方位以外の方位を、周囲情報を均等分割して設定する機能を備えることを特徴とする請求項３に記載の情報端末装置。
【請求項９】
前記生成部は、天体の方位が指示されたとき、天体の絶対的方位を算出し、該天体の絶対的方位を基準方位として周囲情報に設定するとともに、該基準方位以外の方位を、周囲情報を均等分割して設定する機能を備えることを特徴とする請求項３に記載の情報端末装置。
【請求項１０】
前記生成部は、請求項５ないし９に記載された機能の少なくとも２つを併用できるようになっていることを特徴とする請求項３に記載の情報端末装置。
【請求項１１】
実際の太陽の方位が指示されたとき、天体の絶対的方位として太陽の絶対的な方位を位置情報と方位情報から算出することを特徴とする請求項９に記載の情報端末装置。
【請求項１２】
前記推定部は、前記生成部により生成される特徴量と同一の特徴量および前記生成部での重ね合わせ処理と同一の重ね合わせ処理を用いて、前記撮影部により取得された１枚の画像の、基準方位に対する方位を推定する機能を備えることを特徴とする請求項３に記載の情報端末装置。
【請求項１３】
さらに、表示情報を記憶するメモリと、
前記メモリから表示情報を読み出すともに、前記推定部により推定された、基準方位に対する方位に応じて、表示情報を制御する制御部と、
前記制御部により制御された表示情報を表示する表示部を備えることを特徴とする請求項１ないし１２のいずれかに記載の情報端末装置。
【請求項１】
画像を取得する撮像部と、
前記撮像部により一定間隔で予め取得された利用者周囲の所定範囲の複数の画像を入力とし、該複数枚の画像各々から特徴量を抽出し、抽出された特徴量を用いて周囲情報を生成するとともに該周囲情報に基準方位を設定する生成部と、
前記生成部により周囲情報が生成されて基準方位が設定された後、前記撮像部により取得された１枚の画像から、前記生成部により抽出された特徴量と同じ特徴量を抽出し、該特徴量を周囲情報と比較することにより、前記撮像部により取得された１枚の画像の、基準方位に対する方位を推定する推定部を備えることを特徴とする情報端末装置。
【請求項２】
前記撮影部は、利用者周囲の全方位の複数枚の画像を取得し、該複数枚の画像は、互いに一部が重なり合うことを特徴とする請求項１に記載の情報端末装置。
【請求項３】
前記生成部は、前記撮影部により取得された複数枚の画像各々から特徴量を抽出し、該複数枚の画像各々から抽出された特徴量の一致度から検出される該複数枚の画像の位置関係に従って重ね合わせ処理する機能を備えることを特徴とする請求項１に記載の情報端末装置。
【請求項４】
前記生成部は、前記撮影部により取得された複数枚の画像各々から特徴量を抽出し、該複数枚の画像各々から抽出された特徴量を合成して周囲情報を生成する機能を備えることを特徴とする請求項１に記載の情報端末装置。
【請求項５】
前記生成部は、前記撮影部により取得された複数枚の画像各々から角領域を特徴量として抽出し、角領域の分布の重なり度合いを複数枚の画像の特徴量の一致度とし、該一致度が高い位置関係で複数枚の画像を重ね合わせ処理したときの画像あるいは角領域の分布を周囲情報として生成する機能を備えることを特徴とする請求項３に記載の情報端末装置。
【請求項６】
前記生成部は、前記撮影部により取得された複数枚の画像各々を一次元射影した信号を特徴量として抽出し、該特徴量を互いにずらしながら画素当たり相関値を算出し、該相関値を複数枚の画像の特徴量の一致度とし、該一致度が高い位置関係で複数枚の画像の特徴量を重ね合わせ処理したときの一次元射影の信号を周囲情報として生成する機能を備えることを特徴とする請求項３に記載の情報端末装置。
【請求項７】
前記生成部は、前記撮影部により取得された複数枚の画像の取得順序が既知である場合に、重ね合わせ処理の探索範囲を限定することで、計算量を削減しながらロバストな周囲情報を生成する機能を備えることを特徴とする請求項３に記載の情報端末装置。
【請求項８】
前記生成部は、入力される基準方位を周囲情報に設定するとともに、入力された基準方位以外の方位を、周囲情報を均等分割して設定する機能を備えることを特徴とする請求項３に記載の情報端末装置。
【請求項９】
前記生成部は、天体の方位が指示されたとき、天体の絶対的方位を算出し、該天体の絶対的方位を基準方位として周囲情報に設定するとともに、該基準方位以外の方位を、周囲情報を均等分割して設定する機能を備えることを特徴とする請求項３に記載の情報端末装置。
【請求項１０】
前記生成部は、請求項５ないし９に記載された機能の少なくとも２つを併用できるようになっていることを特徴とする請求項３に記載の情報端末装置。
【請求項１１】
実際の太陽の方位が指示されたとき、天体の絶対的方位として太陽の絶対的な方位を位置情報と方位情報から算出することを特徴とする請求項９に記載の情報端末装置。
【請求項１２】
前記推定部は、前記生成部により生成される特徴量と同一の特徴量および前記生成部での重ね合わせ処理と同一の重ね合わせ処理を用いて、前記撮影部により取得された１枚の画像の、基準方位に対する方位を推定する機能を備えることを特徴とする請求項３に記載の情報端末装置。
【請求項１３】
さらに、表示情報を記憶するメモリと、
前記メモリから表示情報を読み出すともに、前記推定部により推定された、基準方位に対する方位に応じて、表示情報を制御する制御部と、
前記制御部により制御された表示情報を表示する表示部を備えることを特徴とする請求項１ないし１２のいずれかに記載の情報端末装置。
【図１】
【図２】
【図３】
【図８】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図８】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１１−５３１８１（Ｐ２０１１−５３１８１Ａ）
【公開日】平成２３年３月１７日（２０１１．３．１７）
【国際特許分類】
【出願番号】特願２００９−２０４６６９（Ｐ２００９−２０４６６９）
【出願日】平成２１年９月４日（２００９．９．４）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
【公開日】平成２３年３月１７日（２０１１．３．１７）
【国際特許分類】
【出願日】平成２１年９月４日（２００９．９．４）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
[ Back to top ]