情報端末装置
【課題】地磁気センサを搭載する必要がなく、利用者の向きを推定したり、その推定結果に従って表示部の表示情報を制御したりすることができる、信頼性の高い情報端末装置を提供すること。
【解決手段】被写体11は、光源を含む全周からの光を受ける。撮像部12は、被写体11の画像を取得する。推定部13は、撮像部12により取得された画像を解析し、光源の方向に依存する特徴量を抽出し、該特徴量から撮像部により取得された画像における光源の方向を推定して基準方位を設定すると共に該基準方位を元に他の方位を推定する。制御部15は、メモリ14から表示情報を読み出すともに、推定部13により推定された方位に応じて、表示情報を制御し、表示部16に表示させる。
【解決手段】被写体11は、光源を含む全周からの光を受ける。撮像部12は、被写体11の画像を取得する。推定部13は、撮像部12により取得された画像を解析し、光源の方向に依存する特徴量を抽出し、該特徴量から撮像部により取得された画像における光源の方向を推定して基準方位を設定すると共に該基準方位を元に他の方位を推定する。制御部15は、メモリ14から表示情報を読み出すともに、推定部13により推定された方位に応じて、表示情報を制御し、表示部16に表示させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報端末装置に関し、特に、撮像部により取得された画像を解析することによって利用者の向きを推定したり、その推定結果に従って表示部の表示情報を制御したりすることができる情報端末装置に関する。
【背景技術】
【０００２】
利用者の位置情報や利用者の向きなどの方位情報を取得し、取得された位置情報や方位情報に関連した地理的情報などの提供を受けることができる情報端末装置が存在する。情報端末装置で位置情報や方位情報を取得する手法は、特許文献１−３に記載されているように、公知である。
【０００３】
特許文献１には、情報端末装置に着脱可能な外装パネルの一機能として、全地球測位システム(Global Positioning System : GPS)装置および地磁気センサが記載されている。
【０００４】
特許文献２には、偏角補正および伏角補正を行うことにより、正確に真北と携帯電話機の表示画面の向きとの関係を知ることができる携帯電話機および携帯電話システムが記載されている。
【０００５】
特許文献３には、情報端末装置内部での磁界変化のイベントを検知し、地磁気センサによる地磁気検出値の補正用データを用いることにより、精度良く方位を求めることができる携帯方位算出装置が記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−２９５０７７号公報
【特許文献２】特開２００６−９４３６８号公報
【特許文献３】特開２００８−２９２４９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１のGPS装置や地磁気センサ、特許文献２の携帯電話機では、地磁気センサが情報端末装置から受ける磁場の影響を考慮していない。微弱な地磁気を検出する地磁気センサは、情報端末装置の部品が発する磁場の影響を受けやすいので、特許文献１のGPS装置や地磁気センサ、特許文献２の携帯電話機では、正確な方位情報を取得することが難しいという課題がある。
【０００８】
特許文献３では、地磁気センサによる地磁気検出値に、静的な磁場に対する補正値を導入することを提案している。しかし、この携帯方位算出装置では、情報端末装置の動作時に生じる動的な磁場変化を考慮していない。したがって、これでも正確な方位情報を取得することが難しいという課題がある。
【０００９】
以上のように、特許文献１−３に記載の先行技術のいずれにおいても、正確な方位情報を取得することが難しく、装置の信頼性が低いという課題がある。また、特許文献１−３に記載の先行技術は、方位情報を取得するために地磁気センサを使用することを前提としているので、地磁気センサを搭載するスペースの確保および部品の密集に伴う磁場強度の増加に対する防護の必要性が生じ、装置としての小型化が困難であるという課題もある。
【００１０】
本発明の目的は、上記課題を解決し、地磁気センサを搭載する必要がなく、利用者の向きを推定したり、その推定結果に従って表示部の表示情報を制御したりすることができる、信頼性の高い情報端末装置を提供することにある。
【課題を解決するための手段】
【００１１】
上記目的を達成するため、本発明は、光源を含む全周からの光を受ける被写体と、前記被写体の画像を取得する撮像部と、前記撮像部により取得された画像を解析し、前記光源の方向に依存する特徴量を抽出し、該特徴量に基づいて前記撮像部により取得された画像における光源の方向を推定して基準方位を設定すると共に該基準方位を基準として他の方位を推定する推定部を備えた点に第１の特徴がある。
【００１２】
また、本発明は、前記被写体が、任意方向の光源からの光を透過させるものである点に第２の特徴がある。
【００１３】
また、本発明は、前記被写体が、任意方向の光源からの光を反射させるものである点に第３の特徴がある。
【００１４】
また、本発明は、前記被写体が、前記撮像部と反対側にある光源からの光を透過させ、前記撮像部と同じ側にある光源からの光を反射させるものである点に第４の特徴がある。
【００１５】
また、本発明は、前記被写体が、前記被写体の色と光源の色が混合されているか否かで、光源が前記撮像部と反対側にあるか同じ側にあるかを提示する機能を備える点に第５の特徴がある。
【００１６】
また、本発明は、前記被写体が、前記撮像部により取得された画像での光源の方向に対応した部分の特徴量を際立たせる機能を備える点に第６の特徴がある。
【００１７】
また、本発明は、前記推定部が、前記撮像部により取得された画像での前記被写体内で最大輝度値を最も多く含む領域が存在する方向を光源の方向として推定する機能を備える点に第７の特徴がある。
【００１８】
また、本発明は、前記推定部が、前記撮像部により取得された画像での前記被写体内において、前記被写体の中心から一直線状に外周の一点に向かう径方向での画素値の合計を算出して特徴量とし、該特徴量が最大値をとる方向を光源の方向として推定する機能を備える点に第８の特徴がある。
【００１９】
また、本発明は、前記推定部が、前記撮像部により取得された画像での前記被写体内における最大画素値に所定の閾値を乗じた値以上の画素値を持つ画素に、各画素値に対して負相関の相関値を割り当て、前記撮像部により取得された画像の前記被写体内において、前記被写体の中心から一直線状に外周の一点に向かう径方向での相関値の合計を算出して特徴量とし、該特徴量が最小値をとる方向を光源の方向として推定する機能を備える点に第９の特徴がある。
【００２０】
また、本発明は、前記推定部が、各径方向での相関値の合計を算出するに際し、それまでに算出した最小値とその径方向を保持しておき、算出された合計が該最小値を超えたときにはその時点で該径方向での算出処理を中止し、次の径方向での算出処理に進むことにより計算量を削減する機能を備える点に第１０の特徴がある。
【００２１】
また、本発明は、前記推定部が、基準方位として既知の方位が入力された場合、前記撮像部により取得された画像の領域を均等分割することにより他の方位を設定する機能を備える点に第１１の特徴がある。
【００２２】
また、本発明は、前記推定部が、前記被写体の色と光源の色が混合されているか否かで、光源が前記撮像部と反対側にあるか同じ側にあるかを識別する機能を備える点に第１２の特徴がある。
【００２３】
また、本発明は、前記推定部が、基準方位が未知である場合、利用者環境での天体の方位を算出し、該方位を基準方位として設定する共に該基準方位を元に他の方位を推定する機能を備える点に第１３の特徴がある。
【００２４】
また、本発明は、前記推定部が、情報端末の位置情報と時刻情報から太陽の方位を算出し、該方位を絶対的な基準方位として設定する共に該基準方位を元に他の方位を推定する機能を備える点に第１４の特徴がある。
【００２５】
また、本発明は、さらに、表示情報を記憶するメモリと、前記メモリから表示情報を読み出すと共に前記推定部により推定された基準方位および他の方位に応じて表示情報を制御する制御部と、前記制御部により制御された表示情報を表示する表示部を備える点に第１５の特徴がある。
【発明の効果】
【００２６】
本発明は、撮像部により取得された画像を解析することにより該画像の方位を推定する。これにより推定された画像の方位から利用者の向きを推定することができる。
【００２７】
また、推定された画像の方位の変化に応じて表示部での情報表示を制御することにより、利用者は、空間的位置で向きを変えるという操作で情報表示を制御できる。これにより、利用者は、位置情報と方位情報に対応づけられた情報表示の操作を、実空間と対応づけながら直感的に行うことが可能となり、信頼性の高い情報端末装置を提供することができる。
【図面の簡単な説明】
【００２８】
【図１】本発明の一実施形態を示す機能ブロック図である。
【図２】情報端末装置として携帯電話機を想定した場合の構成例を示す外観図(正面図と側面図)である。
【図３】図２の構成例における被写体および撮像部により取得された画像の一例を示す図である。
【図４】太陽の方位算出の説明図である。
【図５】他の構成例における被写体を示す図である。
【図６】さらに他の構成例における被写体を示す図である。
【図７】さらに他の構成例における被写体を示す図である。
【図８】本発明を地図の表示制御に適用した場合の表示例を示す図である。
【図９】本発明を画像への情報付加に適用した場合の表示例を示す図である。
【発明を実施するための形態】
【００２９】
以下、図面を参照して本発明を説明する。図１は、本発明の一実施形態を示す機能ブロック図である。
【００３０】
本実施形態の情報端末装置は、被写体11、撮像部12、推定部13、メモリ14、制御部15および表示部16を備える。情報端末装置は、例えば携帯電話機であるが、PCとカメラの組み合わせでもよい。
【００３１】
被写体11は、光源を含む全周からの光を受ける。
【００３２】
撮像部12は、情報端末装置に設置されたデジタルカメラで構成される。情報端末装置が携帯電話機の場合、その内蔵カメラを撮像部12として利用でき、情報端末装置がPCとカメラの組み合わせの場合、撮像部12は、PCに付加される。
【００３３】
撮像部12は、被写体11を撮像対象として画像を取得する。そのために、被写体11は、撮像部12の撮像範囲内に存在するように装着される。被写体11は、撮像部12に固定的に装着されるものでも、着脱可能に装着されるものでもよい。
【００３４】
方位推定に先だつ準備時、利用者は、撮影部12に被写体11を装着する。推定部13は、撮像部12により撮像された画像を解析し、光源の方向に依存する特徴量から該画像における光源の方位を求め、該方位を基準方位として設定する。
【００３５】
次に、撮影部12に被写体11を装着したままとして方位推定を行う。推定部13は、撮像部12により取得された1枚の画像を入力とし、その画像と準備時に撮像部12により撮像された画像における特徴量および準備時に設定された基準方位とから、撮像部12により取得された1枚の画像の方位を推定する。
【００３６】
メモリ14は、文字情報や地図情報などの情報を格納している。
【００３７】
制御部15は、メモリ14に格納されている情報を読み出して表示部16に表示させる。この際、制御部15は、推定部13で推定された方位に従って情報表示を制御する。表示部16は、制御部15での制御に従って情報を表示する。
【００３８】
図２は、情報端末装置として携帯電話機を想定した場合の構成例を示す外観図(正面図と側面図)である。図２には、被写体11、撮像部12、推定部13、メモリ14、制御部15および表示部16の、携帯電話機内での大体の位置を示している。
【００３９】
図３は、図２の構成例における被写体11および撮像部12により取得された画像の一例を模式的に示す図である。図３(a)に示すように、被写体11は、円筒形状の物体であり、撮像部12上に、それを取り巻くように装着される。この被写体11は、半透明素材からなり、光源が何れの方向にあってもそれからの光を透過する。なお、被写体11の上部は光を透過させないように黒い板で覆われている。撮像部12は、被写体11を撮像する。これにより取得された画像には、被写体11による透過光が含まれている。図３(b)は、図３(a)に示すように光源が被写体11の背面側にある場合に撮像部12により取得された画像の一例を示し、光源の方向に対応する箇所が明るくなっている。なお、輝度が自動調整される結果、他の箇所は暗くなっている。
【００４０】
次に、上記情報端末装置における動作を説明する。
【００４１】
まず、方位推定に先立つ準備時の動作について説明する。準備時、利用者は、撮像部12に被写体11を装着し、情報端末装置を水平に(撮像部12が天の方向を撮像するように)持って撮像部12により被写体11を撮像する。これにより取得された画像には光源からの光が含まれており、この画像は、推定部13に出力される。推定部13は、この画像を解析し、光源の方向に依存する特徴量から該画像における光源の方位を求め、該方位を基準方位として設定する。
【００４２】
上記基準方位は、以下のようにして設定できる。以下では、基準方位として絶対的方位を設定する場合について説明する。しかし、基準方位は、絶対的方位でなくてもよい。例えば、本発明を利用者が向いている方位(絶対的方位)を推定するための電子コンパスに適用する場合には、基準方位を絶対的方位とする必要があるが、利用者の向きに応じて単に表示部16での情報表示を制御するユーザインタフェースに適用する場合には、基準方位は、利用者の周方向で基準とする方位でよい。
【００４３】
基準方位を設定する際、光源の絶対的方位が既知の場合には、撮像部12により取得された画像における光源の方向に対して該絶対的方位を手動で設定し、これを基準方位とすればよい。光源の絶対的方位が既知でない場合には、光源の方位(絶対的方位)を算出し、撮像部12により取得された画像における光源の方向に対して該方位を設定し、これを基準方位とすればよい。
【００４４】
撮像部12により取得された画像における光源の方向は、画像から光源からの光の透過によって生じる特徴量を元に推定できる。そのために、まず、撮像部12により取得された画像から光源からの光の透過によって生じる特徴量を抽出する。
【００４５】
特徴量としては、光源からの光の透過による輝度分布を利用できる。例えば、光源からの光の透過による輝度が予め設定した所定値以上の画素で構成される領域の重心位置を求め、該重心位置から光源の方向を推定できる。図３に示すように、被写体11が円筒形状の半透明素材である場合、撮像部12により取得された画像における被写体11の中心から該領域の重心位置に向かう方向がそのまま光源の方向に一致する。
【００４６】
また、撮像部12により取得された画像での被写体11内において、被写体11の中心から一直線状に外周の一点に向かう径方向での画素値の合計を算出し、これを特徴量とすることができる。この場合には、特徴量が最大値をとる方向を光源の方向と推定できる。
【００４７】
また、撮像部12により取得された画像での被写体11内において、最大画素値に所定の閾値を乗じた値以上の画素値を持つ画素に、各画素値に対して負相関の相関値を割り当て、撮像部12により取得された画像での被写体11内において、被写体11の中心から一直線状に外周の一点に向かう径方向での相関値の合計を算出し、これを特徴量とすることもできる。例えば、被写体11内での最大画素値を200とすると、それに0.9を乗じた値180以上の値を持つ画素に、各画素値に対して負相関の相関値(200-当該画素の値)を割り当て、その相関値を元に特徴量を求める。この場合には、被写体11の中心から一直線状に外周の一点に向かう径方向での相関値の合計が最小値をとる方向を光源の方向と推定できる。また、各径方向での相関値の合計を算出するに際し、それまでに算出した最小値とその径方向を保持しておき、算出された合計が該最小値を超えたときにはその時点で該径方向での算出処理を中止し、次の径方向での算出処理に進むことにより計算量を削減することができる。
【００４８】
以下では、光源を太陽とした場合の太陽の方位の算出および基準方位の設定について説明する。この場合には、まず、現在の時刻情報と情報端末装置の位置情報とから太陽の方位を算出する。時刻情報は、情報端末装置内蔵の時計から取得することができる。また、情報端末装置の位置情報は、情報端末装置内蔵のGPS装置から取得することができる。GPS装置は、情報端末装置に設置されているGPSアンテナでの受信信号に基づいて位置情報を取得する。位置情報は、通信アンテナにより無線接続された無線基地局に記録された位置情報を利用して取得することもでき、利用者が手動で地名または住所などをサーバに送信し、サーバに蓄積された地理情報データベースから取得することもできる。太陽方位の算出手法については後述する。
【００４９】
推定部13は、上述のようにして推定された、撮像部12により取得された画像での太陽(光源)の方向に対して上記既知あるいは算出された方位を設定し、これを基準方位とする。これで、方位推定に先立つ準備時の動作は完了する。
【００５０】
次に、方位推定時の動作について説明する。
【００５１】
方位推定時、推定部13は、撮像部12により取得された1枚の画像から、準備時と同様に、特徴量を抽出して太陽の方向を推定する。次に、準備時に推定された太陽の方向と今回推定された太陽の方向とを比較して両者の対応関係を調べる。この比較により、撮像部12により今回取得された画像の方位が基準方位からの相対的移動量の座標として求められる。これにより求められた座標は、基準方位を参照して方位情報に変換され、制御部15へ出力される。利用者は、自分の前方向で情報端末装置を操作するのが普通であるから、撮像部12により取得された1枚の画像の方位から利用者の向きを推定することができる。
【００５２】
メモリ14上には、表示部16で表示する表示情報が予め展開されている。制御部15は、推定部13で推定された方位およびその変化に応じてメモリ上の該当する情報を読み出し、表示部16に送出する。
【００５３】
表示部16は、制御部15から送出されてきた表示情報を表示する。この際、制御部15は、推定部13で推定された方位およびその変化に応じて表示を制御する。例えば、撮像部12を動作させた状態で、利用者が情報端末装置の空間的方位を任意に連続的に変化させた場合、制御部15は、表示部16での表示情報を連続的に変化させる。
【００５４】
次に、太陽の方位算出の手法については後述する。
【００５５】
図４は、太陽の方位算出の説明図である。緯度Ｌ、経度φである地点での太陽高度ｈと太陽方位角ａは、球面三角法を適用すると、下記式(1)〜(3)の関係がある。
【００５６】
【数１】
【００５７】
【数２】
【００５８】
【数３】
【００５９】
ここで、Ｈ，ｄはそれぞれ、時角、太陽赤経である。なお、日本の標準時間JSTと標準子午線(135度)を使うと時角Ｈは、下記式(4)で与えられる。
【００６０】
【数４】
【００６１】
ここで、Ｅｑは、平均太陽時による時刻と真太陽時による時刻との差分(均時差)である。均時差Ｅｑは、下記式(5)で得られる。
【００６２】
【数５】
【００６３】
ここで、ｗ＝２π/３６５(閏年は、ｗ＝２π/３６６)、Ｊは、(元旦からの通算日数−１)である。したがって、太陽高度ｈおよび太陽方位ａは、下記式(6),(7)で与えられる。
【００６４】
【数６】
【００６５】
【数７】
【００６６】
ここで、αは、太陽赤緯であり、下記式(8)で求められる。
【００６７】
【数８】
【００６８】
なお，太陽方位ａは、真南を０度とし、南西方向を正、南東方向を負の角度で表している。
【００６９】
図５は、他の構成例における被写体11を模式的に示す図である。同図に示すように、被写体11は、球形状の物体であり、撮像部12から一定距離だけ離間して撮像部12の撮像範囲内に装着される。この被写体11は、半透明素材あるいは不透明素材からなり、光源が何れの方向にあってもそれからの光を反射する。撮像部12に対する被写体11の装着には任意の手段を利用できるが、光源から被写体11への光の邪魔になるものであってはならない。
【００７０】
この場合、利用者は、情報端末装置を水平に(撮像部12が地の方向を撮像するように)持って撮像部12により被写体11を撮像する。撮像部12により取得された画像には被写体11による反射光が含まれている。撮像部12により取得された画像は、図３(b)と同様に、光源の方向に対応する箇所が明るくなっている。なお、輝度が自動調整される結果、他の箇所は暗くなっている。この場合の情報端末装置の機能ブロックおよびその動作は、図１と同様であるので、説明を省略する。
【００７１】
図６は、さらに他の構成例における被写体11を模式的に示す図である。同図に示すように、被写体11は、球形状の物体であり、撮像部12から一定距離だけ離間して撮像部12の撮像範囲内に装着される。この被写体11は、半透明素材からなり、光源からの光を透過および反射する。
【００７２】
この場合、利用者は、情報端末装置を垂直に(利用者の前方を撮像部12が撮像するように)持って撮像部12により被写体11を撮像する。撮像部12により取得された画像には被写体11による透過光あるいは反射光が含まれている。光源が被写体11の背面側にある場合、撮像部12により取得された画像には光源からの光の透過光が含まれ、光源が被写体11の手前側にある場合、撮像部12により取得された画像には光源からの光の反射光が含まれている。
【００７３】
この場合、撮像部12により取得された画像上での明るくなる箇所だけからは、光源が被写体11の背面側にあるか手前側にあるかを識別できない。この識別は、被写体11に固有の配色を施すことにより可能となる。すなわち、反射光は光源の光色だけを含み、透過光は被写体11の配色と光源の光色とが混合された色を含むようになるので、撮像部12により取得された画像では、反射光か透過光かにより色の相違が生じる。推定部13では、この色の相違から被写体11に対して光源が被写体11の背面側にあるか手前側にあるかを識別することができる。撮像部12により取得された画像は、光源の方向に対応する箇所が明るくなっている。なお、輝度が自動調整される結果、他の箇所は暗くなっている。この場合の情報端末装置の機能ブロックおよびその動作は、図１と同様であるが、推定部13は、被写体11の色と光源の色が混合されているか否かで、光源が撮像部12と反対側にあるか同じ側にあるかを識別する機能を備える。
【００７４】
図７は、さらに他の構成例における被写体11を模式的に示す図である。同図に示すように、被写体11は、魚眼レンズであり、撮像部12を覆うように装着される。この被写体11は、透明あるいは半透明素材からなり、光源が何れの方向にあってもそれからの光を撮像部12に入射する。撮像部12は、被写体11を撮像する。これにより取得された画像には、被写体11を通して入射する光が含まれている。撮像部12により取得された画像は、光源の方向に対応する箇所が明るくなっている。なお、輝度が自動調整される結果、他の箇所は暗くなっている。この場合の情報端末装置の機能ブロックおよびその動作も、図１と同様であるので、説明を省略する。
【００７５】
被写体11は、撮像部12に取得される被写体11の画像の解析により、光源の方向に依存する特徴量が現れ、それにより光源の方向を推定できるようにするものであればよく、その形状は任意である。しかし、推定される方位角の分解能を向上させる上で、被写体11の形状は、図３、図６、図７に示すように、円筒形状や球形状が好ましい。
【００７６】
被写体11に、撮像部12により取得された画像における光源の方向に依存する部分の画素値を強調し、該部分の特徴量を際立たせる機能を持たせることも好ましい。この機能は、例えば、被写体11に、光源からの光の反射に優れた素材を用いたり、特定の色を付けたりすることにより実現される。
【００７７】
本発明によれば、利用者は、情報端末装置の空間的方位を任意方向に変化させることにより、表示部16で表示される画面や画面内のカーソル位置などをアナログ的に変化させることができるので、画面スクロールやカーソル位置などの操作を直感的に行うことができる。また、表示部16に、例えば、地図、画像、Webページなどを表示させ、撮像部12を任意方向に向けることにより、その方位に応じて文字や地図などの画像を回転あるいはスクロール移動させたり、その視点を移動させたりすることもできる。
【００７８】
図８は、本発明を地図の表示制御に適用した場合の表示例である。ここでは、推定部により推定された方位が常に表示画面の上側になるようにして地図を表示させる例を示している。本発明は、このような地図の表示制御を行う地図表示アプリケーションに適用できる。
【００７９】
図９は、本発明を画像への情報付加に適用した場合の表示例である。ここでは、撮像部により取得された山岳画像が表示部に表示されており、この表示に対して山岳の名称を重畳して表示している。この場合、利用者が情報端末装置の空間的方位を変化させると、その変化に応じて撮像部により取得される画像が変化し、新たな方位が推定され、重畳される情報やその表示位置が制御される。本発明は、このような位置情報と方位情報から画像の画角に入ると推定される物体に対して情報を付加する情報重畳アプリケーションにも適用できる。
【００８０】
以上、実施形態を説明したが、本発明は、上記実施形態に限定されず、種々に変形されたものも含む。例えば、上記実施形態では、基準方位として絶対的方位を設定しているが、絶対的方位を問題としない情報の表示制御では、基準方位として単に基準とする方位を設定し、その方位からの周方向ズレに従って表示を制御するようにすることができる。
【００８１】
また、上記実施形態では、光源を太陽としたが、月などの他の天体を光源とすることができ、情報端末装置に対する方位が既知の他の光源を利用することもできる。
【００８２】
さらに、本発明は、利用者が向いている絶対的方位を推定する装置、すなわち電子コンパスとしても有効である。電子コンパスは、図１の被写体11、撮像部12、推定部13で構成でき、推定部13で推定された方位を利用者が向いている絶対的方位と推定すればよい。
【符号の説明】
【００８３】
11・・・被写体、12・・・撮像部、13・・・推定部、14・・・メモリ、15・・・制御部、16・・・表示部
【技術分野】
【０００１】
本発明は、情報端末装置に関し、特に、撮像部により取得された画像を解析することによって利用者の向きを推定したり、その推定結果に従って表示部の表示情報を制御したりすることができる情報端末装置に関する。
【背景技術】
【０００２】
利用者の位置情報や利用者の向きなどの方位情報を取得し、取得された位置情報や方位情報に関連した地理的情報などの提供を受けることができる情報端末装置が存在する。情報端末装置で位置情報や方位情報を取得する手法は、特許文献１−３に記載されているように、公知である。
【０００３】
特許文献１には、情報端末装置に着脱可能な外装パネルの一機能として、全地球測位システム(Global Positioning System : GPS)装置および地磁気センサが記載されている。
【０００４】
特許文献２には、偏角補正および伏角補正を行うことにより、正確に真北と携帯電話機の表示画面の向きとの関係を知ることができる携帯電話機および携帯電話システムが記載されている。
【０００５】
特許文献３には、情報端末装置内部での磁界変化のイベントを検知し、地磁気センサによる地磁気検出値の補正用データを用いることにより、精度良く方位を求めることができる携帯方位算出装置が記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−２９５０７７号公報
【特許文献２】特開２００６−９４３６８号公報
【特許文献３】特開２００８−２９２４９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１のGPS装置や地磁気センサ、特許文献２の携帯電話機では、地磁気センサが情報端末装置から受ける磁場の影響を考慮していない。微弱な地磁気を検出する地磁気センサは、情報端末装置の部品が発する磁場の影響を受けやすいので、特許文献１のGPS装置や地磁気センサ、特許文献２の携帯電話機では、正確な方位情報を取得することが難しいという課題がある。
【０００８】
特許文献３では、地磁気センサによる地磁気検出値に、静的な磁場に対する補正値を導入することを提案している。しかし、この携帯方位算出装置では、情報端末装置の動作時に生じる動的な磁場変化を考慮していない。したがって、これでも正確な方位情報を取得することが難しいという課題がある。
【０００９】
以上のように、特許文献１−３に記載の先行技術のいずれにおいても、正確な方位情報を取得することが難しく、装置の信頼性が低いという課題がある。また、特許文献１−３に記載の先行技術は、方位情報を取得するために地磁気センサを使用することを前提としているので、地磁気センサを搭載するスペースの確保および部品の密集に伴う磁場強度の増加に対する防護の必要性が生じ、装置としての小型化が困難であるという課題もある。
【００１０】
本発明の目的は、上記課題を解決し、地磁気センサを搭載する必要がなく、利用者の向きを推定したり、その推定結果に従って表示部の表示情報を制御したりすることができる、信頼性の高い情報端末装置を提供することにある。
【課題を解決するための手段】
【００１１】
上記目的を達成するため、本発明は、光源を含む全周からの光を受ける被写体と、前記被写体の画像を取得する撮像部と、前記撮像部により取得された画像を解析し、前記光源の方向に依存する特徴量を抽出し、該特徴量に基づいて前記撮像部により取得された画像における光源の方向を推定して基準方位を設定すると共に該基準方位を基準として他の方位を推定する推定部を備えた点に第１の特徴がある。
【００１２】
また、本発明は、前記被写体が、任意方向の光源からの光を透過させるものである点に第２の特徴がある。
【００１３】
また、本発明は、前記被写体が、任意方向の光源からの光を反射させるものである点に第３の特徴がある。
【００１４】
また、本発明は、前記被写体が、前記撮像部と反対側にある光源からの光を透過させ、前記撮像部と同じ側にある光源からの光を反射させるものである点に第４の特徴がある。
【００１５】
また、本発明は、前記被写体が、前記被写体の色と光源の色が混合されているか否かで、光源が前記撮像部と反対側にあるか同じ側にあるかを提示する機能を備える点に第５の特徴がある。
【００１６】
また、本発明は、前記被写体が、前記撮像部により取得された画像での光源の方向に対応した部分の特徴量を際立たせる機能を備える点に第６の特徴がある。
【００１７】
また、本発明は、前記推定部が、前記撮像部により取得された画像での前記被写体内で最大輝度値を最も多く含む領域が存在する方向を光源の方向として推定する機能を備える点に第７の特徴がある。
【００１８】
また、本発明は、前記推定部が、前記撮像部により取得された画像での前記被写体内において、前記被写体の中心から一直線状に外周の一点に向かう径方向での画素値の合計を算出して特徴量とし、該特徴量が最大値をとる方向を光源の方向として推定する機能を備える点に第８の特徴がある。
【００１９】
また、本発明は、前記推定部が、前記撮像部により取得された画像での前記被写体内における最大画素値に所定の閾値を乗じた値以上の画素値を持つ画素に、各画素値に対して負相関の相関値を割り当て、前記撮像部により取得された画像の前記被写体内において、前記被写体の中心から一直線状に外周の一点に向かう径方向での相関値の合計を算出して特徴量とし、該特徴量が最小値をとる方向を光源の方向として推定する機能を備える点に第９の特徴がある。
【００２０】
また、本発明は、前記推定部が、各径方向での相関値の合計を算出するに際し、それまでに算出した最小値とその径方向を保持しておき、算出された合計が該最小値を超えたときにはその時点で該径方向での算出処理を中止し、次の径方向での算出処理に進むことにより計算量を削減する機能を備える点に第１０の特徴がある。
【００２１】
また、本発明は、前記推定部が、基準方位として既知の方位が入力された場合、前記撮像部により取得された画像の領域を均等分割することにより他の方位を設定する機能を備える点に第１１の特徴がある。
【００２２】
また、本発明は、前記推定部が、前記被写体の色と光源の色が混合されているか否かで、光源が前記撮像部と反対側にあるか同じ側にあるかを識別する機能を備える点に第１２の特徴がある。
【００２３】
また、本発明は、前記推定部が、基準方位が未知である場合、利用者環境での天体の方位を算出し、該方位を基準方位として設定する共に該基準方位を元に他の方位を推定する機能を備える点に第１３の特徴がある。
【００２４】
また、本発明は、前記推定部が、情報端末の位置情報と時刻情報から太陽の方位を算出し、該方位を絶対的な基準方位として設定する共に該基準方位を元に他の方位を推定する機能を備える点に第１４の特徴がある。
【００２５】
また、本発明は、さらに、表示情報を記憶するメモリと、前記メモリから表示情報を読み出すと共に前記推定部により推定された基準方位および他の方位に応じて表示情報を制御する制御部と、前記制御部により制御された表示情報を表示する表示部を備える点に第１５の特徴がある。
【発明の効果】
【００２６】
本発明は、撮像部により取得された画像を解析することにより該画像の方位を推定する。これにより推定された画像の方位から利用者の向きを推定することができる。
【００２７】
また、推定された画像の方位の変化に応じて表示部での情報表示を制御することにより、利用者は、空間的位置で向きを変えるという操作で情報表示を制御できる。これにより、利用者は、位置情報と方位情報に対応づけられた情報表示の操作を、実空間と対応づけながら直感的に行うことが可能となり、信頼性の高い情報端末装置を提供することができる。
【図面の簡単な説明】
【００２８】
【図１】本発明の一実施形態を示す機能ブロック図である。
【図２】情報端末装置として携帯電話機を想定した場合の構成例を示す外観図(正面図と側面図)である。
【図３】図２の構成例における被写体および撮像部により取得された画像の一例を示す図である。
【図４】太陽の方位算出の説明図である。
【図５】他の構成例における被写体を示す図である。
【図６】さらに他の構成例における被写体を示す図である。
【図７】さらに他の構成例における被写体を示す図である。
【図８】本発明を地図の表示制御に適用した場合の表示例を示す図である。
【図９】本発明を画像への情報付加に適用した場合の表示例を示す図である。
【発明を実施するための形態】
【００２９】
以下、図面を参照して本発明を説明する。図１は、本発明の一実施形態を示す機能ブロック図である。
【００３０】
本実施形態の情報端末装置は、被写体11、撮像部12、推定部13、メモリ14、制御部15および表示部16を備える。情報端末装置は、例えば携帯電話機であるが、PCとカメラの組み合わせでもよい。
【００３１】
被写体11は、光源を含む全周からの光を受ける。
【００３２】
撮像部12は、情報端末装置に設置されたデジタルカメラで構成される。情報端末装置が携帯電話機の場合、その内蔵カメラを撮像部12として利用でき、情報端末装置がPCとカメラの組み合わせの場合、撮像部12は、PCに付加される。
【００３３】
撮像部12は、被写体11を撮像対象として画像を取得する。そのために、被写体11は、撮像部12の撮像範囲内に存在するように装着される。被写体11は、撮像部12に固定的に装着されるものでも、着脱可能に装着されるものでもよい。
【００３４】
方位推定に先だつ準備時、利用者は、撮影部12に被写体11を装着する。推定部13は、撮像部12により撮像された画像を解析し、光源の方向に依存する特徴量から該画像における光源の方位を求め、該方位を基準方位として設定する。
【００３５】
次に、撮影部12に被写体11を装着したままとして方位推定を行う。推定部13は、撮像部12により取得された1枚の画像を入力とし、その画像と準備時に撮像部12により撮像された画像における特徴量および準備時に設定された基準方位とから、撮像部12により取得された1枚の画像の方位を推定する。
【００３６】
メモリ14は、文字情報や地図情報などの情報を格納している。
【００３７】
制御部15は、メモリ14に格納されている情報を読み出して表示部16に表示させる。この際、制御部15は、推定部13で推定された方位に従って情報表示を制御する。表示部16は、制御部15での制御に従って情報を表示する。
【００３８】
図２は、情報端末装置として携帯電話機を想定した場合の構成例を示す外観図(正面図と側面図)である。図２には、被写体11、撮像部12、推定部13、メモリ14、制御部15および表示部16の、携帯電話機内での大体の位置を示している。
【００３９】
図３は、図２の構成例における被写体11および撮像部12により取得された画像の一例を模式的に示す図である。図３(a)に示すように、被写体11は、円筒形状の物体であり、撮像部12上に、それを取り巻くように装着される。この被写体11は、半透明素材からなり、光源が何れの方向にあってもそれからの光を透過する。なお、被写体11の上部は光を透過させないように黒い板で覆われている。撮像部12は、被写体11を撮像する。これにより取得された画像には、被写体11による透過光が含まれている。図３(b)は、図３(a)に示すように光源が被写体11の背面側にある場合に撮像部12により取得された画像の一例を示し、光源の方向に対応する箇所が明るくなっている。なお、輝度が自動調整される結果、他の箇所は暗くなっている。
【００４０】
次に、上記情報端末装置における動作を説明する。
【００４１】
まず、方位推定に先立つ準備時の動作について説明する。準備時、利用者は、撮像部12に被写体11を装着し、情報端末装置を水平に(撮像部12が天の方向を撮像するように)持って撮像部12により被写体11を撮像する。これにより取得された画像には光源からの光が含まれており、この画像は、推定部13に出力される。推定部13は、この画像を解析し、光源の方向に依存する特徴量から該画像における光源の方位を求め、該方位を基準方位として設定する。
【００４２】
上記基準方位は、以下のようにして設定できる。以下では、基準方位として絶対的方位を設定する場合について説明する。しかし、基準方位は、絶対的方位でなくてもよい。例えば、本発明を利用者が向いている方位(絶対的方位)を推定するための電子コンパスに適用する場合には、基準方位を絶対的方位とする必要があるが、利用者の向きに応じて単に表示部16での情報表示を制御するユーザインタフェースに適用する場合には、基準方位は、利用者の周方向で基準とする方位でよい。
【００４３】
基準方位を設定する際、光源の絶対的方位が既知の場合には、撮像部12により取得された画像における光源の方向に対して該絶対的方位を手動で設定し、これを基準方位とすればよい。光源の絶対的方位が既知でない場合には、光源の方位(絶対的方位)を算出し、撮像部12により取得された画像における光源の方向に対して該方位を設定し、これを基準方位とすればよい。
【００４４】
撮像部12により取得された画像における光源の方向は、画像から光源からの光の透過によって生じる特徴量を元に推定できる。そのために、まず、撮像部12により取得された画像から光源からの光の透過によって生じる特徴量を抽出する。
【００４５】
特徴量としては、光源からの光の透過による輝度分布を利用できる。例えば、光源からの光の透過による輝度が予め設定した所定値以上の画素で構成される領域の重心位置を求め、該重心位置から光源の方向を推定できる。図３に示すように、被写体11が円筒形状の半透明素材である場合、撮像部12により取得された画像における被写体11の中心から該領域の重心位置に向かう方向がそのまま光源の方向に一致する。
【００４６】
また、撮像部12により取得された画像での被写体11内において、被写体11の中心から一直線状に外周の一点に向かう径方向での画素値の合計を算出し、これを特徴量とすることができる。この場合には、特徴量が最大値をとる方向を光源の方向と推定できる。
【００４７】
また、撮像部12により取得された画像での被写体11内において、最大画素値に所定の閾値を乗じた値以上の画素値を持つ画素に、各画素値に対して負相関の相関値を割り当て、撮像部12により取得された画像での被写体11内において、被写体11の中心から一直線状に外周の一点に向かう径方向での相関値の合計を算出し、これを特徴量とすることもできる。例えば、被写体11内での最大画素値を200とすると、それに0.9を乗じた値180以上の値を持つ画素に、各画素値に対して負相関の相関値(200-当該画素の値)を割り当て、その相関値を元に特徴量を求める。この場合には、被写体11の中心から一直線状に外周の一点に向かう径方向での相関値の合計が最小値をとる方向を光源の方向と推定できる。また、各径方向での相関値の合計を算出するに際し、それまでに算出した最小値とその径方向を保持しておき、算出された合計が該最小値を超えたときにはその時点で該径方向での算出処理を中止し、次の径方向での算出処理に進むことにより計算量を削減することができる。
【００４８】
以下では、光源を太陽とした場合の太陽の方位の算出および基準方位の設定について説明する。この場合には、まず、現在の時刻情報と情報端末装置の位置情報とから太陽の方位を算出する。時刻情報は、情報端末装置内蔵の時計から取得することができる。また、情報端末装置の位置情報は、情報端末装置内蔵のGPS装置から取得することができる。GPS装置は、情報端末装置に設置されているGPSアンテナでの受信信号に基づいて位置情報を取得する。位置情報は、通信アンテナにより無線接続された無線基地局に記録された位置情報を利用して取得することもでき、利用者が手動で地名または住所などをサーバに送信し、サーバに蓄積された地理情報データベースから取得することもできる。太陽方位の算出手法については後述する。
【００４９】
推定部13は、上述のようにして推定された、撮像部12により取得された画像での太陽(光源)の方向に対して上記既知あるいは算出された方位を設定し、これを基準方位とする。これで、方位推定に先立つ準備時の動作は完了する。
【００５０】
次に、方位推定時の動作について説明する。
【００５１】
方位推定時、推定部13は、撮像部12により取得された1枚の画像から、準備時と同様に、特徴量を抽出して太陽の方向を推定する。次に、準備時に推定された太陽の方向と今回推定された太陽の方向とを比較して両者の対応関係を調べる。この比較により、撮像部12により今回取得された画像の方位が基準方位からの相対的移動量の座標として求められる。これにより求められた座標は、基準方位を参照して方位情報に変換され、制御部15へ出力される。利用者は、自分の前方向で情報端末装置を操作するのが普通であるから、撮像部12により取得された1枚の画像の方位から利用者の向きを推定することができる。
【００５２】
メモリ14上には、表示部16で表示する表示情報が予め展開されている。制御部15は、推定部13で推定された方位およびその変化に応じてメモリ上の該当する情報を読み出し、表示部16に送出する。
【００５３】
表示部16は、制御部15から送出されてきた表示情報を表示する。この際、制御部15は、推定部13で推定された方位およびその変化に応じて表示を制御する。例えば、撮像部12を動作させた状態で、利用者が情報端末装置の空間的方位を任意に連続的に変化させた場合、制御部15は、表示部16での表示情報を連続的に変化させる。
【００５４】
次に、太陽の方位算出の手法については後述する。
【００５５】
図４は、太陽の方位算出の説明図である。緯度Ｌ、経度φである地点での太陽高度ｈと太陽方位角ａは、球面三角法を適用すると、下記式(1)〜(3)の関係がある。
【００５６】
【数１】
【００５７】
【数２】
【００５８】
【数３】
【００５９】
ここで、Ｈ，ｄはそれぞれ、時角、太陽赤経である。なお、日本の標準時間JSTと標準子午線(135度)を使うと時角Ｈは、下記式(4)で与えられる。
【００６０】
【数４】
【００６１】
ここで、Ｅｑは、平均太陽時による時刻と真太陽時による時刻との差分(均時差)である。均時差Ｅｑは、下記式(5)で得られる。
【００６２】
【数５】
【００６３】
ここで、ｗ＝２π/３６５(閏年は、ｗ＝２π/３６６)、Ｊは、(元旦からの通算日数−１)である。したがって、太陽高度ｈおよび太陽方位ａは、下記式(6),(7)で与えられる。
【００６４】
【数６】
【００６５】
【数７】
【００６６】
ここで、αは、太陽赤緯であり、下記式(8)で求められる。
【００６７】
【数８】
【００６８】
なお，太陽方位ａは、真南を０度とし、南西方向を正、南東方向を負の角度で表している。
【００６９】
図５は、他の構成例における被写体11を模式的に示す図である。同図に示すように、被写体11は、球形状の物体であり、撮像部12から一定距離だけ離間して撮像部12の撮像範囲内に装着される。この被写体11は、半透明素材あるいは不透明素材からなり、光源が何れの方向にあってもそれからの光を反射する。撮像部12に対する被写体11の装着には任意の手段を利用できるが、光源から被写体11への光の邪魔になるものであってはならない。
【００７０】
この場合、利用者は、情報端末装置を水平に(撮像部12が地の方向を撮像するように)持って撮像部12により被写体11を撮像する。撮像部12により取得された画像には被写体11による反射光が含まれている。撮像部12により取得された画像は、図３(b)と同様に、光源の方向に対応する箇所が明るくなっている。なお、輝度が自動調整される結果、他の箇所は暗くなっている。この場合の情報端末装置の機能ブロックおよびその動作は、図１と同様であるので、説明を省略する。
【００７１】
図６は、さらに他の構成例における被写体11を模式的に示す図である。同図に示すように、被写体11は、球形状の物体であり、撮像部12から一定距離だけ離間して撮像部12の撮像範囲内に装着される。この被写体11は、半透明素材からなり、光源からの光を透過および反射する。
【００７２】
この場合、利用者は、情報端末装置を垂直に(利用者の前方を撮像部12が撮像するように)持って撮像部12により被写体11を撮像する。撮像部12により取得された画像には被写体11による透過光あるいは反射光が含まれている。光源が被写体11の背面側にある場合、撮像部12により取得された画像には光源からの光の透過光が含まれ、光源が被写体11の手前側にある場合、撮像部12により取得された画像には光源からの光の反射光が含まれている。
【００７３】
この場合、撮像部12により取得された画像上での明るくなる箇所だけからは、光源が被写体11の背面側にあるか手前側にあるかを識別できない。この識別は、被写体11に固有の配色を施すことにより可能となる。すなわち、反射光は光源の光色だけを含み、透過光は被写体11の配色と光源の光色とが混合された色を含むようになるので、撮像部12により取得された画像では、反射光か透過光かにより色の相違が生じる。推定部13では、この色の相違から被写体11に対して光源が被写体11の背面側にあるか手前側にあるかを識別することができる。撮像部12により取得された画像は、光源の方向に対応する箇所が明るくなっている。なお、輝度が自動調整される結果、他の箇所は暗くなっている。この場合の情報端末装置の機能ブロックおよびその動作は、図１と同様であるが、推定部13は、被写体11の色と光源の色が混合されているか否かで、光源が撮像部12と反対側にあるか同じ側にあるかを識別する機能を備える。
【００７４】
図７は、さらに他の構成例における被写体11を模式的に示す図である。同図に示すように、被写体11は、魚眼レンズであり、撮像部12を覆うように装着される。この被写体11は、透明あるいは半透明素材からなり、光源が何れの方向にあってもそれからの光を撮像部12に入射する。撮像部12は、被写体11を撮像する。これにより取得された画像には、被写体11を通して入射する光が含まれている。撮像部12により取得された画像は、光源の方向に対応する箇所が明るくなっている。なお、輝度が自動調整される結果、他の箇所は暗くなっている。この場合の情報端末装置の機能ブロックおよびその動作も、図１と同様であるので、説明を省略する。
【００７５】
被写体11は、撮像部12に取得される被写体11の画像の解析により、光源の方向に依存する特徴量が現れ、それにより光源の方向を推定できるようにするものであればよく、その形状は任意である。しかし、推定される方位角の分解能を向上させる上で、被写体11の形状は、図３、図６、図７に示すように、円筒形状や球形状が好ましい。
【００７６】
被写体11に、撮像部12により取得された画像における光源の方向に依存する部分の画素値を強調し、該部分の特徴量を際立たせる機能を持たせることも好ましい。この機能は、例えば、被写体11に、光源からの光の反射に優れた素材を用いたり、特定の色を付けたりすることにより実現される。
【００７７】
本発明によれば、利用者は、情報端末装置の空間的方位を任意方向に変化させることにより、表示部16で表示される画面や画面内のカーソル位置などをアナログ的に変化させることができるので、画面スクロールやカーソル位置などの操作を直感的に行うことができる。また、表示部16に、例えば、地図、画像、Webページなどを表示させ、撮像部12を任意方向に向けることにより、その方位に応じて文字や地図などの画像を回転あるいはスクロール移動させたり、その視点を移動させたりすることもできる。
【００７８】
図８は、本発明を地図の表示制御に適用した場合の表示例である。ここでは、推定部により推定された方位が常に表示画面の上側になるようにして地図を表示させる例を示している。本発明は、このような地図の表示制御を行う地図表示アプリケーションに適用できる。
【００７９】
図９は、本発明を画像への情報付加に適用した場合の表示例である。ここでは、撮像部により取得された山岳画像が表示部に表示されており、この表示に対して山岳の名称を重畳して表示している。この場合、利用者が情報端末装置の空間的方位を変化させると、その変化に応じて撮像部により取得される画像が変化し、新たな方位が推定され、重畳される情報やその表示位置が制御される。本発明は、このような位置情報と方位情報から画像の画角に入ると推定される物体に対して情報を付加する情報重畳アプリケーションにも適用できる。
【００８０】
以上、実施形態を説明したが、本発明は、上記実施形態に限定されず、種々に変形されたものも含む。例えば、上記実施形態では、基準方位として絶対的方位を設定しているが、絶対的方位を問題としない情報の表示制御では、基準方位として単に基準とする方位を設定し、その方位からの周方向ズレに従って表示を制御するようにすることができる。
【００８１】
また、上記実施形態では、光源を太陽としたが、月などの他の天体を光源とすることができ、情報端末装置に対する方位が既知の他の光源を利用することもできる。
【００８２】
さらに、本発明は、利用者が向いている絶対的方位を推定する装置、すなわち電子コンパスとしても有効である。電子コンパスは、図１の被写体11、撮像部12、推定部13で構成でき、推定部13で推定された方位を利用者が向いている絶対的方位と推定すればよい。
【符号の説明】
【００８３】
11・・・被写体、12・・・撮像部、13・・・推定部、14・・・メモリ、15・・・制御部、16・・・表示部
【特許請求の範囲】
【請求項１】
光源を含む全周からの光を受ける被写体と、
前記被写体の画像を取得する撮像部と、
前記撮像部により取得された画像を解析し、前記光源の方向に依存する特徴量を抽出し、該特徴量に基づいて前記撮像部により取得された画像における光源の方向を推定して基準方位を設定すると共に該基準方位を基準として他の方位を推定する推定部を備えたことを特徴とする情報端末装置。
【請求項２】
前記被写体は、任意方向の光源からの光を透過させるものであることを特徴とする請求項１に記載の情報端末装置。
【請求項３】
前記被写体は、任意方向の光源からの光を反射させるものであることを特徴とする請求項１に記載の情報端末装置。
【請求項４】
前記被写体は、前記撮像部と反対側にある光源からの光を透過させ、前記撮像部と同じ側にある光源からの光を反射させるものであることを特徴とする請求項１に記載の情報端末装置。
【請求項５】
前記被写体は、前記被写体の色と光源の色が混合されているか否かで、光源が前記撮像部と反対側にあるか同じ側にあるかを提示する機能を備えることを特徴とする請求項４に記載の情報端末装置。
【請求項６】
前記被写体は、前記撮像部により取得された画像での光源の方向に対応した部分の特徴量を際立たせる機能を備えることを特徴とする請求項１に記載の情報端末装置。
【請求項７】
前記推定部は、前記撮像部により取得された画像での前記被写体内で最大輝度値を最も多く含む領域が存在する方向を光源の方向として推定する機能を備えることを特徴とする請求項１に記載の情報端末装置。
【請求項８】
前記推定部は、前記撮像部により取得された画像での前記被写体内において、前記被写体の中心から一直線状に外周の一点に向かう径方向での画素値の合計を算出して特徴量とし、該特徴量が最大値をとる方向を光源の方向として推定する機能を備えることを特徴とする請求項１に記載の情報端末装置。
【請求項９】
前記推定部は、前記撮像部により取得された画像での前記被写体内における最大画素値に所定の閾値を乗じた値以上の画素値を持つ画素に、各画素値に対して負相関の相関値を割り当て、前記撮像部により取得された画像の前記被写体内において、前記被写体の中心から一直線状に外周の一点に向かう径方向での相関値の合計を算出して特徴量とし、該特徴量が最小値をとる方向を光源の方向として推定する機能を備えることを特徴とする請求項１に記載の情報端末装置。
【請求項１０】
前記推定部は、各径方向での相関値の合計を算出するに際し、それまでに算出した最小値とその径方向を保持しておき、算出された合計が該最小値を超えたときにはその時点で該径方向での算出処理を中止し、次の径方向での算出処理に進むことにより計算量を削減する機能を備えることを特徴とする請求項９に記載の情報端末装置。
【請求項１１】
前記推定部は、基準方位として既知の方位が入力された場合、前記撮像部により取得された画像の領域を均等分割することにより他の方位を設定する機能を備えることを特徴とする請求項１に記載の情報端末装置。
【請求項１２】
前記推定部は、前記被写体の色と光源の色が混合されているか否かで、光源が前記撮像部と反対側にあるか同じ側にあるかを識別する機能を備えることを特徴とする請求項５に記載の情報端末装置。
【請求項１３】
前記推定部は、基準方位が未知である場合、利用者環境での天体の方位を算出し、該方位を基準方位として設定する共に該基準方位を元に他の方位を推定する機能を備えることを特徴とする請求項１に記載の情報端末装置。
【請求項１４】
前記推定部は、情報端末の位置情報と時刻情報から太陽の方位を算出し、該方位を絶対的な基準方位として設定する共に該基準方位を元に他の方位を推定する機能を備えることを特徴とする請求項１２に記載の情報端末装置。
【請求項１５】
さらに、表示情報を記憶するメモリと、
前記メモリから表示情報を読み出すと共に前記推定部により推定された基準方位および他の方位に応じて表示情報を制御する制御部と、
前記制御部により制御された表示情報を表示する表示部を備えることを特徴とする請求項１ないし１３のいずれかに記載の情報端末装置。
【請求項１】
光源を含む全周からの光を受ける被写体と、
前記被写体の画像を取得する撮像部と、
前記撮像部により取得された画像を解析し、前記光源の方向に依存する特徴量を抽出し、該特徴量に基づいて前記撮像部により取得された画像における光源の方向を推定して基準方位を設定すると共に該基準方位を基準として他の方位を推定する推定部を備えたことを特徴とする情報端末装置。
【請求項２】
前記被写体は、任意方向の光源からの光を透過させるものであることを特徴とする請求項１に記載の情報端末装置。
【請求項３】
前記被写体は、任意方向の光源からの光を反射させるものであることを特徴とする請求項１に記載の情報端末装置。
【請求項４】
前記被写体は、前記撮像部と反対側にある光源からの光を透過させ、前記撮像部と同じ側にある光源からの光を反射させるものであることを特徴とする請求項１に記載の情報端末装置。
【請求項５】
前記被写体は、前記被写体の色と光源の色が混合されているか否かで、光源が前記撮像部と反対側にあるか同じ側にあるかを提示する機能を備えることを特徴とする請求項４に記載の情報端末装置。
【請求項６】
前記被写体は、前記撮像部により取得された画像での光源の方向に対応した部分の特徴量を際立たせる機能を備えることを特徴とする請求項１に記載の情報端末装置。
【請求項７】
前記推定部は、前記撮像部により取得された画像での前記被写体内で最大輝度値を最も多く含む領域が存在する方向を光源の方向として推定する機能を備えることを特徴とする請求項１に記載の情報端末装置。
【請求項８】
前記推定部は、前記撮像部により取得された画像での前記被写体内において、前記被写体の中心から一直線状に外周の一点に向かう径方向での画素値の合計を算出して特徴量とし、該特徴量が最大値をとる方向を光源の方向として推定する機能を備えることを特徴とする請求項１に記載の情報端末装置。
【請求項９】
前記推定部は、前記撮像部により取得された画像での前記被写体内における最大画素値に所定の閾値を乗じた値以上の画素値を持つ画素に、各画素値に対して負相関の相関値を割り当て、前記撮像部により取得された画像の前記被写体内において、前記被写体の中心から一直線状に外周の一点に向かう径方向での相関値の合計を算出して特徴量とし、該特徴量が最小値をとる方向を光源の方向として推定する機能を備えることを特徴とする請求項１に記載の情報端末装置。
【請求項１０】
前記推定部は、各径方向での相関値の合計を算出するに際し、それまでに算出した最小値とその径方向を保持しておき、算出された合計が該最小値を超えたときにはその時点で該径方向での算出処理を中止し、次の径方向での算出処理に進むことにより計算量を削減する機能を備えることを特徴とする請求項９に記載の情報端末装置。
【請求項１１】
前記推定部は、基準方位として既知の方位が入力された場合、前記撮像部により取得された画像の領域を均等分割することにより他の方位を設定する機能を備えることを特徴とする請求項１に記載の情報端末装置。
【請求項１２】
前記推定部は、前記被写体の色と光源の色が混合されているか否かで、光源が前記撮像部と反対側にあるか同じ側にあるかを識別する機能を備えることを特徴とする請求項５に記載の情報端末装置。
【請求項１３】
前記推定部は、基準方位が未知である場合、利用者環境での天体の方位を算出し、該方位を基準方位として設定する共に該基準方位を元に他の方位を推定する機能を備えることを特徴とする請求項１に記載の情報端末装置。
【請求項１４】
前記推定部は、情報端末の位置情報と時刻情報から太陽の方位を算出し、該方位を絶対的な基準方位として設定する共に該基準方位を元に他の方位を推定する機能を備えることを特徴とする請求項１２に記載の情報端末装置。
【請求項１５】
さらに、表示情報を記憶するメモリと、
前記メモリから表示情報を読み出すと共に前記推定部により推定された基準方位および他の方位に応じて表示情報を制御する制御部と、
前記制御部により制御された表示情報を表示する表示部を備えることを特徴とする請求項１ないし１３のいずれかに記載の情報端末装置。
【図１】
【図５】
【図６】
【図７】
【図９】
【図２】
【図３】
【図４】
【図８】
【図５】
【図６】
【図７】
【図９】
【図２】
【図３】
【図４】
【図８】
【公開番号】特開２０１１−６９７７３（Ｐ２０１１−６９７７３Ａ）
【公開日】平成２３年４月７日（２０１１．４．７）
【国際特許分類】
【出願番号】特願２００９−２２２４７４（Ｐ２００９−２２２４７４）
【出願日】平成２１年９月２８日（２００９．９．２８）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
【公開日】平成２３年４月７日（２０１１．４．７）
【国際特許分類】
【出願日】平成２１年９月２８日（２００９．９．２８）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
[ Back to top ]