説明

情報登録装置、情報登録方法、情報登録システム、情報提示装置、情報提示方法、情報提示システムおよびプログラム

【課題】情報の登録、提示(閲覧)を行う際のユーザの使い勝手の向上を図る。
【解決手段】画像データに対して物体の検出識別処理が施されて得られた物体情報を取得する。登録時には、登録対象のコンテンツ情報を物体情報に関連付けてデータベースに登録する。提示時には、物体情報に関連付けされたコンテンツ情報を取得して提示する。ユーザは、コンテンツ情報を登録するに当たって、適切な検索キーワードを考える必要がなく、ユーザの使い勝手が向上する。また、ユーザは、コンテンツ情報を閲覧するに当たって、複雑な操作を要求されることなく、ユーザの使い勝手が向上する。

【発明の詳細な説明】
【技術分野】
【0001】
本技術は、情報登録装置、情報登録方法、情報登録システム、情報提示装置、情報提示方法、情報提示システムおよびプログラムに関する。詳しくは、本技術は、画像、音声、テキスト等のコンテンツ情報の登録、提示(閲覧)を行う情報登録装置、情報登録方法、情報登録システム、情報提示装置、情報提示方法、情報提示システムおよびプログラムに関する。
【背景技術】
【0002】
近年、携帯電話などの携帯情報端末の普及により、個人的な情報、例えばスケジュールや備忘録などを、電子化された画像、音声、テキスト等のコンテンツ情報で閲覧することが一般的に行われている。しかし、情報の電子化に伴うデータ量やその種類の劇的な増大によって、情報機器の操作が複雑になり、欲しい情報を簡便に引き出すことは容易ではなくなった。
【0003】
一方で、テキストベースの検索方法の発達により、情報に適切にメタ情報(表題、タグなど)を付けることで、キーワードをもとに任意の情報を引き出すことは非常に手軽になった。しかし、同じ情報に異なるメタをつけてしまうなどによる、検索時に必要な適切なキーワードの想起の困難さが生じている。これらを改善するには、情報の登録、閲覧時のユーザインタフェースを改善する必要がある。
【0004】
従来、物体認識技術を利用して、カメラスルー画像に情報をオーバレイする技術が提案されている(特許文献1参照)。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特許3558104号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
本技術の目的は、画像、音声、テキスト等のコンテンツ情報の登録、提示(閲覧)を行う際のユーザの使い勝手の向上を図ることにある。
【課題を解決するための手段】
【0007】
本技術の概念は、
画像データに対して物体の検出識別処理が施されて得られた物体情報を取得する物体情報取得部と、
登録対象のコンテンツ情報を上記物体情報に関連付けてデータベースに登録するコンテンツ情報登録部とを備える
情報登録装置にある。
【0008】
本技術において、物体情報取得部により、画像データに対して物体の検出識別処理が施されて得られた物体情報が取得される。例えば、物体情報は、物体識別情報と共に、物体に関するメタ情報を含んでいてもよい。このメタ情報は、例えば、物体の位置および/または姿勢情報である。これらは、SLAM(Simultaneously Localization and Mapping)技術や画像追跡技術、ジャイロセンサの値などを使うことで、情報の補正や、物体を検出した後で、未検出状態になった場合などの情報の予測を行うことができる。
【0009】
この場合、画像データに対して物体の検出識別処理を施して物体情報を得ることは、外部、例えばネットワークを介して接続されたサーバ装置で行われてもよく、あるいは自身が備える物体認識部で行われてもよい。また、この場合、画像データが、半導体メモリ、ハードディスクドライブなどの記憶部に蓄積されている画像データであってもよく、あるいは自身が備える撮像部(カメラ)で得られた画像データであってもよい。
【0010】
コンテンツ情報登録部により、登録対象のコンテンツ情報が物体情報に関連付けされてデータベースに登録される。この場合、登録対象のコンテンツ情報は、画像、音声、テキスト等のコンテンツ情報である。この場合、データベースは、例えばネットワークを介して接続されたサーバ装置が備えていてもよく、あるいは自身が備えていてもよい。
【0011】
このように本技術においては、登録対象のコンテンツ情報が物体情報に関連付けされてデータベースに登録される。そのため、ユーザは、コンテンツ情報を登録するに当たって、適切な検索キーワードを考える必要がなく、ユーザの使い勝手が向上する。つまり、ユーザは所定の物体を撮像する操作をするか、あるいは記憶部に記憶されている所定の物体を撮影した画像データを選択する操作をするだけでよくなる。
【0012】
また、本技術において、例えば、ユーザの検出識別処理により得られたユーザ識別情報を取得するユーザ識別情報取得部をさらに備え、コンテンツ情報登録部は、登録対象のコンテンツ情報を物体情報およびユーザ識別情報に関連付けてデータベースに登録する、ようにされてもよい。
【0013】
この場合、ユーザの検出識別処理によりユーザ識別情報を得ることは、外部、例えばネットワークを介して接続されたサーバ装置で行われてもよく、あるいは自身が備えるユーザ認識部で行われてもよい。この場合のユーザの検出識別処理は、顔認識などの画像認識、あるいは指紋認識を用いてもよく、あるいは、ユーザによるユーザID、パスワードの手入力に基づいて行われてもよい。つまり、この場合のユーザの検出識別処理は、一般的なユーザ認証の処理でよい。
【0014】
この場合、登録対象のコンテンツ情報が物体情報と共に、さらにユーザ識別情報に関連付けされてデータベースに登録される。そのため、データベースから、物体情報だけでなくさらにユーザ識別情報に関連付けされた所望のコンテンツ情報を取り出すことが容易となる。すなわち、ユーザに応じたコンテンツ情報の取り出しが可能となる。
【0015】
また、本技術において、例えば、登録環境情報を取得する登録環境情報取得部をさらに備え、コンテンツ情報登録部は、登録対象のコンテンツ情報を物体情報および登録環境情報に関連付けて上記データベースに登録する、ようにされてもよい。例えば、登録環境情報は、位置情報および/または時刻情報を含んでいてもよい。
【0016】
この場合、登録環境情報は、時計部、位置情報取得部等を用いて取得してもよく、あるいは例えばネットワークを介して外部から取得してもよい。登録環境情報としては、位置情報取得部で得られる情報(緯度経度、高度、速度、移動方向など)、時計部で得られる時刻情報の他に、天気情報、季節情報なども考えられ、さらには、閲覧可能な、つまり閲覧が許可されるユーザ情報なども、この登録環境情報に含めることができる。
【0017】
また、登録環境情報として、上述の情報の他に、以下のような情報のいずれかあるいは全部を含めることがでえきる。例えば、(1)気温、気圧、湿度、(2)方位、加速度、(3)近接、(4)照度、(5)騒音、(6)照度、(7)騒音、(8)日付、(9)姿勢(6軸)、(10)テキスト、などである。また、例えば、(11)ユーザのバイタルデータ(顔色、体温、BMI、血圧、心拍、体脂肪量、基礎代謝、指紋、声紋など)、(12)ユーザの動作(通勤中、ゴルフ中、夕食中、掃除をしているなどで、センサにより自動で取得しても良いし、ユーザが手入力をしてもよい)、(13)音声(センサにより自動で取得しても良いし、ユーザが録音をしてもよい)、(14)情報の閲覧履歴、などである。
【0018】
この場合、登録対象のコンテンツ情報が物体情報と共に、さらに登録環境情報に関連付けてデータベースに登録される。そのため、コンテンツ情報を提示する際に、登録環境情報を利用して、閲覧環境にあったコンテンツ情報を優先的に提示することなどが可能となる。
【0019】
また、本技術の他の概念は、
画像データに対して物体の検出識別処理が施されて得られた物体情報を取得する物体情報取得部と、
上記物体情報に関連付けされたコンテンツ情報を取得して提示するコンテンツ情報提示部とを備える
情報提示装置にある。
【0020】
本技術において、物体情報取得部により、画像データに対して物体の検出識別処理が施されて得られた物体情報が取得される。例えば、物体情報は、物体識別情報と共に、物体に関するメタ情報を含んでいてもよい。このメタ情報は、例えば、物体の位置および/または姿勢情報である。これらは、SLAM(Simultaneously Localization and Mapping)技術や画像追跡技術、ジャイロセンサの値などを使うことで、情報の補正や、物体を検出した後で、未検出状態になった場合などの情報の予測を行うことができる。
【0021】
この場合、画像データに対して物体の検出識別処理を施して物体情報を得ることは、外部、例えばネットワークを介して接続されたサーバ装置で行われてもよく、あるいは自身が備える物体認識部で行われてもよい。また、この場合、画像データが、半導体メモリ、ハードディスクドライブなどの記憶部に蓄積されている画像データであってもよく、あるいは自身が備える撮像部(カメラ)で得られた画像データであってもよい。
【0022】
コンテンツ情報提示部により、物体情報に関連付けされたコンテンツ情報が取得されて提示される。このコンテンツ情報は、画像、音声、テキスト等のコンテンツ情報である。このコンテンツ情報は、例えば、ユーザがデータベースに予め登録したコンテンツ情報、あるいはインターネットなどのネットワークを通じて取得されるコンテンツ情報である。また、この場合、データベースは、例えばネットワークを介して接続されたサーバ装置が備えていてもよく、あるいは自身が備えていてもよい。
【0023】
このように本技術においては、物体情報に関連付けされたコンテンツ情報が取得されて提示される。そのため、ユーザは、コンテンツ情報を閲覧するに当たって、複雑な操作を要求されることなく、ユーザの使い勝手が向上する。つまり、ユーザは所定の物体を撮像する操作をするか、あるいは記憶部に記憶されている所定の物体を撮影した画像データを選択する操作をするだけで、所望のコンテンツ情報の提示を受けて、その閲覧が可能となる。
【0024】
なお、本技術において、例えば、ユーザの検出識別処理により得られたユーザ識別情報を取得するユーザ識別情報取得部をさらに備え、コンテンツ情報提示部は、物体情報と共にユーザ識別情報に関連付けされたコンテンツ情報を取得して提示する、ようにされてもよい。
【0025】
この場合、ユーザの検出識別処理によりユーザ識別情報を得ることは、外部、例えばネットワークを介して接続されたサーバ装置で行われてもよく、あるいは自身が備えるユーザ認識部で行われてもよい。この場合のユーザの検出識別処理は、顔認識などの画像認識、あるいは指紋認識を用いてもよく、あるいは、ユーザによるユーザID、パスワードの手入力に基づいて行われてもよい。つまり、この場合のユーザの検出識別処理は、一般的なユーザ認証の処理でよい。
【0026】
この場合、物体情報およびユーザ識別情報に関連付けされたコンテンツ情報が取得される。つまり、物体情報だけでなくさらにユーザ識別情報に関連付けされた所望のコンテンツ情報の取得が可能となる。すなわち、ユーザに応じたコンテンツ情報の取り出しが可能となる。
【0027】
また、本技術において、例えば、閲覧環境情報を取得する閲覧環境情報取得部をさらに備え、コンテンツ情報提示部で取得されたコンテンツ情報には登録環境情報が付加されており、コンテンツ情報提示部は、閲覧環境情報と登録環境情報に基づいて、取得された所定数のコンテンツ情報の提示順位を決定する、ようにされてもよい。
【0028】
この場合、閲覧環境情報は、時計部、位置情報取得部等を用いて取得してもよく、あるいは例えばネットワークを介して外部から取得してもよい。閲覧環境情報としては、位置情報取得部で得られる情報(緯度経度、高度、速度、移動方向など)、時計部で得られる時刻情報の他に、天気情報、季節情報なども考えられる。
【0029】
また、閲覧環境情報として、上述の情報の他に、以下のような情報のいずれかあるいは全部を含めることがでえきる。例えば、(1)気温、気圧、湿度、(2)方位、加速度、(3)近接、(4)照度、(5)騒音、(6)照度、(7)騒音、(8)日付、(9)姿勢(6軸)、(10)テキスト、などである。また、例えば、(11)ユーザのバイタルデータ(顔色、体温、BMI、血圧、心拍、体脂肪量、基礎代謝、指紋、声紋など)、(12)ユーザの動作(通勤中、ゴルフ中、夕食中、掃除をしているなどで、センサにより自動で取得しても良いし、ユーザが手入力をしてもよい)、(13)音声(センサにより自動で取得しても良いし、ユーザが録音をしてもよい)、(14)情報の閲覧履歴、などである。
【0030】
この場合、閲覧環境情報に基づいて、取得された所定数のコンテンツ情報の提示順位が決定される。すなわち、コンテンツ情報を提示する際に、閲覧環境にあったコンテンツ情報を優先的に提示することなどが可能となる。
【0031】
また、本技術において、例えば、画像データを得る撮像部と、画像データが処理されて得られた物体と撮像部との相対位置情報を取得する相対位置情報取得部とをさらに備え、コンテンツ情報提示部は、物体情報と共に相対位置情報に関連付けされたコンテンツ情報を取得して提示する、ようにされてもよい。
【0032】
この場合、物体情報および相対位置情報に関連付けされたコンテンツ情報が取得される。つまり、物体情報だけでなくさらに撮像部(カメラ)の例えば特定の図形を描く等の操作に関連付けされた所望のコンテンツ情報の取得が可能となる。
【発明の効果】
【0033】
本技術によれば、画像、音声、テキスト等のコンテンツ情報の登録、提示(閲覧)を行う際のユーザの使い勝手の向上を図ることができる。
【図面の簡単な説明】
【0034】
【図1】本技術の第1の実施の形態としての情報登録システムの構成例を示すブロック図である。
【図2】システムを、クライアント装置のみで、あるいはクライアント装置とサーバ装置とがネットワーク接続されたネットワークシステムで構成できることを説明するための図である。
【図3】情報登録システムにおける情報登録の処理手順の一例を示すフローチャートである。
【図4】本技術の第2の実施の形態としての情報提示システムの構成例を示すブロック図である。
【図5】情報提示システムにおける情報提示の処理手順の一例を示すフローチャートである。
【図6】具体的実現例としての往訪時の情報閲覧の例を説明するための図である。
【図7】具体的実現例としての往訪時の情報閲覧の例を説明するための図である。
【図8】情報提示システムの他の構成例を示すブロック図である。
【図9】物体識別情報の他に、物体に対する位置(x,y,z)、回転(roll, pitch, yaw)の情報を利用する例を説明するための図である。
【図10】物体識別情報の他に、物体に対する位置(x,y,z)、回転(roll, pitch, yaw)の情報を利用する例を説明するための図である。
【図11】本技術の第3の実施の形態としての情報提示システムの構成例を示すブロック図である。
【図12】情報提示システムにおける情報提示の処理手順の一例を示すフローチャートである。
【図13】位置をベースにしたジェスチャ認識を説明するための図である。
【図14】具体的実現例としての情報閲覧システムの例を説明するための図である。
【図15】具体的実現例としての情報閲覧システムの例を説明するための図である。
【図16】具体的実現例としての品物情報提示システムの例を説明するための図である。
【図17】情報登録システムの構成例を示すブロック図である。
【図18】情報登録システムにおける情報登録の処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【0035】
以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明を以下の順序で行う。
1.第1の実施の形態
2.第2の実施の形態
3.第3の実施の形態
4.変形例
【0036】
<1.第1の実施の形態>
[情報登録システム]
図1は、第1の実施の形態としての情報登録システム100の構成例を示している。この情報登録システム100は、物体認識部101と、物体識別データベース102と、ユーザ認識部103と、ユーザ識別データベース104と、登録環境検出部105を有している。また、この情報登録システム100は、情報登録部106と、情報入力部107と、提示部108と、操作入力部109と、登録情報データベース110を有している。
【0037】
物体認識部101は、物体識別データベース102に蓄積されている物体識別データに基づいて、画像データに対して物体の検出識別処理を施して、物体情報を得る。この場合の画像データは、記憶部としての半導体メモリ、ハードディスクドライブなどに蓄積されている画像データであってもよく、あるいは撮像部(カメラ)で撮像して得られた画像データであってもよい。この場合、同じ物体が異なった物体として認識されないように、物体識別データベース102は、システム内で統一共有される。また、ここでいう物体には、人物や動物も含まれる。
【0038】
物体認識部101で取得される物体状態には、例えば、物体識別情報(物体ID)と共に、物体に関するメタ情報としての物体の位置および姿勢の情報が含まれる。これらは、SLAM(Simultaneously Localization and Mapping)技術や画像追跡技術、ジャイロセンサの値などを使うことで、情報の補正や、物体を検出した後で、未検出状態になった場合などの情報の予測を行うことができる。なお、位置および姿勢のいずれかだけであってもよい。物体認識部101は、例えば、画像に含まれる物体の特徴点の位置に基づいて物体を認識する。また、物体認識部101は、この物体の特徴点の位置に基づいて、物体の世界座標系における位置および姿勢を算出する。この位置情報は、物体と撮像部(カメラ)との相対位置情報を構成する。このような物体認識部101の処理については、詳細説明は省略するが、例えば、本出願人の出願に係る「特開2008−304268号公報」に詳述されている。
【0039】
ユーザ認識部103は、ユーザ識別データベース104に蓄積されているユーザ識別データに基づいて、ユーザの検出識別処理を行って、ユーザ識別情報を得る。この場合のユーザの検出識別処理は、顔認識などの画像認識、あるいは指紋認識を用いてもよく、あるいは、ユーザによるユーザID、パスワードの手入力に基づいて行われてもよい。つまり、この場合のユーザの検出識別処理は、従来周知の一般的なユーザ認証の処理でよい。この場合、同じユーザ(人物)が異なったユーザとして認識されないように、ユーザ識別データベース104は、システム内で統一共有される。
【0040】
登録環境検出部105は、図示しない情報登録端末やインターネット等から登録時の環境情報を検出する。この環境情報には、例えば、位置情報取得部で得られる情報(緯度経度、高度、速度、移動方向など)、時計部で得られる時刻情報、インターネットから得られる天気情報等が含まれる。この場合、同じ環境が異なった環境として認識されないように、時刻合わせや緯度経度の算出方法は、システム内で統一共有される。なお、この登録環境情報には、閲覧可能なユーザ情報などを含めることもできる。
【0041】
位置情報取得部では、GPS(Global Positioning System)により、または、WiFi(Wireless Fidelity)での測位あるいは携帯基地局を用いた測位により、情報(緯度経度、高度、速度、移動方向など)が得られる。
【0042】
なお、環境情報には、上述の情報の他に、以下の情報の一部あるいは全部が含まれていてもよい。例えば、(1)気温、気圧、湿度、(2)方位,加速度、(3)近接、(4)照度、(5)騒音、(6)照度、(7)騒音、(8)日付、(9)姿勢(6軸)、(10)テキスト、などである。また、例えば、(11)ユーザのバイタルデータ(顔色、体温、BMI、血圧、心拍、体脂肪量、基礎代謝、指紋、声紋など)、(12)ユーザの動作(通勤中、ゴルフ中、夕食中、掃除をしているなどで、センサにより自動で取得しても良いし、ユーザが手入力をしてもよい)、(13)音声(センサにより自動で取得しても良いし、ユーザが録音をしてもよい)、(14)情報の閲覧履歴、などである。
【0043】
情報登録部106は、情報入力部107から入力されるコンテンツ情報を、上述の物体情報、ユーザ識別情報および登録環境情報に関連付けて、登録情報データベース110に登録する。このコンテンツ情報は、例えば、画像、音声、テキストなどの各種のコンテンツ情報である。情報登録部106は、例えば、提示部108に表示されるGUI(Graphical User Interface)を利用したユーザの操作入力部109による操作に応じて、ユーザが選択した種類のコンテンツ情報の登録を行う。
【0044】
なお、この場合、ユーザは、登録対象のコンテンツ情報に紐付けられる環境情報の種類を選択可能とされてもよい。例えば、登録環境検出部105で位置情報、時刻情報および天気情報が得られる場合、位置情報および時刻情報のみを、登録対象のコンテンツ情報に紐付けられる環境情報として選択する等である。
【0045】
図1に示す情報登録システム100は、例えば、図2(a)に示すようにクライアント装置500Aのみ、あるいは、図2(b)に示すようにクライアント装置500Aとサーバ装置500Bとがネットワーク500Cを介して接続されたネットワークシステムで構成できる。図2(b)に示すネットワークシステムの場合、情報登録システム100を構成する各部が、適宜、クライアント装置500Aとサーバ装置500Bとに分割配置される。例えば、物体認識部101、物体識別データベース102、ユーザ認識部103、ユーザ識別データベース104、登録環境検出部105の一部、登録情報データベース110などはサーバ装置500Bに配置可能である。
【0046】
図1に示す情報登録システム100における情報登録の処理手順の一例を、図3のフローチャートを参照して説明する。情報登録システム100は、ステップST1において、処理を開始する。その後、情報登録システム100は、ステップST2の処理に移る。このステップST2において、ユーザ認識部103は、入力されるユーザ情報(顔画像、指紋画像、ユーザのアカウント、パスワードの手入力情報など)に基づいて、ユーザの検出識別処理を行ってユーザ識別情報を得る。
【0047】
次に、ステップST3において、物体認識部101は、入力画像データに対して物体の検出識別処理を施して物体情報を得る。この際、ユーザは、例えばクライアント装置500Aに付属の撮像部(カメラ)で所定の物体を撮像して入力画像データを取得する。あるいは、この際、ユーザは、例えばクライアント装置500Aの記憶部に蓄積されている画像データを選択することで入力画像データを得る。
【0048】
次に、ステップST4において、提示部108は、ステップST3で識別された情報登録可能な対象物(物体)を提示する。そして、情報登録システム100は、ステップST5において、ステップST4で提示された対象物に対するユーザの選択操作があるか否かを判断する。ユーザは、操作入力部109を操作することで、この選択操作を行うことができる。
【0049】
ユーザの選択操作があるとき、情報登録システム100は、ステップST6の処理に移る。このステップST6において、提示部108は、入力可能なコンテンツ情報の種類を提示する。例えば、画像、音声、テキストのいずれもが入力可能な情報であるときは、提示部108は、その旨を表示する。そして、情報登録システム100は、ステップST7において、提示された種類のコンテンツ情報が入力されたか否かを判断する。ユーザは、情報入力部107から所望のコンテンツ情報を入力できる。
【0050】
コンテンツ情報が入力されたとき、ステップST8において、提示部108は、登録環境検出部105で検出された登録環境を提示する。そして、情報登録システム100は、ステップST9において、提示された環境に対するユーザの選択操作があるか否かを判断する。ユーザは、操作入力部109を操作することで、この選択操作を行うことができる。
【0051】
ユーザの選択操作があるとき、情報登録システム100は、ステップST10の処理に移る。このステップST10において、情報登録部106は、ステップST5で選択された対象物(物体)に、ステップST7で入力されたコンテンツ情報を登録する。すなわち、情報登録部106は、コンテンツ情報を対象物(物体)に関連づけて登録情報データベース110に登録する。この際、コンテンツ情報を、ユーザ識別情報およびステップST9で選択された登録環境の情報に関連付けて登録する。情報登録システム100は、ステップST10の処理の後、ステップST11において、処理を終了する。
【0052】
上述したように、図1に示す情報登録システム100においては、登録対象のコンテンツ情報が物体情報に関連付けされて登録情報データベース110に登録される。そのため、ユーザは、コンテンツ情報を登録するに当たって、適切な検索キーワードを考える必要がなく、ユーザの使い勝手が向上する。つまり、ユーザは所定の物体を撮像する操作をするか、あるいは記憶部に記憶されている所定の物体を撮影した画像データを選択する操作をするだけでよくなる。
【0053】
また、図1に示す情報登録システム100においては、登録対象のコンテンツ情報は、物体情報と共に、さらにユーザ識別情報に関連付けされて登録情報データベース110に登録される。そのため、登録情報データベース110から、物体情報だけでなくさらにユーザ識別情報に関連付けされた所望のコンテンツ情報を取り出すことが容易となる。すなわち、ユーザに応じたコンテンツ情報の取り出しが可能となる。
【0054】
また、図1に示す情報登録システム100においては、登録対象のコンテンツ情報は、物体情報と共に、さらに登録環境情報に関連付けされて登録情報データベース110に登録される。そのため、コンテンツ情報を提示する際に、登録環境情報を利用して、閲覧環境にあったコンテンツ情報を優先的に提示することなどが可能となる。
【0055】
<2.第2の実施の形態>
[情報提示システム]
図4は、第2の実施の形態としての情報提示システム200の構成例を示している。この情報提示システム200は、物体認識部201と、物体識別データベース202と、ユーザ認識部203と、ユーザ識別データベース204と、閲覧環境検出部205を有している。また、この情報提示システム200は、ユーザ状態検出部206と、情報提示部207と、登録情報データベース208と、インターネット209と、操作入力部210を有している。
【0056】
物体認識部201は、物体識別データベース202に蓄積されている物体識別データに基づいて、画像データに対して物体の検出識別処理を施して、物体情報を得る。この場合の画像データは、記憶部としての半導体メモリ、ハードディスクドライブなどに蓄積されている画像データであってもよく、あるいは撮像部(カメラ)で撮像して得られた画像データであってもよい。この場合、同じ物体が異なった物体として認識されないように、物体識別データベース202は、システム内で統一共有される。また、ここでいう物体には、人物や動物も含まれる。
【0057】
物体認識部201で取得される物体状態には、例えば、物体識別情報(物体ID)と共に、物体に関するメタ情報としての物体の位置および姿勢の情報が含まれる。これらは、SLAM(Simultaneously Localization and Mapping)技術や画像追跡技術、ジャイロセンサの値などを使うことで、情報の補正や、物体を検出した後で、未検出状態になった場合などの情報の予測を行うことができる。なお、位置および姿勢のいずれかだけであってもよい。物体認識部201は、例えば、画像に含まれる物体の特徴点の位置に基づいて物体を認識する。また、物体認識部201は、この物体の特徴点の位置に基づいて、物体の世界座標系における位置および姿勢を算出する。この位置情報は、物体と撮像部(カメラ)との相対位置情報を構成する。このような物体認識部201の処理については、詳細説明は省略するが、例えば、本出願人の出願に係る「特開2008−304268号公報」に詳述されている。
【0058】
ユーザ認識部203は、ユーザ識別データベース204に蓄積されているユーザ識別データに基づいて、ユーザの検出識別処理を行って、ユーザ識別情報を得る。この場合のユーザの検出識別処理は、顔認識などの画像認識、あるいは指紋認識を用いてもよく、あるいは、ユーザによるユーザID、パスワードの手入力に基づいて行われてもよい。つまり、この場合のユーザの検出識別処理は、従来周知の一般的なユーザ認証の処理でよい。この場合、同じユーザ(人物)が異なったユーザとして認識されないように、ユーザ識別データベース204は、システム内で統一共有される。
【0059】
閲覧環境検出部205は、図示しない情報登録端末やインターネット等から閲覧時の環境情報を検出する。この環境情報には、例えば、位置情報取得部で得られる情報(緯度経度、高度、速度、移動方向など)、時計部で得られる時刻情報、インターネットから得られる情報等が含まれる。この場合、同じ環境が異なった環境として認識されないように、時刻合わせや緯度経度の算出方法は、システム内で統一共有される。
【0060】
位置情報取得部では、GPS(Global Positioning System)により、または、WiFi(Wireless Fidelity)での測位あるいは携帯基地局を用いた測位により、情報(緯度経度、高度、速度、移動方向など)が得られる。
【0061】
なお、環境情報には、上述の情報の他に、以下の情報の一部あるいは全部が含まれていてもよい。例えば、(1)気温、気圧、湿度、(2)方位、加速度、(3)近接、(4)照度、(5)騒音、(6)照度、(7)騒音、(8)日付、(9)姿勢(6軸)、(10)テキスト、などである。また、例えば、(11)ユーザのバイタルデータ(顔色、体温、BMI、血圧、心拍、体脂肪量、基礎代謝、指紋、声紋など)、(12)ユーザの動作(通勤中、ゴルフ中、夕食中、掃除をしているなどで、センサにより自動で取得しても良いし、ユーザが手入力をしてもよい)、(13)音声(センサにより自動で取得しても良いし、ユーザが録音をしてもよい)、(14)情報の閲覧履歴、などである。
【0062】
ユーザ状態検出部206は、物体識別情報、ユーザ識別情報、閲覧環境情報などに基づいて、情報検索クエリ(query)を生成する。この情報検索クエリは、例えば、物体情報に含まれる物体識別情報およびユーザ識別情報に関連付けされたコンテンツ情報を、閲覧環境情報(時刻情報、位置情報など)に応じた順位で提示するためのものとされる。
【0063】
情報提示部207は、ユーザ状態検出部206で生成される情報検索クエリに基づいて、登録情報データベース208からコンテンツ情報を取得し、さらにはインターネット209から関連する情報を取得して、提示する。この場合、複数の情報が取得される場合には、情報の順位付けにしたがって、自動的に、あるいは、ユーザの操作入力部210からの切り替え操作により、提示する情報を切り替える。この場合、操作入力部210は、例えばタッチセンサや加速度センサを備える構成であってもよい。なお、インターネット209から関連する情報を取得する構成を持たないことも考えられる。
【0064】
図4に示す情報提示システム200も、例えば、図2(a)に示すようにクライアント装置500Aのみ、あるいは、図2(b)に示すようにクライアント装置500Aとサーバ装置500Bとがネットワーク500Cを介して接続されたネットワークシステムで構成できる。図2(b)に示すネットワークシステムの場合、情報提示システム200を構成する各部が、適宜、クライアント装置500Aとサーバ装置500Bとに分割配置される。例えば、物体認識部201、物体識別データベース202、ユーザ認識部203、ユーザ識別データベース204、閲覧環境検出部205の一部、登録情報データベース208などはサーバ装置500Bに配置可能である。
【0065】
図4に示す情報提示システム200における情報提示の処理手順の一例を、図5のフローチャートを参照して説明する。情報提示システム200は、ステップST21において、例えばパワーオン時に処理を開始する。その後、情報提示システム200は、ステップST22の処理に移る。このステップST22において、ユーザ認識部203は、入力されるユーザ情報(顔画像、指紋画像、ユーザのアカウント、パスワードの手入力情報など)に基づいて、ユーザの検出識別処理を行ってユーザ識別情報を得る。
【0066】
次に、ステップST23において、閲覧環境検出部205は、図示しない情報登録端末やインターネット等から閲覧時の環境情報、例えば、位置情報(緯度経度情報)、時刻情報などを検出する。情報提示システム200は、ステップST23の処理の後、ステップST24の処理に移る。
【0067】
このステップST24において、物体認識部201は、入力画像データに対して物体の検出識別処理を施して物体情報を得る。この際、ユーザは、例えばクライアント装置500Aに付属の撮像部(カメラ)で所定の物体を撮像して入力画像データを取得する。あるいは、この際、ユーザは、例えばクライアント装置500Aの記憶部に蓄積されている画像データを選択することで入力画像データを得る。
【0068】
次に、ステップST25において、情報提示システム200は、物体が識別されたか否かを判断する。物体が識別されたとき、ステップST26において、ユーザ状態検出部206は、物体識別情報、ユーザ識別情報、閲覧環境情報などに基づいて、情報検索クエリを生成する。この情報検索クエリは、例えば、物体情報に含まれる物体識別情報およびユーザ識別情報に関連付けされたコンテンツ情報を、閲覧環境情報(時刻情報、位置情報など)に応じた順位で提示するためのものとされる。
【0069】
次に、ステップST27において、情報提示部207は、ステップST26で生成された情報検索クエリに基づいて、登録情報データベース208やインターネット209から情報を取得して提示する。この場合、登録情報データベース208からは物体識別情報およびユーザ識別情報に関連付けされて登録されているコンテンツ情報が取得される。この際、例えば、ユーザ識別情報が一致しなくても、登録時の環境情報として含められている閲覧可能なユーザ情報で許容される範囲(例えば、親族、友達など)にある場合には、そのコンテンツ情報の取得も行われる。また、この場合、インターネット209から関連する情報が取得される。
【0070】
次に、情報提示システム200は、ステップST28において、切り替え入力があるか否かを判断する。この切り替え入力は、例えば、ユーザの操作入力部210からの切り替え操作によりなされるか、あるいは一定の時間経過があるとき自動的になされる。切り替え入力があるとき、情報提示部207は、ステップST27において、登録情報データベース208やインターネット209から次の提示順位の情報を取得して提示する。なお、提示される情報がひとつだけであるときは、その情報の提示が継続される。また、提示される情報が複数あって提示順位が最後の情報が提示されている状態で切り替え入力があった場合は、最初の提示順位の情報の提示に切り替わる。
【0071】
ステップST28で切り替え入力がないとき、情報提示システム200は、ステップST29において、ステップST25において行われた物体識別の状態が継続しているか否かを判断する。物体識別状態が継続しているとき、情報提示システム200は、ステップST28の処理に戻る。一方、物体識別状態が継続しなくなったとき、情報提示システム200は、ステップST24の処理に戻り、上述したと同様の処理を繰り返す。
【0072】
例えば、ユーザがある物体の撮像状態を中止する場合、さらに別の物体の撮像状態に移る場合などには、物体識別状態が途切れることとなり、ステップST24の処理に戻ることとなる。なお、物体識別状態が継続しなくなったとき、ユーザの操作に明示的な操作があるまで、ステップST24の処理に戻らないようにしてもよい。情報提示システム200は、例えば、パワーオフにより、処理を終了する。
【0073】
[具体的な実現例]
次に、具体的な実現例を説明する。ここでは、実現例1として往訪時の情報閲覧の例、実現例2として評判閲覧システムの例、さらに実現例3として掲示板システムの例を説明する。
【0074】
「実現例1:往訪時の情報閲覧」
目的地を往訪するにあたっては、手早く必要な情報を手に入れたいニーズがある。そこで、上述の図1に示す情報登録システム100および図4に示す情報提示システム200を利用して、往訪時に必ず携帯する物体(物品)に対して、「情報の貼り付け」と「情報の引き出し」が可能になるシステムを実現する。
【0075】
ここでは、インターネットにアクセス可能で、カメラ(撮像部)が搭載されている携帯電話等の情報端末を想定する。ユーザは、図6(a)に示すように、事前に、対象物に対して情報端末をかざし、物体を撮影したのち、図6(b)に示すように、往訪に関する情報登録を行う。その後、ユーザが、図7(a)示すように、対象物に情報端末をかざすと、図7(b)〜(d)に示すように、情報が提示される。
【0076】
この際、物体認識部201とユーザ認識部203での識別結果が用いられて、登録情報データベース208に対して情報検索が行われる。また、単に登録した情報だけが表示されるのではなく、往訪に必要な情報をインターネットから取得されて提示される。情報の提示は、タッチセンサや加速度センサによるユーザ操作入力、または時間経過で画面が切り替えられる。
【0077】
また、この際、ユーザ状態検出部206において行われる情報の順位付けに基づいて、提示順番が制御される。順位付けは、例えば、以下の(1)式により、情報毎に計算される優先度に基づいて行われる。
【0078】
【数1】

【0079】
この(1)式においては、情報提示時の閲覧環境から「予定時刻までの時間」と「目的地までの距離」がそれぞれ正規化されて優先度Vが計算されている。図7に示す表示例では、この優先度Vに基づいて、「Schedule」、「Movement Information」、「Weather Information」がこの順に表示されている。ここで、情報を貼り付ける物体(物品)としては、ゴルフ場に行く時のゴルフ会員券、病院に行く時の診察券、会社に行く時の社員証など、様々なケースが考えられ、それぞれ対応が可能である。
【0080】
「実現例2:評判閲覧システム」
お菓子やおもちゃ等の購入検討時等に対象物に対する評価を手軽に登録、閲覧したいニーズがある。そこで、上述の図1に示す情報登録システム100および図4に示す情報提示システム200を利用して、購入検討対象物に対して、「情報の貼り付け」と「情報の引き出し」が可能になるシステムを実現する。
【0081】
ここでは、インターネットにアクセス可能で、カメラ(撮像部)が搭載されている携帯電話等の情報端末を想定する。基本的に、上述の実現例1と同じシステムで実現されるが、異なる点は、ユーザ状態検出部206の振る舞いである。上述の実現例1では、ユーザの識別結果は単に情報検索時に用いられるだけである。ここでは、(2)式に示すように、優先度Vの計算に用いられる。
【0082】
【数2】

【0083】
計算方法の一つの例として、年齢、性別、年収、BMI(Body Mass Index)などの数値の差の重み付け和を正規化する方法がある。これによって、ユーザは、対象物に情報端末をかざすだけで、様々な人が登録した情報を重要度に応じて手軽に閲覧可能になる。ここでは、お菓子の購入に限らず、凡そ物品の選択が必要なケースの殆どにおいて、利用が可能である。また、この実現例2においては、物品の販売側等のキャンペーン情報等の登録も含まれる。ツイッター(Twitter)などでは、フォロワー等、人物同士の関係を軸にタイムライン表示等が可能であるが、ここでは物を軸にした情報提示を行う所がポイントである。
【0084】
「実現例3:掲示板システム」
大人数での待ち合わせ等のような状況で、特定の場所にメモをユーザが相互に残したいニーズがある。従来は駅の伝言黒板等があったが、不特定多数の人に伝言を見られる点や、設置場所が少ない、複数の人によって大量に書き込まれている場合にどれが自分に必要な情報か分かりにくい等の欠点があった。そこで、上述の図1に示す情報登録システム100および図4に示す情報提示システム200を利用して、この欠点を解消でき任意の場所に設置可能な掲示板システムを実現する。
【0085】
この掲示板システムは、通常のウエブ(web)ブラウザから利用が可能である。ユーザはログインした後、予めシステムに登録済みのマークが、そのマークのある場所と共に提示されるため、それを選択し、マークに対する相対位置・回転情報と共に登録したい情報を登録する。この際、その情報の閲覧制限も設定することができる。
【0086】
閲覧制限の一つの形として、そのマークの前で三角形を描くジェスチャをした場合のみ登録情報が見えるようにする等の設定も可能である。これにより、同じマークに対して、本人、または第三者が大量に付けている情報から、当該ジェスチャを用いて情報のフィルタリングが可能になる。
【0087】
これによって、例えば、自宅から情報登録が可能なので、ユーザは飲み会の待ち合わせ場所として、渋谷駅前の忠犬ハチ公像を選択し、「忠犬ハチ公」と書かれた銅板の少し右横の空間に、情報として会場の場所と地図を登録するような使い方ができる。
【0088】
この掲示板システムは、カメラ(撮像部)が搭載されている携帯電話等の情報端末から利用が可能である。すなわち、システムに予め登録されているマークを撮像することで、そのマークに登録されている情報を閲覧することができる。このとき、ユーザの状態に合わせて登録されている情報の中から、ユーザの現在の状況に合わせたものが優先的に提示される。また、提示される情報に対してマークの前で三角形や五芒星など、特定の形を描くジェスチャを行うことで情報の切り替え操作やフィルタリング等を行うことも可能である。
【0089】
これによって、例えば、先の予め自宅からハチ公前の銅板に情報を登録したケースに於いては、実際に現地に行って、当該銅板をカメラで撮像し、かつ三角形を描くジェスチャをすることで、情報を閲覧することが可能である。この場合、どのマークの前でどういったジェスチャをすれば良いかだけ知っていれば、情報が閲覧可能なので、集合するメンバーは事前にマークとジェスチャを教えておいてもらうことで、この情報にアクセスすることが可能になる。またマークとジェスチャを知らなければ、この情報にアクセスすることは難しいため、見せたい人にだけ情報を見せる機能が簡易的に実現できる。
【0090】
また、この掲示板システムでは、携帯端末から情報を登録することが可能である。すなわち、システムに予め登録されているマークを撮像した後、情報登録GUIを呼び出し、その操作によって情報を登録することができる。これによって、例えば、先の集合場所に情報を登録するケースにおいて、自分が既に到着したことや、会場に先行することなどをメモとして、「忠犬ハチ公」と書かれた銅板の右下等に登録することが可能である。
【0091】
なお、図8に示す情報提示システム200Aは、上述の実現例3に対応させてジェスチャ認識部211を備えたものである。この図8において、図4と対応する部分には、同一符号を付し、その詳細説明は省略する。
【0092】
ジェスチャ認識部211は、ジェスチャ識別データベース212に蓄積されているジェスチャ識別データに基づいて、物体認識部201から出力される物体の位置情報に対して、ジェスチャの検出識別処理を施して、ジェスチャ識別情報を得る。ここで、物体の位置情報は、物体とカメラ(撮像部)との相対位置情報を構成する。
【0093】
情報提示部207は、ユーザ状態検出部206からの情報検索クエリおよびジェスチャ識別情報に基づいて、登録情報データベース208やインターネット209から情報を取得して、提示する。詳細説明は省略するが、この情報提示システム200Aのその他は、図4に示す情報提示システム200と同様に構成される。
【0094】
なお、上述では、登録情報データベース208には、物体識別情報に関連づけされて画像、音声、テキストなどのコンテンツ情報が登録されているものとしている。そして、情報提示部207は、この登録情報データベース208から物体識別情報に関連付けされているコンテンツ情報を取得して表示するものとしている。
【0095】
しかし、例えば、登録情報データベース208に、物体識別情報の他に、物体に対する位置(x,y,z)、回転(roll, pitch, yaw)に関連付けて、コンテンツ情報を登録する場合もある。上述の図1に示す情報登録システム100では、このような情報登録も可能である。図9は、物体から離れた位置(x1,y1,z1)にメッセージ情報が登録されていることを示している。
【0096】
この場合、情報提示システム(例えば、携帯端末)200では、撮像位置を、図10(a)から図10(b)に示すように移動させることで、図10(c)から図10(d)に示すように、物体がカメラのフレーム内にある状態からフレームアウトした状態となる。このような状態とすることで、上述したように位置(x1,y1,z1)に関連付けされたメッセージ情報を登録情報データベース208から取得でき、図10(d)に示すように、隠されているメッセージ情報の表示が可能となる。
【0097】
上述したように、図4に示す情報提示システム200においては、登録情報データベース208から物体情報(物体識別情報)に関連付けされたコンテンツ情報が取得されて提示される。そのため、ユーザは、コンテンツ情報を閲覧するに当たって、複雑な操作を要求されることなく、ユーザの使い勝手が向上する。つまり、ユーザは所定の物体を撮像する操作をするか、あるいは記憶部に記憶されている所定の物体を撮影した画像データを選択する操作をするだけで、所望のコンテンツ情報の提示を受けて、その閲覧が可能となる。
【0098】
また、図4に示す情報提示システム200においては、登録情報データベース208から物体情報およびユーザ識別情報に関連付けされたコンテンツ情報を取得できる。つまり、物体情報だけでなくさらにユーザ識別情報に関連付けされた所望のコンテンツ情報の取得が可能となる。すなわち、ユーザに応じたコンテンツ情報の取り出しが可能となる。
【0099】
また、図4に示す情報提示システム200においては、閲覧環境情報(位置情報、時刻情報など)に基づいて、取得された所定数のコンテンツ情報の提示順位を決定できる。すなわち、コンテンツ情報を提示する際に、閲覧環境にあったコンテンツ情報を優先的に提示することなどが可能となる。
【0100】
<3.第3の実施の形態>
[情報提示システム]
図11は、第3の実施の形態としての情報提示システム300の構成例を示している。この情報提示システム300は、物体認識部301と、物体識別データベース302と、ジェスチャ認識部303と、ジェスチャ識別データベース304と、情報提示部305と、提示情報データベース306を有している。
【0101】
物体認識部301は、物体識別データベース302に蓄積されている物体識別データに基づいて、画像データに対して物体の検出識別処理を施して、物体情報を得る。この場合の画像データは、撮像部(カメラ)で撮像して得られた画像データ、あるいは記憶部としての半導体メモリ、ハードディスクドライブなどに蓄積されている画像データである。この場合、同じ物体が異なった物体として認識されないように、物体識別データベース302は、システム内で統一共有される。また、ここでいう物体には、人物や動物も含まれる。
【0102】
物体認識部301で取得される物体状態には、例えば、物体識別情報(物体ID)と共に、物体に対するカメラ(撮像部)の位置情報が含まれる。このカメラ位置情報は、例えば物体位置を基準とするものであり、物体とカメラとの相対位置情報を構成する。物体認識部301は、例えば、画像に含まれる物体の特徴点の位置に基づいて物体を認識する。
【0103】
また、物体認識部301は、この物体の特徴点の位置に基づいて、例えば物体を基準とするカメラ(撮像部)位置を算出する。つまり、物体(対象物)が画像内でどのように写っているかと、予め登録された物体識別データベース302内の認識辞書に記載されている物体の現実のサイズからカメラ位置を算出する。このような物体認識部301の処理については、詳細説明は省略するが、例えば、本出願人の出願に係る「特開2008−304268号公報」に詳述されている。
【0104】
ジェスチャ認識部303は、ジェスチャ識別データベース304に蓄積されているジェスチャ識別データに基づいて、物体認識部301から出力されるカメラ位置情報に対して、ジェスチャの検出識別処理を施して、ジェスチャ識別情報(ジェスチャID)を得る。このジェスチャ識別情報には、確からしさを示す確信度情報が付加されている。つまり、ジェスチャ認識部303は、カメラ位置情報を利用して、その位置、または軌跡を、ジェスチャ識別データと比較して、最も近しいジェスチャ識別情報と、そのジェスチャ識別の確信度情報を、計算して出力する。
【0105】
情報提示部305は、物体識別情報、ジェスチャ識別情報、さらには確信度情報を用いて、物体識別情報およびジェスチャ識別情報に関連付けされた画像、音声、テキストなどのコンテンツ情報を取得し、提示する。この際、情報提示部305は、ジェスチャ識別の確信度が所定値以下の場合、物体識別情報に関連付けされた情報を複数提示し、ジェスチャの入力を待つ。ここでのジェスチャ認識は、タッチポイントやボタン操作に置き換えが可能であり、また、部分的あるいは全体的にハイブリッドにしてもよい。
【0106】
図11に示す情報提示システム300も、例えば、図2(a)に示すようにクライアント装置500Aのみ、あるいは、図2(b)に示すようにクライアント装置500Aとサーバ装置500Bとがネットワーク500Cを介して接続されたネットワークシステムで構成できる。図2(b)に示すネットワークシステムの場合、情報提示システム300を構成する各部が、適宜、クライアント装置500Aとサーバ装置500Bとに分割配置される。例えば、物体認識部301、物体識別データベース302、ジェスチャ認識部303、ジェスチャ識別データベース304、提示情報データベース306などはサーバ装置500Bに配置可能である。
【0107】
図11に示す情報提示システム300における情報提示の処理手順の一例を、図12のフローチャートを参照して説明する。情報提示システム300は、ステップST31において、例えばパワーオン時に処理を開始する。その後、情報提示システム300は、ステップST32の処理に移る。
【0108】
このステップST32において、物体認識部301は、入力画像データに対して物体の検出識別処理を施して物体識別情報を得る。この際、ユーザは、例えばクライアント装置500Aに付属の撮像部(カメラ)で所定の物体を撮像して入力画像データを取得する。あるいは、この際、ユーザは、例えばクライアント装置500Aの記憶部に蓄積されている画像データを選択することで入力画像データを得る。
【0109】
次に、ステップST33において、情報提示システム300は、物体が識別されたか否かを判断する。物体が識別されたとき、ステップST34において、ジェスチャ認識部303において、ジェスチャ識別がされたか否かを判断する。ここで、情報提示システム300は、ジェスチャ識別の確信度が所定値より大きいときは、ジェスチャ識別がされたと判断する。
【0110】
ジェスチャ識別がされたとき、情報提示部305は、ステップST35において、物体識別情報およびジェスチャ識別情報に関連付けされた画像、音声、テキストなどのコンテンツ情報を提示情報データベース306から取得し、提示する。一方、ジェスチャ識別がされないとき、情報提示部305は、ステップST36において、物体識別情報に関連付けされた画像、音声、テキストなどのコンテンツ情報を複数提示し、ジェスチャの入力を待つ。
【0111】
ここで、ジェスチャ認識方法の一例を説明する。位置をベースにしたジェスチャ認識について説明する。この場合、図13に示すように、物体認識部301で得られるカメラ位置情報が示すカメラ位置の座標(X0,Y0,Z0)を閾値処理する。すなわち、カメラ位置が任意の規定空間内に存在するかどうかを演算する。このとき、特に座標系は問わない。図中では、規定空間の一例を破線で示している。各規定空間は互いに接していてもよい。
【0112】
また、動画像データを入力に用いた場合は、カメラ位置が時系列で得られる。そのため、この場合は、メディアンフィルタ等で適切にフィルタリングすることで、ユーザが操作する際の安定性を確保することが重要である。また、認識物体がフレームにない、すなわち物体認識が行われない場合も状態の一つとして検出し、出力する。
【0113】
この他にも、軌跡の時系列処理をベースにした認識(HMMやDPマッチング)や、パーティクルフィルタ等を使った軌跡の追跡時を応用する方法等、様々な方法がある。しかし、物体(対象物)とカメラの相対位置関係だけでジェスチャ認識ができる方法であれば、方法は問わない。
【0114】
[具体的な実現例]
次に、具体的な実現例を説明する。ここでは、実現例1としての情報閲覧システムの例および実現例2としての品質情報提示システムの例を説明する。
【0115】
「実現例1:情報閲覧システム」
拡張現実感のもと、例えば壁に掛っているカレンダーやポスター、道路上の看板や、新聞広告のチラシや、ゴルフ練習場の会員券などにカメラをかざして情報を取得する場合に、複数の情報が提示され、それらの選択、拡大、キャンセルなどの操作を行いたいニーズがある。そこで、上述の図11に示す情報提示システム300を利用して、これらの操作を実現する。
【0116】
ここでは、カメラ(撮像部)が搭載されている携帯電話等の情報端末を想定する。例えば、ユーザは、図14(a)に示すように、カメラで対象物を写すことで、選択可能な複数の情報種類の提示を受けることができる。そして、図14(b)に示すように、カメラを並進移動させることで、選択フォーカス位置を変えることができる。この際、カメラ位置の動きに従って、ユーザ操作の便宜のために、例えば、選択フォーカス位置を示すガイド表示がなされ、選択フォーカス位置を示すように移動する。
【0117】
そして、図14(c)に示すように、ある情報種類が選択されている状態で、カメラを対象物に近づけることで、その情報種類を選択でき、その情報種類の最初の情報が提示される状態となる。この状態で、さらに、図14(d)に示すように、カメラを対象物の上で輪を描くように回すことで、次の情報を提示させることができる。なお、このような状態において、情報の登録、あるいは登録されている情報の編集なども行うことができる。
【0118】
また、図15(a)に示すように、ある情報種類が選択されている状態から、図15(b)に示すように、カメラを対象物から遠ざけることで、その情報種類の選択状態を解除できる。そして、この状態で、図15(c)に示すように、カメラを対象物の上で三角形を描くように動かすことで、各情報種類に登録されている情報を削除できる。
【0119】
「実現例2:品物情報提示システム」
上述の実現例1とは逆に、カメラを固定し、対象物を動かす形式の例である。拡張現実感のもと、カメラに対象物をかざすことで情報を得ることができる。例えば、図16に示すように、透明な棚を背面からカメラで写しておき、ユーザが棚のどこに商品を置いたかで、提示する情報を変えるなどである。認証チップ等を使わずに、カメラとモニタだけで実現できるため、非常に手軽である。
【0120】
図17は、上述の図11に示す情報提示システム300の提示情報データベース306に画像、音声、テキスト等のコンテンツ情報を登録するための情報登録システム400の構成例を示している。この情報登録システム400は、物体認識部401と、物体識別データベース402と、ジェスチャ認識部403と、ジェスチャ識別データベース404と、情報登録部405を有している。また、この情報登録システム400は、情報入力部406と、提示部407と、操作入力部408と、提示情報データベース306を有している。
【0121】
物体認識部401は、図11に示す情報提示システム300の物体認識部301と同様に構成され、物体識別データベース402に蓄積されている物体識別データに基づいて、画像データに対して物体の検出識別処理を施して、物体情報を得る。この場合の画像データは、撮像部(カメラ)で撮像して得られた画像データ、あるいは記憶部としての半導体メモリ、ハードディスクドライブに蓄積されている画像データである。この場合、同じ物体が異なった物体として認識されないように、物体識別データベース402は、システム内で統一共有される。また、ここでいう物体には、人物や動物も含まれる。
【0122】
物体認識部401で取得される物体状態には、例えば、物体識別情報(物体ID)と共に、物体に対するカメラ(撮像部)の位置情報が含まれる。このカメラ位置情報は、例えば物体位置を基準とするものであり、物体とカメラとの相対位置情報を構成する。物体認識部401は、例えば、画像に含まれる物体の特徴点の位置に基づいて物体を認識する。
【0123】
また、物体認識部401は、この物体の特徴点の位置に基づいて、例えば物体を基準とするカメラ(撮像部)位置を算出する。つまり、物体(対象物)が画像内でどのように写っているかと、予め登録された物体識別ベース402内の認識辞書に記載されている物体の現実のサイズからカメラ位置を算出する。このような物体認識部401の処理については、詳細説明は省略するが、例えば、本出願人の出願に係る「特開2008−304268号公報」に詳述されている。
【0124】
ジェスチャ認識部403は、図11に示す情報提示システム300のジェスチャ認識部303と同様に構成される。このジェスチャ認識部403は、ジェスチャ識別データベース404に蓄積されているジェスチャ識別データに基づいて、物体認識部401から出力されるカメラ位置情報に対して、ジェスチャの検出識別処理を施して、ジェスチャ識別情報(ジェスチャID)を得る。
【0125】
情報登録部405は、情報入力部406から入力されるコンテンツ情報を、上述の物体識別情報(物体ID)およびジェスチャ識別情報(ジェスチャID)に関連付けて、提示情報データベース306に登録する。このコンテンツ情報は、例えば、画像、音声、テキストなどの各種のコンテンツ情報である。情報登録部405は、例えば、提示部407に表示されるGUI(Graphical User Interface)を利用したユーザの操作入力部408による操作に応じて、ユーザが選択した種類のコンテンツ情報の登録を行う。
【0126】
図17に示す情報登録システム400も、例えば、図2(a)に示すようにクライアント装置500Aのみ、あるいは、図2(b)に示すようにクライアント装置500Aとサーバ装置500Bとがネットワーク500Cを介して接続されたネットワークシステムで構成できる。図2(b)に示すネットワークシステムの場合、情報登録システム400を構成する各部が、適宜、クライアント装置500Aとサーバ装置500Bとに分割配置される。例えば、物体認識部401、物体識別データベース402、ジェスチャ認識部403、ジェスチャ識別データベース404、提示情報データベース306などはサーバ装置500Bに配置可能である。
【0127】
図17に示す情報登録システム400における情報登録の処理手順の一例を、図18のフローチャートを参照して説明する。情報登録システム400は、ステップST41において、処理を開始する。その後、情報登録システム400は、ステップST42の処理に移る。このステップST42において、物体認識部401は、入力画像データに対して物体の検出識別処理を施して物体識別情報を得る。この際、ユーザは、例えばクライアント装置500Aに付属の撮像部(カメラ)で所定の物体を撮像して入力画像データを取得する。あるいは、この際、ユーザは、例えばクライアント装置500Aの記憶部に蓄積されている画像データを選択することで入力画像データを得る。
【0128】
次に、情報登録システム400は、ステップST44において、情報登録入力がされたか否かを判断する。情報登録システム400は、ジェスチャ認識部403でジェスチャ識別がされたとき、あるいは操作入力部408の登録ボタンが押されたとき、情報登録入力がされたと判断する。情報登録入力がされたとき、情報登録システム400は、ステップST45の処理に移る。
【0129】
このステップST45において、情報登録システム400は、提示部407に、物体識別情報(物体ID)とジェスチャ識別情報(ジェスチャID)に基づいた情報登録GUIを提示する。すなわち、提示部407に、物体識別情報およびジェスチャ識別情報と、入力可能なコンテンツ情報の種類が提示される。例えば、画像、音声、テキストのいずれもが入力可能な情報であるときは、提示部407には、その旨が表示される。
【0130】
次に、情報登録システム400は、ステップST46において、提示された種類のコンテンツ情報が入力されたか否かを判断する。ユーザは、情報入力部406から所望のコンテンツ情報を入力できる。コンテンツ情報が入力されたとき、ステップST47において、情報登録部405は、提示情報データベース306に、入力内容を、物体識別情報およびジェスチャ識別情報に関連づけて登録する。
【0131】
上述したように、図11に示す情報提示システム300においては、物体識別情報および相対位置情報(ジェスチャ識別情報)に基づいて情報提示が制御される。そのため、提示情報データベース306から物体およびジェスチャに関連付けられている情報を引き出して提示できる。また、タッチポイントやボタン操作等を必ずしも利用せずとも、ユーザが必要とする情報の提示が可能となる。例えば、ユーザは、対象物をカメラ(撮像部)で撮像しているときに、カメラを動かすだけ、あるいは対象物を動かすだけで、操作を行うことが可能となる。その結果、対象物(物体)に対して、複数の情報提示を受けることが可能となる。
【0132】
<4.変形例>
なお、上述実施の形態においては、各データベースが別個に存在するように示しているが、一個のデータベース内に複数種類のデータベースが含まれる構成であってもよい。また、上述実施の形態においては、各装置がネットワークシステムで構成される場合、各部が、適宜、クライアント装置500Aとサーバ装置500Bとに分割配置されるように説明した。
【0133】
しかし、クライアント装置500Aが全ての機能部を備える他に、サーバ装置500Bにも適宜認識部やデータベースを配置する構成も考えられる。その場合、通信が良好に行われる場合にはサーバ装置500B側で認識処理を効率的に行わせることができ、通信が不良の場合であってもクライアント装置500A側のみで全ての処理が可能で、情報提示などに支障を来さなくなる。
【0134】
また、上述実施の形態においては、物体認識が光学式(カメラ等)であるように説明した。しかし、物体認識に関しては、必ずしも光学式(カメラ等)に限定されるものではない。例えば、無線機器(ブルートゥース等)や、測距機器(超音波、レーザー等)と識別機能のついたセンサの組み合わせ等、物体の識別と相対位置の取得が両立できる手段であれば置き換えが可能である。
【0135】
また、本技術は、以下のような構成を取ることもできる。
(1)画像データに対して物体の検出識別処理が施されて得られた物体情報を取得する物体情報取得部と、
登録対象のコンテンツ情報を上記物体情報に関連付けてデータベースに登録するコンテンツ情報登録部とを備える
情報登録装置。
(2)上記物体情報は、
物体識別情報と共に、物体に関するメタ情報を含む
請求項1に記載の情報登録装置。
(3)上記メタ情報は、
物体の位置情報および/または姿勢情報である
請求項2に記載の情報登録装置。
(4)ユーザの検出識別処理により得られたユーザ識別情報を取得するユーザ識別情報取得部をさらに備え、
上記コンテンツ情報登録部は、
上記登録対象のコンテンツ情報を上記物体情報および上記ユーザ識別情報に関連付けて上記データベースに登録する
前記(1)から(3)のいずれかに記載の情報登録装置。
(5)登録環境情報を取得する登録環境情報取得部をさらに備え、
上記コンテンツ情報登録部は、
上記登録対象のコンテンツ情報を上記物体情報および上記登録環境情報に関連付けて上記データベースに登録する
前記(1)から(4)のいずれかに記載の情報登録装置。
(6)上記登録環境情報は、
位置情報および/または時刻情報を含む
前記(5)に記載の情報登録装置。
(7)画像データに対して物体の検出識別処理が施されて得られた物体情報を取得する物体情報取得ステップと、
登録対象のコンテンツ情報を上記物体情報に関連付けてデータベースに登録するコンテンツ情報登録ステップとを備える
情報登録方法。
(8)コンピュータを、
画像データに対して物体の検出識別処理が施されて得られた物体情報を取得する物体情報取得手段と、
登録対象のコンテンツ情報を上記物体情報に関連付けてデータベースに登録するコンテンツ情報登録手段
として機能させるプログラム。
(9)画像データを取得する画像データ取得部と、
上記画像データに対して物体の検出識別処理を施して物体情報を得る物体認識部と、
データベースと、
上記データベースに登録対象のコンテンツ情報を入力するコンテンツ情報入力部と、
上記コンテンツ情報を上記物体情報に関連付けて上記データベースに登録するコンテンツ情報登録部とを備える
情報登録システム。
(10)画像データに対して物体の検出識別処理が施されて得られた物体情報を取得する物体情報取得部と、
上記物体情報に関連付けされたコンテンツ情報を取得して提示するコンテンツ情報提示部とを備える
情報提示装置。
(11)上記物体情報は、
物体識別情報と共に、物体に関するメタ情報を含む
前記(10)に記載の情報提示装置。
(12)上記メタ情報は、
物体の位置情報および/または姿勢情報である
前記(11)に記載の情報提示装置。
(13)ユーザの検出識別処理により得られたユーザ識別情報を取得するユーザ識別情報取得部をさらに備え、
上記コンテンツ情報提示部は、
上記物体情報および上記ユーザ識別情報に関連付けされたコンテンツ情報を取得して提示する
前記(10)から(12)のいずれかに記載の情報提示装置。
(14)閲覧環境情報を取得する閲覧環境情報取得部をさらに備え、
上記コンテンツ情報提示部で取得された上記コンテンツ情報には登録環境情報が付加されており、
上記コンテンツ情報提示部は、
上記閲覧環境情報と上記登録環境情報に基づいて、上記取得された所定数のコンテンツ情報の提示順位を決定する
前記(10)から(13)のいずれかに記載の情報提示装置。
(15)上記画像データを得る撮像部と、
上記画像データが処理されて得られた物体と撮像部との相対位置情報を取得する相対位置情報取得部とをさらに備え、
上記コンテンツ情報提示部は、
上記物体情報と共に、上記相対位置情報に関連付けされたコンテンツ情報を取得して提示する
前記(10)から(14)のいずれかに記載の情報提示装置。
(16)画像データに対して物体の検出識別処理が施されて得られた物体情報を取得する物体情報取得ステップと、
上記物体情報に関連付けされたコンテンツ情報を取得して提示するコンテンツ情報提示ステップとを備える
情報提示方法。
(17)コンピュータを、
画像データに対して物体の検出識別処理が施されて得られた物体情報を取得する物体情報取得手段と、
上記物体情報に関連付けされたコンテンツ情報を取得して提示するコンテンツ情報提示手段
として機能させるプログラム。
(18)画像データを取得する画像データ取得部と、
上記画像データに対して物体の検出識別処理を施して物体情報を得る物体認識部と、
上記物体情報に関連付けされたコンテンツ情報を取得して提示するコンテンツ情報提示部と
を備える情報提示システム。
【符号の説明】
【0136】
100・・・情報登録システム
101・・・物体認識部
102・・・物体識別データベース
103・・・ユーザ認識部
104・・・ユーザ識別データベース
105・・・登録環境検出部
106・・・情報登録部
107・・・情報入力部
108・・・提示部
109・・・操作入力部
110・・・登録情報データベース
200,200A・・・情報提示システム
201・・・物体認識部
202・・・物体識別データベース
203・・・ユーザ認識部
204・・・ユーザ識別データベース
205・・・閲覧環境検出部
206・・・ユーザ状態検出部
207・・・情報提示部
209・・・インターネット
210・・・操作入力部
211・・・ジェスチャ認識部
212・・・ジェスチャ識別データベース
300・・・情報提示システム
301・・・物体認識部
302・・・物体識別データベース
303・・・ジェスチャ認識部
304・・・ジェスチャ識別データベース
305・・・情報提示部
306・・・提示情報データベース
400・・・情報登録システム
401・・・物体認識部
402・・・物体識別データベース
403・・・ジェスチャ認識部
404・・・ジェスチャ識別データベース
405・・・情報登録部
406・・・情報入力部
407・・・提示部
408・・・操作入力部

【特許請求の範囲】
【請求項1】
画像データに対して物体の検出識別処理が施されて得られた物体情報を取得する物体情報取得部と、
登録対象のコンテンツ情報を上記物体情報に関連付けてデータベースに登録するコンテンツ情報登録部とを備える
情報登録装置。
【請求項2】
上記物体情報は、
物体識別情報と共に、物体に関するメタ情報を含む
請求項1に記載の情報登録装置。
【請求項3】
上記メタ情報は、
物体の位置情報および/または姿勢情報である
請求項2に記載の情報登録装置。
【請求項4】
ユーザの検出識別処理により得られたユーザ識別情報を取得するユーザ識別情報取得部をさらに備え、
上記コンテンツ情報登録部は、
上記登録対象のコンテンツ情報を上記物体情報および上記ユーザ識別情報に関連付けて上記データベースに登録する
請求項1に記載の情報登録装置。
【請求項5】
登録環境情報を取得する登録環境情報取得部をさらに備え、
上記コンテンツ情報登録部は、
上記登録対象のコンテンツ情報を上記物体情報および上記登録環境情報に関連付けて上記データベースに登録する
請求項1に記載の情報登録装置。
【請求項6】
上記登録環境情報は、
位置情報および/または時刻情報を含む
請求項5に記載の情報登録装置。
【請求項7】
画像データに対して物体の検出識別処理が施されて得られた物体情報を取得する物体情報取得ステップと、
登録対象のコンテンツ情報を上記物体情報に関連付けてデータベースに登録するコンテンツ情報登録ステップとを備える
情報登録方法。
【請求項8】
コンピュータを、
画像データに対して物体の検出識別処理が施されて得られた物体情報を取得する物体情報取得手段と、
登録対象のコンテンツ情報を上記物体情報に関連付けてデータベースに登録するコンテンツ情報登録手段
として機能させるプログラム。
【請求項9】
画像データを取得する画像データ取得部と、
上記画像データに対して物体の検出識別処理を施して物体情報を得る物体認識部と、
データベースと、
上記データベースに登録対象のコンテンツ情報を入力するコンテンツ情報入力部と、
上記コンテンツ情報を上記物体情報に関連付けて上記データベースに登録するコンテンツ情報登録部とを備える
情報登録システム。
【請求項10】
画像データに対して物体の検出識別処理が施されて得られた物体情報を取得する物体情報取得部と、
上記物体情報に関連付けされたコンテンツ情報を取得して提示するコンテンツ情報提示部とを備える
情報提示装置。
【請求項11】
上記物体情報は、
物体識別情報と共に、物体に関するメタ情報を含む
請求項10に記載の情報提示装置。
【請求項12】
上記メタ情報は、
物体の位置情報および/または姿勢情報である
請求項11に記載の情報提示装置。
【請求項13】
ユーザの検出識別処理により得られたユーザ識別情報を取得するユーザ識別情報取得部をさらに備え、
上記コンテンツ情報提示部は、
上記物体情報および上記ユーザ識別情報に関連付けされたコンテンツ情報を取得して提示する
請求項10に記載の情報提示装置。
【請求項14】
閲覧環境情報を取得する閲覧環境情報取得部をさらに備え、
上記コンテンツ情報提示部で取得された上記コンテンツ情報には登録環境情報が付加されており、
上記コンテンツ情報提示部は、
上記閲覧環境情報と上記登録環境情報に基づいて、上記取得された所定数のコンテンツ情報の提示順位を決定する
請求項10に記載の情報提示装置。
【請求項15】
上記画像データを得る撮像部と、
上記画像データが処理されて得られた物体と撮像部との相対位置情報を取得する相対位置情報取得部とをさらに備え、
上記コンテンツ情報提示部は、
上記物体情報と共に、上記相対位置情報に関連付けされたコンテンツ情報を取得して提示する
請求項10に記載の情報提示装置。
【請求項16】
画像データに対して物体の検出識別処理が施されて得られた物体情報を取得する物体情報取得ステップと、
上記物体情報に関連付けされたコンテンツ情報を取得して提示するコンテンツ情報提示ステップとを備える
情報提示方法。
【請求項17】
コンピュータを、
画像データに対して物体の検出識別処理が施されて得られた物体情報を取得する物体情報取得手段と、
上記物体情報に関連付けされたコンテンツ情報を取得して提示するコンテンツ情報提示手段
として機能させるプログラム。
【請求項18】
画像データを取得する画像データ取得部と、
上記画像データに対して物体の検出識別処理を施して物体情報を得る物体認識部と、
上記物体情報に関連付けされたコンテンツ情報を取得して提示するコンテンツ情報提示部と
を備える情報提示システム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図8】
image rotate

【図11】
image rotate

【図12】
image rotate

【図17】
image rotate

【図18】
image rotate

【図6】
image rotate

【図7】
image rotate

【図9】
image rotate

【図10】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate


【公開番号】特開2013−105345(P2013−105345A)
【公開日】平成25年5月30日(2013.5.30)
【国際特許分類】
【出願番号】特願2011−249178(P2011−249178)
【出願日】平成23年11月14日(2011.11.14)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】