説明

物品検索システム及び方法

【課題】 センシング手段又は装置の検出ミスが起こった場合でも物品の現在位置情報を推定することのできる物品検索システム及び方法を提供する。
【解決手段】 生活環境内で人が取り扱う物品の特定と、その位置を検出する物品検出部101と、前記物品検出部が検出した物品の情報を蓄積する物品情報データベース102と、物品同士の関連を登録した関連情報データベース107と、前記物品情報データベースと前記関連情報データベースとを参照し、物品同士の関連に基づいて物品の現在位置を推定する物品位置推定部108とを備え、センシング手段又は装置の検出ミスを、検出履歴から物品同士の関連度を抽出することでこれを補完し、物品の位置情報を推定する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、主に生活環境内の物品の位置を求める技術に係り、ICタグや画像などのセンシング手段又は装置を用いて物品の移動を検出するとき、検出履歴情報から物品同士の関連度を抽出することで検出ミスを補完し、物品の位置情報を推定する物品検索システム及び物品検索方法に関するものである。
【背景技術】
【0002】
近年、非接触で情報を読み取ることができるICタグの技術が注目されている。
【0003】
この技術を利用して物品位置を求める技術としては、特許文献1に示す特開2003−40455「物品管理システム」(株式会社日立製作所)がある。
【0004】
図18は前記特許文献1に記載された物品管理システムの構成図である。図18において、2(2a(1)〜2a(6))は管理する物品、3(3a(1)〜3a(6))は無線タグ(ICタグ)、5(5a,5b,5c)は無線タグ制御装置、6(6(1)〜6(6))はアンテナ、8はスイッチ制御回路、9は質問器である。
【0005】
まず、物品2にその物品を識別する識別情報を記憶する無線タグ3を取り付ける。無線タグ制御装置5において、質問器9の制御によりスイッチ制御回路8が複数のアンテナ6を切り替える。無線タグ3の識別情報を読み取ることに成功したアンテナ6を特定して、物品の位置情報としている。
【0006】
また、特許文献2に示す特開2000−357251「物品管理システム」(シャープ株式会社)では、ICタグの情報が入手できない場合には、直近の過去の物品位置を現在位置とする方法が記載されている。
【0007】
【特許文献1】特開2003−40455号公報
【特許文献2】特開2000−357251号公報
【発明の開示】
【発明が解決しようとする課題】
【0008】
しかし、前記ICタグの技術は、必ずしも100パーセント検出できるものではない。特に、本発明で想定する生活環境ではアンテナを設置する場所やICタグを取り付ける物品も多種多様であり、ICタグの検出に適した特別な環境を仮定することが困難であるため、検出ミスが起こりやすい環境であることが考えられる。さらに、ICタグ以外の、例えば画像などのセンシング手段を用いたとしても、やはり100パーセント検出することは困難である。
【0009】
このような状況を考えると、前記特許文献1に記載の技術では、無線タグ(ICタグ)の検出ミスが発生した場合には、物品の位置情報を得ることはできなくなる、という課題を有している。
【0010】
また、前記特許文献2に記載の技術では、過去の物品位置を現在位置としているので、移動が頻繁に行われる物品で検出ミスが多発するような場合、真の現在位置とはかけ離れた位置情報が得られる可能性がある、という課題を有している。
【0011】
従って、本発明が解決しようとする課題は、センシング手段又は装置の検出ミスが起こった場合でも物品の現在位置情報を推定することのできる物品検索システム及び方法を提供することにある。
【課題を解決するための手段】
【0012】
前記目的を達成するために、本発明は以下のように構成する。
【0013】
本発明の第1態様によれば、生活環境内で人が取り扱う物品の特定と、その位置の履歴情報を検出する物品検出部と、
前記物品検出部が検出した物品の位置の履歴情報をその物品の情報として蓄積する物品情報データベースと、
前記物品の情報同士の関連度を登録した関連情報データベースと、
検索対象である物品に関する前記物品情報データベースの情報と前記関連情報データベースの情報とを照合させて、前記検索対象である物品の情報と前記検索対象である物品に関連する物品の情報との関連度を参照して、前記検索対象である物品の現在位置を推定する物品位置推定部と、
を備えたことを特徴とする物品検索システムを提供する。
【0014】
本発明の第12態様によれば、生活環境内で人が取り扱う物品の特定と、その位置の履歴情報を検出し、
前記検出した物品の位置の履歴情報をその物品の情報として物品情報データベースに蓄積し、
前記人の移動履歴情報を検出し、
前記検出した人の情報を人情報データベースに蓄積し、
前記生活環境内の機器の操作を検出し、
前記機器操作の情報を機器操作情報データベースに蓄積し、
検索対象である物品に関する前記物品情報データベースの情報と前記関連情報データベースの情報とを照合させて、前記検索対象である物品の情報と前記検索対象である物品に関連する物品の情報との関連度を参照し、前記検索対象である物品に関する前記物品情報データベースの情報と前記人情報データベースの情報と前記関連情報データベースの情報とを照合させて、前記検索対象である物品の情報と前記検索対象である物品に関する人の情報との関連度を参照し、前記検索対象である物品に関する前記物品情報データベースの情報と前記機器操作情報データベースの情報と前記関連情報データベースの情報とを照合させて、前記検索対象である物品の情報と前記機器操作の情報との関連度を参照して、前記検索対象である物品の現在位置を推定する、
ことを特徴とする物品検索方法を提供する。
【発明の効果】
【0015】
本発明によれば、生活環境において、センシング手段又は装置が検出ミスを起こしても、過去の検出履歴から物品同士、又は物品と人、又は物品と機器操作、の関連度を抽出することでこれを補完し、物品の位置情報を推定することができる。
【発明を実施するための最良の形態】
【0016】
本発明は、主に生活環境内の物品の位置を求めるものであり、特に、センシング手段又は装置が検出ミスをしても、検出履歴から物品同士の関連度を抽出することでこれを補完し、物品の位置情報を推定するものである。
【0017】
ここで言っている「位置」とは、座標によって表されるような正確な位置ではなく、食卓(テーブル)の上、冷蔵庫の中、又は食器棚の3段目の棚の上、などのような大まかな位置である。以降、食卓や冷蔵庫や食器棚などのように物品を置いたり、収納したりできる家具や電化製品などをまとめて「設備」と呼ぶことにする。
【0018】
以下、本発明の実施の形態を説明する前に本発明の種々の態様について説明する。
【0019】
本発明の第1態様によれば、生活環境内で人が取り扱う物品の特定と、その位置の履歴情報を検出する物品検出部と、
前記物品検出部が検出した物品の位置の履歴情報をその物品の情報として蓄積する物品情報データベースと、
前記物品の情報同士の関連度を登録した関連情報データベースと、
検索対象である物品に関する前記物品情報データベースの情報と前記関連情報データベースの情報とを照合させて、前記検索対象である物品の情報と前記検索対象である物品に関連する物品の情報との関連度を参照して、前記検索対象である物品の現在位置を推定する物品位置推定部と、
を備えたことを特徴とする物品検索システムを提供する。
【0020】
本発明の第2態様によれば、前記人の移動履歴情報を検出する人検出部と、
前記人検出部が検出した人の情報を蓄積する人情報データベースと、
をさらに備え、
前記関連情報データベースは、さらに、前記物品の情報と前記人の情報との関連度を登録し、
前記物品位置推定部は、さらに、前記検索対象である物品に関する前記物品情報データベースの情報と前記人情報データベースの情報と前記関連情報データベースの情報とを照合させて、前記検索対象である物品の情報と前記検索対象である物品に関する人の情報との関連度を参照して、前記検索対象である物品の現在位置を推定する、
ことを特徴とする第1の態様に記載の物品検索システムを提供する。
【0021】
本発明の第3態様によれば、前記生活環境内の機器の操作を検出する機器操作検出部と、
前記機器操作検出部が検出した機器操作の情報を蓄積する機器操作情報データベースと、
をさらに備え、
前記関連情報データベースは、さらに、前記物品の情報と前記機器操作の情報との関連度を登録し、
前記物品位置推定部は、さらに、前記検索対象である物品に関する前記物品情報データベースの情報と前記機器操作情報データベースの情報と前記関連情報データベースの情報とを照合させて、前記検索対象である物品の情報と前記機器操作の情報との関連度を参照して、前記検索対象である物品の現在位置を推定する、
ことを特徴とする第1又は2の態様に記載の物品検索システムを提供する。
【0022】
本発明の第4態様によれば、前記物品情報データベースは、前記物品の情報が前記物品のカテゴリー毎に分類されている、
ことを特徴とする第1又は2又は3の態様に記載の物品検索システムを提供する。
【0023】
本発明の第5態様によれば、前記関連情報データベースは、前記物品の位置が、近接する位置にある物品同士を関連情報とする、
ことを特徴とする第1又は2又は3の態様に記載の物品検索システムを提供する。
【0024】
本発明の第6態様によれば、前記関連情報データベースは、同じタスクに使用される物品同士を関連情報とする、
ことを特徴とする第1又は2又は3の態様に記載の物品検索システムを提供する。
【0025】
本発明の第7態様によれば、前記物品位置推定部は、前記物品の推定位置として可能性の低い位置を出力する、
ことを特徴とする第1又は2又は3の態様に記載の物品検索システム。
【0026】
本発明の第8態様によれば、前記物品情報データベースと前記人情報データベースと前記機器操作情報データベースとのうちの少なくとも1つに登録されている情報を基に、前記関連情報データベースを更新する関連情報管理部、
をさらに備えたことを特徴とする第1〜7のいずれか1つの態様に記載の物品検索システムを提供する。
【0027】
本発明の第9態様によれば、ユーザの物品検索要求を前記物品位置推定部に伝え、また、前記物品位置推定部の推定結果を前記ユーザに伝える入出力部、
をさらに備えたことを特徴とする第1〜8のいずれか1つの態様に記載の物品検索システムを提供する。
【0028】
本発明の第10態様によれば、前記関連情報管理部は、前記入出力部を介して伝えられた前記ユーザの指示を基に、前記関連情報データベースを更新する、
ことを特徴とする第9の態様に記載の物品検索システムを提供する。
【0029】
本発明の第11態様によれば、前記関連度を状況に応じて変更する関連度制御部、
をさらに備えることを特徴とする第9の態様に記載の物品検索システムを提供する。
【0030】
本発明の第12態様によれば、生活環境内で人が取り扱う物品の特定と、その位置の履歴情報を検出し、
前記検出した物品の位置の履歴情報をその物品の情報として物品情報データベースに蓄積し、
前記人の移動履歴情報を検出し、
前記検出した人の情報を人情報データベースに蓄積し、
前記生活環境内の機器の操作を検出し、
前記機器操作の情報を機器操作情報データベースに蓄積し、
検索対象である物品に関する前記物品情報データベースの情報と前記関連情報データベースの情報とを照合させて、前記検索対象である物品の情報と前記検索対象である物品に関連する物品の情報との関連度を参照し、前記検索対象である物品に関する前記物品情報データベースの情報と前記人情報データベースの情報と前記関連情報データベースの情報とを照合させて、前記検索対象である物品の情報と前記検索対象である物品に関する人の情報との関連度を参照し、前記検索対象である物品に関する前記物品情報データベースの情報と前記機器操作情報データベースの情報と前記関連情報データベースの情報とを照合させて、前記検索対象である物品の情報と前記機器操作の情報との関連度を参照して、前記検索対象である物品の現在位置を推定する、
ことを特徴とする物品検索方法を提供する。
【0031】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【0032】
(システム構成)
本発明の実施の形態1における物品検索システムの構成図を図1に示す。
本発明の実施の形態1における物品検索システムは、時刻取得部100と、物品検出部101と、物品情報データベース102と、人検出部103と、人情報データベース104と、機器操作検出部105と、機器操作情報データベース106と、関連情報データベース107と、物品位置推定部108と、関連情報管理部109と、入出力部110とを備えるように構成されている。時刻取得部100は、物品検出部101と人検出部103と機器操作検出部105とにそれぞれ接続されている。物品検出部101は物品情報データベース102に接続され、人検出部103は人情報データベース104に接続され、機器操作検出部105は機器操作情報データベース106に接続されている。また、物品情報データベース102と人情報データベース104と機器操作情報データベース106と関連情報データベース107とは、それぞれ、物品位置推定部108と関連情報管理部109とに接続されている。入出力部110は、物品位置推定部108と関連情報管理部109とにそれぞれ接続されている。
【0033】
また、図2に本発明の実施の形態1における物品検索システムの構成要素である物品検出部101、人検出部103、機器操作検出部105、入出力部110を備えた、生活環境の一例としての部屋201の例を示す。図2において、天井201aの対向する端部に、物品検出部101又は人検出部103の一例として機能する画像センサ(カメラ202と画像処理部202a)が設置されている。ドア201gのある出入り口201bに、人検出部103の一例として機能する無線ICタグセンサ203が設置されている。棚201cに、物品検出部101の一例として機能する無線ICタグセンサ303や重量センサ305が設置されている。扉付きの棚201dに、機器操作検出部105の一例として機能する光センサ206が設置されている。テーブル201eに、物品検出部101の一例として機能する無線ICタグセンサ207が設置されている。椅子201fに、人検出部103の一例として機能する重量センサ208が設置されている。物品に、物品名などの情報を登録しておく無線ICタグ209が貼り付けられている。人に、人物名などの情報を登録しておく無線ICタグ210が貼り付けられている。また、入出力部110の一例として機能するキーボード211aとマウス211cとディスプレイ211bとを備えたパソコン211が設置されている。
【0034】
以下に、本発明の実施の形態1における物品検索システムの各構成要素について説明する。
【0035】
(時刻取得部100の説明)
時刻取得部100は、現在時刻を取得するものである。後述する物品検出部101が検出した情報を物品情報データベース102に登録するとき、人検出部103が検出した情報を人情報データベース104に登録するとき、及び、機器操作検出部105が検出した情報を機器操作情報データベース106に登録するときに、それぞれ、同時に付与するための時刻を時刻取得部100から、物品検出部101、人検出部103、及び機器操作検出部105が得て、それぞれ、情報をそれぞれのデータベースに登録するときに同時に時刻も登録する。
【0036】
(物品検出部101の説明)
物品検出部101は、生活環境の一例である部屋201内で人が取り扱う物品を監視する(言い換えれば、人が取り扱う物品の特定と、その位置の履歴情報を検出する)センシング手段又は装置である。人が前記物品をある位置(場所)に置いたり、ある位置(場所)から取ったりしたときに、その物品を物品検出部101が特定し、その位置を物品検出部101が検出する。物品検出部101が検出した情報は、時刻取得部100が取得した時刻と共に物品情報データベース102に、物品検出部101により登録される。
【0037】
物品検出部101に用いられるセンシング手段又は装置などのセンサの例としては、無線ICタグセンサ、画像センサ、又は、重量センサなどを用いる。以下、物品検出部101の具体的な動作について、その例を説明する。
【0038】
<タグセンサ方式の説明>
まず、物品検出部101の一例として無線ICタグセンサを用いる方法について説明する。図3に示すように、扉付きの棚201dの具体的な例であるラック301の上側の棚302に、無線ICタグセンサ303の無線ICタグ読み取りアンテナ303aを設置する。一方、物品304に無線ICタグ305を貼り付ける。
【0039】
アンテナ303aからは、定期的に無線ICタグの情報を読み取るための信号が送信されており、物品304を棚302の上に置くと、アンテナ303aを介して、物品304の無線ICタグ305に登録されている情報が無線ICタグセンサ303で読み取られる。
【0040】
物品304の無線ICタグ305に物品名をあらかじめ登録しておくことにより、アンテナ303aを介して、無線ICタグ305から物品名を読み取れば、物品304を特定できる。又は、無線ICタグ305にはIDだけを登録しておき、別途、物品情報データベース102にIDと物品名の対応を登録しておくことにより、アンテナ303aを介して、無線ICタグ305から読み取られたIDに基づき物品情報データベース102を無線ICタグセンサ303により参照すれば、物品304を特定できる。IDと物品名の対応を登録した物品情報データベース102の例を図19に示す。図19にも示したように、IDは物品の種類毎に登録されているのではなく、個別の物品毎に登録されている。つまり、例えば、同じ種類の物品であっても所有者が異なれば、別々のIDが登録されている(例えば、父の腕時計と母の腕時計は別々のIDが登録されている。)。
【0041】
また、アンテナ303aの設置位置を、例えば物品情報データベース102で管理しておけば、物品304が検出された位置も無線ICタグセンサ303により求められる。具体的には、図20に示すように、各センサのIDとその設置位置を物品情報データベース102に予め登録しておき、各センサで情報を検出したときに、各センサのIDを基に物品情報データベース102を参照して、各センサのIDを照合することにより、各センサの位置を求めることができる。以降、タグセンサ以外のセンサについても同様に位置を求めることができる。
【0042】
直前まで物品304が検出されていなかったアンテナ303aにおいて、物品304が検出されたことにより、物品304をアンテナ303aの位置に置く操作を無線ICタグセンサ303により検出することができる。逆に、直前まで物品304が検出されていたアンテナ303aにおいて、物品304が無線ICタグセンサ303により検出されなくなったことにより、物品304をアンテナ303aの位置から取る操作を無線ICタグセンサ303により検出することができる。
【0043】
なお、部屋201の出入り口201bに、人検出部103の一例として機能する無線ICタグセンサ203が設置される代わりに、出入り口に無線ICタグセンサのゲート型のアンテナを設置し、物品の通過をその無線ICタグセンサにより検出するようにしても良い。
【0044】
<画像センサ方式の説明>
次に、物品検出部101の別の例として画像センサを用いる方法について説明する。図3に示すように、ラック301の棚302の上方に、画像センサの一例として機能する、画像処理部306aと接続されたカメラ306を、棚302を監視できるように設置する。
【0045】
ここでは、背景差分とテンプレートマッチングを用いる方法について説明する。
【0046】
図4Aに示すように、あらかじめ棚302の上に何も置かれていない状態の画像を背景画像401として画像処理部306aに保持しておく。また、取扱物品のテンプレート画像405もあらかじめ図4Dに示すように画像処理部306aに用意しておく。テンプレート画像405は各物品に対して、いろいろな角度のものを画像処理部306aに用意しておく。
【0047】
物品404を棚302の上に置くと、図4Bに示すような入力画像402がカメラ306により得られる。背景画像401と入力画像402の差を画像処理部306aで求めることにより、図4Cに示すような差分画像403が画像処理部306aで得られる。図4Dに示すようなテンプレート画像405と、差分画像403で抽出された画像とを基に、もっとも良くマッチするテンプレートを画像処理部306aにより求めることにより、物品404を特定できる。それぞれのテンプレートと物品404のIDとは物品情報データベース102で関係付けられて登録されているため、テンプレートを画像処理部306aにより求めれば、物品404のIDを特定することができる。
【0048】
また、カメラ306のIDとその設置位置を物品情報データベース102で管理しておけば、物品404が検出された位置も求められる。
【0049】
なお、ここでは、画像センサの一部として機能するカメラ306を各設備に配置し、その設置位置を基に物品の位置を求めるようにしたが、部屋201の室内全体を見渡せる位置(場所)にカメラ306を配置し、カメラ306で撮像された画像中の物品の位置を基に当該物品の位置を求めるようにしても良い。このときは、例えば、図20の物品情報データベース102の例で示したように、各カメラ306のIDとその設置位置を登録した物品情報データベース102に、1つのカメラ306(図20における「カメラ002」の行を参照)に複数の位置を登録しておく。つまり、部屋内に設備として配置された「調理台」(図示省略)と「ガス台」(図示省略)の両方を含むカメラ画像2001に対して、「調理台」の領域2002と「ガス台」の領域2003を設定しておき、前記テンプレート画像がもっとも良くマッチした位置が領域2002内であったら「調理台」であり、領域2003であったら「ガス台」であると求められる。
【0050】
<重量センサ方式の説明>
次に、物品検出部101のさらに別の例として重量センサを用いる方法について説明する。図3に示すように、ラック301の下側の棚307に重量センサ308を設置する。
【0051】
あらかじめ各物品に対して、物品名とその重量を、物品情報データベース102に登録しておく。図21にその例を示す。
【0052】
物品309を棚307に置くと、重量センサ308は、現在の重量値と物品が置かれる前の重量値との差を、置かれた物品の重量として算出する。棚307から物品が取られたときも同様に操作前後の差を重量センサ308により求めれば良い。ただし、ここでは、1回の操作で1つの物品のみを扱うこととする。このとき、前記物品情報データベース201に登録された全物品の重量が異なり、重量センサ308の検出精度が各物品間の重量の値の差の4分の1未満であれば、前記算出された重量の値に基づき前記物品情報データベース201を重量センサ308により検索し、前記算出された重量の値に最も近い物品が前記物品309であると、重量センサ308により特定できる。
【0053】
また、重量センサ308のIDとその設置位置を物品情報データベース201で管理しておけば、物品309が検出された位置も重量センサ308により求められる。位置の求め方は、前記無線ICタグセンサを用いる方法の説明と同様である。
【0054】
(物品情報データベース102の説明)
物品情報データベース102は、物品検出部101が検出した情報を蓄積するものである。図5に、蓄積される物品の情報(物品情報)の例を示す。
【0055】
物品情報501は、各物品毎に少なくとも、物品名の情報、位置情報の履歴情報、操作情報の履歴情報、時刻の履歴情報、の項目を持つ。必要に応じて、操作者情報の履歴情報、物品のID情報、物品の画像情報、物品の重量の情報、物品の分類の情報、所有者の情報、などの項目を持つ。
【0056】
<各項目の説明>
位置情報や操作情報や時刻の情報は、物品検出部101が検出した物品とその位置の情報や操作の情報を、検出した時刻の情報と共に蓄積することにより得られる。ここで、物品の操作の情報とは、物品を置く、物品を取る、物品の通過の情報のいずれかを表す。
【0057】
操作者情報は、前記物品を誰が操作したかを、必要に応じて登録する。後述する人情報データベース104から得られた人の位置情報のうち、物品検出部101が前記物品を検出した位置と一致する情報を抽出し、又は、人情報データベース104から得られた人の位置情報のうち、物品検出部101が前記物品を検出した位置に最も近い情報を抽出し、その人を操作者情報として登録する。
【0058】
物品のID情報は、物品検出部101が無線ICタグセンサを用いて物品を特定する際に参照する情報として、必要に応じて登録する。
【0059】
物品の画像情報は、物品検出部101が画像センサを用いて物品を特定する際に参照するテンプレート502(例えば、図4Dのテンプレート画像405として使用可能なテンプレート)として、必要に応じて登録する。
【0060】
物品の重量の情報は、物品検出部101が重量センサを用いて物品を特定する際に参照する情報として、必要に応じて登録する。
【0061】
物品の分類の情報は、物品をカテゴリー別に分類して登録する。例えば、物品がオレンジジュースであれば、分類として、ジュース、ソフトドリンク、飲料、食品、ペットボトル製品、缶製品、など様々な視点や階層による分類が考えられる。同一の物品に複数の分類を登録しても良い。分類のカテゴリー名と、カテゴリー毎に分類された物品を登録した物品情報データベース102の例を図24に示す。
【0062】
所有者の情報は、その物品の所有者が決まっているときに、必要に応じて登録する。皆が使う物などのように決まっていない場合には登録しなくても良い。
【0063】
(人検出部103の説明)
人検出部103は、生活環境の一例としての部屋201内で活動する人を監視するものである。人の移動軌跡(移動履歴情報)を人の情報として検出し、時刻取得部100が取得した時刻と共に人情報データベース104に、検出された人の移動軌跡(移動履歴情報)を登録する。ただし、本発明の実施の形態1における物品検索システムにおいては、少なくとも、人が物品を置いたり、物品を取ったりする動作をどの設備に対して行っているか、又は椅子やテーブルや棚やベッドなどの位置(場所)に一定時間以上留まっているか、を検出できれば良い。例えば、10cm間隔や1秒間隔の位置座標の履歴などのような細かい移動軌跡は、必ずしも必要ではない。
【0064】
人検出部103に用いられるセンサには、無線ICタグセンサ、画像センサ、又は、重量センサなどを用いる。以下、人検出部103の具体的な動作について、その例を説明する。
【0065】
<タグセンサ方式の説明>
まず、無線ICタグセンサを用いる方法について説明する。図6Aに示すように、部屋201の出入り口201bに、無線ICタグセンサ203の無線ICタグ読み取りアンテナ203aを設置する。また、図6Bに示すように、扉付きの棚201dの具体的な例であるラック603の棚604に、無線ICタグセンサ605の無線ICタグ読み取りアンテナ605aを設置する。一方、人606に無線ICタグ210を貼り付ける。また、人606の手又は腕608にも無線ICタグ609を貼り付ける。
【0066】
人606が出入り口201bを通過すると、アンテナ203aを介して無線ICタグ210に登録されている情報が無線ICタグセンサ203により読み取られる。同様に、人606の手608がラック603の棚604にある物品602にアクセスしようとすると、アンテナ605aを介して無線ICタグ609に登録されている情報が無線ICタグセンサ605により読み取られる。
【0067】
無線ICタグ210、609に人物名をあらかじめ登録しておくか、又は、無線ICタグ210、609には人606のIDだけを登録しておき、別途、人情報データベース104にIDと人物名の対応を登録しておくことにより、人606、又は人606の手608が誰の手であるかを無線ICタグセンサ203又は605により特定できる。IDと人物名の対応を登録した人情報データベース104の例を図22に示す。
【0068】
また、アンテナ203a、605aの設置位置を人情報データベース104で管理しておけば、人606、又は、その手若しくは腕608が検出された位置も無線ICタグセンサ203又は605により求められる。位置の求め方は、前記物品検出部101における無線ICタグセンサを用いる方法の説明と同様である。
【0069】
なお、アンテナ203a、605aの設置位置や無線ICタグの貼り付け位置は前述の位置に限らず、人が生活環境内を移動したり、ある位置(場所)に留まったりしているときに、無線ICタグを検出できるような位置関係に設置されていれば良い。例えば、床にアンテナを設置し、人の足に無線ICタグを貼り付けても良い。
【0070】
また、逆に、出入り口やラックなどに無線ICタグを貼り付け、人が無線ICタグリーダを携帯しても良い。この場合、前記無線ICタグにはそれぞれ貼り付けた位置情報を登録しておき、無線ICタグリーダで読み取った無線ICタグにより位置を特定する。
【0071】
<画像センサ方式の説明>
画像センサを用いる方法について説明する。図6Aに示すように、検出したい位置(場所)(ここでは出入り口201b)を監視できるように、天井201aに、画像センサの一例として機能する、画像処理部202aと接続されたカメラ202を設置する。
【0072】
物品検出部101の、画像センサを用いた背景差分と同様に、人の位置を画像処理部202aにより検出することができる。さらに、あらかじめ各人の所有する衣類の画像を画像処理部202aに登録しておき、入力画像と衣類の画像とを画像処理部202aにより比較することで、画像処理部202aにより人物を特定することができる。ただし、複数人が似た衣類を所有している場合など、人物を特定できないことも考えられる。この場合、他のセンサを組み合わせて用いることで、人物を特定する。
【0073】
<重量センサ方式の説明>
重量センサを用いる方法について説明する。図7に示すように、椅子201fに重量センサ208を設置する。
【0074】
あらかじめ各人に対して、人物名とその重量を、人情報データベース104に登録しておく。図23にその例を示す。
【0075】
人606が椅子201fに座ると、重量センサ208は、現在の重量値と人606が座る前の重量値との差を、座った人606の重量として算出する。人606が椅子201fから立ち上がったときも、同様に前後の差を重量センサ208により求めれば良い。ただし、ここでは、1度に1人のみが立ったり座ったりの動作をすることとする。このとき、前記人情報データベース104に登録された全人物の重量が異なり、重量センサ208の検出精度が各人物間の重量の値の差の4分の1未満であれば、前記人情報データベース104を重量センサ208により検索し、前記算出された重量の値に最も近い人物が前記人606であると、重量センサ208により特定できる。
【0076】
また、重量センサ208の設置位置を人情報データベース104で管理しておけば、人606が検出された位置も重量センサ208により求められる。位置の求め方は、前記物品検出部101における無線ICタグセンサを用いる方法の説明と同様である。
【0077】
(人情報データベース104の説明)
人情報データベース104は、人検出部103が検出した情報を蓄積するものである。図8に、蓄積される人の情報(人情報)の例を示す。
【0078】
人情報801は、各人毎に少なくとも、人物名の情報、位置情報の履歴情報、時刻の履歴情報、の項目を持つ。必要に応じて、人のID情報、人の所有する衣類の画像情報、人の体重の情報、などの項目を持つ。
【0079】
位置情報や時刻の情報は、人検出部103が検出した人の情報とその位置の情報を、検出した時刻の情報と共に蓄積することにより得られる。
【0080】
人のID情報は、人検出部103が無線ICタグセンサを用いて人を特定する際に参照する情報として、必要に応じて登録する。
【0081】
人の衣類の画像情報802は、人検出部103が画像センサを用いて人を特定する際に参照する情報として、必要に応じて登録する。
【0082】
人の体重(重量)の情報は、人検出部103が重量センサを用いて人を特定する際に参照する情報として、必要に応じて登録する。
【0083】
(機器操作検出部105の説明)
機器操作検出部105は、生活環境の一例である部屋201内の機器の操作を監視するものである。本発明の実施の形態1における物品検索システムにおいては、各設備に対して物品を置いたり、物品を取ったりするときに、それらの操作に関連する前記設備の機器操作、例えばその設備の扉の開閉操作を検出し、時刻取得部100が取得した時刻の情報と共に機器操作データベース106に登録する。また、必要に応じて、機器の例として、照明機器の点灯や消灯の操作、電子レンジの調理開始の操作、など機器90の操作を機器操作検出部105が検出するようにしても良い。
【0084】
機器操作検出部105に用いられるセンサには、光センサなどを用いる。以下、機器操作検出部105の具体的な動作について、その例を説明する。
【0085】
<光センサ方式の説明>
光センサを用いる方法について説明する。図9A及び図9Bは扉の開閉操作を検出するための光センサの設置部を上から見た図である。扉903付きの棚201dの本体901に光センサ206を設置する。扉903には、扉903を閉じたときに光センサ206の2つの先端部の間に位置して光を遮るように物体(例えば突起状の遮光部材)904を設置する。
【0086】
光センサ206は、2つの先端部の片方の面が光を出す発光面、他方の面が光を受ける受光面となっている。発光面から受光面へ向かう光が遮光部材904で遮られると、受光面での受光量の変化から、遮光部材904の存在を検出することができるものである。よって、扉903を開いた状態905と、扉903を閉じた状態906とで受光量の変化を光センサ206で検出し、扉903の開閉操作を光センサ206により検出することができる。
【0087】
(機器操作情報データベース106の説明)
機器操作情報データベース106は、機器操作検出部105が検出した機器操作の情報(機器操作情報)を蓄積するものである。図10に、蓄積される機器操作情報の例を示す。
【0088】
機器操作情報1001は、各機器毎に少なくとも、機器名の情報、操作情報の履歴情報、時刻の履歴情報、の項目を持つ。
【0089】
機器の操作情報や時刻の情報は、機器操作検出部105が検出した機器操作を、検出した時刻と共に蓄積することにより得られる。
【0090】
(各検出部、データベースの補足説明)
なお、物品検出部101、人検出部103、機器操作検出部105に用いられるセンサの種類や、その手法は前述したものに限らず、それぞれ、取扱物品の特定とその位置の情報と、人がどの設備に対して物品操作をしているか否かの情報と、機器の操作の情報とを検出できるものであれば、他のセンサや他の手法を用いても良いし、複数のセンサを組み合わせて用いても良い。
【0091】
また、物品情報501、人情報801、機器操作情報1001の持つ項目は前述したものに限らず、物品検出部101、人検出部103、機器操作検出部105に用いられるセンサの種類や、その手法に応じて必要な情報があれば、これを追加しても良い。また、この構成もそれぞれの図に示したものに限定するものではない。
【0092】
また、物品検出部101、人検出部103、機器操作検出部105は、あらかじめ定めた一定間隔毎に常時検出処理を行い、検索対象となる情報を検出した際には、適宜、物品情報データベース102、人情報データベース104、機器操作情報データベース106にそれぞれ登録するように動作している。
【0093】
(関連情報データベース107の説明)
関連情報データベース107は、物品情報と物品情報、又は物品情報と人情報、又は物品情報と機器操作情報、又はこれらの組合せ、の関係と、その確度(関連性又は関連度、言い換えれば、検索対象となる物品に関する情報同士の関連度)が登録されているデータベースである。現在の状況がこの関連情報の表す状況を満たしているとき、物品の現在位置を前記確度により推定するものである。図11に、登録されている関連情報の例を示す。
【0094】
関連情報1101は、関連内容の情報、検索対象物品の情報、検索対象物品の位置情報、少なくとも1つ以上の関連履歴情報、各関連履歴に対応する付属情報、各関連に対する確度の情報、の項目を持つ。これらの項目の組合せを、「関連情報データ」と呼ぶことにする。1つの前記関連情報データは、関連情報1101の各行に相当する。
【0095】
<各項目の説明>
関連内容の情報は、検索対象物品の情報と関連履歴情報とがどのような関連を持っているかを記述している。具体的には、「場所近接」、「同一タスク」、「直前位置」、「直前操作者」という関連の情報を用いる。それぞれの表す内容は後述する。
【0096】
検索対象物品の情報は、この関連情報データを用いて、位置を推定したい検索対象となる物品の情報を記述している。
【0097】
検索対象物品の位置情報は、前記検索対象物品の推定したい位置の情報を記述している。つまり、前記検索対象物品がこの位置にあるときに検出ミスが発生した場合、この関連情報データを用いて、前記検索対象物品の位置が推定される。
【0098】
関連履歴情報は、この関連情報データにおいて、前記検索対象物品と関連のある物品の情報、人の情報、設備の情報などを記述している。どのような関連があるかは、前記関連内容の情報の項目で説明している。また、関連履歴情報は1つの関連情報データに少なくとも1つ以上含まれる。関連履歴情報が1つの場合は、検索対象物品の情報と関連履歴情報の2つの間の関係を表し、関連履歴情報が2つの場合は、検索対象物品の情報と関連履歴情報の2つとを合わせて3つの間の関係を表すこととなる。
【0099】
付属情報は、前記関連履歴で示されている情報に対応する情報を記述している。前記関連履歴情報が物品や人であればその位置情報、設備であればその機器操作の情報が記述される。
【0100】
確度(関連度)の情報は、現在の状況がこの関連情報データの表す状況を満たしているときの、前記検索対象物品が前記位置情報に存在する割合を算出するための基となる値を記述している。例えば、確度の値が大きければ大きい程、前記検索対象物品が前記位置情報に存在する割合が高いことを意味する。ただし、複数の関連情報を組み合わせて用いることで、この確度の情報は再計算されることがあり得る。再計算の例は、後述の物品位置推定部108の動作を説明の中で示す。
【0101】
<関連内容項目の説明>
以下、関連内容の情報について具体的に説明する。
関連内容の情報の「場所近接」の1つの情報としては、検索対象物品と関連物品が近くの位置に存在する、という関連を表している。具体的には、「場所近接」という関連内容情報は、前記検索対象物品と前記関連物品が近い時間に近くの位置で操作された、という関連を表している。図11の関連情報データ1102がこれを示している。この関連情報データ1102では、検索対象物品の一例である「腕時計」と関連物品の一例である「携帯電話」が同じ「テーブル」に置かれていたことを示している。時間や位置が近いか否かの判定基準はあらかじめ定めておくものとする。例えば、時間の近さは、関連物品が存在した時間が、ユーザが物品を扱うために同じ設備の前に継続して滞在していた時間内かどうかにより決める。又は、近い時間の判断基準を3分以内と具体的な数値で決めても良い。位置の近さ(近接する位置にあるか否か)は、1つのセンサの検出範囲内かどうかにより決める。又は、同じ設備内かどうかにより決める。又は、周辺1mと具体的な数値で決めても良い。
【0102】
また、関連内容の情報の「場所近接」の別の情報としては、検索対象物品と関連人物が近くの位置に存在する、という関連を表している。具体的には、「場所近接」という関連内容情報は、前記検索対象物品が操作されたとき、関連人物が近くの位置に検出された、という関連を表している。例えば、図11の関連情報データ1104がこれを示している。この関連情報データ1104では、検索対象物品の一例である「腕時計」と関連人物の一例である「父」が同じ「テーブル」の近くに位置していたことを示している。
【0103】
さらに、関連内容の情報の「場所近接」の別の情報としては、検索対象物品と関連機器操作が近くの位置に存在する、という関連を表している。具体的には、「場所近接」という関連内容情報は、前記検索対象物品が操作されたとき、近くの時間に、近くの位置の設備の機器操作が検出された、という関連を表している。例えば、図11の関連情報データ1105がこれを示している。この関連情報データ1105では、検索対象物品の一例である「腕時計」と関連機器操作の一例である「収納棚扉」が同じ「収納棚」の近くに位置していたことを示している。
【0104】
関連内容の情報の「同一タスク」の情報は、位置の近さとは関係なく、あるタスクを実行するときの物品の位置や人の位置や機器操作の関連を表している。例えば、ビデオ鑑賞というタスクのときには、ビデオの電源をオンにし、リモコンをテーブルの上に置き、携帯電話は邪魔なので収納棚に置く、という関連が考えられる。
【0105】
関連内容の情報の「直前位置」の情報は、検索対象物品が現在位置に置かれる直前にどの位置に存在したかを表している。
【0106】
関連内容の情報の「直前操作者」の情報は、検索対象物品が現在位置に置かれる直前に誰に操作されたかを表している。
【0107】
なお、関連内容の情報は、前記内容の情報の組合せで表されていても良い。図11では簡単のため最小限の関連履歴情報のみ登録されているが、複数の関連履歴情報の組合せにより、位置推定により有効な関連情報データを作成することができる。例えば、図11の関連情報データ1107は、「場所近接」の情報と「直前位置」の情報との組合せで表されている。検索対象物品が現在位置に置かれる直前にどの位置に存在し、かつ、検索対象物品と関連人物が近くの位置に存在する、という関連を表している。
【0108】
また、前記関連情報は関連情報管理部109により、新規登録されたり、更新されたり、削除されたりする。これらの処理の詳細は後述する。
【0109】
(物品位置推定部108の説明)
物品位置推定部108は、検索対象である物品に関する前記物品情報データベース102の情報と前記関連情報データベース107の情報とを照合させて、前記検索対象である物品の情報と前記検索対象である物品に関連する物品の情報との関連度と、前記検索対象である物品に関する前記物品情報データベース102の情報と前記人情報データベース104の情報と前記関連情報データベース107の情報とを照合させて、前記検索対象である物品の情報と前記検索対象である物品に関する人の情報との関連度と、前記検索対象である物品に関する前記物品情報データベース102の情報と前記機器操作情報データベース106の情報と前記関連情報データベース107の情報とを照合させて、前記検索対象である物品の情報と前記機器操作の情報との関連度とのうち、少なくとも1つを参照して、対象物品の現在位置を推定する。まず、物品情報データベース102を物品位置推定部108により検索し、対象物品の物品情報を物品位置推定部108により抽出する。物品情報データベース102の物品情報に現在の位置情報が登録されていれば、物品位置推定部108により、これを現在位置とする。物品情報に現在の位置情報が登録されていなければ、次に、関連情報データベース107を物品位置推定部108により検索し、検索対象物品が登録されている関連情報データを物品位置推定部108により抽出する。そして、関連情報データの内容に基づき、物品情報データベース102、人情報データベース104、機器操作情報データベース106を物品位置推定部108により検索し、必要な各情報を物品位置推定部108により抽出する。抽出した情報と関連情報データを物品位置推定部108により照合し、物品位置推定部108により、登録された確度に従って、現在位置の推定結果を得る。
これらの動作の詳細は後述する。
【0110】
(関連情報管理部109の説明)
関連情報管理部109は、関連情報データベース107を管理する。ここで、「管理」とは、物品検出部101、人検出部103、及び、機器操作検出部105のうちの少なくとも1つの検出結果から、関連情報データを関連情報管理部109により自動的に登録したり、更新したりすることを意味する。又は、ユーザから入出力部110を介して与えられた指示に従って、前記関連情報データを関連情報管理部109により登録したり、更新したり、削除したりする。
【0111】
<自動処理の説明>
まず、自動的に処理する場合を説明する。図12A〜図12Cに処理フローを示す。
【0112】
ステップS1201で物品検出部101が物品を検出すると、ステップS1202で物品情報データベース102と人情報データベース104と機器操作情報データベース106と関連情報データベース107を関連情報管理部109により参照して、関連物品(又は、関連の人や機器操作)が存在するかどうかを関連情報管理部109により検索する。さらに、関連物品(又は、関連の人や機器操作)が存在するならば、その物品(又は、関連の人や機器操作)を関連情報管理部109により抽出する。
このステップS1202での具体的な処理内容については、以下に説明する。
【0113】
図12Bは、関連内容の情報が「場所近接」である場合に関連物品を検索する例を示している。ステップS1207で、前記検出物品と位置(場所)が近い物品が存在するかどうかを関連情報管理部109により判定する。すなわち、物品情報データベース102を関連情報管理部109により検索し、前記検出物品に登録されている現在位置から近い位置が登録されている物品を関連情報管理部109により抽出する。ここで、位置(場所)が近いか否かの判定基準はあらかじめ定めておくものとする。例えば、同じ設備であること、又は、距離が50cm以内であること、などである。物品が一つも関連情報管理部109により抽出されなければ、関連物品が存在しないと関連情報管理部109により判定される(ステップS1209)。一つ以上の物品が関連情報管理部109により抽出されれば、前記抽出物品に対して次のステップS1208に進む。
【0114】
ステップS1208で、前記検出物品と検出時間が近い物品が存在するかどうかを関連情報管理部109により判定する。すなわち、前記抽出物品の中から、前記検出物品に登録されている現在位置の検出時間から近い時間が現在位置の検出時間に登録されている物品を関連情報管理部109により抽出する。ここで、時間が近いか否かの判定基準はあらかじめ定めておくものとする。例えば、前後3分以内であること、又は、両物品の検出時間の間に人が移動していないこと、などである。物品が一つも関連情報管理部109により抽出されなければ、関連物品が存在しないと関連情報管理部109により判定される(ステップS1209)。一つ以上の物品が関連情報管理部109により抽出されれば、前記抽出物品を関連物品とし、関連物品が存在すると関連情報管理部109により判定される(ステップS1210)。
【0115】
次に、図12Cは、関連内容の情報が「同一タスク」の情報である場合に関連物品を関連情報管理部109により検索する例を示している。タスクは、図12Dのタスクリスト1215に示すように、日常行われる特徴的なタスクをあらかじめ関連情報データベース107に設定しておく。タスクリスト1215には、タスク名の情報と、そのタスクが行われたと判定するための検出履歴(物品、人、機器操作)の情報が対応付けられて登録されている。ここに登録された検出履歴の情報が揃ったときに、そのタスクが行われたと関連情報管理部109により判定する。
【0116】
まず、ステップS1211で、前記検出物品によってタスクが決定されるかどうかを関連情報管理部109により判定する。すなわち、タスクリスト1215を関連情報管理部109により検索し、前記検出物品とその検出位置(場所)が登録されているタスクが存在するかどうかを関連情報管理部109により調べる。タスクが存在しなければ、関連物品が存在しないと関連情報管理部109により判定される(ステップS1213)。関連物品が存在すれば、前記タスクに対するタスクリスト1215の検出履歴の情報を関連情報管理部109により参照し、前記検出物品以外の履歴の情報が近い時間に存在するか、物品情報データベース102と人情報データベース104と機器操作情報データベース106を関連情報管理部109により検索する。前記タスクに対するタスクリスト1215の検出履歴の情報がすべて存在したと関連情報管理部109により判断すれば、次のステップS1212に進む。
【0117】
ステップS1212で、前記タスクに対するタスクリスト1215の検出履歴の情報に登録されている以外の、検出時間が近い物品が存在するかどうかを関連情報管理部109により判定する。物品が一つも関連情報管理部109により抽出されなければ、関連物品が存在しないと関連情報管理部109により判定される(ステップS1213)。一つ以上の物品が関連情報管理部109により抽出されれば、関連情報管理部109により前記抽出物品を関連物品とし、関連物品が存在すると関連情報管理部109により判定される(ステップS1214)。
【0118】
ここで、関連内容の情報が「同一タスク」の情報である場合の時間が近いか否かの関連情報管理部109による判定は、前述の関連内容の情報が「場所近接」である場合と同様に定められるが、それぞれのタスクを考慮し、時間間隔を長くしても良い。また、人の移動を伴うタスクの場合、人の移動に関する条件は適さない。
【0119】
また、関連内容の情報が「直前位置」の情報又は「直前操作者」の情報である場合には、毎回関連履歴の情報が存在するので、ステップS1202において関連物品が存在すると関連情報管理部109により判定し、ステップS1203に進む。
【0120】
また、ステップS1201の物品検出よりも後の時間に、関連する他物品が検出されることもあるので、ステップS1202の処理は、ステップS1201の物品検出から一定時間が経過した後に行うようにしても良い。
【0121】
図12AのステップS1202の結果、関連する他物品が存在しなければ、ステップS1201の物品検出に関する処理は終了する(ステップS1204)。関連する他物品が存在すれば、ステップS1203で、関連情報データベース107において、この物品同士の関連情報データが存在するかどうかを関連情報管理部109により検索する。関連する他物品が複数存在した場合は、それぞれの組合せで関連情報データの検索を関連情報管理部109により繰り返す。
【0122】
ステップS1203の結果、関連情報データが存在しなければ、関連情報データベース107に関連情報管理部109により新規登録する(ステップS1205)。関連情報データが存在すれば、関連情報データベース107の確度を、当該確度が大きくなるように関連情報管理部109により更新する(ステップS1206)。新規登録するときや更新するときの確度の値はあらかじめ定めておくものとする。例えば、確度として、その関連内容の発生回数を適用すると、新規登録時の確度の値は「1」となり、更新時の確度の値は「更新前の確度の値+1」となる。
【0123】
<自動処理の具体例>
図13A〜図13Eを参照して、具体例を説明する。
【0124】
物品検出部101が、腕時計1301'がテーブル201eに時刻15:01に置かれたこと(図13C参照)を検出する。物品検出部101は物品情報データベース102に物品情報1301を登録する。具体的には、物品情報1301の最下行が追加される(図13A参照)。図13Aには、処理に関係ある情報のみを記述した物品情報1301を示している。
【0125】
ここで、関連内容の情報が「場所近接」である場合において、位置の近さの判定基準として、同じ設備であること、時間の近さの判断基準として、前後3分以内であること、とあらかじめ定めるとする。この判定基準を基に物品情報データベース102を物品検出部101が検索し、腕時計1301'と同じ設備(テーブル)201eに前後3分以内(14:58から15:04の間)に置かれた物品として、財布1302'の物品情報1302を物品検出部101により抽出する(図13B参照)。
【0126】
腕時計を検索対象物品の情報とし、財布を関連履歴の情報として、関連情報データベース107を物品検出部101により検索し、関連情報1303から関連情報データ1304を物品検出部101により抽出する(図13C参照)。
【0127】
関連情報データの確度として、その関連内容の情報の発生回数を適用するとする。これを基に、関連情報データ1304の確度の情報の項目の値を現在の「60」から「61」に、当該確度が大きくなるように物品検出部101により変更することで、物品検出部101による関連情報データの更新処理とする(図13Cの1306参照)。
【0128】
もし、図13Eの関連情報1307のように、検索対象物品の情報が腕時計で関連履歴1の情報が財布であるような関連情報データが存在しなかったとすると、関連情報データ1304のうち、検索対象物品の情報が腕時計で関連履歴1の情報が財布でありかつ確度の情報の項目の値が「1」であるような関連情報データ1308が物品検出部101により新規登録される。
【0129】
このとき、財布を主にして見てみると、同様に、関連情報データ1305が更新され、確度「65」が「66」に、当該確度が大きくなるように変更される(図13Eの1309参照)。
【0130】
関連情報データ1304と関連情報データ1305の物品の組合せは同じなので、両者の確度の値は同じであると考えられるが、後述するユーザの指示により値が任意に更新されることもあるので、確度の値はいつも同じになっているとは限らない。図13Dと図13Eの関連情報データ1304と1305の例では、腕時計1301'がテーブル201eに置かれていれば財布1302'もテーブル201eに置かれている可能性は高いが、腕時計1301'のみを持ち出すことが多いので、つまり、財布1302'がテーブル201eに置かれていても腕時計1301'は置かれていないことがあるので、関連情報データ1305の確度を関連情報データ1304の確度よりも大きくしている、ということもあり得る。
【0131】
なお、近さの判定基準や、確度の値の決定は、毎回同じでなくても良い。例えば、時刻がより近いときには、確度の更新値を大きくする、など状況に応じた処理も考えられる。
【0132】
<ユーザ指示処理の説明>
次に、ユーザの指示により物品検索処理を行う場合を説明する。
【0133】
ユーザが、本発明の実施の形態1における物品検索システムに、入出力部110を使用して、物品位置の問い合わせを行い、物品検索システムから位置推定結果を受け取る。もし、その推定結果が正しかったとき、ユーザが、入出力部110を介して、この推定結果を導き出した関連情報データの確度を、当該確度が大きくなるように変更する指示を与える。指示に基づき、関連情報管理部109が関連情報データベース107に蓄積されている前記関連情報データの確度の値を、当該確度が大きくなるように更新する。この例を、後述の入出力部110にて説明する。
【0134】
もし、推定結果が正しくなかったとき、ユーザは何らかの別の方法で物品の位置を得る。ユーザは、入出力部110を介して、正しい位置情報を持つ関連情報データの確度を、当該確度が大きくなるように変更する指示を与える。ユーザから与えられた指示に基づき、関連情報管理部109が前記関連情報データの確度の値を、当該確度が大きくなるように更新する。必要であれば、正しくない推定結果が得られた関連情報データの確度を小さくなるように更新しても良い。又は、正しい位置情報を持つ関連情報データが存在しなければ、関連情報データを新規作成する指示を関連情報管理部109に与える。指示に基づき関連情報管理部109が関連情報データを新規作成する。
【0135】
また、ユーザが、入出力部110を介して、任意のタイミングで、関連情報データを更新したり、関連情報データを新規作成することもできる。例えば、物品情報データベース102に現在位置が不明の物品情報があるとき、ユーザが何らかの別の方法で物品の位置を得て、該当する関連内容を持つ関連情報データの確度の値を更新することもできる。例えば、正しい情報に対しては関連情報データの確度を大きくなるように更新する。
【0136】
なお、更新は、確度の情報の値を変更する動作に限らず、検索対象物品の情報や関連履歴情報などの他の情報の項目を変更する動作であっても良い。例えば、今までボールペンを使っていたのが万年筆を使うようになったことにより、検索対象物品をボールペンから万年筆へ更新したり、部屋の模様替えにより設備の位置が変わったことにより当該設備の位置情報を更新したりすることができる。
【0137】
(入出力部110の説明)
入出力部110は、ユーザとのインタフェースを受け持つ。ユーザがある物品の位置を知りたいとき、その要求を入出力部110を使用して物品位置推定部108に伝える。また、物品位置推定部108の推定結果を入出力部110を使用してユーザに伝える(例えば、入出力部110の一例である、ディスプレイ211bに表示する又はスピーカなどから音声出力する)。例えば、ユーザは入出力部110の一例としての入力装置としてキーボード211a(図2参照)により情報を入力し、入出力部110の別の例としての出力装置としてディスプレイ211b(図2参照)に表示された情報を受け取ることができる。ディスプレイ211bの表示例を図14A〜図14Cに示す。
【0138】
図14Aの画面1401において、問い合わせ時に物品名入力欄1402に、位置を知りたい物品名(例えば「腕時計」)を入力すると、推定結果表示欄1403に推定結果(例えば「テーブルにあります」)が表示される。
【0139】
図14Aの画面1401の代わりに、図14Bの画面1404のように、推定結果表示欄1405には、推定された複数の物品位置の候補の情報(例えば「第1候補:テーブル、第2候補:収納棚」)を表示しても良い。例えば、物品位置推定部108から複数の推定結果が得られたら、その確度の大きい物品位置の候補から順番に表示するようにできる。
【0140】
このとき、複数の物品位置の候補の選び方は、例えば、最大で第3候補まで表示する、というようにあらかじめ表示数を決めておいても良い。また、確度のしきい値をあらかじめ設定しておき、前記しきい値以上の確度を持つ物品位置の候補のみを表示するようにしても良い。また、固定のしきい値設定では、物品位置の候補が表示されなかったり、非常に多数の物品位置の候補が表示されるようになってしまったりすることも考えられるので、物品位置の候補の中で最大である確度の値に対する、各物品位置の候補の確度の値の割合を求め、これがあらかじめ設定した値以上の物品位置の候補のみを表示するようにしても良い。また、後述するように、確度の小さい物品位置の候補を表示する場合もあるが、このときにも同様に、あらかじめ表示数を決めておく、確度のしきい値を決めておく、などによって物品位置の候補を選ぶことができる。
【0141】
また、別の表示形式として、図14Cの画面1406のように、推定結果表示欄1407には、レイアウト画像に推定結果を図示しても良い。例えば、表示欄1407に示したような部屋201の室内レイアウトマップと、推定された物品位置の候補とその位置のレイアウトマップ上での位置座標との対応を登録したデータベース1408(図14D参照)とをあらかじめ用意する。推定結果の物品位置をデータベース1408で検索して対応する座標を求め、レイアウトマップ上に推定物品位置候補の順位の番号を記入する。例えば、図14Cの画面1406では、室内レイアウトマップ上で、テーブルに1番の順位が付され、収納棚に2番の順位が付されていることを表示している。
【0142】
このとき、確度に応じて、物品位置候補の表示のサイズを変動するようにしても良い。確度の大きい候補は物品位置候補の表示も大きくすることで、ユーザの目に付きやすくなることが期待できる。例えば、図14Cの画面1406では、室内レイアウトマップ上で、テーブルを収納棚よりも大きく表示するようにしてもよい。
【0143】
また、関連情報管理部109における、ユーザの指示により関連情報データを更新する処理のときの、ディスプレイ211bの表示例を図15に示す。
【0144】
例えば、図14Aの画面1401に示すように、位置推定結果が表示され、これが正しかったとする。このときの関連情報データが、ディスプレイ211bの画面1501において、関連情報データ表示欄1502に表示される。前記関連情報データの変更したい項目を、変更箇所入力欄1503にキーボード211aを使用して入力すると、現在の内容が表示欄1504に表示される。変更したい内容を、変更内容入力欄1505にキーボード211aを使用して入力し、更新ボタン1506を押すようにマウス211cで操作することで、関連情報管理部109が変更したい項目の内容を更新する。具体的には、前記関連情報データの変更したい項目の例である「確度」を、変更箇所入力欄1503にキーボード211aを使用して入力すると、「確度」の現在の内容である「61」が表示欄1504に表示される。変更したい内容である「65」を、変更内容入力欄1505にキーボード211aを使用して入力し、更新ボタン1506を押すようにマウス211cで操作することで、関連情報管理部109により、「確度」の情報が、変更後の内容である「65」に更新される。
【0145】
なお、位置推定結果が正しくなかったときや、ユーザが任意のタイミングで更新するように関連情報管理部109に指示したり、新規作成するように関連情報管理部109に指示するときも、同様に、既存のデータを表示し、変更箇所をキーボード211aなどで指定し、変更内容をキーボード211aなどで入力する、という流れで処理することができる。
以上が、本発明の実施の形態1におけるシステムの各構成要素についての説明である。
【0146】
(物品位置推定部108の処理フローの説明)
次に、本発明の実施の形態1における物品検索システムの物品位置推定部108の動作を説明する。物品位置推定動作の処理フローの例を図16に示す。また、説明中の物品情報データベース102の例を図17A〜図17G、図25A〜図25Dに示す。
【0147】
ステップS1601で、ユーザから入出力部110を介して物品、例えば、「腕時計」の現在位置の問い合わせ要求を物品位置推定部108が受け取る。
【0148】
ステップS1602で、物品情報データベース102から、物品名の情報が「腕時計」である物品情報を物品位置推定部108が検索する。
【0149】
ここで、ステップS1602の検索の結果、図17Gに示す「腕時計」の物品情報1707が抽出されたとする。これを見ると、最後に検出された記録情報は、「位置情報」として「テーブル」でかつ「操作情報」として「置く」が記録されていることから、「テーブルに置いた」という情報であり、その後に動かされた記録情報は物品情報データベース102に記録されていないので、「腕時計」の「位置情報」として「テーブル」のままであり、ステップS1603で、現在位置が登録されていると物品位置推定部108により判定される。そして、ステップS1604で、物品「腕時計」の推定位置の情報は「テーブル」である、と入出力部110を介してユーザに物品位置推定部108から伝え、前記物品位置推定動作の処理を終了する。
【0150】
また、ステップS1602の検索の結果、上の場合と異なり、図17Aに示す「腕時計」の物品情報データ1701が抽出されたとする。これを見ると、最後に検出された記録情報は、「位置情報」として「収納棚」でかつ「操作情報」として「取る」でかつ「操作者」の情報として「父」が記録されていることから、「収納棚から父が取った」という情報である。その後、父が「腕時計」持ち続けているか、父が「腕時計」をどこかに置いたかであるが、検出された記録情報は物品情報データベース102には無いので、ステップS1603で、現在位置が登録されていないと物品位置推定部108により判定される。そして、次のステップS1605に進む。
【0151】
ステップS1605で、関連情報データベース107から、検索対象物品の情報が「腕時計」である関連情報データを物品位置推定部108により検索する。つまり、関連情報の「対象物品」の情報の項目が「腕時計」である関連情報データを、物品位置推定部108により全て抽出する。
【0152】
ここで、ステップS1605の検索の結果、関連情報データが物品位置推定部108により抽出されなかったとすると、ステップS1606で、関連情報データが存在しないと物品位置推定部108により判定される。そして、ステップS1607で、物品の情報「腕時計」の推定位置の情報は「推定不可」である、と入出力部110を介してユーザに物品位置推定部108から伝え、前記物品位置推定の処理を終了する(ステップS1611)。
【0153】
なお、ステップS1607で、物品「腕時計」の推定位置は、関連情報データが存在しないので、最終検出位置である収納棚の近くに存在する可能性が高いと考えて、推定位置の情報は「収納棚」である、と入出力部110を介してユーザに物品位置推定部108から伝えても良い。又は、最終検出位置での操作者である父がまだ持っている可能性が高いと考えて、推定位置(保持者)の情報は「父」である、と入出力部110を介してユーザに物品位置推定部108から伝えても良い。
【0154】
また、ステップS1605の検索の結果、関連情報データが物品位置推定部108により抽出されたとすると、ステップS1606で、関連情報データが存在すると物品位置推定部108により判定される。そして、次のステップS1608に進む。
【0155】
以下、いくつかの関連情報データが抽出されたケース毎に、動作を説明する。
【0156】
ケース1:関連情報データから1つの位置(場所)が推定される場合。
図25Aに示す関連情報データ2501、2502の2つが物品位置推定部108により抽出されたとする。
【0157】
ステップS1608で、関連情報データ2501、2502は「関連内容」が「場所近接」であり、「関連履歴1」が「携帯電話」であるので、物品情報データベース102から「物品名」が「携帯電話」である物品情報を物品位置推定部108により検索する。
【0158】
ここで、ステップS1608の検索の結果、図17Bに示す物品情報1702が物品位置推定部108により抽出されたとする。ステップS1609で、「携帯電話」の位置情報と「腕時計」の位置情報とから「腕時計」の現在位置を推定しようとするが、「携帯電話」の現在位置(「位置情報」)である「下駄箱」と、関連情報データ2501、2502の「付属情報1」である「テーブル」、「収納棚」とが共に異なるので、関連情報データ2501、2502からは、「腕時計」の現在位置が物品位置推定部108により推定できない。その結果、ステップS1610で、物品「腕時計」の推定位置の情報は「推定不可」である、と入出力部110を介してユーザに物品位置推定部108から伝え、物品位置推定の処理を終了する。また、このときの別の動作をケース4で後述する。
【0159】
また、ステップS1608の検索の結果、上の場合と異なり図17Cに示す物品情報1703が物品位置推定部108により抽出されたとする。ステップS1609で、「携帯電話」の現在位置である「テーブル」と、関連情報データ2501の付属情報1「テーブル」が一致するので、関連情報データ2501から確度「50」で「腕時計」が位置「テーブル」にある、と物品位置推定部108により推定できる。他に一致する関連情報データは無いので、ステップS1610で、物品「腕時計」の推定位置は「テーブル」である、と入出力部110を介してユーザに物品位置推定部108から伝え、物品位置推定の処理を終了する(ステップS1612)。
【0160】
同様に、上の場合と異なり、図17Dに示す物品情報1704が物品位置推定部108により抽出されたとすると、物品「腕時計」の推定位置は「収納棚」である、と入出力部110を介してユーザに物品位置推定部108から伝え、物品位置推定の処理を終了する(ステップS1612)。
【0161】
ケース2:関連情報データから複数の位置(場所)が推定される場合。
図25Bに示す関連情報データ2503、2504の2つが物品位置推定部108により抽出されたとする。
【0162】
ステップS1608で、関連情報データ2503は「関連内容」が「場所近接」であり、「関連履歴1」が「携帯電話」であるので、物品情報データベース102から「物品名」が「携帯電話」である物品情報を物品位置推定部108により検索する。また、関連情報データ2504の「関連履歴1」が「父」であるので、人情報データベース104から「人物名」が「父」である人情報を物品位置推定部108により検索する。
【0163】
ステップS1608の検索の結果、図17Dに示す物品情報1704、図17Eに示す人情報1705が物品位置推定部108により抽出されたとする。ステップS1609で、「携帯電話」の現在位置である「収納棚」と、関連情報データ2503の「付属情報1」である「収納棚」とが一致するので、関連情報データ2503から確度「30」で「腕時計」が位置「収納棚」にある、と物品位置推定部108により推定できる。一方、「父」の現在位置である「テーブル」と、関連情報データ2504の「付属情報1」である「テーブル」とが一致するので、関連情報データ2504から確度「40」で「腕時計」が位置「テーブル」にある、と物品位置推定部108により推定できる。
【0164】
前記2つの推定結果から、確度「30」の「収納棚」より、確度「40」の「テーブル」の方に、検索対象物品「腕時計」がある可能性が高いと物品位置推定部108により判定されるので、これを最終の推定結果とする。ステップS1610で、物品「腕時計」の推定位置は「テーブル」である、と入出力部110を介してユーザに物品位置推定部108から伝え、物品位置推定の処理を終了する(ステップS1612)。
【0165】
ここで、図26に示した確度制御部(関連度制御部)2601によって、状況に応じて確度を変更するように制御することも考えられる。図27を参照して説明する。
【0166】
例えば、関連情報データベース107に登録されている、図27に示した関連情報データ2701、2702では、時間帯別確度データ2703、2704を利用して、確度を、状況の一例としての時間帯に応じて、確度制御部2601により制御する。時間帯別確度データは、各関連情報データの確度を時間帯別に集計して関連情報データベース107に登録されているもので、例えば、確度として、その関連内容の発生回数を適用する場合には、それぞれ関連内容が発生した時間でどの時間帯に加算するかを確度制御部2601により決定するようにしておく。そして、確度を確度制御部2601により制御するときには、関連履歴の検出時刻によって、確度制御部2601により確度を変更するように制御する。前記の例では、図17Dの物品情報1704から「携帯電話」の検出時刻は「14:50」であるので、時間帯別確度データ2703の「11時〜16時」のデータを確度制御部2601により参照して、確度は「15」となる。同様に、図17Eの人情報1705から「父」の検出時刻は「15:00」であるので、時間帯別確度データ2704の「11時〜16時」のデータを確度制御部2601により参照して、確度は「5」となる。この結果から、前記の推定結果と異なり、確度「5」の「テーブル」より、確度「15」の「収納棚」の方に、検索対象物品「腕時計」がある可能性が高いと物品位置推定部108により判定され、これを最終の推定結果とする。
【0167】
同様に、前記状況の他の例として、曜日別又はそれぞれの人物の勤務日別若しくは通学日別(例えば平日か休日か)で、確度制御部2601により、確度を変更するように制御しても良い。
【0168】
さらに、前記状況のさらに他の例として「タスク」の前後で、確度を確度制御部2601により変更するように制御しても良い。このときの「タスク」とは、掃除、接客、又は、食事などで、その物品自体を本来使用する目的以外の目的で当該物品を動かすことが発生するようなタスクが適している。例えば、掃除の前後では、掃除の際に邪魔になる新聞が、本来の使用で置かれることの多いテーブルやマガジンラックではなく、一時的な置き位置(場所)として椅子の上に置かれることが多い、というような場合に対応した制御である。
【0169】
なお、複数の位置(場所)が途中の推定結果として得られたとき、必ずしも確度の値の大きい方を最終の推定結果として物品位置推定部108により選択するとは限らず、確度の値の小さい方を最終の推定結果として物品位置推定部108により選択しても良い。例えば、ユーザ自身が検索対象物品を探さずに問い合わせをした場合は、確度の値の大きい位置を物品位置推定部108により選択するのが良いが、ユーザ自身が検索対象物品を探したがなかなか見つからなかったので問い合わせをした場合は、確度の値の大きい位置は既に探したとも考えられるので、逆に確度の値の小さい位置を物品位置推定部108により選択するのが良い。このように、もしユーザの状態が分かれば、その状況に合わせた推定結果を物品位置推定部108により最終結果とする。このような確度の値の小さい位置を表示する場合には、入出力部110の表示内容も、例えば、前記したように、確度の値の大きい位置を単に表示する場合(例えば、「収納棚にあります」と表示する場合)とは異なり、「収納棚は探しましたか?」のように前記表示例とは異なった表示に変更するようにしても良い。
【0170】
ここで、ユーザの状態(ユーザが検索対象物品を探したか、否か)は、例えば、人(ユーザ)の移動軌跡の情報(移動履歴情報)と、物品の検出履歴情報から物品位置推定部108により判定する。ユーザが、問い合わせを行う直前に、一定数(例えば5箇所)以上の位置を比較的短い時間内で移動し、かつ、それぞれの位置で物品の操作(置く、取る)が検出されなかったとすると、ユーザは検索対象物品を探したが見つからなかったので問い合わせをした、と物品位置推定部108により判定することができる。
【0171】
ケース3:複数の関連情報データから同じ位置(場所)が推定される場合。
図25Cに示す関連情報データ2505、2506、2507の3つが物品位置推定部108により抽出されたとする。
【0172】
ステップS1608で、関連情報データ2505は「関連内容」が「場所近接」であり、かつ「関連履歴1」が「携帯電話」であるので、物品情報データベース102から「物品名」が「携帯電話」である物品情報を物品位置推定部108により検索する。また、関連情報データ2506は「関連内容」が「場所近接」であり、かつ「関連履歴1」が「父」であるので、人情報データベース104から「人物名」が「父」である人情報を物品位置推定部108により検索する。また、関連情報データ2507は、「関連内容」が「直前操作者」であるので、直前の操作者と現在の操作者を比較するために、対象物品「腕時計」の物品情報1701を物品位置推定部108により参照する。
【0173】
ステップS1608の検索の結果、図17Cに示す物品情報1703、図17Eに示す人情報1705が物品位置推定部108により抽出されたとする。ステップS1609で、「携帯電話」の現在位置である「テーブル」と、関連情報データ2505の「付属情報1」である「テーブル」とが一致するので、関連情報データ2505から確度「50」で「腕時計」が位置「テーブル」にある、と物品位置推定部108により推定できる。一方、「父」の現在位置である「テーブル」と、関連情報データ2506の「付属情報1」である「テーブル」とが一致するので、関連情報データ2506から確度「40」で「腕時計」が位置「テーブル」にある、と物品位置推定部108により推定できる。さらに、図17Aに示す物品情報1701より、対象物品「腕時計」の直前の「位置情報」が「収納棚」、「操作者」が「父」であることが得られ、関連情報データ2507の「付属情報1」である「収納棚」、「関連履歴1」である「父」と一致するので、関連情報データ2507から確度「75」で「腕時計」が位置「下駄箱」にある、と物品位置推定部108により推定できる。
【0174】
前記3つの推定結果から、対象物品「腕時計」は確度の一番大きい「下駄箱」にあると最終の推定結果を物品位置推定部108により決定することもできる。しかし、残りの2つの推定結果は共に「テーブル」と物品位置推定部108により推定しているので、確度制御部2601によって、これらの確度を統合し、「テーブル」として1つの確度を算出し、算出された確度を物品位置推定部108により比較することもできる。例えば、確度制御部2601によって確度「50」と「40」とを加算すると、確度「90」で「腕時計」が位置「テーブル」にあるという推定結果が物品位置推定部108により得られる。これを用いると、ステップS1610で、物品「腕時計」の推定位置は「テーブル」である、と入出力部110を介してユーザに物品位置推定部108から伝え、物品位置推定の処理を終了する(ステップS1612)。
【0175】
なお、確度制御部2601による確度の統合の方法は、上述のような確度の加算に限らず、平均値を用いるようにしたり、関連情報データ毎に重み付けして算出するようにしても良い。例えば、重み付けは、過去に問い合わせたときに推定位置が正解であった回数によって決めることができる。
【0176】
また、その他にも、所有者が登録されている物品であれば、関連情報データにその物品の所有者が含まれている場合に重みを大きくすることもできる。また、ケース3の確度を制御する処理例で述べたような時間帯別やタスク別に見たときの確度を用いて、重み付けすることもできる。
【0177】
ケース4:関連情報データの関連履歴が抽出されなかった場合。
図25Dに示す関連情報データ2508が物品位置推定部108により抽出されたとする。
【0178】
ステップS1608で、関連情報データ2508は「関連内容」が「場所近接」であり「関連履歴1」が「携帯電話」であるので、物品情報データベース102から「物品名」が「携帯電話」である物品情報を物品位置推定部108により検索する。
【0179】
ステップS1608の検索の結果、図17Bに示す物品情報1702が物品位置推定部108により抽出されたとする。ステップS1609で、「携帯電話」の現在位置である「下駄箱」と、関連情報データ2508の「付属情報1」である「テーブル」とが異なるので、関連情報データ2508からは「腕時計」の現在位置が物品位置推定部108により推定できない。前述のケース1では、この結果、物品「腕時計」の推定位置は「推定不可」であると物品位置推定部108により判断する。
【0180】
ここでは、さらに、物品情報データベース102から「携帯電話」と同じ分類の物品情報を物品位置推定部108により検索する。そして、例えば、「外出時携帯品」という同じ分類情報を持つ物品「携帯情報端末」の物品情報1706が物品位置推定部108により抽出されたとする(図17F参照)。
【0181】
そこで、物品位置推定部108において、「携帯電話」と「携帯情報端末」を同様に扱い、ステップS1609で、「携帯情報端末」の現在位置である「テーブル」と、関連情報データ2508の「付属情報1」である「テーブル」とが一致するので、関連情報データ2508から確度「50」で「腕時計」が位置「テーブル」にある、と物品位置推定部108により推定できる。他に一致する関連情報データは無いので、ステップS1610で、物品「腕時計」の推定位置は「テーブル」である、と入出力部110を介してユーザに物品位置推定部108から伝え、物品位置推定の処理を終了する(ステップS1612)。
【0182】
なお、ステップS1605の検索の結果、関連情報データが物品位置推定部108により抽出されなかった場合にも、同じ分類の物品を対象物品とする関連情報データを、同様に物品位置推定部108により抽出し、前記同じ分類の物品の推定結果を、本来の対象物品の推定結果に物品位置推定部108により適用することもできる。
【0183】
このように、同じ分類の物品同士を同様に扱うことで、新規購入した物品や、移動することの少ない物品、などのように関連情報データや物品情報が無い、又は少ない場合にも位置推定をすることができる。
【0184】
以上が、本発明の実施の形態1における物品検索システムの物品位置推定部108の動作である。
【0185】
なお、本発明の実施の形態1における物品検索システムは、生活環境での構成や動作を説明したが、同様にセンサなどを設置してシステムを構成することにより、オフィスや工場や店舗など他の環境においても有効に適用可能である。
【0186】
なお、前記様々な実施形態の例のうちの任意の例を適宜組み合わせることにより、それぞれの有する効果を奏するようにすることができる。
【産業上の利用可能性】
【0187】
本発明にかかる物品検索システムは、時刻を取得する時刻取得部と、
生活環境内で人が取り扱う物品の特定と、その位置を検出する物品検出部と、
前記物品検出部が検出した物品の情報を蓄積する物品情報データベースと、
生活環境内で活動する人の移動軌跡を検出する人検出部と、
前記人検出部が検出した人の情報を蓄積する人情報データベースと、
生活環境内の機器の操作を検出する機器操作検出部と、
前記機器操作検出部が検出した機器操作の情報を蓄積する機器操作情報データベースと、
物品同士、物品情報と人情報、物品情報と機器操作情報、の関連を登録した関連情報データベースと、
前記物品情報データベースと前記人情報データベースと前記機器操作情報データベースと前記関連情報データベースとを参照し、物品同士、物品情報と人情報、物品情報と機器操作情報、の関連に基づいて物品の現在位置を推定する物品位置推定部と、
を有し、
特に、取扱物品や周辺環境が多種多様である生活環境において、さらにはオフィス、工場、店舗などの環境において、センシング手段又は装置の検出ミスが起こった場合でも物品の現在位置情報を推定することのできる物品検索システム及び物品検索方法として有用である。
【図面の簡単な説明】
【0188】
【図1】本発明の実施の形態1における物品検索システムの構成図
【図2】本発明の実施の形態1における、生活環境内に物品検索システムの構成要素を備えた部屋の例を表す図
【図3】本発明の実施の形態1における物品検出部の説明図
【図4A】本発明の実施の形態1における画像センサを用いた物品検出方法の説明において、あらかじめ棚の上に何も置かれていない状態の画像(背景画像)を示す図
【図4B】本発明の実施の形態1における画像センサを用いた物品検出方法の説明において、物品を棚の上に置いた状態の画像(入力画像)を示す図
【図4C】本発明の実施の形態1における画像センサを用いた物品検出方法の説明において、背景画像と入力画像の差の画像を示す図
【図4D】本発明の実施の形態1における画像センサを用いた物品検出方法の説明において使用するテンプレート画像を示す図
【図5】本発明の実施の形態1における物品情報データベースの例を表す図
【図6A】本発明の実施の形態1における人検出部の1つの例の説明図
【図6B】本発明の実施の形態1における人検出部の別の例の説明図
【図7】本発明の実施の形態1における重量センサを用いた人検出方法の説明図
【図8】本発明の実施の形態1における人情報データベースの例を表す図
【図9A】本発明の実施の形態1における光センサを用いた機器操作検出方法の説明図
【図9B】本発明の実施の形態1における光センサを用いた機器操作検出方法の説明図
【図10】本発明の実施の形態1における機器操作情報データベースの例を表す図
【図11】本発明の実施の形態1における関連情報データベースの例を表す図
【図12A】本発明の実施の形態1における関連情報管理部の処理フローを表す図
【図12B】本発明の実施の形態1における関連情報管理部の処理フローを表す図
【図12C】本発明の実施の形態1における関連情報管理部の処理フローを表す図
【図12D】本発明の実施の形態1における関連情報管理部の処理フローにおいて使用するタスクリストを表す図
【図13A】本発明の実施の形態1における関連情報管理部の処理におけるデータベースの例を表す図
【図13B】本発明の実施の形態1における関連情報管理部の処理におけるデータベースの例を表す図
【図13C】本発明の実施の形態1における関連情報管理部の処理におけるデータベースの例を説明するための説明図
【図13D】本発明の実施の形態1における関連情報管理部の処理におけるデータベースの例を表す図
【図13E】本発明の実施の形態1における関連情報管理部の処理におけるデータベースの例を表す図
【図14A】本発明の実施の形態1における入出力部の一例としてのディスプレイの表示例を表す図
【図14B】本発明の実施の形態1における入出力部の一例としてのディスプレイの表示例を表す図
【図14C】本発明の実施の形態1における入出力部の一例としてのディスプレイの表示例を表す図
【図14D】本発明の実施の形態1における入出力部の一例としてのディスプレイの表示例を説明するときに使用するデータベースの図
【図15】本発明の実施の形態1における入出力部の一例としてのディスプレイの別の表示例を表す図
【図16】本発明の実施の形態1における物品検索システムの処理フローを表す図
【図17A】本発明の実施の形態1における物品位置推定部の処理におけるデータベースの例を表す図
【図17B】本発明の実施の形態1における物品位置推定部の処理におけるデータベースの例を表す図
【図17C】本発明の実施の形態1における物品位置推定部の処理におけるデータベースの例を表す図
【図17D】本発明の実施の形態1における物品位置推定部の処理におけるデータベースの例を表す図
【図17E】本発明の実施の形態1における物品位置推定部の処理におけるデータベースの例を表す図
【図17F】本発明の実施の形態1における物品位置推定部の処理におけるデータベースの例を表す図
【図17G】本発明の実施の形態1における物品位置推定部の処理におけるデータベースの例を表す図
【図18】従来の物品管理システムの構成図
【図19】本発明の実施の形態1におけるIDと物品名の対応を登録したデータベースの例を表す図
【図20】本発明の実施の形態1におけるセンサと設置位置の対応を登録したデータベースの例を表す図
【図21】本発明の実施の形態1における物品名と重量の対応を登録したデータベースの例を表す図
【図22】本発明の実施の形態1におけるIDと人物名の対応を登録したデータベースの例を表す図
【図23】本発明の実施の形態1における人物名と重量の対応を登録したデータベースの例を表す図
【図24】本発明の実施の形態1における物品のカテゴリー別の分類データベースの例を表す図
【図25A】本発明の実施の形態1の動作例における関連情報データベースの例を表す図
【図25B】本発明の実施の形態1の動作例における関連情報データベースの例を表す図
【図25C】本発明の実施の形態1の動作例における関連情報データベースの例を表す図
【図25D】本発明の実施の形態1の動作例における関連情報データベースの例を表す図
【図26】本発明の実施の形態1の別の例における物品検索システムの構成図
【図27】本発明の実施の形態1の別の例での確度制御部の処理における関連情報データベースの例を表す図
【符号の説明】
【0189】
100 時刻取得部
101 物品検出部
102 物品情報データベース
103 人検出部
104 人情報データベース
105 機器操作検出部
106 機器操作情報データベース
107 関連情報データベース
108 物品位置推定部
109 関連情報管理部
110 入出力部
2601 関連度制御部

【特許請求の範囲】
【請求項1】
生活環境内で人が取り扱う物品の特定と、その位置の履歴情報を検出する物品検出部と、
前記物品検出部が検出した物品の位置の履歴情報をその物品の情報として蓄積する物品情報データベースと、
前記物品の情報同士の関連度を登録した関連情報データベースと、
検索対象である物品に関する前記物品情報データベースの情報と前記関連情報データベースの情報とを照合させて、前記検索対象である物品の情報と前記検索対象である物品に関連する物品の情報との関連度を参照して、前記検索対象である物品の現在位置を推定する物品位置推定部と、
を備えたことを特徴とする物品検索システム。
【請求項2】
前記人の移動履歴情報を検出する人検出部と、
前記人検出部が検出した人の情報を蓄積する人情報データベースと、
をさらに備え、
前記関連情報データベースは、さらに、前記物品の情報と前記人の情報との関連度を登録し、
前記物品位置推定部は、さらに、前記検索対象である物品に関する前記物品情報データベースの情報と前記人情報データベースの情報と前記関連情報データベースの情報とを照合させて、前記検索対象である物品の情報と前記検索対象である物品に関する人の情報との関連度を参照して、前記検索対象である物品の現在位置を推定する、
ことを特徴とする請求項1に記載の物品検索システム。
【請求項3】
前記生活環境内の機器の操作を検出する機器操作検出部と、
前記機器操作検出部が検出した機器操作の情報を蓄積する機器操作情報データベースと、
をさらに備え、
前記関連情報データベースは、さらに、前記物品の情報と前記機器操作の情報との関連度を登録し、
前記物品位置推定部は、さらに、前記検索対象である物品に関する前記物品情報データベースの情報と前記機器操作情報データベースの情報と前記関連情報データベースの情報とを照合させて、前記検索対象である物品の情報と前記機器操作の情報との関連度を参照して、前記検索対象である物品の現在位置を推定する、
ことを特徴とする請求項1又は2に記載の物品検索システム。
【請求項4】
前記物品情報データベースは、前記物品の情報が前記物品のカテゴリー毎に分類されている、
ことを特徴とする請求項1又は2又は3に記載の物品検索システム。
【請求項5】
前記関連情報データベースは、前記物品の位置が、近接する位置にある物品同士を関連情報とする、
ことを特徴とする請求項1又は2又は3に記載の物品検索システム。
【請求項6】
前記関連情報データベースは、同じタスクに使用される物品同士を関連情報とする、
ことを特徴とする請求項1又は2又は3に記載の物品検索システム。
【請求項7】
前記物品位置推定部は、前記物品の推定位置として可能性の低い位置を出力する、
ことを特徴とする請求項1又は2又は3に記載の物品検索システム。
【請求項8】
前記物品情報データベースと前記人情報データベースと前記機器操作情報データベースとのうちの少なくとも1つに登録されている情報を基に、前記関連情報データベースを更新する関連情報管理部、
をさらに備えたことを特徴とする請求項1〜7のいずれか1つに記載の物品検索システム。
【請求項9】
ユーザの物品検索要求を前記物品位置推定部に伝え、また、前記物品位置推定部の推定結果を前記ユーザに伝える入出力部、
をさらに備えたことを特徴とする請求項1〜8のいずれか1つに記載の物品検索システム。
【請求項10】
前記関連情報管理部は、前記入出力部を介して伝えられた前記ユーザの指示を基に、前記関連情報データベースを更新する、
ことを特徴とする請求項9に記載の物品検索システム。
【請求項11】
前記関連度を状況に応じて変更する関連度制御部、
をさらに備えることを特徴とする請求項9に記載の物品検索システム。
【請求項12】
生活環境内で人が取り扱う物品の特定と、その位置の履歴情報を検出し、
前記検出した物品の位置の履歴情報をその物品の情報として物品情報データベースに蓄積し、
前記人の移動履歴情報を検出し、
前記検出した人の情報を人情報データベースに蓄積し、
前記生活環境内の機器の操作を検出し、
前記機器操作の情報を機器操作情報データベースに蓄積し、
検索対象である物品に関する前記物品情報データベースの情報と前記関連情報データベースの情報とを照合させて、前記検索対象である物品の情報と前記検索対象である物品に関連する物品の情報との関連度を参照し、前記検索対象である物品に関する前記物品情報データベースの情報と前記人情報データベースの情報と前記関連情報データベースの情報とを照合させて、前記検索対象である物品の情報と前記検索対象である物品に関する人の情報との関連度を参照し、前記検索対象である物品に関する前記物品情報データベースの情報と前記機器操作情報データベースの情報と前記関連情報データベースの情報とを照合させて、前記検索対象である物品の情報と前記機器操作の情報との関連度を参照して、前記検索対象である物品の現在位置を推定する、
ことを特徴とする物品検索方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4A】
image rotate

【図4B】
image rotate

【図4C】
image rotate

【図4D】
image rotate

【図5】
image rotate

【図6A】
image rotate

【図6B】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9A】
image rotate

【図9B】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12A】
image rotate

【図12B】
image rotate

【図12C】
image rotate

【図12D】
image rotate

【図13A】
image rotate

【図13B】
image rotate

【図13C】
image rotate

【図13D】
image rotate

【図13E】
image rotate

【図14A】
image rotate

【図14B】
image rotate

【図14C】
image rotate

【図14D】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17A】
image rotate

【図17B】
image rotate

【図17C】
image rotate

【図17D】
image rotate

【図17E】
image rotate

【図17F】
image rotate

【図17G】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25A】
image rotate

【図25B】
image rotate

【図25C】
image rotate

【図25D】
image rotate

【図26】
image rotate

【図27】
image rotate


【公開番号】特開2007−79918(P2007−79918A)
【公開日】平成19年3月29日(2007.3.29)
【国際特許分類】
【出願番号】特願2005−266627(P2005−266627)
【出願日】平成17年9月14日(2005.9.14)
【出願人】(000005821)松下電器産業株式会社 (73,050)
【Fターム(参考)】