説明

ネットワークシステム、機器の制御方法、およびコントローラ

【課題】ユーザの誤認識を避ける必要性が高い機器と低い機器とを有効に制御することができるネットワークシステム、機器の制御方法、およびコントローラを提供する。
【解決手段】コントローラ100は、少なくとも1つのカメラと複数の機器と通信するための通信インターフェイス105と、人物を特定するための情報を記憶し、複数の機器の各々に対応付けて確度と第1の制御命令とを記憶するメモリ101と、プロセッサ110とを含む。プロセッサは、通信インターフェイスを介して少なくとも1つのカメラから人物を含む画像を受信し、複数の機器毎に、画像に含まれる人物が情報によって特定される人物である確度が機器に対応する確度以上である場合に、通信インターフェイスを介して機器に対応する第1の制御命令を機器へと送信する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コントローラと当該コントローラによって制御される機器とを含むネットワークシステム、機器の制御方法、およびコントローラに関する。特に、本発明は、少なくとも1つのカメラから得られる画像に基づいて、複数の機器を制御するためのコントローラの技術に関する。
【背景技術】
【0002】
複数の機器を制御するためのコントローラが知られている。そのようなコントローラの中には、ユーザの認識結果に応じて機器を制御するものがある。
【0003】
たとえば、特開2006−243849号公報(特許文献1)には、機器制御装置及びその方法が開示されている。特開2006−243849号公報(特許文献1)によると、機器制御装置は、顔認識処理部、機器設定部、対話処理部とから構成され、ユーザの顔画像に関する個人データを取得し、取得した個人データと、登録された個人辞書データと比較して、取得した個人データに対応する人物を認識し、認識した人物に対応する登録時の顔画像を、前記登録されている個人辞書データに基づいて表示し、表示した人物が前記ユーザに一致するか否かの確認情報を前記ユーザから受け、確認された人物に対応する前記機器環境パラメータに設定する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2006−243849号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、カメラからの画像を利用する場合、ユーザを誤認識する可能性がある。コントローラが制御する機器の中には誤認識を避ける必要性が高い機器と低い機器とが存在するが、従来のコントローラではその点が考慮されていない。
【0006】
本発明は、かかる問題を解決するためになされたものであり、その目的は、ユーザの誤認識を避ける必要性が高い機器と低い機器とを有効に制御することができるネットワークシステム、機器の制御方法、およびコントローラを提供することである。
【課題を解決するための手段】
【0007】
この発明のある局面に従うと、人物を撮影するための少なくとも1つのカメラと、制御命令に応じて動作する複数の機器と、コントローラとを備えるネットワークシステムが提供される。コントローラは、少なくとも1つのカメラと複数の機器と通信するための通信インターフェイスと、人物を特定するための情報を記憶し、複数の機器の各々に対応付けて確度と第1の制御命令とを記憶するメモリと、プロセッサとを含む。プロセッサは、通信インターフェイスを介して少なくとも1つのカメラから人物を含む画像を受信し、複数の機器毎に、画像に含まれる人物が情報によって特定される人物である確度が機器に対応する確度以上である場合に、通信インターフェイスを介して機器に対応する第1の制御命令を機器へと送信する。
【0008】
好ましくは、メモリは、第1の制御命令を人物を特定するための情報に対応付けて記憶する。プロセッサは、複数の機器毎に、画像に含まれる人物が情報によって特定される人物である確度が機器に対応する確度以上である場合に、通信インターフェイスを介して機器と人物を特定するための情報とに対応する第1の制御命令を機器へと送信する。
【0009】
好ましくは、少なくとも1つのカメラは複数のカメラを含む。メモリは、複数のカメラと複数の機器との対応関係を記憶する。プロセッサは、複数の機器のうちの人物を含む画像を送信したカメラに対応する機器毎に、画像に含まれる人物が情報によって特定される人物である確度が機器に対応する確度以上である場合に、通信インターフェイスを介して機器に対応する第1の制御命令を機器へと送信する。
【0010】
好ましくは、人物を特定するための情報は、複数のカメラから得られる複数の画像から作成される特徴量を含む。
【0011】
好ましくは、メモリは、複数の機器の少なくともいずれかに対応付けて第2の制御命令を記憶する。プロセッサは、複数の機器毎に、画像に含まれる人物が情報によって特定される人物である確度が機器に対応する確度未満である場合に、通信インターフェイスを介して機器に対応する第2の制御命令を機器へと送信する。
【0012】
この発明の別の局面に従うと、少なくとも1つのカメラと、複数の機器と、人物を特定するための情報を記憶するとともに複数の機器の各々に対応付けて確度と第1の制御命令とを記憶するコントローラと、を含むネットワークシステムにおける機器の制御方法が提供される。機器の制御方法は、少なくとも1つのカメラが、人物を撮影するステップと、コントローラが、少なくとも1つのカメラから人物を含む画像を受信するステップと、コントローラが、複数の機器毎に、画像に含まれる人物が情報によって特定される人物である確度が機器に対応する確度以上である場合に、機器に対応する第1の制御命令を機器へと送信するステップと、機器が、第1の制御命令に応じて動作するステップとを備える。
【0013】
この発明の別の局面に従うと、少なくとも1つのカメラと複数の機器と通信するための通信インターフェイスと、人物を特定するための情報を記憶するとともに複数の機器の各々に対応付けて確度と第1の制御命令とを記憶するメモリと、プロセッサとを含むコントローラが提供される。プロセッサは、通信インターフェイスを介して少なくとも1つのカメラから人物を含む画像を受信し、複数の機器毎に、画像に含まれる人物が情報によって特定される人物である確度が機器に対応する確度以上である場合に、通信インターフェイスを介して機器に対応する第1の制御命令を機器へと送信する。
【0014】
この発明の別の局面に従うと、通信インターフェイスと、人物を特定するための情報を記憶するとともに複数の機器の各々に対応付けて確度と第1の制御命令とを記憶するメモリと、プロセッサと、を含むコントローラにおける機器の制御方法が提供される。機器の制御方法は、プロセッサが、通信インターフェイスを介して少なくとも1つのカメラから人物を含む画像を受信するステップと、プロセッサが、複数の機器毎に、画像に含まれる人物が情報によって特定される人物である確度が機器に対応する確度以上である場合に、通信インターフェイスを介して機器に対応する第1の制御命令を機器へと送信するステップとを備える。
【発明の効果】
【0015】
以上のように、本発明によって、ユーザの誤認識を避ける必要性が高い機器と低い機器とを有効に制御することができるネットワークシステム、機器の制御方法、およびコントローラが提供される。
【図面の簡単な説明】
【0016】
【図1】本実施の形態に係るネットワークシステム1の全体構成を示すイメージ図である。
【図2】本実施の形態に係るコントローラ100のハードウェア構成を表わすブロック図である。
【図3】実施の形態1に係る機器データベース101Bのデータ構造を示すイメージ図である。
【図4】実施の形態1に係るユーザデータベース101Cのデータ構造を示すイメージ図である。
【図5】本実施の形態に係るテレビ200Cの構成を表わすブロック図である。
【図6】本実施の形態に係るカメラ300の構成を表わすブロック図である。
【図7】本実施の形態に係るコントローラ100における制御処理の処理手順を示すフローチャートである。
【図8】実施の形態2に係る機器データベース101Dのデータ構造を示すイメージ図である。
【図9】実施の形態2に係るコントローラ100における制御処理の処理手順を示すフローチャートである。
【発明を実施するための形態】
【0017】
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
【0018】
[実施の形態1]
<ネットワークシステムの全体構成>
まず、本実施の形態に係るネットワークシステムの全体構成について説明する。図1は、本実施の形態に係るネットワークシステム1の全体構成を示すイメージ図である。
【0019】
図1を参照して、本実施の形態に係るネットワークシステム1は、たとえば、住宅やオフィスなどに設置される。ネットワークシステム1は、玄関に配置される鍵200Aと照明200B、リビングルームに配置されるテレビ200Cと照明200Dとエアコン200E、風呂に配置される鍵200Fと照明200Gを含む。なお、以下では、鍵200A、照明200B、テレビ200C、照明200D、エアコン200E、鍵200F、照明200G、その他の家電などを総称して、機器200ともいう。
【0020】
ネットワークシステム1は、玄関に配置されるカメラ300A,300Bと、リビングルームに配置されるカメラ300Cと、風呂に配置されるカメラ300Dとを含む。なお、以下では、カメラ300A,300B,300C,300Dを総称して、カメラ300ともいう。
【0021】
ネットワークシステム1は、鍵200A、照明200B、テレビ200C、照明200D、エアコン200E、鍵200F、照明200G、その他の機器を制御するためのコントローラ100を含む。コントローラ100は、有線あるいは無線のネットワーク400を介して、鍵200A、照明200B、テレビ200C、照明200D、エアコン200E、鍵200F、照明200G、その他の機器とデータ通信が可能である。コントローラ100は、ネットワーク400として、たとえば、有線LAN(Local Area Network)や無線LANやPLC(Power Line Communications)やBluetooth(登録商標)などを利用する。
【0022】
コントローラ100は、予めユーザ毎に、ユーザを特定するためのデータを記憶している。なお、ユーザを特定するためのデータは、カメラ300から得られるユーザの顔画像そのもののデータあるいはユーザの顔画像から得られる特徴量データなどを含む。また、ユーザを特定するためのデータは、複数のカメラのそれぞれから得られるユーザの複数の顔画像そのもののデータあるいはユーザの複数の顔画像から得られる特徴量データなどを含んでもよい。以下、予め記憶されている、ユーザを特定するためのデータを記憶特定データという。
【0023】
また、コントローラ100は、機器200とカメラ300との対応関係を記憶している。より詳細には、玄関のドアの外側にいる人を撮影するためのカメラ300A、300Bと、玄関に配置される鍵200Aと照明200Bと、が対応付けられている。リビングルームにいる人を撮影するためのカメラ300Bと、リビングルームに配置されるテレビ200Cと照明200Dとエアコン200Eと、が対応付けられている。風呂にいる人または風呂の外側にいる人を撮影するためのカメラ300Dと、風呂に配置される鍵200Fと照明200Gと、が対応付けられている。
【0024】
コントローラ100は、予め機器200毎の確度を記憶している。なお、コントローラ100では、ユーザの誤認識を避ける必要性が高い機器には高い確度が対応付けられ、ユーザの誤認識を避ける必要性が低い機器には低い確度が対応付けられている。コントローラ100は、機器毎に、ユーザと制御命令とを対応付けて記憶し、ゲスト(ユーザ以外の人物)と制御命令とを対応付けて記憶している。
【0025】
<ネットワークシステムの動作概要>
次に、本実施の形態に係るネットワークシステム1の動作概要について説明する。図1を参照して、まず、カメラ300は、定期的に撮影した画像をコントローラ100に送信する。ただし、カメラ300は、人感センサを利用することによって、人を検知したときに、当該人を撮影し、撮影画像をコントローラ100に送信してもよい。
【0026】
コントローラ100は、カメラ300から受信した画像に含まれる人物の顔画像に基づいて、特定データ(取得特定データ)を作成する。コントローラ100は、予め記憶している複数の記憶特定データ毎に、記憶特定データと取得特定データとの類似度(検知された人が登録されているユーザである確度)を計算する。コントローラ100は、取得特定データに最も類似する記憶特定データを特定することによって、ユーザ(特定ユーザ)を特定する。
【0027】
コントローラ100は、カメラ300に対応する少なくとも1つの機器200を特定する。コントローラ100は、カメラ300に対応する少なくとも1つの機器200毎に以下の動作を実行する。
【0028】
コントローラ100は、取得特定データに最も類似する記憶特定データと当該取得特定データとの類似度が機器200の確度以上であるか否かを判断する。類似度が機器200の確度以上である場合、コントローラ100は、当該機器200に特定ユーザに対応する制御命令を送信する。
【0029】
一方、類似度が機器200の確度未満である場合、コントローラ100は、機器200にゲストに対応する制御命令を送信する。ただし、類似度が機器200の確度未満である場合、コントローラ100は、当該機器200に制御命令を送信しなくてもよい。すなわち、コントローラ100は、機器200に関して、カメラ300からの撮影画像を無視してもよい。
【0030】
これによって、本実施の形態に係るネットワークシステム1においては、ユーザの誤認識を避ける必要性が高い機器と低い機器とを有効に制御することができる。
【0031】
より詳細には、カメラ(センサ)からの画像に基づく個人認識を用いた機器の自動制御に関しては、ユーザを誤認識してしまう可能性がある。そして、誤認識の結果に基づいてユーザが意図しない制御が行われる可能性がある。誤認識の影響力の大きさは、制御される機器毎に違なる。
【0032】
たとえば、セキュリティの高い制御が必要な機器は重大な誤動作を引き起こす可能性がある。玄関の鍵200Aの誤認識を避ける必要性は、部屋の鍵200Fに関する誤認識を避ける必要性よりも高い。一方、快適性を求めた制御をする機器は、誤認識されても大きな問題は生じ難い。むしろ、誤認識を避けるためにユーザが認識され難いという構成にすると不便である。
【0033】
本実施の形態に係るネットワークシステム1は、上記のような両立し得ない効果を達成することができる。
【0034】
以下、このような機能を実現するためのネットワークシステム1の具体的な構成について詳述する。
【0035】
<コントローラ100の構成>
次に、本実施の形態に係るコントローラ100の構成の一態様について説明する。図2は、本実施の形態に係るコントローラ100のハードウェア構成を表わすブロック図である。
【0036】
コントローラ100は、メモリ101と、ディスプレイ102と、タブレット103と、ボタン104と、通信インターフェイス105と、スピーカ107と、時計108と、CPU(Central Processing Unit)110とを含む。
【0037】
メモリ101は、各種のRAM(Random Access Memory)や、ROM(Read-Only Memory)や、ハードディスクなどによって実現される。メモリ101は、CPU110によって実行される制御プログラム、記憶特定データ101A、機器データベース101B、ユーザデータベース101Cなどを記憶する。
【0038】
上述したように、記憶特定データ101Aは、ユーザ毎の、ユーザを特定するためのデータである。記憶特定データ101Aは、ユーザ毎の、カメラ300から得られたユーザの顔画像そのもののデータおよび/あるいはユーザの顔画像から得られる特徴量データを含む。記憶特定データ101Aは、複数のカメラのそれぞれから得られるユーザの複数の顔画像そのもののデータあるいはユーザの複数の顔画像から得られる特徴量データなども含む。
【0039】
そして、メモリ101は、認識に利用するカメラ300の種類や認識に利用するカメラ300の個数に対応した様々な種類毎の、記憶特定データ101Aを記憶する。換言すれば、メモリ101は、特定データの種類とユーザID(またはユーザ名)とに対応づけて、記憶特定データ101Aを記憶する。
【0040】
図3は、本実施の形態に係る機器データベース101Bのデータ構造を示すイメージ図である。図3を参照して、機器データベース101Bは、機器毎に、機器ID、機器名、ユーザに対応する制御命令を実行するための確度、対応するカメラのID、特定データの種類あるいは特定データのアドレスを格納する。
【0041】
たとえば、玄関の鍵200Aに関しては、ユーザを認識し易いというメリットよりもユーザを誤認識するデメリットの方が大きいため、対応する確度が高く設定されている。一方、リビングルームの照明200Dは、ユーザを誤認識するデメリットよりもユーザを認識し易いというメリットの方が大きいため、対応する確度が低く設定されている。
【0042】
図4は、本実施の形態に係るユーザデータベース101Cのデータ構造を示すイメージ図である。図4を参照して、ユーザデータベース101Cは、ユーザ毎に、ユーザID、ユーザ名、機器毎の制御命令を格納する。本実施の形態においては、記憶特定データと取得特定データとの類似度が確度未満である場合に実行される命令として、「ゲスト」に対応する機器毎の制御命令を格納する。なお、ユーザデータベース101Cは、制御命令として、NULLを格納してもよい。すなわち、NULLに対応する機器200に関しては、記憶特定データと取得特定データとの類似度が確度未満である場合には、コントローラ100が制御命令を送信しなくてもよい。
【0043】
図2に戻って、ディスプレイ102は、CPU110によって制御されることによって、各種の情報を表示する。タブレット103は、ユーザの指によるタッチ操作を検出して、タッチ座標などをCPU110に入力する。CPU110は、タブレット103を介して、ユーザからの命令を受け付ける。
【0044】
本実施の形態においては、ディスプレイ102の表面にタブレット103が敷設されている。すなわち、本実施の形態においては、ディスプレイ102とタブレット103とがタッチパネル106を構成する。
【0045】
ボタン104は、コントローラ100の表面に配置される。テンキーなどの複数のボタンがコントローラ100に配置されても良い。ボタン104は、ユーザからの命令を受け付ける。ボタン104は、ユーザからの命令をCPU110に入力する。
【0046】
通信インターフェイス105は、CPU110によって制御されることによって、ネットワーク400を介して、鍵200A、照明200B、テレビ200C、照明200D、エアコン200E、鍵200F、照明200G、その他の家電とデータを送受信する。
【0047】
スピーカ107は、CPU110によって制御されることによって、音声を出力する。たとえば、CPU110は、機器200に制御命令を送信する際にその旨を通知する。
【0048】
時計108は、現在時刻や現在日付を計測する。CPU110は、時計108からのデータに基づいて、現在の時刻や日付を取得することができる。
【0049】
CPU110は、メモリ101に記憶されている各種のプログラムを実行することによって、図7(図9)に示す処理を実現する。コントローラ100における処理は、各ハードウェアおよびCPU110により実行されるソフトウェアによって実現される。このようなソフトウェアは、メモリ101に予め記憶されている場合がある。また、ソフトウェアは、記憶媒体に格納されて、プログラム製品として流通している場合もある。あるいは、ソフトウェアは、いわゆるインターネットに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。
【0050】
このようなソフトウェアは、図示しない読取装置を利用することによってその記憶媒体から読み取られて、あるいは、通信インターフェイス105を利用することによってダウンロードされて、メモリ101に一旦格納される。CPU110は、ソフトウェアを実行可能なプログラムの形式でメモリ101に格納してから、当該プログラムを実行する。
【0051】
なお、記憶媒体としては、CD−ROM(Compact Disc - Read Only Memory)、DVD−ROM(Digital Versatile Disk - Read Only Memory)、USB(Universal Serial Bus)メモリ、メモリカード、FD(Flexible Disk)、ハードディスク、磁気テープ、カセットテープ、MO(Magnetic Optical Disc)、MD(Mini Disc)、IC(Integrated Circuit)カード(メモリカードを除く)、光カード、マスクROM、EPROM、EEPROM(Electronically Erasable Programmable Read-Only Memory)などの、不揮発的にプログラムを格納する媒体が挙げられる。
【0052】
ここでいうプログラムとは、CPUにより直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
【0053】
CPU110は、通信インターフェイス105を介して、カメラ300から撮影画像を受信する。CPU110は、撮影画像に含まれる人物の顔画像に基づいて、特徴量データ(取得特定データ)を作成する。
【0054】
CPU110は、メモリ101から、ユーザ毎の特徴量データ(記憶特定データ101A)を読み出す。CPU110は、ユーザ毎に、記憶特定データと取得特定データとの類似度(確度)を計算する。CPU110は、取得特定データに最も類似する記憶特定データを特定することによって、ユーザ(特定ユーザ)を特定する。
【0055】
CPU110は、機器データベース101Bを参照して、カメラ300に対応する少なくとも1つの機器200と当該機器200に対応する確度とを特定する。CPU110は、少なくとも1つの機器200毎に以下の動作を実行する。
【0056】
CPU110は、取得特定データに最も類似する記憶特定データと当該取得特定データとの類似度が機器200に対応する確度以上であるか否かを判断する。類似度が機器200の確度以上である場合、CPU110は、ユーザデータベース101Cから、当該特定ユーザと機器200とに対応する制御命令を読み出す。CPU110は、通信インターフェイス105を介して、機器200に、特定ユーザに対応する制御命令を送信する。
【0057】
一方、類似度が機器200の確度未満である場合、CPU110は、ユーザデータベース101Cから、ゲストと機器200とに対応する制御命令を読み出す。CPU110は、通信インターフェイス105を介して、機器200に、ゲストに対応する制御命令を送信する。
【0058】
ただし、類似度が機器200の確度未満である場合、CPU110は、当該機器200に制御命令を送信しなくてもよい。すなわち、CPU110は、機器200に関して、カメラ300からのデータを無視してもよい。すなわち、ユーザデータベース101Cは、ゲストに関するデータを格納しなくてもよい。
【0059】
<テレビ200Cの構成>
本実施の形態に係る機器200の一例としてのテレビ200Cの構成について説明する。図5は、本実施の形態に係るテレビ200Cの構成を表わすブロック図である。
【0060】
図5を参照して、テレビ200Cは、メモリ201と、ディスプレイ202と、ボタン204と、通信インターフェイス205と、スピーカ207と、リモコン受信部209と、CPU510とを含む。
【0061】
メモリ201は、コントローラ100のメモリ101と同様に実現され得る。メモリ201は、CPU210によって実行される制御プログラムや、コントローラ100から受信したデータなどを記憶する。
【0062】
ディスプレイ202は、CPU210によって制御される。より詳細には、ディスプレイ202は、図示しないTVチューナやVRAM(Video RAM)からのデータに基づいて、静止画像や動画像を表示する。
【0063】
ボタン204は、テレビ200Cの表面に配置される。テレビ200Cは、決定キー、方向キー、テンキーなどの複数のボタン204を有してもよい。ボタン204は、ユーザからの命令を受け付けて、当該命令をCPU210に入力する。
【0064】
通信インターフェイス205は、CPU210によって制御されることによって、ネットワーク400を介して、コントローラ100とデータを送受信する。通信インターフェイス205は、無線LAN、ZigBee(登録商標)、Bluetooth(登録商標)、有線LAN(Local Area Network)、またはPLC(Power Line Communications)などを利用することによって、コントローラ100とデータを送受信する。
【0065】
たとえば、本実施の形態に係る通信インターフェイス205は、コントローラ100から受信した制御命令をCPU210に入力する。
【0066】
スピーカ207は、CPU210からの命令に基づいて、音声を出力する。たとえば、CPU210は、音声データに基づいて、スピーカ207に音声を出力させる。
【0067】
リモコン受信部209は、コントローラ100から制御信号を受信する。たとえば、リモコン受信部209は、赤外線、無線LAN、ZigBee(登録商標)、Bluetooth(登録商標)などを利用することによって、コントローラ100から信号を受信する。
【0068】
CPU210は、メモリ201に記憶されている各種のプログラムを実行することによって、各種の情報処理を実行する。CPU110は、ボタン204や通信インターフェイス205やリモコン受信部209を介して入力された制御命令に基づいて、テレビ200Cの各部を制御する。
【0069】
<その他の機器200について>
本実施の形態に係るその他の機器200も、図5に示すテレビ200Cと同様に、ユーザからの制御命令を受け付けるための入力部(ボタン204あるいはリモコン受信部209あるいはタッチパネル)と、コントローラ100からの制御命令を受信するための通信インターフェイス205と、ボタン204やリモコン受信部209やコントローラ100からの制御命令を実行するためのCPU210とを有していればよい。
【0070】
<カメラ300の構成>
本実施の形態に係るカメラ300の構成の一態様について説明する。図6は、本実施の形態に係るカメラ300の構成を表わすブロック図である。
【0071】
図6を参照して、カメラ300は、メモリ301と、センサ302と、通信インターフェイス305と、CPU310とを含む。CPU310は、定期的に、センサ302を利用して人を撮影する。CPU310は、通信インターフェイス305を介して、撮影画像を逐次コントローラ100に送信する。なお、CPU310は、通信インターフェイス305を介して、撮像画像そのもののデータをコントローラ100に送信しても良いし、撮影画像から顔画像データを抽出して当該顔画像データをコントローラ100へと送信してもよい。
【0072】
また、カメラ300は、人感センサを搭載してもよい。この場合、CPU310は、人感センサによって人が検知されたときに、センサ302を動作(撮影)させる。CPU310は、撮影画像をメモリ301に一時的に格納することもできる。
【0073】
<コントローラ100における制御処理>
次に、本実施の形態に係るコントローラ100における制御処理について説明する。図7は、本実施の形態に係るコントローラ100における制御処理の処理手順を示すフローチャートである。
【0074】
図7を参照して、CPU110は、通信インターフェイス105を介して、カメラ300から撮影画像を受信したか否かを判断する(ステップS102)。CPU110は、撮影画像を受信していない場合(ステップS102においてNOである場合)、ステップS102の処理を実行する。
【0075】
CPU110は、撮影画像を受信した場合(ステップS102においてYESである場合)、撮影画像に少なくとも1つの顔が含まれているか否か(撮影画像から顔画像データを作成できるか否か)を判断する(ステップS104)。撮影画像に顔が含まれていない場合(ステップS104においてNOである場合)、ステップS102からの処理を実行する。
【0076】
CPU110は、撮影画像に顔が含まれている場合(ステップS104においてYESである場合)、機器データベース101Bを参照して、カメラ300に対応する機器200を特定する(ステップS106)。CPU110は、メモリ101の変数Nにカメラに対応する機器200の個数を入れる(ステップS108)。
【0077】
CPU110は、撮影画像から取得特定データを作成する。CPU110は、ユーザ毎に、メモリ101の記憶特定データ101Aと取得特定データとを比較する。CPU110は、取得特定データとの類似度が最も高い記憶特定データに対応するユーザIDと、当該類似度とをメモリ101に一時的に記憶する(ステップS110)。CPU110は、メモリ101の変数nに1を入れる(ステップS112)。
【0078】
CPU110は、機器データベース101Bから、カメラ300に対応する機器200のうちのn番目の機器200の確度を読み出す。CPU110は、最も高い類似度がn番目の機器の確度以上であるか否かを判断する(ステップS114)。最も高い類似度がn番目の機器の確度以上でない場合(ステップS114においてNOである場合)、CPU110は、カメラ300がゲストを撮影したと判断する(ステップS116)。すなわち、CPU110は、n番目の機器200のためにゲストIDを特定する。CPU110は、ステップS120からの処理を実行する。
【0079】
最も高い類似度がn番目の機器の確度以上である場合(ステップS114においてYESである場合)、CPU110は、カメラ300が取得特定データとの類似度が最も高い記憶特定データに対応するユーザを撮影したと判断する(ステップS118)。すなわち、CPU110は、n番目の機器200のために取得特定データとの類似度が最も高い記憶特定データに対応するユーザのユーザIDを特定する。
【0080】
CPU110は、ユーザデータベース101Cから、特定されたゲストIDまたはユーザIDと、n番目の機器200とに対応する制御命令を読み出す。CPU110は、通信インターフェイス105を介して、当該制御命令を送信する(ステップS120)。CPU110は、変数nをインクリメントする(ステップS122)。CPU110は、変数nがNよりも大きいか否かを判断する(ステップS124)。
【0081】
CPU110は、変数nがN以下である場合(ステップS124においてNOである場合)、ステップS114からの処理を繰り返す。一方、CPU110は、変数nがNよりも大きい場合(ステップS124においてYESである場合)、ステップS102からの処理を繰り返す。
【0082】
[実施の形態2]
次に、本発明の実施の形態2について説明する。上述の実施の形態1に係るネットワークシステム1では、機器毎かつユーザ毎に制御命令が設定されている。しかしながら、制御命令はユーザIDに対応付けられている必要はない。本実施の形態に係るネットワークシステム1では、制御命令が機器毎に対応付けられているものである。
【0083】
<ネットワークシステムの全体構成>
本実施の形態に係るネットワークシステムの全体構成は、図1に示す実施の形態1のそれと同様であるため、ここでは説明を繰り返さない。ただし、本実施の形態に係るコントローラ100は、機器毎に、類似度が確度以上である場合に送信される第1の制御命令と、類似度が確度未満である場合に送信される第2の制御命令とを対応付けて記憶している点において、実施の形態1に係るコントローラとは異なる。すなわち、本実施の形態においては、コントローラ100は、ユーザと制御命令とを対応付けて記憶していない。
【0084】
<ネットワークシステムの動作概要>
次に、本実施の形態に係るネットワークシステム1の動作概要について説明する。図1を参照して、まず、カメラ300は、定期的に撮影した画像をコントローラ100に送信する。ただし、カメラ300は、人感センサを利用することによって人を検知したときに、人物を撮影し、撮影画像をコントローラ100に送信してもよい。
【0085】
コントローラ100は、カメラ300から受信した画像に含まれる人物の顔画像に基づいて、取得特定データを作成する。コントローラ100は、予め記憶している複数の記憶特定データ毎に、記憶特定データと取得特定データとの類似度を計算する。
【0086】
コントローラ100は、カメラ300に対応する少なくとも1つの機器200を特定する。コントローラ100は、カメラ300に対応する少なくとも1つの機器200毎に以下の動作を実行する。
【0087】
コントローラ100は、取得特定データに最も類似する記憶特定データと当該取得特定データとの類似度が機器200の確度以上であるか否かを判断する。
【0088】
類似度が機器200の確度以上である場合、コントローラ100は、当該機器200に第1の制御命令を送信する。類似度が機器200の確度未満である場合、コントローラ100は、機器200に第2の制御命令を送信する。ただし、類似度が機器200の確度未満である場合、コントローラ100は、当該機器200に制御命令を送信しなくてもよい。すなわち、コントローラ100は、機器200に関して、カメラ300からの撮影画像を無視してもよい。
【0089】
これによって、本実施の形態に係るネットワークシステム1においても、ユーザの誤認識を避ける必要性が高い機器と低い機器とを有効に制御することができる。
【0090】
以下、このような機能を実現するためのネットワークシステム1の具体的な構成について詳述する。
【0091】
<コントローラ100の構成>
本実施の形態に係るコントローラ100の構成は、図2に示す実施の形態1のそれと同様であるため、ここでは説明を繰り返さない。ただし、本実施の形態に係るメモリ101が記憶するデータとCPU110の動作とは、実施の形態1のそれらと異なる。以下では、本実施の形態に係るメモリ101が記憶するデータとCPU110の動作とについて説明する。
【0092】
まず、メモリ101が記憶するデータについて説明する。メモリ101は、CPU110によって実行される制御プログラム、記憶特定データ101A、機器データベース101Dなどを記憶する。すなわち、本実施の形態に係るメモリ101は、実施の形態1に係る機器データベース101Bおよびユーザデータベース101Cを記憶しない。
【0093】
上述したように、記憶特定データ101Aは、ユーザ毎の、ユーザを特定するためのデータである。記憶特定データ101Aは、ユーザ毎の、カメラ300から得られたユーザの顔画像そのもののデータおよび/あるいはユーザの顔画像から得られる特徴量データを含む。記憶特定データ101Aは、複数のカメラのそれぞれから得られるユーザの複数の顔画像そのもののデータあるいはユーザの複数の顔画像から得られる特徴量データなども含む。
【0094】
そして、メモリ101は、認識に利用するカメラ300の種類や認識に利用するカメラ300の個数に対応した様々な種類毎の、記憶特定データ101Aを記憶する。換言すれば、メモリ101は、特定データの種類とユーザID(またはユーザ名)とに対応づけて、記憶特定データ101Aを記憶する。
【0095】
図8は、本実施の形態に係る機器データベース101Dのデータ構造を示すイメージ図である。図8を参照して、機器データベース101Dは、機器毎に、機器ID、機器名、第1の制御命令を実行するための確度、対応するカメラのID、特定データの種類あるいは特定データのアドレス、類似度が確度以上である場合に採用される第1の制御命令、類似度が確度未満である場合に採用される第2の制御命令を格納する。
【0096】
たとえば、玄関の鍵200Aに関しては、ユーザを認識し易いというメリットよりもユーザを誤認識するデメリットの方が大きいため、対応する確度が高く設定されている。一方、リビングルームの照明200Dは、ユーザを誤認識するデメリットよりもユーザを認識し易いというメリットの方が大きいため、対応する確度が低く設定されている。
【0097】
次に、CPU110の動作について説明する。CPU110は、メモリ101に格納されている制御プログラムに従って、以下のように動作する。
【0098】
CPU110は、通信インターフェイス105を介して、カメラ300から撮影画像を受信する。CPU110は、撮影画像に含まれる人物の顔画像に基づいて、特徴量データ(取得特定データ)を作成する。
【0099】
CPU110は、メモリ101から、ユーザ毎の特徴量データ(記憶特定データ101A)を読み出す。CPU110は、ユーザ毎に、記憶特定データと取得特定データとの類似度(確度)を計算する。
【0100】
CPU110は、機器データベース101Dを参照して、カメラ300に対応する少なくとも1つの機器200と当該機器200に対応する確度とを特定する。CPU110は、少なくとも1つの機器200毎に以下の動作を実行する。
【0101】
CPU110は、取得特定データに最も類似する記憶特定データと当該取得特定データとの類似度が機器200に対応する確度以上であるか否かを判断する。類似度が機器200の確度以上である場合、CPU110は、機器データベース101Dから、機器200に対応する第1の制御命令を読み出す。CPU110は、通信インターフェイス105を介して、機器200に第1の制御命令を送信する。
【0102】
一方、類似度が機器200の確度未満である場合、CPU110は、機器データベース101Dから、機器200に対応する第2の制御命令を読み出す。CPU110は、通信インターフェイス105を介して、機器200に第2の制御命令を送信する。
【0103】
ただし、類似度が機器200の確度未満である場合、CPU110は、当該機器200に制御命令を送信しなくてもよい。すなわち、CPU110は、機器200に関して、カメラ300からのデータを無視してもよい。すなわち、機器データベース101Dは、第2の制御命令を格納しなくてもよい。
【0104】
<機器200の構成>
本実施の形態に係るテレビ200Cなどの機器200の構成は、図5に示す実施の形態1のそれと同様であるため、ここでは説明を繰り返さない。
【0105】
<カメラ300の構成>
本実施の形態に係るカメラ300の構成は、図6に示す実施の形態1のそれと同様であるため、ここでは説明を繰り返さない。
【0106】
<コントローラ100における制御処理>
次に、本実施の形態に係るコントローラ100における制御処理について説明する。図9は、本実施の形態に係るコントローラ100における制御処理の処理手順を示すフローチャートである。
【0107】
図9を参照して、CPU110は、通信インターフェイス105を介して、カメラ300から撮影画像を受信したか否かを判断する(ステップS202)。CPU110は、撮影画像を受信していない場合(ステップS202においてNOである場合)、ステップS202の処理を実行する。
【0108】
CPU110は、撮影画像を受信した場合(ステップS202においてYESである場合)、撮影画像に少なくとも1つの顔が含まれているか否か(撮影画像から顔画像データを作成できるか否か)を判断する(ステップS204)。撮影画像に顔が含まれていない場合(ステップS204においてNOである場合)、ステップS202からの処理を実行する。
【0109】
CPU110は、撮影画像に顔が含まれている場合(ステップS204においてYESである場合)、機器データベース101Bを参照して、カメラ300に対応する機器200を特定する(ステップS206)。CPU110は、メモリ101の変数Nにカメラに対応する機器200の個数を入れる(ステップS208)。
【0110】
CPU110は、撮影画像から取得特定データを作成する。CPU110は、ユーザ毎に、取得特定データと記憶特定データ101Aとを比較する。CPU110は、取得特定データとの類似度が最も高い記憶特定データに対応するユーザIDと、当該類似度とをメモリ101に一時的に記憶する(ステップS210)。CPU110は、メモリ101の変数nに1を入れる(ステップS212)。
【0111】
CPU110は、機器データベース101Bから、カメラ300に対応する機器200のうちのn番目の機器200の確度を読み出す。CPU110は、最も高い類似度がn番目の機器の確度以上であるか否かを判断する(ステップS214)。最も高い類似度がn番目の機器の確度以上でない場合(ステップS214においてNOである場合)、CPU110は、機器データベース101Dから、n番目の機器200に対応する第2の制御命令を読み出す。CPU110は、通信インターフェイス105を介して、第2の制御命令を送信する(ステップS216)。CPU110は、ステップS220からの処理を実行する。
【0112】
最も高い類似度がn番目の機器の確度以上である場合、CPU110は、機器データベース101Dから、n番目の機器200に対応する第1の制御命令を読み出す。CPU110は、通信インターフェイス105を介して、第1の制御命令を送信する(ステップS218)。CPU110は、変数nをインクリメントする(ステップS222)。CPU110は、変数nがNよりも大きいか否かを判断する(ステップS224)。
【0113】
CPU110は、変数nがN以下である場合(ステップS224においてNOである場合)、ステップS214からの処理を繰り返す。一方、CPU110は、変数nがNよりも大きい場合(ステップS224においてYESである場合)、ステップS202からの処理を繰り返す。
【0114】
<その他の実施の形態>
本発明は、コントローラ100としての、携帯電話や機器制御専用の端末などにプログラムを供給することによって達成される場合にも適用できることはいうまでもない。そして、本発明を達成するためのソフトウェアによって表されるプログラムを格納した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、本発明の効果を享受することが可能となる。
【0115】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【0116】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)などが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【0117】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【0118】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0119】
1 ネットワークシステム、100 コントローラ、101,201,301 メモリ、101A 記憶特定データ、101B,101D 機器データベース、101C ユーザデータベース、102,202 ディスプレイ、103 タブレット、104,204 ボタン、105,205,305 通信インターフェイス、106 タッチパネル、107,207 スピーカ、108 時計、110,210,310 CPU、200 機器、200A,200F 鍵、200B,200D,200G 照明、200C テレビ、200E エアコン、209 リモコン受信部、300,300A,300B,300C,300D カメラ、302 センサ、400 ネットワーク。

【特許請求の範囲】
【請求項1】
人物を撮影するための少なくとも1つのカメラと、
制御命令に応じて動作する複数の機器と、
コントローラとを備え、前記コントローラは、
前記少なくとも1つのカメラと前記複数の機器と通信するための通信インターフェイスと、
人物を特定するための情報を記憶し、前記複数の機器の各々に対応付けて確度と第1の制御命令とを記憶するメモリと、
プロセッサとを含み、前記プロセッサは、
前記通信インターフェイスを介して前記少なくとも1つのカメラから人物を含む画像を受信し、
前記複数の機器毎に、前記画像に含まれる人物が前記情報によって特定される人物である確度が前記機器に対応する前記確度以上である場合に、前記通信インターフェイスを介して前記機器に対応する前記第1の制御命令を前記機器へと送信する、ネットワークシステム。
【請求項2】
前記メモリは、前記第1の制御命令を前記人物を特定するための情報に対応付けて記憶し、
前記プロセッサは、前記複数の機器毎に、前記画像に含まれる人物が前記情報によって特定される人物である確度が前記機器に対応する前記確度以上である場合に、前記通信インターフェイスを介して前記機器と前記人物を特定するための情報とに対応する前記第1の制御命令を前記機器へと送信する、請求項1に記載のネットワークシステム。
【請求項3】
前記少なくとも1つのカメラは複数のカメラを含み、
前記メモリは、前記複数のカメラと前記複数の機器との対応関係を記憶し、
前記プロセッサは、前記複数の機器のうちの前記人物を含む画像を送信したカメラに対応する機器毎に、前記画像に含まれる人物が前記情報によって特定される人物である確度が前記機器に対応する前記確度以上である場合に、前記通信インターフェイスを介して前記機器に対応する前記第1の制御命令を前記機器へと送信する、請求項1または2に記載のネットワークシステム。
【請求項4】
前記人物を特定するための情報は、前記複数のカメラから得られる複数の画像から作成される特徴量を含む、請求項3に記載のネットワークシステム。
【請求項5】
前記メモリは、前記複数の機器の少なくともいずれかに対応付けて第2の制御命令を記憶し、
前記プロセッサは、前記複数の機器毎に、前記画像に含まれる人物が前記情報によって特定される人物である確度が前記機器に対応する前記確度未満である場合に、前記通信インターフェイスを介して前記機器に対応する前記第2の制御命令を前記機器へと送信する、請求項1から4のいずれか1項に記載のネットワークシステム。
【請求項6】
少なくとも1つのカメラと、複数の機器と、人物を特定するための情報を記憶するとともに前記複数の機器の各々に対応付けて確度と第1の制御命令とを記憶するコントローラと、を含むネットワークシステムにおける機器の制御方法であって、
前記少なくとも1つのカメラが、人物を撮影するステップと、
前記コントローラが、前記少なくとも1つのカメラから人物を含む画像を受信するステップと、
前記コントローラが、前記複数の機器毎に、前記画像に含まれる人物が前記情報によって特定される人物である確度が前記機器に対応する前記確度以上である場合に、前記機器に対応する前記第1の制御命令を前記機器へと送信するステップと、
前記機器が、前記第1の制御命令に応じて動作するステップとを備える、機器の制御方法。
【請求項7】
少なくとも1つのカメラと複数の機器と通信するための通信インターフェイスと、
人物を特定するための情報を記憶するとともに前記複数の機器の各々に対応付けて確度と第1の制御命令とを記憶するメモリと、
プロセッサとを含み、前記プロセッサは、
前記通信インターフェイスを介して前記少なくとも1つのカメラから人物を含む画像を受信し、
前記複数の機器毎に、前記画像に含まれる人物が前記情報によって特定される人物である確度が前記機器に対応する前記確度以上である場合に、前記通信インターフェイスを介して前記機器に対応する前記第1の制御命令を前記機器へと送信する、コントローラ。
【請求項8】
通信インターフェイスと、人物を特定するための情報を記憶するとともに複数の機器の各々に対応付けて確度と第1の制御命令とを記憶するメモリと、プロセッサと、を含むコントローラにおける機器の制御方法であって、
前記プロセッサが、前記通信インターフェイスを介して前記少なくとも1つのカメラから人物を含む画像を受信するステップと、
前記プロセッサが、前記複数の機器毎に、前記画像に含まれる人物が前記情報によって特定される人物である確度が前記機器に対応する前記確度以上である場合に、前記通信インターフェイスを介して前記機器に対応する前記第1の制御命令を前記機器へと送信するステップとを備える、機器の制御方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate


【公開番号】特開2012−226435(P2012−226435A)
【公開日】平成24年11月15日(2012.11.15)
【国際特許分類】
【出願番号】特願2011−91192(P2011−91192)
【出願日】平成23年4月15日(2011.4.15)
【特許番号】特許第5059211号(P5059211)
【特許公報発行日】平成24年10月24日(2012.10.24)
【出願人】(000005049)シャープ株式会社 (33,933)
【Fターム(参考)】