機器制御装置、その方法、及び、そのプログラム
【課題】制御対象機器を簡単に制御でき、ユーザの負担を軽減できる機器制御装置を提供する。
【解決手段】取得した画像から制御対象機器１００の画像特徴量を認識し、制御対象機器１００の画像特徴量と登録機器の画像特徴量との類似度を算出し、前記類似度が類似することを示す場合の画像特徴量に対応した登録機器を、制御対象機器１００として特定し、特定された制御対象機器１００の制御情報を呼び出し、制御対象機器１００を制御する。
【解決手段】取得した画像から制御対象機器１００の画像特徴量を認識し、制御対象機器１００の画像特徴量と登録機器の画像特徴量との類似度を算出し、前記類似度が類似することを示す場合の画像特徴量に対応した登録機器を、制御対象機器１００として特定し、特定された制御対象機器１００の制御情報を呼び出し、制御対象機器１００を制御する。
【発明の詳細な説明】
【技術分野】
【０００１】
本実施形態は、機器制御装置、その方法、及び、そのプログラムに関するものである。
【背景技術】
【０００２】
エアコン、テレビ、照明器具などの家電機器やその他の機器（以下、「制御対象機器」という）を遠隔制御するための機器制御装置としてマルチリモコンが普及している。しかし、従来のマルチリモコンでは、機器一覧の中から制御する制御対象機器をユーザが選択する必要があり、ユーザの負担が大きかった。
【０００３】
そのため、制御対象機器から発信されるビーコンの情報などを用いて、ユーザが制御したい制御対象機器の特定を行っているマルチリモコンがある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−６１２４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、上記マルチリモコンに関して、制御対象機器からのビーコンの精度では、制御対象機器と、その近くにある機器との区別ができないという問題点があった。
【０００６】
そこで本実施形態は、上記問題点に鑑み、ユーザが制御対象機器を簡単に制御でき、その負担を軽減できる機器制御装置、その方法、及び、そのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本実施形態は、制御を行うために登録する機器である登録機器の識別情報、画像特徴量、制御情報とを対応付けて登録する登録部と、制御を行う対象の機器である制御対象機器が写った画像を取得する画像取得部と、（１）前記画像から前記制御対象機器の前記画像特徴量を認識し、（２）前記制御対象機器の前記画像特徴量と前記登録機器の前記画像特徴量との類似度を算出し、（３）前記類似度が類似することを示す場合の前記画像特徴量に対応した前記登録機器を、前記制御対象機器として特定する認識部と、特定された前記制御対象機器の前記制御情報を前記登録部から呼び出し、前記制御対象機器を制御する制御部と、を有する機器制御装置である。
【図面の簡単な説明】
【０００８】
【図１】実施形態１に係る機器制御装置のブロック図。
【図２】機器制御装置の第１のフローチャート。
【図３】機器制御装置の第２のフローチャート。
【図４】機器制御装置の画像特徴量の抽出方法を示す第１の図。
【図５】機器制御装置の画像特徴量の抽出方法を示す第２の図。
【図６】制御対象機器を登録モードにおける説明図。
【図７】制御対象機器を制御モードにおける説明図。
【図８】制御対象機器の選択方法を示す説明図。
【図９】実施形態２に係る情報表示メニューを示す図。
【図１０】機器制御装置のフローチャート。
【発明を実施するための形態】
【０００９】
一実施形態の機器制御装置１０について図面に基づいて説明する。
【実施形態１】
【００１０】
実施形態１の機器制御装置１０について図１から図８に基づいて説明する。
【００１１】
機器制御装置１０は、制御対象機器１００の登録モードと制御モードの２つのモードを有する。「登録モード」とは、機器の画像を撮像して、この機器を制御対象機器１０として登録するモードである。また、「制御モード」とは、画像に写っている制御対象機器１００に関する制御情報を予め登録した情報から呼び出し、この制御情報に基づいて制御対象機器１００を制御するモードである。なお、図中では、制御対象機器１００としてはエアコンで説明する。
【００１２】
機器制御装置１０の構成について図１に基づいて説明する。図１は機器制御装置１０を示すブロック図である。
【００１３】
機器制御装置１０は、撮像部１２、操作部１４、表示部１６、認識部１８、選択部２０、制御部２２、登録部２４を有する。機器制御装置１０は、例えば、ユーザに対して動画像を提示する液晶パネルなどの表示部１６、この表示部１６に設けられたタッチパネルである操作部１４、動画像を撮像する撮像部１２とを、一つの板状のケースに搭載した携帯型端末（例えば、タブレット型携帯端末、スマートフォンなどである）の形態を有している。
【００１４】
撮像部１２は、イメージセンサなどの撮像素子を用いて、時系列の画像（動画像）を撮像する。
【００１５】
操作部１４は、制御対象機器１００の制御時や登録時に、ユーザの入力を処理する。操作部１４は、例えば、上記したように表示部１６に設けられたタッチパネルである。
【００１６】
表示部１６は、液晶パネルなどより構成され、撮像部１２で撮像した画像、制御対象機器１００の登録時や制御時に必要な制御情報、制御対象機器１００の認識状況などを表示する。
【００１７】
認識部１８は、制御モードにおいて、撮像部１２で撮像された画像中に存在するテレビ、エアコン、照明器具などの制御対象機器１００を認識する。認識部１８が、画像中に制御対象機器１００が存在するか存在しないかを認識するには、画像の画像特徴量を抽出し、抽出した画像特徴量と、登録部２５に予め登録されている機器（以下、「登録機器」という）の画像特徴量との類似度を算出し、この類似度が閾値以上か否かで認識する。画像特徴量を抽出する方法としては、例えば、ＨｏＧ特徴量、ＳＩＦＴ特徴量などのように画素間の輝度差から画像特徴量を抽出する方法がある。
【００１８】
しかし、他の抽出方法としては、図３に示すように、画像の一定領域中の輝度の合計を算出し、領域間の輝度差から画像特徴量を抽出する方法である。この抽出方法であると、画素間の輝度差から画像特徴量を抽出する方法に比べて、制御対象機器１００の見え方の変化にロバストになる。領域間の輝度差から画像特徴量を抽出するには、例えば次の方法で抽出する。
【００１９】
第１の処理として、認識部１８は、図４に示すように、画像中のサンプリング点Ｐの周辺から複数の領域Ａ〜Ｈを選択し、各領域Ａ〜Ｈの輝度の合計を得る。サンプリング点Ｐは、図５に示すように、グリッドサンプリングを用いてもよいし、ＤｏＧ（Difference of Gaussian）の極値を用いてもよい。領域は矩形であって、例えば、サンプリング点Ｐの上領域Ａ、下領域Ｂ、左領域Ｃ、右領域Ｄ、左上領域Ｅ、右上領域Ｆ、左下領域Ｇ、左下領域Ｈを選択する。なお、この領域は、機器本体だけでなく、機器の背景の部分にも設定してもよい。
【００２０】
第２の処理として、認識部１８は、各領域Ａ〜Ｈの輝度の合計の重み付き和から、サンプリング点Ｐの輝度差を得る。各領域Ａ〜Ｈの輝度の合計の重みは、ｙ方向の輝度差を求める場合は、例えば、サンプリング点Ｐの上領域Ａを２、下領域Ｂを−２、左領域Ｃを０、右領域Ｄを０、左上領域Ｅを１、右上領域Ｆを１、左下領域Ｇを−１、右下領域Ｈを−１とする。ｘ方向の輝度差を求める場合は、サンプリング点Ｐの上領域Ａを０、下領域Ｂを０、左領域Ｃを２、右領域Ｄを−２、左上領域Ｅを１、右上領域Ｆを−１、左下領域Ｇを１、右下領域Ｈを−１とする。
【００２１】
第３の処理として、認識部１８は、サンプリング点Ｐの輝度差から、サンプリング点Ｐの輝度方向を判定する。サンプリング点Ｐの輝度方向は、上下左右の４方向、斜め４方向を加えた８方向、又は、方向無し（輝度差なし）を加えた５方向（９方向）でもよい。サンプリング点Ｐの輝度方向の判定は、例えば次の判定方法がある。
【００２２】
第１の判定方法は、ｘ方向の輝度差やｙ方向の輝度差と０との大小から判定する方法である。
【００２３】
第２の判定方法は、ｘ方向の輝度差とｙ方向の輝度差との大小から判定する方法である。
【００２４】
第３の判定方法は、ｘ方向の輝度差やｙ方向の輝度差の絶対値の大きさで判定する方法である。
【００２５】
第４の判定方法は、ｘ方向の輝度差とｙ方向の輝度差から求めた輝度の角度から判定する方法である。
【００２６】
第５の判定方法は、第１〜第４の判定方法を組み合わせて判定する方法である。
【００２７】
第４の処理として、認識部１８は、サンプリング点Ｐの輝度差方向のヒストグラムを一つ以上作成する。ヒストグラムは次の方法で作成する。
【００２８】
第１の作成方法は、全てのサンプリング点Ｐから輝度方向のヒストグラムを一つ作成する。
【００２９】
第２の作成方法は、画像を一定領域毎に分割し、各領域内のサンプリング点Ｐから輝度方向のヒストグラムを作成することで、複数個のヒストグラムを作成する。
【００３０】
第５の処理として、認識部１８は、作成したヒストグラムを画像特徴量として抽出する。
【００３１】
認識部１８は、抽出した画像特徴量と登録部２４に登録されている登録機器の画像特徴量との類似度を、ＳＳＤ（Sum of Squared Difference）、ＳＡＤ（Sum of Absolute Difference）、又は、正規化相互相関などを用いて算出する。なお、この類似度は抽出した画像特徴量と登録機器の画像特徴量とが類似するほどに高い値となる。
【００３２】
認識部１８は、制御対象機器１００の認識状況をユーザに分かりやすく提示するために、制御対象機器１００を認識しているときは、図７（ａ）に示すように表示部１６の画像上であって認識された制御対象機器１００上に認識マークであるアイコン１０２を表示する。
【００３３】
また、認識部１８は、登録モードにおいて、登録したい機器を撮像部１２で撮像した後、この画像から機器の画像特徴量を上記と同様の方法で抽出する。
【００３４】
選択部２０は、登録モードにおいて、撮像した機器を登録機器として登録部２４に登録するときに、撮像した機器の種類を選択する。登録機器の種類とは、登録機器の識別情報であり、テレビ、エアコンなどの家電機器の型番、又は、製造番号である。
【００３５】
ユーザは、撮像した機器は、図８に示すように機器一覧から選択する。この機器一覧の情報は、機器制御装置１０内に予め登録されている。機器一覧は、登録機器の識別情報と制御情報が対応付けて登録されている。制御情報とは、例えば、テレビ、エアコンなどの機器の制御に必要な赤外線や無線通信のパケット内容、又は、制御に必要なボタンやスライドバーに関する制御パネル１１０の情報である。
【００３６】
選択部２０は、機器を選択するときに、撮像した機器の画像を分かりやすくユーザに提示するために、図６に示すように、登録パネル１０６と登録ボタン１０７を表示すると共に、撮像部１２での撮像を一時停止し、撮像された機器の画像を表示し続ける。
【００３７】
登録部２４は、認識部１８で抽出した登録したい機器の画像特徴量、選択部２０で選択した機器の種類と制御情報を対応付けて、登録機器として登録する。
【００３８】
なお、登録部２４は、登録機器の識別情報、画像特徴量、制御情報の一部又は全部を削除でき、また、変更も可能であり、さらに、登録機器に関する画像特徴量と制御情報を新たに加えることもできる。すなわち、ユーザが、図７（ｂ）に示す確認パネル１１３における登録／変更ボタン１１３を押し、図７（ｃ）に示すように、登録／変更パネル１１７における削除ボタン１１８、変更ボタン１１９を押して、上記のような変更や削除を行う。
【００３９】
制御部２２は、認識部１８で認識した制御対象機器１００を制御するリモコンとしての役割を行う。すなわち、図７に示すように、認識部１８が制御対象機器１００を認識しているときに、ユーザによって決定ボタン１０４が押されると、制御パネル１１０を表示し、制御部２２は、制御対象機器１００に対応した登録機器の制御情報を登録部２４から呼び出し、その制御パネル１１０を表示部１６に表示し、操作部１４の制御に対応した操作を制御対象機器１００に対して行う。
【００４０】
画像上に制御対象機器１００が複数ある場合は、制御部２２は、画像の中心付近の制御対象機器１００を制御対象とする。しかし、制御部２２は、画像の中から制御対象機器１００をユーザが選ぶことができるように選択肢を表示部１６に表示してもよい。
【００４１】
制御部２２は、制御対象機器１００を制御するときに、撮像した制御対象機器１００の画像を分かりやすくユーザに提示するために、撮像部１２での撮像を一時停止し、撮像された制御対象機器１００の画像を表示し続ける。
【００４２】
次に、機器制御装置１０の動作状態について、図２と図３のフローチャートに基づいて説明する。
【００４３】
図２に示すように、ステップＳ００１において、ユーザが、機器制御装置１０の撮像部１２を機器に向けて、この機器を撮像し、表示部１６が撮像された機器を表示し、ステップＳ００２に進む。
【００４４】
ステップＳ００２において、認識部１８が、撮像した画像から機器の画像特徴量を抽出し、ステップＳ００３に進む。
【００４５】
ステップＳ００３において、認識部１８が、抽出した機器の画像特徴量と、登録部２４に予め登録されている登録機器の画像特徴量との類似度を算出し、ステップＳ００４に進む。
【００４６】
ステップＳ００４において、認識部１８は、類似度が閾値以上の場合（すなわち、類似度が類似することを示す場合）にはステップＳ０１４に進んで制御モードに入り（Ｙの場合、図３に移行）、類似度が閾値未満の場合（すなわち、類似度が類似することを示さない場合）にはステップＳ００５に進み登録モードに入る（Ｎの場合）。
【００４７】
ステップＳ００５において、登録モードであるため、図６（ａ）に示すように、選択部２０が表示部１６に決定ボタン１０４を表示し、この決定ボタン１０４がユーザの指により押されればステップＳ００６に進み（Ｙの場合）、決定ボタン１０４が押されなければ処理を終了する（Ｎの場合）。
【００４８】
ステップＳ００６において、図６（ａ）に示すように、選択部２０が、表示部１６に表示されている画像を静止させ、ステップＳ００７に進む。
【００４９】
ステップＳ００７において、選択部２０は、決定ボタン１０４を指で押さえているユーザがその指を離せばステップＳ００８に進み（Ｙの場合）、決定ボタン１０４を引き続き押した状態であればステップＳ００７を継続する（Ｎの場合）。
【００５０】
ステップＳ００８において、図６（ｂ）に示すように、選択部２０は、確認パネル１０５を表示した後、図６（ｃ）に示すように登録パネル１０６を表示部１６に表示し、ステップＳ００９に進む。
【００５１】
ステップＳ００９において、選択部２０は、登録パネル１０６中の登録ボタン１０７が押されればステップＳ０１０に進み（Ｙの場合）、登録ボタン１０７が押されていなければステップＳ００９を継続する。
【００５２】
ステップＳ０１０において、選択部２０は、機器一覧を取得して、図８に示すように表示部１６に機器一覧を表示し、ステップＳ０１１に進む。
【００５３】
ステップＳ０１１において、選択部２０が表示した機器一覧の中からユーザが登録したい画像中の機器を選択すると、ステップＳ０１２に進む。
【００５４】
ステップＳ０１２において、選択部２０は、撮像した機器の画像特徴量と、選択した機器の種類と制御情報を関連付けて登録機器として、登録部２４に登録し、ステップＳ０１３に進む。
【００５５】
ステップＳ０１３において、選択部２０は、撮像部１２を用いて画像の撮像を再開して表示部１６に表示し、登録モードを終了する。
【００５６】
図３に示すように、ステップＳ０１４において、制御モードであるため、制御部２２は、図７（ａ）に示すように、表示部１６に表示している制御対象機器１００上にアイコン１０４を重畳表示し、また、決定ボタン１０４も表示する。そしてステップＳ０１５に進む。
【００５７】
ステップＳ０１５において、制御部２２は、ユーザによって決定ボタン１０４が押されればステップＳ０１６に進み（Ｙの場合）、決定ボタン１０４が押されなければ制御モードを終了する（Ｎの場合）。
【００５８】
ステップＳ０１６において、制御部２２は、表示部１６で表示している画像を静止させ、ステップＳ０１７に進む。
【００５９】
ステップＳ０１７において、ユーザが決定ボタン１０４から指を離せばステップＳ０１８に進み（Ｙの場合）、決定ボタン１０４から離さなければステップＳ０１７を継続する。
【００６０】
ステップＳ０１８において、制御部２２は、認識部１８が認識した制御対象機器１００の中で最も画像の中心付近の制御対象機器１００を特定し、ステップＳ０１９に進む。
【００６１】
ステップＳ０１９において、制御部２２は、図７（ｂ）に示すように、特定した制御対象機器１００の制御パネル１１０を表示部１６に表示する。この場合に、制御対象機器１００の種類と制御情報は、類似度が閾値以上の登録機器が登録部２４に登録されているため、この登録機器に関する種類と制御情報を登録部２４から呼び出し、制御パネル１１０を表示する。そしてステップＳ０２０に進む。
【００６２】
ステップＳ０２０において、制御部２２は、ユーザによって制御パネル１１０の操作ボタン１１１が押されればステップＳ０２１に進み（Ｙの場合）、操作ボタン１１１が押されなければステップＳ０２４に進む（Ｎの場合）。
【００６３】
ステップＳ０２１において、制御対象機器１００の操作ボタン１１１が押されたため、制御部２２は、その制御内容に従って制御を行いステップＳ０２２に進む。
【００６４】
ステップＳ０２２において、制御部２２は、制御パネル１１０の終了ボタン１１２が押されればステップＳ０２３に進み（Ｙの場合）、終了ボタン１１２が押されなければステップＳ０２１に戻る。
【００６５】
ステップＳ０２３において、制御部２２は、撮像部１２を用いて画像の撮像を再開して表示部１６に表示し、制御モードを終了する。
【００６６】
ステップＳ０２４において、制御部２２は、終了ボタン１１２が押されれば終了し、終了ボタン１１２が押されなければステップＳ０２０に戻る。
【００６７】
本実施形態によると、制御対象機器１００を機器制御装置１０で撮像するだけで、簡単に制御対象機器１００を登録、及び、制御ができ、ユーザの負担を軽減できる。
【実施形態２】
【００６８】
実施形態２の機器制御装置１０について図９から図１０に基づいて説明する。
【００６９】
本実施形態の機器制御装置１０と、実施形態１の機器制御装置１０の異なる点は、制御部２２の機能にある。本実施形態の制御部２２は、認識部１８で認識した制御対象機器１００の制御に加えて、その制御対象機器１００の関連情報を取得することができる。
【００７０】
制御対象機器１００の「関連情報」とは、例えば、テレビで放送されている番組の概要、出演者の詳細、出演者の着ている服のブランド名、テレビで紹介されている店の場所、又は、テレビで紹介されている商品の購入方法などである。この関連情報は、テレビのＥＰＧ情報から収集してもよいし、ネットワークにアップロードされているＷｅｂ画面から収集してもよい。
【００７１】
本実施形態の機器制御装置１０の動作状態について図１０のフローチャートに基づいて説明する。
【００７２】
実施形態１と同様に、ユーザが図９（ａ）に示すように機器制御装置１０を制御対象機器１００にかざして、この機器を撮像して、次に、図９（ｂ）に示すように、機器制御装置１０が、この撮像した機器を認識した後に画像の左上に認識している制御対象機器１００を示すアイコン１０２を表示し制御モードに入る。この制御モードにおけるステップＳ００１〜Ｓ０２３までの処理は、実施形態１と同様であるため、その説明は省略する。
【００７３】
ステップＳ１２４において、制御部２２は、操作ボタン１１１が押されず、制御パネル１１０中の情報表示ボタン１１４が押されればステップＳ０２５に進み、情報表示ボタン１１４が押されなければステップＳ０２８に進む（図９（ｃ）参照）。
【００７４】
ステップＳ１２５において、情報表示ボタン１１４が押されたため制御部２２は、制御パネル１１０の代わりに情報表示メニュー１１５を表示し、ステップＳ０２６に進む（図９（ｄ）参照）。
【００７５】
ステップＳ１２６において、制御部２２は、情報表示メニュー１１５の中のメニューボタン（例えば、「服が気になるボタン」である）１１６が押されればステップＳ０２７に進み、メニューボタン１１６が押されなければステップＳ０２６を継続する。
【００７６】
ステップＳ１２７において、制御部２２は、押されたボタン１１６に関する表示部１６にＷｅｂ画面（関連情報）１２１を表示して終了する（図９（ｅ）参照）。
【００７７】
ステップＳ１２８において、操作ボタン１１１も押されず、情報表示ボタン１１４も押されないため、制御部２２は終了ボタン１１２が押されたか否かを判断し、終了ボタン１１２が押されればステップＳ１２９に進み、終了ボタン１１２が押されない場合にはステップＳ０２０に戻る。
【００７８】
ステップＳ１２９において、制御部２２は、撮像部１２を用いて画像の撮像を再開して表示部１６に表示し、終了する。
【００７９】
本実施形態によると、制御対象機器１００を機器制御装置１０で撮像するだけで、簡単に制御対象機器１００を登録、及び、制御ができ、その上、関連情報を簡単に取得でき、ユーザの負担を軽減できる。
【実施形態３】
【００８０】
実施形態３の機器制御装置１０について説明する。
【００８１】
本実施形態の機器制御装置１０の認識部１８は、画像特徴量による類似度の算出に加えて、機器制御装置１０に内蔵された加速度センサやジャイロセンサの情報を用いる。これにより、制御対象機器１００や登録機器の認識精度を向上することができる。
【００８２】
例えば、認識部１８が、登録モードにおける登録機器の登録時の加速度センサやジャイロセンサの値と、制御モードにおける制御対象機器１００の認識時の加速度センサやジャイロセンサの値とを比較し、これらセンサのセンサ類似度が閾値以下であれば、画像特徴量から求めた類似度にかかわらず、画像中に機器が存在しないと判断する。
【００８３】
上記センサ類似度としては、ＳＳＤ（Sum of Squared Difference）、ＳＡＤ（Sum of Absolute Difference）、又は、正規化相互相関などを用いて算出する。
【００８４】
例えば、機器制御装置１０が３軸の加速度センサを有している場合、認識部１８は、３軸の加速度センサの値全てを用いてセンサ類似度を算出してもよいし、一部の値のみを用いて類似度を算出する。
【００８５】
また、認識部１８は、画像特徴量から算出した類似度と、センサ類似度とを重み付き加算した値が閾値以上である場合、画像中に機器が存在すると判定し、閾値未満の場合、画像中に機器が存在しないと認識してもよい。
【実施形態４】
【００８６】
実施形態４の機器制御装置１０について説明する。
【００８７】
本実施形態では、ユーザが機器制御装置１０を操作しているとき以外は、画像の撮像や認識処理を行わないことで機器制御装置１０の使用電力を抑制する。
【００８８】
例えば、機器制御装置１０に内蔵された加速度センサやジャイロセンサを使って、機器制御装置１０の操作状態を判断できる。機器制御装置１０を床やクレイドルに置いた時のセンサの値と、現時点のセンサの値とのセンサ類似度が閾値以上であれば、ユーザは機器制御装置１０を操作していないと判断し、閾値未満であれば、ユーザは機器制御装置１０を操作していると判断できる。
【００８９】
なお、現時点のセンサの値ではなく、過去数秒間のセンサの値の平均から類似度を算出すれば、より安定した操作状態の認識が可能になる。
【変更例】
【００９０】
まず、上記実施形態の変更例１について説明する。
【００９１】
上記実施形態では、認識部２２が、（１）制御対象機器１００の画像特徴量と登録機器の画像特徴量から類似度を算出し、（２）この類似度が閾値より高い場合であっても、制御対象機器１００とは異なる登録機器を誤認識する場合がある。
【００９２】
そこで本変更例では、登録部２４は、誤認識した画像特徴量を登録機器に対応づけて登録し、新たな制御対象機器１００の画像特徴量と登録機器の画像特徴量から新たな類似度を算出する場合に、誤認識した画像特徴量を認識部２２に出力しないようにする。これにより、認識部２２による誤認識を減らすことができる。なお、誤認識したか否かは、図７（ｃ）に示すように、登録／変更パネル１１７における誤認識報告１２０をユーザが押すことにより誤認識であることとする。
【００９３】
次に、上記実施形態の変更例２について説明する。上記実施形態では、登録したい機器は、図８に示すように、機器一覧から選択してが、これに代えてビーコンや無線通信などを用いて機器の種類を特定してもよい。
【００９４】
次に、上記実施形態の変更例３について説明する。上記実施形態では、機器一覧の情報は、機器制御装置１０内に予め格納されていたが、ネットワークにアップロードされている機器一覧の情報をダウンロードしてもよいし、周辺の機器との無線通信によって取得してもよい。
【００９５】
なお、機器制御装置１０は、例えば、汎用のコンピュータを基本ハードウェアとして用いることでも実現することが可能である。すなわち、撮像部１２、操作部１４、表示部１６、認識部１８、選択部２０、制御部２２、登録部２４は、上記のコンピュータに搭載されたプロセッサにプログラムを実行させることにより実現できる。このとき、機器制御装置１０は、上記のプログラムをコンピュータに予めインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、又はネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータに適宜インストールすることで実現してもよい。例えば、機器制御装置１０が、スマートフォンであって、このスマートフォンに上記プログラムをサーバから配信してもよい。
【００９６】
上記では本発明の一実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の主旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００９７】
１０・・・機器制御装置、１２・・・撮像部、１４・・・操作部、１６・・・表示部、１８・・・認識部、２０・・・選択部、２２・・・制御部、２４・・・登録部
【技術分野】
【０００１】
本実施形態は、機器制御装置、その方法、及び、そのプログラムに関するものである。
【背景技術】
【０００２】
エアコン、テレビ、照明器具などの家電機器やその他の機器（以下、「制御対象機器」という）を遠隔制御するための機器制御装置としてマルチリモコンが普及している。しかし、従来のマルチリモコンでは、機器一覧の中から制御する制御対象機器をユーザが選択する必要があり、ユーザの負担が大きかった。
【０００３】
そのため、制御対象機器から発信されるビーコンの情報などを用いて、ユーザが制御したい制御対象機器の特定を行っているマルチリモコンがある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−６１２４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、上記マルチリモコンに関して、制御対象機器からのビーコンの精度では、制御対象機器と、その近くにある機器との区別ができないという問題点があった。
【０００６】
そこで本実施形態は、上記問題点に鑑み、ユーザが制御対象機器を簡単に制御でき、その負担を軽減できる機器制御装置、その方法、及び、そのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本実施形態は、制御を行うために登録する機器である登録機器の識別情報、画像特徴量、制御情報とを対応付けて登録する登録部と、制御を行う対象の機器である制御対象機器が写った画像を取得する画像取得部と、（１）前記画像から前記制御対象機器の前記画像特徴量を認識し、（２）前記制御対象機器の前記画像特徴量と前記登録機器の前記画像特徴量との類似度を算出し、（３）前記類似度が類似することを示す場合の前記画像特徴量に対応した前記登録機器を、前記制御対象機器として特定する認識部と、特定された前記制御対象機器の前記制御情報を前記登録部から呼び出し、前記制御対象機器を制御する制御部と、を有する機器制御装置である。
【図面の簡単な説明】
【０００８】
【図１】実施形態１に係る機器制御装置のブロック図。
【図２】機器制御装置の第１のフローチャート。
【図３】機器制御装置の第２のフローチャート。
【図４】機器制御装置の画像特徴量の抽出方法を示す第１の図。
【図５】機器制御装置の画像特徴量の抽出方法を示す第２の図。
【図６】制御対象機器を登録モードにおける説明図。
【図７】制御対象機器を制御モードにおける説明図。
【図８】制御対象機器の選択方法を示す説明図。
【図９】実施形態２に係る情報表示メニューを示す図。
【図１０】機器制御装置のフローチャート。
【発明を実施するための形態】
【０００９】
一実施形態の機器制御装置１０について図面に基づいて説明する。
【実施形態１】
【００１０】
実施形態１の機器制御装置１０について図１から図８に基づいて説明する。
【００１１】
機器制御装置１０は、制御対象機器１００の登録モードと制御モードの２つのモードを有する。「登録モード」とは、機器の画像を撮像して、この機器を制御対象機器１０として登録するモードである。また、「制御モード」とは、画像に写っている制御対象機器１００に関する制御情報を予め登録した情報から呼び出し、この制御情報に基づいて制御対象機器１００を制御するモードである。なお、図中では、制御対象機器１００としてはエアコンで説明する。
【００１２】
機器制御装置１０の構成について図１に基づいて説明する。図１は機器制御装置１０を示すブロック図である。
【００１３】
機器制御装置１０は、撮像部１２、操作部１４、表示部１６、認識部１８、選択部２０、制御部２２、登録部２４を有する。機器制御装置１０は、例えば、ユーザに対して動画像を提示する液晶パネルなどの表示部１６、この表示部１６に設けられたタッチパネルである操作部１４、動画像を撮像する撮像部１２とを、一つの板状のケースに搭載した携帯型端末（例えば、タブレット型携帯端末、スマートフォンなどである）の形態を有している。
【００１４】
撮像部１２は、イメージセンサなどの撮像素子を用いて、時系列の画像（動画像）を撮像する。
【００１５】
操作部１４は、制御対象機器１００の制御時や登録時に、ユーザの入力を処理する。操作部１４は、例えば、上記したように表示部１６に設けられたタッチパネルである。
【００１６】
表示部１６は、液晶パネルなどより構成され、撮像部１２で撮像した画像、制御対象機器１００の登録時や制御時に必要な制御情報、制御対象機器１００の認識状況などを表示する。
【００１７】
認識部１８は、制御モードにおいて、撮像部１２で撮像された画像中に存在するテレビ、エアコン、照明器具などの制御対象機器１００を認識する。認識部１８が、画像中に制御対象機器１００が存在するか存在しないかを認識するには、画像の画像特徴量を抽出し、抽出した画像特徴量と、登録部２５に予め登録されている機器（以下、「登録機器」という）の画像特徴量との類似度を算出し、この類似度が閾値以上か否かで認識する。画像特徴量を抽出する方法としては、例えば、ＨｏＧ特徴量、ＳＩＦＴ特徴量などのように画素間の輝度差から画像特徴量を抽出する方法がある。
【００１８】
しかし、他の抽出方法としては、図３に示すように、画像の一定領域中の輝度の合計を算出し、領域間の輝度差から画像特徴量を抽出する方法である。この抽出方法であると、画素間の輝度差から画像特徴量を抽出する方法に比べて、制御対象機器１００の見え方の変化にロバストになる。領域間の輝度差から画像特徴量を抽出するには、例えば次の方法で抽出する。
【００１９】
第１の処理として、認識部１８は、図４に示すように、画像中のサンプリング点Ｐの周辺から複数の領域Ａ〜Ｈを選択し、各領域Ａ〜Ｈの輝度の合計を得る。サンプリング点Ｐは、図５に示すように、グリッドサンプリングを用いてもよいし、ＤｏＧ（Difference of Gaussian）の極値を用いてもよい。領域は矩形であって、例えば、サンプリング点Ｐの上領域Ａ、下領域Ｂ、左領域Ｃ、右領域Ｄ、左上領域Ｅ、右上領域Ｆ、左下領域Ｇ、左下領域Ｈを選択する。なお、この領域は、機器本体だけでなく、機器の背景の部分にも設定してもよい。
【００２０】
第２の処理として、認識部１８は、各領域Ａ〜Ｈの輝度の合計の重み付き和から、サンプリング点Ｐの輝度差を得る。各領域Ａ〜Ｈの輝度の合計の重みは、ｙ方向の輝度差を求める場合は、例えば、サンプリング点Ｐの上領域Ａを２、下領域Ｂを−２、左領域Ｃを０、右領域Ｄを０、左上領域Ｅを１、右上領域Ｆを１、左下領域Ｇを−１、右下領域Ｈを−１とする。ｘ方向の輝度差を求める場合は、サンプリング点Ｐの上領域Ａを０、下領域Ｂを０、左領域Ｃを２、右領域Ｄを−２、左上領域Ｅを１、右上領域Ｆを−１、左下領域Ｇを１、右下領域Ｈを−１とする。
【００２１】
第３の処理として、認識部１８は、サンプリング点Ｐの輝度差から、サンプリング点Ｐの輝度方向を判定する。サンプリング点Ｐの輝度方向は、上下左右の４方向、斜め４方向を加えた８方向、又は、方向無し（輝度差なし）を加えた５方向（９方向）でもよい。サンプリング点Ｐの輝度方向の判定は、例えば次の判定方法がある。
【００２２】
第１の判定方法は、ｘ方向の輝度差やｙ方向の輝度差と０との大小から判定する方法である。
【００２３】
第２の判定方法は、ｘ方向の輝度差とｙ方向の輝度差との大小から判定する方法である。
【００２４】
第３の判定方法は、ｘ方向の輝度差やｙ方向の輝度差の絶対値の大きさで判定する方法である。
【００２５】
第４の判定方法は、ｘ方向の輝度差とｙ方向の輝度差から求めた輝度の角度から判定する方法である。
【００２６】
第５の判定方法は、第１〜第４の判定方法を組み合わせて判定する方法である。
【００２７】
第４の処理として、認識部１８は、サンプリング点Ｐの輝度差方向のヒストグラムを一つ以上作成する。ヒストグラムは次の方法で作成する。
【００２８】
第１の作成方法は、全てのサンプリング点Ｐから輝度方向のヒストグラムを一つ作成する。
【００２９】
第２の作成方法は、画像を一定領域毎に分割し、各領域内のサンプリング点Ｐから輝度方向のヒストグラムを作成することで、複数個のヒストグラムを作成する。
【００３０】
第５の処理として、認識部１８は、作成したヒストグラムを画像特徴量として抽出する。
【００３１】
認識部１８は、抽出した画像特徴量と登録部２４に登録されている登録機器の画像特徴量との類似度を、ＳＳＤ（Sum of Squared Difference）、ＳＡＤ（Sum of Absolute Difference）、又は、正規化相互相関などを用いて算出する。なお、この類似度は抽出した画像特徴量と登録機器の画像特徴量とが類似するほどに高い値となる。
【００３２】
認識部１８は、制御対象機器１００の認識状況をユーザに分かりやすく提示するために、制御対象機器１００を認識しているときは、図７（ａ）に示すように表示部１６の画像上であって認識された制御対象機器１００上に認識マークであるアイコン１０２を表示する。
【００３３】
また、認識部１８は、登録モードにおいて、登録したい機器を撮像部１２で撮像した後、この画像から機器の画像特徴量を上記と同様の方法で抽出する。
【００３４】
選択部２０は、登録モードにおいて、撮像した機器を登録機器として登録部２４に登録するときに、撮像した機器の種類を選択する。登録機器の種類とは、登録機器の識別情報であり、テレビ、エアコンなどの家電機器の型番、又は、製造番号である。
【００３５】
ユーザは、撮像した機器は、図８に示すように機器一覧から選択する。この機器一覧の情報は、機器制御装置１０内に予め登録されている。機器一覧は、登録機器の識別情報と制御情報が対応付けて登録されている。制御情報とは、例えば、テレビ、エアコンなどの機器の制御に必要な赤外線や無線通信のパケット内容、又は、制御に必要なボタンやスライドバーに関する制御パネル１１０の情報である。
【００３６】
選択部２０は、機器を選択するときに、撮像した機器の画像を分かりやすくユーザに提示するために、図６に示すように、登録パネル１０６と登録ボタン１０７を表示すると共に、撮像部１２での撮像を一時停止し、撮像された機器の画像を表示し続ける。
【００３７】
登録部２４は、認識部１８で抽出した登録したい機器の画像特徴量、選択部２０で選択した機器の種類と制御情報を対応付けて、登録機器として登録する。
【００３８】
なお、登録部２４は、登録機器の識別情報、画像特徴量、制御情報の一部又は全部を削除でき、また、変更も可能であり、さらに、登録機器に関する画像特徴量と制御情報を新たに加えることもできる。すなわち、ユーザが、図７（ｂ）に示す確認パネル１１３における登録／変更ボタン１１３を押し、図７（ｃ）に示すように、登録／変更パネル１１７における削除ボタン１１８、変更ボタン１１９を押して、上記のような変更や削除を行う。
【００３９】
制御部２２は、認識部１８で認識した制御対象機器１００を制御するリモコンとしての役割を行う。すなわち、図７に示すように、認識部１８が制御対象機器１００を認識しているときに、ユーザによって決定ボタン１０４が押されると、制御パネル１１０を表示し、制御部２２は、制御対象機器１００に対応した登録機器の制御情報を登録部２４から呼び出し、その制御パネル１１０を表示部１６に表示し、操作部１４の制御に対応した操作を制御対象機器１００に対して行う。
【００４０】
画像上に制御対象機器１００が複数ある場合は、制御部２２は、画像の中心付近の制御対象機器１００を制御対象とする。しかし、制御部２２は、画像の中から制御対象機器１００をユーザが選ぶことができるように選択肢を表示部１６に表示してもよい。
【００４１】
制御部２２は、制御対象機器１００を制御するときに、撮像した制御対象機器１００の画像を分かりやすくユーザに提示するために、撮像部１２での撮像を一時停止し、撮像された制御対象機器１００の画像を表示し続ける。
【００４２】
次に、機器制御装置１０の動作状態について、図２と図３のフローチャートに基づいて説明する。
【００４３】
図２に示すように、ステップＳ００１において、ユーザが、機器制御装置１０の撮像部１２を機器に向けて、この機器を撮像し、表示部１６が撮像された機器を表示し、ステップＳ００２に進む。
【００４４】
ステップＳ００２において、認識部１８が、撮像した画像から機器の画像特徴量を抽出し、ステップＳ００３に進む。
【００４５】
ステップＳ００３において、認識部１８が、抽出した機器の画像特徴量と、登録部２４に予め登録されている登録機器の画像特徴量との類似度を算出し、ステップＳ００４に進む。
【００４６】
ステップＳ００４において、認識部１８は、類似度が閾値以上の場合（すなわち、類似度が類似することを示す場合）にはステップＳ０１４に進んで制御モードに入り（Ｙの場合、図３に移行）、類似度が閾値未満の場合（すなわち、類似度が類似することを示さない場合）にはステップＳ００５に進み登録モードに入る（Ｎの場合）。
【００４７】
ステップＳ００５において、登録モードであるため、図６（ａ）に示すように、選択部２０が表示部１６に決定ボタン１０４を表示し、この決定ボタン１０４がユーザの指により押されればステップＳ００６に進み（Ｙの場合）、決定ボタン１０４が押されなければ処理を終了する（Ｎの場合）。
【００４８】
ステップＳ００６において、図６（ａ）に示すように、選択部２０が、表示部１６に表示されている画像を静止させ、ステップＳ００７に進む。
【００４９】
ステップＳ００７において、選択部２０は、決定ボタン１０４を指で押さえているユーザがその指を離せばステップＳ００８に進み（Ｙの場合）、決定ボタン１０４を引き続き押した状態であればステップＳ００７を継続する（Ｎの場合）。
【００５０】
ステップＳ００８において、図６（ｂ）に示すように、選択部２０は、確認パネル１０５を表示した後、図６（ｃ）に示すように登録パネル１０６を表示部１６に表示し、ステップＳ００９に進む。
【００５１】
ステップＳ００９において、選択部２０は、登録パネル１０６中の登録ボタン１０７が押されればステップＳ０１０に進み（Ｙの場合）、登録ボタン１０７が押されていなければステップＳ００９を継続する。
【００５２】
ステップＳ０１０において、選択部２０は、機器一覧を取得して、図８に示すように表示部１６に機器一覧を表示し、ステップＳ０１１に進む。
【００５３】
ステップＳ０１１において、選択部２０が表示した機器一覧の中からユーザが登録したい画像中の機器を選択すると、ステップＳ０１２に進む。
【００５４】
ステップＳ０１２において、選択部２０は、撮像した機器の画像特徴量と、選択した機器の種類と制御情報を関連付けて登録機器として、登録部２４に登録し、ステップＳ０１３に進む。
【００５５】
ステップＳ０１３において、選択部２０は、撮像部１２を用いて画像の撮像を再開して表示部１６に表示し、登録モードを終了する。
【００５６】
図３に示すように、ステップＳ０１４において、制御モードであるため、制御部２２は、図７（ａ）に示すように、表示部１６に表示している制御対象機器１００上にアイコン１０４を重畳表示し、また、決定ボタン１０４も表示する。そしてステップＳ０１５に進む。
【００５７】
ステップＳ０１５において、制御部２２は、ユーザによって決定ボタン１０４が押されればステップＳ０１６に進み（Ｙの場合）、決定ボタン１０４が押されなければ制御モードを終了する（Ｎの場合）。
【００５８】
ステップＳ０１６において、制御部２２は、表示部１６で表示している画像を静止させ、ステップＳ０１７に進む。
【００５９】
ステップＳ０１７において、ユーザが決定ボタン１０４から指を離せばステップＳ０１８に進み（Ｙの場合）、決定ボタン１０４から離さなければステップＳ０１７を継続する。
【００６０】
ステップＳ０１８において、制御部２２は、認識部１８が認識した制御対象機器１００の中で最も画像の中心付近の制御対象機器１００を特定し、ステップＳ０１９に進む。
【００６１】
ステップＳ０１９において、制御部２２は、図７（ｂ）に示すように、特定した制御対象機器１００の制御パネル１１０を表示部１６に表示する。この場合に、制御対象機器１００の種類と制御情報は、類似度が閾値以上の登録機器が登録部２４に登録されているため、この登録機器に関する種類と制御情報を登録部２４から呼び出し、制御パネル１１０を表示する。そしてステップＳ０２０に進む。
【００６２】
ステップＳ０２０において、制御部２２は、ユーザによって制御パネル１１０の操作ボタン１１１が押されればステップＳ０２１に進み（Ｙの場合）、操作ボタン１１１が押されなければステップＳ０２４に進む（Ｎの場合）。
【００６３】
ステップＳ０２１において、制御対象機器１００の操作ボタン１１１が押されたため、制御部２２は、その制御内容に従って制御を行いステップＳ０２２に進む。
【００６４】
ステップＳ０２２において、制御部２２は、制御パネル１１０の終了ボタン１１２が押されればステップＳ０２３に進み（Ｙの場合）、終了ボタン１１２が押されなければステップＳ０２１に戻る。
【００６５】
ステップＳ０２３において、制御部２２は、撮像部１２を用いて画像の撮像を再開して表示部１６に表示し、制御モードを終了する。
【００６６】
ステップＳ０２４において、制御部２２は、終了ボタン１１２が押されれば終了し、終了ボタン１１２が押されなければステップＳ０２０に戻る。
【００６７】
本実施形態によると、制御対象機器１００を機器制御装置１０で撮像するだけで、簡単に制御対象機器１００を登録、及び、制御ができ、ユーザの負担を軽減できる。
【実施形態２】
【００６８】
実施形態２の機器制御装置１０について図９から図１０に基づいて説明する。
【００６９】
本実施形態の機器制御装置１０と、実施形態１の機器制御装置１０の異なる点は、制御部２２の機能にある。本実施形態の制御部２２は、認識部１８で認識した制御対象機器１００の制御に加えて、その制御対象機器１００の関連情報を取得することができる。
【００７０】
制御対象機器１００の「関連情報」とは、例えば、テレビで放送されている番組の概要、出演者の詳細、出演者の着ている服のブランド名、テレビで紹介されている店の場所、又は、テレビで紹介されている商品の購入方法などである。この関連情報は、テレビのＥＰＧ情報から収集してもよいし、ネットワークにアップロードされているＷｅｂ画面から収集してもよい。
【００７１】
本実施形態の機器制御装置１０の動作状態について図１０のフローチャートに基づいて説明する。
【００７２】
実施形態１と同様に、ユーザが図９（ａ）に示すように機器制御装置１０を制御対象機器１００にかざして、この機器を撮像して、次に、図９（ｂ）に示すように、機器制御装置１０が、この撮像した機器を認識した後に画像の左上に認識している制御対象機器１００を示すアイコン１０２を表示し制御モードに入る。この制御モードにおけるステップＳ００１〜Ｓ０２３までの処理は、実施形態１と同様であるため、その説明は省略する。
【００７３】
ステップＳ１２４において、制御部２２は、操作ボタン１１１が押されず、制御パネル１１０中の情報表示ボタン１１４が押されればステップＳ０２５に進み、情報表示ボタン１１４が押されなければステップＳ０２８に進む（図９（ｃ）参照）。
【００７４】
ステップＳ１２５において、情報表示ボタン１１４が押されたため制御部２２は、制御パネル１１０の代わりに情報表示メニュー１１５を表示し、ステップＳ０２６に進む（図９（ｄ）参照）。
【００７５】
ステップＳ１２６において、制御部２２は、情報表示メニュー１１５の中のメニューボタン（例えば、「服が気になるボタン」である）１１６が押されればステップＳ０２７に進み、メニューボタン１１６が押されなければステップＳ０２６を継続する。
【００７６】
ステップＳ１２７において、制御部２２は、押されたボタン１１６に関する表示部１６にＷｅｂ画面（関連情報）１２１を表示して終了する（図９（ｅ）参照）。
【００７７】
ステップＳ１２８において、操作ボタン１１１も押されず、情報表示ボタン１１４も押されないため、制御部２２は終了ボタン１１２が押されたか否かを判断し、終了ボタン１１２が押されればステップＳ１２９に進み、終了ボタン１１２が押されない場合にはステップＳ０２０に戻る。
【００７８】
ステップＳ１２９において、制御部２２は、撮像部１２を用いて画像の撮像を再開して表示部１６に表示し、終了する。
【００７９】
本実施形態によると、制御対象機器１００を機器制御装置１０で撮像するだけで、簡単に制御対象機器１００を登録、及び、制御ができ、その上、関連情報を簡単に取得でき、ユーザの負担を軽減できる。
【実施形態３】
【００８０】
実施形態３の機器制御装置１０について説明する。
【００８１】
本実施形態の機器制御装置１０の認識部１８は、画像特徴量による類似度の算出に加えて、機器制御装置１０に内蔵された加速度センサやジャイロセンサの情報を用いる。これにより、制御対象機器１００や登録機器の認識精度を向上することができる。
【００８２】
例えば、認識部１８が、登録モードにおける登録機器の登録時の加速度センサやジャイロセンサの値と、制御モードにおける制御対象機器１００の認識時の加速度センサやジャイロセンサの値とを比較し、これらセンサのセンサ類似度が閾値以下であれば、画像特徴量から求めた類似度にかかわらず、画像中に機器が存在しないと判断する。
【００８３】
上記センサ類似度としては、ＳＳＤ（Sum of Squared Difference）、ＳＡＤ（Sum of Absolute Difference）、又は、正規化相互相関などを用いて算出する。
【００８４】
例えば、機器制御装置１０が３軸の加速度センサを有している場合、認識部１８は、３軸の加速度センサの値全てを用いてセンサ類似度を算出してもよいし、一部の値のみを用いて類似度を算出する。
【００８５】
また、認識部１８は、画像特徴量から算出した類似度と、センサ類似度とを重み付き加算した値が閾値以上である場合、画像中に機器が存在すると判定し、閾値未満の場合、画像中に機器が存在しないと認識してもよい。
【実施形態４】
【００８６】
実施形態４の機器制御装置１０について説明する。
【００８７】
本実施形態では、ユーザが機器制御装置１０を操作しているとき以外は、画像の撮像や認識処理を行わないことで機器制御装置１０の使用電力を抑制する。
【００８８】
例えば、機器制御装置１０に内蔵された加速度センサやジャイロセンサを使って、機器制御装置１０の操作状態を判断できる。機器制御装置１０を床やクレイドルに置いた時のセンサの値と、現時点のセンサの値とのセンサ類似度が閾値以上であれば、ユーザは機器制御装置１０を操作していないと判断し、閾値未満であれば、ユーザは機器制御装置１０を操作していると判断できる。
【００８９】
なお、現時点のセンサの値ではなく、過去数秒間のセンサの値の平均から類似度を算出すれば、より安定した操作状態の認識が可能になる。
【変更例】
【００９０】
まず、上記実施形態の変更例１について説明する。
【００９１】
上記実施形態では、認識部２２が、（１）制御対象機器１００の画像特徴量と登録機器の画像特徴量から類似度を算出し、（２）この類似度が閾値より高い場合であっても、制御対象機器１００とは異なる登録機器を誤認識する場合がある。
【００９２】
そこで本変更例では、登録部２４は、誤認識した画像特徴量を登録機器に対応づけて登録し、新たな制御対象機器１００の画像特徴量と登録機器の画像特徴量から新たな類似度を算出する場合に、誤認識した画像特徴量を認識部２２に出力しないようにする。これにより、認識部２２による誤認識を減らすことができる。なお、誤認識したか否かは、図７（ｃ）に示すように、登録／変更パネル１１７における誤認識報告１２０をユーザが押すことにより誤認識であることとする。
【００９３】
次に、上記実施形態の変更例２について説明する。上記実施形態では、登録したい機器は、図８に示すように、機器一覧から選択してが、これに代えてビーコンや無線通信などを用いて機器の種類を特定してもよい。
【００９４】
次に、上記実施形態の変更例３について説明する。上記実施形態では、機器一覧の情報は、機器制御装置１０内に予め格納されていたが、ネットワークにアップロードされている機器一覧の情報をダウンロードしてもよいし、周辺の機器との無線通信によって取得してもよい。
【００９５】
なお、機器制御装置１０は、例えば、汎用のコンピュータを基本ハードウェアとして用いることでも実現することが可能である。すなわち、撮像部１２、操作部１４、表示部１６、認識部１８、選択部２０、制御部２２、登録部２４は、上記のコンピュータに搭載されたプロセッサにプログラムを実行させることにより実現できる。このとき、機器制御装置１０は、上記のプログラムをコンピュータに予めインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、又はネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータに適宜インストールすることで実現してもよい。例えば、機器制御装置１０が、スマートフォンであって、このスマートフォンに上記プログラムをサーバから配信してもよい。
【００９６】
上記では本発明の一実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の主旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００９７】
１０・・・機器制御装置、１２・・・撮像部、１４・・・操作部、１６・・・表示部、１８・・・認識部、２０・・・選択部、２２・・・制御部、２４・・・登録部
【特許請求の範囲】
【請求項１】
制御を行うために登録する機器である登録機器の識別情報、画像特徴量、制御情報とを対応付けて登録する登録部と、
制御を行う対象の制御対象機器が写った画像を取得する画像取得部と、
（１）前記画像から前記制御対象機器の前記画像特徴量を認識し、（２）前記制御対象機器の前記画像特徴量と前記登録機器の前記画像特徴量との類似度を算出し、（３）前記類似度が類似することを示す場合の前記画像特徴量に対応した前記登録機器を、前記制御対象機器として特定する認識部と、
特定された前記制御対象機器の前記制御情報を前記登録部から呼び出し、前記制御対象機器を制御する制御部と、
を有する機器制御装置。
【請求項２】
前記認識部は、前記登録機器を登録する登録モードにおいて前記画像に写った登録したい機器の前記画像特徴量を認識し、
前記登録モードにおいて、（１）複数の前記機器の前記識別情報と前記制御情報とをそれぞれ対応付けた機器一覧から、前記登録したい機器の識別情報を選択し、（２）選択した前記機器の前記識別情報と前記制御情報と、前記登録したい機器の前記画像特徴量とを対応付けて前記登録機器として前記登録部に登録する選択部をさらに有する、
請求項１に記載の機器制御装置。
【請求項３】
前記選択部は、前記認識部における前記類似度が類似することを示さない場合と判断したときに前記登録モードを実行する、
請求項２に記載の機器制御装置。
【請求項４】
前記認識部は、前記画像中の認識した前記制御対象機器上に認識マークを重畳して表示する、
請求項１乃至３のいずれか一項に記載の機器制御装置。
【請求項５】
前記登録部は、前記登録機器の前記識別情報、前記画像特徴量、又は、前記制御情報の一部又は全部を削除する、
請求項１乃至４のいずれか一項に記載の機器制御装置。
【請求項６】
前記登録部は、前記登録機器の前記画像特徴量、又は、前記制御情報を変更する、
請求項１乃至５のいずれか一項に記載の機器制御装置。
【請求項７】
前記登録部は、前記登録機器に関する前記画像特徴量と前記制御情報を新たに加える、
請求項１乃至６のいずれか一項に記載の機器制御装置。
【請求項８】
前記認識部が、（１）前記制御対象機器の前記画像特徴量と前記登録機器の前記画像特徴量から前記類似度を算出し、（２）前記類似度が類似することを示す場合であっても、前記制御対象機器とは異なる前記登録機器を誤認識した場合に、
前記登録部は、（１）誤認識した前記画像特徴量を前記登録機器に対応づけて登録し、（２）新たな前記制御対象機器の前記画像特徴量と前記登録機器の前記画像特徴量から新たな前記類似度を算出する場合に、前記誤認識した前記画像特徴量を前記認識部に出力しない、
請求項１乃至７のいずれか一項に記載の機器制御装置。
【請求項９】
前記登録部は、前記機器の画像特徴量に加えて、前記機器の背景の前記画像特徴量も登録する、
請求項１乃至８のいずれか一項に記載の機器制御装置。
【請求項１０】
制御を行うために登録する機器である登録機器の識別情報、画像特徴量、制御情報とを対応付けて登録部に登録する登録ステップと、
制御を行う対象の機器である制御対象機器が写った画像を取得する画像取得ステップと、
（１）前記画像から前記制御対象機器の前記画像特徴量を認識し、（２）前記制御対象機器の前記画像特徴量と前記登録機器の前記画像特徴量との類似度を算出し、（３）前記類似度が類似することを示す場合の前記画像特徴量に対応した前記登録機器を、前記制御対象機器として特定する認識ステップと、
特定された前記制御対象機器の前記制御情報を前記登録部から呼び出し、前記制御対象機器を制御する制御ステップと、
を有する機器制御方法。
【請求項１１】
制御を行うために登録する機器である登録機器の識別情報、画像特徴量、制御情報とを対応付けて登録部に登録する登録機能と、
制御を行う対象の機器である制御対象機器が写った画像を取得する画像取得機能と、
（１）前記画像から前記制御対象機器の前記画像特徴量を認識し、（２）前記制御対象機器の前記画像特徴量と前記登録機器の前記画像特徴量との類似度を算出し、（３）前記類似度が類似することを示す場合の前記画像特徴量に対応した前記登録機器を、前記制御対象機器として特定する認識機能と、
特定された前記制御対象機器の前記制御情報を前記登録部から呼び出し、前記制御対象機器を制御する制御機能と、
をコンピュータによって実現させるための機器制御プログラム。
【請求項１】
制御を行うために登録する機器である登録機器の識別情報、画像特徴量、制御情報とを対応付けて登録する登録部と、
制御を行う対象の制御対象機器が写った画像を取得する画像取得部と、
（１）前記画像から前記制御対象機器の前記画像特徴量を認識し、（２）前記制御対象機器の前記画像特徴量と前記登録機器の前記画像特徴量との類似度を算出し、（３）前記類似度が類似することを示す場合の前記画像特徴量に対応した前記登録機器を、前記制御対象機器として特定する認識部と、
特定された前記制御対象機器の前記制御情報を前記登録部から呼び出し、前記制御対象機器を制御する制御部と、
を有する機器制御装置。
【請求項２】
前記認識部は、前記登録機器を登録する登録モードにおいて前記画像に写った登録したい機器の前記画像特徴量を認識し、
前記登録モードにおいて、（１）複数の前記機器の前記識別情報と前記制御情報とをそれぞれ対応付けた機器一覧から、前記登録したい機器の識別情報を選択し、（２）選択した前記機器の前記識別情報と前記制御情報と、前記登録したい機器の前記画像特徴量とを対応付けて前記登録機器として前記登録部に登録する選択部をさらに有する、
請求項１に記載の機器制御装置。
【請求項３】
前記選択部は、前記認識部における前記類似度が類似することを示さない場合と判断したときに前記登録モードを実行する、
請求項２に記載の機器制御装置。
【請求項４】
前記認識部は、前記画像中の認識した前記制御対象機器上に認識マークを重畳して表示する、
請求項１乃至３のいずれか一項に記載の機器制御装置。
【請求項５】
前記登録部は、前記登録機器の前記識別情報、前記画像特徴量、又は、前記制御情報の一部又は全部を削除する、
請求項１乃至４のいずれか一項に記載の機器制御装置。
【請求項６】
前記登録部は、前記登録機器の前記画像特徴量、又は、前記制御情報を変更する、
請求項１乃至５のいずれか一項に記載の機器制御装置。
【請求項７】
前記登録部は、前記登録機器に関する前記画像特徴量と前記制御情報を新たに加える、
請求項１乃至６のいずれか一項に記載の機器制御装置。
【請求項８】
前記認識部が、（１）前記制御対象機器の前記画像特徴量と前記登録機器の前記画像特徴量から前記類似度を算出し、（２）前記類似度が類似することを示す場合であっても、前記制御対象機器とは異なる前記登録機器を誤認識した場合に、
前記登録部は、（１）誤認識した前記画像特徴量を前記登録機器に対応づけて登録し、（２）新たな前記制御対象機器の前記画像特徴量と前記登録機器の前記画像特徴量から新たな前記類似度を算出する場合に、前記誤認識した前記画像特徴量を前記認識部に出力しない、
請求項１乃至７のいずれか一項に記載の機器制御装置。
【請求項９】
前記登録部は、前記機器の画像特徴量に加えて、前記機器の背景の前記画像特徴量も登録する、
請求項１乃至８のいずれか一項に記載の機器制御装置。
【請求項１０】
制御を行うために登録する機器である登録機器の識別情報、画像特徴量、制御情報とを対応付けて登録部に登録する登録ステップと、
制御を行う対象の機器である制御対象機器が写った画像を取得する画像取得ステップと、
（１）前記画像から前記制御対象機器の前記画像特徴量を認識し、（２）前記制御対象機器の前記画像特徴量と前記登録機器の前記画像特徴量との類似度を算出し、（３）前記類似度が類似することを示す場合の前記画像特徴量に対応した前記登録機器を、前記制御対象機器として特定する認識ステップと、
特定された前記制御対象機器の前記制御情報を前記登録部から呼び出し、前記制御対象機器を制御する制御ステップと、
を有する機器制御方法。
【請求項１１】
制御を行うために登録する機器である登録機器の識別情報、画像特徴量、制御情報とを対応付けて登録部に登録する登録機能と、
制御を行う対象の機器である制御対象機器が写った画像を取得する画像取得機能と、
（１）前記画像から前記制御対象機器の前記画像特徴量を認識し、（２）前記制御対象機器の前記画像特徴量と前記登録機器の前記画像特徴量との類似度を算出し、（３）前記類似度が類似することを示す場合の前記画像特徴量に対応した前記登録機器を、前記制御対象機器として特定する認識機能と、
特定された前記制御対象機器の前記制御情報を前記登録部から呼び出し、前記制御対象機器を制御する制御機能と、
をコンピュータによって実現させるための機器制御プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−１０６１９８（Ｐ２０１３−１０６１９８Ａ）
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願番号】特願２０１１−２４８９１３（Ｐ２０１１−２４８９１３）
【出願日】平成２３年１１月１４日（２０１１．１１．１４）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願日】平成２３年１１月１４日（２０１１．１１．１４）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]