説明

遠隔制御システム

【課題】制御命令の数を増加させることが可能であるとともに、拡張性の高い制御を行うことが可能な遠隔制御システムを提供する。
【解決手段】通信回線を介して情報を送受信可能な第1のテレビ電話端末装置及び第2のテレビ電話端末装置と、前記第2のテレビ電話端末装置に接続された制御サーバとを備える。前記第1のテレビ電話端末装置は、被制御機器を制御する制御命令に対応させた画像情報が選択されると、選択された画像情報を含むコマンド情報を前記第2のテレビ電話端末装置に送信し、前記第2のテレビ電話端末装置は、受信したコマンド情報に含まれている画像情報を前記制御サーバに出力する。そして前記制御サーバは、入力された画像情報を解析する画像認識手段と、前記画像認識手段による解析結果に応じた制御命令を判定する判定手段と、判定した制御命令に応じた制御信号を被制御機器に出力する制御信号出力手段とを有する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、遠隔制御システムに関する。
【背景技術】
【0002】
従来より、テレビ電話にてキャラクタ等の代替画像を表示させたり、テレビ電話を用いた遠隔操作システム等、テレビ電話を用いた種々の技術が提案されている。
例えば、特許文献1に記載された従来技術では、テレビ電話の留守番電話の応答時に、ユーザ自身の映像に代わる代替画像を表示させ、代替画像表示時にアクションコマンドの入力により、アクションコマンドを反映した代替画像を表示させるテレビ電話端末が提案されている。当該テレビ電話端末において留守番電話の応答側(着信側)では、入力されたアクションコマンドを解析して(発信側に)表示されている代替画像を動作させる。
また特許文献2に記載された従来技術には、テレビ電話の通信端末にて、音声、トーン信号、文字、画像、動画像を用いて録画再生機器を遠隔操作する録画再生機器操作装置が提案されている。
また特許文献3に記載された従来技術には、テレビ電話回線を用いて、携帯電話にて遠隔地からの映像を受信し、当該携帯電話からDTMF信号を送信して遠隔地の撮像手段の動作を制御する遠隔操作映像システムが提案されている。
【特許文献1】特開2004−328069号公報
【特許文献2】特開2003−125328号公報
【特許文献3】特開2005−236676号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
特許文献1に記載した従来技術では、代替画像を受信して表示している発信側の機器は、受信した代替画像を表示するのみであり、当該代替画像を用いて何らかの制御を行うものではない。
特許文献2に記載した従来技術には、携帯通信端末から画像または動画像を送信して、当該画像または動画像を使ってどのように遠隔操作を行うか、という具体的な構成について何も記載されていない。
特許文献3に記載された従来技術では、遠隔操作の制御にはDTMF信号(Dial Tone Multi Frequency信号:プッシュ音、トーン信号)を用いており、音声信号にて被制御機器を制御するものである。DTMF信号を用いて遠隔操作を行う場合、制御の種類はプッシュ音を出すボタンの数に依存し、制御命令の数の限界が低く、比較的不便である。また、押すことが可能なボタンは1度に1つであり、複数のボタンを同時に押して複数の制御を同時に行うことはできない。
本発明は、このような点に鑑みて創案されたものであり、制御命令の数を増加させることが可能であるとともに、拡張性の高い制御を行うことが可能な遠隔制御システムを提供することを課題とする。
【課題を解決するための手段】
【0004】
上記課題を解決するための手段として、本発明の第1発明は、請求項1に記載されたとおりの遠隔制御システムである。
請求項1に記載の遠隔制御システムは、通信回線を介して情報を送受信可能な第1のテレビ電話端末装置及び第2のテレビ電話端末装置と、前記第2のテレビ電話端末装置に接続された制御サーバとを備える。
前記第1のテレビ電話端末装置は、被制御機器を制御する制御命令に対応させた画像情報が選択されると、選択された画像情報を含むコマンド情報を前記第2のテレビ電話端末装置に送信し、前記第2のテレビ電話端末装置は、受信したコマンド情報に含まれている画像情報を前記制御サーバに出力する。
そして前記制御サーバは、入力された画像情報を解析する画像認識手段と、前記画像認識手段による解析結果に応じた制御命令を判定する判定手段と、判定した制御命令に応じた制御信号を被制御機器に出力する制御信号出力手段とを有する。
【0005】
また、本発明の第2発明は、請求項2に記載されたとおりの遠隔制御システムである。
請求項2に記載の遠隔制御システムは、請求項1に記載の遠隔制御システムであって、前記画像情報は、キャラクタが所定の部位を所定の動作状態とすることを表示させる画像情報である。
そして前記制御サーバは、前記画像情報が入力されると、前記画像認識手段にて、前記所定の部位の動作状態を認識し、認識した部位における動作状態に応じた制御命令を判定する。
【0006】
また、本発明の第3発明は、請求項3に記載されたとおりの遠隔制御システムである。
請求項3に記載の遠隔制御システムは、請求項2に記載の遠隔制御システムであって、前記画像情報におけるキャラクタは、所定の部位を所定の動作状態とする表示を複数組み合わせて複数の部位を各々所定の動作状態とする表示が可能である。
そして前記制御サーバは、前記画像情報におけるキャラクタの各々の部位における各々の動作状態に応じた各々の制御命令を判定し、判定した複数の制御命令に応じた制御信号を被制御機器に出力する。
【0007】
また、本発明の第4発明は、請求項4に記載されたとおりの遠隔制御システムである。
請求項4に記載の遠隔制御システムは、請求項1に記載の遠隔制御システムであって、前記画像情報は、制御命令による被制御機器に関する動作を示す図柄を表示させる画像情報である。
そして前記制御サーバは、前記画像情報が入力されると、前記画像認識手段にて、前記図柄を認識し、認識した図柄に応じた制御命令を判定する。
【0008】
また、本発明の第5発明は、請求項5に記載されたとおりの遠隔制御システムである。
請求項5に記載の遠隔制御システムは、請求項4に記載の遠隔制御システムであって、前記画像情報における図柄は、複数の図柄を組み合わせた表示が可能である。
そして前記制御サーバは、前記画像情報において各々の図柄に応じた各々の制御命令を判定し、判定した複数の制御命令に応じた制御信号を被制御機器に出力する。
【0009】
また、本発明の第6発明は、請求項6に記載されたとおりの遠隔制御システムである。
請求項6に記載の遠隔制御システムは、請求項1〜5のいずれかに記載の遠隔制御システムであって、前記第1のテレビ電話端末装置は複数であり、前記制御サーバには、複数の第1のテレビ電話端末装置からの前記画像情報を入力することが可能であるとともに、第1のテレビ電話端末装置に対応させて遠隔制御の許可及び禁止を示すアクセス権情報が記憶されている。
そして前記制御サーバは、画像情報を送信してきた第1のテレビ電話端末装置と前記アクセス権情報とを照合し、当該第1のテレビ電話端末装置に対応する遠隔制御が許可を示している場合に制御信号を被制御機器に出力する。
【0010】
また、本発明の第7発明は、請求項7に記載されたとおりの遠隔制御システムである。
請求項7に記載の遠隔制御システムは、請求項1〜6のいずれかに記載の遠隔制御システムであって、前記制御サーバは、前記制御命令に応じて制御された前記被制御機器が出力する画像情報または音声情報の少なくとも一方を含む被制御情報を、前記第2のテレビ電話端末装置及び前記通信回線を介して前記第1のテレビ電話端末装置に送信可能である。
そして前記第1のテレビ電話端末装置は、前記被制御情報を、前記通信回線を介して受信可能であり、受信した被制御情報に含まれている画像情報または音声情報の少なくとも一方を再生可能である。
【発明の効果】
【0011】
請求項1に記載の遠隔制御システムを用いれば、画像情報を用いるとともに、当該画像情報を解析する画像認識手段による解析結果にて制御命令を判定するので、DTMF信号の数に制限されることなく、画像認識手段による認識の数を増やすことでDTMF信号の数以上の種々の制御命令を利用することが可能である。
【0012】
また、請求項2に記載の遠隔制御システムを用いれば、キャラクタの一部の部位の動作状態に制御命令を対応させることで、利用者が制御命令を意味づけして記憶し易く、画像情報と制御命令の対応を覚えることが容易である。
【0013】
また、請求項3に記載の遠隔制御システムを用いれば、DTMF信号を用いた場合には不可能であった複数の制御命令の組み合わせが可能であり、任意の制御命令を組み合わせて同時に制御を行うことが可能である。
【0014】
また、請求項4に記載の遠隔制御システムを用いれば、制御命令による被制御機器に関する動作を図柄に対応させることで、更に利用者が制御命令を意味づけして記憶し易く、画像情報と制御命令の対応を覚えることが更に容易である。
【0015】
また、請求項5に記載の遠隔制御システムを用いれば、DTMF信号を用いた場合には不可能であった複数の制御命令の組み合わせが可能であり、任意の制御命令を組み合わせて同時に制御を行うことが可能である。
【0016】
また、請求項6に記載の遠隔制御システムを用いれば、アクセス権を適切に設定することが可能であり、セキュリティを要する被制御機器を適切に遠隔制御することができる。
【0017】
また、請求項7に記載の遠隔制御システムを用いれば、遠隔制御を指示する第1のテレビ電話端末装置にて、遠隔制御した被制御機器の出力(画像情報または音声情報の少なくとも一方)を受信して確認することができるので、便利である。
【発明を実施するための最良の形態】
【0018】
以下に本発明を実施するための最良の形態を図面を用いて説明する。図1は、本発明の遠隔制御システム1の全体概略図の一実施の形態を示している。
図1の例に示すように、遠隔制御システム1は、通信回線30を介して情報を送受信可能な第1のテレビ電話端末装置10(この例では携帯端末装置であり、遠隔制御の指示を行うテレビ電話端末装置)、及び第2のテレビ電話端末装置20(遠隔制御の指示を受けるテレビ電話端末装置)と、第2のテレビ電話端末装置20に接続された制御サーバ40にて構成される。なお通信回線30には、テレビ電話回線やインターネット等、種々のものを用いることができる。例えば本実施の形態ではテレビ電話回線を通信回線30として利用した。
第1のテレビ電話端末装置10と第2のテレビ電話端末装置20とが通信回線30を介してテレビ電話が可能に接続された状態にて、第1のテレビ電話端末装置10から所定のコマンド情報を送信すると、中継局32及び通信回線30を介して第2のテレビ電話端末装置20がコマンド情報を受信して、受信したコマンド情報に含まれている画像情報を制御サーバ40に出力する。
制御サーバ40は、入力された画像情報に基づいた制御信号を出力し、所定エリアA(例えば個人宅)の被制御機器50((録画)再生装置、エアコン、照明、パーソナルコンピュータ等のリモートコントロールが可能な機器)を制御する。
また、制御支援サーバ60は、本発明の遠隔制御システム1のサービス提供企業のサーバであり、第1のテレビ電話端末装置10へのコマンド情報の提供(配信)や、制御サーバ40への制御プログラム及び画像データベース(後述)の提供(配信)を行う。なお、制御支援サーバ60は省略してもよい。
【0019】
次に、図2を用いて制御サーバ40の構成と動作について説明する。本実施の形態にて説明する遠隔制御システム1は、DTMF信号(プッシュ音、トーン信号)を用いて遠隔制御コマンドを送信していた従来技術とは異なり、テレビ電話を用いて、遠隔地の第1のテレビ電話端末装置10から制御命令に対応させた画像情報を含むコマンド情報を送信し、第2のテレビ電話端末装置20にて受信した画像情報を、制御サーバ40の画像認識手段を用いて制御命令を解析して制御信号を出力する。
制御サーバ40は、第2のテレビ電話端末装置20から出力される画像情報を取り込む画像取り込み装置42(画像キャプチャユニット等)、取り込んだ画像情報を解析するとともに解析結果に応じた制御命令を判定するパーソナルコンピュータ43(画像認識手段及び判定手段に相当し、以下、パソコン43と記載する)、判定した制御命令に応じた制御信号を出力するリモコン装置44(制御信号出力手段に相当)にて構成される。
そしてリモコン装置44から出力された制御信号LR(例えば赤外線信号)にて、被制御機器50((録画)再生装置、エアコン、照明、パソコン等)が制御される。
【0020】
なお、被制御機器50とパソコン43とが同一である場合、制御信号出力手段は当該パソコン43を遠隔制御するソフトウェアが相当する。また、第2のテレビ電話端末装置20と画像取り込み装置42とパーソナルコンピュータ43とリモコン装置44の任意の機器を組み合わせて一体で構成してもよい。例えば、画像取り込み装置42とパソコン43は一体で構成されていてもよい。
また第2のテレビ電話端末装置20には、第1のテレビ電話端末装置10と画像情報及び音声情報を送受信して、ユーザ同士の顔を確認しながら通話を行う一般的なテレビ電話を利用する場合にはカメラ21とマイク及びヘッドフォン等(図示省略)が必要である。しかし、本発明の遠隔制御システムとして利用し、一般的なテレビ電話を利用しなければ、第2のテレビ電話端末装置20からカメラ21とマイク及びヘッドフォン等は省略してもよい。その代わりに、第2のテレビ電話端末装置20は、被制御機器50から出力される画像情報及び音声情報を取り込む入力端子を備え、入力された画像情報及び音声情報を第1のテレビ電話端末装置10に送信する。
【0021】
次にユーザが第1のテレビ電話端末装置10を用いて、第2のテレビ電話端末装置20及び制御サーバ40を介して被制御機器50を遠隔制御する手順を説明するとともに、図6に示すフローチャートを用いて制御サーバ40の処理手順も説明する。
ユーザは第1のテレビ電話端末装置10を用いて第2のテレビ電話端末装置20との間でテレビ電話接続を確立させる。
制御サーバ40は、ステップS10にてテレビ電話接続されたか否かを判定する。接続された場合(Yes)、ステップS20に進み、接続されていない場合(No)、ステップS10に戻る。
【0022】
次にユーザは制御命令に対応する画像情報を含むコマンド情報を選択し、第2のテレビ電話端末装置20を介して制御サーバ40にコマンド情報を送信する。
コマンド情報に含まれている画像情報は、例えば、図3(A)〜(H)に示すような、キャラクタが所定の部位を所定の状態(動作状態)とすることを表示させる画像情報や、図5(B)に示すような、制御命令による被制御機器に関する動作を示す図柄を表示させる画像情報である。
なお、本実施の形態にて説明するキャラクタは、「利用者の分身」として表示するものであり、例えばアバタと呼ばれるものである。まず、キャラクタを画像情報として用いる場合の例を説明する。
図3(A)〜(H)は、キャラクタ「うさぎ」の画像情報の例を示しており、テレビ電話に用いる画像情報として、ユーザ自身の画像でなく当該キャラクタの画像情報を送信することができる。またユーザは当該キャラクタに動作等(アクション等)を与えた画像情報を任意に選択することができる。
また、キャラクタにおける各画像情報は、被制御機器50を制御する制御命令に対応付けられている。例えば図3(A)はキャラクタ基本形であり、制御状態を維持(何も制御しない)命令に対応付けられており、図3(B)はサングラスを装着した状態を示しており照明(被制御機器)に対する「オン(点灯)」の制御命令に対応付けられている。また例えば図3(C)は右手上げの状態で録画再生機器(被制御機器)に対する「再生」の制御命令に対応付けられ、図3(D)は左手上げの状態で録画再生機器(被制御機器)に対する「録画」の制御命令に対応付けられている。
【0023】
次に、図4を用いて遠隔制御を行っている第1のテレビ電話端末装置10の表示部10aにおける表示例を説明する。
表示部10aには、テレビ電話の通話相手から受信した画像を表示する主画面10bと、テレビ電話の通話相手に送信する自画像を表示する子画面10cとが表示される。
通常のテレビ電話として利用する場合は、主画面10bには通話相手の顔が表示され、子画面10cには第1のテレビ電話端末装置10を操作しているユーザの顔が表示される。
本実施の形態にて説明する遠隔制御として利用する場合は、第1のテレビ電話端末装置10は、遠隔制御された被制御機器50から出力された画像情報または音声情報の少なくとも一方を含む被制御情報(例えば(録画)再生装置の再生画像及び再生音声)を再生することが可能である。例えば図4(A)に示すように、主画面10bに被制御情報に含まれている画像情報を表示し、被制御情報に含まれている音声情報を出力することが可能である。また子画面10cには、現在第2のテレビ電話端末装置20に送信している画像情報が表示されている。
この場合、図2の例に示すように(録画)再生装置(被制御機器50)の出力をテレビ電話端末装置20に接続し、当該(録画)再生装置から出力された被制御情報(画像情報、音声情報等)を、通信回線30を介して第1のテレビ電話端末装置10にて受信可能に構成する。
そして第1のテレビ電話端末装置10は、通信回線30を介して被制御情報を受信可能であり、受信した被制御情報に基づいた(含まれている)画像情報または音声情報の少なくとも一方を再生可能に構成されている。
【0024】
なお、図4(A)では、第1のテレビ電話端末装置10を用いて、図4(B)の例に示す制御命令に対応させた画像情報の中から「No.3」の画像を選択して、(録画)再生装置に対して「再生」の制御命令を送信した場合の例を示している。この場合、第1のテレビ電話端末装置10は、子画面10cに表示されている制御命令「再生」を指示する「No.3」の画像を送信し、(録画)再生装置から受信した被制御情報の画像情報を主画面10bに表示する。
なお、第1のテレビ電話端末装置10のユーザは画面の切り替え操作を行うことで、子画面10cには(録画)再生装置への制御命令の選択を支援するメニュー画面を表示させたり、全画面モードに移行して図4(B)に示す画像情報の一覧を表示することができる。なお、メニュー画面に表示されていない制御命令であっても、ユーザの操作によって表示されたキャラクタ選択画面等(例えば図4(B)に示す一覧画面)から、所望する制御命令に対応する動作状態のキャラクタを選択することができる。
【0025】
次に図5を用いて、図柄を画像情報として用いる場合の例を説明する。
なお、図5(A)では、第1のテレビ電話端末装置10を用いて、図5(B)の例に示す制御命令に対応させた画像情報(この場合、図柄)の中から「No.10」の画像を選択して、(録画)再生装置に対して「再生」の制御命令を送信した場合の例を示している。画像情報としてキャラクタを用いた場合と比較して、図柄を用いる方法では、制御命令と図柄とを、より理解し易く対応付けすることができるので便利である。
なお、図5(B)の例では、各図柄を一覧表示(全部とは限らない)した図柄を図柄基本形としており、この図柄では現在の制御状態を維持する(変化させない)ことが好ましい。
【0026】
ユーザは、第1のテレビ電話端末装置10に表示された第2のテレビ電話端末装置20からの画像を確認することで、テレビ電話接続が確立していること確認し、選択したコマンド情報を送信する(例えば図3(B)の画像情報(制御命令「照明オン」)を選択して送信する)。
第2のテレビ電話端末装置20は、コマンド情報を受信し、コマンド情報に含まれている画像情報を制御サーバ40に出力する。この場合、テレビ電話の画面では、ユーザの画像がテレビ電話に表示されているのではなく、コマンド情報に含まれている画像情報がテレビ電話に表示されている。
そして制御サーバ40はステップS20にて、テレビ電話に表示されている画像情報(この場合、図3(B)の画像情報)を取り込み、ステップS30に進む。
【0027】
制御サーバ40はステップS30にて、制御サーバ40に予め記憶されている画像データベースを参照して画像認識を行い、取り込んだ画像情報のキャラクタの種類(または図柄のグループの種類)を判定する。なお、画像データベースを制御支援サーバ60に記憶しておき、制御サーバ40から制御支援サーバ60に参照にいくように構成してもよい。また画像情報を制御サーバ40から制御支援サーバ60に送信し、制御支援サーバ60による判定結果を制御サーバ40で受信するように構成してもよい。
なお、画像認識によるキャラクタ種類の判定方法は、例えば画像データベースに記憶されている輪郭を参照して一致する輪郭のキャラクタ(または図柄)と判定させたり、画像における所定位置(例えば領域G9の右下部)に識別用の特定図柄を挿入するようにしてもよい。
図3ではキャラクタ「うさぎ」の例を示したが、ユーザの嗜好に合わせた複数のキャラクタ(または図柄グループ)を用意しておくことが可能であり、キャラクタ毎(または図柄のグループ毎)に異なる制御が可能である。
ステップS40では、認識したキャラクタの種類(または図柄のグループの種類)が遠隔制御用のキャラクタ(または図柄のグループ)であるか否かを判定する。遠隔制御用キャラクタ(または図柄のグループ)であると判定した場合(Yes)はステップS50に進む。また、遠隔制御用キャラクタ(または図柄のグループ)でないと判定した場合(No)は、例えば第1のテレビ電話端末装置10に「遠隔制御用のキャラクタではありません」等のメッセージ出力用の情報を送信し、ステップS10に戻ってもよいし、メッセージ出力等を行わずに(何も処理を行わずに)ステップS10に戻ってもよい。
【0028】
ステップS50に進んだ場合、当該コマンド情報を送信してきた第1のテレビ電話端末装置10が、当該キャラクタを用いた遠隔制御を行うアクセス権を有しているか否かを確認する。制御サーバ40は、特定の第1のテレビ電話端末装置だけでなく、複数の第1のテレビ電話端末装置から遠隔制御を利用することが可能である(例えば第1のテレビ電話端末装置10Aから第2のテレビ電話端末装置20を介して遠隔制御が可能であり、第1のテレビ電話端末装置10Bから第2のテレビ電話端末装置20を介して遠隔制御が可能である)。
制御サーバ40には、第1のテレビ電話端末装置に対応させて制御命令の許可及び禁止を示すアクセス権情報が記憶されている。例えば第1のテレビ電話端末装置10Aについては(電話番号、固有ID等で特定)キャラクタ「うさぎ」による遠隔制御を「許可」と記憶し、他のキャラクタによる遠隔制御を、それぞれ「禁止」と記憶する。
制御サーバ40は、コマンド情報を送信してきた第1のテレビ電話端末装置の電話番号、固有ID等(コマンド情報等に含まれている)から第1のテレビ電話端末装置を特定し、アクセス権情報と照合する。そしてアクセス権情報に、認識したキャラクタの項目に「許可」が設定されている場合(Yes)はステップS60に進む。また、「許可」が設定されていない場合(No)は、例えば第1のテレビ電話端末装置に「このキャラクタで遠隔制御する権限がありません」等のメッセージ出力用の情報を送信し、ステップS10に戻ってもよいし、メッセージ出力等を行わずに(何も処理を行わずに)ステップS10に戻ってもよい。
【0029】
ステップS60に進んだ場合、制御サーバ40は、画像認識手段を用いて、認識したキャラクタの種類(この場合、キャラクタ「うさぎ」)における所定の部位の動作状態を認識して(この場合、「サングラス装着」を認識)、ステップS70に進む。
制御サーバ40における画像認識では、例えば図3に示すように、表示した画像情報を複数の領域(図3の例では領域G1〜領域G9)に分割し、分割された各領域内にて、キャラクタの基本形の画像(図3の例では(A))と相違する領域(所定の部位に相当)と相違内容(所定の動作状態に相当)を判定する。例えば図3(B)に示す画像では、制御サーバ40は、基本形である図3(A)の各領域G1〜G9と図3(B)の各領域G1〜G9とを比較して「領域G5」に相違があることを認識する。そして制御サーバは、図3(B)の領域G5と、キャラクタ「うさぎ」の領域5に関する画像データベースと参照して、相違内容は「サングラス装着」であることを認識する。なお図示省略するが、同じ領域G5であっても、「両目閉じ」、「右目ウィンク」、「帽子装着」等、種々の動作状態を設定可能であり、従来のDTMF信号のトーン信号数に制限されることなく、種々の制御命令を遠隔制御で使用することができる。
なお、第1のテレビ電話端末装置10の子画面10cに、制御命令に対応させた画像情報が表示されるので、従来のDTMF信号の「音」よりも、「現在、どのような制御命令を指示したか」を、より判り易く報知することができる。
なお、所定の部位の所定の動作状態を判定する画像認識方法は、上記の方法に限定されず、種々の方法(ロジック)で実現することができる。
【0030】
そしてステップS70では、認識したキャラクタにおける所定の部位の動作状態に応じた制御命令(この場合、「照明オン」)を判定し、ステップS80に進む。
そして制御サーバ40はステップS80にて、判定した制御命令に応じた制御信号(この場合、照明を点灯させる制御信号)を制御信号出力手段から出力し、ステップS10に戻る(画像データベースには、制御命令が、前記の部位及び動作状態に対応させて記憶されている)。
なお、キャラクタの画像情報において、所定の部位を所定の動作状態とする表示を複数組み合わせて複数の部位を各々所定の動作状態とした画像情報を用いることもできる。例えば図3(C)が「領域G4、G7」の部位にて「右手上げ」の動作状態を表示して(録画)再生機器への「再生」の制御命令に対応付けられており、図3(D)が「領域G6、G9」の部位にて「左手上げ」の動作状態を表示して(録画)再生機器への「録画」の制御命令に対応付けられている場合、図3(G)に示す「領域G4、G7」の「右手上げ」と「領域G6、G9」の「左手上げ」を組み合わせた画像情報をコマンド情報として利用すると、「再生」と「録画」の制御命令を実行することができる(例えば(録画)再生機器がHDDレコーダの場合、録画しながら再生することが可能である)。
更には、図3(H)に示すように「領域G5」の「サングラス装着」も組み合わせると、「再生」と「録画」に加えて「照明点灯」の制御命令も実行することが可能となる。
【0031】
また、例えば図5(A)及び(B)に示すように、第1のテレビ電話端末装置10の子画面10cに遠隔制御用の画像情報の一覧メニューに相当する画面(例えば「No.1図柄基本形」)を表示する。そしてユーザが、当該一覧の中から例えば「1←(左矢印)」と「9(右向き三角形)」を選択すると、第1のテレビ電話端末装置10は、選択した図柄を組み合わせた「図柄No.(n)(左矢印と右向き三角形)」を生成し、子画面10cに表示するとともに、第2のテレビ電話端末装置20に送信する。
制御サーバ40は、画像認識手段を用いて、「図柄No.(n)(左矢印と右向き三角形)」の画像から「1←(左矢印)」と「9(右向き三角形)」を認識し、認識した各々の図柄に応じた各々の制御命令を判定し、判定した複数の制御命令に応じた制御信号(この場合、「カーソル左移動」と「再生」)を被制御機器50に出力する。なお、「1←(左矢印)」と「9(右向き三角形)」の形状はもちろんのこと、色彩も異なるものとしておけば、より容易に認識(識別)することができる。
【0032】
本実施の形態にて説明した遠隔制御システム1では、従来のDTMF信号による制御では不可能であった複数の制御命令の組み合わせ(上記)に加えて、継続的に制御状態を保持する制御も可能である(例えば(録画)再生機器の再生中に早送りボタンを押し続ける早送り再生等)。例えば、制御命令「再生」のコマンド情報を送信した後、制御命令「早送り」のコマンド情報を、所望する継続期間中、送信し続ければよい。
また本実施の形態にて説明した遠隔制御システム1では、従来のDTMF信号による制御とは異なり、プッシュ音を利用していないので、第3者が盗聴し易い音声の盗聴を回避することができ、より安全である。
また、キャラクタの動作状態に制御命令を対応付けることで意味づけが可能であり(例えば、照明を点灯したから(眩しくて)サングラスをかける等)、ユーザが制御命令に対する画像情報を覚えることが容易である。
【0033】
次に、図7に第1のテレビ電話端末装置10、第2のテレビ電話端末装置20、制御サーバ40の機能ブロック図の例を示す。
図7にて太字で示した第1のテレビ電話端末装置10のステップS100、画像生成ブロック12、テレビ電話で送信する画像情報を選択する画像選択ブロック13、及び制御サーバ40が、従来のDTMF信号を用いた遠隔制御システムから変更した個所である。
制御サーバ40内の各機能については既に説明しているので省略する。
第1のテレビ電話端末装置10において、ステップS100は、本実施の形態にて説明した画像情報による遠隔制御を行うか否かを判定しており、「否」の場合(No)は、通常のテレビ電話または従来のDTMF信号による遠隔制御を行うことができる。DTMF信号による遠隔制御を行う場合、図7では点線で示しているDTMF信号生成ブロック11、DTMF装置80を必要とする。
【0034】
画像生成ブロック12は、ユーザからの指示に応じた画像情報を選択するブロックである。なお、図3の例における領域G1〜G9の領域毎の動作状態をユーザが選択することで、ユーザが任意の画像を生成できるようにしてもよい。
画像選択ブロック13では、ユーザを撮像するカメラからの画像をテレビ電話で利用するか、上記の生成した画像をテレビ電話で利用するか、ユーザの指示に応じて選択する。なお、画像選択ブロック13から出力されている「子画面合成」は、図4(A)における子画面10cの表示情報(この場合、遠隔制御のメニュー画面)を生成することを示している。
DTMF信号を用いた従来の遠隔制御システムでは、図7のDTMF装置80にてスーパーインポーズ機能を用いて遠隔制御のメニュー画面等をテレビ電話画像に挿入しており、テレビ電話通信のノイズ等の影響により第1のテレビ電話端末装置10に表示される画像の鮮明度が低く、且つ第2のテレビ電話端末装置20から送信される画像情報を表示する主画面10bを隠してしまう(覆うように表示される)。しかし本実施の形態では、図7の画像選択ブロックにて遠隔制御のメニュー画面等を生成して表示しているので、テレビ電話通信を介しておらず、非常に鮮明度の高いメニュー画面等を表示させることができるとともに、子画面10cにメニュー画面等を表示するので、主画面10bをメニュー画面等で隠してしまうことがない。
【0035】
次に図8を用いて、第1のテレビ電話端末装置10Aと第2のテレビ電話端末装置20Aとを用いたテレビ電話システムAと、第1のテレビ電話端末装置10Bと第2のテレビ電話端末装置20Bとを用いたテレビ電話システムBとの、複数の異なるテレビ電話システムにて、1台の制御サーバ40から被制御機器50を遠隔制御する構成について説明する。なお、図8の例では1台の制御サーバ40に2組のテレビ電話システムを接続した構成の例を示したが、3組以上のテレビ電話システムを接続することも可能である。この構成にて、制御サーバ40にて例えばオンラインゲーム等のサービスを提供することができる。
第2のテレビ電話端末装置20Aが出力する画像情報と、第2のテレビ電話端末装置20Bが出力する画像情報とを、制御サーバ40の画像取り込み装置42に入力する。そして、2台の第2のテレビ電話端末装置20A、20Bからの各々の画像情報を画像認識して制御命令を判定(アクセス権の判定も各々の画像情報にて行うことが可能)し、2台の第2のテレビ電話端末装置20A、20Bに対応させて設けた2台の制御信号出力手段44から制御信号を出力する。
なお図8の例では、第2のテレビ電話端末装置20Aの音声出力と被制御機器50からの音声出力とを合成して第2のテレビ電話端末装置20Bの音声入力部に入力し、第2のテレビ電話端末装置20Bの音声出力と被制御機器50からの音声出力とを合成して第2のテレビ電話端末装置20Aの音声入力部に入力している。
また、第2のテレビ電話端末装置20Aの画像入力には被制御機器からの画像を入力し、第2のテレビ電話端末装置20Bの画像入力には被制御機器からの画像を入力している。この場合、制御サーバ40の画像認識手段及び制御命令の判定手段は2組設ける必要がない。
【0036】
本発明の遠隔制御システム1は、本実施の形態で説明した外観、構成、処理、表示例等に限定されず、本発明の要旨を変更しない範囲で種々の変更、追加、削除が可能である。
本実施の形態にて説明したコマンド情報に含ませる画像情報は静止画像の例を用いたが、動画像を用いて画像認識させることも可能である。この場合、動作速度の変化も加えることができるので、更に複数の制御命令に対応付けすることが可能である。
また、音声情報と画像情報は干渉しないので、従来のDTMFとの併用が可能である。従って、既存のDTMF信号による遠隔制御を利用しながら、本実施の形態にて説明した遠隔制御を行うことも可能である。
また遠隔制御としては、家電製品のリモコン操作やパソコン43のソフトウェアの操作等、種々の制御を行うことが可能である。
また、第1のテレビ電話端末装置10の画像生成プログラム(コマンド情報に含ませる画像情報を生成するプログラム)、制御サーバ40の画像データベース及び画像認識プログラム等は、制御支援サーバ60から配信することが可能である。
本実施の形態の説明では、遠隔制御の指示を行う第1のテレビ電話端末装置10に携帯端末装置を用いたが、第1のテレビ電話端末装置10は携帯端末装置に限定されるものではなく、テレビ電話端末装置であれば、固定式等であってもよい。
【図面の簡単な説明】
【0037】
【図1】本発明の遠隔制御システム1の一実施の形態における全体構成を説明する図である。
【図2】遠隔制御システム1の概略外観を説明する図である。
【図3】画像情報の例を説明する図である。
【図4】第1のテレビ電話端末装置10の表示部10aへの表示例、及び選択する制御命令に対応する画像情報(キャラクタ)の例を説明する図である。
【図5】第1のテレビ電話端末装置10の表示部10aへの表示例、及び選択する制御命令に対応する画像情報(図柄)の例を説明する図である。
【図6】制御サーバ40の処理手順の例を説明するフローチャートである。
【図7】遠隔制御システム1の機能ブロックを説明する図である。
【図8】2組のテレビ電話端末装置を用いて被制御機器を制御する構成の例を説明する図である。
【符号の説明】
【0038】
1 遠隔制御システム
10 第1のテレビ電話端末装置
20 第2のテレビ電話端末装置
30 通信回線
32 基地局
40 制御サーバ
42 画像取り込み装置
43 パーソナルコンピュータ(画像認識手段、判定手段)
44 リモコン装置(制御信号出力手段)
50 被制御機器
60 制御支援サーバ



【特許請求の範囲】
【請求項1】
通信回線を介して情報を送受信可能な第1のテレビ電話端末装置及び第2のテレビ電話端末装置と、前記第2のテレビ電話端末装置に接続された制御サーバとを備え、
前記第1のテレビ電話端末装置は、被制御機器を制御する制御命令に対応させた画像情報が選択されると、選択された画像情報を含むコマンド情報を前記第2のテレビ電話端末装置に送信し、
前記第2のテレビ電話端末装置は、受信したコマンド情報に含まれている画像情報を前記制御サーバに出力し、
前記制御サーバは、
入力された画像情報を解析する画像認識手段と、
前記画像認識手段による解析結果に応じた制御命令を判定する判定手段と、
判定した制御命令に応じた制御信号を被制御機器に出力する制御信号出力手段とを有する、
ことを特徴とする遠隔制御システム。
【請求項2】
請求項1に記載の遠隔制御システムであって、
前記画像情報は、キャラクタが所定の部位を所定の動作状態とすることを表示させる画像情報であり、
前記制御サーバは、前記画像情報が入力されると、前記画像認識手段にて、前記所定の部位の動作状態を認識し、認識した部位における動作状態に応じた制御命令を判定する、
ことを特徴とする遠隔制御システム。
【請求項3】
請求項2に記載の遠隔制御システムであって、
前記画像情報におけるキャラクタは、所定の部位を所定の動作状態とする表示を複数組み合わせて複数の部位を各々所定の動作状態とする表示が可能であり、
前記制御サーバは、前記画像情報におけるキャラクタの各々の部位における各々の動作状態に応じた各々の制御命令を判定し、判定した複数の制御命令に応じた制御信号を被制御機器に出力する、
ことを特徴とする遠隔制御システム。
【請求項4】
請求項1に記載の遠隔制御システムであって、
前記画像情報は、制御命令による被制御機器に関する動作を示す図柄を表示させる画像情報であり、
前記制御サーバは、前記画像情報が入力されると、前記画像認識手段にて、前記図柄を認識し、認識した図柄に応じた制御命令を判定する、
ことを特徴とする遠隔制御システム。
【請求項5】
請求項4に記載の遠隔制御システムであって、
前記画像情報における図柄は、複数の図柄を組み合わせた表示が可能であり、
前記制御サーバは、前記画像情報において各々の図柄に応じた各々の制御命令を判定し、判定した複数の制御命令に応じた制御信号を被制御機器に出力する、
ことを特徴とする遠隔制御システム。
【請求項6】
請求項1〜5のいずれかに記載の遠隔制御システムであって、
前記第1のテレビ電話端末装置は複数であり、
前記制御サーバには、複数の第1のテレビ電話端末装置からの前記画像情報を入力することが可能であるとともに、第1のテレビ電話端末装置に対応させて遠隔制御の許可及び禁止を示すアクセス権情報が記憶されており、
前記制御サーバは、画像情報を送信してきた第1のテレビ電話端末装置と前記アクセス権情報とを照合し、当該第1のテレビ電話端末装置に対応する遠隔制御が許可を示している場合に制御信号を被制御機器に出力する、
ことを特徴とする遠隔制御システム。
【請求項7】
請求項1〜6のいずれかに記載の遠隔制御システムであって、
前記制御サーバは、前記制御命令に応じて制御された前記被制御機器が出力する画像情報または音声情報の少なくとも一方を含む被制御情報を、前記第2のテレビ電話端末装置及び前記通信回線を介して前記第1のテレビ電話端末装置に送信可能であり、
前記第1のテレビ電話端末装置は、前記被制御情報を、前記通信回線を介して受信可能であり、受信した被制御情報に含まれている画像情報または音声情報の少なくとも一方を再生可能である、
ことを特徴とする遠隔制御システム。



【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公開番号】特開2007−201597(P2007−201597A)
【公開日】平成19年8月9日(2007.8.9)
【国際特許分類】
【出願番号】特願2006−15031(P2006−15031)
【出願日】平成18年1月24日(2006.1.24)
【出願人】(500580965)ドコモモバイル東海株式会社 (1)
【Fターム(参考)】