機器操作装置
【課題】カメラによるリモコン位置の検出精度を向上させ、パーソナルコンピュータのマウス操作と同等の操作で、画面に表示されるメニューの選択を行える機器操作装置を提供する。
【解決手段】映像表示機器に取り付けたカメラ１１０でリモコン１２０を撮影し、撮影した画像からリモコンの位置を検出して操作コマンドに変換する。超解像処理部２０１は、カメラで撮影した画像を超解像処理して高解像度化する。位置検出部２０２は、超解像処理部の処理した画像からリモコンの位置を検出する。メニュー選択部２０３は、カーソル位置決定ルールに従い、位置検出部の検出したリモコンの位置から映像表示機器のモニタ画面内の対応するメニューを選択する。ここに位置検出部２０２は、リモコンが移動している期間だけリモコンの位置を検出する。
【解決手段】映像表示機器に取り付けたカメラ１１０でリモコン１２０を撮影し、撮影した画像からリモコンの位置を検出して操作コマンドに変換する。超解像処理部２０１は、カメラで撮影した画像を超解像処理して高解像度化する。位置検出部２０２は、超解像処理部の処理した画像からリモコンの位置を検出する。メニュー選択部２０３は、カーソル位置決定ルールに従い、位置検出部の検出したリモコンの位置から映像表示機器のモニタ画面内の対応するメニューを選択する。ここに位置検出部２０２は、リモコンが移動している期間だけリモコンの位置を検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像表示機器などに取り付けたカメラでリモコンの位置を検出して、検出位置の情報から機器の操作コマンドに変換する機器操作装置に関する。
【背景技術】
【０００２】
機器操作装置の背景技術として、特許文献１には、モニタ画面に取り付けられた光センサが受光したリモコンの光信号の光量からリモコンの動きを検出して、これらと１対１に対応した家電操作コマンドに変換する家電操作装置が開示される。また特許文献２には、モニタ画面に取り付けられたカメラで撮影されたリモコンの動きを検出して、リモコンの動きと１対１に対応した家電操作コマンドに変換するリモート操作装置が開示される。これらの技術は、機器操作を容易に行うために、リモコンの動きに対応したコマンドをモニタ画面に表示されたメニューと対応付けたユーザインタフェースを構成した点が共通している。
【０００３】
この構成の機器操作装置を従来のボタン式リモコンを用いた機器操作装置の代わりに用いると、リモコンの上下左右ボタンを用いる場合と同等の機器操作ができるようになり、機器の操作が容易になる。さらにこの構成の機器操作装置を従来のボタン式リモコンを用いた機器操作装置と併用した場合には、メニュー形式のユーザインタフェースを併せ用いることによりリモコンのボタン数を減らすことができるため、リモコンのボタンに対応した機器操作コマンドを覚える負担を減らすことができる。
【０００４】
【特許文献１】特開２００７−１０４５６７号公報
【特許文献２】特開２００４−３５６８１９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
テレビなどの映像表示機器はインターネットに接続する機能や録画機能が付加されることで、従来放送に加えてインターネット放送やケーブルテレビ放送が供給するコンテンツと、これらの放送を録画したコンテンツを含めて視聴することができる。このような膨大な数のコンテンツを快適に視聴するため、従来のテレビには無い次の機能が必要になる。
（１）膨大なコンテンツから見たいコンテンツを検索・表示する機能。
（２）コンテンツに含まれるシーンを検索したり、シーンに関連するインターネットコンテンツを検索する機能。
（３）テレビに付属したリムーバブルディスクなどの付属機器を操作する機能。
【０００６】
このように、テレビの機能はパーソナルコンピュータと同等に複雑になるので、画面に表示するメニューのデザインも、パーソナルコンピュータと同等に複雑で精緻になる。
【０００７】
しかしながら特許文献１に開示された技術は、リモコンが発光出力する光信号の光量からリモコンの動きを検出する方式であるため、センサ個体差の影響を受け易く、リモコンの位置検出精度がモニタ画面の解像度よりもはるかに低くなる。よって、テレビ画面に表示するメニューのデザインを精緻にした場合に、パーソナルコンピュータのマウスと同等の操作でメニューの選択を行うことは困難である。
【０００８】
また特許文献２に開示された技術は、カメラでリモコンの動きを検出するものであるが、その明細書に「本発明は動き検出性能を向上するためのものではない」（段落［００３２］）と記載されるように、検出精度向上への配慮がなく、パーソナルコンピュータのマウスと同等の操作性は期待できない。
【０００９】
本発明の目的は、カメラによるリモコン位置の検出精度を向上させ、パーソナルコンピュータのマウス操作と同等の操作で、画面に表示されるメニューの選択を行える機器操作装置を提供することである。
【課題を解決するための手段】
【００１０】
本発明は、映像表示機器に取り付けたカメラでリモコンを撮影し、撮影した画像からリモコンの位置を検出して操作コマンドに変換する機器操作装置であって、カメラで撮影した画像を超解像処理して高解像度化する超解像処理部と、超解像処理部の処理した画像からリモコンの位置を検出する位置検出部と、カーソル位置決定ルールに従い、位置検出部の検出したリモコンの位置から映像表示機器のモニタ画面内の対応するメニューを選択するメニュー選択部とを備える。
【００１１】
ここに位置検出部は、予めリモコンの外装に配色された色相特徴を記憶手段に記憶し、カメラで撮影した画像の色相を記憶手段に記憶している色相特徴と照合することでリモコンの位置を検出する。また位置検出部は、リモコンが移動している期間だけリモコンの位置を検出する。
【発明の効果】
【００１２】
本発明によれば、画面に表示された精緻で複雑なメニューに対し、パーソナルコンピュータのマウスと同等の操作で高精度にメニューの選択を行える機器操作装置を提供することができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明による機器操作装置の実施形態（実施例）を図面を用いて説明する。ただし、本発明は以下の実施例に限定されるものではない。
【実施例１】
【００１４】
本実施例は、テレビジョン受像機（以下、テレビ）やパーソナルコンピュータ（パソコン）のように、放送番組や映画などの映像コンテンツや情報を表示する映像表示機器に適用した機器操作装置の場合である。本実施例では、映像表示機器に取り付けたカメラで操作用リモコンを撮影し、撮影画像からリモコンの位置を高精度に検出して映像表示機器への操作コマンドに変換するものである。
【００１５】
図１は、本実施例の機器操作装置のハードウェア構成を示した図である。（ａ）は装置本体を、（ｂ）はこれに付属するリモートコントロール装置の一例を示す。本実施例では、映像表示機器としてテレビに適用した場合を示す。ただし図１では、テレビ特有の機能を実行する処理部（例えばチューナなど）については省略し、機器操作処理を行う部分を中心に説明する。
【００１６】
本例の装置は、内部バスライン１００を介して、装置全体の動作を制御する中央制御ユニット（ＣＰＵ）１０１と、ＲＯＭ１０２やＲＡＭ１０３、ネットワークインターフェース（ネットワークＩ／Ｆ）１０４、グラフィックコントローラ１０５、ユーザインターフェースコントローラ（ユーザＩ／Ｆ）１０７を接続する。
【００１７】
ＣＰＵ１０１は機器操作処理を実行する制御手段として機能し、機器操作処理を実行させるプログラムはＲＯＭ１０２又はＲＡＭ１０３の記憶手段に実装している。また、ＲＯＭ１０２やＲＡＭ１０３は、リモコン像を検出するための情報（後述する色相特徴）を記憶する。ＲＡＭ１０３などの記憶手段としては、半導体メモリや着脱自在のメモリカードなどを用いる。なお、テレビ本体において放送番組を録画するハードディスクを備えていれば、これを記憶手段として使用することもできる。
【００１８】
ネットワークＩ／Ｆ１０４は、外部のネットワーク（インターネットなど）と接続する。これには、アナログ電話回線用のアナログモデム、ＩＳＤＮ回線用のモデム、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ又はモデム、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ：構内情報通信網）用のアダプタ、無線電話用のアダプタ、Ｂｌｕｅｔｏｏｔｈ（商標）などの無線通信用のアダプタなどが使用できる。
【００１９】
グラフィックコントローラ１０５は、操作に用いる各種情報や動画の表示制御を行う。そのために映像データを保持するＶＲＡＭ１０６を接続し、描画された映像を表示部１３０に表示する。表示部１３０としては、液晶表示パネル、プラズマディスプレイパネルなどの表示手段を使用する。また表示部１３０では、チューナが受信したテレビ放送や外部から入力した映像信号による映像を表示する。さらにグラフィックコントローラ１０５の制御により、これらの映像信号による映像とインターネットのウェブページから取得した映像とを、１つの画面上に同時に表示させたりキーワードなどの文字情報を重ねて表示させることも可能である。
【００２０】
ユーザＩ／Ｆ１０７は、各種操作キーや操作ボタンなどで構成される操作部１０８を接続し、またリモートコントロール装置（リモコン）１２０からの操作を受け付ける。その際受光部１０９は、リモコン１２０からの赤外線信号を受光（受信）する。受け付けた操作データはＣＰＵ１０１に供給される。また本例の機器操作装置では、カメラ１１０を取り付けてリモコン１２０を撮影する。そして撮影したリモコン画像をユーザＩ／Ｆ１０７を介して判別し、リモコン１２０の位置を操作コマンドに変換する構成としている。
【００２１】
リモコン１２０は、パソコンのマウスと同様の感覚で操作可能とする。その構成は、マウスの左ボタンと右ボタンに対応した２つのボタン１２１，１２２と、マウスのホイールに対応したホイール１２３と、表示部１３０に表示されたカーソルを移動させるときだけ押すカーソル移動ボタン１２４を備える。さらに、カーソル移動ボタン１２４が押されているときに所定の赤外光信号を発光する赤外光発光部１２５を備える。またリモコン１２０の外装の一部（例えば発光部１２５の存在する前面側）１２６は、リモコン１２０を周囲と区別するために、使用する環境（室内）に存在しない色で配色する。
【００２２】
本実施例のリモコンによれば次の効果がある。マウスがマウスパッド上に置かれた状態を前記カーソル移動ボタン１２４が押された状態と対応付けることと、パソコンのマウスと同じ構成でボタン１２１，１２２やホイール１２３を備えることにより、マウスと同じ操作ができるようになる。さらに、リモコンを使用する環境に存在しない色をリモコンの外装に配色することにより、色情報でリモコンを識別することができる。
【００２３】
図２は、本実施例の機器操作装置のソフトウェア構成を示した図である。本実施例の機器操作装置は、カメラ１１０で撮影した画像からリモコン１２０の位置を検出して、リモコンの位置と１対１に対応した操作コマンドに変換する機能を有するものであり、そのための構成を説明する。
【００２４】
ユーザＩ／Ｆ１０７はカメラ制御部１１１を備え、カメラ１１０の撮影を制御する。カメラ１１０が撮影した画像は、カメラ制御部１１１のフレームメモリに記憶される。照度検出部１１２は、フレームメモリに記憶された画像を分析して室内の照度（明るさ）を求める。照度が閾値よりも低い場合には、前記カメラ１１０に取り付けた赤外光投光器１１３から赤外光を発光させ、暗い室内でのカメラの撮影を可能にする。なお赤外光投光器１１３は、リモコン１２０に備えた赤外光発光部１２５とは異なる赤外光を発光させるようにする。
【００２５】
ＣＰＵ１０１は撮影画像を解析して機器の操作処理を行うが、ＲＯＭ１０２又はＲＡＭ１０３には、機器操作処理のプログラムが格納されている。機器操作処理部（プログラム）２００は、超解像処理部２０１と、位置検出部２０２と、メニュー選択部２０３と、コマンド起動部２０４とから構成される。機器操作処理部２００の出力映像は、グラフィックコントローラ１０５の制御でＶＲＡＭ１０６に保持されて表示部１３０（モニタ画面３００）に表示される。
【００２６】
超解像処理部２０１は、カメラ１１０が撮影した画像を超解像処理し解像度を２倍程度に高めた高解像度の画像を出力する。位置検出部２０２は、超解像処理部２０１が出力した画像からリモコン像を検出する。この検出処理は、リモコン像が移動している時だけ行い、さらにカーソル移動ボタン１２４が押されているときだけリモコン位置を出力する。
【００２７】
メニュー選択部２０３は、位置検出部２０２が出力したリモコン位置とモニタ画面内の１点を対応付けるカーソル位置決定ルールを備える。該カーソル位置決定ルールに基づいて対応付けられたモニタ画面上の１点にカーソルを配置して、このカーソル位置に対応したメニューを選択しハイライトする。コマンド起動部２０４は、メニュー選択部２０３が選択したメニューに対応する機器操作コマンドを起動する。
【００２８】
図３は、表示部１３０に表示するモニタ画面３００の一例を示す図である。本実施例では、モニタ画面３００にはパソコンと同等に精緻なデザインにしたメニューを表示する。また、リモコン１２０の位置検出精度をモニタ画面３００の解像度と同等にして、マウスと同等の操作でメニューの選択を行えるようにしている。表示部１３０の上部には、カメラ１１０と赤外光投光器１１３とを一体化した構成で取り付けている。赤外光投光器付カメラとすることで暗い部屋での撮影を可能とし、リモコン位置を高精度に検出することができる。
【００２９】
モニタ画面３００には、パソコンと同様のメニューボックス３０１が表示され、メニューボックス３０１にはメニュー３０２，３０３を含む複数メニューがリスト形式で表示される。メニューボックス３０１は階層構造になっており、例えばメニュー３０３を選択するとメニュー３０３がハイライト（四角枠で表現）された後、それにリンクする下位階層のメニューボックス３０４が表示される。このメニューボックス３０４にも、メニュー３０５を含む複数メニューがリスト形式で表示される。この例では、下位階層のメニューボックス３０４のメニュー３０５をカーソル３０６で選択した場面を示している。
【００３０】
以下、機器操作処理部２００の行う各処理について詳細に説明する。
図４は、超解像処理部２０１による超解像処理の原理を説明する図である。まず（ａ）のように、隣接する複数（ここでは３枚）の原画像４０１〜４０３を準備し、小数精度で位置合わせを行う。（ｂ）は、基準位置とする画像４０１に対して他の画像４０２，４０３を位置合わせした状態を示す。位置合わせは、回転や拡大・縮小などの動きも考慮する。こうして標本化位置が整数画素位置からずれた１枚の合成画像を生成する。その後（ｃ）のように、目的とする解像度で再度サンプリングしなおして高解像画像４０４を生成する。再サンプリングにあたっては、ローパスフィルタを用いて画素数（サンプリング点）を補間して増やす方法、あるいは、点広がり関数の逆関数を適用するなどの方法で周辺画素の影響を畳み込みながら、画素値を決定する。その結果、原画像の高周波成分を復元し、原画像に対して解像度が２倍程度の高解像度画像を生成する。この超解像処理は、画像の中の被写体（リモコン）が移動している連続画像に対して有効であるが、被写体が静止している場合には解像度の改善効果は得られない。よって、リモコンが移動している期間の画像出力だけ利用してリモコンの位置を検出する。
【００３１】
超解像処理により解像度が２倍程度改善する。その結果、例えば、パソコンに接続して用いる３０万画素程度のＣＣＤカメラの解像度であっても、テレビ画面の解像度と同等に改善することができる。よって、高解像度の高価なカメラを導入することなく、リモコンの位置検出精度を向上し、パーソナルコンピュータのマウスと同等の操作で高精度にメニューの選択を行うことができる。
【００３２】
次に、超解像処理部２０１が出力する画像から、位置検出部２０２がリモコン像の位置を検出する処理を説明する。
本実施例では、リモコン像を検出するため、予め使用するリモコン１２０の外装の一部１２６の色相特徴を抽出して、ＲＯＭ１０２やＲＡＭ１０３の記憶手段に保存しておく（学習工程）。そして、リモコン操作中にカメラ１１０で撮影した画像からこの色相特徴を検出し、記憶手段に保存している色相特徴と照合することで、リモコン１２０の位置を検出する処理を行う（検出工程）。
【００３３】
一般に知覚色は色相、明度、彩度の３属性で表され、反射率が低い材質に配色した色の色相成分は周囲の明るさの影響を受けにくい。そこで、色情報から明度成分、彩度成分を取り除いた色相成分だけを抽出してリモコン像の検出処理に用いるようにした。
この方式によれば、装置専用のリモコンを紛失した場合などに、同じ配色（色相）の代用品をリモコンとして用いることが可能になる。
【００３４】
リモコン像の色相特徴を抽出する処理（学習工程）は、装置の出荷時あるいは購入時に行う。まずカメラでリモコンを撮影し、超解像処理部２０１が出力した画像を分析して、卓越した色相成分（１次）を抽出する（図５）。その後、抽出した色相成分の内、背景画像に含まれる色相成分を削除して、リモコン特有の色相特徴（２次）を記憶手段に保存する（図６）。
【００３５】
図５は、リモコン像から卓越した色相成分を抽出する処理フローを示す図である。
ステップＳ５０１で、画像の切り出し窓を画像空間上の初期位置に固定する。この切り出し窓は、リモコン像の大きさに合わせた所定サイズの領域を有する。そしてこの初期位置は、切り出し窓に対象とするリモコン像が含まれる位置である。ステップＳ５０２で、切り出し窓に含まれる画像データを切り出す。
【００３６】
ステップＳ５０３で、切り出した画像データから色相値のヒストグラムを作成する。この色相ヒストグラムは、各色相値に属する画素数を計数して作成する。そして、作成したヒストグラムを、配列の引数を色相値とし配列の要素を色相値に属する画素数とした配列形式で記憶手段に記憶する。
【００３７】
ステップＳ５０４では、Ｓ５０３で作成した色相ヒストグラムの配列の要素を順に参照する。ステップＳ５０５では、参照した配列の要素、もしくはその近傍（隣接する要素）に０データがあるかどうかを判定する。判定の結果、近傍に０データが存在する場合には、その配列要素は照合工程で誤動作を生じる恐れがある。そこで、ステップＳ５０６で該当する配列の要素を前記ヒストグラム配列から削除する。判定の結果、近傍に０データが存在しない場合には、ステップＳ５０７で該当する配列の要素を色相特徴として残す。すべての配列の要素の参照が完了したら、削除されずに残った配列の要素を卓越した色相特徴（１次）として決定し、記憶手段に記憶する。
【００３８】
ここで図８は、色相ヒストグラムの作成例を示す図である。（ａ）は、画像の切り出し窓を１辺８画素の正方形とした場合で、これに含まれる画素の色相値を０〜９で表示したものである。（ｂ）は、ステップＳ５０３で作成される色相ヒストグラムを示す。また（ｃ）は、ステップＳ５０７で得られる色相ヒストグラム（色相特徴）である。
【００３９】
続いて図６は、前記卓越した色相特徴（１次）の内、背景画像には含まれない色相成分だけを抽出する処理フローを示す図である。
ステップＳ６０１で、前記画像切り出し窓を画面内で移動させる。ステップＳ６０２では、現在の移動位置が前記ステップＳ５０１の初期位置（すなわちリモコン像を抽出した位置）と同じかどうかを判断する。同じ場合には現在位置をスキップして、切り出し窓を次の新しい位置へ移動する。
【００４０】
現在の移動位置が初期位置と異なる場合には、ステップＳ６０３において、切り出し窓に含まれる画像データを切り出す。ステップＳ６０４では、切り出した画像データの中で、前記Ｓ５０７で記憶した色相特徴（１次）を有する画素数を計数する。
【００４１】
ステップＳ６０５では、Ｓ６０４において計数された画素数を予め定めた閾値と比較する。計数値が閾値を超える場合には、現在の切り出し窓の位置の背景画像にリモコン像と同じ色相特徴が含まれていることになる。その場合には、当該色相特徴は、リモコン像の色相特徴として採用することは妥当でないと判断し、ステップＳ６０６に進んで当該色相特徴を削除する。計数値が閾値を超えていない場合には、現在の切り出し窓の位置の背景画像にはリモコン像と同じ色相特徴が含まれていないので、当該色相特徴をリモコン像の色相特徴として採用する。そしてステップＳ６０７に進み、当該データをリモコン像の色相特徴（２次）と決定して記憶手段に記憶する。
【００４２】
ステップＳ６０８において、画像切り出し窓の画面内移動を完了したかどうかを判断する。完了した場合には処理フローを終了し、完了していない場合には、ステップＳ６０１に戻り上記フローを繰り返す。これらの処理フローにより、卓越した色相特徴（１次）の中から背景画像には含まれない色相成分を抽出して、リモコン特有の色相特徴（２次）を得ることができる。
【００４３】
次に図７は、リモコン像を画面内で検出する処理フローを示す図である。この処理では、カメラで取り込んだ画像の色相を前記記憶手段に記憶された色相特徴（２次）と照合し、色相特徴の一致する領域を探し出すことで、リモコンの位置を検出するものである。
【００４４】
ステップＳ７０１で、画像切り出し窓を画面内で移動させる。ステップＳ７０２で、移動先の各位置において画像データを切り出す。ステップＳ７０３では、切り出した画像データから前記ステップＳ６０７で記憶手段に記憶した色相特徴（２次）を有する画素数を計数する。各移動位置での計数結果は記憶手段に記憶しておく。ステップＳ７０４では、画像切り出し窓の画面内移動を完了したかどうかを判断し、完了していない場合にはステップＳ７０１に戻る。
【００４５】
画像切り出し窓の画面内移動が完了したら、ステップＳ７０５では、計数の結果、色相特徴（２次）を有する画素数が最大となる画像切り出し窓の位置とそのときの画素数を、対となる１つの検出データとして記憶手段に記憶する。上記ステップＳ７０１〜Ｓ７０４において、画面中にリモコン像が写っている場合には、記憶手段に記憶された色相特徴（２次）が、１個もしくは複数個検出される。
【００４６】
ステップＳ７０６では、ステップＳ７０５で記憶した検出データ（画像切り出し窓の位置とそのときの画素数の対となる全てのデータ）が、リモコン像の色相特徴として妥当か否かを判断する。この判断の方法を説明する。リモコン像の色相特徴の配置がカメラとの距離によらず一定であると仮定すると、前記ステップＳ６０７で記憶手段に記憶した色相特徴（２次）の画素数比率と、ステップＳ７０５で記憶手段に記憶した検出データの色相特徴の画素数比率は一致するはずである。もしもそれらの比率が一致しない場合には、リモコンの検出に失敗したと判断して、ステップＳ７０７にて検出データを消去する。
【００４７】
ステップＳ７０６にて比率が一致した場合には、リモコンの検出に成功したと判断する。ステップＳ７０８で、ステップＳ７０５で検出した１個もしくは複数個の画像切り出し窓の位置を平均し、リモコン像の中心位置と決定する。このようにして、リモコン像の位置を精度良く検出することができる。
【００４８】
ここで、ステップＳ７０８で計算したリモコン像の位置検出結果を、図１（ｂ）に示すリモコン１２０の赤外光発光部１２５を発光させることで、位置検出結果の確度を向上することができる。この場合には、赤外光発光部１２５の発光は明度が高い輝点として撮影される。また前記超解像処理部２０１は、画像の明度情報の解像度を高めるために有効である。そして、所定レベルより明度が高い輝点の位置を、ステップＳ７０８で計算したリモコン像の位置の近傍で探す。リモコン像の位置の近傍から検出できれば、計算したリモコン像の位置検出結果は正確なものであり、背景画像に含まれる各種ノイズの影響を回避することができる。
なお、カメラ１１０に赤外光透過フィルタを装着して、赤外光発光部１２５が発光する輝点のみを検出する場合には、リモコン像の色相特徴を抽出する処理は不要になる。
【００４９】
本実施例の位置検出部においては、超解像処理を施したリモコン像から位置検出を行うようにしている。ただし超解像処理は、画面内で動いている画像に対して有効であるため、リモコンが静止している場合の画像データは解析に用いないように制御する。すなわち、リモコン操作における移動開始直前の静止期間、及び移動終了後の静止期間のデータを除外することで、リモコンの位置検出の精度低下を防ぐことができる。静止期間のデータを除外しても、リモコンの操作性が劣化することはない。
【００５０】
次に、メニュー選択部２０３によるカーソル位置決定機能について説明する。メニュー選択部２０３は、前記位置検出部２０２で検出したリモコン像の位置に応じて、表示部のモニタ画面のカーソル位置に変換し、画面に表示されているメニューを選択する。
【００５１】
図９は、カーソル位置決定ルールを説明する図で、カメラの撮像系とモニタ画面を示す。カメラの撮像系として、カメラ１１０と、カメラ光軸に垂直な面９００（９００ａ−９００ｂ−９００ｃ−９００ｄ）を仮定してモデル化する。垂直な面９００は、カメラ１１０の撮像面（ＣＣＤセンサなど）を投影したもので、以下、撮像面９００と呼ぶ。カメラ１１０で撮影したリモコン像（リモコン位置）を、表示部１３０のモニタ画面９００’（９００ａ’−９００ｂ’−９００ｃ’−９００ｄ’）に表示する。ここにカーソル位置決定ルールは、撮像面９００内のリモコン像の位置がＲ１からＲ２へ移動するとき、モニタ画面９００’内のカーソル位置がＲ１’からＲ２’へ相対的に移動するように定める。このようにカーソル位置決定ルールにより、リモコンの相対移動量と移動方向をカーソルの移動量と移動方向に対応付けることができる。
【００５２】
このとき、撮像面９００の解像度はリモコン像の位置決め精度で決まる。本実施例では超解像処理２０１を採用することで、リモコン像の位置決め精度を、モニタ画面９００’の１画素程度まで向上させることができる。その結果、パソコンのマウスと同等の操作性（分解能）を実現することができる。すなわち、ユーザは１回のリモコン操作で、モニタ画面９００’の任意の位置を１画素程度の単位で位置決めすることができる。
【００５３】
撮像面９００の解像度が不足すると次のようになる。例えば、撮像面９００の解像度がモニタ画面９００’の解像度の１／２である場合には、前記撮像面９００でリモコンを画面一杯の距離だけ動かしても、モニタ画面９００’ではカーソルは画面の１／２の距離しか動かすことができない。すなわち、リモコン像の位置がＲ３からＲ４へ移動すると、カーソル位置はＲ３’からＲ４’まで１／２の距離だけ移動するにすぎない。よって、Ｒ３’から所望位置Ｒ５’までカーソルを動かすためには、同じリモコン操作を２回行う必要がありユーザにとって使い勝手が悪い。
【００５４】
このように本実施例による機器操作装置では、リモコンの位置検出精度をモニタ画面の解像度と同等に向上することができるので、パソコンと同等に精緻にデザインしたメニューが表示されたモニタ画面において、マウスと同等の操作でメニューの選択を行うことができる。
【００５５】
本実施例による機器操作装置は、テレビなどの映像表示機器以外の機器にも適用可能であることは言うまでもない。例えば、画面上に精緻にデザインされた複雑なメニューを表示して、これを精度良く選択するようなゲーム機器などにも有効に適用できる。
【実施例２】
【００５６】
本実施例は、機器操作装置を録画機能付きテレビに適用し、カメラを利用して録画コンテンツの関連画像を作成表示するものである。
【００５７】
図１０は、録画コンテンツの関連画像を表示するモニタ画面の一例を示す図である。実施例１における前記カメラ１１０を、リモコン操作だけでなく一般の被写体を撮影する手段として用いる。この場合、録画コンテンツに関連するものを撮影し、撮影画像を録画コンテンツと対応付けて登録するユーザインタフェースを構成する。関連する画像の例としては、操作者画像、ビデオ記録メディアのケース、コンテンツに関連した思い出の品などが挙げられる。
【００５８】
図１０のモニタ画面１０００では、カメラで撮影した関連画像であるスナップ写真を表示する欄１００１と、コンテンツのサムネール画像を表示する欄１００２、及び録画タイトルを表示する欄１００３で構成されている。ここではスナップ写真の例として、スポーツ番組を録画した人物の写真１００４、スポーツ大会で獲得した優勝カップの写真１００５、ドラマ番組を録画した人物の写真１００６、学芸会のビデオテープを保存するケースの写真１００７が表示されている。カーソル１０１０でスナップ写真、サムネール画像、録画タイトルのいずれかを選択すれば、選択したコンテンツを視聴することができる。
【００５９】
本例のユーザインタフェースを録画機能付テレビに適用すると、スナップ写真によりコンテンツを録画したユーザを容易に判断することができるので、他のユーザによるコンテンツ削除、記録メディアへの保存などのコンテンツ管理を行い易くなる。
【００６０】
また、カメラの前にユーザが居ない状態で撮影した画像を保存しておき、新しく撮影した画像と比較する方法で視聴者の有無が分かる。この情報を現在放送中のテレビ番組を視聴しているユーザの一時離席検出に利用して、一時離席を検出した時に現在放送中の番組の録画を開始し、前記ユーザが再び席に戻ったことを検出したら後追い再生を開始するという応用も可能である。
【００６１】
このようにカメラで撮影された画像には、リモコンの位置検出の他に様々な情報が含まれており、これらの情報をリモコンの操作と結びつけることで、ユーザの使い勝手を向上させることができる。
【実施例３】
【００６２】
本実施例は、機器操作装置をユーザの消費カロリーをコントロールするトレーニングシステムに適用した場合である。
【００６３】
図１１は、本実施例によるトレーニングシステムを説明する図である。このシステムは、表示部１３０に取り付けたカメラ１１０を用いて、ユーザのトレーニング動作を認識して消費カロリーを計算して表示すると共に、ユーザの身長と体重から求めた消費カロリーの目標値を提示してトレーニングの過不足を知らせるものである。
【００６４】
トレーニング動作の認識は、ユーザ１１０１の両手と両足に取り付けたカラーバンド１１０２、１１０３、１１０４、１１０５の動きからリズムを抽出して、このリズムをシステムが提示するリズムと照合することにより行う。カラーバンドの動きは、表示部１３０に取り付けたカメラ１１０で撮影した画像に図５〜図７で説明した処理フローを適用して求める。カラーバンドの動きのリズムは、例えば、カラーバンドの単位時間あたりの移動量（すなわち「速さ」）を時系列のグラフにプロットして、このグラフを周波数解析することによっても抽出することができる。
【００６５】
消費カロリーは、予めシステムが提示するリズムの消費カロリーを求めておき、システムが提示するリズムを、トレーニング動作を認識して求めたリズムと照合した結果から計算する。リズムは、表示部１３０に表示されたインストラクター１１０６によるシェイプアップダンスと、スピーカ１３１から出力される音楽で提示する。トレーニングの過不足は、ユーザの身長と体重から求めた消費カロリーの目標値と、トレーニングにより消費したカロリーを比較した結果から判断して、判断結果をユーザに提示する。
【００６６】
本実施例によれば、個々のユーザに最適なトレーニング動作の目標を提示することができ、ユーザの健康増進に寄与する。
【図面の簡単な説明】
【００６７】
【図１】本実施例の機器操作装置のハードウェア構成を示した図。
【図２】本実施例の機器操作装置のソフトウェア構成を示した図。
【図３】表示部１３０に表示するモニタ画面３００の一例を示す図。
【図４】超解像処理部２０１による超解像処理の原理を説明する図。
【図５】リモコン像から卓越した色相成分を抽出する処理フローを示す図。
【図６】色相特徴の内、背景画像には含まれない色相成分だけを抽出する処理フローを示す図。
【図７】リモコン像を画面内で検出する処理フローを示す図。
【図８】色相ヒストグラムの作成例を示す図。
【図９】メニュー選択部２０３のカーソル位置決定ルールを説明する図。
【図１０】録画コンテンツの関連画像を表示するモニタ画面の一例を示す図（実施例２）。
【図１１】トレーニングシステムに適用した例を説明する図（実施例３）。
【符号の説明】
【００６８】
１０１…ＣＰＵ
１０２…ＲＯＭ
１０３…ＲＡＭ
１０４…ネットワークインターフェース
１０５…グラフィックコントローラ
１０６…ＶＲＡＭ
１０７…ユーザインターフェースコントローラ
１０８…操作部
１０９…受光部
１１０…カメラ
１１３…赤外光投光器
１２０…リモコン
１２４…カーソル移動ボタン
１２５…赤外光発光部
１３０…表示部
２００…機器操作処理部
２０１…超解像処理部
２０２…位置検出部
２０３…メニュー選択部
２０４…コマンド起動部
３００…モニタ画面。
【技術分野】
【０００１】
本発明は、映像表示機器などに取り付けたカメラでリモコンの位置を検出して、検出位置の情報から機器の操作コマンドに変換する機器操作装置に関する。
【背景技術】
【０００２】
機器操作装置の背景技術として、特許文献１には、モニタ画面に取り付けられた光センサが受光したリモコンの光信号の光量からリモコンの動きを検出して、これらと１対１に対応した家電操作コマンドに変換する家電操作装置が開示される。また特許文献２には、モニタ画面に取り付けられたカメラで撮影されたリモコンの動きを検出して、リモコンの動きと１対１に対応した家電操作コマンドに変換するリモート操作装置が開示される。これらの技術は、機器操作を容易に行うために、リモコンの動きに対応したコマンドをモニタ画面に表示されたメニューと対応付けたユーザインタフェースを構成した点が共通している。
【０００３】
この構成の機器操作装置を従来のボタン式リモコンを用いた機器操作装置の代わりに用いると、リモコンの上下左右ボタンを用いる場合と同等の機器操作ができるようになり、機器の操作が容易になる。さらにこの構成の機器操作装置を従来のボタン式リモコンを用いた機器操作装置と併用した場合には、メニュー形式のユーザインタフェースを併せ用いることによりリモコンのボタン数を減らすことができるため、リモコンのボタンに対応した機器操作コマンドを覚える負担を減らすことができる。
【０００４】
【特許文献１】特開２００７−１０４５６７号公報
【特許文献２】特開２００４−３５６８１９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
テレビなどの映像表示機器はインターネットに接続する機能や録画機能が付加されることで、従来放送に加えてインターネット放送やケーブルテレビ放送が供給するコンテンツと、これらの放送を録画したコンテンツを含めて視聴することができる。このような膨大な数のコンテンツを快適に視聴するため、従来のテレビには無い次の機能が必要になる。
（１）膨大なコンテンツから見たいコンテンツを検索・表示する機能。
（２）コンテンツに含まれるシーンを検索したり、シーンに関連するインターネットコンテンツを検索する機能。
（３）テレビに付属したリムーバブルディスクなどの付属機器を操作する機能。
【０００６】
このように、テレビの機能はパーソナルコンピュータと同等に複雑になるので、画面に表示するメニューのデザインも、パーソナルコンピュータと同等に複雑で精緻になる。
【０００７】
しかしながら特許文献１に開示された技術は、リモコンが発光出力する光信号の光量からリモコンの動きを検出する方式であるため、センサ個体差の影響を受け易く、リモコンの位置検出精度がモニタ画面の解像度よりもはるかに低くなる。よって、テレビ画面に表示するメニューのデザインを精緻にした場合に、パーソナルコンピュータのマウスと同等の操作でメニューの選択を行うことは困難である。
【０００８】
また特許文献２に開示された技術は、カメラでリモコンの動きを検出するものであるが、その明細書に「本発明は動き検出性能を向上するためのものではない」（段落［００３２］）と記載されるように、検出精度向上への配慮がなく、パーソナルコンピュータのマウスと同等の操作性は期待できない。
【０００９】
本発明の目的は、カメラによるリモコン位置の検出精度を向上させ、パーソナルコンピュータのマウス操作と同等の操作で、画面に表示されるメニューの選択を行える機器操作装置を提供することである。
【課題を解決するための手段】
【００１０】
本発明は、映像表示機器に取り付けたカメラでリモコンを撮影し、撮影した画像からリモコンの位置を検出して操作コマンドに変換する機器操作装置であって、カメラで撮影した画像を超解像処理して高解像度化する超解像処理部と、超解像処理部の処理した画像からリモコンの位置を検出する位置検出部と、カーソル位置決定ルールに従い、位置検出部の検出したリモコンの位置から映像表示機器のモニタ画面内の対応するメニューを選択するメニュー選択部とを備える。
【００１１】
ここに位置検出部は、予めリモコンの外装に配色された色相特徴を記憶手段に記憶し、カメラで撮影した画像の色相を記憶手段に記憶している色相特徴と照合することでリモコンの位置を検出する。また位置検出部は、リモコンが移動している期間だけリモコンの位置を検出する。
【発明の効果】
【００１２】
本発明によれば、画面に表示された精緻で複雑なメニューに対し、パーソナルコンピュータのマウスと同等の操作で高精度にメニューの選択を行える機器操作装置を提供することができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明による機器操作装置の実施形態（実施例）を図面を用いて説明する。ただし、本発明は以下の実施例に限定されるものではない。
【実施例１】
【００１４】
本実施例は、テレビジョン受像機（以下、テレビ）やパーソナルコンピュータ（パソコン）のように、放送番組や映画などの映像コンテンツや情報を表示する映像表示機器に適用した機器操作装置の場合である。本実施例では、映像表示機器に取り付けたカメラで操作用リモコンを撮影し、撮影画像からリモコンの位置を高精度に検出して映像表示機器への操作コマンドに変換するものである。
【００１５】
図１は、本実施例の機器操作装置のハードウェア構成を示した図である。（ａ）は装置本体を、（ｂ）はこれに付属するリモートコントロール装置の一例を示す。本実施例では、映像表示機器としてテレビに適用した場合を示す。ただし図１では、テレビ特有の機能を実行する処理部（例えばチューナなど）については省略し、機器操作処理を行う部分を中心に説明する。
【００１６】
本例の装置は、内部バスライン１００を介して、装置全体の動作を制御する中央制御ユニット（ＣＰＵ）１０１と、ＲＯＭ１０２やＲＡＭ１０３、ネットワークインターフェース（ネットワークＩ／Ｆ）１０４、グラフィックコントローラ１０５、ユーザインターフェースコントローラ（ユーザＩ／Ｆ）１０７を接続する。
【００１７】
ＣＰＵ１０１は機器操作処理を実行する制御手段として機能し、機器操作処理を実行させるプログラムはＲＯＭ１０２又はＲＡＭ１０３の記憶手段に実装している。また、ＲＯＭ１０２やＲＡＭ１０３は、リモコン像を検出するための情報（後述する色相特徴）を記憶する。ＲＡＭ１０３などの記憶手段としては、半導体メモリや着脱自在のメモリカードなどを用いる。なお、テレビ本体において放送番組を録画するハードディスクを備えていれば、これを記憶手段として使用することもできる。
【００１８】
ネットワークＩ／Ｆ１０４は、外部のネットワーク（インターネットなど）と接続する。これには、アナログ電話回線用のアナログモデム、ＩＳＤＮ回線用のモデム、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ又はモデム、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ：構内情報通信網）用のアダプタ、無線電話用のアダプタ、Ｂｌｕｅｔｏｏｔｈ（商標）などの無線通信用のアダプタなどが使用できる。
【００１９】
グラフィックコントローラ１０５は、操作に用いる各種情報や動画の表示制御を行う。そのために映像データを保持するＶＲＡＭ１０６を接続し、描画された映像を表示部１３０に表示する。表示部１３０としては、液晶表示パネル、プラズマディスプレイパネルなどの表示手段を使用する。また表示部１３０では、チューナが受信したテレビ放送や外部から入力した映像信号による映像を表示する。さらにグラフィックコントローラ１０５の制御により、これらの映像信号による映像とインターネットのウェブページから取得した映像とを、１つの画面上に同時に表示させたりキーワードなどの文字情報を重ねて表示させることも可能である。
【００２０】
ユーザＩ／Ｆ１０７は、各種操作キーや操作ボタンなどで構成される操作部１０８を接続し、またリモートコントロール装置（リモコン）１２０からの操作を受け付ける。その際受光部１０９は、リモコン１２０からの赤外線信号を受光（受信）する。受け付けた操作データはＣＰＵ１０１に供給される。また本例の機器操作装置では、カメラ１１０を取り付けてリモコン１２０を撮影する。そして撮影したリモコン画像をユーザＩ／Ｆ１０７を介して判別し、リモコン１２０の位置を操作コマンドに変換する構成としている。
【００２１】
リモコン１２０は、パソコンのマウスと同様の感覚で操作可能とする。その構成は、マウスの左ボタンと右ボタンに対応した２つのボタン１２１，１２２と、マウスのホイールに対応したホイール１２３と、表示部１３０に表示されたカーソルを移動させるときだけ押すカーソル移動ボタン１２４を備える。さらに、カーソル移動ボタン１２４が押されているときに所定の赤外光信号を発光する赤外光発光部１２５を備える。またリモコン１２０の外装の一部（例えば発光部１２５の存在する前面側）１２６は、リモコン１２０を周囲と区別するために、使用する環境（室内）に存在しない色で配色する。
【００２２】
本実施例のリモコンによれば次の効果がある。マウスがマウスパッド上に置かれた状態を前記カーソル移動ボタン１２４が押された状態と対応付けることと、パソコンのマウスと同じ構成でボタン１２１，１２２やホイール１２３を備えることにより、マウスと同じ操作ができるようになる。さらに、リモコンを使用する環境に存在しない色をリモコンの外装に配色することにより、色情報でリモコンを識別することができる。
【００２３】
図２は、本実施例の機器操作装置のソフトウェア構成を示した図である。本実施例の機器操作装置は、カメラ１１０で撮影した画像からリモコン１２０の位置を検出して、リモコンの位置と１対１に対応した操作コマンドに変換する機能を有するものであり、そのための構成を説明する。
【００２４】
ユーザＩ／Ｆ１０７はカメラ制御部１１１を備え、カメラ１１０の撮影を制御する。カメラ１１０が撮影した画像は、カメラ制御部１１１のフレームメモリに記憶される。照度検出部１１２は、フレームメモリに記憶された画像を分析して室内の照度（明るさ）を求める。照度が閾値よりも低い場合には、前記カメラ１１０に取り付けた赤外光投光器１１３から赤外光を発光させ、暗い室内でのカメラの撮影を可能にする。なお赤外光投光器１１３は、リモコン１２０に備えた赤外光発光部１２５とは異なる赤外光を発光させるようにする。
【００２５】
ＣＰＵ１０１は撮影画像を解析して機器の操作処理を行うが、ＲＯＭ１０２又はＲＡＭ１０３には、機器操作処理のプログラムが格納されている。機器操作処理部（プログラム）２００は、超解像処理部２０１と、位置検出部２０２と、メニュー選択部２０３と、コマンド起動部２０４とから構成される。機器操作処理部２００の出力映像は、グラフィックコントローラ１０５の制御でＶＲＡＭ１０６に保持されて表示部１３０（モニタ画面３００）に表示される。
【００２６】
超解像処理部２０１は、カメラ１１０が撮影した画像を超解像処理し解像度を２倍程度に高めた高解像度の画像を出力する。位置検出部２０２は、超解像処理部２０１が出力した画像からリモコン像を検出する。この検出処理は、リモコン像が移動している時だけ行い、さらにカーソル移動ボタン１２４が押されているときだけリモコン位置を出力する。
【００２７】
メニュー選択部２０３は、位置検出部２０２が出力したリモコン位置とモニタ画面内の１点を対応付けるカーソル位置決定ルールを備える。該カーソル位置決定ルールに基づいて対応付けられたモニタ画面上の１点にカーソルを配置して、このカーソル位置に対応したメニューを選択しハイライトする。コマンド起動部２０４は、メニュー選択部２０３が選択したメニューに対応する機器操作コマンドを起動する。
【００２８】
図３は、表示部１３０に表示するモニタ画面３００の一例を示す図である。本実施例では、モニタ画面３００にはパソコンと同等に精緻なデザインにしたメニューを表示する。また、リモコン１２０の位置検出精度をモニタ画面３００の解像度と同等にして、マウスと同等の操作でメニューの選択を行えるようにしている。表示部１３０の上部には、カメラ１１０と赤外光投光器１１３とを一体化した構成で取り付けている。赤外光投光器付カメラとすることで暗い部屋での撮影を可能とし、リモコン位置を高精度に検出することができる。
【００２９】
モニタ画面３００には、パソコンと同様のメニューボックス３０１が表示され、メニューボックス３０１にはメニュー３０２，３０３を含む複数メニューがリスト形式で表示される。メニューボックス３０１は階層構造になっており、例えばメニュー３０３を選択するとメニュー３０３がハイライト（四角枠で表現）された後、それにリンクする下位階層のメニューボックス３０４が表示される。このメニューボックス３０４にも、メニュー３０５を含む複数メニューがリスト形式で表示される。この例では、下位階層のメニューボックス３０４のメニュー３０５をカーソル３０６で選択した場面を示している。
【００３０】
以下、機器操作処理部２００の行う各処理について詳細に説明する。
図４は、超解像処理部２０１による超解像処理の原理を説明する図である。まず（ａ）のように、隣接する複数（ここでは３枚）の原画像４０１〜４０３を準備し、小数精度で位置合わせを行う。（ｂ）は、基準位置とする画像４０１に対して他の画像４０２，４０３を位置合わせした状態を示す。位置合わせは、回転や拡大・縮小などの動きも考慮する。こうして標本化位置が整数画素位置からずれた１枚の合成画像を生成する。その後（ｃ）のように、目的とする解像度で再度サンプリングしなおして高解像画像４０４を生成する。再サンプリングにあたっては、ローパスフィルタを用いて画素数（サンプリング点）を補間して増やす方法、あるいは、点広がり関数の逆関数を適用するなどの方法で周辺画素の影響を畳み込みながら、画素値を決定する。その結果、原画像の高周波成分を復元し、原画像に対して解像度が２倍程度の高解像度画像を生成する。この超解像処理は、画像の中の被写体（リモコン）が移動している連続画像に対して有効であるが、被写体が静止している場合には解像度の改善効果は得られない。よって、リモコンが移動している期間の画像出力だけ利用してリモコンの位置を検出する。
【００３１】
超解像処理により解像度が２倍程度改善する。その結果、例えば、パソコンに接続して用いる３０万画素程度のＣＣＤカメラの解像度であっても、テレビ画面の解像度と同等に改善することができる。よって、高解像度の高価なカメラを導入することなく、リモコンの位置検出精度を向上し、パーソナルコンピュータのマウスと同等の操作で高精度にメニューの選択を行うことができる。
【００３２】
次に、超解像処理部２０１が出力する画像から、位置検出部２０２がリモコン像の位置を検出する処理を説明する。
本実施例では、リモコン像を検出するため、予め使用するリモコン１２０の外装の一部１２６の色相特徴を抽出して、ＲＯＭ１０２やＲＡＭ１０３の記憶手段に保存しておく（学習工程）。そして、リモコン操作中にカメラ１１０で撮影した画像からこの色相特徴を検出し、記憶手段に保存している色相特徴と照合することで、リモコン１２０の位置を検出する処理を行う（検出工程）。
【００３３】
一般に知覚色は色相、明度、彩度の３属性で表され、反射率が低い材質に配色した色の色相成分は周囲の明るさの影響を受けにくい。そこで、色情報から明度成分、彩度成分を取り除いた色相成分だけを抽出してリモコン像の検出処理に用いるようにした。
この方式によれば、装置専用のリモコンを紛失した場合などに、同じ配色（色相）の代用品をリモコンとして用いることが可能になる。
【００３４】
リモコン像の色相特徴を抽出する処理（学習工程）は、装置の出荷時あるいは購入時に行う。まずカメラでリモコンを撮影し、超解像処理部２０１が出力した画像を分析して、卓越した色相成分（１次）を抽出する（図５）。その後、抽出した色相成分の内、背景画像に含まれる色相成分を削除して、リモコン特有の色相特徴（２次）を記憶手段に保存する（図６）。
【００３５】
図５は、リモコン像から卓越した色相成分を抽出する処理フローを示す図である。
ステップＳ５０１で、画像の切り出し窓を画像空間上の初期位置に固定する。この切り出し窓は、リモコン像の大きさに合わせた所定サイズの領域を有する。そしてこの初期位置は、切り出し窓に対象とするリモコン像が含まれる位置である。ステップＳ５０２で、切り出し窓に含まれる画像データを切り出す。
【００３６】
ステップＳ５０３で、切り出した画像データから色相値のヒストグラムを作成する。この色相ヒストグラムは、各色相値に属する画素数を計数して作成する。そして、作成したヒストグラムを、配列の引数を色相値とし配列の要素を色相値に属する画素数とした配列形式で記憶手段に記憶する。
【００３７】
ステップＳ５０４では、Ｓ５０３で作成した色相ヒストグラムの配列の要素を順に参照する。ステップＳ５０５では、参照した配列の要素、もしくはその近傍（隣接する要素）に０データがあるかどうかを判定する。判定の結果、近傍に０データが存在する場合には、その配列要素は照合工程で誤動作を生じる恐れがある。そこで、ステップＳ５０６で該当する配列の要素を前記ヒストグラム配列から削除する。判定の結果、近傍に０データが存在しない場合には、ステップＳ５０７で該当する配列の要素を色相特徴として残す。すべての配列の要素の参照が完了したら、削除されずに残った配列の要素を卓越した色相特徴（１次）として決定し、記憶手段に記憶する。
【００３８】
ここで図８は、色相ヒストグラムの作成例を示す図である。（ａ）は、画像の切り出し窓を１辺８画素の正方形とした場合で、これに含まれる画素の色相値を０〜９で表示したものである。（ｂ）は、ステップＳ５０３で作成される色相ヒストグラムを示す。また（ｃ）は、ステップＳ５０７で得られる色相ヒストグラム（色相特徴）である。
【００３９】
続いて図６は、前記卓越した色相特徴（１次）の内、背景画像には含まれない色相成分だけを抽出する処理フローを示す図である。
ステップＳ６０１で、前記画像切り出し窓を画面内で移動させる。ステップＳ６０２では、現在の移動位置が前記ステップＳ５０１の初期位置（すなわちリモコン像を抽出した位置）と同じかどうかを判断する。同じ場合には現在位置をスキップして、切り出し窓を次の新しい位置へ移動する。
【００４０】
現在の移動位置が初期位置と異なる場合には、ステップＳ６０３において、切り出し窓に含まれる画像データを切り出す。ステップＳ６０４では、切り出した画像データの中で、前記Ｓ５０７で記憶した色相特徴（１次）を有する画素数を計数する。
【００４１】
ステップＳ６０５では、Ｓ６０４において計数された画素数を予め定めた閾値と比較する。計数値が閾値を超える場合には、現在の切り出し窓の位置の背景画像にリモコン像と同じ色相特徴が含まれていることになる。その場合には、当該色相特徴は、リモコン像の色相特徴として採用することは妥当でないと判断し、ステップＳ６０６に進んで当該色相特徴を削除する。計数値が閾値を超えていない場合には、現在の切り出し窓の位置の背景画像にはリモコン像と同じ色相特徴が含まれていないので、当該色相特徴をリモコン像の色相特徴として採用する。そしてステップＳ６０７に進み、当該データをリモコン像の色相特徴（２次）と決定して記憶手段に記憶する。
【００４２】
ステップＳ６０８において、画像切り出し窓の画面内移動を完了したかどうかを判断する。完了した場合には処理フローを終了し、完了していない場合には、ステップＳ６０１に戻り上記フローを繰り返す。これらの処理フローにより、卓越した色相特徴（１次）の中から背景画像には含まれない色相成分を抽出して、リモコン特有の色相特徴（２次）を得ることができる。
【００４３】
次に図７は、リモコン像を画面内で検出する処理フローを示す図である。この処理では、カメラで取り込んだ画像の色相を前記記憶手段に記憶された色相特徴（２次）と照合し、色相特徴の一致する領域を探し出すことで、リモコンの位置を検出するものである。
【００４４】
ステップＳ７０１で、画像切り出し窓を画面内で移動させる。ステップＳ７０２で、移動先の各位置において画像データを切り出す。ステップＳ７０３では、切り出した画像データから前記ステップＳ６０７で記憶手段に記憶した色相特徴（２次）を有する画素数を計数する。各移動位置での計数結果は記憶手段に記憶しておく。ステップＳ７０４では、画像切り出し窓の画面内移動を完了したかどうかを判断し、完了していない場合にはステップＳ７０１に戻る。
【００４５】
画像切り出し窓の画面内移動が完了したら、ステップＳ７０５では、計数の結果、色相特徴（２次）を有する画素数が最大となる画像切り出し窓の位置とそのときの画素数を、対となる１つの検出データとして記憶手段に記憶する。上記ステップＳ７０１〜Ｓ７０４において、画面中にリモコン像が写っている場合には、記憶手段に記憶された色相特徴（２次）が、１個もしくは複数個検出される。
【００４６】
ステップＳ７０６では、ステップＳ７０５で記憶した検出データ（画像切り出し窓の位置とそのときの画素数の対となる全てのデータ）が、リモコン像の色相特徴として妥当か否かを判断する。この判断の方法を説明する。リモコン像の色相特徴の配置がカメラとの距離によらず一定であると仮定すると、前記ステップＳ６０７で記憶手段に記憶した色相特徴（２次）の画素数比率と、ステップＳ７０５で記憶手段に記憶した検出データの色相特徴の画素数比率は一致するはずである。もしもそれらの比率が一致しない場合には、リモコンの検出に失敗したと判断して、ステップＳ７０７にて検出データを消去する。
【００４７】
ステップＳ７０６にて比率が一致した場合には、リモコンの検出に成功したと判断する。ステップＳ７０８で、ステップＳ７０５で検出した１個もしくは複数個の画像切り出し窓の位置を平均し、リモコン像の中心位置と決定する。このようにして、リモコン像の位置を精度良く検出することができる。
【００４８】
ここで、ステップＳ７０８で計算したリモコン像の位置検出結果を、図１（ｂ）に示すリモコン１２０の赤外光発光部１２５を発光させることで、位置検出結果の確度を向上することができる。この場合には、赤外光発光部１２５の発光は明度が高い輝点として撮影される。また前記超解像処理部２０１は、画像の明度情報の解像度を高めるために有効である。そして、所定レベルより明度が高い輝点の位置を、ステップＳ７０８で計算したリモコン像の位置の近傍で探す。リモコン像の位置の近傍から検出できれば、計算したリモコン像の位置検出結果は正確なものであり、背景画像に含まれる各種ノイズの影響を回避することができる。
なお、カメラ１１０に赤外光透過フィルタを装着して、赤外光発光部１２５が発光する輝点のみを検出する場合には、リモコン像の色相特徴を抽出する処理は不要になる。
【００４９】
本実施例の位置検出部においては、超解像処理を施したリモコン像から位置検出を行うようにしている。ただし超解像処理は、画面内で動いている画像に対して有効であるため、リモコンが静止している場合の画像データは解析に用いないように制御する。すなわち、リモコン操作における移動開始直前の静止期間、及び移動終了後の静止期間のデータを除外することで、リモコンの位置検出の精度低下を防ぐことができる。静止期間のデータを除外しても、リモコンの操作性が劣化することはない。
【００５０】
次に、メニュー選択部２０３によるカーソル位置決定機能について説明する。メニュー選択部２０３は、前記位置検出部２０２で検出したリモコン像の位置に応じて、表示部のモニタ画面のカーソル位置に変換し、画面に表示されているメニューを選択する。
【００５１】
図９は、カーソル位置決定ルールを説明する図で、カメラの撮像系とモニタ画面を示す。カメラの撮像系として、カメラ１１０と、カメラ光軸に垂直な面９００（９００ａ−９００ｂ−９００ｃ−９００ｄ）を仮定してモデル化する。垂直な面９００は、カメラ１１０の撮像面（ＣＣＤセンサなど）を投影したもので、以下、撮像面９００と呼ぶ。カメラ１１０で撮影したリモコン像（リモコン位置）を、表示部１３０のモニタ画面９００’（９００ａ’−９００ｂ’−９００ｃ’−９００ｄ’）に表示する。ここにカーソル位置決定ルールは、撮像面９００内のリモコン像の位置がＲ１からＲ２へ移動するとき、モニタ画面９００’内のカーソル位置がＲ１’からＲ２’へ相対的に移動するように定める。このようにカーソル位置決定ルールにより、リモコンの相対移動量と移動方向をカーソルの移動量と移動方向に対応付けることができる。
【００５２】
このとき、撮像面９００の解像度はリモコン像の位置決め精度で決まる。本実施例では超解像処理２０１を採用することで、リモコン像の位置決め精度を、モニタ画面９００’の１画素程度まで向上させることができる。その結果、パソコンのマウスと同等の操作性（分解能）を実現することができる。すなわち、ユーザは１回のリモコン操作で、モニタ画面９００’の任意の位置を１画素程度の単位で位置決めすることができる。
【００５３】
撮像面９００の解像度が不足すると次のようになる。例えば、撮像面９００の解像度がモニタ画面９００’の解像度の１／２である場合には、前記撮像面９００でリモコンを画面一杯の距離だけ動かしても、モニタ画面９００’ではカーソルは画面の１／２の距離しか動かすことができない。すなわち、リモコン像の位置がＲ３からＲ４へ移動すると、カーソル位置はＲ３’からＲ４’まで１／２の距離だけ移動するにすぎない。よって、Ｒ３’から所望位置Ｒ５’までカーソルを動かすためには、同じリモコン操作を２回行う必要がありユーザにとって使い勝手が悪い。
【００５４】
このように本実施例による機器操作装置では、リモコンの位置検出精度をモニタ画面の解像度と同等に向上することができるので、パソコンと同等に精緻にデザインしたメニューが表示されたモニタ画面において、マウスと同等の操作でメニューの選択を行うことができる。
【００５５】
本実施例による機器操作装置は、テレビなどの映像表示機器以外の機器にも適用可能であることは言うまでもない。例えば、画面上に精緻にデザインされた複雑なメニューを表示して、これを精度良く選択するようなゲーム機器などにも有効に適用できる。
【実施例２】
【００５６】
本実施例は、機器操作装置を録画機能付きテレビに適用し、カメラを利用して録画コンテンツの関連画像を作成表示するものである。
【００５７】
図１０は、録画コンテンツの関連画像を表示するモニタ画面の一例を示す図である。実施例１における前記カメラ１１０を、リモコン操作だけでなく一般の被写体を撮影する手段として用いる。この場合、録画コンテンツに関連するものを撮影し、撮影画像を録画コンテンツと対応付けて登録するユーザインタフェースを構成する。関連する画像の例としては、操作者画像、ビデオ記録メディアのケース、コンテンツに関連した思い出の品などが挙げられる。
【００５８】
図１０のモニタ画面１０００では、カメラで撮影した関連画像であるスナップ写真を表示する欄１００１と、コンテンツのサムネール画像を表示する欄１００２、及び録画タイトルを表示する欄１００３で構成されている。ここではスナップ写真の例として、スポーツ番組を録画した人物の写真１００４、スポーツ大会で獲得した優勝カップの写真１００５、ドラマ番組を録画した人物の写真１００６、学芸会のビデオテープを保存するケースの写真１００７が表示されている。カーソル１０１０でスナップ写真、サムネール画像、録画タイトルのいずれかを選択すれば、選択したコンテンツを視聴することができる。
【００５９】
本例のユーザインタフェースを録画機能付テレビに適用すると、スナップ写真によりコンテンツを録画したユーザを容易に判断することができるので、他のユーザによるコンテンツ削除、記録メディアへの保存などのコンテンツ管理を行い易くなる。
【００６０】
また、カメラの前にユーザが居ない状態で撮影した画像を保存しておき、新しく撮影した画像と比較する方法で視聴者の有無が分かる。この情報を現在放送中のテレビ番組を視聴しているユーザの一時離席検出に利用して、一時離席を検出した時に現在放送中の番組の録画を開始し、前記ユーザが再び席に戻ったことを検出したら後追い再生を開始するという応用も可能である。
【００６１】
このようにカメラで撮影された画像には、リモコンの位置検出の他に様々な情報が含まれており、これらの情報をリモコンの操作と結びつけることで、ユーザの使い勝手を向上させることができる。
【実施例３】
【００６２】
本実施例は、機器操作装置をユーザの消費カロリーをコントロールするトレーニングシステムに適用した場合である。
【００６３】
図１１は、本実施例によるトレーニングシステムを説明する図である。このシステムは、表示部１３０に取り付けたカメラ１１０を用いて、ユーザのトレーニング動作を認識して消費カロリーを計算して表示すると共に、ユーザの身長と体重から求めた消費カロリーの目標値を提示してトレーニングの過不足を知らせるものである。
【００６４】
トレーニング動作の認識は、ユーザ１１０１の両手と両足に取り付けたカラーバンド１１０２、１１０３、１１０４、１１０５の動きからリズムを抽出して、このリズムをシステムが提示するリズムと照合することにより行う。カラーバンドの動きは、表示部１３０に取り付けたカメラ１１０で撮影した画像に図５〜図７で説明した処理フローを適用して求める。カラーバンドの動きのリズムは、例えば、カラーバンドの単位時間あたりの移動量（すなわち「速さ」）を時系列のグラフにプロットして、このグラフを周波数解析することによっても抽出することができる。
【００６５】
消費カロリーは、予めシステムが提示するリズムの消費カロリーを求めておき、システムが提示するリズムを、トレーニング動作を認識して求めたリズムと照合した結果から計算する。リズムは、表示部１３０に表示されたインストラクター１１０６によるシェイプアップダンスと、スピーカ１３１から出力される音楽で提示する。トレーニングの過不足は、ユーザの身長と体重から求めた消費カロリーの目標値と、トレーニングにより消費したカロリーを比較した結果から判断して、判断結果をユーザに提示する。
【００６６】
本実施例によれば、個々のユーザに最適なトレーニング動作の目標を提示することができ、ユーザの健康増進に寄与する。
【図面の簡単な説明】
【００６７】
【図１】本実施例の機器操作装置のハードウェア構成を示した図。
【図２】本実施例の機器操作装置のソフトウェア構成を示した図。
【図３】表示部１３０に表示するモニタ画面３００の一例を示す図。
【図４】超解像処理部２０１による超解像処理の原理を説明する図。
【図５】リモコン像から卓越した色相成分を抽出する処理フローを示す図。
【図６】色相特徴の内、背景画像には含まれない色相成分だけを抽出する処理フローを示す図。
【図７】リモコン像を画面内で検出する処理フローを示す図。
【図８】色相ヒストグラムの作成例を示す図。
【図９】メニュー選択部２０３のカーソル位置決定ルールを説明する図。
【図１０】録画コンテンツの関連画像を表示するモニタ画面の一例を示す図（実施例２）。
【図１１】トレーニングシステムに適用した例を説明する図（実施例３）。
【符号の説明】
【００６８】
１０１…ＣＰＵ
１０２…ＲＯＭ
１０３…ＲＡＭ
１０４…ネットワークインターフェース
１０５…グラフィックコントローラ
１０６…ＶＲＡＭ
１０７…ユーザインターフェースコントローラ
１０８…操作部
１０９…受光部
１１０…カメラ
１１３…赤外光投光器
１２０…リモコン
１２４…カーソル移動ボタン
１２５…赤外光発光部
１３０…表示部
２００…機器操作処理部
２０１…超解像処理部
２０２…位置検出部
２０３…メニュー選択部
２０４…コマンド起動部
３００…モニタ画面。
【特許請求の範囲】
【請求項１】
映像表示機器に取り付けたカメラでリモコンを撮影し、撮影した画像から該リモコンの位置を検出して操作コマンドに変換する機器操作装置において、
上記カメラで撮影した画像を超解像処理して高解像度化する超解像処理部と、
該超解像処理部の処理した画像からリモコンの位置を検出する位置検出部と、
カーソル位置決定ルールに従い、上記位置検出部の検出したリモコンの位置から上記映像表示機器のモニタ画面内の対応するメニューを選択するメニュー選択部とを備えたことを特徴とする機器操作装置。
【請求項２】
請求項１記載の機器操作装置において、
前記位置検出部は、予め前記リモコンの外装に配色された色相特徴を記憶手段に記憶し、前記カメラで撮影した画像の色相を上記記憶手段に記憶している色相特徴と照合することで前記リモコンの位置を検出することを特徴とする機器操作装置。
【請求項３】
請求項１または２に記載の機器操作装置において、
前記位置検出部は、前記リモコンが移動している期間だけ該リモコンの位置を検出することを特徴とする機器操作装置。
【請求項４】
請求項１ないし３のいずれか１項に記載の機器操作装置において、
前記リモコンは、マウスの右ボタンと左ボタンに対応した２つのボタンと、マウスのホイールに対応したホイールと、モニタ画面に表示されたカーソルを移動させるときだけ押すカーソル移動ボタンと、該カーソル移動ボタンが押されているときに所定の赤外光信号を発光する赤外光発光部を備え、
前記リモコンの外装の一部は、該リモコンを使用する環境に存在しない色で配色されていることを特徴とする機器操作装置。
【請求項５】
請求項４記載の機器操作装置において、
前記カメラに赤外光投光器を取り付け、室内の照度が閾値よりも低い場合に該赤外光投光器から赤外光を発光させることを特徴とする機器操作装置。
【請求項６】
請求項１記載の機器操作装置において、
前記カメラにより表示する映像コンテンツに関連するものを撮影し、撮影した画像を映像コンテンツと対応付けて登録するユーザインタフェースを備えることを特徴とする機器操作装置。
【請求項１】
映像表示機器に取り付けたカメラでリモコンを撮影し、撮影した画像から該リモコンの位置を検出して操作コマンドに変換する機器操作装置において、
上記カメラで撮影した画像を超解像処理して高解像度化する超解像処理部と、
該超解像処理部の処理した画像からリモコンの位置を検出する位置検出部と、
カーソル位置決定ルールに従い、上記位置検出部の検出したリモコンの位置から上記映像表示機器のモニタ画面内の対応するメニューを選択するメニュー選択部とを備えたことを特徴とする機器操作装置。
【請求項２】
請求項１記載の機器操作装置において、
前記位置検出部は、予め前記リモコンの外装に配色された色相特徴を記憶手段に記憶し、前記カメラで撮影した画像の色相を上記記憶手段に記憶している色相特徴と照合することで前記リモコンの位置を検出することを特徴とする機器操作装置。
【請求項３】
請求項１または２に記載の機器操作装置において、
前記位置検出部は、前記リモコンが移動している期間だけ該リモコンの位置を検出することを特徴とする機器操作装置。
【請求項４】
請求項１ないし３のいずれか１項に記載の機器操作装置において、
前記リモコンは、マウスの右ボタンと左ボタンに対応した２つのボタンと、マウスのホイールに対応したホイールと、モニタ画面に表示されたカーソルを移動させるときだけ押すカーソル移動ボタンと、該カーソル移動ボタンが押されているときに所定の赤外光信号を発光する赤外光発光部を備え、
前記リモコンの外装の一部は、該リモコンを使用する環境に存在しない色で配色されていることを特徴とする機器操作装置。
【請求項５】
請求項４記載の機器操作装置において、
前記カメラに赤外光投光器を取り付け、室内の照度が閾値よりも低い場合に該赤外光投光器から赤外光を発光させることを特徴とする機器操作装置。
【請求項６】
請求項１記載の機器操作装置において、
前記カメラにより表示する映像コンテンツに関連するものを撮影し、撮影した画像を映像コンテンツと対応付けて登録するユーザインタフェースを備えることを特徴とする機器操作装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００９−４８４７９（Ｐ２００９−４８４７９Ａ）
【公開日】平成２１年３月５日（２００９．３．５）
【国際特許分類】
【出願番号】特願２００７−２１５０２６（Ｐ２００７−２１５０２６）
【出願日】平成１９年８月２１日（２００７．８．２１）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
【公開日】平成２１年３月５日（２００９．３．５）
【国際特許分類】
【出願日】平成１９年８月２１日（２００７．８．２１）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
[ Back to top ]