入力装置
【課題】情報端末装置、パーソナルコンピュータなどを遠隔操作するときのアルゴリズムを簡素化すると共に、処理データ量を少なくして演算量、メモリ使用量を低減させ、装置全体の価格を大幅に低減すると共にリアルタイムでパソコンなどを遠隔操作可能なビデオ映像による入力装置を提供する。
【解決手段】ウェブカメラ４、６によってユーザを撮影して得られた低解像度のカラー画像に対し、グレー化処理、画像分割／２値化処理、フレーム間差分処理、ヒストグラム処理、活動矩形領域抽出処理、活動矩形領域選択処理、仮想カーソル制御処理／画面制御処理を行って、背後にいる人の動きなどに影響されることなく操作者の手の動きを検知し、仮想カーソル２５のサイズ制御、位置制御、色制御、クリック制御、操作対象画面の拡大制御、縮小制御、回転制御、上下スクロール制御、左右スクロール制御などを行う。
【解決手段】ウェブカメラ４、６によってユーザを撮影して得られた低解像度のカラー画像に対し、グレー化処理、画像分割／２値化処理、フレーム間差分処理、ヒストグラム処理、活動矩形領域抽出処理、活動矩形領域選択処理、仮想カーソル制御処理／画面制御処理を行って、背後にいる人の動きなどに影響されることなく操作者の手の動きを検知し、仮想カーソル２５のサイズ制御、位置制御、色制御、クリック制御、操作対象画面の拡大制御、縮小制御、回転制御、上下スクロール制御、左右スクロール制御などを行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報端末装置やパーソナルコンピュータなどの情報機器に接続されて使用され、カメラによって操作者（ユーザ）の動作画像を取り込み、情報機器のカーソル操作やアプリケーションプログラムの選択及び実行などを制御する入力装置であって、特に、アルゴリズムを簡素化すると共に処理データ量を極力少なくして演算量、メモリ使用量を低減すると共に、リアルタイムでパソコンのカーソルなどを制御するようにした、ビデオ映像による入力装置に関する。
【背景技術】
【０００２】
近年、カメラでユーザを撮影して画像解析し、この画像解析結果を使用してオーディオ装置、エアコンなどの機器を操作する入力装置が種々、提案されている。
【０００３】
図３３は、このような従来の映像による入力装置を説明するための操作入力装置のブロック図である（特許文献１を参照）。
【０００４】
この図に示す操作入力装置１０１は、可視光カメラ１０６（図３４参照）などを使用してユーザを撮影しカラー画像を出力する撮像手段１０２と、撮像手段１０２から出力されるカラー画像を解析し、ユーザの手の形状を検出する手領域検出手段１０３と、予め登録されている手形状と手領域検出手段１０３から出力される手形状とを比較し、操作指示内容を判定する手操作判定手段１０４と、手操作判定手段１０４の判定内容に基づき選択メニューを音声、又はプロジェクト画像などでユーザに知らせる選択メニュー表現手段１０５と、を備えている。
【０００５】
この操作入力装置１０１は、可視光カメラ１０６で撮影したカラー画像から手領域を抽出すると共に、その手の形状がどのような形状（例えば、手を傾ける、指を曲げるなど）になっているかを判定し、この判定内容に対応する手操作指示を音声、又はプロジェクト画像などでユーザに知らせるものである。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−１０４２９７号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、このような従来の操作入力装置１０１では、ユーザの手形状を正確に検出する必要があることから、可視光カメラ１０６として手の部分を詳細に撮影できる解像度の高いカメラを使用しなければならず、操作入力装置１０１全体が高価になってしまうという問題があった。
【０００８】
また、従来の操作入力装置１０１では、手領域検出手段１０３によって処理される背景画像と現在の画像が共に解像度が高いため、ピクセル（画素）数、データ量が膨大だった。そのため、その分だけハードディスクの容量、メモリ容量などを大きくしなければならず、操作入力装置１０１全体が高価になってしまうという問題があった。
【０００９】
さらに、従来の操作入力装置１０１では、手領域検出手段１０３として図３４に示すように、差分領域抽出手段１１０、肌色領域抽出手段１１１、２値化補正手段１１２、距離算出手段１１３、中央重点補正手段１１４、手領域候補検出手段１１５、輪郭長／面積算出手段１１６、手領域決定手段１１７などを備え、複雑な演算を行わなければならないのみならず、かなり高速なＣＰＵ、又は専用回路を使用しなければリアルタイムで手の形状を検出することができないという問題があった。
【００１０】
このため、パソコンのカーソルなどを簡単に遠隔操作する入力装置として上記のような従来の操作入力装置１０１を使用することは難しく、安価なカメラが適用可能で、かつ少ない演算量、少ないメモリ量で遠隔操作入力できる入力装置の開発が強く望まれていた。
【００１１】
また、従来の操作入力装置１０１では、可視光カメラ１０６の撮影範囲内にユーザ以外の人が居て手を動かした場合に、これを検出して誤動作してしまうという問題があった。
【００１２】
本発明は、上記の事情に鑑み、請求項１では、解像度が低く安価なカメラの使用を可能にすると共に、演算量、メモリ量を大幅に少なくすることにより装置全体のコストを大幅に低減させながら、ユーザの動きを検知してパソコンのカーソルなどを遠隔操作することができ、さらにカメラの撮影範囲内にユーザ以外の人が居て手を動かした場合でも誤動作しない入力装置を提供することを目的とする。
【００１３】
また、請求項２では、パソコンなどから分離された解像度が低く安価なカメラの使用を可能にすると共に、回路規模を大幅に小さくすることにより装置全体のコストを大幅に低減させながら、ユーザの動きを検知してパソコンのカーソルなどを遠隔操作することができ、さらにカメラの撮影範囲内にユーザ以外の人が居て手を動かした場合でも誤動作しない入力装置を提供することを目的とする。
【００１４】
また、請求項３では、解像度が低く安価なカメラの使用を可能にすると共に、演算量、メモリ量、又は回路規模を大幅に小さくすることにより装置全体のコストを大幅に低減させながら、ユーザの片手動作を検知してパソコンのカーソル、操作対象画面のスクロールなどを遠隔操作することができ、さらにカメラの撮影範囲内にユーザ以外の人が居て手を動かした場合でも誤動作しない入力装置を提供することを目的とする。
【００１５】
また、請求項４では、解像度が低く安価なカメラの使用を可能にすると共に、演算量、メモリ量、又は回路規模を大幅に小さくすることにより装置全体のコストを大幅に低減させながら、ユーザの両手動作を検知して操作対象画面の拡大／縮小、操作対象画面の回転などを遠隔操作することができ、さらにカメラの撮影範囲内にユーザ以外の人が居て手を動かした場合でも誤動作しない入力装置を提供することを目的とする。
【００１６】
また、請求項５では、解像度が低く安価なカメラの使用を可能にすると共に、演算量、メモリ量、又は回路規模を大幅に小さくすることにより装置全体のコストを大幅に低減させながら、ユーザの手など動いている部分のみを正確に検知し、安定した仮想カーソル制御、クリック制御、操作対象画面制御を行い、さらにカメラの撮影範囲内にユーザ以外の人が居て手を動かした場合でも誤動作しない入力装置を提供することを目的とする。
【００１７】
また、請求項６では、解像度が低く安価なカメラの使用を可能にすると共に、演算量、メモリ量、又は回路規模を大幅に小さくすることにより装置全体のコストを大幅に低減させながら、ユーザの影などに起因する誤動作を防止し、安定した仮想カーソル制御、クリック制御、操作対象画面制御を行い、さらにカメラの撮影範囲内にユーザ以外の人が居て手を動かした場合でも誤動作しない入力装置を提供することを目的とする。
【００１８】
また、請求項７では、解像度が低く安価なカメラの使用を可能にすると共に、演算量、メモリ量、又は回路規模を大幅に小さくすることにより装置全体のコストを大幅に低減させながら、カメラで得られた画像の中からユーザの手画像より少し広い範囲に含まれる画像のみを有効にし、それ以外の画像を無効にして変化領域以外の部分に存在するノイズを除去することができ、さらにカメラの撮影範囲内にユーザ以外の人が居て手を動かした場合でも誤動作しない入力装置を提供することを目的とする。
【課題を解決するための手段】
【００１９】
本発明は、上記の目的を達成するために、請求項１では、ビデオカメラで得られた操作者の画像を処理して、操作者の動作内容に応じた操作指示を生成する入力装置において、操作者を撮影する右眼用カラーカメラと、この右眼用カラーカメラから所定距離だけ離れた位置に、前記右眼用カラーカメラと並んで配置され、前記操作者を撮影する左眼用カラーカメラと、前記右眼用カラーカメラから出力されるカラー画像に対し、グレー化処理、画像分割／２値化処理、フレーム間差分処理、ヒストグラム処理、活動矩形領域抽出処理を行い、前記操作者の右眼側活動矩形領域を抽出する右眼側画像処理プログラムと、前記左眼用カラーカメラから出力されるカラー画像に対し、グレー化処理、画像分割／２値化処理、フレーム間差分処理、ヒストグラム処理、活動矩形領域抽出処理を行い、前記操作者の左眼側活動矩形領域を抽出する左眼側画像処理プログラムと、前記右眼側画像処理プログラムで得られた右眼側活動矩形領域、前記左眼側画像処理プログラムで得られた左眼側活動矩形領域に対し、両眼視差法を使用した活動矩形領域選択処理、仮想カーソル制御処理／画面制御処理を行って、前記操作者の手、又は指先の動きを検出し、この検出結果に応じた操作指示を生成する画像処理プログラムとを備えることを特徴としている。
【００２０】
また、請求項２では、ビデオカメラで得られた操作者の画像を処理して、操作者の動作内容に応じた操作指示を生成し、遠隔操作対象機器の動作を制御する入力装置において、箱形に形成される入力装置筐体と、この入力装置筐体の前面左側に取り付けられ、操作者の画像を撮影する右眼用カラーカメラ本体と、前記入力装置筐体の前面右側に取り付けられ、前記操作者の画像を撮影する左眼用カラーカメラ本体と、前記入力装置筐体内に配置され、グレー化処理回路、画像分割／２値化処理回路、フレーム間差分処理回路、ヒストグラム処理回路、活動矩形領域抽出処理回路によって、前記右眼用カラーカメラ本体から出力されるカラー画像を処理して、前記操作者の右眼側活動矩形領域を抽出する右眼側画像処理基板と、前記入力装置筐体内に配置され、グレー化処理回路、画像分割／２値化処理回路、フレーム間差分処理回路、ヒストグラム処理回路、活動矩形領域抽出処理回路によって、前記左眼用カラーカメラ本体から出力されるカラー画像を処理して、前記操作者の左眼側活動矩形領域を抽出する左眼側画像処理基板と、前記入力装置筐体内に配置され、活動矩形領域選択処理回路、仮想カーソル制御処理／画面制御処理回路によって、前記右眼側画像処理基板で得られた右眼側活動矩形領域、前記左眼側画像処理基板で得られた左眼側活動矩形領域に、両眼視差法を使用した活動矩形領域選択処理、仮想カーソル制御処理／画面制御処理を行って、前記操作者の手、又は指先の動きを検出し、この検出結果に応じたポインティングデータを生成し、遠隔操作対象機器の動作を制御する共通処理基板とを備えることを特徴としている。
【００２１】
また、請求項３では、請求項１、２の何れかに記載の入力装置において、前記仮想カーソル制御処理／画面制御処理、又は前記仮想カーソル制御処理／画面制御処理回路は、仮想カーソル活動領域画像上に活動矩形領域群が１つあるとき、その形状、移動有無に基づき、カールソル制御指示、又は画面スクロール指示を生成することを特徴としている。
【００２２】
また、請求項４では、請求項１、２、３の何れかに記載の入力装置において、前記仮想カーソル制御処理／画面制御処理、又は前記仮想カーソル制御処理／画面制御処理回路は、仮想カーソル活動領域画像上に活動矩形領域群が２つあるとき、その移動方向に基づき、画面回転指示、画面拡大指示、画面縮小指示の何れかを生成することを特徴としている。
【００２３】
また、請求項５では、請求項１、２、３、４の何れかに記載の入力装置において、前記活動矩形領域抽出処理、又は前記活動矩形領域抽出処理回路は、ヒストグラムの統計処理結果を使用して、前記ヒストグラムから仮想カーソル活動領域画像、仮想ボタンクリック活動領域画像を作成することを特徴としている。
【００２４】
また、請求項６では、請求項１、２、３、４、５の何れかに記載の入力装置において、前記活動矩形領域抽出処理、又は前記活動矩形領域抽出処理回路は、前記仮想カーソル活動領域画像、又は前記仮想ボタンクリック活動領域画像に対し、多段階矩形オブジェクト抽出処理を行い、ノイズ成分を除去することを特徴としている。
【００２５】
また、請求項７では、請求項１、２、３、４、５、６の何れかに記載の入力装置において、拡大／縮小矩形マスク作成処理、又は拡大／縮小矩形マスク作成処理回路を付加し、前記拡大／縮小矩形マスク作成処理、又は前記拡大／縮小矩形マスク作成処理回路によって、前記カラーカメラ、前記カラーカメラ本体で得られたカラー画像の中から、前記仮想カーソル活動領域画像上の変化領域矩形、又は前記仮想ボタンクリック活動領域画像の変化領域矩形に対応する画像を抽出し、それ以外の画像をカットして、ノイズ成分を除去することを特徴としている。
【発明の効果】
【００２６】
本発明によれば、解像度が低く安価なカメラの使用を可能にすると共に、演算量、メモリ量を大幅に少なくすることにより装置全体のコストを大幅に低減させながら、ユーザの動きを検知してパソコンのカーソルなどを遠隔操作することができ、さらにカメラの撮影範囲内にユーザ以外の人が居て手を動かした場合でも誤動作しない入力装置を実現することが可能となる。
【図面の簡単な説明】
【００２７】
【図１】本発明による入力装置の第１の実施形態を示すブロック図である。
【図２】図１に示す入力装置の詳細な動作例を示すフローチャートである。
【図３】図２に示すグレー化／２値化画像処理の詳細な動作例を示すフローチャートである。
【図４】図２に示すフレーム間差分／ヒストグラム作成処理の詳細な動作例を示すフローチャートである。
【図５】図２に示す活動矩形領域抽出処理の詳細な動作例を示すフローチャートである。
【図６】図２に示す活動矩形領域選択処理の詳細な動作例を示すフローチャートである。
【図７】図２に示す仮想カーソル制御処理、画面制御処理の詳細な動作例を示すフローチャートである。
【図８】図１に示す入力装置で使用される元のヒストグラム例と、変化領域抽出後のヒストグラム例とを示す模式図である。
【図９】図１に示す入力装置で使用される変化領域抽出後のヒストグラム例と、仮想カーソル活動領域画像例とを示す模式図である。
【図１０】図１に示す入力装置で使用される元のヒストグラム例と、変化領域抽出後のヒストグラム例とを示す模式図である。
【図１１】図１に示す入力装置で使用される変化領域抽出後のヒストグラム例と、仮想カーソル活動領域画像例とを示す模式図である。
【図１２】図１に示す入力装置において、活動矩形領域選択処理で選択された活動矩形領域群の一例を示す模式図である。
【図１３】図１に示す入力装置において、活動矩形領域選択処理で選択された活動矩形領域群の一例を示す模式図である。
【図１４】図１に示す入力装置で使用される多段階オブジェクト抽出処理の一例を示す模式図である。
【図１５】図１に示す入力装置で使用される多段階オブジェクト抽出処理の一例を示す模式図である。
【図１６】図１に示す入力装置で使用される両眼視差法の概要を示す模式図である。
【図１７】図１に示す入力装置において、両眼視差法による補正を行う前の右活動矩形領域、左活動矩形領域の関係を示す模式図である。
【図１８】図１に示す入力装置において、両眼視差法による補正を行った後の右活動矩形領域、左活動矩形領域の関係を示す模式図である。
【図１９】図１に示す入力装置において、両眼視差法による補正を行った後の右活動矩形領域、各左活動矩形領域の実例を示す模式図である。
【図２０】図１に示す入力装置によって撮影されるユーザの手の動きと、仮想カーソルとの関係例を示す模式図である。
【図２１】図１に示す入力装置によって撮影されるユーザの手の動きと、仮想カーソルとの関係例を示す模式図である。
【図２２】図１に示す入力装置によって制御される実カーソルの微調整動作例を示す模式図である。
【図２３】図１に示す入力装置によって制御される仮想カーソルの色制御例を示す模式図である。
【図２４】図１に示す入力装置で使用される変化領域抽出後のヒストグラム例と、仮想カーソル活動領域画像例とを示す模式図である。
【図２５】図１に示す入力装置によって撮影されるユーザの手の動きと、クリック動作との関係例を示す模式図である。
【図２６】図１に示す入力装置によって得られる仮想カーソル活動領域画像上に２つの各活動矩形領域群があるときの一例を示す模式図である。
【図２７】図１に示す入力装置によって得られる仮想カーソル活動領域画像上にある各活動矩形領域群の位置関係例を示す模式図である。
【図２８】図１に示す入力装置によって得られる仮想カーソル活動領域画像上に２つの各活動矩形領域群があるときの一例を示す模式図である。
【図２９】図１に示す入力装置によって得られる仮想カーソル活動領域画像上にある各活動矩形領域群の位置関係例を示す模式図である。
【図３０】本発明による入力装置の第２の実施形態を示すブロック図である。
【図３１】本発明による入力装置の他の実施形態を示すフローチャートである。
【図３２】図３１に示すフローチャートの動作例を示す模式図である。
【図３３】従来から知られている操作入力装置の一例を示すブロック図である。
【図３４】図３３に示す手領域検出手段の詳細な回路構成例を示すブロック図である。
【発明を実施するための形態】
【００２８】
１．第１の実施形態の説明
図１は、本発明による入力装置の第１の実施の形態を示すブロック図を示す。
この図に示す入力装置１ａは、パソコン２のディスプレイ部３に設けられる内蔵型のウェブカメラ（請求項１の左眼用カラーカメラ）４と、パソコン２内に設けられるビデオキャプチャ５と、パソコン２のディスプレイ部３に設けられる外付け型のウェブカメラ（請求項１の右眼用カラーカメラ）６と、パソコン２内に設けられるＵＳＢインタフェース７と、パソコン２内に設けられるハードディスク８と、パソコン２内に設けられるＣＰＵ９と、パソコン２内に設けられるメモリ１０とによって構成されている。この入力装置１ａは、各ウェブカメラ４、６で得られたカラー画像を解析して、各ウェブカメラ４、６の設置位置から所定距離範囲、例えば“０．３ｍ”〜“０．８ｍ”の範囲内にいるユーザとそれ以外の距離にいる他の人とを区別しながら、ユーザの手、指先などの動きのみを検出し、パソコン２のディスプレイ部３に表示された仮想カーソル２５〔図２０の（ｂ）参照〕、操作対象画面（ＯＳ画面、アプリケーション画面）などを制御し、現在、起動中のアプリケーションをコントロールする。
【００２９】
ウェブカメラ４は、３２０画素×２４０画素程度の解像度を持つカラーカメラであり、ビデオキャプチャ５から撮影指示が出されているとき、ユーザを撮影して得られたカラービデオ信号をビデオキャプチャ５に供給する。
【００３０】
ビデオキャプチャ５は、システムバス１２を介して、ＣＰＵ９から撮影指示が出されているとき、ウェブカメラ４を制御してユーザを撮影すると共に、撮影動作で得られたカラービデオ信号を取り込み、ＲＧＢ信号形式のカラー画像に変換してＣＰＵ９に供給する。
【００３１】
また、ウェブカメラ６は、ウェブカメラ４から水平方向に所定距離だけ離れてディスプレイ部３の上縁などに取り付けられた、３２０画素×２４０画素程度の解像度を持つカラーカメラであり、ＵＳＢインタフェース７から撮影指示が出されているとき、ユーザを撮影して得られたＹＵＶ信号をＵＳＢインタフェース７に供給する。
【００３２】
ＵＳＢインタフェース７は、システムバス１２を介して、ＣＰＵ９から撮影指示が出されているとき、ウェブカメラ６を制御してユーザの画像を撮影すると共に、撮影動作で得られたＹＵＶ信号を取り込んでＣＰＵ９に供給し、ＲＧＢ信号形式のカラー画像に変換する。
【００３３】
ハードディスク８は、ＯＳ（Operating System）、定数データなどが格納されるＯＳ格納エリア１３と、インターネットエクスプローラプログラム、ブラウザプログラムなどのアプリケーションプログラムが格納されるアプリケーション格納エリア１４と、本発明で使用する画像処理プログラム（請求項１の右眼側画像処理プログラム、左眼側画像処理プログラム、画像処理プログラム）が格納される画像処理プログラム格納エリア１５と、ＨＳＶ（色相・彩度・明度）方式で、予め設定されている特定色（例えば、肌色）のカラー画像を抽出するのに必要なカラーマスク、２値化画像、ヒストグラム、仮想カーソル活動領域画像２７（図９参照）、仮想ボタンクリック活動領域画像などが格納される画像格納エリア１６とを備えている。そして、ＣＰＵ９から読み出し指示が出力されたとき、システムバス１２を介してこれを取り込み、指定されたエリアに格納されているＯＳ、定数データ、アプリケーションプログラム、画像処理プログラム、２値化画像、ヒストグラム、仮想カーソル活動領域画像２７、仮想ボタンクリック活動領域画像などを読み出し、システムバス１２を介してＣＰＵ９に供給する。また、ＣＰＵ９から書き込み指示、データが出力されたとき、システムバス１２を介してこれらを取り込み、書き込み指示で指定されたエリア、例えば画像格納エリア１６などにデータを記憶させる。
【００３４】
ＣＰＵ９は、ハードディスク８に格納されているＯＳ、定数データ、アプリケーションプログラムなどで指定された表示データを生成してシステムバス１２に接続された表示インタフェース１１に供給し、ディスプレイ部３に操作対象画面を表示させる。また、右眼側画像処理プログラム、左眼側画像処理プログラム、画像処理プログラムなどで記述された画像処理を行い、操作対象画面に表示されている仮想カーソルのサイズ、位置などの制御、クリック制御、スクロール制御、画面回転制御、画面拡大制御、画面縮小制御などを行う。
【００３５】
メモリ１０は、数百メガバイト〜数ギガバイト程度の容量を持ち、ＣＰＵ９がアプリケーションプログラム、右眼側画像処理プログラム、左眼側画像処理プログラム、画像処理プログラムなどで指定された処理を行うときの一時データ格納エリアとして使用される。
【００３６】
次に、図２〜図７に示す各フローチャート、図８〜図２９に示す各模式図などを参照しながら、入力装置１ａの画像処理動作、カーソル制御動作、画面制御動作などを説明する。
【００３７】
《２値化画像生成、格納》
まず、パソコン２の電源が投入されて、アプリケーションプログラム、右眼側画像処理プログラム、左眼側画像処理プログラム、画像処理プログラムが起動されると、図２のフローチャートに示すようにＣＰＵ９によって、ビデオキャプチャ５が制御されて、ウェブカメラ４の撮影動作で得られたカラービデオ信号が取り込まれると共に、ＲＧＢ信号形式のカラー画像に変換されてメモリ１０などに一時記憶される（ステップＳ１）。
【００３８】
また、この動作と並行し、ＣＰＵ９によってＵＳＢインタフェース７が制御されて、ウェブカメラ６の撮影動作で得られたＹＵＶ信号が取り込まれると共に、ＲＧＢ信号形式のカラー画像に変換されてメモリ１０などに一時記憶される（ステップＳ２）。
【００３９】
また、これらの各動作と並行し、ＣＰＵ９によってメモリ１０などに一時記憶されている各カラー画像（各ウェブカメラ４、６の撮影動作で得られたカラー画像）のうち、パソコン２側からユーザを見たとき右眼に対応するウェブカメラ、例えば外付け型のウェブカメラ６で得られたカラー画像が読み取られる（ステップＳ３）。
【００４０】
この後、ＣＰＵ９によってグレー化／２値化画像処理が開始される（ステップＳ４）。即ち、図３のフローチャートに示すようにハードディスク８の画像格納リア１６に格納されているカラーマスクで、外付け型のウェブカメラ６で得られたカラー画像がマスクされ、カラー画像の中から予め設定されている特定色（例えば、肌色）のカラー画像（肌色画像）が抽出されると共に（ステップＳ２１）、外付け型のウェブカメラ６で得られたカラー画像がグレー処理化されて、予め設定されている階調のモノクロ画像に変換され、１フレーム分の画像容量を低減させる（ステップＳ２２）。
【００４１】
そして、ＣＰＵ９によって画面分割指示が設定されているかどうかがチェックされ、画面分割指示があればモノクロ画像が複数のエリア（各エリアは各々、数個〜数十個の画素によって構成される）に分割され、また画面分割指示がなければ分割処理がスキップされた後、最大尤度しきい値法でモノクロ画像が２値化され、２値化画像が作成される（ステップＳ２３）。
【００４２】
次いで、ＣＰＵ９によって２値化画像と肌色画像との論理和が取られて、２値化画像中の肌色部分が抽出され（ステップＳ２４）、これが１フレーム分の２値化画像（右眼側の２値化画像）としてハードディスク８の画像格納エリア１６に格納される（ステップＳ２５）。
【００４３】
この後、ＣＰＵ９によって図２のフローチャートに示すようにメモリ１０などに一時記憶されている各カラー画像（各ウェブカメラ４、６の撮影動作で得られた各カラー画像）のうち、パソコン２側からユーザを見たとき左眼に対応するウェブカメラ、例えば内蔵型のウェブカメラ４で得られたカラー画像が読み取られる（ステップＳ５）。
【００４４】
次いで、ＣＰＵ９によってグレー化／２値化画像処理が開始される（ステップＳ６）。即ち、図３のフローチャートに示すようにハードディスク８の画像格納エリア１６に格納されているカラーマスクで内蔵型のウェブカメラ４で得られたカラー画像がマスクされ、カラー画像の中から予め設定されている特定色（例えば、肌色）のカラー画像（肌色画像）が抽出されると共に（ステップＳ２１）、内蔵型のウェブカメラ４で得られたカラー画像がグレー処理化されて、予め設定されている階調のモノクロ画像に変換され、１フレーム分の画像容量を低減させる（ステップＳ２２）。
【００４５】
そして、ＣＰＵ９によって画面分割指示が設定されているかどうかがチェックされ、画面分割指示があればモノクロ画像が複数のエリア（各エリアは各々、数個〜数十個の画素によって構成される）に分割され、また画面分割指示がなければ分割処理がスキップされた後、最大尤度しきい値法でモノクロ画像が２値化され、２値化画像が作成される（ステップＳ２３）。
【００４６】
次いで、ＣＰＵ９によって２値化画像と肌色画像との論理和が取られて、２値化画像中の肌色部分が抽出され（ステップＳ２４）、これが１フレーム分の２値化画像（左眼側の２値化画像）としてハードディスク８の画像格納エリア１６に格納される（ステップＳ２５）。
【００４７】
以下、上述した画像処理が繰り返され、ＦＩＦＯ（First・In・First・Out）形式でハードディスク８の画像格納エリア１６に右眼側の２値化画像、左眼側の２値化画像が各々数フレーム分〜数十フレーム分蓄積される。
【００４８】
《フレーム間差分、ヒストグラム作成》
また、この動作と並行し図２のフローチャートに示すように、ＣＰＵ９によってハードディスク１３の画像格納エリア１６に格納されている数フレーム分〜数十フレーム分の２値化画像の中から、右眼側に対応する最新の２値化画像を含む連続する数フレームの２値化画像が順次読み出される（ステップＳ７）。
【００４９】
そして、ＣＰＵ９によって読み出すことができた２値化画像のフレーム数がチェックされ、所定数以上のフレーム数であれば（ステップＳ８）、フレーム間差分／ヒストグラム作成処理が開始される（ステップＳ９）。即ち、図４のフローチャートに示すように、各２値化画像のうち、連続する２フレーム分の２値化画像に対しフレーム間差分処理が行われると共に（ステップＳ３１、Ｓ３２）、このフレーム間差分処理で得られた各差分画像が各分割エリア毎に累積加算されて右眼側のヒストグラムが作成され、ハードディスク８の画像格納エリア１６に格納される（ステップＳ３３、Ｓ３４）。
【００５０】
次いで、図２のフローチャートに示すように、ＣＰＵ９によってハードディスク１３の画像格納エリア１６に格納されている数フレーム分〜数十フレーム分の２値化画像の中から左眼側に対応する最新の２値化画像を含む、連続する数フレームの２値化画像が順次読み出される（ステップＳ１０）。
【００５１】
そして、ＣＰＵ９によって読み出すことができた２値化画像のフレーム数がチェックされ、所定数以上のフレーム数であれば（ステップＳ１１）、フレーム間差分／ヒストグラム作成処理が開始される（ステップＳ１２）。即ち、図４のフローチャートに示すように、各２値化画像のうち、連続する２フレーム分の２値化画像に対しフレーム間差分処理が行われると共に（ステップＳ３１、Ｓ３２）、このフレーム間差分処理で得られた各差分画像が各分割エリア毎に累積加算されて左眼側のヒストグラムが作成され、ハードディスク８の画像格納エリア１６に格納される（ステップＳ３３、Ｓ３４）。
【００５２】
《統計処理、仮想カーソルの活動領域決定、変化領域抽出》
この後、図２のフローチャートに示すように、ＣＰＵ９によってハードディスク８の画像格納エリア１６に格納されている右眼側のヒストグラムが読み出されて（ステップＳ１３）、活動矩形領域抽出処理が開始される（ステップＳ１４）。即ち、図５のフローチャートに示すように、ヒストグラムの各分割エリアの濃度値に対する統計処理が行われ、平均値、濃度分散値、最大値、偏差（±１σ、±２σ）などが演算される（ステップＳ４１）。
【００５３】
次いで、ＣＰＵ９によってヒストグラムの各分割エリアの中から、変化領域矩形抽出用のしきい値（例えば、平均値−１σ）より大きい濃度値になっている各分割エリアが抽出され、これらの各分割エリア（活動分割エリア）を含むように矩形状の変化領域矩形６５（図３２参照）が決定されて、ハードディスク８の画像格納エリア１６に格納される。
【００５４】
また、この動作と並行し、ＣＰＵ９によって図８、図１０の３次元濃度分布図に示すようにヒストグラムを構成している各分割エリア２０（図９、図１１参照）のうち、仮想カーソル矩形抽出用のしきい値（例えば、最大値−１σ）より大きい濃度値になっている分割エリア（活動分割エリア２１）が抽出される。
【００５５】
これにより、ユーザが指先を大きく回しているとき、図９に示す通り各活動分割エリア２１を含むように矩形状の活動矩形領域２６が決定されると共に、この決定結果に基づき図１２に示すような右眼側の仮想カーソル活動領域画面２７が作成されて、ハードディスク８の画像格納エリア１６に格納される。
【００５６】
また、ユーザが両手を動かしているときには、図１１に示す通り各活動分割エリア２１を含むように矩形状の活動矩形領域２６が決定されて、図１３に示すような右眼側の仮想カーソル活動領域画像２７が作成され、ハードディスク８の画像格納エリア１６に格納される（ステップＳ４２）。
【００５７】
《仮想ボタンクリックの活動領域決定》
この後、ＣＰＵ９によってハードディスク８の画像格納エリア１６に格納されている右眼側のヒストグラムが読み出されて、各分割エリア２０のうち仮想ボタンクリック矩形抽出用のしきい値（例えば、最大値−２σ）より大きい濃度値になっている分割エリア（活動分割エリア）が抽出されると共に、これらの各活動分割エリアを含むように矩形状の活動矩形領域が決定されて、右眼側の仮想ボタンクリック活動領域画像（図示は省略する）が作成され、ハードディスク８の画像格納エリア１６に格納される（ステップＳ４３）。
【００５８】
《多段階矩形オブジェクト抽出処理、影の影響除去》
次いで、ＣＰＵ９によって仮想カーソル矩形抽出用のしきい値（例えば、最大値−１σ）を使用して得られた右眼側の仮想カーソル活動領域画像２７、仮想ボタンクリック矩形抽出用のしきい値（例えば、最大値−２σ）を使用して得られた右眼側の仮想ボタンクリック活動領域画像に対し、各々活動矩形領域２６が左右に分割可能かどうかチェックされ、左右に分割可能であれば、図１４に示すように活動矩形領域２６の水平方向中心点“Ａ”が求められると共に、水平方向中心点“Ａ”から左側にある非活動領域と、活動領域（例えば、活動分割エリア２１）との境界点“Ｂ”と、水平方向中心点“Ａ”から右側にある非活動領域と、活動領域（例えば、活動分割エリア２１）との境界点“Ｃ”とが検知され、これら境界点“Ｂ”、“Ｃ”を含む領域が各活動矩形領域２６と判定され、それ以外の活動領域がユーザの影などによる不要な活動領域と判定され、無効とされる（２点抽出処理）。
【００５９】
この後、ＣＰＵ９によって、２点抽出処理が終了した各活動矩形領域２６に対し、各々活動矩形領域２６が上下に分割可能かどうかチェックされ、上下分割可能であれば図１５に示すように活動矩形領域２６の上下方向中心点“Ａ”が求められると共に、上下方向中心点“Ａ”から上側にある非活動領域と、活動領域（例えば、活動分割エリア２１）との境界点“Ｂ”が検知され、これら境界点“Ｂ”を含む領域が活動矩形領域２６と判定され、下の活動領域がユーザの影などによる不要な活動領域と判定され、無効とされる（最小化処理）（ステップＳ４４）。
【００６０】
次いで、ＣＰＵ９によって、これら２点抽出処理、最小化処理によって構成される多段階矩形オブジェクト抽出処理で得られた活動矩形領域２６を含む右眼側の仮想カーソル活動領域画像２７、右眼側の仮想ボタンクリック活動領域画像が、ハードディスク８の画像格納エリア１６に格納される（ステップＳ４５）。
【００６１】
《統計処理、仮想カーソルの活動領域決定、変化領域抽出》
この後、図２のフローチャートに示すようにＣＰＵ９によって、ハードディスク８の画像格納エリア１６に格納されている左眼側のヒストグラムが読み出されて（ステップＳ１５）、活動矩形領域抽出処理が開始される（ステップＳ１６）。即ち、図５のフローチャートに示すように、ヒストグラムの各分割エリアの濃度値に対する統計処理が行われ、平均値、濃度分散値、最大値、偏差（±１σ、±２σ）などが演算される（ステップＳ４１）。
【００６２】
次いで、ＣＰＵ９によって変化領域矩形抽出用のしきい値（例えば、平均値−１σ）より大きい濃度値になっている各分割エリア２０が抽出されて、これらの各分割エリア（活動分割エリア）を含むように矩形状の変化領域矩形６５（図３２参照）が決定され、ハードディスク８の画像格納エリア１６に格納される。
【００６３】
また、この動作と並行しＣＰＵ９によって、図８、図１０の３次元濃度分布図に示すようにヒストグラムを構成している各分割エリア２０（図９、図１１参照）のうち、仮想カーソル矩形抽出用のしきい値（例えば、最大値−１σ）より大きい濃度値になっている分割エリア（活動分割エリア２１）が抽出される。
【００６４】
これにより、ユーザが指先を大きく回しているとき、図９に示す通り各活動分割エリア２１を含むように矩形状の活動矩形領域２６が決定されると共に、この決定結果に基づき図１２に示すような左眼側の仮想カーソル活動領域画面２７が作成されて、ハードディスク８の画像格納エリア１６に格納される。
【００６５】
また、ユーザが両手を動かしているときには、図１１に示す通り各活動分割エリア２１を含むように矩形状の活動矩形領域２６が決定されて、図１３に示すような左眼側の仮想カーソル活動領域画像２７が作成され、ハードディスク８の画像格納エリア１６に格納される（ステップＳ４２）。
【００６６】
《仮想ボタンクリックの活動領域決定》
次いで、ＣＰＵ９によってハードディスク８の画像格納エリア１６に格納されている左眼側のヒストグラムが読み出されて、各分割エリア２０のうち仮想ボタンクリック矩形抽出用のしきい値（例えば、最大値−２σ）より大きい濃度値になっている分割エリア（活動分割エリア）が抽出されると共に、これらの各活動分割エリアを含むように矩形状の活動矩形領域が決定されて、左眼側の仮想ボタンクリック活動領域画像（図示は省略する）が作成され、ハードディスク８の画像格納エリア１６に格納される（ステップＳ４３）。
【００６７】
《多段階矩形オブジェクト抽出処理、影の影響除去》
次いで、ＣＰＵ９によって仮想カーソル矩形抽出用のしきい値（例えば、最大値−１σ）を使用して得られた左眼側の仮想カーソル活動領域画像２７、仮想ボタンクリック矩形抽出用のしきい値（例えば、最大値−２σ）を使用して得られた左眼側の仮想ボタンクリック活動領域画像に対し、各々活動矩形領域２６が左右に分割可能かどうかチェックされ、左右に分割可能であれば、図１４に示すように活動矩形領域２６の水平方向中心点“Ａ”が求められると共に、水平方向中心点“Ａ”から左側にある非活動領域と、活動領域（例えば、活動分割エリア２１）との境界点“Ｂ”と、水平方向中心点“Ａ”から右側にある非活動領域と、活動領域（例えば、活動分割エリア２１）との境界点“Ｃ”とが検知され、これら境界点“Ｂ”、“Ｃ”を含む領域が各活動矩形領域２６と判定され、それ以外の活動領域がユーザの影などによる不要な活動領域と判定され、無効とされる（２点抽出処理）。
【００６８】
この後、ＣＰＵ９によって、２点抽出処理が終了した各活動矩形領域２６に対し各々活動矩形領域２６が上下に分割可能かどうかチェックされ、上下分割可能であれば図１５に示すように活動矩形領域２６の上下方向中心点“Ａ”が求められると共に、上下方向中心点“Ａ”から上側にある非活動領域と活動領域（例えば、活動分割エリア２１）との境界点“Ｂ”が検知され、これら境界点“Ｂ”を含む領域が活動矩形領域２６、下の活動領域がユーザの影などによる不要な活動領域と判定され、無効とされる（最小化処理）（ステップＳ４４）。
【００６９】
次いで、ＣＰＵ９によってこれら２点抽出処理、最小化処理によって構成される多段階矩形オブジェクト抽出処理で得られた活動矩形領域２６を含む左眼側の仮想カーソル活動領域画像２７、左眼側の仮想ボタンクリック活動領域画像が、ハードディスク８の画像格納エリア１６に格納される（ステップＳ４５）。
【００７０】
《活動矩形領域選択》
この後、図２のフローチャートに示すように、ＣＰＵ９によって活動矩形領域選択処理が開始される（ステップＳ１７）。即ち、図６のフローチャートに示すようにハードディスク８の画像格納エリア１６に格納されている右眼側の仮想カーソル活動領域画像２７、右眼側の仮想ボタンクリック活動領域画像が読み出され、これら右眼側の仮想カーソル活動領域画像２７、右眼側の仮想ボタンクリック活動領域画像に含まれている各活動矩形領域２６に対し、図１６の模式図に示すように両眼視差法による位置補正が行われ、各ウェブカメラ４、６の取り付け位置（水平距離“Ｂ”、上下距離など）、各ウェブカメラ４、６の焦点距離“ｆ”などと対応するように各活動矩形領域２６の中心座標“ＰＲ（ＸＲ、ＹＲ）”が補正された後、大きさ順に番号が付加される（ステップＳ５１、Ｓ５２）。
【００７１】
次いで、ＣＰＵ９によってハードディスク８の画像格納エリア１６に格納されている左眼側の仮想カーソル活動領域画像２７、左眼側の仮想ボタンクリック活動領域画像が読み出され、これら左眼側の仮想カーソル活動領域画像２７、左眼側の仮想ボタンクリック活動領域画像の各活動矩形領域２６に対し、図１６の模式図に示すように両眼視差法による位置補正が行われ、各ウェブカメラ４、６の取り付け位置（水平距離“Ｂ”、上下距離など）、各ウェブカメラ４、６の焦点距離“ｆ”などと対応するように各活動矩形領域２６の座標“ＰＬ（ＸＬ、ＹＬ）”が補正された後、大きさ順に番号が付加される（ステップＳ５３、Ｓ５４）。
【００７２】
これにより、各ウェブカメラ４、６の焦点距離などと対応したピント位置、例えば各ウェブカメラ４、６から“０．３ｍ”〜“０．８ｍ”離れた位置にユーザの手があり、両眼視差法による位置補正を行う前、図１７の模式図に示すように右眼側の各活動矩形領域２６と左眼側の各活動矩形領域２６とが位置がずれていても、両眼視差法による位置補正を行うことにより、図１８の模式図に示すように右眼側の各活動矩形領域２６と左眼側の各活動矩形領域２６とを完全一致（又は、ほぼ一致）させることができる。
【００７３】
この後、ＣＰＵ９によって図１９の模式図に示すように、番号“１”が付与された右眼側に対応する活動矩形領域２６の中心座標“ＸＲ、ＹＲ”と、左眼側に対応する活動矩形領域２６の中心座標“ＸＬ、ＹＬ”との距離（中心座標距離）が演算されて、これが番号“１”と共に、メモリ１０に記憶される。
【００７４】
以下、ＣＰＵ９によって次の番号“２”〜最後の番号“Ｎ”が付与された右眼側に対応する活動矩形領域２６の中心座標“ＸＲ、ＹＲ”と、左眼側に対応する活動矩形領域２６の中心座標“ＸＬ、ＹＬ”との距離（中心座標距離）が順次演算されて、これらが次の番号“２”〜最後の番号“Ｎ”と共にメモリ１０に記憶される（ステップＳ５５、Ｓ５６）。
【００７５】
そして、これらの処理が終了したとき、ＣＰＵ９によって、メモリ１０に記憶されている各中心座標距離が順次読み出されて所定値と比較され、所定値以下になっている各中心座標距離を持つ右眼側の活動矩形領域２６、左眼側の活動矩形領域２６があるとき、即ち各ウェブカメラ４、６から“０．３ｍ”〜“０．８ｍ”離れた位置にユーザの手があるとき、ユーザの手に対応する右眼側の活動矩形領域２６、左眼側の活動矩形領域２６が、有効な右眼側の活動矩形領域２６、有効な左眼側の活動矩形領域２６であると判定され、それ以外の右眼側の活動矩形領域２６、左眼側の活動矩形領域２６が無効な右眼側の活動矩形領域２６、無効な左眼側の活動矩形領域２６であると判定される。
【００７６】
これにより、右眼側の各活動矩形領域２６、左眼側の各活動矩形領域２６が図１９の模式図に示す関係になっていれば、中心座標距離が所定値以上になっている番号“１”に対応した右眼側の活動矩形領域（ＯＲ１）２６、左眼側の活動矩形領域（ＯＬ１）２６が無効と判定され、中心座標距離がほぼ“０”になっている番号“２”に対応した右眼側の活動矩形領域（ＯＲ２）２６、左眼側の活動矩形領域（ＯＬ２）２６が有効と判定される。
【００７７】
次いで、ＣＰＵ９によって、有効と判定された右眼側の活動矩形領域（ＯＲ２）２６、有効と判定された左眼側の活動矩形領域（ＯＬ２）２６のうち、予め指定されている方、例えば有効と判定された左眼側の活動矩形領域（ＯＬ２）２６が残され、それ以外の活動矩形領域２６が削除された仮想カーソル活動領域画像２７、仮想ボタンクリック活動領域画像が作成され、これが両眼視差法によってユーザの手前にいる人の動き、及び背後にいる人の動きが除去された仮想カーソル活動領域画像２７、仮想ボタンクリック活動領域画像としてハードディスク８の画像格納エリア１６に格納される（ステップＳ５７）。
【００７８】
《片手ジェスチャによる仮想カーソルの位置、大きさ、色制御》
この後、図２のフローチャートに示すように、ＣＰＵ９によって仮想カーソル制御処理／画面制御処理が開始される（ステップＳ１８）。即ち、図７のフローチャートに示すように、ハードディスク８の画像格納エリア１６に格納されている各仮想カーソル活動領域画像（両眼視差法によって、ユーザの手前にいる人の動き、及び背後にいる人の動きが除去された各仮想カーソル活動領域画像）２７のうち、最新の活動矩形領域２６を含む数フレーム分の仮想カーソル活動領域画像２７が読み出され（ステップＳ６１）、近接した１つ以上の活動矩形領域２６によって構成される活動矩形領域群が仮想カーソル活動領域画像２７内に存在しているかどうかチェックされる。
【００７９】
そして、最新の仮想カーソル活動領域画像２７内に活動矩形領域群が存在し、その数が“１”であり、かつほぼ矩形であれば（ステップＳ６２、Ｓ６３）、ＣＰＵ９によって活動矩形領域群の大きさ、移動方向が判定され、判定結果に対応するように仮想カーソル制御が行われる（ステップＳ６４）。
【００８０】
例えば、図２０（ａ）に示すように、前回とほぼ同じ、高さ、左右位置で、ユーザが指先を大きく回し、これに対応して前回の処理で得られた大きな活動矩形領域群の位置と同じ位置で、大きな活動矩形領域群が得られているとき、ＣＰＵ９によって仮想カーソルの表示指示であると判定されて、図２０（ｂ）に示すようにディスプレイ部３に大きなサイズ、白色の仮想カーソル２５が表示される。
【００８１】
また、ユーザが指先を大きく回しながら上下方向、又は左右方向に移動させ、これに対応して前回の処理で得られた位置から移動する大きな活動矩形領域群が得られているとき、ＣＰＵ９によって仮想カーソルの移動指示であると判定されて、指先の移動方向に対応するようにディスプレイ部３に表示されている大きなサイズ、白色の仮想カーソル２５を移動させる。
【００８２】
また、図２１（ａ）に示すように、前回とほぼ同じ、高さ、左右位置で、ユーザが指先を小さく回し、これに対応して前回の処理で得られた大きな活動矩形領域群の位置と同じ位置で、小さな活動矩形領域群が得られているとき、ＣＰＵ９によって仮想カーソルの移動停止であると判定されて、図２１（ｂ）に示すようにディスプレイ部３に表示されている仮想カーソル２５の移動を停止させると共に、サイズを小さくする。
【００８３】
この状態で一定時間が経過すれば、ＣＰＵ９によって仮想カーソル２５の色が赤色に変更され大きな移動が禁止されると共に、ＯＳ側にカーソル移動指示が出されて、仮想カーソル２５内に実カーソル２８を移動させる。
【００８４】
この後、ユーザが指先を少し移動させれば、ＣＰＵ９によってこれが検知されて、ディスプレイ部３に表示されている仮想カーソル２５の位置が微調整されると共に、ＯＳ側にカーソル位置調整指示が出されて、図２２に示すように実カーソル２８の位置が微調整される。
【００８５】
次いで、ユーザが指先を動かすのを止めれば、ＣＰＵ９によってこれが検知され、一定時間後に、図２３に示すようにディスプレイ部３に表示されている仮想カーソル２５の位置が固定されると共に、仮想カーソル２５の色が赤色からグレー色に変更され、ユーザにクリック可能になったことを知らせる。
【００８６】
この状態でも、ユーザが指先を再度大きく回せば、ＣＰＵ９によってこれが検知されて、ディスプレイ部３に表示されている仮想カーソル２５の色が白色に戻され、仮想カーソル２５が移動可能な状態に戻される。
【００８７】
《片手ジェスチャによるスクロール制御》
また、上述した仮想カーソル活動領域画像２７に活動矩形領域群が存在するかどうかなどをチェックしたとき、図２４に示すように活動矩形領域群の数が“１”で水平方向に長ければ（ステップＳ６２、Ｓ６３）、ＣＰＵ９によって前回の活動矩形領域群に対しどちらの方向に長くなったか判定すると共に、長くなった方向に応じた右スクロール指示（又は、左スクロール指示）が生成されてアプリケーション側に渡され、ディスプレイ部３に表示されているアプリケーション画面（操作対象画面）が右方向（又は、左方向）にスクロールされる（ステップＳ６４）。
【００８８】
また、上述した仮想カーソル活動領域画像２７に活動矩形領域群が存在するかどうかなどをチェックしたとき、活動矩形領域群の数が“１”で上下方向に長ければ（ステップＳ６２、Ｓ６３）、ＣＰＵ９によって前回の活動矩形領域群に対しどちらの方向に長くなったか判定すると共に、長くなった方向に応じた上スクロール指示（又は、下スクロール指示）が生成されてアプリケーション側に渡され、ディスプレイ部３に表示されているアプリケーション画面（操作対象画面）が上方向（又は、下方向）にスクロールされる（ステップＳ６４）。
【００８９】
《片手ジェスチャによる実カーソルのクリック制御》
この後、ＣＰＵ９によって仮想カーソル２５の色がグレーかどうかチェックされ、仮想カーソル２５の色がグレーであれば、ハードディスク８の画像格納エリア１６に格納されている仮想ボタンクリック活動領域画像のうち、最新の活動矩形領域を含む数フレーム分の仮想ボタンクリック活動領域画像が読み出される（ステップＳ６６）。
【００９０】
次いで、ＣＰＵ９によって仮想ボタンクリック活動領域画像内に近接した１つ以上の活動矩形領域２６によって構成される活動矩形領域群が存在し、形状が変化しているかどうかチェックされ、活動矩形領域群の数が“１”であり活動矩形領域群が予め設定された変化、例えば図２５（ａ）に示すようにユーザが指さし状態から、１回だけ手を広げ、活動矩形領域群が１回だけ“小”から“大”に変化していれば（ステップＳ６７）、シングルクリックであると判定され、ＯＳ側にシングルクリック指示が出されて、図２５（ｂ）に示すように仮想カーソル２５内にある実カーソル２８によってアイコンなどがシングルクリックされる（ステップＳ６８）。
【００９１】
また、ユーザが指さし状態から２回以上手を広げたり縮めたりし、活動矩形領域群が複数回“大”から“小”、“小”から“大”に変化していれば（ステップＳ６７）、ＣＰＵ９によってダブルクリックであると判定され、ＯＳ側にダブルクリック指示が出されて、実カーソル２８の位置にあるアイコンなどがダブルクリックされる（ステップＳ６８）。
【００９２】
《両手ジェスチャによる画面拡大、縮小制御》
また、各ウェブカメラ４、６のピント位置にユーザが右手、左手を出して、これら右手、左手を動かし、上述した仮想カーソル活動領域画像２７に活動矩形領域群が存在するかどうかなどをチェックしたとき、活動矩形領域群の数が“２”になり、各々矩形になっていれば（ステップＳ６３）、ＣＰＵ９によってこれが検知されて、これら各活動矩形領域群の動きに応じてディスプレイ部３に表示されている操作対象画面の拡大、縮小、回転などが行われる（ステップＳ６５）。
【００９３】
例えば、各ウェブカメラ４、６のピント位置にユーザが右手、左手を出して、その右手、左手を互いに離れる方向に移動させ、これに対応して図２６に示す２つの活動矩形領域群が存在し、図２７（ａ）に示すように前回より広くなる方向に移動してこれら各活動矩形領域群の距離が前回より長くなったとき、ＣＰＵ９によって画面拡大指示が入力されたと判定され、活動矩形領域群の距離変化比に応じた拡大率の画面拡大指示が生成されてアプリケーション側に渡され、ディスプレイ部３に表示されているアプリケーション画面（操作対象画面）が拡大される。
【００９４】
また、各ウェブカメラ４、６のピント位置にユーザが右手、左手を出して、その右手、左手を互いに近づく方向に移動させ、これに対応して２つの活動矩形領域群が図２７（ｂ）に示すように前回より狭くなる方向に移動し、これら各活動矩形領域群の距離が前回より短くなったとき、ＣＰＵ９によって画面縮小指示が入力されたと判定され、活動矩形領域群の距離変化比に応じた縮小率の画面縮小指示が生成されてアプリケーション側に渡され、ディスプレイ部３に表示されているアプリケーション画面（操作対象画面）が縮小される。
【００９５】
《両手ジェスチャによる画面回転制御》
また、各ウェブカメラ４、６のピント位置にユーザが右手、左手を出して、これら右手、左手の一方を上に他方を下に移動させ、これに対応して図２８に示す２つの活動矩形領域群のうち少なくとも一方が上方向（又は、下方向）に移動したとき、ＣＰＵ９によって画面回転指示が入力されたと判定され、下側の活動矩形領域群に対する上側の活動矩形領域群の角度に応じた回転角度の画面回転指示が生成されてアプリケーション側に渡され、ディスプレイ部３に表示されているアプリケーション画面（操作対象画面）が回転される。
【００９６】
この際、図２９（ａ）に示すように各活動矩形領域群の左右距離が狭い状態で、一方が大きく上方に移動し下側の活動矩形領域群に対する上側の活動矩形領域群の角度が大きいとき、ＣＰＵ９によって大きな回転角度の画面回転指示が生成されてアプリケーション側に渡され、ディスプレイ部３に表示されているアプリケーション画面（操作対象画面）が大きく回転される。
【００９７】
また、図２９（ｂ）に示すように各活動矩形領域群の左右距離が広い状態で、一方が小さく上方に移動し下側の活動矩形領域群に対する上側の活動矩形領域群の角度が小さいとき、ＣＰＵ９によって小さな回転角度の画面回転指示が生成されてアプリケーション側に渡され、ディスプレイ部３に表示されているアプリケーション画面（操作対象画面）が小さく回転される。
【００９８】
このように、本発明の第１の実施形態においては、各ウェブカメラ４、６によってユーザを撮影して得られた低解像度のカラー画像に対し、グレー化処理、画像分割／２値化処理、色フィルタリング処理、フレームバッファ処理、フレーム間差分処理、ヒストグラム処理、活動矩形領域抽出処理、活動矩形領域選択処理、仮想カーソル制御処理／画面制御処理を行いユーザの手の動きを検知し、仮想カーソル２５のサイズ制御、位置制御、色制御、クリック制御、操作対象画面の拡大制御、縮小制御、回転制御、上下スクロール制御、左右スクロール制御などを行うようにしているので、次に述べる効果を得ることができる。
【００９９】
まず、解像度が高くない安価なウェブカメラ４、６を使用できることから、入力装置１ａのコストを低く抑えることができる（請求項１の効果）。
【０１００】
また、各ウェブカメラ４、６によってユーザを撮影して得られた低解像度のカラー画像に対し、グレー化処理、画像分割／２値化処理、色フィルタリング処理を施して得られた２値化画像を画像格納エリア１６に格納するため、ハードディスク８の容量が小さい場合にも入力装置１ａを構成することができ、装置全体のコストを低く抑えることができる（請求項１の効果）。
【０１０１】
また、各ウェブカメラ４、６によってユーザを撮影して得られた低解像度のカラー画像に対し、グレー化処理、画像分割／２値化処理、色フィルタリング処理など、少ない段数の画像処理を施して１フレーム分の２値化画像を得るようにしているので、ＣＰＵ９に大きな負担をかけることを防ぎ、これによって処理速度が速くない安価なＣＰＵ９を使用した場合でもほぼリアルタイムでユーザの動きに対応するように、仮想カーソル２５のサイズ制御、位置制御、色制御、クリック制御、操作対象画面の拡大制御、縮小制御、回転制御、上下スクロール制御、左右スクロール制御などを行うことができ、装置全体のコストを低く抑えることができる（請求項１の効果）。
【０１０２】
また、各ウェブカメラ４、６によってユーザを撮影して得られた右眼側の各活動矩形領域２６と左眼側の各活動矩形領域２６とに対し、両眼視差法で中心座標位置を補正した後、大きさ順に番号を付けて中心座標位置を比較し、この比較結果に基づきピント位置に対応する右眼側の各活動矩形領域２６と左眼側の各活動矩形領域２６とを選択するようにしているので、各ウェブカメラ４、６のピント位置にあるユーザの手以外のもの、例えばユーザの後ろに人がいて動いていても、これに影響されることなくユーザの手の動きのみを抽出して、仮想カーソル２５のサイズ制御、位置制御、色制御、クリック制御、操作対象画面の拡大制御、縮小制御、回転制御、上下スクロール制御、左右スクロール制御などを行うことができる（請求項１の効果）。
【０１０３】
また、本発明の第１の実施形態では、ユーザが片手だけを動かしているとき仮想カーソル制御指示、又は操作対象画面のスクロール制御であると判定し、仮想カーソル２５のサイズ制御、位置制御、色制御、クリック制御、操作対象画面のスクロール制御などを行うようにしているので、片手だけでディスプレイ部３に表示されている仮想カーソル２５のサイズ、位置、色、クリック、操作対象画面のスクロールなどを遠隔操作することができる（請求項３の効果）。
【０１０４】
また、本発明の第１の実施形態では、ユーザが両手を動かしているとき、右手の動き、左手の動きを各々検出し、操作対象画面の拡大／縮小制御指示、又は操作対象画面の回転制御指示であると判定するようにしているので、ユーザが右手、左手を動かすだけでディスプレイ部３に表示されているアプリケーション画面（操作対象画面）を拡大、縮小、回転させることができる（請求項４の効果）。
【０１０５】
また、本発明の第１の実施形態では、活動矩形領域抽出処理においてヒストグラムを統計処理して得られた結果を使用し、ヒストグラムから仮想カーソル活動領域画像２７、仮想ボタンクリック活動領域画像を作成するようにしているので、ユーザの手など動いている部分を正確に検知することができ、安定した仮想カーソル制御、クリック制御、操作対象画面制御を行うことができる（請求項５の効果）。
【０１０６】
また、本発明の第１の実施形態では、活動矩形領域抽出処理において仮想カーソル活動領域画像２７、仮想ボタンクリック活動領域画像に対し、多段階矩形オブジェクト抽出処理を行うようにしているので、ユーザの影などに起因する誤動作を防止し、安定した仮想カーソル制御、クリック制御、操作対象画面制御を行うことができる（請求項６の効果）。
【０１０７】
２．第２の実施形態の説明
図３０は、本発明による入力装置の第２の実施形態を示すブロック図である。
この図に示す入力装置１ｂは、箱形に形成されたプラスチック部材などによって構成され、パソコン、テレビ、エアコン、大画面スクリーン装置などの遠隔操作対象機器の近傍に配置される入力装置筐体（図示は省略する）と、入力装置筐体の前面左側に取り付けられ、ユーザを撮影してカラー画像信号を出力する右眼用ビデオカメラ本体（請求項２のカラーカメラ本体）３０と、入力装置筐体内に配置され、右眼用ビデオカメラ本体３０で撮影されたカラー画像を処理して、右眼側の仮想カーソル活動領域画像、右眼側の仮想ボタンクリック活動領域画像を生成する右眼側画像処理基板３１と、入力装置筐体の前面右側に取り付けられ、ユーザを撮影してカラー画像信号を出力する左目用ビデオカメラ本体（請求項２のカラーカメラ本体）３２と、入力装置筐体内に配置され、左眼用ビデオカメラ本体３２で撮影されたカラー画像を処理して、左眼側の仮想カーソル活動領域画像、左眼側の仮想ボタンクリック活動領域画像を生成する左眼側画像処理基板３３と、入力装置筐体内に配置され、右眼側画像処理基板３１から出力される右眼側の仮想カーソル活動領域画像、右眼側の仮想ボタンクリック活動領域画像、左眼側画像処理基板３２から出力される左眼側の仮想カーソル活動領域画像、左眼側の仮想ボタンクリック活動領域画像を画像処理してユーザの手の動きに対応するポインティングデータを生成し、ＵＳＢケーブル、信号接続ケーブルなどのケーブルを介して、パソコン、テレビ、エアコン、大画面スクリーン装置などの遠隔操作対象機器などに供給する共通処理基板３４とを備えている。
【０１０８】
そして、ユーザを撮影して得られたカラー画像を解析して、影などの影響、ユーザの手前側にいる人、及び背後にいる人の影響などを取り除きながら、ユーザの手の動きに対応したポインティングデータを生成し、入力装置１ｂ→ケーブル→遠隔操作対象機器なる経路でポインティングデータを遠隔操作対象機器に供給し、この遠隔操作対象機器の動作を制御する。
【０１０９】
右眼用ビデオカメラ本体３０は、３２０画素×２４０画素程度の解像度を持つカラーカメラによって構成されており、右眼側画像処理基板３１から電源電圧、クロック信号などが出されているときユーザを撮影し、これによって得られたカラービデオ信号を右眼側画像処理基板３１に供給する。
【０１１０】
右眼側画像処理基板３１は、右眼用ビデオカメラ本体から出力されるカラービデオ信号をＲＧＢ形式のカラー画像に変換した後、ＨＳＶ（色相・彩度・明度）方式で予め設定されている特定色（例えば、肌色）のカラー画像を抽出するのに必要なカラーマスクを使用して、カラー画像中の肌色画像を抽出する肌色画像抽出回路３５と、右眼用ビデオカメラ本体３０から出力されるカラービデオ信号をＲＧＢ形式のカラー画像に変換した後、予め設定されている階調のモノクロ画像に変換するグレー化処理回路３６と、グレー化処理回路３６から出力されるモノクロ画像を予め設定されている画面分割数で分割する（但し、画面分割設定されていないときこの画面分割処理はスキップされる）と共に、最大尤度しきい値法で２値化して２値化画像にする画像分割／２値化処理回路３７と、画像分割／２値化処理回路３７から出力される２値化画像と肌色画像抽出回路３５から出力される肌色画像との論理和を取り、２値化画像中の肌色部分を抽出する色フィルタリング処理回路３８とを備えている。
【０１１１】
さらに、右眼側画像処理基板３１は、色フィルタリング処理回路３８から出力される２値化画像を数フレーム分〜数十フレーム分、一時記憶するフレームバッファ回路３９と、フレームバッファ回路３９に記憶されている２値化画像を順次読み出しながらフレーム間差分処理を行い、差分画像を生成するフレーム間差分処理回路４０と、フレーム間差分処理回路４０からフレーム単位で出力される各差分画像を各分割エリア毎に積算して、ヒストグラムを生成するヒストグラム処理回路４１と、ヒストグラム処理回路４１から出力されるヒストグラムに対し統計処理を行うと共に、統計処理結果を用いて仮想カーソル活動領域判定処理、仮想ボタンクリック活動領域判定処理、多段階矩形オブジェクト抽出処理などを行って、影などの影響を取り除いた右眼側の仮想カーソル活動領域画像、右眼側の仮想ボタンクリック活動領域画像を生成する活動矩形領域抽出処理回路４２とを備えている。
【０１１２】
そして、右眼用ビデオカメラ本体３０から出力されるカラービデオ信号に対し、グレー化処理、画面分割／２値化処理、色フィルタリング処理、フレームバッファ処理、フレーム間差分処理、ヒストグラム処理、活動矩形領域抽出処理を順次施して、右眼側の仮想カーソル活動領域画像、右眼側の仮想ボタンクリック活動領域画像を生成し、共通処理基板３４に供給する。
【０１１３】
また、左眼用ビデオカメラ本体３２は、３２０画素×２４０画素程度の解像度を持つカラーカメラによって構成されており、左眼側画像処理基板３３から電源電圧、クロック信号などが出されているときユーザを撮影し、これによって得られたカラービデオ信号を左眼側画像処理基板３３に供給する。
【０１１４】
左眼側画像処理基板３３は、左眼用ビデオカメラ本体３２から出力されるカラービデオ信号をＲＧＢ形式のカラー画像に変換した後、ＨＳＶ（色相・彩度・明度）方式で、予め設定されている特定色（例えば、肌色）のカラー画像を抽出するのに必要なカラーマスクを使用して、カラー画像中の肌色画像を抽出する肌色画像抽出回路４３と、左眼用ビデオカメラ本体３２から出力されるカラービデオ信号をＲＧＢ形式のカラー画像に変換した後、予め設定されている階調のモノクロ画像に変換するグレー化処理回路４４と、グレー化処理回路４４から出力されるモノクロ画像を予め設定されている画面分割数で分割する（但し、画面分割設定されていないとき、この画面分割処理はスキップされる）と共に、最大尤度しきい値法で２値化して、２値化画像にする画像分割／２値化処理回路４５と、画像分割／２値化処理回路４５から出力される２値化画像と肌色画像抽出回路４３から出力される肌色画像との論理和を取り、２値化画像中の肌色部分を抽出する色フィルタリング処理回路４６とを備えている。
【０１１５】
さらに、左眼側画像処理基板３３は、色フィルタリング処理回路４６から出力される２値化画像を数フレーム分〜数十フレーム分、一時記憶するフレームバッファ回路４７と、フレームバッファ回路４７に記憶されている２値化画像を順次読み出しながらフレーム間差分処理を行い、差分画像を生成するフレーム間差分処理回路４８と、フレーム間差分処理回路４８からフレーム単位で出力される各差分画像を各分割エリア毎に積算して、ヒストグラムを生成するヒストグラム処理回路４９と、ヒストグラム処理回路４９から出力されるヒストグラムに対し統計処理を行うと共に、統計処理結果を用いて仮想カーソル活動領域判定処理、仮想ボタンクリック活動領域判定処理、多段階矩形オブジェクト抽出処理などを行って、影などの影響を取り除いた左眼側の仮想カーソル活動領域画像、左眼側の仮想ボタンクリック活動領域画像を生成する活動矩形領域抽出処理回路５０とを備えている。
【０１１６】
そして、左眼用ビデオカメラ本体３２から出力されるカラービデオ信号に対し、グレー化処理、画面分割／２値化処理、色フィルタリング処理、フレームバッファ処理、フレーム間差分処理、ヒストグラム処理、活動矩形領域抽出処理を順次施して、左眼側の仮想カーソル活動領域画像、左眼側の仮想ボタンクリック活動領域画像を生成し、共通処理基板３４に供給する。
【０１１７】
共通処理基板３４は、両眼視差法による位置補正に必要な右眼用ウェブカメラ３０、左眼用ウェブカメラ３２の取り付け位置データ（水平距離“Ｂ”、上下距離など）、右眼用ウェブカメラ３０、左眼用ウェブカメラ３２の焦点距離“ｆ”などの撮影条件情報が設定される撮影条件設定回路５１と、右眼側画像処理基板３１から出力される右眼側の仮想カーソル活動領域画像、右眼側の仮想ボタンクリック活動領域画像、左眼側画像処理基板３３から出力される左眼側の仮想カーソル活動領域画像、左眼側の仮想ボタンクリック活動領域画像に活動矩形領域が含まれるとき、撮影条件設定回路５１に設定されている撮影条件情報を用いて両眼視差法で各活動矩形領域の位置を補正する処理、大きさ順に各活動矩形領域に番号を付加する処理、同じ番号が付加された各活動矩形領域の中心座標間の距離（中心座標距離）を演算する処理、所定値以下になっている各中心座標距離に対応する活動矩形領域を選択する処理、選択した活動矩形領域のみを含み、選択していない活動矩形領域を含まない左眼側の仮想カーソル活動領域画像、左眼側の仮想ボタンクリック活動領域画像を作成する処理などを行って、右眼側の仮想カーソル活動領域画像、右眼側の仮想ボタンクリック活動領域画像、左眼側の仮想カーソル活動領域画像、左眼側の仮想ボタンクリック活動領域画像に含まれるユーザの手前にいる人、及び背後にいる人の動きなどの影響を取り除いた後、左眼側の仮想カーソル活動領域画像、左眼側の仮想ボタンクリック活動領域画像を数画像分〜数十画像分保持する活動矩形領域選択処理回路５２とを備えている。
【０１１８】
さらに、共通処理基板３４は、活動矩形領域選択処理回路５２に保持されている左眼側の各仮想カーソル活動領域画像のうち、最新の仮想カーソル活動領域画像に活動矩形領域群が存在するとき、活動矩形領域群の数、形状、移動有無、移動方向などに基づき、仮想カーソル位置指示、仮想カーソル形状指示、仮想カーソル色指示、操作対象画面スクロール指示、操作対象画面拡大指示、操作対象画面縮小指示、操作対象画面回転指示などのポインティングデータを生成すると共に、仮想カーソルがクリック可能な状態になっているとき、活動矩形領域選択処理回路５２に保持されている各仮想ボタンクリック活動領域画像のうち、最新の仮想ボタンクリック活動領域画像に活動矩形領域群が存在しているかどうかをチェックし、活動矩形領域群が存在しているとき、活動矩形領域群の形状などに基づきシングルクリック指示、ダブルクリック指示などのポインティングデータを生成する仮想カーソル制御処理／画面制御処理回路５３を備えている。
【０１１９】
そして、右眼側画像処理基板３１から出力される右眼側の仮想カーソル活動領域画像、右眼側の仮想ボタンクリック活動領域画像、左眼側画像処理基板３２から出力される左眼側の仮想カーソル活動領域画像、左眼側の仮想ボタンクリック活動領域画像に活動矩形領域が含まれるとき、ユーザの前にいる人の動き、ユーザの背後にいる人の動きなどに起因するノイズを取り除きながらユーザの各手がどのように動いているかを判定し、この判定結果に応じて仮想カーソル位置指示、仮想カーソル形状指示、仮想カーソル色指示、操作対象画面スクロール指示、操作対象画面拡大指示、操作対象画面縮小指示、操作対象画面回転指示などのポインティングデータを生成し、遠隔操作対象機器となっているパソコン、テレビ、エアコン、大画面スクリーン装置などに供給する。
【０１２０】
このように、この第２の実施形態では、右眼用ビデオカメラ本体３０、左眼用ビデオカメラ本体３２によってユーザを撮影して得られた低解像度のカラー画像に対し、色フィルタリング処理、グレー化処理、画像分割／２値化処理、フレームバッファ処理、フレーム間差分処理、ヒストグラム処理、活動矩形領域抽出処理、活動矩形領域選択処理、仮想カーソル制御処理／画面制御処理などを行いユーザの手の動きを検知し、仮想カーソル位置指示、仮想カーソル形状指示、仮想カーソル色指示、操作対象画面スクロール指示、操作対象画面拡大指示、操作対象画面縮小指示、操作対象画面回転指示などのポインティングデータを生成し、遠隔操作対象機器に供給するようにしているので、遠隔操作対象機器側の仮想カーソルサイズ、仮想カーソル位置、仮想カーソル色、クリック、操作対象画面の上下スクロール、左右スクロール、拡大、縮小、回転などを遠隔操作することができる（請求項２の効果）。
【０１２１】
また、この第２の実施形態では、解像度が高くない安価な右眼用ビデオカメラ本体３０、左眼用ビデオカメラ本体３２を使用できることから、入力装置１ｂのコストを低く抑えることができる（請求項２の効果）。
【０１２２】
また、この第２の実施形態では、右眼用ビデオカメラ本体３０、左眼用ビデオカメラ本体３２によってユーザを撮影して得られた低解像度のカラー画像に対し、グレー化処理、画像分割／２値化処理、色フィルタリング処理を施して得られた２値化画像をフレームバッファ回路３９、４７に格納するようにしているので、フレームバッファ回路３９、４７の記憶容量が小さい場合にも入力装置１ｂを構成することができ、装置全体のコストを低く抑えることができる（請求項２の効果）。
【０１２３】
さらに、この第２の実施形態では、右眼用ビデオカメラ本体３０、左眼用ビデオカメラ本体３２によってユーザを撮影して得られた低解像度のカラー画像に対し、グレー化処理、画像分割／２値化処理、色フィルタリング処理、フレームバッファ処理、フレーム間差分処理、ヒストグラム処理、活動矩形領域抽出処理、活動矩形領域選択処理、仮想カーソル制御処理／画面制御処理など、少ない段数の画像処理を施してポインティングデータを生成するようにしているので、肌色画像抽出理回路３５、４３、グレー化処理回路３６、４４、画像分割／２値化処理回路３７、４５、色フィルタリング処理回路３８、４６、フレームバッファ処理回路３６、４７、フレーム間差分処理回路４０、４８、ヒストグラム処理回路４１、４９、活動矩形領域抽出処理回路４２、５０、活動矩形領域選択回路５２、仮想カーソル制御処理／画面制御処理回路５３として、処理速度があまり速くない素子の使用を可能にして装置全体のコストを低く抑えながら、ほぼリアルタイムでユーザの動きを検知し、遠隔操作対象機器を制御することができる（請求項２の効果）。
【０１２４】
また、この第２の実施形態では、右眼用ビデオカメラ本体３０、左眼用ビデオカメラ本体３２によってユーザを撮影して得られた右眼側の各活動矩形領域と、左眼側の各活動矩形領域とに対し、両眼視差法で中心座標位置を補正した後、大きさ順に番号を付けて中心座標位置を比較し、この比較結果に基づきピント位置に対応する右眼側の各活動矩形領域と、左眼側の各活動矩形領域とを選択するようにしているので、右眼用ビデオカメラ本体３０、左眼用ビデオカメラ本体３２のピント位置にあるユーザの手以外のもの、例えばユーザの後ろに人がいて動いていても、これに影響されることなくユーザの手の動きのみを抽出して、仮想カーソルのサイズ制御、位置制御、色制御、クリック制御、操作対象画面の拡大制御、縮小制御、回転制御、上下スクロール制御、左右スクロール制御などを行うことができる（請求項２の効果）。
【０１２５】
そして、この第２の実施形態においても、上述した第１の実施形態と同様に、ユーザが片手だけを動かしているとき、仮想カーソル制御指示、クリック制御指示、スクロール制御指示の何れかであると判定し、仮想カーソルサイズ指示、仮想カーソル位置指示、仮想カーソル色指示、スクロール制御指示、クリック指示などを示すポインティングデータを生成するようにしているので、片手だけで遠隔操作対象機器側のディスプレイに表示されている仮想カーソルのサイズ、位置、色、クリック動作、操作対象画面のスクロールなどを遠隔操作することができる（請求項３の効果）。
【０１２６】
また、この第２の実施形態においても、上述した第１の実施形態と同様に、ユーザが両手を動かしているとき、右手の動き、左手の動きを各々検出して操作対象画面の制御指示であると判定し、操作対象画面拡大指示、操作対象画面縮小指示、操作対象画面回転指示などを示すポインティングデータを生成するようにしているので、ユーザが右手、左手を動かすだけで遠隔操作対象機器側のディスプレイに表示されている操作対象画面を拡大、縮小、回転させることができる（請求項４の効果）。
【０１２７】
また、本発明の第２の実施形態では、活動矩形領域抽出処理回路４２、５０においてヒストグラムを統計処理すると共に、統計処理結果を使用してヒストグラムから右眼側の仮想カーソル活動領域画像、右眼側の仮想ボタンクリック活動領域画像、左側の仮想カーソル活動領域画像、左側の仮想ボタンクリック活動領域画像を作成するようにしているので、ユーザの手など動いている部分を正確に検知することができ、安定した仮想カーソル制御、クリック制御、操作対象画面制御を行うことができる（請求項５の効果）。
【０１２８】
また、本発明の第２の実施形態では、活動矩形領域抽出処理回路４２、５０において、右眼側の仮想カーソル活動領域画像、右眼側の仮想ボタンクリック活動領域画像、左側の仮想カーソル活動領域画像、左側の仮想ボタンクリック活動領域画像に対し、多段階矩形オブジェクト抽出処理を行うようにしているので、ユーザの影などに起因する誤動作を防止し、安定した仮想カーソル制御、クリック制御、操作対象画面制御を行うことができる（請求項６の効果）。
【０１２９】
３．他の実施形態の説明
上述した各実施形態では、各ウェブカメラ４、６、右眼用ビデオカメラ本体３０、左眼用ビデオカメラ本体３２で得られたカラー画像の全領域をグレー化し、２値化するようにしているが、図３１フローチャート、図３２の模式図に示すようにヒストグラムを統計処理、活動矩形領域抽出処理で得られた変化領域矩形（活動矩形領域を含む矩形）６５に対し、指定された拡大縮小率（例えば拡大率“１０％”）で拡大／縮小した拡大／縮小矩形マスク６６を作成すると共に（ステップＳ７１）、次フレームのカラー画像全領域をグレー化して得られたモノクロ画像の中から拡大／縮小矩形マスク６６に対応する部分（モノクロ画像に含まれる活動領域部分の画像６７）だけを抽出して、２値化処理するようにしても良い（ステップＳ７２）。
【０１３０】
このようにすれば、モノクロ画像などの中から活動領域より少し広い範囲に含まれる画像のみを有効にし、それ以外の領域にある画像を無効にして、変化領域以外の部分に存在するノイズを除去することができる（請求項７の効果）。
【０１３１】
また、上述した第１の実施形態、及び第２の実施形態では、ＣＰＵ９による色フィルタリング処理、又は色フィルタリング処理回路３８、４６によって、肌色のカラー画像を抽出するようにしているが、ユーザが特定色の操作器、例えば赤ペンなどを使用して仮想カーソルの位置、クリック、操作対象画面のスクロール、操作対象画面の拡大、操作対象画面の縮小、操作対象画面の回転などを制御する場合には、赤色抽出用のカラーマスクを使用し、ＣＰＵ９による色フィルタリング処理、又は色フィルタリング処理回路３８、４６によって赤色のカラー画像を抽出するようにしても良い。
【０１３２】
これにより、各ウェブカメラ４、６、右眼用ビデオカメラ本体３０、左眼用ビデオカメラ本体３２の撮影範囲に複数の人がいても、ユーザが持つ操作器の色に対応するカラー画像を抽出して仮想カーソルのサイズ制御、位置制御、クリック制御、操作対象画面のスクロール制御、拡大制御、縮小制御、回転制御などを行うことができる。
【０１３３】
また、このような色フィルタリング処理は、各ウェブカメラ４、６、右眼用ビデオカメラ本体３０、左眼用ビデオカメラ本体３２から出力されるカラービデオ信号に含まれるユーザの手など、動いている画像を抽出するために行っている処理であることから、ユーザが居る場所の照明条件が良好で、ユーザの手などが動いている画像と背景画像とのコントラストが大きいとき、色フィルタリング処理を省略するようにしても良い。
【産業上の利用可能性】
【０１３４】
本発明は、情報端末装置やパーソナルコンピュータなどの情報機器に接続されて使用され、カメラによって操作者（ユーザ）の動作画像を取り込み、情報機器のカーソル操作やアプリケーションプログラムの選択及び実行などを制御する入力装置であって、特に、アルゴリズムを簡素化すると共に処理データ量を極力少なくして演算量、メモリ使用量を低減すると共に、リアルタイムでパソコンのカーソルなどを制御するようにした、ビデオ映像による入力装置に関するものであり、産業上の利用可能性を有する。
【符号の説明】
【０１３５】
１ａ、１ｂ：入力装置
２：パソコン
３：ディスプレイ部
４：ウェブカメラ（左眼用カラーカメラ）
５：ビデオキャプチャ
６：ウェブカメラ（右眼用カラーカメラ）
７：ＵＳＢインタフェース
８：ハードディスク
９：ＣＰＵ
１０：メモリ
１１：表示インタフェース
１２：システムバス
１３：ＯＳ格納エリア
１４：アプリケーション格納エリア
１５：画像処理プログラム格納エリア
１６：画像格納エリア
２０：分割エリア
２１：活動分割エリア
２５：仮想カーソル
２６：活動矩形領域
２７：仮想カーソル活動領域画像
２８：実カーソル
３０：右眼用ビデオカメラ本体（右眼用カラーカメラ本体）
３１：右眼側画像処理基板
３２：左眼用ビデオカメラ本体（左眼用カラーカメラ本体）
３３：左眼側画像処理基板
３４：共通処理基板
３５：肌色画像抽出回路
３６：グレー化処理回路
３７：画像分割／２値化処理回路
３８：色フィルタリング処理回路
３９：フレームバッファ回路
４０：フレーム間差分処理回路
４１：ヒストグラム処理回路
４２：活動矩形領域抽出処理回路
４３：肌色画像抽出回路
４４：グレー化処理回路
４５：画像分割／２値化処理回路
４６：色フィルタリング処理回路
４７：フレームバッファ回路
４８：フレーム間差分処理回路
４９：ヒストグラム処理回路
５０：活動矩形領域抽出処理回路
５１：撮影条件設定回路
５２：活動矩形領域選択処理回路
５３：仮想カーソル制御処理／画面制御処理回路
６５：変化領域矩形
６６：拡大／縮小矩形マスク
６７：マスク後の画像
【技術分野】
【０００１】
本発明は、情報端末装置やパーソナルコンピュータなどの情報機器に接続されて使用され、カメラによって操作者（ユーザ）の動作画像を取り込み、情報機器のカーソル操作やアプリケーションプログラムの選択及び実行などを制御する入力装置であって、特に、アルゴリズムを簡素化すると共に処理データ量を極力少なくして演算量、メモリ使用量を低減すると共に、リアルタイムでパソコンのカーソルなどを制御するようにした、ビデオ映像による入力装置に関する。
【背景技術】
【０００２】
近年、カメラでユーザを撮影して画像解析し、この画像解析結果を使用してオーディオ装置、エアコンなどの機器を操作する入力装置が種々、提案されている。
【０００３】
図３３は、このような従来の映像による入力装置を説明するための操作入力装置のブロック図である（特許文献１を参照）。
【０００４】
この図に示す操作入力装置１０１は、可視光カメラ１０６（図３４参照）などを使用してユーザを撮影しカラー画像を出力する撮像手段１０２と、撮像手段１０２から出力されるカラー画像を解析し、ユーザの手の形状を検出する手領域検出手段１０３と、予め登録されている手形状と手領域検出手段１０３から出力される手形状とを比較し、操作指示内容を判定する手操作判定手段１０４と、手操作判定手段１０４の判定内容に基づき選択メニューを音声、又はプロジェクト画像などでユーザに知らせる選択メニュー表現手段１０５と、を備えている。
【０００５】
この操作入力装置１０１は、可視光カメラ１０６で撮影したカラー画像から手領域を抽出すると共に、その手の形状がどのような形状（例えば、手を傾ける、指を曲げるなど）になっているかを判定し、この判定内容に対応する手操作指示を音声、又はプロジェクト画像などでユーザに知らせるものである。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−１０４２９７号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、このような従来の操作入力装置１０１では、ユーザの手形状を正確に検出する必要があることから、可視光カメラ１０６として手の部分を詳細に撮影できる解像度の高いカメラを使用しなければならず、操作入力装置１０１全体が高価になってしまうという問題があった。
【０００８】
また、従来の操作入力装置１０１では、手領域検出手段１０３によって処理される背景画像と現在の画像が共に解像度が高いため、ピクセル（画素）数、データ量が膨大だった。そのため、その分だけハードディスクの容量、メモリ容量などを大きくしなければならず、操作入力装置１０１全体が高価になってしまうという問題があった。
【０００９】
さらに、従来の操作入力装置１０１では、手領域検出手段１０３として図３４に示すように、差分領域抽出手段１１０、肌色領域抽出手段１１１、２値化補正手段１１２、距離算出手段１１３、中央重点補正手段１１４、手領域候補検出手段１１５、輪郭長／面積算出手段１１６、手領域決定手段１１７などを備え、複雑な演算を行わなければならないのみならず、かなり高速なＣＰＵ、又は専用回路を使用しなければリアルタイムで手の形状を検出することができないという問題があった。
【００１０】
このため、パソコンのカーソルなどを簡単に遠隔操作する入力装置として上記のような従来の操作入力装置１０１を使用することは難しく、安価なカメラが適用可能で、かつ少ない演算量、少ないメモリ量で遠隔操作入力できる入力装置の開発が強く望まれていた。
【００１１】
また、従来の操作入力装置１０１では、可視光カメラ１０６の撮影範囲内にユーザ以外の人が居て手を動かした場合に、これを検出して誤動作してしまうという問題があった。
【００１２】
本発明は、上記の事情に鑑み、請求項１では、解像度が低く安価なカメラの使用を可能にすると共に、演算量、メモリ量を大幅に少なくすることにより装置全体のコストを大幅に低減させながら、ユーザの動きを検知してパソコンのカーソルなどを遠隔操作することができ、さらにカメラの撮影範囲内にユーザ以外の人が居て手を動かした場合でも誤動作しない入力装置を提供することを目的とする。
【００１３】
また、請求項２では、パソコンなどから分離された解像度が低く安価なカメラの使用を可能にすると共に、回路規模を大幅に小さくすることにより装置全体のコストを大幅に低減させながら、ユーザの動きを検知してパソコンのカーソルなどを遠隔操作することができ、さらにカメラの撮影範囲内にユーザ以外の人が居て手を動かした場合でも誤動作しない入力装置を提供することを目的とする。
【００１４】
また、請求項３では、解像度が低く安価なカメラの使用を可能にすると共に、演算量、メモリ量、又は回路規模を大幅に小さくすることにより装置全体のコストを大幅に低減させながら、ユーザの片手動作を検知してパソコンのカーソル、操作対象画面のスクロールなどを遠隔操作することができ、さらにカメラの撮影範囲内にユーザ以外の人が居て手を動かした場合でも誤動作しない入力装置を提供することを目的とする。
【００１５】
また、請求項４では、解像度が低く安価なカメラの使用を可能にすると共に、演算量、メモリ量、又は回路規模を大幅に小さくすることにより装置全体のコストを大幅に低減させながら、ユーザの両手動作を検知して操作対象画面の拡大／縮小、操作対象画面の回転などを遠隔操作することができ、さらにカメラの撮影範囲内にユーザ以外の人が居て手を動かした場合でも誤動作しない入力装置を提供することを目的とする。
【００１６】
また、請求項５では、解像度が低く安価なカメラの使用を可能にすると共に、演算量、メモリ量、又は回路規模を大幅に小さくすることにより装置全体のコストを大幅に低減させながら、ユーザの手など動いている部分のみを正確に検知し、安定した仮想カーソル制御、クリック制御、操作対象画面制御を行い、さらにカメラの撮影範囲内にユーザ以外の人が居て手を動かした場合でも誤動作しない入力装置を提供することを目的とする。
【００１７】
また、請求項６では、解像度が低く安価なカメラの使用を可能にすると共に、演算量、メモリ量、又は回路規模を大幅に小さくすることにより装置全体のコストを大幅に低減させながら、ユーザの影などに起因する誤動作を防止し、安定した仮想カーソル制御、クリック制御、操作対象画面制御を行い、さらにカメラの撮影範囲内にユーザ以外の人が居て手を動かした場合でも誤動作しない入力装置を提供することを目的とする。
【００１８】
また、請求項７では、解像度が低く安価なカメラの使用を可能にすると共に、演算量、メモリ量、又は回路規模を大幅に小さくすることにより装置全体のコストを大幅に低減させながら、カメラで得られた画像の中からユーザの手画像より少し広い範囲に含まれる画像のみを有効にし、それ以外の画像を無効にして変化領域以外の部分に存在するノイズを除去することができ、さらにカメラの撮影範囲内にユーザ以外の人が居て手を動かした場合でも誤動作しない入力装置を提供することを目的とする。
【課題を解決するための手段】
【００１９】
本発明は、上記の目的を達成するために、請求項１では、ビデオカメラで得られた操作者の画像を処理して、操作者の動作内容に応じた操作指示を生成する入力装置において、操作者を撮影する右眼用カラーカメラと、この右眼用カラーカメラから所定距離だけ離れた位置に、前記右眼用カラーカメラと並んで配置され、前記操作者を撮影する左眼用カラーカメラと、前記右眼用カラーカメラから出力されるカラー画像に対し、グレー化処理、画像分割／２値化処理、フレーム間差分処理、ヒストグラム処理、活動矩形領域抽出処理を行い、前記操作者の右眼側活動矩形領域を抽出する右眼側画像処理プログラムと、前記左眼用カラーカメラから出力されるカラー画像に対し、グレー化処理、画像分割／２値化処理、フレーム間差分処理、ヒストグラム処理、活動矩形領域抽出処理を行い、前記操作者の左眼側活動矩形領域を抽出する左眼側画像処理プログラムと、前記右眼側画像処理プログラムで得られた右眼側活動矩形領域、前記左眼側画像処理プログラムで得られた左眼側活動矩形領域に対し、両眼視差法を使用した活動矩形領域選択処理、仮想カーソル制御処理／画面制御処理を行って、前記操作者の手、又は指先の動きを検出し、この検出結果に応じた操作指示を生成する画像処理プログラムとを備えることを特徴としている。
【００２０】
また、請求項２では、ビデオカメラで得られた操作者の画像を処理して、操作者の動作内容に応じた操作指示を生成し、遠隔操作対象機器の動作を制御する入力装置において、箱形に形成される入力装置筐体と、この入力装置筐体の前面左側に取り付けられ、操作者の画像を撮影する右眼用カラーカメラ本体と、前記入力装置筐体の前面右側に取り付けられ、前記操作者の画像を撮影する左眼用カラーカメラ本体と、前記入力装置筐体内に配置され、グレー化処理回路、画像分割／２値化処理回路、フレーム間差分処理回路、ヒストグラム処理回路、活動矩形領域抽出処理回路によって、前記右眼用カラーカメラ本体から出力されるカラー画像を処理して、前記操作者の右眼側活動矩形領域を抽出する右眼側画像処理基板と、前記入力装置筐体内に配置され、グレー化処理回路、画像分割／２値化処理回路、フレーム間差分処理回路、ヒストグラム処理回路、活動矩形領域抽出処理回路によって、前記左眼用カラーカメラ本体から出力されるカラー画像を処理して、前記操作者の左眼側活動矩形領域を抽出する左眼側画像処理基板と、前記入力装置筐体内に配置され、活動矩形領域選択処理回路、仮想カーソル制御処理／画面制御処理回路によって、前記右眼側画像処理基板で得られた右眼側活動矩形領域、前記左眼側画像処理基板で得られた左眼側活動矩形領域に、両眼視差法を使用した活動矩形領域選択処理、仮想カーソル制御処理／画面制御処理を行って、前記操作者の手、又は指先の動きを検出し、この検出結果に応じたポインティングデータを生成し、遠隔操作対象機器の動作を制御する共通処理基板とを備えることを特徴としている。
【００２１】
また、請求項３では、請求項１、２の何れかに記載の入力装置において、前記仮想カーソル制御処理／画面制御処理、又は前記仮想カーソル制御処理／画面制御処理回路は、仮想カーソル活動領域画像上に活動矩形領域群が１つあるとき、その形状、移動有無に基づき、カールソル制御指示、又は画面スクロール指示を生成することを特徴としている。
【００２２】
また、請求項４では、請求項１、２、３の何れかに記載の入力装置において、前記仮想カーソル制御処理／画面制御処理、又は前記仮想カーソル制御処理／画面制御処理回路は、仮想カーソル活動領域画像上に活動矩形領域群が２つあるとき、その移動方向に基づき、画面回転指示、画面拡大指示、画面縮小指示の何れかを生成することを特徴としている。
【００２３】
また、請求項５では、請求項１、２、３、４の何れかに記載の入力装置において、前記活動矩形領域抽出処理、又は前記活動矩形領域抽出処理回路は、ヒストグラムの統計処理結果を使用して、前記ヒストグラムから仮想カーソル活動領域画像、仮想ボタンクリック活動領域画像を作成することを特徴としている。
【００２４】
また、請求項６では、請求項１、２、３、４、５の何れかに記載の入力装置において、前記活動矩形領域抽出処理、又は前記活動矩形領域抽出処理回路は、前記仮想カーソル活動領域画像、又は前記仮想ボタンクリック活動領域画像に対し、多段階矩形オブジェクト抽出処理を行い、ノイズ成分を除去することを特徴としている。
【００２５】
また、請求項７では、請求項１、２、３、４、５、６の何れかに記載の入力装置において、拡大／縮小矩形マスク作成処理、又は拡大／縮小矩形マスク作成処理回路を付加し、前記拡大／縮小矩形マスク作成処理、又は前記拡大／縮小矩形マスク作成処理回路によって、前記カラーカメラ、前記カラーカメラ本体で得られたカラー画像の中から、前記仮想カーソル活動領域画像上の変化領域矩形、又は前記仮想ボタンクリック活動領域画像の変化領域矩形に対応する画像を抽出し、それ以外の画像をカットして、ノイズ成分を除去することを特徴としている。
【発明の効果】
【００２６】
本発明によれば、解像度が低く安価なカメラの使用を可能にすると共に、演算量、メモリ量を大幅に少なくすることにより装置全体のコストを大幅に低減させながら、ユーザの動きを検知してパソコンのカーソルなどを遠隔操作することができ、さらにカメラの撮影範囲内にユーザ以外の人が居て手を動かした場合でも誤動作しない入力装置を実現することが可能となる。
【図面の簡単な説明】
【００２７】
【図１】本発明による入力装置の第１の実施形態を示すブロック図である。
【図２】図１に示す入力装置の詳細な動作例を示すフローチャートである。
【図３】図２に示すグレー化／２値化画像処理の詳細な動作例を示すフローチャートである。
【図４】図２に示すフレーム間差分／ヒストグラム作成処理の詳細な動作例を示すフローチャートである。
【図５】図２に示す活動矩形領域抽出処理の詳細な動作例を示すフローチャートである。
【図６】図２に示す活動矩形領域選択処理の詳細な動作例を示すフローチャートである。
【図７】図２に示す仮想カーソル制御処理、画面制御処理の詳細な動作例を示すフローチャートである。
【図８】図１に示す入力装置で使用される元のヒストグラム例と、変化領域抽出後のヒストグラム例とを示す模式図である。
【図９】図１に示す入力装置で使用される変化領域抽出後のヒストグラム例と、仮想カーソル活動領域画像例とを示す模式図である。
【図１０】図１に示す入力装置で使用される元のヒストグラム例と、変化領域抽出後のヒストグラム例とを示す模式図である。
【図１１】図１に示す入力装置で使用される変化領域抽出後のヒストグラム例と、仮想カーソル活動領域画像例とを示す模式図である。
【図１２】図１に示す入力装置において、活動矩形領域選択処理で選択された活動矩形領域群の一例を示す模式図である。
【図１３】図１に示す入力装置において、活動矩形領域選択処理で選択された活動矩形領域群の一例を示す模式図である。
【図１４】図１に示す入力装置で使用される多段階オブジェクト抽出処理の一例を示す模式図である。
【図１５】図１に示す入力装置で使用される多段階オブジェクト抽出処理の一例を示す模式図である。
【図１６】図１に示す入力装置で使用される両眼視差法の概要を示す模式図である。
【図１７】図１に示す入力装置において、両眼視差法による補正を行う前の右活動矩形領域、左活動矩形領域の関係を示す模式図である。
【図１８】図１に示す入力装置において、両眼視差法による補正を行った後の右活動矩形領域、左活動矩形領域の関係を示す模式図である。
【図１９】図１に示す入力装置において、両眼視差法による補正を行った後の右活動矩形領域、各左活動矩形領域の実例を示す模式図である。
【図２０】図１に示す入力装置によって撮影されるユーザの手の動きと、仮想カーソルとの関係例を示す模式図である。
【図２１】図１に示す入力装置によって撮影されるユーザの手の動きと、仮想カーソルとの関係例を示す模式図である。
【図２２】図１に示す入力装置によって制御される実カーソルの微調整動作例を示す模式図である。
【図２３】図１に示す入力装置によって制御される仮想カーソルの色制御例を示す模式図である。
【図２４】図１に示す入力装置で使用される変化領域抽出後のヒストグラム例と、仮想カーソル活動領域画像例とを示す模式図である。
【図２５】図１に示す入力装置によって撮影されるユーザの手の動きと、クリック動作との関係例を示す模式図である。
【図２６】図１に示す入力装置によって得られる仮想カーソル活動領域画像上に２つの各活動矩形領域群があるときの一例を示す模式図である。
【図２７】図１に示す入力装置によって得られる仮想カーソル活動領域画像上にある各活動矩形領域群の位置関係例を示す模式図である。
【図２８】図１に示す入力装置によって得られる仮想カーソル活動領域画像上に２つの各活動矩形領域群があるときの一例を示す模式図である。
【図２９】図１に示す入力装置によって得られる仮想カーソル活動領域画像上にある各活動矩形領域群の位置関係例を示す模式図である。
【図３０】本発明による入力装置の第２の実施形態を示すブロック図である。
【図３１】本発明による入力装置の他の実施形態を示すフローチャートである。
【図３２】図３１に示すフローチャートの動作例を示す模式図である。
【図３３】従来から知られている操作入力装置の一例を示すブロック図である。
【図３４】図３３に示す手領域検出手段の詳細な回路構成例を示すブロック図である。
【発明を実施するための形態】
【００２８】
１．第１の実施形態の説明
図１は、本発明による入力装置の第１の実施の形態を示すブロック図を示す。
この図に示す入力装置１ａは、パソコン２のディスプレイ部３に設けられる内蔵型のウェブカメラ（請求項１の左眼用カラーカメラ）４と、パソコン２内に設けられるビデオキャプチャ５と、パソコン２のディスプレイ部３に設けられる外付け型のウェブカメラ（請求項１の右眼用カラーカメラ）６と、パソコン２内に設けられるＵＳＢインタフェース７と、パソコン２内に設けられるハードディスク８と、パソコン２内に設けられるＣＰＵ９と、パソコン２内に設けられるメモリ１０とによって構成されている。この入力装置１ａは、各ウェブカメラ４、６で得られたカラー画像を解析して、各ウェブカメラ４、６の設置位置から所定距離範囲、例えば“０．３ｍ”〜“０．８ｍ”の範囲内にいるユーザとそれ以外の距離にいる他の人とを区別しながら、ユーザの手、指先などの動きのみを検出し、パソコン２のディスプレイ部３に表示された仮想カーソル２５〔図２０の（ｂ）参照〕、操作対象画面（ＯＳ画面、アプリケーション画面）などを制御し、現在、起動中のアプリケーションをコントロールする。
【００２９】
ウェブカメラ４は、３２０画素×２４０画素程度の解像度を持つカラーカメラであり、ビデオキャプチャ５から撮影指示が出されているとき、ユーザを撮影して得られたカラービデオ信号をビデオキャプチャ５に供給する。
【００３０】
ビデオキャプチャ５は、システムバス１２を介して、ＣＰＵ９から撮影指示が出されているとき、ウェブカメラ４を制御してユーザを撮影すると共に、撮影動作で得られたカラービデオ信号を取り込み、ＲＧＢ信号形式のカラー画像に変換してＣＰＵ９に供給する。
【００３１】
また、ウェブカメラ６は、ウェブカメラ４から水平方向に所定距離だけ離れてディスプレイ部３の上縁などに取り付けられた、３２０画素×２４０画素程度の解像度を持つカラーカメラであり、ＵＳＢインタフェース７から撮影指示が出されているとき、ユーザを撮影して得られたＹＵＶ信号をＵＳＢインタフェース７に供給する。
【００３２】
ＵＳＢインタフェース７は、システムバス１２を介して、ＣＰＵ９から撮影指示が出されているとき、ウェブカメラ６を制御してユーザの画像を撮影すると共に、撮影動作で得られたＹＵＶ信号を取り込んでＣＰＵ９に供給し、ＲＧＢ信号形式のカラー画像に変換する。
【００３３】
ハードディスク８は、ＯＳ（Operating System）、定数データなどが格納されるＯＳ格納エリア１３と、インターネットエクスプローラプログラム、ブラウザプログラムなどのアプリケーションプログラムが格納されるアプリケーション格納エリア１４と、本発明で使用する画像処理プログラム（請求項１の右眼側画像処理プログラム、左眼側画像処理プログラム、画像処理プログラム）が格納される画像処理プログラム格納エリア１５と、ＨＳＶ（色相・彩度・明度）方式で、予め設定されている特定色（例えば、肌色）のカラー画像を抽出するのに必要なカラーマスク、２値化画像、ヒストグラム、仮想カーソル活動領域画像２７（図９参照）、仮想ボタンクリック活動領域画像などが格納される画像格納エリア１６とを備えている。そして、ＣＰＵ９から読み出し指示が出力されたとき、システムバス１２を介してこれを取り込み、指定されたエリアに格納されているＯＳ、定数データ、アプリケーションプログラム、画像処理プログラム、２値化画像、ヒストグラム、仮想カーソル活動領域画像２７、仮想ボタンクリック活動領域画像などを読み出し、システムバス１２を介してＣＰＵ９に供給する。また、ＣＰＵ９から書き込み指示、データが出力されたとき、システムバス１２を介してこれらを取り込み、書き込み指示で指定されたエリア、例えば画像格納エリア１６などにデータを記憶させる。
【００３４】
ＣＰＵ９は、ハードディスク８に格納されているＯＳ、定数データ、アプリケーションプログラムなどで指定された表示データを生成してシステムバス１２に接続された表示インタフェース１１に供給し、ディスプレイ部３に操作対象画面を表示させる。また、右眼側画像処理プログラム、左眼側画像処理プログラム、画像処理プログラムなどで記述された画像処理を行い、操作対象画面に表示されている仮想カーソルのサイズ、位置などの制御、クリック制御、スクロール制御、画面回転制御、画面拡大制御、画面縮小制御などを行う。
【００３５】
メモリ１０は、数百メガバイト〜数ギガバイト程度の容量を持ち、ＣＰＵ９がアプリケーションプログラム、右眼側画像処理プログラム、左眼側画像処理プログラム、画像処理プログラムなどで指定された処理を行うときの一時データ格納エリアとして使用される。
【００３６】
次に、図２〜図７に示す各フローチャート、図８〜図２９に示す各模式図などを参照しながら、入力装置１ａの画像処理動作、カーソル制御動作、画面制御動作などを説明する。
【００３７】
《２値化画像生成、格納》
まず、パソコン２の電源が投入されて、アプリケーションプログラム、右眼側画像処理プログラム、左眼側画像処理プログラム、画像処理プログラムが起動されると、図２のフローチャートに示すようにＣＰＵ９によって、ビデオキャプチャ５が制御されて、ウェブカメラ４の撮影動作で得られたカラービデオ信号が取り込まれると共に、ＲＧＢ信号形式のカラー画像に変換されてメモリ１０などに一時記憶される（ステップＳ１）。
【００３８】
また、この動作と並行し、ＣＰＵ９によってＵＳＢインタフェース７が制御されて、ウェブカメラ６の撮影動作で得られたＹＵＶ信号が取り込まれると共に、ＲＧＢ信号形式のカラー画像に変換されてメモリ１０などに一時記憶される（ステップＳ２）。
【００３９】
また、これらの各動作と並行し、ＣＰＵ９によってメモリ１０などに一時記憶されている各カラー画像（各ウェブカメラ４、６の撮影動作で得られたカラー画像）のうち、パソコン２側からユーザを見たとき右眼に対応するウェブカメラ、例えば外付け型のウェブカメラ６で得られたカラー画像が読み取られる（ステップＳ３）。
【００４０】
この後、ＣＰＵ９によってグレー化／２値化画像処理が開始される（ステップＳ４）。即ち、図３のフローチャートに示すようにハードディスク８の画像格納リア１６に格納されているカラーマスクで、外付け型のウェブカメラ６で得られたカラー画像がマスクされ、カラー画像の中から予め設定されている特定色（例えば、肌色）のカラー画像（肌色画像）が抽出されると共に（ステップＳ２１）、外付け型のウェブカメラ６で得られたカラー画像がグレー処理化されて、予め設定されている階調のモノクロ画像に変換され、１フレーム分の画像容量を低減させる（ステップＳ２２）。
【００４１】
そして、ＣＰＵ９によって画面分割指示が設定されているかどうかがチェックされ、画面分割指示があればモノクロ画像が複数のエリア（各エリアは各々、数個〜数十個の画素によって構成される）に分割され、また画面分割指示がなければ分割処理がスキップされた後、最大尤度しきい値法でモノクロ画像が２値化され、２値化画像が作成される（ステップＳ２３）。
【００４２】
次いで、ＣＰＵ９によって２値化画像と肌色画像との論理和が取られて、２値化画像中の肌色部分が抽出され（ステップＳ２４）、これが１フレーム分の２値化画像（右眼側の２値化画像）としてハードディスク８の画像格納エリア１６に格納される（ステップＳ２５）。
【００４３】
この後、ＣＰＵ９によって図２のフローチャートに示すようにメモリ１０などに一時記憶されている各カラー画像（各ウェブカメラ４、６の撮影動作で得られた各カラー画像）のうち、パソコン２側からユーザを見たとき左眼に対応するウェブカメラ、例えば内蔵型のウェブカメラ４で得られたカラー画像が読み取られる（ステップＳ５）。
【００４４】
次いで、ＣＰＵ９によってグレー化／２値化画像処理が開始される（ステップＳ６）。即ち、図３のフローチャートに示すようにハードディスク８の画像格納エリア１６に格納されているカラーマスクで内蔵型のウェブカメラ４で得られたカラー画像がマスクされ、カラー画像の中から予め設定されている特定色（例えば、肌色）のカラー画像（肌色画像）が抽出されると共に（ステップＳ２１）、内蔵型のウェブカメラ４で得られたカラー画像がグレー処理化されて、予め設定されている階調のモノクロ画像に変換され、１フレーム分の画像容量を低減させる（ステップＳ２２）。
【００４５】
そして、ＣＰＵ９によって画面分割指示が設定されているかどうかがチェックされ、画面分割指示があればモノクロ画像が複数のエリア（各エリアは各々、数個〜数十個の画素によって構成される）に分割され、また画面分割指示がなければ分割処理がスキップされた後、最大尤度しきい値法でモノクロ画像が２値化され、２値化画像が作成される（ステップＳ２３）。
【００４６】
次いで、ＣＰＵ９によって２値化画像と肌色画像との論理和が取られて、２値化画像中の肌色部分が抽出され（ステップＳ２４）、これが１フレーム分の２値化画像（左眼側の２値化画像）としてハードディスク８の画像格納エリア１６に格納される（ステップＳ２５）。
【００４７】
以下、上述した画像処理が繰り返され、ＦＩＦＯ（First・In・First・Out）形式でハードディスク８の画像格納エリア１６に右眼側の２値化画像、左眼側の２値化画像が各々数フレーム分〜数十フレーム分蓄積される。
【００４８】
《フレーム間差分、ヒストグラム作成》
また、この動作と並行し図２のフローチャートに示すように、ＣＰＵ９によってハードディスク１３の画像格納エリア１６に格納されている数フレーム分〜数十フレーム分の２値化画像の中から、右眼側に対応する最新の２値化画像を含む連続する数フレームの２値化画像が順次読み出される（ステップＳ７）。
【００４９】
そして、ＣＰＵ９によって読み出すことができた２値化画像のフレーム数がチェックされ、所定数以上のフレーム数であれば（ステップＳ８）、フレーム間差分／ヒストグラム作成処理が開始される（ステップＳ９）。即ち、図４のフローチャートに示すように、各２値化画像のうち、連続する２フレーム分の２値化画像に対しフレーム間差分処理が行われると共に（ステップＳ３１、Ｓ３２）、このフレーム間差分処理で得られた各差分画像が各分割エリア毎に累積加算されて右眼側のヒストグラムが作成され、ハードディスク８の画像格納エリア１６に格納される（ステップＳ３３、Ｓ３４）。
【００５０】
次いで、図２のフローチャートに示すように、ＣＰＵ９によってハードディスク１３の画像格納エリア１６に格納されている数フレーム分〜数十フレーム分の２値化画像の中から左眼側に対応する最新の２値化画像を含む、連続する数フレームの２値化画像が順次読み出される（ステップＳ１０）。
【００５１】
そして、ＣＰＵ９によって読み出すことができた２値化画像のフレーム数がチェックされ、所定数以上のフレーム数であれば（ステップＳ１１）、フレーム間差分／ヒストグラム作成処理が開始される（ステップＳ１２）。即ち、図４のフローチャートに示すように、各２値化画像のうち、連続する２フレーム分の２値化画像に対しフレーム間差分処理が行われると共に（ステップＳ３１、Ｓ３２）、このフレーム間差分処理で得られた各差分画像が各分割エリア毎に累積加算されて左眼側のヒストグラムが作成され、ハードディスク８の画像格納エリア１６に格納される（ステップＳ３３、Ｓ３４）。
【００５２】
《統計処理、仮想カーソルの活動領域決定、変化領域抽出》
この後、図２のフローチャートに示すように、ＣＰＵ９によってハードディスク８の画像格納エリア１６に格納されている右眼側のヒストグラムが読み出されて（ステップＳ１３）、活動矩形領域抽出処理が開始される（ステップＳ１４）。即ち、図５のフローチャートに示すように、ヒストグラムの各分割エリアの濃度値に対する統計処理が行われ、平均値、濃度分散値、最大値、偏差（±１σ、±２σ）などが演算される（ステップＳ４１）。
【００５３】
次いで、ＣＰＵ９によってヒストグラムの各分割エリアの中から、変化領域矩形抽出用のしきい値（例えば、平均値−１σ）より大きい濃度値になっている各分割エリアが抽出され、これらの各分割エリア（活動分割エリア）を含むように矩形状の変化領域矩形６５（図３２参照）が決定されて、ハードディスク８の画像格納エリア１６に格納される。
【００５４】
また、この動作と並行し、ＣＰＵ９によって図８、図１０の３次元濃度分布図に示すようにヒストグラムを構成している各分割エリア２０（図９、図１１参照）のうち、仮想カーソル矩形抽出用のしきい値（例えば、最大値−１σ）より大きい濃度値になっている分割エリア（活動分割エリア２１）が抽出される。
【００５５】
これにより、ユーザが指先を大きく回しているとき、図９に示す通り各活動分割エリア２１を含むように矩形状の活動矩形領域２６が決定されると共に、この決定結果に基づき図１２に示すような右眼側の仮想カーソル活動領域画面２７が作成されて、ハードディスク８の画像格納エリア１６に格納される。
【００５６】
また、ユーザが両手を動かしているときには、図１１に示す通り各活動分割エリア２１を含むように矩形状の活動矩形領域２６が決定されて、図１３に示すような右眼側の仮想カーソル活動領域画像２７が作成され、ハードディスク８の画像格納エリア１６に格納される（ステップＳ４２）。
【００５７】
《仮想ボタンクリックの活動領域決定》
この後、ＣＰＵ９によってハードディスク８の画像格納エリア１６に格納されている右眼側のヒストグラムが読み出されて、各分割エリア２０のうち仮想ボタンクリック矩形抽出用のしきい値（例えば、最大値−２σ）より大きい濃度値になっている分割エリア（活動分割エリア）が抽出されると共に、これらの各活動分割エリアを含むように矩形状の活動矩形領域が決定されて、右眼側の仮想ボタンクリック活動領域画像（図示は省略する）が作成され、ハードディスク８の画像格納エリア１６に格納される（ステップＳ４３）。
【００５８】
《多段階矩形オブジェクト抽出処理、影の影響除去》
次いで、ＣＰＵ９によって仮想カーソル矩形抽出用のしきい値（例えば、最大値−１σ）を使用して得られた右眼側の仮想カーソル活動領域画像２７、仮想ボタンクリック矩形抽出用のしきい値（例えば、最大値−２σ）を使用して得られた右眼側の仮想ボタンクリック活動領域画像に対し、各々活動矩形領域２６が左右に分割可能かどうかチェックされ、左右に分割可能であれば、図１４に示すように活動矩形領域２６の水平方向中心点“Ａ”が求められると共に、水平方向中心点“Ａ”から左側にある非活動領域と、活動領域（例えば、活動分割エリア２１）との境界点“Ｂ”と、水平方向中心点“Ａ”から右側にある非活動領域と、活動領域（例えば、活動分割エリア２１）との境界点“Ｃ”とが検知され、これら境界点“Ｂ”、“Ｃ”を含む領域が各活動矩形領域２６と判定され、それ以外の活動領域がユーザの影などによる不要な活動領域と判定され、無効とされる（２点抽出処理）。
【００５９】
この後、ＣＰＵ９によって、２点抽出処理が終了した各活動矩形領域２６に対し、各々活動矩形領域２６が上下に分割可能かどうかチェックされ、上下分割可能であれば図１５に示すように活動矩形領域２６の上下方向中心点“Ａ”が求められると共に、上下方向中心点“Ａ”から上側にある非活動領域と、活動領域（例えば、活動分割エリア２１）との境界点“Ｂ”が検知され、これら境界点“Ｂ”を含む領域が活動矩形領域２６と判定され、下の活動領域がユーザの影などによる不要な活動領域と判定され、無効とされる（最小化処理）（ステップＳ４４）。
【００６０】
次いで、ＣＰＵ９によって、これら２点抽出処理、最小化処理によって構成される多段階矩形オブジェクト抽出処理で得られた活動矩形領域２６を含む右眼側の仮想カーソル活動領域画像２７、右眼側の仮想ボタンクリック活動領域画像が、ハードディスク８の画像格納エリア１６に格納される（ステップＳ４５）。
【００６１】
《統計処理、仮想カーソルの活動領域決定、変化領域抽出》
この後、図２のフローチャートに示すようにＣＰＵ９によって、ハードディスク８の画像格納エリア１６に格納されている左眼側のヒストグラムが読み出されて（ステップＳ１５）、活動矩形領域抽出処理が開始される（ステップＳ１６）。即ち、図５のフローチャートに示すように、ヒストグラムの各分割エリアの濃度値に対する統計処理が行われ、平均値、濃度分散値、最大値、偏差（±１σ、±２σ）などが演算される（ステップＳ４１）。
【００６２】
次いで、ＣＰＵ９によって変化領域矩形抽出用のしきい値（例えば、平均値−１σ）より大きい濃度値になっている各分割エリア２０が抽出されて、これらの各分割エリア（活動分割エリア）を含むように矩形状の変化領域矩形６５（図３２参照）が決定され、ハードディスク８の画像格納エリア１６に格納される。
【００６３】
また、この動作と並行しＣＰＵ９によって、図８、図１０の３次元濃度分布図に示すようにヒストグラムを構成している各分割エリア２０（図９、図１１参照）のうち、仮想カーソル矩形抽出用のしきい値（例えば、最大値−１σ）より大きい濃度値になっている分割エリア（活動分割エリア２１）が抽出される。
【００６４】
これにより、ユーザが指先を大きく回しているとき、図９に示す通り各活動分割エリア２１を含むように矩形状の活動矩形領域２６が決定されると共に、この決定結果に基づき図１２に示すような左眼側の仮想カーソル活動領域画面２７が作成されて、ハードディスク８の画像格納エリア１６に格納される。
【００６５】
また、ユーザが両手を動かしているときには、図１１に示す通り各活動分割エリア２１を含むように矩形状の活動矩形領域２６が決定されて、図１３に示すような左眼側の仮想カーソル活動領域画像２７が作成され、ハードディスク８の画像格納エリア１６に格納される（ステップＳ４２）。
【００６６】
《仮想ボタンクリックの活動領域決定》
次いで、ＣＰＵ９によってハードディスク８の画像格納エリア１６に格納されている左眼側のヒストグラムが読み出されて、各分割エリア２０のうち仮想ボタンクリック矩形抽出用のしきい値（例えば、最大値−２σ）より大きい濃度値になっている分割エリア（活動分割エリア）が抽出されると共に、これらの各活動分割エリアを含むように矩形状の活動矩形領域が決定されて、左眼側の仮想ボタンクリック活動領域画像（図示は省略する）が作成され、ハードディスク８の画像格納エリア１６に格納される（ステップＳ４３）。
【００６７】
《多段階矩形オブジェクト抽出処理、影の影響除去》
次いで、ＣＰＵ９によって仮想カーソル矩形抽出用のしきい値（例えば、最大値−１σ）を使用して得られた左眼側の仮想カーソル活動領域画像２７、仮想ボタンクリック矩形抽出用のしきい値（例えば、最大値−２σ）を使用して得られた左眼側の仮想ボタンクリック活動領域画像に対し、各々活動矩形領域２６が左右に分割可能かどうかチェックされ、左右に分割可能であれば、図１４に示すように活動矩形領域２６の水平方向中心点“Ａ”が求められると共に、水平方向中心点“Ａ”から左側にある非活動領域と、活動領域（例えば、活動分割エリア２１）との境界点“Ｂ”と、水平方向中心点“Ａ”から右側にある非活動領域と、活動領域（例えば、活動分割エリア２１）との境界点“Ｃ”とが検知され、これら境界点“Ｂ”、“Ｃ”を含む領域が各活動矩形領域２６と判定され、それ以外の活動領域がユーザの影などによる不要な活動領域と判定され、無効とされる（２点抽出処理）。
【００６８】
この後、ＣＰＵ９によって、２点抽出処理が終了した各活動矩形領域２６に対し各々活動矩形領域２６が上下に分割可能かどうかチェックされ、上下分割可能であれば図１５に示すように活動矩形領域２６の上下方向中心点“Ａ”が求められると共に、上下方向中心点“Ａ”から上側にある非活動領域と活動領域（例えば、活動分割エリア２１）との境界点“Ｂ”が検知され、これら境界点“Ｂ”を含む領域が活動矩形領域２６、下の活動領域がユーザの影などによる不要な活動領域と判定され、無効とされる（最小化処理）（ステップＳ４４）。
【００６９】
次いで、ＣＰＵ９によってこれら２点抽出処理、最小化処理によって構成される多段階矩形オブジェクト抽出処理で得られた活動矩形領域２６を含む左眼側の仮想カーソル活動領域画像２７、左眼側の仮想ボタンクリック活動領域画像が、ハードディスク８の画像格納エリア１６に格納される（ステップＳ４５）。
【００７０】
《活動矩形領域選択》
この後、図２のフローチャートに示すように、ＣＰＵ９によって活動矩形領域選択処理が開始される（ステップＳ１７）。即ち、図６のフローチャートに示すようにハードディスク８の画像格納エリア１６に格納されている右眼側の仮想カーソル活動領域画像２７、右眼側の仮想ボタンクリック活動領域画像が読み出され、これら右眼側の仮想カーソル活動領域画像２７、右眼側の仮想ボタンクリック活動領域画像に含まれている各活動矩形領域２６に対し、図１６の模式図に示すように両眼視差法による位置補正が行われ、各ウェブカメラ４、６の取り付け位置（水平距離“Ｂ”、上下距離など）、各ウェブカメラ４、６の焦点距離“ｆ”などと対応するように各活動矩形領域２６の中心座標“ＰＲ（ＸＲ、ＹＲ）”が補正された後、大きさ順に番号が付加される（ステップＳ５１、Ｓ５２）。
【００７１】
次いで、ＣＰＵ９によってハードディスク８の画像格納エリア１６に格納されている左眼側の仮想カーソル活動領域画像２７、左眼側の仮想ボタンクリック活動領域画像が読み出され、これら左眼側の仮想カーソル活動領域画像２７、左眼側の仮想ボタンクリック活動領域画像の各活動矩形領域２６に対し、図１６の模式図に示すように両眼視差法による位置補正が行われ、各ウェブカメラ４、６の取り付け位置（水平距離“Ｂ”、上下距離など）、各ウェブカメラ４、６の焦点距離“ｆ”などと対応するように各活動矩形領域２６の座標“ＰＬ（ＸＬ、ＹＬ）”が補正された後、大きさ順に番号が付加される（ステップＳ５３、Ｓ５４）。
【００７２】
これにより、各ウェブカメラ４、６の焦点距離などと対応したピント位置、例えば各ウェブカメラ４、６から“０．３ｍ”〜“０．８ｍ”離れた位置にユーザの手があり、両眼視差法による位置補正を行う前、図１７の模式図に示すように右眼側の各活動矩形領域２６と左眼側の各活動矩形領域２６とが位置がずれていても、両眼視差法による位置補正を行うことにより、図１８の模式図に示すように右眼側の各活動矩形領域２６と左眼側の各活動矩形領域２６とを完全一致（又は、ほぼ一致）させることができる。
【００７３】
この後、ＣＰＵ９によって図１９の模式図に示すように、番号“１”が付与された右眼側に対応する活動矩形領域２６の中心座標“ＸＲ、ＹＲ”と、左眼側に対応する活動矩形領域２６の中心座標“ＸＬ、ＹＬ”との距離（中心座標距離）が演算されて、これが番号“１”と共に、メモリ１０に記憶される。
【００７４】
以下、ＣＰＵ９によって次の番号“２”〜最後の番号“Ｎ”が付与された右眼側に対応する活動矩形領域２６の中心座標“ＸＲ、ＹＲ”と、左眼側に対応する活動矩形領域２６の中心座標“ＸＬ、ＹＬ”との距離（中心座標距離）が順次演算されて、これらが次の番号“２”〜最後の番号“Ｎ”と共にメモリ１０に記憶される（ステップＳ５５、Ｓ５６）。
【００７５】
そして、これらの処理が終了したとき、ＣＰＵ９によって、メモリ１０に記憶されている各中心座標距離が順次読み出されて所定値と比較され、所定値以下になっている各中心座標距離を持つ右眼側の活動矩形領域２６、左眼側の活動矩形領域２６があるとき、即ち各ウェブカメラ４、６から“０．３ｍ”〜“０．８ｍ”離れた位置にユーザの手があるとき、ユーザの手に対応する右眼側の活動矩形領域２６、左眼側の活動矩形領域２６が、有効な右眼側の活動矩形領域２６、有効な左眼側の活動矩形領域２６であると判定され、それ以外の右眼側の活動矩形領域２６、左眼側の活動矩形領域２６が無効な右眼側の活動矩形領域２６、無効な左眼側の活動矩形領域２６であると判定される。
【００７６】
これにより、右眼側の各活動矩形領域２６、左眼側の各活動矩形領域２６が図１９の模式図に示す関係になっていれば、中心座標距離が所定値以上になっている番号“１”に対応した右眼側の活動矩形領域（ＯＲ１）２６、左眼側の活動矩形領域（ＯＬ１）２６が無効と判定され、中心座標距離がほぼ“０”になっている番号“２”に対応した右眼側の活動矩形領域（ＯＲ２）２６、左眼側の活動矩形領域（ＯＬ２）２６が有効と判定される。
【００７７】
次いで、ＣＰＵ９によって、有効と判定された右眼側の活動矩形領域（ＯＲ２）２６、有効と判定された左眼側の活動矩形領域（ＯＬ２）２６のうち、予め指定されている方、例えば有効と判定された左眼側の活動矩形領域（ＯＬ２）２６が残され、それ以外の活動矩形領域２６が削除された仮想カーソル活動領域画像２７、仮想ボタンクリック活動領域画像が作成され、これが両眼視差法によってユーザの手前にいる人の動き、及び背後にいる人の動きが除去された仮想カーソル活動領域画像２７、仮想ボタンクリック活動領域画像としてハードディスク８の画像格納エリア１６に格納される（ステップＳ５７）。
【００７８】
《片手ジェスチャによる仮想カーソルの位置、大きさ、色制御》
この後、図２のフローチャートに示すように、ＣＰＵ９によって仮想カーソル制御処理／画面制御処理が開始される（ステップＳ１８）。即ち、図７のフローチャートに示すように、ハードディスク８の画像格納エリア１６に格納されている各仮想カーソル活動領域画像（両眼視差法によって、ユーザの手前にいる人の動き、及び背後にいる人の動きが除去された各仮想カーソル活動領域画像）２７のうち、最新の活動矩形領域２６を含む数フレーム分の仮想カーソル活動領域画像２７が読み出され（ステップＳ６１）、近接した１つ以上の活動矩形領域２６によって構成される活動矩形領域群が仮想カーソル活動領域画像２７内に存在しているかどうかチェックされる。
【００７９】
そして、最新の仮想カーソル活動領域画像２７内に活動矩形領域群が存在し、その数が“１”であり、かつほぼ矩形であれば（ステップＳ６２、Ｓ６３）、ＣＰＵ９によって活動矩形領域群の大きさ、移動方向が判定され、判定結果に対応するように仮想カーソル制御が行われる（ステップＳ６４）。
【００８０】
例えば、図２０（ａ）に示すように、前回とほぼ同じ、高さ、左右位置で、ユーザが指先を大きく回し、これに対応して前回の処理で得られた大きな活動矩形領域群の位置と同じ位置で、大きな活動矩形領域群が得られているとき、ＣＰＵ９によって仮想カーソルの表示指示であると判定されて、図２０（ｂ）に示すようにディスプレイ部３に大きなサイズ、白色の仮想カーソル２５が表示される。
【００８１】
また、ユーザが指先を大きく回しながら上下方向、又は左右方向に移動させ、これに対応して前回の処理で得られた位置から移動する大きな活動矩形領域群が得られているとき、ＣＰＵ９によって仮想カーソルの移動指示であると判定されて、指先の移動方向に対応するようにディスプレイ部３に表示されている大きなサイズ、白色の仮想カーソル２５を移動させる。
【００８２】
また、図２１（ａ）に示すように、前回とほぼ同じ、高さ、左右位置で、ユーザが指先を小さく回し、これに対応して前回の処理で得られた大きな活動矩形領域群の位置と同じ位置で、小さな活動矩形領域群が得られているとき、ＣＰＵ９によって仮想カーソルの移動停止であると判定されて、図２１（ｂ）に示すようにディスプレイ部３に表示されている仮想カーソル２５の移動を停止させると共に、サイズを小さくする。
【００８３】
この状態で一定時間が経過すれば、ＣＰＵ９によって仮想カーソル２５の色が赤色に変更され大きな移動が禁止されると共に、ＯＳ側にカーソル移動指示が出されて、仮想カーソル２５内に実カーソル２８を移動させる。
【００８４】
この後、ユーザが指先を少し移動させれば、ＣＰＵ９によってこれが検知されて、ディスプレイ部３に表示されている仮想カーソル２５の位置が微調整されると共に、ＯＳ側にカーソル位置調整指示が出されて、図２２に示すように実カーソル２８の位置が微調整される。
【００８５】
次いで、ユーザが指先を動かすのを止めれば、ＣＰＵ９によってこれが検知され、一定時間後に、図２３に示すようにディスプレイ部３に表示されている仮想カーソル２５の位置が固定されると共に、仮想カーソル２５の色が赤色からグレー色に変更され、ユーザにクリック可能になったことを知らせる。
【００８６】
この状態でも、ユーザが指先を再度大きく回せば、ＣＰＵ９によってこれが検知されて、ディスプレイ部３に表示されている仮想カーソル２５の色が白色に戻され、仮想カーソル２５が移動可能な状態に戻される。
【００８７】
《片手ジェスチャによるスクロール制御》
また、上述した仮想カーソル活動領域画像２７に活動矩形領域群が存在するかどうかなどをチェックしたとき、図２４に示すように活動矩形領域群の数が“１”で水平方向に長ければ（ステップＳ６２、Ｓ６３）、ＣＰＵ９によって前回の活動矩形領域群に対しどちらの方向に長くなったか判定すると共に、長くなった方向に応じた右スクロール指示（又は、左スクロール指示）が生成されてアプリケーション側に渡され、ディスプレイ部３に表示されているアプリケーション画面（操作対象画面）が右方向（又は、左方向）にスクロールされる（ステップＳ６４）。
【００８８】
また、上述した仮想カーソル活動領域画像２７に活動矩形領域群が存在するかどうかなどをチェックしたとき、活動矩形領域群の数が“１”で上下方向に長ければ（ステップＳ６２、Ｓ６３）、ＣＰＵ９によって前回の活動矩形領域群に対しどちらの方向に長くなったか判定すると共に、長くなった方向に応じた上スクロール指示（又は、下スクロール指示）が生成されてアプリケーション側に渡され、ディスプレイ部３に表示されているアプリケーション画面（操作対象画面）が上方向（又は、下方向）にスクロールされる（ステップＳ６４）。
【００８９】
《片手ジェスチャによる実カーソルのクリック制御》
この後、ＣＰＵ９によって仮想カーソル２５の色がグレーかどうかチェックされ、仮想カーソル２５の色がグレーであれば、ハードディスク８の画像格納エリア１６に格納されている仮想ボタンクリック活動領域画像のうち、最新の活動矩形領域を含む数フレーム分の仮想ボタンクリック活動領域画像が読み出される（ステップＳ６６）。
【００９０】
次いで、ＣＰＵ９によって仮想ボタンクリック活動領域画像内に近接した１つ以上の活動矩形領域２６によって構成される活動矩形領域群が存在し、形状が変化しているかどうかチェックされ、活動矩形領域群の数が“１”であり活動矩形領域群が予め設定された変化、例えば図２５（ａ）に示すようにユーザが指さし状態から、１回だけ手を広げ、活動矩形領域群が１回だけ“小”から“大”に変化していれば（ステップＳ６７）、シングルクリックであると判定され、ＯＳ側にシングルクリック指示が出されて、図２５（ｂ）に示すように仮想カーソル２５内にある実カーソル２８によってアイコンなどがシングルクリックされる（ステップＳ６８）。
【００９１】
また、ユーザが指さし状態から２回以上手を広げたり縮めたりし、活動矩形領域群が複数回“大”から“小”、“小”から“大”に変化していれば（ステップＳ６７）、ＣＰＵ９によってダブルクリックであると判定され、ＯＳ側にダブルクリック指示が出されて、実カーソル２８の位置にあるアイコンなどがダブルクリックされる（ステップＳ６８）。
【００９２】
《両手ジェスチャによる画面拡大、縮小制御》
また、各ウェブカメラ４、６のピント位置にユーザが右手、左手を出して、これら右手、左手を動かし、上述した仮想カーソル活動領域画像２７に活動矩形領域群が存在するかどうかなどをチェックしたとき、活動矩形領域群の数が“２”になり、各々矩形になっていれば（ステップＳ６３）、ＣＰＵ９によってこれが検知されて、これら各活動矩形領域群の動きに応じてディスプレイ部３に表示されている操作対象画面の拡大、縮小、回転などが行われる（ステップＳ６５）。
【００９３】
例えば、各ウェブカメラ４、６のピント位置にユーザが右手、左手を出して、その右手、左手を互いに離れる方向に移動させ、これに対応して図２６に示す２つの活動矩形領域群が存在し、図２７（ａ）に示すように前回より広くなる方向に移動してこれら各活動矩形領域群の距離が前回より長くなったとき、ＣＰＵ９によって画面拡大指示が入力されたと判定され、活動矩形領域群の距離変化比に応じた拡大率の画面拡大指示が生成されてアプリケーション側に渡され、ディスプレイ部３に表示されているアプリケーション画面（操作対象画面）が拡大される。
【００９４】
また、各ウェブカメラ４、６のピント位置にユーザが右手、左手を出して、その右手、左手を互いに近づく方向に移動させ、これに対応して２つの活動矩形領域群が図２７（ｂ）に示すように前回より狭くなる方向に移動し、これら各活動矩形領域群の距離が前回より短くなったとき、ＣＰＵ９によって画面縮小指示が入力されたと判定され、活動矩形領域群の距離変化比に応じた縮小率の画面縮小指示が生成されてアプリケーション側に渡され、ディスプレイ部３に表示されているアプリケーション画面（操作対象画面）が縮小される。
【００９５】
《両手ジェスチャによる画面回転制御》
また、各ウェブカメラ４、６のピント位置にユーザが右手、左手を出して、これら右手、左手の一方を上に他方を下に移動させ、これに対応して図２８に示す２つの活動矩形領域群のうち少なくとも一方が上方向（又は、下方向）に移動したとき、ＣＰＵ９によって画面回転指示が入力されたと判定され、下側の活動矩形領域群に対する上側の活動矩形領域群の角度に応じた回転角度の画面回転指示が生成されてアプリケーション側に渡され、ディスプレイ部３に表示されているアプリケーション画面（操作対象画面）が回転される。
【００９６】
この際、図２９（ａ）に示すように各活動矩形領域群の左右距離が狭い状態で、一方が大きく上方に移動し下側の活動矩形領域群に対する上側の活動矩形領域群の角度が大きいとき、ＣＰＵ９によって大きな回転角度の画面回転指示が生成されてアプリケーション側に渡され、ディスプレイ部３に表示されているアプリケーション画面（操作対象画面）が大きく回転される。
【００９７】
また、図２９（ｂ）に示すように各活動矩形領域群の左右距離が広い状態で、一方が小さく上方に移動し下側の活動矩形領域群に対する上側の活動矩形領域群の角度が小さいとき、ＣＰＵ９によって小さな回転角度の画面回転指示が生成されてアプリケーション側に渡され、ディスプレイ部３に表示されているアプリケーション画面（操作対象画面）が小さく回転される。
【００９８】
このように、本発明の第１の実施形態においては、各ウェブカメラ４、６によってユーザを撮影して得られた低解像度のカラー画像に対し、グレー化処理、画像分割／２値化処理、色フィルタリング処理、フレームバッファ処理、フレーム間差分処理、ヒストグラム処理、活動矩形領域抽出処理、活動矩形領域選択処理、仮想カーソル制御処理／画面制御処理を行いユーザの手の動きを検知し、仮想カーソル２５のサイズ制御、位置制御、色制御、クリック制御、操作対象画面の拡大制御、縮小制御、回転制御、上下スクロール制御、左右スクロール制御などを行うようにしているので、次に述べる効果を得ることができる。
【００９９】
まず、解像度が高くない安価なウェブカメラ４、６を使用できることから、入力装置１ａのコストを低く抑えることができる（請求項１の効果）。
【０１００】
また、各ウェブカメラ４、６によってユーザを撮影して得られた低解像度のカラー画像に対し、グレー化処理、画像分割／２値化処理、色フィルタリング処理を施して得られた２値化画像を画像格納エリア１６に格納するため、ハードディスク８の容量が小さい場合にも入力装置１ａを構成することができ、装置全体のコストを低く抑えることができる（請求項１の効果）。
【０１０１】
また、各ウェブカメラ４、６によってユーザを撮影して得られた低解像度のカラー画像に対し、グレー化処理、画像分割／２値化処理、色フィルタリング処理など、少ない段数の画像処理を施して１フレーム分の２値化画像を得るようにしているので、ＣＰＵ９に大きな負担をかけることを防ぎ、これによって処理速度が速くない安価なＣＰＵ９を使用した場合でもほぼリアルタイムでユーザの動きに対応するように、仮想カーソル２５のサイズ制御、位置制御、色制御、クリック制御、操作対象画面の拡大制御、縮小制御、回転制御、上下スクロール制御、左右スクロール制御などを行うことができ、装置全体のコストを低く抑えることができる（請求項１の効果）。
【０１０２】
また、各ウェブカメラ４、６によってユーザを撮影して得られた右眼側の各活動矩形領域２６と左眼側の各活動矩形領域２６とに対し、両眼視差法で中心座標位置を補正した後、大きさ順に番号を付けて中心座標位置を比較し、この比較結果に基づきピント位置に対応する右眼側の各活動矩形領域２６と左眼側の各活動矩形領域２６とを選択するようにしているので、各ウェブカメラ４、６のピント位置にあるユーザの手以外のもの、例えばユーザの後ろに人がいて動いていても、これに影響されることなくユーザの手の動きのみを抽出して、仮想カーソル２５のサイズ制御、位置制御、色制御、クリック制御、操作対象画面の拡大制御、縮小制御、回転制御、上下スクロール制御、左右スクロール制御などを行うことができる（請求項１の効果）。
【０１０３】
また、本発明の第１の実施形態では、ユーザが片手だけを動かしているとき仮想カーソル制御指示、又は操作対象画面のスクロール制御であると判定し、仮想カーソル２５のサイズ制御、位置制御、色制御、クリック制御、操作対象画面のスクロール制御などを行うようにしているので、片手だけでディスプレイ部３に表示されている仮想カーソル２５のサイズ、位置、色、クリック、操作対象画面のスクロールなどを遠隔操作することができる（請求項３の効果）。
【０１０４】
また、本発明の第１の実施形態では、ユーザが両手を動かしているとき、右手の動き、左手の動きを各々検出し、操作対象画面の拡大／縮小制御指示、又は操作対象画面の回転制御指示であると判定するようにしているので、ユーザが右手、左手を動かすだけでディスプレイ部３に表示されているアプリケーション画面（操作対象画面）を拡大、縮小、回転させることができる（請求項４の効果）。
【０１０５】
また、本発明の第１の実施形態では、活動矩形領域抽出処理においてヒストグラムを統計処理して得られた結果を使用し、ヒストグラムから仮想カーソル活動領域画像２７、仮想ボタンクリック活動領域画像を作成するようにしているので、ユーザの手など動いている部分を正確に検知することができ、安定した仮想カーソル制御、クリック制御、操作対象画面制御を行うことができる（請求項５の効果）。
【０１０６】
また、本発明の第１の実施形態では、活動矩形領域抽出処理において仮想カーソル活動領域画像２７、仮想ボタンクリック活動領域画像に対し、多段階矩形オブジェクト抽出処理を行うようにしているので、ユーザの影などに起因する誤動作を防止し、安定した仮想カーソル制御、クリック制御、操作対象画面制御を行うことができる（請求項６の効果）。
【０１０７】
２．第２の実施形態の説明
図３０は、本発明による入力装置の第２の実施形態を示すブロック図である。
この図に示す入力装置１ｂは、箱形に形成されたプラスチック部材などによって構成され、パソコン、テレビ、エアコン、大画面スクリーン装置などの遠隔操作対象機器の近傍に配置される入力装置筐体（図示は省略する）と、入力装置筐体の前面左側に取り付けられ、ユーザを撮影してカラー画像信号を出力する右眼用ビデオカメラ本体（請求項２のカラーカメラ本体）３０と、入力装置筐体内に配置され、右眼用ビデオカメラ本体３０で撮影されたカラー画像を処理して、右眼側の仮想カーソル活動領域画像、右眼側の仮想ボタンクリック活動領域画像を生成する右眼側画像処理基板３１と、入力装置筐体の前面右側に取り付けられ、ユーザを撮影してカラー画像信号を出力する左目用ビデオカメラ本体（請求項２のカラーカメラ本体）３２と、入力装置筐体内に配置され、左眼用ビデオカメラ本体３２で撮影されたカラー画像を処理して、左眼側の仮想カーソル活動領域画像、左眼側の仮想ボタンクリック活動領域画像を生成する左眼側画像処理基板３３と、入力装置筐体内に配置され、右眼側画像処理基板３１から出力される右眼側の仮想カーソル活動領域画像、右眼側の仮想ボタンクリック活動領域画像、左眼側画像処理基板３２から出力される左眼側の仮想カーソル活動領域画像、左眼側の仮想ボタンクリック活動領域画像を画像処理してユーザの手の動きに対応するポインティングデータを生成し、ＵＳＢケーブル、信号接続ケーブルなどのケーブルを介して、パソコン、テレビ、エアコン、大画面スクリーン装置などの遠隔操作対象機器などに供給する共通処理基板３４とを備えている。
【０１０８】
そして、ユーザを撮影して得られたカラー画像を解析して、影などの影響、ユーザの手前側にいる人、及び背後にいる人の影響などを取り除きながら、ユーザの手の動きに対応したポインティングデータを生成し、入力装置１ｂ→ケーブル→遠隔操作対象機器なる経路でポインティングデータを遠隔操作対象機器に供給し、この遠隔操作対象機器の動作を制御する。
【０１０９】
右眼用ビデオカメラ本体３０は、３２０画素×２４０画素程度の解像度を持つカラーカメラによって構成されており、右眼側画像処理基板３１から電源電圧、クロック信号などが出されているときユーザを撮影し、これによって得られたカラービデオ信号を右眼側画像処理基板３１に供給する。
【０１１０】
右眼側画像処理基板３１は、右眼用ビデオカメラ本体から出力されるカラービデオ信号をＲＧＢ形式のカラー画像に変換した後、ＨＳＶ（色相・彩度・明度）方式で予め設定されている特定色（例えば、肌色）のカラー画像を抽出するのに必要なカラーマスクを使用して、カラー画像中の肌色画像を抽出する肌色画像抽出回路３５と、右眼用ビデオカメラ本体３０から出力されるカラービデオ信号をＲＧＢ形式のカラー画像に変換した後、予め設定されている階調のモノクロ画像に変換するグレー化処理回路３６と、グレー化処理回路３６から出力されるモノクロ画像を予め設定されている画面分割数で分割する（但し、画面分割設定されていないときこの画面分割処理はスキップされる）と共に、最大尤度しきい値法で２値化して２値化画像にする画像分割／２値化処理回路３７と、画像分割／２値化処理回路３７から出力される２値化画像と肌色画像抽出回路３５から出力される肌色画像との論理和を取り、２値化画像中の肌色部分を抽出する色フィルタリング処理回路３８とを備えている。
【０１１１】
さらに、右眼側画像処理基板３１は、色フィルタリング処理回路３８から出力される２値化画像を数フレーム分〜数十フレーム分、一時記憶するフレームバッファ回路３９と、フレームバッファ回路３９に記憶されている２値化画像を順次読み出しながらフレーム間差分処理を行い、差分画像を生成するフレーム間差分処理回路４０と、フレーム間差分処理回路４０からフレーム単位で出力される各差分画像を各分割エリア毎に積算して、ヒストグラムを生成するヒストグラム処理回路４１と、ヒストグラム処理回路４１から出力されるヒストグラムに対し統計処理を行うと共に、統計処理結果を用いて仮想カーソル活動領域判定処理、仮想ボタンクリック活動領域判定処理、多段階矩形オブジェクト抽出処理などを行って、影などの影響を取り除いた右眼側の仮想カーソル活動領域画像、右眼側の仮想ボタンクリック活動領域画像を生成する活動矩形領域抽出処理回路４２とを備えている。
【０１１２】
そして、右眼用ビデオカメラ本体３０から出力されるカラービデオ信号に対し、グレー化処理、画面分割／２値化処理、色フィルタリング処理、フレームバッファ処理、フレーム間差分処理、ヒストグラム処理、活動矩形領域抽出処理を順次施して、右眼側の仮想カーソル活動領域画像、右眼側の仮想ボタンクリック活動領域画像を生成し、共通処理基板３４に供給する。
【０１１３】
また、左眼用ビデオカメラ本体３２は、３２０画素×２４０画素程度の解像度を持つカラーカメラによって構成されており、左眼側画像処理基板３３から電源電圧、クロック信号などが出されているときユーザを撮影し、これによって得られたカラービデオ信号を左眼側画像処理基板３３に供給する。
【０１１４】
左眼側画像処理基板３３は、左眼用ビデオカメラ本体３２から出力されるカラービデオ信号をＲＧＢ形式のカラー画像に変換した後、ＨＳＶ（色相・彩度・明度）方式で、予め設定されている特定色（例えば、肌色）のカラー画像を抽出するのに必要なカラーマスクを使用して、カラー画像中の肌色画像を抽出する肌色画像抽出回路４３と、左眼用ビデオカメラ本体３２から出力されるカラービデオ信号をＲＧＢ形式のカラー画像に変換した後、予め設定されている階調のモノクロ画像に変換するグレー化処理回路４４と、グレー化処理回路４４から出力されるモノクロ画像を予め設定されている画面分割数で分割する（但し、画面分割設定されていないとき、この画面分割処理はスキップされる）と共に、最大尤度しきい値法で２値化して、２値化画像にする画像分割／２値化処理回路４５と、画像分割／２値化処理回路４５から出力される２値化画像と肌色画像抽出回路４３から出力される肌色画像との論理和を取り、２値化画像中の肌色部分を抽出する色フィルタリング処理回路４６とを備えている。
【０１１５】
さらに、左眼側画像処理基板３３は、色フィルタリング処理回路４６から出力される２値化画像を数フレーム分〜数十フレーム分、一時記憶するフレームバッファ回路４７と、フレームバッファ回路４７に記憶されている２値化画像を順次読み出しながらフレーム間差分処理を行い、差分画像を生成するフレーム間差分処理回路４８と、フレーム間差分処理回路４８からフレーム単位で出力される各差分画像を各分割エリア毎に積算して、ヒストグラムを生成するヒストグラム処理回路４９と、ヒストグラム処理回路４９から出力されるヒストグラムに対し統計処理を行うと共に、統計処理結果を用いて仮想カーソル活動領域判定処理、仮想ボタンクリック活動領域判定処理、多段階矩形オブジェクト抽出処理などを行って、影などの影響を取り除いた左眼側の仮想カーソル活動領域画像、左眼側の仮想ボタンクリック活動領域画像を生成する活動矩形領域抽出処理回路５０とを備えている。
【０１１６】
そして、左眼用ビデオカメラ本体３２から出力されるカラービデオ信号に対し、グレー化処理、画面分割／２値化処理、色フィルタリング処理、フレームバッファ処理、フレーム間差分処理、ヒストグラム処理、活動矩形領域抽出処理を順次施して、左眼側の仮想カーソル活動領域画像、左眼側の仮想ボタンクリック活動領域画像を生成し、共通処理基板３４に供給する。
【０１１７】
共通処理基板３４は、両眼視差法による位置補正に必要な右眼用ウェブカメラ３０、左眼用ウェブカメラ３２の取り付け位置データ（水平距離“Ｂ”、上下距離など）、右眼用ウェブカメラ３０、左眼用ウェブカメラ３２の焦点距離“ｆ”などの撮影条件情報が設定される撮影条件設定回路５１と、右眼側画像処理基板３１から出力される右眼側の仮想カーソル活動領域画像、右眼側の仮想ボタンクリック活動領域画像、左眼側画像処理基板３３から出力される左眼側の仮想カーソル活動領域画像、左眼側の仮想ボタンクリック活動領域画像に活動矩形領域が含まれるとき、撮影条件設定回路５１に設定されている撮影条件情報を用いて両眼視差法で各活動矩形領域の位置を補正する処理、大きさ順に各活動矩形領域に番号を付加する処理、同じ番号が付加された各活動矩形領域の中心座標間の距離（中心座標距離）を演算する処理、所定値以下になっている各中心座標距離に対応する活動矩形領域を選択する処理、選択した活動矩形領域のみを含み、選択していない活動矩形領域を含まない左眼側の仮想カーソル活動領域画像、左眼側の仮想ボタンクリック活動領域画像を作成する処理などを行って、右眼側の仮想カーソル活動領域画像、右眼側の仮想ボタンクリック活動領域画像、左眼側の仮想カーソル活動領域画像、左眼側の仮想ボタンクリック活動領域画像に含まれるユーザの手前にいる人、及び背後にいる人の動きなどの影響を取り除いた後、左眼側の仮想カーソル活動領域画像、左眼側の仮想ボタンクリック活動領域画像を数画像分〜数十画像分保持する活動矩形領域選択処理回路５２とを備えている。
【０１１８】
さらに、共通処理基板３４は、活動矩形領域選択処理回路５２に保持されている左眼側の各仮想カーソル活動領域画像のうち、最新の仮想カーソル活動領域画像に活動矩形領域群が存在するとき、活動矩形領域群の数、形状、移動有無、移動方向などに基づき、仮想カーソル位置指示、仮想カーソル形状指示、仮想カーソル色指示、操作対象画面スクロール指示、操作対象画面拡大指示、操作対象画面縮小指示、操作対象画面回転指示などのポインティングデータを生成すると共に、仮想カーソルがクリック可能な状態になっているとき、活動矩形領域選択処理回路５２に保持されている各仮想ボタンクリック活動領域画像のうち、最新の仮想ボタンクリック活動領域画像に活動矩形領域群が存在しているかどうかをチェックし、活動矩形領域群が存在しているとき、活動矩形領域群の形状などに基づきシングルクリック指示、ダブルクリック指示などのポインティングデータを生成する仮想カーソル制御処理／画面制御処理回路５３を備えている。
【０１１９】
そして、右眼側画像処理基板３１から出力される右眼側の仮想カーソル活動領域画像、右眼側の仮想ボタンクリック活動領域画像、左眼側画像処理基板３２から出力される左眼側の仮想カーソル活動領域画像、左眼側の仮想ボタンクリック活動領域画像に活動矩形領域が含まれるとき、ユーザの前にいる人の動き、ユーザの背後にいる人の動きなどに起因するノイズを取り除きながらユーザの各手がどのように動いているかを判定し、この判定結果に応じて仮想カーソル位置指示、仮想カーソル形状指示、仮想カーソル色指示、操作対象画面スクロール指示、操作対象画面拡大指示、操作対象画面縮小指示、操作対象画面回転指示などのポインティングデータを生成し、遠隔操作対象機器となっているパソコン、テレビ、エアコン、大画面スクリーン装置などに供給する。
【０１２０】
このように、この第２の実施形態では、右眼用ビデオカメラ本体３０、左眼用ビデオカメラ本体３２によってユーザを撮影して得られた低解像度のカラー画像に対し、色フィルタリング処理、グレー化処理、画像分割／２値化処理、フレームバッファ処理、フレーム間差分処理、ヒストグラム処理、活動矩形領域抽出処理、活動矩形領域選択処理、仮想カーソル制御処理／画面制御処理などを行いユーザの手の動きを検知し、仮想カーソル位置指示、仮想カーソル形状指示、仮想カーソル色指示、操作対象画面スクロール指示、操作対象画面拡大指示、操作対象画面縮小指示、操作対象画面回転指示などのポインティングデータを生成し、遠隔操作対象機器に供給するようにしているので、遠隔操作対象機器側の仮想カーソルサイズ、仮想カーソル位置、仮想カーソル色、クリック、操作対象画面の上下スクロール、左右スクロール、拡大、縮小、回転などを遠隔操作することができる（請求項２の効果）。
【０１２１】
また、この第２の実施形態では、解像度が高くない安価な右眼用ビデオカメラ本体３０、左眼用ビデオカメラ本体３２を使用できることから、入力装置１ｂのコストを低く抑えることができる（請求項２の効果）。
【０１２２】
また、この第２の実施形態では、右眼用ビデオカメラ本体３０、左眼用ビデオカメラ本体３２によってユーザを撮影して得られた低解像度のカラー画像に対し、グレー化処理、画像分割／２値化処理、色フィルタリング処理を施して得られた２値化画像をフレームバッファ回路３９、４７に格納するようにしているので、フレームバッファ回路３９、４７の記憶容量が小さい場合にも入力装置１ｂを構成することができ、装置全体のコストを低く抑えることができる（請求項２の効果）。
【０１２３】
さらに、この第２の実施形態では、右眼用ビデオカメラ本体３０、左眼用ビデオカメラ本体３２によってユーザを撮影して得られた低解像度のカラー画像に対し、グレー化処理、画像分割／２値化処理、色フィルタリング処理、フレームバッファ処理、フレーム間差分処理、ヒストグラム処理、活動矩形領域抽出処理、活動矩形領域選択処理、仮想カーソル制御処理／画面制御処理など、少ない段数の画像処理を施してポインティングデータを生成するようにしているので、肌色画像抽出理回路３５、４３、グレー化処理回路３６、４４、画像分割／２値化処理回路３７、４５、色フィルタリング処理回路３８、４６、フレームバッファ処理回路３６、４７、フレーム間差分処理回路４０、４８、ヒストグラム処理回路４１、４９、活動矩形領域抽出処理回路４２、５０、活動矩形領域選択回路５２、仮想カーソル制御処理／画面制御処理回路５３として、処理速度があまり速くない素子の使用を可能にして装置全体のコストを低く抑えながら、ほぼリアルタイムでユーザの動きを検知し、遠隔操作対象機器を制御することができる（請求項２の効果）。
【０１２４】
また、この第２の実施形態では、右眼用ビデオカメラ本体３０、左眼用ビデオカメラ本体３２によってユーザを撮影して得られた右眼側の各活動矩形領域と、左眼側の各活動矩形領域とに対し、両眼視差法で中心座標位置を補正した後、大きさ順に番号を付けて中心座標位置を比較し、この比較結果に基づきピント位置に対応する右眼側の各活動矩形領域と、左眼側の各活動矩形領域とを選択するようにしているので、右眼用ビデオカメラ本体３０、左眼用ビデオカメラ本体３２のピント位置にあるユーザの手以外のもの、例えばユーザの後ろに人がいて動いていても、これに影響されることなくユーザの手の動きのみを抽出して、仮想カーソルのサイズ制御、位置制御、色制御、クリック制御、操作対象画面の拡大制御、縮小制御、回転制御、上下スクロール制御、左右スクロール制御などを行うことができる（請求項２の効果）。
【０１２５】
そして、この第２の実施形態においても、上述した第１の実施形態と同様に、ユーザが片手だけを動かしているとき、仮想カーソル制御指示、クリック制御指示、スクロール制御指示の何れかであると判定し、仮想カーソルサイズ指示、仮想カーソル位置指示、仮想カーソル色指示、スクロール制御指示、クリック指示などを示すポインティングデータを生成するようにしているので、片手だけで遠隔操作対象機器側のディスプレイに表示されている仮想カーソルのサイズ、位置、色、クリック動作、操作対象画面のスクロールなどを遠隔操作することができる（請求項３の効果）。
【０１２６】
また、この第２の実施形態においても、上述した第１の実施形態と同様に、ユーザが両手を動かしているとき、右手の動き、左手の動きを各々検出して操作対象画面の制御指示であると判定し、操作対象画面拡大指示、操作対象画面縮小指示、操作対象画面回転指示などを示すポインティングデータを生成するようにしているので、ユーザが右手、左手を動かすだけで遠隔操作対象機器側のディスプレイに表示されている操作対象画面を拡大、縮小、回転させることができる（請求項４の効果）。
【０１２７】
また、本発明の第２の実施形態では、活動矩形領域抽出処理回路４２、５０においてヒストグラムを統計処理すると共に、統計処理結果を使用してヒストグラムから右眼側の仮想カーソル活動領域画像、右眼側の仮想ボタンクリック活動領域画像、左側の仮想カーソル活動領域画像、左側の仮想ボタンクリック活動領域画像を作成するようにしているので、ユーザの手など動いている部分を正確に検知することができ、安定した仮想カーソル制御、クリック制御、操作対象画面制御を行うことができる（請求項５の効果）。
【０１２８】
また、本発明の第２の実施形態では、活動矩形領域抽出処理回路４２、５０において、右眼側の仮想カーソル活動領域画像、右眼側の仮想ボタンクリック活動領域画像、左側の仮想カーソル活動領域画像、左側の仮想ボタンクリック活動領域画像に対し、多段階矩形オブジェクト抽出処理を行うようにしているので、ユーザの影などに起因する誤動作を防止し、安定した仮想カーソル制御、クリック制御、操作対象画面制御を行うことができる（請求項６の効果）。
【０１２９】
３．他の実施形態の説明
上述した各実施形態では、各ウェブカメラ４、６、右眼用ビデオカメラ本体３０、左眼用ビデオカメラ本体３２で得られたカラー画像の全領域をグレー化し、２値化するようにしているが、図３１フローチャート、図３２の模式図に示すようにヒストグラムを統計処理、活動矩形領域抽出処理で得られた変化領域矩形（活動矩形領域を含む矩形）６５に対し、指定された拡大縮小率（例えば拡大率“１０％”）で拡大／縮小した拡大／縮小矩形マスク６６を作成すると共に（ステップＳ７１）、次フレームのカラー画像全領域をグレー化して得られたモノクロ画像の中から拡大／縮小矩形マスク６６に対応する部分（モノクロ画像に含まれる活動領域部分の画像６７）だけを抽出して、２値化処理するようにしても良い（ステップＳ７２）。
【０１３０】
このようにすれば、モノクロ画像などの中から活動領域より少し広い範囲に含まれる画像のみを有効にし、それ以外の領域にある画像を無効にして、変化領域以外の部分に存在するノイズを除去することができる（請求項７の効果）。
【０１３１】
また、上述した第１の実施形態、及び第２の実施形態では、ＣＰＵ９による色フィルタリング処理、又は色フィルタリング処理回路３８、４６によって、肌色のカラー画像を抽出するようにしているが、ユーザが特定色の操作器、例えば赤ペンなどを使用して仮想カーソルの位置、クリック、操作対象画面のスクロール、操作対象画面の拡大、操作対象画面の縮小、操作対象画面の回転などを制御する場合には、赤色抽出用のカラーマスクを使用し、ＣＰＵ９による色フィルタリング処理、又は色フィルタリング処理回路３８、４６によって赤色のカラー画像を抽出するようにしても良い。
【０１３２】
これにより、各ウェブカメラ４、６、右眼用ビデオカメラ本体３０、左眼用ビデオカメラ本体３２の撮影範囲に複数の人がいても、ユーザが持つ操作器の色に対応するカラー画像を抽出して仮想カーソルのサイズ制御、位置制御、クリック制御、操作対象画面のスクロール制御、拡大制御、縮小制御、回転制御などを行うことができる。
【０１３３】
また、このような色フィルタリング処理は、各ウェブカメラ４、６、右眼用ビデオカメラ本体３０、左眼用ビデオカメラ本体３２から出力されるカラービデオ信号に含まれるユーザの手など、動いている画像を抽出するために行っている処理であることから、ユーザが居る場所の照明条件が良好で、ユーザの手などが動いている画像と背景画像とのコントラストが大きいとき、色フィルタリング処理を省略するようにしても良い。
【産業上の利用可能性】
【０１３４】
本発明は、情報端末装置やパーソナルコンピュータなどの情報機器に接続されて使用され、カメラによって操作者（ユーザ）の動作画像を取り込み、情報機器のカーソル操作やアプリケーションプログラムの選択及び実行などを制御する入力装置であって、特に、アルゴリズムを簡素化すると共に処理データ量を極力少なくして演算量、メモリ使用量を低減すると共に、リアルタイムでパソコンのカーソルなどを制御するようにした、ビデオ映像による入力装置に関するものであり、産業上の利用可能性を有する。
【符号の説明】
【０１３５】
１ａ、１ｂ：入力装置
２：パソコン
３：ディスプレイ部
４：ウェブカメラ（左眼用カラーカメラ）
５：ビデオキャプチャ
６：ウェブカメラ（右眼用カラーカメラ）
７：ＵＳＢインタフェース
８：ハードディスク
９：ＣＰＵ
１０：メモリ
１１：表示インタフェース
１２：システムバス
１３：ＯＳ格納エリア
１４：アプリケーション格納エリア
１５：画像処理プログラム格納エリア
１６：画像格納エリア
２０：分割エリア
２１：活動分割エリア
２５：仮想カーソル
２６：活動矩形領域
２７：仮想カーソル活動領域画像
２８：実カーソル
３０：右眼用ビデオカメラ本体（右眼用カラーカメラ本体）
３１：右眼側画像処理基板
３２：左眼用ビデオカメラ本体（左眼用カラーカメラ本体）
３３：左眼側画像処理基板
３４：共通処理基板
３５：肌色画像抽出回路
３６：グレー化処理回路
３７：画像分割／２値化処理回路
３８：色フィルタリング処理回路
３９：フレームバッファ回路
４０：フレーム間差分処理回路
４１：ヒストグラム処理回路
４２：活動矩形領域抽出処理回路
４３：肌色画像抽出回路
４４：グレー化処理回路
４５：画像分割／２値化処理回路
４６：色フィルタリング処理回路
４７：フレームバッファ回路
４８：フレーム間差分処理回路
４９：ヒストグラム処理回路
５０：活動矩形領域抽出処理回路
５１：撮影条件設定回路
５２：活動矩形領域選択処理回路
５３：仮想カーソル制御処理／画面制御処理回路
６５：変化領域矩形
６６：拡大／縮小矩形マスク
６７：マスク後の画像
【特許請求の範囲】
【請求項１】
ビデオカメラで得られた操作者の画像を処理して、操作者の動作内容に応じた操作指示を生成する入力装置において、
操作者を撮影する右眼用カラーカメラと、
この右眼用カラーカメラから所定距離だけ離れた位置に、前記右眼用カラーカメラと並んで配置され、前記操作者を撮影する左眼用カラーカメラと、
前記右眼用カラーカメラから出力されるカラー画像に対し、グレー化処理、画像分割／２値化処理、フレーム間差分処理、ヒストグラム処理、活動矩形領域抽出処理を行い、前記操作者の右眼側活動矩形領域を抽出する右眼側画像処理プログラムと、
前記左眼用カラーカメラから出力されるカラー画像に対し、グレー化処理、画像分割／２値化処理、フレーム間差分処理、ヒストグラム処理、活動矩形領域抽出処理を行い、前記操作者の左眼側活動矩形領域を抽出する左眼側画像処理プログラムと、
前記右眼側画像処理プログラムで得られた右眼側活動矩形領域、前記左眼側画像処理プログラムで得られた左眼側活動矩形領域に対し、両眼視差法を使用した活動矩形領域選択処理、仮想カーソル制御処理／画面制御処理を行って、前記操作者の手、又は指先の動きを検出し、この検出結果に応じた操作指示を生成する画像処理プログラムと、
を備えることを特徴とする入力装置。
【請求項２】
ビデオカメラで得られた操作者の画像を処理して、操作者の動作内容に応じた操作指示を生成し、遠隔操作対象機器の動作を制御する入力装置において、
箱形に形成される入力装置筐体と、
この入力装置筐体の前面左側に取り付けられ、操作者の画像を撮影する右眼用カラーカメラ本体と、
前記入力装置筐体の前面右側に取り付けられ、前記操作者の画像を撮影する左眼用カラーカメラ本体と、
前記入力装置筐体内に配置され、グレー化処理回路、画像分割／２値化処理回路、フレーム間差分処理回路、ヒストグラム処理回路、活動矩形領域抽出処理回路によって、前記右眼用カラーカメラ本体から出力されるカラー画像を処理して、前記操作者の右眼側活動矩形領域を抽出する右眼側画像処理基板と、
前記入力装置筐体内に配置され、グレー化処理回路、画像分割／２値化処理回路、フレーム間差分処理回路、ヒストグラム処理回路、活動矩形領域抽出処理回路によって、前記左眼用カラーカメラ本体から出力されるカラー画像を処理して、前記操作者の左眼側活動矩形領域を抽出する左眼側画像処理基板と、
前記入力装置筐体内に配置され、活動矩形領域選択処理回路、仮想カーソル制御処理／画面制御処理回路によって、前記右眼側画像処理基板で得られた右眼側活動矩形領域、前記左眼側画像処理基板で得られた左眼側活動矩形領域に、両眼視差法を使用した活動矩形領域選択処理、仮想カーソル制御処理／画面制御処理を行って、前記操作者の手、又は指先の動きを検出し、この検出結果に応じたポインティングデータを生成し、遠隔操作対象機器の動作を制御する共通処理基板と、
を備えることを特徴とする入力装置。
【請求項３】
前記仮想カーソル制御処理／画面制御処理、又は前記仮想カーソル制御処理／画面制御処理回路は、仮想カーソル活動領域画像上に活動矩形領域群が１つあるとき、その形状、移動有無に基づき、カールソル制御指示、又は画面スクロール指示を生成することを特徴とする請求項１又は２に記載の入力装置。
【請求項４】
前記仮想カーソル制御処理／画面制御処理、又は前記仮想カーソル制御処理／画面制御処理回路は、仮想カーソル活動領域画像上に活動矩形領域群が２つあるとき、その移動方向に基づき、画面回転指示、画面拡大指示、画面縮小指示の何れかを生成することを特徴とする請求項１乃至３の何れかの項に記載の入力装置。
【請求項５】
前記活動矩形領域抽出処理、又は前記活動矩形領域抽出処理回路は、ヒストグラムの統計処理結果を使用して、前記ヒストグラムから仮想カーソル活動領域画像、仮想ボタンクリック活動領域画像を作成することを特徴とする請求項１乃至４の何れかの項に記載の入力装置。
【請求項６】
前記活動矩形領域抽出処理、又は前記活動矩形領域抽出処理回路は、前記仮想カーソル活動領域画像、又は前記仮想ボタンクリック活動領域画像に対し、多段階矩形オブジェクト抽出処理を行い、ノイズ成分を除去することを特徴とする請求項１乃至５の何れかの項に記載の入力装置。
【請求項７】
拡大／縮小矩形マスク作成処理、又は拡大／縮小矩形マスク作成処理回路を付加し、前記拡大／縮小矩形マスク作成処理、又は前記拡大／縮小矩形マスク作成処理回路によって、前記カラーカメラ、前記カラーカメラ本体で得られたカラー画像の中から、前記仮想カーソル活動領域画像上の変化領域矩形、又は前記仮想ボタンクリック活動領域画像の変化領域矩形に対応する画像を抽出し、それ以外の画像をカットして、ノイズ成分を除去することを特徴とする請求項１乃至６の何れかの項に記載の入力装置。
【請求項１】
ビデオカメラで得られた操作者の画像を処理して、操作者の動作内容に応じた操作指示を生成する入力装置において、
操作者を撮影する右眼用カラーカメラと、
この右眼用カラーカメラから所定距離だけ離れた位置に、前記右眼用カラーカメラと並んで配置され、前記操作者を撮影する左眼用カラーカメラと、
前記右眼用カラーカメラから出力されるカラー画像に対し、グレー化処理、画像分割／２値化処理、フレーム間差分処理、ヒストグラム処理、活動矩形領域抽出処理を行い、前記操作者の右眼側活動矩形領域を抽出する右眼側画像処理プログラムと、
前記左眼用カラーカメラから出力されるカラー画像に対し、グレー化処理、画像分割／２値化処理、フレーム間差分処理、ヒストグラム処理、活動矩形領域抽出処理を行い、前記操作者の左眼側活動矩形領域を抽出する左眼側画像処理プログラムと、
前記右眼側画像処理プログラムで得られた右眼側活動矩形領域、前記左眼側画像処理プログラムで得られた左眼側活動矩形領域に対し、両眼視差法を使用した活動矩形領域選択処理、仮想カーソル制御処理／画面制御処理を行って、前記操作者の手、又は指先の動きを検出し、この検出結果に応じた操作指示を生成する画像処理プログラムと、
を備えることを特徴とする入力装置。
【請求項２】
ビデオカメラで得られた操作者の画像を処理して、操作者の動作内容に応じた操作指示を生成し、遠隔操作対象機器の動作を制御する入力装置において、
箱形に形成される入力装置筐体と、
この入力装置筐体の前面左側に取り付けられ、操作者の画像を撮影する右眼用カラーカメラ本体と、
前記入力装置筐体の前面右側に取り付けられ、前記操作者の画像を撮影する左眼用カラーカメラ本体と、
前記入力装置筐体内に配置され、グレー化処理回路、画像分割／２値化処理回路、フレーム間差分処理回路、ヒストグラム処理回路、活動矩形領域抽出処理回路によって、前記右眼用カラーカメラ本体から出力されるカラー画像を処理して、前記操作者の右眼側活動矩形領域を抽出する右眼側画像処理基板と、
前記入力装置筐体内に配置され、グレー化処理回路、画像分割／２値化処理回路、フレーム間差分処理回路、ヒストグラム処理回路、活動矩形領域抽出処理回路によって、前記左眼用カラーカメラ本体から出力されるカラー画像を処理して、前記操作者の左眼側活動矩形領域を抽出する左眼側画像処理基板と、
前記入力装置筐体内に配置され、活動矩形領域選択処理回路、仮想カーソル制御処理／画面制御処理回路によって、前記右眼側画像処理基板で得られた右眼側活動矩形領域、前記左眼側画像処理基板で得られた左眼側活動矩形領域に、両眼視差法を使用した活動矩形領域選択処理、仮想カーソル制御処理／画面制御処理を行って、前記操作者の手、又は指先の動きを検出し、この検出結果に応じたポインティングデータを生成し、遠隔操作対象機器の動作を制御する共通処理基板と、
を備えることを特徴とする入力装置。
【請求項３】
前記仮想カーソル制御処理／画面制御処理、又は前記仮想カーソル制御処理／画面制御処理回路は、仮想カーソル活動領域画像上に活動矩形領域群が１つあるとき、その形状、移動有無に基づき、カールソル制御指示、又は画面スクロール指示を生成することを特徴とする請求項１又は２に記載の入力装置。
【請求項４】
前記仮想カーソル制御処理／画面制御処理、又は前記仮想カーソル制御処理／画面制御処理回路は、仮想カーソル活動領域画像上に活動矩形領域群が２つあるとき、その移動方向に基づき、画面回転指示、画面拡大指示、画面縮小指示の何れかを生成することを特徴とする請求項１乃至３の何れかの項に記載の入力装置。
【請求項５】
前記活動矩形領域抽出処理、又は前記活動矩形領域抽出処理回路は、ヒストグラムの統計処理結果を使用して、前記ヒストグラムから仮想カーソル活動領域画像、仮想ボタンクリック活動領域画像を作成することを特徴とする請求項１乃至４の何れかの項に記載の入力装置。
【請求項６】
前記活動矩形領域抽出処理、又は前記活動矩形領域抽出処理回路は、前記仮想カーソル活動領域画像、又は前記仮想ボタンクリック活動領域画像に対し、多段階矩形オブジェクト抽出処理を行い、ノイズ成分を除去することを特徴とする請求項１乃至５の何れかの項に記載の入力装置。
【請求項７】
拡大／縮小矩形マスク作成処理、又は拡大／縮小矩形マスク作成処理回路を付加し、前記拡大／縮小矩形マスク作成処理、又は前記拡大／縮小矩形マスク作成処理回路によって、前記カラーカメラ、前記カラーカメラ本体で得られたカラー画像の中から、前記仮想カーソル活動領域画像上の変化領域矩形、又は前記仮想ボタンクリック活動領域画像の変化領域矩形に対応する画像を抽出し、それ以外の画像をカットして、ノイズ成分を除去することを特徴とする請求項１乃至６の何れかの項に記載の入力装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【公開番号】特開２０１３−８０２６６（Ｐ２０１３−８０２６６Ａ）
【公開日】平成２５年５月２日（２０１３．５．２）
【国際特許分類】
【出願番号】特願２０１０−２５２９１（Ｐ２０１０−２５２９１）
【出願日】平成２２年２月８日（２０１０．２．８）
【出願人】（５０５２８８６８６）株式会社ネクステッジテクノロジー (3)
【Ｆターム（参考）】
【公開日】平成２５年５月２日（２０１３．５．２）
【国際特許分類】
【出願日】平成２２年２月８日（２０１０．２．８）
【出願人】（５０５２８８６８６）株式会社ネクステッジテクノロジー (3)
【Ｆターム（参考）】
[ Back to top ]