入力装置
【課題】操作者とノイズとなる背景とを正確に識別して、カメラの撮影範囲内に操作者以外の人が居て手を動かした場合でも誤動作しない入力装置を提供する。
【解決手段】右眼用撮像装置Ａと右眼用撮像装置Ｂと並べて配置し、距離測定手段Ｃにて両眼視差法によりそれぞれの撮像装置Ａ、Ｂが撮像した被写体までの距離を測定する。そして、被写体判別手段Ｄは、測定した距離を両方の撮像装置Ａ、Ｂ間の間隔に基づいて両眼視差法により割り出して予め設定してある奥行き距離と比較し、被写体までの距離と奥行き距離とが所定の許容範囲内で一致していると、操作指示生成手段Ｅはこの被写体の動きを検出し、この検出結果に応じた操作指示を生成する。
【解決手段】右眼用撮像装置Ａと右眼用撮像装置Ｂと並べて配置し、距離測定手段Ｃにて両眼視差法によりそれぞれの撮像装置Ａ、Ｂが撮像した被写体までの距離を測定する。そして、被写体判別手段Ｄは、測定した距離を両方の撮像装置Ａ、Ｂ間の間隔に基づいて両眼視差法により割り出して予め設定してある奥行き距離と比較し、被写体までの距離と奥行き距離とが所定の許容範囲内で一致していると、操作指示生成手段Ｅはこの被写体の動きを検出し、この検出結果に応じた操作指示を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報端末装置やパーソナルコンピュータなどの情報機器に接続されて使用され、カメラ等による撮像装置によって操作者の動作画像を取り込み、情報機器のカーソル操作やアプリケーションプログラムの選択及び実行などを制御する入力装置に関する。
【背景技術】
【０００２】
近年、カメラで操作者を撮影して画像解析し、この画像解析結果を使用してオーディオ装置、エアコンなどの機器を操作する入力装置が種々、提案されている。
【０００３】
例えば、カメラ等の撮像装置が撮影した画像から手領域を抽出すると共に、その手の形状がどのような形状（手を傾ける、指を曲げるなど）になっているかを判定し、この判定内容に対応する手操作指示を音声、又はプロジェクト画像などで操作者に知らせるものである。
【０００４】
ところで、カメラにより操作者の動作を捉える此の種の入力装置では、操作者とノイズとなる背景とを正確に識別しなければならない。そのため、余分な背景を画像に取り込まないような技術が従来から提案されている。
【０００５】
例えば、赤外光を照射し、これと同期した動作をするイメージセンサを用いて、物体反射光のみを画像として取り出す入力装置が知られている。反射光の強さは一般的に物体までの距離の２乗に反比例するために、距離のある背景の物体は反射光が届かないことから、近くの物体が遠くの背景から容易に区別することができることを利用して、関係ない動きなどによる誤動作を小さくしようとするものである（例えば、特許文献１を参照）。
【０００６】
また、赤外線カメラを用いて遠赤外線は撮像範囲の温度分布を撮像する装置を有する入力装置も知られている。この従来技術は、手を赤外線カメラの前にかざすと、手から放射されて赤外線カメラに入射する手の表面の温度に対応した遠赤外線は、手が近いほど赤外線カメラへの入射光量が増え、遠くなるほど入射光量が少なくなって、手と赤外線カメラとの距離の２乗に反比例することを利用して余分な背景を取り込まないようにするものである（例えば、特許文献２を参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００１−２１６０６９号公報
【特許文献２】特開２００５−５０１７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上記した従来技術においては、特殊なセンサやカメラを必要とし、しかも操作者と背景とが接近している場合には背景もノイズとして取り込むために、誤動作を引き起こす問題点がある。
【０００９】
よって本発明は、操作者とノイズとなる背景とを正確に識別して、カメラの撮影範囲内で操作者に近い位置にいる人が手を動かした場合でも、誤動作しない入力装置を提供することを目的としている。
【課題を解決するための手段】
【００１０】
上記課題を達成するため本発明は、撮像装置で得られた操作者の画像を処理して、操作者の動作内容に応じた操作指示を生成する入力装置であって、右眼用撮像装置と、前記右眼用撮像装置から所定の間隔を置いた位置に、前記右眼用撮像装置と並んで配置される左眼用撮像装置と、被写体に対する前記右眼用撮像装置と前記左眼用撮像装置の画像から両眼視差法により前記被写体までの距離を測定する距離測定手段と、前記右眼用撮像装置と前記左眼用撮像装置との間の前記間隔に基づいて両眼視差法により割り出して予め設定してある奥行き距離と前記距離測定手段が測定した前記被写体までの距離とを比較し、前記被写体までの距離と前記奥行き距離とが所定の許容範囲内で一致している前記被写体を選択して前記操作者と判別する被写体判別手段と、前記被写体判別手段が判別した前記被写体の動きを検出し、この検出結果に応じた操作指示を生成する操作指示生成手段と、を備えたことを特徴としている。
【００１１】
そして、前記操作指示の認識結果を表示するディスプレイ部を具備し、前記操作指示生成手段は、カーソルの表示待機中に前記操作者の手若しくは指による第１の形態の動きを検出すると前記ディスプレイ部に前記仮想カーソルを第１の状態で表示し、該第１の状態での表示中に前記手若しくは指による前記第１の動きが停止又は前記第１の動きが小さくなるのを検出すると前記仮想カーソルを第２の状態で表示すると共に、実カーソルを表示するカーソル表示制御手段を備えたことを特徴としている。
【００１２】
そして、前記操作指示生成手段は、前記仮想カーソルが前記第２の状態で表示されているときに、前記手若しくは指が前記第１の形態の動きをすると、その手若しくは指の位置に前記カーソルの移動を指示する第１の信号を生成するカーソル移動制御手段を備えたことを特徴としている。
【００１３】
そして、前記操作指示生成手段は、前記仮想カーソルが前記第１の状態で表示されているときに、前記手若しくは指による第２の形態の動きを検出するとクリック操作と認識する第２の信号を生成し、第２の形態の動きに続く第３の形態の動きを検出するとダブルクリック操作と認識する第３の信号を生成するクリック制御手段を備えたことを特徴としている。
【００１４】
そして、前記操作指示生成手段は、前記仮想カーソルが前記第１の状態で表示されているときに、前記手若しくは指による第４の形態の動きを検出すると、前記ディスプレイ部の画面スクロールを指示する第４の信号を生成する画面スクロール制御手段を備えたことを特徴としている。
【００１５】
そして、前記操作指示生成手段は、前記ディスプレイ部に表示されたオブジェクトに前記実カーソルが重ねられた状態で前記手若しくは指による第５の形態の動きを検出すると前記オブジェクトがドラッグの対象オブジェクトであることを認識し、認識後の前記手若しくは指による移動に追随した前記オブジェクトの移動を指示する第５の信号を生成し、続いて前記手若しくは指による前記第１形態での動きを検出すると前記オブジェクトのドロップを指示する第６の信号を生成するドラッグアンドドロップ制御手段を備えたことを特徴としている。
【００１６】
そして、前記操作指示生成手段は、２つの前記手若しくは指がそれぞれ前記第１の形態の動きを行うのを検出すると２点カーソルを表示し、前記第１の形態の動きを行う前記手若しくは指の間隔が拡大又は縮小されるのに応じて前記２点カーソルの間隔を拡大又は縮小表示し、前記第１の形態の動きの停止にて前記２点カーソルの間隔に応じて前記ディスプレイ部の拡大表示又は縮小表示を指示する第７の信号を生成する画面拡大・縮小制御手段を備えたことを特徴としている。
【００１７】
そして、前記操作指示生成手段は、２つの前記手若しくは指がそれぞれ前記第１の形態の動きを行うのを検出すると前記２点カーソルを表示すると共に、前記第１の形態の動きを行う前記手若しくは指の相対位置の上下の変化に応じて前記２点カーソルの相対位置を上下に変化させて表示し、前記第１の形態の動きの停止にて前記２点カーソルの上下の位置関係に応じて前記ディスプレイ部の表示の右回転又は左回転を指示する第８の信号を生成する画面回転制御手段を備えたことを特徴としている。
【００１８】
また、前記ディスプレイ部は、前記撮像装置による前記操作者の画像を透過表示することを特徴としている。更に、前記ディスプレイ部は、前記操作者が操作指示の動きをしているとき前記画像を透過表示することを特徴としている。
【００１９】
また、前記ディスプレイ部は、前記操作者が前記手若しくは指の動きにて行う操作指示のエフェクトを表示することを特徴としている。
【００２０】
本発明の入力装置は、ビデオカメラで得られた操作者の画像を処理して、操作者の動作内容に応じた操作指示を生成する入力装置であって、右眼用カラーカメラと、前記右眼用カラーカメラから所定距離だけ離れた位置に、前記右眼用カラーカメラと並んで配置される左眼用カラーカメラと、被写体を捉えた前記右眼用カラーカメラから出力されるカラー画像に対し、グレー化処理、画像分割／２値化処理、フレーム間差分処理、ヒストグラム処理、活動矩形領域抽出処理を行い、前記操作者の右眼側活動矩形領域を抽出する右眼側画像処理プログラムと、前記被写体を捉えた前記左眼用カラーカメラから出力されるカラー画像に対し、グレー化処理、画像分割／２値化処理、フレーム間差分処理、ヒストグラム処理、活動矩形領域抽出処理を行い、前記操作者の左眼側活動矩形領域を抽出する左眼側画像処理プログラムと、前記右眼側画像処理プログラムで得られた右眼側活動矩形領域の座標軸と前記左眼側画像処理プログラムで得られた左眼側活動矩形領域の座標軸との中心座標距離を演算することで両眼視差法による前記被写体までの距離を測定し、測定した前記被写体までの距離を前記右眼用撮像装置と前記左眼用撮像装置との間の前記間隔に基づいて両眼視差法により割り出して予め設定してある奥行き距離と比較し、前記被写体までの距離と前記奥行き距離とが所定の許容範囲内で一致している前記右眼活動矩形領域及び前記左眼活動矩形領域を前記操作者による活動矩形領域として選択する活動領域選択処理プログラムと、前記活動領域選択処理プログラムにて選択された活動矩形領域に対し、仮想カーソル制御処理／画面制御処理を行って、前記被写体の手、又は指先の動きを検出し、この検出結果に応じた操作指示を生成する画像処理プログラムと、を備えたことを特徴としている。
【００２１】
そして、前記仮想カーソル制御処理／画面制御処理は、仮想カーソル活動領域画像上に活動矩形領域群が１つあるとき、その形状、移動有無に基づき、カールソル制御指示、又は画面スクロール指示を生成することを特徴としている。一方、前記仮想カーソル制御処理／画面制御処理は、仮想カーソル活動領域画像上に活動矩形領域群が２つあるとき、その移動方向に基づき、画面回転指示、画面拡大指示、画面縮小指示の何れかを生成することを特徴としている。
【００２２】
そして、前記活動矩形領域抽出処理は、ヒストグラムの統計処理結果を使用して、前記ヒストグラムから仮想カーソル活動領域画像を作成することを特徴としている。また、前記活動矩形領域抽出処理は、前記仮想カーソル活動領域画像に対し、多段階矩形オブジェクト抽出処理を行い、ノイズ成分を除去することを特徴としている。
【００２３】
また、拡大／縮小矩形マスク作成処理を付加し、前記拡大／縮小矩形マスク作成処理によって、前記カラーカメラで得られたカラー画像の中から、前記仮想カーソル活動領域画像上の変化領域矩形に対応する画像を抽出し、それ以外の画像をカットして、ノイズ成分を除去することを特徴としている。
【００２４】
本発明の入力装置は、ビデオカメラで得られた操作者の画像を処理して、操作者の動作内容に応じた操作指示を生成し、遠隔操作対象機器の動作を制御する入力装置であって、箱形に形成される入力装置筐体と、この入力装置筐体の前面左側に取り付けられる右眼用カラーカメラ本体と、前記入力装置筐体の前面右側に取り付けられる左眼用カラーカメラ本体と、前記入力装置筐体内に配置され、グレー化処理回路、画像分割／２値化処理回路、フレーム間差分処理回路、ヒストグラム処理回路、活動矩形領域抽出処理回路によって、前記右眼用カラーカメラ本体から出力されるカラー画像を処理して、前記操作者の右眼側活動矩形領域を抽出する右眼側画像処理基板と、前記入力装置筐体内に配置され、グレー化処理回路、画像分割／２値化処理回路、フレーム間差分処理回路、ヒストグラム処理回路、活動矩形領域抽出処理回路によって、前記左眼用カラーカメラ本体から出力されるカラー画像を処理して、前記操作者の左眼側活動矩形領域を抽出する左眼側画像処理基板と、前記入力装置筐体内に配置され、活動矩形領域選択処理回路、仮想カーソル制御処理／画面制御処理回路によって、両眼視差法を使用して、前記右眼側画像処理プログラムで得られた右眼側活動矩形領域の座標軸と前記左眼側画像処理プログラムで得られた左眼側活動矩形領域の座標軸とから被写体までの距離を演算することで両眼視差法による前記被写体までの距離を測定し、前記被写体までの距離を前記右眼用撮像装置と前記左眼用撮像装置との間の前記間隔に基づいて両眼視差法により割り出して予め設定してある奥行き距離と比較し、前記被写体までの距離と前記奥行き距離とが所定の許容範囲内で一致している前記右眼活動矩形領域及び前記左眼活動矩形領域を前記操作者による活動矩形領域として選択し、選択した前記活動矩形領域に仮想カーソル制御処理／画面制御処理を行って、前記被写体の手、又は指先の動きを検出し、この検出結果に応じたポインティングデータを生成し、遠隔操作対象機器の動作を制御する共通処理基板と、を備えることを特徴としている。
【発明の効果】
【００２５】
本発明によると、操作者の動作を認知するカメラの視野内での空間の奥行きを狭く設定することで操作者と背景とを確実に識別するために、操作者以外の人の手の動きにて誤って入力されることがない。しかも、カメラ視野を設定することでかかる識別を行うために、特殊なセンサやカメラを用いずに通常のカメラにて精度の高い入力装置が提供される。
【図面の簡単な説明】
【００２６】
【図１】本発明による入力装置の第１の実施形態のブロック図を示す。
【図２】操作者とパソコンと撮像装置との位置関係の模式図を示す。
【図３】図１による入力装置の具体的な構成例のブロック図を示す。
【図４】カメラ視野からの仮想タッチスクリーン画面と、パソコンのディスプレイ部に対する操作者視野からの仮想タッチスクリーン画面とを説明する模式図を示す。
【図５】操作者視野からの仮想タッチスクリーンの平面モデルを初期設定するときの詳細な動作例を示すフローチャートを示す。
【図６】操作者視野からの仮想タッチスクリーンの平面モデルを初期設定する演算に用いるパラメータを説明する模式図を示す。
【図７】図３に示す入力装置の詳細な動作例のフローチャートを示す。
【図８】図７に示すグレー化／２値化画像処理の詳細な動作例のフローチャートを示す。
【図９】図７に示すフレーム間差分／ヒストグラム作成処理の詳細な動作例のフローチャートを示す。
【図１０】図７に示す活動矩形領域抽出処理の詳細な動作例のフローチャートを示す。
【図１１】図１０に示すフローチャートのステップ４１に代えて処理するステップ４１’を示している。
【図１２】図１０に示すフローチャートのステップ４３に代えて処理するステップ４３’を示している。
【図１３】図７に示す活動矩形領域選択処理の詳細な動作例のフローチャートを示す。
【図１４】図１３に示すフローチャートのステップ５７に代えて処理するステップ５７’を示している。
【図１５】図７に示す仮想カーソル制御処理、画面制御処理の詳細な動作例のフローチャートを示す。
【図１６】図３に示す入力装置で使用される元のヒストグラム例と、変化領域抽出後のヒストグラム例との模式図を示す。
【図１７】図３に示す入力装置で使用される変化領域抽出後のヒストグラム例と、仮想カーソル活動領域画像例との模式図を示す。
【図１８】図３に示す入力装置で使用される変化領域抽出後のヒストグラム例と、仮想カーソル活動領域画像例との模式図を示す。
【図１９】図３に示す入力装置において、活動矩形領域選択処理で選択された活動矩形領域群の一例の模式図を示す。
【図２０】図３に示す入力装置において、活動矩形領域選択処理で選択された活動矩形領域群の一例の模式図を示す。
【図２１】図３に示す入力装置で使用される多段階オブジェクト抽出処理の一例の模式図を示す。
【図２２】図３に示す入力装置で使用される多段階オブジェクト抽出処理の一例の模式図を示す。
【図２３】図３に示す入力装置で使用される両眼視差法の概要の模式図を示す。
【図２４】図３に示す入力装置において、両眼視差法による補正を行う前の右活動矩形領域、左活動矩形領域の関係の模式図を示す。
【図２５】図３に示す入力装置において、両眼視差法による補正を行った後の右活動矩形領域、左活動矩形領域の関係の模式図を示す。
【図２６】図３に示す入力装置において、両眼視差法による補正を行った後の右活動矩形領域、左活動矩形領域の実例の模式図を示す。
【図２７】図３に示す入力装置によって撮影される操作者の手の動きと、仮想カーソルとの関係例の模式図を示す。
【図２８】図３に示す入力装置によって撮影される操作者の手の動きと、仮想カーソルとの関係例の模式図を示す。
【図２９】図３に示す入力装置によって制御される実カーソルの微調整動作例の模式図を示す。
【図３０】図３に示す入力装置によって制御される仮想カーソルの色制御例の模式図を示す。
【図３１】図３に示す入力装置で使用される変化領域抽出後のヒストグラム例と、仮想カーソル活動領域画像例との模式図を示す。
【図３２】図３に示す入力装置によって撮影される操作者の手の動きと、クリック動作との関係例の模式図を示す。
【図３３】図３に示す入力装置によって得られる仮想カーソル活動領域画像上に２つの各活動矩形領域群があるときの一例の模式図を示す。
【図３４】図３に示す入力装置によって得られる仮想カーソル活動領域画像上にある各活動矩形領域群の位置関係例の模式図を示す。
【図３５】図３に示す入力装置によって得られる仮想カーソル活動領域画像上に２つの各活動矩形領域群があるときの一例の模式図を示す。
【図３６】図３に示す入力装置によって得られる仮想カーソル活動領域画像上にある各活動矩形領域群の位置関係例の模式図を示す。
【図３７】図３に示す入力装置において、抽出活動領域において操作者の意図しない動作により発生したものをノイズとして除去する動作を説明する模式図を示す。
【図３８】１台のカメラでのカメラ視野角と被写体の幅と被写体までの距離の関係を説明する模式図を示す。
【図３９】図１に示す入力装置の２台のカメラによる両眼視差法にて、カメラから被写体までの正確な距離の測定を説明する模式図を示す。
【図４０】本発明による入力装置の第２の実施形態のブロック図を示す。
【図４１】本発明による入力装置の他の実施形態のフローチャートを示す。
【図４２】図４１に示すフローチャートの動作例の模式図を示す。
【図４３】指先によるタッピング動作の説明図を示す。
【図４４】フィードバックから仮想カーソルの表示までの説明図を示す。
【図４５】仮想カーソルがロック状態となる状態の説明図を示す。
【図４６】仮想カーソルの表示を指示する掌の動きの説明図を示す。
【図４７】クリック操作の手の動きの説明図を示す。
【図４８】ダブルクリック操作の手の動きの説明図を示す。
【図４９】フリップ操作の手の動きの説明図を示す。
【図５０】ドラッグアンドドロップ操作の手の動きの説明図を示す。
【図５１】画面の拡大／縮小を指示する操作の手の動きの説明図を示す。
【図５２】画面の回転を指示する操作の手の動きの説明図を示す。
【発明を実施するための形態】
【実施例１】
【００２７】
図１は、本発明による入力装置１ａの第１の実施の形態を示すブロック図で、Ａは被写体を撮影するウェブカメラ或いはビデオカメラなどの可視光カメラによる右眼用撮像装置、Ｂはこの右眼用撮像装置Ａから所定の間隔を置いた位置に、右眼用撮像装置と並んで配置され、被写体を撮影するウェブカメラ或いはビデオカメラなどの可視光カメラによる左眼用撮像装置である。Ｃは右眼用撮像装置Ａ及び左眼用撮像装置Ｂから取り込んだ被写体の画像から両眼視差によりこの被写体までの距離を測定する距離測定手段、Ｄは右眼用撮像装置Ａ及び左眼用撮像装置Ｂとの間の間隔に基づいて予め設定してある両眼視差法による奥行き距離と距離測定手段Ｃが測定した被写体までの距離とを比較することで被写体が操作者であるかを判定する被写体判別手段である。そして、Ｅは被写体判別手段Ｄが被写体を操作者と判定したとき、被写体の手、又は指先の動きを検出し、この検出結果に応じた操作指示を生成する操作指示生成手段である。
【００２８】
本発明の入力装置１ａは、右眼用撮像装置Ａ及び左眼用撮像装置Ｂからの視野内での空間の奥行きを狭く設定するために、横方向に並べて配置した右眼用撮像装置Ａ及び左眼用撮像装置Ｂの間隔から両眼視差により割り出した被写体までの奥行き距離を予め検知領域に設定している。そして、右眼用撮像装置Ａ及び左眼用撮像装置Ｂが実際の被写体を捉えると、距離測定手段Ｃは撮像装置Ａ、Ｂから取り込んだ被写体の画像から両眼視差によりこの被写体までの距離を測定する。そして、被写体判別手段Ｄは、距離測定手段Ｃが測定した被写体めでの距離と予め設定している奥行き距離とを比較し、許容誤差範囲内で一致していればこの被写体は操作者であると判断し、操作指示生成手段Ｅは、操作者の手、又は指先の動きを検出し、この検出結果に応じたパソコン（図示せず）への操作指示を生成する。
【００２９】
このように本発明による入力装置１ａは、両眼視差法で得られた被写体までの距離を評価することで背景画像と区別して、操作者が撮像装置から一定の距離範囲で手や指先を動かしたかどうかを判別するものである。
【００３０】
被写体（操作者）とパソコンと撮像装置Ａ、Ｂとの位置関係を模式的に示す図２にて更に説明すると、図２の（ア）部は、各撮像装置Ａ、Ｂの設置位置から所定距離範囲、例えば“０．３ｍ”〜“０．８ｍ”の範囲内にいる操作者とそれ以外の距離にいる他の人を区別している。そして、図２の（イ）部及び（ウ）部で示すように、距離範囲ｄを小さくしていくと、操作者の手、指先などの動きを検知する領域が空間から平面へと近づく。そして、距離ｄを、右眼用撮像装置Ａ及び左眼用撮像装置Ｂの間隔から両眼視差法により割り出した被写体までの奥行き距離に略一致するまで小さく設定すると、図２の（ウ）部にて示されるような仮想タッチスクリーンＦが操作者と撮像装置Ａ、Ｂとの間に形成される。仮想タッチスクリーンＦは、撮像装置からの視野内の平面に操作者が指先を差し込むことでその座標を検出し、パソコン２のディスプレイ部にマッピングするのと同じような機能を達成する。
【００３１】
従って、奥行き距離を外れた空間で操作者が手、指先などを動かし、この画像が撮像装置Ａ、Ｂで撮像されても、仮想タッチスクリーンＦへの入力動作とは見做さず、被写体判別手段Ｄでは無視されるために操作判定手段Ｅでは入力動作として検出されることがない。このような仮想タッチスクリーンを備えた入力装置１ａは、仮想タッチスクリーンＦ上での以外の背景の動作は全て無効となるために、入力装置としての動作が確実となる。両眼視差法に依ると、横方向に並べた撮像装置Ａ、Ｂの間隔が凡そ５ｃｍで奥行き距離は１ｃｍとなる。
【００３２】
図３は図１による入力装置１ａの具体的な構成例をブロック図にて示している。この図に示す入力装置１ａは、パソコン２のディスプレイ部３に設けられる左眼用撮像装置である内蔵型のウェブカメラ４と、パソコン２内に設けられるビデオキャプチャ５と、パソコン２のディスプレイ部３に設けられる右眼用撮像装置である外付け型のウェブカメラ６と、パソコン２内に設けられるＵＳＢインタフェース７と、パソコン２内に設けられるハードディスク８と、パソコン２内に設けられるＣＰＵ９と、パソコン２内に設けられるメモリ１０とによって構成されている。入力装置１ａは、各ウェブカメラ４，６で得られたカラー画像について両眼視差法を用いて解析し、各ウェブカメラ４、６の設置位置からの距離に基づいて、操作者とそれ以外の距離にいる他の人とを区別しながら、操作者の手、指先などの動きのみを検出し、パソコン２のディスプレイ部３に表示された仮想カーソル２５〔図２７の（ｂ）参照〕、操作対象画面（ＯＳ画面、アプリケーション画面）などを制御し、現在、起動中のアプリケーションをコントロールする。
【００３３】
ウェブカメラ４は、３２０画素×２４０画素程度の解像度を持つカラーカメラであり、ビデオキャプチャ５から撮影指示が出されているとき、操作者を撮影して得られたカラービデオ信号をビデオキャプチャ５に供給する。
【００３４】
ビデオキャプチャ５は、システムバス１２を介して、ＣＰＵ９から撮影指示が出されているとき、ウェブカメラ４を制御して操作者を撮影すると共に、撮影動作で得られたカラービデオ信号を取り込み、ＲＧＢ信号形式のカラー画像に変換してＣＰＵ９に供給する。
【００３５】
また、ウェブカメラ６は、ウェブカメラ４から水平方向に所定距離だけ離れてディスプレイ部３の上縁などに取り付けられた、３２０画素×２４０画素程度の解像度を持つカラーカメラであり、ＵＳＢインタフェース７から撮影指示が出されているとき、操作者を撮影して得られたＹＵＶ信号をＵＳＢインタフェース７に供給する。
【００３６】
ＵＳＢインタフェース７は、システムバス１２を介して、ＣＰＵ９から撮影指示が出されているとき、ウェブカメラ６を制御して操作者の画像を撮影すると共に、撮影動作で得られたＹＵＶ信号を取り込んでＣＰＵ９に供給し、ＲＧＢ信号形式のカラー画像に変換する。
【００３７】
ハードディスク８は、ＯＳ（Operating System）、定数データなどが格納されるＯＳ格納エリア１３と、インターネットエクスプローラプログラム、ブラウザプログラムなどのアプリケーションプログラムが格納されるアプリケーション格納エリア１４と、本発明で使用する右眼側画像処理プログラム・左眼側画像処理プログラム・画像処理プログラムが格納される画像処理プログラム格納エリア１５と、ＨＳＶ（色相・彩度・明度）方式で、予め設定されている特定色（例えば、肌色）のカラー画像を抽出するのに必要なカラーマスク、２値化画像、ヒストグラム、仮想カーソル活動領域画像２７（図１７参照）、仮想ボタンクリック活動領域画像などが格納される画像格納エリア１６とを備えている。そして、ＣＰＵ９から読み出し指示が出力されたとき、システムバス１２を介してこれを取り込み、指定されたエリアに格納されているＯＳ、定数データ、アプリケーションプログラム、画像処理プログラム、２値化画像、ヒストグラム、仮想カーソル活動領域画像２７、仮想ボタンクリック活動領域画像などを読み出し、システムバス１２を介してＣＰＵ９に供給する。また、ＣＰＵ９から書き込み指示、データが出力されたとき、システムバス１２を介してこれらを取り込み、書き込み指示で指定されたエリア、例えば画像格納エリア１６などにデータを記憶させる。
【００３８】
ＣＰＵ９は、ハードディスク８に格納されているＯＳ、定数データ、アプリケーションプログラムなどで指定された表示データを生成してシステムバス１２に接続された表示インタフェース１１に供給し、ディスプレイ部３に操作対象画面を表示させる。また、右眼側画像処理プログラム、左眼側画像処理プログラム、画像処理プログラムなどで記述された画像処理を行い、操作対象画面に表示されている仮想カーソルのサイズ、位置などの制御、クリック制御、スクロール制御、画面回転制御、画面拡大制御、画面縮小制御などを行う。
【００３９】
メモリ１０は、数百メガバイト〜数ギガバイト程度の容量を持ち、ＣＰＵ９がアプリケーションプログラム、右眼側画像処理プログラム、左眼側画像処理プログラム、画像処理プログラムなどで指定された処理を行うときの一時データ格納エリアとして使用される。
【００４０】
本発明による入力装置１ａは操作者とウェブカメラ４，６との間に仮想タッチスクリーンを形成するものであるが、操作者はパソコン２のディスプレイ部３に向けて操作を行うために、操作者側から見ると操作者とディスプレイ部３との間に仮想タッチスクリーンが形成されていることになる。したがって、ウェブカメラ４，６の取り付け位置によっては、両方の仮想タッチスクリーンの位置が大きく異なるという問題がある。
【００４１】
例えば、ウェブカメラ４，６を天井から極端に下を向けた図４の（ａ）部で示すような場合などにおいては、カメラ視野からの仮想タッチスクリーン画面Ｓ１とディスプレイ部３に対する操作者視野からの仮想タッチスクリーン画面Ｓ２との座標軸が大きく異なるために、ウェブカメラ４，６からの画像を入力する入力装置１ａは操作者がディスプレイ部３に向けて行う動作を正確に捉えることができないことがある。
【００４２】
したがってウェブカメラ４，６の取り付け位置によっては、図４の（ｂ）部で示すように、両眼のウェブカメラ４，６により得られたカメラ視野からの仮想タッチスクリーン画面Ｓ１の平面座標Ｐｉｎ＝（ｘ,ｙ,ｄ）を、操作者視野からの仮想タッチスクリーン画面Ｓ２の平面座標Ｐｉｎ＝（Ｘ,Ｙ,Ｄ）へ変換するのが好ましい。以下、この変換方法について説明する。
【００４３】
カメラ視野からの仮想タッチスクリーン画面Ｓ１の平面座標Ｐｉｎ＝（ｘ,ｙ,ｄ）を、操作者視野からの仮想タッチスクリーン画面Ｓ２の平面座標Ｐｉｎ＝（Ｘ,Ｙ,Ｄ）に変換を行うには、入力装置１ａは操作者視野からの仮想タッチスクリーン画面Ｓ２の平面モデルを初期設定するための校正動作を行う必要がある。
【００４４】
《平面モデルの初期設定》
操作者がディスプレイ部３の前面に仮想タッチスクリーンがあると仮定して操作を行う平面モデルの初期設定について、図５のフローチャート及び図６の模式図に基づき説明する。
【００４５】
まず操作者は、視野上に見えるパソコン２のディスプレイ部３の画面上の左上、右上、左下の順番で３点Ｐ１，Ｐ２，Ｐ３をタップするが、ＣＰＵ９はこれによりウェブカメラ４，６視野からの仮想タッチスクリーン画面Ｓ１上でのＰ１＝（ｘ１,ｙ１,ｄ１）、Ｐ２＝（ｘ２,ｙ２,ｄ２）、Ｐ３＝（ｘ３,ｙ３,ｄ３）をそれぞれ測定する（ステップＳ１０１）。ここで、ｘ，ｙ，ｄは次の通り。
ｘ：ウェブカメラの画像上の横軸値
ｙ：ウェブカメラの画像上の縦軸値
ｄ：ウェブカメラからの距離
【００４６】
そして、ＣＰＵ９は、仮想タッチスクリーン画面Ｓ１平面の法線ベクトルｎを求める（ステップＳ１０２）。平面の法線ベクトルｎは、入力３点を含む平面に直交するので、同時に３点内の任意の２点を結ぶベクトルに直交する。よって法線ベクトルｎは、次式で求まる。最後にはノルムを１のベクトルに正規化する。
ｎ＝（Ｐ１−Ｐ２）×（Ｐ１−Ｐ３） （×は外積計算を示す）
【００４７】
次に、ＣＰＵ９は、仮想タッチスクリーン画面Ｓ１平面の位置ベクトルｐを求める（ステップＳ１０３）。平面の位置ベクトルｐは、平面上のどの点へのベクトルでも良いが、ここでは、仮想スクリーンの中心へのベクトルとなるように設定する。そのためには、入力点Ｐ1を平面の位置ベクトルと仮に定め、この位置ベクトルと、ウェブカメラ４，６から仮想タッチスクリーン画面Ｓ１平面に直行する直線に関するその位置ベクトルｐｌ＝（０，０，０）及び方向ベクトルｄ1＝（０，０，１）との交点ｃを求める。
【００４８】
交点ｃは、直線の位置ベクトルｐｌと方向ベクトルｄｌ、平面の位置ベクトルｐｐと法線ベクトルｎｐを用いて、以下の数式のように求められる。尚、式中の・は内積計算を表している。
【００４９】
【数１】
【００５０】
そして、ＣＰＵ９は、仮想タッチスクリーン画面Ｓ２のＸ、Ｙ軸の基底ベクトルを求める（ステップＳ１０４）。基底ベクトルは、新たな入力点を仮想タッチスクリーン画面Ｓ２に射影したときの座標Ｘ，Ｙ，Ｄを計算するときに用いるもので、Ｄの基底ベクトルは平面の法線ベクトルを使用するため、新たに作成するのはＸ，Ｙ軸のみである。
【００５１】
Ｘ軸の基底ベクトルｎｘは、平面の位置ベクトルｐからＸ軸（ｐｌ＝（０，０，０）、ｄｌ＝（１，０，０））と平面が交わる点へのベクトルを計算すればよい。Ｙ軸の基底ベクトルｎｙは、平面の位置ベクトルｐからＹ軸（ｐｌ＝（０，０，０）、ｄｌ＝（０，１，０））と平面が交わる点へのベクトルを計算すればよい。すなわち、それぞれ平面の位置ベクトルｐで減算し、ｐからの方向ベクトルとする。
【００５２】
そして、求めた基底ベクトルｎｘ、ｎｙを平面のパラメータに追加する。最後にｎｘとｎｙはノルム１に正規化する。
【００５３】
以上により、操作者がパソコン２に指示を与えるべく仮想タッチスクリーンに指先を差し込むと、ウェブカメラ４，６にて検出される仮想タッチスクリーン画面Ｓ１上の点Ｐｉｎ＝（ｘ，ｙ，ｄ）は、平面のパラメータの法線ベクトルｎ，位置ベクトルｐ，基底ベクトルｎｘ，基底ベクトルｎｙを用いてＣＰＵ９が次の計算を行うことで、仮想タッチスクリーン画面Ｓ２上の点Ｐｉｎ＝（Ｘ，Ｙ，Ｄ）に変換することができる。
Ｘ＝ｎｘ・（Ｐｉｎ−ｐ）
Ｙ＝ｎｙ・（Ｐｉｎ−ｐ）
Ｄ＝ｎ・（Ｐｉｎ−ｐ）
（・は内積計算を表す）
【００５４】
以上のような補正を行うことにより、カメラ視野からの仮想タッチスクリーンと操作者視野からの仮想タッチスクリーンとを一致させることができ、ウェブカメラ４，６の設置場所がより柔軟な入力装置が提供される。尚、操作者視野からの仮想タッチスクリーン上の座標でのタップに有効な矩形領域を予め保持しておき、その領域値に基づきＸ軸を０〜３２０、Ｙ軸を０〜２４０などに変換し、続く被写体判別後の処理が扱いやすい値に設定している。
【００５５】
次に、入力装置１ａへの入力動作について画像処理動作、カーソル制御動作、画面制御動作などを説明する。
【００５６】
《２値化画像生成、格納》
まず、パソコン２の電源が投入されて、アプリケーションプログラム、右眼側画像処理プログラム、左眼側画像処理プログラム、画像処理プログラムが起動されると、図７のフローチャートに示すようにＣＰＵ９によって、ビデオキャプチャ５が制御されて、ウェブカメラ４の撮影動作で得られたカラービデオ信号が取り込まれると共に、ＲＧＢ信号形式のカラー画像に変換されてメモリ１０などに一時記憶される（ステップＳ１）。
【００５７】
また、この動作と並行し、ＣＰＵ９によってＵＳＢインタフェース７が制御されて、ウェブカメラ６の撮影動作で得られたＹＵＶ信号が取り込まれると共に、ＲＧＢ信号形式のカラー画像に変換されてメモリ１０などに一時記憶される（ステップＳ２）。
【００５８】
また、これらの各動作と並行し、ＣＰＵ９によってメモリ１０などに一時記憶されている各カラー画像（各ウェブカメラ４，６の撮影動作で得られたカラー画像）のうち、パソコン２側から操作者を見たとき右眼に対応するウェブカメラ、例えば外付け型のウェブカメラ６で得られたカラー画像が読み取られる（ステップＳ３）。
【００５９】
この後、ＣＰＵ９によってグレー化／２値化画像処理が開始される（ステップＳ４）。即ち、図８のフローチャートに示すようにハードディスク８の画像格納エリア１６に格納されているカラーマスクで、外付け型のウェブカメラ６で得られたカラー画像がマスクされ、カラー画像の中から予め設定されている特定色（例えば、肌色）のカラー画像（肌色画像）が抽出されると共に（ステップＳ２１）、外付け型のウェブカメラ６で得られたカラー画像がグレー処理化されて、予め設定されている階調のモノクロ画像に変換され、１フレーム分の画像容量を低減させる（ステップＳ２２）。
【００６０】
そして、ＣＰＵ９によって画面分割指示が設定されているかどうかがチェックされ、画面分割指示があればモノクロ画像が複数のエリア（各エリアは各々、数個〜数十個の画素によって構成される）に分割され、また画面分割指示がなければ分割処理がスキップされた後、最大尤度しきい値法でモノクロ画像が２値化され、２値化画像が作成される（ステップＳ２３）。
【００６１】
次いで、ＣＰＵ９によって２値化画像と肌色画像との論理和が取られて、２値化画像中の肌色部分が抽出され（ステップＳ２４）、これが１フレーム分の２値化画像（右眼側の２値化画像）としてハードディスク８の画像格納エリア１６に格納される（ステップＳ２５）。
【００６２】
この後、ＣＰＵ９によって図７のフローチャートに示すようにメモリ１０などに一時記憶されている各カラー画像（各ウェブカメラ４，６の撮影動作で得られた各カラー画像）のうち、パソコン２側から操作者を見たとき左眼に対応するウェブカメラ、例えば内蔵型のウェブカメラ４で得られたカラー画像が読み取られる（ステップＳ５）。
【００６３】
次いで、ＣＰＵ９によってグレー化／２値化画像処理が開始される（ステップＳ６）。即ち、図８のフローチャートに示すようにハードディスク８の画像格納エリア１６に格納されているカラーマスクで内蔵型のウェブカメラ４で得られたカラー画像がマスクされ、カラー画像の中から予め設定されている特定色（例えば、肌色）のカラー画像（肌色画像）が抽出されると共に（ステップＳ２１）、内蔵型のウェブカメラ４で得られたカラー画像がグレー処理化されて、予め設定されている階調のモノクロ画像に変換され、１フレーム分の画像容量を低減させる（ステップＳ２２）。
【００６４】
そして、ＣＰＵ９によって画面分割指示が設定されているかどうかがチェックされ、画面分割指示があればモノクロ画像が複数のエリア（各エリアは各々、数個〜数十個の画素によって構成される）に分割され、また画面分割指示がなければ分割処理がスキップされた後、最大尤度しきい値法でモノクロ画像が２値化され、２値化画像が作成される（ステップＳ２３）。
【００６５】
次いで、ＣＰＵ９によって２値化画像と肌色画像との論理和が取られて、２値化画像中の肌色部分が抽出され（ステップＳ２４）、これが１フレーム分の２値化画像（左眼側の２値化画像）としてハードディスク８の画像格納エリア１６に格納される（ステップＳ２５）。
【００６６】
以下、上述した画像処理が繰り返され、ＦＩＦＯ（First・In・First・Out）形式でハードディスク８の画像格納エリア１６に右眼側の２値化画像、左眼側の２値化画像が各々数フレーム分〜数十フレーム分蓄積される。
【００６７】
《フレーム間差分、ヒストグラム作成》
また、この動作と並行し図７のフローチャートに示すように、ＣＰＵ９によってハードディスク１３の画像格納エリア１６に格納されている数フレーム分〜数十フレーム分の２値化画像の中から、右眼側に対応する最新の２値化画像を含む連続する数フレームの２値化画像が順次読み出される（ステップＳ７）。
【００６８】
そして、ＣＰＵ９によって読み出すことができた２値化画像のフレーム数がチェックされ、所定数以上のフレーム数であれば（ステップＳ８）、フレーム間差分／ヒストグラム作成処理が開始される（ステップＳ９）。即ち、図９のフローチャートに示すように、各２値化画像のうち、連続する２フレーム分の２値化画像に対しフレーム間差分処理が行われると共に（ステップＳ３１、Ｓ３２）、このフレーム間差分処理で得られた各差分画像が各分割エリア毎に累積加算されて右眼側のヒストグラムが作成され、ハードディスク８の画像格納エリア１６に格納される（ステップＳ３３、Ｓ３４）。
【００６９】
次いで、図７のフローチャートに示すように、ＣＰＵ９によってハードディスク１３の画像格納エリア１６に格納されている数フレーム分〜数十フレーム分の２値化画像の中から左眼側に対応する最新の２値化画像を含む、連続する数フレームの２値化画像が順次読み出される（ステップＳ１０）。
【００７０】
そして、ＣＰＵ９によって読み出すことができた２値化画像のフレーム数がチェックされ、所定数以上のフレーム数であれば（ステップＳ１１）、フレーム間差分／ヒストグラム作成処理が開始される（ステップＳ１２）。即ち、図９のフローチャートに示すように、各２値化画像のうち、連続する２フレーム分の２値化画像に対しフレーム間差分処理が行われると共に（ステップＳ３１、Ｓ３２）、このフレーム間差分処理で得られた各差分画像が各分割エリア毎に累積加算されて左眼側のヒストグラムが作成され、ハードディスク８の画像格納エリア１６に格納される（ステップＳ３３、Ｓ３４）。
【００７１】
《統計処理、仮想カーソルの活動領域決定、変化領域抽出》
この後、図７のフローチャートに示すように、ＣＰＵ９によってハードディスク８の画像格納エリア１６に格納されている右眼側のヒストグラムが読み出されて（ステップＳ１３）、活動矩形領域抽出処理が開始される（ステップＳ１４）。即ち、図１０のフローチャートに示すように、ヒストグラムの各分割エリアの濃度値に対する統計処理が行われ、平均値、濃度分散値、最大値、偏差（±１σ、±２σ）などが演算される（ステップＳ４１）。
【００７２】
次いで、ＣＰＵ９によってヒストグラムの各分割エリアの中から、変化領域矩形抽出用のしきい値（例えば、平均値−１σ）より大きい濃度値になっている各分割エリアが抽出され、これらの各分割エリア（活動分割エリア）を含むように矩形状の変化領域矩形（図１７、図１８参照）が決定されて、ハードディスク８の画像格納エリア１６に格納される。
【００７３】
また、この動作と並行し、ＣＰＵ９によって図１３の３次元濃度分布図に示すようにヒストグラムを構成している各分割エリア２０（図１７、図１８参照）のうち、仮想カーソル矩形抽出用のしきい値（例えば、最大値−１σ）より大きい濃度値になっている分割エリア（活動分割エリア２１）が抽出される。
【００７４】
これにより、操作者が指先を大きく回しているとき、図１７に示す通り各活動分割エリア２１を含むように矩形状の活動矩形領域２６が決定されると共に、この決定結果に基づき図１９に示すような右眼側の仮想カーソル活動領域画面２７が作成されて、ハードディスク８の画像格納エリア１６に格納される。
【００７５】
また、操作者が両手を動かしているときには、図１８に示す通り各活動分割エリア２１を含むように矩形状の活動矩形領域２６が決定されて、図２０に示すような右眼側の仮想カーソル活動領域画像２７が作成され、ハードディスク８の画像格納エリア１６に格納される（ステップＳ４２）。
【００７６】
《仮想ボタンクリックの活動領域決定》
この後、ＣＰＵ９によってハードディスク８の画像格納エリア１６に格納されている右眼側のヒストグラムが読み出されて、各分割エリア２０のうち仮想ボタンクリック矩形抽出用のしきい値（例えば、最大値−２σ）より大きい濃度値になっている分割エリア（活動分割エリア）が抽出されると共に、これらの各活動分割エリアを含むように矩形状の活動矩形領域が決定されて、右眼側の仮想ボタンクリック活動領域画像（図示は省略する）が作成され、ハードディスク８の画像格納エリア１６に格納される（ステップＳ４３）。
【００７７】
《多段階矩形オブジェクト抽出処理、影の影響除去》
次いで、ＣＰＵ９によって仮想カーソル矩形抽出用のしきい値（例えば、最大値−１σ）を使用して得られた右眼側の仮想カーソル活動領域画像２７、仮想ボタンクリック矩形抽出用のしきい値（例えば、最大値−２σ）を使用して得られた右眼側の仮想ボタンクリック活動領域画像に対し、各々活動矩形領域２６が左右に分割可能かどうかチェックされ、左右に分割可能であれば、図２１に示すように活動矩形領域２６の水平方向中心点“Ａ”が求められると共に、水平方向中心点“Ａ”から左側にある非活動領域と、活動領域（例えば、活動分割エリア２１）との境界点“Ｂ”と、水平方向中心点“Ａ”から右側にある非活動領域と、活動領域（例えば、活動分割エリア２１）との境界点“Ｃ”とが検知され、これら境界点“Ｂ”、“Ｃ”を含む領域が各活動矩形領域２６と判定され、それ以外の活動領域が操作者の影などによる不要な活動領域と判定され、無効とされる（２点抽出処理）。
【００７８】
この後、ＣＰＵ９によって、２点抽出処理が終了した各活動矩形領域２６に対し、各々活動矩形領域２６が上下に分割可能かどうかチェックされ、上下分割可能であれば図２２に示すように活動矩形領域２６の上下方向中心点“Ａ”が求められると共に、上下方向中心点“Ａ”から上側にある非活動領域と、活動領域（例えば、活動分割エリア２１）との境界点“Ｂ”が検知され、これら境界点“Ｂ”を含む領域が活動矩形領域２６と判定され、下の活動領域が操作者の影などによる不要な活動領域と判定され、無効とされる（最小化処理）（ステップＳ４４）。
【００７９】
次いで、ＣＰＵ９によって、これら２点抽出処理、最小化処理によって構成される多段階矩形オブジェクト抽出処理で得られた活動矩形領域２６を含む右眼側の仮想カーソル活動領域画像２７、右眼側の仮想ボタンクリック活動領域画像が、ハードディスク８の画像格納エリア１６に格納される（ステップＳ４５）。
【００８０】
《統計処理、仮想カーソルの活動領域決定、変化領域抽出》
この後、図７のフローチャートに示すようにＣＰＵ９によって、ハードディスク８の画像格納エリア１６に格納されている左眼側のヒストグラムが読み出されて（ステップＳ１５）、活動矩形領域抽出処理が開始される（ステップＳ１６）。即ち、図１０のフローチャートに示すように、ヒストグラムの各分割エリアの濃度値に対する統計処理が行われ、平均値、濃度分散値、最大値、偏差（±１σ、±２σ）などが演算される（ステップＳ４１）。
【００８１】
次いで、ＣＰＵ９によって変化領域矩形抽出用のしきい値（例えば、平均値−１σ）より大きい濃度値になっている各分割エリア２０が抽出されて、これらの各分割エリア（活動分割エリア）を含むように矩形状の変化領域矩形が（図１７、図１８参照）決定され、ハードディスク８の画像格納エリア１６に格納される。
【００８２】
また、この動作と並行しＣＰＵ９によって、図１６の３次元濃度分布図に示すようにヒストグラムを構成している各分割エリア２０（図１７、図１８参照）のうち、仮想カーソル矩形抽出用のしきい値（例えば、最大値−１σ）より大きい濃度値になっている分割エリア（活動分割エリア２１）が抽出される。
【００８３】
これにより、操作者が指先を大きく回しているとき、図１７に示す通り各活動分割エリア２１を含むように矩形状の活動矩形領域２６が決定されると共に、この決定結果に基づき図１９に示すような左眼側の仮想カーソル活動領域画面２７が作成されて、ハードディスク８の画像格納エリア１６に格納される。
【００８４】
また、操作者が両手を動かしているときには、図１８に示す通り各活動分割エリア２１を含むように矩形状の活動矩形領域２６が決定されて、図２０に示すような左眼側の仮想カーソル活動領域画像２７が作成され、ハードディスク８の画像格納エリア１６に格納される（ステップＳ４２）。
【００８５】
《仮想ボタンクリックの活動領域決定》
次いで、ＣＰＵ９によってハードディスク８の画像格納エリア１６に格納されている左眼側のヒストグラムが読み出されて、各分割エリア２０のうち仮想ボタンクリック矩形抽出用のしきい値（例えば、最大値−２σ）より大きい濃度値になっている分割エリア（活動分割エリア）が抽出されると共に、これらの各活動分割エリアを含むように矩形状の活動矩形領域が決定されて、左眼側の仮想ボタンクリック活動領域画像（図示は省略する）が作成され、ハードディスク８の画像格納エリア１６に格納される（ステップＳ４３）。
【００８６】
《多段階矩形オブジェクト抽出処理、影の影響除去》
次いで、ＣＰＵ９によって仮想カーソル矩形抽出用のしきい値（例えば、最大値−１σ）を使用して得られた左眼側の仮想カーソル活動領域画像２７、仮想ボタンクリック矩形抽出用のしきい値（例えば、最大値−２σ）を使用して得られた左眼側の仮想ボタンクリック活動領域画像に対し、各々活動矩形領域２６が左右に分割可能かどうかチェックされ、左右に分割可能であれば、図２１に示すように活動矩形領域２６の水平方向中心点“Ａ”が求められると共に、水平方向中心点“Ａ”から左側にある非活動領域と、活動領域（例えば、活動分割エリア２１）との境界点“Ｂ”と、水平方向中心点“Ａ”から右側にある非活動領域と、活動領域（例えば、活動分割エリア２１）との境界点“Ｃ”とが検知され、これら境界点“Ｂ”、“Ｃ”を含む領域が各活動矩形領域２６と判定され、それ以外の活動領域が操作者の影などによる不要な活動領域と判定され、無効とされる（２点抽出処理）。
【００８７】
この後、ＣＰＵ９によって、２点抽出処理が終了した各活動矩形領域２６に対し各々活動矩形領域２６が上下に分割可能かどうかチェックされ、上下分割可能であれば図２２に示すように活動矩形領域２６の上下方向中心点“Ａ”が求められると共に、上下方向中心点“Ａ”から上側にある非活動領域と活動領域（例えば、活動分割エリア２１）との境界点“Ｂ”が検知され、これら境界点“Ｂ”を含む領域が活動矩形領域２６、下の活動領域が操作者の影などによる不要な活動領域と判定され、無効とされる（最小化処理）（ステップＳ４４）。
【００８８】
次いで、ＣＰＵ９によってこれら２点抽出処理、最小化処理によって構成される多段階矩形オブジェクト抽出処理で得られた活動矩形領域２６を含む左眼側の仮想カーソル活動領域画像２７、左眼側の仮想ボタンクリック活動領域画像が、ハードディスク８の画像格納エリア１６に格納される（ステップＳ４５）。
【００８９】
上記した如く操作者の手による動きを右眼と左眼の各仮想領域活動領域画像２７及び仮想ボタンクリック活動領域画像で捉えることができるが、このとき入力装置１ａが操作者の意図しない手の動きを検知できるようにするとさらに良い。ヒストグラム化した活動領域を多段階で抽出した結果の活動矩形領域２６が操作者の意図したポインティング、またはタッピングでない動作、例えば手を左右に振っている場合もヒストグラム化されたデータ上に活動領域が抽出される。よって、これが操作者の意図したポインティング動作によるものではないことを判断できれば、入力装置１ａとしての信頼性が高まる。
【００９０】
抽出された活動矩形領域が有効かどうかを判断するためには、以下の処理を行う。すなわち、図１０のステップＳ４１の処理においては、図１１に示すステップＳ４１’の処理を行い、ＣＰＵ９はヒストグラム化された多段階の差分画像データのうち、最新の差分データから活動矩形領域２６を抽出し、それらの点を追跡しながら一定時間保持する。
【００９１】
次に、図１０のステップＳ４３の処理においては、図１２に示すステップＳ４３’の処理を行い、ＣＰＵ９は仮想ボタンクリックの活動領域（最大値−２σ）が抽出されたら、ステップＳ４１’で記憶している活動矩形領域２６と比較し、該当する追跡を求めてその追跡結果が特定の大きさの領域に亘って活動している場合には、無効な活動矩形領域２６と判断する。
【００９２】
図３７は操作者が手を右下から左上、さらに左下、次に右上に移動した場合に抽出される活動領域を示しているが、活動矩形領域２６の追跡データから生成された活動領域は大きな動きの中で生成されたもの判断してノイズとして無視する。
【００９３】
ＣＰＵ９による上記処理にて抽出活動領域が操作者の意図しない動作により発生したものはノイズとして除去することが可能となり、操作性が向上する。
【００９４】
《活動矩形領域選択》
この後、図７のフローチャートに示すように、ＣＰＵ９によって活動矩形領域選択処理が開始される（ステップＳ１７）。即ち、図１３のフローチャートに示すようにハードディスク８の画像格納エリア１６に格納されている右眼側の仮想カーソル活動領域画像２７、右眼側の仮想ボタンクリック活動領域画像が読み出され、これら右眼側の仮想カーソル活動領域画像２７、右眼側の仮想ボタンクリック活動領域画像に含まれている各活動矩形領域２６に対し、図２３の模式図に示すように両眼視差法による位置補正が行われ、各ウェブカメラ４，６の取り付け位置（水平距離“Ｂ”、上下距離など）、各ウェブカメラ４，６の焦点距離“ｆ”などと対応するように各活動矩形領域２６の中心座標“ＰＲ（ＸＲ、ＹＲ）”が補正された後、大きさ順に番号が付加される（ステップＳ５１、Ｓ５２）。
【００９５】
次いで、ＣＰＵ９によってハードディスク８の画像格納エリア１６に格納されている左眼側の仮想カーソル活動領域画像２７、左眼側の仮想ボタンクリック活動領域画像が読み出され、これら左眼側の仮想カーソル活動領域画像２７、左眼側の仮想ボタンクリック活動領域画像の各活動矩形領域２６に対し、操作者の手の位置の座標Ｐ（Ｘ，Ｙ，Ｄ）に基づき図２３の模式図に示すように両眼視差法による位置補正が行われ、各ウェブカメラ４，６の取り付け位置（水平距離“Ｂ”、上下距離など）、各ウェブカメラ４，６の焦点距離“ｆ”などと対応するように各活動矩形領域２６の座標“ＰＬ（ＸＬ、ＹＬ）”が補正された後、大きさ順に番号が付加される（ステップＳ５３、Ｓ５４）。
【００９６】
このように両眼視差法による位置補正を行うことで、各ウェブカメラ４，６の焦点距離などと対応したピント位置、例えば各ウェブカメラ４，６から離れた位置に操作者の手があり、両眼視差法による位置補正を行う前、図２４の模式図に示すように右眼側の各活動矩形領域２６と左眼側の各活動矩形領域２６とが位置がずれていても、両眼視差法による位置補正を行うことにより、図２５の模式図に示すように右眼側の各活動矩形領域２６と左眼側の各活動矩形領域２６とを完全一致（又は、ほぼ一致）させることができる。
【００９７】
この後、ＣＰＵ９によって図２６の模式図に示すように、番号“１”が付与された右眼側に対応する活動矩形領域２６の中心座標“ＸＲ、ＹＲ”と、左眼側に対応する活動矩形領域２６の中心座標“ＸＬ、ＹＬ”との距離（中心座標距離）が演算されて、これが番号“１”と共に、メモリ１０に記憶される。
【００９８】
尚、操作者の手の位置の座標Ｐ（Ｘ，Ｙ，Ｄ）に基づき両眼視差法による位置補正が行うことを説明したが、Ｐ（Ｘ，Ｙ，Ｄ）は操作者からの仮想タッチスクリーン画面Ｓ２上の座標であるが、このとき図４において説明したように、ＣＰＵ９は平面モデルの初期設定により予め算出している平面のパラメータの方向ベクトルｄ，位置ベクトルｎ，基底ベクトルｎｘ，基底ベクトルｎｙを用いて次の演算を行うことにより、ウェブカメラ４，６視野からの仮想タッチスクリーン画面Ｓ１上の座標Ｐ（ｘ，ｙ，ｄ）から変換している。かかる演算による補正を行えば、ウェブカメラ４，６の設置場所がパソコン２のディスプレイ部３とかけ離れている場合でも、ディスプレイ部３に対する操作者視野での位置を検出することができる。
Ｘ＝ｎｘ・（Ｐｉｎ−ｐ）
Ｙ＝ｎｙ・（Ｐｉｎ−ｐ）
Ｄ＝ｎ・（Ｐｉｎ−ｐ）
【００９９】
次いで、ステップＳ５５、Ｓ５６の処理においては、ＣＰＵ９によって次の番号“２”〜最後の番号“Ｎ”が付与された右眼側に対応する活動矩形領域２６の中心座標“ＸＲ、ＹＲ”と、左眼側に対応する活動矩形領域２６の中心座標“ＸＬ、ＹＬ”との距離（中心座標距離）が順次演算されて、これらが次の番号“２”〜最後の番号“Ｎ”と共にメモリ１０に記憶される。
【０１００】
このステップ５５の処理は、図１で説明した距離測定手段Ｃとしての動作である。すなわち、ウェブカメラ４，６の間隔と焦点距離ｆを予め設定すると、被写体までの距離は｜ＸＬ−ＸＲ｜と相関関係にあるために、中心座標距離の演算は被写体までの距離を測定していることになる。
【０１０１】
そして、これらの処理が終了したとき、ＣＰＵ９によって、メモリ１０に記憶されている各中心座標距離（｜ＸＬ−ＸＲ｜）が順次読み出されて、予め設定してある奥行き距離を示す所定値と比較する。この奥行き距離とは、ウェブカメラ４，６の間隔に基づいて予め設定してある両眼視差法による奥行き距離である。そして、中心座標距離と奥行き距離との比較の結果、許容範囲内で一致していると、この中心座標距離の右眼側の活動矩形領域２６、左眼側の活動矩形領域２６は有効な活動矩形領域と判断される。
【０１０２】
各ウェブカメラ４，６から予め設定してある奥行き距離から許容範囲内の位置に操作者の手があるとき、操作者の手に対応する右眼側の活動矩形領域２６、左眼側の活動矩形領域２６が、それぞれ有効な活動矩形領域２６であると判定される。このことは、予め設定してある奥行き距離に仮想タッチスクリーンが形成されていることになり、それ以外は仮想タッチスクリーン上の操作ではないものとして、右眼側の活動矩形領域２６、左眼側の活動矩形領域２６はそれぞれ無効な活動矩形領域２６であると判定される（ステップＳ５７）。このとき中心座標距離と奥行き距離との比較を行う場合の許容範囲を狭く設定することで、より平面的な仮想タッチスクリーンが形成されることになり、操作者による操作以外の背景の動きを捉えることがなくなり、入力装置として動作が確実となる。
【０１０３】
このステップ５７の処理は、図１で説明した被写体判別手段Ｄとしての動作である。すなわち、距離測定手段Ｃであるステップ５５の処理にて測定した被写体までの距離と予め設定してある奥行き距離とを比較して、許容範囲内で一致しない場合にその活動矩形領域を無効とすることで、操作者による仮想タッチスクリーン上での手に対応する活動矩形領域のみを選択する。
【０１０４】
このように両眼視差法を用いて、活動矩形領域の位置補正を行ないながら右眼及び左眼の各活動矩形領域２６の中心点間の横方向での座標距離（中心座標距離）から被写体までの距離を測定することにより活動領域２６の有効性判定を精度良く行うことができるのである。しかしながら、ウェブカメラ４，６の視野で被写体の中心部分と端の部分は誤差が発生するが、これの補正について説明する。
【０１０５】
距離の測定は、予め測定したカメラ視野角を定数として活動領域がウェブカメラ４，６の視野のそれぞれの活動矩形領域２６における中心座標距離から補正値を計算するものであるが、以下、この原理について説明する。
【０１０６】
図３８は１台のウェブカメラ４Ａの視野角から距離の変換について説明するもので、三角関数の定義から、［数２］の数式の関係が成立する。
【０１０７】
【数２】
ｗ：画像上での被写体の幅[pixel]
ｉｍｇ＿ｗ：カメラ画像の横画素数[pixel]
ｄ：カメラと被写体までの距離[ｍ]
δ：被写体の幅／２[ｍ]
θｗ：カメラの視野角／２[rad]（予め計測）
但し、ｗと（ｉｍｇ＿ｗ）は、それぞれ画像中の大きさのため物理量としては「角度」となる。
【０１０８】
これをｄについて解くと［数３］の数式となる。
【０１０９】
【数３】
【０１１０】
［数３］の数式において、θｗとｉｍｇ＿ｗは定数であるので、求めたい値である距離ｄはδとｗに依存する。ここでδは映る被写体６０によって変化するため、δに依存せずに距離ｄを求める必要がある。
【０１１１】
そこで２台のウェブカメラ４，６を用いる本発明では、δに依存せずに距離ｄを求めることが可能である。図３９はメインとサブの２台のウェブカメラの視野角から距離の変換について説明するもので、距離ｄは［数４］の数式にて示される。
【０１１２】
【数４】
ｗ’：サブカメラの画像上での被写体の中心の横座標[pixel]と、メインカメラの画像上での被写体の中心横座標[pixel]の差の絶対値 （｜ＸＬ−ＸＲ｜）
δ’：被写体の位置で、サブカメラの中心視線とメインカメラの中心視線が交差する２点間の距離[ｍ]（両眼の視線が平行ならば、δ’は常に一定）
【０１１３】
［数４］の数式において、両眼の中心視線が平行である場合は一定であるから距離ｄはδ’に依存しなくなる。尚、ｄはδ’より十分大きく（ｄ＞＞δ’）、被写体６０が画像の端に存在していても近似的に成り立つ。
【０１１４】
上記から２台のカメラを用いれば［数５］の数式にて表すように、距離ｄはｗ’のみに依存することになる。よって、ｄは画素値から計算され、離散値であるため各ｗ’のｄ（ｗ’）を予め計算しておきテーブルに保存することで被写体６０までの距離（ｄ）の補正を高速にて処理することができる。
【０１１５】
【数５】
【０１１６】
以上の原理をＣＰＵ９による活動領域２６の有効性の判断に取り込めば判定の精度を更に高めることができる。この場合、ＣＰＵ９はステップＳ５７の処理において、図１４に示すステップ５７’の処理を行い、中心座標距離ｗ’（｜ＸＬ−ＸＲ｜）を演算してメモリ１０に格納しているテーブルデータと照合することで被写体６０までの正確な距離を測定し、この距離が予め設定してある奥行き距離の許容範囲内であるかを判定することで、活動矩形領域２６の有効・無効の判断を行うものである。
【０１１７】
これにより、右眼側の各活動矩形領域２６、左眼側の各活動矩形領域２６が図２６の模式図に示す関係になっていれば、中心座標距離が所定値以上になっている番号“１”に対応した右眼側の活動矩形領域（ＯＲ１）２６、左眼側の活動矩形領域（ＯＬ１）２６が無効と判定され、中心座標距離がほぼ“０”になっている番号“２”に対応した右眼側の活動矩形領域（ＯＲ２）２６、左眼側の活動矩形領域（ＯＬ２）２６が有効と判定される。
【０１１８】
次いで、ＣＰＵ９によって、有効と判定された右眼側の活動矩形領域（ＯＲ２）２６、有効と判定された左眼側の活動矩形領域（ＯＬ２）２６のうち、予め指定されている方、例えば有効と判定された左眼側の活動矩形領域（ＯＬ２）２６が残され、それ以外の活動矩形領域２６が削除された仮想カーソル活動領域画像２７、仮想ボタンクリック活動領域画像が作成され、これが両眼視差法によって操作者の手前にいる人の動き、及び背後にいる人の動きが除去された仮想カーソル活動領域画像２７、仮想ボタンクリック活動領域画像としてハードディスク８の画像格納エリア１６に格納される（ステップＳ５７）。
【０１１９】
《片手ジェスチャによる仮想カーソルの位置、大きさ、色制御》
この後、図７のフローチャートに示すように、ＣＰＵ９によって仮想カーソル制御処理／画面制御処理が開始される（ステップＳ１８）。この処理は、図１で説明した操作指示生成手段Ｅとしての動作であり、ステップＳ１７にて操作者の動作と判定した手、又は指先の動きを検出し、この検出結果に応じた操作指示を生成する。
【０１２０】
図１５のフローチャートに示すように、ハードディスク８の画像格納エリア１６に格納されている各仮想カーソル活動領域画像（両眼視差法によって、操作者の手前にいる人の動き、及び背後にいる人の動きが除去された各仮想カーソル活動領域画像）２７のうち、最新の活動矩形領域２６を含む数フレーム分の仮想カーソル活動領域画像２７が読み出され（ステップＳ６１）、近接した１つ以上の活動矩形領域２６によって構成される活動矩形領域群が仮想カーソル活動領域画像２７内に存在しているかどうかチェックされる。
【０１２１】
そして、最新の仮想カーソル活動領域画像２７内に活動矩形領域群が存在し、その数が“１”であり、且つ、略矩形であれば（ステップＳ６２、Ｓ６３）、ＣＰＵ９によって活動矩形領域群の大きさ、移動方向が判定され、判定結果に対応するように仮想カーソル制御が行われる（ステップＳ６４）。
【０１２２】
例えば、図２７（ａ）に示すように、前回とほぼ同じ、高さ、左右位置で、操作者が指先を大きく回し、これに対応して前回の処理で得られた大きな活動矩形領域群の位置と同じ位置で、大きな活動矩形領域群が得られているとき、ＣＰＵ９によって仮想カーソルの表示指示であると判定されて、図２７（ｂ）に示すようにディスプレイ部３に大きなサイズ、白色の仮想カーソル２５が表示される。
【０１２３】
また、操作者が指先を大きく回しながら上下方向、又は左右方向に移動させ、これに対応して前回の処理で得られた位置から移動する大きな活動矩形領域群が得られているとき、ＣＰＵ９によって仮想カーソルの移動指示であると判定されて、指先の移動方向に対応するようにディスプレイ部３に表示されている大きなサイズ、白色の仮想カーソル２５を移動させる。
【０１２４】
また、図２８（ａ）に示すように、前回とほぼ同じ、高さ、左右位置で、操作者が指先を小さく回し、これに対応して前回の処理で得られた大きな活動矩形領域群の位置と同じ位置で、小さな活動矩形領域群が得られているとき、ＣＰＵ９によって仮想カーソルの移動停止であると判定されて、図２８（ｂ）に示すようにディスプレイ部３に表示されている仮想カーソル２５の移動を停止させると共に、サイズを小さくする。
【０１２５】
この状態で一定時間が経過すれば、ＣＰＵ９によって仮想カーソル２５の色が赤色に変更され大きな移動が禁止されると共に、ＯＳ側にカーソル移動指示が出されて、仮想カーソル２５内に実カーソル２８を移動させる。
【０１２６】
この後、操作者が指先を少し移動させれば、ＣＰＵ９によってこれが検知されて、ディスプレイ部３に表示されている仮想カーソル２５の位置が微調整されると共に、ＯＳ側にカーソル位置調整指示が出されて、図２９に示すように実カーソル２８の位置が微調整される。
【０１２７】
次いで、操作者が指先を動かすのを止めれば、ＣＰＵ９によってこれが検知され、一定時間後に、図３０に示すようにディスプレイ部３に表示されている仮想カーソル２５の位置が固定されると共に、仮想カーソル２５の色が赤色からグレー色に変更され、操作者にクリック可能になったことを知らせる。
【０１２８】
この状態でも、操作者が指先を再度大きく回せば、ＣＰＵ９によってこれが検知されて、ディスプレイ部３に表示されている仮想カーソル２５の色が白色に戻され、仮想カーソル２５が移動可能な状態に戻される。
【０１２９】
《片手ジェスチャによるスクロール制御》
また、上述した仮想カーソル活動領域画像２７に活動矩形領域群が存在するかどうかなどをチェックしたとき、図３１に示すように活動矩形領域群の数が“１”で水平方向に長ければ（ステップＳ６２、Ｓ６３）、ＣＰＵ９によって前回の活動矩形領域群に対しどちらの方向に長くなったか判定すると共に、長くなった方向に応じた右スクロール指示（又は、左スクロール指示）が生成されてアプリケーション側に渡され、ディスプレイ部３に表示されているアプリケーション画面（操作対象画面）が右方向（又は、左方向）にスクロールされる（ステップＳ６４）。
【０１３０】
また、上述した仮想カーソル活動領域画像２７に活動矩形領域群が存在するかどうかなどをチェックしたとき、活動矩形領域群の数が“１”で上下方向に長ければ（ステップＳ６２、Ｓ６３）、ＣＰＵ９によって前回の活動矩形領域群に対しどちらの方向に長くなったか判定すると共に、長くなった方向に応じた上スクロール指示（又は、下スクロール指示）が生成されてアプリケーション側に渡され、ディスプレイ部３に表示されているアプリケーション画面（操作対象画面）が上方向（又は、下方向）にスクロールされる（ステップＳ６４）。
【０１３１】
《片手ジェスチャによる実カーソルのクリック制御》
この後、ＣＰＵ９によって仮想カーソル２５の色がグレーかどうかチェックされ、仮想カーソル２５の色がグレーであれば、ハードディスク８の画像格納エリア１６に格納されている仮想ボタンクリック活動領域画像のうち、最新の活動矩形領域を含む数フレーム分の仮想ボタンクリック活動領域画像が読み出される（ステップＳ６６）。
【０１３２】
次いで、ＣＰＵ９によって仮想ボタンクリック活動領域画像内に近接した１つ以上の活動矩形領域２６によって構成される活動矩形領域群が存在し、形状が変化しているかどうかチェックされ、活動矩形領域群の数が“１”であり活動矩形領域群が予め設定された変化、例えば図３２（ａ）に示すように操作者が指さし状態から、１回だけ手を広げ、活動矩形領域群が１回だけ“小”から“大”に変化していれば（ステップＳ６７）、シングルクリックであると判定され、ＯＳ側にシングルクリック指示が出されて、図３２（ｂ）に示すように仮想カーソル２５内にある実カーソル２８によってアイコンなどがシングルクリックされる（ステップＳ６８）。
【０１３３】
また、操作者が指さし状態から２回以上手を広げたり縮めたりし、活動矩形領域群が複数回“大”から“小”、“小”から“大”に変化していれば（ステップＳ６７）、ＣＰＵ９によってダブルクリックであると判定され、ＯＳ側にダブルクリック指示が出されて、実カーソル２８の位置にあるアイコンなどがダブルクリックされる（ステップＳ６８）。
【０１３４】
《両手ジェスチャによる画面拡大、縮小制御》
また、各ウェブカメラ４，６のピント位置に操作者が右手、左手を出して、これら右手、左手を動かし、上述した仮想カーソル活動領域画像２７に活動矩形領域群が存在するかどうかなどをチェックしたとき、活動矩形領域群の数が“２”になり、各々矩形になっていれば（ステップＳ６３）、ＣＰＵ９によってこれが検知されて、これら各活動矩形領域群の動きに応じてディスプレイ部３に表示されている操作対象画面の拡大、縮小、回転などが行われる（ステップＳ６５）。
【０１３５】
例えば、各ウェブカメラ４，６のピント位置に操作者が右手と左手を出して、その右手と左手を互いに離れる方向に移動させ、これに対応して図３３に示す２つの活動矩形領域群が存在し、図３４（ａ）に示すように前回より広くなる方向に移動してこれら各活動矩形領域群の距離が前回より長くなったとき、ＣＰＵ９によって画面拡大指示が入力されたと判定され、活動矩形領域群の距離変化比に応じた拡大率の画面拡大指示が生成されてアプリケーション側に渡され、ディスプレイ部３に表示されているアプリケーション画面（操作対象画面）が拡大される。
【０１３６】
また、各ウェブカメラ４，６のピント位置に操作者が右手と左手を出して、その右手と左手を互いに近づく方向に移動させ、これに対応して２つの活動矩形領域群が図３４（ｂ）に示すように前回より狭くなる方向に移動し、これら各活動矩形領域群の距離が前回より短くなったとき、ＣＰＵ９によって画面縮小指示が入力されたと判定され、活動矩形領域群の距離変化比に応じた縮小率の画面縮小指示が生成されてアプリケーション側に渡され、ディスプレイ部３に表示されているアプリケーション画面（操作対象画面）が縮小される。
【０１３７】
《両手ジェスチャによる画面回転制御》
また、各ウェブカメラ４，６のピント位置に操作者が右手と左手を出して、これら右手と左手の一方を上に他方を下に移動させ、これに対応して図３５に示す２つの活動矩形領域群のうち少なくとも一方が上方向（又は、下方向）に移動したとき、ＣＰＵ９によって画面回転指示が入力されたと判定され、下側の活動矩形領域群に対する上側の活動矩形領域群の角度に応じた回転角度の画面回転指示が生成されてアプリケーション側に渡され、ディスプレイ部３に表示されているアプリケーション画面（操作対象画面）が回転される。
【０１３８】
この際、図３６（ａ）に示すように各活動矩形領域群の左右距離が狭い状態で、一方が大きく上方に移動し下側の活動矩形領域群に対する上側の活動矩形領域群の角度が大きいとき、ＣＰＵ９によって大きな回転角度の画面回転指示が生成されてアプリケーション側に渡され、ディスプレイ部３に表示されているアプリケーション画面（操作対象画面）が大きく回転される。
【０１３９】
また、図３６（ｂ）に示すように各活動矩形領域群の左右距離が広い状態で、一方が小さく上方に移動し下側の活動矩形領域群に対する上側の活動矩形領域群の角度が小さいとき、ＣＰＵ９によって小さな回転角度の画面回転指示が生成されてアプリケーション側に渡され、ディスプレイ部３に表示されているアプリケーション画面（操作対象画面）が小さく回転される。
【０１４０】
このように、本発明の第１の実施形態においては、各ウェブカメラ４，６によって操作者を撮影して得られた低解像度のカラー画像に対し、グレー化処理、画像分割／２値化処理、色フィルタリング処理、フレームバッファ処理、フレーム間差分処理、ヒストグラム処理、活動矩形領域抽出処理、活動矩形領域選択処理、仮想カーソル制御処理／画面制御処理を行い操作者の手の動きを検知し、仮想カーソル２５のサイズ制御、位置制御、色制御、クリック制御、操作対象画面の拡大制御、縮小制御、回転制御、上下スクロール制御、左右スクロール制御などを行うようにしているので、次に述べる効果を得ることができる。
【０１４１】
また、各ウェブカメラ４，６によって操作者を撮影して得られたカラー画像に対し、グレー化処理、画像分割／２値化処理、色フィルタリング処理を施して得られた２値化画像を画像格納エリア１６に格納するため、ハードディスク８の容量が小さい場合にも入力装置１ａを構成することができ、装置全体のコストを低く抑えることができる。
【０１４２】
また、各ウェブカメラ４，６によって操作者を撮影して得られたカラー画像に対し、グレー化処理、画像分割／２値化処理、色フィルタリング処理など、少ない段数の画像処理を施して１フレーム分の２値化画像を得るようにしているので、ＣＰＵ９に大きな負担をかけることを防ぎ、これによって処理速度が速くない安価なＣＰＵ９を使用した場合でもほぼリアルタイムで操作者の動きに対応するように、仮想カーソル２５のサイズ制御、位置制御、色制御、クリック制御、操作対象画面の拡大制御、縮小制御、回転制御、上下スクロール制御、左右スクロール制御などを行うことができ、装置全体のコストを低く抑えることができる。
【０１４３】
また、各ウェブカメラ４，６によって操作者を撮影して得られた右眼側の各活動矩形領域２６と左眼側の各活動矩形領域２６とに対し、両眼視差法で中心座標位置を補正した後、大きさ順に番号を付けて中心座標位置を比較し、この比較結果に基づきピント位置に対応する右眼側の各活動矩形領域２６と左眼側の各活動矩形領域２６とを選択するようにしているので、各ウェブカメラ４，６のピント位置にある操作者の手以外のもの、例えば操作者の後ろに人がいて動いていても、これに影響されることなく操作者の手の動きのみを抽出して、仮想カーソル２５のサイズ制御、位置制御、色制御、クリック制御、操作対象画面の拡大制御、縮小制御、回転制御、上下スクロール制御、左右スクロール制御などを行うことができる。
【０１４４】
また、本発明の第１の実施形態では、操作者が片手だけを動かしているとき仮想カーソル制御指示、又は操作対象画面のスクロール制御であると判定し、仮想カーソル２５のサイズ制御、位置制御、色制御、クリック制御、操作対象画面のスクロール制御などを行うようにしているので、片手だけでディスプレイ部３に表示されている仮想カーソル２５のサイズ、位置、色、クリック、操作対象画面のスクロールなどを遠隔操作することができる。
【０１４５】
また、本発明の第１の実施形態では、操作者が両手を動かしているとき、右手の動き、左手の動きを各々検出し、操作対象画面の拡大／縮小制御指示、又は操作対象画面の回転制御指示であると判定するようにしているので、操作者が右手、左手を動かすだけでディスプレイ部３に表示されているアプリケーション画面（操作対象画面）を拡大、縮小、回転させることができる。
【０１４６】
また、本発明の第１の実施形態では、活動矩形領域抽出処理においてヒストグラムを統計処理して得られた結果を使用し、ヒストグラムから仮想カーソル活動領域画像２７、仮想ボタンクリック活動領域画像を作成するようにしているので、操作者の手など動いている部分を正確に検知することができ、安定した仮想カーソル制御、クリック制御、操作対象画面制御を行うことができる。
【０１４７】
また、本発明の第１の実施形態では、活動矩形領域抽出処理において仮想カーソル活動領域画像２７、仮想ボタンクリック活動領域画像に対し、多段階矩形オブジェクト抽出処理を行うようにしているので、操作者の影などに起因する誤動作を防止し、安定した仮想カーソル制御、クリック制御、操作対象画面制御を行うことができる。
【実施例２】
【０１４８】
図４０は、本発明による入力装置の第２の実施形態を示すブロック図である。この図に示す入力装置１ｂは、箱形に形成されたプラスチック部材などによって構成され、パソコン、テレビ、エアコン、大画面スクリーン装置などの遠隔操作対象機器の近傍に配置される入力装置筐体（図示は省略する）と、入力装置筐体の前面左側に取り付けられ、操作者を撮影してカラー画像信号を出力する右眼用撮像装置である右眼用ビデオカメラ本体（カラーカメラ本体）３０と、入力装置筐体内に配置され、右眼用ビデオカメラ本体３０で撮影されたカラー画像を処理して、右眼側の仮想カーソル活動領域画像、右眼側の仮想ボタンクリック活動領域画像を生成する右眼側画像処理基板３１と、入力装置筐体の前面右側に取り付けられ、操作者を撮影してカラー画像信号を出力する左眼用撮像装置である左眼用ビデオカメラ本体３２と、入力装置筐体内に配置され、左眼用ビデオカメラ本体（カラーカメラ本体）３２で撮影されたカラー画像を処理して、左眼側の仮想カーソル活動領域画像、左眼側の仮想ボタンクリック活動領域画像を生成する左眼側画像処理基板３３と、入力装置筐体内に配置され、右眼側画像処理基板３１から出力される右眼側の仮想カーソル活動領域画像、右眼側の仮想ボタンクリック活動領域画像、左眼側画像処理基板３２から出力される左眼側の仮想カーソル活動領域画像、左眼側の仮想ボタンクリック活動領域画像を画像処理して操作者の手の動きに対応するポインティングデータを生成し、ＵＳＢケーブル、信号接続ケーブルなどのケーブルを介して、パソコン、テレビ、エアコン、大画面スクリーン装置などの遠隔操作対象機器などに供給する共通処理基板３４とを備えている。
【０１４９】
そして、操作者を撮影して得られたカラー画像を解析して、影などの影響、操作者の手前側にいる人、及び背後にいる人の影響などを取り除きながら、操作者の手の動きに対応したポインティングデータを生成し、入力装置１ｂ→ケーブル→遠隔操作対象機器なる経路でポインティングデータを遠隔操作対象機器に供給し、この遠隔操作対象機器の動作を制御する。
【０１５０】
右眼用ビデオカメラ本体３０は、３２０画素×２４０画素程度の解像度を持つカラーカメラによって構成されており、右眼側画像処理基板３１から電源電圧、クロック信号などが出されているとき操作者を撮影し、これによって得られたカラービデオ信号を右眼側画像処理基板３１に供給する。
【０１５１】
右眼側画像処理基板３１は、右眼用ビデオカメラ本体から出力されるカラービデオ信号をＲＧＢ形式のカラー画像に変換した後、ＨＳＶ（色相・彩度・明度）方式で予め設定されている特定色（例えば、肌色）のカラー画像を抽出するのに必要なカラーマスクを使用して、カラー画像中の肌色画像を抽出する肌色画像抽出回路３５と、右眼用ビデオカメラ本体３０から出力されるカラービデオ信号をＲＧＢ形式のカラー画像に変換した後、予め設定されている階調のモノクロ画像に変換するグレー化処理回路３６と、グレー化処理回路３６から出力されるモノクロ画像を予め設定されている画面分割数で分割する（但し、画面分割設定されていないときこの画面分割処理はスキップされる）と共に、最大尤度しきい値法で２値化して２値化画像にする画像分割／２値化処理回路３７と、画像分割／２値化処理回路３７から出力される２値化画像と肌色画像抽出回路３５から出力される肌色画像との論理和を取り、２値化画像中の肌色部分を抽出する色フィルタリング処理回路３８とを備えている。
【０１５２】
さらに、右眼側画像処理基板３１は、色フィルタリング処理回路３８から出力される２値化画像を数フレーム分〜数十フレーム分、一時記憶するフレームバッファ回路３９と、フレームバッファ回路３９に記憶されている２値化画像を順次読み出しながらフレーム間差分処理を行い、差分画像を生成するフレーム間差分処理回路４０と、フレーム間差分処理回路４０からフレーム単位で出力される各差分画像を各分割エリア毎に積算して、ヒストグラムを生成するヒストグラム処理回路４１と、ヒストグラム処理回路４１から出力されるヒストグラムに対し統計処理を行うと共に、統計処理結果を用いて仮想カーソル活動領域判定処理、仮想ボタンクリック活動領域判定処理、多段階矩形オブジェクト抽出処理などを行って、影などの影響を取り除いた右眼側の仮想カーソル活動領域画像、右眼側の仮想ボタンクリック活動領域画像を生成する活動矩形領域抽出処理回路４２とを備えている。
【０１５３】
さらに、活動矩形領域抽出処理回路４２は、ヒストグラム処理回路４１にて生成した多段階の差分画像データの最新の差分画像データから抽出した活動矩形領域と、前記仮想ボタンクリック活動領域画像とを比較し、抽出した活動矩形領域が仮想ボタンクリック活動領域の範囲を超えている場合は、これら抽出活動矩形領域を無効判定する処理を行うことにより、操作者が入力操作に意図していない動きをノイズとして無視することができる。
【０１５４】
そして、右眼用ビデオカメラ本体３０から出力されるカラービデオ信号に対し、グレー化処理、画面分割／２値化処理、色フィルタリング処理、フレームバッファ処理、フレーム間差分処理、ヒストグラム処理、活動矩形領域抽出処理を順次施して、右眼側の仮想カーソル活動領域画像、右眼側の仮想ボタンクリック活動領域画像を生成し、共通処理基板３４に供給する。
【０１５５】
また、左眼用ビデオカメラ本体３２は、３２０画素×２４０画素程度の解像度を持つカラーカメラによって構成されており、左眼側画像処理基板３３から電源電圧、クロック信号などが出されているとき操作者を撮影し、これによって得られたカラービデオ信号を左眼側画像処理基板３３に供給する。
【０１５６】
左眼側画像処理基板３３は、左眼用ビデオカメラ本体３２から出力されるカラービデオ信号をＲＧＢ形式のカラー画像に変換した後、ＨＳＶ（色相・彩度・明度）方式で、予め設定されている特定色（例えば、肌色）のカラー画像を抽出するのに必要なカラーマスクを使用して、カラー画像中の肌色画像を抽出する肌色画像抽出回路４３と、左眼用ビデオカメラ本体３２から出力されるカラービデオ信号をＲＧＢ形式のカラー画像に変換した後、予め設定されている階調のモノクロ画像に変換するグレー化処理回路４４と、グレー化処理回路４４から出力されるモノクロ画像を予め設定されている画面分割数で分割する（但し、画面分割設定されていないとき、この画面分割処理はスキップされる）と共に、最大尤度しきい値法で２値化して、２値化画像にする画像分割／２値化処理回路４５と、画像分割／２値化処理回路４５から出力される２値化画像と肌色画像抽出回路４３から出力される肌色画像との論理和を取り、２値化画像中の肌色部分を抽出する色フィルタリング処理回路４６とを備えている。
【０１５７】
さらに、左眼側画像処理基板３３は、色フィルタリング処理回路４６から出力される２値化画像を数フレーム分〜数十フレーム分、一時記憶するフレームバッファ回路４７と、フレームバッファ回路４７に記憶されている２値化画像を順次読み出しながらフレーム間差分処理を行い、差分画像を生成するフレーム間差分処理回路４８と、フレーム間差分処理回路４８からフレーム単位で出力される各差分画像を各分割エリア毎に積算して、ヒストグラムを生成するヒストグラム処理回路４９と、ヒストグラム処理回路４９から出力されるヒストグラムに対し統計処理を行うと共に、統計処理結果を用いて仮想カーソル活動領域判定処理、仮想ボタンクリック活動領域判定処理、多段階矩形オブジェクト抽出処理などを行って、影などの影響を取り除いた左眼側の仮想カーソル活動領域画像、左眼側の仮想ボタンクリック活動領域画像を生成する活動矩形領域抽出処理回路５０とを備えている。
【０１５８】
さらに、活動矩形領域抽出処理回路５０は、ヒストグラム処理回路４９にて生成した多段階の差分画像データの最新の差分画像データから抽出した活動矩形領域と、前記仮想ボタンクリック活動領域画像とを比較し、前述した図３８に示すように、抽出した活動矩形領域が仮想ボタンクリック活動領域の範囲を超えている場合は、これら抽出活動矩形領域を無効判定する処理を行うことにより、操作者が入力操作に意図していない動きをノイズとして無視することができる。
【０１５９】
そして、左眼用ビデオカメラ本体３２から出力されるカラービデオ信号に対し、グレー化処理、画面分割／２値化処理、色フィルタリング処理、フレームバッファ処理、フレーム間差分処理、ヒストグラム処理、活動矩形領域抽出処理を順次施して、左眼側の仮想カーソル活動領域画像、左眼側の仮想ボタンクリック活動領域画像を生成し、共通処理基板３４に供給する。
【０１６０】
共通処理基板３４は、両眼視差法による位置補正に必要な右眼用ウェブカメラ３０、左眼用ウェブカメラ３２の取り付け位置データ（水平距離“Ｂ”、上下距離など）、右眼用ウェブカメラ３０、左眼用ウェブカメラ３２の焦点距離“ｆ”などの撮影条件情報が設定される撮影条件設定回路５１と、右眼側画像処理基板３１から出力される右眼側の仮想カーソル活動領域画像、右眼側の仮想ボタンクリック活動領域画像、左眼側画像処理基板３３から出力される左眼側の仮想カーソル活動領域画像、左眼側の仮想ボタンクリック活動領域画像に活動矩形領域が含まれるとき、撮影条件設定回路５１に設定されている撮影条件情報を用いて両眼視差法で各活動矩形領域の位置を補正する処理、大きさ順に各活動矩形領域に番号を付加する処理、同じ番号が付加された各活動矩形領域の中心座標間の距離（中心座標距離）を演算する処理、所定値以下になっている各中心座標距離に対応する活動矩形領域を選択する処理、選択した活動矩形領域のみを含み、選択していない活動矩形領域を含まない左眼側の仮想カーソル活動領域画像、左眼側の仮想ボタンクリック活動領域画像を作成する処理などを行って、右眼側の仮想カーソル活動領域画像、右眼側の仮想ボタンクリック活動領域画像、左眼側の仮想カーソル活動領域画像、左眼側の仮想ボタンクリック活動領域画像に含まれる操作者の手前にいる人、及び背後にいる人の動きなどの影響を取り除いた後、左眼側の仮想カーソル活動領域画像、左眼側の仮想ボタンクリック活動領域画像を数画像分〜数十画像分保持する活動矩形領域選択処理回路５２とを備えている。
【０１６１】
さらに、活動矩形領域選択処理回路５２は、ウェブカメラ３０、３２の視野角を定数として右眼活動矩形領域と左眼活動矩形領域の中心点間の横方向での中心座標距離に応じて、カラーカメラから被写体までの距離を補正することでより正確に操作者の手前にいる人、及び背後にいる人の動きなどの影響を取り除くことができる。この補正の原理及び補正の演算式については、前述した図３９及び［数５］の式の通りである。活動矩形領域選択処理回路５２は、中心座標距離に応じて予め演算した被写体までの距離をテーブルデータで保持しておくことで高速処理を実現できる。
【０１６２】
斯かる活動矩形領域選択処理回路５２の処理動作において、同じ番号が付加された各活動矩形領域の中心座標間の距離（中心座標距離）を演算する処理は、図１の距離測定手段Ｃの作用に相当する。すなわち、ウェブカメラ３０、３２の間隔と焦点距離ｆを予め設定すると、被写体までの距離は｜ＸＬ−ＸＲ｜と相関関係にあるために、中心座標距離の演算は被写体までの距離を測定していることになる。
【０１６３】
また、活動矩形領域選択処理回路５２が操作者の手前にいる人、及び背後にいる人の動きなどの影響を取り除く処理は、図１の被写体判別手段Ｄの作用に相当する。すなわち、中心座標距離の演算処理にて測定した被写体までの距離と予め設定してある奥行き距離とを比較して、許容範囲内で一致しない場合にその活動矩形領域を無効とすることで、予め設定してある奥行き距離に仮想タッチスクリーンが形成されて、操作者による仮想タッチスクリーン上での手に対応する活動矩形領域のみを選択する。
【０１６４】
さらに、共通処理基板３４は、活動矩形領域選択処理回路５２に保持されている左眼側の各仮想カーソル活動領域画像のうち、最新の仮想カーソル活動領域画像に活動矩形領域群が存在するとき、活動矩形領域群の数、形状、移動有無、移動方向などに基づき、仮想カーソル位置指示、仮想カーソル形状指示、仮想カーソル色指示、操作対象画面スクロール指示、操作対象画面拡大指示、操作対象画面縮小指示、操作対象画面回転指示などのポインティングデータを生成すると共に、仮想カーソルがクリック可能な状態になっているとき、活動矩形領域選択処理回路５２に保持されている各仮想ボタンクリック活動領域画像のうち、最新の仮想ボタンクリック活動領域画像に活動矩形領域群が存在しているかどうかをチェックし、活動矩形領域群が存在しているとき、活動矩形領域群の形状などに基づきシングルクリック指示、ダブルクリック指示などのポインティングデータを生成する仮想カーソル制御処理／画面制御処理回路５３を備えている。仮想カーソル制御処理／画面制御処理回路５３のポインティングデータを生成する処理は、図１の操作指示生成手段Ｅの作用に相当する。
【０１６５】
そして、右眼側画像処理基板３１から出力される右眼側の仮想カーソル活動領域画像、右眼側の仮想ボタンクリック活動領域画像、左眼側画像処理基板３２から出力される左眼側の仮想カーソル活動領域画像、左眼側の仮想ボタンクリック活動領域画像に活動矩形領域が含まれるとき、操作者の前にいる人の動き、操作者の背後にいる人の動きなどに起因するノイズを取り除きながら操作者の各手がどのように動いているかを判定し、この判定結果に応じて仮想カーソル位置指示、仮想カーソル形状指示、仮想カーソル色指示、操作対象画面スクロール指示、操作対象画面拡大指示、操作対象画面縮小指示、操作対象画面回転指示などのポインティングデータを生成し、遠隔操作対象機器となっているパソコン、テレビ、エアコン、大画面スクリーン装置などに供給する。
【０１６６】
このように、この第２の実施形態では、右眼用ビデオカメラ本体３０、左眼用ビデオカメラ本体３２によって操作者を撮影して得られた低解像度のカラー画像に対し、色フィルタリング処理、グレー化処理、画像分割／２値化処理、フレームバッファ処理、フレーム間差分処理、ヒストグラム処理、活動矩形領域抽出処理、活動矩形領域選択処理、仮想カーソル制御処理／画面制御処理などを行い操作者の手の動きを検知し、仮想カーソル位置指示、仮想カーソル形状指示、仮想カーソル色指示、操作対象画面スクロール指示、操作対象画面拡大指示、操作対象画面縮小指示、操作対象画面回転指示などのポインティングデータを生成し、遠隔操作対象機器に供給するようにしているので、遠隔操作対象機器側の仮想カーソルサイズ、仮想カーソル位置、仮想カーソル色、クリック、操作対象画面の上下スクロール、左右スクロール、拡大、縮小、回転などを遠隔操作することができる。
【０１６７】
さらに、この第２の実施形態では、右眼用ビデオカメラ本体３０、左眼用ビデオカメラ本体３２によって操作者を撮影して得られた低解像度のカラー画像に対し、グレー化処理、画像分割／２値化処理、色フィルタリング処理、フレームバッファ処理、フレーム間差分処理、ヒストグラム処理、活動矩形領域抽出処理、活動矩形領域選択処理、仮想カーソル制御処理／画面制御処理など、少ない段数の画像処理を施してポインティングデータを生成するようにしているので、肌色画像抽出理回路３５、４３、グレー化処理回路３６、４４、画像分割／２値化処理回路３７、４５、色フィルタリング処理回路３８、４６、フレームバッファ処理回路３６、４７、フレーム間差分処理回路４０、４８、ヒストグラム処理回路４１、４９、活動矩形領域抽出処理回路４２、５０、活動矩形領域選択回路５２、仮想カーソル制御処理／画面制御処理回路５３として、処理速度があまり速くない素子の使用を可能にして装置全体のコストを低く抑えながら、ほぼリアルタイムで操作者の動きを検知し、遠隔操作対象機器を制御することができる。
【０１６８】
また、この第２の実施形態では、右眼用ビデオカメラ本体３０、左眼用ビデオカメラ本体３２によって操作者を撮影して得られた右眼側の各活動矩形領域と、左眼側の各活動矩形領域とに対し、両眼視差法で中心座標位置を補正した後、大きさ順に番号を付けて中心座標位置を比較し、この比較結果に基づきピント位置に対応する右眼側の各活動矩形領域と、左眼側の各活動矩形領域とを選択するようにしているので、右眼用ビデオカメラ本体３０、左眼用ビデオカメラ本体３２のピント位置にある操作者の手以外のもの、例えば操作者の後ろに人がいて動いていても、これに影響されることなく操作者の手の動きのみを抽出して、仮想カーソルのサイズ制御、位置制御、色制御、クリック制御、操作対象画面の拡大制御、縮小制御、回転制御、上下スクロール制御、左右スクロール制御などを行うことができる）。
【０１６９】
そして、この第２の実施形態においても、上述した第１の実施形態と同様に、操作者が片手だけを動かしているとき、仮想カーソル制御指示、クリック制御指示、スクロール制御指示の何れかであると判定し、仮想カーソルサイズ指示、仮想カーソル位置指示、仮想カーソル色指示、スクロール制御指示、クリック指示などを示すポインティングデータを生成するようにしているので、片手だけで遠隔操作対象機器側のディスプレイに表示されている仮想カーソルのサイズ、位置、色、クリック動作、操作対象画面のスクロールなどを遠隔操作することができる。
【０１７０】
また、この第２の実施形態においても、上述した第１の実施形態と同様に、操作者が両手を動かしているとき、右手の動き、左手の動きを各々検出して操作対象画面の制御指示であると判定し、操作対象画面拡大指示、操作対象画面縮小指示、操作対象画面回転指示などを示すポインティングデータを生成するようにしているので、操作者が右手、左手を動かすだけで遠隔操作対象機器側のディスプレイに表示されている操作対象画面を拡大、縮小、回転させることができる。
【０１７１】
また、本発明の第２の実施形態では、活動矩形領域抽出処理回路４２、５０においてヒストグラムを統計処理すると共に、統計処理結果を使用してヒストグラムから右眼側の仮想カーソル活動領域画像、右眼側の仮想ボタンクリック活動領域画像、左側の仮想カーソル活動領域画像、左側の仮想ボタンクリック活動領域画像を作成するようにしているので、操作者の手など動いている部分を正確に検知することができ、安定した仮想カーソル制御、クリック制御、操作対象画面制御を行うことができる。
【０１７２】
また、本発明の第２の実施形態では、活動矩形領域抽出処理回路４２、５０において、右眼側の仮想カーソル活動領域画像、右眼側の仮想ボタンクリック活動領域画像、左側の仮想カーソル活動領域画像、左側の仮想ボタンクリック活動領域画像に対し、多段階矩形オブジェクト抽出処理を行うようにしているので、操作者の影などに起因する誤動作を防止し、安定した仮想カーソル制御、クリック制御、操作対象画面制御を行うことができる。
【実施例３】
【０１７３】
上述した各実施形態では、各ウェブカメラ４，６、右眼用ビデオカメラ本体３０、左眼用ビデオカメラ本体３２で得られたカラー画像の全領域をグレー化し、２値化するようにしているが、図４１のフローチャート、図４２の模式図に示すようにヒストグラムを統計処理、活動矩形領域抽出処理で得られた変化領域矩形（活動矩形領域を含む矩形）６５に対し、指定された拡大縮小率（例えば拡大率“１０％”）で拡大／縮小した拡大／縮小矩形マスク６６を作成すると共に（ステップＳ７１）、次フレームのカラー画像全領域をグレー化して得られたモノクロ画像の中から拡大／縮小矩形マスク６６に対応する部分（モノクロ画像に含まれる活動領域部分の画像６７）だけを抽出して、２値化処理するようにしても良い（ステップＳ７２）。
【０１７４】
このようにすれば、モノクロ画像などの中から活動領域より少し広い範囲に含まれる画像のみを有効にし、それ以外の領域にある画像を無効にして、変化領域以外の部分に存在するノイズを除去することができる。
【０１７５】
また、上述した第１の実施形態、及び第２の実施形態では、ＣＰＵ９による色フィルタリング処理、又は色フィルタリング処理回路３８、４６によって、肌色のカラー画像を抽出するようにしているが、操作者が特定色の操作器、例えば赤ペンなどを使用して仮想カーソルの位置、クリック、操作対象画面のスクロール、操作対象画面の拡大、操作対象画面の縮小、操作対象画面の回転などを制御する場合には、赤色抽出用のカラーマスクを使用し、ＣＰＵ９による色フィルタリング処理、又は色フィルタリング処理回路３８、４６によって赤色のカラー画像を抽出するようにしても良い。
【０１７６】
これにより、各ウェブカメラ４，６、右眼用ビデオカメラ本体３０、左眼用ビデオカメラ本体３２の撮影範囲に複数の人がいても、操作者が持つ操作器の色に対応するカラー画像を抽出して仮想カーソルのサイズ制御、位置制御、クリック制御、操作対象画面のスクロール制御、拡大制御、縮小制御、回転制御などを行うことができる。
【０１７７】
また、このような色フィルタリング処理は、各ウェブカメラ４，６、右眼用ビデオカメラ本体３０、左眼用ビデオカメラ本体３２から出力されるカラービデオ信号に含まれる操作者の手など、動いている画像を抽出するために行っている処理であることから、操作者が居る場所の照明条件が良好で、操作者の手などが動いている画像と背景画像とのコントラストが大きいとき、色フィルタリング処理を省略するようにしても良い。
【実施例４】
【０１７８】
本発明の入力装置に係るタッチレスインタフェース操作の好適な実施例を示す。タッチレスインタフェースは、実施例１でも説明したように、ＣＰＵ９が図７のフローチャートにおけるステップＳ１８の仮想カーソル制御処理／画面制御処理において実行される。すなわち、ウェブカメラ４，６からの画像を処理して活動領域群の形状から操作者の動作を検出して、その動きに応じた操作者からの指示を認識するのであるが、以下、具体的な操作指示方法について説明する。
【０１７９】
（仮想カーソルの表示操作）
操作者が図４３に示すように、人指し指のみ又は人指し指と中指の両方を上下に動かす動作（タッピング動作）を行うと、ＣＰＵ９は、前記したステップＳ６４（図１５）の処理にて活動領域群の形状からこの動作を検出しカーソル表示制御を開始する。
【０１８０】
ＣＰＵ９は、先ず画面上に仮想カーソル表示開始の応答表示（フィードバック）を行なうようディスプレイ部３を制御する。このフィードバックは、例えば図４４の（ａ）部と（ｂ）部で示すように、グレー色のサークルを小から大へと波紋が広がるよう画面上に順次表示するものである。
【０１８１】
フィードバック表示の後、ＣＰＵ９は、図４４の（ｃ）部で示すように仮想カーソル２５Ａをグレー色の第１の状態で表示するようディスプレイ部３を制御する。
【０１８２】
（仮想カーソルのロック操作）
そして、このグレー色での仮想カーソル２５Ａの表示中に、操作者がタッピング動作を停止又はその動作を小さくするのをＣＰＵ９が検出すると、ＣＰＵ９は、仮想カーソル２５Ａを赤色の第２の状態での表示に切り換えて実カーソル２８Ａを表示するようディスプレイ部３を制御する（図４５）。
【０１８３】
本実施例では、カーソル表示は操作者によるタッピング動作に応答して行うが、実施例１では指先の旋回により行っている。また、ウェブカメラ４，６に遠い位置に手又は指先による操作が有効となる空間を設定している場合は、指先のタッピング動作より図４６に示すような掌を正面に向けて横に振る動き（バイバイのように）、または掌を手招きのように縦に振る動作が認識する上で好ましい。
【０１８４】
（実カーソルの移動操作）
ＣＰＵ９は、図４５で示すように仮想カーソル２５Ａが赤色の第２の状態にて表示されているときに、操作者が上下左右の目的の位置で上記のタッピング動作を行うのを検出するとカーソル移動制御を行う。このときＣＰＵ９は、第１の信号を生成して、ディスプレイ部３が仮想カーソル２５Ａをその位置まで移動して表示するよう制御する。仮想カーソル２５Ａが赤色の第２の状態で表示していることで、操作者は仮想カーソル２５Ａが移動可能であることを認識できる。
【０１８５】
このように、ディスプレイ部３の任意の座標位置をタッピング動作にてポインティングすることでその座標位置までカーソルを移動させることができる。
【０１８６】
（クリック操作及びダブルクリック操作）
ＣＰＵ９は、仮想カーソル２５Ａがグレー色の第１の状態で表示されているときに、操作者が、図４７に示すように人指し指だけを立てている状態（図４７の（ａ）部）から全ての指を立てて掌を広げる状態（図４７の（ｂ）部）に変化させる第２の形態の動き、或いは図４８に示すように人指し指だけを立てている状態（図４８の（ａ）部）から掌を広げた状態（図４８の（ｂ）部）、そして再び人指し指だけを立てる状態（図４８の（ｃ）部）へと変化させる第３の形態の動きを行うのを検出するとクリック制御を行う。
【０１８７】
このときＣＰＵ９は、第２の形態の動作を検出したときはシングルクリック操作と認識して第２の信号を生成し、第３の形態の動作を検出したときはダブルクリック操作と認識して第３の信号を生成する。ＣＰＵ９が第２の信号や第３の信号を生成することで、シングルクリック又はダブルクリックを認識したことを仮想カーソル２５Ａの色や形状、および音にて操作者に知らせることができる。そして、ディスプレイ部３の画面上のリンクやアプリケーションの選択ボタン上に実カーソル２８Ａを重ねた状態で第３の信号が発生すると、リンク先へのジャンプやアプリケーションの実行が開始される。実施例１の場合、シングルクリック及びダブルクリックは、操作者が一本の指での指差し状態から掌を広げ、そして指差し状態に戻す動作を行うことで認識している。
【０１８８】
以上、カーソルの表示と移動、及びクリック操作に関して、別の例として、カメラ４，６に掌または所定の認識オブジェクトを向ける動きで仮想カーソルを表示して、その掌が移動するのに応じて仮想カーソルを移動させ、目的の位置で掌の移動の停止にて仮想カーソルをロックして、次に掌を左右に振ることでクリックする操作方法もある。
【０１８９】
（フリップ操作）
ＣＰＵ９は、仮想カーソル２５Ａが赤色の第２の状態にて表示されている図４９の（ａ）部で示す状態のときに、操作者が、図４９の（ｂ）部から（ｃ）部で示すように、掌を本のページを捲るように右または左に振る第４の形態の動きを行うのを検出すると画面スクロール制御を行う。このときＣＰＵ９は第４の信号を生成して、ディスプレイ部３の画面表示のスクロール動作を制御する。図４９で（ｂ）部から（ｃ）部への動作は右方向へのフリップ操作であり、画面は左から右へとスクロールされる。
【０１９０】
操作者は、フリップ操作前に、仮想カーソル２５Ａがグレー色の第１の状態で表示しているときは、図４９の（ａ）部で示すようにタッピング動作を行い、仮想カーソル２５Ａが赤色の第２の状態にて表示されてからフリップ操作を行うことでスクロールが行われる。
【０１９１】
（ドラッグアンドドロップ操作）
ＣＰＵ９は、操作者がディスプレイ部３の画面上における目的のオブジェクトまたは画面位置で指先によるタッピング動作を検出すると、ドラッグアンドドロップ制御を行う。このときＣＰＵ９は、仮想カーソル２５Ａがその場所で赤色の第２の状態で表示し（図５０の（ａ）部）、続いて、掌を画面に向けて左右に振る第５の形態の動き（図５０の（ｂ）部）を検出するとドラッグ操作を認識する。ＣＰＵ９は、更に掌を画面に向けた状態で目的の位置まで移動するのを検出すると第５の信号を生成し、アイコン７０を表示して掌の移動に追随して表示するようディスプレイ部３を制御する（図５０の（ｃ）部）。そして、ＣＰＵ９は、操作者が指にてタップするか（図５０の（ｄ）部）、または移動を止めて数秒待ってから手を離す第６の形態の動きを検出すると、第６の信号を生成してオブジェクトのドロップを表示するようディスプレイ部３を制御する。
【０１９２】
このように、ドラッグアンドドロップ操作は、オブジェクト上でタッピング動作することでオブジェクトをクリックし、次に掌を左右に振ることでオブジェクトを捕え、捕えたことをアイコン７０の表示にて認識すると、掌を目的の位置まで移動させ、そして指によるタッピング動作を行うことで実行される。
【０１９３】
以上は操作者が片腕の手若しくは指の動きにより行う操作指示であるが、両腕による手若しくは指の動きにより行う操作指示について説明する。
【０１９４】
（画面拡大／縮小操作）
ＣＰＵ９は、ステップＳ６５（図１５）において、活動領域群の形状から操作者が両手若しくは両手の指にて２点で同時にタッピング動作するのを検出すると、２点カーソル７１を表示（図５１の（ａ）部）するようディスプレイ部３を制御する。そして、ＣＰＵ９は、操作者がタッピング動作を行う両手若しくは両手の指の間隔が拡大又は縮小するのを検出すると画面拡大・縮小制御を行う。
【０１９５】
このときＣＰＵ９は、操作者がタッピング動作を行う両手若しくは両手の指の間隔が拡大又は縮小されるのに応じて、２点カーソル７１の間隔を拡大（図５１の（ｂ）部）又は縮小（図５１の（ｃ）部）して表示するようディスプレイ部３を制御する。そして、ＣＰＵ９は、２点でのタッピング動作が停止されたとき第７の信号を生成し、２点カーソル７１の間隔に応じて画面の拡大表示又は縮小表示を行うようディスプレイ部３を制御する。
【０１９６】
（画面回転操作）
一方、ＣＰＵ９は、操作者の両手若しくは両手の指による２点での同時のタッピング動作を検出して２点カーソル７１を表示（図５２の（ａ）部）しているとき、タッピング動作を行う両手若しくは両手の指の相対位置が上下に変化するのを検出すると画面回転制御を行う。
【０１９７】
このとき、ＣＰＵ９は、操作者がタッピング動作を行う両手若しくは両手の指の上下の相対位置関係に応じて２点カーソル７１を上下に幅を持たせて表示するようディスプレイ部３を制御する。そして、ＣＰＵ９は、２点でのタッピング動作が停止されたとき第８の信号を生成し、２点カーソル７１の上下の位置関係に応じて画面の表示を右回転又は左回転させて表示するようディスプレイ部３を制御する。すなわち、左カーソルが右カーソルより高い位置（図５２の（ｂ）部）にあるときは右回転させ、その逆（図５２の（ｃ）部）のときは左回転させる。
【０１９８】
本実施例では両手でのタッピング動作により画面拡大・縮小指示や画面回転指示を行うが、実施例１の画面拡大・縮小指示や画面回転指示の場合と比べて、タッピング動作を取り入れることで操作に対する認識率がより高まる。
【０１９９】
上記した如く、操作者が手又は指の動きにて操作指示を与える場合に、操作者に画面上の位置を知らせることが操作性の向上につながる。そのためには次の２つの方法がある。
【０２００】
１つは、ウェブカメラ４，６に映った操作者自身をディスプレイ部３の画面上に透過表示するもので、ＣＰＵ９はビデオキャプチャ５を制御して取り込んだ操作者の映像信号を表示Ｉ／Ｆ１１を通してディスプレイ部３に出力して表示する。
【０２０１】
これにより、操作者は直感的に画面位置をポインティングすることができる。また、操作者の動きに合わせて、操作者自身を画面上に透過表示したり、しなかったりすることで、透過表示に邪魔されずに画面上のコンテンツを操作者が見ることができる。例えば、ＣＰＵ９はステップＳ６３の処理において、操作者による操作が停止して活動領域群が無いことを検出すると透過表示を行わず、一方操作が行われていて活動領域群の有りを検出したときは、透過表示を行うようディスプレイ部３への映像信号の出力を制御する。
【０２０２】
もう１つは、操作者の手先の動きを検出し、それに応じたエフェクトをディスプレイ部３の画面上に透過表示するものである。ＣＰＵ９は、ステップＳ６４若しくはステップＳ６５の処理にて活動領域群の形状から操作者の手の動きを認識すると、その操作に応じたエフェクトを表示する。
【０２０３】
例えば、ＣＰＵ９は、図４９の（ｂ）部から（ｃ）部で示すような掌を右または左に振るフリップの動きを検出すると、予め画像格納エリア１６に格納しているフリップのエフェクト画像を表示Ｉ／Ｆ１１を通してディスプレイ部３に出力する。このようにエフェクトを表示することにより、操作者は現在ポインティングしている位置を知ることができる。
【０２０４】
こうした２通りの方法を同時に用いたり、或いは操作指示の動作の内容に応じて何れか一方を選択的に使い分けることで操作者にとって操作がしやすくなり、ユーザインタフェースの優れた入力装置が提供される。
【産業上の利用可能性】
【０２０５】
本発明は、情報端末装置やパーソナルコンピュータなどの情報機器に接続されて使用され、カメラによる操作者の動作画像から仮想タッチスクリーン上での動作を取り込み、その動きの形態から情報機器のカーソル操作やアプリケーションプログラムの選択及び実行などを制御する入力装置に関するものであり、産業上の利用可能性を有する。
【符号の説明】
【０２０６】
Ａ 右眼用撮像装置
Ｂ 左眼用撮像装置
Ｃ 距離測定手段
Ｄ 被写体判別手段
Ｅ 操作指示生成手段
１ａ、１ｂ 入力装置
２ パソコン
３ ディスプレイ部
４ ウェブカメラ（左眼用カラーカメラ）
５ ビデオキャプチャ
６ ウェブカメラ（右眼用カラーカメラ）
９ ＣＰＵ
２５、２５Ａ 仮想カーソル
２６ 活動矩形領域
２７ 仮想カーソル活動領域画像
２８、２８Ａ 実カーソル
３０ 右眼用ビデオカメラ本体（右眼用カラーカメラ本体）
３１ 右眼側画像処理基板
３２ 左眼用ビデオカメラ本体（左眼用カラーカメラ本体）
３３ 左眼側画像処理基板
３４ 共通処理基板
３５ 肌色画像抽出回路
３６ グレー化処理回路
３７ 画像分割／２値化処理回路
３８ 色フィルタリング処理回路
３９ フレームバッファ回路
４０ フレーム間差分処理回路
４１ ヒストグラム処理回路
４２ 活動矩形領域抽出処理回路
４３ 肌色画像抽出回路
４４ グレー化処理回路
４５ 画像分割／２値化処理回路
４６ 色フィルタリング処理回路
４７ フレームバッファ回路
４８ フレーム間差分処理回路
４９ ヒストグラム処理回路
５０ 活動矩形領域抽出処理回路
５１ 撮影条件設定回路
５２ 活動矩形領域選択処理回路
５３ 仮想カーソル制御処理／画面制御処理回路
６５ 変化領域矩形
６６ 拡大／縮小矩形マスク
６７ マスク後の画像
【技術分野】
【０００１】
本発明は、情報端末装置やパーソナルコンピュータなどの情報機器に接続されて使用され、カメラ等による撮像装置によって操作者の動作画像を取り込み、情報機器のカーソル操作やアプリケーションプログラムの選択及び実行などを制御する入力装置に関する。
【背景技術】
【０００２】
近年、カメラで操作者を撮影して画像解析し、この画像解析結果を使用してオーディオ装置、エアコンなどの機器を操作する入力装置が種々、提案されている。
【０００３】
例えば、カメラ等の撮像装置が撮影した画像から手領域を抽出すると共に、その手の形状がどのような形状（手を傾ける、指を曲げるなど）になっているかを判定し、この判定内容に対応する手操作指示を音声、又はプロジェクト画像などで操作者に知らせるものである。
【０００４】
ところで、カメラにより操作者の動作を捉える此の種の入力装置では、操作者とノイズとなる背景とを正確に識別しなければならない。そのため、余分な背景を画像に取り込まないような技術が従来から提案されている。
【０００５】
例えば、赤外光を照射し、これと同期した動作をするイメージセンサを用いて、物体反射光のみを画像として取り出す入力装置が知られている。反射光の強さは一般的に物体までの距離の２乗に反比例するために、距離のある背景の物体は反射光が届かないことから、近くの物体が遠くの背景から容易に区別することができることを利用して、関係ない動きなどによる誤動作を小さくしようとするものである（例えば、特許文献１を参照）。
【０００６】
また、赤外線カメラを用いて遠赤外線は撮像範囲の温度分布を撮像する装置を有する入力装置も知られている。この従来技術は、手を赤外線カメラの前にかざすと、手から放射されて赤外線カメラに入射する手の表面の温度に対応した遠赤外線は、手が近いほど赤外線カメラへの入射光量が増え、遠くなるほど入射光量が少なくなって、手と赤外線カメラとの距離の２乗に反比例することを利用して余分な背景を取り込まないようにするものである（例えば、特許文献２を参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００１−２１６０６９号公報
【特許文献２】特開２００５−５０１７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上記した従来技術においては、特殊なセンサやカメラを必要とし、しかも操作者と背景とが接近している場合には背景もノイズとして取り込むために、誤動作を引き起こす問題点がある。
【０００９】
よって本発明は、操作者とノイズとなる背景とを正確に識別して、カメラの撮影範囲内で操作者に近い位置にいる人が手を動かした場合でも、誤動作しない入力装置を提供することを目的としている。
【課題を解決するための手段】
【００１０】
上記課題を達成するため本発明は、撮像装置で得られた操作者の画像を処理して、操作者の動作内容に応じた操作指示を生成する入力装置であって、右眼用撮像装置と、前記右眼用撮像装置から所定の間隔を置いた位置に、前記右眼用撮像装置と並んで配置される左眼用撮像装置と、被写体に対する前記右眼用撮像装置と前記左眼用撮像装置の画像から両眼視差法により前記被写体までの距離を測定する距離測定手段と、前記右眼用撮像装置と前記左眼用撮像装置との間の前記間隔に基づいて両眼視差法により割り出して予め設定してある奥行き距離と前記距離測定手段が測定した前記被写体までの距離とを比較し、前記被写体までの距離と前記奥行き距離とが所定の許容範囲内で一致している前記被写体を選択して前記操作者と判別する被写体判別手段と、前記被写体判別手段が判別した前記被写体の動きを検出し、この検出結果に応じた操作指示を生成する操作指示生成手段と、を備えたことを特徴としている。
【００１１】
そして、前記操作指示の認識結果を表示するディスプレイ部を具備し、前記操作指示生成手段は、カーソルの表示待機中に前記操作者の手若しくは指による第１の形態の動きを検出すると前記ディスプレイ部に前記仮想カーソルを第１の状態で表示し、該第１の状態での表示中に前記手若しくは指による前記第１の動きが停止又は前記第１の動きが小さくなるのを検出すると前記仮想カーソルを第２の状態で表示すると共に、実カーソルを表示するカーソル表示制御手段を備えたことを特徴としている。
【００１２】
そして、前記操作指示生成手段は、前記仮想カーソルが前記第２の状態で表示されているときに、前記手若しくは指が前記第１の形態の動きをすると、その手若しくは指の位置に前記カーソルの移動を指示する第１の信号を生成するカーソル移動制御手段を備えたことを特徴としている。
【００１３】
そして、前記操作指示生成手段は、前記仮想カーソルが前記第１の状態で表示されているときに、前記手若しくは指による第２の形態の動きを検出するとクリック操作と認識する第２の信号を生成し、第２の形態の動きに続く第３の形態の動きを検出するとダブルクリック操作と認識する第３の信号を生成するクリック制御手段を備えたことを特徴としている。
【００１４】
そして、前記操作指示生成手段は、前記仮想カーソルが前記第１の状態で表示されているときに、前記手若しくは指による第４の形態の動きを検出すると、前記ディスプレイ部の画面スクロールを指示する第４の信号を生成する画面スクロール制御手段を備えたことを特徴としている。
【００１５】
そして、前記操作指示生成手段は、前記ディスプレイ部に表示されたオブジェクトに前記実カーソルが重ねられた状態で前記手若しくは指による第５の形態の動きを検出すると前記オブジェクトがドラッグの対象オブジェクトであることを認識し、認識後の前記手若しくは指による移動に追随した前記オブジェクトの移動を指示する第５の信号を生成し、続いて前記手若しくは指による前記第１形態での動きを検出すると前記オブジェクトのドロップを指示する第６の信号を生成するドラッグアンドドロップ制御手段を備えたことを特徴としている。
【００１６】
そして、前記操作指示生成手段は、２つの前記手若しくは指がそれぞれ前記第１の形態の動きを行うのを検出すると２点カーソルを表示し、前記第１の形態の動きを行う前記手若しくは指の間隔が拡大又は縮小されるのに応じて前記２点カーソルの間隔を拡大又は縮小表示し、前記第１の形態の動きの停止にて前記２点カーソルの間隔に応じて前記ディスプレイ部の拡大表示又は縮小表示を指示する第７の信号を生成する画面拡大・縮小制御手段を備えたことを特徴としている。
【００１７】
そして、前記操作指示生成手段は、２つの前記手若しくは指がそれぞれ前記第１の形態の動きを行うのを検出すると前記２点カーソルを表示すると共に、前記第１の形態の動きを行う前記手若しくは指の相対位置の上下の変化に応じて前記２点カーソルの相対位置を上下に変化させて表示し、前記第１の形態の動きの停止にて前記２点カーソルの上下の位置関係に応じて前記ディスプレイ部の表示の右回転又は左回転を指示する第８の信号を生成する画面回転制御手段を備えたことを特徴としている。
【００１８】
また、前記ディスプレイ部は、前記撮像装置による前記操作者の画像を透過表示することを特徴としている。更に、前記ディスプレイ部は、前記操作者が操作指示の動きをしているとき前記画像を透過表示することを特徴としている。
【００１９】
また、前記ディスプレイ部は、前記操作者が前記手若しくは指の動きにて行う操作指示のエフェクトを表示することを特徴としている。
【００２０】
本発明の入力装置は、ビデオカメラで得られた操作者の画像を処理して、操作者の動作内容に応じた操作指示を生成する入力装置であって、右眼用カラーカメラと、前記右眼用カラーカメラから所定距離だけ離れた位置に、前記右眼用カラーカメラと並んで配置される左眼用カラーカメラと、被写体を捉えた前記右眼用カラーカメラから出力されるカラー画像に対し、グレー化処理、画像分割／２値化処理、フレーム間差分処理、ヒストグラム処理、活動矩形領域抽出処理を行い、前記操作者の右眼側活動矩形領域を抽出する右眼側画像処理プログラムと、前記被写体を捉えた前記左眼用カラーカメラから出力されるカラー画像に対し、グレー化処理、画像分割／２値化処理、フレーム間差分処理、ヒストグラム処理、活動矩形領域抽出処理を行い、前記操作者の左眼側活動矩形領域を抽出する左眼側画像処理プログラムと、前記右眼側画像処理プログラムで得られた右眼側活動矩形領域の座標軸と前記左眼側画像処理プログラムで得られた左眼側活動矩形領域の座標軸との中心座標距離を演算することで両眼視差法による前記被写体までの距離を測定し、測定した前記被写体までの距離を前記右眼用撮像装置と前記左眼用撮像装置との間の前記間隔に基づいて両眼視差法により割り出して予め設定してある奥行き距離と比較し、前記被写体までの距離と前記奥行き距離とが所定の許容範囲内で一致している前記右眼活動矩形領域及び前記左眼活動矩形領域を前記操作者による活動矩形領域として選択する活動領域選択処理プログラムと、前記活動領域選択処理プログラムにて選択された活動矩形領域に対し、仮想カーソル制御処理／画面制御処理を行って、前記被写体の手、又は指先の動きを検出し、この検出結果に応じた操作指示を生成する画像処理プログラムと、を備えたことを特徴としている。
【００２１】
そして、前記仮想カーソル制御処理／画面制御処理は、仮想カーソル活動領域画像上に活動矩形領域群が１つあるとき、その形状、移動有無に基づき、カールソル制御指示、又は画面スクロール指示を生成することを特徴としている。一方、前記仮想カーソル制御処理／画面制御処理は、仮想カーソル活動領域画像上に活動矩形領域群が２つあるとき、その移動方向に基づき、画面回転指示、画面拡大指示、画面縮小指示の何れかを生成することを特徴としている。
【００２２】
そして、前記活動矩形領域抽出処理は、ヒストグラムの統計処理結果を使用して、前記ヒストグラムから仮想カーソル活動領域画像を作成することを特徴としている。また、前記活動矩形領域抽出処理は、前記仮想カーソル活動領域画像に対し、多段階矩形オブジェクト抽出処理を行い、ノイズ成分を除去することを特徴としている。
【００２３】
また、拡大／縮小矩形マスク作成処理を付加し、前記拡大／縮小矩形マスク作成処理によって、前記カラーカメラで得られたカラー画像の中から、前記仮想カーソル活動領域画像上の変化領域矩形に対応する画像を抽出し、それ以外の画像をカットして、ノイズ成分を除去することを特徴としている。
【００２４】
本発明の入力装置は、ビデオカメラで得られた操作者の画像を処理して、操作者の動作内容に応じた操作指示を生成し、遠隔操作対象機器の動作を制御する入力装置であって、箱形に形成される入力装置筐体と、この入力装置筐体の前面左側に取り付けられる右眼用カラーカメラ本体と、前記入力装置筐体の前面右側に取り付けられる左眼用カラーカメラ本体と、前記入力装置筐体内に配置され、グレー化処理回路、画像分割／２値化処理回路、フレーム間差分処理回路、ヒストグラム処理回路、活動矩形領域抽出処理回路によって、前記右眼用カラーカメラ本体から出力されるカラー画像を処理して、前記操作者の右眼側活動矩形領域を抽出する右眼側画像処理基板と、前記入力装置筐体内に配置され、グレー化処理回路、画像分割／２値化処理回路、フレーム間差分処理回路、ヒストグラム処理回路、活動矩形領域抽出処理回路によって、前記左眼用カラーカメラ本体から出力されるカラー画像を処理して、前記操作者の左眼側活動矩形領域を抽出する左眼側画像処理基板と、前記入力装置筐体内に配置され、活動矩形領域選択処理回路、仮想カーソル制御処理／画面制御処理回路によって、両眼視差法を使用して、前記右眼側画像処理プログラムで得られた右眼側活動矩形領域の座標軸と前記左眼側画像処理プログラムで得られた左眼側活動矩形領域の座標軸とから被写体までの距離を演算することで両眼視差法による前記被写体までの距離を測定し、前記被写体までの距離を前記右眼用撮像装置と前記左眼用撮像装置との間の前記間隔に基づいて両眼視差法により割り出して予め設定してある奥行き距離と比較し、前記被写体までの距離と前記奥行き距離とが所定の許容範囲内で一致している前記右眼活動矩形領域及び前記左眼活動矩形領域を前記操作者による活動矩形領域として選択し、選択した前記活動矩形領域に仮想カーソル制御処理／画面制御処理を行って、前記被写体の手、又は指先の動きを検出し、この検出結果に応じたポインティングデータを生成し、遠隔操作対象機器の動作を制御する共通処理基板と、を備えることを特徴としている。
【発明の効果】
【００２５】
本発明によると、操作者の動作を認知するカメラの視野内での空間の奥行きを狭く設定することで操作者と背景とを確実に識別するために、操作者以外の人の手の動きにて誤って入力されることがない。しかも、カメラ視野を設定することでかかる識別を行うために、特殊なセンサやカメラを用いずに通常のカメラにて精度の高い入力装置が提供される。
【図面の簡単な説明】
【００２６】
【図１】本発明による入力装置の第１の実施形態のブロック図を示す。
【図２】操作者とパソコンと撮像装置との位置関係の模式図を示す。
【図３】図１による入力装置の具体的な構成例のブロック図を示す。
【図４】カメラ視野からの仮想タッチスクリーン画面と、パソコンのディスプレイ部に対する操作者視野からの仮想タッチスクリーン画面とを説明する模式図を示す。
【図５】操作者視野からの仮想タッチスクリーンの平面モデルを初期設定するときの詳細な動作例を示すフローチャートを示す。
【図６】操作者視野からの仮想タッチスクリーンの平面モデルを初期設定する演算に用いるパラメータを説明する模式図を示す。
【図７】図３に示す入力装置の詳細な動作例のフローチャートを示す。
【図８】図７に示すグレー化／２値化画像処理の詳細な動作例のフローチャートを示す。
【図９】図７に示すフレーム間差分／ヒストグラム作成処理の詳細な動作例のフローチャートを示す。
【図１０】図７に示す活動矩形領域抽出処理の詳細な動作例のフローチャートを示す。
【図１１】図１０に示すフローチャートのステップ４１に代えて処理するステップ４１’を示している。
【図１２】図１０に示すフローチャートのステップ４３に代えて処理するステップ４３’を示している。
【図１３】図７に示す活動矩形領域選択処理の詳細な動作例のフローチャートを示す。
【図１４】図１３に示すフローチャートのステップ５７に代えて処理するステップ５７’を示している。
【図１５】図７に示す仮想カーソル制御処理、画面制御処理の詳細な動作例のフローチャートを示す。
【図１６】図３に示す入力装置で使用される元のヒストグラム例と、変化領域抽出後のヒストグラム例との模式図を示す。
【図１７】図３に示す入力装置で使用される変化領域抽出後のヒストグラム例と、仮想カーソル活動領域画像例との模式図を示す。
【図１８】図３に示す入力装置で使用される変化領域抽出後のヒストグラム例と、仮想カーソル活動領域画像例との模式図を示す。
【図１９】図３に示す入力装置において、活動矩形領域選択処理で選択された活動矩形領域群の一例の模式図を示す。
【図２０】図３に示す入力装置において、活動矩形領域選択処理で選択された活動矩形領域群の一例の模式図を示す。
【図２１】図３に示す入力装置で使用される多段階オブジェクト抽出処理の一例の模式図を示す。
【図２２】図３に示す入力装置で使用される多段階オブジェクト抽出処理の一例の模式図を示す。
【図２３】図３に示す入力装置で使用される両眼視差法の概要の模式図を示す。
【図２４】図３に示す入力装置において、両眼視差法による補正を行う前の右活動矩形領域、左活動矩形領域の関係の模式図を示す。
【図２５】図３に示す入力装置において、両眼視差法による補正を行った後の右活動矩形領域、左活動矩形領域の関係の模式図を示す。
【図２６】図３に示す入力装置において、両眼視差法による補正を行った後の右活動矩形領域、左活動矩形領域の実例の模式図を示す。
【図２７】図３に示す入力装置によって撮影される操作者の手の動きと、仮想カーソルとの関係例の模式図を示す。
【図２８】図３に示す入力装置によって撮影される操作者の手の動きと、仮想カーソルとの関係例の模式図を示す。
【図２９】図３に示す入力装置によって制御される実カーソルの微調整動作例の模式図を示す。
【図３０】図３に示す入力装置によって制御される仮想カーソルの色制御例の模式図を示す。
【図３１】図３に示す入力装置で使用される変化領域抽出後のヒストグラム例と、仮想カーソル活動領域画像例との模式図を示す。
【図３２】図３に示す入力装置によって撮影される操作者の手の動きと、クリック動作との関係例の模式図を示す。
【図３３】図３に示す入力装置によって得られる仮想カーソル活動領域画像上に２つの各活動矩形領域群があるときの一例の模式図を示す。
【図３４】図３に示す入力装置によって得られる仮想カーソル活動領域画像上にある各活動矩形領域群の位置関係例の模式図を示す。
【図３５】図３に示す入力装置によって得られる仮想カーソル活動領域画像上に２つの各活動矩形領域群があるときの一例の模式図を示す。
【図３６】図３に示す入力装置によって得られる仮想カーソル活動領域画像上にある各活動矩形領域群の位置関係例の模式図を示す。
【図３７】図３に示す入力装置において、抽出活動領域において操作者の意図しない動作により発生したものをノイズとして除去する動作を説明する模式図を示す。
【図３８】１台のカメラでのカメラ視野角と被写体の幅と被写体までの距離の関係を説明する模式図を示す。
【図３９】図１に示す入力装置の２台のカメラによる両眼視差法にて、カメラから被写体までの正確な距離の測定を説明する模式図を示す。
【図４０】本発明による入力装置の第２の実施形態のブロック図を示す。
【図４１】本発明による入力装置の他の実施形態のフローチャートを示す。
【図４２】図４１に示すフローチャートの動作例の模式図を示す。
【図４３】指先によるタッピング動作の説明図を示す。
【図４４】フィードバックから仮想カーソルの表示までの説明図を示す。
【図４５】仮想カーソルがロック状態となる状態の説明図を示す。
【図４６】仮想カーソルの表示を指示する掌の動きの説明図を示す。
【図４７】クリック操作の手の動きの説明図を示す。
【図４８】ダブルクリック操作の手の動きの説明図を示す。
【図４９】フリップ操作の手の動きの説明図を示す。
【図５０】ドラッグアンドドロップ操作の手の動きの説明図を示す。
【図５１】画面の拡大／縮小を指示する操作の手の動きの説明図を示す。
【図５２】画面の回転を指示する操作の手の動きの説明図を示す。
【発明を実施するための形態】
【実施例１】
【００２７】
図１は、本発明による入力装置１ａの第１の実施の形態を示すブロック図で、Ａは被写体を撮影するウェブカメラ或いはビデオカメラなどの可視光カメラによる右眼用撮像装置、Ｂはこの右眼用撮像装置Ａから所定の間隔を置いた位置に、右眼用撮像装置と並んで配置され、被写体を撮影するウェブカメラ或いはビデオカメラなどの可視光カメラによる左眼用撮像装置である。Ｃは右眼用撮像装置Ａ及び左眼用撮像装置Ｂから取り込んだ被写体の画像から両眼視差によりこの被写体までの距離を測定する距離測定手段、Ｄは右眼用撮像装置Ａ及び左眼用撮像装置Ｂとの間の間隔に基づいて予め設定してある両眼視差法による奥行き距離と距離測定手段Ｃが測定した被写体までの距離とを比較することで被写体が操作者であるかを判定する被写体判別手段である。そして、Ｅは被写体判別手段Ｄが被写体を操作者と判定したとき、被写体の手、又は指先の動きを検出し、この検出結果に応じた操作指示を生成する操作指示生成手段である。
【００２８】
本発明の入力装置１ａは、右眼用撮像装置Ａ及び左眼用撮像装置Ｂからの視野内での空間の奥行きを狭く設定するために、横方向に並べて配置した右眼用撮像装置Ａ及び左眼用撮像装置Ｂの間隔から両眼視差により割り出した被写体までの奥行き距離を予め検知領域に設定している。そして、右眼用撮像装置Ａ及び左眼用撮像装置Ｂが実際の被写体を捉えると、距離測定手段Ｃは撮像装置Ａ、Ｂから取り込んだ被写体の画像から両眼視差によりこの被写体までの距離を測定する。そして、被写体判別手段Ｄは、距離測定手段Ｃが測定した被写体めでの距離と予め設定している奥行き距離とを比較し、許容誤差範囲内で一致していればこの被写体は操作者であると判断し、操作指示生成手段Ｅは、操作者の手、又は指先の動きを検出し、この検出結果に応じたパソコン（図示せず）への操作指示を生成する。
【００２９】
このように本発明による入力装置１ａは、両眼視差法で得られた被写体までの距離を評価することで背景画像と区別して、操作者が撮像装置から一定の距離範囲で手や指先を動かしたかどうかを判別するものである。
【００３０】
被写体（操作者）とパソコンと撮像装置Ａ、Ｂとの位置関係を模式的に示す図２にて更に説明すると、図２の（ア）部は、各撮像装置Ａ、Ｂの設置位置から所定距離範囲、例えば“０．３ｍ”〜“０．８ｍ”の範囲内にいる操作者とそれ以外の距離にいる他の人を区別している。そして、図２の（イ）部及び（ウ）部で示すように、距離範囲ｄを小さくしていくと、操作者の手、指先などの動きを検知する領域が空間から平面へと近づく。そして、距離ｄを、右眼用撮像装置Ａ及び左眼用撮像装置Ｂの間隔から両眼視差法により割り出した被写体までの奥行き距離に略一致するまで小さく設定すると、図２の（ウ）部にて示されるような仮想タッチスクリーンＦが操作者と撮像装置Ａ、Ｂとの間に形成される。仮想タッチスクリーンＦは、撮像装置からの視野内の平面に操作者が指先を差し込むことでその座標を検出し、パソコン２のディスプレイ部にマッピングするのと同じような機能を達成する。
【００３１】
従って、奥行き距離を外れた空間で操作者が手、指先などを動かし、この画像が撮像装置Ａ、Ｂで撮像されても、仮想タッチスクリーンＦへの入力動作とは見做さず、被写体判別手段Ｄでは無視されるために操作判定手段Ｅでは入力動作として検出されることがない。このような仮想タッチスクリーンを備えた入力装置１ａは、仮想タッチスクリーンＦ上での以外の背景の動作は全て無効となるために、入力装置としての動作が確実となる。両眼視差法に依ると、横方向に並べた撮像装置Ａ、Ｂの間隔が凡そ５ｃｍで奥行き距離は１ｃｍとなる。
【００３２】
図３は図１による入力装置１ａの具体的な構成例をブロック図にて示している。この図に示す入力装置１ａは、パソコン２のディスプレイ部３に設けられる左眼用撮像装置である内蔵型のウェブカメラ４と、パソコン２内に設けられるビデオキャプチャ５と、パソコン２のディスプレイ部３に設けられる右眼用撮像装置である外付け型のウェブカメラ６と、パソコン２内に設けられるＵＳＢインタフェース７と、パソコン２内に設けられるハードディスク８と、パソコン２内に設けられるＣＰＵ９と、パソコン２内に設けられるメモリ１０とによって構成されている。入力装置１ａは、各ウェブカメラ４，６で得られたカラー画像について両眼視差法を用いて解析し、各ウェブカメラ４、６の設置位置からの距離に基づいて、操作者とそれ以外の距離にいる他の人とを区別しながら、操作者の手、指先などの動きのみを検出し、パソコン２のディスプレイ部３に表示された仮想カーソル２５〔図２７の（ｂ）参照〕、操作対象画面（ＯＳ画面、アプリケーション画面）などを制御し、現在、起動中のアプリケーションをコントロールする。
【００３３】
ウェブカメラ４は、３２０画素×２４０画素程度の解像度を持つカラーカメラであり、ビデオキャプチャ５から撮影指示が出されているとき、操作者を撮影して得られたカラービデオ信号をビデオキャプチャ５に供給する。
【００３４】
ビデオキャプチャ５は、システムバス１２を介して、ＣＰＵ９から撮影指示が出されているとき、ウェブカメラ４を制御して操作者を撮影すると共に、撮影動作で得られたカラービデオ信号を取り込み、ＲＧＢ信号形式のカラー画像に変換してＣＰＵ９に供給する。
【００３５】
また、ウェブカメラ６は、ウェブカメラ４から水平方向に所定距離だけ離れてディスプレイ部３の上縁などに取り付けられた、３２０画素×２４０画素程度の解像度を持つカラーカメラであり、ＵＳＢインタフェース７から撮影指示が出されているとき、操作者を撮影して得られたＹＵＶ信号をＵＳＢインタフェース７に供給する。
【００３６】
ＵＳＢインタフェース７は、システムバス１２を介して、ＣＰＵ９から撮影指示が出されているとき、ウェブカメラ６を制御して操作者の画像を撮影すると共に、撮影動作で得られたＹＵＶ信号を取り込んでＣＰＵ９に供給し、ＲＧＢ信号形式のカラー画像に変換する。
【００３７】
ハードディスク８は、ＯＳ（Operating System）、定数データなどが格納されるＯＳ格納エリア１３と、インターネットエクスプローラプログラム、ブラウザプログラムなどのアプリケーションプログラムが格納されるアプリケーション格納エリア１４と、本発明で使用する右眼側画像処理プログラム・左眼側画像処理プログラム・画像処理プログラムが格納される画像処理プログラム格納エリア１５と、ＨＳＶ（色相・彩度・明度）方式で、予め設定されている特定色（例えば、肌色）のカラー画像を抽出するのに必要なカラーマスク、２値化画像、ヒストグラム、仮想カーソル活動領域画像２７（図１７参照）、仮想ボタンクリック活動領域画像などが格納される画像格納エリア１６とを備えている。そして、ＣＰＵ９から読み出し指示が出力されたとき、システムバス１２を介してこれを取り込み、指定されたエリアに格納されているＯＳ、定数データ、アプリケーションプログラム、画像処理プログラム、２値化画像、ヒストグラム、仮想カーソル活動領域画像２７、仮想ボタンクリック活動領域画像などを読み出し、システムバス１２を介してＣＰＵ９に供給する。また、ＣＰＵ９から書き込み指示、データが出力されたとき、システムバス１２を介してこれらを取り込み、書き込み指示で指定されたエリア、例えば画像格納エリア１６などにデータを記憶させる。
【００３８】
ＣＰＵ９は、ハードディスク８に格納されているＯＳ、定数データ、アプリケーションプログラムなどで指定された表示データを生成してシステムバス１２に接続された表示インタフェース１１に供給し、ディスプレイ部３に操作対象画面を表示させる。また、右眼側画像処理プログラム、左眼側画像処理プログラム、画像処理プログラムなどで記述された画像処理を行い、操作対象画面に表示されている仮想カーソルのサイズ、位置などの制御、クリック制御、スクロール制御、画面回転制御、画面拡大制御、画面縮小制御などを行う。
【００３９】
メモリ１０は、数百メガバイト〜数ギガバイト程度の容量を持ち、ＣＰＵ９がアプリケーションプログラム、右眼側画像処理プログラム、左眼側画像処理プログラム、画像処理プログラムなどで指定された処理を行うときの一時データ格納エリアとして使用される。
【００４０】
本発明による入力装置１ａは操作者とウェブカメラ４，６との間に仮想タッチスクリーンを形成するものであるが、操作者はパソコン２のディスプレイ部３に向けて操作を行うために、操作者側から見ると操作者とディスプレイ部３との間に仮想タッチスクリーンが形成されていることになる。したがって、ウェブカメラ４，６の取り付け位置によっては、両方の仮想タッチスクリーンの位置が大きく異なるという問題がある。
【００４１】
例えば、ウェブカメラ４，６を天井から極端に下を向けた図４の（ａ）部で示すような場合などにおいては、カメラ視野からの仮想タッチスクリーン画面Ｓ１とディスプレイ部３に対する操作者視野からの仮想タッチスクリーン画面Ｓ２との座標軸が大きく異なるために、ウェブカメラ４，６からの画像を入力する入力装置１ａは操作者がディスプレイ部３に向けて行う動作を正確に捉えることができないことがある。
【００４２】
したがってウェブカメラ４，６の取り付け位置によっては、図４の（ｂ）部で示すように、両眼のウェブカメラ４，６により得られたカメラ視野からの仮想タッチスクリーン画面Ｓ１の平面座標Ｐｉｎ＝（ｘ,ｙ,ｄ）を、操作者視野からの仮想タッチスクリーン画面Ｓ２の平面座標Ｐｉｎ＝（Ｘ,Ｙ,Ｄ）へ変換するのが好ましい。以下、この変換方法について説明する。
【００４３】
カメラ視野からの仮想タッチスクリーン画面Ｓ１の平面座標Ｐｉｎ＝（ｘ,ｙ,ｄ）を、操作者視野からの仮想タッチスクリーン画面Ｓ２の平面座標Ｐｉｎ＝（Ｘ,Ｙ,Ｄ）に変換を行うには、入力装置１ａは操作者視野からの仮想タッチスクリーン画面Ｓ２の平面モデルを初期設定するための校正動作を行う必要がある。
【００４４】
《平面モデルの初期設定》
操作者がディスプレイ部３の前面に仮想タッチスクリーンがあると仮定して操作を行う平面モデルの初期設定について、図５のフローチャート及び図６の模式図に基づき説明する。
【００４５】
まず操作者は、視野上に見えるパソコン２のディスプレイ部３の画面上の左上、右上、左下の順番で３点Ｐ１，Ｐ２，Ｐ３をタップするが、ＣＰＵ９はこれによりウェブカメラ４，６視野からの仮想タッチスクリーン画面Ｓ１上でのＰ１＝（ｘ１,ｙ１,ｄ１）、Ｐ２＝（ｘ２,ｙ２,ｄ２）、Ｐ３＝（ｘ３,ｙ３,ｄ３）をそれぞれ測定する（ステップＳ１０１）。ここで、ｘ，ｙ，ｄは次の通り。
ｘ：ウェブカメラの画像上の横軸値
ｙ：ウェブカメラの画像上の縦軸値
ｄ：ウェブカメラからの距離
【００４６】
そして、ＣＰＵ９は、仮想タッチスクリーン画面Ｓ１平面の法線ベクトルｎを求める（ステップＳ１０２）。平面の法線ベクトルｎは、入力３点を含む平面に直交するので、同時に３点内の任意の２点を結ぶベクトルに直交する。よって法線ベクトルｎは、次式で求まる。最後にはノルムを１のベクトルに正規化する。
ｎ＝（Ｐ１−Ｐ２）×（Ｐ１−Ｐ３） （×は外積計算を示す）
【００４７】
次に、ＣＰＵ９は、仮想タッチスクリーン画面Ｓ１平面の位置ベクトルｐを求める（ステップＳ１０３）。平面の位置ベクトルｐは、平面上のどの点へのベクトルでも良いが、ここでは、仮想スクリーンの中心へのベクトルとなるように設定する。そのためには、入力点Ｐ1を平面の位置ベクトルと仮に定め、この位置ベクトルと、ウェブカメラ４，６から仮想タッチスクリーン画面Ｓ１平面に直行する直線に関するその位置ベクトルｐｌ＝（０，０，０）及び方向ベクトルｄ1＝（０，０，１）との交点ｃを求める。
【００４８】
交点ｃは、直線の位置ベクトルｐｌと方向ベクトルｄｌ、平面の位置ベクトルｐｐと法線ベクトルｎｐを用いて、以下の数式のように求められる。尚、式中の・は内積計算を表している。
【００４９】
【数１】
【００５０】
そして、ＣＰＵ９は、仮想タッチスクリーン画面Ｓ２のＸ、Ｙ軸の基底ベクトルを求める（ステップＳ１０４）。基底ベクトルは、新たな入力点を仮想タッチスクリーン画面Ｓ２に射影したときの座標Ｘ，Ｙ，Ｄを計算するときに用いるもので、Ｄの基底ベクトルは平面の法線ベクトルを使用するため、新たに作成するのはＸ，Ｙ軸のみである。
【００５１】
Ｘ軸の基底ベクトルｎｘは、平面の位置ベクトルｐからＸ軸（ｐｌ＝（０，０，０）、ｄｌ＝（１，０，０））と平面が交わる点へのベクトルを計算すればよい。Ｙ軸の基底ベクトルｎｙは、平面の位置ベクトルｐからＹ軸（ｐｌ＝（０，０，０）、ｄｌ＝（０，１，０））と平面が交わる点へのベクトルを計算すればよい。すなわち、それぞれ平面の位置ベクトルｐで減算し、ｐからの方向ベクトルとする。
【００５２】
そして、求めた基底ベクトルｎｘ、ｎｙを平面のパラメータに追加する。最後にｎｘとｎｙはノルム１に正規化する。
【００５３】
以上により、操作者がパソコン２に指示を与えるべく仮想タッチスクリーンに指先を差し込むと、ウェブカメラ４，６にて検出される仮想タッチスクリーン画面Ｓ１上の点Ｐｉｎ＝（ｘ，ｙ，ｄ）は、平面のパラメータの法線ベクトルｎ，位置ベクトルｐ，基底ベクトルｎｘ，基底ベクトルｎｙを用いてＣＰＵ９が次の計算を行うことで、仮想タッチスクリーン画面Ｓ２上の点Ｐｉｎ＝（Ｘ，Ｙ，Ｄ）に変換することができる。
Ｘ＝ｎｘ・（Ｐｉｎ−ｐ）
Ｙ＝ｎｙ・（Ｐｉｎ−ｐ）
Ｄ＝ｎ・（Ｐｉｎ−ｐ）
（・は内積計算を表す）
【００５４】
以上のような補正を行うことにより、カメラ視野からの仮想タッチスクリーンと操作者視野からの仮想タッチスクリーンとを一致させることができ、ウェブカメラ４，６の設置場所がより柔軟な入力装置が提供される。尚、操作者視野からの仮想タッチスクリーン上の座標でのタップに有効な矩形領域を予め保持しておき、その領域値に基づきＸ軸を０〜３２０、Ｙ軸を０〜２４０などに変換し、続く被写体判別後の処理が扱いやすい値に設定している。
【００５５】
次に、入力装置１ａへの入力動作について画像処理動作、カーソル制御動作、画面制御動作などを説明する。
【００５６】
《２値化画像生成、格納》
まず、パソコン２の電源が投入されて、アプリケーションプログラム、右眼側画像処理プログラム、左眼側画像処理プログラム、画像処理プログラムが起動されると、図７のフローチャートに示すようにＣＰＵ９によって、ビデオキャプチャ５が制御されて、ウェブカメラ４の撮影動作で得られたカラービデオ信号が取り込まれると共に、ＲＧＢ信号形式のカラー画像に変換されてメモリ１０などに一時記憶される（ステップＳ１）。
【００５７】
また、この動作と並行し、ＣＰＵ９によってＵＳＢインタフェース７が制御されて、ウェブカメラ６の撮影動作で得られたＹＵＶ信号が取り込まれると共に、ＲＧＢ信号形式のカラー画像に変換されてメモリ１０などに一時記憶される（ステップＳ２）。
【００５８】
また、これらの各動作と並行し、ＣＰＵ９によってメモリ１０などに一時記憶されている各カラー画像（各ウェブカメラ４，６の撮影動作で得られたカラー画像）のうち、パソコン２側から操作者を見たとき右眼に対応するウェブカメラ、例えば外付け型のウェブカメラ６で得られたカラー画像が読み取られる（ステップＳ３）。
【００５９】
この後、ＣＰＵ９によってグレー化／２値化画像処理が開始される（ステップＳ４）。即ち、図８のフローチャートに示すようにハードディスク８の画像格納エリア１６に格納されているカラーマスクで、外付け型のウェブカメラ６で得られたカラー画像がマスクされ、カラー画像の中から予め設定されている特定色（例えば、肌色）のカラー画像（肌色画像）が抽出されると共に（ステップＳ２１）、外付け型のウェブカメラ６で得られたカラー画像がグレー処理化されて、予め設定されている階調のモノクロ画像に変換され、１フレーム分の画像容量を低減させる（ステップＳ２２）。
【００６０】
そして、ＣＰＵ９によって画面分割指示が設定されているかどうかがチェックされ、画面分割指示があればモノクロ画像が複数のエリア（各エリアは各々、数個〜数十個の画素によって構成される）に分割され、また画面分割指示がなければ分割処理がスキップされた後、最大尤度しきい値法でモノクロ画像が２値化され、２値化画像が作成される（ステップＳ２３）。
【００６１】
次いで、ＣＰＵ９によって２値化画像と肌色画像との論理和が取られて、２値化画像中の肌色部分が抽出され（ステップＳ２４）、これが１フレーム分の２値化画像（右眼側の２値化画像）としてハードディスク８の画像格納エリア１６に格納される（ステップＳ２５）。
【００６２】
この後、ＣＰＵ９によって図７のフローチャートに示すようにメモリ１０などに一時記憶されている各カラー画像（各ウェブカメラ４，６の撮影動作で得られた各カラー画像）のうち、パソコン２側から操作者を見たとき左眼に対応するウェブカメラ、例えば内蔵型のウェブカメラ４で得られたカラー画像が読み取られる（ステップＳ５）。
【００６３】
次いで、ＣＰＵ９によってグレー化／２値化画像処理が開始される（ステップＳ６）。即ち、図８のフローチャートに示すようにハードディスク８の画像格納エリア１６に格納されているカラーマスクで内蔵型のウェブカメラ４で得られたカラー画像がマスクされ、カラー画像の中から予め設定されている特定色（例えば、肌色）のカラー画像（肌色画像）が抽出されると共に（ステップＳ２１）、内蔵型のウェブカメラ４で得られたカラー画像がグレー処理化されて、予め設定されている階調のモノクロ画像に変換され、１フレーム分の画像容量を低減させる（ステップＳ２２）。
【００６４】
そして、ＣＰＵ９によって画面分割指示が設定されているかどうかがチェックされ、画面分割指示があればモノクロ画像が複数のエリア（各エリアは各々、数個〜数十個の画素によって構成される）に分割され、また画面分割指示がなければ分割処理がスキップされた後、最大尤度しきい値法でモノクロ画像が２値化され、２値化画像が作成される（ステップＳ２３）。
【００６５】
次いで、ＣＰＵ９によって２値化画像と肌色画像との論理和が取られて、２値化画像中の肌色部分が抽出され（ステップＳ２４）、これが１フレーム分の２値化画像（左眼側の２値化画像）としてハードディスク８の画像格納エリア１６に格納される（ステップＳ２５）。
【００６６】
以下、上述した画像処理が繰り返され、ＦＩＦＯ（First・In・First・Out）形式でハードディスク８の画像格納エリア１６に右眼側の２値化画像、左眼側の２値化画像が各々数フレーム分〜数十フレーム分蓄積される。
【００６７】
《フレーム間差分、ヒストグラム作成》
また、この動作と並行し図７のフローチャートに示すように、ＣＰＵ９によってハードディスク１３の画像格納エリア１６に格納されている数フレーム分〜数十フレーム分の２値化画像の中から、右眼側に対応する最新の２値化画像を含む連続する数フレームの２値化画像が順次読み出される（ステップＳ７）。
【００６８】
そして、ＣＰＵ９によって読み出すことができた２値化画像のフレーム数がチェックされ、所定数以上のフレーム数であれば（ステップＳ８）、フレーム間差分／ヒストグラム作成処理が開始される（ステップＳ９）。即ち、図９のフローチャートに示すように、各２値化画像のうち、連続する２フレーム分の２値化画像に対しフレーム間差分処理が行われると共に（ステップＳ３１、Ｓ３２）、このフレーム間差分処理で得られた各差分画像が各分割エリア毎に累積加算されて右眼側のヒストグラムが作成され、ハードディスク８の画像格納エリア１６に格納される（ステップＳ３３、Ｓ３４）。
【００６９】
次いで、図７のフローチャートに示すように、ＣＰＵ９によってハードディスク１３の画像格納エリア１６に格納されている数フレーム分〜数十フレーム分の２値化画像の中から左眼側に対応する最新の２値化画像を含む、連続する数フレームの２値化画像が順次読み出される（ステップＳ１０）。
【００７０】
そして、ＣＰＵ９によって読み出すことができた２値化画像のフレーム数がチェックされ、所定数以上のフレーム数であれば（ステップＳ１１）、フレーム間差分／ヒストグラム作成処理が開始される（ステップＳ１２）。即ち、図９のフローチャートに示すように、各２値化画像のうち、連続する２フレーム分の２値化画像に対しフレーム間差分処理が行われると共に（ステップＳ３１、Ｓ３２）、このフレーム間差分処理で得られた各差分画像が各分割エリア毎に累積加算されて左眼側のヒストグラムが作成され、ハードディスク８の画像格納エリア１６に格納される（ステップＳ３３、Ｓ３４）。
【００７１】
《統計処理、仮想カーソルの活動領域決定、変化領域抽出》
この後、図７のフローチャートに示すように、ＣＰＵ９によってハードディスク８の画像格納エリア１６に格納されている右眼側のヒストグラムが読み出されて（ステップＳ１３）、活動矩形領域抽出処理が開始される（ステップＳ１４）。即ち、図１０のフローチャートに示すように、ヒストグラムの各分割エリアの濃度値に対する統計処理が行われ、平均値、濃度分散値、最大値、偏差（±１σ、±２σ）などが演算される（ステップＳ４１）。
【００７２】
次いで、ＣＰＵ９によってヒストグラムの各分割エリアの中から、変化領域矩形抽出用のしきい値（例えば、平均値−１σ）より大きい濃度値になっている各分割エリアが抽出され、これらの各分割エリア（活動分割エリア）を含むように矩形状の変化領域矩形（図１７、図１８参照）が決定されて、ハードディスク８の画像格納エリア１６に格納される。
【００７３】
また、この動作と並行し、ＣＰＵ９によって図１３の３次元濃度分布図に示すようにヒストグラムを構成している各分割エリア２０（図１７、図１８参照）のうち、仮想カーソル矩形抽出用のしきい値（例えば、最大値−１σ）より大きい濃度値になっている分割エリア（活動分割エリア２１）が抽出される。
【００７４】
これにより、操作者が指先を大きく回しているとき、図１７に示す通り各活動分割エリア２１を含むように矩形状の活動矩形領域２６が決定されると共に、この決定結果に基づき図１９に示すような右眼側の仮想カーソル活動領域画面２７が作成されて、ハードディスク８の画像格納エリア１６に格納される。
【００７５】
また、操作者が両手を動かしているときには、図１８に示す通り各活動分割エリア２１を含むように矩形状の活動矩形領域２６が決定されて、図２０に示すような右眼側の仮想カーソル活動領域画像２７が作成され、ハードディスク８の画像格納エリア１６に格納される（ステップＳ４２）。
【００７６】
《仮想ボタンクリックの活動領域決定》
この後、ＣＰＵ９によってハードディスク８の画像格納エリア１６に格納されている右眼側のヒストグラムが読み出されて、各分割エリア２０のうち仮想ボタンクリック矩形抽出用のしきい値（例えば、最大値−２σ）より大きい濃度値になっている分割エリア（活動分割エリア）が抽出されると共に、これらの各活動分割エリアを含むように矩形状の活動矩形領域が決定されて、右眼側の仮想ボタンクリック活動領域画像（図示は省略する）が作成され、ハードディスク８の画像格納エリア１６に格納される（ステップＳ４３）。
【００７７】
《多段階矩形オブジェクト抽出処理、影の影響除去》
次いで、ＣＰＵ９によって仮想カーソル矩形抽出用のしきい値（例えば、最大値−１σ）を使用して得られた右眼側の仮想カーソル活動領域画像２７、仮想ボタンクリック矩形抽出用のしきい値（例えば、最大値−２σ）を使用して得られた右眼側の仮想ボタンクリック活動領域画像に対し、各々活動矩形領域２６が左右に分割可能かどうかチェックされ、左右に分割可能であれば、図２１に示すように活動矩形領域２６の水平方向中心点“Ａ”が求められると共に、水平方向中心点“Ａ”から左側にある非活動領域と、活動領域（例えば、活動分割エリア２１）との境界点“Ｂ”と、水平方向中心点“Ａ”から右側にある非活動領域と、活動領域（例えば、活動分割エリア２１）との境界点“Ｃ”とが検知され、これら境界点“Ｂ”、“Ｃ”を含む領域が各活動矩形領域２６と判定され、それ以外の活動領域が操作者の影などによる不要な活動領域と判定され、無効とされる（２点抽出処理）。
【００７８】
この後、ＣＰＵ９によって、２点抽出処理が終了した各活動矩形領域２６に対し、各々活動矩形領域２６が上下に分割可能かどうかチェックされ、上下分割可能であれば図２２に示すように活動矩形領域２６の上下方向中心点“Ａ”が求められると共に、上下方向中心点“Ａ”から上側にある非活動領域と、活動領域（例えば、活動分割エリア２１）との境界点“Ｂ”が検知され、これら境界点“Ｂ”を含む領域が活動矩形領域２６と判定され、下の活動領域が操作者の影などによる不要な活動領域と判定され、無効とされる（最小化処理）（ステップＳ４４）。
【００７９】
次いで、ＣＰＵ９によって、これら２点抽出処理、最小化処理によって構成される多段階矩形オブジェクト抽出処理で得られた活動矩形領域２６を含む右眼側の仮想カーソル活動領域画像２７、右眼側の仮想ボタンクリック活動領域画像が、ハードディスク８の画像格納エリア１６に格納される（ステップＳ４５）。
【００８０】
《統計処理、仮想カーソルの活動領域決定、変化領域抽出》
この後、図７のフローチャートに示すようにＣＰＵ９によって、ハードディスク８の画像格納エリア１６に格納されている左眼側のヒストグラムが読み出されて（ステップＳ１５）、活動矩形領域抽出処理が開始される（ステップＳ１６）。即ち、図１０のフローチャートに示すように、ヒストグラムの各分割エリアの濃度値に対する統計処理が行われ、平均値、濃度分散値、最大値、偏差（±１σ、±２σ）などが演算される（ステップＳ４１）。
【００８１】
次いで、ＣＰＵ９によって変化領域矩形抽出用のしきい値（例えば、平均値−１σ）より大きい濃度値になっている各分割エリア２０が抽出されて、これらの各分割エリア（活動分割エリア）を含むように矩形状の変化領域矩形が（図１７、図１８参照）決定され、ハードディスク８の画像格納エリア１６に格納される。
【００８２】
また、この動作と並行しＣＰＵ９によって、図１６の３次元濃度分布図に示すようにヒストグラムを構成している各分割エリア２０（図１７、図１８参照）のうち、仮想カーソル矩形抽出用のしきい値（例えば、最大値−１σ）より大きい濃度値になっている分割エリア（活動分割エリア２１）が抽出される。
【００８３】
これにより、操作者が指先を大きく回しているとき、図１７に示す通り各活動分割エリア２１を含むように矩形状の活動矩形領域２６が決定されると共に、この決定結果に基づき図１９に示すような左眼側の仮想カーソル活動領域画面２７が作成されて、ハードディスク８の画像格納エリア１６に格納される。
【００８４】
また、操作者が両手を動かしているときには、図１８に示す通り各活動分割エリア２１を含むように矩形状の活動矩形領域２６が決定されて、図２０に示すような左眼側の仮想カーソル活動領域画像２７が作成され、ハードディスク８の画像格納エリア１６に格納される（ステップＳ４２）。
【００８５】
《仮想ボタンクリックの活動領域決定》
次いで、ＣＰＵ９によってハードディスク８の画像格納エリア１６に格納されている左眼側のヒストグラムが読み出されて、各分割エリア２０のうち仮想ボタンクリック矩形抽出用のしきい値（例えば、最大値−２σ）より大きい濃度値になっている分割エリア（活動分割エリア）が抽出されると共に、これらの各活動分割エリアを含むように矩形状の活動矩形領域が決定されて、左眼側の仮想ボタンクリック活動領域画像（図示は省略する）が作成され、ハードディスク８の画像格納エリア１６に格納される（ステップＳ４３）。
【００８６】
《多段階矩形オブジェクト抽出処理、影の影響除去》
次いで、ＣＰＵ９によって仮想カーソル矩形抽出用のしきい値（例えば、最大値−１σ）を使用して得られた左眼側の仮想カーソル活動領域画像２７、仮想ボタンクリック矩形抽出用のしきい値（例えば、最大値−２σ）を使用して得られた左眼側の仮想ボタンクリック活動領域画像に対し、各々活動矩形領域２６が左右に分割可能かどうかチェックされ、左右に分割可能であれば、図２１に示すように活動矩形領域２６の水平方向中心点“Ａ”が求められると共に、水平方向中心点“Ａ”から左側にある非活動領域と、活動領域（例えば、活動分割エリア２１）との境界点“Ｂ”と、水平方向中心点“Ａ”から右側にある非活動領域と、活動領域（例えば、活動分割エリア２１）との境界点“Ｃ”とが検知され、これら境界点“Ｂ”、“Ｃ”を含む領域が各活動矩形領域２６と判定され、それ以外の活動領域が操作者の影などによる不要な活動領域と判定され、無効とされる（２点抽出処理）。
【００８７】
この後、ＣＰＵ９によって、２点抽出処理が終了した各活動矩形領域２６に対し各々活動矩形領域２６が上下に分割可能かどうかチェックされ、上下分割可能であれば図２２に示すように活動矩形領域２６の上下方向中心点“Ａ”が求められると共に、上下方向中心点“Ａ”から上側にある非活動領域と活動領域（例えば、活動分割エリア２１）との境界点“Ｂ”が検知され、これら境界点“Ｂ”を含む領域が活動矩形領域２６、下の活動領域が操作者の影などによる不要な活動領域と判定され、無効とされる（最小化処理）（ステップＳ４４）。
【００８８】
次いで、ＣＰＵ９によってこれら２点抽出処理、最小化処理によって構成される多段階矩形オブジェクト抽出処理で得られた活動矩形領域２６を含む左眼側の仮想カーソル活動領域画像２７、左眼側の仮想ボタンクリック活動領域画像が、ハードディスク８の画像格納エリア１６に格納される（ステップＳ４５）。
【００８９】
上記した如く操作者の手による動きを右眼と左眼の各仮想領域活動領域画像２７及び仮想ボタンクリック活動領域画像で捉えることができるが、このとき入力装置１ａが操作者の意図しない手の動きを検知できるようにするとさらに良い。ヒストグラム化した活動領域を多段階で抽出した結果の活動矩形領域２６が操作者の意図したポインティング、またはタッピングでない動作、例えば手を左右に振っている場合もヒストグラム化されたデータ上に活動領域が抽出される。よって、これが操作者の意図したポインティング動作によるものではないことを判断できれば、入力装置１ａとしての信頼性が高まる。
【００９０】
抽出された活動矩形領域が有効かどうかを判断するためには、以下の処理を行う。すなわち、図１０のステップＳ４１の処理においては、図１１に示すステップＳ４１’の処理を行い、ＣＰＵ９はヒストグラム化された多段階の差分画像データのうち、最新の差分データから活動矩形領域２６を抽出し、それらの点を追跡しながら一定時間保持する。
【００９１】
次に、図１０のステップＳ４３の処理においては、図１２に示すステップＳ４３’の処理を行い、ＣＰＵ９は仮想ボタンクリックの活動領域（最大値−２σ）が抽出されたら、ステップＳ４１’で記憶している活動矩形領域２６と比較し、該当する追跡を求めてその追跡結果が特定の大きさの領域に亘って活動している場合には、無効な活動矩形領域２６と判断する。
【００９２】
図３７は操作者が手を右下から左上、さらに左下、次に右上に移動した場合に抽出される活動領域を示しているが、活動矩形領域２６の追跡データから生成された活動領域は大きな動きの中で生成されたもの判断してノイズとして無視する。
【００９３】
ＣＰＵ９による上記処理にて抽出活動領域が操作者の意図しない動作により発生したものはノイズとして除去することが可能となり、操作性が向上する。
【００９４】
《活動矩形領域選択》
この後、図７のフローチャートに示すように、ＣＰＵ９によって活動矩形領域選択処理が開始される（ステップＳ１７）。即ち、図１３のフローチャートに示すようにハードディスク８の画像格納エリア１６に格納されている右眼側の仮想カーソル活動領域画像２７、右眼側の仮想ボタンクリック活動領域画像が読み出され、これら右眼側の仮想カーソル活動領域画像２７、右眼側の仮想ボタンクリック活動領域画像に含まれている各活動矩形領域２６に対し、図２３の模式図に示すように両眼視差法による位置補正が行われ、各ウェブカメラ４，６の取り付け位置（水平距離“Ｂ”、上下距離など）、各ウェブカメラ４，６の焦点距離“ｆ”などと対応するように各活動矩形領域２６の中心座標“ＰＲ（ＸＲ、ＹＲ）”が補正された後、大きさ順に番号が付加される（ステップＳ５１、Ｓ５２）。
【００９５】
次いで、ＣＰＵ９によってハードディスク８の画像格納エリア１６に格納されている左眼側の仮想カーソル活動領域画像２７、左眼側の仮想ボタンクリック活動領域画像が読み出され、これら左眼側の仮想カーソル活動領域画像２７、左眼側の仮想ボタンクリック活動領域画像の各活動矩形領域２６に対し、操作者の手の位置の座標Ｐ（Ｘ，Ｙ，Ｄ）に基づき図２３の模式図に示すように両眼視差法による位置補正が行われ、各ウェブカメラ４，６の取り付け位置（水平距離“Ｂ”、上下距離など）、各ウェブカメラ４，６の焦点距離“ｆ”などと対応するように各活動矩形領域２６の座標“ＰＬ（ＸＬ、ＹＬ）”が補正された後、大きさ順に番号が付加される（ステップＳ５３、Ｓ５４）。
【００９６】
このように両眼視差法による位置補正を行うことで、各ウェブカメラ４，６の焦点距離などと対応したピント位置、例えば各ウェブカメラ４，６から離れた位置に操作者の手があり、両眼視差法による位置補正を行う前、図２４の模式図に示すように右眼側の各活動矩形領域２６と左眼側の各活動矩形領域２６とが位置がずれていても、両眼視差法による位置補正を行うことにより、図２５の模式図に示すように右眼側の各活動矩形領域２６と左眼側の各活動矩形領域２６とを完全一致（又は、ほぼ一致）させることができる。
【００９７】
この後、ＣＰＵ９によって図２６の模式図に示すように、番号“１”が付与された右眼側に対応する活動矩形領域２６の中心座標“ＸＲ、ＹＲ”と、左眼側に対応する活動矩形領域２６の中心座標“ＸＬ、ＹＬ”との距離（中心座標距離）が演算されて、これが番号“１”と共に、メモリ１０に記憶される。
【００９８】
尚、操作者の手の位置の座標Ｐ（Ｘ，Ｙ，Ｄ）に基づき両眼視差法による位置補正が行うことを説明したが、Ｐ（Ｘ，Ｙ，Ｄ）は操作者からの仮想タッチスクリーン画面Ｓ２上の座標であるが、このとき図４において説明したように、ＣＰＵ９は平面モデルの初期設定により予め算出している平面のパラメータの方向ベクトルｄ，位置ベクトルｎ，基底ベクトルｎｘ，基底ベクトルｎｙを用いて次の演算を行うことにより、ウェブカメラ４，６視野からの仮想タッチスクリーン画面Ｓ１上の座標Ｐ（ｘ，ｙ，ｄ）から変換している。かかる演算による補正を行えば、ウェブカメラ４，６の設置場所がパソコン２のディスプレイ部３とかけ離れている場合でも、ディスプレイ部３に対する操作者視野での位置を検出することができる。
Ｘ＝ｎｘ・（Ｐｉｎ−ｐ）
Ｙ＝ｎｙ・（Ｐｉｎ−ｐ）
Ｄ＝ｎ・（Ｐｉｎ−ｐ）
【００９９】
次いで、ステップＳ５５、Ｓ５６の処理においては、ＣＰＵ９によって次の番号“２”〜最後の番号“Ｎ”が付与された右眼側に対応する活動矩形領域２６の中心座標“ＸＲ、ＹＲ”と、左眼側に対応する活動矩形領域２６の中心座標“ＸＬ、ＹＬ”との距離（中心座標距離）が順次演算されて、これらが次の番号“２”〜最後の番号“Ｎ”と共にメモリ１０に記憶される。
【０１００】
このステップ５５の処理は、図１で説明した距離測定手段Ｃとしての動作である。すなわち、ウェブカメラ４，６の間隔と焦点距離ｆを予め設定すると、被写体までの距離は｜ＸＬ−ＸＲ｜と相関関係にあるために、中心座標距離の演算は被写体までの距離を測定していることになる。
【０１０１】
そして、これらの処理が終了したとき、ＣＰＵ９によって、メモリ１０に記憶されている各中心座標距離（｜ＸＬ−ＸＲ｜）が順次読み出されて、予め設定してある奥行き距離を示す所定値と比較する。この奥行き距離とは、ウェブカメラ４，６の間隔に基づいて予め設定してある両眼視差法による奥行き距離である。そして、中心座標距離と奥行き距離との比較の結果、許容範囲内で一致していると、この中心座標距離の右眼側の活動矩形領域２６、左眼側の活動矩形領域２６は有効な活動矩形領域と判断される。
【０１０２】
各ウェブカメラ４，６から予め設定してある奥行き距離から許容範囲内の位置に操作者の手があるとき、操作者の手に対応する右眼側の活動矩形領域２６、左眼側の活動矩形領域２６が、それぞれ有効な活動矩形領域２６であると判定される。このことは、予め設定してある奥行き距離に仮想タッチスクリーンが形成されていることになり、それ以外は仮想タッチスクリーン上の操作ではないものとして、右眼側の活動矩形領域２６、左眼側の活動矩形領域２６はそれぞれ無効な活動矩形領域２６であると判定される（ステップＳ５７）。このとき中心座標距離と奥行き距離との比較を行う場合の許容範囲を狭く設定することで、より平面的な仮想タッチスクリーンが形成されることになり、操作者による操作以外の背景の動きを捉えることがなくなり、入力装置として動作が確実となる。
【０１０３】
このステップ５７の処理は、図１で説明した被写体判別手段Ｄとしての動作である。すなわち、距離測定手段Ｃであるステップ５５の処理にて測定した被写体までの距離と予め設定してある奥行き距離とを比較して、許容範囲内で一致しない場合にその活動矩形領域を無効とすることで、操作者による仮想タッチスクリーン上での手に対応する活動矩形領域のみを選択する。
【０１０４】
このように両眼視差法を用いて、活動矩形領域の位置補正を行ないながら右眼及び左眼の各活動矩形領域２６の中心点間の横方向での座標距離（中心座標距離）から被写体までの距離を測定することにより活動領域２６の有効性判定を精度良く行うことができるのである。しかしながら、ウェブカメラ４，６の視野で被写体の中心部分と端の部分は誤差が発生するが、これの補正について説明する。
【０１０５】
距離の測定は、予め測定したカメラ視野角を定数として活動領域がウェブカメラ４，６の視野のそれぞれの活動矩形領域２６における中心座標距離から補正値を計算するものであるが、以下、この原理について説明する。
【０１０６】
図３８は１台のウェブカメラ４Ａの視野角から距離の変換について説明するもので、三角関数の定義から、［数２］の数式の関係が成立する。
【０１０７】
【数２】
ｗ：画像上での被写体の幅[pixel]
ｉｍｇ＿ｗ：カメラ画像の横画素数[pixel]
ｄ：カメラと被写体までの距離[ｍ]
δ：被写体の幅／２[ｍ]
θｗ：カメラの視野角／２[rad]（予め計測）
但し、ｗと（ｉｍｇ＿ｗ）は、それぞれ画像中の大きさのため物理量としては「角度」となる。
【０１０８】
これをｄについて解くと［数３］の数式となる。
【０１０９】
【数３】
【０１１０】
［数３］の数式において、θｗとｉｍｇ＿ｗは定数であるので、求めたい値である距離ｄはδとｗに依存する。ここでδは映る被写体６０によって変化するため、δに依存せずに距離ｄを求める必要がある。
【０１１１】
そこで２台のウェブカメラ４，６を用いる本発明では、δに依存せずに距離ｄを求めることが可能である。図３９はメインとサブの２台のウェブカメラの視野角から距離の変換について説明するもので、距離ｄは［数４］の数式にて示される。
【０１１２】
【数４】
ｗ’：サブカメラの画像上での被写体の中心の横座標[pixel]と、メインカメラの画像上での被写体の中心横座標[pixel]の差の絶対値 （｜ＸＬ−ＸＲ｜）
δ’：被写体の位置で、サブカメラの中心視線とメインカメラの中心視線が交差する２点間の距離[ｍ]（両眼の視線が平行ならば、δ’は常に一定）
【０１１３】
［数４］の数式において、両眼の中心視線が平行である場合は一定であるから距離ｄはδ’に依存しなくなる。尚、ｄはδ’より十分大きく（ｄ＞＞δ’）、被写体６０が画像の端に存在していても近似的に成り立つ。
【０１１４】
上記から２台のカメラを用いれば［数５］の数式にて表すように、距離ｄはｗ’のみに依存することになる。よって、ｄは画素値から計算され、離散値であるため各ｗ’のｄ（ｗ’）を予め計算しておきテーブルに保存することで被写体６０までの距離（ｄ）の補正を高速にて処理することができる。
【０１１５】
【数５】
【０１１６】
以上の原理をＣＰＵ９による活動領域２６の有効性の判断に取り込めば判定の精度を更に高めることができる。この場合、ＣＰＵ９はステップＳ５７の処理において、図１４に示すステップ５７’の処理を行い、中心座標距離ｗ’（｜ＸＬ−ＸＲ｜）を演算してメモリ１０に格納しているテーブルデータと照合することで被写体６０までの正確な距離を測定し、この距離が予め設定してある奥行き距離の許容範囲内であるかを判定することで、活動矩形領域２６の有効・無効の判断を行うものである。
【０１１７】
これにより、右眼側の各活動矩形領域２６、左眼側の各活動矩形領域２６が図２６の模式図に示す関係になっていれば、中心座標距離が所定値以上になっている番号“１”に対応した右眼側の活動矩形領域（ＯＲ１）２６、左眼側の活動矩形領域（ＯＬ１）２６が無効と判定され、中心座標距離がほぼ“０”になっている番号“２”に対応した右眼側の活動矩形領域（ＯＲ２）２６、左眼側の活動矩形領域（ＯＬ２）２６が有効と判定される。
【０１１８】
次いで、ＣＰＵ９によって、有効と判定された右眼側の活動矩形領域（ＯＲ２）２６、有効と判定された左眼側の活動矩形領域（ＯＬ２）２６のうち、予め指定されている方、例えば有効と判定された左眼側の活動矩形領域（ＯＬ２）２６が残され、それ以外の活動矩形領域２６が削除された仮想カーソル活動領域画像２７、仮想ボタンクリック活動領域画像が作成され、これが両眼視差法によって操作者の手前にいる人の動き、及び背後にいる人の動きが除去された仮想カーソル活動領域画像２７、仮想ボタンクリック活動領域画像としてハードディスク８の画像格納エリア１６に格納される（ステップＳ５７）。
【０１１９】
《片手ジェスチャによる仮想カーソルの位置、大きさ、色制御》
この後、図７のフローチャートに示すように、ＣＰＵ９によって仮想カーソル制御処理／画面制御処理が開始される（ステップＳ１８）。この処理は、図１で説明した操作指示生成手段Ｅとしての動作であり、ステップＳ１７にて操作者の動作と判定した手、又は指先の動きを検出し、この検出結果に応じた操作指示を生成する。
【０１２０】
図１５のフローチャートに示すように、ハードディスク８の画像格納エリア１６に格納されている各仮想カーソル活動領域画像（両眼視差法によって、操作者の手前にいる人の動き、及び背後にいる人の動きが除去された各仮想カーソル活動領域画像）２７のうち、最新の活動矩形領域２６を含む数フレーム分の仮想カーソル活動領域画像２７が読み出され（ステップＳ６１）、近接した１つ以上の活動矩形領域２６によって構成される活動矩形領域群が仮想カーソル活動領域画像２７内に存在しているかどうかチェックされる。
【０１２１】
そして、最新の仮想カーソル活動領域画像２７内に活動矩形領域群が存在し、その数が“１”であり、且つ、略矩形であれば（ステップＳ６２、Ｓ６３）、ＣＰＵ９によって活動矩形領域群の大きさ、移動方向が判定され、判定結果に対応するように仮想カーソル制御が行われる（ステップＳ６４）。
【０１２２】
例えば、図２７（ａ）に示すように、前回とほぼ同じ、高さ、左右位置で、操作者が指先を大きく回し、これに対応して前回の処理で得られた大きな活動矩形領域群の位置と同じ位置で、大きな活動矩形領域群が得られているとき、ＣＰＵ９によって仮想カーソルの表示指示であると判定されて、図２７（ｂ）に示すようにディスプレイ部３に大きなサイズ、白色の仮想カーソル２５が表示される。
【０１２３】
また、操作者が指先を大きく回しながら上下方向、又は左右方向に移動させ、これに対応して前回の処理で得られた位置から移動する大きな活動矩形領域群が得られているとき、ＣＰＵ９によって仮想カーソルの移動指示であると判定されて、指先の移動方向に対応するようにディスプレイ部３に表示されている大きなサイズ、白色の仮想カーソル２５を移動させる。
【０１２４】
また、図２８（ａ）に示すように、前回とほぼ同じ、高さ、左右位置で、操作者が指先を小さく回し、これに対応して前回の処理で得られた大きな活動矩形領域群の位置と同じ位置で、小さな活動矩形領域群が得られているとき、ＣＰＵ９によって仮想カーソルの移動停止であると判定されて、図２８（ｂ）に示すようにディスプレイ部３に表示されている仮想カーソル２５の移動を停止させると共に、サイズを小さくする。
【０１２５】
この状態で一定時間が経過すれば、ＣＰＵ９によって仮想カーソル２５の色が赤色に変更され大きな移動が禁止されると共に、ＯＳ側にカーソル移動指示が出されて、仮想カーソル２５内に実カーソル２８を移動させる。
【０１２６】
この後、操作者が指先を少し移動させれば、ＣＰＵ９によってこれが検知されて、ディスプレイ部３に表示されている仮想カーソル２５の位置が微調整されると共に、ＯＳ側にカーソル位置調整指示が出されて、図２９に示すように実カーソル２８の位置が微調整される。
【０１２７】
次いで、操作者が指先を動かすのを止めれば、ＣＰＵ９によってこれが検知され、一定時間後に、図３０に示すようにディスプレイ部３に表示されている仮想カーソル２５の位置が固定されると共に、仮想カーソル２５の色が赤色からグレー色に変更され、操作者にクリック可能になったことを知らせる。
【０１２８】
この状態でも、操作者が指先を再度大きく回せば、ＣＰＵ９によってこれが検知されて、ディスプレイ部３に表示されている仮想カーソル２５の色が白色に戻され、仮想カーソル２５が移動可能な状態に戻される。
【０１２９】
《片手ジェスチャによるスクロール制御》
また、上述した仮想カーソル活動領域画像２７に活動矩形領域群が存在するかどうかなどをチェックしたとき、図３１に示すように活動矩形領域群の数が“１”で水平方向に長ければ（ステップＳ６２、Ｓ６３）、ＣＰＵ９によって前回の活動矩形領域群に対しどちらの方向に長くなったか判定すると共に、長くなった方向に応じた右スクロール指示（又は、左スクロール指示）が生成されてアプリケーション側に渡され、ディスプレイ部３に表示されているアプリケーション画面（操作対象画面）が右方向（又は、左方向）にスクロールされる（ステップＳ６４）。
【０１３０】
また、上述した仮想カーソル活動領域画像２７に活動矩形領域群が存在するかどうかなどをチェックしたとき、活動矩形領域群の数が“１”で上下方向に長ければ（ステップＳ６２、Ｓ６３）、ＣＰＵ９によって前回の活動矩形領域群に対しどちらの方向に長くなったか判定すると共に、長くなった方向に応じた上スクロール指示（又は、下スクロール指示）が生成されてアプリケーション側に渡され、ディスプレイ部３に表示されているアプリケーション画面（操作対象画面）が上方向（又は、下方向）にスクロールされる（ステップＳ６４）。
【０１３１】
《片手ジェスチャによる実カーソルのクリック制御》
この後、ＣＰＵ９によって仮想カーソル２５の色がグレーかどうかチェックされ、仮想カーソル２５の色がグレーであれば、ハードディスク８の画像格納エリア１６に格納されている仮想ボタンクリック活動領域画像のうち、最新の活動矩形領域を含む数フレーム分の仮想ボタンクリック活動領域画像が読み出される（ステップＳ６６）。
【０１３２】
次いで、ＣＰＵ９によって仮想ボタンクリック活動領域画像内に近接した１つ以上の活動矩形領域２６によって構成される活動矩形領域群が存在し、形状が変化しているかどうかチェックされ、活動矩形領域群の数が“１”であり活動矩形領域群が予め設定された変化、例えば図３２（ａ）に示すように操作者が指さし状態から、１回だけ手を広げ、活動矩形領域群が１回だけ“小”から“大”に変化していれば（ステップＳ６７）、シングルクリックであると判定され、ＯＳ側にシングルクリック指示が出されて、図３２（ｂ）に示すように仮想カーソル２５内にある実カーソル２８によってアイコンなどがシングルクリックされる（ステップＳ６８）。
【０１３３】
また、操作者が指さし状態から２回以上手を広げたり縮めたりし、活動矩形領域群が複数回“大”から“小”、“小”から“大”に変化していれば（ステップＳ６７）、ＣＰＵ９によってダブルクリックであると判定され、ＯＳ側にダブルクリック指示が出されて、実カーソル２８の位置にあるアイコンなどがダブルクリックされる（ステップＳ６８）。
【０１３４】
《両手ジェスチャによる画面拡大、縮小制御》
また、各ウェブカメラ４，６のピント位置に操作者が右手、左手を出して、これら右手、左手を動かし、上述した仮想カーソル活動領域画像２７に活動矩形領域群が存在するかどうかなどをチェックしたとき、活動矩形領域群の数が“２”になり、各々矩形になっていれば（ステップＳ６３）、ＣＰＵ９によってこれが検知されて、これら各活動矩形領域群の動きに応じてディスプレイ部３に表示されている操作対象画面の拡大、縮小、回転などが行われる（ステップＳ６５）。
【０１３５】
例えば、各ウェブカメラ４，６のピント位置に操作者が右手と左手を出して、その右手と左手を互いに離れる方向に移動させ、これに対応して図３３に示す２つの活動矩形領域群が存在し、図３４（ａ）に示すように前回より広くなる方向に移動してこれら各活動矩形領域群の距離が前回より長くなったとき、ＣＰＵ９によって画面拡大指示が入力されたと判定され、活動矩形領域群の距離変化比に応じた拡大率の画面拡大指示が生成されてアプリケーション側に渡され、ディスプレイ部３に表示されているアプリケーション画面（操作対象画面）が拡大される。
【０１３６】
また、各ウェブカメラ４，６のピント位置に操作者が右手と左手を出して、その右手と左手を互いに近づく方向に移動させ、これに対応して２つの活動矩形領域群が図３４（ｂ）に示すように前回より狭くなる方向に移動し、これら各活動矩形領域群の距離が前回より短くなったとき、ＣＰＵ９によって画面縮小指示が入力されたと判定され、活動矩形領域群の距離変化比に応じた縮小率の画面縮小指示が生成されてアプリケーション側に渡され、ディスプレイ部３に表示されているアプリケーション画面（操作対象画面）が縮小される。
【０１３７】
《両手ジェスチャによる画面回転制御》
また、各ウェブカメラ４，６のピント位置に操作者が右手と左手を出して、これら右手と左手の一方を上に他方を下に移動させ、これに対応して図３５に示す２つの活動矩形領域群のうち少なくとも一方が上方向（又は、下方向）に移動したとき、ＣＰＵ９によって画面回転指示が入力されたと判定され、下側の活動矩形領域群に対する上側の活動矩形領域群の角度に応じた回転角度の画面回転指示が生成されてアプリケーション側に渡され、ディスプレイ部３に表示されているアプリケーション画面（操作対象画面）が回転される。
【０１３８】
この際、図３６（ａ）に示すように各活動矩形領域群の左右距離が狭い状態で、一方が大きく上方に移動し下側の活動矩形領域群に対する上側の活動矩形領域群の角度が大きいとき、ＣＰＵ９によって大きな回転角度の画面回転指示が生成されてアプリケーション側に渡され、ディスプレイ部３に表示されているアプリケーション画面（操作対象画面）が大きく回転される。
【０１３９】
また、図３６（ｂ）に示すように各活動矩形領域群の左右距離が広い状態で、一方が小さく上方に移動し下側の活動矩形領域群に対する上側の活動矩形領域群の角度が小さいとき、ＣＰＵ９によって小さな回転角度の画面回転指示が生成されてアプリケーション側に渡され、ディスプレイ部３に表示されているアプリケーション画面（操作対象画面）が小さく回転される。
【０１４０】
このように、本発明の第１の実施形態においては、各ウェブカメラ４，６によって操作者を撮影して得られた低解像度のカラー画像に対し、グレー化処理、画像分割／２値化処理、色フィルタリング処理、フレームバッファ処理、フレーム間差分処理、ヒストグラム処理、活動矩形領域抽出処理、活動矩形領域選択処理、仮想カーソル制御処理／画面制御処理を行い操作者の手の動きを検知し、仮想カーソル２５のサイズ制御、位置制御、色制御、クリック制御、操作対象画面の拡大制御、縮小制御、回転制御、上下スクロール制御、左右スクロール制御などを行うようにしているので、次に述べる効果を得ることができる。
【０１４１】
また、各ウェブカメラ４，６によって操作者を撮影して得られたカラー画像に対し、グレー化処理、画像分割／２値化処理、色フィルタリング処理を施して得られた２値化画像を画像格納エリア１６に格納するため、ハードディスク８の容量が小さい場合にも入力装置１ａを構成することができ、装置全体のコストを低く抑えることができる。
【０１４２】
また、各ウェブカメラ４，６によって操作者を撮影して得られたカラー画像に対し、グレー化処理、画像分割／２値化処理、色フィルタリング処理など、少ない段数の画像処理を施して１フレーム分の２値化画像を得るようにしているので、ＣＰＵ９に大きな負担をかけることを防ぎ、これによって処理速度が速くない安価なＣＰＵ９を使用した場合でもほぼリアルタイムで操作者の動きに対応するように、仮想カーソル２５のサイズ制御、位置制御、色制御、クリック制御、操作対象画面の拡大制御、縮小制御、回転制御、上下スクロール制御、左右スクロール制御などを行うことができ、装置全体のコストを低く抑えることができる。
【０１４３】
また、各ウェブカメラ４，６によって操作者を撮影して得られた右眼側の各活動矩形領域２６と左眼側の各活動矩形領域２６とに対し、両眼視差法で中心座標位置を補正した後、大きさ順に番号を付けて中心座標位置を比較し、この比較結果に基づきピント位置に対応する右眼側の各活動矩形領域２６と左眼側の各活動矩形領域２６とを選択するようにしているので、各ウェブカメラ４，６のピント位置にある操作者の手以外のもの、例えば操作者の後ろに人がいて動いていても、これに影響されることなく操作者の手の動きのみを抽出して、仮想カーソル２５のサイズ制御、位置制御、色制御、クリック制御、操作対象画面の拡大制御、縮小制御、回転制御、上下スクロール制御、左右スクロール制御などを行うことができる。
【０１４４】
また、本発明の第１の実施形態では、操作者が片手だけを動かしているとき仮想カーソル制御指示、又は操作対象画面のスクロール制御であると判定し、仮想カーソル２５のサイズ制御、位置制御、色制御、クリック制御、操作対象画面のスクロール制御などを行うようにしているので、片手だけでディスプレイ部３に表示されている仮想カーソル２５のサイズ、位置、色、クリック、操作対象画面のスクロールなどを遠隔操作することができる。
【０１４５】
また、本発明の第１の実施形態では、操作者が両手を動かしているとき、右手の動き、左手の動きを各々検出し、操作対象画面の拡大／縮小制御指示、又は操作対象画面の回転制御指示であると判定するようにしているので、操作者が右手、左手を動かすだけでディスプレイ部３に表示されているアプリケーション画面（操作対象画面）を拡大、縮小、回転させることができる。
【０１４６】
また、本発明の第１の実施形態では、活動矩形領域抽出処理においてヒストグラムを統計処理して得られた結果を使用し、ヒストグラムから仮想カーソル活動領域画像２７、仮想ボタンクリック活動領域画像を作成するようにしているので、操作者の手など動いている部分を正確に検知することができ、安定した仮想カーソル制御、クリック制御、操作対象画面制御を行うことができる。
【０１４７】
また、本発明の第１の実施形態では、活動矩形領域抽出処理において仮想カーソル活動領域画像２７、仮想ボタンクリック活動領域画像に対し、多段階矩形オブジェクト抽出処理を行うようにしているので、操作者の影などに起因する誤動作を防止し、安定した仮想カーソル制御、クリック制御、操作対象画面制御を行うことができる。
【実施例２】
【０１４８】
図４０は、本発明による入力装置の第２の実施形態を示すブロック図である。この図に示す入力装置１ｂは、箱形に形成されたプラスチック部材などによって構成され、パソコン、テレビ、エアコン、大画面スクリーン装置などの遠隔操作対象機器の近傍に配置される入力装置筐体（図示は省略する）と、入力装置筐体の前面左側に取り付けられ、操作者を撮影してカラー画像信号を出力する右眼用撮像装置である右眼用ビデオカメラ本体（カラーカメラ本体）３０と、入力装置筐体内に配置され、右眼用ビデオカメラ本体３０で撮影されたカラー画像を処理して、右眼側の仮想カーソル活動領域画像、右眼側の仮想ボタンクリック活動領域画像を生成する右眼側画像処理基板３１と、入力装置筐体の前面右側に取り付けられ、操作者を撮影してカラー画像信号を出力する左眼用撮像装置である左眼用ビデオカメラ本体３２と、入力装置筐体内に配置され、左眼用ビデオカメラ本体（カラーカメラ本体）３２で撮影されたカラー画像を処理して、左眼側の仮想カーソル活動領域画像、左眼側の仮想ボタンクリック活動領域画像を生成する左眼側画像処理基板３３と、入力装置筐体内に配置され、右眼側画像処理基板３１から出力される右眼側の仮想カーソル活動領域画像、右眼側の仮想ボタンクリック活動領域画像、左眼側画像処理基板３２から出力される左眼側の仮想カーソル活動領域画像、左眼側の仮想ボタンクリック活動領域画像を画像処理して操作者の手の動きに対応するポインティングデータを生成し、ＵＳＢケーブル、信号接続ケーブルなどのケーブルを介して、パソコン、テレビ、エアコン、大画面スクリーン装置などの遠隔操作対象機器などに供給する共通処理基板３４とを備えている。
【０１４９】
そして、操作者を撮影して得られたカラー画像を解析して、影などの影響、操作者の手前側にいる人、及び背後にいる人の影響などを取り除きながら、操作者の手の動きに対応したポインティングデータを生成し、入力装置１ｂ→ケーブル→遠隔操作対象機器なる経路でポインティングデータを遠隔操作対象機器に供給し、この遠隔操作対象機器の動作を制御する。
【０１５０】
右眼用ビデオカメラ本体３０は、３２０画素×２４０画素程度の解像度を持つカラーカメラによって構成されており、右眼側画像処理基板３１から電源電圧、クロック信号などが出されているとき操作者を撮影し、これによって得られたカラービデオ信号を右眼側画像処理基板３１に供給する。
【０１５１】
右眼側画像処理基板３１は、右眼用ビデオカメラ本体から出力されるカラービデオ信号をＲＧＢ形式のカラー画像に変換した後、ＨＳＶ（色相・彩度・明度）方式で予め設定されている特定色（例えば、肌色）のカラー画像を抽出するのに必要なカラーマスクを使用して、カラー画像中の肌色画像を抽出する肌色画像抽出回路３５と、右眼用ビデオカメラ本体３０から出力されるカラービデオ信号をＲＧＢ形式のカラー画像に変換した後、予め設定されている階調のモノクロ画像に変換するグレー化処理回路３６と、グレー化処理回路３６から出力されるモノクロ画像を予め設定されている画面分割数で分割する（但し、画面分割設定されていないときこの画面分割処理はスキップされる）と共に、最大尤度しきい値法で２値化して２値化画像にする画像分割／２値化処理回路３７と、画像分割／２値化処理回路３７から出力される２値化画像と肌色画像抽出回路３５から出力される肌色画像との論理和を取り、２値化画像中の肌色部分を抽出する色フィルタリング処理回路３８とを備えている。
【０１５２】
さらに、右眼側画像処理基板３１は、色フィルタリング処理回路３８から出力される２値化画像を数フレーム分〜数十フレーム分、一時記憶するフレームバッファ回路３９と、フレームバッファ回路３９に記憶されている２値化画像を順次読み出しながらフレーム間差分処理を行い、差分画像を生成するフレーム間差分処理回路４０と、フレーム間差分処理回路４０からフレーム単位で出力される各差分画像を各分割エリア毎に積算して、ヒストグラムを生成するヒストグラム処理回路４１と、ヒストグラム処理回路４１から出力されるヒストグラムに対し統計処理を行うと共に、統計処理結果を用いて仮想カーソル活動領域判定処理、仮想ボタンクリック活動領域判定処理、多段階矩形オブジェクト抽出処理などを行って、影などの影響を取り除いた右眼側の仮想カーソル活動領域画像、右眼側の仮想ボタンクリック活動領域画像を生成する活動矩形領域抽出処理回路４２とを備えている。
【０１５３】
さらに、活動矩形領域抽出処理回路４２は、ヒストグラム処理回路４１にて生成した多段階の差分画像データの最新の差分画像データから抽出した活動矩形領域と、前記仮想ボタンクリック活動領域画像とを比較し、抽出した活動矩形領域が仮想ボタンクリック活動領域の範囲を超えている場合は、これら抽出活動矩形領域を無効判定する処理を行うことにより、操作者が入力操作に意図していない動きをノイズとして無視することができる。
【０１５４】
そして、右眼用ビデオカメラ本体３０から出力されるカラービデオ信号に対し、グレー化処理、画面分割／２値化処理、色フィルタリング処理、フレームバッファ処理、フレーム間差分処理、ヒストグラム処理、活動矩形領域抽出処理を順次施して、右眼側の仮想カーソル活動領域画像、右眼側の仮想ボタンクリック活動領域画像を生成し、共通処理基板３４に供給する。
【０１５５】
また、左眼用ビデオカメラ本体３２は、３２０画素×２４０画素程度の解像度を持つカラーカメラによって構成されており、左眼側画像処理基板３３から電源電圧、クロック信号などが出されているとき操作者を撮影し、これによって得られたカラービデオ信号を左眼側画像処理基板３３に供給する。
【０１５６】
左眼側画像処理基板３３は、左眼用ビデオカメラ本体３２から出力されるカラービデオ信号をＲＧＢ形式のカラー画像に変換した後、ＨＳＶ（色相・彩度・明度）方式で、予め設定されている特定色（例えば、肌色）のカラー画像を抽出するのに必要なカラーマスクを使用して、カラー画像中の肌色画像を抽出する肌色画像抽出回路４３と、左眼用ビデオカメラ本体３２から出力されるカラービデオ信号をＲＧＢ形式のカラー画像に変換した後、予め設定されている階調のモノクロ画像に変換するグレー化処理回路４４と、グレー化処理回路４４から出力されるモノクロ画像を予め設定されている画面分割数で分割する（但し、画面分割設定されていないとき、この画面分割処理はスキップされる）と共に、最大尤度しきい値法で２値化して、２値化画像にする画像分割／２値化処理回路４５と、画像分割／２値化処理回路４５から出力される２値化画像と肌色画像抽出回路４３から出力される肌色画像との論理和を取り、２値化画像中の肌色部分を抽出する色フィルタリング処理回路４６とを備えている。
【０１５７】
さらに、左眼側画像処理基板３３は、色フィルタリング処理回路４６から出力される２値化画像を数フレーム分〜数十フレーム分、一時記憶するフレームバッファ回路４７と、フレームバッファ回路４７に記憶されている２値化画像を順次読み出しながらフレーム間差分処理を行い、差分画像を生成するフレーム間差分処理回路４８と、フレーム間差分処理回路４８からフレーム単位で出力される各差分画像を各分割エリア毎に積算して、ヒストグラムを生成するヒストグラム処理回路４９と、ヒストグラム処理回路４９から出力されるヒストグラムに対し統計処理を行うと共に、統計処理結果を用いて仮想カーソル活動領域判定処理、仮想ボタンクリック活動領域判定処理、多段階矩形オブジェクト抽出処理などを行って、影などの影響を取り除いた左眼側の仮想カーソル活動領域画像、左眼側の仮想ボタンクリック活動領域画像を生成する活動矩形領域抽出処理回路５０とを備えている。
【０１５８】
さらに、活動矩形領域抽出処理回路５０は、ヒストグラム処理回路４９にて生成した多段階の差分画像データの最新の差分画像データから抽出した活動矩形領域と、前記仮想ボタンクリック活動領域画像とを比較し、前述した図３８に示すように、抽出した活動矩形領域が仮想ボタンクリック活動領域の範囲を超えている場合は、これら抽出活動矩形領域を無効判定する処理を行うことにより、操作者が入力操作に意図していない動きをノイズとして無視することができる。
【０１５９】
そして、左眼用ビデオカメラ本体３２から出力されるカラービデオ信号に対し、グレー化処理、画面分割／２値化処理、色フィルタリング処理、フレームバッファ処理、フレーム間差分処理、ヒストグラム処理、活動矩形領域抽出処理を順次施して、左眼側の仮想カーソル活動領域画像、左眼側の仮想ボタンクリック活動領域画像を生成し、共通処理基板３４に供給する。
【０１６０】
共通処理基板３４は、両眼視差法による位置補正に必要な右眼用ウェブカメラ３０、左眼用ウェブカメラ３２の取り付け位置データ（水平距離“Ｂ”、上下距離など）、右眼用ウェブカメラ３０、左眼用ウェブカメラ３２の焦点距離“ｆ”などの撮影条件情報が設定される撮影条件設定回路５１と、右眼側画像処理基板３１から出力される右眼側の仮想カーソル活動領域画像、右眼側の仮想ボタンクリック活動領域画像、左眼側画像処理基板３３から出力される左眼側の仮想カーソル活動領域画像、左眼側の仮想ボタンクリック活動領域画像に活動矩形領域が含まれるとき、撮影条件設定回路５１に設定されている撮影条件情報を用いて両眼視差法で各活動矩形領域の位置を補正する処理、大きさ順に各活動矩形領域に番号を付加する処理、同じ番号が付加された各活動矩形領域の中心座標間の距離（中心座標距離）を演算する処理、所定値以下になっている各中心座標距離に対応する活動矩形領域を選択する処理、選択した活動矩形領域のみを含み、選択していない活動矩形領域を含まない左眼側の仮想カーソル活動領域画像、左眼側の仮想ボタンクリック活動領域画像を作成する処理などを行って、右眼側の仮想カーソル活動領域画像、右眼側の仮想ボタンクリック活動領域画像、左眼側の仮想カーソル活動領域画像、左眼側の仮想ボタンクリック活動領域画像に含まれる操作者の手前にいる人、及び背後にいる人の動きなどの影響を取り除いた後、左眼側の仮想カーソル活動領域画像、左眼側の仮想ボタンクリック活動領域画像を数画像分〜数十画像分保持する活動矩形領域選択処理回路５２とを備えている。
【０１６１】
さらに、活動矩形領域選択処理回路５２は、ウェブカメラ３０、３２の視野角を定数として右眼活動矩形領域と左眼活動矩形領域の中心点間の横方向での中心座標距離に応じて、カラーカメラから被写体までの距離を補正することでより正確に操作者の手前にいる人、及び背後にいる人の動きなどの影響を取り除くことができる。この補正の原理及び補正の演算式については、前述した図３９及び［数５］の式の通りである。活動矩形領域選択処理回路５２は、中心座標距離に応じて予め演算した被写体までの距離をテーブルデータで保持しておくことで高速処理を実現できる。
【０１６２】
斯かる活動矩形領域選択処理回路５２の処理動作において、同じ番号が付加された各活動矩形領域の中心座標間の距離（中心座標距離）を演算する処理は、図１の距離測定手段Ｃの作用に相当する。すなわち、ウェブカメラ３０、３２の間隔と焦点距離ｆを予め設定すると、被写体までの距離は｜ＸＬ−ＸＲ｜と相関関係にあるために、中心座標距離の演算は被写体までの距離を測定していることになる。
【０１６３】
また、活動矩形領域選択処理回路５２が操作者の手前にいる人、及び背後にいる人の動きなどの影響を取り除く処理は、図１の被写体判別手段Ｄの作用に相当する。すなわち、中心座標距離の演算処理にて測定した被写体までの距離と予め設定してある奥行き距離とを比較して、許容範囲内で一致しない場合にその活動矩形領域を無効とすることで、予め設定してある奥行き距離に仮想タッチスクリーンが形成されて、操作者による仮想タッチスクリーン上での手に対応する活動矩形領域のみを選択する。
【０１６４】
さらに、共通処理基板３４は、活動矩形領域選択処理回路５２に保持されている左眼側の各仮想カーソル活動領域画像のうち、最新の仮想カーソル活動領域画像に活動矩形領域群が存在するとき、活動矩形領域群の数、形状、移動有無、移動方向などに基づき、仮想カーソル位置指示、仮想カーソル形状指示、仮想カーソル色指示、操作対象画面スクロール指示、操作対象画面拡大指示、操作対象画面縮小指示、操作対象画面回転指示などのポインティングデータを生成すると共に、仮想カーソルがクリック可能な状態になっているとき、活動矩形領域選択処理回路５２に保持されている各仮想ボタンクリック活動領域画像のうち、最新の仮想ボタンクリック活動領域画像に活動矩形領域群が存在しているかどうかをチェックし、活動矩形領域群が存在しているとき、活動矩形領域群の形状などに基づきシングルクリック指示、ダブルクリック指示などのポインティングデータを生成する仮想カーソル制御処理／画面制御処理回路５３を備えている。仮想カーソル制御処理／画面制御処理回路５３のポインティングデータを生成する処理は、図１の操作指示生成手段Ｅの作用に相当する。
【０１６５】
そして、右眼側画像処理基板３１から出力される右眼側の仮想カーソル活動領域画像、右眼側の仮想ボタンクリック活動領域画像、左眼側画像処理基板３２から出力される左眼側の仮想カーソル活動領域画像、左眼側の仮想ボタンクリック活動領域画像に活動矩形領域が含まれるとき、操作者の前にいる人の動き、操作者の背後にいる人の動きなどに起因するノイズを取り除きながら操作者の各手がどのように動いているかを判定し、この判定結果に応じて仮想カーソル位置指示、仮想カーソル形状指示、仮想カーソル色指示、操作対象画面スクロール指示、操作対象画面拡大指示、操作対象画面縮小指示、操作対象画面回転指示などのポインティングデータを生成し、遠隔操作対象機器となっているパソコン、テレビ、エアコン、大画面スクリーン装置などに供給する。
【０１６６】
このように、この第２の実施形態では、右眼用ビデオカメラ本体３０、左眼用ビデオカメラ本体３２によって操作者を撮影して得られた低解像度のカラー画像に対し、色フィルタリング処理、グレー化処理、画像分割／２値化処理、フレームバッファ処理、フレーム間差分処理、ヒストグラム処理、活動矩形領域抽出処理、活動矩形領域選択処理、仮想カーソル制御処理／画面制御処理などを行い操作者の手の動きを検知し、仮想カーソル位置指示、仮想カーソル形状指示、仮想カーソル色指示、操作対象画面スクロール指示、操作対象画面拡大指示、操作対象画面縮小指示、操作対象画面回転指示などのポインティングデータを生成し、遠隔操作対象機器に供給するようにしているので、遠隔操作対象機器側の仮想カーソルサイズ、仮想カーソル位置、仮想カーソル色、クリック、操作対象画面の上下スクロール、左右スクロール、拡大、縮小、回転などを遠隔操作することができる。
【０１６７】
さらに、この第２の実施形態では、右眼用ビデオカメラ本体３０、左眼用ビデオカメラ本体３２によって操作者を撮影して得られた低解像度のカラー画像に対し、グレー化処理、画像分割／２値化処理、色フィルタリング処理、フレームバッファ処理、フレーム間差分処理、ヒストグラム処理、活動矩形領域抽出処理、活動矩形領域選択処理、仮想カーソル制御処理／画面制御処理など、少ない段数の画像処理を施してポインティングデータを生成するようにしているので、肌色画像抽出理回路３５、４３、グレー化処理回路３６、４４、画像分割／２値化処理回路３７、４５、色フィルタリング処理回路３８、４６、フレームバッファ処理回路３６、４７、フレーム間差分処理回路４０、４８、ヒストグラム処理回路４１、４９、活動矩形領域抽出処理回路４２、５０、活動矩形領域選択回路５２、仮想カーソル制御処理／画面制御処理回路５３として、処理速度があまり速くない素子の使用を可能にして装置全体のコストを低く抑えながら、ほぼリアルタイムで操作者の動きを検知し、遠隔操作対象機器を制御することができる。
【０１６８】
また、この第２の実施形態では、右眼用ビデオカメラ本体３０、左眼用ビデオカメラ本体３２によって操作者を撮影して得られた右眼側の各活動矩形領域と、左眼側の各活動矩形領域とに対し、両眼視差法で中心座標位置を補正した後、大きさ順に番号を付けて中心座標位置を比較し、この比較結果に基づきピント位置に対応する右眼側の各活動矩形領域と、左眼側の各活動矩形領域とを選択するようにしているので、右眼用ビデオカメラ本体３０、左眼用ビデオカメラ本体３２のピント位置にある操作者の手以外のもの、例えば操作者の後ろに人がいて動いていても、これに影響されることなく操作者の手の動きのみを抽出して、仮想カーソルのサイズ制御、位置制御、色制御、クリック制御、操作対象画面の拡大制御、縮小制御、回転制御、上下スクロール制御、左右スクロール制御などを行うことができる）。
【０１６９】
そして、この第２の実施形態においても、上述した第１の実施形態と同様に、操作者が片手だけを動かしているとき、仮想カーソル制御指示、クリック制御指示、スクロール制御指示の何れかであると判定し、仮想カーソルサイズ指示、仮想カーソル位置指示、仮想カーソル色指示、スクロール制御指示、クリック指示などを示すポインティングデータを生成するようにしているので、片手だけで遠隔操作対象機器側のディスプレイに表示されている仮想カーソルのサイズ、位置、色、クリック動作、操作対象画面のスクロールなどを遠隔操作することができる。
【０１７０】
また、この第２の実施形態においても、上述した第１の実施形態と同様に、操作者が両手を動かしているとき、右手の動き、左手の動きを各々検出して操作対象画面の制御指示であると判定し、操作対象画面拡大指示、操作対象画面縮小指示、操作対象画面回転指示などを示すポインティングデータを生成するようにしているので、操作者が右手、左手を動かすだけで遠隔操作対象機器側のディスプレイに表示されている操作対象画面を拡大、縮小、回転させることができる。
【０１７１】
また、本発明の第２の実施形態では、活動矩形領域抽出処理回路４２、５０においてヒストグラムを統計処理すると共に、統計処理結果を使用してヒストグラムから右眼側の仮想カーソル活動領域画像、右眼側の仮想ボタンクリック活動領域画像、左側の仮想カーソル活動領域画像、左側の仮想ボタンクリック活動領域画像を作成するようにしているので、操作者の手など動いている部分を正確に検知することができ、安定した仮想カーソル制御、クリック制御、操作対象画面制御を行うことができる。
【０１７２】
また、本発明の第２の実施形態では、活動矩形領域抽出処理回路４２、５０において、右眼側の仮想カーソル活動領域画像、右眼側の仮想ボタンクリック活動領域画像、左側の仮想カーソル活動領域画像、左側の仮想ボタンクリック活動領域画像に対し、多段階矩形オブジェクト抽出処理を行うようにしているので、操作者の影などに起因する誤動作を防止し、安定した仮想カーソル制御、クリック制御、操作対象画面制御を行うことができる。
【実施例３】
【０１７３】
上述した各実施形態では、各ウェブカメラ４，６、右眼用ビデオカメラ本体３０、左眼用ビデオカメラ本体３２で得られたカラー画像の全領域をグレー化し、２値化するようにしているが、図４１のフローチャート、図４２の模式図に示すようにヒストグラムを統計処理、活動矩形領域抽出処理で得られた変化領域矩形（活動矩形領域を含む矩形）６５に対し、指定された拡大縮小率（例えば拡大率“１０％”）で拡大／縮小した拡大／縮小矩形マスク６６を作成すると共に（ステップＳ７１）、次フレームのカラー画像全領域をグレー化して得られたモノクロ画像の中から拡大／縮小矩形マスク６６に対応する部分（モノクロ画像に含まれる活動領域部分の画像６７）だけを抽出して、２値化処理するようにしても良い（ステップＳ７２）。
【０１７４】
このようにすれば、モノクロ画像などの中から活動領域より少し広い範囲に含まれる画像のみを有効にし、それ以外の領域にある画像を無効にして、変化領域以外の部分に存在するノイズを除去することができる。
【０１７５】
また、上述した第１の実施形態、及び第２の実施形態では、ＣＰＵ９による色フィルタリング処理、又は色フィルタリング処理回路３８、４６によって、肌色のカラー画像を抽出するようにしているが、操作者が特定色の操作器、例えば赤ペンなどを使用して仮想カーソルの位置、クリック、操作対象画面のスクロール、操作対象画面の拡大、操作対象画面の縮小、操作対象画面の回転などを制御する場合には、赤色抽出用のカラーマスクを使用し、ＣＰＵ９による色フィルタリング処理、又は色フィルタリング処理回路３８、４６によって赤色のカラー画像を抽出するようにしても良い。
【０１７６】
これにより、各ウェブカメラ４，６、右眼用ビデオカメラ本体３０、左眼用ビデオカメラ本体３２の撮影範囲に複数の人がいても、操作者が持つ操作器の色に対応するカラー画像を抽出して仮想カーソルのサイズ制御、位置制御、クリック制御、操作対象画面のスクロール制御、拡大制御、縮小制御、回転制御などを行うことができる。
【０１７７】
また、このような色フィルタリング処理は、各ウェブカメラ４，６、右眼用ビデオカメラ本体３０、左眼用ビデオカメラ本体３２から出力されるカラービデオ信号に含まれる操作者の手など、動いている画像を抽出するために行っている処理であることから、操作者が居る場所の照明条件が良好で、操作者の手などが動いている画像と背景画像とのコントラストが大きいとき、色フィルタリング処理を省略するようにしても良い。
【実施例４】
【０１７８】
本発明の入力装置に係るタッチレスインタフェース操作の好適な実施例を示す。タッチレスインタフェースは、実施例１でも説明したように、ＣＰＵ９が図７のフローチャートにおけるステップＳ１８の仮想カーソル制御処理／画面制御処理において実行される。すなわち、ウェブカメラ４，６からの画像を処理して活動領域群の形状から操作者の動作を検出して、その動きに応じた操作者からの指示を認識するのであるが、以下、具体的な操作指示方法について説明する。
【０１７９】
（仮想カーソルの表示操作）
操作者が図４３に示すように、人指し指のみ又は人指し指と中指の両方を上下に動かす動作（タッピング動作）を行うと、ＣＰＵ９は、前記したステップＳ６４（図１５）の処理にて活動領域群の形状からこの動作を検出しカーソル表示制御を開始する。
【０１８０】
ＣＰＵ９は、先ず画面上に仮想カーソル表示開始の応答表示（フィードバック）を行なうようディスプレイ部３を制御する。このフィードバックは、例えば図４４の（ａ）部と（ｂ）部で示すように、グレー色のサークルを小から大へと波紋が広がるよう画面上に順次表示するものである。
【０１８１】
フィードバック表示の後、ＣＰＵ９は、図４４の（ｃ）部で示すように仮想カーソル２５Ａをグレー色の第１の状態で表示するようディスプレイ部３を制御する。
【０１８２】
（仮想カーソルのロック操作）
そして、このグレー色での仮想カーソル２５Ａの表示中に、操作者がタッピング動作を停止又はその動作を小さくするのをＣＰＵ９が検出すると、ＣＰＵ９は、仮想カーソル２５Ａを赤色の第２の状態での表示に切り換えて実カーソル２８Ａを表示するようディスプレイ部３を制御する（図４５）。
【０１８３】
本実施例では、カーソル表示は操作者によるタッピング動作に応答して行うが、実施例１では指先の旋回により行っている。また、ウェブカメラ４，６に遠い位置に手又は指先による操作が有効となる空間を設定している場合は、指先のタッピング動作より図４６に示すような掌を正面に向けて横に振る動き（バイバイのように）、または掌を手招きのように縦に振る動作が認識する上で好ましい。
【０１８４】
（実カーソルの移動操作）
ＣＰＵ９は、図４５で示すように仮想カーソル２５Ａが赤色の第２の状態にて表示されているときに、操作者が上下左右の目的の位置で上記のタッピング動作を行うのを検出するとカーソル移動制御を行う。このときＣＰＵ９は、第１の信号を生成して、ディスプレイ部３が仮想カーソル２５Ａをその位置まで移動して表示するよう制御する。仮想カーソル２５Ａが赤色の第２の状態で表示していることで、操作者は仮想カーソル２５Ａが移動可能であることを認識できる。
【０１８５】
このように、ディスプレイ部３の任意の座標位置をタッピング動作にてポインティングすることでその座標位置までカーソルを移動させることができる。
【０１８６】
（クリック操作及びダブルクリック操作）
ＣＰＵ９は、仮想カーソル２５Ａがグレー色の第１の状態で表示されているときに、操作者が、図４７に示すように人指し指だけを立てている状態（図４７の（ａ）部）から全ての指を立てて掌を広げる状態（図４７の（ｂ）部）に変化させる第２の形態の動き、或いは図４８に示すように人指し指だけを立てている状態（図４８の（ａ）部）から掌を広げた状態（図４８の（ｂ）部）、そして再び人指し指だけを立てる状態（図４８の（ｃ）部）へと変化させる第３の形態の動きを行うのを検出するとクリック制御を行う。
【０１８７】
このときＣＰＵ９は、第２の形態の動作を検出したときはシングルクリック操作と認識して第２の信号を生成し、第３の形態の動作を検出したときはダブルクリック操作と認識して第３の信号を生成する。ＣＰＵ９が第２の信号や第３の信号を生成することで、シングルクリック又はダブルクリックを認識したことを仮想カーソル２５Ａの色や形状、および音にて操作者に知らせることができる。そして、ディスプレイ部３の画面上のリンクやアプリケーションの選択ボタン上に実カーソル２８Ａを重ねた状態で第３の信号が発生すると、リンク先へのジャンプやアプリケーションの実行が開始される。実施例１の場合、シングルクリック及びダブルクリックは、操作者が一本の指での指差し状態から掌を広げ、そして指差し状態に戻す動作を行うことで認識している。
【０１８８】
以上、カーソルの表示と移動、及びクリック操作に関して、別の例として、カメラ４，６に掌または所定の認識オブジェクトを向ける動きで仮想カーソルを表示して、その掌が移動するのに応じて仮想カーソルを移動させ、目的の位置で掌の移動の停止にて仮想カーソルをロックして、次に掌を左右に振ることでクリックする操作方法もある。
【０１８９】
（フリップ操作）
ＣＰＵ９は、仮想カーソル２５Ａが赤色の第２の状態にて表示されている図４９の（ａ）部で示す状態のときに、操作者が、図４９の（ｂ）部から（ｃ）部で示すように、掌を本のページを捲るように右または左に振る第４の形態の動きを行うのを検出すると画面スクロール制御を行う。このときＣＰＵ９は第４の信号を生成して、ディスプレイ部３の画面表示のスクロール動作を制御する。図４９で（ｂ）部から（ｃ）部への動作は右方向へのフリップ操作であり、画面は左から右へとスクロールされる。
【０１９０】
操作者は、フリップ操作前に、仮想カーソル２５Ａがグレー色の第１の状態で表示しているときは、図４９の（ａ）部で示すようにタッピング動作を行い、仮想カーソル２５Ａが赤色の第２の状態にて表示されてからフリップ操作を行うことでスクロールが行われる。
【０１９１】
（ドラッグアンドドロップ操作）
ＣＰＵ９は、操作者がディスプレイ部３の画面上における目的のオブジェクトまたは画面位置で指先によるタッピング動作を検出すると、ドラッグアンドドロップ制御を行う。このときＣＰＵ９は、仮想カーソル２５Ａがその場所で赤色の第２の状態で表示し（図５０の（ａ）部）、続いて、掌を画面に向けて左右に振る第５の形態の動き（図５０の（ｂ）部）を検出するとドラッグ操作を認識する。ＣＰＵ９は、更に掌を画面に向けた状態で目的の位置まで移動するのを検出すると第５の信号を生成し、アイコン７０を表示して掌の移動に追随して表示するようディスプレイ部３を制御する（図５０の（ｃ）部）。そして、ＣＰＵ９は、操作者が指にてタップするか（図５０の（ｄ）部）、または移動を止めて数秒待ってから手を離す第６の形態の動きを検出すると、第６の信号を生成してオブジェクトのドロップを表示するようディスプレイ部３を制御する。
【０１９２】
このように、ドラッグアンドドロップ操作は、オブジェクト上でタッピング動作することでオブジェクトをクリックし、次に掌を左右に振ることでオブジェクトを捕え、捕えたことをアイコン７０の表示にて認識すると、掌を目的の位置まで移動させ、そして指によるタッピング動作を行うことで実行される。
【０１９３】
以上は操作者が片腕の手若しくは指の動きにより行う操作指示であるが、両腕による手若しくは指の動きにより行う操作指示について説明する。
【０１９４】
（画面拡大／縮小操作）
ＣＰＵ９は、ステップＳ６５（図１５）において、活動領域群の形状から操作者が両手若しくは両手の指にて２点で同時にタッピング動作するのを検出すると、２点カーソル７１を表示（図５１の（ａ）部）するようディスプレイ部３を制御する。そして、ＣＰＵ９は、操作者がタッピング動作を行う両手若しくは両手の指の間隔が拡大又は縮小するのを検出すると画面拡大・縮小制御を行う。
【０１９５】
このときＣＰＵ９は、操作者がタッピング動作を行う両手若しくは両手の指の間隔が拡大又は縮小されるのに応じて、２点カーソル７１の間隔を拡大（図５１の（ｂ）部）又は縮小（図５１の（ｃ）部）して表示するようディスプレイ部３を制御する。そして、ＣＰＵ９は、２点でのタッピング動作が停止されたとき第７の信号を生成し、２点カーソル７１の間隔に応じて画面の拡大表示又は縮小表示を行うようディスプレイ部３を制御する。
【０１９６】
（画面回転操作）
一方、ＣＰＵ９は、操作者の両手若しくは両手の指による２点での同時のタッピング動作を検出して２点カーソル７１を表示（図５２の（ａ）部）しているとき、タッピング動作を行う両手若しくは両手の指の相対位置が上下に変化するのを検出すると画面回転制御を行う。
【０１９７】
このとき、ＣＰＵ９は、操作者がタッピング動作を行う両手若しくは両手の指の上下の相対位置関係に応じて２点カーソル７１を上下に幅を持たせて表示するようディスプレイ部３を制御する。そして、ＣＰＵ９は、２点でのタッピング動作が停止されたとき第８の信号を生成し、２点カーソル７１の上下の位置関係に応じて画面の表示を右回転又は左回転させて表示するようディスプレイ部３を制御する。すなわち、左カーソルが右カーソルより高い位置（図５２の（ｂ）部）にあるときは右回転させ、その逆（図５２の（ｃ）部）のときは左回転させる。
【０１９８】
本実施例では両手でのタッピング動作により画面拡大・縮小指示や画面回転指示を行うが、実施例１の画面拡大・縮小指示や画面回転指示の場合と比べて、タッピング動作を取り入れることで操作に対する認識率がより高まる。
【０１９９】
上記した如く、操作者が手又は指の動きにて操作指示を与える場合に、操作者に画面上の位置を知らせることが操作性の向上につながる。そのためには次の２つの方法がある。
【０２００】
１つは、ウェブカメラ４，６に映った操作者自身をディスプレイ部３の画面上に透過表示するもので、ＣＰＵ９はビデオキャプチャ５を制御して取り込んだ操作者の映像信号を表示Ｉ／Ｆ１１を通してディスプレイ部３に出力して表示する。
【０２０１】
これにより、操作者は直感的に画面位置をポインティングすることができる。また、操作者の動きに合わせて、操作者自身を画面上に透過表示したり、しなかったりすることで、透過表示に邪魔されずに画面上のコンテンツを操作者が見ることができる。例えば、ＣＰＵ９はステップＳ６３の処理において、操作者による操作が停止して活動領域群が無いことを検出すると透過表示を行わず、一方操作が行われていて活動領域群の有りを検出したときは、透過表示を行うようディスプレイ部３への映像信号の出力を制御する。
【０２０２】
もう１つは、操作者の手先の動きを検出し、それに応じたエフェクトをディスプレイ部３の画面上に透過表示するものである。ＣＰＵ９は、ステップＳ６４若しくはステップＳ６５の処理にて活動領域群の形状から操作者の手の動きを認識すると、その操作に応じたエフェクトを表示する。
【０２０３】
例えば、ＣＰＵ９は、図４９の（ｂ）部から（ｃ）部で示すような掌を右または左に振るフリップの動きを検出すると、予め画像格納エリア１６に格納しているフリップのエフェクト画像を表示Ｉ／Ｆ１１を通してディスプレイ部３に出力する。このようにエフェクトを表示することにより、操作者は現在ポインティングしている位置を知ることができる。
【０２０４】
こうした２通りの方法を同時に用いたり、或いは操作指示の動作の内容に応じて何れか一方を選択的に使い分けることで操作者にとって操作がしやすくなり、ユーザインタフェースの優れた入力装置が提供される。
【産業上の利用可能性】
【０２０５】
本発明は、情報端末装置やパーソナルコンピュータなどの情報機器に接続されて使用され、カメラによる操作者の動作画像から仮想タッチスクリーン上での動作を取り込み、その動きの形態から情報機器のカーソル操作やアプリケーションプログラムの選択及び実行などを制御する入力装置に関するものであり、産業上の利用可能性を有する。
【符号の説明】
【０２０６】
Ａ 右眼用撮像装置
Ｂ 左眼用撮像装置
Ｃ 距離測定手段
Ｄ 被写体判別手段
Ｅ 操作指示生成手段
１ａ、１ｂ 入力装置
２ パソコン
３ ディスプレイ部
４ ウェブカメラ（左眼用カラーカメラ）
５ ビデオキャプチャ
６ ウェブカメラ（右眼用カラーカメラ）
９ ＣＰＵ
２５、２５Ａ 仮想カーソル
２６ 活動矩形領域
２７ 仮想カーソル活動領域画像
２８、２８Ａ 実カーソル
３０ 右眼用ビデオカメラ本体（右眼用カラーカメラ本体）
３１ 右眼側画像処理基板
３２ 左眼用ビデオカメラ本体（左眼用カラーカメラ本体）
３３ 左眼側画像処理基板
３４ 共通処理基板
３５ 肌色画像抽出回路
３６ グレー化処理回路
３７ 画像分割／２値化処理回路
３８ 色フィルタリング処理回路
３９ フレームバッファ回路
４０ フレーム間差分処理回路
４１ ヒストグラム処理回路
４２ 活動矩形領域抽出処理回路
４３ 肌色画像抽出回路
４４ グレー化処理回路
４５ 画像分割／２値化処理回路
４６ 色フィルタリング処理回路
４７ フレームバッファ回路
４８ フレーム間差分処理回路
４９ ヒストグラム処理回路
５０ 活動矩形領域抽出処理回路
５１ 撮影条件設定回路
５２ 活動矩形領域選択処理回路
５３ 仮想カーソル制御処理／画面制御処理回路
６５ 変化領域矩形
６６ 拡大／縮小矩形マスク
６７ マスク後の画像
【特許請求の範囲】
【請求項１】
撮像装置で得られた操作者の画像を処理して、操作者の動作内容に応じた操作指示を生成する入力装置であって、
右眼用撮像装置と、
前記右眼用撮像装置から所定の間隔を置いた位置に、前記右眼用撮像装置と並んで配置される左眼用撮像装置と、
被写体に対する前記右眼用撮像装置と前記左眼用撮像装置の画像から両眼視差法により前記被写体までの距離を測定する距離測定手段と、
前記右眼用撮像装置と前記左眼用撮像装置との間の前記間隔に基づいて両眼視差法により割り出して予め設定してある奥行き距離と前記距離測定手段が測定した前記被写体までの距離とを比較し、前記被写体までの距離と前記奥行き距離とが所定の許容範囲内で一致している前記被写体を選択して前記操作者と判別する被写体判別手段と、
前記被写体判別手段が判別した前記被写体の動きを検出し、この検出結果に応じた操作指示を生成する操作指示生成手段と、
を備えたことを特徴とする入力装置。
【請求項２】
前記操作指示の認識結果を表示するディスプレイ部を具備し、
前記操作指示生成手段は、カーソルの表示待機中に前記操作者の手若しくは指による第１の形態の動きを検出すると前記ディスプレイ部に前記仮想カーソルを第１の状態で表示し、該第１の状態での表示中に前記手若しくは指による前記第１の動きが停止又は前記第１の動きが小さくなるのを検出すると前記仮想カーソルを第２の状態で表示すると共に、実カーソルを表示するカーソル表示制御手段を備えたことを特徴とする請求項１に記載の入力装置。
【請求項３】
前記操作指示生成手段は、前記仮想カーソルが前記第２の状態で表示されているときに、前記手若しくは指が前記第１の形態の動きをすると、その手若しくは指の位置に前記カーソルの移動を指示する第１の信号を生成するカーソル移動制御手段を備えたことを特徴とする請求項２に記載の入力装置。
【請求項４】
前記操作指示生成手段は、前記仮想カーソルが前記第１の状態で表示されているときに、前記手若しくは指による第２の形態の動きを検出するとクリック操作と認識する第２の信号を生成し、第２の形態の動きに続く第３の形態の動きを検出するとダブルクリック操作と認識する第３の信号を生成するクリック制御手段を備えたことを特徴とする請求項２又は請求項３に記載の入力装置。
【請求項５】
前記操作指示生成手段は、前記仮想カーソルが前記第１の状態で表示されているときに、前記手若しくは指による第４の形態の動きを検出すると、前記ディスプレイ部の画面スクロールを指示する第４の信号を生成する画面スクロール制御手段を備えたことを特徴とする請求項２乃至請求項４の何れか一つに記載の入力装置。
【請求項６】
前記操作指示生成手段は、前記ディスプレイ部に表示されたオブジェクトに前記実カーソルが重ねられた状態で前記手若しくは指による第５の形態の動きを検出すると前記オブジェクトがドラッグの対象オブジェクトであることを認識し、認識後の前記手若しくは指による移動に追随した前記オブジェクトの移動を指示する第５の信号を生成し、続いて前記手若しくは指による前記第１形態での動きを検出すると前記オブジェクトのドロップを指示する第６の信号を生成するドラッグアンドドロップ制御手段を備えたことを特徴とする請求項２乃至請求項５の何れか一つに記載の入力装置。
【請求項７】
前記操作指示生成手段は、２つの前記手若しくは指がそれぞれ前記第１の形態の動きを行うのを検出すると２点カーソルを表示し、前記第１の形態の動きを行う前記手若しくは指の間隔が拡大又は縮小されるのに応じて前記２点カーソルの間隔を拡大又は縮小表示し、前記第１の形態の動きの停止にて前記２点カーソルの間隔に応じて前記ディスプレイ部の拡大表示又は縮小表示を指示する第７の信号を生成する画面拡大・縮小制御手段を備えたことを特徴とする請求項２乃至請求項６の何れか一つに記載の入力装置。
【請求項８】
前記操作指示生成手段は、２つの前記手若しくは指がそれぞれ前記第１の形態の動きを行うのを検出すると前記２点カーソルを表示すると共に、前記第１の形態の動きを行う前記手若しくは指の相対位置の上下の変化に応じて前記２点カーソルの相対位置を上下に変化させて表示し、前記第１の形態の動きの停止にて前記２点カーソルの上下の位置関係に応じて前記ディスプレイ部の表示の右回転又は左回転を指示する第８の信号を生成する画面回転制御手段を備えたことを特徴とする請求項２乃至請求項７の何れか一つに記載の入力装置。
【請求項９】
前記ディスプレイ部は、前記撮像装置による前記操作者の画像を透過表示することを特徴とする請求項２乃至請求項８の何れか一つに記載の入力装置。
【請求項１０】
前記ディスプレイ部は、前記操作者が操作指示の動きをしているとき前記画像を透過表示することを特徴とする請求項９に記載の入力装置。
【請求項１１】
前記ディスプレイ部は、前記操作者が前記手若しくは指の動きにて行う操作指示のエフェクトを表示することを特徴とする請求項２乃至請求項１０の何れか一つに記載の入力装置。
【請求項１２】
ビデオカメラで得られた操作者の画像を処理して、操作者の動作内容に応じた操作指示を生成する入力装置であって、
右眼用カラーカメラと、
前記右眼用カラーカメラから所定距離だけ離れた位置に、前記右眼用カラーカメラと並んで配置される左眼用カラーカメラと、
被写体を捉えた前記右眼用カラーカメラから出力されるカラー画像に対し、グレー化処理、画像分割／２値化処理、フレーム間差分処理、ヒストグラム処理、活動矩形領域抽出処理を行い、前記操作者の右眼側活動矩形領域を抽出する右眼側画像処理プログラムと、
前記被写体を捉えた前記左眼用カラーカメラから出力されるカラー画像に対し、グレー化処理、画像分割／２値化処理、フレーム間差分処理、ヒストグラム処理、活動矩形領域抽出処理を行い、前記操作者の左眼側活動矩形領域を抽出する左眼側画像処理プログラムと、
前記右眼側画像処理プログラムで得られた右眼側活動矩形領域の座標軸と前記左眼側画像処理プログラムで得られた左眼側活動矩形領域の座標軸との中心座標距離を演算することで両眼視差法による前記被写体までの距離を測定し、測定した前記被写体までの距離を前記右眼用撮像装置と前記左眼用撮像装置との間の前記間隔に基づいて両眼視差法により割り出して予め設定してある奥行き距離と比較し、前記被写体までの距離と前記奥行き距離とが所定の許容範囲内で一致している前記右眼活動矩形領域及び前記左眼活動矩形領域を前記操作者による活動矩形領域として選択する活動領域選択処理プログラムと、
前記活動領域選択処理プログラムにて選択された活動矩形領域に対し、仮想カーソル制御処理／画面制御処理を行って、前記被写体の手、又は指先の動きを検出し、この検出結果に応じた操作指示を生成する画像処理プログラムと、
を備えたことを特徴とする入力装置。
【請求項１３】
前記仮想カーソル制御処理／画面制御処理は、仮想カーソル活動領域画像上に活動矩形領域群が１つあるとき、その形状、移動有無に基づき、カールソル制御指示、又は画面スクロール指示を生成することを特徴とする請求項１２に記載の入力装置。
【請求項１４】
前記仮想カーソル制御処理／画面制御処理は、仮想カーソル活動領域画像上に活動矩形領域群が２つあるとき、その移動方向に基づき、画面回転指示、画面拡大指示、画面縮小指示の何れかを生成することを特徴とする請求項１２又は請求項１３に記載の入力装置。
【請求項１５】
前記活動矩形領域抽出処理は、ヒストグラムの統計処理結果を使用して、前記ヒストグラムから仮想カーソル活動領域画像を作成することを特徴とする請求項１２乃至請求項１４の何れか一つに記載の入力装置。
【請求項１６】
前記活動矩形領域抽出処理は、前記仮想カーソル活動領域画像に対し、多段階矩形オブジェクト抽出処理を行い、ノイズ成分を除去することを特徴とする請求項１２乃至請求項１５の何れか一つに記載の入力装置。
【請求項１７】
拡大／縮小矩形マスク作成処理を付加し、前記拡大／縮小矩形マスク作成処理によって、前記カラーカメラで得られたカラー画像の中から、前記仮想カーソル活動領域画像上の変化領域矩形に対応する画像を抽出し、それ以外の画像をカットして、ノイズ成分を除去することを特徴とする請求項１２乃至請求項１６の何れか一つに記載の入力装置。
【請求項１８】
前記操作指示の認識結果を表示するディスプレイ部を具備し、
前記画像処理プログラムは、カーソルの表示待機中に前記操作者の手若しくは指による第１の形態の動きを検出すると前記ディスプレイ部に前記仮想カーソルを第１の状態で表示し、該第１の状態での表示中に前記手若しくは指による前記第１の動きが停止又は前記第１の動きが小さくなるのを検出すると前記仮想カーソルを第２の状態で表示すると共に、実カーソルを表示するカーソル表示制御のステップを備えたことを特徴とする請求項１２乃至請求項１７の何れか一つに記載の入力装置。
【請求項１９】
前記画像処理プログラムは、前記仮想カーソルが前記第２の状態で表示されているときに、前記手若しくは指が前記第１の形態の動きをすると、その手若しくは指の位置に前記カーソルの移動を指示する第１の信号を生成するカーソル移動制御のステップを備えたことを特徴とする請求項１８に記載の入力装置。
【請求項２０】
前記画像処理プログラムは、前記仮想カーソルが前記第１の状態で表示されているときに、前記手若しくは指による第２の形態の動きを検出するとクリック操作と認識する第２の信号を生成し、第２の形態の動きに続く第３の形態の動きを検出するとダブルクリック操作と認識する第３の信号を生成するクリック制御のステップを備えたことを特徴とする請求項１８又は請求項１９に記載の入力装置。
【請求項２１】
前記画像処理プログラムは、前記仮想カーソルが前記第１の状態で表示されているときに、前記手若しくは指による第４の形態の動きを検出すると、前記ディスプレイ部の表示のフリップを指示する第４の信号を生成する画面スクロール制御のステップを備えたことを特徴とする請求項１８乃至請求項２０の何れか一つに記載の入力装置。
【請求項２２】
前記画像処理プログラムは、前記ディスプレイ部に表示されたオブジェクトに前記実カーソルが重ねられた状態で前記手若しくは指による第５の形態の動きを検出すると前記オブジェクトがドラッグの対象オブジェクトであることを認識し、認識後の前記手若しくは指による移動に追随した前記オブジェクトの移動を指示する第５の信号を生成し、続いて前記手若しくは指による前記第１形態での動きを検出すると前記オブジェクトのドロップを指示する第６の信号を生成するドラッグアンドドロップ制御のステップを備えたことを特徴とする請求項１８乃至請求項２１の何れか一つに記載の入力装置。
【請求項２３】
前記画像処理プログラムは、２つの前記手若しくは指がそれぞれ前記第１の形態の動きを行うのを検出すると２点カーソルを表示し、前記第１の形態の動きを行う前記手若しくは指の間隔が拡大又は縮小されるのに応じて前記２点カーソルの間隔を拡大又は縮小表示し、前記第１の形態の動きの停止にて前記２点カーソルの間隔に応じて前記ディスプレイ部の拡大表示又は縮小表示を指示する第７の信号を生成する画面拡大・縮小制御のステップを備えたことを特徴とする請求項１８乃至請求項２２の何れか一つに記載の入力装置。
【請求項２４】
前記画像処理プログラムは、２つの前記手若しくは指がそれぞれ前記第１の形態の動きを行うのを検出すると前記２点カーソルを表示すると共に、前記第１の形態の動きを行う前記手若しくは指の相対位置の上下の変化に応じて前記２点カーソルの相対位置を上下に変化させて表示し、前記第１の形態の動きの停止にて前記２点カーソルの上下の位置関係に応じて前記ディスプレイ部の表示の右回転又は左回転を指示する第８の信号を生成する画面回転制御のステップを備えたことを特徴とする請求項１８乃至請求項２３の何れか一つに記載の入力装置。
【請求項２５】
前記ディスプレイ部は、前記カラーカメラによる前記操作者の画像を透過表示することを特徴とする請求項１８乃至請求項２４の何れか一つに記載の入力装置。
【請求項２６】
前記ディスプレイ部は、前記操作者が操作指示の動きをしているとき前記画像を透過表示することを特徴とする請求項２５に記載の入力装置。
【請求項２７】
前記ディスプレイ部は、前記操作者が前記手若しくは指の動きにて行う操作指示のエフェクトを表示することを特徴とする請求項１８乃至請求項２６の何れか一つに記載の入力装置。
【請求項２８】
ビデオカメラで得られた操作者の画像を処理して、操作者の動作内容に応じた操作指示を生成し、遠隔操作対象機器の動作を制御する入力装置であって、
箱形に形成される入力装置筐体と、
この入力装置筐体の前面左側に取り付けられる右眼用カラーカメラ本体と、
前記入力装置筐体の前面右側に取り付けられる左眼用カラーカメラ本体と、
前記入力装置筐体内に配置され、グレー化処理回路、画像分割／２値化処理回路、フレーム間差分処理回路、ヒストグラム処理回路、活動矩形領域抽出処理回路によって、前記右眼用カラーカメラ本体から出力されるカラー画像を処理して、前記操作者の右眼側活動矩形領域を抽出する右眼側画像処理基板と、
前記入力装置筐体内に配置され、グレー化処理回路、画像分割／２値化処理回路、フレーム間差分処理回路、ヒストグラム処理回路、活動矩形領域抽出処理回路によって、前記左眼用カラーカメラ本体から出力されるカラー画像を処理して、前記操作者の左眼側活動矩形領域を抽出する左眼側画像処理基板と、
前記入力装置筐体内に配置され、活動矩形領域選択処理回路、仮想カーソル制御処理／画面制御処理回路によって、両眼視差法を使用して、前記右眼側画像処理プログラムで得られた右眼側活動矩形領域の座標軸と前記左眼側画像処理プログラムで得られた左眼側活動矩形領域の座標軸とから被写体までの距離を演算することで両眼視差法による前記被写体までの距離を測定し、前記被写体までの距離を前記右眼用撮像装置と前記左眼用撮像装置との間の前記間隔に基づいて両眼視差法により割り出して予め設定してある奥行き距離と比較し、前記被写体までの距離と前記奥行き距離とが所定の許容範囲内で一致している前記右眼活動矩形領域及び前記左眼活動矩形領域を前記操作者による活動矩形領域として選択し、選択した前記活動矩形領域に仮想カーソル制御処理／画面制御処理を行って、前記被写体の手、又は指先の動きを検出し、この検出結果に応じたポインティングデータを生成し、遠隔操作対象機器の動作を制御する共通処理基板と、
を備えることを特徴とする入力装置。
【請求項２９】
前記仮想カーソル制御処理／画面制御処理回路は、仮想カーソル活動領域画像上に活動矩形領域群が１つあるとき、その形状、移動有無に基づき、カールソル制御指示、又は画面スクロール指示を生成することを特徴とする請求項２８に記載の入力装置。
【請求項３０】
前記仮想カーソル制御処理／画面制御処理回路は、仮想カーソル活動領域画像上に活動矩形領域群が２つあるとき、その移動方向に基づき、画面回転指示、画面拡大指示、画面縮小指示の何れかを生成することを特徴とする請求項２８又は請求項２９に記載の入力装置。
【請求項３１】
前記活動矩形領域抽出処理は、ヒストグラムの統計処理結果を使用して、前記ヒストグラムから仮想ボタンクリック活動領域画像を作成することを特徴とする請求項２８乃至請求項３０の何れか一つに記載の入力装置。
【請求項３２】
前記活動矩形領域抽出処理は、前記仮想ボタンクリック活動領域画像に対し、多段階矩形オブジェクト抽出処理を行い、ノイズ成分を除去することを特徴とする請求項２８乃至請求項３１の何れか一つに記載の入力装置。
【請求項３３】
拡大／縮小矩形マスク作成処理回路を付加し、前記拡大／縮小矩形マスク作成処理回路によって、前記カラーカメラ、前記カラーカメラ本体で得られたカラー画像の中から、前記仮想ボタンクリック活動領域画像の変化領域矩形に対応する画像を抽出し、それ以外の画像をカットして、ノイズ成分を除去することを特徴とする請求項２８乃至請求項３２の何れか一つに記載の入力装置。
【請求項３４】
前記操作指示の認識結果を表示するディスプレイ部を具備し、
前記共通処理基板は、カーソルの表示待機中に前記操作者の手若しくは指による第１の形態の動きを検出すると前記ディスプレイ部に前記仮想カーソルを第１の状態で表示し、該第１の状態での表示中に前記手若しくは指による前記第１の動きが停止又は前記第１の動きが小さくなるのを検出すると前記仮想カーソルを第２の状態で表示すると共に、実カーソルを表示するカーソル表示制御部を備えたことを特徴とする請求項２８乃至請求項３３の何れか一つに記載の入力装置。
【請求項３５】
前記共通処理基板は、前記仮想カーソルが前記第２の状態で表示されているときに、前記手若しくは指が前記第１の形態の動きをすると、その手若しくは指の位置に前記カーソルの移動を指示する第１の前記ポインティングデータを生成するカーソル移動制御部を備えたことを特徴とする請求項３４に記載の入力装置。
【請求項３６】
前記共通処理基板は、前記仮想カーソルが前記第１の状態で表示されているときに、前記手若しくは指による第２の形態の動きを検出するとクリック操作であることを示す第２の前記ポインティングデータを生成し、第２の形態の動きに続く第３の形態の動きを検出するとダブルクリック操作であることを示す第３の前記ポインティングデータを生成するクリック制御部を備えたことを特徴とする請求項３４又は請求項３５に記載の入力装置。
【請求項３７】
前記共通処理基板は、前記仮想カーソルが前記第１の状態で表示されているときに、前記手若しくは指による第４の形態の動きを検出すると、前記ディスプレイ部の画面スクロールを指示する第４の前記ポインティングデータを生成する画面スクロール制御部を備えたことを特徴とする請求項３４乃至請求項３６の何れか一つに記載の入力装置。
【請求項３８】
前記共通処理基板は、前記ディスプレイ部に表示されたオブジェクトに前記実カーソルが重ねられた状態で前記手若しくは指による第５の形態の動きを検出すると前記オブジェクトがドラッグの対象オブジェクトであることを認識し、認識後の前記手若しくは指による移動に追随した前記オブジェクトの移動を指示する第５の前記ポインティングデータを生成し、続いて前記手若しくは指による前記第１形態での動きを検出すると前記オブジェクトのドロップを指示する第６の前記ポインティングデータを生成するドラッグアンドドロップ制御部を備えたことを特徴とする請求項３４乃至請求項３７の何れか一つに記載の入力装置。
【請求項３９】
前記共通処理基板は、２つの前記手若しくは指がそれぞれ前記第１の形態の動きを行うのを検出すると２点カーソルを表示し、前記第１の形態の動きを行う前記手若しくは指の間隔が拡大又は縮小されるのに応じて前記２点カーソルの間隔を拡大又は縮小表示し、前記第１の形態の動きの停止にて前記２点カーソルの間隔に応じて前記ディスプレイ部の拡大表示又は縮小表示を指示する第７の前記ポインティングデータを生成する画面拡大・縮小制御部を備えたことを特徴とする請求項３４乃至請求項３８の何れか一つに記載の入力装置。
【請求項４０】
前記共通処理基板は、２つの前記手若しくは指がそれぞれ前記第１の形態の動きを行うのを検出すると前記２点カーソルを表示すると共に、前記第１の形態の動きを行う前記手若しくは指の相対位置の上下の変化に応じて前記２点カーソルの相対位置を上下に変化させて表示し、前記第１の形態の動きの停止にて前記２点カーソルの上下の位置関係に応じて前記ディスプレイ部の表示の右回転又は左回転を指示する第８の前記ポインティングデータを生成する画面回転制御部を備えたことを特徴とする請求項３４乃至請求項３９の何れか一つに記載の入力装置。
【請求項４１】
前記ディスプレイ部は、前記撮像装置による前記操作者の画像を透過表示することを特徴とする請求項３４乃至請求項４０の何れか一つに記載の入力装置。
【請求項４２】
前記ディスプレイ部は、前記操作者が操作指示の動きをしているとき前記画像を透過表示することを特徴とする請求項４１に記載の入力装置。
【請求項４３】
前記ディスプレイ部は、前記操作者が前記手若しくは指の動きにて行う操作指示のエフェクトを表示することを特徴とする請求項３４乃至請求項４２の何れか一つに記載の入力装置。
【請求項１】
撮像装置で得られた操作者の画像を処理して、操作者の動作内容に応じた操作指示を生成する入力装置であって、
右眼用撮像装置と、
前記右眼用撮像装置から所定の間隔を置いた位置に、前記右眼用撮像装置と並んで配置される左眼用撮像装置と、
被写体に対する前記右眼用撮像装置と前記左眼用撮像装置の画像から両眼視差法により前記被写体までの距離を測定する距離測定手段と、
前記右眼用撮像装置と前記左眼用撮像装置との間の前記間隔に基づいて両眼視差法により割り出して予め設定してある奥行き距離と前記距離測定手段が測定した前記被写体までの距離とを比較し、前記被写体までの距離と前記奥行き距離とが所定の許容範囲内で一致している前記被写体を選択して前記操作者と判別する被写体判別手段と、
前記被写体判別手段が判別した前記被写体の動きを検出し、この検出結果に応じた操作指示を生成する操作指示生成手段と、
を備えたことを特徴とする入力装置。
【請求項２】
前記操作指示の認識結果を表示するディスプレイ部を具備し、
前記操作指示生成手段は、カーソルの表示待機中に前記操作者の手若しくは指による第１の形態の動きを検出すると前記ディスプレイ部に前記仮想カーソルを第１の状態で表示し、該第１の状態での表示中に前記手若しくは指による前記第１の動きが停止又は前記第１の動きが小さくなるのを検出すると前記仮想カーソルを第２の状態で表示すると共に、実カーソルを表示するカーソル表示制御手段を備えたことを特徴とする請求項１に記載の入力装置。
【請求項３】
前記操作指示生成手段は、前記仮想カーソルが前記第２の状態で表示されているときに、前記手若しくは指が前記第１の形態の動きをすると、その手若しくは指の位置に前記カーソルの移動を指示する第１の信号を生成するカーソル移動制御手段を備えたことを特徴とする請求項２に記載の入力装置。
【請求項４】
前記操作指示生成手段は、前記仮想カーソルが前記第１の状態で表示されているときに、前記手若しくは指による第２の形態の動きを検出するとクリック操作と認識する第２の信号を生成し、第２の形態の動きに続く第３の形態の動きを検出するとダブルクリック操作と認識する第３の信号を生成するクリック制御手段を備えたことを特徴とする請求項２又は請求項３に記載の入力装置。
【請求項５】
前記操作指示生成手段は、前記仮想カーソルが前記第１の状態で表示されているときに、前記手若しくは指による第４の形態の動きを検出すると、前記ディスプレイ部の画面スクロールを指示する第４の信号を生成する画面スクロール制御手段を備えたことを特徴とする請求項２乃至請求項４の何れか一つに記載の入力装置。
【請求項６】
前記操作指示生成手段は、前記ディスプレイ部に表示されたオブジェクトに前記実カーソルが重ねられた状態で前記手若しくは指による第５の形態の動きを検出すると前記オブジェクトがドラッグの対象オブジェクトであることを認識し、認識後の前記手若しくは指による移動に追随した前記オブジェクトの移動を指示する第５の信号を生成し、続いて前記手若しくは指による前記第１形態での動きを検出すると前記オブジェクトのドロップを指示する第６の信号を生成するドラッグアンドドロップ制御手段を備えたことを特徴とする請求項２乃至請求項５の何れか一つに記載の入力装置。
【請求項７】
前記操作指示生成手段は、２つの前記手若しくは指がそれぞれ前記第１の形態の動きを行うのを検出すると２点カーソルを表示し、前記第１の形態の動きを行う前記手若しくは指の間隔が拡大又は縮小されるのに応じて前記２点カーソルの間隔を拡大又は縮小表示し、前記第１の形態の動きの停止にて前記２点カーソルの間隔に応じて前記ディスプレイ部の拡大表示又は縮小表示を指示する第７の信号を生成する画面拡大・縮小制御手段を備えたことを特徴とする請求項２乃至請求項６の何れか一つに記載の入力装置。
【請求項８】
前記操作指示生成手段は、２つの前記手若しくは指がそれぞれ前記第１の形態の動きを行うのを検出すると前記２点カーソルを表示すると共に、前記第１の形態の動きを行う前記手若しくは指の相対位置の上下の変化に応じて前記２点カーソルの相対位置を上下に変化させて表示し、前記第１の形態の動きの停止にて前記２点カーソルの上下の位置関係に応じて前記ディスプレイ部の表示の右回転又は左回転を指示する第８の信号を生成する画面回転制御手段を備えたことを特徴とする請求項２乃至請求項７の何れか一つに記載の入力装置。
【請求項９】
前記ディスプレイ部は、前記撮像装置による前記操作者の画像を透過表示することを特徴とする請求項２乃至請求項８の何れか一つに記載の入力装置。
【請求項１０】
前記ディスプレイ部は、前記操作者が操作指示の動きをしているとき前記画像を透過表示することを特徴とする請求項９に記載の入力装置。
【請求項１１】
前記ディスプレイ部は、前記操作者が前記手若しくは指の動きにて行う操作指示のエフェクトを表示することを特徴とする請求項２乃至請求項１０の何れか一つに記載の入力装置。
【請求項１２】
ビデオカメラで得られた操作者の画像を処理して、操作者の動作内容に応じた操作指示を生成する入力装置であって、
右眼用カラーカメラと、
前記右眼用カラーカメラから所定距離だけ離れた位置に、前記右眼用カラーカメラと並んで配置される左眼用カラーカメラと、
被写体を捉えた前記右眼用カラーカメラから出力されるカラー画像に対し、グレー化処理、画像分割／２値化処理、フレーム間差分処理、ヒストグラム処理、活動矩形領域抽出処理を行い、前記操作者の右眼側活動矩形領域を抽出する右眼側画像処理プログラムと、
前記被写体を捉えた前記左眼用カラーカメラから出力されるカラー画像に対し、グレー化処理、画像分割／２値化処理、フレーム間差分処理、ヒストグラム処理、活動矩形領域抽出処理を行い、前記操作者の左眼側活動矩形領域を抽出する左眼側画像処理プログラムと、
前記右眼側画像処理プログラムで得られた右眼側活動矩形領域の座標軸と前記左眼側画像処理プログラムで得られた左眼側活動矩形領域の座標軸との中心座標距離を演算することで両眼視差法による前記被写体までの距離を測定し、測定した前記被写体までの距離を前記右眼用撮像装置と前記左眼用撮像装置との間の前記間隔に基づいて両眼視差法により割り出して予め設定してある奥行き距離と比較し、前記被写体までの距離と前記奥行き距離とが所定の許容範囲内で一致している前記右眼活動矩形領域及び前記左眼活動矩形領域を前記操作者による活動矩形領域として選択する活動領域選択処理プログラムと、
前記活動領域選択処理プログラムにて選択された活動矩形領域に対し、仮想カーソル制御処理／画面制御処理を行って、前記被写体の手、又は指先の動きを検出し、この検出結果に応じた操作指示を生成する画像処理プログラムと、
を備えたことを特徴とする入力装置。
【請求項１３】
前記仮想カーソル制御処理／画面制御処理は、仮想カーソル活動領域画像上に活動矩形領域群が１つあるとき、その形状、移動有無に基づき、カールソル制御指示、又は画面スクロール指示を生成することを特徴とする請求項１２に記載の入力装置。
【請求項１４】
前記仮想カーソル制御処理／画面制御処理は、仮想カーソル活動領域画像上に活動矩形領域群が２つあるとき、その移動方向に基づき、画面回転指示、画面拡大指示、画面縮小指示の何れかを生成することを特徴とする請求項１２又は請求項１３に記載の入力装置。
【請求項１５】
前記活動矩形領域抽出処理は、ヒストグラムの統計処理結果を使用して、前記ヒストグラムから仮想カーソル活動領域画像を作成することを特徴とする請求項１２乃至請求項１４の何れか一つに記載の入力装置。
【請求項１６】
前記活動矩形領域抽出処理は、前記仮想カーソル活動領域画像に対し、多段階矩形オブジェクト抽出処理を行い、ノイズ成分を除去することを特徴とする請求項１２乃至請求項１５の何れか一つに記載の入力装置。
【請求項１７】
拡大／縮小矩形マスク作成処理を付加し、前記拡大／縮小矩形マスク作成処理によって、前記カラーカメラで得られたカラー画像の中から、前記仮想カーソル活動領域画像上の変化領域矩形に対応する画像を抽出し、それ以外の画像をカットして、ノイズ成分を除去することを特徴とする請求項１２乃至請求項１６の何れか一つに記載の入力装置。
【請求項１８】
前記操作指示の認識結果を表示するディスプレイ部を具備し、
前記画像処理プログラムは、カーソルの表示待機中に前記操作者の手若しくは指による第１の形態の動きを検出すると前記ディスプレイ部に前記仮想カーソルを第１の状態で表示し、該第１の状態での表示中に前記手若しくは指による前記第１の動きが停止又は前記第１の動きが小さくなるのを検出すると前記仮想カーソルを第２の状態で表示すると共に、実カーソルを表示するカーソル表示制御のステップを備えたことを特徴とする請求項１２乃至請求項１７の何れか一つに記載の入力装置。
【請求項１９】
前記画像処理プログラムは、前記仮想カーソルが前記第２の状態で表示されているときに、前記手若しくは指が前記第１の形態の動きをすると、その手若しくは指の位置に前記カーソルの移動を指示する第１の信号を生成するカーソル移動制御のステップを備えたことを特徴とする請求項１８に記載の入力装置。
【請求項２０】
前記画像処理プログラムは、前記仮想カーソルが前記第１の状態で表示されているときに、前記手若しくは指による第２の形態の動きを検出するとクリック操作と認識する第２の信号を生成し、第２の形態の動きに続く第３の形態の動きを検出するとダブルクリック操作と認識する第３の信号を生成するクリック制御のステップを備えたことを特徴とする請求項１８又は請求項１９に記載の入力装置。
【請求項２１】
前記画像処理プログラムは、前記仮想カーソルが前記第１の状態で表示されているときに、前記手若しくは指による第４の形態の動きを検出すると、前記ディスプレイ部の表示のフリップを指示する第４の信号を生成する画面スクロール制御のステップを備えたことを特徴とする請求項１８乃至請求項２０の何れか一つに記載の入力装置。
【請求項２２】
前記画像処理プログラムは、前記ディスプレイ部に表示されたオブジェクトに前記実カーソルが重ねられた状態で前記手若しくは指による第５の形態の動きを検出すると前記オブジェクトがドラッグの対象オブジェクトであることを認識し、認識後の前記手若しくは指による移動に追随した前記オブジェクトの移動を指示する第５の信号を生成し、続いて前記手若しくは指による前記第１形態での動きを検出すると前記オブジェクトのドロップを指示する第６の信号を生成するドラッグアンドドロップ制御のステップを備えたことを特徴とする請求項１８乃至請求項２１の何れか一つに記載の入力装置。
【請求項２３】
前記画像処理プログラムは、２つの前記手若しくは指がそれぞれ前記第１の形態の動きを行うのを検出すると２点カーソルを表示し、前記第１の形態の動きを行う前記手若しくは指の間隔が拡大又は縮小されるのに応じて前記２点カーソルの間隔を拡大又は縮小表示し、前記第１の形態の動きの停止にて前記２点カーソルの間隔に応じて前記ディスプレイ部の拡大表示又は縮小表示を指示する第７の信号を生成する画面拡大・縮小制御のステップを備えたことを特徴とする請求項１８乃至請求項２２の何れか一つに記載の入力装置。
【請求項２４】
前記画像処理プログラムは、２つの前記手若しくは指がそれぞれ前記第１の形態の動きを行うのを検出すると前記２点カーソルを表示すると共に、前記第１の形態の動きを行う前記手若しくは指の相対位置の上下の変化に応じて前記２点カーソルの相対位置を上下に変化させて表示し、前記第１の形態の動きの停止にて前記２点カーソルの上下の位置関係に応じて前記ディスプレイ部の表示の右回転又は左回転を指示する第８の信号を生成する画面回転制御のステップを備えたことを特徴とする請求項１８乃至請求項２３の何れか一つに記載の入力装置。
【請求項２５】
前記ディスプレイ部は、前記カラーカメラによる前記操作者の画像を透過表示することを特徴とする請求項１８乃至請求項２４の何れか一つに記載の入力装置。
【請求項２６】
前記ディスプレイ部は、前記操作者が操作指示の動きをしているとき前記画像を透過表示することを特徴とする請求項２５に記載の入力装置。
【請求項２７】
前記ディスプレイ部は、前記操作者が前記手若しくは指の動きにて行う操作指示のエフェクトを表示することを特徴とする請求項１８乃至請求項２６の何れか一つに記載の入力装置。
【請求項２８】
ビデオカメラで得られた操作者の画像を処理して、操作者の動作内容に応じた操作指示を生成し、遠隔操作対象機器の動作を制御する入力装置であって、
箱形に形成される入力装置筐体と、
この入力装置筐体の前面左側に取り付けられる右眼用カラーカメラ本体と、
前記入力装置筐体の前面右側に取り付けられる左眼用カラーカメラ本体と、
前記入力装置筐体内に配置され、グレー化処理回路、画像分割／２値化処理回路、フレーム間差分処理回路、ヒストグラム処理回路、活動矩形領域抽出処理回路によって、前記右眼用カラーカメラ本体から出力されるカラー画像を処理して、前記操作者の右眼側活動矩形領域を抽出する右眼側画像処理基板と、
前記入力装置筐体内に配置され、グレー化処理回路、画像分割／２値化処理回路、フレーム間差分処理回路、ヒストグラム処理回路、活動矩形領域抽出処理回路によって、前記左眼用カラーカメラ本体から出力されるカラー画像を処理して、前記操作者の左眼側活動矩形領域を抽出する左眼側画像処理基板と、
前記入力装置筐体内に配置され、活動矩形領域選択処理回路、仮想カーソル制御処理／画面制御処理回路によって、両眼視差法を使用して、前記右眼側画像処理プログラムで得られた右眼側活動矩形領域の座標軸と前記左眼側画像処理プログラムで得られた左眼側活動矩形領域の座標軸とから被写体までの距離を演算することで両眼視差法による前記被写体までの距離を測定し、前記被写体までの距離を前記右眼用撮像装置と前記左眼用撮像装置との間の前記間隔に基づいて両眼視差法により割り出して予め設定してある奥行き距離と比較し、前記被写体までの距離と前記奥行き距離とが所定の許容範囲内で一致している前記右眼活動矩形領域及び前記左眼活動矩形領域を前記操作者による活動矩形領域として選択し、選択した前記活動矩形領域に仮想カーソル制御処理／画面制御処理を行って、前記被写体の手、又は指先の動きを検出し、この検出結果に応じたポインティングデータを生成し、遠隔操作対象機器の動作を制御する共通処理基板と、
を備えることを特徴とする入力装置。
【請求項２９】
前記仮想カーソル制御処理／画面制御処理回路は、仮想カーソル活動領域画像上に活動矩形領域群が１つあるとき、その形状、移動有無に基づき、カールソル制御指示、又は画面スクロール指示を生成することを特徴とする請求項２８に記載の入力装置。
【請求項３０】
前記仮想カーソル制御処理／画面制御処理回路は、仮想カーソル活動領域画像上に活動矩形領域群が２つあるとき、その移動方向に基づき、画面回転指示、画面拡大指示、画面縮小指示の何れかを生成することを特徴とする請求項２８又は請求項２９に記載の入力装置。
【請求項３１】
前記活動矩形領域抽出処理は、ヒストグラムの統計処理結果を使用して、前記ヒストグラムから仮想ボタンクリック活動領域画像を作成することを特徴とする請求項２８乃至請求項３０の何れか一つに記載の入力装置。
【請求項３２】
前記活動矩形領域抽出処理は、前記仮想ボタンクリック活動領域画像に対し、多段階矩形オブジェクト抽出処理を行い、ノイズ成分を除去することを特徴とする請求項２８乃至請求項３１の何れか一つに記載の入力装置。
【請求項３３】
拡大／縮小矩形マスク作成処理回路を付加し、前記拡大／縮小矩形マスク作成処理回路によって、前記カラーカメラ、前記カラーカメラ本体で得られたカラー画像の中から、前記仮想ボタンクリック活動領域画像の変化領域矩形に対応する画像を抽出し、それ以外の画像をカットして、ノイズ成分を除去することを特徴とする請求項２８乃至請求項３２の何れか一つに記載の入力装置。
【請求項３４】
前記操作指示の認識結果を表示するディスプレイ部を具備し、
前記共通処理基板は、カーソルの表示待機中に前記操作者の手若しくは指による第１の形態の動きを検出すると前記ディスプレイ部に前記仮想カーソルを第１の状態で表示し、該第１の状態での表示中に前記手若しくは指による前記第１の動きが停止又は前記第１の動きが小さくなるのを検出すると前記仮想カーソルを第２の状態で表示すると共に、実カーソルを表示するカーソル表示制御部を備えたことを特徴とする請求項２８乃至請求項３３の何れか一つに記載の入力装置。
【請求項３５】
前記共通処理基板は、前記仮想カーソルが前記第２の状態で表示されているときに、前記手若しくは指が前記第１の形態の動きをすると、その手若しくは指の位置に前記カーソルの移動を指示する第１の前記ポインティングデータを生成するカーソル移動制御部を備えたことを特徴とする請求項３４に記載の入力装置。
【請求項３６】
前記共通処理基板は、前記仮想カーソルが前記第１の状態で表示されているときに、前記手若しくは指による第２の形態の動きを検出するとクリック操作であることを示す第２の前記ポインティングデータを生成し、第２の形態の動きに続く第３の形態の動きを検出するとダブルクリック操作であることを示す第３の前記ポインティングデータを生成するクリック制御部を備えたことを特徴とする請求項３４又は請求項３５に記載の入力装置。
【請求項３７】
前記共通処理基板は、前記仮想カーソルが前記第１の状態で表示されているときに、前記手若しくは指による第４の形態の動きを検出すると、前記ディスプレイ部の画面スクロールを指示する第４の前記ポインティングデータを生成する画面スクロール制御部を備えたことを特徴とする請求項３４乃至請求項３６の何れか一つに記載の入力装置。
【請求項３８】
前記共通処理基板は、前記ディスプレイ部に表示されたオブジェクトに前記実カーソルが重ねられた状態で前記手若しくは指による第５の形態の動きを検出すると前記オブジェクトがドラッグの対象オブジェクトであることを認識し、認識後の前記手若しくは指による移動に追随した前記オブジェクトの移動を指示する第５の前記ポインティングデータを生成し、続いて前記手若しくは指による前記第１形態での動きを検出すると前記オブジェクトのドロップを指示する第６の前記ポインティングデータを生成するドラッグアンドドロップ制御部を備えたことを特徴とする請求項３４乃至請求項３７の何れか一つに記載の入力装置。
【請求項３９】
前記共通処理基板は、２つの前記手若しくは指がそれぞれ前記第１の形態の動きを行うのを検出すると２点カーソルを表示し、前記第１の形態の動きを行う前記手若しくは指の間隔が拡大又は縮小されるのに応じて前記２点カーソルの間隔を拡大又は縮小表示し、前記第１の形態の動きの停止にて前記２点カーソルの間隔に応じて前記ディスプレイ部の拡大表示又は縮小表示を指示する第７の前記ポインティングデータを生成する画面拡大・縮小制御部を備えたことを特徴とする請求項３４乃至請求項３８の何れか一つに記載の入力装置。
【請求項４０】
前記共通処理基板は、２つの前記手若しくは指がそれぞれ前記第１の形態の動きを行うのを検出すると前記２点カーソルを表示すると共に、前記第１の形態の動きを行う前記手若しくは指の相対位置の上下の変化に応じて前記２点カーソルの相対位置を上下に変化させて表示し、前記第１の形態の動きの停止にて前記２点カーソルの上下の位置関係に応じて前記ディスプレイ部の表示の右回転又は左回転を指示する第８の前記ポインティングデータを生成する画面回転制御部を備えたことを特徴とする請求項３４乃至請求項３９の何れか一つに記載の入力装置。
【請求項４１】
前記ディスプレイ部は、前記撮像装置による前記操作者の画像を透過表示することを特徴とする請求項３４乃至請求項４０の何れか一つに記載の入力装置。
【請求項４２】
前記ディスプレイ部は、前記操作者が操作指示の動きをしているとき前記画像を透過表示することを特徴とする請求項４１に記載の入力装置。
【請求項４３】
前記ディスプレイ部は、前記操作者が前記手若しくは指の動きにて行う操作指示のエフェクトを表示することを特徴とする請求項３４乃至請求項４２の何れか一つに記載の入力装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【図４８】
【図４９】
【図５０】
【図５１】
【図５２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【図４８】
【図４９】
【図５０】
【図５１】
【図５２】
【公開番号】特開２０１２−２３８２９３（Ｐ２０１２−２３８２９３Ａ）
【公開日】平成２４年１２月６日（２０１２．１２．６）
【国際特許分類】
【出願番号】特願２０１１−１３９９８４（Ｐ２０１１−１３９９８４）
【出願日】平成２３年６月２４日（２０１１．６．２４）
【出願人】（５０５２８８６８６）株式会社ネクステッジテクノロジー (3)
【Ｆターム（参考）】
【公開日】平成２４年１２月６日（２０１２．１２．６）
【国際特許分類】
【出願日】平成２３年６月２４日（２０１１．６．２４）
【出願人】（５０５２８８６８６）株式会社ネクステッジテクノロジー (3)
【Ｆターム（参考）】
[ Back to top ]