データ入力方法およびデータ入力装置
【課題】使用状況にあわせた適切なキーボード像を投影して仮想キーボードシステムを実現するデータ入力方法およびデータ入力装置を提供する。
【解決手段】キーボード投影面または操作者の手部分の少なくとも１つを撮影する２台以上の画像撮影手段１１０と、画像撮影手段による撮影データを解析し、該解析結果に基づいてキーボード像のもとになる投影データを加工する投影データ生成手段１２２と、投影データ生成手段で生成された投影データに基づいて、投影面に対して前記キーボード像を投影する画像投影手段と、画像撮影手段による撮影データを解析し、該解析結果に基づいて前記操作者の操作による入力データを生成する入力データ処理手段１２３と、を有することを特徴とする。
【解決手段】キーボード投影面または操作者の手部分の少なくとも１つを撮影する２台以上の画像撮影手段１１０と、画像撮影手段による撮影データを解析し、該解析結果に基づいてキーボード像のもとになる投影データを加工する投影データ生成手段１２２と、投影データ生成手段で生成された投影データに基づいて、投影面に対して前記キーボード像を投影する画像投影手段と、画像撮影手段による撮影データを解析し、該解析結果に基づいて前記操作者の操作による入力データを生成する入力データ処理手段１２３と、を有することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想的なキーボード像を投影し、その投影されたキーボード像によりデータ入力を行うデータ入力方法およびデータ入力装置に関する。
【背景技術】
【０００２】
テーブルなどを投影面として、キーボード像を投影し、このキーボード像に対する操作者の操作状況を撮影することで、投影面におけるキーボード像に対する操作からデータ入力を受け付けるデータ入力方法・装置が存在している。
【０００３】
このようなデータ入力方法・装置としては、以下の特許文献などに各種の提案がなされている。
【特許文献１】特表2002-526867公報（第1頁、図1）
【特許文献２】特開2003-288156公報（第1頁、図1）
【特許文献３】特表2004-523031公報（第1頁、図1）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記特許文献１は、マウスやキーボードのイメージを液晶プロジェクタで表面に投影し、それに対するユーザーの動作をカメラで取り込み、その移動方向やタイピング内容を抽出するシステムが記載されている。
【０００５】
また、上記特許文献２は、２台以上のカメラを用いてユーザーの指の位置を検出し、最初の指の位置を仮想キーボードの基準位置として、その後の入力操作（指の動き）に対するキー情報を入力するシステムが記載されている。そして、このシステムでは、ユーザーの指先位置の履歴情報を保持し、仮想キーのずれを校正する。カメラは指先上方とその垂直面を撮影するようにしている。
【０００６】
上記特許文献３は、仮想キーボード基本特許であり、キーボード画像を投影し、カメラで投影像全体エリアを撮影するものであり、キーボードは台形であって、投影光は特定の波長で、カメラもその波長光を感知するシステムが記載されている。
【０００７】
以上の特許文献の場合、使用者が望む状態の形状やレイアウトの任意のキーボード像を投影できないという根本的な問題がある。また、投影によるキーボード像の歪みなどに配慮がなされていないという問題もある。また、いずれも、仮想キーボードの投影場所の色や形状を考慮していない問題がある。さらに、タイピング時の手（障害物）の存在を考慮していないという問題もある。
【０００８】
本発明は、以上のような課題を解決するためになされたものであって、使用状況にあわせた適切なキーボード像を投影して仮想キーボードシステムを実現するデータ入力方法およびデータ入力装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
以上の課題を解決する本発明は、以下に記載するようなものである。
（１）請求項１記載の発明は、画像投影手段により投影面に対してキーボード像を投影し、該キーボード像に対する操作者の操作状況を画像撮影手段で撮影することで、前記投影面における前記キーボード像に対するデータ入力を受け付けるデータ入力方法であって、キーボード投影面または操作者の手部分の少なくとも１つを２台以上の画像撮影手段で撮影し、前記画像撮影手段による撮影データを解析し、該解析結果に基づいて前記キーボード像のもとになる投影データを投影データ生成手段で生成し、前記投影データ生成手段で生成された投影データに基づいて、前記投影面に対して前記キーボード像を画像投影手段により投影し、前記画像撮影手段による撮影データを解析し、該解析結果に基づいて前記操作者の操作による入力データを入力データ処理手段で生成する、ことを特徴とするデータ入力方法である。
【００１０】
（２）請求項２記載の発明は、投影面に対してキーボード像を投影し、該キーボード像に対する操作者の操作状況を撮影することで、前記投影面における前記キーボード像に対するデータ入力を受け付けるデータ入力装置であって、キーボード投影面または操作者の手部分の少なくとも１つを撮影する２台以上の画像撮影手段と、前記画像撮影手段による撮影データを解析し、該解析結果に基づいて前記キーボード像のもとになる投影データを加工する投影データ生成手段と、前記投影データ生成手段で生成された投影データに基づいて、前記投影面に対して前記キーボード像を投影する画像投影手段と、前記画像撮影手段による撮影データを解析し、該解析結果に基づいて前記操作者の操作による入力データを生成する入力データ処理手段と、を有することを特徴とするデータ入力装置である。
【００１１】
（３）請求項３記載の発明は、前記投影データ生成手段は、前記画像撮影手段による撮影データを解析し、前記キーボード投影面または前記操作者の手部分の少なくとも１つの、三次元情報または距離情報を生成し、前記投影データを加工する、ことを特徴とする請求項２記載のデータ入力装置である。
【００１２】
（４）請求項４記載の発明は、前記投影データ生成手段は、前記画像撮影手段による撮影データを解析し、前記操作者の手に前記キーボード像が投影されないように、前記投影データを加工する、ことを特徴とする請求項２記載のデータ入力装置である。
【００１３】
（５）請求項５記載の発明は、前記入力データ処理手段は、前記撮影データに含まれる前記投影面の色情報を解析し、前記投影データ生成手段は、前記入力データ処理手段で解析された前記投影面の色情報に応じて、前記キーボード像に用いる色を決定し、前記投影データを生成する、ことを特徴とする請求項２記載のデータ入力装置である。
【００１４】
（６）請求項６記載の発明は、前記投影データ生成手段は、前記画像撮影手段による撮影データを解析し、前記操作者の指の位置に応じて、前記キーボード像が投影されるように前記投影データを加工する、ことを特徴とする請求項２記載のデータ入力装置である。
【００１５】
（７）請求項７記載の発明は、前記投影データ生成手段は、前記画像撮影手段による撮影データを解析し、前記操作者の指の位置に応じて、前記キーボード像が投影されるように前記投影データを加工すると共に、前記キーボード投影面に前記キーボード像の全体が投影できるか否かを判定し、前記キーボード投影面に前記キーボード像の一部が投影できない状態であると判定された場合には、エラーである旨の投影データを生成する、ことを特徴とする請求項２記載のデータ入力装置である。
【００１６】
（８）請求項８記載の発明は、前記投影データ生成手段は、前記画像撮影手段による撮影データを解析し、前記操作者の手がなければ前記投影面上に投影される像を、前記投影面に対応する手の所定の位置に投影されるように前記投影データを加工する、ことを特徴とする請求項２記載のデータ入力装置である。
【００１７】
（９）請求項９記載の発明は、前記画像投影手段は、複数の位置からの投影により前記キーボード像を合成して投影する、ことを特徴とする請求項２乃至請求項８のいずれか一項に記載のデータ入力装置である。
【発明の効果】
【００１８】
本発明のデータ入力方法・装置によると以下のような効果が得られる。
（１）請求項１記載のデータ入力方法の発明では、画像投影手段により投影面に対してキーボード像を投影し、該キーボード像に対する操作者の操作状況を画像撮影手段で撮影することで、投影面におけるキーボード像に対するデータ入力を受け付ける際に、キーボード投影面または操作者の手部分の少なくとも１つを２台以上の画像撮影手段で撮影し、画像撮影手段による撮影データを解析し、該解析結果に基づいてキーボード像のもとになる投影データを投影データ生成手段で生成し、投影データ生成手段で生成された投影データに基づいて、投影面に対してキーボード像を画像投影手段により投影し、画像撮影手段による撮影データを解析し、該解析結果に基づいて操作者の操作による入力データを入力データ処理手段で生成することにより、投影されたキーボード像（仮想キーボード）の投影像を良好に生成した状態でのデータ入力を実現できる。
【００１９】
（２）請求項２記載のデータ入力装置の発明では、画像投影手段により投影面に対してキーボード像を投影し、該キーボード像に対する操作者の操作状況を画像撮影手段で撮影することで、投影面におけるキーボード像に対するデータ入力を受け付ける際に、キーボード投影面または操作者の手部分の少なくとも１つを２台以上の画像撮影手段で撮影し、画像撮影手段による撮影データを解析し、該解析結果に基づいてキーボード像のもとになる投影データを投影データ生成手段で生成し、投影データ生成手段で生成された投影データに基づいて、投影面に対してキーボード像を画像投影手段により投影し、画像撮影手段による撮影データを解析し、該解析結果に基づいて操作者の操作による入力データを入力データ処理手段で生成することにより、投影されたキーボード像（仮想キーボード）の投影像を良好に生成した状態でのデータ入力を実現できる。
【００２０】
（３）請求項３記載のデータ入力装置の発明では、投影データ生成手段が、画像撮影手段による撮影データを解析し、キーボード投影面または操作者の手部分の少なくとも１つの三次元情報または距離情報を生成して、投影データを加工することにより、歪の少ない状態でキーボード像を投影でき、良好な状態でのデータ入力を実現できる。
【００２１】
（４）請求項４記載のデータ入力装置の発明では、投影データ生成手段が、画像撮影手段による撮影データを解析し、操作者の手にキーボード像が投影されないように投影データを加工することにより、操作者の手にキーボード像が映らなくなり、煩わしさが解消でき、良好な状態でのデータ入力を実現できる。
【００２２】
（５）請求項５記載のデータ入力装置の発明では、入力データ処理手段が、撮影データに含まれる投影面の色情報を解析し、解析された投影面の色情報に応じて投影データ生成手段がキーボード像に用いる色を決定することで、仮想キーボードとして視認性が高い状態とすることができ、良好な状態でのデータ入力を実現できる。
【００２３】
（６）請求項６記載のデータ入力装置の発明では、投影データ生成手段が、画像撮影手段による撮影データを解析し、操作者の指の位置に応じて、キーボード像が投影されるように投影データを加工することにより、操作者の使用位置や手の大きさにあわせてキーボード像を投影することができ、良好な状態でのデータ入力を実現できる。
【００２４】
（７）請求項７記載のデータ入力装置の発明では、投影データ生成手段が、画像撮影手段による撮影データを解析し、操作者の指の位置に応じてキーボード像が投影されるように投影データを加工すると共に、キーボード投影面にキーボード像の全体が投影できるか否かを判定し、キーボード投影面にキーボード像の一部が投影できない状態であると判定された場合には、エラーである旨の投影データを生成することにより、操作者の望み通りの位置や場所や大きさでキーボードを使えるか事前確認でき、良好な状態でのデータ入力を実現できる。
【００２５】
（８）請求項８記載の発明では、投影データ生成手段が、撮影データを解析し、操作者の手がなければ投影面上に投影される像を、投影面に対応する手の所定の位置に投影されるように投影データを加工することにより、操作者の手の動きを隠すように、キーボード像を投影できるので隠匿性が高まる。
【００２６】
（９）請求項９記載のデータ入力装置の発明では、画像投影手段は、複数の位置からの投影によりキーボード像を合成して投影する、ことにより、仮想キーボード像の影（投影されない領域）が減少し、良好な状態でのデータ入力を実現できる。
【発明を実施するための最良の形態】
【００２７】
以下、図面を参照して本発明を実施するための最良の形態（以下、実施形態）を詳細に説明する。なお、本実施形態では、データ入力装置の動作・処理手順がデータ入力方法である。また、データ入力方法は、データ入力装置を用いて実現される。
【００２８】
［１］データ入力装置の構成：
図１は本発明の第１の実施形態のデータ入力装置１００内の詳細構成を示すブロック図である。なお、この図１では、本実施形態の動作説明に必要な部分の周囲を中心に記載してあり、その他のデータ入力装置１００として既知の電源スイッチ、電源回路などの各種の部分については省略してある。
【００２９】
本実施形態のデータ入力装置１００は、投影面２００に対してキーボード像３００を投影し、該キーボード像３００に対する操作者の手４００の操作状況を撮影することで、投影面２００におけるキーボード像３００に対するデータ入力を受け付ける機能を有するものであって、操作者からの設定のための入力がなされる操作入力部１０２と、キーボード投影面２００または操作者の手４００の少なくとも１つを撮影する２台以上の画像撮影手段１１０（１１０ａと１１０ｂ）と、キーボード像のもとになる初期状態の投影データを記憶する記憶手段１２１と、画像撮影手段１１０による撮影データを解析して該解析結果に基づいてキーボード像３００のもとになる投影データを加工する投影データ生成手段１２２と、投影データ生成手段１２２で生成された投影データに基づいて、投影面２００に対してキーボード像３００を投影する画像投影手段１３０（１３０ａと１３０ｂ）と、画像撮影手段１１０による撮影データを解析して該解析結果に基づいて操作者の操作による入力データを生成する入力データ処理手段１２３と、を備えて構成されている。なお、記憶手段１２１と、投影データ生成手段１２２と、入力データ処理手段１２３とは、画像処理手段１２０の一部をなしている。
【００３０】
ここで、画像投影手段１３０は、液晶プロジェクタなどカラー画像を投影像にて表示する手段であり、投影方法や装置構成は任意であって、色域やコントラスト比が大きいものがより望ましい。
【００３１】
なお、この画像投影手段１３０は１台以上で構成されるものであって、より効果的には２台以上で構成されるものであり、図１では２台の場合を具体例として示している。
また、画像撮影手段１１０は、動画で画像を撮影する手段であり、２台以上で構成される。図１では、２台で構成された例を示している。
【００３２】
また、画像処理手段１２０は、画像投影手段１３０および画像撮影手段１１０の動作を制御する。また、動画像を処理して、画像投影手段で投影する投影データを加工処理して、画像投影手段１３０に出力する。
【００３３】
また、記憶手段１２１は、キーボード情報保持手段として、１つ以上のキーボード情報データを保持する。ここで、キーボード情報とは、キーボードのキーレイアウト（キー間のピッチや大きさ含む）、各キーに対応するキャラクターデータや制御コード、基準位置とするキーを含む。キーレイアウトは２Ｄまたは３Ｄで、キー内容とその位置情報を座標、テーブルまたは図表などで特定できるようにする。それぞれのキーボード情報は、代表的なタイトルやファイル名などをつけて管理する。
【００３４】
なお、投影データ生成手段１２２は、キーボード情報設定手段としても動作し、上記キーボード情報保持手段で保持されている情報の中から、投影したい所望のキーボード情報を設定する手段である。ここでは、上記保持手段で保持されていないものでも、外部から他のキーボード情報データを入力し、設定してもよい。
【００３５】
また、入力データ処理手段１２３は、画像投影手段１３０や画像撮影手段１１０に入出力する画像データを制御・処理する手段である。
また、画像撮影手段１１０は、他の測定手段を用いて互いの位置関係を測定し、そのデータを保持している。例えば、それぞれにGPSやUWBなど位置・距離情報を計測できる装備をつけて測定する。また、データ入力装置１００全体のスリムアップのために、画像投影手段１３０と画像撮影手段１１０を一体化してもよい。
【００３６】
なお、画像投影手段１３０と画像撮影手段１１０はキーボード像による仮想キーボードの使用位置にあわせて設置されているとする。また、各装置の光学系や電気系に伴う画像歪や収差、ぼけやノイズ等、カラーキャラクタライゼーションは、公知の別評価手法や補正手法を用いて改善されているとする。また、画像投影手段１３０の色域が別手法で明らかとされ、データ化されデータ入力装置１００に保持されているとする。仮想キーボードの投影面２００は、投影に支障がないよう、一般的なテーブルや机など、目視できる範囲で凹凸のない平面であるとする。
【００３７】
［２］動作説明：
［２−１］データ入力装置の動作（第１実施形態）：
以下、図２のフローチャートや他の説明図を参照して動作説明を行う。ここでは、操作者の手にキーボード像３００を投影しない場合について説明する。
【００３８】
図２に本データ入力装置の全体の流れを示す。（始め）の状態では、使用環境の準備（室内照明の点灯、仮想キーボード投影面の整理など）や入力装置の起動は済んでいるものとする。
【００３９】
なお、以下、具体的な処理の説明では、画像投影手段１３０と画像撮影手段１１０とは、それぞれ２台ずつ設置されているとする。
［２−１−１］投影面色情報取得・投影色決定：
画像撮影手段１１０で仮想キーボードの投影面２００を撮影し、その色を計測（推定）する（図２中のステップＳ２０１）。色計測では、予め画像撮影手段１１０または装置に保持されている、入力データと測色値（三刺激値や均等色空間値Ｌ*ａ*ｂ*やＬ*ｕ*ｖ*など）を対応付けるマトリクス、テーブルやプロファイルを用いる。または、動画データの色空間が定義されている場合は、色空間の定義式に則って入力データから測色値を計算することもできる（例：ＩＥＣ ６１９６６-２-１のｓＲＧＢ色空間）。
【００４０】
投影面２００の測色値と画像投影手段１３０の色域データを用いて、仮想キーボードの投影色を決定する。画像投影手段１３０の色域データを用いて、例えば以下の2-1-1-1〜2-1-1-4に記載の方法の中から１手法を選択し決定する（図２中のステップＳ２０２）。
【００４１】
（2-1-1-1）投影面２００の色（色相、彩度）に対して色差が最大となる色。
（2-1-1-2）色相のコントラストが最大となる色。明るさ、彩度は別途設定（手動など）。
【００４２】
（2-1-1-3）（投影面２００が無彩色近辺の場合）明るさや彩度の違いが最大となる色。
（2-1-1-4）投影面２００に対して補色の関係になる色。明るさ、彩度は別途設定（手動など）。
【００４３】
この決定において自動処理できるものは自動でおこない、様々な値が考えられる場合や操作者に選択させるほうが良い場合は、操作者が手動で選択することによって行う。また、色の選択の中で、人の視感特性を考慮して、人が視認しやすい色を優先的に選択するようにしてもよい。
【００４４】
またこの処理は、１台の画像撮影手段１１０による実施でなく、複数全ての画像撮影手段１１０を用いて平均的な測色値を取得し、行ってもよい。
［２−１−２］投影面の計測：
［２−１−２−１］投影面三次元情報計測：
図３のような、格子パターンを各画像投影手段１３０で順番に投影面２００に投影し、各画像撮影手段１１０で撮影する。撮影データから、投影面２００の三次元情報を計測する（図２中のステップＳ２０３）。これを投影面２００の初期データとする。
【００４５】
なお、この段階では、キーボード像３００の位置，形状，大きさが不明であるため、画像投影手段１３０で投影可能領域全体にわたるように、複数の格子からなる格子パターンを投影し、画像撮像手段で撮像しておく。
【００４６】
ここで、図３において、格子の幅(Ｗpixels)、高さ(Ｈpixels)、格子間の間隔（横Ａpixels,縦Ｂpixels）は任意である。画像投影手段１３０のスペックを元に都合のよい数値を設定する。画像処理手段１２０や画像投影手段１３０のパラメータを入力・設定する操作入力手段１０２を用いて入力することも可能である。
【００４７】
なお、この格子パターンを用いる図３以降の各図において、（丸数字１），（丸数字２），（丸数字３）の位置は、説明のために示した位置であり、それぞれの図で対応しているものとする。
【００４８】
投影する格子パターンの色は、上述した［２−１−１］で決定された色を用いる。全ての画像投影手段１３０で同じ格子パターンを用いる。格子パターンの投影の際には、全体を同時に表示してもよいが、投影と撮影における格子位置の対応づけを楽にするために、一つ一つの格子を順番に表示するように投影してもよい。
【００４９】
［２−１−２−２］撮影位置不良警告：
［２−１−２−１］において、画像投影手段１３０による格子パターンの一部（または全体）が画像撮影手段１１０で撮影できず、撮影可能エリアから外れてしまっている場合（図４参照）に、音声や視覚的な手段を使って操作者に警告を発する（図２中のステップＳ２０４）。
【００５０】
例えば、「撮影できないエリアがあります。撮影位置を調整してください。」等のメッセージを音声で報知するか、または、画像投影手段１３０で投影面２００に投影する。または図２の格子パターンを、色や形や点滅状態などに設定した異常時のパターンで投影してもよい。この警告に応じて、その後、操作者は撮影位置を手動またはメカ的に自動制御して調整する。
【００５１】
［２−１−３］投影データ補正：
［２−１−３−１］投影面の三次元情報計測：
格子パターンを画像投影手段１３０ａ，１３０ｂで投影し、画像撮影手段１１０ａ，１１０ｂそれぞれで投影像を撮影する。図５は、画像投影手段１３０ａ（図５で位置Ｐ１）で投影した像を３次元情報計測する様子を示した説明図である。ここでは、画像撮影手段１１０ａ（図５で位置Ｃ１）および画像撮影手段１１０ｂ（図５で位置Ｃ２）で撮影している状態を示している。
【００５２】
図６は、そのときの投影データ、投影像と撮影データの関係を示す説明図である。画像投影手段１３０ａの投影位置Ｐ１と投影面２００が正対していない場合は、この図６（ｂ）のように投影面２００上での投影像は歪む。
【００５３】
さらに、投影面２００と撮影位置Ｃ１,撮影位置Ｃ２の位置関係によって、図６（ｃ）や図６（ｄ）のように、最終的に撮影されるデータの歪み程度は変わる。
ここで、撮影位置Ｃ１と撮影位置Ｃ２は互いの位置関係が既知なため、図７に模式的に示すような、撮影画像間の対応付けと三角測量の原理を用いて、複数の画像撮影手段間の基線Ｃ１−Ｃ２に対する投影面２００の三次元情報（距離情報）を計測する。なお、測量方法には、その他、画像を用いる公知の方法を用いてもよい。
【００５４】
なお、図８に示すように、格子パターン内の各格子を順番に、図８（ａ１）・（ａ２）、（ｂ１）・（ｂ２）のように投影して、それぞれを撮影位置Ｃ１と撮影位置Ｃ２で撮影すると、投影データ、投影位置、各撮影手段間の対応関係がとりやすくなる。
【００５５】
また、画像投影手段１３０が格子パターンの各格子を同じ光強度で投影できる場合は、撮影された格子画像データの明るさ変化を三次元情報の測量に用いてもよい。例えば図９で、投影位置Ｐ１に近い投影面２００では投影像が明るく、遠くなるにつれ投影像が暗くなる。投影像の明るさは距離の二乗で変化するので、明るさの違いから距離の違いを算出できる。ただし、精度を追求する場合は、画像撮影手段と投影面２００の距離や投影面２００の反射率を考慮する必要がある。
【００５６】
［２−１−３−２］投影データ補正テーブル作成：
各画像投影手段１３０に対する投影データと実投影位置の関係を示すデータを取得する。このデータから、投影データを補正するための補正テーブル（投影データ補正テーブル）を作成する（図２中のステップＳ２０５）。
【００５７】
この投影データ補正テーブルの作成としては、投影面２００の三次元情報計測（図２中のステップＳ２０３）と同時に、格子パターンと投影位置、撮影手段Ｃ１,Ｃ２の画像位置の対応関係からテーブルを作成する。
【００５８】
たとえば図６において、位置（丸数字１），位置（丸数字２），位置（丸数字３）などの投影データと撮影データの位置関係については、投影と撮影における格子位置の対応づけを楽にするために、一つ一つの格子を順番に表示するように投影することで対応づけることが可能である。
【００５９】
また、投影データと投影面２００上の像は、投影面２００の三次元情報を用いることで対応づけることが可能。これらの情報を用いて、投影面２００上の像と投影データの位置を対応づける補正テーブル、撮影画像と投影データの位置を対応づける補正テーブルを作成する。
【００６０】
［２−１−４］操作者基準位置取得：
画像処理手段１２０は、キーボードとする位置のホームポジションに両手を構えるようと、操作者に対して、音声や文字表示で指示する。操作者が構えたら、画像撮影手段１１０で撮影された画像データを用いて、画像処理手段１２０が、操作者の親指位置を抽出する。これが仮想キーボードの基準位置となる（ 図２中のステップＳ２０６）。
【００６１】
たとえば、以下のように行う。
［２−１−４−１］始めに、操作者に対して「キーボードを表示するので、タイピングの姿勢をしてください」という趣旨のアナウンスをし、画像撮影手段１１０が操作者の手を撮影する。
【００６２】
［２−１−４−２］画像処理手段１２０は、操作者の両手がほとんど動かなくなるのを待って、画像撮影手段１１０の撮影データから、操作者の手指、特に親指の位置を検出する。抽出には、人肌の色情報や手の平均的なパターンデータ、もしくは操作者ごとにカスタマイズされた手情報データを使用する。
【００６３】
［２−１−４−３］画像処理手段１２０は、図１０（ａ）のように、操作者の親指位置をキーボードの基準位置と対応づけ、投影面２００上の像と投影データの位置を対応づける補正テーブルを生成する。
【００６４】
［２−１−５］投影データ作成：
［２−１−４］で取得した操作者の親指位置とキーボード情報設定手段で設定されているキーボード情報、投影データ補正テーブルを用いて、各画像投影手段１３０から投影するキーボード像３００の投影データを作成する（図２中のステップＳ２０７）。
【００６５】
すなわち、以上の補正テーブル（または投影面２００の三次元情報）と記憶手段１２１からのキーボード情報を考慮して、図１１（ａ）（ｂ）（ｃ）（ｄ）のようにして投影するキーボード像３００の投影データを構築する（図２中のステップＳ２０７）。この場合、キーボードの形状やキー間のピッチ、キーの大きさが、投影面２００で設定どおり実現するように計算する。
【００６６】
［２−１−６］領域不足警告：
以上のようにして計算された投影データを投影面２００に投影した場合に、キーボード像３００の一部（または全体）が画像投影手段１３０の投影可能領域を逸脱しており、投影できない場合には、音声や視覚的な手段を使って操作者に警告を発する（図２中のステップＳ２０８）。
【００６７】
例えば、画像処理手段１２０は、「キーボード全体を投影できません。キーボード情報を変更するか、基準位置を変更してください。」と音声によって報知するか、または画像投影手段１３０で投影する。ここで、キーボード情報の変更とは、キー間のピッチを小さく変更することや、テンキー部分の削除などが該当する。
【００６８】
さらに、キーボード全体が投影できるような基準位置を画像投影手段１３０で投影したり、、キーボード全体が投影できるようにテンキー部を削除したキーボード像３００を画像投影手段１３０で投影したり、などして、操作者に基準位置の変更やキー構成の変更を促してもよい。
【００６９】
［２−１−７］キーボード像の投影：
以上の［２−１−５］や後述する［２−１−９］で作成した投影データを、各画像投影手段１３０で同期させて、投影面２００上に投影する（図２中のステップＳ２０９）。
【００７０】
［２−１−８］操作者両手三次元情報取得：
画像撮影手段１１０で操作者の両手の画像を撮影し、各撮影手段の画像間で対応付けを行って被写体（両手、背景含む）の三次元位置情報を、画像処理手段１２０は動画のフレーム単位で取得する（図２中のステップＳ２１０）。
【００７１】
［２−１−９］操作者の手にキーボード像３００を投影しない場合における、手で隠れていない投影面２００の抽出：
ここで、画像処理手段１２０は、上述した［２−１−２］で取得した投影面２００の三次元情報と［２−１−８］で取得した両手の三次元情報から、手で隠れていない投影面２００部分を抽出する（図２中のステップＳ２１１）。
【００７２】
この場合、画像処理手段１２０は、以上の［２−１−８］で得られた被写体の三次元形状情報と［２−１−２］で得られた三次元形状情報の差分を取る。そして、装置側で閾値を設定し、その閾値以下を透過率１００%、閾値以上を透過率０%として、動画の撮影データで投影面２００が隠れていない領域を抽出する。透過率は、画像投影手段１３０による投影データに対するマスクの透過率に対応する。上述の関係に基づいて、動画の撮影データにおけるマスクを、投影データに対するマスクに変換し、これを用いてデータを投影する。
【００７３】
図１３に示す例では、図１３（ａ）のＬ部の断面形状から、図１３（ｂ）の作業時データ（差分）を取得し、これをから図１３（ｃ）のようなマスクを作成している。
［２−１−１０］仮想キーボード投影データ作成(２)：
以上の［２−１−９］で取得された手で隠れない投影面２００部分と、以上の［２−１−３］で作成された投影データ補正テーブルとを用いて、投影するキーボード像３００の投影データを構築する（図２中のステップＳ２１２）。
【００７４】
［２−１−１１］キーボード像の投影：
そして、ステップＳ２０９に戻り、作成した投影データを、各画像投影手段１３０で同期させて、投影面２００上に投影する（図２中のステップＳ２０９）。そして、これ以後、上述した［２−１−８］操作者両手三次元情報取得、［２−１−９］手で隠れていない投影面２００の抽出、［２−１−１０］仮想キーボード投影データ作成(２)を動画フレーム毎に繰り返して実行しつつ、投影データによるキーボード像３００を投影面２００上に投影する。
【００７５】
［２−１−１２］キー入力データの生成：
そして、この被写体の三次元位置情報に基づいて、入力データ処理手段１２３では、投影面２００上のキーボード像３００を介してタイピングにより入力されたキーの入力データが生成され、外部に出力される。ここで、複数画像を用いた物体の三次元情報（形状）計測については、公知の方法（テンプレートマッチングを用いた対応づけなど）を用いることができる。
【００７６】
［２−１−１３］投影時の複数の投影手段の使用：
以上説明した処理について、画像投影手段１３０ａと画像投影手段１３０ｂとの少なくとも２つの複数の投影手段のそれぞれに対して投影データの投影を行う。使用時には、画像投影手段１３０ａと１３０ｂとを同期させてキーボード像３００を投影する。各複数の投影手段を用いることで、投影像の影の減少、投影像の明るさの均一化といった、効果が期待できる。
【００７７】
また、画像投影手段１３０ａと１３０ｂとは、操作者の周り、あるいは、手４００の周りに一定の間隔や一定の角度で配置すると効果的である。２つの画像投影手段を使用する場合は、図１４または図１５のように、操作者の上または後方に１台、操作者の前方に１台設置するとよい。特に操作者側の１台は、操作者の視線軸と投影軸を近づけることで、操作者の目に入る部分を無駄なく効率的に投影できる。
【００７８】
［２−２］データ入力装置の動作（第２実施形態）：
この第２動作例では、画像処理部１２０は、上述した［２−１］第１動作例とは違い、両手の動きに合わせてキーボード像３００を投影して手の動きを隠し、他人から手の動きが読まれないようにする。
【００７９】
ここで、手の動きを隠す実施形態について、図１６に本データ入力装置の全体の流れをフローチャートで示す。図２のフローチャートとの違いは、使用段階に操作者両手の三次元情報を計測（図１６中のステップＳ３１０）後、その計測値を用いて仮想キーボードの投影データを作成する（図１６中のステップＳ３１１）部分である。
【００８０】
ここでは、図１６において図２と同一の部分（Ｓ２０１〜Ｓ２０９、Ｓ３０１〜Ｓ３０９）については重複した説明を省略し、特徴となる部分（図１６中のステップＳ３１１）について、図１７の説明図および図１８のフローチャートを参照して説明する。なお、以下の処理は、複数の各画像投影手段１３０毎に実行する。
【００８１】
［２−２−１］
画像処理手段１２０は、以上の［２−１−８］で得られた被写体の三次元形状情報と、以上の［２−１−２］で得られた投影面２００の三次元形状情報の差分を取る。
【００８２】
これから、図１７（ａ）のような、被写体の両手に該当する形状部分を抽出する（図１６中のステップＳ３１０、図１８中のステップＳ４０１）。そして、ある点ｎを注目位置として決定して（図１８中のステップＳ４０２）、以下の処理を繰り返し実行する。
【００８３】
［２−２−２］
点ｎとして、両手に覆われている投影面２００上の点Ｋｎ（図１７（ａ））を抽出する（図１８中のステップＳ４０３）。そして、両手に覆われている投影面２００上の点Ｋｎに対して、その鉛直方向の両手三次元形状表面上の点Ｋ’ｎ（図１７（ｂ））を抽出する（図１８中のステップＳ４０４）。
【００８４】
［２−２−３］
画像投影手段１３０の投影位置Ｐ１から見て、手がなければＫｎに投影される像を、Ｋ’ｎに投影することによって手の存在を隠すことができる。そこで、Ｋｎに投影する像がＫ’ｎに投影されるように、投影データの位置Ｋ”ｎ（図１７（ｃ））を決める。
【００８５】
［２−２−４］
投影面２００に投影する場合に投影位置Ｋｎに投影されるデータを、投影位置Ｋ”ｎに投影するように、キーボード像の投影データを作成する（図１８中のステップＳ４０７）。
【００８６】
［２−２−５］
以上の［２−２−１］から［２−２−４］を、全てのｎに対して行う（図１８中のステップＳ４０８〜ステップＳ４０２）。
【００８７】
［２−２−６］
例外処理として、図１７（ｄ）のように、Ｋ’ｎとＰ１の直線が両手三次元形状上の他の点とも交わる場合（図１８中のステップＳ４０５でＹＥＳ）であって、Ｐ１と遠い側（図１８中のステップＳ４０６でＮＯ）の位置に対する処理は行わない。
【００８８】
［２−２−７］
以上の処理を、複数の他の画像投影手段１３０についても実行する。
［２−３］第１実施形態と第２実施形態についての変形例：
［２−３−１］変形例（１）：
以上の説明において、格子パターンの最適化が可能である。この場合、パラメータＷ,Ｈ,Ａ,Ｂが小さいほうが三次元情報の分解能が向上するが、ノイズの影響を受けやすくなる。
【００８９】
そこで、上述した［２−１−２］投影面の計測の段階で、自動的にパラメータを調整する。パラメータを徐々に変えながら投影面２００の三次元情報を繰り返して測定し、測定値の凹凸が別途設定する基準値以内となるように、パラメータの最小値で最適化する。
【００９０】
投影面２００の三次元情報や投影データ補正テーブルは、パラメータＷ,Ｈ,Ａ,Ｂによって分解能が変わるが、データ間を公知の補間手法で滑らかに補間するとよい。
投影面２００の色分布が不均一な場合は、画素・テクスチャ単位で投影色を抽出する。または、色分布の平均値に対して投影色を抽出する。
【００９１】
複数全ての画像撮影手段１１０の撮影データから多視点の手の三次元情報を合成し、指元の時間的な動き変化からタイピングされているキーを抽出する。
［２−３−１］変形例（２）：
投影面２００の鉛直方向の手の上にキーボード像３００を再現する場合を例示したが、キーボード操作者の視線方向を計測してその方向に対してキーボード像３００を再現するようにしてもよい。また、手の動きを隠すという目的から、鉛直方向や操作者の視点ではなく、他人の視点の方向にキーボード像３００を再現するようにしてもよい。
【００９２】
また、操作者の両手の画像から両手表面の色情報を取得して、キーボード像３００をその色で投影するといったことも可能である。
また、両手画像から表面の空間周波数情報を抽出して、その周波数パターンを重畳したキーボード投影像を作成することも可能である。
【００９３】
［３］実施形態により得られる効果：
［３−１］以上のデータ入力方法の実施形態では、画像投影手段１３０により投影面２００に対してキーボード像３００を投影し、該キーボード像３００に対する操作者の操作状況を画像撮影手段１１０で撮影することで、投影面２００におけるキーボード像３００に対するデータ入力を受け付ける際に、キーボード投影面２００または操作者の手部分の少なくとも１つを２台以上の画像撮影手段１１０で撮影し、画像撮影手段１１０による撮影データを解析し、該解析結果に基づいてキーボード像３００のもとになる投影データを投影データ生成手段で生成し、投影データ生成手段で生成された投影データに基づいて、投影面２００に対してキーボード像３００を画像投影手段１３０により投影し、画像撮影手段１１０による撮影データを解析し、該解析結果に基づいて操作者の操作による入力データを入力データ処理手段で生成することにより、投影されたキーボード像３００（仮想キーボード）の投影像を良好に生成した状態でのデータ入力を実現できる。
【００９４】
［３−２］以上のデータ入力装置の実施形態では、画像投影手段１３０により投影面２００に対してキーボード像３００を投影し、該キーボード像３００に対する操作者の操作状況を画像撮影手段１１０で撮影することで、投影面２００におけるキーボード像３００に対するデータ入力を受け付ける際に、キーボード投影面２００または操作者の手部分の少なくとも１つを２台以上の画像撮影手段１１０で撮影し、画像撮影手段１１０による撮影データを解析し、該解析結果に基づいてキーボード像３００のもとになる投影データを投影データ生成手段で生成し、投影データ生成手段で生成された投影データに基づいて、投影面２００に対してキーボード像３００を画像投影手段１３０により投影し、画像撮影手段１１０による撮影データを解析し、該解析結果に基づいて操作者の操作による入力データを入力データ処理手段で生成することにより、投影されたキーボード像３００（仮想キーボード）の投影像を良好に生成した状態でのデータ入力を実現できる。
【００９５】
［３−３］以上のデータ入力装置の実施形態では、投影データ生成手段が、画像撮影手段１１０による撮影データを解析し、キーボード投影面２００または操作者の手部分の少なくとも１つの三次元情報または距離情報を生成して、投影データを加工することにより、歪の少ない状態でキーボード像３００を投影でき、良好な状態でのデータ入力を実現できる。
【００９６】
［３−４］以上のデータ入力装置の実施形態では、投影データ生成手段が、画像撮影手段１１０による撮影データを解析し、操作者の手にキーボード像３００が投影されないように投影データを加工することにより、操作者の手にキーボード像３００が映らなくなり、煩わしさが解消でき、良好な状態でのデータ入力を実現できる。
【００９７】
［３−５］以上のデータ入力装置の実施形態では、入力データ処理手段により解析された投影面２００の色情報に応じて投影データ生成手段がキーボード像３００に用いる色を決定することで、仮想キーボードとして視認性が高い状態とすることができ、良好な状態でのデータ入力を実現できる。
【００９８】
［３−６］以上のデータ入力装置の実施形態では、投影データ生成手段が、画像撮影手段１１０による撮影データを解析し、操作者の指の位置に応じて、キーボード像３００が投影されるように投影データを加工することにより、操作者の使用位置や手の大きさにあわせてキーボード像３００を投影することができ、良好な状態でのデータ入力を実現できる。
【００９９】
［３−７］以上のデータ入力装置の実施形態では、投影データ生成手段が、画像撮影手段１１０による撮影データを解析し、操作者の指の位置に応じてキーボード像３００が投影されるように投影データを加工すると共に、キーボード投影面２００にキーボード像３００の全体が投影できるか否かを判定し、キーボード投影面２００にキーボード像３００の一部が投影できない状態であると判定された場合には、エラーである旨の投影データを生成することにより、操作者の望み通りの位置や場所や大きさでキーボードを使えるか事前確認でき、良好な状態でのデータ入力を実現できる。
【０１００】
［３−８］以上のデータ入力装置の実施形態では、投影データ生成手段が、撮影データを解析し、操作者の手がなければ投影面２００上に投影される像を、投影面２００に対応する手４００の所定の位置に投影されるように投影データを加工することにより、操作者の手４００の動きを隠すように、キーボード像３００を投影できるので隠匿性が高まり、良好な状態でのデータ入力を実現できる。
【０１０１】
［３−９］以上のデータ入力装置の実施形態では、画像投影手段１３０は、複数の位置からの投影によりキーボード像３００を合成して投影する、ことにより、仮想キーボード像３００の影（投影されない領域）が減少し、良好な状態でのデータ入力を実現できる。
【０１０２】
［４］その他の実施形態：
以上の説明では、両手を用いて投影面２００上のキーボード像３００でキー入力を行う場合を具体例として用いたが、片手で入力する場合であっても同様に実行することが可能である。また、足などの手以外の器官を用いて入力する場合も同様に実行できる。また、義肢（義手、義足）などを用いて入力する場合も同様に実行できる。
【０１０３】
また、投影面２００としては平面であることが望ましいが、凸面や凹面などの平坦でない面を用いることも可能である。
また、キーボード像３００としては、右手用キーボード像と左手用キーボード像とを左右に分離させた状態で投影することも何ら問題はない。
【図面の簡単な説明】
【０１０４】
【図１】本発明の実施形態の構成を示すブロック図である。
【図２】本発明の実施形態の動作を示すフローチャートである。
【図３】本発明の実施形態の動作を示す説明図である。
【図４】本発明の実施形態の動作を示す説明図である。
【図５】本発明の実施形態の動作を示す説明図である。
【図６】本発明の実施形態の動作を示す説明図である。
【図７】本発明の実施形態の動作を示す説明図である。
【図８】本発明の実施形態の動作を示す説明図である。
【図９】本発明の実施形態の動作を示す説明図である。
【図１０】本発明の実施形態の動作を示す説明図である。
【図１１】本発明の実施形態の動作を示す説明図である。
【図１２】本発明の実施形態の動作を示す説明図である。
【図１３】本発明の実施形態の動作を示す説明図である。
【図１４】本発明の実施形態の動作を示す説明図である。
【図１５】本発明の実施形態の動作を示す説明図である。
【図１６】本発明の実施形態の動作を示すフローチャートである。
【図１７】本発明の実施形態の動作を示す説明図である。
【図１８】本発明の実施形態の動作を示すフローチャートである。
【符号の説明】
【０１０５】
１００ データ入力装置
１０２ 操作入力手段
１１０ 画像撮影手段
１２０ 画像処理手段
１２１ 記憶手段
１２２ 投影データ生成手段
１２３ 入力データ処理手段
１３０ 画像投影手段
２００ 投影面
３００ キーボード像
４００ 操作者の手
【技術分野】
【０００１】
本発明は、仮想的なキーボード像を投影し、その投影されたキーボード像によりデータ入力を行うデータ入力方法およびデータ入力装置に関する。
【背景技術】
【０００２】
テーブルなどを投影面として、キーボード像を投影し、このキーボード像に対する操作者の操作状況を撮影することで、投影面におけるキーボード像に対する操作からデータ入力を受け付けるデータ入力方法・装置が存在している。
【０００３】
このようなデータ入力方法・装置としては、以下の特許文献などに各種の提案がなされている。
【特許文献１】特表2002-526867公報（第1頁、図1）
【特許文献２】特開2003-288156公報（第1頁、図1）
【特許文献３】特表2004-523031公報（第1頁、図1）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記特許文献１は、マウスやキーボードのイメージを液晶プロジェクタで表面に投影し、それに対するユーザーの動作をカメラで取り込み、その移動方向やタイピング内容を抽出するシステムが記載されている。
【０００５】
また、上記特許文献２は、２台以上のカメラを用いてユーザーの指の位置を検出し、最初の指の位置を仮想キーボードの基準位置として、その後の入力操作（指の動き）に対するキー情報を入力するシステムが記載されている。そして、このシステムでは、ユーザーの指先位置の履歴情報を保持し、仮想キーのずれを校正する。カメラは指先上方とその垂直面を撮影するようにしている。
【０００６】
上記特許文献３は、仮想キーボード基本特許であり、キーボード画像を投影し、カメラで投影像全体エリアを撮影するものであり、キーボードは台形であって、投影光は特定の波長で、カメラもその波長光を感知するシステムが記載されている。
【０００７】
以上の特許文献の場合、使用者が望む状態の形状やレイアウトの任意のキーボード像を投影できないという根本的な問題がある。また、投影によるキーボード像の歪みなどに配慮がなされていないという問題もある。また、いずれも、仮想キーボードの投影場所の色や形状を考慮していない問題がある。さらに、タイピング時の手（障害物）の存在を考慮していないという問題もある。
【０００８】
本発明は、以上のような課題を解決するためになされたものであって、使用状況にあわせた適切なキーボード像を投影して仮想キーボードシステムを実現するデータ入力方法およびデータ入力装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
以上の課題を解決する本発明は、以下に記載するようなものである。
（１）請求項１記載の発明は、画像投影手段により投影面に対してキーボード像を投影し、該キーボード像に対する操作者の操作状況を画像撮影手段で撮影することで、前記投影面における前記キーボード像に対するデータ入力を受け付けるデータ入力方法であって、キーボード投影面または操作者の手部分の少なくとも１つを２台以上の画像撮影手段で撮影し、前記画像撮影手段による撮影データを解析し、該解析結果に基づいて前記キーボード像のもとになる投影データを投影データ生成手段で生成し、前記投影データ生成手段で生成された投影データに基づいて、前記投影面に対して前記キーボード像を画像投影手段により投影し、前記画像撮影手段による撮影データを解析し、該解析結果に基づいて前記操作者の操作による入力データを入力データ処理手段で生成する、ことを特徴とするデータ入力方法である。
【００１０】
（２）請求項２記載の発明は、投影面に対してキーボード像を投影し、該キーボード像に対する操作者の操作状況を撮影することで、前記投影面における前記キーボード像に対するデータ入力を受け付けるデータ入力装置であって、キーボード投影面または操作者の手部分の少なくとも１つを撮影する２台以上の画像撮影手段と、前記画像撮影手段による撮影データを解析し、該解析結果に基づいて前記キーボード像のもとになる投影データを加工する投影データ生成手段と、前記投影データ生成手段で生成された投影データに基づいて、前記投影面に対して前記キーボード像を投影する画像投影手段と、前記画像撮影手段による撮影データを解析し、該解析結果に基づいて前記操作者の操作による入力データを生成する入力データ処理手段と、を有することを特徴とするデータ入力装置である。
【００１１】
（３）請求項３記載の発明は、前記投影データ生成手段は、前記画像撮影手段による撮影データを解析し、前記キーボード投影面または前記操作者の手部分の少なくとも１つの、三次元情報または距離情報を生成し、前記投影データを加工する、ことを特徴とする請求項２記載のデータ入力装置である。
【００１２】
（４）請求項４記載の発明は、前記投影データ生成手段は、前記画像撮影手段による撮影データを解析し、前記操作者の手に前記キーボード像が投影されないように、前記投影データを加工する、ことを特徴とする請求項２記載のデータ入力装置である。
【００１３】
（５）請求項５記載の発明は、前記入力データ処理手段は、前記撮影データに含まれる前記投影面の色情報を解析し、前記投影データ生成手段は、前記入力データ処理手段で解析された前記投影面の色情報に応じて、前記キーボード像に用いる色を決定し、前記投影データを生成する、ことを特徴とする請求項２記載のデータ入力装置である。
【００１４】
（６）請求項６記載の発明は、前記投影データ生成手段は、前記画像撮影手段による撮影データを解析し、前記操作者の指の位置に応じて、前記キーボード像が投影されるように前記投影データを加工する、ことを特徴とする請求項２記載のデータ入力装置である。
【００１５】
（７）請求項７記載の発明は、前記投影データ生成手段は、前記画像撮影手段による撮影データを解析し、前記操作者の指の位置に応じて、前記キーボード像が投影されるように前記投影データを加工すると共に、前記キーボード投影面に前記キーボード像の全体が投影できるか否かを判定し、前記キーボード投影面に前記キーボード像の一部が投影できない状態であると判定された場合には、エラーである旨の投影データを生成する、ことを特徴とする請求項２記載のデータ入力装置である。
【００１６】
（８）請求項８記載の発明は、前記投影データ生成手段は、前記画像撮影手段による撮影データを解析し、前記操作者の手がなければ前記投影面上に投影される像を、前記投影面に対応する手の所定の位置に投影されるように前記投影データを加工する、ことを特徴とする請求項２記載のデータ入力装置である。
【００１７】
（９）請求項９記載の発明は、前記画像投影手段は、複数の位置からの投影により前記キーボード像を合成して投影する、ことを特徴とする請求項２乃至請求項８のいずれか一項に記載のデータ入力装置である。
【発明の効果】
【００１８】
本発明のデータ入力方法・装置によると以下のような効果が得られる。
（１）請求項１記載のデータ入力方法の発明では、画像投影手段により投影面に対してキーボード像を投影し、該キーボード像に対する操作者の操作状況を画像撮影手段で撮影することで、投影面におけるキーボード像に対するデータ入力を受け付ける際に、キーボード投影面または操作者の手部分の少なくとも１つを２台以上の画像撮影手段で撮影し、画像撮影手段による撮影データを解析し、該解析結果に基づいてキーボード像のもとになる投影データを投影データ生成手段で生成し、投影データ生成手段で生成された投影データに基づいて、投影面に対してキーボード像を画像投影手段により投影し、画像撮影手段による撮影データを解析し、該解析結果に基づいて操作者の操作による入力データを入力データ処理手段で生成することにより、投影されたキーボード像（仮想キーボード）の投影像を良好に生成した状態でのデータ入力を実現できる。
【００１９】
（２）請求項２記載のデータ入力装置の発明では、画像投影手段により投影面に対してキーボード像を投影し、該キーボード像に対する操作者の操作状況を画像撮影手段で撮影することで、投影面におけるキーボード像に対するデータ入力を受け付ける際に、キーボード投影面または操作者の手部分の少なくとも１つを２台以上の画像撮影手段で撮影し、画像撮影手段による撮影データを解析し、該解析結果に基づいてキーボード像のもとになる投影データを投影データ生成手段で生成し、投影データ生成手段で生成された投影データに基づいて、投影面に対してキーボード像を画像投影手段により投影し、画像撮影手段による撮影データを解析し、該解析結果に基づいて操作者の操作による入力データを入力データ処理手段で生成することにより、投影されたキーボード像（仮想キーボード）の投影像を良好に生成した状態でのデータ入力を実現できる。
【００２０】
（３）請求項３記載のデータ入力装置の発明では、投影データ生成手段が、画像撮影手段による撮影データを解析し、キーボード投影面または操作者の手部分の少なくとも１つの三次元情報または距離情報を生成して、投影データを加工することにより、歪の少ない状態でキーボード像を投影でき、良好な状態でのデータ入力を実現できる。
【００２１】
（４）請求項４記載のデータ入力装置の発明では、投影データ生成手段が、画像撮影手段による撮影データを解析し、操作者の手にキーボード像が投影されないように投影データを加工することにより、操作者の手にキーボード像が映らなくなり、煩わしさが解消でき、良好な状態でのデータ入力を実現できる。
【００２２】
（５）請求項５記載のデータ入力装置の発明では、入力データ処理手段が、撮影データに含まれる投影面の色情報を解析し、解析された投影面の色情報に応じて投影データ生成手段がキーボード像に用いる色を決定することで、仮想キーボードとして視認性が高い状態とすることができ、良好な状態でのデータ入力を実現できる。
【００２３】
（６）請求項６記載のデータ入力装置の発明では、投影データ生成手段が、画像撮影手段による撮影データを解析し、操作者の指の位置に応じて、キーボード像が投影されるように投影データを加工することにより、操作者の使用位置や手の大きさにあわせてキーボード像を投影することができ、良好な状態でのデータ入力を実現できる。
【００２４】
（７）請求項７記載のデータ入力装置の発明では、投影データ生成手段が、画像撮影手段による撮影データを解析し、操作者の指の位置に応じてキーボード像が投影されるように投影データを加工すると共に、キーボード投影面にキーボード像の全体が投影できるか否かを判定し、キーボード投影面にキーボード像の一部が投影できない状態であると判定された場合には、エラーである旨の投影データを生成することにより、操作者の望み通りの位置や場所や大きさでキーボードを使えるか事前確認でき、良好な状態でのデータ入力を実現できる。
【００２５】
（８）請求項８記載の発明では、投影データ生成手段が、撮影データを解析し、操作者の手がなければ投影面上に投影される像を、投影面に対応する手の所定の位置に投影されるように投影データを加工することにより、操作者の手の動きを隠すように、キーボード像を投影できるので隠匿性が高まる。
【００２６】
（９）請求項９記載のデータ入力装置の発明では、画像投影手段は、複数の位置からの投影によりキーボード像を合成して投影する、ことにより、仮想キーボード像の影（投影されない領域）が減少し、良好な状態でのデータ入力を実現できる。
【発明を実施するための最良の形態】
【００２７】
以下、図面を参照して本発明を実施するための最良の形態（以下、実施形態）を詳細に説明する。なお、本実施形態では、データ入力装置の動作・処理手順がデータ入力方法である。また、データ入力方法は、データ入力装置を用いて実現される。
【００２８】
［１］データ入力装置の構成：
図１は本発明の第１の実施形態のデータ入力装置１００内の詳細構成を示すブロック図である。なお、この図１では、本実施形態の動作説明に必要な部分の周囲を中心に記載してあり、その他のデータ入力装置１００として既知の電源スイッチ、電源回路などの各種の部分については省略してある。
【００２９】
本実施形態のデータ入力装置１００は、投影面２００に対してキーボード像３００を投影し、該キーボード像３００に対する操作者の手４００の操作状況を撮影することで、投影面２００におけるキーボード像３００に対するデータ入力を受け付ける機能を有するものであって、操作者からの設定のための入力がなされる操作入力部１０２と、キーボード投影面２００または操作者の手４００の少なくとも１つを撮影する２台以上の画像撮影手段１１０（１１０ａと１１０ｂ）と、キーボード像のもとになる初期状態の投影データを記憶する記憶手段１２１と、画像撮影手段１１０による撮影データを解析して該解析結果に基づいてキーボード像３００のもとになる投影データを加工する投影データ生成手段１２２と、投影データ生成手段１２２で生成された投影データに基づいて、投影面２００に対してキーボード像３００を投影する画像投影手段１３０（１３０ａと１３０ｂ）と、画像撮影手段１１０による撮影データを解析して該解析結果に基づいて操作者の操作による入力データを生成する入力データ処理手段１２３と、を備えて構成されている。なお、記憶手段１２１と、投影データ生成手段１２２と、入力データ処理手段１２３とは、画像処理手段１２０の一部をなしている。
【００３０】
ここで、画像投影手段１３０は、液晶プロジェクタなどカラー画像を投影像にて表示する手段であり、投影方法や装置構成は任意であって、色域やコントラスト比が大きいものがより望ましい。
【００３１】
なお、この画像投影手段１３０は１台以上で構成されるものであって、より効果的には２台以上で構成されるものであり、図１では２台の場合を具体例として示している。
また、画像撮影手段１１０は、動画で画像を撮影する手段であり、２台以上で構成される。図１では、２台で構成された例を示している。
【００３２】
また、画像処理手段１２０は、画像投影手段１３０および画像撮影手段１１０の動作を制御する。また、動画像を処理して、画像投影手段で投影する投影データを加工処理して、画像投影手段１３０に出力する。
【００３３】
また、記憶手段１２１は、キーボード情報保持手段として、１つ以上のキーボード情報データを保持する。ここで、キーボード情報とは、キーボードのキーレイアウト（キー間のピッチや大きさ含む）、各キーに対応するキャラクターデータや制御コード、基準位置とするキーを含む。キーレイアウトは２Ｄまたは３Ｄで、キー内容とその位置情報を座標、テーブルまたは図表などで特定できるようにする。それぞれのキーボード情報は、代表的なタイトルやファイル名などをつけて管理する。
【００３４】
なお、投影データ生成手段１２２は、キーボード情報設定手段としても動作し、上記キーボード情報保持手段で保持されている情報の中から、投影したい所望のキーボード情報を設定する手段である。ここでは、上記保持手段で保持されていないものでも、外部から他のキーボード情報データを入力し、設定してもよい。
【００３５】
また、入力データ処理手段１２３は、画像投影手段１３０や画像撮影手段１１０に入出力する画像データを制御・処理する手段である。
また、画像撮影手段１１０は、他の測定手段を用いて互いの位置関係を測定し、そのデータを保持している。例えば、それぞれにGPSやUWBなど位置・距離情報を計測できる装備をつけて測定する。また、データ入力装置１００全体のスリムアップのために、画像投影手段１３０と画像撮影手段１１０を一体化してもよい。
【００３６】
なお、画像投影手段１３０と画像撮影手段１１０はキーボード像による仮想キーボードの使用位置にあわせて設置されているとする。また、各装置の光学系や電気系に伴う画像歪や収差、ぼけやノイズ等、カラーキャラクタライゼーションは、公知の別評価手法や補正手法を用いて改善されているとする。また、画像投影手段１３０の色域が別手法で明らかとされ、データ化されデータ入力装置１００に保持されているとする。仮想キーボードの投影面２００は、投影に支障がないよう、一般的なテーブルや机など、目視できる範囲で凹凸のない平面であるとする。
【００３７】
［２］動作説明：
［２−１］データ入力装置の動作（第１実施形態）：
以下、図２のフローチャートや他の説明図を参照して動作説明を行う。ここでは、操作者の手にキーボード像３００を投影しない場合について説明する。
【００３８】
図２に本データ入力装置の全体の流れを示す。（始め）の状態では、使用環境の準備（室内照明の点灯、仮想キーボード投影面の整理など）や入力装置の起動は済んでいるものとする。
【００３９】
なお、以下、具体的な処理の説明では、画像投影手段１３０と画像撮影手段１１０とは、それぞれ２台ずつ設置されているとする。
［２−１−１］投影面色情報取得・投影色決定：
画像撮影手段１１０で仮想キーボードの投影面２００を撮影し、その色を計測（推定）する（図２中のステップＳ２０１）。色計測では、予め画像撮影手段１１０または装置に保持されている、入力データと測色値（三刺激値や均等色空間値Ｌ*ａ*ｂ*やＬ*ｕ*ｖ*など）を対応付けるマトリクス、テーブルやプロファイルを用いる。または、動画データの色空間が定義されている場合は、色空間の定義式に則って入力データから測色値を計算することもできる（例：ＩＥＣ ６１９６６-２-１のｓＲＧＢ色空間）。
【００４０】
投影面２００の測色値と画像投影手段１３０の色域データを用いて、仮想キーボードの投影色を決定する。画像投影手段１３０の色域データを用いて、例えば以下の2-1-1-1〜2-1-1-4に記載の方法の中から１手法を選択し決定する（図２中のステップＳ２０２）。
【００４１】
（2-1-1-1）投影面２００の色（色相、彩度）に対して色差が最大となる色。
（2-1-1-2）色相のコントラストが最大となる色。明るさ、彩度は別途設定（手動など）。
【００４２】
（2-1-1-3）（投影面２００が無彩色近辺の場合）明るさや彩度の違いが最大となる色。
（2-1-1-4）投影面２００に対して補色の関係になる色。明るさ、彩度は別途設定（手動など）。
【００４３】
この決定において自動処理できるものは自動でおこない、様々な値が考えられる場合や操作者に選択させるほうが良い場合は、操作者が手動で選択することによって行う。また、色の選択の中で、人の視感特性を考慮して、人が視認しやすい色を優先的に選択するようにしてもよい。
【００４４】
またこの処理は、１台の画像撮影手段１１０による実施でなく、複数全ての画像撮影手段１１０を用いて平均的な測色値を取得し、行ってもよい。
［２−１−２］投影面の計測：
［２−１−２−１］投影面三次元情報計測：
図３のような、格子パターンを各画像投影手段１３０で順番に投影面２００に投影し、各画像撮影手段１１０で撮影する。撮影データから、投影面２００の三次元情報を計測する（図２中のステップＳ２０３）。これを投影面２００の初期データとする。
【００４５】
なお、この段階では、キーボード像３００の位置，形状，大きさが不明であるため、画像投影手段１３０で投影可能領域全体にわたるように、複数の格子からなる格子パターンを投影し、画像撮像手段で撮像しておく。
【００４６】
ここで、図３において、格子の幅(Ｗpixels)、高さ(Ｈpixels)、格子間の間隔（横Ａpixels,縦Ｂpixels）は任意である。画像投影手段１３０のスペックを元に都合のよい数値を設定する。画像処理手段１２０や画像投影手段１３０のパラメータを入力・設定する操作入力手段１０２を用いて入力することも可能である。
【００４７】
なお、この格子パターンを用いる図３以降の各図において、（丸数字１），（丸数字２），（丸数字３）の位置は、説明のために示した位置であり、それぞれの図で対応しているものとする。
【００４８】
投影する格子パターンの色は、上述した［２−１−１］で決定された色を用いる。全ての画像投影手段１３０で同じ格子パターンを用いる。格子パターンの投影の際には、全体を同時に表示してもよいが、投影と撮影における格子位置の対応づけを楽にするために、一つ一つの格子を順番に表示するように投影してもよい。
【００４９】
［２−１−２−２］撮影位置不良警告：
［２−１−２−１］において、画像投影手段１３０による格子パターンの一部（または全体）が画像撮影手段１１０で撮影できず、撮影可能エリアから外れてしまっている場合（図４参照）に、音声や視覚的な手段を使って操作者に警告を発する（図２中のステップＳ２０４）。
【００５０】
例えば、「撮影できないエリアがあります。撮影位置を調整してください。」等のメッセージを音声で報知するか、または、画像投影手段１３０で投影面２００に投影する。または図２の格子パターンを、色や形や点滅状態などに設定した異常時のパターンで投影してもよい。この警告に応じて、その後、操作者は撮影位置を手動またはメカ的に自動制御して調整する。
【００５１】
［２−１−３］投影データ補正：
［２−１−３−１］投影面の三次元情報計測：
格子パターンを画像投影手段１３０ａ，１３０ｂで投影し、画像撮影手段１１０ａ，１１０ｂそれぞれで投影像を撮影する。図５は、画像投影手段１３０ａ（図５で位置Ｐ１）で投影した像を３次元情報計測する様子を示した説明図である。ここでは、画像撮影手段１１０ａ（図５で位置Ｃ１）および画像撮影手段１１０ｂ（図５で位置Ｃ２）で撮影している状態を示している。
【００５２】
図６は、そのときの投影データ、投影像と撮影データの関係を示す説明図である。画像投影手段１３０ａの投影位置Ｐ１と投影面２００が正対していない場合は、この図６（ｂ）のように投影面２００上での投影像は歪む。
【００５３】
さらに、投影面２００と撮影位置Ｃ１,撮影位置Ｃ２の位置関係によって、図６（ｃ）や図６（ｄ）のように、最終的に撮影されるデータの歪み程度は変わる。
ここで、撮影位置Ｃ１と撮影位置Ｃ２は互いの位置関係が既知なため、図７に模式的に示すような、撮影画像間の対応付けと三角測量の原理を用いて、複数の画像撮影手段間の基線Ｃ１−Ｃ２に対する投影面２００の三次元情報（距離情報）を計測する。なお、測量方法には、その他、画像を用いる公知の方法を用いてもよい。
【００５４】
なお、図８に示すように、格子パターン内の各格子を順番に、図８（ａ１）・（ａ２）、（ｂ１）・（ｂ２）のように投影して、それぞれを撮影位置Ｃ１と撮影位置Ｃ２で撮影すると、投影データ、投影位置、各撮影手段間の対応関係がとりやすくなる。
【００５５】
また、画像投影手段１３０が格子パターンの各格子を同じ光強度で投影できる場合は、撮影された格子画像データの明るさ変化を三次元情報の測量に用いてもよい。例えば図９で、投影位置Ｐ１に近い投影面２００では投影像が明るく、遠くなるにつれ投影像が暗くなる。投影像の明るさは距離の二乗で変化するので、明るさの違いから距離の違いを算出できる。ただし、精度を追求する場合は、画像撮影手段と投影面２００の距離や投影面２００の反射率を考慮する必要がある。
【００５６】
［２−１−３−２］投影データ補正テーブル作成：
各画像投影手段１３０に対する投影データと実投影位置の関係を示すデータを取得する。このデータから、投影データを補正するための補正テーブル（投影データ補正テーブル）を作成する（図２中のステップＳ２０５）。
【００５７】
この投影データ補正テーブルの作成としては、投影面２００の三次元情報計測（図２中のステップＳ２０３）と同時に、格子パターンと投影位置、撮影手段Ｃ１,Ｃ２の画像位置の対応関係からテーブルを作成する。
【００５８】
たとえば図６において、位置（丸数字１），位置（丸数字２），位置（丸数字３）などの投影データと撮影データの位置関係については、投影と撮影における格子位置の対応づけを楽にするために、一つ一つの格子を順番に表示するように投影することで対応づけることが可能である。
【００５９】
また、投影データと投影面２００上の像は、投影面２００の三次元情報を用いることで対応づけることが可能。これらの情報を用いて、投影面２００上の像と投影データの位置を対応づける補正テーブル、撮影画像と投影データの位置を対応づける補正テーブルを作成する。
【００６０】
［２−１−４］操作者基準位置取得：
画像処理手段１２０は、キーボードとする位置のホームポジションに両手を構えるようと、操作者に対して、音声や文字表示で指示する。操作者が構えたら、画像撮影手段１１０で撮影された画像データを用いて、画像処理手段１２０が、操作者の親指位置を抽出する。これが仮想キーボードの基準位置となる（ 図２中のステップＳ２０６）。
【００６１】
たとえば、以下のように行う。
［２−１−４−１］始めに、操作者に対して「キーボードを表示するので、タイピングの姿勢をしてください」という趣旨のアナウンスをし、画像撮影手段１１０が操作者の手を撮影する。
【００６２】
［２−１−４−２］画像処理手段１２０は、操作者の両手がほとんど動かなくなるのを待って、画像撮影手段１１０の撮影データから、操作者の手指、特に親指の位置を検出する。抽出には、人肌の色情報や手の平均的なパターンデータ、もしくは操作者ごとにカスタマイズされた手情報データを使用する。
【００６３】
［２−１−４−３］画像処理手段１２０は、図１０（ａ）のように、操作者の親指位置をキーボードの基準位置と対応づけ、投影面２００上の像と投影データの位置を対応づける補正テーブルを生成する。
【００６４】
［２−１−５］投影データ作成：
［２−１−４］で取得した操作者の親指位置とキーボード情報設定手段で設定されているキーボード情報、投影データ補正テーブルを用いて、各画像投影手段１３０から投影するキーボード像３００の投影データを作成する（図２中のステップＳ２０７）。
【００６５】
すなわち、以上の補正テーブル（または投影面２００の三次元情報）と記憶手段１２１からのキーボード情報を考慮して、図１１（ａ）（ｂ）（ｃ）（ｄ）のようにして投影するキーボード像３００の投影データを構築する（図２中のステップＳ２０７）。この場合、キーボードの形状やキー間のピッチ、キーの大きさが、投影面２００で設定どおり実現するように計算する。
【００６６】
［２−１−６］領域不足警告：
以上のようにして計算された投影データを投影面２００に投影した場合に、キーボード像３００の一部（または全体）が画像投影手段１３０の投影可能領域を逸脱しており、投影できない場合には、音声や視覚的な手段を使って操作者に警告を発する（図２中のステップＳ２０８）。
【００６７】
例えば、画像処理手段１２０は、「キーボード全体を投影できません。キーボード情報を変更するか、基準位置を変更してください。」と音声によって報知するか、または画像投影手段１３０で投影する。ここで、キーボード情報の変更とは、キー間のピッチを小さく変更することや、テンキー部分の削除などが該当する。
【００６８】
さらに、キーボード全体が投影できるような基準位置を画像投影手段１３０で投影したり、、キーボード全体が投影できるようにテンキー部を削除したキーボード像３００を画像投影手段１３０で投影したり、などして、操作者に基準位置の変更やキー構成の変更を促してもよい。
【００６９】
［２−１−７］キーボード像の投影：
以上の［２−１−５］や後述する［２−１−９］で作成した投影データを、各画像投影手段１３０で同期させて、投影面２００上に投影する（図２中のステップＳ２０９）。
【００７０】
［２−１−８］操作者両手三次元情報取得：
画像撮影手段１１０で操作者の両手の画像を撮影し、各撮影手段の画像間で対応付けを行って被写体（両手、背景含む）の三次元位置情報を、画像処理手段１２０は動画のフレーム単位で取得する（図２中のステップＳ２１０）。
【００７１】
［２−１−９］操作者の手にキーボード像３００を投影しない場合における、手で隠れていない投影面２００の抽出：
ここで、画像処理手段１２０は、上述した［２−１−２］で取得した投影面２００の三次元情報と［２−１−８］で取得した両手の三次元情報から、手で隠れていない投影面２００部分を抽出する（図２中のステップＳ２１１）。
【００７２】
この場合、画像処理手段１２０は、以上の［２−１−８］で得られた被写体の三次元形状情報と［２−１−２］で得られた三次元形状情報の差分を取る。そして、装置側で閾値を設定し、その閾値以下を透過率１００%、閾値以上を透過率０%として、動画の撮影データで投影面２００が隠れていない領域を抽出する。透過率は、画像投影手段１３０による投影データに対するマスクの透過率に対応する。上述の関係に基づいて、動画の撮影データにおけるマスクを、投影データに対するマスクに変換し、これを用いてデータを投影する。
【００７３】
図１３に示す例では、図１３（ａ）のＬ部の断面形状から、図１３（ｂ）の作業時データ（差分）を取得し、これをから図１３（ｃ）のようなマスクを作成している。
［２−１−１０］仮想キーボード投影データ作成(２)：
以上の［２−１−９］で取得された手で隠れない投影面２００部分と、以上の［２−１−３］で作成された投影データ補正テーブルとを用いて、投影するキーボード像３００の投影データを構築する（図２中のステップＳ２１２）。
【００７４】
［２−１−１１］キーボード像の投影：
そして、ステップＳ２０９に戻り、作成した投影データを、各画像投影手段１３０で同期させて、投影面２００上に投影する（図２中のステップＳ２０９）。そして、これ以後、上述した［２−１−８］操作者両手三次元情報取得、［２−１−９］手で隠れていない投影面２００の抽出、［２−１−１０］仮想キーボード投影データ作成(２)を動画フレーム毎に繰り返して実行しつつ、投影データによるキーボード像３００を投影面２００上に投影する。
【００７５】
［２−１−１２］キー入力データの生成：
そして、この被写体の三次元位置情報に基づいて、入力データ処理手段１２３では、投影面２００上のキーボード像３００を介してタイピングにより入力されたキーの入力データが生成され、外部に出力される。ここで、複数画像を用いた物体の三次元情報（形状）計測については、公知の方法（テンプレートマッチングを用いた対応づけなど）を用いることができる。
【００７６】
［２−１−１３］投影時の複数の投影手段の使用：
以上説明した処理について、画像投影手段１３０ａと画像投影手段１３０ｂとの少なくとも２つの複数の投影手段のそれぞれに対して投影データの投影を行う。使用時には、画像投影手段１３０ａと１３０ｂとを同期させてキーボード像３００を投影する。各複数の投影手段を用いることで、投影像の影の減少、投影像の明るさの均一化といった、効果が期待できる。
【００７７】
また、画像投影手段１３０ａと１３０ｂとは、操作者の周り、あるいは、手４００の周りに一定の間隔や一定の角度で配置すると効果的である。２つの画像投影手段を使用する場合は、図１４または図１５のように、操作者の上または後方に１台、操作者の前方に１台設置するとよい。特に操作者側の１台は、操作者の視線軸と投影軸を近づけることで、操作者の目に入る部分を無駄なく効率的に投影できる。
【００７８】
［２−２］データ入力装置の動作（第２実施形態）：
この第２動作例では、画像処理部１２０は、上述した［２−１］第１動作例とは違い、両手の動きに合わせてキーボード像３００を投影して手の動きを隠し、他人から手の動きが読まれないようにする。
【００７９】
ここで、手の動きを隠す実施形態について、図１６に本データ入力装置の全体の流れをフローチャートで示す。図２のフローチャートとの違いは、使用段階に操作者両手の三次元情報を計測（図１６中のステップＳ３１０）後、その計測値を用いて仮想キーボードの投影データを作成する（図１６中のステップＳ３１１）部分である。
【００８０】
ここでは、図１６において図２と同一の部分（Ｓ２０１〜Ｓ２０９、Ｓ３０１〜Ｓ３０９）については重複した説明を省略し、特徴となる部分（図１６中のステップＳ３１１）について、図１７の説明図および図１８のフローチャートを参照して説明する。なお、以下の処理は、複数の各画像投影手段１３０毎に実行する。
【００８１】
［２−２−１］
画像処理手段１２０は、以上の［２−１−８］で得られた被写体の三次元形状情報と、以上の［２−１−２］で得られた投影面２００の三次元形状情報の差分を取る。
【００８２】
これから、図１７（ａ）のような、被写体の両手に該当する形状部分を抽出する（図１６中のステップＳ３１０、図１８中のステップＳ４０１）。そして、ある点ｎを注目位置として決定して（図１８中のステップＳ４０２）、以下の処理を繰り返し実行する。
【００８３】
［２−２−２］
点ｎとして、両手に覆われている投影面２００上の点Ｋｎ（図１７（ａ））を抽出する（図１８中のステップＳ４０３）。そして、両手に覆われている投影面２００上の点Ｋｎに対して、その鉛直方向の両手三次元形状表面上の点Ｋ’ｎ（図１７（ｂ））を抽出する（図１８中のステップＳ４０４）。
【００８４】
［２−２−３］
画像投影手段１３０の投影位置Ｐ１から見て、手がなければＫｎに投影される像を、Ｋ’ｎに投影することによって手の存在を隠すことができる。そこで、Ｋｎに投影する像がＫ’ｎに投影されるように、投影データの位置Ｋ”ｎ（図１７（ｃ））を決める。
【００８５】
［２−２−４］
投影面２００に投影する場合に投影位置Ｋｎに投影されるデータを、投影位置Ｋ”ｎに投影するように、キーボード像の投影データを作成する（図１８中のステップＳ４０７）。
【００８６】
［２−２−５］
以上の［２−２−１］から［２−２−４］を、全てのｎに対して行う（図１８中のステップＳ４０８〜ステップＳ４０２）。
【００８７】
［２−２−６］
例外処理として、図１７（ｄ）のように、Ｋ’ｎとＰ１の直線が両手三次元形状上の他の点とも交わる場合（図１８中のステップＳ４０５でＹＥＳ）であって、Ｐ１と遠い側（図１８中のステップＳ４０６でＮＯ）の位置に対する処理は行わない。
【００８８】
［２−２−７］
以上の処理を、複数の他の画像投影手段１３０についても実行する。
［２−３］第１実施形態と第２実施形態についての変形例：
［２−３−１］変形例（１）：
以上の説明において、格子パターンの最適化が可能である。この場合、パラメータＷ,Ｈ,Ａ,Ｂが小さいほうが三次元情報の分解能が向上するが、ノイズの影響を受けやすくなる。
【００８９】
そこで、上述した［２−１−２］投影面の計測の段階で、自動的にパラメータを調整する。パラメータを徐々に変えながら投影面２００の三次元情報を繰り返して測定し、測定値の凹凸が別途設定する基準値以内となるように、パラメータの最小値で最適化する。
【００９０】
投影面２００の三次元情報や投影データ補正テーブルは、パラメータＷ,Ｈ,Ａ,Ｂによって分解能が変わるが、データ間を公知の補間手法で滑らかに補間するとよい。
投影面２００の色分布が不均一な場合は、画素・テクスチャ単位で投影色を抽出する。または、色分布の平均値に対して投影色を抽出する。
【００９１】
複数全ての画像撮影手段１１０の撮影データから多視点の手の三次元情報を合成し、指元の時間的な動き変化からタイピングされているキーを抽出する。
［２−３−１］変形例（２）：
投影面２００の鉛直方向の手の上にキーボード像３００を再現する場合を例示したが、キーボード操作者の視線方向を計測してその方向に対してキーボード像３００を再現するようにしてもよい。また、手の動きを隠すという目的から、鉛直方向や操作者の視点ではなく、他人の視点の方向にキーボード像３００を再現するようにしてもよい。
【００９２】
また、操作者の両手の画像から両手表面の色情報を取得して、キーボード像３００をその色で投影するといったことも可能である。
また、両手画像から表面の空間周波数情報を抽出して、その周波数パターンを重畳したキーボード投影像を作成することも可能である。
【００９３】
［３］実施形態により得られる効果：
［３−１］以上のデータ入力方法の実施形態では、画像投影手段１３０により投影面２００に対してキーボード像３００を投影し、該キーボード像３００に対する操作者の操作状況を画像撮影手段１１０で撮影することで、投影面２００におけるキーボード像３００に対するデータ入力を受け付ける際に、キーボード投影面２００または操作者の手部分の少なくとも１つを２台以上の画像撮影手段１１０で撮影し、画像撮影手段１１０による撮影データを解析し、該解析結果に基づいてキーボード像３００のもとになる投影データを投影データ生成手段で生成し、投影データ生成手段で生成された投影データに基づいて、投影面２００に対してキーボード像３００を画像投影手段１３０により投影し、画像撮影手段１１０による撮影データを解析し、該解析結果に基づいて操作者の操作による入力データを入力データ処理手段で生成することにより、投影されたキーボード像３００（仮想キーボード）の投影像を良好に生成した状態でのデータ入力を実現できる。
【００９４】
［３−２］以上のデータ入力装置の実施形態では、画像投影手段１３０により投影面２００に対してキーボード像３００を投影し、該キーボード像３００に対する操作者の操作状況を画像撮影手段１１０で撮影することで、投影面２００におけるキーボード像３００に対するデータ入力を受け付ける際に、キーボード投影面２００または操作者の手部分の少なくとも１つを２台以上の画像撮影手段１１０で撮影し、画像撮影手段１１０による撮影データを解析し、該解析結果に基づいてキーボード像３００のもとになる投影データを投影データ生成手段で生成し、投影データ生成手段で生成された投影データに基づいて、投影面２００に対してキーボード像３００を画像投影手段１３０により投影し、画像撮影手段１１０による撮影データを解析し、該解析結果に基づいて操作者の操作による入力データを入力データ処理手段で生成することにより、投影されたキーボード像３００（仮想キーボード）の投影像を良好に生成した状態でのデータ入力を実現できる。
【００９５】
［３−３］以上のデータ入力装置の実施形態では、投影データ生成手段が、画像撮影手段１１０による撮影データを解析し、キーボード投影面２００または操作者の手部分の少なくとも１つの三次元情報または距離情報を生成して、投影データを加工することにより、歪の少ない状態でキーボード像３００を投影でき、良好な状態でのデータ入力を実現できる。
【００９６】
［３−４］以上のデータ入力装置の実施形態では、投影データ生成手段が、画像撮影手段１１０による撮影データを解析し、操作者の手にキーボード像３００が投影されないように投影データを加工することにより、操作者の手にキーボード像３００が映らなくなり、煩わしさが解消でき、良好な状態でのデータ入力を実現できる。
【００９７】
［３−５］以上のデータ入力装置の実施形態では、入力データ処理手段により解析された投影面２００の色情報に応じて投影データ生成手段がキーボード像３００に用いる色を決定することで、仮想キーボードとして視認性が高い状態とすることができ、良好な状態でのデータ入力を実現できる。
【００９８】
［３−６］以上のデータ入力装置の実施形態では、投影データ生成手段が、画像撮影手段１１０による撮影データを解析し、操作者の指の位置に応じて、キーボード像３００が投影されるように投影データを加工することにより、操作者の使用位置や手の大きさにあわせてキーボード像３００を投影することができ、良好な状態でのデータ入力を実現できる。
【００９９】
［３−７］以上のデータ入力装置の実施形態では、投影データ生成手段が、画像撮影手段１１０による撮影データを解析し、操作者の指の位置に応じてキーボード像３００が投影されるように投影データを加工すると共に、キーボード投影面２００にキーボード像３００の全体が投影できるか否かを判定し、キーボード投影面２００にキーボード像３００の一部が投影できない状態であると判定された場合には、エラーである旨の投影データを生成することにより、操作者の望み通りの位置や場所や大きさでキーボードを使えるか事前確認でき、良好な状態でのデータ入力を実現できる。
【０１００】
［３−８］以上のデータ入力装置の実施形態では、投影データ生成手段が、撮影データを解析し、操作者の手がなければ投影面２００上に投影される像を、投影面２００に対応する手４００の所定の位置に投影されるように投影データを加工することにより、操作者の手４００の動きを隠すように、キーボード像３００を投影できるので隠匿性が高まり、良好な状態でのデータ入力を実現できる。
【０１０１】
［３−９］以上のデータ入力装置の実施形態では、画像投影手段１３０は、複数の位置からの投影によりキーボード像３００を合成して投影する、ことにより、仮想キーボード像３００の影（投影されない領域）が減少し、良好な状態でのデータ入力を実現できる。
【０１０２】
［４］その他の実施形態：
以上の説明では、両手を用いて投影面２００上のキーボード像３００でキー入力を行う場合を具体例として用いたが、片手で入力する場合であっても同様に実行することが可能である。また、足などの手以外の器官を用いて入力する場合も同様に実行できる。また、義肢（義手、義足）などを用いて入力する場合も同様に実行できる。
【０１０３】
また、投影面２００としては平面であることが望ましいが、凸面や凹面などの平坦でない面を用いることも可能である。
また、キーボード像３００としては、右手用キーボード像と左手用キーボード像とを左右に分離させた状態で投影することも何ら問題はない。
【図面の簡単な説明】
【０１０４】
【図１】本発明の実施形態の構成を示すブロック図である。
【図２】本発明の実施形態の動作を示すフローチャートである。
【図３】本発明の実施形態の動作を示す説明図である。
【図４】本発明の実施形態の動作を示す説明図である。
【図５】本発明の実施形態の動作を示す説明図である。
【図６】本発明の実施形態の動作を示す説明図である。
【図７】本発明の実施形態の動作を示す説明図である。
【図８】本発明の実施形態の動作を示す説明図である。
【図９】本発明の実施形態の動作を示す説明図である。
【図１０】本発明の実施形態の動作を示す説明図である。
【図１１】本発明の実施形態の動作を示す説明図である。
【図１２】本発明の実施形態の動作を示す説明図である。
【図１３】本発明の実施形態の動作を示す説明図である。
【図１４】本発明の実施形態の動作を示す説明図である。
【図１５】本発明の実施形態の動作を示す説明図である。
【図１６】本発明の実施形態の動作を示すフローチャートである。
【図１７】本発明の実施形態の動作を示す説明図である。
【図１８】本発明の実施形態の動作を示すフローチャートである。
【符号の説明】
【０１０５】
１００ データ入力装置
１０２ 操作入力手段
１１０ 画像撮影手段
１２０ 画像処理手段
１２１ 記憶手段
１２２ 投影データ生成手段
１２３ 入力データ処理手段
１３０ 画像投影手段
２００ 投影面
３００ キーボード像
４００ 操作者の手
【特許請求の範囲】
【請求項１】
画像投影手段により投影面に対してキーボード像を投影し、該キーボード像に対する操作者の操作状況を画像撮影手段で撮影することで、前記投影面における前記キーボード像に対するデータ入力を受け付けるデータ入力方法であって、
キーボード投影面または操作者の手部分の少なくとも１つを２台以上の画像撮影手段で撮影し、
前記画像撮影手段による撮影データを解析し、該解析結果に基づいて前記キーボード像のもとになる投影データを投影データ生成手段で生成し、
前記投影データ生成手段で生成された投影データに基づいて、前記投影面に対して前記キーボード像を画像投影手段により投影し、
前記画像撮影手段による撮影データを解析し、該解析結果に基づいて前記操作者の操作による入力データを入力データ処理手段で生成する、
ことを特徴とするデータ入力方法。
【請求項２】
投影面に対してキーボード像を投影し、該キーボード像に対する操作者の操作状況を撮影することで、前記投影面における前記キーボード像に対するデータ入力を受け付けるデータ入力装置であって、
キーボード投影面または操作者の手部分の少なくとも１つを撮影する２台以上の画像撮影手段と、
前記画像撮影手段による撮影データを解析し、該解析結果に基づいて前記キーボード像のもとになる投影データを加工する投影データ生成手段と、
前記投影データ生成手段で生成された投影データに基づいて、前記投影面に対して前記キーボード像を投影する画像投影手段と、
前記画像撮影手段による撮影データを解析し、該解析結果に基づいて前記操作者の操作による入力データを生成する入力データ処理手段と、
を有することを特徴とするデータ入力装置。
【請求項３】
前記投影データ生成手段は、前記画像撮影手段による撮影データを解析し、前記キーボード投影面または前記操作者の手部分の少なくとも１つの、三次元情報または距離情報を生成し、前記投影データを加工する、
ことを特徴とする請求項２記載のデータ入力装置。
【請求項４】
前記投影データ生成手段は、前記画像撮影手段による撮影データを解析し、前記操作者の手に前記キーボード像が投影されないように、前記投影データを加工する、
ことを特徴とする請求項２記載のデータ入力装置。
【請求項５】
前記入力データ処理手段は、前記撮影データに含まれる前記投影面の色情報を解析し、
前記投影データ生成手段は、前記入力データ処理手段で解析された前記投影面の色情報に応じて、前記キーボード像に用いる色を決定し、前記投影データを生成する、
ことを特徴とする請求項２記載のデータ入力装置。
【請求項６】
前記投影データ生成手段は、前記画像撮影手段による撮影データを解析し、前記操作者の指の位置に応じて、前記キーボード像が投影されるように前記投影データを加工する、
ことを特徴とする請求項２記載のデータ入力装置。
【請求項７】
前記投影データ生成手段は、前記画像撮影手段による撮影データを解析し、前記操作者の指の位置に応じて、前記キーボード像が投影されるように前記投影データを加工すると共に、前記キーボード投影面に前記キーボード像の全体が投影できるか否かを判定し、前記キーボード投影面に前記キーボード像の一部が投影できない状態であると判定された場合には、エラーである旨の投影データを生成する、
ことを特徴とする請求項２記載のデータ入力装置。
【請求項８】
前記投影データ生成手段は、前記画像撮影手段による撮影データを解析し、前記操作者の手がなければ前記投影面上に投影される像を、前記投影面に対応する手の所定の位置に投影されるように前記投影データを加工する、
ことを特徴とする請求項２記載のデータ入力装置。
【請求項９】
前記画像投影手段は、複数の位置からの投影により前記キーボード像を合成して投影する、
ことを特徴とする請求項２乃至請求項８のいずれか一項に記載のデータ入力装置。
【請求項１】
画像投影手段により投影面に対してキーボード像を投影し、該キーボード像に対する操作者の操作状況を画像撮影手段で撮影することで、前記投影面における前記キーボード像に対するデータ入力を受け付けるデータ入力方法であって、
キーボード投影面または操作者の手部分の少なくとも１つを２台以上の画像撮影手段で撮影し、
前記画像撮影手段による撮影データを解析し、該解析結果に基づいて前記キーボード像のもとになる投影データを投影データ生成手段で生成し、
前記投影データ生成手段で生成された投影データに基づいて、前記投影面に対して前記キーボード像を画像投影手段により投影し、
前記画像撮影手段による撮影データを解析し、該解析結果に基づいて前記操作者の操作による入力データを入力データ処理手段で生成する、
ことを特徴とするデータ入力方法。
【請求項２】
投影面に対してキーボード像を投影し、該キーボード像に対する操作者の操作状況を撮影することで、前記投影面における前記キーボード像に対するデータ入力を受け付けるデータ入力装置であって、
キーボード投影面または操作者の手部分の少なくとも１つを撮影する２台以上の画像撮影手段と、
前記画像撮影手段による撮影データを解析し、該解析結果に基づいて前記キーボード像のもとになる投影データを加工する投影データ生成手段と、
前記投影データ生成手段で生成された投影データに基づいて、前記投影面に対して前記キーボード像を投影する画像投影手段と、
前記画像撮影手段による撮影データを解析し、該解析結果に基づいて前記操作者の操作による入力データを生成する入力データ処理手段と、
を有することを特徴とするデータ入力装置。
【請求項３】
前記投影データ生成手段は、前記画像撮影手段による撮影データを解析し、前記キーボード投影面または前記操作者の手部分の少なくとも１つの、三次元情報または距離情報を生成し、前記投影データを加工する、
ことを特徴とする請求項２記載のデータ入力装置。
【請求項４】
前記投影データ生成手段は、前記画像撮影手段による撮影データを解析し、前記操作者の手に前記キーボード像が投影されないように、前記投影データを加工する、
ことを特徴とする請求項２記載のデータ入力装置。
【請求項５】
前記入力データ処理手段は、前記撮影データに含まれる前記投影面の色情報を解析し、
前記投影データ生成手段は、前記入力データ処理手段で解析された前記投影面の色情報に応じて、前記キーボード像に用いる色を決定し、前記投影データを生成する、
ことを特徴とする請求項２記載のデータ入力装置。
【請求項６】
前記投影データ生成手段は、前記画像撮影手段による撮影データを解析し、前記操作者の指の位置に応じて、前記キーボード像が投影されるように前記投影データを加工する、
ことを特徴とする請求項２記載のデータ入力装置。
【請求項７】
前記投影データ生成手段は、前記画像撮影手段による撮影データを解析し、前記操作者の指の位置に応じて、前記キーボード像が投影されるように前記投影データを加工すると共に、前記キーボード投影面に前記キーボード像の全体が投影できるか否かを判定し、前記キーボード投影面に前記キーボード像の一部が投影できない状態であると判定された場合には、エラーである旨の投影データを生成する、
ことを特徴とする請求項２記載のデータ入力装置。
【請求項８】
前記投影データ生成手段は、前記画像撮影手段による撮影データを解析し、前記操作者の手がなければ前記投影面上に投影される像を、前記投影面に対応する手の所定の位置に投影されるように前記投影データを加工する、
ことを特徴とする請求項２記載のデータ入力装置。
【請求項９】
前記画像投影手段は、複数の位置からの投影により前記キーボード像を合成して投影する、
ことを特徴とする請求項２乃至請求項８のいずれか一項に記載のデータ入力装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２００８−１２３３１６（Ｐ２００８−１２３３１６Ａ）
【公開日】平成２０年５月２９日（２００８．５．２９）
【国際特許分類】
【出願番号】特願２００６−３０７４８９（Ｐ２００６−３０７４８９）
【出願日】平成１８年１１月１４日（２００６．１１．１４）
【出願人】（０００００１２７０）コニカミノルタホールディングス株式会社 (4,463)
【Ｆターム（参考）】
【公開日】平成２０年５月２９日（２００８．５．２９）
【国際特許分類】
【出願日】平成１８年１１月１４日（２００６．１１．１４）
【出願人】（０００００１２７０）コニカミノルタホールディングス株式会社 (4,463)
【Ｆターム（参考）】
[ Back to top ]