情報入力装置、その制御方法、および制御プログラム
【課題】ユーザーが、キーボードの無い端末を使って、片手で容易に情報の入力を行うことができるようにすることを目的とする。
【解決手段】撮像部２２によって仮想アイテムを操作する指示体を連続的に撮像して指示体画像データを得る。システム制御部５０は指示体画像データに応じて指示体とカメラ１００との距離を検出して検出距離を得る。システム制御部５０は互いに異なる複数の仮想アイテムを選択的に表示部２８に表示するとともに、指示体画像データに応じた指示体画像を表示部に表示し、指示体の操作に応じて得られる指示体画像の動きによって仮想アイテムで選択された情報を入力情報とする。この際、システム制御部は検出距離に応じて表示部に表示する仮想アイテムを切り替える。
【解決手段】撮像部２２によって仮想アイテムを操作する指示体を連続的に撮像して指示体画像データを得る。システム制御部５０は指示体画像データに応じて指示体とカメラ１００との距離を検出して検出距離を得る。システム制御部５０は互いに異なる複数の仮想アイテムを選択的に表示部２８に表示するとともに、指示体画像データに応じた指示体画像を表示部に表示し、指示体の操作に応じて得られる指示体画像の動きによって仮想アイテムで選択された情報を入力情報とする。この際、システム制御部は検出距離に応じて表示部に表示する仮想アイテムを切り替える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報入力装置、その制御方法、および制御プログラムに関し、特に、仮想キーボードを用いた文字入力方法に関する。
【背景技術】
【０００２】
一般に、撮影の結果得られた多量の画像ファイルをカメラ又はビデオにおいて整理を行いたいというユーザーの要望がある。画像ファイルにおける写真又は動画などの画像を整理する際、フォルダを新規に作成してフォルダ名又はファイル名を変更することがある。さらに、画像にメモを付けて記録することもあり、この際には不可避的に文字入力を行う必要がある。
【０００３】
ところが、デジタルカメラなどの撮像装置においては、その表示画面（例えば、液晶画面）が小さい。このため、液晶画面に入力した全ての文字を表示すると、一つ一つの文字が極めて小さくなってしまい、ユーザーは視認しづらいばかりでなく文字入力操作を行いことが困難となってしまう。
【０００４】
さらに、デジタルカメラには操作部（操作部材ともいう）として、例えば、入力キーのボタン、十字キー、および決定ボタンなどが備えられている程度であり、この点においても文字入力操作も煩雑となる。
【０００５】
一方、操作部材を用いることなく、ユーザーが入力操作を行うことができるようにしたものがある。例えば、立体視装置により映像空間内に検索インデックスを表示するカプセル映像を映し出して、カプセル映像を仮想腕の手で直接操作し、手の動作パターンにより入力情報（入力操作）を認識するようにしたものがある。（特許文献１参照）。
【０００６】
また、パーソナルコンピュータ（以下ＰＣという）などにおいて、ユーザーの手元に仮想キーボードを表示して、仮想キーボードのタッチ操作した位置を検出し、検出したデータに基づいてタッチ操作した入力位置を判別するようにしたものがある。（特許文献２参照）。ここでは、仮想キーボートの表示パターンを複数の種類に切り替えるようにしている。
【０００７】
さらに、３次元ウィンドウ装置によって、複数のウィンドウを半透明表示し、互いに重なりあったウィンドウのうち相対的に下側にあるウィンドウを、遠近法を用いて縮小表示するようにしたものがある（特許文献３参照）。ここでは、カーソルおよび半透明ウィンドウの位置情報が奥行き情報をもち、入力装置からの入力操作に応じてカーソル又は半透明ウィンドウを、半透明ウィンドウ面に対して仮想的な垂直方向を含む方向に移動する位置情報を算出して表示する。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平５−１８９４８４号公報
【特許文献２】特開２００７−１５６５４８号公報
【特許文献３】特開２００３−２７１２７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ところが、特許文献１においては、仮想空間を立体的に表示するため、ゴーグルが必要となるばかりでなく、カプセル映像を選択するためのグローブが必要となって、ユーザーにとっては入力操作がかえって煩わしくなってしまう。
【００１０】
また、特許文献２においては、ＰＣなどで用いられるキーボードを想定したものである。つまり、キーボードは両手で入力操作を行って初めてその発揮される。このようなキーボードをデジタルカメラに用いることは困難であり、たとえ、デジタルカメラに用いるとしてもデジタルカメラを三脚などで固定する必要がある。
【００１１】
特許文献３においては、半透明ウィンドウが選択されても当該半透明ウィンドウが手前に出てこない。よって、奥側に位置する半透明ウィンドウがアクティブになった際には、手前に位置する非アクティブの半透明ウィンドウで奥側に位置する半透明ウィンドウが見えにくくなってしまう。そして、奥側に位置する半透明ウィンドウを見るためには視点の位置を調整する必要がある。
【００１２】
従って、本発明の目的は、ユーザーが片手で容易に情報の入力を行うことのできる情報入力装置、その制御方法、および制御プログラムを提供することにある。
【課題を解決するための手段】
【００１３】
上記の目的を達成するため、本発明による情報入力装置は、表示部に表示された仮想アイテムを用いて情報の入力を行う情報入力装置であって、前記仮想アイテムを操作する指示体を連続的に撮像して指示体画像データを得る撮像手段と、前記指示体と前記撮像手段との距離を検出して検出距離を得る測距手段と、複数の仮想アイテムおよび前記指示体画像データに対応する指示体画像を前記表示部に表示する表示制御手段と、前記検出距離に基づいて前記仮想アイテムを選択する選択手段と、前記選択された仮想アイテムと対応する情報を入力情報として設定する設定手段とを有することを特徴とする。
【００１４】
本発明による制御方法は、表示部に表示された仮想アイテムを用いて情報の入力を行う情報入力装置での制御方法であって、撮像部によって前記仮想アイテムを操作する指示体を連続的に撮像して指示体画像データを得る撮像ステップと、測距センサによって前記指示体と前記撮像部との距離を検出して検出距離を得る測距ステップと、複数の仮想アイテムおよび前記指示体画像データに対応する指示体画像を前記表示部に表示する表示制御ステップと、前記検出距離に基づいて前記仮想アイテムを選択する選択ステップと、前記選択された仮想アイテムと対応する情報を入力情報として設定する設定ステップとを有することを特徴とする。
【００１５】
本発明による制御プログラムは、表示部に表示された仮想アイテムを用いて情報の入力を行う情報入力装置が備えるコンピュータに、撮像部によって前記仮想アイテムを操作する指示体を連続的に撮像して指示体画像データを得る撮像ステップと、測距センサによって前記指示体と前記撮像部との距離を検出して検出距離を得る測距ステップと、複数の仮想アイテムおよび前記指示体画像データに対応する指示体画像を前記表示部に表示する表示制御ステップと、前記検出距離に基づいて前記仮想アイテムを選択する選択ステップと、前記選択された仮想アイテムと対応する情報を入力情報として設定する設定ステップとを実行させることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、仮想アイテムを用いて情報を入力する際、片手で容易に文字入力することができるという効果がある。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施の形態による情報入力装置が用いられたカメラの外観を背面側から示す斜視図である。
【図２】図１に示すカメラの構成の一例を示すブロック図である。
【図３】図２に示すカメラで用いられる仮想デスクトップの概要を説明するための斜視図である。
【図４】図３に示す仮想キーボードの種類の一例を示す図であり、（ａ）は平仮名入力仮想キーボードを示す図、（ｂ）は英数字大文字入力仮想キーボードを示す図、（ｃ）は英数字小文字入力仮想キーボードを示す図、（ｄ）はＰＣ配列仮想キーボードを示す図である。
【図５】図３に示す仮想キーボードの表示範囲を移動する手法の一例を説明するための図であり、（ａ）、（ｂ）、および（ｃ）は仮想キーボードを移動させる際の手の形を示す図である。
【図６】図３に示す仮想キーボードによる文字入力の処理を説明するためのフローチャートである。
【図７】図６に示す処理で表示部に表示された手およびゲージの一例を示す図である。
【図８】図３に示す表示部２８に表示される仮想キーボードを説明するための図であり、（ａ）は平仮名入力仮想キーボードの表示を示す図、（ｂ）は英数字大文字入力仮想キーボードの表示を示す図、（ｃ）は英数字小文字入力仮想キーボードの表示を示す図、（ｄ）は平仮名入力仮想キーボードおよび英数字大文字入力仮想キーボードの重ね表示を示す図、（ｅ）は英数字大文字入力仮想キーボードおよび英数字小文字入力仮想キーボードの重ね表示を示す図である。
【図９】図３に示す仮想キーボードの表示切り替えを説明するための図である。
【図１０】図３に示す仮想キーボードにおいて文字の選択および決定について説明するための図であり、（ａ）は文字を選択した状態を示す図、（ｂ）は文字を決定した状態を示す図である。
【図１１】図３に示す表示部に表示される編集エリアにおける文字の変換を説明するための斜視図である。
【発明を実施するための形態】
【００１８】
以下、本発明の実施の形態による情報入力装置の一例について図面を参照して説明する。
【００１９】
図１は、本発明の実施の形態による情報入力装置が用いられたカメラ１００の外観を背面側から示す斜視図である。なお、以下の説明では、情報入力装置の１つである文字入力装置について説明する。
【００２０】
デジタルカメラ（以下単にカメラと呼ぶ）１００の背面には表示部２８が配置されており、この表示部２８には画像および各種の情報が表示される。カメラ１００の上面にはシャッターボタン６１および電源スイッチ７２が配置されている。電源スイッチ７２の操作によって電源のオン又はオフが行われる。また、シャッターボタン６１の操作によって撮影の指示が行われる。
【００２１】
表示部２８の右側には、モード切替スイッチ６０および操作部７０が配置されている。なお、シャッターボタン６１も操作部７０の１つである。モード切替スイッチ６０の操作によってカメラ１００のモードが切り替えられる。操作部７０にはユーザーからの各種入力操作を受け付けるための各種スイッチ、ボタン、およびタッチパネルなどが含まれるとともに、コントローラホイール７３が含まれている。このコントローラホイール７３は回転操作可能な操作部材である。
【００２２】
カメラ１００の一側面にはコネクタ１１２が配置され、このコネクタ１１２にはカメラ１００と外部機器（例えば、ＰＣ：図示せず）とを接続するための接続ケーブル１１１が接続される。カメラ１００の下面には記録媒体２００を格納するための記録媒体スロット２０１が形成されている。記録媒体２００として、例えば、メモリカードが用いられる。記録媒体２００は記録媒体スロット２０１に格納されると、カメラ１００との通信が可能となる。なお、記録媒体２００を記録媒体スロット２０１に格納した後、蓋２０２が閉じられる。
【００２３】
図２は、図１に示すカメラ１００の構成の一例を示すブロック図である。
【００２４】
図２において、カメラ１００はフォーカスレンズを含む撮影レンズ１０３と絞り機能を備えるシャッター１０１とを有している。撮影レンズ１０３およびシャッター１０１を通過した光学像（被写体像）は撮像部２２に結像される。撮像部２２は、ＣＣＤ又はＶＭＯＳ撮像素子であり、光学像を電気信号（アナログ信号）に変換する。そして、このアナログ信号はＡ／Ｄ変換器２３でデジタル信号（画像信号）に変換される。なお、撮影レンズ１０３、シャッター１０１、および撮像部２２などを含む撮像系はバリア１０２で覆われ、これによって、撮像系の汚れおよび破損を防止するようにしている。
【００２５】
画像処理部２４はＡ／Ｄ変換器２３の出力である画像信号又はメモリ制御部１５から与えられる画像データに対して所定の画素補間および縮小などのリサイズ処理および色変換処理を行う。さらに、画像処理部２４は画像データを用いて所定の演算処理を行って、この演算結果に基づいてシステム制御部５０は露光制御および測距制御を行う。これによって、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、およびＥＦ（フラッシュプリ発光）処理が実行される。また、画像処理部２４は画像データを用いて所定の演算処理を行って、この演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。
【００２６】
Ａ／Ｄ変換器２３の出力である画像信号は、画像処理部２４およびメモリ制御部１５を介して、又はメモリ制御部１５を介してメモリ３２に直接画像データとして書き込まれる。メモリ３２は所定枚数の静止画像および所定時間の動画像、そして、音声データを格納するための十分な記憶容量を備えている。図示の例では、メモリ３２は画像表示用メモリ（ビデオメモリ）を兼ねている。
【００２７】
Ｄ／Ａ変換器１３は、メモリ３２に格納された画像データをアナログ信号に変換して表示部２８に与える。これによって、メモリ３２に書き込まれた画像データは画像として表示部２８に表示される。
【００２８】
不揮発性メモリ５６は電気的に消去・記録可能なメモリであり、例えば、ＥＥＰＲＯＭが用いられる。この不揮発性メモリ５６には、システム制御部５０の動作用の定数およびプログラムなどが記憶されている。なお、このプログラムとは、例えば、後述するフローチャートを実行するためのプログラムをいう。
【００２９】
システム制御部５０はカメラ１００の全体を制御する。システム制御部５０は不揮発性メモリ５６に記録されたプログラムを実行して、後述する各処理を行う。システムメモリ５２には、例えば、ＲＡＭが用いられる。システムメモリ５２には、システム制御部５０の動作用の定数、変数、および不揮発性メモリ５６から読み出されたプログラムなどが展開される。また、システム制御部５０はメモリ３２、Ｄ／Ａ変換器１３、および表示部２８などを制御して画面表示制御を実行する。
【００３０】
シャッターボタン６１は、第１および第２のシャッタースイッチを備えており、シャッターボタン６１の操作によってシステム制御部５０に動作指示が入力される。第１シャッタースイッチは、シャッターボタン６１の操作途中、所謂半押し（撮影準備指示）でオンとなって第１のシャッタースイッチ信号ＳＷ１を出力する。第１のシャッタースイッチ信号ＳＷ１によって、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、およびＥＦ処理等が開始される。
【００３１】
第２シャッタースイッチは、シャッターボタン６１の操作完了、所謂全押し（撮影指示）でオンとなって第２シャッタースイッチ信号ＳＷ２を出力する。システム制御部５０は第２シャッタースイッチ信号ＳＷ２に応じて撮像部２２の信号読み出しから記録媒体２００に画像データを書き込むまでの一連の撮影処理を開始する。
【００３２】
モード切替スイッチ６０は、システム制御部５０の動作モードを静止画記録モード、動画記録モード、および再生モード等のいずれかに切り替える。
【００３３】
表示部２８に表示される種々の機能アイコンを選択操作することによって、操作部７０の各操作部材は場面毎に機能が割り当てられて、各種機能ボタンとして動作する。機能ボタンとして、例えば、終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、および属性変更ボタン等がある。例えば、メニューボタンが押されると、各種設定を行うためのメニュー画面が表示部２８に表示される。そして、ユーザーは表示部２８に表示されたメニュー画面と４方向ボタンおよび／又はＳＥＴボタンとを用いて直感的に各種設定を行うことができる。
【００３４】
図１に示すコントローラホイール７３は、操作部７０に含まれる回転操作可能な操作部材であり、方向ボタンととともに選択項目を指示する際など用いられる。
【００３５】
電源制御部８０は、例えば、電池検出回路、ＤＣ−ＤＣコンバータ、およびスイッチ回路などを有している。そして、電源制御部８０は電池の装着の有無、電池の種類、および電池残量の検出を行う。また、電源制御部８０は検出結果およびシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御して、必要な電圧を必要な期間、記録媒体２００を含む各部に供給する。
【００３６】
電源部３０は、例えば、アルカリ電池又はリチウム電池等の一次電池、ＮｉＣｄ電池、ＮｉＭＨ電池、又はＬｉ電池等の二次電池、そして、ＡＣアダプターなどを有している。インターフェース１８は記録媒体２００とカメラ１００とのインターフェースである。
【００３７】
図３は、図２に示すカメラ１００で用いられる仮想デスクトップの概要を説明するための斜視図である。
【００３８】
図３において、仮想デスクトップとは、仮想空間上の仮想アイテム（以下単にアイテムとも呼ぶ）と手などの指示体の動きに基づいて、仮想アイテムの移動、選択、および決定などの処理を実行するユーザーインターフェースのことをいう。図示の例では、仮想空間上の仮想アイテムをキーボード（以下仮想キーボードという）のキーとして、文字入力を行う場合について説明する。
【００３９】
いま、右手３０２でカメラ１００を把持して、左手３０１を撮影レンズ１０３の前に位置させて連続的に撮影を行って、指示体である左手を撮像した画像データを得る。そして、システム制御部５０は画像データにおいて左手３０１を示す指示体画像データを背景画像から切り出して表示部２８に表示する。ここでは、表示部２８において指示体画像データに応じた画像（つまり、左手３０１）の下側（つまり、奥側）に仮想キーボード３０３が表示される。以下の説明では、左手の画像を単に左手ともいうことにする。
【００４０】
図４は、図３に示す仮想キーボード３０３の種類の一例を示す図である。そして、図４（ａ）は平仮名入力仮想キーボード４０１を示す図であり、図４（ｂ）は英数字大文字入力仮想キーボード４０２を示す図である。また、図４（ｃ）は英数字小文字入力仮想キーボード４０３を示す図であり、図４（ｄ）はＰＣ配列仮想キーボード４０４を示す図である。
【００４１】
図４（ａ）〜図４（ｃ）に示すように、ここでは、仮想キーボード３０３として、例えば、平仮名入力のための仮想キーボード４０１、英数字大文字入力のための仮想キーボード４０２、および英数字小文字入力のための仮想キーボード４０３が選択的に用いられる。なお、図４（ｄ）に示すＰＣで用いられるキーボードのキー配列を有するＰＣ配列仮想キーボード４０４を用いるようにしてもよく、記号および絵文字などを仮想キーボードに含めるようにしてもよい。また、以下の説明では、図４（ａ）〜図４（ｃ）に示す３種類の仮想キーボードを切り替えて用いる例について説明するが、２種類以上の仮想アイテム、つまり、仮想キーボードを選択的に用いるようにすればよい。
【００４２】
図３に示す例では、図４（ａ）に示す平仮名入力仮想キーボード４０１が仮想キーボードとして表示部２８に表示され、仮想キーボードのうち一部の平仮名のみが表示部２８に表示されている。他の平仮名を表示させる際には、固定された仮想キーボード３０３をカメラ１００で写しているような感覚をユーザーに持たせるようにする。
【００４３】
具体的には、カメラ１００を把持している右手３０２を上下左右に移動させると、その移動距離に連動して仮想キーボード３０３の表示範囲が移動する。カメラ１００と仮想キーボード３０３とを連動させる際には、例えば、ジャイロを用いて方向および距離を推定する手法が用いられる。又は背景の被写体においてフレーム間マッチングを行って動きベクトルを検出し方向および距離を推定する手法を用いるようにしてもよい。
【００４４】
仮想キーボード３０３の表示範囲を移動する手法は、上記の手法に限らず、ユーザーがキーボードを動かすようにしてもよい。
【００４５】
図５は、図３に示す仮想キーボードの表示範囲を移動する手法の一例を説明するための図である。そして、図５（ａ）〜図５（ｃ）は仮想キーボードを移動させる際の手の形を示す図である。
【００４６】
いま、図５（ａ）に示すように、左手３０１をパーの形に広げた後、図５（ｂ）に示すように仮想キーボード３０３を掴むようにして移動させるとする。画像データから図５（ａ）に示す人間の肌色をしている５本の指を検出したと判定すると、システム制御部５０は仮想キーボード３０３の移動モードに遷移する。そして、図５（ｂ）に示すように、５本の指が短くなると、システム制御部５０は仮想キーボード３０３を左手３０１の移動する方向と距離に連動させて移動させる。また、例えば、図５（ｃ）に示すように、左手３０１において人差し指と親指とによって文字を摘む形状を検出したら、システム制御部５０は文字選択モードとなる。この際には、システム制御部５０は画像データから人間の肌色と２本の指を検出することになる。
【００４７】
上述の説明では、仮想キーボード３０３の一部を表示部２８に表示するようにしたが、仮想キーボード３０３の全体を表示部２８に表示するようにしてもよい。加えて、図３に示す例では、右手３０２でカメラ１００を把持して、左手３０１で文字入力を行う場合について説明したが、左右いずれの手でもカメラ１００を把持できるデザインであれば、右手および左手のいずれを用いて文字入力を行うようにしてもよい。つまり、右利きおよび左利きのいずれであっても文字入力を行うことができる。
【００４８】
図６は、図３に示す仮想キーボード３０３による文字入力の処理を説明するためのフローチャートである。なお、図示のフローチャートで示す処理はシステム制御部５０で実行される。
【００４９】
図２、図３、および図６を参照して、文字入力を行う際には、ユーザーは操作部７０を操作して文字入力モードに切り替える（ステップＳ５０１）。ここでは、文字入力モードにおいて、ファイル名の変更、又はフォルダ新規作成によるフォルダ名の記入などを行うものとする。
【００５０】
続いて、ユーザーは初期設定が済んでいるか否かを確認する（ステップＳ５０２）。ここで、初期設定とは仮想キーボード３０３の切り替えを行うための閾値が設定されていることをいう。この閾値の設定を行う際には、ユーザーの腕の長さを考慮して距離の設定を行う。
【００５１】
初期設定が済んでいなければ（ステップＳ５０２において、ＮＯ）、ユーザーは右手３０２でカメラ１００を把持して左手３０１を文字入力に支障のない範囲まで伸ばした状態とする。つまり、ユーザーは文字入力に支障のない最も遠い位置まで左手３０１を伸ばして測距を行う。そして、ユーザーが仮想キーボードの切り替えを行うのに好都合な位置で閾値を設定する。この閾値は少なくとも１つカメラ１００に設定される（ステップＳ５０３）。
【００５２】
このように、初期設定の際には、ユーザーが仮想キーボード３０３を切り替えやすい左手３０１の位置で閾値を決定する。なお、予めユーザーに対して２乃至３つ程度のテストを準備しておき、このテストに応じてユーザーが閾値を設定するようにしてもよい。
【００５３】
初期設定が済んでいると（ステップＳ５０２において、ＹＥＳ）、ユーザーは、前述したようにして、左手３０１の撮影を行って画像データを得る。システム制御部５０はこの画像データに応じて背景から左手３０１（左手画像）を切り出す（ステップＳ５０４）。なお、ステップＳ５０３に続いてステップＳ５０４の処理が行われる。
【００５４】
左手３０１を背景から切り出す際には、システム制御部５０は人間の肌色を検出して、その検出結果に応じて左手３０１を背景から切り出す。なお、手袋など装着して関係で手の肌色を識別できない場合には、例えば、ユーザーが左手３０１をパーの形にして撮影を数回行って、システム制御部５０が手袋の色を学習するようにしてもよい。
【００５５】
続いて、システム制御部５０はカメラ１００と左手３０１との距離を測定する。カメラ１００と左手３０１との距離を測定して検出距離を得る際には、例えば、位相差ＡＦが用いられる。位相差ＡＦを用いてセパレータレンズで像を２つ形成し、２つの像のずれ量をラインセンサで計測して、カメラ１００と左手３０１との距離を得る。さらには、カメラ１００から赤外線又は超音波を左手３０１に照射して、その反射波が戻るまでの時間に応じて、カメラ１００と左手３０１との距離を求めるようにしてもよい。そして、システム制御部５０は表示部２８において左手３０１の下側（つまり、奥側）に仮想キーボード３０３を表示するとともに、ゲージを表示する（ステップＳ５０５）。
【００５６】
図７は、図６に示す処理で表示部２８に表示された手およびゲージの一例を示す図である。
【００５７】
上述のステップＳ５０５の処理によって、表示部２８には左手３０１表示されるとともに、表示部２８においてその右側にはゲージ６２０が表示される。なお、図７においては、仮想キーボード３０３は省略されている。ゲージ６２０は左手３０１が表示部２８における左手３０１の位置を確認するために用いられる。
【００５８】
図８は、図３に示す表示部２８に表示される仮想キーボード３０３を説明するための図である。そして、図８（ａ）は平仮名入力仮想キーボードの表示を示す図であり、図８（ｂ）は英数字大文字入力仮想キーボードの表示を示す図である。また、図８（ｃ）は英数字小文字入力仮想キーボードの表示を示す図であり、図８（ｄ）は平仮名入力仮想キーボードおよび英数字大文字入力仮想キーボードの重ね表示を示す図である。図８（ｅ）は英数字大文字入力仮想キーボードおよび英数字小文字入力仮想キーボードの重ね表示を示す図である。
【００５９】
また、図９は図３に示す仮想キーボード３０３の表示切り替えを説明するための図である。
【００６０】
いま、図９において、カメラ１００から左手３０１までの距離をｋとし、カメラ１００から左手３０１が離れる方向に沿って複数の領域範囲が規定されている。左手３０１は範囲（領域範囲）６０１〜範囲６０５の間で移動するものとする。また、符合６０６および６０９の各々はステップＳ５０３において決定された閾値を示す。そして、例えば、不揮発性メモリ５６には、予め図９に示す範囲６０１〜範囲６０５が設定される。前述のようにして、閾値６０６および６０９が決定されると、システム制御部５０は範囲６０１〜範囲６０５に関連付けて閾値６０６および６０９を不揮発性メモリ５６に記録する。
【００６１】
なお、図９において、範囲６０１〜範囲６０５の境界も閾値であり、ここではこの閾値を境界閾値とよび、初期設定によって決定された閾値を設定閾値と呼ぶことにする。
【００６２】
システム制御部５０は、連続的に撮影される画像データに応じて、カメラ１００と左手３０１との距離が、左手３０１が現在位置する範囲（領域範囲）を超えたか否かを判定する（ステップＳ５０６）。例えば、左手３０１の現在位置が範囲６０１にあったとすると、システム制御部５０は左手３０１が範囲６０２〜範囲６０５のいずれかに移動すると、システム制御部５０は左手３０１が現在位置の範囲を外れて距離が増加する方向に移動したと判定する。
【００６３】
左手３０１が現在の範囲を超えたと判定すると（ステップＳ５０６において、ＹＥＳ）、システム制御部５０は左手３０１がいずれの範囲に移動したか否かを判定する（ステップＳ５０７）。ステップＳ５０７の処理においては、左手３０１が範囲６０１、６０２、又は６０３のいずれかに位置する場合を”Ａ”とし、左手３０１が範囲６０４又は６０５に位置する場合を”Ｂ”とする。
【００６４】
左手３０１が範囲６０１、６０２、又は６０３のいずれかに位置すると（ステップＳ５０７において、”Ａ”）、システム制御部５０は文字決定可能な状態であるとして、仮想キーボード３０３を透過率１００％で表示部２８に表示する（ステップＳ５０８）。
【００６５】
ステップＳ５０８の処理においては、左手３０１が範囲６０１に位置する場合には、システム制御部５０は、図８（ａ）に示すように、平仮名入力仮想キーボード４０１を表示部２８に表示して、文字決定可能な状態とする。
【００６６】
左手３０１が範囲６０２に位置する場合には、システム制御部５０は、図８（ｂ）に示すように、英数字大文字入力仮想キーボード４０２を表示部２８に表示して、文字決定可能な状態とする。
【００６７】
また、左手３０１が範囲６０３に位置する場合には、システム制御部５０は、図８（ｃ）に示すように、英数字小文字入力仮想キーボード４０３を表示部２８に表示して、文字決定可能な状態とする。
【００６８】
一方、左手３０１が範囲６０４又は６０５のいずれかに位置すると（ステップＳ５０７において、”Ｂ”）、システム制御部５０は文字決定不可能な状態であるとして、後述するように、複数の仮想キーボードについて透過率に重み付けを行う。そして、複数の仮想キーボードを表示する（ステップＳ５０９）。
【００６９】
ステップＳ５０９の処理においては、左手３０１が範囲６０４に位置する場合には、システム制御部５０は、図８（ｄ）に示すように、平仮名入力仮想キーボード４０１および英数字大文字入力仮想キーボード４０２の透過率に重み付けをして重ねて表示する。これによって、システム制御部５０はユーザーに対して仮想キーボード３０３が切り替わり状態になることを直感的に認識させる。そして、システム制御部５０は文字決定を不可能な状態とする。
【００７０】
左手３０１が範囲６０５に位置する場合には、システム制御部５０は、図８（ｅ）に示すように、英数字大文字入力仮想キーボード４０２および英数字小文字入力仮想キーボード４０３の透過率に重み付けを行って重ねて表示部２８に表示する。この際、システム制御部５０は文字決定不可能な状態とする。
【００７１】
図９に示すように、境界閾値６０７の手前（カメラ側）では、平仮名入力仮想キーボード４０１（仮想アイテムの一方）の透過率は１００％であり、英数字大文字入力仮想キーボード４０２（仮想アイテムの他方）の透過率は０％（非表示）である。
【００７２】
左手３０１の移動に応じて、徐々に透過率が変化して、閾値６０６において、平仮名入力仮想キーボード４０１および英数字大文字入力仮想キーボード４０２の透過率はともに５０％となる。
【００７３】
境界閾値６０８においては、平仮名入力仮想キーボード４０１の透過率が０％（非表示）となって、英数字大文字入力仮想キーボード４０２の透過率は１００％となる。このように、範囲６０５においては、左手３０１がカメラ１００から離れるにつれて、平仮名入力仮想キーボード４０１の透過率は徐々に低下し、英数字大文字入力仮想キーボード４０２の透過率は徐々に増加する。
【００７４】
境界閾値６１０においては、英数字大文字入力仮想キーボード４０２の透過率が１００％となって、英数字小文字入力仮想キーボード４０３の透過率は０％（非表示）となる。そして、徐々に透過率が推移して、設定閾値６０９において、英数字大文字入力仮想キーボード４０２の透過率が５０％となって、英数字小文字入力仮想キーボード４０３の透過率が５０％となる。
【００７５】
境界閾値６１１において、英数字大文字入力仮想キーボード４０２の透過率が０％（非表示）となって英数字小文字入力仮想キーボード４０３の透過率が１００％となる。
【００７６】
なお、透過率の推移は、線形的および非線形的のいずれであってもよい。また、範囲６０４および範囲６０５各々の幅は、範囲６０１、６０２、および６０３が狭くなりすぎない程度に予め設定するようにしてもよく、ユーザーが設定するようにしてもよい。
【００７７】
上述のようにして、仮想キーボード３０３を表示部２８に表示した後、システム制御部５０はステップＳ５０５の処理に戻る。つまり、ステップＳ５０８又はＳ５０９の処理を行った後、システム制御部５０はステップＳ５０５の処理に戻る。
【００７８】
ステップＳ５０６において、左手３０１が現在の範囲を超えないと判定すると（ステップＳ５０６において、ＮＯ）、システム制御部５０は指で文字を決定したか否かについて判定する（ステップＳ５１０）。つまり、システム制御部５０は仮想キーボード３０３で文字入力が行われたか（入力情報があったか）否かを判定する。
【００７９】
文字入力が行われないと（ステップＳ５１０において、ＮＯ）、システム制御部５０はステップ５０５の処理に戻る。一方、文字入力が行われると（ステップＳ５１０において、ＹＥＳ）、システム制御部５０は入力した文字の確定を行って、当該文字を、後述する編集エリアに表示する（ステップＳ５１１）。
【００８０】
図１０は文字の選択および決定について説明するための図である。そして、図１０（ａ）は文字を選択した状態を示す図であり、図１０（ｂ）は文字を決定した状態を示す図である。
【００８１】
図５および図１０を参照すると、いま、図５（ｃ）に示すように、システム制御部５０は左手３０１が人差し指と親指で文字をつまむ形状となったことを画像データから確認すると、文字選択モードとなる。ここでは、前述のように、画像データから人間の肌色および２本の指を検出することになる。
【００８２】
図１０（ａ）に示す例では、２本の指で１つの文字（“け”）が選択されている。文字選択モードとなって、図１０（ａ）に示すように文字と対応する仮想アイテム（仮想キー）が選択されると、システム制御部５０はユーザーが選択しようとする文字が分かりやすくなるように、選択中の文字を周囲の文字に比べて変化させる。これにより、ユーザーは選択中の文字と未選択の文字を区別することができる。図示の例では、選択中の文字を大きく強調する。なお、大きくする代わりに選択中の文字の色を変化させるようにしもよく、いずれにしても選択中の文字を他の文字から視覚的に特徴づけるようにすればよい。
【００８３】
文字を決定する際には、図１０（ｂ）に示すように、ユーザーは、例えば、選択中の文字を２本の指で摘む動作を行う。システム制御部５０はこの摘む動作を確認すると、選択中の文字の入力を決定することになる。摘む動作を確認する際には、システム制御部５０は画像データに応じて人間の肌色、２本の指の接着状態又は肌色領域が輪の状態と成ったか否かを検出することになる。
【００８４】
この際、システム制御部５０は、ユーザーに文字を決定した感触を与えるため、指でつまんだ文字が潰れて弾けるようなグラフィック効果を表示部２８に表示する。なお、文字の選択および決定の際の左手３０１の形態およびグラフィック効果は図示の例に限らない。
【００８５】
図１１は、図３に示す表示部２８に表示される編集エリア９０１における文字の変換を説明するための斜視図である。
【００８６】
いま、ユーザーが仮想キーボード３０３を用いて、「クリスマス」という文字列を入力しようとしているとする。図示のように、表示部２８においてその下側には編集エリア９０１が表示され、編集エリア９０１には「クリスマス」という文字列が途中まで表示されている。ここでは、最後の「す」を決定する直前の状態が示されている。
【００８７】
前述のステップＳ５１１において、ユーザーが仮想キーボード３０３の文字「す」を指で摘んで決定すると、システム制御部５０は当該文字「す」を編集エリア９０１においてカーソルが位置づけられた位置に「す」を表示する。
【００８８】
続いて、システム制御部５０はカタカナ又は漢字に変換する変換キーが押されたか否かを判定する（ステップＳ５１２）。カタカナ変換又は漢字変換に用いる変換キーとして、操作部７０を用いるようにしてもよく、仮想キーボード３０３に変換ボタンを配置して、この変換ボタンを用いるようにしてもよい。
【００８９】
図１１に示す例では、ユーザーが変換キーを操作すると（ステップＳ５１３において、ＹＥＳ）、システム制御部５０は「くりすます」の文字列を「クリスマス」の文字列にカタカナ変換する。つまり、システム制御部５０は変換キーの操作に応じてカタカナ／漢字の選択を行って文字列の決定を行う（ステップＳ５１３）。
【００９０】
なお、１文字を削除するバックスペースキーとして、変換キーと同様に操作部７０を用いるようにしてもよく、仮想キーボード３０３にバックスペースボタンを配置して、このバックスペースボタンを用いるようにしてもよい。
【００９１】
一方、変換キーが操作されないと（ステップＳ５１２において、ＮＯ）、システム制御部５０はステップＳ５０５の処理に戻る。
【００９２】
ステップＳ５１３の処理が終了すると、システム制御部５０は文字編集完了キーが操作されたか否かを判定する（ステップＳ５１４）。そして、文字編集完了キーが操作されないと（ステップＳ５１４において、ＮＯ）、システム制御部５０はステップＳ５０５の処理に戻る。
【００９３】
一方、文字編集完了キーが操作されると（ステップＳ５１４において、ＹＥＳ）、システム制御部５０は文字編集を確定して（ステップＳ５１５）、文字入力処理を終了する。
【００９４】
なお、完了編集完了キーとして操作部７０を用いるようにしてもよく、仮想キーボード３０３に文字編集完了ボタンを配置して、この文字編集完了ボタンを用いるようにしてもよい。
【００９５】
上述の実施の形態では、撮影した左手３０１を画像データから切り出して表示部２８に表示するようにしたが、左手３０１を別のイメージ画像に置換するようにしてもよい。また、文字選択中に他人の手が不意に侵入した場合に対処するため、文字入力モードに切り替えた際に初めて認識した指のみを指示体として他の指については無視するようにする。
【００９６】
このように、本発明の実施の形態では、指示体である手の奥行きを変えることによって、平仮名およびアルファベットなどの入力モード変換を容易にしかも片手で行うことができる。
【００９７】
上述の説明から明らかなように、図２において、撮像部２２、画像処理部２４、およびシステム制御部５０などが撮像手段として機能する。また、システム制御部５０は測距手段（測距センサ）として機能するとともに、表示制御手段、および情報入力制御手段として機能する。さらに、操作部７０およびシステム制御部５０は閾値設定手段として機能し、例えば、不揮発性メモリ５６が記憶手段である。
【００９８】
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【００９９】
例えば、上記の実施の形態の機能を制御方法として、この制御方法を情報入力装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、この制御プログラムを情報入力装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
【０１００】
この際、制御方法および制御プログラムは、少なくとも撮像ステップ、測距ステップ、表示制御ステップ、および情報入力制御ステップを有することになる。
【０１０１】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【０１０２】
１００ デジタルカメラ
１５ メモリ制御部
２２ 撮像部
２４ 画像処理部
２８ 表示部
５０ システム制御部
６１ シャッターボタン
７０ 操作部
７２ 電源スイッチ
２００ 記録媒体
【技術分野】
【０００１】
本発明は、情報入力装置、その制御方法、および制御プログラムに関し、特に、仮想キーボードを用いた文字入力方法に関する。
【背景技術】
【０００２】
一般に、撮影の結果得られた多量の画像ファイルをカメラ又はビデオにおいて整理を行いたいというユーザーの要望がある。画像ファイルにおける写真又は動画などの画像を整理する際、フォルダを新規に作成してフォルダ名又はファイル名を変更することがある。さらに、画像にメモを付けて記録することもあり、この際には不可避的に文字入力を行う必要がある。
【０００３】
ところが、デジタルカメラなどの撮像装置においては、その表示画面（例えば、液晶画面）が小さい。このため、液晶画面に入力した全ての文字を表示すると、一つ一つの文字が極めて小さくなってしまい、ユーザーは視認しづらいばかりでなく文字入力操作を行いことが困難となってしまう。
【０００４】
さらに、デジタルカメラには操作部（操作部材ともいう）として、例えば、入力キーのボタン、十字キー、および決定ボタンなどが備えられている程度であり、この点においても文字入力操作も煩雑となる。
【０００５】
一方、操作部材を用いることなく、ユーザーが入力操作を行うことができるようにしたものがある。例えば、立体視装置により映像空間内に検索インデックスを表示するカプセル映像を映し出して、カプセル映像を仮想腕の手で直接操作し、手の動作パターンにより入力情報（入力操作）を認識するようにしたものがある。（特許文献１参照）。
【０００６】
また、パーソナルコンピュータ（以下ＰＣという）などにおいて、ユーザーの手元に仮想キーボードを表示して、仮想キーボードのタッチ操作した位置を検出し、検出したデータに基づいてタッチ操作した入力位置を判別するようにしたものがある。（特許文献２参照）。ここでは、仮想キーボートの表示パターンを複数の種類に切り替えるようにしている。
【０００７】
さらに、３次元ウィンドウ装置によって、複数のウィンドウを半透明表示し、互いに重なりあったウィンドウのうち相対的に下側にあるウィンドウを、遠近法を用いて縮小表示するようにしたものがある（特許文献３参照）。ここでは、カーソルおよび半透明ウィンドウの位置情報が奥行き情報をもち、入力装置からの入力操作に応じてカーソル又は半透明ウィンドウを、半透明ウィンドウ面に対して仮想的な垂直方向を含む方向に移動する位置情報を算出して表示する。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平５−１８９４８４号公報
【特許文献２】特開２００７−１５６５４８号公報
【特許文献３】特開２００３−２７１２７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ところが、特許文献１においては、仮想空間を立体的に表示するため、ゴーグルが必要となるばかりでなく、カプセル映像を選択するためのグローブが必要となって、ユーザーにとっては入力操作がかえって煩わしくなってしまう。
【００１０】
また、特許文献２においては、ＰＣなどで用いられるキーボードを想定したものである。つまり、キーボードは両手で入力操作を行って初めてその発揮される。このようなキーボードをデジタルカメラに用いることは困難であり、たとえ、デジタルカメラに用いるとしてもデジタルカメラを三脚などで固定する必要がある。
【００１１】
特許文献３においては、半透明ウィンドウが選択されても当該半透明ウィンドウが手前に出てこない。よって、奥側に位置する半透明ウィンドウがアクティブになった際には、手前に位置する非アクティブの半透明ウィンドウで奥側に位置する半透明ウィンドウが見えにくくなってしまう。そして、奥側に位置する半透明ウィンドウを見るためには視点の位置を調整する必要がある。
【００１２】
従って、本発明の目的は、ユーザーが片手で容易に情報の入力を行うことのできる情報入力装置、その制御方法、および制御プログラムを提供することにある。
【課題を解決するための手段】
【００１３】
上記の目的を達成するため、本発明による情報入力装置は、表示部に表示された仮想アイテムを用いて情報の入力を行う情報入力装置であって、前記仮想アイテムを操作する指示体を連続的に撮像して指示体画像データを得る撮像手段と、前記指示体と前記撮像手段との距離を検出して検出距離を得る測距手段と、複数の仮想アイテムおよび前記指示体画像データに対応する指示体画像を前記表示部に表示する表示制御手段と、前記検出距離に基づいて前記仮想アイテムを選択する選択手段と、前記選択された仮想アイテムと対応する情報を入力情報として設定する設定手段とを有することを特徴とする。
【００１４】
本発明による制御方法は、表示部に表示された仮想アイテムを用いて情報の入力を行う情報入力装置での制御方法であって、撮像部によって前記仮想アイテムを操作する指示体を連続的に撮像して指示体画像データを得る撮像ステップと、測距センサによって前記指示体と前記撮像部との距離を検出して検出距離を得る測距ステップと、複数の仮想アイテムおよび前記指示体画像データに対応する指示体画像を前記表示部に表示する表示制御ステップと、前記検出距離に基づいて前記仮想アイテムを選択する選択ステップと、前記選択された仮想アイテムと対応する情報を入力情報として設定する設定ステップとを有することを特徴とする。
【００１５】
本発明による制御プログラムは、表示部に表示された仮想アイテムを用いて情報の入力を行う情報入力装置が備えるコンピュータに、撮像部によって前記仮想アイテムを操作する指示体を連続的に撮像して指示体画像データを得る撮像ステップと、測距センサによって前記指示体と前記撮像部との距離を検出して検出距離を得る測距ステップと、複数の仮想アイテムおよび前記指示体画像データに対応する指示体画像を前記表示部に表示する表示制御ステップと、前記検出距離に基づいて前記仮想アイテムを選択する選択ステップと、前記選択された仮想アイテムと対応する情報を入力情報として設定する設定ステップとを実行させることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、仮想アイテムを用いて情報を入力する際、片手で容易に文字入力することができるという効果がある。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施の形態による情報入力装置が用いられたカメラの外観を背面側から示す斜視図である。
【図２】図１に示すカメラの構成の一例を示すブロック図である。
【図３】図２に示すカメラで用いられる仮想デスクトップの概要を説明するための斜視図である。
【図４】図３に示す仮想キーボードの種類の一例を示す図であり、（ａ）は平仮名入力仮想キーボードを示す図、（ｂ）は英数字大文字入力仮想キーボードを示す図、（ｃ）は英数字小文字入力仮想キーボードを示す図、（ｄ）はＰＣ配列仮想キーボードを示す図である。
【図５】図３に示す仮想キーボードの表示範囲を移動する手法の一例を説明するための図であり、（ａ）、（ｂ）、および（ｃ）は仮想キーボードを移動させる際の手の形を示す図である。
【図６】図３に示す仮想キーボードによる文字入力の処理を説明するためのフローチャートである。
【図７】図６に示す処理で表示部に表示された手およびゲージの一例を示す図である。
【図８】図３に示す表示部２８に表示される仮想キーボードを説明するための図であり、（ａ）は平仮名入力仮想キーボードの表示を示す図、（ｂ）は英数字大文字入力仮想キーボードの表示を示す図、（ｃ）は英数字小文字入力仮想キーボードの表示を示す図、（ｄ）は平仮名入力仮想キーボードおよび英数字大文字入力仮想キーボードの重ね表示を示す図、（ｅ）は英数字大文字入力仮想キーボードおよび英数字小文字入力仮想キーボードの重ね表示を示す図である。
【図９】図３に示す仮想キーボードの表示切り替えを説明するための図である。
【図１０】図３に示す仮想キーボードにおいて文字の選択および決定について説明するための図であり、（ａ）は文字を選択した状態を示す図、（ｂ）は文字を決定した状態を示す図である。
【図１１】図３に示す表示部に表示される編集エリアにおける文字の変換を説明するための斜視図である。
【発明を実施するための形態】
【００１８】
以下、本発明の実施の形態による情報入力装置の一例について図面を参照して説明する。
【００１９】
図１は、本発明の実施の形態による情報入力装置が用いられたカメラ１００の外観を背面側から示す斜視図である。なお、以下の説明では、情報入力装置の１つである文字入力装置について説明する。
【００２０】
デジタルカメラ（以下単にカメラと呼ぶ）１００の背面には表示部２８が配置されており、この表示部２８には画像および各種の情報が表示される。カメラ１００の上面にはシャッターボタン６１および電源スイッチ７２が配置されている。電源スイッチ７２の操作によって電源のオン又はオフが行われる。また、シャッターボタン６１の操作によって撮影の指示が行われる。
【００２１】
表示部２８の右側には、モード切替スイッチ６０および操作部７０が配置されている。なお、シャッターボタン６１も操作部７０の１つである。モード切替スイッチ６０の操作によってカメラ１００のモードが切り替えられる。操作部７０にはユーザーからの各種入力操作を受け付けるための各種スイッチ、ボタン、およびタッチパネルなどが含まれるとともに、コントローラホイール７３が含まれている。このコントローラホイール７３は回転操作可能な操作部材である。
【００２２】
カメラ１００の一側面にはコネクタ１１２が配置され、このコネクタ１１２にはカメラ１００と外部機器（例えば、ＰＣ：図示せず）とを接続するための接続ケーブル１１１が接続される。カメラ１００の下面には記録媒体２００を格納するための記録媒体スロット２０１が形成されている。記録媒体２００として、例えば、メモリカードが用いられる。記録媒体２００は記録媒体スロット２０１に格納されると、カメラ１００との通信が可能となる。なお、記録媒体２００を記録媒体スロット２０１に格納した後、蓋２０２が閉じられる。
【００２３】
図２は、図１に示すカメラ１００の構成の一例を示すブロック図である。
【００２４】
図２において、カメラ１００はフォーカスレンズを含む撮影レンズ１０３と絞り機能を備えるシャッター１０１とを有している。撮影レンズ１０３およびシャッター１０１を通過した光学像（被写体像）は撮像部２２に結像される。撮像部２２は、ＣＣＤ又はＶＭＯＳ撮像素子であり、光学像を電気信号（アナログ信号）に変換する。そして、このアナログ信号はＡ／Ｄ変換器２３でデジタル信号（画像信号）に変換される。なお、撮影レンズ１０３、シャッター１０１、および撮像部２２などを含む撮像系はバリア１０２で覆われ、これによって、撮像系の汚れおよび破損を防止するようにしている。
【００２５】
画像処理部２４はＡ／Ｄ変換器２３の出力である画像信号又はメモリ制御部１５から与えられる画像データに対して所定の画素補間および縮小などのリサイズ処理および色変換処理を行う。さらに、画像処理部２４は画像データを用いて所定の演算処理を行って、この演算結果に基づいてシステム制御部５０は露光制御および測距制御を行う。これによって、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、およびＥＦ（フラッシュプリ発光）処理が実行される。また、画像処理部２４は画像データを用いて所定の演算処理を行って、この演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。
【００２６】
Ａ／Ｄ変換器２３の出力である画像信号は、画像処理部２４およびメモリ制御部１５を介して、又はメモリ制御部１５を介してメモリ３２に直接画像データとして書き込まれる。メモリ３２は所定枚数の静止画像および所定時間の動画像、そして、音声データを格納するための十分な記憶容量を備えている。図示の例では、メモリ３２は画像表示用メモリ（ビデオメモリ）を兼ねている。
【００２７】
Ｄ／Ａ変換器１３は、メモリ３２に格納された画像データをアナログ信号に変換して表示部２８に与える。これによって、メモリ３２に書き込まれた画像データは画像として表示部２８に表示される。
【００２８】
不揮発性メモリ５６は電気的に消去・記録可能なメモリであり、例えば、ＥＥＰＲＯＭが用いられる。この不揮発性メモリ５６には、システム制御部５０の動作用の定数およびプログラムなどが記憶されている。なお、このプログラムとは、例えば、後述するフローチャートを実行するためのプログラムをいう。
【００２９】
システム制御部５０はカメラ１００の全体を制御する。システム制御部５０は不揮発性メモリ５６に記録されたプログラムを実行して、後述する各処理を行う。システムメモリ５２には、例えば、ＲＡＭが用いられる。システムメモリ５２には、システム制御部５０の動作用の定数、変数、および不揮発性メモリ５６から読み出されたプログラムなどが展開される。また、システム制御部５０はメモリ３２、Ｄ／Ａ変換器１３、および表示部２８などを制御して画面表示制御を実行する。
【００３０】
シャッターボタン６１は、第１および第２のシャッタースイッチを備えており、シャッターボタン６１の操作によってシステム制御部５０に動作指示が入力される。第１シャッタースイッチは、シャッターボタン６１の操作途中、所謂半押し（撮影準備指示）でオンとなって第１のシャッタースイッチ信号ＳＷ１を出力する。第１のシャッタースイッチ信号ＳＷ１によって、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、およびＥＦ処理等が開始される。
【００３１】
第２シャッタースイッチは、シャッターボタン６１の操作完了、所謂全押し（撮影指示）でオンとなって第２シャッタースイッチ信号ＳＷ２を出力する。システム制御部５０は第２シャッタースイッチ信号ＳＷ２に応じて撮像部２２の信号読み出しから記録媒体２００に画像データを書き込むまでの一連の撮影処理を開始する。
【００３２】
モード切替スイッチ６０は、システム制御部５０の動作モードを静止画記録モード、動画記録モード、および再生モード等のいずれかに切り替える。
【００３３】
表示部２８に表示される種々の機能アイコンを選択操作することによって、操作部７０の各操作部材は場面毎に機能が割り当てられて、各種機能ボタンとして動作する。機能ボタンとして、例えば、終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、および属性変更ボタン等がある。例えば、メニューボタンが押されると、各種設定を行うためのメニュー画面が表示部２８に表示される。そして、ユーザーは表示部２８に表示されたメニュー画面と４方向ボタンおよび／又はＳＥＴボタンとを用いて直感的に各種設定を行うことができる。
【００３４】
図１に示すコントローラホイール７３は、操作部７０に含まれる回転操作可能な操作部材であり、方向ボタンととともに選択項目を指示する際など用いられる。
【００３５】
電源制御部８０は、例えば、電池検出回路、ＤＣ−ＤＣコンバータ、およびスイッチ回路などを有している。そして、電源制御部８０は電池の装着の有無、電池の種類、および電池残量の検出を行う。また、電源制御部８０は検出結果およびシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御して、必要な電圧を必要な期間、記録媒体２００を含む各部に供給する。
【００３６】
電源部３０は、例えば、アルカリ電池又はリチウム電池等の一次電池、ＮｉＣｄ電池、ＮｉＭＨ電池、又はＬｉ電池等の二次電池、そして、ＡＣアダプターなどを有している。インターフェース１８は記録媒体２００とカメラ１００とのインターフェースである。
【００３７】
図３は、図２に示すカメラ１００で用いられる仮想デスクトップの概要を説明するための斜視図である。
【００３８】
図３において、仮想デスクトップとは、仮想空間上の仮想アイテム（以下単にアイテムとも呼ぶ）と手などの指示体の動きに基づいて、仮想アイテムの移動、選択、および決定などの処理を実行するユーザーインターフェースのことをいう。図示の例では、仮想空間上の仮想アイテムをキーボード（以下仮想キーボードという）のキーとして、文字入力を行う場合について説明する。
【００３９】
いま、右手３０２でカメラ１００を把持して、左手３０１を撮影レンズ１０３の前に位置させて連続的に撮影を行って、指示体である左手を撮像した画像データを得る。そして、システム制御部５０は画像データにおいて左手３０１を示す指示体画像データを背景画像から切り出して表示部２８に表示する。ここでは、表示部２８において指示体画像データに応じた画像（つまり、左手３０１）の下側（つまり、奥側）に仮想キーボード３０３が表示される。以下の説明では、左手の画像を単に左手ともいうことにする。
【００４０】
図４は、図３に示す仮想キーボード３０３の種類の一例を示す図である。そして、図４（ａ）は平仮名入力仮想キーボード４０１を示す図であり、図４（ｂ）は英数字大文字入力仮想キーボード４０２を示す図である。また、図４（ｃ）は英数字小文字入力仮想キーボード４０３を示す図であり、図４（ｄ）はＰＣ配列仮想キーボード４０４を示す図である。
【００４１】
図４（ａ）〜図４（ｃ）に示すように、ここでは、仮想キーボード３０３として、例えば、平仮名入力のための仮想キーボード４０１、英数字大文字入力のための仮想キーボード４０２、および英数字小文字入力のための仮想キーボード４０３が選択的に用いられる。なお、図４（ｄ）に示すＰＣで用いられるキーボードのキー配列を有するＰＣ配列仮想キーボード４０４を用いるようにしてもよく、記号および絵文字などを仮想キーボードに含めるようにしてもよい。また、以下の説明では、図４（ａ）〜図４（ｃ）に示す３種類の仮想キーボードを切り替えて用いる例について説明するが、２種類以上の仮想アイテム、つまり、仮想キーボードを選択的に用いるようにすればよい。
【００４２】
図３に示す例では、図４（ａ）に示す平仮名入力仮想キーボード４０１が仮想キーボードとして表示部２８に表示され、仮想キーボードのうち一部の平仮名のみが表示部２８に表示されている。他の平仮名を表示させる際には、固定された仮想キーボード３０３をカメラ１００で写しているような感覚をユーザーに持たせるようにする。
【００４３】
具体的には、カメラ１００を把持している右手３０２を上下左右に移動させると、その移動距離に連動して仮想キーボード３０３の表示範囲が移動する。カメラ１００と仮想キーボード３０３とを連動させる際には、例えば、ジャイロを用いて方向および距離を推定する手法が用いられる。又は背景の被写体においてフレーム間マッチングを行って動きベクトルを検出し方向および距離を推定する手法を用いるようにしてもよい。
【００４４】
仮想キーボード３０３の表示範囲を移動する手法は、上記の手法に限らず、ユーザーがキーボードを動かすようにしてもよい。
【００４５】
図５は、図３に示す仮想キーボードの表示範囲を移動する手法の一例を説明するための図である。そして、図５（ａ）〜図５（ｃ）は仮想キーボードを移動させる際の手の形を示す図である。
【００４６】
いま、図５（ａ）に示すように、左手３０１をパーの形に広げた後、図５（ｂ）に示すように仮想キーボード３０３を掴むようにして移動させるとする。画像データから図５（ａ）に示す人間の肌色をしている５本の指を検出したと判定すると、システム制御部５０は仮想キーボード３０３の移動モードに遷移する。そして、図５（ｂ）に示すように、５本の指が短くなると、システム制御部５０は仮想キーボード３０３を左手３０１の移動する方向と距離に連動させて移動させる。また、例えば、図５（ｃ）に示すように、左手３０１において人差し指と親指とによって文字を摘む形状を検出したら、システム制御部５０は文字選択モードとなる。この際には、システム制御部５０は画像データから人間の肌色と２本の指を検出することになる。
【００４７】
上述の説明では、仮想キーボード３０３の一部を表示部２８に表示するようにしたが、仮想キーボード３０３の全体を表示部２８に表示するようにしてもよい。加えて、図３に示す例では、右手３０２でカメラ１００を把持して、左手３０１で文字入力を行う場合について説明したが、左右いずれの手でもカメラ１００を把持できるデザインであれば、右手および左手のいずれを用いて文字入力を行うようにしてもよい。つまり、右利きおよび左利きのいずれであっても文字入力を行うことができる。
【００４８】
図６は、図３に示す仮想キーボード３０３による文字入力の処理を説明するためのフローチャートである。なお、図示のフローチャートで示す処理はシステム制御部５０で実行される。
【００４９】
図２、図３、および図６を参照して、文字入力を行う際には、ユーザーは操作部７０を操作して文字入力モードに切り替える（ステップＳ５０１）。ここでは、文字入力モードにおいて、ファイル名の変更、又はフォルダ新規作成によるフォルダ名の記入などを行うものとする。
【００５０】
続いて、ユーザーは初期設定が済んでいるか否かを確認する（ステップＳ５０２）。ここで、初期設定とは仮想キーボード３０３の切り替えを行うための閾値が設定されていることをいう。この閾値の設定を行う際には、ユーザーの腕の長さを考慮して距離の設定を行う。
【００５１】
初期設定が済んでいなければ（ステップＳ５０２において、ＮＯ）、ユーザーは右手３０２でカメラ１００を把持して左手３０１を文字入力に支障のない範囲まで伸ばした状態とする。つまり、ユーザーは文字入力に支障のない最も遠い位置まで左手３０１を伸ばして測距を行う。そして、ユーザーが仮想キーボードの切り替えを行うのに好都合な位置で閾値を設定する。この閾値は少なくとも１つカメラ１００に設定される（ステップＳ５０３）。
【００５２】
このように、初期設定の際には、ユーザーが仮想キーボード３０３を切り替えやすい左手３０１の位置で閾値を決定する。なお、予めユーザーに対して２乃至３つ程度のテストを準備しておき、このテストに応じてユーザーが閾値を設定するようにしてもよい。
【００５３】
初期設定が済んでいると（ステップＳ５０２において、ＹＥＳ）、ユーザーは、前述したようにして、左手３０１の撮影を行って画像データを得る。システム制御部５０はこの画像データに応じて背景から左手３０１（左手画像）を切り出す（ステップＳ５０４）。なお、ステップＳ５０３に続いてステップＳ５０４の処理が行われる。
【００５４】
左手３０１を背景から切り出す際には、システム制御部５０は人間の肌色を検出して、その検出結果に応じて左手３０１を背景から切り出す。なお、手袋など装着して関係で手の肌色を識別できない場合には、例えば、ユーザーが左手３０１をパーの形にして撮影を数回行って、システム制御部５０が手袋の色を学習するようにしてもよい。
【００５５】
続いて、システム制御部５０はカメラ１００と左手３０１との距離を測定する。カメラ１００と左手３０１との距離を測定して検出距離を得る際には、例えば、位相差ＡＦが用いられる。位相差ＡＦを用いてセパレータレンズで像を２つ形成し、２つの像のずれ量をラインセンサで計測して、カメラ１００と左手３０１との距離を得る。さらには、カメラ１００から赤外線又は超音波を左手３０１に照射して、その反射波が戻るまでの時間に応じて、カメラ１００と左手３０１との距離を求めるようにしてもよい。そして、システム制御部５０は表示部２８において左手３０１の下側（つまり、奥側）に仮想キーボード３０３を表示するとともに、ゲージを表示する（ステップＳ５０５）。
【００５６】
図７は、図６に示す処理で表示部２８に表示された手およびゲージの一例を示す図である。
【００５７】
上述のステップＳ５０５の処理によって、表示部２８には左手３０１表示されるとともに、表示部２８においてその右側にはゲージ６２０が表示される。なお、図７においては、仮想キーボード３０３は省略されている。ゲージ６２０は左手３０１が表示部２８における左手３０１の位置を確認するために用いられる。
【００５８】
図８は、図３に示す表示部２８に表示される仮想キーボード３０３を説明するための図である。そして、図８（ａ）は平仮名入力仮想キーボードの表示を示す図であり、図８（ｂ）は英数字大文字入力仮想キーボードの表示を示す図である。また、図８（ｃ）は英数字小文字入力仮想キーボードの表示を示す図であり、図８（ｄ）は平仮名入力仮想キーボードおよび英数字大文字入力仮想キーボードの重ね表示を示す図である。図８（ｅ）は英数字大文字入力仮想キーボードおよび英数字小文字入力仮想キーボードの重ね表示を示す図である。
【００５９】
また、図９は図３に示す仮想キーボード３０３の表示切り替えを説明するための図である。
【００６０】
いま、図９において、カメラ１００から左手３０１までの距離をｋとし、カメラ１００から左手３０１が離れる方向に沿って複数の領域範囲が規定されている。左手３０１は範囲（領域範囲）６０１〜範囲６０５の間で移動するものとする。また、符合６０６および６０９の各々はステップＳ５０３において決定された閾値を示す。そして、例えば、不揮発性メモリ５６には、予め図９に示す範囲６０１〜範囲６０５が設定される。前述のようにして、閾値６０６および６０９が決定されると、システム制御部５０は範囲６０１〜範囲６０５に関連付けて閾値６０６および６０９を不揮発性メモリ５６に記録する。
【００６１】
なお、図９において、範囲６０１〜範囲６０５の境界も閾値であり、ここではこの閾値を境界閾値とよび、初期設定によって決定された閾値を設定閾値と呼ぶことにする。
【００６２】
システム制御部５０は、連続的に撮影される画像データに応じて、カメラ１００と左手３０１との距離が、左手３０１が現在位置する範囲（領域範囲）を超えたか否かを判定する（ステップＳ５０６）。例えば、左手３０１の現在位置が範囲６０１にあったとすると、システム制御部５０は左手３０１が範囲６０２〜範囲６０５のいずれかに移動すると、システム制御部５０は左手３０１が現在位置の範囲を外れて距離が増加する方向に移動したと判定する。
【００６３】
左手３０１が現在の範囲を超えたと判定すると（ステップＳ５０６において、ＹＥＳ）、システム制御部５０は左手３０１がいずれの範囲に移動したか否かを判定する（ステップＳ５０７）。ステップＳ５０７の処理においては、左手３０１が範囲６０１、６０２、又は６０３のいずれかに位置する場合を”Ａ”とし、左手３０１が範囲６０４又は６０５に位置する場合を”Ｂ”とする。
【００６４】
左手３０１が範囲６０１、６０２、又は６０３のいずれかに位置すると（ステップＳ５０７において、”Ａ”）、システム制御部５０は文字決定可能な状態であるとして、仮想キーボード３０３を透過率１００％で表示部２８に表示する（ステップＳ５０８）。
【００６５】
ステップＳ５０８の処理においては、左手３０１が範囲６０１に位置する場合には、システム制御部５０は、図８（ａ）に示すように、平仮名入力仮想キーボード４０１を表示部２８に表示して、文字決定可能な状態とする。
【００６６】
左手３０１が範囲６０２に位置する場合には、システム制御部５０は、図８（ｂ）に示すように、英数字大文字入力仮想キーボード４０２を表示部２８に表示して、文字決定可能な状態とする。
【００６７】
また、左手３０１が範囲６０３に位置する場合には、システム制御部５０は、図８（ｃ）に示すように、英数字小文字入力仮想キーボード４０３を表示部２８に表示して、文字決定可能な状態とする。
【００６８】
一方、左手３０１が範囲６０４又は６０５のいずれかに位置すると（ステップＳ５０７において、”Ｂ”）、システム制御部５０は文字決定不可能な状態であるとして、後述するように、複数の仮想キーボードについて透過率に重み付けを行う。そして、複数の仮想キーボードを表示する（ステップＳ５０９）。
【００６９】
ステップＳ５０９の処理においては、左手３０１が範囲６０４に位置する場合には、システム制御部５０は、図８（ｄ）に示すように、平仮名入力仮想キーボード４０１および英数字大文字入力仮想キーボード４０２の透過率に重み付けをして重ねて表示する。これによって、システム制御部５０はユーザーに対して仮想キーボード３０３が切り替わり状態になることを直感的に認識させる。そして、システム制御部５０は文字決定を不可能な状態とする。
【００７０】
左手３０１が範囲６０５に位置する場合には、システム制御部５０は、図８（ｅ）に示すように、英数字大文字入力仮想キーボード４０２および英数字小文字入力仮想キーボード４０３の透過率に重み付けを行って重ねて表示部２８に表示する。この際、システム制御部５０は文字決定不可能な状態とする。
【００７１】
図９に示すように、境界閾値６０７の手前（カメラ側）では、平仮名入力仮想キーボード４０１（仮想アイテムの一方）の透過率は１００％であり、英数字大文字入力仮想キーボード４０２（仮想アイテムの他方）の透過率は０％（非表示）である。
【００７２】
左手３０１の移動に応じて、徐々に透過率が変化して、閾値６０６において、平仮名入力仮想キーボード４０１および英数字大文字入力仮想キーボード４０２の透過率はともに５０％となる。
【００７３】
境界閾値６０８においては、平仮名入力仮想キーボード４０１の透過率が０％（非表示）となって、英数字大文字入力仮想キーボード４０２の透過率は１００％となる。このように、範囲６０５においては、左手３０１がカメラ１００から離れるにつれて、平仮名入力仮想キーボード４０１の透過率は徐々に低下し、英数字大文字入力仮想キーボード４０２の透過率は徐々に増加する。
【００７４】
境界閾値６１０においては、英数字大文字入力仮想キーボード４０２の透過率が１００％となって、英数字小文字入力仮想キーボード４０３の透過率は０％（非表示）となる。そして、徐々に透過率が推移して、設定閾値６０９において、英数字大文字入力仮想キーボード４０２の透過率が５０％となって、英数字小文字入力仮想キーボード４０３の透過率が５０％となる。
【００７５】
境界閾値６１１において、英数字大文字入力仮想キーボード４０２の透過率が０％（非表示）となって英数字小文字入力仮想キーボード４０３の透過率が１００％となる。
【００７６】
なお、透過率の推移は、線形的および非線形的のいずれであってもよい。また、範囲６０４および範囲６０５各々の幅は、範囲６０１、６０２、および６０３が狭くなりすぎない程度に予め設定するようにしてもよく、ユーザーが設定するようにしてもよい。
【００７７】
上述のようにして、仮想キーボード３０３を表示部２８に表示した後、システム制御部５０はステップＳ５０５の処理に戻る。つまり、ステップＳ５０８又はＳ５０９の処理を行った後、システム制御部５０はステップＳ５０５の処理に戻る。
【００７８】
ステップＳ５０６において、左手３０１が現在の範囲を超えないと判定すると（ステップＳ５０６において、ＮＯ）、システム制御部５０は指で文字を決定したか否かについて判定する（ステップＳ５１０）。つまり、システム制御部５０は仮想キーボード３０３で文字入力が行われたか（入力情報があったか）否かを判定する。
【００７９】
文字入力が行われないと（ステップＳ５１０において、ＮＯ）、システム制御部５０はステップ５０５の処理に戻る。一方、文字入力が行われると（ステップＳ５１０において、ＹＥＳ）、システム制御部５０は入力した文字の確定を行って、当該文字を、後述する編集エリアに表示する（ステップＳ５１１）。
【００８０】
図１０は文字の選択および決定について説明するための図である。そして、図１０（ａ）は文字を選択した状態を示す図であり、図１０（ｂ）は文字を決定した状態を示す図である。
【００８１】
図５および図１０を参照すると、いま、図５（ｃ）に示すように、システム制御部５０は左手３０１が人差し指と親指で文字をつまむ形状となったことを画像データから確認すると、文字選択モードとなる。ここでは、前述のように、画像データから人間の肌色および２本の指を検出することになる。
【００８２】
図１０（ａ）に示す例では、２本の指で１つの文字（“け”）が選択されている。文字選択モードとなって、図１０（ａ）に示すように文字と対応する仮想アイテム（仮想キー）が選択されると、システム制御部５０はユーザーが選択しようとする文字が分かりやすくなるように、選択中の文字を周囲の文字に比べて変化させる。これにより、ユーザーは選択中の文字と未選択の文字を区別することができる。図示の例では、選択中の文字を大きく強調する。なお、大きくする代わりに選択中の文字の色を変化させるようにしもよく、いずれにしても選択中の文字を他の文字から視覚的に特徴づけるようにすればよい。
【００８３】
文字を決定する際には、図１０（ｂ）に示すように、ユーザーは、例えば、選択中の文字を２本の指で摘む動作を行う。システム制御部５０はこの摘む動作を確認すると、選択中の文字の入力を決定することになる。摘む動作を確認する際には、システム制御部５０は画像データに応じて人間の肌色、２本の指の接着状態又は肌色領域が輪の状態と成ったか否かを検出することになる。
【００８４】
この際、システム制御部５０は、ユーザーに文字を決定した感触を与えるため、指でつまんだ文字が潰れて弾けるようなグラフィック効果を表示部２８に表示する。なお、文字の選択および決定の際の左手３０１の形態およびグラフィック効果は図示の例に限らない。
【００８５】
図１１は、図３に示す表示部２８に表示される編集エリア９０１における文字の変換を説明するための斜視図である。
【００８６】
いま、ユーザーが仮想キーボード３０３を用いて、「クリスマス」という文字列を入力しようとしているとする。図示のように、表示部２８においてその下側には編集エリア９０１が表示され、編集エリア９０１には「クリスマス」という文字列が途中まで表示されている。ここでは、最後の「す」を決定する直前の状態が示されている。
【００８７】
前述のステップＳ５１１において、ユーザーが仮想キーボード３０３の文字「す」を指で摘んで決定すると、システム制御部５０は当該文字「す」を編集エリア９０１においてカーソルが位置づけられた位置に「す」を表示する。
【００８８】
続いて、システム制御部５０はカタカナ又は漢字に変換する変換キーが押されたか否かを判定する（ステップＳ５１２）。カタカナ変換又は漢字変換に用いる変換キーとして、操作部７０を用いるようにしてもよく、仮想キーボード３０３に変換ボタンを配置して、この変換ボタンを用いるようにしてもよい。
【００８９】
図１１に示す例では、ユーザーが変換キーを操作すると（ステップＳ５１３において、ＹＥＳ）、システム制御部５０は「くりすます」の文字列を「クリスマス」の文字列にカタカナ変換する。つまり、システム制御部５０は変換キーの操作に応じてカタカナ／漢字の選択を行って文字列の決定を行う（ステップＳ５１３）。
【００９０】
なお、１文字を削除するバックスペースキーとして、変換キーと同様に操作部７０を用いるようにしてもよく、仮想キーボード３０３にバックスペースボタンを配置して、このバックスペースボタンを用いるようにしてもよい。
【００９１】
一方、変換キーが操作されないと（ステップＳ５１２において、ＮＯ）、システム制御部５０はステップＳ５０５の処理に戻る。
【００９２】
ステップＳ５１３の処理が終了すると、システム制御部５０は文字編集完了キーが操作されたか否かを判定する（ステップＳ５１４）。そして、文字編集完了キーが操作されないと（ステップＳ５１４において、ＮＯ）、システム制御部５０はステップＳ５０５の処理に戻る。
【００９３】
一方、文字編集完了キーが操作されると（ステップＳ５１４において、ＹＥＳ）、システム制御部５０は文字編集を確定して（ステップＳ５１５）、文字入力処理を終了する。
【００９４】
なお、完了編集完了キーとして操作部７０を用いるようにしてもよく、仮想キーボード３０３に文字編集完了ボタンを配置して、この文字編集完了ボタンを用いるようにしてもよい。
【００９５】
上述の実施の形態では、撮影した左手３０１を画像データから切り出して表示部２８に表示するようにしたが、左手３０１を別のイメージ画像に置換するようにしてもよい。また、文字選択中に他人の手が不意に侵入した場合に対処するため、文字入力モードに切り替えた際に初めて認識した指のみを指示体として他の指については無視するようにする。
【００９６】
このように、本発明の実施の形態では、指示体である手の奥行きを変えることによって、平仮名およびアルファベットなどの入力モード変換を容易にしかも片手で行うことができる。
【００９７】
上述の説明から明らかなように、図２において、撮像部２２、画像処理部２４、およびシステム制御部５０などが撮像手段として機能する。また、システム制御部５０は測距手段（測距センサ）として機能するとともに、表示制御手段、および情報入力制御手段として機能する。さらに、操作部７０およびシステム制御部５０は閾値設定手段として機能し、例えば、不揮発性メモリ５６が記憶手段である。
【００９８】
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【００９９】
例えば、上記の実施の形態の機能を制御方法として、この制御方法を情報入力装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、この制御プログラムを情報入力装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
【０１００】
この際、制御方法および制御プログラムは、少なくとも撮像ステップ、測距ステップ、表示制御ステップ、および情報入力制御ステップを有することになる。
【０１０１】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【０１０２】
１００ デジタルカメラ
１５ メモリ制御部
２２ 撮像部
２４ 画像処理部
２８ 表示部
５０ システム制御部
６１ シャッターボタン
７０ 操作部
７２ 電源スイッチ
２００ 記録媒体
【特許請求の範囲】
【請求項１】
表示部に表示された仮想アイテムを用いて情報の入力を行う情報入力装置であって、
前記仮想アイテムを操作する指示体を連続的に撮像して指示体画像データを得る撮像手段と、
前記指示体と前記撮像手段との距離を検出して検出距離を得る測距手段と、
複数の仮想アイテムおよび前記指示体画像データに対応する指示体画像を前記表示部に表示する表示制御手段と、
前記検出距離に基づいて前記仮想アイテムを選択する選択手段と、
前記選択された仮想アイテムと対応する情報を入力情報として設定する設定手段とを有することを特徴とする情報入力装置。
【請求項２】
前記指示体と前記撮像手段との距離に応じた少なくとも１つの閾値を設定閾値として設定する閾値設定手段と、
前記指示体が前記撮像手段から離れる方向に沿って規定された複数の領域範囲を記憶する記憶手段とを有し、
前記表示制御手段は、前記検出距離に応じて前記設定閾値が属する領域範囲に前記指示体が位置する判定すると、２種類の仮想アイテムを前記表示部に表示するようにしたことを特徴とする請求項１に記載の情報入力装置。
【請求項３】
前記表示制御手段は前記２種類の仮想アイテムの透過率を異ならせて前記表示部に表示することを特徴とする請求項２に記載の情報入力装置。
【請求項４】
前記指示体が前記設定閾値に位置する際には、前記表示制御手段は前記２種類の仮想アイテムの透過率を等しくすることを特徴とする請求項３に記載の情報入力装置。
【請求項５】
前記設定閾値が属する領域範囲の境界においては、前記表示制御手段は前記２種類の仮想アイテムの一方の透過率を１００％とし、前記２種類の仮想アイテムの他方を非表示とし、前記指示体が、前記設定閾値が属する領域範囲で前記撮像手段から離れる方向に移動するにつれて前記２種類の仮想アイテムの一方の透過率を低下させ、前記２種類の仮想アイテムの他方の透過率を増加させることを特徴とする請求項３又は４に記載の情報入力装置。
【請求項６】
前記仮想アイテムは前記情報の入力として文字入力を行うための仮想キーボードであることを特徴とする請求項１〜５のいずれか１項に記載の情報入力装置。
【請求項７】
前記表示制御手段は、前記選択された仮想アイテムを他の仮想アイテムと区別して表示するようにしたことを特徴とする請求項１〜６のいずれか１項に記載の情報入力装置。
【請求項８】
前記指示体は指であり、前記情報入力制御手段は前記指の形状に応じて前記仮想アイテムを選択するようにしたことを特徴とする請求項１〜７のいずれか１項に記載の情報入力装置。
【請求項９】
表示部に表示された仮想アイテムを用いて情報の入力を行う情報入力装置での制御方法であって、
撮像部によって前記仮想アイテムを操作する指示体を連続的に撮像して指示体画像データを得る撮像ステップと、
測距センサによって前記指示体と前記撮像部との距離を検出して検出距離を得る測距ステップと、
複数の仮想アイテムおよび前記指示体画像データに対応する指示体画像を前記表示部に表示する表示制御ステップと、
前記検出距離に基づいて前記仮想アイテムを選択する選択ステップと、
前記選択された仮想アイテムと対応する情報を入力情報として設定する設定ステップとを有することを特徴とする制御方法。
【請求項１０】
表示部に表示された仮想アイテムを用いて情報の入力を行う情報入力装置が備えるコンピュータに、
撮像部によって前記仮想アイテムを操作する指示体を連続的に撮像して指示体画像データを得る撮像ステップと、
測距センサによって前記指示体と前記撮像部との距離を検出して検出距離を得る測距ステップと、
複数の仮想アイテムおよび前記指示体画像データに対応する指示体画像を前記表示部に表示する表示制御ステップと、
前記検出距離に基づいて前記仮想アイテムを選択する選択ステップと、
前記選択された仮想アイテムと対応する情報を入力情報として設定する設定ステップとを実行させることを特徴とする制御プログラム。
【請求項１】
表示部に表示された仮想アイテムを用いて情報の入力を行う情報入力装置であって、
前記仮想アイテムを操作する指示体を連続的に撮像して指示体画像データを得る撮像手段と、
前記指示体と前記撮像手段との距離を検出して検出距離を得る測距手段と、
複数の仮想アイテムおよび前記指示体画像データに対応する指示体画像を前記表示部に表示する表示制御手段と、
前記検出距離に基づいて前記仮想アイテムを選択する選択手段と、
前記選択された仮想アイテムと対応する情報を入力情報として設定する設定手段とを有することを特徴とする情報入力装置。
【請求項２】
前記指示体と前記撮像手段との距離に応じた少なくとも１つの閾値を設定閾値として設定する閾値設定手段と、
前記指示体が前記撮像手段から離れる方向に沿って規定された複数の領域範囲を記憶する記憶手段とを有し、
前記表示制御手段は、前記検出距離に応じて前記設定閾値が属する領域範囲に前記指示体が位置する判定すると、２種類の仮想アイテムを前記表示部に表示するようにしたことを特徴とする請求項１に記載の情報入力装置。
【請求項３】
前記表示制御手段は前記２種類の仮想アイテムの透過率を異ならせて前記表示部に表示することを特徴とする請求項２に記載の情報入力装置。
【請求項４】
前記指示体が前記設定閾値に位置する際には、前記表示制御手段は前記２種類の仮想アイテムの透過率を等しくすることを特徴とする請求項３に記載の情報入力装置。
【請求項５】
前記設定閾値が属する領域範囲の境界においては、前記表示制御手段は前記２種類の仮想アイテムの一方の透過率を１００％とし、前記２種類の仮想アイテムの他方を非表示とし、前記指示体が、前記設定閾値が属する領域範囲で前記撮像手段から離れる方向に移動するにつれて前記２種類の仮想アイテムの一方の透過率を低下させ、前記２種類の仮想アイテムの他方の透過率を増加させることを特徴とする請求項３又は４に記載の情報入力装置。
【請求項６】
前記仮想アイテムは前記情報の入力として文字入力を行うための仮想キーボードであることを特徴とする請求項１〜５のいずれか１項に記載の情報入力装置。
【請求項７】
前記表示制御手段は、前記選択された仮想アイテムを他の仮想アイテムと区別して表示するようにしたことを特徴とする請求項１〜６のいずれか１項に記載の情報入力装置。
【請求項８】
前記指示体は指であり、前記情報入力制御手段は前記指の形状に応じて前記仮想アイテムを選択するようにしたことを特徴とする請求項１〜７のいずれか１項に記載の情報入力装置。
【請求項９】
表示部に表示された仮想アイテムを用いて情報の入力を行う情報入力装置での制御方法であって、
撮像部によって前記仮想アイテムを操作する指示体を連続的に撮像して指示体画像データを得る撮像ステップと、
測距センサによって前記指示体と前記撮像部との距離を検出して検出距離を得る測距ステップと、
複数の仮想アイテムおよび前記指示体画像データに対応する指示体画像を前記表示部に表示する表示制御ステップと、
前記検出距離に基づいて前記仮想アイテムを選択する選択ステップと、
前記選択された仮想アイテムと対応する情報を入力情報として設定する設定ステップとを有することを特徴とする制御方法。
【請求項１０】
表示部に表示された仮想アイテムを用いて情報の入力を行う情報入力装置が備えるコンピュータに、
撮像部によって前記仮想アイテムを操作する指示体を連続的に撮像して指示体画像データを得る撮像ステップと、
測距センサによって前記指示体と前記撮像部との距離を検出して検出距離を得る測距ステップと、
複数の仮想アイテムおよび前記指示体画像データに対応する指示体画像を前記表示部に表示する表示制御ステップと、
前記検出距離に基づいて前記仮想アイテムを選択する選択ステップと、
前記選択された仮想アイテムと対応する情報を入力情報として設定する設定ステップとを実行させることを特徴とする制御プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−２４８０６７（Ｐ２０１２−２４８０６７Ａ）
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願番号】特願２０１１−１２０３４２（Ｐ２０１１−１２０３４２）
【出願日】平成２３年５月３０日（２０１１．５．３０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願日】平成２３年５月３０日（２０１１．５．３０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]