説明

携帯端末及びプログラム

【課題】入力内容と手指の動きとの対応関係を把握していなくとも利用可能であり、かつ、その入力受付状況を正しく把握できるようにしたカメラ入力インタフェース付き携帯端末の提供。
【解決手段】カメラ付き携帯電話端末100は、カメラ10から入力された手指の移動軌跡に関連付けられた動作を実行するカメラ入力インタフェースを備え、更に、補助ディスプレイ21に、手指の移動軌跡と特定の動作との対応関係を示す操作ガイダンス情報を出力するとともに、入力を受け付けた手指の移動軌跡をメインディスプレイ20の表示内容に重ねるように描画し、ユーザに受け付けた手指の移動軌跡を認識させる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、カメラを備えた携帯端末及びプログラムに関し、特に、そのカメラを利用した入力インタフェースを実現する技術に関する。
【背景技術】
【0002】
近年の携帯電話機に代表される携帯端末はメールの作成やWeb閲覧に利用される機会が増えているが、パーソナルコンピュータに比べると操作性は決して良いとはいえない。また手の不自由な障害者にとっては、操作はより厳しいものとなっている。こうした携帯機器におけるボタンに代る入力インタフェースとして、特開2002−49455号公報の入力インタフェース装置が知られている。同公報には、撮像装置を用いて操作者の手指の動きの軌跡を抽出する入力インタフェースを備えた携帯情報機器が開示されている。また、同公報では、入力された内容を手書き文字や図形として使用し、あるいは、これらを基にした文字認識処理を行うことが提案されている(段落0053)。
【0003】
【特許文献1】特開2002−49455号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
カメラを用いた入力インタフェースが各種提案されてはいるが、その使い勝手に改善の余地が残されている。例えば、特許文献1のように、入力した内容が、そのまま文字や図形といった結果として表れる場合はよいが、カメラへの入力内容と特定の動作に観念的な関連性が無い場合、マニュアル等を参照しながらでなければ活用することができないという問題点がある。
【0005】
また、メニューの切り替え等は別として、表示内容の更新や着信音量の変更等の処理結果が画面に反映されるとは限らない性質の処理を手指にて命じた場合、音声やサブウインドウによる表示等の応答がなければ、正しく入力が受け付けられたか否かを確認できないという問題点もある。
【0006】
本発明は、上記した事情に鑑みてなされたものであって、その目的とするところは、入力操作に習熟していなくとも利用可能であり、しかも、その入力受付状況を正しく確認できるようにしたカメラ入力インタフェースを備えた携帯端末及びそのプログラムを提供することにある。
【課題を解決するための手段】
【0007】
本発明の第1の視点によれば、カメラから入力された判定対象物の移動軌跡に関連付けられた動作を実行するカメラ入力インタフェースを備える携帯端末であって、前記判定対象物の移動軌跡と該移動軌跡に関連付けられた動作との対応関係を示す操作ガイダンス情報を出力する手段と、入力を受け付けた前記判定対象物の移動軌跡をディスプレイの表示内容に重ねるように描画する手段と、を備えたこと、を特徴とする携帯端末が提供される。
【0008】
また本発明の第2の視点によれば、カメラから入力された判定対象物の移動軌跡に関連付けられた動作を実行するカメラ入力インタフェースを備える携帯端末に内蔵されたコンピュータに実行させるプログラムであって、前記判定対象物の移動軌跡と該移動軌跡に関連付けられた動作との対応関係を示す操作ガイダンス情報を出力する処理と、入力を受け付けた前記判定対象物の移動軌跡をディスプレイの表示内容に重ねるように描画する処理と、を前記コンピュータに実行させる携帯端末用プログラムが提供される。
【発明の効果】
【0009】
本発明によれば、出力されたガイダンスに従って入力操作を行い、また、その結果を確認しながら的確に入力を行うことが可能となる。
【発明を実施するための最良の形態】
【0010】
続いて、本発明を実施するための最良の形態について図面を参照して詳細に説明する。図1は、本発明の第1の実施形態に係る携帯電話端末の概略構成を表した図である。図1を参照すると、本実施形態に係る携帯電話端末100は、メインディスプレイ20が配設された上部筐体と、補助ディスプレイ(サブディスプレイ)21が配設された下部筐体の2つ折り形式から構成される。本実施形態に係る携帯電話端末100は、更に、メインディスプレイ20の側方に配されたカメラ10と、番号ボタンや各種機能ボタンを含んだ入力キー30とを備えて構成されている。
【0011】
そして、開いた状態の携帯電話端末100を机等に定置し、所定の画面を表示した状態で、本インタフェースを起動すると、カメラ10より手指200の動き(移動軌跡)を入力可能となる。入力された移動軌跡は、前記表示中の画面の上に描画される(図6参照)。そして、携帯電話端末100は、入力された移動軌跡の意味するところに従って、所定宛先への電話発信、オフフック動作、録音メッセージの再生等の電話機能に関連する諸操作、電子メール関連の諸操作、Web閲覧関連の諸操作、カメラの撮像操作等の動作を実行する。またこの間、ユーザは、メインディスプレイの内容に応じて補助ディスプレイ21に表示される操作ガイダンス情報(操作支援情報;図3参照)を参照することが可能であるので、迷うことなく次の操作を行うことができる。
【0012】
図2は、本実施形態に係る携帯電話端末の詳細構成を表した図である。図2を参照すると、本実施形態に係る携帯電話端末100は、前述したカメラ10、メインディスプレイ20、補助ディスプレイ21の他に、カメラDSP(Digital Signal Processor)41と、個人色彩情報取得部42と、特徴点抽出部43と、指画像情報加工部44と、個人色彩データ(記憶部)45と、移動基準点算出部46と、移動軌跡算出部47と、移動軌跡データ(記憶部)48と、移動軌跡比較部49と、操作コマンド処理部50と、移動軌跡描画部60と、操作ガイダンス出力部70と、を備えている。
【0013】
カメラDSP41は、カメラ10により撮像された指画像を指画像カラー画像(RGB画像)に変換する手段である。
【0014】
個人色彩情報取得部42は、ユーザの指を接写し、携帯使用ユーザの皮膚(指)の色彩情報を取得するための手段である。より具体的には、個人色彩情報取得部42は、カメラDSP41から送られたユーザの指画像カラー画像(RGB画像)から個人色彩情報(ユーザ肌色情報)を抽出し、携帯電話端末100のメモリに構成された個人色彩データ(記憶部)45に保存する。
【0015】
指画像情報加工部44は、カメラDSP41から送られた指画像カラー画像(RGB画像)と、個人色彩情報取得部42で予め取得された個人色彩データとを照合し、カメラで取得された指画像カラー画像(RGB画像)から、ユーザの個人色彩情報(ユーザ肌色情報)に近い部分を抽出し指部分画像を得る手段である。
【0016】
また、本実施形態に係る携帯電話端末100は、特徴点抽出部43を備えており、前記個人色彩データが未登録であっても、指部分を抽出できるよう構成されている。特徴点抽出部43は、ユーザの手指の先端に装着された特徴的な図形をエッジ処理等の画像処理にて抽出する手段である。
【0017】
移動基準点算出部46は、前記した指画像情報加工部44、特徴点抽出部43のいずれかにより抽出された指部分から手指の中心点等の基準点(座標情報)を算出する手段である。
【0018】
移動軌跡算出部47は、移動基準点算出部46より送られてきた手指の中心点等の基準点(座標情報)から移動軌跡を算出する手段である。算出された移動軌跡は、移動軌跡描画部60に送られる。
【0019】
移動軌跡データ(記憶部)48は、手指の移動軌跡と、携帯電話端末100に実行させる特定の動作(以下、特定動作ともいう)とを関連付けたデータを格納する手段である。手指の移動軌跡と、前記特定動作との関連付けは、出荷前に基本的なものを設定しておいてもよいし、携帯電話端末のカスタマイズ機能の一つとして、手指の動きの記録モードを設けて、記録した手指の動き(移動軌跡)と前記特定動作との関連付けを自由に行いうるようにしてもよい。
【0020】
移動軌跡比較部49は、移動軌跡算出部47で算出された手指の移動軌跡と、移動軌跡データ(記憶部)48の内容とを比較・照合して一定の誤差内にある移動軌跡データを抽出する手段である。
【0021】
操作コマンド処理部50は、移動軌跡比較部49より指定された移動軌跡データに関連付けられた特定動作を実行する手段である。また、操作コマンド処理部50は、メインディスプレイ20に、必要に応じて、例えば、「xx件目の留守番メッセージを再生中です。」、「データの保存が完了しました」といった特定動作に応じて表示を行う。
【0022】
移動軌跡描画部60は、移動軌跡算出部47より受け取った移動軌跡を、現在の表示画面に重ねてメインディスプレイ20上に描画する。
【0023】
操作ガイダンス出力部70は、移動軌跡データ(記憶部)48に基づいて、現在受付可能な移動軌跡と、該移動軌跡に対応する動作(処理内容)のガイダンス情報(操作支援情報)を補助ディスプレイ21に表示する。
【0024】
図3は、補助ディスプレイ21上に表示される操作ガイダンス情報の例である。図3を参照すると、移動軌跡のパターンと、対応する動作(処理内容)の組が表示されている。図3の例でいえば、例えば、手指を上から下に動かしたあと、下から上に動かし、更に、上から下に動かすと、メール機能が起動され、例えば、手指を左から右に動かしたあと、右から左に動かすと、留守番電話メッセージの再生が行われる。
【0025】
以上のカメラDSP41、個人色彩情報取得部42、特徴点抽出部43、指画像情報加工部44、移動基準点算出部46、移動軌跡算出部47と、移動軌跡比較部49、操作コマンド処理部50、移動軌跡描画部60、操作ガイダンス出力部70は、携帯電話端末100に内蔵されたマイクロコンピュータに実行させるコンピュータプログラム又は専用チップにより構成することができる。
【0026】
続いて、本実施形態の動作について図面を参照して詳細に説明する。図4は、本実施形態に係る携帯電話端末のカメラ操作モードの動作条件設定の流れを表したフローチャートである。図4を参照すると、まず、ユーザがカメラを起動し(ステップS001)、カメラを利用した遠隔操作モード(カメラ操作モード)への移行操作を実行する(ステップS002)と、携帯電話端末100は、個人色彩情報を利用した操作を行うか否かの選択を受け付ける(ステップS003)。
【0027】
ステップS003で個人色彩情報を利用した操作が選択された場合には(ステップS003のYES)、携帯電話端末100は、個人色彩情報が携帯電話端末100のメモリに登録されているか否かを確認する(ステップS004)。
【0028】
ステップS004で、個人色彩情報が未登録である場合には、(ステップS004のNo)、携帯電話端末100は、個人色彩情報取得部42を起動し、ユーザの手指を接写し、皮膚(指)の個人色彩データ(肌色情報)を取得する(ステップS005)。
【0029】
図5は、図4の動作条件設定後の携帯電話端末のカメラ操作モードにおける処理の流れを表したフローチャートである。上記のようにして、カメラ操作モードの動作条件が選択されると、携帯電話端末100は、移動基準点算出部46を起動して、カメラ10から入力された画像から手指の基準点を算出し(ステップS101)、前記基準点がカメラ10の撮像可能範囲内に設けられた所定の判定(開始)エリア内に入っていれば(ステップS102のYes)、LED(Light Emitting Diode)の点灯、報知音による判定開始報知動作を実行する(ステップS103)。
【0030】
携帯電話端末100は、移動基準点算出部46によるカメラ10から入力された画像から手指の基準点の算出を継続して行う(ステップS104)。ここで、一定時間手指の移動が全く見られない(前記判定(開始)エリア内にある)場合は、携帯電話端末100は、カメラ操作モードを終了する(ステップS105のYes)。このほか図示しないが、携帯電話端末の折り畳み動作や、所定のカメラ操作モードの終了操作が行われた場合にもカメラ動作モードの終了が行われる。
【0031】
手指の移動が継続中である場合(ステップS106のNo)は、携帯電話端末100は、ステップS104に戻って手指の基準点算出を続行する。
【0032】
そして、手指の基準点が判定(開始)エリアから一度出た後判定(開始)エリアに戻ってくる等して手指の移動の終了が認められると(ステップS106のYes)、携帯電話端末100は、移動軌跡算出部47を起動して、手指の移動軌跡を算出する(ステップS107)。次いで、算出された起動軌跡を受け取った移動軌跡描画部60により、メインディスプレイ20上の現表示内容に重ねるようにして移動軌跡が描画される(ステップS108)。
【0033】
図6は、本インタフェースを起動中のメインディスプレイ20を表した図であり、図の中央から発している波型の軌跡が移動軌跡300であり、当初画面に表示されていたボタンやテキストの上から重ねるように描画されている。
【0034】
続いて、算出された移動軌跡を受け取った移動軌跡比較部49により、移動軌跡データ(記憶部)48に一致するデータがあるか否かの確認が行われる(ステップS109)。ここで、例えば、図6の移動軌跡300に、図3の操作支援情報の内容を適用すると、「↓↑↓」と認識されて、メール機能が起動されることになる。
【0035】
ステップS109で一致する移動軌跡データがあった場合(ステップS109のYes)、携帯電話端末100は、ユーザの確認を促すべく再度、移動軌跡300を再描画する(ステップS110)。このとき、携帯電話端末100は、ステップS108の時とは異なる色や線の種類で移動軌跡を再描画する。例えば、ステップS108で黒い線で描画された移動軌跡が赤い太線で再描画されたことにより、ユーザは、入力した内容が正しく受け付けられたか否かを確認することが可能となる。
【0036】
続いて、携帯端末100は、移動軌跡に対応する動作を実行し(ステップS111)、次いで、該動作の実行後の受付可能な移動軌跡と、該移動軌跡に対応する動作(処理内容)を表した操作ガイダンス情報を補助ディスプレイ21に表示し(ステップS112)、次の移動軌跡の入力を受け付けるべくステップS101に戻る。
【0037】
一方、ステップS109で一致する移動軌跡データが無かった場合(ステップS109のNo)は、携帯電話端末100は、ステップS101に戻って手指の移動軌跡算出を再試行する。
【0038】
以上にように、手指等の判定対象物を自在に移動するだけで、携帯電話端末に所望の動作を行わせることのできるマンマシン・インターフェースが提供される。また、本発明は、携帯電話端末に限ってみても、上記した通話機能、電子メール機能、Web閲覧機能、カメラ機能の入力インタフェースのほか、ゲーム等のインタフェースとしても利用することができる。
【0039】
また、上記した実施形態では、個人毎の色彩情報(肌色情報)を利用して手指の基準点(中心点)を算出する方式を採っているため、処理速度の向上が見込まれ、計算リソース等の面で制約の大きい携帯端末に好適なものとなっている。これは、特許文献1のように、輪郭線を探索して手指の輪郭線を抽出し、画像間の比較を行うという負荷の大きい方式に対して大きな利点となっている。また、上記利点は、端的には軌跡抽出処理が終了し操作内容が特定された段階等で行う報知動作の応答性にも貢献している。
【0040】
また、上記した実施形態では、手指の基準点が判定(開始)エリア内に入っていることを携帯端末のLED点灯等により操作者に知らせて軌跡抽出処理を開始し、入力された移動軌跡を仮描画するとともに、軌跡抽出処理が終了し操作内容が特定された段階で、移動軌跡を再度描画する構成としているため、入力内容を逐一把握することが可能となっている。
【0041】
更に、上記した実施形態では、軌跡抽出処理が終了し操作内容が特定された段階で再度の描画動作を行うことによって、その結果をユーザに通知することとしているが、軌跡抽出中にLED等を点灯し、軌跡抽出処理が終了し操作内容が特定された段階で、前記LEDを消灯する、報知音を出力する等、各種態様にて実現することができる。また、操作内容に応じて定めた報知音や、操作内容を示す音声メッセージを出力するようにしてもよい。
【0042】
また、上記した実施形態では、手指乃至手指に装着する特徴的な図形を判定対象物としたが、その他携帯端末の用途やユーザの利用状況に応じて、その他の身体部位やマーカー等を判定対象物として用いることが可能であることはいうまでもない。
【0043】
以上、本発明の各実施の形態を説明したが、本発明の技術的範囲は、上述した実施の形態に限定されるものではなく、携帯端末の用途、仕様等に応じて、各種の変形を加えることが可能である。例えば、上記した実施形態では、メインディスプレイに移動軌跡を描画し、補助ディスプレイに操作ガイダンス情報を表示するものとして説明したが、メインディスプレイに操作支援情報を表示し、補助ディスプレイに移動軌跡を表示するものとしてもよいし、一つのディスプレイに、双方を交互にあるいは同時に表示することとしてもよいことはもちろんである。
【0044】
また、上記した実施形態では、操作ガイダンス情報をディスプレイに表示するものとして説明したが、音声等により操作ガイダンス情報を出力することも可能である。
【図面の簡単な説明】
【0045】
【図1】本発明の第1の実施形態に係る携帯電話端末の概略構成を表した図である。
【図2】本発明の第1の実施形態に係る携帯電話端末の詳細構成を表した図である。
【図3】本発明の第1の実施形態に係る携帯電話端末の補助ディスプレイに表示される操作ガイダンス情報の一例である。
【図4】本発明の第1の実施形態に係る携帯電話端末のカメラ操作モードの動作条件設定の流れを表したフローチャートである。
【図5】本発明の第1の実施形態に係る携帯電話端末のカメラ操作モードにおける処理の流れを表したフローチャートである。
【図6】本発明の第1の実施形態に係る携帯電話端末における移動軌跡の表示態様を表した図である。
【符号の説明】
【0046】
10 カメラ
20 メインディスプレイ
21 補助ディスプレイ(サブディスプレイ)
30 入力キー
41 カメラDSP(Digital Signal Processor)
42 個人色彩情報取得部
43 特徴点抽出部
44 指画像情報加工部
45 個人色彩データ(記憶部)
46 移動基準点算出部
47 移動軌跡算出部
48 移動軌跡データ(記憶部)
49 移動軌跡比較部
50 操作コマンド処理部
60 移動軌跡描画部
70 操作ガイダンス出力部
100 携帯電話端末
200 手指
300 移動軌跡

【特許請求の範囲】
【請求項1】
カメラから入力された判定対象物の移動軌跡に関連付けられた動作を実行するカメラ入力インタフェースを備える携帯端末であって、
前記判定対象物の移動軌跡と該移動軌跡に関連付けられた動作との対応関係を示す操作ガイダンス情報を出力する手段と、
入力を受け付けた前記判定対象物の移動軌跡をディスプレイの表示内容に重ねるように描画する手段と、を備えたこと、
を特徴とする携帯端末。
【請求項2】
前記入力を受け付けた判定対象物の移動軌跡が、前記携帯端末に実行させる特定の動作と関連付けられた判定対象物の移動軌跡であると判定できた場合に、所定の報知動作を実行すること、
を特徴とする請求項1に記載の携帯端末。
【請求項3】
前記入力を受け付けた判定対象物の移動軌跡が、前記携帯端末に実行させる特定の動作と関連付けられた判定対象物の移動軌跡であると判定できた場合に、前記ディスプレイの表示内容を重ねるように描画した移動軌跡の表示態様を変更すること、
を特徴とする請求項1に記載の携帯端末。
【請求項4】
更に、判定対象物の移動軌跡と特定の動作との入力を受け付け、関連付けて登録する手段を備えて、前記判定対象物の移動軌跡に応じて実行させる特定の動作を自由に設定できるようにしたこと、
を特徴とする請求項1乃至3いずれか一に記載の携帯端末。
【請求項5】
更に、携帯端末ユーザの身体の特定部位の色彩情報を保持する個人色彩情報記憶部と、
前記携帯端末ユーザの身体の特定部位の色彩情報に基づいて、前記特定部位を撮像した画像から前記携帯端末ユーザの身体の特定部位の像を抽出する手段と、を備え、
前記判定対象物とする前記携帯端末ユーザの身体の特定部位の動きによって、特定の動作の実行指示を受付可能としたこと、
を特徴とする請求項1乃至4いずれか一に記載の携帯端末。
【請求項6】
更に、携帯端末ユーザの身体の特定部位の色彩情報を保持する個人色彩情報記憶部と、

前記携帯端末ユーザの身体の特定部位の色彩情報に基づいて、前記携帯端末ユーザの身体の特定部位の基準点を逐次算出し、前記基準点群によって特定される移動軌跡を算出する手段と、を備え、
前記判定対象物とする前記携帯端末ユーザの身体の特定部位の動きによって、特定の動作の実行指示を受付可能としたこと、
を特徴とする請求項1乃至5いずれか一に記載の携帯端末。
【請求項7】
所定の判定対象物の移動軌跡を入力することにより、前記判定対象物の移動軌跡の入力の受け付けを終了可能であること、
を特徴とする請求項1乃至6いずれか一に記載の携帯端末。
【請求項8】
カメラから入力された判定対象物の移動軌跡に関連付けられた動作を実行するカメラ入力インタフェースを備える携帯端末に内蔵されたコンピュータに実行させるプログラムであって、
前記判定対象物の移動軌跡と該移動軌跡に関連付けられた動作との対応関係を示す操作ガイダンス情報を出力する処理と、
入力を受け付けた前記判定対象物の移動軌跡をディスプレイの表示内容に重ねるように描画する処理と、を前記コンピュータに実行させる携帯端末用プログラム。
【請求項9】
前記入力を受け付けた判定対象物の移動軌跡が、前記携帯端末に実行させる特定の動作と関連付けられた判定対象物の移動軌跡であると判定できた場合に、所定の報知動作を実行する処理を前記コンピュータに実行させる請求項8に記載の携帯端末用プログラム。
【請求項10】
前記入力を受け付けた判定対象物の移動軌跡が、前記携帯端末に実行させる特定の動作と関連付けられた判定対象物の移動軌跡であると判定できた場合に、前記ディスプレイの表示内容を重ねるように描画した移動軌跡の表示態様を変更する処理を前記コンピュータに実行させる請求項8に記載の携帯端末用プログラム。
【請求項11】
更に、判定対象物の移動軌跡と特定の動作との入力を受け付け、関連付けて登録する処理を前記コンピュータに実行させ、
前記判定対象物の移動軌跡に応じて実行させる動作を自由に設定できるようにしたこと、
を特徴とする請求項8乃至10いずれか一に記載の携帯端末用プログラム。
【請求項12】
予め撮像された前記携帯端末ユーザの身体の特定部位の色彩情報に基づいて、前記特定部位を撮像した画像から前記携帯端末ユーザの身体の特定部位の像を抽出する処理を前記コンピュータに実行させ、
前記判定対象物とする前記携帯端末ユーザの身体の特定部位の動きによって前記特定の動作の実行指示を受付可能としたこと、
を特徴とする請求項8乃至11いずれか一に記載の携帯端末用プログラム。
【請求項13】
予め撮像された前記携帯端末ユーザの身体の特定部位の色彩情報に基づいて、前記携帯端末ユーザの身体の特定部位の基準点を逐次算出し、前記基準点群によって特定される移動軌跡を算出する処理を前記コンピュータに実行させ、
前記判定対象物とする前記携帯端末ユーザの身体の特定部位の動きによって前記特定の動作の実行指示を受付可能としたこと、
を特徴とする請求項8乃至12いずれか一に記載の携帯端末用プログラム。
【請求項14】
所定の判定対象物の移動軌跡を入力することにより、前記判定対象物の移動軌跡の入力の受け付けを終了すること、
を特徴とする請求項8乃至13いずれか一に記載の携帯端末用プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate


【公開番号】特開2007−213245(P2007−213245A)
【公開日】平成19年8月23日(2007.8.23)
【国際特許分類】
【出願番号】特願2006−31443(P2006−31443)
【出願日】平成18年2月8日(2006.2.8)
【出願人】(000004237)日本電気株式会社 (19,353)
【出願人】(000232254)日本電気通信システム株式会社 (586)
【Fターム(参考)】