情報端末装置
【課題】情報端末装置に対する撮影対象の空間的な動作によって、情報端末装置の表示部に表示される情報を制御する。
【解決手段】携帯電話機などの情報端末装置の撮像部1はその上に置かれたパッド部上の撮影対象を撮影する。撮影画像は推定部3に送られ、該撮影対象の空間的位置関係の変化が推定される。制御部4は、メモリ6から読み出して表示部に表示する情報を、前記推定部により推定された前記空間位置関係の変化に応じて制御する。例えば、パッド部がスライド操作をされると表示情報はスクロールし、奥行き方向に押し込まれる操作をされると表示情報はズームされ、回転操作をされると表示情報も回転する。
【解決手段】携帯電話機などの情報端末装置の撮像部1はその上に置かれたパッド部上の撮影対象を撮影する。撮影画像は推定部3に送られ、該撮影対象の空間的位置関係の変化が推定される。制御部4は、メモリ6から読み出して表示部に表示する情報を、前記推定部により推定された前記空間位置関係の変化に応じて制御する。例えば、パッド部がスライド操作をされると表示情報はスクロールし、奥行き方向に押し込まれる操作をされると表示情報はズームされ、回転操作をされると表示情報も回転する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は情報を提示する情報端末装置に関し、特に、カメラと指の空間的位置関係の変化によって表示部に表示される情報を制御できる情報端末装置に関するものである。
【背景技術】
【0002】
携帯型情報端末において、電子機器回路の集積化に伴って小型・軽量化が進んでいるため、キーパッドの面積を十分に確保できないまま細かな操作を強いられている。一方で処理性能の向上および記録容量の増大に伴い、情報端末が扱えるサービスやメニュー、アプリケーションの操作は複雑化の一途を辿っている。
【0003】
上記のような状況下においては、情報端末のキーパッドに代わるインタフェースが必要になっている。上記操作を簡単にする方法としては、以下のような方法が公開されている。
【0004】
特許文献1では、カメラで検出した指領域をタッチパネルに重畳して誤操作を軽減する手法が提案されている。
【0005】
特許文献2では、手形状データベースに格納される手形状と入力画像を比較し、少数のジェスチャを用いて多くの機能を実行する。
【0006】
特許文献3では、ユーザの顔の部分領域画像をテンプレート画像として登録し、一致する領域を実時間で抽出することでマウスカーソルの座標を制御する。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2008−234594号公報
【特許文献2】特開2008−146243号公報
【特許文献3】特開2007−310914号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、前記した先行技術には、次のような問題がある。
【0009】
特許文献1では、指はそのサイズや形状がマウスポインタよりもかなり大きいため、タッチパネルに対して指そのものはマウスポイントほど正確にはなり得ない。また、タッチパネルの搭載は端末のコスト上昇を招く。さらに、既存端末では利用できないという問題がある。
【0010】
特許文献2では、空中で手をひらひらさせるため、ジェスチャでの操作時に触覚的なフィードバックを得られないという問題がある。
【0011】
特許文献3では、首を回した場合にテンプレートと入力画像が一致しなくなるため、テンプレートの逐次更新が必要となり処理負荷が大きくなる可能性がある。
【0012】
さらに、特許文献1、2および3では、それぞれ指、手、顔の検出が必要であるため、光源の色調によっては肌色が正しく検出できないことがあり、認識が困難になる場合があるという問題がある。
【0013】
以上のように、前記先行技術は、いずれも正確な操作が難しく、装置の信頼性が低いという問題があった。
【0014】
本発明は上記実情に鑑みて提案されたもので、情報端末装置に対する撮影対象の空間的な動作によって、情報端末装置の表示部に表示される情報を制御できる、信頼性の高い情報端末装置を提供することを目的とする。
【課題を解決するための手段】
【0015】
上記した目的を達成するために、本発明は、表示部に表示する情報を記憶するメモリと、撮影対象を保持するパッド部と、前記パッド部の撮影対象を撮影する撮像部と、前記撮像部によって撮影された画像に基づいて、前記撮影対象の空間的位置関係の変化を推定する推定部と、前記メモリから読み出して前記表示部に表示する情報を、前記推定部により推定された前記空間位置関係の変化に応じて制御する制御部とを具備する点に第1の特徴がある。
【0016】
また、本発明は、前記パッド部は、前記撮像部の撮影面に脱着でき、撮影対象として、異なる色の組み合わせ模様や異なる面積の組み合わせ模様、あるいは大きさの異なる複数の陥没箇所を備えてなる点に第2の特徴がある。
【0017】
また、本発明は、前記推定部は、前記撮像部により入力された画像から検出された特徴量を用いて、前記撮像部と前記撮影対象との間の空間的位置関係の変化を推定する機能を備えてなる点に第3の特徴がある。
【0018】
また、前記制御部は、前記推定部で検出された空間的な動作に応じて、前記表示部に表示される内容が異なるように制御する機能を備えて成る点に第4の特徴がある。
【発明の効果】
【0019】
本発明によれば、撮影対象を動かすことによる空間的位置関係の変化により、情報端末装置の入力画像から空間的な相対的位置関係を推定し、表示部で表示される情報又は情報画面におけるカーソルの位置を、推定部により推定された空間位置関係の変化に応じて制御するので、ユーザは撮影対象の空間的位置を変化させるという直観的な操作で、表示される情報を制御できる。
【0020】
したがって、情報端末装置の利用者は、撮影対象の動きに対応づけられた表示部でのカーソル位置の移動について、直感的に行うことが可能となり、信頼性の高い情報端末装置を提供することができる。
【0021】
情報端末装置の表示部で表示される情報の制御は、撮像部に入力された画像を解析することにより推定される撮像部と撮影対象との間の空間的位置関係の変化を元に行うのでソフトウェアで可能であり、ジャイロや加速度センサなどの特別なハードウェアを情報端末に組み込む必要がない。
【図面の簡単な説明】
【0022】
【図1】本発明の一実施形態の概略の構成を示すブロック図である。
【図2】本発明を携帯電話機に応用した場合の概略の構成を示す概念図である。
【図3】パッド部の実施例を示す斜視図である。
【図4】撮像部に装着されたパッド部の一例を示す図である。
【図5】撮像部に装着されたパッド部の他の例を示す図である。
【図6】指で操作されるパッド部を示す図である。
【図7】図1の推定部の具体的構成を示すブロック図である。
【図8】撮像部で撮影された撮影対象の説明図である。
【図9】推定部の機能を示すフローチャートである。
【図10】利用者がパッド部を任意方向にスライドした場合の、表示部の画像の概念図である。
【図11】利用者がパッド部を奥行き方向に押し込んだ場合の、表示部の画像の概念図である。
【図12】利用者がパッド部を回転させた場合の、表示部の画像の概念図である。
【発明を実施するための形態】
【0023】
以下に、本発明を図面を参照して詳細に説明する。図1は、本発明の情報端末装置の第1の実施形態を示す機能ブロック図である。また、図2は情報端末装置として携帯電話機を想定した場合の外観図であり、図2(a)は正面図、(b)は側面図である。また、図2(b)の左側は表面、右側は裏面である。
【0024】
情報端末装置10は、図1、図2に示すように、画像を取り込む撮像部1と、撮影対象を保持する着脱自在のパッド部2と、撮像部からの画像信号により撮影対象の動きを推定する推定部3と、文字情報や地図情報等の情報を表示するための表示部5と、表示部に表示させるための情報を記録するメモリ6と、推定部3およびメモリ6からの信号を受けて表示部5に表示する情報の制御を行う制御部4を備えている。なお、図2の推定部3,制御部4およびメモリ5は、携帯電話機中の大体の位置を示す大雑把な概念図である。
【0025】
撮像部1は、情報端末装置に内蔵されたカメラで構成され、一定間隔で任意の画像を入力し、入力画像を推定部3に出力するようになっている。携帯電話機での構成では撮像部1は情報端末装置内に備えられているが、パソコンとカメラを組み合わせた構成のように情報端末装置外に備えることも可能である。
【0026】
パッド部2は、図3(a)〜(c)に示すように、シリコンや柔らかいゴム等の透過性および弾力性を有する素材で形成してもよく、この場合パッド部2の内部または上部には、同図(b)に示すような任意の模様2bあるいは同図(c)に示すような光源2c(例えば、2個のLED)などの撮影対象を配置してもよい。あるいは、指で操作することを前提にした構成では、パッド部2の上部に、例えば同図(a)に示されているような大きさが異なる複数の陥没部分2aあるいは突出部分を用意することもできる。このバッド部に指を添える場合、当該陥没部分2aで鬱血した箇所と当該陥没部分以外で血が引いた箇所とのコントラスト差を利用した撮影対象とすることができる。また、同図(a)〜(c)においては、弾力性を有する素材からなるパッド部2を直接指で操作するのではなく、その上にさらに弾力性を有さないプラスチック等の素材からなるキー部もしくはスティック部を設けて該キー部もしくはスティック部を指で操作してもよい。ここで該キー部は例えば十字キーであってもよい。
【0027】
また、パッド部2は図3(e)に示すように、バネ等の弾性体で形成し、その弾性体の内部または上部に撮影対象の配置部を設けて撮影対象2eを配置してもよい。ここで弾性体はその弾性を妨げることのないカバーを弾性体の内部もしくは外部に、あるいは弾性体と一体となって備えていてもよく、該カバーは遮光性カバーであってもよい。同図(e)では底部2d側と撮影対象2e側とでバネのコイル径が同じであるが、コイル径は両側で異なっていてもよい。弾性体に接続しているため撮影対象の配置部には弾力性は必ずしも必要ではなく、また透過性素材の利用も適宜選択することなどによって、同図(a)〜(c)の場合と同様に任意の模様、光源、陥没部分あるいは突出部分を撮影対象2eとして用いることができる。指で操作する構成ではたとえば撮影対象の配置部を中央の1点のみ透過性素材もしくは穴とすることにより、押さえた指の色および位置を撮影対象とすることもできる。
【0028】
パッド部2は撮像部1の撮影面に脱着できる構成をとることが可能であり、撮像部は前記撮影対象の動きと大きさの変化を画像として撮影することになる。パッド部2が、図4のように撮像部1の全面を覆う実施例の場合は、撮像部1のレンズ周りに金属リング10を貼り付けておき、一方パッド部2の底面2dにはリング状の磁石を貼り付けて、パッド部2を磁力で撮像部1に装着できるようにする。該リング状の磁石およびレンズ周りの金属リングの組み合わせ使用に代えて、パッド部2の底面2dに粘着材を塗布して、または粘着性もしくは吸着性を有する部材を用いてパッド部2を着脱自在にしてもよい。また、図5のようにパッド部2の大きさを少し大きくして撮像部1に隣接する光源11(LED等)を含めてパッド部2が覆うように装着することができる。光源11を点灯することでパッド内部で散乱した光が撮影対象を照らすことになるので、暗闇の中でもはっきりと撮影対象を画像として撮影できる。また、パッド部2は、図4のパッド部2より小さくして、撮像部1の撮像面より小さくしてもよい。
【0029】
一方、パッド部2が特に図3(e)のようにバネ等の弾性体からなる場合、パッド部2を利用しないときに情報端末装置10の利用や持ち運びを妨害することがないようにするための構成として、パッド部2を撮像部1の撮影面1に着脱する以外の構成も可能である。例えば、撮像部1の周囲もしくはパッド部2の底部2dに溝などの構造を用意しておくことにより、パッド部2を利用者が使用しない場合はこれを撮像部1に向かって押し込んで該溝などの構造に収納し、再び使用する場合には再度さらに押し込むことによりパッド部2が隆起して使用可能な状態になるようなスイッチ機構(長短切換のスイッチ機構)を利用することもできる。該スイッチ機構を利用する場合、パッド部2を使用しないときにパッド部2が撮像部1を遮ることがないよう、撮影対象の配置部を着脱可能にする、透過性の素材にする、回転やスライド等によって位置を変える機構を備えるなどすることもできる。また、該スイッチ機構はパッド部2自体の撮影面1への着脱方式と併用しても構わない。
【0030】
利用者は、図6に示すように、パッド部2に指7を添えたまま力を加えることによってパッド部2の形状を変形させることができ、移動や押下の力加減によって撮影対象の移動量や変形量が影響を受けるようになっている。
【0031】
すなわち、利用者がパッド部2に指を押し当てながらパッド部2を撮像部1の撮影面に対して垂直方向や水平方向などに移動又は変形させると、撮像部1と撮影対象2a〜2c、2eとの間の空間的位置関係が該移動又は変形に応じて同じように変化することになる。また、利用者がパッド部2を撮像部1の撮影面に対して強く押し込むと、撮影対象2a〜2c、2eの見かけの大きさが押し込む力に応じて変化することになる。さらに、利用者がパッド部2を撮像部の撮影面の法線を軸に回転させると、撮像部1と撮影対象2a〜2c、2eとの間の空間的位置関係が回転に応じて同じように変化することになる。また、例えば、パッド部2が携帯電話機に取り付けられている場合には、利用者は、携帯電話機の表面と向かい合って表示部5を見ながら、その裏側に回した手の指によりパッド部2を操作することができる。
【0032】
上記の操作が行われると、例えば、文字一覧や画像、地図、Webページなどが表示部5に表示されている場合に、表示されている文字や地図の表示位置について、表示部内に表示される画像のスクロール移動に際して、又は、表示部内に表示されたカーソル位置を移動するに際して、利用者がパッド部を撮像部の撮影面に対して垂直方向や水平方向などに移動させると、撮像部と撮影対象との間の空間的位置関係に応じて画像がスクロール移動、又は、画像内のカーソル位置が移動するように構成されている。この概念図を図10に示す。
【0033】
また、利用者がパッド部を撮像部1の撮影面に対して奥行き方向(上下方向)に押し込むと、撮像部と撮影対象との間の空間的位置関係に応じて画像が拡大縮小するように構成されている。この概念図を図11に示す。
【0034】
さらに、利用者がパッド部を摘む等して撮像部の撮影面の法線周りに回転させると、撮像部と撮影対象との間の空間的位置関係に応じて画像が回転するように構成されている。この概念図を図12に示す。
【0035】
前記推定部3は、特徴量抽出部31と動き推定部32を有し、撮像部1により入力された画像を解析して撮像部1と撮影対象2a〜2c、2eとの間の空間的位置関係の変化を推定する。この推定の手法については後述する。
【0036】
前記メモリ6上には表示部5で表示する表示情報が予め展開されている。
【0037】
前記制御部4は、推定部3で推定された撮像部1と撮影対象2a〜2c、2eとの間の空間的位置関係の変化に応じてメモリ1上の該当する情報を読み出し、表示部5に送る。
【0038】
前記表示部5は、制御部4から送出されてきた表示情報を表示する。
【0039】
上記構成により、利用者が情報端末装置を、例えばその空間的位置を任意方向に変化させれば表示画面や画面内のカーソル位置がアナログ的に変化するので、表示部に表示されるカーソル位置の操作や画面スクロール等の操作を直感的に行うことができる。また、利用者が情報端末装置の空間的位置を連続的に変化させれば、表示部の表示もそれに応じて連続的に変化するように切り替えられる。
【0040】
次に、推定部で撮像部と撮影対象との間の空間的位置関係の変化を推定し、表示部に表示する動作について、図7と図8とを参照しながら説明する。
【0041】
撮像部1と撮影対象2a〜2c、2eとの間の空間的位置関係の変化は、利用者が情報端末装置を持ってパッド部2を操作する動作に基づくので、以下ではそれを利用者の動作として説明する。
【0042】
利用者の動作は、撮像部1で入力された画像から撮影対象2a〜2c、2eの変化に基づいて推定できる。入力された画像から検出される移動量及び回転量、拡大率の動き情報は、図9に示したフローチャートの手順で算出される。以下、前記動き情報を算出する場合について説明する。
【0043】
例えば、図3のパッド2の上部に赤と青の点21、22を撮影対象2a〜2c、2eとして描いておき、利用者がパッド部を回転して右斜め下に押し込んだ場合、押し込む前の初期画像t0(図8(a))と一定の時間間隔で撮像部に入力される画像t(図8(b))とは、それぞれ図8(a)、(b)に示すようになり、前記初期画像を基に各画像から撮影対象2a〜2c、2eについての動き情報を抽出することができる。
【0044】
すなわち、撮像部1で取得された画像が特徴量抽出部31に入力され、入力画像から撮影対象について複数の特徴量を抽出する。動き推定部32は初期画像の特徴量と入力画像の特徴量との時間的変化を評価することにより、動き情報を推定する。
【0045】
前記特徴量の算出は、撮影対象を色ごとのチャネルに分離し、それぞれ予め設定した閾値で2値化した後、領域を形成し、領域の重心及び面積を特徴量として算出する。初期画像の特徴量は最初に一度だけ算出して記録しておき、入力画像の特徴量と比較する。
【0046】
前記動き推定部32は、撮影対象2a〜2c、2eの移動量及び移動方向を初期画像におけるチャネル毎の重心の平均座標と入力画像におけるチャネル毎の重心の平均座標との差分ベクトルの長さと向きとして求める。差分ベクトルは次式で算出する。
【0047】
【数1】
【0048】
ここで、初期画像における赤と青との重心座標をそれぞれ(xr0;yr0)、(xb0;yb0)、入力画像における赤と青との重心座標をそれぞれ(xr;yr)、(xb;yb)としている。回転角θは初期画像の複数の重心座標と入力画像の重心座標から次式で算出する。
【0049】
【数2】
【0050】
拡大率sは各画像の面積の相乗平均で求める。
【0051】
【数3】
【0052】
ここで、初期画像における赤21と青22との面積をそれぞれar0、ab0、入力画像における赤21’と青22’との面積をそれぞれar、abとしている。
【0053】
推定部3において選択された方向及び移動量、回転角、倍率については、推定された動き(空間的な位置関係の変化)として制御部4へ出力される。制御部4では、推定部3で推定された撮像部1と撮影対象2a〜2c、2eとの間の空間的位置関係の変化に合わせてメモリ6上の該当する表示情報を読み出し、表示部5に送出する。
【0054】
上記では色の違いを用いた実施例について説明したが、単色で実施する場合は、撮影対象として面積の異なる複数の点を用いることで、相対的な大小関係から初期画像の特徴量との組み合わせを推定し、前記算出式に代入することで動き情報を算出できる。
【0055】
また上記ではパッド部を撮像部1の撮影面に対して奥行き方向(上下方向)に押し込んだ場合に空間的位置関係に応じて連続的に表示画像を拡大縮小させて制御する実施例について図11を用いて説明したが、この場合には他の制御も可能である。すなわち上下方向へのパッド部押し込みによって入力画像が変化し、推定部3により算出される倍率に対して所定の閾値を設けておけば、パッド部を深く押し込んで該倍率が該閾値を越えた場合と、押し込んでないもしくは押し込みが足りず該倍率が該閾値を越えない場合との2つの状態を区別することが可能となる。制御部によって該2つの状態をそれぞれ周知のマウス操作におけるプレス状態およびリリース状態に対応させれば、周知のマウス操作におけるプレス状態からリリース状態への遷移としてクリック機能を実現することもできる。さらに該クリック機能と上記のスクロール移動またはカーソル位置移動を組み合わせれば周知のマウス操作と同等の機能を実現することも可能となる。またパッド部の押し込みで該倍率が該閾値を越えたかどうかが利用者に容易に把握できるようにするため、該倍率を表す情報を表示部に表示することも可能であり、例えばパッド部でカーソルを動かしている場合ならば、該倍率に応じてカーソルの模様を変えることもできる。
【符号の説明】
【0056】
1・・・撮像部、2・・・パッド部、2a〜2c、2e・・・撮影対象、2d・・・パッド部の底面、3・・・推定部、4・・・制御部、5・・・表示部、6・・・メモリ、7・・・指、31・・・特徴量抽出部、32・・・動き推定部。
【技術分野】
【0001】
本発明は情報を提示する情報端末装置に関し、特に、カメラと指の空間的位置関係の変化によって表示部に表示される情報を制御できる情報端末装置に関するものである。
【背景技術】
【0002】
携帯型情報端末において、電子機器回路の集積化に伴って小型・軽量化が進んでいるため、キーパッドの面積を十分に確保できないまま細かな操作を強いられている。一方で処理性能の向上および記録容量の増大に伴い、情報端末が扱えるサービスやメニュー、アプリケーションの操作は複雑化の一途を辿っている。
【0003】
上記のような状況下においては、情報端末のキーパッドに代わるインタフェースが必要になっている。上記操作を簡単にする方法としては、以下のような方法が公開されている。
【0004】
特許文献1では、カメラで検出した指領域をタッチパネルに重畳して誤操作を軽減する手法が提案されている。
【0005】
特許文献2では、手形状データベースに格納される手形状と入力画像を比較し、少数のジェスチャを用いて多くの機能を実行する。
【0006】
特許文献3では、ユーザの顔の部分領域画像をテンプレート画像として登録し、一致する領域を実時間で抽出することでマウスカーソルの座標を制御する。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2008−234594号公報
【特許文献2】特開2008−146243号公報
【特許文献3】特開2007−310914号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、前記した先行技術には、次のような問題がある。
【0009】
特許文献1では、指はそのサイズや形状がマウスポインタよりもかなり大きいため、タッチパネルに対して指そのものはマウスポイントほど正確にはなり得ない。また、タッチパネルの搭載は端末のコスト上昇を招く。さらに、既存端末では利用できないという問題がある。
【0010】
特許文献2では、空中で手をひらひらさせるため、ジェスチャでの操作時に触覚的なフィードバックを得られないという問題がある。
【0011】
特許文献3では、首を回した場合にテンプレートと入力画像が一致しなくなるため、テンプレートの逐次更新が必要となり処理負荷が大きくなる可能性がある。
【0012】
さらに、特許文献1、2および3では、それぞれ指、手、顔の検出が必要であるため、光源の色調によっては肌色が正しく検出できないことがあり、認識が困難になる場合があるという問題がある。
【0013】
以上のように、前記先行技術は、いずれも正確な操作が難しく、装置の信頼性が低いという問題があった。
【0014】
本発明は上記実情に鑑みて提案されたもので、情報端末装置に対する撮影対象の空間的な動作によって、情報端末装置の表示部に表示される情報を制御できる、信頼性の高い情報端末装置を提供することを目的とする。
【課題を解決するための手段】
【0015】
上記した目的を達成するために、本発明は、表示部に表示する情報を記憶するメモリと、撮影対象を保持するパッド部と、前記パッド部の撮影対象を撮影する撮像部と、前記撮像部によって撮影された画像に基づいて、前記撮影対象の空間的位置関係の変化を推定する推定部と、前記メモリから読み出して前記表示部に表示する情報を、前記推定部により推定された前記空間位置関係の変化に応じて制御する制御部とを具備する点に第1の特徴がある。
【0016】
また、本発明は、前記パッド部は、前記撮像部の撮影面に脱着でき、撮影対象として、異なる色の組み合わせ模様や異なる面積の組み合わせ模様、あるいは大きさの異なる複数の陥没箇所を備えてなる点に第2の特徴がある。
【0017】
また、本発明は、前記推定部は、前記撮像部により入力された画像から検出された特徴量を用いて、前記撮像部と前記撮影対象との間の空間的位置関係の変化を推定する機能を備えてなる点に第3の特徴がある。
【0018】
また、前記制御部は、前記推定部で検出された空間的な動作に応じて、前記表示部に表示される内容が異なるように制御する機能を備えて成る点に第4の特徴がある。
【発明の効果】
【0019】
本発明によれば、撮影対象を動かすことによる空間的位置関係の変化により、情報端末装置の入力画像から空間的な相対的位置関係を推定し、表示部で表示される情報又は情報画面におけるカーソルの位置を、推定部により推定された空間位置関係の変化に応じて制御するので、ユーザは撮影対象の空間的位置を変化させるという直観的な操作で、表示される情報を制御できる。
【0020】
したがって、情報端末装置の利用者は、撮影対象の動きに対応づけられた表示部でのカーソル位置の移動について、直感的に行うことが可能となり、信頼性の高い情報端末装置を提供することができる。
【0021】
情報端末装置の表示部で表示される情報の制御は、撮像部に入力された画像を解析することにより推定される撮像部と撮影対象との間の空間的位置関係の変化を元に行うのでソフトウェアで可能であり、ジャイロや加速度センサなどの特別なハードウェアを情報端末に組み込む必要がない。
【図面の簡単な説明】
【0022】
【図1】本発明の一実施形態の概略の構成を示すブロック図である。
【図2】本発明を携帯電話機に応用した場合の概略の構成を示す概念図である。
【図3】パッド部の実施例を示す斜視図である。
【図4】撮像部に装着されたパッド部の一例を示す図である。
【図5】撮像部に装着されたパッド部の他の例を示す図である。
【図6】指で操作されるパッド部を示す図である。
【図7】図1の推定部の具体的構成を示すブロック図である。
【図8】撮像部で撮影された撮影対象の説明図である。
【図9】推定部の機能を示すフローチャートである。
【図10】利用者がパッド部を任意方向にスライドした場合の、表示部の画像の概念図である。
【図11】利用者がパッド部を奥行き方向に押し込んだ場合の、表示部の画像の概念図である。
【図12】利用者がパッド部を回転させた場合の、表示部の画像の概念図である。
【発明を実施するための形態】
【0023】
以下に、本発明を図面を参照して詳細に説明する。図1は、本発明の情報端末装置の第1の実施形態を示す機能ブロック図である。また、図2は情報端末装置として携帯電話機を想定した場合の外観図であり、図2(a)は正面図、(b)は側面図である。また、図2(b)の左側は表面、右側は裏面である。
【0024】
情報端末装置10は、図1、図2に示すように、画像を取り込む撮像部1と、撮影対象を保持する着脱自在のパッド部2と、撮像部からの画像信号により撮影対象の動きを推定する推定部3と、文字情報や地図情報等の情報を表示するための表示部5と、表示部に表示させるための情報を記録するメモリ6と、推定部3およびメモリ6からの信号を受けて表示部5に表示する情報の制御を行う制御部4を備えている。なお、図2の推定部3,制御部4およびメモリ5は、携帯電話機中の大体の位置を示す大雑把な概念図である。
【0025】
撮像部1は、情報端末装置に内蔵されたカメラで構成され、一定間隔で任意の画像を入力し、入力画像を推定部3に出力するようになっている。携帯電話機での構成では撮像部1は情報端末装置内に備えられているが、パソコンとカメラを組み合わせた構成のように情報端末装置外に備えることも可能である。
【0026】
パッド部2は、図3(a)〜(c)に示すように、シリコンや柔らかいゴム等の透過性および弾力性を有する素材で形成してもよく、この場合パッド部2の内部または上部には、同図(b)に示すような任意の模様2bあるいは同図(c)に示すような光源2c(例えば、2個のLED)などの撮影対象を配置してもよい。あるいは、指で操作することを前提にした構成では、パッド部2の上部に、例えば同図(a)に示されているような大きさが異なる複数の陥没部分2aあるいは突出部分を用意することもできる。このバッド部に指を添える場合、当該陥没部分2aで鬱血した箇所と当該陥没部分以外で血が引いた箇所とのコントラスト差を利用した撮影対象とすることができる。また、同図(a)〜(c)においては、弾力性を有する素材からなるパッド部2を直接指で操作するのではなく、その上にさらに弾力性を有さないプラスチック等の素材からなるキー部もしくはスティック部を設けて該キー部もしくはスティック部を指で操作してもよい。ここで該キー部は例えば十字キーであってもよい。
【0027】
また、パッド部2は図3(e)に示すように、バネ等の弾性体で形成し、その弾性体の内部または上部に撮影対象の配置部を設けて撮影対象2eを配置してもよい。ここで弾性体はその弾性を妨げることのないカバーを弾性体の内部もしくは外部に、あるいは弾性体と一体となって備えていてもよく、該カバーは遮光性カバーであってもよい。同図(e)では底部2d側と撮影対象2e側とでバネのコイル径が同じであるが、コイル径は両側で異なっていてもよい。弾性体に接続しているため撮影対象の配置部には弾力性は必ずしも必要ではなく、また透過性素材の利用も適宜選択することなどによって、同図(a)〜(c)の場合と同様に任意の模様、光源、陥没部分あるいは突出部分を撮影対象2eとして用いることができる。指で操作する構成ではたとえば撮影対象の配置部を中央の1点のみ透過性素材もしくは穴とすることにより、押さえた指の色および位置を撮影対象とすることもできる。
【0028】
パッド部2は撮像部1の撮影面に脱着できる構成をとることが可能であり、撮像部は前記撮影対象の動きと大きさの変化を画像として撮影することになる。パッド部2が、図4のように撮像部1の全面を覆う実施例の場合は、撮像部1のレンズ周りに金属リング10を貼り付けておき、一方パッド部2の底面2dにはリング状の磁石を貼り付けて、パッド部2を磁力で撮像部1に装着できるようにする。該リング状の磁石およびレンズ周りの金属リングの組み合わせ使用に代えて、パッド部2の底面2dに粘着材を塗布して、または粘着性もしくは吸着性を有する部材を用いてパッド部2を着脱自在にしてもよい。また、図5のようにパッド部2の大きさを少し大きくして撮像部1に隣接する光源11(LED等)を含めてパッド部2が覆うように装着することができる。光源11を点灯することでパッド内部で散乱した光が撮影対象を照らすことになるので、暗闇の中でもはっきりと撮影対象を画像として撮影できる。また、パッド部2は、図4のパッド部2より小さくして、撮像部1の撮像面より小さくしてもよい。
【0029】
一方、パッド部2が特に図3(e)のようにバネ等の弾性体からなる場合、パッド部2を利用しないときに情報端末装置10の利用や持ち運びを妨害することがないようにするための構成として、パッド部2を撮像部1の撮影面1に着脱する以外の構成も可能である。例えば、撮像部1の周囲もしくはパッド部2の底部2dに溝などの構造を用意しておくことにより、パッド部2を利用者が使用しない場合はこれを撮像部1に向かって押し込んで該溝などの構造に収納し、再び使用する場合には再度さらに押し込むことによりパッド部2が隆起して使用可能な状態になるようなスイッチ機構(長短切換のスイッチ機構)を利用することもできる。該スイッチ機構を利用する場合、パッド部2を使用しないときにパッド部2が撮像部1を遮ることがないよう、撮影対象の配置部を着脱可能にする、透過性の素材にする、回転やスライド等によって位置を変える機構を備えるなどすることもできる。また、該スイッチ機構はパッド部2自体の撮影面1への着脱方式と併用しても構わない。
【0030】
利用者は、図6に示すように、パッド部2に指7を添えたまま力を加えることによってパッド部2の形状を変形させることができ、移動や押下の力加減によって撮影対象の移動量や変形量が影響を受けるようになっている。
【0031】
すなわち、利用者がパッド部2に指を押し当てながらパッド部2を撮像部1の撮影面に対して垂直方向や水平方向などに移動又は変形させると、撮像部1と撮影対象2a〜2c、2eとの間の空間的位置関係が該移動又は変形に応じて同じように変化することになる。また、利用者がパッド部2を撮像部1の撮影面に対して強く押し込むと、撮影対象2a〜2c、2eの見かけの大きさが押し込む力に応じて変化することになる。さらに、利用者がパッド部2を撮像部の撮影面の法線を軸に回転させると、撮像部1と撮影対象2a〜2c、2eとの間の空間的位置関係が回転に応じて同じように変化することになる。また、例えば、パッド部2が携帯電話機に取り付けられている場合には、利用者は、携帯電話機の表面と向かい合って表示部5を見ながら、その裏側に回した手の指によりパッド部2を操作することができる。
【0032】
上記の操作が行われると、例えば、文字一覧や画像、地図、Webページなどが表示部5に表示されている場合に、表示されている文字や地図の表示位置について、表示部内に表示される画像のスクロール移動に際して、又は、表示部内に表示されたカーソル位置を移動するに際して、利用者がパッド部を撮像部の撮影面に対して垂直方向や水平方向などに移動させると、撮像部と撮影対象との間の空間的位置関係に応じて画像がスクロール移動、又は、画像内のカーソル位置が移動するように構成されている。この概念図を図10に示す。
【0033】
また、利用者がパッド部を撮像部1の撮影面に対して奥行き方向(上下方向)に押し込むと、撮像部と撮影対象との間の空間的位置関係に応じて画像が拡大縮小するように構成されている。この概念図を図11に示す。
【0034】
さらに、利用者がパッド部を摘む等して撮像部の撮影面の法線周りに回転させると、撮像部と撮影対象との間の空間的位置関係に応じて画像が回転するように構成されている。この概念図を図12に示す。
【0035】
前記推定部3は、特徴量抽出部31と動き推定部32を有し、撮像部1により入力された画像を解析して撮像部1と撮影対象2a〜2c、2eとの間の空間的位置関係の変化を推定する。この推定の手法については後述する。
【0036】
前記メモリ6上には表示部5で表示する表示情報が予め展開されている。
【0037】
前記制御部4は、推定部3で推定された撮像部1と撮影対象2a〜2c、2eとの間の空間的位置関係の変化に応じてメモリ1上の該当する情報を読み出し、表示部5に送る。
【0038】
前記表示部5は、制御部4から送出されてきた表示情報を表示する。
【0039】
上記構成により、利用者が情報端末装置を、例えばその空間的位置を任意方向に変化させれば表示画面や画面内のカーソル位置がアナログ的に変化するので、表示部に表示されるカーソル位置の操作や画面スクロール等の操作を直感的に行うことができる。また、利用者が情報端末装置の空間的位置を連続的に変化させれば、表示部の表示もそれに応じて連続的に変化するように切り替えられる。
【0040】
次に、推定部で撮像部と撮影対象との間の空間的位置関係の変化を推定し、表示部に表示する動作について、図7と図8とを参照しながら説明する。
【0041】
撮像部1と撮影対象2a〜2c、2eとの間の空間的位置関係の変化は、利用者が情報端末装置を持ってパッド部2を操作する動作に基づくので、以下ではそれを利用者の動作として説明する。
【0042】
利用者の動作は、撮像部1で入力された画像から撮影対象2a〜2c、2eの変化に基づいて推定できる。入力された画像から検出される移動量及び回転量、拡大率の動き情報は、図9に示したフローチャートの手順で算出される。以下、前記動き情報を算出する場合について説明する。
【0043】
例えば、図3のパッド2の上部に赤と青の点21、22を撮影対象2a〜2c、2eとして描いておき、利用者がパッド部を回転して右斜め下に押し込んだ場合、押し込む前の初期画像t0(図8(a))と一定の時間間隔で撮像部に入力される画像t(図8(b))とは、それぞれ図8(a)、(b)に示すようになり、前記初期画像を基に各画像から撮影対象2a〜2c、2eについての動き情報を抽出することができる。
【0044】
すなわち、撮像部1で取得された画像が特徴量抽出部31に入力され、入力画像から撮影対象について複数の特徴量を抽出する。動き推定部32は初期画像の特徴量と入力画像の特徴量との時間的変化を評価することにより、動き情報を推定する。
【0045】
前記特徴量の算出は、撮影対象を色ごとのチャネルに分離し、それぞれ予め設定した閾値で2値化した後、領域を形成し、領域の重心及び面積を特徴量として算出する。初期画像の特徴量は最初に一度だけ算出して記録しておき、入力画像の特徴量と比較する。
【0046】
前記動き推定部32は、撮影対象2a〜2c、2eの移動量及び移動方向を初期画像におけるチャネル毎の重心の平均座標と入力画像におけるチャネル毎の重心の平均座標との差分ベクトルの長さと向きとして求める。差分ベクトルは次式で算出する。
【0047】
【数1】
【0048】
ここで、初期画像における赤と青との重心座標をそれぞれ(xr0;yr0)、(xb0;yb0)、入力画像における赤と青との重心座標をそれぞれ(xr;yr)、(xb;yb)としている。回転角θは初期画像の複数の重心座標と入力画像の重心座標から次式で算出する。
【0049】
【数2】
【0050】
拡大率sは各画像の面積の相乗平均で求める。
【0051】
【数3】
【0052】
ここで、初期画像における赤21と青22との面積をそれぞれar0、ab0、入力画像における赤21’と青22’との面積をそれぞれar、abとしている。
【0053】
推定部3において選択された方向及び移動量、回転角、倍率については、推定された動き(空間的な位置関係の変化)として制御部4へ出力される。制御部4では、推定部3で推定された撮像部1と撮影対象2a〜2c、2eとの間の空間的位置関係の変化に合わせてメモリ6上の該当する表示情報を読み出し、表示部5に送出する。
【0054】
上記では色の違いを用いた実施例について説明したが、単色で実施する場合は、撮影対象として面積の異なる複数の点を用いることで、相対的な大小関係から初期画像の特徴量との組み合わせを推定し、前記算出式に代入することで動き情報を算出できる。
【0055】
また上記ではパッド部を撮像部1の撮影面に対して奥行き方向(上下方向)に押し込んだ場合に空間的位置関係に応じて連続的に表示画像を拡大縮小させて制御する実施例について図11を用いて説明したが、この場合には他の制御も可能である。すなわち上下方向へのパッド部押し込みによって入力画像が変化し、推定部3により算出される倍率に対して所定の閾値を設けておけば、パッド部を深く押し込んで該倍率が該閾値を越えた場合と、押し込んでないもしくは押し込みが足りず該倍率が該閾値を越えない場合との2つの状態を区別することが可能となる。制御部によって該2つの状態をそれぞれ周知のマウス操作におけるプレス状態およびリリース状態に対応させれば、周知のマウス操作におけるプレス状態からリリース状態への遷移としてクリック機能を実現することもできる。さらに該クリック機能と上記のスクロール移動またはカーソル位置移動を組み合わせれば周知のマウス操作と同等の機能を実現することも可能となる。またパッド部の押し込みで該倍率が該閾値を越えたかどうかが利用者に容易に把握できるようにするため、該倍率を表す情報を表示部に表示することも可能であり、例えばパッド部でカーソルを動かしている場合ならば、該倍率に応じてカーソルの模様を変えることもできる。
【符号の説明】
【0056】
1・・・撮像部、2・・・パッド部、2a〜2c、2e・・・撮影対象、2d・・・パッド部の底面、3・・・推定部、4・・・制御部、5・・・表示部、6・・・メモリ、7・・・指、31・・・特徴量抽出部、32・・・動き推定部。
【特許請求の範囲】
【請求項1】
情報を表示する表示部を有する情報端末装置であって、
前記表示部に表示する情報を記憶するメモリと、
撮影対象を保持するパッド部と、
前記パッド部の撮影対象を撮影する撮像部と、
前記撮像部によって撮影された画像に基づいて、前記撮影対象の空間的位置関係の変化を推定する推定部と、
前記メモリから読み出して前記表示部に表示する情報を、前記推定部により推定された前記空間位置関係の変化に応じて制御する制御部とを具備することを特徴とする情報端末装置。
【請求項2】
前記パッド部は、前記撮像部の撮影面に着脱可能であり、撮影対象として、異なる色の組み合わせ模様や異なる面積の組み合わせ模様、あるいは大きさの異なる複数の陥没箇所を備えてなる請求項1に記載の情報端末装置。
【請求項3】
前記推定部は、前記撮像部により入力された画像から検出された特徴量を用いて、前記撮像部と前記撮影対象との間の空間的位置関係の変化を推定する機能を備えてなる請求項1に記載の情報端末装置。
【請求項4】
前記推定部は、時間的に異なる複数画像から特徴量を算出し、それぞれの特徴量の時間的変化を評価することで、前記撮像部と前記撮影対象との間の空間的位置関係の変化を推定する機能を備えてなる請求項3に記載の情報端末装置。
【請求項5】
前記推定部は、入力画像における撮影対象の位置、面積、傾きを特徴量として算出することで、前記撮像部と前記撮影対象との空間的位置関係の移動量と方向、倍率、回転角を推定する機能を備えてなる請求項3に記載の情報端末装置。
【請求項6】
前記推定部は、入力画像を色のチャネル毎に分離した上でチャネル毎に領域を構成し、各領域の重心および面積をもって前記特徴量とする機能を備えてなる請求項3に記載の情報端末装置。
【請求項7】
前記推定部は、単一チャネルで複数の領域を構成し、相対的な大小関係から対応する初期画像の特徴量との組み合わせを推定する機能を備えてなる請求項3に記載の情報端末装置。
【請求項8】
前記推定部は、時間的に異なる画像の同一領域間の相対的な位置関係から移動量及び移動方向を算出することで前記撮像部と前記撮影対象との間の空間的位置関係を判断する機能を備えてなる請求項3に記載の情報端末装置。
【請求項9】
前記推定部は、時間的に異なる画像の同一領域間の相対的な面積比から倍率を算出することで前記撮像部と前記撮影対象との間の空間的位置関係を判断する機能を備えてなる請求項3に記載の情報端末装置
【請求項10】
前記推定部は、初期画像内における領域間の相対的な位置関係と逐次入力される画像内における領域間の相対的な位置関係とから回転を算出することで前記撮像部と前記撮影対象との間の空間的位置関係を判断する機能を備えてなる請求項3に記載の情報端末装置。
【請求項11】
前記制御部は、前記推定部で検出された空間的な動作に応じて、前記表示部に表示される内容が異なるように制御する機能を備えてなる請求項1に記載の情報端末装置。
【請求項12】
前記制御部は、前記表示部において画像を表示する場合に、前記推定部で得られた移動量及び移動方向に応じて画像の座標を連続的に移動させ、前記推定部で得られた倍率に応じて画像を連続的に拡大縮小させ、推定部で得られた回転角度に応じて画像を連続的に回転させる機能を備えてなる請求項11に記載の情報端末装置。
【請求項13】
前記パッド部は、前記撮像部を中心として前記撮影対象を揺動自在に保持する弾性体を備えてなる請求項1または2に記載の情報端末装置。
【請求項14】
前記パッド部は、前記撮像部の撮影面に磁石、粘着材または吸着材で着脱可能にする請求項2に記載の情報端末装置。
【請求項15】
前記弾性体が、長短切換のスイッチ機構を有するバネである請求項13に記載の情報端末装置。
【請求項16】
前記制御部は、前記推定部で得られた移動量及び移動方向から定まる座標情報と、前記推定部で得られた倍率が所定の閾値以上もしくは未満のいずれに属するかという情報と、該倍率が該閾値を遷移するときに発せられる情報とに基づいて前記表示部に表示する情報を制御する機能を備えてなる請求項1に記載の情報端末装置。
【請求項1】
情報を表示する表示部を有する情報端末装置であって、
前記表示部に表示する情報を記憶するメモリと、
撮影対象を保持するパッド部と、
前記パッド部の撮影対象を撮影する撮像部と、
前記撮像部によって撮影された画像に基づいて、前記撮影対象の空間的位置関係の変化を推定する推定部と、
前記メモリから読み出して前記表示部に表示する情報を、前記推定部により推定された前記空間位置関係の変化に応じて制御する制御部とを具備することを特徴とする情報端末装置。
【請求項2】
前記パッド部は、前記撮像部の撮影面に着脱可能であり、撮影対象として、異なる色の組み合わせ模様や異なる面積の組み合わせ模様、あるいは大きさの異なる複数の陥没箇所を備えてなる請求項1に記載の情報端末装置。
【請求項3】
前記推定部は、前記撮像部により入力された画像から検出された特徴量を用いて、前記撮像部と前記撮影対象との間の空間的位置関係の変化を推定する機能を備えてなる請求項1に記載の情報端末装置。
【請求項4】
前記推定部は、時間的に異なる複数画像から特徴量を算出し、それぞれの特徴量の時間的変化を評価することで、前記撮像部と前記撮影対象との間の空間的位置関係の変化を推定する機能を備えてなる請求項3に記載の情報端末装置。
【請求項5】
前記推定部は、入力画像における撮影対象の位置、面積、傾きを特徴量として算出することで、前記撮像部と前記撮影対象との空間的位置関係の移動量と方向、倍率、回転角を推定する機能を備えてなる請求項3に記載の情報端末装置。
【請求項6】
前記推定部は、入力画像を色のチャネル毎に分離した上でチャネル毎に領域を構成し、各領域の重心および面積をもって前記特徴量とする機能を備えてなる請求項3に記載の情報端末装置。
【請求項7】
前記推定部は、単一チャネルで複数の領域を構成し、相対的な大小関係から対応する初期画像の特徴量との組み合わせを推定する機能を備えてなる請求項3に記載の情報端末装置。
【請求項8】
前記推定部は、時間的に異なる画像の同一領域間の相対的な位置関係から移動量及び移動方向を算出することで前記撮像部と前記撮影対象との間の空間的位置関係を判断する機能を備えてなる請求項3に記載の情報端末装置。
【請求項9】
前記推定部は、時間的に異なる画像の同一領域間の相対的な面積比から倍率を算出することで前記撮像部と前記撮影対象との間の空間的位置関係を判断する機能を備えてなる請求項3に記載の情報端末装置
【請求項10】
前記推定部は、初期画像内における領域間の相対的な位置関係と逐次入力される画像内における領域間の相対的な位置関係とから回転を算出することで前記撮像部と前記撮影対象との間の空間的位置関係を判断する機能を備えてなる請求項3に記載の情報端末装置。
【請求項11】
前記制御部は、前記推定部で検出された空間的な動作に応じて、前記表示部に表示される内容が異なるように制御する機能を備えてなる請求項1に記載の情報端末装置。
【請求項12】
前記制御部は、前記表示部において画像を表示する場合に、前記推定部で得られた移動量及び移動方向に応じて画像の座標を連続的に移動させ、前記推定部で得られた倍率に応じて画像を連続的に拡大縮小させ、推定部で得られた回転角度に応じて画像を連続的に回転させる機能を備えてなる請求項11に記載の情報端末装置。
【請求項13】
前記パッド部は、前記撮像部を中心として前記撮影対象を揺動自在に保持する弾性体を備えてなる請求項1または2に記載の情報端末装置。
【請求項14】
前記パッド部は、前記撮像部の撮影面に磁石、粘着材または吸着材で着脱可能にする請求項2に記載の情報端末装置。
【請求項15】
前記弾性体が、長短切換のスイッチ機構を有するバネである請求項13に記載の情報端末装置。
【請求項16】
前記制御部は、前記推定部で得られた移動量及び移動方向から定まる座標情報と、前記推定部で得られた倍率が所定の閾値以上もしくは未満のいずれに属するかという情報と、該倍率が該閾値を遷移するときに発せられる情報とに基づいて前記表示部に表示する情報を制御する機能を備えてなる請求項1に記載の情報端末装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2010−231758(P2010−231758A)
【公開日】平成22年10月14日(2010.10.14)
【国際特許分類】
【出願番号】特願2009−227120(P2009−227120)
【出願日】平成21年9月30日(2009.9.30)
【出願人】(000208891)KDDI株式会社 (2,700)
【Fターム(参考)】
【公開日】平成22年10月14日(2010.10.14)
【国際特許分類】
【出願日】平成21年9月30日(2009.9.30)
【出願人】(000208891)KDDI株式会社 (2,700)
【Fターム(参考)】
[ Back to top ]