情報端末装置
【課題】小型化されたパッド部を用いて情報端末装置の表示部に表示される情報を制御できる、信頼性の高い情報端末装置を提供する。
【解決手段】情報端末装置１０は、表示部５に表示する情報を記憶するメモリ６と、撮影対象を保持するパッド部２と、パッド部２の撮影対象を撮影する撮像部１と、撮像部１によって撮影された画像に基づいて、前記撮影対象の空間的位置関係の変化を推定する推定部３と、メモリ６から読み出して表示部５に表示する情報を、推定部３により推定された前記空間位置関係の変化に応じて制御する制御部４とを具備している。パッド部２により保持される撮影対象は、その表面に模様が描かれた回動体、例えば球体、半球体、または円柱などで形成されている。
【解決手段】情報端末装置１０は、表示部５に表示する情報を記憶するメモリ６と、撮影対象を保持するパッド部２と、パッド部２の撮影対象を撮影する撮像部１と、撮像部１によって撮影された画像に基づいて、前記撮影対象の空間的位置関係の変化を推定する推定部３と、メモリ６から読み出して表示部５に表示する情報を、推定部３により推定された前記空間位置関係の変化に応じて制御する制御部４とを具備している。パッド部２により保持される撮影対象は、その表面に模様が描かれた回動体、例えば球体、半球体、または円柱などで形成されている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は表示部に情報を提示する情報端末装置に関し、特に、カメラと指の空間的位置関係の変化によって表示部に表示される情報を制御できる情報端末装置に関するものである。
【背景技術】
【０００２】
携帯電話機などの携帯型情報端末装置において、電子機器回路の集積化に伴って小型・軽量化が進んでいるため、キーパッドの面積を十分に確保できないまま細かな操作を強いられている。一方で処理性能の向上および記録容量の増大に伴い、情報端末装置が扱えるサービスやメニュー、アプリケーションの操作は複雑化の一途を辿っている。
【０００３】
上記のような状況下においては、情報端末装置のキーパッドに代わるインタフェースが必要になっている。前記キーパッドに代わるインタフェースを用いて、上記の操作を簡単にする方法としては、以下のような方法が公開されている。
【０００４】
特許文献１には、カメラで検出した指領域をタッチパネルに重畳して誤操作を軽減する手法が提案されている。
【０００５】
特許文献２には、手形状データベースに格納される手形状と入力画像を比較し、少数のジェスチャを用いて多くの機能を実行する手法が提案されている。
【０００６】
また、特許文献３には、ユーザの顔の部分領域画像をテンプレート画像として登録し、一致する領域を実時間で抽出することでマウスカーソルの座標を制御する手法が提案されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−２３４５９４号公報
【特許文献２】特開２００８−１４６２４３号公報
【特許文献３】特開２００７−３１０９１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、前記した先行技術には、次のような問題がある。
【０００９】
特許文献１では、指はそのサイズや形状がマウスポインタよりもかなり大きいため、タッチパネルに対して指そのものはマウスポイントほど正確にはなり得ない。また、タッチパネルの搭載は端末装置のコスト上昇を招く。さらに、既存の端末装置では利用できないという問題がある。
【００１０】
特許文献２では、空中で手をひらひらさせるため、ジェスチャでの操作時に触覚的なフィードバックを得られないという問題がある。
【００１１】
特許文献３では、首を回した場合にテンプレートと入力画像が一致しなくなるため、テンプレートの逐次更新が必要となり処理負荷が大きくなる可能性がある。
【００１２】
さらに、特許文献１、２および３では、それぞれ指、手、顔の検出が必要であるため、光源の色調によっては肌色が正しく検出できないことがあり、認識が困難になる場合がある。
【００１３】
以上のように、前記先行技術は、いずれも正確な操作が難しく、情報端末装置の信頼性が低いという問題があった。
【００１４】
本発明は上記実情に鑑みて提案されたもので、その目的は、情報端末装置に対する撮影対象の空間的な動作によって、情報端末装置の表示部に表示される情報を制御できる、信頼性の高い情報端末装置を提供することにある。また、他の目的は、小型化されたパッド部を有する情報端末装置を提供することにある。
【課題を解決するための手段】
【００１５】
上記した目的を達成するために、本発明は、情報を表示する表示部を有する情報端末装置であって、前記表示部に表示する情報を記憶するメモリと、撮影対象を保持するパッド部と、前記パッド部の撮影対象を撮影する撮像部と、前記撮像部によって撮影された画像に基づいて、前記撮影対象の空間的位置関係の変化を推定する推定部と、前記メモリから読み出して前記表示部に表示する情報を、前記推定部により推定された前記空間位置関係の変化に応じて制御する制御部とを具備し、前記パッド部により保持される撮影対象が、その表面に模様が描かれた回動体である点に第１の特徴がある。
【００１６】
また、前記回動体は、球体、半球体または円柱状である点に第２の特徴がある。
また、前記模様は、異なる色の組合せ模様または異なる面積の組合せ模様である点に第３の特徴がある。
【００１７】
さらに、前記パッド部は、弾性体の上に前記撮影対象を保持する点に第４の特徴がある。
【発明の効果】
【００１８】
本発明によれば、撮影対象である回動体が回動することによる撮像部と撮影対象表面の模様との間の空間的位置関係の変化により、情報端末装置の入力画像から空間的な相対的位置関係を推定し、表示部で表示される情報又は情報画面におけるカーソルの位置を、推定部により推定された空間位置関係の変化に応じて制御するので、利用者は撮影対象を回動するという直観的な操作で、表示される情報を制御できる。
【００１９】
したがって、情報端末装置の利用者は、撮影対象の動きに対応づけられた表示部でのカーソル位置の移動を直感的に行うことが可能となり、信頼性の高い情報端末装置を提供することができるようになる。
【００２０】
また、前記撮影対象として、球体、半球体または円柱状の回動体を用いることにより、パッド部の高さを低くでき、小型化することができる。
【００２１】
また、情報端末装置の表示部で表示される情報の制御は、撮像部に入力された画像を解析することにより推定される撮像部と撮影対象との間の空間的位置関係の変化を基に行うのでソフトウェアで可能であり、ジャイロや加速度センサなどの特別なハードウェアを情報端末に組み込む必要がない。
【図面の簡単な説明】
【００２２】
【図１】本発明の一実施形態の概略の構成を示すブロック図である。
【図２】本発明を携帯電話機に応用した場合の概略の構成を示す概念図である。
【図３】パッド部の一実施例を示す斜視図と断面図である。
【図４】パッド部の他の実施例を示す斜視図である。
【図５】撮像部に装着されたパッド部の一例を示す図である。
【図６】撮像部に装着されたパッド部の他の例を示す図である。
【図７】指で操作されるパッド部を示す図である。
【図８】図１の推定部の具体的構成を示すブロック図である。
【図９】撮像部で撮影された撮影対象の初期画像と入力画像の説明図である。
【図１０】推定部の機能を示すフローチャートである。
【図１１】利用者がパッド部の撮影対象を任意方向に回動した場合の、表示部の画像の概念図である。
【発明を実施するための形態】
【００２３】
以下に、本発明を図面を参照して詳細に説明する。図１は、本発明の情報端末装置の第１の実施形態を示す機能ブロック図である。また、図２は情報端末装置として携帯電話機を想定した場合の外観図であり、図２(a)は正面図、(b)は側面図である。また、図２(b)の左側は表面、右側は裏面である。
【００２４】
情報端末装置１０は、図１、図２に示すように、画像を取り込む撮像部１と、撮影対象を保持する着脱自在のパッド部２と、撮像部からの画像信号により撮影対象の動きを推定する推定部３と、文字情報や地図情報等の情報を表示するための表示部５と、表示部５に表示させるための情報を記録するメモリ６と、推定部３およびメモリ６からの信号を受けて表示部５に表示する情報の制御を行う制御部４を備えている。なお、図２の推定部３，制御部４およびメモリ６は、携帯電話機中の大体の位置を示す大雑把な概念図である。また、前記パッド部２は利用者が表示部５に表示されている情報を操作するために使用されるものであるので、情報操作部とも呼ぶことができる。
【００２５】
撮像部１は、情報端末装置に内蔵されたカメラで構成され、一定の時間間隔で任意の画像を入力し、入力画像を推定部３に出力するようになっている。携帯電話機での構成では撮像部１は情報端末装置内に備えられているが、パソコンとカメラを組み合わせた構成のように情報端末装置外に備えることも可能である。
【００２６】
パッド部２は撮像部１の撮影面に脱着できる構成をとることが可能であり、その一例を図３に示す。図３（ａ）は斜視図を示し、（ｂ）図はそのＡ−Ａ線断面図である。
【００２７】
パッド部２は、硬めのシリコン等の樹脂や硬めのゴム等の透光性又は透過性および弾力性を有する素材で形成するのが好ましいが、これに限定されない。パッド部２の上部には、撮影対象としての回動体、例えば球体２ａが任意の方向に回動可能であって、かつパッド部２から上又は下に抜け出さないように設けられている。このような構成により、パッド部の高さを低くでき、小型化することができる。
【００２８】
球体２ａ（以下では、撮影対象２ａと記すことがある）の表面の一部には、撮像部１が撮影できる任意の模様が配置されている。例えば、球体２ａの表面全体は黒色をしており、その中に好ましくは２個の異なる大きさまたは形の任意の模様、例えば白い点２ｂが描かれている。この２個の白い点２ｂは、球体２ａの中心対称の位置に描くのが好適である。なお、球体２ａに代えて、撮影面が半球、円柱、楕円などの形状の撮影対象であってもよい。撮影面を半球にする場合には、球体２ａの一部に例えば凸部を設けて、球の回動角度を制限すればよい。これらの半球や円柱の表面全体を黒色にした場合には、該表面に少なくとも１個の白い模様、例えば白色の点の模様を形成すればよい。また、前記球体２ａ、半球、円柱と、これらの中に描かれる模様の色は、前記の黒色や白色に限定されず、互いに識別できる色（コントラスト差の出る色）であればよい。また、前記回動体とその中に描かれる模様は、異なる色の組合せ模様であっても、異なる面積の組合せ模様であってもよい。
【００２９】
また、パッド部２は図４に示すように、バネ等の弾性体で形成し、その弾性体の上部に撮影対象の球体２ａを回動可能に設けてもよい。該撮影対象は、球体２ａに代えて、撮影面が半球であったり、円柱などの形状であったりしてもよい。ここで弾性体はその弾性を妨げることのないカバーを、弾性体の内部もしくは外部に、あるいは弾性体と一体となって備えていてもよく、該カバーは透光性であっても遮光性であってもよい。図４には、底部２ｃ側と撮影対象２ａ側とでバネのコイル径が同じであるが、コイル径は両側で異なっていてもよい。
【００３０】
また、図３や図４のパッド部２の内部に、撮影対象、すなわち前記球体２ａ、半球体、円柱などに焦点を合わせるための光学レンズ２ｄ、例えば光学軸が上下方向の凸レンズを配置してもよい。光学レンズ２ｄを配置する（図３（ｂ）参照）と、撮影対象を撮像部１に近接させることができ、パッド部２の高さをさらに低くすることができ、パッド部２をさらに小型化することができる。
【００３１】
撮像部１は前記撮影対象２ａ中の模様の動きと大きさの変化を画像として撮影することになる。パッド部２は、撮像部の撮影面に着脱可能にできる構成にすることが可能であり、図５のように撮像部１の全面を覆う実施例の場合は、撮像部１のレンズ周りに金属リング１０を貼り付けておき、一方パッド部２の底面２ｃにはリング状の磁石を貼り付けて、パッド部２を磁力で撮像部１に装着できるようにする。該リング状の磁石およびレンズ周りの金属リングの組み合わせ仕様に代えて、パッド部２の底面２ｃに粘着材を塗布して、または粘着性もしくは吸着性を有する部材を貼着してパッド部２を着脱自在にしてもよい。
【００３２】
また、図６のようにパッド部２の大きさを少し大きくして撮像部１に隣接する光源１１（ＬＥＤ等）を含めてパッド部２が覆うように装着することができる。光源１１を点灯することでパッド内部で散乱した光が撮影対象を照らすことになるので、暗闇の中でもはっきりと撮影対象を画像として撮影できる。また、パッド部２は、図５のパッド部２より小さくして、撮像部１の撮像面より小さくしてもよい。
【００３３】
利用者は、図７に示すように、パッド部２に指７を添えて撮影対象２ａを回転させることによって撮影対象２ａの表面に描かれている前記模様の位置を変更させることができ、指７に加える力の方向や力加減により該撮影対象２ａの移動方向や移動量を変えることができる。例えば、利用者が撮影対象を撮像部の撮影面に対して垂直方向や水平方向などに回転させると、撮像部と撮影対象の模様との間の空間的位置関係が該回転に応じて変化する。なお、撮影対象が球体または半球体の場合には、撮像部と撮影対象との間の空間的位置関係を、撮像部１の撮像面と平行な平面内で互いに直交するｘ軸、ｙ軸方向に変化させることができ、撮影対象が円柱の場合には、１軸方向、例えばｘ軸方向にのみ変化させることができる。
【００３４】
また、図４のように、撮影対象が弾性体、例えば螺旋状の弾性体のパッド部２上に配置されている場合には、前記ｘ軸、ｙ軸方向の変化に、弾性体の左右、上下の変化を重畳することができる。すなわち、利用者が撮影対象の球体等に指を押し当てながらパッド部２を撮像部１の撮影面に対して垂直方向や水平方向などに移動又は変形させると、撮像部１と撮影対象２ａとの間の空間的位置関係が該移動又は変形に応じて同じように変化することになり、この変化が前記ｘ軸、ｙ軸方向の変化に重畳される。また、利用者がパッド部２を撮像部１の撮影面に対して強く押し込むと、撮影対象の見かけの大きさが押し込む力に応じて変化することになる。さらに、利用者がパッド部２を撮像部の撮影面の法線を軸に回転させると、撮像部１と撮影対象との間の空間的位置関係が回転に応じて同じように変化することになる。また、例えば、パッド部２が携帯電話機に取り付けられている場合には、利用者は、携帯電話機の表面と向かい合って表示部５を見ながら、その裏側に回した手の指により撮影対象やパッド部２を操作することができる。
【００３５】
本発明の情報端末装置は、利用者が上記の操作をすると、つまり利用者が前記球体２ａなどの撮影対象やパッド部２を撮像部の撮影面に対してｘ、ｙ軸方向や垂直、水平方向などに移動させると、例えば、文字一覧や画像、地図、Webページなどが表示部５に表示されている場合に、表示されている文字や地図等の画像の表示位置が、撮像部と撮影対象との間の空間的位置関係に応じてスクロール移動、又は、画像内のカーソル位置が移動するように構成されている。この概念図を図１１に示す。
【００３６】
前記推定部３は、特徴量抽出部３１と動き推定部３２（図８参照）を有し、撮像部１により入力された画像を解析して撮像部１と撮影対象２ａとの間の空間的位置関係の変化を推定する。この推定の手法については後述する。
【００３７】
前記メモリ６上には表示部５で表示する表示情報が予め展開されている。
【００３８】
前記制御部４は、推定部３で推定された撮像部１と撮影対象２ａとの間の空間的位置関係の変化に応じてメモリ１上の該当する情報を読み出し、表示部５に送る。
【００３９】
前記表示部５は、制御部４から送出されてきた表示情報を表示する。
【００４０】
上記の構成により、利用者が撮影対象を、例えばその空間的位置を任意方向に変化させれば表示画面や画面内のカーソル位置がアナログ的に変化するので、表示部に表示されるカーソル位置の操作や画面スクロール等の操作を直感的に行うことができる。また、利用者が撮影対象の空間的位置を連続的に変化させれば、表示部の表示もそれに応じて連続的に変化するように切り替えられる。
【００４１】
次に、推定部で撮像部と撮影対象との間の空間的位置関係の変化を推定し、表示部に表示する動作について、図８、図９および図１０とを参照しながら説明する。
【００４２】
撮像部１と撮影対象との間の空間的位置関係の変化は、利用者が情報端末装置を持って撮影対象を操作する動作に基づくので、以下ではそれを利用者の動作として説明する。
【００４３】
利用者の操作は、撮像部１で入力された画像から撮影対象の変化に基づいて推定できる。入力された画像から検出される移動量及び回転量、拡大率の動き情報は、図１０に示したフローチャートの手順で算出される。以下、前記動き情報を算出する場合について説明する。
【００４４】
前記したように、例えば、黒い球体２ａを撮影対象とし白い点２ｂを模様として描いておき、利用者が該撮影対象を回転操作した場合、一定の時間間隔で撮像部１に入力される画像と操作する前の初期画像とは、それぞれ図９(b)，（ａ)に示すようになり、各画像から撮影対象についての動き情報を抽出する。つまり、初期画像ｔ０と一定の時間間隔で撮像部に入力される回転操作時の画像ｔとは、それぞれ図９（ａ）、（ｂ）に示すようになり、前記初期画像ｔ０を基に各画像から撮影対象についての動き情報を抽出することができる。ここに、球体２ａの重心座標が変化するのは、パッド部２が弾力性を有するからである。
【００４５】
すなわち、撮像部１で取得された画像が特徴量抽出部３１に入力され、入力画像から撮影対象について複数の特徴量を抽出する。動き推定部３２は、初期画像の特徴量と入力画像の特徴量との時間的変化を評価することにより、動き情報を推定する。
【００４６】
前記特徴量の算出は、撮影対象を色ごとに分離し、それぞれ予め設定した閾値で２値化した後、領域を形成し、領域の重心及び面積を特徴量として算出する。初期画像ｔ０の特徴量は最初にまたは操作開始時に一度だけ算出して記録しておき、入力画像ｔの特徴量と比較する。または、利用者の回転操作が停止する都度、該停止位置の画像の特徴量を初期画像ｔ０の特徴量として記録し、続いて入力してくる入力画像の特徴量と比較するようにしてもよい。
【００４７】
前記動き推定部３２は、撮影対象２ａの移動量及び移動方向（すなわち、白い点２ｂの移動量及び移動方向）を初期画像ｔ０における色毎の重心の平均座標と入力画像における色毎の重心の平均座標との差分ベクトルの長さと向きとして求める。撮影対象全体の動きの影響を排除するため、操作によって移動する量（ｕ、ｖ）、すなわち差分ベクトルを次式で算出する。
【００４８】
【数１】
【００４９】
ここで、初期画像ｔ０における球体２ａの重心座標を(xb0;yb0)、白色の点２ｂの中心の座標を(xw0;yw0)、入力画像ｔにおける球体２ａの重心座標を(xb;yb)、白色の点２ｂ’の中心の座標を(xw;yw)としている。
【００５０】
推定部３において選択された方向及び移動量については、推定された動き（空間的な位置関係の変化）として制御部４へ出力される。制御部４では、推定部３で推定された撮像部１と撮影対象との間の空間的位置関係の変化に合わせてメモリ６上の該当する表示情報を読み出し、表示部５に送出する。
【００５１】
上記では色の違いを用いた実施例について説明したが、単色で実施する場合は、撮影対象として面積の異なる複数の点を用いることで、相対的な大小関係から初期画像の特徴量との組み合わせを推定し、前記算出式に代入することで動き情報を算出できる。
【符号の説明】
【００５２】
１・・・撮像部、２・・・パッド部、２ａ・・・球体（撮影対象）、２ｂ、２ｂ’・・・点模様、２ｃ・・・底面、２ｄ・・・光学レンズ、３・・・推定部、４・・・制御部、５・・・表示部、６・・・メモリ、７・・・指、１０・・・情報端末装置、３１・・・特徴量抽出部、３２・・・動き推定部。
【技術分野】
【０００１】
本発明は表示部に情報を提示する情報端末装置に関し、特に、カメラと指の空間的位置関係の変化によって表示部に表示される情報を制御できる情報端末装置に関するものである。
【背景技術】
【０００２】
携帯電話機などの携帯型情報端末装置において、電子機器回路の集積化に伴って小型・軽量化が進んでいるため、キーパッドの面積を十分に確保できないまま細かな操作を強いられている。一方で処理性能の向上および記録容量の増大に伴い、情報端末装置が扱えるサービスやメニュー、アプリケーションの操作は複雑化の一途を辿っている。
【０００３】
上記のような状況下においては、情報端末装置のキーパッドに代わるインタフェースが必要になっている。前記キーパッドに代わるインタフェースを用いて、上記の操作を簡単にする方法としては、以下のような方法が公開されている。
【０００４】
特許文献１には、カメラで検出した指領域をタッチパネルに重畳して誤操作を軽減する手法が提案されている。
【０００５】
特許文献２には、手形状データベースに格納される手形状と入力画像を比較し、少数のジェスチャを用いて多くの機能を実行する手法が提案されている。
【０００６】
また、特許文献３には、ユーザの顔の部分領域画像をテンプレート画像として登録し、一致する領域を実時間で抽出することでマウスカーソルの座標を制御する手法が提案されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−２３４５９４号公報
【特許文献２】特開２００８−１４６２４３号公報
【特許文献３】特開２００７−３１０９１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、前記した先行技術には、次のような問題がある。
【０００９】
特許文献１では、指はそのサイズや形状がマウスポインタよりもかなり大きいため、タッチパネルに対して指そのものはマウスポイントほど正確にはなり得ない。また、タッチパネルの搭載は端末装置のコスト上昇を招く。さらに、既存の端末装置では利用できないという問題がある。
【００１０】
特許文献２では、空中で手をひらひらさせるため、ジェスチャでの操作時に触覚的なフィードバックを得られないという問題がある。
【００１１】
特許文献３では、首を回した場合にテンプレートと入力画像が一致しなくなるため、テンプレートの逐次更新が必要となり処理負荷が大きくなる可能性がある。
【００１２】
さらに、特許文献１、２および３では、それぞれ指、手、顔の検出が必要であるため、光源の色調によっては肌色が正しく検出できないことがあり、認識が困難になる場合がある。
【００１３】
以上のように、前記先行技術は、いずれも正確な操作が難しく、情報端末装置の信頼性が低いという問題があった。
【００１４】
本発明は上記実情に鑑みて提案されたもので、その目的は、情報端末装置に対する撮影対象の空間的な動作によって、情報端末装置の表示部に表示される情報を制御できる、信頼性の高い情報端末装置を提供することにある。また、他の目的は、小型化されたパッド部を有する情報端末装置を提供することにある。
【課題を解決するための手段】
【００１５】
上記した目的を達成するために、本発明は、情報を表示する表示部を有する情報端末装置であって、前記表示部に表示する情報を記憶するメモリと、撮影対象を保持するパッド部と、前記パッド部の撮影対象を撮影する撮像部と、前記撮像部によって撮影された画像に基づいて、前記撮影対象の空間的位置関係の変化を推定する推定部と、前記メモリから読み出して前記表示部に表示する情報を、前記推定部により推定された前記空間位置関係の変化に応じて制御する制御部とを具備し、前記パッド部により保持される撮影対象が、その表面に模様が描かれた回動体である点に第１の特徴がある。
【００１６】
また、前記回動体は、球体、半球体または円柱状である点に第２の特徴がある。
また、前記模様は、異なる色の組合せ模様または異なる面積の組合せ模様である点に第３の特徴がある。
【００１７】
さらに、前記パッド部は、弾性体の上に前記撮影対象を保持する点に第４の特徴がある。
【発明の効果】
【００１８】
本発明によれば、撮影対象である回動体が回動することによる撮像部と撮影対象表面の模様との間の空間的位置関係の変化により、情報端末装置の入力画像から空間的な相対的位置関係を推定し、表示部で表示される情報又は情報画面におけるカーソルの位置を、推定部により推定された空間位置関係の変化に応じて制御するので、利用者は撮影対象を回動するという直観的な操作で、表示される情報を制御できる。
【００１９】
したがって、情報端末装置の利用者は、撮影対象の動きに対応づけられた表示部でのカーソル位置の移動を直感的に行うことが可能となり、信頼性の高い情報端末装置を提供することができるようになる。
【００２０】
また、前記撮影対象として、球体、半球体または円柱状の回動体を用いることにより、パッド部の高さを低くでき、小型化することができる。
【００２１】
また、情報端末装置の表示部で表示される情報の制御は、撮像部に入力された画像を解析することにより推定される撮像部と撮影対象との間の空間的位置関係の変化を基に行うのでソフトウェアで可能であり、ジャイロや加速度センサなどの特別なハードウェアを情報端末に組み込む必要がない。
【図面の簡単な説明】
【００２２】
【図１】本発明の一実施形態の概略の構成を示すブロック図である。
【図２】本発明を携帯電話機に応用した場合の概略の構成を示す概念図である。
【図３】パッド部の一実施例を示す斜視図と断面図である。
【図４】パッド部の他の実施例を示す斜視図である。
【図５】撮像部に装着されたパッド部の一例を示す図である。
【図６】撮像部に装着されたパッド部の他の例を示す図である。
【図７】指で操作されるパッド部を示す図である。
【図８】図１の推定部の具体的構成を示すブロック図である。
【図９】撮像部で撮影された撮影対象の初期画像と入力画像の説明図である。
【図１０】推定部の機能を示すフローチャートである。
【図１１】利用者がパッド部の撮影対象を任意方向に回動した場合の、表示部の画像の概念図である。
【発明を実施するための形態】
【００２３】
以下に、本発明を図面を参照して詳細に説明する。図１は、本発明の情報端末装置の第１の実施形態を示す機能ブロック図である。また、図２は情報端末装置として携帯電話機を想定した場合の外観図であり、図２(a)は正面図、(b)は側面図である。また、図２(b)の左側は表面、右側は裏面である。
【００２４】
情報端末装置１０は、図１、図２に示すように、画像を取り込む撮像部１と、撮影対象を保持する着脱自在のパッド部２と、撮像部からの画像信号により撮影対象の動きを推定する推定部３と、文字情報や地図情報等の情報を表示するための表示部５と、表示部５に表示させるための情報を記録するメモリ６と、推定部３およびメモリ６からの信号を受けて表示部５に表示する情報の制御を行う制御部４を備えている。なお、図２の推定部３，制御部４およびメモリ６は、携帯電話機中の大体の位置を示す大雑把な概念図である。また、前記パッド部２は利用者が表示部５に表示されている情報を操作するために使用されるものであるので、情報操作部とも呼ぶことができる。
【００２５】
撮像部１は、情報端末装置に内蔵されたカメラで構成され、一定の時間間隔で任意の画像を入力し、入力画像を推定部３に出力するようになっている。携帯電話機での構成では撮像部１は情報端末装置内に備えられているが、パソコンとカメラを組み合わせた構成のように情報端末装置外に備えることも可能である。
【００２６】
パッド部２は撮像部１の撮影面に脱着できる構成をとることが可能であり、その一例を図３に示す。図３（ａ）は斜視図を示し、（ｂ）図はそのＡ−Ａ線断面図である。
【００２７】
パッド部２は、硬めのシリコン等の樹脂や硬めのゴム等の透光性又は透過性および弾力性を有する素材で形成するのが好ましいが、これに限定されない。パッド部２の上部には、撮影対象としての回動体、例えば球体２ａが任意の方向に回動可能であって、かつパッド部２から上又は下に抜け出さないように設けられている。このような構成により、パッド部の高さを低くでき、小型化することができる。
【００２８】
球体２ａ（以下では、撮影対象２ａと記すことがある）の表面の一部には、撮像部１が撮影できる任意の模様が配置されている。例えば、球体２ａの表面全体は黒色をしており、その中に好ましくは２個の異なる大きさまたは形の任意の模様、例えば白い点２ｂが描かれている。この２個の白い点２ｂは、球体２ａの中心対称の位置に描くのが好適である。なお、球体２ａに代えて、撮影面が半球、円柱、楕円などの形状の撮影対象であってもよい。撮影面を半球にする場合には、球体２ａの一部に例えば凸部を設けて、球の回動角度を制限すればよい。これらの半球や円柱の表面全体を黒色にした場合には、該表面に少なくとも１個の白い模様、例えば白色の点の模様を形成すればよい。また、前記球体２ａ、半球、円柱と、これらの中に描かれる模様の色は、前記の黒色や白色に限定されず、互いに識別できる色（コントラスト差の出る色）であればよい。また、前記回動体とその中に描かれる模様は、異なる色の組合せ模様であっても、異なる面積の組合せ模様であってもよい。
【００２９】
また、パッド部２は図４に示すように、バネ等の弾性体で形成し、その弾性体の上部に撮影対象の球体２ａを回動可能に設けてもよい。該撮影対象は、球体２ａに代えて、撮影面が半球であったり、円柱などの形状であったりしてもよい。ここで弾性体はその弾性を妨げることのないカバーを、弾性体の内部もしくは外部に、あるいは弾性体と一体となって備えていてもよく、該カバーは透光性であっても遮光性であってもよい。図４には、底部２ｃ側と撮影対象２ａ側とでバネのコイル径が同じであるが、コイル径は両側で異なっていてもよい。
【００３０】
また、図３や図４のパッド部２の内部に、撮影対象、すなわち前記球体２ａ、半球体、円柱などに焦点を合わせるための光学レンズ２ｄ、例えば光学軸が上下方向の凸レンズを配置してもよい。光学レンズ２ｄを配置する（図３（ｂ）参照）と、撮影対象を撮像部１に近接させることができ、パッド部２の高さをさらに低くすることができ、パッド部２をさらに小型化することができる。
【００３１】
撮像部１は前記撮影対象２ａ中の模様の動きと大きさの変化を画像として撮影することになる。パッド部２は、撮像部の撮影面に着脱可能にできる構成にすることが可能であり、図５のように撮像部１の全面を覆う実施例の場合は、撮像部１のレンズ周りに金属リング１０を貼り付けておき、一方パッド部２の底面２ｃにはリング状の磁石を貼り付けて、パッド部２を磁力で撮像部１に装着できるようにする。該リング状の磁石およびレンズ周りの金属リングの組み合わせ仕様に代えて、パッド部２の底面２ｃに粘着材を塗布して、または粘着性もしくは吸着性を有する部材を貼着してパッド部２を着脱自在にしてもよい。
【００３２】
また、図６のようにパッド部２の大きさを少し大きくして撮像部１に隣接する光源１１（ＬＥＤ等）を含めてパッド部２が覆うように装着することができる。光源１１を点灯することでパッド内部で散乱した光が撮影対象を照らすことになるので、暗闇の中でもはっきりと撮影対象を画像として撮影できる。また、パッド部２は、図５のパッド部２より小さくして、撮像部１の撮像面より小さくしてもよい。
【００３３】
利用者は、図７に示すように、パッド部２に指７を添えて撮影対象２ａを回転させることによって撮影対象２ａの表面に描かれている前記模様の位置を変更させることができ、指７に加える力の方向や力加減により該撮影対象２ａの移動方向や移動量を変えることができる。例えば、利用者が撮影対象を撮像部の撮影面に対して垂直方向や水平方向などに回転させると、撮像部と撮影対象の模様との間の空間的位置関係が該回転に応じて変化する。なお、撮影対象が球体または半球体の場合には、撮像部と撮影対象との間の空間的位置関係を、撮像部１の撮像面と平行な平面内で互いに直交するｘ軸、ｙ軸方向に変化させることができ、撮影対象が円柱の場合には、１軸方向、例えばｘ軸方向にのみ変化させることができる。
【００３４】
また、図４のように、撮影対象が弾性体、例えば螺旋状の弾性体のパッド部２上に配置されている場合には、前記ｘ軸、ｙ軸方向の変化に、弾性体の左右、上下の変化を重畳することができる。すなわち、利用者が撮影対象の球体等に指を押し当てながらパッド部２を撮像部１の撮影面に対して垂直方向や水平方向などに移動又は変形させると、撮像部１と撮影対象２ａとの間の空間的位置関係が該移動又は変形に応じて同じように変化することになり、この変化が前記ｘ軸、ｙ軸方向の変化に重畳される。また、利用者がパッド部２を撮像部１の撮影面に対して強く押し込むと、撮影対象の見かけの大きさが押し込む力に応じて変化することになる。さらに、利用者がパッド部２を撮像部の撮影面の法線を軸に回転させると、撮像部１と撮影対象との間の空間的位置関係が回転に応じて同じように変化することになる。また、例えば、パッド部２が携帯電話機に取り付けられている場合には、利用者は、携帯電話機の表面と向かい合って表示部５を見ながら、その裏側に回した手の指により撮影対象やパッド部２を操作することができる。
【００３５】
本発明の情報端末装置は、利用者が上記の操作をすると、つまり利用者が前記球体２ａなどの撮影対象やパッド部２を撮像部の撮影面に対してｘ、ｙ軸方向や垂直、水平方向などに移動させると、例えば、文字一覧や画像、地図、Webページなどが表示部５に表示されている場合に、表示されている文字や地図等の画像の表示位置が、撮像部と撮影対象との間の空間的位置関係に応じてスクロール移動、又は、画像内のカーソル位置が移動するように構成されている。この概念図を図１１に示す。
【００３６】
前記推定部３は、特徴量抽出部３１と動き推定部３２（図８参照）を有し、撮像部１により入力された画像を解析して撮像部１と撮影対象２ａとの間の空間的位置関係の変化を推定する。この推定の手法については後述する。
【００３７】
前記メモリ６上には表示部５で表示する表示情報が予め展開されている。
【００３８】
前記制御部４は、推定部３で推定された撮像部１と撮影対象２ａとの間の空間的位置関係の変化に応じてメモリ１上の該当する情報を読み出し、表示部５に送る。
【００３９】
前記表示部５は、制御部４から送出されてきた表示情報を表示する。
【００４０】
上記の構成により、利用者が撮影対象を、例えばその空間的位置を任意方向に変化させれば表示画面や画面内のカーソル位置がアナログ的に変化するので、表示部に表示されるカーソル位置の操作や画面スクロール等の操作を直感的に行うことができる。また、利用者が撮影対象の空間的位置を連続的に変化させれば、表示部の表示もそれに応じて連続的に変化するように切り替えられる。
【００４１】
次に、推定部で撮像部と撮影対象との間の空間的位置関係の変化を推定し、表示部に表示する動作について、図８、図９および図１０とを参照しながら説明する。
【００４２】
撮像部１と撮影対象との間の空間的位置関係の変化は、利用者が情報端末装置を持って撮影対象を操作する動作に基づくので、以下ではそれを利用者の動作として説明する。
【００４３】
利用者の操作は、撮像部１で入力された画像から撮影対象の変化に基づいて推定できる。入力された画像から検出される移動量及び回転量、拡大率の動き情報は、図１０に示したフローチャートの手順で算出される。以下、前記動き情報を算出する場合について説明する。
【００４４】
前記したように、例えば、黒い球体２ａを撮影対象とし白い点２ｂを模様として描いておき、利用者が該撮影対象を回転操作した場合、一定の時間間隔で撮像部１に入力される画像と操作する前の初期画像とは、それぞれ図９(b)，（ａ)に示すようになり、各画像から撮影対象についての動き情報を抽出する。つまり、初期画像ｔ０と一定の時間間隔で撮像部に入力される回転操作時の画像ｔとは、それぞれ図９（ａ）、（ｂ）に示すようになり、前記初期画像ｔ０を基に各画像から撮影対象についての動き情報を抽出することができる。ここに、球体２ａの重心座標が変化するのは、パッド部２が弾力性を有するからである。
【００４５】
すなわち、撮像部１で取得された画像が特徴量抽出部３１に入力され、入力画像から撮影対象について複数の特徴量を抽出する。動き推定部３２は、初期画像の特徴量と入力画像の特徴量との時間的変化を評価することにより、動き情報を推定する。
【００４６】
前記特徴量の算出は、撮影対象を色ごとに分離し、それぞれ予め設定した閾値で２値化した後、領域を形成し、領域の重心及び面積を特徴量として算出する。初期画像ｔ０の特徴量は最初にまたは操作開始時に一度だけ算出して記録しておき、入力画像ｔの特徴量と比較する。または、利用者の回転操作が停止する都度、該停止位置の画像の特徴量を初期画像ｔ０の特徴量として記録し、続いて入力してくる入力画像の特徴量と比較するようにしてもよい。
【００４７】
前記動き推定部３２は、撮影対象２ａの移動量及び移動方向（すなわち、白い点２ｂの移動量及び移動方向）を初期画像ｔ０における色毎の重心の平均座標と入力画像における色毎の重心の平均座標との差分ベクトルの長さと向きとして求める。撮影対象全体の動きの影響を排除するため、操作によって移動する量（ｕ、ｖ）、すなわち差分ベクトルを次式で算出する。
【００４８】
【数１】
【００４９】
ここで、初期画像ｔ０における球体２ａの重心座標を(xb0;yb0)、白色の点２ｂの中心の座標を(xw0;yw0)、入力画像ｔにおける球体２ａの重心座標を(xb;yb)、白色の点２ｂ’の中心の座標を(xw;yw)としている。
【００５０】
推定部３において選択された方向及び移動量については、推定された動き（空間的な位置関係の変化）として制御部４へ出力される。制御部４では、推定部３で推定された撮像部１と撮影対象との間の空間的位置関係の変化に合わせてメモリ６上の該当する表示情報を読み出し、表示部５に送出する。
【００５１】
上記では色の違いを用いた実施例について説明したが、単色で実施する場合は、撮影対象として面積の異なる複数の点を用いることで、相対的な大小関係から初期画像の特徴量との組み合わせを推定し、前記算出式に代入することで動き情報を算出できる。
【符号の説明】
【００５２】
１・・・撮像部、２・・・パッド部、２ａ・・・球体（撮影対象）、２ｂ、２ｂ’・・・点模様、２ｃ・・・底面、２ｄ・・・光学レンズ、３・・・推定部、４・・・制御部、５・・・表示部、６・・・メモリ、７・・・指、１０・・・情報端末装置、３１・・・特徴量抽出部、３２・・・動き推定部。
【特許請求の範囲】
【請求項１】
情報を表示する表示部を有する情報端末装置であって、
前記表示部に表示する情報を記憶するメモリと、
撮影対象を保持するパッド部と、
前記パッド部の撮影対象を撮影する撮像部と、
前記撮像部によって撮影された画像に基づいて、前記撮影対象の空間的位置関係の変化を推定する推定部と、
前記メモリから読み出して前記表示部に表示する情報を、前記推定部により推定された前記空間位置関係の変化に応じて制御する制御部とを具備し、
前記パッド部により保持される撮影対象が、その表面に模様が描かれた回動体であることを特徴とする情報端末装置。
【請求項２】
前記回動体は、球体、半球体または円柱状であることを特徴とする請求項１に記載の情報端末装置。
【請求項３】
前記模様は、異なる色の組合せ模様または異なる面積の組合せ模様であることを特徴とする請求項１または２に記載の情報端末装置。
【請求項４】
前記パッド部は、弾性体の上に前記撮影対象を保持することを特徴とする請求項１ないし３のいずれかに記載の情報端末装置。
【請求項５】
前記パッド部は、前記撮像部の撮影面に着脱可能であることを特徴とする請求項１ないし４のいずれかに記載の情報端末装置。
【請求項６】
前記パッド部は、前記撮像部が前記撮影対象を撮影できるように形成され、近接する撮影対象に焦点が合うようにその内部に光学レンズが配置されていることを特徴とする請求項１ないし５のいずれかに記載の情報端末装置。
【請求項７】
前記推定部は、前記撮像部により入力された画像から検出された特徴量を用いて、前記撮像部と前記撮影対象との間の空間的位置関係の変化を推定する機能を備えてなる請求項１ないし６のいずれかに記載の情報端末装置。
【請求項８】
前記推定部は、時間的に異なる複数画像から特徴量を算出し、それぞれの特徴量の時間的変化を評価することで、前記撮像部と前記撮影対象との間の空間的位置関係の変化を推定する機能を備えてなる請求項７に記載の情報端末装置。
【請求項９】
前記推定部は、入力画像を色毎に分離した上で領域を構成し、各領域の重心をもって前記特徴量とする機能を備えてなる請求項７に記載の情報端末装置。
【請求項１０】
前記制御部は、前記推定部で検出された空間的な動作に応じて、前記表示部に表示される内容が異なるように制御する機能を備えてなる請求項１ないし９のいずれかに記載の情報端末装置。
【請求項１１】
前記制御部は、前記表示部において画像を表示する場合に、前記推定部で得られた移動量及び移動方向に応じて画像の座標を移動させる機能を備えてなる請求項１０に記載の情報端末装置。
【請求項１】
情報を表示する表示部を有する情報端末装置であって、
前記表示部に表示する情報を記憶するメモリと、
撮影対象を保持するパッド部と、
前記パッド部の撮影対象を撮影する撮像部と、
前記撮像部によって撮影された画像に基づいて、前記撮影対象の空間的位置関係の変化を推定する推定部と、
前記メモリから読み出して前記表示部に表示する情報を、前記推定部により推定された前記空間位置関係の変化に応じて制御する制御部とを具備し、
前記パッド部により保持される撮影対象が、その表面に模様が描かれた回動体であることを特徴とする情報端末装置。
【請求項２】
前記回動体は、球体、半球体または円柱状であることを特徴とする請求項１に記載の情報端末装置。
【請求項３】
前記模様は、異なる色の組合せ模様または異なる面積の組合せ模様であることを特徴とする請求項１または２に記載の情報端末装置。
【請求項４】
前記パッド部は、弾性体の上に前記撮影対象を保持することを特徴とする請求項１ないし３のいずれかに記載の情報端末装置。
【請求項５】
前記パッド部は、前記撮像部の撮影面に着脱可能であることを特徴とする請求項１ないし４のいずれかに記載の情報端末装置。
【請求項６】
前記パッド部は、前記撮像部が前記撮影対象を撮影できるように形成され、近接する撮影対象に焦点が合うようにその内部に光学レンズが配置されていることを特徴とする請求項１ないし５のいずれかに記載の情報端末装置。
【請求項７】
前記推定部は、前記撮像部により入力された画像から検出された特徴量を用いて、前記撮像部と前記撮影対象との間の空間的位置関係の変化を推定する機能を備えてなる請求項１ないし６のいずれかに記載の情報端末装置。
【請求項８】
前記推定部は、時間的に異なる複数画像から特徴量を算出し、それぞれの特徴量の時間的変化を評価することで、前記撮像部と前記撮影対象との間の空間的位置関係の変化を推定する機能を備えてなる請求項７に記載の情報端末装置。
【請求項９】
前記推定部は、入力画像を色毎に分離した上で領域を構成し、各領域の重心をもって前記特徴量とする機能を備えてなる請求項７に記載の情報端末装置。
【請求項１０】
前記制御部は、前記推定部で検出された空間的な動作に応じて、前記表示部に表示される内容が異なるように制御する機能を備えてなる請求項１ないし９のいずれかに記載の情報端末装置。
【請求項１１】
前記制御部は、前記表示部において画像を表示する場合に、前記推定部で得られた移動量及び移動方向に応じて画像の座標を移動させる機能を備えてなる請求項１０に記載の情報端末装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１１−１５９２２７（Ｐ２０１１−１５９２２７Ａ）
【公開日】平成２３年８月１８日（２０１１．８．１８）
【国際特許分類】
【出願番号】特願２０１０−２２３６８（Ｐ２０１０−２２３６８）
【出願日】平成２２年２月３日（２０１０．２．３）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
【公開日】平成２３年８月１８日（２０１１．８．１８）
【国際特許分類】
【出願日】平成２２年２月３日（２０１０．２．３）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
[ Back to top ]