接触入力型の情報処理装置、接触入力型の情報処理方法、及び情報処理プログラム
【課題】本発明の目的は、接触体が接触することで情報が入力され処理される装置において、多重構造ではなく部品点数も少ない簡易な構成により、押圧の強さに応じて処理を決定する接触入力型の情報処理装置を提供することである。
【解決手段】接触入力型の情報処理装置１は、透明フレーム３を有する全体フレーム２により覆われている。前方の空間を覆っている透明フレーム３が前方向からユーザの体の一部により接触可能に構成される。液晶ディスプレイ４は、透明フレーム３を通してユーザが目視できる位置に配置されている。ＣＣＤカメラ７は、ユーザが接触可能な透明フレーム３の表面と反対側の表面から撮影を行える特定位置に配置されている。ＣＣＤカメラ７により撮影された画像から、ユーザの体の一部により透明フレーム３が押圧される押圧力が決定される。撮影された画像により決定された押圧力の強さに応じて処理が切り換えられる。
【解決手段】接触入力型の情報処理装置１は、透明フレーム３を有する全体フレーム２により覆われている。前方の空間を覆っている透明フレーム３が前方向からユーザの体の一部により接触可能に構成される。液晶ディスプレイ４は、透明フレーム３を通してユーザが目視できる位置に配置されている。ＣＣＤカメラ７は、ユーザが接触可能な透明フレーム３の表面と反対側の表面から撮影を行える特定位置に配置されている。ＣＣＤカメラ７により撮影された画像から、ユーザの体の一部により透明フレーム３が押圧される押圧力が決定される。撮影された画像により決定された押圧力の強さに応じて処理が切り換えられる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、接触体が接触することで情報を入力することが可能な情報処理装置、情報処理方法及び情報処理プログラムに関する。
【背景技術】
【０００２】
接触体が接触することで簡易に情報を入力し、処理を行う装置としてタッチパネルが様々な用途で幅広く用いられている。タッチパネルは、接触体がパネル上に表示されている表示情報を接触することで簡易に情報を入力することができる。特許文献１には、一般的なタッチパネルの製造に必要な構成が記載されている。タッチパネルは、表示面を目視することができるように透明樹脂フィルム及び透明ガラス板等から構成されている。そして、透明樹脂フィルム及び透明ガラス板が平行に重なって備えられている。透明樹脂フィルムと透明ガラス板とが対向するそれぞれの面には、透明電極が設けられている。また、透明電極間にスペーサーが設けられており、２つの電極間に隙間が設けられている。タッチパネルの表示部分に液晶表示パネルが使用される場合、入力の際にタッチパネルが弾性変形されるため液晶表示パネルも共に変形させられてしまう。そのため、液晶表示パネルの表示面が変形することにより表示が不鮮明となる。これを防止するために、上述した透明樹脂フィルムと透明ガラス板との２つの透明基材のうち、液晶表示パネル側に近い透明基材としてガラス板が一般的に用いられている。一方の透明基材は、ユーザが指で触れて情報を入力するために透明樹脂フィルムが用いられる。透明樹脂フィルムが指で触れられることで、透明樹脂フィルムと透明ガラス板との間に設けられている透明電極が弾性変形する。この変形により透明電極同士が接触することで、透明電極間に電流が流れる。透明電極間で電流が流れることで、タッチパネルから情報が入力される。上述したタッチパネルにより、ユーザが押圧したタッチパネル上の位置が決定される。決定された押圧位置に基づいて、情報が入力される。
【０００３】
特許文献２には、タッチパネルの操作性を向上させることを目的で、圧力検出部が備えられたタッチパネルが記載されている。圧力検出部は、タッチパネルの液晶表示パネルの表面部に設けられている。圧力検出部はタッチパネルに対する押圧力の大きさを検出する。特許文献２に記載されているタッチパネルは、タッチパネル上の接触位置と押圧力の大きさとに基づいて情報が入力される。例えば、タッチパネルに対する押圧力に応じて、液晶表示パネルの表示が切り替わることで、複数の情報からの選択及び情報の入力が可能となる。
【特許文献１】特開２００４−２５２６７６号公報
【特許文献２】特開２００６−３９７４５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、タッチパネルそのものを製造するために必要な部品点数が多く、タッチパネルの製造には複雑な構成が必要とされていた。押圧力の大きさを検出するタッチパネルを製造するためには、タッチパネルそのものを製造する部品に加え、押圧力を検出する部品が必要とされる。また、透明電極がガラス板に蒸着されたり、透明樹脂フィルムがタッチパネルに塗布されたりと複数の工程が必要とされる。
【０００５】
本発明は、上述した問題点を解決するためになされたものである。本発明の目的は、接触体が接触することで情報が入力され処理される装置において、多重構造ではなく部品点数も少ない簡易な構成により、押圧の強さに応じて処理を決定する接触入力型の情報処理装置を提供することである。
【課題を解決するための手段】
【０００６】
この目的を達成するために、請求項１に記載の発明は、接触体が接触するとともに押圧することが可能な透明部材と、前記透明部材を通してユーザが目視できる情報を表示する表示部と、接触体が接触可能な前記透明部材の表面と反対側の表面から、接触体と前記透明部材との接触部分の画像を撮影する位置に配置されている撮影ユニットと、前記撮影ユニットにより前記透明部材を介して撮影された画像を入力し、接触体が前記透明部材を押圧する強さに応じて変化する前記接触部分の大きさを決定する画像処理部と、前記画像処理部により決定された接触部分の大きさに基づいて、実行すべき処理を決定する処理制御部と、を備えたことを特徴としている。
【０００７】
請求項２に記載の発明は、ユーザの体の一部が接触するとともに押圧することが可能な透明部材と、前記透明部材を通してユーザが目視できる情報を表示する表示部と、ユーザの体の一部が接触可能な前記透明部材の表面と反対側の表面から、ユーザの体の一部と前記透明部材との接触部分の画像を撮影する位置に配置されている撮影ユニットと、前記撮影ユニットにより前記透明部材を介して撮影された画像を入力し、ユーザの体の一部が前記透明部材を押圧する強さに応じて変化する前記接触部分の大きさを決定する画像処理部と、前記画像処理部により決定された接触部分の大きさに基づいて、実行すべき処理を決定する処理制御部と、を備えたことを特徴としている。
【０００８】
請求項３に記載の発明は、前記処理制御部は、前記接触部分の大きさに基づいて、前記表示部により表示される情報を切り替える処理を決定することを特徴としている。
【０００９】
請求項４に記載の発明は、前記処理制御部は、複数の異なる選択内容に切り替えられる選択項目を前記表示部に表示させ、前記接触部分の大きさに基づいて選択項目の選択内容を切り替える処理を決定することを特徴としている。
【００１０】
請求項５に記載の発明は、前記画像処理部が、前記撮影ユニットにより前記透明部材を介して撮影された画像を入力して、前記透明部材上での前記接触部分の接触位置を決定し、前記処理制御部は、前記接触位置に基づいて、前記処理制御部が前記表示部により表示される複数の情報の中から所望の情報を選択し、前記接触部分の大きさに基づいて、その選択された情報を切り替える処理を決定することを特徴としている。
【００１１】
請求項６に記載の発明は、前記表示部が、前記選択項目を複数表示し、前記画像処理部が、前記撮影ユニットにより前記透明部材を介して撮影された画像を入力して、前記透明部材上での前記接触部分の接触位置を決定し、前記画像処理部により決定される接触位置と前記選択項目が表示されている透明部材上での表示位置とを比較し、両位置が一致するか否かを判別する位置判別部を備え、前記位置判別部が前記接触位置と前記選択項目の表示位置とが一致したと判別した場合、前記処理制御部は、前記接触部分の大きさに基づいて、前記両位置が一致した選択項目の選択内容を切り替える処理を決定することを特徴としている。
【００１２】
請求項７に記載の発明は、前記表示部が、複数の選択項目を表示可能であり、前記処理制御部が、前記接触部分の大きさに基づいて前記複数の選択項目のスクロールさせて前記表示部に表示させるスクロールの速度を決定することを特徴としている。
【００１３】
請求項８に記載の発明は、複数の異なる所定の面積の大きさを記憶した面積記憶部を備え、前記画像処理部は、前記接触面積の大きさが前記複数の異なる所定の面積の大きさのいずれかに達したか否かを判別するための面積判別部と、前記接触面積の大きさが前記複数の異なる所定の面積の大きさのいずれかに達した時からの経過時間を測定するための時間測定部と、前記時間測定部により測定された前記経過時間が所定の時間に達するまでの間、前記接触面積の大きさがいずれかの所定の面積の大きさに維持されているか否かを判定する接触面積維持判定部とを備え、前記接触面積維持判定部により前記接触面積の大きさがいずれかの所定の面積の大きさに維持されていると判定された場合、前記画像処理部がその判定された接触面積の大きさを最終的な接触面積の大きさと決定することを特徴としている。
【００１４】
請求項９に記載の発明は、前記画像処理部により決定される接触部分の大きさが第１の所定の大きさにある場合、前記処理制御部は前記表示部により表示される情報を切り替える処理を決定し、前記画像処理部により決定される接触部分の大きさが第２の所定の大きさにある場合、前記処理制御部は前記表示部により表示される情報に対応する処理を確定する処理を決定することを特徴としている。
【００１５】
請求項１０に記載の発明は、前記透明部材はプラスチックにより作られていることを特徴としている。
【００１６】
請求項１１に記載の発明は、前記透明部材が曲面を有することを特徴としている。
【００１７】
請求項１２に記載の発明は、ユーザの体の一部が接触するとともに押圧することが可能な透明部材を通してユーザが目視できる情報を表示する表示ステップと、ユーザの体の一部が接触可能な前記透明部材の表面と反対側の表面から、ユーザの体の一部と前記透明部材との接触部分の画像を撮影する撮影ステップと、前記撮影された画像を入力して、ユーザの体の一部が前記透明部材を押圧する強さに応じて変化する前記接触部分の大きさを決定する大きさ決定ステップと、前記決定された接触部分の大きさに基づいて、実行すべき処理を決定する処理決定ステップと、を備えたことを特徴とする接触入力型の情報処理方法について記載されている。
【００１８】
請求項１３に記載の発明は、ユーザの体の一部が接触するとともに押圧することが可能な透明部材を通してユーザが目視できる情報を表示する表示ステップと、ユーザの体の一部が接触可能な前記透明部材の表面と反対側の表面から、ユーザの体の一部と前記透明部材との接触部分の画像を撮影する撮影ステップと、前記撮影された画像を入力して、ユーザの体の一部が前記透明部材を押圧する強さに応じて変化する前記接触部分の大きさを決定する大きさ決定ステップと、前記決定された接触面積の大きさに基づいて、実行すべき処理を決定する処理決定ステップと、をコンピュータに実行させる情報処理プログラムについて記載されている。
【発明の効果】
【００１９】
請求項１記載の発明によれば、透明部材が接触体により接触される際、透明部材が押圧される押圧力の強さとして接触部分の大きさが撮影ユニットにより撮影された画像から決定される。押圧力の強さが撮影ユニットにより撮影された画像により決定される構成であるため、タッチパネルでは必要だった透明電極や透明樹脂フィルム、押圧力検出部が不要になる。そのため、接触を検出するための構成が多重構造でなく簡易になる。また、接触体が接触可能な透明部材の表面と反対側の表面から画像を撮影する位置に撮影ユニットが配置されている構成である。つまり、透明部材と接触体との接触部分を撮影する際に、接触体自体により接触部分が隠されることはなく、その撮影が妨げられることがないので、正確に接触部分を撮影することが可能となる。そのため、接触体と透明部材との接触の有無及び接触部分の大きさが精度よく決定される。
【００２０】
請求項２記載の発明によれば、透明部材がユーザの体の一部により接触される際、透明部材が押圧される押圧力の強さとして接触部分の大きさが撮影ユニットにより撮影された画像から決定される。押圧力の強さが撮影ユニットにより撮影された画像により決定される構成であるため、タッチパネルでは必要だった透明電極や透明樹脂フィルム、押圧力検出部が不要になる。そのため、接触を検出するための構成が多重構造でなく簡易になる。また、ユーザが接触可能な透明部材の表面と反対側の表面から画像を撮影する位置に撮影ユニットが配置されている構成である。つまり、透明部材とユーザの体の一部との接触部分、例えば透明部材とユーザの指先との接触部分がユーザの手全体により隠されることはなく、その接触部分の撮影がユーザの体により妨げられることがないので、正確に接触部分を撮影することが可能となる。そのため、ユーザの体の一部と透明部材との接触の有無及び接触部分の大きさが精度よく決定される。
【００２１】
請求項３記載の発明のよれば、接触部分の大きさに基づいて表示部により表示される情報が切り替えられる処理が決定される。ユーザは、表示部により表示されている情報を見ながら、接触部分の大きさを変えることで所望の情報を選択することができる。この結果、ユーザは透明部材の押圧力の強さに応じて多様な情報を簡単な操作で選択することが可能となる。
【００２２】
請求項４記載の発明では、複数の選択内容に切り替えられる選択項目が表示部により表示される。接触部分の大きさに基づいて選択項目の選択内容が切り替換えられることで、ユーザは、表示されている選択項目について簡単な操作で異なる選択内容に切り替えることが可能になる。
【００２３】
請求項５記載の発明では、透明部材上の接触位置が撮影ユニットにより撮影された画像から決定される。前記画像処理部により決定された透明部材上の接触位置に基づいて、表示部により表示されている複数の情報の中の所望の情報が選択される。また、接触部分の大きさに基づいて、その選択された情報が切り替えられる処理が決定される。この結果、ユーザは、接触位置と接触部分の大きさとにより、多様な情報の選択及びその選択された情報の切り替えを１つの操作で行うことが可能となり、操作性が向上する。
【００２４】
請求項６に記載の発明では、前記透明部材上の選択項目の表示位置と接触位置とが一致した選択項目の選択内容が接触部分の大きさに基づいて切り替えられる。前記表示部により表示される複数の選択項目の中で、ユーザは、希望する選択項目についてのみ、接触部分の大きさに基づいて選択内容を切り替えることができる。この結果、ユーザは、選択項目の選択とその選択内容の切り替えとを１つの操作で行うことが可能となり、操作性が向上する。
【００２５】
請求項７記載の発明では、表示部により表示されている複数の選択項目が接触部分の大きさに基づいてスクロールされる速度が決定される。接触部分の大きさに基づいて複数の選択項目がスクロールされる速度が決定されることで、一画面で表示しきれない程の複数の選択項目が存在する場合、接触部分の大きさに基づいてスクロールの速度が変化するため、複数の選択項目からの情報選択を１つの操作で迅速に行うことが可能になる。
【００２６】
請求項８記載の発明では、所定の時間の間、接触面積の大きさが所定の面積の大きさに維持されたと判定された場合、前記画像処理部がその判定された接触面積の大きさを最終的な接触面積の大きさと決定する。この結果、ユーザによる押圧力の変動に起因して誤った処理が実行されることを防止することができ、精度よく情報の選択や切り替えなどの処理を決定することが可能になる。
【００２７】
請求項９記載の発明では、接触部分の大きさに基づいて、処理制御部が表示部により表示される情報を切り替える処理の決定と、表示部により表示される情報に対応する処理内容を確定する処理の決定とが行われる。接触部分の大きさのみに基づいて、情報の切り替えと処理内容の確定とが行われるので、ユーザは、情報の切り替え及び処理内容の確定という２つの異なる処理を、１種類の入力操作により行うことが可能になる。
【００２８】
請求項１０記載の発明では、本発明の構成では透明電極が不要なため、これまでタッチパネルの製造で使用することが困難だったプラスチックにより製造が可能となる。この結果、安価な素材で容易に様々な形状のパネルの製造が可能となる。
【００２９】
請求項１１記載の発明では、一般的なタッチパネルで幅広く用いられている平面に限定されることなく曲面の形状も可能となるため、接触入力型の情報処理装置の用途やデザインに適した形状に容易に変更することが可能である。
【００３０】
請求項１２及び請求項１３に記載の発明では、撮影ステップにおいて透明部材上の透明部材がユーザの体の一部により接触される際、透明部材がユーザの体の一部により押圧される押圧力が撮影ステップにより撮影された画像から接触部分の大きさとして決定される。そのため、タッチパネルでは必要だった透明電極や透明樹脂フィルム、押圧力検出部が不要になる。タッチパネルの製造に必要だった透明電極の蒸着や透明樹脂フィルムの塗布といった作業工程が不要となり、押圧力を検出するための構成が多重構造でなく簡易になる。また、ユーザが接触可能な透明部材の表面と反対側の表面から画像が撮影される。つまり、透明部材とユーザの体の一部との接触部分をユーザの体により妨げられることなく、正確に接触部分を撮影することが可能となる。そのため、ユーザの体の一部と透明部材との接触の有無及び接触部分の大きさが精度よく決定される。
【発明を実施するための最良の形態】
【００３１】
［第１の実施形態］
以下、動画再生機能を有する情報処理装置に本発明を適用した第１の実施形態について図面を参照して説明する。第１の実施形態では、動画を選択するための選択項目が表示部により表示される。選択可能な複数の動画の種類が、表示部により選択項目として表示される。表示された選択項目がユーザの体の一部により接触される。ユーザにより接触された押圧力及び接触位置に基づいて表示部の選択項目の表示が切り替わることで、ユーザが好みの動画を選択し、再生することができる。
【００３２】
図１及び図２は本発明を適用した第１の実施形態の情報処理装置の概念的構成を示す。図１は第１の実施形態の側面図、図２は正面図である。第１の実施形態の接触入力型の情報処理装置１では、図１に示す矢印の方向をそれぞれ上方向、下方向、前方向、後方向とする。また、図２に示す矢印の方向をそれぞれ右方向、逆を左方向と定義する。
【００３３】
＜第１の実施形態の外観的構成＞
図１に示されるように第１の実施形態の接触入力型の情報処理装置１は、透明フレーム３を有する全体フレーム２により覆われている。全体フレーム２の内部には２つの空間が形成されている。図１における前方の空間を覆っている透明フレーム３が前方向からユーザの体の一部により接触可能に構成される。後方の空間には、液晶ディスプレイ４、ＣＰＵ５、メモリ６、カラー画像の撮影が可能なＣＣＤカメラ７、ＨＤＤ８が備えられている。全体フレーム２の下方には、全体フレーム２を支持するための支持スタンド９、音声出力装置１０が備えられている。
【００３４】
（透明部材の構成）
透明フレーム３は透明なプラスチックを材料にして作られている。ユーザに対して凸の曲面の形状をしている。一方、後方の空間を覆っている全体フレーム２の材料はプラスチックで作られているが、特に限定されない。透明フレーム３は本発明の透明部材の一例である。
【００３５】
（表示部の構成）
液晶ディスプレイ４は、透明フレーム３を通してユーザが目視できる位置に配置されている。液晶ディスプレイ４は、表示情報に従ってユーザに情報を表示する。液晶ディスプレイ４は本発明の表示部の一例である。
【００３６】
（撮影ユニットの構成）
ＣＣＤカメラ７は、ユーザが接触可能な透明フレーム３の領域全てが撮影可能な位置に配置される。また、ＣＣＤカメラ７は、ユーザが接触可能な透明フレーム３の表面と反対側の表面の方向から撮影を行える特定位置に配置されている。そのため、透明フレーム３とユーザの体の一部との接触部分がユーザの体により妨げられることなく、正確に接触部分の接触面積が撮影される。ＣＣＤカメラ７が上記特定位置に配置されることで、１台のＣＣＤカメラ７により透明フレーム３とユーザの体の一部とが接触しているか否かの決定が可能となる。そのため、複数のカメラを用意する必要がない。図１に示すように、透明フレーム３と液晶ディスプレイ４との間に、所定の大きさの空間が形成されている。透明フレーム３と液晶ディスプレイ４との間に所定の大きさの空間が形成されることで、上記特定位置に配置されている１台のＣＣＤカメラ７により、ユーザが接触可能な透明フレーム３の領域が撮影可能となる。ＣＣＤカメラ７は本発明の撮影ユニットの一例である。
【００３７】
＜第１の実施形態の電気的構成＞
図３は、第１の実施形態の接触入力型の情報処理装置１の電気的構成を示すブロック図である。図３に示すように、第１の実施形態の接触入力型の情報処理装置１には、接触入力型情報処理装置１を制御するＣＰＵ５が設けられている。ＣＰＵ５には、液晶ディスプレイ４と、メモリ６と、ＣＣＤカメラ７と、ＨＤＤ８と、音声出力装置１０とがそれぞれ電気的に接続されている。ＣＰＵ５は、メモリ６及びＨＤＤ８と共に、第１の実施形態の情報処理装置１の動作を制御処理するコンピュータを構成している。ＣＰＵ５とメモリ６とＨＤＤ８とからなるコンピュータは、本発明の処理制御部と、位置判別部と、面積判別部と、時間測定部と、面積維持判定部との一例である。音声出力装置１０は、接触入力型の情報処理装置１により再生される動画の音声を出力する。
【００３８】
（メモリの構成）
図４は、メモリ６の記憶内容の詳細を示す。メモリ６は、公知のＲＡＭから構成され、ＣＣＤカメラ７により撮影された撮影画像データ１１を記憶する領域を備える。メモリ６は、接触位置の候補の接触面積１２と、入力位置データ１４と、一時保存データ１９とを記憶する領域を備える。
【００３９】
メモリ６は入力位置データ１４として、ＣＰＵにより決定された接触位置の最終的な入力位置１５と、入力位置の最終接触面積１６と、押圧力１７と、接触選択項目１８とを記憶する。押圧力１７は入力位置の最終接触面積１６の大きさに基づいて決定される。接触選択項目１８は、入力位置１５に基づいて決定される。ＣＰＵ５により新たに上記に示す最終的な入力位置が決定される場合、メモリ６はこれまで記憶していた入力位置データ１４を一時保存データ１９として記憶するための一時保存記憶領域を備える。一時保存データ１９として、前回ＣＰＵ５により決定された最終的な入力位置２０と、最終接触面積２１と、押圧力２２と、接触選択項目２３とが記憶される。
【００４０】
（ＨＤＤの構成）
図５は、ＨＤＤ８の記憶内容の詳細を示す。ＨＤＤ８は、プログラム３１と、色情報３２と、表示情報３３と、接触部分の大きさ情報３４と、表示位置情報３５と、動画情報３６と、押圧力決定情報４４とを記憶している。プログラム３１は、接触入力型の情報処理装置１を制御するためのプログラムである。色情報３２は、接触部分の候補であるかどうかを判定するための情報である。表示情報３３は、液晶ディスプレイ４に映像などの情報を表示させることを指令する情報である。接触部分の大きさ情報３４は、接触部分の面積が所定の大きさであるかを判断するための情報である。表示位置情報３５は、液晶ディスプレイ４により表示されている選択項目が透明フレーム３上に位置する選択項目の表示位置の情報である。動画情報は３６は、ユーザからの入力により第１の実施形態の接触入力型の情報処理装置１で再生される動画ファイルに関する情報である。押圧力決定情報４４は、接触部分の大きさに基づいて、押圧力を決定するための情報である。第１の実施形態では、接触部分の大きさとしての接触面積の大きさに基づいて、押圧力が決定される。接触部分の大きさ情報３４を記憶するＨＤＤ８の記憶領域は、面積記憶部の一例である。
【００４１】
ＨＤＤ８は、プログラム３１として、図６に示すメインプログラム３７と、図７に示すサブタスクプログラム３８とを記憶している。メインプログラム３７は、第１の実施形態の接触入力型の情報処理装置を制御するためのプログラムである。サブタスクプログラム３８は、ＣＣＤカメラ７により撮影された撮影画像データに対して画像処理を行い、押圧力及び接触部分の検出を行うためのプログラムである。また、サブタスクプログラム３８は決定された押圧力及び接触部分に関する情報をメモリ６に記憶させるためのプログラムでもある。ＨＤＤ８に記憶されているサブタスクプログラム３８は、本発明の画像処理部の一例である。
【００４２】
ＨＤＤ８は、色情報３２として、接触部分色情報３９を記憶している。接触部分色情報３９は、接触部分の候補であるかを判定するための判定基準となる色情報である。
【００４３】
ＨＤＤ８は、液晶ディスプレイ４に情報を表示させるための表示情報３３として、メインメニュー表示情報４０を記憶している。図８は、メインメニューが表示された状態を示しており、メインメニューはメインメニュー表示情報４０により表示される情報の一例を示している。第１の実施形態では、液晶ディスプレイ４は、メインメニュー中の各情報を表示するための表示領域として、動画表示情報表示部５１〜５５と動画再生部５６とを有している。図８に示すメインメニューにより、ユーザが所望する動画が選択される。
【００４４】
ＨＤＤ８は、第１の実施形態の情報処理装置１で動画を再生させるための動画情報３６として、動画タイトル名情報４１と、動画表示情報４２と、動画再生情報４３とを記憶している。動画タイトル名情報４１は、ＨＤＤ８に記憶されているそれぞれの動画ファイルに割り当てられたタイトル名である。動画表示情報４２は、ＨＤＤ８に記憶されている複数の動画ファイルを表す表示情報である。動画表示情報４２の各表示情報に従って、動画表示情報表示部５１〜５５はメインメニューの各情報を表示する。動画再生情報４３は、第１の実施形態の情報処理装置で動画を再生させるための情報である。動画再生情報４３は、液晶ディスプレイ４に出力する表示情報と音声出力装置１０の出力する音声情報とから構成される。動画再生情報４３に従って、動画再生部５６は動画を表示し、音声出力装置１０は音声を出力する。第１の実施形態では、動画表示情報表示部５１は「サスペンス」に関する情報を、動画表示情報表示部５２は「ミステリー」に関する情報を、動画表示情報表示部５３は「ＳＦ」に関する情報を、動画表示情報表示部５４は「アクション」に関する情報を、動画表示情報表示部５５は「その他」の情報を表示するように構成されている。
【００４５】
図９は、接触選択項目と押圧力の大きさとに対応する動画タイトル名情報４１と動画表示情報４２と動画再生情報４３とがＨＤＤ８に記憶されている記憶状態を示す概念図である。「押圧力：１」は、押圧力が「１」と決定されたこを表している。押圧力に対応する動画タイトル名情報４１と動画表示情報４２と動画再生情報４３とが、図９に示すようにＨＤＤ８に記憶されている。例えば、接触選択項目が「３」、押圧力の大きさが「２」である場合、図９に示す対応テーブルに従って、接触選択項目「３」と押圧力の大きさ「２」とに対応する動画タイトル名情報である「ＳＦ＿Ｂ」の動画が決定される。
【００４６】
図１０は、接触面積の大きさと押圧力決定情報４４とがＨＤＤ８に記憶されている記憶状態を示す概念図である。第１の実施形態は、接触部分の大きさとして接触面積が用いられている。図１０に示す表により、接触面積の大きさに基づいて押圧力が決定される。第１の実施形態では、接触部分における画素数が、接触部分の接触面積と決定される。接触面積の大きさが、０画素から９９画素の場合、押圧力の大きさが「０」と決定される。接触面積の大きさが、１００画素から１９９９画素の場合、押圧力の大きさが「１」と決定される。接触面積の大きさが、２０００画素から３９９９画素の場合、押圧力の大きさが「２」と決定される。接触面積の大きさが、４０００画素以上の場合、押圧力の大きさが「３」と決定される。
【００４７】
＜第１の実施形態のメイン動作の説明＞
以上説明した構成からなる第１の実施形態の情報処理装置１の動作及び作用について、添付図面を参照して説明する。図６は、情報処理装置１におけるメイン動作の処理手順を示すフローチャートである。メイン動作は、接触入力型の情報処理装置に電源が供給され、ＣＰＵ５がメインプログラム３７を実行することにより、遂行される。以下に示す処理は全てＣＰＵ５により処理される。
【００４８】
第１の実施形態の接触入力型の情報処理装置１では、最初にステップＳ１０１で本装置の電源がユーザによりＯＮされたかが判定される。電源スイッチがＯＮにされたと判定されるまで、ステップＳ１０１が繰り返される。電源スイッチがＯＮにされたと判定されると、ステップＳ１０２が実行される。電源スイッチはハードウェアを用いたスイッチであっても、ソフトウェアにより動作されるソフト電源スイッチであっても良い。
【００４９】
ステップＳ１０２では、図７に示すサブタスクプログラム３８が、ＨＤＤ８から読み出され、実行される。サブタスクプログラム３８の説明は図７を用いて後述する。サブタスクプログラム３８により、入力位置データ１４として入力位置１５、最終接触面積１６、押圧力１７、接触選択項目１８が決定される。入力位置データ１４が決定された後に、メモリ６がこれまで一時記憶していた入力位置データ１４は、一時保存データ１９としてメモリ６に記憶される。その後、決定された入力位置データ１４は、メモリ６に一時記憶される。サブタスクプログラム３８は、第１の実施形態では、ステップＳ１０２で起動された後、１００ｍｓｅｃごとにメインプログラム３７とは独立して起動される。
【００５０】
ステップＳ１０３では、入力位置データ１４としての初期値がメモリ６に記憶される。第１の実施形態では、初期値として最終接触面積１６と押圧力１７とが「０」の値に、入力位置１５と入力位置１５に基づいて決定される選択項目位置１８とがＮＵＬＬに設定されてメモリ６により記憶される。また、フレームフラグがＯＦＦにされる。
【００５１】
ステップＳ１０４では、ＨＤＤ８からメインメニュー情報４０が読み出される。液晶ディスプレイ４はＨＤＤ８から読み出されたメインメニュー情報４０に従って情報を表示する。液晶ディスプレイ４は、メインメニュー情報４０に従って図８に示すメインメニューを表示する。それぞれ異なる種類の動画ファイルの動画表示情報４２に従って、動画表示情報表示部５１〜５５は情報を表示する。その後、タイマーのカウントがスタートされる。ステップＳ１０４は、表示ステップの一例である。
【００５２】
「サスペンス」に関する動画表示情報４２がＨＤＤ８から読み出されて、動画表示情報表示部５１に出力される。同様に、「ミステリー」に関する動画表示情報４２が動画表示情報表示部５２に、「ＳＦ」に関する動画表示情報４２が動画表示情報表示部５３に、「アクション」に関する動画表示情報４２が動画表示情報表示部５４に、「その他」に関する動画表示情報４２が動画表示情報表示部５５にそれぞれ出力される。動画表示情報表示部５１〜５５により表示される情報は、押圧力に基づいて切り替えられる。
【００５３】
ユーザが、押圧力に基づいて動画表示情報表示部５１〜５５により表示される情報を切り替えることにより、動画再生情報がＨＤＤ８から読み出され、決定される。ＨＤＤ８から読み出された動画再生情報４３の表示情報が動画再生部５６に、動画再生情報４３の音声情報が音声出力部１０にそれぞれ出力され、動画が再生される。
【００５４】
ステップＳ１０５では、入力位置データ１４として記憶されている押圧力がメモリ６から読み出される。
【００５５】
ステップＳ１０６では押圧力が「０」であるかが判定される。「０」であると判定された場合、ステップＳ１１５が実行される。押圧力が「０」でないと判定された場合、ステップＳ１０７が実行される。
【００５６】
ステップＳ１０７では、入力位置データ１４として記憶されている入力位置１５がメモリ６から読み出される。入力位置１５は、透明フレーム３上における座標位置として決定される。図１１は、透明フレーム３上の座標位置の一例を示す。図１１に示すように透明フレーム３上におけるＸ軸、Ｙ軸の座標位置が、入力位置１５として決定される。第１の実施形態では、ＣＣＤカメラ７が撮影した画像の最も左下の画素の位置を原点としている。この原点を基準として、１画素ごとに１座標値が定められる。以下、説明の便宜上、ステップＳ１０７で接触部分の入力位置１５が座標位置（１２０、５４０）であり、その座標位置の入力位置１５がメモリ６から読み出されたとして説明する。
【００５７】
ステップＳ１０８では、ステップＳ１０７で読み出された接触部分の入力位置１５と、透明フレーム３上での選択項目の表示位置との比較が行われる。図１１を参照して、詳細に説明する。ステップＳ１０７で入力位置１５の座標位置（１２０、５４０）が読み出される。図１１で示すエリア１〜５の選択項目の表示位置を表す表示位置情報３５が、ＨＤＤ８から読み出される。エリア１の選択項目表示位置の座標として、Ｘ座標の値が２０以上２００以下、Ｙ座標の値が４０以上１４０以下であるといった表示位置情報３５が読み出される。また、エリア２の選択項目表示位置の座標値として、Ｘ座標の値が２２０以上４００以下、Ｙ座標の値が４０以上１４０以下であるといった表示位置情報３５がＨＤＤ８から読み出される。エリア３の選択項目表示位置の座標値として、Ｘ座標の値が４２０以上６００以下、Ｙ座標の値が４０以上１４０以下であるといった表示位置情報３５がＨＤＤ８から読み出される。エリア４の選択項目表示位置の座標値として、Ｘ座標の値が４２０以上６００以下、Ｙ座標の値が１６０以上２６０以下であるといった表示位置情報３５がＨＤＤ８から読み出される。エリア５の選択項目表示位置の座標値として、Ｘ座標の値が４２０以上６００以下、Ｙ座標の値が２８０以上３８０以下であるといった表示位置情報３５がＨＤＤ８から読み出される。接触部分の入力位置１５と表示位置情報３５とが比較されることにより、入力位置１５がエリア３と一致していると決定される。決定されたエリア３が、メモリ６の接触選択項目１８として一時記憶される。エリア１からエリア５のうちいずれか一つと入力位置１５とが一致したと決定された場合、ステップＳ１０９が実行される。一致しなかったと決定された場合、ステップＳ１０４へ戻り、メインメニューが再び表示される。ステップＳ１０８は、位置判別部の一例である。
【００５８】
ステップＳ１０９では、ステップＳ１０８で接触選択項目１８として決定されたエリア３の押圧力が、所定の押圧力に維持されているかが判定される。すなわち、ステップＳ１０９では、一時保存データ１９としてメモリ６に記憶されている接触選択項目２３と、入力位置データ１４としてメモリ６に記憶されている接触選択項目１８とが一致しているかが判定される。また、一時保存データ１９としてメモリ６に記憶されている押圧力２２と、入力位置データ１４としてメモリ６に記憶されている押圧力１７とが一致しているかも判定される。接触選択項目と押圧力との両方が一致していると判定された場合、ステップＳ１１２が実行される。接触選択項目と押圧力との両方が一致しなかった場合、ステップＳ１１０が実行される。
【００５９】
ステップＳ１１０では、所定の押圧力が維持されてないと判定されたため、これまで時間のカウントを行ってきたタイマーがリセットされる。その後、時間のカウントが再スタートされる。また、フレームフラグがＯＦＦにされる。
【００６０】
ステップＳ１１１では、ステップＳ１０５とステップＳ１０７とにおいて決定された押圧力と接触選択項目とに基づいて表示情報が決定される。図９は、動画情報３６についてのＨＤＤ８の記憶内容を示す概念図である。例えば、メモリ６に入力位置データ１４として記憶されている接触選択項目１８が「３」で、押圧力１７が「１」と記憶されている場合、動画タイトル名情報４１が「ＳＦ＿Ａ」、動画表示情報４２が「ＳＦ＿Ａ．ｊｐｇ」と決定される。ＨＤＤ８から動画タイトル名情報「ＳＦ＿Ａ」の動画表示情報「ＳＦ＿Ａ．ｊｐｇ」が読み出されて、液晶ディスプレイ４上の「ＳＦ」を表示する動画表示情報表示部５３に出力される。その後、ステップＳ１０５へ戻り、再びステップＳ１０５が実行される。
【００６１】
ステップＳ１１２では、ステップＳ１０４または、ステップＳ１１０からタイマーによりカウントされた時間が２秒以上であるかが判定される。つまり、所定の押圧力の大きさが、所定の接触選択項目に対して２秒間維持されたかが判定される。所定の押圧力が２秒以上維持されたと判定された場合、ステップＳ１１３が実行される。所定の押圧力の大きさが２秒以上維持されたと判定されなかった場合、ステップＳ１０５へ戻り、ステップＳ１０５が実行される。
【００６２】
ステップＳ１１３では、所定の押圧力の大きさが２秒以上維持されたため、フレームフラグがＯＮにされる。また、図８及び図１１に示す液晶ディスプレイ４により表示される動画表示情報表示部の輪郭が赤枠で表示される。動画表示情報表示部の輪郭が赤枠で表示されることで、ユーザの動画選択が確定されたことが表示される。例えば、液晶ディスプレイ４上の「ＳＦ」を表示する動画表示情報表示部５３により表示されている動画タイトル名情報が「ＳＦ＿Ａ」の動画が確定された場合、動画表示情報表示部５３の輪郭が赤枠で表示される。
【００６３】
ステップＳ１１４では、ステップＳ１１３で決定された処理が実行された後、ユーザにより電源スイッチがＯＦＦされたかが判定される。電源スイッチがＯＦＦにされなかった場合はステップＳ１０５へ戻り、ステップＳ１０５が実行される。電源スイッチがＯＦＦにされた場合は、ステップＳ１０１へ戻り、再びステップＳ１０１が実行される。
【００６４】
ステップＳ１０６で、押圧力が「０」であると判定された場合、ステップＳ１１５が実行される。ステップＳ１０６では、フレームフラグがＯＮにされているかが判定される。ステップＳ１１５でフレームフラグがＯＮにされていると判定された場合、ステップＳ１１６が実行される。ステップＳ１１５でフレームフラグがＯＦＦにされていると判定された場合、ステップＳ１０３へ戻り、初期値として最終接触面積１６と押圧力１７とが「０」に、入力位置１５と入力位置１５に基づいて決定される接触選択項目１８とがＮＵＬＬに設定されてメモリ６に記憶される。また、フレームフラグがＯＦＦにされる。
【００６５】
ステップＳ１１６では、表示情報に対応する処理が決定される。ステップＳ１１６は、液晶ディスプレイ４上の赤枠に囲まれた動画表示情報表示部により表示される選択項目がユーザにより確定されたことと、押圧力が所定の大きさに２秒間維持された後に「０」に変化したこととに基づいて実行される。第１の実施形態では、フレームフラグがＯＮにされ、押圧力が所定の大きさに２秒間維持された後に「０」に変化したことにより、情報の選択が最終的に決定されたと判定される。押圧力１７と接触選択項目１８とに基づいた動画再生情報４３がＨＤＤ８から読み出される処理が決定される。上述した動画再生情報４３がＨＤＤ８から読み出されて、動画再生部５６に表示情報が、音声出力装置１０に音声情報が出力されることで、動画が再生される。例えば、メモリ６に入力位置データ１４として記憶されている接触選択項目１８が接触選択項目「２」で、押圧力１７が「３」と記憶されている場合、第１の実施形態で再生される動画が図９に示す対応テーブルに従って「ｍｙｓｔｅｒｙ＿Ｃ」と決定される。ＨＤＤ８から「ｍｙｓｔｅｒｙ＿Ｃ」の動画再生情報が読み出されて、動画再生部５６と音声出力装置１０とにそれぞれ出力される。ステップＳ１１６は、処理決定ステップの一例である。
【００６６】
（サブタスク動作の説明）
図７は、サブタスクプログラム３８に従う接触部分の押圧力と入力位置とを決定する動作を示すフローチャートである。まず、ステップＳ２０１でＣＣＤカメラ７により透明フレーム３とユーザの体の一部との接触部分の撮影が開始される。サブタスクプログラム３８は１０ｍｓｅｃごとに実行される。そのため、撮影を行うタイミングは、第１の実施形態では、一定周期ごとである。ＣＣＤカメラ７により撮影されるごとに、撮影画像データがメモリ６に一時記憶される。ステップＳ２０１は、撮影ステップの一例である。
【００６７】
ステップＳ２０２では、透明フレーム３とユーザの体の一部との接触部分の検出を行うために、メモリ６に記憶されている撮影画像データ１１に対して画像処理が実行される。具体的には、メモリ６に記憶されている撮影画像データ１１が時系列で比較され、比較された撮影画像データ１１の差分が取られる。この差分以外の部分を除去することで背景の除去が可能となる。図１２は、接触部分を決定する画像処理の一例の概念図を示す。ある時刻Ｔに撮影された撮影画像データ６１と、ある時刻（Ｔ＋１０ｍｓｅｃ）に撮影された撮影画像データ６２との画像の差分が求められる。図１２に示される差分画像データ６３が求められる。ある時刻Ｔと時刻（Ｔ＋１０ｍｓｅｃ）との間で変化があった画素が決定される。そのため、現在動いていない物体（背景）の除去が可能となる。
【００６８】
ステップＳ２０３では、ステップＳ２０２の画像処理結果により接触部分がないと決定された場合、ステップＳ２１３へ進む。接触部分がありと決定された場合、ステップＳ２０４が実行される。
【００６９】
ステップＳ２０４では、ステップＳ２０３で接触部分がありと決定された場合、所定の色の接触部分が接触部分の入力位置を決定する判断対象から排除される。第１の実施形態では人間の指の色の一つである薄橙色以外の接触部分が、接触部分の入力位置を決定する判断対象から排除される。薄橙色を検出するために、ＣＣＤカメラ７が撮影した撮影画像データの全ての画素におけるＲＧＢの値と、ＨＤＤ８に記憶された接触部分色情報３９とが比較される。比較結果に基づき、画素の色が薄橙色であるかが決定される。薄橙色として識別されるＲＧＢの値の上限値及び下限値といった閾値が、あらかじめ接触部分色情報３９としてＨＤＤ８に記憶されている。画素のＲＧＢの値が、上限値と下限値とにより定まる範囲に該当するなら、薄橙色であると決定される。
【００７０】
ステップＳ２０５では、ステップＳ２０４が実行された結果、接触部分がないと決定された場合、ステップＳ２１３へ進む。接触部分がありと決定された場合、ステップＳ２０６が実行される。
【００７１】
ステップＳ２０６では、接触部分の形状に基づいて所定の形状の接触部分が接触部分の入力位置を決定する判断対象から排除される。第１の実施形態の接触入力型情報処理装置１では、ユーザの体の一部として指が想定される。そのため、指の接触部分の形状として考えられる円、楕円に類似した形状である接触部分以外が排除される。ＣＣＤカメラ７が撮影した画像に対して、ハフ変換が用いられる、ハフ変換により、第１の実施形態では図形の特徴が決定される。円及び楕円に類似した形状の接触部分が決定され、それ以外の形状の接触部分が排除される。また、接触部分の面積がＨＤＤ８に記憶されている接触部分の大きさ情報３４と比較される。接触部分の大きさとして決定される接触部分の面積の大きさの上限値及び下限値といった閾値が、あらかじめ接触部分の大きさ情報３４としてＨＤＤ８により記憶されている。接触部分の面積の大きさが上限値と下限値とにより定まる範囲に該当しない場合、その該当しない接触面積の大きさの接触部分は、入力位置を決定する判断対象から排除される。
【００７２】
ステップＳ２０７では、ステップＳ２０６が実行された結果、接触部分がないと決定された場合はステップＳ２１３へ進む。接触部分がありと決定された場合、ステップＳ２０８が実行される。
【００７３】
ステップＳ２０８では、ステップＳ２０７で接触部分がありと決定された場合、接触部分の面積が決定される。上述のステップＳ２０２からＳ２０７の処理で排除されなかった接触部分における画素数が、接触部分の接触面積と決定される。図１３は、接触面積の決定方法の一例の概念図を示す。第１の実施形態の接触入力型の情報処理装置１では、図１３に示す矢印の方向をそれぞれ上方向、下方向、右方向、左方向とする。ステップＳ２０７の実行後、撮影画像データ６４に関して、接触部分６５と接触部分６６とが決定されている。図１３における右部分に示された図は、接触部分６６の拡大図である。図１３に示す小さい１つの四角形が、１つの画素６７に相当する。また色の濃い画素６８はユーザにより接触された画素を示している。第１の実施形態では、接触部分の画素数が接触面積の大きさとされている。そのため、図１３の接触部分６６の接触面積は、ユーザにより接触された画素６８の画素数として決定される。決定された接触面積は、メモリ６の接触位置候補の接触面積１２として一時記憶される。決定された接触面積が最大である接触部分が、最終接触面積１６の接触部分として決定される。ステップＳ２０８は、大きさ決定ステップの一例である。
【００７４】
ステップＳ２０９では、ステップＳ２０８で決定された最終接触面積１６の大きさが所定の大きさ以上であるかが判定される。入力位置データ１４としてメモリ６により記憶されている最終接触面積１６と、ＨＤＤ８により記憶されている接触部分の大きさ情報３４とが比較される。最終接触面積１６が接触部分の大きさ情報３４以上の場合、ステップＳ２１０へ進む。最終接触面積１６が接触部分の大きさ情報３４より小さかった場合、ステップＳ２１３へ進む。
【００７５】
ステップＳ２１０では、接触面積が最大である接触部分の形状の中の１点の位置が、入力位置として決定される。接触部分の形状の中の１点の位置が入力位置とされることで、上記１点の位置に対応する処理のみをＣＰＵ５が決定すれば良い。そのため、容易に接触部分に対応する処理を決定することが可能となる。第１の実施形態では、図１４（ａ）（ｂ）（ｃ）に示すように、入力位置として接触部分の形状を包含し、且つ、前記接触部分と接する長方形または正方形の中心を入力位置としている。包含する正方形または長方形の中心とは、各辺の中点から引いた垂直二等分線の交点である。ＣＣＤカメラ７が撮影した画像の最も左下の画素の位置を原点としている。この原点を基準として、１画素ごとに１座標値が定められる。接触部分の入力位置は、上記中心の座標値として決定される。このようにして接触部分の最終接触面積と接触部分の入力位置とが決定される。
【００７６】
ステップＳ２１１では、入力位置データ１４としてメモリ６により記憶されている最終接触面積１６に基づいて押圧力１７が決定される。液晶ディスプレイ４として７．５インチの大きさの液晶ディスプレイを、ＣＣＤカメラ７として解像度が６４０×４８０、撮影範囲が１５３．６ｍｍ×１１５．２ｍｍのＣＣＤカメラを用いた例により、押圧力の決定方法の一例を説明する。上述したカメラでは、解像度が６４０×４８０、撮影範囲が１５３．６ｍｍ×１１５．２ｍｍである。そのため、１画素あたりの大きさが、約０．２４ｍｍ×０．２４ｍｍとなる。図１０に示す表により、接触面積の大きさに基づいて押圧力が決定される。接触面積の大きさが、０から９９画素の場合、つまり、５．７６ミリ平方メートルより小さい場合、押圧力の大きさが「０」と決定される。接触面積の大きさが、１００画素から１９９９画素、つまり、５．７６ミリ平方メートル以上１１５．２ミリ平方メートル未満の場合、押圧力の大きさが「１と決定される。接触面積の大きさが、２０００画素から３９９９画素の場合、つまり、１１５．２ミリ平方メートル以上２３０．４ミリ平方メートル未満の場合、押圧力の大きさが「２」と決定される。接触面積の大きさが、４０００画素以上、つまり、２３０．４ミリ平方メートル以上の場合、押圧力の大きさが「３」と決定される。ステップＳ２１１は、面積判別部の一例である。また、ステップＳ２１１とステップＳ１０８とステップＳ１０９とステップＳ１１２とは、面積維持判定部の一例である。
【００７７】
ステップＳ２１２では、入力位置データ１４としてメモリ６により記憶されている入力位置１５と最終接触面積１６と押圧力１７と接触選択項目１８とが、一時保存データ１９としてメモリ６により記憶される。上記ステップＳ２１１で決定された入力位置１５と、最終接触面積１６と、押圧力１７とが、入力位置データ１４として新たにメモリ６により記憶される。
【００７８】
ステップＳ２１４では、前回サブタスクを実行してから所定の時間が経過したかが判定される。所定の時間が経過したと判定されるまで、ステップＳ２１４が繰り返される。所定の時間が経過したと判定された場合、ステップＳ２０１へ戻る。
【００７９】
ステップＳ２１３では、ステップＳ２０３ステップＳ２０５及びステップＳ２０７で接触部分が残っていないと判定された場合、最終接触面積１６と押圧力１７とが「０」、入力位置１４と入力位置に基づいて決定される接触選択項目１８とがＮＵＬＬに設定されてメモリ６の記憶値が更新される。
【００８０】
［第２の実施形態］
以下、動画再生機能を有する情報処理装置に本発明を適用した第２の実施形態について図面を参照して説明する。第２の実施形態の外観的構成及び電気的構成は、第１の実施形態とほぼ同じ構成であるので、相違する部分についてのみ説明する。
【００８１】
（第２の実施形態メモリの構成）
図１５は、第２の実施形態におけるメモリ１０６の記憶内容の詳細を示す。メモリ１０６は、第１の実施形態と同様に公知のＲＡＭから構成される。メモリ１０６は、撮影画像データ１１１と、接触位置の候補の接触面積１１２と、入力位置データ１１４と、一時保存データ１１９と、選択中番号Ｎｘとを記憶する領域を備える。選択中番号Ｎｘは、ユーザにより現在選択されている動画ファイルの選択番号を表す情報である。
【００８２】
（第２の実施形態ＨＤＤの構成）
図１６は、第２の実施形態におけるＨＤＤ１０８の記憶内容の詳細を示す。ＨＤＤ１０８は、プログラム１３１と、色情報１３２と、表示情報１３３と、接触部分の大きさ情報１３４と、表示位置情報１３５と、動画情報１３６と、最大選択番号１３７と、押圧力決定情報１４７と、表示維持時間情報１４８とを記憶している。プログラム１３１は、接触入力型の情報処理装置１を制御するためのプログラムである。色情報１３２は、接触部分の候補であるかどうかを判定するための情報である。表示情報１３３は、液晶ディスプレイ４に映像などの情報を表示させることを指令する情報である。接触部分の大きさ情報１３４は、接触部分の面積が所定の大きさであるかを判断するための情報である。表示位置情報１３５は、液晶ディスプレイ４により表示されている選択項目が透明フレーム３上において位置する表示位置を表す情報である。動画情報１３６は、ユーザからの入力により第２の実施形態の情報処理装置１で再生される動画ファイルの情報である。最大選択番号１３７は、第２の実施形態の情報処理装置１で再生される動画の選択可能な総動画数を表している。押圧力決定情報１４７は、接触部分の大きさに基づいて、押圧力を決定するための情報である。表示維持時間情報１４８は、液晶ディスプレイ４の表示を維持する表示維持時間である。第２の実施形態では表示維持時間１４８として、所定の時間が記憶されている。第２の実施形態では、接触部分の大きさとして接触面積の大きさが用いられる。
【００８３】
ＨＤＤ１０８は、プログラム１３１として、処理決定プログラム１４０と表示切替プログラム１４１とを記憶している。処理決定プログラム１４０は、サブタスクプログラム１３９により決定された押圧力と接触位置とに基づいて、実行すべき処理を決定するプログラムである。表示切替プログラム１４１は、処理決定プログラム１４０により決定された処理として、液晶ディスプレイ４により表示される情報を切り替えるためのプログラムである。
【００８４】
図１７は、選択番号０〜８に対応する動画タイトル名情報１４４と動画表示情報１４５と動画再生情報１４６とがＨＤＤ１０８に記憶されている記憶状態を示す概念図である。図１７に示すように、各選択番号に対応する動画タイトル名情報１４４と動画表示情報１４５と動画再生情報１４６とが、ＨＤＤ１０８に記憶される。
【００８５】
＜第２の実施形態のメイン動作の説明＞
以上説明した構成からなる第２の実施形態の情報処理装置１の動作及び作用について、添付図面を参照して説明する。図１８は、本実施形態におけるメインプログラム１３８に従うメイン動作の処理手順を示すフローチャートである。
【００８６】
第２の実施形態では、第１の実施形態と同様にステップＳ３０１からステップＳ３０２までが実行される。
【００８７】
第２の実施形態の接触入力型の情報処理装置１では、最初にステップＳ３０１で本装置の電源がユーザによりＯＮされたかが判定される。電源スイッチがＯＮにされたと判定されるまで、ステップＳ３０１が繰り返される。電源スイッチがＯＮにされたと判定されると、ステップＳ３０２が実行される。電源スイッチはハードウェアを用いたスイッチであっても、ソフトウェアにより動作されるソフト電源スイッチであっても良い。
【００８８】
ステップＳ３０２では、図７に示すサブタスクプログラム３８と同じ内容のサブタスクプログラム１３９が、ＨＤＤ１０８から読み出され、実行される。サブタスクプログラム１３９により、入力位置データ１１４として入力位置１１５、最終接触面積１１６、押圧力１１７、接触選択項目１１８が決定される。入力位置データ１１４が決定された後に、メモリ１０６がこれまで一時記憶していた入力位置データ１１４は、一時保存データ１１９としてメモリ１０６に記憶される。その後、決定された入力位置データ１１４は、メモリ１０６に一時記憶される。サブタスクプログラム１３９は、第１の実施形態では、ステップＳ３０２で起動された後、１００ｍｓｅｃごとにメインプログラム１３８とは独立して起動される。
【００８９】
ステップＳ３０３では、第１の実施形態の情報処理装置１と同様に、入力位置データ１１４としての初期値がメモリ１０６に記憶される。フレームフラグがＯＦＦにされる。また、選択中番号Ｎｘの初期値として「０」がメモリ１０６に記憶される。
【００９０】
ステップＳ３０４では、ＨＤＤ１０８からメインメニュー表示情報１４３が読み出される。液晶ディスプレイ４はＨＤＤ１０８から読み出されたメインメニュー表示情報１４３に従って情報を表示する。液晶ディスプレイ４は、メインメニュー表示情報１４３に従って、図１９に示すメインメニューを２つの表示領域に表示する。２つの表示領域は、動画表示情報表示部７１と、入力部７２とである。動画表示情報１４５が動画表示情報表示部７１に出力される。入力部７２がユーザにより押圧されることで、動画表示情報表示部７１に表示される情報が切り替えられる処理と、動画表示情報表示部７１に表示される情報の切替を停止する処理（情報の確定処理）と、動画表示情報表示部７１に表示される情報に対応する処理を実行する処理とが切り替えられる。
【００９１】
第２の実施形態では、第１の実施形態と同様にステップＳ３０５からステップＳ３０８までが実行される。
【００９２】
ステップＳ３０５では、入力位置データ１１４として記憶されている押圧力がメモリ１０６から読み出される。
【００９３】
ステップＳ３０６では押圧力が「０」であるかが判定される。「０」であると判定された場合、ステップＳ３０５へ戻る。押圧力が「０」でないと判定された場合、ステップＳ３０７が実行される。
【００９４】
ステップＳ３０７では、入力位置データ１１４として記憶されている入力位置１１５がメモリ１０６から読み出される。入力位置１１５は、透明フレーム３上における座標位置として決定される。
【００９５】
ステップＳ３０８では、ステップＳ３０７で読み出された接触部分の入力位置１１５と、透明フレーム３上での選択項目の表示位置との比較が行われる。ステップＳ３０８により、入力部７２が接触されているかが決定される。
【００９６】
ステップＳ３０９では、ステップＳ３０５及びステップＳ３０７により決定された押圧力と入力位置とに基づいて実行される処理が決定され、決定された処理が実行される。ステップＳ３０９は処理決定ステップの一例である。
【００９７】
ステップＳ３１０では、第１の実施形態におけるステップＳ１１５と同様の処理が実行される。ユーザにより電源スイッチがＯＦＦされたかが判定される。電源スイッチがＯＦＦにされなかった場合はステップＳ３０４へ戻り、ステップＳ３０４が実行される。電源スイッチがＯＦＦにされた場合は、ステップＳ３０１へ戻り、ステップＳ３０１が実行される。
【００９８】
（サブタスク動作の説明）
第２の実施形態のサブタスクプログラム１３９の動作及び作用は、第１の実施形態のサブタスクプログラム３８と同じであるので、説明を省略する。
【００９９】
（処理決定動作の説明）
図２０は、処理決定プログラム１４０に従う処理決定動作の詳細を示すフローチャートである。まず、ステップＳ４０１で所定の第１範囲として、押圧力の大きさが「１」以上「２」未満であるかが判定される。第２の実施形態では、所定の範囲としているが、所定の値であっても良い。押圧力の大きさが「１」である場合、ステップＳ４０２が実行される。押圧力の大きさが所定の第１範囲でない場合、ステップＳ４０３が実行される。
【０１００】
ステップＳ４０２では、液晶ディスプレイ４の動画表示情報表示部７１により表示される情報が切り替えられる。表示切替プログラム１４１の詳細な説明は図２１を用いて後述する。
【０１０１】
ステップＳ４０３では、所定の第２範囲として、押圧力の大きさが「２」以上「３」未満であるかが判定される。第２の実施形態では、所定の範囲としているが、所定の値であっても良い。押圧力の大きさが「２」である場合、ステップＳ４０４が実行される。押圧力の大きさが所定の第２範囲でない場合、ステップＳ４０５が実行される。
【０１０２】
ステップＳ４０４では、液晶ディスプレイ４の動画表示情報表示部７１により表示される情報の表示切替が停止されることで、表示情報に対応する処理が確定される。すなわち、再生される動画が確定される。
【０１０３】
ステップＳ４０５では、液晶ディスプレイ４の動画表示情報表示部７１により表示される情報に対応する動画が再生される。ステップＳ３０６で押圧力の大きさが「０」でないと判定され、且つ、ステップＳ４０１で押圧力の大きさが所定の第１範囲でないと判定され、且つ、及びステップＳ４０３で押圧力の大きさが所定の第２範囲でないと判定された場合、ステップＳ４０５が実行される。つまり、第２の実施形態では、押圧力が「３」以上の場合、動画表示情報表示部７１に表示される情報に対応する処理が決定される。ユーザにより選択された動画に関する動画再生情報１４６が、ＨＤＤ８から読み出される。動画再生情報１４６に従って、動画再生部５６は動画を表示し、音声出力装置１０は音声を出力する。
【０１０４】
（表示切替動作の説明）
図２１は、表示切替プログラム１４１に従う処理決定動作の詳細を示すフローチャートである。ステップＳ５０１では、メモリ１０６により記憶された選択中番号Ｎｘの値が１つインクリメントされ、メモリ１０６に一時記憶される。
【０１０５】
ステップＳ５０２では、メモリ１０６により記憶されている選択中番号Ｎｘの値と、ＨＤＤ１０８により記憶されている最大選択番号１３７の値とが比較される。選択中番号Ｎｘの値が最大選択番号１３７の値以上である場合、ステップＳ５０３が実行される。選択中番号Ｎｘの値が最大選択番号１３７の値以上でない場合、ステップＳ５０４が実行される。図１７は、選択番号が割り当てられた各動画が、ＨＤＤ１０８に記憶されている記憶状態を示す概念図である。各選択番号「０」から「８」に対応する動画が、図１７に示すようにＨＤＤ１０８に記憶されている。ＨＤＤ１０８に記憶される最大選択番号１３７は、情報処理装置１で再生される動画の選択可能な総動画数であるため、第２の実施形態では、「９」と記憶されている。
【０１０６】
ステップＳ５０３では、選択中番号Ｎｘの値が最大選択番号１３７の値以上になったため、メモリ１０６の選択中番号Ｎｘの値が「０」と一時記憶される。
【０１０７】
ステップＳ５０４では、メモリ１０６に記憶されているＮｘの値に対応した動画ファイル表示情報が、液晶ディスプレイ４の表示情報表示部７１に出力される。選択中番号Ｎｘの値が「６」の場合、動画タイトル名情報１４４として「ａｃｔｉｏｎ＿Ａ」が、動画表示情報１４５として「ａｃｔｉｏｎ＿Ａ．ｊｐｇ」が選択される。「ａｃｔｉｏｎ＿Ａ」に対応する「ａｃｔｉｏｎ＿Ａ．ｊｐｇ」がＨＤＤ１０８から読み出され、液晶ディスプレイ４の動画表示情報表示部７１に出力される。もし、選択中番号Ｎｘの値が、ＨＤＤ１０８の最大選択番号１３７に記憶される「９」以上になった場合、ステップＳ５０３で、選択中番号Ｎｘとして「０」が一時記憶される。そのため、選択番号が「８」の動画表示情報の次に、動画表示情報表示部７１に表示される表示情報は、選択番号が「０」の動画表示情報と決定される。
【０１０８】
ステップＳ５０５では、ＨＤＤ１０８中の表示維持時間情報１４８により表わされる所定の時間が経過するまで、液晶ディスプレイ４の表示情報表示部７１により、「ａｃｔｉｏｎ＿ａ．ｊｐｇ」の情報が表示され続ける。ステップＳ５０５実行後、ステップＳ３１０に戻る。
【０１０９】
上記のステップＳ５０１からステップＳ５０５が繰り返し実行されることで、選択番号が「０」から「８」の順に、表示情報表示部７１により表示される情報が切り替えられる。
【０１１０】
（変形例１）
図２２は、第２の実施形態における図２１に示す表示切替プログラムの変形例１の処理手順を示すフローチャートである。変形例１では、メインメニュー表示情報に従って図２３に示すメインメニューが６つの表示領域に表示される。６つの表示領域は、動画表示情報表示部８１〜８５と、選択部８６とからなる。それぞれ異なる種類の動画ファイルの表示情報が動画表示情報表示部８１〜８５に出力される。選択部８６が押圧されることで、動画表示情報表示部８１〜８５の情報が切り替えられる。また、押圧力に基づいて、動画表示情報表示部８１〜８５の情報が切り替えられる速度として、図２４に示す表示維持時間が決定される。
【０１１１】
ステップＳ６０１では、図７に示すサブタスクプログラム１３９により決定された押圧力に基づいて、表示維持時間が決定される。図２４は、接触面積の大きさに対応する押圧力と、押圧力に対応する表示維持時間とが、ＨＤＤ１０８に記憶されている記憶状態を示す概念図である。図２４に示すように、接触面積の大きさ及び押圧力に対応する表示維持時間が、ＨＤＤ１０８の表示維持時間情報１４８として記憶される。図２４に示す表に基づいて、表示維持時間が決定される。例えば、接触面積の大きさが「１６００」の場合、押圧力が「１．８」と決定され、表示維持時間は「６００ｍｓｅｃ」と決定される。
【０１１２】
ステップＳ６０２では、ステップＳ６０１で表示維持時間が決定された後、時間のカウントがスタートされる。
【０１１３】
ステップＳ６０３では、ステップＳ６０２で時間のカウントがスタートされてから経過した時間が、ステップＳ６０１で決定された表示維持時間に達したかが判定される。タイマーによりカウントされた時間が、ステップＳ６０１で決定された表示維持時間に達していない場合、再びステップＳ６０３が繰り返される。タイマーによりカウントされた時間が、ステップＳ６０１で決定された表示維持時間に達した場合、ステップＳ６０４へ進む。ステップ６０１で表示維持時間が「６００ｍｓｅｃ」と決定された場合、タイマーが「６００ｍｓｅｃ」に達するまで、ステップＳ６０３が繰り返される。
【０１１４】
ステップＳ６０４では、メモリ１０６に記憶された選択中番号Ｎｘに記憶されている値が「１」インクリメントされ、メモリ１０６に一時記憶される。
【０１１５】
ステップＳ６０５では、メモリ１０６に記憶されている選択中番号Ｎｘの値と、ＨＤＤ１０８に記憶されている最大選択番号１３７の値とが比較される。選択中番号Ｎｘの値が最大選択番号１３７の値以上であった場合、ステップＳ６０６へ進む。選択中番号Ｎｘの値が最大選択番号１３７の値より小さい場合、ステップＳ６０７へ進む。
【０１１６】
ステップＳ６０６では、選択中番号Ｎｘの値が最大選択番号１３７の値以上であると判定されたため、メモリ１０６の選択中番号Ｎｘの値が「０」と一時記憶される。
【０１１７】
ステップＳ６０７では、動画表示情報表示部８１〜８５に表示される動画表示情報１４５が決定される。メモリ１０６により記憶される選択中番号Ｎｘの値に対応する動画表示情報１４５が、ＨＤＤ１０８から読み出される。ＨＤＤ１０８から読み出された動画表示情報１４５は、液晶ディスプレイ４の動画表示情報表示部に出力される。例えば、選択中番号Ｎｘの値が「０」である場合、選択番号が「０」に対応する動画表示情報である「ｓｕｓｐｅｎｃｅ＿Ａ．ｊｐｇ」が、ＨＤＤ１０８から読み出され、動画表示情報表示部８３により表示される。動画表示情報表示部８４により、選択番号が「１」の動画表示情報が表示される。動画表示情報表示部８５により、選択番号が「２」の動画表示情報が表示される。また、動画表示情報表示部８１により、選択番号が「７」の動画表示情報が表示される。動画表示情報表示部８２により、選択番号が「８」の動画表示情報が表示される。つまり、動画表示情報表示部８１から８５により、選択番号が「７」、「８」、「０」、「１」、「２」の動画表示情報がそれぞれ順に表示される。その後、ステップＳ６０４で、選択中番号Ｎｘの値が１インクリメントされると、動画表示情報表示部８１から８５により、選択番号が「８」、「０」、「１」、「２」、「３」の動画表示情報がそれぞれ順に表示される。
【０１１８】
第２の実施形態と同様に、上述のステップＳ６０１からステップＳ６０７の処理が繰り返し実行されることで、動画表示情報表示部８１から８５の情報を、選択中番号Ｎｘの値に応じて連続して切り替えることができる。また、押圧力に基づいて表示維持時間を決定することができるため、動画表示情報表示部８１〜８５の表示を切り替える速度、すなわち表示をスクロールさせる速度を変更することができる。
【０１１９】
（変形例２）
ＣＣＤカメラ７は、カラー画像の撮影が可能なカメラ以外にモノクロ画像のみ撮影が可能なカメラでも良い。また、ＣＭＯＳカメラ、ビデオカメラ、スチールカメラや広角カメラなどが使用されても良い。
【０１２０】
（変形例３）
ＣＣＤカメラ７は、図１に示す液晶ディスプレイ４の鉛直方向における上方位置以外の場所に設置される構成でも良い。例えば、図１における液晶ディスプレイ４の下方位置、図２における液晶ディスプレイ４の右方位置または左方位置に設置されても良い。図２５は、接触部分が撮影される際、鏡４０５による反射を利用する変形例を示す。鏡４０５を使用することにより、本明細書に記載した位置以外の位置にＣＣＤカメラ４０７が設置されることも可能である。
【０１２１】
（変形例４）
透明フレーム３の材料は、透明な材料であり、且つ、容易に様々な形状に加工が可能な材料であるならば何でも良い。たとえば、熱可塑性樹脂であるアクリル、ポリカーボネートは透明であり、かつ、様々な形状に成形し易いため本実施の形態の透明部材の材料として適している。ＰＥＴにより透明部材が作られることで安価に透明部材を作ることが可能となる。また、ガラスで作られても良い。本発明では、接触を検出するために透明電極の蒸着が不要となる。そのため、プラスチックに代表される透明な熱可塑性樹脂全般が使用可能である。
【０１２２】
（変形例５）
透明フレーム３は用途に応じて曲面以外の形状であっても良い。例えば、平面のみから構成される形状、平面と曲面の両方を有する形状から構成されても良い。
【０１２３】
（変形例６）
表示部が液晶ディスプレイ以外でも良い。例えば、画像信号に従って映像を表示するＣＲＴディスプレイや、プラズマディスプレイ、有機ＥＬディスプレイを用いても良い。また、画像信号に従って映像を表示するディスプレイではなく、単に情報が印刷されている紙を用いて表示が行われても良い。上述したディスプレイにインターネットを介してＷｅｂ上の情報が表示されても良い。インターネットを用いることで、ディスプレイに表示可能な情報の種類が多くなる。
【０１２４】
（変形例７）
ステップＳ２１０で包含される図形は正方形や長方形以外の四角形でも良い。例えば、台形などでも良い。
【０１２５】
（変形例８）
本明細書中における接触位置として、接触面積の重心が用いられても良い。重心位置の座標値は、図１１に示すように、Ｘ軸およびＹ軸の座標値により決定される。接触部分の重心位置の座標値は、接触部分に含まれる各画素の座標値のＸ座標の座標値の総和と、Ｙ座標の座標値の総和とを、接触部分に含まれる画素の総和、つまり接触部分の接触面積で割ることにより、求められる。本実施形態では、撮影した画像の最も左下の画素の位置が原点と定義されたが、左下に限定されるものではない。例えば、原点の位置は画像の最も右上、もしくは画像の中心位置を原点として任意に設定されても良い。また本実施形態では１画素を１座標値としているが、１画素を１座標値と限定されるものではない。例えば、２画素を１座標値のように適宜変更されても良い。１座標値が任意の画素数により決定されても良い。
【０１２６】
（変形例９）
図１に示すようにＣＰＵ５、メモリ６、ＨＤＤ８が本装置の全体フレーム２の内部に備えられていない構成でも良い。例えば、外部サーバに画像データが送信されて、外部サーバに備えられているＣＰＵやメモリ、ＨＤＤを用いて処理が行われることも可能である。その場合、全体フレーム２の内部にインターネットを介して外部サーバにデータを送受信するための装置が必要となる。
【０１２７】
（変形例１０）
ＣＣＤカメラ７により撮影が行われるタイミングは、明細書に記載してある実施形態及び変形例では１秒ごとである。撮影を行うタイミングは１秒ごとに限定されず、例えば０．１秒ごともしくは２秒ごとといった任意のタイミングにより撮影を行っても良い。また、第１の実施形態及び第２の実施形態では、サブタスクプログラム３８またはサブタスクプログラム１３９が、１０ｍｓｅｃごとに周期的に実行されている。サブタスクプログラムが周期的でなく、ランダムに実行されても良い。
【０１２８】
（変形例１１）
本明細書における接触部分の大きさとして接触面積を用いている。接触部分の大きさとして、接触部分の形状を包含し、且つ、接触部分と接する長方形または正方形の４辺の長さを用いて決定しても良い。また、接触部分の形状の外周を接触部分の大きさとしても良い。
【０１２９】
（変形例１２）
本明細書における接触体として、長尺の部材の端に柔軟性のある素材を付けた専用のペンなどを用いても良い。この場合、専用のペンにより透明フレームを押圧したときに、専用のペンの先端と透明フレームとの接触部分の接触面積が押圧力に応じて変化するような柔軟性のある素材が、使用される。
【０１３０】
（変形例１３）
本明細書における接触入力型の情報処理装置１では、表示部により表示される情報の選択と選択された情報に対応する処理の実行とを行っている。接触入力型の情報処理装置１では、表示部により表示される情報の選択のみを行い、選択された情報に対応する処理の実行を別の機器により実行される構成でも良い。例えば、接触入力型の情報処理装置と直接電気的に接続された別機器が処理を実行する構成でも良い。また、接触入力型の情報処理装置がインターネットに接続され、ネットワーク上に接続されている別機器により処理が実行される構成でも良い。
【０１３１】
（変形例１４）
接触面積の大きさとして、接触部分の短径と長径との長さの合計値またはいずれか一方の値が用いられても良い。図１３の接触部分６６を用いて、接触部分の形を決定する方法を説明する。接触部分６６の拡大図である接触部分６８において、上下方向の最大長と左右方向の最大長とを求める。第１の実施形態と第２の実施形態と同様に、１画素を１座標値とすると、上下方向の最大長が「２０」、横方向の最大長が「１３」と決定される。上記の方法により決定された上下方向の最大長と左右方向の最大長との値により、接触部分６６の大きさが決定される。
【０１３２】
（変形例１５）
第１の実施形態及び第２の実施形態において、押圧力の大きさが液晶ディスプレイ４により表示されても良い。ユーザは液晶ディスプレイ４により表示される押圧力の大きさを見ながら、接触面積の大きさを調整することができる。そのため、押圧力の大きさを推定することは効果的である。必ずしも押圧力を表示する必要がなければ、接触面積を用いて直接表示維持時間が決定されてもよい。
【０１３３】
（変形例１６）
第１の実施形態の図１０及び第２の実施形態の変形例１の図２４において、押圧力の大きさは、接触面積の大きさに基づいて推定されているが、接触面積の大きさに限定されるものではない。例えば、押圧力の大きさを推定するために、接触部分の形状を包含し、且つ、接触部分と接する長方形または正方形の４辺の長さが用いられても良い。また、接触部分の形状の外周を接触部分の大きさとして、押圧力の大きさが推定されても良い。
【０１３４】
（変形例１７）
第２の実施形態の変形例１の図２４において、接触面積の大きさにより推定された押圧力の大きさに対応する表示維持時間が決定されているが、必ずしも押圧力と表示維持時間とが対応付けられなくても良い。接触面積の大きさと表示維持時間とが直接対応付けられても良い。
【０１３５】
（変形例１８）
第１の実施形態と第２の実施形態と第２の実施形態の変形例１とでは、それぞれ図８、図１９、図２３に示すメインメニューが液晶ディスプレイ４により表示される。第１の実施形態と第２の実施形態と第２の実施形態の変形例１とでは、それぞれ図８に示す動画表示情報表示部５１〜５５、図１９に示す入力部７２、図２３に示す選択ボタン８６に対応する透明フレーム３上での表示位置がユーザにより押圧されることで、それぞれに対応する表示が切り替わる構成となっているが、それに限定されるものではない。予め、特定の表示情報が表示されていない透明レーム３上の位置と、その位置に対応する処理とが決められ、ＨＤＤ８またはＨＤＤ１０８に記憶されている構成でも良い。例えば、図８で、液晶ディスプレイ４により表示されている特定の表示情報である動画表示情報表示部５１〜５５と動画再生部５６とが表示されている以外の領域に対応する透明フレーム３上での位置がユーザにより押圧され、その位置と押圧力とに対応する動画表示情報表示部５１〜５５の表示が切り替わる構成でも良い。
【図面の簡単な説明】
【０１３６】
【図１】第１の実施形態の情報処理装置の側面図である。
【図２】第１の実施形態の正面図である。
【図３】第１の実施形態の電気的構成を示すブロック図である。
【図４】第１の実施形態におけるメモリ６の記憶内容の詳細を示す図である。
【図５】第１の実施形態におけるＨＤＤ８の記憶内容の詳細を示す図である。
【図６】第１の実施形態におけるメイン動作を示すフローチャートである。
【図７】第１の実施形態におけるサブタスクの動作を示すフローチャートである。
【図８】第１の実施形態における液晶ディスプレイ４に表示されるメインメニュー情報４０の一例である。
【図９】第１の実施形態における動画ファイルがＨＤＤ８に記憶される記憶状態を示す概念図である。
【図１０】第１の実施形態における接触面積の大きさと押圧力決定情報４４とがＨＤＤ８に記憶されている記憶状態を示す概念図である。
【図１１】第１の実施形態における液晶ディスプレイ４に表示されるメインメニュー情報４０にＸ軸及びＹ軸を表示した一例である。
【図１２】第１の実施形態におけるサブタスク動作を示す図７のフローチャートにおけるステップＳ２０２の背景除去を行う方法の一例を示す。
【図１３】サブタスク動作を示す図７のフローチャートにおけるステップＳ２０８の接触面積の決定方法の一例を示す。
【図１４】サブタスク動作を示す図７のフローチャートにおけるステップＳ２１０の接触位置を１点に決定する方法の一例を示す。
【図１５】第２の実施形態におけるメモリ１０６の記憶内容の詳細を示す図である。
【図１６】第２の実施形態におけるＨＤＤ１０８の記憶内容の詳細を示す図である。
【図１７】第２の実施形態における選択番号が割り当てられた各動画ファイルが、ＨＤＤ１０８に記憶されている記憶状態を表す概念図である。
【図１８】第２の実施形態におけるメイン動作を示すフローチャートである。
【図１９】第２の実施形態における液晶ディスプレイ４に表示されるメインメニュー情報１４０の一例である。
【図２０】第２の実施形態における処理決定動作を示すフローチャートである。
【図２１】第２の実施形態における表示切替動作を示すフローチャートである。
【図２２】第２の実施形態の変形例１における表示切替動作を示すフローチャートである。
【図２３】第２の実施形態の変形例１における液晶ディスプレイ４に表示されるメインメニュー情報１４０の一例である。
【図２４】第２の実施形態の変形例１における接触面積の大きさに対応する押圧力と、押圧力に対応する表示維持時間とがＨＤＤ８に記憶されている記憶状態を示す概念図である。
【図２５】鏡を用いることにより、ＣＣＤカメラの配置位置を任意の位置に変更することが可能となる変形例３の側面図である。
【符号の説明】
【０１３７】
１ 接触入力型の情報処理装置
２ 全体フレーム
３ 透明フレーム
４ 液晶ディスプレイ
５ ＣＰＵ
６，１０６ メモリ
７ ＣＣＤカメラ
８，１０８ ＨＤＤ
９ 支持スタンド
１０ 音声出力装置
１１，１１１ 撮影画像データ
１２，１１２ 接触位置候補の接触面積
１４、１１４ 入力位置データ
１５、２０、１１５、１２０ 入力位置
１６、２１、１１６、１２１ 最終接触面積
１７、２２、１１７、１２２ 押圧力
１８、２３、１１８、１２３ 接触選択項目
３１、１３１ プログラム
３２、１３２ 色情報
３３、１３３ 表示情報
３４、１３４ 接触部分の大きさ情報
３５、１３５ 表示位置情報
３６、１３６ 動画情報
３７、１３８ メインプログラム
３８、１３９ サブタスクプログラム
３９、１４２ 接触部分色情報
４０、１４３ メインメニュー情報
４１、１４４ 動画タイトル名情報
４２、１４５ 動画表示情報
４３、１４６ 動画再生情報
４４、１４７ 押圧力決定情報
１４８ 表示維持時間情報
５１ 動画表示情報表示部
５２ 動画表示情報表示部
５３ 動画表示情報表示部
５４ 動画表示情報表示部
５５ 動画表示情報表示部
５６ 動画再生部
６１、６２、６４ 撮影画像データ
６３ 差分画像データ
６５、６６ 接触部分
６７ 画素
６８ 接触部分の画素
７１ 動画表示情報表示部
７２ 入力部
８１ 動画表示情報表示部
８２ 動画表示情報表示部
８３ 動画表示情報表示部
８４ 動画表示情報表示部
８５ 動画表示情報表示部
８６ 選択ボタン
Ｎｘ 選択中番号
１３７ 最大選択番号
１４０ 処理決定プログラム
１４１ 表示切替プログラム
【技術分野】
【０００１】
本発明は、接触体が接触することで情報を入力することが可能な情報処理装置、情報処理方法及び情報処理プログラムに関する。
【背景技術】
【０００２】
接触体が接触することで簡易に情報を入力し、処理を行う装置としてタッチパネルが様々な用途で幅広く用いられている。タッチパネルは、接触体がパネル上に表示されている表示情報を接触することで簡易に情報を入力することができる。特許文献１には、一般的なタッチパネルの製造に必要な構成が記載されている。タッチパネルは、表示面を目視することができるように透明樹脂フィルム及び透明ガラス板等から構成されている。そして、透明樹脂フィルム及び透明ガラス板が平行に重なって備えられている。透明樹脂フィルムと透明ガラス板とが対向するそれぞれの面には、透明電極が設けられている。また、透明電極間にスペーサーが設けられており、２つの電極間に隙間が設けられている。タッチパネルの表示部分に液晶表示パネルが使用される場合、入力の際にタッチパネルが弾性変形されるため液晶表示パネルも共に変形させられてしまう。そのため、液晶表示パネルの表示面が変形することにより表示が不鮮明となる。これを防止するために、上述した透明樹脂フィルムと透明ガラス板との２つの透明基材のうち、液晶表示パネル側に近い透明基材としてガラス板が一般的に用いられている。一方の透明基材は、ユーザが指で触れて情報を入力するために透明樹脂フィルムが用いられる。透明樹脂フィルムが指で触れられることで、透明樹脂フィルムと透明ガラス板との間に設けられている透明電極が弾性変形する。この変形により透明電極同士が接触することで、透明電極間に電流が流れる。透明電極間で電流が流れることで、タッチパネルから情報が入力される。上述したタッチパネルにより、ユーザが押圧したタッチパネル上の位置が決定される。決定された押圧位置に基づいて、情報が入力される。
【０００３】
特許文献２には、タッチパネルの操作性を向上させることを目的で、圧力検出部が備えられたタッチパネルが記載されている。圧力検出部は、タッチパネルの液晶表示パネルの表面部に設けられている。圧力検出部はタッチパネルに対する押圧力の大きさを検出する。特許文献２に記載されているタッチパネルは、タッチパネル上の接触位置と押圧力の大きさとに基づいて情報が入力される。例えば、タッチパネルに対する押圧力に応じて、液晶表示パネルの表示が切り替わることで、複数の情報からの選択及び情報の入力が可能となる。
【特許文献１】特開２００４−２５２６７６号公報
【特許文献２】特開２００６−３９７４５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、タッチパネルそのものを製造するために必要な部品点数が多く、タッチパネルの製造には複雑な構成が必要とされていた。押圧力の大きさを検出するタッチパネルを製造するためには、タッチパネルそのものを製造する部品に加え、押圧力を検出する部品が必要とされる。また、透明電極がガラス板に蒸着されたり、透明樹脂フィルムがタッチパネルに塗布されたりと複数の工程が必要とされる。
【０００５】
本発明は、上述した問題点を解決するためになされたものである。本発明の目的は、接触体が接触することで情報が入力され処理される装置において、多重構造ではなく部品点数も少ない簡易な構成により、押圧の強さに応じて処理を決定する接触入力型の情報処理装置を提供することである。
【課題を解決するための手段】
【０００６】
この目的を達成するために、請求項１に記載の発明は、接触体が接触するとともに押圧することが可能な透明部材と、前記透明部材を通してユーザが目視できる情報を表示する表示部と、接触体が接触可能な前記透明部材の表面と反対側の表面から、接触体と前記透明部材との接触部分の画像を撮影する位置に配置されている撮影ユニットと、前記撮影ユニットにより前記透明部材を介して撮影された画像を入力し、接触体が前記透明部材を押圧する強さに応じて変化する前記接触部分の大きさを決定する画像処理部と、前記画像処理部により決定された接触部分の大きさに基づいて、実行すべき処理を決定する処理制御部と、を備えたことを特徴としている。
【０００７】
請求項２に記載の発明は、ユーザの体の一部が接触するとともに押圧することが可能な透明部材と、前記透明部材を通してユーザが目視できる情報を表示する表示部と、ユーザの体の一部が接触可能な前記透明部材の表面と反対側の表面から、ユーザの体の一部と前記透明部材との接触部分の画像を撮影する位置に配置されている撮影ユニットと、前記撮影ユニットにより前記透明部材を介して撮影された画像を入力し、ユーザの体の一部が前記透明部材を押圧する強さに応じて変化する前記接触部分の大きさを決定する画像処理部と、前記画像処理部により決定された接触部分の大きさに基づいて、実行すべき処理を決定する処理制御部と、を備えたことを特徴としている。
【０００８】
請求項３に記載の発明は、前記処理制御部は、前記接触部分の大きさに基づいて、前記表示部により表示される情報を切り替える処理を決定することを特徴としている。
【０００９】
請求項４に記載の発明は、前記処理制御部は、複数の異なる選択内容に切り替えられる選択項目を前記表示部に表示させ、前記接触部分の大きさに基づいて選択項目の選択内容を切り替える処理を決定することを特徴としている。
【００１０】
請求項５に記載の発明は、前記画像処理部が、前記撮影ユニットにより前記透明部材を介して撮影された画像を入力して、前記透明部材上での前記接触部分の接触位置を決定し、前記処理制御部は、前記接触位置に基づいて、前記処理制御部が前記表示部により表示される複数の情報の中から所望の情報を選択し、前記接触部分の大きさに基づいて、その選択された情報を切り替える処理を決定することを特徴としている。
【００１１】
請求項６に記載の発明は、前記表示部が、前記選択項目を複数表示し、前記画像処理部が、前記撮影ユニットにより前記透明部材を介して撮影された画像を入力して、前記透明部材上での前記接触部分の接触位置を決定し、前記画像処理部により決定される接触位置と前記選択項目が表示されている透明部材上での表示位置とを比較し、両位置が一致するか否かを判別する位置判別部を備え、前記位置判別部が前記接触位置と前記選択項目の表示位置とが一致したと判別した場合、前記処理制御部は、前記接触部分の大きさに基づいて、前記両位置が一致した選択項目の選択内容を切り替える処理を決定することを特徴としている。
【００１２】
請求項７に記載の発明は、前記表示部が、複数の選択項目を表示可能であり、前記処理制御部が、前記接触部分の大きさに基づいて前記複数の選択項目のスクロールさせて前記表示部に表示させるスクロールの速度を決定することを特徴としている。
【００１３】
請求項８に記載の発明は、複数の異なる所定の面積の大きさを記憶した面積記憶部を備え、前記画像処理部は、前記接触面積の大きさが前記複数の異なる所定の面積の大きさのいずれかに達したか否かを判別するための面積判別部と、前記接触面積の大きさが前記複数の異なる所定の面積の大きさのいずれかに達した時からの経過時間を測定するための時間測定部と、前記時間測定部により測定された前記経過時間が所定の時間に達するまでの間、前記接触面積の大きさがいずれかの所定の面積の大きさに維持されているか否かを判定する接触面積維持判定部とを備え、前記接触面積維持判定部により前記接触面積の大きさがいずれかの所定の面積の大きさに維持されていると判定された場合、前記画像処理部がその判定された接触面積の大きさを最終的な接触面積の大きさと決定することを特徴としている。
【００１４】
請求項９に記載の発明は、前記画像処理部により決定される接触部分の大きさが第１の所定の大きさにある場合、前記処理制御部は前記表示部により表示される情報を切り替える処理を決定し、前記画像処理部により決定される接触部分の大きさが第２の所定の大きさにある場合、前記処理制御部は前記表示部により表示される情報に対応する処理を確定する処理を決定することを特徴としている。
【００１５】
請求項１０に記載の発明は、前記透明部材はプラスチックにより作られていることを特徴としている。
【００１６】
請求項１１に記載の発明は、前記透明部材が曲面を有することを特徴としている。
【００１７】
請求項１２に記載の発明は、ユーザの体の一部が接触するとともに押圧することが可能な透明部材を通してユーザが目視できる情報を表示する表示ステップと、ユーザの体の一部が接触可能な前記透明部材の表面と反対側の表面から、ユーザの体の一部と前記透明部材との接触部分の画像を撮影する撮影ステップと、前記撮影された画像を入力して、ユーザの体の一部が前記透明部材を押圧する強さに応じて変化する前記接触部分の大きさを決定する大きさ決定ステップと、前記決定された接触部分の大きさに基づいて、実行すべき処理を決定する処理決定ステップと、を備えたことを特徴とする接触入力型の情報処理方法について記載されている。
【００１８】
請求項１３に記載の発明は、ユーザの体の一部が接触するとともに押圧することが可能な透明部材を通してユーザが目視できる情報を表示する表示ステップと、ユーザの体の一部が接触可能な前記透明部材の表面と反対側の表面から、ユーザの体の一部と前記透明部材との接触部分の画像を撮影する撮影ステップと、前記撮影された画像を入力して、ユーザの体の一部が前記透明部材を押圧する強さに応じて変化する前記接触部分の大きさを決定する大きさ決定ステップと、前記決定された接触面積の大きさに基づいて、実行すべき処理を決定する処理決定ステップと、をコンピュータに実行させる情報処理プログラムについて記載されている。
【発明の効果】
【００１９】
請求項１記載の発明によれば、透明部材が接触体により接触される際、透明部材が押圧される押圧力の強さとして接触部分の大きさが撮影ユニットにより撮影された画像から決定される。押圧力の強さが撮影ユニットにより撮影された画像により決定される構成であるため、タッチパネルでは必要だった透明電極や透明樹脂フィルム、押圧力検出部が不要になる。そのため、接触を検出するための構成が多重構造でなく簡易になる。また、接触体が接触可能な透明部材の表面と反対側の表面から画像を撮影する位置に撮影ユニットが配置されている構成である。つまり、透明部材と接触体との接触部分を撮影する際に、接触体自体により接触部分が隠されることはなく、その撮影が妨げられることがないので、正確に接触部分を撮影することが可能となる。そのため、接触体と透明部材との接触の有無及び接触部分の大きさが精度よく決定される。
【００２０】
請求項２記載の発明によれば、透明部材がユーザの体の一部により接触される際、透明部材が押圧される押圧力の強さとして接触部分の大きさが撮影ユニットにより撮影された画像から決定される。押圧力の強さが撮影ユニットにより撮影された画像により決定される構成であるため、タッチパネルでは必要だった透明電極や透明樹脂フィルム、押圧力検出部が不要になる。そのため、接触を検出するための構成が多重構造でなく簡易になる。また、ユーザが接触可能な透明部材の表面と反対側の表面から画像を撮影する位置に撮影ユニットが配置されている構成である。つまり、透明部材とユーザの体の一部との接触部分、例えば透明部材とユーザの指先との接触部分がユーザの手全体により隠されることはなく、その接触部分の撮影がユーザの体により妨げられることがないので、正確に接触部分を撮影することが可能となる。そのため、ユーザの体の一部と透明部材との接触の有無及び接触部分の大きさが精度よく決定される。
【００２１】
請求項３記載の発明のよれば、接触部分の大きさに基づいて表示部により表示される情報が切り替えられる処理が決定される。ユーザは、表示部により表示されている情報を見ながら、接触部分の大きさを変えることで所望の情報を選択することができる。この結果、ユーザは透明部材の押圧力の強さに応じて多様な情報を簡単な操作で選択することが可能となる。
【００２２】
請求項４記載の発明では、複数の選択内容に切り替えられる選択項目が表示部により表示される。接触部分の大きさに基づいて選択項目の選択内容が切り替換えられることで、ユーザは、表示されている選択項目について簡単な操作で異なる選択内容に切り替えることが可能になる。
【００２３】
請求項５記載の発明では、透明部材上の接触位置が撮影ユニットにより撮影された画像から決定される。前記画像処理部により決定された透明部材上の接触位置に基づいて、表示部により表示されている複数の情報の中の所望の情報が選択される。また、接触部分の大きさに基づいて、その選択された情報が切り替えられる処理が決定される。この結果、ユーザは、接触位置と接触部分の大きさとにより、多様な情報の選択及びその選択された情報の切り替えを１つの操作で行うことが可能となり、操作性が向上する。
【００２４】
請求項６に記載の発明では、前記透明部材上の選択項目の表示位置と接触位置とが一致した選択項目の選択内容が接触部分の大きさに基づいて切り替えられる。前記表示部により表示される複数の選択項目の中で、ユーザは、希望する選択項目についてのみ、接触部分の大きさに基づいて選択内容を切り替えることができる。この結果、ユーザは、選択項目の選択とその選択内容の切り替えとを１つの操作で行うことが可能となり、操作性が向上する。
【００２５】
請求項７記載の発明では、表示部により表示されている複数の選択項目が接触部分の大きさに基づいてスクロールされる速度が決定される。接触部分の大きさに基づいて複数の選択項目がスクロールされる速度が決定されることで、一画面で表示しきれない程の複数の選択項目が存在する場合、接触部分の大きさに基づいてスクロールの速度が変化するため、複数の選択項目からの情報選択を１つの操作で迅速に行うことが可能になる。
【００２６】
請求項８記載の発明では、所定の時間の間、接触面積の大きさが所定の面積の大きさに維持されたと判定された場合、前記画像処理部がその判定された接触面積の大きさを最終的な接触面積の大きさと決定する。この結果、ユーザによる押圧力の変動に起因して誤った処理が実行されることを防止することができ、精度よく情報の選択や切り替えなどの処理を決定することが可能になる。
【００２７】
請求項９記載の発明では、接触部分の大きさに基づいて、処理制御部が表示部により表示される情報を切り替える処理の決定と、表示部により表示される情報に対応する処理内容を確定する処理の決定とが行われる。接触部分の大きさのみに基づいて、情報の切り替えと処理内容の確定とが行われるので、ユーザは、情報の切り替え及び処理内容の確定という２つの異なる処理を、１種類の入力操作により行うことが可能になる。
【００２８】
請求項１０記載の発明では、本発明の構成では透明電極が不要なため、これまでタッチパネルの製造で使用することが困難だったプラスチックにより製造が可能となる。この結果、安価な素材で容易に様々な形状のパネルの製造が可能となる。
【００２９】
請求項１１記載の発明では、一般的なタッチパネルで幅広く用いられている平面に限定されることなく曲面の形状も可能となるため、接触入力型の情報処理装置の用途やデザインに適した形状に容易に変更することが可能である。
【００３０】
請求項１２及び請求項１３に記載の発明では、撮影ステップにおいて透明部材上の透明部材がユーザの体の一部により接触される際、透明部材がユーザの体の一部により押圧される押圧力が撮影ステップにより撮影された画像から接触部分の大きさとして決定される。そのため、タッチパネルでは必要だった透明電極や透明樹脂フィルム、押圧力検出部が不要になる。タッチパネルの製造に必要だった透明電極の蒸着や透明樹脂フィルムの塗布といった作業工程が不要となり、押圧力を検出するための構成が多重構造でなく簡易になる。また、ユーザが接触可能な透明部材の表面と反対側の表面から画像が撮影される。つまり、透明部材とユーザの体の一部との接触部分をユーザの体により妨げられることなく、正確に接触部分を撮影することが可能となる。そのため、ユーザの体の一部と透明部材との接触の有無及び接触部分の大きさが精度よく決定される。
【発明を実施するための最良の形態】
【００３１】
［第１の実施形態］
以下、動画再生機能を有する情報処理装置に本発明を適用した第１の実施形態について図面を参照して説明する。第１の実施形態では、動画を選択するための選択項目が表示部により表示される。選択可能な複数の動画の種類が、表示部により選択項目として表示される。表示された選択項目がユーザの体の一部により接触される。ユーザにより接触された押圧力及び接触位置に基づいて表示部の選択項目の表示が切り替わることで、ユーザが好みの動画を選択し、再生することができる。
【００３２】
図１及び図２は本発明を適用した第１の実施形態の情報処理装置の概念的構成を示す。図１は第１の実施形態の側面図、図２は正面図である。第１の実施形態の接触入力型の情報処理装置１では、図１に示す矢印の方向をそれぞれ上方向、下方向、前方向、後方向とする。また、図２に示す矢印の方向をそれぞれ右方向、逆を左方向と定義する。
【００３３】
＜第１の実施形態の外観的構成＞
図１に示されるように第１の実施形態の接触入力型の情報処理装置１は、透明フレーム３を有する全体フレーム２により覆われている。全体フレーム２の内部には２つの空間が形成されている。図１における前方の空間を覆っている透明フレーム３が前方向からユーザの体の一部により接触可能に構成される。後方の空間には、液晶ディスプレイ４、ＣＰＵ５、メモリ６、カラー画像の撮影が可能なＣＣＤカメラ７、ＨＤＤ８が備えられている。全体フレーム２の下方には、全体フレーム２を支持するための支持スタンド９、音声出力装置１０が備えられている。
【００３４】
（透明部材の構成）
透明フレーム３は透明なプラスチックを材料にして作られている。ユーザに対して凸の曲面の形状をしている。一方、後方の空間を覆っている全体フレーム２の材料はプラスチックで作られているが、特に限定されない。透明フレーム３は本発明の透明部材の一例である。
【００３５】
（表示部の構成）
液晶ディスプレイ４は、透明フレーム３を通してユーザが目視できる位置に配置されている。液晶ディスプレイ４は、表示情報に従ってユーザに情報を表示する。液晶ディスプレイ４は本発明の表示部の一例である。
【００３６】
（撮影ユニットの構成）
ＣＣＤカメラ７は、ユーザが接触可能な透明フレーム３の領域全てが撮影可能な位置に配置される。また、ＣＣＤカメラ７は、ユーザが接触可能な透明フレーム３の表面と反対側の表面の方向から撮影を行える特定位置に配置されている。そのため、透明フレーム３とユーザの体の一部との接触部分がユーザの体により妨げられることなく、正確に接触部分の接触面積が撮影される。ＣＣＤカメラ７が上記特定位置に配置されることで、１台のＣＣＤカメラ７により透明フレーム３とユーザの体の一部とが接触しているか否かの決定が可能となる。そのため、複数のカメラを用意する必要がない。図１に示すように、透明フレーム３と液晶ディスプレイ４との間に、所定の大きさの空間が形成されている。透明フレーム３と液晶ディスプレイ４との間に所定の大きさの空間が形成されることで、上記特定位置に配置されている１台のＣＣＤカメラ７により、ユーザが接触可能な透明フレーム３の領域が撮影可能となる。ＣＣＤカメラ７は本発明の撮影ユニットの一例である。
【００３７】
＜第１の実施形態の電気的構成＞
図３は、第１の実施形態の接触入力型の情報処理装置１の電気的構成を示すブロック図である。図３に示すように、第１の実施形態の接触入力型の情報処理装置１には、接触入力型情報処理装置１を制御するＣＰＵ５が設けられている。ＣＰＵ５には、液晶ディスプレイ４と、メモリ６と、ＣＣＤカメラ７と、ＨＤＤ８と、音声出力装置１０とがそれぞれ電気的に接続されている。ＣＰＵ５は、メモリ６及びＨＤＤ８と共に、第１の実施形態の情報処理装置１の動作を制御処理するコンピュータを構成している。ＣＰＵ５とメモリ６とＨＤＤ８とからなるコンピュータは、本発明の処理制御部と、位置判別部と、面積判別部と、時間測定部と、面積維持判定部との一例である。音声出力装置１０は、接触入力型の情報処理装置１により再生される動画の音声を出力する。
【００３８】
（メモリの構成）
図４は、メモリ６の記憶内容の詳細を示す。メモリ６は、公知のＲＡＭから構成され、ＣＣＤカメラ７により撮影された撮影画像データ１１を記憶する領域を備える。メモリ６は、接触位置の候補の接触面積１２と、入力位置データ１４と、一時保存データ１９とを記憶する領域を備える。
【００３９】
メモリ６は入力位置データ１４として、ＣＰＵにより決定された接触位置の最終的な入力位置１５と、入力位置の最終接触面積１６と、押圧力１７と、接触選択項目１８とを記憶する。押圧力１７は入力位置の最終接触面積１６の大きさに基づいて決定される。接触選択項目１８は、入力位置１５に基づいて決定される。ＣＰＵ５により新たに上記に示す最終的な入力位置が決定される場合、メモリ６はこれまで記憶していた入力位置データ１４を一時保存データ１９として記憶するための一時保存記憶領域を備える。一時保存データ１９として、前回ＣＰＵ５により決定された最終的な入力位置２０と、最終接触面積２１と、押圧力２２と、接触選択項目２３とが記憶される。
【００４０】
（ＨＤＤの構成）
図５は、ＨＤＤ８の記憶内容の詳細を示す。ＨＤＤ８は、プログラム３１と、色情報３２と、表示情報３３と、接触部分の大きさ情報３４と、表示位置情報３５と、動画情報３６と、押圧力決定情報４４とを記憶している。プログラム３１は、接触入力型の情報処理装置１を制御するためのプログラムである。色情報３２は、接触部分の候補であるかどうかを判定するための情報である。表示情報３３は、液晶ディスプレイ４に映像などの情報を表示させることを指令する情報である。接触部分の大きさ情報３４は、接触部分の面積が所定の大きさであるかを判断するための情報である。表示位置情報３５は、液晶ディスプレイ４により表示されている選択項目が透明フレーム３上に位置する選択項目の表示位置の情報である。動画情報は３６は、ユーザからの入力により第１の実施形態の接触入力型の情報処理装置１で再生される動画ファイルに関する情報である。押圧力決定情報４４は、接触部分の大きさに基づいて、押圧力を決定するための情報である。第１の実施形態では、接触部分の大きさとしての接触面積の大きさに基づいて、押圧力が決定される。接触部分の大きさ情報３４を記憶するＨＤＤ８の記憶領域は、面積記憶部の一例である。
【００４１】
ＨＤＤ８は、プログラム３１として、図６に示すメインプログラム３７と、図７に示すサブタスクプログラム３８とを記憶している。メインプログラム３７は、第１の実施形態の接触入力型の情報処理装置を制御するためのプログラムである。サブタスクプログラム３８は、ＣＣＤカメラ７により撮影された撮影画像データに対して画像処理を行い、押圧力及び接触部分の検出を行うためのプログラムである。また、サブタスクプログラム３８は決定された押圧力及び接触部分に関する情報をメモリ６に記憶させるためのプログラムでもある。ＨＤＤ８に記憶されているサブタスクプログラム３８は、本発明の画像処理部の一例である。
【００４２】
ＨＤＤ８は、色情報３２として、接触部分色情報３９を記憶している。接触部分色情報３９は、接触部分の候補であるかを判定するための判定基準となる色情報である。
【００４３】
ＨＤＤ８は、液晶ディスプレイ４に情報を表示させるための表示情報３３として、メインメニュー表示情報４０を記憶している。図８は、メインメニューが表示された状態を示しており、メインメニューはメインメニュー表示情報４０により表示される情報の一例を示している。第１の実施形態では、液晶ディスプレイ４は、メインメニュー中の各情報を表示するための表示領域として、動画表示情報表示部５１〜５５と動画再生部５６とを有している。図８に示すメインメニューにより、ユーザが所望する動画が選択される。
【００４４】
ＨＤＤ８は、第１の実施形態の情報処理装置１で動画を再生させるための動画情報３６として、動画タイトル名情報４１と、動画表示情報４２と、動画再生情報４３とを記憶している。動画タイトル名情報４１は、ＨＤＤ８に記憶されているそれぞれの動画ファイルに割り当てられたタイトル名である。動画表示情報４２は、ＨＤＤ８に記憶されている複数の動画ファイルを表す表示情報である。動画表示情報４２の各表示情報に従って、動画表示情報表示部５１〜５５はメインメニューの各情報を表示する。動画再生情報４３は、第１の実施形態の情報処理装置で動画を再生させるための情報である。動画再生情報４３は、液晶ディスプレイ４に出力する表示情報と音声出力装置１０の出力する音声情報とから構成される。動画再生情報４３に従って、動画再生部５６は動画を表示し、音声出力装置１０は音声を出力する。第１の実施形態では、動画表示情報表示部５１は「サスペンス」に関する情報を、動画表示情報表示部５２は「ミステリー」に関する情報を、動画表示情報表示部５３は「ＳＦ」に関する情報を、動画表示情報表示部５４は「アクション」に関する情報を、動画表示情報表示部５５は「その他」の情報を表示するように構成されている。
【００４５】
図９は、接触選択項目と押圧力の大きさとに対応する動画タイトル名情報４１と動画表示情報４２と動画再生情報４３とがＨＤＤ８に記憶されている記憶状態を示す概念図である。「押圧力：１」は、押圧力が「１」と決定されたこを表している。押圧力に対応する動画タイトル名情報４１と動画表示情報４２と動画再生情報４３とが、図９に示すようにＨＤＤ８に記憶されている。例えば、接触選択項目が「３」、押圧力の大きさが「２」である場合、図９に示す対応テーブルに従って、接触選択項目「３」と押圧力の大きさ「２」とに対応する動画タイトル名情報である「ＳＦ＿Ｂ」の動画が決定される。
【００４６】
図１０は、接触面積の大きさと押圧力決定情報４４とがＨＤＤ８に記憶されている記憶状態を示す概念図である。第１の実施形態は、接触部分の大きさとして接触面積が用いられている。図１０に示す表により、接触面積の大きさに基づいて押圧力が決定される。第１の実施形態では、接触部分における画素数が、接触部分の接触面積と決定される。接触面積の大きさが、０画素から９９画素の場合、押圧力の大きさが「０」と決定される。接触面積の大きさが、１００画素から１９９９画素の場合、押圧力の大きさが「１」と決定される。接触面積の大きさが、２０００画素から３９９９画素の場合、押圧力の大きさが「２」と決定される。接触面積の大きさが、４０００画素以上の場合、押圧力の大きさが「３」と決定される。
【００４７】
＜第１の実施形態のメイン動作の説明＞
以上説明した構成からなる第１の実施形態の情報処理装置１の動作及び作用について、添付図面を参照して説明する。図６は、情報処理装置１におけるメイン動作の処理手順を示すフローチャートである。メイン動作は、接触入力型の情報処理装置に電源が供給され、ＣＰＵ５がメインプログラム３７を実行することにより、遂行される。以下に示す処理は全てＣＰＵ５により処理される。
【００４８】
第１の実施形態の接触入力型の情報処理装置１では、最初にステップＳ１０１で本装置の電源がユーザによりＯＮされたかが判定される。電源スイッチがＯＮにされたと判定されるまで、ステップＳ１０１が繰り返される。電源スイッチがＯＮにされたと判定されると、ステップＳ１０２が実行される。電源スイッチはハードウェアを用いたスイッチであっても、ソフトウェアにより動作されるソフト電源スイッチであっても良い。
【００４９】
ステップＳ１０２では、図７に示すサブタスクプログラム３８が、ＨＤＤ８から読み出され、実行される。サブタスクプログラム３８の説明は図７を用いて後述する。サブタスクプログラム３８により、入力位置データ１４として入力位置１５、最終接触面積１６、押圧力１７、接触選択項目１８が決定される。入力位置データ１４が決定された後に、メモリ６がこれまで一時記憶していた入力位置データ１４は、一時保存データ１９としてメモリ６に記憶される。その後、決定された入力位置データ１４は、メモリ６に一時記憶される。サブタスクプログラム３８は、第１の実施形態では、ステップＳ１０２で起動された後、１００ｍｓｅｃごとにメインプログラム３７とは独立して起動される。
【００５０】
ステップＳ１０３では、入力位置データ１４としての初期値がメモリ６に記憶される。第１の実施形態では、初期値として最終接触面積１６と押圧力１７とが「０」の値に、入力位置１５と入力位置１５に基づいて決定される選択項目位置１８とがＮＵＬＬに設定されてメモリ６により記憶される。また、フレームフラグがＯＦＦにされる。
【００５１】
ステップＳ１０４では、ＨＤＤ８からメインメニュー情報４０が読み出される。液晶ディスプレイ４はＨＤＤ８から読み出されたメインメニュー情報４０に従って情報を表示する。液晶ディスプレイ４は、メインメニュー情報４０に従って図８に示すメインメニューを表示する。それぞれ異なる種類の動画ファイルの動画表示情報４２に従って、動画表示情報表示部５１〜５５は情報を表示する。その後、タイマーのカウントがスタートされる。ステップＳ１０４は、表示ステップの一例である。
【００５２】
「サスペンス」に関する動画表示情報４２がＨＤＤ８から読み出されて、動画表示情報表示部５１に出力される。同様に、「ミステリー」に関する動画表示情報４２が動画表示情報表示部５２に、「ＳＦ」に関する動画表示情報４２が動画表示情報表示部５３に、「アクション」に関する動画表示情報４２が動画表示情報表示部５４に、「その他」に関する動画表示情報４２が動画表示情報表示部５５にそれぞれ出力される。動画表示情報表示部５１〜５５により表示される情報は、押圧力に基づいて切り替えられる。
【００５３】
ユーザが、押圧力に基づいて動画表示情報表示部５１〜５５により表示される情報を切り替えることにより、動画再生情報がＨＤＤ８から読み出され、決定される。ＨＤＤ８から読み出された動画再生情報４３の表示情報が動画再生部５６に、動画再生情報４３の音声情報が音声出力部１０にそれぞれ出力され、動画が再生される。
【００５４】
ステップＳ１０５では、入力位置データ１４として記憶されている押圧力がメモリ６から読み出される。
【００５５】
ステップＳ１０６では押圧力が「０」であるかが判定される。「０」であると判定された場合、ステップＳ１１５が実行される。押圧力が「０」でないと判定された場合、ステップＳ１０７が実行される。
【００５６】
ステップＳ１０７では、入力位置データ１４として記憶されている入力位置１５がメモリ６から読み出される。入力位置１５は、透明フレーム３上における座標位置として決定される。図１１は、透明フレーム３上の座標位置の一例を示す。図１１に示すように透明フレーム３上におけるＸ軸、Ｙ軸の座標位置が、入力位置１５として決定される。第１の実施形態では、ＣＣＤカメラ７が撮影した画像の最も左下の画素の位置を原点としている。この原点を基準として、１画素ごとに１座標値が定められる。以下、説明の便宜上、ステップＳ１０７で接触部分の入力位置１５が座標位置（１２０、５４０）であり、その座標位置の入力位置１５がメモリ６から読み出されたとして説明する。
【００５７】
ステップＳ１０８では、ステップＳ１０７で読み出された接触部分の入力位置１５と、透明フレーム３上での選択項目の表示位置との比較が行われる。図１１を参照して、詳細に説明する。ステップＳ１０７で入力位置１５の座標位置（１２０、５４０）が読み出される。図１１で示すエリア１〜５の選択項目の表示位置を表す表示位置情報３５が、ＨＤＤ８から読み出される。エリア１の選択項目表示位置の座標として、Ｘ座標の値が２０以上２００以下、Ｙ座標の値が４０以上１４０以下であるといった表示位置情報３５が読み出される。また、エリア２の選択項目表示位置の座標値として、Ｘ座標の値が２２０以上４００以下、Ｙ座標の値が４０以上１４０以下であるといった表示位置情報３５がＨＤＤ８から読み出される。エリア３の選択項目表示位置の座標値として、Ｘ座標の値が４２０以上６００以下、Ｙ座標の値が４０以上１４０以下であるといった表示位置情報３５がＨＤＤ８から読み出される。エリア４の選択項目表示位置の座標値として、Ｘ座標の値が４２０以上６００以下、Ｙ座標の値が１６０以上２６０以下であるといった表示位置情報３５がＨＤＤ８から読み出される。エリア５の選択項目表示位置の座標値として、Ｘ座標の値が４２０以上６００以下、Ｙ座標の値が２８０以上３８０以下であるといった表示位置情報３５がＨＤＤ８から読み出される。接触部分の入力位置１５と表示位置情報３５とが比較されることにより、入力位置１５がエリア３と一致していると決定される。決定されたエリア３が、メモリ６の接触選択項目１８として一時記憶される。エリア１からエリア５のうちいずれか一つと入力位置１５とが一致したと決定された場合、ステップＳ１０９が実行される。一致しなかったと決定された場合、ステップＳ１０４へ戻り、メインメニューが再び表示される。ステップＳ１０８は、位置判別部の一例である。
【００５８】
ステップＳ１０９では、ステップＳ１０８で接触選択項目１８として決定されたエリア３の押圧力が、所定の押圧力に維持されているかが判定される。すなわち、ステップＳ１０９では、一時保存データ１９としてメモリ６に記憶されている接触選択項目２３と、入力位置データ１４としてメモリ６に記憶されている接触選択項目１８とが一致しているかが判定される。また、一時保存データ１９としてメモリ６に記憶されている押圧力２２と、入力位置データ１４としてメモリ６に記憶されている押圧力１７とが一致しているかも判定される。接触選択項目と押圧力との両方が一致していると判定された場合、ステップＳ１１２が実行される。接触選択項目と押圧力との両方が一致しなかった場合、ステップＳ１１０が実行される。
【００５９】
ステップＳ１１０では、所定の押圧力が維持されてないと判定されたため、これまで時間のカウントを行ってきたタイマーがリセットされる。その後、時間のカウントが再スタートされる。また、フレームフラグがＯＦＦにされる。
【００６０】
ステップＳ１１１では、ステップＳ１０５とステップＳ１０７とにおいて決定された押圧力と接触選択項目とに基づいて表示情報が決定される。図９は、動画情報３６についてのＨＤＤ８の記憶内容を示す概念図である。例えば、メモリ６に入力位置データ１４として記憶されている接触選択項目１８が「３」で、押圧力１７が「１」と記憶されている場合、動画タイトル名情報４１が「ＳＦ＿Ａ」、動画表示情報４２が「ＳＦ＿Ａ．ｊｐｇ」と決定される。ＨＤＤ８から動画タイトル名情報「ＳＦ＿Ａ」の動画表示情報「ＳＦ＿Ａ．ｊｐｇ」が読み出されて、液晶ディスプレイ４上の「ＳＦ」を表示する動画表示情報表示部５３に出力される。その後、ステップＳ１０５へ戻り、再びステップＳ１０５が実行される。
【００６１】
ステップＳ１１２では、ステップＳ１０４または、ステップＳ１１０からタイマーによりカウントされた時間が２秒以上であるかが判定される。つまり、所定の押圧力の大きさが、所定の接触選択項目に対して２秒間維持されたかが判定される。所定の押圧力が２秒以上維持されたと判定された場合、ステップＳ１１３が実行される。所定の押圧力の大きさが２秒以上維持されたと判定されなかった場合、ステップＳ１０５へ戻り、ステップＳ１０５が実行される。
【００６２】
ステップＳ１１３では、所定の押圧力の大きさが２秒以上維持されたため、フレームフラグがＯＮにされる。また、図８及び図１１に示す液晶ディスプレイ４により表示される動画表示情報表示部の輪郭が赤枠で表示される。動画表示情報表示部の輪郭が赤枠で表示されることで、ユーザの動画選択が確定されたことが表示される。例えば、液晶ディスプレイ４上の「ＳＦ」を表示する動画表示情報表示部５３により表示されている動画タイトル名情報が「ＳＦ＿Ａ」の動画が確定された場合、動画表示情報表示部５３の輪郭が赤枠で表示される。
【００６３】
ステップＳ１１４では、ステップＳ１１３で決定された処理が実行された後、ユーザにより電源スイッチがＯＦＦされたかが判定される。電源スイッチがＯＦＦにされなかった場合はステップＳ１０５へ戻り、ステップＳ１０５が実行される。電源スイッチがＯＦＦにされた場合は、ステップＳ１０１へ戻り、再びステップＳ１０１が実行される。
【００６４】
ステップＳ１０６で、押圧力が「０」であると判定された場合、ステップＳ１１５が実行される。ステップＳ１０６では、フレームフラグがＯＮにされているかが判定される。ステップＳ１１５でフレームフラグがＯＮにされていると判定された場合、ステップＳ１１６が実行される。ステップＳ１１５でフレームフラグがＯＦＦにされていると判定された場合、ステップＳ１０３へ戻り、初期値として最終接触面積１６と押圧力１７とが「０」に、入力位置１５と入力位置１５に基づいて決定される接触選択項目１８とがＮＵＬＬに設定されてメモリ６に記憶される。また、フレームフラグがＯＦＦにされる。
【００６５】
ステップＳ１１６では、表示情報に対応する処理が決定される。ステップＳ１１６は、液晶ディスプレイ４上の赤枠に囲まれた動画表示情報表示部により表示される選択項目がユーザにより確定されたことと、押圧力が所定の大きさに２秒間維持された後に「０」に変化したこととに基づいて実行される。第１の実施形態では、フレームフラグがＯＮにされ、押圧力が所定の大きさに２秒間維持された後に「０」に変化したことにより、情報の選択が最終的に決定されたと判定される。押圧力１７と接触選択項目１８とに基づいた動画再生情報４３がＨＤＤ８から読み出される処理が決定される。上述した動画再生情報４３がＨＤＤ８から読み出されて、動画再生部５６に表示情報が、音声出力装置１０に音声情報が出力されることで、動画が再生される。例えば、メモリ６に入力位置データ１４として記憶されている接触選択項目１８が接触選択項目「２」で、押圧力１７が「３」と記憶されている場合、第１の実施形態で再生される動画が図９に示す対応テーブルに従って「ｍｙｓｔｅｒｙ＿Ｃ」と決定される。ＨＤＤ８から「ｍｙｓｔｅｒｙ＿Ｃ」の動画再生情報が読み出されて、動画再生部５６と音声出力装置１０とにそれぞれ出力される。ステップＳ１１６は、処理決定ステップの一例である。
【００６６】
（サブタスク動作の説明）
図７は、サブタスクプログラム３８に従う接触部分の押圧力と入力位置とを決定する動作を示すフローチャートである。まず、ステップＳ２０１でＣＣＤカメラ７により透明フレーム３とユーザの体の一部との接触部分の撮影が開始される。サブタスクプログラム３８は１０ｍｓｅｃごとに実行される。そのため、撮影を行うタイミングは、第１の実施形態では、一定周期ごとである。ＣＣＤカメラ７により撮影されるごとに、撮影画像データがメモリ６に一時記憶される。ステップＳ２０１は、撮影ステップの一例である。
【００６７】
ステップＳ２０２では、透明フレーム３とユーザの体の一部との接触部分の検出を行うために、メモリ６に記憶されている撮影画像データ１１に対して画像処理が実行される。具体的には、メモリ６に記憶されている撮影画像データ１１が時系列で比較され、比較された撮影画像データ１１の差分が取られる。この差分以外の部分を除去することで背景の除去が可能となる。図１２は、接触部分を決定する画像処理の一例の概念図を示す。ある時刻Ｔに撮影された撮影画像データ６１と、ある時刻（Ｔ＋１０ｍｓｅｃ）に撮影された撮影画像データ６２との画像の差分が求められる。図１２に示される差分画像データ６３が求められる。ある時刻Ｔと時刻（Ｔ＋１０ｍｓｅｃ）との間で変化があった画素が決定される。そのため、現在動いていない物体（背景）の除去が可能となる。
【００６８】
ステップＳ２０３では、ステップＳ２０２の画像処理結果により接触部分がないと決定された場合、ステップＳ２１３へ進む。接触部分がありと決定された場合、ステップＳ２０４が実行される。
【００６９】
ステップＳ２０４では、ステップＳ２０３で接触部分がありと決定された場合、所定の色の接触部分が接触部分の入力位置を決定する判断対象から排除される。第１の実施形態では人間の指の色の一つである薄橙色以外の接触部分が、接触部分の入力位置を決定する判断対象から排除される。薄橙色を検出するために、ＣＣＤカメラ７が撮影した撮影画像データの全ての画素におけるＲＧＢの値と、ＨＤＤ８に記憶された接触部分色情報３９とが比較される。比較結果に基づき、画素の色が薄橙色であるかが決定される。薄橙色として識別されるＲＧＢの値の上限値及び下限値といった閾値が、あらかじめ接触部分色情報３９としてＨＤＤ８に記憶されている。画素のＲＧＢの値が、上限値と下限値とにより定まる範囲に該当するなら、薄橙色であると決定される。
【００７０】
ステップＳ２０５では、ステップＳ２０４が実行された結果、接触部分がないと決定された場合、ステップＳ２１３へ進む。接触部分がありと決定された場合、ステップＳ２０６が実行される。
【００７１】
ステップＳ２０６では、接触部分の形状に基づいて所定の形状の接触部分が接触部分の入力位置を決定する判断対象から排除される。第１の実施形態の接触入力型情報処理装置１では、ユーザの体の一部として指が想定される。そのため、指の接触部分の形状として考えられる円、楕円に類似した形状である接触部分以外が排除される。ＣＣＤカメラ７が撮影した画像に対して、ハフ変換が用いられる、ハフ変換により、第１の実施形態では図形の特徴が決定される。円及び楕円に類似した形状の接触部分が決定され、それ以外の形状の接触部分が排除される。また、接触部分の面積がＨＤＤ８に記憶されている接触部分の大きさ情報３４と比較される。接触部分の大きさとして決定される接触部分の面積の大きさの上限値及び下限値といった閾値が、あらかじめ接触部分の大きさ情報３４としてＨＤＤ８により記憶されている。接触部分の面積の大きさが上限値と下限値とにより定まる範囲に該当しない場合、その該当しない接触面積の大きさの接触部分は、入力位置を決定する判断対象から排除される。
【００７２】
ステップＳ２０７では、ステップＳ２０６が実行された結果、接触部分がないと決定された場合はステップＳ２１３へ進む。接触部分がありと決定された場合、ステップＳ２０８が実行される。
【００７３】
ステップＳ２０８では、ステップＳ２０７で接触部分がありと決定された場合、接触部分の面積が決定される。上述のステップＳ２０２からＳ２０７の処理で排除されなかった接触部分における画素数が、接触部分の接触面積と決定される。図１３は、接触面積の決定方法の一例の概念図を示す。第１の実施形態の接触入力型の情報処理装置１では、図１３に示す矢印の方向をそれぞれ上方向、下方向、右方向、左方向とする。ステップＳ２０７の実行後、撮影画像データ６４に関して、接触部分６５と接触部分６６とが決定されている。図１３における右部分に示された図は、接触部分６６の拡大図である。図１３に示す小さい１つの四角形が、１つの画素６７に相当する。また色の濃い画素６８はユーザにより接触された画素を示している。第１の実施形態では、接触部分の画素数が接触面積の大きさとされている。そのため、図１３の接触部分６６の接触面積は、ユーザにより接触された画素６８の画素数として決定される。決定された接触面積は、メモリ６の接触位置候補の接触面積１２として一時記憶される。決定された接触面積が最大である接触部分が、最終接触面積１６の接触部分として決定される。ステップＳ２０８は、大きさ決定ステップの一例である。
【００７４】
ステップＳ２０９では、ステップＳ２０８で決定された最終接触面積１６の大きさが所定の大きさ以上であるかが判定される。入力位置データ１４としてメモリ６により記憶されている最終接触面積１６と、ＨＤＤ８により記憶されている接触部分の大きさ情報３４とが比較される。最終接触面積１６が接触部分の大きさ情報３４以上の場合、ステップＳ２１０へ進む。最終接触面積１６が接触部分の大きさ情報３４より小さかった場合、ステップＳ２１３へ進む。
【００７５】
ステップＳ２１０では、接触面積が最大である接触部分の形状の中の１点の位置が、入力位置として決定される。接触部分の形状の中の１点の位置が入力位置とされることで、上記１点の位置に対応する処理のみをＣＰＵ５が決定すれば良い。そのため、容易に接触部分に対応する処理を決定することが可能となる。第１の実施形態では、図１４（ａ）（ｂ）（ｃ）に示すように、入力位置として接触部分の形状を包含し、且つ、前記接触部分と接する長方形または正方形の中心を入力位置としている。包含する正方形または長方形の中心とは、各辺の中点から引いた垂直二等分線の交点である。ＣＣＤカメラ７が撮影した画像の最も左下の画素の位置を原点としている。この原点を基準として、１画素ごとに１座標値が定められる。接触部分の入力位置は、上記中心の座標値として決定される。このようにして接触部分の最終接触面積と接触部分の入力位置とが決定される。
【００７６】
ステップＳ２１１では、入力位置データ１４としてメモリ６により記憶されている最終接触面積１６に基づいて押圧力１７が決定される。液晶ディスプレイ４として７．５インチの大きさの液晶ディスプレイを、ＣＣＤカメラ７として解像度が６４０×４８０、撮影範囲が１５３．６ｍｍ×１１５．２ｍｍのＣＣＤカメラを用いた例により、押圧力の決定方法の一例を説明する。上述したカメラでは、解像度が６４０×４８０、撮影範囲が１５３．６ｍｍ×１１５．２ｍｍである。そのため、１画素あたりの大きさが、約０．２４ｍｍ×０．２４ｍｍとなる。図１０に示す表により、接触面積の大きさに基づいて押圧力が決定される。接触面積の大きさが、０から９９画素の場合、つまり、５．７６ミリ平方メートルより小さい場合、押圧力の大きさが「０」と決定される。接触面積の大きさが、１００画素から１９９９画素、つまり、５．７６ミリ平方メートル以上１１５．２ミリ平方メートル未満の場合、押圧力の大きさが「１と決定される。接触面積の大きさが、２０００画素から３９９９画素の場合、つまり、１１５．２ミリ平方メートル以上２３０．４ミリ平方メートル未満の場合、押圧力の大きさが「２」と決定される。接触面積の大きさが、４０００画素以上、つまり、２３０．４ミリ平方メートル以上の場合、押圧力の大きさが「３」と決定される。ステップＳ２１１は、面積判別部の一例である。また、ステップＳ２１１とステップＳ１０８とステップＳ１０９とステップＳ１１２とは、面積維持判定部の一例である。
【００７７】
ステップＳ２１２では、入力位置データ１４としてメモリ６により記憶されている入力位置１５と最終接触面積１６と押圧力１７と接触選択項目１８とが、一時保存データ１９としてメモリ６により記憶される。上記ステップＳ２１１で決定された入力位置１５と、最終接触面積１６と、押圧力１７とが、入力位置データ１４として新たにメモリ６により記憶される。
【００７８】
ステップＳ２１４では、前回サブタスクを実行してから所定の時間が経過したかが判定される。所定の時間が経過したと判定されるまで、ステップＳ２１４が繰り返される。所定の時間が経過したと判定された場合、ステップＳ２０１へ戻る。
【００７９】
ステップＳ２１３では、ステップＳ２０３ステップＳ２０５及びステップＳ２０７で接触部分が残っていないと判定された場合、最終接触面積１６と押圧力１７とが「０」、入力位置１４と入力位置に基づいて決定される接触選択項目１８とがＮＵＬＬに設定されてメモリ６の記憶値が更新される。
【００８０】
［第２の実施形態］
以下、動画再生機能を有する情報処理装置に本発明を適用した第２の実施形態について図面を参照して説明する。第２の実施形態の外観的構成及び電気的構成は、第１の実施形態とほぼ同じ構成であるので、相違する部分についてのみ説明する。
【００８１】
（第２の実施形態メモリの構成）
図１５は、第２の実施形態におけるメモリ１０６の記憶内容の詳細を示す。メモリ１０６は、第１の実施形態と同様に公知のＲＡＭから構成される。メモリ１０６は、撮影画像データ１１１と、接触位置の候補の接触面積１１２と、入力位置データ１１４と、一時保存データ１１９と、選択中番号Ｎｘとを記憶する領域を備える。選択中番号Ｎｘは、ユーザにより現在選択されている動画ファイルの選択番号を表す情報である。
【００８２】
（第２の実施形態ＨＤＤの構成）
図１６は、第２の実施形態におけるＨＤＤ１０８の記憶内容の詳細を示す。ＨＤＤ１０８は、プログラム１３１と、色情報１３２と、表示情報１３３と、接触部分の大きさ情報１３４と、表示位置情報１３５と、動画情報１３６と、最大選択番号１３７と、押圧力決定情報１４７と、表示維持時間情報１４８とを記憶している。プログラム１３１は、接触入力型の情報処理装置１を制御するためのプログラムである。色情報１３２は、接触部分の候補であるかどうかを判定するための情報である。表示情報１３３は、液晶ディスプレイ４に映像などの情報を表示させることを指令する情報である。接触部分の大きさ情報１３４は、接触部分の面積が所定の大きさであるかを判断するための情報である。表示位置情報１３５は、液晶ディスプレイ４により表示されている選択項目が透明フレーム３上において位置する表示位置を表す情報である。動画情報１３６は、ユーザからの入力により第２の実施形態の情報処理装置１で再生される動画ファイルの情報である。最大選択番号１３７は、第２の実施形態の情報処理装置１で再生される動画の選択可能な総動画数を表している。押圧力決定情報１４７は、接触部分の大きさに基づいて、押圧力を決定するための情報である。表示維持時間情報１４８は、液晶ディスプレイ４の表示を維持する表示維持時間である。第２の実施形態では表示維持時間１４８として、所定の時間が記憶されている。第２の実施形態では、接触部分の大きさとして接触面積の大きさが用いられる。
【００８３】
ＨＤＤ１０８は、プログラム１３１として、処理決定プログラム１４０と表示切替プログラム１４１とを記憶している。処理決定プログラム１４０は、サブタスクプログラム１３９により決定された押圧力と接触位置とに基づいて、実行すべき処理を決定するプログラムである。表示切替プログラム１４１は、処理決定プログラム１４０により決定された処理として、液晶ディスプレイ４により表示される情報を切り替えるためのプログラムである。
【００８４】
図１７は、選択番号０〜８に対応する動画タイトル名情報１４４と動画表示情報１４５と動画再生情報１４６とがＨＤＤ１０８に記憶されている記憶状態を示す概念図である。図１７に示すように、各選択番号に対応する動画タイトル名情報１４４と動画表示情報１４５と動画再生情報１４６とが、ＨＤＤ１０８に記憶される。
【００８５】
＜第２の実施形態のメイン動作の説明＞
以上説明した構成からなる第２の実施形態の情報処理装置１の動作及び作用について、添付図面を参照して説明する。図１８は、本実施形態におけるメインプログラム１３８に従うメイン動作の処理手順を示すフローチャートである。
【００８６】
第２の実施形態では、第１の実施形態と同様にステップＳ３０１からステップＳ３０２までが実行される。
【００８７】
第２の実施形態の接触入力型の情報処理装置１では、最初にステップＳ３０１で本装置の電源がユーザによりＯＮされたかが判定される。電源スイッチがＯＮにされたと判定されるまで、ステップＳ３０１が繰り返される。電源スイッチがＯＮにされたと判定されると、ステップＳ３０２が実行される。電源スイッチはハードウェアを用いたスイッチであっても、ソフトウェアにより動作されるソフト電源スイッチであっても良い。
【００８８】
ステップＳ３０２では、図７に示すサブタスクプログラム３８と同じ内容のサブタスクプログラム１３９が、ＨＤＤ１０８から読み出され、実行される。サブタスクプログラム１３９により、入力位置データ１１４として入力位置１１５、最終接触面積１１６、押圧力１１７、接触選択項目１１８が決定される。入力位置データ１１４が決定された後に、メモリ１０６がこれまで一時記憶していた入力位置データ１１４は、一時保存データ１１９としてメモリ１０６に記憶される。その後、決定された入力位置データ１１４は、メモリ１０６に一時記憶される。サブタスクプログラム１３９は、第１の実施形態では、ステップＳ３０２で起動された後、１００ｍｓｅｃごとにメインプログラム１３８とは独立して起動される。
【００８９】
ステップＳ３０３では、第１の実施形態の情報処理装置１と同様に、入力位置データ１１４としての初期値がメモリ１０６に記憶される。フレームフラグがＯＦＦにされる。また、選択中番号Ｎｘの初期値として「０」がメモリ１０６に記憶される。
【００９０】
ステップＳ３０４では、ＨＤＤ１０８からメインメニュー表示情報１４３が読み出される。液晶ディスプレイ４はＨＤＤ１０８から読み出されたメインメニュー表示情報１４３に従って情報を表示する。液晶ディスプレイ４は、メインメニュー表示情報１４３に従って、図１９に示すメインメニューを２つの表示領域に表示する。２つの表示領域は、動画表示情報表示部７１と、入力部７２とである。動画表示情報１４５が動画表示情報表示部７１に出力される。入力部７２がユーザにより押圧されることで、動画表示情報表示部７１に表示される情報が切り替えられる処理と、動画表示情報表示部７１に表示される情報の切替を停止する処理（情報の確定処理）と、動画表示情報表示部７１に表示される情報に対応する処理を実行する処理とが切り替えられる。
【００９１】
第２の実施形態では、第１の実施形態と同様にステップＳ３０５からステップＳ３０８までが実行される。
【００９２】
ステップＳ３０５では、入力位置データ１１４として記憶されている押圧力がメモリ１０６から読み出される。
【００９３】
ステップＳ３０６では押圧力が「０」であるかが判定される。「０」であると判定された場合、ステップＳ３０５へ戻る。押圧力が「０」でないと判定された場合、ステップＳ３０７が実行される。
【００９４】
ステップＳ３０７では、入力位置データ１１４として記憶されている入力位置１１５がメモリ１０６から読み出される。入力位置１１５は、透明フレーム３上における座標位置として決定される。
【００９５】
ステップＳ３０８では、ステップＳ３０７で読み出された接触部分の入力位置１１５と、透明フレーム３上での選択項目の表示位置との比較が行われる。ステップＳ３０８により、入力部７２が接触されているかが決定される。
【００９６】
ステップＳ３０９では、ステップＳ３０５及びステップＳ３０７により決定された押圧力と入力位置とに基づいて実行される処理が決定され、決定された処理が実行される。ステップＳ３０９は処理決定ステップの一例である。
【００９７】
ステップＳ３１０では、第１の実施形態におけるステップＳ１１５と同様の処理が実行される。ユーザにより電源スイッチがＯＦＦされたかが判定される。電源スイッチがＯＦＦにされなかった場合はステップＳ３０４へ戻り、ステップＳ３０４が実行される。電源スイッチがＯＦＦにされた場合は、ステップＳ３０１へ戻り、ステップＳ３０１が実行される。
【００９８】
（サブタスク動作の説明）
第２の実施形態のサブタスクプログラム１３９の動作及び作用は、第１の実施形態のサブタスクプログラム３８と同じであるので、説明を省略する。
【００９９】
（処理決定動作の説明）
図２０は、処理決定プログラム１４０に従う処理決定動作の詳細を示すフローチャートである。まず、ステップＳ４０１で所定の第１範囲として、押圧力の大きさが「１」以上「２」未満であるかが判定される。第２の実施形態では、所定の範囲としているが、所定の値であっても良い。押圧力の大きさが「１」である場合、ステップＳ４０２が実行される。押圧力の大きさが所定の第１範囲でない場合、ステップＳ４０３が実行される。
【０１００】
ステップＳ４０２では、液晶ディスプレイ４の動画表示情報表示部７１により表示される情報が切り替えられる。表示切替プログラム１４１の詳細な説明は図２１を用いて後述する。
【０１０１】
ステップＳ４０３では、所定の第２範囲として、押圧力の大きさが「２」以上「３」未満であるかが判定される。第２の実施形態では、所定の範囲としているが、所定の値であっても良い。押圧力の大きさが「２」である場合、ステップＳ４０４が実行される。押圧力の大きさが所定の第２範囲でない場合、ステップＳ４０５が実行される。
【０１０２】
ステップＳ４０４では、液晶ディスプレイ４の動画表示情報表示部７１により表示される情報の表示切替が停止されることで、表示情報に対応する処理が確定される。すなわち、再生される動画が確定される。
【０１０３】
ステップＳ４０５では、液晶ディスプレイ４の動画表示情報表示部７１により表示される情報に対応する動画が再生される。ステップＳ３０６で押圧力の大きさが「０」でないと判定され、且つ、ステップＳ４０１で押圧力の大きさが所定の第１範囲でないと判定され、且つ、及びステップＳ４０３で押圧力の大きさが所定の第２範囲でないと判定された場合、ステップＳ４０５が実行される。つまり、第２の実施形態では、押圧力が「３」以上の場合、動画表示情報表示部７１に表示される情報に対応する処理が決定される。ユーザにより選択された動画に関する動画再生情報１４６が、ＨＤＤ８から読み出される。動画再生情報１４６に従って、動画再生部５６は動画を表示し、音声出力装置１０は音声を出力する。
【０１０４】
（表示切替動作の説明）
図２１は、表示切替プログラム１４１に従う処理決定動作の詳細を示すフローチャートである。ステップＳ５０１では、メモリ１０６により記憶された選択中番号Ｎｘの値が１つインクリメントされ、メモリ１０６に一時記憶される。
【０１０５】
ステップＳ５０２では、メモリ１０６により記憶されている選択中番号Ｎｘの値と、ＨＤＤ１０８により記憶されている最大選択番号１３７の値とが比較される。選択中番号Ｎｘの値が最大選択番号１３７の値以上である場合、ステップＳ５０３が実行される。選択中番号Ｎｘの値が最大選択番号１３７の値以上でない場合、ステップＳ５０４が実行される。図１７は、選択番号が割り当てられた各動画が、ＨＤＤ１０８に記憶されている記憶状態を示す概念図である。各選択番号「０」から「８」に対応する動画が、図１７に示すようにＨＤＤ１０８に記憶されている。ＨＤＤ１０８に記憶される最大選択番号１３７は、情報処理装置１で再生される動画の選択可能な総動画数であるため、第２の実施形態では、「９」と記憶されている。
【０１０６】
ステップＳ５０３では、選択中番号Ｎｘの値が最大選択番号１３７の値以上になったため、メモリ１０６の選択中番号Ｎｘの値が「０」と一時記憶される。
【０１０７】
ステップＳ５０４では、メモリ１０６に記憶されているＮｘの値に対応した動画ファイル表示情報が、液晶ディスプレイ４の表示情報表示部７１に出力される。選択中番号Ｎｘの値が「６」の場合、動画タイトル名情報１４４として「ａｃｔｉｏｎ＿Ａ」が、動画表示情報１４５として「ａｃｔｉｏｎ＿Ａ．ｊｐｇ」が選択される。「ａｃｔｉｏｎ＿Ａ」に対応する「ａｃｔｉｏｎ＿Ａ．ｊｐｇ」がＨＤＤ１０８から読み出され、液晶ディスプレイ４の動画表示情報表示部７１に出力される。もし、選択中番号Ｎｘの値が、ＨＤＤ１０８の最大選択番号１３７に記憶される「９」以上になった場合、ステップＳ５０３で、選択中番号Ｎｘとして「０」が一時記憶される。そのため、選択番号が「８」の動画表示情報の次に、動画表示情報表示部７１に表示される表示情報は、選択番号が「０」の動画表示情報と決定される。
【０１０８】
ステップＳ５０５では、ＨＤＤ１０８中の表示維持時間情報１４８により表わされる所定の時間が経過するまで、液晶ディスプレイ４の表示情報表示部７１により、「ａｃｔｉｏｎ＿ａ．ｊｐｇ」の情報が表示され続ける。ステップＳ５０５実行後、ステップＳ３１０に戻る。
【０１０９】
上記のステップＳ５０１からステップＳ５０５が繰り返し実行されることで、選択番号が「０」から「８」の順に、表示情報表示部７１により表示される情報が切り替えられる。
【０１１０】
（変形例１）
図２２は、第２の実施形態における図２１に示す表示切替プログラムの変形例１の処理手順を示すフローチャートである。変形例１では、メインメニュー表示情報に従って図２３に示すメインメニューが６つの表示領域に表示される。６つの表示領域は、動画表示情報表示部８１〜８５と、選択部８６とからなる。それぞれ異なる種類の動画ファイルの表示情報が動画表示情報表示部８１〜８５に出力される。選択部８６が押圧されることで、動画表示情報表示部８１〜８５の情報が切り替えられる。また、押圧力に基づいて、動画表示情報表示部８１〜８５の情報が切り替えられる速度として、図２４に示す表示維持時間が決定される。
【０１１１】
ステップＳ６０１では、図７に示すサブタスクプログラム１３９により決定された押圧力に基づいて、表示維持時間が決定される。図２４は、接触面積の大きさに対応する押圧力と、押圧力に対応する表示維持時間とが、ＨＤＤ１０８に記憶されている記憶状態を示す概念図である。図２４に示すように、接触面積の大きさ及び押圧力に対応する表示維持時間が、ＨＤＤ１０８の表示維持時間情報１４８として記憶される。図２４に示す表に基づいて、表示維持時間が決定される。例えば、接触面積の大きさが「１６００」の場合、押圧力が「１．８」と決定され、表示維持時間は「６００ｍｓｅｃ」と決定される。
【０１１２】
ステップＳ６０２では、ステップＳ６０１で表示維持時間が決定された後、時間のカウントがスタートされる。
【０１１３】
ステップＳ６０３では、ステップＳ６０２で時間のカウントがスタートされてから経過した時間が、ステップＳ６０１で決定された表示維持時間に達したかが判定される。タイマーによりカウントされた時間が、ステップＳ６０１で決定された表示維持時間に達していない場合、再びステップＳ６０３が繰り返される。タイマーによりカウントされた時間が、ステップＳ６０１で決定された表示維持時間に達した場合、ステップＳ６０４へ進む。ステップ６０１で表示維持時間が「６００ｍｓｅｃ」と決定された場合、タイマーが「６００ｍｓｅｃ」に達するまで、ステップＳ６０３が繰り返される。
【０１１４】
ステップＳ６０４では、メモリ１０６に記憶された選択中番号Ｎｘに記憶されている値が「１」インクリメントされ、メモリ１０６に一時記憶される。
【０１１５】
ステップＳ６０５では、メモリ１０６に記憶されている選択中番号Ｎｘの値と、ＨＤＤ１０８に記憶されている最大選択番号１３７の値とが比較される。選択中番号Ｎｘの値が最大選択番号１３７の値以上であった場合、ステップＳ６０６へ進む。選択中番号Ｎｘの値が最大選択番号１３７の値より小さい場合、ステップＳ６０７へ進む。
【０１１６】
ステップＳ６０６では、選択中番号Ｎｘの値が最大選択番号１３７の値以上であると判定されたため、メモリ１０６の選択中番号Ｎｘの値が「０」と一時記憶される。
【０１１７】
ステップＳ６０７では、動画表示情報表示部８１〜８５に表示される動画表示情報１４５が決定される。メモリ１０６により記憶される選択中番号Ｎｘの値に対応する動画表示情報１４５が、ＨＤＤ１０８から読み出される。ＨＤＤ１０８から読み出された動画表示情報１４５は、液晶ディスプレイ４の動画表示情報表示部に出力される。例えば、選択中番号Ｎｘの値が「０」である場合、選択番号が「０」に対応する動画表示情報である「ｓｕｓｐｅｎｃｅ＿Ａ．ｊｐｇ」が、ＨＤＤ１０８から読み出され、動画表示情報表示部８３により表示される。動画表示情報表示部８４により、選択番号が「１」の動画表示情報が表示される。動画表示情報表示部８５により、選択番号が「２」の動画表示情報が表示される。また、動画表示情報表示部８１により、選択番号が「７」の動画表示情報が表示される。動画表示情報表示部８２により、選択番号が「８」の動画表示情報が表示される。つまり、動画表示情報表示部８１から８５により、選択番号が「７」、「８」、「０」、「１」、「２」の動画表示情報がそれぞれ順に表示される。その後、ステップＳ６０４で、選択中番号Ｎｘの値が１インクリメントされると、動画表示情報表示部８１から８５により、選択番号が「８」、「０」、「１」、「２」、「３」の動画表示情報がそれぞれ順に表示される。
【０１１８】
第２の実施形態と同様に、上述のステップＳ６０１からステップＳ６０７の処理が繰り返し実行されることで、動画表示情報表示部８１から８５の情報を、選択中番号Ｎｘの値に応じて連続して切り替えることができる。また、押圧力に基づいて表示維持時間を決定することができるため、動画表示情報表示部８１〜８５の表示を切り替える速度、すなわち表示をスクロールさせる速度を変更することができる。
【０１１９】
（変形例２）
ＣＣＤカメラ７は、カラー画像の撮影が可能なカメラ以外にモノクロ画像のみ撮影が可能なカメラでも良い。また、ＣＭＯＳカメラ、ビデオカメラ、スチールカメラや広角カメラなどが使用されても良い。
【０１２０】
（変形例３）
ＣＣＤカメラ７は、図１に示す液晶ディスプレイ４の鉛直方向における上方位置以外の場所に設置される構成でも良い。例えば、図１における液晶ディスプレイ４の下方位置、図２における液晶ディスプレイ４の右方位置または左方位置に設置されても良い。図２５は、接触部分が撮影される際、鏡４０５による反射を利用する変形例を示す。鏡４０５を使用することにより、本明細書に記載した位置以外の位置にＣＣＤカメラ４０７が設置されることも可能である。
【０１２１】
（変形例４）
透明フレーム３の材料は、透明な材料であり、且つ、容易に様々な形状に加工が可能な材料であるならば何でも良い。たとえば、熱可塑性樹脂であるアクリル、ポリカーボネートは透明であり、かつ、様々な形状に成形し易いため本実施の形態の透明部材の材料として適している。ＰＥＴにより透明部材が作られることで安価に透明部材を作ることが可能となる。また、ガラスで作られても良い。本発明では、接触を検出するために透明電極の蒸着が不要となる。そのため、プラスチックに代表される透明な熱可塑性樹脂全般が使用可能である。
【０１２２】
（変形例５）
透明フレーム３は用途に応じて曲面以外の形状であっても良い。例えば、平面のみから構成される形状、平面と曲面の両方を有する形状から構成されても良い。
【０１２３】
（変形例６）
表示部が液晶ディスプレイ以外でも良い。例えば、画像信号に従って映像を表示するＣＲＴディスプレイや、プラズマディスプレイ、有機ＥＬディスプレイを用いても良い。また、画像信号に従って映像を表示するディスプレイではなく、単に情報が印刷されている紙を用いて表示が行われても良い。上述したディスプレイにインターネットを介してＷｅｂ上の情報が表示されても良い。インターネットを用いることで、ディスプレイに表示可能な情報の種類が多くなる。
【０１２４】
（変形例７）
ステップＳ２１０で包含される図形は正方形や長方形以外の四角形でも良い。例えば、台形などでも良い。
【０１２５】
（変形例８）
本明細書中における接触位置として、接触面積の重心が用いられても良い。重心位置の座標値は、図１１に示すように、Ｘ軸およびＹ軸の座標値により決定される。接触部分の重心位置の座標値は、接触部分に含まれる各画素の座標値のＸ座標の座標値の総和と、Ｙ座標の座標値の総和とを、接触部分に含まれる画素の総和、つまり接触部分の接触面積で割ることにより、求められる。本実施形態では、撮影した画像の最も左下の画素の位置が原点と定義されたが、左下に限定されるものではない。例えば、原点の位置は画像の最も右上、もしくは画像の中心位置を原点として任意に設定されても良い。また本実施形態では１画素を１座標値としているが、１画素を１座標値と限定されるものではない。例えば、２画素を１座標値のように適宜変更されても良い。１座標値が任意の画素数により決定されても良い。
【０１２６】
（変形例９）
図１に示すようにＣＰＵ５、メモリ６、ＨＤＤ８が本装置の全体フレーム２の内部に備えられていない構成でも良い。例えば、外部サーバに画像データが送信されて、外部サーバに備えられているＣＰＵやメモリ、ＨＤＤを用いて処理が行われることも可能である。その場合、全体フレーム２の内部にインターネットを介して外部サーバにデータを送受信するための装置が必要となる。
【０１２７】
（変形例１０）
ＣＣＤカメラ７により撮影が行われるタイミングは、明細書に記載してある実施形態及び変形例では１秒ごとである。撮影を行うタイミングは１秒ごとに限定されず、例えば０．１秒ごともしくは２秒ごとといった任意のタイミングにより撮影を行っても良い。また、第１の実施形態及び第２の実施形態では、サブタスクプログラム３８またはサブタスクプログラム１３９が、１０ｍｓｅｃごとに周期的に実行されている。サブタスクプログラムが周期的でなく、ランダムに実行されても良い。
【０１２８】
（変形例１１）
本明細書における接触部分の大きさとして接触面積を用いている。接触部分の大きさとして、接触部分の形状を包含し、且つ、接触部分と接する長方形または正方形の４辺の長さを用いて決定しても良い。また、接触部分の形状の外周を接触部分の大きさとしても良い。
【０１２９】
（変形例１２）
本明細書における接触体として、長尺の部材の端に柔軟性のある素材を付けた専用のペンなどを用いても良い。この場合、専用のペンにより透明フレームを押圧したときに、専用のペンの先端と透明フレームとの接触部分の接触面積が押圧力に応じて変化するような柔軟性のある素材が、使用される。
【０１３０】
（変形例１３）
本明細書における接触入力型の情報処理装置１では、表示部により表示される情報の選択と選択された情報に対応する処理の実行とを行っている。接触入力型の情報処理装置１では、表示部により表示される情報の選択のみを行い、選択された情報に対応する処理の実行を別の機器により実行される構成でも良い。例えば、接触入力型の情報処理装置と直接電気的に接続された別機器が処理を実行する構成でも良い。また、接触入力型の情報処理装置がインターネットに接続され、ネットワーク上に接続されている別機器により処理が実行される構成でも良い。
【０１３１】
（変形例１４）
接触面積の大きさとして、接触部分の短径と長径との長さの合計値またはいずれか一方の値が用いられても良い。図１３の接触部分６６を用いて、接触部分の形を決定する方法を説明する。接触部分６６の拡大図である接触部分６８において、上下方向の最大長と左右方向の最大長とを求める。第１の実施形態と第２の実施形態と同様に、１画素を１座標値とすると、上下方向の最大長が「２０」、横方向の最大長が「１３」と決定される。上記の方法により決定された上下方向の最大長と左右方向の最大長との値により、接触部分６６の大きさが決定される。
【０１３２】
（変形例１５）
第１の実施形態及び第２の実施形態において、押圧力の大きさが液晶ディスプレイ４により表示されても良い。ユーザは液晶ディスプレイ４により表示される押圧力の大きさを見ながら、接触面積の大きさを調整することができる。そのため、押圧力の大きさを推定することは効果的である。必ずしも押圧力を表示する必要がなければ、接触面積を用いて直接表示維持時間が決定されてもよい。
【０１３３】
（変形例１６）
第１の実施形態の図１０及び第２の実施形態の変形例１の図２４において、押圧力の大きさは、接触面積の大きさに基づいて推定されているが、接触面積の大きさに限定されるものではない。例えば、押圧力の大きさを推定するために、接触部分の形状を包含し、且つ、接触部分と接する長方形または正方形の４辺の長さが用いられても良い。また、接触部分の形状の外周を接触部分の大きさとして、押圧力の大きさが推定されても良い。
【０１３４】
（変形例１７）
第２の実施形態の変形例１の図２４において、接触面積の大きさにより推定された押圧力の大きさに対応する表示維持時間が決定されているが、必ずしも押圧力と表示維持時間とが対応付けられなくても良い。接触面積の大きさと表示維持時間とが直接対応付けられても良い。
【０１３５】
（変形例１８）
第１の実施形態と第２の実施形態と第２の実施形態の変形例１とでは、それぞれ図８、図１９、図２３に示すメインメニューが液晶ディスプレイ４により表示される。第１の実施形態と第２の実施形態と第２の実施形態の変形例１とでは、それぞれ図８に示す動画表示情報表示部５１〜５５、図１９に示す入力部７２、図２３に示す選択ボタン８６に対応する透明フレーム３上での表示位置がユーザにより押圧されることで、それぞれに対応する表示が切り替わる構成となっているが、それに限定されるものではない。予め、特定の表示情報が表示されていない透明レーム３上の位置と、その位置に対応する処理とが決められ、ＨＤＤ８またはＨＤＤ１０８に記憶されている構成でも良い。例えば、図８で、液晶ディスプレイ４により表示されている特定の表示情報である動画表示情報表示部５１〜５５と動画再生部５６とが表示されている以外の領域に対応する透明フレーム３上での位置がユーザにより押圧され、その位置と押圧力とに対応する動画表示情報表示部５１〜５５の表示が切り替わる構成でも良い。
【図面の簡単な説明】
【０１３６】
【図１】第１の実施形態の情報処理装置の側面図である。
【図２】第１の実施形態の正面図である。
【図３】第１の実施形態の電気的構成を示すブロック図である。
【図４】第１の実施形態におけるメモリ６の記憶内容の詳細を示す図である。
【図５】第１の実施形態におけるＨＤＤ８の記憶内容の詳細を示す図である。
【図６】第１の実施形態におけるメイン動作を示すフローチャートである。
【図７】第１の実施形態におけるサブタスクの動作を示すフローチャートである。
【図８】第１の実施形態における液晶ディスプレイ４に表示されるメインメニュー情報４０の一例である。
【図９】第１の実施形態における動画ファイルがＨＤＤ８に記憶される記憶状態を示す概念図である。
【図１０】第１の実施形態における接触面積の大きさと押圧力決定情報４４とがＨＤＤ８に記憶されている記憶状態を示す概念図である。
【図１１】第１の実施形態における液晶ディスプレイ４に表示されるメインメニュー情報４０にＸ軸及びＹ軸を表示した一例である。
【図１２】第１の実施形態におけるサブタスク動作を示す図７のフローチャートにおけるステップＳ２０２の背景除去を行う方法の一例を示す。
【図１３】サブタスク動作を示す図７のフローチャートにおけるステップＳ２０８の接触面積の決定方法の一例を示す。
【図１４】サブタスク動作を示す図７のフローチャートにおけるステップＳ２１０の接触位置を１点に決定する方法の一例を示す。
【図１５】第２の実施形態におけるメモリ１０６の記憶内容の詳細を示す図である。
【図１６】第２の実施形態におけるＨＤＤ１０８の記憶内容の詳細を示す図である。
【図１７】第２の実施形態における選択番号が割り当てられた各動画ファイルが、ＨＤＤ１０８に記憶されている記憶状態を表す概念図である。
【図１８】第２の実施形態におけるメイン動作を示すフローチャートである。
【図１９】第２の実施形態における液晶ディスプレイ４に表示されるメインメニュー情報１４０の一例である。
【図２０】第２の実施形態における処理決定動作を示すフローチャートである。
【図２１】第２の実施形態における表示切替動作を示すフローチャートである。
【図２２】第２の実施形態の変形例１における表示切替動作を示すフローチャートである。
【図２３】第２の実施形態の変形例１における液晶ディスプレイ４に表示されるメインメニュー情報１４０の一例である。
【図２４】第２の実施形態の変形例１における接触面積の大きさに対応する押圧力と、押圧力に対応する表示維持時間とがＨＤＤ８に記憶されている記憶状態を示す概念図である。
【図２５】鏡を用いることにより、ＣＣＤカメラの配置位置を任意の位置に変更することが可能となる変形例３の側面図である。
【符号の説明】
【０１３７】
１ 接触入力型の情報処理装置
２ 全体フレーム
３ 透明フレーム
４ 液晶ディスプレイ
５ ＣＰＵ
６，１０６ メモリ
７ ＣＣＤカメラ
８，１０８ ＨＤＤ
９ 支持スタンド
１０ 音声出力装置
１１，１１１ 撮影画像データ
１２，１１２ 接触位置候補の接触面積
１４、１１４ 入力位置データ
１５、２０、１１５、１２０ 入力位置
１６、２１、１１６、１２１ 最終接触面積
１７、２２、１１７、１２２ 押圧力
１８、２３、１１８、１２３ 接触選択項目
３１、１３１ プログラム
３２、１３２ 色情報
３３、１３３ 表示情報
３４、１３４ 接触部分の大きさ情報
３５、１３５ 表示位置情報
３６、１３６ 動画情報
３７、１３８ メインプログラム
３８、１３９ サブタスクプログラム
３９、１４２ 接触部分色情報
４０、１４３ メインメニュー情報
４１、１４４ 動画タイトル名情報
４２、１４５ 動画表示情報
４３、１４６ 動画再生情報
４４、１４７ 押圧力決定情報
１４８ 表示維持時間情報
５１ 動画表示情報表示部
５２ 動画表示情報表示部
５３ 動画表示情報表示部
５４ 動画表示情報表示部
５５ 動画表示情報表示部
５６ 動画再生部
６１、６２、６４ 撮影画像データ
６３ 差分画像データ
６５、６６ 接触部分
６７ 画素
６８ 接触部分の画素
７１ 動画表示情報表示部
７２ 入力部
８１ 動画表示情報表示部
８２ 動画表示情報表示部
８３ 動画表示情報表示部
８４ 動画表示情報表示部
８５ 動画表示情報表示部
８６ 選択ボタン
Ｎｘ 選択中番号
１３７ 最大選択番号
１４０ 処理決定プログラム
１４１ 表示切替プログラム
【特許請求の範囲】
【請求項１】
接触体が接触するとともに押圧することが可能な透明部材と、
前記透明部材を通してユーザが目視できる情報を表示する表示部と、
接触体が接触可能な前記透明部材の表面と反対側の表面から、接触体と前記透明部材との接触部分の画像を撮影する位置に配置されている撮影ユニットと、
前記撮影ユニットにより前記透明部材を介して撮影された画像を入力し、接触体が前記透明部材を押圧する強さに応じて変化する前記接触部分の大きさを決定する画像処理部と、
前記画像処理部により決定された接触部分の大きさに基づいて、実行すべき処理を決定する処理制御部と、
を備えたことを特徴とする接触入力型の情報処理装置。
【請求項２】
ユーザの体の一部が接触するとともに押圧することが可能な透明部材と、
前記透明部材を通してユーザが目視できる情報を表示する表示部と、
ユーザの体の一部が接触可能な前記透明部材の表面と反対側の表面から、ユーザの体の一部と前記透明部材との接触部分の画像を撮影する位置に配置されている撮影ユニットと、
前記撮影ユニットにより前記透明部材を介して撮影された画像を入力し、ユーザの体の一部が前記透明部材を押圧する強さに応じて変化する前記接触部分の大きさを決定する画像処理部と、
前記画像処理部により決定された接触部分の大きさに基づいて、実行すべき処理を決定する処理制御部と、
を備えたことを特徴とする接触入力型の情報処理装置。
【請求項３】
前記処理制御部は、前記接触部分の大きさに基づいて、前記表示部により表示される情報を切り替える処理を決定することを特徴とする請求項１または請求項２に記載の接触入力型の情報処理装置。
【請求項４】
前記処理制御部は、複数の異なる選択内容に切り替えられる選択項目を前記表示部に表示させ、前記接触部分の大きさに基づいて選択項目の選択内容を切り替える処理を決定することを特徴とする請求項１または請求項２に記載の接触入力型の情報処理装置。
【請求項５】
前記画像処理部が、前記撮影ユニットにより前記透明部材を介して撮影された画像を入力して、前記透明部材上での前記接触部分の接触位置を決定し、
前記処理制御部は、前記接触位置に基づいて、前記処理制御部が前記表示部により表示される複数の情報の中から所望の情報を選択する処理を決定し、前記接触部分の大きさに基づいて、その選択された情報を切り替える処理を決定することを特徴とする請求項３に記載の接触入力型の情報処理装置。
【請求項６】
前記表示部が、前記選択項目を複数表示し、
前記画像処理部が、前記撮影ユニットにより前記透明部材を介して撮影された画像を入力して、前記透明部材上での前記接触部分の接触位置を決定し、
前記画像処理部により決定される接触位置と前記選択項目が表示されている透明部材上での表示位置とを比較し、両位置が一致するか否かを判別する位置判別部を備え、
前記位置判別部が前記接触位置と前記選択項目の表示位置とが一致したと判別した場合、前記処理制御部は、前記接触部分の大きさに基づいて、前記両位置が一致した選択項目の選択内容を切り替える処理を決定することを特徴とする請求項４に記載の接触入力型の情報処理装置。
【請求項７】
前記表示部が、複数の選択項目を表示可能であり、
前記処理制御部が、前記複数の選択項目をスクロールさせて前記表示部に表示させ、前記接触部分の大きさに基づいて前記スクロールの速度を決定することを特徴とする請求項１または請求項２に記載の接触入力型の情報処理装置。
【請求項８】
複数の異なる所定の面積の大きさを記憶した面積記憶部を備え、
前記画像処理部は、前記撮影ユニットにより前記透明部材を介して撮影された画像を入力し、ユーザの体の一部が前記透明部材を押圧する強さに応じて変化する前記接触部分の接触面積の大きさを決定し、
さらに、前記画像処理部は、
前記接触面積の大きさが前記複数の異なる所定の面積の大きさのいずれかに達したか否かを判別するための面積判別部と、
前記接触面積の大きさが前記複数の異なる所定の面積の大きさのいずれかに達した時からの経過時間を測定するための時間測定部と、
前記時間測定部により測定された前記経過時間が所定の時間に達するまでの間、前記接触面積の大きさがいずれかの所定の面積の大きさに維持されているか否かを判定する接触面積維持判定部とを備え、
前記接触面積維持判定部により前記接触面積の大きさがいずれかの所定の面積の大きさに維持されていると判定された場合、前記画像処理部がその判定された接触面積の大きさを最終的な接触面積の大きさと決定することを特徴とする請求項２から請求項７のいずれかに記載の接触入力型の情報処理装置。
【請求項９】
前記画像処理部により決定される接触部分の大きさが第１の所定の大きさにある場合、前記処理制御部は前記表示部により表示される情報を切り替える処理を決定し、
前記画像処理部により決定される接触部分の大きさが第２の所定の大きさにある場合、前記処理制御部は前記表示部により表示される情報に対応する処理を確定する処理を決定することを特徴とする請求項１から請求項７のいずれかに記載の接触入力型の情報処理装置。
【請求項１０】
前記透明部材はプラスチックにより作られていることを特徴とする請求項１から請求項９のいずれかに記載の接触入力型の情報処理装置。
【請求項１１】
前記透明部材が曲面を有することを特徴とする請求項１０に記載の接触入力型の情報処理装置。
【請求項１２】
ユーザの体の一部が接触するとともに押圧することが可能な透明部材を通してユーザが目視できる情報を表示する表示ステップと、
ユーザの体の一部が接触可能な前記透明部材の表面と反対側の表面から、ユーザの体の一部と前記透明部材との接触部分の画像を撮影する撮影ステップと、
前記撮影された画像を入力して、ユーザの体の一部が前記透明部材を押圧する強さに応じて変化する前記接触部分の大きさを決定する大きさ決定ステップと、
前記決定された接触部分の大きさに基づいて、実行すべき処理を決定する処理決定ステップと、
を備えたことを特徴とする接触入力型の情報処理方法。
【請求項１３】
ユーザの体の一部が接触するとともに押圧することが可能な透明部材を通してユーザが目視できる情報を表示する表示ステップと、
ユーザの体の一部が接触可能な前記透明部材の表面と反対側の表面から、ユーザの体の一部と前記透明部材との接触部分の画像を撮影する撮影ステップと、
前記撮影された画像を入力して、ユーザの体の一部が前記透明部材を押圧する強さに応じて変化する前記接触部分の大きさを決定する大きさ決定ステップと、
前記決定された接触部分の大きさに基づいて、実行すべき処理を決定する処理決定ステップと、
をコンピュータに実行させる情報処理プログラム。
【請求項１】
接触体が接触するとともに押圧することが可能な透明部材と、
前記透明部材を通してユーザが目視できる情報を表示する表示部と、
接触体が接触可能な前記透明部材の表面と反対側の表面から、接触体と前記透明部材との接触部分の画像を撮影する位置に配置されている撮影ユニットと、
前記撮影ユニットにより前記透明部材を介して撮影された画像を入力し、接触体が前記透明部材を押圧する強さに応じて変化する前記接触部分の大きさを決定する画像処理部と、
前記画像処理部により決定された接触部分の大きさに基づいて、実行すべき処理を決定する処理制御部と、
を備えたことを特徴とする接触入力型の情報処理装置。
【請求項２】
ユーザの体の一部が接触するとともに押圧することが可能な透明部材と、
前記透明部材を通してユーザが目視できる情報を表示する表示部と、
ユーザの体の一部が接触可能な前記透明部材の表面と反対側の表面から、ユーザの体の一部と前記透明部材との接触部分の画像を撮影する位置に配置されている撮影ユニットと、
前記撮影ユニットにより前記透明部材を介して撮影された画像を入力し、ユーザの体の一部が前記透明部材を押圧する強さに応じて変化する前記接触部分の大きさを決定する画像処理部と、
前記画像処理部により決定された接触部分の大きさに基づいて、実行すべき処理を決定する処理制御部と、
を備えたことを特徴とする接触入力型の情報処理装置。
【請求項３】
前記処理制御部は、前記接触部分の大きさに基づいて、前記表示部により表示される情報を切り替える処理を決定することを特徴とする請求項１または請求項２に記載の接触入力型の情報処理装置。
【請求項４】
前記処理制御部は、複数の異なる選択内容に切り替えられる選択項目を前記表示部に表示させ、前記接触部分の大きさに基づいて選択項目の選択内容を切り替える処理を決定することを特徴とする請求項１または請求項２に記載の接触入力型の情報処理装置。
【請求項５】
前記画像処理部が、前記撮影ユニットにより前記透明部材を介して撮影された画像を入力して、前記透明部材上での前記接触部分の接触位置を決定し、
前記処理制御部は、前記接触位置に基づいて、前記処理制御部が前記表示部により表示される複数の情報の中から所望の情報を選択する処理を決定し、前記接触部分の大きさに基づいて、その選択された情報を切り替える処理を決定することを特徴とする請求項３に記載の接触入力型の情報処理装置。
【請求項６】
前記表示部が、前記選択項目を複数表示し、
前記画像処理部が、前記撮影ユニットにより前記透明部材を介して撮影された画像を入力して、前記透明部材上での前記接触部分の接触位置を決定し、
前記画像処理部により決定される接触位置と前記選択項目が表示されている透明部材上での表示位置とを比較し、両位置が一致するか否かを判別する位置判別部を備え、
前記位置判別部が前記接触位置と前記選択項目の表示位置とが一致したと判別した場合、前記処理制御部は、前記接触部分の大きさに基づいて、前記両位置が一致した選択項目の選択内容を切り替える処理を決定することを特徴とする請求項４に記載の接触入力型の情報処理装置。
【請求項７】
前記表示部が、複数の選択項目を表示可能であり、
前記処理制御部が、前記複数の選択項目をスクロールさせて前記表示部に表示させ、前記接触部分の大きさに基づいて前記スクロールの速度を決定することを特徴とする請求項１または請求項２に記載の接触入力型の情報処理装置。
【請求項８】
複数の異なる所定の面積の大きさを記憶した面積記憶部を備え、
前記画像処理部は、前記撮影ユニットにより前記透明部材を介して撮影された画像を入力し、ユーザの体の一部が前記透明部材を押圧する強さに応じて変化する前記接触部分の接触面積の大きさを決定し、
さらに、前記画像処理部は、
前記接触面積の大きさが前記複数の異なる所定の面積の大きさのいずれかに達したか否かを判別するための面積判別部と、
前記接触面積の大きさが前記複数の異なる所定の面積の大きさのいずれかに達した時からの経過時間を測定するための時間測定部と、
前記時間測定部により測定された前記経過時間が所定の時間に達するまでの間、前記接触面積の大きさがいずれかの所定の面積の大きさに維持されているか否かを判定する接触面積維持判定部とを備え、
前記接触面積維持判定部により前記接触面積の大きさがいずれかの所定の面積の大きさに維持されていると判定された場合、前記画像処理部がその判定された接触面積の大きさを最終的な接触面積の大きさと決定することを特徴とする請求項２から請求項７のいずれかに記載の接触入力型の情報処理装置。
【請求項９】
前記画像処理部により決定される接触部分の大きさが第１の所定の大きさにある場合、前記処理制御部は前記表示部により表示される情報を切り替える処理を決定し、
前記画像処理部により決定される接触部分の大きさが第２の所定の大きさにある場合、前記処理制御部は前記表示部により表示される情報に対応する処理を確定する処理を決定することを特徴とする請求項１から請求項７のいずれかに記載の接触入力型の情報処理装置。
【請求項１０】
前記透明部材はプラスチックにより作られていることを特徴とする請求項１から請求項９のいずれかに記載の接触入力型の情報処理装置。
【請求項１１】
前記透明部材が曲面を有することを特徴とする請求項１０に記載の接触入力型の情報処理装置。
【請求項１２】
ユーザの体の一部が接触するとともに押圧することが可能な透明部材を通してユーザが目視できる情報を表示する表示ステップと、
ユーザの体の一部が接触可能な前記透明部材の表面と反対側の表面から、ユーザの体の一部と前記透明部材との接触部分の画像を撮影する撮影ステップと、
前記撮影された画像を入力して、ユーザの体の一部が前記透明部材を押圧する強さに応じて変化する前記接触部分の大きさを決定する大きさ決定ステップと、
前記決定された接触部分の大きさに基づいて、実行すべき処理を決定する処理決定ステップと、
を備えたことを特徴とする接触入力型の情報処理方法。
【請求項１３】
ユーザの体の一部が接触するとともに押圧することが可能な透明部材を通してユーザが目視できる情報を表示する表示ステップと、
ユーザの体の一部が接触可能な前記透明部材の表面と反対側の表面から、ユーザの体の一部と前記透明部材との接触部分の画像を撮影する撮影ステップと、
前記撮影された画像を入力して、ユーザの体の一部が前記透明部材を押圧する強さに応じて変化する前記接触部分の大きさを決定する大きさ決定ステップと、
前記決定された接触部分の大きさに基づいて、実行すべき処理を決定する処理決定ステップと、
をコンピュータに実行させる情報処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【公開番号】特開２００９−２３７８７５（Ｐ２００９−２３７８７５Ａ）
【公開日】平成２１年１０月１５日（２００９．１０．１５）
【国際特許分類】
【出願番号】特願２００８−８２８３７（Ｐ２００８−８２８３７）
【出願日】平成２０年３月２７日（２００８．３．２７）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
【公開日】平成２１年１０月１５日（２００９．１０．１５）
【国際特許分類】
【出願日】平成２０年３月２７日（２００８．３．２７）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
[ Back to top ]