表示装置、表示装置の制御方法及びプログラム
【課題】ユーザにとってより少ない操作負担で、表示されている画像を変更し得る仕組みを提供する。
【解決手段】制御部１１０は、タッチスクリーン部１１から出力された検出結果のなかで、重心に相当する位置の座標を第１操作点として特定し、ＸＹ直交座標系の予め決められた位置の座標を第２操作点として特定する。制御部１１０は、第１操作点のＸ座標及びＹ座標に基づいて手の移動方向を特定し、第２操作点のＺ座標に基づいて特定された手の傾きが予め決められた条件（判定条件）を満たすような場合には、特定された移動方向の操作の順動作であると判断する。判定条件は、手の移動方向側のＺ座標が、逆方向側のＺ座標よりも大きい、という条件である。制御部１１０は、順動作であると判断した場合のみ、移動方向の順動作に応じた処理を実行する。
【解決手段】制御部１１０は、タッチスクリーン部１１から出力された検出結果のなかで、重心に相当する位置の座標を第１操作点として特定し、ＸＹ直交座標系の予め決められた位置の座標を第２操作点として特定する。制御部１１０は、第１操作点のＸ座標及びＹ座標に基づいて手の移動方向を特定し、第２操作点のＺ座標に基づいて特定された手の傾きが予め決められた条件（判定条件）を満たすような場合には、特定された移動方向の操作の順動作であると判断する。判定条件は、手の移動方向側のＺ座標が、逆方向側のＺ座標よりも大きい、という条件である。制御部１１０は、順動作であると判断した場合のみ、移動方向の順動作に応じた処理を実行する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置における表示内容を操作に応じて制御する技術に関する。
【背景技術】
【０００２】
各種センサを備えた装置において、それらのセンサによって検出されたユーザの動作から操作内容を特定し、その特定された操作内容に応じた処理を行う技術がある。例えば、特許文献１には、一定時間腕を差し伸べる動作によって操作対象を指定し、さらにその指定後の動作により、この操作対象に対する処理の指示を行うことが記載されている。また、非特許文献１には、指が近接したことを検出する近接センサが設けられた表示装置が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２４６８５６号公報
【非特許文献】
【０００４】
【非特許文献１】「45.5: A System LCD with Optical Input Function usingInfra-Red Backlight Subtraction Scheme」、シャープ株式会社、SID Symposium Digest of Technical Papers -- May 2010 -- Volume 41, Issue 1, pp. 680-683
【発明の概要】
【発明が解決しようとする課題】
【０００５】
図１２は、非特許文献１の記載と同様に表示装置１０ａに対して非接触の操作を行う様子を説明するための模式図である。ここでは、表示装置１０ａは、表示面に近接した手の移動方向を近接センサで検出し、その方向に応じて表示面の表示内容を変更する。例えば表示面に電子書籍が表示されている場合に、ユーザが表示面の上で手を右側に移動させると、表示装置１０ａは、電子書籍のページが順方向にめくられたかのような動きの画像を表示させる。一方、ユーザが表示面の上で手を左側に移動させると、表示装置１０ａは、電子書籍のページが逆方向にめくられたかのような動きの画像を表示させる。
【０００６】
ところで、ユーザは、このような順方向のページめくりの操作を連続して行う場合には、図１２（ａ）に示すように、矢印ａの方向に移動させた手を元の位置に戻すために、いったん、それとは反対である矢印ｂの方向へと移動させる必要がある。このとき、ユーザは、手を元の位置に戻すだけであるから、表示装置１０ａの表示内容が変更されることは期待していない。しかしながら、表示装置１０ａは、このように手を元に戻す操作と、逆方向のページめくりの操作とを区別できないから、手を元の位置に戻す場合においても、電子書籍のページが逆方向にめくられたかのように、表示内容を変更してしまう。
【０００７】
このような意図しない表示内容の変更を避けるため、ユーザは、図１２（ｂ）に示すように、矢印ａの方向に移動させた手を元の位置に戻す場合には、手を、近接センサの検出領域外へと向かう矢印ｃの方向へと迂回させてから元の位置に戻す必要がある。ユーザは、このような迂回の操作を行うときに、腕全体を自らの方に引き寄せるといった動作が必要となり、非常に煩わしく感じる。腕全体を自らの方に引き寄せるのではなく、手を高く持ち上げて近接センサの検出領域よりも上方に手を迂回させるという方法も考えられるが、ユーザからすれば、どの程度の高さまで手を持ち上げれば近接センサの検出領域外になるかということが分からないため、必要以上に手を高く持ち上げるなどのように、操作負担の軽減にはなりにくい。また、特許文献１に記載の技術のように、操作対象を逐一指定してからその操作対象に対する指示を行うようにしてもよいが、これには２段階の動作が必要となるから、これも操作負担の軽減にはならない。
【０００８】
そこで、本発明は、ユーザにとってより少ない操作負担で、表示されている画像を変更し得る仕組みを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明は、画像を表示する表示面を有する表示手段と、前記表示面にユーザの手を接触させないで移動させる近接操作を受け付ける操作手段と、前記操作手段によって受け付けられた近接操作における前記手の移動方向及び前記表示面に対する手の傾きを検出する検出手段と、前記検出手段によって検出された前記手の傾きに基づき、当該手の移動方向側の部位から前記表示面までの距離と、当該移動方向側の部位から見て前記手の移動方向側とは逆方向側にある部位から前記表示面までの距離との大小関係が、決められた条件を満たすか否かを判断する判断手段と、前記判断手段により前記条件が満たされると判断された場合には、前記操作が受け付けられたときに表示されていた画像を、前記検出手段によって検出された前記手の移動方向に応じた画像に変更し、前記判断手段により前記条件が満たされないと判断された場合には、前記操作が受け付けられたときに表示されていた画像を変更しない表示制御手段とを備えることを特徴とする表示装置を提供する。
【００１０】
上記表示装置において、前記判断手段は、前記手の移動方向側の部位から前記表示面までの距離が、当該移動方向側の部位から見て前記手の移動方向側とは逆方向側にある部位から前記表示面までの距離よりも大きい場合に、前記決められた条件を満たすと判断し、前記手の移動方向側の部位から前記表示面までの距離が、当該移動方向側の部位から見て前記手の移動方向側とは逆方向側にある部位から前記表示面までの距離以下の場合に、前記決められた条件を満たさないと判断するようにしてもよい。
【００１１】
上記表示装置において、前記表示制御手段は、第１の操作が前記操作手段によって受け付けられた時刻と、当該第1の操作の後になされた第２の操作が前記操作手段によって受け付けられた時刻との差が閾値以上である場合には、前記判断手段による判断結果によらずに、前記第２の操作が受け付けられたときに表示されていた前記画像の内容を、当該第２の操作について前記検出手段によって検出された前記手の移動方向に応じた画像に変更するようにしてもよい。
【００１２】
また、本発明は、画像を表示する表示面を有する表示手段と、前記表示面に前記ユーザの手を接触させないで移動させる近接操作を受け付ける操作手段とを備えた表示装置の制御方法であって、前記操作手段によって受け付けられた近接操作における前記手の移動方向及び前記表示面に対する手の傾きを検出する検出ステップと、前記検出ステップにおいて検出された前記手の傾きに基づき、当該手の移動方向側の部位から前記表示面までの距離と、当該移動方向側の部位から見て前記手の移動方向側とは逆方向側にある部位から前記表示面までの距離との大小関係が、決められた条件を満たすか否かを判断する判断ステップと、前記判断ステップにおいて前記条件が満たされると判断された場合には、前記操作が受け付けられたときに表示されていた画像を、前記検出ステップにおいて検出された前記手の移動方向に応じた画像に変更し、前記判断ステップにおいて前記条件が満たされないと判断された場合には、前記操作が受け付けられたときに表示されていた画像を変更しない表示制御ステップとを備えることを特徴とする制御方法を提供する。
【００１３】
また、本発明は、画像を表示する表示面を有する表示手段と、前記表示面に前記ユーザの手を接触させないで移動させる近接操作を受け付ける操作手段とを有するコンピュータを、前記操作手段によって受け付けられた近接操作における前記手の移動方向及び前記表示面に対する手の傾きを検出する検出手段と、前記検出手段によって検出された前記手の傾きに基づき、当該手の移動方向側の部位から前記表示面までの距離と、当該移動方向側の部位から見て前記手の移動方向側とは逆方向側にある部位から前記表示面までの距離との大小関係が、決められた条件を満たすか否かを判断する判断手段と、前記判断手段により前記条件が満たされると判断された場合には、前記操作が受け付けられたときに表示されていた画像を、前記検出手段によって検出された前記手の移動方向に応じた画像に変更し、前記判断手段により前記条件が満たされないと判断された場合には、前記操作が受け付けられたときに表示されていた画像を変更しない表示制御手段として機能させるためのプログラムを提供する。
【発明の効果】
【００１４】
本発明によれば、ユーザにとってより少ない操作負担で、表示されている画像を変更することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態に係る表示装置の外観を示した正面図である。
【図２】同実施形態に係る表示装置のハードウェア構成を示したブロック図である。
【図３】同実施形態に係る近接センサの検出結果を取得する処理を説明するための模式図である。
【図４】同実施形態に係る移動操作を説明するための模式図である。
【図５】同実施形態に係る処理テーブルの一例を示した図である。
【図６】同実施形態に係るタッチスクリーン部をその表示面に平行な方向から見たときの図である。
【図７】同実施形態に係る制御部が行う処理の流れを示すフローチャートである。
【図８】同実施形態において、操作の軌跡をＸＹ平面上に示したときの一例を示す図である。
【図９】同実施形態において、第２操作点の座標をサンプリング順序で連ねた曲線の一例を示す図である。
【図１０】同実施形態に係るタッチスクリーン部をその表示面に平行な方向から見たときの図である。
【図１１】同実施形態に係る表示装置の機能構成を示す機能ブロック図である。
【図１２】従来の表示装置の操作を説明するための模式図である。
【発明を実施するための形態】
【００１６】
以下、本発明の実施形態について説明する。
（構成）
図１は、本発明の実施形態に係る表示装置の外観を示した正面図である。表示装置１０は、例えば長方形のタッチスクリーン部１１と、そのタッチスクリーン部１１の周囲に設けられた操作子１４３とを有するコンピュータであり、例えば、タブレット端末、電子ブックリーダ及びパーソナルコンピュータなどの電子機器である。タッチスクリーン部１１は、画像を表示する表示部、タッチスクリーン部１１に対する物体の接触を検出するタッチセンサ、及びタッチスクリーン部１１に対する物体の近接状態を検出する近接センサで構成されている。ユーザは、タッチスクリーン部１１に手を近づけたり接触させたりすることで、表示装置１０を操作することができるようになっている。表示部、タッチセンサ及び近接センサは、ユーザから見て奥側から手前側に向かって重ねられている。ユーザから見て最も奥側に配置されているのが表示部で、それよりも１つ手前に配置されているのがタッチセンサで、最も手前側に配置されているのが近接センサである。
【００１７】
図２は、表示装置１０としてのタブレット端末のハードウェア構成を示したブロック図である。表示装置１０は、制御部１１０と、記憶部１２０と、表示部１３０と、操作部１４０とを備えている。制御部１１０は、ＣＰＵ（Central Processing Unit）などの演算装置と、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などの記憶装置とを備えている。制御部１１０のＣＰＵが、ＲＯＭや記憶部１２０に記憶されているコンピュータプログラムをＲＡＭに読み出して実行することにより、表示装置１０の各部を制御する。制御部１１０は、システムクロックに基づいて現在時刻を計測する計時機能なども備えている。
【００１８】
表示部１３０は、例えば液晶ディスプレイ等の表示面１３１と、表示面１３１の制御を行う制御回路を有しており、制御部１１０から供給されたデータに応じた画像を表示面１３１に表示させる表示手段として機能する。この表示面１３１は、ＸＹ直交座標系が設定されている。このＸＹ直交座標系の原点Ｐは、長方形である表示面１３１の四隅のうちのいずれか（ここでは図の左上隅）に位置している。この原点Ｐを含む、表示面１３１の２辺のうち、一方の辺（ここでは表示面１３１の長手方向の辺）がＸ軸に対応し、他方の辺（ここでは表示面１３１の短手方向の辺）がＹ軸に対応している。また、原点Ｐを含み、Ｘ軸及びＹ軸と直交する直線をＺ軸とする。つまり、Ｘ軸及びＹ軸で表される表示面１３１に対して、Ｚ軸は高さ方向の座標軸に相当する。図１に示す座標記号のうち、内側が白い円の中に黒い円を描いた記号は、紙面奥側から手前側に向かう矢印を表している。以下の説明においては、矢印Ｘが指す方向をＸ軸方向といい、矢印Ｙが指す方向をＹ軸方向といい、矢印Ｚが指す方向をＺ軸方向というものとする。
【００１９】
操作部１４０は、ユーザの操作を受け付けるタッチセンサ１４１、近接センサ１４２及び操作子１４３を備えており、ユーザの操作に応じた信号を制御部１１０に出力する。タッチセンサ１４１は、図１のタッチスクリーン部１１において、表示面１３１の上（Ｚ軸正方向側）に積層され、且つ表示面１３１の全体を覆うように重ねられた状態で配置されており、その大きさ及び形状は表示面１３１の大きさ及び形状とほぼ同じである。タッチセンサ１４１は、光を透過する材料で構成されており、表示面１３１に表示された画像はタッチセンサ１４１を透過してユーザに視認されるようになっている。表示面１３１と同様に、このタッチセンサ１４１にも、ＸＹ直交座標系が設定されている。つまり、ＸＹ直交座標系の原点Ｐは、タッチセンサ１４１の四隅のうちのいずれか（ここでは図１の左上隅）に位置している。この原点Ｐを含む、タッチセンサ１４１の２辺のうち、一方の辺（ここではタッチセンサ１４１の短手方向の辺）がＹ軸に対応し、他方の辺（ここではタッチセンサ１４１の長手方向の辺）がＸ軸に対応している。タッチセンサ１４１は、手が触れたか否かを所定のサンプリング周期で検出し、その接触位置を示す座標を検出結果として制御部１１０へ出力する。以降の説明において、ユーザがタッチスクリーン部１１の表面に手を触れさせた状態で行う操作であって、タッチセンサ１４１により出力された検出結果に基づいて特定される操作のことを「接触操作」ということにする。
【００２０】
近接センサ１４２は、図１のタッチスクリーン部１１において、タッチセンサ１４１の上（Ｚ軸正方向側）に積層され、且つ、タッチセンサ１４１の全体を覆うように重ねられた状態で配置されており、その大きさ及び形状は、前述したタッチセンサ１４１及び表示面１３１の大きさ及び形状とほぼ同じである。この近接センサ１４２は、光を透過する材料で構成されており、表示面１３１に表示された画像は近接センサ１４２を透過してユーザに視認されるようになっている。前述した表示面１３１及びタッチセンサ１４１と同様に、この近接センサ１４２にも、ＸＹ直交座標系が設定されている。つまり、ＸＹ直交座標系の原点Ｐは、近接センサ１４２の四隅のうちのいずれか（ここでは図１の左上隅）に位置している。この原点Ｐを含む、近接センサ１４２の２辺のうち、一方の辺（ここでは近接センサ１４２の短手方向の辺）がＹ軸に対応し、他方の辺（ここでは近接センサ１４２の長手方向の辺）がＸ軸に対応している。近接センサ１４２は、例えば赤外線型のセンサであり、赤外線を発する複数の発光素子と、光を受けとって電気信号に変換する複数の受光素子を備えており、これらがＸＹ直交座標系に従って配置されている。発光素子から発せられた赤外線が、手に当たって反射してくると、受光素子は、反射した赤外線を受光する。この手が近接センサ１４２に近いほど反射光の強度が増すことになる。近接センサ１４２は、受光素子の受光強度に基づいて表示面１３１と手との距離、つまりＺ座標を検出すると、Ｘ座標、Ｙ座標及びＺ座標を検出結果として出力する。この近接センサ１４２を有する操作部１４０は、表示面１３１にユーザの手を接触させないで移動させる近接操作を受け付ける操作手段として機能することになる。以降の説明において、ユーザがタッチスクリーン部１１の表面に手を近接させた状態で行う操作であって、近接センサ１４２により出力された検出結果に基づいて特定される操作のことを「非接触操作」ということにする。
【００２１】
ここで、近接センサ１４２の検出結果を取得する処理について説明する。図３（ａ）は、タッチスクリーン部１１をその表示面に平行な方向から見たときの図である。なお、図３における手２０ａは、ユーザの右手の端面図である。二点鎖線Ｃは、近接センサの検出領域の限界を表している。この検出領域の限界Ｃとタッチスクリーン部１１との間の領域は、近接センサ１４２がタッチスクリーン部１１の表示面１３１から手（ここでは、手２０ａ）までの距離（Ｚ座標）を検出可能な近接検出可能範囲ＤＰＲである。近接検出可能範囲ＤＰＲの大きさは、近接センサ１４２の発光素子及び受光素子の性能に依るものであり、多数のユーザによる操作をサンプルとして実験的に求められた結果（すなわち、検出可能であるべきＺ軸方向の距離）を満たすような性能となるように、本実施形態の発光素子及び受光素子が設計されている。図３（ａ）において黒い円の各々は、近接センサ１４２により検出された検出結果の一例を表している。図３（ｂ）には、縦軸をＺ軸とし、横軸をＸ軸とした座標系において、近接センサ１４２による検出結果をプロットしたときの様子を表している。図３（ｂ）において、距離Ｚ１〜Ｚ６は、近接センサ１４２による検出結果に含まれるＺ座標、すなわち、手２０ａの各部位とタッチスクリーン部１１との距離を表している。
【００２２】
表示装置１０は、例えば電子書籍、写真又は各種メニュー画面などの画像をタッチスクリーン部１１に表示させ、手を移動させる操作（以降、移動操作という）を検出した場合に、その移動操作の方向に応じた処理を行う。ここでいう、移動操作の方向に応じた処理とは、例えば電子書籍が表示されている状態において、移動操作の方向にページがめくられたかのような動きの画像を表示させる処理や、表示されている画像オブジェクトが移動操作の方向に移動したかのような動きの画像を表示させる処理である。また、移動操作は、ユーザがタッチスクリーン部１１に手を近接させた状態で行う操作（非接触操作）であって、近接検出可能範囲ＤＰＲ内において手を移動させるという操作である。
【００２３】
図４は、移動操作を説明するために、タッチスクリーン部１１を正面から見た模式図である。ここで、タッチスクリーン部１１に対して、ユーザが手２０ｂ１をＸ軸正方向に相当する矢印Ａの方向に移動させる移動操作であって、その移動操作の方向（移動方向）に応じた処理が行われることを期待している移動操作を「第１移動操作」と称する。この移動方向は、タッチスクリーン部１１の平面方向、つまり、ＸＹ直交座標系で表される方向である。また、タッチスクリーン部１１に対して、ユーザが手２０ｂ２をＸ軸負方向に相当する矢印Ｂの方向に移動させる移動操作であって、その移動方向に応じた処理が行われることを期待している移動操作を「第２移動操作」と称する。このように、ユーザが移動方向に応じた処理が行われることを期待している動作を「順動作」という。ところで、第１移動操作を連続して行う場合などには、Ｘ軸正方向に相当する矢印Ａの方向に移動させた手を元の位置に戻すために、いったんＸ軸負方向に相当する矢印Ｂの方向へと移動させる必要がある。同様に、第２移動操作を連続して行う場合には、Ｘ軸負方向に相当する矢印Ｂの方向に移動させた手を元の位置に戻すために、いったんＸ軸正方向に相当する矢印Ａの方向へと移動させる必要がある。このように、移動操作を行った後に、次の移動操作を行うために手を元の位置に戻す動作を「逆動作」という。
【００２４】
もちろん、ユーザは、順動作を行うときには、表示されている画像に対してその順動作の移動方向に応じた処理が行われることを期待しているのに対し、逆動作を行うときには、表示されている画像に対して何らかの処理が行われることは期待していない。このため表示装置１０の制御部１１０は、移動操作が順動作と逆動作のいずれによってなされたかを区別しなければならない。しかしながら、制御部１１０は、Ｘ軸方向の方向成分以外にそれぞれの操作の軌跡を区別することが出来ないから、矢印Ｂの方向に移動させる操作が第２移動操作の順動作なのか第１移動操作の逆動作なのか、矢印Ａの方向に移動させる操作が第１移動操作の順動作なのか第２移動操作の逆動作なのか、を特定することが出来ない。
【００２５】
ところで、ユーザは目の前に実在する物体を手のひらで左右の何れかの方向に押しのけたいと考えたときに、手のひらをその物体の方向に向ける。そのときの手の傾きを考えると、その押しのける方向側の手の部位が、その逆方向側の部位よりも高くなる（Ｚ軸正方向に位置する）。このため、タッチスクリーン部に表示された画像を、手の移動方向に移動させるような非接触操作を行う場合であっても、その手の移動方向側の部位がその逆方向側の部位よりも高くなると考えられる。これに対し、ユーザが逆動作を行うときには、表示されている画像に対して何らかの処理が行われることは期待していないから、手の移動方向側の部位がその逆方向側の部位と同じ高さに位置する状態か、又は手の移動方向側の部位がその逆方向側の部位よりも低い状態で手を元の位置に戻すと考えられる。
【００２６】
そこで、表示装置１０の制御部１１０は、操作部１４０によって受け付けられた近接操作における手の移動方向及び表示面１３１に対する傾きを検出する。そして、制御部１１０は、検出された手の傾きに基づき、手の移動方向側の部位から前記表示面までの距離と、当該移動方向側の部位から見て、手の移動方向側とは逆方向側にある部位から表示面１３１までの距離との大小関係が、決められた条件を満たすか否かを判断することにより、移動操作の順動作又は逆動作を特定する。例えば、制御部１１０は、タッチスクリーン部１１から出力された検出結果のなかで、この検出結果により示される手の重心に相当する位置のＸ座標及びＹ座標を第１操作点として特定し、タッチスクリーン部１１の予め決められた位置（例えば、図４のタッチスクリーン部１１の中心に位置する検出点Ｐ２）において検出された手の位置のＺ座標を第２操作点として特定する。そして、制御部１１０は、第１操作点に基づいて手の移動方向を特定し、第２操作点に基づいて特定された手の傾きが予め決められた条件（判定条件）を満たすような場合には、特定された移動方向の操作（第１移動操作又は第２移動操作）の順動作であると判断する。ここで、判定条件は、手の移動方向側の部位のＺ座標が、当該移動方向側の部位から見て手の移動方向側とは逆方向側にある部位のＺ座標よりも大きい、という条件である。
【００２７】
ここで、図２の説明に戻る。記憶部１２０は、例えばフラッシュメモリやハードディスク等の不揮発性の記憶手段である。記憶部１２０には、制御部１１０が実行するコンピュータプログラム、タッチスクリーン部１１に対するユーザの操作の内容と制御部１１０が行う処理の内容とを対応付けた処理テーブル１２１及び各種の閾値などが記憶されている。図５は、処理テーブル１２１の一例を示した図である。処理テーブル１２１は、「操作内容」及び「処理内容」というフィールドを有している。「処理の内容」のフィールドには、制御部１１０によって実行される処理であり、特に、表示面１３１の表示の制御に関する処理の内容が記述されている。「操作内容」のフィールドには、「処理内容」に記述された処理を制御部１１０に実行させるトリガとなる操作の内容が記述されている。制御部１１０は、決められた条件が満たされると判断された場合、つまり順動作であると判断された場合には、この処理テーブル１２１の内容に基づいて、操作が受け付けられたときに表示されていた画像を、手の移動方向に応じた画像に変更し、決められた条件が満たされないと判断された場合、つまり逆動作であると判断された場合には、操作が受け付けられたときに表示されていた画像を変更しないようにする。
【００２８】
（動作）
図６は、タッチスクリーン部１１をその表示面に平行な方向から見たときの図である。なお、図６における手２０ｂ１、手２０ｂ２は、ユーザの左手の端面図である。ここで、ユーザは、タッチスクリーン部１１に表示された画像を、次の画像へと変更させるために、手２０ｂ１をＸ軸正方向に相当する矢印Ａの方向に移動させ、更に、移動させた手を元の位置に戻すために、手２０ｂ２をＸ軸負方向に相当する矢印Ｂの方向へと移動させたものとする。また、手のＸ軸正方向の部位のＺ座標は、手のＸ軸負方向の部位のＺ座標よりも大きいものとする。
【００２９】
図７を用いて実施形態の動作を説明する。図７は、制御部１１０が行う処理の流れを示すフローチャートである。表示装置１０の制御部１１０は、記憶部１２０に記憶されているプログラムを実行することで以下の動作を行う。制御部１１０は、タッチスクリーン部１１により手の近接が検出されたか否かを判断する（ステップＳ８００）。制御部１１０は、タッチスクリーン部１１により検出されていないと判断した場合には（ステップＳ８００；ＮＯ）、この判断処理を繰り返す。一方、制御部１１０は、タッチスクリーン部１１により近接が検出されたと判断した場合には（ステップＳ８００；ＹＥＳ）、タッチスクリーン部１１から出力された検出結果から、この検出結果により示される手の重心に相当する位置の座標を第１操作点として特定し、タッチスクリーン部１１の予め決められた位置（例えば、図６のタッチスクリーン部１１の中心に位置する検出点Ｐ２）において検出された手の位置のＺ座標を第２操作点として特定する。そして、制御部１１０は、第１操作点及び第２操作点をサンプリングナンバと現在時刻とともにＲＡＭに記憶させる。サンプリングナンバは、検出結果が最初に検出されたときのサンプリングを第１回目とし、以降、サンプリングのたびに１ずつ増加する値である。制御部１１０は自身の計時機能によって現在時刻を計測しながらこのサンプリングナンバを数える。検出結果は、タッチスクリーン部１１により手の近接が検出されているかぎり、所定のサンプリング周期でタッチスクリーン部１１から制御部１１０に出力され続ける。したがって、制御部１１０は、例えばステップＳ８０２以降の処理においても、出力された検出結果を記憶し続けることになる。これにより、制御部１１０のＲＡＭには、第１操作点の座標及び第２操作点の座標が時間に応じて変化していく様子、すなわち各座標をサンプリング順序で連ねた軌跡が記憶されることになる。第１操作点の座標をサンプリング順序で連ねた軌跡は、点Ｐｎ（Ｘｎ，Ｙｎ）の集合であり、第２操作点の座標をサンプリング順序で連ねた軌跡は、点Ｐｍ（Ｚｍ）の集合である。ただし、ｎ及びｍは１以上の整数をとるサンプリングナンバである。ここで、各座標の間隔が広くなっている場合には補間処理、狭くなっている場合には間引き処理などを行ってもよい。
【００３０】
制御部１１０は、ＲＡＭに記憶された第１操作点の座標をサンプリング順序で連ねた軌跡（第１軌跡）を参照することで、移動方向を特定する（ステップＳ８０２）。図８は、操作の軌跡をＸＹ平面上に示したときの一例を示す図である。制御部１１０は、ユーザにより操作が開始された直後の第１回目のサンプリングにより得られた第１操作点の座標を「始点」として特定する。この第１回目のサンプリングが行われた時刻をｔ０とする。図８において、この始点は、点Ｐ１（Ｘ１，Ｙ１）に相当する。制御部１１０は、第１軌跡Ｄの始点を通るＸ軸に平行な直線をＸ軸平行線Ｅとし、第１軌跡ＤとＸ軸平行線Ｅとがその交点において成す角度θを算出する。ここで、第１軌跡Ｄが必ずしも直線ではないことに鑑みれば、角度θは、上記交点における第１軌跡Ｄの接線と、Ｘ軸平行線Ｅとが成す角度ということになる。制御部１１０は、算出した角度θが予め記憶部１２０に記憶されている閾値（例えば４５°）よりも小さければ、第１軌跡ＤがもつＸ軸方向の成分を特定する。例えば、図６のように、ユーザが手をＸ軸正方向に相当する矢印Ａの方向に移動させた場合のように、第１軌跡ＤがＸ軸正方向の成分をもつ場合には、制御部１１０は、移動方向がＸ軸正方向であると特定する。また、ユーザが手をＸ軸負方向に相当する矢印Ｂの方向に移動させた場合のように、第１軌跡ＤがＸ軸負方向の成分をもつ場合には、制御部１１０は、移動方向がＸ軸負方向であると特定する。
【００３１】
制御部１１０は、算出した角度θが予め記憶部１２０に記憶されている閾値以上である場合、つまり、移動方向がＸ軸正方向又はＸ軸負方向の何れでもない場合には（ステップＳ８０４；ＮＯ）、タッチスクリーン部１１に表示されている内容及び操作点の位置等に基づいて予め決められた対応処理を行い（ステップＳ８１２）、ステップＳ８００の処理に戻る。ここで、制御部１１０が行う対応処理の内容には、例えば、移動方向を特定できないといった旨のエラーメッセージをタッチスクリーン部１１に表示させたり、或いは、移動方向に関係なく第１操作点の位置に表示されている画像オブジェクト（例えばソフトボタン）を選択したり、さらには何も処理を行わない、といったものが含まれる。一方、制御部１１０は、移動方向がＸ軸方向（Ｘ軸正方向又はＸ軸負方向）である場合には（ステップＳ８０４；ＹＥＳ）、この移動操作が第１移動操作又は第２移動操作の何れかであるということになるから、順動作又は逆動作の何れであるかを判断するために、第２操作点のＺ座標に基づいて特定された手の傾きが、順動作について決められた判定条件を満たすか否かを判断する（ステップＳ８０６）。
【００３２】
前述のように、制御部１１０は、タッチスクリーン部１１によりユーザの操作が検出されると、タッチスクリーン部１１の予め決められた位置（例えば、図６のタッチスクリーン部１１の中心に位置する検出点Ｐ２）において検出された手の位置のＺ座標を第２操作点として特定している。ここで、縦軸をＺ軸とし、横軸を時間軸とした座標系において、第２操作点の座標をサンプリング順序で連ねた曲線（以降、推移曲線という）を図９に示す。図９（ａ）は、図６において、手をＸ軸正方向に相当する矢印Ａの方向に移動させた時の推移曲線Ｆ１を示している。同図において、時刻ｔ０は、ユーザの操作が検出された直後の第１回目のサンプリングが行われた時刻であり、時刻ｔ１は、検出点Ｐ２においてユーザの操作（つまり、第２操作点の座標）が検出された時刻である。また、時刻ｔ２は、時刻ｔ１から予め決められた時間Δｔだけ経過した時刻である。ステップＳ８０６の処理において、制御部１１０は、時刻ｔ１における第２操作点のＺ座標と、時刻ｔ２における第２操作点のＺ座標とを比較することで、手の移動方向側の部位のＺ座標が、当該移動方向側の部位から見て、手の移動方向側とは逆方向側にある部位のＺ座標よりも大きい、という判定条件を満たしているか否かを判断する。図９（ａ）の推移曲線Ｆ１は、手の移動方向側の部位のＺ座標に相当する時刻ｔ１における第２操作点のＺ座標が、移動方向側の部位から見て、手の移動方向側とは逆方向側にある部位のＺ座標に相当する時刻ｔ２における第２操作点のＺ座標よりも大きくなっている。これは、前述したように、ユーザは目の前に実在する物体を手のひらで左右の何れかの方向に押しのけたいと考えたときに、その押しのける方向側の手の部位が、その逆方向側の部位よりも高くなるために、検出点Ｐ２で検出された第２操作点のＺ座標が時間の経過と共に小さくなっているのだと考えられる。この場合、制御部１１０は、判定条件を満たすと判断し（ステップＳ８０６；ＹＥＳ）、手を移動させた動作が順動作であると判断する。この場合、制御部１１０は、操作が受け付けられたときに表示されていた画像を、手の移動方向に応じた画像に変更する処理を実行する。例えば、制御部１１０は、処理テーブル１２１を参照して、ステップＳ８０２で特定した移動方向の順動作に応じた処理を実行する（ステップＳ８０８）。ここで、表示装置１０は、ステップＳ８０８の処理を実行する前のタイミングにおいて、例えば電子書籍の１０ページ目の画像をタッチスクリーン部１１に表示させているものとする。そして、ステップＳ８０２で特定した移動方向がＸ軸正方向である場合、制御部１１０は、第１移動操作の順動作に対応づけられた処理内容を実行する。例えば、制御部１１０は、タッチスクリーン部１１に表示されている電子書籍の１０ページ目の画像を、次の画像データに応じた画像、つまり、１１ページ目の画像に変更する。また、ステップＳ８０２で特定した移動方向がＸ軸負方向である場合、制御部１１０は、第２移動操作の順動作に対応づけられた処理内容を実行する。例えば、制御部１１０は、タッチスクリーン部１１に表示されている電子書籍の１０ページ目の画像を、前の画像データに応じた画像、つまり、９ページ目の画像に変更する。そして、制御部１１０は、移動操作の方向に応じて、タッチスクリーン部１１に表示されている画像を変更した後に、ステップＳ８００の処理に戻る。
【００３３】
図９（ｂ）は、図６において、手をＸ軸負方向に相当する矢印Ｂの方向に移動させた時の推移曲線Ｆ２を示している。同図において、時刻ｔ０は、ユーザの操作が検出された直後の第１回目のサンプリングが行われた時刻であり、時刻ｔ３は、検出点Ｐ２においてユーザの操作（つまり、第２操作点の座標）が検出された時刻である。また、時刻ｔ４は、時刻ｔ３から予め決められた時間Δｔだけ経過した時刻である。ステップＳ８０６の処理において、制御部１１０は、時刻ｔ３における第２操作点のＺ座標と、時刻ｔ４における第２操作点のＺ座標とを比較することで、手の移動方向側の部位のＺ座標が、当該移動方向側の部位から見て、手の移動方向側とは逆方向側にある部位のＺ座標よりも大きい、という判定条件を満たしているか否かを判断する。図９（ｂ）の推移曲線Ｆ２は、手の移動方向側の部位のＺ座標に相当する時刻ｔ３における第２操作点のＺ座標が、移動方向側の部位から見て、手の移動方向側とは逆方向側にある部位のＺ座標に相当する時刻ｔ４における第２操作点のＺ座標よりも小さくなっているから、制御部１１０は、判定条件を満たさないと判断し（ステップＳ８０６；ＮＯ）、Ｘ軸負方向に相当する矢印Ｂの方向に手を移動させた動作が逆動作であると判断する。この場合、制御部１１０は、処理テーブル１２１を参照して、逆動作に応じた処理を実行する（ステップＳ８１０）。ここで、図５の処理テーブル１２１には逆動作に応じた処理が記述されていないから、制御部１１０は、操作が受け付けられたときに表示されていた画像を変更しないで、ステップＳ８００の処理に戻る。
【００３４】
ところで、上述した実施形態においては、図６に示すように、主にユーザの左手のひらによって第１移動操作の順動作がなされた場合について説明したが、ユーザの右手のひらによって第２移動操作の順動作がなされた場合についても、ユーザの手の傾きが異なるのみで、制御部１１０の処理は同じである。ここで、ユーザが、第２移動操作の順動作を行う場合について説明する。まず、図１０に示すように、ユーザは、手のＸ軸負方向の部位のＺ座標が手のＸ軸正方向の部位のＺ座標よりも大きくなるように手を傾けた状態で、手２０ｃ１をＸ軸負方向に相当する矢印Ｂ１の方向へと移動させたものとする。なお、図１０における手２０ｃ１、手２０ｃ２は、ユーザの右手の端面図である。この場合、タッチスクリーン部１１により検出された第２操作点の座標をサンプリング順序で連ねた曲線は、図９（ａ）の推移曲線Ｆ１のような曲線になる。この推移曲線Ｆ１は判断条件を満たすから、制御部１１０は、このユーザの操作がＸ軸負方向の順動作、つまり、第２移動操作の順動作であると判断することができる。
【００３５】
また、図１０に示すように、ユーザは、移動させた手を元の位置に戻すために、手のＸ軸負方向の部位のＺ座標が手のＸ軸正方向の部位のＺ座標よりも大きくなるように手を傾けた状態のまま、手２０ｃ２をＸ軸正方向に相当する矢印Ａ１の方向へと移動させたものとする。この場合、タッチスクリーン部１１により検出された第２操作点の座標をサンプリング順序で連ねた曲線は、図９（ｂ）の推移曲線Ｆ２のような曲線になる。この推移曲線Ｆ２は判断条件を満たさないから、制御部１１０は、このユーザの操作が逆動作であると判断することができる。
【００３６】
このように、本実施形態によれば、制御部１１０は、タッチスクリーン部１１により近接が検出された手の移動方向に加え、手の傾きに基づいて、ユーザの操作の内容を判断する。このため、制御部１１０は、手の移動方向のみに基づいて、ユーザの操作の内容を判断するときのように、操作を行った後に手を元の位置に戻すための動作を、新たな操作が行われた、と誤って判断されることもない。つまり、制御部１１０は、タッチスクリーン部１１の表示面に対するユーザの操作に応じた処理をより正確に行うことが可能となる。
【００３７】
ここで、上述した実施形態において表示装置１０の制御部１１０が実現する機能構成について説明する。図１１は、表示装置１０の機能構成を示す機能ブロック図である。制御部１１０は、プログラムを実行することにより、検出部１１２、判断部１１３及び表示制御部１１４に相当する機能を実現する。検出部１１２は、本発明における検出手段の一例であり、操作部１４０によって受け付けられた近接操作における手の移動方向及び表示面１３１に対する手の傾きを検出する。判断部１１３は、本発明における判断手段の一例であり、検出部１１２によって検出された手の傾きに基づき、手の移動方向側の部位から表示面１３１までの距離と、移動方向側の部位から見て、手の移動方向側とは逆方向側にある部位から表示面１３１までの距離との大小関係が、決められた条件を満たすか否かを判断する。表示制御部１１４は、本発明における表示制御手段の一例であり、判断部１１３により条件が満たされると判断された場合には、操作が受け付けられたときに表示されていた画像を、検出部１１２によって検出された手の移動方向に応じた画像に変更し、判断部１１３により条件が満たされないと判断された場合には、操作が受け付けられたときに表示されていた画像を変更しない。
【００３８】
（変形例）
上述した実施形態の内容を以下のように変形してもよい。以下に示す各変形例は、必要に応じて組み合わせて実施されてもよい。
【００３９】
（変形例１）
上述した実施形態において、制御部１１０は、ユーザにより操作が開始された直後の第１回目のサンプリングにより得られた第１操作点の座標を「始点」として特定した。しかしながら、制御部１１０が、始点を特定する方法はこれに限らない。例えば、制御部１１０は、Ｘ軸方向に対する手の速度（ｄｘ／ｄｔ）を算出し、その速度（ｄｘ／ｄｔ）が正から負、又は負から正へと変化する位置の座標を始点として特定してもよい。また、制御部１１０は、図７のステップＳ８０２の処理に変えて、速度（ｄｘ／ｄｔ）が正の場合には移動方向がＸ軸正方向であると特定し、速度（ｄｘ／ｄｔ）が負の場合には移動方向がＸ軸負方向であると特定するようにしてもよい。
【００４０】
（変形例２）
制御部１１０は、始点が特定された時刻と、当該時刻の直前に始点が特定された時刻との差を算出し、この差が予め記憶部１２０に記憶されている閾値以上である場合には、判断条件を満たしているか否かによらず、当該操作が順動作であると判断してもよい。この理由は、順動作は移動操作そのものであり、直前の動作との因果関係がないから、直前の動作が成された時刻との差が大きくなると考えられる一方、逆動作は移動操作を行った後に手を元の位置に戻すための動作であるから、直前の動作が成された時刻との差が小さくなると考えられるからである。このように、制御部１１０は、時刻の差が閾値以上である場合に、順動作であると判断することで、全ての操作について手の傾きが判定条件を満たすか否かを判断する必要がなくなる。したがって、制御部１１０は、操作が行われてから表示の制御内容を特定するまでの速度を向上させることになる。
【００４１】
（変形例３）
上述した実施形態において、制御部１１０は、タッチスクリーン部１１により時系列に検出された時刻ｔ１における第２操作点のＺ座標と、時刻ｔ２における第２操作点のＺ座標とを比較することで、ユーザの手の傾きを特定した。しかしながら、制御部１１０が、ユーザの手の傾きを特定する方法はこれに限らない。例えば、制御部１１０は、図３（ｂ）に示されたように、タッチスクリーン部１１において検出された手の複数の位置の検出結果Ｓ１〜Ｓ６に基づいて、ユーザの手の傾きを特定してもよい。図３（ｂ）において、距離Ｚ１〜Ｚ６は、近接センサ１４２による検出結果Ｓ１〜Ｓ６に含まれるＺ座標、すなわち、手２０ａの各部位とタッチスクリーン部１１との距離を表している。制御部１１０は、検出結果Ｓ１〜Ｓ６のなかから最も大きいＺ座標を含む検出結果と、最も小さいＺ座標を含む検出結果とを特定する。同図において、最も大きいＺ座標を含む検出結果は検出結果Ｓ６であり、最も小さいＺ座標を含む検出結果は検出結果Ｓ１である。そして、同図において、検出結果Ｓ６に含まれるＸ座標は、検出結果Ｓ１に含まれるＸ座標よりも大きい。このように、制御部１１０は、検出された手の複数の位置の検出結果に含まれるＺ座標及びＸ座標を比較することにより、ユーザの手の傾きを特定することができる。
【００４２】
また、近接センサ１４２は、表示面上の全ての位置において近接を検知しなくてもよく、Ｘ軸方向に異なる２以上の点で近接を検知できればよい。この理由は、Ｘ軸方向に異なる２以上の点で手の近接を検知できれば、その近接を検知した時刻の差に基づいて移動方向を特定可能であり、更に、夫々が検知したＺ座標の差に基づいて手の傾きをも特定可能であるからである。このようにすれば、タッチスクリーン部１１の近接センサ１４２の構成を簡易化することが可能であり、制御部１１０が処理する情報量も少なくすることができる。
【００４３】
（変形例４）
上述した実施形態において、制御部１１０は、手の傾きが判断条件を満たす場合に順動作であると判断したが、タッチセンサ１４１により接触操作が検出された場合には、手の傾きが判断条件を満たすか否かによらずに、当該操作が順動作であるとみなしてもよい。このように、制御部１１０は、タッチセンサ１４１により接触操作が検出されたタイミングで順動作であることを判断するので、全ての操作に対して、手の傾きが判断条件を満たすか否かを判断する必要がなくなる。したがって、制御部１１０は、操作が行われてから表示の制御内容を特定するまでの速度を向上させることができる。
【００４４】
タッチスクリーン部１１は、タッチセンサ１４１を備えていなくてもよい。この場合、制御部１１０は、タッチスクリーン部１１の近接センサ１４２により検出された表示装置１０と手との距離が閾値未満であると判断された場合に、当該手が表示装置１０に接触しているとみなしてもよい。
【００４５】
（変形例５）
上述した実施形態において、制御部１１０は、タッチスクリーン部１１から出力された検出結果のなかで、手の重心に相当する位置の座標を第１操作点として特定し、第１操作点の座標をサンプリング順序で連ねた軌跡に基づいて移動方向を特定した。しかしながら、第１操作点は、検出結果の重心である必要は無く、例えば、手の最もＸ軸正方向に位置する箇所の座標や、最もＸ軸負方向に位置する箇所の座標を第１操作点として特定してもよく、要するに、移動方向を特定するための基準となるような位置であればよい。
【００４６】
（変形例６）
上述した実施形態において、制御部１１０は、タッチスクリーン部１１の予め決められた位置において検出された手の位置のＺ座標を第２操作点として特定したが、第２操作点を検出するタッチスクリーン部１１の位置はこれに限られない。制御部１１０は、例えば、表示面１３１に表示された画像の位置に応じて、第２操作点を検出するタッチスクリーン部１１の位置を変更してもよい。
【００４７】
（変形例７）
上述した実施形態においては、判定条件は、手の移動方向側の部位のＺ座標が、当該移動方向側の部位から見て手の移動方向側とは逆方向側にある部位のＺ座標よりも大きい、という条件であったが、これに限られない。例えば、判定条件は、前述の判定条件と異なり、手の移動方向側の部位のＺ座標が、当該移動方向側の部位から見て手の移動方向側とは逆方向側にある部位のＺ座標よりも小さい、という条件であってもよい。この理由は次のように考えられるからである。例えば、ユーザは目の前に実在する物体に対して手の甲を向け、更にその物体を手の小指側からすくうことで、左右の何れかの方向に払いのけたいと考えたとする。そのときの手の傾きを考えると、その払いのける方向側の手の部位が、その逆方向側の部位よりも低くなる（Ｚ軸負方向に位置する）という傾きになる。このため、タッチスクリーン部に表示された画像を、手の移動方向に移動させるような非接触操作を行う場合であっても、その手の移動方向側の部位がその逆方向側の部位よりも低くなると考えられる。つまり、タッチスクリーン部１１により検出された手の移動方向側の部位のＺ座標が、その逆方向側の部位のＺ座標よりも小さくなると考えられる。これに対し、ユーザが逆動作を行うときには、表示されている画像に対して何らかの処理が行われることは期待していないから、手の移動方向側の部位がその逆方向側の部位と同じ高さに位置する状態か、又は手の移動方向側の部位がその逆方向側の部位よりも高い状態で手を元の位置に戻すと考えられる。つまり、タッチスクリーン部１１により検出された手の移動方向側の部位のＺ座標が、その逆方向側の部位のＺ座標よりも小さくならないと考えられるからである。
【００４８】
ところで、前述のように、ユーザの移動操作の態様により、判定条件が異なると考えられるが、ユーザによっては判定条件が同じである方が操作として自然だと捉えることも考えられる。この為、順動作又は逆動作を特定するための判定条件を、ユーザ自身が予め決められたタイミングで設定できるようにしても良い。この場合、制御部１１０は、ユーザの移動操作の態様を区別することなく、手の傾きが予め決められた判定条件を満たすか否かによって順動作又は逆動作を特定することができる。
【００４９】
（変形例８）
本発明は、表示装置以外にも、これらを実現するための方法、及びコンピュータに表示機能を実現させるためのプログラムとしても把握される。かかるプログラムは、これを記憶させた光ディスク等の記録媒体の形態で提供されたり、インターネット等を介して、コンピュータにダウンロードさせ、これをインストールして利用させるなどの形態でも提供されたりする。
【符号の説明】
【００５０】
１０…表示装置、１１…タッチスクリーン部、１１０…制御部、１２０…記憶部、１２１…処理テーブル、１３０…表示部、１３１…表示面、１４０…操作部、１４１…タッチセンサ、１４２…近接センサ、１４３…操作子
【技術分野】
【０００１】
本発明は、表示装置における表示内容を操作に応じて制御する技術に関する。
【背景技術】
【０００２】
各種センサを備えた装置において、それらのセンサによって検出されたユーザの動作から操作内容を特定し、その特定された操作内容に応じた処理を行う技術がある。例えば、特許文献１には、一定時間腕を差し伸べる動作によって操作対象を指定し、さらにその指定後の動作により、この操作対象に対する処理の指示を行うことが記載されている。また、非特許文献１には、指が近接したことを検出する近接センサが設けられた表示装置が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２４６８５６号公報
【非特許文献】
【０００４】
【非特許文献１】「45.5: A System LCD with Optical Input Function usingInfra-Red Backlight Subtraction Scheme」、シャープ株式会社、SID Symposium Digest of Technical Papers -- May 2010 -- Volume 41, Issue 1, pp. 680-683
【発明の概要】
【発明が解決しようとする課題】
【０００５】
図１２は、非特許文献１の記載と同様に表示装置１０ａに対して非接触の操作を行う様子を説明するための模式図である。ここでは、表示装置１０ａは、表示面に近接した手の移動方向を近接センサで検出し、その方向に応じて表示面の表示内容を変更する。例えば表示面に電子書籍が表示されている場合に、ユーザが表示面の上で手を右側に移動させると、表示装置１０ａは、電子書籍のページが順方向にめくられたかのような動きの画像を表示させる。一方、ユーザが表示面の上で手を左側に移動させると、表示装置１０ａは、電子書籍のページが逆方向にめくられたかのような動きの画像を表示させる。
【０００６】
ところで、ユーザは、このような順方向のページめくりの操作を連続して行う場合には、図１２（ａ）に示すように、矢印ａの方向に移動させた手を元の位置に戻すために、いったん、それとは反対である矢印ｂの方向へと移動させる必要がある。このとき、ユーザは、手を元の位置に戻すだけであるから、表示装置１０ａの表示内容が変更されることは期待していない。しかしながら、表示装置１０ａは、このように手を元に戻す操作と、逆方向のページめくりの操作とを区別できないから、手を元の位置に戻す場合においても、電子書籍のページが逆方向にめくられたかのように、表示内容を変更してしまう。
【０００７】
このような意図しない表示内容の変更を避けるため、ユーザは、図１２（ｂ）に示すように、矢印ａの方向に移動させた手を元の位置に戻す場合には、手を、近接センサの検出領域外へと向かう矢印ｃの方向へと迂回させてから元の位置に戻す必要がある。ユーザは、このような迂回の操作を行うときに、腕全体を自らの方に引き寄せるといった動作が必要となり、非常に煩わしく感じる。腕全体を自らの方に引き寄せるのではなく、手を高く持ち上げて近接センサの検出領域よりも上方に手を迂回させるという方法も考えられるが、ユーザからすれば、どの程度の高さまで手を持ち上げれば近接センサの検出領域外になるかということが分からないため、必要以上に手を高く持ち上げるなどのように、操作負担の軽減にはなりにくい。また、特許文献１に記載の技術のように、操作対象を逐一指定してからその操作対象に対する指示を行うようにしてもよいが、これには２段階の動作が必要となるから、これも操作負担の軽減にはならない。
【０００８】
そこで、本発明は、ユーザにとってより少ない操作負担で、表示されている画像を変更し得る仕組みを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明は、画像を表示する表示面を有する表示手段と、前記表示面にユーザの手を接触させないで移動させる近接操作を受け付ける操作手段と、前記操作手段によって受け付けられた近接操作における前記手の移動方向及び前記表示面に対する手の傾きを検出する検出手段と、前記検出手段によって検出された前記手の傾きに基づき、当該手の移動方向側の部位から前記表示面までの距離と、当該移動方向側の部位から見て前記手の移動方向側とは逆方向側にある部位から前記表示面までの距離との大小関係が、決められた条件を満たすか否かを判断する判断手段と、前記判断手段により前記条件が満たされると判断された場合には、前記操作が受け付けられたときに表示されていた画像を、前記検出手段によって検出された前記手の移動方向に応じた画像に変更し、前記判断手段により前記条件が満たされないと判断された場合には、前記操作が受け付けられたときに表示されていた画像を変更しない表示制御手段とを備えることを特徴とする表示装置を提供する。
【００１０】
上記表示装置において、前記判断手段は、前記手の移動方向側の部位から前記表示面までの距離が、当該移動方向側の部位から見て前記手の移動方向側とは逆方向側にある部位から前記表示面までの距離よりも大きい場合に、前記決められた条件を満たすと判断し、前記手の移動方向側の部位から前記表示面までの距離が、当該移動方向側の部位から見て前記手の移動方向側とは逆方向側にある部位から前記表示面までの距離以下の場合に、前記決められた条件を満たさないと判断するようにしてもよい。
【００１１】
上記表示装置において、前記表示制御手段は、第１の操作が前記操作手段によって受け付けられた時刻と、当該第1の操作の後になされた第２の操作が前記操作手段によって受け付けられた時刻との差が閾値以上である場合には、前記判断手段による判断結果によらずに、前記第２の操作が受け付けられたときに表示されていた前記画像の内容を、当該第２の操作について前記検出手段によって検出された前記手の移動方向に応じた画像に変更するようにしてもよい。
【００１２】
また、本発明は、画像を表示する表示面を有する表示手段と、前記表示面に前記ユーザの手を接触させないで移動させる近接操作を受け付ける操作手段とを備えた表示装置の制御方法であって、前記操作手段によって受け付けられた近接操作における前記手の移動方向及び前記表示面に対する手の傾きを検出する検出ステップと、前記検出ステップにおいて検出された前記手の傾きに基づき、当該手の移動方向側の部位から前記表示面までの距離と、当該移動方向側の部位から見て前記手の移動方向側とは逆方向側にある部位から前記表示面までの距離との大小関係が、決められた条件を満たすか否かを判断する判断ステップと、前記判断ステップにおいて前記条件が満たされると判断された場合には、前記操作が受け付けられたときに表示されていた画像を、前記検出ステップにおいて検出された前記手の移動方向に応じた画像に変更し、前記判断ステップにおいて前記条件が満たされないと判断された場合には、前記操作が受け付けられたときに表示されていた画像を変更しない表示制御ステップとを備えることを特徴とする制御方法を提供する。
【００１３】
また、本発明は、画像を表示する表示面を有する表示手段と、前記表示面に前記ユーザの手を接触させないで移動させる近接操作を受け付ける操作手段とを有するコンピュータを、前記操作手段によって受け付けられた近接操作における前記手の移動方向及び前記表示面に対する手の傾きを検出する検出手段と、前記検出手段によって検出された前記手の傾きに基づき、当該手の移動方向側の部位から前記表示面までの距離と、当該移動方向側の部位から見て前記手の移動方向側とは逆方向側にある部位から前記表示面までの距離との大小関係が、決められた条件を満たすか否かを判断する判断手段と、前記判断手段により前記条件が満たされると判断された場合には、前記操作が受け付けられたときに表示されていた画像を、前記検出手段によって検出された前記手の移動方向に応じた画像に変更し、前記判断手段により前記条件が満たされないと判断された場合には、前記操作が受け付けられたときに表示されていた画像を変更しない表示制御手段として機能させるためのプログラムを提供する。
【発明の効果】
【００１４】
本発明によれば、ユーザにとってより少ない操作負担で、表示されている画像を変更することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態に係る表示装置の外観を示した正面図である。
【図２】同実施形態に係る表示装置のハードウェア構成を示したブロック図である。
【図３】同実施形態に係る近接センサの検出結果を取得する処理を説明するための模式図である。
【図４】同実施形態に係る移動操作を説明するための模式図である。
【図５】同実施形態に係る処理テーブルの一例を示した図である。
【図６】同実施形態に係るタッチスクリーン部をその表示面に平行な方向から見たときの図である。
【図７】同実施形態に係る制御部が行う処理の流れを示すフローチャートである。
【図８】同実施形態において、操作の軌跡をＸＹ平面上に示したときの一例を示す図である。
【図９】同実施形態において、第２操作点の座標をサンプリング順序で連ねた曲線の一例を示す図である。
【図１０】同実施形態に係るタッチスクリーン部をその表示面に平行な方向から見たときの図である。
【図１１】同実施形態に係る表示装置の機能構成を示す機能ブロック図である。
【図１２】従来の表示装置の操作を説明するための模式図である。
【発明を実施するための形態】
【００１６】
以下、本発明の実施形態について説明する。
（構成）
図１は、本発明の実施形態に係る表示装置の外観を示した正面図である。表示装置１０は、例えば長方形のタッチスクリーン部１１と、そのタッチスクリーン部１１の周囲に設けられた操作子１４３とを有するコンピュータであり、例えば、タブレット端末、電子ブックリーダ及びパーソナルコンピュータなどの電子機器である。タッチスクリーン部１１は、画像を表示する表示部、タッチスクリーン部１１に対する物体の接触を検出するタッチセンサ、及びタッチスクリーン部１１に対する物体の近接状態を検出する近接センサで構成されている。ユーザは、タッチスクリーン部１１に手を近づけたり接触させたりすることで、表示装置１０を操作することができるようになっている。表示部、タッチセンサ及び近接センサは、ユーザから見て奥側から手前側に向かって重ねられている。ユーザから見て最も奥側に配置されているのが表示部で、それよりも１つ手前に配置されているのがタッチセンサで、最も手前側に配置されているのが近接センサである。
【００１７】
図２は、表示装置１０としてのタブレット端末のハードウェア構成を示したブロック図である。表示装置１０は、制御部１１０と、記憶部１２０と、表示部１３０と、操作部１４０とを備えている。制御部１１０は、ＣＰＵ（Central Processing Unit）などの演算装置と、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などの記憶装置とを備えている。制御部１１０のＣＰＵが、ＲＯＭや記憶部１２０に記憶されているコンピュータプログラムをＲＡＭに読み出して実行することにより、表示装置１０の各部を制御する。制御部１１０は、システムクロックに基づいて現在時刻を計測する計時機能なども備えている。
【００１８】
表示部１３０は、例えば液晶ディスプレイ等の表示面１３１と、表示面１３１の制御を行う制御回路を有しており、制御部１１０から供給されたデータに応じた画像を表示面１３１に表示させる表示手段として機能する。この表示面１３１は、ＸＹ直交座標系が設定されている。このＸＹ直交座標系の原点Ｐは、長方形である表示面１３１の四隅のうちのいずれか（ここでは図の左上隅）に位置している。この原点Ｐを含む、表示面１３１の２辺のうち、一方の辺（ここでは表示面１３１の長手方向の辺）がＸ軸に対応し、他方の辺（ここでは表示面１３１の短手方向の辺）がＹ軸に対応している。また、原点Ｐを含み、Ｘ軸及びＹ軸と直交する直線をＺ軸とする。つまり、Ｘ軸及びＹ軸で表される表示面１３１に対して、Ｚ軸は高さ方向の座標軸に相当する。図１に示す座標記号のうち、内側が白い円の中に黒い円を描いた記号は、紙面奥側から手前側に向かう矢印を表している。以下の説明においては、矢印Ｘが指す方向をＸ軸方向といい、矢印Ｙが指す方向をＹ軸方向といい、矢印Ｚが指す方向をＺ軸方向というものとする。
【００１９】
操作部１４０は、ユーザの操作を受け付けるタッチセンサ１４１、近接センサ１４２及び操作子１４３を備えており、ユーザの操作に応じた信号を制御部１１０に出力する。タッチセンサ１４１は、図１のタッチスクリーン部１１において、表示面１３１の上（Ｚ軸正方向側）に積層され、且つ表示面１３１の全体を覆うように重ねられた状態で配置されており、その大きさ及び形状は表示面１３１の大きさ及び形状とほぼ同じである。タッチセンサ１４１は、光を透過する材料で構成されており、表示面１３１に表示された画像はタッチセンサ１４１を透過してユーザに視認されるようになっている。表示面１３１と同様に、このタッチセンサ１４１にも、ＸＹ直交座標系が設定されている。つまり、ＸＹ直交座標系の原点Ｐは、タッチセンサ１４１の四隅のうちのいずれか（ここでは図１の左上隅）に位置している。この原点Ｐを含む、タッチセンサ１４１の２辺のうち、一方の辺（ここではタッチセンサ１４１の短手方向の辺）がＹ軸に対応し、他方の辺（ここではタッチセンサ１４１の長手方向の辺）がＸ軸に対応している。タッチセンサ１４１は、手が触れたか否かを所定のサンプリング周期で検出し、その接触位置を示す座標を検出結果として制御部１１０へ出力する。以降の説明において、ユーザがタッチスクリーン部１１の表面に手を触れさせた状態で行う操作であって、タッチセンサ１４１により出力された検出結果に基づいて特定される操作のことを「接触操作」ということにする。
【００２０】
近接センサ１４２は、図１のタッチスクリーン部１１において、タッチセンサ１４１の上（Ｚ軸正方向側）に積層され、且つ、タッチセンサ１４１の全体を覆うように重ねられた状態で配置されており、その大きさ及び形状は、前述したタッチセンサ１４１及び表示面１３１の大きさ及び形状とほぼ同じである。この近接センサ１４２は、光を透過する材料で構成されており、表示面１３１に表示された画像は近接センサ１４２を透過してユーザに視認されるようになっている。前述した表示面１３１及びタッチセンサ１４１と同様に、この近接センサ１４２にも、ＸＹ直交座標系が設定されている。つまり、ＸＹ直交座標系の原点Ｐは、近接センサ１４２の四隅のうちのいずれか（ここでは図１の左上隅）に位置している。この原点Ｐを含む、近接センサ１４２の２辺のうち、一方の辺（ここでは近接センサ１４２の短手方向の辺）がＹ軸に対応し、他方の辺（ここでは近接センサ１４２の長手方向の辺）がＸ軸に対応している。近接センサ１４２は、例えば赤外線型のセンサであり、赤外線を発する複数の発光素子と、光を受けとって電気信号に変換する複数の受光素子を備えており、これらがＸＹ直交座標系に従って配置されている。発光素子から発せられた赤外線が、手に当たって反射してくると、受光素子は、反射した赤外線を受光する。この手が近接センサ１４２に近いほど反射光の強度が増すことになる。近接センサ１４２は、受光素子の受光強度に基づいて表示面１３１と手との距離、つまりＺ座標を検出すると、Ｘ座標、Ｙ座標及びＺ座標を検出結果として出力する。この近接センサ１４２を有する操作部１４０は、表示面１３１にユーザの手を接触させないで移動させる近接操作を受け付ける操作手段として機能することになる。以降の説明において、ユーザがタッチスクリーン部１１の表面に手を近接させた状態で行う操作であって、近接センサ１４２により出力された検出結果に基づいて特定される操作のことを「非接触操作」ということにする。
【００２１】
ここで、近接センサ１４２の検出結果を取得する処理について説明する。図３（ａ）は、タッチスクリーン部１１をその表示面に平行な方向から見たときの図である。なお、図３における手２０ａは、ユーザの右手の端面図である。二点鎖線Ｃは、近接センサの検出領域の限界を表している。この検出領域の限界Ｃとタッチスクリーン部１１との間の領域は、近接センサ１４２がタッチスクリーン部１１の表示面１３１から手（ここでは、手２０ａ）までの距離（Ｚ座標）を検出可能な近接検出可能範囲ＤＰＲである。近接検出可能範囲ＤＰＲの大きさは、近接センサ１４２の発光素子及び受光素子の性能に依るものであり、多数のユーザによる操作をサンプルとして実験的に求められた結果（すなわち、検出可能であるべきＺ軸方向の距離）を満たすような性能となるように、本実施形態の発光素子及び受光素子が設計されている。図３（ａ）において黒い円の各々は、近接センサ１４２により検出された検出結果の一例を表している。図３（ｂ）には、縦軸をＺ軸とし、横軸をＸ軸とした座標系において、近接センサ１４２による検出結果をプロットしたときの様子を表している。図３（ｂ）において、距離Ｚ１〜Ｚ６は、近接センサ１４２による検出結果に含まれるＺ座標、すなわち、手２０ａの各部位とタッチスクリーン部１１との距離を表している。
【００２２】
表示装置１０は、例えば電子書籍、写真又は各種メニュー画面などの画像をタッチスクリーン部１１に表示させ、手を移動させる操作（以降、移動操作という）を検出した場合に、その移動操作の方向に応じた処理を行う。ここでいう、移動操作の方向に応じた処理とは、例えば電子書籍が表示されている状態において、移動操作の方向にページがめくられたかのような動きの画像を表示させる処理や、表示されている画像オブジェクトが移動操作の方向に移動したかのような動きの画像を表示させる処理である。また、移動操作は、ユーザがタッチスクリーン部１１に手を近接させた状態で行う操作（非接触操作）であって、近接検出可能範囲ＤＰＲ内において手を移動させるという操作である。
【００２３】
図４は、移動操作を説明するために、タッチスクリーン部１１を正面から見た模式図である。ここで、タッチスクリーン部１１に対して、ユーザが手２０ｂ１をＸ軸正方向に相当する矢印Ａの方向に移動させる移動操作であって、その移動操作の方向（移動方向）に応じた処理が行われることを期待している移動操作を「第１移動操作」と称する。この移動方向は、タッチスクリーン部１１の平面方向、つまり、ＸＹ直交座標系で表される方向である。また、タッチスクリーン部１１に対して、ユーザが手２０ｂ２をＸ軸負方向に相当する矢印Ｂの方向に移動させる移動操作であって、その移動方向に応じた処理が行われることを期待している移動操作を「第２移動操作」と称する。このように、ユーザが移動方向に応じた処理が行われることを期待している動作を「順動作」という。ところで、第１移動操作を連続して行う場合などには、Ｘ軸正方向に相当する矢印Ａの方向に移動させた手を元の位置に戻すために、いったんＸ軸負方向に相当する矢印Ｂの方向へと移動させる必要がある。同様に、第２移動操作を連続して行う場合には、Ｘ軸負方向に相当する矢印Ｂの方向に移動させた手を元の位置に戻すために、いったんＸ軸正方向に相当する矢印Ａの方向へと移動させる必要がある。このように、移動操作を行った後に、次の移動操作を行うために手を元の位置に戻す動作を「逆動作」という。
【００２４】
もちろん、ユーザは、順動作を行うときには、表示されている画像に対してその順動作の移動方向に応じた処理が行われることを期待しているのに対し、逆動作を行うときには、表示されている画像に対して何らかの処理が行われることは期待していない。このため表示装置１０の制御部１１０は、移動操作が順動作と逆動作のいずれによってなされたかを区別しなければならない。しかしながら、制御部１１０は、Ｘ軸方向の方向成分以外にそれぞれの操作の軌跡を区別することが出来ないから、矢印Ｂの方向に移動させる操作が第２移動操作の順動作なのか第１移動操作の逆動作なのか、矢印Ａの方向に移動させる操作が第１移動操作の順動作なのか第２移動操作の逆動作なのか、を特定することが出来ない。
【００２５】
ところで、ユーザは目の前に実在する物体を手のひらで左右の何れかの方向に押しのけたいと考えたときに、手のひらをその物体の方向に向ける。そのときの手の傾きを考えると、その押しのける方向側の手の部位が、その逆方向側の部位よりも高くなる（Ｚ軸正方向に位置する）。このため、タッチスクリーン部に表示された画像を、手の移動方向に移動させるような非接触操作を行う場合であっても、その手の移動方向側の部位がその逆方向側の部位よりも高くなると考えられる。これに対し、ユーザが逆動作を行うときには、表示されている画像に対して何らかの処理が行われることは期待していないから、手の移動方向側の部位がその逆方向側の部位と同じ高さに位置する状態か、又は手の移動方向側の部位がその逆方向側の部位よりも低い状態で手を元の位置に戻すと考えられる。
【００２６】
そこで、表示装置１０の制御部１１０は、操作部１４０によって受け付けられた近接操作における手の移動方向及び表示面１３１に対する傾きを検出する。そして、制御部１１０は、検出された手の傾きに基づき、手の移動方向側の部位から前記表示面までの距離と、当該移動方向側の部位から見て、手の移動方向側とは逆方向側にある部位から表示面１３１までの距離との大小関係が、決められた条件を満たすか否かを判断することにより、移動操作の順動作又は逆動作を特定する。例えば、制御部１１０は、タッチスクリーン部１１から出力された検出結果のなかで、この検出結果により示される手の重心に相当する位置のＸ座標及びＹ座標を第１操作点として特定し、タッチスクリーン部１１の予め決められた位置（例えば、図４のタッチスクリーン部１１の中心に位置する検出点Ｐ２）において検出された手の位置のＺ座標を第２操作点として特定する。そして、制御部１１０は、第１操作点に基づいて手の移動方向を特定し、第２操作点に基づいて特定された手の傾きが予め決められた条件（判定条件）を満たすような場合には、特定された移動方向の操作（第１移動操作又は第２移動操作）の順動作であると判断する。ここで、判定条件は、手の移動方向側の部位のＺ座標が、当該移動方向側の部位から見て手の移動方向側とは逆方向側にある部位のＺ座標よりも大きい、という条件である。
【００２７】
ここで、図２の説明に戻る。記憶部１２０は、例えばフラッシュメモリやハードディスク等の不揮発性の記憶手段である。記憶部１２０には、制御部１１０が実行するコンピュータプログラム、タッチスクリーン部１１に対するユーザの操作の内容と制御部１１０が行う処理の内容とを対応付けた処理テーブル１２１及び各種の閾値などが記憶されている。図５は、処理テーブル１２１の一例を示した図である。処理テーブル１２１は、「操作内容」及び「処理内容」というフィールドを有している。「処理の内容」のフィールドには、制御部１１０によって実行される処理であり、特に、表示面１３１の表示の制御に関する処理の内容が記述されている。「操作内容」のフィールドには、「処理内容」に記述された処理を制御部１１０に実行させるトリガとなる操作の内容が記述されている。制御部１１０は、決められた条件が満たされると判断された場合、つまり順動作であると判断された場合には、この処理テーブル１２１の内容に基づいて、操作が受け付けられたときに表示されていた画像を、手の移動方向に応じた画像に変更し、決められた条件が満たされないと判断された場合、つまり逆動作であると判断された場合には、操作が受け付けられたときに表示されていた画像を変更しないようにする。
【００２８】
（動作）
図６は、タッチスクリーン部１１をその表示面に平行な方向から見たときの図である。なお、図６における手２０ｂ１、手２０ｂ２は、ユーザの左手の端面図である。ここで、ユーザは、タッチスクリーン部１１に表示された画像を、次の画像へと変更させるために、手２０ｂ１をＸ軸正方向に相当する矢印Ａの方向に移動させ、更に、移動させた手を元の位置に戻すために、手２０ｂ２をＸ軸負方向に相当する矢印Ｂの方向へと移動させたものとする。また、手のＸ軸正方向の部位のＺ座標は、手のＸ軸負方向の部位のＺ座標よりも大きいものとする。
【００２９】
図７を用いて実施形態の動作を説明する。図７は、制御部１１０が行う処理の流れを示すフローチャートである。表示装置１０の制御部１１０は、記憶部１２０に記憶されているプログラムを実行することで以下の動作を行う。制御部１１０は、タッチスクリーン部１１により手の近接が検出されたか否かを判断する（ステップＳ８００）。制御部１１０は、タッチスクリーン部１１により検出されていないと判断した場合には（ステップＳ８００；ＮＯ）、この判断処理を繰り返す。一方、制御部１１０は、タッチスクリーン部１１により近接が検出されたと判断した場合には（ステップＳ８００；ＹＥＳ）、タッチスクリーン部１１から出力された検出結果から、この検出結果により示される手の重心に相当する位置の座標を第１操作点として特定し、タッチスクリーン部１１の予め決められた位置（例えば、図６のタッチスクリーン部１１の中心に位置する検出点Ｐ２）において検出された手の位置のＺ座標を第２操作点として特定する。そして、制御部１１０は、第１操作点及び第２操作点をサンプリングナンバと現在時刻とともにＲＡＭに記憶させる。サンプリングナンバは、検出結果が最初に検出されたときのサンプリングを第１回目とし、以降、サンプリングのたびに１ずつ増加する値である。制御部１１０は自身の計時機能によって現在時刻を計測しながらこのサンプリングナンバを数える。検出結果は、タッチスクリーン部１１により手の近接が検出されているかぎり、所定のサンプリング周期でタッチスクリーン部１１から制御部１１０に出力され続ける。したがって、制御部１１０は、例えばステップＳ８０２以降の処理においても、出力された検出結果を記憶し続けることになる。これにより、制御部１１０のＲＡＭには、第１操作点の座標及び第２操作点の座標が時間に応じて変化していく様子、すなわち各座標をサンプリング順序で連ねた軌跡が記憶されることになる。第１操作点の座標をサンプリング順序で連ねた軌跡は、点Ｐｎ（Ｘｎ，Ｙｎ）の集合であり、第２操作点の座標をサンプリング順序で連ねた軌跡は、点Ｐｍ（Ｚｍ）の集合である。ただし、ｎ及びｍは１以上の整数をとるサンプリングナンバである。ここで、各座標の間隔が広くなっている場合には補間処理、狭くなっている場合には間引き処理などを行ってもよい。
【００３０】
制御部１１０は、ＲＡＭに記憶された第１操作点の座標をサンプリング順序で連ねた軌跡（第１軌跡）を参照することで、移動方向を特定する（ステップＳ８０２）。図８は、操作の軌跡をＸＹ平面上に示したときの一例を示す図である。制御部１１０は、ユーザにより操作が開始された直後の第１回目のサンプリングにより得られた第１操作点の座標を「始点」として特定する。この第１回目のサンプリングが行われた時刻をｔ０とする。図８において、この始点は、点Ｐ１（Ｘ１，Ｙ１）に相当する。制御部１１０は、第１軌跡Ｄの始点を通るＸ軸に平行な直線をＸ軸平行線Ｅとし、第１軌跡ＤとＸ軸平行線Ｅとがその交点において成す角度θを算出する。ここで、第１軌跡Ｄが必ずしも直線ではないことに鑑みれば、角度θは、上記交点における第１軌跡Ｄの接線と、Ｘ軸平行線Ｅとが成す角度ということになる。制御部１１０は、算出した角度θが予め記憶部１２０に記憶されている閾値（例えば４５°）よりも小さければ、第１軌跡ＤがもつＸ軸方向の成分を特定する。例えば、図６のように、ユーザが手をＸ軸正方向に相当する矢印Ａの方向に移動させた場合のように、第１軌跡ＤがＸ軸正方向の成分をもつ場合には、制御部１１０は、移動方向がＸ軸正方向であると特定する。また、ユーザが手をＸ軸負方向に相当する矢印Ｂの方向に移動させた場合のように、第１軌跡ＤがＸ軸負方向の成分をもつ場合には、制御部１１０は、移動方向がＸ軸負方向であると特定する。
【００３１】
制御部１１０は、算出した角度θが予め記憶部１２０に記憶されている閾値以上である場合、つまり、移動方向がＸ軸正方向又はＸ軸負方向の何れでもない場合には（ステップＳ８０４；ＮＯ）、タッチスクリーン部１１に表示されている内容及び操作点の位置等に基づいて予め決められた対応処理を行い（ステップＳ８１２）、ステップＳ８００の処理に戻る。ここで、制御部１１０が行う対応処理の内容には、例えば、移動方向を特定できないといった旨のエラーメッセージをタッチスクリーン部１１に表示させたり、或いは、移動方向に関係なく第１操作点の位置に表示されている画像オブジェクト（例えばソフトボタン）を選択したり、さらには何も処理を行わない、といったものが含まれる。一方、制御部１１０は、移動方向がＸ軸方向（Ｘ軸正方向又はＸ軸負方向）である場合には（ステップＳ８０４；ＹＥＳ）、この移動操作が第１移動操作又は第２移動操作の何れかであるということになるから、順動作又は逆動作の何れであるかを判断するために、第２操作点のＺ座標に基づいて特定された手の傾きが、順動作について決められた判定条件を満たすか否かを判断する（ステップＳ８０６）。
【００３２】
前述のように、制御部１１０は、タッチスクリーン部１１によりユーザの操作が検出されると、タッチスクリーン部１１の予め決められた位置（例えば、図６のタッチスクリーン部１１の中心に位置する検出点Ｐ２）において検出された手の位置のＺ座標を第２操作点として特定している。ここで、縦軸をＺ軸とし、横軸を時間軸とした座標系において、第２操作点の座標をサンプリング順序で連ねた曲線（以降、推移曲線という）を図９に示す。図９（ａ）は、図６において、手をＸ軸正方向に相当する矢印Ａの方向に移動させた時の推移曲線Ｆ１を示している。同図において、時刻ｔ０は、ユーザの操作が検出された直後の第１回目のサンプリングが行われた時刻であり、時刻ｔ１は、検出点Ｐ２においてユーザの操作（つまり、第２操作点の座標）が検出された時刻である。また、時刻ｔ２は、時刻ｔ１から予め決められた時間Δｔだけ経過した時刻である。ステップＳ８０６の処理において、制御部１１０は、時刻ｔ１における第２操作点のＺ座標と、時刻ｔ２における第２操作点のＺ座標とを比較することで、手の移動方向側の部位のＺ座標が、当該移動方向側の部位から見て、手の移動方向側とは逆方向側にある部位のＺ座標よりも大きい、という判定条件を満たしているか否かを判断する。図９（ａ）の推移曲線Ｆ１は、手の移動方向側の部位のＺ座標に相当する時刻ｔ１における第２操作点のＺ座標が、移動方向側の部位から見て、手の移動方向側とは逆方向側にある部位のＺ座標に相当する時刻ｔ２における第２操作点のＺ座標よりも大きくなっている。これは、前述したように、ユーザは目の前に実在する物体を手のひらで左右の何れかの方向に押しのけたいと考えたときに、その押しのける方向側の手の部位が、その逆方向側の部位よりも高くなるために、検出点Ｐ２で検出された第２操作点のＺ座標が時間の経過と共に小さくなっているのだと考えられる。この場合、制御部１１０は、判定条件を満たすと判断し（ステップＳ８０６；ＹＥＳ）、手を移動させた動作が順動作であると判断する。この場合、制御部１１０は、操作が受け付けられたときに表示されていた画像を、手の移動方向に応じた画像に変更する処理を実行する。例えば、制御部１１０は、処理テーブル１２１を参照して、ステップＳ８０２で特定した移動方向の順動作に応じた処理を実行する（ステップＳ８０８）。ここで、表示装置１０は、ステップＳ８０８の処理を実行する前のタイミングにおいて、例えば電子書籍の１０ページ目の画像をタッチスクリーン部１１に表示させているものとする。そして、ステップＳ８０２で特定した移動方向がＸ軸正方向である場合、制御部１１０は、第１移動操作の順動作に対応づけられた処理内容を実行する。例えば、制御部１１０は、タッチスクリーン部１１に表示されている電子書籍の１０ページ目の画像を、次の画像データに応じた画像、つまり、１１ページ目の画像に変更する。また、ステップＳ８０２で特定した移動方向がＸ軸負方向である場合、制御部１１０は、第２移動操作の順動作に対応づけられた処理内容を実行する。例えば、制御部１１０は、タッチスクリーン部１１に表示されている電子書籍の１０ページ目の画像を、前の画像データに応じた画像、つまり、９ページ目の画像に変更する。そして、制御部１１０は、移動操作の方向に応じて、タッチスクリーン部１１に表示されている画像を変更した後に、ステップＳ８００の処理に戻る。
【００３３】
図９（ｂ）は、図６において、手をＸ軸負方向に相当する矢印Ｂの方向に移動させた時の推移曲線Ｆ２を示している。同図において、時刻ｔ０は、ユーザの操作が検出された直後の第１回目のサンプリングが行われた時刻であり、時刻ｔ３は、検出点Ｐ２においてユーザの操作（つまり、第２操作点の座標）が検出された時刻である。また、時刻ｔ４は、時刻ｔ３から予め決められた時間Δｔだけ経過した時刻である。ステップＳ８０６の処理において、制御部１１０は、時刻ｔ３における第２操作点のＺ座標と、時刻ｔ４における第２操作点のＺ座標とを比較することで、手の移動方向側の部位のＺ座標が、当該移動方向側の部位から見て、手の移動方向側とは逆方向側にある部位のＺ座標よりも大きい、という判定条件を満たしているか否かを判断する。図９（ｂ）の推移曲線Ｆ２は、手の移動方向側の部位のＺ座標に相当する時刻ｔ３における第２操作点のＺ座標が、移動方向側の部位から見て、手の移動方向側とは逆方向側にある部位のＺ座標に相当する時刻ｔ４における第２操作点のＺ座標よりも小さくなっているから、制御部１１０は、判定条件を満たさないと判断し（ステップＳ８０６；ＮＯ）、Ｘ軸負方向に相当する矢印Ｂの方向に手を移動させた動作が逆動作であると判断する。この場合、制御部１１０は、処理テーブル１２１を参照して、逆動作に応じた処理を実行する（ステップＳ８１０）。ここで、図５の処理テーブル１２１には逆動作に応じた処理が記述されていないから、制御部１１０は、操作が受け付けられたときに表示されていた画像を変更しないで、ステップＳ８００の処理に戻る。
【００３４】
ところで、上述した実施形態においては、図６に示すように、主にユーザの左手のひらによって第１移動操作の順動作がなされた場合について説明したが、ユーザの右手のひらによって第２移動操作の順動作がなされた場合についても、ユーザの手の傾きが異なるのみで、制御部１１０の処理は同じである。ここで、ユーザが、第２移動操作の順動作を行う場合について説明する。まず、図１０に示すように、ユーザは、手のＸ軸負方向の部位のＺ座標が手のＸ軸正方向の部位のＺ座標よりも大きくなるように手を傾けた状態で、手２０ｃ１をＸ軸負方向に相当する矢印Ｂ１の方向へと移動させたものとする。なお、図１０における手２０ｃ１、手２０ｃ２は、ユーザの右手の端面図である。この場合、タッチスクリーン部１１により検出された第２操作点の座標をサンプリング順序で連ねた曲線は、図９（ａ）の推移曲線Ｆ１のような曲線になる。この推移曲線Ｆ１は判断条件を満たすから、制御部１１０は、このユーザの操作がＸ軸負方向の順動作、つまり、第２移動操作の順動作であると判断することができる。
【００３５】
また、図１０に示すように、ユーザは、移動させた手を元の位置に戻すために、手のＸ軸負方向の部位のＺ座標が手のＸ軸正方向の部位のＺ座標よりも大きくなるように手を傾けた状態のまま、手２０ｃ２をＸ軸正方向に相当する矢印Ａ１の方向へと移動させたものとする。この場合、タッチスクリーン部１１により検出された第２操作点の座標をサンプリング順序で連ねた曲線は、図９（ｂ）の推移曲線Ｆ２のような曲線になる。この推移曲線Ｆ２は判断条件を満たさないから、制御部１１０は、このユーザの操作が逆動作であると判断することができる。
【００３６】
このように、本実施形態によれば、制御部１１０は、タッチスクリーン部１１により近接が検出された手の移動方向に加え、手の傾きに基づいて、ユーザの操作の内容を判断する。このため、制御部１１０は、手の移動方向のみに基づいて、ユーザの操作の内容を判断するときのように、操作を行った後に手を元の位置に戻すための動作を、新たな操作が行われた、と誤って判断されることもない。つまり、制御部１１０は、タッチスクリーン部１１の表示面に対するユーザの操作に応じた処理をより正確に行うことが可能となる。
【００３７】
ここで、上述した実施形態において表示装置１０の制御部１１０が実現する機能構成について説明する。図１１は、表示装置１０の機能構成を示す機能ブロック図である。制御部１１０は、プログラムを実行することにより、検出部１１２、判断部１１３及び表示制御部１１４に相当する機能を実現する。検出部１１２は、本発明における検出手段の一例であり、操作部１４０によって受け付けられた近接操作における手の移動方向及び表示面１３１に対する手の傾きを検出する。判断部１１３は、本発明における判断手段の一例であり、検出部１１２によって検出された手の傾きに基づき、手の移動方向側の部位から表示面１３１までの距離と、移動方向側の部位から見て、手の移動方向側とは逆方向側にある部位から表示面１３１までの距離との大小関係が、決められた条件を満たすか否かを判断する。表示制御部１１４は、本発明における表示制御手段の一例であり、判断部１１３により条件が満たされると判断された場合には、操作が受け付けられたときに表示されていた画像を、検出部１１２によって検出された手の移動方向に応じた画像に変更し、判断部１１３により条件が満たされないと判断された場合には、操作が受け付けられたときに表示されていた画像を変更しない。
【００３８】
（変形例）
上述した実施形態の内容を以下のように変形してもよい。以下に示す各変形例は、必要に応じて組み合わせて実施されてもよい。
【００３９】
（変形例１）
上述した実施形態において、制御部１１０は、ユーザにより操作が開始された直後の第１回目のサンプリングにより得られた第１操作点の座標を「始点」として特定した。しかしながら、制御部１１０が、始点を特定する方法はこれに限らない。例えば、制御部１１０は、Ｘ軸方向に対する手の速度（ｄｘ／ｄｔ）を算出し、その速度（ｄｘ／ｄｔ）が正から負、又は負から正へと変化する位置の座標を始点として特定してもよい。また、制御部１１０は、図７のステップＳ８０２の処理に変えて、速度（ｄｘ／ｄｔ）が正の場合には移動方向がＸ軸正方向であると特定し、速度（ｄｘ／ｄｔ）が負の場合には移動方向がＸ軸負方向であると特定するようにしてもよい。
【００４０】
（変形例２）
制御部１１０は、始点が特定された時刻と、当該時刻の直前に始点が特定された時刻との差を算出し、この差が予め記憶部１２０に記憶されている閾値以上である場合には、判断条件を満たしているか否かによらず、当該操作が順動作であると判断してもよい。この理由は、順動作は移動操作そのものであり、直前の動作との因果関係がないから、直前の動作が成された時刻との差が大きくなると考えられる一方、逆動作は移動操作を行った後に手を元の位置に戻すための動作であるから、直前の動作が成された時刻との差が小さくなると考えられるからである。このように、制御部１１０は、時刻の差が閾値以上である場合に、順動作であると判断することで、全ての操作について手の傾きが判定条件を満たすか否かを判断する必要がなくなる。したがって、制御部１１０は、操作が行われてから表示の制御内容を特定するまでの速度を向上させることになる。
【００４１】
（変形例３）
上述した実施形態において、制御部１１０は、タッチスクリーン部１１により時系列に検出された時刻ｔ１における第２操作点のＺ座標と、時刻ｔ２における第２操作点のＺ座標とを比較することで、ユーザの手の傾きを特定した。しかしながら、制御部１１０が、ユーザの手の傾きを特定する方法はこれに限らない。例えば、制御部１１０は、図３（ｂ）に示されたように、タッチスクリーン部１１において検出された手の複数の位置の検出結果Ｓ１〜Ｓ６に基づいて、ユーザの手の傾きを特定してもよい。図３（ｂ）において、距離Ｚ１〜Ｚ６は、近接センサ１４２による検出結果Ｓ１〜Ｓ６に含まれるＺ座標、すなわち、手２０ａの各部位とタッチスクリーン部１１との距離を表している。制御部１１０は、検出結果Ｓ１〜Ｓ６のなかから最も大きいＺ座標を含む検出結果と、最も小さいＺ座標を含む検出結果とを特定する。同図において、最も大きいＺ座標を含む検出結果は検出結果Ｓ６であり、最も小さいＺ座標を含む検出結果は検出結果Ｓ１である。そして、同図において、検出結果Ｓ６に含まれるＸ座標は、検出結果Ｓ１に含まれるＸ座標よりも大きい。このように、制御部１１０は、検出された手の複数の位置の検出結果に含まれるＺ座標及びＸ座標を比較することにより、ユーザの手の傾きを特定することができる。
【００４２】
また、近接センサ１４２は、表示面上の全ての位置において近接を検知しなくてもよく、Ｘ軸方向に異なる２以上の点で近接を検知できればよい。この理由は、Ｘ軸方向に異なる２以上の点で手の近接を検知できれば、その近接を検知した時刻の差に基づいて移動方向を特定可能であり、更に、夫々が検知したＺ座標の差に基づいて手の傾きをも特定可能であるからである。このようにすれば、タッチスクリーン部１１の近接センサ１４２の構成を簡易化することが可能であり、制御部１１０が処理する情報量も少なくすることができる。
【００４３】
（変形例４）
上述した実施形態において、制御部１１０は、手の傾きが判断条件を満たす場合に順動作であると判断したが、タッチセンサ１４１により接触操作が検出された場合には、手の傾きが判断条件を満たすか否かによらずに、当該操作が順動作であるとみなしてもよい。このように、制御部１１０は、タッチセンサ１４１により接触操作が検出されたタイミングで順動作であることを判断するので、全ての操作に対して、手の傾きが判断条件を満たすか否かを判断する必要がなくなる。したがって、制御部１１０は、操作が行われてから表示の制御内容を特定するまでの速度を向上させることができる。
【００４４】
タッチスクリーン部１１は、タッチセンサ１４１を備えていなくてもよい。この場合、制御部１１０は、タッチスクリーン部１１の近接センサ１４２により検出された表示装置１０と手との距離が閾値未満であると判断された場合に、当該手が表示装置１０に接触しているとみなしてもよい。
【００４５】
（変形例５）
上述した実施形態において、制御部１１０は、タッチスクリーン部１１から出力された検出結果のなかで、手の重心に相当する位置の座標を第１操作点として特定し、第１操作点の座標をサンプリング順序で連ねた軌跡に基づいて移動方向を特定した。しかしながら、第１操作点は、検出結果の重心である必要は無く、例えば、手の最もＸ軸正方向に位置する箇所の座標や、最もＸ軸負方向に位置する箇所の座標を第１操作点として特定してもよく、要するに、移動方向を特定するための基準となるような位置であればよい。
【００４６】
（変形例６）
上述した実施形態において、制御部１１０は、タッチスクリーン部１１の予め決められた位置において検出された手の位置のＺ座標を第２操作点として特定したが、第２操作点を検出するタッチスクリーン部１１の位置はこれに限られない。制御部１１０は、例えば、表示面１３１に表示された画像の位置に応じて、第２操作点を検出するタッチスクリーン部１１の位置を変更してもよい。
【００４７】
（変形例７）
上述した実施形態においては、判定条件は、手の移動方向側の部位のＺ座標が、当該移動方向側の部位から見て手の移動方向側とは逆方向側にある部位のＺ座標よりも大きい、という条件であったが、これに限られない。例えば、判定条件は、前述の判定条件と異なり、手の移動方向側の部位のＺ座標が、当該移動方向側の部位から見て手の移動方向側とは逆方向側にある部位のＺ座標よりも小さい、という条件であってもよい。この理由は次のように考えられるからである。例えば、ユーザは目の前に実在する物体に対して手の甲を向け、更にその物体を手の小指側からすくうことで、左右の何れかの方向に払いのけたいと考えたとする。そのときの手の傾きを考えると、その払いのける方向側の手の部位が、その逆方向側の部位よりも低くなる（Ｚ軸負方向に位置する）という傾きになる。このため、タッチスクリーン部に表示された画像を、手の移動方向に移動させるような非接触操作を行う場合であっても、その手の移動方向側の部位がその逆方向側の部位よりも低くなると考えられる。つまり、タッチスクリーン部１１により検出された手の移動方向側の部位のＺ座標が、その逆方向側の部位のＺ座標よりも小さくなると考えられる。これに対し、ユーザが逆動作を行うときには、表示されている画像に対して何らかの処理が行われることは期待していないから、手の移動方向側の部位がその逆方向側の部位と同じ高さに位置する状態か、又は手の移動方向側の部位がその逆方向側の部位よりも高い状態で手を元の位置に戻すと考えられる。つまり、タッチスクリーン部１１により検出された手の移動方向側の部位のＺ座標が、その逆方向側の部位のＺ座標よりも小さくならないと考えられるからである。
【００４８】
ところで、前述のように、ユーザの移動操作の態様により、判定条件が異なると考えられるが、ユーザによっては判定条件が同じである方が操作として自然だと捉えることも考えられる。この為、順動作又は逆動作を特定するための判定条件を、ユーザ自身が予め決められたタイミングで設定できるようにしても良い。この場合、制御部１１０は、ユーザの移動操作の態様を区別することなく、手の傾きが予め決められた判定条件を満たすか否かによって順動作又は逆動作を特定することができる。
【００４９】
（変形例８）
本発明は、表示装置以外にも、これらを実現するための方法、及びコンピュータに表示機能を実現させるためのプログラムとしても把握される。かかるプログラムは、これを記憶させた光ディスク等の記録媒体の形態で提供されたり、インターネット等を介して、コンピュータにダウンロードさせ、これをインストールして利用させるなどの形態でも提供されたりする。
【符号の説明】
【００５０】
１０…表示装置、１１…タッチスクリーン部、１１０…制御部、１２０…記憶部、１２１…処理テーブル、１３０…表示部、１３１…表示面、１４０…操作部、１４１…タッチセンサ、１４２…近接センサ、１４３…操作子
【特許請求の範囲】
【請求項１】
画像を表示する表示面を有する表示手段と、
前記表示面にユーザの手を接触させないで移動させる近接操作を受け付ける操作手段と、
前記操作手段によって受け付けられた近接操作における前記手の移動方向及び前記表示面に対する手の傾きを検出する検出手段と、
前記検出手段によって検出された前記手の傾きに基づき、当該手の移動方向側の部位から前記表示面までの距離と、当該移動方向側の部位から見て前記手の移動方向側とは逆方向側にある部位から前記表示面までの距離との大小関係が、決められた条件を満たすか否かを判断する判断手段と、
前記判断手段により前記条件が満たされると判断された場合には、前記操作が受け付けられたときに表示されていた画像を、前記検出手段によって検出された前記手の移動方向に応じた画像に変更し、前記判断手段により前記条件が満たされないと判断された場合には、前記操作が受け付けられたときに表示されていた画像を変更しない表示制御手段と
を備えることを特徴とする表示装置。
【請求項２】
前記判断手段は、
前記手の移動方向側の部位から前記表示面までの距離が、当該移動方向側の部位から見て前記手の移動方向側とは逆方向側にある部位から前記表示面までの距離よりも大きい場合に、前記決められた条件を満たすと判断し、前記手の移動方向側の部位から前記表示面までの距離が、当該移動方向側の部位から見て前記手の移動方向側とは逆方向側にある部位から前記表示面までの距離以下の場合に、前記決められた条件を満たさないと判断する
ことを特徴とする請求項１に記載の表示装置。
【請求項３】
前記表示制御手段は、
第１の操作が前記操作手段によって受け付けられた時刻と、当該第1の操作の後になされた第２の操作が前記操作手段によって受け付けられた時刻との差が閾値以上である場合には、前記判断手段による判断結果によらずに、前記第２の操作が受け付けられたときに表示されていた前記画像の内容を、当該第２の操作について前記検出手段によって検出された前記手の移動方向に応じた画像に変更する
ことを特徴とする請求項１に記載の表示装置。
【請求項４】
画像を表示する表示面を有する表示手段と、前記表示面に前記ユーザの手を接触させないで移動させる近接操作を受け付ける操作手段とを備えた表示装置の制御方法であって、
前記操作手段によって受け付けられた近接操作における前記手の移動方向及び前記表示面に対する手の傾きを検出する検出ステップと、
前記検出ステップにおいて検出された前記手の傾きに基づき、当該手の移動方向側の部位から前記表示面までの距離と、当該移動方向側の部位から見て前記手の移動方向側とは逆方向側にある部位から前記表示面までの距離との大小関係が、決められた条件を満たすか否かを判断する判断ステップと、
前記判断ステップにおいて前記条件が満たされると判断された場合には、前記操作が受け付けられたときに表示されていた画像を、前記検出ステップにおいて検出された前記手の移動方向に応じた画像に変更し、前記判断ステップにおいて前記条件が満たされないと判断された場合には、前記操作が受け付けられたときに表示されていた画像を変更しない表示制御ステップと
を備えることを特徴とする制御方法。
【請求項５】
画像を表示する表示面を有する表示手段と、前記表示面に前記ユーザの手を接触させないで移動させる近接操作を受け付ける操作手段とを有するコンピュータを、
前記操作手段によって受け付けられた近接操作における前記手の移動方向及び前記表示面に対する手の傾きを検出する検出手段と、
前記検出手段によって検出された前記手の傾きに基づき、当該手の移動方向側の部位から前記表示面までの距離と、当該移動方向側の部位から見て前記手の移動方向側とは逆方向側にある部位から前記表示面までの距離との大小関係が、決められた条件を満たすか否かを判断する判断手段と、
前記判断手段により前記条件が満たされると判断された場合には、前記操作が受け付けられたときに表示されていた画像を、前記検出手段によって検出された前記手の移動方向に応じた画像に変更し、前記判断手段により前記条件が満たされないと判断された場合には、前記操作が受け付けられたときに表示されていた画像を変更しない表示制御手段と
して機能させるためのプログラム。
【請求項１】
画像を表示する表示面を有する表示手段と、
前記表示面にユーザの手を接触させないで移動させる近接操作を受け付ける操作手段と、
前記操作手段によって受け付けられた近接操作における前記手の移動方向及び前記表示面に対する手の傾きを検出する検出手段と、
前記検出手段によって検出された前記手の傾きに基づき、当該手の移動方向側の部位から前記表示面までの距離と、当該移動方向側の部位から見て前記手の移動方向側とは逆方向側にある部位から前記表示面までの距離との大小関係が、決められた条件を満たすか否かを判断する判断手段と、
前記判断手段により前記条件が満たされると判断された場合には、前記操作が受け付けられたときに表示されていた画像を、前記検出手段によって検出された前記手の移動方向に応じた画像に変更し、前記判断手段により前記条件が満たされないと判断された場合には、前記操作が受け付けられたときに表示されていた画像を変更しない表示制御手段と
を備えることを特徴とする表示装置。
【請求項２】
前記判断手段は、
前記手の移動方向側の部位から前記表示面までの距離が、当該移動方向側の部位から見て前記手の移動方向側とは逆方向側にある部位から前記表示面までの距離よりも大きい場合に、前記決められた条件を満たすと判断し、前記手の移動方向側の部位から前記表示面までの距離が、当該移動方向側の部位から見て前記手の移動方向側とは逆方向側にある部位から前記表示面までの距離以下の場合に、前記決められた条件を満たさないと判断する
ことを特徴とする請求項１に記載の表示装置。
【請求項３】
前記表示制御手段は、
第１の操作が前記操作手段によって受け付けられた時刻と、当該第1の操作の後になされた第２の操作が前記操作手段によって受け付けられた時刻との差が閾値以上である場合には、前記判断手段による判断結果によらずに、前記第２の操作が受け付けられたときに表示されていた前記画像の内容を、当該第２の操作について前記検出手段によって検出された前記手の移動方向に応じた画像に変更する
ことを特徴とする請求項１に記載の表示装置。
【請求項４】
画像を表示する表示面を有する表示手段と、前記表示面に前記ユーザの手を接触させないで移動させる近接操作を受け付ける操作手段とを備えた表示装置の制御方法であって、
前記操作手段によって受け付けられた近接操作における前記手の移動方向及び前記表示面に対する手の傾きを検出する検出ステップと、
前記検出ステップにおいて検出された前記手の傾きに基づき、当該手の移動方向側の部位から前記表示面までの距離と、当該移動方向側の部位から見て前記手の移動方向側とは逆方向側にある部位から前記表示面までの距離との大小関係が、決められた条件を満たすか否かを判断する判断ステップと、
前記判断ステップにおいて前記条件が満たされると判断された場合には、前記操作が受け付けられたときに表示されていた画像を、前記検出ステップにおいて検出された前記手の移動方向に応じた画像に変更し、前記判断ステップにおいて前記条件が満たされないと判断された場合には、前記操作が受け付けられたときに表示されていた画像を変更しない表示制御ステップと
を備えることを特徴とする制御方法。
【請求項５】
画像を表示する表示面を有する表示手段と、前記表示面に前記ユーザの手を接触させないで移動させる近接操作を受け付ける操作手段とを有するコンピュータを、
前記操作手段によって受け付けられた近接操作における前記手の移動方向及び前記表示面に対する手の傾きを検出する検出手段と、
前記検出手段によって検出された前記手の傾きに基づき、当該手の移動方向側の部位から前記表示面までの距離と、当該移動方向側の部位から見て前記手の移動方向側とは逆方向側にある部位から前記表示面までの距離との大小関係が、決められた条件を満たすか否かを判断する判断手段と、
前記判断手段により前記条件が満たされると判断された場合には、前記操作が受け付けられたときに表示されていた画像を、前記検出手段によって検出された前記手の移動方向に応じた画像に変更し、前記判断手段により前記条件が満たされないと判断された場合には、前記操作が受け付けられたときに表示されていた画像を変更しない表示制御手段と
して機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−２３４３１７（Ｐ２０１２−２３４３１７Ａ）
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願番号】特願２０１１−１０１８２０（Ｐ２０１１−１０１８２０）
【出願日】平成２３年４月２８日（２０１１．４．２８）
【出願人】（３９２０２６６９３）株式会社エヌ・ティ・ティ・ドコモ (5,876)
【Ｆターム（参考）】
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願日】平成２３年４月２８日（２０１１．４．２８）
【出願人】（３９２０２６６９３）株式会社エヌ・ティ・ティ・ドコモ (5,876)
【Ｆターム（参考）】
[ Back to top ]