説明

表示装置、表示装置の制御方法及びプログラム

【課題】ユーザの操作性及び視認性を維持しつつ、透視投影図法における消失点を基準にして画像の内容を変更する。
【解決手段】表示装置10はタッチスクリーン11Dに対する操作に応じて消失点を基準とした画像の内容の変更処理を行うので、例えばユーザがタッチスクリーンを傾ける必要も無く、ユーザの視認性が悪くなることもない。また、表示装置10は、消失点を通る消失線に沿った方向の操作がなされたときにその消失点を基準とした画像の内容の変更処理を行うので、消失線とは全く異なる方向の操作がなされたときに消失点を基準とした画像の内容の変更処理を行うというようなケースと比較すると、ユーザの操作方向の基準と画像の変更内容の基準とが一致しているので、ユーザにとっては自然な感覚で操作することができる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示装置、表示装置の制御方法及びプログラムに関する。
【背景技術】
【0002】
携帯電話機やPDA(Personal Digital Assistant)等の表示装置においては、様々な方法で行われた操作を検知し、検知した操作の内容に応じて各種処理を実行する技術がある。例えば特許文献1には、携帯機器に搭載された3軸加速度センサを用いてその携帯機器の傾きを検知し、検知した傾きに応じて表示内容を拡大又は縮小させる技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2008−77655号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、3次元空間において或る視点から物体を観察したとおりに2次元平面に描画する図法のことを、透視投影図法と呼んでいる。この透視投影図法を用いて画像が表示されている状態において、その画像の内容を変更することで、上述した視点の位置が画像の奥行き方向及びその逆方向にあたかも移動したかのように表示するといった場合や、ユーザから見て手前側から奥行き方向に配置されている画像オブジェクトの位置が変わったかのように表示するといった場合がある。これらの表示処理はいずれも、透視投影図法における消失点と呼ばれるものを基準としてなされる。
【0005】
ここで、例えば特許文献1に記載の技術を転用すれば、加速度センサが検知した傾きに応じて上記のような表示処理を行うということも可能である。しかし、特許文献1に記載の技術では、表示装置を大きく傾けてしまうと、表示面に対する視線方向の角度が小さくなり、表示面の視認性が損なわれてしまう。また、表示装置の傾き方向と画像の奥行き方向とは必ずしも同一直線上にはないため、ユーザが表示装置を傾けるという操作内容と画像の変更内容とが感覚的に一致しないという問題も考えられる。このように、特許文献1の技術を転用することで、消失点を基準として画像の内容を変更しようとした場合には、ユーザにとっての操作性及び視認性が良好であるとはいえない。
【0006】
本発明は上述の背景を鑑みてなされたものであり、その目的は、ユーザの操作性及び視認性を維持しつつ、透視投影図法における消失点を基準にして画像の内容を変更し得る仕組みを提供することにある。
【課題を解決するための手段】
【0007】
上記課題を解決するため、本発明は、画像を表示する表示面に重ねられ当該画像を透過してユーザに視認させるとともに、前記ユーザの操作を受け付ける操作手段と、透視投影図法で表現された透視投影画像を前記表示面に表示させる表示制御手段と、前記表示面に表示された前記透視投影画像において、前記ユーザの操作によって指定された点と透視投影図法における消失点とを結ぶ消失線を特定する特定手段とを備え、前記表示制御手段は、特定された前記消失線に沿った方向の操作が前記操作手段によって受け付けられると、前記消失点を基準にして前記透視投影画像の内容を変更することを特徴とする表示装置を提供する。
【0008】
前記表示制御手段は、複数の画像オブジェクトを含む前記透視投影画像を前記表示面に表示させ、前記消失線に沿った方向の操作が前記操作手段によって受け付けられると、透視投影図法における視点の位置が、前記透視投影画像において前記消失点に近づく奥行き方向又はその逆方向に変わるように、各々の前記画像オブジェクトの表示位置を変更するようにしてもよい。
【0009】
さらに前記表示制御手段は、前記消失線に沿った方向のフリック操作が前記操作手段によって受け付けられると、透視投影図法における視点の位置が、前記透視投影画像において前記消失点に近づく奥行き方向又はその逆方向に変わるように、各々の前記画像オブジェクトの表示位置を変更するようにしてもよい。
【0010】
またさらに、前記表示制御手段は、前記消失線に沿った方向の操作であって、前記複数の画像オブジェクトのいずれをも指定しないドラッグアンドドロップ操作が前記操作手段によって受け付けられると、透視投影図法における視点の位置が、前記透視投影画像において前記消失点に近づく奥行き方向又はその逆方向に変わるように、各々の前記画像オブジェクトの表示位置を変更するようにしてもよい。
【0011】
また、本発明において、前記表示制御手段は、複数の画像オブジェクトを含む前記透視投影画像を前記表示面に表示させ、前記消失線に沿った方向の操作が前記操作手段によって受け付けられると、前記複数の画像オブジェクトのいずれかの表示位置を、前記透視投影画像において前記消失点に近づく奥行き方向又はその逆方向に変更するようにしてもよい。
【0012】
さらに、前記表示制御手段は、前記消失線に沿った方向の操作であって、前記複数の画像オブジェクトのいずれかを指定したドラッグアンドドロップ操作が前記操作手段によって受け付けられると、指定された当該画像オブジェクトの表示位置を前記ドラッグアンドドロップ操作により指定された量だけ前記奥行き方向又はその逆方向に沿って変更するようにしてもよい。
【0013】
また、本発明において、前記表示制御手段は、2つの消失点を含む前記透視投影画像を前記表示面に表示させ、前記操作手段によって受け付けられた操作が、各々の前記消失点を基準にして前記特定手段によって特定された2つの消失線のいずれにも沿った方向の操作である場合、前記操作に応じて前記複数の画像オブジェクトの表示位置を変更するときに基準とする消失点を特定し、特定した消失点を基準にして前記透視投影画像の内容を変更するようにしてもよい。
【0014】
また、本発明において、前記表示制御手段は、ユーザに対して、操作の方向と、当該操作を行ったときに変更される前記透視投影画像の内容とを案内する画像を前記表示面に表示させるようにしてもよい。
【0015】
さらに、本発明は、画像を表示する表示面に重ねられ当該画像を透過してユーザに視認させるとともに、前記ユーザの操作を受け付ける操作手段を有する表示装置の制御方法であって、透視投影図法で表現された透視投影画像が前記表示面に表示されているときに前記操作手段によってユーザの操作が受け付けられた場合に、前記操作の方向が、当該操作によって指定された点と透視投影図法における消失点とを結ぶ消失線に沿った方向であれば、前記消失点を基準にして前記透視投影画像の内容を変更して前記表示面に表示させる工程を備えることを特徴とする制御方法を提供する。
【0016】
また、本発明は、画像を表示する表示面に重ねられ当該画像を透過してユーザに視認させるとともに、前記ユーザの操作を受け付ける操作手段を有するコンピュータを、透視投影図法で表現された透視投影画像を前記表示面に表示させる表示制御手段と、前記表示面に表示された前記透視投影画像において、前記ユーザの操作によって指定された点と透視投影図法における消失点とを結ぶ消失線を特定する特定手段として機能させ、前記表示制御手段が、特定された前記消失線に沿った方向の操作が前記操作手段によって受け付けられると、前記消失点を基準にして前記透視投影画像の内容を変更させるプログラムを提供する。
【発明の効果】
【0017】
本発明によれば、ユーザの操作性及び視認性を維持しつつ、透視投影図法における消失点を基準にして画像の内容を変更することが可能となる。
【図面の簡単な説明】
【0018】
【図1】本発明の実施形態に係る表示装置の外観を示した正面図である。
【図2】同実施形態に係る表示装置のハードウェア構成を示したブロック図である。
【図3】同実施形態における処理テーブルの一例を示した図である。
【図4】同実施形態において消失点が1つの場合の動作を表す模式図である。
【図5】同実施形態においてユーザによる操作が消失線に沿ったものであるかを判定する方法を説明する模式図である。
【図6】同実施形態において消失点が1つの場合のフローチャートである。
【図7】同実施形態において消失点が2つの場合の動作を表す模式図である。
【図8】同実施形態において消失点が2つの場合のフローチャートである。
【図9】変形例1においてアシスト表示を行う際の模式図である。
【発明を実施するための形態】
【0019】
以下、本発明の実施形態について説明する。
<構成>
図1は、本発明の一実施形態に係る表示装置10の外観を示した図である。
表示装置10は、表示面及びタッチセンサからなる長方形のタッチスクリーン11D及び操作子141A〜141Cを有するコンピュータであり、例えばPDA、スマートフォン、無線LAN(Local Area Network)端末、ゲーム機、パーソナルコンピュータなどの電子機器である。ユーザは、タッチスクリーン11D及び操作子141A〜141Cを指やスタイラスペンで触れることで表示装置10を操作することができるようになっている。
【0020】
図2は、表示装置10のハードウェア構成を示したブロック図である。なお、同図には表示装置10が最低限備えるべき構成を示しており、図示したもの以外の構成を備えていてもよいことはもちろんである。同図に示すように、表示装置10は、制御部110、記憶部120、表示部130、及び操作部140を備えている。制御部110は、CPU(Central Processing Unit)などの演算処理装置と、ROM(Read Only Memory)及びRAM(Random Access Memory)などの記憶装置とを備える。制御部110のCPUが、RAMをワークエリアとして、ROMや記憶部120などに記憶されたプログラムを実行することによって、表示装置10の各部の動作が制御される。また、制御部110はシステムクロックに基づいて現在時刻を計測する計時機能なども備えている。
【0021】
表示部130は、例えば液晶ディスプレイ等の表示面131と、表示面131の制御を行う制御回路とを有しており、制御部110から供給されるデータに応じた画像を表示面131に表示させる。この表示面131は、長方形の形状であり、XY直交座標系が設定されている。このXY直交座標系の原点Pは、表示面131の4隅のうちのいずれか(図1においては左上隅)に位置している。この原点Pを含む、表示面131の2辺のうち、一方の辺(ここでは表示面131の短手方向の辺)がX軸に対応し、他方の辺(ここでは表示面131の長手方向の辺)がY軸に対応している。
【0022】
操作部140は、ユーザの操作を受け付ける操作子141A〜141C及びタッチセンサ141Dを有している。操作子141A〜141Cは、表示装置10の正面側にX軸方向に並べて配置されており、ユーザの操作に応じた信号を制御部110へ出力する。タッチセンサ141Dは、表示部130の表示面131の全体を覆うようにその表示面131に重ねられた状態で配置されており、その大きさ及び形状は前述した表示面131の大きさ及び形状とほぼ同じである。このタッチセンサ141Dは光を透過する材料で構成されており、表示面131に表示された画像はタッチセンサ141Dを透過してユーザに視認されるようになっている。前述した表示面131と同様に、このタッチセンサ141Dにも、XY直交座標系が設定されている。つまり、XY直交座標系の原点Pは、タッチセンサ141Dの4隅のうちのいずれか(ここでは図の左上隅)に位置している。この原点Pを含む、タッチセンサ141Dの2辺のうち、一方の辺(ここではタッチセンサ141Dの短手方向の辺)がX軸に対応し、他方の辺(ここではタッチセンサ141Dの長手方向の辺)がY軸に対応している。これらX軸及びY軸と直交する直線をZ軸とする。
【0023】
このタッチセンサ141Dは、指やスタイラスペンの先端が接触したか否かを所定のサンプリング周期で検知し、その接触位置(操作点という)を示す座標を制御部110へ出力する。また、タッチセンサ141Dは、操作点が移動された場合にも、移動された期間において、操作点を示す座標を制御部110へ出力し続ける。以降の説明において、タッチセンサ141Dの表面を、ユーザが指などで瞬間的に触れて払うようにタッチする操作を、「フリック」と称する。また、タッチセンサ141Dの表面における或る箇所をユーザが指などで一定期間以上触れた後に、この指を任意の距離だけスライドさせてから離す操作を、「ドラッグ&ドロップ」と称する。両者の操作の違いは、ドラッグ&ドロップには、ユーザが最初に閾値以上の期間だけタッチセンサ141Dの同一箇所に触れるという動作が含まれるのに対し、フリックにはそのような動作が含まれないこと、そして、ドラッグ&ドロップにおいてはユーザが操作し終わる終点の位置に応じて処理が異なるのに対して、フリックにおいてはユーザが操作し終わる終点の位置に応じて処理が異なるということがないということである。このタッチセンサ141Dは、画像を表示する表示面に重ねられその画像を透過してユーザに視認させるとともに、ユーザの操作を受け付ける操作手段として機能する。
【0024】
このように、タッチセンサ141D及び表示面131には、共通のXY直交座標系が設定されており、タッチセンサ141Dによって出力される操作点の位置及び表示面131によって表示される画像の位置のいずれもが、共通のXY直交座標系で規定されるようになっている。これら表示面131及びタッチセンサ141Dによってタッチスクリーン11Dが構成されている。なお、以下の説明においては、矢印Xが指す方向をX軸方向といい、矢印Yが指す方向をY軸方向というものとする。
【0025】
記憶部120は、例えばフラッシュメモリやハードディスク等の不揮発性の記憶手段であり、各種のデータを記憶している。記憶部120に記憶されているデータには、制御部110が実行するプログラムに加え、タッチスクリーン11Dに対するユーザの操作の内容と表示装置10が行う処理の内容とを対応付けた処理テーブル121や各種の閾値などが含まれる。図3は、特にユーザの操作がフリックであった場合の処理の内容が記述された処理テーブル121を図示したものであり、操作の内容に相当する「フリック速度」と、処理の内容に相当する「奥行き制御量」というフィールドを有している。
【0026】
ここで、図4に例示した表示面131の表示内容を参照しながら、図3の処理テーブル121の内容について説明する。まず、消失点及び消失線という用語について説明する。消失点とは、複数の画像オブジェクトを含む画像が透視投影図法によって表示面131に表示される場合において、その画像オブジェクトが遠くになるほど小さくなりやがては点に収束してしまう、その点のことを言う。具体的には、3次元空間において実際には平行線になっている部分を2次元平面で奥行き方向に延長した直線どうしが交わる交点が消失点である。表示されている画像において、消失点は1つのみの場合もあるし、複数存在する場合もある。そして、消失線とは、この消失点を通過する直線のことであり、2次元平面上で消失点以外の点を指定すると、その点と消失点を結ぶ消失線が与えられる。このため、消失線の向きは、指定される点によって変わる。
【0027】
図4(a)は、画像オブジェクトの一例に相当するアイコンが、一点透視投影図法で表現された透視投影画像においてその奥行き方向に沿って順番に配置されている様子を表示した例を示している。各アイコンの右上隅の位置を結んだ点線及び左上隅の位置を結んだ点線が消失線の一例であり、これらの消失線が交わった点が消失点である。図4においては、説明を簡便にするために、2本の消失線のみを例示しているが、上記のとおり消失線は指定される点によって異なるため、実際は無数の消失線が存在している。以降において、図4のように透視投影図法により複数の画像オブジェクトが並べて表示される場合、消失点から遠ざかる方向がユーザから見ると手前方向であるため、これを「手前」、「手前側」又は「手前方向」と呼び、消失点に近づく方向がユーザから見ると奥方向であるため、これを「奥」、「奥側」又は「奥行き方向」と呼ぶ。
【0028】
ここで、制御部110が、フリック又はドラッグ&ドロップという操作に応じて行う処理の内容について説明する。ユーザが、指などでタッチセンサ141Dに触れた場合、この触れられた位置(つまり、操作の始点)と消失線とを結んだ消失線が特定される。つまり、本実施形態では、ユーザがフリック又はドラッグ&ドロップという操作を行うときに最初に操作を開始した始点を、消失点を一意に決めるためにユーザが指定した点とみなす。ユーザが、この消失線に沿った方向にフリック又はドラッグ&ドロップを行うと、制御部110は、消失点を基準として画像の内容を変更する。逆に、ユーザがフリック又はドラッグ&ドロップを行っても、その操作方向が、消失線に沿った方向でないと、制御部110は、消失点を基準として画像の内容を変更する処理を行わない。ここで、消失点を基準として画像の内容を変更する処理には、透視投影図法における視点の位置が、消失点を基準とした奥行き方向及びその逆方向に移動したかのように表示するといった処理と、画像オブジェクトの表示位置が消失点を基準とした奥行き方向またはその逆方向に沿って変わったかのように表示するといった処理とが含まれる。以降、前者のことを、画像に対する視点位置の変更と呼び、後者のことを、画像の奥行き方向における表示位置の変更と呼ぶ。このように、制御部110は、透視投影図法における消失点を通る消失線を特定する特定手段、及び透視投影図法で表現された透視投影画像を表示面に表示させると共に、特定された消失線に沿った方向の操作が操作手段によって受け付けられると、消失点を基準にして透視投影画像の内容を変更する表示制御手段として機能する。
【0029】
図4(b)は、ユーザが図4(a)において、矢印Aで示されるように、消失線に沿った方向且つ手前に向かってフリックした後の表示内容を表している。このようなフリックが行われた場合、制御部110は、画像に対する視点位置を変更する。具体的には、図4(b)に示すように、画像に対する視点位置がアイコン1つ分の距離だけ奥に移動することで、「○」と表記されたアイコンが表示されなくなると共に、「△」と表記されたアイコンが最も手前側に表示され、さらに、最も奥に「×」と表記されたアイコンが新たに表示される。制御部110が画像に対する視点位置を変更する際に、アイコン幾つ分をその移動距離とするか(これを奥行き制御量という)はフリック速度の大きさに応じて決まっている。フリック速度とは、ユーザがフリックを行うときに、タッチセンサ141D上を接触した状態で移動する指の移動速度のことである。
【0030】
前掲した図3に示すように、処理テーブル121においては、フリック速度が遅い程、奥行き制御量が少なくなるように、又、フリック速度が速い程、奥行き制御量が多くなるように設定されている。具体的には、フリック速度は、遅い、中程度、速い、の3段階に区分されており、例えば速い速度でフリックが行われると、アイコン3つ分だけ画像に対する視点位置が変更されるし、遅い速度でフリックが行われると、アイコン1つ分だけ画像に対する視点位置が変更される。例えば図4(a)では、アイコン1つ分だけ画像に対する視点位置が奥行き方向に変更されているから、ユーザが遅い速度で且つ消失点から遠ざかる方向にフリックを行ったということを意味している。
【0031】
フリック速度の求め方は以下のとおりである。上述したように、タッチセンサ141Dは、操作点を示す座標を所定のサンプリング周期で制御部110へ出力している。ここで、フリックの速度が速い程、時間的に連続して出力された2つの座標間の距離(操作点間隔という)は長くなる。逆に、フリックの速度が遅いと、操作点間隔は短いものとなる。制御部110は、この操作点間隔の長さに基づいてフリック速度を算出する。より具体的には、制御部110は、ユーザがタッチセンサ141Dに指で触れた視点からタッチセンサ141Dから指を離した終点までにおいて全ての操作点間隔を求め、その平均値を算出する。そして、制御部110は、予め3段階に区分された操作点間隔の範囲に、算出した平均値を当てはめて、フリック速度が遅いか、中程度か、速いかを特定する。
【0032】
このように、ユーザはフリックの速度を変えることで、画像に対する視点位置を変更するときの量をコントロールすることが可能であるため、例えばあたかも実際に紙をめくる動作を行うときのように、実体のあるものをユーザ自身の指で動かしているときに感じる自然な操作感を得ることが可能となる。なお、図4(a)においては、手前側にフリックした場合を例示しているが、奥側にフリックすることも勿論可能である。この場合、最も手前に表示されていたアイコンが、フリック速度に応じた奥行き制御量の分だけ奥側の位置に表示されるとともに、手前に仮想的に存在していて、フリックが行われるまでは表示されていなかったアイコンが最も手前に新たに表示されることとなる。つまり、フリックの方向と、画像に対する視点位置を変更する方向は、逆の関係である。
【0033】
次に、図4(c)は、ユーザが図4(a)において「△」と表記されたアイコンを、矢印Bで示されるように、消失線に沿った方向且つ手前に向かってドラッグ&ドロップした後の表示内容を表している。このように、アイコンの表示領域内の位置を始点としてドラッグ&ドロップが行われた場合、制御部110は、そのアイコンが指定されたと判断して、そのアイコンについて、画像の奥行き方向における表示位置を変更する。図4(c)の場合、「△」と表記されたアイコンの表示位置が、図4(a)に比べてアイコン1つ分だけ手前に変更されている。具体的には、「△」が表記されたアイコンと、そのアイコンの1つ奥に表示されている、「○」と表記されたアイコンとの位置が入れ替わって表示される。つまり、アイコンの表示領域内の位置を始点としてドラッグ&ドロップが行われた場合、制御部110は、ドラッグ&ドロップの始点に表示されているアイコンを、ドラッグ&ドロップの終点の位置に移動させて表示する。このような、ドラッグ&ドロップの操作の内容と、画像の奥行き方向における表示位置を変更するという処理の内容とが、互いに対応付けられて記憶部120に記憶されている。
【0034】
次に、図4(d)は、ユーザが図4(a)においてアイコンを指定せずに、矢印Cで示されるように、消失線に沿った方向且つ手前に向かってドラッグ&ドロップした場合を表している。このように、アイコンの表示領域外の位置を始点としてドラッグ&ドロップが行われた場合、制御部110は、画像に対する視点位置を変更する。具体的には、図4(d)に示すように、画像に対する視点位置がアイコン2つ分だけ奥に移動することで、「○」及び「△」がそれぞれ表記されたアイコンが表示されなくなると共に、「□」と表記されたアイコンが最も手前側で表示され、その奥に「×」と表記されたアイコンが新たに表示され、さらにその奥に「◇」と表記されたアイコンが新たに表示される。つまり、アイコンが表示されていない位置を始点としてドラッグ&ドロップが行われた場合、制御部110は、ドラッグ&ドロップの始点に最も近いアイコンが、ドラッグ&ドロップの終点に最も近いアイコンの表示位置に表示されるように、画像に対する視点位置を変更する。アイコンを指定しないドラッグ&ドロップの方向と、画像に対する視点位置を変更する方向も、逆の関係である。このような、ドラッグ&ドロップの操作の内容と、画像に対する視点位置を変更するという処理の内容とが、互いに対応付けられて記憶部120に記憶されている。
【0035】
ここで、ユーザによる操作が消失線に沿ったものであるかの判定するときの詳細について、図5を参照して説明する。これまで述べたように、ユーザがフリック又はドラッグ&ドロップを行っても、その操作の方向が消失線に沿った方向でないと、制御部110は、消失点を基準にして画像の内容を変更するという処理を行わない。そこで、制御部110は、以下のようにしてユーザによる操作が消失線に沿ったものであるかを判定する。消失点VPは、表示装置10に表示される画像毎に予め定められている。プログラマは、透視投影図法で表現される画像のレイアウトを設計する段階で消失点VPを決めているはずだから、その消失点VPのXY座標を各画像のプロファイルに記述しておく。制御部110はこのプロファイルから消失点VPのXY座標を読み出す。この消失点VPは、表示装置10のタッチスクリーン11D上に存在してもよいし、タッチスクリーン11Dの領域外において仮想的に定められてもよい。図5の例では、タッチスクリーン11Dの領域外に、仮想的に消失点VPが定められている。なお、図5においては説明の便宜上、消失点VPを、ある大きさを持った円として表しているが、実際には消失点VPは、1つの仮想的なXY座標を持つ点である。
【0036】
図5において、F1は、ユーザがフリックを行ったときに指がタッチセンサ141D上を移動した軌跡(フリック軌跡という)である。制御部110は、フリック軌跡F1の始点と消失点VPとを通る直線を消失線VL3とし、フリック軌跡F1と消失線VL3とがその交点において成す2種類の角度のうち、小さいほうの角度θ1を算出する。ここで、フリック軌跡F1が必ずしも直線ではないことに鑑みれば、角度θ1は、上記交点におけるフリック軌跡F1の接線と、消失線VL3とが成す角度ということになる。つまり、フリックの方向とは、上記交点におけるフリック軌跡F1の接線方向に沿った方向である。制御部110は、算出した角度θ1が予め記憶部120に記憶されている閾値よりも小さければ、フリック軌跡F1を、消失線に沿った操作であると判断する。そして制御部110は、フリック軌跡F1におけるフリック速度と処理テーブル121とに基づいて、画像に対する視点位置の変更を行う。なお、制御部110が角度θ1を算出するにあたっては、以下のようにすればよい。消失線VL3は直線であるから一次方程式で表すことが可能である。また、フリック軌跡F1についても、その始点から終点を結ぶ直線として、一次方程式で表せる。ここで、両者の連立方程式の解として、交点のXY座標が求まる。後は三角関数を用いることで、交点の角度を求めればよい。
【0037】
図5において、D1は、ユーザがアイコンの表示領域以外の位置を始点としてドラッグ&ドロップを行ったときに指がタッチセンサ141D上を移動した軌跡(ドラッグ軌跡という)である。また、消失線VL6は、ドラッグ軌跡D1の始点を通る消失線である。この場合も、上記フリックの場合と同様の処理が行われる。ここで、ドラッグ軌跡D1と消失線VL2とがその交点において成す角度θ2が、予め記憶部120に記憶されている閾値よりも小さかった場合、制御部110は、ドラッグ軌跡D1を、消失線上に沿った操作であると判断する。そして制御部110は、ドラッグ軌跡D1における始点に最も近いアイコンが、ドラッグ軌跡D1の終点に最も近いアイコンの表示位置に表示されるように、画像に対する視点位置を変更する。なお、上述したθ1とθ2とは同じ値であってもよいし、異なる値であってもよい。
【0038】
<動作>
次に実施形態の動作について説明する。
<消失点が1つの場合>
図6は、消失点が1つの場合に制御部110が実行する処理の手順を示したフローチャートである。制御部110は、タッチスクリーン11Dをユーザがタッチする操作があると(ステップS10;YES)、上述した方法によって、その始点を通る消失線を特定する(ステップS20)。次に、制御部110は、このユーザの操作が、消失線に沿ったフリック又はドラッグ&ドロップであるかを判定する(ステップS30)。制御部110は、ユーザの操作が消失線に沿ったフリック又はドラッグ&ドロップであると判定すると(ステップS30;YES)、次に、その操作が特にフリックであるか否かを判定する(ステップS40)。一方、ステップS30で、ユーザの操作が消失線に沿ったフリック又はドラッグ&ドロップではないと判定すると(ステップS30;NO)、制御部110は、その操作に対応した処理を行い(ステップS120)、ステップS10の処理に戻る。
【0039】
ステップS120における処理は、消失点を基準にして画像の内容を変更する処理以外の処理であり、例示すると、次のとおりである。例えば複数の写真のサムネイル画像(オブジェクト画像)が透視投影図法で表示されている場合において、ユーザが、或るサムネイル画像を消失線に沿わない方向(例えばX軸方向)にドラッグ&ドロップしたときには、制御部110は、メーラを起動させ、メールにサムネイル画像に対応する写真の画像データを添付する。その他にも例えば、静止画や動画に対応するサムネイル画像が透視投影図法により表示されている場合において、ユーザが或るサムネイル画像を消失線に沿わない方向(例えばY軸方向)にフリックした場合、制御部110は、そのサムネイル画像に対応する静止画を拡大して表示したり、そのサムネイル画像に対応する動画を専用のアプリケーションで再生するようにしてもよい。ステップS120におけるこのような処理は、予め定められていてもよいし、ユーザによりその内容が変更可能であってもよい。
【0040】
さて、ステップS40において、ユーザの操作がフリックと判定した場合(ステップS40;YES)、制御部110は、そのフリックの方向を特定し、操作点間隔に基づいてフリック速度を算出する(ステップS50)。そして、制御部110は、算出したフリック速度と処理テーブル121の内容とに基づいて奥行き制御量を特定する(ステップS60)。そして制御部110は、タッチスクリーン11Dに表示される画像の表示態様を変更する(ステップS110)。すなわち、ステップS60を経た後のステップS110においては、制御部110は、特定したフリックの方向と奥行き制御量とに応じて、画像に対する視点位置を変更する。
【0041】
また、制御部110は、ステップS40においてユーザの操作をドラッグ&ドロップであると判定すると(ステップS40;NO)、制御部110は、ドラッグの方向を特定すると共に、ドラッグの始点と終点を特定する(ステップS70)。次に、制御部110は、アイコンの指定があるか否か、つまりドラッグの始点がいずれかのアイコンの表示領域内であるか否かを判定する(ステップS80)。ここで、アイコンの指定がある場合(ステップS80;YES)、制御部110は、特定したドラッグの方向と、ドラッグの始点及び終点とに基づいて、指定されたアイコンの表示位置及び、その指定されたアイコンの表示位置の変更に伴って変更される他のアイコンの表示位置を特定する(ステップS90)。そして制御部110は、タッチスクリーン11Dに表示される画像の表示態様を変更する(ステップS110)。すなわち、ステップS90を経た後のステップS110においては、制御部110は、特定したドラッグの方向とドラッグの始点及び終点とに応じて、画像の奥行き方向におけるアイコンの表示位置を変更する。
【0042】
一方、ステップS80において、アイコンが指定されていない場合(ステップS80;NO)、制御部110は、特定したドラッグの方向と、ドラッグの始点及び終点とに基づいて、ドラッグの始点と最も近いアイコンを基準とした奥行き制御量を特定する(ステップS100)。そして制御部110は、タッチスクリーン11Dに表示される画像の表示態様を変更する(ステップS110)。すなわち、ステップS100を経た後のステップS110においては、制御部110は、特定したドラッグの方向と、ドラッグの始点及び終点とに基づいて、画像に対する視点位置を変更する。
【0043】
<消失点が2つの場合>
次に、消失点が2つの場合における表示装置10の動作について説明する。
図7は、消消失点が2つの場合に制御部110が実行する処理の手順を示したフローチャートである。消失点が2つの場合であっても、制御部110が行う処理の内容は基本的に同じ考え方に沿ったものである。ただし、図7(a)のように、第1消失点VP1と第2消失点VP2という、2つの消失点がある場合には、ユーザが行ったフリック又はドラッグ&ドロップが、第1消失点VP1に対する操作であるのか、又は第2消失点VP2に対する操作であるのかが判断できない場合がある。具体的には、フリック軌跡(又はドラッグ軌跡)及び第1消失点VP1から延びる第1消失線の交点における角度θと、フリック軌跡(又はドラッグ軌跡)及び第2消失点VP2から延びる第2消失線の交点における角度θとが、いずれも閾値以下というような場合である。例えば、矢印Eのような方向にフリックした場合には、制御部110は、第1消失点VP1を基準として画像の内容を変更すればよいのか、第2消失点VP2を基準として画像の内容を変更すればよいのかが判断できない。
【0044】
そこで、制御部110は以下のような判定を行う。制御部110は、ユーザによるフリック又はドラッグ&ドロップの始点のXY座標が、第1消失点又は第2消失点から最も遠い位置にあるアイコンの表示領域内にある場合、その遠い位置にある消失点を基準として画像の内容を変更する。従って、「A」と表記されたアイコンが指定されて、第1消失点VP1に対する操作であるのか、又は第2消失点VP2に対する操作であるのかが判断できないような操作があった場合には、制御部110は、第1消失点VP1に対する操作であると判断する。同様に、「△」と表記されたアイコン及び「□」と表記されたアイコンが指定されて、第1消失点VP1に対する操作であるのか、又は第2消失点VP2に対する操作であるのかが判断できないような操作があった場合には、制御部110は、第2消失点VP2に対する操作であると判断する。ここで、第1消失点及び第2消失点のいずれからも最も遠い「○」と表記されたアイコンが指定された場合には、いずれか一方の消失点(ここでは第1消失点VP1)に対して操作されたものであると判断すると予め決められている。そして、ユーザによるフリック又はドラッグ&ドロップの始点のXY座標が、第1消失点又は第2消失点から最も遠い位置にある以外のアイコンである場合には、第2消失点VP2に対して操作されたものであると判断すると予め決められている。つまり、「B」と表記されたアイコン及び「C」と表記されたアイコンが指定されて、第1消失点VP1に対する操作であるのか、又は第2消失点VP2に対する操作であるのかが判断できないような操作があった場合には、制御部110は、第2消失点VP2に対する操作であると判断する。
【0045】
例えば図7(b)は、ユーザが図7(a)において「○」と表記されたアイコンを、矢印Dで示されるように、第1消失線及び第2消失線に沿った方向で、且つ第1消失点VP1に近づく方向にフリックした後の表示内容を表している。このようなフリックが行われた場合、制御部110は、第1消失点VP1から遠ざかる方向に、画像に対する視点位置を変更する。具体的には、図7(b)に示すように、画像に対する視点位置がアイコン1つ分だけ第1消失点VP1から遠ざかる方向に移動することで、「□」と表記されたアイコンが表示されなくなると共に、「○」及び「△」と表記されたアイコンがそれぞれ1つずつ第1消失点VP1に近づく方向に移動している。そして、第1消失点VP1を基準としてさらに手前に仮想的に存在していて表示されていなかった「☆」と表記されたアイコンが最も手前に新たに表示されることとなる。
【0046】
次に、図7(c)は、ユーザが図7(a)において「○」と表記されたアイコンを、矢印Eで示されるように、第1消失線及び第2消失線に沿った方向で、且つ第1消失点VP1に近づく方向にドラッグ&ドロップした後の表示内容を表している。この場合には、制御部110が第1消失点VP1を基準とした奥行き方向における表示位置を変更した結果、「○」と表記されたアイコンと、「△」と表記されたアイコンとの位置が入れ替わって表示される。
【0047】
そして、図7(d)は、ユーザが図7(a)において「B」と表記されたアイコンを、矢印Fで示されるように、第1消失線及び第2消失線に沿った方向で、且つ第2消失点VP2から遠ざかる方向にドラッグ&ドロップした後の表示内容を表している。この場合、制御部110が、第2消失点VP2を基準とした奥行き方向における表示位置を変更した結果、「B」と表記されたアイコンと、「△」と表記されたアイコンとの位置が入れ替わって表示される。
【0048】
図8は、消失点が2つの場合のフローチャートである。
ステップS10〜ステップS30までの処理内容は、図6に示した消失点が1つの場合の処理と同一である。ステップS30の次に、制御部110は、ユーザのフリック又はドラッグ&ドロップが第1消失点又は第2消失点のどちらに対するものかが角度θのみに基づいて判別できるか否かを判定する(ステップS31)。例えば、図7(a)の矢印Gで示される軌跡のように、フリック軌跡又はドラッグ軌跡と第1消失線との交点における角度θが閾値を超え、且つ、上記軌跡と第2消失線との交点における角度θが閾値以下というような場合には、第2消失点に対する操作ということになるから、ステップS31でYESとなり、制御部110は、以下のステップS40〜ステップS110において、消失点が1つの場合と同一の処理を行う。
【0049】
一方、制御部110が、ユーザの操作を第1消失点及び第2消失点のどちらに対するものかが角度θのみに基づいて判別できなかった場合(ステップS31;NO)、制御部110は、アイコンの指定があるか否か、つまりユーザの操作の始点がいずれかのアイコンの表示領域内であるか否かを判定する(ステップS32)。ここで、例えば図7の矢印Hで示される軌跡のように、アイコンの指定がない場合(ステップS32;NO)、制御部110の処理はステップS10に戻る。一方、アイコンの指定がある場合(ステップS32;YES)、制御部110は、前述した方法に従い、ユーザの操作の始点と各アイコンの表示位置に基づいて、どちらの消失点に対する操作であるのかを特定する(ステップS33)。すなわち上述したように、以降のステップS40〜ステップS110においては、消失点が1つの場合と同一の処理を行う。
【0050】
以上説明した実施形態によれば、表示装置10はタッチスクリーン11Dに対する操作に応じて消失点を基準とした画像の内容の変更処理を行うので、例えば特許文献1の技術を転用した場合と比べると、ユーザがタッチスクリーンを傾ける必要も無く、ユーザの視認性が悪くなることもない。
また、表示装置10は、消失点を通る消失線に沿った方向の操作がなされたときにその消失点を基準とした画像の内容の変更処理を行うので、消失線とは全く異なる方向の操作がなされたときに消失点を基準とした画像の内容の変更処理を行うというようなケースと比較すると、ユーザの操作方向の基準と画像の変更内容の基準とが一致しているので、ユーザにとっては自然な感覚で操作することができる。つまり、良好な操作性を実現し得る。
また、表示装置10は、消失線に沿った方向以外のフリック又はドラッグ&ドロップ操作を、消失点を基準とした画像内容の変更以外の処理(画像のメール添付や画像拡大等)に割り当てているので、フリック又はドラッグ&ドロップ操作に複数の意味合いを持たせることが可能となる。これは特に表示装置10が小型の場合に効果的である。
また、表示装置10は、消失点が2つあるような場合であっても、いずれか1つの消失点を基準として画像の内容を変更することができる
【0051】
<変形例>
上述した実施形態の内容を以下のように変形してもよい。なお、以下に示す各変形例は、必要に応じて組み合わせて実施されてもよい。
【0052】
<変形例1>
制御部110は、ユーザに対して、操作の方向と、その操作を行ったときに変更される画像の内容とを案内する画像をタッチスクリーン11Dに表示させるような、いわゆる操作のアシストを行ってもよい。図9は、ユーザが指200を用いてタッチスクリーン11Dに触れたときの様子を表している。このように、ユーザが指などでタッチスクリーン11Dに触れると、制御部110は、図9に示すような矢印Ar1及び矢印Ar2とともに、当該矢印の示す方向に操作を行った場合の画像の変更内容を表すメッセージを表示する。具体的には、制御部110は、タッチスクリーン11Dにおいて触れられたら位置を特定し、その位置を通る消失線を特定する。そして、制御部110は、その消失線に沿って奥側を指し示す矢印Ar1の画像を表示するとともに、ユーザの判断を支援するような、視点が「手前へ移動」というメッセージを表示する。また、制御部110は、その消失線に沿って手前側を指し示す矢印Ar2の画像を表示するとともに、ユーザの判断を支援するような、視点が「奥へ移動」というメッセージを表示する。このように、ユーザの判断を支援するようなアシストを行うことで、ユーザの操作性が高まることとなる。
【0053】
<変形例2>
実施形態においては、消失点が予め定められているものとしたが、これに限らず、以下のようにしてもよい。すなわち、消失点が予め定められていない場合、制御部110が、タッチスクリーン11Dに表示されている複数の表示画像から少なくとも2つ以上の消失線を求め、これらの消失線が交わる点を消失点として特定してもよい。この消失線を求める際には、例えば以下のようにすればよい。つまり、タッチスクリーン11Dにおいて画像が透視投影的に表示されている状態で、例えば制御部110が、最も手前側に表示されている画像の左上隅と、それよりも一つ奥側に表示されている画像の左上隅とを結んだ直線と、最も手前側に表示されている画像の右上隅とそれよりも一つ奥側に表示されている画像の右上隅とを結んだ直線との交点を消失点として特定するようにすればよい。このようにしても、実施形態と同様の効果を得ることが可能となる。
【0054】
<変形例3>
フリック又はドラッグ&ドロップが消失線に沿ったものであるときに制御部110が行う処理は、消失点を基準にして画像の内容を変更する処理であればどのようなものでもよい。例えば、ドラッグ&ドロップにおいて、始点に表示されているアイコンと、終点に表示されているアイコンとを入れ替えて表示し、それ以外のアイコンの表示位置は変更しないなどのの処理が考えられる。
【0055】
<変形例4>
実施形態では、フリック又はドラッグ&ドロップという操作の方向が、その操作の始点における操作方向であったが、これに限らない。例えばフリック軌跡やドラッグ軌跡の全域における接線の傾きを平均化し、その平均値をフリックの方向としてもよい。
【0056】
<変形例5>
実施形態では、制御部110は、フリック又はドラッグ&ドロップが消失線に沿ったものであるか否かという判断を、そのフリック又はドラッグ&ドロップという操作の始点において、フリック軌跡やドラッグ軌跡と消失線とが成す角度に基づいて行っていた。つまり、制御部110は、消失線を、フリック又はドラッグ&ドロップという操作の始点と消失点とを結ぶことで特定していた。消失線の特定の仕方はこれに限らず、制御部110は、フリック軌跡やドラッグ軌跡上のいずれかの点と消失点とを結んで消失線を特定し、この消失線とフリック軌跡やドラッグ軌跡とが成す角度に基づいて上記の判断を行ってもよい。ここで、フリック軌跡やドラッグ軌跡上のいずれかの点とは、例えば軌跡の中点とか終点などどのような点でもよい。フリック軌跡やドラッグ軌跡は、ユーザによって指定された点の集合であるから、いずれにしろ、制御部110は、ユーザの操作によって指定された点と消失点とを結ぶ消失線を特定していると言える。
【0057】
<変形例6>
実施形態では、操作の内容と処理の内容とを対応付けた処理テーブル121が記憶部120に記憶されていたが、表示装置110は、このような処理テーブル121を記憶するのではなく、操作の内容(つまりフリック速度)に対する処理の内容(つまり消失点を基準とした画像内容の変更)を一意に決定するような計算式を記憶部120に記憶したり或いは図示せぬ通信手段による通信を用いて取得するようにしてもよい。
【0058】
<変形例7>
本発明は、タッチスクリーン等を有するコンピュータに本発明を実現させるためのプログラムや、かかるプログラムを記憶させた光ディスク等の記録媒体としても特定され得る。本発明に係るプログラムは、インターネット等のネットワークを介して、表示装置にダウンロードさせ、これをインストールして利用可能にするなどの形態でも提供され得る。
【符号の説明】
【0059】
10…表示装置、11D…タッチスクリーン、110…制御部、120…記憶部、121…処理テーブル、130…表示部、131…表示面、140…操作部、141A〜141C…操作子、141D…タッチセンサ、D1…ドラッグ軌跡、F1…フリック軌跡、VL1〜VL6…消失線、VP,VP1,VP2…消失点

【特許請求の範囲】
【請求項1】
画像を表示する表示面に重ねられ当該画像を透過してユーザに視認させるとともに、前記ユーザの操作を受け付ける操作手段と、
透視投影図法で表現された透視投影画像を前記表示面に表示させる表示制御手段と、
前記表示面に表示された前記透視投影画像において、前記ユーザの操作によって指定された点と透視投影図法における消失点とを結ぶ消失線を特定する特定手段とを備え、
前記表示制御手段は、特定された前記消失線に沿った方向の操作が前記操作手段によって受け付けられると、前記消失点を基準にして前記透視投影画像の内容を変更する
ことを特徴とする表示装置。
【請求項2】
前記表示制御手段は、
複数の画像オブジェクトを含む前記透視投影画像を前記表示面に表示させ、
前記消失線に沿った方向の操作が前記操作手段によって受け付けられると、透視投影図法における視点の位置が、前記透視投影画像において前記消失点に近づく奥行き方向又はその逆方向に変わるように、各々の前記画像オブジェクトの表示位置を変更する
ことを特徴とする請求項1記載の表示装置。
【請求項3】
前記表示制御手段は、前記消失線に沿った方向のフリック操作が前記操作手段によって受け付けられると、透視投影図法における視点の位置が、前記透視投影画像において前記消失点に近づく奥行き方向又はその逆方向に変わるように、各々の前記画像オブジェクトの表示位置を変更する
ことを特徴とする請求項2記載の表示装置。
【請求項4】
前記表示制御手段は、前記消失線に沿った方向の操作であって、前記複数の画像オブジェクトのいずれをも指定しないドラッグアンドドロップ操作が前記操作手段によって受け付けられると、透視投影図法における視点の位置が、前記透視投影画像において前記消失点に近づく奥行き方向又はその逆方向に変わるように、各々の前記画像オブジェクトの表示位置を変更する
ことを特徴とする請求項2又は3に記載の表示装置。
【請求項5】
前記表示制御手段は、
複数の画像オブジェクトを含む前記透視投影画像を前記表示面に表示させ、
前記消失線に沿った方向の操作が前記操作手段によって受け付けられると、前記複数の画像オブジェクトのいずれかの表示位置を、前記透視投影画像において前記消失点に近づく奥行き方向又はその逆方向に変更する
ことを特徴とする請求項1記載の表示装置。
【請求項6】
前記表示制御手段は、前記消失線に沿った方向の操作であって、前記複数の画像オブジェクトのいずれかを指定したドラッグアンドドロップ操作が前記操作手段によって受け付けられると、指定された当該画像オブジェクトの表示位置を前記ドラッグアンドドロップ操作により指定された量だけ前記奥行き方向又はその逆方向に沿って変更する
ことを特徴とする請求項5記載の表示装置。
【請求項7】
前記表示制御手段は、
2つの消失点を含む前記透視投影画像を前記表示面に表示させ、
前記操作手段によって受け付けられた操作が、各々の前記消失点を基準にして前記特定手段によって特定された2つの消失線のいずれにも沿った方向の操作である場合、
前記操作に応じて前記複数の画像オブジェクトの表示位置を変更するときに基準とする消失点を特定し、特定した消失点を基準にして前記透視投影画像の内容を変更する
ことを特徴とする請求項1〜6のいずれか1項に記載の表示装置。
【請求項8】
前記表示制御手段は、ユーザに対して、操作の方向と、当該操作を行ったときに変更される前記透視投影画像の内容とを案内する画像を前記表示面に表示させる
ことを特徴とする請求項1〜7のいずれか1項に記載の表示装置。
【請求項9】
画像を表示する表示面に重ねられ当該画像を透過してユーザに視認させるとともに、前記ユーザの操作を受け付ける操作手段を有する表示装置の制御方法であって、
透視投影図法で表現された透視投影画像が前記表示面に表示されているときに前記操作手段によってユーザの操作が受け付けられた場合に、前記操作の方向が、当該操作によって指定された点と透視投影図法における消失点とを結ぶ消失線に沿った方向であれば、前記消失点を基準にして前記透視投影画像の内容を変更して前記表示面に表示させる工程を備えることを特徴とする制御方法。
【請求項10】
画像を表示する表示面に重ねられ当該画像を透過してユーザに視認させるとともに、前記ユーザの操作を受け付ける操作手段を有するコンピュータを、
透視投影図法で表現された透視投影画像を前記表示面に表示させる表示制御手段と、
前記表示面に表示された前記透視投影画像において、前記ユーザの操作によって指定された点と透視投影図法における消失点とを結ぶ消失線を特定する特定手段として機能させ、
前記表示制御手段が、特定された前記消失線に沿った方向の操作が前記操作手段によって受け付けられると、前記消失点を基準にして前記透視投影画像の内容を変更させるプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate


【公開番号】特開2012−108800(P2012−108800A)
【公開日】平成24年6月7日(2012.6.7)
【国際特許分類】
【出願番号】特願2010−258222(P2010−258222)
【出願日】平成22年11月18日(2010.11.18)
【出願人】(392026693)株式会社エヌ・ティ・ティ・ドコモ (5,876)
【Fターム(参考)】