説明

表示制御装置

【課題】操作デバイスの動きに基づいて外部装置における撮像を制御し、撮像により得られる画像の表示を制御することが可能な表示制御装置を提供する。
【解決手段】外部装置と通信を行う通信部と、操作デバイスの動きを示す検出情報に基づいて、操作デバイスの向きを検出する検出部と、検出された操作デバイスの向きに基づいて撮像を制御する撮像制御命令を生成し、通信部に撮像制御命令を外部装置へと送信させて、撮像により得られる画像の表示を制御する表示制御部と、を備える表示制御装置が提供される。

【発明の詳細な説明】
【技術分野】
【0001】
本開示は、表示制御装置に関する。
【背景技術】
【0002】
近年、加速度センサや角速度センサなどを備える装置の普及が進んでおり、ユーザは、例えばセンサを備える装置を動かすなどの操作を行うことにより、様々な指示を当該装置、または外部装置に与えることが可能となっている。
【0003】
また、例えば加速度センサや角速度センサなどを備える装置を用いた技術も開発されている。例えば、加速度センサおよび角速度センサを備える球形状の操作デバイスに対するユーザ操作に基づいて画面表示を制御する技術としては、例えば、下記の特許文献1が挙げられる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2002−82768号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
本開示では、操作デバイスの動きに基づいて外部装置における撮像を制御し、撮像により得られる画像の表示を制御することが可能な、新規かつ改良された表示制御装置を提案する。
【課題を解決するための手段】
【0006】
本開示によれば、外部装置と通信を行う通信部と、操作デバイスの動きを示す検出情報に基づいて、上記操作デバイスの向きを検出する検出部と、検出された上記操作デバイスの向きに基づいて撮像を制御する撮像制御命令を生成し、上記通信部に上記撮像制御命令を外部装置へと送信させて、撮像により得られる画像の表示を制御する表示制御部と、を備える、表示制御装置が提供される。
【発明の効果】
【0007】
本開示によれば、操作デバイスの動きに基づいて外部装置における撮像を制御し、撮像により得られる画像の表示を制御することができる。
【図面の簡単な説明】
【0008】
【図1】本実施形態に係る操作デバイスの構成の一例を示す説明図である。
【図2】本実施形態に係る表示制御装置における表示制御処理の一例を説明するための説明図である。
【図3】本実施形態に係る表示制御装置における表示制御処理の一例を説明するための説明図である。
【図4】本実施形態に係る表示制御装置における表示制御処理の一例を説明するための説明図である。
【図5】本実施形態に係る表示制御装置における表示制御処理の一例を説明するための説明図である。
【図6】本実施形態に係る表示制御装置における表示制御処理の一例を説明するための説明図である。
【図7】本実施形態に係る表示制御装置における表示制御処理の一例を説明するための説明図である。
【図8】本実施形態に係る表示制御装置における表示制御方法に係る処理の第1の例を示す流れ図である。
【図9】本実施形態に係る表示制御装置における表示制御方法に係る処理の第2の例を示す流れ図である。
【図10】本実施形態に係る表示制御装置の構成の一例を示すブロック図である。
【図11】本実施形態に係る表示制御装置のハードウェア構成の一例を示す説明図である。
【発明を実施するための形態】
【0009】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0010】
また、以下では、下記に示す順序で説明を行う。
1.本実施形態に係る表示制御方法
2.本実施形態に係る表示制御装置
3.本実施形態に係るプログラム
【0011】
(本実施形態に係る表示制御方法)
本実施形態に係る表示制御装置の構成について説明する前に、本実施形態に係る表示制御方法について説明する。また、以下では、本実施形態に係る表示制御装置が、本実施形態に係る表示制御方法に係る処理を行うものとして説明する。
【0012】
[本実施形態に係る表示制御方法の概要]
インターネットなどのネットワークの普及や通信技術の発達などにより、例えば、ネットワークで接続された撮像装置における撮像を制御することが可能となっている。ネットワークで接続された撮像装置における撮像を制御することによって、例えば、遠隔地に存在する撮像装置における撮像を制御して、当該撮像装置によって撮像された、遠隔地における画像を表示画面に表示させることが実現される。
【0013】
また、表示技術の向上に伴い、例えば、仮想的な空間内に1または2以上の画像(静止画像/動画像)を描画することが可能となっており、当該仮想的な空間内の仮想的な撮像装置における撮像を制御することも可能となっている。仮想的な空間内の仮想的な撮像装置における撮像を制御することによって、例えば、ユーザ自身が、あたかも当該仮想的な空間内に存在するような表示を実現することができる。
【0014】
ここで、上記のような、現実の撮像装置における撮像の制御や、仮想的な撮像装置における撮像の制御は、例えば、マウスやキーボード、機器に設けられたボタンなどのような操作デバイスに対するユーザ操作(例えば、クリック操作など)に基づいて行われることが多い。
【0015】
しかしながら、ユーザが、マウスやキーボード、機器に設けられたボタンなどのような操作デバイスを用いて、撮像により得られる画像を表示画面に表示させる場合には、例えば、ユーザは、操作を行うための操作画面を見ながら操作を行わなければならない可能性が高い。よって、ユーザが、マウスやキーボード、機器に設けられたボタンなどのような操作デバイスを用いて、撮像により得られる画像を表示画面に表示させる場合には、ユーザは直感的な操作によって、撮像により得られる所望の画像を表示画面に表示させることができるとは限らない。
【0016】
そこで、本実施形態に係る表示制御装置は、操作デバイスの動きに基づいて外部装置における撮像を制御し、撮像により得られる画像の表示を制御する。より具体的には、本実施形態に係る表示制御装置は、例えば、下記の(1)の処理(検出処理)、および(2)の処理(表示制御処理)によって、撮像により得られる画像の表示を制御する。
【0017】
(1)検出処理
本実施形態に係る表示制御装置は、操作デバイスの動きを示す検出情報に基づいて、操作デバイスの動きを検出する。
【0018】
ここで、本実施形態に係る表示制御装置が検出する操作デバイスの動きとしては、例えば、下記の(a)〜(e)が挙げられる。
・(a)操作デバイスの向き
・(b)操作デバイスの向き、および操作デバイスの向きの変化量
・(c)操作デバイスの向き、および操作デバイスの位置の変化量
・(d)操作デバイスの向き、操作デバイスの向きの変化量、および操作デバイスの位置の変化量
・(e)上記(a)〜(d)のいずれか、およびユーザ操作に応じて変化する圧力値
【0019】
また、本実施形態に係る操作デバイスは、例えば、加速度センサや、角速度センサ、磁気センサなどの操作デバイスの動きを検出可能な各種センサを備え、ユーザによるより直感的な操作を可能とするデバイスが挙げられる。
【0020】
図1は、本実施形態に係る操作デバイス10の構成の一例を示す説明図であり、ユーザに把持されて用いられる操作デバイスの一例を示している。
【0021】
操作デバイス10は、例えば、CPU12(Central Processing Unit)と、3軸加速度センサ14と、3軸角速度センサ16と、圧力センサ18と、タクトスイッチ20A〜20Dと、通信デバイス22と、電源24とを備える。また、操作デバイス10の外側は、スポンジやシリコンなどで形成される保護層26が設けられる。なお、操作デバイス10は、方位センサなど他のセンサを備えていてもよい。
【0022】
例えば図1に示す構成の操作デバイス10を用いる場合、ユーザは、例えば、操作デバイス10を回転させる操作、移動させる操作、把持の程度を変える操作(把持に係る圧力を変える操作)を行う。そして、本実施形態に係る表示制御装置は、操作デバイス10の各種センサの値を示すデータを、検出情報として用いて操作デバイス10の動きを検出し、後述する(2)の処理(表示制御処理)を行う。
【0023】
よって、ユーザは、例えば図1に示す構成の操作デバイス10を用いることによって、より直感的な操作により、撮像により得られる所望の画像を表示画面に表示させることができる。なお、本実施形態に係る操作デバイスが、図1に示すような球形状(または略球形状)のデバイスに限られないことは、言うまでもない。
【0024】
ここで、本実施形態に係る操作デバイスは、例えば、本実施形態に係る表示制御装置そのもの(すなわち、自装置)であってもよいし、本実施形態に係る表示制御装置の外部装置(すなわち、外部操作デバイス)であってもよい。
【0025】
操作デバイスが本実施形態に係る表示制御装置そのものである場合、本実施形態に係る表示制御装置は、例えば、加速度センサや、角速度センサ、圧力センサ、GPS(Global Positioning System)デバイスなどの各種センサを備え、当該各種センサの検出値を示すデータ(検出情報の一例)に基づいて、操作デバイス(すなわち、表示制御装置)の動きを検出する。また、本実施形態に係る表示制御装置は、例えば上記(b)〜(d)に示すように、操作デバイスに対する物理的な操作における操作量をさらに検出してもよい。
【0026】
また、操作デバイスが外部操作デバイスである場合、本実施形態に係る表示制御装置は、当該外部操作デバイスと無線/有線で通信を行い、当該外部操作デバイスから送信される検出情報を受信する。ここで、外部操作デバイスから送信される検出情報としては、例えば、外部操作デバイスが備える、加速度センサや、角速度センサ、圧力センサなどの各種センサの検出値を示すデータが挙げられる。そして、本実施形態に係る表示制御装置は、受診した検出情報を用いて外部操作デバイスの動きを検出し、後述する(2)の処理(表示制御処理)を行う。
【0027】
本実施形態に係る表示制御装置は、例えば、自装置(操作デバイス)が備える各種センサの検出値に対応する検出情報や、外部操作デバイスから受信した、外部操作デバイスが備える各種センサの検出値に対応する検出情報に基づいて、操作デバイス(自装置、または、外部操作デバイス)の動きを検出する。なお、本実施形態に係る表示制御装置における(1)の処理(検出処理)の具体例については、後述する。
【0028】
(2)表示制御処理
本実施形態に係る表示制御装置は、上記(1)の処理(検出処理)において検出された操作デバイスの動きに基づいて、撮像により得られる画像の表示画面への表示を制御する。
【0029】
より具体的には、本実施形態に係る表示制御装置は、上記(1)の処理(検出処理)において検出された操作デバイスの動きに基づいて、撮像を制御する撮像制御命令を生成する。そして、本実施形態に係る表示制御装置は、ネットワークを介して(あるいは、直接的に)無線/有線で接続された外部装置へと生成した撮像制御命令を送信し、外部装置に撮像制御命令を実行させることによって、撮像により得られる画像の表示を制御する。
【0030】
ここで、本実施形態に係る表示制御装置は、検出された操作デバイスの動きに対応する撮像制御命令を生成する。本実施形態に係る撮像制御命令としては、例えば、(現実の)撮像装置における撮像を制御する撮像制御命令と、仮想的な撮像装置における撮像を制御する撮像制御命令とが挙げられる。
【0031】
本実施形態に係る表示制御装置は、例えば、操作デバイスの動きの検出結果と、操作デバイスの動きと撮像制御に係る処理とが対応付けられたテーブルとに基づいて、検出された操作デバイスの動きに対応する撮像制御に係る処理を特定する。そして、本実施形態に係る表示制御装置は、例えば、特定された撮像制御に係る処理の内容(例えば、処理コードなど)や、撮像制御に係る処理を一意に示すIDを含む撮像制御命令を生成する。また、本実施形態に係る撮像制御命令には、撮像の制御量を示すデータが含まれていてもよい。本実施形態に係る表示制御装置は、例えば、検出情報に基づいて、撮像の制御量を特定する。なお、本実施形態に係る表示制御装置における撮像制御命令の生成方法が、上記に限られないことは、言うまでもない。
【0032】
また、本実施形態に係るネットワークとしては、例えば、LAN(Local Area Network)やWAN(Wide Area Network)などの有線ネットワーク、無線LAN(WLAN;Wireless Local Area Network)や無線PAN(WPAN;Wireless Personal Area Network)、基地局を介した無線WAN(WWAN;Wireless Wide Area Network)などの無線ネットワーク、あるいは、TCP/IP(Transmission Control Protocol/Internet Protocol)などの通信プロトコルを用いたインターネットなどが挙げられる。
【0033】
また、本実施形態に係る撮像により得られる画像が表示される表示画面としては、例えば、本実施形態に係る表示制御装置が備える表示部(後述する)の表示画面や、本実施形態に係る表示制御装置の外部装置(例えば、外部表示デバイスなどの外部表示装置や、PC(Personal Computer)などの外部情報処理装置など。)の表示画面などが挙げられる。
【0034】
以下、本実施形態に係る表示制御装置における表示制御処理の一例について、説明する。
【0035】
(2−1)(現実の)撮像装置における撮像を制御する撮像制御命令に基づく表示制御処理の一例
図2は、本実施形態に係る表示制御装置における表示制御処理の一例を説明するための説明図である。ここで、図2は、本実施形態に係る表示制御装置が、(現実の)撮像装置における撮像を制御する撮像制御命令を生成する場合において、表示画面に表示される画像の一例を示している。
【0036】
本実施形態に係る表示制御装置は、上記(1)の処理(検出処理)において検出された操作デバイスの動きに基づいて撮像制御命令を生成し、コンサート会場に設置されている撮像装置に対して撮像制御命令を送信する。撮像制御命令を(直接的に、または他の装置を介して間接的に)受信した撮像装置は、撮像制御命令に応じて、例えば、撮像方向の変更や、ズームの変更、位置の移動などを行う。
【0037】
よって、ユーザは、例えば、操作デバイスを前後に動かす、操作デバイスの向きを変えるなど、操作デバイスに対する物理的な操作を行うことによって、(本実施形態に係る表示制御装置を介して)撮像装置における撮像を制御し、表示画面に表示される画像(撮像により得られる画像)を変えることができる。
【0038】
ここで、本実施形態に係る表示制御装置は、検出された操作デバイスの動きに対応する撮像制御命令、すなわち、ユーザの操作デバイスの操作に対応する撮像制御命令を生成する。例えば、ユーザが操作デバイスの向きを45[度]左に変えた場合(45[度]左に回転させた場合)には、本実施形態に係る表示制御装置は、撮像装置の撮像方向を45[度]左に変えさせるための撮像制御命令を生成する。また、例えば、ユーザが操作デバイスを前に動かした場合には、本実施形態に係る表示制御装置は、撮像装置を前に移動させるための撮像制御命令を生成する。例えば上記のように、本実施形態に係る表示制御装置がユーザの操作デバイスの操作に対応する撮像制御命令を生成することによって、ユーザは、より直感的な操作によって、表示画面に表示される画像(撮像により得られる画像)を変えることができる。
【0039】
なお、例えば、ユーザが表示画面に表示される画像(撮像により得られる画像)を連続的に変えることを所望する場合、ユーザが操作デバイスを連続的に動かし続けることが困難なことがある。本実施形態に係る表示制御装置は、例えば、検出情報を用いた閾値処理を行うことによって、ユーザが操作デバイスを連続的に動かし続けなくとも、表示画面に表示される画像(撮像により得られる画像)が連続的に変化することを実現してもよい。
【0040】
より具体的には、例えば、ユーザが操作デバイスの向きを変えた場合、本実施形態に係る表示制御装置は、検出情報に基づいて操作デバイスの向きの変化量を検出し、検出された向きの変化量と、向きの変化量に対応する閾値(例えば、45[度]など)とを比較する。そして、検出された向きの変化量が、閾値より大きい場合(または、閾値以上の場合)には、本実施形態に係る表示制御装置は、例えば、操作デバイスの向きを逆向きに変えるなど操作デバイスに対して所定の停止操作が行われるまで、撮像装置において撮像制御命令に応じた処理が行えなくなるまで、あるいは、停止ボタンが押下されるまで、ユーザが行った操作に対応する撮像制御命令を、撮像装置に送信し続ける。
【0041】
ここで、本実施形態に係る表示制御装置は、例えば、撮像装置と適宜通信を行うことによって、撮像装置が撮像制御命令に応じた処理を行えるか否かを判定する。より具体的には、本実施形態に係る表示制御装置は、例えば、撮像制御命令が示す方向に撮像方向を変えることができないことや、撮像制御命令が示す移動方向に移動することができないことを示すデータを、撮像装置から受信した場合に、撮像装置が撮像制御命令に応じた処理を行えないと判定する。
【0042】
また、例えば、ユーザが操作デバイスを前に動かした場合、本実施形態に係る表示制御装置は、検出情報に基づいて操作デバイスの位置の変化量を検出し、検出された位置の変化量と、位置の変化量に対応する閾値(例えば、20[cm]など)とを比較する。そして、検出された位置の変化量が、閾値より大きい場合(または、閾値以上の場合)には、本実施形態に係る表示制御装置は、例えば、操作デバイスに対して所定の停止操作が行われるまで、撮像装置において撮像制御命令に応じた処理が行えなくなるまで、あるいは、停止ボタンが押下されるまで、ユーザが行った操作に対応する撮像制御命令を、撮像装置に送信し続ける。
【0043】
例えば、上記のように、本実施形態に係る表示制御装置が検出情報を用いた閾値処理を行うことによって、ユーザが操作デバイスを連続的に動かし続けなくとも、表示画面に表示される画像(撮像により得られる画像)が連続的に変化することが実現される。したがって、例えば、上記のように、本実施形態に係る表示制御装置が検出情報を用いた閾値処理を行うことによって、本実施形態に係る表示制御装置は、ユーザの操作性をより向上させることができる。
【0044】
なお、本実施形態に係る表示制御装置が閾値処理に用いる、各種閾値は、例えば、予め規定された固定値であってもよいし、ユーザが変更可能な可変値であってもよい。
【0045】
本実施形態に係る表示制御装置は、例えば上記のように、撮像制御命令により(現実の)撮像装置における撮像を制御することによって、撮像により得られる画像の表示画面への表示を制御する。
【0046】
なお、撮像制御命令によって(現実の)撮像装置における撮像を制御する例は、図2を参照して説明した例に限られない。例えば、本実施形態に係る表示制御装置は、さらに、検出情報に基づいてユーザ操作に応じて変化する圧力値を検出し、検出された圧力値と、圧力値に対応する閾値とを用いた閾値処理の結果に基づいて、(現実の)撮像装置における撮像を制御してもよい。
【0047】
ここで、検出された圧力値と、圧力値に対応する閾値とを用いた閾値処理の結果に基づく制御としては、例えば、検出された圧力値と、圧力値に対応する閾値とを用いた閾値処理の結果に基づいて、選択的に撮像制御命令を生成することが挙げられる。
【0048】
より具体的には、検出された圧力値が、閾値より大きい場合(または、閾値以上の場合)には、本実施形態に係る表示制御装置は、例えば、撮像制御命令の生成処理を有効化する。上記の場合には、ユーザは、操作デバイスをある程度の圧力で把持した上で物理的な操作を行うことによって、(本実施形態に係る表示制御装置を介して)撮像装置における撮像を制御し、表示画面に表示される画像(撮像により得られる画像)を変えることができる。また、検出された圧力値が、閾値以下の場合(または、閾値より小さい場合)には、本実施形態に係る表示制御装置は、例えば、撮像制御命令の生成処理を無効化する。上記の場合には、物理的な操作がユーザによって行われて検出情報が取得されたとしても、本実施形態に係る表示制御装置は、撮像制御命令を生成しない。
【0049】
例えば上記のように、本実施形態に係る表示制御装置が、検出された圧力値と圧力値に対応する閾値とを用いた閾値処理の結果に基づいて選択的に撮像制御命令を生成する場合、ユーザが操作デバイスを把持する程度をかえる操作は、撮像により得られる画像の変化の開始、終了を示す操作に該当する。
【0050】
なお、本実施形態に係る表示制御装置における、検出された圧力値と圧力値に対応する閾値とを用いた閾値処理の結果に基づく、選択的な撮像制御命令の生成に係る処理は、上記に限られない。例えば、本実施形態に係る表示制御装置は、検出された圧力値が閾値より大きいこと(または、検出された圧力値が閾値以上であること)が検出されるごとに、撮像制御命令の生成処理の有効化/無効化を切り替えてもよい。
【0051】
また、本実施形態に係る表示制御装置における、検出された圧力値と、圧力値に対応する閾値とを用いた閾値処理の結果に基づく制御は、上記のような、選択的な撮像制御命令の生成に限られない。例えば、本実施形態に係る表示制御装置は、検出された圧力値が閾値より大きい場合(または、閾値以上の場合)に、撮像装置にズームを行わせるための撮像制御命令を生成するなど、操作デバイスに対するユーザの把持操作に対応する撮像制御命令を生成してもよい。
【0052】
(2−2)仮想的な撮像装置における撮像を制御する撮像制御命令に基づく表示制御処理の一例
図3〜図7は、本実施形態に係る表示制御装置における表示制御処理の一例を説明するための説明図である。ここで、図3〜図7は、本実施形態に係る表示制御装置が、仮想的な撮像装置における撮像を制御する撮像制御命令を生成する場合において、表示画面に表示される画像の一例を示している。
【0053】
本実施形態に係る表示制御装置は、上記(1)の処理(検出処理)において検出された操作デバイスの動きに基づいて撮像制御命令を生成し、生成した撮像制御命令を、例えば、PCなどの情報処理装置や、テレビ受像機などの表示装置などの外部装置へ送信する。撮像制御命令を(直接的に、または他の装置を介して間接的に)受信した外部装置は、撮像制御命令に応じて、例えば、仮想的な空間内の仮想的な撮像装置における、撮像方向の変更や、ズームの変更、仮想的な撮像装置の仮想的な空間における位置の移動などを行う。
【0054】
〔A〕図3に示す例
図3は、テレビジョン放送の番組表が仮想的な空間内に描画される画像の一例を示している。ここで、図3に示すテレビジョン放送の番組表では、日付ごとの番組表が水平方向に並んで表示されており、垂直方向が時間軸を表し、水平方向がチャンネルを表している。ユーザは、例えば操作デバイスの向きを変えるなど、操作デバイスに対する物理的な操作を行い、本実施形態に係る表示制御装置は、ユーザの操作デバイスの操作に対応する撮像制御命令を生成して、外部装置へ当該撮像制御命令を送信する。よって、ユーザは、操作デバイスに対する物理的な操作を行うことによって、(本実施形態に係る表示制御装置を介して)仮想的な撮像装置における撮像を制御し、表示画面に表示される画像(撮像により得られる画像)を変えることができる。
【0055】
より具体的には、例えば、ユーザが操作デバイスの向きを垂直方向に変えた場合には、本実施形態に係る表示制御装置は、撮像装置の撮像方向を垂直方向に変えさせるための撮像制御命令を生成し、生成した撮像制御命令を外部装置へ送信する。上記によって、テレビジョン放送の番組表において注視されている位置が時間軸方向に変更された画像が、表示画面に表示される。
【0056】
また、例えば、ユーザが操作デバイスの向きを水平方向に変えた場合には、本実施形態に係る表示制御装置は、撮像装置の撮像方向を水平方向に変えさせるための撮像制御命令を生成し、生成した撮像制御命令を外部装置へ送信する。
【0057】
ここで、本実施形態に係る表示制御装置は、例えば、検出情報に基づき検出された向きの変化量と、向きの変化量に対応する閾値とを用いた閾値処理の結果に基づいて、撮像制御命令の内容を変えてもよい。例えば、検出された向きの変化量が、閾値以下の場合(または、閾値より小さい場合)には、本実施形態に係る表示制御装置は、テレビジョン放送の番組表において注視されている位置を水平方向に移動させるための撮像制御命令を生成する。上記の場合には、チャンネルが変更された画像が、表示画面に表示される。また、例えば、検出された向きの変化量が、閾値より大きい場合(または、閾値以上の場合)には、本実施形態に係る表示制御装置は、テレビジョン放送の番組表において注視されている位置を水平方向により大きく移動させるための撮像制御命令を生成する。上記の場合には、テレビジョン放送の番組表の日付が変更された画像が表示画面に表示される。
【0058】
例えば上記のように、本実施形態に係る表示制御装置が、ユーザの操作デバイスに対する操作に対応する撮像制御命令を生成することによって、ユーザは、より直感的な操作によって、所望の番組が注視されたテレビジョン放送の番組表を、表示画面に表示させることができる。
【0059】
また、図3に示す例においても、上記図2に示す例と同様に、本実施形態に係る表示制御装置は、検出情報を用いた閾値処理を行うことによって、表示画面に表示される画像(撮像により得られる画像)を連続的に変化させてもよい。上記の場合には、本実施形態に係る表示制御装置は、例えば、操作デバイスの向きを逆向きに変えるなど操作デバイスに対して所定の停止操作が行われるまで、外部装置において撮像制御命令に応じた処理が行えなくなるまで、あるいは、停止ボタンが押下されるまで、ユーザが行った操作に対応する撮像制御命令を、外部装置に送信し続ける。
【0060】
ここで、本実施形態に係る表示制御装置は、例えば、外部装置と適宜通信を行うことによって、外部装置が撮像制御命令に応じた処理を行えるか否かを判定する。より具体的には、本実施形態に係る表示制御装置は、例えば、撮像制御命令が示す方向に仮想的な撮像装置の撮像方向を変えることができないことを示すデータを、外部装置から受信した場合に、外部装置が撮像制御命令に応じた処理を行えないと判定する。
【0061】
上記のように外部装置が撮像制御命令に応じた処理を行えるか否かを判定することによって、本実施形態に係る表示制御装置は、例えば、テレビジョン放送の番組表において注視されている位置が、表示することができない時間帯、チャンネル、日付に移動しようとする場合に撮像制御命令の生成を停止することができる。
【0062】
〔B〕図4に示す例
図4は、画廊のように、複数の静止画像や動画像が仮想的な空間内に描画される画像の一例を示している。ユーザは、例えば操作デバイスの向きを変えるなど、操作デバイスに対する物理的な操作を行い、本実施形態に係る表示制御装置は、ユーザの操作デバイスの操作に対応する撮像制御命令を生成して、外部装置へ当該撮像制御命令を送信する。よって、ユーザは、操作デバイスに対する物理的な操作を行うことによって、(本実施形態に係る表示制御装置を介して)仮想的な撮像装置における撮像を制御し、表示画面に表示される画像(撮像により得られる画像)を変えることができる。
【0063】
より具体的には、例えば、ユーザが操作デバイスの向きを水平方向に変えた場合には、本実施形態に係る表示制御装置は、ユーザの操作に対応する撮像制御命令を生成し、生成した撮像制御命令を外部装置へ送信する。
【0064】
ここで、本実施形態に係る表示制御装置は、例えば、検出情報に基づき検出された向きの変化量と、向きの変化量に対応する閾値とを用いた閾値処理の結果に基づいて、撮像制御命令の内容を変えてもよい。例えば、検出された向きの変化量が、閾値以下の場合(または、閾値より小さい場合)には、本実施形態に係る表示制御装置は、向きの変化量に対応する角度分傾斜させるための撮像制御命令を生成する。上記の場合には、向きの変化量に対応する角度分傾斜された画像が表示画面に表示され、ユーザは、左方向に並んださらに多くの画像を見ることが可能となる。また、例えば、検出された向きの変化量が、閾値より大きい場合(または、閾値以上の場合)には、本実施形態に係る表示制御装置は、閾値に対応する角度分傾斜された状態で、水平方向にスクロールさせるための撮像制御命令を生成する。上記の場合には、閾値に対応する角度分傾斜された状態で、水平方向にスクロールされた画像が表示画面に表示される。
【0065】
例えば上記のように、本実施形態に係る表示制御装置が、ユーザの操作デバイスに対する操作に対応する撮像制御命令を生成することによって、ユーザは、より直感的な操作によって、図4に示す仮想的な空間内を撮像する撮像装置における撮像を制御し、表示画面に表示される画像(撮像により得られる画像)を変えることができる。
【0066】
また、図4に示す例においても、上記図2に示す例と同様に、本実施形態に係る表示制御装置は、検出情報を用いた閾値処理を行うことによって、表示画面に表示される画像(撮像により得られる画像)を連続的に変化させてもよい。上記の場合には、本実施形態に係る表示制御装置は、例えば、操作デバイスの向きを逆向きに変えるなど操作デバイスに対して所定の停止操作が行われるまで、外部装置において撮像制御命令に応じた処理が行えなくなるまで、あるいは、停止ボタンが押下されるまで、ユーザが行った操作に対応する撮像制御命令を、外部装置に送信し続ける。
【0067】
ここで、本実施形態に係る表示制御装置は、例えば、外部装置と適宜通信を行うことによって、外部装置が撮像制御命令に応じた処理を行えるか否かを判定する。より具体的には、本実施形態に係る表示制御装置は、例えば上記図3に示す例と同様に、撮像制御命令が示す方向に仮想的な撮像装置の撮像方向を変えることができないことを示すデータを、外部装置から受信した場合に、外部装置が撮像制御命令に応じた処理を行えないと判定する。
【0068】
上記のように外部装置が撮像制御命令に応じた処理を行えるか否かを判定することによって、本実施形態に係る表示制御装置は、例えば、仮想的な空間内における画像が存在しない空間にスクロールしようとする場合に撮像制御命令の生成を停止することができる。
【0069】
〔C〕図5、図6に示す例
図5、図6は、過去に撮像された画像によって構成される仮想空間において表示される画像の一例を示している。ユーザは、例えば、操作デバイスの向きを変える、操作デバイスを前に動かすなど、操作デバイスに対する物理的な操作を行い、本実施形態に係る表示制御装置は、ユーザの操作デバイスの操作に対応する撮像制御命令を生成して、外部装置へ当該撮像制御命令を送信する。よって、ユーザは、操作デバイスに対する物理的な操作を行うことによって、(本実施形態に係る表示制御装置を介して)仮想的な撮像装置における撮像を制御し、表示画面に表示される画像(撮像により得られる画像)を変えることができる。
【0070】
より具体的には、例えば、ユーザが操作デバイスの向きを45[度]左に変えた場合には、本実施形態に係る表示制御装置は、撮像装置の撮像方向を45[度]左に変えさせるための撮像制御命令を生成し、生成した撮像制御命令を外部装置へ送信する。上記の場合には、過去に撮像された画像によって構成される仮想的な空間における視点が、右に45[度]移動された画像が表示画面に表示される。また、例えば図6に示す例のように、垂直方向への視点の移動が可能な場合には、本実施形態に係る表示制御装置は、例えば、操作デバイスの向きの垂直方向への変化に基づいて、過去に撮像された画像によって構成される仮想的な空間における視点が、垂直方向に移動された画像を表示画面に表示させる。
【0071】
また、ユーザが操作デバイスを前に動かした場合には、本実施形態に係る表示制御装置は、撮像装置を前に移動させるための撮像制御命令を生成し、生成した撮像制御命令を外部装置へ送信する。上記の場合には、過去に撮像された画像によって構成される仮想的な空間における視点が、前に移動された画像が表示画面に表示される。また、例えば図6に示す例のように、垂直方向への移動が可能な場合には、本実施形態に係る表示制御装置は、例えば、操作デバイス垂直方向の移動に基づいて、過去に撮像された画像によって構成される仮想的な空間における位置が、垂直方向に移動された画像を表示画面に表示させる。
【0072】
例えば上記のように、本実施形態に係る表示制御装置が、ユーザの操作デバイスに対する操作に対応する撮像制御命令を生成することによって、ユーザは、より直感的な操作によって、図5、図6に示す過去に撮像された画像によって構成される仮想空間内を撮像する撮像装置における撮像を制御し、表示画面に表示される画像(撮像により得られる画像)を変えることができる。
【0073】
また、図5、図6に示す例においても、上記図2に示す例と同様に、本実施形態に係る表示制御装置は、検出情報を用いた閾値処理を行うことによって、表示画面に表示される画像(撮像により得られる画像)を連続的に変化させてもよい。上記の場合には、本実施形態に係る表示制御装置は、例えば、操作デバイスの向きを逆向きに変えるなど操作デバイスに対して所定の停止操作が行われるまで、外部装置において撮像制御命令に応じた処理が行えなくなるまで、あるいは、停止ボタンが押下されるまで、ユーザが行った操作に対応する撮像制御命令を、外部装置に送信し続ける。
【0074】
ここで、本実施形態に係る表示制御装置は、例えば、外部装置と適宜通信を行うことによって、外部装置が撮像制御命令に応じた処理を行えるか否かを判定する。より具体的には、本実施形態に係る表示制御装置は、例えば、撮像制御命令が示す水平方向の移動方向に仮想的な撮像装置を移動することができないこと(図5、図6に示す例)や、撮像制御命令が示す垂直方向の移動方向に仮想的な撮像装置を移動することができないこと(図6に示す例)を示すデータを、外部装置から受信した場合に、外部装置が撮像制御命令に応じた処理を行えないと判定する。
【0075】
上記のように外部装置が撮像制御命令に応じた処理を行えるか否かを判定することによって、本実施形態に係る表示制御装置は、例えば、過去に撮像された画像によって構成される仮想的な空間において移動できない位置に移動しようとする場合に、撮像制御命令の生成を停止することができる。
【0076】
〔D〕図7に示す例
図7は、家の三次元モデルが仮想的な空間内に描画される画像の一例を示している。ここで、図7に示す家の三次元モデルは、図7に示しているような家の外観を示す三次元モデルの他、家の内部を示す三次元モデルも有しているものとする。ユーザは、例えば、操作デバイスの向きを変える、操作デバイスを前に動かすなど、操作デバイスに対する物理的な操作を行い、本実施形態に係る表示制御装置は、ユーザの操作デバイスの操作に対応する撮像制御命令を生成して、外部装置へ当該撮像制御命令を送信する。よって、ユーザは、操作デバイスに対する物理的な操作を行うことによって、(本実施形態に係る表示制御装置を介して)仮想的な撮像装置における撮像を制御し、表示画面に表示される画像(撮像により得られる画像)を変えることができる。
【0077】
より具体的には、例えば家の外観を示す三次元モデルが表示されている場合において、ユーザが操作デバイスの向きを45[度]左に変えたときには、本実施形態に係る表示制御装置は、家の向きが45[度]左に変えられた画像(家が、45[度]左に回転した画像)を表示させるための撮像制御命令を生成し、生成した撮像制御命令を外部装置へ送信する。上記の場合には、家が45[度]左に回転した画像が表示画面に表示される。
【0078】
また、例えば家の外観を示す三次元モデルが表示されている場合において、ユーザが操作デバイスを前に動かしたときには、本実施形態に係る表示制御装置は、家がより遠くに表示される画像を表示させるための撮像制御命令を生成し、生成した撮像制御命令を外部装置へ送信する。反対に、例えば家の外観を示す三次元モデルが表示されている場合において、ユーザが操作デバイスを手前に動かしたときには、本実施形態に係る表示制御装置は、家がより近くに表示される画像を表示させるための撮像制御命令を生成し、生成した撮像制御命令を外部装置へ送信する。上記の場合には、家がより遠くに、または、家がより近くに表示された画像が表示画面に表示される。
【0079】
また、例えば家の内部を示す三次元モデルが表示されている場合において、ユーザが操作デバイスの向きを45[度]左に変えたときには、本実施形態に係る表示制御装置は、撮像装置の撮像方向を45[度]左に変えさせるための撮像制御命令を生成し、生成した撮像制御命令を外部装置へ送信する。上記の場合には、家の内部における視点が、右に45[度]移動された画像が表示画面に表示される。
【0080】
また、例えば家の内部を示す三次元モデルが表示されている場合において、ユーザが操作デバイスを前に動かしたときには、本実施形態に係る表示制御装置は、家の内部(仮想的な空間)における視点を前に移動させるための撮像制御命令を生成し、生成した撮像制御命令を外部装置へ送信する。反対に、例えば家の内部を示す三次元モデルが表示されている場合において、ユーザが操作デバイスを手前に動かしたときには、本実施形態に係る表示制御装置は、家の内部(仮想的な空間)における視点を手前に移動させるための撮像制御命令を生成し、生成した撮像制御命令を外部装置へ送信する。上記の場合には、家の内部における視点が前に移動された画像、または、家の内部における視点が手前に移動された画像が表示画面に表示される。
【0081】
例えば上記のように、本実施形態に係る表示制御装置が、ユーザの操作デバイスに対する操作に対応する撮像制御命令を生成することによって、ユーザは、より直感的な操作によって、仮想空間内を撮像する撮像装置における撮像を制御し、表示画面に表示される画像(撮像により得られる画像)を変えることができる。
【0082】
また、図7に示す例においても、上記図2に示す例と同様に、本実施形態に係る表示制御装置は、検出情報を用いた閾値処理を行うことによって、表示画面に表示される画像(撮像により得られる画像)を連続的に変化させてもよい。上記の場合には、本実施形態に係る表示制御装置は、例えば、操作デバイスの向きを逆向きに変えるなど操作デバイスに対して所定の停止操作が行われるまで、外部装置において撮像制御命令に応じた処理が行えなくなるまで、あるいは、停止ボタンが押下されるまで、ユーザが行った操作に対応する撮像制御命令を、外部装置に送信し続ける。
【0083】
ここで、本実施形態に係る表示制御装置は、例えば、外部装置と適宜通信を行うことによって、外部装置が撮像制御命令に応じた処理を行えるか否かを判定する。より具体的には、本実施形態に係る表示制御装置は、例えば、撮像制御命令が示す方向に仮想的な撮像装置の撮像方向を変えることによって、表示対象物(例えば、図7に示す家など)が表示されなくなること(例えば、外観を示す三次元モデルが表示されている場合)や、撮像制御命令が示す移動方向に仮想的な撮像装置を移動することができないこと(例えば、内部を示す三次元モデルが表示されている場合)を示すデータを、外部装置から受信した場合に、外部装置が撮像制御命令に応じた処理を行えないと判定する。
【0084】
上記のように外部装置が撮像制御命令に応じた処理を行えるか否かを判定することによって、本実施形態に係る表示制御装置は、例えば、表示対象物が表示画面に表示されなくなる前に、または、仮想的な空間において移動できない位置に移動しようとする場合に、撮像制御命令の生成を停止することができる。
【0085】
本実施形態に係る表示制御装置は、例えば図3〜図7に示す例のように、撮像制御命令により仮想的な撮像装置における撮像を制御することによって、撮像により得られる画像の表示画面への表示を制御する。
【0086】
なお、撮像制御命令によって仮想的な撮像装置における撮像を制御する例は、図3〜図7を参照して説明した例に限られない。例えば、本実施形態に係る表示制御装置は、上記撮像制御命令によって(現実の)撮像装置における撮像を制御する場合と同様に、さらに、検出情報に基づいてユーザ操作に応じて変化する圧力値を検出し、検出された圧力値と、圧力値に対応する閾値とを用いた閾値処理の結果に基づいて、仮想的な撮像装置における撮像を制御してもよい。
【0087】
本実施形態に係る表示制御装置は、例えば、図2や、図3〜図7を参照して説明した例に示すように、(現実の)撮像装置における撮像や、仮想的な撮像装置における撮像を制御して、撮像により得られる画像の表示を制御する。
【0088】
本実施形態に係る表示制御装置は、例えば、上記のような(1)の処理(検出処理)、および(2)の処理(表示制御処理)によって、操作デバイスの動きに基づいて外部装置における撮像を制御し、撮像により得られる画像の表示を制御する。
【0089】
ここで、本実施形態に係る表示制御装置は、ユーザの操作デバイスに対する物理的な操作に基づく検出情報から操作デバイスの動きを検出し、検出された操作デバイスの動きに対応する撮像制御命令を外部装置へ送信して、撮像により得られる画像の表示を制御する。よって、ユーザは、操作を行うための操作画面を見ながら操作を行わなくとも、(本実施形態に係る表示制御装置を介して)撮像装置における撮像を制御し、表示画面に表示される画像(撮像により得られる画像)を変えることができる。また、ユーザは、より直感的な操作によって(本実施形態に係る表示制御装置を介して)撮像装置における撮像を制御し、撮像により得られる所望の画像を表示画面に表示させることができる。
【0090】
[本実施形態に係る表示制御方法に係る処理の具体例]
次に、本実施形態に係る表示制御装置における表示制御方法に係る処理の具体例について説明する。以下では、本実施形態に係る操作デバイスが、加速度センサと、角速度センサと、磁気センサとを備える場合を主に例に挙げて、本実施形態に係る表示制御方法に係る処理について、説明する。なお、本実施形態に係る操作デバイスが、例えば、圧力センサやGPSデバイスなどの操作デバイスの動きを検出可能な他のセンサを備えていてもよいことは、言うまでもない。
【0091】
[1]第1の例
図8は、本実施形態に係る表示制御装置における表示制御方法に係る処理の第1の例を示す流れ図である。ここで、図8に示すステップS100〜S118の処理が、上記(1)の処理(検出処理)に該当し、図8に示すステップS120の処理が、上記(2)の処理(表示制御処理)に該当する。
【0092】
本実施形態に係る表示制御装置は、検出情報を取得する(S100)。ここで、本実施形態に係る表示制御装置は、例えば、無線/有線で接続された外部操作デバイスから送信される検出情報を受信することや、本実施形態に係る表示制御装置が、本実施形態に係る表示制御装置の動きに応じて検出情報を生成する各種センサを備えることによって、検出情報を取得する。なお、例えば、ユーザが、外部操作デバイスや本実施形態に係る表示制御装置に対して物理的な操作を行わない場合には、ステップS100において検出情報は取得されない。また、図8では示していないが、後述するステップS104以降の処理が行われている場合にも、本実施形態に係る表示制御装置は、検出情報を取得しうる。
【0093】
本実施形態に係る表示制御装置は、本実施形態に係る表示制御方法に係る処理を行うか否かを判定する(S102)。ここで、本実施形態に係る表示制御装置は、例えば、ステップS100において検出情報が取得された場合に、処理を行うと判定し、ステップS100において検出情報が取得されない場合には処理を行うと判定しない。
【0094】
なお、本実施形態に係る表示制御装置におけるステップS102の処理は、上記に限られない。例えば、検出情報に圧力値(例えば圧力センサの検出値)が含まれている場合には、本実施形態に係る表示制御装置は、検出情報に基づき検出された圧力値と、圧力値に対応する閾値とを用いた閾値処理の結果に基づいて、ステップS102の判定を行ってもよい。より具体的には、検出された圧力値が、閾値より大きい場合(または、閾値以上の場合)には、本実施形態に係る表示制御装置は、ステップS102において処理を行うと判定する。また、検出された圧力値が、閾値以下の場合(または、閾値より小さい場合)には、本実施形態に係る表示制御装置は、ステップS102において処理を行うと判定しない。
【0095】
ステップS102において本実施形態に係る表示制御方法に係る処理を行うと判定されない場合には、本実施形態に係る表示制御装置は、本実施形態に係る表示制御方法に係る処理を終了する。なお、図8に示す本実施形態に係る表示制御方法に係る処理は、一度終了すれば再度行われない類の処理ではなく、繰り返し行われる。
【0096】
また、ステップS102において本実施形態に係る表示制御方法に係る処理を行うと判定された場合には、本実施形態に係る表示制御装置は、検出情報に基づいてセンサ軸の傾きを算出する(S104)。ここで、本実施形態に係る表示制御装置は、検出情報に含まれる、加速度を示す値(例えば加速度センサの検出値)を用いて、センサ軸の傾きを算出する。
【0097】
また、本実施形態に係る表示制御装置は、検出情報に基づいて操作デバイスの方位を算出する(S106)。ここで、本実施形態に係る表示制御装置は、検出情報に含まれる、磁気強度を示す値(例えば磁気センサの検出値)を用いて、操作デバイスの方位を算出する。
【0098】
なお、図8では、ステップS104の処理の後にステップS106の処理が行われる例を示しているが、本実施形態に係る表示制御方法に係る処理は、上記に限られない。例えば、本実施形態に係る表示制御装置は、ステップS104の処理とステップS106の処理とを独立に行うことが可能であるので、本実施形態に係る表示制御装置は、ステップS106の処理の後にステップS104の処理を行ってもよいし、ステップS104の処理とステップS106の処理とを同期して行ってもよい。
【0099】
ステップS104、S106の処理が行われると、本実施形態に係る表示制御装置は、操作デバイスの静止時における姿勢を算出する(S108)。本実施形態に係る表示制御装置は、例えば、ステップS104において算出したセンサ軸の傾きと、ステップS106において算出した操作デバイスの方位に基づいて、操作デバイスの静止時における姿勢を示すフレームマトリクスを算出する。
【0100】
ステップS108において操作デバイスの静止時における姿勢を示すフレームマトリクスが算出されると、本実施形態に係る表示制御装置は、ステップS100において取得された検出情報が示す各種値を、グローバル座標系に変換する(S110)。ここで、本実施形態に係る表示制御装置がステップS110の処理を行うのは、各種センサの軸(例えば、3軸センサの場合には、x軸、y軸、z軸)が回転している場合があるためである。
【0101】
ステップS110の処理が行われると、本実施形態に係る表示制御装置は、操作デバイスが動いているか否かを判定する(S112)。ここで、本実施形態に係る表示制御装置は、例えば、検出情報が示す各種値に変化がある場合に、操作デバイスが動いていると判定する。
【0102】
ステップS112において操作デバイスが動いていると判定されない場合には、本実施形態に係る表示制御装置は、ステップS102からの処理を繰り返す。
【0103】
また、ステップS112において操作デバイスが動いていると判定された場合には、本実施形態に係る表示制御装置は、検出情報に基づいて、操作デバイスの動作時における姿勢を算出する(S114)。本実施形態に係る表示制御装置は、センサ軸の傾きと操作デバイスの方位とを算出し、算出したセンサ軸の傾きと操作デバイスの方位とに基づいて操作デバイスの動作時における姿勢を示すフレームマトリクスを算出する。
【0104】
本実施形態に係る表示制御装置は、検出情報に基づいて、操作デバイスの向きの変化量を算出する(S116)。ここで、本実施形態に係る表示制御装置は、例えば、検出情報に含まれる角速度を示す値(例えば角速度センサの検出値)が、グローバル座標系に変換された値を用いて、角度(より厳密には、グローバル座標系における角度)を算出することによって、操作デバイスの向きの変化量を算出する。
【0105】
なお、図8では、ステップS114の処理の後にステップS116の処理が行われる例を示しているが、本実施形態に係る表示制御方法に係る処理は、上記に限られない。例えば、本実施形態に係る表示制御装置は、ステップS114の処理とステップS116の処理とを独立に行うことが可能であるので、本実施形態に係る表示制御装置は、ステップS116の処理の後にステップS114の処理を行ってもよいし、ステップS114の処理とステップS116の処理とを同期して行ってもよい。
【0106】
ステップS114、S116の処理が行われると、本実施形態に係る表示制御装置は、操作デバイスの向きを特定する(S118)。ここで、本実施形態に係る表示制御装置は、例えば、ステップS114において算出されたフレームマトリクスと、ステップS116において算出されたグローバル座標系における角度とに基づいて、x軸、y軸、z軸の任意の軸回りの回転行列を算出することによって、操作デバイスの向きを特定する。
【0107】
ステップS118において操作デバイスの向きが特定されると、本実施形態に係る表示制御装置は、特定された操作デバイスの向き(操作デバイスの動きの一例)に基づいて、表示制御処理を行う(S120)。ここで、本実施形態に係る表示制御装置は、例えば、操作デバイスの動きと撮像制御に係る処理とが対応付けられたテーブルを用いて、特定された操作デバイスの向きに対応する撮像制御命令を生成する。そして、本実施形態に係る表示制御装置は、ネットワークを介して(あるいは、直接的に)無線/有線で接続された外部装置へと生成した撮像制御命令を送信し、外部装置に撮像制御命令を実行させることによって、撮像により得られる画像の表示を制御する。
【0108】
そして、本実施形態に係る表示制御装置は、ステップS110からの処理を繰り返す。
【0109】
本実施形態に係る表示制御装置は、例えば図8に示す処理を行うことによって、本実施形態に係る表示制御方法(例えば、上記(1)の処理(検出処理)、および上記(2)の処理(表示制御処理))を実現することができる。よって、本実施形態に係る表示制御装置は、例えば図8に示す処理を行うことによって、操作デバイスの動きに基づいて外部装置における撮像を制御し、撮像により得られる画像の表示を制御することができる。
【0110】
[2]第2の例
図9は、本実施形態に係る表示制御装置における表示制御方法に係る処理の第2の例を示す流れ図である。ここで、図9に示すステップS200〜S222の処理が、上記(1)の処理(検出処理)に該当し、図8に示すステップS224の処理が、上記(2)の処理(表示制御処理)に該当する。
【0111】
本実施形態に係る表示制御装置は、図8に示すステップS100と同様に、検出情報を取得する(S200)。なお、図9では示していないが、後述するステップS204以降の処理が行われている場合にも、本実施形態に係る表示制御装置は、検出情報を取得しうる。
【0112】
本実施形態に係る表示制御装置は、図8に示すステップS102と同様に、本実施形態に係る表示制御方法に係る処理を行うか否かを判定する(S202)。ステップS202において本実施形態に係る表示制御方法に係る処理を行うと判定されない場合には、本実施形態に係る表示制御装置は、本実施形態に係る表示制御方法に係る処理を終了する。なお、図9に示す本実施形態に係る表示制御方法に係る処理は、一度終了すれば再度行われない類の処理ではなく、繰り返し行われる。
【0113】
また、ステップS202において本実施形態に係る表示制御方法に係る処理を行うと判定された場合には、本実施形態に係る表示制御装置は、図8に示すステップS104と同様に、検出情報に基づいてセンサ軸の傾きを算出する(S204)。
【0114】
また、本実施形態に係る表示制御装置は、図8に示すステップS106と同様に、検出情報に基づいて操作デバイスの方位を算出する(S206)。
【0115】
なお、図9では、ステップS204の処理の後にステップS206の処理が行われる例を示しているが、本実施形態に係る表示制御方法に係る処理は、上記に限られない。例えば、本実施形態に係る表示制御装置は、ステップS204の処理とステップS206の処理とを独立に行うことが可能であるので、本実施形態に係る表示制御装置は、ステップS206の処理の後にステップS204の処理を行ってもよいし、ステップS204の処理とステップS206の処理とを同期して行ってもよい。
【0116】
ステップS204、S206の処理が行われると、本実施形態に係る表示制御装置は、図8に示すステップS108と同様に、操作デバイスの静止時における姿勢を算出する(S208)。
【0117】
ステップS208において操作デバイスの静止時における姿勢を示すフレームマトリクスが算出されると、本実施形態に係る表示制御装置は、図8に示すステップS110と同様に、ステップS200において取得された検出情報が示す各種値を、グローバル座標系に変換する(S210)。
【0118】
ステップS210の処理が行われると、本実施形態に係る表示制御装置は、図8に示すステップS112と同様に、操作デバイスが動いているか否かを判定する(S212)。ステップS212において操作デバイスが動いていると判定されない場合には、本実施形態に係る表示制御装置は、ステップS202からの処理を繰り返す。
【0119】
また、ステップS212において操作デバイスが動いていると判定された場合には、本実施形態に係る表示制御装置は、検出情報に基づいて、操作デバイスの速度を算出する(S214)。ここで、本実施形態に係る表示制御装置は、例えば、検出情報に含まれる加速度を示す値(例えば加速度センサの検出値)が、グローバル座標系に変換された値を、積分することによって、操作デバイスの速度(より厳密には、グローバル座標系における操作デバイスの速度)を算出する。
【0120】
ステップS214の処理が行われると、本実施形態に係る表示制御装置は、操作デバイスの位置の変化量を特定する(S216)。ここで、本実施形態に係る表示制御装置は、例えば、ステップS214において算出されたグローバル座標系における操作デバイスの速度を積分してグローバル座標系における操作デバイスの移動距離を算出し、算出した操作デバイスの移動距離を操作デバイスの位置の変化量とする。
【0121】
本実施形態に係る表示制御装置は、図8に示すステップS114と同様に、検出情報に基づいて、操作デバイスの動作時における姿勢を算出する(S218)。
【0122】
また、本実施形態に係る表示制御装置は、図8に示すステップS116と同様に、検出情報に基づいて、操作デバイスの向きの変化量を算出する(S220)。
【0123】
なお、図9では、ステップS214、S216の処理の後に、ステップS218の処理、およびステップS220の処理が行われる例を示しているが、本実施形態に係る表示制御方法に係る処理は、上記に限られない。例えば、本実施形態に係る表示制御装置は、ステップS214、S216の処理と、ステップS218の処理と、ステップS220の処理とを独立に行うことが可能である。よって、本実施形態に係る表示制御装置は、ステップS214、S216の処理と、ステップS218の処理と、ステップS220の処理とを同期して行ってもよいし、これらの処理を任意の順番で行ってもよい。
【0124】
ステップS218、S220の処理が行われると、本実施形態に係る表示制御装置は、図8に示すステップS118と同様に、操作デバイスの向きを特定する(S222)。
【0125】
ステップS216において操作デバイスの位置の変化量が特定され、また、ステップS222において操作デバイスの向きが特定されると、本実施形態に係る表示制御装置は、特定された操作デバイスの位置の変化量(操作デバイスの動きの一例)と、特定された操作デバイスの向き(操作デバイスの動きの一例)とに基づいて、表示制御処理を行う(S224)。ここで、本実施形態に係る表示制御装置は、例えば、操作デバイスの動きと撮像制御に係る処理とが対応付けられたテーブルを用いて、特定された操作デバイスの位置の変化量に対応する撮像制御命令と、特定された操作デバイスの向きに対応する撮像制御命令とをそれぞれ生成する。そして、本実施形態に係る表示制御装置は、ネットワークを介して(あるいは、直接的に)無線/有線で接続された外部装置へと生成した撮像制御命令を送信し、外部装置に撮像制御命令を実行させることによって、撮像により得られる画像の表示を制御する。なお、本実施形態に係る表示制御装置は、例えば、特定された操作デバイスの位置の変化量と特定された操作デバイスの向きとの組合せに対応する撮像制御命令を生成してもよい。
【0126】
そして、本実施形態に係る表示制御装置は、ステップS210からの処理を繰り返す。
【0127】
本実施形態に係る表示制御装置は、例えば図9に示す処理を行うことによって、本実施形態に係る表示制御方法(例えば、上記(1)の処理(検出処理)、および上記(2)の処理(表示制御処理))を実現することができる。よって、本実施形態に係る表示制御装置は、例えば図9に示す処理を行うことによって、操作デバイスの動きに基づいて外部装置における撮像を制御し、撮像により得られる画像の表示を制御することができる。
【0128】
[3]他の例
上記では、本実施形態に係る表示制御方法の第1の例に係る処理として、「(a)操作デバイスの向き」を検出して表示制御を行う処理の一例を示し、また、本実施形態に係る表示制御方法の第2の例に係る処理として、「(c)操作デバイスの向き、および操作デバイスの位置の変化量」を検出して表示制御を行う処理の一例を示した。しかしながら、本実施形態に係る表示制御方法に係る処理は、上記第1の例に係る処理、上記第2の例に係る処理に限られない。
【0129】
例えば、本実施形態に係る表示制御装置は、図8、図9に示す処理において、操作デバイスの向きの変化量をさらに算出し、算出された操作デバイスの向きの変化量に基づく撮像制御命令を生成してもよい。また、本実施形態に係る表示制御装置は、例えば、図8、図9に示す処理、または、上記操作デバイスの向きの変化量をさらに算出する場合の処理において、さらに、ユーザ操作に応じて変化する圧力値に基づく撮像制御命令を生成してもよい。
【0130】
(本実施形態に係る表示制御装置)
次に、上述した本実施形態に係る表示制御方法に係る処理を行うことが可能な、本実施形態に係る表示制御装置の構成の一例について、説明する。
【0131】
図10は、本実施形態に係る表示制御装置100の構成の一例を示すブロック図である。表示制御装置100は、例えば、通信部102と、制御部104とを備える。
【0132】
また、表示制御装置100は、例えば、ROM(Read Only Memory。図示せず)や、RAM(Random Access Memory。図示せず)、記憶部(図示せず)、ユーザが操作可能な操作部(図示せず)、様々な画面を表示画面に表示する表示部(図示せず)などを備えていてもよい。表示制御装置100は、例えば、データの伝送路としてのバス(bus)により上記各構成要素間を接続する。
【0133】
ここで、ROM(図示せず)は、制御部104が使用するプログラムや演算パラメータなどの制御用データを記憶する。RAM(図示せず)は、制御部104により実行されるプログラムなどを一時的に記憶する。
【0134】
記憶部(図示せず)は、表示制御装置100が備える記憶手段であり、例えば、画像データや、アプリケーションなど様々なデータを記憶する。ここで、記憶部(図示せず)としては、例えば、ハードディスク(Hard Disk)などの磁気記録媒体や、EEPROM(Electrically Erasable and Programmable Read Only Memory)、フラッシュメモリ(flash memory)などの不揮発性メモリ(nonvolatile memory)などが挙げられる。また、記憶部(図示せず)は、表示制御装置100から着脱可能であってもよい。
【0135】
操作部(図示せず)としては、後述する操作入力デバイスが挙げられる。また、表示部(図示せず)としては、後述する表示デバイスが挙げられる。
【0136】
[表示制御装置100のハードウェア構成例]
図11は、本実施形態に係る表示制御装置100のハードウェア構成の一例を示す説明図である。表示制御装置100は、例えば、MPU150と、ROM152と、RAM154と、記録媒体156と、入出力インタフェース158と、操作入力デバイス160と、表示デバイス162と、通信インタフェース164とを備える。また、表示制御装置100は、例えば、データの伝送路としてのバス166で各構成要素間を接続する。
【0137】
MPU150は、例えば、MPU(Micro Processing Unit)や、各種処理回路などで構成され表示制御装置100全体を制御する制御部104として機能する。また、MPU150は、表示制御装置100において、例えば、後述する検出部110、および表示制御部112の役目を果たす。
【0138】
ROM152は、MPU150が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。RAM154は、例えば、MPU150により実行されるプログラムなどを一時的に記憶する。
【0139】
記録媒体156は、記憶部(図示せず)として機能し、例えば、画像データや、アプリケーションなど様々なデータを記憶する。ここで、記録媒体156としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリが挙げられる。また、記録媒体156は、表示制御装置100から着脱可能であってもよい。
【0140】
入出力インタフェース158は、例えば、操作入力デバイス160や、表示デバイス162を接続する。操作入力デバイス160は、操作部(図示せず)として機能し、また、表示デバイス162は、表示部(図示せず)として機能する。ここで、入出力インタフェース158としては、例えば、USB(Universal Serial Bus)端子や、DVI(Digital Visual Interface)端子、HDMI(High-Definition Multimedia Interface)端子、各種処理回路などが挙げられる。また、操作入力デバイス160は、例えば、表示制御装置100上に備えられ、表示制御装置100の内部で入出力インタフェース158と接続される。操作入力デバイス160としては、例えば、ボタン、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。また、表示デバイス162は、例えば、表示制御装置100上に備えられ、表示制御装置100の内部で入出力インタフェース158と接続される。表示デバイス162としては、例えば、液晶ディスプレイ(Liquid Crystal Display;LCD)や有機ELディスプレイ(organic ElectroLuminescence display。または、OLEDディスプレイ(Organic Light Emitting Diode display)ともよばれる。)などが挙げられる。
【0141】
なお、入出力インタフェース158が、表示制御装置100の外部装置としての操作入力デバイス(例えば、キーボードやマウスなど)や、表示デバイスなどの、外部デバイスと接続することもできることは、言うまでもない。また、表示デバイス162は、例えばタッチスクリーンなど、表示とユーザ操作とが可能なデバイスであってもよい。
【0142】
通信インタフェース164は、表示制御装置100が備える通信手段であり、ネットワークを介して(あるいは、直接的に)、外部操作デバイスや、撮像装置、PC、表示装置などの外部装置と無線/有線で通信を行うための通信部102として機能する。ここで、通信インタフェース164としては、例えば、通信アンテナおよびRF(Radio Frequency)回路(無線通信)や、IEEE802.15.1ポートおよび送受信回路(無線通信)、IEEE802.11bポートおよび送受信回路(無線通信)、あるいはLAN(Local Area Network)端子および送受信回路(有線通信)などが挙げられる。
【0143】
表示制御装置100は、例えば図11に示す構成によって、本実施形態に係る表示制御方法に係る処理を行う。なお、本実施形態に係る表示制御装置100のハードウェア構成は、図11に示す構成に限られない。例えば、表示制御装置100は、同種または異種の、複数の通信インタフェースを備えていてもよい。また、表示制御装置100は、例えば、操作入力デバイス160や表示デバイス162を備えない構成をとることも可能である。
【0144】
また、表示制御装置100が、本実施形態に係る操作デバイスの役目を果たす場合には、表示制御装置100は、例えば、加速度センサや、角速度センサ、磁気センサなどの操作デバイスの動きを検出可能な各種センサを備える。
【0145】
再度図10を参照して、表示制御装置100の構成の一例について説明する。通信部102は、表示制御装置100が備える通信手段であり、ネットワークを介して(あるいは、直接的に)、外部操作デバイスや、撮像装置、PC、表示装置などの外部装置と無線/有線で通信を行う。また、通信部102は、例えば制御部104により通信が制御される。ここで、通信部102としては、例えば、通信アンテナおよびRF回路や、LAN端子および送受信回路などが挙げられるが、通信部102の構成は、上記に限られない。例えば、通信部102は、USB端子および送受信回路など通信を行うことが可能な任意の規格に対応する構成や、ネットワークを介して外部装置と通信可能な任意の構成をとることができる。
【0146】
制御部104は、例えばMPUなどで構成され、表示制御装置100全体を制御する役目を果たす。また、制御部104は、例えば、検出部110と、表示制御部112とを備え、本実施形態に係る表示制御方法に係る処理を主導的に行う役目を果たす。
【0147】
検出部110は、上記(1)の処理(検出処理)を主導的に行う役目を果たし、検出情報に基づいて、操作デバイスの動きを検出する。より具体的には、検出部110は、例えば、表示制御装置100が本実施形態に係る操作デバイスの役目を果たす場合には、表示制御装置100(操作デバイス)が備える各種センサの検出値に対応する検出情報に基づいて、操作デバイス(表示制御装置100)の動きを検出する。また、検出部110は、例えば、通信部102が外部操作デバイスから送信された検出情報を受信した場合には、通信部102から伝達される検出情報に基づいて、操作デバイス(外部操作デバイス)の動きを検出する。ここで、検出部110が検出する操作デバイスの動きとしては、例えば、上記(a)〜(e)が挙げられる。
【0148】
表示制御部112は、上記(2)の処理(表示制御処理)を主導的に行う役目を果たす。より具体的には、表示制御部112は、検出部110において検出された操作デバイスの向きに基づいて撮像制御命令を生成する。そして、表示制御部112は、通信部102に、生成した撮像制御命令を外部装置へと送信させることによって、撮像により得られる画像の表示を制御する。
【0149】
ここで、表示制御部112は、例えば、撮像制御命令と、撮像制御命令の送信先の外部装置を示すデータとを、通信部102に伝達し、通信部102は、送信先の外部装置に撮像制御命令を送信する。撮像制御命令の送信先の外部装置を示すデータとしては、例えば、IP(Internet Protocol)アドレスや、MAC(Media Access Control address)アドレスなどの外部装置を示すデータや、PIN(Personal Identification Number)などの通信を開始するために必要なデータなどが挙げられる。表示制御部112は、例えば、記憶部(図示せず)やROM(図示せず)に記憶されている、撮像制御命令の送信先の外部装置を示すデータを、記憶部(図示せず)やROM(図示せず)から適宜読み出す。
【0150】
制御部104は、例えば、検出部110、および表示制御部112を備えることによって、本実施形態に係る表示制御方法に係る処理を主導的に行う。
【0151】
表示制御装置100は、例えば図10に示す構成によって、本実施形態に係る表示制御方法に係る処理(例えば、上記(1)の処理(検出処理)、および上記(2)の処理(表示制御処理)を行う。したがって、表示制御装置100は、例えば図10に示す構成によって、操作デバイスの動きに基づいて外部装置における撮像を制御し、撮像により得られる画像の表示を制御することができる。なお、本実施形態に係る表示制御装置の構成が、図10に示す構成に限られないことは、言うまでもない。
【0152】
以上のように、本実施形態に係る表示制御装置は、本実施形態に係る表示制御方法に係る処理として、例えば、上記(1)の処理(検出処理)、および上記(2)の処理(表示制御処理)を行う。ここで、本実施形態に係る表示制御装置は、上記(1)の処理(検出処理)において、操作デバイスに対する物理的な操作に対応する検出情報に基づいて、操作デバイスの動きを検出する。また、本実施形態に係る表示制御装置は、上記(2)の処理(表示制御処理)において、検出された操作デバイスの動きに基づき生成した撮像制御命令を外部装置へと送信することによって、撮像により得られる画像の表示を制御する。
【0153】
したがって、本実施形態に係る表示制御装置は、操作デバイスの動きに基づいて外部装置における撮像を制御し、撮像により得られる画像の表示を制御することができる。
【0154】
また、本実施形態に係る表示制御装置は、ユーザの操作デバイスに対する物理的な操作に基づく検出情報から操作デバイスの動きを検出し、検出された操作デバイスの動きに対応する撮像制御命令を外部装置へ送信して、撮像により得られる画像の表示を制御する。よって、ユーザは、操作を行うための操作画面を見ながら操作を行わなくとも、(本実施形態に係る表示制御装置を介して)撮像装置における撮像を制御し、表示画面に表示される画像(撮像により得られる画像)を変えることができる。また、ユーザは、より直感的な操作によって(本実施形態に係る表示制御装置を介して)撮像装置における撮像を制御し、撮像により得られる所望の画像を表示画面に表示させることができる。
【0155】
以上、本実施形態として表示制御装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、携帯電話やスマートフォンなどの通信装置や、映像/音楽再生装置(または映像/音楽記録再生装置)、ゲーム機、PCなどのコンピュータ、テレビ受像機などの表示装置など、様々な機器に適用することができる。また、本実施形態は、例えば図1に示す操作デバイスのような、ユーザが操作可能な操作デバイスに適用することもできる。
【0156】
(本実施形態に係るプログラム)
コンピュータを、本実施形態に係る表示制御装置として機能させるためのプログラム(例えば、上記(1)の処理(検出処理)、および上記(2)の処理(表示制御処理)など、本実施形態に係る表示制御方法に係る処理を実行することが可能なプログラム)によって、操作デバイスの動きに基づいて外部装置における撮像を制御し、撮像により得られる画像の表示を制御することができる。
【0157】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0158】
例えば、本実施形態に係る表示制御装置は、図10に示す検出部110、および表示制御112を個別に備える(例えば、それぞれを個別の処理回路で実現する)ことができる。
【0159】
また、上記では、コンピュータを、本実施形態に係る表示制御装置として機能させるためのプログラム(コンピュータプログラム)が提供されることを示したが、本実施形態は、さらに、上記プログラムをそれぞれ記憶させた記録媒体も併せて提供することができる。
【0160】
上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
【0161】
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
外部装置と通信を行う通信部と、
操作デバイスの動きを示す検出情報に基づいて、前記操作デバイスの向きを検出する検出部と、
検出された前記操作デバイスの向きに基づいて撮像を制御する撮像制御命令を生成し、前記通信部に前記撮像制御命令を外部装置へと送信させて、撮像により得られる画像の表示を制御する表示制御部と、
を備える、表示制御装置。
(2)
前記検出部は、前記操作デバイスの向きの変化量をさらに検出し、
前記表示制御部は、前記向きの変化量と、向きの変化量に対応する閾値とを比較した結果に基づいて、前記撮像制御命令を生成する、(1)に記載の表示制御装置。
(3)
前記検出部は、前記操作デバイスの位置の変化量をさらに検出し、
前記表示制御部は、検出された前記位置の変化量に基づいて前記撮像制御命令を生成する、(1)または(2)に記載の表示制御装置。
(4)
前記表示制御部は、前記位置の変化量と、位置の変化量に対応する閾値とを比較した結果に基づいて、前記撮像制御命令を生成する、(3)に記載の表示制御装置。
(5)
前記検出情報は、ユーザ操作に応じて変化する圧力値を含み、
前記表示制御部は、前記圧力値と、圧力値に対応する閾値とを比較した結果に基づいて、選択的に前記撮像制御命令を生成する、(1)〜(4)のいずれか1つに記載の表示制御装置。
(6)
前記検出情報は、加速度を示す値と、角速度を示す値と、磁気強度を示す値とを含む、(1)〜(5)のいずれか1つに記載の表示制御装置。
(7)
前記撮像制御命令は、撮像装置における撮像を制御する、(1)〜(6)のいずれか1つに記載の表示制御装置。
(8)
前記撮像制御命令は、仮想的な撮像装置における撮像を制御する、(1)〜(6)のいずれか1つに記載の表示制御装置。
(9)
前記撮像制御命令は、前記仮想的な撮像装置における、過去に撮像された画像の撮像を制御する、(8)に記載の表示制御装置。
(10)
前記撮像制御命令は、前記仮想的な撮像装置における、仮想的な空間内に描画された画像の撮像を制御する、(8)に記載の表示制御装置。
(11)
前記操作デバイスは、把持されて用いられる球形状のデバイスである、(1)〜(10)のいずれか1つに記載の表示制御装置。
【符号の説明】
【0162】
10 操作デバイス
100 表示制御装置
102 通信部
104 制御部
110 検出部
112 表示制御部



【特許請求の範囲】
【請求項1】
外部装置と通信を行う通信部と、
操作デバイスの動きを示す検出情報に基づいて、前記操作デバイスの向きを検出する検出部と、
検出された前記操作デバイスの向きに基づいて撮像を制御する撮像制御命令を生成し、前記通信部に前記撮像制御命令を外部装置へと送信させて、撮像により得られる画像の表示を制御する表示制御部と、
を備える、表示制御装置。
【請求項2】
前記検出部は、前記操作デバイスの向きの変化量をさらに検出し、
前記表示制御部は、前記向きの変化量と、向きの変化量に対応する閾値とを比較した結果に基づいて、前記撮像制御命令を生成する、請求項1に記載の表示制御装置。
【請求項3】
前記検出部は、前記操作デバイスの位置の変化量をさらに検出し、
前記表示制御部は、検出された前記位置の変化量に基づいて前記撮像制御命令を生成する、請求項1に記載の表示制御装置。
【請求項4】
前記表示制御部は、前記位置の変化量と、位置の変化量に対応する閾値とを比較した結果に基づいて、前記撮像制御命令を生成する、請求項3に記載の表示制御装置。
【請求項5】
前記検出情報は、ユーザ操作に応じて変化する圧力値を含み、
前記表示制御部は、前記圧力値と、圧力値に対応する閾値とを比較した結果に基づいて、選択的に前記撮像制御命令を生成する、請求項1に記載の表示制御装置。
【請求項6】
前記検出情報は、加速度を示す値と、角速度を示す値と、磁気強度を示す値とを含む、請求項1に記載の表示制御装置。
【請求項7】
前記撮像制御命令は、撮像装置における撮像を制御する、請求項1に記載の表示制御装置。
【請求項8】
前記撮像制御命令は、仮想的な撮像装置における撮像を制御する、請求項1に記載の表示制御装置。
【請求項9】
前記撮像制御命令は、前記仮想的な撮像装置における、過去に撮像された画像の撮像を制御する、請求項8に記載の表示制御装置。
【請求項10】
前記撮像制御命令は、前記仮想的な撮像装置における、仮想的な空間内に描画された画像の撮像を制御する、請求項8に記載の表示制御装置。
【請求項11】
前記操作デバイスは、把持されて用いられる球形状のデバイスである、請求項1に記載の表示制御装置。


【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate


【公開番号】特開2013−84029(P2013−84029A)
【公開日】平成25年5月9日(2013.5.9)
【国際特許分類】
【出願番号】特願2011−221540(P2011−221540)
【出願日】平成23年10月6日(2011.10.6)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】