情報処理システム、情報処理装置及びプログラム
【課題】例えばプレゼンテーション等での発表内容に対する聴衆の理解度を高めることができる情報処理システム、情報処理装置及びプログラムを提供する。
【解決手段】表示面に表示される画像を生成する情報処理装置を含む情報処理システムであって、前記表示面に表示された表示画像を含む画像を撮像する撮像装置をさらに含む。情報処理装置は、撮像装置によって撮像された画像を取り込む。また、情報処理装置は、取り込まれた画像の変化に基づき、表示画像の処理を指示するためのコマンドを取得する。そして、情報処理装置は、取得されたコマンドに基づき、前記表示面の表示領域のうち主領域に表示される主領域画像と、前記表示領域のうち前記主領域と異なる副領域に表示される画像であって前記主領域に既に表示された主領域画像である副領域画像とを含む表示画像を生成する。
【解決手段】表示面に表示される画像を生成する情報処理装置を含む情報処理システムであって、前記表示面に表示された表示画像を含む画像を撮像する撮像装置をさらに含む。情報処理装置は、撮像装置によって撮像された画像を取り込む。また、情報処理装置は、取り込まれた画像の変化に基づき、表示画像の処理を指示するためのコマンドを取得する。そして、情報処理装置は、取得されたコマンドに基づき、前記表示面の表示領域のうち主領域に表示される主領域画像と、前記表示領域のうち前記主領域と異なる副領域に表示される画像であって前記主領域に既に表示された主領域画像である副領域画像とを含む表示画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示面に表示される画像を生成する技術に関する。
【背景技術】
【０００２】
従来、パーソナルコンピュータ等の情報処理装置を用いてプレゼンテーションや会議等を行うシステムが知られている。このシステムでは、発表の内容を表す画像が、情報処理装置に接続された大型の液晶ディスプレイ等の表示装置の表示面に表示されるようになっている。
表示装置の表示面に表示される画像を生成する技術としては、例えば、パーソナルコンピュータのオペレーティングシステム（ＯＳ）上で動作するプレゼンテーション用のアプリケーションソフトウェアが知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−３２９２５号公報
【特許文献２】特開２００８−２０３７８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、従来の技術では、発表の内容を表す画像が１画面ずつ表示装置に表示される。このため、発表者が、表示面に表示されている画像の内容と、既に表示面に表示された画像の内容とを比較して説明する場合に、発表者は、表示面に表示される画面を切り替える必要がある。この場合、聴衆にとっては、表示される画面が切り替えられる度に思考が分断されることから、発表内容に対する聴衆の理解度を高めることが困難であった。
【０００５】
よって、発明の１つの側面では、例えばプレゼンテーション等での発表内容に対する聴衆の理解度を高めることができる情報処理システム、情報処理装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
第１の観点では、表示面に表示される画像を生成する情報処理装置を含む情報処理システムが提供される。
この情報処理システムは、
前記表示面に表示された表示画像を含む画像を撮像する撮像装置をさらに含み、
前記情報処理装置は、
前記撮像装置によって撮像された画像を取り込む画像取込部と、
画像取込部によって取り込まれた画像の変化に基づき、前記表示画像の処理を指示するためのコマンドを取得するコマンド取得部と、
コマンド取得部によって取得されたコマンドに基づき、前記表示面の表示領域のうち所定の第１領域に表示される第１画像と、前記表示領域のうち前記第１領域と異なる第２領域に表示される画像であって前記第１領域に既に表示された第１画像である第２画像とを含む表示画像を生成する表示画像生成部と、を備える。
【０００７】
第２の観点では、表示面に表示される画像を生成する情報処理装置が提供される。
この情報処理装置は、
前記表示面に表示された表示画像を含む画像を撮像する撮像装置によって撮像された画像を取り込む画像取込部と、
画像取込部によって取り込まれた画像の変化に基づき、前記表示画像の処理を指示するためのコマンドを取得するコマンド取得部と、
コマンド取得部によって取得されたコマンドに基づき、前記表示面の表示領域のうち所定の第１領域に表示される第１画像と、前記表示領域のうち前記第１領域と異なる第２領域に表示される画像であって前記第１領域に既に表示された第１画像である第２画像とを含む表示画像を生成する表示画像生成部と、を備える。
【０００８】
第３の観点では、表示面に表示される画像を生成するコンピュータに実行させるプログラムが提供される。
このプログラムは、
前記表示面に表示された表示画像を含む画像を撮像する撮像装置によって撮像された画像を取り込み、
取り込まれた画像の変化に基づき、前記表示画像の処理を指示するためのコマンドを取得し、
取得されたコマンドに基づき、前記表示面の表示領域のうち所定の第１領域に表示される第１画像と、前記表示領域のうち前記第１領域と異なる第２領域に表示される画像であって前記第１領域に既に表示された第１画像である第２画像とを含む表示画像を生成する、処理をコンピュータに実行させる。
【発明の効果】
【０００９】
開示の情報処理システム、情報処理装置及びプログラムによれば、例えばプレゼンテーション等での発表内容に対する聴衆の理解度を高めることができる。
【図面の簡単な説明】
【００１０】
【図１】第１の実施形態の情報処理システムの概略を示す図。
【図２】第１の実施形態の表示装置の表示面における表示領域の一例を示す図。
【図３】第１の実施形態の表示装置の表示面における表示領域の一例を示す図。
【図４】第１の実施形態の情報処理装置の構成を示すブロック図。
【図５】第１の実施形態の情報処理装置の機能ブロック図。
【図６】第１の実施形態のコマンド取得部の機能ブロック図。
【図７】第１の実施形態のコマンド定義ＤＢのデータ構成の一例を示す図。
【図８】第１の実施形態において表示画像の生成処理を示すフローチャート。
【図９】第１の実施形態の表示画像の生成処理における初期の表示画像の一例を示す図。
【図１０】図９に示された主領域画像を副領域に保存した場合における表示画面の一例を示す図。
【図１１】図１０に示されたサムネイルに対応する主領域画像を主領域に表示させた場合における表示画面の一例を示す図。
【図１２】図９に示された表示画像の変形例を示す図。
【図１３】第２の実施形態の情報処理システムの概略を示す図。
【図１４】第２の実施形態の情報処理装置の機能ブロック図。
【図１５】第２の実施形態において表示画像の生成処理を示すフローチャート。
【図１６】第２の実施形態において表示面上のポインタの移動態様の一例を示す図。
【発明を実施するための形態】
【００１１】
（１）第１の実施形態
（１−１）システム構成
先ず、第１の実施形態の情報処理システム、情報処理装置及びプログラムについて説明する。図１は、第１の実施形態の情報処理システム１０の概略構成を示す図である。この情報処理システム１０には、表示装置２０と、撮像装置３０と、制御装置４０とが含まれる。
表示装置２０は、例えば、マトリクス状に画素単位で配置された薄膜トランジスタを含むＬＣＤ(Liquid Cristal Display)モニタと、その薄膜トランジスタを駆動するための駆動回路と、ＨＤＭＩ(High-Definition Multimedia Interface)等を用いて制御装置４０と通信を行うためのインタフェース回路とを含む。表示装置２０は、制御装置４０から受信した表示画像をモニタの表示面に表示する。なお、表示装置２０には、ＬＣＤモニタに限られず、例えば、有機ＥＬ(Electro-Luminescence)ディスプレイや電子ペーパーディスプレイ等が用いられてもよい。また、表示装置２０は、制御装置４０と通信可能であればよく、その通信プロトコルは問わない。
撮像装置３０は、表示装置２０の表示面に表示された表示画像を含む画像を撮像する装置である。撮像装置３０は、表示装置２０のモニタの表示面全体を撮像可能な位置に配置されている。また、撮像装置３０は、例えば、表示装置２０の表示面に反射した光等を集光する集光レンズと、光を電気信号に変換するＣＣＤ(Charge Coupled Device)等の撮像素子と、その撮像素子を駆動するための駆動回路と、ＩＥＥＥ(The Institute of Electrical and Electronics Engineers, Inc.)１３９４等を用いて制御装置４０と通信を行うためのインタフェース回路とを含む。撮像装置３０としては、例えば、デジタルビデオカメラやデジタルスティルカメラ（ビデオ撮影機能付き）等が用いられる。なお、撮像装置３０は、制御装置４０と通信可能であればよく、その通信プロトコルは問わない。
制御装置４０は、表示面に表示される画像を生成する装置である。また、制御装置４０は、情報処理装置の一例である。
【００１２】
本実施形態の情報処理システムにおける処理の概要を説明する。
先ず、表示装置２０の表示面には、例えばプレゼンテーションや会議等の発表内容を表す画像が表示されている。撮像装置３０は、発表者が、指示棒やレーザポインタ等を用いて表示画像を指し示しながら発表する様子を撮像する。
制御装置４０は、撮像装置３０によって撮像された画像を取り込むと、画像に含まれる指示棒やレーザポインタ等の移動態様に基づき、表示画像の処理を指示するためのコマンドを取得する。
そして、制御装置４０は、表示装置２０の表示面の表示領域のうち主領域（第１領域の一例である）に表示される主領域画像（第１画像の一例である）と、主領域と異なる副領域（第２領域の一例である）に表示される画像であって主領域に既に表示された主領域画像である副領域画像（第２画像の一例である）とを含む表示画像を生成する。生成された表示画像は、表示装置２０に送信される。
また、表示装置２０は、制御装置４０から受信した表示画像を表示面に表示する。
ここで、制御装置４０によって生成される表示画像は、図２及び図３のように示される。図２及び図３は、表示面における表示領域の一例を示す図である。図２では、主領域と副領域とが、表示領域全体の上下方向に区画された異なる領域にそれぞれ設けられている。また、図３では、主領域と副領域とが、主領域及び副領域それぞれの一部が表示領域において重なるように設けられている。なお、主領域と副領域の表示態様は、図２及び図３に示された例に限定されない。
【００１３】
（１−２）制御装置４０の構成
図４は、実施形態の制御装置４０の構成を示すブロック図である。
図４に示すように、制御装置４０は、ＣＰＵ(Central Processing Unit)４１、チップセット４２、ＲＡＭ(Random Access Memory)４３、ＢＩＯＳ−ＲＯＭ４４、電源供給部４５、ＨＤＤ（Hard Disk Drive）４６、入力デバイス４７及び通信インタフェース４８を含む。チップセット４２は、制御装置４０内の各部とデータバス及び制御バスによって接続されている。制御装置４０は、例えば、汎用のパーソナルコンピュータであってよい。
【００１４】
ＣＰＵ４１は、制御装置４０の用途に応じて設けられる各種のプログラムを実行する。また、ＣＰＵ４１は、電源が制御装置４０に投入されたときに、各種のプログラムを実行する。ＣＰＵ４１は、ＨＤＤ４６あるいはＲＯＭに記憶されたプログラムを呼び出して起動することにより、後述する画像取込部１００、コマンド取得部１２０、コマンド実行部１３０、サムネイル生成部１４０、サムネイル格納部１５０、主領域画像生成部１６０、副領域画像生成部１７０、表示画像生成部１８０をソフトウェアモジュールとして生成する。従って、ＣＰＵ４１がプログラムを実行するとき、ＣＰＵ４１は、画像取込部１００、コマンド取得部１２０、コマンド実行部１３０、サムネイル生成部１４０、サムネイル格納部１５０、主領域画像生成部１６０、副領域画像生成部１７０、表示画像生成部１８０の機能を実質的に担う。
ＲＡＭ４３は、ＣＰＵ４１のメインメモリである。ＲＡＭ４３は、ＣＰＵ４１が実行するプログラムやＣＰＵ４１が参照するデータを一時的に格納するための揮発性記憶装置である。また、ＲＡＭ４３は、後述する画像データバッファ１１０の機能を実質的に担う。
チップセット４２は、ＣＰＵ４１と他の各部とのインタフェースのための制御回路、各部を制御するためのレジスタを含む。チップセット４２は、例えば汎用インタフェースであるＧＰＩ(General Purpose Interface)に対応してよい。
ＢＩＯＳ−ＲＯＭ４４は、ＢＩＯＳ（Basic Input/Output System）を記憶する。ＢＩＯＳは、ハードウェアとの基本的な入出力処理を行うための基本入出力システム（プログラム）である
電源供給部４５は、制御装置４０の各部への電源を供給する。
ＨＤＤ４６は不揮発性記憶装置であり、オペレーティングシステム（ＯＳ）やＯＳ上で実行されるプログラムを記憶する。
入力デバイス４７は、例えば、マウスやキーボード等の、コンピュータの１又は複数の入力デバイスを総称して表記するものである。
通信インタフェース４８は、ＨＤＭＩ等を用いて表示装置２０と通信を行うためのインタフェース回路と、ＩＥＥＥ１３９４やＵＳＢ等を用いて撮像装置３０と通信を行うためのインタフェース回路とを含む。通信インタフェース４８は、表示装置２０及び撮像装置３０と通信可能であればよく、その通信プロトコルは問わない。
【００１５】
次に、図５を参照して、実施形態の制御装置４０の機能につき説明する。図５は、実施形態の制御装置４０の機能ブロック図である。
図５に示すように、制御装置４０は、画像取込部１００、画像データバッファ１１０、コマンド取得部１２０、コマンド実行部１３０、サムネイル生成部１４０、サムネイル格納部１５０、主領域画像生成部１６０、副領域画像生成部１７０、表示画像生成部１８０を含む。
【００１６】
画像取込部１００は、撮像装置３０によって撮像された画像を取り込み、画像データバッファ１１０に記憶するソフトウェアモジュールである。
コマンド取得部１２０は、画像取込部１００によって取り込まれた画像の変化に基づき、表示画像の処理を指示するためのコマンドを取得するソフトウェアモジュールである。図６を参照して、コマンド取得部１２０の詳細な構成について説明する。図６は、コマンド取得部の機能ブロック図である。図６に示すように、コマンド取得部１２０は、差分画像抽出部１２１、ポインタ変位情報生成部１２２、コマンド発行部１２３、コマンド定義データベース（コマンド定義ＤＢ）１２４を含む。
【００１７】
差分画像抽出部１２１は、画像データバッファ１１０に記憶された画像と、差分画像を抽出するための基準となる基準画像とを用いて各画像の差分を検出することにより、取り込まれた画像の変化を表す差分画像を抽出する。この差分画像は、画像データバッファ１１０に画像が記憶される毎に抽出される。
なお、差分画像抽出部１２１は、差分画像の面積が表示領域全体の面積の所定割合（例えば、２０％）以上となる場合に、差分画像をポインタ変位情報生成部１２２に送信しなくてもよい。ここで、差分画像の面積が表示領域全体の面積の所定割合以上となる場合とは、例えば、主領域に表示される画像が別の画像に切り替えられる場合等が挙げられる。
【００１８】
ポインタ変位情報生成部１２２は、差分画像抽出部１２１によって抽出された差分画像に基づき、画像に含まれるポインタの変位を表すポインタ変位情報を生成する。ここで、ポインタの例としては、マウスカーソル、レーザポインタ、指示棒、発表者の指等が挙げられる。また、ポインタ変位情報生成部１２２は、複数の差分画像に含まれるポインタの変位を追尾する機能を有している。この追尾機能は、例えば、ポインタの色を表す情報（赤、緑、青の各要素で表される情報等）を追尾することにより実現されてもよい。
このようにして、例えば、「ポインタによって「○」という記号が描かれた」等のポインタ変位情報が得られる。
【００１９】
コマンド発行部１２３は、ポインタ変位情報生成部１２２によって生成されたポインタ変位情報に対応するコマンドを、コマンド定義ＤＢ１２４から抽出する。コマンド定義ＤＢ１２４には、図７に示すように、ポインタ変位情報とコマンドとが対応付けられた状態で記憶されている。図７は、コマンド定義ＤＢ１２４のデータ構成の一例を示す図である。また、コマンド発行部１２３は、抽出されたコマンドをコマンド実行部１３０に送信する。
【００２０】
コマンド実行部１３０は、コマンド取得部１２０によって取得されたコマンドを実行するソフトウェアモジュールである。
サムネイル生成部１４０は、主領域に既に表示された主領域画像のサムネイルを生成するソフトウェアモジュールである。サムネイル生成部１４０は、サムネイルを生成する際に、主領域に既に表示された主領域画像とサムネイルとを対応付ける。
サムネイル格納部１５０は、サムネイル生成部１４０によって生成されたサムネイルと、生成されたサムネイルに対応付けられた主領域画像とを、ＲＡＭ４３又はＨＤＤ４６に記憶するソフトウェアモジュールである。また、サムネイル格納部１５０は、サムネイルとサムネイルに対応付けられた主領域画像とを、ＲＡＭ４３又はＨＤＤ４６から抽出する。
【００２１】
主領域画像生成部１６０は、主領域に表示される主領域画像を生成するソフトウェアモジュールである。主領域画像の基となる画像は、例えば、パーソナルコンピュータにインストールされたプレゼンテーション用のアプリケーション等を用いて作成された画像でもよい。
副領域画像生成部１７０は、副領域に表示される副領域画像を生成するソフトウェアモジュールである。副領域画像生成部１７０は、ＲＡＭ４３又はＨＤＤ４６に記憶されたサムネイルをサムネイル格納部１５０から取得し、取得したサムネイルを副領域画像として生成する。
【００２２】
表示画像生成部１８０は、主領域画像生成部１６０によって生成された主領域画像と、副領域画像生成部１７０によって生成された副領域画像とを含む表示画像を生成する。また、表示画像生成部１８０は、生成された表示画像を表示装置２０に送信する。
【００２３】
（１−３）表示画像の生成
次に、図８を参照して、制御装置４０にて行われる、表示画像の生成処理について説明する。図８は、表示画像の生成処理を示すフローチャートである。
先ず、表示装置２０の表示面には、プレゼンテーションや会議等で用いられる画像が、図９のように表示されている。図９は、表示画像の生成処理における初期の表示画像の一例を示す図である。撮像装置３０は、表示画像を含む画像を撮像する（ステップＳ１０１）。撮像された画像には、少なくとも表示画像及びポインタが含まれる。なお、撮像装置３０によって撮像される画像は、動画であってもよいし、静止画であってもよい。
制御装置４０の画像取込部１００は、撮像装置３０によって撮像された画像を取り込み、画像データバッファ１１０に記憶する（ステップＳ１０２）。
【００２４】
次に、制御装置４０のコマンド取得部１２０は、取り込まれた画像の変化に基づき、表示画像の処理を指示するためのコマンドを取得する（ステップＳ１０３）。コマンド取得部１２０は、差分画像に基づきポインタ変位情報を生成する。そして、コマンド取得部１２０は、ポインタ変位情報に基づき、コマンド定義ＤＢ１２４に記録された（ａ）〜（ｄ）のコマンドのうち何れか一つのコマンドを抽出する。なお、（ａ）〜（ｄ）の各コマンドは例示であり、（ａ）〜（ｄ）の各コマンドのみに限定されるものではない。例えば、副領域に表示されるサムネイルの並び替えを行うコマンド等が含まれてもよい。
（ａ）主領域画像を保存するコマンド
（ｂ）サムネイルを主領域に表示するコマンド
（ｃ）主領域の画像を再度主領域に表示するコマンド
（ｄ）選択画像を基準画像に指定するコマンド
【００２５】
ここで、各コマンドの処理の内容を説明する。
（ａ）主領域画像を保存するコマンド
このコマンドは、主領域画像を副領域に保存する処理を行う。
例えば、発表者が、図９に示された表示面上でポインタを用いて「○」という記号を描画した場合、コマンド取得部１２０は、図７に示されたコマンド定義ＤＢ１２４から「主領域画像を保存する」というコマンドを取得する。
コマンド実行部１３０は、コマンド取得部１２０からコマンドを取得すると、主領域画像生成部１６０に対して、主領域画像をサムネイル生成部１４０に送信するように要求する。主領域画像生成部１６０は、コマンド実行部１３０からの要求に応じて、主領域画像をサムネイル生成部１４０に送信する。
また、コマンド実行部１３０は、サムネイル生成部１４０に対して、主領域画像のサムネイルを生成するように要求する。サムネイル生成部１４０は、コマンド実行部１３０からの要求に応じて、主領域画像生成部１６０から受信した主領域画像のサムネイルを生成する。ここで、サムネイル生成部１４０は、生成されたサムネイルと主領域画像とを対応付ける。
次に、サムネイル生成部１４０は、サムネイル格納部１５０に対して、生成されたサムネイルと、生成されたサムネイルに対応付けられた主領域画像とを格納するように要求する。サムネイル格納部１５０は、サムネイル生成部１４０からの要求に応じて、生成されたサムネイルと、生成されたサムネイルに対応付けられた主領域画像とをＲＡＭ４３又はＨＤＤ４６に記憶する。
また、サムネイル生成部１４０は、副領域画像生成部１７０に対して、生成されたサムネイルを副領域画像として生成するように要求する。副領域画像生成部１７０は、サムネイル生成部１４０からの要求に応じて、生成されたサムネイルをサムネイル格納部１５０から取得するとともに、取得したサムネイルを副領域画像として生成する。
【００２６】
そして、表示画像生成部１８０は、主領域画像と副領域画像とを含む表示画像を生成する（ステップＳ１０４）。また、表示画像生成部１８０は、生成された表示画像を表示装置２０に送信する。
一方、表示装置２０は、生成された表示画像を表示面に表示する（ステップＳ１０５）。
なお、表示装置２０の表示面に表示される表示画像は、図１０のように示される。図１０は、図９に示された主領域画像を副領域に保存した場合における表示画面の一例を示す図である。図１０に示されるように、図９に示された主領域画像が、副領域に含まれるサムネイルＴ３として表示される。
これにより、主領域に既に表示された主領域画像を副領域画像として副領域に表示することができるので、主領域画像が他の画像に切り替えられた場合でも、主領域に既に表示された画像（切り替え前の主領域画像）を、切り替え後の主領域画像とともに表示面に表示することができる。
また、副領域には、副領域画像として、主領域に既に表示された主領域画像に対応するサムネイルが表示されるので、主領域に表示される主領域画像と、副領域に表示される副領域画像とを、各画像のサイズに基づいて容易に区別することができる。
【００２７】
（ｂ）サムネイルに対応する主領域画像を主領域に表示するコマンド
このコマンドは、副領域に表示されたサムネイルのうち選択されたサムネイルに対応する主領域画像を、主領域に表示する処理を行う。
例えば、発表者が、図９に示された表示面上でポインタを用いて「△」という記号を描画した場合、コマンド取得部１２０は、図７に示されたコマンド定義ＤＢ１２４から「サムネイルに対応する主領域画像を主領域に表示する」というコマンドを取得する。また、発表者が、表示面上のサムネイルＴ１の領域内にポインタを２秒以上存在させた場合、コマンド取得部１２０は、コマンド定義ＤＢ１２４から「サムネイルＴ１を選択する」というコマンドを取得する。これにより、コマンド取得部１２０は、「サムネイルＴ１に対応する主領域画像を主領域に表示する」というコマンドを取得する。
コマンド実行部１３０は、コマンド取得部１２０からコマンドを取得すると、サムネイル生成部１４０に対して、選択されたサムネイル（サムネイルＴ１）に対応する主領域画像を主領域画像生成部１６０に送信するように要求する。サムネイル生成部１４０は、コマンド実行部１３０からの要求に応じて、選択されたサムネイルに対応する主領域画像をサムネイル格納部１５０から取得する。そして、サムネイル生成部１４０は、取得した主領域画像を主領域画像生成部１６０に送信する。
また、コマンド実行部１３０は、主領域画像生成部１６０に対して、サムネイル生成部１４０から受信した主領域画像を、主領域に表示される主領域画像として生成するように要求する。主領域画像生成部１６０は、コマンド実行部１３０からの要求に応じて、サムネイル生成部１４０から受信した主領域画像を、主領域に表示される主領域画像として生成する。
【００２８】
そして、表示画像生成部１８０は、主領域画像と副領域画像とを含む表示画像を生成する（ステップＳ１０４）。また、表示画像生成部１８０は、生成された表示画像を表示装置２０に送信する。
一方、表示装置２０は、生成された表示画像を表示面に表示する（ステップＳ１０５）。
なお、表示装置２０の表示面に表示される表示画像は、図１１のように示される。図１１は、図１０に示されたサムネイルに対応する主領域画像を主領域に表示させた場合における表示画面の一例を示す図である。図１１に示されるように、サムネイルＴ１に対応する主領域画像が主領域に表示される。
このようにして、副領域に表示されたサムネイルに対応する主領域画像を、主領域に表示することができる。
【００２９】
（ｃ）主領域画像を再表示するコマンド
このコマンドは、（ｂ）のコマンドが実行される直前に主領域に表示されていた主領域画像を、主領域に再表示する処理を行う。
例えば、発表者が、図１１に示された表示面上で、ポインタを用いて数字の「１」を描画した場合、コマンド取得部１２０は、図７に示されたコマンド定義ＤＢ１２４から「主領域画像を再表示する」というコマンドを取得する。
コマンド実行部１３０は、コマンド取得部１２０からコマンドを取得すると、主領域画像生成部１６０に対して、（ｂ）のコマンドが実行される直前に主領域に表示されていた主領域画像を、主領域に表示される主領域画像として生成するように要求する。主領域画像生成部１６０は、コマンド実行部１３０からの要求に応じて、（ｂ）のコマンドが実行される直前に主領域に表示されていた主領域画像を、主領域に表示される主領域画像として生成する。
【００３０】
そして、表示画像生成部１８０は、主領域画像と副領域画像とを含む表示画像を生成する（ステップＳ１０４）。また、表示画像生成部１８０は、生成された表示画像を表示装置２０に送信する。
一方、表示装置２０は、生成された表示画像を表示面に表示する（ステップＳ１０５）。
なお、表示装置２０の表示面に表示される表示画像は、図１０に示された表示画像と同様である。
【００３１】
（ｄ）選択画像を基準画像に指定するコマンド
このコマンドは、表示面に表示されている画像を、差分画像抽出部１２１に用いられる基準画像に指定する処理を行う。
例えば、発表者が、図９に示された表示面上で、ポインタを用いて数字の「２」を描画した場合、コマンド取得部１２０は、図７に示されたコマンド定義ＤＢ１２４から「選択画像を基準画像に指定する」というコマンドを取得する。また、発表者が、表示面上の主領域内にポインタを２秒以上存在させた場合、コマンド取得部１２０は、コマンド定義ＤＢ１２４から「主領域画像を選択する」というコマンドを取得する。これにより、コマンド取得部１２０は、「主領域画像を基準画像に指定する」というコマンドを取得する。
コマンド実行部１３０は、コマンド取得部１２０からコマンドを取得すると、主領域画像生成部１６０に対して、主領域画像をコマンド取得部１２０に送信するように要求する。主領域画像生成部１６０は、コマンド実行部１３０からの要求に応じて、主領域に表示されている主領域画像をコマンド取得部１２０に送信する。
そして、コマンド実行部１２０の差分画像抽出部１２１は、受信した主領域画像を基準画像として用いる。
【００３２】
また、サムネイルが選択された場合には、コマンド取得部１２０は、「選択されたサムネイルに対応する主領域画像を基準画像として指定する」というコマンドを取得する。コマンド実行部１３０は、サムネイル生成部１４０に対して、選択されたサムネイルに対応する主領域画像をコマンド取得部１２０に送信するように要求する。サムネイル生成部１４０は、コマンド実行部１３０からの要求に応じて、選択されたサムネイルに対応する主領域画像をサムネイル格納部１５０から取得する。そして、サムネイル生成部１４０は、取得した主領域画像を主領域画像生成部１６０に送信する。
そして、コマンド実行部１２０の差分画像抽出部１２１は、受信した主領域画像を基準画像として用いる。
【００３３】
なお、他の方法を用いて基準画像を指定してもよい。例えば、主領域画像が所定時間（例えば１分）以上継続して主領域に表示されている場合には、その主領域画像が基準画像として指定されてもよい。また、画像データバッファ１１０に記憶された画像の数が所定数（例えば、３００回）に達する毎に、所定数番目に記憶された画像が基準画像として指定されてもよい。
【００３４】
（１−４）表示画像の生成（変形例）
次に、表示画像の生成処理の変形例について説明する。
この変形例では、サムネイルに対応するキーワードやシンボル等の情報が、サムネイルとともに表示される。
サムネイル生成部１４０は、主領域画像のサムネイルを生成する際に、キーワードやシンボル等の情報とサムネイルとを対応付ける。サムネイル生成部１４０は、予め設定されたキーワードやシンボル等を、サムネイルの生成順に応じて対応付けるようにしてもよい。
図１２は、図９に示された表示画像の変形例を示す図である。サムネイルＴ１は、サムネイルＴ１に対応付けられたアルファベット「Ａ」とともに表示される。また、サムネイルＴ２は、サムネイルＴ２に対応付けられたアルファベット「Ｂ」とともに表示される。さらに、サムネイルＴ３は、サムネイルＴ３に対応付けられたアルファベット「Ｃ」とともに表示される。
これにより、例えば、聴衆等が、外観が互いに類似する複数のサムネイルのうち一つのサムネイルを選択する場合に、サムネイルに対応付けられた情報を選択することにより、所望のサムネイルを容易に選択することができる。
【００３５】
以上説明したように、本実施形態によれば、主領域に既に表示された主領域画像を副領域画像として副領域に表示することができるので、主領域画像が他の画像に切り替えられた場合でも、主領域に既に表示された画像（切り替え前の主領域画像）を、切り替え後の主領域画像とともに表示面に表示することができる。そのため、発表者が、主領域画像の内容と、主領域に既に表示された画像の内容とを比較して説明する場合に、表示画面全体が切り替えられることがない。これにより、聴衆の思考が分断されることがないので、発表内容に対する聴衆の理解度を高めることができる。
【００３６】
また、本実施形態によれば、主領域に表示される主領域画像と、副領域に表示される副領域画像とを、各画像のサイズに基づいて容易に区別することができる。これにより、聴衆が、副領域画像を、主領域画像と誤って認識することを防止することができる。従って、発表者が主領域画像を参照しながら発表する場合に、発表者は、聴衆に対して発表内容を正確に伝達することができる。
【００３７】
さらに、本実施形態によれば、副領域に表示されたサムネイルに対応する主領域画像を、主領域に表示することができるので、主領域に既に表示された主領域画像を、主領域に再表示することができる。これにより、サムネイルに対応する主領域画像の内容を、主領域に容易に表示することができる。従って、発表者や聴衆等が、既に発表された内容の詳細を容易に確認できるので、プレゼンテーション等における情報の伝達をより正確に行うことができる。
【００３８】
（２）第２の実施形態
以下、第２の実施形態の情報処理システム、情報処理装置及びプログラムについて説明する。
本実施形態が第１の実施形態と異なる点は、主領域に画像を投影する投影装置をさらに含むとともに、投影装置を制御するためのコマンドが取得されると、投影装置を制御するための信号を投影装置に送信することにある。これにより、プレゼンテーション等に用いられる装置の選択の幅を広げることができるとともに、システムの操作性を高めることができる。
以下、第１の本実施形態と異なる構成について説明する。
【００３９】
（２−１）システム構成
図１３は、実施形態の情報処理システム１０の概略構成を示す図である。この情報処理システム１０には、表示装置２０と、撮像装置３０と、制御装置４０と、投影装置５０が含まれる。
投影装置５０は、表示画像の主領域に画像を投影する装置である。投影装置５０は、例えば、画像を映像光に変換する光学エンジンと、映像光を表示装置２０の表示面に投影する投影レンズと、ＵＳＢ(Universal Serial Bus)等を用いて制御装置４０と通信を行うためのインタフェース回路とを含む。投影装置５０としては、例えば、プロジェクタ等が用いられる。なお、投影装置５０は、制御装置４０と通信可能であればよく、その通信プロトコルは問わない。
【００４０】
（２−２）制御装置４０の構成
次に、本実施形態の制御装置４０の構成について説明する。
本実施形態の通信インタフェース４８は、ＨＤＭＩ等を用いて表示装置２０と通信を行うためのインタフェース回路と、ＩＥＥＥ１３９４やＵＳＢ等を用いて撮像装置３０と通信を行うためのインタフェース回路と、ＵＳＢ等を用いて投影装置５０と通信を行うためのインタフェース回路とを含む。通信インタフェース４８は、表示装置２０、撮像装置３０、投影装置５０と通信可能であればよく、その通信プロトコルは問わない。
【００４１】
次に、図１４を参照して、実施形態の制御装置４０の機能につき説明する。図１４は、実施形態の制御装置４０の機能ブロック図である。
本実施形態通信インタフェース４８は、ＨＤＭＩ等を用いて表示装置２０と通信を行うためのインタフェース回路と、ＩＥＥＥ１３９４やＵＳＢ等を用いて撮像装置３０と通信を行うためのインタフェース回路とを含む。通信インタフェース４８は、表示装置２０及び撮像装置３０と通信可能であればよく、その通信プロトコルは問わない。
本実施形態のコマンド実行部１３０は、投影装置５０を制御するためのコマンドがコマンド取得部１２０によって取得されると、投影装置５０を制御するための信号を投影装置５０に送信する。なお、投影装置５０を制御するための信号は、ＲＡＭ４３又はＨＤＤ４６に記憶されている。
【００４２】
（２−３）表示画像の生成
次に、図１５を参照して、制御装置４０にて行われる、表示画像の生成処理について説明する。図１５は、表示画像の生成処理を示すフローチャートである。
なお、図１５のステップＳ１０１〜ステップＳ１０２の処理の内容は、前述した第１の実施形態（図８のステップＳ１０１〜ステップＳ１０２）の処理の内容と同様である。
次に、制御装置４０のコマンド取得部１２０は、取り込まれた画像の変化に基づき、表示画像の処理を指示するためのコマンドを取得する（ステップＳ１０３）。ここで、本実施形態のコマンド取得部１２０は、前述した（ａ）〜（ｄ）のコマンドと以下の（ｅ）のコマンドのうち何れか一つのコマンドを抽出する。
（ｅ）投影装置５０を制御するためのコマンド
【００４３】
ここで、コマンド（ｅ）が抽出される場合におけるポインタ変位情報の内容について、図１６を参照して説明する。図１６は、表示面上のポインタの移動態様の一例を示す図である。コマンド（ｅ）に対応するポインタ変位情報は、例えば、「ポインタが、移動開始領域に１．５秒以上存在する。その後、ポインタが、表示面の幅寸法の５０％以上の距離を表示面の幅方向に沿って移動する。そして、ポインタが、移動終了領域に１．５秒以上存在する。」と表される。
ポインタが、表示面上の任意の位置（図１６（ａ）に示された位置）に留まっている場合に、ポインタ変位情報生成部１２２は、図１６（ｂ）に示す移動開始領域をポインタの周囲に設定する。このとき、ポインタ変位情報生成部１２２は、ポインタが移動開始領域内に存在する時間を計測する。また、ポインタが移動した場合に、ポインタ変位情報生成部１２２は、ポインタの移動方向と、ポインタの移動距離とを検出する。さらに、ポインタの移動が停止した場合に、ポインタ変位情報生成部１２２は、図１６（ｂ）に示す移動終了領域をポインタの周囲に設定する。このとき、ポインタ変位情報生成部１２２は、ポインタが移動終了領域内に存在する時間を計測する。
そして、コマンド発行部１２３は、ポインタ変位情報部１２２によって生成されたポインタ変位情報が、コマンド（ｅ）に対応付けられたポインタ変位情報に該当する場合に、コマンド（ｅ）を取得する。
なお、移動開始領域及び移動終了領域の各領域内におけるポインタの存在時間が設定されることにより、コマンド取得部１２０が、表示画面の処理を行うための指示を発表者が行っているのか否かにつき判別することが可能になる。
【００４４】
次に、コマンド（ｅ）の処理の内容を説明する。
このコマンドは、投影装置５０を制御するための信号を、投影装置５０に送信する処理を行う。なお、投影装置５０の制御の内容としては、例えば、投影される画像の切り替え、投影される画像の歪みの補正、投影される光信号のオン・オフ、投影される画像の歪みの補正等が挙げられる。
コマンド実行部１３０は、コマンド取得部１２０からコマンドを取得すると、投影装置５０を制御するための信号を、投影装置５０に送信する（ステップＳ１０６）。投影装置５０は、コマンド実行部１３０から受信した信号に基づき、投影機器５０内の制御を行う（ステップＳ１０７）。
このようにして、発表者が表示面上でポインタを移動させることにより、投影装置５０の制御を行うことが可能になる。
なお、投影装置５０が、投影装置５０に設けられたリモートコントローラによって制御される場合には、コマンド実行部１３０は、リモートコントローラに対して制御用の信号を送信するようにしてもよい。
【００４５】
以上説明したように、本実施形態によれば、発表者が表示面上でポインタを移動させることにより、投影装置５０の制御を行うことが可能になる。このため、発表者は、表示面に表示される表示画面と、投影装置５０とを制御することができる。これにより、プレゼンテーション等に用いられる装置の選択の幅を広げることができるとともに、システムの操作性を高めることができる。
なお、表示画像が投影される表示面は、表示装置２０の表示面に限られない。表示画像が、例えば、投影用のスクリーンや壁面等に投影されるようにしてもよい。
【００４６】
以上、本発明の実施形態について詳細に説明したが、本発明の情報処理システム、情報処理装置、プログラムは上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのは勿論である。
例えば、上記実施形態では、主領域に既に表示された主領域画像のサムネイルが副領域に表示されていたが、主領域に既に表示された主領域画像が、そのままのサイズで副領域に表示されるようにしてもよい。
【００４７】
以上の各実施形態に関し、さらに以下の付記を開示する。
【００４８】
（付記１）
表示面に表示される画像を生成する情報処理装置を含む情報処理システムであって、
前記表示面に表示された表示画像を含む画像を撮像する撮像装置をさらに含み、
前記情報処理装置は、
前記撮像装置によって撮像された画像を取り込む画像取込部と、
画像取込部によって取り込まれた画像の変化に基づき、前記表示画像の処理を指示するためのコマンドを取得するコマンド取得部と、
コマンド取得部によって取得されたコマンドに基づき、前記表示面の表示領域のうち所定の第１領域に表示される第１画像と、前記表示領域のうち前記第１領域と異なる第２領域に表示される画像であって前記第１領域に既に表示された第１画像である第２画像とを含む表示画像を生成する表示画像生成部と、を備える、
情報処理システム。
【００４９】
（付記２）
前記第２領域には、前記第２画像として、前記第１領域に既に表示された第１画像に対応するサムネイルが表示される、付記１に記載の情報処理システム。
【００５０】
（付記３）
前記第２画像には、前記サムネイルと、前記サムネイルに対応付けられた情報とが含まれる、付記３に記載の情報処理システム。
【００５１】
（付記４）
前記表示画像生成部は、前記サムネイルに対応する前記第１画像を前記第１領域に表示するためのコマンドがコマンド取得部によって取得されると、前記サムネイルに対応する前記第１画像を前記第１領域に表示するための表示画像を生成する、付記２又は３に記載の情報処理システム。
【００５２】
（付記５）
前記表示面に画像を投影する投影装置をさらに含み、
前記情報処理装置は、
前記投影装置を制御するためのコマンドがコマンド取得部によって取得されると、投影装置を制御するための信号を投影装置に送信するコマンド実行部をさらに備える、付記１乃至４何れか１つに記載の情報処理システム。
【００５３】
（付記６）
表示面に表示される画像を生成する情報処理装置であって、
前記表示面に表示された表示画像を含む画像を撮像する撮像装置によって撮像された画像を取り込む画像取込部と、
画像取込部によって取り込まれた画像の変化に基づき、前記表示画像の処理を指示するためのコマンドを取得するコマンド取得部と、
コマンド取得部によって取得されたコマンドに基づき、前記表示面の表示領域のうち所定の第１領域に表示される第１画像と、前記表示領域のうち前記第１領域と異なる第２領域に表示される画像であって前記第１領域に既に表示された第１画像である第２画像とを含む表示画像を生成する表示画像生成部と、を備える、
情報処理装置。
【００５４】
（付記７）
前記第２領域には、前記第２画像として、前記第１領域に既に表示された第１画像に対応するサムネイルが表示される、付記６に記載の情報処理装置。
【００５５】
（付記８）
前記第２画像には、前記サムネイルと、前記サムネイルに対応付けられた情報とが含まれる、付記７に記載の情報処理装置。
【００５６】
（付記９）
前記表示画像生成部は、前記サムネイルに対応する前記第１画像を前記第１領域に表示するためのコマンドがコマンド取得部によって取得されると、前記サムネイルに対応する前記第１画像を前記第１領域に表示するための表示画像を生成する、付記７又は８に記載の情報処理装置。
【００５７】
（付記１０）
前記表示面に画像を投影する投影装置が接続され、
前記情報処理装置は、
前記投影装置を制御するためのコマンドがコマンド取得部によって取得されると、投影装置を制御するための信号を投影装置に送信するコマンド実行部をさらに備える、付記６乃至９何れか１つに記載の情報処理装置。
【００５８】
（付記１１）
表示面に表示される画像を生成するコンピュータに実行させるプログラムであって、
前記表示面に表示された表示画像を含む画像を撮像する撮像装置によって撮像された画像を取り込み、
取り込まれた画像の変化に基づき、前記表示画像の処理を指示するためのコマンドを取得し、
取得されたコマンドに基づき、前記表示面の表示領域のうち所定の第１領域に表示される第１画像と、前記表示領域のうち前記第１領域と異なる第２領域に表示される画像であって前記第１領域に既に表示された第１画像である第２画像とを含む表示画像を生成する、
処理をコンピュータに実行させるプログラム。
【符号の説明】
【００５９】
１０…情報処理システム
２０…表示装置
３０…撮像装置
４０…制御装置
５０…投影装置
１００…画像取込部
１２０…コマンド取得部
１３０…コマンド実行部
１８０…表示画像生成部
Ｔ１，Ｔ２，Ｔ３…サムネイル
【技術分野】
【０００１】
本発明は、表示面に表示される画像を生成する技術に関する。
【背景技術】
【０００２】
従来、パーソナルコンピュータ等の情報処理装置を用いてプレゼンテーションや会議等を行うシステムが知られている。このシステムでは、発表の内容を表す画像が、情報処理装置に接続された大型の液晶ディスプレイ等の表示装置の表示面に表示されるようになっている。
表示装置の表示面に表示される画像を生成する技術としては、例えば、パーソナルコンピュータのオペレーティングシステム（ＯＳ）上で動作するプレゼンテーション用のアプリケーションソフトウェアが知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−３２９２５号公報
【特許文献２】特開２００８−２０３７８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、従来の技術では、発表の内容を表す画像が１画面ずつ表示装置に表示される。このため、発表者が、表示面に表示されている画像の内容と、既に表示面に表示された画像の内容とを比較して説明する場合に、発表者は、表示面に表示される画面を切り替える必要がある。この場合、聴衆にとっては、表示される画面が切り替えられる度に思考が分断されることから、発表内容に対する聴衆の理解度を高めることが困難であった。
【０００５】
よって、発明の１つの側面では、例えばプレゼンテーション等での発表内容に対する聴衆の理解度を高めることができる情報処理システム、情報処理装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
第１の観点では、表示面に表示される画像を生成する情報処理装置を含む情報処理システムが提供される。
この情報処理システムは、
前記表示面に表示された表示画像を含む画像を撮像する撮像装置をさらに含み、
前記情報処理装置は、
前記撮像装置によって撮像された画像を取り込む画像取込部と、
画像取込部によって取り込まれた画像の変化に基づき、前記表示画像の処理を指示するためのコマンドを取得するコマンド取得部と、
コマンド取得部によって取得されたコマンドに基づき、前記表示面の表示領域のうち所定の第１領域に表示される第１画像と、前記表示領域のうち前記第１領域と異なる第２領域に表示される画像であって前記第１領域に既に表示された第１画像である第２画像とを含む表示画像を生成する表示画像生成部と、を備える。
【０００７】
第２の観点では、表示面に表示される画像を生成する情報処理装置が提供される。
この情報処理装置は、
前記表示面に表示された表示画像を含む画像を撮像する撮像装置によって撮像された画像を取り込む画像取込部と、
画像取込部によって取り込まれた画像の変化に基づき、前記表示画像の処理を指示するためのコマンドを取得するコマンド取得部と、
コマンド取得部によって取得されたコマンドに基づき、前記表示面の表示領域のうち所定の第１領域に表示される第１画像と、前記表示領域のうち前記第１領域と異なる第２領域に表示される画像であって前記第１領域に既に表示された第１画像である第２画像とを含む表示画像を生成する表示画像生成部と、を備える。
【０００８】
第３の観点では、表示面に表示される画像を生成するコンピュータに実行させるプログラムが提供される。
このプログラムは、
前記表示面に表示された表示画像を含む画像を撮像する撮像装置によって撮像された画像を取り込み、
取り込まれた画像の変化に基づき、前記表示画像の処理を指示するためのコマンドを取得し、
取得されたコマンドに基づき、前記表示面の表示領域のうち所定の第１領域に表示される第１画像と、前記表示領域のうち前記第１領域と異なる第２領域に表示される画像であって前記第１領域に既に表示された第１画像である第２画像とを含む表示画像を生成する、処理をコンピュータに実行させる。
【発明の効果】
【０００９】
開示の情報処理システム、情報処理装置及びプログラムによれば、例えばプレゼンテーション等での発表内容に対する聴衆の理解度を高めることができる。
【図面の簡単な説明】
【００１０】
【図１】第１の実施形態の情報処理システムの概略を示す図。
【図２】第１の実施形態の表示装置の表示面における表示領域の一例を示す図。
【図３】第１の実施形態の表示装置の表示面における表示領域の一例を示す図。
【図４】第１の実施形態の情報処理装置の構成を示すブロック図。
【図５】第１の実施形態の情報処理装置の機能ブロック図。
【図６】第１の実施形態のコマンド取得部の機能ブロック図。
【図７】第１の実施形態のコマンド定義ＤＢのデータ構成の一例を示す図。
【図８】第１の実施形態において表示画像の生成処理を示すフローチャート。
【図９】第１の実施形態の表示画像の生成処理における初期の表示画像の一例を示す図。
【図１０】図９に示された主領域画像を副領域に保存した場合における表示画面の一例を示す図。
【図１１】図１０に示されたサムネイルに対応する主領域画像を主領域に表示させた場合における表示画面の一例を示す図。
【図１２】図９に示された表示画像の変形例を示す図。
【図１３】第２の実施形態の情報処理システムの概略を示す図。
【図１４】第２の実施形態の情報処理装置の機能ブロック図。
【図１５】第２の実施形態において表示画像の生成処理を示すフローチャート。
【図１６】第２の実施形態において表示面上のポインタの移動態様の一例を示す図。
【発明を実施するための形態】
【００１１】
（１）第１の実施形態
（１−１）システム構成
先ず、第１の実施形態の情報処理システム、情報処理装置及びプログラムについて説明する。図１は、第１の実施形態の情報処理システム１０の概略構成を示す図である。この情報処理システム１０には、表示装置２０と、撮像装置３０と、制御装置４０とが含まれる。
表示装置２０は、例えば、マトリクス状に画素単位で配置された薄膜トランジスタを含むＬＣＤ(Liquid Cristal Display)モニタと、その薄膜トランジスタを駆動するための駆動回路と、ＨＤＭＩ(High-Definition Multimedia Interface)等を用いて制御装置４０と通信を行うためのインタフェース回路とを含む。表示装置２０は、制御装置４０から受信した表示画像をモニタの表示面に表示する。なお、表示装置２０には、ＬＣＤモニタに限られず、例えば、有機ＥＬ(Electro-Luminescence)ディスプレイや電子ペーパーディスプレイ等が用いられてもよい。また、表示装置２０は、制御装置４０と通信可能であればよく、その通信プロトコルは問わない。
撮像装置３０は、表示装置２０の表示面に表示された表示画像を含む画像を撮像する装置である。撮像装置３０は、表示装置２０のモニタの表示面全体を撮像可能な位置に配置されている。また、撮像装置３０は、例えば、表示装置２０の表示面に反射した光等を集光する集光レンズと、光を電気信号に変換するＣＣＤ(Charge Coupled Device)等の撮像素子と、その撮像素子を駆動するための駆動回路と、ＩＥＥＥ(The Institute of Electrical and Electronics Engineers, Inc.)１３９４等を用いて制御装置４０と通信を行うためのインタフェース回路とを含む。撮像装置３０としては、例えば、デジタルビデオカメラやデジタルスティルカメラ（ビデオ撮影機能付き）等が用いられる。なお、撮像装置３０は、制御装置４０と通信可能であればよく、その通信プロトコルは問わない。
制御装置４０は、表示面に表示される画像を生成する装置である。また、制御装置４０は、情報処理装置の一例である。
【００１２】
本実施形態の情報処理システムにおける処理の概要を説明する。
先ず、表示装置２０の表示面には、例えばプレゼンテーションや会議等の発表内容を表す画像が表示されている。撮像装置３０は、発表者が、指示棒やレーザポインタ等を用いて表示画像を指し示しながら発表する様子を撮像する。
制御装置４０は、撮像装置３０によって撮像された画像を取り込むと、画像に含まれる指示棒やレーザポインタ等の移動態様に基づき、表示画像の処理を指示するためのコマンドを取得する。
そして、制御装置４０は、表示装置２０の表示面の表示領域のうち主領域（第１領域の一例である）に表示される主領域画像（第１画像の一例である）と、主領域と異なる副領域（第２領域の一例である）に表示される画像であって主領域に既に表示された主領域画像である副領域画像（第２画像の一例である）とを含む表示画像を生成する。生成された表示画像は、表示装置２０に送信される。
また、表示装置２０は、制御装置４０から受信した表示画像を表示面に表示する。
ここで、制御装置４０によって生成される表示画像は、図２及び図３のように示される。図２及び図３は、表示面における表示領域の一例を示す図である。図２では、主領域と副領域とが、表示領域全体の上下方向に区画された異なる領域にそれぞれ設けられている。また、図３では、主領域と副領域とが、主領域及び副領域それぞれの一部が表示領域において重なるように設けられている。なお、主領域と副領域の表示態様は、図２及び図３に示された例に限定されない。
【００１３】
（１−２）制御装置４０の構成
図４は、実施形態の制御装置４０の構成を示すブロック図である。
図４に示すように、制御装置４０は、ＣＰＵ(Central Processing Unit)４１、チップセット４２、ＲＡＭ(Random Access Memory)４３、ＢＩＯＳ−ＲＯＭ４４、電源供給部４５、ＨＤＤ（Hard Disk Drive）４６、入力デバイス４７及び通信インタフェース４８を含む。チップセット４２は、制御装置４０内の各部とデータバス及び制御バスによって接続されている。制御装置４０は、例えば、汎用のパーソナルコンピュータであってよい。
【００１４】
ＣＰＵ４１は、制御装置４０の用途に応じて設けられる各種のプログラムを実行する。また、ＣＰＵ４１は、電源が制御装置４０に投入されたときに、各種のプログラムを実行する。ＣＰＵ４１は、ＨＤＤ４６あるいはＲＯＭに記憶されたプログラムを呼び出して起動することにより、後述する画像取込部１００、コマンド取得部１２０、コマンド実行部１３０、サムネイル生成部１４０、サムネイル格納部１５０、主領域画像生成部１６０、副領域画像生成部１７０、表示画像生成部１８０をソフトウェアモジュールとして生成する。従って、ＣＰＵ４１がプログラムを実行するとき、ＣＰＵ４１は、画像取込部１００、コマンド取得部１２０、コマンド実行部１３０、サムネイル生成部１４０、サムネイル格納部１５０、主領域画像生成部１６０、副領域画像生成部１７０、表示画像生成部１８０の機能を実質的に担う。
ＲＡＭ４３は、ＣＰＵ４１のメインメモリである。ＲＡＭ４３は、ＣＰＵ４１が実行するプログラムやＣＰＵ４１が参照するデータを一時的に格納するための揮発性記憶装置である。また、ＲＡＭ４３は、後述する画像データバッファ１１０の機能を実質的に担う。
チップセット４２は、ＣＰＵ４１と他の各部とのインタフェースのための制御回路、各部を制御するためのレジスタを含む。チップセット４２は、例えば汎用インタフェースであるＧＰＩ(General Purpose Interface)に対応してよい。
ＢＩＯＳ−ＲＯＭ４４は、ＢＩＯＳ（Basic Input/Output System）を記憶する。ＢＩＯＳは、ハードウェアとの基本的な入出力処理を行うための基本入出力システム（プログラム）である
電源供給部４５は、制御装置４０の各部への電源を供給する。
ＨＤＤ４６は不揮発性記憶装置であり、オペレーティングシステム（ＯＳ）やＯＳ上で実行されるプログラムを記憶する。
入力デバイス４７は、例えば、マウスやキーボード等の、コンピュータの１又は複数の入力デバイスを総称して表記するものである。
通信インタフェース４８は、ＨＤＭＩ等を用いて表示装置２０と通信を行うためのインタフェース回路と、ＩＥＥＥ１３９４やＵＳＢ等を用いて撮像装置３０と通信を行うためのインタフェース回路とを含む。通信インタフェース４８は、表示装置２０及び撮像装置３０と通信可能であればよく、その通信プロトコルは問わない。
【００１５】
次に、図５を参照して、実施形態の制御装置４０の機能につき説明する。図５は、実施形態の制御装置４０の機能ブロック図である。
図５に示すように、制御装置４０は、画像取込部１００、画像データバッファ１１０、コマンド取得部１２０、コマンド実行部１３０、サムネイル生成部１４０、サムネイル格納部１５０、主領域画像生成部１６０、副領域画像生成部１７０、表示画像生成部１８０を含む。
【００１６】
画像取込部１００は、撮像装置３０によって撮像された画像を取り込み、画像データバッファ１１０に記憶するソフトウェアモジュールである。
コマンド取得部１２０は、画像取込部１００によって取り込まれた画像の変化に基づき、表示画像の処理を指示するためのコマンドを取得するソフトウェアモジュールである。図６を参照して、コマンド取得部１２０の詳細な構成について説明する。図６は、コマンド取得部の機能ブロック図である。図６に示すように、コマンド取得部１２０は、差分画像抽出部１２１、ポインタ変位情報生成部１２２、コマンド発行部１２３、コマンド定義データベース（コマンド定義ＤＢ）１２４を含む。
【００１７】
差分画像抽出部１２１は、画像データバッファ１１０に記憶された画像と、差分画像を抽出するための基準となる基準画像とを用いて各画像の差分を検出することにより、取り込まれた画像の変化を表す差分画像を抽出する。この差分画像は、画像データバッファ１１０に画像が記憶される毎に抽出される。
なお、差分画像抽出部１２１は、差分画像の面積が表示領域全体の面積の所定割合（例えば、２０％）以上となる場合に、差分画像をポインタ変位情報生成部１２２に送信しなくてもよい。ここで、差分画像の面積が表示領域全体の面積の所定割合以上となる場合とは、例えば、主領域に表示される画像が別の画像に切り替えられる場合等が挙げられる。
【００１８】
ポインタ変位情報生成部１２２は、差分画像抽出部１２１によって抽出された差分画像に基づき、画像に含まれるポインタの変位を表すポインタ変位情報を生成する。ここで、ポインタの例としては、マウスカーソル、レーザポインタ、指示棒、発表者の指等が挙げられる。また、ポインタ変位情報生成部１２２は、複数の差分画像に含まれるポインタの変位を追尾する機能を有している。この追尾機能は、例えば、ポインタの色を表す情報（赤、緑、青の各要素で表される情報等）を追尾することにより実現されてもよい。
このようにして、例えば、「ポインタによって「○」という記号が描かれた」等のポインタ変位情報が得られる。
【００１９】
コマンド発行部１２３は、ポインタ変位情報生成部１２２によって生成されたポインタ変位情報に対応するコマンドを、コマンド定義ＤＢ１２４から抽出する。コマンド定義ＤＢ１２４には、図７に示すように、ポインタ変位情報とコマンドとが対応付けられた状態で記憶されている。図７は、コマンド定義ＤＢ１２４のデータ構成の一例を示す図である。また、コマンド発行部１２３は、抽出されたコマンドをコマンド実行部１３０に送信する。
【００２０】
コマンド実行部１３０は、コマンド取得部１２０によって取得されたコマンドを実行するソフトウェアモジュールである。
サムネイル生成部１４０は、主領域に既に表示された主領域画像のサムネイルを生成するソフトウェアモジュールである。サムネイル生成部１４０は、サムネイルを生成する際に、主領域に既に表示された主領域画像とサムネイルとを対応付ける。
サムネイル格納部１５０は、サムネイル生成部１４０によって生成されたサムネイルと、生成されたサムネイルに対応付けられた主領域画像とを、ＲＡＭ４３又はＨＤＤ４６に記憶するソフトウェアモジュールである。また、サムネイル格納部１５０は、サムネイルとサムネイルに対応付けられた主領域画像とを、ＲＡＭ４３又はＨＤＤ４６から抽出する。
【００２１】
主領域画像生成部１６０は、主領域に表示される主領域画像を生成するソフトウェアモジュールである。主領域画像の基となる画像は、例えば、パーソナルコンピュータにインストールされたプレゼンテーション用のアプリケーション等を用いて作成された画像でもよい。
副領域画像生成部１７０は、副領域に表示される副領域画像を生成するソフトウェアモジュールである。副領域画像生成部１７０は、ＲＡＭ４３又はＨＤＤ４６に記憶されたサムネイルをサムネイル格納部１５０から取得し、取得したサムネイルを副領域画像として生成する。
【００２２】
表示画像生成部１８０は、主領域画像生成部１６０によって生成された主領域画像と、副領域画像生成部１７０によって生成された副領域画像とを含む表示画像を生成する。また、表示画像生成部１８０は、生成された表示画像を表示装置２０に送信する。
【００２３】
（１−３）表示画像の生成
次に、図８を参照して、制御装置４０にて行われる、表示画像の生成処理について説明する。図８は、表示画像の生成処理を示すフローチャートである。
先ず、表示装置２０の表示面には、プレゼンテーションや会議等で用いられる画像が、図９のように表示されている。図９は、表示画像の生成処理における初期の表示画像の一例を示す図である。撮像装置３０は、表示画像を含む画像を撮像する（ステップＳ１０１）。撮像された画像には、少なくとも表示画像及びポインタが含まれる。なお、撮像装置３０によって撮像される画像は、動画であってもよいし、静止画であってもよい。
制御装置４０の画像取込部１００は、撮像装置３０によって撮像された画像を取り込み、画像データバッファ１１０に記憶する（ステップＳ１０２）。
【００２４】
次に、制御装置４０のコマンド取得部１２０は、取り込まれた画像の変化に基づき、表示画像の処理を指示するためのコマンドを取得する（ステップＳ１０３）。コマンド取得部１２０は、差分画像に基づきポインタ変位情報を生成する。そして、コマンド取得部１２０は、ポインタ変位情報に基づき、コマンド定義ＤＢ１２４に記録された（ａ）〜（ｄ）のコマンドのうち何れか一つのコマンドを抽出する。なお、（ａ）〜（ｄ）の各コマンドは例示であり、（ａ）〜（ｄ）の各コマンドのみに限定されるものではない。例えば、副領域に表示されるサムネイルの並び替えを行うコマンド等が含まれてもよい。
（ａ）主領域画像を保存するコマンド
（ｂ）サムネイルを主領域に表示するコマンド
（ｃ）主領域の画像を再度主領域に表示するコマンド
（ｄ）選択画像を基準画像に指定するコマンド
【００２５】
ここで、各コマンドの処理の内容を説明する。
（ａ）主領域画像を保存するコマンド
このコマンドは、主領域画像を副領域に保存する処理を行う。
例えば、発表者が、図９に示された表示面上でポインタを用いて「○」という記号を描画した場合、コマンド取得部１２０は、図７に示されたコマンド定義ＤＢ１２４から「主領域画像を保存する」というコマンドを取得する。
コマンド実行部１３０は、コマンド取得部１２０からコマンドを取得すると、主領域画像生成部１６０に対して、主領域画像をサムネイル生成部１４０に送信するように要求する。主領域画像生成部１６０は、コマンド実行部１３０からの要求に応じて、主領域画像をサムネイル生成部１４０に送信する。
また、コマンド実行部１３０は、サムネイル生成部１４０に対して、主領域画像のサムネイルを生成するように要求する。サムネイル生成部１４０は、コマンド実行部１３０からの要求に応じて、主領域画像生成部１６０から受信した主領域画像のサムネイルを生成する。ここで、サムネイル生成部１４０は、生成されたサムネイルと主領域画像とを対応付ける。
次に、サムネイル生成部１４０は、サムネイル格納部１５０に対して、生成されたサムネイルと、生成されたサムネイルに対応付けられた主領域画像とを格納するように要求する。サムネイル格納部１５０は、サムネイル生成部１４０からの要求に応じて、生成されたサムネイルと、生成されたサムネイルに対応付けられた主領域画像とをＲＡＭ４３又はＨＤＤ４６に記憶する。
また、サムネイル生成部１４０は、副領域画像生成部１７０に対して、生成されたサムネイルを副領域画像として生成するように要求する。副領域画像生成部１７０は、サムネイル生成部１４０からの要求に応じて、生成されたサムネイルをサムネイル格納部１５０から取得するとともに、取得したサムネイルを副領域画像として生成する。
【００２６】
そして、表示画像生成部１８０は、主領域画像と副領域画像とを含む表示画像を生成する（ステップＳ１０４）。また、表示画像生成部１８０は、生成された表示画像を表示装置２０に送信する。
一方、表示装置２０は、生成された表示画像を表示面に表示する（ステップＳ１０５）。
なお、表示装置２０の表示面に表示される表示画像は、図１０のように示される。図１０は、図９に示された主領域画像を副領域に保存した場合における表示画面の一例を示す図である。図１０に示されるように、図９に示された主領域画像が、副領域に含まれるサムネイルＴ３として表示される。
これにより、主領域に既に表示された主領域画像を副領域画像として副領域に表示することができるので、主領域画像が他の画像に切り替えられた場合でも、主領域に既に表示された画像（切り替え前の主領域画像）を、切り替え後の主領域画像とともに表示面に表示することができる。
また、副領域には、副領域画像として、主領域に既に表示された主領域画像に対応するサムネイルが表示されるので、主領域に表示される主領域画像と、副領域に表示される副領域画像とを、各画像のサイズに基づいて容易に区別することができる。
【００２７】
（ｂ）サムネイルに対応する主領域画像を主領域に表示するコマンド
このコマンドは、副領域に表示されたサムネイルのうち選択されたサムネイルに対応する主領域画像を、主領域に表示する処理を行う。
例えば、発表者が、図９に示された表示面上でポインタを用いて「△」という記号を描画した場合、コマンド取得部１２０は、図７に示されたコマンド定義ＤＢ１２４から「サムネイルに対応する主領域画像を主領域に表示する」というコマンドを取得する。また、発表者が、表示面上のサムネイルＴ１の領域内にポインタを２秒以上存在させた場合、コマンド取得部１２０は、コマンド定義ＤＢ１２４から「サムネイルＴ１を選択する」というコマンドを取得する。これにより、コマンド取得部１２０は、「サムネイルＴ１に対応する主領域画像を主領域に表示する」というコマンドを取得する。
コマンド実行部１３０は、コマンド取得部１２０からコマンドを取得すると、サムネイル生成部１４０に対して、選択されたサムネイル（サムネイルＴ１）に対応する主領域画像を主領域画像生成部１６０に送信するように要求する。サムネイル生成部１４０は、コマンド実行部１３０からの要求に応じて、選択されたサムネイルに対応する主領域画像をサムネイル格納部１５０から取得する。そして、サムネイル生成部１４０は、取得した主領域画像を主領域画像生成部１６０に送信する。
また、コマンド実行部１３０は、主領域画像生成部１６０に対して、サムネイル生成部１４０から受信した主領域画像を、主領域に表示される主領域画像として生成するように要求する。主領域画像生成部１６０は、コマンド実行部１３０からの要求に応じて、サムネイル生成部１４０から受信した主領域画像を、主領域に表示される主領域画像として生成する。
【００２８】
そして、表示画像生成部１８０は、主領域画像と副領域画像とを含む表示画像を生成する（ステップＳ１０４）。また、表示画像生成部１８０は、生成された表示画像を表示装置２０に送信する。
一方、表示装置２０は、生成された表示画像を表示面に表示する（ステップＳ１０５）。
なお、表示装置２０の表示面に表示される表示画像は、図１１のように示される。図１１は、図１０に示されたサムネイルに対応する主領域画像を主領域に表示させた場合における表示画面の一例を示す図である。図１１に示されるように、サムネイルＴ１に対応する主領域画像が主領域に表示される。
このようにして、副領域に表示されたサムネイルに対応する主領域画像を、主領域に表示することができる。
【００２９】
（ｃ）主領域画像を再表示するコマンド
このコマンドは、（ｂ）のコマンドが実行される直前に主領域に表示されていた主領域画像を、主領域に再表示する処理を行う。
例えば、発表者が、図１１に示された表示面上で、ポインタを用いて数字の「１」を描画した場合、コマンド取得部１２０は、図７に示されたコマンド定義ＤＢ１２４から「主領域画像を再表示する」というコマンドを取得する。
コマンド実行部１３０は、コマンド取得部１２０からコマンドを取得すると、主領域画像生成部１６０に対して、（ｂ）のコマンドが実行される直前に主領域に表示されていた主領域画像を、主領域に表示される主領域画像として生成するように要求する。主領域画像生成部１６０は、コマンド実行部１３０からの要求に応じて、（ｂ）のコマンドが実行される直前に主領域に表示されていた主領域画像を、主領域に表示される主領域画像として生成する。
【００３０】
そして、表示画像生成部１８０は、主領域画像と副領域画像とを含む表示画像を生成する（ステップＳ１０４）。また、表示画像生成部１８０は、生成された表示画像を表示装置２０に送信する。
一方、表示装置２０は、生成された表示画像を表示面に表示する（ステップＳ１０５）。
なお、表示装置２０の表示面に表示される表示画像は、図１０に示された表示画像と同様である。
【００３１】
（ｄ）選択画像を基準画像に指定するコマンド
このコマンドは、表示面に表示されている画像を、差分画像抽出部１２１に用いられる基準画像に指定する処理を行う。
例えば、発表者が、図９に示された表示面上で、ポインタを用いて数字の「２」を描画した場合、コマンド取得部１２０は、図７に示されたコマンド定義ＤＢ１２４から「選択画像を基準画像に指定する」というコマンドを取得する。また、発表者が、表示面上の主領域内にポインタを２秒以上存在させた場合、コマンド取得部１２０は、コマンド定義ＤＢ１２４から「主領域画像を選択する」というコマンドを取得する。これにより、コマンド取得部１２０は、「主領域画像を基準画像に指定する」というコマンドを取得する。
コマンド実行部１３０は、コマンド取得部１２０からコマンドを取得すると、主領域画像生成部１６０に対して、主領域画像をコマンド取得部１２０に送信するように要求する。主領域画像生成部１６０は、コマンド実行部１３０からの要求に応じて、主領域に表示されている主領域画像をコマンド取得部１２０に送信する。
そして、コマンド実行部１２０の差分画像抽出部１２１は、受信した主領域画像を基準画像として用いる。
【００３２】
また、サムネイルが選択された場合には、コマンド取得部１２０は、「選択されたサムネイルに対応する主領域画像を基準画像として指定する」というコマンドを取得する。コマンド実行部１３０は、サムネイル生成部１４０に対して、選択されたサムネイルに対応する主領域画像をコマンド取得部１２０に送信するように要求する。サムネイル生成部１４０は、コマンド実行部１３０からの要求に応じて、選択されたサムネイルに対応する主領域画像をサムネイル格納部１５０から取得する。そして、サムネイル生成部１４０は、取得した主領域画像を主領域画像生成部１６０に送信する。
そして、コマンド実行部１２０の差分画像抽出部１２１は、受信した主領域画像を基準画像として用いる。
【００３３】
なお、他の方法を用いて基準画像を指定してもよい。例えば、主領域画像が所定時間（例えば１分）以上継続して主領域に表示されている場合には、その主領域画像が基準画像として指定されてもよい。また、画像データバッファ１１０に記憶された画像の数が所定数（例えば、３００回）に達する毎に、所定数番目に記憶された画像が基準画像として指定されてもよい。
【００３４】
（１−４）表示画像の生成（変形例）
次に、表示画像の生成処理の変形例について説明する。
この変形例では、サムネイルに対応するキーワードやシンボル等の情報が、サムネイルとともに表示される。
サムネイル生成部１４０は、主領域画像のサムネイルを生成する際に、キーワードやシンボル等の情報とサムネイルとを対応付ける。サムネイル生成部１４０は、予め設定されたキーワードやシンボル等を、サムネイルの生成順に応じて対応付けるようにしてもよい。
図１２は、図９に示された表示画像の変形例を示す図である。サムネイルＴ１は、サムネイルＴ１に対応付けられたアルファベット「Ａ」とともに表示される。また、サムネイルＴ２は、サムネイルＴ２に対応付けられたアルファベット「Ｂ」とともに表示される。さらに、サムネイルＴ３は、サムネイルＴ３に対応付けられたアルファベット「Ｃ」とともに表示される。
これにより、例えば、聴衆等が、外観が互いに類似する複数のサムネイルのうち一つのサムネイルを選択する場合に、サムネイルに対応付けられた情報を選択することにより、所望のサムネイルを容易に選択することができる。
【００３５】
以上説明したように、本実施形態によれば、主領域に既に表示された主領域画像を副領域画像として副領域に表示することができるので、主領域画像が他の画像に切り替えられた場合でも、主領域に既に表示された画像（切り替え前の主領域画像）を、切り替え後の主領域画像とともに表示面に表示することができる。そのため、発表者が、主領域画像の内容と、主領域に既に表示された画像の内容とを比較して説明する場合に、表示画面全体が切り替えられることがない。これにより、聴衆の思考が分断されることがないので、発表内容に対する聴衆の理解度を高めることができる。
【００３６】
また、本実施形態によれば、主領域に表示される主領域画像と、副領域に表示される副領域画像とを、各画像のサイズに基づいて容易に区別することができる。これにより、聴衆が、副領域画像を、主領域画像と誤って認識することを防止することができる。従って、発表者が主領域画像を参照しながら発表する場合に、発表者は、聴衆に対して発表内容を正確に伝達することができる。
【００３７】
さらに、本実施形態によれば、副領域に表示されたサムネイルに対応する主領域画像を、主領域に表示することができるので、主領域に既に表示された主領域画像を、主領域に再表示することができる。これにより、サムネイルに対応する主領域画像の内容を、主領域に容易に表示することができる。従って、発表者や聴衆等が、既に発表された内容の詳細を容易に確認できるので、プレゼンテーション等における情報の伝達をより正確に行うことができる。
【００３８】
（２）第２の実施形態
以下、第２の実施形態の情報処理システム、情報処理装置及びプログラムについて説明する。
本実施形態が第１の実施形態と異なる点は、主領域に画像を投影する投影装置をさらに含むとともに、投影装置を制御するためのコマンドが取得されると、投影装置を制御するための信号を投影装置に送信することにある。これにより、プレゼンテーション等に用いられる装置の選択の幅を広げることができるとともに、システムの操作性を高めることができる。
以下、第１の本実施形態と異なる構成について説明する。
【００３９】
（２−１）システム構成
図１３は、実施形態の情報処理システム１０の概略構成を示す図である。この情報処理システム１０には、表示装置２０と、撮像装置３０と、制御装置４０と、投影装置５０が含まれる。
投影装置５０は、表示画像の主領域に画像を投影する装置である。投影装置５０は、例えば、画像を映像光に変換する光学エンジンと、映像光を表示装置２０の表示面に投影する投影レンズと、ＵＳＢ(Universal Serial Bus)等を用いて制御装置４０と通信を行うためのインタフェース回路とを含む。投影装置５０としては、例えば、プロジェクタ等が用いられる。なお、投影装置５０は、制御装置４０と通信可能であればよく、その通信プロトコルは問わない。
【００４０】
（２−２）制御装置４０の構成
次に、本実施形態の制御装置４０の構成について説明する。
本実施形態の通信インタフェース４８は、ＨＤＭＩ等を用いて表示装置２０と通信を行うためのインタフェース回路と、ＩＥＥＥ１３９４やＵＳＢ等を用いて撮像装置３０と通信を行うためのインタフェース回路と、ＵＳＢ等を用いて投影装置５０と通信を行うためのインタフェース回路とを含む。通信インタフェース４８は、表示装置２０、撮像装置３０、投影装置５０と通信可能であればよく、その通信プロトコルは問わない。
【００４１】
次に、図１４を参照して、実施形態の制御装置４０の機能につき説明する。図１４は、実施形態の制御装置４０の機能ブロック図である。
本実施形態通信インタフェース４８は、ＨＤＭＩ等を用いて表示装置２０と通信を行うためのインタフェース回路と、ＩＥＥＥ１３９４やＵＳＢ等を用いて撮像装置３０と通信を行うためのインタフェース回路とを含む。通信インタフェース４８は、表示装置２０及び撮像装置３０と通信可能であればよく、その通信プロトコルは問わない。
本実施形態のコマンド実行部１３０は、投影装置５０を制御するためのコマンドがコマンド取得部１２０によって取得されると、投影装置５０を制御するための信号を投影装置５０に送信する。なお、投影装置５０を制御するための信号は、ＲＡＭ４３又はＨＤＤ４６に記憶されている。
【００４２】
（２−３）表示画像の生成
次に、図１５を参照して、制御装置４０にて行われる、表示画像の生成処理について説明する。図１５は、表示画像の生成処理を示すフローチャートである。
なお、図１５のステップＳ１０１〜ステップＳ１０２の処理の内容は、前述した第１の実施形態（図８のステップＳ１０１〜ステップＳ１０２）の処理の内容と同様である。
次に、制御装置４０のコマンド取得部１２０は、取り込まれた画像の変化に基づき、表示画像の処理を指示するためのコマンドを取得する（ステップＳ１０３）。ここで、本実施形態のコマンド取得部１２０は、前述した（ａ）〜（ｄ）のコマンドと以下の（ｅ）のコマンドのうち何れか一つのコマンドを抽出する。
（ｅ）投影装置５０を制御するためのコマンド
【００４３】
ここで、コマンド（ｅ）が抽出される場合におけるポインタ変位情報の内容について、図１６を参照して説明する。図１６は、表示面上のポインタの移動態様の一例を示す図である。コマンド（ｅ）に対応するポインタ変位情報は、例えば、「ポインタが、移動開始領域に１．５秒以上存在する。その後、ポインタが、表示面の幅寸法の５０％以上の距離を表示面の幅方向に沿って移動する。そして、ポインタが、移動終了領域に１．５秒以上存在する。」と表される。
ポインタが、表示面上の任意の位置（図１６（ａ）に示された位置）に留まっている場合に、ポインタ変位情報生成部１２２は、図１６（ｂ）に示す移動開始領域をポインタの周囲に設定する。このとき、ポインタ変位情報生成部１２２は、ポインタが移動開始領域内に存在する時間を計測する。また、ポインタが移動した場合に、ポインタ変位情報生成部１２２は、ポインタの移動方向と、ポインタの移動距離とを検出する。さらに、ポインタの移動が停止した場合に、ポインタ変位情報生成部１２２は、図１６（ｂ）に示す移動終了領域をポインタの周囲に設定する。このとき、ポインタ変位情報生成部１２２は、ポインタが移動終了領域内に存在する時間を計測する。
そして、コマンド発行部１２３は、ポインタ変位情報部１２２によって生成されたポインタ変位情報が、コマンド（ｅ）に対応付けられたポインタ変位情報に該当する場合に、コマンド（ｅ）を取得する。
なお、移動開始領域及び移動終了領域の各領域内におけるポインタの存在時間が設定されることにより、コマンド取得部１２０が、表示画面の処理を行うための指示を発表者が行っているのか否かにつき判別することが可能になる。
【００４４】
次に、コマンド（ｅ）の処理の内容を説明する。
このコマンドは、投影装置５０を制御するための信号を、投影装置５０に送信する処理を行う。なお、投影装置５０の制御の内容としては、例えば、投影される画像の切り替え、投影される画像の歪みの補正、投影される光信号のオン・オフ、投影される画像の歪みの補正等が挙げられる。
コマンド実行部１３０は、コマンド取得部１２０からコマンドを取得すると、投影装置５０を制御するための信号を、投影装置５０に送信する（ステップＳ１０６）。投影装置５０は、コマンド実行部１３０から受信した信号に基づき、投影機器５０内の制御を行う（ステップＳ１０７）。
このようにして、発表者が表示面上でポインタを移動させることにより、投影装置５０の制御を行うことが可能になる。
なお、投影装置５０が、投影装置５０に設けられたリモートコントローラによって制御される場合には、コマンド実行部１３０は、リモートコントローラに対して制御用の信号を送信するようにしてもよい。
【００４５】
以上説明したように、本実施形態によれば、発表者が表示面上でポインタを移動させることにより、投影装置５０の制御を行うことが可能になる。このため、発表者は、表示面に表示される表示画面と、投影装置５０とを制御することができる。これにより、プレゼンテーション等に用いられる装置の選択の幅を広げることができるとともに、システムの操作性を高めることができる。
なお、表示画像が投影される表示面は、表示装置２０の表示面に限られない。表示画像が、例えば、投影用のスクリーンや壁面等に投影されるようにしてもよい。
【００４６】
以上、本発明の実施形態について詳細に説明したが、本発明の情報処理システム、情報処理装置、プログラムは上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのは勿論である。
例えば、上記実施形態では、主領域に既に表示された主領域画像のサムネイルが副領域に表示されていたが、主領域に既に表示された主領域画像が、そのままのサイズで副領域に表示されるようにしてもよい。
【００４７】
以上の各実施形態に関し、さらに以下の付記を開示する。
【００４８】
（付記１）
表示面に表示される画像を生成する情報処理装置を含む情報処理システムであって、
前記表示面に表示された表示画像を含む画像を撮像する撮像装置をさらに含み、
前記情報処理装置は、
前記撮像装置によって撮像された画像を取り込む画像取込部と、
画像取込部によって取り込まれた画像の変化に基づき、前記表示画像の処理を指示するためのコマンドを取得するコマンド取得部と、
コマンド取得部によって取得されたコマンドに基づき、前記表示面の表示領域のうち所定の第１領域に表示される第１画像と、前記表示領域のうち前記第１領域と異なる第２領域に表示される画像であって前記第１領域に既に表示された第１画像である第２画像とを含む表示画像を生成する表示画像生成部と、を備える、
情報処理システム。
【００４９】
（付記２）
前記第２領域には、前記第２画像として、前記第１領域に既に表示された第１画像に対応するサムネイルが表示される、付記１に記載の情報処理システム。
【００５０】
（付記３）
前記第２画像には、前記サムネイルと、前記サムネイルに対応付けられた情報とが含まれる、付記３に記載の情報処理システム。
【００５１】
（付記４）
前記表示画像生成部は、前記サムネイルに対応する前記第１画像を前記第１領域に表示するためのコマンドがコマンド取得部によって取得されると、前記サムネイルに対応する前記第１画像を前記第１領域に表示するための表示画像を生成する、付記２又は３に記載の情報処理システム。
【００５２】
（付記５）
前記表示面に画像を投影する投影装置をさらに含み、
前記情報処理装置は、
前記投影装置を制御するためのコマンドがコマンド取得部によって取得されると、投影装置を制御するための信号を投影装置に送信するコマンド実行部をさらに備える、付記１乃至４何れか１つに記載の情報処理システム。
【００５３】
（付記６）
表示面に表示される画像を生成する情報処理装置であって、
前記表示面に表示された表示画像を含む画像を撮像する撮像装置によって撮像された画像を取り込む画像取込部と、
画像取込部によって取り込まれた画像の変化に基づき、前記表示画像の処理を指示するためのコマンドを取得するコマンド取得部と、
コマンド取得部によって取得されたコマンドに基づき、前記表示面の表示領域のうち所定の第１領域に表示される第１画像と、前記表示領域のうち前記第１領域と異なる第２領域に表示される画像であって前記第１領域に既に表示された第１画像である第２画像とを含む表示画像を生成する表示画像生成部と、を備える、
情報処理装置。
【００５４】
（付記７）
前記第２領域には、前記第２画像として、前記第１領域に既に表示された第１画像に対応するサムネイルが表示される、付記６に記載の情報処理装置。
【００５５】
（付記８）
前記第２画像には、前記サムネイルと、前記サムネイルに対応付けられた情報とが含まれる、付記７に記載の情報処理装置。
【００５６】
（付記９）
前記表示画像生成部は、前記サムネイルに対応する前記第１画像を前記第１領域に表示するためのコマンドがコマンド取得部によって取得されると、前記サムネイルに対応する前記第１画像を前記第１領域に表示するための表示画像を生成する、付記７又は８に記載の情報処理装置。
【００５７】
（付記１０）
前記表示面に画像を投影する投影装置が接続され、
前記情報処理装置は、
前記投影装置を制御するためのコマンドがコマンド取得部によって取得されると、投影装置を制御するための信号を投影装置に送信するコマンド実行部をさらに備える、付記６乃至９何れか１つに記載の情報処理装置。
【００５８】
（付記１１）
表示面に表示される画像を生成するコンピュータに実行させるプログラムであって、
前記表示面に表示された表示画像を含む画像を撮像する撮像装置によって撮像された画像を取り込み、
取り込まれた画像の変化に基づき、前記表示画像の処理を指示するためのコマンドを取得し、
取得されたコマンドに基づき、前記表示面の表示領域のうち所定の第１領域に表示される第１画像と、前記表示領域のうち前記第１領域と異なる第２領域に表示される画像であって前記第１領域に既に表示された第１画像である第２画像とを含む表示画像を生成する、
処理をコンピュータに実行させるプログラム。
【符号の説明】
【００５９】
１０…情報処理システム
２０…表示装置
３０…撮像装置
４０…制御装置
５０…投影装置
１００…画像取込部
１２０…コマンド取得部
１３０…コマンド実行部
１８０…表示画像生成部
Ｔ１，Ｔ２，Ｔ３…サムネイル
【特許請求の範囲】
【請求項１】
表示面に表示される画像を生成する情報処理装置を含む情報処理システムであって、
前記表示面に表示された表示画像を含む画像を撮像する撮像装置をさらに含み、
前記情報処理装置は、
前記撮像装置によって撮像された画像を取り込む画像取込部と、
画像取込部によって取り込まれた画像の変化に基づき、前記表示画像の処理を指示するためのコマンドを取得するコマンド取得部と、
コマンド取得部によって取得されたコマンドに基づき、前記表示面の表示領域のうち所定の第１領域に表示される第１画像と、前記表示領域のうち前記第１領域と異なる第２領域に表示される画像であって前記第１領域に既に表示された第１画像である第２画像とを含む表示画像を生成する表示画像生成部と、を備える、
情報処理システム。
【請求項２】
前記第２領域には、前記第２画像として、前記第１領域に既に表示された第１画像に対応するサムネイルが表示される、請求項１に記載の情報処理システム。
【請求項３】
前記表示画像生成部は、前記サムネイルに対応する前記第１画像を前記第１領域に表示するためのコマンドがコマンド取得部によって取得されると、前記サムネイルに対応する前記第１画像を前記第１領域に表示するための表示画像を生成する、請求項２に記載の情報処理システム。
【請求項４】
前記表示面に画像を投影する投影装置をさらに含み、
前記情報処理装置は、
前記投影装置を制御するためのコマンドがコマンド取得部によって取得されると、投影装置を制御するための信号を投影装置に送信するコマンド実行部をさらに備える、請求項１乃至３何れか１項に記載の情報処理システム。
【請求項５】
表示面に表示される画像を生成する情報処理装置であって、
前記表示面に表示された表示画像を含む画像を撮像する撮像装置によって撮像された画像を取り込む画像取込部と、
画像取込部によって取り込まれた画像の変化に基づき、前記表示画像の処理を指示するためのコマンドを取得するコマンド取得部と、
コマンド取得部によって取得されたコマンドに基づき、前記表示面の表示領域のうち所定の第１領域に表示される第１画像と、前記表示領域のうち前記第１領域と異なる第２領域に表示される画像であって前記第１領域に既に表示された第１画像である第２画像とを含む表示画像を生成する表示画像生成部と、を備える、
情報処理装置。
【請求項６】
表示面に表示される画像を生成するコンピュータに実行させるプログラムであって、
前記表示面に表示された表示画像を含む画像を撮像する撮像装置によって撮像された画像を取り込み、
取り込まれた画像の変化に基づき、前記表示画像の処理を指示するためのコマンドを取得し、
取得されたコマンドに基づき、前記表示面の表示領域のうち所定の第１領域に表示される第１画像と、前記表示領域のうち前記第１領域と異なる第２領域に表示される画像であって前記第１領域に既に表示された第１画像である第２画像とを含む表示画像を生成する、
処理をコンピュータに実行させるプログラム。
【請求項１】
表示面に表示される画像を生成する情報処理装置を含む情報処理システムであって、
前記表示面に表示された表示画像を含む画像を撮像する撮像装置をさらに含み、
前記情報処理装置は、
前記撮像装置によって撮像された画像を取り込む画像取込部と、
画像取込部によって取り込まれた画像の変化に基づき、前記表示画像の処理を指示するためのコマンドを取得するコマンド取得部と、
コマンド取得部によって取得されたコマンドに基づき、前記表示面の表示領域のうち所定の第１領域に表示される第１画像と、前記表示領域のうち前記第１領域と異なる第２領域に表示される画像であって前記第１領域に既に表示された第１画像である第２画像とを含む表示画像を生成する表示画像生成部と、を備える、
情報処理システム。
【請求項２】
前記第２領域には、前記第２画像として、前記第１領域に既に表示された第１画像に対応するサムネイルが表示される、請求項１に記載の情報処理システム。
【請求項３】
前記表示画像生成部は、前記サムネイルに対応する前記第１画像を前記第１領域に表示するためのコマンドがコマンド取得部によって取得されると、前記サムネイルに対応する前記第１画像を前記第１領域に表示するための表示画像を生成する、請求項２に記載の情報処理システム。
【請求項４】
前記表示面に画像を投影する投影装置をさらに含み、
前記情報処理装置は、
前記投影装置を制御するためのコマンドがコマンド取得部によって取得されると、投影装置を制御するための信号を投影装置に送信するコマンド実行部をさらに備える、請求項１乃至３何れか１項に記載の情報処理システム。
【請求項５】
表示面に表示される画像を生成する情報処理装置であって、
前記表示面に表示された表示画像を含む画像を撮像する撮像装置によって撮像された画像を取り込む画像取込部と、
画像取込部によって取り込まれた画像の変化に基づき、前記表示画像の処理を指示するためのコマンドを取得するコマンド取得部と、
コマンド取得部によって取得されたコマンドに基づき、前記表示面の表示領域のうち所定の第１領域に表示される第１画像と、前記表示領域のうち前記第１領域と異なる第２領域に表示される画像であって前記第１領域に既に表示された第１画像である第２画像とを含む表示画像を生成する表示画像生成部と、を備える、
情報処理装置。
【請求項６】
表示面に表示される画像を生成するコンピュータに実行させるプログラムであって、
前記表示面に表示された表示画像を含む画像を撮像する撮像装置によって撮像された画像を取り込み、
取り込まれた画像の変化に基づき、前記表示画像の処理を指示するためのコマンドを取得し、
取得されたコマンドに基づき、前記表示面の表示領域のうち所定の第１領域に表示される第１画像と、前記表示領域のうち前記第１領域と異なる第２領域に表示される画像であって前記第１領域に既に表示された第１画像である第２画像とを含む表示画像を生成する、
処理をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１２−２０３３１１（Ｐ２０１２−２０３３１１Ａ）
【公開日】平成２４年１０月２２日（２０１２．１０．２２）
【国際特許分類】
【出願番号】特願２０１１−６９７４８（Ｐ２０１１−６９７４８）
【出願日】平成２３年３月２８日（２０１１．３．２８）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２４年１０月２２日（２０１２．１０．２２）
【国際特許分類】
【出願日】平成２３年３月２８日（２０１１．３．２８）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]