説明

コンテンツ表示システム、コンテンツ表示制御方法、コンテンツ表示制御装置、プログラム

【課題】ヒューマンエラーを抑止することができ、かつエンターテイメント性に富んだ表示制御を実現することができるコンテンツ表示システム等を提供する。
【解決手段】制御装置5は、コンテンツ構成要素、軌跡情報及び制御コマンドを対応付けて、制御コマンド軌跡DB51に記憶しておく。そして、制御装置5は、各DBの初期化を行い(S21)、撮影装置3から撮影画像を取得し(S22)、特定領域の抽出・処理画像への射影を行い(S33)、処理画像内の輝点の座標を抽出し(S24)、レーザー光発振装置2の光の軌跡を抽出し(S25)、制御コマンド軌跡DB51を参照して、抽出された軌跡が、いずれかの制御コマンドに対応しているか確認する(S26)。軌跡が制御コマンドに対応している場合(S26のYES)、制御装置5は、対応している制御コマンドに従ってコンテンツの表示制御を行う(S27)。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、操作者が実空間内の物体に対してレーザー光発振装置の光を照射することによって、コンテンツの表示制御を指示するコンテンツ表示システム等に関するものである。
【背景技術】
【0002】
従来から、コンピュータとプロジェクタとを用いるプレゼンテーションでは、操作者がプロジェクタによって投影されたコンテンツ(例えば、動画像や静止画像等)における特定の位置を指し示す為に、レーザーポインタ等のレーザー光発振装置が利用されている。レーザー光発振装置は、指示棒の役割しか果たさないので、コンテンツの表示制御を行う為には、操作者は、別途、コンピュータに接続された入力装置を操作しなければならない。このような煩雑な操作を回避する為に、レーザー光発振装置によってコンテンツの表示制御を指示することができるシステムが望まれている。
【0003】
例えば、特許文献1に開示されたインタラクティブプレゼンテーション制御システムでは、ディスプレイ・コンピュータ、コンピュータ制御の画像プロジェクタ、レーザーポインタ、投写スクリーンの他に、デジタルカメラおよび制御モジュールを備え、ディスプレイ・コンピュータは電子画像を生成し、その画像はプレゼンテーション画像として投写スクリーン上に投写される。講演者はレーザーポインタを用い所定のジェスチャ空間パターンをプレゼンテーション画像上に描き、デジタルカメラはこれらのプレゼンテーション画像を獲得し、制御モジュール内の処理部はそれらの画像を解析し、ジェスチャ空間パターンを特定する。所定のジェスチャ空間パターンの集合と比較され、マッチするものが見つけられ、続いてそれに関係したディスプレイ・コマンドが選択される。
【0004】
また、特許文献2に開示されたプロジェクタシステムでは、ライトペンによりプロジェクタスクリーン上の任意の位置をレーザー光の照射により指定する。同一位置での指定が一定時間以上続くことを受光器の撮影イメージに基づいてパソコンで検出する。一定時間以上経過後、パソコンでは、マウスのクリックボタン操作に相当するオンのフラグ信号を発生する。
【0005】
また、特許文献3には、展示物の部位に照準を定めて、レーザー図形を形成させるレーザーポインタと、レーザー図形が形成された展示物を撮影して撮影画像データを生成する撮像手段と、撮影画像データを図形認識用データと照合して、レーザー図形を認識して、そのレーザー図形の属性情報を作成する図形認識手段と、レーザー図形の照準座標を算出する図形座標算出手段と、照準座標と図形属性情報とを手掛りにして、展示物情報から、レーザー図形に関連付けられる展示物部位の説明情報を読み取る提供情報取得手段と、展示物の部位を説明した情報を展示物画像に重畳させて、表示させる提供情報表示手段と、を備える情報管理装置と、を備える展示物情報提供システムが開示されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2001−125738号公報
【特許文献2】特開2008−225556号公報
【特許文献3】特開2010−224646号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、特許文献1では、コンテンツの内容とは無関係に、ジェスチャ空間パターンとディスプレイ・コマンドとが対応付けられている為、プレゼンテーションを実演する際、ヒューマンエラーによって意図していない表示制御がなされる可能性が高い。例えば、操作者が、特定の位置を指し示すことだけを意図して、レーザーポインタの光を照射していたとしても、レーザーポインタを把持している手を無意識に揺らしてしまった場合、何らかのジェスチャ空間パターンとマッチすると判定され、意図していない表示制御(例えば、「次の画像に進む」等。)がなされてしまう。
【0008】
また、特許文献2では、マウスのクリックボタンを押下する操作と解除する操作しか実現していない。その為、観者が驚くようなダイナミックな操作が実現できず、エンターテイメント性に乏しい。また、特許文献1と同様、コンテンツの内容とは無関係に、マウスのクリックボタン操作に相当するフラグ信号を発生させる為、ヒューマンエラーによって意図していない表示制御がなされる可能性が高い。
【0009】
一方、特許文献3では、表示させる情報が、展示物の特定部位を示す照準エリア情報、及びレーザーポインタごとに異なるレーザー図形の図形属性情報に関連付けられている為、レーザーポインタを正しく選択すれば、意図していない表示制御がなされる可能性は低い。しかしながら、操作者の操作としては、照準エリア情報にレーザーポインタの光を照射させるだけであり、観者が驚くようなダイナミックな操作を実現できず、エンターテイメント性に乏しい。
【0010】
本発明は、前述した問題点に鑑みてなされたもので、その目的とすることは、ヒューマンエラーを抑止することができ、かつエンターテイメント性に富んだ表示制御を実現することができるコンテンツ表示システム等を提供することである。
【課題を解決するための手段】
【0011】
前述した目的を達成するために第1の発明は、操作者が実空間内の物体に対してレーザー光発振装置の光を照射することによってコンテンツの表示制御を指示するコンテンツ表示システムであって、前記レーザー光発振装置と、前記レーザー光発振装置の光が照射される領域を撮影する撮影装置と、前記コンテンツを表示するコンテンツ表示装置と、前記撮影装置及び前記コンテンツ表示装置を制御する制御装置と、によって構成され、前記制御装置は、前記コンテンツを構成するコンテンツ構成要素毎に、前記レーザー光発振装置の光の軌跡を識別する軌跡情報と対応付けて、特定の表示制御を実現する制御コマンドを記憶する第1記憶手段と、前記撮影装置によって撮影される撮影画像を取得する取得手段と、前記撮影画像から前記レーザー光発振装置の光の軌跡を抽出する抽出手段と、前記抽出手段によって抽出された光の軌跡について、前記第1記憶手段を参照し、対応する前記制御コマンドを判定する判定手段と、前記判定手段によって判定された前記制御コマンドに基づいて、前記コンテンツの表示制御を行うコンテンツ表示制御手段と、を備えることを特徴とするコンテンツ表示システムである。第1の発明によって、コンテンツに応じた適切な表示制御を行い、ヒューマンエラーを抑止することができ、かつエンターテイメント性に富んだ表示制御を実現することができる。
【0012】
第1の発明における前記軌跡情報は、判定時間及び判定領域の組からなり、前記判定手段は、前記抽出手段によって抽出された光の軌跡を構成する輝点の照射時間及び照射位置が、前記軌跡情報における前記判定時間及び前記判定領域に含まれるか否かによって、対応する前記制御コマンドを判定し、前記制御装置は、前記コンテンツ構成要素の画像に前記判定領域の位置を示す画像を重畳して、前記コンテンツ表示装置を含む任意の表示装置に表示させる軌跡情報表示制御手段、を更に具備することが望ましい。これによって、コンテンツの製作者や操作者は、表示制御のテスト中に判定領域を視覚的に確認することができ、コンテンツの製作作業や確認作業が容易になる。
【0013】
また、第1の発明における前記制御装置は、前記判定領域の位置の変更を受け付けて、前記第1記憶手段の内容を更新する軌跡情報更新手段、を更に具備することが望ましい。これによって、コンテンツの製作者や操作者は、表示制御のテストを行った結果、ヒューマンエラーが発生し易いと判断した軌跡情報を容易に修正することができる。特に、実行環境下で軌跡判定を視覚的に表示し、調整することによって、実際の操作者によるレーザー光発振装置の動作に合わせた調整が可能となる。
【0014】
また、第1の発明における前記制御装置は、前記撮影画像内の特徴点の座標情報と対応付けて、前記制御装置の内部処理における座標空間の対応点の座標情報を記憶する第2記憶手段と、前記撮影画像から特定領域画像を生成し、前記特定領域画像から特徴点を抽出し、前記第2記憶手段を参照して特徴点を前記制御装置の内部処理における座標空間の対応点にマッピングすることによって前記特定領域画像を射影し、処理画像を生成する射影手段と、を更に具備し、前記抽出手段は、複数の前記処理画像に対して輝点の座標を抽出し、抽出された座標の集合を、前記レーザー光発振装置の光の軌跡とすることが望ましい。これによって、撮影装置の撮影方向やコンテンツ表示装置の投影方向が制約されず、コンテンツ表示システムを様々な環境の実空間に適用することができる。
【0015】
また、第1の発明における前記制御装置は、実行環境に合わせた前記撮影装置の撮影パラメータを記憶する第3記憶手段、を更に具備し、前記取得手段は、前記第3記憶手段を参照して前記撮影画像を取得することが望ましい。これによって、制御装置によるいくつかの画像処理の手順が不要となり、制御装置の処理効率が向上する。ひいては、コンテンツ表示システムの応答性能を向上させることができる。
【0016】
第2の発明は、操作者が実空間内の物体に対してレーザー光発振装置の光を照射することによってコンテンツの表示制御を指示するコンテンツ表示システムにおいて、前記レーザー光発振装置の光が照射される領域を撮影する撮影装置、及び前記コンテンツを表示するコンテンツ表示装置を制御するコンテンツ表示制御装置を制御し、前記コンテンツを構成するコンテンツ構成要素毎に、前記レーザー光発振装置の光の軌跡を識別する軌跡情報と対応付けて、特定の表示制御を実現する制御コマンドを記憶する第1記憶手段を備える制御装置によるコンテンツ表示制御方法であって、前記撮影装置によって撮影される撮影画像を取得する取得ステップと、前記撮影画像から前記レーザー光発振装置の光の軌跡を抽出する抽出ステップと、前記抽出ステップによって抽出された光の軌跡について、前記第1記憶手段を参照し、対応する前記制御コマンドを判定する判定ステップと、前記判定ステップによって判定された前記制御コマンドに基づいて、前記コンテンツの表示制御を行うコンテンツ表示制御ステップと、を含むことを特徴とするコンテンツ表示制御方法である。第2の発明によって、コンテンツに応じた適切な表示制御を行い、ヒューマンエラーを抑止することができ、かつエンターテイメント性に富んだ表示制御を実現することができる。
【0017】
第3の発明は、操作者が実空間内の物体に対してレーザー光発振装置の光を照射することによってコンテンツの表示制御を指示するコンテンツ表示システムにおいて、前記レーザー光発振装置の光が照射される領域を撮影する撮影装置、及び前記コンテンツを表示するコンテンツ表示装置を制御するコンテンツ表示制御装置であって、前記コンテンツを構成するコンテンツ構成要素毎に、前記レーザー光発振装置の光の軌跡を識別する軌跡情報と対応付けて、特定の表示制御を実現する制御コマンドを記憶する第1記憶手段と、前記撮影装置によって撮影される撮影画像を取得する取得手段と、前記撮影画像から前記レーザー光発振装置の光の軌跡を抽出する抽出手段と、前記抽出手段によって抽出された光の軌跡について、前記第1記憶手段を参照し、対応する前記制御コマンドを判定する判定手段と、前記判定手段によって判定された前記制御コマンドに基づいて、前記コンテンツの表示制御を行うコンテンツ表示制御手段と、を備えることを特徴とするコンテンツ表示制御装置である。第3の発明によって、第1の発明のコンテンツ表示システムを構成し、第2の発明のコンテンツ表示方法を実行することができる。
【0018】
第4の発明は、コンピュータを、第3の発明のコンテンツ表示制御装置として機能させるためのプログラムである。第4の発明のプログラムを、汎用のコンピュータにインストールすることによって、第4の発明のコンテンツ表示制御装置を得ることができる。
【発明の効果】
【0019】
本発明のコンテンツ表示システム等により、ヒューマンエラーを抑止することができ、かつエンターテイメント性に富んだ表示制御を実現することができる。
【図面の簡単な説明】
【0020】
【図1】コンテンツ表示システムの構成図
【図2】コンテンツ表示システムの概略斜視図
【図3】実行時のシーケンス図
【図4】制御装置の処理の流れを示すフローチャート
【図5】特定領域抽出・射影機能を説明する図
【図6】制御コマンド軌跡画像のテンプレートの一例を示す図
【図7】制御コマンド軌跡DBの登録処理を説明する図
【図8】制御コマンド軌跡DBに登録されるデータの一例
【図9】制御コマンド軌跡DBの更新処理を説明する図
【図10】データの対応関係を示す模式図
【図11】第1の表示制御例を説明する図
【図12】第2の表示制御例を説明する図
【図13】第2の表示制御例を説明する図
【発明を実施するための形態】
【0021】
以下図面に基づいて、本発明の実施形態を詳細に説明する。本発明の実施形態では、「コンテンツ」とは、動画像データ、静止画像データ(写真、図、表、文書等コンピュータの画面に表示されるもの全てを含む。)、テキストデータ、音声データ、音楽データ等を含む。本発明の実施形態におけるコンテンツの典型例としては、複数の静止画像データや動画像データが1つのシナリオに基づいて纏められたものであり、特に、視覚によって知覚されるものである。
【0022】
以下では、コンテンツを構成する静止画像データや動画像データ等のデータを、「コンテンツ構成要素」と呼ぶことにする。静止画像データの場合、典型的には、1枚ずつが「シーン」として、異なるコンテンツ構成要素となる。また、動画像データの場合、典型的には、複数のフレームが纏められた「チャプタ」ごとに、異なるコンテンツ構成要素となる。本発明の実施形態におけるコンテンツ表示システムでは、コンテンツ構成要素ごとに様々な表示制御を実現する。
【0023】
最初に、図1〜図3を参照しながら、コンテンツ表示システムの概要について説明する。
【0024】
図1は、コンテンツ表示システムの構成図である。図1に示すように、コンテンツ表示システム1は、レーザー光発振装置2、撮影装置3、コンテンツ表示装置4、制御装置5等から構成される。また、コンテンツ表示システム1では、実空間6の物体7が前提となる。物体7は、図1に示すように、球体等の3次元物体でも良いし、図2に示すように、壁面や床面等の2次元物体でも良い。
【0025】
レーザー光発振装置2は、例えば、レーザーポインタ等である。撮影装置3は、例えば、デジタルビデオカメラ等である。コンテンツ表示装置4は、例えば、プロジェクタ等である。制御装置5は、例えば、コンピュータ等である。
【0026】
制御装置5は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、記憶装置(ハードディスク等)、表示装置(液晶ディスプレイ等)、入力装置(マウス、キーボード等)等を備える。制御装置5の記憶装置には、画像処理部11及びコンテンツ処理部13を実現する為のプログラムが記憶されている。また、制御装置5の記憶装置には、画像処理情報記憶部12及びコンテンツ情報記憶部14を実現する為のデータベースシステム(又は単なるファイル群でも良い。)等が構築されている。
【0027】
画像処理部11は、撮影画像取得機能21、特定領域抽出・射影機能22、輝点抽出機能23、軌跡抽出機能24等を含む。画像処理情報記憶部12は、撮影画像抽出データベース(以下、「DB」と省略する。)31、特定領域抽出DB32、輝点抽出DB33、軌跡抽出DB34等を含む。コンテンツ処理部13は、制御コマンド軌跡判定機能41、コンテンツ表示制御機能42等を含む。コンテンツ情報記憶部14は、制御コマンド軌跡DB51、コンテンツDB52等を含む。
【0028】
図2は、コンテンツ表示システムの概略斜視図である。図2に示すように、操作者8は、レーザー光発振装置2を把持している。撮影装置3は、撮影画像領域61(一点鎖線の矩形)を撮影し、制御装置5に撮影画像を送信する。コンテンツ表示装置4は、制御装置5からの制御に従い、コンテンツ表示領域62(点線の矩形)にコンテンツを表示する。コンテンツ表示システム1では、操作者8が実空間6内の物体7に対してレーザー光発振装置2の光を照射すると、制御装置5がレーザー光発振装置2の光の軌跡に対応したコンテンツの表示制御を行う。制御装置5は、光の軌跡を、点、線、図形等として特定する。
【0029】
図2の例では、撮影画像領域61が、コンテンツ表示領域62を含んでいる。この場合、操作者8がコンテンツ表示領域62の内側にレーザー光発振装置2の光を照射すれば、後述する制御装置5の処理によって、レーザー光発振装置2の光の軌跡を抽出できる。
【0030】
また、例えば、撮影画像領域61及びコンテンツ表示領域62を一致させることによって、制御装置5による撮影画像領域61及びコンテンツ表示領域62の位置合わせが不要となり、処理内容を軽減することができる。ひいては、コンテンツの表示制御の応答性能を向上させることができる。尚、撮影画像領域61及びコンテンツ表示領域62が一致する場合であっても、後述するように、制御装置5によって、撮影装置3の撮影方向及びコンテンツ表示装置4の投影方向のずれに起因した歪みの補正が行われる。
【0031】
また、例えば、撮影画像領域61とコンテンツ表示領域62とを別々の場所にしたり、複数にしたりすることによって、よりエンターテイメント性を高めることができる。例えば、図2の状態から、別のコンテンツ表示装置4を追加し、床面に別のコンテンツ表示領域62を設けると、壁面に表示されているコンテンツを、あたかも床面に飛ばすような表示制御を実現できる。つまり、操作者8が壁面に表示されているコンテンツにレーザー光発振装置2の光を照射して、床面方向にレーザー光発振装置2の光を移動させていくと、あるタイミングで、壁面に表示されているコンテンツが消えて、床面に同じコンテンツが表示されるという表示制御を実現できる。
【0032】
以下では、説明を分かり易くする為に、撮影装置3及びコンテンツ表示装置4が各1台、物体7が壁面、撮影画像領域61がコンテンツ表示領域62を含む平面領域とする。但し、以下に示す制御装置5の処理は、撮影装置3及びコンテンツ表示装置4の数が複数台の場合、物体7が3次元物体の場合、並びに撮影画像領域61及びコンテンツ表示領域62が異なる領域の場合にも適用可能である。
【0033】
図3は、実行時のシーケンス図である。尚、図3に示すS4〜S9の処理については、ハードウエアである制御装置5が、図1に示すソフトウエアの各機能に従って実行するものである。以下では、説明を分かり易くする為に、便宜上、ソフトウエアの各機能を主体として記載する。
【0034】
図3に示すように、操作者8は、レーザー光発振装置2を把持し(S1)、レーザー光を物体7に照射する。これに対して、撮影装置3は、所定のフレームレート(例えば、30フレーム/秒)によって、物体7を含む実空間6の撮影画像領域61を撮影する(S3)。
【0035】
撮影画像取得機能21は、撮影画像抽出DB31を参照して、撮影装置3から撮影画像を取得する(S4)。特定領域抽出・射影機能22は、特定領域抽出DB32を参照して、撮影画像から特定領域を抽出し、処理画像に射影する(S5)。輝点抽出機能23は、輝点抽出DB33を参照して、処理画像内の輝点の位置を抽出する(S6)。軌跡抽出機能24は、軌跡抽出DB34を参照して、輝点の軌跡を抽出する(S7)。
【0036】
制御コマンド軌跡判定機能41は、制御コマンド軌跡DB51を参照して、制御コマンドを判定する(S8)。コンテンツ表示制御機能42は、制御コマンドに応じて、コンテンツDB52に記憶されているコンテンツの表示制御を行う(S9)。
【0037】
コンテンツ表示装置4は、コンテンツ表示制御機能42による表示制御に従って、物体7にコンテンツを表示する(S10)。操作者8や観者は、物体7に表示されたコンテンツを視聴する(S11)。
【0038】
操作者8は、レーザー光を物体7に照射することもあるし、照射しないこともある。一方、制御装置5は、撮影装置3のフレームレートに合わせて処理を繰り返す。制御装置5が、S8において新たに制御コマンドを判定すると、コンテンツ表示装置4に表示させるコンテンツを変更する。そして、コンテンツ表示装置4が物体7に表示するコンテンツが変わる。
【0039】
次に、図4〜図13を参照しながら、制御装置5の処理の詳細について説明する。
【0040】
図4は、制御装置の処理の流れを示すフローチャートである。撮影装置3及びコンテンツ表示装置4を所定の位置にセットした後、図3に示すシーケンスを実行する前に、制御装置5は、実行環境に合わせた撮影装置3のキャリブレーションの結果を各DBに反映し、各DBの初期化を行う(S21)。
【0041】
撮影画像領域61には、実空間6の照明光とコンテンツ表示装置4の投影光が重ねて照らされている。このような撮影画像領域61から、レーザー光の輝点を正確に抽出する為に、制御装置5は、撮影装置3の撮影パラメータを、実行環境に合わせた最適値に設定し、撮影画像抽出DB31に数値情報として記憶する。
【0042】
制御装置5は、実行環境に合わせて、レーザー光の輝点が抽出し易いように撮影パラメータを調整し、その撮影パラメータに従って撮影された撮影画像を入力データとする。これによって、制御装置5によるいくつかの画像処理の手順(入力データに応じた輝点を抽出するための前処理等)が不要となり、制御装置5の処理効率が向上する。ひいては、操作者8がレーザー光発信装置2を操作してから所望の表示制御が実現されるまでの応答時間を短縮し、コンテンツ表示システム1の応答性能を向上させることができる。
【0043】
また、一般に、撮影画像の座標空間と、制御装置5が記憶しているコンテンツの座標空間は、一致しない。しかし、後述するように、レーザー光発振装置2の光がコンテンツ構成要素のどの位置に照射されたかによって、コンテンツの表示制御を切り替える為には、制御装置5の内部処理において両者の座標空間を一致させる必要がある。そこで、制御装置5は、事前に撮影画像を取得し、撮影画像内の特徴点の座標情報と対応付けて、制御装置5の内部処理における座標空間の対応点の座標情報を、特定領域抽出DB32に数値情報として記憶する。
【0044】
また、一般に、レーザー光発振装置2の光の属性情報(輝度、色、形状等)は様々である。そこで、レーザー光の輝点を正確に抽出する為に、例えば、撮影画像領域61に照射させたレーザー光発振装置2の光を事前に撮影する等して、レーザー光発振装置2の光の属性情報を得て、輝点抽出DB33に数値情報として記憶する。
【0045】
図3に示すシーケンスの実行を開始すると、制御装置5の撮影画像取得機能21は、撮影画像抽出DB31を参照し、撮影装置3から撮影画像を取得する(S22)。制御装置5は、撮影装置3からの入力データが、撮影画像抽出DB31に記憶されている撮影パラメータに従って撮影されたものとし、必要に応じた画像処理を行う。例えば、レーザー光の輝点を抽出し易いように、制御装置5は、入力データとは無関係に、撮影画像抽出DB31に記憶されている撮影パラメータのみに依存して、入力データに対する明るさやコントラストの変換処理等を行い、撮影画像とする。通常であれば、入力データから変換処理のパラメータを決定する必要があるが、本発明の実施の形態では、撮影画像抽出DB31に記憶されている撮影パラメータのみに基づいて変換処理のパラメータを決定するので、処理を高速に実行することができる。
【0046】
次に、制御装置5の特定領域抽出・射影機能22は、特定領域抽出DB32を参照して、特定領域の抽出・処理画像への射影を行う(S23)。
【0047】
図5は、特定領域抽出・射影機能を説明する図である。特定領域抽出・射影機能22は、撮影画像領域61の画像データである撮影画像63から、特定領域を抽出する。特定領域とは、コンテンツの製作者がレーザー光発振装置2の光の照射を許容した領域である。図5の例であれば、特定領域は、コンテンツ表示領域62である。尚、撮影装置3の撮影方向とコンテンツ表示装置4の投影方向は一致しないので、図5に示すように、正面から見れば長方形の領域であっても、撮影画像63内では歪んだ形状となる。
【0048】
前述した通り、特定領域抽出DB32には、撮影画像63内の特徴点の座標情報と対応付けて、制御装置5の内部処理における座標空間の対応点の座標情報が記憶されている。そこで、特定領域抽出・射影機能22は、撮影画像63から特定領域画像64を生成し、特定領域画像64から複数の特徴点を抽出し、特定領域抽出DB32を参照して制御装置5の内部処理における座標空間の対応点にマッピングすることによって特定領域画像64を射影し、処理画像65を生成する。例えば、制御装置5は、複数の特徴点及び対応点の組から、撮影画像63の座標空間における画像を内部処理における座標空間に射影するための射影行列を算出し、算出された射影行列に基づいて、特定領域画像64の全ての画素を、内部処理における座標空間に射影し、処理画像65とする。
【0049】
尚、物体7が3次元物体の場合であっても、特定領域抽出・射影機能22は、射影変換の3次元拡張や、複数の撮影装置3及びコンテンツ表示装置4の同期による拡張を行うことによって、同様に処理画像65を生成することができる。
【0050】
図4の説明に戻る。輝点抽出機能23は、輝点抽出DB33を参照して、処理画像65内の輝点の座標を抽出する(S24)。前述した通り、輝点抽出DB33には、レーザー光発振装置2の光の属性情報が記憶されていることから、精度良く、輝点の座標を抽出することができる。
【0051】
次に、軌跡抽出機能24は、軌跡抽出DB34を参照して、S24によって抽出された輝点の座標群から、レーザー光発振装置2の光の軌跡を抽出する(S25)。
【0052】
軌跡抽出DB34には、軌跡存在判定時間(単位は秒でも良いし、フレーム数でも良い。)が、数値情報として記憶されている。例えば、撮影装置3のフレームレートが30フレーム/秒であれば、制御装置5には1秒間に30枚が入力される。つまり、特定領域抽出・射影機能22は、1秒間に30枚の処理画像65を生成する。そして、軌跡存在判定時間を1秒(=30フレーム)とした場合、軌跡抽出機能24は、軌跡存在判定時間ごとに30枚の処理画像65を確認し、それぞれに輝点が含まれているか否かを確認する。輝点が含まれた処理画像65が1枚もない場合、軌跡抽出機能24は、輝点が存在していないという軌跡(いわゆる、NULL値)とする。一方、輝点が含まれた処理画像65がある場合、軌跡抽出機能24は、時間的に最も早い時間の処理画像65に含まれる輝点を始点、時間的に最も遅い時間の処理画像65に含まれる輝点を終点とし、始点と終点の座標情報から、長さと方向を持つベクトルを算出し、算出されたベクトルを軌跡とする。
【0053】
次に、制御コマンド軌跡判定機能41は、制御コマンド軌跡DB51を参照して、S25において抽出された軌跡が、いずれかの制御コマンドに対応しているか確認する(S26)。S26の処理については、図6〜図9を参照しながら後述する。
【0054】
軌跡が制御コマンドに対応していない場合(S26のNO)、S22から処理を繰り返す。一方、軌跡が制御コマンドに対応している場合(S26のYES)、コンテンツ表示制御機能42は、コンテンツDB52を参照し、コンテンツの表示制御を行い(S27)、S22から処理を繰り返す。尚、制御コマンド軌跡DB51及びコンテンツDB52は、コンテンツ構成要素の識別情報をキーとして関連付けられている。
【0055】
ところで、物体7が空間6内を動く場合、撮影装置3の撮影方向やコンテンツ表示装置4の投影方向も変える必要がある。つまり、物体7の位置、撮影装置3の撮影方向及びコンテンツ表示装置4の投影方向が変わる。従って、各DBの初期化を再度行う必要がある。そこで、物体7が空間6内を動く場合、S26においてNOと判定した後、及びS27の処理の後、図4の点線によって示すように、S21から処理を繰り返す。
【0056】
以下では、図6〜図9を参照しながら、図29の処理について説明する。また、図29の処理の前提となる制御コマンド軌跡DB52の登録処理及び更新処理についても説明する。
【0057】
図6は、制御コマンド軌跡画像のテンプレートの一例を示す図である。制御コマンドとは、特定の表示制御を実現するプログラムである。制御コマンド軌跡画像66は、制御コマンドと、レーザー光発振装置2の光の軌跡を対応付ける為の画像である。
【0058】
制御コマンド軌跡画像66は、処理画像65やコンテンツ構成要素の画像と同一のサイズであり、複数の分割領域が定義されている。図6(a)に示す制御コマンド軌跡画像66aには、2行×4列=8個の分割領域A〜Hが定義されている。また、図6(b)に示す制御コマンド軌跡画像66bには、3行×3列=9個の分割領域A〜Hが定義されている。
【0059】
図7は、制御コマンド軌跡DBの登録処理を説明する図である。図8は、制御コマンド軌跡DB51に登録されるデータの一例である。制御コマンド軌跡DB51の登録処理は、コンテンツの製作者と制御装置5が対話処理によって行う。
【0060】
まず、コンテンツの製作者は、制御装置5に接続されている表示装置(コンテンツ表示装置4を含む。)に、コンテンツ構成要素を表示させる。図7(a)に示す画像67は、コンテンツ構成要素の一例である。
【0061】
次に、コンテンツの製作者は、制御装置5に接続されている表示装置に、コンテンツ構成要素と制御コマンド軌跡画像66を重畳した画像を表示させる。図7(b)に示す画像68は、画像67と制御コマンド軌跡画像66bを重畳した画像である。
【0062】
次に、コンテンツの製作者は、予め定義された制御コマンドのリスト(不図示)から1つの制御コマンドを選択する。制御コマンドのリストは、例えば、登録処理の開始が指示されると、制御装置5が表示装置に表示させておく。図7、図8に示す例では、コンテンツの製作者は、制御コマンドとして「次のシーンを表示」を選択する。
【0063】
次に、コンテンツの製作者は、制御装置5の入力装置を介して、制御コマンド軌跡画像66の分割領域を選択していき、軌跡情報を入力する。図7(c)では、レーザー光発振装置2の光を左から右にフリックする操作に関する軌跡情報を入力する場合の例を示している。
【0064】
コンテンツの製作者が領域Dを選択すると、制御装置5は、領域Dが始点領域に設定されたことを認識する(図7(c)では、ハッチング71、矢印73の始点として図示)。次に、コンテンツの製作者が領域Fを選択すると、制御装置5は、領域Fが終点領域に設定されたことを認識する(図7(c)では、ハッチング72、矢印73の終点として図示)。また、コンテンツの製作者は、フリックスピードに一定のゆとりを持たせる為の判定時間(図8参照)も入力する。つまり、制御装置5は、判定時間内に始点領域から終点領域へとレーザー光の輝点が移動すれば、レーザー光発振装置2の光を左から右にフリックする操作がなされたと判定することになる。
【0065】
そして、制御装置5は、コンテンツ構成要素、軌跡情報及び制御コマンドを対応付けて、制御コマンド軌跡DB51に記憶する。制御装置5は、領域Dが始点領域、領域Fが終点領域であることを、判定領域(図8参照)として制御コマンド軌跡DB51に記憶する。また、制御装置5は、判定時間も制御コマンド軌跡DB51に記憶する。
【0066】
図8に示すデータ76では、コンテンツ構成要素が「シーン1」、判定時間が「a〜b秒」、判定領域が「D→F」、制御コマンドが「次のシーンを表示」である。判定領域は、より厳密には、例えば、各領域の左上座標及び右下座標が記憶される。つまり、判定領域は、始点領域の左上座標(x1、y1)及び右下座標(x2、y2)、並びに、終点領域の左上座標(x3、y3)及び右下座標(x4、y4)が記憶される。また、制御コマンドは、より厳密には、例えば、「次のシーンを表示」を実現させるためのプログラムの識別情報等が記憶される。
【0067】
データ76の例では、「シーン1」のコンテンツ構成要素に対するレーザー光発振装置2の光の軌跡が、a〜b秒の間に、分割領域DからFへと移動するものであった場合、対応する制御コマンドとして「次のシーンを表示」が実行される。尚、「シーン1」のコンテンツ構成要素の画像は、図7(a)に示す画像67である。
【0068】
図9は、制御コマンド軌跡DBの更新処理を説明する図である。操作者8が、制御コマンド軌跡DB51に登録された表示制御を試してみると、意図していない表示制御がなされる場合がある。例えば、図7、図8に示す例では、操作者8が、観者に画像67の中央部分に注目を促すために、画像67の中央部分にレーザー光発振装置2の光を照射させたところ、操作者8が意図していないにも関わらず、次のシーンが表示されてしまうエラーが発生する場合がある。これは、始点領域である分割領域Dと、終点領域である分割領域Fが大きすぎたことに起因したヒューマンエラーである。そこで、本発明の実施の形態では、分割領域の大きさを容易に変更可能な画面インタフェースを提供する。
【0069】
図9(a)には、図7(c)と同じ軌跡情報が設定されている。コンテンツの製作者が、制御装置5の入力装置を介して、各領域の境界線74を、矢印75の方向に移動すると、制御装置5は、例えば、図9(b)のように、各領域の大きさを変更する。図9(b)に示す例では、境界線74の移動量に応じて、4つの境界線が連動して、中央部分から外側の方向に移動している。そして、分割領域A〜D、F〜Iが小さくなり、分割領域Eが大きくなっている。
【0070】
そして、制御装置5は、図9(b)に設定された軌跡情報に基づいて、制御コマンド軌跡DB51を更新する。具体的には、制御装置5は、始点領域の左上座標(x1、y1)及び右下座標(x2、y2)、並びに、終点領域の左上座標(x3、y3)及び右下座標(x4、y4)を更新する。このように、更新処理を行うことによって、前述した、分割領域D及び分割領域Fが大きすぎたことに起因したヒューマンエラーを回避することができる。
【0071】
図10は、データの対応関係を示す模式図である。図10では、「シーン1」と「シーン3」のコンテンツ構成要素に対する、制御コマンド軌跡DB51及びコンテンツDB52のデータを示している。
【0072】
図10には、「シーン1」のコンテンツ構成要素として「画像67」、及び「シーン3」のコンテンツ構成要素として「画像77」が示されている。また、図10には、「シーン1」のコンテンツ構成要素に対応付けられたデータ76、及び「シーン3」のコンテンツ構成要素に対応付けられたデータ78が示されている。
【0073】
例えば、コンテンツの製作者や操作者8が、「シーン1」のコンテンツ構成要素に対応付けられた制御コマンド軌跡画像66の表示を指示すると、制御装置5は、データ76から制御コマンド軌跡画像66cを生成し、表示装置に表示する。或いは、制御装置5は、データ76を記憶する際に制御コマンド軌跡画像66cを生成して記憶装置に記憶しておき、記憶装置から制御コマンド軌跡画像66cを読み出して、表示装置に表示しても良い。
【0074】
尚、図10に示す例では、1つのコンテンツ構成要素に対して、1つの制御コマンドが対応付けられているが、複数の異なる制御コマンドが対応付けられても良い。複数の異なる制御コマンドを対応付ける場合、制御装置5は、登録処理において判定時間や判定領域が重複しないように制御する。
【0075】
制御装置5の制御コマンド軌跡判定機能41は、図10に示すようなデータを参照し、軌跡抽出機能24によって抽出された軌跡が、いずれかの制御コマンドに対応しているかを確認する。例えば、コンテンツ表示装置4によって「シーン1」のコンテンツ構成要素の画像が物体7に表示されている場合、制御コマンド軌跡判定機能41は、「シーン1」に対応付けられているデータ76を参照し、軌跡抽出機能24によって抽出された軌跡が、判定時間[a〜b秒]内に始点領域Dから終点領域Fへとレーザー光の輝点が移動する軌跡であれば、「次のシーンを表示」の制御コマンドに対応していると判定する。
【0076】
図11は、第1の表示制御例を説明する図である。図11に示す第1の表示制御例は、図10に示す「シーン1」のコンテンツ構成要素に対して、データ76(=「次のシーンを表示」の制御コマンド)に従った表示制御例である。
【0077】
図11(a)に示す太線81は、物体7に投影されている画像67(=「シーン1」のコンテンツ構成要素の画像)に対して、操作者8がレーザー光発振装置2の光を照射させた軌跡を示している。矢印82は、軌跡の方向を示している。つまり、太線81の軌跡は、左から右に向かって、ほぼ直線である。
【0078】
図11(a)の状態において、撮影装置3が、画像67を含む撮影画像領域61を撮影し、制御装置5に送信する。制御装置5の画像処理部11は、画像67に対する軌跡を抽出し、制御装置5のコンテンツ処理部13は、太線81の軌跡に対応する制御コマンドが「次のシーンを表示」であることを判定し、次のシーンの画像83(=「シーン2」のコンテンツ構成要素の画像)を、コンテンツ表示装置4に表示させるように表示制御を行う。そして、コンテンツ表示装置4は、図11(b)に示すように、制御装置5の表示制御に従って、画像83を物体7に投影する。
【0079】
第1の表示制御例に示すように、操作者8は、制御装置5の入力装置等を操作することなく、レーザー光発振装置2のみを操作することによって、次のシーンを表示させることができる。つまり、本発明の実施の形態では、操作者8に負担をかけない表示制御を実現することができる。
【0080】
図12、図13は、第2の表示制御例を説明する図である。図12、図13に示す第2の表示制御例は、図10に示す「シーン3」のコンテンツ構成要素に対して、データ78(=「軌跡内部にコンテンツを表示」の制御コマンド)に従った表示制御例である。尚、「軌跡内部にコンテンツを表示」の制御コマンドの場合、コンテンツ構成要素の画像として、画像77のほかに、マスク画像が対応付けられている。マスク画像は、画像77よりも上位のレイヤーであり、初期状態では画像77全体を覆っている。図12(a)に示すマスク画像91は、画像77をマスクしていることが理解し易いように、全ての画素を同一色としている。
【0081】
図12(a)に示す太線92は、物体7に投影されているマスク画像91に対して、操作者8がレーザー光発振装置2の光を照射させた軌跡を示している。矢印93は、軌跡の方向を示している。つまり、太線92の軌跡は、時計回りに、ほぼ楕円形である。
【0082】
図12(a)の状態において、撮影装置3が、マスク画像91を含む撮影画像領域61を撮影し、制御装置5に送信する。制御装置5の画像処理部11は、マスク画像91に対する軌跡を抽出し、制御装置5のコンテンツ処理部13は、太線92の軌跡に対応する制御コマンドが「軌跡内部にコンテンツを表示」であることを判定し、太線92の軌跡内部に、画像77(=「シーン3」のコンテンツ構成要素の画像)を、コンテンツ表示装置4に表示させるように表示制御を行う。より具体的には、制御装置5のコンテンツ処理部13は、マスク画像91に対して、太線92の軌跡よりも内側の領域を削る画像処理を行う。マスク画像91の下のレイヤーには画像77が配置されているので、削られた領域に画像77が表示されることになる。そして、コンテンツ表示装置4は、図12(b)に示すように、制御装置5の表示制御に従って、軌跡内部の領域が削られたマスク画像91と画像77を重畳した画像を物体7に投影する。
【0083】
図13では、図12(b)の状態から、更に、操作者8がレーザー光発振装置2を操作し、より広い範囲に画像77を表示させる指示を行った状態を示している。
【0084】
図13(a)に示す太線94は、物体7に投影されているマスク画像91に対して、操作者8がレーザー光発振装置2の光を照射させた軌跡を示している。矢印95は、軌跡の方向を示している。つまり、太線94の軌跡は、時計回りに、ほぼ楕円形であり、太線92よりも外側に位置している。
【0085】
図13(a)の状態において、撮影装置3が、マスク画像91及び画像77を含む撮影画像領域61を撮影し、制御装置5に送信する。制御装置5の画像処理部11は、マスク画像91に対する軌跡を抽出し、制御装置5のコンテンツ処理部13は、太線94の軌跡に対応する制御コマンドが「軌跡内部にコンテンツを表示」であることを判定し、太線94の軌跡内部に、画像77(=「シーン3」のコンテンツ構成要素の画像)を、コンテンツ表示装置4に表示させるように表示制御を行う。より具体的には、制御装置5のコンテンツ処理部13は、マスク画像91に対して、太線94の軌跡よりも内側の領域を削る画像処理を行う。尚、太線92の軌跡よりも内側の領域は、既に削られているものとして扱う。そして、コンテンツ表示装置4は、図13(b)に示すように、制御装置5の表示制御に従って、軌跡内部の領域が削られたマスク画像91と画像77の重畳画像を物体7に投影する。
【0086】
第2の表示制御例に示すように、操作者8は、制御装置5の入力装置等を操作することなく、レーザー光発振装置2のみを操作することによって、レーザー光発振装置2の光の軌跡内部に、徐々にコンテンツを表示させていくという表示制御を実現することができる。つまり、本発明の実施の形態では、操作者8にとっても、観者にとってもエンターテイメント性に富んだ表示制御を実現することができる。
【0087】
以上の通り、コンテンツ表示システム1における制御装置5は、コンテンツ構成要素ごとに対応付けられたレーザー光発振装置2の光の軌跡を識別する軌跡情報と対応付けて、特定の表示制御を実現する制御コマンドを制御コマンド軌跡DB51に記憶しておく。そして、制御装置5は、撮影装置3によって撮影される撮影画像63を取得し、撮影画像63からレーザー光発振装置2の光の軌跡を抽出し、抽出された光の軌跡について、記憶されている情報を参照し、対応する制御コマンドを判定し、判定された制御コマンドに基づいてコンテンツの表示制御を行う。これによって、コンテンツ表示システム1では、コンテンツに応じた適切な表示制御を行い、ヒューマンエラーを抑止することができ、かつエンターテイメント性に富んだ表示制御を実現することができる。
【0088】
また、制御コマンド軌跡DB51に記憶される軌跡情報は、判定時間及び判定領域の組からなり、制御装置5は、抽出された光の軌跡を構成する各輝点の照射時間及び照射位置が、軌跡情報における判定時間及び判定領域に含まれるか否かによって、対応する制御コマンドを判定する。そして、制御装置5は、コンテンツ構成要素の画像に判定領域の位置を示す画像を重畳して、コンテンツ表示装置4を含む任意の表示装置に表示させる。これによって、コンテンツの製作者や操作者8は、表示制御のテスト中に判定領域を視覚的に確認することができ、コンテンツの製作作業や確認作業が容易になる。
【0089】
また、制御装置5は、判定領域の位置の変更を受け付けて、制御コマンド軌跡DB51の内容を更新する。これによって、コンテンツの製作者や操作者8は、表示制御のテストを行った結果、ヒューマンエラーが発生し易いと判断した軌跡情報を容易に修正することができる。
【0090】
つまり、制御装置5は、実行環境下で軌跡判定を視覚的に表示し、調整する機能を有する。このような調整機能は、操作者8が、自然な動作(速度や距離)によってレーザー光発振装置2を操作できるようになるという顕著な効果を奏する。例えば、プロジェクタによってコンテンツを表示する場合、物理的な投影サイズ(コンテンツの位置や大きさ)は、実行環境によって様々である。前述の調整機能を有さず、例えば、記憶された判定領域(時間や範囲)が設計時に固定されたままでは、以下に示す問題が発生すると考えられる。
・人間の動作として無理が生じると、輝点検出のロスト、過剰検出等のエラー要因となる。
・操作者8の熟練を必要とし、操作者8がシステムに合わせる負荷が発生して望ましくない。
・開発時の実験と設計の繰り返しや後戻りの作業が発生する。
・異なる実行環境下で同じシステムを再利用するときに再開発が必要となる。
・開発現場では、制御装置5のディスプレイ上での見え方や動作確認しかできず、現場での動作が想像しづらい。
そこで、実行環境下で軌跡判定を視覚的に表示し、調整する機能を利用して、制御コマンド軌跡DB51の内容を更新することによって、実際の操作者8によるレーザー光発振装置2の動作に合わせた調整が可能となり、前述の問題を解消することができる。
【0091】
また、制御装置5は、撮影画像63内の特徴点の座標情報と対応付けて、内部処理における座標空間の対応点の座標情報を特定領域抽出DB32に記憶しておく。そして、制御装置5は、撮影画像63から特定領域画像64を生成し、特定領域画像64から特徴点を抽出し、特定領域抽出DB32を参照して特徴点を内部処理における座標空間の対応点にマッピングすることによって特定領域画像64を射影し、処理画像65を生成する。また、制御装置5は、複数の処理画像65に対して輝点の座標を抽出し、抽出された座標の集合を、レーザー光発振装置2の光の軌跡とする。これによって、撮影装置3の撮影方向やコンテンツ表示装置4の投影方向が制約されず、コンテンツ表示システム1を様々な環境の実空間6に適用することができる。
【0092】
また、制御装置5は、実行環境に合わせた撮影装置3の撮影パラメータを撮影画像抽出DB31に記憶しておく。そして、制御装置5は、撮影画像抽出DB31を参照して撮影画像63を取得する。これによって、制御装置5によるいくつかの画像処理の手順が不要となり、制御装置5の処理効率が向上する。ひいては、コンテンツ表示システム1の応答性能を向上させることができる。
【0093】
尚、前述の説明では、制御コマンドの例として、「次のシーンを表示」、「軌跡内部にコンテンツを表示」の2種類を説明したが、本発明はこれらの例に限定されない。例えば、制御コマンドとして、「現在のシーンの開始」、「前のシーンを表示」、「シーンの切り替え」、「シーン内でのアニメーション」等が実現可能である。また、前述した通り、別のコンテンツ表示装置4を追加し、床面に別のコンテンツ表示領域62を設けることによって、「壁面から床面への画像飛ばし」等、よりダイナミックな制御コマンドも実現することができる。
【0094】
また、前述の説明では、本発明によって回避できるヒューマンエラーの例として、図7(c)における分割領域D及び分割領域Fが大きすぎたことに起因したヒューマンエラーを説明したが、本発明によって回避できるヒューマンエラーはこの例に限定されない。
【0095】
例えば、全てのシーンを一通り説明した後、次回の説明の為に先頭のシーンに戻しておくことがある。このときに、誤ってレーザー光発振装置2の光を照射した場合、制御コマンドに従って何らかの表示制御(例えば、「次のシーンを表示」など)がなされてしまう。そこで、全てのシーンを表示し終えた後、先頭のシーンを表示するときは、一定の時間が経過するまで表示制御を全く行わないようにして、ヒューマンエラーを回避することが考えられる。具体的には、制御コマンド軌跡DB51に、判定時間が「表示開始からx秒」、判定領域が「全て」、制御コマンドが「何もしない」という内容のデータを、先頭のシーンのコンテンツ構成要素に対応付けて記憶させれば良い。
【0096】
以上、添付図面を参照しながら、本発明に係るコンテンツ表示システム等の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【0097】
1………コンテンツ表示システム
2………レーザー光発振装置
3………撮影装置
4………コンテンツ表示装置
5………制御装置
6………実空間
7………物体
8………操作者
11………画像処理部
12………画像処理情報記憶部
13………コンテンツ処理部
14………コンテンツ情報記憶部
21………撮影画像取得機能
22………特定領域抽出・射影機能
23………輝点抽出機能
24………軌跡抽出機能
31………撮影画像抽出DB
32………特定領域抽出DB
33………輝点抽出DB
34………軌跡抽出DB
41………制御コマンド軌跡判定機能
42………コンテンツ表示制御機能
51………制御コマンド軌跡DB
52………コンテンツDB
61………撮影画像領域
62………コンテンツ表示領域
63………撮影画像
64………特定領域画像
65………処理画像
66、66a、66b、66c、66d………制御コマンド軌跡画像

【特許請求の範囲】
【請求項1】
操作者が実空間内の物体に対してレーザー光発振装置の光を照射することによってコンテンツの表示制御を指示するコンテンツ表示システムであって、
前記レーザー光発振装置と、
前記レーザー光発振装置の光が照射される領域を撮影する撮影装置と、
前記コンテンツを表示するコンテンツ表示装置と、
前記撮影装置及び前記コンテンツ表示装置を制御する制御装置と、
によって構成され、
前記制御装置は、
前記コンテンツを構成するコンテンツ構成要素毎に、前記レーザー光発振装置の光の軌跡を識別する軌跡情報と対応付けて、特定の表示制御を実現する制御コマンドを記憶する第1記憶手段と、
前記撮影装置によって撮影される撮影画像を取得する取得手段と、
前記撮影画像から前記レーザー光発振装置の光の軌跡を抽出する抽出手段と、
前記抽出手段によって抽出された光の軌跡について、前記第1記憶手段を参照し、対応する前記制御コマンドを判定する判定手段と、
前記判定手段によって判定された前記制御コマンドに基づいて、前記コンテンツの表示制御を行うコンテンツ表示制御手段と、
を備えることを特徴とするコンテンツ表示システム。
【請求項2】
前記軌跡情報は、判定時間及び判定領域の組からなり、
前記判定手段は、前記抽出手段によって抽出された光の軌跡を構成する輝点の照射時間及び照射位置が、前記軌跡情報における前記判定時間及び前記判定領域に含まれるか否かによって、対応する前記制御コマンドを判定し、
前記制御装置は、
前記コンテンツ構成要素の画像に前記判定領域の位置を示す画像を重畳して、前記コンテンツ表示装置を含む任意の表示装置に表示させる軌跡情報表示制御手段、
を更に具備することを特徴とする請求項1に記載のコンテンツ表示システム。
【請求項3】
前記制御装置は、
前記判定領域の位置の変更を受け付けて、前記第1記憶手段の内容を更新する軌跡情報更新手段、
を更に具備することを特徴とする請求項2に記載のコンテンツ表示システム。
【請求項4】
前記制御装置は、
前記撮影画像内の特徴点の座標情報と対応付けて、前記制御装置の内部処理における座標空間の対応点の座標情報を記憶する第2記憶手段と、
前記撮影画像から特定領域画像を生成し、前記特定領域画像から特徴点を抽出し、前記第2記憶手段を参照して特徴点を前記制御装置の内部処理における座標空間の対応点にマッピングすることによって前記特定領域画像を射影し、処理画像を生成する射影手段と、
を更に具備し、
前記抽出手段は、複数の前記処理画像に対して輝点の座標を抽出し、抽出された座標の集合を、前記レーザー光発振装置の光の軌跡とする
ことを特徴とする請求項1から請求項3のいずれかに記載のコンテンツ表示システム。
【請求項5】
前記制御装置は、
実行環境に合わせた前記撮影装置の撮影パラメータを記憶する第3記憶手段、
を更に具備し、
前記取得手段は、前記第3記憶手段を参照して前記撮影画像を取得する
ことを特徴とする請求項1から請求項4のいずれかに記載のコンテンツ表示システム。
【請求項6】
操作者が実空間内の物体に対してレーザー光発振装置の光を照射することによってコンテンツの表示制御を指示するコンテンツ表示システムにおいて、前記レーザー光発振装置の光が照射される領域を撮影する撮影装置、及び前記コンテンツを表示するコンテンツ表示装置を制御するコンテンツ表示制御装置を制御し、前記コンテンツを構成するコンテンツ構成要素毎に、前記レーザー光発振装置の光の軌跡を識別する軌跡情報と対応付けて、特定の表示制御を実現する制御コマンドを記憶する第1記憶手段を備える制御装置によるコンテンツ表示制御方法であって、
前記撮影装置によって撮影される撮影画像を取得する取得ステップと、
前記撮影画像から前記レーザー光発振装置の光の軌跡を抽出する抽出ステップと、
前記抽出ステップによって抽出された光の軌跡について、前記第1記憶手段を参照し、対応する前記制御コマンドを判定する判定ステップと、
前記判定ステップによって判定された前記制御コマンドに基づいて、前記コンテンツの表示制御を行うコンテンツ表示制御ステップと、
を含むことを特徴とするコンテンツ表示制御方法。
【請求項7】
操作者が実空間内の物体に対してレーザー光発振装置の光を照射することによってコンテンツの表示制御を指示するコンテンツ表示システムにおいて、前記レーザー光発振装置の光が照射される領域を撮影する撮影装置、及び前記コンテンツを表示するコンテンツ表示装置を制御するコンテンツ表示制御装置であって、
前記コンテンツを構成するコンテンツ構成要素毎に、前記レーザー光発振装置の光の軌跡を識別する軌跡情報と対応付けて、特定の表示制御を実現する制御コマンドを記憶する第1記憶手段と、
前記撮影装置によって撮影される撮影画像を取得する取得手段と、
前記撮影画像から前記レーザー光発振装置の光の軌跡を抽出する抽出手段と、
前記抽出手段によって抽出された光の軌跡について、前記第1記憶手段を参照し、対応する前記制御コマンドを判定する判定手段と、
前記判定手段によって判定された前記制御コマンドに基づいて、前記コンテンツの表示制御を行うコンテンツ表示制御手段と、
を備えることを特徴とするコンテンツ表示制御装置。
【請求項8】
コンピュータを、請求項7に記載のコンテンツ表示制御装置として機能させるためのプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate


【公開番号】特開2013−37420(P2013−37420A)
【公開日】平成25年2月21日(2013.2.21)
【国際特許分類】
【出願番号】特願2011−170811(P2011−170811)
【出願日】平成23年8月4日(2011.8.4)
【出願人】(000002897)大日本印刷株式会社 (14,506)
【Fターム(参考)】