表示制御装置、端末装置、通信システムおよびプログラム
【課題】ＡＲシステムにおいて端末装置のカメラの撮影範囲に画像を表示中の画像表示装置が含まれている場合であっても、モアレのない表示画像を端末装置のディスプレイに表示させる。
【解決手段】端末装置２０ｎのＣＰＵ４１は、カメラ３４が出力した撮影画像データＰＶ−ｉからＱＲコードを抽出する。ＣＰＵ４１は、撮影画像データＰＶ−ｉ内に写り込んでいる画像表示装置１ｍを送信先とするものと同じ画像データＣＶｍ−ｋをサーバ装置５０から取得する。ＣＰＵ４１は、撮影画像データＰＶ−ｉ内におけるＱＲコードと所定の位置関係にある領域ＡＲＨと画像データＣＶｍ−ｋとを比較することにより、撮影画像データＰＶ−ｉ内における画像表示装置１ｍの画像表示面の表示領域ＡＲＪを決定し、この表示領域ＡＲＪ内の画像を画像データＣＶｍ−ｋが表す画像に差替える。
【解決手段】端末装置２０ｎのＣＰＵ４１は、カメラ３４が出力した撮影画像データＰＶ−ｉからＱＲコードを抽出する。ＣＰＵ４１は、撮影画像データＰＶ−ｉ内に写り込んでいる画像表示装置１ｍを送信先とするものと同じ画像データＣＶｍ−ｋをサーバ装置５０から取得する。ＣＰＵ４１は、撮影画像データＰＶ−ｉ内におけるＱＲコードと所定の位置関係にある領域ＡＲＨと画像データＣＶｍ−ｋとを比較することにより、撮影画像データＰＶ−ｉ内における画像表示装置１ｍの画像表示面の表示領域ＡＲＪを決定し、この表示領域ＡＲＪ内の画像を画像データＣＶｍ−ｋが表す画像に差替える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラとディスプレイとを有する端末装置の動作を制御する技術に関する。
【背景技術】
【０００２】
スマートフォン等の端末装置に提供されるサービスの中にはＡＲ（Augmented
Reality：拡張現実）と呼ばれる技術を利用したものがある。ＡＲは、端末装置の利用者の眼前の景色をカメラにより撮影した撮影画像データにその撮影画像データ内の物に関わる注釈情報（アノテーション）を合成し、撮影画像データと注釈情報とを合成した合成画像データをディスプレイを介して利用者に提示する技術である。ＡＲに関わるシステムを開示した文献として、例えば、特許文献１がある。この文献１に開示されたシステムは、利用者に携帯される情報提供端末、及び各情報提供端末と通信網を介して接続されるサーバを有する。このシステムでは、情報提供端末は、利用者の眼前の景色をカメラにより撮影すると共に、自らの位置を示す位置情報をサーバに送信する。サーバは、情報提供端末から受信した位置情報によって情報提供端末の位置を把握し、その情報提供端末のカメラの撮影範囲内に写り込んでいる物に関わる注釈情報である仮想表示情報を情報提供端末へ送信する。情報提供端末は、サーバから受信した仮想表示情報をカメラの撮影結果である視界情報に合成し、仮想表示情報と視界情報とを合成した画面をディスプレイに表示させる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第ＷＯ２０１０／０２９６７１号パンフレット
【特許文献２】特開２００３−１９６５８６号公報
【非特許文献１】本道 貴行、黄瀬 浩一 “大規模画像認識のための局所特徴量の性能比較”，[online]，２００８年７月，画像の認識・理解シンポジウム（ＭＩＲＵ２００８），[平成２３年１月１１日検索]，インターネット＜http://www.m.cs.osakafu-u.ac.jp/publication_data/1031/paper.pdf＞
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、カメラの撮影範囲にそれ自体が画像表示を行う物である画像表示装置が含まれていると、カメラの撮影画像データ内における画像表示装置の表示画像の表示領域にモアレと呼ばれる縞模様が現れて表示内容の鮮明さが低下する、といった問題がある。例えば、小規模な小売店が多数集まっている商業施設では、各小売店の店頭に画像表示装置が設置され、小売店毎のお買い得情報やタイムセールスケージュールなどの画像が表示されていることが多く、このような商業施設においてＡＲを利用すると、上記問題点は顕著となる。
【０００５】
本発明は上記課題に鑑みて為されたものであり、ＡＲシステムにおいて端末装置のカメラの撮影範囲に画像を表示中の画像表示装置が含まれており、当該画像を一部に含む画像を端末装置に表示させる場合であっても、端末装置の表示画像の画質の劣化を抑えることを可能にする技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、サーバ装置から送信される一連の配信画像データに従って動画像を表示する複数の画像表示装置のうちの少なくとも１つを含む撮影範囲内をカメラにより撮影して得られる一連の撮影画像データを取得する撮影画像取得手段と、前記撮影画像取得手段により取得した一連の撮影画像データが表す画像に写っている画像表示装置であって、前記撮影画像データが表す画像から抽出されるマーカと前記カメラの位置および撮影方向との少なくとも一方によって特定される画像表示装置へ配信される一連の配信画像データを要求するメッセージを前記サーバ装置に送り、このメッセージを受けたことを契機として前記サーバ装置から送られてくる一連の配信画像データを取得する配信画像取得手段と、前記撮影画像取得手段により取得した一連の撮影画像データの各々と前記配信画像取得手段により取得した一連の撮影画像データの各々とを比較し、この比較の結果に基づいて当該一連の撮影画像データの表す画像に写っている画像表示装置の表示画像を画像表示装置毎に特定し、当該一連の撮影画像データにおける画像表示装置の表示画像を前記配信画像取得手段により取得した一連の配信画像データのうちの該当するものの表す画像に差替えて合成画像データを生成し、当該合成画像データが表す画像を表示装置に表示させる表示制御手段とを具備する表示制御装置を提供する。
【０００７】
この発明では、撮影画像データの表す画像に写っている画像表示装置の表示画像が、サーバ装置からその画像表示装置に送信されているものと同じ配信画像データが表す画像に差替えられ、この差替え後の画像が撮影結果の画像として表示装置に表示される。従って、撮影画像データの表す画像内に画像を表示中の画像表示装置が含まれている場合であっても、モアレのない表示画像を表示装置に表示させることができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の第１及び第２実施形態である表示制御装置としての機能を持った端末装置とこの端末装置を含む通信システムの構成を示す図である。
【図２】同システムにおけるサーバ装置から配信される画像データを説明するための図である。
【図３】同システムにおける端末装置による方位角及び仰俯角の検出の様子を示す図である。
【図４】同システムにおける端末装置内の動画像データベースＤＢのデータ構造図である。
【図５】同システムにおける端末装置とサーバ装置の動作を示すフローチャートである。
【図６】同システムにおける端末装置が行う表示制御処理を説明するための図である。
【図７】同システムにおける端末装置が行う表示制御処理を説明するための図である。
【図８】同システムにおける端末装置が行う表示制御処理を説明するための図である。
【図９】同システムにおける端末装置が行う表示制御処理を説明するための図である。
【図１０】同システムにおける端末装置が行う表示制御処理を説明するための図である。
【図１１】同システムにおける端末装置とサーバ装置の動作を示すフローチャートである。
【図１２】同システムにおける端末装置が行う時間差算出処理を説明するための図である。
【図１３】同システムにおける端末装置が行う表示制御処理を説明するための図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照しつつ本発明の実施形態について説明する。
＜第１実施形態＞
図１は、本発明の第１実施形態である表示制御装置を含む通信システムの構成を示す図である。この通信システムは、商業施設内の各小売店の店頭に設置された画像表示装置１ｍ（ｍ＝１，２…）と、同施設の管理センター内に設置されたサーバ装置５０と、利用者に携帯される端末装置２０ｎ（ｎ＝１，２…）とを有する。
【００１０】
画像表示装置１ｍ（ｍ＝１，２…）は、矩形状の画像表示面を持ったディスプレイである。サーバ装置５０は、各画像表示装置１ｍが設置された店舗におけるお買い得情報やタイムスケジュールなどに関わる動画像コンテンツＣＮＴｍを配信する配信サーバとしての役割を果たす装置である。
【００１１】
図２に示すように、サーバ装置５０は、画像表示装置１ｍを送信先とする動画像コンテンツＣＮＴｍの一連のフレーム画像データＦＶｍ−ｋ（ｋ＝１，２…Ｎ：ｋは、フレーム順を示すインデックスである）の右上の位置（より具体的には、画像データＦＶｍ−ｋ内における右端から当該画像データＦＶｍ−ｋの主走査方向の幅Ｘの１／Ｌ（例えば、Ｌ＝１２とする）の距離Ｘ／Ｌだけ左に離れ且つ上端から当該画像データＦＶｍ−ｋの副走査方向の幅Ｙの１／Ｌの距離Ｙ／Ｌだけ下に離れた位置）に画像表示装置１ｍの識別情報ＩＤｍを示すＱＲコード（登録商標）を上書きしたものを配信画像データＣＶｍ−ｋ（ｋ＝１，２…Ｎ）とし、この一連の配信画像データＣＶｍ−ｋ（ｋ＝１，２…Ｎ）を画像表示装置１ｍに送信する。また、サーバ装置５０は、端末装置２０ｎからの要求に応じて、画像表示装置１ｍを送信先とするものと同じ配信画像データＣＶｍ−ｋを端末装置２０ｎに送信する。サーバ装置５０の構成の詳細については、後述する。
【００１２】
各端末装置２０ｎは、通話機能、ブラウジング機能、メーラ機能などといったスマートフォンとしての各種機能と、本発明の第１実施形態である表示制御装置としての機能とを併有する装置である。ここで、端末装置２０ｎ内におけるスマートフォンとしての機能を司る各部については、本発明との関係が希薄であるため、図示及びその説明を割愛する。
【００１３】
端末装置２０ｎの筐体２は、手の中に収まる寸法を持った扁平な板状をなしている。筐体２の表面には３つの開口２１，２２，２３が設けられている。これらのうち表面の大部分を占める中央の開口２１からはタッチパネルディスプレイ３１が露出している。筐体２内における開口２２の底の位置にはスピーカ３２が固定されている。筐体２内における左側の開口２３の底の位置にはマイクロホン３３が固定されている。筐体２の裏面の一角には開口２４が設けられている。筐体２内における開口２４の底の位置には、カメラ３４がその撮影方向を開口２４に向けて固定されている。カメラ３４は、当該カメラ３４の撮影範囲内を撮影した撮影結果である撮影画像データＰＶ−ｉ（ｉ＝１，２…：ｉは撮影時刻を示すインデックスである）を出力する。
【００１４】
端末装置２０ｎの筐体２には、ＧＰＳ（Global Positioning System）センサ３５、方位角センサ３６、仰俯角センサ３７、無線通信部３８、及び制御部３９が内蔵されている。ＧＰＳセンサ３５は、当該端末装置２０ｎの位置（より具体的には緯度と経度）を検出し、検出した位置を示す位置データＤＰを出力する。方位角センサ３６は、図３（Ａ）に示すように、当該端末装置２０ｎを含む水平面における真北と当該端末装置２０ｎのカメラ３４が向いている方向との間の角度である方位角θ１を検出し、検出した方位角θ１を示す方位角データＤθ１を出力する。仰俯角センサ３７は、図３（Ｂ）に示すように、当該端末装置２０ｎを含む鉛直面における水平方向と当該端末装置２０ｎのカメラ３４が向いている方向との間の角度である仰俯角θ２を検出し、検出した仰俯角θ２を示す仰俯角データＤθ２を出力する。
【００１５】
図１において、無線通信部３８は、制御部３９による制御の下、移動体通信網９１における基地局にアクセスし、移動体通信網９１やインターネット９２に接続されている他の装置とデータを送受信する。制御部３９は、当該端末装置２０ｎの制御中枢としての役割を果たす装置である。制御部３９は、ＣＰＵ４１、ＲＡＭ４２、およびＲＯＭ４３を有する。ＣＰＵ４１は、ＲＡＭ４２をワークエリアとして利用しつつ、ＲＯＭ４３内の表示制御プログラムを実行する。表示制御プログラムは、次の３つの機能を有する。
ａ１．撮影画像取得機能
これは、カメラ３４から出力される撮影画像データＰＶ−ｉを取得する機能である。
ｂ１．配信画像取得機能
これは、一連の撮影画像データＰＶ−ｉが表す画像に写っている画像表示装置１ｍであって、撮影画像データＰＶ−ｉから抽出されるマーカであるＱＲコードとカメラ３４の位置および撮影方向との少なくとも一方によって特定される画像表示装置１ｍへ配信されている一連の配信画像データＣＶｍ−ｋを要求するメッセージＭＳＧ１またはＭＳＧ２をサーバ装置５０に送り、メッセージＭＳＧ１またはＭＳＧ２を受けたことを契機としてサーバ装置５０から送られてくる一連の配信画像データＣＶｍ−ｋを取得する機能である。
ｃ１．表示制御機能
これは、一連の撮影画像データＰＶ−ｉの各々と一連の配信画像データＣＶｍ−ｋの各々とを比較し、この比較の結果に基づいて当該一連の撮影画像データＰＶ−ｉの表す画像に写っている画像表示装置１ｍの表示画像を画像表示装置１ｍ毎に特定し、当該一連の撮影画像データＰＶ−ｉにおける画像表示装置１ｍの表示画像を一連の配信画像データＣＶｍ−ｋのうちの該当するものの表す画像に差替えて合成画像データＷＶ−ｋを生成し、当該合成画像データＷＶ−ｋが表す画像をタッチパネルディスプレイ３１に表示させる機能である。
【００１６】
次に、サーバ装置５０の構成について説明する。サーバ装置５０は、制御部５９、ハードディスク６４、及びＮＩＣ６５を有する。制御部５９は、当該サーバ装置５０の制御中枢としての役割を果たす装置である。制御部５９は、ＣＰＵ６１、ＲＡＭ６２、及びＲＯＭ６３を有する。ＣＰＵ６１は、ＲＡＭ６２をワークエリアとして利用しつつ、ＲＯＭ６３やハードディスク６４に記憶されたプログラムを実行する。ハードディスク６４には、動画像データベースＤＢと画像配信プログラムとが記憶されている。
【００１７】
動画像データベースＤＢは、画像表示装置１ｍ（ｍ＝１，２…）の各々と対応するレコードの集合体である。図４に示すように、動画像データベースＤＢにおける各レコードは、「ＩＤ」、「位置」、「コンテンツ」、及び「スケジュール」の４つのフィールドを有する。「ＩＤ」のフィールドは、画像表示装置１ｍの識別情報ＩＤｍを示す。「位置」のフィールドは、画像表示装置１ｍが設置されている位置の位置データＤＰを示す。「コンテンツ」のフィールドは、画像表示装置１ｍを送信先とする動画像コンテンツＣＮＴｍの配信画像データＣＶｍ−ｋ（ｋ＝１，２…Ｎ）を示す。「スケジュール」のフィールドは、動画像コンテンツＣＮＴｍにおける最初の配信画像データＣＶｍ−１から最後の配信画像データデータＣＶｍ−Ｎまでの各々の再生予定時刻を配列したデータであるスケジュールデータＳＣＤｍを示す。
【００１８】
画像配信プログラムは、次の２つの機能を有する。
ａ２．画像表示装置向け画像配信機能
これは、動画像データベースＤＢにおける各画像表示装置１ｍを送信先とする動画像コンテンツＣＮＴｍの配信画像データＣＶｍ−ｋ（ｋ＝１，２…Ｎ）とスケジュールデータＳＣＤｍをＲＡＭ６２に読み出し、スケジュールデータＳＣＤｍにおける各配信画像データＣＶｍ−ｋの再生予定時刻と画像表示装置１ｍにおけるそれらの表示時刻とが一致するように配信画像データＣＶｍ−ｋの送信時刻を制御しつつ、配信画像データＣＶｍ−ｋを画像表示装置１ｍに送信する機能である。
ｂ２．端末装置向け画像配信機能
これは、端末装置２０ｎからメッセージＭＳＧ１またはＭＳＧ２を受け取った場合に、メッセージＭＳＧ１またはＭＳＧ２の要求を満たす動画像コンテンツＣＮＴｍの配信画像データＣＶｍ−ｋを端末装置２０ｎに送信する機能である。
【００１９】
次に、本実施形態の動作を説明する。図５は、本実施形態の動作を示すフローチャートである。図５において、端末装置２０ｎのＣＰＵ４１は、表示制御プログラムが起動されている間、ステップＳ１００乃至ステップＳ１６０ｂの処理を行う。これらの処理のうちステップＳ１１０は、撮影画像取得機能の働きにより実行される処理であり、ステップＳ１２０、ステップＳ１３０、ステップＳ１４０ａ、ステップＳ１５０ａ、ステップＳ１４０ｂ、及びステップＳ１５０ｂは、配信画像取得機能の働きにより実行される処理であり、ステップＳ１６０ａ及びステップＳ１６０ｂは、表示制御機能の働きにより実行される処理である。
【００２０】
サーバ装置５０のＣＰＵ６１は、画像配信プログラムが起動されている間、ステップＳ２００乃至ステップＳ２１０ｂの処理を行う。これらの処理のうちステップＳ２００は、画像表示装置向け画像配信機能の働きによって実行される処理であり、ステップＳ２１０ａ及びステップＳ２１０ｂは、端末装置向け画像配信機能の働きによって実行される処理である。
【００２１】
図５において、サーバ装置５０のＣＰＵ６１は、画像配信プログラムが起動されると、画像表示装置向け画像提供処理を開始する（Ｓ２００）。この処理では、ＣＰＵ６１は、動画像データベースＤＢにおける各画像表示装置１ｍを送信先とする動画像コンテンツＣＮＴｍの配信画像データＣＶｍ−ｋ（ｋ＝１，２…Ｎ）とそのスケジュールデータＳＣＤｍをＲＡＭ６２に読み出す。ＣＰＵ６１は、各画像表示装置１ｍを送信先とする動画像コンテンツＣＮＴｍの配信画像データＣＶｍ−ｋ（ｋ＝１，２…Ｎ）について、スケジュールデータＳＣＤｍにおける各配信画像データＣＶｍ−ｋの再生予定時刻と画像表示装置１ｍにおけるそれらの表示時刻とが一致するように配信画像データＣＶｍ−ｋの送信時刻を制御しつつ、配信画像データＣＶｍ−ｋを画像表示装置１ｍに送信する。これ以降、ＣＰＵ６１は、端末装置２０ｎからのメッセージＭＳＧ１またはＭＳＧ２の受信の有無を監視する。
【００２２】
端末装置２０ｎのＣＰＵ６１は、表示制御プログラムが起動されると、撮影指示ボタンとしての役割を果たすアイコンＩＣＮをタッチパネルディスプレイ３１に表示させる（Ｓ１００）。端末装置２０ｎの利用者は、自身の前方の画像表示装置１ｍがカメラ３４の撮影範囲内に収まるようにカメラ３４の向きとズームを調整し、アイコンＩＣＮをタッチする。
【００２３】
端末装置２０ｎのＣＰＵ４１は、カメラ３４から出力される撮影画像データＰＶ−ｉのうちアイコンＩＣＮがタッチされた直後の撮影画像データＰＶ−ｉを取得する（Ｓ１１０）。そして、ＣＰＵ４１は、当該撮影画像データＰＶ−ｉからのＱＲコードの抽出を試みる（Ｓ１２０）。このステップＳ１２０では、ＣＰＵ４１は、撮影画像データＰＶ−ｉに対してＱＲコード認識処理を施す。ＱＲコード認識処理の詳細については、特許文献２を参照されたい。ここで、ＱＲコード認識処理におけるＱＲコードの認識の確度は、画像表示装置１ｍに対するカメラ３４の向きや画像表示装置１ｍからカメラ３４までの距離に依存する。このため、カメラ３４が画像表示装置１ｍと正対しておりカメラ３４から画像表示装置１ｍまでの距離が近い場合には認識の確度は高くなるが、そうでない場合には認識の確度は低くなる。
【００２４】
端末装置２０ｎのＣＰＵ４１は、撮影画像データＰＶ−ｉからＱＲコードを抽出できた場合（Ｓ１３０：Ｙｅｓ）、そのＱＲコードが示す識別情報ＩＤｍを含むメッセージＭＳＧ１を組み立て、このメッセージＭＳＧ１を無線通信部３８を介して送信する（Ｓ１４０ａ）。メッセージＭＳＧ１は、移動体通信網９１及びインターネット９２を経由してサーバ装置５０へ転送される。
【００２５】
サーバ装置５０のＣＰＵ６１は、メッセージＭＳＧ１を受信した場合、端末装置向け画像提供処理を開始する（Ｓ２１０ａ）。このステップＳ２１０ａにおける端末装置向け画像提供処理では、ＣＰＵ６１は、メッセージＭＳＧ１から識別情報ＩＤｍを取り出し、この識別情報ＩＤｍにより識別される画像表示装置１ｍを特定し、この画像表示装置１ｍを送信先とするものと同じ配信画像データＣＶｍ−ｋを端末装置２０ｎに送信する。これ以降、ＣＰＵ６１は、端末装置向け画像提供処理と上述した画像表示装置向け画像提供処理の２つの処理を行う。これにより、同じ種類の動画像コンテンツＣＮＴｍの配信画像データＣＶｍ−ｋが画像表示装置１ｍと端末装置２０ｎの両装置に送られる。
【００２６】
端末装置２０ｎのＣＰＵ４１は、メッセージＭＳＧ１をサーバ装置５０に送信した後、同装置５０から送られてくる動画像コンテンツＣＮＴｍの配信画像データＣＶｍ−ｋを無線通信部３８から取得してＲＡＭ４２に記憶する処理を開始する（Ｓ１５０ａ）。また、ＣＰＵ４１は、この処理と併せて表示制御処理を開始する（Ｓ１６０ａ）。ステップＳ１６０ａにおける表示制御処理では、ＣＰＵ４１は、カメラ３４から出力された撮影画像データＰＶ−ｉを取得する度に、その撮影画像データＰＶ−ｉとサーバ装置５０から送られてくる動画像コンテンツＣＮＴｍ（例えば、動画像コンテンツＣＮＴ１とする）の最新の配信画像データＣＶ１−ｋとを処理対象として、次に示す第１乃至第５の処理を行う。
【００２７】
第１の処理では、図６に示すように、撮影画像データＰＶ−ｉにＱＲコード認識処理を施し、撮影画像データＰＶ−ｉ内におけるＱＲコードの表示領域ＡＲＧを求める。第２の処理では、図７に示すように、撮影画像データＰＶ−ｉ内におけるＱＲコードの表示領域ＡＲＧの右上隅から当該ＱＲコードの一辺ＨのＲ（例えば、Ｒ＝２とする）倍の距離Ｈ・Ｒだけ右上の方向に離れた点Ａ１、点Ａ１から距離Ｈ・Ｓ（例えば、Ｓ＝１３とする）だけ左に離れた点Ａ２、点Ａ２から距離Ｈ・Ｑ（例えば、Ｑ＝１０とする）だけ下に離れた点Ａ３、及び点Ａ３から距離Ｈ・Ｓだけ右に離れた点Ａ４の４点に囲まれた領域を解析対象領域ＡＲＨとする。そして、この領域ＡＲＨ内の画像データＰＶＡＲＨ−ｉを切り出す。
【００２８】
第３の処理では、図８に示すように、画像データＰＶＡＲＨ−ｉと配信画像データＣＶ１−ｋをＳＩＦＴ（Scale-Invariant Feature Transform）アルゴリズムに従って解析することにより、画像データＰＶＡＲＨ−ｉが表す画像の特徴点Ｐと配信画像データＣＶ１−ｋが表す画像の特徴点Ｐを個別に抽出する。ＳＩＦＴアルゴリズムの詳細については、非特許文献１を参照されたい。
【００２９】
第４の処理では、図９に示すように、画像データＰＶＡＲＨ−ｉから抽出した特徴点Ｐの撮影画像データＰＶ−ｉ内における位置と配信画像データＣＶ１−ｋから抽出した特徴点Ｐの配信画像データＣＶ１−ｋ内における位置とを比較することにより、撮影画像データＰＶ−ｉ内における画像表示装置１ｍの表示画像の領域ＡＲＪを特定する。
【００３０】
第５の処理では、図１０に示すように、配信画像データＣＶ１−ｋを当該配信画像データＣＶ１−ｋが表す画像の外郭ＯＵＴＣＶと領域ＡＲＪの外郭ＯＵＴＡＲＪとが一致するようにアフィン変換したものを配信画像データＣＶ１’−ｋとする。そして、撮影画像データＰＶ−ｉにおける領域ＡＲＪ内の画像（すなわち、画像表示装置１ｍの表示画像）を配信画像データＣＶ１’−ｋが表す画像に差替えた合成画像データＷＶ−ｋを生成し、この合成画像データＷＶ−ｋが表す画像をタッチパネルディスプレイ３１に表示させる。
【００３１】
ＣＰＵ４１は、ステップＳ１３０においてＱＲコードを抽出できなかった場合（Ｓ１３０：Ｎｏ）、端末装置２０ｎ内のセンサ３５，３６，及び３７から出力された位置データＤＰ、方位角データＤθ１、及び仰俯角データＤθ２を含むメッセージＭＳＧ２を組み立て、このメッセージＭＳＧ２を無線通信部３８を介して送信する（Ｓ１４０ｂ）。このメッセージＭＳＧ２は、移動体通信網９１及びインターネット９２を経由してサーバ装置５０へ転送される。
【００３２】
サーバ装置５０のＣＰＵ６１は、メッセージＭＳＧ２を受信した場合、端末装置向け画像提供処理を開始する（Ｓ２１０ｂ）。ステップＳ２１０ｂにおける端末向け画像提供処理では、ＣＰＵ６１は、メッセージＭＳＧ２から位置データＤＰ、方位角データＤθ１、及び仰俯角データＤθ２を取り出し、これらの３種類のデータＤＰ，Ｄθ１，Ｄθ２からカメラ３４の位置及び撮影方向を計算する。ＣＰＵ６１は、この位置及び撮影方向から決まるカメラ３４の撮影範囲と動画像データベースＤＢにおける各レコードの「位置」のフィールドが示す位置との重複の有無を個別に判定し、カメラ３４の撮影範囲内にある画像表示装置１ｍを探索する。そして、ＣＰＵ６１は、カメラ３４の撮影範囲内にあるとみなした画像表示装置１ｍを送信先とする動画像コンテンツＣＮＴｍの配信画像データＣＶｍ−ｋを画像表示装置１ｍと端末装置２０ｎに送信する処理を行う。ここで、ＣＰＵ６１は、カメラ４３の撮影範囲内に複数個の画像表示装置１ｍがあるとみなした場合、それら複数の画像表示装置１ｍの各々について、当該画像表示装置１ｍを送信先とする動画像コンテンツＣＮＴｍの配信画像データＣＶｍ−ｋを画像表示装置１ｍと端末装置２０ｎに送信する処理を行う。
【００３３】
端末装置２０ｎのＣＰＵ６１は、メッセージＭＳＧ２をサーバ装置５０に送信した後、同装置５０から送られてくる動画像コンテンツＣＮＴｍの配信画像データＣＶｍ−ｋを無線通信部３８から取得してＲＡＭ６２に記憶する処理を開始する（Ｓ１５０ｂ）。また、ＣＰＵ６１は、この処理と併せて表示制御処理を開始する（Ｓ１６０ｂ）。ステップＳ１６０ｂにおける表示制御処理では、ＣＰＵ６１は、カメラ４３から出力される撮影画像データＰＶ−ｉが表す画像の全領域を解析対象領域ＡＲＧとした上で、上述した第３乃至第５の処理と同様の処理を行う。より詳細に説明すると、ＣＰＵ６１は、サーバ装置５０から送られてくる動画像コンテンツＣＮＴｍの種類が１種類である場合と複数種類である場合の各々において、次のような処理を行う。
【００３４】
ａ３．動画像コンテンツＣＮＴｍの種類が１種類である場合
この場合、ＣＰＵ６１は、撮影画像データＰＶ−ｉ自体（すなわち、撮影画像データＰＶ−ｉが表す画像の全領域）をＳＩＦＴアルゴリズムに従って解析し、撮影画像データＰＶ−ｉが表す画像の特徴点Ｐを抽出する。また、ＣＰＵ６１は、サーバ装置５０から送られてくる１種類の動画像コンテンツＣＮＴｍ（例えば、動画像コンテンツＣＮＴ３とする）の配信画像データＣＶ３−ｋを同様のアルゴリズムに従って解析し、配信画像データＣＶ３−ｋが表す画像の特徴点Ｐを抽出する。ＣＰＵ６１は、撮影画像データＰＶ−ｉ内における特徴点Ｐの位置と配信画像データＣＶ３−ｋ内における特徴点Ｐの位置とを比較することにより、撮影画像データＰＶ−ｉ内における画像表示装置１ｍの表示画像の領域ＡＲＪを決定する。ＣＰＵ６１は、画像データＣＶ３−ｋをアフィン変換したものを画像データＣＶ３’−ｋとし、撮影画像データＰＶ−ｉ内における画像表示装置１ｍの表示画像を画像データＣＶ３’−ｋが表す画像に差替えた合成画像データＷＶ−ｋを生成し、合成画像データＷＶ−ｋが表す画像をタッチパネルディスプレイ３１に表示させる。
【００３５】
ｂ３．動画像コンテンツＣＮＴｍの種類が複数種類である場合
この場合、ＣＰＵ６１は、撮影画像データＰＶ−ｉ自体をＳＩＦＴアルゴリズムに従って解析し、撮影画像データＰＶ−ｉが表す画像の特徴点Ｐを抽出する。また、サーバ装置５０から送られてくる複数種類の動画像コンテンツＣＮＴｍ（例えば、２種類の動画像コンテンツＣＮＴ３およびＣＮＴ４とする）の配信画像データＣＶ３−ｋ及びＣＶ４−ｋを同様のアルゴリズムに従って解析し、配信画像データＣＶ３−ｋ及びＣＶ４−ｋが表す画像の特徴点Ｐを各々抽出する。ＣＰＵ６１は、撮影画像データＰＶ−ｉ内における特徴点Ｐの位置と配信画像データＣＶ３−ｋ内における特徴点Ｐの位置、及び撮影画像データＰＶ−ｉ内における特徴点Ｐの位置と配信画像データＣＶ４−ｋ内における特徴点Ｐの位置を各々比較する。ＣＰＵ６１は、これらの比較の結果を利用して、撮影画像データＰＶ−ｉ内における画像表示装置１ｍの表示画像の領域ＡＲＪを決定するとともに、配信画像データＣＶ３−ｋ及びＣＶ４−ｋの中から領域ＡＲＪ内の画像に最も近い表示内容を持ったもの（例えば、画像データＣＶ３−ｋとする）を選択する。そして、ＣＰＵ６１は、この選択した画像データＣＶ３−ｋをアフィン変換したものを画像データＣＶ３’−ｋとし、撮影画像データＰＶ−ｉ内における画像表示装置１ｍの表示画像を画像データＣＶ３’−ｋが表す画像に差替えた合成画像データＷＶ−ｋを生成し、当該合成画像データＷＶ−ｋが表す画像をタッチパネルディスプレイ３１に表示させる。
【００３６】
以上説明したように、本実施形態では、撮影画像データＰＶ−ｉが表す画像に写っている画像表示装置１ｍの表示画像が、サーバ装置５０からその画像表示装置１ｍに送信されているものと同じ画像データＣＶｍ−ｋが表す画像に差替えられ、差替え後の画像が撮影結果の画像としてタッチパネルディスプレイ３１に表示される。よって、撮影画像データＰＶ−ｉが表す画像内に画像表示装置１ｍの画像が含まれている場合であっても、モアレのない表示画像をタッチパネルディスプレイ３１に表示させることができる。
【００３７】
また、本実施形態では、撮影画像データＰＶ−ｉからのＱＲコードの抽出を試み、ＱＲコードが抽出できた場合には、撮影画像データＰＶ−ｉが示す画像内においてＱＲコードに対して所定の位置関係を持った領域を解析対象領域ＡＲＨとし、領域ＡＲＨ内の画像データＰＶＡＲＨ−ｉと画像データＣＶｍ−ｋとを比較し、この比較の結果に基づいて撮影画像データＰＶ−ｉ内における画像表示装置１ｍの表示画面の領域ＡＲＪを特定する。よって、撮影画像データＰＶ−ｉが表す画像の全表示領域を解析対象領域ＡＲＨとするよりも、領域ＡＲＪの特定に要する演算量が少なくなる。従って、撮影画像データＰＶ−ｉが表す画像内における画像表示装置１ｍの表示画面の探索の速度を向上させることができる。
【００３８】
＜第２実施形態＞
次に、本発明の第２実施形態について説明する。上記実施形態におけるステップＳ１６０ａの表示制御処理は最新の撮影画像データＰＶ−ｉ及び最新の配信画像データＣＶｍ−ｋを処理対象として行われた。このため、端末装置２０ｎにおける表示制御処理の１フレームあたりの処理時間と、画像表示装置１ｍにおける画像表示処理の１フレームあたりの処理時間（１フレーム分の配信画像データＣＶｍ−ｋの受信から表示までの処理時間）との関係によっては、撮影画像データＰＶ−ｉにおける画像表示装置１ｍの表示画面をその装置１ｍが現に表示しているものより前や後のフレームの配信画像データＣＶｍ−ｋが表す画像に差替えてしまうことも起こり得る。この場合、タッチパネルディスプレイ３１の表示画面内における画像表示装置１ｍの表示画面の表示内容とその画像表示装置１ｍが現に表示している表示画面の表示内容との間にずれが発生してしまう。そこで、本実施形態では、撮影画像データＰＶ−ｉとこれに埋め込む配信画像データＣＶｍ−ｋとの間の時間軸上の位置関係を調整することにより、タッチパネルディスプレイ３１の表示画面内における画像表示装置１ｍの表示画面の表示内容とその画像表示装置１ｍが現に表示している表示画面の表示内容とを一致させる。
【００３９】
図１１は、本実施形態の動作を示すフローチャートである。本実施形態では、端末装置２０ｎのＣＰＵ４１は、ステップＳ１５０ａの処理の開始後に時間差算出処理を行い（Ｓ１５１ａ）、この時間差算出処理の実行後に表示制御処理（Ｓ１６１ａ）を行う。時間差算出処理では、ＣＰＵ４１は、カメラ３４から出力される撮影画像データＰＶ−ｉとサーバ装置５０から送られてくる動画像コンテンツＣＮＴｍ（例えば、動画像コンテンツＣＮＴ６とする）の配信画像データＣＶ６−ｋとを処理対象として、次のような処理を行う。図１２に示すように、ＣＰＵ４１は、当該時間差算出処理の開始時点から時間長Ｔ（例えば、Ｔ＝１０秒とする）以上が経過した時刻を基準時刻ｔBASISとし、この時刻ｔBASISにおいて取得された撮影画像データＰＶ−ｉを時間差検出用撮影画像データＰＶＶ−ｉとする。ＣＰＵ４１は、画像データＰＶＶ−ｉ内における解析対象領域ＡＲＨを決定し、領域ＡＲＨ内の画像データＰＶＶＡＲＨ−ｉを切り出す。ＣＰＵ４１は、時刻ｔBASIS−Ｔから時刻ｔBASIS＋Ｔまでの時間長２Ｔの間に取得された複数個（図１２の例では、簡便のため、３個とする）の配信画像データＣＶ６−（ｋ＋１），ＣＶ６−（ｋ＋２），及びＣＶ６−（ｋ＋３）と配信画像データＰＶＶＡＲＨ−ｉとを比較し、配信画像データＣＶ６−（ｋ＋１），ＣＶ６−（ｋ＋２），及びＣＶ６−（ｋ＋３）の中から画像データＰＶＶ−ｉ内における画像表示装置１ｍの表示画面に最も近い表示内容を持ったもの（例えば、画像データＣＶ６−（ｋ＋１）とする）を選択する。そして、ＣＰＵ４１は、この選択した配信画像データＣＶ６−（ｋ＋１）が取得された時刻ｔSELと時刻ｔBASISとの間の時間差Δｔ（Δｔ＝ｔBASIS−ｔSEL）を求める。
【００４０】
端末装置２０ｎのＣＰＵ４１は、時間差算出処理において時間差Δｔを算出した後、表示制御処理を開始する（Ｓ１６１ａ）。ステップＳ１６１ａの表示制御処理では、ＣＰＵ４１は、上記時間差Δｔが短縮されるように撮影画像データＰＶ−ｉと配信画像データＣＶ６−ｋとの間の時間軸上の位置関係を調整し、時間軸上の位置関係を調整した撮影画像データＰＶ−ｉと配信画像データＣＶ６−ｋとを用いて上述した合成画像データＷＶ−ｋの生成を行う。より具体的には、時間差Δｔの符号が負である場合（時刻ｔSELが時刻ｔBASISよりも早かった場合）と時間差Δｔの符号が正である場合（時刻ｔSELが時刻ｔBASISよりも遅かった場合）の各々において、次のような処理を行う。
ａ４．時間差Δｔの符号が負である場合
この場合、図１３（Ａ）に示すように、カメラ３４が撮影画像データＰＶ−ｉを出力する度に、その最新の撮影画像データＰＶ−ｉと、最新の撮影画像データＰＶ−ｉよりも時間差Δｔだけ後に取得された配信画像データＣＶ６−ｋとを組とする。そして、各組の各々について、上述した第１乃至第５の処理と同様の処理を行う。
ｂ４．時間差Δｔの符号が正である場合
この場合、図１３（Ｂ）に示すように、カメラ３４が撮影画像データＰＶ−ｉを出力する度に、その最新の撮影画像データＰＶ−ｉよりも時間差Δｔだけ先に取得された撮影画像データＰＶ−ｉと、最新の配信画像データＣＶ６−ｋとを組にする。そして、各組の各々について、上述した第１乃至第５の処理と同様の処理を行う。
【００４１】
図１１において、ＣＰＵ４１は、ステップＳ１５０ｂの処理の開始後に時間差算出処理を行い（Ｓ１５１ｂ）、この時間差算出処理の実行後に表示制御処理（Ｓ１６１ｂ）を行う。ステップＳ１５１ｂ及びステップＳ１６１ｂの処理内容はステップＳ１５１ａ及びステップＳ１６１ａの処理内容と同様である。
【００４２】
本実施形態によると、ＣＰＵ４１は、時間差Δｔが短縮されるように撮影画像データＰＶ−ｉと配信画像データＣＶｍ−ｋとの間の時間軸上の位置関係を調整する。よって、タッチパネルディスプレイ３１の表示画像内における画像表示装置１ｍの表示画像の表示内容とその装置１ｍが現に表示している表示画像の表示内容との間のずれの発生を防止することができる。
【００４３】
以上、この発明の第１及び第２実施形態について説明したが、この発明には他にも実施形態があり得る。例えば、以下の通りである。
（１）上記第１及び第２実施形態では、サーバ装置５０から画像表示装置１ｍに送信される配信画像データＣＶｍ−ｋ（ｋ＝１，２…Ｎ）の全てがＱＲコードの画像を一部に含んだものであった。しかし、配信画像データＣＶｍ−ｋ（ｋ＝１，２…Ｎ）のうちの少なくとも１つにＱＲコードが含まれていればよい。例えば、先頭の数フレーム分の画像データＣＶｍ−ｋのみをＱＲコードを含んだものとしてもよい。この場合において、端末装置２０ｎのＣＰＵ４１は、その先頭の数フレームに後続するフレームの画像データＣＶｍ−ｋについても同じ位置にＱＲコードがあるとみなして、撮影画像データＰＶ−ｉが示す画像内における画像表示装置１ｍの表示画像の探索を行ってもよい。この技術的手段によると、先頭の数フレームを用いた画像表示装置１ｍの表示画像の探索の完了後にカメラ３４のアングルが多少変わっても、画像表示装置１ｍの表示画像の位置を捕捉することができる。
【００４４】
（２）上記第１及び第２実施形態において、サーバ装置５０は、画像表示装置１ｍと端末装置２０ｎに送信する配信画像データＣＶｍ−ｋの解像度を各々のタッチパネルディスプレイ３１の解像度に合わせて変換した上でその送信を行ってもよい。例えば、画像表示装置１ｍの画像表示面の縦横の画素数が１０２４×７６８であり、端末装置２０ｎのタッチパネルディスプレイ３１の縦横の画素数が８００×６００である場合は、元の配信画像データＣＶｍ−ｋの解像度を８００×６００に変換したものを端末装置２０ｎに送信するとよい。また、端末装置２０ｎのＣＰＵ４１は、サーバ装置５０から送られてくる動画像コンテンツＣＮＴｍの配信画像データＣＶｍ−ｋの解像度とタッチパネルディスプレイ３１の解像度が異なる場合には、配信画像データＣＶｍ−ｋの解像度をタッチパネルディスプレイ３１の解像度に合わせる解像度変換を配信画像データＣＶｍ−ｋに施した後に合成画像データＷＶ−ｋを生成してもよい。
【００４５】
（３）上記第１及び第２実施形態において、画像表示装置１ｍの筺体２における画像表示面の外の近傍の所定の位置にＱＲコードを記しておいてもよい。この場合において、端末装置２０ｎのＣＰＵ４１は、カメラ３４の撮影画像データＰＶ−ｉから画像表示面の外の位置にあるＱＲコードの抽出を試み、撮影画像データＰＶ−ｉが表す画像においてＱＲコードと所定の位置関係にある領域を解析対象領域ＡＲＨにするとよい。
【００４６】
（４）上記第１実施形態において、サーバ装置５０が、配信画像データＣＶｍ−ｋと同期再生する情報（例えば、端末装置２０ｎのタッチパネルディスプレイ３１の表示画像内における画像表示装置１ｍの表示画像の近傍の位置に表示させるテキスト情報やスピーカ３２から放音させる音声情報：以下、これらの情報を付加情報という）を端末装置２０ｎに送信してもよい。この場合において、端末装置２０ｎのＣＰＵ４１は、付加情報に含まれるテキスト情報を合成画像データＷＶ−ｋが表す画像の一部としてタッチパネルディスプレイ３１に表示させ、付加情報に含まれる音声情報をスピーカ３２から放音させるとよい。また、第２実施形態では、付加情報に含まれるテキスト情報の表示時刻や音声情報の放音時刻を時間差Δｔに基づいて調整するとよい。
【００４７】
（５）上記第１及び第２実施形態は、本発明をスマートフォンである端末装置２０ｎに適用したものであった。しかし、本発明の適用の対象となる装置はスマートフォンに限られない。例えば、通信機能を搭載したビデオカメラに本発明を適用してもよい。この場合において、ビデオカメラ内のＣＰＵが生成した一連の合成画像データＷＶ−ｋをビデオカメラ内のハードディスクに記憶させ、ハードディスク内の合成画像データＷＶ−ｋを映像出力端子を介して外部のディスプレイに出力するようにしてもよい。
【００４８】
（６）上記第１及び第２実施形態では、画像データＰＶＡＲＨ−ｉが示す画像の特徴点Ｐ及び画像データＣＶｍ−ｋが示す画像の特徴点Ｐを得るための解析アルゴリズムとしてＳＩＦＴを採用した。しかし、ＳＩＦＴ以外の解析アルゴリズム（例えば、ＳＵＲＦ（（Speeded Up Robust Features））を採用してもよい。
【００４９】
（７）上記第１及び第２実施形態において、端末装置２０ｎの利用者が、自身の前方の複数個の画像表示装置１ｍ（例えば、画像表示装置１８及び１９とする）がカメラ３４の撮影範囲内に収まるようして撮影を行っている場合には、撮影画像データＰＶ−ｉにおける画像表示装置１８の表示画像と画像表示装置１９の表示画像を各々に送信されているものと同じ画像データＣＶｍ’−ｋが表す画像に差替えた合成画像データＷＶ−ｋを生成してもよい。この場合において、合成画像データＷＶ−ｋにおける画像表示装置１８または１９の表示画面があまりに小さい場合は、差替えによる画質の向上が期待できないため、小さい方の表示画面の差替えを行わないようにしてもよい。
【００５０】
（８）上記第１及び第２実施形態では、端末装置２０は、ＱＲコードと、当該端末装置２０のカメラ３４の位置及び撮影方向と、のうちの一方から撮影画像データＰＶ−ｉが表す画像に写っている画像表示装置１ｍを特定した。しかし、ＧＰＳセンサ３５，方位角センサ３６，仰俯角センサ３７やその他の各種センサにより検出される物理量のみを用いて、撮影画像データＰＶ−ｉが表す画像に写っている画像表示装置１ｍを特定してもよい。
【００５１】
（９）上記第１及び第２実施形態において、撮影画像データＰＶ−ｉが表す画像に写っている画像表示装置１ｍを特定するためのマークとして、画像表示装置１ｍの近傍に配置された看板を利用し、撮影画像データＰＶ−ｉが示す画像から抽出した看板の画像から当該撮影画像データＰＶ−ｉが表す画像に写っている画像表示装置１ｍを特定してもよい。
【００５２】
（１０）上記第１及び第２実施形態では、撮影画像データＰＶ−ｉ及び配信画像データＣＶｍ−ｋの取得から合成画像データＷＶ−ｋの生成に至るまでの処理を端末装置２０のＣＰＵ３９が行った。しかし、この処理を端末装置２０と移動体通信網９１及びインターネット９２を介して接続された他の装置が行ってもよい。例えば、端末装置２０がそのカメラ３４の撮影結果である撮影画像データＰＶ−ｉをサーバ装置５０に送信し、サーバ装置５０がこの撮影画像データＰＶ−ｉから合成画像データＷＶ−ｋを生成して端末装置２０へ返信し、端末装置２０が当該合成画像データＷＶ−ｋが表す画像をタッチパネルディスプレイ３１に表示させてもよい。
【符号の説明】
【００５３】
１…画像表示装置、２…筐体、２０…端末装置、２１，２２，２３，２４…開口、３１…タッチパネルディスプレイ、３２…スピーカ、３３…マイクロホン、３４…カメラ、３５…ＧＰＳセンサ、３６…方位角センサ、３７…仰俯角センサ、３８…無線通信部、５０…サーバ装置、３９，５９…制御部、４１，６１…ＣＰＵ、４２，６２…ＲＡＭ、４３，６３…ＲＯＭ、６４…ハードディスク、６５…ＮＩＣ、９１…移動体通信網、９２…インターネット。
【技術分野】
【０００１】
本発明は、カメラとディスプレイとを有する端末装置の動作を制御する技術に関する。
【背景技術】
【０００２】
スマートフォン等の端末装置に提供されるサービスの中にはＡＲ（Augmented
Reality：拡張現実）と呼ばれる技術を利用したものがある。ＡＲは、端末装置の利用者の眼前の景色をカメラにより撮影した撮影画像データにその撮影画像データ内の物に関わる注釈情報（アノテーション）を合成し、撮影画像データと注釈情報とを合成した合成画像データをディスプレイを介して利用者に提示する技術である。ＡＲに関わるシステムを開示した文献として、例えば、特許文献１がある。この文献１に開示されたシステムは、利用者に携帯される情報提供端末、及び各情報提供端末と通信網を介して接続されるサーバを有する。このシステムでは、情報提供端末は、利用者の眼前の景色をカメラにより撮影すると共に、自らの位置を示す位置情報をサーバに送信する。サーバは、情報提供端末から受信した位置情報によって情報提供端末の位置を把握し、その情報提供端末のカメラの撮影範囲内に写り込んでいる物に関わる注釈情報である仮想表示情報を情報提供端末へ送信する。情報提供端末は、サーバから受信した仮想表示情報をカメラの撮影結果である視界情報に合成し、仮想表示情報と視界情報とを合成した画面をディスプレイに表示させる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第ＷＯ２０１０／０２９６７１号パンフレット
【特許文献２】特開２００３−１９６５８６号公報
【非特許文献１】本道 貴行、黄瀬 浩一 “大規模画像認識のための局所特徴量の性能比較”，[online]，２００８年７月，画像の認識・理解シンポジウム（ＭＩＲＵ２００８），[平成２３年１月１１日検索]，インターネット＜http://www.m.cs.osakafu-u.ac.jp/publication_data/1031/paper.pdf＞
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、カメラの撮影範囲にそれ自体が画像表示を行う物である画像表示装置が含まれていると、カメラの撮影画像データ内における画像表示装置の表示画像の表示領域にモアレと呼ばれる縞模様が現れて表示内容の鮮明さが低下する、といった問題がある。例えば、小規模な小売店が多数集まっている商業施設では、各小売店の店頭に画像表示装置が設置され、小売店毎のお買い得情報やタイムセールスケージュールなどの画像が表示されていることが多く、このような商業施設においてＡＲを利用すると、上記問題点は顕著となる。
【０００５】
本発明は上記課題に鑑みて為されたものであり、ＡＲシステムにおいて端末装置のカメラの撮影範囲に画像を表示中の画像表示装置が含まれており、当該画像を一部に含む画像を端末装置に表示させる場合であっても、端末装置の表示画像の画質の劣化を抑えることを可能にする技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、サーバ装置から送信される一連の配信画像データに従って動画像を表示する複数の画像表示装置のうちの少なくとも１つを含む撮影範囲内をカメラにより撮影して得られる一連の撮影画像データを取得する撮影画像取得手段と、前記撮影画像取得手段により取得した一連の撮影画像データが表す画像に写っている画像表示装置であって、前記撮影画像データが表す画像から抽出されるマーカと前記カメラの位置および撮影方向との少なくとも一方によって特定される画像表示装置へ配信される一連の配信画像データを要求するメッセージを前記サーバ装置に送り、このメッセージを受けたことを契機として前記サーバ装置から送られてくる一連の配信画像データを取得する配信画像取得手段と、前記撮影画像取得手段により取得した一連の撮影画像データの各々と前記配信画像取得手段により取得した一連の撮影画像データの各々とを比較し、この比較の結果に基づいて当該一連の撮影画像データの表す画像に写っている画像表示装置の表示画像を画像表示装置毎に特定し、当該一連の撮影画像データにおける画像表示装置の表示画像を前記配信画像取得手段により取得した一連の配信画像データのうちの該当するものの表す画像に差替えて合成画像データを生成し、当該合成画像データが表す画像を表示装置に表示させる表示制御手段とを具備する表示制御装置を提供する。
【０００７】
この発明では、撮影画像データの表す画像に写っている画像表示装置の表示画像が、サーバ装置からその画像表示装置に送信されているものと同じ配信画像データが表す画像に差替えられ、この差替え後の画像が撮影結果の画像として表示装置に表示される。従って、撮影画像データの表す画像内に画像を表示中の画像表示装置が含まれている場合であっても、モアレのない表示画像を表示装置に表示させることができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の第１及び第２実施形態である表示制御装置としての機能を持った端末装置とこの端末装置を含む通信システムの構成を示す図である。
【図２】同システムにおけるサーバ装置から配信される画像データを説明するための図である。
【図３】同システムにおける端末装置による方位角及び仰俯角の検出の様子を示す図である。
【図４】同システムにおける端末装置内の動画像データベースＤＢのデータ構造図である。
【図５】同システムにおける端末装置とサーバ装置の動作を示すフローチャートである。
【図６】同システムにおける端末装置が行う表示制御処理を説明するための図である。
【図７】同システムにおける端末装置が行う表示制御処理を説明するための図である。
【図８】同システムにおける端末装置が行う表示制御処理を説明するための図である。
【図９】同システムにおける端末装置が行う表示制御処理を説明するための図である。
【図１０】同システムにおける端末装置が行う表示制御処理を説明するための図である。
【図１１】同システムにおける端末装置とサーバ装置の動作を示すフローチャートである。
【図１２】同システムにおける端末装置が行う時間差算出処理を説明するための図である。
【図１３】同システムにおける端末装置が行う表示制御処理を説明するための図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照しつつ本発明の実施形態について説明する。
＜第１実施形態＞
図１は、本発明の第１実施形態である表示制御装置を含む通信システムの構成を示す図である。この通信システムは、商業施設内の各小売店の店頭に設置された画像表示装置１ｍ（ｍ＝１，２…）と、同施設の管理センター内に設置されたサーバ装置５０と、利用者に携帯される端末装置２０ｎ（ｎ＝１，２…）とを有する。
【００１０】
画像表示装置１ｍ（ｍ＝１，２…）は、矩形状の画像表示面を持ったディスプレイである。サーバ装置５０は、各画像表示装置１ｍが設置された店舗におけるお買い得情報やタイムスケジュールなどに関わる動画像コンテンツＣＮＴｍを配信する配信サーバとしての役割を果たす装置である。
【００１１】
図２に示すように、サーバ装置５０は、画像表示装置１ｍを送信先とする動画像コンテンツＣＮＴｍの一連のフレーム画像データＦＶｍ−ｋ（ｋ＝１，２…Ｎ：ｋは、フレーム順を示すインデックスである）の右上の位置（より具体的には、画像データＦＶｍ−ｋ内における右端から当該画像データＦＶｍ−ｋの主走査方向の幅Ｘの１／Ｌ（例えば、Ｌ＝１２とする）の距離Ｘ／Ｌだけ左に離れ且つ上端から当該画像データＦＶｍ−ｋの副走査方向の幅Ｙの１／Ｌの距離Ｙ／Ｌだけ下に離れた位置）に画像表示装置１ｍの識別情報ＩＤｍを示すＱＲコード（登録商標）を上書きしたものを配信画像データＣＶｍ−ｋ（ｋ＝１，２…Ｎ）とし、この一連の配信画像データＣＶｍ−ｋ（ｋ＝１，２…Ｎ）を画像表示装置１ｍに送信する。また、サーバ装置５０は、端末装置２０ｎからの要求に応じて、画像表示装置１ｍを送信先とするものと同じ配信画像データＣＶｍ−ｋを端末装置２０ｎに送信する。サーバ装置５０の構成の詳細については、後述する。
【００１２】
各端末装置２０ｎは、通話機能、ブラウジング機能、メーラ機能などといったスマートフォンとしての各種機能と、本発明の第１実施形態である表示制御装置としての機能とを併有する装置である。ここで、端末装置２０ｎ内におけるスマートフォンとしての機能を司る各部については、本発明との関係が希薄であるため、図示及びその説明を割愛する。
【００１３】
端末装置２０ｎの筐体２は、手の中に収まる寸法を持った扁平な板状をなしている。筐体２の表面には３つの開口２１，２２，２３が設けられている。これらのうち表面の大部分を占める中央の開口２１からはタッチパネルディスプレイ３１が露出している。筐体２内における開口２２の底の位置にはスピーカ３２が固定されている。筐体２内における左側の開口２３の底の位置にはマイクロホン３３が固定されている。筐体２の裏面の一角には開口２４が設けられている。筐体２内における開口２４の底の位置には、カメラ３４がその撮影方向を開口２４に向けて固定されている。カメラ３４は、当該カメラ３４の撮影範囲内を撮影した撮影結果である撮影画像データＰＶ−ｉ（ｉ＝１，２…：ｉは撮影時刻を示すインデックスである）を出力する。
【００１４】
端末装置２０ｎの筐体２には、ＧＰＳ（Global Positioning System）センサ３５、方位角センサ３６、仰俯角センサ３７、無線通信部３８、及び制御部３９が内蔵されている。ＧＰＳセンサ３５は、当該端末装置２０ｎの位置（より具体的には緯度と経度）を検出し、検出した位置を示す位置データＤＰを出力する。方位角センサ３６は、図３（Ａ）に示すように、当該端末装置２０ｎを含む水平面における真北と当該端末装置２０ｎのカメラ３４が向いている方向との間の角度である方位角θ１を検出し、検出した方位角θ１を示す方位角データＤθ１を出力する。仰俯角センサ３７は、図３（Ｂ）に示すように、当該端末装置２０ｎを含む鉛直面における水平方向と当該端末装置２０ｎのカメラ３４が向いている方向との間の角度である仰俯角θ２を検出し、検出した仰俯角θ２を示す仰俯角データＤθ２を出力する。
【００１５】
図１において、無線通信部３８は、制御部３９による制御の下、移動体通信網９１における基地局にアクセスし、移動体通信網９１やインターネット９２に接続されている他の装置とデータを送受信する。制御部３９は、当該端末装置２０ｎの制御中枢としての役割を果たす装置である。制御部３９は、ＣＰＵ４１、ＲＡＭ４２、およびＲＯＭ４３を有する。ＣＰＵ４１は、ＲＡＭ４２をワークエリアとして利用しつつ、ＲＯＭ４３内の表示制御プログラムを実行する。表示制御プログラムは、次の３つの機能を有する。
ａ１．撮影画像取得機能
これは、カメラ３４から出力される撮影画像データＰＶ−ｉを取得する機能である。
ｂ１．配信画像取得機能
これは、一連の撮影画像データＰＶ−ｉが表す画像に写っている画像表示装置１ｍであって、撮影画像データＰＶ−ｉから抽出されるマーカであるＱＲコードとカメラ３４の位置および撮影方向との少なくとも一方によって特定される画像表示装置１ｍへ配信されている一連の配信画像データＣＶｍ−ｋを要求するメッセージＭＳＧ１またはＭＳＧ２をサーバ装置５０に送り、メッセージＭＳＧ１またはＭＳＧ２を受けたことを契機としてサーバ装置５０から送られてくる一連の配信画像データＣＶｍ−ｋを取得する機能である。
ｃ１．表示制御機能
これは、一連の撮影画像データＰＶ−ｉの各々と一連の配信画像データＣＶｍ−ｋの各々とを比較し、この比較の結果に基づいて当該一連の撮影画像データＰＶ−ｉの表す画像に写っている画像表示装置１ｍの表示画像を画像表示装置１ｍ毎に特定し、当該一連の撮影画像データＰＶ−ｉにおける画像表示装置１ｍの表示画像を一連の配信画像データＣＶｍ−ｋのうちの該当するものの表す画像に差替えて合成画像データＷＶ−ｋを生成し、当該合成画像データＷＶ−ｋが表す画像をタッチパネルディスプレイ３１に表示させる機能である。
【００１６】
次に、サーバ装置５０の構成について説明する。サーバ装置５０は、制御部５９、ハードディスク６４、及びＮＩＣ６５を有する。制御部５９は、当該サーバ装置５０の制御中枢としての役割を果たす装置である。制御部５９は、ＣＰＵ６１、ＲＡＭ６２、及びＲＯＭ６３を有する。ＣＰＵ６１は、ＲＡＭ６２をワークエリアとして利用しつつ、ＲＯＭ６３やハードディスク６４に記憶されたプログラムを実行する。ハードディスク６４には、動画像データベースＤＢと画像配信プログラムとが記憶されている。
【００１７】
動画像データベースＤＢは、画像表示装置１ｍ（ｍ＝１，２…）の各々と対応するレコードの集合体である。図４に示すように、動画像データベースＤＢにおける各レコードは、「ＩＤ」、「位置」、「コンテンツ」、及び「スケジュール」の４つのフィールドを有する。「ＩＤ」のフィールドは、画像表示装置１ｍの識別情報ＩＤｍを示す。「位置」のフィールドは、画像表示装置１ｍが設置されている位置の位置データＤＰを示す。「コンテンツ」のフィールドは、画像表示装置１ｍを送信先とする動画像コンテンツＣＮＴｍの配信画像データＣＶｍ−ｋ（ｋ＝１，２…Ｎ）を示す。「スケジュール」のフィールドは、動画像コンテンツＣＮＴｍにおける最初の配信画像データＣＶｍ−１から最後の配信画像データデータＣＶｍ−Ｎまでの各々の再生予定時刻を配列したデータであるスケジュールデータＳＣＤｍを示す。
【００１８】
画像配信プログラムは、次の２つの機能を有する。
ａ２．画像表示装置向け画像配信機能
これは、動画像データベースＤＢにおける各画像表示装置１ｍを送信先とする動画像コンテンツＣＮＴｍの配信画像データＣＶｍ−ｋ（ｋ＝１，２…Ｎ）とスケジュールデータＳＣＤｍをＲＡＭ６２に読み出し、スケジュールデータＳＣＤｍにおける各配信画像データＣＶｍ−ｋの再生予定時刻と画像表示装置１ｍにおけるそれらの表示時刻とが一致するように配信画像データＣＶｍ−ｋの送信時刻を制御しつつ、配信画像データＣＶｍ−ｋを画像表示装置１ｍに送信する機能である。
ｂ２．端末装置向け画像配信機能
これは、端末装置２０ｎからメッセージＭＳＧ１またはＭＳＧ２を受け取った場合に、メッセージＭＳＧ１またはＭＳＧ２の要求を満たす動画像コンテンツＣＮＴｍの配信画像データＣＶｍ−ｋを端末装置２０ｎに送信する機能である。
【００１９】
次に、本実施形態の動作を説明する。図５は、本実施形態の動作を示すフローチャートである。図５において、端末装置２０ｎのＣＰＵ４１は、表示制御プログラムが起動されている間、ステップＳ１００乃至ステップＳ１６０ｂの処理を行う。これらの処理のうちステップＳ１１０は、撮影画像取得機能の働きにより実行される処理であり、ステップＳ１２０、ステップＳ１３０、ステップＳ１４０ａ、ステップＳ１５０ａ、ステップＳ１４０ｂ、及びステップＳ１５０ｂは、配信画像取得機能の働きにより実行される処理であり、ステップＳ１６０ａ及びステップＳ１６０ｂは、表示制御機能の働きにより実行される処理である。
【００２０】
サーバ装置５０のＣＰＵ６１は、画像配信プログラムが起動されている間、ステップＳ２００乃至ステップＳ２１０ｂの処理を行う。これらの処理のうちステップＳ２００は、画像表示装置向け画像配信機能の働きによって実行される処理であり、ステップＳ２１０ａ及びステップＳ２１０ｂは、端末装置向け画像配信機能の働きによって実行される処理である。
【００２１】
図５において、サーバ装置５０のＣＰＵ６１は、画像配信プログラムが起動されると、画像表示装置向け画像提供処理を開始する（Ｓ２００）。この処理では、ＣＰＵ６１は、動画像データベースＤＢにおける各画像表示装置１ｍを送信先とする動画像コンテンツＣＮＴｍの配信画像データＣＶｍ−ｋ（ｋ＝１，２…Ｎ）とそのスケジュールデータＳＣＤｍをＲＡＭ６２に読み出す。ＣＰＵ６１は、各画像表示装置１ｍを送信先とする動画像コンテンツＣＮＴｍの配信画像データＣＶｍ−ｋ（ｋ＝１，２…Ｎ）について、スケジュールデータＳＣＤｍにおける各配信画像データＣＶｍ−ｋの再生予定時刻と画像表示装置１ｍにおけるそれらの表示時刻とが一致するように配信画像データＣＶｍ−ｋの送信時刻を制御しつつ、配信画像データＣＶｍ−ｋを画像表示装置１ｍに送信する。これ以降、ＣＰＵ６１は、端末装置２０ｎからのメッセージＭＳＧ１またはＭＳＧ２の受信の有無を監視する。
【００２２】
端末装置２０ｎのＣＰＵ６１は、表示制御プログラムが起動されると、撮影指示ボタンとしての役割を果たすアイコンＩＣＮをタッチパネルディスプレイ３１に表示させる（Ｓ１００）。端末装置２０ｎの利用者は、自身の前方の画像表示装置１ｍがカメラ３４の撮影範囲内に収まるようにカメラ３４の向きとズームを調整し、アイコンＩＣＮをタッチする。
【００２３】
端末装置２０ｎのＣＰＵ４１は、カメラ３４から出力される撮影画像データＰＶ−ｉのうちアイコンＩＣＮがタッチされた直後の撮影画像データＰＶ−ｉを取得する（Ｓ１１０）。そして、ＣＰＵ４１は、当該撮影画像データＰＶ−ｉからのＱＲコードの抽出を試みる（Ｓ１２０）。このステップＳ１２０では、ＣＰＵ４１は、撮影画像データＰＶ−ｉに対してＱＲコード認識処理を施す。ＱＲコード認識処理の詳細については、特許文献２を参照されたい。ここで、ＱＲコード認識処理におけるＱＲコードの認識の確度は、画像表示装置１ｍに対するカメラ３４の向きや画像表示装置１ｍからカメラ３４までの距離に依存する。このため、カメラ３４が画像表示装置１ｍと正対しておりカメラ３４から画像表示装置１ｍまでの距離が近い場合には認識の確度は高くなるが、そうでない場合には認識の確度は低くなる。
【００２４】
端末装置２０ｎのＣＰＵ４１は、撮影画像データＰＶ−ｉからＱＲコードを抽出できた場合（Ｓ１３０：Ｙｅｓ）、そのＱＲコードが示す識別情報ＩＤｍを含むメッセージＭＳＧ１を組み立て、このメッセージＭＳＧ１を無線通信部３８を介して送信する（Ｓ１４０ａ）。メッセージＭＳＧ１は、移動体通信網９１及びインターネット９２を経由してサーバ装置５０へ転送される。
【００２５】
サーバ装置５０のＣＰＵ６１は、メッセージＭＳＧ１を受信した場合、端末装置向け画像提供処理を開始する（Ｓ２１０ａ）。このステップＳ２１０ａにおける端末装置向け画像提供処理では、ＣＰＵ６１は、メッセージＭＳＧ１から識別情報ＩＤｍを取り出し、この識別情報ＩＤｍにより識別される画像表示装置１ｍを特定し、この画像表示装置１ｍを送信先とするものと同じ配信画像データＣＶｍ−ｋを端末装置２０ｎに送信する。これ以降、ＣＰＵ６１は、端末装置向け画像提供処理と上述した画像表示装置向け画像提供処理の２つの処理を行う。これにより、同じ種類の動画像コンテンツＣＮＴｍの配信画像データＣＶｍ−ｋが画像表示装置１ｍと端末装置２０ｎの両装置に送られる。
【００２６】
端末装置２０ｎのＣＰＵ４１は、メッセージＭＳＧ１をサーバ装置５０に送信した後、同装置５０から送られてくる動画像コンテンツＣＮＴｍの配信画像データＣＶｍ−ｋを無線通信部３８から取得してＲＡＭ４２に記憶する処理を開始する（Ｓ１５０ａ）。また、ＣＰＵ４１は、この処理と併せて表示制御処理を開始する（Ｓ１６０ａ）。ステップＳ１６０ａにおける表示制御処理では、ＣＰＵ４１は、カメラ３４から出力された撮影画像データＰＶ−ｉを取得する度に、その撮影画像データＰＶ−ｉとサーバ装置５０から送られてくる動画像コンテンツＣＮＴｍ（例えば、動画像コンテンツＣＮＴ１とする）の最新の配信画像データＣＶ１−ｋとを処理対象として、次に示す第１乃至第５の処理を行う。
【００２７】
第１の処理では、図６に示すように、撮影画像データＰＶ−ｉにＱＲコード認識処理を施し、撮影画像データＰＶ−ｉ内におけるＱＲコードの表示領域ＡＲＧを求める。第２の処理では、図７に示すように、撮影画像データＰＶ−ｉ内におけるＱＲコードの表示領域ＡＲＧの右上隅から当該ＱＲコードの一辺ＨのＲ（例えば、Ｒ＝２とする）倍の距離Ｈ・Ｒだけ右上の方向に離れた点Ａ１、点Ａ１から距離Ｈ・Ｓ（例えば、Ｓ＝１３とする）だけ左に離れた点Ａ２、点Ａ２から距離Ｈ・Ｑ（例えば、Ｑ＝１０とする）だけ下に離れた点Ａ３、及び点Ａ３から距離Ｈ・Ｓだけ右に離れた点Ａ４の４点に囲まれた領域を解析対象領域ＡＲＨとする。そして、この領域ＡＲＨ内の画像データＰＶＡＲＨ−ｉを切り出す。
【００２８】
第３の処理では、図８に示すように、画像データＰＶＡＲＨ−ｉと配信画像データＣＶ１−ｋをＳＩＦＴ（Scale-Invariant Feature Transform）アルゴリズムに従って解析することにより、画像データＰＶＡＲＨ−ｉが表す画像の特徴点Ｐと配信画像データＣＶ１−ｋが表す画像の特徴点Ｐを個別に抽出する。ＳＩＦＴアルゴリズムの詳細については、非特許文献１を参照されたい。
【００２９】
第４の処理では、図９に示すように、画像データＰＶＡＲＨ−ｉから抽出した特徴点Ｐの撮影画像データＰＶ−ｉ内における位置と配信画像データＣＶ１−ｋから抽出した特徴点Ｐの配信画像データＣＶ１−ｋ内における位置とを比較することにより、撮影画像データＰＶ−ｉ内における画像表示装置１ｍの表示画像の領域ＡＲＪを特定する。
【００３０】
第５の処理では、図１０に示すように、配信画像データＣＶ１−ｋを当該配信画像データＣＶ１−ｋが表す画像の外郭ＯＵＴＣＶと領域ＡＲＪの外郭ＯＵＴＡＲＪとが一致するようにアフィン変換したものを配信画像データＣＶ１’−ｋとする。そして、撮影画像データＰＶ−ｉにおける領域ＡＲＪ内の画像（すなわち、画像表示装置１ｍの表示画像）を配信画像データＣＶ１’−ｋが表す画像に差替えた合成画像データＷＶ−ｋを生成し、この合成画像データＷＶ−ｋが表す画像をタッチパネルディスプレイ３１に表示させる。
【００３１】
ＣＰＵ４１は、ステップＳ１３０においてＱＲコードを抽出できなかった場合（Ｓ１３０：Ｎｏ）、端末装置２０ｎ内のセンサ３５，３６，及び３７から出力された位置データＤＰ、方位角データＤθ１、及び仰俯角データＤθ２を含むメッセージＭＳＧ２を組み立て、このメッセージＭＳＧ２を無線通信部３８を介して送信する（Ｓ１４０ｂ）。このメッセージＭＳＧ２は、移動体通信網９１及びインターネット９２を経由してサーバ装置５０へ転送される。
【００３２】
サーバ装置５０のＣＰＵ６１は、メッセージＭＳＧ２を受信した場合、端末装置向け画像提供処理を開始する（Ｓ２１０ｂ）。ステップＳ２１０ｂにおける端末向け画像提供処理では、ＣＰＵ６１は、メッセージＭＳＧ２から位置データＤＰ、方位角データＤθ１、及び仰俯角データＤθ２を取り出し、これらの３種類のデータＤＰ，Ｄθ１，Ｄθ２からカメラ３４の位置及び撮影方向を計算する。ＣＰＵ６１は、この位置及び撮影方向から決まるカメラ３４の撮影範囲と動画像データベースＤＢにおける各レコードの「位置」のフィールドが示す位置との重複の有無を個別に判定し、カメラ３４の撮影範囲内にある画像表示装置１ｍを探索する。そして、ＣＰＵ６１は、カメラ３４の撮影範囲内にあるとみなした画像表示装置１ｍを送信先とする動画像コンテンツＣＮＴｍの配信画像データＣＶｍ−ｋを画像表示装置１ｍと端末装置２０ｎに送信する処理を行う。ここで、ＣＰＵ６１は、カメラ４３の撮影範囲内に複数個の画像表示装置１ｍがあるとみなした場合、それら複数の画像表示装置１ｍの各々について、当該画像表示装置１ｍを送信先とする動画像コンテンツＣＮＴｍの配信画像データＣＶｍ−ｋを画像表示装置１ｍと端末装置２０ｎに送信する処理を行う。
【００３３】
端末装置２０ｎのＣＰＵ６１は、メッセージＭＳＧ２をサーバ装置５０に送信した後、同装置５０から送られてくる動画像コンテンツＣＮＴｍの配信画像データＣＶｍ−ｋを無線通信部３８から取得してＲＡＭ６２に記憶する処理を開始する（Ｓ１５０ｂ）。また、ＣＰＵ６１は、この処理と併せて表示制御処理を開始する（Ｓ１６０ｂ）。ステップＳ１６０ｂにおける表示制御処理では、ＣＰＵ６１は、カメラ４３から出力される撮影画像データＰＶ−ｉが表す画像の全領域を解析対象領域ＡＲＧとした上で、上述した第３乃至第５の処理と同様の処理を行う。より詳細に説明すると、ＣＰＵ６１は、サーバ装置５０から送られてくる動画像コンテンツＣＮＴｍの種類が１種類である場合と複数種類である場合の各々において、次のような処理を行う。
【００３４】
ａ３．動画像コンテンツＣＮＴｍの種類が１種類である場合
この場合、ＣＰＵ６１は、撮影画像データＰＶ−ｉ自体（すなわち、撮影画像データＰＶ−ｉが表す画像の全領域）をＳＩＦＴアルゴリズムに従って解析し、撮影画像データＰＶ−ｉが表す画像の特徴点Ｐを抽出する。また、ＣＰＵ６１は、サーバ装置５０から送られてくる１種類の動画像コンテンツＣＮＴｍ（例えば、動画像コンテンツＣＮＴ３とする）の配信画像データＣＶ３−ｋを同様のアルゴリズムに従って解析し、配信画像データＣＶ３−ｋが表す画像の特徴点Ｐを抽出する。ＣＰＵ６１は、撮影画像データＰＶ−ｉ内における特徴点Ｐの位置と配信画像データＣＶ３−ｋ内における特徴点Ｐの位置とを比較することにより、撮影画像データＰＶ−ｉ内における画像表示装置１ｍの表示画像の領域ＡＲＪを決定する。ＣＰＵ６１は、画像データＣＶ３−ｋをアフィン変換したものを画像データＣＶ３’−ｋとし、撮影画像データＰＶ−ｉ内における画像表示装置１ｍの表示画像を画像データＣＶ３’−ｋが表す画像に差替えた合成画像データＷＶ−ｋを生成し、合成画像データＷＶ−ｋが表す画像をタッチパネルディスプレイ３１に表示させる。
【００３５】
ｂ３．動画像コンテンツＣＮＴｍの種類が複数種類である場合
この場合、ＣＰＵ６１は、撮影画像データＰＶ−ｉ自体をＳＩＦＴアルゴリズムに従って解析し、撮影画像データＰＶ−ｉが表す画像の特徴点Ｐを抽出する。また、サーバ装置５０から送られてくる複数種類の動画像コンテンツＣＮＴｍ（例えば、２種類の動画像コンテンツＣＮＴ３およびＣＮＴ４とする）の配信画像データＣＶ３−ｋ及びＣＶ４−ｋを同様のアルゴリズムに従って解析し、配信画像データＣＶ３−ｋ及びＣＶ４−ｋが表す画像の特徴点Ｐを各々抽出する。ＣＰＵ６１は、撮影画像データＰＶ−ｉ内における特徴点Ｐの位置と配信画像データＣＶ３−ｋ内における特徴点Ｐの位置、及び撮影画像データＰＶ−ｉ内における特徴点Ｐの位置と配信画像データＣＶ４−ｋ内における特徴点Ｐの位置を各々比較する。ＣＰＵ６１は、これらの比較の結果を利用して、撮影画像データＰＶ−ｉ内における画像表示装置１ｍの表示画像の領域ＡＲＪを決定するとともに、配信画像データＣＶ３−ｋ及びＣＶ４−ｋの中から領域ＡＲＪ内の画像に最も近い表示内容を持ったもの（例えば、画像データＣＶ３−ｋとする）を選択する。そして、ＣＰＵ６１は、この選択した画像データＣＶ３−ｋをアフィン変換したものを画像データＣＶ３’−ｋとし、撮影画像データＰＶ−ｉ内における画像表示装置１ｍの表示画像を画像データＣＶ３’−ｋが表す画像に差替えた合成画像データＷＶ−ｋを生成し、当該合成画像データＷＶ−ｋが表す画像をタッチパネルディスプレイ３１に表示させる。
【００３６】
以上説明したように、本実施形態では、撮影画像データＰＶ−ｉが表す画像に写っている画像表示装置１ｍの表示画像が、サーバ装置５０からその画像表示装置１ｍに送信されているものと同じ画像データＣＶｍ−ｋが表す画像に差替えられ、差替え後の画像が撮影結果の画像としてタッチパネルディスプレイ３１に表示される。よって、撮影画像データＰＶ−ｉが表す画像内に画像表示装置１ｍの画像が含まれている場合であっても、モアレのない表示画像をタッチパネルディスプレイ３１に表示させることができる。
【００３７】
また、本実施形態では、撮影画像データＰＶ−ｉからのＱＲコードの抽出を試み、ＱＲコードが抽出できた場合には、撮影画像データＰＶ−ｉが示す画像内においてＱＲコードに対して所定の位置関係を持った領域を解析対象領域ＡＲＨとし、領域ＡＲＨ内の画像データＰＶＡＲＨ−ｉと画像データＣＶｍ−ｋとを比較し、この比較の結果に基づいて撮影画像データＰＶ−ｉ内における画像表示装置１ｍの表示画面の領域ＡＲＪを特定する。よって、撮影画像データＰＶ−ｉが表す画像の全表示領域を解析対象領域ＡＲＨとするよりも、領域ＡＲＪの特定に要する演算量が少なくなる。従って、撮影画像データＰＶ−ｉが表す画像内における画像表示装置１ｍの表示画面の探索の速度を向上させることができる。
【００３８】
＜第２実施形態＞
次に、本発明の第２実施形態について説明する。上記実施形態におけるステップＳ１６０ａの表示制御処理は最新の撮影画像データＰＶ−ｉ及び最新の配信画像データＣＶｍ−ｋを処理対象として行われた。このため、端末装置２０ｎにおける表示制御処理の１フレームあたりの処理時間と、画像表示装置１ｍにおける画像表示処理の１フレームあたりの処理時間（１フレーム分の配信画像データＣＶｍ−ｋの受信から表示までの処理時間）との関係によっては、撮影画像データＰＶ−ｉにおける画像表示装置１ｍの表示画面をその装置１ｍが現に表示しているものより前や後のフレームの配信画像データＣＶｍ−ｋが表す画像に差替えてしまうことも起こり得る。この場合、タッチパネルディスプレイ３１の表示画面内における画像表示装置１ｍの表示画面の表示内容とその画像表示装置１ｍが現に表示している表示画面の表示内容との間にずれが発生してしまう。そこで、本実施形態では、撮影画像データＰＶ−ｉとこれに埋め込む配信画像データＣＶｍ−ｋとの間の時間軸上の位置関係を調整することにより、タッチパネルディスプレイ３１の表示画面内における画像表示装置１ｍの表示画面の表示内容とその画像表示装置１ｍが現に表示している表示画面の表示内容とを一致させる。
【００３９】
図１１は、本実施形態の動作を示すフローチャートである。本実施形態では、端末装置２０ｎのＣＰＵ４１は、ステップＳ１５０ａの処理の開始後に時間差算出処理を行い（Ｓ１５１ａ）、この時間差算出処理の実行後に表示制御処理（Ｓ１６１ａ）を行う。時間差算出処理では、ＣＰＵ４１は、カメラ３４から出力される撮影画像データＰＶ−ｉとサーバ装置５０から送られてくる動画像コンテンツＣＮＴｍ（例えば、動画像コンテンツＣＮＴ６とする）の配信画像データＣＶ６−ｋとを処理対象として、次のような処理を行う。図１２に示すように、ＣＰＵ４１は、当該時間差算出処理の開始時点から時間長Ｔ（例えば、Ｔ＝１０秒とする）以上が経過した時刻を基準時刻ｔBASISとし、この時刻ｔBASISにおいて取得された撮影画像データＰＶ−ｉを時間差検出用撮影画像データＰＶＶ−ｉとする。ＣＰＵ４１は、画像データＰＶＶ−ｉ内における解析対象領域ＡＲＨを決定し、領域ＡＲＨ内の画像データＰＶＶＡＲＨ−ｉを切り出す。ＣＰＵ４１は、時刻ｔBASIS−Ｔから時刻ｔBASIS＋Ｔまでの時間長２Ｔの間に取得された複数個（図１２の例では、簡便のため、３個とする）の配信画像データＣＶ６−（ｋ＋１），ＣＶ６−（ｋ＋２），及びＣＶ６−（ｋ＋３）と配信画像データＰＶＶＡＲＨ−ｉとを比較し、配信画像データＣＶ６−（ｋ＋１），ＣＶ６−（ｋ＋２），及びＣＶ６−（ｋ＋３）の中から画像データＰＶＶ−ｉ内における画像表示装置１ｍの表示画面に最も近い表示内容を持ったもの（例えば、画像データＣＶ６−（ｋ＋１）とする）を選択する。そして、ＣＰＵ４１は、この選択した配信画像データＣＶ６−（ｋ＋１）が取得された時刻ｔSELと時刻ｔBASISとの間の時間差Δｔ（Δｔ＝ｔBASIS−ｔSEL）を求める。
【００４０】
端末装置２０ｎのＣＰＵ４１は、時間差算出処理において時間差Δｔを算出した後、表示制御処理を開始する（Ｓ１６１ａ）。ステップＳ１６１ａの表示制御処理では、ＣＰＵ４１は、上記時間差Δｔが短縮されるように撮影画像データＰＶ−ｉと配信画像データＣＶ６−ｋとの間の時間軸上の位置関係を調整し、時間軸上の位置関係を調整した撮影画像データＰＶ−ｉと配信画像データＣＶ６−ｋとを用いて上述した合成画像データＷＶ−ｋの生成を行う。より具体的には、時間差Δｔの符号が負である場合（時刻ｔSELが時刻ｔBASISよりも早かった場合）と時間差Δｔの符号が正である場合（時刻ｔSELが時刻ｔBASISよりも遅かった場合）の各々において、次のような処理を行う。
ａ４．時間差Δｔの符号が負である場合
この場合、図１３（Ａ）に示すように、カメラ３４が撮影画像データＰＶ−ｉを出力する度に、その最新の撮影画像データＰＶ−ｉと、最新の撮影画像データＰＶ−ｉよりも時間差Δｔだけ後に取得された配信画像データＣＶ６−ｋとを組とする。そして、各組の各々について、上述した第１乃至第５の処理と同様の処理を行う。
ｂ４．時間差Δｔの符号が正である場合
この場合、図１３（Ｂ）に示すように、カメラ３４が撮影画像データＰＶ−ｉを出力する度に、その最新の撮影画像データＰＶ−ｉよりも時間差Δｔだけ先に取得された撮影画像データＰＶ−ｉと、最新の配信画像データＣＶ６−ｋとを組にする。そして、各組の各々について、上述した第１乃至第５の処理と同様の処理を行う。
【００４１】
図１１において、ＣＰＵ４１は、ステップＳ１５０ｂの処理の開始後に時間差算出処理を行い（Ｓ１５１ｂ）、この時間差算出処理の実行後に表示制御処理（Ｓ１６１ｂ）を行う。ステップＳ１５１ｂ及びステップＳ１６１ｂの処理内容はステップＳ１５１ａ及びステップＳ１６１ａの処理内容と同様である。
【００４２】
本実施形態によると、ＣＰＵ４１は、時間差Δｔが短縮されるように撮影画像データＰＶ−ｉと配信画像データＣＶｍ−ｋとの間の時間軸上の位置関係を調整する。よって、タッチパネルディスプレイ３１の表示画像内における画像表示装置１ｍの表示画像の表示内容とその装置１ｍが現に表示している表示画像の表示内容との間のずれの発生を防止することができる。
【００４３】
以上、この発明の第１及び第２実施形態について説明したが、この発明には他にも実施形態があり得る。例えば、以下の通りである。
（１）上記第１及び第２実施形態では、サーバ装置５０から画像表示装置１ｍに送信される配信画像データＣＶｍ−ｋ（ｋ＝１，２…Ｎ）の全てがＱＲコードの画像を一部に含んだものであった。しかし、配信画像データＣＶｍ−ｋ（ｋ＝１，２…Ｎ）のうちの少なくとも１つにＱＲコードが含まれていればよい。例えば、先頭の数フレーム分の画像データＣＶｍ−ｋのみをＱＲコードを含んだものとしてもよい。この場合において、端末装置２０ｎのＣＰＵ４１は、その先頭の数フレームに後続するフレームの画像データＣＶｍ−ｋについても同じ位置にＱＲコードがあるとみなして、撮影画像データＰＶ−ｉが示す画像内における画像表示装置１ｍの表示画像の探索を行ってもよい。この技術的手段によると、先頭の数フレームを用いた画像表示装置１ｍの表示画像の探索の完了後にカメラ３４のアングルが多少変わっても、画像表示装置１ｍの表示画像の位置を捕捉することができる。
【００４４】
（２）上記第１及び第２実施形態において、サーバ装置５０は、画像表示装置１ｍと端末装置２０ｎに送信する配信画像データＣＶｍ−ｋの解像度を各々のタッチパネルディスプレイ３１の解像度に合わせて変換した上でその送信を行ってもよい。例えば、画像表示装置１ｍの画像表示面の縦横の画素数が１０２４×７６８であり、端末装置２０ｎのタッチパネルディスプレイ３１の縦横の画素数が８００×６００である場合は、元の配信画像データＣＶｍ−ｋの解像度を８００×６００に変換したものを端末装置２０ｎに送信するとよい。また、端末装置２０ｎのＣＰＵ４１は、サーバ装置５０から送られてくる動画像コンテンツＣＮＴｍの配信画像データＣＶｍ−ｋの解像度とタッチパネルディスプレイ３１の解像度が異なる場合には、配信画像データＣＶｍ−ｋの解像度をタッチパネルディスプレイ３１の解像度に合わせる解像度変換を配信画像データＣＶｍ−ｋに施した後に合成画像データＷＶ−ｋを生成してもよい。
【００４５】
（３）上記第１及び第２実施形態において、画像表示装置１ｍの筺体２における画像表示面の外の近傍の所定の位置にＱＲコードを記しておいてもよい。この場合において、端末装置２０ｎのＣＰＵ４１は、カメラ３４の撮影画像データＰＶ−ｉから画像表示面の外の位置にあるＱＲコードの抽出を試み、撮影画像データＰＶ−ｉが表す画像においてＱＲコードと所定の位置関係にある領域を解析対象領域ＡＲＨにするとよい。
【００４６】
（４）上記第１実施形態において、サーバ装置５０が、配信画像データＣＶｍ−ｋと同期再生する情報（例えば、端末装置２０ｎのタッチパネルディスプレイ３１の表示画像内における画像表示装置１ｍの表示画像の近傍の位置に表示させるテキスト情報やスピーカ３２から放音させる音声情報：以下、これらの情報を付加情報という）を端末装置２０ｎに送信してもよい。この場合において、端末装置２０ｎのＣＰＵ４１は、付加情報に含まれるテキスト情報を合成画像データＷＶ−ｋが表す画像の一部としてタッチパネルディスプレイ３１に表示させ、付加情報に含まれる音声情報をスピーカ３２から放音させるとよい。また、第２実施形態では、付加情報に含まれるテキスト情報の表示時刻や音声情報の放音時刻を時間差Δｔに基づいて調整するとよい。
【００４７】
（５）上記第１及び第２実施形態は、本発明をスマートフォンである端末装置２０ｎに適用したものであった。しかし、本発明の適用の対象となる装置はスマートフォンに限られない。例えば、通信機能を搭載したビデオカメラに本発明を適用してもよい。この場合において、ビデオカメラ内のＣＰＵが生成した一連の合成画像データＷＶ−ｋをビデオカメラ内のハードディスクに記憶させ、ハードディスク内の合成画像データＷＶ−ｋを映像出力端子を介して外部のディスプレイに出力するようにしてもよい。
【００４８】
（６）上記第１及び第２実施形態では、画像データＰＶＡＲＨ−ｉが示す画像の特徴点Ｐ及び画像データＣＶｍ−ｋが示す画像の特徴点Ｐを得るための解析アルゴリズムとしてＳＩＦＴを採用した。しかし、ＳＩＦＴ以外の解析アルゴリズム（例えば、ＳＵＲＦ（（Speeded Up Robust Features））を採用してもよい。
【００４９】
（７）上記第１及び第２実施形態において、端末装置２０ｎの利用者が、自身の前方の複数個の画像表示装置１ｍ（例えば、画像表示装置１８及び１９とする）がカメラ３４の撮影範囲内に収まるようして撮影を行っている場合には、撮影画像データＰＶ−ｉにおける画像表示装置１８の表示画像と画像表示装置１９の表示画像を各々に送信されているものと同じ画像データＣＶｍ’−ｋが表す画像に差替えた合成画像データＷＶ−ｋを生成してもよい。この場合において、合成画像データＷＶ−ｋにおける画像表示装置１８または１９の表示画面があまりに小さい場合は、差替えによる画質の向上が期待できないため、小さい方の表示画面の差替えを行わないようにしてもよい。
【００５０】
（８）上記第１及び第２実施形態では、端末装置２０は、ＱＲコードと、当該端末装置２０のカメラ３４の位置及び撮影方向と、のうちの一方から撮影画像データＰＶ−ｉが表す画像に写っている画像表示装置１ｍを特定した。しかし、ＧＰＳセンサ３５，方位角センサ３６，仰俯角センサ３７やその他の各種センサにより検出される物理量のみを用いて、撮影画像データＰＶ−ｉが表す画像に写っている画像表示装置１ｍを特定してもよい。
【００５１】
（９）上記第１及び第２実施形態において、撮影画像データＰＶ−ｉが表す画像に写っている画像表示装置１ｍを特定するためのマークとして、画像表示装置１ｍの近傍に配置された看板を利用し、撮影画像データＰＶ−ｉが示す画像から抽出した看板の画像から当該撮影画像データＰＶ−ｉが表す画像に写っている画像表示装置１ｍを特定してもよい。
【００５２】
（１０）上記第１及び第２実施形態では、撮影画像データＰＶ−ｉ及び配信画像データＣＶｍ−ｋの取得から合成画像データＷＶ−ｋの生成に至るまでの処理を端末装置２０のＣＰＵ３９が行った。しかし、この処理を端末装置２０と移動体通信網９１及びインターネット９２を介して接続された他の装置が行ってもよい。例えば、端末装置２０がそのカメラ３４の撮影結果である撮影画像データＰＶ−ｉをサーバ装置５０に送信し、サーバ装置５０がこの撮影画像データＰＶ−ｉから合成画像データＷＶ−ｋを生成して端末装置２０へ返信し、端末装置２０が当該合成画像データＷＶ−ｋが表す画像をタッチパネルディスプレイ３１に表示させてもよい。
【符号の説明】
【００５３】
１…画像表示装置、２…筐体、２０…端末装置、２１，２２，２３，２４…開口、３１…タッチパネルディスプレイ、３２…スピーカ、３３…マイクロホン、３４…カメラ、３５…ＧＰＳセンサ、３６…方位角センサ、３７…仰俯角センサ、３８…無線通信部、５０…サーバ装置、３９，５９…制御部、４１，６１…ＣＰＵ、４２，６２…ＲＡＭ、４３，６３…ＲＯＭ、６４…ハードディスク、６５…ＮＩＣ、９１…移動体通信網、９２…インターネット。
【特許請求の範囲】
【請求項１】
サーバ装置から送信される一連の配信画像データに従って動画像を表示する複数の画像表示装置のうちの少なくとも１つを含む撮影範囲内をカメラにより撮影して得られる一連の撮影画像データを取得する撮影画像取得手段と、
前記撮影画像取得手段により取得した一連の撮影画像データが表す画像に写っている画像表示装置であって、前記撮影画像データが表す画像から抽出されるマーカと前記カメラの位置および撮影方向との少なくとも一方によって特定される画像表示装置へ配信される一連の配信画像データを要求するメッセージを前記サーバ装置に送り、このメッセージを受けたことを契機として前記サーバ装置から送られてくる一連の配信画像データを取得する配信画像取得手段と、
前記撮影画像取得手段により取得した一連の撮影画像データの各々と前記配信画像取得手段により取得した一連の撮影画像データの各々とを比較し、この比較の結果に基づいて当該一連の撮影画像データの表す画像に写っている画像表示装置の表示画像を画像表示装置毎に特定し、当該一連の撮影画像データにおける画像表示装置の表示画像を前記配信画像取得手段により取得した一連の配信画像データのうちの該当するものの表す画像に差替えて合成画像データを生成し、当該合成画像データが表す画像を表示装置に表示させる表示制御手段と
を具備することを特徴とする表示制御装置。
【請求項２】
前記撮影画像取得手段が取得した一連の撮影画像データの中のある撮影画像データを時間差検出用撮影画像データとし、この時間差検出用撮影画像データの取得時刻を含む所定時間長の間に前記配信画像取得手段が取得した複数個の配信画像データの中から、前記時間差検出用画像データの表す画像に写っている画像表示装置の表示画像に最も近い表示内容を持った配信画像データを選択し、この選択した配信画像データの取得時刻と前記時間差検出用撮影画像データの取得時刻との間の時間差を算出する時間差算出手段を具備し、
前記表示制御手段は、前記時間差が短縮されるように前記撮影画像取得手段により取得される撮影画像データと前記配信画像取得手段により取得される配信画像データとの間の時間軸上の位置関係を調整し、時間軸上の位置関係を調整した撮影画像データと配信画像データとを用いて前記合成画像データの生成を行うことを特徴とする請求項１に記載の表示制御装置。
【請求項３】
前記サーバ装置から前記複数の画像表示装置の各々に送信される一連の配信画像データには、その送信先の画像表示装置を一意に識別する２次元バーコードの画像を一部に含むものが少なくとも１つ含まれており、前記配信画像取得手段は前記２次元バーコードを前記マーカとして抽出し、抽出したマーカを含む前記メッセージを前記サーバ装置に送信することを特徴とする請求項１または２に記載の表示制御装置。
【請求項４】
前記表示制御手段は、前記表示装置の解像度と、前記配信画像取得手段により取得した一連の配信画像データの解像度とが異なっている場合には、当該一連の配信画像データの解像度を前記表示装置の解像度に合わせる解像度変換を当該一連の配信画像データに施した後に前記合成画像データを生成することを特徴とする請求項１乃至３のいずれか１の請求項に記載の表示制御装置。
【請求項５】
カメラと、
表示手段と、
前記カメラにより取得した一連の撮影画像データが表す画像に写っている画像表示装置であって、前記撮影画像データが表す画像から抽出されるマーカと前記カメラの位置および撮影方向との少なくとも一方によって特定される画像表示装置へ配信される一連の配信画像データを要求するメッセージを前記サーバ装置に送り、このメッセージを受けたことを契機として前記サーバ装置から送られてくる一連の配信画像データを取得する配信画像取得手段と、
前記カメラにより取得した一連の撮影画像データの各々と前記配信画像取得手段により取得した一連の配信画像データの各々とを比較し、この比較の結果に基づいて当該一連の撮影画像データの表す画像に写っている画像表示装置の表示画像を画像表示装置毎に特定し、当該一連の撮影画像データにおける画像表示装置の表示画像を前記配信画像取得手段により取得した一連の配信画像データのうちの該当するものの表す画像に差替えて合成画像データを生成し、当該合成画像データが表す画像を表示手段に表示させる表示制御手段と
を具備することを特徴とする端末装置。
【請求項６】
（Ａ）カメラと表示手段とを有する端末装置と、
（Ｂ）複数の画像表示装置と、
（Ｃ）前記複数の画像表示装置の各々に表示させる動画を表す一連の画像データを画像表示装置毎に記憶したサーバ装置と、
（Ｄ）前記カメラにより撮影して得られる一連の撮影画像データの表す画像を前記表示手段に表示させる際の表示制御を行う表示制御装置であって、
前記複数の画像表示装置の少なくとも１つを含む撮影範囲を前記端末装置のカメラにより撮影して得られる一連の撮影画像データが表す画像に写っている画像表示装置であって、前記撮影画像データが表す画像から抽出されるマーカと前記カメラの位置および撮影方向との少なくとも一方によって特定される画像表示装置へ配信される一連の配信画像データを要求するメッセージを前記サーバ装置に送り、このメッセージを受けたことを契機として前記サーバ装置から送られてくる一連の配信画像データの各々と当該一連の撮影画像データの各々とを比較し、この比較の結果に基づいて当該一連の撮影画像データの表す画像に写っている画像表示装置の表示画像を特定し、当該一連の撮影画像データにおける画像表示装置の表示画像を前記サーバ装置から取得した一連の配信画像データのうちの該当するものの表す画像に差替えて合成画像データを生成し、当該合成画像データの表す画像を前記端末装置の表示手段に表示させる表示制御装置と
を具備することを特徴とする通信システム。
【請求項７】
前記表示制御装置は、前記端末装置と前記サーバ装置の何れか一方に含まれていることを特徴とする請求項６に記載の通信システム。
【請求項８】
コンピュータを、
サーバ装置から送信される一連の配信画像データに従って動画像を表示する複数の画像表示装置のうちの少なくとも１つを含む撮影範囲内をカメラにより撮影して得られる一連の撮影画像データを取得する撮影画像取得手段と、
前記撮影画像取得手段により取得した一連の撮影画像データから抽出されるマーカと前記カメラの位置および撮影方向との少なくとも一方から当該一連の撮影画像データの表す画像に写っている画像表示装置を特定し、当該画像表示装置に向けて配信される一連の配信画像データを要求するメッセージを前記サーバ装置に送り、このメッセージを受けたことを契機として前記サーバ装置から送られてくる一連の配信画像データを取得する配信画像取得手段と、
前記撮影画像取得手段により取得した一連の撮影画像データの各々と前記配信画像取得手段により取得した一連の配信画像データの各々とを比較し、この比較の結果に基づいて当該一連の撮影画像データの表す画像に写っている画像表示装置の表示画像を画像表示装置毎に特定し、当該一連の撮影画像データにおける画像表示装置の表示画像を前記配信画像取得手段により取得した一連の配信画像データのうちの該当するものの表す画像に差替えて合成画像データを生成し、当該合成画像データが表す画像を表示装置に表示させる表示制御手段と
として機能させることを特徴とするプログラム。
【請求項１】
サーバ装置から送信される一連の配信画像データに従って動画像を表示する複数の画像表示装置のうちの少なくとも１つを含む撮影範囲内をカメラにより撮影して得られる一連の撮影画像データを取得する撮影画像取得手段と、
前記撮影画像取得手段により取得した一連の撮影画像データが表す画像に写っている画像表示装置であって、前記撮影画像データが表す画像から抽出されるマーカと前記カメラの位置および撮影方向との少なくとも一方によって特定される画像表示装置へ配信される一連の配信画像データを要求するメッセージを前記サーバ装置に送り、このメッセージを受けたことを契機として前記サーバ装置から送られてくる一連の配信画像データを取得する配信画像取得手段と、
前記撮影画像取得手段により取得した一連の撮影画像データの各々と前記配信画像取得手段により取得した一連の撮影画像データの各々とを比較し、この比較の結果に基づいて当該一連の撮影画像データの表す画像に写っている画像表示装置の表示画像を画像表示装置毎に特定し、当該一連の撮影画像データにおける画像表示装置の表示画像を前記配信画像取得手段により取得した一連の配信画像データのうちの該当するものの表す画像に差替えて合成画像データを生成し、当該合成画像データが表す画像を表示装置に表示させる表示制御手段と
を具備することを特徴とする表示制御装置。
【請求項２】
前記撮影画像取得手段が取得した一連の撮影画像データの中のある撮影画像データを時間差検出用撮影画像データとし、この時間差検出用撮影画像データの取得時刻を含む所定時間長の間に前記配信画像取得手段が取得した複数個の配信画像データの中から、前記時間差検出用画像データの表す画像に写っている画像表示装置の表示画像に最も近い表示内容を持った配信画像データを選択し、この選択した配信画像データの取得時刻と前記時間差検出用撮影画像データの取得時刻との間の時間差を算出する時間差算出手段を具備し、
前記表示制御手段は、前記時間差が短縮されるように前記撮影画像取得手段により取得される撮影画像データと前記配信画像取得手段により取得される配信画像データとの間の時間軸上の位置関係を調整し、時間軸上の位置関係を調整した撮影画像データと配信画像データとを用いて前記合成画像データの生成を行うことを特徴とする請求項１に記載の表示制御装置。
【請求項３】
前記サーバ装置から前記複数の画像表示装置の各々に送信される一連の配信画像データには、その送信先の画像表示装置を一意に識別する２次元バーコードの画像を一部に含むものが少なくとも１つ含まれており、前記配信画像取得手段は前記２次元バーコードを前記マーカとして抽出し、抽出したマーカを含む前記メッセージを前記サーバ装置に送信することを特徴とする請求項１または２に記載の表示制御装置。
【請求項４】
前記表示制御手段は、前記表示装置の解像度と、前記配信画像取得手段により取得した一連の配信画像データの解像度とが異なっている場合には、当該一連の配信画像データの解像度を前記表示装置の解像度に合わせる解像度変換を当該一連の配信画像データに施した後に前記合成画像データを生成することを特徴とする請求項１乃至３のいずれか１の請求項に記載の表示制御装置。
【請求項５】
カメラと、
表示手段と、
前記カメラにより取得した一連の撮影画像データが表す画像に写っている画像表示装置であって、前記撮影画像データが表す画像から抽出されるマーカと前記カメラの位置および撮影方向との少なくとも一方によって特定される画像表示装置へ配信される一連の配信画像データを要求するメッセージを前記サーバ装置に送り、このメッセージを受けたことを契機として前記サーバ装置から送られてくる一連の配信画像データを取得する配信画像取得手段と、
前記カメラにより取得した一連の撮影画像データの各々と前記配信画像取得手段により取得した一連の配信画像データの各々とを比較し、この比較の結果に基づいて当該一連の撮影画像データの表す画像に写っている画像表示装置の表示画像を画像表示装置毎に特定し、当該一連の撮影画像データにおける画像表示装置の表示画像を前記配信画像取得手段により取得した一連の配信画像データのうちの該当するものの表す画像に差替えて合成画像データを生成し、当該合成画像データが表す画像を表示手段に表示させる表示制御手段と
を具備することを特徴とする端末装置。
【請求項６】
（Ａ）カメラと表示手段とを有する端末装置と、
（Ｂ）複数の画像表示装置と、
（Ｃ）前記複数の画像表示装置の各々に表示させる動画を表す一連の画像データを画像表示装置毎に記憶したサーバ装置と、
（Ｄ）前記カメラにより撮影して得られる一連の撮影画像データの表す画像を前記表示手段に表示させる際の表示制御を行う表示制御装置であって、
前記複数の画像表示装置の少なくとも１つを含む撮影範囲を前記端末装置のカメラにより撮影して得られる一連の撮影画像データが表す画像に写っている画像表示装置であって、前記撮影画像データが表す画像から抽出されるマーカと前記カメラの位置および撮影方向との少なくとも一方によって特定される画像表示装置へ配信される一連の配信画像データを要求するメッセージを前記サーバ装置に送り、このメッセージを受けたことを契機として前記サーバ装置から送られてくる一連の配信画像データの各々と当該一連の撮影画像データの各々とを比較し、この比較の結果に基づいて当該一連の撮影画像データの表す画像に写っている画像表示装置の表示画像を特定し、当該一連の撮影画像データにおける画像表示装置の表示画像を前記サーバ装置から取得した一連の配信画像データのうちの該当するものの表す画像に差替えて合成画像データを生成し、当該合成画像データの表す画像を前記端末装置の表示手段に表示させる表示制御装置と
を具備することを特徴とする通信システム。
【請求項７】
前記表示制御装置は、前記端末装置と前記サーバ装置の何れか一方に含まれていることを特徴とする請求項６に記載の通信システム。
【請求項８】
コンピュータを、
サーバ装置から送信される一連の配信画像データに従って動画像を表示する複数の画像表示装置のうちの少なくとも１つを含む撮影範囲内をカメラにより撮影して得られる一連の撮影画像データを取得する撮影画像取得手段と、
前記撮影画像取得手段により取得した一連の撮影画像データから抽出されるマーカと前記カメラの位置および撮影方向との少なくとも一方から当該一連の撮影画像データの表す画像に写っている画像表示装置を特定し、当該画像表示装置に向けて配信される一連の配信画像データを要求するメッセージを前記サーバ装置に送り、このメッセージを受けたことを契機として前記サーバ装置から送られてくる一連の配信画像データを取得する配信画像取得手段と、
前記撮影画像取得手段により取得した一連の撮影画像データの各々と前記配信画像取得手段により取得した一連の配信画像データの各々とを比較し、この比較の結果に基づいて当該一連の撮影画像データの表す画像に写っている画像表示装置の表示画像を画像表示装置毎に特定し、当該一連の撮影画像データにおける画像表示装置の表示画像を前記配信画像取得手段により取得した一連の配信画像データのうちの該当するものの表す画像に差替えて合成画像データを生成し、当該合成画像データが表す画像を表示装置に表示させる表示制御手段と
として機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１２−２０８５５８（Ｐ２０１２−２０８５５８Ａ）
【公開日】平成２４年１０月２５日（２０１２．１０．２５）
【国際特許分類】
【出願番号】特願２０１１−７１５９５（Ｐ２０１１−７１５９５）
【出願日】平成２３年３月２９日（２０１１．３．２９）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
【公開日】平成２４年１０月２５日（２０１２．１０．２５）
【国際特許分類】
【出願日】平成２３年３月２９日（２０１１．３．２９）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
[ Back to top ]