映像表示装置、撮影装置、映像システム、表示方法、情報読取方法およびプログラム
【課題】特別なハードウェアがなくても、画像の取得時に画像とは別のデータを取得することが可能な映像システムを提供する。
【解決手段】ＣＰＵ１１は、映像信号に応じた映像を形成するドットが重畳用データに応じて点滅するように、映像信号を補正して、映像に重畳用データが重畳された重畳映像を示す重畳映像信号を生成する。映像表示部１２は、重畳映像信号が示す重畳映像を表示する。
【解決手段】ＣＰＵ１１は、映像信号に応じた映像を形成するドットが重畳用データに応じて点滅するように、映像信号を補正して、映像に重畳用データが重畳された重畳映像を示す重畳映像信号を生成する。映像表示部１２は、重畳映像信号が示す重畳映像を表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像にデータを重畳させる技術に関する。
【背景技術】
【０００２】
被写体を撮影して画像を取得する撮影装置の分野では、赤外線や光無線通信などを利用して、画像の取得時に、その画像に関連する関連データなどのデータをさらに取得する技術が提案されている。
【０００３】
例えば、特許文献１には、赤外線を発生させる赤外線発光物質で描かれた赤外線マーカーを有する追跡対象体からの光を赤外線と可視光線とに分離して取得し、可視光線に応じた映像と赤外線に応じたデータとを重畳させて表示する拡張リアリティシステム（ＡＲ：Augmented Reality）が記載されている。
【０００４】
また、特許文献２には、被写体を撮影して画像を取得するとともに、その被写体の近傍に配置された光源が光無線通信を用いて送信したデータを取得して、画像とデータとを同時に表示する撮影装置が記載されている。
【０００５】
また、特許文献３には、被写体を撮影することで取得した画像を解析して、その画像から建造物などの特徴部分を抽出し、さらに、その特徴部分に関連したデータを通信ネットワーク上の端末などから取得する重畳情報提示装置が記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特表２００８−５０８５９１号公報
【特許文献２】特開２０１１−００９８０４号公報
【特許文献３】再特ＷＯ２００８／０１６０８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１〜３に記載の技術を用いて画像とは別のデータを取得するためには、特別なハードウェアが必要になるという問題がある。
【０００８】
例えば、特許文献１に記載の拡張リアリティシステムでは、赤外線と可視光線を分離するための光学部材が必要となる。また、特許文献２に記載の撮影装置では、光無線通信が可能な光源が必要であり、さらには、撮影装置に光無線通信を行う受信機が必要となる。また、特許文献３に記載の重畳情報提示装置では、通信ネットワークと接続するための通信装置が必要となる。
【０００９】
なお、特許文献３に記載の重畳情報提示装置が取得できるデータは、映像の特徴部分に関連したデータに限られているため、映像の閲覧者に対してデータの提供者が所望のデータを必ずしも取得させることができないという問題もある。
【００１０】
本発明の目的は、特別なハードウェアがなくても、画像の取得時に画像とは別のデータを取得することが可能な映像表示装置、撮影装置、映像システム、表示方法、情報読取方法およびプログラムを提供することである。
【課題を解決するための手段】
【００１１】
本発明による映像表示装置は、映像信号に応じた映像を形成するドットが重畳用データに応じて点滅するように、前記映像信号を補正して、前記映像に前記重畳用データが重畳された重畳映像を示す重畳映像信号を生成する制御部と、前記重畳映像信号が示す重畳映像を表示する映像表示部と、を有する。
【００１２】
本発明による撮影装置は、前記映像表示装置にて表示された重畳映像を撮影して撮影画像を取得する取得部と、前記撮影画像を形成するドットの輝度を解析して、前記撮影画像から前記重畳映像に重畳されている重畳データを読み取る管理部と、を有する。
【００１３】
本発明による映像システムは、前記映像表示装置と前記撮影装置とを有する。
【００１４】
本発明による表示方法は、映像信号に応じた映像を形成するドットが重畳用データに応じて点滅するように、前記映像信号を補正して、前記映像に前記重畳用データが重畳された重畳映像を示す重畳映像信号を生成し、前記重畳映像信号が示す重畳映像を表示する。
【００１５】
本発明による情報読取方法は、前記映像表示装置にて表示された重畳映像を撮影して撮影画像を取得し、前記撮影画像を形成するドットの輝度を解析して、前記撮影画像から前記重畳映像に重畳されている重畳データを読み取る。
【００１６】
本発明による第１のプログラムは、映像信号に応じた映像を形成するドットが重畳用データに応じて点滅するように、前記映像信号を補正して、前記映像に前記重畳用データが重畳された重畳映像を示す重畳映像信号を生成する処理と、前記重畳映像信号が示す重畳映像を表示する処理と、をコンピュータに実行させる。
【００１７】
本発明による第２のプログラムは、前記映像表示装置にて表示された重畳映像を撮影して撮影画像を取得する処理と、前記撮影画像を形成するドットの輝度を解析して、前記撮影画像から前記重畳映像に重畳されている重畳データを読み取る処理と、をコンピュータに実行させる。
【発明の効果】
【００１８】
本発明によれば、特別なハードウェアがなくても、画像の取得時に画像とは別のデータを取得することが可能になる。
【図面の簡単な説明】
【００１９】
【図１】本発明の第１の実施形態の映像システムを示す図である。
【図２】投影機の構成の一例を示すブロック図である。
【図３】撮影機の構成の一例を示すブロック図である。
【図４】映像内の各ドットの点滅パターンと撮影画像の各撮影ドットの対応関係の一例を説明するための図である。
【図５】２次元コード、セクションおよび点滅パターンの対応関係の一例を示す図である。
【図６】映像とデータの一例を示す図である。
【図７】撮影機の動作の一例を示すフローチャートである。
【図８】差分画像を説明するための図である。
【図９】本発明の第２の実施形態の映像システムを示す図である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施形態について図面を参照して説明する。なお、以下の説明では、同じ機能を有するものには同じ符号を付け、その説明を省略する場合がある。
【００２１】
図１は、本発明の第１の実施形態の映像システムを示す図である。図１において、映像システムは、投影機１０と、撮影機２０とを有する。
【００２２】
投影機１０は、映像を表示する映像表示装置であり、より具体的には、スクリーンのような投射面３０に映像を投影して表示するプロジェクタである。撮影機２０は、周囲を撮影して撮影画像を取得する撮影装置である。
【００２３】
図２は、投影機１０の構成の一例を示すブロック図である。図２において、投影機１０は、ＣＰＵ１１と、映像表示部１２とを有する。
【００２４】
ＣＰＵ１１は、プログラムにて制御されることで、下記の機能を実現する制御部である。
【００２５】
ＣＰＵ１１には、パーソナルコンピュータのような外部装置（不図示）から、複数のドットで形成される映像を示す映像信号と、その映像信号に重畳するデータを示すデータ信号とが入力される。
【００２６】
ＣＰＵ１１は、データ信号にて示されるデータに応じて、映像信号が示す映像を形成するドットである映像ドットが点滅するように、映像信号をデータに基づいて補正して、データが重畳された映像である重畳映像を示す重畳映像信号を生成する。なお、データ信号にて示されるデータは、重畳用データの一例である。
【００２７】
映像表示部１２は、ＣＰＵ１１にて生成された重畳映像信号に基づいて、重畳映像信号が示す重畳映像を投射面３０に投影して表示する。
【００２８】
より具体的には、映像表示部１２は、ＬＥＤ（Light Emitting Diode）部１２Ａと、表示素子１２Ｂと、レンズ部１２Ｃとを有する。
【００２９】
ＬＥＤ部１２Ａは、表示素子１２Ｂに光を入射させる光源である。表示素子１２Ｂは、ＬＥＤ部１２Ａからの光を重畳映像信号に応じて変調して、レンズ部１２Ｃを介して投射面３０に投影することで、重畳映像を投射面３０に表示する。なお、光源は、ＬＥＤに限らず、適宜変更可能である。また、表示素子１２Ｂとしては、例えば、液晶パネルなどが挙げられる。
【００３０】
図３は、撮影機２０の構成の一例を示すブロック図である。図３において、撮影機２０は、キー操作部２１と、カメラ部２２と、管理部２３と、表示部２４と、記憶部２５とを有する。
【００３１】
キー操作部２１は、ユーザからの種々の操作を検知する。例えば、キー操作部２１は、所定のキーの押下を、撮影を開始するための撮影開始操作として検知する。
【００３２】
カメラ部２２は、キー操作部２１にて撮影開始操作が検知されると、周囲を撮影して撮影画像を取得する映像取得部である。以下では、カメラ部２２は、投影機１０が投射面３０に表示した重畳映像を撮影して、重畳映像を示す撮影画像を取得するものとする。
【００３３】
管理部２３は、例えば、ＣＰＵなどの演算装置やメモリなどの記録装置で構成される。また、管理部２３は、カメラ部２２で取得された撮影画像を形成する撮影ドットの輝度を解析して、重畳映像に重畳されているデータを撮影画像から読み取り、その読み取ったデータと撮影画像を表示部２４に表示する。
【００３４】
記憶部２５は、種々の情報を記憶する。例えば、記憶部２５は、撮影機２０の使用者の属性を特定する識別情報であるグループＩＤを記憶する。属性としては、例えば、所属会社、年齢および性別などが挙げられる。
【００３５】
以下、データの重畳と読み取りについてより詳細に説明する。なお、本実施形態におけるデータの重畳と読み取りは、肉眼で発生する残存現象と、投影機１０および撮影機２０の解像度および処理速度の相違を利用するものである。
【００３６】
上述したように投影機１０において、ＣＰＵ１１は、映像信号が示す映像を形成する映像ドットがデータに応じて点滅するように、映像信号をデータに基づいて補正する。
【００３７】
このとき、ＣＰＵ１１は、複数の映像ドットで形成された複数のセクションで映像が区切られ、そのセクション単位で、セクション内の各映像ドットが点滅する点滅パターンが変化するように、映像信号をデータに応じて補正する。
【００３８】
なお、映像は、水平方向および垂直方向のそれぞれに映像ドットが並んだドットマトリックスで形成されているものとし、セクションは、映像の水平方向および垂直方向のそれぞれについて、連続した複数の映像ドットを有するものとしている。
【００３９】
また、ＣＰＵ１１は、全ての点滅パターンにおいて、表示された重畳映像の各表示ドットが人間には連続して点灯していると視認されるような点滅速度で点滅するように、映像信号を補正するものとする。この場合、人間には、各表示ドットが点灯時の輝度と消灯時の輝度との中間の輝度で連続して点灯されているように認識される。このため、人間に認識される、映像信号に応じた元の映像の各映像ドットの輝度と、重畳映像を形成する各表示ドットの輝度との差異ができるだけ小さくするために、ＣＰＵ１１は、重畳映像内の点灯時の各表示ドットの輝度が元の映像ドットの輝度よりも高くなるように、映像信号を補正することが望ましい。
【００４０】
一方、撮影機２０のカメラ部２２にて撮影画像を取得する認識速度は、重畳映像内の各各表示ドットの点滅を認識できる速度であるとする。また、カメラ部２２は、重畳映像の各表示ドットを個別に認識できず、重畳映像内の１セクションが、撮影画像の１撮影ドットとなるような解像度を有するものとする。
【００４１】
図４は、重畳映像の各表示ドットの点滅パターンと撮影画像の各撮影ドットとの対応関係の一例を説明するための図である。なお、図４では、セクションは、重畳映像の水平方向および垂直方向のそれぞれについて２表示ドットずつ有するものとしている。
【００４２】
図４では、点滅パターンとして、第１の点滅パターンである点滅パターンＡと、第２の点滅パターンである点滅パターンＢの２種類のパターンがある。
【００４３】
点滅パターンＡは、セクション内の互いに隣接する２つの隣接ドットの点灯状態が反転しているパターンである。つまり、点滅パターンＡでは、隣接ドットの一方が点灯し、隣接ドットの他方が消灯するように、セクション内の各表示ドットが点滅する。
【００４４】
したがって、重畳映像の１セクションが撮影画像の１撮影ドットとなるので、点滅パターンＡのセクションは、撮影画像では、点灯している表示ドットと消灯している表示ドットとが合わさって、表示ドットの点灯時の輝度に対応する高輝度と、表示ドットの消灯時の輝度に対応する低輝度との中間の輝度である中間輝度を有する撮影ドットとなる。
【００４５】
一方、点滅パターンＢは、セクション内の全ての表示ドットの点灯状態が同じになるパターンである。つまり、点滅パターンＢでは、セクション内の全ての表示ドットが同時に点滅する。
【００４６】
したがって、点滅パターンＢのセクションは、撮影画像では、点灯している表示ドットだけが合わさるか、または、消灯している表示ドットだけが合わさるので、撮影画像では、表示ドットの点灯時の輝度に対応する高輝度、または、表示ドットの消灯時の輝度に対応する低輝度を有する撮影ドットとなる。
【００４７】
この場合、撮影機２０の管理部２３は、撮影画像の各撮影ドットの輝度を解析して、撮影画像から重畳データを読み取る。
【００４８】
データの重畳と読み取りの具体的を説明する。
【００４９】
以下では、データ信号が示すデータは、ＱＲコード（登録商標）のような２次元のドットパターンである２次元コードの形式で表現されているものとする。また、２次元コードは、黒レベルのコードドットと白レベルのコードドットで構成されているものとする。
【００５０】
データが２次元コードで表現されている場合、ＣＰＵ１１は、２次元コードの各コードドットと、映像信号が示す映像の各セクションとを対応させ、各セクションの点滅パターンがそのセクションに対応するコードドットに応じて変化するように、映像信号を補正する。
【００５１】
図５は、２次元コード、セクションおよび点滅パターンの対応関係の一例を示す図である。
【００５２】
図５では、映像内の４つのセクション１〜４と、そのセクションに対応する２次元コードが示されている。また、セクション１に対応するコードドットが白レベルであり、セクション２〜４のそれぞれに対応するコードドットが黒レベルである。
【００５３】
このとき、例えば、ＣＰＵ１１は、白レベルのコードドットに対応するセクション１が点滅パターンＡで点滅し、黒レベルのコードドットに対応するセクション２〜４のそれぞれが点滅パターンＢで点滅するように、映像信号を補正することで、重畳映像信号を生成する。
【００５４】
撮影機２０のカメラ部２２は、重畳映像の１セッションを１撮影ドットとして認識するので、上記のように生成された重畳映像信号に応じた重畳映像を撮影すると、図４に示すように、点滅パターンＡのセクションは、撮影画像では、中間輝度を有する撮影ドットとなり、点滅パターンＢのセクションは、撮影画像では、低輝度または高輝度を有する撮影ドットとなる。このため、セクション１に対応する撮影ドットの輝度は、中間輝度となり、セクション２〜４のそれぞれに対応する撮影ドットの輝度は、低輝度または高輝度となる。
【００５５】
管理部２３は、撮影画像の各ドットの輝度を解析して、中間輝度の撮影ドットを２次元コードにおける白レベルのコードドットとみなし、低輝度または高輝度の撮影ドットを２次元コードにおける黒レベルのコードドットとみなすことで、撮影画像から２次元コードを読み取る。そして、管理部２３は、２次元コードをデコードして元のデータを取得し、そのデータと撮影画像とを表示部２４に表示する。
【００５６】
図６は、映像とデータの一例を示す図である。
【００５７】
図６の例では、映像信号が示す映像は、図６（ａ）に示すように、棒グラフの座標軸であるフレームのみを表す。また、データ信号が示すデータは、棒グラフの棒であるグラフ本体を有する。より具体的には、データは、図６（ｂ１）および図６（ｂ２）の実線で示すように、２種類のグラフ本体を有し、各グラフ本体には、撮影機２０の使用者を特定する識別情報が対応付けられている。さらに、データは、２次元コードの形式で表されている。この場合、映像とデータとが重畳された重畳映像は、図６（ｃ）に示すように、点灯している表示ドットと消灯している表示ドットとで形成される。
【００５８】
しかしながら、重畳映像の点滅は人間には認識されないので、人間には、図６（ａ）で示したように、フレームのみが認識される。
【００５９】
一方、撮影機２０では、重畳映像の点滅が認識され、重畳映像の１セクションが撮影機２０の１撮影ドットとなるので、カメラ部２２は、図６（ｄ１）および図６（ｄ２）で示すように、中間輝度の撮影ドットと低輝度または高輝度の撮影ドットで形成される撮影画像を取得する。管理部２３は、中間輝度の撮影ドットが２次元コードの白レベルとみなし、低輝度または高輝度の撮影ドットが２次元コードの黒レベルと見なすことで、２次元コードを読み取り、その２次元コードをデコードして、２種類のグラフ本体を取得する。
【００６０】
そして、管理部２３は、記憶部２５に記憶されている識別情報と同じ識別情報と対応付けられているグラフ本体を、撮影画像に重ね合わせて表示部２３に表示する。
【００６１】
このとき、撮影画像の各撮影ドットは、重畳映像と同様に高速で点滅しているので、人間には、図６（ａ）に示すように、棒グラフのフレームとして認識される。表示部２３に表示される撮影画像は、グラフ本体が重ね合わされているので、人間には、図６（ｅ１）または図６（ｅ２）のようなフレームとグラフ本体とを有する画像として認識される。
【００６２】
次に本実施形態の映像システムの動作について説明する。
【００６３】
なお、投影機１０では、ＣＰＵ１１は、入力された映像信号およびデータ信号に基づいて、重畳映像信号を生成し、その重畳映像信号を映像表示部１２の表示素子１２Ｂに入力する。表示素子１２Ｂは、光源１２Ａからの光を重畳映像信号に応じて変調して、レンズ部１２Ｃを介して投射面３０に投射して、投射面３０に重畳映像を表示する。また、重畳映像全体がセクションに区切られており、各セクションの点滅パターンには、点滅パターンＡおよびＢがあるものとする。
【００６４】
図７は、撮影機２０の動作を説明するための図である。
【００６５】
なお、撮影機２０の使用者がカメラ部２２を投射面３０に向けて、撮影を開始するための撮影開始操作をキー操作部２１に行う。キー操作部２１は、撮影開始操作を検知し、開始操作検知信号を管理部２３に出力する。管理部２３は、開始操作検知信号を受け付けると、カメラ部２２を駆動させる。
【００６６】
そして、カメラ部２２は、重畳映像の各ドットの点滅を認識する速度で、重畳画像を繰り返し撮影し、その撮影画像を管理部２３に出力する（ステップＳ７０１）。
【００６７】
管理部２３は、撮影画像を受け付け、撮影画像内の各撮影ドットの輝度を解析して、各撮影ドットの輝度の分布である輝度分布（輝度ヒストグラム）を求める（ステップＳ７０２）。
【００６８】
そして、管理部２３は、輝度分布におけるピーク値が予め定められた閾値以上か否かを判断する（ステップＳ７０３）。撮影画像に重畳映像が映っている場合、重畳映像には点滅パターンＢで点滅するドットが含まれており、撮影画像では、点滅パターンＢは高輝度または低輝度の撮影ドットとなるため、輝度分布における高輝度領域または低輝度領域にピークが発生し、そのピーク値は比較的大きくなるので、ピーク値が閾値以上の場合、撮影画像に重畳映像が映っているとみなすことができる。
【００６９】
したがって、管理部２３は、ピーク値が閾値未満の場合、管理部２３は、撮影画像に重畳映像が映っていないと判断して、処理を終了し、ピーク値が閾値以上の場合、撮影画像に重畳映像が映っていると判断し、撮影画像から重畳データを読み取る読取処理を行う。
【００７０】
読取処理では、先ず、管理部２３は、輝度分布のピークが輝度分布の高輝度側にあるか否かを判断する（ステップＳ７０４）。より具体的には、管理部２３は、ピークの輝度が所定輝度以上か否かを判断し、ピークの輝度が所定輝度以上の場合、ピークが高輝度側にあると判断し、ピークの輝度が所定輝度未満の場合、ピークが低輝度側にあると判断する。なお、所定輝度は、輝度分布の中央値または中央値近辺の値である。
【００７１】
ピークが低輝度側にある場合、管理部２３は、第１の所定輝度範囲に含まれる輝度を低輝度とみなし、第１の所定輝度範囲より高輝度側にある第２の所定輝度範囲に含まれる輝度を中間輝度とみなす。そして、管理部２３は、低輝度の撮影ドットを２次元コードにおける黒レベルのコードドットし、中間輝度の撮影ドットを２次元コードにおける白レベルのコードドットとすることで、撮影画像から２次元コードを復元する（ステップＳ７０５）。
【００７２】
そして、管理部２３は、その２次元コードをデコードしてデータを復元し、そのデータを撮影画像に重ね合わせて表示部２４に表示する（ステップＳ７０６）。
【００７３】
なお、データが、図６に示したグラフ本体のような複数の部分データを有し、各部分データが識別情報と対応付けられている場合、管理部２３は、記憶部２５に記憶されている識別情報と同じ識別情報と対応付けられている部分データを撮影画像に重ね合わせて表示部２４に表示する。
【００７４】
また、一般的に、ＱＲコードなどの２次元コードでは、２次コードの領域を特定する位置検出パターンが四隅などに設けられており、２次元コードを読み取る読取装置では、撮影画像から位置検出パターンを判別し、その位置検出パターンに基づいて２次元コードをデコードしている。管理部２３は、この一般的な読取装置と同様に、白レベルおよび黒レベルのコードドットのパターンから位置検出パターンを判別し、その位置検出パターンに基づいて、２次元コードの領域を特定して、２次元コードをデコードする。
【００７５】
ピークが高輝度側にある場合、撮影画像には、重畳映像における点滅パターンＢで点滅しているドットの点灯状態が映されている。このため、撮影画像における高輝度の撮影ドットが２次元コードにおける黒レベルのコードドットとなるが、重畳映像における点灯しているドットの輝度は元の映像信号に依存するので、高輝度の撮影ドットを正確に判断できない可能性がある。
【００７６】
このため、ピークが高輝度側にある場合、管理部２３は、高輝度のピークが明確か否かを判断する（ステップＳ７０７）。より具体的には、管理部２３は、ピーク値が閾値より高い第２の閾値以上か否かを判断し、ピーク値が第２の閾値以上であると、ピークが明確であると判断し、ピーク値が第２の閾値未満であると、ピークが明確でないと判断する。
【００７７】
ピークが明確な場合、管理部２３は、撮影画像の輝度を反転させる。そして、第１の所定輝度範囲に含まれる輝度を低輝度とみなし、第２の所定輝度範囲に含まれる輝度を中間輝度とみなし、低輝度のドットを２次元コードにおける黒レベルのドットとし、高輝度のドットを２次元コードにおける白レベルのドットとして、２次元コードを復元する（ステップＳ７０８）。その後、管理部２３は、ステップＳ７０６の処理を実行する。
【００７８】
一方、ピークが明確でない場合、管理部２３は、現在の撮影画像の前のフレームである前フレーム画像が記憶部２５に記憶されているか否かを判断する（ステップＳ７０９）。
【００７９】
前フレーム画像が記憶されている場合、管理部２３は、前フレーム画像の各ドットの輝度と、現在の撮影画像の各ドットの輝度の差分とをとった差分画像を生成する（ステップＳ７１０）。
【００８０】
図８は、差分画像を説明するための図である。図８に示すように、元の映像にデータが重畳され場合に、現在の撮影画像のピーク値の輝度が高輝度側にあると、前フレーム画像のピーク値の輝度は低輝度側にあることになる。また、中間輝度付近の輝度は、現在の撮影画像と前フレーム画像との間で差異はあまりない。このため、差分画像では、撮影画像および前フレーム画像の中間輝度付近の輝度は、低輝度となり、撮影画像の高輝度（前フレーム画像の低輝度）は、中間輝度となる。
【００８１】
よって、管理部２３は、差分画像の中間輝度のドットを２次元コードにおける黒レベルのコードドットとし、差分画像の低輝度のドットを２次元コードにおける白レベルのドットとし、差分画像の中間輝度のドットを２次元コードにおける黒レベルのドットとすることで２次元コードを復元する（ステップＳ７１２）。
【００８２】
以上説明したように本実施形態によれば、映像を形成するドットがデータに応じて点滅する。また、映像が撮影されて取得される撮影画像の輝度が解析されることによって、撮影画像からデータが読み取られる。このため、表示されている映像に撮影機２０を向けるだけで画像とデータとを取得することができ、特別なハードウェアがなくても、画像の取得時に画像とは別のデータを取得することが可能になる。また、撮影画像から建造物などの特徴部分を抽出する必要がないので、データの提供者は所望のデータを映像の絵杖暗射に取得させることが可能になる。
【００８３】
また、データに含まれる識別情報に応じたデータが映像とともに表示されるので、同じ映像を見ながら、閲覧者の会社、年齢および性別など属性に応じて、閲覧者に提供するデータを変更することが可能になる。
【００８４】
次に本発明の第２の実施形態について説明する。
【００８５】
図９は、本発明に第２の実施形態の映像システムを示す図である。
【００８６】
図９において、映像システムは、映像表示装置１００と、撮影装置２００とを有する。
【００８７】
映像表示装置１００は、制御部１０１と、映像表示部１０２とを有する。
【００８８】
制御部１０１は、ＣＰＵなどの演算装置やメモリなどの記録装置で構成される。また、制御部１０１には、映像信号が入力される。
【００８９】
制御部１０１は、映像信号に応じた映像を形成するドットが重畳用データに応じて点滅するように、映像信号を補正して、映像に重畳用データが重畳された重畳映像を示す重畳映像信号を生成する。なお、重畳用データは、予め制御部１０１が保持していてもよいし、第１の実施形態のように外部から入力されてもよい。
【００９０】
重畳用データの形式は、２次元コードに限らず、バーコードのような１次元コードやその他の形式でもよい。また、重畳用データ（例えば、２次元コード）は、１画面ごとに１つとは限らず、複数あってもよい。この場合、複数のデータを映像に重ね合わせて表示することができる。
【００９１】
映像表示部１０２は、制御部１０１にて生成されて重畳映像信号が示す重畳映像を表示する。映像表示部１０２は、第１の実施形態のように投射面に光を投影して重畳映像を表示するものでもよいし、自身に備わっている表示面に重畳映像を表示するものでもよい。
【００９２】
撮影装置２００は、取得部２０１と、管理部２０２とを有する。
【００９３】
取得部２０１は、映像表示装置１００にて表示された重畳映像を撮影して撮影画像を取得する。管理部２０２は、取得部２０１にて取得された撮影画像を形成するドットの輝度を解析して、撮影画像から重畳映像に重畳されている重畳データを読み取る。
【００９４】
本実施形態でも、第１の実施形態と同様に特別なハードウェアがなくても、画像の取得時に画像とは別のデータを取得することが可能になる。
【００９５】
なお、各実施形態で説明した投影機１０、撮影機２０、映像表示装置１００および撮影装置２００の機能は、専用のハードウェアにて実現されてもよいし、その機能を実現するためのプログラムを、コンピュータにて読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータに読み込ませ実行させることで、実現されてもよい。
【００９６】
以上説明した各実施形態において、図示した構成は単なる一例であって、本発明はその構成に限定されるものではない。
【００９７】
例えば、撮影機１０や撮影装置１００は、携帯電話機、スマートフォン、ゲーム機、タブレット型ＰＣおよびノード型ＰＣなどの端末装置に備わっていてもよい。
【００９８】
また、各実施形態で説明した映像システムは、映像を表示する街頭ディスプレイなどに、広告情報を重畳させて提供する広告システムや、会社の社内発表時に、従業員の部署などの属性に応じたデータを配信するプレゼンテーションシステムなどに適用されてもよい。
【００９９】
また、上記の各実施形態の一部又は全部は、以下の付記のように記載することが可能であるが、以下には限定されない。
【０１００】
[付記１]
映像信号に応じた映像を形成するドットが重畳用データに応じて点滅するように、前記映像信号を補正して、前記映像に前記重畳用データが重畳された重畳映像を示す重畳映像信号を生成する制御部と、
前記重畳映像信号が示す重畳映像を表示する映像表示部と、を有する映像表示装置。
【０１０１】
[付記２]
前記制御部は、前記ドットを複数有する複数のセクションで前記映像が区切られ、前記ドットが点滅する点滅パターンが前記セクション単位で変化するように、前記映像信号を補正する、付記１に記載の映像表示装置。
【０１０２】
[付記３]
前記重畳用データは、２次元コードで表され、
前記制御部は、前記２次元コードの各コードドットと各セクションとを対応させ、前記セクションの点滅パターンが当該セクションに対応するコードドットに応じて変化するように、前記映像信号を補正する、付記２に記載の映像表示装置。
【０１０３】
[付記４]
前記点滅パターンには、前記セクション内の互いに隣接する２つの隣接ドットの一方が点灯し他方が消灯するように、前記セクション内の各ドットが点滅する第１の点滅パターンと、前記セクション内の各ドットが一斉に点滅する第２の点滅パターンを有する、付記２または３に記載の映像表示装置。
【０１０４】
[付記５]
付記１ないし４のいずれかに記載の映像表示装置にて表示された重畳映像を撮影して撮影画像を取得する取得部と、
前記撮影画像を形成するドットの輝度を解析して、前記撮影画像から前記重畳映像に重畳されている重畳用データを読み取る管理部と、を有する撮影装置。
【０１０５】
[付記６]
表示部と、
使用者の属性を特定する識別情報を記憶する記憶部と、をさらに有し、
前記重畳データでは、複数の部分データのそれぞれが前記識別情報と対応付けられ、
前記管理部は、前記記憶部に記憶されている識別情報と同じ識別情報に対応する部分データを前記表示部に表示する、付記５に記載の撮影装置。
【０１０６】
[付記７]
付記１ないし４のいずれかに記載の映像表示装置と、付記５または６に記載の撮影装置とを有する映像システム。
【０１０７】
[付記８]
映像信号に応じた映像を形成するドットが重畳用データに応じて点滅するように、前記映像信号を補正して、前記映像に前記重畳用データが重畳された重畳映像を示す重畳映像信号を生成し、
前記重畳映像信号が示す重畳映像を表示する、表示方法。
【０１０８】
[付記９]
付記１ないし４のいずれかに記載の映像表示装置にて表示された重畳映像を撮影して撮影画像を取得し、
前記撮影画像を形成するドットの輝度を解析して、前記撮影画像から前記重畳映像に重畳されている重畳データを読み取る、情報読取方法。
【０１０９】
[付記１０]
映像信号に応じた映像を形成するドットが重畳用データに応じて点滅するように、前記映像信号を補正して、前記映像に前記重畳用データが重畳された重畳映像を示す重畳映像信号を生成する処理と、
前記重畳映像信号が示す重畳映像を表示する処理と、をコンピュータに実行させるプログラム。
【０１１０】
[付記１１]
付記１ないし４のいずれかに記載の映像表示装置にて表示された重畳映像を撮影して撮影画像を取得する処理と、
前記撮影画像を形成するドットの輝度を解析して、前記撮影画像から前記重畳映像に重畳されている重畳データを読み取る処理と、をコンピュータに実行させるプログラム。
【符号の説明】
【０１１１】
１０ 投影機
１１ ＣＰＵ
１２、１０２ 映像表示部
１２Ａ ＬＥＤ部
１２Ｂ 表示素子
１２Ｃ レンズ部
２ 撮影機
２１ キー操作部
２２ カメラ部
２３、２０２ 管理部
２４ 表示部
２５ 記憶部
１００ 映像表示装置
１０１ 制御部
２００ 撮影装置
２０１ 取得部
【技術分野】
【０００１】
本発明は、映像にデータを重畳させる技術に関する。
【背景技術】
【０００２】
被写体を撮影して画像を取得する撮影装置の分野では、赤外線や光無線通信などを利用して、画像の取得時に、その画像に関連する関連データなどのデータをさらに取得する技術が提案されている。
【０００３】
例えば、特許文献１には、赤外線を発生させる赤外線発光物質で描かれた赤外線マーカーを有する追跡対象体からの光を赤外線と可視光線とに分離して取得し、可視光線に応じた映像と赤外線に応じたデータとを重畳させて表示する拡張リアリティシステム（ＡＲ：Augmented Reality）が記載されている。
【０００４】
また、特許文献２には、被写体を撮影して画像を取得するとともに、その被写体の近傍に配置された光源が光無線通信を用いて送信したデータを取得して、画像とデータとを同時に表示する撮影装置が記載されている。
【０００５】
また、特許文献３には、被写体を撮影することで取得した画像を解析して、その画像から建造物などの特徴部分を抽出し、さらに、その特徴部分に関連したデータを通信ネットワーク上の端末などから取得する重畳情報提示装置が記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特表２００８−５０８５９１号公報
【特許文献２】特開２０１１−００９８０４号公報
【特許文献３】再特ＷＯ２００８／０１６０８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１〜３に記載の技術を用いて画像とは別のデータを取得するためには、特別なハードウェアが必要になるという問題がある。
【０００８】
例えば、特許文献１に記載の拡張リアリティシステムでは、赤外線と可視光線を分離するための光学部材が必要となる。また、特許文献２に記載の撮影装置では、光無線通信が可能な光源が必要であり、さらには、撮影装置に光無線通信を行う受信機が必要となる。また、特許文献３に記載の重畳情報提示装置では、通信ネットワークと接続するための通信装置が必要となる。
【０００９】
なお、特許文献３に記載の重畳情報提示装置が取得できるデータは、映像の特徴部分に関連したデータに限られているため、映像の閲覧者に対してデータの提供者が所望のデータを必ずしも取得させることができないという問題もある。
【００１０】
本発明の目的は、特別なハードウェアがなくても、画像の取得時に画像とは別のデータを取得することが可能な映像表示装置、撮影装置、映像システム、表示方法、情報読取方法およびプログラムを提供することである。
【課題を解決するための手段】
【００１１】
本発明による映像表示装置は、映像信号に応じた映像を形成するドットが重畳用データに応じて点滅するように、前記映像信号を補正して、前記映像に前記重畳用データが重畳された重畳映像を示す重畳映像信号を生成する制御部と、前記重畳映像信号が示す重畳映像を表示する映像表示部と、を有する。
【００１２】
本発明による撮影装置は、前記映像表示装置にて表示された重畳映像を撮影して撮影画像を取得する取得部と、前記撮影画像を形成するドットの輝度を解析して、前記撮影画像から前記重畳映像に重畳されている重畳データを読み取る管理部と、を有する。
【００１３】
本発明による映像システムは、前記映像表示装置と前記撮影装置とを有する。
【００１４】
本発明による表示方法は、映像信号に応じた映像を形成するドットが重畳用データに応じて点滅するように、前記映像信号を補正して、前記映像に前記重畳用データが重畳された重畳映像を示す重畳映像信号を生成し、前記重畳映像信号が示す重畳映像を表示する。
【００１５】
本発明による情報読取方法は、前記映像表示装置にて表示された重畳映像を撮影して撮影画像を取得し、前記撮影画像を形成するドットの輝度を解析して、前記撮影画像から前記重畳映像に重畳されている重畳データを読み取る。
【００１６】
本発明による第１のプログラムは、映像信号に応じた映像を形成するドットが重畳用データに応じて点滅するように、前記映像信号を補正して、前記映像に前記重畳用データが重畳された重畳映像を示す重畳映像信号を生成する処理と、前記重畳映像信号が示す重畳映像を表示する処理と、をコンピュータに実行させる。
【００１７】
本発明による第２のプログラムは、前記映像表示装置にて表示された重畳映像を撮影して撮影画像を取得する処理と、前記撮影画像を形成するドットの輝度を解析して、前記撮影画像から前記重畳映像に重畳されている重畳データを読み取る処理と、をコンピュータに実行させる。
【発明の効果】
【００１８】
本発明によれば、特別なハードウェアがなくても、画像の取得時に画像とは別のデータを取得することが可能になる。
【図面の簡単な説明】
【００１９】
【図１】本発明の第１の実施形態の映像システムを示す図である。
【図２】投影機の構成の一例を示すブロック図である。
【図３】撮影機の構成の一例を示すブロック図である。
【図４】映像内の各ドットの点滅パターンと撮影画像の各撮影ドットの対応関係の一例を説明するための図である。
【図５】２次元コード、セクションおよび点滅パターンの対応関係の一例を示す図である。
【図６】映像とデータの一例を示す図である。
【図７】撮影機の動作の一例を示すフローチャートである。
【図８】差分画像を説明するための図である。
【図９】本発明の第２の実施形態の映像システムを示す図である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施形態について図面を参照して説明する。なお、以下の説明では、同じ機能を有するものには同じ符号を付け、その説明を省略する場合がある。
【００２１】
図１は、本発明の第１の実施形態の映像システムを示す図である。図１において、映像システムは、投影機１０と、撮影機２０とを有する。
【００２２】
投影機１０は、映像を表示する映像表示装置であり、より具体的には、スクリーンのような投射面３０に映像を投影して表示するプロジェクタである。撮影機２０は、周囲を撮影して撮影画像を取得する撮影装置である。
【００２３】
図２は、投影機１０の構成の一例を示すブロック図である。図２において、投影機１０は、ＣＰＵ１１と、映像表示部１２とを有する。
【００２４】
ＣＰＵ１１は、プログラムにて制御されることで、下記の機能を実現する制御部である。
【００２５】
ＣＰＵ１１には、パーソナルコンピュータのような外部装置（不図示）から、複数のドットで形成される映像を示す映像信号と、その映像信号に重畳するデータを示すデータ信号とが入力される。
【００２６】
ＣＰＵ１１は、データ信号にて示されるデータに応じて、映像信号が示す映像を形成するドットである映像ドットが点滅するように、映像信号をデータに基づいて補正して、データが重畳された映像である重畳映像を示す重畳映像信号を生成する。なお、データ信号にて示されるデータは、重畳用データの一例である。
【００２７】
映像表示部１２は、ＣＰＵ１１にて生成された重畳映像信号に基づいて、重畳映像信号が示す重畳映像を投射面３０に投影して表示する。
【００２８】
より具体的には、映像表示部１２は、ＬＥＤ（Light Emitting Diode）部１２Ａと、表示素子１２Ｂと、レンズ部１２Ｃとを有する。
【００２９】
ＬＥＤ部１２Ａは、表示素子１２Ｂに光を入射させる光源である。表示素子１２Ｂは、ＬＥＤ部１２Ａからの光を重畳映像信号に応じて変調して、レンズ部１２Ｃを介して投射面３０に投影することで、重畳映像を投射面３０に表示する。なお、光源は、ＬＥＤに限らず、適宜変更可能である。また、表示素子１２Ｂとしては、例えば、液晶パネルなどが挙げられる。
【００３０】
図３は、撮影機２０の構成の一例を示すブロック図である。図３において、撮影機２０は、キー操作部２１と、カメラ部２２と、管理部２３と、表示部２４と、記憶部２５とを有する。
【００３１】
キー操作部２１は、ユーザからの種々の操作を検知する。例えば、キー操作部２１は、所定のキーの押下を、撮影を開始するための撮影開始操作として検知する。
【００３２】
カメラ部２２は、キー操作部２１にて撮影開始操作が検知されると、周囲を撮影して撮影画像を取得する映像取得部である。以下では、カメラ部２２は、投影機１０が投射面３０に表示した重畳映像を撮影して、重畳映像を示す撮影画像を取得するものとする。
【００３３】
管理部２３は、例えば、ＣＰＵなどの演算装置やメモリなどの記録装置で構成される。また、管理部２３は、カメラ部２２で取得された撮影画像を形成する撮影ドットの輝度を解析して、重畳映像に重畳されているデータを撮影画像から読み取り、その読み取ったデータと撮影画像を表示部２４に表示する。
【００３４】
記憶部２５は、種々の情報を記憶する。例えば、記憶部２５は、撮影機２０の使用者の属性を特定する識別情報であるグループＩＤを記憶する。属性としては、例えば、所属会社、年齢および性別などが挙げられる。
【００３５】
以下、データの重畳と読み取りについてより詳細に説明する。なお、本実施形態におけるデータの重畳と読み取りは、肉眼で発生する残存現象と、投影機１０および撮影機２０の解像度および処理速度の相違を利用するものである。
【００３６】
上述したように投影機１０において、ＣＰＵ１１は、映像信号が示す映像を形成する映像ドットがデータに応じて点滅するように、映像信号をデータに基づいて補正する。
【００３７】
このとき、ＣＰＵ１１は、複数の映像ドットで形成された複数のセクションで映像が区切られ、そのセクション単位で、セクション内の各映像ドットが点滅する点滅パターンが変化するように、映像信号をデータに応じて補正する。
【００３８】
なお、映像は、水平方向および垂直方向のそれぞれに映像ドットが並んだドットマトリックスで形成されているものとし、セクションは、映像の水平方向および垂直方向のそれぞれについて、連続した複数の映像ドットを有するものとしている。
【００３９】
また、ＣＰＵ１１は、全ての点滅パターンにおいて、表示された重畳映像の各表示ドットが人間には連続して点灯していると視認されるような点滅速度で点滅するように、映像信号を補正するものとする。この場合、人間には、各表示ドットが点灯時の輝度と消灯時の輝度との中間の輝度で連続して点灯されているように認識される。このため、人間に認識される、映像信号に応じた元の映像の各映像ドットの輝度と、重畳映像を形成する各表示ドットの輝度との差異ができるだけ小さくするために、ＣＰＵ１１は、重畳映像内の点灯時の各表示ドットの輝度が元の映像ドットの輝度よりも高くなるように、映像信号を補正することが望ましい。
【００４０】
一方、撮影機２０のカメラ部２２にて撮影画像を取得する認識速度は、重畳映像内の各各表示ドットの点滅を認識できる速度であるとする。また、カメラ部２２は、重畳映像の各表示ドットを個別に認識できず、重畳映像内の１セクションが、撮影画像の１撮影ドットとなるような解像度を有するものとする。
【００４１】
図４は、重畳映像の各表示ドットの点滅パターンと撮影画像の各撮影ドットとの対応関係の一例を説明するための図である。なお、図４では、セクションは、重畳映像の水平方向および垂直方向のそれぞれについて２表示ドットずつ有するものとしている。
【００４２】
図４では、点滅パターンとして、第１の点滅パターンである点滅パターンＡと、第２の点滅パターンである点滅パターンＢの２種類のパターンがある。
【００４３】
点滅パターンＡは、セクション内の互いに隣接する２つの隣接ドットの点灯状態が反転しているパターンである。つまり、点滅パターンＡでは、隣接ドットの一方が点灯し、隣接ドットの他方が消灯するように、セクション内の各表示ドットが点滅する。
【００４４】
したがって、重畳映像の１セクションが撮影画像の１撮影ドットとなるので、点滅パターンＡのセクションは、撮影画像では、点灯している表示ドットと消灯している表示ドットとが合わさって、表示ドットの点灯時の輝度に対応する高輝度と、表示ドットの消灯時の輝度に対応する低輝度との中間の輝度である中間輝度を有する撮影ドットとなる。
【００４５】
一方、点滅パターンＢは、セクション内の全ての表示ドットの点灯状態が同じになるパターンである。つまり、点滅パターンＢでは、セクション内の全ての表示ドットが同時に点滅する。
【００４６】
したがって、点滅パターンＢのセクションは、撮影画像では、点灯している表示ドットだけが合わさるか、または、消灯している表示ドットだけが合わさるので、撮影画像では、表示ドットの点灯時の輝度に対応する高輝度、または、表示ドットの消灯時の輝度に対応する低輝度を有する撮影ドットとなる。
【００４７】
この場合、撮影機２０の管理部２３は、撮影画像の各撮影ドットの輝度を解析して、撮影画像から重畳データを読み取る。
【００４８】
データの重畳と読み取りの具体的を説明する。
【００４９】
以下では、データ信号が示すデータは、ＱＲコード（登録商標）のような２次元のドットパターンである２次元コードの形式で表現されているものとする。また、２次元コードは、黒レベルのコードドットと白レベルのコードドットで構成されているものとする。
【００５０】
データが２次元コードで表現されている場合、ＣＰＵ１１は、２次元コードの各コードドットと、映像信号が示す映像の各セクションとを対応させ、各セクションの点滅パターンがそのセクションに対応するコードドットに応じて変化するように、映像信号を補正する。
【００５１】
図５は、２次元コード、セクションおよび点滅パターンの対応関係の一例を示す図である。
【００５２】
図５では、映像内の４つのセクション１〜４と、そのセクションに対応する２次元コードが示されている。また、セクション１に対応するコードドットが白レベルであり、セクション２〜４のそれぞれに対応するコードドットが黒レベルである。
【００５３】
このとき、例えば、ＣＰＵ１１は、白レベルのコードドットに対応するセクション１が点滅パターンＡで点滅し、黒レベルのコードドットに対応するセクション２〜４のそれぞれが点滅パターンＢで点滅するように、映像信号を補正することで、重畳映像信号を生成する。
【００５４】
撮影機２０のカメラ部２２は、重畳映像の１セッションを１撮影ドットとして認識するので、上記のように生成された重畳映像信号に応じた重畳映像を撮影すると、図４に示すように、点滅パターンＡのセクションは、撮影画像では、中間輝度を有する撮影ドットとなり、点滅パターンＢのセクションは、撮影画像では、低輝度または高輝度を有する撮影ドットとなる。このため、セクション１に対応する撮影ドットの輝度は、中間輝度となり、セクション２〜４のそれぞれに対応する撮影ドットの輝度は、低輝度または高輝度となる。
【００５５】
管理部２３は、撮影画像の各ドットの輝度を解析して、中間輝度の撮影ドットを２次元コードにおける白レベルのコードドットとみなし、低輝度または高輝度の撮影ドットを２次元コードにおける黒レベルのコードドットとみなすことで、撮影画像から２次元コードを読み取る。そして、管理部２３は、２次元コードをデコードして元のデータを取得し、そのデータと撮影画像とを表示部２４に表示する。
【００５６】
図６は、映像とデータの一例を示す図である。
【００５７】
図６の例では、映像信号が示す映像は、図６（ａ）に示すように、棒グラフの座標軸であるフレームのみを表す。また、データ信号が示すデータは、棒グラフの棒であるグラフ本体を有する。より具体的には、データは、図６（ｂ１）および図６（ｂ２）の実線で示すように、２種類のグラフ本体を有し、各グラフ本体には、撮影機２０の使用者を特定する識別情報が対応付けられている。さらに、データは、２次元コードの形式で表されている。この場合、映像とデータとが重畳された重畳映像は、図６（ｃ）に示すように、点灯している表示ドットと消灯している表示ドットとで形成される。
【００５８】
しかしながら、重畳映像の点滅は人間には認識されないので、人間には、図６（ａ）で示したように、フレームのみが認識される。
【００５９】
一方、撮影機２０では、重畳映像の点滅が認識され、重畳映像の１セクションが撮影機２０の１撮影ドットとなるので、カメラ部２２は、図６（ｄ１）および図６（ｄ２）で示すように、中間輝度の撮影ドットと低輝度または高輝度の撮影ドットで形成される撮影画像を取得する。管理部２３は、中間輝度の撮影ドットが２次元コードの白レベルとみなし、低輝度または高輝度の撮影ドットが２次元コードの黒レベルと見なすことで、２次元コードを読み取り、その２次元コードをデコードして、２種類のグラフ本体を取得する。
【００６０】
そして、管理部２３は、記憶部２５に記憶されている識別情報と同じ識別情報と対応付けられているグラフ本体を、撮影画像に重ね合わせて表示部２３に表示する。
【００６１】
このとき、撮影画像の各撮影ドットは、重畳映像と同様に高速で点滅しているので、人間には、図６（ａ）に示すように、棒グラフのフレームとして認識される。表示部２３に表示される撮影画像は、グラフ本体が重ね合わされているので、人間には、図６（ｅ１）または図６（ｅ２）のようなフレームとグラフ本体とを有する画像として認識される。
【００６２】
次に本実施形態の映像システムの動作について説明する。
【００６３】
なお、投影機１０では、ＣＰＵ１１は、入力された映像信号およびデータ信号に基づいて、重畳映像信号を生成し、その重畳映像信号を映像表示部１２の表示素子１２Ｂに入力する。表示素子１２Ｂは、光源１２Ａからの光を重畳映像信号に応じて変調して、レンズ部１２Ｃを介して投射面３０に投射して、投射面３０に重畳映像を表示する。また、重畳映像全体がセクションに区切られており、各セクションの点滅パターンには、点滅パターンＡおよびＢがあるものとする。
【００６４】
図７は、撮影機２０の動作を説明するための図である。
【００６５】
なお、撮影機２０の使用者がカメラ部２２を投射面３０に向けて、撮影を開始するための撮影開始操作をキー操作部２１に行う。キー操作部２１は、撮影開始操作を検知し、開始操作検知信号を管理部２３に出力する。管理部２３は、開始操作検知信号を受け付けると、カメラ部２２を駆動させる。
【００６６】
そして、カメラ部２２は、重畳映像の各ドットの点滅を認識する速度で、重畳画像を繰り返し撮影し、その撮影画像を管理部２３に出力する（ステップＳ７０１）。
【００６７】
管理部２３は、撮影画像を受け付け、撮影画像内の各撮影ドットの輝度を解析して、各撮影ドットの輝度の分布である輝度分布（輝度ヒストグラム）を求める（ステップＳ７０２）。
【００６８】
そして、管理部２３は、輝度分布におけるピーク値が予め定められた閾値以上か否かを判断する（ステップＳ７０３）。撮影画像に重畳映像が映っている場合、重畳映像には点滅パターンＢで点滅するドットが含まれており、撮影画像では、点滅パターンＢは高輝度または低輝度の撮影ドットとなるため、輝度分布における高輝度領域または低輝度領域にピークが発生し、そのピーク値は比較的大きくなるので、ピーク値が閾値以上の場合、撮影画像に重畳映像が映っているとみなすことができる。
【００６９】
したがって、管理部２３は、ピーク値が閾値未満の場合、管理部２３は、撮影画像に重畳映像が映っていないと判断して、処理を終了し、ピーク値が閾値以上の場合、撮影画像に重畳映像が映っていると判断し、撮影画像から重畳データを読み取る読取処理を行う。
【００７０】
読取処理では、先ず、管理部２３は、輝度分布のピークが輝度分布の高輝度側にあるか否かを判断する（ステップＳ７０４）。より具体的には、管理部２３は、ピークの輝度が所定輝度以上か否かを判断し、ピークの輝度が所定輝度以上の場合、ピークが高輝度側にあると判断し、ピークの輝度が所定輝度未満の場合、ピークが低輝度側にあると判断する。なお、所定輝度は、輝度分布の中央値または中央値近辺の値である。
【００７１】
ピークが低輝度側にある場合、管理部２３は、第１の所定輝度範囲に含まれる輝度を低輝度とみなし、第１の所定輝度範囲より高輝度側にある第２の所定輝度範囲に含まれる輝度を中間輝度とみなす。そして、管理部２３は、低輝度の撮影ドットを２次元コードにおける黒レベルのコードドットし、中間輝度の撮影ドットを２次元コードにおける白レベルのコードドットとすることで、撮影画像から２次元コードを復元する（ステップＳ７０５）。
【００７２】
そして、管理部２３は、その２次元コードをデコードしてデータを復元し、そのデータを撮影画像に重ね合わせて表示部２４に表示する（ステップＳ７０６）。
【００７３】
なお、データが、図６に示したグラフ本体のような複数の部分データを有し、各部分データが識別情報と対応付けられている場合、管理部２３は、記憶部２５に記憶されている識別情報と同じ識別情報と対応付けられている部分データを撮影画像に重ね合わせて表示部２４に表示する。
【００７４】
また、一般的に、ＱＲコードなどの２次元コードでは、２次コードの領域を特定する位置検出パターンが四隅などに設けられており、２次元コードを読み取る読取装置では、撮影画像から位置検出パターンを判別し、その位置検出パターンに基づいて２次元コードをデコードしている。管理部２３は、この一般的な読取装置と同様に、白レベルおよび黒レベルのコードドットのパターンから位置検出パターンを判別し、その位置検出パターンに基づいて、２次元コードの領域を特定して、２次元コードをデコードする。
【００７５】
ピークが高輝度側にある場合、撮影画像には、重畳映像における点滅パターンＢで点滅しているドットの点灯状態が映されている。このため、撮影画像における高輝度の撮影ドットが２次元コードにおける黒レベルのコードドットとなるが、重畳映像における点灯しているドットの輝度は元の映像信号に依存するので、高輝度の撮影ドットを正確に判断できない可能性がある。
【００７６】
このため、ピークが高輝度側にある場合、管理部２３は、高輝度のピークが明確か否かを判断する（ステップＳ７０７）。より具体的には、管理部２３は、ピーク値が閾値より高い第２の閾値以上か否かを判断し、ピーク値が第２の閾値以上であると、ピークが明確であると判断し、ピーク値が第２の閾値未満であると、ピークが明確でないと判断する。
【００７７】
ピークが明確な場合、管理部２３は、撮影画像の輝度を反転させる。そして、第１の所定輝度範囲に含まれる輝度を低輝度とみなし、第２の所定輝度範囲に含まれる輝度を中間輝度とみなし、低輝度のドットを２次元コードにおける黒レベルのドットとし、高輝度のドットを２次元コードにおける白レベルのドットとして、２次元コードを復元する（ステップＳ７０８）。その後、管理部２３は、ステップＳ７０６の処理を実行する。
【００７８】
一方、ピークが明確でない場合、管理部２３は、現在の撮影画像の前のフレームである前フレーム画像が記憶部２５に記憶されているか否かを判断する（ステップＳ７０９）。
【００７９】
前フレーム画像が記憶されている場合、管理部２３は、前フレーム画像の各ドットの輝度と、現在の撮影画像の各ドットの輝度の差分とをとった差分画像を生成する（ステップＳ７１０）。
【００８０】
図８は、差分画像を説明するための図である。図８に示すように、元の映像にデータが重畳され場合に、現在の撮影画像のピーク値の輝度が高輝度側にあると、前フレーム画像のピーク値の輝度は低輝度側にあることになる。また、中間輝度付近の輝度は、現在の撮影画像と前フレーム画像との間で差異はあまりない。このため、差分画像では、撮影画像および前フレーム画像の中間輝度付近の輝度は、低輝度となり、撮影画像の高輝度（前フレーム画像の低輝度）は、中間輝度となる。
【００８１】
よって、管理部２３は、差分画像の中間輝度のドットを２次元コードにおける黒レベルのコードドットとし、差分画像の低輝度のドットを２次元コードにおける白レベルのドットとし、差分画像の中間輝度のドットを２次元コードにおける黒レベルのドットとすることで２次元コードを復元する（ステップＳ７１２）。
【００８２】
以上説明したように本実施形態によれば、映像を形成するドットがデータに応じて点滅する。また、映像が撮影されて取得される撮影画像の輝度が解析されることによって、撮影画像からデータが読み取られる。このため、表示されている映像に撮影機２０を向けるだけで画像とデータとを取得することができ、特別なハードウェアがなくても、画像の取得時に画像とは別のデータを取得することが可能になる。また、撮影画像から建造物などの特徴部分を抽出する必要がないので、データの提供者は所望のデータを映像の絵杖暗射に取得させることが可能になる。
【００８３】
また、データに含まれる識別情報に応じたデータが映像とともに表示されるので、同じ映像を見ながら、閲覧者の会社、年齢および性別など属性に応じて、閲覧者に提供するデータを変更することが可能になる。
【００８４】
次に本発明の第２の実施形態について説明する。
【００８５】
図９は、本発明に第２の実施形態の映像システムを示す図である。
【００８６】
図９において、映像システムは、映像表示装置１００と、撮影装置２００とを有する。
【００８７】
映像表示装置１００は、制御部１０１と、映像表示部１０２とを有する。
【００８８】
制御部１０１は、ＣＰＵなどの演算装置やメモリなどの記録装置で構成される。また、制御部１０１には、映像信号が入力される。
【００８９】
制御部１０１は、映像信号に応じた映像を形成するドットが重畳用データに応じて点滅するように、映像信号を補正して、映像に重畳用データが重畳された重畳映像を示す重畳映像信号を生成する。なお、重畳用データは、予め制御部１０１が保持していてもよいし、第１の実施形態のように外部から入力されてもよい。
【００９０】
重畳用データの形式は、２次元コードに限らず、バーコードのような１次元コードやその他の形式でもよい。また、重畳用データ（例えば、２次元コード）は、１画面ごとに１つとは限らず、複数あってもよい。この場合、複数のデータを映像に重ね合わせて表示することができる。
【００９１】
映像表示部１０２は、制御部１０１にて生成されて重畳映像信号が示す重畳映像を表示する。映像表示部１０２は、第１の実施形態のように投射面に光を投影して重畳映像を表示するものでもよいし、自身に備わっている表示面に重畳映像を表示するものでもよい。
【００９２】
撮影装置２００は、取得部２０１と、管理部２０２とを有する。
【００９３】
取得部２０１は、映像表示装置１００にて表示された重畳映像を撮影して撮影画像を取得する。管理部２０２は、取得部２０１にて取得された撮影画像を形成するドットの輝度を解析して、撮影画像から重畳映像に重畳されている重畳データを読み取る。
【００９４】
本実施形態でも、第１の実施形態と同様に特別なハードウェアがなくても、画像の取得時に画像とは別のデータを取得することが可能になる。
【００９５】
なお、各実施形態で説明した投影機１０、撮影機２０、映像表示装置１００および撮影装置２００の機能は、専用のハードウェアにて実現されてもよいし、その機能を実現するためのプログラムを、コンピュータにて読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータに読み込ませ実行させることで、実現されてもよい。
【００９６】
以上説明した各実施形態において、図示した構成は単なる一例であって、本発明はその構成に限定されるものではない。
【００９７】
例えば、撮影機１０や撮影装置１００は、携帯電話機、スマートフォン、ゲーム機、タブレット型ＰＣおよびノード型ＰＣなどの端末装置に備わっていてもよい。
【００９８】
また、各実施形態で説明した映像システムは、映像を表示する街頭ディスプレイなどに、広告情報を重畳させて提供する広告システムや、会社の社内発表時に、従業員の部署などの属性に応じたデータを配信するプレゼンテーションシステムなどに適用されてもよい。
【００９９】
また、上記の各実施形態の一部又は全部は、以下の付記のように記載することが可能であるが、以下には限定されない。
【０１００】
[付記１]
映像信号に応じた映像を形成するドットが重畳用データに応じて点滅するように、前記映像信号を補正して、前記映像に前記重畳用データが重畳された重畳映像を示す重畳映像信号を生成する制御部と、
前記重畳映像信号が示す重畳映像を表示する映像表示部と、を有する映像表示装置。
【０１０１】
[付記２]
前記制御部は、前記ドットを複数有する複数のセクションで前記映像が区切られ、前記ドットが点滅する点滅パターンが前記セクション単位で変化するように、前記映像信号を補正する、付記１に記載の映像表示装置。
【０１０２】
[付記３]
前記重畳用データは、２次元コードで表され、
前記制御部は、前記２次元コードの各コードドットと各セクションとを対応させ、前記セクションの点滅パターンが当該セクションに対応するコードドットに応じて変化するように、前記映像信号を補正する、付記２に記載の映像表示装置。
【０１０３】
[付記４]
前記点滅パターンには、前記セクション内の互いに隣接する２つの隣接ドットの一方が点灯し他方が消灯するように、前記セクション内の各ドットが点滅する第１の点滅パターンと、前記セクション内の各ドットが一斉に点滅する第２の点滅パターンを有する、付記２または３に記載の映像表示装置。
【０１０４】
[付記５]
付記１ないし４のいずれかに記載の映像表示装置にて表示された重畳映像を撮影して撮影画像を取得する取得部と、
前記撮影画像を形成するドットの輝度を解析して、前記撮影画像から前記重畳映像に重畳されている重畳用データを読み取る管理部と、を有する撮影装置。
【０１０５】
[付記６]
表示部と、
使用者の属性を特定する識別情報を記憶する記憶部と、をさらに有し、
前記重畳データでは、複数の部分データのそれぞれが前記識別情報と対応付けられ、
前記管理部は、前記記憶部に記憶されている識別情報と同じ識別情報に対応する部分データを前記表示部に表示する、付記５に記載の撮影装置。
【０１０６】
[付記７]
付記１ないし４のいずれかに記載の映像表示装置と、付記５または６に記載の撮影装置とを有する映像システム。
【０１０７】
[付記８]
映像信号に応じた映像を形成するドットが重畳用データに応じて点滅するように、前記映像信号を補正して、前記映像に前記重畳用データが重畳された重畳映像を示す重畳映像信号を生成し、
前記重畳映像信号が示す重畳映像を表示する、表示方法。
【０１０８】
[付記９]
付記１ないし４のいずれかに記載の映像表示装置にて表示された重畳映像を撮影して撮影画像を取得し、
前記撮影画像を形成するドットの輝度を解析して、前記撮影画像から前記重畳映像に重畳されている重畳データを読み取る、情報読取方法。
【０１０９】
[付記１０]
映像信号に応じた映像を形成するドットが重畳用データに応じて点滅するように、前記映像信号を補正して、前記映像に前記重畳用データが重畳された重畳映像を示す重畳映像信号を生成する処理と、
前記重畳映像信号が示す重畳映像を表示する処理と、をコンピュータに実行させるプログラム。
【０１１０】
[付記１１]
付記１ないし４のいずれかに記載の映像表示装置にて表示された重畳映像を撮影して撮影画像を取得する処理と、
前記撮影画像を形成するドットの輝度を解析して、前記撮影画像から前記重畳映像に重畳されている重畳データを読み取る処理と、をコンピュータに実行させるプログラム。
【符号の説明】
【０１１１】
１０ 投影機
１１ ＣＰＵ
１２、１０２ 映像表示部
１２Ａ ＬＥＤ部
１２Ｂ 表示素子
１２Ｃ レンズ部
２ 撮影機
２１ キー操作部
２２ カメラ部
２３、２０２ 管理部
２４ 表示部
２５ 記憶部
１００ 映像表示装置
１０１ 制御部
２００ 撮影装置
２０１ 取得部
【特許請求の範囲】
【請求項１】
映像信号に応じた映像を形成するドットが重畳用データに応じて点滅するように、前記映像信号を補正して、前記映像に前記重畳用データが重畳された重畳映像を示す重畳映像信号を生成する制御部と、
前記重畳映像信号が示す重畳映像を表示する映像表示部と、を有する映像表示装置。
【請求項２】
前記制御部は、前記ドットを複数有する複数のセクションで前記映像が区切られ、前記ドットが点滅する点滅パターンが前記セクション単位で変化するように、前記映像信号を補正する、請求項１に記載の映像表示装置。
【請求項３】
前記重畳用データは、２次元コードで表され、
前記制御部は、前記２次元コードの各コードドットと各セクションとを対応させ、前記セクションの点滅パターンが当該セクションに対応するコードドットに応じて変化するように、前記映像信号を補正する、請求項２に記載の映像表示装置。
【請求項４】
前記点滅パターンには、前記セクション内の互いに隣接する２つの隣接ドットの一方が点灯し他方が消灯するように、前記セクション内の各ドットが点滅する第１の点滅パターンと、前記セクション内の各ドットが一斉に点滅する第２の点滅パターンを有する、請求項２または３に記載の映像表示装置。
【請求項５】
請求項１ないし４のいずれかに記載の映像表示装置にて表示された重畳映像を撮影して撮影画像を取得する取得部と、
前記撮影画像を形成するドットの輝度を解析して、前記撮影画像から前記重畳映像に重畳されている重畳用データを読み取る管理部と、を有する撮影装置。
【請求項６】
請求項１ないし４のいずれかに記載の映像表示装置と、請求項５に記載の撮影装置とを有する映像システム。
【請求項７】
映像信号に応じた映像を形成するドットが重畳用データに応じて点滅するように、前記映像信号を補正して、前記映像に前記重畳用データが重畳された重畳映像を示す重畳映像信号を生成し、
前記重畳映像信号が示す重畳映像を表示する、表示方法。
【請求項８】
請求項１ないし４のいずれかに記載の映像表示装置にて表示された重畳映像を撮影して撮影画像を取得し、
前記撮影画像を形成するドットの輝度を解析して、前記撮影画像から前記重畳映像に重畳されている重畳データを読み取る、情報読取方法。
【請求項９】
映像信号に応じた映像を形成するドットが重畳用データに応じて点滅するように、前記映像信号を補正して、前記映像に前記重畳用データが重畳された重畳映像を示す重畳映像信号を生成する処理と、
前記重畳映像信号が示す重畳映像を表示する処理と、をコンピュータに実行させるプログラム。
【請求項１０】
請求項１ないし４のいずれかに記載の映像表示装置にて表示された重畳映像を撮影して撮影画像を取得する処理と、
前記撮影画像を形成するドットの輝度を解析して、前記撮影画像から前記重畳映像に重畳されている重畳データを読み取る処理と、をコンピュータに実行させるプログラム。
【請求項１】
映像信号に応じた映像を形成するドットが重畳用データに応じて点滅するように、前記映像信号を補正して、前記映像に前記重畳用データが重畳された重畳映像を示す重畳映像信号を生成する制御部と、
前記重畳映像信号が示す重畳映像を表示する映像表示部と、を有する映像表示装置。
【請求項２】
前記制御部は、前記ドットを複数有する複数のセクションで前記映像が区切られ、前記ドットが点滅する点滅パターンが前記セクション単位で変化するように、前記映像信号を補正する、請求項１に記載の映像表示装置。
【請求項３】
前記重畳用データは、２次元コードで表され、
前記制御部は、前記２次元コードの各コードドットと各セクションとを対応させ、前記セクションの点滅パターンが当該セクションに対応するコードドットに応じて変化するように、前記映像信号を補正する、請求項２に記載の映像表示装置。
【請求項４】
前記点滅パターンには、前記セクション内の互いに隣接する２つの隣接ドットの一方が点灯し他方が消灯するように、前記セクション内の各ドットが点滅する第１の点滅パターンと、前記セクション内の各ドットが一斉に点滅する第２の点滅パターンを有する、請求項２または３に記載の映像表示装置。
【請求項５】
請求項１ないし４のいずれかに記載の映像表示装置にて表示された重畳映像を撮影して撮影画像を取得する取得部と、
前記撮影画像を形成するドットの輝度を解析して、前記撮影画像から前記重畳映像に重畳されている重畳用データを読み取る管理部と、を有する撮影装置。
【請求項６】
請求項１ないし４のいずれかに記載の映像表示装置と、請求項５に記載の撮影装置とを有する映像システム。
【請求項７】
映像信号に応じた映像を形成するドットが重畳用データに応じて点滅するように、前記映像信号を補正して、前記映像に前記重畳用データが重畳された重畳映像を示す重畳映像信号を生成し、
前記重畳映像信号が示す重畳映像を表示する、表示方法。
【請求項８】
請求項１ないし４のいずれかに記載の映像表示装置にて表示された重畳映像を撮影して撮影画像を取得し、
前記撮影画像を形成するドットの輝度を解析して、前記撮影画像から前記重畳映像に重畳されている重畳データを読み取る、情報読取方法。
【請求項９】
映像信号に応じた映像を形成するドットが重畳用データに応じて点滅するように、前記映像信号を補正して、前記映像に前記重畳用データが重畳された重畳映像を示す重畳映像信号を生成する処理と、
前記重畳映像信号が示す重畳映像を表示する処理と、をコンピュータに実行させるプログラム。
【請求項１０】
請求項１ないし４のいずれかに記載の映像表示装置にて表示された重畳映像を撮影して撮影画像を取得する処理と、
前記撮影画像を形成するドットの輝度を解析して、前記撮影画像から前記重畳映像に重畳されている重畳データを読み取る処理と、をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−２４９２５７（Ｐ２０１２−２４９２５７Ａ）
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願番号】特願２０１１−１２１８７３（Ｐ２０１１−１２１８７３）
【出願日】平成２３年５月３１日（２０１１．５．３１）
【出願人】（３１０００６８５５）ＮＥＣカシオモバイルコミュニケーションズ株式会社 (1,081)
【Ｆターム（参考）】
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願日】平成２３年５月３１日（２０１１．５．３１）
【出願人】（３１０００６８５５）ＮＥＣカシオモバイルコミュニケーションズ株式会社 (1,081)
【Ｆターム（参考）】
[ Back to top ]