画像データ処理システム、および画像データ処理方法、並びにコンピュータ・プログラム
【課題】ディスプレイイメージと空間イメージを併せて再現する構成を実現する。
【解決手段】カメラによって撮影された空間画像データを取得し、さらに、ＰＣなどの情報処理装置のディスプレイ表示データである画面表示データを取得し、空間画像データと画面表示データとの合成画像を生成して出力する。合成画像生成処理においては、空間画像データ中のディスプレイ表示位置に画面表示データを設定した合成画像を生成する。本構成により、ディスプレイに表示されたデータの再現に際して、その時点の空間イメージを併せて再現することが可能となり、実空間における状況の再現をよりリアルに行なうことが可能となる。
【解決手段】カメラによって撮影された空間画像データを取得し、さらに、ＰＣなどの情報処理装置のディスプレイ表示データである画面表示データを取得し、空間画像データと画面表示データとの合成画像を生成して出力する。合成画像生成処理においては、空間画像データ中のディスプレイ表示位置に画面表示データを設定した合成画像を生成する。本構成により、ディスプレイに表示されたデータの再現に際して、その時点の空間イメージを併せて再現することが可能となり、実空間における状況の再現をよりリアルに行なうことが可能となる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データ処理システム、および画像データ処理方法、並びにコンピュータ・プログラムに関する。さらに詳細には、空間イメージとディスプレイイメージとを併せて記録し、また再生を行なうことを可能とした画像データ処理システム、および画像データ処理方法、並びにコンピュータ・プログラムに関する。
【背景技術】
【０００２】
画像データや音声データを記録データとしてデータベースに蓄積して、後日再生可能としたシステムは様々な分野で利用されている。例えば、オフィス空間において行われる会議において会議室のボードの記載事項を写真として記録してデータベースに格納し、後日、再生して確認することを可能としたシステムは、会議の参加者が後日、会議で行われた内容を確認する場合や、会議の非参加者に会議内容を知らせることを可能とする場合などに有用である。また、ＰＣ等のディスプレイに表示されたデータをデータベースに記録するシステム等も様々な分野で利用されている。
【０００３】
たとえば、特許文献１（特開２００４−０８０７５０号公報）は、ホワイトボードの情報をスナップショットとしてキャプチャし、音声を含めてシーケンスを解析する方法を開示している。
【０００４】
また、特許文献２（特許２７３３５０２号公報）は、ビデオの編集を、セグメント単位で行い、所定のプログラムを利用して違ったソースからでも編集することを可能としたシステムを開示している。
【０００５】
このような様々な画像記録システムにおいて利用される記録画像として例えばスナップショットが利用可能である。スナップショットはある瞬間の記録画像である。しかし、上記の従来技術も含めた多くの従来技術は、文字などの情報が表示されているディスプレイ画面やホワイトボードなどがスナップの対象として設定され、取得画像の再生による再現処理を行なう場合、ディスプレイ画面やホワイトボード対応の特定情報を再生できるに過ぎない。すなわち、ディスプレイ等の表示情報を含めた空間全体のイメージを記録し再現する構成とはなっていない。従って、再生処理によって再生されたホワイトボードやＰＣ画面データが、どういった環境、例えばどの会議でどのような参加メンバーの下で表示されていたのかを思い起こすことが困難となるという問題がある。
【０００６】
スナップ等の画像記録方法としては次の２つが考えられる。１つはカメラによる画像取得方法である。例えば、上述した特許文献１（特開２００４−０８０７５０）では、ホワイトボードの画像をカメラによって撮影し、録音した音声データと併せて記録を行ない、記録データの解析によって要点整理やミーティングの振り返り支援などに活用する構成を開示している。
【０００７】
画像記録手法のもう１つの態様としては、例えばコンピュータの機能としてのディスプレイ画面プリント機能を適用する手法がある。これは、ＰＣ等の情報処理装置のディスプレイに表示された画像の記録処理に限られるが、ディスプレイ画面データの記録処理として、ＰＣ等の情報処理装置の持つデータ処理プログラムを利用して、ディスプレイ表示データを記録装置に出力して記録することが可能である。たとえば記録する画像データに併せて記録タイミングとしての時間データを記録することで、画像再生時に画像が記録された時間を確認することもできる。
【０００８】
しかし、上記のいずれの構成においても、記録処理後、再生される画像データは、ディスプレイ画面やホワイトボード対応の特定情報が再生可能となるのみであり、これらの情報を含めた空間全体のイメージを再現することは出来ない。
【０００９】
空間全体のイメージの記録構成を構築することを想定すると、例えば、３次元空間の画像情報を多面的に取得しようとする場合、状況に応じたスナップを取得する要請が出てくる。例えば、
（ａ）ユーザの目の前にある（例えばデスクやテーブル上の）数面のディスプレイに表示されたデータのスナップを必要とする場合、
（ｂ）デスクやテーブルを取り巻く４方の面〈場合によっては、天井と床を加えた６面〉から、全部または選択的にいくつかの面のスナップが欲しい場合、
なお、この場合、ディスプレイ面のみならず、カードや付箋を貼り付けたパネル／ボードや、ホワイトボードに手書きで書き込んだもの、その他、物理的に存在していたものの情報が全て記録されることになる。
（ｃ）（ａ），（ｂ）の組み合わせが欲しい場合
（ｄ）背景面ではなく、その場に居合わせた人を主に記録したい場合、さらに人物クローズアップを別途撮影して同時に記録したい場合、
これらの様々な要請が出てくることが予想される。
しかし、上述した従来技術による画像記録処理構成では、このような様々な要請に対応できるものはなかった。
【００１０】
また、これら状況に応じたスナップの取得に対応する画像の再生方式も様々考えられるが、従来技術においては、これらの状況やユーザの指定に応じた再生を可能とするものはなかった。例えば画像の再生態様としては、次のような様々な態様が想定される。
（ａ）眼前の１画面（１ＰＣ多画面であれば多画面が対象、要するに１ＰＣのカバー範囲）に全体のスナップを表示し、必要に応じて（指定に応じて）、脇の画面（上、下、左右など）に詳細な情報を表示する。
（ｂ）（ａ）の方式を拡張し、空間的なイメージ再現により近づけるため、空間内の可能な数枚のディスプレイに展開的に表示する。
（ｃ）空間面の再現にはプロジェクタを用い、それぞれの面は、反対側の面からプロジェクションする。プロジェクション面を広く（できれば面全体に同じ程度の大きさに）確保する為にロールスクリーンなどが使われる。このとき、プロジェクトされた面に含まれるディスプレイ面の情報が不鮮明であれば、そのディスプレイ面の情報を眼前（デスク上）のディスプレイに選択的に表示する。
（ｄ）スナップ画像を、空間にある可能なディスプレイ面を使って、もともとの表示位置に対応して表示するだけでなく、左右上下逆順あるいはランダムに入れ替えて表示したり、さらにはある時間間隔で次々と入れ替えたり、順番にシフトさせたりすることで、スナップという記録の機能を超えて、新しい見方や発想を誘発するような効果を狙った再現を行う。
【００１１】
このように、様々な態様の画像再生構成が考えられるが、従来技術においては、これらの様々な画像再生の要請に対応可能なものはないというのが現状である。
【特許文献１】特開２００４−０８０７５０号公報
【特許文献２】特許２７３３５０２号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
本発明は、上述の問題点に鑑みてなされたものであり、例えばＰＣ等の情報処理装置のディスプレイ画面などの表示データと、その周囲の環境の撮影データとを併せて記録し再生することを可能とした画像データ処理システム、および画像データ処理方法、並びにコンピュータ・プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明の第１の側面は、
カメラによって撮影された空間画像データを取得する空間画像データ取得部と、
ディスプレイの表示画像を取得する画面表示データ取得部と、
前記空間画像データと、前記画面表示データとの合成処理により合成画像を生成する合成画像生成部と、
前記合成画像生成部の生成した合成画像を出力する合成画像出力部を有し、
前記合成画像生成部は、
前記空間画像データ取得部の取得した空間画像データ中のディスプレイ表示位置に、前記画面表示データ取得部の取得した画面表示データを設定した合成画像の生成処理を実行する構成であることを特徴とする画像データ処理システムにある。
【００１４】
さらに、本発明の画像データ処理システムの一実施態様において、前記合成画像生成部は、予め記憶部に記憶された背景情報としての空間画像データ中のディスプレイ表示位置に、前記画面表示データ取得部の取得した画面表示データを設定した合成画像の生成処理を実行する構成であることを特徴とする。
【００１５】
さらに、本発明の画像データ処理システムの一実施態様において、前記合成画像生成部は、前記空間画像データ取得部の取得した空間画像データの属性情報として記録された空間画像データ取得時間情報と、前記画面表示データ取得部の取得した画面表示データの属性情報として記録された画面表示データ取得時間情報とを比較し、画面表示データ取得時間情報に最も近い空間画像データ取得時間情報を持つ空間画像データを合成対象画像として選択して合成画像の生成処理を実行する構成であることを特徴とする。
【００１６】
さらに、本発明の画像データ処理システムの一実施態様において、前記空間画像データ取得部は、カメラの撮影した空間画像データを取得して、取得した空間画像データを、該空間画像データを撮影したカメラのカメラ識別子と撮影時間情報を含む属性情報とともに記憶部に記憶する処理を実行する構成であることを特徴とする。
【００１７】
さらに、本発明の画像データ処理システムの一実施態様において、前記空間画像データ取得部は、複数の異なる位置に設定されたカメラの撮影した複数の空間画像データを取得して、取得した複数の空間画像データを、該空間画像データを撮影したカメラのカメラ識別子と撮影時間情報を含む属性情報とともに記憶部に記憶する処理を実行する構成であることを特徴とする。
【００１８】
さらに、本発明の画像データ処理システムの一実施態様において、前記画面表示データ取得部は、複数の異なる位置に設定されたディスプレイに表示される複数の画面表示データを取得して、取得した複数の画面表示データを、該画面表示データを表示したディスプレイの識別子とデータ取得時間情報を含む属性情報とともに記憶部に記憶する処理を実行する構成であることを特徴とする。
【００１９】
さらに、本発明の画像データ処理システムの一実施態様において、前記合成画像生成部は、予め取得済みの実空間におけるディスプレイ設定位置情報に基づいて、前記空間画像データ取得部の取得した空間画像データ中のディスプレイ表示位置を決定して、該決定位置に前記画面表示データ取得部の取得した画面表示データを設定した合成画像の生成処理を実行する構成であることを特徴とする。
【００２０】
さらに、本発明の画像データ処理システムの一実施態様において、前記合成画像生成部は、前記空間画像データ取得部の取得した空間画像データの画像解析に基づいてディスプレイ表示位置を決定して、該決定位置に前記画面表示データ取得部の取得した画面表示データを設定した合成画像の生成処理を実行する構成であることを特徴とする。
【００２１】
さらに、本発明の画像データ処理システムの一実施態様において、前記合成画像出力部は、情報処理装置におけるディスプレイであり、前記合成画像生成部は、複数のカメラによって撮影された複数の空間画像データを組み合わせた空間画像データ中のディスプレイ表示位置に、前記画面表示データ取得部の取得した画面表示データを設定した合成画像の生成処理を実行する構成であることを特徴とする。
【００２２】
さらに、本発明の画像データ処理システムの一実施態様において、前記合成画像出力部は、一台または複数のプロジェクタによって構成され、前記合成画像生成部は、複数のカメラによって撮影された複数の空間画像データを、各カメラに対応する位置に設定されたプロジェクタの出力データとした空間画像データ中のディスプレイ表示位置に、前記画面表示データ取得部の取得した画面表示データを設定した合成画像の生成処理を実行する構成であることを特徴とする。
【００２３】
さらに、本発明の画像データ処理システムの一実施態様において、前記合成画像生成部は、前記空間画像データ取得部の取得する空間を小領域に区分してアドレスを設定した空間アドレス情報と、合成画像中に出力するオブジェクトの表示位置を示すアドレスを各オブジェクトに対応付けたオブジェクト対応アドレス情報テーブルを保持し、前記空間アドレス情報と前記オブジェクト対応アドレス情報テーブルに設定されたアドレスに従って、前記合成画像上における各オブジェクトの出力位置を決定する構成であることを特徴とする。
【００２４】
さらに、本発明の画像データ処理システムの一実施態様において、前記合成画像生成部は、時間遷移に応じて、前記オブジェクトの表示位置および表示内容を更新した合成画像を生成して出力する構成であることを特徴とする。
【００２５】
さらに、本発明の第２の側面は、
画像データ処理システムにおいて画像データ処理を実行する画像データ処理方法であり、
空間画像データ取得部が、カメラによって撮影された空間画像データを取得する空間画像データ取得ステップと、
画面表示データ取得部が、ディスプレイの表示画像を取得する画面表示データ取得ステップと、
合成画像生成部が、前記空間画像データと、前記画面表示データとの合成処理により合成画像を生成する合成画像生成ステップと、
合成画像出力部が、前記合成画像生成ステップにおいて生成した合成画像を出力する合成画像出力ステップを有し、
前記合成画像生成ステップは、
前記空間画像データ取得部の取得した空間画像データ中のディスプレイ表示位置に、前記画面表示データ取得部の取得した画面表示データを設定した合成画像の生成処理を実行するステップであることを特徴とする画像データ処理方法にある。
【００２６】
さらに、本発明の第３の側面は、
画像データ処理システムにおいて画像データ処理を実行させるコンピュータ・プログラムであり、
空間画像データ取得部に、カメラによって撮影された空間画像データを取得させる空間画像データ取得ステップと、
画面表示データ取得部に、ディスプレイの表示画像を取得させる画面表示データ取得ステップと、
合成画像生成部に、前記空間画像データと、前記画面表示データとの合成処理により合成画像を生成させる合成画像生成ステップと、
合成画像出力部に、前記合成画像生成ステップにおいて生成した合成画像を出力させる合成画像出力ステップを有し、
前記合成画像生成ステップは、
前記空間画像データ取得部の取得した空間画像データ中のディスプレイ表示位置に、前記画面表示データ取得部の取得した画面表示データを設定した合成画像の生成処理を実行させるステップであることを特徴とするコンピュータ・プログラムにある。
【００２７】
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能なコンピュータシステムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記録媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータシステム上でプログラムに応じた処理が実現される。
【００２８】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００２９】
本発明の一実施例の構成によれば、カメラによって撮影された空間画像データを取得し、さらに、ＰＣなどの情報処理装置のディスプレイに表示されたデータである画面表示データを取得し、これらの空間画像データと画面表示データとの合成処理により合成画像を生成して出力する。合成画像生成処理においては、空間画像データ中のディスプレイ表示位置に、画面表示データを設定した合成画像を生成して出力する構成とした。本構成により、ディスプレイに表示されたデータの再現に際して、その時点の空間イメージを併せて再現することが可能となり、実空間における状況の再現をよりリアルに行なうことが可能となる。
【発明を実施するための最良の形態】
【００３０】
以下、図面を参照しながら本発明の実施形態に係る画像データ処理システム、および画像データ処理方法、並びにコンピュータ・プログラムの詳細について説明する。
【００３１】
本発明の画像データ処理システムは、空間のイメージデータ、例えば写真データとしてのスナップショットとしての空間画像データを取得し、さらに、ユーザのデスクやテーブル上、あるいは空間の壁面などに配置されたディスプレイの画面表示データを取得し、取得した空間画像データと、ディスプレイの画面表示データをデータベース等の記憶手段に格納する。
【００３２】
さらに、データベース等の記憶手段に格納されたデータの再生処理に際しては、空間画像データを再生するとともに、空間画像データ中に表示されるディスプレイの位置に合わせて、記憶手段に格納されたディスプレイの画面表示データをはめ込んで、合成画像を生成して再生を行なう。
【００３３】
このような合成画像の再生を行なうことで、空間全体のイメージと個々のディスプレイの内容を同時に再現できる。また、記録した空間画像データおよび表示画像データの再生処理態様は、ユーザの指定に応じて、様々な表示態様の選択を可能としている。
【００３４】
まず、図１を参照して、本発明の一実施形態に係る画像データ処理システムの構成について説明する。本発明の一実施形態に係る画像データ処理システム１００は、図１に示すように、様々なＰＣなどの情報処理装置のディスプレイ１０の画面表示データを取り込む処理を実行する画面表示データ取得部１１１、画面表示データ取得部１１１の取得した画像データを記録する画面表示データ記憶部１１２、空間の様々な位置に配置され空間の画像データを撮影するカメラ２０の撮影画像データを取り込む処理を実行する空間画像データ取得部１２１、空間画像データ取得部１２１の取得した画像データを記録する空間画像データ記憶部１２２、さらに、画面表示データ記憶部１１２に格納された画面表示データと、空間画像データ記憶部１２２に格納された空間画像データとを取得して、合成画像を生成する合成画像生成部１３１、合成画像生成部１３１の生成した合成画像データを記録する合成画像記憶部１３２、合成画像生成部１３１の生成した合成画像データを出力する例えばディスプレイやプロジェクション等によって構成される合成画像出力部１４１を有する。さらに、画像の取り込みタイミングの指定や、画像の再生制御などの各種制御情報を入力する入力部（操作パネル）１０１を有する。
【００３５】
合成画像生成部１３１では、空間画像データ記憶部１２２から空間画像データを取得し、画面表示データ記憶部１１２に格納された画面表示データを取得して、空間画像データ中に表示されるディスプレイの位置に合わせてディスプレイの画面表示データをはめ込んだ合成画像を生成する。すなわち、合成画像生成部１３１は、空間画像データ中のディスプレイ表示位置に、画面表示データを設定した合成画像の生成処理を実行する。
【００３６】
ユーザは、入力部（操作パネル）１０１から、例えば画像の取り込みタイミングを指定することが可能であり、また、合成画像の生成、出力に際して、出力態様等の指定が可能である。
【００３７】
なお、空間画像データ記憶部１２２には、空間画像データ取得部１２１が逐次取得した画像データが記録されていくが、予めデフォルトの背景画像も記憶されている。このデフォルト背景画像は、予め所定の空間イメージに対応する画像データであり、空間画像データ取得部１２１が新たな画像データを取得していない場合にも、合成画像生成部１３１は、空間画像データ記憶部１２２に記憶されたデフォルト背景画像を適用して、画面表示データ記憶部１１２に格納された画面表示データを、デフォルト空間画像データ中のディスプレイ位置に合わせてはめ込んだ合成画像を生成する。
【００３８】
ディスプレイやカメラの配置例について、図２、図３を参照して説明する。図２は、ある室内空間を上から見た図を示している。図３は、同一空間を正面（図２の下側）から見た図である。図２において、４方の壁面２００をそれぞれ区別して、２００Ｎ１，２００Ｎ２，２００Ｅ１，２００Ｅ２，２００Ｓ１，２００Ｗ１，２００Ｗ２として示している。図の下側の壁面２００Ｓ１はパーティションやドア部分など独立した壁面ではない部分であり点線として示してある。
【００３９】
図２、図３に示す空間は１つのスナップ対象空間の例であり、前後左右床の５面によって囲まれ、壁面２００には壁面ディスプレイ２１１が設置されている。壁面２００は、基本的には情報提示面として活用される（ホワイトボード、メモクリップ、ドキュメント（カタログなどを含む、ファイルや書籍の背表紙など）が、個人ワーク環境として必要な収納スペース（上着掛け、かばん収納、傘収納、靴収納、コーヒーカップ、写真立て、文具収納、回覧受けなど）を兼ねている。
【００４０】
中央付近にはデスク２２０と椅子（図示せず）が配置され、通常は、デスク２２０を中心とした個人ワーク環境として使用されているが、デスク２２０上のディスプレイ２２１のみならず、壁面２００の各面に配置されたディスプレイ２１１にも情報表示が可能となっている。
【００４１】
壁面２００Ｎ１には、ファイルが置かれ、２つの壁面ディスプレイ２１１設定されている。
壁面２００Ｎ２には、書籍が置かれ１つのホワイトボードが設定されている。
壁面２００Ｅ１には、１つの壁面ディスプレイ２１１が設定されている。
壁面２００Ｅ２には、ドキュメント、パンフレット類が置かれている。
壁面２００Ｓ１は、例えば入り口である。
壁面２００Ｗ１には、１つの壁面ディスプレイ２１１が設定されている。
壁面２００Ｗ２には、コート、かさ、カバンなどの日用品が置かれている。
壁面２００Ｗ１と壁面２００Ｗ２にまたがってパネルが設定されている。
【００４２】
４方の各壁面２００のほぼ中央部にはカメラ２０１〜２０４が設置され、４方向からの空間画像の撮影を行なう。図２、図３に示す入力部（操作パネル）２２２をユーザが操作することで、これらのカメラ２０１〜２０４により各空間イメージ画像が撮影される。カメラ２０１〜２０４は、図１に示すカメラ１０に相当し、カメラ２０１〜２０４の撮影画像は、図１に示す空間画像データ取得部１２１によって取得されて空間画像データ記憶部１２２に格納される。なお、どのカメラによって撮影された画像データであるかを示すカメラ識別データと、撮影タイミングの時間データも画像の属性データとして画像に併せて空間画像データ記憶部１２２に記録される。
【００４３】
壁面２００には、複数の壁面ディスプレイ２１１が設置されている。また、中央のデスク２２０上にも複数のディスプレイ２２１が設置されている。これらのディスプレイ２１１，２２１は、図１におけるディスプレイ１０に相当し、これらのディスプレイ２１１，２２１に表示された画像データは、図２、図３に示す入力部（操作パネル）２２２をユーザが操作することで、図１に示す画面表示データ取得部１１１によって取得されて画面表示データ記憶部１１２に格納される。なお、どのディスプレイの表示画像データであるかを示すディスプレイ識別データと、データ取得タイミングの時間データも画像の属性データとして画像に併せて画面表示データ記憶部１１２に記録される。
【００４４】
また、４方の各壁面２００中、３方の壁面２００Ｅ，２００Ｓ，２００Ｗのほぼ中央部にはプロジェクタ２３１，２３２，２３３が設置されている。これらは、図１に示す合成画像出力部１４１に相当し、合成画像生成部１３１の生成した画像データを各対向壁面に出力する。なお、壁面ディスプレイ２１１や、デスク２２０上の複数のディスプレイ２２１も合成画像出力部１４１に相当する。ユーザは、入力部（操作パネル）２２２を操作して、これらの複数の画像出力装置を適宜、選択して合成画像生成部１３１の生成した合成画像を出力する。
【００４５】
なお、この空間は、図４、図５に示すように、人２５１〜２５５が入ったり移動したりするスペースや通路があり、数人が壁面を見たり、あるいは机を囲んだりして、打ち合わせやディスカッションができる設定である。
【００４６】
なお、以下説明する実施例は、図２に示すように複数のカメラと複数のプロジェクタを備えた構成における処理例を説明するが、本発明は、複数のカメラと複数のプロジェクタを備えることは必ずしも必須ではなく、例えば撮影方向を変更する制御可能な１台のカメラとした構成でもよく、またプロジェクタも１つのみとする構成でもよい。
【００４７】
以下、図６に示すフローチャートを参照して、本実施例に係る画像データ処理システムにおける画像取得処理および画像出力処理シーケンスについて説明する。図６に示す処理フローは、入力部（操作パネル）をユーザが操作することで、壁面あるいはデスク上のディスプレイの表示画像を記憶部に格納して、その記憶画像を予め取得済みの空間イメージ画像（背景画像）と合成してディスプレイあるいはプロジェクタを介して出力する処理を実行する場合の処理シーケンスを説明するフローである。
【００４８】
まず、ステップＳ１０１において、ユーザが入力部（操作パネル）を操作して、ディスプレイの画面表示データの取り込み指示を実行する。この指示に基づいて、ステップＳ１０２において、図１に示す画面表示データ取得部１１１が、ネットワーク接続されたディスプレイ、例えば、図２、図３に示す構成例では、壁面ディスプレイ２１１とデスク上のディスプレイ２２１の各々に表示されたデータを各々取得し、ステップＳ１０３において、取得した複数の画面表示データを画面表示データ記憶部１１２に格納する。
【００４９】
なお、画面表示データ取得部１１１は、各ディスプレイの画面表示データに併せて、各ディスプレイの識別情報（ＩＤ）と、取得時間情報を各画面表示データに対応する属性情報として設定して画面表示データ記憶部１１２に格納する。例えば、各ディスプレイの画面表示データは、個別の画像ファイルとして画面表示データ記憶部１１２に格納され、ファイル名をＰＣ名（アドレスなどのＩＤ）＋タイムスタンプの構成として格納される。
【００５０】
ステップＳ１０４において、合成画像生成部１３１が画面表示データ記憶部１１２に格納された画面表示データを取得する。なお、ステップＳ１０４以下の処理は、ステップＳ１０３までの画像取得処理に続けて実行する構成としてもよいが、ユーザによる入力部に対する画像再生指示に基づいて実行する構成としてもよい。
【００５１】
次に、ステップＳ１０５において、合成画像生成部１３１が空間画像データ記憶部１２２に格納された空間画像データを取得する。合成画像生成部１３１が空間画像データ記憶部１２２から取得する空間画像データは、デフォルトとして指定された予め撮影済みの背景画像データか、あるいは、合成画像生成部１３１が画面表示データ記憶部１１２から取得した画面表示データのタイムスタンプに最も近い撮影時間を属性データとして持つ空間画像データとする。
【００５２】
次に、合成画像生成部１３１は、ステップＳ１０６において、記憶部から取得した画面表示データと空間画像データとを合成する処理を実行する。すなわち、空間画像データ中に表示されるディスプレイの位置に合わせてディスプレイの画面表示データをはめ込んだ合成画像を生成する。
【００５３】
なお、ディスプレイ位置は、予め合成画像生成部１３１内の記憶部に記録されている。すなわち、画面表示データを取得する対象となる個々のディスプレイの実空間における位置情報は、各ディスプレイの識別情報に対応付けられて予め合成画像生成部１３１内の記憶部に記録されており、この位置情報に基づいて、空間画像データ内におけるディスプレイ画面表示データの出力位置を決定して合成画像を生成する。なお、このような位置情報を保持せず、カメラによって撮影された空間画像データの画像解析によってディスプレイ位置を求めて、その求めたディスプレイ位置に画面表示データを設定して出力する構成としてもよい。
【００５４】
次に、ステップＳ１０７において、合成画像生成部１３１の生成した合成画像を合成画像出力部１４１を介して出力する。合成画像出力部１４１は先に説明したように、ディスプレイ、あるいはプロジェクタであり、ユーザによる入力部を介する指示によって選択された出力先に合成画像が出力される。
【００５５】
図６を参照して説明したシーケンスは、ディススプレイに表示された画像のみを取得する処理として説明したが、空間に配置されたカメラによって撮影された空間画像を画面表示データの取りこみに併せて取得して、これらの取得画像に基づいて合成画像を生成して出力するシーケンスについて、図７に示すフローチャートを参照して説明する。
【００５６】
まず、ステップＳ２０１において、ユーザが入力部（操作パネル）を操作して、ディスプレイの画面表示データの取り込み、および、カメラ（例えば図２に示すカメラ２０１〜２０４）による空間画像の取得（撮影）指示を実行する。この指示に基づいて、ステップＳ２０２において、図１に示す画面表示データ取得部１１１が、ネットワーク接続されたディスプレイ、例えば、図２、図３に示す構成例では、壁面ディスプレイ２１１とデスク上のディスプレイ２２１の各々に表示されたデータを各々取得し、さらに、空間画像データ取得部１２１がカメラ２０１〜２０４の各々において撮影された空間画像を取得する。
【００５７】
ステップＳ２０３では、取得した画像データを記憶部に格納する。すなわち、画面表示データを画面表示データ記憶部１１２に格納し、カメラによって撮影された空間画像データを空間画像データ記憶部１２２に格納する。
【００５８】
なお、画面表示データ取得部１１１は、各ディスプレイの画面表示データに併せて、各ディスプレイの識別情報（ＩＤ）と、取得時間情報を各画面表示データに対応する属性情報として設定して画面表示データ記憶部１１２に格納し、空間画像データ取得部１２１は、各カメラの取得画像に併せて、各カメラの識別情報（ＩＤ）と、取得時間情報を各空間画像データに対応する属性情報として設定して空間画像データ記憶部１２２に格納する。例えば、前述したように個別の画像ファイルの各々について、ファイル名をＰＣあるいはカメラ名（アドレスなどのＩＤ）＋タイムスタンプの構成として格納する。
【００５９】
ステップＳ２０４では、合成画像生成部１３１が画面表示データ記憶部１１２に格納された画面表示データを取得し、ステップＳ２０５において、合成画像生成部１３１が空間画像データ記憶部１２２に格納された空間画像データを取得する。なお、ステップＳ２０４以下の処理は、ステップＳ２０３までの画像取得処理に続けて実行する構成としてもよいが、ユーザによる入力部に対する画像再生指示に基づいて実行する構成としてもよい。
【００６０】
合成画像生成部１３１が空間画像データ記憶部１２２から取得する空間画像データは、合成画像生成部１３１が画面表示データ記憶部１１２から取得した画面表示データのタイムスタンプに最も近い撮影時間を属性データとして持つ空間画像データであり、このように、同時取り込みが実行されている場合は、その同時取り込み空間画像データが取得される。
【００６１】
次に、合成画像生成部１３１は、ステップＳ２０６において、記憶部から取得した画面表示データと空間画像データとを合成する処理を実行する。すなわち、空間画像データ中に表示されるディスプレイの位置に合わせてディスプレイの画面表示データをはめ込んだ合成画像を生成する。次にステップＳ２０７において、合成画像生成部１３１の生成した合成画像を合成画像出力部１４１を介して出力する。
【００６２】
合成画像出力部１４１は先に説明したように、ディスプレイ、あるいはプロジェクタであり、ユーザによる入力部を介する指示によって選択された出力先に合成画像が出力される。
【００６３】
合成画像生成部１３１において生成され、合成画像出力部１４１に出力される合成画像の例について図８、図９を参照して説明する。合成画像出力部１４１は、ディスプレイ、あるいはプロジェクタであり、これらを選択して出力することが可能である。図８に示す例は、デスク上の１つのディスプレイ３０１に合成画像を出力した例を示している。
【００６４】
合成画像は、空間画像データ３１１〜３１３にディスプレイから取得した画面表示データを貼り合わせた合成画像として設定される。空間画像データ３１１〜３１３は、それぞれ、図に示す壁面３５１〜３５３のそれぞれの撮影画像、すなわち空間画像データに相当する。この壁面の空間画像データは、図１に示す空間画像データ記憶部１２２に格納されたものである。
【００６５】
この空間画像の各壁面のディスプレイ位置に対応するディスプレイ３２１〜３２４から取得されたが画面表示データが重ねられて表示される。すなわち、図に示す矢印によって示すディスプレイから取得され画面表示データ記憶部１１２に格納された画面表示データがそれぞれのディスプレイ表示位置に表示される。デスク上のディスプレイから取得した画面表示データについても、それぞれオリジナルの位置関係を維持した状態でそれぞれ表示されることになる。図９に、表示される合成画像の拡大図を示す。
【００６６】
なお、合成画像中に表示される空間画像データ３１１〜３１３は、デフォルトとして指定された予め撮影済みの背景画像データか、あるいは、合成画像生成部１３１が画面表示データ記憶部１１２から取得した画面表示データのタイムスタンプに最も近い撮影時間を属性データとして持つ空間画像データである。
【００６７】
なお、画像の取得処理は、ユーザによる入力部（操作パネル）を介する指示によって決定される画像取得タイミングに応じて次々に実行することが可能であり、合成画像の生成処理も、画像取得タイミングに応じて実行される。従って、出力する合成画像も次々に切り替えることが可能となる。出力画像の切り替え指示も入力部（操作パネル）を介して実行される。
【００６８】
また、合成画像の出力先についても、ユーザの指定に応じて変更することが可能である。例えば、図８に示す例では、壁面ディスプレイから取り込んだ画面表示データが、ディスプレイに表示された合成画像上では小さく見づらい。このような場合、この合成画像上の１つのディスプレイに対応する画面表示データを、１つのディスプレイ、例えば、図８に示す矢印で示す対応するディスプレイに表示させるといった処理も可能である。
【００６９】
すなわち、合成画像として表示されているデータは、それぞれが個別のファイルとして設定されており、合成画像生成部１３１が、ユーザの指示に応じて各ファイルの出力先を変更する処理を行なうことで実現される。
【００７０】
図８に示す例では、正面の壁面に２台、左右の壁面に１枚、デスク上に３枚のディスプレイがあることを想定しているが、ディスプレイがない場合でも、天井から見た映像、床から天井を見上げたときの映像、背後の面の映像などを加えることができる。なお、図に示す例では、各壁面に対応する空間画像データを並べて表示する構成としているが、各空間画像データを個別のウィンドウとして設定する表示や、吹き出し風に周囲に拡大画像を配する表示構成としてもよい。
【００７１】
図８、図９を参照して説明した合成画像の表示例は、合成画像出力部としてディスプレイを用いた例であるが、先に説明したように合成画像出力部としてプロジェクタを適用する構成としてもよい。プロジェクタによる合成画像の出力例について図１０を参照して説明する。
【００７２】
図１０は、図２と同様の空間を上面から見た図である。先に説明したように各壁面のほぼ中央には、合成画像出力部として利用可能なプロジェクタ２３１〜２３３が設置されている。合成画像生成部１３１が生成した画像は、これらのプロジェクタ２３１〜２３３を介して、それぞれ対向壁面に表示される。この際、対向面には、それぞれ、必要に応じてスクリーンを設定してプロジェクタの出力画像を表示する構成としてもよい。合成画像生成部は、複数のカメラによって撮影された複数の空間画像データを、各カメラに対応する位置に設定されたプロジェクタの出力データとした空間画像データ中のディスプレイ表示位置に、画面表示データ取得部の取得した画面表示データを設定した合成画像の生成処理を実行する。
【００７３】
このように、プロジェクタ２３１〜２３３が対向壁面に表示する画像データは、それぞれ隣接するカメラ２０２，２０３，２０４によって撮影された画像とする。すなわち、オリジナルの空間と同様な空間位置関係を保持した空間画像データが表示されることになる。
【００７４】
なお、上述の実施例では、静止画を投影する例について説明しているが、動画を撮影して表示する構成としてもよい。この例では、情報ディスプレイ中心の再現に加え、その空間に居た人の情報も写し込むことができるため、もっともリアルに状況を再現できる。
【００７５】
［ネットワークを介した制御構成例］
上述した実施例は、基本的に画像の撮影空間に位置するユーザが、その同一空間内で、合成画像の表示、観察を行なう例として説明したが、画像取得を行なう空間にいないユーザが、ネットワークを介して画像取得の指示や合成画像の生成、出力処理の指示を行なう構成とすることも可能である。例えば、遠隔のＰＣから、ネットワークを介して、離れた位置にある空間の画像および画面表示データの取得の指示を行い、合成画像を得て、手元のディスプレイに表示させるといった処理である。このようなネットワークを介する制御構成について図１１を参照して説明する。
【００７６】
図１１に示すように、先に図２を参照して説明したと同様の画像データ取得空間３１０、すなわち、画面表示データを出力するディスプレイ３１１と、空間画像データを撮影するカメラ３１２を有する画像データ取得空間３１０と、画像データ取得空間３１０における画像取得処理や画像合成処理を実行する情報処理装置３２０はネットワークによって接続されている。
【００７７】
このようなネットワーク構成において、情報処理装置３２０は、ユーザの指示情報を入力する入力部３２１、ユーザ指示に応じてネットワーク接続されたディスプレイ３１１の画面表示データの取得を実行する画面表示データ取得部３２２、ユーザ指示に応じてネットワーク接続されたカメラ３１２の撮影する空間画像データの取得を実行する空間画像データ取得部３２３、さらに、空間画像データと画面表示データとの合成処理を実行する合成画像生成部３２４、合成画像生成部３２４の生成した合成画像を出力表示する合成画像出力部３２５を有する。
【００７８】
なお、図に示す例では、画面表示データ取得部３２２の取得した画面表示データを格納する画面表示データ記憶部３３１、空間画像データ取得部３２３の取得した空間画像データを格納する空間画像データ記憶部３３２、合成画像生成部３２４の生成した合成画像を格納する合成画像データ記憶部３３３もそれぞれネットワークによって接続されたデータベースとした設定である。なお、これらのデータベースは、情報処理差うち３２０内部に構成してもよい。
【００７９】
先の実施例では、画像データ取得空間にいるユーザが入力部を介して画像取得を指示する構成としていたが、本実施例では、画像データ取得空間にいないユーザがネットワークを介した情報処理装置３２０の入力部を介して画像取得を指示する。すなわち、遠隔から、画像スナップ取得指示を送ることができる。取得画像や合成画像は、手元の情報処理装置３２０のディスプレイ上で見ることができる。
【００８０】
［画像表示制御処理］
上述した実施例では、カメラの撮影した空間画像データ内のディスプレイ対応位置に、ディスプレイから取得した画面表示データをはめ込んだ合成画像を生成して出力する構成として説明した。この場合、例えば、出力合成画像中の画面表示データの出力位置は、実空間におけるディスプレイ設定位置に対応する位置に固定されることになる。その他の実物体、例えば、パネル等も出力合成画像中の画面表示データの出力位置は、実空間における位置に対応した画面位置に固定されることになる。
【００８１】
本実施例では、出力される画像中の各オブジェクトの出力位置を変更できる設定とした例である。例えば、図１２に示すようにカメラによって撮影される対象となる空間にアドレスを振った空間アドレス情報を用いて３次元での空間表示制御を行う。図１２に示す例は、画像データ取得空間の正面の壁全体を１つの２次元領域として、縦方向と横方向にそれぞれ分割した矩形領域を設定して、各矩形領域にアドレスを対応付けた例である。各壁面の識別子として、中央正面の壁面を［Ｃ］、左側壁面を［Ｌ］、右側壁面を［Ｒ］として、各壁面において、それぞれ細分化した矩形領域ごとのアドレスを設定する。
【００８２】
図１２に示す例は、中央正面壁面［Ｃ］のアドレス設定例であり、縦方向に１０分割、横方向に１２分割して、計１２０個のアドレスを設定する。アドレスは、例えば、
［壁面識別子−縦座標−横座標］
の設定とする。図１２に示す例では、
左上端のアドレス＝［Ｃ−０１−０１］
右上端のアドレス＝［Ｃ−０１−１２］
左下端のアドレス＝［Ｃ−１０−０１］
右下端のアドレス＝［Ｃ−１０−１２］
となる。
【００８３】
さらに、図１３に示すように、各壁面に設定されるオブジェクト、例えばディスプレイやパネル、電子ボードなどのオブジェクト各々について、オブジェクト名（またはＩＤ）とその表示位置情報としてのアドレスを対応付けたオブジェクト対応アドレス情報テーブルを設定して記憶する。図１３に示す例では、
ディスプレイ０１（ＰＣ０１）のアドレスは［Ｃ−０３−０２］、
ディスプレイ０２（ＰＣ０２）のアドレスは［Ｃ−０３−０４］、
電子ボードのアドレスは［Ｃ−０２−０６］、
このようなデータエントリを有するオブジェクト対応アドレス情報テーブルの例である。
【００８４】
合成画像生成部は、図１２に示す空間アドレス情報と、図１３に示すオブジェクト対応アドレス情報テーブルとを利用して、各オブジェクトの表示位置を制御する。オブジェクト対応アドレス情報テーブルに記録された各オブジェクトに対するアドレス位置に書くオブジェクトの表示、例えば、ディスプレイから取得した画面表示データを出力すれば、実空間のディスプレイ位置に対応する表示画像の生成が可能となる。また、オブジェクトの表示位置を変更する場合には、オブジェクト対応アドレスをユーザが一時的に変更することで、表示位置を変更することが可能となる。
【００８５】
例えば、時間経過に従って、ディスプレイの表示位置を変更する処理が実現できる。例えば図１４に示すような、時間毎の表示位置を設定した表示位置設定情報テーブルに基づいて、各ディスプレイから取得した画面表示データを出力合成画像上で移動させながら表示を行なうことが可能となる。
【００８６】
例えば合成画像生成部は、図１４（ａ）に示す時間対応オブジェクト表示位置情報と、図１４（ｂ）に示す時間対応オブジェクト表示情報を保持し、これらを適用して、各時間タイミング（Ｔ１，Ｔ２，Ｔ３・・・Ｔｎ）において、各オブジェクトの表示位置と表示内容を逐次変更して出力する。
【００８７】
図１４（ａ）に示す時間対応オブジェクト表示位置情報は、ディスプレイとしてのＰＣ１〜ＰＣ４の時間Ｔ１〜Ｔｎにおける表示位置を設定したデータであり、図１４（ｂ）に示す時間対応オブジェクト表示情報は、ディスプレイとしてのＰＣ１〜ＰＣ４・・・の時間Ｔ１〜Ｔｎにおける表示情報を示したテーブルである［○○．ｊｐｇ］は、画面表示データ取得部によって、各ディスプレイから取得され画面表示データ記憶部に記録されたファイル名を示している。
【００８８】
合成画像生成部は、図１４（ａ）に示す時間対応オブジェクト表示位置情報に従って、ディスプレイとしてのＰＣ１〜ＰＣ４の時間Ｔ１〜Ｔｎにおける表示位置を決定し、図１４（ｂ）に示す時間対応オブジェクト表示情報に基づいて、各表示位置に表示する情報ファイルを取得して、壁面を示す空間画像上に上書きを実行して合成画像を生成し出力する。このように、時間遷移に応じて、オブジェクトの表示位置と表示内容を更新した表示処理が実現される。
【００８９】
最後に、上述した画像データ処理を実行する情報処理装置のハードウェア構成例について、図１５を参照して説明する。図１５に示す情報処理装置は、例えばＰＣであり、図１に示すブロック図に対応する処理を実行し、また図１１に示す情報処理装置３２０に対応する。ＣＰＵ（Central Processing Unit）５０１は、ＯＳ（Operating System)に従った処理や、上述の実施例において説明した画像データの取得処理、合成画像の生成処理、合成画像の出力制御などを実行する。これらの処理は、情報処理装置のＲＯＭ、ハードディスクなどのデータ記憶部に格納されたコンピュータ・プログラムに従って実行される。
【００９０】
ＲＯＭ（Read Only Memory）５０２は、ＣＰＵ５０１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（Random Access Memory）５０３は、ＣＰＵ５０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバスなどから構成されるホストバス５０４により相互に接続されている。
【００９１】
ホストバス５０４は、ブリッジ５０５を介して、ＰＣＩ(Peripheral Component Interconnect/Interface)バスなどの外部バス５０６に接続されている。
【００９２】
キーボード５０８、ポインティングデバイス５０９は、ユーザにより操作される入力デバイスである。画像の取得や、画像の合成、出力処理制御情報等の指示入力がなされる。ディスプレイ５１０は、液晶表示装置またはＣＲＴ（Cathode Ray Tube）などから成り、例えば合成画像を表示する。
【００９３】
ＨＤＤ（Hard Disk Drive）５１１は、ハードディスクを駆動し、ＣＰＵ５０１によって実行するプログラムや情報を記録または再生させる。ハードディスクは、例えば上述の実施例において説明した各種の取得画像、生成した合成画像の記憶部としても機能する。さらに、上述の実施例において適用するデータ処理プログラム、各種テーブル、パラメータ、その他のコンピュータ・プログラムが格納される。
【００９４】
ドライブ５１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体５２１に記録されているデータまたはプログラムを読み出して、そのデータまたはプログラムを、インタフェース５０７、外部バス５０６、ブリッジ５０５、およびホストバス５０４を介して接続されているＲＡＭ５０３に供給する。
【００９５】
接続ポート５１４は、外部接続機器５２２を接続するポートであり、ＵＳＢ，ＩＥＥＥ１３９４等の接続部を持つ。接続ポート５１４は、インタフェース５０７、および外部バス５０６、ブリッジ５０５、ホストバス５０４等を介してＣＰＵ５０１等に接続されている。通信部５１５は、ネットワークに接続され、各種データベースや他の情報処理装置、カメラ、ディスプレイの取得画像の入力などの情報通信を実行する。
【００９６】
なお、図１５に示す情報処理装置のハードウェア構成例は、ＰＣを適用して構成した装置の一例であり、本発明の画像データ処理システムを構成する装置は、図１５に示す構成に限らず、上述した実施例において説明した処理を実行可能な構成であればよい。
【００９７】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【００９８】
なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【００９９】
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
【０１００】
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１０１】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１０２】
以上、説明したように、本発明の一実施例の構成においては、カメラによって撮影された空間画像データを取得し、さらに、ＰＣなどの情報処理装置のディスプレイに表示されたデータである画面表示データを取得し、これらの空間画像データと画面表示データとの合成処理により合成画像を生成して出力する。合成画像生成処理においては、空間画像データ中のディスプレイ表示位置に、画面表示データを設定した合成画像を生成して出力する構成とした。本構成により、ディスプレイに表示されたデータの再現に際して、その時点の空間イメージを併せて再現することが可能となり、実空間における状況の再現をよりリアルに行なうことが可能となる。
【図面の簡単な説明】
【０１０３】
【図１】本発明の一実施形態に係る画像データ処理システムの構成について説明する図である。
【図２】本発明の一実施例に係る画像データ処理システムを構成するディスプレイやカメラの配置例について説明する図である。
【図３】本発明の一実施例に係る画像データ処理システムを構成するディスプレイやカメラの配置例について説明する図である。
【図４】本発明の一実施例に係る画像データ処理システムを構成するディスプレイやカメラの配置および人の移動例について説明する図である。
【図５】本発明の一実施例に係る画像データ処理システムを構成するディスプレイやカメラの配置および人の移動例について説明する図である。
【図６】本発明の一実施例に係る画像データ処理システムにおける画像取得処理および画像出力処理シーケンスについて説明するフローチャートを示す図である。
【図７】本発明の一実施例に係る画像データ処理システムにおける画像取得処理および画像出力処理シーケンスについて説明するフローチャートを示す図である。
【図８】合成画像生成部において生成され、合成画像出力部に出力される合成画像の例について説明する図である。
【図９】合成画像生成部において生成され、合成画像出力部に出力される合成画像の例について説明する図である。
【図１０】プロジェクタによる合成画像の出力例について説明する図である。
【図１１】本発明の一実施例に係る画像データ処理システムにおいてネットワークを介する制御構成について説明する図である。
【図１２】カメラによって撮影される対象となる空間にアドレスを振った空間アドレス情報について説明する図である。
【図１３】オブジェクト名（またはＩＤ）とその表示位置情報としてのアドレスを対応付けたオブジェクト対応アドレス情報テーブルについて説明する図である。
【図１４】時間毎の表示位置を設定した表示位置設定情報テーブルに基づいて、各ディスプレイから取得した画面表示データを出力合成画像上で移動させながら表示を行なう構成について説明する図である。
【図１５】本発明の一実施例に係る画像データ処理システムを構成する情報処理装置のハードウェア構成例について説明する図である。
【符号の説明】
【０１０４】
１０ ディスプレイ
２０ カメラ
１００ 画像データ処理システム
１１１ 画面表示データ取得部
１１２ 画面表示データ記憶部
１２１ 空間画像データ取得部
１２２ 空間画像データ記憶部
１３１ 合成画像生成部
１３２ 合成画像記憶部
１４１ 合成画像出力部
２００ 壁面
２０１〜２０４ カメラ
２１１ 壁面ディスプレイ
２２０ デスク
２２１ ディスプレイ
２３１〜２３３ プロジェクタ
２５１〜２５５ 人
３０１〜３０３ ディスプレイ
３１１〜３１３ 空間画像データ
３２１〜３２４ ディスプレイ
３５１〜３５３ 壁面
５０１ ＣＰＵ(Central Processing Unit)
５０２ ＲＯＭ（Read-Only-Memory）
５０３ ＲＡＭ（Random Access Memory）
５０４ ホストバス
５０５ ブリッジ
５０６ 外部バス
５０７ インタフェース
５０８ キーボード
５０９ ポインティングデバイス
５１０ ディスプレイ
５１１ ＨＤＤ（Hard Disk Drive）
５１２ ドライブ
５１４ 接続ポート
５１５ 通信部
５２１ リムーバブル記録媒体
５２２ 外部接続機器
【技術分野】
【０００１】
本発明は、画像データ処理システム、および画像データ処理方法、並びにコンピュータ・プログラムに関する。さらに詳細には、空間イメージとディスプレイイメージとを併せて記録し、また再生を行なうことを可能とした画像データ処理システム、および画像データ処理方法、並びにコンピュータ・プログラムに関する。
【背景技術】
【０００２】
画像データや音声データを記録データとしてデータベースに蓄積して、後日再生可能としたシステムは様々な分野で利用されている。例えば、オフィス空間において行われる会議において会議室のボードの記載事項を写真として記録してデータベースに格納し、後日、再生して確認することを可能としたシステムは、会議の参加者が後日、会議で行われた内容を確認する場合や、会議の非参加者に会議内容を知らせることを可能とする場合などに有用である。また、ＰＣ等のディスプレイに表示されたデータをデータベースに記録するシステム等も様々な分野で利用されている。
【０００３】
たとえば、特許文献１（特開２００４−０８０７５０号公報）は、ホワイトボードの情報をスナップショットとしてキャプチャし、音声を含めてシーケンスを解析する方法を開示している。
【０００４】
また、特許文献２（特許２７３３５０２号公報）は、ビデオの編集を、セグメント単位で行い、所定のプログラムを利用して違ったソースからでも編集することを可能としたシステムを開示している。
【０００５】
このような様々な画像記録システムにおいて利用される記録画像として例えばスナップショットが利用可能である。スナップショットはある瞬間の記録画像である。しかし、上記の従来技術も含めた多くの従来技術は、文字などの情報が表示されているディスプレイ画面やホワイトボードなどがスナップの対象として設定され、取得画像の再生による再現処理を行なう場合、ディスプレイ画面やホワイトボード対応の特定情報を再生できるに過ぎない。すなわち、ディスプレイ等の表示情報を含めた空間全体のイメージを記録し再現する構成とはなっていない。従って、再生処理によって再生されたホワイトボードやＰＣ画面データが、どういった環境、例えばどの会議でどのような参加メンバーの下で表示されていたのかを思い起こすことが困難となるという問題がある。
【０００６】
スナップ等の画像記録方法としては次の２つが考えられる。１つはカメラによる画像取得方法である。例えば、上述した特許文献１（特開２００４−０８０７５０）では、ホワイトボードの画像をカメラによって撮影し、録音した音声データと併せて記録を行ない、記録データの解析によって要点整理やミーティングの振り返り支援などに活用する構成を開示している。
【０００７】
画像記録手法のもう１つの態様としては、例えばコンピュータの機能としてのディスプレイ画面プリント機能を適用する手法がある。これは、ＰＣ等の情報処理装置のディスプレイに表示された画像の記録処理に限られるが、ディスプレイ画面データの記録処理として、ＰＣ等の情報処理装置の持つデータ処理プログラムを利用して、ディスプレイ表示データを記録装置に出力して記録することが可能である。たとえば記録する画像データに併せて記録タイミングとしての時間データを記録することで、画像再生時に画像が記録された時間を確認することもできる。
【０００８】
しかし、上記のいずれの構成においても、記録処理後、再生される画像データは、ディスプレイ画面やホワイトボード対応の特定情報が再生可能となるのみであり、これらの情報を含めた空間全体のイメージを再現することは出来ない。
【０００９】
空間全体のイメージの記録構成を構築することを想定すると、例えば、３次元空間の画像情報を多面的に取得しようとする場合、状況に応じたスナップを取得する要請が出てくる。例えば、
（ａ）ユーザの目の前にある（例えばデスクやテーブル上の）数面のディスプレイに表示されたデータのスナップを必要とする場合、
（ｂ）デスクやテーブルを取り巻く４方の面〈場合によっては、天井と床を加えた６面〉から、全部または選択的にいくつかの面のスナップが欲しい場合、
なお、この場合、ディスプレイ面のみならず、カードや付箋を貼り付けたパネル／ボードや、ホワイトボードに手書きで書き込んだもの、その他、物理的に存在していたものの情報が全て記録されることになる。
（ｃ）（ａ），（ｂ）の組み合わせが欲しい場合
（ｄ）背景面ではなく、その場に居合わせた人を主に記録したい場合、さらに人物クローズアップを別途撮影して同時に記録したい場合、
これらの様々な要請が出てくることが予想される。
しかし、上述した従来技術による画像記録処理構成では、このような様々な要請に対応できるものはなかった。
【００１０】
また、これら状況に応じたスナップの取得に対応する画像の再生方式も様々考えられるが、従来技術においては、これらの状況やユーザの指定に応じた再生を可能とするものはなかった。例えば画像の再生態様としては、次のような様々な態様が想定される。
（ａ）眼前の１画面（１ＰＣ多画面であれば多画面が対象、要するに１ＰＣのカバー範囲）に全体のスナップを表示し、必要に応じて（指定に応じて）、脇の画面（上、下、左右など）に詳細な情報を表示する。
（ｂ）（ａ）の方式を拡張し、空間的なイメージ再現により近づけるため、空間内の可能な数枚のディスプレイに展開的に表示する。
（ｃ）空間面の再現にはプロジェクタを用い、それぞれの面は、反対側の面からプロジェクションする。プロジェクション面を広く（できれば面全体に同じ程度の大きさに）確保する為にロールスクリーンなどが使われる。このとき、プロジェクトされた面に含まれるディスプレイ面の情報が不鮮明であれば、そのディスプレイ面の情報を眼前（デスク上）のディスプレイに選択的に表示する。
（ｄ）スナップ画像を、空間にある可能なディスプレイ面を使って、もともとの表示位置に対応して表示するだけでなく、左右上下逆順あるいはランダムに入れ替えて表示したり、さらにはある時間間隔で次々と入れ替えたり、順番にシフトさせたりすることで、スナップという記録の機能を超えて、新しい見方や発想を誘発するような効果を狙った再現を行う。
【００１１】
このように、様々な態様の画像再生構成が考えられるが、従来技術においては、これらの様々な画像再生の要請に対応可能なものはないというのが現状である。
【特許文献１】特開２００４−０８０７５０号公報
【特許文献２】特許２７３３５０２号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
本発明は、上述の問題点に鑑みてなされたものであり、例えばＰＣ等の情報処理装置のディスプレイ画面などの表示データと、その周囲の環境の撮影データとを併せて記録し再生することを可能とした画像データ処理システム、および画像データ処理方法、並びにコンピュータ・プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明の第１の側面は、
カメラによって撮影された空間画像データを取得する空間画像データ取得部と、
ディスプレイの表示画像を取得する画面表示データ取得部と、
前記空間画像データと、前記画面表示データとの合成処理により合成画像を生成する合成画像生成部と、
前記合成画像生成部の生成した合成画像を出力する合成画像出力部を有し、
前記合成画像生成部は、
前記空間画像データ取得部の取得した空間画像データ中のディスプレイ表示位置に、前記画面表示データ取得部の取得した画面表示データを設定した合成画像の生成処理を実行する構成であることを特徴とする画像データ処理システムにある。
【００１４】
さらに、本発明の画像データ処理システムの一実施態様において、前記合成画像生成部は、予め記憶部に記憶された背景情報としての空間画像データ中のディスプレイ表示位置に、前記画面表示データ取得部の取得した画面表示データを設定した合成画像の生成処理を実行する構成であることを特徴とする。
【００１５】
さらに、本発明の画像データ処理システムの一実施態様において、前記合成画像生成部は、前記空間画像データ取得部の取得した空間画像データの属性情報として記録された空間画像データ取得時間情報と、前記画面表示データ取得部の取得した画面表示データの属性情報として記録された画面表示データ取得時間情報とを比較し、画面表示データ取得時間情報に最も近い空間画像データ取得時間情報を持つ空間画像データを合成対象画像として選択して合成画像の生成処理を実行する構成であることを特徴とする。
【００１６】
さらに、本発明の画像データ処理システムの一実施態様において、前記空間画像データ取得部は、カメラの撮影した空間画像データを取得して、取得した空間画像データを、該空間画像データを撮影したカメラのカメラ識別子と撮影時間情報を含む属性情報とともに記憶部に記憶する処理を実行する構成であることを特徴とする。
【００１７】
さらに、本発明の画像データ処理システムの一実施態様において、前記空間画像データ取得部は、複数の異なる位置に設定されたカメラの撮影した複数の空間画像データを取得して、取得した複数の空間画像データを、該空間画像データを撮影したカメラのカメラ識別子と撮影時間情報を含む属性情報とともに記憶部に記憶する処理を実行する構成であることを特徴とする。
【００１８】
さらに、本発明の画像データ処理システムの一実施態様において、前記画面表示データ取得部は、複数の異なる位置に設定されたディスプレイに表示される複数の画面表示データを取得して、取得した複数の画面表示データを、該画面表示データを表示したディスプレイの識別子とデータ取得時間情報を含む属性情報とともに記憶部に記憶する処理を実行する構成であることを特徴とする。
【００１９】
さらに、本発明の画像データ処理システムの一実施態様において、前記合成画像生成部は、予め取得済みの実空間におけるディスプレイ設定位置情報に基づいて、前記空間画像データ取得部の取得した空間画像データ中のディスプレイ表示位置を決定して、該決定位置に前記画面表示データ取得部の取得した画面表示データを設定した合成画像の生成処理を実行する構成であることを特徴とする。
【００２０】
さらに、本発明の画像データ処理システムの一実施態様において、前記合成画像生成部は、前記空間画像データ取得部の取得した空間画像データの画像解析に基づいてディスプレイ表示位置を決定して、該決定位置に前記画面表示データ取得部の取得した画面表示データを設定した合成画像の生成処理を実行する構成であることを特徴とする。
【００２１】
さらに、本発明の画像データ処理システムの一実施態様において、前記合成画像出力部は、情報処理装置におけるディスプレイであり、前記合成画像生成部は、複数のカメラによって撮影された複数の空間画像データを組み合わせた空間画像データ中のディスプレイ表示位置に、前記画面表示データ取得部の取得した画面表示データを設定した合成画像の生成処理を実行する構成であることを特徴とする。
【００２２】
さらに、本発明の画像データ処理システムの一実施態様において、前記合成画像出力部は、一台または複数のプロジェクタによって構成され、前記合成画像生成部は、複数のカメラによって撮影された複数の空間画像データを、各カメラに対応する位置に設定されたプロジェクタの出力データとした空間画像データ中のディスプレイ表示位置に、前記画面表示データ取得部の取得した画面表示データを設定した合成画像の生成処理を実行する構成であることを特徴とする。
【００２３】
さらに、本発明の画像データ処理システムの一実施態様において、前記合成画像生成部は、前記空間画像データ取得部の取得する空間を小領域に区分してアドレスを設定した空間アドレス情報と、合成画像中に出力するオブジェクトの表示位置を示すアドレスを各オブジェクトに対応付けたオブジェクト対応アドレス情報テーブルを保持し、前記空間アドレス情報と前記オブジェクト対応アドレス情報テーブルに設定されたアドレスに従って、前記合成画像上における各オブジェクトの出力位置を決定する構成であることを特徴とする。
【００２４】
さらに、本発明の画像データ処理システムの一実施態様において、前記合成画像生成部は、時間遷移に応じて、前記オブジェクトの表示位置および表示内容を更新した合成画像を生成して出力する構成であることを特徴とする。
【００２５】
さらに、本発明の第２の側面は、
画像データ処理システムにおいて画像データ処理を実行する画像データ処理方法であり、
空間画像データ取得部が、カメラによって撮影された空間画像データを取得する空間画像データ取得ステップと、
画面表示データ取得部が、ディスプレイの表示画像を取得する画面表示データ取得ステップと、
合成画像生成部が、前記空間画像データと、前記画面表示データとの合成処理により合成画像を生成する合成画像生成ステップと、
合成画像出力部が、前記合成画像生成ステップにおいて生成した合成画像を出力する合成画像出力ステップを有し、
前記合成画像生成ステップは、
前記空間画像データ取得部の取得した空間画像データ中のディスプレイ表示位置に、前記画面表示データ取得部の取得した画面表示データを設定した合成画像の生成処理を実行するステップであることを特徴とする画像データ処理方法にある。
【００２６】
さらに、本発明の第３の側面は、
画像データ処理システムにおいて画像データ処理を実行させるコンピュータ・プログラムであり、
空間画像データ取得部に、カメラによって撮影された空間画像データを取得させる空間画像データ取得ステップと、
画面表示データ取得部に、ディスプレイの表示画像を取得させる画面表示データ取得ステップと、
合成画像生成部に、前記空間画像データと、前記画面表示データとの合成処理により合成画像を生成させる合成画像生成ステップと、
合成画像出力部に、前記合成画像生成ステップにおいて生成した合成画像を出力させる合成画像出力ステップを有し、
前記合成画像生成ステップは、
前記空間画像データ取得部の取得した空間画像データ中のディスプレイ表示位置に、前記画面表示データ取得部の取得した画面表示データを設定した合成画像の生成処理を実行させるステップであることを特徴とするコンピュータ・プログラムにある。
【００２７】
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能なコンピュータシステムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記録媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータシステム上でプログラムに応じた処理が実現される。
【００２８】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００２９】
本発明の一実施例の構成によれば、カメラによって撮影された空間画像データを取得し、さらに、ＰＣなどの情報処理装置のディスプレイに表示されたデータである画面表示データを取得し、これらの空間画像データと画面表示データとの合成処理により合成画像を生成して出力する。合成画像生成処理においては、空間画像データ中のディスプレイ表示位置に、画面表示データを設定した合成画像を生成して出力する構成とした。本構成により、ディスプレイに表示されたデータの再現に際して、その時点の空間イメージを併せて再現することが可能となり、実空間における状況の再現をよりリアルに行なうことが可能となる。
【発明を実施するための最良の形態】
【００３０】
以下、図面を参照しながら本発明の実施形態に係る画像データ処理システム、および画像データ処理方法、並びにコンピュータ・プログラムの詳細について説明する。
【００３１】
本発明の画像データ処理システムは、空間のイメージデータ、例えば写真データとしてのスナップショットとしての空間画像データを取得し、さらに、ユーザのデスクやテーブル上、あるいは空間の壁面などに配置されたディスプレイの画面表示データを取得し、取得した空間画像データと、ディスプレイの画面表示データをデータベース等の記憶手段に格納する。
【００３２】
さらに、データベース等の記憶手段に格納されたデータの再生処理に際しては、空間画像データを再生するとともに、空間画像データ中に表示されるディスプレイの位置に合わせて、記憶手段に格納されたディスプレイの画面表示データをはめ込んで、合成画像を生成して再生を行なう。
【００３３】
このような合成画像の再生を行なうことで、空間全体のイメージと個々のディスプレイの内容を同時に再現できる。また、記録した空間画像データおよび表示画像データの再生処理態様は、ユーザの指定に応じて、様々な表示態様の選択を可能としている。
【００３４】
まず、図１を参照して、本発明の一実施形態に係る画像データ処理システムの構成について説明する。本発明の一実施形態に係る画像データ処理システム１００は、図１に示すように、様々なＰＣなどの情報処理装置のディスプレイ１０の画面表示データを取り込む処理を実行する画面表示データ取得部１１１、画面表示データ取得部１１１の取得した画像データを記録する画面表示データ記憶部１１２、空間の様々な位置に配置され空間の画像データを撮影するカメラ２０の撮影画像データを取り込む処理を実行する空間画像データ取得部１２１、空間画像データ取得部１２１の取得した画像データを記録する空間画像データ記憶部１２２、さらに、画面表示データ記憶部１１２に格納された画面表示データと、空間画像データ記憶部１２２に格納された空間画像データとを取得して、合成画像を生成する合成画像生成部１３１、合成画像生成部１３１の生成した合成画像データを記録する合成画像記憶部１３２、合成画像生成部１３１の生成した合成画像データを出力する例えばディスプレイやプロジェクション等によって構成される合成画像出力部１４１を有する。さらに、画像の取り込みタイミングの指定や、画像の再生制御などの各種制御情報を入力する入力部（操作パネル）１０１を有する。
【００３５】
合成画像生成部１３１では、空間画像データ記憶部１２２から空間画像データを取得し、画面表示データ記憶部１１２に格納された画面表示データを取得して、空間画像データ中に表示されるディスプレイの位置に合わせてディスプレイの画面表示データをはめ込んだ合成画像を生成する。すなわち、合成画像生成部１３１は、空間画像データ中のディスプレイ表示位置に、画面表示データを設定した合成画像の生成処理を実行する。
【００３６】
ユーザは、入力部（操作パネル）１０１から、例えば画像の取り込みタイミングを指定することが可能であり、また、合成画像の生成、出力に際して、出力態様等の指定が可能である。
【００３７】
なお、空間画像データ記憶部１２２には、空間画像データ取得部１２１が逐次取得した画像データが記録されていくが、予めデフォルトの背景画像も記憶されている。このデフォルト背景画像は、予め所定の空間イメージに対応する画像データであり、空間画像データ取得部１２１が新たな画像データを取得していない場合にも、合成画像生成部１３１は、空間画像データ記憶部１２２に記憶されたデフォルト背景画像を適用して、画面表示データ記憶部１１２に格納された画面表示データを、デフォルト空間画像データ中のディスプレイ位置に合わせてはめ込んだ合成画像を生成する。
【００３８】
ディスプレイやカメラの配置例について、図２、図３を参照して説明する。図２は、ある室内空間を上から見た図を示している。図３は、同一空間を正面（図２の下側）から見た図である。図２において、４方の壁面２００をそれぞれ区別して、２００Ｎ１，２００Ｎ２，２００Ｅ１，２００Ｅ２，２００Ｓ１，２００Ｗ１，２００Ｗ２として示している。図の下側の壁面２００Ｓ１はパーティションやドア部分など独立した壁面ではない部分であり点線として示してある。
【００３９】
図２、図３に示す空間は１つのスナップ対象空間の例であり、前後左右床の５面によって囲まれ、壁面２００には壁面ディスプレイ２１１が設置されている。壁面２００は、基本的には情報提示面として活用される（ホワイトボード、メモクリップ、ドキュメント（カタログなどを含む、ファイルや書籍の背表紙など）が、個人ワーク環境として必要な収納スペース（上着掛け、かばん収納、傘収納、靴収納、コーヒーカップ、写真立て、文具収納、回覧受けなど）を兼ねている。
【００４０】
中央付近にはデスク２２０と椅子（図示せず）が配置され、通常は、デスク２２０を中心とした個人ワーク環境として使用されているが、デスク２２０上のディスプレイ２２１のみならず、壁面２００の各面に配置されたディスプレイ２１１にも情報表示が可能となっている。
【００４１】
壁面２００Ｎ１には、ファイルが置かれ、２つの壁面ディスプレイ２１１設定されている。
壁面２００Ｎ２には、書籍が置かれ１つのホワイトボードが設定されている。
壁面２００Ｅ１には、１つの壁面ディスプレイ２１１が設定されている。
壁面２００Ｅ２には、ドキュメント、パンフレット類が置かれている。
壁面２００Ｓ１は、例えば入り口である。
壁面２００Ｗ１には、１つの壁面ディスプレイ２１１が設定されている。
壁面２００Ｗ２には、コート、かさ、カバンなどの日用品が置かれている。
壁面２００Ｗ１と壁面２００Ｗ２にまたがってパネルが設定されている。
【００４２】
４方の各壁面２００のほぼ中央部にはカメラ２０１〜２０４が設置され、４方向からの空間画像の撮影を行なう。図２、図３に示す入力部（操作パネル）２２２をユーザが操作することで、これらのカメラ２０１〜２０４により各空間イメージ画像が撮影される。カメラ２０１〜２０４は、図１に示すカメラ１０に相当し、カメラ２０１〜２０４の撮影画像は、図１に示す空間画像データ取得部１２１によって取得されて空間画像データ記憶部１２２に格納される。なお、どのカメラによって撮影された画像データであるかを示すカメラ識別データと、撮影タイミングの時間データも画像の属性データとして画像に併せて空間画像データ記憶部１２２に記録される。
【００４３】
壁面２００には、複数の壁面ディスプレイ２１１が設置されている。また、中央のデスク２２０上にも複数のディスプレイ２２１が設置されている。これらのディスプレイ２１１，２２１は、図１におけるディスプレイ１０に相当し、これらのディスプレイ２１１，２２１に表示された画像データは、図２、図３に示す入力部（操作パネル）２２２をユーザが操作することで、図１に示す画面表示データ取得部１１１によって取得されて画面表示データ記憶部１１２に格納される。なお、どのディスプレイの表示画像データであるかを示すディスプレイ識別データと、データ取得タイミングの時間データも画像の属性データとして画像に併せて画面表示データ記憶部１１２に記録される。
【００４４】
また、４方の各壁面２００中、３方の壁面２００Ｅ，２００Ｓ，２００Ｗのほぼ中央部にはプロジェクタ２３１，２３２，２３３が設置されている。これらは、図１に示す合成画像出力部１４１に相当し、合成画像生成部１３１の生成した画像データを各対向壁面に出力する。なお、壁面ディスプレイ２１１や、デスク２２０上の複数のディスプレイ２２１も合成画像出力部１４１に相当する。ユーザは、入力部（操作パネル）２２２を操作して、これらの複数の画像出力装置を適宜、選択して合成画像生成部１３１の生成した合成画像を出力する。
【００４５】
なお、この空間は、図４、図５に示すように、人２５１〜２５５が入ったり移動したりするスペースや通路があり、数人が壁面を見たり、あるいは机を囲んだりして、打ち合わせやディスカッションができる設定である。
【００４６】
なお、以下説明する実施例は、図２に示すように複数のカメラと複数のプロジェクタを備えた構成における処理例を説明するが、本発明は、複数のカメラと複数のプロジェクタを備えることは必ずしも必須ではなく、例えば撮影方向を変更する制御可能な１台のカメラとした構成でもよく、またプロジェクタも１つのみとする構成でもよい。
【００４７】
以下、図６に示すフローチャートを参照して、本実施例に係る画像データ処理システムにおける画像取得処理および画像出力処理シーケンスについて説明する。図６に示す処理フローは、入力部（操作パネル）をユーザが操作することで、壁面あるいはデスク上のディスプレイの表示画像を記憶部に格納して、その記憶画像を予め取得済みの空間イメージ画像（背景画像）と合成してディスプレイあるいはプロジェクタを介して出力する処理を実行する場合の処理シーケンスを説明するフローである。
【００４８】
まず、ステップＳ１０１において、ユーザが入力部（操作パネル）を操作して、ディスプレイの画面表示データの取り込み指示を実行する。この指示に基づいて、ステップＳ１０２において、図１に示す画面表示データ取得部１１１が、ネットワーク接続されたディスプレイ、例えば、図２、図３に示す構成例では、壁面ディスプレイ２１１とデスク上のディスプレイ２２１の各々に表示されたデータを各々取得し、ステップＳ１０３において、取得した複数の画面表示データを画面表示データ記憶部１１２に格納する。
【００４９】
なお、画面表示データ取得部１１１は、各ディスプレイの画面表示データに併せて、各ディスプレイの識別情報（ＩＤ）と、取得時間情報を各画面表示データに対応する属性情報として設定して画面表示データ記憶部１１２に格納する。例えば、各ディスプレイの画面表示データは、個別の画像ファイルとして画面表示データ記憶部１１２に格納され、ファイル名をＰＣ名（アドレスなどのＩＤ）＋タイムスタンプの構成として格納される。
【００５０】
ステップＳ１０４において、合成画像生成部１３１が画面表示データ記憶部１１２に格納された画面表示データを取得する。なお、ステップＳ１０４以下の処理は、ステップＳ１０３までの画像取得処理に続けて実行する構成としてもよいが、ユーザによる入力部に対する画像再生指示に基づいて実行する構成としてもよい。
【００５１】
次に、ステップＳ１０５において、合成画像生成部１３１が空間画像データ記憶部１２２に格納された空間画像データを取得する。合成画像生成部１３１が空間画像データ記憶部１２２から取得する空間画像データは、デフォルトとして指定された予め撮影済みの背景画像データか、あるいは、合成画像生成部１３１が画面表示データ記憶部１１２から取得した画面表示データのタイムスタンプに最も近い撮影時間を属性データとして持つ空間画像データとする。
【００５２】
次に、合成画像生成部１３１は、ステップＳ１０６において、記憶部から取得した画面表示データと空間画像データとを合成する処理を実行する。すなわち、空間画像データ中に表示されるディスプレイの位置に合わせてディスプレイの画面表示データをはめ込んだ合成画像を生成する。
【００５３】
なお、ディスプレイ位置は、予め合成画像生成部１３１内の記憶部に記録されている。すなわち、画面表示データを取得する対象となる個々のディスプレイの実空間における位置情報は、各ディスプレイの識別情報に対応付けられて予め合成画像生成部１３１内の記憶部に記録されており、この位置情報に基づいて、空間画像データ内におけるディスプレイ画面表示データの出力位置を決定して合成画像を生成する。なお、このような位置情報を保持せず、カメラによって撮影された空間画像データの画像解析によってディスプレイ位置を求めて、その求めたディスプレイ位置に画面表示データを設定して出力する構成としてもよい。
【００５４】
次に、ステップＳ１０７において、合成画像生成部１３１の生成した合成画像を合成画像出力部１４１を介して出力する。合成画像出力部１４１は先に説明したように、ディスプレイ、あるいはプロジェクタであり、ユーザによる入力部を介する指示によって選択された出力先に合成画像が出力される。
【００５５】
図６を参照して説明したシーケンスは、ディススプレイに表示された画像のみを取得する処理として説明したが、空間に配置されたカメラによって撮影された空間画像を画面表示データの取りこみに併せて取得して、これらの取得画像に基づいて合成画像を生成して出力するシーケンスについて、図７に示すフローチャートを参照して説明する。
【００５６】
まず、ステップＳ２０１において、ユーザが入力部（操作パネル）を操作して、ディスプレイの画面表示データの取り込み、および、カメラ（例えば図２に示すカメラ２０１〜２０４）による空間画像の取得（撮影）指示を実行する。この指示に基づいて、ステップＳ２０２において、図１に示す画面表示データ取得部１１１が、ネットワーク接続されたディスプレイ、例えば、図２、図３に示す構成例では、壁面ディスプレイ２１１とデスク上のディスプレイ２２１の各々に表示されたデータを各々取得し、さらに、空間画像データ取得部１２１がカメラ２０１〜２０４の各々において撮影された空間画像を取得する。
【００５７】
ステップＳ２０３では、取得した画像データを記憶部に格納する。すなわち、画面表示データを画面表示データ記憶部１１２に格納し、カメラによって撮影された空間画像データを空間画像データ記憶部１２２に格納する。
【００５８】
なお、画面表示データ取得部１１１は、各ディスプレイの画面表示データに併せて、各ディスプレイの識別情報（ＩＤ）と、取得時間情報を各画面表示データに対応する属性情報として設定して画面表示データ記憶部１１２に格納し、空間画像データ取得部１２１は、各カメラの取得画像に併せて、各カメラの識別情報（ＩＤ）と、取得時間情報を各空間画像データに対応する属性情報として設定して空間画像データ記憶部１２２に格納する。例えば、前述したように個別の画像ファイルの各々について、ファイル名をＰＣあるいはカメラ名（アドレスなどのＩＤ）＋タイムスタンプの構成として格納する。
【００５９】
ステップＳ２０４では、合成画像生成部１３１が画面表示データ記憶部１１２に格納された画面表示データを取得し、ステップＳ２０５において、合成画像生成部１３１が空間画像データ記憶部１２２に格納された空間画像データを取得する。なお、ステップＳ２０４以下の処理は、ステップＳ２０３までの画像取得処理に続けて実行する構成としてもよいが、ユーザによる入力部に対する画像再生指示に基づいて実行する構成としてもよい。
【００６０】
合成画像生成部１３１が空間画像データ記憶部１２２から取得する空間画像データは、合成画像生成部１３１が画面表示データ記憶部１１２から取得した画面表示データのタイムスタンプに最も近い撮影時間を属性データとして持つ空間画像データであり、このように、同時取り込みが実行されている場合は、その同時取り込み空間画像データが取得される。
【００６１】
次に、合成画像生成部１３１は、ステップＳ２０６において、記憶部から取得した画面表示データと空間画像データとを合成する処理を実行する。すなわち、空間画像データ中に表示されるディスプレイの位置に合わせてディスプレイの画面表示データをはめ込んだ合成画像を生成する。次にステップＳ２０７において、合成画像生成部１３１の生成した合成画像を合成画像出力部１４１を介して出力する。
【００６２】
合成画像出力部１４１は先に説明したように、ディスプレイ、あるいはプロジェクタであり、ユーザによる入力部を介する指示によって選択された出力先に合成画像が出力される。
【００６３】
合成画像生成部１３１において生成され、合成画像出力部１４１に出力される合成画像の例について図８、図９を参照して説明する。合成画像出力部１４１は、ディスプレイ、あるいはプロジェクタであり、これらを選択して出力することが可能である。図８に示す例は、デスク上の１つのディスプレイ３０１に合成画像を出力した例を示している。
【００６４】
合成画像は、空間画像データ３１１〜３１３にディスプレイから取得した画面表示データを貼り合わせた合成画像として設定される。空間画像データ３１１〜３１３は、それぞれ、図に示す壁面３５１〜３５３のそれぞれの撮影画像、すなわち空間画像データに相当する。この壁面の空間画像データは、図１に示す空間画像データ記憶部１２２に格納されたものである。
【００６５】
この空間画像の各壁面のディスプレイ位置に対応するディスプレイ３２１〜３２４から取得されたが画面表示データが重ねられて表示される。すなわち、図に示す矢印によって示すディスプレイから取得され画面表示データ記憶部１１２に格納された画面表示データがそれぞれのディスプレイ表示位置に表示される。デスク上のディスプレイから取得した画面表示データについても、それぞれオリジナルの位置関係を維持した状態でそれぞれ表示されることになる。図９に、表示される合成画像の拡大図を示す。
【００６６】
なお、合成画像中に表示される空間画像データ３１１〜３１３は、デフォルトとして指定された予め撮影済みの背景画像データか、あるいは、合成画像生成部１３１が画面表示データ記憶部１１２から取得した画面表示データのタイムスタンプに最も近い撮影時間を属性データとして持つ空間画像データである。
【００６７】
なお、画像の取得処理は、ユーザによる入力部（操作パネル）を介する指示によって決定される画像取得タイミングに応じて次々に実行することが可能であり、合成画像の生成処理も、画像取得タイミングに応じて実行される。従って、出力する合成画像も次々に切り替えることが可能となる。出力画像の切り替え指示も入力部（操作パネル）を介して実行される。
【００６８】
また、合成画像の出力先についても、ユーザの指定に応じて変更することが可能である。例えば、図８に示す例では、壁面ディスプレイから取り込んだ画面表示データが、ディスプレイに表示された合成画像上では小さく見づらい。このような場合、この合成画像上の１つのディスプレイに対応する画面表示データを、１つのディスプレイ、例えば、図８に示す矢印で示す対応するディスプレイに表示させるといった処理も可能である。
【００６９】
すなわち、合成画像として表示されているデータは、それぞれが個別のファイルとして設定されており、合成画像生成部１３１が、ユーザの指示に応じて各ファイルの出力先を変更する処理を行なうことで実現される。
【００７０】
図８に示す例では、正面の壁面に２台、左右の壁面に１枚、デスク上に３枚のディスプレイがあることを想定しているが、ディスプレイがない場合でも、天井から見た映像、床から天井を見上げたときの映像、背後の面の映像などを加えることができる。なお、図に示す例では、各壁面に対応する空間画像データを並べて表示する構成としているが、各空間画像データを個別のウィンドウとして設定する表示や、吹き出し風に周囲に拡大画像を配する表示構成としてもよい。
【００７１】
図８、図９を参照して説明した合成画像の表示例は、合成画像出力部としてディスプレイを用いた例であるが、先に説明したように合成画像出力部としてプロジェクタを適用する構成としてもよい。プロジェクタによる合成画像の出力例について図１０を参照して説明する。
【００７２】
図１０は、図２と同様の空間を上面から見た図である。先に説明したように各壁面のほぼ中央には、合成画像出力部として利用可能なプロジェクタ２３１〜２３３が設置されている。合成画像生成部１３１が生成した画像は、これらのプロジェクタ２３１〜２３３を介して、それぞれ対向壁面に表示される。この際、対向面には、それぞれ、必要に応じてスクリーンを設定してプロジェクタの出力画像を表示する構成としてもよい。合成画像生成部は、複数のカメラによって撮影された複数の空間画像データを、各カメラに対応する位置に設定されたプロジェクタの出力データとした空間画像データ中のディスプレイ表示位置に、画面表示データ取得部の取得した画面表示データを設定した合成画像の生成処理を実行する。
【００７３】
このように、プロジェクタ２３１〜２３３が対向壁面に表示する画像データは、それぞれ隣接するカメラ２０２，２０３，２０４によって撮影された画像とする。すなわち、オリジナルの空間と同様な空間位置関係を保持した空間画像データが表示されることになる。
【００７４】
なお、上述の実施例では、静止画を投影する例について説明しているが、動画を撮影して表示する構成としてもよい。この例では、情報ディスプレイ中心の再現に加え、その空間に居た人の情報も写し込むことができるため、もっともリアルに状況を再現できる。
【００７５】
［ネットワークを介した制御構成例］
上述した実施例は、基本的に画像の撮影空間に位置するユーザが、その同一空間内で、合成画像の表示、観察を行なう例として説明したが、画像取得を行なう空間にいないユーザが、ネットワークを介して画像取得の指示や合成画像の生成、出力処理の指示を行なう構成とすることも可能である。例えば、遠隔のＰＣから、ネットワークを介して、離れた位置にある空間の画像および画面表示データの取得の指示を行い、合成画像を得て、手元のディスプレイに表示させるといった処理である。このようなネットワークを介する制御構成について図１１を参照して説明する。
【００７６】
図１１に示すように、先に図２を参照して説明したと同様の画像データ取得空間３１０、すなわち、画面表示データを出力するディスプレイ３１１と、空間画像データを撮影するカメラ３１２を有する画像データ取得空間３１０と、画像データ取得空間３１０における画像取得処理や画像合成処理を実行する情報処理装置３２０はネットワークによって接続されている。
【００７７】
このようなネットワーク構成において、情報処理装置３２０は、ユーザの指示情報を入力する入力部３２１、ユーザ指示に応じてネットワーク接続されたディスプレイ３１１の画面表示データの取得を実行する画面表示データ取得部３２２、ユーザ指示に応じてネットワーク接続されたカメラ３１２の撮影する空間画像データの取得を実行する空間画像データ取得部３２３、さらに、空間画像データと画面表示データとの合成処理を実行する合成画像生成部３２４、合成画像生成部３２４の生成した合成画像を出力表示する合成画像出力部３２５を有する。
【００７８】
なお、図に示す例では、画面表示データ取得部３２２の取得した画面表示データを格納する画面表示データ記憶部３３１、空間画像データ取得部３２３の取得した空間画像データを格納する空間画像データ記憶部３３２、合成画像生成部３２４の生成した合成画像を格納する合成画像データ記憶部３３３もそれぞれネットワークによって接続されたデータベースとした設定である。なお、これらのデータベースは、情報処理差うち３２０内部に構成してもよい。
【００７９】
先の実施例では、画像データ取得空間にいるユーザが入力部を介して画像取得を指示する構成としていたが、本実施例では、画像データ取得空間にいないユーザがネットワークを介した情報処理装置３２０の入力部を介して画像取得を指示する。すなわち、遠隔から、画像スナップ取得指示を送ることができる。取得画像や合成画像は、手元の情報処理装置３２０のディスプレイ上で見ることができる。
【００８０】
［画像表示制御処理］
上述した実施例では、カメラの撮影した空間画像データ内のディスプレイ対応位置に、ディスプレイから取得した画面表示データをはめ込んだ合成画像を生成して出力する構成として説明した。この場合、例えば、出力合成画像中の画面表示データの出力位置は、実空間におけるディスプレイ設定位置に対応する位置に固定されることになる。その他の実物体、例えば、パネル等も出力合成画像中の画面表示データの出力位置は、実空間における位置に対応した画面位置に固定されることになる。
【００８１】
本実施例では、出力される画像中の各オブジェクトの出力位置を変更できる設定とした例である。例えば、図１２に示すようにカメラによって撮影される対象となる空間にアドレスを振った空間アドレス情報を用いて３次元での空間表示制御を行う。図１２に示す例は、画像データ取得空間の正面の壁全体を１つの２次元領域として、縦方向と横方向にそれぞれ分割した矩形領域を設定して、各矩形領域にアドレスを対応付けた例である。各壁面の識別子として、中央正面の壁面を［Ｃ］、左側壁面を［Ｌ］、右側壁面を［Ｒ］として、各壁面において、それぞれ細分化した矩形領域ごとのアドレスを設定する。
【００８２】
図１２に示す例は、中央正面壁面［Ｃ］のアドレス設定例であり、縦方向に１０分割、横方向に１２分割して、計１２０個のアドレスを設定する。アドレスは、例えば、
［壁面識別子−縦座標−横座標］
の設定とする。図１２に示す例では、
左上端のアドレス＝［Ｃ−０１−０１］
右上端のアドレス＝［Ｃ−０１−１２］
左下端のアドレス＝［Ｃ−１０−０１］
右下端のアドレス＝［Ｃ−１０−１２］
となる。
【００８３】
さらに、図１３に示すように、各壁面に設定されるオブジェクト、例えばディスプレイやパネル、電子ボードなどのオブジェクト各々について、オブジェクト名（またはＩＤ）とその表示位置情報としてのアドレスを対応付けたオブジェクト対応アドレス情報テーブルを設定して記憶する。図１３に示す例では、
ディスプレイ０１（ＰＣ０１）のアドレスは［Ｃ−０３−０２］、
ディスプレイ０２（ＰＣ０２）のアドレスは［Ｃ−０３−０４］、
電子ボードのアドレスは［Ｃ−０２−０６］、
このようなデータエントリを有するオブジェクト対応アドレス情報テーブルの例である。
【００８４】
合成画像生成部は、図１２に示す空間アドレス情報と、図１３に示すオブジェクト対応アドレス情報テーブルとを利用して、各オブジェクトの表示位置を制御する。オブジェクト対応アドレス情報テーブルに記録された各オブジェクトに対するアドレス位置に書くオブジェクトの表示、例えば、ディスプレイから取得した画面表示データを出力すれば、実空間のディスプレイ位置に対応する表示画像の生成が可能となる。また、オブジェクトの表示位置を変更する場合には、オブジェクト対応アドレスをユーザが一時的に変更することで、表示位置を変更することが可能となる。
【００８５】
例えば、時間経過に従って、ディスプレイの表示位置を変更する処理が実現できる。例えば図１４に示すような、時間毎の表示位置を設定した表示位置設定情報テーブルに基づいて、各ディスプレイから取得した画面表示データを出力合成画像上で移動させながら表示を行なうことが可能となる。
【００８６】
例えば合成画像生成部は、図１４（ａ）に示す時間対応オブジェクト表示位置情報と、図１４（ｂ）に示す時間対応オブジェクト表示情報を保持し、これらを適用して、各時間タイミング（Ｔ１，Ｔ２，Ｔ３・・・Ｔｎ）において、各オブジェクトの表示位置と表示内容を逐次変更して出力する。
【００８７】
図１４（ａ）に示す時間対応オブジェクト表示位置情報は、ディスプレイとしてのＰＣ１〜ＰＣ４の時間Ｔ１〜Ｔｎにおける表示位置を設定したデータであり、図１４（ｂ）に示す時間対応オブジェクト表示情報は、ディスプレイとしてのＰＣ１〜ＰＣ４・・・の時間Ｔ１〜Ｔｎにおける表示情報を示したテーブルである［○○．ｊｐｇ］は、画面表示データ取得部によって、各ディスプレイから取得され画面表示データ記憶部に記録されたファイル名を示している。
【００８８】
合成画像生成部は、図１４（ａ）に示す時間対応オブジェクト表示位置情報に従って、ディスプレイとしてのＰＣ１〜ＰＣ４の時間Ｔ１〜Ｔｎにおける表示位置を決定し、図１４（ｂ）に示す時間対応オブジェクト表示情報に基づいて、各表示位置に表示する情報ファイルを取得して、壁面を示す空間画像上に上書きを実行して合成画像を生成し出力する。このように、時間遷移に応じて、オブジェクトの表示位置と表示内容を更新した表示処理が実現される。
【００８９】
最後に、上述した画像データ処理を実行する情報処理装置のハードウェア構成例について、図１５を参照して説明する。図１５に示す情報処理装置は、例えばＰＣであり、図１に示すブロック図に対応する処理を実行し、また図１１に示す情報処理装置３２０に対応する。ＣＰＵ（Central Processing Unit）５０１は、ＯＳ（Operating System)に従った処理や、上述の実施例において説明した画像データの取得処理、合成画像の生成処理、合成画像の出力制御などを実行する。これらの処理は、情報処理装置のＲＯＭ、ハードディスクなどのデータ記憶部に格納されたコンピュータ・プログラムに従って実行される。
【００９０】
ＲＯＭ（Read Only Memory）５０２は、ＣＰＵ５０１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（Random Access Memory）５０３は、ＣＰＵ５０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバスなどから構成されるホストバス５０４により相互に接続されている。
【００９１】
ホストバス５０４は、ブリッジ５０５を介して、ＰＣＩ(Peripheral Component Interconnect/Interface)バスなどの外部バス５０６に接続されている。
【００９２】
キーボード５０８、ポインティングデバイス５０９は、ユーザにより操作される入力デバイスである。画像の取得や、画像の合成、出力処理制御情報等の指示入力がなされる。ディスプレイ５１０は、液晶表示装置またはＣＲＴ（Cathode Ray Tube）などから成り、例えば合成画像を表示する。
【００９３】
ＨＤＤ（Hard Disk Drive）５１１は、ハードディスクを駆動し、ＣＰＵ５０１によって実行するプログラムや情報を記録または再生させる。ハードディスクは、例えば上述の実施例において説明した各種の取得画像、生成した合成画像の記憶部としても機能する。さらに、上述の実施例において適用するデータ処理プログラム、各種テーブル、パラメータ、その他のコンピュータ・プログラムが格納される。
【００９４】
ドライブ５１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体５２１に記録されているデータまたはプログラムを読み出して、そのデータまたはプログラムを、インタフェース５０７、外部バス５０６、ブリッジ５０５、およびホストバス５０４を介して接続されているＲＡＭ５０３に供給する。
【００９５】
接続ポート５１４は、外部接続機器５２２を接続するポートであり、ＵＳＢ，ＩＥＥＥ１３９４等の接続部を持つ。接続ポート５１４は、インタフェース５０７、および外部バス５０６、ブリッジ５０５、ホストバス５０４等を介してＣＰＵ５０１等に接続されている。通信部５１５は、ネットワークに接続され、各種データベースや他の情報処理装置、カメラ、ディスプレイの取得画像の入力などの情報通信を実行する。
【００９６】
なお、図１５に示す情報処理装置のハードウェア構成例は、ＰＣを適用して構成した装置の一例であり、本発明の画像データ処理システムを構成する装置は、図１５に示す構成に限らず、上述した実施例において説明した処理を実行可能な構成であればよい。
【００９７】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【００９８】
なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【００９９】
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
【０１００】
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１０１】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１０２】
以上、説明したように、本発明の一実施例の構成においては、カメラによって撮影された空間画像データを取得し、さらに、ＰＣなどの情報処理装置のディスプレイに表示されたデータである画面表示データを取得し、これらの空間画像データと画面表示データとの合成処理により合成画像を生成して出力する。合成画像生成処理においては、空間画像データ中のディスプレイ表示位置に、画面表示データを設定した合成画像を生成して出力する構成とした。本構成により、ディスプレイに表示されたデータの再現に際して、その時点の空間イメージを併せて再現することが可能となり、実空間における状況の再現をよりリアルに行なうことが可能となる。
【図面の簡単な説明】
【０１０３】
【図１】本発明の一実施形態に係る画像データ処理システムの構成について説明する図である。
【図２】本発明の一実施例に係る画像データ処理システムを構成するディスプレイやカメラの配置例について説明する図である。
【図３】本発明の一実施例に係る画像データ処理システムを構成するディスプレイやカメラの配置例について説明する図である。
【図４】本発明の一実施例に係る画像データ処理システムを構成するディスプレイやカメラの配置および人の移動例について説明する図である。
【図５】本発明の一実施例に係る画像データ処理システムを構成するディスプレイやカメラの配置および人の移動例について説明する図である。
【図６】本発明の一実施例に係る画像データ処理システムにおける画像取得処理および画像出力処理シーケンスについて説明するフローチャートを示す図である。
【図７】本発明の一実施例に係る画像データ処理システムにおける画像取得処理および画像出力処理シーケンスについて説明するフローチャートを示す図である。
【図８】合成画像生成部において生成され、合成画像出力部に出力される合成画像の例について説明する図である。
【図９】合成画像生成部において生成され、合成画像出力部に出力される合成画像の例について説明する図である。
【図１０】プロジェクタによる合成画像の出力例について説明する図である。
【図１１】本発明の一実施例に係る画像データ処理システムにおいてネットワークを介する制御構成について説明する図である。
【図１２】カメラによって撮影される対象となる空間にアドレスを振った空間アドレス情報について説明する図である。
【図１３】オブジェクト名（またはＩＤ）とその表示位置情報としてのアドレスを対応付けたオブジェクト対応アドレス情報テーブルについて説明する図である。
【図１４】時間毎の表示位置を設定した表示位置設定情報テーブルに基づいて、各ディスプレイから取得した画面表示データを出力合成画像上で移動させながら表示を行なう構成について説明する図である。
【図１５】本発明の一実施例に係る画像データ処理システムを構成する情報処理装置のハードウェア構成例について説明する図である。
【符号の説明】
【０１０４】
１０ ディスプレイ
２０ カメラ
１００ 画像データ処理システム
１１１ 画面表示データ取得部
１１２ 画面表示データ記憶部
１２１ 空間画像データ取得部
１２２ 空間画像データ記憶部
１３１ 合成画像生成部
１３２ 合成画像記憶部
１４１ 合成画像出力部
２００ 壁面
２０１〜２０４ カメラ
２１１ 壁面ディスプレイ
２２０ デスク
２２１ ディスプレイ
２３１〜２３３ プロジェクタ
２５１〜２５５ 人
３０１〜３０３ ディスプレイ
３１１〜３１３ 空間画像データ
３２１〜３２４ ディスプレイ
３５１〜３５３ 壁面
５０１ ＣＰＵ(Central Processing Unit)
５０２ ＲＯＭ（Read-Only-Memory）
５０３ ＲＡＭ（Random Access Memory）
５０４ ホストバス
５０５ ブリッジ
５０６ 外部バス
５０７ インタフェース
５０８ キーボード
５０９ ポインティングデバイス
５１０ ディスプレイ
５１１ ＨＤＤ（Hard Disk Drive）
５１２ ドライブ
５１４ 接続ポート
５１５ 通信部
５２１ リムーバブル記録媒体
５２２ 外部接続機器
【特許請求の範囲】
【請求項１】
カメラによって撮影された空間画像データを取得する空間画像データ取得部と、
ディスプレイの表示画像を取得する画面表示データ取得部と、
前記空間画像データと、前記画面表示データとの合成処理により合成画像を生成する合成画像生成部と、
前記合成画像生成部の生成した合成画像を出力する合成画像出力部を有し、
前記合成画像生成部は、
前記空間画像データ取得部の取得した空間画像データ中のディスプレイ表示位置に、前記画面表示データ取得部の取得した画面表示データを設定した合成画像の生成処理を実行する構成であることを特徴とする画像データ処理システム。
【請求項２】
前記合成画像生成部は、
予め記憶部に記憶された背景情報としての空間画像データ中のディスプレイ表示位置に、前記画面表示データ取得部の取得した画面表示データを設定した合成画像の生成処理を実行する構成であることを特徴とする請求項１に記載の画像データ処理システム。
【請求項３】
前記合成画像生成部は、
前記空間画像データ取得部の取得した空間画像データの属性情報として記録された空間画像データ取得時間情報と、
前記画面表示データ取得部の取得した画面表示データの属性情報として記録された画面表示データ取得時間情報と、
を比較し、画面表示データ取得時間情報に最も近い空間画像データ取得時間情報を持つ空間画像データを合成対象画像として選択して合成画像の生成処理を実行する構成であることを特徴とする請求項１に記載の画像データ処理システム。
【請求項４】
前記空間画像データ取得部は、カメラの撮影した空間画像データを取得して、取得した空間画像データを、該空間画像データを撮影したカメラのカメラ識別子と撮影時間情報を含む属性情報とともに記憶部に記憶する処理を実行する構成であることを特徴とする請求項１に記載の画像データ処理システム。
【請求項５】
前記空間画像データ取得部は、複数の異なる位置に設定されたカメラの撮影した複数の空間画像データを取得して、取得した複数の空間画像データを、該空間画像データを撮影したカメラのカメラ識別子と撮影時間情報を含む属性情報とともに記憶部に記憶する処理を実行する構成であることを特徴とする請求項１に記載の画像データ処理システム。
【請求項６】
前記画面表示データ取得部は、複数の異なる位置に設定されたディスプレイに表示される複数の画面表示データを取得して、取得した複数の画面表示データを、該画面表示データを表示したディスプレイの識別子とデータ取得時間情報を含む属性情報とともに記憶部に記憶する処理を実行する構成であることを特徴とする請求項１に記載の画像データ処理システム。
【請求項７】
前記合成画像生成部は、
予め取得済みの実空間におけるディスプレイ設定位置情報に基づいて、前記空間画像データ取得部の取得した空間画像データ中のディスプレイ表示位置を決定して、該決定位置に前記画面表示データ取得部の取得した画面表示データを設定した合成画像の生成処理を実行する構成であることを特徴とする請求項１に記載の画像データ処理システム。
【請求項８】
前記合成画像生成部は、
前記空間画像データ取得部の取得した空間画像データの画像解析に基づいてディスプレイ表示位置を決定して、該決定位置に前記画面表示データ取得部の取得した画面表示データを設定した合成画像の生成処理を実行する構成であることを特徴とする請求項１に記載の画像データ処理システム。
【請求項９】
前記合成画像出力部は、情報処理装置におけるディスプレイであり、
前記合成画像生成部は、
複数のカメラによって撮影された複数の空間画像データを組み合わせた空間画像データ中のディスプレイ表示位置に、前記画面表示データ取得部の取得した画面表示データを設定した合成画像の生成処理を実行する構成であることを特徴とする請求項１に記載の画像データ処理システム。
【請求項１０】
前記合成画像出力部は、一台または複数のプロジェクタによって構成され、
前記合成画像生成部は、
複数のカメラによって撮影された複数の空間画像データを、各カメラに対応する位置に設定されたプロジェクタの出力データとした空間画像データ中のディスプレイ表示位置に、前記画面表示データ取得部の取得した画面表示データを設定した合成画像の生成処理を実行する構成であることを特徴とする請求項１に記載の画像データ処理システム。
【請求項１１】
前記合成画像生成部は、
前記空間画像データ取得部の取得する空間を小領域に区分してアドレスを設定した空間アドレス情報と、
合成画像中に出力するオブジェクトの表示位置を示すアドレスを各オブジェクトに対応付けたオブジェクト対応アドレス情報テーブルを保持し、
前記空間アドレス情報と前記オブジェクト対応アドレス情報テーブルに設定されたアドレスに従って、前記合成画像上における各オブジェクトの出力位置を決定する構成であることを特徴とする請求項１に記載の画像データ処理システム。
【請求項１２】
前記合成画像生成部は、
時間遷移に応じて、前記オブジェクトの表示位置および表示内容を更新した合成画像を生成して出力する構成であることを特徴とする請求項１１に記載の画像データ処理システム。
【請求項１３】
画像データ処理システムにおいて画像データ処理を実行する画像データ処理方法であり、
空間画像データ取得部が、カメラによって撮影された空間画像データを取得する空間画像データ取得ステップと、
画面表示データ取得部が、ディスプレイの表示画像を取得する画面表示データ取得ステップと、
合成画像生成部が、前記空間画像データと、前記画面表示データとの合成処理により合成画像を生成する合成画像生成ステップと、
合成画像出力部が、前記合成画像生成ステップにおいて生成した合成画像を出力する合成画像出力ステップを有し、
前記合成画像生成ステップは、
前記空間画像データ取得部の取得した空間画像データ中のディスプレイ表示位置に、前記画面表示データ取得部の取得した画面表示データを設定した合成画像の生成処理を実行するステップであることを特徴とする画像データ処理方法。
【請求項１４】
画像データ処理システムにおいて画像データ処理を実行させるコンピュータ・プログラムであり、
空間画像データ取得部に、カメラによって撮影された空間画像データを取得させる空間画像データ取得ステップと、
画面表示データ取得部に、ディスプレイの表示画像を取得させる画面表示データ取得ステップと、
合成画像生成部に、前記空間画像データと、前記画面表示データとの合成処理により合成画像を生成させる合成画像生成ステップと、
合成画像出力部に、前記合成画像生成ステップにおいて生成した合成画像を出力させる合成画像出力ステップを有し、
前記合成画像生成ステップは、
前記空間画像データ取得部の取得した空間画像データ中のディスプレイ表示位置に、前記画面表示データ取得部の取得した画面表示データを設定した合成画像の生成処理を実行させるステップであることを特徴とするコンピュータ・プログラム。
【請求項１】
カメラによって撮影された空間画像データを取得する空間画像データ取得部と、
ディスプレイの表示画像を取得する画面表示データ取得部と、
前記空間画像データと、前記画面表示データとの合成処理により合成画像を生成する合成画像生成部と、
前記合成画像生成部の生成した合成画像を出力する合成画像出力部を有し、
前記合成画像生成部は、
前記空間画像データ取得部の取得した空間画像データ中のディスプレイ表示位置に、前記画面表示データ取得部の取得した画面表示データを設定した合成画像の生成処理を実行する構成であることを特徴とする画像データ処理システム。
【請求項２】
前記合成画像生成部は、
予め記憶部に記憶された背景情報としての空間画像データ中のディスプレイ表示位置に、前記画面表示データ取得部の取得した画面表示データを設定した合成画像の生成処理を実行する構成であることを特徴とする請求項１に記載の画像データ処理システム。
【請求項３】
前記合成画像生成部は、
前記空間画像データ取得部の取得した空間画像データの属性情報として記録された空間画像データ取得時間情報と、
前記画面表示データ取得部の取得した画面表示データの属性情報として記録された画面表示データ取得時間情報と、
を比較し、画面表示データ取得時間情報に最も近い空間画像データ取得時間情報を持つ空間画像データを合成対象画像として選択して合成画像の生成処理を実行する構成であることを特徴とする請求項１に記載の画像データ処理システム。
【請求項４】
前記空間画像データ取得部は、カメラの撮影した空間画像データを取得して、取得した空間画像データを、該空間画像データを撮影したカメラのカメラ識別子と撮影時間情報を含む属性情報とともに記憶部に記憶する処理を実行する構成であることを特徴とする請求項１に記載の画像データ処理システム。
【請求項５】
前記空間画像データ取得部は、複数の異なる位置に設定されたカメラの撮影した複数の空間画像データを取得して、取得した複数の空間画像データを、該空間画像データを撮影したカメラのカメラ識別子と撮影時間情報を含む属性情報とともに記憶部に記憶する処理を実行する構成であることを特徴とする請求項１に記載の画像データ処理システム。
【請求項６】
前記画面表示データ取得部は、複数の異なる位置に設定されたディスプレイに表示される複数の画面表示データを取得して、取得した複数の画面表示データを、該画面表示データを表示したディスプレイの識別子とデータ取得時間情報を含む属性情報とともに記憶部に記憶する処理を実行する構成であることを特徴とする請求項１に記載の画像データ処理システム。
【請求項７】
前記合成画像生成部は、
予め取得済みの実空間におけるディスプレイ設定位置情報に基づいて、前記空間画像データ取得部の取得した空間画像データ中のディスプレイ表示位置を決定して、該決定位置に前記画面表示データ取得部の取得した画面表示データを設定した合成画像の生成処理を実行する構成であることを特徴とする請求項１に記載の画像データ処理システム。
【請求項８】
前記合成画像生成部は、
前記空間画像データ取得部の取得した空間画像データの画像解析に基づいてディスプレイ表示位置を決定して、該決定位置に前記画面表示データ取得部の取得した画面表示データを設定した合成画像の生成処理を実行する構成であることを特徴とする請求項１に記載の画像データ処理システム。
【請求項９】
前記合成画像出力部は、情報処理装置におけるディスプレイであり、
前記合成画像生成部は、
複数のカメラによって撮影された複数の空間画像データを組み合わせた空間画像データ中のディスプレイ表示位置に、前記画面表示データ取得部の取得した画面表示データを設定した合成画像の生成処理を実行する構成であることを特徴とする請求項１に記載の画像データ処理システム。
【請求項１０】
前記合成画像出力部は、一台または複数のプロジェクタによって構成され、
前記合成画像生成部は、
複数のカメラによって撮影された複数の空間画像データを、各カメラに対応する位置に設定されたプロジェクタの出力データとした空間画像データ中のディスプレイ表示位置に、前記画面表示データ取得部の取得した画面表示データを設定した合成画像の生成処理を実行する構成であることを特徴とする請求項１に記載の画像データ処理システム。
【請求項１１】
前記合成画像生成部は、
前記空間画像データ取得部の取得する空間を小領域に区分してアドレスを設定した空間アドレス情報と、
合成画像中に出力するオブジェクトの表示位置を示すアドレスを各オブジェクトに対応付けたオブジェクト対応アドレス情報テーブルを保持し、
前記空間アドレス情報と前記オブジェクト対応アドレス情報テーブルに設定されたアドレスに従って、前記合成画像上における各オブジェクトの出力位置を決定する構成であることを特徴とする請求項１に記載の画像データ処理システム。
【請求項１２】
前記合成画像生成部は、
時間遷移に応じて、前記オブジェクトの表示位置および表示内容を更新した合成画像を生成して出力する構成であることを特徴とする請求項１１に記載の画像データ処理システム。
【請求項１３】
画像データ処理システムにおいて画像データ処理を実行する画像データ処理方法であり、
空間画像データ取得部が、カメラによって撮影された空間画像データを取得する空間画像データ取得ステップと、
画面表示データ取得部が、ディスプレイの表示画像を取得する画面表示データ取得ステップと、
合成画像生成部が、前記空間画像データと、前記画面表示データとの合成処理により合成画像を生成する合成画像生成ステップと、
合成画像出力部が、前記合成画像生成ステップにおいて生成した合成画像を出力する合成画像出力ステップを有し、
前記合成画像生成ステップは、
前記空間画像データ取得部の取得した空間画像データ中のディスプレイ表示位置に、前記画面表示データ取得部の取得した画面表示データを設定した合成画像の生成処理を実行するステップであることを特徴とする画像データ処理方法。
【請求項１４】
画像データ処理システムにおいて画像データ処理を実行させるコンピュータ・プログラムであり、
空間画像データ取得部に、カメラによって撮影された空間画像データを取得させる空間画像データ取得ステップと、
画面表示データ取得部に、ディスプレイの表示画像を取得させる画面表示データ取得ステップと、
合成画像生成部に、前記空間画像データと、前記画面表示データとの合成処理により合成画像を生成させる合成画像生成ステップと、
合成画像出力部に、前記合成画像生成ステップにおいて生成した合成画像を出力させる合成画像出力ステップを有し、
前記合成画像生成ステップは、
前記空間画像データ取得部の取得した空間画像データ中のディスプレイ表示位置に、前記画面表示データ取得部の取得した画面表示データを設定した合成画像の生成処理を実行させるステップであることを特徴とするコンピュータ・プログラム。
【図６】
【図７】
【図１３】
【図１５】
【図１】
【図２】
【図３】
【図４】
【図５】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１４】
【図７】
【図１３】
【図１５】
【図１】
【図２】
【図３】
【図４】
【図５】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１４】
【公開番号】特開２００８−１５２６９２（Ｐ２００８−１５２６９２Ａ）
【公開日】平成２０年７月３日（２００８．７．３）
【国際特許分類】
【出願番号】特願２００６−３４２２１８（Ｐ２００６−３４２２１８）
【出願日】平成１８年１２月２０日（２００６．１２．２０）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
【公開日】平成２０年７月３日（２００８．７．３）
【国際特許分類】
【出願日】平成１８年１２月２０日（２００６．１２．２０）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
[ Back to top ]