画像処理システム、画像処理装置、及び画像処理プログラム
【課題】
プロジェクタによって映し出された画像が安定するまでの待ち時間を経てから、ビデオカメラによってその画像を撮影し、撮影された画像にもとづいて画像処理装置が差分画像を生成し、生成した差分画像を他拠点に送信していた。このため、差分画像を生成する処理を開始するまでに待ち時間を経るため、生成して、会議相手に送信する差分画像の数（フレームレート）が低下してしまうという問題が発生していた。
【解決手段】
第一の画像処理装置は画像撮影装置によって撮影された撮影画像の画素の輝度の変化があったか否かを判定する画像変化判定手段と、画像変化判定手段によって判定された前記輝度の変化に基づいて、第二の画像処理装置に差分画像を表す差分画像データを送信制御する送信制御手段とを備えることを特徴とする。
プロジェクタによって映し出された画像が安定するまでの待ち時間を経てから、ビデオカメラによってその画像を撮影し、撮影された画像にもとづいて画像処理装置が差分画像を生成し、生成した差分画像を他拠点に送信していた。このため、差分画像を生成する処理を開始するまでに待ち時間を経るため、生成して、会議相手に送信する差分画像の数（フレームレート）が低下してしまうという問題が発生していた。
【解決手段】
第一の画像処理装置は画像撮影装置によって撮影された撮影画像の画素の輝度の変化があったか否かを判定する画像変化判定手段と、画像変化判定手段によって判定された前記輝度の変化に基づいて、第二の画像処理装置に差分画像を表す差分画像データを送信制御する送信制御手段とを備えることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を処理する画像処理システムに関する。
【背景技術】
【０００２】
近年、企業や教育機関、行政機関等では、会議や講演等において文字や数字、図形が描かれたホワイトボード等の描画対象物の画像を保存して利用する技術が知られている。たとえば、スキャナ装置および印刷装置を備えホワイトボードの画像を走査して印刷するホワイトボード装置や、複数の拠点にそれぞれ設置されたホワイトボードに描かれた画像をビデオカメラ等の撮影装置で撮影しプロジェクタが会議相手の拠点のホワイトボードにそれらの描画像を映し出すことによって、双方の拠点の画像を同時に把握することができる技術が知られている。
【０００３】
このような描画画像を取得する技術として、特許文献１にはホワイトボードを撮影した描画画像から会議相手によって送信された描画画像を取り除いた画像（差分画像）を会議相手に送信することによって画像エコーを取り除き、ユーザにとってホワイトボード上の画像が見やすいようにする技術が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載された発明では、プロジェクタによって画像が照射されてからホワイトボードに安定して表示されるまで、ある程度の時間がかかることが分かっている。このため、プロジェクタが画像を映し出され始めてからビデオカメラが画像を撮影できるようになるまで数百ｍｓ程度の時間を待つ必要がある。プロジェクタによって映し出され始めてまだ安定していない画像に基づいて生成された差分画像は画像品質の低いものとなってしまい、その差分画像を受信した会議相手がプロジェクタに照射した画像は見にくいものとなってしまうからである。
【０００５】
このため、プロジェクタによって映し出された画像が安定するまでの待ち時間を経てからビデオカメラによってその画像を撮影し、撮影された画像にもとづいて画像処理装置が差分画像を生成し、生成した差分画像を他拠点に送信していた。このため、差分画像を生成する処理を開始するまでに待ち時間を経るため、生成して会議相手に送信する差分画像の数（フレームレート）が低下してしまうという問題が発生していた。
【課題を解決するための手段】
【０００６】
上記の課題を解決するため、請求項１にかかる発明は、第一の画像撮影装置、第一の画像投影装置、および第一の画像処理装置を含む第一の画像処理システムと、第二の画像処理装置および第二の画像投影装置を含む第二の画像処理システムと、を有する画像処理システムであって、前記第一の画像処理装置は、前記第二の画像処理装置から画像データを受信する画像データ受信手段と、前記画像データ受信手段によって受信された受信画像データを記憶する受信画像データ記憶手段と、前記受信画像データ記憶手段に記憶されている受信画像データを第一の画像投影装置に供給する受信画像データ供給手段と、前記画像撮影装置により撮影された撮影画像を取得する撮影画像取得手段と、前記撮影画像取得手段によって取得された撮影画像と、前記画像供給手段よって供給する受信画像データが表す受信画像に基づいて、差分画像を生成する差分画像生成手段と、前記画像撮影装置によって撮影された前記撮影画像の画素の輝度の変化があったか否かを判定する画像変化判定手段と、前記画像変化判定手段によって判定された前記輝度の変化に基づいて、前記第二の画像処理装置に前記差分画像生成手段によって生成された前記差分画像を表す差分画像データを送信制御する送信制御手段と、前記送信制御手段による送信制御に基づいて前記差分画像データを第二の画像処理装置に送信する差分画像データ送信手段と、を備え、前記第二の画像処理装置は、前記差分画像データを前記第一の画像処理装置から受信する差分画像データ受信手段と、前記差分画像データ受信手段によって受信した差分画像データが表す差分画像を第二の画像投影装置に投影させる投影制御手段と、を備えることを特徴とする。
【発明の効果】
【０００７】
以上説明したように、本発明によれば、第一の画像処理装置は画像変化判定手段によって判定された変化に基づいて、差分画像生成手段で生成された差分画像を表す差分画像データを第二の画像処理装置に送信するので、第二の画像処理装置は画像の変化に基づいて送信された画像データのみを受信する。つまり、第二の画像処理装置が受信する差分画像データの総数が減少する。したがって、第二の画像処理装置は、画像投影装置が画像を映し出し始めてから撮影装置が画像を撮影できるようになるまでの待ち時間を経ることなく差分画像を生成する処理を行うことが可能になるので、全体として処理できる画像の枚数（フレームレート）を向上させることが可能となる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に係る画像処理システムの概略図である。
【図２】差分画像を説明するための概念図である。
【図３】本発明の一実施形態に係る画像処理装置のハードウェア構成図である。
【図４】本発明の一実施形態に係る画像処理装置の機能ブロック図である。
【図５】本実施形態に係る画像処理装置の処理の概要を示した処理フロー図である。
【図６】撮影画像の変化を判定する処理を示した処理フロー図である。
【図７】差分画像を生成する処理を示した処理フロー図である。
【図８】輝度平均値を算出する処理を示した処理フロー図である。
【発明を実施するための形態】
【０００９】
＜＜実施形態の全体構成＞＞
以下、図１乃至図８を用いて、本発明の一実施形態について説明する。
【００１０】
＜画像処理システムのハードウェア構成＞
図１は、本発明の一実施形態に係る画像処理システムの概略図である。図２は、差分画像を説明するための概念図である。図３は、本発明の一実施形態に係る画像処理装置のハードウェア構成図である。
【００１１】
まず、図１を用いて、本実施形態の概略を説明する。図１に示す画像処理システム１において、拠点Ａの画像処理装置１０ａおよび拠点Ｂの画像処理装置１０ｂは通信ネットワーク５０を経由して相互にデータを送受信する。拠点Ａには画像処理装置１０ａ、拠点Ａにいる人物が描画を行うためのホワイトボード等の描画対象物２０ａがあり、画像処理装置１０ａには描画対象物２０ａを撮影する撮影装置３０ａ、描画対象物２０ａに画像を映し出すプロジェクタ４０ａが接続されている。また、画像処理装置１０ａはディスプレイ６０ａ、キーボード等の入力装置７０ａと接続されている。
【００１２】
拠点Ｂには画像処理装置１０ｂ、拠点Ｂにいる人物が描画を行うためのホワイトボード等の描画対象物２０ｂがあり、画像処理装置１０ｂには描画対象物２０ｂを撮影する撮影装置３０ｂ、描画対象物２０ｂに画像を映し出すプロジェクタ４０ｂが接続されている。また、画像処理装置１０ｂはディスプレイ６０ｂ、キーボード等の入力装置７０ｂと接続されている。
【００１３】
なお、本実施形態では、画像処理装置１０ａ、画像処理装置１０ｂのうち任意の画像処理装置を示す場合には「画像処理装置１０」といい、描画対象物２０ａ、描画対象物２０ｂのうち任意の描画対象物を示す場合には「描画対象物２０」といい、撮影装置３０ａ、撮影装置３０ｂのうち任意の撮影装置を示す場合には「撮影装置３０」といい、プロジェクタ４０ａ、プロジェクタ４０ｂのうち任意のプロジェクタを示す場合には「プロジェクタ４０」という。また、ディスプレイ６０ａ、ディスプレイ６０ｂのうち任意のディスプレイを示す場合には「ディスプレイ６０」といい、入力装置７０ａ、入力装置７０ｂのうち任意の入力装置を示す場合には「入力装置７０」という。
【００１４】
また、画像処理装置１０ａは撮影装置３０ａが撮影した撮影画像Ａおよび拠点ｂから受信した受信画像データＢが表す受信画像Ｂを用いることによって差分画像Ａを生成し、通信ネットワーク５０を経由して画像処理装置１０ｂに送信するものである。ここで、差分画像とは、拠点Ａの撮影装置３０ａで撮影された撮影画像Ａから、拠点Ｂの画像処理装置１０ｂから受信しプロジェクタ４０ａによって映し出している受信画像Ｂを除去することによって、拠点Ａで描画された画像のみを表している画像をいう。画像処理装置１０ｂは画像処理装置１０ａと同様の機能を有するため、その説明を省略する。また、画像処理装置１０ｂによって生成される差分画像Ｂは差分画像Ａと同様のものであるため、その説明を省略する。
【００１５】
図２を用いて、撮影画像、受信画像、および差分画像について詳細に説明する。図２（１）は拠点Ａの描画対象物２０の描画領域内の状態を示している。ここでは、文字「あ」は拠点Ａにいる人物によって描画されたものである。そして、文字「い」は拠点Ｂにいる人物によって描画されたものである。具体的には、文字「い」は、拠点Ｂの画像処理装置１０ｂから拠点Ａの画像処理装置１０ａが受信した受信画像データＢが表す受信画像Ｂ（図２（２）参照）に含まれているものであり、プロジェクタ４０ａによって描画対象物２０ａに映し出されている。したがって、拠点Ａにいる会議参加者は文字「あ」と文字「い」を描画対象物２０ａ上に見ていることになる。また、拠点Ａの撮影装置３０ａは図２（１）に示される文字「あ」と文字「い」が表されている状態を撮影画像Ａとして撮影し、撮影画像データＡを生成する。
【００１６】
図２（３）は、図２（１）に示される撮影画像Ａから、図２（２）に示される受信画像Ｂを除去したものであり、これを差分画像Ａという。拠点Ｂで描画されている描画物を表している受信画像Ｂを除去していることから、差分画像Ａに含まれる文字、図形等の描画物は拠点Ａにいる人物によって描画されたもののみとなる。
【００１７】
描画対象物２０は、ユーザが文字や図形等の描画画像を描画するホワイトボードや黒板、紙等の物品である。また、描画対象物２０にはプロジェクタ４０が映し出す画像が映し出される。また、描画対象物２０ａ内にプロジェクタ４０ａが映し出す４つの点を角とする長方形で囲まれる領域を描画領域２０１ａとする。また、その描画領域２０１ａの周辺部を周辺領域２０２ａとする。同様に、描画対象物２０ｂ内にプロジェクタ４０ｂが映し出す４つの点を角とする長方形で囲まれる領域を描画領域２０１ｂとする。また、その描画領域２０１ｂの周辺部を周辺領域２０２ｂとする。なお、本実施形態では、描画領域２０１ａ、描画領域２０１ｂのうち任意の描画領域を示す場合には「描画領域２０１」といい、周辺領域２０２ａ、周辺領域２０２ｂのうち任意の描画領域を示す場合には「描画領域２０２」という。
【００１８】
撮影装置３０は、描画画像を含む描画領域２０１、周辺領域２０２、およびそれらの前にいる人物等を撮影して撮影画像を生成するカメラ等の装置である。プロジェクタ４０は、画像処理装置１０が記憶、生成、受信した画像を描画対象物２０の描画領域２０１に映し出すものである。なお、プロジェクタ４０は画像投影装置の一例である。また、通信ネットワーク５０は、画像処理装置１０ａと画像処理装置１０ｂにて、相互に各種データを送受信するためのものである。
【００１９】
＜画像処理装置のハードウェア構成＞
次に、図３を用いて、本発明の一実施形態に係る画像処理装置１０のハードウェア構成について説明する。画像処理装置１０は、画像処理装置１０全体の動作を制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１、画像処理装置用プログラムを記憶したＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２、ＣＰＵ１０１のワークエリアとして使用されるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３、各種データを記憶するＨＤ(Ｈａｒｄ Ｄｉｓｋ)１０４、ＣＰＵ１０１の制御にしたがってＨＤ１０４に対する各種データの読み出し又は書込みを制御するＨＤＤ(Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ)１０５、フラッシュメモリ等の記憶メディア１０６に対するデータの読み出し又は書込み（記憶）を制御するメディアドライブ１０７、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報をディスプレイに表示させるためのディスプレイＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１０８、通信ネットワーク５０を利用してデータ伝送をするためのネットワークＩ／Ｆ１０９、文字、数値、各種指示などの入力のための複数のキーを備えたキーボードからの情報を受け付けるためのキーボードＩ／Ｆ１１１、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウスからの情報を受け付けるためのマウスＩ／Ｆ１１２、着脱可能な記憶媒体の一例としてのＣＤ−ＲＯＭ(Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ)１１３に対するデータの読み出し又は書込みを制御するＣＤ−ＲＯＭドライブ１１４、撮影装置３０等の外部の装置と情報を送受信する外部装置Ｉ／Ｆ１１５、音声データに基づいて音声を出力するためのスピーカーＩ／Ｆ１１６、タイマー１１７、及び、上記各構成要素を電気的に接続するためのアドレスバスやデータバス等のバスライン１１０を備えている。
【００２０】
なお、上記画像処理装置用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記憶メディア１０６やＣＤ−ＲＯＭ１１３等のコンピュータで読み取り可能な記憶媒体に記憶して流通させるようにしてもよい。
【００２１】
＜画像処理装置の機能構成＞
図４は、本実施形態の画像処理装置１０の機能ブロック図である。図４を用いて本実施形態の画像処理装置１０の機能を説明する。本実施形態の画像処理装置１０は、送受信部１１、操作入力受付部１２、画像取得部１３、画像変化判定部１４、差分画像生成部１５、時間計測部１７、表示制御部１８ａ、音声出力制御部１８ｂ、及び記憶・読出処理部１９を有している。これら各部は、図３に示されている各構成要素のいずれかが、ＲＯＭ１０２に記憶されているプログラムに従ったＣＰＵ１０１からの命令によって動作することで実現される機能又は手段である。また、画像処理装置１０は、図３に示されているＲＯＭ１０２、ＲＡＭ１０３、ＨＤＤ１０５のいずれかによって構築される記憶部１０００を有している。
【００２２】
（画像処理装置１０の各機能部）
次に、画像処理装置１０の各部を詳細に説明する。ここでは、画像処理装置１０ａが拠点Ｂから送信された受信画像データＢを受信し、拠点Ａのプロジェクタ４０ａが受信画像Ｂを描画対象物２０ａに映し出し、拠点Ａの撮影装置３０ａが描画対象物２０ａを撮影し撮影画像Ａを生成するという状況（図１参照）での画像処理装置１０ａの機能について説明する。なお、拠点Ａの画像処理装置１０ａと拠点Ｂの画像処理装置１０ｂは同様の機能を有するものである。したがって、画像処理装置１０ｂが拠点Ａから送信された受信画像データＡを受信し、拠点Ｂのプロジェクタ４０ｂが受信画像Ａを描画対象物２０ｂに映し出し、拠点Ｂの撮影装置３０ｂが描画対象物２０ｂを撮影するという状況での画像処理装置１０ｂの機能についての説明は省略する。
【００２３】
画像処理装置１０の送受信部１１は、ネットワークＩ／Ｆ１０９によって実現され、通信ネットワーク５０を介して他の端末、装置又はシステムと各種データ（情報）の送受信を行う。操作入力受付部１２は、図３に示されているキーボードＩ／Ｆ１１１またはマウスＩ／Ｆ１１２によって実現されており、キーボードまたはマウス等を用いることによってユーザから入力された情報を受け付けるものである。画像取得部１３は、外部装置Ｉ／Ｆ１１５によって実現され、ケーブル等を介して撮影装置３０が撮影した撮影画像を表す撮影画像データを撮影装置３０から取得するものである。
【００２４】
画像変化判定部１４は、画像取得部１３によって取得された撮影画像データが表す撮影画像のうち周辺領域２０２の各画素の輝度に基づいて周辺領域２０２に変化があったか否かを判定する。画像変化判定部１４が撮影画像の周辺領域２０２に変化があったと判定した場合には周辺領域に人物がいるとみなされ、その人物が描画対象物２０の描画領域２０１に描画しているものとみなされる。また、画像変化判定部１４が撮影画像の周辺領域２０２に変化がない判定した場合には周辺領域２０２に人物がいないとみなされ、描画領域２０１の描画の状態に変化がないとみなされる。このように画像変化判定部１４が撮影画像の周辺領域２０２に変化があるか否かを判定した結果に基づいて、以降の処理が決定される。詳細については追って記載する。
【００２５】
画像変化判定部１４は、輝度取得部１４ａ、差分判定部１４ｂ、輝度変化画素数判定部１４ｃを含んでいる。画像変化判定部１４は拠点Ａにいる人物等が描画対象物２０に文字、記号、図形等を描画することによって状態が変化しているか否かを判定することを目的としている。すなわち、拠点Ａの人物等が描画対象物に何かを描画したり、描画されたものを消去したりしている場合には、その変化した状態を表す画像データを拠点Ｂに送信する必要があり、拠点Ａの人物が描画も消去もしていない場合には拠点Ｂへ変化していない画像データを送信する必要はない。
【００２６】
また、拠点Ａの描画領域２０１ａには拠点Ｂから受信された受信画像データＢに基づく受信画像Ｂを映し出されるため、描画領域２０１ａの描画の状態に変化があったとしてもその変化は拠点Ａにいる人物の描画によるものではない場合もある。したがって、拠点Ａの人物等が描画することによって状態が変化したか否かを判定するためには、描画領域２０１ａではなく拠点Ｂから受信した受信画像Ｂが映し出されない周辺領域２０２ｂに変化があるか否かを判定すればよい。
【００２７】
輝度取得部１４ａは、画像取得部１３が取得した撮影画像データＡが表す撮影画像Ａの周辺領域２０２ａに含まれる全ての画素の輝度を取得する。差分判定部１４ｂは、輝度取得部１４ａが取得した各画素の輝度から、その撮影画像Ａより所定の時間前に撮影された撮影画像Ａ’の対応する位置の画素の輝度を減じた差分が閾値より大きいか否かを判定する。なお、差分判定部１４ｂは輝度取得部１４ａによって取得された全ての画素に対してこの処理を行う。
【００２８】
輝度変化画素数判定部１４ｃは、差分判定部１４ｂによって、輝度の差分が閾値より大きいとされた画素の数が所定数以上あったと判定された場合にその撮影画像Ａの周辺領域２０２ａに変化があったと判定する。そして、記憶・読出処理部１９が、その撮影画像Ａを表す撮影画像データＡに対応する画像変化フラグを「ＯＮ」とする。また、輝度変化画素数判定部１４ｃは、差分判定部１４ｂで輝度の差分が閾値を超えているとされた画素の数が所定数未満であったと判定された場合にその撮影画像Ａの周辺領域２０２ａに変化がなかったと判定する。そして、記憶・読出処理部１９が、その撮影画像Ａを表す撮影画像データＡに対応する画像変化フラグを「ＯＦＦ」とする。
【００２９】
本実施形態では周辺領域２０２ａに変化があったことをもって、その拠点の撮影範囲内に人物がいて描画対象物２０ａの描画領域２０１ａに文字、図形、記号等を描画したり消去したりし撮影画像Ａが変化しているとみなしている。描画対象物２０ａの描画領域２０１ａには拠点Ｂから受信した受信画像データＢが表す受信画像Ｂがプロジェクタ４０ａによって映し出されるため、描画領域２０１ａの画素の変化に基づいて拠点Ａの人物が描画したことによる撮影画像Ａの変化があったか否かを判定することができないためである。
【００３０】
差分画像生成部１５は、拠点Ａの撮影装置３０ａによって撮影された撮影画像Ａの描画領域２０１ａ内の画像から、拠点Ｂの画像処理装置１０ｂより受信した受信画像データＢが表す受信画像Ｂを除去した差分画像Ａを生成するものである。具体的には、図２（１）に示される例において拠点Ａの描画対象物２０ａには、拠点Ａにいる人物が描画した文字「あ」と拠点Ｂから受信した受信画像Ｂに含まれている文字「い」が表されている。そして、撮影装置３０ａは文字「あ」と文字「い」をともに含む撮影画像Ａを撮影している。
【００３１】
ここで差分画像Ａを生成するということは、撮影装置３０ａが撮影した文字「あ」と文字「い」から、拠点Ｂから受信した受信画像データＢが表す受信画像Ｂが含んでいる文字「い」を除去し、文字「あ」のみを含む画像を生成するということである。このように差分画像Ａ（文字「あ」のみを含む画像）を生成し、その差分画像Ａを表す差分画像データＡを拠点Ｂに送ることができる。これによって、拠点Ｂでは、拠点Ｂにいる人物が描画した文字「い」と拠点Ａの画像処理装置１０ａから受信した差分画像Ａに含まれる文字「あ」が描画対象物２０ｂに表されるようになる。ここで、差分画像を生成しなかった場合、拠点Ｂでは人物が描画した文字「い」および拠点Ａから受信しプロジェクタ４０ｂによって映し出されている文字「あ」と文字「い」が描画対象物２０ｂに表される。すなわち、二つの文字「い」が重なってしまうこととなる。そして、この二つの文字「い」が少しでもずれた場合、「い」の文字が拠点Ｂにいる会議参加者からは見にくいものとなってしまう。なお、差分画像Ａは撮影画像Ａの描画領域２０１ａ内の画像および受信画像Ｂの描画領域２０１ｂ内の画像によって生成されるものであり、それぞれの周辺領域の画像は含まない。周辺領域２０２ａに受信画像Ｂが投影されると、先に説明した画像変化判定部１４は拠点Ｂで発生した変化に基づいて拠点Ａの画像に変化があったか否かを判定してしまうことになり、画像変化判定部１４の説明で記載した判定の目的をなさないからである。
【００３２】
差分画像生成部１５は、輝度補正部１５ａ、輝度平均値算出部１５ｂ、輝度平均値差分算出部１５ｃ、輝度判定・決定部１５ｄを含んでいる。また、差分画像生成部１５は、画像変化判定部１４によって周辺領域２０２ａに変化があると判定されたときに差分画像Ａを生成するものである。また、差分画像生成部１５は送受信部１１が受信画像データＢを受信して所定の時間が計測してからその処理を開始するものとする。受信画像データＢを受信してからプロジェクタ４０ａの照射や撮影装置３０ａでの撮影が安定するまで数百ミリ秒程度の時間がかかり、所定の時間が経過した後の安定した画像を用いて差分画像生成部１５が処理を行う必要があるからである。なお、時間計測部１７がタイマーを用いて時間の経過を計測する。
【００３３】
輝度補正部１５ａは、各画素の周辺にある画素の輝度に基づいてその画素の輝度を補正したり、照明の影響により黄色がかった画素を補正したりするものである。輝度平均値算出部１５ｂは、輝度補正部１５ａによって補正された撮影画像Ａの各画素の周辺にある画素の輝度の平均値を算出するものである。輝度平均値差分算出部１５ｃは、輝度平均値算出部１５ｂが算出した輝度平均値から受信画像Ｂの同じ位置にある画素の輝度を減じることによって差分を算出し、輝度平均値差分を算出するものである。輝度判定・決定部１５ｄは、輝度平均値差分算出部１５ｃが算出した輝度平均値差分を新たに生成する差分画像の輝度として決定するものである。
【００３４】
時間計測部１７は送受信部１１が受信画像データＢを受信してから経過した時間を計測するものである。具体的には時間計測部１７は、送受信部１１が受信画像データＢを受信するとタイマー１１７を起動し０にセットしてから経過時間を計測する。
【００３５】
表示制御部１８ａは、図３に示されているディスプレイＩ／Ｆ１０８によって実現され、画像処理装置１０に接続されているディスプレイ６０ａに対して画像を表示させるための制御を行う。また、表示制御部１８ａは画像処理装置１０ａに接続されているプロジェクタ４０ａに画像を投影させるための制御を行う。なお、表示制御部１８ａは投影制御手段、受信画像データ供給手段の一例である。音声出力制御部１８ｂは、図３に示されているスピーカーＩ／Ｆ１１６によって実現され、画像処理装置１０に接続されているスピーカーに音声を出力するための制御を行う。
【００３６】
また、記憶・読出処理部１９は、図３に示されているＲＯＭ１０２、ＲＡＭ１０３、ＨＤＤ１０５のいずれかとして実現されている記憶部１０００に各種データを記憶したり、記憶部１０００に記憶された各種データを読み出したりする。記憶部１０００には、撮影画像記憶部１００１、受信画像記憶部１００２、画像変化フラグ記憶部１００４、表示画像記憶部１００５、差分画像記憶部１００６によって構成される。
【００３７】
撮影画像記憶部１００１は、画像取得部１３によって撮影装置３０ａから取得された撮影画像データＡを記憶するものである。撮影画像記憶部１００１は撮影装置３０ａによって撮影された撮影画像データＡを撮影順が識別できるように記憶している。このように記憶していることによって画像変化判定部１４は新たに取得した撮影画像データＡがそれ以前に撮影された撮影画像データＡ’から変化しているか否かを判定することができるのである。
【００３８】
受信画像記憶部１００２は、送受信部１１によって拠点Ｂの画像処理装置１０ｂから受信した受信画像データＢを記憶するものである。受信画像記憶部１００２には、新たに受信画像データＢが記憶されるとき、既に記憶されている受信画像データは上書きされ、常に最新の受信画像データＢが記憶されている。画像変化フラグ記憶部１００４は、撮影画像データＡに対応して画像変化フラグを記憶するものである。なお、画像変化フラグとは、撮影画像データＡが表す撮影画像Ａが所定の時間前に撮影された撮影画像Ａから変化があったか否かを示す情報であり、上述のとおり画像変化判定部１４によって撮影画像Ａの周辺領域２０２ａに変化があったと判定された場合には画像変化フラグは「ＯＮ」とされ、画像変化判定部１４によって撮影画像Ａの周辺領域２０２ａに変化がなかったと判定された場合には画像変化フラグは「ＯＦＦ」とされる。
【００３９】
表示画像記憶部１００５は、プロジェクタ４０に表示している画像データを記憶するものである。差分画像記憶部１００６は、差分画像生成部１５によって生成された差分画像データＡを記憶するものである。
【００４０】
なお、送受信部１１は画像受信手段、差分画像受信手段、差分画像送信手段の一例であり、受信画像記憶部１００２は受信画像記憶手段の一例であり、画像取得部１３は画像取得手段の一例であり、差分画像生成部１５は差分画像生成手段の一例である。また、画像変化判定部１４は画像変化判定手段の一例である。
【００４１】
＜＜実施形態の処理・動作＞＞
続いて、図５乃至図８を用いて、本実施形態に係る画像処理システム１における処理方法を説明する。なお、図４は、本発明の一実施形態に係る画像処理装置の機能ブロック図である。図５は、本実施形態に係る画像処理装置の処理の概要を示した処理フロー図である。図６は、撮影画像の変化を判定する処理を示した処理フロー図である。図７は、差分画像を生成する処理を示した処理フロー図である。図８は、輝度平均値を算出する処理を示した処理フロー図である。
【００４２】
図５を用いて、本実施形態に係る画像処理装置１０の処理を説明する。本実施形態では、図１に示す拠点Ａの画像処理装置１０ａが撮影した撮影画像Ａと拠点Ｂの画像処理装置１０ｂから受信した受信画像Ｂに基づいて、画像処理装置１０ａが実施する処理について説明する。なお、拠点Ｂの画像処理装置１０ｂは拠点Ａの画像処理装置１０ａと同じ機能を有し同じ処理を実施しているため、ここでの説明は省略する。
【００４３】
まず、拠点Ａの撮影装置３０ａは描画領域２０１ａおよび周辺領域２０２ａを決定する（ステップＳ１１）。具体的には、プロジェクタ４０ａが４つの点を描画対象物２０ａに映し出し、撮影装置３０ａが描画対象物２０ａを撮影したときに撮影画像に含まれる４つの点を結んで形成される長方形に囲まれる領域が描画領域２０１ａとされる。その描画領域２０１の外側で撮影装置３０ａの撮影範囲内にある部分が周辺領域２０２とされる。なお、以降、画像処理装置１０ａの画像変化判定部１４ａは撮影装置３０ａによって撮影された撮影画像Ａのうち、ここで決定した周辺領域２０２ａに対して処理を行う。また、画像処理装置１０ｂの差分画像生成部１５は撮影装置３０ａによって撮影された撮影画像Ａのうち、ここで決定した描画領域２０１ａに対して処理を行う。
【００４４】
拠点Ａの画像処理装置１０ａの送受信部１１は拠点Ｂの画像処理装置１０ｂの送受信部１１から送信された受信画像データＢを受信する（ステップＳ１２）。この受信画像データＢが表す受信画像Ｂは、拠点Ｂにいる人物が描画対象物２０ｂに描画した画像を表すものであり、拠点Ａから送信されプロジェクタ４０ｂによって描画対象物２０ｂに映し出されている画像は除去されている。つまり、拠点Ｂの画像処理装置１０ｂから送信される受信画像データＢは、画像処理装置１０ｂが生成した差分画像Ｂを表す差分画像データＢである。なお、画像処理装置１０ｂが差分画像Ｂを生成する処理は、画像処理装置１０ａが差分画像Ａを生成する処理と同じであり、その処理の詳細は追って説明する。また、以降、受信画像データが表す画像を受信画像という。
【００４５】
拠点Ａの画像処理装置１０ａの送受信部１１は拠点Ｂの画像処理装置１０ｂの送受信部１１から送信された受信画像データＢを受信する（ステップＳ１２）と、拠点Ａの時間計測部１７は、タイマー１１７を０にセットし、受信画像データＢを受信してから経過する時間を計測し始める（ステップＳ１３）。
【００４６】
次に、拠点Ａの画像処理装置１０の記憶・読出処理部１９はステップＳ１２で送受信部１１によって受信された受信画像データＢを受信画像記憶部１００２に記憶する（ステップＳ１４）。受信画像データＢは画像処理装置１０ｂによって所定の処理が行われるごとに次々に画像処理装置１０ａに送信されることとなるが、記憶・読出処理部１９は受信画像データＢを上書きして記憶するので、送受信部１１が受信した最新の受信画像データＢのみが受信画像記憶部１００２に記憶される。
【００４７】
続いて、拠点Ａの画像処理装置１０の表示制御部１８ａはステップＳ１２で送受信部１１によって受信した受信画像データＢが表す受信画像Ｂを、プロジェクタ４０ａを制御することによって描画対象物２０ａに表示させる（ステップＳ１５）。なお、ここで、記憶・読出処理部１９が受信画像記憶部１００２に記憶されている受信画像データＢを読出し、読み出された受信画像データＢが表す受信画像Ｂを表示制御部１８ａが表示させるとしてもよい。
【００４８】
一方、拠点Ａでは撮影装置３０ａが描画対象物２０ａを撮影している。このとき、描画対象物２０ａには、図１および図２（１）に示されるように拠点Ａにいる人物によって描画されている文字「あ」とプロジェクタ４０ａによって映し出されている受信画像データＢが表す受信画像Ｂが含む文字「い」が表されているとすると、撮影装置３０ａは文字「あ」、文字「い」をともに含む画像を撮影していることになる。また、撮影装置３０ａの撮影範囲内に人物等がいる場合にはその人物もともに撮影されている。
【００４９】
このようにして、撮影装置３０ａによって撮影された撮影画像Ａを表す撮影画像データＡを、拠点Ａの画像処理装置１０ａの画像取得部１３が取得する（ステップＳ１６）。そして、画像取得部１３によって取得された撮影画像データＡを記憶・読出処理部１９が撮影画像記憶部１００１に記憶する（ステップＳ１７）。撮影装置３０ａは次々に画像を撮影しており、画像取得部１３は撮影された撮影画像Ａを表す撮影画像データＡを順次取得している。このとき、順次取得された撮影画像データＡを記憶・読出処理部１９は取得された順を識別できるように撮影画像記憶部１００１に記憶する。
【００５０】
続いて、拠点Ａの画像処理装置１０ａの画像変化判定部１４は、撮影画像Ａの周辺領域２０２ａに変化があったか否かを判定する（ステップＳ１８）。画像変化判定部１４が判定する処理の詳細について図６を用いて説明する。まず、記憶・読出処理部１９が撮影画像記憶部１００１に記憶されている撮影画像データＡを読み出す（ステップＳ１８１）。そして、画像変化判定部１４の輝度取得部１４ａが記憶・読出処理部１９によって読み出された撮影画像データＡが表す撮影画像Ａの周辺領域２０２ａ内の全ての画素の輝度を取得する（ステップＳ１８２）。
【００５１】
また、記憶・読出処理部１９はステップＳ１８１で読み出された撮影画像データＡより所定の枚数だけ前に、もしくは所定の時間前に撮影された撮影画像データＡ’を撮影画像記憶部１００１から読み出す（ステップＳ１８１’）。そして、輝度取得部１４ａが記憶・読出処理部１９によって読み出された撮影画像データＡ’が表す撮影画像Ａ’の周辺領域２０２内の全ての画素の輝度を取得する（ステップＳ１８２’）。
【００５２】
ステップＳ１８２およびステップＳ１８２’で全ての画素の輝度が取得されると、差分判定部１４ｂは撮影画像Ａの各画素の輝度と、撮影画像Ａの画素と同じ位置にある撮影画像Ａ’の画素の輝度との差分を算出する（ステップＳ１８３）。そして、差分判定部１４ｂはその差分が所定の閾値を超えているか否か判定する（ステップＳ１８４）。
【００５３】
続いて、輝度変化画素数判定部１４ｃが、差分判定部１４ｂによって差分が閾値を超えていると判定された画素を輝度変化画素としてその数を算出し（ステップＳ１８５）、輝度変化画素の数が所定の値を超えているか判定する（ステップＳ１８６）。ステップＳ１８６で、輝度変化画素の数が所定の値を超えていると判定された場合、その撮影画像Ａには変化があったとされ、記憶・読出処理部１９が、撮影画像データＡに対応する画像変化フラグを「ＯＮ」とする（ステップＳ１８７）。ステップＳ１８６で輝度変化画素の数が所定の値以下である場合、画像には変化がないとされ、記憶・読出処理部１９は、撮影画像データＡに対応する画像変化フラグを「ＯＦＦ」とする（ステップＳ１８８）。
【００５４】
図５に戻って、このように画像変化判定部１４によって画像に変化があったか否かが判定され（ステップＳ１８）た結果、撮影画像Ａに変化があった場合、時間計測部１７がタイマー１１７を用いて計測した時間が所定の時間を経過しているか否かを判定する（ステップＳ１９）。
【００５５】
画像変化判定部１４によって画像に変化があったか否かが判定され（ステップＳ１８）た結果、撮影画像Ａに変化がなかった場合、ステップＳ１６に戻って画像変化判定部１４は撮影装置３０ａが次に撮影し画像取得部１３によって取得されている撮影画像Ａについて同様に画像変化があったか否かを判定する。なお、画像変化判定部１４は全ての撮影画像Ａに対してこの処理を施しても良いが、一の撮影画像Ａに変化があると判定されて以降に画像取得部１３によって取得された所定数の撮影画像Ａについてはこの処理を施さずに画像に変化があったものとみなしてもよい。
【００５６】
ステップＳ１９で時間計測部１７が所定の時間が経過していることを計測した場合、ステップＳ１４で受信画像記憶部１００２に記憶された受信画像データＢおよびステップＳ１７で撮影画像記憶部１００１に記憶された撮影画像データＡに基づいて、拠点Ａの画像処理装置１０ａの差分画像生成部１５が差分画像データＡを生成する（ステップＳ２０）。図２に示す例で説明すると、差分画像生成部１５は、撮影画像データＡが表す撮影画像Ａに含まれる文字「あ」および文字「い」から、受信画像データＢが表す受信画像Ｂに含まれる文字「い」を除去し、拠点Ａにいる人物が描画した文字「あ」のみを含む差分画像Ａを表す差分画像データＡを生成する。
【００５７】
ステップＳ１９で時間計測部１７によって計測された時間が所定の時間を経過していなかった場合、拠点Ａの画像処理装置１０ａの差分画像生成部１５は所定の時間が経過してから差分画像データＡを生成する（ステップＳ２０）。
【００５８】
ここで、差分画像生成部１５が差分画像を生成する処理の詳細について図７を用いて説明する。図７に示されるように、まず、画像処理装置１０ａの記憶・読出処理部１９が受信画像記憶部１００２に記憶されている受信画像データＡを読み出す（ステップＳ２０１）。続いて、画像処理装置１０ａの差分画像生成部１５の輝度補正部１５ａがステップＳ２０１で記憶・読出処理部１９によって読み出された受信画像データＡが表す受信画像Ａの輝度を補正する（ステップＳ２０２）。ここでの補正は各画素の周辺にある画素の輝度の平均値に対するその画素の輝度の比率に背景色の輝度を掛け合わせることにより算出した輝度平均値を対象画素の輝度とすることである。また、ここでの補正は、黄色の成分を除去することによって、外光の影響を均すためのものである。
【００５９】
ステップＳ２０２で輝度補正部１５ａが輝度を補正する処理について図８を用いて詳細に説明する。図８に示されるように、まず、対象画素の周辺にある画素の輝度の平均値として、周辺輝度平均値ＡＶＥが色成分（Ｒ、Ｇ、Ｂ）ごとに算出される（ステップＳ２０２１）。次に、色成分ごとに周辺輝度平均値ＡＶＥに対する対象画素の輝度の比率が算出され、それぞれ輝度比率とされる（ステップＳ２０２２）。次に、ステップＳ２０２２で算出された輝度比率に、撮影画像の背景色の輝度を乗じることにより、色成分ごとに平均輝度が算出される（ステップＳ２０２３）。更に、ステップＳ２０２３で色成分ごとに平均輝度が算出されると、それらの色成分を合成して形成された画像の黄色を除去するフィルタ処理が行われる。（ステップＳ２０２４）。
【００６０】
ステップＳ２０２４で実施される黄色を除去するフィルタ処理を詳細に説明する。ここでは、まず、対象画素の背景色の輝度と赤色（Ｒ）の輝度との差分値（背景色輝度差分値Ｒ）が算出される。そして、緑色（Ｇ）の輝度との差分値（背景色輝度差分値Ｇ）が算出される。さらに、当該背景色の輝度と青色（Ｂ）の輝度との差分値（背景色輝度差分値Ｂ）が算出される。そして背景色輝度差分値Ｒおよび背景色輝度差分値Ｇと、背景色輝度差分値Ｂとが比較される。背景色輝度差分値Ｂが、背景色輝度差分値Ｒおよび背景色輝度差分値Ｇのいずれかよりも大きい場合には、背景色輝度差分値Ｒおよび背景色輝度差分値Ｇのうち大きい方の値を定数倍したものが、青色の輝度とされる。一方、背景色輝度差分値Ｂが、背景色輝度差分値Ｒおよび背景色輝度差分値Ｇよりも小さい場合には、青色の輝度は、そのままとされる。
【００６１】
例えば、背景色の輝度が「２００」、赤色の輝度が「１９０」、緑色の輝度が「１８０」、青色の輝度が「１４０」である場合、各色の背景色の輝度との差分値は、それぞれ１０（背景色輝度差分値Ｒ）、２０（背景色輝度差分値Ｇ）、６０（背景色輝度差分値Ｂ）となる。この場合、背景色輝度差分値Ｂが、背景色輝度差分値Ｒおよび背景色輝度差分値Ｇよりも大きく、また、背景色輝度差分値Ｒより背景色輝度差分値Ｇの方が大きいため背景色輝度差分値Ｇ「２０」の定数倍（例えば、２倍）である「４０」が青色の輝度の差分値とされる。すなわち、青色の輝度は背景色の輝度「２００」との差分値が「４０」となるように、「１６０」とされる。なお、本実施形態で使用する定数は、任意の数値とするが、数値が大きいと効果的に黄色成分が除去されないため、定数として１〜２が採用されるのが好適である。これにより描画対象物２０に照射される照明の光に含まれる黄色成分を除去することができ、会議参加者とって見やすい画像を生成することができる。
【００６２】
ステップＳ２０２の処理が終了すると、図７に戻って、撮影画像データＡが表す撮影画像Ａから受信画像データＢが表す受信画像Ｂを除去する。具体的には、輝度平均値差分算出部１５ｃが、ステップＳ２０２で補正されたの各画素の輝度から、ステップＳ２０１で読み出された受信画像データＢが表す受信画像Ｂの同じ位置にある画素の輝度を減じた値を輝度差分値として算出する（ステップＳ２０３）。
【００６３】
次に、輝度判定・決定部１５ｄはステップＳ２０３で算出された輝度差分値が所定の閾値より大きいか否かを判定する（ステップＳ２０４）。図２に示す例では、撮影画像Ａの文字「あ」が描画されている位置と同じ位置の受信画像Ｂの位置に「あ」の文字は描画されていないため、撮影画像Ａの文字「あ」を形成している画素と同じ位置の受信画像Ｂの画素との輝度差分値は閾値以下であると判定されることになる。具体的には撮影画像Ａの文字「あ」は黒いインクで描かれているものであるため画素の輝度は低いため、例として輝度は０であるとする。また、受信画像Ｂの対応する画素はホワイトボードの地の色であるから輝度が高いため、例として輝度は２５５であるとする。このとき、輝度差分値は０−２５５＝−２５５となる。この値は所定の閾値が例えば−１００である場合に輝度差分値は所定の閾値以下であると判定される。
【００６４】
また、撮影画像Ａの文字「い」が描画されている位置と同じ位置の受信画像Ｂに同様に「い」の文字が描画されているため、撮影画像Ａの文字「い」を形成している画素の輝度と同じ位置の受信画像Ｂの画素の輝度との輝度差分値は閾値以下であると判定される。具体的には撮影画像Ａの文字「い」を形成する画素の輝度は０であるとし、受信画像Ｂの対応する画素は同じく文字「い」を形成する画素であるため、その輝度は０であるとする。このとき、輝度差分値は０−０＝０である。この値は、所定の閾値である−１００より大きいと判定される。
【００６５】
ステップＳ２０４で、輝度差分値が閾値以下であると判定された場合には、輝度判定・決定部１５ｄは、その輝度差分値を定数倍する等の所定の処理を施した値を差分画像Ａの該当の位置の画素の輝度と決定する（ステップＳ２０５）。
【００６６】
ステップＳ２０４で、輝度差分値が閾値より大きいと判定された場合には、輝度判定・決定部１５ｄは、背景となる画素の輝度より高い所定の値を輝度とする（ステップＳ２０６）。ステップＳ２０６の処理によって、差分画像Ａにおいて撮影画像Ａおよび受信画像Ｂの文字「い」に対応する部分は何も描画されていないものとする必要があるため、背景となる画素の輝度より高い所定の値とすることにしている。さらに、輝度判定・決定部１５ｄは、このようにして得られた輝度に背景色の輝度を加算する（ステップＳ２０７）。
【００６７】
これによりステップＳ２０５で決定された輝度はステップＳ２０６の処理によって増加し、さらに背景色とのバランスをとるためにステップＳ２０７の処理を施すことによって、文字「あ」の部分が背景色に対して明瞭に表されるような輝度に補正されることになる。差分画像生成部１５はステップＳ２０５からステップＳ２０８までの処理を全ての画素に対して実施し、各画素に対して輝度が決定された画像を差分画像Ａとする。そして、差分画像生成部１５は差分画像Ａを表す差分画像データＡを生成する。
【００６８】
続いて、画像処理装置１０ａの送受信部１１は差分画像生成部１５によって生成された差分画像データＡを画像処理装置１０ｂに対して送信する。そして、画像処理装置１０ｂの送受信部１１が画像処理装置１０ａの送受信部によって送信された差分画像データＡを受信画像データＡとして受信し、画像処理装置１０ｂの表示制御部１８ａがプロジェクタ４０ｂを制御して拠点Ｂの描画対象物２０ｂの描画領域２０１ｂに受信画像データＡが表す受信画像Ａを表示させる。そして、拠点Ｂの画像処理装置１０ｂは拠点Ｂの撮影装置３０ｂによって描画対象物２０ｂを撮影した撮影画像Ｂおよび受信画像Ａにもとづいて、画像処理装置１０ａが行ったステップＳ１１乃至ステップＳ２２の処理と同様の処理を行う。
【００６９】
＜＜実施形態の主な効果＞＞
以上説明したように、本実施形態によれば、画像処理装置１０ａは、拠点Ａの人物等が描画したり除去したりすることによって画像に変化が発生した場合の差分画像Ａだけを拠点Ａの画像処理装置１０ａは拠点Ｂに送信する。また、差分画像Ａを表す差分画像データＡを受信画像データＡとして受信した拠点Ｂの画像処理装置１０ｂは、受信した受信画像Ａをプロジェクタ４０ｂに描画対象物２０ｂに対して映し出させる。つまり、画像処理装置１０ｂは画像に変化がない場合は差分画像データＡを送信しないため、拠点Ｂで受信する受信画像データＡの総数は減ることになる。したがって、プロジェクタ４０ｂが描画対象物２０ｂに映し出す受信画像Ａの数は少なくなり、受信画像Ａが安定して映し出されるために待つ時間が減少する。待つ時間が減少すれば、拠点Ｂの画像処理装置１０ｂは受信画像Ａと撮影画像Ｂに基づいて差分画像Ｂを生成する処理を早く始められることになり、拠点Ａに送信することができる差分画像Ｂの数を向上することが可能となる。
【００７０】
＜＜実施形態の補足＞＞
上述の実施形態では、受信画像データと撮影画像データが表す画像の同じ位置にある画素の差を算出しているが、同じ位置にある領域（たとえば、矩形で表される８画素×８画素の領域）ごとに差を算出してもよい。
【００７１】
また、人物を検知する処理、差分画像を生成する処理をそれぞれの画像処理装置１０で実施しているが、撮影画像データ、及び、受信画像データを通信通信ネットワーク経由で画像処理サーバに送信し、その画像処理サーバで人物を検知する処理、差分画像を生成する処理を実施してもよい。
【００７２】
また、差分判定部１４ｂは各画像の各画素の輝度と、それぞれの画像が撮影された時間より、所定の時間前に撮影された画像の同じ位置にある画素の輝度との差分を算出しているが、所定の数だけ前に撮影された画像に基づいて、差分を算出してもよい。
【００７３】
また、背景色の輝度は、ユーザが予め任意の値を設定することができる。この場合、ユーザによる設定を操作入力受付部１２が受け付けられる。
【００７４】
また、画像処理装置１０に画像補正部を設け、画像取得部１３によって取得された画像を台形補正等により補正してもよい。
【００７５】
また、差分画像生成部１５は、表示画像記憶部１００５に記憶されている受信画像データを用いて、差分画像を生成しているが、送受信部１１で受信された受信画像データを用いるようにしてもよい。
【００７６】
また、差分画像生成部１５は、撮影画像記憶部１００１に記憶されている撮影画像データを用いて、差分画像を生成しているが、画像取得部１３が撮影装置３０から取得した撮影画像データを用いるようにしてもよい。
【００７７】
また、差分画像生成部１５が生成した差分画像データは差分画像記憶部１００６に記憶しているが、差分画像生成部１５が生成した差分画像を差分画像記憶部１００６に記憶せず、送受信部１１が他の画像処理装置に送信してもよい。
【００７８】
また、本実施形態の各機能部は通信ネットワーク５０に接続されているサーバ等の情報処理装置が有しているとしてもよい。
【符号の説明】
【００７９】
１０ 画像処理装置
１１ 送受信部
１２ 操作入力受付部
１３ 画像取得部
１４ 画像変化判定部
１４ａ 輝度取得部
１４ｂ 差分判定部
１４ｃ 輝度変化画素数判定部
１５ 差分画像生成部
１５ａ 輝度補正部
１５ｂ 輝度平均値算出部
１５ｃ 輝度平均値差分算出部
１５ｄ 輝度判定・決定部
１７ 時間計測部
１８ａ 表示制御部
１８ｂ 音声出力制御部
１９ 記憶・読出処理部
１０００ 記憶部
１００１ 撮影画像記憶部
１００２ 受信画像記憶部
１００４ 画像変化フラグ記憶部
１００５ 表示画像記憶部
１００６ 差分画像記憶部
２０ 描画対象物
２００ 描画画像
２０１ 描画領域
２０２ 周辺領域
３０ 撮影装置
４０ プロジェクタ
【先行技術文献】
【特許文献】
【００８０】
【特許文献１】特開２００４−０８０７５０公報
【技術分野】
【０００１】
本発明は、画像を処理する画像処理システムに関する。
【背景技術】
【０００２】
近年、企業や教育機関、行政機関等では、会議や講演等において文字や数字、図形が描かれたホワイトボード等の描画対象物の画像を保存して利用する技術が知られている。たとえば、スキャナ装置および印刷装置を備えホワイトボードの画像を走査して印刷するホワイトボード装置や、複数の拠点にそれぞれ設置されたホワイトボードに描かれた画像をビデオカメラ等の撮影装置で撮影しプロジェクタが会議相手の拠点のホワイトボードにそれらの描画像を映し出すことによって、双方の拠点の画像を同時に把握することができる技術が知られている。
【０００３】
このような描画画像を取得する技術として、特許文献１にはホワイトボードを撮影した描画画像から会議相手によって送信された描画画像を取り除いた画像（差分画像）を会議相手に送信することによって画像エコーを取り除き、ユーザにとってホワイトボード上の画像が見やすいようにする技術が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載された発明では、プロジェクタによって画像が照射されてからホワイトボードに安定して表示されるまで、ある程度の時間がかかることが分かっている。このため、プロジェクタが画像を映し出され始めてからビデオカメラが画像を撮影できるようになるまで数百ｍｓ程度の時間を待つ必要がある。プロジェクタによって映し出され始めてまだ安定していない画像に基づいて生成された差分画像は画像品質の低いものとなってしまい、その差分画像を受信した会議相手がプロジェクタに照射した画像は見にくいものとなってしまうからである。
【０００５】
このため、プロジェクタによって映し出された画像が安定するまでの待ち時間を経てからビデオカメラによってその画像を撮影し、撮影された画像にもとづいて画像処理装置が差分画像を生成し、生成した差分画像を他拠点に送信していた。このため、差分画像を生成する処理を開始するまでに待ち時間を経るため、生成して会議相手に送信する差分画像の数（フレームレート）が低下してしまうという問題が発生していた。
【課題を解決するための手段】
【０００６】
上記の課題を解決するため、請求項１にかかる発明は、第一の画像撮影装置、第一の画像投影装置、および第一の画像処理装置を含む第一の画像処理システムと、第二の画像処理装置および第二の画像投影装置を含む第二の画像処理システムと、を有する画像処理システムであって、前記第一の画像処理装置は、前記第二の画像処理装置から画像データを受信する画像データ受信手段と、前記画像データ受信手段によって受信された受信画像データを記憶する受信画像データ記憶手段と、前記受信画像データ記憶手段に記憶されている受信画像データを第一の画像投影装置に供給する受信画像データ供給手段と、前記画像撮影装置により撮影された撮影画像を取得する撮影画像取得手段と、前記撮影画像取得手段によって取得された撮影画像と、前記画像供給手段よって供給する受信画像データが表す受信画像に基づいて、差分画像を生成する差分画像生成手段と、前記画像撮影装置によって撮影された前記撮影画像の画素の輝度の変化があったか否かを判定する画像変化判定手段と、前記画像変化判定手段によって判定された前記輝度の変化に基づいて、前記第二の画像処理装置に前記差分画像生成手段によって生成された前記差分画像を表す差分画像データを送信制御する送信制御手段と、前記送信制御手段による送信制御に基づいて前記差分画像データを第二の画像処理装置に送信する差分画像データ送信手段と、を備え、前記第二の画像処理装置は、前記差分画像データを前記第一の画像処理装置から受信する差分画像データ受信手段と、前記差分画像データ受信手段によって受信した差分画像データが表す差分画像を第二の画像投影装置に投影させる投影制御手段と、を備えることを特徴とする。
【発明の効果】
【０００７】
以上説明したように、本発明によれば、第一の画像処理装置は画像変化判定手段によって判定された変化に基づいて、差分画像生成手段で生成された差分画像を表す差分画像データを第二の画像処理装置に送信するので、第二の画像処理装置は画像の変化に基づいて送信された画像データのみを受信する。つまり、第二の画像処理装置が受信する差分画像データの総数が減少する。したがって、第二の画像処理装置は、画像投影装置が画像を映し出し始めてから撮影装置が画像を撮影できるようになるまでの待ち時間を経ることなく差分画像を生成する処理を行うことが可能になるので、全体として処理できる画像の枚数（フレームレート）を向上させることが可能となる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に係る画像処理システムの概略図である。
【図２】差分画像を説明するための概念図である。
【図３】本発明の一実施形態に係る画像処理装置のハードウェア構成図である。
【図４】本発明の一実施形態に係る画像処理装置の機能ブロック図である。
【図５】本実施形態に係る画像処理装置の処理の概要を示した処理フロー図である。
【図６】撮影画像の変化を判定する処理を示した処理フロー図である。
【図７】差分画像を生成する処理を示した処理フロー図である。
【図８】輝度平均値を算出する処理を示した処理フロー図である。
【発明を実施するための形態】
【０００９】
＜＜実施形態の全体構成＞＞
以下、図１乃至図８を用いて、本発明の一実施形態について説明する。
【００１０】
＜画像処理システムのハードウェア構成＞
図１は、本発明の一実施形態に係る画像処理システムの概略図である。図２は、差分画像を説明するための概念図である。図３は、本発明の一実施形態に係る画像処理装置のハードウェア構成図である。
【００１１】
まず、図１を用いて、本実施形態の概略を説明する。図１に示す画像処理システム１において、拠点Ａの画像処理装置１０ａおよび拠点Ｂの画像処理装置１０ｂは通信ネットワーク５０を経由して相互にデータを送受信する。拠点Ａには画像処理装置１０ａ、拠点Ａにいる人物が描画を行うためのホワイトボード等の描画対象物２０ａがあり、画像処理装置１０ａには描画対象物２０ａを撮影する撮影装置３０ａ、描画対象物２０ａに画像を映し出すプロジェクタ４０ａが接続されている。また、画像処理装置１０ａはディスプレイ６０ａ、キーボード等の入力装置７０ａと接続されている。
【００１２】
拠点Ｂには画像処理装置１０ｂ、拠点Ｂにいる人物が描画を行うためのホワイトボード等の描画対象物２０ｂがあり、画像処理装置１０ｂには描画対象物２０ｂを撮影する撮影装置３０ｂ、描画対象物２０ｂに画像を映し出すプロジェクタ４０ｂが接続されている。また、画像処理装置１０ｂはディスプレイ６０ｂ、キーボード等の入力装置７０ｂと接続されている。
【００１３】
なお、本実施形態では、画像処理装置１０ａ、画像処理装置１０ｂのうち任意の画像処理装置を示す場合には「画像処理装置１０」といい、描画対象物２０ａ、描画対象物２０ｂのうち任意の描画対象物を示す場合には「描画対象物２０」といい、撮影装置３０ａ、撮影装置３０ｂのうち任意の撮影装置を示す場合には「撮影装置３０」といい、プロジェクタ４０ａ、プロジェクタ４０ｂのうち任意のプロジェクタを示す場合には「プロジェクタ４０」という。また、ディスプレイ６０ａ、ディスプレイ６０ｂのうち任意のディスプレイを示す場合には「ディスプレイ６０」といい、入力装置７０ａ、入力装置７０ｂのうち任意の入力装置を示す場合には「入力装置７０」という。
【００１４】
また、画像処理装置１０ａは撮影装置３０ａが撮影した撮影画像Ａおよび拠点ｂから受信した受信画像データＢが表す受信画像Ｂを用いることによって差分画像Ａを生成し、通信ネットワーク５０を経由して画像処理装置１０ｂに送信するものである。ここで、差分画像とは、拠点Ａの撮影装置３０ａで撮影された撮影画像Ａから、拠点Ｂの画像処理装置１０ｂから受信しプロジェクタ４０ａによって映し出している受信画像Ｂを除去することによって、拠点Ａで描画された画像のみを表している画像をいう。画像処理装置１０ｂは画像処理装置１０ａと同様の機能を有するため、その説明を省略する。また、画像処理装置１０ｂによって生成される差分画像Ｂは差分画像Ａと同様のものであるため、その説明を省略する。
【００１５】
図２を用いて、撮影画像、受信画像、および差分画像について詳細に説明する。図２（１）は拠点Ａの描画対象物２０の描画領域内の状態を示している。ここでは、文字「あ」は拠点Ａにいる人物によって描画されたものである。そして、文字「い」は拠点Ｂにいる人物によって描画されたものである。具体的には、文字「い」は、拠点Ｂの画像処理装置１０ｂから拠点Ａの画像処理装置１０ａが受信した受信画像データＢが表す受信画像Ｂ（図２（２）参照）に含まれているものであり、プロジェクタ４０ａによって描画対象物２０ａに映し出されている。したがって、拠点Ａにいる会議参加者は文字「あ」と文字「い」を描画対象物２０ａ上に見ていることになる。また、拠点Ａの撮影装置３０ａは図２（１）に示される文字「あ」と文字「い」が表されている状態を撮影画像Ａとして撮影し、撮影画像データＡを生成する。
【００１６】
図２（３）は、図２（１）に示される撮影画像Ａから、図２（２）に示される受信画像Ｂを除去したものであり、これを差分画像Ａという。拠点Ｂで描画されている描画物を表している受信画像Ｂを除去していることから、差分画像Ａに含まれる文字、図形等の描画物は拠点Ａにいる人物によって描画されたもののみとなる。
【００１７】
描画対象物２０は、ユーザが文字や図形等の描画画像を描画するホワイトボードや黒板、紙等の物品である。また、描画対象物２０にはプロジェクタ４０が映し出す画像が映し出される。また、描画対象物２０ａ内にプロジェクタ４０ａが映し出す４つの点を角とする長方形で囲まれる領域を描画領域２０１ａとする。また、その描画領域２０１ａの周辺部を周辺領域２０２ａとする。同様に、描画対象物２０ｂ内にプロジェクタ４０ｂが映し出す４つの点を角とする長方形で囲まれる領域を描画領域２０１ｂとする。また、その描画領域２０１ｂの周辺部を周辺領域２０２ｂとする。なお、本実施形態では、描画領域２０１ａ、描画領域２０１ｂのうち任意の描画領域を示す場合には「描画領域２０１」といい、周辺領域２０２ａ、周辺領域２０２ｂのうち任意の描画領域を示す場合には「描画領域２０２」という。
【００１８】
撮影装置３０は、描画画像を含む描画領域２０１、周辺領域２０２、およびそれらの前にいる人物等を撮影して撮影画像を生成するカメラ等の装置である。プロジェクタ４０は、画像処理装置１０が記憶、生成、受信した画像を描画対象物２０の描画領域２０１に映し出すものである。なお、プロジェクタ４０は画像投影装置の一例である。また、通信ネットワーク５０は、画像処理装置１０ａと画像処理装置１０ｂにて、相互に各種データを送受信するためのものである。
【００１９】
＜画像処理装置のハードウェア構成＞
次に、図３を用いて、本発明の一実施形態に係る画像処理装置１０のハードウェア構成について説明する。画像処理装置１０は、画像処理装置１０全体の動作を制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１、画像処理装置用プログラムを記憶したＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２、ＣＰＵ１０１のワークエリアとして使用されるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３、各種データを記憶するＨＤ(Ｈａｒｄ Ｄｉｓｋ)１０４、ＣＰＵ１０１の制御にしたがってＨＤ１０４に対する各種データの読み出し又は書込みを制御するＨＤＤ(Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ)１０５、フラッシュメモリ等の記憶メディア１０６に対するデータの読み出し又は書込み（記憶）を制御するメディアドライブ１０７、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報をディスプレイに表示させるためのディスプレイＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１０８、通信ネットワーク５０を利用してデータ伝送をするためのネットワークＩ／Ｆ１０９、文字、数値、各種指示などの入力のための複数のキーを備えたキーボードからの情報を受け付けるためのキーボードＩ／Ｆ１１１、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウスからの情報を受け付けるためのマウスＩ／Ｆ１１２、着脱可能な記憶媒体の一例としてのＣＤ−ＲＯＭ(Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ)１１３に対するデータの読み出し又は書込みを制御するＣＤ−ＲＯＭドライブ１１４、撮影装置３０等の外部の装置と情報を送受信する外部装置Ｉ／Ｆ１１５、音声データに基づいて音声を出力するためのスピーカーＩ／Ｆ１１６、タイマー１１７、及び、上記各構成要素を電気的に接続するためのアドレスバスやデータバス等のバスライン１１０を備えている。
【００２０】
なお、上記画像処理装置用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記憶メディア１０６やＣＤ−ＲＯＭ１１３等のコンピュータで読み取り可能な記憶媒体に記憶して流通させるようにしてもよい。
【００２１】
＜画像処理装置の機能構成＞
図４は、本実施形態の画像処理装置１０の機能ブロック図である。図４を用いて本実施形態の画像処理装置１０の機能を説明する。本実施形態の画像処理装置１０は、送受信部１１、操作入力受付部１２、画像取得部１３、画像変化判定部１４、差分画像生成部１５、時間計測部１７、表示制御部１８ａ、音声出力制御部１８ｂ、及び記憶・読出処理部１９を有している。これら各部は、図３に示されている各構成要素のいずれかが、ＲＯＭ１０２に記憶されているプログラムに従ったＣＰＵ１０１からの命令によって動作することで実現される機能又は手段である。また、画像処理装置１０は、図３に示されているＲＯＭ１０２、ＲＡＭ１０３、ＨＤＤ１０５のいずれかによって構築される記憶部１０００を有している。
【００２２】
（画像処理装置１０の各機能部）
次に、画像処理装置１０の各部を詳細に説明する。ここでは、画像処理装置１０ａが拠点Ｂから送信された受信画像データＢを受信し、拠点Ａのプロジェクタ４０ａが受信画像Ｂを描画対象物２０ａに映し出し、拠点Ａの撮影装置３０ａが描画対象物２０ａを撮影し撮影画像Ａを生成するという状況（図１参照）での画像処理装置１０ａの機能について説明する。なお、拠点Ａの画像処理装置１０ａと拠点Ｂの画像処理装置１０ｂは同様の機能を有するものである。したがって、画像処理装置１０ｂが拠点Ａから送信された受信画像データＡを受信し、拠点Ｂのプロジェクタ４０ｂが受信画像Ａを描画対象物２０ｂに映し出し、拠点Ｂの撮影装置３０ｂが描画対象物２０ｂを撮影するという状況での画像処理装置１０ｂの機能についての説明は省略する。
【００２３】
画像処理装置１０の送受信部１１は、ネットワークＩ／Ｆ１０９によって実現され、通信ネットワーク５０を介して他の端末、装置又はシステムと各種データ（情報）の送受信を行う。操作入力受付部１２は、図３に示されているキーボードＩ／Ｆ１１１またはマウスＩ／Ｆ１１２によって実現されており、キーボードまたはマウス等を用いることによってユーザから入力された情報を受け付けるものである。画像取得部１３は、外部装置Ｉ／Ｆ１１５によって実現され、ケーブル等を介して撮影装置３０が撮影した撮影画像を表す撮影画像データを撮影装置３０から取得するものである。
【００２４】
画像変化判定部１４は、画像取得部１３によって取得された撮影画像データが表す撮影画像のうち周辺領域２０２の各画素の輝度に基づいて周辺領域２０２に変化があったか否かを判定する。画像変化判定部１４が撮影画像の周辺領域２０２に変化があったと判定した場合には周辺領域に人物がいるとみなされ、その人物が描画対象物２０の描画領域２０１に描画しているものとみなされる。また、画像変化判定部１４が撮影画像の周辺領域２０２に変化がない判定した場合には周辺領域２０２に人物がいないとみなされ、描画領域２０１の描画の状態に変化がないとみなされる。このように画像変化判定部１４が撮影画像の周辺領域２０２に変化があるか否かを判定した結果に基づいて、以降の処理が決定される。詳細については追って記載する。
【００２５】
画像変化判定部１４は、輝度取得部１４ａ、差分判定部１４ｂ、輝度変化画素数判定部１４ｃを含んでいる。画像変化判定部１４は拠点Ａにいる人物等が描画対象物２０に文字、記号、図形等を描画することによって状態が変化しているか否かを判定することを目的としている。すなわち、拠点Ａの人物等が描画対象物に何かを描画したり、描画されたものを消去したりしている場合には、その変化した状態を表す画像データを拠点Ｂに送信する必要があり、拠点Ａの人物が描画も消去もしていない場合には拠点Ｂへ変化していない画像データを送信する必要はない。
【００２６】
また、拠点Ａの描画領域２０１ａには拠点Ｂから受信された受信画像データＢに基づく受信画像Ｂを映し出されるため、描画領域２０１ａの描画の状態に変化があったとしてもその変化は拠点Ａにいる人物の描画によるものではない場合もある。したがって、拠点Ａの人物等が描画することによって状態が変化したか否かを判定するためには、描画領域２０１ａではなく拠点Ｂから受信した受信画像Ｂが映し出されない周辺領域２０２ｂに変化があるか否かを判定すればよい。
【００２７】
輝度取得部１４ａは、画像取得部１３が取得した撮影画像データＡが表す撮影画像Ａの周辺領域２０２ａに含まれる全ての画素の輝度を取得する。差分判定部１４ｂは、輝度取得部１４ａが取得した各画素の輝度から、その撮影画像Ａより所定の時間前に撮影された撮影画像Ａ’の対応する位置の画素の輝度を減じた差分が閾値より大きいか否かを判定する。なお、差分判定部１４ｂは輝度取得部１４ａによって取得された全ての画素に対してこの処理を行う。
【００２８】
輝度変化画素数判定部１４ｃは、差分判定部１４ｂによって、輝度の差分が閾値より大きいとされた画素の数が所定数以上あったと判定された場合にその撮影画像Ａの周辺領域２０２ａに変化があったと判定する。そして、記憶・読出処理部１９が、その撮影画像Ａを表す撮影画像データＡに対応する画像変化フラグを「ＯＮ」とする。また、輝度変化画素数判定部１４ｃは、差分判定部１４ｂで輝度の差分が閾値を超えているとされた画素の数が所定数未満であったと判定された場合にその撮影画像Ａの周辺領域２０２ａに変化がなかったと判定する。そして、記憶・読出処理部１９が、その撮影画像Ａを表す撮影画像データＡに対応する画像変化フラグを「ＯＦＦ」とする。
【００２９】
本実施形態では周辺領域２０２ａに変化があったことをもって、その拠点の撮影範囲内に人物がいて描画対象物２０ａの描画領域２０１ａに文字、図形、記号等を描画したり消去したりし撮影画像Ａが変化しているとみなしている。描画対象物２０ａの描画領域２０１ａには拠点Ｂから受信した受信画像データＢが表す受信画像Ｂがプロジェクタ４０ａによって映し出されるため、描画領域２０１ａの画素の変化に基づいて拠点Ａの人物が描画したことによる撮影画像Ａの変化があったか否かを判定することができないためである。
【００３０】
差分画像生成部１５は、拠点Ａの撮影装置３０ａによって撮影された撮影画像Ａの描画領域２０１ａ内の画像から、拠点Ｂの画像処理装置１０ｂより受信した受信画像データＢが表す受信画像Ｂを除去した差分画像Ａを生成するものである。具体的には、図２（１）に示される例において拠点Ａの描画対象物２０ａには、拠点Ａにいる人物が描画した文字「あ」と拠点Ｂから受信した受信画像Ｂに含まれている文字「い」が表されている。そして、撮影装置３０ａは文字「あ」と文字「い」をともに含む撮影画像Ａを撮影している。
【００３１】
ここで差分画像Ａを生成するということは、撮影装置３０ａが撮影した文字「あ」と文字「い」から、拠点Ｂから受信した受信画像データＢが表す受信画像Ｂが含んでいる文字「い」を除去し、文字「あ」のみを含む画像を生成するということである。このように差分画像Ａ（文字「あ」のみを含む画像）を生成し、その差分画像Ａを表す差分画像データＡを拠点Ｂに送ることができる。これによって、拠点Ｂでは、拠点Ｂにいる人物が描画した文字「い」と拠点Ａの画像処理装置１０ａから受信した差分画像Ａに含まれる文字「あ」が描画対象物２０ｂに表されるようになる。ここで、差分画像を生成しなかった場合、拠点Ｂでは人物が描画した文字「い」および拠点Ａから受信しプロジェクタ４０ｂによって映し出されている文字「あ」と文字「い」が描画対象物２０ｂに表される。すなわち、二つの文字「い」が重なってしまうこととなる。そして、この二つの文字「い」が少しでもずれた場合、「い」の文字が拠点Ｂにいる会議参加者からは見にくいものとなってしまう。なお、差分画像Ａは撮影画像Ａの描画領域２０１ａ内の画像および受信画像Ｂの描画領域２０１ｂ内の画像によって生成されるものであり、それぞれの周辺領域の画像は含まない。周辺領域２０２ａに受信画像Ｂが投影されると、先に説明した画像変化判定部１４は拠点Ｂで発生した変化に基づいて拠点Ａの画像に変化があったか否かを判定してしまうことになり、画像変化判定部１４の説明で記載した判定の目的をなさないからである。
【００３２】
差分画像生成部１５は、輝度補正部１５ａ、輝度平均値算出部１５ｂ、輝度平均値差分算出部１５ｃ、輝度判定・決定部１５ｄを含んでいる。また、差分画像生成部１５は、画像変化判定部１４によって周辺領域２０２ａに変化があると判定されたときに差分画像Ａを生成するものである。また、差分画像生成部１５は送受信部１１が受信画像データＢを受信して所定の時間が計測してからその処理を開始するものとする。受信画像データＢを受信してからプロジェクタ４０ａの照射や撮影装置３０ａでの撮影が安定するまで数百ミリ秒程度の時間がかかり、所定の時間が経過した後の安定した画像を用いて差分画像生成部１５が処理を行う必要があるからである。なお、時間計測部１７がタイマーを用いて時間の経過を計測する。
【００３３】
輝度補正部１５ａは、各画素の周辺にある画素の輝度に基づいてその画素の輝度を補正したり、照明の影響により黄色がかった画素を補正したりするものである。輝度平均値算出部１５ｂは、輝度補正部１５ａによって補正された撮影画像Ａの各画素の周辺にある画素の輝度の平均値を算出するものである。輝度平均値差分算出部１５ｃは、輝度平均値算出部１５ｂが算出した輝度平均値から受信画像Ｂの同じ位置にある画素の輝度を減じることによって差分を算出し、輝度平均値差分を算出するものである。輝度判定・決定部１５ｄは、輝度平均値差分算出部１５ｃが算出した輝度平均値差分を新たに生成する差分画像の輝度として決定するものである。
【００３４】
時間計測部１７は送受信部１１が受信画像データＢを受信してから経過した時間を計測するものである。具体的には時間計測部１７は、送受信部１１が受信画像データＢを受信するとタイマー１１７を起動し０にセットしてから経過時間を計測する。
【００３５】
表示制御部１８ａは、図３に示されているディスプレイＩ／Ｆ１０８によって実現され、画像処理装置１０に接続されているディスプレイ６０ａに対して画像を表示させるための制御を行う。また、表示制御部１８ａは画像処理装置１０ａに接続されているプロジェクタ４０ａに画像を投影させるための制御を行う。なお、表示制御部１８ａは投影制御手段、受信画像データ供給手段の一例である。音声出力制御部１８ｂは、図３に示されているスピーカーＩ／Ｆ１１６によって実現され、画像処理装置１０に接続されているスピーカーに音声を出力するための制御を行う。
【００３６】
また、記憶・読出処理部１９は、図３に示されているＲＯＭ１０２、ＲＡＭ１０３、ＨＤＤ１０５のいずれかとして実現されている記憶部１０００に各種データを記憶したり、記憶部１０００に記憶された各種データを読み出したりする。記憶部１０００には、撮影画像記憶部１００１、受信画像記憶部１００２、画像変化フラグ記憶部１００４、表示画像記憶部１００５、差分画像記憶部１００６によって構成される。
【００３７】
撮影画像記憶部１００１は、画像取得部１３によって撮影装置３０ａから取得された撮影画像データＡを記憶するものである。撮影画像記憶部１００１は撮影装置３０ａによって撮影された撮影画像データＡを撮影順が識別できるように記憶している。このように記憶していることによって画像変化判定部１４は新たに取得した撮影画像データＡがそれ以前に撮影された撮影画像データＡ’から変化しているか否かを判定することができるのである。
【００３８】
受信画像記憶部１００２は、送受信部１１によって拠点Ｂの画像処理装置１０ｂから受信した受信画像データＢを記憶するものである。受信画像記憶部１００２には、新たに受信画像データＢが記憶されるとき、既に記憶されている受信画像データは上書きされ、常に最新の受信画像データＢが記憶されている。画像変化フラグ記憶部１００４は、撮影画像データＡに対応して画像変化フラグを記憶するものである。なお、画像変化フラグとは、撮影画像データＡが表す撮影画像Ａが所定の時間前に撮影された撮影画像Ａから変化があったか否かを示す情報であり、上述のとおり画像変化判定部１４によって撮影画像Ａの周辺領域２０２ａに変化があったと判定された場合には画像変化フラグは「ＯＮ」とされ、画像変化判定部１４によって撮影画像Ａの周辺領域２０２ａに変化がなかったと判定された場合には画像変化フラグは「ＯＦＦ」とされる。
【００３９】
表示画像記憶部１００５は、プロジェクタ４０に表示している画像データを記憶するものである。差分画像記憶部１００６は、差分画像生成部１５によって生成された差分画像データＡを記憶するものである。
【００４０】
なお、送受信部１１は画像受信手段、差分画像受信手段、差分画像送信手段の一例であり、受信画像記憶部１００２は受信画像記憶手段の一例であり、画像取得部１３は画像取得手段の一例であり、差分画像生成部１５は差分画像生成手段の一例である。また、画像変化判定部１４は画像変化判定手段の一例である。
【００４１】
＜＜実施形態の処理・動作＞＞
続いて、図５乃至図８を用いて、本実施形態に係る画像処理システム１における処理方法を説明する。なお、図４は、本発明の一実施形態に係る画像処理装置の機能ブロック図である。図５は、本実施形態に係る画像処理装置の処理の概要を示した処理フロー図である。図６は、撮影画像の変化を判定する処理を示した処理フロー図である。図７は、差分画像を生成する処理を示した処理フロー図である。図８は、輝度平均値を算出する処理を示した処理フロー図である。
【００４２】
図５を用いて、本実施形態に係る画像処理装置１０の処理を説明する。本実施形態では、図１に示す拠点Ａの画像処理装置１０ａが撮影した撮影画像Ａと拠点Ｂの画像処理装置１０ｂから受信した受信画像Ｂに基づいて、画像処理装置１０ａが実施する処理について説明する。なお、拠点Ｂの画像処理装置１０ｂは拠点Ａの画像処理装置１０ａと同じ機能を有し同じ処理を実施しているため、ここでの説明は省略する。
【００４３】
まず、拠点Ａの撮影装置３０ａは描画領域２０１ａおよび周辺領域２０２ａを決定する（ステップＳ１１）。具体的には、プロジェクタ４０ａが４つの点を描画対象物２０ａに映し出し、撮影装置３０ａが描画対象物２０ａを撮影したときに撮影画像に含まれる４つの点を結んで形成される長方形に囲まれる領域が描画領域２０１ａとされる。その描画領域２０１の外側で撮影装置３０ａの撮影範囲内にある部分が周辺領域２０２とされる。なお、以降、画像処理装置１０ａの画像変化判定部１４ａは撮影装置３０ａによって撮影された撮影画像Ａのうち、ここで決定した周辺領域２０２ａに対して処理を行う。また、画像処理装置１０ｂの差分画像生成部１５は撮影装置３０ａによって撮影された撮影画像Ａのうち、ここで決定した描画領域２０１ａに対して処理を行う。
【００４４】
拠点Ａの画像処理装置１０ａの送受信部１１は拠点Ｂの画像処理装置１０ｂの送受信部１１から送信された受信画像データＢを受信する（ステップＳ１２）。この受信画像データＢが表す受信画像Ｂは、拠点Ｂにいる人物が描画対象物２０ｂに描画した画像を表すものであり、拠点Ａから送信されプロジェクタ４０ｂによって描画対象物２０ｂに映し出されている画像は除去されている。つまり、拠点Ｂの画像処理装置１０ｂから送信される受信画像データＢは、画像処理装置１０ｂが生成した差分画像Ｂを表す差分画像データＢである。なお、画像処理装置１０ｂが差分画像Ｂを生成する処理は、画像処理装置１０ａが差分画像Ａを生成する処理と同じであり、その処理の詳細は追って説明する。また、以降、受信画像データが表す画像を受信画像という。
【００４５】
拠点Ａの画像処理装置１０ａの送受信部１１は拠点Ｂの画像処理装置１０ｂの送受信部１１から送信された受信画像データＢを受信する（ステップＳ１２）と、拠点Ａの時間計測部１７は、タイマー１１７を０にセットし、受信画像データＢを受信してから経過する時間を計測し始める（ステップＳ１３）。
【００４６】
次に、拠点Ａの画像処理装置１０の記憶・読出処理部１９はステップＳ１２で送受信部１１によって受信された受信画像データＢを受信画像記憶部１００２に記憶する（ステップＳ１４）。受信画像データＢは画像処理装置１０ｂによって所定の処理が行われるごとに次々に画像処理装置１０ａに送信されることとなるが、記憶・読出処理部１９は受信画像データＢを上書きして記憶するので、送受信部１１が受信した最新の受信画像データＢのみが受信画像記憶部１００２に記憶される。
【００４７】
続いて、拠点Ａの画像処理装置１０の表示制御部１８ａはステップＳ１２で送受信部１１によって受信した受信画像データＢが表す受信画像Ｂを、プロジェクタ４０ａを制御することによって描画対象物２０ａに表示させる（ステップＳ１５）。なお、ここで、記憶・読出処理部１９が受信画像記憶部１００２に記憶されている受信画像データＢを読出し、読み出された受信画像データＢが表す受信画像Ｂを表示制御部１８ａが表示させるとしてもよい。
【００４８】
一方、拠点Ａでは撮影装置３０ａが描画対象物２０ａを撮影している。このとき、描画対象物２０ａには、図１および図２（１）に示されるように拠点Ａにいる人物によって描画されている文字「あ」とプロジェクタ４０ａによって映し出されている受信画像データＢが表す受信画像Ｂが含む文字「い」が表されているとすると、撮影装置３０ａは文字「あ」、文字「い」をともに含む画像を撮影していることになる。また、撮影装置３０ａの撮影範囲内に人物等がいる場合にはその人物もともに撮影されている。
【００４９】
このようにして、撮影装置３０ａによって撮影された撮影画像Ａを表す撮影画像データＡを、拠点Ａの画像処理装置１０ａの画像取得部１３が取得する（ステップＳ１６）。そして、画像取得部１３によって取得された撮影画像データＡを記憶・読出処理部１９が撮影画像記憶部１００１に記憶する（ステップＳ１７）。撮影装置３０ａは次々に画像を撮影しており、画像取得部１３は撮影された撮影画像Ａを表す撮影画像データＡを順次取得している。このとき、順次取得された撮影画像データＡを記憶・読出処理部１９は取得された順を識別できるように撮影画像記憶部１００１に記憶する。
【００５０】
続いて、拠点Ａの画像処理装置１０ａの画像変化判定部１４は、撮影画像Ａの周辺領域２０２ａに変化があったか否かを判定する（ステップＳ１８）。画像変化判定部１４が判定する処理の詳細について図６を用いて説明する。まず、記憶・読出処理部１９が撮影画像記憶部１００１に記憶されている撮影画像データＡを読み出す（ステップＳ１８１）。そして、画像変化判定部１４の輝度取得部１４ａが記憶・読出処理部１９によって読み出された撮影画像データＡが表す撮影画像Ａの周辺領域２０２ａ内の全ての画素の輝度を取得する（ステップＳ１８２）。
【００５１】
また、記憶・読出処理部１９はステップＳ１８１で読み出された撮影画像データＡより所定の枚数だけ前に、もしくは所定の時間前に撮影された撮影画像データＡ’を撮影画像記憶部１００１から読み出す（ステップＳ１８１’）。そして、輝度取得部１４ａが記憶・読出処理部１９によって読み出された撮影画像データＡ’が表す撮影画像Ａ’の周辺領域２０２内の全ての画素の輝度を取得する（ステップＳ１８２’）。
【００５２】
ステップＳ１８２およびステップＳ１８２’で全ての画素の輝度が取得されると、差分判定部１４ｂは撮影画像Ａの各画素の輝度と、撮影画像Ａの画素と同じ位置にある撮影画像Ａ’の画素の輝度との差分を算出する（ステップＳ１８３）。そして、差分判定部１４ｂはその差分が所定の閾値を超えているか否か判定する（ステップＳ１８４）。
【００５３】
続いて、輝度変化画素数判定部１４ｃが、差分判定部１４ｂによって差分が閾値を超えていると判定された画素を輝度変化画素としてその数を算出し（ステップＳ１８５）、輝度変化画素の数が所定の値を超えているか判定する（ステップＳ１８６）。ステップＳ１８６で、輝度変化画素の数が所定の値を超えていると判定された場合、その撮影画像Ａには変化があったとされ、記憶・読出処理部１９が、撮影画像データＡに対応する画像変化フラグを「ＯＮ」とする（ステップＳ１８７）。ステップＳ１８６で輝度変化画素の数が所定の値以下である場合、画像には変化がないとされ、記憶・読出処理部１９は、撮影画像データＡに対応する画像変化フラグを「ＯＦＦ」とする（ステップＳ１８８）。
【００５４】
図５に戻って、このように画像変化判定部１４によって画像に変化があったか否かが判定され（ステップＳ１８）た結果、撮影画像Ａに変化があった場合、時間計測部１７がタイマー１１７を用いて計測した時間が所定の時間を経過しているか否かを判定する（ステップＳ１９）。
【００５５】
画像変化判定部１４によって画像に変化があったか否かが判定され（ステップＳ１８）た結果、撮影画像Ａに変化がなかった場合、ステップＳ１６に戻って画像変化判定部１４は撮影装置３０ａが次に撮影し画像取得部１３によって取得されている撮影画像Ａについて同様に画像変化があったか否かを判定する。なお、画像変化判定部１４は全ての撮影画像Ａに対してこの処理を施しても良いが、一の撮影画像Ａに変化があると判定されて以降に画像取得部１３によって取得された所定数の撮影画像Ａについてはこの処理を施さずに画像に変化があったものとみなしてもよい。
【００５６】
ステップＳ１９で時間計測部１７が所定の時間が経過していることを計測した場合、ステップＳ１４で受信画像記憶部１００２に記憶された受信画像データＢおよびステップＳ１７で撮影画像記憶部１００１に記憶された撮影画像データＡに基づいて、拠点Ａの画像処理装置１０ａの差分画像生成部１５が差分画像データＡを生成する（ステップＳ２０）。図２に示す例で説明すると、差分画像生成部１５は、撮影画像データＡが表す撮影画像Ａに含まれる文字「あ」および文字「い」から、受信画像データＢが表す受信画像Ｂに含まれる文字「い」を除去し、拠点Ａにいる人物が描画した文字「あ」のみを含む差分画像Ａを表す差分画像データＡを生成する。
【００５７】
ステップＳ１９で時間計測部１７によって計測された時間が所定の時間を経過していなかった場合、拠点Ａの画像処理装置１０ａの差分画像生成部１５は所定の時間が経過してから差分画像データＡを生成する（ステップＳ２０）。
【００５８】
ここで、差分画像生成部１５が差分画像を生成する処理の詳細について図７を用いて説明する。図７に示されるように、まず、画像処理装置１０ａの記憶・読出処理部１９が受信画像記憶部１００２に記憶されている受信画像データＡを読み出す（ステップＳ２０１）。続いて、画像処理装置１０ａの差分画像生成部１５の輝度補正部１５ａがステップＳ２０１で記憶・読出処理部１９によって読み出された受信画像データＡが表す受信画像Ａの輝度を補正する（ステップＳ２０２）。ここでの補正は各画素の周辺にある画素の輝度の平均値に対するその画素の輝度の比率に背景色の輝度を掛け合わせることにより算出した輝度平均値を対象画素の輝度とすることである。また、ここでの補正は、黄色の成分を除去することによって、外光の影響を均すためのものである。
【００５９】
ステップＳ２０２で輝度補正部１５ａが輝度を補正する処理について図８を用いて詳細に説明する。図８に示されるように、まず、対象画素の周辺にある画素の輝度の平均値として、周辺輝度平均値ＡＶＥが色成分（Ｒ、Ｇ、Ｂ）ごとに算出される（ステップＳ２０２１）。次に、色成分ごとに周辺輝度平均値ＡＶＥに対する対象画素の輝度の比率が算出され、それぞれ輝度比率とされる（ステップＳ２０２２）。次に、ステップＳ２０２２で算出された輝度比率に、撮影画像の背景色の輝度を乗じることにより、色成分ごとに平均輝度が算出される（ステップＳ２０２３）。更に、ステップＳ２０２３で色成分ごとに平均輝度が算出されると、それらの色成分を合成して形成された画像の黄色を除去するフィルタ処理が行われる。（ステップＳ２０２４）。
【００６０】
ステップＳ２０２４で実施される黄色を除去するフィルタ処理を詳細に説明する。ここでは、まず、対象画素の背景色の輝度と赤色（Ｒ）の輝度との差分値（背景色輝度差分値Ｒ）が算出される。そして、緑色（Ｇ）の輝度との差分値（背景色輝度差分値Ｇ）が算出される。さらに、当該背景色の輝度と青色（Ｂ）の輝度との差分値（背景色輝度差分値Ｂ）が算出される。そして背景色輝度差分値Ｒおよび背景色輝度差分値Ｇと、背景色輝度差分値Ｂとが比較される。背景色輝度差分値Ｂが、背景色輝度差分値Ｒおよび背景色輝度差分値Ｇのいずれかよりも大きい場合には、背景色輝度差分値Ｒおよび背景色輝度差分値Ｇのうち大きい方の値を定数倍したものが、青色の輝度とされる。一方、背景色輝度差分値Ｂが、背景色輝度差分値Ｒおよび背景色輝度差分値Ｇよりも小さい場合には、青色の輝度は、そのままとされる。
【００６１】
例えば、背景色の輝度が「２００」、赤色の輝度が「１９０」、緑色の輝度が「１８０」、青色の輝度が「１４０」である場合、各色の背景色の輝度との差分値は、それぞれ１０（背景色輝度差分値Ｒ）、２０（背景色輝度差分値Ｇ）、６０（背景色輝度差分値Ｂ）となる。この場合、背景色輝度差分値Ｂが、背景色輝度差分値Ｒおよび背景色輝度差分値Ｇよりも大きく、また、背景色輝度差分値Ｒより背景色輝度差分値Ｇの方が大きいため背景色輝度差分値Ｇ「２０」の定数倍（例えば、２倍）である「４０」が青色の輝度の差分値とされる。すなわち、青色の輝度は背景色の輝度「２００」との差分値が「４０」となるように、「１６０」とされる。なお、本実施形態で使用する定数は、任意の数値とするが、数値が大きいと効果的に黄色成分が除去されないため、定数として１〜２が採用されるのが好適である。これにより描画対象物２０に照射される照明の光に含まれる黄色成分を除去することができ、会議参加者とって見やすい画像を生成することができる。
【００６２】
ステップＳ２０２の処理が終了すると、図７に戻って、撮影画像データＡが表す撮影画像Ａから受信画像データＢが表す受信画像Ｂを除去する。具体的には、輝度平均値差分算出部１５ｃが、ステップＳ２０２で補正されたの各画素の輝度から、ステップＳ２０１で読み出された受信画像データＢが表す受信画像Ｂの同じ位置にある画素の輝度を減じた値を輝度差分値として算出する（ステップＳ２０３）。
【００６３】
次に、輝度判定・決定部１５ｄはステップＳ２０３で算出された輝度差分値が所定の閾値より大きいか否かを判定する（ステップＳ２０４）。図２に示す例では、撮影画像Ａの文字「あ」が描画されている位置と同じ位置の受信画像Ｂの位置に「あ」の文字は描画されていないため、撮影画像Ａの文字「あ」を形成している画素と同じ位置の受信画像Ｂの画素との輝度差分値は閾値以下であると判定されることになる。具体的には撮影画像Ａの文字「あ」は黒いインクで描かれているものであるため画素の輝度は低いため、例として輝度は０であるとする。また、受信画像Ｂの対応する画素はホワイトボードの地の色であるから輝度が高いため、例として輝度は２５５であるとする。このとき、輝度差分値は０−２５５＝−２５５となる。この値は所定の閾値が例えば−１００である場合に輝度差分値は所定の閾値以下であると判定される。
【００６４】
また、撮影画像Ａの文字「い」が描画されている位置と同じ位置の受信画像Ｂに同様に「い」の文字が描画されているため、撮影画像Ａの文字「い」を形成している画素の輝度と同じ位置の受信画像Ｂの画素の輝度との輝度差分値は閾値以下であると判定される。具体的には撮影画像Ａの文字「い」を形成する画素の輝度は０であるとし、受信画像Ｂの対応する画素は同じく文字「い」を形成する画素であるため、その輝度は０であるとする。このとき、輝度差分値は０−０＝０である。この値は、所定の閾値である−１００より大きいと判定される。
【００６５】
ステップＳ２０４で、輝度差分値が閾値以下であると判定された場合には、輝度判定・決定部１５ｄは、その輝度差分値を定数倍する等の所定の処理を施した値を差分画像Ａの該当の位置の画素の輝度と決定する（ステップＳ２０５）。
【００６６】
ステップＳ２０４で、輝度差分値が閾値より大きいと判定された場合には、輝度判定・決定部１５ｄは、背景となる画素の輝度より高い所定の値を輝度とする（ステップＳ２０６）。ステップＳ２０６の処理によって、差分画像Ａにおいて撮影画像Ａおよび受信画像Ｂの文字「い」に対応する部分は何も描画されていないものとする必要があるため、背景となる画素の輝度より高い所定の値とすることにしている。さらに、輝度判定・決定部１５ｄは、このようにして得られた輝度に背景色の輝度を加算する（ステップＳ２０７）。
【００６７】
これによりステップＳ２０５で決定された輝度はステップＳ２０６の処理によって増加し、さらに背景色とのバランスをとるためにステップＳ２０７の処理を施すことによって、文字「あ」の部分が背景色に対して明瞭に表されるような輝度に補正されることになる。差分画像生成部１５はステップＳ２０５からステップＳ２０８までの処理を全ての画素に対して実施し、各画素に対して輝度が決定された画像を差分画像Ａとする。そして、差分画像生成部１５は差分画像Ａを表す差分画像データＡを生成する。
【００６８】
続いて、画像処理装置１０ａの送受信部１１は差分画像生成部１５によって生成された差分画像データＡを画像処理装置１０ｂに対して送信する。そして、画像処理装置１０ｂの送受信部１１が画像処理装置１０ａの送受信部によって送信された差分画像データＡを受信画像データＡとして受信し、画像処理装置１０ｂの表示制御部１８ａがプロジェクタ４０ｂを制御して拠点Ｂの描画対象物２０ｂの描画領域２０１ｂに受信画像データＡが表す受信画像Ａを表示させる。そして、拠点Ｂの画像処理装置１０ｂは拠点Ｂの撮影装置３０ｂによって描画対象物２０ｂを撮影した撮影画像Ｂおよび受信画像Ａにもとづいて、画像処理装置１０ａが行ったステップＳ１１乃至ステップＳ２２の処理と同様の処理を行う。
【００６９】
＜＜実施形態の主な効果＞＞
以上説明したように、本実施形態によれば、画像処理装置１０ａは、拠点Ａの人物等が描画したり除去したりすることによって画像に変化が発生した場合の差分画像Ａだけを拠点Ａの画像処理装置１０ａは拠点Ｂに送信する。また、差分画像Ａを表す差分画像データＡを受信画像データＡとして受信した拠点Ｂの画像処理装置１０ｂは、受信した受信画像Ａをプロジェクタ４０ｂに描画対象物２０ｂに対して映し出させる。つまり、画像処理装置１０ｂは画像に変化がない場合は差分画像データＡを送信しないため、拠点Ｂで受信する受信画像データＡの総数は減ることになる。したがって、プロジェクタ４０ｂが描画対象物２０ｂに映し出す受信画像Ａの数は少なくなり、受信画像Ａが安定して映し出されるために待つ時間が減少する。待つ時間が減少すれば、拠点Ｂの画像処理装置１０ｂは受信画像Ａと撮影画像Ｂに基づいて差分画像Ｂを生成する処理を早く始められることになり、拠点Ａに送信することができる差分画像Ｂの数を向上することが可能となる。
【００７０】
＜＜実施形態の補足＞＞
上述の実施形態では、受信画像データと撮影画像データが表す画像の同じ位置にある画素の差を算出しているが、同じ位置にある領域（たとえば、矩形で表される８画素×８画素の領域）ごとに差を算出してもよい。
【００７１】
また、人物を検知する処理、差分画像を生成する処理をそれぞれの画像処理装置１０で実施しているが、撮影画像データ、及び、受信画像データを通信通信ネットワーク経由で画像処理サーバに送信し、その画像処理サーバで人物を検知する処理、差分画像を生成する処理を実施してもよい。
【００７２】
また、差分判定部１４ｂは各画像の各画素の輝度と、それぞれの画像が撮影された時間より、所定の時間前に撮影された画像の同じ位置にある画素の輝度との差分を算出しているが、所定の数だけ前に撮影された画像に基づいて、差分を算出してもよい。
【００７３】
また、背景色の輝度は、ユーザが予め任意の値を設定することができる。この場合、ユーザによる設定を操作入力受付部１２が受け付けられる。
【００７４】
また、画像処理装置１０に画像補正部を設け、画像取得部１３によって取得された画像を台形補正等により補正してもよい。
【００７５】
また、差分画像生成部１５は、表示画像記憶部１００５に記憶されている受信画像データを用いて、差分画像を生成しているが、送受信部１１で受信された受信画像データを用いるようにしてもよい。
【００７６】
また、差分画像生成部１５は、撮影画像記憶部１００１に記憶されている撮影画像データを用いて、差分画像を生成しているが、画像取得部１３が撮影装置３０から取得した撮影画像データを用いるようにしてもよい。
【００７７】
また、差分画像生成部１５が生成した差分画像データは差分画像記憶部１００６に記憶しているが、差分画像生成部１５が生成した差分画像を差分画像記憶部１００６に記憶せず、送受信部１１が他の画像処理装置に送信してもよい。
【００７８】
また、本実施形態の各機能部は通信ネットワーク５０に接続されているサーバ等の情報処理装置が有しているとしてもよい。
【符号の説明】
【００７９】
１０ 画像処理装置
１１ 送受信部
１２ 操作入力受付部
１３ 画像取得部
１４ 画像変化判定部
１４ａ 輝度取得部
１４ｂ 差分判定部
１４ｃ 輝度変化画素数判定部
１５ 差分画像生成部
１５ａ 輝度補正部
１５ｂ 輝度平均値算出部
１５ｃ 輝度平均値差分算出部
１５ｄ 輝度判定・決定部
１７ 時間計測部
１８ａ 表示制御部
１８ｂ 音声出力制御部
１９ 記憶・読出処理部
１０００ 記憶部
１００１ 撮影画像記憶部
１００２ 受信画像記憶部
１００４ 画像変化フラグ記憶部
１００５ 表示画像記憶部
１００６ 差分画像記憶部
２０ 描画対象物
２００ 描画画像
２０１ 描画領域
２０２ 周辺領域
３０ 撮影装置
４０ プロジェクタ
【先行技術文献】
【特許文献】
【００８０】
【特許文献１】特開２００４−０８０７５０公報
【特許請求の範囲】
【請求項１】
第一の画像撮影装置、第一の画像投影装置、および第一の画像処理装置を含む第一の画像処理システムと
第二の画像処理装置および第二の画像投影装置を含む第二の画像処理システムと、
を有する画像処理システムであって、
前記第一の画像処理装置は、
前記第二の画像処理装置から画像データを受信する画像データ受信手段と、
前記画像データ受信手段によって受信された受信画像データを記憶する受信画像データ記憶手段と、
前記受信画像データ記憶手段に記憶されている受信画像データを前記第一の画像投影装置に供給する受信画像データ供給手段と、
前記画像撮影装置により撮影された撮影画像を取得する撮影画像取得手段と、
前記撮影画像取得手段によって取得された撮影画像と、前記受信画像データ供給手段が前記第一の画像投影装置に供給する受信画像データが表す受信画像に基づいて、差分画像を生成する差分画像生成手段と、
前記撮影画像取得手段によって取得された前記撮影画像の画素の輝度の変化があったか否かを判定する画像変化判定手段と、
前記画像変化判定手段によって判定された前記輝度の変化に基づいて、前記第二の画像処理装置に前記差分画像生成手段によって生成された前記差分画像を表す差分画像データを送信制御する送信制御手段と、
前記送信制御手段による送信制御に基づいて前記差分画像データを前記第二の画像処理装置に送信する差分画像データ送信手段と、を備え、
前記第二の画像処理装置は、
前記差分画像データを前記第一の画像処理装置から受信する差分画像データ受信手段と、
前記差分画像データ受信手段によって受信した前記差分画像データが表す差分画像を前記第二の画像投影装置に投影させる投影制御手段と、
を備えることを特徴とする画像処理システム。
【請求項２】
請求項１に記載の画像処理システムであって、
前記送信制御手段は、
前記画像変化判定手段によって、前記輝度の変化があったと判定された場合に、前記画像送信手段が前記差分画像データを送信するように制御し、
前記画像変化判定手段によって、前記輝度の変化がなかったと判定された場合に、前記画像送信手段が前記差分画像データを送信しないように制御すること、
を特徴とする画像処理システム。
【請求項３】
請求項１または２に記載の画像処理システムであって、
前記画像変化判定手段は、前記第一の撮影装置により撮影された撮影画像の周辺領域の画素の輝度の変化を判定することを特徴とする画像処理システム。
【請求項４】
請求項１乃至３のいずれかに記載の画像処理システムであって、
前記画像変化判定手段は、前記撮影画像の輝度の変化が所定の範囲である画素の数が所定の閾値より大きいか否かを判定すること
を特徴とする画像処理システム。
【請求項５】
請求項３または４に記載の画像処理システムであって、
前記輝度の変化は、前記撮影画像の各画素の輝度と、前記撮影画像が撮影されるより前に撮影された第一の撮影画像の前記各画素に対応する画素の輝度との差であることを特徴とする画像処理システム。
【請求項６】
請求項１乃至５のいずれかに記載の画像処理システムであって、
前記差分画像生成手段は、
前記撮影画像の各画素の輝度と前記受信画像の前記各画素に対応する画素の輝度に基づいて画像を生成することを特徴とする画像処理システム。
【請求項７】
描画対象物を撮影する第一の画像撮影装置と、
第一の画像撮影装置によって撮影された撮影画像および第二の画像処理装置から受信した受信画像データが表す受信画像を処理する第一の画像処理装置と、
第一の画像処理装置から受信した受信画像データが表す受信画像を処理する第二の画像処理装置と、
を有する画像処理システムにおいて、
前記第一の画像処理装置は、
前記第二の画像処理装置から受信画像データを受信する画像データ受信手段と、
前記画像データ受信手段によって受信された受信画像データが表す受信画像と、前記画像撮影装置によって撮影された撮影画像に基づいて、差分画像を生成する差分画像生成手段と、
前記画像撮影装置によって撮影された撮影画像の画素の輝度の変化があったか否か判定する画像変化判定手段と、
前記画像変化判定手段によって判定された前記輝度の変化に基づいて、前記第二の画像処理装置に前記差分画像を表す差分画像データを送信する差分画像データ送信制御する送信制御手段と、
前記送信制御手段による送信制御に基づいて前記差分画像データを前記第二の画像処理装置に送信する差分画像データ送信手段と、を備え、
前記第二の画像処理装置は、
前記差分画像データを前記第一の画像処理装置から受信する差分画像データ受信手段と、
前記差分画像データ受信手段によって受信された差分画像データが表す差分画像を前記画像投影装置に投影させる投影制御手段と、
を備えることを特徴とする画像処理システム。
【請求項８】
画像撮影装置によって撮影された撮影画像と他の画像処理装置から受信した受信画像データが表す受信画像を処理する画像処理装置であって、
他の画像処理装置から画像データを受信する画像データ受信手段と、
前記画像データ受信手段によって受信された受信画像データを記憶する受信画像データ記憶手段と、
前記受信画像データ記憶手段に記憶されている受信画像データを画像投影装置に供給する受信画像データ供給手段と、
前記画像撮影装置により撮影された撮影画像を取得する撮影画像取得手段と、
前記撮影画像取得手段によって取得された撮影画像と、前記画像供給手段が前記画像投影装置に供給する受信画像データが表す受信画像の画素の輝度に基づいて、差分画像を生成する差分画像生成手段と、
前記撮影画像取得手段により取得された撮影画像の画素の輝度の変化に基づいて画像の変化があったか否かを判定する画像変化判定手段と、
前記画像変化判定手段によって判定された前記輝度の変化に基づいて、前記他の画像処理装置に、前記差分画像生成手段で生成された前記差分画像を表す差分画像データを送信制御する送信制御手段と、
前記送信制御手段による送信制御に基づいて前記差分画像データを前記他の画像処理装置に送信する画像送信手段と、
を備えることを特徴とする画像処理装置。
【請求項９】
画像撮影装置によって撮影された撮影画像と他の画像処理装置から受信した受信画像データが表す受信画像を処理する画像処理装置であって、
前記他の画像処理装置から受信画像データを受信する画像データ受信手段と、
前記画像データ受信手段によって受信された受信画像データが表す受信画像と、前記画像撮影装置によって撮影された撮影画像に基づいて、差分画像を生成する差分画像生成手段と、
前記画像撮影装置によって撮影された撮影画像の画素の輝度の変化があったか否かを判定する画像変化判定手段と、
前記画像変化判定手段によって判定された前記輝度の変化に基づいて、前記差分画像生成手段によって生成された前記差分画像を表す差分画像データを送信制御する送信制御手段と、
前記送信制御手段による送信制御に基づいて前記差分画像データを前記他の画像処理装置に送信する差分画像データ送信手段と、
を有することを特徴とする画像処理装置。
【請求項１０】
他の画像処理装置から画像データを受信する画像データ受信工程と、
前記画像データ受信工程によって受信された受信画像データを記憶する受信画像データ記憶工程と、
前記受信画像データ記憶工程で記憶した受信画像データを画像投影装置に供給する受信画像データ供給工程と、
前記画像撮影装置により撮影された撮影画像を取得する撮影画像取得工程と、
前記撮影画像取得工程によって取得された撮影画像と、前記画像供給工程が前記画像投影装置に供給する受信画像データが表す受信画像に基づいて、差分画像を生成する差分画像生成工程と、
前記撮影画像取得工程により取得された撮影画像データが表す撮影画像の画素の輝度の変化に基づいて画像の変化があったか否かを画像変化判定工程と、
前記画像変化判定工程によって判定された前記画素の輝度の変化に基づいて、前記他の画像処理装置に、前記差分画像を表す差分画像データを送信制御する送信制御工程と、
前記送信制御工程による送信制御に基づいて前記差分画像データを他の画像処理装置に送信する画像送信工程と、
を画像処理装置に実行させることを特徴とする画像処理プログラム。
【請求項１】
第一の画像撮影装置、第一の画像投影装置、および第一の画像処理装置を含む第一の画像処理システムと
第二の画像処理装置および第二の画像投影装置を含む第二の画像処理システムと、
を有する画像処理システムであって、
前記第一の画像処理装置は、
前記第二の画像処理装置から画像データを受信する画像データ受信手段と、
前記画像データ受信手段によって受信された受信画像データを記憶する受信画像データ記憶手段と、
前記受信画像データ記憶手段に記憶されている受信画像データを前記第一の画像投影装置に供給する受信画像データ供給手段と、
前記画像撮影装置により撮影された撮影画像を取得する撮影画像取得手段と、
前記撮影画像取得手段によって取得された撮影画像と、前記受信画像データ供給手段が前記第一の画像投影装置に供給する受信画像データが表す受信画像に基づいて、差分画像を生成する差分画像生成手段と、
前記撮影画像取得手段によって取得された前記撮影画像の画素の輝度の変化があったか否かを判定する画像変化判定手段と、
前記画像変化判定手段によって判定された前記輝度の変化に基づいて、前記第二の画像処理装置に前記差分画像生成手段によって生成された前記差分画像を表す差分画像データを送信制御する送信制御手段と、
前記送信制御手段による送信制御に基づいて前記差分画像データを前記第二の画像処理装置に送信する差分画像データ送信手段と、を備え、
前記第二の画像処理装置は、
前記差分画像データを前記第一の画像処理装置から受信する差分画像データ受信手段と、
前記差分画像データ受信手段によって受信した前記差分画像データが表す差分画像を前記第二の画像投影装置に投影させる投影制御手段と、
を備えることを特徴とする画像処理システム。
【請求項２】
請求項１に記載の画像処理システムであって、
前記送信制御手段は、
前記画像変化判定手段によって、前記輝度の変化があったと判定された場合に、前記画像送信手段が前記差分画像データを送信するように制御し、
前記画像変化判定手段によって、前記輝度の変化がなかったと判定された場合に、前記画像送信手段が前記差分画像データを送信しないように制御すること、
を特徴とする画像処理システム。
【請求項３】
請求項１または２に記載の画像処理システムであって、
前記画像変化判定手段は、前記第一の撮影装置により撮影された撮影画像の周辺領域の画素の輝度の変化を判定することを特徴とする画像処理システム。
【請求項４】
請求項１乃至３のいずれかに記載の画像処理システムであって、
前記画像変化判定手段は、前記撮影画像の輝度の変化が所定の範囲である画素の数が所定の閾値より大きいか否かを判定すること
を特徴とする画像処理システム。
【請求項５】
請求項３または４に記載の画像処理システムであって、
前記輝度の変化は、前記撮影画像の各画素の輝度と、前記撮影画像が撮影されるより前に撮影された第一の撮影画像の前記各画素に対応する画素の輝度との差であることを特徴とする画像処理システム。
【請求項６】
請求項１乃至５のいずれかに記載の画像処理システムであって、
前記差分画像生成手段は、
前記撮影画像の各画素の輝度と前記受信画像の前記各画素に対応する画素の輝度に基づいて画像を生成することを特徴とする画像処理システム。
【請求項７】
描画対象物を撮影する第一の画像撮影装置と、
第一の画像撮影装置によって撮影された撮影画像および第二の画像処理装置から受信した受信画像データが表す受信画像を処理する第一の画像処理装置と、
第一の画像処理装置から受信した受信画像データが表す受信画像を処理する第二の画像処理装置と、
を有する画像処理システムにおいて、
前記第一の画像処理装置は、
前記第二の画像処理装置から受信画像データを受信する画像データ受信手段と、
前記画像データ受信手段によって受信された受信画像データが表す受信画像と、前記画像撮影装置によって撮影された撮影画像に基づいて、差分画像を生成する差分画像生成手段と、
前記画像撮影装置によって撮影された撮影画像の画素の輝度の変化があったか否か判定する画像変化判定手段と、
前記画像変化判定手段によって判定された前記輝度の変化に基づいて、前記第二の画像処理装置に前記差分画像を表す差分画像データを送信する差分画像データ送信制御する送信制御手段と、
前記送信制御手段による送信制御に基づいて前記差分画像データを前記第二の画像処理装置に送信する差分画像データ送信手段と、を備え、
前記第二の画像処理装置は、
前記差分画像データを前記第一の画像処理装置から受信する差分画像データ受信手段と、
前記差分画像データ受信手段によって受信された差分画像データが表す差分画像を前記画像投影装置に投影させる投影制御手段と、
を備えることを特徴とする画像処理システム。
【請求項８】
画像撮影装置によって撮影された撮影画像と他の画像処理装置から受信した受信画像データが表す受信画像を処理する画像処理装置であって、
他の画像処理装置から画像データを受信する画像データ受信手段と、
前記画像データ受信手段によって受信された受信画像データを記憶する受信画像データ記憶手段と、
前記受信画像データ記憶手段に記憶されている受信画像データを画像投影装置に供給する受信画像データ供給手段と、
前記画像撮影装置により撮影された撮影画像を取得する撮影画像取得手段と、
前記撮影画像取得手段によって取得された撮影画像と、前記画像供給手段が前記画像投影装置に供給する受信画像データが表す受信画像の画素の輝度に基づいて、差分画像を生成する差分画像生成手段と、
前記撮影画像取得手段により取得された撮影画像の画素の輝度の変化に基づいて画像の変化があったか否かを判定する画像変化判定手段と、
前記画像変化判定手段によって判定された前記輝度の変化に基づいて、前記他の画像処理装置に、前記差分画像生成手段で生成された前記差分画像を表す差分画像データを送信制御する送信制御手段と、
前記送信制御手段による送信制御に基づいて前記差分画像データを前記他の画像処理装置に送信する画像送信手段と、
を備えることを特徴とする画像処理装置。
【請求項９】
画像撮影装置によって撮影された撮影画像と他の画像処理装置から受信した受信画像データが表す受信画像を処理する画像処理装置であって、
前記他の画像処理装置から受信画像データを受信する画像データ受信手段と、
前記画像データ受信手段によって受信された受信画像データが表す受信画像と、前記画像撮影装置によって撮影された撮影画像に基づいて、差分画像を生成する差分画像生成手段と、
前記画像撮影装置によって撮影された撮影画像の画素の輝度の変化があったか否かを判定する画像変化判定手段と、
前記画像変化判定手段によって判定された前記輝度の変化に基づいて、前記差分画像生成手段によって生成された前記差分画像を表す差分画像データを送信制御する送信制御手段と、
前記送信制御手段による送信制御に基づいて前記差分画像データを前記他の画像処理装置に送信する差分画像データ送信手段と、
を有することを特徴とする画像処理装置。
【請求項１０】
他の画像処理装置から画像データを受信する画像データ受信工程と、
前記画像データ受信工程によって受信された受信画像データを記憶する受信画像データ記憶工程と、
前記受信画像データ記憶工程で記憶した受信画像データを画像投影装置に供給する受信画像データ供給工程と、
前記画像撮影装置により撮影された撮影画像を取得する撮影画像取得工程と、
前記撮影画像取得工程によって取得された撮影画像と、前記画像供給工程が前記画像投影装置に供給する受信画像データが表す受信画像に基づいて、差分画像を生成する差分画像生成工程と、
前記撮影画像取得工程により取得された撮影画像データが表す撮影画像の画素の輝度の変化に基づいて画像の変化があったか否かを画像変化判定工程と、
前記画像変化判定工程によって判定された前記画素の輝度の変化に基づいて、前記他の画像処理装置に、前記差分画像を表す差分画像データを送信制御する送信制御工程と、
前記送信制御工程による送信制御に基づいて前記差分画像データを他の画像処理装置に送信する画像送信工程と、
を画像処理装置に実行させることを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−１２０１６０（Ｐ２０１２−１２０１６０Ａ）
【公開日】平成２４年６月２１日（２０１２．６．２１）
【国際特許分類】
【出願番号】特願２０１１−２４６８７２（Ｐ２０１１−２４６８７２）
【出願日】平成２３年１１月１０日（２０１１．１１．１０）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２４年６月２１日（２０１２．６．２１）
【国際特許分類】
【出願日】平成２３年１１月１０日（２０１１．１１．１０）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]