画像処理装置、及び画像処理プログラム
【課題】自拠点で撮影された画像と他拠点で撮影された画像を用いて画像を処理する画像処理装置を提供する。
【解決手段】受信画像データ受信手段で受信された受信画像データが表す画像の描画量が時間に対して極大であるか否かを表す第一のキーフレーム情報を決定する第一キーフレーム情報決定手段と、自拠点画像データ取得手段によって取得された自拠点画像データが表す画像の描画量時間に対して極大であるか否かを示す第二のキーフレーム情報を決定する第二キーフレーム情報決定手段とを備え、前記自拠点画像データと前記受信画像データとを用いて生成される合成画像データが表す合成画像の描画量が時間に対して極大であるか否かを表す合成画像キーフレーム情報を、前記第一のキーフレーム情報、及び前記第二のキーフレーム情報に基づいて決定する。
【解決手段】受信画像データ受信手段で受信された受信画像データが表す画像の描画量が時間に対して極大であるか否かを表す第一のキーフレーム情報を決定する第一キーフレーム情報決定手段と、自拠点画像データ取得手段によって取得された自拠点画像データが表す画像の描画量時間に対して極大であるか否かを示す第二のキーフレーム情報を決定する第二キーフレーム情報決定手段とを備え、前記自拠点画像データと前記受信画像データとを用いて生成される合成画像データが表す合成画像の描画量が時間に対して極大であるか否かを表す合成画像キーフレーム情報を、前記第一のキーフレーム情報、及び前記第二のキーフレーム情報に基づいて決定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自拠点で撮影された画像と他拠点で撮影された画像を用いて画像を処理する画像処理装置に関する。
【背景技術】
【０００２】
近年、企業や教育機関、行政機関等では、会議や講演等において、文字や数字、図形が描かれたホワイトボード等の描画対象物の画像を保存して利用する技術が知られている。たとえば、スキャナ装置および印刷装置を備え、ホワイトボードの画像を走査して印刷するホワイトボード装置や、ホワイトボードに描かれた画像をビデオカメラ等の撮影装置で撮影して取得し、会議や講演の終了後に、ホワイトボードに描かれた画像を再生する技術が知られている。
【０００３】
また、複数の拠点にそれぞれ設置されたホワイトボードに描かれた画像をビデオカメラ等の撮影装置で撮影し、会議相手の拠点のホワイトボードにそれらの描画像を照射することによって、双方の拠点の画像を同時に把握するための技術が知られている。
【０００４】
このような描画画像を照射する技術として、特許文献１には、ホワイトボードの内容の大部分の消去が始まる直前の画像をキーフレーム画像として選択することが開示されている。この技術では、ホワイトボードを撮影して得られた撮影画像のペンストロークセルの数の時間的な変化量が特定の閾値以上となったときに、ペンストロークセルの数が最大となった時点の撮影画像の画像フレームを、保存すべき描画画像が書き込まれた画像フレームであるキーフレームとして取得している。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に示される技術では、人物等の前景オブジェクトによってペンストロークの数が変動し、その変化量が所定の閾値を超えた場合には、本来キーフレームではない画像フレームをキーフレームとして取得してしまうという問題があった。
【課題を解決するための手段】
【０００６】
上記の課題を解決するため、請求項１にかかる発明は、他の画像処理装置と情報を送受信する画像処理装置であって、他の画像処理装置から受信画像データを受信する受信画像データ受信手段と、前記受信画像データ受信手段で受信された前記受信画像データが表す画像の描画量が時間に対して極大であるか否かを表す第一のキーフレーム情報を決定する第一キーフレーム情報決定手段と、自拠点で描画された画像を表す自拠点画像データを取得する自拠点画像データ取得手段と、前記自拠点画像データ取得手段によって取得された前記自拠点画像データが表す画像の描画量時間に対して極大であるか否かを示す第二のキーフレーム情報を決定する第二キーフレーム情報決定手段と、前記自拠点画像データ取得手段によって取得された前記自拠点画像データと前記受信画像データ受信手段によって受信された前記受信画像データとを用いて生成される合成画像データが表す合成画像の描画量が時間に対して極大であるか否かを表す合成画像キーフレーム情報を、第一キーフレーム情報決定手段によって決定された前記第一のキーフレーム情報、及び第二キーフレーム情報決定手段によって決定された前記第二のキーフレーム情報に基づいて決定する合成画像キーフレーム情報決定手段と、を有することを特徴とする。
【０００７】
また、請求項２にかかる発明は、請求項１に記載の画像処理装置であって、前記自拠点画像データ取得手段は、撮影された画像を表す撮影画像データを取得する撮影画像データ取得手段と、前記撮影画像データ取得手段によって取得された前記撮影画像データが表す撮影画像から、前記受信画像データ受信手段によって受信された前記受信画像データが表す受信画像を除去した差分画像を表す差分画像データを自拠点画像データとして生成する差分画像データ生成手段と、を有することを特徴とする。
【０００８】
また、請求項３にかかる発明は、請求項１または２に記載の画像処理装置であって、前記キーフレーム合成画像データ抽出手段は、前記第一のキーフレーム情報または前記第二のキーフレーム情報に基づいて決定された合成画像キーフレーム情報に対応する第一の画像のうち、直前に前記第一のキーフレーム情報または前記第二のキーフレーム情報に基づいて決定された合成画像キーフレーム情報にかかる第二の画像を比較し、前記第一の画像が前記第二の画像と同一でない場合、前記第一の画像を表す画像データをキーフレーム合成画像データとして抽出し、前記第一の画像が前記第二の画像と同一である場合、前記第一の画像を表す画像データをキーフレーム合成画像データとしないことを特徴とする。
【０００９】
また、請求項４にかかる発明は、請求項１乃至３のいずれか一項に記載の画像処理装置であって、前記差分画像データ生成手段によって生成された前記差分画像データと前記受信画像データ受信手段によって受信された前記受信画像データとを用いて合成画像データを生成する合成画像データ生成手段を有することを特徴とする。
【００１０】
また、請求項５にかかる発明は、他の画像処理装置と情報を送受信する画像処理装置が実行する画像処理プログラムであって、他の画像処理装置から受信画像データを受信する受信画像データ受信工程と、前記受信画像データ受信工程で受信された前記受信画像データが表す画像の描画量が時間に対して極大であるか否かを表す第一のキーフレーム情報を決定する第一キーフレーム情報決定工程と、自拠点で描画された画像を表す自拠点画像データを取得する自拠点画像データ取得工程と、前記自拠点画像データ取得工程によって取得された前記自拠点画像データが表す画像の描画量時間に対して極大であるか否かを示す第二のキーフレーム情報を決定する第二キーフレーム情報決定工程と、前記自拠点画像データ取得工程によって取得された前記自拠点画像データと前記受信画像データ受信工程によって受信された前記受信画像データとを用いて生成される合成画像データが表す合成画像の描画量が時間に対して極大であるか否かを表す合成画像キーフレーム情報を、第一キーフレーム情報決定工程によって決定された前記第一のキーフレーム情報、及び第二キーフレーム情報決定工程によって決定された前記第二のキーフレーム情報に基づいて決定する合成画像キーフレーム情報決定工程と、を前記画像処理装置に実行させることを特徴とする。
【００１１】
また、請求項６にかかる発明は、請求項５に記載の画像処理プログラムであって、前記自拠点画像データ取得工程は、撮影された画像を表す撮影画像データを取得する撮影画像データ取得工程と、前記撮影画像データ取得工程によって取得された前記撮影画像データが表す撮影画像から、前記受信画像データ受信工程によって受信された前記受信画像データが表す受信画像を除去した差分画像を表す差分画像データを自拠点画像データとして生成する差分画像データ生成工程と、を有することを特徴とする。
【００１２】
また、請求項７にかかる発明は、請求項５または６に記載の画像処理プログラムであって、前記キーフレーム合成画像データ抽出工程は、前記第一のキーフレーム情報または前記第二のキーフレーム情報に基づいて決定された合成画像キーフレーム情報に対応する第一の画像のうち、直前に前記第一のキーフレーム情報または前記第二のキーフレーム情報に基づいて決定された合成画像キーフレーム情報にかかる第二の画像を比較し、前記第一の画像が前記第二の画像と同一でない場合、前記第一の画像を表す画像データをキーフレーム合成画像データとして抽出し、前記第一の画像が前記第二の画像と同一である場合、前記第一の画像を表す画像データをキーフレーム合成画像データとしないことを特徴とする。
【００１３】
また、請求項８にかかる発明は、請求項５乃至７のいずれか一項に記載の画像処理プログラムであって、前記差分画像データ生成工程によって生成された前記差分画像データと前記受信画像データ受信工程によって受信された前記受信画像データとを用いて合成画像データを生成する合成画像データ生成工程を有することを特徴とする。
【発明の効果】
【００１４】
以上説明したように、本発明によれば、描画対象物以外のものを含まない画像を抽出し、それらの画像からキーフレーム画像を抽出することによって、本来キーフレーム画像ではない画像を取得してしまうことを防ぐことが可能となる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態に係る画像処理システムの概略図である。
【図２】本発明の実施形態に係る画像処理装置のハードウェア構成図である。
【図３】本発明の実施形態に係る画像処理装置の機能ブロック図である。
【図４】自拠点画像管理テーブルを示す概念図である。
【図５】他拠点画像管理テーブルを示す概念図である。
【図６】合成画像管理テーブルを示す概念図である
【図７】画像処理システムの処理を表すシーケンス図である。
【図８】各画像データが表す画像の例である。
【図９】差分画像を生成する処理を示した処理フロー図である。
【図１０】無人判定処理を示した処理フロー図である。
【図１１】本実施形態に係る画像処理システムの処理によって、決定される画像を示す概念図である。
【図１２】代表画像を抽出する処理で実施される無人画像をグループ化する処理を示した処理フロー図である。
【図１３】合成グループＩＤを決定する処理を示した処理フロー図である。
【図１４】キーフレーム画像を決定する処理を示した処理フロー図である。
【図１５】キーフレーム画像を決定する処理を示した処理フロー図である。
【発明を実施するための形態】
【００１６】
＜＜実施形態の全体構成＞＞
以下、図１乃至図１５を用いて、本発明の一実施形態について説明する。図１は、本発明の一実施形態に係る画像処理システムの概略図であり、まずは図１を用いて、本実施形態の概略を説明する。
【００１７】
図１に示す画像処理システム１は複数の画像処理装置（１０ａ、１０ｂ）、各画像処理装置（１０ａ、１０ｂ）の画像を照射する描画対象物（２０ａ、２０ｂ）、撮影装置（３０ａ、３０ｂ）、プロジェクタ（４０ａ、４０ｂ）、通信ネットワーク５０によって構築されている。なお、本実施形態では、画像処理装置（１０ａ、１０ｂ）のうち任意の画像処理装置を示す場合には「画像処理装置１０」といい、描画対象物（２０ａ、２０ｂ）のうち任意の描画対象物を示す場合には「描画対象物２０」といい、撮影装置（３０ａ、３０ｂ）のうち任意の撮影装置を示す場合には「撮影装置３０」といい、プロジェクタ（４０ａ、４０ｂ）のうち任意のプロジェクタを示す場合には「プロジェクタ４０」という。
【００１８】
画像処理装置１０は、撮影装置３０及びプロジェクタ４０とＵＳＢケーブル等により接続され、撮影装置３０が撮影した画像を記録し、通信ネットワーク５０を経由して、他の画像処理装置１０に送信するものである。
【００１９】
また、描画対象物２０ａは、ユーザが文字や図形等の描画画像２００ａを描画するホワイトボードや黒板、紙等の物品である。さらに、描画対象物２０ａには、プロジェクタ４０ａが照射する画像が映される。ここで、描画対象物２０ａのうちユーザが描画する領域を描画領域２０１ａ、その描画領域２０１ａの周辺部を周辺領域２０２ａとする。撮影装置３０ａは、描画画像２００ａを含む描画領域２０１ａ、周辺領域２０２ａとそれらの前面にある対象物を撮影して撮影画像を生成するカメラ等の装置である。プロジェクタ４０ａは、画像処理装置１０ａが記憶している画像を描画対象物２０ａに照射するものである。
【００２０】
同様に、描画対象物２０ｂは、ユーザが文字や図形等の描画画像２００ｂを描画するホワイトボードや黒板、紙等の物品である。されに、描画対象物２０ｂには、プロジェクタ４０ｂが照射する画像が映される。また、ここで、描画対象物２０ｂのうちユーザが描画する領域を描画領域２０１ｂ、その描画領域２０１ｂの周辺部を周辺領域２０２ｂとする。撮影装置３０ｂは、描画画像２００ａを含む描画領域２０１ｂ、周辺領域２０２ｂとそれらの前面にある対象物を撮影して撮影画像を生成するカメラ等の装置である。プロジェクタ４０ｂは、画像処理装置１０ｂが記憶している画像を描画対象物２０ｂに照射するものである。
【００２１】
なお、本実施形態では、描画画像（２００ａ、２００ｂ）のうち任意の描画対象物を示す場合には「描画領域２００」といい、描画領域（２０１ａ、２０１ｂ）のうち任意の描画対象物を示す場合には「描画領域２０１」といい、周辺領域（２０２ａ、２０２ｂ）のうち任意の周辺領域を示す場合には「周辺領域２０２」という。
【００２２】
また、通信ネットワーク５０は、画像処理装置１０ａと画像処理装置１０ｂにて、相互に各種データを送受信するためのものである。
【００２３】
＜＜実施形態のハードウェア構成＞＞
次に、本実施形態のハードウェア構成を説明する。
【００２４】
図２は、本発明の一実施形態に係る画像処理装置１０のハードウェア構成図である。画像処理装置１０は、画像処理装置１０全体の動作を制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１、画像処理装置用プログラムを記憶したＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２、ＣＰＵ１０１のワークエリアとして使用されるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３、各種データを記憶するＨＤ(Ｈａｒｄ Ｄｉｓｋ)１０４、ＣＰＵ１０１の制御にしたがってＨＤ１０４に対する各種データの読み出し又は書込みを制御するＨＤＤ(Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ)１０５、フラッシュメモリ等の記録メディア１０６に対するデータの読み出し又は書込み（記憶）を制御するメディアドライブ１０７、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するためのディスプレイＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１０８、通信ネットワークを利用してデータ伝送をするためのネットワークＩ／Ｆ１０９、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード１１１、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス１１２、着脱可能な記録媒体の一例としてのＣＤ−ＲＯＭ(Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ)１１３に対するデータの読み出し又は書込みを制御するＣＤ−ＲＯＭドライブ１１４、外部の装置と情報を送受信する外部装置Ｉ／Ｆ１１５、音声データに基づいて音声を出力するためのスピーカーＩ／Ｆ１１６、ディスプレイ１１７及び、上記各構成要素を電気的に接続するためのアドレスバスやデータバス等のバスライン１１０を備えている。
【００２５】
なお、上記画像処理装置用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア１０６やＣＤ−ＲＯＭ１１３等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。
【００２６】
＜＜実施形態の機能構成＞＞
次に、本実施形態の機能構成について説明する。図３は、本実施形態の画像処理装置１０の機能ブロック図である。本実施形態の画像処理装置１０は、送受信部１１、画像取得部１２、画像補正部１３、差分画像生成部１４、無人判定部１５、代表画像決定部１６、キーフレーム画像決定部１７、表示制御部１８ａ、音声出力制御部１８ｂ、記憶・読出処理部１９、合成画像生成部２１、情報統合部２２、及び、表示部１８０を有している。これら各部は、図２に示されている各構成要素のいずれかが、ＲＯＭ１０２に記憶されているプログラムに従ったＣＰＵ１０１からの命令によって動作することで実現される機能又は手段である。また、画像処理装置１０は、図２に示されているＨＤＤ１０５によって構築される記憶部１０００を有している。
【００２７】
（画像処理装置の各機能部）
次に、画像処理装置１０の各部を詳細に説明する。画像処理装置１０の送受信部１１は、ネットワークＩ／Ｆ１０９によって実現され、通信ネットワークを介して他の端末、装置又はシステムと各種データ（情報）の送受信を行う。
【００２８】
画像取得部１２は、外部装置Ｉ／Ｆ１１５によって実現され、ケーブル等を介して撮影装置３０が撮影した画像を表す撮影画像データを取得し、取得した撮影画像データを一意に識別する画像ＩＤをその撮影画像データに付与するものである。画像ＩＤは、撮影画像データが生成された昇順に付与される。
【００２９】
画像補正部１３は、画像取得部１２で取得された撮影画像データを台形補正等によって補正するものである。
【００３０】
差分画像生成部１４は、画像補正部１３で補正された撮影画像データが表す画像から、他の拠点で撮影された画像を差し引いた画像を生成するものである。差分画像生成部１４は、輝度補正部１４ａ、差分算出部１４ｂ、輝度値決定部１４ｃによって構成される。輝度補正部１４ａは、対象画素の周辺にある画素の輝度値の平均値に対する対象画素の輝度値の比率に背景色の輝度値を掛け合わせることにより輝度平均値を算出し、さらに黄色の成分を除去することによって輝度値を補正するものである。なお、黄色の成分を除去する処理は、会議室内の照明によって、ホワイトボードの画像が黄色がかってしまうため、その影響を除去するために実施される。
【００３１】
差分算出部１４ｂは、輝度補正部１４ａが補正した輝度値から、受信画像データが表す画像の同じ位置にある画素の輝度値を減じることによって差分輝度値を算出するものである。ここで、受信画像データとは、送受信部１１が他の画像処理装置１０から通信ネットワーク５０を介して受信した画像データである。受信画像データには、それを一意に識別するための情報として画像ＩＤが付与されている。この画像ＩＤは、受信画像が生成された昇順に付与されている。
【００３２】
輝度値決定部１４ｃは、差分算出部１４ｂが算出した差分輝度値に基づいて、新たに生成する差分画像の輝度値を決定するものである。
【００３３】
無人判定部１５は、差分画像生成部１４によって生成された差分画像のうち、描画対象物２０を除くものが撮影されていない差分画像を、無人画像として決定するものである。描画対象物２０を除くものとは、たとえば、描画対象物２０に描画画像を書き込む人物等である。無人判定部１５は、輝度取得部１５ａ、差分判定部１５ｂ、輝度変化画素数判定部１５ｃによって構成される。輝度取得部１５ａは、差分画像生成部１４が生成した差分画像の各画素の輝度を取得する。差分判定部１５ｂは、輝度取得部１５ａが連続する２枚の画像についてそれぞれ取得した輝度の差分が閾値を超えているか否かを判定する。輝度変化画素数判定部１５ｃは、差分判定部１５ｂで輝度が閾値を超えているとされた画素の数が所定数以上であるか否かを判定し、所定数以上である場合には、その画像を無人画像でないとし、所定数以下である場合には、その画像を無人画像とする。
【００３４】
代表画像決定部１６は、無人判定部１５で決定された無人画像のうち、同じ描画画像２００からなる無人画像をグループ化し、そのグループに属する無人画像のうち一の無人画像を、代表画像として決定するものである。代表画像決定部１６は、同一判定部１６ａ、グループ決定部１６ｂによって構成される。同一判定部１６ａは、無人判定部１５で判定された無人画像が、直前に撮影された無人画像と同一であるか否かを判定する。ここで、直前に撮影された無人画像とは、画像ＩＤが直前のものである無人画像とする。
【００３５】
グループ決定部１６ｂは、同一判定部１６ａでの決定に基づいて、無人画像のグループＩＤを決定する。このようにして、決定されたグループＩＤが同一の無人画像のうち一の画像が代表画像とされる。
【００３６】
キーフレーム画像決定部１７は、撮影された時間に対して描画量が極大となる画像を、キーフレーム画像として決定するものである。キーフレーム画像決定部１７は、描画量算出部１７ａ、描画量判定部１７ｂ、最終決定部１７ｃによって構成される。描画量算出部１７ａは、代表画像決定部１６で決定された代表画像の描画量を算出する。ここで、描画量とは、描画領域２０１内にある各画素のうち、輝度値が所定の閾値より低い画素の数量である。描画量判定部１７ｂは、描画量算出部１７ａで算出された描画量が、直前に撮影された代表画像の描画量、及び直後に撮影された代表画像の描画量より多いか否かを判定し、多いと判定した場合には、その代表画像をキーフレーム画像とする。最終決定部１７ｃは、合成画像に対応するキーフレームフラグおよび描画量に基づいて、その合成画像がキーフレーム画像であるか否かを決定する。
【００３７】
表示制御部１８ａは、図２に示されているディスプレイＩ／Ｆ１０８によって実現され、後述する表示部１８０に対して画像を表示させるための制御を行う。音声出力制御部１８ｂは、図２に示されているスピーカーＩ／Ｆ１１６によって実現され、図示しないスピーカーに音声を出力させるための制御を行う。
【００３８】
表示部１８０は、図２に示されているディスプレイ１１７によって実現され、表示制御部１８ａの制御によって画像を表示するものである。
【００３９】
また、記憶・読出処理部１９は、図２に示すＨＤＤ１０５として実現されている記憶部１０００に各種データを記憶したり、記憶部１０００に記憶された各種データを読み出したりする。記憶部１０００には、カメラによって撮影された画像を表す画像データを記憶する撮影画像記憶部１００１、他拠点から受信した受信画像記憶部１００２がある。また、記憶部１０００には、自拠点画像管理テーブルによって構成されている自拠点画像管理ＤＢ(Ｄａｔａ Ｂａｓｅ)１００３、他拠点画像管理テーブルによって構成されている他拠点画像管理ＤＢ１００４、合成画像管理テーブルによって構成されている合成画像管理ＤＢ１００５が構築されている。
【００４０】
合成画像生成部２１は、自拠点画像管理ＤＢ１００３に記憶されている自拠点画像データと、他拠点画像管理ＤＢ１００４に記憶されている他拠点画像データとを合成するものである。
【００４１】
情報統合部２２は、自拠点画像管理ＤＢ１００３に記憶されている情報と、他拠点画像管理ＤＢ１００４に記憶されている情報に基づいて、合成画像管理ＤＢ１００５に記憶する情報を決定するものである。情報統合部２２は、合成グループ決定部２２ａ、代表画像決定部２２ｂ、キーフレーム合成画像決定部２２ｃによって構成される。
【００４２】
合成グループ決定部２２ａは、自拠点画像管理ＤＢ１００３に記憶されている無人フラグ、グループＩＤと、他拠点画像管理ＤＢ１００４に記憶されている無人フラグ、グループＩＤとに基づいて、自拠点画像データ及び他拠点画像データの合成グループＩＤを決定する。
代表画像決定部２２ｂは、同一のグループＩＤである合成画像から代表画像を決定する。キーフレーム合成画像決定部２２ｃは、自拠点画像管理ＤＢ１００３に記憶されているキーフレームフラグ、合成グループＩＤと、他拠点画像管理ＤＢ１００４に記憶されているキーフレームフラグ、合成グループＩＤとに基づいて、合成画像管理ＤＢ１００４に記憶するキーフレームフラグを決定する。
【００４３】
ここで、記憶部１０００に記憶された自拠点画像管理テーブル、他拠点画像管理テーブル、合成画像管理テーブルについて説明する。図４は、自拠点画像管理テーブルを示す概念図である。図５は、他拠点画像管理テーブルを示す概念図である。図６は、合成画像管理テーブルを示す概念図である。
【００４４】
（自拠点画像管理テーブル）
記憶部１０００には、図４に示されているような自拠点画像テーブルによって構成されている自拠点画像管理ＤＢ１００３が構築される。この自拠点画像管理テーブルでは、画像を一意に識別する画像ＩＤごとに、画像名、無人画像であるか否かを表す無人フラグ、同一の画像をグループ化したグループＩＤ、後述する他拠点画像管理テーブルで管理されている他拠点画像データとの組み合わせによって決定される合成グループＩＤ、代表画像であるか否かを表す代表フラグ、キーフレーム画像であるか否かをあらわすキーフレームフラグ、及び、描画量が対応付けられて記憶されている。例えば、図４に示されている自拠点画像管理テーブルにおいて、画像ＩＤ「１」の画像は、画像名「Ａ００００１．ｊｐｇ」、無人フラグ「ｔｒｕｅ」、グループＩＤ「１」、合成グループＩＤ「１」、代表フラグ「ｔｒｕｅ」、キーフレームフラグ「ｔｒｕｅ」、描画量「３８００」であることを表している。ここで、画像ＩＤは撮影装置によって撮影され、後述する差分画像が生成された順に昇順に付与されるものとする。具体的には、最初に生成された画像の画像ＩＤが「１」、次に生成された画像の画像ＩＤが「２」となり、以降、順に１を加えた値を画像ＩＤとする。
【００４５】
（他拠点画像管理テーブル）
記憶部１０００には、図５に示されているような他拠点画像テーブルによって構成されている他拠点画像管理ＤＢ１００４が構築される。この他拠点画像管理テーブルでは、他拠点から受信した画像を一意に識別する画像ＩＤごとに、画像の名称を表す画像名、無人画像であるか否かを表す無人フラグ、同一の画像をグループ化したグループＩＤ、自拠点画像管理テーブルで管理されている自拠点画像データとの組み合わせによって決定される合成グループＩＤ、代表画像であるか否かを表す代表フラグ、キーフレーム画像であるか否かをあらわすキーフレームフラグ、及び、描画量が対応付けられて記憶されている。例えば、図５に示されている画像データ管理テーブルにおいて、画像ＩＤ「１」の画像は、画像名「Ｂ００００１．ｊｐｇ」、無人フラグ「ｔｒｕｅ」、グループＩＤは「１」、合成グループＩＤ「１」、代表フラグ「ｔｒｕｅ」、キーフレームフラグ「ｆａｌｓｅ」、描画量「５００」であることを表している。
【００４６】
ここでは、自拠点と他拠点で交互に画像が取得されるものとし、自拠点で撮影された画像を識別する画像ＩＤを「１」、次に他拠点で撮影された画像の画像ＩＤを「１」、続いて、自拠点で撮影された画像の画像ＩＤを「２」、次に他拠点で撮影された画像の画像ＩＤを「２」とする。このようにすることによって、各拠点で撮影された順に画像ＩＤが付与されることになり、また、自拠点で撮影された画像と、その直後に他拠点で撮影された画像には同じＩＤが付与されることになる。
【００４７】
（合成画像管理テーブル）
記憶部１０００には、図６に示されているような合成画像管理テーブルによって構成されている合成画像管理ＤＢ１００５が構築される。この合成画像管理テーブルでは、合成画像を一意に識別する画像ＩＤごとに、画像名、無人画像であるか否かを表す無人フラグ、同一の画像をグループ化したグループＩＤ、代表画像であるか否かを表す代表フラグ、キーフレーム画像であるか否かをあらわすキーフラグ、及び、描画量が対応付けられて記憶されている。例えば、図６に示されている画像データ管理テーブルにおいて、画像ＩＤ「１」の画像は、画像名「ｍｅｒｇｅ００００１．ｊｐｇ」、キーフレームフラグ「ｔｒｕｅ」、描画量「３８００」であることを表している。
【００４８】
＜＜実施形態の処理・動作＞＞
図７乃至図１５を用いて、本実施形態に係る画像処理システム１における処理方法を説明する。図７は、画像処理システムの処理を表すシーケンス図である。図８は、各画像データが表す画像の例である。図９は、差分画像を生成する処理を示した処理フロー図である。図１０は、無人判定処理を示した処理フロー図である。図１１は、本実施形態に係る画像処理システムの処理によって、決定される画像を示す概念図である。図１２は、代表画像を抽出する処理で実施される無人画像をグループ化する処理を示した処理フロー図である。図１３は、キーフレーム画像を決定する処理を示した処理フロー図である。図１４は、キーフレーム画像を決定する処理を示した処理フロー図である。
【００４９】
図７を用いて、本実施形態に係る画像処理システム１の処理を説明する。撮影装置３０ａとしてのビデオカメラが描画対象物２０ａとしてのホワイトボード及びホワイトボードの前面にある光景を撮影して、画像データａを生成する（ステップＳ１）。この画像データａが表す画像ａは図８（１）に示すように、拠点Ａで描かれた描画像「あ」と、拠点Ｂで描かれ、拠点Ａのプロジェクタ４０ａによって照射されている描画像「い」を撮影した画像である。ここでの描画像「い」は拠点Ｂのカメラで撮影されたものをプロジェクタで映しているため、拠点Ｂのホワイトボードで直接見るものより、画質が劣化している。
【００５０】
次に、画像取得部１２が、画像取得部１２が、ステップＳ１で撮影装置３０ａによって生成された撮影画像データａ取得し、撮影画像データａを一意に識別する画像ＩＤを付与する（ステップＳ２）。画像ＩＤは撮影装置によって撮影された昇順に付与されるものとする。具体的には、最初に生成された画像の画像ＩＤが「１」、次に生成された画像の画像ＩＤが「２」とされ、以降、順に１を加えた値を画像ＩＤとされる。
【００５１】
次に、画像補正部１３が、ステップＳ２で画像取得部１２によって取得された画像データａを台形補正等により補正する（ステップＳ３）。
【００５２】
そして、差分画像生成部１４が、ステップＳ３で補正された画像データａが表す画像ａから、拠点Ｂの画像処理装置１０ｂによって送信された画像データｂが表す画像ｂを差し引いた差分画像（ａ−ｂ）を表す差分画像データ（ａ−ｂ）を生成する（ステップＳ４）。この処理について図９を用いて説明する。
【００５３】
まず、記憶・読出処理部１９が、ステップＳ２で取得された画像データａの画像ＩＤを検索キーとして、他拠点画像管理ＤＢ１００４に記憶されている画像データｂを読み出す（ステップＳ４１）。ここで画像データｂは、あらかじめ拠点Ｂの画像処理装置１０ｂから、描画対象物２０ｂを撮影した画像データｂが送信され（図７のステップＳ５’）たものである。拠点Ａの画像処理装置１０ａの送受信部１１が、その画像データｂを受信し（ステップＳ５’）、記憶・読出処理部１９が他拠点画像管理ＤＢ１００４に他拠点画像データとして記憶させてあるものとする（図７のステップＳ６’）。なお、ここで、拠点Ｂから送信される画像データｂは、後述する拠点Ａの画像処理装置１０ａで実施される、図７に示されるステップＳ１からステップＳ４の処理と同様の処理を経ているものである。また、ステップＳ５’、ステップＳ６’の処理は、それぞれ後述するステップＳ５、ステップＳ６と同様の処理である。つまり、画像データｂは、図８（２）に示されるように、拠点Ｂのホワイトボードに描かれた描画像「い」が描画されている画像である。
【００５４】
そして、差分算出部１４ｂは、ステップＳ３で台形補正された画像データａが表す画像ａの各画素の輝度値から、ステップＳ４１で読み出された画像データｂが表す画像ｂの同じ位置にある画素の輝度値を減じた値を差分値として算出する（ステップＳ４２）。次に、差分値が所定の閾値より大きいか否かを判定する（ステップＳ４３）。ステップＳ４３で、差分値が閾値より大きいと判定された場合には、その差分値を定数倍する等の所定の処理により増加させた値を、該当の位置の輝度値とする（ステップＳ４４）。ステップＳ４３で、差分値が閾値より小さいと判定された場合には、背景となる画素の輝度値より高い所定の値を輝度値とする（ステップＳ４５）。このようにして得られた輝度値に背景色の輝度値を加算する（ステップＳ４６）。ステップＳ４１からステップＳ４６までの処理を全ての画素に対して実施し、各画素に対して輝度値が決定された画像が差分画像（ａ−ｂ）（以降、差分画像ａ’という。）となる。差分画像ａ’は、図８（３）に示されるように、拠点Ａのホワイトボードに描かれた描画像「あ」が描画されている画像となる。これにより、劣化している描画像「い」が取り除かれ、拠点Ａのカメラでのみ撮影されているため、劣化していない描画像「あ」だけが残る画像となる。
【００５５】
このようにして生成された差分画像ａ’を表す差分画像データａ’を、送受信部１１が通信ネットワーク５０を介して拠点Ｂの画像処理装置１０ｂに対して送信する（ステップＳ５）。画像処理装置１０ｂの送受信部１１は受信した差分画像データａ’を他拠点画像データとして、画像処理装置１０ｂの他拠点画像管理ＤＢ１００４に記憶する（ステップＳ６）
一方、ステップＳ４で生成された差分画像を表す差分画像データは、画像処理装置１０ａの記憶・読出処理部１９によって、自拠点差分画像データとして自拠点画像管理ＤＢ１００３に画像ＩＤと関連付けて記憶される。
【００５６】
続いて、ステップＳ４で生成され、自拠点画像管理ＤＢ１００３に記憶されている差分画像データａ’に対して、無人判定部１５及び記憶・読出処理部１９が、ホワイトボード上に描かれた描画画像２００以外の撮影対象物が含まれるか否かを判定する無人判定処理を実施する（ステップＳ７）。無人判定処理の詳細を、図１０を用いて説明する。ステップＳ５で生成された差分画像データａ’が表す差分画像ａ’の画素ごとの輝度を、輝度取得部１５ａが取得する（ステップＳ７１）。輝度が取得されると、差分判定部１５ｂは各画像の各画素の輝度と、各画像ＩＤの直前の画像ＩＤである画像の同じ位置にある画素の輝度との差分を算出し、その差分が閾値を超えているか否か判定する（ステップＳ７２）。続いて、輝度変化画素数判定部１５ｃが、それぞれの画像に対して算出された輝度の差分が閾値を超えている画素を輝度変化画素としてその数を算出し（ステップＳ７３）、輝度変化画素の数が所定の値を超えているか判定する（ステップＳ７４）。ステップＳ７４で、輝度変化画素の数が所定の値を超えていると判定された場合、差分画像ａ’は無人でないとされ、記憶・読出処理部１９が、その差分画像ａ’に対応している無人フラグの値を「ｆａｌｓｅ」とする（ステップＳ７５）。ステップＳ７４で輝度変化画素の数が所定の値以下である場合、差分画像ａ’は無人であるとされ、記憶・読出処理部１９は、その画像に対応している無人フラグの値を「ｔｒｕｅ」とする（ステップＳ７６）。無人判定部１５及び記憶・読出処理部１９は、ステップＳ７１からステップＳ７６までの処理を、もっとも小さい画像ＩＤの差分画像を除く、全ての差分画像に対して実施する。これにより、図１１の（１）に示されるＦ１乃至Ｆ１０の差分画像から、人物等が撮影されている差分画像Ｆ２、Ｆ５、Ｆ８を除いた差分画像が、図１１の（２）に示されるように抽出されることになる。
【００５７】
他拠点画像管理ＤＢ１００５に記憶されている差分画像データｂ’に対しても、無人判定部１５及び記憶・読出処理部１９が、ホワイトボード上に描かれた描画画像２００以外の撮影対象物が含まれるか否かを判定する無人判定処理を実施する（ステップＳ７）。この無人判定処理の詳細は、上述した画像データａ’に対する処理と同様であるため、説明を省略する。
【００５８】
次に、自拠点画像管理ＤＢ１００３に管理されている無人フラグが「ｔｒｕｅ」である差分画像（以降、無人画像という。）のうち、前に生成された無人画像と変化がないものをグループ化する処理を実施する（ステップＳ８）。グループ化する処理の詳細を、図１２を用いて説明する。合成画像管理ＤＢ１００５に記憶されている無人画像が、その画像の画像ＩＤの、直前の画像ＩＤの無人画像と同一であるかを、同一判定部１６ａが判定する（ステップＳ８１）。ここで、画像が同一であるか否かを判定する方法としてはテンプレートマッチング等の技術が用いられる。また、ブロックマッチング法を用いて、描画対象物に描かれている描画像に変化はないが、描画像の位置がずれている画像を同一の画像として判定することにより、より精度の高い判定を行うことができる。ステップＳ８１で、無人画像が直前の画像ＩＤの無人画像と同一であると判定された場合には、グループ決定部１６ｂは、直前の画像ＩＤである無人画像のグループＩＤと同じグループＩＤである「１」として決定し、記憶・読出処理部１９が自拠点画像管理テーブルに、その画像に関連付けて記憶する（ステップＳ８２）。ステップＳ８１で、無人画像が直前のグループＩＤの無人画像と同一でないと判定された場合には、グループ決定部１６ｂは、判定対象の無人画像に対応するグループＩＤを、直前のグループＩＤに１を加算した「２」として決定し、この値を記憶・読出処理部１９が自拠点画像管理テーブルに記憶する（ステップＳ８３）。ステップＳ８１からステップＳ８３までの処理を、もっとも小さい画像ＩＤの無人画像を除く、全ての無人画像に対して実施する。これにより、図１１の（３）に示すように、無人画像のうち、無人画像Ｆ１のグループＩＤは「１」、無人画像Ｆ３及びＦ４のグループＩＤは「２」、無人画像Ｆ６及びＦ７のグループＩＤは「３」、無人画像Ｆ９及びＦ１０のグループＩＤは「４」となる。
【００５９】
同様にして、次に、他拠点画像管理ＤＢ１００４に管理されている無人画像のうち、前に生成された無人画像と変化がないものをグループ化する処理を実施する（ステップＳ８）。この処理の詳細は、上述した自拠点画像管理ＤＢ１００３で管理されている画像に対する処理と同様であるため、説明を省略する。
【００６０】
上述のようにして、自拠点画像管理ＤＢ１００３で管理されている自拠点差分画像データａ’、他拠点画像管理ＤＢ１００４で管理されている他拠点差分画像データｂ’のそれぞれに対応するグループＩＤが決定されると、情報統合部２２及び記憶・読出処理部１９が、自拠点差分画像データａ’、他拠点差分画像データｂ’が合成されることによって生成される合成画像データ（ａ’＋ｂ’）に対応する合成グループＩＤを決定する（ステップＳ９）。合成グループＩＤを決定する処理について、図１３を用いて説明する。図１３に示されるように、まず、記憶・読出処理部１９が、画像ＩＤが同一の自拠点差分画像データａ’、他拠点差分画像データｂ’について、関連付けられて記憶されている無人フラグを、それぞれ自拠点画像管理ＤＢ１００３、他拠点画像管理ＤＢ１００４から読み出す（ステップＳ９１）。そして、合成グループ決定部２２ａは、読み出された自拠点差分画像データａ’の無人フラグと他拠点差分画像データｂ’の無人フラグの両方とも「ｔｒｕｅ」であるか否か判定する（ステップＳ９２）。ステップＳ９２で、無人フラグのいずれかが「ｔｒｕｅ」でないと判定された場合、合成グループＩＤはＮｕｌｌとされる（ステップＳ９３）。
【００６１】
ステップＳ９２で、無人フラグが両方とも「ｔｒｕｅ」であると判定された場合、合成グループ決定部２２ａは、自拠点差分画像データａ’のグループＩＤと他拠点差分画像データｂ’のグループＩＤの組み合わせが、直前に生成された自拠点差分画像データａ’のグループＩＤと他拠点差分画像データｂ’のグループＩＤの組み合わせと同一であるか否か判定する（ステップＳ９４）。同一であると判定された場合には、合成グループＩＤは、直前の合成グループＩＤと同じ値とされ、記憶・読出処理部１９がその値を自拠点画像管理ＤＢ１００３の該当の自拠点差分画像データａ’に対応させて記憶する（ステップＳ９５）。同様に、記憶・読出処理部１９はその値を他拠点画像管理ＤＢ１００４の該当の他拠点差分画像データｂ’に対応させて記憶する（ステップＳ９５）
ステップＳ９４で同一でないと判定された場合には、合成グループＩＤは直前に生成された合成画像データの合成グループＩＤに１を加算した値とされ、記憶・読出処理部１９がその値を自拠点画像管理ＤＢ１００３、他拠点画像管理ＤＢ１００４に記憶する（ステップＳ９６）。
【００６２】
これにより、図１１の（３）に示される自拠点画像データａ’の各グループＩＤと、図１１の（４）に示される他拠点画像データｂ’の各グループＩＤを統合して、図１１の（５）に示される合成グループＩＤが決定される。
【００６３】
このようにして、合成グループ決定部２２ａが、自拠点画像管理ＤＢ１００３、他拠点画像管理ＤＢ１００４に記憶されている差分画像データａ’、差分画像データｂ’のグループＩＤを決定すると、代表画像決定部２２ｂが、同一の合成グループＩＤである画像データのうち、任意の一の画像データを代表画像データと決定する。そして、記憶・読出処理部１９が代表画像データと決定された画像データに対応する代表フラグ「ｔｒｕｅ」を自拠点画像管理ＤＢ１００３、他拠点画像管理ＤＢ１００４のそれぞれに記憶する。
【００６４】
続いて、ステップＳ９で決定された代表グループＩＤに基づいて、自拠点画像データａ’、他拠点画像データｂ’それぞれのキーフレーム画像データを決定する処理を実施する（ステップＳ１０）。図１４を用いて、キーフレーム画像データを決定する処理を説明する。
【００６５】
まず、自拠点画像管理ＤＢ１００３に記憶されている代表画像データの中からキーフレーム画像データを決定する処理を説明する。はじめに、描画量算出部１７ａが、自拠点画像管理ＤＢ１００３に記憶されている代表画像データが表す画像の描画量を算出する（ステップＳ１０１）。ここで、描画量の算出は輝度が閾値を超えている画素の数をカウントすることによって行われる。そして、描画量判定部１７ｂが、その代表画像の直前の画像ＩＤの代表画像の描画量より大きいか否かを判定する（ステップＳ１０２）。ステップＳ１０２で、代表画像の描画量が直前の画像ＩＤである代表画像の描画量より大きい場合には、描画量判定部１７ｂは、その代表画像が、直後の画像ＩＤである代表画像の描画量より大きいか否かを判定する（ステップＳ１０３）。代表画像の描画量が直後の画像ＩＤである代表画像の描画量より大きい場合には、その代表画像がキーフレーム画像とされ、記憶・読出処理部１９が、画像データ管理テーブルの対応するキーフラグ「ｔｒｕｅ」を記憶する（ステップＳ１０４）。一方、ステップＳ１０２で、代表画像の描画量が直前の画像ＩＤである代表画像の描画量以下である場合には、記憶・読出処理部１９は、画像データ管理テーブルの対応するキーフラグ「ｆａｌｓｅ」を記憶する（ステップＳ１０５）。ステップ１０３で、画像の描画量が直前の画像ＩＤである画像の描画量以下である場合には、記憶・読出処理部１９は、合成画像データ管理テーブルの対応するキーフラグ「ｆａｌｓｅ」とする（ステップＳ１０５）。ステップＳ１０１からステップＳ１０５までの処理を、もっとも小さい画像ＩＤの代表画像を除く、全ての代表画像に対して実施する。
【００６６】
同様にして、他拠点画像管理ＤＢ１００４に記憶されている代表画像についても、ステップＳ１０１からステップＳ１０５までの処理を実施して、キーフレーム画像を決定する。
【００６７】
続いて、情報統合部２２及び記憶・読出処理部１９が、ステップＳ１０で決定された自拠点画像データａ’、他拠点画像データｂ’を合成して生成される合成画像データ（ａ’＋ｂ’）がキーフレームであるか否かを決定する。（ステップＳ１１）。
【００６８】
図１５を用いて、キーフレーム合成画像を決定する処理を説明する。まず、記憶・読出処理部１９が、自拠点画像管理ＤＢ１００３、他拠点画像管理ＤＢ１００４のそれぞれから、同一の画像ＩＤの自拠点画像データおよび他拠点画像データを読み出し、キーフレーム画像決定部２２ｃが、それぞれの画像データが表す画像がキーフレーム画像であるか否かを判定する（ステップＳ１１１）。
【００６９】
ステップＳ１１１で、合成元の画像である自拠点画像と他拠点画像のいずれもキーフレーム画像でないと判定された場合、両画像から生成される合成画像はキーフレーム画像ではないとし、記憶・読出処理部１９が対応するキーフレームフラグを「ｆａｌｓｅ」とする（ステップＳ１１２）。
【００７０】
ステップＳ１１１で、自拠点画像がキーフレーム画像であると判定された場合、キーフレーム画像決定部２２ｃは、その自拠点画像のグループＩＤと、直前の合成画像のキーフレームの画像IDの自拠点の画像のグループIDが同一であるか否かを判定する（ステップＳ１１３）。ここで、これらのグループＩＤが同一でないと判定された場合、キーフレーム画像決定部２２ｃは、その自拠点画像を用いて生成される合成画像をキーフレーム画像であると決定する。そして、記憶・読出処理部１９が合成画像管理ＤＢの対応するキーフラレームフラグを「ｔｒｕｅ」とする（ステップＳ１１４）。ステップＳ１１３で、自拠点画像のグループＩＤと、直前の合成画像のキーフレームの画像IDの自拠点の画像のグループIDが同一であると判定された場合、キーフレーム合成画像決定部２２ｃはその合成画像をキーフレームフラグとせず、記憶・読出処理部１９が合成画像管理ＤＢの対応するキーフラレームフラグを「ｆａｌｓｅ」とする（ステップＳ１１２）。
【００７１】
同様にして、ステップＳ１１１で、合成元の画像である他拠点画像がキーフレーム画像であると判定された場合、キーフレーム画像決定部２２ｃは、他拠点画像のグループＩＤと、直前の画像ＩＤであるキーフレーム画像のグループＩＤが同一であるか否かを判定する（ステップＳ１１３）。ここで、これらのグループＩＤが同一でないと判定された場合、キーフレーム合成画像決定部２２ｃは、その合成画像をキーフレームフラグと決定する。そして、記憶・読出処理部１９が合成画像管理ＤＢの対応するキーフラレームフラグを「ｔｒｕｅ」とする（ステップＳ１１４）。ステップＳ１１３で、その他拠点画像のグループＩＤと、直前の画像ＩＤであるキーフレーム画像のグループＩＤが同一であると判定された場合、キーフレーム合成画像決定部２２ｃはその合成画像をキーフレームフラグとせず、記憶・読出処理部１９が合成画像管理ＤＢの対応するキーフラレームフラグを「ｆａｌｓｅ」とする（ステップＳ１１２）。
【００７２】
また、自拠点画像管理ＤＢ１００３で管理されている自拠点差分画像データａ’、他拠点画像管理ＤＢ１００４で管理されている他拠点差分画像データｂ’が生成されると、合成画像生成部２１が、自拠点差分画像データａ’と他拠点差分画像データｂ’を合成して、合成画像データ（ａ’＋ｂ’）を生成する（ステップＳ１１）。具体的には、同一の画像ＩＤの差分画像データａ’と差分画像データｂ’を合成する。また、ステップＳ１１で生成された合成画像データ（ａ’＋ｂ’）を、記憶・読出処理部１９が合成画像管理ＤＢ１００５に、画像ＩＤに対応させて記憶する。
【００７３】
＜＜実施形態の主な効果＞＞
以上説明したように、本実施形態よれば、各拠点の画像のいずれかにずれが発生した場合も、ずれが発生している旨を表す情報を用いることにより、前後の画像が別のものであるか同一のものであるかを判定することができ、キーフレーム画像を正確に抽出できることができる。
【００７４】
＜＜実施形態の補足＞＞
上述の実施形態では、拠点Ａと拠点Ｂで交互に画像が取得され、取得された順に画像ＩＤを増やしていき、同じＩＤの画像同士を合成するとしているが、それぞれの拠点でカメラによって撮影された画像を取得した時間に関する情報を対応付けて記憶し、自拠点差分画像と、その時間が近い他拠点差分画像を合成するようにしてもよい。
【００７５】
また、代表フレームを抽出する処理において、同一のグループＩＤを有する画像フレームのうち、もっとも撮影時間が早い画像フレームの代表フレームフラグを「ｔｒｕｅ」とし、それ以外の画像フレームの代表フレームフラグを「ｆａｌｓｅ」としたが、同一のグループＩＤを有する画像フレームのうち、任意の１つの画像フレームの代表フレームフラグを「ｔｒｕｅ」とし、それ以外の画像フレームの代表フレームフラグを「ｆａｌｓｅ」としてもよい。
【００７６】
また、無人判定処理の詳細において、輝度取得部１２は、画像フレームが表す画像の周辺領域２０２内の、画素ごとの輝度を取得してもよい。周辺領域２０２の前面に描画する人が存在する場合が多いため、このように周辺領域２０２の輝度を測定するだけで、人のいる画像フレームであるか否かを判定するには十分であり、このようにすることで、描画領域２０１及び周辺領域２０２の画素の輝度を測定するより、処理量が減少し、ＣＰＵの負荷の低減を図ることができる。
【００７７】
また、上述の実施形態では、画像処理装置１０ａが、拠点Ａで撮影した撮影画像が表す画像データ、拠点Ｂから受信した受信画像データに基づいて各処理を実施しているが、画像処理装置１０ｂ、通信ネットワーク５０に接続されているサーバ等の情報処理装置がそれらの処理を実施してもよい。
【００７８】
また、黒板等の黒い描画対象物２０に白いペンやチョーク等で描画画像２００を形成する場合にも適用できる。この場合、描画量とは、描画領域２０１内にある各画素のうち、輝度値が所定の閾値より高い画素の数量とする。
【符号の説明】
【００７９】
１０ 画像処理装置
１１ 送受信部
１２ 画像取得部
１３ 画像補正部
１４ 差分画像生成部
１４ａ 輝度補正部
１４ｂ 差分算出部
１４ｃ 輝度値決定部
１５ 無人判定部
１５ａ 輝度取得部
１５ｂ 差分判定部
１５ｃ 輝度変化画素数判定部
１６ 代表画像決定部
１６ａ 同一判定部
１６ｂ グループ決定部
１７ キーフレーム画像決定部
１７ａ 描画量算出部
１７ｂ 描画量判定部
１７ｃ 最終決定部
１８ａ 表示制御部
１８ｂ 音声出力制御部
１８０ 表示部
１９ 記憶・読出処理部
２１ 合成画像生成部
２２ 情報統合部
２２ａ 合成グループ決定部
２２ｂ 代表画像決定部
２２ｃ キーフレーム画像決定部
１０００ 記憶部
１００１ 撮影画像記憶部
１００２ 受信画像記憶部
１００３ 自拠点画像管理ＤＢ
１００４ 他拠点画像管理ＤＢ
１００５ 合成画像管理ＤＢ
２０ 描画対象物
２００ 描画画像
２０１ 描画領域
２０２ 周辺領域
３０ 撮影装置
４０ プロジェクタ
５０ 通信ネットワーク
【先行技術文献】
【特許文献】
【００８０】
【特許文献１】特開２００４−０８０７５０公報
【技術分野】
【０００１】
本発明は、自拠点で撮影された画像と他拠点で撮影された画像を用いて画像を処理する画像処理装置に関する。
【背景技術】
【０００２】
近年、企業や教育機関、行政機関等では、会議や講演等において、文字や数字、図形が描かれたホワイトボード等の描画対象物の画像を保存して利用する技術が知られている。たとえば、スキャナ装置および印刷装置を備え、ホワイトボードの画像を走査して印刷するホワイトボード装置や、ホワイトボードに描かれた画像をビデオカメラ等の撮影装置で撮影して取得し、会議や講演の終了後に、ホワイトボードに描かれた画像を再生する技術が知られている。
【０００３】
また、複数の拠点にそれぞれ設置されたホワイトボードに描かれた画像をビデオカメラ等の撮影装置で撮影し、会議相手の拠点のホワイトボードにそれらの描画像を照射することによって、双方の拠点の画像を同時に把握するための技術が知られている。
【０００４】
このような描画画像を照射する技術として、特許文献１には、ホワイトボードの内容の大部分の消去が始まる直前の画像をキーフレーム画像として選択することが開示されている。この技術では、ホワイトボードを撮影して得られた撮影画像のペンストロークセルの数の時間的な変化量が特定の閾値以上となったときに、ペンストロークセルの数が最大となった時点の撮影画像の画像フレームを、保存すべき描画画像が書き込まれた画像フレームであるキーフレームとして取得している。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に示される技術では、人物等の前景オブジェクトによってペンストロークの数が変動し、その変化量が所定の閾値を超えた場合には、本来キーフレームではない画像フレームをキーフレームとして取得してしまうという問題があった。
【課題を解決するための手段】
【０００６】
上記の課題を解決するため、請求項１にかかる発明は、他の画像処理装置と情報を送受信する画像処理装置であって、他の画像処理装置から受信画像データを受信する受信画像データ受信手段と、前記受信画像データ受信手段で受信された前記受信画像データが表す画像の描画量が時間に対して極大であるか否かを表す第一のキーフレーム情報を決定する第一キーフレーム情報決定手段と、自拠点で描画された画像を表す自拠点画像データを取得する自拠点画像データ取得手段と、前記自拠点画像データ取得手段によって取得された前記自拠点画像データが表す画像の描画量時間に対して極大であるか否かを示す第二のキーフレーム情報を決定する第二キーフレーム情報決定手段と、前記自拠点画像データ取得手段によって取得された前記自拠点画像データと前記受信画像データ受信手段によって受信された前記受信画像データとを用いて生成される合成画像データが表す合成画像の描画量が時間に対して極大であるか否かを表す合成画像キーフレーム情報を、第一キーフレーム情報決定手段によって決定された前記第一のキーフレーム情報、及び第二キーフレーム情報決定手段によって決定された前記第二のキーフレーム情報に基づいて決定する合成画像キーフレーム情報決定手段と、を有することを特徴とする。
【０００７】
また、請求項２にかかる発明は、請求項１に記載の画像処理装置であって、前記自拠点画像データ取得手段は、撮影された画像を表す撮影画像データを取得する撮影画像データ取得手段と、前記撮影画像データ取得手段によって取得された前記撮影画像データが表す撮影画像から、前記受信画像データ受信手段によって受信された前記受信画像データが表す受信画像を除去した差分画像を表す差分画像データを自拠点画像データとして生成する差分画像データ生成手段と、を有することを特徴とする。
【０００８】
また、請求項３にかかる発明は、請求項１または２に記載の画像処理装置であって、前記キーフレーム合成画像データ抽出手段は、前記第一のキーフレーム情報または前記第二のキーフレーム情報に基づいて決定された合成画像キーフレーム情報に対応する第一の画像のうち、直前に前記第一のキーフレーム情報または前記第二のキーフレーム情報に基づいて決定された合成画像キーフレーム情報にかかる第二の画像を比較し、前記第一の画像が前記第二の画像と同一でない場合、前記第一の画像を表す画像データをキーフレーム合成画像データとして抽出し、前記第一の画像が前記第二の画像と同一である場合、前記第一の画像を表す画像データをキーフレーム合成画像データとしないことを特徴とする。
【０００９】
また、請求項４にかかる発明は、請求項１乃至３のいずれか一項に記載の画像処理装置であって、前記差分画像データ生成手段によって生成された前記差分画像データと前記受信画像データ受信手段によって受信された前記受信画像データとを用いて合成画像データを生成する合成画像データ生成手段を有することを特徴とする。
【００１０】
また、請求項５にかかる発明は、他の画像処理装置と情報を送受信する画像処理装置が実行する画像処理プログラムであって、他の画像処理装置から受信画像データを受信する受信画像データ受信工程と、前記受信画像データ受信工程で受信された前記受信画像データが表す画像の描画量が時間に対して極大であるか否かを表す第一のキーフレーム情報を決定する第一キーフレーム情報決定工程と、自拠点で描画された画像を表す自拠点画像データを取得する自拠点画像データ取得工程と、前記自拠点画像データ取得工程によって取得された前記自拠点画像データが表す画像の描画量時間に対して極大であるか否かを示す第二のキーフレーム情報を決定する第二キーフレーム情報決定工程と、前記自拠点画像データ取得工程によって取得された前記自拠点画像データと前記受信画像データ受信工程によって受信された前記受信画像データとを用いて生成される合成画像データが表す合成画像の描画量が時間に対して極大であるか否かを表す合成画像キーフレーム情報を、第一キーフレーム情報決定工程によって決定された前記第一のキーフレーム情報、及び第二キーフレーム情報決定工程によって決定された前記第二のキーフレーム情報に基づいて決定する合成画像キーフレーム情報決定工程と、を前記画像処理装置に実行させることを特徴とする。
【００１１】
また、請求項６にかかる発明は、請求項５に記載の画像処理プログラムであって、前記自拠点画像データ取得工程は、撮影された画像を表す撮影画像データを取得する撮影画像データ取得工程と、前記撮影画像データ取得工程によって取得された前記撮影画像データが表す撮影画像から、前記受信画像データ受信工程によって受信された前記受信画像データが表す受信画像を除去した差分画像を表す差分画像データを自拠点画像データとして生成する差分画像データ生成工程と、を有することを特徴とする。
【００１２】
また、請求項７にかかる発明は、請求項５または６に記載の画像処理プログラムであって、前記キーフレーム合成画像データ抽出工程は、前記第一のキーフレーム情報または前記第二のキーフレーム情報に基づいて決定された合成画像キーフレーム情報に対応する第一の画像のうち、直前に前記第一のキーフレーム情報または前記第二のキーフレーム情報に基づいて決定された合成画像キーフレーム情報にかかる第二の画像を比較し、前記第一の画像が前記第二の画像と同一でない場合、前記第一の画像を表す画像データをキーフレーム合成画像データとして抽出し、前記第一の画像が前記第二の画像と同一である場合、前記第一の画像を表す画像データをキーフレーム合成画像データとしないことを特徴とする。
【００１３】
また、請求項８にかかる発明は、請求項５乃至７のいずれか一項に記載の画像処理プログラムであって、前記差分画像データ生成工程によって生成された前記差分画像データと前記受信画像データ受信工程によって受信された前記受信画像データとを用いて合成画像データを生成する合成画像データ生成工程を有することを特徴とする。
【発明の効果】
【００１４】
以上説明したように、本発明によれば、描画対象物以外のものを含まない画像を抽出し、それらの画像からキーフレーム画像を抽出することによって、本来キーフレーム画像ではない画像を取得してしまうことを防ぐことが可能となる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態に係る画像処理システムの概略図である。
【図２】本発明の実施形態に係る画像処理装置のハードウェア構成図である。
【図３】本発明の実施形態に係る画像処理装置の機能ブロック図である。
【図４】自拠点画像管理テーブルを示す概念図である。
【図５】他拠点画像管理テーブルを示す概念図である。
【図６】合成画像管理テーブルを示す概念図である
【図７】画像処理システムの処理を表すシーケンス図である。
【図８】各画像データが表す画像の例である。
【図９】差分画像を生成する処理を示した処理フロー図である。
【図１０】無人判定処理を示した処理フロー図である。
【図１１】本実施形態に係る画像処理システムの処理によって、決定される画像を示す概念図である。
【図１２】代表画像を抽出する処理で実施される無人画像をグループ化する処理を示した処理フロー図である。
【図１３】合成グループＩＤを決定する処理を示した処理フロー図である。
【図１４】キーフレーム画像を決定する処理を示した処理フロー図である。
【図１５】キーフレーム画像を決定する処理を示した処理フロー図である。
【発明を実施するための形態】
【００１６】
＜＜実施形態の全体構成＞＞
以下、図１乃至図１５を用いて、本発明の一実施形態について説明する。図１は、本発明の一実施形態に係る画像処理システムの概略図であり、まずは図１を用いて、本実施形態の概略を説明する。
【００１７】
図１に示す画像処理システム１は複数の画像処理装置（１０ａ、１０ｂ）、各画像処理装置（１０ａ、１０ｂ）の画像を照射する描画対象物（２０ａ、２０ｂ）、撮影装置（３０ａ、３０ｂ）、プロジェクタ（４０ａ、４０ｂ）、通信ネットワーク５０によって構築されている。なお、本実施形態では、画像処理装置（１０ａ、１０ｂ）のうち任意の画像処理装置を示す場合には「画像処理装置１０」といい、描画対象物（２０ａ、２０ｂ）のうち任意の描画対象物を示す場合には「描画対象物２０」といい、撮影装置（３０ａ、３０ｂ）のうち任意の撮影装置を示す場合には「撮影装置３０」といい、プロジェクタ（４０ａ、４０ｂ）のうち任意のプロジェクタを示す場合には「プロジェクタ４０」という。
【００１８】
画像処理装置１０は、撮影装置３０及びプロジェクタ４０とＵＳＢケーブル等により接続され、撮影装置３０が撮影した画像を記録し、通信ネットワーク５０を経由して、他の画像処理装置１０に送信するものである。
【００１９】
また、描画対象物２０ａは、ユーザが文字や図形等の描画画像２００ａを描画するホワイトボードや黒板、紙等の物品である。さらに、描画対象物２０ａには、プロジェクタ４０ａが照射する画像が映される。ここで、描画対象物２０ａのうちユーザが描画する領域を描画領域２０１ａ、その描画領域２０１ａの周辺部を周辺領域２０２ａとする。撮影装置３０ａは、描画画像２００ａを含む描画領域２０１ａ、周辺領域２０２ａとそれらの前面にある対象物を撮影して撮影画像を生成するカメラ等の装置である。プロジェクタ４０ａは、画像処理装置１０ａが記憶している画像を描画対象物２０ａに照射するものである。
【００２０】
同様に、描画対象物２０ｂは、ユーザが文字や図形等の描画画像２００ｂを描画するホワイトボードや黒板、紙等の物品である。されに、描画対象物２０ｂには、プロジェクタ４０ｂが照射する画像が映される。また、ここで、描画対象物２０ｂのうちユーザが描画する領域を描画領域２０１ｂ、その描画領域２０１ｂの周辺部を周辺領域２０２ｂとする。撮影装置３０ｂは、描画画像２００ａを含む描画領域２０１ｂ、周辺領域２０２ｂとそれらの前面にある対象物を撮影して撮影画像を生成するカメラ等の装置である。プロジェクタ４０ｂは、画像処理装置１０ｂが記憶している画像を描画対象物２０ｂに照射するものである。
【００２１】
なお、本実施形態では、描画画像（２００ａ、２００ｂ）のうち任意の描画対象物を示す場合には「描画領域２００」といい、描画領域（２０１ａ、２０１ｂ）のうち任意の描画対象物を示す場合には「描画領域２０１」といい、周辺領域（２０２ａ、２０２ｂ）のうち任意の周辺領域を示す場合には「周辺領域２０２」という。
【００２２】
また、通信ネットワーク５０は、画像処理装置１０ａと画像処理装置１０ｂにて、相互に各種データを送受信するためのものである。
【００２３】
＜＜実施形態のハードウェア構成＞＞
次に、本実施形態のハードウェア構成を説明する。
【００２４】
図２は、本発明の一実施形態に係る画像処理装置１０のハードウェア構成図である。画像処理装置１０は、画像処理装置１０全体の動作を制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１、画像処理装置用プログラムを記憶したＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２、ＣＰＵ１０１のワークエリアとして使用されるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３、各種データを記憶するＨＤ(Ｈａｒｄ Ｄｉｓｋ)１０４、ＣＰＵ１０１の制御にしたがってＨＤ１０４に対する各種データの読み出し又は書込みを制御するＨＤＤ(Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ)１０５、フラッシュメモリ等の記録メディア１０６に対するデータの読み出し又は書込み（記憶）を制御するメディアドライブ１０７、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するためのディスプレイＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１０８、通信ネットワークを利用してデータ伝送をするためのネットワークＩ／Ｆ１０９、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード１１１、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス１１２、着脱可能な記録媒体の一例としてのＣＤ−ＲＯＭ(Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ)１１３に対するデータの読み出し又は書込みを制御するＣＤ−ＲＯＭドライブ１１４、外部の装置と情報を送受信する外部装置Ｉ／Ｆ１１５、音声データに基づいて音声を出力するためのスピーカーＩ／Ｆ１１６、ディスプレイ１１７及び、上記各構成要素を電気的に接続するためのアドレスバスやデータバス等のバスライン１１０を備えている。
【００２５】
なお、上記画像処理装置用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア１０６やＣＤ−ＲＯＭ１１３等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。
【００２６】
＜＜実施形態の機能構成＞＞
次に、本実施形態の機能構成について説明する。図３は、本実施形態の画像処理装置１０の機能ブロック図である。本実施形態の画像処理装置１０は、送受信部１１、画像取得部１２、画像補正部１３、差分画像生成部１４、無人判定部１５、代表画像決定部１６、キーフレーム画像決定部１７、表示制御部１８ａ、音声出力制御部１８ｂ、記憶・読出処理部１９、合成画像生成部２１、情報統合部２２、及び、表示部１８０を有している。これら各部は、図２に示されている各構成要素のいずれかが、ＲＯＭ１０２に記憶されているプログラムに従ったＣＰＵ１０１からの命令によって動作することで実現される機能又は手段である。また、画像処理装置１０は、図２に示されているＨＤＤ１０５によって構築される記憶部１０００を有している。
【００２７】
（画像処理装置の各機能部）
次に、画像処理装置１０の各部を詳細に説明する。画像処理装置１０の送受信部１１は、ネットワークＩ／Ｆ１０９によって実現され、通信ネットワークを介して他の端末、装置又はシステムと各種データ（情報）の送受信を行う。
【００２８】
画像取得部１２は、外部装置Ｉ／Ｆ１１５によって実現され、ケーブル等を介して撮影装置３０が撮影した画像を表す撮影画像データを取得し、取得した撮影画像データを一意に識別する画像ＩＤをその撮影画像データに付与するものである。画像ＩＤは、撮影画像データが生成された昇順に付与される。
【００２９】
画像補正部１３は、画像取得部１２で取得された撮影画像データを台形補正等によって補正するものである。
【００３０】
差分画像生成部１４は、画像補正部１３で補正された撮影画像データが表す画像から、他の拠点で撮影された画像を差し引いた画像を生成するものである。差分画像生成部１４は、輝度補正部１４ａ、差分算出部１４ｂ、輝度値決定部１４ｃによって構成される。輝度補正部１４ａは、対象画素の周辺にある画素の輝度値の平均値に対する対象画素の輝度値の比率に背景色の輝度値を掛け合わせることにより輝度平均値を算出し、さらに黄色の成分を除去することによって輝度値を補正するものである。なお、黄色の成分を除去する処理は、会議室内の照明によって、ホワイトボードの画像が黄色がかってしまうため、その影響を除去するために実施される。
【００３１】
差分算出部１４ｂは、輝度補正部１４ａが補正した輝度値から、受信画像データが表す画像の同じ位置にある画素の輝度値を減じることによって差分輝度値を算出するものである。ここで、受信画像データとは、送受信部１１が他の画像処理装置１０から通信ネットワーク５０を介して受信した画像データである。受信画像データには、それを一意に識別するための情報として画像ＩＤが付与されている。この画像ＩＤは、受信画像が生成された昇順に付与されている。
【００３２】
輝度値決定部１４ｃは、差分算出部１４ｂが算出した差分輝度値に基づいて、新たに生成する差分画像の輝度値を決定するものである。
【００３３】
無人判定部１５は、差分画像生成部１４によって生成された差分画像のうち、描画対象物２０を除くものが撮影されていない差分画像を、無人画像として決定するものである。描画対象物２０を除くものとは、たとえば、描画対象物２０に描画画像を書き込む人物等である。無人判定部１５は、輝度取得部１５ａ、差分判定部１５ｂ、輝度変化画素数判定部１５ｃによって構成される。輝度取得部１５ａは、差分画像生成部１４が生成した差分画像の各画素の輝度を取得する。差分判定部１５ｂは、輝度取得部１５ａが連続する２枚の画像についてそれぞれ取得した輝度の差分が閾値を超えているか否かを判定する。輝度変化画素数判定部１５ｃは、差分判定部１５ｂで輝度が閾値を超えているとされた画素の数が所定数以上であるか否かを判定し、所定数以上である場合には、その画像を無人画像でないとし、所定数以下である場合には、その画像を無人画像とする。
【００３４】
代表画像決定部１６は、無人判定部１５で決定された無人画像のうち、同じ描画画像２００からなる無人画像をグループ化し、そのグループに属する無人画像のうち一の無人画像を、代表画像として決定するものである。代表画像決定部１６は、同一判定部１６ａ、グループ決定部１６ｂによって構成される。同一判定部１６ａは、無人判定部１５で判定された無人画像が、直前に撮影された無人画像と同一であるか否かを判定する。ここで、直前に撮影された無人画像とは、画像ＩＤが直前のものである無人画像とする。
【００３５】
グループ決定部１６ｂは、同一判定部１６ａでの決定に基づいて、無人画像のグループＩＤを決定する。このようにして、決定されたグループＩＤが同一の無人画像のうち一の画像が代表画像とされる。
【００３６】
キーフレーム画像決定部１７は、撮影された時間に対して描画量が極大となる画像を、キーフレーム画像として決定するものである。キーフレーム画像決定部１７は、描画量算出部１７ａ、描画量判定部１７ｂ、最終決定部１７ｃによって構成される。描画量算出部１７ａは、代表画像決定部１６で決定された代表画像の描画量を算出する。ここで、描画量とは、描画領域２０１内にある各画素のうち、輝度値が所定の閾値より低い画素の数量である。描画量判定部１７ｂは、描画量算出部１７ａで算出された描画量が、直前に撮影された代表画像の描画量、及び直後に撮影された代表画像の描画量より多いか否かを判定し、多いと判定した場合には、その代表画像をキーフレーム画像とする。最終決定部１７ｃは、合成画像に対応するキーフレームフラグおよび描画量に基づいて、その合成画像がキーフレーム画像であるか否かを決定する。
【００３７】
表示制御部１８ａは、図２に示されているディスプレイＩ／Ｆ１０８によって実現され、後述する表示部１８０に対して画像を表示させるための制御を行う。音声出力制御部１８ｂは、図２に示されているスピーカーＩ／Ｆ１１６によって実現され、図示しないスピーカーに音声を出力させるための制御を行う。
【００３８】
表示部１８０は、図２に示されているディスプレイ１１７によって実現され、表示制御部１８ａの制御によって画像を表示するものである。
【００３９】
また、記憶・読出処理部１９は、図２に示すＨＤＤ１０５として実現されている記憶部１０００に各種データを記憶したり、記憶部１０００に記憶された各種データを読み出したりする。記憶部１０００には、カメラによって撮影された画像を表す画像データを記憶する撮影画像記憶部１００１、他拠点から受信した受信画像記憶部１００２がある。また、記憶部１０００には、自拠点画像管理テーブルによって構成されている自拠点画像管理ＤＢ(Ｄａｔａ Ｂａｓｅ)１００３、他拠点画像管理テーブルによって構成されている他拠点画像管理ＤＢ１００４、合成画像管理テーブルによって構成されている合成画像管理ＤＢ１００５が構築されている。
【００４０】
合成画像生成部２１は、自拠点画像管理ＤＢ１００３に記憶されている自拠点画像データと、他拠点画像管理ＤＢ１００４に記憶されている他拠点画像データとを合成するものである。
【００４１】
情報統合部２２は、自拠点画像管理ＤＢ１００３に記憶されている情報と、他拠点画像管理ＤＢ１００４に記憶されている情報に基づいて、合成画像管理ＤＢ１００５に記憶する情報を決定するものである。情報統合部２２は、合成グループ決定部２２ａ、代表画像決定部２２ｂ、キーフレーム合成画像決定部２２ｃによって構成される。
【００４２】
合成グループ決定部２２ａは、自拠点画像管理ＤＢ１００３に記憶されている無人フラグ、グループＩＤと、他拠点画像管理ＤＢ１００４に記憶されている無人フラグ、グループＩＤとに基づいて、自拠点画像データ及び他拠点画像データの合成グループＩＤを決定する。
代表画像決定部２２ｂは、同一のグループＩＤである合成画像から代表画像を決定する。キーフレーム合成画像決定部２２ｃは、自拠点画像管理ＤＢ１００３に記憶されているキーフレームフラグ、合成グループＩＤと、他拠点画像管理ＤＢ１００４に記憶されているキーフレームフラグ、合成グループＩＤとに基づいて、合成画像管理ＤＢ１００４に記憶するキーフレームフラグを決定する。
【００４３】
ここで、記憶部１０００に記憶された自拠点画像管理テーブル、他拠点画像管理テーブル、合成画像管理テーブルについて説明する。図４は、自拠点画像管理テーブルを示す概念図である。図５は、他拠点画像管理テーブルを示す概念図である。図６は、合成画像管理テーブルを示す概念図である。
【００４４】
（自拠点画像管理テーブル）
記憶部１０００には、図４に示されているような自拠点画像テーブルによって構成されている自拠点画像管理ＤＢ１００３が構築される。この自拠点画像管理テーブルでは、画像を一意に識別する画像ＩＤごとに、画像名、無人画像であるか否かを表す無人フラグ、同一の画像をグループ化したグループＩＤ、後述する他拠点画像管理テーブルで管理されている他拠点画像データとの組み合わせによって決定される合成グループＩＤ、代表画像であるか否かを表す代表フラグ、キーフレーム画像であるか否かをあらわすキーフレームフラグ、及び、描画量が対応付けられて記憶されている。例えば、図４に示されている自拠点画像管理テーブルにおいて、画像ＩＤ「１」の画像は、画像名「Ａ００００１．ｊｐｇ」、無人フラグ「ｔｒｕｅ」、グループＩＤ「１」、合成グループＩＤ「１」、代表フラグ「ｔｒｕｅ」、キーフレームフラグ「ｔｒｕｅ」、描画量「３８００」であることを表している。ここで、画像ＩＤは撮影装置によって撮影され、後述する差分画像が生成された順に昇順に付与されるものとする。具体的には、最初に生成された画像の画像ＩＤが「１」、次に生成された画像の画像ＩＤが「２」となり、以降、順に１を加えた値を画像ＩＤとする。
【００４５】
（他拠点画像管理テーブル）
記憶部１０００には、図５に示されているような他拠点画像テーブルによって構成されている他拠点画像管理ＤＢ１００４が構築される。この他拠点画像管理テーブルでは、他拠点から受信した画像を一意に識別する画像ＩＤごとに、画像の名称を表す画像名、無人画像であるか否かを表す無人フラグ、同一の画像をグループ化したグループＩＤ、自拠点画像管理テーブルで管理されている自拠点画像データとの組み合わせによって決定される合成グループＩＤ、代表画像であるか否かを表す代表フラグ、キーフレーム画像であるか否かをあらわすキーフレームフラグ、及び、描画量が対応付けられて記憶されている。例えば、図５に示されている画像データ管理テーブルにおいて、画像ＩＤ「１」の画像は、画像名「Ｂ００００１．ｊｐｇ」、無人フラグ「ｔｒｕｅ」、グループＩＤは「１」、合成グループＩＤ「１」、代表フラグ「ｔｒｕｅ」、キーフレームフラグ「ｆａｌｓｅ」、描画量「５００」であることを表している。
【００４６】
ここでは、自拠点と他拠点で交互に画像が取得されるものとし、自拠点で撮影された画像を識別する画像ＩＤを「１」、次に他拠点で撮影された画像の画像ＩＤを「１」、続いて、自拠点で撮影された画像の画像ＩＤを「２」、次に他拠点で撮影された画像の画像ＩＤを「２」とする。このようにすることによって、各拠点で撮影された順に画像ＩＤが付与されることになり、また、自拠点で撮影された画像と、その直後に他拠点で撮影された画像には同じＩＤが付与されることになる。
【００４７】
（合成画像管理テーブル）
記憶部１０００には、図６に示されているような合成画像管理テーブルによって構成されている合成画像管理ＤＢ１００５が構築される。この合成画像管理テーブルでは、合成画像を一意に識別する画像ＩＤごとに、画像名、無人画像であるか否かを表す無人フラグ、同一の画像をグループ化したグループＩＤ、代表画像であるか否かを表す代表フラグ、キーフレーム画像であるか否かをあらわすキーフラグ、及び、描画量が対応付けられて記憶されている。例えば、図６に示されている画像データ管理テーブルにおいて、画像ＩＤ「１」の画像は、画像名「ｍｅｒｇｅ００００１．ｊｐｇ」、キーフレームフラグ「ｔｒｕｅ」、描画量「３８００」であることを表している。
【００４８】
＜＜実施形態の処理・動作＞＞
図７乃至図１５を用いて、本実施形態に係る画像処理システム１における処理方法を説明する。図７は、画像処理システムの処理を表すシーケンス図である。図８は、各画像データが表す画像の例である。図９は、差分画像を生成する処理を示した処理フロー図である。図１０は、無人判定処理を示した処理フロー図である。図１１は、本実施形態に係る画像処理システムの処理によって、決定される画像を示す概念図である。図１２は、代表画像を抽出する処理で実施される無人画像をグループ化する処理を示した処理フロー図である。図１３は、キーフレーム画像を決定する処理を示した処理フロー図である。図１４は、キーフレーム画像を決定する処理を示した処理フロー図である。
【００４９】
図７を用いて、本実施形態に係る画像処理システム１の処理を説明する。撮影装置３０ａとしてのビデオカメラが描画対象物２０ａとしてのホワイトボード及びホワイトボードの前面にある光景を撮影して、画像データａを生成する（ステップＳ１）。この画像データａが表す画像ａは図８（１）に示すように、拠点Ａで描かれた描画像「あ」と、拠点Ｂで描かれ、拠点Ａのプロジェクタ４０ａによって照射されている描画像「い」を撮影した画像である。ここでの描画像「い」は拠点Ｂのカメラで撮影されたものをプロジェクタで映しているため、拠点Ｂのホワイトボードで直接見るものより、画質が劣化している。
【００５０】
次に、画像取得部１２が、画像取得部１２が、ステップＳ１で撮影装置３０ａによって生成された撮影画像データａ取得し、撮影画像データａを一意に識別する画像ＩＤを付与する（ステップＳ２）。画像ＩＤは撮影装置によって撮影された昇順に付与されるものとする。具体的には、最初に生成された画像の画像ＩＤが「１」、次に生成された画像の画像ＩＤが「２」とされ、以降、順に１を加えた値を画像ＩＤとされる。
【００５１】
次に、画像補正部１３が、ステップＳ２で画像取得部１２によって取得された画像データａを台形補正等により補正する（ステップＳ３）。
【００５２】
そして、差分画像生成部１４が、ステップＳ３で補正された画像データａが表す画像ａから、拠点Ｂの画像処理装置１０ｂによって送信された画像データｂが表す画像ｂを差し引いた差分画像（ａ−ｂ）を表す差分画像データ（ａ−ｂ）を生成する（ステップＳ４）。この処理について図９を用いて説明する。
【００５３】
まず、記憶・読出処理部１９が、ステップＳ２で取得された画像データａの画像ＩＤを検索キーとして、他拠点画像管理ＤＢ１００４に記憶されている画像データｂを読み出す（ステップＳ４１）。ここで画像データｂは、あらかじめ拠点Ｂの画像処理装置１０ｂから、描画対象物２０ｂを撮影した画像データｂが送信され（図７のステップＳ５’）たものである。拠点Ａの画像処理装置１０ａの送受信部１１が、その画像データｂを受信し（ステップＳ５’）、記憶・読出処理部１９が他拠点画像管理ＤＢ１００４に他拠点画像データとして記憶させてあるものとする（図７のステップＳ６’）。なお、ここで、拠点Ｂから送信される画像データｂは、後述する拠点Ａの画像処理装置１０ａで実施される、図７に示されるステップＳ１からステップＳ４の処理と同様の処理を経ているものである。また、ステップＳ５’、ステップＳ６’の処理は、それぞれ後述するステップＳ５、ステップＳ６と同様の処理である。つまり、画像データｂは、図８（２）に示されるように、拠点Ｂのホワイトボードに描かれた描画像「い」が描画されている画像である。
【００５４】
そして、差分算出部１４ｂは、ステップＳ３で台形補正された画像データａが表す画像ａの各画素の輝度値から、ステップＳ４１で読み出された画像データｂが表す画像ｂの同じ位置にある画素の輝度値を減じた値を差分値として算出する（ステップＳ４２）。次に、差分値が所定の閾値より大きいか否かを判定する（ステップＳ４３）。ステップＳ４３で、差分値が閾値より大きいと判定された場合には、その差分値を定数倍する等の所定の処理により増加させた値を、該当の位置の輝度値とする（ステップＳ４４）。ステップＳ４３で、差分値が閾値より小さいと判定された場合には、背景となる画素の輝度値より高い所定の値を輝度値とする（ステップＳ４５）。このようにして得られた輝度値に背景色の輝度値を加算する（ステップＳ４６）。ステップＳ４１からステップＳ４６までの処理を全ての画素に対して実施し、各画素に対して輝度値が決定された画像が差分画像（ａ−ｂ）（以降、差分画像ａ’という。）となる。差分画像ａ’は、図８（３）に示されるように、拠点Ａのホワイトボードに描かれた描画像「あ」が描画されている画像となる。これにより、劣化している描画像「い」が取り除かれ、拠点Ａのカメラでのみ撮影されているため、劣化していない描画像「あ」だけが残る画像となる。
【００５５】
このようにして生成された差分画像ａ’を表す差分画像データａ’を、送受信部１１が通信ネットワーク５０を介して拠点Ｂの画像処理装置１０ｂに対して送信する（ステップＳ５）。画像処理装置１０ｂの送受信部１１は受信した差分画像データａ’を他拠点画像データとして、画像処理装置１０ｂの他拠点画像管理ＤＢ１００４に記憶する（ステップＳ６）
一方、ステップＳ４で生成された差分画像を表す差分画像データは、画像処理装置１０ａの記憶・読出処理部１９によって、自拠点差分画像データとして自拠点画像管理ＤＢ１００３に画像ＩＤと関連付けて記憶される。
【００５６】
続いて、ステップＳ４で生成され、自拠点画像管理ＤＢ１００３に記憶されている差分画像データａ’に対して、無人判定部１５及び記憶・読出処理部１９が、ホワイトボード上に描かれた描画画像２００以外の撮影対象物が含まれるか否かを判定する無人判定処理を実施する（ステップＳ７）。無人判定処理の詳細を、図１０を用いて説明する。ステップＳ５で生成された差分画像データａ’が表す差分画像ａ’の画素ごとの輝度を、輝度取得部１５ａが取得する（ステップＳ７１）。輝度が取得されると、差分判定部１５ｂは各画像の各画素の輝度と、各画像ＩＤの直前の画像ＩＤである画像の同じ位置にある画素の輝度との差分を算出し、その差分が閾値を超えているか否か判定する（ステップＳ７２）。続いて、輝度変化画素数判定部１５ｃが、それぞれの画像に対して算出された輝度の差分が閾値を超えている画素を輝度変化画素としてその数を算出し（ステップＳ７３）、輝度変化画素の数が所定の値を超えているか判定する（ステップＳ７４）。ステップＳ７４で、輝度変化画素の数が所定の値を超えていると判定された場合、差分画像ａ’は無人でないとされ、記憶・読出処理部１９が、その差分画像ａ’に対応している無人フラグの値を「ｆａｌｓｅ」とする（ステップＳ７５）。ステップＳ７４で輝度変化画素の数が所定の値以下である場合、差分画像ａ’は無人であるとされ、記憶・読出処理部１９は、その画像に対応している無人フラグの値を「ｔｒｕｅ」とする（ステップＳ７６）。無人判定部１５及び記憶・読出処理部１９は、ステップＳ７１からステップＳ７６までの処理を、もっとも小さい画像ＩＤの差分画像を除く、全ての差分画像に対して実施する。これにより、図１１の（１）に示されるＦ１乃至Ｆ１０の差分画像から、人物等が撮影されている差分画像Ｆ２、Ｆ５、Ｆ８を除いた差分画像が、図１１の（２）に示されるように抽出されることになる。
【００５７】
他拠点画像管理ＤＢ１００５に記憶されている差分画像データｂ’に対しても、無人判定部１５及び記憶・読出処理部１９が、ホワイトボード上に描かれた描画画像２００以外の撮影対象物が含まれるか否かを判定する無人判定処理を実施する（ステップＳ７）。この無人判定処理の詳細は、上述した画像データａ’に対する処理と同様であるため、説明を省略する。
【００５８】
次に、自拠点画像管理ＤＢ１００３に管理されている無人フラグが「ｔｒｕｅ」である差分画像（以降、無人画像という。）のうち、前に生成された無人画像と変化がないものをグループ化する処理を実施する（ステップＳ８）。グループ化する処理の詳細を、図１２を用いて説明する。合成画像管理ＤＢ１００５に記憶されている無人画像が、その画像の画像ＩＤの、直前の画像ＩＤの無人画像と同一であるかを、同一判定部１６ａが判定する（ステップＳ８１）。ここで、画像が同一であるか否かを判定する方法としてはテンプレートマッチング等の技術が用いられる。また、ブロックマッチング法を用いて、描画対象物に描かれている描画像に変化はないが、描画像の位置がずれている画像を同一の画像として判定することにより、より精度の高い判定を行うことができる。ステップＳ８１で、無人画像が直前の画像ＩＤの無人画像と同一であると判定された場合には、グループ決定部１６ｂは、直前の画像ＩＤである無人画像のグループＩＤと同じグループＩＤである「１」として決定し、記憶・読出処理部１９が自拠点画像管理テーブルに、その画像に関連付けて記憶する（ステップＳ８２）。ステップＳ８１で、無人画像が直前のグループＩＤの無人画像と同一でないと判定された場合には、グループ決定部１６ｂは、判定対象の無人画像に対応するグループＩＤを、直前のグループＩＤに１を加算した「２」として決定し、この値を記憶・読出処理部１９が自拠点画像管理テーブルに記憶する（ステップＳ８３）。ステップＳ８１からステップＳ８３までの処理を、もっとも小さい画像ＩＤの無人画像を除く、全ての無人画像に対して実施する。これにより、図１１の（３）に示すように、無人画像のうち、無人画像Ｆ１のグループＩＤは「１」、無人画像Ｆ３及びＦ４のグループＩＤは「２」、無人画像Ｆ６及びＦ７のグループＩＤは「３」、無人画像Ｆ９及びＦ１０のグループＩＤは「４」となる。
【００５９】
同様にして、次に、他拠点画像管理ＤＢ１００４に管理されている無人画像のうち、前に生成された無人画像と変化がないものをグループ化する処理を実施する（ステップＳ８）。この処理の詳細は、上述した自拠点画像管理ＤＢ１００３で管理されている画像に対する処理と同様であるため、説明を省略する。
【００６０】
上述のようにして、自拠点画像管理ＤＢ１００３で管理されている自拠点差分画像データａ’、他拠点画像管理ＤＢ１００４で管理されている他拠点差分画像データｂ’のそれぞれに対応するグループＩＤが決定されると、情報統合部２２及び記憶・読出処理部１９が、自拠点差分画像データａ’、他拠点差分画像データｂ’が合成されることによって生成される合成画像データ（ａ’＋ｂ’）に対応する合成グループＩＤを決定する（ステップＳ９）。合成グループＩＤを決定する処理について、図１３を用いて説明する。図１３に示されるように、まず、記憶・読出処理部１９が、画像ＩＤが同一の自拠点差分画像データａ’、他拠点差分画像データｂ’について、関連付けられて記憶されている無人フラグを、それぞれ自拠点画像管理ＤＢ１００３、他拠点画像管理ＤＢ１００４から読み出す（ステップＳ９１）。そして、合成グループ決定部２２ａは、読み出された自拠点差分画像データａ’の無人フラグと他拠点差分画像データｂ’の無人フラグの両方とも「ｔｒｕｅ」であるか否か判定する（ステップＳ９２）。ステップＳ９２で、無人フラグのいずれかが「ｔｒｕｅ」でないと判定された場合、合成グループＩＤはＮｕｌｌとされる（ステップＳ９３）。
【００６１】
ステップＳ９２で、無人フラグが両方とも「ｔｒｕｅ」であると判定された場合、合成グループ決定部２２ａは、自拠点差分画像データａ’のグループＩＤと他拠点差分画像データｂ’のグループＩＤの組み合わせが、直前に生成された自拠点差分画像データａ’のグループＩＤと他拠点差分画像データｂ’のグループＩＤの組み合わせと同一であるか否か判定する（ステップＳ９４）。同一であると判定された場合には、合成グループＩＤは、直前の合成グループＩＤと同じ値とされ、記憶・読出処理部１９がその値を自拠点画像管理ＤＢ１００３の該当の自拠点差分画像データａ’に対応させて記憶する（ステップＳ９５）。同様に、記憶・読出処理部１９はその値を他拠点画像管理ＤＢ１００４の該当の他拠点差分画像データｂ’に対応させて記憶する（ステップＳ９５）
ステップＳ９４で同一でないと判定された場合には、合成グループＩＤは直前に生成された合成画像データの合成グループＩＤに１を加算した値とされ、記憶・読出処理部１９がその値を自拠点画像管理ＤＢ１００３、他拠点画像管理ＤＢ１００４に記憶する（ステップＳ９６）。
【００６２】
これにより、図１１の（３）に示される自拠点画像データａ’の各グループＩＤと、図１１の（４）に示される他拠点画像データｂ’の各グループＩＤを統合して、図１１の（５）に示される合成グループＩＤが決定される。
【００６３】
このようにして、合成グループ決定部２２ａが、自拠点画像管理ＤＢ１００３、他拠点画像管理ＤＢ１００４に記憶されている差分画像データａ’、差分画像データｂ’のグループＩＤを決定すると、代表画像決定部２２ｂが、同一の合成グループＩＤである画像データのうち、任意の一の画像データを代表画像データと決定する。そして、記憶・読出処理部１９が代表画像データと決定された画像データに対応する代表フラグ「ｔｒｕｅ」を自拠点画像管理ＤＢ１００３、他拠点画像管理ＤＢ１００４のそれぞれに記憶する。
【００６４】
続いて、ステップＳ９で決定された代表グループＩＤに基づいて、自拠点画像データａ’、他拠点画像データｂ’それぞれのキーフレーム画像データを決定する処理を実施する（ステップＳ１０）。図１４を用いて、キーフレーム画像データを決定する処理を説明する。
【００６５】
まず、自拠点画像管理ＤＢ１００３に記憶されている代表画像データの中からキーフレーム画像データを決定する処理を説明する。はじめに、描画量算出部１７ａが、自拠点画像管理ＤＢ１００３に記憶されている代表画像データが表す画像の描画量を算出する（ステップＳ１０１）。ここで、描画量の算出は輝度が閾値を超えている画素の数をカウントすることによって行われる。そして、描画量判定部１７ｂが、その代表画像の直前の画像ＩＤの代表画像の描画量より大きいか否かを判定する（ステップＳ１０２）。ステップＳ１０２で、代表画像の描画量が直前の画像ＩＤである代表画像の描画量より大きい場合には、描画量判定部１７ｂは、その代表画像が、直後の画像ＩＤである代表画像の描画量より大きいか否かを判定する（ステップＳ１０３）。代表画像の描画量が直後の画像ＩＤである代表画像の描画量より大きい場合には、その代表画像がキーフレーム画像とされ、記憶・読出処理部１９が、画像データ管理テーブルの対応するキーフラグ「ｔｒｕｅ」を記憶する（ステップＳ１０４）。一方、ステップＳ１０２で、代表画像の描画量が直前の画像ＩＤである代表画像の描画量以下である場合には、記憶・読出処理部１９は、画像データ管理テーブルの対応するキーフラグ「ｆａｌｓｅ」を記憶する（ステップＳ１０５）。ステップ１０３で、画像の描画量が直前の画像ＩＤである画像の描画量以下である場合には、記憶・読出処理部１９は、合成画像データ管理テーブルの対応するキーフラグ「ｆａｌｓｅ」とする（ステップＳ１０５）。ステップＳ１０１からステップＳ１０５までの処理を、もっとも小さい画像ＩＤの代表画像を除く、全ての代表画像に対して実施する。
【００６６】
同様にして、他拠点画像管理ＤＢ１００４に記憶されている代表画像についても、ステップＳ１０１からステップＳ１０５までの処理を実施して、キーフレーム画像を決定する。
【００６７】
続いて、情報統合部２２及び記憶・読出処理部１９が、ステップＳ１０で決定された自拠点画像データａ’、他拠点画像データｂ’を合成して生成される合成画像データ（ａ’＋ｂ’）がキーフレームであるか否かを決定する。（ステップＳ１１）。
【００６８】
図１５を用いて、キーフレーム合成画像を決定する処理を説明する。まず、記憶・読出処理部１９が、自拠点画像管理ＤＢ１００３、他拠点画像管理ＤＢ１００４のそれぞれから、同一の画像ＩＤの自拠点画像データおよび他拠点画像データを読み出し、キーフレーム画像決定部２２ｃが、それぞれの画像データが表す画像がキーフレーム画像であるか否かを判定する（ステップＳ１１１）。
【００６９】
ステップＳ１１１で、合成元の画像である自拠点画像と他拠点画像のいずれもキーフレーム画像でないと判定された場合、両画像から生成される合成画像はキーフレーム画像ではないとし、記憶・読出処理部１９が対応するキーフレームフラグを「ｆａｌｓｅ」とする（ステップＳ１１２）。
【００７０】
ステップＳ１１１で、自拠点画像がキーフレーム画像であると判定された場合、キーフレーム画像決定部２２ｃは、その自拠点画像のグループＩＤと、直前の合成画像のキーフレームの画像IDの自拠点の画像のグループIDが同一であるか否かを判定する（ステップＳ１１３）。ここで、これらのグループＩＤが同一でないと判定された場合、キーフレーム画像決定部２２ｃは、その自拠点画像を用いて生成される合成画像をキーフレーム画像であると決定する。そして、記憶・読出処理部１９が合成画像管理ＤＢの対応するキーフラレームフラグを「ｔｒｕｅ」とする（ステップＳ１１４）。ステップＳ１１３で、自拠点画像のグループＩＤと、直前の合成画像のキーフレームの画像IDの自拠点の画像のグループIDが同一であると判定された場合、キーフレーム合成画像決定部２２ｃはその合成画像をキーフレームフラグとせず、記憶・読出処理部１９が合成画像管理ＤＢの対応するキーフラレームフラグを「ｆａｌｓｅ」とする（ステップＳ１１２）。
【００７１】
同様にして、ステップＳ１１１で、合成元の画像である他拠点画像がキーフレーム画像であると判定された場合、キーフレーム画像決定部２２ｃは、他拠点画像のグループＩＤと、直前の画像ＩＤであるキーフレーム画像のグループＩＤが同一であるか否かを判定する（ステップＳ１１３）。ここで、これらのグループＩＤが同一でないと判定された場合、キーフレーム合成画像決定部２２ｃは、その合成画像をキーフレームフラグと決定する。そして、記憶・読出処理部１９が合成画像管理ＤＢの対応するキーフラレームフラグを「ｔｒｕｅ」とする（ステップＳ１１４）。ステップＳ１１３で、その他拠点画像のグループＩＤと、直前の画像ＩＤであるキーフレーム画像のグループＩＤが同一であると判定された場合、キーフレーム合成画像決定部２２ｃはその合成画像をキーフレームフラグとせず、記憶・読出処理部１９が合成画像管理ＤＢの対応するキーフラレームフラグを「ｆａｌｓｅ」とする（ステップＳ１１２）。
【００７２】
また、自拠点画像管理ＤＢ１００３で管理されている自拠点差分画像データａ’、他拠点画像管理ＤＢ１００４で管理されている他拠点差分画像データｂ’が生成されると、合成画像生成部２１が、自拠点差分画像データａ’と他拠点差分画像データｂ’を合成して、合成画像データ（ａ’＋ｂ’）を生成する（ステップＳ１１）。具体的には、同一の画像ＩＤの差分画像データａ’と差分画像データｂ’を合成する。また、ステップＳ１１で生成された合成画像データ（ａ’＋ｂ’）を、記憶・読出処理部１９が合成画像管理ＤＢ１００５に、画像ＩＤに対応させて記憶する。
【００７３】
＜＜実施形態の主な効果＞＞
以上説明したように、本実施形態よれば、各拠点の画像のいずれかにずれが発生した場合も、ずれが発生している旨を表す情報を用いることにより、前後の画像が別のものであるか同一のものであるかを判定することができ、キーフレーム画像を正確に抽出できることができる。
【００７４】
＜＜実施形態の補足＞＞
上述の実施形態では、拠点Ａと拠点Ｂで交互に画像が取得され、取得された順に画像ＩＤを増やしていき、同じＩＤの画像同士を合成するとしているが、それぞれの拠点でカメラによって撮影された画像を取得した時間に関する情報を対応付けて記憶し、自拠点差分画像と、その時間が近い他拠点差分画像を合成するようにしてもよい。
【００７５】
また、代表フレームを抽出する処理において、同一のグループＩＤを有する画像フレームのうち、もっとも撮影時間が早い画像フレームの代表フレームフラグを「ｔｒｕｅ」とし、それ以外の画像フレームの代表フレームフラグを「ｆａｌｓｅ」としたが、同一のグループＩＤを有する画像フレームのうち、任意の１つの画像フレームの代表フレームフラグを「ｔｒｕｅ」とし、それ以外の画像フレームの代表フレームフラグを「ｆａｌｓｅ」としてもよい。
【００７６】
また、無人判定処理の詳細において、輝度取得部１２は、画像フレームが表す画像の周辺領域２０２内の、画素ごとの輝度を取得してもよい。周辺領域２０２の前面に描画する人が存在する場合が多いため、このように周辺領域２０２の輝度を測定するだけで、人のいる画像フレームであるか否かを判定するには十分であり、このようにすることで、描画領域２０１及び周辺領域２０２の画素の輝度を測定するより、処理量が減少し、ＣＰＵの負荷の低減を図ることができる。
【００７７】
また、上述の実施形態では、画像処理装置１０ａが、拠点Ａで撮影した撮影画像が表す画像データ、拠点Ｂから受信した受信画像データに基づいて各処理を実施しているが、画像処理装置１０ｂ、通信ネットワーク５０に接続されているサーバ等の情報処理装置がそれらの処理を実施してもよい。
【００７８】
また、黒板等の黒い描画対象物２０に白いペンやチョーク等で描画画像２００を形成する場合にも適用できる。この場合、描画量とは、描画領域２０１内にある各画素のうち、輝度値が所定の閾値より高い画素の数量とする。
【符号の説明】
【００７９】
１０ 画像処理装置
１１ 送受信部
１２ 画像取得部
１３ 画像補正部
１４ 差分画像生成部
１４ａ 輝度補正部
１４ｂ 差分算出部
１４ｃ 輝度値決定部
１５ 無人判定部
１５ａ 輝度取得部
１５ｂ 差分判定部
１５ｃ 輝度変化画素数判定部
１６ 代表画像決定部
１６ａ 同一判定部
１６ｂ グループ決定部
１７ キーフレーム画像決定部
１７ａ 描画量算出部
１７ｂ 描画量判定部
１７ｃ 最終決定部
１８ａ 表示制御部
１８ｂ 音声出力制御部
１８０ 表示部
１９ 記憶・読出処理部
２１ 合成画像生成部
２２ 情報統合部
２２ａ 合成グループ決定部
２２ｂ 代表画像決定部
２２ｃ キーフレーム画像決定部
１０００ 記憶部
１００１ 撮影画像記憶部
１００２ 受信画像記憶部
１００３ 自拠点画像管理ＤＢ
１００４ 他拠点画像管理ＤＢ
１００５ 合成画像管理ＤＢ
２０ 描画対象物
２００ 描画画像
２０１ 描画領域
２０２ 周辺領域
３０ 撮影装置
４０ プロジェクタ
５０ 通信ネットワーク
【先行技術文献】
【特許文献】
【００８０】
【特許文献１】特開２００４−０８０７５０公報
【特許請求の範囲】
【請求項１】
他の画像処理装置と情報を送受信する画像処理装置であって、
他の画像処理装置から受信画像データを受信する受信画像データ受信手段と、
前記受信画像データ受信手段で受信された前記受信画像データが表す画像の描画量が時間に対して極大であるか否かを表す第一のキーフレーム情報を決定する第一キーフレーム情報決定手段と、
自拠点で描画された画像を表す自拠点画像データを取得する自拠点画像データ取得手段と、
前記自拠点画像データ取得手段によって取得された前記自拠点画像データが表す画像の描画量時間に対して極大であるか否かを示す第二のキーフレーム情報を決定する第二キーフレーム情報決定手段と、
前記自拠点画像データ取得手段によって取得された前記自拠点画像データと前記受信画像データ受信手段によって受信された前記受信画像データとを用いて生成される合成画像データが表す合成画像の描画量が時間に対して極大であるか否かを表す合成画像キーフレーム情報を、第一キーフレーム情報決定手段によって決定された前記第一のキーフレーム情報、及び第二キーフレーム情報決定手段によって決定された前記第二のキーフレーム情報に基づいて決定する合成画像キーフレーム情報決定手段と、
を有することを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記自拠点画像データ取得手段は、
撮影された画像を表す撮影画像データを取得する撮影画像データ取得手段と、
前記撮影画像データ取得手段によって取得された前記撮影画像データが表す撮影画像から、前記受信画像データ受信手段によって受信された前記受信画像データが表す受信画像を除去した差分画像を表す差分画像データを自拠点画像データとして生成する差分画像データ生成手段と、
を有することを特徴とする画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置であって、
前記キーフレーム合成画像データ抽出手段は、前記第一のキーフレーム情報または前記第二のキーフレーム情報に基づいて決定された合成画像キーフレーム情報に対応する第一の画像のうち、直前に前記第一のキーフレーム情報または前記第二のキーフレーム情報に基づいて決定された合成画像キーフレーム情報にかかる第二の画像を比較し、
前記第一の画像が前記第二の画像と同一でない場合、前記第一の画像を表す画像データをキーフレーム合成画像データとして抽出し、
前記第一の画像が前記第二の画像と同一である場合、前記第一の画像を表す画像データをキーフレーム合成画像データとしないことを特徴とする画像処理装置。
【請求項４】
請求項１乃至３のいずれか一項に記載の画像処理装置であって、
前記差分画像データ生成手段によって生成された前記差分画像データと前記受信画像データ受信手段によって受信された前記受信画像データとを用いて合成画像データを生成する合成画像データ生成手段を有することを特徴とする画像処理装置。
【請求項５】
他の画像処理装置と情報を送受信する画像処理装置が実行する画像処理プログラムであって、
他の画像処理装置から受信画像データを受信する受信画像データ受信工程と、
前記受信画像データ受信工程で受信された前記受信画像データが表す画像の描画量が時間に対して極大であるか否かを表す第一のキーフレーム情報を決定する第一キーフレーム情報決定工程と、
自拠点で描画された画像を表す自拠点画像データを取得する自拠点画像データ取得工程と、
前記自拠点画像データ取得工程によって取得された前記自拠点画像データが表す画像の描画量時間に対して極大であるか否かを示す第二のキーフレーム情報を決定する第二キーフレーム情報決定工程と、
前記自拠点画像データ取得工程によって取得された前記自拠点画像データと前記受信画像データ受信工程によって受信された前記受信画像データとを用いて生成される合成画像データが表す合成画像の描画量が時間に対して極大であるか否かを表す合成画像キーフレーム情報を、第一キーフレーム情報決定工程によって決定された前記第一のキーフレーム情報、及び第二キーフレーム情報決定工程によって決定された前記第二のキーフレーム情報に基づいて決定する合成画像キーフレーム情報決定工程と、
を前記画像処理装置に実行させることを特徴とする画像処理プログラム。
【請求項６】
請求項５に記載の画像処理プログラムであって、
前記自拠点画像データ取得工程は、
撮影された画像を表す撮影画像データを取得する撮影画像データ取得工程と、
前記撮影画像データ取得工程によって取得された前記撮影画像データが表す撮影画像から、前記受信画像データ受信工程によって受信された前記受信画像データが表す受信画像を除去した差分画像を表す差分画像データを自拠点画像データとして生成する差分画像データ生成工程と、
を有することを特徴とする画像処理プログラム。
【請求項７】
請求項５または６に記載の画像処理プログラムであって、
前記キーフレーム合成画像データ抽出工程は、前記第一のキーフレーム情報または前記第二のキーフレーム情報に基づいて決定された合成画像キーフレーム情報に対応する第一の画像のうち、直前に前記第一のキーフレーム情報または前記第二のキーフレーム情報に基づいて決定された合成画像キーフレーム情報にかかる第二の画像を比較し、
前記第一の画像が前記第二の画像と同一でない場合、前記第一の画像を表す画像データをキーフレーム合成画像データとして抽出し、
前記第一の画像が前記第二の画像と同一である場合、前記第一の画像を表す画像データをキーフレーム合成画像データとしないことを特徴とする画像処理プログラム。
【請求項８】
請求項５乃至７のいずれか一項に記載の画像処理プログラムであって、
前記差分画像データ生成工程によって生成された前記差分画像データと前記受信画像データ受信工程によって受信された前記受信画像データとを用いて合成画像データを生成する合成画像データ生成工程を有することを特徴とする画像処理プログラム。
【請求項１】
他の画像処理装置と情報を送受信する画像処理装置であって、
他の画像処理装置から受信画像データを受信する受信画像データ受信手段と、
前記受信画像データ受信手段で受信された前記受信画像データが表す画像の描画量が時間に対して極大であるか否かを表す第一のキーフレーム情報を決定する第一キーフレーム情報決定手段と、
自拠点で描画された画像を表す自拠点画像データを取得する自拠点画像データ取得手段と、
前記自拠点画像データ取得手段によって取得された前記自拠点画像データが表す画像の描画量時間に対して極大であるか否かを示す第二のキーフレーム情報を決定する第二キーフレーム情報決定手段と、
前記自拠点画像データ取得手段によって取得された前記自拠点画像データと前記受信画像データ受信手段によって受信された前記受信画像データとを用いて生成される合成画像データが表す合成画像の描画量が時間に対して極大であるか否かを表す合成画像キーフレーム情報を、第一キーフレーム情報決定手段によって決定された前記第一のキーフレーム情報、及び第二キーフレーム情報決定手段によって決定された前記第二のキーフレーム情報に基づいて決定する合成画像キーフレーム情報決定手段と、
を有することを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記自拠点画像データ取得手段は、
撮影された画像を表す撮影画像データを取得する撮影画像データ取得手段と、
前記撮影画像データ取得手段によって取得された前記撮影画像データが表す撮影画像から、前記受信画像データ受信手段によって受信された前記受信画像データが表す受信画像を除去した差分画像を表す差分画像データを自拠点画像データとして生成する差分画像データ生成手段と、
を有することを特徴とする画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置であって、
前記キーフレーム合成画像データ抽出手段は、前記第一のキーフレーム情報または前記第二のキーフレーム情報に基づいて決定された合成画像キーフレーム情報に対応する第一の画像のうち、直前に前記第一のキーフレーム情報または前記第二のキーフレーム情報に基づいて決定された合成画像キーフレーム情報にかかる第二の画像を比較し、
前記第一の画像が前記第二の画像と同一でない場合、前記第一の画像を表す画像データをキーフレーム合成画像データとして抽出し、
前記第一の画像が前記第二の画像と同一である場合、前記第一の画像を表す画像データをキーフレーム合成画像データとしないことを特徴とする画像処理装置。
【請求項４】
請求項１乃至３のいずれか一項に記載の画像処理装置であって、
前記差分画像データ生成手段によって生成された前記差分画像データと前記受信画像データ受信手段によって受信された前記受信画像データとを用いて合成画像データを生成する合成画像データ生成手段を有することを特徴とする画像処理装置。
【請求項５】
他の画像処理装置と情報を送受信する画像処理装置が実行する画像処理プログラムであって、
他の画像処理装置から受信画像データを受信する受信画像データ受信工程と、
前記受信画像データ受信工程で受信された前記受信画像データが表す画像の描画量が時間に対して極大であるか否かを表す第一のキーフレーム情報を決定する第一キーフレーム情報決定工程と、
自拠点で描画された画像を表す自拠点画像データを取得する自拠点画像データ取得工程と、
前記自拠点画像データ取得工程によって取得された前記自拠点画像データが表す画像の描画量時間に対して極大であるか否かを示す第二のキーフレーム情報を決定する第二キーフレーム情報決定工程と、
前記自拠点画像データ取得工程によって取得された前記自拠点画像データと前記受信画像データ受信工程によって受信された前記受信画像データとを用いて生成される合成画像データが表す合成画像の描画量が時間に対して極大であるか否かを表す合成画像キーフレーム情報を、第一キーフレーム情報決定工程によって決定された前記第一のキーフレーム情報、及び第二キーフレーム情報決定工程によって決定された前記第二のキーフレーム情報に基づいて決定する合成画像キーフレーム情報決定工程と、
を前記画像処理装置に実行させることを特徴とする画像処理プログラム。
【請求項６】
請求項５に記載の画像処理プログラムであって、
前記自拠点画像データ取得工程は、
撮影された画像を表す撮影画像データを取得する撮影画像データ取得工程と、
前記撮影画像データ取得工程によって取得された前記撮影画像データが表す撮影画像から、前記受信画像データ受信工程によって受信された前記受信画像データが表す受信画像を除去した差分画像を表す差分画像データを自拠点画像データとして生成する差分画像データ生成工程と、
を有することを特徴とする画像処理プログラム。
【請求項７】
請求項５または６に記載の画像処理プログラムであって、
前記キーフレーム合成画像データ抽出工程は、前記第一のキーフレーム情報または前記第二のキーフレーム情報に基づいて決定された合成画像キーフレーム情報に対応する第一の画像のうち、直前に前記第一のキーフレーム情報または前記第二のキーフレーム情報に基づいて決定された合成画像キーフレーム情報にかかる第二の画像を比較し、
前記第一の画像が前記第二の画像と同一でない場合、前記第一の画像を表す画像データをキーフレーム合成画像データとして抽出し、
前記第一の画像が前記第二の画像と同一である場合、前記第一の画像を表す画像データをキーフレーム合成画像データとしないことを特徴とする画像処理プログラム。
【請求項８】
請求項５乃至７のいずれか一項に記載の画像処理プログラムであって、
前記差分画像データ生成工程によって生成された前記差分画像データと前記受信画像データ受信工程によって受信された前記受信画像データとを用いて合成画像データを生成する合成画像データ生成工程を有することを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１２−１１９９７２（Ｐ２０１２−１１９９７２Ａ）
【公開日】平成２４年６月２１日（２０１２．６．２１）
【国際特許分類】
【出願番号】特願２０１０−２６８３５７（Ｐ２０１０−２６８３５７）
【出願日】平成２２年１２月１日（２０１０．１２．１）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２４年６月２１日（２０１２．６．２１）
【国際特許分類】
【出願日】平成２２年１２月１日（２０１０．１２．１）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]