画像処理装置、及び画像処理プログラム
【課題】複数の場所での描画像を表した合成画像の中から描画像が消去される直前の合成画像を適切に抽出することが可能な画像処理装置及び画像処理プログラムを提供する。
【解決手段】自拠点画像データ取得手段によって取得され自拠点画像データと受信画像データ受信手段によって受信された受信画像データとを用いて合成画像データを生成し、合成画像データが表す合成画像の経時的に変化する描画量が極大であるか否かを示すキーフレーム情報を決定する。キーフレーム情報の決定は、自拠点画像データのグループ情報と他拠点画像データのグループ情報に基づいて決定する。
【解決手段】自拠点画像データ取得手段によって取得され自拠点画像データと受信画像データ受信手段によって受信された受信画像データとを用いて合成画像データを生成し、合成画像データが表す合成画像の経時的に変化する描画量が極大であるか否かを示すキーフレーム情報を決定する。キーフレーム情報の決定は、自拠点画像データのグループ情報と他拠点画像データのグループ情報に基づいて決定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自拠点で撮影された画像と他拠点で撮影された画像を用いて画像を処理する画像処理装置に関する。
【背景技術】
【０００２】
近年、企業や教育機関、行政機関等では、会議や講演等において、文字や数字、図形が描かれたホワイトボード等の描画対象物の画像を保存して利用する技術が知られている。たとえば、スキャナ装置および印刷装置を備え、ホワイトボードの画像を走査して印刷するホワイトボード装置や、ホワイトボードに描かれた画像をビデオカメラ等の撮影装置で撮影して取得し、会議や講演の終了後に、ホワイトボードに描かれた画像を再生する技術が知られている。
【０００３】
また、会議中にはホワイトボードに対して文字、記号、図形等の描画像が描かれたり、消去されたりすることが繰り返されることが多い。このとき描画像が消去されずに描かれている間は描画量が増え、消去されると描画量が減ることになる。そして消去される直前の描画像には他の描画像よりも多くの情報が含まれているため、ユーザは消去される直前の描画像を参照したい機会が多いと考えられる。したがって、ビデオカメラによって撮影された撮影画像の中から、消去される直前の描画像を撮影した撮影画像（キーフレーム画像という）を抽出する技術が望まれている。
【０００４】
これを実現する技術として特許文献１には、ホワイトボードを撮影して得られた撮影画像のうち白またはグレーでないセルをストロークセルとしている。そして、ストロークセルの数が最大となった撮影画像をホワイトボードに描かれた文字や数字、図形等の描画像が消去される直前の撮影画像であるキーフレーム画像として指定することが記載されている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に示される技術を用いてテレビ会議を行い、、一の拠点で描画対象物（たとえばホワイトボード）に描画された描画像を表す画像データを他の拠点に送信し、他の拠点の描画対象物に一の拠点で撮影された画像を映し出す場合、他の拠点のビデオカメラは一の拠点で撮影された画像と他の拠点で描画対象物に描画された描画像とをともに撮影するので、他の拠点のビデオカメラによって撮影された画像の中から上記のように消去される直前の画像を適切に抽出することができなかった。
【課題を解決するための手段】
【０００６】
上記の課題を解決するため、請求項１にかかる発明は、他の画像処理装置と情報を送受信する画像処理装置であって、他の画像処理装置から受信画像データを受信する受信画像データ受信手段と、前記受信画像データ受信手段によって受信された受信画像データのグループ決めをし、前記グループを表す第一のグループ情報を決定する第一グループ情報決定手段と、自拠点で描画された画像を表す自拠点画像データを取得する自拠点画像データ取得手段と、前記自拠点画像データ取得手段によって取得された自拠点画像データのグループ決めをし、前記グループを表す第二のグループ情報を決定する第二グループ情報決定手段と、前記自拠点画像データ取得手段によって取得された前記自拠点画像データと前記受信画像データ受信手段によって受信された前記受信画像データとを用いて合成画像データを生成する合成画像生成手段と、前記合成画像生成手段によって生成された合成画像データが表す合成画像の経時的に変化する描画量が極大であるか否かを示すキーフレーム情報を決定するキーフレーム情報決定手段と、を有し、前記キーフレーム情報決定手段は、前記第一グループ情報決定手段によって決定された前記第一のグループ情報と前記第二グループ情報決定手段によって決定された前記第二のグループ情報に基づいて前記合成画像データのキーフレーム情報を決定することを特徴とする。
【発明の効果】
【０００７】
以上説明したように、本発明によれば、さらに、他の画像処理装置から受信画像データを受信し、自拠点で描画された自拠点画像データを取得し、それらを合成した合成画像のキーフレーム情報を決定するので、複数の場所での描画像を表した合成画像の中から描画像が消去される直前の合成画像を適切に抽出することが可能となる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態に係る画像処理システムの概略図である。
【図２】本発明の実施形態に係る画像処理装置のハードウェア構成図である。
【図３】本発明の実施形態に係る画像処理装置の機能ブロック図である。
【図４】自拠点画像管理テーブルを示す概念図である。
【図５】他拠点画像管理テーブルを示す概念図である。
【図６】合成画像管理テーブルを示す概念図である。
【図７】画像処理システムの処理を表すシーケンス図である。
【図８】各画像データが表す画像の例である。
【図９】差分画像を生成する処理を示した処理フロー図である。
【図１０】無人判定処理を示した処理フロー図である。
【図１１】本実施形態に係る画像処理システムの処理によって、決定される画像を示す概念図である。
【図１２】代表画像を決定する処理で実施される無人画像のグループ決めをする処理を示した処理フロー図である。
【図１３】合成画像のグループＩＤを決定する処理を示した処理フロー図である。
【図１４】合成画像のキーフレーム画像を決定する処理を示した処理フロー図である。
【発明を実施するための形態】
【０００９】
＜＜実施形態の全体構成＞＞
以下、図１乃至図１４を用いて、本発明の一実施形態について説明する。図１は、本発明の一実施形態に係る画像処理システムの概略図であり、まずは図１を用いて、本実施形態の概略を説明する。
【００１０】
図１に示す画像処理システム１は複数の画像処理装置（１０ａ、１０ｂ）、各画像処理装置（１０ａ、１０ｂ）の画像を照射する描画対象物（２０ａ、２０ｂ）、撮影装置（３０ａ、３０ｂ）、プロジェクタ（４０ａ、４０ｂ）、通信ネットワーク５０によって構築されている。なお、本実施形態では、画像処理装置（１０ａ、１０ｂ）のうち任意の画像処理装置を示す場合には「画像処理装置１０」といい、描画対象物（２０ａ、２０ｂ）のうち任意の描画対象物を示す場合には「描画対象物２０」といい、撮影装置（３０ａ、３０ｂ）のうち任意の撮影装置を示す場合には「撮影装置３０」といい、プロジェクタ（４０ａ、４０ｂ）のうち任意のプロジェクタを示す場合には「プロジェクタ４０」という。
【００１１】
画像処理装置１０は、撮影装置３０及びプロジェクタ４０とＵＳＢケーブル等により接続され、撮影装置３０が撮影した画像を記録し、通信ネットワーク５０を経由して、他の画像処理装置１０に送信する。
【００１２】
また、描画対象物２０ａは、ユーザが文字や図形等の描画画像２００ａを描画するホワイトボードや黒板、紙等の物品である。さらに、描画対象物２０ａには、プロジェクタ４０ａが照射する画像が映される。ここで、描画対象物２０ａのうちユーザが描画する領域を描画領域２０１ａ、その描画領域２０１ａの周辺部を周辺領域２０２ａとする。撮影装置３０ａは、描画画像２００ａを含む描画領域２０１ａ、周辺領域２０２ａとそれらの前面にある対象物を撮影して撮影画像を生成するカメラ等の装置である。プロジェクタ４０ａは、画像処理装置１０ａが記憶している画像を描画対象物２０ａに照射する。
【００１３】
同様に、描画対象物２０ｂは、ユーザが文字や図形等の描画画像２００ｂを描画するホワイトボードや黒板、紙等の物品である。されに、描画対象物２０ｂには、プロジェクタ４０ｂが照射する画像が映される。また、ここで、描画対象物２０ｂのうちユーザが描画する領域を描画領域２０１ｂ、その描画領域２０１ｂの周辺部を周辺領域２０２ｂとする。撮影装置３０ｂは、描画画像２００ａを含む描画領域２０１ｂ、周辺領域２０２ｂとそれらの前面にある対象物を撮影して撮影画像を生成するカメラ等の装置である。プロジェクタ４０ｂは、画像処理装置１０ｂが記憶している画像を描画対象物２０ｂに照射する。
【００１４】
なお、本実施形態では、描画画像（２００ａ、２００ｂ）のうち任意の描画対象物を示す場合には「描画領域２００」といい、描画領域（２０１ａ、２０１ｂ）のうち任意の描画対象物を示す場合には「描画領域２０１」といい、周辺領域（２０２ａ、２０２ｂ）のうち任意の周辺領域を示す場合には「周辺領域２０２」という。
【００１５】
また、通信ネットワーク５０は、画像処理装置１０ａと画像処理装置１０ｂにて、相互に各種データを送受信するためのものである。
【００１６】
＜＜実施形態のハードウェア構成＞＞
次に、本実施形態のハードウェア構成を説明する。
【００１７】
図２は、本発明の一実施形態に係る画像処理装置１０のハードウェア構成図である。画像処理装置１０は、画像処理装置１０全体の動作を制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１、画像処理装置用プログラムを記憶したＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２、ＣＰＵ１０１のワークエリアとして使用されるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３、各種データを記憶するＨＤ(Ｈａｒｄ Ｄｉｓｋ)１０４、ＣＰＵ１０１の制御にしたがってＨＤ１０４に対する各種データの読み出し又は書込みを制御するＨＤＤ(Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ)１０５、フラッシュメモリ等の記録メディア１０６に対するデータの読み出し又は書込み（記憶）を制御するメディアドライブ１０７、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するためのディスプレイＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１０８、通信ネットワークを利用してデータ伝送をするためのネットワークＩ／Ｆ１０９、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード１１１、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス１１２、着脱可能な記録媒体の一例としてのＣＤ−ＲＯＭ(Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ)１１３に対するデータの読み出し又は書込みを制御するＣＤ−ＲＯＭドライブ１１４、外部の装置と情報を送受信する外部装置Ｉ／Ｆ１１５、音声データに基づいて音声を出力するためのスピーカーＩ／Ｆ１１６、ディスプレイ１１７及び、上記各構成要素を電気的に接続するためのアドレスバスやデータバス等のバスライン１１０を備えている。
【００１８】
なお、上記画像処理装置用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア１０６やＣＤ−ＲＯＭ１１３等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。
【００１９】
＜＜実施形態の機能構成＞＞
次に、本実施形態の機能構成について説明する。図３は、本実施形態の画像処理装置１０の機能ブロック図である。本実施形態の画像処理装置１０は、送受信部１１、画像取得部１２、画像補正部１３、差分画像生成部１４、無人判定部１５、代表画像決定部１６、キーフレーム画像決定部１７、表示制御部１８ａ、音声出力制御部１８ｂ、記憶・読出処理部１９、合成画像生成部２１、情報統合部２２、及び、表示部１８０を有している。これら各部は、図２に示されている各構成要素のいずれかが、ＲＯＭ１０２に記憶されているプログラムに従ったＣＰＵ１０１からの命令によって動作することで実現される機能又は手段である。また、画像処理装置１０は、図２に示されているＨＤＤ１０５によって構築される記憶部１０００を有している。
【００２０】
（画像処理装置の各機能部）
次に、画像処理装置１０の各部を詳細に説明する。画像処理装置１０の送受信部１１は、ネットワークＩ／Ｆ１０９によって実現され、通信ネットワークを介して他の端末、装置又はシステムと各種データ（情報）の送受信を行う。なお、送受信部は受信画像データ受信手段の一例である。
【００２１】
画像取得部１２は、外部装置Ｉ／Ｆ１１５によって実現され、ケーブル等を介して撮影装置３０が撮影した撮影画像を表す撮影画像データを取得し、取得した撮影画像データを一意に識別する画像ＩＤをその撮影画像データに付与する。画像ＩＤは、撮影画像データを表す撮影画像が撮影された昇順に付与される。なお、画像取得部１２は自拠点画像データ取得手段の有する撮影画像データ取得手段の一例である。
【００２２】
画像補正部１３は、画像取得部１２で取得された撮影画像データを台形補正等によって補正する。
【００２３】
差分画像生成部１４は、画像補正部１３で補正された撮影画像データが表す撮影画像から、他の拠点で撮影され画像処理装置１０によって受信された受信画像データが表す画像を差し引いた差分画像を生成する。ここで、受信画像データとは、送受信部１１が他の画像処理装置１０から通信ネットワーク５０を介して受信した画像データである。受信画像データには、それを一意に識別するための情報として画像ＩＤが付与されている。この画像ＩＤは、受信画像が生成された昇順に付与されている。
【００２４】
差分画像生成部１４は、輝度補正部１４ａ、差分算出部１４ｂ、輝度値決定部１４ｃによって構成される。輝度補正部１４ａは、差分画像を形成する各画素について、画素の周辺にある画素の輝度値の平均値に対するその画素の輝度値の比率に背景色の輝度値を掛け合わせることにより輝度平均値を算出し、さらに黄色の成分を除去することによって輝度値を補正する。なお、黄色の成分を除去する処理は、会議室内の照明によって、ホワイトボードの画像が黄色がかってしまうため、その影響を除去するために実施される。
【００２５】
差分算出部１４ｂは、輝度補正部１４ａが補正した輝度値から、受信画像データが表す受信画像の同じ位置にある画素の輝度値を減じることによって差分輝度値を算出する。輝度値決定部１４ｃは、差分算出部１４ｂが算出した差分輝度値に基づいて、差分画像の輝度値を決定する。なお、生成された差分画像は後述する記憶・読出処理部１９によって自拠点画像管理ＤＢに記憶される。また、画像ＩＤは差分画像に対応して記憶・読出処理部１９によって自拠点画像管理ＤＢに記憶される。また、差分画像生成部１４は差分画像生成手段の一例である。
【００２６】
無人判定部１５は、後述する合成画像生成部２１によって合成された差分画像のうち、描画対象物２０を除くものが撮影されていない差分画像を、無人画像として決定する。描画対象物２０を除くものとは、たとえば、描画対象物２０に描画画像を書き込む人物等である。無人判定部１５は、輝度取得部１５ａ、差分判定部１５ｂ、輝度変化画素数判定部１５ｃによって構成される。輝度取得部１５ａは、差分画像生成部１４が生成した差分画像の各画素の輝度を取得する。差分判定部１５ｂは、輝度取得部１５ａが連続する２枚の画像についてそれぞれ取得した輝度の差分が閾値を超えているか否かを判定する。輝度変化画素数判定部１５ｃは、差分判定部１５ｂで輝度が閾値を超えているとされた画素の数が所定数以上であるか否かを判定し、所定数以上である場合には、その画像を無人画像でないとし、所定数以下である場合には、その画像を無人画像とする。
【００２７】
なお、無人判定部１５によって画像が無人画像であると判定された場合、記憶・読出処理部１９は差分画像に対応する無人フラグを「ｔｒｕｅ」として記憶する。また、無人判定部１５によって差分画像が無人画像でないと判定された場合、記憶・読出処理部１９は差分画像に対応する無人フラグを「ｆａｌｓｅ」として自拠点画像管理ＤＢ１００３記憶する。
【００２８】
代表画像決定部１６は、無人判定部１５で決定された無人画像のうち、同一の画像となる無人画像群に同一のグループＩＤを決定するグループ決めを行う。そして、代表画像決定部１６は、同一のグループＩＤが対応付けられている無人画像群から任意の一の無人画像を代表画像として決定する。代表画像決定部１６は、同一判定部１６ａ、グループ決定部１６ｂによって構成される。同一判定部１６ａは、無人判定部１５で判定された無人画像が、直前に撮影された無人画像と同一であるか否かを判定する。ここで、直前に撮影された無人画像とは、その無人画像の画像ＩＤが直前の画像ＩＤに対応する無人画像である。
【００２９】
グループ決定部１６ｂは、同一判定部１６ａでの決定に基づいて、無人画像のグループＩＤを決定する。具体的には、無人画像が、その直前に撮影された無人画像と同一であれば、その無人画像に対応するグループＩＤを直前に撮影された無人画像のグループＩＤと同一にする。無人画像が、その直前に撮影された無人画像と同一であれば、その無人画像に対応するグループＩＤを直前に撮影された無人画像のグループＩＤに１を加算したものとする。このようにして、決定されたグループＩＤが同一の無人画像のうち一の画像が代表画像とされる。なお、グループ決定部１６ｂによって決定されたグループＩＤはその無人画像である差分画像に対応づけて、記憶・読出処理部１９が自拠点画像管理ＤＢ１００３に記憶する。グループ決定部は第一グループ情報手段、第二グループ情報手段の一例である。
【００３０】
キーフレーム画像決定部１７は、撮影とともに経時的に変化する描画量が極大となる画像を、キーフレーム画像として決定する。キーフレーム画像決定部１７は、描画量算出部１７ａ、描画量判定部１７ｂ、最終決定部１７ｃによって構成される。経時的に変化する描画量が極大となる代表画像とは、その描画量が直前に撮影された代表画像の描画量より多く、直後に撮影された代表画像の描画量より少ない代表画像である。このような代表画像をキーフレーム合成画像とし、キーフレーム合成画像を決定することによって、ユーザによって描画された描画物が消去される直前の画像を決定することができる。
【００３１】
描画量算出部１７ａは、代表画像決定部１６で決定された代表合成画像の描画量を算出する。ここで、描画量とは、描画領域２０１内にある画像を形成する各画素のうち、輝度値が所定の閾値より低い画素の数量である。描画量判定部１７ｂは、描画量算出部１７ａによって算出された描画量が、直前に撮影された代表画像の描画量、及び直後に撮影された代表画像の描画量より多いか否かを判定し、多いと判定した場合には、最終決定部１７ｃがその代表画像をキーフレーム画像とする。また、描画量判定部１７ｂは、描画量算出部１７ａによって算出された描画量が、直前に撮影された代表画像の描画量より少ない、または直後に撮影された代表画像の描画量より少ないか否かを判定し、いずれかの描画量より少ないと判定した場合には、最終決定部１７ｃがその代表画像をキーフレーム画像としないと決定する。
【００３２】
なお、キーフレーム画像決定部１７によってキーフレーム画像であると決定された場合、記憶・読出処理部１９は差分画像に対応するキーフレームフラグを「ｔｒｕｅ」として記憶する。また、キーフレーム画像決定部１７によって差分画像がキーフレーム画像でないと判定された場合、記憶・読出処理部１９は差分画像に対応するキーフレームフラグを「ｆａｌｓｅ」として自拠点画像管理ＤＢ１００３記憶する。
【００３３】
表示制御部１８ａは、図２に示されているディスプレイＩ／Ｆ１０８によって実現され、後述する表示部１８０に対して画像を表示させるための制御を行う。音声出力制御部１８ｂは、図２に示されているスピーカーＩ／Ｆ１１６によって実現され、図示しないスピーカーに音声を出力させるための制御を行う。
【００３４】
表示部１８０は、図２に示されているディスプレイ１１７によって実現され、表示制御部１８ａの制御によって画像を表示する。
【００３５】
また、記憶・読出処理部１９は、図２に示すＨＤＤ１０５として実現されている記憶部１０００に各種データを記憶したり、記憶部１０００に記憶された各種データを読み出したりする。記憶部１０００には、カメラによって撮影された画像を表す画像データを記憶する撮影画像記憶部１００１、他拠点から受信した受信画像記憶部１００２がある。また、記憶部１０００には、自拠点画像管理テーブルによって構成されている自拠点画像管理ＤＢ(Ｄａｔａ Ｂａｓｅ)１００３、他拠点画像管理テーブルによって構成されている他拠点画像管理ＤＢ１００４、合成画像管理テーブルによって構成されている合成画像管理ＤＢ１００５が構築されている。
【００３６】
合成画像生成部２１は、自拠点画像管理ＤＢ１００３に記憶されている自拠点画像データが表す自拠点画像と、他拠点画像管理ＤＢ１００４に記憶されている他拠点画像データが表す他拠点画像とを合成した合成画像を生成する。合成画像生成部は合成画像生成手段の一例である。
【００３７】
情報統合部２２は、自拠点画像管理ＤＢ１００３に記憶されている情報と、他拠点画像管理ＤＢ１００４に記憶されている情報に基づいて、合成画像管理ＤＢ１００５に記憶する情報を決定する。情報統合部２２は、合成画像グループ決定部２２ａ、代表合成画像決定部２２ｂによって構成される。
【００３８】
合成画像グループ決定部２２ａは、自拠点画像管理ＤＢ１００３に記憶されている無人フラグ、グループＩＤと、他拠点画像管理ＤＢ１００４に記憶されている無人フラグ、グループＩＤとに基づいて、合成画像管理ＤＢ１００４に記憶するグループＩＤを決定する。代表合成画像決定部２２ｂは、同一のグループＩＤである合成画像から代表画像を決定する。
【００３９】
ここまでで説明した各機能部は画像処理システム１の複数の画像処理装置１０（画像処理装置１０ａ、画像処理装置１０ｂ）のそれぞれが有している。以降の説明では上記の差分画像のうち拠点Ａの画像処理装置１０ａによって生成されたものを自拠点画像、拠点Ｂの画像処理装置１０ｂによって生成されたものを他拠点画像という。また、自拠点画像を表すデータを自拠点画像データ（差分画像データａ）といい、他拠点画像を表すデータを他拠点画像データ（差分画像データｂ）という。
【００４０】
（自拠点画像管理テーブル）
記憶部１０００には、図４に示されているような自拠点画像テーブルによって構成されている自拠点画像管理ＤＢ１００３が構築される。この自拠点画像管理テーブルでは、差分画像生成部１４で生成された画像を一意に識別する画像ＩＤごとに、画像名、無人フラグ、グループＩＤが対応付けられて記憶されている。例えば、図４に示されている自拠点画像管理テーブルにおいて、画像ＩＤ「１」の画像は、画像名「Ａ００００１．ｊｐｇ」、無人フラグ「ｔｒｕｅ」、グループＩＤ「１」であることを表している。ここで、画像ＩＤは撮影装置によって撮影された昇順に付与されるものとする。具体的には、最初に生成された画像の画像ＩＤが「１」、次に生成された画像の画像ＩＤが「２」となり、以降、順に１を加えた値を画像ＩＤとする。
【００４１】
なお、無人フラグ、グループＩＤはそれぞれ自拠点の画像処理装置１０の無人判定部１５、グループ決定部１６ｂ、代表画像決定部１６、キーフレーム画像決定部によって判定もしくは決定されるものであり、記憶・読出処理部１によって自拠点画像管理ＤＢ１００３の自拠点画像管理テーブルに記憶される。
【００４２】
（他拠点画像管理テーブル）
記憶部１０００には、図５に示されているような他拠点画像テーブルによって構成されている他拠点画像管理ＤＢ１００４が構築される。この他拠点画像管理テーブルでは、他拠点から受信した画像を一意に識別する画像ＩＤごとに、画像の名称を表す画像名、無人無人フラグ、グループＩＤが対応付けられて記憶されている。例えば、図５に示されている画像データ管理テーブルにおいて、画像ＩＤ「１」の画像は、画像名「Ｂ００００１．ｊｐｇ」、無人フラグ「ｔｒｕｅ」、グループＩＤは「１」であることを表している。
【００４３】
なお、無人フラグ、グループＩＤはそれぞれ他拠点の画像処理装置１０の無人判定部１５、グループ決定部１６ｂ、代表画像決定部１６、キーフレーム画像決定部によって判定もしくは決定されるものであり、差分画像、画像ＩＤとともに自拠点の画像処理装置１０に送信され、記憶・読出処理部１によって他拠点画像管理ＤＢ１００４の他拠点画像管理テーブルに記憶される。
【００４４】
ここでは、自拠点と他拠点で交互に画像が撮影されるものとし、自拠点で撮影された画像を識別する画像ＩＤを「１」、次に他拠点で撮影された画像の画像ＩＤを「１」、続いて、自拠点で撮影された画像の画像ＩＤを「２」、次に他拠点で撮影された画像の画像ＩＤを「２」とする。このようにすることによって、各拠点で撮影された順に画像ＩＤが付与されることになり、また、自拠点で撮影された画像と、その直後に他拠点で撮影された画像には同じＩＤが付与されることになる。
【００４５】
（合成画像管理テーブル）
記憶部１０００には、図６に示されているような合成画像テーブルによって構成されている合成画像管理ＤＢ１００５が構築される。この合成画像管理テーブルでは、合成画像を一意に識別する画像ＩＤごとに、画像名、無人画像であるか否かを表す無人フラグ、グループＩＤ、代表画像であるか否かを表す代表フラグ、キーフレーム画像であるか否かをあらわすキーフレームフラグ、及び、描画量が対応付けられて記憶されている。例えば、図６に示されている画像データ管理テーブルにおいて、画像ＩＤ「１」の画像は、画像名「ｍｅｒｇｅ００００１．ｊｐｇ」、無人フラグ「ｔｒｕｅ」、グループＩＤ「１」、代表フラグ「ｔｒｕｅ」、キーフラグ「ｔｒｕｅ」、描画量「３８００」であることを表している。
【００４６】
＜＜実施形態の処理・動作＞＞
以上が、本実施形態に係る画像処理システム１の構成及び機能（又は手段）の説明であり、続いて、図７乃至図１３を用いて、第一の実施形態に係る画像処理システム１における処理方法を説明する。なお、図７は、画像処理システムの処理を表すシーケンス図である。図８は、各画像データが表す画像の例である。図９は、差分画像を生成する処理を示した処理フロー図である。図１０は、無人判定処理を示した処理フロー図である。図１１は、本実施形態に係る画像処理システムの処理によって、決定される画像を示す概念図である。図１２は、代表画像を決定する処理で実施される無人画像をグループ決めする処理を示した処理フロー図である。図１３は、合成画像のグループＩＤを決定する処理を示した処理フロー図である。図１４は、第一の実施形態における合成画像のキーフレーム画像を決定する処理を示した処理フロー図である。
【００４７】
図７を用いて、本実施形態に係る画像処理システム１の処理を説明する。撮影装置３０ａとしてのビデオカメラが描画対象物２０ａとしてのホワイトボード及びホワイトボードの前面にある光景を撮影して、撮影画像データａを生成する（ステップＳ１）。この撮影画像データａが表す撮影画像ａは図８（１）に示すように、拠点Ａで描かれた描画像「あ」と、拠点Ｂで描かれ、拠点Ａのプロジェクタ４０ａによって照射されている描画像「い」を撮影した画像である。ここでの描画像「い」は拠点Ｂのカメラで撮影されたものをプロジェクタで映しているため、拠点Ｂのホワイトボードで直接見るものより、画質が劣化している。
【００４８】
次に、画像取得部１２が、ステップＳ１で撮影装置３０ａによって生成された撮影画像データａを取得し、撮影画像データａを一意に識別する画像ＩＤを付与する（ステップＳ２）。画像ＩＤは撮影装置から取得された昇順に付与されるものとする。具体的には、最初に撮影された画像の画像ＩＤが「１」、次に撮影された画像の画像ＩＤが「２」とされ、以降、順に１を加えた値を画像ＩＤとされる。
【００４９】
次に、画像補正部１３が、ステップＳ２で画像取得部１２によって取得された画像データａを台形補正等により補正する（ステップＳ３）。
【００５０】
そして、差分画像生成部１４が、ステップＳ３で補正された画像データａが表す画像ａから、拠点Ｂの画像処理装置１０ｂによって送信された画像データｂが表す画像ｂを差し引いた差分画像（ａ−ｂ）を表す差分画像データ（ａ−ｂ）を生成する（ステップＳ４）。この処理について図９を用いて説明する。
【００５１】
まず、記憶・読出処理部１９が、ステップＳ２で取得された画像データａの画像ＩＤを検索キーとして、他拠点画像管理ＤＢ１００４に記憶されている画像データｂを読み出す（ステップＳ４１）。ここで画像データｂは、あらかじめ拠点Ｂの画像処理装置１０ｂから、描画対象物２０ｂを撮影した画像データｂが送信され（図７のステップＳ５’）たものである。拠点Ａの画像処理装置１０ａの送受信部１１が、その画像データｂを受信し（図７のステップＳ５’）、記憶・読出処理部１９が他拠点画像管理ＤＢ１００４に他拠点画像データとして記憶されている（図７のステップＳ６’）。なお、ここで、拠点Ｂから送信される画像データｂは、後述する拠点Ａの画像処理装置１０ａで実施されるステップＳ１からステップＳ４の処理と同様の処理を経ているものである。また、ステップＳ５’、ステップＳ６’の処理は、それぞれ後述するステップＳ５、ステップＳ６と同様の処理である。つまり、画像データｂは、図８（２）に示されるように、拠点Ｂのホワイトボードに描かれた描画像「い」が描画されている画像である。
【００５２】
そして、差分算出部１４ｂは、ステップＳ３で台形補正された画像データａが表す画像ａの各画素の輝度値から、ステップＳ４１で読み出された画像データｂが表す画像ｂの同じ位置にある画素の輝度値を減じた値を差分値として算出する（ステップＳ４２）。次に、差分値が所定の閾値より大きいか否かを判定する（ステップＳ４３）。ステップＳ４３で、差分値が閾値より大きいと判定された場合には、その差分値を定数倍する等の所定の処理により増加させた値を、該当の位置の輝度値とする（ステップＳ４４）。ステップＳ４３で、差分値が閾値より小さいと判定された場合には、背景となる画素の輝度値より高い所定の値を輝度値とする（ステップＳ４５）。このようにして得られた輝度値に背景色の輝度値を加算する（ステップＳ４６）。ステップＳ４１からステップＳ４６までの処理を全ての画素に対して実施し、各画素に対して輝度値が決定された画像が差分画像（ａ−ｂ）（以降、差分画像ａ’という。）となる。差分画像ａ’は、図８（３）に示されるように、拠点Ａのホワイトボードに描かれた描画像「あ」が描画されている画像となる。これにより、劣化している描画像「い」が取り除かれ、拠点Ａのカメラでのみ撮影されているため、劣化していない描画像「あ」だけが残る画像となる。
【００５３】
このようにして生成された差分画像ａ’を表す差分画像データａ’を、送受信部１１が通信ネットワーク５０を介して拠点Ｂの画像処理装置１０ｂに対して送信する（ステップＳ５）。画像処理装置１０ｂの送受信部１１は受信した差分画像データａ’を他拠点画像データとして、画像処理装置１０ｂの他拠点画像管理ＤＢ１００４に記憶する（ステップＳ６）
一方、ステップＳ４で生成された差分画像を表す差分画像データは、画像処理装置１０ａの記憶・読出処理部１９によって、自拠点差分画像データとして自拠点画像管理ＤＢ１００３に画像ＩＤと関連付けて記憶される。
【００５４】
続いて、ステップＳ４で生成され、自拠点画像管理ＤＢ１００３に記憶されている差分画像データａ’に対して、無人判定部１５及び記憶・読出処理部１９が、ホワイトボード上に描かれた描画画像２００以外の撮影対象物（人物等）が含まれるか否かを判定する無人判定処理を実施する（ステップＳ７）。無人判定処理の詳細について図１０を用いて説明する。ステップＳ５で生成された差分画像データａ’が表す差分画像ａ’の画素ごとの輝度を、輝度取得部１５ａが取得する（ステップＳ７１）。輝度取得部１５ａによって差分画像ａ’の輝度が取得されると、差分判定部１５ｂは差分画像を形成する各画素の輝度と、その差分画像に対応する画像ＩＤの直前の画像ＩＤである画像の同じ位置にある画素の輝度との差分を算出し、その差分が閾値を超えているか否か判定する（ステップＳ７２）。続いて、輝度変化画素数判定部１５ｃが、それぞれの画像に対して算出された輝度の差分が閾値を超えている画素を輝度変化画素としてその数を算出し（ステップＳ７３）、輝度変化画素の数が所定の値を超えているか判定する（ステップＳ７４）。ステップＳ７４で、輝度変化画素の数が所定の値を超えていると判定された場合、差分画像ａ’は無人でないとされ、記憶・読出処理部１９が、その差分画像ａ’に対応している無人フラグの値を「ｆａｌｓｅ」とする（ステップＳ７５）。ステップＳ７４で輝度変化画素の数が所定の値以下である場合、差分画像ａ’は無人であるとされ、記憶・読出処理部１９は、その画像に対応する無人フラグの値を「ｔｒｕｅ」とする（ステップＳ７６）。無人判定部１５及び記憶・読出処理部１９は、ステップＳ７１からステップＳ７６までの処理を、もっとも小さい画像ＩＤの差分画像を除く、全ての差分画像に対して実施する。これにより、図１１の（１）に示されるＦ１乃至Ｆ１０の差分画像から、人物等が撮影されている差分画像Ｆ２、Ｆ５、Ｆ８を除いた差分画像が、図１１の（２）に示されるように決定されることになる。
【００５５】
次に、対応する無人フラグが「ｔｒｕｅ」である差分画像（以降、無人画像という。）のうち、直前に撮影された無人画像と変化がないものに対してグループＩＤを決定するグループ決めの処理を行う（ステップＳ８）。グループＩＤを決定するグループ決めの処理の詳細について図１２を用いて説明する。自拠点画像管理ＤＢ１００３に記憶されている無人画像が、その画像の画像ＩＤの、直前の画像ＩＤの無人画像と同一であるかを、同一判定部１６ａが判定する（ステップＳ８１）。ここで、画像が同一であるか否かを判定する方法としてはテンプレートマッチング等の技術が用いられる。また、ブロックマッチング法を用いて、描画対象物に描かれている描画像に変化はないが、描画像の位置がずれている画像を同一の画像として判定することにより、より精度の高い判定を行うことができる。ステップＳ８１で、無人画像が直前の画像ＩＤの無人画像と同一であると判定された場合には、グループ決定部１６ｂは、直前の画像ＩＤである無人画像のグループＩＤと同じグループＩＤである「１」として決定し、記憶・読出処理部１９が自拠点画像管理テーブルに、その画像に関連付けて記憶する（ステップＳ８２）。ステップＳ８１で、無人画像が直前のグループＩＤの無人画像と同一でないと判定された場合には、グループ決定部１６ｂは、判定対象の無人画像に対応するグループＩＤを、直前のグループＩＤに１を加算した「２」として決定し、この値を記憶・読出処理部１９が自拠点画像管理テーブルに記憶する（ステップＳ８３）。ステップ８１からステップ８３までの処理を、もっとも小さい画像ＩＤの無人画像を除く、全ての無人画像に対して行う。これにより、図１１の（３）に示すように、無人画像のうち、無人画像Ｆ１のグループＩＤは「１」、無人画像Ｆ３及びＦ４のグループＩＤは「２」、無人画像Ｆ６及びＦ７のグループＩＤは「３」、無人画像Ｆ９及びＦ１０のグループＩＤは「４」となる。
【００５６】
同様にして、画像処理装置１０ｂは、拠点Ｂで撮影された画像を表す画像データｂに対して、差分画像データ（画像データｂ’）を生成し、無人判定処理、グループ処理を行う。これらの処理の詳細は、上述した画像処理装置１０ａでの処理と同様であるため、説明を省略する。また、画像処理装置１０ｂの送受信部１１は、画像処理装置１０ｂで生成された画像データｂ’と、画像データｂ’の画像名、無人フラグ、グループＩＤを表す情報を画像処理装置１０ａに送信する。そして、画像処理装置１０ａの記憶・読出処理部１９が画像データｂ’とこれらの情報を他拠点画像管理ＤＢ１００５に記憶する。なお、拠点Ｂで撮影された画像データｂは、画像処理装置１０ａに送信され、画像処理装置１０ａが差分画像データ（画像データｂ’）を生成し、無人判定処理、グループ処理する処理を行ってもよい。
【００５７】
上述のようにして、自拠点画像管理ＤＢ１００３で管理されている自拠点差分画像データａ’、他拠点画像管理ＤＢ１００４で管理されている他拠点差分画像データｂ’のそれぞれに対応する無人フラグ、グループＩＤが決定されると、合成画像生成部２１が、自拠点差分画像データａ’と他拠点差分画像データｂ’を合成して、合成画像データ（ａ’＋ｂ’）を生成する（ステップＳ９）。具体的には、同一の画像ＩＤの差分画像データａ’と差分画像データｂ’を合成する。
【００５８】
そして、情報統合部２２及び記憶・読出処理部１９が、ステップＳ９で生成された合成画像データ（ａ’＋ｂ’）に対応するグループＩＤ、及び、代表フラグを決定する。（ステップＳ１０）。まず、グループＩＤを決定する処理について、図１３を用いて説明する。図１３に示されるように、まず、記憶・読出処理部１９が、画像ＩＤが同一の自拠点差分画像データａ’、他拠点差分画像データｂ’について、関連付けられて記憶されている無人フラグを、それぞれ自拠点画像管理ＤＢ１００３、他拠点画像管理ＤＢ１００４から読み出す（ステップＳ１０１）。そして、合成画像グループ決定部２２ａは、読み出された自拠点差分画像データａ’の無人フラグと他拠点差分画像データｂ’の無人フラグの両方とも「ｔｒｕｅ」であるか否か判定する（ステップＳ１０２）。ステップＳ１０２で、無人フラグのいずれかが「ｔｒｕｅ」でないと判定された場合、合成画像データ（ａ’＋ｂ’）に対応するグループＩＤはＮｕｌｌとされる（ステップＳ１０３）。
【００５９】
ステップＳ１０２で、無人フラグが両方とも「ｔｒｕｅ」であると判定された場合、合成画像グループ決定部２２ａは、自拠点差分画像データａ’のグループＩＤと他拠点差分画像データｂ’のグループＩＤの組み合わせが、直前に生成された自拠点差分画像データａ’のグループＩＤと他拠点差分画像データｂ’のグループＩＤの組み合わせと同一であるか否か判定する（ステップＳ１０４）。同一であると判定された場合には、合成画像データ（ａ’＋ｂ’）のグループＩＤは、直前に生成された合成画像データのグループＩＤと同じ値とされ、記憶・読出処理部１９がその値を合成画像管理ＤＢ１００５に記憶する（ステップＳ１０５）。
【００６０】
ステップＳ１０４で同一でないと判定された場合には、合成画像データ（ａ’＋ｂ’）のグループＩＤは直前に生成された合成画像データのグループＩＤに１を加算した値とされ、記憶・読出処理部１９がその値を合成画像管理ＤＢ１００５に記憶する（ステップＳ１０６）。
【００６１】
このようにして、合成画像グループ決定部２２ａが、合成画像データのグループＩＤを決定すると、代表合成画像決定部２２ｂが、同一のグループＩＤである合成画像のうち、もっとも画像ＩＤの小さい合成画像を代表画像と決定する。そして、記憶・読出処理部１９が代表画像と決定された合成画像に対応する代表フラグ「ｔｒｕｅ」を合成画像管理ＤＢ１００５に記憶する。
【００６２】
次に、ステップＳ１０で決定された代表合成画像（ａ’＋ｂ’）のうち、キーフレーム合成画像を決定する処理を行う（ステップＳ１１）。キーフレーム合成画像を決定する処理の詳細を、図１４を用いて説明する。まず、描画量算出部１７ａが、代表合成画像（ａ’＋ｂ’）の描画量を算出する（ステップＳ１１１）。ここで、描画量の算出は輝度が閾値を超えている画素の数をカウントすることによって行われる。そして、描画量判定部１７ｂが、その代表合成画像（ａ’＋ｂ’）の直前の画像ＩＤの代表合成画像（ａ’＋ｂ’）の描画量より大きいか否かを判定する（ステップＳ１１２）。ステップＳ１１１で、代表合成画像（ａ’＋ｂ’）の描画量が直前の画像ＩＤである代表画像（ａ’＋ｂ’）の描画量より大きい場合には、描画量判定部１７ｂは、その代表合成画像（ａ’＋ｂ’）が、直後の画像ＩＤである代表合成画像（ａ’＋ｂ’）の描画量より大きいか否かを判定する（ステップＳ１１３）。代表画像の描画量が直後の画像ＩＤである代表画像（ａ’＋ｂ’）の描画量より大きい場合には、最終決定部１７ｃが、その代表合成画像（ａ’＋ｂ’）をキーフレーム合成画像と決定し、記憶・読出処理部１９が、画像データ管理テーブルの対応するキーフラグ「ｔｒｕｅ」を記憶する（ステップＳ１１４）。
【００６３】
一方、ステップＳ１１２で、代表合成画像（ａ’＋ｂ’）の描画量が直前の画像ＩＤである代表合成画像（ａ’＋ｂ’）の描画量以下である場合には、最終決定部１７ｃが、その代表合成画像（ａ’＋ｂ’）をキーフレーム合成画像でないと決定し、記憶・読出処理部１９は、画像データ管理テーブルの対応するキーフラグ「ｆａｌｓｅ」を記憶する（ステップＳ１１５）。ステップ１１３で、代表合成画像（ａ’＋ｂ’）の描画量が直前の画像ＩＤである画像の描画量以下である場合には、記憶・読出処理部１９は、合成画像データ管理テーブルの対応するキーフラグ「ｆａｌｓｅ」とする（ステップＳ１１５）。ステップＳ１１１からステップＳ１１５までの処理を、もっとも小さい画像ＩＤの代表合成画像（ａ’＋ｂ’）を除く、全ての代表合成画像（ａ’＋ｂ’）に対して行う。これにより、図１１の（５）に示すように、画像Ｆ３及びＦ９がキーフレーム合成画像として決定される。
【００６４】
＜＜実施形態の主な効果＞＞
以上説明したように、本実施形態よれば、描画対象物以外のものを含まない画像を決定し、それらの画像からキーフレーム画像を決定することによって、描画対象物に描かれた文字や数字、図形等の描画像が消去される直前の撮影画像であるキーフレーム画像を決定することが可能となる。
【００６５】
さらに、複数の拠点で描画対象物に描かれた描画像を撮影した撮影画像を合成して合成画像を保存する場合に、その合成画像のキーフレーム画像を決定することが可能となる。複数の拠点で描画対象物に描かれた描画像を撮影した撮影画像を合成して合成画像を保存する場合に、その合成画像のキーフレーム画像を決定することが可能となる。
【００６６】
＜＜実施形態の補足＞＞
上述の実施形態では、画像取得部１２が自拠点で撮影された画像を取得する処理と、送受信部１１が他拠点から画像を受信する処理が交互に行われ、記憶・読出部１９が取得もしくは受信された順に１ずつ増加した画像ＩＤを画像に対応付けて記憶する。そして、合成画像生成部２１は同じ画像ＩＤである自拠点の差分画像と他拠点の差分画像を合成するとしているが、それぞれの拠点でカメラによって画像が撮影された時刻に関する情報を対応付けて記憶し、自拠点差分画像と、その時間が最も近い他拠点差分画像を合成するようにしてもよい。
【００６７】
また、代表フレームを決定する処理において、同一のグループＩＤを有する画像フレームのうち、もっとも撮影時刻が早い画像フレームの代表フレームフラグを「ｔｒｕｅ」とし、それ以外の画像フレームの代表フレームフラグを「ｆａｌｓｅ」としたが、同一のグループＩＤを有する画像フレームのうち、任意の１つの画像フレームの代表フレームフラグを「ｔｒｕｅ」とし、それ以外の画像フレームの代表フレームフラグを「ｆａｌｓｅ」としてもよい。
【００６８】
また、無人判定処理の詳細において、輝度取得部１２は、画像フレームが表す画像の周辺領域２０２内の、画素ごとの輝度を取得してもよい。周辺領域２０２の前面に描画する人が存在する場合が多いため、このように周辺領域２０２の輝度を測定するだけで、人のいる画像フレームであるか否かを判定するには十分であり、このようにすることで、描画領域２０１及び周辺領域２０２の画素の輝度を測定するより、処理量が減少しＣＰＵの負荷の低減を図ることができる。
【００６９】
また、上述の実施形態では、画像処理装置１０ａが、拠点Ａで撮影された撮影画像が表す画像データ、拠点Ｂから受信された受信画像データに基づいて各処理を行っているが、画像処理装置１０ｂ、通信ネットワーク５０に接続されているサーバ等の情報処理装置がそれらの処理を行ってもよい。
【００７０】
また、黒板等の黒い描画対象物２０に白いペンやチョーク等で描画画像２００を形成する場合にも適用できる。この場合、描画量とは、描画領域２０１内にある各画素のうち、輝度値が所定の閾値より高い画素の数量とする。
【符号の説明】
【００７１】
１０ 画像処理装置
１１ 送受信部
１２ 画像取得部
１３ 画像補正部
１４ 差分画像生成部
１４ａ 輝度補正部
１４ｂ 差分算出部
１４ｃ 輝度値決定部
１５ 無人判定部
１５ａ 輝度取得部
１５ｂ 差分判定部
１５ｃ 輝度変化画素数判定部
１６ 代表画像決定部
１６ａ 同一判定部
１６ｂ グループ決定部
１７ キーフレーム画像決定部
１７ａ 描画量算出部
１７ｂ 描画量判定部
１７ｃ 最終決定部
１８ａ 表示制御部
１８ｂ 音声出力制御部
１８０ 表示部
１９ 記憶・読出処理部
２０ 描画対象物
２００ 描画画像
２０１ 描画領域
２０２ 周辺領域
２１ 合成画像生成部
２２ 情報統合部
２２ａ 合成画像グループ決定部
２２ｂ 代表合成画像決定部
１０００ 記憶部
１００１ 撮影画像記憶部
１００２ 受信画像記憶部
１００３ 自拠点画像管理ＤＢ
１００４ 他拠点画像管理ＤＢ
１００５ 合成画像管理ＤＢ
３０ 撮影装置
４０ プロジェクタ
５０ 通信ネットワーク
【先行技術文献】
【特許文献】
【００７２】
【特許文献１】特開２００４−０８０７５０公報
【技術分野】
【０００１】
本発明は、自拠点で撮影された画像と他拠点で撮影された画像を用いて画像を処理する画像処理装置に関する。
【背景技術】
【０００２】
近年、企業や教育機関、行政機関等では、会議や講演等において、文字や数字、図形が描かれたホワイトボード等の描画対象物の画像を保存して利用する技術が知られている。たとえば、スキャナ装置および印刷装置を備え、ホワイトボードの画像を走査して印刷するホワイトボード装置や、ホワイトボードに描かれた画像をビデオカメラ等の撮影装置で撮影して取得し、会議や講演の終了後に、ホワイトボードに描かれた画像を再生する技術が知られている。
【０００３】
また、会議中にはホワイトボードに対して文字、記号、図形等の描画像が描かれたり、消去されたりすることが繰り返されることが多い。このとき描画像が消去されずに描かれている間は描画量が増え、消去されると描画量が減ることになる。そして消去される直前の描画像には他の描画像よりも多くの情報が含まれているため、ユーザは消去される直前の描画像を参照したい機会が多いと考えられる。したがって、ビデオカメラによって撮影された撮影画像の中から、消去される直前の描画像を撮影した撮影画像（キーフレーム画像という）を抽出する技術が望まれている。
【０００４】
これを実現する技術として特許文献１には、ホワイトボードを撮影して得られた撮影画像のうち白またはグレーでないセルをストロークセルとしている。そして、ストロークセルの数が最大となった撮影画像をホワイトボードに描かれた文字や数字、図形等の描画像が消去される直前の撮影画像であるキーフレーム画像として指定することが記載されている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に示される技術を用いてテレビ会議を行い、、一の拠点で描画対象物（たとえばホワイトボード）に描画された描画像を表す画像データを他の拠点に送信し、他の拠点の描画対象物に一の拠点で撮影された画像を映し出す場合、他の拠点のビデオカメラは一の拠点で撮影された画像と他の拠点で描画対象物に描画された描画像とをともに撮影するので、他の拠点のビデオカメラによって撮影された画像の中から上記のように消去される直前の画像を適切に抽出することができなかった。
【課題を解決するための手段】
【０００６】
上記の課題を解決するため、請求項１にかかる発明は、他の画像処理装置と情報を送受信する画像処理装置であって、他の画像処理装置から受信画像データを受信する受信画像データ受信手段と、前記受信画像データ受信手段によって受信された受信画像データのグループ決めをし、前記グループを表す第一のグループ情報を決定する第一グループ情報決定手段と、自拠点で描画された画像を表す自拠点画像データを取得する自拠点画像データ取得手段と、前記自拠点画像データ取得手段によって取得された自拠点画像データのグループ決めをし、前記グループを表す第二のグループ情報を決定する第二グループ情報決定手段と、前記自拠点画像データ取得手段によって取得された前記自拠点画像データと前記受信画像データ受信手段によって受信された前記受信画像データとを用いて合成画像データを生成する合成画像生成手段と、前記合成画像生成手段によって生成された合成画像データが表す合成画像の経時的に変化する描画量が極大であるか否かを示すキーフレーム情報を決定するキーフレーム情報決定手段と、を有し、前記キーフレーム情報決定手段は、前記第一グループ情報決定手段によって決定された前記第一のグループ情報と前記第二グループ情報決定手段によって決定された前記第二のグループ情報に基づいて前記合成画像データのキーフレーム情報を決定することを特徴とする。
【発明の効果】
【０００７】
以上説明したように、本発明によれば、さらに、他の画像処理装置から受信画像データを受信し、自拠点で描画された自拠点画像データを取得し、それらを合成した合成画像のキーフレーム情報を決定するので、複数の場所での描画像を表した合成画像の中から描画像が消去される直前の合成画像を適切に抽出することが可能となる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態に係る画像処理システムの概略図である。
【図２】本発明の実施形態に係る画像処理装置のハードウェア構成図である。
【図３】本発明の実施形態に係る画像処理装置の機能ブロック図である。
【図４】自拠点画像管理テーブルを示す概念図である。
【図５】他拠点画像管理テーブルを示す概念図である。
【図６】合成画像管理テーブルを示す概念図である。
【図７】画像処理システムの処理を表すシーケンス図である。
【図８】各画像データが表す画像の例である。
【図９】差分画像を生成する処理を示した処理フロー図である。
【図１０】無人判定処理を示した処理フロー図である。
【図１１】本実施形態に係る画像処理システムの処理によって、決定される画像を示す概念図である。
【図１２】代表画像を決定する処理で実施される無人画像のグループ決めをする処理を示した処理フロー図である。
【図１３】合成画像のグループＩＤを決定する処理を示した処理フロー図である。
【図１４】合成画像のキーフレーム画像を決定する処理を示した処理フロー図である。
【発明を実施するための形態】
【０００９】
＜＜実施形態の全体構成＞＞
以下、図１乃至図１４を用いて、本発明の一実施形態について説明する。図１は、本発明の一実施形態に係る画像処理システムの概略図であり、まずは図１を用いて、本実施形態の概略を説明する。
【００１０】
図１に示す画像処理システム１は複数の画像処理装置（１０ａ、１０ｂ）、各画像処理装置（１０ａ、１０ｂ）の画像を照射する描画対象物（２０ａ、２０ｂ）、撮影装置（３０ａ、３０ｂ）、プロジェクタ（４０ａ、４０ｂ）、通信ネットワーク５０によって構築されている。なお、本実施形態では、画像処理装置（１０ａ、１０ｂ）のうち任意の画像処理装置を示す場合には「画像処理装置１０」といい、描画対象物（２０ａ、２０ｂ）のうち任意の描画対象物を示す場合には「描画対象物２０」といい、撮影装置（３０ａ、３０ｂ）のうち任意の撮影装置を示す場合には「撮影装置３０」といい、プロジェクタ（４０ａ、４０ｂ）のうち任意のプロジェクタを示す場合には「プロジェクタ４０」という。
【００１１】
画像処理装置１０は、撮影装置３０及びプロジェクタ４０とＵＳＢケーブル等により接続され、撮影装置３０が撮影した画像を記録し、通信ネットワーク５０を経由して、他の画像処理装置１０に送信する。
【００１２】
また、描画対象物２０ａは、ユーザが文字や図形等の描画画像２００ａを描画するホワイトボードや黒板、紙等の物品である。さらに、描画対象物２０ａには、プロジェクタ４０ａが照射する画像が映される。ここで、描画対象物２０ａのうちユーザが描画する領域を描画領域２０１ａ、その描画領域２０１ａの周辺部を周辺領域２０２ａとする。撮影装置３０ａは、描画画像２００ａを含む描画領域２０１ａ、周辺領域２０２ａとそれらの前面にある対象物を撮影して撮影画像を生成するカメラ等の装置である。プロジェクタ４０ａは、画像処理装置１０ａが記憶している画像を描画対象物２０ａに照射する。
【００１３】
同様に、描画対象物２０ｂは、ユーザが文字や図形等の描画画像２００ｂを描画するホワイトボードや黒板、紙等の物品である。されに、描画対象物２０ｂには、プロジェクタ４０ｂが照射する画像が映される。また、ここで、描画対象物２０ｂのうちユーザが描画する領域を描画領域２０１ｂ、その描画領域２０１ｂの周辺部を周辺領域２０２ｂとする。撮影装置３０ｂは、描画画像２００ａを含む描画領域２０１ｂ、周辺領域２０２ｂとそれらの前面にある対象物を撮影して撮影画像を生成するカメラ等の装置である。プロジェクタ４０ｂは、画像処理装置１０ｂが記憶している画像を描画対象物２０ｂに照射する。
【００１４】
なお、本実施形態では、描画画像（２００ａ、２００ｂ）のうち任意の描画対象物を示す場合には「描画領域２００」といい、描画領域（２０１ａ、２０１ｂ）のうち任意の描画対象物を示す場合には「描画領域２０１」といい、周辺領域（２０２ａ、２０２ｂ）のうち任意の周辺領域を示す場合には「周辺領域２０２」という。
【００１５】
また、通信ネットワーク５０は、画像処理装置１０ａと画像処理装置１０ｂにて、相互に各種データを送受信するためのものである。
【００１６】
＜＜実施形態のハードウェア構成＞＞
次に、本実施形態のハードウェア構成を説明する。
【００１７】
図２は、本発明の一実施形態に係る画像処理装置１０のハードウェア構成図である。画像処理装置１０は、画像処理装置１０全体の動作を制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１、画像処理装置用プログラムを記憶したＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２、ＣＰＵ１０１のワークエリアとして使用されるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３、各種データを記憶するＨＤ(Ｈａｒｄ Ｄｉｓｋ)１０４、ＣＰＵ１０１の制御にしたがってＨＤ１０４に対する各種データの読み出し又は書込みを制御するＨＤＤ(Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ)１０５、フラッシュメモリ等の記録メディア１０６に対するデータの読み出し又は書込み（記憶）を制御するメディアドライブ１０７、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するためのディスプレイＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１０８、通信ネットワークを利用してデータ伝送をするためのネットワークＩ／Ｆ１０９、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード１１１、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス１１２、着脱可能な記録媒体の一例としてのＣＤ−ＲＯＭ(Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ)１１３に対するデータの読み出し又は書込みを制御するＣＤ−ＲＯＭドライブ１１４、外部の装置と情報を送受信する外部装置Ｉ／Ｆ１１５、音声データに基づいて音声を出力するためのスピーカーＩ／Ｆ１１６、ディスプレイ１１７及び、上記各構成要素を電気的に接続するためのアドレスバスやデータバス等のバスライン１１０を備えている。
【００１８】
なお、上記画像処理装置用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア１０６やＣＤ−ＲＯＭ１１３等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。
【００１９】
＜＜実施形態の機能構成＞＞
次に、本実施形態の機能構成について説明する。図３は、本実施形態の画像処理装置１０の機能ブロック図である。本実施形態の画像処理装置１０は、送受信部１１、画像取得部１２、画像補正部１３、差分画像生成部１４、無人判定部１５、代表画像決定部１６、キーフレーム画像決定部１７、表示制御部１８ａ、音声出力制御部１８ｂ、記憶・読出処理部１９、合成画像生成部２１、情報統合部２２、及び、表示部１８０を有している。これら各部は、図２に示されている各構成要素のいずれかが、ＲＯＭ１０２に記憶されているプログラムに従ったＣＰＵ１０１からの命令によって動作することで実現される機能又は手段である。また、画像処理装置１０は、図２に示されているＨＤＤ１０５によって構築される記憶部１０００を有している。
【００２０】
（画像処理装置の各機能部）
次に、画像処理装置１０の各部を詳細に説明する。画像処理装置１０の送受信部１１は、ネットワークＩ／Ｆ１０９によって実現され、通信ネットワークを介して他の端末、装置又はシステムと各種データ（情報）の送受信を行う。なお、送受信部は受信画像データ受信手段の一例である。
【００２１】
画像取得部１２は、外部装置Ｉ／Ｆ１１５によって実現され、ケーブル等を介して撮影装置３０が撮影した撮影画像を表す撮影画像データを取得し、取得した撮影画像データを一意に識別する画像ＩＤをその撮影画像データに付与する。画像ＩＤは、撮影画像データを表す撮影画像が撮影された昇順に付与される。なお、画像取得部１２は自拠点画像データ取得手段の有する撮影画像データ取得手段の一例である。
【００２２】
画像補正部１３は、画像取得部１２で取得された撮影画像データを台形補正等によって補正する。
【００２３】
差分画像生成部１４は、画像補正部１３で補正された撮影画像データが表す撮影画像から、他の拠点で撮影され画像処理装置１０によって受信された受信画像データが表す画像を差し引いた差分画像を生成する。ここで、受信画像データとは、送受信部１１が他の画像処理装置１０から通信ネットワーク５０を介して受信した画像データである。受信画像データには、それを一意に識別するための情報として画像ＩＤが付与されている。この画像ＩＤは、受信画像が生成された昇順に付与されている。
【００２４】
差分画像生成部１４は、輝度補正部１４ａ、差分算出部１４ｂ、輝度値決定部１４ｃによって構成される。輝度補正部１４ａは、差分画像を形成する各画素について、画素の周辺にある画素の輝度値の平均値に対するその画素の輝度値の比率に背景色の輝度値を掛け合わせることにより輝度平均値を算出し、さらに黄色の成分を除去することによって輝度値を補正する。なお、黄色の成分を除去する処理は、会議室内の照明によって、ホワイトボードの画像が黄色がかってしまうため、その影響を除去するために実施される。
【００２５】
差分算出部１４ｂは、輝度補正部１４ａが補正した輝度値から、受信画像データが表す受信画像の同じ位置にある画素の輝度値を減じることによって差分輝度値を算出する。輝度値決定部１４ｃは、差分算出部１４ｂが算出した差分輝度値に基づいて、差分画像の輝度値を決定する。なお、生成された差分画像は後述する記憶・読出処理部１９によって自拠点画像管理ＤＢに記憶される。また、画像ＩＤは差分画像に対応して記憶・読出処理部１９によって自拠点画像管理ＤＢに記憶される。また、差分画像生成部１４は差分画像生成手段の一例である。
【００２６】
無人判定部１５は、後述する合成画像生成部２１によって合成された差分画像のうち、描画対象物２０を除くものが撮影されていない差分画像を、無人画像として決定する。描画対象物２０を除くものとは、たとえば、描画対象物２０に描画画像を書き込む人物等である。無人判定部１５は、輝度取得部１５ａ、差分判定部１５ｂ、輝度変化画素数判定部１５ｃによって構成される。輝度取得部１５ａは、差分画像生成部１４が生成した差分画像の各画素の輝度を取得する。差分判定部１５ｂは、輝度取得部１５ａが連続する２枚の画像についてそれぞれ取得した輝度の差分が閾値を超えているか否かを判定する。輝度変化画素数判定部１５ｃは、差分判定部１５ｂで輝度が閾値を超えているとされた画素の数が所定数以上であるか否かを判定し、所定数以上である場合には、その画像を無人画像でないとし、所定数以下である場合には、その画像を無人画像とする。
【００２７】
なお、無人判定部１５によって画像が無人画像であると判定された場合、記憶・読出処理部１９は差分画像に対応する無人フラグを「ｔｒｕｅ」として記憶する。また、無人判定部１５によって差分画像が無人画像でないと判定された場合、記憶・読出処理部１９は差分画像に対応する無人フラグを「ｆａｌｓｅ」として自拠点画像管理ＤＢ１００３記憶する。
【００２８】
代表画像決定部１６は、無人判定部１５で決定された無人画像のうち、同一の画像となる無人画像群に同一のグループＩＤを決定するグループ決めを行う。そして、代表画像決定部１６は、同一のグループＩＤが対応付けられている無人画像群から任意の一の無人画像を代表画像として決定する。代表画像決定部１６は、同一判定部１６ａ、グループ決定部１６ｂによって構成される。同一判定部１６ａは、無人判定部１５で判定された無人画像が、直前に撮影された無人画像と同一であるか否かを判定する。ここで、直前に撮影された無人画像とは、その無人画像の画像ＩＤが直前の画像ＩＤに対応する無人画像である。
【００２９】
グループ決定部１６ｂは、同一判定部１６ａでの決定に基づいて、無人画像のグループＩＤを決定する。具体的には、無人画像が、その直前に撮影された無人画像と同一であれば、その無人画像に対応するグループＩＤを直前に撮影された無人画像のグループＩＤと同一にする。無人画像が、その直前に撮影された無人画像と同一であれば、その無人画像に対応するグループＩＤを直前に撮影された無人画像のグループＩＤに１を加算したものとする。このようにして、決定されたグループＩＤが同一の無人画像のうち一の画像が代表画像とされる。なお、グループ決定部１６ｂによって決定されたグループＩＤはその無人画像である差分画像に対応づけて、記憶・読出処理部１９が自拠点画像管理ＤＢ１００３に記憶する。グループ決定部は第一グループ情報手段、第二グループ情報手段の一例である。
【００３０】
キーフレーム画像決定部１７は、撮影とともに経時的に変化する描画量が極大となる画像を、キーフレーム画像として決定する。キーフレーム画像決定部１７は、描画量算出部１７ａ、描画量判定部１７ｂ、最終決定部１７ｃによって構成される。経時的に変化する描画量が極大となる代表画像とは、その描画量が直前に撮影された代表画像の描画量より多く、直後に撮影された代表画像の描画量より少ない代表画像である。このような代表画像をキーフレーム合成画像とし、キーフレーム合成画像を決定することによって、ユーザによって描画された描画物が消去される直前の画像を決定することができる。
【００３１】
描画量算出部１７ａは、代表画像決定部１６で決定された代表合成画像の描画量を算出する。ここで、描画量とは、描画領域２０１内にある画像を形成する各画素のうち、輝度値が所定の閾値より低い画素の数量である。描画量判定部１７ｂは、描画量算出部１７ａによって算出された描画量が、直前に撮影された代表画像の描画量、及び直後に撮影された代表画像の描画量より多いか否かを判定し、多いと判定した場合には、最終決定部１７ｃがその代表画像をキーフレーム画像とする。また、描画量判定部１７ｂは、描画量算出部１７ａによって算出された描画量が、直前に撮影された代表画像の描画量より少ない、または直後に撮影された代表画像の描画量より少ないか否かを判定し、いずれかの描画量より少ないと判定した場合には、最終決定部１７ｃがその代表画像をキーフレーム画像としないと決定する。
【００３２】
なお、キーフレーム画像決定部１７によってキーフレーム画像であると決定された場合、記憶・読出処理部１９は差分画像に対応するキーフレームフラグを「ｔｒｕｅ」として記憶する。また、キーフレーム画像決定部１７によって差分画像がキーフレーム画像でないと判定された場合、記憶・読出処理部１９は差分画像に対応するキーフレームフラグを「ｆａｌｓｅ」として自拠点画像管理ＤＢ１００３記憶する。
【００３３】
表示制御部１８ａは、図２に示されているディスプレイＩ／Ｆ１０８によって実現され、後述する表示部１８０に対して画像を表示させるための制御を行う。音声出力制御部１８ｂは、図２に示されているスピーカーＩ／Ｆ１１６によって実現され、図示しないスピーカーに音声を出力させるための制御を行う。
【００３４】
表示部１８０は、図２に示されているディスプレイ１１７によって実現され、表示制御部１８ａの制御によって画像を表示する。
【００３５】
また、記憶・読出処理部１９は、図２に示すＨＤＤ１０５として実現されている記憶部１０００に各種データを記憶したり、記憶部１０００に記憶された各種データを読み出したりする。記憶部１０００には、カメラによって撮影された画像を表す画像データを記憶する撮影画像記憶部１００１、他拠点から受信した受信画像記憶部１００２がある。また、記憶部１０００には、自拠点画像管理テーブルによって構成されている自拠点画像管理ＤＢ(Ｄａｔａ Ｂａｓｅ)１００３、他拠点画像管理テーブルによって構成されている他拠点画像管理ＤＢ１００４、合成画像管理テーブルによって構成されている合成画像管理ＤＢ１００５が構築されている。
【００３６】
合成画像生成部２１は、自拠点画像管理ＤＢ１００３に記憶されている自拠点画像データが表す自拠点画像と、他拠点画像管理ＤＢ１００４に記憶されている他拠点画像データが表す他拠点画像とを合成した合成画像を生成する。合成画像生成部は合成画像生成手段の一例である。
【００３７】
情報統合部２２は、自拠点画像管理ＤＢ１００３に記憶されている情報と、他拠点画像管理ＤＢ１００４に記憶されている情報に基づいて、合成画像管理ＤＢ１００５に記憶する情報を決定する。情報統合部２２は、合成画像グループ決定部２２ａ、代表合成画像決定部２２ｂによって構成される。
【００３８】
合成画像グループ決定部２２ａは、自拠点画像管理ＤＢ１００３に記憶されている無人フラグ、グループＩＤと、他拠点画像管理ＤＢ１００４に記憶されている無人フラグ、グループＩＤとに基づいて、合成画像管理ＤＢ１００４に記憶するグループＩＤを決定する。代表合成画像決定部２２ｂは、同一のグループＩＤである合成画像から代表画像を決定する。
【００３９】
ここまでで説明した各機能部は画像処理システム１の複数の画像処理装置１０（画像処理装置１０ａ、画像処理装置１０ｂ）のそれぞれが有している。以降の説明では上記の差分画像のうち拠点Ａの画像処理装置１０ａによって生成されたものを自拠点画像、拠点Ｂの画像処理装置１０ｂによって生成されたものを他拠点画像という。また、自拠点画像を表すデータを自拠点画像データ（差分画像データａ）といい、他拠点画像を表すデータを他拠点画像データ（差分画像データｂ）という。
【００４０】
（自拠点画像管理テーブル）
記憶部１０００には、図４に示されているような自拠点画像テーブルによって構成されている自拠点画像管理ＤＢ１００３が構築される。この自拠点画像管理テーブルでは、差分画像生成部１４で生成された画像を一意に識別する画像ＩＤごとに、画像名、無人フラグ、グループＩＤが対応付けられて記憶されている。例えば、図４に示されている自拠点画像管理テーブルにおいて、画像ＩＤ「１」の画像は、画像名「Ａ００００１．ｊｐｇ」、無人フラグ「ｔｒｕｅ」、グループＩＤ「１」であることを表している。ここで、画像ＩＤは撮影装置によって撮影された昇順に付与されるものとする。具体的には、最初に生成された画像の画像ＩＤが「１」、次に生成された画像の画像ＩＤが「２」となり、以降、順に１を加えた値を画像ＩＤとする。
【００４１】
なお、無人フラグ、グループＩＤはそれぞれ自拠点の画像処理装置１０の無人判定部１５、グループ決定部１６ｂ、代表画像決定部１６、キーフレーム画像決定部によって判定もしくは決定されるものであり、記憶・読出処理部１によって自拠点画像管理ＤＢ１００３の自拠点画像管理テーブルに記憶される。
【００４２】
（他拠点画像管理テーブル）
記憶部１０００には、図５に示されているような他拠点画像テーブルによって構成されている他拠点画像管理ＤＢ１００４が構築される。この他拠点画像管理テーブルでは、他拠点から受信した画像を一意に識別する画像ＩＤごとに、画像の名称を表す画像名、無人無人フラグ、グループＩＤが対応付けられて記憶されている。例えば、図５に示されている画像データ管理テーブルにおいて、画像ＩＤ「１」の画像は、画像名「Ｂ００００１．ｊｐｇ」、無人フラグ「ｔｒｕｅ」、グループＩＤは「１」であることを表している。
【００４３】
なお、無人フラグ、グループＩＤはそれぞれ他拠点の画像処理装置１０の無人判定部１５、グループ決定部１６ｂ、代表画像決定部１６、キーフレーム画像決定部によって判定もしくは決定されるものであり、差分画像、画像ＩＤとともに自拠点の画像処理装置１０に送信され、記憶・読出処理部１によって他拠点画像管理ＤＢ１００４の他拠点画像管理テーブルに記憶される。
【００４４】
ここでは、自拠点と他拠点で交互に画像が撮影されるものとし、自拠点で撮影された画像を識別する画像ＩＤを「１」、次に他拠点で撮影された画像の画像ＩＤを「１」、続いて、自拠点で撮影された画像の画像ＩＤを「２」、次に他拠点で撮影された画像の画像ＩＤを「２」とする。このようにすることによって、各拠点で撮影された順に画像ＩＤが付与されることになり、また、自拠点で撮影された画像と、その直後に他拠点で撮影された画像には同じＩＤが付与されることになる。
【００４５】
（合成画像管理テーブル）
記憶部１０００には、図６に示されているような合成画像テーブルによって構成されている合成画像管理ＤＢ１００５が構築される。この合成画像管理テーブルでは、合成画像を一意に識別する画像ＩＤごとに、画像名、無人画像であるか否かを表す無人フラグ、グループＩＤ、代表画像であるか否かを表す代表フラグ、キーフレーム画像であるか否かをあらわすキーフレームフラグ、及び、描画量が対応付けられて記憶されている。例えば、図６に示されている画像データ管理テーブルにおいて、画像ＩＤ「１」の画像は、画像名「ｍｅｒｇｅ００００１．ｊｐｇ」、無人フラグ「ｔｒｕｅ」、グループＩＤ「１」、代表フラグ「ｔｒｕｅ」、キーフラグ「ｔｒｕｅ」、描画量「３８００」であることを表している。
【００４６】
＜＜実施形態の処理・動作＞＞
以上が、本実施形態に係る画像処理システム１の構成及び機能（又は手段）の説明であり、続いて、図７乃至図１３を用いて、第一の実施形態に係る画像処理システム１における処理方法を説明する。なお、図７は、画像処理システムの処理を表すシーケンス図である。図８は、各画像データが表す画像の例である。図９は、差分画像を生成する処理を示した処理フロー図である。図１０は、無人判定処理を示した処理フロー図である。図１１は、本実施形態に係る画像処理システムの処理によって、決定される画像を示す概念図である。図１２は、代表画像を決定する処理で実施される無人画像をグループ決めする処理を示した処理フロー図である。図１３は、合成画像のグループＩＤを決定する処理を示した処理フロー図である。図１４は、第一の実施形態における合成画像のキーフレーム画像を決定する処理を示した処理フロー図である。
【００４７】
図７を用いて、本実施形態に係る画像処理システム１の処理を説明する。撮影装置３０ａとしてのビデオカメラが描画対象物２０ａとしてのホワイトボード及びホワイトボードの前面にある光景を撮影して、撮影画像データａを生成する（ステップＳ１）。この撮影画像データａが表す撮影画像ａは図８（１）に示すように、拠点Ａで描かれた描画像「あ」と、拠点Ｂで描かれ、拠点Ａのプロジェクタ４０ａによって照射されている描画像「い」を撮影した画像である。ここでの描画像「い」は拠点Ｂのカメラで撮影されたものをプロジェクタで映しているため、拠点Ｂのホワイトボードで直接見るものより、画質が劣化している。
【００４８】
次に、画像取得部１２が、ステップＳ１で撮影装置３０ａによって生成された撮影画像データａを取得し、撮影画像データａを一意に識別する画像ＩＤを付与する（ステップＳ２）。画像ＩＤは撮影装置から取得された昇順に付与されるものとする。具体的には、最初に撮影された画像の画像ＩＤが「１」、次に撮影された画像の画像ＩＤが「２」とされ、以降、順に１を加えた値を画像ＩＤとされる。
【００４９】
次に、画像補正部１３が、ステップＳ２で画像取得部１２によって取得された画像データａを台形補正等により補正する（ステップＳ３）。
【００５０】
そして、差分画像生成部１４が、ステップＳ３で補正された画像データａが表す画像ａから、拠点Ｂの画像処理装置１０ｂによって送信された画像データｂが表す画像ｂを差し引いた差分画像（ａ−ｂ）を表す差分画像データ（ａ−ｂ）を生成する（ステップＳ４）。この処理について図９を用いて説明する。
【００５１】
まず、記憶・読出処理部１９が、ステップＳ２で取得された画像データａの画像ＩＤを検索キーとして、他拠点画像管理ＤＢ１００４に記憶されている画像データｂを読み出す（ステップＳ４１）。ここで画像データｂは、あらかじめ拠点Ｂの画像処理装置１０ｂから、描画対象物２０ｂを撮影した画像データｂが送信され（図７のステップＳ５’）たものである。拠点Ａの画像処理装置１０ａの送受信部１１が、その画像データｂを受信し（図７のステップＳ５’）、記憶・読出処理部１９が他拠点画像管理ＤＢ１００４に他拠点画像データとして記憶されている（図７のステップＳ６’）。なお、ここで、拠点Ｂから送信される画像データｂは、後述する拠点Ａの画像処理装置１０ａで実施されるステップＳ１からステップＳ４の処理と同様の処理を経ているものである。また、ステップＳ５’、ステップＳ６’の処理は、それぞれ後述するステップＳ５、ステップＳ６と同様の処理である。つまり、画像データｂは、図８（２）に示されるように、拠点Ｂのホワイトボードに描かれた描画像「い」が描画されている画像である。
【００５２】
そして、差分算出部１４ｂは、ステップＳ３で台形補正された画像データａが表す画像ａの各画素の輝度値から、ステップＳ４１で読み出された画像データｂが表す画像ｂの同じ位置にある画素の輝度値を減じた値を差分値として算出する（ステップＳ４２）。次に、差分値が所定の閾値より大きいか否かを判定する（ステップＳ４３）。ステップＳ４３で、差分値が閾値より大きいと判定された場合には、その差分値を定数倍する等の所定の処理により増加させた値を、該当の位置の輝度値とする（ステップＳ４４）。ステップＳ４３で、差分値が閾値より小さいと判定された場合には、背景となる画素の輝度値より高い所定の値を輝度値とする（ステップＳ４５）。このようにして得られた輝度値に背景色の輝度値を加算する（ステップＳ４６）。ステップＳ４１からステップＳ４６までの処理を全ての画素に対して実施し、各画素に対して輝度値が決定された画像が差分画像（ａ−ｂ）（以降、差分画像ａ’という。）となる。差分画像ａ’は、図８（３）に示されるように、拠点Ａのホワイトボードに描かれた描画像「あ」が描画されている画像となる。これにより、劣化している描画像「い」が取り除かれ、拠点Ａのカメラでのみ撮影されているため、劣化していない描画像「あ」だけが残る画像となる。
【００５３】
このようにして生成された差分画像ａ’を表す差分画像データａ’を、送受信部１１が通信ネットワーク５０を介して拠点Ｂの画像処理装置１０ｂに対して送信する（ステップＳ５）。画像処理装置１０ｂの送受信部１１は受信した差分画像データａ’を他拠点画像データとして、画像処理装置１０ｂの他拠点画像管理ＤＢ１００４に記憶する（ステップＳ６）
一方、ステップＳ４で生成された差分画像を表す差分画像データは、画像処理装置１０ａの記憶・読出処理部１９によって、自拠点差分画像データとして自拠点画像管理ＤＢ１００３に画像ＩＤと関連付けて記憶される。
【００５４】
続いて、ステップＳ４で生成され、自拠点画像管理ＤＢ１００３に記憶されている差分画像データａ’に対して、無人判定部１５及び記憶・読出処理部１９が、ホワイトボード上に描かれた描画画像２００以外の撮影対象物（人物等）が含まれるか否かを判定する無人判定処理を実施する（ステップＳ７）。無人判定処理の詳細について図１０を用いて説明する。ステップＳ５で生成された差分画像データａ’が表す差分画像ａ’の画素ごとの輝度を、輝度取得部１５ａが取得する（ステップＳ７１）。輝度取得部１５ａによって差分画像ａ’の輝度が取得されると、差分判定部１５ｂは差分画像を形成する各画素の輝度と、その差分画像に対応する画像ＩＤの直前の画像ＩＤである画像の同じ位置にある画素の輝度との差分を算出し、その差分が閾値を超えているか否か判定する（ステップＳ７２）。続いて、輝度変化画素数判定部１５ｃが、それぞれの画像に対して算出された輝度の差分が閾値を超えている画素を輝度変化画素としてその数を算出し（ステップＳ７３）、輝度変化画素の数が所定の値を超えているか判定する（ステップＳ７４）。ステップＳ７４で、輝度変化画素の数が所定の値を超えていると判定された場合、差分画像ａ’は無人でないとされ、記憶・読出処理部１９が、その差分画像ａ’に対応している無人フラグの値を「ｆａｌｓｅ」とする（ステップＳ７５）。ステップＳ７４で輝度変化画素の数が所定の値以下である場合、差分画像ａ’は無人であるとされ、記憶・読出処理部１９は、その画像に対応する無人フラグの値を「ｔｒｕｅ」とする（ステップＳ７６）。無人判定部１５及び記憶・読出処理部１９は、ステップＳ７１からステップＳ７６までの処理を、もっとも小さい画像ＩＤの差分画像を除く、全ての差分画像に対して実施する。これにより、図１１の（１）に示されるＦ１乃至Ｆ１０の差分画像から、人物等が撮影されている差分画像Ｆ２、Ｆ５、Ｆ８を除いた差分画像が、図１１の（２）に示されるように決定されることになる。
【００５５】
次に、対応する無人フラグが「ｔｒｕｅ」である差分画像（以降、無人画像という。）のうち、直前に撮影された無人画像と変化がないものに対してグループＩＤを決定するグループ決めの処理を行う（ステップＳ８）。グループＩＤを決定するグループ決めの処理の詳細について図１２を用いて説明する。自拠点画像管理ＤＢ１００３に記憶されている無人画像が、その画像の画像ＩＤの、直前の画像ＩＤの無人画像と同一であるかを、同一判定部１６ａが判定する（ステップＳ８１）。ここで、画像が同一であるか否かを判定する方法としてはテンプレートマッチング等の技術が用いられる。また、ブロックマッチング法を用いて、描画対象物に描かれている描画像に変化はないが、描画像の位置がずれている画像を同一の画像として判定することにより、より精度の高い判定を行うことができる。ステップＳ８１で、無人画像が直前の画像ＩＤの無人画像と同一であると判定された場合には、グループ決定部１６ｂは、直前の画像ＩＤである無人画像のグループＩＤと同じグループＩＤである「１」として決定し、記憶・読出処理部１９が自拠点画像管理テーブルに、その画像に関連付けて記憶する（ステップＳ８２）。ステップＳ８１で、無人画像が直前のグループＩＤの無人画像と同一でないと判定された場合には、グループ決定部１６ｂは、判定対象の無人画像に対応するグループＩＤを、直前のグループＩＤに１を加算した「２」として決定し、この値を記憶・読出処理部１９が自拠点画像管理テーブルに記憶する（ステップＳ８３）。ステップ８１からステップ８３までの処理を、もっとも小さい画像ＩＤの無人画像を除く、全ての無人画像に対して行う。これにより、図１１の（３）に示すように、無人画像のうち、無人画像Ｆ１のグループＩＤは「１」、無人画像Ｆ３及びＦ４のグループＩＤは「２」、無人画像Ｆ６及びＦ７のグループＩＤは「３」、無人画像Ｆ９及びＦ１０のグループＩＤは「４」となる。
【００５６】
同様にして、画像処理装置１０ｂは、拠点Ｂで撮影された画像を表す画像データｂに対して、差分画像データ（画像データｂ’）を生成し、無人判定処理、グループ処理を行う。これらの処理の詳細は、上述した画像処理装置１０ａでの処理と同様であるため、説明を省略する。また、画像処理装置１０ｂの送受信部１１は、画像処理装置１０ｂで生成された画像データｂ’と、画像データｂ’の画像名、無人フラグ、グループＩＤを表す情報を画像処理装置１０ａに送信する。そして、画像処理装置１０ａの記憶・読出処理部１９が画像データｂ’とこれらの情報を他拠点画像管理ＤＢ１００５に記憶する。なお、拠点Ｂで撮影された画像データｂは、画像処理装置１０ａに送信され、画像処理装置１０ａが差分画像データ（画像データｂ’）を生成し、無人判定処理、グループ処理する処理を行ってもよい。
【００５７】
上述のようにして、自拠点画像管理ＤＢ１００３で管理されている自拠点差分画像データａ’、他拠点画像管理ＤＢ１００４で管理されている他拠点差分画像データｂ’のそれぞれに対応する無人フラグ、グループＩＤが決定されると、合成画像生成部２１が、自拠点差分画像データａ’と他拠点差分画像データｂ’を合成して、合成画像データ（ａ’＋ｂ’）を生成する（ステップＳ９）。具体的には、同一の画像ＩＤの差分画像データａ’と差分画像データｂ’を合成する。
【００５８】
そして、情報統合部２２及び記憶・読出処理部１９が、ステップＳ９で生成された合成画像データ（ａ’＋ｂ’）に対応するグループＩＤ、及び、代表フラグを決定する。（ステップＳ１０）。まず、グループＩＤを決定する処理について、図１３を用いて説明する。図１３に示されるように、まず、記憶・読出処理部１９が、画像ＩＤが同一の自拠点差分画像データａ’、他拠点差分画像データｂ’について、関連付けられて記憶されている無人フラグを、それぞれ自拠点画像管理ＤＢ１００３、他拠点画像管理ＤＢ１００４から読み出す（ステップＳ１０１）。そして、合成画像グループ決定部２２ａは、読み出された自拠点差分画像データａ’の無人フラグと他拠点差分画像データｂ’の無人フラグの両方とも「ｔｒｕｅ」であるか否か判定する（ステップＳ１０２）。ステップＳ１０２で、無人フラグのいずれかが「ｔｒｕｅ」でないと判定された場合、合成画像データ（ａ’＋ｂ’）に対応するグループＩＤはＮｕｌｌとされる（ステップＳ１０３）。
【００５９】
ステップＳ１０２で、無人フラグが両方とも「ｔｒｕｅ」であると判定された場合、合成画像グループ決定部２２ａは、自拠点差分画像データａ’のグループＩＤと他拠点差分画像データｂ’のグループＩＤの組み合わせが、直前に生成された自拠点差分画像データａ’のグループＩＤと他拠点差分画像データｂ’のグループＩＤの組み合わせと同一であるか否か判定する（ステップＳ１０４）。同一であると判定された場合には、合成画像データ（ａ’＋ｂ’）のグループＩＤは、直前に生成された合成画像データのグループＩＤと同じ値とされ、記憶・読出処理部１９がその値を合成画像管理ＤＢ１００５に記憶する（ステップＳ１０５）。
【００６０】
ステップＳ１０４で同一でないと判定された場合には、合成画像データ（ａ’＋ｂ’）のグループＩＤは直前に生成された合成画像データのグループＩＤに１を加算した値とされ、記憶・読出処理部１９がその値を合成画像管理ＤＢ１００５に記憶する（ステップＳ１０６）。
【００６１】
このようにして、合成画像グループ決定部２２ａが、合成画像データのグループＩＤを決定すると、代表合成画像決定部２２ｂが、同一のグループＩＤである合成画像のうち、もっとも画像ＩＤの小さい合成画像を代表画像と決定する。そして、記憶・読出処理部１９が代表画像と決定された合成画像に対応する代表フラグ「ｔｒｕｅ」を合成画像管理ＤＢ１００５に記憶する。
【００６２】
次に、ステップＳ１０で決定された代表合成画像（ａ’＋ｂ’）のうち、キーフレーム合成画像を決定する処理を行う（ステップＳ１１）。キーフレーム合成画像を決定する処理の詳細を、図１４を用いて説明する。まず、描画量算出部１７ａが、代表合成画像（ａ’＋ｂ’）の描画量を算出する（ステップＳ１１１）。ここで、描画量の算出は輝度が閾値を超えている画素の数をカウントすることによって行われる。そして、描画量判定部１７ｂが、その代表合成画像（ａ’＋ｂ’）の直前の画像ＩＤの代表合成画像（ａ’＋ｂ’）の描画量より大きいか否かを判定する（ステップＳ１１２）。ステップＳ１１１で、代表合成画像（ａ’＋ｂ’）の描画量が直前の画像ＩＤである代表画像（ａ’＋ｂ’）の描画量より大きい場合には、描画量判定部１７ｂは、その代表合成画像（ａ’＋ｂ’）が、直後の画像ＩＤである代表合成画像（ａ’＋ｂ’）の描画量より大きいか否かを判定する（ステップＳ１１３）。代表画像の描画量が直後の画像ＩＤである代表画像（ａ’＋ｂ’）の描画量より大きい場合には、最終決定部１７ｃが、その代表合成画像（ａ’＋ｂ’）をキーフレーム合成画像と決定し、記憶・読出処理部１９が、画像データ管理テーブルの対応するキーフラグ「ｔｒｕｅ」を記憶する（ステップＳ１１４）。
【００６３】
一方、ステップＳ１１２で、代表合成画像（ａ’＋ｂ’）の描画量が直前の画像ＩＤである代表合成画像（ａ’＋ｂ’）の描画量以下である場合には、最終決定部１７ｃが、その代表合成画像（ａ’＋ｂ’）をキーフレーム合成画像でないと決定し、記憶・読出処理部１９は、画像データ管理テーブルの対応するキーフラグ「ｆａｌｓｅ」を記憶する（ステップＳ１１５）。ステップ１１３で、代表合成画像（ａ’＋ｂ’）の描画量が直前の画像ＩＤである画像の描画量以下である場合には、記憶・読出処理部１９は、合成画像データ管理テーブルの対応するキーフラグ「ｆａｌｓｅ」とする（ステップＳ１１５）。ステップＳ１１１からステップＳ１１５までの処理を、もっとも小さい画像ＩＤの代表合成画像（ａ’＋ｂ’）を除く、全ての代表合成画像（ａ’＋ｂ’）に対して行う。これにより、図１１の（５）に示すように、画像Ｆ３及びＦ９がキーフレーム合成画像として決定される。
【００６４】
＜＜実施形態の主な効果＞＞
以上説明したように、本実施形態よれば、描画対象物以外のものを含まない画像を決定し、それらの画像からキーフレーム画像を決定することによって、描画対象物に描かれた文字や数字、図形等の描画像が消去される直前の撮影画像であるキーフレーム画像を決定することが可能となる。
【００６５】
さらに、複数の拠点で描画対象物に描かれた描画像を撮影した撮影画像を合成して合成画像を保存する場合に、その合成画像のキーフレーム画像を決定することが可能となる。複数の拠点で描画対象物に描かれた描画像を撮影した撮影画像を合成して合成画像を保存する場合に、その合成画像のキーフレーム画像を決定することが可能となる。
【００６６】
＜＜実施形態の補足＞＞
上述の実施形態では、画像取得部１２が自拠点で撮影された画像を取得する処理と、送受信部１１が他拠点から画像を受信する処理が交互に行われ、記憶・読出部１９が取得もしくは受信された順に１ずつ増加した画像ＩＤを画像に対応付けて記憶する。そして、合成画像生成部２１は同じ画像ＩＤである自拠点の差分画像と他拠点の差分画像を合成するとしているが、それぞれの拠点でカメラによって画像が撮影された時刻に関する情報を対応付けて記憶し、自拠点差分画像と、その時間が最も近い他拠点差分画像を合成するようにしてもよい。
【００６７】
また、代表フレームを決定する処理において、同一のグループＩＤを有する画像フレームのうち、もっとも撮影時刻が早い画像フレームの代表フレームフラグを「ｔｒｕｅ」とし、それ以外の画像フレームの代表フレームフラグを「ｆａｌｓｅ」としたが、同一のグループＩＤを有する画像フレームのうち、任意の１つの画像フレームの代表フレームフラグを「ｔｒｕｅ」とし、それ以外の画像フレームの代表フレームフラグを「ｆａｌｓｅ」としてもよい。
【００６８】
また、無人判定処理の詳細において、輝度取得部１２は、画像フレームが表す画像の周辺領域２０２内の、画素ごとの輝度を取得してもよい。周辺領域２０２の前面に描画する人が存在する場合が多いため、このように周辺領域２０２の輝度を測定するだけで、人のいる画像フレームであるか否かを判定するには十分であり、このようにすることで、描画領域２０１及び周辺領域２０２の画素の輝度を測定するより、処理量が減少しＣＰＵの負荷の低減を図ることができる。
【００６９】
また、上述の実施形態では、画像処理装置１０ａが、拠点Ａで撮影された撮影画像が表す画像データ、拠点Ｂから受信された受信画像データに基づいて各処理を行っているが、画像処理装置１０ｂ、通信ネットワーク５０に接続されているサーバ等の情報処理装置がそれらの処理を行ってもよい。
【００７０】
また、黒板等の黒い描画対象物２０に白いペンやチョーク等で描画画像２００を形成する場合にも適用できる。この場合、描画量とは、描画領域２０１内にある各画素のうち、輝度値が所定の閾値より高い画素の数量とする。
【符号の説明】
【００７１】
１０ 画像処理装置
１１ 送受信部
１２ 画像取得部
１３ 画像補正部
１４ 差分画像生成部
１４ａ 輝度補正部
１４ｂ 差分算出部
１４ｃ 輝度値決定部
１５ 無人判定部
１５ａ 輝度取得部
１５ｂ 差分判定部
１５ｃ 輝度変化画素数判定部
１６ 代表画像決定部
１６ａ 同一判定部
１６ｂ グループ決定部
１７ キーフレーム画像決定部
１７ａ 描画量算出部
１７ｂ 描画量判定部
１７ｃ 最終決定部
１８ａ 表示制御部
１８ｂ 音声出力制御部
１８０ 表示部
１９ 記憶・読出処理部
２０ 描画対象物
２００ 描画画像
２０１ 描画領域
２０２ 周辺領域
２１ 合成画像生成部
２２ 情報統合部
２２ａ 合成画像グループ決定部
２２ｂ 代表合成画像決定部
１０００ 記憶部
１００１ 撮影画像記憶部
１００２ 受信画像記憶部
１００３ 自拠点画像管理ＤＢ
１００４ 他拠点画像管理ＤＢ
１００５ 合成画像管理ＤＢ
３０ 撮影装置
４０ プロジェクタ
５０ 通信ネットワーク
【先行技術文献】
【特許文献】
【００７２】
【特許文献１】特開２００４−０８０７５０公報
【特許請求の範囲】
【請求項１】
他の画像処理装置と情報を送受信する画像処理装置であって、
他の画像処理装置から受信画像データを受信する受信画像データ受信手段と、
前記受信画像データ受信手段によって受信された受信画像データのグループ決めをし、前記グループを表す第一のグループ情報を決定する第一グループ情報決定手段と、
自拠点で描画された画像を表す自拠点画像データを取得する自拠点画像データ取得手段と、
前記自拠点画像データ取得手段によって取得された自拠点画像データのグループ決めをし、前記グループを表す第二のグループ情報を決定する第二グループ情報決定手段と、
前記自拠点画像データ取得手段によって取得された前記自拠点画像データと前記受信画像データ受信手段によって受信された前記受信画像データとを用いて合成画像データを生成する合成画像生成手段と、
前記合成画像生成手段によって生成された合成画像データが表す合成画像の経時的に変化する描画量が極大であるか否かを示すキーフレーム情報を決定するキーフレーム情報決定手段と、
を有し、
前記キーフレーム情報決定手段は、前記第一グループ情報決定手段によって決定された前記第一のグループ情報と前記第二グループ情報決定手段によって決定された前記第二のグループ情報に基づいて前記合成画像データのキーフレーム情報を決定することを特徴とする前記画像処理装置。
【請求項２】
他の画像処理装置と情報を送受信する画像処理装置であって、
他の画像処理装置から受信画像データ、及び、前記受信画像データの第一のグループ情報を受信する受信画像データ受信手段と、
自拠点で描画された画像を表す自拠点画像データを取得する自拠点画像データ取得手段と、
前記自拠点画像データ取得手段によって取得された自拠点画像データのグループ決めをし、前記グループを表す第二のグループ情報を決定する第二グループ情報決定手段と、
前記自拠点画像データ取得手段によって取得された前記自拠点画像データと前記受信画像データ受信手段によって受信された前記受信画像データとを用いて合成画像データを生成する合成画像生成手段と、
前記合成画像生成手段によって生成された合成画像データが表す合成画像の経時的に変化する描画量が極大であるか否かを示すキーフレーム情報を決定するキーフレーム情報決定手段と、
を有し、
前記キーフレーム情報決定手段は、前記受信画像データ受信手段によって受信された前記第一のグループ情報と前記第二グループ情報決定手段によって決定された前記第二のグループ情報に基づいて前記合成画像データのキーフレーム情報を決定することを特徴とする前記画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置であって、
前記自拠点画像データ取得手段は、
撮影された画像を表す撮影画像データを取得する撮影画像データ取得手段と、
前記撮影画像データ取得手段によって取得された前記撮影画像データが表す撮影画像から、前記受信画像データ受信手段によって受信された前記受信画像データが表す受信画像を除去した差分画像を表す差分画像データを自拠点画像データとして生成する差分画像データ生成手段と、
を有することを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置であって、
前記第二グループ情報決定手段は、前記差分画像データ生成手段によって生成された前記差分画像データが、直前に前記差分画像データ生成手段によって生成された差分画像データと同一であるか否かに基づいて前記グループ情報を決定することを特徴とする画像処理装置。
【請求項５】
請求項４に記載の画像処理装置であって、
前記第二グループ情報決定手段は、グループマッチング法を用いて、前記差分画像データ生成手段によって生成された前記差分画像データが、直前に前記差分画像データ生成手段によって生成された差分画像データと同一であるか否かに基づいて前記グループ情報を決定することを特徴とする画像処理装置。
【請求項６】
他の画像処理装置と情報を送受信する画像処理装置が実行する画像処理プログラムであって、
他の画像処理装置から受信画像データを受信する受信画像データ受信工程と、
前記受信画像データ受信工程によって受信された受信画像データのグループ決めをし、前記グループを表す第一のグループ情報を決定する第一グループ情報決定工程と、
自拠点で描画された画像を表す自拠点画像データを取得する自拠点画像データ取得工程と、
前記自拠点画像データ取得工程によって取得された自拠点画像データのグループ決めをし、前記グループを表す第二のグループ情報を決定する第二グループ情報決定工程と、
前記自拠点画像データ取得工程によって取得された前記自拠点画像データと前記受信画像データ受信工程によって受信された前記受信画像データとを用いて合成画像データを生成する合成画像生成工程と、
前記合成画像生成工程によって生成された合成画像データが表す合成画像の経時的に変化する描画量が極大であるか否かを示すキーフレーム情報を決定するキーフレーム情報決定工程と、
を前記画像処理装置に実行させ、
前記キーフレーム情報決定工程は、前記第一グループ情報決定工程によって受信された前記第一のグループ情報と前記第二グループ情報決定工程によって決定された前記第二のグループ情報に基づいて前記合成画像データのキーフレーム情報を決定することを特徴とする前記画像処理プログラム。
【請求項７】
請求項６に記載の画像処理プログラムであって、
前記自拠点画像データ取得工程は、
撮影された画像を表す撮影画像データを取得する撮影画像データ取得工程と、
前記撮影画像データ取得工程によって取得された前記撮影画像データが表す撮影画像から、前記受信画像データ受信工程によって受信された前記受信画像データが表す受信画像を除去した差分画像を表す差分画像データを自拠点画像データとして生成する差分画像データ生成工程と、
を有することを特徴とする画像処理プログラム。
【請求項８】
請求項７に記載の画像処理プログラムであって、
前記第二グループ情報決定工程は、前記差分画像データ生成工程によって生成された前記差分画像データが、直前に前記差分画像データ生成工程によって生成された差分画像データと同一であるか否かに基づいて前記グループ情報を決定することを特徴とする画像処理プログラム。
【請求項９】
請求項８に記載の画像処理プログラムであって、
前記第二グループ情報決定工程は、グループマッチング法を用いて、前記差分画像データ生成工程によって生成された前記差分画像データが、直前に前記差分画像データ生成工程によって生成された差分画像データと同一であるか否かに基づいて前記グループ情報を決定することを特徴とする画像処理プログラム。
【請求項１】
他の画像処理装置と情報を送受信する画像処理装置であって、
他の画像処理装置から受信画像データを受信する受信画像データ受信手段と、
前記受信画像データ受信手段によって受信された受信画像データのグループ決めをし、前記グループを表す第一のグループ情報を決定する第一グループ情報決定手段と、
自拠点で描画された画像を表す自拠点画像データを取得する自拠点画像データ取得手段と、
前記自拠点画像データ取得手段によって取得された自拠点画像データのグループ決めをし、前記グループを表す第二のグループ情報を決定する第二グループ情報決定手段と、
前記自拠点画像データ取得手段によって取得された前記自拠点画像データと前記受信画像データ受信手段によって受信された前記受信画像データとを用いて合成画像データを生成する合成画像生成手段と、
前記合成画像生成手段によって生成された合成画像データが表す合成画像の経時的に変化する描画量が極大であるか否かを示すキーフレーム情報を決定するキーフレーム情報決定手段と、
を有し、
前記キーフレーム情報決定手段は、前記第一グループ情報決定手段によって決定された前記第一のグループ情報と前記第二グループ情報決定手段によって決定された前記第二のグループ情報に基づいて前記合成画像データのキーフレーム情報を決定することを特徴とする前記画像処理装置。
【請求項２】
他の画像処理装置と情報を送受信する画像処理装置であって、
他の画像処理装置から受信画像データ、及び、前記受信画像データの第一のグループ情報を受信する受信画像データ受信手段と、
自拠点で描画された画像を表す自拠点画像データを取得する自拠点画像データ取得手段と、
前記自拠点画像データ取得手段によって取得された自拠点画像データのグループ決めをし、前記グループを表す第二のグループ情報を決定する第二グループ情報決定手段と、
前記自拠点画像データ取得手段によって取得された前記自拠点画像データと前記受信画像データ受信手段によって受信された前記受信画像データとを用いて合成画像データを生成する合成画像生成手段と、
前記合成画像生成手段によって生成された合成画像データが表す合成画像の経時的に変化する描画量が極大であるか否かを示すキーフレーム情報を決定するキーフレーム情報決定手段と、
を有し、
前記キーフレーム情報決定手段は、前記受信画像データ受信手段によって受信された前記第一のグループ情報と前記第二グループ情報決定手段によって決定された前記第二のグループ情報に基づいて前記合成画像データのキーフレーム情報を決定することを特徴とする前記画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置であって、
前記自拠点画像データ取得手段は、
撮影された画像を表す撮影画像データを取得する撮影画像データ取得手段と、
前記撮影画像データ取得手段によって取得された前記撮影画像データが表す撮影画像から、前記受信画像データ受信手段によって受信された前記受信画像データが表す受信画像を除去した差分画像を表す差分画像データを自拠点画像データとして生成する差分画像データ生成手段と、
を有することを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置であって、
前記第二グループ情報決定手段は、前記差分画像データ生成手段によって生成された前記差分画像データが、直前に前記差分画像データ生成手段によって生成された差分画像データと同一であるか否かに基づいて前記グループ情報を決定することを特徴とする画像処理装置。
【請求項５】
請求項４に記載の画像処理装置であって、
前記第二グループ情報決定手段は、グループマッチング法を用いて、前記差分画像データ生成手段によって生成された前記差分画像データが、直前に前記差分画像データ生成手段によって生成された差分画像データと同一であるか否かに基づいて前記グループ情報を決定することを特徴とする画像処理装置。
【請求項６】
他の画像処理装置と情報を送受信する画像処理装置が実行する画像処理プログラムであって、
他の画像処理装置から受信画像データを受信する受信画像データ受信工程と、
前記受信画像データ受信工程によって受信された受信画像データのグループ決めをし、前記グループを表す第一のグループ情報を決定する第一グループ情報決定工程と、
自拠点で描画された画像を表す自拠点画像データを取得する自拠点画像データ取得工程と、
前記自拠点画像データ取得工程によって取得された自拠点画像データのグループ決めをし、前記グループを表す第二のグループ情報を決定する第二グループ情報決定工程と、
前記自拠点画像データ取得工程によって取得された前記自拠点画像データと前記受信画像データ受信工程によって受信された前記受信画像データとを用いて合成画像データを生成する合成画像生成工程と、
前記合成画像生成工程によって生成された合成画像データが表す合成画像の経時的に変化する描画量が極大であるか否かを示すキーフレーム情報を決定するキーフレーム情報決定工程と、
を前記画像処理装置に実行させ、
前記キーフレーム情報決定工程は、前記第一グループ情報決定工程によって受信された前記第一のグループ情報と前記第二グループ情報決定工程によって決定された前記第二のグループ情報に基づいて前記合成画像データのキーフレーム情報を決定することを特徴とする前記画像処理プログラム。
【請求項７】
請求項６に記載の画像処理プログラムであって、
前記自拠点画像データ取得工程は、
撮影された画像を表す撮影画像データを取得する撮影画像データ取得工程と、
前記撮影画像データ取得工程によって取得された前記撮影画像データが表す撮影画像から、前記受信画像データ受信工程によって受信された前記受信画像データが表す受信画像を除去した差分画像を表す差分画像データを自拠点画像データとして生成する差分画像データ生成工程と、
を有することを特徴とする画像処理プログラム。
【請求項８】
請求項７に記載の画像処理プログラムであって、
前記第二グループ情報決定工程は、前記差分画像データ生成工程によって生成された前記差分画像データが、直前に前記差分画像データ生成工程によって生成された差分画像データと同一であるか否かに基づいて前記グループ情報を決定することを特徴とする画像処理プログラム。
【請求項９】
請求項８に記載の画像処理プログラムであって、
前記第二グループ情報決定工程は、グループマッチング法を用いて、前記差分画像データ生成工程によって生成された前記差分画像データが、直前に前記差分画像データ生成工程によって生成された差分画像データと同一であるか否かに基づいて前記グループ情報を決定することを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１２−１３４９５９（Ｐ２０１２−１３４９５９Ａ）
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願番号】特願２０１１−２６０９３３（Ｐ２０１１−２６０９３３）
【出願日】平成２３年１１月２９日（２０１１．１１．２９）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願日】平成２３年１１月２９日（２０１１．１１．２９）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]