画像処理装置、画像処理方法、および画像処理プログラム
【課題】撮像手段の撮像範囲が変化した場合に、変化した際の状況に応じて適切な処理を行うことができる画像処理装置、画像処理方法、および画像処理プログラムを提供する。
【解決手段】ＰＣは、テレビ会議端末が備えるカメラの撮像範囲の移動状態を示す移動情報を取得する（Ｓ３、Ｓ８）。取得した移動情報によって、カメラの撮像範囲が移動したか否かを判断する（Ｓ４，Ｓ５，Ｓ１１）。ＰＣは、撮像範囲が移動したと判断し、且つ移動が終了すると（Ｓ１２：ＹＥＳ）、ユーザが故意にカメラを移動させたか否かを判断する（Ｓ１４、Ｓ１５）。故意に移動させていないと判断した場合（Ｓ１５：ＮＯ）、ＰＣは、他の拠点の通信装置に送信する画像データの撮像範囲である送信画像範囲を復元できるか否かを判断する。復元できる場合には、送信画像範囲を復元する。復元できない場合には、撮像画像のデータの代わりに修正中報知画像のデータを送信する（Ｓ１６）。
【解決手段】ＰＣは、テレビ会議端末が備えるカメラの撮像範囲の移動状態を示す移動情報を取得する（Ｓ３、Ｓ８）。取得した移動情報によって、カメラの撮像範囲が移動したか否かを判断する（Ｓ４，Ｓ５，Ｓ１１）。ＰＣは、撮像範囲が移動したと判断し、且つ移動が終了すると（Ｓ１２：ＹＥＳ）、ユーザが故意にカメラを移動させたか否かを判断する（Ｓ１４、Ｓ１５）。故意に移動させていないと判断した場合（Ｓ１５：ＮＯ）、ＰＣは、他の拠点の通信装置に送信する画像データの撮像範囲である送信画像範囲を復元できるか否かを判断する。復元できる場合には、送信画像範囲を復元する。復元できない場合には、撮像画像のデータの代わりに修正中報知画像のデータを送信する（Ｓ１６）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、遠隔会議を実行するために他の拠点の通信装置に送信する画像データを処理する画像処理装置、画像処理方法、および画像処理プログラムに関する。
【背景技術】
【０００２】
従来、撮像手段の撮像範囲が変化した場合に、変化が生じる前の範囲に撮像範囲を復元させる技術が知られている。例えば、特許文献１が開示している画像処理システムは、ブロック毎に算出される動きベクトルを用いて撮像範囲の変化（位置ずれ）を検出する。撮像変化の変化を検出した場合に、元の正常なシーンを撮像する位置にカメラを復帰させることで、撮像範囲を復元させる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−７７７０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ユーザの意図に反して撮像範囲が変化した場合でも、撮像範囲を必ず復元させることができるとは限らない。従来の技術では、撮像範囲を復元させることができるか否かに応じて適切な処理を行うことはできなかった。さらに、従来の技術では、ユーザが故意に撮像範囲を変化させた場合でも、撮像範囲を復元させる処理が行われてしまう場合があった。つまり、撮像範囲が変化した際の状況に応じて適切な処理を行うことができないという問題点があった。
【０００５】
本発明は、撮像手段の撮像範囲が変化した場合に、変化した際の状況に応じて適切な処理を行うことができる画像処理装置、画像処理方法、および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第一の態様に係る画像処理装置は、複数の拠点のユーザによる遠隔会議を実行するために、他の拠点に配置された通信装置に送信する画像データを処理する画像処理装置であって、画像を撮像する撮像手段が撮像した画像の画像データを取得する画像データ取得手段と、前記撮像手段の撮像範囲の移動状態を示す移動情報を取得する移動情報取得手段と、前記移動情報取得手段によって取得された移動情報によって、前記撮像手段の撮像範囲が移動したか否かを判断する移動判断手段と、前記移動判断手段によって撮像範囲が移動したと判断された場合に、前記移動情報取得手段によって取得された前記移動情報、および前記撮像手段に対する操作状態を示す操作状態情報の少なくともいずれかを用いて、ユーザが故意に撮像範囲を移動させたか否かを判断する故意判断手段と、前記故意判断手段によって故意に移動させていないと判断された場合に、前記通信装置に送信する画像データの撮像範囲である送信画像範囲を移動前の撮像範囲に復元できるか否かを、前記画像データ取得手段によって取得された画像データを用いて判断する復元判断手段と、前記復元判断手段によって前記送信画像範囲を復元できると判断された場合に、前記送信画像範囲を移動前の撮像範囲に復元する復元手段と、前記復元判断手段によって前記送信画像範囲を復元できないと判断された場合に、表示装置に表示される画像を変更する処理、および前記通信装置に送信される画像データのフレームレートを変化させる処理の少なくともいずれかを行う処理手段とを備える。
【０００７】
第一の態様に係る画像処理装置によると、撮像手段の撮像範囲の移動が事故によるものと判断され、且つ送信画像範囲を復元できると判断されると、送信画像範囲が移動前の撮像範囲に復元される。従って、ユーザの手間は減少する。また、画像処理装置は、送信画像範囲を復元できない場合、表示装置に表示される画像を変更する処理、および送信する画像データのフレームレートを変化させる処理の少なくともいずれかを行うことができる。その結果、撮像範囲が意図せず移動したことをユーザに通知したり、送信する必要の無い画像データが送信されることを防止したりすることができる。さらに、撮像手段の撮像範囲をユーザが故意に移動させたと判断された場合には、送信画像範囲の復元、および画像データの変更等の処理は行われない。従って、ユーザは、送信画像範囲を意図する通りに移動させることもできる。よって、画像処理装置は、撮像手段の撮像範囲が変化した際の状況に応じて適切な処理を行うことができる。
【０００８】
前記故意判断手段は、前記移動情報取得手段によって取得された前記移動情報が示す垂直方向の移動量が第一閾値以上である場合、ユーザが故意に撮像範囲を移動させたと判断してもよい。ユーザが撮像手段を持って故意に移動させる場合、撮像手段は垂直方向への移動を伴うことになる。従って、画像処理装置は、撮像範囲の垂直方向の移動量によって、撮像範囲の移動が故意によるものであるか否かを適切に判断することができる。
【０００９】
前記故意判断手段は、前記移動情報取得手段によって取得された前記移動情報が示す垂直方向の移動量が前記第一閾値未満であり、水平方向の移動量が第二閾値未満であり、且つ前記移動情報が示す撮像範囲の移動時間が第三閾値未満である場合、ユーザは故意に撮像範囲を移動させていないと判断してもよい。撮像範囲の移動量が少なく、且つ移動時間が短い場合は、ユーザ等が不意に撮像手段に触れて撮像範囲が移動する場合が多い。従って、画像処理装置は、撮像範囲の移動量および移動時間によって、撮像範囲の移動が故意によるものであるか否かを適切に判断することができる。
【００１０】
前記復元手段は、前記画像データ取得手段によって取得された画像データのうち、前記移動判断手段によって撮像範囲が移動したと判断される前後の各々の画像データにおいて同一の基準撮像物を特定する特定手段を備えてもよい。前記復元手段は、移動後の画像データにおいて前記特定手段によって特定される前記基準撮像物の撮像範囲中の位置が、移動前の画像データにおいて前記特定手段によって特定された前記基準撮像物の位置と一致するように、前記送信画像範囲を移動させて復元してもよい。この場合、画像処理装置は、容易且つ確実に送信画像範囲を復元することができる。なお、特定手段は基準撮像物を複数特定してもよい。
【００１１】
前記故意判断手段は、前記送信画像範囲のうち発話者の位置を検出する検出手段を備えてもよい。前記故意判断手段は、前記移動判断手段によって移動が検出された後に前記検出手段によって検出された発話者の位置が、前記送信画像範囲の中心点を含む所定領域の領域内にある場合、ユーザが故意に撮像範囲を移動させたと判断してもよい。撮像手段の撮像範囲が移動した場合、発話者の位置が送信画像範囲の中心点を含む所定領域内にあれば、他の拠点のユーザは発話者を視認することができる。この場合、画像処理装置は、ユーザが故意に撮像範囲を移動させたと判断することで、円滑に遠隔会議を進行させることができる。
【００１２】
前記故意判断手段は、前記撮像手段が操作されたことを前記操作状態情報が示す場合、ユーザは故意に撮像範囲を移動させていないと判断してもよい。ユーザは、撮像手段の操作と撮像範囲の移動とを共に意図的に行うことは少ない。従って、画像処理装置は、撮像手段が操作されている場合の移動を事故と判断することで、的確な判断を行うことができる。
【００１３】
前記処理手段は、前記通信装置に送信する画像データを、前記撮像手段の撮像範囲が移動した旨を報知する画像を含む画像データに変更してもよい。この場合、ユーザは、撮像範囲が意図に反して移動したことを容易に把握することができ、早急に適切な対処を行うことができる。
【００１４】
本発明の第二の態様に係る画像処理方法は、複数の拠点のユーザによる遠隔会議を実行するために、他の拠点に配置された通信装置に送信する画像データを処理する画像処理装置で行われる画像処理方法であって、画像を撮像する撮像手段が撮像した画像の画像データを取得する画像データ取得ステップと、前記撮像手段の撮像範囲の移動状態を示す移動情報を取得する移動情報取得ステップと、前記移動情報取得ステップにおいて取得された移動情報によって、前記撮像手段の撮像範囲が移動したか否かを判断する移動判断ステップと、前記移動判断ステップにおいて撮像範囲が移動したと判断された場合に、前記移動情報取得ステップにおいて取得された前記移動情報、および前記撮像手段に対する操作状態を示す操作状態情報の少なくともいずれかを用いて、ユーザが故意に撮像範囲を移動させたか否かを判断する故意判断ステップと、前記故意判断ステップにおいて故意に移動させていないと判断された場合に、前記通信装置に送信する画像データの撮像範囲である送信画像範囲を移動前の撮像範囲に復元できるか否かを、前記画像データ取得ステップにおいて取得された画像データを用いて判断する復元判断ステップと、前記復元判断ステップにおいて前記送信画像範囲を復元できると判断された場合に、前記送信画像範囲を移動前の撮像範囲に復元する復元ステップと、前記復元判断ステップにおいて前記送信画像範囲を復元できないと判断された場合に、表示装置に表示される画像を変更する処理、および前記通信装置に送信される画像データのフレームレートを変化させる処理の少なくともいずれかを行う処理ステップとを備える。
【００１５】
第二の態様に係る画像処理方法によると、撮像手段の撮像範囲の移動が事故によるものと判断され、且つ送信画像範囲を復元できると判断されると、送信画像範囲が移動前の撮像範囲に復元される。従って、ユーザの手間は減少する。また、画像処理装置は、送信画像範囲を復元できない場合、表示装置に表示される画像を変更する処理、および送信する画像データのフレームレートを変化させる処理の少なくともいずれかを行うことができる。その結果、撮像範囲が意図せず移動したことをユーザに通知したり、送信する必要の無い画像データが送信されることを防止したりすることができる。さらに、撮像手段の撮像範囲をユーザが故意に移動させたと判断された場合には、送信画像範囲の復元、および画像データの変更等の処理は行われない。従って、ユーザは、送信画像範囲を意図する通りに移動させることもできる。よって、画像処理装置は、撮像手段の撮像範囲が変化した際の状況に応じて適切な処理を行うことができる。
【００１６】
本発明の第三の態様に係る画像処理プログラムは、複数の拠点のユーザによる遠隔会議を実行するために、他の拠点に配置された通信装置に送信する画像データを処理する画像処理装置で用いられる画像処理プログラムであって、画像を撮像する撮像手段が撮像した画像の画像データを取得する画像データ取得ステップと、前記撮像手段の撮像範囲の移動状態を示す移動情報を取得する移動情報取得ステップと、前記移動情報取得ステップにおいて取得された移動情報によって、前記撮像手段の撮像範囲が移動したか否かを判断する移動判断ステップと、前記移動判断ステップにおいて撮像範囲が移動したと判断された場合に、前記移動情報取得ステップにおいて取得された前記移動情報、および前記撮像手段に対する操作状態を示す操作状態情報の少なくともいずれかを用いて、ユーザが故意に撮像範囲を移動させたか否かを判断する故意判断ステップと、前記故意判断ステップにおいて故意に移動させていないと判断された場合に、前記通信装置に送信する画像データの撮像範囲である送信画像範囲を移動前の撮像範囲に復元できるか否かを、前記画像データ取得ステップにおいて取得された画像データを用いて判断する復元判断ステップと、前記復元判断ステップにおいて前記送信画像範囲を復元できると判断された場合に、前記送信画像範囲を移動前の撮像範囲に復元する復元ステップと、前記復元判断ステップにおいて前記送信画像範囲を復元できないと判断された場合に、表示装置に表示される画像を変更する処理、および前記通信装置に送信される画像データのフレームレートを変化させる処理の少なくともいずれかを行う処理ステップとを前記画像処理装置のコントローラに実行させるための指示を含む。
【００１７】
第三の態様に係る画像処理プログラムによると、撮像手段の撮像範囲の移動が事故によるものと判断され、且つ送信画像範囲を復元できると判断されると、送信画像範囲が移動前の撮像範囲に復元される。従って、ユーザの手間は減少する。また、画像処理装置は、送信画像範囲を復元できない場合、表示装置に表示される画像を変更する処理、および送信する画像データのフレームレートを変化させる処理の少なくともいずれかを行うことができる。その結果、撮像範囲が意図せず移動したことをユーザに通知したり、送信する必要の無い画像データが送信されることを防止したりすることができる。さらに、撮像手段の撮像範囲をユーザが故意に移動させたと判断された場合には、送信画像範囲の復元、および画像データの変更等の処理は行われない。従って、ユーザは、送信画像範囲を意図する通りに移動させることもできる。よって、画像処理装置は、撮像手段の撮像範囲が変化した際の状況に応じて適切な処理を行うことができる。
【図面の簡単な説明】
【００１８】
【図１】ＰＣ１およびテレビ会議端末３の構成図である。
【図２】ＰＣ１およびテレビ会議端末３の電気的構成を示すブロック図である。
【図３】取得画像範囲５０および送信画像範囲５５を説明するための説明図である。
【図４】ＰＣ１が実行する画像処理のフローチャートである。
【図５】画像処理中に実行される故意判断処理のフローチャートである。
【図６】撮像範囲の移動後における送信画像範囲５５の中心領域６５に発話者が位置している場合の処理を説明するための説明図である。
【図７】画像処理中に実行される事故対応処理のフローチャートである。
【図８】送信画像範囲５５を移動前の撮像範囲に復元する処理を説明するための説明図である。
【図９】送信画像範囲５５を復元できない場合の処理を説明するための説明図である。
【発明を実施するための形態】
【００１９】
以下、本発明の画像処理装置を具現化した一実施の形態であるパーソナルコンピュータ（以下、「ＰＣ」という。）１について、図面を参照して説明する。参照する図面は、本発明が採用し得る技術的特徴を説明するために用いられるものである。図面に記載されている装置の構成、各種処理のフローチャート等は、それのみに限定する趣旨ではなく、単なる説明例である。
【００２０】
図１を参照して、ＰＣ１およびテレビ会議端末３の概略構成について説明する。ＰＣ１は、データ通信、画像表示等の各種情報処理を行う一般的なＰＣである。図１に示すＰＣ１はノート型のＰＣであり、表示装置２６および操作部２７等を備えるが、表示装置、操作部等のデバイスを備えないデスクトップ型のＰＣを用いてもよいことは言うまでもない。ＰＣ１は、例えばＵＳＢケーブル、赤外線通信等によってテレビ会議端末３に接続する。
【００２１】
テレビ会議端末３は、上端に回転軸を備える。ユーザは、回転軸を中心として筐体の一部を回転させることで、筐体の姿勢を使用時の姿勢と非使用時の姿勢に切り替えることができる。テレビ会議端末３は、マイク４５、スピーカ４６、カメラ４７、および操作部４８を備える。ユーザが筐体の姿勢を使用時の姿勢に切り替えると、マイク４５、スピーカ４６、カメラ４７、および操作部４８の全てがテレビ会議端末３の前方を向く。テレビ会議端末３は、設置された拠点の音声をマイク４５から入力し、且つ画像をカメラ４７から入力する。入力した音声および画像のデータをＰＣ１に送信する。また、テレビ会議端末３は、ＰＣ１から受信した音声のデータに基づいて、スピーカ４６から音声を発生させる。操作部４８には、電源ボタン、音量調節ボタン、マイクミュートボタン等が設けられている。
【００２２】
ユーザは、ＰＣ１およびテレビ会議端末３を用いることで、画像を用いた遠隔会議（テレビ会議）を実行することができる。詳細には、ＰＣ１は、テレビ会議端末３から入力した自拠点の音声および画像のデータを、他拠点に配置されたＰＣ等の通信装置に、インターネット等のネットワーク８（図２参照）を介して送信する。同時に、ＰＣ１は、他拠点に配置された通信装置から、他拠点の音声および画像のデータを受信する。ＰＣ１は、受信した画像のデータに基づいて、他拠点の画像を表示装置２６に表示させる。さらに、ＰＣ１は、受信した音声のデータに基づいて、接続しているテレビ会議端末３のスピーカ４６に他拠点の音声を発生させる。その結果、複数の拠点の音声および画像が共有され、全てのユーザが同一の拠点にいない場合でも円滑に会議が進行する。
【００２３】
なお、ＰＣ１およびテレビ会議端末３の構成は変更できる。例えば、マイク、スピーカ、および表示装置を備えるＰＣに小型のカメラを接続することで、テレビ会議端末３を使用せずにテレビ会議を実行してもよい。カメラが内蔵されたＰＣを用いてもよい。ＰＣ１の代わりに、通信機能および画像処理機能を備えるテレビ会議専用の装置を用いてもよい。テレビ会議を実行するためには、通信システムを構成するＰＣ１の数は２つ以上であればよい。また、本発明は、Ｐ２Ｐ（ｐｅｅｒ ｔｏ ｐｅｅｒ）型の通信システム、およびサーバ型の通信システムのいずれにも適用できる。Ｐ２Ｐ型の通信システムでは、複数のＰＣ１間でデータが直接送受信される。サーバ型の通信システムでは、システム内の通信を制御するサーバ（図示せず）を介してデータが送受信される。
【００２４】
図２を参照して、ＰＣ１およびテレビ会議端末３の電気的構成について説明する。ＰＣ１は、ＰＣ１の制御を司るＣＰＵ１０を備える。ＣＰＵ１０には、ＲＯＭ１１、ＲＡＭ１２、ハードディスクドライブ（以下、「ＨＤＤ」という。）１３、および入出力インターフェース１４が、バス１９を介して接続されている。
【００２５】
ＲＯＭ１１は、ＰＣ１を動作させるためのプログラムおよび初期値等を記憶している。ＲＡＭ１２は、制御プログラムで使用される各種の情報を一時的に記憶する。ＨＤＤ１３は不揮発性の記憶装置である。ＨＤＤ１３は、後述する画像処理を実行させるための画像処理プログラム等を記憶する。ＨＤＤ１３に代わりに、ＥＥＰＲＯＭまたはメモリカード等の記憶装置を用いてもよい。入出力インターフェース１４には、映像出力処理部２１、外部通信Ｉ／Ｆ２２、ＵＳＢ Ｉ／Ｆ２３、および操作部２７が接続されている。映像出力処理部２１は、映像を表示する表示装置２６の動作を処理する。外部通信Ｉ／Ｆ２２は、ＰＣ１をネットワーク８に接続する。ＵＳＢ Ｉ／Ｆ２３は、ＵＳＢケーブルを介してＰＣ１をテレビ会議端末３に接続する。
【００２６】
テレビ会議端末３は、テレビ会議端末３の制御を司るＣＰＵ３０を備える。ＣＰＵ３０には、ＲＯＭ３１、ＲＡＭ３２、フラッシュメモリ３３、および入出力インターフェース３４が、バス３９を介して接続されている。
【００２７】
ＲＯＭ３１は、テレビ会議端末３を動作させるためのプログラムおよび初期値等を記憶している。ＲＡＭ３２は各種情報を一時的に記憶する。フラッシュメモリ３３は不揮発性の記憶装置である。入出力インターフェース３４には、ＵＳＢ Ｉ／Ｆ４１、音声入力処理部４２、音声出力処理部４３、映像入力処理部４４、および操作部４８が接続されている。ＵＳＢ Ｉ／Ｆ４１は、テレビ会議端末３をＰＣ１に接続する。音声入力処理部４２は、マイク４５からの音声データの入力を処理する。音声出力処理部４３はスピーカ４６の動作を処理する。映像入力処理部４４は、カメラ４７からの画像データの入力を処理する。
【００２８】
図３を参照して、取得画像範囲５０および送信画像範囲５５について説明する。取得画像範囲５０とは、ＰＣ１が自拠点のテレビ会議端末３から取得した画像データの撮像範囲である。つまり、テレビ会議端末３のカメラ４７が撮像した画像の撮像範囲が取得画像範囲５０となる。送信画像範囲５５とは、ＰＣ１が他拠点の通信装置に送信する画像データの撮像範囲である。ＰＣ１は、取得画像範囲５０の範囲内であれば、送信画像範囲５５を自由に設定することができる。従って、ＰＣ１は、テレビ会議端末３の位置および姿勢を変更することなく、他拠点の表示装置に表示させる画像の範囲を変更することができ、画像の拡大および縮小を行うこともできる。
【００２９】
図３に示す例では、ホワイトボード６１、参加者６２、および参加者６３等が取得画像範囲５０内に含まれている。送信画像範囲５５は、取得画像範囲５０内の中心を含む一定領域に設定されており、ホワイトボード６１、参加者６２、および参加者６３は取得画像範囲５０にも含まれている。ＰＣ１は、送信画像範囲５５を他拠点で表示させるための画像データを、他拠点の通信装置に送信する。その結果、他拠点の表示装置では送信画像範囲５５が表示される。
【００３０】
本実施の形態では、カメラ４７の撮像範囲（つまり、取得画像範囲５０）が移動したか否かを判断するための基準点５６が設定される。ＰＣ１は、取得画像範囲５０内の背景画像に含まれる特定の撮像物に基準点５６を設定すればよく、基準点５６を設定する撮像物は１つでも複数でもよい。例えば、ＰＣ１は、テレビ会議の開始前に、参加者を含まない背景のみをあらかじめ撮像することで、背景画像を取得しておく。ＰＣ１は、背景画像中の撮像物に基準点５６を設定し、取得画像範囲５０中の基準点５６の位置を監視することで、カメラ４７の撮像範囲が移動したか否かを的確に判断することができる。また、ＰＣ１は、参加者が移動して基準点５６が隠れた場合、および、カメラ４７が移動して基準点５６が取得画像範囲５０の範囲外となった場合に備え、複数の基準点を設定することができる。複数の基準点５６を設定することで、一部の基準点５６が隠れた場合でも取得画像範囲５０が移動したか否かを判断することができる。さらに、ＰＣ１は、基準点５６を再設定することもできる。よって、参加者およびカメラ４７が移動した場合でも、取得画像範囲５０の移動量をより的確に判断することができる。図３に示す例では、ＰＣ１は、テレビ会議端末３から取得した画像データに対して画像処理を行い、取得画像範囲５０内の撮像物のうち矩形の撮像物の角を特定して、特定した角を基準点５６に設定している。その結果、図３に示す例では、ホワイトボード６１の４つの角に基準点５６が設定されている。なお、詳細は後述するが、ＰＣ１は、取得画像範囲５０内の基準点５６の位置を、カメラ４７の撮像範囲の移動状態を示す移動情報として取得する。取得した基準点５６の位置に基づいて、カメラ４７の撮像範囲である取得画像範囲５０が移動したか否かを判断し、移動した場合には移動量の算出を行う。なお、ＰＣ１は、ユーザによる操作部２７の操作に応じて基準点５６を設定してもよい。
【００３１】
図４から図９を参照して、本実施の形態のＰＣ１が実行する画像処理について説明する。ＰＣ１のＨＤＤ１３には、テレビ会議を実行するためのアプリケーションとして画像処理プログラムがインストールされている。ＰＣ１のＣＰＵ１０は、アプリケーションを立ち上げる指示を操作部２７から入力し、他の拠点の通信装置との間でテレビ会議を開始すると、図４に示す画像処理を実行する。
【００３２】
図４に示すように、画像処理を開始したＣＰＵ１０は、カメラ４７が撮像した画像の画像データをテレビ会議端末３から取得する。取得した画像データに対して画像処理を行うことで特徴点を特定する。ＣＰＵ１０は、特定した特徴点を基準点５６に設定する（Ｓ１）。前述したように、本実施の形態のＰＣ１は、基準点５６を複数設定することで、一部の基準点５６が隠れた場合でも撮像範囲の移動を判断することができる。次いで、ＣＰＵ１０は、カメラ４７が撮像した最新の画像の画像データをテレビ会議端末３から取得する（Ｓ２）。ＣＰＵ１０は、取得画像範囲５０中の基準点５６の座標を算出する（Ｓ３）。
【００３３】
ＣＰＵ１０は、基準点５６を１つも検出できなかった場合には（Ｓ４：ＹＥＳ）、カメラ４７の撮像範囲である取得画像範囲５０が移動したと判断する（Ｓ５）。次いで、Ｓ１の処理と同様に、複数の基準点５６を再設定する（Ｓ６）。ＰＣ１は、移動中の乱れた画像が他の拠点で表示されることを防止するために、他の拠点の通信装置に対する撮像画像データの送信を停止する（Ｓ７）。ＰＣ１は、取得画像範囲５０が移動している時間である移動時間を加算し（Ｓ８）、処理はＳ９の判断へ移行する。テレビ会議を終了する指示が操作部２７に入力されていなければ（Ｓ９：ＮＯ）、処理はＳ２へ戻る。
【００３４】
ＣＰＵ１０は、少なくとも１つの基準点５６を検出できた場合には（Ｓ４：ＮＯ）、Ｓ３で算出された最新の基準点５６の各々の座標と、前回のＳ３の処理で算出された基準点５６の各々の座標との距離の平均値を、基準点５６の位置の変化量として算出し、加算する（Ｓ１０）。ＣＰＵ１０は、Ｓ１０で算出された変化量に基づいて、取得画像範囲５０が移動したか否かを判断する（Ｓ１１）。Ｓ１０で算出された変化量が一定の閾値以上である場合、ＣＰＵ１０は取得画像範囲５０が移動したと判断し（Ｓ１１：ＹＥＳ）、画像データの送信を停止して（Ｓ７）、移動時間を加算する（Ｓ８）。処理はＳ９の判断へ移行する。テレビ会議を終了する指示が操作部２７に入力されていなければ（Ｓ９：ＮＯ）、処理はＳ２へ戻り、取得画像範囲５０の移動が終了するまで移動量および移動時間が加算され続ける（Ｓ８およびＳ１０）。
【００３５】
Ｓ１０で算出された変化量が閾値未満であれば、ＣＰＵ１０は取得画像範囲５０が移動していないと判断し（Ｓ１１：ＮＯ）、直前まで取得画像範囲５０が移動していたか否かを判断する（Ｓ１２）。前回行われたＳ４・Ｓ５、またはＳ１１の判断で、取得画像範囲５０が移動したと判断していた場合（Ｓ１２：ＹＥＳ）、ＣＰＵ１０は基準点５６を再設定し（Ｓ１３）、故意判断処理を行う（Ｓ１４）。故意判断処理では、ユーザが故意にカメラ４７の撮像範囲を移動させたか否かが判断される。
【００３６】
図５に示すように、故意判断処理を開始したＣＰＵ１０は、移動時間内にテレビ会議端末３が操作されたか否かを判断する（Ｓ３１）。本実施の形態では、ＣＰＵ１０は、テレビ会議端末３の操作部４８のいずれかが移動時間内に操作されていた場合、および、テレビ会議端末３とＰＣ１とを接続するＵＳＢケーブルが着脱されていた場合に、テレビ会議端末３が操作されたと判断する。しかし、例えばテレビ会議端末３がメモリカードを装着できる場合には、メモリカードの着脱もテレビ会議端末３の操作と判断してもよい。ユーザは、テレビ会議端末３の操作と撮像範囲の移動とを意図的に同時に行うことは少ない。従って、移動時間内にテレビ会議端末３が操作されたと判断した場合（Ｓ３１：ＹＥＳ）、ＣＰＵ１０は、取得画像範囲５０が移動した原因を事故と判断し（Ｓ３８）、処理は画像処理へ戻る。
【００３７】
所定時間内にテレビ会議端末３が操作されていない場合（Ｓ３１：ＮＯ）、ＣＰＵ１０は、加算された基準点５６の位置の変化量から、取得画像範囲５０の垂直方向の移動量を算出する。算出した垂直方向の移動量が閾値Ａ以上であるか否かを判断する（Ｓ３２）。ユーザがテレビ会議端末３を持って故意に移動させる場合、テレビ会議端末３は垂直方向への移動を伴うことになる。従って、ＣＰＵ１０は、垂直方向の移動量が閾値Ａ以上であれば（Ｓ３２：ＹＥＳ）、ユーザが故意にカメラ４７の撮像範囲を移動させたと判断する（Ｓ３９）。処理は画像処理へ戻る。
【００３８】
取得画像範囲５０の垂直方向の移動量が閾値Ａ未満であれば（Ｓ３２：ＮＯ）、ＣＰＵ１０は、基準点５６の位置の変化量から、取得画像範囲５０の水平方向の移動量を算出する。算出した水平方向の移動量が閾値Ｂ未満であるか否かを判断する（Ｓ３３）。水平方向の移動量が閾値Ｂ未満であれば（Ｓ３３：ＹＥＳ）、ＣＰＵ１０は、加算された移動時間が閾値Ｃ未満であるか否かを判断する（Ｓ３４）。ユーザは、カメラ４７の撮像範囲を微調整する場合には、長い時間を要して慎重にカメラ４７の位置および方向を調整する。取得画像範囲５０の移動量が少なく、且つ移動時間が短い場合は、ユーザ等が不意にテレビ会議端末３に触れて撮像範囲が移動する場合が多い。従って、ＣＰＵ１０は、水平方向の移動量が閾値Ｂ以上である場合（Ｓ３３：ＮＯ）、または、移動時間が閾値Ｃ以上である場合には（Ｓ３４：ＮＯ）、ユーザが故意にカメラ４７の撮像範囲を移動させたと判断する（Ｓ３９）。処理は画像処理へ戻る。なお、テレビ会議端末３が事故で大きく移動する場合（例えば、テレビ会議端末３が転倒する場合）もあるが、この場合はユーザが衝撃音等によって移動に気付く可能性が高いため、画像が乱れたままテレビ会議が進行する可能性は低い。
【００３９】
水平方向の移動量が閾値Ｂ未満であり（Ｓ３３：ＹＥＳ）、且つ移動時間が閾値Ｃ未満であれば（Ｓ３４：ＹＥＳ）、ＣＰＵ１０は、テレビ会議端末３から取得した画像データに対して画像処理を行い、撮像された参加者の顔領域を検出する（Ｓ３５）。顔領域の検出には種々の周知の方法を用いることができる。例えば、目、鼻、口等の部分を特徴点によって検出する方法を用いてもよいし、顔を判断するためにあらかじめ記憶された基データと比較する方法を用いてもよい。次いで、ＣＰＵ１０は、顔領域の検出結果と、テレビ会議端末３のマイク４５が入力した音声から、発話者の位置を検出する（Ｓ３６）。詳細には、ＣＰＵ１０は、マイク４５から発話音声が入力されている場合に、検出した顔領域の口元が動いている参加者の位置を発話者の位置として検出する。ＣＰＵ１０は、検出した発話者の位置が送信画像範囲５５内の中心領域内にあるか否かを判断する（Ｓ３７）。
【００４０】
図６は、図３に示す状態から移動した取得画像範囲５０の一例を示す。中心領域６５とは、送信画像範囲５５の中心点を含む所定の領域であり、中心領域６５の形状および大きさは適宜設定できる。図６に示す例では、取得画像範囲５０は図３に示す位置から移動しているが、発話者として特定された参加者６２が中心領域６５内に位置している。その結果、他拠点の表示装置に表示される画像の中心には、発話を行っている参加者６２が表示される。この場合、ユーザは、発話を行っている参加者６２が画像の中心に位置するように、意図的にテレビ会議端末３を移動させた可能性がある。また、意図的にテレビ会議端末３を移動させていない場合でも、発話を行っている参加者６２が画像の中心に表示されていれば、テレビ会議に進行に支障が出る可能性は低い。
【００４１】
従って、ＣＰＵ１０は、検出した発話者の位置が中心領域６５内にあると判断すると（Ｓ３７：ＹＥＳ）、ユーザが故意にカメラ４７の撮像範囲を移動させたと判断する（Ｓ３９）。処理の詳細は後述するが、ＣＰＵ１０は、故意の撮像範囲の移動であると判断すると、送信画像範囲５５の位置の復元等の処理は行わず、画像データの送信をそのまま継続する。その結果、図６に示すように、他拠点の表示装置で表示される画像の範囲である送信画像範囲５５の中心には、発話を行っている参加者６２が位置することになる。一方で、ＣＰＵ１０は、発話者の位置が中心領域６５内にないと判断すると（Ｓ３７：ＮＯ）、取得画像範囲５０が移動した原因を事故と判断し（Ｓ３８）、処理は画像処理へ戻る。
【００４２】
図４の説明に戻る。故意判断処理（Ｓ１４）が終了すると、ＣＰＵ１０は、故意判断処理における判断結果が「故意」であったか否かを判断する（Ｓ１５）。ユーザが故意に撮像範囲を移動させたと判断していれば（Ｓ１５：ＹＥＳ）、ＣＰＵ１０は、他の拠点の通信装置に対する撮像画像データの送信を再開し（Ｓ１７）、処理はＳ９の判断へ移行する。撮像範囲の移動の原因が事故であると判断した場合には（Ｓ１５：ＮＯ）、ＣＰＵ１０は事故対応処理を実行し（Ｓ１６）、処理はＳ９の判断へ移行する。事故対応処理では、送信画像範囲５５を復元する処理、および送信する画像データを他の画像データに変更する処理等が行われる。
【００４３】
図７に示すように、ＣＰＵ１０は、事故対応処理を開始すると、最新の取得画像範囲５０から、移動前に検出された全ての基準点５６を探索する（Ｓ４１）。取得画像範囲５０内に全ての基準点５６が存在した場合（Ｓ４２：ＹＥＳ）、ＣＰＵ１０は、送信画像範囲５５を移動前の範囲に復元できるか否かを判断する（Ｓ４３）。
【００４４】
図８および図９では、説明を簡略化するために、複数の基準点５６のうち、ホワイトボード６１の左上の角の基準点５６のみを図示している。以下では、図８および図９に図示した基準点５６のみを用いて説明を行う。図８に示す例では、探索された移動後の基準点５６の送信画像範囲５５中の位置が、移動前の基準点（復元前基準点５８）が存在していた位置に一致するように、設定されていた送信画像範囲（復元前送信画像範囲５７）を移動させて新たな送信画像範囲５５を設定しても、新たな送信画像範囲５５は取得画像範囲５０内に収まる。つまり、図８に示す例では、移動前には基準点５６が送信画像範囲５５の左上部に存在していたため、送信画像範囲５５を復元するには、復元後の送信画像範囲５５でも基準点５６の位置は自身の左上部に位置させる必要がある。従って、ＣＰＵ１０は、送信画像範囲５５を復元前送信画像範囲５７の位置から右下に移動させなければならない。図８に示す例では、取得画像範囲５０の移動量が小さいため、送信画像範囲５５は移動（復元）後も取得画像範囲５０からはみ出すことはない。この場合、ＣＰＵ１０は、送信画像範囲５５を復元できると判断する。
【００４５】
一方、図９に示す例において、送信画像範囲５５中の基準点５６の位置が、復元前送信画像範囲５７における復元前基準点５８の位置となるように、送信画像範囲５５を移動させたと仮定する。この場合、送信画像範囲５５の右端部は取得画像範囲５０の範囲外となる。従って、図９に示す例では、ＣＰＵ１０は送信画像範囲５５を復元できないと判断する。
【００４６】
図７の説明に戻る。ＣＰＵ１０は、送信画像範囲５５を復元できると判断すると（Ｓ４３：ＹＥＳ）、送信画像範囲５５中の基準点５６の各々の位置が、移動前に各々の基準点５６が存在していた位置に一致するように、取得画像範囲５０における送信画像範囲５５の位置を移動させて（Ｓ４４）、且つ送信画像範囲５５を拡大または縮小してサイズを一致させる（Ｓ４５）。処理は画像処理へ戻る。これにより、送信画像範囲５５を復元する。図３の下の図と、図８の下の図とを比較するとわかるように、他の拠点の表示装置では、カメラ４７の撮像範囲が移動する前と同じ画像が表示されることになる。ユーザは、カメラ４７の位置を元に戻す必要はない。
【００４７】
また、ＣＰＵ１０は、送信画像範囲５５を復元できないと判断すると（Ｓ４３：ＮＯ）、他の拠点の表示装置に対し、修正中報知画像６８のデータの送信を開始する（Ｓ４７）。修正中報知画像６８とは、図９の下部に示すように、カメラ４７の撮像範囲が移動した旨を他の拠点のユーザに報知するための画像である。本実施の形態では、「現在カメラ視野を修正しています」というメッセージを表示する画像が修正中報知画像６８として用いられる。なお、他拠点のユーザは、撮像範囲が移動した旨を把握できることに加え、会議と関係のない無駄な画像を見ることがない。また、撮像範囲が移動すると、他の拠点のユーザに見られると不都合がある画像のデータ（例えば、機密資料のデータ）が表示される可能性がある。しかし、ＰＣ１は、修正中報知画像６８のデータを自拠点の画像のデータの代わりに送信することで、セキュリティ性を向上することができる。
【００４８】
さらに、ＣＰＵ１０は、自拠点の表示装置２６への移動報知画像の表示を開始させる（Ｓ４８）。移動報知画像とは、カメラ４７の撮像範囲が移動した旨を自拠点のユーザに報知するための画像である。本実施の形態では、「端末が移動しました」というメッセージが、他拠点の画像と共に表示される。ＣＰＵ１０は、修正中報知画像６８および移動報知画像を表示している時間（報知時間）の計測を開始し（Ｓ４９）、処理は画像処理へ戻る。
【００４９】
図４の説明に戻る。取得画像範囲５０が移動しておらず（Ｓ１１：ＮＯ）、且つ直前にも取得画像範囲５０が移動していない場合には（Ｓ１２：ＮＯ）、ＣＰＵ１０は、Ｓ８で加算される移動時間、およびＳ１０で加算される変化量を初期化して「０」とする（Ｓ１９）。ＣＰＵ１０は、撮像範囲が移動した旨の報知中であるか否かを判断する（Ｓ２０）。報知時間を計測しておらず、報知中でないと判断した場合には（Ｓ２０：ＮＯ）、処理はそのままＳ９の判断へ戻る。報知時間を計測しており、撮像範囲が移動した旨の報知中であると判断した場合（Ｓ２０：ＹＥＳ）、ＣＰＵ１０は、報知時間が一定時間に達したか否かを判断する（Ｓ２１）。一定時間に達していない場合（Ｓ２１：ＮＯ）、処理はそのままＳ９の判断へ移行し、報知が継続される。報知時間が一定時間に達すると（Ｓ２１：ＹＥＳ）、ＣＰＵ１０は、修正中報知画像６８のデータの送信を終了する（Ｓ２２）。ＣＰＵ１０は、自拠点の表示装置２６における移動報知画像の表示を終了する（Ｓ２３）。さらに、カメラ４７の撮像画像のデータ送信を再開させる（Ｓ２４）。次いで、報知時間が初期化されて（Ｓ２５）、処理はＳ９の判断へ移行する。操作部２７または他の拠点の通信装置からテレビ会議の終了指示を入力すると（Ｓ９：ＹＥＳ）、画像処理は終了する。
【００５０】
以上説明したように、本実施の形態に係るＰＣ１によると、カメラ４７の撮像範囲の移動が事故によるものと判断され、且つ送信画像範囲５５を復元できると判断されると、送信画像範囲５５が移動前の撮像範囲に復元される。従って、ユーザは自らカメラ４７の撮像範囲を戻す必要がない。また、ＰＣ１は、送信画像範囲５５を復元できない場合、撮像された画像のデータ送信を中止し（フレームレートを「０」とし）、代わりに修正中報知画像６８のデータを送信することができる。その結果、撮像範囲が意図せず移動したことをユーザに通知することができ、且つ送信する必要の無い画像データが送信されて不都合が生じることを防止することができる。ＰＣ１は、撮像範囲をユーザが故意に移動させたと判断した場合には、送信画像範囲５５の復元、および画像データの変更等の処理は行われない。従って、ユーザは、送信画像範囲５５を意図する通りに移動させることもできる。よって、ＰＣ１は、カメラ４７の撮像範囲が変化した際の状況に応じて適切な処理を行うことができる。特に、テレビ会議端末３のように、平面上に載置して用いる小型の撮像装置を用いる場合には、撮像範囲は不意に動き易い。しかし、本実施の形態のＰＣ１によると、小型の撮像装置を用いて容易に円滑なテレビ会議を実現できる。
【００５１】
ユーザがテレビ会議端末３を持って故意に移動させる場合、テレビ会議端末３は垂直方向への移動を伴うことになる。従って、ＰＣ１は、撮像範囲の垂直方向の移動量によって、撮像範囲の移動が故意によるものであるか否かを判断することができる。また、撮像範囲の移動量が少なく、且つ移動時間が短い場合は、ユーザ等が不意にテレビ会議端末３に触れて撮像範囲が移動する場合が多い。従って、ＰＣ１は、撮像範囲の移動量および移動時間によって、撮像範囲の移動が故意によるものであるか否かを適切に判断することができる。
【００５２】
ＰＣ１は、送信画像範囲５５における基準点５６の位置が、撮像範囲の移動前後で一致するように、送信画像範囲５５を移動させる。その結果、容易且つ確実に送信画像範囲５５を復元することができる。また、カメラ４７の撮像範囲が移動した場合、発話者の位置が送信画像範囲５５の中心領域６５内にあれば、他の拠点のユーザは発話者を視認することができる。この場合、ＰＣ１は、ユーザが故意に撮像範囲を移動させたと判断することで、円滑に遠隔会議を進行させることができる。
【００５３】
ユーザは、テレビ会議端末３の操作と移動とを意図的に同時に行うことは少ない。従って、ＰＣ１は、テレビ会議端末３が操作されている場合の移動を事故と判断することで、的確な判断を行うことができる。ＰＣ１は、カメラ４７の撮像範囲が移動したか否かを、テレビ会議端末３から取得した画像データによって判断する。従って、ＰＣ１は、テレビ会議端末３が加速度センサ等を備えていない場合でも、テレビ会議に用いられる画像のデータを利用して的確な判断を行うことができる。
【００５４】
上記実施の形態において、ＰＣ１が本発明の「画像処理装置」に相当する。テレビ会議端末３のカメラ４７が本発明の「撮像手段」に相当する。図４のＳ２で画像データを取得するＣＰＵ１０が「画像データ取得手段」として機能する。図４のＳ３、Ｓ８、Ｓ１０で変化量および移動時間を取得するＣＰＵ１０が「移動情報取得手段」として機能する。図４のＳ４，５，１１で撮像範囲が移動したか否かを判断するＣＰＵ１０が「移動判断手段」として機能する。図５に示す故意判断処理を行うＣＰＵ１０が「故意判断手段」として機能する。図７のＳ４３で送信画像範囲５５を復元できるか否かを判断するＣＰＵ１０が「復元判断手段」として機能する。図７のＳ４４およびＳ４５で送信画像範囲５５を復元するＣＰＵ１０が「復元手段」として機能する。図７のＳ４７で修正中報知画像６８のデータを送信するＣＰＵ１０が「処理手段」として機能する。
【００５５】
閾値Ａが「第一閾値」、閾値Ｂが「第二閾値」、閾値Ｃが「第三閾値」に相当する。図４のＳ１０および図７のＳ４１で基準点５６の位置を特定するＣＰＵ１０が「特定手段」として機能する。基準点５６が設定された撮像物（図３、図８、および図９の例ではホワイトボード６１）が本発明の「基準撮像物」に相当する。図５のＳ３６で発話者の位置を検出するＣＰＵ１０が「検出手段」として機能する。中心領域６５が「所定領域」に相当する。
【００５６】
図４のＳ２で画像データを取得する処理が「画像データ取得ステップ」に相当する。図４のＳ３、Ｓ８、Ｓ１０で変化量および移動時間を取得する処理が「移動情報取得ステップ」に相当する。図４のＳ４，５，１１で撮像範囲が移動したか否かを判断する処理が「移動判断ステップ」に相当する。図５に示す故意判断処理が「故意判断ステップ」に相当する。図７のＳ４３で送信画像範囲５５を復元できるか否かを判断する処理が「復元判断ステップ」に相当する。図７のＳ４４およびＳ４５で送信画像範囲５５を復元する処理が「復元ステップ」に相当する。図７のＳ４７で修正中報知画像６８のデータを送信する処理が「処理ステップ」に相当する。
【００５７】
本発明は上記実施の形態に限定されることはなく、様々な変形が可能であることは言うまでもない。例えば、上記実施の形態のＰＣ１は、取得画像範囲５０内の送信画像範囲５５の位置および大きさを変更することで、他の拠点の通信装置に送信する画像データの撮像範囲を復元している。しかし、送信画像範囲５５の復元方法はこれに限られない。例えば、テレビ会議端末３がモータ等によってカメラ４７の向きを変更（パン・チルト）できる場合には、ＰＣ１は、カメラ４７の向きを変更させる指示をテレビ会議端末３に送信することで、送信画像範囲５５を復元してもよい。この場合、ＰＣ１は、図７のＳ４３で送信画像範囲５５を復元できるか否かを判断する際、カメラ４７の向きを変更しながら、周囲に基準点５６が存在するか否かを探索してもよい。その結果、ＰＣ１はより広い範囲で送信画像範囲５５を復元することができる。
【００５８】
上記実施の形態のＰＣ１は、送信画像範囲５５を復元できない場合、撮像画像のデータの送信を中止し（フレームレートを「０」とし）、代わりに修正中報知画像６８のデータを他の拠点の通信装置に送信する。しかし、この処理は変更できる。例えば、ＰＣ１は、撮像画像のデータの送信を中止するのみでもよい。撮像画像のデータの送信を中止するだけで、機密情報が他の拠点のユーザに視認される可能性、および、会議に不要な画像データが送信される可能性を排除することができる。また、ＰＣ１は、送信する撮像画像のデータの解像度を下げることで、機密情報が漏れること等を防止してもよい。ＰＣ１は、フレームレートを低下させることで、不要な画像を視認することによるユーザの不快感を低下させてもよい。
【００５９】
図５に示す故意判断処理の処理内容も変更できる。例えば、Ｓ３１〜Ｓ３４，Ｓ３７の処理順を変更しても本発明は実現できる。また、Ｓ３１〜Ｓ３４，Ｓ３７のいずれかの処理を省略してもよい。例えば、Ｓ３１の処理、およびＳ３５〜Ｓ３７の処理を省略しても、本発明は実現できる。閾値Ａ〜Ｃは適宜設定できることは言うまでもない。ユーザが閾値Ａ〜Ｃを変更できてもよい。
【００６０】
上記実施の形態のＰＣ１は、テレビ会議端末３から取得した画像データを用いて、カメラ４７の撮像範囲が移動したか否かを判断する。しかし、他の方法を用いて撮像範囲の移動を判断してもよい。例えば、加速度センサを備えたカメラを使用すれば、ＰＣ１は、カメラが移動したか否かを加速度センサの出力値によって判断することができる。ＰＣ１は、修正中報知画像および移動報知画像の代わりに、またはこれらの画像と共に、撮像範囲が移動した旨を報知する音声を出力させてもよい。また、ＰＣ１は、画像の色分布を用いて撮像範囲の移動を判断してもよい。例えば、ＰＣ１は、図４のＳ２で画像データを取得した後に、取得した画像データから色分布を算出する。今回算出した色分布と前回算出した色分布とを比較し、色分布の変化量が閾値以上である場合に撮像範囲が移動したと判断する。撮像範囲が移動したと判断した場合には、移動の前後の基準点５６の位置を比較して撮像範囲の移動量を算出してもよい。また、上記実施の形態のＰＣ１は、背景をあらかじめ撮像しておくことで背景画像を取得し、背景画像中の撮像物に基準点５６を設定する。しかし、ＰＣ１は、背景画像をあらかじめ撮像せずに、複数のカメラが撮像した画像から背景部分を特定してもよい。以上のように、撮像範囲の移動を判断する方法、および移動量を算出する方法は、適宜変更できる。
【符号の説明】
【００６１】
１ ＰＣ
３ テレビ会議端末
２６ 表示装置
４１ ＵＳＢ Ｉ／Ｆ
４７ カメラ
４８ 操作部
５０ 取得画像範囲
５５ 送信画像範囲
５６ 基準点
６５ 中心領域
６８ 修正中報知画像
【技術分野】
【０００１】
本発明は、遠隔会議を実行するために他の拠点の通信装置に送信する画像データを処理する画像処理装置、画像処理方法、および画像処理プログラムに関する。
【背景技術】
【０００２】
従来、撮像手段の撮像範囲が変化した場合に、変化が生じる前の範囲に撮像範囲を復元させる技術が知られている。例えば、特許文献１が開示している画像処理システムは、ブロック毎に算出される動きベクトルを用いて撮像範囲の変化（位置ずれ）を検出する。撮像変化の変化を検出した場合に、元の正常なシーンを撮像する位置にカメラを復帰させることで、撮像範囲を復元させる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−７７７０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ユーザの意図に反して撮像範囲が変化した場合でも、撮像範囲を必ず復元させることができるとは限らない。従来の技術では、撮像範囲を復元させることができるか否かに応じて適切な処理を行うことはできなかった。さらに、従来の技術では、ユーザが故意に撮像範囲を変化させた場合でも、撮像範囲を復元させる処理が行われてしまう場合があった。つまり、撮像範囲が変化した際の状況に応じて適切な処理を行うことができないという問題点があった。
【０００５】
本発明は、撮像手段の撮像範囲が変化した場合に、変化した際の状況に応じて適切な処理を行うことができる画像処理装置、画像処理方法、および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第一の態様に係る画像処理装置は、複数の拠点のユーザによる遠隔会議を実行するために、他の拠点に配置された通信装置に送信する画像データを処理する画像処理装置であって、画像を撮像する撮像手段が撮像した画像の画像データを取得する画像データ取得手段と、前記撮像手段の撮像範囲の移動状態を示す移動情報を取得する移動情報取得手段と、前記移動情報取得手段によって取得された移動情報によって、前記撮像手段の撮像範囲が移動したか否かを判断する移動判断手段と、前記移動判断手段によって撮像範囲が移動したと判断された場合に、前記移動情報取得手段によって取得された前記移動情報、および前記撮像手段に対する操作状態を示す操作状態情報の少なくともいずれかを用いて、ユーザが故意に撮像範囲を移動させたか否かを判断する故意判断手段と、前記故意判断手段によって故意に移動させていないと判断された場合に、前記通信装置に送信する画像データの撮像範囲である送信画像範囲を移動前の撮像範囲に復元できるか否かを、前記画像データ取得手段によって取得された画像データを用いて判断する復元判断手段と、前記復元判断手段によって前記送信画像範囲を復元できると判断された場合に、前記送信画像範囲を移動前の撮像範囲に復元する復元手段と、前記復元判断手段によって前記送信画像範囲を復元できないと判断された場合に、表示装置に表示される画像を変更する処理、および前記通信装置に送信される画像データのフレームレートを変化させる処理の少なくともいずれかを行う処理手段とを備える。
【０００７】
第一の態様に係る画像処理装置によると、撮像手段の撮像範囲の移動が事故によるものと判断され、且つ送信画像範囲を復元できると判断されると、送信画像範囲が移動前の撮像範囲に復元される。従って、ユーザの手間は減少する。また、画像処理装置は、送信画像範囲を復元できない場合、表示装置に表示される画像を変更する処理、および送信する画像データのフレームレートを変化させる処理の少なくともいずれかを行うことができる。その結果、撮像範囲が意図せず移動したことをユーザに通知したり、送信する必要の無い画像データが送信されることを防止したりすることができる。さらに、撮像手段の撮像範囲をユーザが故意に移動させたと判断された場合には、送信画像範囲の復元、および画像データの変更等の処理は行われない。従って、ユーザは、送信画像範囲を意図する通りに移動させることもできる。よって、画像処理装置は、撮像手段の撮像範囲が変化した際の状況に応じて適切な処理を行うことができる。
【０００８】
前記故意判断手段は、前記移動情報取得手段によって取得された前記移動情報が示す垂直方向の移動量が第一閾値以上である場合、ユーザが故意に撮像範囲を移動させたと判断してもよい。ユーザが撮像手段を持って故意に移動させる場合、撮像手段は垂直方向への移動を伴うことになる。従って、画像処理装置は、撮像範囲の垂直方向の移動量によって、撮像範囲の移動が故意によるものであるか否かを適切に判断することができる。
【０００９】
前記故意判断手段は、前記移動情報取得手段によって取得された前記移動情報が示す垂直方向の移動量が前記第一閾値未満であり、水平方向の移動量が第二閾値未満であり、且つ前記移動情報が示す撮像範囲の移動時間が第三閾値未満である場合、ユーザは故意に撮像範囲を移動させていないと判断してもよい。撮像範囲の移動量が少なく、且つ移動時間が短い場合は、ユーザ等が不意に撮像手段に触れて撮像範囲が移動する場合が多い。従って、画像処理装置は、撮像範囲の移動量および移動時間によって、撮像範囲の移動が故意によるものであるか否かを適切に判断することができる。
【００１０】
前記復元手段は、前記画像データ取得手段によって取得された画像データのうち、前記移動判断手段によって撮像範囲が移動したと判断される前後の各々の画像データにおいて同一の基準撮像物を特定する特定手段を備えてもよい。前記復元手段は、移動後の画像データにおいて前記特定手段によって特定される前記基準撮像物の撮像範囲中の位置が、移動前の画像データにおいて前記特定手段によって特定された前記基準撮像物の位置と一致するように、前記送信画像範囲を移動させて復元してもよい。この場合、画像処理装置は、容易且つ確実に送信画像範囲を復元することができる。なお、特定手段は基準撮像物を複数特定してもよい。
【００１１】
前記故意判断手段は、前記送信画像範囲のうち発話者の位置を検出する検出手段を備えてもよい。前記故意判断手段は、前記移動判断手段によって移動が検出された後に前記検出手段によって検出された発話者の位置が、前記送信画像範囲の中心点を含む所定領域の領域内にある場合、ユーザが故意に撮像範囲を移動させたと判断してもよい。撮像手段の撮像範囲が移動した場合、発話者の位置が送信画像範囲の中心点を含む所定領域内にあれば、他の拠点のユーザは発話者を視認することができる。この場合、画像処理装置は、ユーザが故意に撮像範囲を移動させたと判断することで、円滑に遠隔会議を進行させることができる。
【００１２】
前記故意判断手段は、前記撮像手段が操作されたことを前記操作状態情報が示す場合、ユーザは故意に撮像範囲を移動させていないと判断してもよい。ユーザは、撮像手段の操作と撮像範囲の移動とを共に意図的に行うことは少ない。従って、画像処理装置は、撮像手段が操作されている場合の移動を事故と判断することで、的確な判断を行うことができる。
【００１３】
前記処理手段は、前記通信装置に送信する画像データを、前記撮像手段の撮像範囲が移動した旨を報知する画像を含む画像データに変更してもよい。この場合、ユーザは、撮像範囲が意図に反して移動したことを容易に把握することができ、早急に適切な対処を行うことができる。
【００１４】
本発明の第二の態様に係る画像処理方法は、複数の拠点のユーザによる遠隔会議を実行するために、他の拠点に配置された通信装置に送信する画像データを処理する画像処理装置で行われる画像処理方法であって、画像を撮像する撮像手段が撮像した画像の画像データを取得する画像データ取得ステップと、前記撮像手段の撮像範囲の移動状態を示す移動情報を取得する移動情報取得ステップと、前記移動情報取得ステップにおいて取得された移動情報によって、前記撮像手段の撮像範囲が移動したか否かを判断する移動判断ステップと、前記移動判断ステップにおいて撮像範囲が移動したと判断された場合に、前記移動情報取得ステップにおいて取得された前記移動情報、および前記撮像手段に対する操作状態を示す操作状態情報の少なくともいずれかを用いて、ユーザが故意に撮像範囲を移動させたか否かを判断する故意判断ステップと、前記故意判断ステップにおいて故意に移動させていないと判断された場合に、前記通信装置に送信する画像データの撮像範囲である送信画像範囲を移動前の撮像範囲に復元できるか否かを、前記画像データ取得ステップにおいて取得された画像データを用いて判断する復元判断ステップと、前記復元判断ステップにおいて前記送信画像範囲を復元できると判断された場合に、前記送信画像範囲を移動前の撮像範囲に復元する復元ステップと、前記復元判断ステップにおいて前記送信画像範囲を復元できないと判断された場合に、表示装置に表示される画像を変更する処理、および前記通信装置に送信される画像データのフレームレートを変化させる処理の少なくともいずれかを行う処理ステップとを備える。
【００１５】
第二の態様に係る画像処理方法によると、撮像手段の撮像範囲の移動が事故によるものと判断され、且つ送信画像範囲を復元できると判断されると、送信画像範囲が移動前の撮像範囲に復元される。従って、ユーザの手間は減少する。また、画像処理装置は、送信画像範囲を復元できない場合、表示装置に表示される画像を変更する処理、および送信する画像データのフレームレートを変化させる処理の少なくともいずれかを行うことができる。その結果、撮像範囲が意図せず移動したことをユーザに通知したり、送信する必要の無い画像データが送信されることを防止したりすることができる。さらに、撮像手段の撮像範囲をユーザが故意に移動させたと判断された場合には、送信画像範囲の復元、および画像データの変更等の処理は行われない。従って、ユーザは、送信画像範囲を意図する通りに移動させることもできる。よって、画像処理装置は、撮像手段の撮像範囲が変化した際の状況に応じて適切な処理を行うことができる。
【００１６】
本発明の第三の態様に係る画像処理プログラムは、複数の拠点のユーザによる遠隔会議を実行するために、他の拠点に配置された通信装置に送信する画像データを処理する画像処理装置で用いられる画像処理プログラムであって、画像を撮像する撮像手段が撮像した画像の画像データを取得する画像データ取得ステップと、前記撮像手段の撮像範囲の移動状態を示す移動情報を取得する移動情報取得ステップと、前記移動情報取得ステップにおいて取得された移動情報によって、前記撮像手段の撮像範囲が移動したか否かを判断する移動判断ステップと、前記移動判断ステップにおいて撮像範囲が移動したと判断された場合に、前記移動情報取得ステップにおいて取得された前記移動情報、および前記撮像手段に対する操作状態を示す操作状態情報の少なくともいずれかを用いて、ユーザが故意に撮像範囲を移動させたか否かを判断する故意判断ステップと、前記故意判断ステップにおいて故意に移動させていないと判断された場合に、前記通信装置に送信する画像データの撮像範囲である送信画像範囲を移動前の撮像範囲に復元できるか否かを、前記画像データ取得ステップにおいて取得された画像データを用いて判断する復元判断ステップと、前記復元判断ステップにおいて前記送信画像範囲を復元できると判断された場合に、前記送信画像範囲を移動前の撮像範囲に復元する復元ステップと、前記復元判断ステップにおいて前記送信画像範囲を復元できないと判断された場合に、表示装置に表示される画像を変更する処理、および前記通信装置に送信される画像データのフレームレートを変化させる処理の少なくともいずれかを行う処理ステップとを前記画像処理装置のコントローラに実行させるための指示を含む。
【００１７】
第三の態様に係る画像処理プログラムによると、撮像手段の撮像範囲の移動が事故によるものと判断され、且つ送信画像範囲を復元できると判断されると、送信画像範囲が移動前の撮像範囲に復元される。従って、ユーザの手間は減少する。また、画像処理装置は、送信画像範囲を復元できない場合、表示装置に表示される画像を変更する処理、および送信する画像データのフレームレートを変化させる処理の少なくともいずれかを行うことができる。その結果、撮像範囲が意図せず移動したことをユーザに通知したり、送信する必要の無い画像データが送信されることを防止したりすることができる。さらに、撮像手段の撮像範囲をユーザが故意に移動させたと判断された場合には、送信画像範囲の復元、および画像データの変更等の処理は行われない。従って、ユーザは、送信画像範囲を意図する通りに移動させることもできる。よって、画像処理装置は、撮像手段の撮像範囲が変化した際の状況に応じて適切な処理を行うことができる。
【図面の簡単な説明】
【００１８】
【図１】ＰＣ１およびテレビ会議端末３の構成図である。
【図２】ＰＣ１およびテレビ会議端末３の電気的構成を示すブロック図である。
【図３】取得画像範囲５０および送信画像範囲５５を説明するための説明図である。
【図４】ＰＣ１が実行する画像処理のフローチャートである。
【図５】画像処理中に実行される故意判断処理のフローチャートである。
【図６】撮像範囲の移動後における送信画像範囲５５の中心領域６５に発話者が位置している場合の処理を説明するための説明図である。
【図７】画像処理中に実行される事故対応処理のフローチャートである。
【図８】送信画像範囲５５を移動前の撮像範囲に復元する処理を説明するための説明図である。
【図９】送信画像範囲５５を復元できない場合の処理を説明するための説明図である。
【発明を実施するための形態】
【００１９】
以下、本発明の画像処理装置を具現化した一実施の形態であるパーソナルコンピュータ（以下、「ＰＣ」という。）１について、図面を参照して説明する。参照する図面は、本発明が採用し得る技術的特徴を説明するために用いられるものである。図面に記載されている装置の構成、各種処理のフローチャート等は、それのみに限定する趣旨ではなく、単なる説明例である。
【００２０】
図１を参照して、ＰＣ１およびテレビ会議端末３の概略構成について説明する。ＰＣ１は、データ通信、画像表示等の各種情報処理を行う一般的なＰＣである。図１に示すＰＣ１はノート型のＰＣであり、表示装置２６および操作部２７等を備えるが、表示装置、操作部等のデバイスを備えないデスクトップ型のＰＣを用いてもよいことは言うまでもない。ＰＣ１は、例えばＵＳＢケーブル、赤外線通信等によってテレビ会議端末３に接続する。
【００２１】
テレビ会議端末３は、上端に回転軸を備える。ユーザは、回転軸を中心として筐体の一部を回転させることで、筐体の姿勢を使用時の姿勢と非使用時の姿勢に切り替えることができる。テレビ会議端末３は、マイク４５、スピーカ４６、カメラ４７、および操作部４８を備える。ユーザが筐体の姿勢を使用時の姿勢に切り替えると、マイク４５、スピーカ４６、カメラ４７、および操作部４８の全てがテレビ会議端末３の前方を向く。テレビ会議端末３は、設置された拠点の音声をマイク４５から入力し、且つ画像をカメラ４７から入力する。入力した音声および画像のデータをＰＣ１に送信する。また、テレビ会議端末３は、ＰＣ１から受信した音声のデータに基づいて、スピーカ４６から音声を発生させる。操作部４８には、電源ボタン、音量調節ボタン、マイクミュートボタン等が設けられている。
【００２２】
ユーザは、ＰＣ１およびテレビ会議端末３を用いることで、画像を用いた遠隔会議（テレビ会議）を実行することができる。詳細には、ＰＣ１は、テレビ会議端末３から入力した自拠点の音声および画像のデータを、他拠点に配置されたＰＣ等の通信装置に、インターネット等のネットワーク８（図２参照）を介して送信する。同時に、ＰＣ１は、他拠点に配置された通信装置から、他拠点の音声および画像のデータを受信する。ＰＣ１は、受信した画像のデータに基づいて、他拠点の画像を表示装置２６に表示させる。さらに、ＰＣ１は、受信した音声のデータに基づいて、接続しているテレビ会議端末３のスピーカ４６に他拠点の音声を発生させる。その結果、複数の拠点の音声および画像が共有され、全てのユーザが同一の拠点にいない場合でも円滑に会議が進行する。
【００２３】
なお、ＰＣ１およびテレビ会議端末３の構成は変更できる。例えば、マイク、スピーカ、および表示装置を備えるＰＣに小型のカメラを接続することで、テレビ会議端末３を使用せずにテレビ会議を実行してもよい。カメラが内蔵されたＰＣを用いてもよい。ＰＣ１の代わりに、通信機能および画像処理機能を備えるテレビ会議専用の装置を用いてもよい。テレビ会議を実行するためには、通信システムを構成するＰＣ１の数は２つ以上であればよい。また、本発明は、Ｐ２Ｐ（ｐｅｅｒ ｔｏ ｐｅｅｒ）型の通信システム、およびサーバ型の通信システムのいずれにも適用できる。Ｐ２Ｐ型の通信システムでは、複数のＰＣ１間でデータが直接送受信される。サーバ型の通信システムでは、システム内の通信を制御するサーバ（図示せず）を介してデータが送受信される。
【００２４】
図２を参照して、ＰＣ１およびテレビ会議端末３の電気的構成について説明する。ＰＣ１は、ＰＣ１の制御を司るＣＰＵ１０を備える。ＣＰＵ１０には、ＲＯＭ１１、ＲＡＭ１２、ハードディスクドライブ（以下、「ＨＤＤ」という。）１３、および入出力インターフェース１４が、バス１９を介して接続されている。
【００２５】
ＲＯＭ１１は、ＰＣ１を動作させるためのプログラムおよび初期値等を記憶している。ＲＡＭ１２は、制御プログラムで使用される各種の情報を一時的に記憶する。ＨＤＤ１３は不揮発性の記憶装置である。ＨＤＤ１３は、後述する画像処理を実行させるための画像処理プログラム等を記憶する。ＨＤＤ１３に代わりに、ＥＥＰＲＯＭまたはメモリカード等の記憶装置を用いてもよい。入出力インターフェース１４には、映像出力処理部２１、外部通信Ｉ／Ｆ２２、ＵＳＢ Ｉ／Ｆ２３、および操作部２７が接続されている。映像出力処理部２１は、映像を表示する表示装置２６の動作を処理する。外部通信Ｉ／Ｆ２２は、ＰＣ１をネットワーク８に接続する。ＵＳＢ Ｉ／Ｆ２３は、ＵＳＢケーブルを介してＰＣ１をテレビ会議端末３に接続する。
【００２６】
テレビ会議端末３は、テレビ会議端末３の制御を司るＣＰＵ３０を備える。ＣＰＵ３０には、ＲＯＭ３１、ＲＡＭ３２、フラッシュメモリ３３、および入出力インターフェース３４が、バス３９を介して接続されている。
【００２７】
ＲＯＭ３１は、テレビ会議端末３を動作させるためのプログラムおよび初期値等を記憶している。ＲＡＭ３２は各種情報を一時的に記憶する。フラッシュメモリ３３は不揮発性の記憶装置である。入出力インターフェース３４には、ＵＳＢ Ｉ／Ｆ４１、音声入力処理部４２、音声出力処理部４３、映像入力処理部４４、および操作部４８が接続されている。ＵＳＢ Ｉ／Ｆ４１は、テレビ会議端末３をＰＣ１に接続する。音声入力処理部４２は、マイク４５からの音声データの入力を処理する。音声出力処理部４３はスピーカ４６の動作を処理する。映像入力処理部４４は、カメラ４７からの画像データの入力を処理する。
【００２８】
図３を参照して、取得画像範囲５０および送信画像範囲５５について説明する。取得画像範囲５０とは、ＰＣ１が自拠点のテレビ会議端末３から取得した画像データの撮像範囲である。つまり、テレビ会議端末３のカメラ４７が撮像した画像の撮像範囲が取得画像範囲５０となる。送信画像範囲５５とは、ＰＣ１が他拠点の通信装置に送信する画像データの撮像範囲である。ＰＣ１は、取得画像範囲５０の範囲内であれば、送信画像範囲５５を自由に設定することができる。従って、ＰＣ１は、テレビ会議端末３の位置および姿勢を変更することなく、他拠点の表示装置に表示させる画像の範囲を変更することができ、画像の拡大および縮小を行うこともできる。
【００２９】
図３に示す例では、ホワイトボード６１、参加者６２、および参加者６３等が取得画像範囲５０内に含まれている。送信画像範囲５５は、取得画像範囲５０内の中心を含む一定領域に設定されており、ホワイトボード６１、参加者６２、および参加者６３は取得画像範囲５０にも含まれている。ＰＣ１は、送信画像範囲５５を他拠点で表示させるための画像データを、他拠点の通信装置に送信する。その結果、他拠点の表示装置では送信画像範囲５５が表示される。
【００３０】
本実施の形態では、カメラ４７の撮像範囲（つまり、取得画像範囲５０）が移動したか否かを判断するための基準点５６が設定される。ＰＣ１は、取得画像範囲５０内の背景画像に含まれる特定の撮像物に基準点５６を設定すればよく、基準点５６を設定する撮像物は１つでも複数でもよい。例えば、ＰＣ１は、テレビ会議の開始前に、参加者を含まない背景のみをあらかじめ撮像することで、背景画像を取得しておく。ＰＣ１は、背景画像中の撮像物に基準点５６を設定し、取得画像範囲５０中の基準点５６の位置を監視することで、カメラ４７の撮像範囲が移動したか否かを的確に判断することができる。また、ＰＣ１は、参加者が移動して基準点５６が隠れた場合、および、カメラ４７が移動して基準点５６が取得画像範囲５０の範囲外となった場合に備え、複数の基準点を設定することができる。複数の基準点５６を設定することで、一部の基準点５６が隠れた場合でも取得画像範囲５０が移動したか否かを判断することができる。さらに、ＰＣ１は、基準点５６を再設定することもできる。よって、参加者およびカメラ４７が移動した場合でも、取得画像範囲５０の移動量をより的確に判断することができる。図３に示す例では、ＰＣ１は、テレビ会議端末３から取得した画像データに対して画像処理を行い、取得画像範囲５０内の撮像物のうち矩形の撮像物の角を特定して、特定した角を基準点５６に設定している。その結果、図３に示す例では、ホワイトボード６１の４つの角に基準点５６が設定されている。なお、詳細は後述するが、ＰＣ１は、取得画像範囲５０内の基準点５６の位置を、カメラ４７の撮像範囲の移動状態を示す移動情報として取得する。取得した基準点５６の位置に基づいて、カメラ４７の撮像範囲である取得画像範囲５０が移動したか否かを判断し、移動した場合には移動量の算出を行う。なお、ＰＣ１は、ユーザによる操作部２７の操作に応じて基準点５６を設定してもよい。
【００３１】
図４から図９を参照して、本実施の形態のＰＣ１が実行する画像処理について説明する。ＰＣ１のＨＤＤ１３には、テレビ会議を実行するためのアプリケーションとして画像処理プログラムがインストールされている。ＰＣ１のＣＰＵ１０は、アプリケーションを立ち上げる指示を操作部２７から入力し、他の拠点の通信装置との間でテレビ会議を開始すると、図４に示す画像処理を実行する。
【００３２】
図４に示すように、画像処理を開始したＣＰＵ１０は、カメラ４７が撮像した画像の画像データをテレビ会議端末３から取得する。取得した画像データに対して画像処理を行うことで特徴点を特定する。ＣＰＵ１０は、特定した特徴点を基準点５６に設定する（Ｓ１）。前述したように、本実施の形態のＰＣ１は、基準点５６を複数設定することで、一部の基準点５６が隠れた場合でも撮像範囲の移動を判断することができる。次いで、ＣＰＵ１０は、カメラ４７が撮像した最新の画像の画像データをテレビ会議端末３から取得する（Ｓ２）。ＣＰＵ１０は、取得画像範囲５０中の基準点５６の座標を算出する（Ｓ３）。
【００３３】
ＣＰＵ１０は、基準点５６を１つも検出できなかった場合には（Ｓ４：ＹＥＳ）、カメラ４７の撮像範囲である取得画像範囲５０が移動したと判断する（Ｓ５）。次いで、Ｓ１の処理と同様に、複数の基準点５６を再設定する（Ｓ６）。ＰＣ１は、移動中の乱れた画像が他の拠点で表示されることを防止するために、他の拠点の通信装置に対する撮像画像データの送信を停止する（Ｓ７）。ＰＣ１は、取得画像範囲５０が移動している時間である移動時間を加算し（Ｓ８）、処理はＳ９の判断へ移行する。テレビ会議を終了する指示が操作部２７に入力されていなければ（Ｓ９：ＮＯ）、処理はＳ２へ戻る。
【００３４】
ＣＰＵ１０は、少なくとも１つの基準点５６を検出できた場合には（Ｓ４：ＮＯ）、Ｓ３で算出された最新の基準点５６の各々の座標と、前回のＳ３の処理で算出された基準点５６の各々の座標との距離の平均値を、基準点５６の位置の変化量として算出し、加算する（Ｓ１０）。ＣＰＵ１０は、Ｓ１０で算出された変化量に基づいて、取得画像範囲５０が移動したか否かを判断する（Ｓ１１）。Ｓ１０で算出された変化量が一定の閾値以上である場合、ＣＰＵ１０は取得画像範囲５０が移動したと判断し（Ｓ１１：ＹＥＳ）、画像データの送信を停止して（Ｓ７）、移動時間を加算する（Ｓ８）。処理はＳ９の判断へ移行する。テレビ会議を終了する指示が操作部２７に入力されていなければ（Ｓ９：ＮＯ）、処理はＳ２へ戻り、取得画像範囲５０の移動が終了するまで移動量および移動時間が加算され続ける（Ｓ８およびＳ１０）。
【００３５】
Ｓ１０で算出された変化量が閾値未満であれば、ＣＰＵ１０は取得画像範囲５０が移動していないと判断し（Ｓ１１：ＮＯ）、直前まで取得画像範囲５０が移動していたか否かを判断する（Ｓ１２）。前回行われたＳ４・Ｓ５、またはＳ１１の判断で、取得画像範囲５０が移動したと判断していた場合（Ｓ１２：ＹＥＳ）、ＣＰＵ１０は基準点５６を再設定し（Ｓ１３）、故意判断処理を行う（Ｓ１４）。故意判断処理では、ユーザが故意にカメラ４７の撮像範囲を移動させたか否かが判断される。
【００３６】
図５に示すように、故意判断処理を開始したＣＰＵ１０は、移動時間内にテレビ会議端末３が操作されたか否かを判断する（Ｓ３１）。本実施の形態では、ＣＰＵ１０は、テレビ会議端末３の操作部４８のいずれかが移動時間内に操作されていた場合、および、テレビ会議端末３とＰＣ１とを接続するＵＳＢケーブルが着脱されていた場合に、テレビ会議端末３が操作されたと判断する。しかし、例えばテレビ会議端末３がメモリカードを装着できる場合には、メモリカードの着脱もテレビ会議端末３の操作と判断してもよい。ユーザは、テレビ会議端末３の操作と撮像範囲の移動とを意図的に同時に行うことは少ない。従って、移動時間内にテレビ会議端末３が操作されたと判断した場合（Ｓ３１：ＹＥＳ）、ＣＰＵ１０は、取得画像範囲５０が移動した原因を事故と判断し（Ｓ３８）、処理は画像処理へ戻る。
【００３７】
所定時間内にテレビ会議端末３が操作されていない場合（Ｓ３１：ＮＯ）、ＣＰＵ１０は、加算された基準点５６の位置の変化量から、取得画像範囲５０の垂直方向の移動量を算出する。算出した垂直方向の移動量が閾値Ａ以上であるか否かを判断する（Ｓ３２）。ユーザがテレビ会議端末３を持って故意に移動させる場合、テレビ会議端末３は垂直方向への移動を伴うことになる。従って、ＣＰＵ１０は、垂直方向の移動量が閾値Ａ以上であれば（Ｓ３２：ＹＥＳ）、ユーザが故意にカメラ４７の撮像範囲を移動させたと判断する（Ｓ３９）。処理は画像処理へ戻る。
【００３８】
取得画像範囲５０の垂直方向の移動量が閾値Ａ未満であれば（Ｓ３２：ＮＯ）、ＣＰＵ１０は、基準点５６の位置の変化量から、取得画像範囲５０の水平方向の移動量を算出する。算出した水平方向の移動量が閾値Ｂ未満であるか否かを判断する（Ｓ３３）。水平方向の移動量が閾値Ｂ未満であれば（Ｓ３３：ＹＥＳ）、ＣＰＵ１０は、加算された移動時間が閾値Ｃ未満であるか否かを判断する（Ｓ３４）。ユーザは、カメラ４７の撮像範囲を微調整する場合には、長い時間を要して慎重にカメラ４７の位置および方向を調整する。取得画像範囲５０の移動量が少なく、且つ移動時間が短い場合は、ユーザ等が不意にテレビ会議端末３に触れて撮像範囲が移動する場合が多い。従って、ＣＰＵ１０は、水平方向の移動量が閾値Ｂ以上である場合（Ｓ３３：ＮＯ）、または、移動時間が閾値Ｃ以上である場合には（Ｓ３４：ＮＯ）、ユーザが故意にカメラ４７の撮像範囲を移動させたと判断する（Ｓ３９）。処理は画像処理へ戻る。なお、テレビ会議端末３が事故で大きく移動する場合（例えば、テレビ会議端末３が転倒する場合）もあるが、この場合はユーザが衝撃音等によって移動に気付く可能性が高いため、画像が乱れたままテレビ会議が進行する可能性は低い。
【００３９】
水平方向の移動量が閾値Ｂ未満であり（Ｓ３３：ＹＥＳ）、且つ移動時間が閾値Ｃ未満であれば（Ｓ３４：ＹＥＳ）、ＣＰＵ１０は、テレビ会議端末３から取得した画像データに対して画像処理を行い、撮像された参加者の顔領域を検出する（Ｓ３５）。顔領域の検出には種々の周知の方法を用いることができる。例えば、目、鼻、口等の部分を特徴点によって検出する方法を用いてもよいし、顔を判断するためにあらかじめ記憶された基データと比較する方法を用いてもよい。次いで、ＣＰＵ１０は、顔領域の検出結果と、テレビ会議端末３のマイク４５が入力した音声から、発話者の位置を検出する（Ｓ３６）。詳細には、ＣＰＵ１０は、マイク４５から発話音声が入力されている場合に、検出した顔領域の口元が動いている参加者の位置を発話者の位置として検出する。ＣＰＵ１０は、検出した発話者の位置が送信画像範囲５５内の中心領域内にあるか否かを判断する（Ｓ３７）。
【００４０】
図６は、図３に示す状態から移動した取得画像範囲５０の一例を示す。中心領域６５とは、送信画像範囲５５の中心点を含む所定の領域であり、中心領域６５の形状および大きさは適宜設定できる。図６に示す例では、取得画像範囲５０は図３に示す位置から移動しているが、発話者として特定された参加者６２が中心領域６５内に位置している。その結果、他拠点の表示装置に表示される画像の中心には、発話を行っている参加者６２が表示される。この場合、ユーザは、発話を行っている参加者６２が画像の中心に位置するように、意図的にテレビ会議端末３を移動させた可能性がある。また、意図的にテレビ会議端末３を移動させていない場合でも、発話を行っている参加者６２が画像の中心に表示されていれば、テレビ会議に進行に支障が出る可能性は低い。
【００４１】
従って、ＣＰＵ１０は、検出した発話者の位置が中心領域６５内にあると判断すると（Ｓ３７：ＹＥＳ）、ユーザが故意にカメラ４７の撮像範囲を移動させたと判断する（Ｓ３９）。処理の詳細は後述するが、ＣＰＵ１０は、故意の撮像範囲の移動であると判断すると、送信画像範囲５５の位置の復元等の処理は行わず、画像データの送信をそのまま継続する。その結果、図６に示すように、他拠点の表示装置で表示される画像の範囲である送信画像範囲５５の中心には、発話を行っている参加者６２が位置することになる。一方で、ＣＰＵ１０は、発話者の位置が中心領域６５内にないと判断すると（Ｓ３７：ＮＯ）、取得画像範囲５０が移動した原因を事故と判断し（Ｓ３８）、処理は画像処理へ戻る。
【００４２】
図４の説明に戻る。故意判断処理（Ｓ１４）が終了すると、ＣＰＵ１０は、故意判断処理における判断結果が「故意」であったか否かを判断する（Ｓ１５）。ユーザが故意に撮像範囲を移動させたと判断していれば（Ｓ１５：ＹＥＳ）、ＣＰＵ１０は、他の拠点の通信装置に対する撮像画像データの送信を再開し（Ｓ１７）、処理はＳ９の判断へ移行する。撮像範囲の移動の原因が事故であると判断した場合には（Ｓ１５：ＮＯ）、ＣＰＵ１０は事故対応処理を実行し（Ｓ１６）、処理はＳ９の判断へ移行する。事故対応処理では、送信画像範囲５５を復元する処理、および送信する画像データを他の画像データに変更する処理等が行われる。
【００４３】
図７に示すように、ＣＰＵ１０は、事故対応処理を開始すると、最新の取得画像範囲５０から、移動前に検出された全ての基準点５６を探索する（Ｓ４１）。取得画像範囲５０内に全ての基準点５６が存在した場合（Ｓ４２：ＹＥＳ）、ＣＰＵ１０は、送信画像範囲５５を移動前の範囲に復元できるか否かを判断する（Ｓ４３）。
【００４４】
図８および図９では、説明を簡略化するために、複数の基準点５６のうち、ホワイトボード６１の左上の角の基準点５６のみを図示している。以下では、図８および図９に図示した基準点５６のみを用いて説明を行う。図８に示す例では、探索された移動後の基準点５６の送信画像範囲５５中の位置が、移動前の基準点（復元前基準点５８）が存在していた位置に一致するように、設定されていた送信画像範囲（復元前送信画像範囲５７）を移動させて新たな送信画像範囲５５を設定しても、新たな送信画像範囲５５は取得画像範囲５０内に収まる。つまり、図８に示す例では、移動前には基準点５６が送信画像範囲５５の左上部に存在していたため、送信画像範囲５５を復元するには、復元後の送信画像範囲５５でも基準点５６の位置は自身の左上部に位置させる必要がある。従って、ＣＰＵ１０は、送信画像範囲５５を復元前送信画像範囲５７の位置から右下に移動させなければならない。図８に示す例では、取得画像範囲５０の移動量が小さいため、送信画像範囲５５は移動（復元）後も取得画像範囲５０からはみ出すことはない。この場合、ＣＰＵ１０は、送信画像範囲５５を復元できると判断する。
【００４５】
一方、図９に示す例において、送信画像範囲５５中の基準点５６の位置が、復元前送信画像範囲５７における復元前基準点５８の位置となるように、送信画像範囲５５を移動させたと仮定する。この場合、送信画像範囲５５の右端部は取得画像範囲５０の範囲外となる。従って、図９に示す例では、ＣＰＵ１０は送信画像範囲５５を復元できないと判断する。
【００４６】
図７の説明に戻る。ＣＰＵ１０は、送信画像範囲５５を復元できると判断すると（Ｓ４３：ＹＥＳ）、送信画像範囲５５中の基準点５６の各々の位置が、移動前に各々の基準点５６が存在していた位置に一致するように、取得画像範囲５０における送信画像範囲５５の位置を移動させて（Ｓ４４）、且つ送信画像範囲５５を拡大または縮小してサイズを一致させる（Ｓ４５）。処理は画像処理へ戻る。これにより、送信画像範囲５５を復元する。図３の下の図と、図８の下の図とを比較するとわかるように、他の拠点の表示装置では、カメラ４７の撮像範囲が移動する前と同じ画像が表示されることになる。ユーザは、カメラ４７の位置を元に戻す必要はない。
【００４７】
また、ＣＰＵ１０は、送信画像範囲５５を復元できないと判断すると（Ｓ４３：ＮＯ）、他の拠点の表示装置に対し、修正中報知画像６８のデータの送信を開始する（Ｓ４７）。修正中報知画像６８とは、図９の下部に示すように、カメラ４７の撮像範囲が移動した旨を他の拠点のユーザに報知するための画像である。本実施の形態では、「現在カメラ視野を修正しています」というメッセージを表示する画像が修正中報知画像６８として用いられる。なお、他拠点のユーザは、撮像範囲が移動した旨を把握できることに加え、会議と関係のない無駄な画像を見ることがない。また、撮像範囲が移動すると、他の拠点のユーザに見られると不都合がある画像のデータ（例えば、機密資料のデータ）が表示される可能性がある。しかし、ＰＣ１は、修正中報知画像６８のデータを自拠点の画像のデータの代わりに送信することで、セキュリティ性を向上することができる。
【００４８】
さらに、ＣＰＵ１０は、自拠点の表示装置２６への移動報知画像の表示を開始させる（Ｓ４８）。移動報知画像とは、カメラ４７の撮像範囲が移動した旨を自拠点のユーザに報知するための画像である。本実施の形態では、「端末が移動しました」というメッセージが、他拠点の画像と共に表示される。ＣＰＵ１０は、修正中報知画像６８および移動報知画像を表示している時間（報知時間）の計測を開始し（Ｓ４９）、処理は画像処理へ戻る。
【００４９】
図４の説明に戻る。取得画像範囲５０が移動しておらず（Ｓ１１：ＮＯ）、且つ直前にも取得画像範囲５０が移動していない場合には（Ｓ１２：ＮＯ）、ＣＰＵ１０は、Ｓ８で加算される移動時間、およびＳ１０で加算される変化量を初期化して「０」とする（Ｓ１９）。ＣＰＵ１０は、撮像範囲が移動した旨の報知中であるか否かを判断する（Ｓ２０）。報知時間を計測しておらず、報知中でないと判断した場合には（Ｓ２０：ＮＯ）、処理はそのままＳ９の判断へ戻る。報知時間を計測しており、撮像範囲が移動した旨の報知中であると判断した場合（Ｓ２０：ＹＥＳ）、ＣＰＵ１０は、報知時間が一定時間に達したか否かを判断する（Ｓ２１）。一定時間に達していない場合（Ｓ２１：ＮＯ）、処理はそのままＳ９の判断へ移行し、報知が継続される。報知時間が一定時間に達すると（Ｓ２１：ＹＥＳ）、ＣＰＵ１０は、修正中報知画像６８のデータの送信を終了する（Ｓ２２）。ＣＰＵ１０は、自拠点の表示装置２６における移動報知画像の表示を終了する（Ｓ２３）。さらに、カメラ４７の撮像画像のデータ送信を再開させる（Ｓ２４）。次いで、報知時間が初期化されて（Ｓ２５）、処理はＳ９の判断へ移行する。操作部２７または他の拠点の通信装置からテレビ会議の終了指示を入力すると（Ｓ９：ＹＥＳ）、画像処理は終了する。
【００５０】
以上説明したように、本実施の形態に係るＰＣ１によると、カメラ４７の撮像範囲の移動が事故によるものと判断され、且つ送信画像範囲５５を復元できると判断されると、送信画像範囲５５が移動前の撮像範囲に復元される。従って、ユーザは自らカメラ４７の撮像範囲を戻す必要がない。また、ＰＣ１は、送信画像範囲５５を復元できない場合、撮像された画像のデータ送信を中止し（フレームレートを「０」とし）、代わりに修正中報知画像６８のデータを送信することができる。その結果、撮像範囲が意図せず移動したことをユーザに通知することができ、且つ送信する必要の無い画像データが送信されて不都合が生じることを防止することができる。ＰＣ１は、撮像範囲をユーザが故意に移動させたと判断した場合には、送信画像範囲５５の復元、および画像データの変更等の処理は行われない。従って、ユーザは、送信画像範囲５５を意図する通りに移動させることもできる。よって、ＰＣ１は、カメラ４７の撮像範囲が変化した際の状況に応じて適切な処理を行うことができる。特に、テレビ会議端末３のように、平面上に載置して用いる小型の撮像装置を用いる場合には、撮像範囲は不意に動き易い。しかし、本実施の形態のＰＣ１によると、小型の撮像装置を用いて容易に円滑なテレビ会議を実現できる。
【００５１】
ユーザがテレビ会議端末３を持って故意に移動させる場合、テレビ会議端末３は垂直方向への移動を伴うことになる。従って、ＰＣ１は、撮像範囲の垂直方向の移動量によって、撮像範囲の移動が故意によるものであるか否かを判断することができる。また、撮像範囲の移動量が少なく、且つ移動時間が短い場合は、ユーザ等が不意にテレビ会議端末３に触れて撮像範囲が移動する場合が多い。従って、ＰＣ１は、撮像範囲の移動量および移動時間によって、撮像範囲の移動が故意によるものであるか否かを適切に判断することができる。
【００５２】
ＰＣ１は、送信画像範囲５５における基準点５６の位置が、撮像範囲の移動前後で一致するように、送信画像範囲５５を移動させる。その結果、容易且つ確実に送信画像範囲５５を復元することができる。また、カメラ４７の撮像範囲が移動した場合、発話者の位置が送信画像範囲５５の中心領域６５内にあれば、他の拠点のユーザは発話者を視認することができる。この場合、ＰＣ１は、ユーザが故意に撮像範囲を移動させたと判断することで、円滑に遠隔会議を進行させることができる。
【００５３】
ユーザは、テレビ会議端末３の操作と移動とを意図的に同時に行うことは少ない。従って、ＰＣ１は、テレビ会議端末３が操作されている場合の移動を事故と判断することで、的確な判断を行うことができる。ＰＣ１は、カメラ４７の撮像範囲が移動したか否かを、テレビ会議端末３から取得した画像データによって判断する。従って、ＰＣ１は、テレビ会議端末３が加速度センサ等を備えていない場合でも、テレビ会議に用いられる画像のデータを利用して的確な判断を行うことができる。
【００５４】
上記実施の形態において、ＰＣ１が本発明の「画像処理装置」に相当する。テレビ会議端末３のカメラ４７が本発明の「撮像手段」に相当する。図４のＳ２で画像データを取得するＣＰＵ１０が「画像データ取得手段」として機能する。図４のＳ３、Ｓ８、Ｓ１０で変化量および移動時間を取得するＣＰＵ１０が「移動情報取得手段」として機能する。図４のＳ４，５，１１で撮像範囲が移動したか否かを判断するＣＰＵ１０が「移動判断手段」として機能する。図５に示す故意判断処理を行うＣＰＵ１０が「故意判断手段」として機能する。図７のＳ４３で送信画像範囲５５を復元できるか否かを判断するＣＰＵ１０が「復元判断手段」として機能する。図７のＳ４４およびＳ４５で送信画像範囲５５を復元するＣＰＵ１０が「復元手段」として機能する。図７のＳ４７で修正中報知画像６８のデータを送信するＣＰＵ１０が「処理手段」として機能する。
【００５５】
閾値Ａが「第一閾値」、閾値Ｂが「第二閾値」、閾値Ｃが「第三閾値」に相当する。図４のＳ１０および図７のＳ４１で基準点５６の位置を特定するＣＰＵ１０が「特定手段」として機能する。基準点５６が設定された撮像物（図３、図８、および図９の例ではホワイトボード６１）が本発明の「基準撮像物」に相当する。図５のＳ３６で発話者の位置を検出するＣＰＵ１０が「検出手段」として機能する。中心領域６５が「所定領域」に相当する。
【００５６】
図４のＳ２で画像データを取得する処理が「画像データ取得ステップ」に相当する。図４のＳ３、Ｓ８、Ｓ１０で変化量および移動時間を取得する処理が「移動情報取得ステップ」に相当する。図４のＳ４，５，１１で撮像範囲が移動したか否かを判断する処理が「移動判断ステップ」に相当する。図５に示す故意判断処理が「故意判断ステップ」に相当する。図７のＳ４３で送信画像範囲５５を復元できるか否かを判断する処理が「復元判断ステップ」に相当する。図７のＳ４４およびＳ４５で送信画像範囲５５を復元する処理が「復元ステップ」に相当する。図７のＳ４７で修正中報知画像６８のデータを送信する処理が「処理ステップ」に相当する。
【００５７】
本発明は上記実施の形態に限定されることはなく、様々な変形が可能であることは言うまでもない。例えば、上記実施の形態のＰＣ１は、取得画像範囲５０内の送信画像範囲５５の位置および大きさを変更することで、他の拠点の通信装置に送信する画像データの撮像範囲を復元している。しかし、送信画像範囲５５の復元方法はこれに限られない。例えば、テレビ会議端末３がモータ等によってカメラ４７の向きを変更（パン・チルト）できる場合には、ＰＣ１は、カメラ４７の向きを変更させる指示をテレビ会議端末３に送信することで、送信画像範囲５５を復元してもよい。この場合、ＰＣ１は、図７のＳ４３で送信画像範囲５５を復元できるか否かを判断する際、カメラ４７の向きを変更しながら、周囲に基準点５６が存在するか否かを探索してもよい。その結果、ＰＣ１はより広い範囲で送信画像範囲５５を復元することができる。
【００５８】
上記実施の形態のＰＣ１は、送信画像範囲５５を復元できない場合、撮像画像のデータの送信を中止し（フレームレートを「０」とし）、代わりに修正中報知画像６８のデータを他の拠点の通信装置に送信する。しかし、この処理は変更できる。例えば、ＰＣ１は、撮像画像のデータの送信を中止するのみでもよい。撮像画像のデータの送信を中止するだけで、機密情報が他の拠点のユーザに視認される可能性、および、会議に不要な画像データが送信される可能性を排除することができる。また、ＰＣ１は、送信する撮像画像のデータの解像度を下げることで、機密情報が漏れること等を防止してもよい。ＰＣ１は、フレームレートを低下させることで、不要な画像を視認することによるユーザの不快感を低下させてもよい。
【００５９】
図５に示す故意判断処理の処理内容も変更できる。例えば、Ｓ３１〜Ｓ３４，Ｓ３７の処理順を変更しても本発明は実現できる。また、Ｓ３１〜Ｓ３４，Ｓ３７のいずれかの処理を省略してもよい。例えば、Ｓ３１の処理、およびＳ３５〜Ｓ３７の処理を省略しても、本発明は実現できる。閾値Ａ〜Ｃは適宜設定できることは言うまでもない。ユーザが閾値Ａ〜Ｃを変更できてもよい。
【００６０】
上記実施の形態のＰＣ１は、テレビ会議端末３から取得した画像データを用いて、カメラ４７の撮像範囲が移動したか否かを判断する。しかし、他の方法を用いて撮像範囲の移動を判断してもよい。例えば、加速度センサを備えたカメラを使用すれば、ＰＣ１は、カメラが移動したか否かを加速度センサの出力値によって判断することができる。ＰＣ１は、修正中報知画像および移動報知画像の代わりに、またはこれらの画像と共に、撮像範囲が移動した旨を報知する音声を出力させてもよい。また、ＰＣ１は、画像の色分布を用いて撮像範囲の移動を判断してもよい。例えば、ＰＣ１は、図４のＳ２で画像データを取得した後に、取得した画像データから色分布を算出する。今回算出した色分布と前回算出した色分布とを比較し、色分布の変化量が閾値以上である場合に撮像範囲が移動したと判断する。撮像範囲が移動したと判断した場合には、移動の前後の基準点５６の位置を比較して撮像範囲の移動量を算出してもよい。また、上記実施の形態のＰＣ１は、背景をあらかじめ撮像しておくことで背景画像を取得し、背景画像中の撮像物に基準点５６を設定する。しかし、ＰＣ１は、背景画像をあらかじめ撮像せずに、複数のカメラが撮像した画像から背景部分を特定してもよい。以上のように、撮像範囲の移動を判断する方法、および移動量を算出する方法は、適宜変更できる。
【符号の説明】
【００６１】
１ ＰＣ
３ テレビ会議端末
２６ 表示装置
４１ ＵＳＢ Ｉ／Ｆ
４７ カメラ
４８ 操作部
５０ 取得画像範囲
５５ 送信画像範囲
５６ 基準点
６５ 中心領域
６８ 修正中報知画像
【特許請求の範囲】
【請求項１】
複数の拠点のユーザによる遠隔会議を実行するために、他の拠点に配置された通信装置に送信する画像データを処理する画像処理装置であって、
画像を撮像する撮像手段が撮像した画像の画像データを取得する画像データ取得手段と、
前記撮像手段の撮像範囲の移動状態を示す移動情報を取得する移動情報取得手段と、
前記移動情報取得手段によって取得された移動情報によって、前記撮像手段の撮像範囲が移動したか否かを判断する移動判断手段と、
前記移動判断手段によって撮像範囲が移動したと判断された場合に、前記移動情報取得手段によって取得された前記移動情報、および前記撮像手段に対する操作状態を示す操作状態情報の少なくともいずれかを用いて、ユーザが故意に撮像範囲を移動させたか否かを判断する故意判断手段と、
前記故意判断手段によって故意に移動させていないと判断された場合に、前記通信装置に送信する画像データの撮像範囲である送信画像範囲を移動前の撮像範囲に復元できるか否かを、前記画像データ取得手段によって取得された画像データを用いて判断する復元判断手段と、
前記復元判断手段によって前記送信画像範囲を復元できると判断された場合に、前記送信画像範囲を移動前の撮像範囲に復元する復元手段と、
前記復元判断手段によって前記送信画像範囲を復元できないと判断された場合に、表示装置に表示される画像を変更する処理、および前記通信装置に送信される画像データのフレームレートを変化させる処理の少なくともいずれかを行う処理手段と
を備えたことを特徴とする画像処理装置。
【請求項２】
前記故意判断手段は、前記移動情報取得手段によって取得された前記移動情報が示す垂直方向の移動量が第一閾値以上である場合、ユーザが故意に撮像範囲を移動させたと判断することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記故意判断手段は、前記移動情報取得手段によって取得された前記移動情報が示す垂直方向の移動量が前記第一閾値未満であり、水平方向の移動量が第二閾値未満であり、且つ前記移動情報が示す撮像範囲の移動時間が第三閾値未満である場合、ユーザは故意に撮像範囲を移動させていないと判断することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記復元手段は、
前記画像データ取得手段によって取得された画像データのうち、前記移動判断手段によって撮像範囲が移動したと判断される前後の各々の画像データにおいて同一の基準撮像物を特定する特定手段を備え、
移動後の画像データにおいて前記特定手段によって特定される前記基準撮像物の撮像範囲中の位置が、移動前の画像データにおいて前記特定手段によって特定された前記基準撮像物の位置と一致するように、前記送信画像範囲を移動させて復元することを特徴とする請求項１から３のいずれかに記載の画像処理装置。
【請求項５】
前記故意判断手段は、
前記送信画像範囲のうち発話者の位置を検出する検出手段を備え、
前記移動判断手段によって移動が検出された後に前記検出手段によって検出された発話者の位置が、前記送信画像範囲の中心点を含む所定領域の領域内にある場合、ユーザが故意に撮像範囲を移動させたと判断することを特徴とする請求項１から４のいずれかに記載の画像処理装置。
【請求項６】
前記故意判断手段は、前記撮像手段が操作されたことを前記操作状態情報が示す場合、ユーザは故意に撮像範囲を移動させていないと判断することを特徴とする請求項１から５のいずれかに記載の画像処理装置。
【請求項７】
前記処理手段は、前記通信装置に送信する画像データを、前記画像データ取得手段によって取得された画像データから、前記撮像手段の撮像範囲が移動した旨を報知する画像を含む画像データに変更することを特徴とする請求項１から６のいずれかに記載の画像処理装置。
【請求項８】
複数の拠点のユーザによる遠隔会議を実行するために、他の拠点に配置された通信装置に送信する画像データを処理する画像処理装置で行われる画像処理方法であって、
画像を撮像する撮像手段が撮像した画像の画像データを取得する画像データ取得ステップと、
前記撮像手段の撮像範囲の移動状態を示す移動情報を取得する移動情報取得ステップと、
前記移動情報取得ステップにおいて取得された移動情報によって、前記撮像手段の撮像範囲が移動したか否かを判断する移動判断ステップと、
前記移動判断ステップにおいて撮像範囲が移動したと判断された場合に、前記移動情報取得ステップにおいて取得された前記移動情報、および前記撮像手段に対する操作状態を示す操作状態情報の少なくともいずれかを用いて、ユーザが故意に撮像範囲を移動させたか否かを判断する故意判断ステップと、
前記故意判断ステップにおいて故意に移動させていないと判断された場合に、前記通信装置に送信する画像データの撮像範囲である送信画像範囲を移動前の撮像範囲に復元できるか否かを、前記画像データ取得ステップにおいて取得された画像データを用いて判断する復元判断ステップと、
前記復元判断ステップにおいて前記送信画像範囲を復元できると判断された場合に、前記送信画像範囲を移動前の撮像範囲に復元する復元ステップと、
前記復元判断ステップにおいて前記送信画像範囲を復元できないと判断された場合に、表示装置に表示される画像を変更する処理、および前記通信装置に送信される画像データのフレームレートを変化させる処理の少なくともいずれかを行う処理ステップと
を備えたことを特徴とする画像処理方法。
【請求項９】
複数の拠点のユーザによる遠隔会議を実行するために、他の拠点に配置された通信装置に送信する画像データを処理する画像処理装置で用いられる画像処理プログラムであって、
画像を撮像する撮像手段が撮像した画像の画像データを取得する画像データ取得ステップと、
前記撮像手段の撮像範囲の移動状態を示す移動情報を取得する移動情報取得ステップと、
前記移動情報取得ステップにおいて取得された移動情報によって、前記撮像手段の撮像範囲が移動したか否かを判断する移動判断ステップと、
前記移動判断ステップにおいて撮像範囲が移動したと判断された場合に、前記移動情報取得ステップにおいて取得された前記移動情報、および前記撮像手段に対する操作状態を示す操作状態情報の少なくともいずれかを用いて、ユーザが故意に撮像範囲を移動させたか否かを判断する故意判断ステップと、
前記故意判断ステップにおいて故意に移動させていないと判断された場合に、前記通信装置に送信する画像データの撮像範囲である送信画像範囲を移動前の撮像範囲に復元できるか否かを、前記画像データ取得ステップにおいて取得された画像データを用いて判断する復元判断ステップと、
前記復元判断ステップにおいて前記送信画像範囲を復元できると判断された場合に、前記送信画像範囲を移動前の撮像範囲に復元する復元ステップと、
前記復元判断ステップにおいて前記送信画像範囲を復元できないと判断された場合に、表示装置に表示される画像を変更する処理、および前記通信装置に送信される画像データのフレームレートを変化させる処理の少なくともいずれかを行う処理ステップと
を前記画像処理装置のコントローラに実行させるための指示を含む画像処理プログラム。
【請求項１】
複数の拠点のユーザによる遠隔会議を実行するために、他の拠点に配置された通信装置に送信する画像データを処理する画像処理装置であって、
画像を撮像する撮像手段が撮像した画像の画像データを取得する画像データ取得手段と、
前記撮像手段の撮像範囲の移動状態を示す移動情報を取得する移動情報取得手段と、
前記移動情報取得手段によって取得された移動情報によって、前記撮像手段の撮像範囲が移動したか否かを判断する移動判断手段と、
前記移動判断手段によって撮像範囲が移動したと判断された場合に、前記移動情報取得手段によって取得された前記移動情報、および前記撮像手段に対する操作状態を示す操作状態情報の少なくともいずれかを用いて、ユーザが故意に撮像範囲を移動させたか否かを判断する故意判断手段と、
前記故意判断手段によって故意に移動させていないと判断された場合に、前記通信装置に送信する画像データの撮像範囲である送信画像範囲を移動前の撮像範囲に復元できるか否かを、前記画像データ取得手段によって取得された画像データを用いて判断する復元判断手段と、
前記復元判断手段によって前記送信画像範囲を復元できると判断された場合に、前記送信画像範囲を移動前の撮像範囲に復元する復元手段と、
前記復元判断手段によって前記送信画像範囲を復元できないと判断された場合に、表示装置に表示される画像を変更する処理、および前記通信装置に送信される画像データのフレームレートを変化させる処理の少なくともいずれかを行う処理手段と
を備えたことを特徴とする画像処理装置。
【請求項２】
前記故意判断手段は、前記移動情報取得手段によって取得された前記移動情報が示す垂直方向の移動量が第一閾値以上である場合、ユーザが故意に撮像範囲を移動させたと判断することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記故意判断手段は、前記移動情報取得手段によって取得された前記移動情報が示す垂直方向の移動量が前記第一閾値未満であり、水平方向の移動量が第二閾値未満であり、且つ前記移動情報が示す撮像範囲の移動時間が第三閾値未満である場合、ユーザは故意に撮像範囲を移動させていないと判断することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記復元手段は、
前記画像データ取得手段によって取得された画像データのうち、前記移動判断手段によって撮像範囲が移動したと判断される前後の各々の画像データにおいて同一の基準撮像物を特定する特定手段を備え、
移動後の画像データにおいて前記特定手段によって特定される前記基準撮像物の撮像範囲中の位置が、移動前の画像データにおいて前記特定手段によって特定された前記基準撮像物の位置と一致するように、前記送信画像範囲を移動させて復元することを特徴とする請求項１から３のいずれかに記載の画像処理装置。
【請求項５】
前記故意判断手段は、
前記送信画像範囲のうち発話者の位置を検出する検出手段を備え、
前記移動判断手段によって移動が検出された後に前記検出手段によって検出された発話者の位置が、前記送信画像範囲の中心点を含む所定領域の領域内にある場合、ユーザが故意に撮像範囲を移動させたと判断することを特徴とする請求項１から４のいずれかに記載の画像処理装置。
【請求項６】
前記故意判断手段は、前記撮像手段が操作されたことを前記操作状態情報が示す場合、ユーザは故意に撮像範囲を移動させていないと判断することを特徴とする請求項１から５のいずれかに記載の画像処理装置。
【請求項７】
前記処理手段は、前記通信装置に送信する画像データを、前記画像データ取得手段によって取得された画像データから、前記撮像手段の撮像範囲が移動した旨を報知する画像を含む画像データに変更することを特徴とする請求項１から６のいずれかに記載の画像処理装置。
【請求項８】
複数の拠点のユーザによる遠隔会議を実行するために、他の拠点に配置された通信装置に送信する画像データを処理する画像処理装置で行われる画像処理方法であって、
画像を撮像する撮像手段が撮像した画像の画像データを取得する画像データ取得ステップと、
前記撮像手段の撮像範囲の移動状態を示す移動情報を取得する移動情報取得ステップと、
前記移動情報取得ステップにおいて取得された移動情報によって、前記撮像手段の撮像範囲が移動したか否かを判断する移動判断ステップと、
前記移動判断ステップにおいて撮像範囲が移動したと判断された場合に、前記移動情報取得ステップにおいて取得された前記移動情報、および前記撮像手段に対する操作状態を示す操作状態情報の少なくともいずれかを用いて、ユーザが故意に撮像範囲を移動させたか否かを判断する故意判断ステップと、
前記故意判断ステップにおいて故意に移動させていないと判断された場合に、前記通信装置に送信する画像データの撮像範囲である送信画像範囲を移動前の撮像範囲に復元できるか否かを、前記画像データ取得ステップにおいて取得された画像データを用いて判断する復元判断ステップと、
前記復元判断ステップにおいて前記送信画像範囲を復元できると判断された場合に、前記送信画像範囲を移動前の撮像範囲に復元する復元ステップと、
前記復元判断ステップにおいて前記送信画像範囲を復元できないと判断された場合に、表示装置に表示される画像を変更する処理、および前記通信装置に送信される画像データのフレームレートを変化させる処理の少なくともいずれかを行う処理ステップと
を備えたことを特徴とする画像処理方法。
【請求項９】
複数の拠点のユーザによる遠隔会議を実行するために、他の拠点に配置された通信装置に送信する画像データを処理する画像処理装置で用いられる画像処理プログラムであって、
画像を撮像する撮像手段が撮像した画像の画像データを取得する画像データ取得ステップと、
前記撮像手段の撮像範囲の移動状態を示す移動情報を取得する移動情報取得ステップと、
前記移動情報取得ステップにおいて取得された移動情報によって、前記撮像手段の撮像範囲が移動したか否かを判断する移動判断ステップと、
前記移動判断ステップにおいて撮像範囲が移動したと判断された場合に、前記移動情報取得ステップにおいて取得された前記移動情報、および前記撮像手段に対する操作状態を示す操作状態情報の少なくともいずれかを用いて、ユーザが故意に撮像範囲を移動させたか否かを判断する故意判断ステップと、
前記故意判断ステップにおいて故意に移動させていないと判断された場合に、前記通信装置に送信する画像データの撮像範囲である送信画像範囲を移動前の撮像範囲に復元できるか否かを、前記画像データ取得ステップにおいて取得された画像データを用いて判断する復元判断ステップと、
前記復元判断ステップにおいて前記送信画像範囲を復元できると判断された場合に、前記送信画像範囲を移動前の撮像範囲に復元する復元ステップと、
前記復元判断ステップにおいて前記送信画像範囲を復元できないと判断された場合に、表示装置に表示される画像を変更する処理、および前記通信装置に送信される画像データのフレームレートを変化させる処理の少なくともいずれかを行う処理ステップと
を前記画像処理装置のコントローラに実行させるための指示を含む画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−１７５４５６（Ｐ２０１２−１７５４５６Ａ）
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願番号】特願２０１１−３６２５９（Ｐ２０１１−３６２５９）
【出願日】平成２３年２月２２日（２０１１．２．２２）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願日】平成２３年２月２２日（２０１１．２．２２）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
[ Back to top ]