画像入力装置、会議装置、画像処理制御プログラム、記録媒体
【課題】カメラの高さの変化を含んだ任意の位置での画像処理が可能な画像入力装置を提供すること。
【解決手段】被写体を撮影するカメラ本体７７と、被設置面に設置される筐体２と、カメラ本体７７をチルト可能に支持させると共に、筐体２に上下方向へ揺動可能に支持されたアーム部７１と、第１及び第２の加速度センサＳ１、Ｓ２を備えアーム部７１とカメラ本体７７の傾きを検出させる傾き検出部Ｓと、傾き検出部Ｓが検出した傾きと当該装置の寸法情報とに基づいて、被設置面からカメラ本体７７までの高さ高さ距離情報Ｌを算出し、その算出した高さ距離と傾き検出部Ｓが検出したカメラ本体７７の傾きとからカメラ本体７７が撮影する被写体の種類を特定し、その特定した種類の被写体に適した画像処理を実行する制御部を備えて画像入力装置を構成する。
【解決手段】被写体を撮影するカメラ本体７７と、被設置面に設置される筐体２と、カメラ本体７７をチルト可能に支持させると共に、筐体２に上下方向へ揺動可能に支持されたアーム部７１と、第１及び第２の加速度センサＳ１、Ｓ２を備えアーム部７１とカメラ本体７７の傾きを検出させる傾き検出部Ｓと、傾き検出部Ｓが検出した傾きと当該装置の寸法情報とに基づいて、被設置面からカメラ本体７７までの高さ高さ距離情報Ｌを算出し、その算出した高さ距離と傾き検出部Ｓが検出したカメラ本体７７の傾きとからカメラ本体７７が撮影する被写体の種類を特定し、その特定した種類の被写体に適した画像処理を実行する制御部を備えて画像入力装置を構成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、会議装置やパーソナルコンピュータ等に用いられる画像入力装置、その画像
入力装置を備えた会議装置、画像処理制御プログラム、記録媒体に関する。
【背景技術】
【０００２】
人物や書画をカメラで撮影し、その撮影画像を取り込む画像入力装置として、例えば、以下のものが知られている。
【０００３】
カメラを水平方向と垂直下向きに変更自在に支持する構造に設けられたスイッチにより、カメラが水平方向か、垂直下方向のどちらに向くかをカメラ台制御回路が検出し、画像処理回路が、カメラが水平方向に向くときには、カメラを通常解像度モードで動作し、垂直下方向に向くときにはカメラを高解像度モードで動作する画像入力装置がある。
この画像入力装置によれば、人物モードでは通常の解像度、書画モードでは高解像度という切り替えが自動的に行われるので、操作の手間が省ける、としている（例えば特許文献１参照）。
【０００４】
他の装置としては、撮影対象を撮影するカメラと、カメラの方向を検出するカメラ方向検出装置と、少なくともカメラとカメラ方向検出装置を一体化し、カメラの撮影方向をユーザが自由に変更可能なように点もしくは軸を前記カメラの回転中心として保持し、カメラの位置を一定の高さに保持するカメラ固定機構と、画像を記録するための画像メモリと、カメラ方向検出装置のカメラの方向に関する情報から、カメラが撮影する対象を識別するための撮影対象種別を決定する対象決定装置と、ユーザの指示またはカメラ方向検出装置のカメラの方向に関する情報によりカメラによって撮影される画像に対する処理種別を決定するモード決定装置と、対象決定装置により決定された撮影対象種別に応じて、カメラ方向検出装置のカメラの方向に関する情報から、カメラが撮影した画像に含まれる撮影対象の幾何形状が正しくなるように幾何変換を適用し、前記幾何変換を適用した画像を前記画像メモリに記録する画像変換装置と、画像メモリに記録されている画像の合成処理を行い、合成した画像を画像メモリに記録する画像合成装置とを備えた画像入力装置がある。
この画像入力装置によれば、ユーザがカメラを撮影対象に向けるだけで、撮影対象を自動的に判別し、撮影対象および撮影方向に応じた変換を施し適切な画像を表示装置に表示でき、ユーザが撮影対象を装置に指示する等の煩雑な処理無しに、適切な画像を表示できる、としている（例えば特許文献２参照）。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した従来技術は以下の問題点を有する。
特許文献１及び２に記載された画像入力装置は、カメラの向きに応じた画像処理を行うものであるが、いずれも、カメラを動かすための回転中心の位置が不変であり、カメラの高さの変化を含んだ任意の位置における撮影範囲に対する画像処理に対応していなかった。なお、上述した「撮影範囲」とは、カメラ撮影によりモニタ等に映し出された光景の範囲のことを言うものとする。
【０００６】
本発明は、このような状況に鑑みてなされたものであり、上記問題点を解決できる画像入力装置、会議装置、画像処理制御プログラム、記録媒体を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明にかかる画像入力装置、会議装置、画像処理制御プログラム、記録媒体は、下記の技術的手段を講じた。
本発明にかかる画像入力装置は、被写体を撮影するカメラ本体と、被設置面に設置される支持ベースと、前記カメラ本体をチルト可能に支持させると共に、前記支持ベースに上下方向へ揺動可能に支持されたアーム部と、該アーム部と前記カメラ本体の傾きを検出して、傾き情報として出力する傾き検出部とを備えた画像入力装置であって、前記傾き検出部が検出した、前記アーム部と前記カメラ本体の傾き情報と当該装置の寸法情報とに基づいて、前記被設置面から前記カメラ本体までの高さ距離情報を算出し、その算出した高さ距離情報と前記傾き情報とに基づいて前記被写体を特定し、その特定した被写体に適した画像処理を実行するように制御されることを特徴とする。
また本発明にかかる会議装置は、前記画像入力装置を備え、通信網を介して音声及び画像の双方向通信を実行可能に構成されると共に、前記カメラ本体で撮影し、前記傾き検出部が検出した、前記アーム部と前記カメラ本体の傾き情報と当該装置の寸法情報とに基づいて、前記被設置面から前記カメラ本体までの高さ距離情報を算出し、その算出した高さ距離情報と前記傾き情報とに基づいて前記被写体を特定し、その特定した被写体に適した画像処理を施した画像を、前記通信網を介して出力されることを制御する制御部を更に備えることを特徴する。
また本発明にかかる画像処理制御プログラムは、被写体を撮影するカメラ本体と、被設置面に設置される支持ベースと、前記カメラ本体をチルト可能に支持させると共に、前記支持ベースに上下方向へ揺動可能に支持されたアーム部と、該アーム部と前記カメラ本体の傾きを検出して、傾き情報として出力する傾き検出部とを備えた画像入力装置を制御する画像処理制御プログラムであって、前記傾き検出部が検出した、前記アーム部と前記カメラ本体の傾き情報と当該装置の寸法情報とに基づいて、前記被設置面から前記カメラ本体までの高さ距離情報を算出する高さ算出ステップと、該高さ算出ステップが算出した前記高さ距離情報と前記傾き情報とに基づいて前記被写体の種類を特定する被写体特定ステップと、該被写体特定ステップにより特定された前記被写体に適した画像処理を実行する画像処理ステップとをコンピュータに実行させることを特徴とする。
また本発明にかかる記録媒体は、前記画像処理制御プログラムが記録されたことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、カメラの高さの変化を含んだ任意の位置における撮影範囲に対する画像処理ができる。
【図面の簡単な説明】
【０００９】
【図１】本実施の形態にかかる画像入力装置を備えた会議装置の斜視図である。
【図２】会議装置の一部切欠した正面図である。
【図３】会議装置の右側面図である。
【図４】会議装置のハードウェア構成図である。
【図５】会議装置の使用状態図（会議参加者撮影時）である。
【図６】会議装置の使用状態図（書画撮影時）である。
【図７】アームとカメラ本体の傾斜に応じた高さ距離を示す説明図であり、カメラ本体が下向きの状態を示す。
【図８】アームとカメラ本体の傾斜に応じた高さ距離を示す説明図であり、カメラ本体が上向きの状態を示す。
【図９】カメラ本体の撮影範囲（俯瞰で示す）を示した説明図である。
【図１０】カメラ本体の傾斜角度及び高さを使用態様に応じて示した模式図であり、（ａ）会議参加者撮影時、（ｂ）書画撮影時、（ｃ）ホワイトボード撮影時、を夫々示す。
【図１１】撮影画像の態様を示した模式図であり、（ａ）たる型歪（レンズ歪）、（ｂ）糸巻き歪（レンズ歪）、（ｃ）幾何歪、（ｄ）補正後の状態、を夫々示す。
【図１２】画像処理に至る一連の動作を示したフローチャートである。
【発明を実施するための形態】
【００１０】
本発明にかかる画像入力装置の実施の形態を説明する。本実施の形態にかかる画像入力装置は会議装置に組み込んだものを例示している。
本実施の形態にかかる会議装置１は、支持ベースの一例としての筐体２と、スピーカー部５と、マイクロフォン６と、カメラ本体とアーム部と照明部とを備えたカメラ部７と、傾き検出部Ｓと、制御部３とを備えてなる。
【００１１】
筐体２は、図１に示すように、下筐体２１と上筐体２２とを備えてなる。
下筐体２１は、上部が開口した箱状に形成されている。
上筐体２２は、後述するカメラ部７のアーム７４とカメラハウジング７５とを前方に折り畳んで収納させる傾斜状の凹部２２ｐが形成されると共に、図１において、その凹部２２ｐの左隣が凸状に形成され、その凸状側の平面に操作ボタンや電源スイッチ等が配置された蓋状に形成されている。
この筐体２は、上筐体２２と下筐体２１とが嵌め合うと共に、図示せぬ締結部材を介して接続されており、後述する各構成部が支持されている。
【００１２】
スピーカー部５は、フルレンジタイプのスピーカーを備え、音声入出力Ｉ／Ｆ３０８に結線されると共に、再生音が上筐体２２から出力されるように、筐体２内に取り付けられている。
マイクロフォン６は、無指向性のマイクロフォンであり、音声入出力Ｉ／Ｆ３０８に結線されると共に、外部の音を収音可能に、且つ、スピーカー部５から再生された音波を当該マイクロフォン６が収音して生じるエコー現象を回避または低減可能に、筐体２内に取付けられている。
【００１３】
カメラ部７は、図１及び図２に示すように、アーム部７１と、カメラ本体７７と、照明部７８とを備えてなる。
アーム部７１は、取付ブラケット７２と、ヒンジ７３と、アーム７４と、カメラハウジング７５とを備えてなる。
【００１４】
取付ブラケット７２は、正面視Ｌ字状に形成された板状の部材であり、長辺側の中央部に後述するヒンジ７３が取り付けられる取り付け穴が形成されており、筐体２に設けられた内部フレームに支持されている。
【００１５】
ヒンジ７３は、取付ブラケット７２に取り付けられた固定軸７３ａと、上筐体２２の凹部２２ｐ側に形成された貫通穴を介して外方へ突き出るように、且つ、固定軸に対して周方向に回転可能に設けられた第１の可動軸７３ｂと、その第１の可動軸７３ｂから直交方向へ突き出るように、且つ、周方向に回転可能に設けられ、先端部にＬ字状の取り付け部７３ｄが設けられた第２の可動軸７３ｃと、その第２の可動軸７３ｃが突き出るように第１の可動軸７３ｂに被せられたキャップ７３ｅとを備えてなる。
【００１６】
このヒンジ７３はトルクヒンジであり、第１の可動軸７３ｂと、第２の可動軸７３ｃは、任意の回転角度で停止した状態を保持するようになっていると共に、所要の力を加えることで、その停止状態から回転移動可能になっている。
【００１７】
アーム７４は、前方に折り畳んで凹部２２ｐに収納させた際に、上筐体２２の凸状側の平面と沿うように形成された中空の角棒状部材であり、下方に向かって開口した第１の凹部７４ａが基部に形成され、上方に向かって開口した第２の凹部７４ｂが先部に形成されている。
【００１８】
そして、このアーム７４は、第１の凹部７４ａがキャップ７３ｅを介して第１の可動軸７３ｂを跨ぐように、且つ、第１の凹部７４ａの側壁からその第１の凹部７４ａを形成する脚部７４ｃに入り込むように第２の可動軸７３ｃが挿し込まれ、その脚部７４ｃが第２の可動軸７３ｃの取り付け部７３ｄを介してビス止めされて、ヒンジ７３に取り付けられている。
【００１９】
このアーム７４は、図１に示すように、第２の可動軸７３ｃにより概ね９０度のチルト角θ２の範囲で、且つ、後述するカメラ本体７７が正面を向いた状態で立ち上げた状態を中心として、ヒンジ７３の第１の可動軸７３ｂにより概ね１８０度のパン角θ１の範囲で回転可能になっている。なお、パン角θ１、チルト角θ２の角度はその角度に限定されない。
第１の凹部７４ａの一方の側壁からヒンジ７３を経由して装置内部に向かってカメラケーブルが這い回わされている。
【００２０】
カメラハウジング７５は、前方に折り畳んで凹部２２ｐに収納させた際（図３）に、上筐体２２の凸状側の平面と略沿うように形成された中空の矩形体状部材であり、図２に示すように、その底部に下方に向かって延びる凸部７５ａが形成され、正面側の壁にレンズ穴が形成されている。そして、このカメラハウジング７５は、凸部７５ａを第２の凹部７４ｂ内に位置させる共に、第２の凹部７４ｂを形成する腕部７４ｄに保持された一対の支軸７６が、凸部７５ａの側面部に、任意の回転角度で停止した状態を保持可能に回転可能に挿入されて、その一対の支軸７６を介してアーム７４に取り付けられている。
【００２１】
このカメラハウジング７５は、図３に示すように、アーム７４を立ち上げた状態で、後述するカメラ本体７７が略真下方向と略真上方向へ向くように、一対の支軸７６により概ね１８０度のチルト角θ３の範囲で回転可能になっている。なお、チルト角θ３の角度はその角度に限定されない。
上述した一対の支軸７６は、その一方が中空軸となっており、その中空軸を経由してアーム７４内に向かってカメラケーブルが這い回わされている（図２中、二点鎖線で図示）。
【００２２】
カメラ本体７７は、絞りを備え、焦点距離の短い単焦点の広角レンズ部７７ａと、その広角レンズ部７７ａを通った被写体の像が結像されるように配置されると共に撮影素子Ｉ／Ｆ３０７に結線され、光を電荷に変換して被写体の像を電子化する撮影素子部（図示せず）とを備え、被写界深度の深いパンフォーカスとなるように構成されている。
このカメラ本体７７は、上述したカメラハウジングに形成されたレンズ穴に広角レンズ部７７ａが位置するように組み込まれている。なお、広角レンズ部７７ａの前玉の前にアクリル材またはガラス材で形成されたレンズカバーが取り付けられており、広角レンズ部７７ａを保護させている。
【００２３】
この広角レンズ部７７ａの水平方向の画角θ６は、図５に示すように、一般的な使用環境において、会議の参加者全員が撮影可能な画角（例えば１００度）となっている。
撮影素子部は、ＣＭＯＳ(Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ)や、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の撮影素子を備える。
【００２４】
照明部７８は、例えばＬＥＤ等の発光体を環状に配置させて、環状に光照射可能に構成され、広角レンズ部７７ａの前玉を環状に取り囲むようにカメラハウジング７５に支持さている。被写体が書画や商品等の場合、この照明部７８を点灯させることで、被写体がむらなく照明されて、視認に邪魔な影の出現を回避する。
【００２５】
このように構成されたカメラ部７は、カメラハウジング７５を任意の向き及び任意の高さに調整して被写体を撮影可能になっていると共に、会議装置１の不使用時に、前方に折り畳むことで、凹部２２ｐにアーム７４の中途部からカメラハウジング７５が中途部まで入り込んで収納可能になっている。この収納時、カメラハウジング７５とアーム７４との背面が上筐体２２の凸状側の平面と沿って、外観視、大きな出っ張り部分がないようになっている。
【００２６】
さらに、図３、図１０（ａ）に示すように、平均的な体格の成人が椅子に着座し、一般的な会議テーブルＴや机に当該会議装置を設置した場合（使用状態時を想定）において、アーム７４及びカメラハウジング７５を立ち上げた状態のレンズ中心と会議テーブルＴとの高さ距離情報Ｌが、ヒトの目の高さ位置あたりにレンズ中心が位置するような距離、すなわち、アイレベルのカメラポジションとなるように、このカメラ部７は設定されている。
【００２７】
カメラ部７の使用例として、図５に示すような会議参加者を撮影したり、図６に示すように、アーム７４を旋回させ、カメラハウジング７５（カメラ本体７７）を下向きにさせて、会議テーブルＴ上の書画や商品等を撮影したりする。このとき、後述する制御部３は、カメラ本体７７が撮影する被写体の種類を特定し、その特定した種類の被写体に適した画像処理を実行するようになっている。詳細は後述する。
また、このカメラ部７は、上筐体２２の平面片側に設けたことで、筐体２からのアーム７４の突き出し量を多くとることができ、会議テーブルＴ上の書画を撮影する場合等にも好適な配置レイアウトになっている。
【００２８】
傾き検出部Ｓは、第１の加速度センサＳ１と、第２の加速度センサＳ２とを備えてなる。
【００２９】
第１の加速度センサＳ１は、後述する加速度センサＩ／Ｆ３５０に結線された２軸加速度センサであり、カメラハウジング７５の内部に設けられている（図７）。この第１の加速度センサＳ１は、カメラ本体７７の傾き（後述する広角レンズ部７７ａが水平方向を向いている場合のレンズ中心軸方向を１つの軸とし、中心軸から垂直の上下方向がもう１つの軸とした２軸の傾き）を検出して、カメラ本体７７の傾き情報として出力する。
なお、本実施の形態では、カメラハウジング７５は一対の支軸７６により上下方向のみに回転するため、２軸の加速度センサを使用しているが、多方向に駆動する場合には、３次元加速度センサ等を設置し、後述するカメラ本体７７の傾きを検出する。
【００３０】
第２の加速度センサＳ２は、後述する加速度センサＩ／Ｆ３５０に結線された２軸加速度センサであり、アーム７４の内部に設けられている（図７）。この第２の加速度センサＳ２は、アーム７４の傾き（筐体２が水平に設置されている場合の前後方向の水平を１つの軸とし、支軸７６とヒンジ７３各々の中心部を結ぶ方向が垂直になる方向をもう１つの軸とした２軸の傾き）を検出して、アーム７４の傾き情報として出力する。
なお、本実施の形態では、アーム７４は、ヒンジ７３の第１の可動軸７３ｂと第２の可動軸７３ｃにより上下左右方向に回転可能になっているため２軸加速度センサを使用しているが、斜め方向等の上下左右以外の方向に駆動する場合には、３次元加速度センサ等を設置し、アーム７４の傾きを検出する。
【００３１】
制御部３は、音声データ及び画像データをエンコード処理及びデコード処理をして、通信網としてのインターネットを介して音声及び画像の双方向通信を可能にするものである。また、この制御部３は、カメラ本体７７が撮影する被写体を特定し、その特定した被写体に適した画像処理を実行するものである。なお、その画像処理された映像は、相手先の会議装置に送信することはもとより、当該会議装置１の使用者が映像を確認するために、後述する画像出力Ｉ／Ｆ３０９を介して出力可能になっている。
制御部３のハードウェアの基本的な構成は、図４に示すように、ＣＰＵ３４、ＲＯＭ(Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ)３０１、ＲＡＭ(Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ)３０２、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）３０４（もしくはストレージまたは記録デバイス）、メディアドライブ３０５、操作ボタン３３１、電源スイッチ３３２、ネットワークＩ／Ｆ(Ｉｎｔｅｒｆａｃｅ)３０６、撮影素子Ｉ／Ｆ３０７、音声入出力Ｉ／Ｆ３０８、画像出力Ｉ／Ｆ３０９、加速度センサＩ／Ｆ３５０の各構成要素が、アドレスバスやデータバス等のバスライン３１０を介して、双方向通信可能に接続されてなる。なお、上述した画像データは、動画または間欠画像（一定時間間隔の静止画像）のデータである。
【００３２】
ＣＰＵ３４は、画像処理制御プログラムを備えた会議装置用の制御プログラムに基づいて、会議装置１全体の動作を制御する。すなわち、インターネットを介して音声及び画像の双方向通信を実現させたり、傾き検出部Ｓが出力した傾き情報と当該装置の寸法情報とに基づいてカメラ本体が撮影した被写体の種類を特定し、その特定した被写体に最適な画像処理を実行させたりする。本発明の要部は、後者であり、その詳細は後述する。
【００３３】
ＲＯＭ３０１は、ＩＰＬ(Ｉｎｉｔｉａｌ Ｐｒｏｇｒａｍ Ｌｏａｄｅｒ)等のＣＰＵの駆動に用いられるプログラムが記録されている。
ＲＡＭ３０２は、ＣＰＵのワークエリアとして使用される。
ＨＤＤ３０４は、画像処理制御プログラムを備えた会議装置用の制御プログラム、画像データ、音声データ、当該会議装置１の寸法情報（図３において、Ａ、Ｃ、Ｍ）等の各種データが記録されている。このうち、上述した当該会議装置１の寸法情報は、固定値であることから、画像処理制御プログラム中の数式に直接組み込んでも良い。また、このＨＤＤ３０４に代わりに、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等を用いてもよい。
【００３４】
上述した会議装置用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、記録メディア等の、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。また、この会議装置用プログラムは、ＨＤＤ３０４ではなく、ＲＯＭ３０１に記録されるようにしてもよい。
ＳＳＤ３０４は、ＣＰＵの制御にしたがってＨＤＤ３０４に対する各種データの読み出し又は書き込みを制御する。
【００３５】
メディアドライブ３０５は、フラッシュメモリ等の記録メディアに対するデータの読み出し又は書き込み（記録）を制御する。記録メディアは、会議装置１に対して着脱自在な構成となっている。また、ＣＰＵ３４の制御にしたがってデータの読み出し又は書き込みを行う不揮発性メモリであれば、フラッシュメモリに限らず、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）等を用いてもよい。
【００３６】
操作ボタン３３１は、メニュー表示、各種メニューの選択・決定、双方向通信を行う相手先の会議装置の宛先を選択・決定、通信の切断、音量の調整、マイクミュート等に用いられる押しボタンまたはタッチスイッチであり、筐体２内の操作基板に取り付けられている。
電源スイッチ３３２は、会議装置１の電源のＯＮ／ＯＦＦを切り換えるための押しボタンまたはタッチスイッチであり、筐体２内の操作基板に取り付けられている。
【００３７】
ネットワークＩ／Ｆ３０６は、接続端子（イーサネット（登録商標）端子）を備え、インターネットを介したデータの入出力のやりとりを仲介するようになっている。
撮影素子Ｉ／Ｆ３０７は、カメラ本体７７から出力された信号を所定の画像データとして取り込むようになっている。
音声入出力Ｉ／Ｆ３０８は、マイクロフォン６で収録された信号を所定の音声データとして取り込むと共に、通信網を介して受信されたデータのうち音声データをスピーカー部５で再生可能な信号に変換するようになっている。
【００３８】
画像出力Ｉ／Ｆ３０９は、接続端子を備え、プロジェクターＰ（図１）が受け入れ可能な所定のアナログまたはデジタルの画像信号に変換して出力するものである。
この画像出力Ｉ／Ｆ３０９を介して出力される画面は、例えば、相手先の会議装置を設定する宛先画面、画質を調整する画質調整画面、出力信号の選択画面等のメニュー画面や、通信網を介して受信した相手先からの映像が挙げられる。
さらに、当該会議装置１のカメラ部７による映像を、当該会議装置１の使用者が確認するために、当該会議装置１のカメラ部７で撮影した映像（確認用映像）も画像出力Ｉ／Ｆ３０９を介して出力される。この場合、例えば、ピクチャーインピクチャー機能により、親画面は相手先からの映像とし、子画面を確認用映像としたり、あるいはその逆としたりすると利便性が向上することから好適である。
なお、ＣＰＵ３４は、エンコードされた画像データを所定のコーデックを用いてデコードをする。この所定の画像信号としては、アナログＲＧＢ信号（ＶＧＡ）、コンポーネントビデオ信号、ＨＤＭＩ(Ｈｉｇｈ―Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ)信号、ＤＶＩ(Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｉｎｔｅｒａｃｔｉｖｅ)信号が挙げられる。
加速度センサＩ／Ｆ３５０は、第１の加速度センサＳ１と第２の加速度センサＳ２とから出力されたアナログ信号を所定のデジタル信号に変換して取り込むようになっている。
【００３９】
以上のように構成された会議装置１は、ネットワークＩ／Ｆ３０６に結線された接続端子とインターネットに接続された接続端子とをケーブルで繋ぎ、画像出力Ｉ／Ｆ３０９に結線された接続端子と画像出力機器の接続端子とをケーブルで繋ぎ、カメラハウジング７５とアーム７４とを立ち上げる。そして、電源スイッチ３３２の操作による電源投入、各種操作ボタン３３１の操作による各種調整、相手先の会議装置の選択をして、インターネットを介した相手先の会議装置と音声及び画像の双方向通信を行う。
【００４０】
さらに、この会議装置１は、当該会議装置１の設置面からカメラ本体７７までの高さ距離情報と、アーム部７１とカメラ本体７７の傾き情報とに基づいて被写体を特定し、その特定した被写体に適した画像処理を行なう。
ここで、被写体の種類に適した画像処理について説明する。
【００４１】
（１） 会議全体を撮影する場合
カメラ本体７７を、より広角のレンズを用いると、会議参加者を無理なく映すことが可能になるが、その一方で、歪曲収差（レンズ歪）により不自然な出力画像になってしまう。この歪曲収差は、デジタル画像処理等によって完全に取り去ってしまうことが可能であるが、歪曲収差を完全に取り去ってしまうと、自然な出力画像になるどころか、むしろ、遠近感が強調されて不自然な出力画像になってしまう。
また、カメラ本体７７から被写体までの距離が一定ではない場合、距離の遠いほうが窄まった（幾何歪のある）出力画像になる（図１１（ｃ））。
【００４２】
そこで、会議全体を撮影する場合の画像処理は、歪曲収差（レンズ歪）と幾何歪とを、ある程度残すようなデジタル画像処理を行うことで、遠近感の強調を抑えつつ、不自然さを感じさせない画像にする。上述したデジタル画像処理とは、歪曲収差を補正する歪曲収差補正処理と、幾何歪を補正する煽り補正処理のことで、共に公知のデジタル画像処理技術である。
なお、この歪曲収差は、周知の通り、広角系のレンズに起こりやすい樽型歪（図１１（ａ））と、望遠系のレンズに起こりやすい糸巻き歪（図１１（ｂ））とがある。
【００４３】
また、カメラ本体７７の露出はニュートルグレーを基準にした露光制御をしている。会議全体を撮影する場合には、このニュートルグレーを基準とした通常の色調補正処理（明度補正、コントラスト補正、レベル補正（ガンマ値補正））を行う。
【００４４】
（２） ホワイトボードや書画等の被写体の全体を撮影する場合
ホワイトボードや書画、壁面等に貼り付けた資料等の被写体の全体を撮影すると、距離の遠いほうが窄まり、また撮影方向によっては傾いた見づらい画像になる（図１１（ｃ））。そこで、煽り補正処理を行うことで、あたかも正面から被写体を撮影したような見やすい画像にする（図１１（ｄ））。この場合の煽り補正処理は、撮影範囲内における四辺形認識を実行し、認識した四辺形を長方形に修正する。なお、歪曲収差を補正する歪曲収差補正処理も行なう。煽り補正処理と歪曲収差補正処理の補正量は、認識した四辺形に基づいて決定される。
【００４５】
また、書画やホワイトボード等、文字や図形等を撮影する場合における歪曲収差補正と煽り補正処理の補正量は、会議の模様を撮影する場合における補正量より大きくして、文字や図形等が正確に認識できるようにする（補正量を可変制御）。
また、カメラ本体７７が上向いた撮影の場合（例えばホワイトボードの撮影）と、カメラ本体７７が下向いた撮影の場合（例えば机上に置かれた書画の撮影）とで、各画像処理の補正量を適宜調整して、夫々の撮影条件及び被写体に合うようにしている。
また、ホワイトボードや書画を撮影する場合には、出力画像が白っぽくなったり、黒っぽくなったりしないように、且つ、高コントラストとなるような色調補正処理を行う
【００４６】
（３） ホワイトボードや書画等の被写体の一部を撮影する場合
ホワイトボードや書画等の被写体の全体を撮影する場合と基本的に同じ画像処理を行なうが、被写体の一部分の撮影であるため、撮影範囲内の四辺形を基準にした煽り補正処理ができない。そこで、別の手段による煽り補正処理を行なう。詳細は後述する。なお、この場合における煽り補正処理と歪曲収差補正処理の補正量は、算出された撮影範囲に基づいて決定される。
このように制御部は、煽り補正処理、歪曲収差補正処理、色調補正処理の各補正量を、被写体に応じて可変制御している。
【００４７】
次に、これらの画像処理が適宜実行されることを前提にして、画像処理に至る一連の動作を、図１２のフロ−チャートを参照しながら説明する。この一連の動作は、上述したように、画像処理制御プログラムに基づいてＣＰＵ３４が処理している。
先ず、第２の加速度センサＳ２と第１の加速度センサＳ１のデータより、被設置面からカメラ本体７７中心までの高さ距離情報Ｌ（図３）を求める（Ｓ１、高さ算出ステップ）。
【００４８】
被設置面からの高さに関係するものは、被設置面からヒンジ７３の中心までの高さＭと、ヒンジ７３の中心から支軸７６の中心までのアーム軸間長さＡ及び、カメラの傾きに影響される支軸７６の中心からレンズ中心までの長さＣがある。これらの寸法情報は、上述したように、予めＨＤＤ３０４に記録されていたり、画像処理制御プログラム中の数式に直接組み込まれていたり、特に限定されない。
また、加速度センサは、傾きに応じて出力値が変化するため、この特性を利用して傾斜計としても用いられる（公知技術）。
上述した既知の寸法情報と第１の加速度センサＳ１及び第２の加速度センサＳ２の出力値とを用いて、被設置面からカメラ本体７７中心までの高さ距離情報Ｌを求める。
【００４９】
なお、本実施の形態では、通常、会議装置１は会議テーブルや机、台等の水平面上に設置されるために、被設置面からヒンジ７３の中心までの高さＭの値は変わらぬものとして扱うが、会議装置が水平でない場合にも対応する場合、会議装置の傾きを検出することができる３次元加速度センサを追加する等の方法をとれば対応が可能になる。
【００５０】
被設置面からカメラ本体７７中心までの高さ距離情報Ｌを求めるにあたり、先ず、ヒンジ７３の中心から支軸７６の中心までのアーム軸間長さＡに対する鉛直方向の高さの算出について説明する。
第２の加速度センサＳ２は、上述したように２軸の加速度センサであり、重力加速度Ｇ２の分解成分であるＨ２とＶ２とに対応したそれぞれの値を出力する。分解成分であるＨ２とＶ２から傾斜角度θ９を以下の式を用いて算出する。
【００５１】
【数１】
【００５２】
ヒンジ７３の中心から支軸７６の中心までのアーム軸間長さＡに対する鉛直方向の長さ（高さ）は、式（１）からＡ・ｃｏｓθ９となる。
次に、支軸７６の中心からレンズ中心までの長さ対する鉛直方向の高さ（長さ）の算出について説明する。
第１の加速度センサＳ１は、上述したように２軸の加速度センサであり、重力加速度Ｇ１の分解成分であるＨ１とＶ１とに対応したそれぞれの値を出力する。分解成分であるＨ１とＶ１から傾斜角度θ８を以下の式を用いて算出する。
【００５３】
【数２】
【００５４】
支軸７６の中心からレンズ中心までの長さ対する鉛直方向の高さ（長さ）、式（２）からＣ・ｃｏｓθ８となる。
したがって、被設置面からカメラ本体７７中心までの高さ距離情報Ｌは、
【００５５】
【数３】
【００５６】
となる。
このようにして、被設置面からカメラ本体７７中心までの高さ距離情報Ｌと、アーム７４の傾斜角度θ９、カメラ本体７７の傾斜角度θ８が求まったら、これらの情報を用いて被写体に応じた画像処理を実行する。
【００５７】
カメラ部７は、上述したように、アーム７４及びカメラハウジング７５を立ち上げた状態のレンズ中心と、会議装置１の被設置面との高さ距離情報Ｌは、平均的な体格の成人が椅子に着座し、一般的な会議テーブルＴを用いた場合（使用状態時を想定）に、ヒトの目あたりにカメラ本体７７のレンズ中心が位置するような距離、すなわち、アイレベルのカメラポジションとなるように設定されている（図３、図５、図１０（ａ））。
【００５８】
このことから、ヒト（会議参加者）を撮影する場合には、アーム７４の傾斜角度θ９とカメラ本体７７の傾斜角度θ８は、ある一定の角度に収まっており、被設置面からカメラ本体７７中心までの高さ距離情報Ｌは一定の高さに収まっていることから、このような条件を満たす場合、すなわち、アイレベルのカメラポジションの場合（Ｓ２Ｙ）、会議全体を撮影していると判断し（Ｓ３、被写体特定ステップ）、その撮影及びその被写体に適した画像処理を行う（Ｓ４、画像処理ステップ）。
【００５９】
カメラ部７のカメラポジションがアイレベル以外の場合（Ｓ２Ｎ）、撮影範囲内（カメラ撮影によりモニタ等に映し出された光景の範囲）に四辺形領域の画像があるか否かを判断する（Ｓ５）。なお、四辺形領域の抽出技術は、例えば、特許第４７１２４８７号で開示された公知の技術を用いる。なお、特許第４７１２４８７号は、四辺形領域の抽出技術のほかに、煽り補正のデジタル画像処理技術も開示されている。
撮影範囲内に四辺形領域があると判断した場合（Ｓ５Ｙ）、第１の加速度センサＳ１から出力されたＨ１の値に基づいてカメラ本体７７が上向きか下向きかを判断する（Ｓ６）。
カメラ本体７７の向きの判断は以下の通りである。
第１の加速度センサＳ１を水平にして静止させると、第１の加速度センサＳ１のＨ１出力値は、“０”である。
この水平状態の第１の加速度センサＳ１を、図７において反時計回りに傾け、静止させると、第１の加速度センサＳ１のＨ１出力値は、その傾きに応じた負の数値を出力する。
その逆に、図８に示すように、水平状態の第１の加速度センサＳ１を時計回りに傾け、静止させると、第１の加速度センサＳ１のＨ１出力値は、その傾きに応じた正の数値を出力する。
したがって、Ｈ１が負の数値の場合は、カメラ本体７７は下向き、Ｈ１が正の数値の場合は、カメラ本体７７は上向き、と判断する。なお、Ｈ１が“０”の場合は、カメラ本体７７の撮影方向は水平方向に向いている。
【００６０】
カメラ本体７７が上向きであると判断した場合（Ｓ６Ｙ）、撮影範囲内に四辺形領域があることから、ホワイトボード等の被写体の全体を撮影していると判断し（Ｓ７、被写体特定ステップ）、その撮影及びその被写体に適した画像処理を行う（Ｓ８、画像処理ステップ）。
【００６１】
カメラ本体７７が下向きであると判断した場合（Ｓ６Ｎ、図６、図１０（ｂ））、撮影範囲内に四辺形領域があることから、会議テーブルＴ等の机上（被設置面）に置かれた書画等の被写体の全体を撮影していると判断し（Ｓ９、被写体特定ステップ）、その撮影及びその被写体に適した画像処理を行う（Ｓ１０、画像処理ステップ）。
また、カメラ本体７７が下向きであると判断した場合、視認に邪魔な影の出現を回避するために、照明部７８を点灯させることが好ましい。この場合、カメラ本体７７の向き（上向き、下向き）に応じて、点灯と消灯とが自動的に切り替わるように構成することが好ましい。
【００６２】
撮影範囲内に四辺形領域がないと判断した場合（Ｓ５Ｎ）は、傾斜角度θ８、θ９からカメラ本体７７が上向きか下向きかを判断する（Ｓ１１）。
カメラ本体７７が上向きであると判断した場合（Ｓ１１Ｙ）、ホワイトボード等の被写体の一部分を撮影していると判断し（Ｓ１２、被写体特定ステップ）、その撮影及びその被写体に適した画像処理を行う（Ｓ１３、画像処理ステップ）。
カメラ本体７７が下向きであると判断した場合（Ｓ１１Ｎ）、机上に置かれた書画等の一部分を撮影していると判断し（Ｓ１４、被写体特定ステップ）、その撮影及びその被写体に適した画像処理を行う（Ｓ１５、画像処理ステップ）。
【００６３】
また、被写体の一部分を撮影していると判断した場合（Ｓ１２、Ｓ１４）は、上述したように、撮影範囲内の四辺形を基準にした煽り補正処理ができない。
そこで、本実施の形態では、被写体の一部分を撮影していると判断した場合（Ｓ１２、Ｓ１４）は、以下に示す一連の処理を行なう。
以下、被写体が被設置面に置かれた書画である場合を例にして、図９を参照しながら説明する。なお、レンズに歪曲収差がないものとする。
【００６４】
まず、カメラ本体７７による撮影範囲の算出を行う。
水平方向の画角θ６、垂直方向の画角θ７のカメラ本体７７が、被設置面からカメラ本体７７中心までの高さ距離情報Ｌ（式（３）で求まる）で、撮影方向が水平から（９０−θ１０−θ7／２）°下向きの状態で書画を撮影しているものとする。なお、θ１０は、カメラ本体７７のレンズ中心からその真下Ｐ１を結ぶ線分と、カメラ本体７７のレンズ中心から撮影範囲の垂直方向の下限位置Ｐ２とを結ぶ線分とがなす角度である。このθ１０は、第１の加速度センサＳ１の出力値から求めた傾斜角度θ８、既知である垂直方向の画角θ７を用いると、
【００６５】
【数４】
【００６６】
となる。図９において、それぞれの長さは以下の通りになる。
【００６７】
【数５】
【００６８】
【数６】
【００６９】
【数７】
【００７０】
【数８】
【００７１】
【数９】
【００７２】
【数１０】
【００７３】
【数１１】
【００７４】
【数１２】
【００７５】
【数１３】
【００７６】
となる。したがって、カメラ本体７７の高さの変化を含んだ任意の位置におけるカメラ本体７７の撮影範囲は、以下の式で求められる。
【００７７】
【数１４】
【００７８】
【数１５】
【００７９】
奥行きは上述した式（１１）となる。これらの範囲が撮影範囲となる。当然のことながら、Ｐ３―Ｐ６間とＰ５―Ｐ７間とでは、カメラ本体７７から距離の遠いＰ５―Ｐ７間の方が、撮影範囲が広い。
この撮影範囲に対し、横方向にＸピクセル、縦方向にＹピクセルの出力画像として表現されるとすると、出力画像の任意のピクセルの座標（Ｘ１、Ｙ１）は、式（１６）と式（１７）を用いることで、Ｐ２の点を原点とした撮影範囲上での位置に換算できる。横方向の位置は式（１６）で算出し、縦方向の位置は式（１７）で算出する。
【００８０】
【数１６】
【００８１】
【数１７】
【００８２】
この式（１６）と式（１７）を用いて、出力画像の全てのピクセルを撮影範囲上での位置に対応させ、横方向がＰ３―Ｐ６間、縦方向がＰ２―Ｐ４間の範囲で、縦・横の各ピクセル間の幅が等しくなる座標に配置する画像処理（煽り補正処理）を行う。これにより、撮影した画像が、被写体を正面から見た状態に近い画像となる。
【００８３】
このようにして処理された画像は、相手方の会議装置に送られ、その相手方の会議装置に接続されたプロジェクター等を通じて、文字や図形等が見やすい形で表示される。
【００８４】
このように、本実施の形態にかかる会議装置は、ＣＰＵ３４が所定の画像処理制御プログラムに基づいて、被設置面からカメラ本体７７中心までの高さ距離情報Ｌを算出し、カメラ本体７７の傾きと、画角（水平方向の画角θ６、垂直方向の画角θ７）と、被設置面からカメラ本体７７中心までの高さ距離情報Ｌとから、カメラの撮影範囲を算出する。そして、高さ距離情報Ｌとカメラ本体７７の傾きから被写体の種類を特定し、その特定した被写体に適した画像処理と色調補正処理を行う。
【００８５】
したがって本実施の形態にかかる会議装置は、カメラ本体７７の高さの変化を含んだ任意の位置におけるカメラ本体７７の撮影範囲（カメラで撮影される光景の範囲）に対する画像処理ができる。
特に、被写体を特定し、その特定した被写体に応じて、歪曲収差補正処理や煽り補正処理の補正量を可変制御するから、遠近感の強調を抑えつつ、不自然さを感じさせない画像や、被写体を正面から見るような画像等を出力できる。
【００８６】
以上、本実施の形態にかかる会議装置を説明したが、上述した実施の形態は、本発明の好適な実施の形態の一例を示すものであり、本発明はそれに限定されるものではない。
例えば、本実施の形態では、カメラ本体７７の傾きと、被設置面からカメラ本体７７中心までの高さ距離情報Ｌ等に基づいて、歪曲収差補正処理と煽り補正を行なったが、マクロ撮影モードやデジタルズーム機能、デジタルパンチルトズーム機能、オートフォーカス機能を設けて、被写体に応じて、適宜、切り替え可能に構成しても良い。
【００８７】
特に被写体が被設置面に置かれた書画で、デジタルパンチルトズーム機能及びオートフォーカス機能を用いる場合、デジタルズーム領域までの距離を、カメラ本体７７の傾き及び被設置面からの高さを用いて算出し、デジタルズームした領域までの最適な距離にフォーカスを調節しても良い。
【００８８】
また、本実施の形態では、カメラハウジング７５の内部に設けた第１の加速度センサＳ１と、アーム７４の内部に設けた第２の加速度センサＳ２とを備えて傾き検出部Ｓを構成したが、特にこれに限定されない。例えば、ポテンショメータやロータリーエンコーダ等の回転角度を検出可能なセンサを、ヒンジ７３や支軸７６、またはそれらの近くに設けて、カメラ本体７７とアーム７４の傾きを検出させても良い。
【００８９】
また、本実施の形態では、高さ算出、被写体特定、画像処理を、画像処理制御プログラムで実現させたソフトウェアベースのものを例示したが、これらをハードウェアベースで構成しても良い。また、上述した画像処理制御プログラムが記録された記録媒体でも良い。
【符号の説明】
【００９０】
１ 会議装置
２ 筐体
３ 制御部
７１ アーム部
７５ カメラハウジング
７７ カメラ本体
７８ 照明部
Ｓ 傾き検出部
Ｓ１ 第１の加速度センサ
Ｓ２ 第２の加速度センサ
【先行技術文献】
【特許文献】
【００９１】
【特許文献１】特開平８−１６８０２９号公報
【特許文献２】特許第３１０９５８０号公報
【技術分野】
【０００１】
本発明は、会議装置やパーソナルコンピュータ等に用いられる画像入力装置、その画像
入力装置を備えた会議装置、画像処理制御プログラム、記録媒体に関する。
【背景技術】
【０００２】
人物や書画をカメラで撮影し、その撮影画像を取り込む画像入力装置として、例えば、以下のものが知られている。
【０００３】
カメラを水平方向と垂直下向きに変更自在に支持する構造に設けられたスイッチにより、カメラが水平方向か、垂直下方向のどちらに向くかをカメラ台制御回路が検出し、画像処理回路が、カメラが水平方向に向くときには、カメラを通常解像度モードで動作し、垂直下方向に向くときにはカメラを高解像度モードで動作する画像入力装置がある。
この画像入力装置によれば、人物モードでは通常の解像度、書画モードでは高解像度という切り替えが自動的に行われるので、操作の手間が省ける、としている（例えば特許文献１参照）。
【０００４】
他の装置としては、撮影対象を撮影するカメラと、カメラの方向を検出するカメラ方向検出装置と、少なくともカメラとカメラ方向検出装置を一体化し、カメラの撮影方向をユーザが自由に変更可能なように点もしくは軸を前記カメラの回転中心として保持し、カメラの位置を一定の高さに保持するカメラ固定機構と、画像を記録するための画像メモリと、カメラ方向検出装置のカメラの方向に関する情報から、カメラが撮影する対象を識別するための撮影対象種別を決定する対象決定装置と、ユーザの指示またはカメラ方向検出装置のカメラの方向に関する情報によりカメラによって撮影される画像に対する処理種別を決定するモード決定装置と、対象決定装置により決定された撮影対象種別に応じて、カメラ方向検出装置のカメラの方向に関する情報から、カメラが撮影した画像に含まれる撮影対象の幾何形状が正しくなるように幾何変換を適用し、前記幾何変換を適用した画像を前記画像メモリに記録する画像変換装置と、画像メモリに記録されている画像の合成処理を行い、合成した画像を画像メモリに記録する画像合成装置とを備えた画像入力装置がある。
この画像入力装置によれば、ユーザがカメラを撮影対象に向けるだけで、撮影対象を自動的に判別し、撮影対象および撮影方向に応じた変換を施し適切な画像を表示装置に表示でき、ユーザが撮影対象を装置に指示する等の煩雑な処理無しに、適切な画像を表示できる、としている（例えば特許文献２参照）。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した従来技術は以下の問題点を有する。
特許文献１及び２に記載された画像入力装置は、カメラの向きに応じた画像処理を行うものであるが、いずれも、カメラを動かすための回転中心の位置が不変であり、カメラの高さの変化を含んだ任意の位置における撮影範囲に対する画像処理に対応していなかった。なお、上述した「撮影範囲」とは、カメラ撮影によりモニタ等に映し出された光景の範囲のことを言うものとする。
【０００６】
本発明は、このような状況に鑑みてなされたものであり、上記問題点を解決できる画像入力装置、会議装置、画像処理制御プログラム、記録媒体を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明にかかる画像入力装置、会議装置、画像処理制御プログラム、記録媒体は、下記の技術的手段を講じた。
本発明にかかる画像入力装置は、被写体を撮影するカメラ本体と、被設置面に設置される支持ベースと、前記カメラ本体をチルト可能に支持させると共に、前記支持ベースに上下方向へ揺動可能に支持されたアーム部と、該アーム部と前記カメラ本体の傾きを検出して、傾き情報として出力する傾き検出部とを備えた画像入力装置であって、前記傾き検出部が検出した、前記アーム部と前記カメラ本体の傾き情報と当該装置の寸法情報とに基づいて、前記被設置面から前記カメラ本体までの高さ距離情報を算出し、その算出した高さ距離情報と前記傾き情報とに基づいて前記被写体を特定し、その特定した被写体に適した画像処理を実行するように制御されることを特徴とする。
また本発明にかかる会議装置は、前記画像入力装置を備え、通信網を介して音声及び画像の双方向通信を実行可能に構成されると共に、前記カメラ本体で撮影し、前記傾き検出部が検出した、前記アーム部と前記カメラ本体の傾き情報と当該装置の寸法情報とに基づいて、前記被設置面から前記カメラ本体までの高さ距離情報を算出し、その算出した高さ距離情報と前記傾き情報とに基づいて前記被写体を特定し、その特定した被写体に適した画像処理を施した画像を、前記通信網を介して出力されることを制御する制御部を更に備えることを特徴する。
また本発明にかかる画像処理制御プログラムは、被写体を撮影するカメラ本体と、被設置面に設置される支持ベースと、前記カメラ本体をチルト可能に支持させると共に、前記支持ベースに上下方向へ揺動可能に支持されたアーム部と、該アーム部と前記カメラ本体の傾きを検出して、傾き情報として出力する傾き検出部とを備えた画像入力装置を制御する画像処理制御プログラムであって、前記傾き検出部が検出した、前記アーム部と前記カメラ本体の傾き情報と当該装置の寸法情報とに基づいて、前記被設置面から前記カメラ本体までの高さ距離情報を算出する高さ算出ステップと、該高さ算出ステップが算出した前記高さ距離情報と前記傾き情報とに基づいて前記被写体の種類を特定する被写体特定ステップと、該被写体特定ステップにより特定された前記被写体に適した画像処理を実行する画像処理ステップとをコンピュータに実行させることを特徴とする。
また本発明にかかる記録媒体は、前記画像処理制御プログラムが記録されたことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、カメラの高さの変化を含んだ任意の位置における撮影範囲に対する画像処理ができる。
【図面の簡単な説明】
【０００９】
【図１】本実施の形態にかかる画像入力装置を備えた会議装置の斜視図である。
【図２】会議装置の一部切欠した正面図である。
【図３】会議装置の右側面図である。
【図４】会議装置のハードウェア構成図である。
【図５】会議装置の使用状態図（会議参加者撮影時）である。
【図６】会議装置の使用状態図（書画撮影時）である。
【図７】アームとカメラ本体の傾斜に応じた高さ距離を示す説明図であり、カメラ本体が下向きの状態を示す。
【図８】アームとカメラ本体の傾斜に応じた高さ距離を示す説明図であり、カメラ本体が上向きの状態を示す。
【図９】カメラ本体の撮影範囲（俯瞰で示す）を示した説明図である。
【図１０】カメラ本体の傾斜角度及び高さを使用態様に応じて示した模式図であり、（ａ）会議参加者撮影時、（ｂ）書画撮影時、（ｃ）ホワイトボード撮影時、を夫々示す。
【図１１】撮影画像の態様を示した模式図であり、（ａ）たる型歪（レンズ歪）、（ｂ）糸巻き歪（レンズ歪）、（ｃ）幾何歪、（ｄ）補正後の状態、を夫々示す。
【図１２】画像処理に至る一連の動作を示したフローチャートである。
【発明を実施するための形態】
【００１０】
本発明にかかる画像入力装置の実施の形態を説明する。本実施の形態にかかる画像入力装置は会議装置に組み込んだものを例示している。
本実施の形態にかかる会議装置１は、支持ベースの一例としての筐体２と、スピーカー部５と、マイクロフォン６と、カメラ本体とアーム部と照明部とを備えたカメラ部７と、傾き検出部Ｓと、制御部３とを備えてなる。
【００１１】
筐体２は、図１に示すように、下筐体２１と上筐体２２とを備えてなる。
下筐体２１は、上部が開口した箱状に形成されている。
上筐体２２は、後述するカメラ部７のアーム７４とカメラハウジング７５とを前方に折り畳んで収納させる傾斜状の凹部２２ｐが形成されると共に、図１において、その凹部２２ｐの左隣が凸状に形成され、その凸状側の平面に操作ボタンや電源スイッチ等が配置された蓋状に形成されている。
この筐体２は、上筐体２２と下筐体２１とが嵌め合うと共に、図示せぬ締結部材を介して接続されており、後述する各構成部が支持されている。
【００１２】
スピーカー部５は、フルレンジタイプのスピーカーを備え、音声入出力Ｉ／Ｆ３０８に結線されると共に、再生音が上筐体２２から出力されるように、筐体２内に取り付けられている。
マイクロフォン６は、無指向性のマイクロフォンであり、音声入出力Ｉ／Ｆ３０８に結線されると共に、外部の音を収音可能に、且つ、スピーカー部５から再生された音波を当該マイクロフォン６が収音して生じるエコー現象を回避または低減可能に、筐体２内に取付けられている。
【００１３】
カメラ部７は、図１及び図２に示すように、アーム部７１と、カメラ本体７７と、照明部７８とを備えてなる。
アーム部７１は、取付ブラケット７２と、ヒンジ７３と、アーム７４と、カメラハウジング７５とを備えてなる。
【００１４】
取付ブラケット７２は、正面視Ｌ字状に形成された板状の部材であり、長辺側の中央部に後述するヒンジ７３が取り付けられる取り付け穴が形成されており、筐体２に設けられた内部フレームに支持されている。
【００１５】
ヒンジ７３は、取付ブラケット７２に取り付けられた固定軸７３ａと、上筐体２２の凹部２２ｐ側に形成された貫通穴を介して外方へ突き出るように、且つ、固定軸に対して周方向に回転可能に設けられた第１の可動軸７３ｂと、その第１の可動軸７３ｂから直交方向へ突き出るように、且つ、周方向に回転可能に設けられ、先端部にＬ字状の取り付け部７３ｄが設けられた第２の可動軸７３ｃと、その第２の可動軸７３ｃが突き出るように第１の可動軸７３ｂに被せられたキャップ７３ｅとを備えてなる。
【００１６】
このヒンジ７３はトルクヒンジであり、第１の可動軸７３ｂと、第２の可動軸７３ｃは、任意の回転角度で停止した状態を保持するようになっていると共に、所要の力を加えることで、その停止状態から回転移動可能になっている。
【００１７】
アーム７４は、前方に折り畳んで凹部２２ｐに収納させた際に、上筐体２２の凸状側の平面と沿うように形成された中空の角棒状部材であり、下方に向かって開口した第１の凹部７４ａが基部に形成され、上方に向かって開口した第２の凹部７４ｂが先部に形成されている。
【００１８】
そして、このアーム７４は、第１の凹部７４ａがキャップ７３ｅを介して第１の可動軸７３ｂを跨ぐように、且つ、第１の凹部７４ａの側壁からその第１の凹部７４ａを形成する脚部７４ｃに入り込むように第２の可動軸７３ｃが挿し込まれ、その脚部７４ｃが第２の可動軸７３ｃの取り付け部７３ｄを介してビス止めされて、ヒンジ７３に取り付けられている。
【００１９】
このアーム７４は、図１に示すように、第２の可動軸７３ｃにより概ね９０度のチルト角θ２の範囲で、且つ、後述するカメラ本体７７が正面を向いた状態で立ち上げた状態を中心として、ヒンジ７３の第１の可動軸７３ｂにより概ね１８０度のパン角θ１の範囲で回転可能になっている。なお、パン角θ１、チルト角θ２の角度はその角度に限定されない。
第１の凹部７４ａの一方の側壁からヒンジ７３を経由して装置内部に向かってカメラケーブルが這い回わされている。
【００２０】
カメラハウジング７５は、前方に折り畳んで凹部２２ｐに収納させた際（図３）に、上筐体２２の凸状側の平面と略沿うように形成された中空の矩形体状部材であり、図２に示すように、その底部に下方に向かって延びる凸部７５ａが形成され、正面側の壁にレンズ穴が形成されている。そして、このカメラハウジング７５は、凸部７５ａを第２の凹部７４ｂ内に位置させる共に、第２の凹部７４ｂを形成する腕部７４ｄに保持された一対の支軸７６が、凸部７５ａの側面部に、任意の回転角度で停止した状態を保持可能に回転可能に挿入されて、その一対の支軸７６を介してアーム７４に取り付けられている。
【００２１】
このカメラハウジング７５は、図３に示すように、アーム７４を立ち上げた状態で、後述するカメラ本体７７が略真下方向と略真上方向へ向くように、一対の支軸７６により概ね１８０度のチルト角θ３の範囲で回転可能になっている。なお、チルト角θ３の角度はその角度に限定されない。
上述した一対の支軸７６は、その一方が中空軸となっており、その中空軸を経由してアーム７４内に向かってカメラケーブルが這い回わされている（図２中、二点鎖線で図示）。
【００２２】
カメラ本体７７は、絞りを備え、焦点距離の短い単焦点の広角レンズ部７７ａと、その広角レンズ部７７ａを通った被写体の像が結像されるように配置されると共に撮影素子Ｉ／Ｆ３０７に結線され、光を電荷に変換して被写体の像を電子化する撮影素子部（図示せず）とを備え、被写界深度の深いパンフォーカスとなるように構成されている。
このカメラ本体７７は、上述したカメラハウジングに形成されたレンズ穴に広角レンズ部７７ａが位置するように組み込まれている。なお、広角レンズ部７７ａの前玉の前にアクリル材またはガラス材で形成されたレンズカバーが取り付けられており、広角レンズ部７７ａを保護させている。
【００２３】
この広角レンズ部７７ａの水平方向の画角θ６は、図５に示すように、一般的な使用環境において、会議の参加者全員が撮影可能な画角（例えば１００度）となっている。
撮影素子部は、ＣＭＯＳ(Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ)や、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の撮影素子を備える。
【００２４】
照明部７８は、例えばＬＥＤ等の発光体を環状に配置させて、環状に光照射可能に構成され、広角レンズ部７７ａの前玉を環状に取り囲むようにカメラハウジング７５に支持さている。被写体が書画や商品等の場合、この照明部７８を点灯させることで、被写体がむらなく照明されて、視認に邪魔な影の出現を回避する。
【００２５】
このように構成されたカメラ部７は、カメラハウジング７５を任意の向き及び任意の高さに調整して被写体を撮影可能になっていると共に、会議装置１の不使用時に、前方に折り畳むことで、凹部２２ｐにアーム７４の中途部からカメラハウジング７５が中途部まで入り込んで収納可能になっている。この収納時、カメラハウジング７５とアーム７４との背面が上筐体２２の凸状側の平面と沿って、外観視、大きな出っ張り部分がないようになっている。
【００２６】
さらに、図３、図１０（ａ）に示すように、平均的な体格の成人が椅子に着座し、一般的な会議テーブルＴや机に当該会議装置を設置した場合（使用状態時を想定）において、アーム７４及びカメラハウジング７５を立ち上げた状態のレンズ中心と会議テーブルＴとの高さ距離情報Ｌが、ヒトの目の高さ位置あたりにレンズ中心が位置するような距離、すなわち、アイレベルのカメラポジションとなるように、このカメラ部７は設定されている。
【００２７】
カメラ部７の使用例として、図５に示すような会議参加者を撮影したり、図６に示すように、アーム７４を旋回させ、カメラハウジング７５（カメラ本体７７）を下向きにさせて、会議テーブルＴ上の書画や商品等を撮影したりする。このとき、後述する制御部３は、カメラ本体７７が撮影する被写体の種類を特定し、その特定した種類の被写体に適した画像処理を実行するようになっている。詳細は後述する。
また、このカメラ部７は、上筐体２２の平面片側に設けたことで、筐体２からのアーム７４の突き出し量を多くとることができ、会議テーブルＴ上の書画を撮影する場合等にも好適な配置レイアウトになっている。
【００２８】
傾き検出部Ｓは、第１の加速度センサＳ１と、第２の加速度センサＳ２とを備えてなる。
【００２９】
第１の加速度センサＳ１は、後述する加速度センサＩ／Ｆ３５０に結線された２軸加速度センサであり、カメラハウジング７５の内部に設けられている（図７）。この第１の加速度センサＳ１は、カメラ本体７７の傾き（後述する広角レンズ部７７ａが水平方向を向いている場合のレンズ中心軸方向を１つの軸とし、中心軸から垂直の上下方向がもう１つの軸とした２軸の傾き）を検出して、カメラ本体７７の傾き情報として出力する。
なお、本実施の形態では、カメラハウジング７５は一対の支軸７６により上下方向のみに回転するため、２軸の加速度センサを使用しているが、多方向に駆動する場合には、３次元加速度センサ等を設置し、後述するカメラ本体７７の傾きを検出する。
【００３０】
第２の加速度センサＳ２は、後述する加速度センサＩ／Ｆ３５０に結線された２軸加速度センサであり、アーム７４の内部に設けられている（図７）。この第２の加速度センサＳ２は、アーム７４の傾き（筐体２が水平に設置されている場合の前後方向の水平を１つの軸とし、支軸７６とヒンジ７３各々の中心部を結ぶ方向が垂直になる方向をもう１つの軸とした２軸の傾き）を検出して、アーム７４の傾き情報として出力する。
なお、本実施の形態では、アーム７４は、ヒンジ７３の第１の可動軸７３ｂと第２の可動軸７３ｃにより上下左右方向に回転可能になっているため２軸加速度センサを使用しているが、斜め方向等の上下左右以外の方向に駆動する場合には、３次元加速度センサ等を設置し、アーム７４の傾きを検出する。
【００３１】
制御部３は、音声データ及び画像データをエンコード処理及びデコード処理をして、通信網としてのインターネットを介して音声及び画像の双方向通信を可能にするものである。また、この制御部３は、カメラ本体７７が撮影する被写体を特定し、その特定した被写体に適した画像処理を実行するものである。なお、その画像処理された映像は、相手先の会議装置に送信することはもとより、当該会議装置１の使用者が映像を確認するために、後述する画像出力Ｉ／Ｆ３０９を介して出力可能になっている。
制御部３のハードウェアの基本的な構成は、図４に示すように、ＣＰＵ３４、ＲＯＭ(Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ)３０１、ＲＡＭ(Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ)３０２、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）３０４（もしくはストレージまたは記録デバイス）、メディアドライブ３０５、操作ボタン３３１、電源スイッチ３３２、ネットワークＩ／Ｆ(Ｉｎｔｅｒｆａｃｅ)３０６、撮影素子Ｉ／Ｆ３０７、音声入出力Ｉ／Ｆ３０８、画像出力Ｉ／Ｆ３０９、加速度センサＩ／Ｆ３５０の各構成要素が、アドレスバスやデータバス等のバスライン３１０を介して、双方向通信可能に接続されてなる。なお、上述した画像データは、動画または間欠画像（一定時間間隔の静止画像）のデータである。
【００３２】
ＣＰＵ３４は、画像処理制御プログラムを備えた会議装置用の制御プログラムに基づいて、会議装置１全体の動作を制御する。すなわち、インターネットを介して音声及び画像の双方向通信を実現させたり、傾き検出部Ｓが出力した傾き情報と当該装置の寸法情報とに基づいてカメラ本体が撮影した被写体の種類を特定し、その特定した被写体に最適な画像処理を実行させたりする。本発明の要部は、後者であり、その詳細は後述する。
【００３３】
ＲＯＭ３０１は、ＩＰＬ(Ｉｎｉｔｉａｌ Ｐｒｏｇｒａｍ Ｌｏａｄｅｒ)等のＣＰＵの駆動に用いられるプログラムが記録されている。
ＲＡＭ３０２は、ＣＰＵのワークエリアとして使用される。
ＨＤＤ３０４は、画像処理制御プログラムを備えた会議装置用の制御プログラム、画像データ、音声データ、当該会議装置１の寸法情報（図３において、Ａ、Ｃ、Ｍ）等の各種データが記録されている。このうち、上述した当該会議装置１の寸法情報は、固定値であることから、画像処理制御プログラム中の数式に直接組み込んでも良い。また、このＨＤＤ３０４に代わりに、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等を用いてもよい。
【００３４】
上述した会議装置用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、記録メディア等の、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。また、この会議装置用プログラムは、ＨＤＤ３０４ではなく、ＲＯＭ３０１に記録されるようにしてもよい。
ＳＳＤ３０４は、ＣＰＵの制御にしたがってＨＤＤ３０４に対する各種データの読み出し又は書き込みを制御する。
【００３５】
メディアドライブ３０５は、フラッシュメモリ等の記録メディアに対するデータの読み出し又は書き込み（記録）を制御する。記録メディアは、会議装置１に対して着脱自在な構成となっている。また、ＣＰＵ３４の制御にしたがってデータの読み出し又は書き込みを行う不揮発性メモリであれば、フラッシュメモリに限らず、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）等を用いてもよい。
【００３６】
操作ボタン３３１は、メニュー表示、各種メニューの選択・決定、双方向通信を行う相手先の会議装置の宛先を選択・決定、通信の切断、音量の調整、マイクミュート等に用いられる押しボタンまたはタッチスイッチであり、筐体２内の操作基板に取り付けられている。
電源スイッチ３３２は、会議装置１の電源のＯＮ／ＯＦＦを切り換えるための押しボタンまたはタッチスイッチであり、筐体２内の操作基板に取り付けられている。
【００３７】
ネットワークＩ／Ｆ３０６は、接続端子（イーサネット（登録商標）端子）を備え、インターネットを介したデータの入出力のやりとりを仲介するようになっている。
撮影素子Ｉ／Ｆ３０７は、カメラ本体７７から出力された信号を所定の画像データとして取り込むようになっている。
音声入出力Ｉ／Ｆ３０８は、マイクロフォン６で収録された信号を所定の音声データとして取り込むと共に、通信網を介して受信されたデータのうち音声データをスピーカー部５で再生可能な信号に変換するようになっている。
【００３８】
画像出力Ｉ／Ｆ３０９は、接続端子を備え、プロジェクターＰ（図１）が受け入れ可能な所定のアナログまたはデジタルの画像信号に変換して出力するものである。
この画像出力Ｉ／Ｆ３０９を介して出力される画面は、例えば、相手先の会議装置を設定する宛先画面、画質を調整する画質調整画面、出力信号の選択画面等のメニュー画面や、通信網を介して受信した相手先からの映像が挙げられる。
さらに、当該会議装置１のカメラ部７による映像を、当該会議装置１の使用者が確認するために、当該会議装置１のカメラ部７で撮影した映像（確認用映像）も画像出力Ｉ／Ｆ３０９を介して出力される。この場合、例えば、ピクチャーインピクチャー機能により、親画面は相手先からの映像とし、子画面を確認用映像としたり、あるいはその逆としたりすると利便性が向上することから好適である。
なお、ＣＰＵ３４は、エンコードされた画像データを所定のコーデックを用いてデコードをする。この所定の画像信号としては、アナログＲＧＢ信号（ＶＧＡ）、コンポーネントビデオ信号、ＨＤＭＩ(Ｈｉｇｈ―Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ)信号、ＤＶＩ(Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｉｎｔｅｒａｃｔｉｖｅ)信号が挙げられる。
加速度センサＩ／Ｆ３５０は、第１の加速度センサＳ１と第２の加速度センサＳ２とから出力されたアナログ信号を所定のデジタル信号に変換して取り込むようになっている。
【００３９】
以上のように構成された会議装置１は、ネットワークＩ／Ｆ３０６に結線された接続端子とインターネットに接続された接続端子とをケーブルで繋ぎ、画像出力Ｉ／Ｆ３０９に結線された接続端子と画像出力機器の接続端子とをケーブルで繋ぎ、カメラハウジング７５とアーム７４とを立ち上げる。そして、電源スイッチ３３２の操作による電源投入、各種操作ボタン３３１の操作による各種調整、相手先の会議装置の選択をして、インターネットを介した相手先の会議装置と音声及び画像の双方向通信を行う。
【００４０】
さらに、この会議装置１は、当該会議装置１の設置面からカメラ本体７７までの高さ距離情報と、アーム部７１とカメラ本体７７の傾き情報とに基づいて被写体を特定し、その特定した被写体に適した画像処理を行なう。
ここで、被写体の種類に適した画像処理について説明する。
【００４１】
（１） 会議全体を撮影する場合
カメラ本体７７を、より広角のレンズを用いると、会議参加者を無理なく映すことが可能になるが、その一方で、歪曲収差（レンズ歪）により不自然な出力画像になってしまう。この歪曲収差は、デジタル画像処理等によって完全に取り去ってしまうことが可能であるが、歪曲収差を完全に取り去ってしまうと、自然な出力画像になるどころか、むしろ、遠近感が強調されて不自然な出力画像になってしまう。
また、カメラ本体７７から被写体までの距離が一定ではない場合、距離の遠いほうが窄まった（幾何歪のある）出力画像になる（図１１（ｃ））。
【００４２】
そこで、会議全体を撮影する場合の画像処理は、歪曲収差（レンズ歪）と幾何歪とを、ある程度残すようなデジタル画像処理を行うことで、遠近感の強調を抑えつつ、不自然さを感じさせない画像にする。上述したデジタル画像処理とは、歪曲収差を補正する歪曲収差補正処理と、幾何歪を補正する煽り補正処理のことで、共に公知のデジタル画像処理技術である。
なお、この歪曲収差は、周知の通り、広角系のレンズに起こりやすい樽型歪（図１１（ａ））と、望遠系のレンズに起こりやすい糸巻き歪（図１１（ｂ））とがある。
【００４３】
また、カメラ本体７７の露出はニュートルグレーを基準にした露光制御をしている。会議全体を撮影する場合には、このニュートルグレーを基準とした通常の色調補正処理（明度補正、コントラスト補正、レベル補正（ガンマ値補正））を行う。
【００４４】
（２） ホワイトボードや書画等の被写体の全体を撮影する場合
ホワイトボードや書画、壁面等に貼り付けた資料等の被写体の全体を撮影すると、距離の遠いほうが窄まり、また撮影方向によっては傾いた見づらい画像になる（図１１（ｃ））。そこで、煽り補正処理を行うことで、あたかも正面から被写体を撮影したような見やすい画像にする（図１１（ｄ））。この場合の煽り補正処理は、撮影範囲内における四辺形認識を実行し、認識した四辺形を長方形に修正する。なお、歪曲収差を補正する歪曲収差補正処理も行なう。煽り補正処理と歪曲収差補正処理の補正量は、認識した四辺形に基づいて決定される。
【００４５】
また、書画やホワイトボード等、文字や図形等を撮影する場合における歪曲収差補正と煽り補正処理の補正量は、会議の模様を撮影する場合における補正量より大きくして、文字や図形等が正確に認識できるようにする（補正量を可変制御）。
また、カメラ本体７７が上向いた撮影の場合（例えばホワイトボードの撮影）と、カメラ本体７７が下向いた撮影の場合（例えば机上に置かれた書画の撮影）とで、各画像処理の補正量を適宜調整して、夫々の撮影条件及び被写体に合うようにしている。
また、ホワイトボードや書画を撮影する場合には、出力画像が白っぽくなったり、黒っぽくなったりしないように、且つ、高コントラストとなるような色調補正処理を行う
【００４６】
（３） ホワイトボードや書画等の被写体の一部を撮影する場合
ホワイトボードや書画等の被写体の全体を撮影する場合と基本的に同じ画像処理を行なうが、被写体の一部分の撮影であるため、撮影範囲内の四辺形を基準にした煽り補正処理ができない。そこで、別の手段による煽り補正処理を行なう。詳細は後述する。なお、この場合における煽り補正処理と歪曲収差補正処理の補正量は、算出された撮影範囲に基づいて決定される。
このように制御部は、煽り補正処理、歪曲収差補正処理、色調補正処理の各補正量を、被写体に応じて可変制御している。
【００４７】
次に、これらの画像処理が適宜実行されることを前提にして、画像処理に至る一連の動作を、図１２のフロ−チャートを参照しながら説明する。この一連の動作は、上述したように、画像処理制御プログラムに基づいてＣＰＵ３４が処理している。
先ず、第２の加速度センサＳ２と第１の加速度センサＳ１のデータより、被設置面からカメラ本体７７中心までの高さ距離情報Ｌ（図３）を求める（Ｓ１、高さ算出ステップ）。
【００４８】
被設置面からの高さに関係するものは、被設置面からヒンジ７３の中心までの高さＭと、ヒンジ７３の中心から支軸７６の中心までのアーム軸間長さＡ及び、カメラの傾きに影響される支軸７６の中心からレンズ中心までの長さＣがある。これらの寸法情報は、上述したように、予めＨＤＤ３０４に記録されていたり、画像処理制御プログラム中の数式に直接組み込まれていたり、特に限定されない。
また、加速度センサは、傾きに応じて出力値が変化するため、この特性を利用して傾斜計としても用いられる（公知技術）。
上述した既知の寸法情報と第１の加速度センサＳ１及び第２の加速度センサＳ２の出力値とを用いて、被設置面からカメラ本体７７中心までの高さ距離情報Ｌを求める。
【００４９】
なお、本実施の形態では、通常、会議装置１は会議テーブルや机、台等の水平面上に設置されるために、被設置面からヒンジ７３の中心までの高さＭの値は変わらぬものとして扱うが、会議装置が水平でない場合にも対応する場合、会議装置の傾きを検出することができる３次元加速度センサを追加する等の方法をとれば対応が可能になる。
【００５０】
被設置面からカメラ本体７７中心までの高さ距離情報Ｌを求めるにあたり、先ず、ヒンジ７３の中心から支軸７６の中心までのアーム軸間長さＡに対する鉛直方向の高さの算出について説明する。
第２の加速度センサＳ２は、上述したように２軸の加速度センサであり、重力加速度Ｇ２の分解成分であるＨ２とＶ２とに対応したそれぞれの値を出力する。分解成分であるＨ２とＶ２から傾斜角度θ９を以下の式を用いて算出する。
【００５１】
【数１】
【００５２】
ヒンジ７３の中心から支軸７６の中心までのアーム軸間長さＡに対する鉛直方向の長さ（高さ）は、式（１）からＡ・ｃｏｓθ９となる。
次に、支軸７６の中心からレンズ中心までの長さ対する鉛直方向の高さ（長さ）の算出について説明する。
第１の加速度センサＳ１は、上述したように２軸の加速度センサであり、重力加速度Ｇ１の分解成分であるＨ１とＶ１とに対応したそれぞれの値を出力する。分解成分であるＨ１とＶ１から傾斜角度θ８を以下の式を用いて算出する。
【００５３】
【数２】
【００５４】
支軸７６の中心からレンズ中心までの長さ対する鉛直方向の高さ（長さ）、式（２）からＣ・ｃｏｓθ８となる。
したがって、被設置面からカメラ本体７７中心までの高さ距離情報Ｌは、
【００５５】
【数３】
【００５６】
となる。
このようにして、被設置面からカメラ本体７７中心までの高さ距離情報Ｌと、アーム７４の傾斜角度θ９、カメラ本体７７の傾斜角度θ８が求まったら、これらの情報を用いて被写体に応じた画像処理を実行する。
【００５７】
カメラ部７は、上述したように、アーム７４及びカメラハウジング７５を立ち上げた状態のレンズ中心と、会議装置１の被設置面との高さ距離情報Ｌは、平均的な体格の成人が椅子に着座し、一般的な会議テーブルＴを用いた場合（使用状態時を想定）に、ヒトの目あたりにカメラ本体７７のレンズ中心が位置するような距離、すなわち、アイレベルのカメラポジションとなるように設定されている（図３、図５、図１０（ａ））。
【００５８】
このことから、ヒト（会議参加者）を撮影する場合には、アーム７４の傾斜角度θ９とカメラ本体７７の傾斜角度θ８は、ある一定の角度に収まっており、被設置面からカメラ本体７７中心までの高さ距離情報Ｌは一定の高さに収まっていることから、このような条件を満たす場合、すなわち、アイレベルのカメラポジションの場合（Ｓ２Ｙ）、会議全体を撮影していると判断し（Ｓ３、被写体特定ステップ）、その撮影及びその被写体に適した画像処理を行う（Ｓ４、画像処理ステップ）。
【００５９】
カメラ部７のカメラポジションがアイレベル以外の場合（Ｓ２Ｎ）、撮影範囲内（カメラ撮影によりモニタ等に映し出された光景の範囲）に四辺形領域の画像があるか否かを判断する（Ｓ５）。なお、四辺形領域の抽出技術は、例えば、特許第４７１２４８７号で開示された公知の技術を用いる。なお、特許第４７１２４８７号は、四辺形領域の抽出技術のほかに、煽り補正のデジタル画像処理技術も開示されている。
撮影範囲内に四辺形領域があると判断した場合（Ｓ５Ｙ）、第１の加速度センサＳ１から出力されたＨ１の値に基づいてカメラ本体７７が上向きか下向きかを判断する（Ｓ６）。
カメラ本体７７の向きの判断は以下の通りである。
第１の加速度センサＳ１を水平にして静止させると、第１の加速度センサＳ１のＨ１出力値は、“０”である。
この水平状態の第１の加速度センサＳ１を、図７において反時計回りに傾け、静止させると、第１の加速度センサＳ１のＨ１出力値は、その傾きに応じた負の数値を出力する。
その逆に、図８に示すように、水平状態の第１の加速度センサＳ１を時計回りに傾け、静止させると、第１の加速度センサＳ１のＨ１出力値は、その傾きに応じた正の数値を出力する。
したがって、Ｈ１が負の数値の場合は、カメラ本体７７は下向き、Ｈ１が正の数値の場合は、カメラ本体７７は上向き、と判断する。なお、Ｈ１が“０”の場合は、カメラ本体７７の撮影方向は水平方向に向いている。
【００６０】
カメラ本体７７が上向きであると判断した場合（Ｓ６Ｙ）、撮影範囲内に四辺形領域があることから、ホワイトボード等の被写体の全体を撮影していると判断し（Ｓ７、被写体特定ステップ）、その撮影及びその被写体に適した画像処理を行う（Ｓ８、画像処理ステップ）。
【００６１】
カメラ本体７７が下向きであると判断した場合（Ｓ６Ｎ、図６、図１０（ｂ））、撮影範囲内に四辺形領域があることから、会議テーブルＴ等の机上（被設置面）に置かれた書画等の被写体の全体を撮影していると判断し（Ｓ９、被写体特定ステップ）、その撮影及びその被写体に適した画像処理を行う（Ｓ１０、画像処理ステップ）。
また、カメラ本体７７が下向きであると判断した場合、視認に邪魔な影の出現を回避するために、照明部７８を点灯させることが好ましい。この場合、カメラ本体７７の向き（上向き、下向き）に応じて、点灯と消灯とが自動的に切り替わるように構成することが好ましい。
【００６２】
撮影範囲内に四辺形領域がないと判断した場合（Ｓ５Ｎ）は、傾斜角度θ８、θ９からカメラ本体７７が上向きか下向きかを判断する（Ｓ１１）。
カメラ本体７７が上向きであると判断した場合（Ｓ１１Ｙ）、ホワイトボード等の被写体の一部分を撮影していると判断し（Ｓ１２、被写体特定ステップ）、その撮影及びその被写体に適した画像処理を行う（Ｓ１３、画像処理ステップ）。
カメラ本体７７が下向きであると判断した場合（Ｓ１１Ｎ）、机上に置かれた書画等の一部分を撮影していると判断し（Ｓ１４、被写体特定ステップ）、その撮影及びその被写体に適した画像処理を行う（Ｓ１５、画像処理ステップ）。
【００６３】
また、被写体の一部分を撮影していると判断した場合（Ｓ１２、Ｓ１４）は、上述したように、撮影範囲内の四辺形を基準にした煽り補正処理ができない。
そこで、本実施の形態では、被写体の一部分を撮影していると判断した場合（Ｓ１２、Ｓ１４）は、以下に示す一連の処理を行なう。
以下、被写体が被設置面に置かれた書画である場合を例にして、図９を参照しながら説明する。なお、レンズに歪曲収差がないものとする。
【００６４】
まず、カメラ本体７７による撮影範囲の算出を行う。
水平方向の画角θ６、垂直方向の画角θ７のカメラ本体７７が、被設置面からカメラ本体７７中心までの高さ距離情報Ｌ（式（３）で求まる）で、撮影方向が水平から（９０−θ１０−θ7／２）°下向きの状態で書画を撮影しているものとする。なお、θ１０は、カメラ本体７７のレンズ中心からその真下Ｐ１を結ぶ線分と、カメラ本体７７のレンズ中心から撮影範囲の垂直方向の下限位置Ｐ２とを結ぶ線分とがなす角度である。このθ１０は、第１の加速度センサＳ１の出力値から求めた傾斜角度θ８、既知である垂直方向の画角θ７を用いると、
【００６５】
【数４】
【００６６】
となる。図９において、それぞれの長さは以下の通りになる。
【００６７】
【数５】
【００６８】
【数６】
【００６９】
【数７】
【００７０】
【数８】
【００７１】
【数９】
【００７２】
【数１０】
【００７３】
【数１１】
【００７４】
【数１２】
【００７５】
【数１３】
【００７６】
となる。したがって、カメラ本体７７の高さの変化を含んだ任意の位置におけるカメラ本体７７の撮影範囲は、以下の式で求められる。
【００７７】
【数１４】
【００７８】
【数１５】
【００７９】
奥行きは上述した式（１１）となる。これらの範囲が撮影範囲となる。当然のことながら、Ｐ３―Ｐ６間とＰ５―Ｐ７間とでは、カメラ本体７７から距離の遠いＰ５―Ｐ７間の方が、撮影範囲が広い。
この撮影範囲に対し、横方向にＸピクセル、縦方向にＹピクセルの出力画像として表現されるとすると、出力画像の任意のピクセルの座標（Ｘ１、Ｙ１）は、式（１６）と式（１７）を用いることで、Ｐ２の点を原点とした撮影範囲上での位置に換算できる。横方向の位置は式（１６）で算出し、縦方向の位置は式（１７）で算出する。
【００８０】
【数１６】
【００８１】
【数１７】
【００８２】
この式（１６）と式（１７）を用いて、出力画像の全てのピクセルを撮影範囲上での位置に対応させ、横方向がＰ３―Ｐ６間、縦方向がＰ２―Ｐ４間の範囲で、縦・横の各ピクセル間の幅が等しくなる座標に配置する画像処理（煽り補正処理）を行う。これにより、撮影した画像が、被写体を正面から見た状態に近い画像となる。
【００８３】
このようにして処理された画像は、相手方の会議装置に送られ、その相手方の会議装置に接続されたプロジェクター等を通じて、文字や図形等が見やすい形で表示される。
【００８４】
このように、本実施の形態にかかる会議装置は、ＣＰＵ３４が所定の画像処理制御プログラムに基づいて、被設置面からカメラ本体７７中心までの高さ距離情報Ｌを算出し、カメラ本体７７の傾きと、画角（水平方向の画角θ６、垂直方向の画角θ７）と、被設置面からカメラ本体７７中心までの高さ距離情報Ｌとから、カメラの撮影範囲を算出する。そして、高さ距離情報Ｌとカメラ本体７７の傾きから被写体の種類を特定し、その特定した被写体に適した画像処理と色調補正処理を行う。
【００８５】
したがって本実施の形態にかかる会議装置は、カメラ本体７７の高さの変化を含んだ任意の位置におけるカメラ本体７７の撮影範囲（カメラで撮影される光景の範囲）に対する画像処理ができる。
特に、被写体を特定し、その特定した被写体に応じて、歪曲収差補正処理や煽り補正処理の補正量を可変制御するから、遠近感の強調を抑えつつ、不自然さを感じさせない画像や、被写体を正面から見るような画像等を出力できる。
【００８６】
以上、本実施の形態にかかる会議装置を説明したが、上述した実施の形態は、本発明の好適な実施の形態の一例を示すものであり、本発明はそれに限定されるものではない。
例えば、本実施の形態では、カメラ本体７７の傾きと、被設置面からカメラ本体７７中心までの高さ距離情報Ｌ等に基づいて、歪曲収差補正処理と煽り補正を行なったが、マクロ撮影モードやデジタルズーム機能、デジタルパンチルトズーム機能、オートフォーカス機能を設けて、被写体に応じて、適宜、切り替え可能に構成しても良い。
【００８７】
特に被写体が被設置面に置かれた書画で、デジタルパンチルトズーム機能及びオートフォーカス機能を用いる場合、デジタルズーム領域までの距離を、カメラ本体７７の傾き及び被設置面からの高さを用いて算出し、デジタルズームした領域までの最適な距離にフォーカスを調節しても良い。
【００８８】
また、本実施の形態では、カメラハウジング７５の内部に設けた第１の加速度センサＳ１と、アーム７４の内部に設けた第２の加速度センサＳ２とを備えて傾き検出部Ｓを構成したが、特にこれに限定されない。例えば、ポテンショメータやロータリーエンコーダ等の回転角度を検出可能なセンサを、ヒンジ７３や支軸７６、またはそれらの近くに設けて、カメラ本体７７とアーム７４の傾きを検出させても良い。
【００８９】
また、本実施の形態では、高さ算出、被写体特定、画像処理を、画像処理制御プログラムで実現させたソフトウェアベースのものを例示したが、これらをハードウェアベースで構成しても良い。また、上述した画像処理制御プログラムが記録された記録媒体でも良い。
【符号の説明】
【００９０】
１ 会議装置
２ 筐体
３ 制御部
７１ アーム部
７５ カメラハウジング
７７ カメラ本体
７８ 照明部
Ｓ 傾き検出部
Ｓ１ 第１の加速度センサ
Ｓ２ 第２の加速度センサ
【先行技術文献】
【特許文献】
【００９１】
【特許文献１】特開平８−１６８０２９号公報
【特許文献２】特許第３１０９５８０号公報
【特許請求の範囲】
【請求項１】
被写体を撮影するカメラ本体と、
被設置面に設置される支持ベースと、
前記カメラ本体をチルト可能に支持させると共に、前記支持ベースに上下方向へ揺動可能に支持されたアーム部と、
該アーム部と前記カメラ本体の傾きを検出して、傾き情報として出力する傾き検出部とを備えた画像入力装置であって、
前記傾き検出部が検出した、前記アーム部と前記カメラ本体の傾き情報と当該装置の寸法情報とに基づいて、前記被設置面から前記カメラ本体までの高さ距離情報を算出し、その算出した高さ距離情報と前記傾き情報とに基づいて前記被写体を特定し、その特定した被写体に適した画像処理を実行するように制御されることを特徴とする画像入力装置。
【請求項２】
前記画像処理は、煽り補正処理を含み、前記制御部は、前記被写体に応じて、前記煽り補正処理の補正量を可変制御することを特徴とする請求項１に記載の画像入力装置。
【請求項３】
前記画像処理は、前記被写体の四辺形認識処理を含み、前記制御部は、前記被写体が四辺形であると認識した場合、前記四辺形を長方形状に補正させる煽り補正を実行することを特徴とする請求項１に記載の画像入力装置。
【請求項４】
前記画像処理は、歪曲収差補正処理を含み、前記制御部は、前記被写体に応じて、その補正量を可変制御することを特徴とする請求項１乃至３の何れか１項に記載の画像入力装置。
【請求項５】
前記画像処理は、色調補正処理を含み、前記制御部は、前記被写体に応じて、その補正量を可変制御することを特徴とする請求項１乃至４の何れか１項に記載の画像入力装置。
【請求項６】
前記被写体を照らす照明部を備えたことを特徴とする請求項１乃至５の何れか１項に記載の画像入力装置。
【請求項７】
前記傾き検出部は、加速度センサを備えていることを特徴とする請求項１乃至６の何れか１項に記載に画像入力装置。
【請求項８】
請求項１乃至７の何れか１項に記載の画像入力装置を備え、通信網を介して音声及び画像の双方向通信を実行可能に構成されると共に、前記カメラ本体で撮影し、前記傾き検出部が検出した、前記アーム部と前記カメラ本体の傾き情報と当該装置の寸法情報とに基づいて、前記被設置面から前記カメラ本体までの高さ距離情報を算出し、その算出した高さ距離情報と前記傾き情報とに基づいて前記被写体を特定し、その特定した被写体に適した画像処理を施した画像を、前記通信網を介して出力されることを制御する制御部を更に備えることを特徴する会議装置。
【請求項９】
被写体を撮影するカメラ本体と、被設置面に設置される支持ベースと、前記カメラ本体をチルト可能に支持させると共に、前記支持ベースに上下方向へ揺動可能に支持されたアーム部と、該アーム部と前記カメラ本体の傾きを検出して、傾き情報として出力する傾き検出部とを備えた画像入力装置を制御する画像処理制御プログラムであって、
前記傾き検出部が検出した、前記アーム部と前記カメラ本体の傾き情報と当該装置の寸法情報とに基づいて、前記被設置面から前記カメラ本体までの高さ距離情報を算出する高さ算出ステップと、
該高さ算出ステップが算出した前記高さ距離情報と前記傾き情報とに基づいて前記被写体の種類を特定する被写体特定ステップと、
該被写体特定ステップにより特定された前記被写体に適した画像処理を実行する画像処理ステップと
をコンピュータに実行させることを特徴とする画像処理制御プログラム。
【請求項１０】
請求項９に記載の画像処理制御プログラムが記録されたことを特徴とする記録媒体。
【請求項１】
被写体を撮影するカメラ本体と、
被設置面に設置される支持ベースと、
前記カメラ本体をチルト可能に支持させると共に、前記支持ベースに上下方向へ揺動可能に支持されたアーム部と、
該アーム部と前記カメラ本体の傾きを検出して、傾き情報として出力する傾き検出部とを備えた画像入力装置であって、
前記傾き検出部が検出した、前記アーム部と前記カメラ本体の傾き情報と当該装置の寸法情報とに基づいて、前記被設置面から前記カメラ本体までの高さ距離情報を算出し、その算出した高さ距離情報と前記傾き情報とに基づいて前記被写体を特定し、その特定した被写体に適した画像処理を実行するように制御されることを特徴とする画像入力装置。
【請求項２】
前記画像処理は、煽り補正処理を含み、前記制御部は、前記被写体に応じて、前記煽り補正処理の補正量を可変制御することを特徴とする請求項１に記載の画像入力装置。
【請求項３】
前記画像処理は、前記被写体の四辺形認識処理を含み、前記制御部は、前記被写体が四辺形であると認識した場合、前記四辺形を長方形状に補正させる煽り補正を実行することを特徴とする請求項１に記載の画像入力装置。
【請求項４】
前記画像処理は、歪曲収差補正処理を含み、前記制御部は、前記被写体に応じて、その補正量を可変制御することを特徴とする請求項１乃至３の何れか１項に記載の画像入力装置。
【請求項５】
前記画像処理は、色調補正処理を含み、前記制御部は、前記被写体に応じて、その補正量を可変制御することを特徴とする請求項１乃至４の何れか１項に記載の画像入力装置。
【請求項６】
前記被写体を照らす照明部を備えたことを特徴とする請求項１乃至５の何れか１項に記載の画像入力装置。
【請求項７】
前記傾き検出部は、加速度センサを備えていることを特徴とする請求項１乃至６の何れか１項に記載に画像入力装置。
【請求項８】
請求項１乃至７の何れか１項に記載の画像入力装置を備え、通信網を介して音声及び画像の双方向通信を実行可能に構成されると共に、前記カメラ本体で撮影し、前記傾き検出部が検出した、前記アーム部と前記カメラ本体の傾き情報と当該装置の寸法情報とに基づいて、前記被設置面から前記カメラ本体までの高さ距離情報を算出し、その算出した高さ距離情報と前記傾き情報とに基づいて前記被写体を特定し、その特定した被写体に適した画像処理を施した画像を、前記通信網を介して出力されることを制御する制御部を更に備えることを特徴する会議装置。
【請求項９】
被写体を撮影するカメラ本体と、被設置面に設置される支持ベースと、前記カメラ本体をチルト可能に支持させると共に、前記支持ベースに上下方向へ揺動可能に支持されたアーム部と、該アーム部と前記カメラ本体の傾きを検出して、傾き情報として出力する傾き検出部とを備えた画像入力装置を制御する画像処理制御プログラムであって、
前記傾き検出部が検出した、前記アーム部と前記カメラ本体の傾き情報と当該装置の寸法情報とに基づいて、前記被設置面から前記カメラ本体までの高さ距離情報を算出する高さ算出ステップと、
該高さ算出ステップが算出した前記高さ距離情報と前記傾き情報とに基づいて前記被写体の種類を特定する被写体特定ステップと、
該被写体特定ステップにより特定された前記被写体に適した画像処理を実行する画像処理ステップと
をコンピュータに実行させることを特徴とする画像処理制御プログラム。
【請求項１０】
請求項９に記載の画像処理制御プログラムが記録されたことを特徴とする記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１３−９３０４（Ｐ２０１３−９３０４Ａ）
【公開日】平成２５年１月１０日（２０１３．１．１０）
【国際特許分類】
【出願番号】特願２０１２−６４９８４（Ｐ２０１２−６４９８４）
【出願日】平成２４年３月２２日（２０１２．３．２２）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２５年１月１０日（２０１３．１．１０）
【国際特許分類】
【出願日】平成２４年３月２２日（２０１２．３．２２）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]