コミュニケーション装置、コミュニケーション方法、及びプログラム
【課題】映像中の対話相手との距離を任意に制御し、人間の視覚特性を考慮して、２次元ディスプレイ上の対話相手のサイズを、表現したい距離に応じて変換可能とする。
【解決手段】画像取得部１−ａは、対話相手の２次元映像を撮影する。距離測定部１−ｂは、カメラから対話相手までの距離を測定する。３次元画像生成部１−ｃは、ユーザＢの２次元画像、並びに、ディスプレイ面とユーザＢの距離Ｚに基づいて、ユーザＢの２次元画像を、ユーザＢの３次元画像情報に変換する。視点位置検出部１−ｄは、ディスプレイ位置に対するユーザＡの視点位置を取得する。視点位置画像生成部１−ｅは、ユーザＡの視点位置と、ユーザＢの３次元画像情報とから、ユーザＡのディスプレイ面に表示する映像を生成する。映像表示部１−ｆは、生成された表示画像を表示する。
【解決手段】画像取得部１−ａは、対話相手の２次元映像を撮影する。距離測定部１−ｂは、カメラから対話相手までの距離を測定する。３次元画像生成部１−ｃは、ユーザＢの２次元画像、並びに、ディスプレイ面とユーザＢの距離Ｚに基づいて、ユーザＢの２次元画像を、ユーザＢの３次元画像情報に変換する。視点位置検出部１−ｄは、ディスプレイ位置に対するユーザＡの視点位置を取得する。視点位置画像生成部１−ｅは、ユーザＡの視点位置と、ユーザＢの３次元画像情報とから、ユーザＡのディスプレイ面に表示する映像を生成する。映像表示部１−ｆは、生成された表示画像を表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に対話相手の距離感を制御する技術に係り、テレビ電話や、ビデオチャットなど映像を用いた遠隔地間のコミュニケーションを、よりリアルに実現するコミュニケーション装置、コミュニケーション方法、及びプログラムに関する。
【背景技術】
【０００２】
映像コミュニケーションにおいて、対話相手とあたかも対面しているかのような感覚をユーザに提示するためには、ユーザに対して対話相手の映像をどのように提示するかが重要である。その際、特に、対人間の距離をユーザに正しく認識させることは重要である。なぜなら、古くから対面会話において、対人間の距離感は、話しやすさや、緊張感に影響を与えることが確認されているからである。
【０００３】
そこで、従来技術では、あたかも実物大の対話相手が目の前にいるように感じさせるために、対話相手の人物を２次元ディスプレイ上に実物大に表示する技術（例えば、特許文献１参照）や、所望のサイズに映す方式が考えられている（例えば、特許文献２参照）。２次元ディスプレイ上の人物サイズと、ユーザが感じる対話相手との距離感には相関があると考えられるが、通常の２次元ディスプレイに表示される映像は奥行き手がかりが欠如するため、距離感を感じにくく、個人差も大きい。
【０００４】
これに対して、２次元ディスプレイ上に表示される対話相手の映像に運動視差を与えることで、ユーザに奥行き手がかりを与え、より高精度に距離を感じさせることが提案されている（例えば、非特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−２００９２９号公報
【特許文献２】特許第３５８６１２６号公報
【非特許文献】
【０００６】
【非特許文献１】石井亮，能登肇，高田英明，鈴木英夫：“映像コミュニケーションにおける運動視差を利用した奥行き表現手法の提案”，MVE2009-36，pp.11-16，(2009)
【発明の概要】
【発明が解決しようとする課題】
【０００７】
対面会話において、相手との距離感は、話しやすさや、緊張感に影響を与え重要である。しかしながら、２次元ディスプレイに映された従来の映像では、奥行き情報が欠落するため、映像中の対話相手と自身の位置関係を把握することは難しく、対話相手との距離の表現ができなかった。すなわち、ユーザが感じる映像中の対話相手との距離を任意に制御することができなかった。このため、対面会話と同様に、互いの実距離に合わせて互いに同じ対人距離を感じさせることができないという問題があった。
【０００８】
また、上述した理由により、相手の映像中に映っている物を指差ししたときに、相手は、その指差しを観察して、何を指しているのか（指示対象が何かを）正しく理解することができないという問題があった。これは、互いの距離感が整合されていないために、どこから（自分に対してどの位置から）指差しがされているか把握できないことによって生じる対話相手の現実の指示動作とのズレが原因である。したがって、映像中の対話相手との距離感を正しく表現することが可能であれば、互いの指示動作における指示対象の認識が正しく行えると考えられる。
【０００９】
さらに、対話相手との対人距離を適度に調節することができなかったため、ユーザが対話相手と望ましい（好みの）距離感で会話することができないという問題があった。
【００１０】
また、対話相手の映像に運動視差を与える従来技術においても、運動視差量と、ユーザが感じる対話相手との距離感とには、相関があると考えられるが、その関係は明確にされておらず、さらに所望の距離感を表現する手段は、これまで無かった。
【００１１】
本発明は、このような事情を考慮してなされたものであり、その目的は、映像中の対話相手との距離を任意に制御でき、人間の視覚特性を考慮して、２次元ディスプレイ上の対話相手のサイズを、表現したい距離、及び運動視差に応じて変換することができるコミュニケーション装置、コミュニケーション方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【００１２】
上述した課題を解決するために、本発明は、２点間で互いの映像を含む情報を双方向で通信するコミュニケーション装置であって、対話相手とその背景とを含む２次元画像を撮影する画像取得手段と、前記対話相手と前記画像取得手段との距離を測定する距離測定手段と、前記画像取得手段により撮影された前記２次元画像と、前記距離測定手段により測定された前記対話相手と前記画像取得手段との距離とに基づいて、当該装置側のユーザと前記対話相手の画像との距離を幾何学計算によって算出される距離より大きく、かつ、当該装置側のユーザが感じる知覚距離が大きくなるほど、その大きさの差が大きくなるように、前記対話相手とその背景とからなる多層画像に分割した３次元画像を生成する３次元画像生成手段と、当該装置側のユーザの視点位置を検出する視点位置検出手段と、前記視点位置検出手段により検出された、当該装置側のユーザの視点位置と、前記３次元画像生成手段により生成された、前記対話相手とその背景とからなる多層画像に分割した３次元画像とに基づいて、前記対話相手側の２次元画像を生成する視点位置画像生成手段と、前記視点位置画像生成手段により生成された前記対話相手側の２次元画像を表示する表示手段とを備えることを特徴とするコミュニケーション装置である。
【００１３】
本発明は、上記の発明において、前記３次元画像生成手段は、当該装置側のユーザと前記対話相手の画像との距離をＳ＝ｆ（Ｄ，α）としたとき、２次方程式Ｓ＝α＊（ａｘ２＋ｂｘ＋ｃ）（但し、０＜αかつａ，ｂ，ｃは、次式（１）を満たす全ての実数）、もしくは１次方程式Ｓ＝α＊（ａｘ＋ｂ）（但し、数式（２）を満たす全ての実数）、もしくは指数関数を用いた式Ｓ＝α＊（ａＤ＋ｂ）＋ｃ（但し、数式（３）であるとき）に従って、当該装置側のユーザと前記対話相手の画像との距離を算出することを特徴とする。
【００１４】
【数１】
【００１５】
【数２】
【００１６】
【数３】
【００１７】
本発明は、上記の発明において、前記３次元画像生成手段は、前記知覚距離として、前記距離測定手段により測定された、前記対話相手と前記画像取得手段との距離を用いる、ことを特徴とする。
【００１８】
本発明は、上記の発明において、自装置側のユーザとの映像を撮影する第２の画像取得手段と、自装置側のユーザと前記第２の画像取得手段との距離を測定する第２の距離測定手段と、自装置側のユーザと前記表示手段により表示される対話相手との距離を選択するための距離選択手段とを更に備え、前記３次元画像生成手段は、前記知覚距離として、前記距離選択手段により選択された距離から、前記第２の距離測定手段により測定された、前記自装置側のユーザと該ユーザの映像を撮影する前記第２の画像取得手段との距離を減算した値を用いる、ことを特徴とする。
【００１９】
また、上述した課題を解決するために、本発明は、２点間で互いの映像を含む情報を双方向で通信するコミュニケーション方法であって、対話相手とその背景とを含む２次元画像をカメラで撮影する画像取得ステップと、前記対話相手と前記カメラとの距離を測定する距離測定ステップと、前記画像取得ステップで撮影された前記２次元画像と、前記距離測定ステップで測定された前記対話相手と前記カメラとの距離とに基づいて、当該装置側のユーザと前記対話相手の画像との距離を幾何学計算によって算出される距離より大きく、かつ、当該装置側のユーザが感じる知覚距離が大きくなるほど、その大きさの差が大きくなるように、前記対話相手とその背景とからなる多層画像に分割した３次元画像を生成する３次元画像生成ステップと、当該装置側のユーザの視点位置を検出する視点位置検出ステップと、前記視点位置検出ステップで検出された、当該装置側のユーザの視点位置と、前記３次元画像生成ステップで生成された、前記対話相手とその背景とからなる多層画像に分割した３次元画像とに基づいて、前記対話相手側の２次元画像を生成する視点位置画像生成ステップと、前記視点位置画像生成ステップで生成された前記対話相手側の２次元画像を表示する表示ステップとを含むことを特徴とするコミュニケーション方法である。
【００２０】
本発明は、上記の発明において、前記３次元画像生成ステップは、当該装置側のユーザと前記対話相手の画像との距離をＳ＝ｆ（Ｄ，α）としたとき、２次方程式Ｓ＝α＊（ａｘ２＋ｂｘ＋ｃ）（但し、０＜αかつａ，ｂ，ｃは、次式（４）を満たす全ての実数）、もしくは１次方程式Ｓ＝α＊（ａｘ＋ｂ）（但し、数式（５）を満たす全ての実数）、もしくは指数関数を用いた式Ｓ＝α＊（ａＤ＋ｂ）＋ｃ（但し、数式（６）であるとき）に従って、当該装置側のユーザと前記対話相手の画像との距離を算出することを特徴とする。
【００２１】
【数４】
【００２２】
【数５】
【００２３】
【数６】
【００２４】
本発明は、上記の発明において、前記３次元画像生成ステップは、前記知覚距離として、前記距離測定ステップで測定された、前記対話相手と前記カメラとの距離を用いる、ことを特徴とする。
【００２５】
本発明は、上記の発明において、自装置側のユーザと該ユーザの映像を撮影するカメラとの距離を測定する第２の距離測定ステップと、自装置側のユーザと前記表示ステップで表示される対話相手との距離を選択するための距離選択ステップとを更に備え、前記３次元画像生成ステップは、前記知覚距離として、前記距離選択ステップで選択された距離から、前記第２の距離測定ステップで測定された、前記自装置側のユーザと該ユーザを撮影する前記カメラとの距離を減算した値を用いる、ことを特徴とする。
【００２６】
また、上述した課題を解決するために、本発明は、２点間で互いの映像を含む情報を双方向で通信するコミュニケーション装置のコンピュータに、対話相手とその背景とを含む２次元画像をカメラで撮影する画像取得機能、前記対話相手と前記カメラとの距離を測定する距離測定機能、前記画像取得機能で撮影された前記２次元画像と、前記距離測定機能で測定された前記対話相手と前記カメラとの距離とに基づいて、当該装置側のユーザと前記対話相手の画像との距離を幾何学計算によって算出される距離より大きく、かつ、当該装置側のユーザが感じる知覚距離が大きくなるほど、その大きさの差が大きくなるように、前記対話相手とその背景とからなる多層画像に分割した３次元画像を生成する３次元画像生成機能、当該装置側のユーザの視点位置を検出する視点位置検出機能、前記視点位置検出機能で検出された、当該装置側のユーザの視点位置と、前記３次元画像生成機能で生成された、前記対話相手とその背景とからなる多層画像に分割した３次元画像とに基づいて、前記対話相手側の２次元画像を生成する視点位置画像生成機能、前記視点位置画像生成機能で生成された前記対話相手側の２次元画像を表示する表示機能を実行させることを特徴とする。
【発明の効果】
【００２７】
この発明によれば、映像中の対話相手との距離を任意に制御でき、人間の視覚特性を考慮して、２次元ディスプレイ上の対話相手のサイズを、表現したい距離、及び運動視差に応じて変換することができる。
【図面の簡単な説明】
【００２８】
【図１】本発明による映像表示のイメージを示す概念図である。
【図２】本第１実施形態によるコミュニケーション装置の構成を示すブロック図である。
【図３】本第１実施形態による３次元画像生成部１−ｃにおける処理を説明するためのフローチャートである。
【図４】本第１実施形態において、各レイヤの画像の大きさ情報の算出方法を説明するための概念図である。
【図５】本第１実施形態において、ディスプレイ上の人物のサイズと知覚される距離の関係を説明するための概念図である。
【図６】実際の知覚距離に対してそれらの回答データをプロットした例を示す図である。
【図７】実際に、生成される「奥行き情報を持つユーザＢの３次元画像情報」の例を示す概念図である。
【図８】本第１実施形態による視点位置画像生成部１−ｅの動作を説明するためのフローチャートである。
【図９】本第１実施形態による視点位置画像生成部１−ｅの動作を説明するための概念図である。
【図１０】本発明の第３実施形態によるコミュニケーション装置の構成を示すブロック図である。
【発明を実施するための形態】
【００２９】
以下、本発明の一実施形態を、図面を参照して説明する。
【００３０】
本発明は、２地点での映像コミュニケーションにおいて、ディスプレイを１枚の窓に見立てて、ユーザがあたかも対話相手の空間を窓越しに互いが覗いているかのように、ユーザの視点位置に応じて、その位置から見える対話相手の空間の映像をディスプレイに表示すること（運動視差）を実現し、映像中の対話相手の奥行き位置の表現を行う映像表現において（非特許文献１）、２次元ディスプレイ上の人物の大きさ、及び運動視差量を制御を行うことにより、ユーザと対話相手の距離感を所望の大きさに表現することを特徴としている。
【００３１】
図１は、本発明による映像表示のイメージを示す概念図である。図１において、ユーザ１が視点を変えると（３軸移動に対応）、映像中の対話相手２の奥行き位置（対話相手２とその背景の壁３）を、その視点の変化に応じて２次元ディスプレイ４上に表示することで、対話相手２の見え方があたかも現実のように再現される。
【００３２】
すなわち、ユーザＡが位置Ｐ１にて２次元ディスプレイ４に対峙する場合には、対話相手（ユーザＢ）を正面から見ているように表示し、ユーザＡが左側の位置Ｐ２から見ている場合には、対話相手Ｂ、及びその背景にある壁３との位置関係（奥行き）を反映し、対話相手Ｂを左側から見ているように表示し、ユーザＡが右側の位置Ｐ３から見ている場合には、対話相手Ｂ、及びその背景にある壁３との位置関係（奥行き）を反映し、対話相手Ｂを右側から見ているように表示する。
【００３３】
本発明の技術は、２次元ディスプレイ上の人物の大きさ、及び運動視差量を制御し、ユーザと対話相手の距離感を所望の大きさに表現する技術であり、以下のような技術ｉ）〜ｉｉｉ）からなる。
【００３４】
ｉ）対話相手の位置を表示装置（ディスプレイなど）に対して任意の距離に表現する人物サイズ制御技術。
ｉｉ）対話相手の位置を検出し、検出される位置に合わせて距離を表現する機能。
ｉｉｉ）常にユーザと対話相手の距離を任意の距離に一定に保つ機能。
それぞれについて、以下に順に説明する。
【００３５】
Ａ．第１実施形態
まず、本発明の第１実施形態について説明する。
本第１実施形態では、上述した、ｉ）対話相手の位置をディスプレイに対して任意の距離に表現する人物サイズ制御技術を実現する。
【００３６】
図２は、本第１実施形態によるコミュニケーション装置の構成を示すブロック図である。図１において、コミュニケーション装置は、画像取得部１−ａ、距離測定部１−ｂ、３次元情報生成部１−ｃ、視点位置取得部（ユーザＡ）１−ｄ、視点位置画像生成部（ユーザＡ）１−ｅ、映像表示部１−ｆから構成されている。
【００３７】
図２には、ユーザＡ、Ｂ間で通信することを想定して、ユーザＡ側のコミュニケーション装置の構成を示しており、映像表示部１−ｆには、ユーザＢの映像が表示される。すなわち、本第１実施形態によるコミュニケーション手法は、図２に示す構成を２セット用意することにより、双方向で使用する。なお、以下の説明で「ディスプレイ」と表記されるものは、対話相手側（ユーザＢ）の映像表示部１−ｆを指すものである。
【００３８】
本説明では、ユーザＡが映像中のユーザＢを観察して距離Ｄｉに感じるように、映像表示部１−ｆに、ユーザＢを実物大に対して、どの程度の大きさで表示し、ユーザにどれくらいの運動視差を与えるべきかを決定する。実際には、ディスプレイから人物レイヤまでの距離Ｓｉを決定することで、大きさ、運動視差量が決まるため、この距離Ｓｉを制御する。最後に、映像表示部１−ｆに処理後の映像を表示するということを前提として説明する。
【００３９】
まず、画像取得部１−ａは、撮影装置（カメラ）を用いて、ユーザＢの２次元映像（画像）を撮影する。カメラは、ユーザＡがユーザＢと視線を合わせるために、ユーザＢの映像表示部１−ｅ上に表示されるユーザＡの目位置（目位置とは、両目の目頭を結ぶ線分の中点の位置）に光学的、または、仮想的にカメラのレンズ中心がくるように配置する。
【００４０】
例えば、ユーザＢ側のディスプレイとユーザＢとの間にハーフミラーを、ディスプレイの平面の法線とハーフミラーの法線とのなす角度が４５度となるように設置し、カメラを該ハーフミラーの上方または下方に、ハーフミラーからディスプレイまでの距離だけ離して設置することにより、ハーフミラーを介してカメラ撮像する手法を用いることも考えられる。
【００４１】
また、ユーザＢ側のディスプレイを隠さないように、ユーザＢのディスプレイの周囲に複数のカメラを配置し、ＦＴＶ（Free-Viewpoint Television）技術によって、該周囲の複数のカメラ画像から、ユーザＢのディスプレイ上に表示されるユーザＡの視点位置にある仮想視点の映像を生成する手法を用いることも考えられる。
【００４２】
その他、視線一致を実現するために、カメラ位置は、できるだけ、ユーザＢ側のディスプレイに表示されたユーザＡの目位置にレンズ中心が来るように配置する。
【００４３】
以後、ユーザＢのディスプレイの中心にカメラレンズの中心がくるようにカメラが設置されており、カメラの撮像面がディスプレイの画面にあると仮定して説明する。
【００４４】
距離測定部１−ｂは、カメラからユーザＢまでの距離を測定する。具体的な距離測定手法として、以下の方法が考えられる。
ａ）複数のカメラを用いた顔認識、及びステレオマッチングを用いた画像処理技術。
ｂ）光学式または磁気式のモーショントラッキング技術。
【００４５】
また、映像コミュニケーションにおいて人物がカメラ映像の中央にいることを前提条件とし、
ｃ）カメラのオートフォーカス機能によるフォーカス距離情報取得（特許文献２）、
を用いる。これらの技術を用いて、距離測定部１−ｂは、ディスプレイ面とユーザＢ間の距離Ｚを取得する。このとき、ディスプレイ面とユーザＢ間の距離Ｚは、ディスプレイ面からユーザＢへの法線の長さである。距離を取得できる手法は、上記の手法だけに限らず、他の手法であってもよい。
【００４６】
次に、３次元画像生成部（ユーザＢ）１−ｃは、画像取得部（カメラ）１−ａによって撮影された、ユーザＢの２次元画像、並びに、距離測定部１−ｂによって取得された、ディスプレイ面とユーザＢの距離Ｚに基づいて、ユーザＢの２次元画像を、奥行き情報を持つユーザＢの３次元画像情報に変換して出力する。
【００４７】
本第１実施形態の特徴として、１対１の映像コミュニケーションにおいては、ディスプレイの正面から大きくユーザが動かないという前提条件の下、完全な３次元形状をもつ奥行き映像を生成するのではなく、入力された「ユーザＢの２次元画像」を、人物領域と背景領域とに分割し、書割のように平面レイヤのまま奥行き情報を付与し多層化する。
【００４８】
図３は、本第１実施形態による３次元画像生成部１−ｃにおける処理を説明するためのフローチャートである。説明を簡単にするため、もっとも単純な構成である２層化の手法について具体的に述べる。まず、画像取得部１−ａによって撮影された「ユーザＢの２次元画像」と、距離情報取得部１−ｂから供給される、「ディスプレイ面とユーザＢの距離」を入力する（ステップＳ１）。
【００４９】
次に、「ディスプレイ面とユーザＢの距離」に基づいて、「ユーザＢの２次元画像」を、人物領域とその背景領域とに分割する（ステップＳ２）。２層化する際、前のレイヤが人物領域、後ろのレイヤが背景領域となる。人物領域と背景領域の分割には、ディスプレイが据え置きの映像コミュニケーションにおいては、背景が多くの場合で固定であるため背景差分を利用し、あらかじめ背景のみを撮影しておき、それをリファレンスとして差分を取得することで人物を抽出する。
【００５０】
また、距離画像センサを用いた距離情報や、温度画像センサによる人物の体温情報、顔認識を併用して領域分割の精度を向上することも考えられる。具体的な手法として、所定の範囲内に人物が存在し得る（例えば、ディスプレイが設置された部屋の場合には、ディスプレイから部屋の壁までの範囲内）場合には、ディスプレイの所定の位置を基準点とした人の存在範囲（該基準点から該部屋の壁までの範囲）を規定し、距離画像センサを用いて距離画像を取得し、人物が存在すると規定される範囲の距離を示す画素領域を該距離画像中の人物領域と判定する。
【００５１】
例えば、ディスプレイ面から、０〜３ｍまでの領域は、人物領域と判定し、３ｍ以上の領域は背景領域と判定する。また、温度画像センサの場合、同様に人物を示す温度範囲を規定して、同様な判定を行う。これらの複数センサから取得された複数の人物領域を候補として、各画素でボーティングして人物領域を最終的に判定する。具体的には、例えば、画像中のある画素で、各センサを用いた人物領域判定の論理積を取ることで、最終的な判定を行う。
【００５２】
顔認識の利用用途は、上記処理などを行った後に、人物領域と判定される領域の候補が複数存在し、その中に人物以外のものが混在していたときに、２次元画像中の領域毎に顔認識を行い、顔抽出された領域のみを人物領域と判定する。これにより、誤って人物領域と判定された領域を排除することが可能であり、より頑健な人物領域抽出が可能となる。
【００５３】
その他、画像中の領域分割には様々な手法が提案されており、それらも利用可能である。
【００５４】
なお、上記説明では、２層化についての方式を説明したが、さらに多層化する場合、距離や、温度の閾値を細かく設定し、距離画像や、温度画像の分割数を増やすことが考えられる。これにより、多層の書割レイヤを生成することが可能である。
【００５５】
次に、２層化されたうち、背景領域の画像を入力として、新たな背景画像を生成する（ステップＳ３）。単純に１枚の元画像から人物領域を抜いた（減算した）ままだと、背景画像中の人物領域にあたる部分の画像が欠けてしまう。このため、欠落している背景画像の領域（以後、欠落領域）を過去の背景画像から補完する。該補完した背景画像が新たな背景領域の画像となる。
【００５６】
その他、背景が大きく変化しないと仮定し、事前に撮影した背景画像を背景レイヤとして使用してもよい。または、プライバシ保護の観点から、背景部分を実際とは違う画像と差し替えてもよい。その他、背景画像に用いる画像に特に制約は無く、一般的に考えられるあらゆる画像が利用可能である。
【００５７】
なお、上記ステップＳ１〜Ｓ３において、３次元画像の生成において多層のレイヤ表現について述べたが、ＴＯＦカメラ（距離画像測定カメラ）の距離画像からテクスチャを生成し、３次元モデルで表現することも可能である。
【００５８】
次に、上記生成された、人物領域の画像、背景画像に実寸の大きさ情報を付与する（ステップＳ４）。まず、各レイヤの画像の大きさ情報の算出方法について以下に述べる。ここで、図４は、本第１実施形態において、各レイヤの画像の大きさ情報の算出方法を説明するための概念図である。このとき、人物レイヤαの画像の高さαｈ、幅αｗは、画像取得部１−ａ（カメラ）の画角（縦θｈ、横θｗ）、画像取得部１−ａから人物レイヤまでの距離Ｄ（画像取得部１−ａ（カメラ）とディスプレイ（ユーザＢ側の映像表示部）との位置関係を既知とし、「ディスプレイ面とユーザＢの距離」から算出）、カメラズーム率Ｚを用いて、次式（７）、（８）で算出される。
【００５９】
【数７】
【００６０】
【数８】
【００６１】
次に、ディスプレイからの距離情報と実寸情報とを併せて奥行き情報とし、人物領域の画像と背景画像とに該奥行き情報を付与し、それぞれレイヤ化する（ステップＳ５）。以後、これらのレイヤを「人物レイヤ」、「背景レイヤ」と呼ぶ。この３次元画像情報が、「奥行き情報を持つユーザＢの３次元画像情報」として生成される。この３次元情報が、後述する映像表示部１−ｆで表示される。
【００６２】
このとき、ここでの距離と実際にユーザＡが知覚する映像中のユーザＢまでの距離は一致しない。例えば、図５に示すように、人物レイヤをディプレイから距離Ｄｕとしたとしても、実際には、ユーザＡは、距離Ｄｕに比べてディスプレイに近い距離（距離の短い位置）にユーザＢがいるように感じる。そのため、人間の実際の知覚距離とディスプレイから人物レイヤまでの距離の関係を考慮して、ユーザＡがユーザＢと任意の距離を感じるように、ディスプレイから人物レイヤまでの距離を制御する。また、ここでいう、ディスプレイから人物レイヤまでの距離を制御することは、ユーザＡの視点位置に応じた運動視差の視差量とディスプレイ上のユーザＢの人物サイズとを制御することと同等である。例えば、ディスプレイから人物レイヤまでの距離を大きくすることは、視差量を大きくし、人物サイズを小さくすることになる。
【００６３】
ディスプレイから人物レイヤまでの距離（すなわち、視差量とディスプレイ上の人物サイズ）とユーザＡのユーザＢまでの知覚距離との関係は、被験者を用いた評価実験などからデータを収集し、それらを近似式で表すことができる。例えば、ディスプレイから人物レイヤまでの距離（すなわち、視差量とディスプレイ上の人物サイズ）を変化させて、被験者（ユーザＡに相当）に観察させ、被験者からユーザＢまでの距離感（知覚距離）を数値で回答させる。回答データは、数値で回答されるため、個人差が生じるため、それを補正する。
【００６４】
図６は、実際の知覚距離に対してそれらの回答データをプロットした例を示す図である。図６において、横軸は、ユーザＡの知覚距離Ｄ、縦軸は、ディスプレイから人物レイヤまでの距離Ｓである。図中の破線Ｌ１は、ディスプレイと人物レイヤの距離＝ユーザＡの知覚距離と仮定したときに描かれる線（すなわち、Ｓ＝Ｄ）、×印が回答された実データ、実線Ｌ２がその近似線である。
【００６５】
この近似式をＳ＝ｆ（Ｄ，α）（※αは、ユーザからディスプレイまでの距離や、ディスプレイサイズなどによって変化する値である。これらの要因によってもユーザが感じる距離感は変化する）で表す。Ｓ＝ｆ（Ｄ，α）は、２次方程式Ｓ＝α＊（ａｘ２＋ｂｘ＋ｃ）（但し、０＜αかつａ，ｂ，ｃは、次式（９）を満たす全ての実数）、もしくは１次方程式Ｓ＝α＊（ａｘ＋ｂ）（但し、数式（１０）を満たす全ての実数）、指数関数を用いた式Ｓ＝α＊（ａＤ＋ｂ）＋ｃ（但し、数式（１１）であるとき）などの形で表される。
【００６６】
【数９】
【００６７】
【数１０】
【００６８】
【数１１】
【００６９】
上記近似式を用いれば、ユーザに対して対話相手が任意の位置Ｄｉ（ディスプレイ位置を基準として）にいるように感じさせるためには、ディスプレイに人物をどの程度のサイズで表示すべきか、距離Ｓｉを決定することが可能である。すなわち、ディスプレイから人物レイヤまでの距離を、幾何学計算によって算出される距離（図６の点線）より大きく、かつ、知覚距離が大きくなるほどその大きさの差が大きくなるように決定すればよい。観測される実データから近似式Ｓ＝ｆ（Ｄ，α）を算出する方法は、一般的なあらゆる手法が適用可能であり、さらに式ｆ（Ｄ，α）の形や、次元に制約はない。
【００７０】
ここで算出されたＳｉを人物レイヤの奥行き情報とする。また、背景レイヤの奥行きは、任意の値（但し、人物レイヤより奥行き位置が遠いこと）を用いる。但し、ステップＳ３において、背景レイヤの距離情報が取得できていた場合、その距離を用いて値を決めることもできる。
【００７１】
図７は、実際に、生成される「奥行き情報を持つユーザＢの３次元画像情報」の例を示す概念図である。図７において、距離１．０ｍの位置に人物レイヤ、距離３．０ｍの位置に背景レイヤが配置されている。この奥行きに応じて配置された多層レイヤの情報は、各レイヤの２Ｄ画像データ、各レイヤ面とディスプレイ間の距離、各レイヤの縦・横サイズ（αｈ，αｗ）であり、これらの「奥行き情報を持つユーザＢの３次元画像情報」が出力される。「奥行き情報を持つユーザＢの３次元画像情報」は、各レイヤの２Ｄ画像データ＋Ｄ＋αｈ＋αｗである。
【００７２】
次に、視点位置検出部（ユーザＡ）１−ｄは、顔認識およびステレオマッチングを用いた画像処理技術や、光学式または磁気式のモーショントラッキング技術等を用いて、ユーザの視点（目）位置がどこにあるかのユーザの視点位置Ｖ（ｖｘ，ｖｙ，ｖｚ）を取得し、出力する。視点位置画像生成部（ユーザＡ）１−ｅは、ディスプレイ位置に対するユーザＡの視点位置と、奥行き情報を持つユーザＢの３次元画像情報とから、ユーザＡのディスプレイ面に表示する映像（「ユーザＡの視点位置に応じた２次元画像」）を生成する。
【００７３】
ここで、図８は、本第１実施形態による視点位置画像生成部１−ｅの動作を説明するためのフローチャートである。また、図９は、本第１実施形態による視点位置画像生成部１−ｅの動作を説明するための概念図である。「ユーザの視点位置に応じた２次元画像」は、図９に示すように「奥行き情報を持つユーザＢの３次元画像情報」を、「ディスプレイ位置に対するユーザＡの視点位置」を基点に、ユーザＡのディスプレイ面に透視投影などの射影変換を行うことで生成される（ステップＳ２０）。
【００７４】
まず、「ディスプレイ位置に対するユーザＡの視点位置」、「奥行き情報を持つユーザＢの３次元画像情報」、ユーザＡのディスプレイの座標系を統一する。このとき、座標系は実寸のサイズ情報を有する。ここで、ユーザＡのディスプレイサイズが必要となる。
【００７５】
次に、実際の透視変換の一例を示す。ディスプレイの中心を座標系の原点Ｏ（０，０，０）とし、座標ディスプレイ面の横方向にｘ軸、縦方向にｙ軸、ディスプレイ面の法線をｚ軸とし、ユーザ位置とは逆向きを正の方向とする。ユーザの視点位置をＶ（ｖｘ，ｖｙ，ｖｚ）（但し、ｖｚ＜０）としたとき、ディスプレイ面上の点Ｄ（ｘ，ｙ，ｚ）に投影されるべき、あるレイヤｉの点Ｈｉ（ｈｘ，ｈｙ，ｈｚ）は、次式（１２）により算出される。
【００７６】
【数１２】
【００７７】
なお、数式（１２）の変換行列式中の座標は、実寸の情報を有する座標系ということを前提としている。
【００７８】
この処理を、ディスプレイ面上の各画素において、「奥行き情報を持つユーザＢの３次元画像情報」の各画像レイヤに対して行う。また、その他、平行投影といった一般的な射影変換の手法も利用可能である。
【００７９】
このとき、人物レイヤ中でディスプレイ面上に投影するのは人物領域のみとする。また、複数のレイヤの点がディスプレイ面に投影される場合、最も前面のレイヤのみを投影して表示する。また、計算量を軽くするために、各画像レイヤの前面（ディスプレイに対して）から、ディスプレイに射影されるべき点を計算し、あるレイヤ中に射影される点がある場合、このレイヤより後ろのレイヤに対しては計算を行わない。
【００８０】
また、上述したように、最も前面のレイヤのみ投影することせずに、全レイヤを投影することとし、該当する点の透明度（α値）を任意に設定し、複数のレイヤを透かせて見えることで、背景情報など、実際には見えない背景情報も可視化することで、背景情報を伝達するようにすることも考えられる。
【００８１】
最後に、映像表示部１５は、映像生成部１−ｆは、生成された映像、すなわち、ユーザＡの視点位置に応じた、ユーザＢの２次元画像を表示する。
【００８２】
Ｂ．第２実施形態
次に、本発明の第２実施形態について説明する。
本第２実施形態では、上述した、ｉｉ）対話相手（ユーザＢ）の位置を検出し、検出される位置に合わせて距離を表現する機能を実現する。これは、２地点での映像コミュニケーションにおいて、互いのディスプレイを１枚の窓（ディスプレイを２つの空間の境界面）に見立てて、空間を窓越しに互いが覗いているかのように、互いの距離感を再現する技術である。
【００８３】
例えば、ユーザＢがユーザＢのディスプレイの前方２ｍの位置にいたとする。この場合、ユーザＡは、ユーザＡのディスプレイ上に映っているユーザＢを観察したとき、ユーザＢがユーザＡのディスプレイ後方２ｍの位置にいるように感じさせることを実現する。これを実現するためには、例えば、ディプレイの中心にカメラレンズがある場合には、視点位置検出部（ユーザＡ）１−ｄ内のパラメータであるＤｉ（ステップＳ５）に、距離測定部１−ｂで取得されるＺを代入（Ｄｉ＝Ｚ）すれば良い。
【００８４】
Ｃ．第３実施形態
次に、本発明の第３実施形態について説明する。
本第３実施形態では、上述した、ｉｉｉ）常にユーザとユーザＢの距離を任意の距離に一定に保つ機能を実現する。これは、２地点での映像コミュニケーションにおいて、ユーザＢとの距離感を一定に保つ技術である。例えば、ユーザＡがユーザＡのディプレイに対して前後に大きく動いたり、ユーザＢが大きく動いてしまった際にも、ユーザＡから映像中のユーザＢを観察したときに、常に同じ距離にユーザＢがいるように感じさせる技術である。
【００８５】
一定に保たれる距離の決定方法としては、ユーザＡが映像中のユーザＢに対する距離を決定することと、ユーザＢが決定すること、または、２人の望む距離の中間を利用することが考えられる。例えば、ユーザＢがユーザＡに怒っているとき、ユーザＡは、できるだけユーザＢを遠くにすることができ、また、ユーザＢは、より切迫感や、圧迫感を与えるためにユーザＢ自身の映像をユーザＡに近づけることができる。
【００８６】
また、両者がこのように相反することを望んだ場合、これらの中間地点を選択する。このとき、他にも時間的に距離をシステム側で切り替えるなど様々な方法が考えられる。また、距離の選択は、リモコンなどを用いてシステムにユーザ自身がそれぞれ入力を行う（後述する距離選択部（ユーザＡ）１−ｆ、距離選択部（ユーザＢ）１−ｇ）。
【００８７】
図１０は、本発明の第３実施形態によるコミュニケーション装置の構成を示すブロック図である。なお、図１に対応する部分には同一の符号を付けて説明を省略する。説明を簡易にするために、ディプレイの中心にカメラレンズがあったときを考える。上述した、ｉｉ）のシステム構成に加えて、図１０に示すように、距離測定部（ユーザＡ）１-ｂ’を追加する。また、ユーザＡが映像中のユーザＢに対する距離を決定するための距離選択部（ユーザＡ）１−ｆ、ユーザＢが映像中のユーザＡに対する距離を決定するための距離選択部（ユーザＢ）１−ｇを備えている。
【００８８】
前述した通り、本第３実施形態においても、図１０に示す構成を２セット用意し、双方向で使用する。距離測定部（ユーザＡ）１−ｂ’は、相手側（２セットある内の一方の側）の距離測定部１−ｂに相当し、カメラからユーザＡまでの距離ＤＡ（今回は、カメラ位置＝ディスプレイ位置）を測定する。また、相手側の距離測定部１−ｂで取得される、カメラからユーザＢまでの距離をＤＢとする。
【００８９】
このとき、３次元情報生成部１−ｃにおけるパラメータであるＤｉ（ステップＳ５）に、一定に保つユーザと対話相手との距離ＤＡＢから、ユーザＡとディプレイとの距離ＤＡを減算した値を代入すれば良い。すなわち、Ｄｉ＝ＤＡＢ−ＤＡとなる。ここで、カメラとディスプレイとの中心位置がずれていた場合には、カメラ座標系をディスプレイを中心とする座標系に変換して計算する必要がある。
【００９０】
上述した第１実施形態によれば、対面会話において、話しやすさや、緊張感に影響を与える重要な要素である、対話相手（ユーザＢ）との距離を任意に制御することができる。
【００９１】
また、上述した第２実施形態によれば、対面会話と同様に、互いの実距離に合わせて互いに同じ対人距離を感じさせることができる。さらに、互いが同じ距離を共有しているため、自然に対人距離を適度に調節することや、距離の遠近によってもたらせる緊張感が感じさせられる。また、相手の映像中に映っている物を指差ししたときに、相手は、その指差しを観察して、何を指しているのか（指示対象が何かを）正しく理解することができる。
【００９２】
また、上述した第３実施形態によれば、対話相手との対人距離を適度に調節することができる。すなわち、常にユーザが対話相手と望ましい（好みの）距離感に調節して会話することができる。さらに、対話相手が感じる自分自身の映像との距離感を制御することが可能であるため、対話相手に威圧感を与えたり、印象や、圧迫感を調整することができる。
【符号の説明】
【００９３】
１−ａ 画像取得部
１−ｂ、１−ｂ’ 距離測定部
１−ｃ ３次元情報生成部
１−ｄ 視点位置検出部
１−ｅ 視点位置画像生成部
１−ｆ 映像表示部
１−ｇ 距離選択部（ユーザＡ）
１−ｈ 距離選択部（ユーザＢ）
【技術分野】
【０００１】
本発明は、特に対話相手の距離感を制御する技術に係り、テレビ電話や、ビデオチャットなど映像を用いた遠隔地間のコミュニケーションを、よりリアルに実現するコミュニケーション装置、コミュニケーション方法、及びプログラムに関する。
【背景技術】
【０００２】
映像コミュニケーションにおいて、対話相手とあたかも対面しているかのような感覚をユーザに提示するためには、ユーザに対して対話相手の映像をどのように提示するかが重要である。その際、特に、対人間の距離をユーザに正しく認識させることは重要である。なぜなら、古くから対面会話において、対人間の距離感は、話しやすさや、緊張感に影響を与えることが確認されているからである。
【０００３】
そこで、従来技術では、あたかも実物大の対話相手が目の前にいるように感じさせるために、対話相手の人物を２次元ディスプレイ上に実物大に表示する技術（例えば、特許文献１参照）や、所望のサイズに映す方式が考えられている（例えば、特許文献２参照）。２次元ディスプレイ上の人物サイズと、ユーザが感じる対話相手との距離感には相関があると考えられるが、通常の２次元ディスプレイに表示される映像は奥行き手がかりが欠如するため、距離感を感じにくく、個人差も大きい。
【０００４】
これに対して、２次元ディスプレイ上に表示される対話相手の映像に運動視差を与えることで、ユーザに奥行き手がかりを与え、より高精度に距離を感じさせることが提案されている（例えば、非特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−２００９２９号公報
【特許文献２】特許第３５８６１２６号公報
【非特許文献】
【０００６】
【非特許文献１】石井亮，能登肇，高田英明，鈴木英夫：“映像コミュニケーションにおける運動視差を利用した奥行き表現手法の提案”，MVE2009-36，pp.11-16，(2009)
【発明の概要】
【発明が解決しようとする課題】
【０００７】
対面会話において、相手との距離感は、話しやすさや、緊張感に影響を与え重要である。しかしながら、２次元ディスプレイに映された従来の映像では、奥行き情報が欠落するため、映像中の対話相手と自身の位置関係を把握することは難しく、対話相手との距離の表現ができなかった。すなわち、ユーザが感じる映像中の対話相手との距離を任意に制御することができなかった。このため、対面会話と同様に、互いの実距離に合わせて互いに同じ対人距離を感じさせることができないという問題があった。
【０００８】
また、上述した理由により、相手の映像中に映っている物を指差ししたときに、相手は、その指差しを観察して、何を指しているのか（指示対象が何かを）正しく理解することができないという問題があった。これは、互いの距離感が整合されていないために、どこから（自分に対してどの位置から）指差しがされているか把握できないことによって生じる対話相手の現実の指示動作とのズレが原因である。したがって、映像中の対話相手との距離感を正しく表現することが可能であれば、互いの指示動作における指示対象の認識が正しく行えると考えられる。
【０００９】
さらに、対話相手との対人距離を適度に調節することができなかったため、ユーザが対話相手と望ましい（好みの）距離感で会話することができないという問題があった。
【００１０】
また、対話相手の映像に運動視差を与える従来技術においても、運動視差量と、ユーザが感じる対話相手との距離感とには、相関があると考えられるが、その関係は明確にされておらず、さらに所望の距離感を表現する手段は、これまで無かった。
【００１１】
本発明は、このような事情を考慮してなされたものであり、その目的は、映像中の対話相手との距離を任意に制御でき、人間の視覚特性を考慮して、２次元ディスプレイ上の対話相手のサイズを、表現したい距離、及び運動視差に応じて変換することができるコミュニケーション装置、コミュニケーション方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【００１２】
上述した課題を解決するために、本発明は、２点間で互いの映像を含む情報を双方向で通信するコミュニケーション装置であって、対話相手とその背景とを含む２次元画像を撮影する画像取得手段と、前記対話相手と前記画像取得手段との距離を測定する距離測定手段と、前記画像取得手段により撮影された前記２次元画像と、前記距離測定手段により測定された前記対話相手と前記画像取得手段との距離とに基づいて、当該装置側のユーザと前記対話相手の画像との距離を幾何学計算によって算出される距離より大きく、かつ、当該装置側のユーザが感じる知覚距離が大きくなるほど、その大きさの差が大きくなるように、前記対話相手とその背景とからなる多層画像に分割した３次元画像を生成する３次元画像生成手段と、当該装置側のユーザの視点位置を検出する視点位置検出手段と、前記視点位置検出手段により検出された、当該装置側のユーザの視点位置と、前記３次元画像生成手段により生成された、前記対話相手とその背景とからなる多層画像に分割した３次元画像とに基づいて、前記対話相手側の２次元画像を生成する視点位置画像生成手段と、前記視点位置画像生成手段により生成された前記対話相手側の２次元画像を表示する表示手段とを備えることを特徴とするコミュニケーション装置である。
【００１３】
本発明は、上記の発明において、前記３次元画像生成手段は、当該装置側のユーザと前記対話相手の画像との距離をＳ＝ｆ（Ｄ，α）としたとき、２次方程式Ｓ＝α＊（ａｘ２＋ｂｘ＋ｃ）（但し、０＜αかつａ，ｂ，ｃは、次式（１）を満たす全ての実数）、もしくは１次方程式Ｓ＝α＊（ａｘ＋ｂ）（但し、数式（２）を満たす全ての実数）、もしくは指数関数を用いた式Ｓ＝α＊（ａＤ＋ｂ）＋ｃ（但し、数式（３）であるとき）に従って、当該装置側のユーザと前記対話相手の画像との距離を算出することを特徴とする。
【００１４】
【数１】
【００１５】
【数２】
【００１６】
【数３】
【００１７】
本発明は、上記の発明において、前記３次元画像生成手段は、前記知覚距離として、前記距離測定手段により測定された、前記対話相手と前記画像取得手段との距離を用いる、ことを特徴とする。
【００１８】
本発明は、上記の発明において、自装置側のユーザとの映像を撮影する第２の画像取得手段と、自装置側のユーザと前記第２の画像取得手段との距離を測定する第２の距離測定手段と、自装置側のユーザと前記表示手段により表示される対話相手との距離を選択するための距離選択手段とを更に備え、前記３次元画像生成手段は、前記知覚距離として、前記距離選択手段により選択された距離から、前記第２の距離測定手段により測定された、前記自装置側のユーザと該ユーザの映像を撮影する前記第２の画像取得手段との距離を減算した値を用いる、ことを特徴とする。
【００１９】
また、上述した課題を解決するために、本発明は、２点間で互いの映像を含む情報を双方向で通信するコミュニケーション方法であって、対話相手とその背景とを含む２次元画像をカメラで撮影する画像取得ステップと、前記対話相手と前記カメラとの距離を測定する距離測定ステップと、前記画像取得ステップで撮影された前記２次元画像と、前記距離測定ステップで測定された前記対話相手と前記カメラとの距離とに基づいて、当該装置側のユーザと前記対話相手の画像との距離を幾何学計算によって算出される距離より大きく、かつ、当該装置側のユーザが感じる知覚距離が大きくなるほど、その大きさの差が大きくなるように、前記対話相手とその背景とからなる多層画像に分割した３次元画像を生成する３次元画像生成ステップと、当該装置側のユーザの視点位置を検出する視点位置検出ステップと、前記視点位置検出ステップで検出された、当該装置側のユーザの視点位置と、前記３次元画像生成ステップで生成された、前記対話相手とその背景とからなる多層画像に分割した３次元画像とに基づいて、前記対話相手側の２次元画像を生成する視点位置画像生成ステップと、前記視点位置画像生成ステップで生成された前記対話相手側の２次元画像を表示する表示ステップとを含むことを特徴とするコミュニケーション方法である。
【００２０】
本発明は、上記の発明において、前記３次元画像生成ステップは、当該装置側のユーザと前記対話相手の画像との距離をＳ＝ｆ（Ｄ，α）としたとき、２次方程式Ｓ＝α＊（ａｘ２＋ｂｘ＋ｃ）（但し、０＜αかつａ，ｂ，ｃは、次式（４）を満たす全ての実数）、もしくは１次方程式Ｓ＝α＊（ａｘ＋ｂ）（但し、数式（５）を満たす全ての実数）、もしくは指数関数を用いた式Ｓ＝α＊（ａＤ＋ｂ）＋ｃ（但し、数式（６）であるとき）に従って、当該装置側のユーザと前記対話相手の画像との距離を算出することを特徴とする。
【００２１】
【数４】
【００２２】
【数５】
【００２３】
【数６】
【００２４】
本発明は、上記の発明において、前記３次元画像生成ステップは、前記知覚距離として、前記距離測定ステップで測定された、前記対話相手と前記カメラとの距離を用いる、ことを特徴とする。
【００２５】
本発明は、上記の発明において、自装置側のユーザと該ユーザの映像を撮影するカメラとの距離を測定する第２の距離測定ステップと、自装置側のユーザと前記表示ステップで表示される対話相手との距離を選択するための距離選択ステップとを更に備え、前記３次元画像生成ステップは、前記知覚距離として、前記距離選択ステップで選択された距離から、前記第２の距離測定ステップで測定された、前記自装置側のユーザと該ユーザを撮影する前記カメラとの距離を減算した値を用いる、ことを特徴とする。
【００２６】
また、上述した課題を解決するために、本発明は、２点間で互いの映像を含む情報を双方向で通信するコミュニケーション装置のコンピュータに、対話相手とその背景とを含む２次元画像をカメラで撮影する画像取得機能、前記対話相手と前記カメラとの距離を測定する距離測定機能、前記画像取得機能で撮影された前記２次元画像と、前記距離測定機能で測定された前記対話相手と前記カメラとの距離とに基づいて、当該装置側のユーザと前記対話相手の画像との距離を幾何学計算によって算出される距離より大きく、かつ、当該装置側のユーザが感じる知覚距離が大きくなるほど、その大きさの差が大きくなるように、前記対話相手とその背景とからなる多層画像に分割した３次元画像を生成する３次元画像生成機能、当該装置側のユーザの視点位置を検出する視点位置検出機能、前記視点位置検出機能で検出された、当該装置側のユーザの視点位置と、前記３次元画像生成機能で生成された、前記対話相手とその背景とからなる多層画像に分割した３次元画像とに基づいて、前記対話相手側の２次元画像を生成する視点位置画像生成機能、前記視点位置画像生成機能で生成された前記対話相手側の２次元画像を表示する表示機能を実行させることを特徴とする。
【発明の効果】
【００２７】
この発明によれば、映像中の対話相手との距離を任意に制御でき、人間の視覚特性を考慮して、２次元ディスプレイ上の対話相手のサイズを、表現したい距離、及び運動視差に応じて変換することができる。
【図面の簡単な説明】
【００２８】
【図１】本発明による映像表示のイメージを示す概念図である。
【図２】本第１実施形態によるコミュニケーション装置の構成を示すブロック図である。
【図３】本第１実施形態による３次元画像生成部１−ｃにおける処理を説明するためのフローチャートである。
【図４】本第１実施形態において、各レイヤの画像の大きさ情報の算出方法を説明するための概念図である。
【図５】本第１実施形態において、ディスプレイ上の人物のサイズと知覚される距離の関係を説明するための概念図である。
【図６】実際の知覚距離に対してそれらの回答データをプロットした例を示す図である。
【図７】実際に、生成される「奥行き情報を持つユーザＢの３次元画像情報」の例を示す概念図である。
【図８】本第１実施形態による視点位置画像生成部１−ｅの動作を説明するためのフローチャートである。
【図９】本第１実施形態による視点位置画像生成部１−ｅの動作を説明するための概念図である。
【図１０】本発明の第３実施形態によるコミュニケーション装置の構成を示すブロック図である。
【発明を実施するための形態】
【００２９】
以下、本発明の一実施形態を、図面を参照して説明する。
【００３０】
本発明は、２地点での映像コミュニケーションにおいて、ディスプレイを１枚の窓に見立てて、ユーザがあたかも対話相手の空間を窓越しに互いが覗いているかのように、ユーザの視点位置に応じて、その位置から見える対話相手の空間の映像をディスプレイに表示すること（運動視差）を実現し、映像中の対話相手の奥行き位置の表現を行う映像表現において（非特許文献１）、２次元ディスプレイ上の人物の大きさ、及び運動視差量を制御を行うことにより、ユーザと対話相手の距離感を所望の大きさに表現することを特徴としている。
【００３１】
図１は、本発明による映像表示のイメージを示す概念図である。図１において、ユーザ１が視点を変えると（３軸移動に対応）、映像中の対話相手２の奥行き位置（対話相手２とその背景の壁３）を、その視点の変化に応じて２次元ディスプレイ４上に表示することで、対話相手２の見え方があたかも現実のように再現される。
【００３２】
すなわち、ユーザＡが位置Ｐ１にて２次元ディスプレイ４に対峙する場合には、対話相手（ユーザＢ）を正面から見ているように表示し、ユーザＡが左側の位置Ｐ２から見ている場合には、対話相手Ｂ、及びその背景にある壁３との位置関係（奥行き）を反映し、対話相手Ｂを左側から見ているように表示し、ユーザＡが右側の位置Ｐ３から見ている場合には、対話相手Ｂ、及びその背景にある壁３との位置関係（奥行き）を反映し、対話相手Ｂを右側から見ているように表示する。
【００３３】
本発明の技術は、２次元ディスプレイ上の人物の大きさ、及び運動視差量を制御し、ユーザと対話相手の距離感を所望の大きさに表現する技術であり、以下のような技術ｉ）〜ｉｉｉ）からなる。
【００３４】
ｉ）対話相手の位置を表示装置（ディスプレイなど）に対して任意の距離に表現する人物サイズ制御技術。
ｉｉ）対話相手の位置を検出し、検出される位置に合わせて距離を表現する機能。
ｉｉｉ）常にユーザと対話相手の距離を任意の距離に一定に保つ機能。
それぞれについて、以下に順に説明する。
【００３５】
Ａ．第１実施形態
まず、本発明の第１実施形態について説明する。
本第１実施形態では、上述した、ｉ）対話相手の位置をディスプレイに対して任意の距離に表現する人物サイズ制御技術を実現する。
【００３６】
図２は、本第１実施形態によるコミュニケーション装置の構成を示すブロック図である。図１において、コミュニケーション装置は、画像取得部１−ａ、距離測定部１−ｂ、３次元情報生成部１−ｃ、視点位置取得部（ユーザＡ）１−ｄ、視点位置画像生成部（ユーザＡ）１−ｅ、映像表示部１−ｆから構成されている。
【００３７】
図２には、ユーザＡ、Ｂ間で通信することを想定して、ユーザＡ側のコミュニケーション装置の構成を示しており、映像表示部１−ｆには、ユーザＢの映像が表示される。すなわち、本第１実施形態によるコミュニケーション手法は、図２に示す構成を２セット用意することにより、双方向で使用する。なお、以下の説明で「ディスプレイ」と表記されるものは、対話相手側（ユーザＢ）の映像表示部１−ｆを指すものである。
【００３８】
本説明では、ユーザＡが映像中のユーザＢを観察して距離Ｄｉに感じるように、映像表示部１−ｆに、ユーザＢを実物大に対して、どの程度の大きさで表示し、ユーザにどれくらいの運動視差を与えるべきかを決定する。実際には、ディスプレイから人物レイヤまでの距離Ｓｉを決定することで、大きさ、運動視差量が決まるため、この距離Ｓｉを制御する。最後に、映像表示部１−ｆに処理後の映像を表示するということを前提として説明する。
【００３９】
まず、画像取得部１−ａは、撮影装置（カメラ）を用いて、ユーザＢの２次元映像（画像）を撮影する。カメラは、ユーザＡがユーザＢと視線を合わせるために、ユーザＢの映像表示部１−ｅ上に表示されるユーザＡの目位置（目位置とは、両目の目頭を結ぶ線分の中点の位置）に光学的、または、仮想的にカメラのレンズ中心がくるように配置する。
【００４０】
例えば、ユーザＢ側のディスプレイとユーザＢとの間にハーフミラーを、ディスプレイの平面の法線とハーフミラーの法線とのなす角度が４５度となるように設置し、カメラを該ハーフミラーの上方または下方に、ハーフミラーからディスプレイまでの距離だけ離して設置することにより、ハーフミラーを介してカメラ撮像する手法を用いることも考えられる。
【００４１】
また、ユーザＢ側のディスプレイを隠さないように、ユーザＢのディスプレイの周囲に複数のカメラを配置し、ＦＴＶ（Free-Viewpoint Television）技術によって、該周囲の複数のカメラ画像から、ユーザＢのディスプレイ上に表示されるユーザＡの視点位置にある仮想視点の映像を生成する手法を用いることも考えられる。
【００４２】
その他、視線一致を実現するために、カメラ位置は、できるだけ、ユーザＢ側のディスプレイに表示されたユーザＡの目位置にレンズ中心が来るように配置する。
【００４３】
以後、ユーザＢのディスプレイの中心にカメラレンズの中心がくるようにカメラが設置されており、カメラの撮像面がディスプレイの画面にあると仮定して説明する。
【００４４】
距離測定部１−ｂは、カメラからユーザＢまでの距離を測定する。具体的な距離測定手法として、以下の方法が考えられる。
ａ）複数のカメラを用いた顔認識、及びステレオマッチングを用いた画像処理技術。
ｂ）光学式または磁気式のモーショントラッキング技術。
【００４５】
また、映像コミュニケーションにおいて人物がカメラ映像の中央にいることを前提条件とし、
ｃ）カメラのオートフォーカス機能によるフォーカス距離情報取得（特許文献２）、
を用いる。これらの技術を用いて、距離測定部１−ｂは、ディスプレイ面とユーザＢ間の距離Ｚを取得する。このとき、ディスプレイ面とユーザＢ間の距離Ｚは、ディスプレイ面からユーザＢへの法線の長さである。距離を取得できる手法は、上記の手法だけに限らず、他の手法であってもよい。
【００４６】
次に、３次元画像生成部（ユーザＢ）１−ｃは、画像取得部（カメラ）１−ａによって撮影された、ユーザＢの２次元画像、並びに、距離測定部１−ｂによって取得された、ディスプレイ面とユーザＢの距離Ｚに基づいて、ユーザＢの２次元画像を、奥行き情報を持つユーザＢの３次元画像情報に変換して出力する。
【００４７】
本第１実施形態の特徴として、１対１の映像コミュニケーションにおいては、ディスプレイの正面から大きくユーザが動かないという前提条件の下、完全な３次元形状をもつ奥行き映像を生成するのではなく、入力された「ユーザＢの２次元画像」を、人物領域と背景領域とに分割し、書割のように平面レイヤのまま奥行き情報を付与し多層化する。
【００４８】
図３は、本第１実施形態による３次元画像生成部１−ｃにおける処理を説明するためのフローチャートである。説明を簡単にするため、もっとも単純な構成である２層化の手法について具体的に述べる。まず、画像取得部１−ａによって撮影された「ユーザＢの２次元画像」と、距離情報取得部１−ｂから供給される、「ディスプレイ面とユーザＢの距離」を入力する（ステップＳ１）。
【００４９】
次に、「ディスプレイ面とユーザＢの距離」に基づいて、「ユーザＢの２次元画像」を、人物領域とその背景領域とに分割する（ステップＳ２）。２層化する際、前のレイヤが人物領域、後ろのレイヤが背景領域となる。人物領域と背景領域の分割には、ディスプレイが据え置きの映像コミュニケーションにおいては、背景が多くの場合で固定であるため背景差分を利用し、あらかじめ背景のみを撮影しておき、それをリファレンスとして差分を取得することで人物を抽出する。
【００５０】
また、距離画像センサを用いた距離情報や、温度画像センサによる人物の体温情報、顔認識を併用して領域分割の精度を向上することも考えられる。具体的な手法として、所定の範囲内に人物が存在し得る（例えば、ディスプレイが設置された部屋の場合には、ディスプレイから部屋の壁までの範囲内）場合には、ディスプレイの所定の位置を基準点とした人の存在範囲（該基準点から該部屋の壁までの範囲）を規定し、距離画像センサを用いて距離画像を取得し、人物が存在すると規定される範囲の距離を示す画素領域を該距離画像中の人物領域と判定する。
【００５１】
例えば、ディスプレイ面から、０〜３ｍまでの領域は、人物領域と判定し、３ｍ以上の領域は背景領域と判定する。また、温度画像センサの場合、同様に人物を示す温度範囲を規定して、同様な判定を行う。これらの複数センサから取得された複数の人物領域を候補として、各画素でボーティングして人物領域を最終的に判定する。具体的には、例えば、画像中のある画素で、各センサを用いた人物領域判定の論理積を取ることで、最終的な判定を行う。
【００５２】
顔認識の利用用途は、上記処理などを行った後に、人物領域と判定される領域の候補が複数存在し、その中に人物以外のものが混在していたときに、２次元画像中の領域毎に顔認識を行い、顔抽出された領域のみを人物領域と判定する。これにより、誤って人物領域と判定された領域を排除することが可能であり、より頑健な人物領域抽出が可能となる。
【００５３】
その他、画像中の領域分割には様々な手法が提案されており、それらも利用可能である。
【００５４】
なお、上記説明では、２層化についての方式を説明したが、さらに多層化する場合、距離や、温度の閾値を細かく設定し、距離画像や、温度画像の分割数を増やすことが考えられる。これにより、多層の書割レイヤを生成することが可能である。
【００５５】
次に、２層化されたうち、背景領域の画像を入力として、新たな背景画像を生成する（ステップＳ３）。単純に１枚の元画像から人物領域を抜いた（減算した）ままだと、背景画像中の人物領域にあたる部分の画像が欠けてしまう。このため、欠落している背景画像の領域（以後、欠落領域）を過去の背景画像から補完する。該補完した背景画像が新たな背景領域の画像となる。
【００５６】
その他、背景が大きく変化しないと仮定し、事前に撮影した背景画像を背景レイヤとして使用してもよい。または、プライバシ保護の観点から、背景部分を実際とは違う画像と差し替えてもよい。その他、背景画像に用いる画像に特に制約は無く、一般的に考えられるあらゆる画像が利用可能である。
【００５７】
なお、上記ステップＳ１〜Ｓ３において、３次元画像の生成において多層のレイヤ表現について述べたが、ＴＯＦカメラ（距離画像測定カメラ）の距離画像からテクスチャを生成し、３次元モデルで表現することも可能である。
【００５８】
次に、上記生成された、人物領域の画像、背景画像に実寸の大きさ情報を付与する（ステップＳ４）。まず、各レイヤの画像の大きさ情報の算出方法について以下に述べる。ここで、図４は、本第１実施形態において、各レイヤの画像の大きさ情報の算出方法を説明するための概念図である。このとき、人物レイヤαの画像の高さαｈ、幅αｗは、画像取得部１−ａ（カメラ）の画角（縦θｈ、横θｗ）、画像取得部１−ａから人物レイヤまでの距離Ｄ（画像取得部１−ａ（カメラ）とディスプレイ（ユーザＢ側の映像表示部）との位置関係を既知とし、「ディスプレイ面とユーザＢの距離」から算出）、カメラズーム率Ｚを用いて、次式（７）、（８）で算出される。
【００５９】
【数７】
【００６０】
【数８】
【００６１】
次に、ディスプレイからの距離情報と実寸情報とを併せて奥行き情報とし、人物領域の画像と背景画像とに該奥行き情報を付与し、それぞれレイヤ化する（ステップＳ５）。以後、これらのレイヤを「人物レイヤ」、「背景レイヤ」と呼ぶ。この３次元画像情報が、「奥行き情報を持つユーザＢの３次元画像情報」として生成される。この３次元情報が、後述する映像表示部１−ｆで表示される。
【００６２】
このとき、ここでの距離と実際にユーザＡが知覚する映像中のユーザＢまでの距離は一致しない。例えば、図５に示すように、人物レイヤをディプレイから距離Ｄｕとしたとしても、実際には、ユーザＡは、距離Ｄｕに比べてディスプレイに近い距離（距離の短い位置）にユーザＢがいるように感じる。そのため、人間の実際の知覚距離とディスプレイから人物レイヤまでの距離の関係を考慮して、ユーザＡがユーザＢと任意の距離を感じるように、ディスプレイから人物レイヤまでの距離を制御する。また、ここでいう、ディスプレイから人物レイヤまでの距離を制御することは、ユーザＡの視点位置に応じた運動視差の視差量とディスプレイ上のユーザＢの人物サイズとを制御することと同等である。例えば、ディスプレイから人物レイヤまでの距離を大きくすることは、視差量を大きくし、人物サイズを小さくすることになる。
【００６３】
ディスプレイから人物レイヤまでの距離（すなわち、視差量とディスプレイ上の人物サイズ）とユーザＡのユーザＢまでの知覚距離との関係は、被験者を用いた評価実験などからデータを収集し、それらを近似式で表すことができる。例えば、ディスプレイから人物レイヤまでの距離（すなわち、視差量とディスプレイ上の人物サイズ）を変化させて、被験者（ユーザＡに相当）に観察させ、被験者からユーザＢまでの距離感（知覚距離）を数値で回答させる。回答データは、数値で回答されるため、個人差が生じるため、それを補正する。
【００６４】
図６は、実際の知覚距離に対してそれらの回答データをプロットした例を示す図である。図６において、横軸は、ユーザＡの知覚距離Ｄ、縦軸は、ディスプレイから人物レイヤまでの距離Ｓである。図中の破線Ｌ１は、ディスプレイと人物レイヤの距離＝ユーザＡの知覚距離と仮定したときに描かれる線（すなわち、Ｓ＝Ｄ）、×印が回答された実データ、実線Ｌ２がその近似線である。
【００６５】
この近似式をＳ＝ｆ（Ｄ，α）（※αは、ユーザからディスプレイまでの距離や、ディスプレイサイズなどによって変化する値である。これらの要因によってもユーザが感じる距離感は変化する）で表す。Ｓ＝ｆ（Ｄ，α）は、２次方程式Ｓ＝α＊（ａｘ２＋ｂｘ＋ｃ）（但し、０＜αかつａ，ｂ，ｃは、次式（９）を満たす全ての実数）、もしくは１次方程式Ｓ＝α＊（ａｘ＋ｂ）（但し、数式（１０）を満たす全ての実数）、指数関数を用いた式Ｓ＝α＊（ａＤ＋ｂ）＋ｃ（但し、数式（１１）であるとき）などの形で表される。
【００６６】
【数９】
【００６７】
【数１０】
【００６８】
【数１１】
【００６９】
上記近似式を用いれば、ユーザに対して対話相手が任意の位置Ｄｉ（ディスプレイ位置を基準として）にいるように感じさせるためには、ディスプレイに人物をどの程度のサイズで表示すべきか、距離Ｓｉを決定することが可能である。すなわち、ディスプレイから人物レイヤまでの距離を、幾何学計算によって算出される距離（図６の点線）より大きく、かつ、知覚距離が大きくなるほどその大きさの差が大きくなるように決定すればよい。観測される実データから近似式Ｓ＝ｆ（Ｄ，α）を算出する方法は、一般的なあらゆる手法が適用可能であり、さらに式ｆ（Ｄ，α）の形や、次元に制約はない。
【００７０】
ここで算出されたＳｉを人物レイヤの奥行き情報とする。また、背景レイヤの奥行きは、任意の値（但し、人物レイヤより奥行き位置が遠いこと）を用いる。但し、ステップＳ３において、背景レイヤの距離情報が取得できていた場合、その距離を用いて値を決めることもできる。
【００７１】
図７は、実際に、生成される「奥行き情報を持つユーザＢの３次元画像情報」の例を示す概念図である。図７において、距離１．０ｍの位置に人物レイヤ、距離３．０ｍの位置に背景レイヤが配置されている。この奥行きに応じて配置された多層レイヤの情報は、各レイヤの２Ｄ画像データ、各レイヤ面とディスプレイ間の距離、各レイヤの縦・横サイズ（αｈ，αｗ）であり、これらの「奥行き情報を持つユーザＢの３次元画像情報」が出力される。「奥行き情報を持つユーザＢの３次元画像情報」は、各レイヤの２Ｄ画像データ＋Ｄ＋αｈ＋αｗである。
【００７２】
次に、視点位置検出部（ユーザＡ）１−ｄは、顔認識およびステレオマッチングを用いた画像処理技術や、光学式または磁気式のモーショントラッキング技術等を用いて、ユーザの視点（目）位置がどこにあるかのユーザの視点位置Ｖ（ｖｘ，ｖｙ，ｖｚ）を取得し、出力する。視点位置画像生成部（ユーザＡ）１−ｅは、ディスプレイ位置に対するユーザＡの視点位置と、奥行き情報を持つユーザＢの３次元画像情報とから、ユーザＡのディスプレイ面に表示する映像（「ユーザＡの視点位置に応じた２次元画像」）を生成する。
【００７３】
ここで、図８は、本第１実施形態による視点位置画像生成部１−ｅの動作を説明するためのフローチャートである。また、図９は、本第１実施形態による視点位置画像生成部１−ｅの動作を説明するための概念図である。「ユーザの視点位置に応じた２次元画像」は、図９に示すように「奥行き情報を持つユーザＢの３次元画像情報」を、「ディスプレイ位置に対するユーザＡの視点位置」を基点に、ユーザＡのディスプレイ面に透視投影などの射影変換を行うことで生成される（ステップＳ２０）。
【００７４】
まず、「ディスプレイ位置に対するユーザＡの視点位置」、「奥行き情報を持つユーザＢの３次元画像情報」、ユーザＡのディスプレイの座標系を統一する。このとき、座標系は実寸のサイズ情報を有する。ここで、ユーザＡのディスプレイサイズが必要となる。
【００７５】
次に、実際の透視変換の一例を示す。ディスプレイの中心を座標系の原点Ｏ（０，０，０）とし、座標ディスプレイ面の横方向にｘ軸、縦方向にｙ軸、ディスプレイ面の法線をｚ軸とし、ユーザ位置とは逆向きを正の方向とする。ユーザの視点位置をＶ（ｖｘ，ｖｙ，ｖｚ）（但し、ｖｚ＜０）としたとき、ディスプレイ面上の点Ｄ（ｘ，ｙ，ｚ）に投影されるべき、あるレイヤｉの点Ｈｉ（ｈｘ，ｈｙ，ｈｚ）は、次式（１２）により算出される。
【００７６】
【数１２】
【００７７】
なお、数式（１２）の変換行列式中の座標は、実寸の情報を有する座標系ということを前提としている。
【００７８】
この処理を、ディスプレイ面上の各画素において、「奥行き情報を持つユーザＢの３次元画像情報」の各画像レイヤに対して行う。また、その他、平行投影といった一般的な射影変換の手法も利用可能である。
【００７９】
このとき、人物レイヤ中でディスプレイ面上に投影するのは人物領域のみとする。また、複数のレイヤの点がディスプレイ面に投影される場合、最も前面のレイヤのみを投影して表示する。また、計算量を軽くするために、各画像レイヤの前面（ディスプレイに対して）から、ディスプレイに射影されるべき点を計算し、あるレイヤ中に射影される点がある場合、このレイヤより後ろのレイヤに対しては計算を行わない。
【００８０】
また、上述したように、最も前面のレイヤのみ投影することせずに、全レイヤを投影することとし、該当する点の透明度（α値）を任意に設定し、複数のレイヤを透かせて見えることで、背景情報など、実際には見えない背景情報も可視化することで、背景情報を伝達するようにすることも考えられる。
【００８１】
最後に、映像表示部１５は、映像生成部１−ｆは、生成された映像、すなわち、ユーザＡの視点位置に応じた、ユーザＢの２次元画像を表示する。
【００８２】
Ｂ．第２実施形態
次に、本発明の第２実施形態について説明する。
本第２実施形態では、上述した、ｉｉ）対話相手（ユーザＢ）の位置を検出し、検出される位置に合わせて距離を表現する機能を実現する。これは、２地点での映像コミュニケーションにおいて、互いのディスプレイを１枚の窓（ディスプレイを２つの空間の境界面）に見立てて、空間を窓越しに互いが覗いているかのように、互いの距離感を再現する技術である。
【００８３】
例えば、ユーザＢがユーザＢのディスプレイの前方２ｍの位置にいたとする。この場合、ユーザＡは、ユーザＡのディスプレイ上に映っているユーザＢを観察したとき、ユーザＢがユーザＡのディスプレイ後方２ｍの位置にいるように感じさせることを実現する。これを実現するためには、例えば、ディプレイの中心にカメラレンズがある場合には、視点位置検出部（ユーザＡ）１−ｄ内のパラメータであるＤｉ（ステップＳ５）に、距離測定部１−ｂで取得されるＺを代入（Ｄｉ＝Ｚ）すれば良い。
【００８４】
Ｃ．第３実施形態
次に、本発明の第３実施形態について説明する。
本第３実施形態では、上述した、ｉｉｉ）常にユーザとユーザＢの距離を任意の距離に一定に保つ機能を実現する。これは、２地点での映像コミュニケーションにおいて、ユーザＢとの距離感を一定に保つ技術である。例えば、ユーザＡがユーザＡのディプレイに対して前後に大きく動いたり、ユーザＢが大きく動いてしまった際にも、ユーザＡから映像中のユーザＢを観察したときに、常に同じ距離にユーザＢがいるように感じさせる技術である。
【００８５】
一定に保たれる距離の決定方法としては、ユーザＡが映像中のユーザＢに対する距離を決定することと、ユーザＢが決定すること、または、２人の望む距離の中間を利用することが考えられる。例えば、ユーザＢがユーザＡに怒っているとき、ユーザＡは、できるだけユーザＢを遠くにすることができ、また、ユーザＢは、より切迫感や、圧迫感を与えるためにユーザＢ自身の映像をユーザＡに近づけることができる。
【００８６】
また、両者がこのように相反することを望んだ場合、これらの中間地点を選択する。このとき、他にも時間的に距離をシステム側で切り替えるなど様々な方法が考えられる。また、距離の選択は、リモコンなどを用いてシステムにユーザ自身がそれぞれ入力を行う（後述する距離選択部（ユーザＡ）１−ｆ、距離選択部（ユーザＢ）１−ｇ）。
【００８７】
図１０は、本発明の第３実施形態によるコミュニケーション装置の構成を示すブロック図である。なお、図１に対応する部分には同一の符号を付けて説明を省略する。説明を簡易にするために、ディプレイの中心にカメラレンズがあったときを考える。上述した、ｉｉ）のシステム構成に加えて、図１０に示すように、距離測定部（ユーザＡ）１-ｂ’を追加する。また、ユーザＡが映像中のユーザＢに対する距離を決定するための距離選択部（ユーザＡ）１−ｆ、ユーザＢが映像中のユーザＡに対する距離を決定するための距離選択部（ユーザＢ）１−ｇを備えている。
【００８８】
前述した通り、本第３実施形態においても、図１０に示す構成を２セット用意し、双方向で使用する。距離測定部（ユーザＡ）１−ｂ’は、相手側（２セットある内の一方の側）の距離測定部１−ｂに相当し、カメラからユーザＡまでの距離ＤＡ（今回は、カメラ位置＝ディスプレイ位置）を測定する。また、相手側の距離測定部１−ｂで取得される、カメラからユーザＢまでの距離をＤＢとする。
【００８９】
このとき、３次元情報生成部１−ｃにおけるパラメータであるＤｉ（ステップＳ５）に、一定に保つユーザと対話相手との距離ＤＡＢから、ユーザＡとディプレイとの距離ＤＡを減算した値を代入すれば良い。すなわち、Ｄｉ＝ＤＡＢ−ＤＡとなる。ここで、カメラとディスプレイとの中心位置がずれていた場合には、カメラ座標系をディスプレイを中心とする座標系に変換して計算する必要がある。
【００９０】
上述した第１実施形態によれば、対面会話において、話しやすさや、緊張感に影響を与える重要な要素である、対話相手（ユーザＢ）との距離を任意に制御することができる。
【００９１】
また、上述した第２実施形態によれば、対面会話と同様に、互いの実距離に合わせて互いに同じ対人距離を感じさせることができる。さらに、互いが同じ距離を共有しているため、自然に対人距離を適度に調節することや、距離の遠近によってもたらせる緊張感が感じさせられる。また、相手の映像中に映っている物を指差ししたときに、相手は、その指差しを観察して、何を指しているのか（指示対象が何かを）正しく理解することができる。
【００９２】
また、上述した第３実施形態によれば、対話相手との対人距離を適度に調節することができる。すなわち、常にユーザが対話相手と望ましい（好みの）距離感に調節して会話することができる。さらに、対話相手が感じる自分自身の映像との距離感を制御することが可能であるため、対話相手に威圧感を与えたり、印象や、圧迫感を調整することができる。
【符号の説明】
【００９３】
１−ａ 画像取得部
１−ｂ、１−ｂ’ 距離測定部
１−ｃ ３次元情報生成部
１−ｄ 視点位置検出部
１−ｅ 視点位置画像生成部
１−ｆ 映像表示部
１−ｇ 距離選択部（ユーザＡ）
１−ｈ 距離選択部（ユーザＢ）
【特許請求の範囲】
【請求項１】
２点間で互いの映像を含む情報を双方向で通信するコミュニケーション装置であって、
対話相手とその背景とを含む２次元画像を撮影する画像取得手段と、
前記対話相手と前記画像取得手段との距離を測定する距離測定手段と、
前記画像取得手段により撮影された前記２次元画像と、前記距離測定手段により測定された前記対話相手と前記画像取得手段との距離とに基づいて、当該装置側のユーザと前記対話相手の画像との距離を幾何学計算によって算出される距離より大きく、かつ、当該装置側のユーザが感じる知覚距離が大きくなるほど、その大きさの差が大きくなるように、前記対話相手とその背景とからなる多層画像に分割した３次元画像を生成する３次元画像生成手段と、
当該装置側のユーザの視点位置を検出する視点位置検出手段と、
前記視点位置検出手段により検出された、当該装置側のユーザの視点位置と、前記３次元画像生成手段により生成された、前記対話相手とその背景とからなる多層画像に分割した３次元画像とに基づいて、前記対話相手側の２次元画像を生成する視点位置画像生成手段と、
前記視点位置画像生成手段により生成された前記対話相手側の２次元画像を表示する表示手段と
を備えることを特徴とするコミュニケーション装置。
【請求項２】
前記３次元画像生成手段は、
当該装置側のユーザと前記対話相手の画像との距離をＳ＝ｆ（Ｄ，α）としたとき、
２次方程式Ｓ＝α＊（ａｘ２＋ｂｘ＋ｃ）（但し、０＜αかつａ，ｂ，ｃは、次式（１）を満たす全ての実数）、もしくは１次方程式Ｓ＝α＊（ａｘ＋ｂ）（但し、数式（２）を満たす全ての実数）、もしくは指数関数を用いた式Ｓ＝α＊（ａＤ＋ｂ）＋ｃ（但し、数式（３）であるとき）に従って、当該装置側のユーザと前記対話相手の画像との距離を算出することを特徴とする請求項１に記載のコミュニケーション装置。
【数１】
【数２】
【数３】
【請求項３】
前記３次元画像生成手段は、
前記知覚距離として、前記距離測定手段により測定された、前記対話相手と前記画像取得手段との距離を用いる、
ことを特徴とする請求項１または２に記載のコミュニケーション装置。
【請求項４】
自装置側のユーザとの映像を撮影する第２の画像取得手段と、
自装置側のユーザと前記第２の画像取得手段との距離を測定する第２の距離測定手段と、
自装置側のユーザと前記表示手段により表示される対話相手との距離を選択するための距離選択手段と
を更に備え、
前記３次元画像生成手段は、
前記知覚距離として、前記距離選択手段により選択された距離から、前記第２の距離測定手段により測定された、前記自装置側のユーザと該ユーザの映像を撮影する前記第２の画像取得手段との距離を減算した値を用いる、
ことを特徴とする請求項３に記載のコミュニケーション装置。
【請求項５】
２点間で互いの映像を含む情報を双方向で通信するコミュニケーション方法であって、
対話相手とその背景とを含む２次元画像をカメラで撮影する画像取得ステップと、
前記対話相手と前記カメラとの距離を測定する距離測定ステップと、
前記画像取得ステップで撮影された前記２次元画像と、前記距離測定ステップで測定された前記対話相手と前記カメラとの距離とに基づいて、当該装置側のユーザと前記対話相手の画像との距離を幾何学計算によって算出される距離より大きく、かつ、当該装置側のユーザが感じる知覚距離が大きくなるほど、その大きさの差が大きくなるように、前記対話相手とその背景とからなる多層画像に分割した３次元画像を生成する３次元画像生成ステップと、
当該装置側のユーザの視点位置を検出する視点位置検出ステップと、
前記視点位置検出ステップで検出された、当該装置側のユーザの視点位置と、前記３次元画像生成ステップで生成された、前記対話相手とその背景とからなる多層画像に分割した３次元画像とに基づいて、前記対話相手側の２次元画像を生成する視点位置画像生成ステップと、
前記視点位置画像生成ステップで生成された前記対話相手側の２次元画像を表示する表示ステップと
を含むことを特徴とするコミュニケーション方法。
【請求項６】
前記３次元画像生成ステップは、
当該装置側のユーザと前記対話相手の画像との距離をＳ＝ｆ（Ｄ，α）としたとき、
２次方程式Ｓ＝α＊（ａｘ２＋ｂｘ＋ｃ）（但し、０＜αかつａ，ｂ，ｃは、次式（４）を満たす全ての実数）、もしくは１次方程式Ｓ＝α＊（ａｘ＋ｂ）（但し、数式（５）を満たす全ての実数）、もしくは指数関数を用いた式Ｓ＝α＊（ａＤ＋ｂ）＋ｃ（但し、数式（６）であるとき）に従って、当該装置側のユーザと前記対話相手の画像との距離を算出することを特徴とする請求項５に記載のコミュニケーション方法。
【数４】
【数５】
【数６】
【請求項７】
前記３次元画像生成ステップは、
前記知覚距離として、前記距離測定ステップで測定された、前記対話相手と前記カメラとの距離を用いる、
ことを特徴とする請求項５または６に記載のコミュニケーション方法。
【請求項８】
自装置側のユーザと該ユーザの映像を撮影するカメラとの距離を測定する第２の距離測定ステップと、
自装置側のユーザと前記表示ステップで表示される対話相手との距離を選択するための距離選択ステップと
を更に備え、
前記３次元画像生成ステップは、
前記知覚距離として、前記距離選択ステップで選択された距離から、前記第２の距離測定ステップで測定された、前記自装置側のユーザと該ユーザを撮影する前記カメラとの距離を減算した値を用いる、
ことを特徴とする請求項７に記載のコミュニケーション方法。
【請求項９】
２点間で互いの映像を含む情報を双方向で通信するコミュニケーション装置のコンピュータに、
対話相手とその背景とを含む２次元画像をカメラで撮影する画像取得機能、
前記対話相手と前記カメラとの距離を測定する距離測定機能、
前記画像取得機能で撮影された前記２次元画像と、前記距離測定機能で測定された前記対話相手と前記カメラとの距離とに基づいて、当該装置側のユーザと前記対話相手の画像との距離を幾何学計算によって算出される距離より大きく、かつ、当該装置側のユーザが感じる知覚距離が大きくなるほど、その大きさの差が大きくなるように、前記対話相手とその背景とからなる多層画像に分割した３次元画像を生成する３次元画像生成機能、
当該装置側のユーザの視点位置を検出する視点位置検出機能、
前記視点位置検出機能で検出された、当該装置側のユーザの視点位置と、前記３次元画像生成機能で生成された、前記対話相手とその背景とからなる多層画像に分割した３次元画像とに基づいて、前記対話相手側の２次元画像を生成する視点位置画像生成機能、
前記視点位置画像生成機能で生成された前記対話相手側の２次元画像を表示する表示機能
を実行させることを特徴とするプログラム。
【請求項１】
２点間で互いの映像を含む情報を双方向で通信するコミュニケーション装置であって、
対話相手とその背景とを含む２次元画像を撮影する画像取得手段と、
前記対話相手と前記画像取得手段との距離を測定する距離測定手段と、
前記画像取得手段により撮影された前記２次元画像と、前記距離測定手段により測定された前記対話相手と前記画像取得手段との距離とに基づいて、当該装置側のユーザと前記対話相手の画像との距離を幾何学計算によって算出される距離より大きく、かつ、当該装置側のユーザが感じる知覚距離が大きくなるほど、その大きさの差が大きくなるように、前記対話相手とその背景とからなる多層画像に分割した３次元画像を生成する３次元画像生成手段と、
当該装置側のユーザの視点位置を検出する視点位置検出手段と、
前記視点位置検出手段により検出された、当該装置側のユーザの視点位置と、前記３次元画像生成手段により生成された、前記対話相手とその背景とからなる多層画像に分割した３次元画像とに基づいて、前記対話相手側の２次元画像を生成する視点位置画像生成手段と、
前記視点位置画像生成手段により生成された前記対話相手側の２次元画像を表示する表示手段と
を備えることを特徴とするコミュニケーション装置。
【請求項２】
前記３次元画像生成手段は、
当該装置側のユーザと前記対話相手の画像との距離をＳ＝ｆ（Ｄ，α）としたとき、
２次方程式Ｓ＝α＊（ａｘ２＋ｂｘ＋ｃ）（但し、０＜αかつａ，ｂ，ｃは、次式（１）を満たす全ての実数）、もしくは１次方程式Ｓ＝α＊（ａｘ＋ｂ）（但し、数式（２）を満たす全ての実数）、もしくは指数関数を用いた式Ｓ＝α＊（ａＤ＋ｂ）＋ｃ（但し、数式（３）であるとき）に従って、当該装置側のユーザと前記対話相手の画像との距離を算出することを特徴とする請求項１に記載のコミュニケーション装置。
【数１】
【数２】
【数３】
【請求項３】
前記３次元画像生成手段は、
前記知覚距離として、前記距離測定手段により測定された、前記対話相手と前記画像取得手段との距離を用いる、
ことを特徴とする請求項１または２に記載のコミュニケーション装置。
【請求項４】
自装置側のユーザとの映像を撮影する第２の画像取得手段と、
自装置側のユーザと前記第２の画像取得手段との距離を測定する第２の距離測定手段と、
自装置側のユーザと前記表示手段により表示される対話相手との距離を選択するための距離選択手段と
を更に備え、
前記３次元画像生成手段は、
前記知覚距離として、前記距離選択手段により選択された距離から、前記第２の距離測定手段により測定された、前記自装置側のユーザと該ユーザの映像を撮影する前記第２の画像取得手段との距離を減算した値を用いる、
ことを特徴とする請求項３に記載のコミュニケーション装置。
【請求項５】
２点間で互いの映像を含む情報を双方向で通信するコミュニケーション方法であって、
対話相手とその背景とを含む２次元画像をカメラで撮影する画像取得ステップと、
前記対話相手と前記カメラとの距離を測定する距離測定ステップと、
前記画像取得ステップで撮影された前記２次元画像と、前記距離測定ステップで測定された前記対話相手と前記カメラとの距離とに基づいて、当該装置側のユーザと前記対話相手の画像との距離を幾何学計算によって算出される距離より大きく、かつ、当該装置側のユーザが感じる知覚距離が大きくなるほど、その大きさの差が大きくなるように、前記対話相手とその背景とからなる多層画像に分割した３次元画像を生成する３次元画像生成ステップと、
当該装置側のユーザの視点位置を検出する視点位置検出ステップと、
前記視点位置検出ステップで検出された、当該装置側のユーザの視点位置と、前記３次元画像生成ステップで生成された、前記対話相手とその背景とからなる多層画像に分割した３次元画像とに基づいて、前記対話相手側の２次元画像を生成する視点位置画像生成ステップと、
前記視点位置画像生成ステップで生成された前記対話相手側の２次元画像を表示する表示ステップと
を含むことを特徴とするコミュニケーション方法。
【請求項６】
前記３次元画像生成ステップは、
当該装置側のユーザと前記対話相手の画像との距離をＳ＝ｆ（Ｄ，α）としたとき、
２次方程式Ｓ＝α＊（ａｘ２＋ｂｘ＋ｃ）（但し、０＜αかつａ，ｂ，ｃは、次式（４）を満たす全ての実数）、もしくは１次方程式Ｓ＝α＊（ａｘ＋ｂ）（但し、数式（５）を満たす全ての実数）、もしくは指数関数を用いた式Ｓ＝α＊（ａＤ＋ｂ）＋ｃ（但し、数式（６）であるとき）に従って、当該装置側のユーザと前記対話相手の画像との距離を算出することを特徴とする請求項５に記載のコミュニケーション方法。
【数４】
【数５】
【数６】
【請求項７】
前記３次元画像生成ステップは、
前記知覚距離として、前記距離測定ステップで測定された、前記対話相手と前記カメラとの距離を用いる、
ことを特徴とする請求項５または６に記載のコミュニケーション方法。
【請求項８】
自装置側のユーザと該ユーザの映像を撮影するカメラとの距離を測定する第２の距離測定ステップと、
自装置側のユーザと前記表示ステップで表示される対話相手との距離を選択するための距離選択ステップと
を更に備え、
前記３次元画像生成ステップは、
前記知覚距離として、前記距離選択ステップで選択された距離から、前記第２の距離測定ステップで測定された、前記自装置側のユーザと該ユーザを撮影する前記カメラとの距離を減算した値を用いる、
ことを特徴とする請求項７に記載のコミュニケーション方法。
【請求項９】
２点間で互いの映像を含む情報を双方向で通信するコミュニケーション装置のコンピュータに、
対話相手とその背景とを含む２次元画像をカメラで撮影する画像取得機能、
前記対話相手と前記カメラとの距離を測定する距離測定機能、
前記画像取得機能で撮影された前記２次元画像と、前記距離測定機能で測定された前記対話相手と前記カメラとの距離とに基づいて、当該装置側のユーザと前記対話相手の画像との距離を幾何学計算によって算出される距離より大きく、かつ、当該装置側のユーザが感じる知覚距離が大きくなるほど、その大きさの差が大きくなるように、前記対話相手とその背景とからなる多層画像に分割した３次元画像を生成する３次元画像生成機能、
当該装置側のユーザの視点位置を検出する視点位置検出機能、
前記視点位置検出機能で検出された、当該装置側のユーザの視点位置と、前記３次元画像生成機能で生成された、前記対話相手とその背景とからなる多層画像に分割した３次元画像とに基づいて、前記対話相手側の２次元画像を生成する視点位置画像生成機能、
前記視点位置画像生成機能で生成された前記対話相手側の２次元画像を表示する表示機能
を実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−８５１７２（Ｐ２０１２−８５１７２Ａ）
【公開日】平成２４年４月２６日（２０１２．４．２６）
【国際特許分類】
【出願番号】特願２０１０−２３０７５７（Ｐ２０１０−２３０７５７）
【出願日】平成２２年１０月１３日（２０１０．１０．１３）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２４年４月２６日（２０１２．４．２６）
【国際特許分類】
【出願日】平成２２年１０月１３日（２０１０．１０．１３）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]