画像処理装置、画像処理方法、画像処理プログラム、及び撮像装置

【課題】奥行方向の撮影範囲を制限することにより奥行方向の撮影範囲を任意に調整できる。
【解決手段】撮像して第１の画像を生成する撮像部と、前記撮像部から被撮像体までの距離を算出する距離情報算出部と、前記距離に基づいて、前記第１の画像から第１の領域における被写体と第２の領域における被写体とを分割する撮影範囲限定部と、を備える。

【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、画像処理プログラム、及び撮像装置に関する。
【背景技術】
【０００２】
近年、デジタルカメラのような静止画を撮影する撮像装置、ビデオカメラのような動画を撮影する撮像装置、パーソナルコンピュータで画像を取得する所謂ウェブカメラなど、多くの撮像装置が利用されている。また、これら撮像装置は単体で用いられるのみならず、他の機能を持った電子機器に内蔵される場合も多い。撮像装置が内蔵されている電子機器の例として、携帯電話や、携帯電話と携帯情報端末が融合した携帯端末であるスマートフォンや、パーソナルコンピュータのモニターなどが知られている。このように、身の回りには多くの撮像装置が利用されている。
【０００３】
通常、これらの撮像装置で静止画や動画を撮像した場合、撮像した静止画や動画をそのまま利用する。例えば、風景を撮影したものや、観光名所などの建造物を背景に人物を記念撮影したものなどは、撮影した画像全体に意味があるため、ある被写体だけを抽出して背景を入れ替えるなどの処理は通常は不要である。
それに対し、撮像した静止画や動画の全体を用いるのではなく、撮像した静止画や動画からある被写体を抽出し、被写体以外の部分を撮像した静止画や動画とは異なる背景画像に入れ替えて用いたい場合もある。例えば、テレビ電話やテレビ会議のように、お互いの姿を撮像した画像を双方に表示させながら会話するシステムでは、背景を相手に見せたくないことも考えられる。また、プリントシール機などのように自分自身を撮影し、文字や模様などで装飾した画像をシールとしてプリントする機械では、機械そのものの背景にカーテンが取り付けられている。これは邪魔な背景が写り込まないようにするために設けられているものであり、背景画像と被写体画像とを分離したいという要求は多い。
【０００４】
このように背景と被写体が同じ画像に含まれている状況で、画像から被写体の部分のみを抽出する技術が知られている。
例えば特許文献１には、撮像を行うことにより撮像画像を出力する撮像部と、前記撮像部の撮像範囲の中で撮像対象までの距離を複数点にわたって測定することにより、前記撮像画像に対応した距離分布を表現する距離情報を出力する測距部と、前記撮像範囲をその中の被写体に応じて複数の領域に分離し、分離された前記複数の領域を表す分離情報を出力する被写体分離部と、を備え、当該被写体分離部は、前記距離情報に基づいて前記被写体が占める領域を検出する距離情報解析部を、備える撮影装置が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−１６７２７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１記載の技術では、撮像範囲をその中の被写体に応じて複数の領域に分離する。つまり、撮像範囲にある全被写体を抽出するため、奥行方向の撮影範囲を制限するといった奥行方向の撮影範囲を調整することができないという問題があった。
【０００７】
本発明は上記の点に鑑みてなされたものであり、奥行方向の撮影範囲を制限することにより奥行方向の撮影範囲を任意に調整できる画像処理装置、画像処理方法、画像処理プログラム、及び撮像装置を提供する。
【課題を解決するための手段】
【０００８】
（１）本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、撮像して第１の画像を生成する撮像部と、前記撮像部から被撮像体までの距離を算出する距離情報算出部と、前記距離に基づいて、前記第１の画像から第１の領域における被写体と第２の領域における被写体とを分割する撮影範囲限定部と、を備えることを特徴とする画像処理装置である。
【０００９】
（２）また、本発明の一態様は、上記の画像処理装置において、前記撮影範囲限定部は、前記距離に関する閾値に基づいて、前記第１の画像から第１の領域における被写体と第２の領域における被写体とを分割することを特徴とする。
【００１０】
（３）また、本発明の一態様は、上記の画像処理装置において、前記撮影範囲限定部は、前記閾値に基づいて、前記第１の画像と、該第１の画像と異なる第２の画像とを合成する割合であるブレンド率を算出するブレンド率算出部と、前記ブレンド率に基づいて、前記第１の画像と、前記第２の画像とを合成した表示画像を生成する画像合成部と、
を備えることを特徴とする。
【００１１】
（４）また、本発明の一態様は、上記の画像処理装置において、前記第２の画像は、被写体が撮影されていない画像であることを特徴とする。
【００１２】
（５）また、本発明の一態様は、上記の画像処理装置において、前記第２の画像は、前記撮像部が撮影した画像ではないことを特徴とする。
【００１３】
（６）また、本発明の一態様は、上記の画像処理装置において、前記第２の画像は、描画して作成した画像であることを特徴とする。
【００１４】
（７）また、本発明の一態様は、上記の画像処理装置において、前記ブレンド率算出部は、前記閾値と前記第１の画像と前記第２の画像を合成する距離の範囲を示す合成距離範囲情報とに基づいて、前記ブレンド率を算出することを特徴とする。
【００１５】
（８）また、本発明の一態様は、上記の画像処理装置において、前記ブレンド率算出部は、前記距離と、複数の前記閾値と、に基づいてブレンド率を算出し、前記画像合成部は、前記表示画像の、複数の前記閾値が示す距離の間の領域に対応する部分に、前記第２の画像を合成することを特徴とする。
【００１６】
（９）また、本発明の一態様は、画像処理装置における画像処理方法おいて、撮像部が、撮像して第１の画像を生成する撮像過程と、距離算出部が、前記撮像部から被撮像体までの距離を算出する距離情報算出過程と、撮影範囲限定部が、前記距離に基づいて、前記画像から第１の領域における被写体と第２の領域における被写体とを分割する撮影範囲限定過程と、を有する画像処理方法である。
【００１７】
（１０）また、本発明の一態様は、画像処理装置のコンピュータに撮像して第１の画像を生成する撮像手順、撮像部から被撮像体までの距離を算出する距離算出手順、前記距離に基づいて、前記画像から第１の領域における被写体と第２の領域における被写体とを分割する撮影範囲限定手順、を実行させるための画像処理プログラムである。
【００１８】
（１１）また、本発明の一態様は、撮像して第１の画像を生成する撮像部と、前記撮像部から被撮像体までの距離を算出する距離情報算出部と、前記距離に基づいて、前記画像から第１の領域における被写体と第２の領域における被写体とを分割する撮影範囲限定部と、
を備えることを特徴とする撮像装置である。
【発明の効果】
【００１９】
本発明によれば、奥行方向の撮影範囲を制限することにより奥行方向の撮影範囲を任意に調整できる。
【図面の簡単な説明】
【００２０】
【図１】本発明の第１の実施形態に係るテレビ電話システムを示す概念図である。
【図２】本実施形態に係る撮像部と被写体との間の距離と、表示される画像との関係を説明する説明図である。
【図３】本実施形態に係るテレビ電話装置の構成を示す概略ブロック図である。
【図４】本実施形態に係る撮影範囲限定部の構成を示す概略ブロック図である。
【図５】本実施形態に係るテレビ電話装置の処理を示すフローチャートである。
【図６】本発明の第２の実施形態に係る撮像部と被写体との間の距離と、表示される画像との関係を説明する説明図である。
【図７】本実施形態に係るテレビ電話装置の構成を示す概略ブロック図である。
【図８】本実施形態に係る撮影範囲限定部の構成を示す概略ブロック図である。
【図９】本実施形態に係るテレビ電話装置の処理を示すフローチャートである。
【図１０】本発明の第３の実施形態に係る撮像部１０１と被写体との間の距離と、表示される画像との関係を説明する説明図である。
【図１１】本実施形態に係るテレビ電話装置の構成を示す概略ブロック図である。
【図１２】本実施形態に係る撮影範囲限定部の構成を示す概略ブロック図である。
【図１３】本実施形態に係るテレビ電話装置の処理を示すフローチャートである。
【発明を実施するための形態】
【００２１】
（第１の実施形態）
以下、図面を参照しながら本発明の実施形態について詳しく説明する。図１は、本発明のテレビ電話システム１を示す概念図である。図示する例では、テレビ電話システム１は、テレビ電話装置１０、１１、撮像部１０１、１０２、表示部１０３，１０４、及びネットワーク２０を有する。また、図１には、符号Ｐａを付した被写体、及び符号Ｐｂを付した被写体も示している。
【００２２】
テレビ電話装置１０、１１は、通常の電話が備える通話機能に加えて、通話者を撮像した画像を通話相手のテレビ電話装置に表示する機能を有する。テレビ電話装置１０、１１は、マイク（図示しない）によって通話者が発した音声を取得する。テレビ電話装置１０、１１は、取得した音声を示す音声情報を生成する。テレビ電話装置１０、１１は、２つの異なる視点をもつ撮像部１０１、１０２が被撮像体を撮像したそれぞれ２つの画像情報を用い、三角測量の原理に基づいて撮像部１０１、１０２から被撮像体までの距離を算出する。テレビ電話装置１０、１１は、算出した距離に基づいて、画像情報を処理することで処理画像を生成する。テレビ電話装置１０、１１は、テレビ電話装置１０、１１が取得した音声情報、及び処理画像をネットワーク２０を介して相手のテレビ電話装置１１、１０に送信する。テレビ電話装置１１、１０は、テレビ電話装置１０、１１から受信した音声情報に基づいて音声を出力する。テレビ電話装置１１、１０は、処理画像を画像表示部１０４、１０３に表示する。
【００２３】
ネットワーク２０は、テレビ電話装置１０、１１が出力した音声情報及び画像情報を通信相手のテレビ電話装置１０、１１に伝送する。
撮像部１０１、１０２は、２眼カメラなどを用いて少なくとも２つの異なる視点から通話者の画像を撮像する。撮像部１０１は、符号Ｐａを付した通話者の画像を撮像する。また、撮像部１０２は、符号Ｐｂを付した通話者の画像を撮像する。
【００２４】
表示部１０３、１０４は、テレビ電話装置１０、１１から送信された画像情報に基づいて、相手の通話者の画像を表示する。図示する例では、表示部１０３は、テレビ電話装置１１から送信された、通話者Ｐｂを撮像した画像Ｐｂ’を表示する。表示部１０４は、テレビ電話装置１０から送信された、通話者Ｐａを撮像した画像Ｐａ’を表示する。
なお、テレビ電話装置１０、１１、撮像部１０１、１０２、表示部１０３、１０４は、それぞれ全く同様の構成であるので、以後、単にテレビ電話装置１０、撮像部１０１、表示部１０３と表記する。
【００２５】
図２は、撮像部１０１と被写体との間の距離と、表示される画像との関係を説明する説明図である。
符号（ａ）を付した図は、撮像部１０１と被写体との間の距離（奥行き値）に応じて、撮像部１０１が撮像する視野角内の空間を奥行き方向に分割する仕組みを示している。符号（ａ）を付した図では、横軸方向が奥行き値を示している。撮影範囲決定パラメータは、予め定められた奥行き値（閾値）である。撮影範囲決定パラメータは、後述する「被写体領域」と、「背景領域」とを分割する奥行き値の閾値である。
【００２６】
奥行き値が、撮影範囲決定パラメータが示す奥行き値より小さい領域を、被写体領域と呼ぶ。被写体領域にあると判定された画素から構成された画像を被写体画像と呼ぶ。奥行き値が、撮影範囲決定パラメータが示す奥行き値より大きい領域を、背景領域と呼ぶ。被写体領域にあると判定された画素から構成された画像を背景画像と呼ぶ。
【００２７】
符号（ｂ）を付した図は、奥行き値とブレンド率との関係を示す図である。ここで、ブレンド率とは、表示画像を生成する際に用いるパラメータである。被写体画像のブレンド率は「１．０」とする。背景画像のブレンド率は「０．０」とする。表示部に表示される表示画像の各画素の画素値は、被写体画像の画素の画素値と、予め用意した他の画像の画素（第２の画像）の画素値と、ブレンド率とに基づいて決定される。表示画像の生成の詳細については後述する。
【００２８】
符号（ｃ）を付した図は、表示部１０３に表示される表示画像を示す。実線で示した部分は、その部分が表示画像に表示されることを示し、破線で示された部分は、その部分が表示画像に表示されないことを示す。
被写体（Ａ）は、その全体が撮影範囲決定パラメータが示す奥行き値よりも近い領域にある。従って、被写体（Ａ）に対応する各画素には、ブレンド率「１．０」が適用される。その結果、被写体（Ａ）は表示画像に表示される。
被写体（Ｃ）は、その全体が撮影範囲決定パラメータが示す奥行き値よりも遠い領域にある。従って、被写体（Ｃ）に対応する各画素には、ブレンド率「０．０」が適用される。その結果、被写体（Ｃ）は表示画像に表示されない。
【００２９】
被写体（Ｂ）は、その一部が撮影範囲決定パラメータが示す奥行き値よりも近い領域（すなわち、被写体領域）に、残りの部分が撮影範囲決定パラメータが示す奥行き値よりも遠い領域（すなわち、背景領域）にある。従って、被写体（Ｂ）を示す各画素のうち、被写体領域にある画素については、ブレンド率「１．０」が適用される。被写体（Ｂ）を示す各画素のうち、背景領域にある画素については、ブレンド率「０．０」が適用される。その結果、被写体（Ｂ）は表示画像に表示される部分と表示されない部分が生ずる。
【００３０】
図３は、テレビ電話装置１０の構成を示す概略ブロック図である。テレビ電話装置１０は、撮像部１０１、通話部１０２、表示部１０３、代替画像記憶部１０４、撮影範囲決定パラメータ記憶部１０５、撮影範囲限定部１０６、及び制御通信部１０７を含んで構成される。
撮像部１０１は、２つのカメラで構成される。撮像部１０１のカメラは、受光した光を電気信号に変え画像とするＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）やＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子、及び被写体からの光を撮像素子に集光するためのレンズなどからなる光学系を含んで構成される。撮像部１０１は、２つの異なる視点から画像を撮像することにより、２つの異なる視点に対応する２つの画像を生成する。撮像部１０１が生成した２つの画像のうち、一方を基準画像（第１の画像）、他方を参照画像とする。撮像部１０１は、基準画像及び参照画像を撮影範囲限定部１０６に出力する。撮像部１０１は、背景画像に代えて表示画像に表示する画像である代替画像（第２の画像）の撮像を行ったときには、代替画像を代替画像記憶部１０４に出力する。
通話部１０２は、通話者が発した音声に基づいて音声信号を生成し、生成した音声信号を制御通信部１０７に出力する。また、通話部１０２は、制御通信部１０７から入力された音声信号を音声に変換し出力する。
【００３１】
表示部１０３は、制御通信部１０７から入力された表示画像を表示する。
代替画像記憶部１０４は、代替画像を記憶する。代替画像は、被写体が存在しないときに２眼カメラが撮像した画像であってもよいし、海や山、街並みなどの風景を撮像した画像（スナップ写真）であってもよいし、ＣＧ（コンピュータグラフィック；ＣｏｍｐｕｔｅｒＧｒａｆｉｃ）によって作成された画像や、背景画像をぼかした画像等であってもよい。
撮影範囲決定パラメータ記憶部１０５は、撮影範囲決定パラメータを記憶する。ここで、撮影範囲決定パラメータとは、被写体領域と背景領域との奥行き方向の境界を示す閾値である。撮影範囲決定パラメータは、予め定めた値でもよいし、通話者が入力部（図示しない）を介して入力した値でもよい。
【００３２】
撮影範囲限定部１０６は、撮像部１０１から入力された基準画像、参照画像、代替画像記憶部１０４から入力された代替画像、及び撮影範囲決定パラメータ記憶部１０５から入力された撮影範囲決定パラメータに基づいて、表示画像を生成する。撮影範囲限定部１０６は、生成した表示画像を制御通信部１０７に出力する。撮影範囲限定部１０６の詳細については後述する。
制御通信部１０７は、テレビ電話装置１０の制御及びネットワーク２０を介して他のテレビ電話装置１０との通信を行う。制御通信部１０７は、撮影範囲限定部１０６から表示画像を入力された表示情報をネットワーク２０に送信する。制御通信部１０７は、通話部１０２から音声信号を入力された音声信号をネットワーク２０に送信する。また、制御通信部１０７は、ネットワーク２０から受信した音声信号を通話部１０２に出力する。制御通信部１０７は、ネットワーク２０から受信した表示画像を表示部１０３に出力する。
【００３３】
図４は、撮影範囲限定部１０６の構成を示す概略ブロック図である。図示する例では、撮影範囲限定部１０６は、距離情報算出部１０６１、ブレンド率算出部１０６２、及び画像合成部１０６３を含んで構成される。
【００３４】
距離情報算出部１０６１は、撮像部１０１から入力された基準画像及び参照画像に基づいて、被写体の撮像部１０１からの距離を示す距離情報を画素毎に生成する。距離情報は、例えば２眼カメラ画像間の視差値を表す視差であっても良いし、撮像部１０１からの被写体までの距離（奥行き値）であってもよい。距離情報の算出する手法には、ＳＡＤ（ＳｕｍｏｆＡｂｓｏｌｕｔｅＤｉｆｆｅｒｅｎｃｅ）を用いたブロックマッチングや、グラフカット、ダイナミックプログラミングなどの一般的なステレオマッチング手法が挙げられる。
【００３５】
本実施形態では、距離情報算出部１０６１は、ＳＡＤを評価関数としたステレオマッチングによって距離を算出することで距離情報を生成する。以下、ＳＡＤを評価関数としたステレオマッチングによる距離の算出の詳細について説明する。距離情報算出部１０６１は、基準画像のある画素ブロックについて、参照画像上を水平方向に走査することで画素マッチングを行う。距離情報算出部１０６１は、画素マッチングはマッチングを行う画素である注目画素を中心としたブロック単位で行う。距離情報算出部１０６１は、ブロック内の基準画像の画素の画素値と、ブロック内の参照画像の対応する画素の画素値との差分の絶対値の総和であるＳＡＤを計算する。距離情報算出部１０６１は、ＳＡＤの値が最小となるブロックを決定する。
【００３６】
距離情報算出部１０６１は、上記の方法により、基準とするカメラの撮像画像の注目画素に対応するもう一方のカメラの撮像画像上の対応画素を決定する。距離情報算出部１０６１は、対応画素が決定されると、注目画素と対応画素との距離で表される対応画素の視差値を計算する。距離情報算出部１０６１は、上記の計算を基準画像の全画素について行うことで、全画素の視差値を算出する。距離情報算出部１０６１は、基準とするカメラともう一方のカメラとの位置関係と視差値を用いて三角測量を行うことで、撮像装置１０１から被写体までの距離を算出する。また、距離情報算出部１０６１が行う画素マッチングは、２つの撮像部が左右方向でなく、上下方向に配置されていてもよく、その場合は撮像画像の走査を水平方向に代えて垂直方向にすればよい。
【００３７】
距離情報算出部１０６１が算出した、全画素についてカメラから被写体までの距離を表す２次元データを奥行きマップ（デプスマップ）と呼ぶ。奥行きマップは、撮像部１０１から被写体までの距離を明るさで表したもので、一般的に距離が近い被写体は暗い色（画素値が小さい）で、距離が遠い被写体は明るい色（画素値が大きい）で表わされている。これは視差マップ（ディスパリティマップ）と同等であり、視差情報でもある。ここでは、視差値から距離を算出した例を示したが、視差値の大小関係でも距離の大小関係と関連しているため、視差マップのまま距離情報として出力しても構わない。ただし、視差値と距離とでは大小関係が逆転する。つまり、視差が大きい場合距離は小さくなる。従って、視差マップを利用した場合、本実施形態で用いた距離情報による各判定と、視差値による各判定では、判定条件における大小関係が逆転する。
また、撮像部１０１に単眼カメラと後述の距離画像が得られる装置（測距装置）を用いた構成の場合は、その測距装置が測定した距離情報（奥行き情報）を奥行きマップとして出力してもよい。
【００３８】
ブレンド率算出部１０６２は、撮影範囲決定パラメータ記憶部１０５から入力された撮影範囲決定パラメータと距離情報算出部１０６１から入力された距離情報とに基づいて、表示画像の各画素に、基準画像と代替画像のどちらの画素値を採用するかを示すブレンド率を算出する。ブレンド率算出部１０６２は、注目画素の距離が、撮影範囲決定パラメータが示す距離より小さい画素であるか、大きい画素であるかを判別する。ブレンド率算出部１０６２は、注目画素の距離が、撮影範囲決定パラメータが示す距離より小さい画素である場合はブレンド率を「１．０」、注目画素の距離が、撮影範囲決定パラメータが示す距離より大きい画素である場合は、ブレンド率を「０．０」とする。ブレンド率算出部１０６２は、ブレンド率を全画素について表すブレンド率マップを生成する。ブレンド率算出部１０６２は、生成したブレンド率マップを画像合成部１０６３に出力する。
【００３９】
画像合成部１０６３は、撮像部１０１から入力された基準画像、代替画像記憶部１０４から入力された代替画像、及びブレンド率算出部１０６２から入力されたブレンド率マップに基づいて、表示画像を生成する。具体的には、画像合成部１０６３は、以下の処理を行う。画像合成部１０６３は、画素毎に、ブレンド率マップから画素値を抽出する。画像合成部１０６３は、抽出したブレンド率が「１．０」であった場合は、合成画像の対応する画素の画素値に基準画像の画素値を代入する。一方、画像合成部１０６３は、抽出したブレンド率が「０．０」であった場合は、合成画像の対応する画素の画素値に代替画像の画素値を代入する。画像合成部１０６３は、以上の処理を、基準画像の全画素について行うことにより、表示画像を生成する。画像合成部１０６３は、生成した表示画像を制御通信部１０７に出力する。
【００４０】
図５は本実施形態に係るテレビ電話装置１０の処理を示すフローチャートである。
（ステップＳ１０１）撮像部１０１は、２つの異なる視点からで被撮像体を撮影し、基準画像及び参照画像を生成する。撮像部１０１は、生成した基準画像及び参照画像を距離情報算出部１０６に出力する。その後ステップＳ１０２に進む。
（ステップＳ１０２）距離情報算出部１０６１は、撮像部１０１から入力された基準画像及び参照画像に基づいて、前述の方法により奥行きマップを生成する。距離情報算出部１０６１は、生成した奥行きマップをブレンド率算出部１０６２に出力する。その後ステップＳ１０３に進む。
【００４１】
（ステップＳ１０３）ブレンド率算出部１０６２は、奥行きマップが示す画素毎の距離が撮影範囲決定パラメータより小さいか否かを判定する。画素毎の距離が撮影範囲決定パラメータが示す距離より小さいと判定された場合（Ｙｅｓ）はステップＳ１０４に進む。画素毎の距離が撮影範囲決定パラメータが示す距離より大きいと判定された場合（Ｎｏ）はステップＳ１０５に進む。
（ステップＳ１０４）ブレンド率算出部１０６２は、ブレンド率マップの対応する画素の画素値に「１．０」を代入する。その後ステップＳ１０６に進む。
（ステップＳ１０５）ブレンド率算出部１０６２は、ブレンド率マップの対応する画素の画素値に「０．０」を代入する。その後ステップＳ１０６に進む。
【００４２】
（ステップＳ１０６）ブレンド率算出部１０６２は、基準画像内の全ての画素についてブレンド率を計算したか否かを判定する。基準画像内の全ての画素についてブレンド率を計算したと判定した場合（Ｙｅｓ）はステップＳ１０７に進む。基準画像内の全ての画素についてブレンド率を計算していないと判定した場合（Ｎｏ）は、ステップＳ１０３に進む。
（ステップＳ１０７）画像処理部１０６３は、ブレンド率マップが示す画素毎のブレンド率が「１．０」であるか「０．０」であるかを判定する。画素毎のブレンド率が「１．０」であると判定された場合（Ｙｅｓ）はステップＳ１０８に進む。画素毎のブレンド率が「０．０」であると判定された場合（Ｙｅｓ）はステップＳ１０９に進む。
【００４３】
（ステップＳ１０８）画像合成部１０６３は、表示画像の対応する画素の画素値に基準画像の対応する画素の画素値を代入する。その後ステップＳ１１０に進む。
（ステップＳ１０９）画像合成部１０６３は、表示画像の対応する画素の画素値に代替画像の対応する画素の画素値を代入する。その後ステップＳ１１０に進む。
（ステップＳ１１０）画像合成部１０６３は、表示画像内の全ての画素について基準画像又は代替画像の画素値を代入したか否かを判定する。表示画像内の全ての画素について基準画像又は代替画像の画素値を代入したと判定した場合（Ｙｅｓ）は終了処理に進む。表示画像内の全ての画素について基準画像又は代替画像の画素値を代入していないと判定した場合（Ｎｏ）は、ステップＳ１０７に進む。
【００４４】
上記のように、本実施形態では、撮像部１０１は、基準画像及び参照画像を撮影する。距離情報算出部１０６１は、撮像部１０１から被撮像体までの距離を示す距離情報を生成する。撮影範囲限定部１０６は、距離情報に基づいて、基準画像領域と、代替画像領域とを分割する。これにより、テレビ電話装置１０は、撮像部１０１から被撮像体までの距離に基づいて所望の被写体を含む奥行き空間（３次元空間）を抽出することができる。
【００４５】
また、本実施形態では、撮影範囲限定部は、撮影範囲決定パラメータに基づいて、前記撮像部の撮像した前記第１の画像（基準画像）から被写体領域と背景領域とを分割する。これにより、テレビ電話装置１０は、撮像部１０１からの距離が、予め定めた特定の距離とに比べて、近いか、遠いかに基づいて被写体領域と背景領域とを分割することができる。
【００４６】
また、本実施形態では、ブレンド率算出部１０６２が、撮影範囲決定パラメータに基づいて、撮像部１０１の撮像した基準画像と、代替画像とを合成する割合であるブレンド率を算出し、画像合成部１０６３が、ブレンド率に基づいて前記被写体領域を示す基準画像と前記背景領域を示す代替画像とを合成することで、表示画像を生成する。これにより、ブレンド率に応じて、表示画像に基準画像の画像データを用いるか、代替画像の画像データを用いるかを変更することができる。
【００４７】
なお、本実施形態では、２眼カメラとステレオマッチング手法による距離情報（視差マップ）算出にて奥行きマップを取得する方法について説明をしたが、奥行きマップを取得する方法は、上述の方法に限定されるものではなく、少なくとも基準画像を撮像できる１眼カメラを具備すれば良い。
【００４８】
なお、本実施形態では、撮影範囲決定パラメータを境界に、２眼カメラに近い側を被写体の撮影範囲（被写体領域）、遠い側を撮影範囲外領域（背景領域）として分割していたが、これとは反対に２眼カメラに近い側を撮影範囲外領域（前景領域）、遠い側を被写体の撮影範囲（被写体領域）として分割しても良い。
【００４９】
（第２の実施形態）
以下、図面を参照しながら本発明の第２の実施形態について詳しく説明する。
上記第１の実施形態では、テレビ電話装置１０は、被写体が撮影範囲決定パラメータが示す奥行き値より近い領域では、基準画像を表示画像とし、被写体が撮影範囲決定パラメータが示す奥行き値より遠い領域では、代替画像を表示画像として表示する場合について説明をした。本実施形態では、テレビ電話装置１０ａは、撮影範囲決定パラメータが示す奥行き値の前後で、基準画像と代替画像をブレンドした表示画像を表示する場合について説明をする。
【００５０】
図６は、本発明の第２の実施形態に係る撮像部１０１と被写体との間の距離と、表示される画像との関係を説明する説明図である。
本実施形態では、被写体領域と背景領域の間にブレンド領域が追加されている点が第１の実施形態と異なる。本実施形態では、撮影範囲との境界にいる被写体（Ｂ）の顔の部分は、図２と同様であるが、ブレンド領域の範囲内においては基準画像と代替画像とをブレンドして表示画像を生成する。
【００５１】
ブレンド領域内にある被写体は、撮像部１０１からの距離に応じて基準画像と代替画像のブレンド率を変化させ、撮像部１０１からの距離が増加するにつれて基準画像から徐々に代替画像へと変わる表示画像を合成する。図６では、ブレンド領域のブレンド率の変化方法の一例として、距離に応じて「０．０」から「１．０」の間で線形に変化させている。
画像合成時のブレンド率は、被写体領域の場合は、撮影画像のブレンド率を「１．０」、背景領域画像のブレンド率を「０．０」とし、ブレンド領域ではそのブレンド率を変化させる。
【００５２】
図６では、ブレンド領域に含まれる被写体の領域を横縞模様で示しており、被写体（Ｂ）の顔の後ろ側が徐々に背景領域画像に変化することを示している。一方表示画像では、被写体（Ｂ）の目や口は、被写体の撮影範囲内にいるため表示画像として表示されるが、顔の輪郭部分はその距離に応じて代替画像とブレンドし徐々に代替画像へと変化する画像を表示する。
【００５３】
図７は、本実施形態に係るテレビ電話装置１０ａの構成を示す概略ブロック図である。
本実施形態においては、撮影範囲限定部１０６ａ及びブレンド領域パラメータ記憶部１０８ａを除いては第１の実施形態と同様であるため、第１の実施形態と同様な部分については説明を省略する。
【００５４】
撮影範囲限定部１０６ａは、撮像部１０１から入力された基準画像、参照画像、代替画像記憶部１０４から入力された代替画像、撮影範囲決定パラメータ記憶部１０５から入力された撮影範囲決定パラメータ、及びブレンド領域パラメータ記憶部１０８ａから入力されたブレンド領域パラメータに基づいて、表示画像を生成する。撮影範囲限定部１０６ａは、生成した表示画像を制御通信部１０７ａに出力する。撮影範囲限定部１０６ａの詳細については後述する。
ブレンド領域パラメータ記憶部１０８ａは、ブレンド領域パラメータ（合成距離範囲情報）を記憶する。ここで、ブレンド領域パラメータとは、撮像部１０１で撮影した基準画像と、代替画像とをブレンドする区間（ブレンド領域）の始点と終点の距離を示す。ブレンド領域パラメータは、予め定めた値でもよいし、通話者が入力部（図示しない）を介して入力した値でもよい。
【００５５】
図８は、撮影範囲限定部１０６ａの構成を示す概略ブロック図である。本実施形態においては、ブレンド率算出部１０６２ａ及び画像合成部１０６３ａを除いて第１の実施形態と同様であるため、同様である部分については説明を省略する。
ブレンド率算出部１０６２ａは、距離情報算出部１０６１から入力された距離情報、撮影範囲決定パラメータ記憶部１０５から入力された撮影範囲決定パラメータ、及びブレンド領域パラメータ記憶部１０８ａから入力されたブレンド領域パラメータに基づいて、表示画像の各画素に、基準画像と代替画像のどちらの画素値を採用するかを示すブレンド率を算出する。
【００５６】
つまり、ブレンド率算出部１０６２ａは、距離情報に基づいて、基準画像の各画素が被写体領域（撮影領域）、ブレンド領域、背景領域のいずれに属するかを判定する。ここで、被写体領域とは、撮影範囲決定パラメータが示す距離より撮像部１０１に近い領域である。ブレンド領域とは、ブレンド領域パラメータが示す基準画像と代替画像とをブレンドする区間の始点と終点の間の領域である。背景領域とは、ブレンド領域パラメータが示す終点よりも撮像部１０１から遠い領域である。
【００５７】
ブレンド率算出部１０６２ａは、注目画素が、被写体領域に属すると判定した場合は、その画素に対応するブレンド率を「１．０」とする。ブレンド率算出部１０６２ａは、注目画素が、背景領域に属すると判定した場合は、その画素に対応するブレンド率を「０．０」とする。ブレンド率算出部１０６２ａは、注目画素が、ブレンド領域に属すると判定した場合は、その画素に対応するブレンド率を、ブレンドする区間の始点では「１．０」、終点では、「０．０」となるように線形補完した値とする。ブレンド率算出部１０６２ａは、全画素についてのブレンド率を表すブレンド率マップを生成する。ブレンド率算出部１０６２ａは、生成したブレンド率マップを画像合成部１０６３ａに出力する。
【００５８】
画像合成部１０６３ａは、撮像部１０１から入力された基準画像、代替画像記憶部１０４から入力された代替画像、及びブレンド率算出部１０６２ａから入力されたブレンド率マップに基づいて、表示画像を生成する。具体的には、画像合成部１０６３ａは、以下の処理を行う。ブレンド処理部１０６３ａは、表示画像の画素毎に、ブレンド率マップの対応する画素の画素値を抽出する。画像合成部１０６３ａは、式１にしたがって表示画像の画素値Ｐを算出する。
Ｐ＝Ｂ・Ｓ＋（１−Ｂ）Ｒ・・・（式１）
ここで、Ｓは基準画像の画素値、Ｒは参照画像の画素値、Ｂはブレンド率を示す。画像合成部１０６３ａは、以上の処理を、基準画像の全画素について行い、表示画像を生成する。画像合成部１０６３ａは、生成した表示画像を制御通信部１０７に出力する。
【００５９】
図９は、本実施形態に係るテレビ電話装置１０ａの処理を示すフローチャートである。
ステップＳ２０１及びステップＳ２０２の各処理は、第1の実施形態におけるステップＳ１０１及びステップＳ１０２の各処理と同様である。
（ステップＳ２０３）ブレンド率算出部１０６２ａは、奥行きマップが示す画素毎の距離が撮影範囲決定パラメータが示す距離より小さいか否かを判定する。画素毎の奥行きが撮影範囲決定パラメータが示す距離より小さいと判定された場合（Ｙｅｓ）はステップＳ２０４に進む。画素毎の距離が撮影範囲決定パラメータが示す距離より大きいと判定された場合（Ｎｏ）はステップＳ２０５に進む。
（ステップＳ２０４）ブレンド率算出部１０６２ａは、ブレンド率マップの対応する画素の画素値に「１．０」を代入する。その後ステップＳ２０８に進む。
（ステップＳ２０５）ブレンド率算出部１０６２ａは、奥行きマップが示す画素毎の距離がブレンド領域パラメータが示すブレンド領域の終点の距離（この場合、撮影範囲決定パラメータにブレンド領域パラメータを加算した値となる）より大きいか否かを判定する。画素毎の距離がブレンド領域パラメータが示すブレンド領域の終点の距離より大きいと判定された場合（Ｙｅｓ）はステップＳ２０６に進む。画素毎の距離がブレンド領域パラメータが示すブレンド領域の終点の距離より小さいと判定された場合（Ｎｏ）はステップＳ２０７に進む。
（ステップＳ２０６）ブレンド率算出部１０６２ａは、ブレンド率マップの対応する画素の画素値に「０．０」を代入する。その後ステップＳ２０８に進む。
（ステップＳ２０７）ブレンド率算出部１０６２ａは、奥行きマップが示す画素毎の距離に基づいて、ブレンド領域パラメータが示すブレンド領域の始点の距離では「１．０」、ブレンド領域パラメータが示すブレンド領域の終点の距離では、「０．０」となるように線形補完を行いブレンド率を算出する。ブレンド率算出部１０６２ａは、ブレンド率マップの対応する画素の画素値に算出したブレンド率を代入する。その後ステップＳ２０８に進む。
（ステップＳ２０８）画像合成部１０６３ａは、式１を用いて表示画像の画素値を算出する。画像合成部１０６３ａは、表示画像の対応する画素の画素値に算出した画素値を代入する。その後終了処理に進む。
【００６０】
このように、本実施形態では、ブレンド率算出部１０６２ａは撮影範囲決定パラメータと基準画像と代替画像を合成する範囲を指定するブレンド領域パラメータとに基づいて、前記ブレンド率マップを出力する。
これにより、本実施形態では、撮像部１０１からの距離に応じて徐々に基準画像から代替画像に変化することで、被写体が撮影範囲内の出入りをする場合の見栄えの向上や違和感を低減させることができる。
【００６１】
なお、上述の実施形態では、撮影範囲決定パラメータを境界に、２眼カメラに近い側を被写体の撮影範囲（被写体領域）、遠い側を撮影範囲外領域（背景領域）として分割したが、これとは反対に２眼カメラに近い側を撮影範囲外領域（前景領域）、遠い側を被写体の撮影範囲（被写体領域）として分割しても良い。また、ブレンド領域は、撮影範囲外領域（前景領域）側に設けてもよい。
【００６２】
なお、Ｓ２０１およびＳ２０２において２眼カメラとステレオマッチング手法による距離情報を用いたが、これに限定されるものではなく、少なくとも１眼を有する構成であれば良い。その場合、距離情報算出手段も前述と同様、測距装置によって算出すればよく、距離情報は視差マップであっても良い。
なお、ブレンド領域内でブレンド率を変化させる方法は、距離に応じて線形に変化させる方法に限られず、ブレンド率は距離の関数として表される任意の関数形を持つものでもよい。
【００６３】
（第３の実施形態）
以下、図面を参照しながら本発明の第３の実施形態について詳しく説明する。
第１および第２の実施形態では、背景領域画像に予め撮影した、被写体がいない代替画像を入替画像として、背景領域に挿入したが、本実施形態では、２つの被写体領域の間にある領域に代替画像を入替画像として挿入する。
【００６４】
図１０は、本発明の第３の実施形態に係る撮像部１０１と被写体との間の距離と、表示される画像との関係を説明する説明図である。
本実施形態では、２つの撮影範囲決定パラメータを設ける。撮影範囲決定パラメータが示す距離より撮像部に近い側を被写体領域１と、第２撮影範囲決定パラメータが示す距離より撮像部から遠い側を被写体領域２として、被写体（Ａ）及び（Ｃ）を表示画像に表示する。一方、撮影範囲決定パラメータが示す距離と第２撮影範囲決定パラメータが示す距離の間の領域（入替領域と呼ぶ）は、予め被写体のいない背景を撮影した画像又は全く異なる画像（字とか絵とかのテロップなど）と入れ替える。被写体領域１及び２に含まれる距離情報をもつ画素についてはブレンド率を「１．０」として撮影画像である基準画像を合成画像に用い、入替領域の距離の画素についてはブレンド率を「０．０」として入替画像である代替画像を合成画像に用いる。これにより、本実施形態では、入替領域に該当する距離の撮影画像の画素値を入替画像に置き換えることができる。例えば、撮影範囲外にいる被写体（ここでは入替領域にいる被写体）を予め撮影した被写体のいない代替画像と入れ替えれば、被写体（Ａ）と（Ｃ）のみが表示画像として表示される。
【００６５】
図１１は、本実施形態に係るテレビ電話装置１０ｂの構成を示す概略ブロック図である。本実施形態においては、撮影範囲限定部１０６ｂ及び第２撮影範囲決定パラメータ記憶部１０５ｂを除いては第１の実施形態と同様であるため、第１の実施形態と同様である部分の説明は省略する。
撮影範囲限定部１０６ｂは、撮像部１０１から入力された基準画像、参照画像、代替画像記憶部１０４から入力された代替画像、撮影範囲決定パラメータ記憶部１０５から入力された撮影範囲決定パラメータ、及び第２撮影範囲決定パラメータ記憶部１０５ｂから入力された第２撮影範囲決定パラメータに基づいて、表示画像を生成する。撮影範囲限定部１０６ｂは、生成した表示画像を制御通信部１０７に出力する。撮影範囲限定部１０６ｂの詳細については後述する。
第２撮影範囲決定パラメータ記憶部１０５ｂは、第２の撮影範囲決定パラメータを記憶する。ここで、第２の撮影範囲決定パラメータとは、被写体領域２と入替領域との奥行き方向の境界を示す第２の閾値である。第２撮影範囲決定パラメータは、予め定めた値でもよいし、通話者が入力部（図示しない）を介して入力した値でもよい。
図１２は、撮影範囲限定部１０６ｂの構成を示す概略ブロック図である。本実施形態においては、ブレンド率算出部１０６２ｂを除いては第１の実施形態と同様であるため説明は省略する。
【００６６】
ブレンド率算出部１０６２ｂは、撮影範囲決定パラメータ記憶部１０５から入力された撮影範囲決定パラメータと、第２撮影範囲決定パラメータ記憶部１０５ｂから入力された第２撮影範囲決定パラメータと、距離情報算出部１０６１から入力された距離情報とに基づいてブレンド率を算出する。
【００６７】
ブレンド率算出部１０６２ｂは、ブレンド率を全画素について表すブレンド率マップを生成する。ブレンド率算出部１０６２ｂは、生成したブレンド率マップを画像合成部１０６３に出力する。
【００６８】
図１３は、本実施形態に係るテレビ電話装置１０１ｂの処理を示すフローチャートである。
ステップＳ３０１及びステップＳ３０２の各処理は、第1の実施形態におけるステップＳ１０１及びステップＳ１０２の各処理と同様である。
（ステップＳ３０３）ブレンド率算出部１０６２ｂは、奥行きマップが示す画素毎の距離が撮影範囲決定パラメータより小さいか否かを判定する。画素毎の距離が撮影範囲決定パラメータより小さいと判定された場合（Ｙｅｓ）はステップＳ３０４に進む。画素毎の距離が撮影範囲決定パラメータより大きいと判定された場合（Ｎｏ）はステップＳ３０５に進む。
【００６９】
（ステップＳ３０４）ブレンド率算出部１０６２ｂは、ブレンド率マップの対応する画素の画素値に「１．０」を代入する。その後ステップＳ３０８に進む。
（ステップＳ３０５）ブレンド率算出部１０６２ｂは、奥行きマップが示す画素毎の距離が第２撮影範囲決定パラメータより小さいか否かを判定する。画素毎の距離が第２撮影範囲決定パラメータが示す距離より小さいと判定された場合（Ｙｅｓ）はステップＳ３０６に進む。画素毎の距離が第２撮影範囲決定パラメータが示す距離より大きいと判定された場合（Ｎｏ）はステップＳ３０７に進む。
（ステップＳ３０６）ブレンド率算出部１０６２ｂは、ブレンド率マップの対応する画素の画素値に「０．０」を代入する。その後ステップＳ３０８に進む。
（ステップＳ３０７）ブレンド率算出部１０６２ｂは、ブレンド率マップの対応する画素の画素値に「１．０」を代入する。その後ステップＳ３０８に進む。
【００７０】
（ステップＳ３０８）画像合成部１０６３は、ステップＳ３０４、Ｓ３０６、Ｓ３０７で生成したブレンド率マップが示す各画素のブレンド率に応じて、表示画像の各画素に基準画像又は代替画像の対応する画素値を代入する。具体的には、画像合成部１０６３は、ブレンド率マップが示す画素のブレンド率が「１．０」である画素に対しては、基準画像における対応する画素の画素値を表示画像の対応する画素に代入する。画像合成部１０６３は、ブレンド率マップが示す画素のブレンド率が「０．０」である画素に対しては、代替画像における対応する画素の画素値を表示画像の対応する画素に代入する。その後終了処理に進む。
【００７１】
このように、本実施形態によれば、撮影範囲決定パラメータ記憶部１０５および第２撮影範囲決定パラメータ記憶部１０５ｂは、撮影範囲決定パラメータ及び第２撮影範囲決定パラメータをそれぞれ撮影範囲限定部１０６ｂに設定する。ブレンド率算出部１０６２ｂは、前記距離情報と、撮影範囲決定パラメータ及び第２撮影範囲決定パラメータと、に基づいて、撮像部１０１の撮像した基準画像と、代替画像とを合成する割合であるブレンド率を算出する。画像合成部１０６３は、撮影範囲決定パラメータ及び第２撮影範囲決定パラメータにより設定した２つの距離の間（入替領域）に入替画像として代替画像を挿入する。
【００７２】
これにより、本実施形態では、図１０に示した被写体（Ｂ）を使って、ＣＧなどで作成したテロップやアニメーションキャラクターなどの画像を入替画像として実画像上に重畳して表示することが可能となる。本実施形態では、図１０に示す表示画像のように、被写体（Ａ）と（Ｃ）の奥行方向の間に前記テロップなどの入替画像を挿入することができる。これは入替画像としてテロップなどの文字や絵で作成された矩形の画像を被写体（Ｂ）に対応する遠隔地送信画像上の領域（点線で示す領域）に挿入した例を示している。さらに、被写体（Ｂ）の撮影画像は奥行き値を持っているため、挿入する入替画像（Ｂ）は、被写体（Ａ）や（Ｃ）と撮影画像上で重なった場合でも、遠隔地送信画像に示すように入替画像（Ｂ）に対し、被写体（Ａ）は手前側、被写体（Ｃ）は奥側に表示することが可能となる。
【００７３】
また、予め撮影範囲決定パラメータを複数個設け、テロップなどの画像を表示させたい形状と一致した被写体（矩形のボードなど）をその入替領域に配置して撮影しておくことにより、テロップなどの入替画像を表示画像に表示することができる。さらに、入替領域に挿入した被撮像体の撮影画像は、奥行き値を持つため、被写体撮影範囲（被写体領域）内の被写体との奥行方向の重ね合わせを３次元空間と一致させて表示画像として送信することができる。
【００７４】
また、第２の実施形態と同様に、ブレンド領域を入替領域内に少なくとも１つ設定し、被写体映像と入替画像をブレンドして合成画像を出力しても良い。
このように、本実施形態では、撮影範囲決定パラメータを２つ以上有することで任意の奥行の領域に少なくとも１つ以上の入替画像を挿入することが可能となる。さらに、本実施形態では、入替領域に挿入する被写体（Ｂ）の形状を自由に設定し、その撮影画像の各画素に奥行き値を設けることが可能なため、３次元空間上の自由な位置及び形状で入替画像を配置した表示画像を生成することが可能となる。
【００７５】
また、入替領域に被写体（Ｂ）を挿入することで、挿入したいテロップや画像などを、自由に領域を設定して背景や被写体の間、被写体の前など任意の位置に任意の画像を入れ替えることが可能である。つまり、距離情報を利用することで２次元平面上に疑似的な３次元空間を作り出し、新たな画像表現を可能とすることができる。これは、例えばＴＶ会議システムやＴＶ電話、撮影ビデオ映像の編集などで画面上の任意の奥行位置に議題に関する映像などを表示させたり、プレゼンテーション資料や重要項目、撮影映像に関する情報をテロップで表示させ、必要なものは手前、すぐに使用しないものは奥へと移動させるなどの映像効果を演出することができるといったものが挙げられる。
【００７６】
上記の各実施形態では、２眼カメラを用いて遠隔地へ送信する映像と距離画像を取得していたが、これに限定されるものではなく、１台又はそれ以上の台数のカメラを用いた構成であってもよい。さらに、上述の実施形態では距離画像の取得にカメラを用いているが、これに限定されるものではなく、距離画像が得られる装置（例えば、光切断法やＴＯＦ（Ｔｉｍe ＯｆＦｌｉｇｈｔ）センサ、赤外線によるパターン照射法などを用いた装置）を用いた構成であっても良い。
【００７７】
上記の各実施形態で必要なパラメータ（撮影範囲決定パラメータやブレンド領域パラメータ）は、通話者がその場の状況や環境に合わせ撮影範囲決定パラメータを設定又は調整する、また、パラメータは、部屋などの形状や配置に合わせ予め設定してもよい。また、事前に被写体の顔や服の色などを設定し、カメラでトラッキングを行い、設定した被写体の奥行き方向の移動に合わせ、設定した被写体が撮影範囲に入るように（または入らないように）撮影範囲決定パラメータを動的に変更して設定してもよい。また、撮影範囲を分離する奥行方向の位置にマーカー（予め決めた色や形、模様をもった物）を設定し、カメラはそのマーカーを検出・認識して、マーカーの奥行き値を撮影範囲決定パラメータにしてもよい。また、上記の各実施形態で被写体領域と、背景領域または入替領域とを分割する境界を示すパラメータ（撮影範囲決定パラメータや第２撮影範囲決定パラメータ）を表示画像の画素毎に個別に記憶し、設定してもよいし、表示画像をいくつかのブロックに分割し、分割したブロック毎に個別に記憶し、設定してもよい。前記境界を示すパラメータを表示画像の画素毎、またはブロック毎に記憶し、設定することにより、被写体領域と、背景領域または入替領域の境界面を、３次元空間上で任意の形状に設定し、自由な境界面（カメラに正対する平面だけでなく、斜めに傾むけた平面の境界面や、２つ以上の平面を交差させて生成した境界面、または平面を円状に丸めた境界面や、球状の境界面など）を決定することが可能となる。これにより、被写体領域の３次元空間上の撮影範囲を立方体だけでなく、円柱や球状、三角錐や円錐などといった自由な立体形状に設定することが可能となる。
【００７８】
以上のように、遠隔地へ送信する画像を２眼カメラ撮影画像または代替画像から選択して生成することで、「撮影範囲決定パラメータ（奥行き値）」で示される距離を境界に、奥行方向に撮影範囲を決定することができることを示し、３次元空間上に撮影する空間を決定することができる。ＴＶ会議を想定した場合には、会議参加者は、被写体領域内に入ることで、会議に参加することが可能であり、反対に会議に参加しないあるいは退席する場合は、背景領域側に移動することで可能となる。
【００７９】
なお、上記の実施形態では、距離情報の算出にＳＡＤを用いる手法を述べたが、ＳＳＤ（ＳｕｍｏｆＳｑｕａｒｅｄＩｎｔｅｎｓｉｔｙＤｉｆｆｅｒｅｎｃｅ）やグラフカットなど、他の計算手法を用いても良い。
【００８０】
なお、撮像部１０１、１０２は少なくとも１つのカメラと光切断法や赤外線パターン照射法、ＴＯＦ（ＴｉｍｅＯｆＦｌｉｇｈｔ）などの測距装置から構成されていても良い。
ＴＯＦはＬＥＤ（ＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ）などの光源から赤外線など眼に見えない光を照射し、その光が被写体などに当たり反射して返ってくる到達時間を計測することで距離を測距する。ＴＯＦは細かく分割された領域ごとに計測することで、一点だけでなく被写体の様々な部分の測距が可能となる
【００８１】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【符号の説明】
【００８２】
１・・・テレビ電話システム、１０、１０ａ、１０ｂ・・・テレビ電話装置、１０１、１０２・・・撮像部、１０３、１０４・・・表示部、２０・・・ネットワーク、１０２・・・通話部、１０３・・・表示部、１０４・・・代替画像記憶部、１０５・・・撮影範囲決定パラメータ記憶部、１０５ｂ・・・第２撮影範囲決定パラメータ記憶部、１０６、１０６ａ、１０６ｂ・・・撮影範囲限定部、１０７・・・制御通信部、１０８ａ・・・ブレンド領域パラメータ記憶部、１０６１・・・距離情報算出部、１０６２、１０６２ａ、１０６２ｂ・・・ブレンド率算出部、１０６３、１０６３ａ・・・画像合成部

【特許請求の範囲】
【請求項１】
撮像して第１の画像を生成する撮像部と、
前記撮像部から被撮像体までの距離を算出する距離情報算出部と、
前記距離に基づいて、前記第１の画像から第１の領域における被写体と第２の領域における被写体とを分割する撮影範囲限定部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記撮影範囲限定部は、前記距離に関する閾値に基づいて、前記第１の画像から第１の領域における被写体と第２の領域における被写体とを分割する
ことを特徴とすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記撮影範囲限定部は、
前記閾値に基づいて、前記第１の画像と、該第１の画像と異なる第２の画像とを合成する割合であるブレンド率を算出するブレンド率算出部と、
前記ブレンド率に基づいて、前記第１の画像と、前記第２の画像とを合成した表示画像を生成する画像合成部と、
を備えることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第２の画像は、被写体が撮影されていない画像であることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記第２の画像は、前記撮像部が撮影した画像ではないことを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記第２の画像は、描画して作成した画像であることを特徴とする請求項３に記載の画像処理装置。
【請求項７】
前記ブレンド率算出部は、前記閾値と前記第１の画像と前記第２の画像を合成する距離の範囲を示す合成距離範囲情報とに基づいて、前記ブレンド率を算出することを特徴とする請求項３から６のいずれか１項に記載の画像処理装置。
【請求項８】
前記ブレンド率算出部は、前記距離と、複数の前記閾値と、に基づいてブレンド率を算出し、
前記画像合成部は、前記表示画像の、複数の前記閾値が示す距離の間の領域に対応する部分に、前記第２の画像を合成することを特徴とする請求項３から７のいずれか１項に記載の画像処理装置。
【請求項９】
画像処理装置における画像処理方法おいて、
撮像部が、撮像して第１の画像を生成する撮像過程と、
距離算出部が、前記撮像部から被撮像体までの距離を算出する距離情報算出過程と、
撮影範囲限定部が、前記距離に基づいて、前記画像から第１の領域における被写体と第２の領域における被写体とを分割する撮影範囲限定過程と、
を有する画像処理方法。
【請求項１０】
画像処理装置のコンピュータに
撮像して第１の画像を生成する撮像手順、
撮像部から被撮像体までの距離を算出する距離算出手順、
前記距離に基づいて、前記画像から第１の領域における被写体と第２の領域における被写体とを分割する撮影範囲限定手順、
を実行させるための画像処理プログラム。
【請求項１１】
撮像して第１の画像を生成する撮像部と、
前記撮像部から被撮像体までの距離を算出する距離情報算出部と、
前記距離に基づいて、前記画像から第１の領域における被写体と第２の領域における被写体とを分割する撮影範囲限定部と、
を備えることを特徴とする撮像装置。

【図１】