画像処理装置、画像処理方法、プログラム、撮像装置及びテレビジョン受像機
【課題】事前の準備を必要とせず、奥行きの同じ被写体が画像に複数存在していても、特定の被写体のみを抽出することが可能な画像処理装置を提供する。
【解決手段】画像上の複数位置それぞれに画像の奥行き方向の距離に係る距離情報を有する原画像と、原画像の一部と入れ替わる入替用画像とを取得し、取得した原画像の一部を抽出した抽出画像と前記入替用画像とを画像合成するテレビジョン受像機１において、前記距離情報に対する閾値を前記原画像の位置それぞれに基づいて設定する閾値設定部と、設定した閾値と前記距離情報に基づいて、前記原画像の一部を抽出し、抽出画像として出力する抽出画像生成部とを備える。
【解決手段】画像上の複数位置それぞれに画像の奥行き方向の距離に係る距離情報を有する原画像と、原画像の一部と入れ替わる入替用画像とを取得し、取得した原画像の一部を抽出した抽出画像と前記入替用画像とを画像合成するテレビジョン受像機１において、前記距離情報に対する閾値を前記原画像の位置それぞれに基づいて設定する閾値設定部と、設定した閾値と前記距離情報に基づいて、前記原画像の一部を抽出し、抽出画像として出力する抽出画像生成部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、原画像の一部を抽出し、抽出画像と他の画像とを画像合成する画像処理装置、画像処理方法、プログラム、撮像装置、及びテレビジョン受像機に関する。
【背景技術】
【０００２】
撮像装置で静止画又は動画を取得した際、風景を撮影した画像や記念撮影として取得した画像は、被写体だけを抽出して背景を入れ替える処理及びその他の処理は通常不要である。
それに対し、取得した画像をそのまま用いるのではなく、特定の被写体を抽出し、背景画像などそれ以外の部分の画像を入れ替えたいという要望も存在する。例えば、テレビ電話やテレビ会議においては、お互いの顔が双方で表示されれば良いのであり、背景画像は基本的に不要である。特に、背景となるエリアが整然と整理されていない場合は、背景画像を取り除くことが望ましい。
また、プリントシール機などのように自分自身を撮影し文字や模様などで装飾した画像をシールとしてプリントする機械では、機械そのものに背景を遮断すべくカーテンが取り付けられている。これは邪魔な背景が写り込まないようにするためで、背景と人物を分離したいという要求は多い。
このような背景より、画像から特定の被写体を抽出し背景と分離する手法が提案されている。
【０００３】
例えば、一種類の色（青色）を背景として人物などの被写体を撮影し、背景色と異なる色の部分のみを抽出することにより、被写体のみの抽出を可能とするクロマキー技術や、予め背景のみの画像を取得しておき、背景と被写体を撮影した画像と、背景のみの画像との差分をとることにより、被写体のみの画像を得る手法である。
【０００４】
また、カメラから対像物までの距離を取得する装置を採用し、取得した距離から、求めた奥行き値を用いる手法もある。奥行き値とは、画像を構成する複数の画像部分それぞれの奥行き方向の距離を示した値である。奥行き値は、例えば、被写体と、撮像に用いた撮像装置との距離を用いて算出される。撮像装置及び各被写体間の距離を計測する手法は、例えばＴＯＦ（Time Of Flight）方式、ステレオ方式などがある。
【０００５】
ＴＯＦ方式は、ＬＥＤ（Light Emitting Diode）などの光源から赤外線など眼に見えない光を照射し、その光が被写体などに当たり反射して返ってくる飛行時間を計測することで距離を測距するものである。その計測を細かく分割された領域毎に計測することで、一点だけでなく被写体の様々な部分の測距が可能となる。
なお、飛行時間の測定は、レーザ光をパルス照射し、パルスを発射してから反射光が戻ってくるまでの時間を計測する方法や、照射する赤外線を変調し、照射したときの位相と、反射光との位相差から算出する方法などがある。
【０００６】
ステレオ方式は、略平行に並べた二台の撮像装置で同じ領域を撮像し、得られた２つの画像において対応する画素の視差を求め、視差を基に距離を算出するものである。その他の計測方式としては、照射した赤外線の強度及び反射光との強度から距離を計測するものがある。
【０００７】
ステレオ方式において、２つの画像において対応する画素を求めることをステレオマッチングという。例えば、次のような処理を行う。一方の撮像画像のある画素について、他方の撮像画像上を水平方向に走査することで画素マッチングを行う。画素マッチングは注目画素を中心としたブロック単位で行われ、ブロック内の画素の絶対値差分の総和をとるＳＡＤ（Sum of Absolute Difference）を計算し、ＳＡＤの値が最小となるブロックを決定することで、一方の撮像画像の注目画素に対応する他方の撮像画像上の画素を求める。ＳＡＤによる計算手法以外に、ＳＳＤ（Sum of Squared Intensity Difference）やグラフカット、ＤＰ（Dynamic Programming）マッチングといった計算手法もある。対応画素が求まることでその画素の視差値が算出可能となる。
【０００８】
一方の撮像画像の全画素について行うことで、全画素の視差値を算出し、２つの撮像装置の位置関係と視差値を用いて三角測量を行うことで、撮像装置から被写体までの距離が算出できる。また、二つの撮像部が左右方向でなく、上下方向に配置されていても視差値の算出が可能で、その場合は撮像画像の走査を水平方向に代えて垂直方向にすれば良い。
【０００９】
図２８及び図２９は、従来技術による画像抽出の例を示す説明図である。図２８に示すように被写体Ｆ３１、Ｆ３２、Ｆ３３、Ｆ３４からなる画像より、被写体Ｆ３３を抽出するものとする。図２９は被写体Ｆ３１からＦ３４の位置関係を示す図であり、図２９から分かるようにＦ３３が最も手前に位置している。
【００１０】
図３０は撮像装置と被写体との距離情報を概念的に示す説明図である。デプスマップ（Depth Map）と言われるものを概念的に示したもので、通常は画素毎に対応付けられた奥行き値を２５６階調の白黒画像を用いて表すが、ここではわかり易くするために、ハッチングを用いて表示している。
図３０の例では、奥行き値は距離が短い順に１、２、…、５の昇順の数字で示している。ハッチングと奥行き値との対応関係から明らかなように、被写体Ｆ３３が最も手前に位置し、被写体Ｆ３４が最も奥に位置するという図２９に示された位置関係が表現されている。
【００１１】
図２８に示した画像より、例えば、被写体Ｆ３３のみを抽出したい場合、図２９に示した点線Ｂ０で表した奥行きを閾値として、該閾値よりも小さい奥行き値を持つ部分（手前側の部分）を抽出すべき被写体とし、該閾値よりも大きい奥行き値を持つ部分（奥の部分）を背景として抽出することにより、被写体Ｆ３３とそれ以外の被写体Ｆ３１、Ｆ３２、Ｆ３４、及び背景を分離することができる。
【００１２】
特許文献１には、撮像範囲の撮像対像を撮像することにより撮像画像を得て、同時に撮像範囲の中で撮像対像までの距離を複数点にわたって測定することにより、撮像画像に対応した距離分布を表現する距離情報を得て、距離情報にもとづいて、撮像範囲の中で人物と背景とを分離し、撮像画像の中から人物の画像のみを抽出する手法が開示されている。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特開２００１−１６７２７６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１４】
しかしながら、クロマキー技術や背景画像との差分をとる手法は、撮影環境が制限されたり、事前の準備が必要である。特許文献１に係る手法は、ある奥行きより手前に存在する被写体と、それより奥に存在する背景とを距離情報（奥行き値）を見ることで分離、抽出することが可能であるが、同じ奥行きに存在する被写体を切り分けて背景と分離することはできない。複数の人物がカメラから同じ奥行きに存在する場合、仮に一人を抽出しようとしても同じ奥行きに存在する別の人物も抽出される。また、画像に存在する全く関係のない別の被写体であっても、抽出しようとする人物の奥行きと関係のない別の被写体の奥行きとが同じ値である場合、抽出しようとする人物と一緒に抽出されるという問題があった。
【００１５】
本発明は、上述のごとき実情に鑑みてなされたものであり、事前の準備を必要とせず、奥行きの同じ被写体が画像に複数存在していても、特定の被写体のみを抽出することが可能な画像処理装置、撮像装置又はテレビジョン受像機、上記画像処理装置における画像処理方法、及びコンピュータを上記画像処理装置として動作させるためのプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１６】
本発明に係る画像処理装置は、画像上の複数位置それぞれに画像の奥行き方向の距離に係る距離情報を有する原画像と、原画像の一部と入れ替わる入替用画像とを取得し、取得した原画像の一部を抽出した抽出画像と前記入替用画像とを画像合成する画像処理装置において、前記距離情報に対する閾値を原画像上の位置それぞれに基づいて設定する閾値設定部と、設定した閾値及び前記距離情報に基づいて、前記抽出画像を生成する抽出画像生成部とを備えることを特徴とする。
【００１７】
本発明に係る画像処理装置は、前記抽出部により抽出されなかった画像部分を前記入替用画像に入れ替えるように構成したことを特徴とする。
【００１８】
本発明に係る画像処理装置は、前記原画像を複数の領域に分割する領域分割部をさらに備え、前記閾値設定部は、分割した領域毎に閾値を設定し、前記抽出画像生成部は、分割した領域毎に抽出画像を生成することを特徴とする。
【００１９】
本発明に係る画像処理装置は、前記原画像を複数の領域に分割する領域分割部をさらに備え、前記閾値設定部は、分割した領域毎に閾値を設定し、前記抽出画像生成部は、分割した領域毎に抽出画像を生成し、前記入替用画像を複数取得し、分割した領域毎に異なる入替用画像を用いることを特徴とする。
【００２０】
本発明に係る画像処理方法は、画像上の複数位置それぞれに画像の奥行き方向の距離に係る距離情報を有する原画像と、原画像の一部と入れ替わる入替用画像とを取得し、取得した原画像の一部を抽出した抽出画像と前記入替用画像とを画像合成する画像処理方法において、前記距離情報に対する閾値を原画像上の位置それぞれに基づいて設定するステップと、設定した閾値及び前記距離情報に基づいて、前記抽出画像を生成するステップとを備えることを特徴とする。
【００２１】
本発明に係るプログラムは、コンピュータに、画像上の複数位置それぞれに画像の奥行き方向の距離に係る距離情報を有する原画像と、原画像の一部と入れ替わる入替用画像とを取得させ、取得させた原画像の一部を抽出した抽出画像と前記入替用画像とを画像合成させるプログラムにおいて、前記コンピュータに、前記距離情報に対する閾値を前記原画像上の位置それぞれに基づいて設定するステップと、設定した閾値と前記距離情報に基づいて、前記抽出画像を生成するステップとを実行させることを特徴とする。
【００２２】
本発明に係る撮像装置は、被写体を撮像する撮像部と、入替用画像を記憶する入替用画像記憶部とを備え、撮像した画像の一部を抽出した抽出画像と、撮像した画像の一部と入れ替わる入替用画像とを画像合成する撮像装置において、前記被写体までの距離を複数位置について測定する測距部と、前記測距部で測定した複数位置の距離値を補間することにより、前記撮像した画像上の複数位置それぞれに画像の奥行き方向の距離に係る距離情報を算出する距離情報補間部と、前記距離情報に対する閾値を前記撮像した画像上の位置それぞれに基づいて設定する閾値設定部と、設定した閾値及び前記距離情報に基づいて、前記抽出画像を生成する抽出画像生成部とを備えることを特徴とする。
【００２３】
本発明に係る撮像装置は、被写体を撮像する複数の撮像部と、入替用画像を記憶する入替用画像記憶部とを備え、撮像した画像の一部を抽出した抽出画像と、撮像した画像の一部と入れ替わる入替用画像とを画像合成する撮像装置において、前記複数の撮像部それぞれが撮像した複数の画像を用いて、前記撮像した画像上の複数位置それぞれに画像の奥行き方向の距離に係る距離情報を算出する距離情報算出部と、前記距離情報に対する閾値を前記撮像した画像上の位置それぞれに基づいて設定する閾値設定部と、設定した閾値及び前記距離情報に基づいて、前記抽出画像を生成する抽出画像生成部とを備えることを特徴とする。
【００２４】
本発明に係るテレビジョン受像機は、上記のいずれか一項に記載の画像処理装置と、テレビジョン放送を受信するチューナ部と、該チューナ部が受信したテレビジョン放送に係る画像を表示する表示部とを備え、該表示部は前記画像処理装置が取得、抽出、生成又は合成した画像を表示するようにしてあることを特徴とする。
【００２５】
本発明に係るテレビジョン受像機は、上記のいずれか一項に記載の撮像装置と、テレビジョン放送を受信するチューナ部と、該チューナ部が受信したテレビジョン放送に係る画像を表示する表示部とを備え、該表示部は前記撮像装置が撮像、抽出、生成又は合成した画像を表示するようにしてあることを特徴とする。
【００２６】
本発明にあっては、距離情報に対する閾値を原画像上の位置それぞれに基づいて設定し、設定した閾値及び前記距離情報に基づいて、抽出画像を生成するので、奥行き値の同じ被写体が複数あっても、特定の被写体が存在する画像上の位置での閾値と、その他の被写体が存在する画像の位置での閾値とは異なる値を設定するため、特定の被写体のみの画像を抽出することが可能となる。
【００２７】
本発明にあっては、抽出されなかった画像部分を入替用画像とするように構成されている。従って、原画像の背景画像を入替用画像とした新たな画像を生成することが可能となる。
【００２８】
本発明にあっては、原画像を複数の領域に分割し、分割した領域毎に閾値を設定し、分割した領域毎に抽出画像を生成する。複数の被写体を抽出したい場合に、抽出したい被写体毎に領域を分割することにより、容易に複数の被写体を抽出することが可能となる。
【００２９】
本発明にあっては、原画像を複数の領域に分割し、分割した領域毎に閾値を設定し、分割した領域毎に抽出画像を生成し、入替用画像を複数取得し、分割した領域毎に異なる入替用画像を用いて画像合成をおこなう。従って、被写体毎に異なる背景画像を合成した画像を生成することが可能となる。
【００３０】
本発明にあっては、距離情報に対する閾値を撮像した画像上の位置それぞれに基づいて設定する閾値設定部と、設定した閾値及び前記距離情報に基づいて、撮像した画像の一部を抽出し、抽出画像を生成する抽出画像生成部とを備える。閾値を撮像した画像上の位置それぞれに基づいて設定するので、奥行き値の同じ被写体が複数あっても、特定の被写体が存在する画像の位置での閾値と、その他の被写体が存在する画像の位置での閾値とは異なる値を設定するため、特定の被写体のみの画像を抽出することが可能となる。
【００３１】
本発明にあっては、距離情報に対する閾値を撮像した画像上の位置それぞれに基づいて設定する閾値設定部と、設定した閾値及び前記距離情報に基づいて、撮像した画像の一部を抽出し、抽出画像として出力する抽出画像生成部とを備える。閾値を撮像した画像の位置それぞれに基づいて設定するので、奥行き値の同じ被写体が複数あっても、特定の被写体が存在する画像の位置での閾値と、その他の被写体が存在する画像の位置での閾値とは異なる値を設定するため、特定の被写体のみの画像を抽出することが可能となる。
【００３２】
本発明にあっては、テレビジョン受像機は上記のいずれか一項に記載の画像処理装置または上記のいずれか一項に記載の撮像装置を備えるので、外部機器から受け付けた原画像又は撮像部で取得した原画像において、奥行き値の同じ被写体が複数あっても、特定の被写体が存在する画像の位置での閾値と、その他の被写体が存在する画像の位置での閾値とは異なる値を設定するため、特定の被写体のみの画像を抽出することが可能となる。
【発明の効果】
【００３３】
本発明によれば、原画像又は撮像した画像において同一の奥行きに位置する被写体が複数あっても、特定の被写体の画像のみを原画像又は撮像した画像より抽出することができる。
【図面の簡単な説明】
【００３４】
【図１】本発明の実施の形態１に係る画像処理装置のハードウェア構成を示すブロック図である。
【図２】原画像の一例を示す説明図である。
【図３】原画像における被写体の位置関係を示す説明図である。
【図４】原画像に対応したデプスマップを示す説明図である。
【図５】デプスマップのデータ構造を概念的に示す説明図である。
【図６】抽出範囲を概念的に示す説明図である
【図７】閾値の設定を概念的に示す説明図である。
【図８】抽出画像の一例を示す説明図である。
【図９】表示される合成画像の一例を示す説明図である。
【図１０】被写体を顔認識により認識する場合の説明図である。
【図１１】画像処理装置が実施する画像処理方法の流れを示すフローチャートである。
【図１２】画像処理装置が実施する閾値設定処理の流れを示すフローチャートである。
【図１３】変形例１に係る閾値の設定を概念的に示す説明図である。
【図１４】変形例２に係る閾値の設定を概念的に示す説明図である。
【図１５】本発明の実施の形態２に係る画像処理装置の構成例を示すブロック図である。
【図１６】本発明の実施の形態３において画像の領域分割の例を示す説明図である。
【図１７】本発明の実施の形態３に係る画像処理装置が実施する処理の流れを示すフローチャートである。
【図１８】本発明の実施の形態３において分割された各領域に対して行われる処理の流れを示すフローチャートである。
【図１９】本発明の実施の形態３において閾値設定の例を示す説明図である。
【図２０】本発明の実施の形態３において出力画像の例を示す説明図である。
【図２１】変形例３におけるユーザ操作画面の例を示す説明図である。
【図２２】変形例３におけるユーザ操作画面の例を示す説明図である。
【図２３】変形例３におけるユーザ操作画面の例を示す説明図である。
【図２４】本発明の実施の形態４に係る撮像装置の構成例を示すブロック図である。
【図２５】本発明の実施の形態５に係る撮像装置の構成例を示すブロック図である。
【図２６】本発明の実施の形態６に係るテレビジョン受像機の構成例を示すブロック図である。
【図２７】本発明の実施の形態７に係るテレビジョン受像機の構成例を示すブロック図である。
【図２８】従来技術による画像抽出の例を示す説明図である。
【図２９】従来技術による画像抽出の例を示す説明図である。
【図３０】撮像装置と被写体との距離情報を概念的に示す説明図である。
【発明を実施するための形態】
【００３５】
（実施の形態１）
以下に、本発明の実施の形態１を、図面を用いて説明する。
図１は、本発明の実施の形態１に係る画像処理装置のハードウェア構成を示すブロック図である。実施の形態１に係る画像処理装置１は、制御部１１、外部インタフェース部１２、表示インタフェース部１３、及び操作インタフェース部１４を備える。
【００３６】
制御部１１は、演算を行なうＣＰＵ（Central Processing Unit ）１１ａ、ＣＰＵ１１ａが行なう演算の制御手順を示す制御プログラム等を記憶したＲＯＭ（Read Only Memory）１１ｂ、ＣＰＵ１１ａが行なう演算に伴う一時的な情報を記憶するＲＡＭ（Random Access Memory）１１ｃ等を備える。
そして、制御部１１は、ＣＰＵ１１ａがＲＯＭ１１ｂに予め格納されている制御プログラムをＲＡＭ１１ｃに読み出して実行することにより、本発明の閾値設定部、抽出画像生成部として機能する。
【００３７】
外部インタフェース部１２は、ＵＳＢ（Universal Serial Bus）コネクタ、ＨＤＭＩ（High-Definition Multimedia Interface）コネクタ又はＩＥＥ１３９４コネクタを備え、例えば、デジタルカメラとレーザレンジファインダーとから構成される測距機能を持った撮像装置２が接続される。撮像装置２より外部インタフェース部１２を介して、制御部１１は、原画像と該画像に対応した距離情報を受け付ける。受け付けた原画像と該画像に対応した距離情報は、制御部１１により、ＲＡＭ１１ｃに記憶される。
【００３８】
表示インタフェース部１３は、テレビジョン受像機などの表示装置３と接続され、ユーザ操作画面や処理対像となる原画像、画像処理後の画像などを表示装置３に表示させる。
操作インタフェース部１４は、キーボード、マウスなどの操作装置４が接続され、ユーザからの操作入力を操作装置４を介して受付ける。
【００３９】
次に、本発明の実施の形態において扱う距離情報を有する原画像について、説明する。なお、以下においては、原画像はビットマップ画像であり、距離情報はデプスマップであるものとして説明する。
図２は、原画像の一例を示す説明図である。図２に示すように、原画像にはＦ１、Ｆ２、Ｆ３、Ｆ４の４つ被写体がある。被写体Ｆ１からＦ３は人であり、被写体Ｆ４は建物である。図３は、原画像における被写体の位置関係を示す説明図である。図３に示すように、被写体の位置には前後関係があり、手前が被写体Ｆ２及び被写体Ｆ３、その後に被写体Ｆ１、さらに後に被写体Ｆ４となっている。被写体Ｆ２及び被写体Ｆ３は、横に並んでおり前後の位置は同じであるものとする。
【００４０】
図４は、原画像に対応したデプスマップを示す説明図である。複数のハッチングそれぞれに対応した奥行き値から明らかなように上述した被写体の前後の位置関係が表されている。
【００４１】
図５は、デプスマップのデータ構造を概念的に示す説明図である。図５のＡは図４で示した原画像の各部分のデプスマップの値、すなわち画像の奥行き値を示したものであり、Ｄ１、Ｄ２、Ｄ３、Ｄ４の値を取るものとする。Ｄ１は被写体Ｆ４より奥にある被写体に対応した値、Ｄ２は被写体Ｆ４に対応した値、Ｄ３は被写体Ｆ１に対応した値、Ｄ４は被写体Ｆ２及びＦ３に対応した値である。
図５のＢ上段は、図５のＡの一部分を抜き出したものである。図５のＢ下段は、さらに、抜き出した部分の一番上の１ラインについて、デプスマップのデータ構造を表したものであり、左から右の順に画素毎の奥行き値を示している。一番左に示した値は、一番左の画素に対応しているのでＤ３の値を取り、右に進むほど、それに対応した右側の画素を値を示している。右に進むとＤ３からＤ１に変わり、さらにＤ１からＤ２に変わり、最も右側の画素はＤ２の値を取る。
【００４２】
実施の形態１に係る画像処理装置１の動作について説明する。
制御部１１（閾値設定部）は、外部インタフェース部１２を介して撮像装置２から原画像及び原画像のデプスマップを受け付け、ＲＡＭ１１ｃに記憶する。制御部１１は、目的の被写体を抽出するための閾値を設定する。本発明において閾値は単一の値ではなく、原画像の横方向の位置によって異なるように設定する。なお、以下の説明において３次元の座標系を用いる。ＸＹ座標は原画像の座標系であり、画像の左上を原点とし、原点から右方向をＸ軸方向、原点から下方向をＹ軸方向とする。残りの一軸は奥行方向の軸であり、値が大きいほど、奥に位置していることを表している。
【００４３】
図６は、抽出範囲を概念的に示す説明図である。以下の説明においては、人である被写体Ｆ２のみを抽出するものとる。図６に示すように、被写体Ｆ２は、原画像においてＸ座標の値がＸ３からＸ４の範囲に位置している（Ｘ３＜Ｘ４）。なお、Ｘ３及びＸ４を求める手法については、後述する。
図７は、閾値の設定を概念的に示す説明図である。図３と同様に原画像における被写体の位置関係を示すと共に、説明に必要な情報を追記している。
【００４４】
制御部１１（閾値設定部）は、デプスマップより、Ｘ座標値がＸ３からＸ４の値を取る全ての画素に対する奥行き値を取得する。次に、取得された値の平均値ｄ０を求める。さらに、ｄ１、ｄ２を以下の式（１）、（２）により求める。
ｄ１＝ｄ０−ｃ１ （ｃ１＞０）…（１）
ｄ２＝ｄ０＋ｃ２ （ｃ２＞０）…（２）
さらに、Ｘ３、Ｘ４から、Ｘ１、Ｘ２を以下の式（３）、（４）により求める。
Ｘ１＝Ｘ３−ｃ３ （ｃ３≧０）…（３）
Ｘ２＝Ｘ４＋ｃ４ （ｃ４≧０）…（４）
したがって、ｄ０からｄ２の大小関係はｄ１＜ｄ０＜ｄ２であり、Ｘ１からＸ４の大小関係は、Ｘ１≦Ｘ３＜Ｘ４≦Ｘ２となる。
【００４５】
上述のようにして求めた値を用いて、閾値の設定を以下の式（５）、（６）とする。
閾値 ＝ｄ１ （０≦Ｘ＜Ｘ１又はＸ≧Ｘ２のとき）…（５）
閾値 ＝ｄ２ （Ｘ１≦Ｘ＜Ｘ２のとき）…（６）
閾値の設定はＸ座標にのみ依存し、Ｙ座標の値に関わらず上述したように設定を行う。
このように設定した閾値を図示したのが、図７のＢ１である。制御部１１（閾値設定部）は、このような閾値の設定情報を、ＲＡＭ１１ｃに記憶する。
【００４６】
制御部１１（抽出画像生成部）は、原画像、閾値の設定情報及びデプスマップを、ＲＡＭ１１ｃより読み出す。
制御部１１は、閾値の設定情報及びデプスマップに基づき、２値化画像を生成する。すなわち、各画素それぞれについて奥行き値と設定された閾値とを比較し、奥行き値の値が閾値以下であれば１を設定し、奥行き値の値が閾値より大きければ０を設定する。このようにして生成した２値化画像と原画像との論理積を取ることにより、目的としている被写体（本実施の形態においては被写体Ｆ２）のみの画像を抽出する。すなわち、原画像と２値化画像とを画素ごとに比較し、２値化画像の画素値が１の場合は原画像の画素値を採用し、２値化画像の画素値が０の場合は原画像の画素値を黒又は白に対応した値とする。それにより、被写体Ｆ２の部分はそのまま出力されるが、被写体Ｆ２以外の部分は、ベタ塗り（黒又は白）の状態で出力される。制御部１１（抽出画像生成部）は抽出した画像をＲＡＭ１１ｃに記憶する。図８は、抽出画像の一例を示す説明図である。上述したように被写体Ｆ２のみが抽出されている。
【００４７】
制御部１１は、ＲＡＭ１１ｃから目的としている被写体のみを抽出した抽出画像を読み出す。また、抽出画像と合成する入替用画像を図示しない記憶装置から読み出す。入替用画像は、予め記憶装置に記憶しており、例えば風景写真、世界遺産や観光名所の写真など背景となる画像である。
【００４８】
制御部１１は、抽出画像と入替用画像とを合成する。すなわち、制御部１１は、抽出画像のベタ塗りの部分に入替用画像をはめ込む。制御部１１は、合成した画像を表示インタフェース部１３を介して表示装置３に表示する。図９は、表示される合成画像の一例を示す説明図である。図９に示したように、抽出された被写体Ｆ２は、原画像（図２）とは異なる風景の中に立っているかのような画像を得ることができる。
【００４９】
次に、公知の顔認識技術を用いて、原画像において抽出する被写体が位置する範囲を示す座標値、Ｘ３及びＸ４を求める手法について説明する。抽出すべき被写体Ｆ２の顔特徴量は画像処理装置１の図示しない記憶部に予め記憶されている。制御部１１は被写体Ｆ２の顔特徴量を用いて、原画像の複数の被写体Ｆ１からＦ４の中から被写体Ｆ２の顔を特定し、原画像において被写体Ｆ２の顔位置を求める。
図１０は、被写体を顔認識により認識する場合の説明図である。被写体Ｆ２の顔は、（Ｘ５，Ｙ５）、（Ｘ６，Ｙ５）、（Ｘ６，Ｙ６）、（Ｘ５，Ｙ６）の４点を頂点とする四角形内Ｃにあると、制御部１１は認識する（Ｘ５＜Ｘ６、Ｙ５＜Ｙ６）。この場合、Ｘ３及びＸ４を、以下の式（７）、（８）により求める。
Ｘ３＝Ｘ５−ｍ１ （ｍ１＞０）…（７）
Ｘ４＝Ｘ６＋ｍ２ （ｍ２＞０）…（８）
制御部１１は求めたＸ３及びＸ４の値を、ＲＡＭ１１ｃに記憶する。記憶されたＸ３及びＸ４の値が、上述したように閾値を設定する処理に用いられる。
【００５０】
次に、画像処理装置１が実施する画像処理方法について、説明する。図１１は、画像処理装置１が実施する画像処理方法の流れを示すフローチャートである。制御部１１は、外部インタフェース部１２を介して、原画像を撮像装置２より取得し、ＲＡＭ１１ｃに記憶する（Ｓ１１）。制御部１１は、外部インタフェース部１２を介して、デプスマップを撮像装置２より取得し、ＲＡＭ１１ｃに記憶する（Ｓ１２）。
【００５１】
制御部１１は、閾値の設定を行う（Ｓ１３）。図１２は、画像処理装置１が実施する閾値設定処理の流れを示すフローチャートである。制御部１１は、顔認識により抽出すべき被写体Ｆ２の原画像における位置する範囲を示す値、すなわち、Ｘ３及びＸ４の値を求める（Ｓ２１）。制御部１１は、求めたＸ３及びＸ４を用いて、ＲＡＭ１１ｃに記憶したデプスマップからＸ座標値がＸ３以上Ｘ４以下である画素の奥行き値を抽出する（Ｓ２２）。制御部１１は、抽出した奥行き値の平均値ｄ０を求める（Ｓ２３）。制御部１１は、求めたｄ０より、閾値の上限値（ｄ２）及び下限値（ｄ１）を求める（Ｓ２４）。
【００５２】
制御部１１は、Ｓ２１で求めたＸ３及びＸ４より、閾値を変化させるＸ座標値、Ｘ１及びＸ２の値を求める（Ｓ２５）。制御部１１は、求めたＸ１、Ｘ２と、Ｓ２４で求めたｄ１、ｄ２を閾値の設定情報として、ＲＡＭ１１ｃに記憶する（Ｓ２６）。
【００５３】
図１１に戻り、制御部１１は、ＲＡＭ１１ｃに記憶したデプスマップ及び閾値の設定情報に基づき、被写体Ｆ２の画像を原画像から抽出するための２値化画像を生成し、生成した２値化画像とＲＡＭ１１ｃに記憶した原画像との論理積演算を行い、被写体Ｆ２の画像を抽出する（Ｓ１４）。制御部１１は、抽出した画像をＲＡＭ１１ｃに記憶する（Ｓ１５）。
【００５４】
制御部１１は、図示しない記憶装置から入替用画像を取得する（Ｓ１６）。制御部１１は、抽出画像と入替用画像を合成し、合成した画像を表示インタフェース１３を介して表示装置３に表示させ（Ｓ１７）、処理を終了する。
【００５５】
なお、閾値を設定する際に用いたｃ１及びｃ２は、原画像の奥行き方向の人体の厚みを考慮して定めるべき値であり、予め手動設定しておいても良いし、原画像に応じて、すなわちＸ３、Ｘ４の値に応じて、或いは公知の画像認識により被写体である人の立ち方（正面を向いて立っているか、斜めに立っているかなど）や姿勢（直立しているか、屈曲しているかなど）を認識しそれに応じて、適切な値を制御部１１が設定することとしても良い。
【００５６】
同様に、ｃ３及びｃ４は処理の誤差をそれぞれ考慮して定めるべき値であり、予め手動設定しておいても良いし、Ｘ３、Ｘ４の値に応じて適切な値を制御部１１が設定することとしても良い。
【００５７】
入替用画像は、予め記憶装置に記憶しているものとしたが、外部記憶装置を介してＣＤ−ＲＯＭ、ＤＶＤなどの記録媒体から読み込むこととしても良いし、インターネットなどの通信網を経由して取得するものとしても良い。
【００５８】
被写体の位置を認識する際に用いたｍ１、ｍ２は、人体の横幅を考慮した値であり、予め手動設定しておいても良いし、原画像に応じて、すなわちＸ５、Ｘ６、Ｙ５、Ｙ６の値に応じて、或いは顔認識の際に顔の向きを認識し顔の向きに応じて、適切な値を制御部１１が定めても良い。
【００５９】
目的の被写体の位置を認識するために、ここでは顔認識技術を用いたが、これに限定されるものではなく、抽出すべき被写体Ｆ２が原画像のどこに位置しているかを認識できるものであれば、他の技術手法を用いても良い。
【００６０】
原画像において、抽出する被写体Ｆ２と、他の被写体Ｆ１、Ｆ３とは横並びしているので、閾値の設定はＸ座標にのみ依存するとしたが、Ｙ座標にのみに依存しても良く、Ｘ座標、Ｙ座標の両座標値により変化するようにしても良い。Ｙ座標にのみに依存するのは、肩車や組体操のトーテムポールを撮影した画像から特定の人の画像を抽出する場合が考えられる。Ｘ座標、Ｙ座標の両座標値により変化させる場合は、特定の人の特定の部位（特定の人の上半身）のみを抽出する場合が、考えられる。
【００６１】
抽出する被写体はＦ２としたが、これに限定されるものではなく、他の被写体（Ｆ１、Ｆ３）を抽出することとしても良い。この場合、抽出する被写体を定めるための規則（例えば、横並びの場合には常に中央の人を抽出する）を予め定めておくか、複数の被写体から抽出する被写体をユーザが指定する処理が必要である。
【００６２】
被写体Ｆ２の画像を抽出するために２値化画像を用いたが、２値化画像を用いないで、原画像、デプスマップ及び閾値の設定情報を用いて抽出を行うことができる。各画素ごとに次の処理を行う。原画像から画素を取り出す。該画素に対応した奥行き値をデプスマップより取り出す。取り出した奥行き値と閾値とを比較し、奥行き値が閾値以下であれば、原画像から取り出した画素を出力画像の画素とする。奥行き値が閾値より大きければ、白をあらわす画素値を与えた画素を出力画像の画素とする。該処理をすべての画素に対して行うことにより、抽出する被写体Ｆ２を構成する画素のみが出力され、それ以外の位置の画素はすべて白となり、被写体Ｆ２の画像を抽出することができる。
【００６３】
同様な処理により、被写体Ｆ２の画像抽出と入替用画像との合成を行うことも可能である。すなわち、原画像、デプスマップ及び閾値の設定情報、入替用画像を用いて抽出を行うことができる。各画素ごとに次の処理を行う。原画像から画素を取り出す。該画素に対応した奥行き値をデプスマップより取り出す。取り出した奥行き値と閾値とを比較し、奥行き値が閾値以下であれば、原画像から取り出した画素を出力画像の画素とする。奥行き値が閾値より大きければ、取り出した画素に対応した入替用画像の画素を抽出し、該画素を出力画像の画素とする。該処理をすべての画素に対して行うことにより、抽出する被写体Ｆ２を構成する画素のみが出力され、それ以外の位置の画素は入替用画像から抽出した画素となり、被写体Ｆ２の抽出と入替用画像の合成が行える。
【００６４】
また、上述の実施の形態１においては、画像は静止画像であることを前提として説明したが、これに限られるのではなく動画像でも良い。静止画像は１フレームの画像で構成され、動画像は時系列順の複数フレームの画像で構成されるので、動画の場合、時系列順に連続する各フレームの映像に対して静止画像と同様の処理を行うものとする。また、該画像は、所定の符号化方式、例えばＪＰＥＧ（Joint Photographic Experts Group）、ＭＰＥＧ−２（Moving Picture Expert Group phase2）等で圧縮されたものであっても、非圧縮のものであっても良い。符号化された画像を扱う構成である場合、予め画像を所定の符号化方式に従って、例えばＲＧＢ形式やＹＵＶ形式の画像に復号し、復号して得た画像が画像処理装置１に入力されるものとする。以下に示す実施の形態及び変形例においても同様であり、画像は静止画像に限られるのではなく動画像でも良い。
【００６５】
（変形例１）
上述の実施の形態１において、閾値の設定は、図７に示したように矩形波のような形となっているが、これに限定されるものではない。図１３は、変形例１に係る閾値の設定を概念的に示す説明図であり、閾値を曲線となるように設定するものである。実施の形態１との相違は、閾値の設定方法であるから、以下では主に該相違点について説明する。
【００６６】
変形例１においては、閾値の設定を曲線するために、曲線が通過すべき点を複数求め、求めた複数の点すべてを通過する補間曲線を求めるものである。
図１３に示したように曲線が通過する点をＰ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５の５つの点とし、座標値をそれぞれ、Ｐ１（Ｘ２１，ｄ１）、Ｐ２（Ｘ２５，ｄ０）、Ｐ３（Ｘ２０，ｄ２）、Ｐ４（Ｘ２６，ｄ０）、Ｐ５（Ｘ２２，ｄ１）とする。
抽出する被写体Ｆ２の位置する範囲を示すＸ座標値Ｘ３、Ｘ４、奥行き値の下限値ｄ１、上限値ｄ２の求める方法は、上述した方法と同様であるので、省略する。
【００６７】
次に、Ｘ２０、Ｘ２１、Ｘ２２を以下の式（９）、（１０）、（１１）により求める。
Ｘ２０＝（Ｘ３＋Ｘ４）／２ （ｃ２３＞０）…（９）
Ｘ２１＝Ｘ３−ｃ２３ （ｃ２４＞０）…（１０）
Ｘ２２＝Ｘ４＋ｃ２４…（１１）
Ｘ３、Ｘ４、Ｘ２２、Ｘ２１の関係は、Ｘ２１＜Ｘ３＜Ｘ４＜Ｘ２２となる。
Ｘ２５は、Ｘ２１とＸ３との間の値を（Ｘ２１＜Ｘ２５＜Ｘ３）、Ｘ２６は、Ｘ４とＸ２２との間の値とをＸ２６とする（Ｘ４＜Ｘ２６＜Ｘ２２）。
【００６８】
Ｐ１からＰ５の座標値が求まったら、すべての点を通る補間曲線を求め、それを閾値の設定とする。補間曲線は、ラグランジェ補間、スプライン補間などの周知の補間法を用いて求める。閾値はＸ座標の値にのみ依存し、Ｘ座標が同一の場合においてはＹ座標の値に関わらず、同一の閾値を取る。図１３に示したＢ２が閾値曲線の例である。求めた閾値曲線に従って、被写体Ｆ２の画像を抽出することができる。その他の処理については、上記実施の形態１と同様であるので、省略する。
【００６９】
変形例１においても、上述した実施の形態１と同様に、抽出した被写体Ｆ２が、原画像とは異なる風景の中に立っているかのような画像を得ることができる。
【００７０】
なお、上述したｃ２３及びｃ２４の値は、実施の形態１におけるｃ３及びｃ４と同様に予め手動設定しておいても良いし、原画像に応じて制御部１１が定めても良い。
また、上述した実施の形態１と同様に閾値の設定はＸ座標にのみ依存するとしたが、Ｙ座標にのみ依存しても良く、Ｘ座標、Ｙ座標の両座標値により変化するようにしても良い。
【００７１】
（変形例２）
上述した実施の形態１において、閾値設定部に入力される距離情報は、デプスマップのように値と実際との距離が比例するものであったが、これに限られるものではなく、値と距離が反比例するようなディスパリティマップを距離情報としても良い。ディスパリティマップは、視差値を画像全体の画素毎に求めたものである。視差値とは、ステレオ画像において、対応する画素が左画像と右画像とで比較した場合にどの位ずれているかを示す値である。視差値は撮像装置２と被写体が近いほど大きな値を取り、撮像装置２と被写体が遠いほど小さな値となる。
したがって、上述した実施の形態１において、デプスマップに換えてディスパリティマップを距離情報として用いる場合は、値の大小関係が異なるのみで、他の部分は同様であるので、該相違点に関連する事項について、主に説明する。
【００７２】
図１４は、変形例２に係る閾値の設定を概念的に示す説明図である。制御部１１（閾値設定部）は、ディスパリティマップより、Ｘ座標値がＸ３からＸ４の値を取る全ての画素に対する視差値を取得する（Ｘ３＜Ｘ４）。次に、取得された値の平均値ｄ１０を求める。次に、ｄ１１、ｄ１２を以下の式（１２）、（１３）により求める。
ｄ１１＝ｄ１０＋ｃ１１ （ｃ１１＞０）…（１２）
ｄ１２＝ｄ１０−ｃ１２ （ｃ１２＞０）…（１３）
ｄ１０、ｄ１１、ｄ１２の値の関係は、ｄ１１＞ｄ１０＞ｄ１２となる。
また、Ｘ３よりＸ１、Ｘ２よりＸ４をそれぞれ求める方法は、上述した実施の形態１と同様であるので、省略する（Ｘ１＜Ｘ３＜Ｘ４＜Ｘ２）。
【００７３】
上述したように求めた値を用いて、閾値の設定を以下の式（１４）、（１５）とする。
閾値 ＝ｄ１１ （０≦Ｘ＜Ｘ１又はＸ≧Ｘ２のとき）…（１４）
閾値 ＝ｄ１２ （Ｘ１≦Ｘ＜Ｘ２のとき）…（１５）
閾値の設定はＸ座標にのみ依存し、Ｙ座標の値に関わらず上述したように設定を行う。このように設定した閾値を図に示したのが、図１４のＢ１１である。
【００７４】
制御部１１は、このような閾値の設定情報を、ＲＡＭ１１ｃに記憶する。この後の制御部１１での処理は、上述の実施の形態１と同様であるが、デプスマップとディスパリティマップとでは値の大小関係が逆になるので、２値化画像を生成する処理が異なる。すなわち、各画素それぞれについてディスパリティ値と設定された閾値とを比較し、ディスパリティ値が閾値以上であれば１を設定し、距離情報の値が閾値未満であれば０を設定する。
【００７５】
変形例２においては、距離情報としてディスパリティマップを用いている。ディスパリティマップを変換することなく、距離情報として用いることが可能であるので、デプスマップを用いた場合と同等な時間で閾値を設定する処理を行うことが可能となる。
【００７６】
なお、ｃ１１及びｃ１２は、ｃ１及びｃ２と同様、人体の厚みを考慮して定めるべき値であり、ｃ１３及びｃ１４は、ｃ３及びｃ４と同様、処理の誤差を考慮して定めるべき値である。ｃ１１からｃ１４のいずれの値についても、予め人が定めておいても良いし、原画像に応じて適切な値を制御部１１が設定することとしても良い。
【００７７】
また、変形例１についても、変形例２で説明したのと同様な変更を加えることにより、デプスマップに換えてディスパリティマップを距離情報として用いることが可能であることは、当業者であれば、自明なことである。
【００７８】
（実施の形態２）
実施の形態１において、制御プログラムは予めＲＯＭ１１ｂに記憶されているものとしたが、それに限られず外部より制御プログラムとしてのコンピュータプログラムを読み込むこととしても良い。
図１５は、本発明の実施の形態２に係る画像処理装置の構成例を示すブロック図である。本発明の実施の形態２に係る画像処理装置５は、本発明に係るコンピュータプログラム６ａを実行させることによって実現される。
【００７９】
画像処理装置５は、実施の形態１で示した画像処理装置１において、さらに、外部記憶装置１５と通信部１６とを備えている。実施の形態１と同一の構成については、同一の符号を付し、説明を省略する。
【００８０】
外部記憶装置１５は、発明の実施の形態に係るコンピュータプログラム６ａを記録した記録媒体６、例えばＣＤ−ＲＯＭからコンピュータプログラム６ａを読み取る。通信部１６は、発明の実施の形態に係るコンピュータプログラム６ａを、例えばインターネットなどの通信網Ｎを通じて取得する。なお、コンピュータプログラム６ａは、外部記憶装置１５を通じて記録媒体６から取得しても良いし、通信部１６を通じて通信網Ｎから取得しても良い。また、プログラムモジュールごとに記録媒体６又は通信網Ｎから取得するものとして、記録媒体６及び通信網Ｎの両方を用いてコンピュータプログラム６ａを取得することとしても良い。
【００８１】
制御部１１の処理手順は、図１１に示す通りであり、ステップＳ１１から１７の処理手順を実行する。該処理手順は、実施の形態１に係る画像処理装置１における処理内容と同様であるため、その詳細な説明を省略する。
【００８２】
実施の形態２に係る画像処理装置５及びコンピュータプログラム６ａにあっては、本実施の形態に係る画像処理装置として機能し、また本実施の形態に係る画像処理方法を実施させることができ、本発明の実施の形態１と同様の効果を奏する。
【００８３】
（実施の形態３）
実施の形態１においては、原画像の全体にわたり同じ閾値の設定で画像の抽出を行ったが、実施の形態３においては、原画像を複数の領域に分割し、各領域毎に画像の抽出を行う点が実施の形態１、２と異なる。ハードウェアの構成は実施の形態１と同様である。以下では、主に該相違点について説明する。
【００８４】
制御部１１（領域分割部）は、原画像を複数の領域に分割し、各領域を示す座標情報をＲＡＭ１１ｃに記憶する。
制御部１１（閾値設定部、抽出画像生成部）は、ＲＡＭ１１ｃに記憶された各領域を示す座標情報を基に、原画像を複数に分割し、分割された各領域画像毎に処理を行う。制御部１１は分割された各領域毎に特定の被写体を抽出するために閾値の設定を行い、ＲＡＭ１１ｃに閾値情報を記憶する。制御部１１は、ＲＡＭ１１ｃに記憶された各領域の座標情報、各領域の閾値情報を基に各領域毎に被写体の抽出を行い、抽出画像をＲＡＭ１１ｃに記憶する。制御部１１は、ＲＡＭ１１ｃに記憶された各領域を示す座標情報、各領域毎の抽出画像を基に、各領域毎の入替用画像と各領域毎の抽出画像とを合成する。制御部１１は、すべての領域についての合成が済んだ後に、すべての領域の合成画像を１つの画像としてつなぎ合わせ、原画像と同一の大きさの画像を表示インタフェース部１３を介して表示装置３に出力する。
【００８５】
図１６は、本発明の実施の形態３において画像の領域分割の例を示す説明図である。被写体Ｆ１１、Ｆ１２、Ｆ１３、Ｆ１４からなる画像において、領域を上下２つ（領域Ａ１、Ａ２）に分割するものとする。
【００８６】
図１７は、本発明の実施の形態３に係る画像処理装置１が実施する処理の流れを示すフローチャートである。制御部１１が原画像を撮像装置２から取得し、ＲＡＭ１１ｃに記憶する（Ｓ３１）。制御部１１が距離情報を撮像装置２から取得し、ＲＡＭ１１ｃに記憶する（Ｓ３２）。ユーザが画像の領域分割を指定したか否かを、制御部１１は判定する（Ｓ３３）。領域分割が指定された場合（Ｓ３３でＹＥＳの場合）は、各領域の座標をＲＡＭ１１ｃに記憶し、領域毎の処理を行う（Ｓ３４）。領域毎の処理については、後述する。次に、ＲＡＭ１１ｃに記憶された各領域毎の座標情報と合成画像を取得し、すべての合成画像を１つの画像としてつなぎ合わせ、原画像と同一の大きさの画像に合成し（Ｓ３５）、表示インタフェース部１３を介して表示装置３に出力して処理を終了する。領域分割が行われていない場合（Ｓ３３でＮＯの場合）は、Ｓ３６からＳ４０の処理を行い終了する。Ｓ３６からＳ４０の処理は、それぞれ、実施の形態１におけるＳ１３からＳ１７の処理（図１１）と同様であるので、説明を省略する。
【００８７】
図１８は、実施の形態３において分割された各領域に対して行われる処理の流れを示すフローチャートである。制御部１１は、各領域の座標情報をＲＡＭ１１ｃより取得する（Ｓ４１）。取得した各領域の座標情報から、制御部１１は、未処理領域の座標情報を抽出し、処理対像領域の座標情報とする（Ｓ４２）。制御部１１は、座標情報を基に処理対像領域に対応した距離情報をＲＡＭ１１ｃより読み出す（Ｓ４３）。制御部１１は、原画像の処理対像領域部分の画像、読み出した距離情報を基に閾値設定を行う（Ｓ４４）。閾値設定は、図１２に示した処理と同様である。すなわち、原画像のうち処理対像領域部分の画像に対して、閾値設定の処理を行う。制御部１１は、処理対像領域の座標情報及び閾値設定を基に、原画像の処理対像領域部分から被写体を抽出し、ＲＡＭ１１ｃに記憶する（Ｓ４５）。制御部１１は、処理対像領域に対応した入替用画像を外部機器又は図示しない記憶装置から取得する（Ｓ４６）。制御部１１は、ＲＡＭ１１ｃから読み出した抽出画像と、取得した入替用画像とを合成する（Ｓ４７）。制御部１１は、処理対像領域の座標情報と、合成画像を対応付けて、ＲＡＭ１１ｃに記憶する（Ｓ４８）。制御部１１は、全ての領域について処理が完了したか否かを判定する（Ｓ４９）。制御部１１は全ての領域について処理が終わっていない場合（Ｓ４９においてＮＯ）、Ｓ４２ヘ戻る。制御部１１は全ての領域について処理が終わっている場合（Ｓ４９においてＹＥＳ）、領域毎の処理を終了し、図１７のＳ３５に進む。
【００８８】
図１９は、本発明の実施の形態３において閾値設定の例を示す説明図である。図１９は、図１６に写っている被写体の前後関係を示すと共に、設定された閾値を示している。図１６に示した原画像の領域Ａ１に対しては、閾値曲線Ｂ３１を用い、領域Ａ２に対しては、閾値曲線Ｂ３２を用いることにより、領域Ａ１においては被写体Ｆ１３を、領域Ａ２においては被写体Ｆ１２をそれぞれ抽出することができる。閾値曲線Ｂ３１、Ｂ３２を求める手法としては、例えば、領域分割を行った場合には、各領域において、画像に占める面積が大きい人であって、より手前の人及びその人より更に手前の人を抽出するという規則を予め定めておく。パターンマッチング等の公知の技術を用いて、原画像内で人の認識を行い、各領域（Ａ１、Ａ２）において、上述した規則に該当する人の画像を抽出できるように閾値曲線を生成することにより、閾値曲線Ｂ３１、Ｂ３２を得ることが出来る。
【００８９】
図２０は、実施の形態３において出力画像の例を示す説明図である。図２０は、原画像を分割して得た２つの領域Ａ１、Ａ２のそれぞれにおいて、被写体Ｆ１２、被写体Ｆ１３を抽出後に、それぞれの領域において入替用画像を合成し、領域Ａ１と領域Ａ２の合成画像をつなぎ合わせ、原画像と同一の大きさの画像を合成したものである。実施の形態３においては、原画像に対して複数の領域を設定して被写体を抽出し、背景や被写体の間、被写体の前など任意の位置に任意の画像を入れ替えることが可能である。つまり、距離情報を利用することで２次元平面上に疑似的な３次元空間を作り出し、新たな画像表現が可能となる。
【００９０】
なお、上述の説明においては、原画像を上下に二分割したが、これに限定されず、左右に分割しても良く、領域の数についても３つ以上設定しても良い。また、領域の指定は、予め分割する領域の数及び配置を画像処理装置１に記憶しておき、それに基づき分割しても良いし、原画像の情報や、距離情報に基づいて、画像処理装置１が設定しても良い。あるいは、ユーザがマウスなどの操作装置４により指定しても良い。
【００９１】
（変形例３）
上述した実施の形態３においては、画像処理装置１が所定の規則に基づいて、領域の分割及び各領域毎の閾値の設定を行ったが、ユーザが同様の分割及び設定を行っても良い。本変形例においては、分割する領域の設定及び各領域ごとの閾値の設定をユーザが操作装置４を用いて行う。
図２１から図２３は、変形例３におけるユーザ操作画面２０の例を示す説明図である。ユーザ操作画面２０は画像処理装置１の表示インタフェース部１３を介して表示装置３に表示されるものである。図２１に示すようにユーザ操作画面２０は、処理画像表示部２１、ポインタ２２、視差値表示欄２３、閾値入力欄２４ａ、２４ｂ、原画像名表示欄２５ａ、ディスパリティマップ名表示欄２５ｂ、入替画像ａ表示欄２５ｃ、入替画像ｂ表示欄２５ｄ、選択ボタン２６ａ、２６ｂ、２６ｃ、及び２６ｄから構成されている。
【００９２】
処理画像表示部２１には、処理対像となる原画像が表示される。本変形例においては、被写体Ｆ２１、Ｆ２２、Ｆ２３からなる原画像及びポインタ２２が処理画像表示部２１に表示されている。原画像名表示欄２５ａは、処理したい画像の名前が表示される欄であり、選択ボタン２６ａを操作装置４で選択した場合、図示しない選択ウィンドウが開き、表示される画像一覧から処理したい画像を選択することにより、原画像名表示欄２５ａに、処理したい画像の名前が表示される。処理したい画像の名前が分かっている場合には、原画像名表示欄２５ａに画像の名前を直接入力することも可能である。ディスパリティマップ名表示欄２５ｂは、ディスパリティマップの名前が表示される欄である。原画像名と同様に選択ボタン２６ｂを操作装置４を用いて選択することにより表示される図示しない選択ウィンドウで原画像に対応したディスパリティマップを選択したり、ディスパリティマップ名表示欄２５ｂにディスパリティマップ名を直接入力することにより、処理に用いるディスパリティマップを指定する。入替画像ａ表示欄２５ｃ、入替画像ｂ表示欄２５ｄは、それぞれ入替画像名が表示される欄であり、それぞれに対して選択ボタン２６ｃ、２６ｄが対応している。入力方法については、原画像、ディスパリティマップと同様である。
【００９３】
視差値表示欄２３は、ユーザが指定した画素の視差値を表示する欄である。ポインタ２２により画像の任意の位置を指定し、マウスなどの操作装置４を用いて選択した場合、ポインタ２２が示している位置の視差値が視差値表示欄２３に表示される。閾値入力欄２４ａ及び閾値入力欄２４ｂは、被写体画像を抽出する際に用いる視差値の閾値を入力する欄である。
【００９４】
次に、ユーザの操作について説明する。まず、ユーザは領域の指定を行う。図２１に示した例では、領域Ａ３が設定されている。このとき領域を設定しないことも可能であり、その場合には画像全体を一つの領域として選択したことと等しい。領域指定は四角や丸みのある図形を使用しても良いし、マウスなどの操作装置４を使用してフリーハンドで決定しても良い。
【００９５】
ポインタ２２により、抽出したい被写体Ｆ２２を選択すると、視差値表示欄２３に選択した位置の視差値１２７が表示される。この視差値を基準に、ユーザは設定領域Ａ３内における閾値を決定し、閾値入力欄２４ａにその閾値を入力する。例えば、被写体Ｆ２２の視差値よりも小さな値、つまり被写体Ｆ２２の後ろの視差値が閾値となるよう設定する。ここでは被写体Ｆ２２の視差値が１２７であるので閾値を１００と設定している（図２３）。さらに、設定領域Ａ３以外の領域の閾値も決定し、閾値入力欄２４ｂにその閾値を入力する。例えば、被写体Ｆ２１の視差値よりも小さな値、つまり被写体Ｆ２１の後ろの視差値が閾値となるよう設定する。ここでは図２２に示したように被写体Ｆ２１の視差値が６４であるため閾値を５０と設定している（図２３）。また、領域設定を行っていない場合には、閾値入力欄２４ａに閾値を入力すれば、画像全体を一つの領域として閾値が設定される。
【００９６】
以上のように閾値を設定することで、図２２に示すように被写体Ｆ２１、Ｆ２２を抽出することができる。設定領域Ａ３内では被写体Ｆ２２が、設定領域Ａ３以外の領域では被写体Ｆ２１の身体の一部が抽出され、背景被写体Ｆ２３を除いた画像が、処理画像表示部２１に表示される。
【００９７】
続いて、設定領域Ａ３の閾値入力欄２４ａで入力した閾値の距離に相当する位置に、入替画像ａ表示欄２５ｃで指定された画像が挿入される。すなわち、設定領域Ａ３において、入替画像ａ表示欄２５ｃで指定された画像が被写体Ｆ２２の背景画像となる。また、設定領域Ａ３以外の領域において、閾値入力欄２４ｂで入力した閾値の距離に相当する位置に、入替画像ｂ表示欄２５ｄに指定された画像が挿入される。すなわち、設定領域Ａ３以外の領域において、入替画像ｂ表示欄２５ｄで指定された画像が被写体Ｆ２１の背景画像となる。図２３に示したように、処理画像表示部２１には背景画像が入れ替わった合成画像が表示されている。この作成した画像は図示しない記憶装置に保存して表示装置３に表示しても良い。
【００９８】
このように、例えばＧＵＩ（Graphical User Interface）を利用することで、保持していた画像と距離情報（視差情報）を用いてユーザが自由に画像処理を行い、その画像を任意の表示装置に表示することが可能である。本実施の形態では、例として選択領域内領域とそれ以外の領域の二つに分け、閾値を設定し画像入替を行う方法を述べたが、これを拡張すれば、選択領域を増やしそれぞれに閾値を設定し、画像を入れ替えることも可能である。また、閾値は一つの領域（面）で一つの値を設定したが、一つの領域内でも図１３に示した閾値曲線Ｂ２のように閾値を変化させることで、抽出する範囲をさらに限定することも可能である。
【００９９】
（実施の形態４）
図２４は、本発明の実施の形態４に係る撮像装置の構成例を示すブロック図である。本実施の形態４に係る撮像装置７は、本発明の撮像装置の一例であり、実施の形態１に係る画像処理装置１において、さらに、撮像部１７、測距部１８、入替用画像記憶部１９を備える。上述した実施の形態１における画像処理装置１と同一のものについては、同一の符号を付し説明を省略する。
【０１００】
撮像部１７は、人物や背景などの被写体を撮像し画像を出力するものであり、受光した光を電気信号に変え画像とするＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子や、被写体からの光を撮像素子に集光するためのレンズなどの光学系を備えている。撮像部１７は撮像した画像を制御部１１（閾値設定部、抽出画像生成部）に出力する。測距部１８は、撮像装置７と被写体の距離を測定するもので、ＴＯＦ（Time of Flight）などの測距手法により、被写体までの距離を測定し、測定結果を制御部１１（距離情報補間部）に出力する。制御部１１は測距部１８から取得した複数の距離情報について補間処理を行い、原画像の複数位置それぞれの奥行き方向の距離に係る距離情報を算出する。
【０１０１】
入替用画像記憶部１９は、原画像より抽出した被写体画像と合成する入替用画像を記憶するものである。制御部１１に入替用画像を出力する。撮像装置７のその他の動作については、上述した実施の形態１における画像処理装置１の動作と同様であるので、省略する。
【０１０２】
上述したように、本実施の形態における撮像装置７は、撮像部１７、測距部１８を備えているので、ユーザは別途、撮像装置を用意しなくても、原画像及び原画像に対応した距離情報を取得できる。また、ユーザは入替用画像記憶部１９記憶された入替用画像を利用できるため、別途、入替用画像を用意することなく、画像処理を行うことが出来る。
【０１０３】
（実施の形態５）
図２５は、本発明の実施の形態５に係る撮像装置の構成を示すブロック図である。本実施の形態に係る撮像装置８は、本発明の撮像装置の一例であり、実施の形態１に係る画像処理装置１において、さらに、一組の撮像部１７ａ、１７ｂ、入替用画像記憶部１９を備える。上述した実施の形態１における画像処理装置１と同一の構成については、同一の符号を付し、構成や各部の動作については、説明を省略する。
【０１０４】
撮像部１７ａ、１７ｂはステレオ配置されている。ステレオ配置とは、撮像部１７ａ、１７ｂの二つの撮像部を横並びに光軸が略平行となるよう並べた配置を言う。本実施の形態では、例として二つの撮像部１７ａ、１７ｂには同じ構成のものを用いるが、二つの撮像部１７ａ、１７ｂで同領域を撮像し、画素間の対応を取ることが可能であれば、解像度や画角など構成の異なる撮像部を用いても構わない。撮像部１７ａ、１７ｂは、それぞれ人物や背景などの被写体を撮像し画像を出力するものであり、受光した光を電気信号に変え画像とするＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子、被写体からの光を撮像素子に集光するためのレンズなどの光学系を備えている。撮像部１７ａは撮像した画像を、制御部１１（距離算出部、閾値設定部、抽出画像生成部）に出力し、撮像部１７ｂは撮像した画像を制御部１１に出力する。
【０１０５】
制御部１１は撮像部１７ａ、１７ｂより受け取った２つの画像から、撮像装置８と被写体の距離を算出し、算出した距離に基づいて、デプスマップを生成する。続いて、制御部１１は必要に応じてデプスマップの補正を行い、補正後のデプスマップをＲＡＭ１１ｃに記憶する。入替用画像記憶部１９は、原画像より抽出した被写体画像と合成する入替用画像を記憶するものであり、制御部１１に入替用画像を出力する。その他の動作については、上述した実施の形態１と同様であるので、省略する。
【０１０６】
なお、ここでは、二つの撮像部１７ａ、１７ｂが左右方向に配置されているものとしたが、上下方向に配置されていても視差値の算出が可能である場合は、撮像画像の走査を水平方向に代えて垂直方向にすれば良い。また、視差値から距離を算出した例を示したが、距離を算出せずに視差値を距離情報とすることも可能である。この場合においては、制御部１１はデプスマップではなくディスパリティマップを生成することとなる。また、撮像装置８の動作は、上述の実施の形態１の変形例２において示した動作と同様である。
【０１０７】
上述したように、本実施の形態における撮像装置８は、撮像部１７ａ、１７ｂを備えているので、実施の形態４同様に、ユーザが別途、撮像装置を用意しなくても、原画像及び原画像に対応した距離情報を取得できる。また、ユーザは入替用画像記憶部１９に記憶された入替用画像を利用できるため、別途、入替用画像を用意することなく、画像処理を行うことが出来る。
【０１０８】
（実施の形態６）
上述した実施の形態において、画像処理装置１、５は、画像処理装置単体として、説明したが、画像処理装置１、５を他の機器、例えば、テレビジョン受像機、携帯電話機又はパーソナルコンピュータ（ＰＣ）等の情報処理装置に組み込むことも可能である。
図２６は、本発明の実施の形態６に係るテレビジョン受像機の構成例を示すブロック図である。実施の形態６に係るテレビジョン受像機９は、制御部１１、外部インタフェース部１２、チューナ部９１、信号処理部９２、音声出力部９３、表示部９４、及び操作部９５を備える。テレビジョン受像機９は、実施の形態１に係る画像処理装置１を組み込んだものである。なお、画像処理装置１と同様な構成については、同じ符号を付している。
【０１０９】
制御部１１は、ＣＰＵ１１ａがＲＯＭ１１ｂに予め格納されている制御プログラムをＲＡＭ１１ｃに読み出して実行することにより、テレビジョン受像機９が備えるハードウェア各部の動作を制御して装置全体を本発明の画像処理装置として機能させる。
外部インタフェース部１２の機能は、画像処理装置１が備える外部インタフェース部１２と同様なので、説明を省略する。
【０１１０】
チューナ部９１は、デジタルの放送信号を受信するためのデジタルチューナであり、アンテナＡＮに接続されている。チューナ部９１は、例えば操作部９５を介してユーザにより選択された放送チャンネルに応じて、アンテナＡＮが受信した電波を検波し、得られた放送波から放送信号を取得し、取得した放送信号を信号処理部９２へ送出する。
【０１１１】
信号処理部９２は、チューナ部９１が取得した放送信号を映像信号（ＲＧＢ信号（Ｒ：赤、Ｇ：緑、Ｂ：青））及び音声信号に分離する。信号処理部９２は、分離した音声信号に対して所定の復号伸張処理を実行し、得られた音声信号を音声出力部９３へ送出する。音声出力部９３は、信号処理部９２から送出されてきた音声信号を増幅し、音声信号に基づく音声を図示しないスピーカーにて出力する。
【０１１２】
信号処理部９２は、分離した映像信号に対して所定の復号伸張処理を実行する。信号処理部９２は、復号伸張処理により得られた映像信号（Ｙ信号及びＣ信号）をＲＧＢの映像信号（ＲＧＢ信号）に変換後、映像信号の各色成分毎に、各画素の入力階調（輝度）を、各入力階調に応じた出力階調（出力輝度）に変換し、得られた映像信号（出力階調）を表示部９４へ送出する。
【０１１３】
表示部９４は、画像処理装置１が備えている表示インタフェース部１３と表示装置３とを一体としたものである。テレビジョン受像機９が通常のテレビジョン受像機として機能する場合、表示部９４は、信号処理部９２から送出されてきた映像信号を所定のタイミングに従って表示部９４が備える液晶モジュール等に表示させる。
テレビジョン受像機９が画像処理装置として機能する場合には、表示部９４は、原画像、抽出画像、合成画像又は操作画面を表示する。
【０１１４】
操作部９５は、画像処理装置１が備えている操作インタフェース部１４と操作装置４を一体化したものである。テレビジョン受像機９を通常のテレビジョン受像機として機能させるか、画像処理装置として機能させるかの機能切替操作を受付ける。
テレビジョン受像機９が通常のテレビジョン受像機として機能する場合、操作部９５は、放送チャンネルの選択、音量のコントロールなどの操作を受付ける。
テレビジョン受像機９が画像処理装置として機能する場合には、原画像の選択、デプスマップの選択、分割領域の指定などを行う。
分割領域の指定を行う場合は、操作部９５が備える十字ボタン（上方向ボタン、下方向ボタン、右方向ボタン、左方向ボタン、決定ボタン等からなる操作ボタン）を用いる。
【０１１５】
テレビジョン受像機９が、画像処理装置として機能する場合の動作は、上述した実施の形態１に係る画像処理装置１と同様であるので、説明を省略する。
本実施の形態と同様にして、上述した変形例１、変形例２、実施の形態２、実施の形態３及び変形例３に係る画像処理装置をテレビジョン受像機に組み込むことができる。
そして、実施の形態１、変形例１、変形例２、実施の形態２、実施の形態３及び変形例３に係る画像処理装置と同様の効果を奏する。
【０１１６】
（実施の形態７）
上述の実施の形態６と同様に、撮像装置7、８を撮像装置単体ではなく、テレビジョン受像機、携帯電話機又はパーソナルコンピュータ（ＰＣ）等の情報処理装置に組み込むことが可能である。実施の形態６との違いは、組み込む装置が画像処理装置であるか、撮像装置であるかの違いのみであるので、以下では、主に相違点について説明する。
図２７は、本発明の実施の形態７に係るテレビジョン受像機の構成例を示すブロック図である。実施の形態７に係るテレビジョン受像機１０は、制御部１１、撮像部１７、測距部１８、入替用画像記憶部１９、チューナ部９１、信号処理部９２、音声出力部９３、表示部９４、及び操作部９５を備える。テレビジョン受像機１０は、実施の形態４に係る撮像装置７を組み込んだものである。なお、撮像装置７又はテレビジョン受像機９と同様な構成については、それぞれ同じ符号を付している。
【０１１７】
制御部１１は、撮像装置７が備える制御部１１と同様な機能を有すると共に、テレビジョン受像機１０を、通常のテレビジョン受像機として機能させるための制御を行う。
撮像部１７、測距部１８、及び入替用画像記憶部１９の機能は、それぞれ撮像装置７の備える撮像部１７、測距部１８、及び入替用画像記憶部１９と同様であるので、説明を省略する。
同様に、チューナ部９１、信号処理部９２、音声出力部９３及び表示部９４の機能は、それぞれ実施の形態６に係るテレビジョン受像機９と同様であるので、説明を省略する。
【０１１８】
操作部９５は、上述のテレビジョン受像機９と同様な機能を有すると共に、ユーザからのシャッターを切るなどの撮像部へのコマンドを受け、制御部１１に送信する機能を備える。
テレビジョン受像機１０が、撮像処理装置として機能する場合の動作は、上述した実施の形態４に係る撮像装置７と同様であるので、説明を省略する。
本実施の形態と同様にして、上述した実施の形態５に係る撮像装置８をテレビジョン受像機に組み込むことができる。
そして、実施の形態４及び５に係る撮像装置と同様の効果を奏する。
【０１１９】
なお、上述した実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上述した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１２０】
１、５ 画像処理装置
７、８ 撮像装置
１１ 制御部
１１ａ ＣＰＵ
１１ｂ ＲＯＭ
１１ｃ ＲＡＭ
１２ 外部インタフェース部
１３ 表示インタフェース部
１４ 操作インタフェース部
１５ 外部記憶装置
１６ 通信部
１７、１７ａ、１７ｂ 撮像部
１８ 測距部
１９ 入替用画像記憶部
２ 撮像装置
３ 表示装置
４ 操作装置
６ 記録媒体
６ａ コンピュータプログラム
Ｎ 通信網
２０ ユーザ操作画面
２１ 処理画像表示部
２２ ポインタ
２３ 視差値表示欄
２４ａ、２４ｂ 閾値入力欄
２５ａ 原画像名表示欄
２５ｂ ディスパリティマップ名表示欄
２５ｃ 入替画像ａ表示欄
２５ｄ 入替画像ｂ表示欄
２６ａ、２６ｂ、２６ｃ、２６ｄ 選択ボタン
９、１０ テレビジョン受像機
【技術分野】
【０００１】
本発明は、原画像の一部を抽出し、抽出画像と他の画像とを画像合成する画像処理装置、画像処理方法、プログラム、撮像装置、及びテレビジョン受像機に関する。
【背景技術】
【０００２】
撮像装置で静止画又は動画を取得した際、風景を撮影した画像や記念撮影として取得した画像は、被写体だけを抽出して背景を入れ替える処理及びその他の処理は通常不要である。
それに対し、取得した画像をそのまま用いるのではなく、特定の被写体を抽出し、背景画像などそれ以外の部分の画像を入れ替えたいという要望も存在する。例えば、テレビ電話やテレビ会議においては、お互いの顔が双方で表示されれば良いのであり、背景画像は基本的に不要である。特に、背景となるエリアが整然と整理されていない場合は、背景画像を取り除くことが望ましい。
また、プリントシール機などのように自分自身を撮影し文字や模様などで装飾した画像をシールとしてプリントする機械では、機械そのものに背景を遮断すべくカーテンが取り付けられている。これは邪魔な背景が写り込まないようにするためで、背景と人物を分離したいという要求は多い。
このような背景より、画像から特定の被写体を抽出し背景と分離する手法が提案されている。
【０００３】
例えば、一種類の色（青色）を背景として人物などの被写体を撮影し、背景色と異なる色の部分のみを抽出することにより、被写体のみの抽出を可能とするクロマキー技術や、予め背景のみの画像を取得しておき、背景と被写体を撮影した画像と、背景のみの画像との差分をとることにより、被写体のみの画像を得る手法である。
【０００４】
また、カメラから対像物までの距離を取得する装置を採用し、取得した距離から、求めた奥行き値を用いる手法もある。奥行き値とは、画像を構成する複数の画像部分それぞれの奥行き方向の距離を示した値である。奥行き値は、例えば、被写体と、撮像に用いた撮像装置との距離を用いて算出される。撮像装置及び各被写体間の距離を計測する手法は、例えばＴＯＦ（Time Of Flight）方式、ステレオ方式などがある。
【０００５】
ＴＯＦ方式は、ＬＥＤ（Light Emitting Diode）などの光源から赤外線など眼に見えない光を照射し、その光が被写体などに当たり反射して返ってくる飛行時間を計測することで距離を測距するものである。その計測を細かく分割された領域毎に計測することで、一点だけでなく被写体の様々な部分の測距が可能となる。
なお、飛行時間の測定は、レーザ光をパルス照射し、パルスを発射してから反射光が戻ってくるまでの時間を計測する方法や、照射する赤外線を変調し、照射したときの位相と、反射光との位相差から算出する方法などがある。
【０００６】
ステレオ方式は、略平行に並べた二台の撮像装置で同じ領域を撮像し、得られた２つの画像において対応する画素の視差を求め、視差を基に距離を算出するものである。その他の計測方式としては、照射した赤外線の強度及び反射光との強度から距離を計測するものがある。
【０００７】
ステレオ方式において、２つの画像において対応する画素を求めることをステレオマッチングという。例えば、次のような処理を行う。一方の撮像画像のある画素について、他方の撮像画像上を水平方向に走査することで画素マッチングを行う。画素マッチングは注目画素を中心としたブロック単位で行われ、ブロック内の画素の絶対値差分の総和をとるＳＡＤ（Sum of Absolute Difference）を計算し、ＳＡＤの値が最小となるブロックを決定することで、一方の撮像画像の注目画素に対応する他方の撮像画像上の画素を求める。ＳＡＤによる計算手法以外に、ＳＳＤ（Sum of Squared Intensity Difference）やグラフカット、ＤＰ（Dynamic Programming）マッチングといった計算手法もある。対応画素が求まることでその画素の視差値が算出可能となる。
【０００８】
一方の撮像画像の全画素について行うことで、全画素の視差値を算出し、２つの撮像装置の位置関係と視差値を用いて三角測量を行うことで、撮像装置から被写体までの距離が算出できる。また、二つの撮像部が左右方向でなく、上下方向に配置されていても視差値の算出が可能で、その場合は撮像画像の走査を水平方向に代えて垂直方向にすれば良い。
【０００９】
図２８及び図２９は、従来技術による画像抽出の例を示す説明図である。図２８に示すように被写体Ｆ３１、Ｆ３２、Ｆ３３、Ｆ３４からなる画像より、被写体Ｆ３３を抽出するものとする。図２９は被写体Ｆ３１からＦ３４の位置関係を示す図であり、図２９から分かるようにＦ３３が最も手前に位置している。
【００１０】
図３０は撮像装置と被写体との距離情報を概念的に示す説明図である。デプスマップ（Depth Map）と言われるものを概念的に示したもので、通常は画素毎に対応付けられた奥行き値を２５６階調の白黒画像を用いて表すが、ここではわかり易くするために、ハッチングを用いて表示している。
図３０の例では、奥行き値は距離が短い順に１、２、…、５の昇順の数字で示している。ハッチングと奥行き値との対応関係から明らかなように、被写体Ｆ３３が最も手前に位置し、被写体Ｆ３４が最も奥に位置するという図２９に示された位置関係が表現されている。
【００１１】
図２８に示した画像より、例えば、被写体Ｆ３３のみを抽出したい場合、図２９に示した点線Ｂ０で表した奥行きを閾値として、該閾値よりも小さい奥行き値を持つ部分（手前側の部分）を抽出すべき被写体とし、該閾値よりも大きい奥行き値を持つ部分（奥の部分）を背景として抽出することにより、被写体Ｆ３３とそれ以外の被写体Ｆ３１、Ｆ３２、Ｆ３４、及び背景を分離することができる。
【００１２】
特許文献１には、撮像範囲の撮像対像を撮像することにより撮像画像を得て、同時に撮像範囲の中で撮像対像までの距離を複数点にわたって測定することにより、撮像画像に対応した距離分布を表現する距離情報を得て、距離情報にもとづいて、撮像範囲の中で人物と背景とを分離し、撮像画像の中から人物の画像のみを抽出する手法が開示されている。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特開２００１−１６７２７６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１４】
しかしながら、クロマキー技術や背景画像との差分をとる手法は、撮影環境が制限されたり、事前の準備が必要である。特許文献１に係る手法は、ある奥行きより手前に存在する被写体と、それより奥に存在する背景とを距離情報（奥行き値）を見ることで分離、抽出することが可能であるが、同じ奥行きに存在する被写体を切り分けて背景と分離することはできない。複数の人物がカメラから同じ奥行きに存在する場合、仮に一人を抽出しようとしても同じ奥行きに存在する別の人物も抽出される。また、画像に存在する全く関係のない別の被写体であっても、抽出しようとする人物の奥行きと関係のない別の被写体の奥行きとが同じ値である場合、抽出しようとする人物と一緒に抽出されるという問題があった。
【００１５】
本発明は、上述のごとき実情に鑑みてなされたものであり、事前の準備を必要とせず、奥行きの同じ被写体が画像に複数存在していても、特定の被写体のみを抽出することが可能な画像処理装置、撮像装置又はテレビジョン受像機、上記画像処理装置における画像処理方法、及びコンピュータを上記画像処理装置として動作させるためのプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１６】
本発明に係る画像処理装置は、画像上の複数位置それぞれに画像の奥行き方向の距離に係る距離情報を有する原画像と、原画像の一部と入れ替わる入替用画像とを取得し、取得した原画像の一部を抽出した抽出画像と前記入替用画像とを画像合成する画像処理装置において、前記距離情報に対する閾値を原画像上の位置それぞれに基づいて設定する閾値設定部と、設定した閾値及び前記距離情報に基づいて、前記抽出画像を生成する抽出画像生成部とを備えることを特徴とする。
【００１７】
本発明に係る画像処理装置は、前記抽出部により抽出されなかった画像部分を前記入替用画像に入れ替えるように構成したことを特徴とする。
【００１８】
本発明に係る画像処理装置は、前記原画像を複数の領域に分割する領域分割部をさらに備え、前記閾値設定部は、分割した領域毎に閾値を設定し、前記抽出画像生成部は、分割した領域毎に抽出画像を生成することを特徴とする。
【００１９】
本発明に係る画像処理装置は、前記原画像を複数の領域に分割する領域分割部をさらに備え、前記閾値設定部は、分割した領域毎に閾値を設定し、前記抽出画像生成部は、分割した領域毎に抽出画像を生成し、前記入替用画像を複数取得し、分割した領域毎に異なる入替用画像を用いることを特徴とする。
【００２０】
本発明に係る画像処理方法は、画像上の複数位置それぞれに画像の奥行き方向の距離に係る距離情報を有する原画像と、原画像の一部と入れ替わる入替用画像とを取得し、取得した原画像の一部を抽出した抽出画像と前記入替用画像とを画像合成する画像処理方法において、前記距離情報に対する閾値を原画像上の位置それぞれに基づいて設定するステップと、設定した閾値及び前記距離情報に基づいて、前記抽出画像を生成するステップとを備えることを特徴とする。
【００２１】
本発明に係るプログラムは、コンピュータに、画像上の複数位置それぞれに画像の奥行き方向の距離に係る距離情報を有する原画像と、原画像の一部と入れ替わる入替用画像とを取得させ、取得させた原画像の一部を抽出した抽出画像と前記入替用画像とを画像合成させるプログラムにおいて、前記コンピュータに、前記距離情報に対する閾値を前記原画像上の位置それぞれに基づいて設定するステップと、設定した閾値と前記距離情報に基づいて、前記抽出画像を生成するステップとを実行させることを特徴とする。
【００２２】
本発明に係る撮像装置は、被写体を撮像する撮像部と、入替用画像を記憶する入替用画像記憶部とを備え、撮像した画像の一部を抽出した抽出画像と、撮像した画像の一部と入れ替わる入替用画像とを画像合成する撮像装置において、前記被写体までの距離を複数位置について測定する測距部と、前記測距部で測定した複数位置の距離値を補間することにより、前記撮像した画像上の複数位置それぞれに画像の奥行き方向の距離に係る距離情報を算出する距離情報補間部と、前記距離情報に対する閾値を前記撮像した画像上の位置それぞれに基づいて設定する閾値設定部と、設定した閾値及び前記距離情報に基づいて、前記抽出画像を生成する抽出画像生成部とを備えることを特徴とする。
【００２３】
本発明に係る撮像装置は、被写体を撮像する複数の撮像部と、入替用画像を記憶する入替用画像記憶部とを備え、撮像した画像の一部を抽出した抽出画像と、撮像した画像の一部と入れ替わる入替用画像とを画像合成する撮像装置において、前記複数の撮像部それぞれが撮像した複数の画像を用いて、前記撮像した画像上の複数位置それぞれに画像の奥行き方向の距離に係る距離情報を算出する距離情報算出部と、前記距離情報に対する閾値を前記撮像した画像上の位置それぞれに基づいて設定する閾値設定部と、設定した閾値及び前記距離情報に基づいて、前記抽出画像を生成する抽出画像生成部とを備えることを特徴とする。
【００２４】
本発明に係るテレビジョン受像機は、上記のいずれか一項に記載の画像処理装置と、テレビジョン放送を受信するチューナ部と、該チューナ部が受信したテレビジョン放送に係る画像を表示する表示部とを備え、該表示部は前記画像処理装置が取得、抽出、生成又は合成した画像を表示するようにしてあることを特徴とする。
【００２５】
本発明に係るテレビジョン受像機は、上記のいずれか一項に記載の撮像装置と、テレビジョン放送を受信するチューナ部と、該チューナ部が受信したテレビジョン放送に係る画像を表示する表示部とを備え、該表示部は前記撮像装置が撮像、抽出、生成又は合成した画像を表示するようにしてあることを特徴とする。
【００２６】
本発明にあっては、距離情報に対する閾値を原画像上の位置それぞれに基づいて設定し、設定した閾値及び前記距離情報に基づいて、抽出画像を生成するので、奥行き値の同じ被写体が複数あっても、特定の被写体が存在する画像上の位置での閾値と、その他の被写体が存在する画像の位置での閾値とは異なる値を設定するため、特定の被写体のみの画像を抽出することが可能となる。
【００２７】
本発明にあっては、抽出されなかった画像部分を入替用画像とするように構成されている。従って、原画像の背景画像を入替用画像とした新たな画像を生成することが可能となる。
【００２８】
本発明にあっては、原画像を複数の領域に分割し、分割した領域毎に閾値を設定し、分割した領域毎に抽出画像を生成する。複数の被写体を抽出したい場合に、抽出したい被写体毎に領域を分割することにより、容易に複数の被写体を抽出することが可能となる。
【００２９】
本発明にあっては、原画像を複数の領域に分割し、分割した領域毎に閾値を設定し、分割した領域毎に抽出画像を生成し、入替用画像を複数取得し、分割した領域毎に異なる入替用画像を用いて画像合成をおこなう。従って、被写体毎に異なる背景画像を合成した画像を生成することが可能となる。
【００３０】
本発明にあっては、距離情報に対する閾値を撮像した画像上の位置それぞれに基づいて設定する閾値設定部と、設定した閾値及び前記距離情報に基づいて、撮像した画像の一部を抽出し、抽出画像を生成する抽出画像生成部とを備える。閾値を撮像した画像上の位置それぞれに基づいて設定するので、奥行き値の同じ被写体が複数あっても、特定の被写体が存在する画像の位置での閾値と、その他の被写体が存在する画像の位置での閾値とは異なる値を設定するため、特定の被写体のみの画像を抽出することが可能となる。
【００３１】
本発明にあっては、距離情報に対する閾値を撮像した画像上の位置それぞれに基づいて設定する閾値設定部と、設定した閾値及び前記距離情報に基づいて、撮像した画像の一部を抽出し、抽出画像として出力する抽出画像生成部とを備える。閾値を撮像した画像の位置それぞれに基づいて設定するので、奥行き値の同じ被写体が複数あっても、特定の被写体が存在する画像の位置での閾値と、その他の被写体が存在する画像の位置での閾値とは異なる値を設定するため、特定の被写体のみの画像を抽出することが可能となる。
【００３２】
本発明にあっては、テレビジョン受像機は上記のいずれか一項に記載の画像処理装置または上記のいずれか一項に記載の撮像装置を備えるので、外部機器から受け付けた原画像又は撮像部で取得した原画像において、奥行き値の同じ被写体が複数あっても、特定の被写体が存在する画像の位置での閾値と、その他の被写体が存在する画像の位置での閾値とは異なる値を設定するため、特定の被写体のみの画像を抽出することが可能となる。
【発明の効果】
【００３３】
本発明によれば、原画像又は撮像した画像において同一の奥行きに位置する被写体が複数あっても、特定の被写体の画像のみを原画像又は撮像した画像より抽出することができる。
【図面の簡単な説明】
【００３４】
【図１】本発明の実施の形態１に係る画像処理装置のハードウェア構成を示すブロック図である。
【図２】原画像の一例を示す説明図である。
【図３】原画像における被写体の位置関係を示す説明図である。
【図４】原画像に対応したデプスマップを示す説明図である。
【図５】デプスマップのデータ構造を概念的に示す説明図である。
【図６】抽出範囲を概念的に示す説明図である
【図７】閾値の設定を概念的に示す説明図である。
【図８】抽出画像の一例を示す説明図である。
【図９】表示される合成画像の一例を示す説明図である。
【図１０】被写体を顔認識により認識する場合の説明図である。
【図１１】画像処理装置が実施する画像処理方法の流れを示すフローチャートである。
【図１２】画像処理装置が実施する閾値設定処理の流れを示すフローチャートである。
【図１３】変形例１に係る閾値の設定を概念的に示す説明図である。
【図１４】変形例２に係る閾値の設定を概念的に示す説明図である。
【図１５】本発明の実施の形態２に係る画像処理装置の構成例を示すブロック図である。
【図１６】本発明の実施の形態３において画像の領域分割の例を示す説明図である。
【図１７】本発明の実施の形態３に係る画像処理装置が実施する処理の流れを示すフローチャートである。
【図１８】本発明の実施の形態３において分割された各領域に対して行われる処理の流れを示すフローチャートである。
【図１９】本発明の実施の形態３において閾値設定の例を示す説明図である。
【図２０】本発明の実施の形態３において出力画像の例を示す説明図である。
【図２１】変形例３におけるユーザ操作画面の例を示す説明図である。
【図２２】変形例３におけるユーザ操作画面の例を示す説明図である。
【図２３】変形例３におけるユーザ操作画面の例を示す説明図である。
【図２４】本発明の実施の形態４に係る撮像装置の構成例を示すブロック図である。
【図２５】本発明の実施の形態５に係る撮像装置の構成例を示すブロック図である。
【図２６】本発明の実施の形態６に係るテレビジョン受像機の構成例を示すブロック図である。
【図２７】本発明の実施の形態７に係るテレビジョン受像機の構成例を示すブロック図である。
【図２８】従来技術による画像抽出の例を示す説明図である。
【図２９】従来技術による画像抽出の例を示す説明図である。
【図３０】撮像装置と被写体との距離情報を概念的に示す説明図である。
【発明を実施するための形態】
【００３５】
（実施の形態１）
以下に、本発明の実施の形態１を、図面を用いて説明する。
図１は、本発明の実施の形態１に係る画像処理装置のハードウェア構成を示すブロック図である。実施の形態１に係る画像処理装置１は、制御部１１、外部インタフェース部１２、表示インタフェース部１３、及び操作インタフェース部１４を備える。
【００３６】
制御部１１は、演算を行なうＣＰＵ（Central Processing Unit ）１１ａ、ＣＰＵ１１ａが行なう演算の制御手順を示す制御プログラム等を記憶したＲＯＭ（Read Only Memory）１１ｂ、ＣＰＵ１１ａが行なう演算に伴う一時的な情報を記憶するＲＡＭ（Random Access Memory）１１ｃ等を備える。
そして、制御部１１は、ＣＰＵ１１ａがＲＯＭ１１ｂに予め格納されている制御プログラムをＲＡＭ１１ｃに読み出して実行することにより、本発明の閾値設定部、抽出画像生成部として機能する。
【００３７】
外部インタフェース部１２は、ＵＳＢ（Universal Serial Bus）コネクタ、ＨＤＭＩ（High-Definition Multimedia Interface）コネクタ又はＩＥＥ１３９４コネクタを備え、例えば、デジタルカメラとレーザレンジファインダーとから構成される測距機能を持った撮像装置２が接続される。撮像装置２より外部インタフェース部１２を介して、制御部１１は、原画像と該画像に対応した距離情報を受け付ける。受け付けた原画像と該画像に対応した距離情報は、制御部１１により、ＲＡＭ１１ｃに記憶される。
【００３８】
表示インタフェース部１３は、テレビジョン受像機などの表示装置３と接続され、ユーザ操作画面や処理対像となる原画像、画像処理後の画像などを表示装置３に表示させる。
操作インタフェース部１４は、キーボード、マウスなどの操作装置４が接続され、ユーザからの操作入力を操作装置４を介して受付ける。
【００３９】
次に、本発明の実施の形態において扱う距離情報を有する原画像について、説明する。なお、以下においては、原画像はビットマップ画像であり、距離情報はデプスマップであるものとして説明する。
図２は、原画像の一例を示す説明図である。図２に示すように、原画像にはＦ１、Ｆ２、Ｆ３、Ｆ４の４つ被写体がある。被写体Ｆ１からＦ３は人であり、被写体Ｆ４は建物である。図３は、原画像における被写体の位置関係を示す説明図である。図３に示すように、被写体の位置には前後関係があり、手前が被写体Ｆ２及び被写体Ｆ３、その後に被写体Ｆ１、さらに後に被写体Ｆ４となっている。被写体Ｆ２及び被写体Ｆ３は、横に並んでおり前後の位置は同じであるものとする。
【００４０】
図４は、原画像に対応したデプスマップを示す説明図である。複数のハッチングそれぞれに対応した奥行き値から明らかなように上述した被写体の前後の位置関係が表されている。
【００４１】
図５は、デプスマップのデータ構造を概念的に示す説明図である。図５のＡは図４で示した原画像の各部分のデプスマップの値、すなわち画像の奥行き値を示したものであり、Ｄ１、Ｄ２、Ｄ３、Ｄ４の値を取るものとする。Ｄ１は被写体Ｆ４より奥にある被写体に対応した値、Ｄ２は被写体Ｆ４に対応した値、Ｄ３は被写体Ｆ１に対応した値、Ｄ４は被写体Ｆ２及びＦ３に対応した値である。
図５のＢ上段は、図５のＡの一部分を抜き出したものである。図５のＢ下段は、さらに、抜き出した部分の一番上の１ラインについて、デプスマップのデータ構造を表したものであり、左から右の順に画素毎の奥行き値を示している。一番左に示した値は、一番左の画素に対応しているのでＤ３の値を取り、右に進むほど、それに対応した右側の画素を値を示している。右に進むとＤ３からＤ１に変わり、さらにＤ１からＤ２に変わり、最も右側の画素はＤ２の値を取る。
【００４２】
実施の形態１に係る画像処理装置１の動作について説明する。
制御部１１（閾値設定部）は、外部インタフェース部１２を介して撮像装置２から原画像及び原画像のデプスマップを受け付け、ＲＡＭ１１ｃに記憶する。制御部１１は、目的の被写体を抽出するための閾値を設定する。本発明において閾値は単一の値ではなく、原画像の横方向の位置によって異なるように設定する。なお、以下の説明において３次元の座標系を用いる。ＸＹ座標は原画像の座標系であり、画像の左上を原点とし、原点から右方向をＸ軸方向、原点から下方向をＹ軸方向とする。残りの一軸は奥行方向の軸であり、値が大きいほど、奥に位置していることを表している。
【００４３】
図６は、抽出範囲を概念的に示す説明図である。以下の説明においては、人である被写体Ｆ２のみを抽出するものとる。図６に示すように、被写体Ｆ２は、原画像においてＸ座標の値がＸ３からＸ４の範囲に位置している（Ｘ３＜Ｘ４）。なお、Ｘ３及びＸ４を求める手法については、後述する。
図７は、閾値の設定を概念的に示す説明図である。図３と同様に原画像における被写体の位置関係を示すと共に、説明に必要な情報を追記している。
【００４４】
制御部１１（閾値設定部）は、デプスマップより、Ｘ座標値がＸ３からＸ４の値を取る全ての画素に対する奥行き値を取得する。次に、取得された値の平均値ｄ０を求める。さらに、ｄ１、ｄ２を以下の式（１）、（２）により求める。
ｄ１＝ｄ０−ｃ１ （ｃ１＞０）…（１）
ｄ２＝ｄ０＋ｃ２ （ｃ２＞０）…（２）
さらに、Ｘ３、Ｘ４から、Ｘ１、Ｘ２を以下の式（３）、（４）により求める。
Ｘ１＝Ｘ３−ｃ３ （ｃ３≧０）…（３）
Ｘ２＝Ｘ４＋ｃ４ （ｃ４≧０）…（４）
したがって、ｄ０からｄ２の大小関係はｄ１＜ｄ０＜ｄ２であり、Ｘ１からＸ４の大小関係は、Ｘ１≦Ｘ３＜Ｘ４≦Ｘ２となる。
【００４５】
上述のようにして求めた値を用いて、閾値の設定を以下の式（５）、（６）とする。
閾値 ＝ｄ１ （０≦Ｘ＜Ｘ１又はＸ≧Ｘ２のとき）…（５）
閾値 ＝ｄ２ （Ｘ１≦Ｘ＜Ｘ２のとき）…（６）
閾値の設定はＸ座標にのみ依存し、Ｙ座標の値に関わらず上述したように設定を行う。
このように設定した閾値を図示したのが、図７のＢ１である。制御部１１（閾値設定部）は、このような閾値の設定情報を、ＲＡＭ１１ｃに記憶する。
【００４６】
制御部１１（抽出画像生成部）は、原画像、閾値の設定情報及びデプスマップを、ＲＡＭ１１ｃより読み出す。
制御部１１は、閾値の設定情報及びデプスマップに基づき、２値化画像を生成する。すなわち、各画素それぞれについて奥行き値と設定された閾値とを比較し、奥行き値の値が閾値以下であれば１を設定し、奥行き値の値が閾値より大きければ０を設定する。このようにして生成した２値化画像と原画像との論理積を取ることにより、目的としている被写体（本実施の形態においては被写体Ｆ２）のみの画像を抽出する。すなわち、原画像と２値化画像とを画素ごとに比較し、２値化画像の画素値が１の場合は原画像の画素値を採用し、２値化画像の画素値が０の場合は原画像の画素値を黒又は白に対応した値とする。それにより、被写体Ｆ２の部分はそのまま出力されるが、被写体Ｆ２以外の部分は、ベタ塗り（黒又は白）の状態で出力される。制御部１１（抽出画像生成部）は抽出した画像をＲＡＭ１１ｃに記憶する。図８は、抽出画像の一例を示す説明図である。上述したように被写体Ｆ２のみが抽出されている。
【００４７】
制御部１１は、ＲＡＭ１１ｃから目的としている被写体のみを抽出した抽出画像を読み出す。また、抽出画像と合成する入替用画像を図示しない記憶装置から読み出す。入替用画像は、予め記憶装置に記憶しており、例えば風景写真、世界遺産や観光名所の写真など背景となる画像である。
【００４８】
制御部１１は、抽出画像と入替用画像とを合成する。すなわち、制御部１１は、抽出画像のベタ塗りの部分に入替用画像をはめ込む。制御部１１は、合成した画像を表示インタフェース部１３を介して表示装置３に表示する。図９は、表示される合成画像の一例を示す説明図である。図９に示したように、抽出された被写体Ｆ２は、原画像（図２）とは異なる風景の中に立っているかのような画像を得ることができる。
【００４９】
次に、公知の顔認識技術を用いて、原画像において抽出する被写体が位置する範囲を示す座標値、Ｘ３及びＸ４を求める手法について説明する。抽出すべき被写体Ｆ２の顔特徴量は画像処理装置１の図示しない記憶部に予め記憶されている。制御部１１は被写体Ｆ２の顔特徴量を用いて、原画像の複数の被写体Ｆ１からＦ４の中から被写体Ｆ２の顔を特定し、原画像において被写体Ｆ２の顔位置を求める。
図１０は、被写体を顔認識により認識する場合の説明図である。被写体Ｆ２の顔は、（Ｘ５，Ｙ５）、（Ｘ６，Ｙ５）、（Ｘ６，Ｙ６）、（Ｘ５，Ｙ６）の４点を頂点とする四角形内Ｃにあると、制御部１１は認識する（Ｘ５＜Ｘ６、Ｙ５＜Ｙ６）。この場合、Ｘ３及びＸ４を、以下の式（７）、（８）により求める。
Ｘ３＝Ｘ５−ｍ１ （ｍ１＞０）…（７）
Ｘ４＝Ｘ６＋ｍ２ （ｍ２＞０）…（８）
制御部１１は求めたＸ３及びＸ４の値を、ＲＡＭ１１ｃに記憶する。記憶されたＸ３及びＸ４の値が、上述したように閾値を設定する処理に用いられる。
【００５０】
次に、画像処理装置１が実施する画像処理方法について、説明する。図１１は、画像処理装置１が実施する画像処理方法の流れを示すフローチャートである。制御部１１は、外部インタフェース部１２を介して、原画像を撮像装置２より取得し、ＲＡＭ１１ｃに記憶する（Ｓ１１）。制御部１１は、外部インタフェース部１２を介して、デプスマップを撮像装置２より取得し、ＲＡＭ１１ｃに記憶する（Ｓ１２）。
【００５１】
制御部１１は、閾値の設定を行う（Ｓ１３）。図１２は、画像処理装置１が実施する閾値設定処理の流れを示すフローチャートである。制御部１１は、顔認識により抽出すべき被写体Ｆ２の原画像における位置する範囲を示す値、すなわち、Ｘ３及びＸ４の値を求める（Ｓ２１）。制御部１１は、求めたＸ３及びＸ４を用いて、ＲＡＭ１１ｃに記憶したデプスマップからＸ座標値がＸ３以上Ｘ４以下である画素の奥行き値を抽出する（Ｓ２２）。制御部１１は、抽出した奥行き値の平均値ｄ０を求める（Ｓ２３）。制御部１１は、求めたｄ０より、閾値の上限値（ｄ２）及び下限値（ｄ１）を求める（Ｓ２４）。
【００５２】
制御部１１は、Ｓ２１で求めたＸ３及びＸ４より、閾値を変化させるＸ座標値、Ｘ１及びＸ２の値を求める（Ｓ２５）。制御部１１は、求めたＸ１、Ｘ２と、Ｓ２４で求めたｄ１、ｄ２を閾値の設定情報として、ＲＡＭ１１ｃに記憶する（Ｓ２６）。
【００５３】
図１１に戻り、制御部１１は、ＲＡＭ１１ｃに記憶したデプスマップ及び閾値の設定情報に基づき、被写体Ｆ２の画像を原画像から抽出するための２値化画像を生成し、生成した２値化画像とＲＡＭ１１ｃに記憶した原画像との論理積演算を行い、被写体Ｆ２の画像を抽出する（Ｓ１４）。制御部１１は、抽出した画像をＲＡＭ１１ｃに記憶する（Ｓ１５）。
【００５４】
制御部１１は、図示しない記憶装置から入替用画像を取得する（Ｓ１６）。制御部１１は、抽出画像と入替用画像を合成し、合成した画像を表示インタフェース１３を介して表示装置３に表示させ（Ｓ１７）、処理を終了する。
【００５５】
なお、閾値を設定する際に用いたｃ１及びｃ２は、原画像の奥行き方向の人体の厚みを考慮して定めるべき値であり、予め手動設定しておいても良いし、原画像に応じて、すなわちＸ３、Ｘ４の値に応じて、或いは公知の画像認識により被写体である人の立ち方（正面を向いて立っているか、斜めに立っているかなど）や姿勢（直立しているか、屈曲しているかなど）を認識しそれに応じて、適切な値を制御部１１が設定することとしても良い。
【００５６】
同様に、ｃ３及びｃ４は処理の誤差をそれぞれ考慮して定めるべき値であり、予め手動設定しておいても良いし、Ｘ３、Ｘ４の値に応じて適切な値を制御部１１が設定することとしても良い。
【００５７】
入替用画像は、予め記憶装置に記憶しているものとしたが、外部記憶装置を介してＣＤ−ＲＯＭ、ＤＶＤなどの記録媒体から読み込むこととしても良いし、インターネットなどの通信網を経由して取得するものとしても良い。
【００５８】
被写体の位置を認識する際に用いたｍ１、ｍ２は、人体の横幅を考慮した値であり、予め手動設定しておいても良いし、原画像に応じて、すなわちＸ５、Ｘ６、Ｙ５、Ｙ６の値に応じて、或いは顔認識の際に顔の向きを認識し顔の向きに応じて、適切な値を制御部１１が定めても良い。
【００５９】
目的の被写体の位置を認識するために、ここでは顔認識技術を用いたが、これに限定されるものではなく、抽出すべき被写体Ｆ２が原画像のどこに位置しているかを認識できるものであれば、他の技術手法を用いても良い。
【００６０】
原画像において、抽出する被写体Ｆ２と、他の被写体Ｆ１、Ｆ３とは横並びしているので、閾値の設定はＸ座標にのみ依存するとしたが、Ｙ座標にのみに依存しても良く、Ｘ座標、Ｙ座標の両座標値により変化するようにしても良い。Ｙ座標にのみに依存するのは、肩車や組体操のトーテムポールを撮影した画像から特定の人の画像を抽出する場合が考えられる。Ｘ座標、Ｙ座標の両座標値により変化させる場合は、特定の人の特定の部位（特定の人の上半身）のみを抽出する場合が、考えられる。
【００６１】
抽出する被写体はＦ２としたが、これに限定されるものではなく、他の被写体（Ｆ１、Ｆ３）を抽出することとしても良い。この場合、抽出する被写体を定めるための規則（例えば、横並びの場合には常に中央の人を抽出する）を予め定めておくか、複数の被写体から抽出する被写体をユーザが指定する処理が必要である。
【００６２】
被写体Ｆ２の画像を抽出するために２値化画像を用いたが、２値化画像を用いないで、原画像、デプスマップ及び閾値の設定情報を用いて抽出を行うことができる。各画素ごとに次の処理を行う。原画像から画素を取り出す。該画素に対応した奥行き値をデプスマップより取り出す。取り出した奥行き値と閾値とを比較し、奥行き値が閾値以下であれば、原画像から取り出した画素を出力画像の画素とする。奥行き値が閾値より大きければ、白をあらわす画素値を与えた画素を出力画像の画素とする。該処理をすべての画素に対して行うことにより、抽出する被写体Ｆ２を構成する画素のみが出力され、それ以外の位置の画素はすべて白となり、被写体Ｆ２の画像を抽出することができる。
【００６３】
同様な処理により、被写体Ｆ２の画像抽出と入替用画像との合成を行うことも可能である。すなわち、原画像、デプスマップ及び閾値の設定情報、入替用画像を用いて抽出を行うことができる。各画素ごとに次の処理を行う。原画像から画素を取り出す。該画素に対応した奥行き値をデプスマップより取り出す。取り出した奥行き値と閾値とを比較し、奥行き値が閾値以下であれば、原画像から取り出した画素を出力画像の画素とする。奥行き値が閾値より大きければ、取り出した画素に対応した入替用画像の画素を抽出し、該画素を出力画像の画素とする。該処理をすべての画素に対して行うことにより、抽出する被写体Ｆ２を構成する画素のみが出力され、それ以外の位置の画素は入替用画像から抽出した画素となり、被写体Ｆ２の抽出と入替用画像の合成が行える。
【００６４】
また、上述の実施の形態１においては、画像は静止画像であることを前提として説明したが、これに限られるのではなく動画像でも良い。静止画像は１フレームの画像で構成され、動画像は時系列順の複数フレームの画像で構成されるので、動画の場合、時系列順に連続する各フレームの映像に対して静止画像と同様の処理を行うものとする。また、該画像は、所定の符号化方式、例えばＪＰＥＧ（Joint Photographic Experts Group）、ＭＰＥＧ−２（Moving Picture Expert Group phase2）等で圧縮されたものであっても、非圧縮のものであっても良い。符号化された画像を扱う構成である場合、予め画像を所定の符号化方式に従って、例えばＲＧＢ形式やＹＵＶ形式の画像に復号し、復号して得た画像が画像処理装置１に入力されるものとする。以下に示す実施の形態及び変形例においても同様であり、画像は静止画像に限られるのではなく動画像でも良い。
【００６５】
（変形例１）
上述の実施の形態１において、閾値の設定は、図７に示したように矩形波のような形となっているが、これに限定されるものではない。図１３は、変形例１に係る閾値の設定を概念的に示す説明図であり、閾値を曲線となるように設定するものである。実施の形態１との相違は、閾値の設定方法であるから、以下では主に該相違点について説明する。
【００６６】
変形例１においては、閾値の設定を曲線するために、曲線が通過すべき点を複数求め、求めた複数の点すべてを通過する補間曲線を求めるものである。
図１３に示したように曲線が通過する点をＰ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５の５つの点とし、座標値をそれぞれ、Ｐ１（Ｘ２１，ｄ１）、Ｐ２（Ｘ２５，ｄ０）、Ｐ３（Ｘ２０，ｄ２）、Ｐ４（Ｘ２６，ｄ０）、Ｐ５（Ｘ２２，ｄ１）とする。
抽出する被写体Ｆ２の位置する範囲を示すＸ座標値Ｘ３、Ｘ４、奥行き値の下限値ｄ１、上限値ｄ２の求める方法は、上述した方法と同様であるので、省略する。
【００６７】
次に、Ｘ２０、Ｘ２１、Ｘ２２を以下の式（９）、（１０）、（１１）により求める。
Ｘ２０＝（Ｘ３＋Ｘ４）／２ （ｃ２３＞０）…（９）
Ｘ２１＝Ｘ３−ｃ２３ （ｃ２４＞０）…（１０）
Ｘ２２＝Ｘ４＋ｃ２４…（１１）
Ｘ３、Ｘ４、Ｘ２２、Ｘ２１の関係は、Ｘ２１＜Ｘ３＜Ｘ４＜Ｘ２２となる。
Ｘ２５は、Ｘ２１とＸ３との間の値を（Ｘ２１＜Ｘ２５＜Ｘ３）、Ｘ２６は、Ｘ４とＸ２２との間の値とをＸ２６とする（Ｘ４＜Ｘ２６＜Ｘ２２）。
【００６８】
Ｐ１からＰ５の座標値が求まったら、すべての点を通る補間曲線を求め、それを閾値の設定とする。補間曲線は、ラグランジェ補間、スプライン補間などの周知の補間法を用いて求める。閾値はＸ座標の値にのみ依存し、Ｘ座標が同一の場合においてはＹ座標の値に関わらず、同一の閾値を取る。図１３に示したＢ２が閾値曲線の例である。求めた閾値曲線に従って、被写体Ｆ２の画像を抽出することができる。その他の処理については、上記実施の形態１と同様であるので、省略する。
【００６９】
変形例１においても、上述した実施の形態１と同様に、抽出した被写体Ｆ２が、原画像とは異なる風景の中に立っているかのような画像を得ることができる。
【００７０】
なお、上述したｃ２３及びｃ２４の値は、実施の形態１におけるｃ３及びｃ４と同様に予め手動設定しておいても良いし、原画像に応じて制御部１１が定めても良い。
また、上述した実施の形態１と同様に閾値の設定はＸ座標にのみ依存するとしたが、Ｙ座標にのみ依存しても良く、Ｘ座標、Ｙ座標の両座標値により変化するようにしても良い。
【００７１】
（変形例２）
上述した実施の形態１において、閾値設定部に入力される距離情報は、デプスマップのように値と実際との距離が比例するものであったが、これに限られるものではなく、値と距離が反比例するようなディスパリティマップを距離情報としても良い。ディスパリティマップは、視差値を画像全体の画素毎に求めたものである。視差値とは、ステレオ画像において、対応する画素が左画像と右画像とで比較した場合にどの位ずれているかを示す値である。視差値は撮像装置２と被写体が近いほど大きな値を取り、撮像装置２と被写体が遠いほど小さな値となる。
したがって、上述した実施の形態１において、デプスマップに換えてディスパリティマップを距離情報として用いる場合は、値の大小関係が異なるのみで、他の部分は同様であるので、該相違点に関連する事項について、主に説明する。
【００７２】
図１４は、変形例２に係る閾値の設定を概念的に示す説明図である。制御部１１（閾値設定部）は、ディスパリティマップより、Ｘ座標値がＸ３からＸ４の値を取る全ての画素に対する視差値を取得する（Ｘ３＜Ｘ４）。次に、取得された値の平均値ｄ１０を求める。次に、ｄ１１、ｄ１２を以下の式（１２）、（１３）により求める。
ｄ１１＝ｄ１０＋ｃ１１ （ｃ１１＞０）…（１２）
ｄ１２＝ｄ１０−ｃ１２ （ｃ１２＞０）…（１３）
ｄ１０、ｄ１１、ｄ１２の値の関係は、ｄ１１＞ｄ１０＞ｄ１２となる。
また、Ｘ３よりＸ１、Ｘ２よりＸ４をそれぞれ求める方法は、上述した実施の形態１と同様であるので、省略する（Ｘ１＜Ｘ３＜Ｘ４＜Ｘ２）。
【００７３】
上述したように求めた値を用いて、閾値の設定を以下の式（１４）、（１５）とする。
閾値 ＝ｄ１１ （０≦Ｘ＜Ｘ１又はＸ≧Ｘ２のとき）…（１４）
閾値 ＝ｄ１２ （Ｘ１≦Ｘ＜Ｘ２のとき）…（１５）
閾値の設定はＸ座標にのみ依存し、Ｙ座標の値に関わらず上述したように設定を行う。このように設定した閾値を図に示したのが、図１４のＢ１１である。
【００７４】
制御部１１は、このような閾値の設定情報を、ＲＡＭ１１ｃに記憶する。この後の制御部１１での処理は、上述の実施の形態１と同様であるが、デプスマップとディスパリティマップとでは値の大小関係が逆になるので、２値化画像を生成する処理が異なる。すなわち、各画素それぞれについてディスパリティ値と設定された閾値とを比較し、ディスパリティ値が閾値以上であれば１を設定し、距離情報の値が閾値未満であれば０を設定する。
【００７５】
変形例２においては、距離情報としてディスパリティマップを用いている。ディスパリティマップを変換することなく、距離情報として用いることが可能であるので、デプスマップを用いた場合と同等な時間で閾値を設定する処理を行うことが可能となる。
【００７６】
なお、ｃ１１及びｃ１２は、ｃ１及びｃ２と同様、人体の厚みを考慮して定めるべき値であり、ｃ１３及びｃ１４は、ｃ３及びｃ４と同様、処理の誤差を考慮して定めるべき値である。ｃ１１からｃ１４のいずれの値についても、予め人が定めておいても良いし、原画像に応じて適切な値を制御部１１が設定することとしても良い。
【００７７】
また、変形例１についても、変形例２で説明したのと同様な変更を加えることにより、デプスマップに換えてディスパリティマップを距離情報として用いることが可能であることは、当業者であれば、自明なことである。
【００７８】
（実施の形態２）
実施の形態１において、制御プログラムは予めＲＯＭ１１ｂに記憶されているものとしたが、それに限られず外部より制御プログラムとしてのコンピュータプログラムを読み込むこととしても良い。
図１５は、本発明の実施の形態２に係る画像処理装置の構成例を示すブロック図である。本発明の実施の形態２に係る画像処理装置５は、本発明に係るコンピュータプログラム６ａを実行させることによって実現される。
【００７９】
画像処理装置５は、実施の形態１で示した画像処理装置１において、さらに、外部記憶装置１５と通信部１６とを備えている。実施の形態１と同一の構成については、同一の符号を付し、説明を省略する。
【００８０】
外部記憶装置１５は、発明の実施の形態に係るコンピュータプログラム６ａを記録した記録媒体６、例えばＣＤ−ＲＯＭからコンピュータプログラム６ａを読み取る。通信部１６は、発明の実施の形態に係るコンピュータプログラム６ａを、例えばインターネットなどの通信網Ｎを通じて取得する。なお、コンピュータプログラム６ａは、外部記憶装置１５を通じて記録媒体６から取得しても良いし、通信部１６を通じて通信網Ｎから取得しても良い。また、プログラムモジュールごとに記録媒体６又は通信網Ｎから取得するものとして、記録媒体６及び通信網Ｎの両方を用いてコンピュータプログラム６ａを取得することとしても良い。
【００８１】
制御部１１の処理手順は、図１１に示す通りであり、ステップＳ１１から１７の処理手順を実行する。該処理手順は、実施の形態１に係る画像処理装置１における処理内容と同様であるため、その詳細な説明を省略する。
【００８２】
実施の形態２に係る画像処理装置５及びコンピュータプログラム６ａにあっては、本実施の形態に係る画像処理装置として機能し、また本実施の形態に係る画像処理方法を実施させることができ、本発明の実施の形態１と同様の効果を奏する。
【００８３】
（実施の形態３）
実施の形態１においては、原画像の全体にわたり同じ閾値の設定で画像の抽出を行ったが、実施の形態３においては、原画像を複数の領域に分割し、各領域毎に画像の抽出を行う点が実施の形態１、２と異なる。ハードウェアの構成は実施の形態１と同様である。以下では、主に該相違点について説明する。
【００８４】
制御部１１（領域分割部）は、原画像を複数の領域に分割し、各領域を示す座標情報をＲＡＭ１１ｃに記憶する。
制御部１１（閾値設定部、抽出画像生成部）は、ＲＡＭ１１ｃに記憶された各領域を示す座標情報を基に、原画像を複数に分割し、分割された各領域画像毎に処理を行う。制御部１１は分割された各領域毎に特定の被写体を抽出するために閾値の設定を行い、ＲＡＭ１１ｃに閾値情報を記憶する。制御部１１は、ＲＡＭ１１ｃに記憶された各領域の座標情報、各領域の閾値情報を基に各領域毎に被写体の抽出を行い、抽出画像をＲＡＭ１１ｃに記憶する。制御部１１は、ＲＡＭ１１ｃに記憶された各領域を示す座標情報、各領域毎の抽出画像を基に、各領域毎の入替用画像と各領域毎の抽出画像とを合成する。制御部１１は、すべての領域についての合成が済んだ後に、すべての領域の合成画像を１つの画像としてつなぎ合わせ、原画像と同一の大きさの画像を表示インタフェース部１３を介して表示装置３に出力する。
【００８５】
図１６は、本発明の実施の形態３において画像の領域分割の例を示す説明図である。被写体Ｆ１１、Ｆ１２、Ｆ１３、Ｆ１４からなる画像において、領域を上下２つ（領域Ａ１、Ａ２）に分割するものとする。
【００８６】
図１７は、本発明の実施の形態３に係る画像処理装置１が実施する処理の流れを示すフローチャートである。制御部１１が原画像を撮像装置２から取得し、ＲＡＭ１１ｃに記憶する（Ｓ３１）。制御部１１が距離情報を撮像装置２から取得し、ＲＡＭ１１ｃに記憶する（Ｓ３２）。ユーザが画像の領域分割を指定したか否かを、制御部１１は判定する（Ｓ３３）。領域分割が指定された場合（Ｓ３３でＹＥＳの場合）は、各領域の座標をＲＡＭ１１ｃに記憶し、領域毎の処理を行う（Ｓ３４）。領域毎の処理については、後述する。次に、ＲＡＭ１１ｃに記憶された各領域毎の座標情報と合成画像を取得し、すべての合成画像を１つの画像としてつなぎ合わせ、原画像と同一の大きさの画像に合成し（Ｓ３５）、表示インタフェース部１３を介して表示装置３に出力して処理を終了する。領域分割が行われていない場合（Ｓ３３でＮＯの場合）は、Ｓ３６からＳ４０の処理を行い終了する。Ｓ３６からＳ４０の処理は、それぞれ、実施の形態１におけるＳ１３からＳ１７の処理（図１１）と同様であるので、説明を省略する。
【００８７】
図１８は、実施の形態３において分割された各領域に対して行われる処理の流れを示すフローチャートである。制御部１１は、各領域の座標情報をＲＡＭ１１ｃより取得する（Ｓ４１）。取得した各領域の座標情報から、制御部１１は、未処理領域の座標情報を抽出し、処理対像領域の座標情報とする（Ｓ４２）。制御部１１は、座標情報を基に処理対像領域に対応した距離情報をＲＡＭ１１ｃより読み出す（Ｓ４３）。制御部１１は、原画像の処理対像領域部分の画像、読み出した距離情報を基に閾値設定を行う（Ｓ４４）。閾値設定は、図１２に示した処理と同様である。すなわち、原画像のうち処理対像領域部分の画像に対して、閾値設定の処理を行う。制御部１１は、処理対像領域の座標情報及び閾値設定を基に、原画像の処理対像領域部分から被写体を抽出し、ＲＡＭ１１ｃに記憶する（Ｓ４５）。制御部１１は、処理対像領域に対応した入替用画像を外部機器又は図示しない記憶装置から取得する（Ｓ４６）。制御部１１は、ＲＡＭ１１ｃから読み出した抽出画像と、取得した入替用画像とを合成する（Ｓ４７）。制御部１１は、処理対像領域の座標情報と、合成画像を対応付けて、ＲＡＭ１１ｃに記憶する（Ｓ４８）。制御部１１は、全ての領域について処理が完了したか否かを判定する（Ｓ４９）。制御部１１は全ての領域について処理が終わっていない場合（Ｓ４９においてＮＯ）、Ｓ４２ヘ戻る。制御部１１は全ての領域について処理が終わっている場合（Ｓ４９においてＹＥＳ）、領域毎の処理を終了し、図１７のＳ３５に進む。
【００８８】
図１９は、本発明の実施の形態３において閾値設定の例を示す説明図である。図１９は、図１６に写っている被写体の前後関係を示すと共に、設定された閾値を示している。図１６に示した原画像の領域Ａ１に対しては、閾値曲線Ｂ３１を用い、領域Ａ２に対しては、閾値曲線Ｂ３２を用いることにより、領域Ａ１においては被写体Ｆ１３を、領域Ａ２においては被写体Ｆ１２をそれぞれ抽出することができる。閾値曲線Ｂ３１、Ｂ３２を求める手法としては、例えば、領域分割を行った場合には、各領域において、画像に占める面積が大きい人であって、より手前の人及びその人より更に手前の人を抽出するという規則を予め定めておく。パターンマッチング等の公知の技術を用いて、原画像内で人の認識を行い、各領域（Ａ１、Ａ２）において、上述した規則に該当する人の画像を抽出できるように閾値曲線を生成することにより、閾値曲線Ｂ３１、Ｂ３２を得ることが出来る。
【００８９】
図２０は、実施の形態３において出力画像の例を示す説明図である。図２０は、原画像を分割して得た２つの領域Ａ１、Ａ２のそれぞれにおいて、被写体Ｆ１２、被写体Ｆ１３を抽出後に、それぞれの領域において入替用画像を合成し、領域Ａ１と領域Ａ２の合成画像をつなぎ合わせ、原画像と同一の大きさの画像を合成したものである。実施の形態３においては、原画像に対して複数の領域を設定して被写体を抽出し、背景や被写体の間、被写体の前など任意の位置に任意の画像を入れ替えることが可能である。つまり、距離情報を利用することで２次元平面上に疑似的な３次元空間を作り出し、新たな画像表現が可能となる。
【００９０】
なお、上述の説明においては、原画像を上下に二分割したが、これに限定されず、左右に分割しても良く、領域の数についても３つ以上設定しても良い。また、領域の指定は、予め分割する領域の数及び配置を画像処理装置１に記憶しておき、それに基づき分割しても良いし、原画像の情報や、距離情報に基づいて、画像処理装置１が設定しても良い。あるいは、ユーザがマウスなどの操作装置４により指定しても良い。
【００９１】
（変形例３）
上述した実施の形態３においては、画像処理装置１が所定の規則に基づいて、領域の分割及び各領域毎の閾値の設定を行ったが、ユーザが同様の分割及び設定を行っても良い。本変形例においては、分割する領域の設定及び各領域ごとの閾値の設定をユーザが操作装置４を用いて行う。
図２１から図２３は、変形例３におけるユーザ操作画面２０の例を示す説明図である。ユーザ操作画面２０は画像処理装置１の表示インタフェース部１３を介して表示装置３に表示されるものである。図２１に示すようにユーザ操作画面２０は、処理画像表示部２１、ポインタ２２、視差値表示欄２３、閾値入力欄２４ａ、２４ｂ、原画像名表示欄２５ａ、ディスパリティマップ名表示欄２５ｂ、入替画像ａ表示欄２５ｃ、入替画像ｂ表示欄２５ｄ、選択ボタン２６ａ、２６ｂ、２６ｃ、及び２６ｄから構成されている。
【００９２】
処理画像表示部２１には、処理対像となる原画像が表示される。本変形例においては、被写体Ｆ２１、Ｆ２２、Ｆ２３からなる原画像及びポインタ２２が処理画像表示部２１に表示されている。原画像名表示欄２５ａは、処理したい画像の名前が表示される欄であり、選択ボタン２６ａを操作装置４で選択した場合、図示しない選択ウィンドウが開き、表示される画像一覧から処理したい画像を選択することにより、原画像名表示欄２５ａに、処理したい画像の名前が表示される。処理したい画像の名前が分かっている場合には、原画像名表示欄２５ａに画像の名前を直接入力することも可能である。ディスパリティマップ名表示欄２５ｂは、ディスパリティマップの名前が表示される欄である。原画像名と同様に選択ボタン２６ｂを操作装置４を用いて選択することにより表示される図示しない選択ウィンドウで原画像に対応したディスパリティマップを選択したり、ディスパリティマップ名表示欄２５ｂにディスパリティマップ名を直接入力することにより、処理に用いるディスパリティマップを指定する。入替画像ａ表示欄２５ｃ、入替画像ｂ表示欄２５ｄは、それぞれ入替画像名が表示される欄であり、それぞれに対して選択ボタン２６ｃ、２６ｄが対応している。入力方法については、原画像、ディスパリティマップと同様である。
【００９３】
視差値表示欄２３は、ユーザが指定した画素の視差値を表示する欄である。ポインタ２２により画像の任意の位置を指定し、マウスなどの操作装置４を用いて選択した場合、ポインタ２２が示している位置の視差値が視差値表示欄２３に表示される。閾値入力欄２４ａ及び閾値入力欄２４ｂは、被写体画像を抽出する際に用いる視差値の閾値を入力する欄である。
【００９４】
次に、ユーザの操作について説明する。まず、ユーザは領域の指定を行う。図２１に示した例では、領域Ａ３が設定されている。このとき領域を設定しないことも可能であり、その場合には画像全体を一つの領域として選択したことと等しい。領域指定は四角や丸みのある図形を使用しても良いし、マウスなどの操作装置４を使用してフリーハンドで決定しても良い。
【００９５】
ポインタ２２により、抽出したい被写体Ｆ２２を選択すると、視差値表示欄２３に選択した位置の視差値１２７が表示される。この視差値を基準に、ユーザは設定領域Ａ３内における閾値を決定し、閾値入力欄２４ａにその閾値を入力する。例えば、被写体Ｆ２２の視差値よりも小さな値、つまり被写体Ｆ２２の後ろの視差値が閾値となるよう設定する。ここでは被写体Ｆ２２の視差値が１２７であるので閾値を１００と設定している（図２３）。さらに、設定領域Ａ３以外の領域の閾値も決定し、閾値入力欄２４ｂにその閾値を入力する。例えば、被写体Ｆ２１の視差値よりも小さな値、つまり被写体Ｆ２１の後ろの視差値が閾値となるよう設定する。ここでは図２２に示したように被写体Ｆ２１の視差値が６４であるため閾値を５０と設定している（図２３）。また、領域設定を行っていない場合には、閾値入力欄２４ａに閾値を入力すれば、画像全体を一つの領域として閾値が設定される。
【００９６】
以上のように閾値を設定することで、図２２に示すように被写体Ｆ２１、Ｆ２２を抽出することができる。設定領域Ａ３内では被写体Ｆ２２が、設定領域Ａ３以外の領域では被写体Ｆ２１の身体の一部が抽出され、背景被写体Ｆ２３を除いた画像が、処理画像表示部２１に表示される。
【００９７】
続いて、設定領域Ａ３の閾値入力欄２４ａで入力した閾値の距離に相当する位置に、入替画像ａ表示欄２５ｃで指定された画像が挿入される。すなわち、設定領域Ａ３において、入替画像ａ表示欄２５ｃで指定された画像が被写体Ｆ２２の背景画像となる。また、設定領域Ａ３以外の領域において、閾値入力欄２４ｂで入力した閾値の距離に相当する位置に、入替画像ｂ表示欄２５ｄに指定された画像が挿入される。すなわち、設定領域Ａ３以外の領域において、入替画像ｂ表示欄２５ｄで指定された画像が被写体Ｆ２１の背景画像となる。図２３に示したように、処理画像表示部２１には背景画像が入れ替わった合成画像が表示されている。この作成した画像は図示しない記憶装置に保存して表示装置３に表示しても良い。
【００９８】
このように、例えばＧＵＩ（Graphical User Interface）を利用することで、保持していた画像と距離情報（視差情報）を用いてユーザが自由に画像処理を行い、その画像を任意の表示装置に表示することが可能である。本実施の形態では、例として選択領域内領域とそれ以外の領域の二つに分け、閾値を設定し画像入替を行う方法を述べたが、これを拡張すれば、選択領域を増やしそれぞれに閾値を設定し、画像を入れ替えることも可能である。また、閾値は一つの領域（面）で一つの値を設定したが、一つの領域内でも図１３に示した閾値曲線Ｂ２のように閾値を変化させることで、抽出する範囲をさらに限定することも可能である。
【００９９】
（実施の形態４）
図２４は、本発明の実施の形態４に係る撮像装置の構成例を示すブロック図である。本実施の形態４に係る撮像装置７は、本発明の撮像装置の一例であり、実施の形態１に係る画像処理装置１において、さらに、撮像部１７、測距部１８、入替用画像記憶部１９を備える。上述した実施の形態１における画像処理装置１と同一のものについては、同一の符号を付し説明を省略する。
【０１００】
撮像部１７は、人物や背景などの被写体を撮像し画像を出力するものであり、受光した光を電気信号に変え画像とするＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子や、被写体からの光を撮像素子に集光するためのレンズなどの光学系を備えている。撮像部１７は撮像した画像を制御部１１（閾値設定部、抽出画像生成部）に出力する。測距部１８は、撮像装置７と被写体の距離を測定するもので、ＴＯＦ（Time of Flight）などの測距手法により、被写体までの距離を測定し、測定結果を制御部１１（距離情報補間部）に出力する。制御部１１は測距部１８から取得した複数の距離情報について補間処理を行い、原画像の複数位置それぞれの奥行き方向の距離に係る距離情報を算出する。
【０１０１】
入替用画像記憶部１９は、原画像より抽出した被写体画像と合成する入替用画像を記憶するものである。制御部１１に入替用画像を出力する。撮像装置７のその他の動作については、上述した実施の形態１における画像処理装置１の動作と同様であるので、省略する。
【０１０２】
上述したように、本実施の形態における撮像装置７は、撮像部１７、測距部１８を備えているので、ユーザは別途、撮像装置を用意しなくても、原画像及び原画像に対応した距離情報を取得できる。また、ユーザは入替用画像記憶部１９記憶された入替用画像を利用できるため、別途、入替用画像を用意することなく、画像処理を行うことが出来る。
【０１０３】
（実施の形態５）
図２５は、本発明の実施の形態５に係る撮像装置の構成を示すブロック図である。本実施の形態に係る撮像装置８は、本発明の撮像装置の一例であり、実施の形態１に係る画像処理装置１において、さらに、一組の撮像部１７ａ、１７ｂ、入替用画像記憶部１９を備える。上述した実施の形態１における画像処理装置１と同一の構成については、同一の符号を付し、構成や各部の動作については、説明を省略する。
【０１０４】
撮像部１７ａ、１７ｂはステレオ配置されている。ステレオ配置とは、撮像部１７ａ、１７ｂの二つの撮像部を横並びに光軸が略平行となるよう並べた配置を言う。本実施の形態では、例として二つの撮像部１７ａ、１７ｂには同じ構成のものを用いるが、二つの撮像部１７ａ、１７ｂで同領域を撮像し、画素間の対応を取ることが可能であれば、解像度や画角など構成の異なる撮像部を用いても構わない。撮像部１７ａ、１７ｂは、それぞれ人物や背景などの被写体を撮像し画像を出力するものであり、受光した光を電気信号に変え画像とするＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子、被写体からの光を撮像素子に集光するためのレンズなどの光学系を備えている。撮像部１７ａは撮像した画像を、制御部１１（距離算出部、閾値設定部、抽出画像生成部）に出力し、撮像部１７ｂは撮像した画像を制御部１１に出力する。
【０１０５】
制御部１１は撮像部１７ａ、１７ｂより受け取った２つの画像から、撮像装置８と被写体の距離を算出し、算出した距離に基づいて、デプスマップを生成する。続いて、制御部１１は必要に応じてデプスマップの補正を行い、補正後のデプスマップをＲＡＭ１１ｃに記憶する。入替用画像記憶部１９は、原画像より抽出した被写体画像と合成する入替用画像を記憶するものであり、制御部１１に入替用画像を出力する。その他の動作については、上述した実施の形態１と同様であるので、省略する。
【０１０６】
なお、ここでは、二つの撮像部１７ａ、１７ｂが左右方向に配置されているものとしたが、上下方向に配置されていても視差値の算出が可能である場合は、撮像画像の走査を水平方向に代えて垂直方向にすれば良い。また、視差値から距離を算出した例を示したが、距離を算出せずに視差値を距離情報とすることも可能である。この場合においては、制御部１１はデプスマップではなくディスパリティマップを生成することとなる。また、撮像装置８の動作は、上述の実施の形態１の変形例２において示した動作と同様である。
【０１０７】
上述したように、本実施の形態における撮像装置８は、撮像部１７ａ、１７ｂを備えているので、実施の形態４同様に、ユーザが別途、撮像装置を用意しなくても、原画像及び原画像に対応した距離情報を取得できる。また、ユーザは入替用画像記憶部１９に記憶された入替用画像を利用できるため、別途、入替用画像を用意することなく、画像処理を行うことが出来る。
【０１０８】
（実施の形態６）
上述した実施の形態において、画像処理装置１、５は、画像処理装置単体として、説明したが、画像処理装置１、５を他の機器、例えば、テレビジョン受像機、携帯電話機又はパーソナルコンピュータ（ＰＣ）等の情報処理装置に組み込むことも可能である。
図２６は、本発明の実施の形態６に係るテレビジョン受像機の構成例を示すブロック図である。実施の形態６に係るテレビジョン受像機９は、制御部１１、外部インタフェース部１２、チューナ部９１、信号処理部９２、音声出力部９３、表示部９４、及び操作部９５を備える。テレビジョン受像機９は、実施の形態１に係る画像処理装置１を組み込んだものである。なお、画像処理装置１と同様な構成については、同じ符号を付している。
【０１０９】
制御部１１は、ＣＰＵ１１ａがＲＯＭ１１ｂに予め格納されている制御プログラムをＲＡＭ１１ｃに読み出して実行することにより、テレビジョン受像機９が備えるハードウェア各部の動作を制御して装置全体を本発明の画像処理装置として機能させる。
外部インタフェース部１２の機能は、画像処理装置１が備える外部インタフェース部１２と同様なので、説明を省略する。
【０１１０】
チューナ部９１は、デジタルの放送信号を受信するためのデジタルチューナであり、アンテナＡＮに接続されている。チューナ部９１は、例えば操作部９５を介してユーザにより選択された放送チャンネルに応じて、アンテナＡＮが受信した電波を検波し、得られた放送波から放送信号を取得し、取得した放送信号を信号処理部９２へ送出する。
【０１１１】
信号処理部９２は、チューナ部９１が取得した放送信号を映像信号（ＲＧＢ信号（Ｒ：赤、Ｇ：緑、Ｂ：青））及び音声信号に分離する。信号処理部９２は、分離した音声信号に対して所定の復号伸張処理を実行し、得られた音声信号を音声出力部９３へ送出する。音声出力部９３は、信号処理部９２から送出されてきた音声信号を増幅し、音声信号に基づく音声を図示しないスピーカーにて出力する。
【０１１２】
信号処理部９２は、分離した映像信号に対して所定の復号伸張処理を実行する。信号処理部９２は、復号伸張処理により得られた映像信号（Ｙ信号及びＣ信号）をＲＧＢの映像信号（ＲＧＢ信号）に変換後、映像信号の各色成分毎に、各画素の入力階調（輝度）を、各入力階調に応じた出力階調（出力輝度）に変換し、得られた映像信号（出力階調）を表示部９４へ送出する。
【０１１３】
表示部９４は、画像処理装置１が備えている表示インタフェース部１３と表示装置３とを一体としたものである。テレビジョン受像機９が通常のテレビジョン受像機として機能する場合、表示部９４は、信号処理部９２から送出されてきた映像信号を所定のタイミングに従って表示部９４が備える液晶モジュール等に表示させる。
テレビジョン受像機９が画像処理装置として機能する場合には、表示部９４は、原画像、抽出画像、合成画像又は操作画面を表示する。
【０１１４】
操作部９５は、画像処理装置１が備えている操作インタフェース部１４と操作装置４を一体化したものである。テレビジョン受像機９を通常のテレビジョン受像機として機能させるか、画像処理装置として機能させるかの機能切替操作を受付ける。
テレビジョン受像機９が通常のテレビジョン受像機として機能する場合、操作部９５は、放送チャンネルの選択、音量のコントロールなどの操作を受付ける。
テレビジョン受像機９が画像処理装置として機能する場合には、原画像の選択、デプスマップの選択、分割領域の指定などを行う。
分割領域の指定を行う場合は、操作部９５が備える十字ボタン（上方向ボタン、下方向ボタン、右方向ボタン、左方向ボタン、決定ボタン等からなる操作ボタン）を用いる。
【０１１５】
テレビジョン受像機９が、画像処理装置として機能する場合の動作は、上述した実施の形態１に係る画像処理装置１と同様であるので、説明を省略する。
本実施の形態と同様にして、上述した変形例１、変形例２、実施の形態２、実施の形態３及び変形例３に係る画像処理装置をテレビジョン受像機に組み込むことができる。
そして、実施の形態１、変形例１、変形例２、実施の形態２、実施の形態３及び変形例３に係る画像処理装置と同様の効果を奏する。
【０１１６】
（実施の形態７）
上述の実施の形態６と同様に、撮像装置7、８を撮像装置単体ではなく、テレビジョン受像機、携帯電話機又はパーソナルコンピュータ（ＰＣ）等の情報処理装置に組み込むことが可能である。実施の形態６との違いは、組み込む装置が画像処理装置であるか、撮像装置であるかの違いのみであるので、以下では、主に相違点について説明する。
図２７は、本発明の実施の形態７に係るテレビジョン受像機の構成例を示すブロック図である。実施の形態７に係るテレビジョン受像機１０は、制御部１１、撮像部１７、測距部１８、入替用画像記憶部１９、チューナ部９１、信号処理部９２、音声出力部９３、表示部９４、及び操作部９５を備える。テレビジョン受像機１０は、実施の形態４に係る撮像装置７を組み込んだものである。なお、撮像装置７又はテレビジョン受像機９と同様な構成については、それぞれ同じ符号を付している。
【０１１７】
制御部１１は、撮像装置７が備える制御部１１と同様な機能を有すると共に、テレビジョン受像機１０を、通常のテレビジョン受像機として機能させるための制御を行う。
撮像部１７、測距部１８、及び入替用画像記憶部１９の機能は、それぞれ撮像装置７の備える撮像部１７、測距部１８、及び入替用画像記憶部１９と同様であるので、説明を省略する。
同様に、チューナ部９１、信号処理部９２、音声出力部９３及び表示部９４の機能は、それぞれ実施の形態６に係るテレビジョン受像機９と同様であるので、説明を省略する。
【０１１８】
操作部９５は、上述のテレビジョン受像機９と同様な機能を有すると共に、ユーザからのシャッターを切るなどの撮像部へのコマンドを受け、制御部１１に送信する機能を備える。
テレビジョン受像機１０が、撮像処理装置として機能する場合の動作は、上述した実施の形態４に係る撮像装置７と同様であるので、説明を省略する。
本実施の形態と同様にして、上述した実施の形態５に係る撮像装置８をテレビジョン受像機に組み込むことができる。
そして、実施の形態４及び５に係る撮像装置と同様の効果を奏する。
【０１１９】
なお、上述した実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上述した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１２０】
１、５ 画像処理装置
７、８ 撮像装置
１１ 制御部
１１ａ ＣＰＵ
１１ｂ ＲＯＭ
１１ｃ ＲＡＭ
１２ 外部インタフェース部
１３ 表示インタフェース部
１４ 操作インタフェース部
１５ 外部記憶装置
１６ 通信部
１７、１７ａ、１７ｂ 撮像部
１８ 測距部
１９ 入替用画像記憶部
２ 撮像装置
３ 表示装置
４ 操作装置
６ 記録媒体
６ａ コンピュータプログラム
Ｎ 通信網
２０ ユーザ操作画面
２１ 処理画像表示部
２２ ポインタ
２３ 視差値表示欄
２４ａ、２４ｂ 閾値入力欄
２５ａ 原画像名表示欄
２５ｂ ディスパリティマップ名表示欄
２５ｃ 入替画像ａ表示欄
２５ｄ 入替画像ｂ表示欄
２６ａ、２６ｂ、２６ｃ、２６ｄ 選択ボタン
９、１０ テレビジョン受像機
【特許請求の範囲】
【請求項１】
画像上の複数位置それぞれに画像の奥行き方向の距離に係る距離情報を有する原画像と、原画像の一部と入れ替わる入替用画像とを取得し、取得した原画像の一部を抽出した抽出画像と前記入替用画像とを画像合成する画像処理装置において、
前記距離情報に対する閾値を原画像上の位置それぞれに基づいて設定する閾値設定部と、
設定した閾値及び前記距離情報に基づいて、前記抽出画像を生成する抽出画像生成部と
を備えることを特徴とする画像処理装置。
【請求項２】
前記原画像により抽出されなかった画像部分を前記入替用画像に入れ替えるように構成した
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記原画像を複数の領域に分割する領域分割部をさらに備え、
前記閾値設定部は、分割した領域毎に閾値を設定し、
前記抽出画像生成部は、分割した領域毎に抽出画像を生成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記原画像を複数の領域に分割する領域分割部をさらに備え、
前記閾値設定部は、分割した領域毎に閾値を設定し、
前記抽出画像生成部は、分割した領域毎に抽出画像を生成し、
前記入替用画像を複数取得し、分割した領域毎に異なる入替用画像を用いる
ことを特徴とする請求項２に記載の画像処理装置。
【請求項５】
画像上の複数位置それぞれに画像の奥行き方向の距離に係る距離情報を有する原画像と、原画像の一部と入れ替わる入替用画像とを取得し、取得した原画像の一部を抽出した抽出画像と前記入替用画像とを画像合成する画像処理方法において、
前記距離情報に対する閾値を原画像上の位置それぞれに基づいて設定するステップと、
設定した閾値及び前記距離情報に基づいて、前記抽出画像を生成するステップと
を備えることを特徴とする画像処理方法。
【請求項６】
コンピュータに、画像上の複数位置それぞれに画像の奥行き方向の距離に係る距離情報を有する原画像と、原画像の一部と入れ替わる入替用画像とを取得させ、取得させた原画像の一部を抽出した抽出画像と前記入替用画像とを画像合成させるプログラムにおいて、
前記コンピュータに、
前記距離情報に対する閾値を前記原画像上の位置それぞれに基づいて設定するステップと、
設定した閾値と前記距離情報に基づいて、前記抽出画像を生成するステップと
を実行させることを特徴とするプログラム。
【請求項７】
被写体を撮像する撮像部と、
入替用画像を記憶する入替用画像記憶部と
を備え、
撮像した画像の一部を抽出した抽出画像と、撮像した画像の一部と入れ替わる入替用画像とを画像合成する撮像装置において、
前記被写体までの距離を複数位置について測定する測距部と、
前記測距部で測定した複数位置の距離値を補間することにより、前記撮像した画像上の複数位置それぞれに画像の奥行き方向の距離に係る距離情報を算出する距離情報補間部と、
前記距離情報に対する閾値を前記撮像した画像上の位置それぞれに基づいて設定する閾値設定部と、
設定した閾値及び前記距離情報に基づいて、前記抽出画像を生成する抽出画像生成部と
を備えることを特徴とする撮像装置。
【請求項８】
被写体を撮像する複数の撮像部と、
入替用画像を記憶する入替用画像記憶部と
を備え、
撮像した画像の一部を抽出した抽出画像と、撮像した画像の一部と入れ替わる入替用画像とを画像合成する撮像装置において、
前記複数の撮像部それぞれが撮像した複数の画像を用いて、前記撮像した画像上の複数位置それぞれに画像の奥行き方向の距離に係る距離情報を算出する距離情報算出部と、
前記距離情報に対する閾値を前記撮像した画像上の位置それぞれに基づいて設定する閾値設定部と、
設定した閾値及び前記距離情報に基づいて、前記抽出画像を生成する抽出画像生成部と
を備えることを特徴とする撮像装置。
【請求項９】
請求項１から請求項４までのいずれか一項に記載の画像処理装置と、
テレビジョン放送を受信するチューナ部と、
該チューナ部が受信したテレビジョン放送に係る画像を表示する表示部と
を備え、
該表示部は前記画像処理装置が取得、抽出、生成又は合成した画像を表示するようにしてある
ことを特徴とするテレビジョン受像機。
【請求項１０】
請求項７又は請求項８に記載の撮像装置と、
テレビジョン放送を受信するチューナ部と、
該チューナ部が受信したテレビジョン放送に係る画像を表示する表示部と
を備え、
該表示部は前記撮像装置が撮像、抽出、生成又は合成した画像を表示するようにしてある
ことを特徴とするテレビジョン受像機。
【請求項１】
画像上の複数位置それぞれに画像の奥行き方向の距離に係る距離情報を有する原画像と、原画像の一部と入れ替わる入替用画像とを取得し、取得した原画像の一部を抽出した抽出画像と前記入替用画像とを画像合成する画像処理装置において、
前記距離情報に対する閾値を原画像上の位置それぞれに基づいて設定する閾値設定部と、
設定した閾値及び前記距離情報に基づいて、前記抽出画像を生成する抽出画像生成部と
を備えることを特徴とする画像処理装置。
【請求項２】
前記原画像により抽出されなかった画像部分を前記入替用画像に入れ替えるように構成した
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記原画像を複数の領域に分割する領域分割部をさらに備え、
前記閾値設定部は、分割した領域毎に閾値を設定し、
前記抽出画像生成部は、分割した領域毎に抽出画像を生成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記原画像を複数の領域に分割する領域分割部をさらに備え、
前記閾値設定部は、分割した領域毎に閾値を設定し、
前記抽出画像生成部は、分割した領域毎に抽出画像を生成し、
前記入替用画像を複数取得し、分割した領域毎に異なる入替用画像を用いる
ことを特徴とする請求項２に記載の画像処理装置。
【請求項５】
画像上の複数位置それぞれに画像の奥行き方向の距離に係る距離情報を有する原画像と、原画像の一部と入れ替わる入替用画像とを取得し、取得した原画像の一部を抽出した抽出画像と前記入替用画像とを画像合成する画像処理方法において、
前記距離情報に対する閾値を原画像上の位置それぞれに基づいて設定するステップと、
設定した閾値及び前記距離情報に基づいて、前記抽出画像を生成するステップと
を備えることを特徴とする画像処理方法。
【請求項６】
コンピュータに、画像上の複数位置それぞれに画像の奥行き方向の距離に係る距離情報を有する原画像と、原画像の一部と入れ替わる入替用画像とを取得させ、取得させた原画像の一部を抽出した抽出画像と前記入替用画像とを画像合成させるプログラムにおいて、
前記コンピュータに、
前記距離情報に対する閾値を前記原画像上の位置それぞれに基づいて設定するステップと、
設定した閾値と前記距離情報に基づいて、前記抽出画像を生成するステップと
を実行させることを特徴とするプログラム。
【請求項７】
被写体を撮像する撮像部と、
入替用画像を記憶する入替用画像記憶部と
を備え、
撮像した画像の一部を抽出した抽出画像と、撮像した画像の一部と入れ替わる入替用画像とを画像合成する撮像装置において、
前記被写体までの距離を複数位置について測定する測距部と、
前記測距部で測定した複数位置の距離値を補間することにより、前記撮像した画像上の複数位置それぞれに画像の奥行き方向の距離に係る距離情報を算出する距離情報補間部と、
前記距離情報に対する閾値を前記撮像した画像上の位置それぞれに基づいて設定する閾値設定部と、
設定した閾値及び前記距離情報に基づいて、前記抽出画像を生成する抽出画像生成部と
を備えることを特徴とする撮像装置。
【請求項８】
被写体を撮像する複数の撮像部と、
入替用画像を記憶する入替用画像記憶部と
を備え、
撮像した画像の一部を抽出した抽出画像と、撮像した画像の一部と入れ替わる入替用画像とを画像合成する撮像装置において、
前記複数の撮像部それぞれが撮像した複数の画像を用いて、前記撮像した画像上の複数位置それぞれに画像の奥行き方向の距離に係る距離情報を算出する距離情報算出部と、
前記距離情報に対する閾値を前記撮像した画像上の位置それぞれに基づいて設定する閾値設定部と、
設定した閾値及び前記距離情報に基づいて、前記抽出画像を生成する抽出画像生成部と
を備えることを特徴とする撮像装置。
【請求項９】
請求項１から請求項４までのいずれか一項に記載の画像処理装置と、
テレビジョン放送を受信するチューナ部と、
該チューナ部が受信したテレビジョン放送に係る画像を表示する表示部と
を備え、
該表示部は前記画像処理装置が取得、抽出、生成又は合成した画像を表示するようにしてある
ことを特徴とするテレビジョン受像機。
【請求項１０】
請求項７又は請求項８に記載の撮像装置と、
テレビジョン放送を受信するチューナ部と、
該チューナ部が受信したテレビジョン放送に係る画像を表示する表示部と
を備え、
該表示部は前記撮像装置が撮像、抽出、生成又は合成した画像を表示するようにしてある
ことを特徴とするテレビジョン受像機。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【公開番号】特開２０１２−２５２６４８（Ｐ２０１２−２５２６４８Ａ）
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願番号】特願２０１１−１２６６２６（Ｐ２０１１−１２６６２６）
【出願日】平成２３年６月６日（２０１１．６．６）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願日】平成２３年６月６日（２０１１．６．６）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]