画像処理装置、画像処理方法、画像処理装置の制御プログラム、および当該プログラムを記録したコンピュータ読み取り可能な記録媒体
【課題】簡易な構成により、画像の一部または全部の鮮明度を低減する（ぼかす）処理を行う画像処理装置を実現する。
【解決手段】画像処理装置１０１は、距離画像センサ１０７が撮像した物体までの距離が画素毎に記録されている距離画像データを構成する画素の画素値を画素毎に取得し、該取得した画素値を画素毎に所定閾値と比較する距離画像データ解析部１０４と、当該比較の結果、距離が所定閾値を超えると判定された画素に対応する、カメラ１０６が撮像した撮像画像データを構成する画素の画素値に対して、所定演算を行う画像処理部１０３とを備える。
【解決手段】画像処理装置１０１は、距離画像センサ１０７が撮像した物体までの距離が画素毎に記録されている距離画像データを構成する画素の画素値を画素毎に取得し、該取得した画素値を画素毎に所定閾値と比較する距離画像データ解析部１０４と、当該比較の結果、距離が所定閾値を超えると判定された画素に対応する、カメラ１０６が撮像した撮像画像データを構成する画素の画素値に対して、所定演算を行う画像処理部１０３とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の一部または全部の鮮明度を低減する（ぼかす）処理を行う画像処理装置等に関する発明である。
【背景技術】
【０００２】
一般的なテレビ電話装置では、テレビ電話装置の使用者をカメラで撮影した画像を、通話先である相手のテレビ電話装置に対してそのまま送信する。しかし、使用者は、部屋が散らかっているとき等、相手に対して背景を見せたくない場合がある。
【０００３】
このような場合に、使用者の背景を相手に対して見せないように、相手のテレビ電話装置に送信すべき画像に対して画像処理を行う技術として、特許文献１および２に開示されている技術が挙げられる。
【０００４】
特許文献１には、送信すべき画像から、人物の特に顔の部分を抽出し、該抽出した部分以外の画像部分に対してフェード処理を施す技術が開示されている。特許文献１に開示されている技術では、該送信すべき画像から抽出した人物の顔等のみを相手に見せることにより、相手に対して使用者の表情を伝える一方、顔以外の部分の画像データを消去して、使用者の背景に写るプライベートな画像情報を、相手に見せないようにしている。
【０００５】
また、特許文献２には、２台のカメラから撮影した画像を利用して物体までの距離を求め、撮影する対象物以外と認識される距離にある背景を、予め用意した画像に置き換える技術が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平６−７０３１３号公報（１９９４年３月１１日公開）
【特許文献２】特開平６−３１１４０５号公報（１９９４年１１月４日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１に開示されているような、送信すべき画像から人物の顔等を抽出して、該抽出した画像部分以外を見せないようにする技術では、顔以外の物体を相手に対して見せたいときであっても、該物体の画像が上記フェード処理等によって消去されるという問題が発生する。
【０００８】
ここで、特許文献１に係るテレビ電話装置において、上記の問題を解決するためには、抽出する部位を増加させて、上記物体を抽出の対象に含めることが考えられる。しかし、該抽出する部位を増加させるためには、部位の増加数と同数の、画像の加工回路および２値化回路のそれぞれを少なくとも追加する必要がある。このため、特許文献１に係るテレビ電話装置では、顔以外の物体を相手に対して見せるように構成すると、回路規模が増大するという問題が発生する。
【０００９】
また、特許文献１に開示されている技術では、テレビ電話装置を人ごみで使用した場合に、使用者の顔以外に、使用者の後ろを通過した他人の顔も抽出される虞があるため、該抽出された他人の顔についても相手から見える。従って、特許文献１に開示されている技術では、使用者の背景に写る、相手に見せたくない画像が相手に見えてしまう虞があるという問題が発生する。
【００１０】
特許文献２に開示されている技術では、背景を予め用意された画像に置き換えるため、相手に対して通話現場の状況を伝えることができない場合があるという問題が発生する。例えば、夜に自宅から電話をしている場合でも、南国の昼間の風景を背景画像に利用すると、本当に自宅から電話しているのか相手に伝わらない。
【００１１】
また、特許文献２に係る画像伝送装置では、背景画像を記録するメモリが必要となるため、回路規模が増大するという問題が発生する。
【００１２】
本発明は、上記の問題に鑑みて為された発明であり、その目的は、簡易な構成により、画像の一部または全部の鮮明度を低減する（ぼかす）処理を行う画像処理装置等を提供することにある。
【課題を解決するための手段】
【００１３】
本発明の画像処理装置は、上記の問題を解決するために、撮像対象が撮像された撮像画像に対して、該撮像画像の一部又は全部の鮮明度を低減する処理を施し、該鮮明度を低減した出力画像を出力する画像処理装置であって、距離画像センサから得られる距離画像であって、上記距離画像を構成する画素である距離画素のそれぞれは上記撮像画像を構成する画素である撮像画素のいずれかと対応付けられており、上記撮像対象の当該距離画像センサからの距離を示す距離データが上記距離画素毎に対応付けて記録されている距離画像を取得する距離画像取得手段と、上記距離画像取得手段により取得した距離画像から、上記距離画素に対応付けて記録された距離データを上記距離画素毎に取得するとともに、該取得した距離データが所定閾値を超えるか否かを上記距離画素毎に判定する判定手段と、上記撮像画像のうち、上記判定手段により距離データが上記所定閾値を超えると判定した上記距離画素に対応する上記撮像画素の画素値に対して所定演算を行うことによって上記出力画像を生成する画像生成手段とを備えることを特徴としている。
【００１４】
また、本発明の画像処理方法は、上記の問題を解決するために、撮像対象が撮像された撮像画像に対して、該撮像画像の一部又は全部の鮮明度を低減する処理を施し、該鮮明度を低減した出力画像を出力する画像処理方法であって、距離画像センサから得られる距離画像であって、上記距離画像を構成する画素である距離画素のそれぞれは上記撮像画像を構成する画素である撮像画素のいずれかと対応付けられており、上記撮像対象の当該距離画像センサからの距離を示す距離データが上記距離画素毎に対応付けて記録されている距離画像を取得する距離画像取得ステップと、上記距離画像取得ステップにて取得した距離画像から、上記距離画素に対応付けて記録された距離データを上記距離画素毎に取得するとともに、該取得した距離データが所定閾値を超えるか否かを上記距離画素毎に判定する判定ステップと、上記撮像画像のうち、上記判定ステップにて距離データが上記所定閾値を超えると判定した上記距離画素に対応する上記撮像画素の画素値に対して所定演算を行うことによって上記出力画像を生成する画像生成ステップとを含むことを特徴としている。
【００１５】
上記の構成によれば、本発明の画像処理装置は、撮像画素のそれぞれと対応付けられた各距離画素に記録された各距離データを、所定閾値と比較した結果に基づいて、比較した該距離データが記録されている距離画素に対応する撮像画素に対して、上記鮮明度を低減する画像処理（所定演算）を行うか否かを制御する。
【００１６】
すなわち、本発明の画像処理装置は、撮像画素の画素単位で、距離画像センサから撮像対象までの距離が所定閾値を超えているとき、鮮明度を低減する（ぼかす）画像処理を行う。
【００１７】
このため、距離画像センサから近い位置にある物体（画像処理装置の使用者等）について、当該物体の距離画像センサからの距離が上記所定閾値を超えない場合は、撮像画像における該物体が撮像された領域に対して鮮明度を低減する画像処理が行われない。
【００１８】
一方、距離画像センサから遠い位置にある物体（画像処理装置の使用者の背景等）について、当該物体の距離画像センサからの距離が上記所定閾値を超える場合は、撮像画像における該物体が撮像された領域に対して鮮明度を低減する画像処理が行われる。
【００１９】
つまり、本発明の画像処理装置は、画像処理装置の使用者の背景等を見えづらくするように鮮明度が低減された画像を、簡易な構成により生成することが可能となる。
【００２０】
また、鮮明度を低減する画像処理は、一般的に知られている画像のぼかし技術を適用することができるので、簡易な構成により実現することができる。
【００２１】
また、本発明の画像処理装置の上記画像生成手段は、上記所定演算を行う対象となる上記撮像画素の画素値および当該撮像画素に隣接する上記撮像画素の画素値を用いて上記所定演算を行うことを特徴としている。
【００２２】
また、本発明の画像処理装置の上記画像生成手段は、上記所定演算として、上記所定演算を施す対象となる撮像画素の画素値を、当該撮像画素の画素値および当該撮像画素に隣接する撮像画素の画素値の加重平均値に変更することを特徴としている。
【００２３】
さらに、本発明の画像処理装置の上記画像生成手段は、上記所定演算を施す対象となる撮像画素に対応する上記距離画素に対応付けて記録された距離データに応じた係数を、当該撮像画素の画素値および当該撮像画素に隣接する撮像画素の画素値に乗じてから、上記加重平均値を算出することを特徴としている。
【００２４】
上記の構成によれば、距離データに応じた係数を、処理対象の撮像画素の画素値、およびその近傍の各撮像画素の画素値に乗じて、これらの各画素値の加重平均値を求め、該処理対象の撮像画素の画素値を、該加重平均値に変更することにより、該処理対象の撮像画素に対して、鮮明度を低減する画像処理を行う。
【００２５】
上記の構成によれば、周知のぼかしフィルタ（ローパスフィルタ）を用いた、撮像画像のぼかし処理により、上記鮮明度を低減する画像処理が実現可能となるので、該画像処理を施した領域について、ぼかし処理前の状態が判別可能な出力画像を作成することができる。
【００２６】
また、上記の構成によれば、係数を距離データに応じて変更することにより、撮像画像においては、距離画像センサから近い距離の物体と、距離画像センサから遠い距離の物体とで、ぼかし度合いを変更することができる。これにより、距離画像センサから遠い距離の物体の画像を、距離画像センサから近い距離の物体の画像よりも大幅にぼかす、等といった処理が可能となる。
【００２７】
また、本発明の画像処理装置は、上記画像生成手段により生成された上記出力画像を上記画像処理装置の外部に送信する画像送信手段をさらに備えることを特徴としている。
【００２８】
上記の構成によれば、出力画像を、画像処理装置の外部に送信することができるので、外部の装置が出力画像を利用することが可能となる。
【００２９】
なお、本発明の画像処理装置を備えた装置の一例としては、テレビ電話装置が挙げられる。本発明の画像処理装置を備えたテレビ電話装置は、相手に見せたい物体を距離画像センサから近い位置に配置することにより、当該物体が画像から消去される虞を低減することが可能である。また、本発明の画像処理装置を備えたテレビ電話装置は、画像から抽出する部位（対象）を増やすこと無く、上記所定閾値に応じて、鮮明度を低減する画像処理を行うか否かを区別することが可能となるので、回路規模を増大させる必要が無い。また、本発明の画像処理装置を備えたテレビ電話装置は、画像処理によって背景の鮮明度を低減させるので、背景の差し替えを行う必要が無く、相手に対して通話現場の状況を伝えることが可能となる。さらに、本発明の画像処理装置を備えたテレビ電話装置は、背景画像を記録するメモリが不要となるため、回路規模の増大を抑制することが可能となる。
【００３０】
なお、上記画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記画像処理装置をコンピュータにて実現させる画像処理装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【発明の効果】
【００３１】
以上のとおり、本発明の画像処理装置は、撮像対象が撮像された撮像画像に対して、該撮像画像の一部又は全部の鮮明度を低減する処理を施し、該鮮明度を低減した出力画像を出力する画像処理装置であって、距離画像センサから得られる距離画像であって、上記距離画像を構成する画素である距離画素のそれぞれは上記撮像画像を構成する画素である撮像画素のいずれかと対応付けられており、上記撮像対象の当該距離画像センサからの距離を示す距離データが上記距離画素毎に対応付けて記録されている距離画像を取得する距離画像取得手段と、上記距離画像取得手段により取得した距離画像から、上記距離画素に対応付けて記録された距離データを上記距離画素毎に取得するとともに、該取得した距離データが所定閾値を超えるか否かを上記距離画素毎に判定する判定手段と、上記撮像画像のうち、上記判定手段により距離データが上記所定閾値を超えると判定した上記距離画素に対応する上記撮像画素の画素値に対して所定演算を行うことによって上記出力画像を生成する画像生成手段とを備える構成である。
【００３２】
また、本発明の画像処理方法は、撮像対象が撮像された撮像画像に対して、該撮像画像の一部又は全部の鮮明度を低減する処理を施し、該鮮明度を低減した出力画像を出力する画像処理方法であって、距離画像センサから得られる距離画像であって、上記距離画像を構成する画素である距離画素のそれぞれは上記撮像画像を構成する画素である撮像画素のいずれかと対応付けられており、上記撮像対象の当該距離画像センサからの距離を示す距離データが上記距離画素毎に対応付けて記録されている距離画像を取得する距離画像取得ステップと、上記距離画像取得ステップにて取得した距離画像から、上記距離画素に対応付けて記録された距離データを上記距離画素毎に取得するとともに、該取得した距離データが所定閾値を超えるか否かを上記距離画素毎に判定する判定ステップと、上記撮像画像のうち、上記判定ステップにて距離データが上記所定閾値を超えると判定した上記距離画素に対応する上記撮像画素の画素値に対して所定演算を行うことによって上記出力画像を生成する画像生成ステップとを含む方法である。
【００３３】
従って、簡易な構成により、画像の一部または全部の鮮明度を低減する（ぼかす）処理を行うことが可能であるという効果を奏する。
【図面の簡単な説明】
【００３４】
【図１】本発明の一実施の形態に係る画像処理装置の構成を示すブロック図である。
【図２】撮影画像データのデータ構造の一例を示す図である。
【図３】距離画像データのデータ構造の一例を示す図である。
【図４】出力画像データのデータ構造の一例を示す図である。
【図５】出力画像データを作成する手順を説明するフローチャートであって、同手順に係る処理の流れを示している。
【図６】画素値演算処理の流れを示すフローチャートである。
【図７】図７（ａ）は、３×３ぼかしフィルタの構成を示す図であり、図７（ｂ）〜（ｄ）は、同フィルタの行列としての各要素に与えるフィルタ係数の例を示す図である。
【図８】図８（ａ）は、５×５ぼかしフィルタの構成を示す図であり、図８（ｂ）〜（ｄ）は、同フィルタの行列としての各要素に与えるフィルタ係数の例を示す図である。
【図９】７×７ぼかしフィルタの構成を示す図である。
【図１０】本発明の他の実施の形態に係る画像処理ユニットの構成を示すブロック図である。
【発明を実施するための形態】
【００３５】
実施の形態１に係る画像処理装置１０１、および、実施の形態２に係る画像処理ユニット１００１は、概略的に言えば、画像の一部又は全部の鮮明度を低減する（ぼかす）画像処理を行う装置であり、画像を表すデジタル信号を処理する種々の装置に適用することが可能である。中でも、画像処理装置１０１および画像処理ユニット１００１は、テレビ電話装置において使用者を撮像した画像（撮影）に対して画像処理を行う装置に好適に適用できる。
【００３６】
従って、各実施の形態では、画像処理装置１０１および画像処理ユニット１００１を、テレビ電話装置が備える画像処理装置に適用したケースを例に挙げて説明する。ただし、画像処理装置１０１および画像処理ユニット１００１の適用先をテレビ電話装置に限定するものではない。
【００３７】
〔実施の形態１〕
本実施の形態に係る画像処理装置１０１について、図１〜図９を参照して、以下に説明する。
【００３８】
〔画像処理装置１０１の概略構成〕
図１は、画像処理装置１０１の概略構成を示すブロック図である。
【００３９】
画像処理装置１０１は、テレビ電話装置等において、使用者を撮像（撮影）した画像を、通話先である相手のテレビ電話装置に対して送信するための画像送信装置１００の一構成要素である。なお、画像送信装置１００は、画像処理装置１０１の他に、カメラ１０６、距離画像センサ１０７、および送信部１０８を備える構成である。
【００４０】
画像処理装置１０１は、カメラ制御部１０９、センサ制御部１１０、主制御部１１１、および画像送信制御部（画像送信手段）１０５を備える構成である。
【００４１】
カメラ１０６は、デジタルカメラに代表される一般的なカメラであり、画像処理装置１０１を備えるテレビ電話装置の使用者およびその背景を撮像する。カメラ１０６によって撮像される対象を「撮像対象」とも称する。カメラ１０６によって撮像対象が撮像された画像（以下、「撮像画像」とも称する）は、デジタル画像処理を施すことが可能な撮像画像データとしてカメラ１０６から出力される。カメラ制御部１０９は、カメラ１０６から出力された撮像画像データを取得すると共に、カメラ１０６に対する各種制御を行う。
【００４２】
距離画像センサ１０７は、距離画像センサ１０７自身から、撮像した物体までの距離を示す距離データが、該撮像によって得られた画像（以下、「距離画像」とも称する）を構成する画素（以下、「距離画素」とも称する）の画素値として記録および出力されるものである。距離画像センサ１０７としては、例えば、光が物体に当たって反射して返ってくるまでの往復の時間を測定して距離を求める、ＴＯＦ（Time of Flight）型の距離画像センサを利用することができる。ＴＯＦ型の距離画像センサの他にも、距離画像センサ１０７としては、２台のカメラで撮像した画像の差分から距離を求める機能を備えるもの等を利用することができる。
【００４３】
ここで、距離画像センサ１０７は、カメラ１０６が撮像対象としている、上記使用者およびその背景を撮像することができるように設けられている。より詳しくは、距離画像センサ１０７によって撮像された距離画像とカメラ１０６によって撮像された撮像画像との間では、撮像されている各物体の位置関係が相対的にほぼ一致するように、カメラ１０６と距離画像センサ１０７とが設けられている。なお、距離画像センサ１０７によって撮像された距離画像を構成する画素のそれぞれは、カメラ１０６によって撮像された撮像画像を構成する画素（以下、「撮像画素」とも称する）のいずれかと対応付けが可能であるものとする。
【００４４】
以下、距離画像センサ１０７によって撮像された距離画像のデータを、「距離画像データ」と称する。距離画像データは、距離画像センサ１０７から出力される。センサ制御部１１０は、距離画像センサ１０７から出力された距離画像データを取得すると共に、距離画像センサ１０７に対する各種制御を行う。
【００４５】
ここで、距離画像センサ１０７によって撮像された距離画像には、その画素単位で、撮像した物体の距離画像センサ１０７からの距離が記録されている。測定できる、距離の精度および距離の単位は、個々のセンサによって異なるが、本実施の形態では、距離画像センサ１０７から物体までの距離に応じた画素値を出力することが可能な距離画像センサ１０７を例に、説明を行う。
【００４６】
また、カメラ１０６および距離画像センサ１０７において、撮像された各画像における各物体の位置関係を相対的にほぼ一致させるためには、カメラ１０６および距離画像センサ１０７としては、互いに同一のカメラを使用するのが好ましい。
【００４７】
一方、カメラ１０６および距離画像センサ１０７としては、互いに同一のカメラを使用せず、それぞれ別のカメラを使用してもよい。但し、カメラ１０６および距離画像センサ１０７として、それぞれ別のカメラを使用して、撮像画像データおよび距離画像データのそれぞれを取得する場合、２台の該カメラはできるだけ近接させる必要がある。この理由は、該２台のカメラが、互いに離れた配置となっていると、上記位置関係に大きなずれが生じやすい、すなわち、撮像画像データと距離画像データとの間での、画素の位置ずれが大きくなりやすいためである。該２台のカメラで撮像した各画像の間で、画角および／または物体のサイズ（位置関係）が異なっている場合、これらの画像の少なくとも一方に対して、拡大、縮小、トリミング、またはアフィン変換等を施して、これらの画像を同一の画像サイズにするのが好ましい。
【００４８】
主制御部１１１は、カメラ１０６、距離画像センサ１０７、および画像送信制御部１０５の各部を制御するものである。主制御部１１１は、ＣＰＵ（central processing unit）で構成されていてもよいし、ＡＳＩＣ（application specific integrate circuit）などのハードウェアロジックで構成されていてもよい。主制御部１１１がＣＰＵで構成されている場合、メモリに記憶されている各種プログラムを、例えばＲＡＭ（random access memory）等で構成される一次記憶部に読み出して実行する。
【００４９】
主制御部１１１は、画素値取得部１０２、距離画像データ解析部（距離画像取得手段、判定手段）１０４、および画像処理部（画像生成手段）１０３を含んでいる。
【００５０】
画素値取得部１０２は、カメラ制御部１０９から撮像画像データを取得し、該撮像画像データを構成する各画素の画素値を、画素毎に取得する。詳細は後述するが、撮像画像データは、一般的なカメラにより撮像された画像を想定しているので、画素値に、Ｒ（赤）成分、Ｇ（緑）成分、およびＢ（青）成分から成る色情報を含んでいる。
【００５１】
距離画像データ解析部１０４は、センサ制御部１１０から距離画像データを取得し、該距離画像データを構成する各画素の画素値、すなわち、各距離画素に記録されている距離を、距離画素毎に取得する。そして、距離画像データ解析部１０４は、取得した距離が、所定の閾値（以下、「所定閾値Ｔ」と表記する）を超えるか否かを距離画素毎に判定する。
【００５２】
ここで、所定閾値Ｔは、撮像した物体の距離画像センサ１０７からの距離が、所定距離よりも大きいか、それとも小さいかを、距離画素毎に判別するための値である。なお、所定閾値Ｔの好ましい値は、距離画像センサ１０７から上記使用者までの距離を示す値である。なぜなら、距離画像センサ１０７から上記使用者までの距離を示す値を所定閾値Ｔとして設定することで、上記使用者の前または横にある物体を相手に見せたい物体と判定する（ぼかさない）一方、上記使用者の後ろにある物体を背景として判定する（ぼかす）ことが可能となるためである。
【００５３】
画像処理部１０３は、まず、画素値取得部１０２から、撮像画像データを構成する各画素の画素値を、画素毎に取得する。
【００５４】
そして、画像処理部１０３は、距離画像データ解析部１０４にて距離が所定閾値Ｔを超えると判定した距離画素に対応する撮像画素の画素値に対して、後述する画素値演算処理（所定演算）を行う。画像処理部１０３は、当該処理を各撮像画素に対して施す。
【００５５】
その結果、画像処理部１０３は、カメラ１０６によって撮像された撮像画像のうち、距離画像センサ１０７からの距離が所定閾値Ｔで表される所定距離を超える撮像対象が撮像されている領域の鮮明度を低減した（ぼかした）画像である出力画像を生成する。
【００５６】
なお、上記の説明において、画素値取得部１０２、画像処理部１０３、および距離画像データ解析部１０４における一連の処理の説明は、撮像画像データを構成するある１画素に対する説明である。一方、画像処理装置１０１では、画素値取得部１０２、画像処理部１０３、および距離画像データ解析部１０４が、撮像画像データを構成する全ての画素の各々に対して、上記の一連の処理を行う。そして、上記の一連の処理が完了して得られた画像のデータは、出力画像を示す出力画像データとして、画像処理部１０３から出力される。
【００５７】
画像処理部１０３から出力された出力画像データは、画像送信制御部１０５に供給される。画像送信制御部１０５は、供給された出力画像データを、画像処理装置１０１の外部の送信部１０８に対して出力する。
【００５８】
一般的に、テレビ電話装置では、使用者を撮像した画像を、通話先のテレビ電話装置に送信するために、音声と画像との同期がずれないようにする仕組み、および、画像のデータを圧縮する技術が必要である。これらの技術は、送信部１０８が担っている。すなわち、送信部１０８は、画像送信制御部１０５から供給された出力画像データを、テレビ電話装置において用いられる周知の送受信方式によって、通話先のテレビ電話装置に送信する。
【００５９】
〔撮像画像データ、距離画像データ、および出力画像データのデータ構造〕
ここで、上記撮像画像データ、上記距離画像データ、および上記出力画像データについて、図２〜図４を参照して説明する。
【００６０】
図２は、撮像画像データのデータ構造の一例を示す図である。図２には、横方向（Ｘ方向）にｎ個の画素を、縦方向（Ｙ方向）にｍ個の画素をそれぞれ有する、撮像画像データを示している。撮像画像データを構成する、ｎ×ｍ個の画素の各々には、Ｒ（赤）成分、Ｇ（緑）成分、およびＢ（青）成分から成る、ＲＧＢ表色系に基づく色情報が、画素値として記録されている。
【００６１】
以下、撮像画像データにおいて、左からｉ番目、上からｊ番目の画素に記録されているＲ成分は、Ｒｉｊと表記する。同画素に記録されているＧ成分およびＢ成分についても同様に、それぞれＧｉｊおよびＢｉｊと表記する。
【００６２】
図３は、距離画像データのデータ構造の一例を示す図である。図３には、横方向（Ｘ方向）にｎ個の画素を、縦方向（Ｙ方向）にｍ個の画素をそれぞれ有する、距離画像データを示している。距離画像データを構成する、ｎ×ｍ個の画素の各々には、距離画像センサ１０７から距離画像センサ１０７が撮像した物体までの距離を示す距離データの成分（Ｄ）が、画素値として記録されている。
【００６３】
以下、距離画像データにおいて、左からｉ番目、上からｊ番目の画素に記録されている距離データの成分は、Ｄｉｊと表記する。
【００６４】
ここで、撮像画像データおよび距離画像データは、互いに略同一の位置を撮像した画像である。また、撮像画像データおよび距離画像データは、いずれもｎ×ｍ個の画素を有する画像のデータである。従って、撮像画像データおよび距離画像データは、互いに略同一の撮像対象を、カメラ１０６および距離画像センサ１０７という、互いに異なる撮像装置によって撮像して得られた各データであると言える。従って、撮像画像データにおけるＲｉｊ、Ｇｉｊ、およびＢｉｊが示す色情報と、該撮像画像データに対応する距離画像データにおけるＤｉｊが示す距離データとは、互いに略同一の撮像対象における略同一の位置を撮像して得られた情報を示している。
【００６５】
図４は、出力画像データのデータ構造の一例を示す図である。図４には、横方向（Ｘ方向）にｎ個の画素を、縦方向（Ｙ方向）にｍ個の画素をそれぞれ有する、出力画像データを示している。出力画像データを構成する、ｎ×ｍ個の画素の各々には、Ｒ（赤）成分、Ｇ（緑）成分、およびＢ（青）成分から成る、ＲＧＢ表色系に基づく色情報が、画素値として記録されている。
【００６６】
以下、出力画像データにおいて、左からｉ番目、上からｊ番目の画素に記録されているＲ成分は、Ｒｏｉｊと表記する。同画素に記録されているＧ成分およびＢ成分についても同様に、それぞれＧｏｉｊおよびＢｏｉｊと表記する。
【００６７】
出力画像データは、画像処理装置１０１に入力された、撮像画像データおよび距離画像データから、以下の手順で作成される。
【００６８】
〔出力画像データを作成する手順〕
出力画像データを作成する手順（画像処理方法）について、図５を参照して説明する。
【００６９】
図５は、出力画像データを作成する手順を説明するフローチャートであって、同手順に係る画像処理部１０３等の処理の流れを示している。
【００７０】
上述したとおり、出力画像データを作成するための画像処理は、撮像画像データを構成する各画素について行う。ここでは、処理を行う対象となる、撮像画像データの１画素を「注目画素」と称する。
【００７１】
なお、ここでは、Ｘ方向にｎ個の画素を、Ｙ方向にｍ個の画素をそれぞれ有する撮像画像データ（図２参照）が、画像処理装置１０１に入力された場合を例に、説明を行う。
【００７２】
また、ここでは、撮像画像データの画素数と距離画像データの画素数とが同数（ｎ×ｍ個）である場合を例に、説明を行う。ちなみに、撮像画像データの画素数と距離画像データの画素数とが異なる数である場合、事前に距離画像データの画像を、撮像画像データの画素数と同じ画像サイズにしておく必要がある。画像サイズの調整方法は、拡大、縮小、トリミング、またはアフィン変換等の、周知の技術を使用することができる。
【００７３】
さらに、ここでは、一般的な説明を行うために、Ｘ方向の座標における左からｉ番目、Ｙ方向の座標における上からｊ番目の画素の処理方法について説明を行う。
【００７４】
処理が開始（ステップＳＴ５１）されると、画素値取得部１０２は、カメラ制御部１０９から取得した撮像画像データから、注目画素に記録されている色情報（画素値）を取得する。この注目画素に記録されている色情報は、該注目画素に記録されている画素値、すなわち、ＲＧＢの各成分（Ｒｉｊ、Ｇｉｊ、Ｂｉｊ）に該当する（ステップＳＴ５２）。
【００７５】
距離画像データ解析部１０４は、センサ制御部１１０から取得した距離画像データから、注目画素に記録されている、該注目画素に関する、距離画像センサ１０７から距離画像センサ１０７が撮像した物体までの距離（画素値）を、距離情報として取得する。この注目画素に関する該距離は、該注目画素に記録されている画素値、すなわち、距離データＤｉｊに該当する（距離画像取得ステップＳＴ５３）。
【００７６】
また、距離画像データ解析部１０４は、ステップＳＴ５３にて取得した距離データＤｉｊの画素値（距離情報）を、パラメータである所定の距離閾値（所定閾値Ｔ）Ｔｈ１と比較し、これらのそれぞれが示す距離の大小を判定する（判定ステップＳＴ５４）。
【００７７】
距離データＤｉｊにおける画素値が距離閾値Ｔｈ１以下である場合、注目画素に関して、距離画像センサ１０７から距離画像センサ１０７が撮像した物体までの距離が、距離閾値Ｔｈ１の示す所定距離以下であると判定する。この判定結果は、同注目画素に関して、距離画像センサ１０７が撮像した物体が、該所定距離に対応する位置よりも、距離画像センサ１０７に近いか、または、距離画像センサ１０７が撮像した物体が、該所定距離に対応する位置にあることを示している。そして、このような判定が行われた場合、画像処理部１０３は、注目画素に記録されている色情報に対する、後述する画素値演算処理を行わない（ステップＳＴ５５）。
【００７８】
すなわち、ステップＳＴ５５において、画像処理部１０３は、ステップＳＴ５２にて取得した色情報を、対応する出力画像データの１画素に対してそのまま記録することにより、出力画像データの座標（Ｘ、Ｙ）＝（ｉ、ｊ）を構成する画素の画素値である出力画素色情報を、
Ｒｏｉｊ＝Ｒｉｊ
Ｇｏｉｊ＝Ｇｉｊ
Ｂｏｉｊ＝Ｂｉｊ
とする。この場合、注目画素に対応する出力画像データの１画素に記録されている色情報は、該注目画素に記録されている色情報に等しい。
【００７９】
距離データＤｉｊにおける画素値が距離閾値Ｔｈ１よりも大きい場合、注目画素に関して、距離画像センサ１０７から距離画像センサ１０７が撮像した物体までの距離が、距離閾値Ｔｈ１の示す所定距離よりも大きいと判定する。この判定結果は、同注目画素に関して、距離画像センサ１０７が撮像した物体が、該所定距離に対応する位置よりも、距離画像センサ１０７から遠いことを示している。そして、このような判定が行われた場合、画像処理部１０３は、注目画素に記録されている色情報に対する、後述する画素値演算処理を行う（画像生成ステップＳＴ５６）。
【００８０】
ステップＳＴ５６において、画像処理部１０３は、撮像画像データの（Ｘ、Ｙ）＝（ｉ、ｊ）である画素、およびその近傍の画素に記録されている画素値、ならびにそれらに各々対応する距離データ等を用いて、上記出力画素色情報を算出する。画素値演算処理の詳細については後述する。
【００８１】
ステップＳＴ５５に示す処理、またはステップＳＴ５６に示す処理が終了すると、画素値取得部１０２、距離画像データ解析部１０４、および画像処理部１０３は、画像処理装置１０１に入力された撮像画像データを構成する画素の全てについて、ステップＳＴ５２〜ステップＳＴ５５（またはステップＳＴ５６）に示した一連の処理を繰り返す。
【００８２】
すなわち、上記撮像画像データを構成する画素の全てについて、上記一連の処理が行われていない場合、画素値取得部１０２、距離画像データ解析部１０４、および画像処理部１０３は、注目画素を未処理の画素へと変更した上で、再び上記一連の処理を行う。
【００８３】
一方、上記撮影画像データを構成する画素の全てについて、上記の一連の処理が行われた場合、画像処理部１０３は、得られた出力画像データを、画像送信制御部１０５に出力し、画像処理を終了する（ステップＳＴ５８）。
【００８４】
〔画素値演算処理〕
画素値演算処理について、図６〜図９を参照して説明する。
【００８５】
図６は、画素値演算処理の流れを示すフローチャートである。
【００８６】
図５に示すフローチャートにおいて、ステップＳＴ５６へと処理が進むと、画素値演算処理が開始（ステップＳＴ６１）され、距離画像データ解析部１０４は、ステップＳＴ５３にて取得した距離データＤｉｊの画素値（距離情報）を、上述した距離閾値Ｔｈ１とは異なるパラメータである所定の距離閾値（所定閾値Ｔ）Ｔｈ２と比較し、これらのそれぞれが示す距離の大小を判定する（ステップＳＴ６２）。
【００８７】
距離データＤｉｊにおける画素値が距離閾値Ｔｈ２以下である場合、画像処理部１０３は、後述する３×３ぼかし処理を行う（ステップＳＴ６３）。
【００８８】
距離データＤｉｊにおける画素値が距離閾値Ｔｈ２よりも大きい場合、距離画像データ解析部１０４は、ステップＳＴ５３にて取得した距離データＤｉｊの画素値（距離情報）を、上述した距離閾値Ｔｈ１およびＴｈ２のいずれとも異なるパラメータである所定の距離閾値（所定閾値）Ｔｈ３と比較し、これらのそれぞれが示す距離の大小を判定する（ステップＳＴ６４）。
【００８９】
距離データＤｉｊにおける画素値が距離閾値Ｔｈ３以下である場合、画像処理部１０３は、後述する５×５ぼかし処理を行う（ステップＳＴ６５）。
【００９０】
距離データＤｉｊにおける画素値が距離閾値Ｔｈ３よりも大きい場合、画像処理部１０３は、ステップＳＴ６３に係る３×３ぼかし処理、およびステップＳＴ６５に係る５×５ぼかし処理のいずれとも異なるぼかし処理を行う（ステップＳＴ６６）。
【００９１】
ここからは、３×３ぼかし処理、および５×５ぼかし処理のそれぞれについて、説明を行う。なお、以下では、撮像画像データにおける座標（Ｘ、Ｙ）を構成する画素に記録されているＲ成分をＲ〔Ｘ〕〔Ｙ〕と、同画素に記録されているＧ成分をＧ〔Ｘ〕〔Ｙ〕と、同画素に記録されているＢ成分をＢ〔Ｘ〕〔Ｙ〕と、それぞれ表記する。
【００９２】
ステップＳＴ６３に係る３×３ぼかし処理は、画像処理部１０３において、図７（ａ）に示すような周知の、３画素×３画素の行列に対応する各フィルタ係数を有するぼかしフィルタ（以下、「３×３ぼかしフィルタ」と称する）、およびそれらの各フィルタ係数の調整を使用することにより、実施可能である。
【００９３】
すなわち、画像処理部１０３は、撮像画像データを構成する全ての画素の各々に関して、注目画素およびその近傍の画素のそれぞれに記録されている色情報の加重平均を、Ｒ成分、Ｇ成分、およびＢ成分の各々について求める。また、画像処理部１０３は、該注目画素に記録されている色情報を、Ｒ成分、Ｇ成分、およびＢ成分の各々について、先に求めた加重平均の値に置換する。
【００９４】
画像処理部１０３は、座標（Ｘ、Ｙ）＝（ｉ、ｊ）である注目画素に対して、３×３ぼかしフィルタの係数から、
【００９５】
【数１】
【００９６】
【数２】
【００９７】
【数３】
【００９８】
【数４】
【００９９】
のそれぞれを算出する。そして、画像処理部１０３は、注目画素に対応する出力画像データの１画素に記録すべき色情報における、Ｒ成分であるＲｏ〔ｉ〕〔ｊ〕、Ｇ成分であるＧｏ〔ｉ〕〔ｊ〕、およびＢ成分であるＢｏ〔ｉ〕〔ｊ〕を、
Ｒｏ〔ｉ〕〔ｊ〕 = Rnume / deno
Ｇｏ〔ｉ〕〔ｊ〕 = Gnume / deno
Ｂｏ〔ｉ〕〔ｊ〕 = Bnume / deno
より求める。
【０１００】
そして、画像処理部１０３は、撮像画像データにおける注目画素に記録されている色情報（Ｒ〔ｉ〕〔ｊ〕、Ｇ〔ｉ〕〔ｊ〕、およびＢ〔ｉ〕〔ｊ〕）を、それぞれ、算出した加重平均（Ｒｏ〔ｉ〕〔ｊ〕、Ｇｏ〔ｉ〕〔ｊ〕、およびＢｏ〔ｉ〕〔ｊ〕）に置換する。
【０１０１】
なお、図７（ａ）に示す３×３ぼかしフィルタにおける（行列としての）各要素は、左からｐ番目、上からｑ番目の要素に対して、Ｋｐｑというフィルタ係数を記載している。特に、Ｋ２２というフィルタ係数を記載している要素は、注目画素に対応する要素であり、その他の各要素は、注目画素の周囲（近傍）にある８画素のそれぞれに対応する要素である。
【０１０２】
上記の各要素に与えるフィルタ係数は、例えば、図７（ｂ）、図７（ｃ）、または図７（ｄ）に示すような値のパターンを使用することができる。
【０１０３】
図７（ｂ）では、各フィルタ係数Ｋｐｑの全てが同じ値（１）であるため、複数のフィルタ係数をその要素として格納するためのテーブルが不要となる。
【０１０４】
図７（ｃ）では、３×３ぼかしフィルタにおけるフィルタ係数Ｋ２２（４）の要素に対して、互いに対称の関係にある２つの該要素を、同じフィルタ係数Ｋｐｑの値（１または２）としている。また、図７（ｃ）では、上記フィルタ係数Ｋ２２の要素に近い要素ほど、フィルタ係数Ｋｐｑが大きな値となっている。このため、図７（ｃ）に示す各フィルタ係数Ｋｐｑを有する３×３ぼかしフィルタは、軽いＬＰＦ（ローパスフィルタ）としての特性を有する。さらに、各フィルタ係数Ｋｐｑは、合計が２のべき乗となるので、出力画像データの色情報を、割り算ではなくシフト演算により算出するように、画像処理装置１０１を構成する各部材の実装が可能となる。
【０１０５】
図７（ｄ）では、各フィルタ係数Ｋｐｑを０または１のみで表している点と、図７（ｃ）の場合と同様に、各フィルタ係数Ｋｐｑの合計が２のべき乗となっている点とが特徴である。
【０１０６】
ステップＳＴ６５に係る５×５ぼかし処理は、画像処理部１０３において、図８（ａ）に示すような周知の、５画素×５画素の行列に対応する各フィルタ係数を有するぼかしフィルタ（以下、「５×５ぼかしフィルタ」と称する）、およびそれらの各フィルタ係数の調整を使用することにより、実施可能である。
【０１０７】
なお、図８（ａ）に示す５×５ぼかしフィルタにおける（行列としての）各要素は、左からｐ番目、上からｑ番目の要素に対して、Ｌｐｑというフィルタ係数を記載している。
【０１０８】
画像処理部１０３としての５×５ぼかしフィルタでは、３×３ぼかし処理の場合と同様にまず、フィルタ係数Ｌ３３が記載されている要素を、注目画素に対応させる。そして、各フィルタ係数Ｌｐｑの値の総和を分母（deno5）とする。また、ＲＧＢの各成分について、５×５ぼかしフィルタの各要素に関する、対応する該要素のフィルタ係数Ｌｐｑの値と、同要素に記録されている色情報（画素値）とによる加重和を算出し、それぞれ、Rnume5, Gnume5, Bnume5とする。Rnume5, Gnume5, Bnume5はそれぞれ、deno5に対する分子である。
【０１０９】
そして、画像処理部１０３は、注目画素に対応する出力画像データの１画素に記録すべき色情報における、Ｒ成分であるＲｏ〔ｉ〕〔ｊ〕、Ｇ成分であるＧｏ〔ｉ〕〔ｊ〕、およびＢ成分であるＢｏ〔ｉ〕〔ｊ〕を、
Ｒｏ〔ｉ〕〔ｊ〕 = Rnume5 / deno5
Ｇｏ〔ｉ〕〔ｊ〕 = Gnume5 / deno5
Ｂｏ〔ｉ〕〔ｊ〕 = Bnume5 / deno5
より求める。
【０１１０】
上記の各要素に与えるフィルタ係数は、例えば、図８（ｂ）、図８（ｃ）、または図８（ｄ）に示すような値のパターンを使用することができる。
【０１１１】
図８（ｂ）では、各フィルタ係数Ｌｐｑの全てが同じ値（１）であるため、複数のフィルタ係数をその要素として格納するためのテーブルが不要となる。
【０１１２】
図８（ｃ）では、５×５ぼかしフィルタにおけるフィルタ係数Ｌ３３（４）の要素に対して、互いに対称の関係にある２つの該要素を、同じフィルタ係数Ｌｐｑの値（０、１、または２）としている。また、図８（ｃ）では、上記フィルタ係数Ｌ３３の要素に近い要素ほど、フィルタ係数Ｌｐｑが大きな値となっている。このため、図８（ｃ）に示す各フィルタ係数Ｌｐｑを有する５×５ぼかしフィルタは、軽いＬＰＦ（ローパスフィルタ）としての特性を有する。さらに、各フィルタ係数Ｌｐｑは、合計が２のべき乗となるので、出力画像データの色情報を、割り算ではなくシフト演算により算出するように、画像処理装置１０１を構成する各部材の実装が可能となる。
【０１１３】
図８（ｄ）では、各フィルタ係数Ｌｐｑを０または１のみで表している点と、図８（ｃ）の場合と同様に、各フィルタ係数Ｌｐｑの合計が２のべき乗となっている点とが特徴である。
【０１１４】
ステップＳＴ６６に係るぼかし処理は、画像処理部１０３において、図９に示すような周知の、７画素×７画素の行列に対応する各フィルタ係数を有するぼかしフィルタ（以下、「７×７ぼかしフィルタ」と称する）を使用することにより、実施可能である。
【０１１５】
なお、図９に示す７×７ぼかしフィルタにおける（行列としての）各要素は、左からｐ番目、上からｑ番目の要素に対して、Ｍｐｑというフィルタ係数を記載している。
【０１１６】
画像処理部１０３としての７×７ぼかしフィルタでは、５×５ぼかし処理の場合と同様にまず、フィルタ係数Ｍ４４が記載されている要素を、注目画素に対応させる。そして、各フィルタ係数Ｍｐｑの値の総和を分母（deno7）とする。また、ＲＧＢの各成分について、７×７ぼかしフィルタの各要素に関する、対応する該要素のフィルタ係数Ｍｐｑの値と、同要素に記録されている色情報（画素値）とによる加重和を算出し、それぞれ、Rnume7, Gnume7, Bnume7とする。Rnume7, Gnume7, Bnume7はそれぞれ、deno7に対する分子である。すなわち、
【０１１７】
【数５】
【０１１８】
【数６】
【０１１９】
【数７】
【０１２０】
【数８】
【０１２１】
となる。これらの数式において、xは、Ｍｐｑにおけるｐのことであり、yは、Ｍｐｑにおけるｑのことである。
【０１２２】
そして、画像処理部１０３は、注目画素に対応する出力画像データの１画素に記録すべき色情報における、Ｒ成分であるＲｏ〔ｉ〕〔ｊ〕、Ｇ成分であるＧｏ〔ｉ〕〔ｊ〕、およびＢ成分であるＢｏ〔ｉ〕〔ｊ〕を、
Ｒｏ〔ｉ〕〔ｊ〕 = Rnume7 / deno7
Ｇｏ〔ｉ〕〔ｊ〕 = Gnume7 / deno7
Ｂｏ〔ｉ〕〔ｊ〕 = Bnume7 / deno7
より求める。
【０１２３】
なお、ステップＳＴ６３、ステップＳＴ６５、およびステップＳＴ６６に係る各ぼかし処理で、注目画素が撮像画像データの端の方にあり、フィルタ係数と掛け合わせる画素が存在しない場合は、ＲＧＢ成分の全てが０である画素が存在するものとして、処理を続行すればよい。
【０１２４】
以上の方法により、画像処理部１０３は、画素値演算処理にて、出力画像データの色情報を求めることができる。
【０１２５】
また、本実施の形態では、ステップＳＴ６３に係る３×３ぼかし処理には、３×３ぼかしフィルタを使用し、ステップＳＴ６５に係る５×５ぼかし処理には、５×５ぼかしフィルタを使用し、ステップＳＴ６６に係る７×７ぼかし処理には、７×７ぼかしフィルタを使用した。但し、これらの各ぼかし処理およびぼかしフィルタは、一例に過ぎず、ぼかしフィルタのサイズ、およびぼかし処理の詳細な手順については、特に限定されるものではない。
【０１２６】
さらに、本実施の形態では、
距離閾値Ｔｈ１＜距離閾値Ｔｈ２＜距離閾値Ｔｈ３
となるように、距離閾値Ｔｈ１〜Ｔｈ３の各々を設定している。また、３×３ぼかし処理にＬＰＦ特性の低いフィルタ係数を設定し、５×５ぼかし処理にＬＰＦ特性の高いフィルタ係数を設定し、ステップＳＴ６６に係るぼかし処理には、５×５ぼかし処理に使用した係数よりもＬＰＦ特性の高いフィルタ係数を設定する。これにより、画像処理装置１０１では、距離に応じたぼかし処理が実現できる。
【０１２７】
その結果、画像処理装置１０１を備えたテレビ電話装置では、近距離にある、通話している相手に対して見せたい物を、相手に対して鮮明に見せる一方、背景の遠くにある、通話している相手に対して見せたくない物をぼかして、相手に対して見せないようにした画像を作成して、相手のテレビ電話装置に対して送信することができる。
【０１２８】
そして、画像処理装置１０１を実現するために、画像処理部１０３は、画素値演算処理を行う対象となる撮像画像データにおける１画素である注目画素の画素値、および該撮像画像データにおける該注目画素に隣接する各画素の画素値を用いて、該画素値演算処理を行う構成である。
【０１２９】
また、画像処理部１０３は、画素値演算処理として、注目画素の画素値を、該注目画素の画素値、および撮像画像データにおける該注目画素に隣接する各画素の画素値の加重平均値に変更する構成である。
【０１３０】
さらに、画像処理部１０３は、注目画素に対応する、距離画像データを構成する１画素に対応付けて記録されている、距離データＤｉｊに応じたフィルタ係数を、該注目画素の画素値、および撮像画像データにおける該注目画素に隣接する各画素の画素値に乗じてから、上記加重平均値を算出して、注目画素の画素値を、該加重平均値に変更する構成である。
【０１３１】
これにより、距離画像センサ１０７から遠い物体ほど大きくぼかす等といった、距離画像センサ１０７から距離画像センサ１０７が撮像した物体までの距離に応じた画像処理を、カメラ１０６によって撮像された画像に対して施すことが可能となる。
【０１３２】
すなわち、周知のぼかしフィルタ（ローパスフィルタ）を用いた、撮像画像のぼかし処理により、上記の画素値演算処理が実現可能となるので、該画素値演算処理を施した領域について、ぼかし処理前の状態が判別可能な（背景としての雰囲気を残した）出力画像を作成することができる。
【０１３３】
また、上記ぼかしフィルタのフィルタ係数を距離データに応じて変更することにより、撮像画像においては、距離画像センサ１０７から近い距離の物体と、距離画像センサ１０７から遠い距離の物体とで、ぼかし度合いを変更することができる。これにより、距離画像センサ１０７から遠い距離の物体の画像を、距離画像センサ１０７から近い距離の物体の画像よりも大幅にぼかす、等といった処理が可能となる。
【０１３４】
また、画像送信制御部１０５を備える構成により、画像処理装置１０１は、出力画像を外部に送信することができるので、外部の装置が出力画像を利用することが可能となる。例えば、本実施の形態に係る画像処理装置１０１が、テレビ電話装置の一構成要素として該テレビ電話装置に備えられている場合において、該テレビ電話装置が、通話先のテレビ電話装置に出力画像を送信することが可能となる。
【０１３５】
〔実施の形態２〕
本実施の形態に係る画像処理ユニット１００１について、図１０を参照して、以下に説明する。
【０１３６】
図１０は、画像処理ユニット１００１の構成を示すブロック図である。
【０１３７】
画像処理ユニット１００１は、テレビ電話装置において、使用者を撮像（撮影）した画像を、通話先のテレビ電話装置に送信するための画像送信装置１０００の一構成要素である。なお、画像送信装置１０００は、画像処理ユニット１００１の他に、カメラ１００６、カメラ１００７、および送信部１００８を備える構成である。
【０１３８】
画像処理ユニット１００１は、画像処理装置１００２、画像処理装置１００３、距離画像演算部（第１距離演算手段）１００４、および距離画像演算部（第２距離演算手段）１００５を備える構成である。
【０１３９】
カメラ１００６は、カメラ１０６（図１参照）と同様の構成である。
【０１４０】
カメラ１００７は、カメラ１００６、ひいてはカメラ１０６と同様の構成であり、カメラ１００６から所定の間隔を設けて配置されている。
【０１４１】
カメラ１００６によって撮像された画像（撮像画像）は、デジタル画像処理を施すことが可能な撮像画像データとしてカメラ１００６から出力される。同様に、カメラ１００７によって撮像された画像（撮像画像）は、デジタル画像処理を施すことが可能な撮像画像データとしてカメラ１００７から出力される。
【０１４２】
距離画像演算部１００４は、カメラ１００６から出力された撮像画像データ、およびカメラ１００７から出力された撮像画像データを取得する。また、距離画像演算部１００４は予め、カメラ１００６とカメラ１００７との間隔を参照することが可能な構成となっている。
【０１４３】
距離画像演算部１００４は、カメラ１００６から出力された撮像画像データに対する、カメラ１００７から出力された撮像画像データにおける、撮像された各物体の位置ずれ、ならびにカメラ１００６とカメラ１００７との間隔に基づいて、三角法により、カメラ１００６からカメラ１００６が撮像した物体までの距離を、カメラ１００６から出力された撮像画像データを構成する画素毎に求める。
【０１４４】
そして、距離画像演算部１００４は、上記で求めた距離を示す画素値の各々を、カメラ１００６から出力された撮像画像データを構成する画素に対応付けて画素が配置された画像データの、対応する画素に記録して距離画像データを作成し、該距離画像データを画像処理装置１００２に出力する。
【０１４５】
また、距離画像演算部１００５は、カメラ１００６から出力された撮像画像データ、およびカメラ１００７から出力された撮像画像データを取得する。また、距離画像演算部１００５は予め、カメラ１００６とカメラ１００７との間隔を参照することが可能な構成となっている。
【０１４６】
距離画像演算部１００５は、カメラ１００６から出力された撮像画像データに対する、カメラ１００７から出力された撮像画像データにおける、撮像された各物体の位置ずれ、ならびにカメラ１００６とカメラ１００７との間隔に基づいて、三角法により、カメラ１００７からカメラ１００７が撮像した物体までの距離を、カメラ１００７から出力された撮像画像データを構成する画素毎に求める。
【０１４７】
そして、距離画像演算部１００５は、上記で求めた距離を示す画素値の各々を、カメラ１００７から出力された撮像画像データを構成する画素に対応付けて画素が配置された画像データの、対応する画素に記録して距離画像データを作成し、該距離画像データを画像処理装置１００３に出力する。
【０１４８】
画像処理装置１００２および１００３はいずれも、画像処理装置１０１（図１参照）と同様の構成である。
【０１４９】
そして、画像処理装置１００２は、カメラ１００６から出力された撮像画像データ、および距離画像演算部１００４から出力された距離画像データを取得して、画像処理装置１０１と同様の処理を行う。そして、画像処理装置１００２は、該処理により得られた出力画像データを、送信部１００８へと出力する。
【０１５０】
また、画像処理装置１００３は、カメラ１００７から出力された撮像画像データ、および距離画像演算部１００５から出力された距離画像データを取得して、画像処理装置１０１と同様の処理を行う。そして、画像処理装置１００３は、該処理により得られた出力画像データを、送信部１００８へと出力する。
【０１５１】
送信部１００８は、画像処理装置１００２および１００３のそれぞれから供給された２つの出力画像データを、テレビ電話装置において用いられる周知の送受信方式によって、通話先のテレビ電話装置に送信する。
【０１５２】
なお、画像処理ユニット１００１は、２台のカメラ１００６および１００７を用いた３次元テレビ電話用の例である。距離の離れた画像をぼかして、手前にあるものをくっきり見せるため、右目と左目の視差を利用した３次元画像では、視差をあわせる物体が解りやすい点が特徴である。
【０１５３】
〔付記事項〕
最後に、画像処理装置１０１、１００２、および１００３の主制御部１１１の機能は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０１５４】
ソフトウェアによって実現する場合は、主制御部１１１は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ、上記プログラム及び各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像処理装置１０１・画像処理ユニット１００１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、画像処理装置１０１・画像処理ユニット１００１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０１５５】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク類、ＩＣカード（メモリカードを含む）／光カード等のカード類、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ類、ＰＬＤ（Programmable logic device）等の論理回路類などを用いることができる。
【０１５６】
また、画像処理装置１０１・画像処理ユニット１００１を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ（High Data Rate）、ＮＦＣ（Near Field Communication）、ＤＬＮＡ（Digital Living Network Alliance）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。
【０１５７】
このように本明細書において、手段とは必ずしも物理的手段を意味するものではなく、各手段の機能がソフトウェアによって実現される場合も含む。さらに、１つの手段の機能が２つ以上の物理的手段により実現されても、もしくは２つ以上の手段の機能が１つの物理的手段により実現されてもよい。
【０１５８】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【０１５９】
本発明は、画像を表すデジタル信号を処理する装置に適用できる。特に、使用者等が撮像された画像を通話先に送信するテレビ電話装置等に好適に適用できる。テレビ電話装置に適用する場合、本発明は、相手に対して見せたい画像を確実に見せ、相手に対して見せたくない画像については、通話現場の状況を伝えられる程度に消去し、かつ回路規模の増大を抑制することが可能であるという効果を奏する。
【符号の説明】
【０１６０】
１０１ 画像処理装置
１０２ 画素値取得部
１０３ 画像処理部（画像生成手段）
１０４ 距離画像データ解析部（距離画像取得手段、判定手段）
１０５ 画像送信制御部（画像送信手段）
１０６ カメラ
１０７ 距離画像センサ
１００１ 画像処理ユニット
１００２および１００３ 画像処理装置
１００４ 距離画像演算部（第１距離演算手段）
１００５ 距離画像演算部（第２距離演算手段）
１００６および１００７ カメラ
【技術分野】
【０００１】
本発明は、画像の一部または全部の鮮明度を低減する（ぼかす）処理を行う画像処理装置等に関する発明である。
【背景技術】
【０００２】
一般的なテレビ電話装置では、テレビ電話装置の使用者をカメラで撮影した画像を、通話先である相手のテレビ電話装置に対してそのまま送信する。しかし、使用者は、部屋が散らかっているとき等、相手に対して背景を見せたくない場合がある。
【０００３】
このような場合に、使用者の背景を相手に対して見せないように、相手のテレビ電話装置に送信すべき画像に対して画像処理を行う技術として、特許文献１および２に開示されている技術が挙げられる。
【０００４】
特許文献１には、送信すべき画像から、人物の特に顔の部分を抽出し、該抽出した部分以外の画像部分に対してフェード処理を施す技術が開示されている。特許文献１に開示されている技術では、該送信すべき画像から抽出した人物の顔等のみを相手に見せることにより、相手に対して使用者の表情を伝える一方、顔以外の部分の画像データを消去して、使用者の背景に写るプライベートな画像情報を、相手に見せないようにしている。
【０００５】
また、特許文献２には、２台のカメラから撮影した画像を利用して物体までの距離を求め、撮影する対象物以外と認識される距離にある背景を、予め用意した画像に置き換える技術が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平６−７０３１３号公報（１９９４年３月１１日公開）
【特許文献２】特開平６−３１１４０５号公報（１９９４年１１月４日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１に開示されているような、送信すべき画像から人物の顔等を抽出して、該抽出した画像部分以外を見せないようにする技術では、顔以外の物体を相手に対して見せたいときであっても、該物体の画像が上記フェード処理等によって消去されるという問題が発生する。
【０００８】
ここで、特許文献１に係るテレビ電話装置において、上記の問題を解決するためには、抽出する部位を増加させて、上記物体を抽出の対象に含めることが考えられる。しかし、該抽出する部位を増加させるためには、部位の増加数と同数の、画像の加工回路および２値化回路のそれぞれを少なくとも追加する必要がある。このため、特許文献１に係るテレビ電話装置では、顔以外の物体を相手に対して見せるように構成すると、回路規模が増大するという問題が発生する。
【０００９】
また、特許文献１に開示されている技術では、テレビ電話装置を人ごみで使用した場合に、使用者の顔以外に、使用者の後ろを通過した他人の顔も抽出される虞があるため、該抽出された他人の顔についても相手から見える。従って、特許文献１に開示されている技術では、使用者の背景に写る、相手に見せたくない画像が相手に見えてしまう虞があるという問題が発生する。
【００１０】
特許文献２に開示されている技術では、背景を予め用意された画像に置き換えるため、相手に対して通話現場の状況を伝えることができない場合があるという問題が発生する。例えば、夜に自宅から電話をしている場合でも、南国の昼間の風景を背景画像に利用すると、本当に自宅から電話しているのか相手に伝わらない。
【００１１】
また、特許文献２に係る画像伝送装置では、背景画像を記録するメモリが必要となるため、回路規模が増大するという問題が発生する。
【００１２】
本発明は、上記の問題に鑑みて為された発明であり、その目的は、簡易な構成により、画像の一部または全部の鮮明度を低減する（ぼかす）処理を行う画像処理装置等を提供することにある。
【課題を解決するための手段】
【００１３】
本発明の画像処理装置は、上記の問題を解決するために、撮像対象が撮像された撮像画像に対して、該撮像画像の一部又は全部の鮮明度を低減する処理を施し、該鮮明度を低減した出力画像を出力する画像処理装置であって、距離画像センサから得られる距離画像であって、上記距離画像を構成する画素である距離画素のそれぞれは上記撮像画像を構成する画素である撮像画素のいずれかと対応付けられており、上記撮像対象の当該距離画像センサからの距離を示す距離データが上記距離画素毎に対応付けて記録されている距離画像を取得する距離画像取得手段と、上記距離画像取得手段により取得した距離画像から、上記距離画素に対応付けて記録された距離データを上記距離画素毎に取得するとともに、該取得した距離データが所定閾値を超えるか否かを上記距離画素毎に判定する判定手段と、上記撮像画像のうち、上記判定手段により距離データが上記所定閾値を超えると判定した上記距離画素に対応する上記撮像画素の画素値に対して所定演算を行うことによって上記出力画像を生成する画像生成手段とを備えることを特徴としている。
【００１４】
また、本発明の画像処理方法は、上記の問題を解決するために、撮像対象が撮像された撮像画像に対して、該撮像画像の一部又は全部の鮮明度を低減する処理を施し、該鮮明度を低減した出力画像を出力する画像処理方法であって、距離画像センサから得られる距離画像であって、上記距離画像を構成する画素である距離画素のそれぞれは上記撮像画像を構成する画素である撮像画素のいずれかと対応付けられており、上記撮像対象の当該距離画像センサからの距離を示す距離データが上記距離画素毎に対応付けて記録されている距離画像を取得する距離画像取得ステップと、上記距離画像取得ステップにて取得した距離画像から、上記距離画素に対応付けて記録された距離データを上記距離画素毎に取得するとともに、該取得した距離データが所定閾値を超えるか否かを上記距離画素毎に判定する判定ステップと、上記撮像画像のうち、上記判定ステップにて距離データが上記所定閾値を超えると判定した上記距離画素に対応する上記撮像画素の画素値に対して所定演算を行うことによって上記出力画像を生成する画像生成ステップとを含むことを特徴としている。
【００１５】
上記の構成によれば、本発明の画像処理装置は、撮像画素のそれぞれと対応付けられた各距離画素に記録された各距離データを、所定閾値と比較した結果に基づいて、比較した該距離データが記録されている距離画素に対応する撮像画素に対して、上記鮮明度を低減する画像処理（所定演算）を行うか否かを制御する。
【００１６】
すなわち、本発明の画像処理装置は、撮像画素の画素単位で、距離画像センサから撮像対象までの距離が所定閾値を超えているとき、鮮明度を低減する（ぼかす）画像処理を行う。
【００１７】
このため、距離画像センサから近い位置にある物体（画像処理装置の使用者等）について、当該物体の距離画像センサからの距離が上記所定閾値を超えない場合は、撮像画像における該物体が撮像された領域に対して鮮明度を低減する画像処理が行われない。
【００１８】
一方、距離画像センサから遠い位置にある物体（画像処理装置の使用者の背景等）について、当該物体の距離画像センサからの距離が上記所定閾値を超える場合は、撮像画像における該物体が撮像された領域に対して鮮明度を低減する画像処理が行われる。
【００１９】
つまり、本発明の画像処理装置は、画像処理装置の使用者の背景等を見えづらくするように鮮明度が低減された画像を、簡易な構成により生成することが可能となる。
【００２０】
また、鮮明度を低減する画像処理は、一般的に知られている画像のぼかし技術を適用することができるので、簡易な構成により実現することができる。
【００２１】
また、本発明の画像処理装置の上記画像生成手段は、上記所定演算を行う対象となる上記撮像画素の画素値および当該撮像画素に隣接する上記撮像画素の画素値を用いて上記所定演算を行うことを特徴としている。
【００２２】
また、本発明の画像処理装置の上記画像生成手段は、上記所定演算として、上記所定演算を施す対象となる撮像画素の画素値を、当該撮像画素の画素値および当該撮像画素に隣接する撮像画素の画素値の加重平均値に変更することを特徴としている。
【００２３】
さらに、本発明の画像処理装置の上記画像生成手段は、上記所定演算を施す対象となる撮像画素に対応する上記距離画素に対応付けて記録された距離データに応じた係数を、当該撮像画素の画素値および当該撮像画素に隣接する撮像画素の画素値に乗じてから、上記加重平均値を算出することを特徴としている。
【００２４】
上記の構成によれば、距離データに応じた係数を、処理対象の撮像画素の画素値、およびその近傍の各撮像画素の画素値に乗じて、これらの各画素値の加重平均値を求め、該処理対象の撮像画素の画素値を、該加重平均値に変更することにより、該処理対象の撮像画素に対して、鮮明度を低減する画像処理を行う。
【００２５】
上記の構成によれば、周知のぼかしフィルタ（ローパスフィルタ）を用いた、撮像画像のぼかし処理により、上記鮮明度を低減する画像処理が実現可能となるので、該画像処理を施した領域について、ぼかし処理前の状態が判別可能な出力画像を作成することができる。
【００２６】
また、上記の構成によれば、係数を距離データに応じて変更することにより、撮像画像においては、距離画像センサから近い距離の物体と、距離画像センサから遠い距離の物体とで、ぼかし度合いを変更することができる。これにより、距離画像センサから遠い距離の物体の画像を、距離画像センサから近い距離の物体の画像よりも大幅にぼかす、等といった処理が可能となる。
【００２７】
また、本発明の画像処理装置は、上記画像生成手段により生成された上記出力画像を上記画像処理装置の外部に送信する画像送信手段をさらに備えることを特徴としている。
【００２８】
上記の構成によれば、出力画像を、画像処理装置の外部に送信することができるので、外部の装置が出力画像を利用することが可能となる。
【００２９】
なお、本発明の画像処理装置を備えた装置の一例としては、テレビ電話装置が挙げられる。本発明の画像処理装置を備えたテレビ電話装置は、相手に見せたい物体を距離画像センサから近い位置に配置することにより、当該物体が画像から消去される虞を低減することが可能である。また、本発明の画像処理装置を備えたテレビ電話装置は、画像から抽出する部位（対象）を増やすこと無く、上記所定閾値に応じて、鮮明度を低減する画像処理を行うか否かを区別することが可能となるので、回路規模を増大させる必要が無い。また、本発明の画像処理装置を備えたテレビ電話装置は、画像処理によって背景の鮮明度を低減させるので、背景の差し替えを行う必要が無く、相手に対して通話現場の状況を伝えることが可能となる。さらに、本発明の画像処理装置を備えたテレビ電話装置は、背景画像を記録するメモリが不要となるため、回路規模の増大を抑制することが可能となる。
【００３０】
なお、上記画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記画像処理装置をコンピュータにて実現させる画像処理装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【発明の効果】
【００３１】
以上のとおり、本発明の画像処理装置は、撮像対象が撮像された撮像画像に対して、該撮像画像の一部又は全部の鮮明度を低減する処理を施し、該鮮明度を低減した出力画像を出力する画像処理装置であって、距離画像センサから得られる距離画像であって、上記距離画像を構成する画素である距離画素のそれぞれは上記撮像画像を構成する画素である撮像画素のいずれかと対応付けられており、上記撮像対象の当該距離画像センサからの距離を示す距離データが上記距離画素毎に対応付けて記録されている距離画像を取得する距離画像取得手段と、上記距離画像取得手段により取得した距離画像から、上記距離画素に対応付けて記録された距離データを上記距離画素毎に取得するとともに、該取得した距離データが所定閾値を超えるか否かを上記距離画素毎に判定する判定手段と、上記撮像画像のうち、上記判定手段により距離データが上記所定閾値を超えると判定した上記距離画素に対応する上記撮像画素の画素値に対して所定演算を行うことによって上記出力画像を生成する画像生成手段とを備える構成である。
【００３２】
また、本発明の画像処理方法は、撮像対象が撮像された撮像画像に対して、該撮像画像の一部又は全部の鮮明度を低減する処理を施し、該鮮明度を低減した出力画像を出力する画像処理方法であって、距離画像センサから得られる距離画像であって、上記距離画像を構成する画素である距離画素のそれぞれは上記撮像画像を構成する画素である撮像画素のいずれかと対応付けられており、上記撮像対象の当該距離画像センサからの距離を示す距離データが上記距離画素毎に対応付けて記録されている距離画像を取得する距離画像取得ステップと、上記距離画像取得ステップにて取得した距離画像から、上記距離画素に対応付けて記録された距離データを上記距離画素毎に取得するとともに、該取得した距離データが所定閾値を超えるか否かを上記距離画素毎に判定する判定ステップと、上記撮像画像のうち、上記判定ステップにて距離データが上記所定閾値を超えると判定した上記距離画素に対応する上記撮像画素の画素値に対して所定演算を行うことによって上記出力画像を生成する画像生成ステップとを含む方法である。
【００３３】
従って、簡易な構成により、画像の一部または全部の鮮明度を低減する（ぼかす）処理を行うことが可能であるという効果を奏する。
【図面の簡単な説明】
【００３４】
【図１】本発明の一実施の形態に係る画像処理装置の構成を示すブロック図である。
【図２】撮影画像データのデータ構造の一例を示す図である。
【図３】距離画像データのデータ構造の一例を示す図である。
【図４】出力画像データのデータ構造の一例を示す図である。
【図５】出力画像データを作成する手順を説明するフローチャートであって、同手順に係る処理の流れを示している。
【図６】画素値演算処理の流れを示すフローチャートである。
【図７】図７（ａ）は、３×３ぼかしフィルタの構成を示す図であり、図７（ｂ）〜（ｄ）は、同フィルタの行列としての各要素に与えるフィルタ係数の例を示す図である。
【図８】図８（ａ）は、５×５ぼかしフィルタの構成を示す図であり、図８（ｂ）〜（ｄ）は、同フィルタの行列としての各要素に与えるフィルタ係数の例を示す図である。
【図９】７×７ぼかしフィルタの構成を示す図である。
【図１０】本発明の他の実施の形態に係る画像処理ユニットの構成を示すブロック図である。
【発明を実施するための形態】
【００３５】
実施の形態１に係る画像処理装置１０１、および、実施の形態２に係る画像処理ユニット１００１は、概略的に言えば、画像の一部又は全部の鮮明度を低減する（ぼかす）画像処理を行う装置であり、画像を表すデジタル信号を処理する種々の装置に適用することが可能である。中でも、画像処理装置１０１および画像処理ユニット１００１は、テレビ電話装置において使用者を撮像した画像（撮影）に対して画像処理を行う装置に好適に適用できる。
【００３６】
従って、各実施の形態では、画像処理装置１０１および画像処理ユニット１００１を、テレビ電話装置が備える画像処理装置に適用したケースを例に挙げて説明する。ただし、画像処理装置１０１および画像処理ユニット１００１の適用先をテレビ電話装置に限定するものではない。
【００３７】
〔実施の形態１〕
本実施の形態に係る画像処理装置１０１について、図１〜図９を参照して、以下に説明する。
【００３８】
〔画像処理装置１０１の概略構成〕
図１は、画像処理装置１０１の概略構成を示すブロック図である。
【００３９】
画像処理装置１０１は、テレビ電話装置等において、使用者を撮像（撮影）した画像を、通話先である相手のテレビ電話装置に対して送信するための画像送信装置１００の一構成要素である。なお、画像送信装置１００は、画像処理装置１０１の他に、カメラ１０６、距離画像センサ１０７、および送信部１０８を備える構成である。
【００４０】
画像処理装置１０１は、カメラ制御部１０９、センサ制御部１１０、主制御部１１１、および画像送信制御部（画像送信手段）１０５を備える構成である。
【００４１】
カメラ１０６は、デジタルカメラに代表される一般的なカメラであり、画像処理装置１０１を備えるテレビ電話装置の使用者およびその背景を撮像する。カメラ１０６によって撮像される対象を「撮像対象」とも称する。カメラ１０６によって撮像対象が撮像された画像（以下、「撮像画像」とも称する）は、デジタル画像処理を施すことが可能な撮像画像データとしてカメラ１０６から出力される。カメラ制御部１０９は、カメラ１０６から出力された撮像画像データを取得すると共に、カメラ１０６に対する各種制御を行う。
【００４２】
距離画像センサ１０７は、距離画像センサ１０７自身から、撮像した物体までの距離を示す距離データが、該撮像によって得られた画像（以下、「距離画像」とも称する）を構成する画素（以下、「距離画素」とも称する）の画素値として記録および出力されるものである。距離画像センサ１０７としては、例えば、光が物体に当たって反射して返ってくるまでの往復の時間を測定して距離を求める、ＴＯＦ（Time of Flight）型の距離画像センサを利用することができる。ＴＯＦ型の距離画像センサの他にも、距離画像センサ１０７としては、２台のカメラで撮像した画像の差分から距離を求める機能を備えるもの等を利用することができる。
【００４３】
ここで、距離画像センサ１０７は、カメラ１０６が撮像対象としている、上記使用者およびその背景を撮像することができるように設けられている。より詳しくは、距離画像センサ１０７によって撮像された距離画像とカメラ１０６によって撮像された撮像画像との間では、撮像されている各物体の位置関係が相対的にほぼ一致するように、カメラ１０６と距離画像センサ１０７とが設けられている。なお、距離画像センサ１０７によって撮像された距離画像を構成する画素のそれぞれは、カメラ１０６によって撮像された撮像画像を構成する画素（以下、「撮像画素」とも称する）のいずれかと対応付けが可能であるものとする。
【００４４】
以下、距離画像センサ１０７によって撮像された距離画像のデータを、「距離画像データ」と称する。距離画像データは、距離画像センサ１０７から出力される。センサ制御部１１０は、距離画像センサ１０７から出力された距離画像データを取得すると共に、距離画像センサ１０７に対する各種制御を行う。
【００４５】
ここで、距離画像センサ１０７によって撮像された距離画像には、その画素単位で、撮像した物体の距離画像センサ１０７からの距離が記録されている。測定できる、距離の精度および距離の単位は、個々のセンサによって異なるが、本実施の形態では、距離画像センサ１０７から物体までの距離に応じた画素値を出力することが可能な距離画像センサ１０７を例に、説明を行う。
【００４６】
また、カメラ１０６および距離画像センサ１０７において、撮像された各画像における各物体の位置関係を相対的にほぼ一致させるためには、カメラ１０６および距離画像センサ１０７としては、互いに同一のカメラを使用するのが好ましい。
【００４７】
一方、カメラ１０６および距離画像センサ１０７としては、互いに同一のカメラを使用せず、それぞれ別のカメラを使用してもよい。但し、カメラ１０６および距離画像センサ１０７として、それぞれ別のカメラを使用して、撮像画像データおよび距離画像データのそれぞれを取得する場合、２台の該カメラはできるだけ近接させる必要がある。この理由は、該２台のカメラが、互いに離れた配置となっていると、上記位置関係に大きなずれが生じやすい、すなわち、撮像画像データと距離画像データとの間での、画素の位置ずれが大きくなりやすいためである。該２台のカメラで撮像した各画像の間で、画角および／または物体のサイズ（位置関係）が異なっている場合、これらの画像の少なくとも一方に対して、拡大、縮小、トリミング、またはアフィン変換等を施して、これらの画像を同一の画像サイズにするのが好ましい。
【００４８】
主制御部１１１は、カメラ１０６、距離画像センサ１０７、および画像送信制御部１０５の各部を制御するものである。主制御部１１１は、ＣＰＵ（central processing unit）で構成されていてもよいし、ＡＳＩＣ（application specific integrate circuit）などのハードウェアロジックで構成されていてもよい。主制御部１１１がＣＰＵで構成されている場合、メモリに記憶されている各種プログラムを、例えばＲＡＭ（random access memory）等で構成される一次記憶部に読み出して実行する。
【００４９】
主制御部１１１は、画素値取得部１０２、距離画像データ解析部（距離画像取得手段、判定手段）１０４、および画像処理部（画像生成手段）１０３を含んでいる。
【００５０】
画素値取得部１０２は、カメラ制御部１０９から撮像画像データを取得し、該撮像画像データを構成する各画素の画素値を、画素毎に取得する。詳細は後述するが、撮像画像データは、一般的なカメラにより撮像された画像を想定しているので、画素値に、Ｒ（赤）成分、Ｇ（緑）成分、およびＢ（青）成分から成る色情報を含んでいる。
【００５１】
距離画像データ解析部１０４は、センサ制御部１１０から距離画像データを取得し、該距離画像データを構成する各画素の画素値、すなわち、各距離画素に記録されている距離を、距離画素毎に取得する。そして、距離画像データ解析部１０４は、取得した距離が、所定の閾値（以下、「所定閾値Ｔ」と表記する）を超えるか否かを距離画素毎に判定する。
【００５２】
ここで、所定閾値Ｔは、撮像した物体の距離画像センサ１０７からの距離が、所定距離よりも大きいか、それとも小さいかを、距離画素毎に判別するための値である。なお、所定閾値Ｔの好ましい値は、距離画像センサ１０７から上記使用者までの距離を示す値である。なぜなら、距離画像センサ１０７から上記使用者までの距離を示す値を所定閾値Ｔとして設定することで、上記使用者の前または横にある物体を相手に見せたい物体と判定する（ぼかさない）一方、上記使用者の後ろにある物体を背景として判定する（ぼかす）ことが可能となるためである。
【００５３】
画像処理部１０３は、まず、画素値取得部１０２から、撮像画像データを構成する各画素の画素値を、画素毎に取得する。
【００５４】
そして、画像処理部１０３は、距離画像データ解析部１０４にて距離が所定閾値Ｔを超えると判定した距離画素に対応する撮像画素の画素値に対して、後述する画素値演算処理（所定演算）を行う。画像処理部１０３は、当該処理を各撮像画素に対して施す。
【００５５】
その結果、画像処理部１０３は、カメラ１０６によって撮像された撮像画像のうち、距離画像センサ１０７からの距離が所定閾値Ｔで表される所定距離を超える撮像対象が撮像されている領域の鮮明度を低減した（ぼかした）画像である出力画像を生成する。
【００５６】
なお、上記の説明において、画素値取得部１０２、画像処理部１０３、および距離画像データ解析部１０４における一連の処理の説明は、撮像画像データを構成するある１画素に対する説明である。一方、画像処理装置１０１では、画素値取得部１０２、画像処理部１０３、および距離画像データ解析部１０４が、撮像画像データを構成する全ての画素の各々に対して、上記の一連の処理を行う。そして、上記の一連の処理が完了して得られた画像のデータは、出力画像を示す出力画像データとして、画像処理部１０３から出力される。
【００５７】
画像処理部１０３から出力された出力画像データは、画像送信制御部１０５に供給される。画像送信制御部１０５は、供給された出力画像データを、画像処理装置１０１の外部の送信部１０８に対して出力する。
【００５８】
一般的に、テレビ電話装置では、使用者を撮像した画像を、通話先のテレビ電話装置に送信するために、音声と画像との同期がずれないようにする仕組み、および、画像のデータを圧縮する技術が必要である。これらの技術は、送信部１０８が担っている。すなわち、送信部１０８は、画像送信制御部１０５から供給された出力画像データを、テレビ電話装置において用いられる周知の送受信方式によって、通話先のテレビ電話装置に送信する。
【００５９】
〔撮像画像データ、距離画像データ、および出力画像データのデータ構造〕
ここで、上記撮像画像データ、上記距離画像データ、および上記出力画像データについて、図２〜図４を参照して説明する。
【００６０】
図２は、撮像画像データのデータ構造の一例を示す図である。図２には、横方向（Ｘ方向）にｎ個の画素を、縦方向（Ｙ方向）にｍ個の画素をそれぞれ有する、撮像画像データを示している。撮像画像データを構成する、ｎ×ｍ個の画素の各々には、Ｒ（赤）成分、Ｇ（緑）成分、およびＢ（青）成分から成る、ＲＧＢ表色系に基づく色情報が、画素値として記録されている。
【００６１】
以下、撮像画像データにおいて、左からｉ番目、上からｊ番目の画素に記録されているＲ成分は、Ｒｉｊと表記する。同画素に記録されているＧ成分およびＢ成分についても同様に、それぞれＧｉｊおよびＢｉｊと表記する。
【００６２】
図３は、距離画像データのデータ構造の一例を示す図である。図３には、横方向（Ｘ方向）にｎ個の画素を、縦方向（Ｙ方向）にｍ個の画素をそれぞれ有する、距離画像データを示している。距離画像データを構成する、ｎ×ｍ個の画素の各々には、距離画像センサ１０７から距離画像センサ１０７が撮像した物体までの距離を示す距離データの成分（Ｄ）が、画素値として記録されている。
【００６３】
以下、距離画像データにおいて、左からｉ番目、上からｊ番目の画素に記録されている距離データの成分は、Ｄｉｊと表記する。
【００６４】
ここで、撮像画像データおよび距離画像データは、互いに略同一の位置を撮像した画像である。また、撮像画像データおよび距離画像データは、いずれもｎ×ｍ個の画素を有する画像のデータである。従って、撮像画像データおよび距離画像データは、互いに略同一の撮像対象を、カメラ１０６および距離画像センサ１０７という、互いに異なる撮像装置によって撮像して得られた各データであると言える。従って、撮像画像データにおけるＲｉｊ、Ｇｉｊ、およびＢｉｊが示す色情報と、該撮像画像データに対応する距離画像データにおけるＤｉｊが示す距離データとは、互いに略同一の撮像対象における略同一の位置を撮像して得られた情報を示している。
【００６５】
図４は、出力画像データのデータ構造の一例を示す図である。図４には、横方向（Ｘ方向）にｎ個の画素を、縦方向（Ｙ方向）にｍ個の画素をそれぞれ有する、出力画像データを示している。出力画像データを構成する、ｎ×ｍ個の画素の各々には、Ｒ（赤）成分、Ｇ（緑）成分、およびＢ（青）成分から成る、ＲＧＢ表色系に基づく色情報が、画素値として記録されている。
【００６６】
以下、出力画像データにおいて、左からｉ番目、上からｊ番目の画素に記録されているＲ成分は、Ｒｏｉｊと表記する。同画素に記録されているＧ成分およびＢ成分についても同様に、それぞれＧｏｉｊおよびＢｏｉｊと表記する。
【００６７】
出力画像データは、画像処理装置１０１に入力された、撮像画像データおよび距離画像データから、以下の手順で作成される。
【００６８】
〔出力画像データを作成する手順〕
出力画像データを作成する手順（画像処理方法）について、図５を参照して説明する。
【００６９】
図５は、出力画像データを作成する手順を説明するフローチャートであって、同手順に係る画像処理部１０３等の処理の流れを示している。
【００７０】
上述したとおり、出力画像データを作成するための画像処理は、撮像画像データを構成する各画素について行う。ここでは、処理を行う対象となる、撮像画像データの１画素を「注目画素」と称する。
【００７１】
なお、ここでは、Ｘ方向にｎ個の画素を、Ｙ方向にｍ個の画素をそれぞれ有する撮像画像データ（図２参照）が、画像処理装置１０１に入力された場合を例に、説明を行う。
【００７２】
また、ここでは、撮像画像データの画素数と距離画像データの画素数とが同数（ｎ×ｍ個）である場合を例に、説明を行う。ちなみに、撮像画像データの画素数と距離画像データの画素数とが異なる数である場合、事前に距離画像データの画像を、撮像画像データの画素数と同じ画像サイズにしておく必要がある。画像サイズの調整方法は、拡大、縮小、トリミング、またはアフィン変換等の、周知の技術を使用することができる。
【００７３】
さらに、ここでは、一般的な説明を行うために、Ｘ方向の座標における左からｉ番目、Ｙ方向の座標における上からｊ番目の画素の処理方法について説明を行う。
【００７４】
処理が開始（ステップＳＴ５１）されると、画素値取得部１０２は、カメラ制御部１０９から取得した撮像画像データから、注目画素に記録されている色情報（画素値）を取得する。この注目画素に記録されている色情報は、該注目画素に記録されている画素値、すなわち、ＲＧＢの各成分（Ｒｉｊ、Ｇｉｊ、Ｂｉｊ）に該当する（ステップＳＴ５２）。
【００７５】
距離画像データ解析部１０４は、センサ制御部１１０から取得した距離画像データから、注目画素に記録されている、該注目画素に関する、距離画像センサ１０７から距離画像センサ１０７が撮像した物体までの距離（画素値）を、距離情報として取得する。この注目画素に関する該距離は、該注目画素に記録されている画素値、すなわち、距離データＤｉｊに該当する（距離画像取得ステップＳＴ５３）。
【００７６】
また、距離画像データ解析部１０４は、ステップＳＴ５３にて取得した距離データＤｉｊの画素値（距離情報）を、パラメータである所定の距離閾値（所定閾値Ｔ）Ｔｈ１と比較し、これらのそれぞれが示す距離の大小を判定する（判定ステップＳＴ５４）。
【００７７】
距離データＤｉｊにおける画素値が距離閾値Ｔｈ１以下である場合、注目画素に関して、距離画像センサ１０７から距離画像センサ１０７が撮像した物体までの距離が、距離閾値Ｔｈ１の示す所定距離以下であると判定する。この判定結果は、同注目画素に関して、距離画像センサ１０７が撮像した物体が、該所定距離に対応する位置よりも、距離画像センサ１０７に近いか、または、距離画像センサ１０７が撮像した物体が、該所定距離に対応する位置にあることを示している。そして、このような判定が行われた場合、画像処理部１０３は、注目画素に記録されている色情報に対する、後述する画素値演算処理を行わない（ステップＳＴ５５）。
【００７８】
すなわち、ステップＳＴ５５において、画像処理部１０３は、ステップＳＴ５２にて取得した色情報を、対応する出力画像データの１画素に対してそのまま記録することにより、出力画像データの座標（Ｘ、Ｙ）＝（ｉ、ｊ）を構成する画素の画素値である出力画素色情報を、
Ｒｏｉｊ＝Ｒｉｊ
Ｇｏｉｊ＝Ｇｉｊ
Ｂｏｉｊ＝Ｂｉｊ
とする。この場合、注目画素に対応する出力画像データの１画素に記録されている色情報は、該注目画素に記録されている色情報に等しい。
【００７９】
距離データＤｉｊにおける画素値が距離閾値Ｔｈ１よりも大きい場合、注目画素に関して、距離画像センサ１０７から距離画像センサ１０７が撮像した物体までの距離が、距離閾値Ｔｈ１の示す所定距離よりも大きいと判定する。この判定結果は、同注目画素に関して、距離画像センサ１０７が撮像した物体が、該所定距離に対応する位置よりも、距離画像センサ１０７から遠いことを示している。そして、このような判定が行われた場合、画像処理部１０３は、注目画素に記録されている色情報に対する、後述する画素値演算処理を行う（画像生成ステップＳＴ５６）。
【００８０】
ステップＳＴ５６において、画像処理部１０３は、撮像画像データの（Ｘ、Ｙ）＝（ｉ、ｊ）である画素、およびその近傍の画素に記録されている画素値、ならびにそれらに各々対応する距離データ等を用いて、上記出力画素色情報を算出する。画素値演算処理の詳細については後述する。
【００８１】
ステップＳＴ５５に示す処理、またはステップＳＴ５６に示す処理が終了すると、画素値取得部１０２、距離画像データ解析部１０４、および画像処理部１０３は、画像処理装置１０１に入力された撮像画像データを構成する画素の全てについて、ステップＳＴ５２〜ステップＳＴ５５（またはステップＳＴ５６）に示した一連の処理を繰り返す。
【００８２】
すなわち、上記撮像画像データを構成する画素の全てについて、上記一連の処理が行われていない場合、画素値取得部１０２、距離画像データ解析部１０４、および画像処理部１０３は、注目画素を未処理の画素へと変更した上で、再び上記一連の処理を行う。
【００８３】
一方、上記撮影画像データを構成する画素の全てについて、上記の一連の処理が行われた場合、画像処理部１０３は、得られた出力画像データを、画像送信制御部１０５に出力し、画像処理を終了する（ステップＳＴ５８）。
【００８４】
〔画素値演算処理〕
画素値演算処理について、図６〜図９を参照して説明する。
【００８５】
図６は、画素値演算処理の流れを示すフローチャートである。
【００８６】
図５に示すフローチャートにおいて、ステップＳＴ５６へと処理が進むと、画素値演算処理が開始（ステップＳＴ６１）され、距離画像データ解析部１０４は、ステップＳＴ５３にて取得した距離データＤｉｊの画素値（距離情報）を、上述した距離閾値Ｔｈ１とは異なるパラメータである所定の距離閾値（所定閾値Ｔ）Ｔｈ２と比較し、これらのそれぞれが示す距離の大小を判定する（ステップＳＴ６２）。
【００８７】
距離データＤｉｊにおける画素値が距離閾値Ｔｈ２以下である場合、画像処理部１０３は、後述する３×３ぼかし処理を行う（ステップＳＴ６３）。
【００８８】
距離データＤｉｊにおける画素値が距離閾値Ｔｈ２よりも大きい場合、距離画像データ解析部１０４は、ステップＳＴ５３にて取得した距離データＤｉｊの画素値（距離情報）を、上述した距離閾値Ｔｈ１およびＴｈ２のいずれとも異なるパラメータである所定の距離閾値（所定閾値）Ｔｈ３と比較し、これらのそれぞれが示す距離の大小を判定する（ステップＳＴ６４）。
【００８９】
距離データＤｉｊにおける画素値が距離閾値Ｔｈ３以下である場合、画像処理部１０３は、後述する５×５ぼかし処理を行う（ステップＳＴ６５）。
【００９０】
距離データＤｉｊにおける画素値が距離閾値Ｔｈ３よりも大きい場合、画像処理部１０３は、ステップＳＴ６３に係る３×３ぼかし処理、およびステップＳＴ６５に係る５×５ぼかし処理のいずれとも異なるぼかし処理を行う（ステップＳＴ６６）。
【００９１】
ここからは、３×３ぼかし処理、および５×５ぼかし処理のそれぞれについて、説明を行う。なお、以下では、撮像画像データにおける座標（Ｘ、Ｙ）を構成する画素に記録されているＲ成分をＲ〔Ｘ〕〔Ｙ〕と、同画素に記録されているＧ成分をＧ〔Ｘ〕〔Ｙ〕と、同画素に記録されているＢ成分をＢ〔Ｘ〕〔Ｙ〕と、それぞれ表記する。
【００９２】
ステップＳＴ６３に係る３×３ぼかし処理は、画像処理部１０３において、図７（ａ）に示すような周知の、３画素×３画素の行列に対応する各フィルタ係数を有するぼかしフィルタ（以下、「３×３ぼかしフィルタ」と称する）、およびそれらの各フィルタ係数の調整を使用することにより、実施可能である。
【００９３】
すなわち、画像処理部１０３は、撮像画像データを構成する全ての画素の各々に関して、注目画素およびその近傍の画素のそれぞれに記録されている色情報の加重平均を、Ｒ成分、Ｇ成分、およびＢ成分の各々について求める。また、画像処理部１０３は、該注目画素に記録されている色情報を、Ｒ成分、Ｇ成分、およびＢ成分の各々について、先に求めた加重平均の値に置換する。
【００９４】
画像処理部１０３は、座標（Ｘ、Ｙ）＝（ｉ、ｊ）である注目画素に対して、３×３ぼかしフィルタの係数から、
【００９５】
【数１】
【００９６】
【数２】
【００９７】
【数３】
【００９８】
【数４】
【００９９】
のそれぞれを算出する。そして、画像処理部１０３は、注目画素に対応する出力画像データの１画素に記録すべき色情報における、Ｒ成分であるＲｏ〔ｉ〕〔ｊ〕、Ｇ成分であるＧｏ〔ｉ〕〔ｊ〕、およびＢ成分であるＢｏ〔ｉ〕〔ｊ〕を、
Ｒｏ〔ｉ〕〔ｊ〕 = Rnume / deno
Ｇｏ〔ｉ〕〔ｊ〕 = Gnume / deno
Ｂｏ〔ｉ〕〔ｊ〕 = Bnume / deno
より求める。
【０１００】
そして、画像処理部１０３は、撮像画像データにおける注目画素に記録されている色情報（Ｒ〔ｉ〕〔ｊ〕、Ｇ〔ｉ〕〔ｊ〕、およびＢ〔ｉ〕〔ｊ〕）を、それぞれ、算出した加重平均（Ｒｏ〔ｉ〕〔ｊ〕、Ｇｏ〔ｉ〕〔ｊ〕、およびＢｏ〔ｉ〕〔ｊ〕）に置換する。
【０１０１】
なお、図７（ａ）に示す３×３ぼかしフィルタにおける（行列としての）各要素は、左からｐ番目、上からｑ番目の要素に対して、Ｋｐｑというフィルタ係数を記載している。特に、Ｋ２２というフィルタ係数を記載している要素は、注目画素に対応する要素であり、その他の各要素は、注目画素の周囲（近傍）にある８画素のそれぞれに対応する要素である。
【０１０２】
上記の各要素に与えるフィルタ係数は、例えば、図７（ｂ）、図７（ｃ）、または図７（ｄ）に示すような値のパターンを使用することができる。
【０１０３】
図７（ｂ）では、各フィルタ係数Ｋｐｑの全てが同じ値（１）であるため、複数のフィルタ係数をその要素として格納するためのテーブルが不要となる。
【０１０４】
図７（ｃ）では、３×３ぼかしフィルタにおけるフィルタ係数Ｋ２２（４）の要素に対して、互いに対称の関係にある２つの該要素を、同じフィルタ係数Ｋｐｑの値（１または２）としている。また、図７（ｃ）では、上記フィルタ係数Ｋ２２の要素に近い要素ほど、フィルタ係数Ｋｐｑが大きな値となっている。このため、図７（ｃ）に示す各フィルタ係数Ｋｐｑを有する３×３ぼかしフィルタは、軽いＬＰＦ（ローパスフィルタ）としての特性を有する。さらに、各フィルタ係数Ｋｐｑは、合計が２のべき乗となるので、出力画像データの色情報を、割り算ではなくシフト演算により算出するように、画像処理装置１０１を構成する各部材の実装が可能となる。
【０１０５】
図７（ｄ）では、各フィルタ係数Ｋｐｑを０または１のみで表している点と、図７（ｃ）の場合と同様に、各フィルタ係数Ｋｐｑの合計が２のべき乗となっている点とが特徴である。
【０１０６】
ステップＳＴ６５に係る５×５ぼかし処理は、画像処理部１０３において、図８（ａ）に示すような周知の、５画素×５画素の行列に対応する各フィルタ係数を有するぼかしフィルタ（以下、「５×５ぼかしフィルタ」と称する）、およびそれらの各フィルタ係数の調整を使用することにより、実施可能である。
【０１０７】
なお、図８（ａ）に示す５×５ぼかしフィルタにおける（行列としての）各要素は、左からｐ番目、上からｑ番目の要素に対して、Ｌｐｑというフィルタ係数を記載している。
【０１０８】
画像処理部１０３としての５×５ぼかしフィルタでは、３×３ぼかし処理の場合と同様にまず、フィルタ係数Ｌ３３が記載されている要素を、注目画素に対応させる。そして、各フィルタ係数Ｌｐｑの値の総和を分母（deno5）とする。また、ＲＧＢの各成分について、５×５ぼかしフィルタの各要素に関する、対応する該要素のフィルタ係数Ｌｐｑの値と、同要素に記録されている色情報（画素値）とによる加重和を算出し、それぞれ、Rnume5, Gnume5, Bnume5とする。Rnume5, Gnume5, Bnume5はそれぞれ、deno5に対する分子である。
【０１０９】
そして、画像処理部１０３は、注目画素に対応する出力画像データの１画素に記録すべき色情報における、Ｒ成分であるＲｏ〔ｉ〕〔ｊ〕、Ｇ成分であるＧｏ〔ｉ〕〔ｊ〕、およびＢ成分であるＢｏ〔ｉ〕〔ｊ〕を、
Ｒｏ〔ｉ〕〔ｊ〕 = Rnume5 / deno5
Ｇｏ〔ｉ〕〔ｊ〕 = Gnume5 / deno5
Ｂｏ〔ｉ〕〔ｊ〕 = Bnume5 / deno5
より求める。
【０１１０】
上記の各要素に与えるフィルタ係数は、例えば、図８（ｂ）、図８（ｃ）、または図８（ｄ）に示すような値のパターンを使用することができる。
【０１１１】
図８（ｂ）では、各フィルタ係数Ｌｐｑの全てが同じ値（１）であるため、複数のフィルタ係数をその要素として格納するためのテーブルが不要となる。
【０１１２】
図８（ｃ）では、５×５ぼかしフィルタにおけるフィルタ係数Ｌ３３（４）の要素に対して、互いに対称の関係にある２つの該要素を、同じフィルタ係数Ｌｐｑの値（０、１、または２）としている。また、図８（ｃ）では、上記フィルタ係数Ｌ３３の要素に近い要素ほど、フィルタ係数Ｌｐｑが大きな値となっている。このため、図８（ｃ）に示す各フィルタ係数Ｌｐｑを有する５×５ぼかしフィルタは、軽いＬＰＦ（ローパスフィルタ）としての特性を有する。さらに、各フィルタ係数Ｌｐｑは、合計が２のべき乗となるので、出力画像データの色情報を、割り算ではなくシフト演算により算出するように、画像処理装置１０１を構成する各部材の実装が可能となる。
【０１１３】
図８（ｄ）では、各フィルタ係数Ｌｐｑを０または１のみで表している点と、図８（ｃ）の場合と同様に、各フィルタ係数Ｌｐｑの合計が２のべき乗となっている点とが特徴である。
【０１１４】
ステップＳＴ６６に係るぼかし処理は、画像処理部１０３において、図９に示すような周知の、７画素×７画素の行列に対応する各フィルタ係数を有するぼかしフィルタ（以下、「７×７ぼかしフィルタ」と称する）を使用することにより、実施可能である。
【０１１５】
なお、図９に示す７×７ぼかしフィルタにおける（行列としての）各要素は、左からｐ番目、上からｑ番目の要素に対して、Ｍｐｑというフィルタ係数を記載している。
【０１１６】
画像処理部１０３としての７×７ぼかしフィルタでは、５×５ぼかし処理の場合と同様にまず、フィルタ係数Ｍ４４が記載されている要素を、注目画素に対応させる。そして、各フィルタ係数Ｍｐｑの値の総和を分母（deno7）とする。また、ＲＧＢの各成分について、７×７ぼかしフィルタの各要素に関する、対応する該要素のフィルタ係数Ｍｐｑの値と、同要素に記録されている色情報（画素値）とによる加重和を算出し、それぞれ、Rnume7, Gnume7, Bnume7とする。Rnume7, Gnume7, Bnume7はそれぞれ、deno7に対する分子である。すなわち、
【０１１７】
【数５】
【０１１８】
【数６】
【０１１９】
【数７】
【０１２０】
【数８】
【０１２１】
となる。これらの数式において、xは、Ｍｐｑにおけるｐのことであり、yは、Ｍｐｑにおけるｑのことである。
【０１２２】
そして、画像処理部１０３は、注目画素に対応する出力画像データの１画素に記録すべき色情報における、Ｒ成分であるＲｏ〔ｉ〕〔ｊ〕、Ｇ成分であるＧｏ〔ｉ〕〔ｊ〕、およびＢ成分であるＢｏ〔ｉ〕〔ｊ〕を、
Ｒｏ〔ｉ〕〔ｊ〕 = Rnume7 / deno7
Ｇｏ〔ｉ〕〔ｊ〕 = Gnume7 / deno7
Ｂｏ〔ｉ〕〔ｊ〕 = Bnume7 / deno7
より求める。
【０１２３】
なお、ステップＳＴ６３、ステップＳＴ６５、およびステップＳＴ６６に係る各ぼかし処理で、注目画素が撮像画像データの端の方にあり、フィルタ係数と掛け合わせる画素が存在しない場合は、ＲＧＢ成分の全てが０である画素が存在するものとして、処理を続行すればよい。
【０１２４】
以上の方法により、画像処理部１０３は、画素値演算処理にて、出力画像データの色情報を求めることができる。
【０１２５】
また、本実施の形態では、ステップＳＴ６３に係る３×３ぼかし処理には、３×３ぼかしフィルタを使用し、ステップＳＴ６５に係る５×５ぼかし処理には、５×５ぼかしフィルタを使用し、ステップＳＴ６６に係る７×７ぼかし処理には、７×７ぼかしフィルタを使用した。但し、これらの各ぼかし処理およびぼかしフィルタは、一例に過ぎず、ぼかしフィルタのサイズ、およびぼかし処理の詳細な手順については、特に限定されるものではない。
【０１２６】
さらに、本実施の形態では、
距離閾値Ｔｈ１＜距離閾値Ｔｈ２＜距離閾値Ｔｈ３
となるように、距離閾値Ｔｈ１〜Ｔｈ３の各々を設定している。また、３×３ぼかし処理にＬＰＦ特性の低いフィルタ係数を設定し、５×５ぼかし処理にＬＰＦ特性の高いフィルタ係数を設定し、ステップＳＴ６６に係るぼかし処理には、５×５ぼかし処理に使用した係数よりもＬＰＦ特性の高いフィルタ係数を設定する。これにより、画像処理装置１０１では、距離に応じたぼかし処理が実現できる。
【０１２７】
その結果、画像処理装置１０１を備えたテレビ電話装置では、近距離にある、通話している相手に対して見せたい物を、相手に対して鮮明に見せる一方、背景の遠くにある、通話している相手に対して見せたくない物をぼかして、相手に対して見せないようにした画像を作成して、相手のテレビ電話装置に対して送信することができる。
【０１２８】
そして、画像処理装置１０１を実現するために、画像処理部１０３は、画素値演算処理を行う対象となる撮像画像データにおける１画素である注目画素の画素値、および該撮像画像データにおける該注目画素に隣接する各画素の画素値を用いて、該画素値演算処理を行う構成である。
【０１２９】
また、画像処理部１０３は、画素値演算処理として、注目画素の画素値を、該注目画素の画素値、および撮像画像データにおける該注目画素に隣接する各画素の画素値の加重平均値に変更する構成である。
【０１３０】
さらに、画像処理部１０３は、注目画素に対応する、距離画像データを構成する１画素に対応付けて記録されている、距離データＤｉｊに応じたフィルタ係数を、該注目画素の画素値、および撮像画像データにおける該注目画素に隣接する各画素の画素値に乗じてから、上記加重平均値を算出して、注目画素の画素値を、該加重平均値に変更する構成である。
【０１３１】
これにより、距離画像センサ１０７から遠い物体ほど大きくぼかす等といった、距離画像センサ１０７から距離画像センサ１０７が撮像した物体までの距離に応じた画像処理を、カメラ１０６によって撮像された画像に対して施すことが可能となる。
【０１３２】
すなわち、周知のぼかしフィルタ（ローパスフィルタ）を用いた、撮像画像のぼかし処理により、上記の画素値演算処理が実現可能となるので、該画素値演算処理を施した領域について、ぼかし処理前の状態が判別可能な（背景としての雰囲気を残した）出力画像を作成することができる。
【０１３３】
また、上記ぼかしフィルタのフィルタ係数を距離データに応じて変更することにより、撮像画像においては、距離画像センサ１０７から近い距離の物体と、距離画像センサ１０７から遠い距離の物体とで、ぼかし度合いを変更することができる。これにより、距離画像センサ１０７から遠い距離の物体の画像を、距離画像センサ１０７から近い距離の物体の画像よりも大幅にぼかす、等といった処理が可能となる。
【０１３４】
また、画像送信制御部１０５を備える構成により、画像処理装置１０１は、出力画像を外部に送信することができるので、外部の装置が出力画像を利用することが可能となる。例えば、本実施の形態に係る画像処理装置１０１が、テレビ電話装置の一構成要素として該テレビ電話装置に備えられている場合において、該テレビ電話装置が、通話先のテレビ電話装置に出力画像を送信することが可能となる。
【０１３５】
〔実施の形態２〕
本実施の形態に係る画像処理ユニット１００１について、図１０を参照して、以下に説明する。
【０１３６】
図１０は、画像処理ユニット１００１の構成を示すブロック図である。
【０１３７】
画像処理ユニット１００１は、テレビ電話装置において、使用者を撮像（撮影）した画像を、通話先のテレビ電話装置に送信するための画像送信装置１０００の一構成要素である。なお、画像送信装置１０００は、画像処理ユニット１００１の他に、カメラ１００６、カメラ１００７、および送信部１００８を備える構成である。
【０１３８】
画像処理ユニット１００１は、画像処理装置１００２、画像処理装置１００３、距離画像演算部（第１距離演算手段）１００４、および距離画像演算部（第２距離演算手段）１００５を備える構成である。
【０１３９】
カメラ１００６は、カメラ１０６（図１参照）と同様の構成である。
【０１４０】
カメラ１００７は、カメラ１００６、ひいてはカメラ１０６と同様の構成であり、カメラ１００６から所定の間隔を設けて配置されている。
【０１４１】
カメラ１００６によって撮像された画像（撮像画像）は、デジタル画像処理を施すことが可能な撮像画像データとしてカメラ１００６から出力される。同様に、カメラ１００７によって撮像された画像（撮像画像）は、デジタル画像処理を施すことが可能な撮像画像データとしてカメラ１００７から出力される。
【０１４２】
距離画像演算部１００４は、カメラ１００６から出力された撮像画像データ、およびカメラ１００７から出力された撮像画像データを取得する。また、距離画像演算部１００４は予め、カメラ１００６とカメラ１００７との間隔を参照することが可能な構成となっている。
【０１４３】
距離画像演算部１００４は、カメラ１００６から出力された撮像画像データに対する、カメラ１００７から出力された撮像画像データにおける、撮像された各物体の位置ずれ、ならびにカメラ１００６とカメラ１００７との間隔に基づいて、三角法により、カメラ１００６からカメラ１００６が撮像した物体までの距離を、カメラ１００６から出力された撮像画像データを構成する画素毎に求める。
【０１４４】
そして、距離画像演算部１００４は、上記で求めた距離を示す画素値の各々を、カメラ１００６から出力された撮像画像データを構成する画素に対応付けて画素が配置された画像データの、対応する画素に記録して距離画像データを作成し、該距離画像データを画像処理装置１００２に出力する。
【０１４５】
また、距離画像演算部１００５は、カメラ１００６から出力された撮像画像データ、およびカメラ１００７から出力された撮像画像データを取得する。また、距離画像演算部１００５は予め、カメラ１００６とカメラ１００７との間隔を参照することが可能な構成となっている。
【０１４６】
距離画像演算部１００５は、カメラ１００６から出力された撮像画像データに対する、カメラ１００７から出力された撮像画像データにおける、撮像された各物体の位置ずれ、ならびにカメラ１００６とカメラ１００７との間隔に基づいて、三角法により、カメラ１００７からカメラ１００７が撮像した物体までの距離を、カメラ１００７から出力された撮像画像データを構成する画素毎に求める。
【０１４７】
そして、距離画像演算部１００５は、上記で求めた距離を示す画素値の各々を、カメラ１００７から出力された撮像画像データを構成する画素に対応付けて画素が配置された画像データの、対応する画素に記録して距離画像データを作成し、該距離画像データを画像処理装置１００３に出力する。
【０１４８】
画像処理装置１００２および１００３はいずれも、画像処理装置１０１（図１参照）と同様の構成である。
【０１４９】
そして、画像処理装置１００２は、カメラ１００６から出力された撮像画像データ、および距離画像演算部１００４から出力された距離画像データを取得して、画像処理装置１０１と同様の処理を行う。そして、画像処理装置１００２は、該処理により得られた出力画像データを、送信部１００８へと出力する。
【０１５０】
また、画像処理装置１００３は、カメラ１００７から出力された撮像画像データ、および距離画像演算部１００５から出力された距離画像データを取得して、画像処理装置１０１と同様の処理を行う。そして、画像処理装置１００３は、該処理により得られた出力画像データを、送信部１００８へと出力する。
【０１５１】
送信部１００８は、画像処理装置１００２および１００３のそれぞれから供給された２つの出力画像データを、テレビ電話装置において用いられる周知の送受信方式によって、通話先のテレビ電話装置に送信する。
【０１５２】
なお、画像処理ユニット１００１は、２台のカメラ１００６および１００７を用いた３次元テレビ電話用の例である。距離の離れた画像をぼかして、手前にあるものをくっきり見せるため、右目と左目の視差を利用した３次元画像では、視差をあわせる物体が解りやすい点が特徴である。
【０１５３】
〔付記事項〕
最後に、画像処理装置１０１、１００２、および１００３の主制御部１１１の機能は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０１５４】
ソフトウェアによって実現する場合は、主制御部１１１は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ、上記プログラム及び各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像処理装置１０１・画像処理ユニット１００１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、画像処理装置１０１・画像処理ユニット１００１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０１５５】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク類、ＩＣカード（メモリカードを含む）／光カード等のカード類、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ類、ＰＬＤ（Programmable logic device）等の論理回路類などを用いることができる。
【０１５６】
また、画像処理装置１０１・画像処理ユニット１００１を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ（High Data Rate）、ＮＦＣ（Near Field Communication）、ＤＬＮＡ（Digital Living Network Alliance）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。
【０１５７】
このように本明細書において、手段とは必ずしも物理的手段を意味するものではなく、各手段の機能がソフトウェアによって実現される場合も含む。さらに、１つの手段の機能が２つ以上の物理的手段により実現されても、もしくは２つ以上の手段の機能が１つの物理的手段により実現されてもよい。
【０１５８】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【０１５９】
本発明は、画像を表すデジタル信号を処理する装置に適用できる。特に、使用者等が撮像された画像を通話先に送信するテレビ電話装置等に好適に適用できる。テレビ電話装置に適用する場合、本発明は、相手に対して見せたい画像を確実に見せ、相手に対して見せたくない画像については、通話現場の状況を伝えられる程度に消去し、かつ回路規模の増大を抑制することが可能であるという効果を奏する。
【符号の説明】
【０１６０】
１０１ 画像処理装置
１０２ 画素値取得部
１０３ 画像処理部（画像生成手段）
１０４ 距離画像データ解析部（距離画像取得手段、判定手段）
１０５ 画像送信制御部（画像送信手段）
１０６ カメラ
１０７ 距離画像センサ
１００１ 画像処理ユニット
１００２および１００３ 画像処理装置
１００４ 距離画像演算部（第１距離演算手段）
１００５ 距離画像演算部（第２距離演算手段）
１００６および１００７ カメラ
【特許請求の範囲】
【請求項１】
撮像対象が撮像された撮像画像に対して、該撮像画像の一部又は全部の鮮明度を低減する処理を施し、該鮮明度を低減した出力画像を出力する画像処理装置であって、
距離画像センサから得られる距離画像であって、上記距離画像を構成する画素である距離画素のそれぞれは上記撮像画像を構成する画素である撮像画素のいずれかと対応付けられており、上記撮像対象の当該距離画像センサからの距離を示す距離データが上記距離画素毎に対応付けて記録されている距離画像を取得する距離画像取得手段と、
上記距離画像取得手段により取得した距離画像から、上記距離画素に対応付けて記録された距離データを上記距離画素毎に取得するとともに、該取得した距離データが所定閾値を超えるか否かを上記距離画素毎に判定する判定手段と、
上記撮像画像のうち、上記判定手段により距離データが上記所定閾値を超えると判定した上記距離画素に対応する上記撮像画素の画素値に対して所定演算を行うことによって上記出力画像を生成する画像生成手段とを備えることを特徴とする画像処理装置。
【請求項２】
上記画像生成手段は、上記所定演算を行う対象となる上記撮像画素の画素値および当該撮像画素に隣接する上記撮像画素の画素値を用いて上記所定演算を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記画像生成手段は、
上記所定演算として、上記所定演算を施す対象となる撮像画素の画素値を、当該撮像画素の画素値および当該撮像画素に隣接する撮像画素の画素値の加重平均値に変更することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
上記画像生成手段は、
上記所定演算を施す対象となる撮像画素に対応する上記距離画素に対応付けて記録された距離データに応じた係数を、当該撮像画素の画素値および当該撮像画素に隣接する撮像画素の画素値に乗じてから、上記加重平均値を算出することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
上記画像生成手段により生成された上記出力画像を上記画像処理装置の外部に送信する画像送信手段をさらに備えることを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
撮像対象が撮像された撮像画像に対して、該撮像画像の一部又は全部の鮮明度を低減する処理を施し、該鮮明度を低減した出力画像を出力する画像処理方法であって、
距離画像センサから得られる距離画像であって、上記距離画像を構成する画素である距離画素のそれぞれは上記撮像画像を構成する画素である撮像画素のいずれかと対応付けられており、上記撮像対象の当該距離画像センサからの距離を示す距離データが上記距離画素毎に対応付けて記録されている距離画像を取得する距離画像取得ステップと、
上記距離画像取得ステップにて取得した距離画像から、上記距離画素に対応付けて記録された距離データを上記距離画素毎に取得するとともに、該取得した距離データが所定閾値を超えるか否かを上記距離画素毎に判定する判定ステップと、
上記撮像画像のうち、上記判定ステップにて距離データが上記所定閾値を超えると判定した上記距離画素に対応する上記撮像画素の画素値に対して所定演算を行うことによって上記出力画像を生成する画像生成ステップとを含むことを特徴とする画像処理方法。
【請求項７】
請求項１〜５のいずれか１項に記載の画像処理装置が備えるコンピュータを動作させる制御プログラムであって、上記コンピュータを上記の各手段として機能させるための制御プログラム。
【請求項８】
請求項７に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
撮像対象が撮像された撮像画像に対して、該撮像画像の一部又は全部の鮮明度を低減する処理を施し、該鮮明度を低減した出力画像を出力する画像処理装置であって、
距離画像センサから得られる距離画像であって、上記距離画像を構成する画素である距離画素のそれぞれは上記撮像画像を構成する画素である撮像画素のいずれかと対応付けられており、上記撮像対象の当該距離画像センサからの距離を示す距離データが上記距離画素毎に対応付けて記録されている距離画像を取得する距離画像取得手段と、
上記距離画像取得手段により取得した距離画像から、上記距離画素に対応付けて記録された距離データを上記距離画素毎に取得するとともに、該取得した距離データが所定閾値を超えるか否かを上記距離画素毎に判定する判定手段と、
上記撮像画像のうち、上記判定手段により距離データが上記所定閾値を超えると判定した上記距離画素に対応する上記撮像画素の画素値に対して所定演算を行うことによって上記出力画像を生成する画像生成手段とを備えることを特徴とする画像処理装置。
【請求項２】
上記画像生成手段は、上記所定演算を行う対象となる上記撮像画素の画素値および当該撮像画素に隣接する上記撮像画素の画素値を用いて上記所定演算を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記画像生成手段は、
上記所定演算として、上記所定演算を施す対象となる撮像画素の画素値を、当該撮像画素の画素値および当該撮像画素に隣接する撮像画素の画素値の加重平均値に変更することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
上記画像生成手段は、
上記所定演算を施す対象となる撮像画素に対応する上記距離画素に対応付けて記録された距離データに応じた係数を、当該撮像画素の画素値および当該撮像画素に隣接する撮像画素の画素値に乗じてから、上記加重平均値を算出することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
上記画像生成手段により生成された上記出力画像を上記画像処理装置の外部に送信する画像送信手段をさらに備えることを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
撮像対象が撮像された撮像画像に対して、該撮像画像の一部又は全部の鮮明度を低減する処理を施し、該鮮明度を低減した出力画像を出力する画像処理方法であって、
距離画像センサから得られる距離画像であって、上記距離画像を構成する画素である距離画素のそれぞれは上記撮像画像を構成する画素である撮像画素のいずれかと対応付けられており、上記撮像対象の当該距離画像センサからの距離を示す距離データが上記距離画素毎に対応付けて記録されている距離画像を取得する距離画像取得ステップと、
上記距離画像取得ステップにて取得した距離画像から、上記距離画素に対応付けて記録された距離データを上記距離画素毎に取得するとともに、該取得した距離データが所定閾値を超えるか否かを上記距離画素毎に判定する判定ステップと、
上記撮像画像のうち、上記判定ステップにて距離データが上記所定閾値を超えると判定した上記距離画素に対応する上記撮像画素の画素値に対して所定演算を行うことによって上記出力画像を生成する画像生成ステップとを含むことを特徴とする画像処理方法。
【請求項７】
請求項１〜５のいずれか１項に記載の画像処理装置が備えるコンピュータを動作させる制御プログラムであって、上記コンピュータを上記の各手段として機能させるための制御プログラム。
【請求項８】
請求項７に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−１０９７２３（Ｐ２０１２−１０９７２３Ａ）
【公開日】平成２４年６月７日（２０１２．６．７）
【国際特許分類】
【出願番号】特願２０１０−２５５９５０（Ｐ２０１０−２５５９５０）
【出願日】平成２２年１１月１６日（２０１０．１１．１６）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２４年６月７日（２０１２．６．７）
【国際特許分類】
【出願日】平成２２年１１月１６日（２０１０．１１．１６）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]