説明

3D映像処理装置

【課題】 複数の撮影拠点の3D映像を同時に表示するときの見やすさを向上することのできる3D映像処理装置を提供する。
【解決手段】 3D映像処理装置は、複数の拠点A、Bに設置された3Dカメラで撮影した3D映像が入力されると、複数の拠点A、Bの3D映像の各々から注目領域を検出し、注目領域の視差から複数の拠点A、Bの3D映像における注目領域の飛び出し量を求める。そして、3D映像の各々に含まれる注目領域の飛び出し量を、上記のようにして求めた飛び出し量に基づいて決定される目標調整量に応じて調整し、飛び出し量が調整された複数の拠点A、Bの3D映像を合成して3Dマルチ表示映像を生成する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数の撮影拠点の3D映像を同時に表示するときの見やすさを向上した3D映像処理装置に関するものである。
【背景技術】
【0002】
従来、互いに視差を有するように撮影した2つの映像(右目用映像と左目用映像)を用いて、立体的な映像(3D映像)を表示する映像処理を行う映像処理装置(3D映像処理装置)が知られている(例えば、特許文献1参照)。従来の3D映像処理装置では、同一の被写体の右目映像と左目映像を、それぞれ右目と左目で見られるように表示することにより、被写体(前景)が背景から飛び出して見えるようにしている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2010−268433号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来の3D映像処理装置では、一つの映像(3D映像)を表示することを前提にしており、複数の映像(3D映像)を同時に表示する場合について特に考慮されていなかった。例えば、テレビ会議システムでは、複数の拠点の映像が一つの画面に同時に表示される。より具体的な例を挙げて説明すると、例えば、3つの会議室がテレビ会議システムで結ばれた場合、1つの会議室(拠点O)の画面には、他の2つの会議室(拠点Aと拠点B)の映像が同時に表示される。
【0005】
従来の3D映像処理装置は、複数の3D映像を同時に表示することについて考慮されておらず、例えば、上記のようなテレビ会議システム等にそのまま適用することはできないという問題があった。すなわち、従来の3D映像処理装置では、複数の3D映像(拠点Aと拠点Bの3D映像)がそのまま表示されてしまうので、複数の3D映像の間で視差(飛び出し量)が異なる場合には、それら複数の3D映像を同時に見づらくなるという問題があった。
【0006】
本発明は、上記従来の問題を解決するためになされたもので、複数の撮影拠点の3D映像を同時に表示するときの見やすさを向上することのできる3D映像処理装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の3D映像処理装置は、複数の撮影拠点に設置されたカメラで撮影したカメラ映像から生成された3D映像が入力される映像入力部と、前記複数の撮影拠点の3D映像の各々から、注目領域を検出する注目領域検出部と、前記複数の撮影拠点の3D映像の各々において、検出された前記注目領域の視差から、当該注目領域の飛び出し量を求める飛び出し量計算部と、前記複数の撮影拠点の3D映像の各々に含まれる前記注目領域の飛び出し量を、求めた前記飛び出し量に基づいて決定される目標調整量に応じて調整する処理を行う飛び出し量調整部と、前記注目領域の飛び出し量が調整された前記複数の撮影拠点の3D映像を合成して、前記複数の撮影拠点の3D映像が並べられた3Dマルチ表示映像を生成する映像合成部と、を備えた構成を有している。
【0008】
この構成により、複数の撮影拠点の3D映像が並んで表示されるときに、各撮影拠点の3D映像間で視差が見やすくなるように、各撮影拠点の3D映像に含まれる注目領域(例えば、人の顔など)の飛び出し量が適切に調整される。具体的には、各撮影拠点の3D映像の注目領域の飛び出し量が、各注目領域の飛び出し量から決定される目標調整量に応じて調整される。これにより、複数の撮影拠点の3D映像を同時に表示するときの見やすさが向上する。
【0009】
また、本発明の3D映像処理装置では、前記目標調整量は、前記複数の撮影拠点の3D映像に含まれるすべての前記注目領域の飛び出し量のうちで最大の飛び出し量である目標飛び出し量に基づいて決定され、前記飛び出し量調整部は、各撮影拠点の3D映像に含まれる前記注目領域の飛び出し量のうちで最大の飛び出し量を前記目標飛び出し量にあわせるように、各撮影拠点の3D映像ごとに、前記注目領域の飛び出し量を調整する構成を有している。
【0010】
この構成により、各撮影拠点の3D映像に含まれる注目領域の飛び出し量のうちで最大の飛び出し量が、複数の撮影拠点の3D映像に含まれるすべての注目領域の飛び出し量のうちで最大の飛び出し量(目標飛び出し量)にあわせられる。これにより、複数の撮影拠点の3D映像が同時に表示されるときに、各撮影拠点の3D映像間で視差が見やすくなる。
【0011】
また、本発明の3D映像処理装置では、前記目標調整量は、前記複数の撮影拠点の3D映像に含まれるすべての前記注目領域の飛び出し量のうちで最大の飛び出し量である第1の目標飛び出し量と、前記複数の撮影拠点の3D映像に含まれるすべての前記注目領域の飛び出し量のうちで最小の飛び出し量である第2の目標飛び出し量とに基づいて決定され、前記飛び出し量調整部は、各撮影拠点の3D映像に含まれる前記注目領域の飛び出し量のうちで最大の飛び出し量を前記第1の目標飛び出し量にあわせるとともに、各撮影拠点の3D映像に含まれる前記注目領域の飛び出し量のうちで最小の飛び出し量を前記第2の目標飛び出し量にあわせるように、各撮影拠点の3D映像ごとに、前記注目領域の飛び出し量を調整する構成を有している。
【0012】
この構成により、各撮影拠点の3D映像に含まれる注目領域の飛び出し量のうちで最大の飛び出し量が、複数の撮影拠点の3D映像に含まれるすべての注目領域の飛び出し量のうちで最大の飛び出し量(第1の目標飛び出し量)にあわせられるとともに、各撮影拠点の3D映像に含まれる注目領域の飛び出し量のうちで最小の飛び出し量が、複数の撮影拠点の3D映像に含まれるすべての注目領域の飛び出し量のうちで最小の飛び出し量(第2の目標飛び出し量)にあわせられる。これにより、複数の撮影拠点の3D映像が同時に表示されるときに、各撮影拠点の3D映像間で視差が見やすくなる。
【0013】
また、本発明の3D映像処理装置では、前記目標調整量は、所定の前記撮影拠点の3D映像における前記注目領域の飛び出し量の平均の飛び出し量である目標飛び出し量に基づいて決定され、前記飛び出し量調整部は、各撮影拠点の3D映像に含まれる前記注目領域の飛び出し量の平均の飛び出し量を前記目標飛び出し量にあわせるように、各撮影拠点の3D映像ごとに、前記注目領域の飛び出し量を調整する構成を有している。
【0014】
この構成により、各撮影拠点の3D映像に含まれる注目領域の飛び出し量の平均の飛び出し量が、所定の撮影拠点の3D映像における注目領域の飛び出し量の平均の飛び出し量(目標飛び出し量)にあわせられる。これにより、複数の撮影拠点の3D映像が同時に表示されるときに、各撮影拠点の3D映像間で視差が見やすくなる。
【0015】
また、本発明の3D映像処理装置では、前記目標調整量は、予め定められた目標飛び出し量に基づいて決定され、前記飛び出し量調整部は、各撮影拠点の3D映像に含まれる前記注目領域の飛び出し量のうちで最大の飛び出し量を前記目標飛び出し量にあわせるように、各撮影拠点の3D映像ごとに、前記注目領域の飛び出し量を調整する構成を有している。
【0016】
この構成により、各撮影拠点の3D映像に含まれる注目領域の飛び出し量のうちで最大の飛び出し量が、予め定められた目標飛び出し量にあわせられる。これにより、複数の撮影拠点の3D映像が同時に表示されるときに、各撮影拠点の3D映像間で視差が見やすくなる。
【0017】
また、本発明の3D映像処理装置では、前記注目領域検出部は、前記複数の撮影拠点の3D映像の各々に写っている人物の顔領域を、前記注目領域として検出し、前記飛び出し量調整部は、各撮影拠点の3D映像から検出された前記注目領域の数が、各撮影拠点の3D映像に含まれるべき前記注目領域の数と一致したときに、前記注目領域の飛び出し量を調整する構成を有している。
【0018】
この構成により、各撮影拠点の3D映像から検出された注目領域(人物の顔領域)の数が、各撮影拠点の3D映像に含まれるべき注目領域の数と一致したときに、注目領域の飛び出し量の調整が行われる。例えば、本発明がテレビ会議システムに適用された場合、各撮影拠点の3D映像に含まれるべき注目領域(人物の顔領域)の数は、テレビ会議の各撮影拠点の出席予定者の数である。その場合、出席予定者の全員が揃ったときに、注目領域の飛び出し量の調整が行われる。このようにして、適切なタイミングで、注目領域の飛び出し量の調整が行われる。
【0019】
また、本発明の3D映像処理装置では、前記注目領域検出部は、前記複数の撮影拠点の3D映像の各々に写っている人物の顔領域を、前記注目領域として検出し、前記飛び出し量調整部は、各撮影拠点の3D映像から検出された前記注目領域の数に増減があったときに、前記注目領域の飛び出し量を再調整する構成を有している。
【0020】
この構成により、各撮影拠点の3D映像から検出された注目領域(人物の顔領域)の数に増減があったときに、注目領域の飛び出し量の調整が行われる。例えば、本発明がテレビ会議システムに適用された場合、各撮影拠点の3D映像から検出された(人物の顔領域)の数は、テレビ会議の各撮影拠点の出席者の数である。その場合、出席者の増減(入室、退室)があったときに、注目領域の飛び出し量の調整が行われる。このようにして、適切なタイミングで、注目領域の飛び出し量の調整が行われる。
【0021】
また、本発明の3D映像処理装置は、前記3Dマルチ表示映像を、各撮影拠点の3D映像ごとに複数のモニタに分割して表示するときに、前記複数のモニタ間において右目用映像と左目用映像の同期をとる同期処理部を備えた構成を有している。
【0022】
この構成により、各撮影拠点の3D映像ごとに複数のモニタに分割して表示するときに、複数のモニタ間において右目用映像と左目用映像の同期を適切にとることができる。したがって、3Dマルチ表示映像を、各撮影拠点の3D映像ごとに複数のモニタに分割して表示することが可能になる。
【0023】
また、本発明の3D映像処理装置は、前記3Dマルチ表示映像を一つのモニタに表示するときに、前記モニタの画面上における各撮影拠点の3D映像の表示位置を決定する映像配置決定部と、各撮影拠点の3D映像ごとに、前記モニタの画面上における前記3D映像の表示位置に基づいて、前記3D映像に含まれる前記注目領域の視点ずれ方向を求める視点ずれ方向計算部と、各撮影拠点の3D映像を、各撮影拠点の3D映像に含まれる前記注目領域を前記視点ずれ方向に基づいて決定される仮想視点から見たときの仮想視点映像に変換する映像変換部と、を備えた構成を有している。
【0024】
この構成により、3Dマルチ表示映像を一つのモニタに表示するときに、各撮影拠点の3D映像ごとに、モニタの画面上の3D映像の表示位置から、その3D映像に含まれる注目領域の視点ずれ方向が求められ、各撮影拠点の3D映像が、その視点ずれ方向に基づいて決定される仮想視点から注目領域を見たときの映像(仮想視点映像)に変換される。これにより、各撮影拠点の3D映像が自然な視点(視線方向)から見たときの映像に変換され、3Dマルチ表示映像の見やすさが向上する。
【0025】
本発明の方法は、複数の撮影拠点に設置されたカメラで撮影したカメラ映像から生成された3D映像が入力されると、前記複数の撮影拠点の3D映像の各々から、注目領域を検出し、検出された前記注目領域の視差から、前記複数の撮影拠点の3D映像における前記注目領域の飛び出し量を求め、前記3D映像の各々に含まれる前記注目領域の飛び出し量を、求めた前記飛び出し量に基づいて決定される目標調整量に応じて調整する処理を行い、前記注目領域の飛び出し量が調整された前記複数の撮影拠点の3D映像を合成して、前記複数の撮影拠点の3D映像が並べられた3Dマルチ表示映像を生成する。
【0026】
この方法によっても、上記と同様、複数の撮影拠点の3D映像が並んで表示されるときに、各撮影拠点の3D映像間で視差が見やすくなるように、各撮影拠点の3D映像に含まれる注目領域(例えば、人の顔など)の飛び出し量が適切に調整される。具体的には、各撮影拠点の3D映像の注目領域の飛び出し量が、各注目領域の飛び出し量から決定される目標調整量に応じて調整される。これにより、複数の撮影拠点の3D映像を同時に表示するときの見やすさが向上する。
【発明の効果】
【0027】
本発明は、複数の撮影拠点の3D映像を同時に表示するときの見やすさが向上するという効果を有する3D映像処理装置を提供することができるものである。
【図面の簡単な説明】
【0028】
【図1】本発明の第1の実施の形態における3D映像処理装置のブロック図
【図2】本発明の第1の実施の形態における注目領域の検出処理の説明図
【図3】本発明の第1の実施の形態における飛び出し量の計算処理の説明図
【図4】本発明の第1の実施の形態における飛び出し量の調整処理(第1の例)の説明図
【図5】本発明の第1の実施の形態における飛び出し量の調整処理(第2の例)の説明図
【図6】本発明の第1の実施の形態における飛び出し量の調整処理(第3の例)の説明図
【図7】本発明の第1の実施の形態における飛び出し量の調整処理(第4の例)の説明図
【図8】本発明の第1の実施の形態における3Dマルチ表示映像の合成処理の説明図
【図9】本発明の第2の実施の形態における3D映像処理装置のブロック図
【図10】本発明の第2の実施の形態における視点ずれ方向の計算処理の説明図
【図11】本発明の第2の実施の形態における仮想視点映像への変換処理の説明図
【発明を実施するための形態】
【0029】
以下、本発明の実施の形態の3D映像処理装置について、図面を用いて説明する。本実施の形態では、テレビ会議システム等に適用される3D映像処理装置の場合を例示する。
【0030】
(第1の実施の形態)
本発明の第1の実施の形態の3D映像処理装置の構成を、図面を参照して説明する。図1には、本実施の形態の3D映像処理装置を用いたテレビ会議システムが示されている。図1に示すように、テレビ会議システム1では、ある拠点(拠点O)に設置された3D映像処理装置2と、他の拠点(拠点A、B)に設置された3Dカメラ3とが、ネットワーク4を介して接続されており、3Dカメラ3で撮影した拠点A、Bのカメラ映像を、拠点Oに設置されたモニタ5で見ることができるようになっている。なお、図1では、説明の便宜上、図示を省略しているが、拠点A、Bにも、3D映像処理やモニタ5が設置されており、また、拠点Oにも、3Dカメラ3が設置されている。
【0031】
また、図1の例では、拠点A、Bに、3Dカメラ3(互いに視差を有する2つの映像(右目用映像と左目用映像)を撮影する機能を備えたカメラ)を設置する場合について例示したが、拠点A、Bに設置されるカメラは、3Dカメラ3でなくてもよく、通常のカメラであってもよい。その場合、拠点A、Bまたは拠点Oに、通常のカメラで撮影した映像を3D映像(右目用映像と左目用映像)に変換する3D変換器(図示せず)が備えられればよく、3D変換器で変換された3D映像が3D映像処理装置2に入力されるようにすればよい。
【0032】
次に、図1を参照しながら、3D映像処理装置2の構成について詳しく説明する。図1に示すように、3D映像処理装置2は、複数の拠点A、Bの3D映像が入力される映像入力部6と、各拠点A、Bの3D映像から所定の注目領域を検出する注目領域検出部7と、検出した注目領域の飛び出し量を求める飛び出し量計算部8と、それらの注目領域の飛び出し量を調整する飛び出し量調整部9と、飛び出し量が調整された複数の拠点A、Bの3D映像を合成して3Dマルチ表示映像を生成する映像合成部10を備えている。映像合成部10で合成された3Dマルチ表示映像は、モニタ5へ出力されて表示される。
【0033】
ここで、図2〜図8を参照しながら、3D映像処理装置2で行われる各処理について詳しく説明する。図2は、注目領域検出部7で行われる注目領域の検出処理の説明図である。図2に示すように、注目領域検出部7は、複数の拠点A、Bの3D映像の各々から、予め定められた注目領域として人物の顔領域を検出する。顔領域の検出には、マッチングなどの周知の技術を利用することができる。例えば、図2の例では、拠点Aの3D映像から、人物の顔領域が2つ検出されており、拠点Bの3D映像から人物の顔領域が3つ検出されている。なお、人物の顔領域は、人物の顔の形の領域でもよく、人物の顔に外接する四角形などの領域でもよい。また、注目領域は、人物の顔領域(人物の顔を基準に定められる領域)でなくてもよく、例えば、テーブルの端などを基準に定められる領域でもよく、あるいは、3D映像の中心や端などの特定の位置を基準に定められた領域でもよい。
【0034】
図3は、飛び出し量計算部8で行われる飛び出し量の計算処理の説明図である。図3に示すように、飛び出し量計算部8は、複数の拠点A、Bの3D映像の各々において検出された注目領域について、その視差から飛び出し量を求める。飛び出し量の算出には、周知の技術を利用することができる。例えば、図3の例では、拠点Aの3D映像から検出された2つの注目領域(注目領域番号「1」:第1の注目領域、注目領域番号「2」:第2の注目領域)が検出され、第1の注目領域の飛び出し量が「1」と算出され、第2の注目領域の飛び出し量が「4」と算出されている。同様に、拠点Bの3D映像から検出された3つの注目領域(注目領域番号「1」:第1の注目領域、注目領域番号「2」:第2の注目領域、注目領域番号「3」:第3の注目領域)が検出され、第1の注目領域の飛び出し量が「5」と算出され、第2の注目領域の飛び出し量が「3」と算出され、第3の注目領域の飛び出し量が「4」と算出されている。なお、図3において、画像内座標は、注目領域の代表点(例えば、重心など)の座標である。
【0035】
図4〜図7は、飛び出し量調整部9で行われる飛び出し量の調整処理の説明図である。飛び出し量調整部9は、複数の拠点A、Bの3D映像の各々に含まれる注目領域の飛び出し量を、それらの飛び出し量に基づいて決定される目標調整量に応じて調整する。飛び出し量の調整には、種々の手法が存在するが、以下、図4〜図7を参照しながら、飛び出し量の調整の4つの例を説明する。飛び出し量調整部9は、これら4つ例のうちの1つを選択して実行する機能を備えている。
【0036】
図4は、飛び出し量の調整の「第1の例」の説明図である。図4に示すように、第1の例では、最大の飛び出し量に合わせるように飛び出し量が調整される。この場合、目標調整量は、複数の拠点A、Bの3D映像に含まれるすべての注目領域の飛び出し量のうちで最大の飛び出し量(目標飛び出し量)に基づいて決定される。そして、飛び出し量調整部9は、複数の拠点A、Bの3D映像の各々について、各拠点A、Bの3D映像に含まれる注目領域の飛び出し量のうちで最大の飛び出し量を、上記の目標飛び出し量にあわせるように、注目領域の飛び出し量を調整する。
【0037】
例えば、図4の例では、複数の拠点A、Bの3D映像に含まれるすべての注目領域の飛び出し量のうちで最大の飛び出し量「5」が目標飛び出し量として決定される。そして、各拠点A、Bの3D映像ごとに、各拠点A、Bに含まれる注目領域の飛び出し量のうちで最大の飛び出し量を「5」に合わせるように、飛び出し量の調整が行われる。
【0038】
この場合、拠点Aの3D映像については、拠点Aの3D映像に含まれる2つの注目領域の飛び出し量のうちで最大の飛び出し量「4」を目標飛び出し量「5」に合わせるように、飛び出し量の調整が行われる。すなわち、目標調整量「+1」(=5−4)の分だけ、拠点Aの2つの注目領域(第1の注目領域と第2の注目領域)の飛び出し量が調整される。具体的には、第1の注目領域の飛び出し量が「1」から「2」に調整され、第2の注目領域の飛び出し量が「4」から「5」に調整される。拠点Bの3D映像については、目標調整量が「0」(=5−5)となるので、拠点Bの3つの注目領域(第1の注目領域、第2の注目領域、第3の注目領域)の飛び出し量の調整は行われない(あるいは、目標調整量「0」の分だけ、飛び出し量の調整が行われる)。このように、第1の例では、最大の飛び出し量にあわせるように(前側に平行移動させるように)飛び出し量の調整が行われる。なお、ここでは、最大の飛び出し量にあわせるように飛び出し量の調整が行われる例について説明したが、最小の飛び出し量に合わせるように飛び出し量の調整を行ってもよい。例えば、図4の例で最小の飛び出し量が1になるように調整する。
【0039】
図5は、飛び出し量の調整の「第2の例」の説明図である。図5に示すように、第2の例では、最大と最小の飛び出し量に合わせるように飛び出し量が調整される。この場合、目標調整量は、複数の拠点A、Bの3D映像に含まれるすべての注目領域の飛び出し量のうちで最大の飛び出し量(第1の目標飛び出し量)と、複数の拠点A、Bの3D映像に含まれるすべての注目領域の飛び出し量のうちで最小の飛び出し量(第2の目標飛び出し量)とに基づいて決定される。そして、飛び出し量調整部9は、複数の拠点A、Bの3D映像の各々について、各拠点A、Bの3D映像に含まれる注目領域の飛び出し量のうちで最大の飛び出し量を、上記の第1の目標飛び出し量にあわせるように、注目領域の飛び出し量を調整するとともに、各拠点A、Bの3D映像に含まれる注目領域の飛び出し量のうちで最小の飛び出し量を、上記の第2の目標飛び出し量にあわせるように、注目領域の飛び出し量を調整する。
【0040】
例えば、図5の例では、複数の拠点A、Bの3D映像に含まれるすべての注目領域の飛び出し量のうちで最大の飛び出し量「5」が第1の目標飛び出し量として決定され、最小の飛び出し量「1」が第2の目標飛び出し量として決定される。そして、各拠点A、Bの3D映像ごとに、各拠点A、Bに含まれる注目領域の飛び出し量のうちで最大の飛び出し量を「5」に合わせるとともに、最小の飛び出し量を「1」に合わせるように、飛び出し量の調整が行われる。
【0041】
この場合、拠点Aの3D映像については、拠点Aの3D映像に含まれる2つの注目領域の飛び出し量のうちで最大の飛び出し量「4」を目標飛び出し量「5」に合わせるように、飛び出し量の調整が行われる。すなわち、目標調整量「+1」(=5−4)の分だけ、拠点Aの第2の注目領域の飛び出し量が調整される。また、拠点Aの3D映像に含まれる2つの注目領域の飛び出し量のうちで最小の飛び出し量「1」を目標飛び出し量「1」に合わせるように、飛び出し量の調整が行われる。この場合、目標調整量が「0」(=1−1)となるので、拠点Aの第1の注目領域の飛び出し量の調整は行われない(あるいは、目標調整量「0」の分だけ、飛び出し量の調整が行われる)。
【0042】
同様に、拠点Bの3D映像については、拠点Bの3D映像に含まれる3つの注目領域の飛び出し量のうちで最大の飛び出し量「5」を目標飛び出し量「5」に合わせるように、飛び出し量の調整が行われる。この場合、目標調整量が「0」(=1−1)となるので、拠点Bの第1の注目領域の飛び出し量の調整は行われない(あるいは、目標調整量「0」の分だけ、飛び出し量の調整が行われる)。また、拠点Bの3D映像に含まれる3つの注目領域の飛び出し量のうちで最小の飛び出し量「3」を目標飛び出し量「1」に合わせるように、飛び出し量の調整が行われる。すなわち、目標調整量「−2」(=1−3)の分だけ、拠点Bの第2の注目領域の飛び出し量が調整される。
【0043】
なお、拠点Bの第3の注目領域については、他の2つの注目領域(拠点Bの第1の注目領域と第2の注目領域)との飛び出し量の相対的な関係が変わらないように、飛び出し量の調整が行われる。調整前の第3の注目領域の飛び出し量「4」は、調整前の第1の注目領域の飛び出し量「5」と第2の注目領域の飛び出し量「3」の中間の値である。したがって、調整後の第3の注目領域の飛び出し量も、調整後の第1の注目領域の飛び出し量「1」と第2の注目領域の飛び出し量「5」の中間の値「3」となるように、飛び出し量の調整が行われる。このように、第2の例では、最大と最小の飛び出し量にあわせるように(前後方向に引き延ばすように)飛び出し量の調整が行われる。
【0044】
図6は、飛び出し量の調整の「第3の例」の説明図である。図6に示すように、第3の例では、飛び出し量の中心を合わせるように飛び出し量が調整される。この場合、目標調整量は、複数の拠点A、Bの3D映像におけるすべての注目領域の飛び出し量の平均の飛び出し量(目標飛び出し量)に基づいて決定される。この場合、目標飛び出し量(平均の飛び出し量)は、拠点Aの注目領域の飛び出し量の中心(平均)と拠点Bの注目領域の飛び出し量の中心(平均)との平均として求められる(つまり「中心の平均」として求められる)。そして、飛び出し量調整部9は、そして、飛び出し量調整部9は、複数の拠点A、Bの3D映像の各々について、各拠点A、Bの注目領域の飛び出し量の中心(平均)を、上記の目標飛び出し量にあわせるように、注目領域の飛び出し量を調整する。
【0045】
例えば、図6の例では、拠点Aの3D映像について注目領域の飛び出し量の中心(平均)「2.5」(=(1+4)/2)と、拠点Bの3D映像について注目領域の飛び出し量の中心(平均)「4」(=(5+3+4)/3)が求められ、それらの平均「3.25」(=(2.5+4)/2)が目標飛び出し量として決定される。そして、各拠点A、Bの3D映像ごとに、各拠点A、Bの注目領域の飛び出し量の中心(平均)を「3.25」に合わせるように、飛び出し量の調整が行われる。
【0046】
この場合、拠点Aの3D映像については、拠点Aの3D映像に含まれる2つの注目領域の飛び出し量の中心(平均)「2.5」を目標飛び出し量「3.25」に合わせるように、飛び出し量の調整が行われる。すなわち、目標調整量「+0.75」(=3.25−2.5)の分だけ、拠点Aの2つの注目領域(第1の注目領域と第2の注目領域)の飛び出し量が調整される。具体的には、第1の注目領域の飛び出し量が「1」から「1.75」に調整され、第2の注目領域の飛び出し量が「4」から「4.75」に調整される。
【0047】
同様に、拠点Bの3D映像については、拠点Bの3D映像に含まれる3つの注目領域の飛び出し量の中心(平均)「4」を目標飛び出し量「3.25」に合わせるように、飛び出し量の調整が行われる。すなわち、目標調整量「−0.75」(=3.25−4)の分だけ、拠点Bの3つの注目領域(第1の注目領域、第2の注目領域、第3の注目領域)の飛び出し量が調整される。具体的には、第1の注目領域の飛び出し量が「5」から「4.25」に調整され、第2の注目領域の飛び出し量が「3」から「2.25」に調整され、第3の注目領域の飛び出し量が「4」から「3.25」に調整される。このように、第3の例では、中心をあわせるように(前後にに平行移動させるように)飛び出し量の調整が行われる。
【0048】
なお、ここでは、目標飛び出し量(平均の飛び出し量)を、各拠点A、Bの注目領域の飛び出し量の中心(平均)の平均として求める例について説明したが、目標飛び出し量(平均の飛び出し量)は、すべての注目領域の平均として求めてもよい。例えば、図6の例で、目標飛び出し量(平均の飛び出し量)を「3.4」(=(1+4+5+3+4)/5)としてもよい。
【0049】
図7は、飛び出し量の調整の「第4の例」の説明図である。図7に示すように、第4の例では、飛び出し量を所定の基準に合わせるように飛び出し量が調整される。この場合、目標調整量は、例えば「最大の飛び出し量=4」のように予め定められている。そして、飛び出し量調整部9は、複数の拠点A、Bの3D映像の各々について、各拠点A、Bの3D映像に含まれる注目領域の飛び出し量のうちで最大の飛び出し量を、上記の目標飛び出し量にあわせるように、注目領域の飛び出し量を調整する。例えば、図7の例では、各拠点A、Bの3D映像ごとに、各拠点A、Bに含まれる注目領域の飛び出し量のうちで最大の飛び出し量を「4」に合わせるように、飛び出し量の調整が行われる。
【0050】
この場合、拠点Aの3D映像については、拠点Aの3D映像に含まれる2つの注目領域の飛び出し量のうちで最大の飛び出し量が「4」であり、目標調整量が「0」(=4−4)となるので、拠点Aの2つの注目領域の飛び出し量の調整は行われない(あるいは、目標調整量「0」の分だけ、飛び出し量の調整が行われる)。拠点Bの3D映像については、拠点Bの3D映像に含まれる3つの注目領域の飛び出し量のうちで最大の飛び出し量「5」を目標飛び出し量「4」に合わせるように、飛び出し量の調整が行われる。すなわち、目標調整量「−1」(=4−5)の分だけ、拠点Bの3つの注目領域の飛び出し量が調整される。具体的には、第1の注目領域の飛び出し量が「5」から「4」に調整され、第2の注目領域の飛び出し量が「3」から「2」に調整され、第3の注目領域の飛び出し量が「4」から「3」に調整される。このように、第4の例では、所定の基準にあわせるように(後側に平行移動させるように)飛び出し量の調整が行われる。なお、ここでは、所定の基準に合わせる飛び出し量として各拠点A、Bでの最大の飛び出し量を用いる例について説明したが、所定の基準に合わせる飛び出し量として、各拠点A、Bでの最小の飛び出し量や飛び出し量の平均を用いてもよい。
【0051】
図8は、映像合成部10で行われる3Dマルチ表示映像の合成処理の説明図である。図8に示すように、映像合成部10は、上記のようにして飛び出し量が調整された複数の拠点A、Bの3D映像を合成して、複数の拠点A、Bの3D映像が並べられた3Dマルチ表示映像を生成する。そして、生成された3Dマルチ表示映像は、モニタ5に表示される。なお、図8では、2つの拠点の3D映像を横一列に(2行1列に)並べた場合が例示されているが、複数の3D映像の配置の仕方は、これに限られるものではなく、周知の配置パターンを採用することが可能である。例えば、4つの拠点の3D映像の場合には、縦横にマトリクス状に(2行2列に)並べてもよい。
【0052】
3Dマルチ表示映像は、各拠点A、Bの3D映像を一つにまとめた映像として、一つのモニタ5に表示してもよいが、各拠点A、Bの3D映像ごとに複数のモニタ(図示せず)に分割して表示してもよい。図1に示すように、この3D映像処理装置2は、3Dマルチ表示映像を分割表示するときのために、複数のモニタ間において右目用映像と左目用映像の同期をとる同期処理部11を備えている。
【0053】
例えば、第1のモニタに拠点Aの3D映像を表示し、第2のモニタに拠点Bの3D映像を表示する場合に、同期処理部11で同期をとる処理が実行されると、第1のモニタで拠点Aの右目用映像が表示されるときには、第2のモニタで拠点Bの右目用映像が表示され、また、第1のモニタで拠点Aの左目用映像が表示されるときには、第2のモニタで拠点Bの左目用映像が表示されるようになる。
【0054】
なお、飛び出し量の調整は、各拠点A、Bで、テレビ会議への出席者(出席予定者)が全員揃ったタイミングで実行されるようにしてもよい。その場合、注目領域検出部7は、複数の拠点A、Bの3D映像の各々に写っている人物の顔領域を、注目領域として検出し、飛び出し量調整部9は、各拠点A、Bの3D映像から検出された注目領域(人物の顔)の数が、各拠点A、Bの3D映像に含まれるべき注目領域の数(出席者の数)と一致したときに、飛び出し量の調整を行うようにしてもよい。
【0055】
また、飛び出し量の調整は、各拠点A、Bで、テレビ会議への出席者が入室または退室したタイミングで実行されるようにしてもよい。その場合、注目領域検出部7は、複数の拠点A、Bの3D映像の各々に写っている人物の顔領域を、注目領域として検出し、飛び出し量調整部9は、各拠点A、Bの3D映像から検出された注目領域(人物の顔)の数に増減があったときに、飛び出し量の調整を行うようにしてもよい。
【0056】
このような第1の実施の形態の3D映像処理装置2によれば、複数の撮影拠点の3D映像を同時に表示するときの見やすさを向上することができる。
【0057】
すなわち、本実施の形態では、図8に示すように、複数の拠点A、Bの3D映像が並んで表示されるときに、各拠点A、Bの3D映像間で視差が見やすくなるように、各拠点A、Bの3D映像に含まれる注目領域(例えば、人の顔など)の飛び出し量が適切に調整される。具体的には、各拠点A、Bの3D映像の注目領域の飛び出し量が、各注目領域の飛び出し量から決定される目標調整量に応じて調整される。これにより、複数の拠点A、Bの3D映像を同時に表示するときの見やすさが向上する。
【0058】
例えば、図4に示すように、各拠点A、Bの3D映像に含まれる注目領域の飛び出し量のうちで最大の飛び出し量が、複数の拠点A、Bの3D映像に含まれるすべての注目領域の飛び出し量のうちで最大の飛び出し量(目標飛び出し量)にあわせられる。これにより、複数の拠点A、Bの3D映像が同時に表示されるときに、各拠点A、Bの3D映像間で視差が見やすくなる。
【0059】
また、図5に示すように、各拠点A、Bの3D映像に含まれる注目領域の飛び出し量のうちで最大の飛び出し量が、複数の拠点A、Bの3D映像に含まれるすべての注目領域の飛び出し量のうちで最大の飛び出し量(第1の目標飛び出し量)にあわせられるとともに、各拠点A、Bの3D映像に含まれる注目領域の飛び出し量のうちで最小の飛び出し量が、複数の拠点A、Bの3D映像に含まれるすべての注目領域の飛び出し量のうちで最小の飛び出し量(第2の目標飛び出し量)にあわせられる。これにより、複数の拠点A、Bの3D映像が同時に表示されるときに、各拠点A、Bの3D映像間で視差が見やすくなる。
【0060】
また、図6に示すように、各拠点A、Bの3D映像に含まれる注目領域の飛び出し量の平均の飛び出し量が、複数の拠点A、Bの3D映像における注目領域の飛び出し量の平均の飛び出し量(目標飛び出し量)にあわせられる。これにより、複数の拠点A、Bの3D映像が同時に表示されるときに、各拠点A、Bの3D映像間で視差が見やすくなる。
【0061】
また、図7に示すように、各拠点A、Bの3D映像に含まれる注目領域の飛び出し量のうちで最大の飛び出し量が、予め定められた目標飛び出し量にあわせられる。これにより、複数の拠点A、Bの3D映像が同時に表示されるときに、各拠点A、Bの3D映像間で視差が見やすくなる。
【0062】
また、本実施の形態では、各拠点A、Bの3D映像から検出された注目領域(人物の顔領域)の数が、各拠点A、Bの3D映像に含まれるべき注目領域の数と一致したときに、注目領域の飛び出し量の調整が行われてもよい。例えば、本発明がテレビ会議システム1に適用された場合、各拠点A、Bの3D映像に含まれるべき注目領域(人物の顔領域)の数は、テレビ会議の各拠点A、Bの出席予定者の数である。その場合、出席予定者の全員が揃ったときに、注目領域の飛び出し量の調整が行われる。このようにして、適切なタイミングで、注目領域の飛び出し量の調整が行われる。
【0063】
また、各拠点A、Bの3D映像から検出された注目領域(人物の顔領域)の数に増減があったときに、注目領域の飛び出し量の調整が行われてもよい。例えば、本発明がテレビ会議システム1に適用された場合、各拠点A、Bの3D映像から検出された(人物の顔領域)の数は、テレビ会議の各拠点A、Bの出席者の数である。その場合、出席者の増減(入室、退室)があったときに、注目領域の飛び出し量の調整が行われる。このようにして、適切なタイミングで、注目領域の飛び出し量の調整が行われる。
【0064】
さらに、本実施の形態では、各拠点A、Bの3D映像ごとに複数のモニタに分割して表示するときに、複数のモニタ間において右目用映像と左目用映像の同期を適切にとることができる。したがって、3Dマルチ表示映像を、各拠点A、Bの3D映像ごとに複数のモニタに分割して表示することが可能になる。
【0065】
(第2の実施の形態)
次に、本発明の第2の実施の形態の3D映像処理装置2について説明する。ここでは、第2の実施の形態の3D映像処理装置2が、第1の実施の形態と相違する点を中心に説明する。ここで特に言及しない限り、本実施の形態の構成および動作は、第1の実施の形態と同様である。
【0066】
図9は、本実施の形態の3D映像処理装置2を示すブロック図である。図9に示すように、本実施の形態の3D映像処理装置2は、映像配置決定部12と、視点ずれ方向計算部13と、映像変換部14を、さらに備えている。
【0067】
映像配置決定部12は、3Dマルチ表示映像を一つのモニタ5に表示するときに、モニタ5の画面上における各拠点A、Bの3D映像の表示位置を決定する。例えば、図10の例では、拠点Aの3D映像が、モニタ5の画面中心から距離Aだけ左側にずれた位置に配置されている。この場合、距離Aは、拠点Aの3D映像の中心とモニタ5の画面中心との間の画面上の距離(例えば、0.3m)である。
【0068】
視点ずれ方向計算部13は、各拠点A、Bの3D映像ごとに、モニタ5の画面上における3D映像の表示位置(距離A)に基づいて、3D映像に含まれる注目領域の視点ずれ方向θを求める。例えば、図10の例では、モニタ5の画面から視聴者までの距離Bが求められると、視点ずれ方向θは、tanθ(=A/B)から求められる。なお、距離Bは、距離測定機能を有するセンサなどを用いて実際の値(例えば、5m)を測定してもよく、また、いわゆる最適視聴距離(画面の高さHの3倍、すなわち、B=3H)で近似してもよい。
【0069】
映像変換部14は、各拠点A、Bの3D映像を、各拠点の3D映像の注目領域を上記の視点ずれ方向θに基づいて決定される仮想視点から見たときの仮想視点映像に変換する。図11に示すように、拠点Aの3D映像(右目用映像と左目用映像)は、拠点Aにおいて被写体から距離C(例えば、4m)だけ離れた位置から3Dカメラ3で実際に撮影をすることにより得られるカメラ映像である。一方、仮想視点映像(右目用仮想視点映像と左目用仮想視点映像)は、拠点Aにおいて3Dカメラ3を仮想視点Ctanθだけずらした位置から撮影したときに得られるであろう仮想的な映像である。
【0070】
このような仮想視点映像の生成(3D映像から仮想視点映像への変換)は、周知の技術(例えば、特許第3328478号などに記載された技術)を用いて行うことができる。例えば、右目用映像と左目用映像から被写体(人物)の3次元モデルを生成することにより、仮想視点Ctanθだけ平行移動した位置から見たときの仮想視点映像を生成することができる。なお、テレビ会議システム1に適用する場合には、3Dカメラ3の位置が固定され、人物の座る位置もほぼ固定されるため、3次元モデルを予め生成しておくことも可能である。その場合、仮想視点映像への変換に要する演算時間を少なくすることができる。また、被写体(前景)である人物だけでなく、背景についても同様に仮想視点映像に変換してもよい。なお、θ=0の場合、仮想視点映像への変換は行われない。
【0071】
このような第2の実施の形態の3D映像処理装置2によっても、第1の実施の形態と同様の作用効果が奏される。
【0072】
その上、本実施の形態では、図11に示すように、3Dマルチ表示映像を一つのモニタ5に表示するときに、各拠点A、Bの3D映像ごとに、モニタ5の画面上の3D映像の表示位置から、その3D映像に含まれる注目領域の視点ずれ方向が求められ、各拠点A、Bの3D映像が、その視点ずれ方向に基づいて決定される仮想視点から注目領域を見たときの映像(仮想視点映像)に変換される。これにより、各拠点A、Bの3D映像が自然な視点(視線方向)から見たときの映像に変換され、3Dマルチ表示映像の見やすさが向上する。
【0073】
以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。
【産業上の利用可能性】
【0074】
以上のように、本発明にかかる3D映像処理装置は、複数の撮影拠点の3D映像を同時に表示するときの見やすさが向上するという効果を有し、テレビ会議システム等に用いられ、有用である。
【符号の説明】
【0075】
1 テレビ会議システム
2 3D映像処理装置
3 3Dカメラ
4 ネットワーク
5 モニタ
6 映像入力部
7 注目領域検出部
8 飛び出し量計算部
9 飛び出し量調整部
10 映像合成部
11 同期処理部
12 映像配置決定部
13 視点ずれ方向計算部
14 映像変換部

【特許請求の範囲】
【請求項1】
複数の撮影拠点に設置されたカメラで撮影したカメラ映像から生成された3D映像が入力される映像入力部と、
前記複数の撮影拠点の3D映像の各々から、注目領域を検出する注目領域検出部と、
前記複数の撮影拠点の3D映像の各々において、検出された前記注目領域の視差から、当該注目領域の飛び出し量を求める飛び出し量計算部と、
前記複数の撮影拠点の3D映像の各々に含まれる前記注目領域の飛び出し量を、求めた前記飛び出し量に基づいて決定される目標調整量に応じて調整する処理を行う飛び出し量調整部と、
前記注目領域の飛び出し量が調整された前記複数の撮影拠点の3D映像を合成して、前記複数の撮影拠点の3D映像が並べられた3Dマルチ表示映像を生成する映像合成部と、
を備えたことを特徴とする3D映像処理装置。
【請求項2】
前記目標調整量は、前記複数の撮影拠点の3D映像に含まれるすべての前記注目領域の飛び出し量のうちで最大の飛び出し量である目標飛び出し量に基づいて決定され、
前記飛び出し量調整部は、各撮影拠点の3D映像に含まれる前記注目領域の飛び出し量のうちで最大の飛び出し量を前記目標飛び出し量にあわせるように、各撮影拠点の3D映像ごとに、前記注目領域の飛び出し量を調整することを特徴とする請求項1に記載の3D映像処理装置。
【請求項3】
前記目標調整量は、前記複数の撮影拠点の3D映像に含まれるすべての前記注目領域の飛び出し量のうちで最大の飛び出し量である第1の目標飛び出し量と、前記複数の撮影拠点の3D映像に含まれるすべての前記注目領域の飛び出し量のうちで最小の飛び出し量である第2の目標飛び出し量とに基づいて決定され、
前記飛び出し量調整部は、各撮影拠点の3D映像に含まれる前記注目領域の飛び出し量のうちで最大の飛び出し量を前記第1の目標飛び出し量にあわせるとともに、各撮影拠点の3D映像に含まれる前記注目領域の飛び出し量のうちで最小の飛び出し量を前記第2の目標飛び出し量にあわせるように、各撮影拠点の3D映像ごとに、前記注目領域の飛び出し量を調整することを特徴とする請求項1に記載の3D映像処理装置。
【請求項4】
前記目標調整量は、所定の前記撮影拠点の3D映像における前記注目領域の飛び出し量の平均の飛び出し量である目標飛び出し量に基づいて決定され、
前記飛び出し量調整部は、各撮影拠点の3D映像に含まれる前記注目領域の飛び出し量の平均の飛び出し量を前記目標飛び出し量にあわせるように、各撮影拠点の3D映像ごとに、前記注目領域の飛び出し量を調整することを特徴とする請求項1に記載の3D映像処理装置。
【請求項5】
前記目標調整量は、予め定められた目標飛び出し量に基づいて決定され、
前記飛び出し量調整部は、各撮影拠点の3D映像に含まれる前記注目領域の飛び出し量のうちで最大の飛び出し量を前記目標飛び出し量にあわせるように、各撮影拠点の3D映像ごとに、前記注目領域の飛び出し量を調整することを特徴とする請求項1に記載の3D映像処理装置。
【請求項6】
前記注目領域検出部は、前記複数の撮影拠点の3D映像の各々に写っている人物の顔領域を、前記注目領域として検出し、
前記飛び出し量調整部は、各撮影拠点の3D映像から検出された前記注目領域の数が、各撮影拠点の3D映像に含まれるべき前記注目領域の数と一致したときに、前記注目領域の飛び出し量を調整することを特徴とする請求項1ないし請求項5のいずれかに記載の3D映像処理装置。
【請求項7】
前記注目領域検出部は、前記複数の撮影拠点の3D映像の各々に写っている人物の顔領域を、前記注目領域として検出し、
前記飛び出し量調整部は、各撮影拠点の3D映像から検出された前記注目領域の数に増減があったときに、前記注目領域の飛び出し量を再調整することを特徴とする請求項1ないし請求項6のいずれかに記載の3D映像処理装置。
【請求項8】
前記3Dマルチ表示映像を、各撮影拠点の3D映像ごとに複数のモニタに分割して表示するときに、前記複数のモニタ間において右目用映像と左目用映像の同期をとる同期処理部を備えたことを特徴とする請求項1ないし請求項7のいずれかに記載の3D映像処理装置。
【請求項9】
前記3Dマルチ表示映像を一つのモニタに表示するときに、前記モニタの画面上における各撮影拠点の3D映像の表示位置を決定する映像配置決定部と、
各撮影拠点の3D映像ごとに、前記モニタの画面上における前記3D映像の表示位置に基づいて、前記3D映像に含まれる前記注目領域の視点ずれ方向を求める視点ずれ方向計算部と、
各撮影拠点の3D映像を、各撮影拠点の3D映像に含まれる前記注目領域を前記視点ずれ方向に基づいて決定される仮想視点から見たときの仮想視点映像に変換する映像変換部と、
を備えたことを特徴とする請求項1ないし請求項7のいずれかに記載の3D映像処理装置。
【請求項10】
複数の撮影拠点に設置されたカメラで撮影したカメラ映像から生成された3D映像が入力されると、前記複数の撮影拠点の3D映像の各々から、注目領域を検出し、
検出された前記注目領域の視差から、前記複数の撮影拠点の3D映像における前記注目領域の飛び出し量を求め、
前記3D映像の各々に含まれる前記注目領域の飛び出し量を、求めた前記飛び出し量に基づいて決定される目標調整量に応じて調整する処理を行い、
前記注目領域の飛び出し量が調整された前記複数の撮影拠点の3D映像を合成して、前記複数の撮影拠点の3D映像が並べられた3Dマルチ表示映像を生成することを特徴とする3D映像処理方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate


【公開番号】特開2013−55402(P2013−55402A)
【公開日】平成25年3月21日(2013.3.21)
【国際特許分類】
【出願番号】特願2011−190597(P2011−190597)
【出願日】平成23年9月1日(2011.9.1)
【出願人】(000005821)パナソニック株式会社 (73,050)
【Fターム(参考)】