台詞表示装置
【課題】出演者自らが自発的に視線を動かす場合にも適切に台詞を表示する。
【解決手段】制御装置１は、出演者２００の顔の位置およびその向いている方向に基づいて該出演者２００が視点を向けている場所（視点Ｃ）を求め、その場所に台詞映像を投射表示するように、プロジェクタ２を制御する。出演者２００の顔が向いている方向は、カメラ１０１〜１０４で撮影した出演者２００の映像から求める。
【解決手段】制御装置１は、出演者２００の顔の位置およびその向いている方向に基づいて該出演者２００が視点を向けている場所（視点Ｃ）を求め、その場所に台詞映像を投射表示するように、プロジェクタ２を制御する。出演者２００の顔が向いている方向は、カメラ１０１〜１０４で撮影した出演者２００の映像から求める。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、出演者に対し台詞を提示する台詞表示装置に関する。
【背景技術】
【０００２】
従来、ニュース番組などでは台詞や原稿を表示して出演者に見せる台詞表示装置が用いられている。このような台詞表示装置は、カメラのレンズ系の前にハーフミラーを備えており、このハーフミラーに台詞等を投影表示してアナウンサーなどの出演者にその映像を見せるようにする一方、当該映像はカメラの撮影映像には映り込まないようにしたものである（例えば特許文献１参照）。
【特許文献１】特開平３−１６７９６９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記従来の台詞表示装置は、出演者がカメラに顔を向けることを前提としている。そのため、出演者は、台詞の表示されているカメラ方向に視線を固定するか、あるいは番組制作者側の意図により台詞が表示されるカメラが切り替わるのに合わせて視線を動かすことが必要であった。このように、従来の台詞表示装置は、出演者自らが自発的に視線を動かそうとすることに対応できず、適切に台詞等を表示できないという問題があった。
本発明は上記の点に鑑みてなされたものであり、その目的は、出演者自らが自発的に視線を動かす場合にも適切に台詞を表示することが可能な台詞表示装置を提供することにある。
【課題を解決するための手段】
【０００４】
本発明は上記の課題を解決するためになされたものであり、出演者に対し台詞を提示する台詞表示装置であって、カメラで撮影した出演者の映像から該出演者の顔が向いている方向を検出する顔の向き検出手段と、前記出演者の顔の位置を特定する顔位置特定手段と、前記顔位置特定手段と前記顔の向き検出手段によって得られた出演者の顔の位置およびその向いている方向に基づいて、該出演者の視線が壁、床、または天井と交わる視点位置を算出する視点算出手段と、前記視点算出手段によって算出された視点位置に台詞映像を投射表示する制御を行う台詞表示制御手段と、を備えたことを特徴とする。
【０００５】
この発明において、台詞表示装置は、出演者の顔の位置およびその向いている方向に基づいて該出演者が視点を向けている場所を求め、その場所に台詞映像を投射表示する。出演者の顔が向いている方向は、カメラ（例えば番組を撮影しているカメラ）で撮影した出演者の映像から求める。このように、本発明によれば、出演者の視点の場所に台詞映像を投射表示するので、出演者自らが自発的に視線を動かす場合にも適切に台詞を表示することが可能である。
【０００６】
また、本発明は上記台詞表示装置において、前記顔の向き検出手段は、カメラで撮影した出演者の映像から該出演者の顔を検出する顔検出手段と、前記顔検出手段によって検出した顔の画像に含まれる肌色領域の大きさから顔の向いている方向を算出する演算手段と、からなることを特徴とする。
【０００７】
この発明においては、出演者の顔の向きが変わると、出演者を撮影した映像中の顔部分において肌色の領域の大きさが変わることを利用し、出演者の顔が向いている方向を求めるようにした。これにより、画像処理の手法を用いて、出演者の顔の向きを求めることができる。
【０００８】
また、本発明は上記台詞表示装置において、前記演算手段は、前記顔検出手段によって検出した顔の画像に含まれる肌色領域の大きさから顔の左右方向の向きを算出する顔の左右方向算出手段と、前記顔検出手段によって検出した顔の画像に含まれる肌色領域の大きさから顔の上下方向の向きを算出する顔の上下方向算出手段と、からなることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、出演者の視点の場所に台詞映像を投射表示するので、出演者自らが自発的に視線を動かす場合にも適切に台詞を表示することができる。
【発明を実施するための最良の形態】
【００１０】
以下、図面を参照しながら本発明の実施形態について詳しく説明する。
図１は、本発明の一実施形態による台詞表示装置を利用して、放送局等のスタジオで台詞表示を行っている様子を説明した図である。図１（ａ）はスタジオを横から見た図、図１（ｂ）はスタジオを上から見た図である。このスタジオには４台のカメラ１０１〜１０４があり、これらカメラによって出演者２００の姿をそれぞれ別の位置から撮影する。出演者２００は、視点Ｃで示される場所（ここではスタジオの床の一部）に視線を向けており、この視点Ｃの方向に出演者２００の顔が向いている。
【００１１】
台詞表示装置は、制御装置１と、プロジェクタ２とから構成される。各カメラ１０１〜１０４（いずれか２つのカメラでよい）からの映像は制御装置１へ入力され、この制御装置１において、入力された映像に基づいて出演者２００の顔がどちらの方向を向いているかが判断される。この判断結果により上記の視点Ｃが求められ、制御装置１は、求めた視点Ｃ（およびその周囲の所定エリア）に台詞が表示されるように、プロジェクタ２を制御する。これにより、プロジェクタ２から視点Ｃへ向けて台詞映像が投射され、視点Ｃの場所に台詞映像が表示される。
【００１２】
ここで、図１中に示した各記号の定義を以下に記す。本実施形態では、カメラ１０１，１０２は、その光軸がスタジオの壁Ｗと垂直な面内に存在するようにして壁Ｗに設置されているものとする。
α：出演者２００の顔の水平方向の向き（顔が壁Ｗに正対しているときの方向から測った角度）
β：出演者２００の顔の上下方向の向き（水平面を基準として測った角度）
φ１（φ２）：カメラ１０１（１０２）から見た出演者２００の方向（壁Ｗに垂直な方向から水平方向に測った角度）
Ｄ：カメラから出演者２００の顔までの直線距離
ｄ：出演者２００と壁Ｗとの距離
η：鉛直方向を基準とするカメラの光軸の角度
ｈ：出演者２００の顔の高さ
Ｘ１（Ｘ２）：カメラ１０１（１０２）の位置
Ｈ：カメラの床からの高さ
【００１３】
図２は、台詞表示装置の一部をなしている上記制御装置１の構成を示すブロック図である。制御装置１は、顔の向き検出部１０と、顔位置特定部２０と、視点算出部３０と、台詞表示制御部４０と、を含んで構成される。顔の向き検出部１０は、更に、顔検出部１１と、顔の左右方向算出部１２と、顔の上下方向算出部１３と、からなる。
【００１４】
顔の向き検出部１０は、２台のカメラ（カメラ１０１，１０２とする）からの出演者２００を写した映像に基づいて当該出演者２００の顔の左右（水平）方向の向きαと上下方向の向きβを検出し、検出したα，βを視点算出部３０へ出力する。
【００１５】
より詳しくは、カメラからの映像は顔検出部１１へ入力され、顔検出部１１は、この映像から周知の顔検出アルゴリズムを用いた画像処理により出演者２００の顔を検出する。検出結果は、顔画像Ｆとして、顔の左右方向算出部１２、顔の上下方向算出部１３、および顔位置特定部２０へ出力される。この顔画像Ｆは、例えば、カメラからの入力映像に対し検出した顔の部分だけを残すフィルタをかけることにより生成したものであるとする。
【００１６】
顔の左右方向算出部１２は、カメラ１０１の映像による顔の検出結果である顔画像Ｆ１と、カメラ１０２の映像による顔の検出結果である顔画像Ｆ２とに基づいて、出演者２００の顔の左右方向の向きαを算出する。顔の左右方向の向きαは、出演者２００の顔がカメラのレンズ中心を向いている時とそうでない時とで顔の肌色部分がカメラの撮影映像に写る大きさが異なることを利用し、顔画像Ｆに含まれる肌色領域の大きさから算出することができる。但し、顔が右と左に同じ角度だけ向いたときの肌色領域の大きさは同じであり、１台のカメラの映像では顔が右向きか左向きかを区別できないので、カメラ２台分による顔画像Ｆ１，Ｆ２を使用して、顔の左右方向の向きαを求める。また、出演者２００の顔の向きは同じでも、出演者２００がカメラの正面にいる時と正面からずれた時とで肌色領域の大きさは変わるので、これを補正するために、αの算出には、顔位置特定部２０より得られる各カメラ１０１，１０２から見た顔の方向φ１とφ２も利用する。また、肌色領域の大きさは出演者２００とカメラとの距離（出演者２００と壁Ｗとの距離ｄ）にも依存するので、αの算出には、顔位置特定部２０より得られる距離ｄも利用する。
【００１７】
顔の上下方向算出部１３は、顔の左右方向算出部１２と同様にして、出演者２００の顔の上下方向の向きβを算出する。但し、βの算出には、距離ｄではなくカメラから出演者２００の顔までの直線距離Ｄが用いられる。
なお、顔の左右方向算出部１２と顔の上下方向算出部１３におけるαおよびβの算出方法の詳細は後述する。
【００１８】
顔位置特定部２０は、２つの顔検出部１１から得られる２台のカメラ１０１，１０２による顔画像Ｆ１およびＦ２に基づいて、スタジオ内における出演者２００の顔の位置を特定する。顔画像Ｆ１からは、この画像内の顔の位置によりカメラ１０１から見た出演者２００の顔の方向φ１が求められ、また顔画像Ｆ２からは、同様にしてカメラ１０２から見た出演者２００の顔の方向φ２が求められる。このφ１およびφ２と、カメラ１０１および１０２のスタジオ内の位置（Ｘ１，Ｘ２，Ｈ）とにより、出演者２００の顔の位置Ｐを特定することができる。また位置Ｐから更に、距離ｄとＤを求めることができる。顔位置特定部２０は、特定した顔の位置Ｐを視点算出部３０へ出力し、また、顔の方向φ１およびφ２、ならびに距離ｄおよびＤを顔の左右方向算出部１２と顔の上下方向算出部１３へ出力する。
【００１９】
なお、周知のステレオカメラ方式等を用いてカメラ１０１から出演者２００の顔までの距離Ｄを求めることが可能であり、顔位置特定部２０は、この距離Ｄと、カメラ１０１の位置と、カメラ１０１から見た出演者２００の顔の方向φ１と、を用いることにより出演者２００の顔の位置Ｐを求めてもよい。
【００２０】
視点算出部３０は、顔位置特定部２０から得られた出演者２００の顔の位置Ｐ、顔の向き検出部１０から得られた出演者２００の顔の左右の向きαおよび上下の向きβ、ならびに予め知られた出演者２００の顔の高さｈに基づいて、位置Ｐの出演者２００の視線とスタジオの壁や床、天井とが交わる点、即ち視点Ｃを算出する。
【００２１】
台詞表示制御部４０は、視点算出部３０により求められた視点Ｃの周囲の所定の大きさのエリアに台詞が表示されるように、プロジェクタ２を制御する。このとき、プロジェクタ２からの投射面となる視点Ｃの周囲の上記エリアは、スタジオの壁、床、あるいは天井であるので、出演者２００に正対していない場合があり、その場合に台詞映像をそのままの形で投射すると、出演者２００から見た台詞の文字が斜めに映り、見難くなる。これを防ぐため、台詞表示制御部４０は、出演者２００から見たときに文字が正しい形で見えるように、台詞映像を出演者の視線と上記エリアの面とのなす角度に応じて予め変形してから、この変形した台詞映像を投射するようにするのが好ましい。
【００２２】
次に、図３〜５を用いて、顔の左右方向算出部１２による顔の左右方向の向きα、および顔の上下方向算出部１３による顔の上下方向の向きβの算出方法を説明する。
図３は、出演者２００がカメラの正面（カメラの光軸方向）にいる場合のαの求め方を説明する図であり、出演者２００の頭部とカメラの位置関係をスタジオの上から見下ろした様子を描いている。この図において、出演者２００の頭部は半径ｗの半円筒形ＯＳＴＵであるとしている。円弧ＳＴＵが出演者２００の顔であり、この部分がカメラで撮影した映像では肌色領域となる。
【００２３】
図３（ａ）は、出演者２００がカメラのレンズ中心から角度α＝α０だけ左を向き、カメラのレンズ中心Ｐと点Ｓを通る直線ＰＳが円Ｏの接線となっている状態である。このような角度α０は、次式（１）で与えられる。
【００２４】
【数１】
【００２５】
出演者２００の顔の向きαがα≦α０の場合、点Ｐを通る円Ｏの接線の接点は、αの値によらず常に円弧ＳＴ上の１点と円弧ＴＵ上の１点となる。よって、この場合、カメラから出演者２００の顔の肌色領域を見込む角度は２α０で一定であり、出演者２００がカメラのレンズ中心方向を向いたときと同じで変わらない。このときのカメラに撮影された映像における肌色の面積ａ１は、次式（２）のように表される。但し、比例係数はカメラの焦点距離などの光学系パラメータによって決まる値である。
【００２６】
【数２】
【００２７】
図３（ｂ）は、出演者２００の顔が更に左を向いて、α＞α０となった状態である。この状態では、出演者２００の顔の右端部に相当する点Ｓは、点Ｐを通る円Ｏの接線の接点Ｖよりもカメラから見て右側に移動する。よって、カメラの撮影映像において図の円弧ＳＶ部分が肌色領域ではなくなるため、カメラから出演者２００の顔の肌色領域のうちカメラの光軸より左側部分（図では下側）を見込む角度は、上記のα０から図中θで示す角度に減少する。このときのカメラに撮影された映像における肌色の全体の面積をａ２とすると、角度θに対応する部分の面積は、肌色領域全体の面積ａ２から光軸より右側部分の肌色の面積ａ１／２を除いた面積であり、次式（３）のように表される。但し、比例係数は上記の式（２）の場合と同じである。
【００２８】
【数３】
【００２９】
式（２）と式（３）の比例係数は同じなので、これら２つの式の比をとると次式（４）を得る。この式が、出演者２００がカメラの正面にいる場合に出演者２００の顔の向きαを求める式である。
【００３０】
【数４】
【００３１】
図４は、出演者２００がカメラの正面から角度φだけ水平方向にずれた場合のαの求め方を説明する図であり、図３と同様にスタジオの上から出演者２００とカメラを見下ろした様子を描いている。図４に示されるように、出演者２００が顔の向きを保ったままカメラの光軸に垂直な方向に平行移動（壁Ｗとの距離ｄは変わらない）して、カメラから出演者２００を見た方向がカメラの光軸から角度φとなった場合、出演者２００の顔は角度φだけ横を向くことになる。したがって、出演者２００がカメラの正面から角度φだけ水平方向にずれた場合には、αを求める上記の式（４）は、次式（５）のように補正することができる。
【００３２】
【数５】
【００３３】
ここで、出演者２００の顔が角度φだけ横を向くことに対応して式（４）のαをα−φで置き換えるとともに、カメラから出演者２００までの距離が変わることに対応して式（４）のｄをｄφで置き換えた。ｄφは次式（６）で与えられる。
【００３４】
【数６】
【００３５】
以上により、顔の左右方向算出部１２は、式（５）を用いて出演者２００の顔の向きαを算出することができる。ａ２は顔検出部１１から入力された顔画像Ｆにより求められる出演者２００の顔の肌色領域の面積であり、この値を左辺に代入することによって未知数αが求まる。但し、式（５）は解析的に解くことが難しいので、例えば、左辺の値に対応するαの値を予め数値計算などにより求めてこれら２つの値をテーブルに保持しておき、顔画像Ｆから求まるａ２によって左辺の値を計算し、更にこのテーブルを利用することにより、αの値を求めるようにする。なお、カメラの正面でカメラのレンズ中心を向いた状態において予め顔の肌色領域の面積を求めておき、これをａ１の値とする。
【００３６】
ここで、上述したように１台のカメラの映像では顔が右向きか左向きかを区別できないが、このことに対応して、１つの顔画像Ｆについて式（５）を解くと、２つの異なる解αが得られることになる。したがって、解αを１つに決めるために、顔の左右方向算出部１２は、２つの顔画像Ｆ１とＦ２に対して式（５）を適用し、これらから共通して得られる解を正しい解αとする。
【００３７】
図５は、顔の上下方向の向きβの求め方を説明する図であり、出演者２００の頭部とカメラの位置関係をスタジオの横から見た様子を描いている。この図において、出演者２００の頭部は縦の長さ２ｗの平面であるとしている。この平面のカメラ側（図右側）の面が出演者２００の顔であり、カメラで撮影した映像では肌色領域となる。
【００３８】
図５（ａ）は、出演者２００がカメラに正対している状態である。このときのカメラに撮影された映像における肌色の面積ｂ１は、次式（７）のように表される。但し、比例係数はカメラの焦点距離などの光学系パラメータによって決まる値である。
【００３９】
【数７】
【００４０】
図５（ｂ）は、出演者２００がカメラに対して角度ζだけお辞儀をしたように下を向いた状態である。このときのカメラに撮影された映像における肌色の面積ｂ２は、次式（８）のように表される。但し、比例係数は上記の式（７）の場合と同じである。
【００４１】
【数８】
【００４２】
式（７）と式（８）の比例係数は同じなので、これら２つの式の比をとると次式（９）を得る。
【００４３】
【数９】
【００４４】
顔の上下方向算出部１３は、式（９）を用いてカメラに対するお辞儀の角度ζを算出することができる。ｂ２は顔検出部１１から入力された顔画像Ｆにより求められる出演者２００の顔の肌色領域の面積であり、ｂ１はカメラに正対した状態において予め求めた顔の肌色領域の面積である。これらの値を左辺に代入することによって未知数ζが求まる。但し、式（９）は解析的に解くことが難しいので、例えば、左辺の値に対応するζの値を予め数値計算などにより求めてこれら２つの値をテーブルに保持しておき、顔画像Ｆから求まるｂ２によって左辺の値を計算し、更にこのテーブルを利用することにより、ζの値を求めるようにする。出演者２００の顔の向きβは、このζの値から、次式（１０）により求めることができる（図１参照）。
β＝ζ−（９０°−η） （１０）
【００４５】
なお、カメラに正対した状態の肌色の面積ｂ１は、出演者２００の実際の顔の肌色部分の面積（あるいは人間の実際の顔の肌色部分の平均的な面積）と、カメラの焦点距離と、カメラから出演者２００までの距離Ｄとを用いて、カメラの撮像面上の面積に換算して求めることもできる。
【００４６】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【図面の簡単な説明】
【００４７】
【図１】本発明の一実施形態による台詞表示装置を利用して、放送局等のスタジオで台詞表示を行っている様子を説明した図である。
【図２】台詞表示装置の一部をなす制御装置の構成を示すブロック図である。
【図３】出演者がカメラの正面にいる場合のαの求め方を説明する図である。
【図４】出演者がカメラの正面から角度φだけ水平方向にずれた場合のαの求め方を説明する図である。
【図５】顔の上下方向の向きβの求め方を説明する図である。
【符号の説明】
【００４８】
１…制御装置 ２…プロジェクタ １０…顔の向き検出部 １１…顔検出部 １２…顔の左右方向算出部 １３…顔の上下方向算出部 ２０…顔位置特定部 ３０…視点算出部 ４０…台詞表示制御部 １０１〜１０４…カメラ ２００…出演者
【技術分野】
【０００１】
本発明は、出演者に対し台詞を提示する台詞表示装置に関する。
【背景技術】
【０００２】
従来、ニュース番組などでは台詞や原稿を表示して出演者に見せる台詞表示装置が用いられている。このような台詞表示装置は、カメラのレンズ系の前にハーフミラーを備えており、このハーフミラーに台詞等を投影表示してアナウンサーなどの出演者にその映像を見せるようにする一方、当該映像はカメラの撮影映像には映り込まないようにしたものである（例えば特許文献１参照）。
【特許文献１】特開平３−１６７９６９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記従来の台詞表示装置は、出演者がカメラに顔を向けることを前提としている。そのため、出演者は、台詞の表示されているカメラ方向に視線を固定するか、あるいは番組制作者側の意図により台詞が表示されるカメラが切り替わるのに合わせて視線を動かすことが必要であった。このように、従来の台詞表示装置は、出演者自らが自発的に視線を動かそうとすることに対応できず、適切に台詞等を表示できないという問題があった。
本発明は上記の点に鑑みてなされたものであり、その目的は、出演者自らが自発的に視線を動かす場合にも適切に台詞を表示することが可能な台詞表示装置を提供することにある。
【課題を解決するための手段】
【０００４】
本発明は上記の課題を解決するためになされたものであり、出演者に対し台詞を提示する台詞表示装置であって、カメラで撮影した出演者の映像から該出演者の顔が向いている方向を検出する顔の向き検出手段と、前記出演者の顔の位置を特定する顔位置特定手段と、前記顔位置特定手段と前記顔の向き検出手段によって得られた出演者の顔の位置およびその向いている方向に基づいて、該出演者の視線が壁、床、または天井と交わる視点位置を算出する視点算出手段と、前記視点算出手段によって算出された視点位置に台詞映像を投射表示する制御を行う台詞表示制御手段と、を備えたことを特徴とする。
【０００５】
この発明において、台詞表示装置は、出演者の顔の位置およびその向いている方向に基づいて該出演者が視点を向けている場所を求め、その場所に台詞映像を投射表示する。出演者の顔が向いている方向は、カメラ（例えば番組を撮影しているカメラ）で撮影した出演者の映像から求める。このように、本発明によれば、出演者の視点の場所に台詞映像を投射表示するので、出演者自らが自発的に視線を動かす場合にも適切に台詞を表示することが可能である。
【０００６】
また、本発明は上記台詞表示装置において、前記顔の向き検出手段は、カメラで撮影した出演者の映像から該出演者の顔を検出する顔検出手段と、前記顔検出手段によって検出した顔の画像に含まれる肌色領域の大きさから顔の向いている方向を算出する演算手段と、からなることを特徴とする。
【０００７】
この発明においては、出演者の顔の向きが変わると、出演者を撮影した映像中の顔部分において肌色の領域の大きさが変わることを利用し、出演者の顔が向いている方向を求めるようにした。これにより、画像処理の手法を用いて、出演者の顔の向きを求めることができる。
【０００８】
また、本発明は上記台詞表示装置において、前記演算手段は、前記顔検出手段によって検出した顔の画像に含まれる肌色領域の大きさから顔の左右方向の向きを算出する顔の左右方向算出手段と、前記顔検出手段によって検出した顔の画像に含まれる肌色領域の大きさから顔の上下方向の向きを算出する顔の上下方向算出手段と、からなることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、出演者の視点の場所に台詞映像を投射表示するので、出演者自らが自発的に視線を動かす場合にも適切に台詞を表示することができる。
【発明を実施するための最良の形態】
【００１０】
以下、図面を参照しながら本発明の実施形態について詳しく説明する。
図１は、本発明の一実施形態による台詞表示装置を利用して、放送局等のスタジオで台詞表示を行っている様子を説明した図である。図１（ａ）はスタジオを横から見た図、図１（ｂ）はスタジオを上から見た図である。このスタジオには４台のカメラ１０１〜１０４があり、これらカメラによって出演者２００の姿をそれぞれ別の位置から撮影する。出演者２００は、視点Ｃで示される場所（ここではスタジオの床の一部）に視線を向けており、この視点Ｃの方向に出演者２００の顔が向いている。
【００１１】
台詞表示装置は、制御装置１と、プロジェクタ２とから構成される。各カメラ１０１〜１０４（いずれか２つのカメラでよい）からの映像は制御装置１へ入力され、この制御装置１において、入力された映像に基づいて出演者２００の顔がどちらの方向を向いているかが判断される。この判断結果により上記の視点Ｃが求められ、制御装置１は、求めた視点Ｃ（およびその周囲の所定エリア）に台詞が表示されるように、プロジェクタ２を制御する。これにより、プロジェクタ２から視点Ｃへ向けて台詞映像が投射され、視点Ｃの場所に台詞映像が表示される。
【００１２】
ここで、図１中に示した各記号の定義を以下に記す。本実施形態では、カメラ１０１，１０２は、その光軸がスタジオの壁Ｗと垂直な面内に存在するようにして壁Ｗに設置されているものとする。
α：出演者２００の顔の水平方向の向き（顔が壁Ｗに正対しているときの方向から測った角度）
β：出演者２００の顔の上下方向の向き（水平面を基準として測った角度）
φ１（φ２）：カメラ１０１（１０２）から見た出演者２００の方向（壁Ｗに垂直な方向から水平方向に測った角度）
Ｄ：カメラから出演者２００の顔までの直線距離
ｄ：出演者２００と壁Ｗとの距離
η：鉛直方向を基準とするカメラの光軸の角度
ｈ：出演者２００の顔の高さ
Ｘ１（Ｘ２）：カメラ１０１（１０２）の位置
Ｈ：カメラの床からの高さ
【００１３】
図２は、台詞表示装置の一部をなしている上記制御装置１の構成を示すブロック図である。制御装置１は、顔の向き検出部１０と、顔位置特定部２０と、視点算出部３０と、台詞表示制御部４０と、を含んで構成される。顔の向き検出部１０は、更に、顔検出部１１と、顔の左右方向算出部１２と、顔の上下方向算出部１３と、からなる。
【００１４】
顔の向き検出部１０は、２台のカメラ（カメラ１０１，１０２とする）からの出演者２００を写した映像に基づいて当該出演者２００の顔の左右（水平）方向の向きαと上下方向の向きβを検出し、検出したα，βを視点算出部３０へ出力する。
【００１５】
より詳しくは、カメラからの映像は顔検出部１１へ入力され、顔検出部１１は、この映像から周知の顔検出アルゴリズムを用いた画像処理により出演者２００の顔を検出する。検出結果は、顔画像Ｆとして、顔の左右方向算出部１２、顔の上下方向算出部１３、および顔位置特定部２０へ出力される。この顔画像Ｆは、例えば、カメラからの入力映像に対し検出した顔の部分だけを残すフィルタをかけることにより生成したものであるとする。
【００１６】
顔の左右方向算出部１２は、カメラ１０１の映像による顔の検出結果である顔画像Ｆ１と、カメラ１０２の映像による顔の検出結果である顔画像Ｆ２とに基づいて、出演者２００の顔の左右方向の向きαを算出する。顔の左右方向の向きαは、出演者２００の顔がカメラのレンズ中心を向いている時とそうでない時とで顔の肌色部分がカメラの撮影映像に写る大きさが異なることを利用し、顔画像Ｆに含まれる肌色領域の大きさから算出することができる。但し、顔が右と左に同じ角度だけ向いたときの肌色領域の大きさは同じであり、１台のカメラの映像では顔が右向きか左向きかを区別できないので、カメラ２台分による顔画像Ｆ１，Ｆ２を使用して、顔の左右方向の向きαを求める。また、出演者２００の顔の向きは同じでも、出演者２００がカメラの正面にいる時と正面からずれた時とで肌色領域の大きさは変わるので、これを補正するために、αの算出には、顔位置特定部２０より得られる各カメラ１０１，１０２から見た顔の方向φ１とφ２も利用する。また、肌色領域の大きさは出演者２００とカメラとの距離（出演者２００と壁Ｗとの距離ｄ）にも依存するので、αの算出には、顔位置特定部２０より得られる距離ｄも利用する。
【００１７】
顔の上下方向算出部１３は、顔の左右方向算出部１２と同様にして、出演者２００の顔の上下方向の向きβを算出する。但し、βの算出には、距離ｄではなくカメラから出演者２００の顔までの直線距離Ｄが用いられる。
なお、顔の左右方向算出部１２と顔の上下方向算出部１３におけるαおよびβの算出方法の詳細は後述する。
【００１８】
顔位置特定部２０は、２つの顔検出部１１から得られる２台のカメラ１０１，１０２による顔画像Ｆ１およびＦ２に基づいて、スタジオ内における出演者２００の顔の位置を特定する。顔画像Ｆ１からは、この画像内の顔の位置によりカメラ１０１から見た出演者２００の顔の方向φ１が求められ、また顔画像Ｆ２からは、同様にしてカメラ１０２から見た出演者２００の顔の方向φ２が求められる。このφ１およびφ２と、カメラ１０１および１０２のスタジオ内の位置（Ｘ１，Ｘ２，Ｈ）とにより、出演者２００の顔の位置Ｐを特定することができる。また位置Ｐから更に、距離ｄとＤを求めることができる。顔位置特定部２０は、特定した顔の位置Ｐを視点算出部３０へ出力し、また、顔の方向φ１およびφ２、ならびに距離ｄおよびＤを顔の左右方向算出部１２と顔の上下方向算出部１３へ出力する。
【００１９】
なお、周知のステレオカメラ方式等を用いてカメラ１０１から出演者２００の顔までの距離Ｄを求めることが可能であり、顔位置特定部２０は、この距離Ｄと、カメラ１０１の位置と、カメラ１０１から見た出演者２００の顔の方向φ１と、を用いることにより出演者２００の顔の位置Ｐを求めてもよい。
【００２０】
視点算出部３０は、顔位置特定部２０から得られた出演者２００の顔の位置Ｐ、顔の向き検出部１０から得られた出演者２００の顔の左右の向きαおよび上下の向きβ、ならびに予め知られた出演者２００の顔の高さｈに基づいて、位置Ｐの出演者２００の視線とスタジオの壁や床、天井とが交わる点、即ち視点Ｃを算出する。
【００２１】
台詞表示制御部４０は、視点算出部３０により求められた視点Ｃの周囲の所定の大きさのエリアに台詞が表示されるように、プロジェクタ２を制御する。このとき、プロジェクタ２からの投射面となる視点Ｃの周囲の上記エリアは、スタジオの壁、床、あるいは天井であるので、出演者２００に正対していない場合があり、その場合に台詞映像をそのままの形で投射すると、出演者２００から見た台詞の文字が斜めに映り、見難くなる。これを防ぐため、台詞表示制御部４０は、出演者２００から見たときに文字が正しい形で見えるように、台詞映像を出演者の視線と上記エリアの面とのなす角度に応じて予め変形してから、この変形した台詞映像を投射するようにするのが好ましい。
【００２２】
次に、図３〜５を用いて、顔の左右方向算出部１２による顔の左右方向の向きα、および顔の上下方向算出部１３による顔の上下方向の向きβの算出方法を説明する。
図３は、出演者２００がカメラの正面（カメラの光軸方向）にいる場合のαの求め方を説明する図であり、出演者２００の頭部とカメラの位置関係をスタジオの上から見下ろした様子を描いている。この図において、出演者２００の頭部は半径ｗの半円筒形ＯＳＴＵであるとしている。円弧ＳＴＵが出演者２００の顔であり、この部分がカメラで撮影した映像では肌色領域となる。
【００２３】
図３（ａ）は、出演者２００がカメラのレンズ中心から角度α＝α０だけ左を向き、カメラのレンズ中心Ｐと点Ｓを通る直線ＰＳが円Ｏの接線となっている状態である。このような角度α０は、次式（１）で与えられる。
【００２４】
【数１】
【００２５】
出演者２００の顔の向きαがα≦α０の場合、点Ｐを通る円Ｏの接線の接点は、αの値によらず常に円弧ＳＴ上の１点と円弧ＴＵ上の１点となる。よって、この場合、カメラから出演者２００の顔の肌色領域を見込む角度は２α０で一定であり、出演者２００がカメラのレンズ中心方向を向いたときと同じで変わらない。このときのカメラに撮影された映像における肌色の面積ａ１は、次式（２）のように表される。但し、比例係数はカメラの焦点距離などの光学系パラメータによって決まる値である。
【００２６】
【数２】
【００２７】
図３（ｂ）は、出演者２００の顔が更に左を向いて、α＞α０となった状態である。この状態では、出演者２００の顔の右端部に相当する点Ｓは、点Ｐを通る円Ｏの接線の接点Ｖよりもカメラから見て右側に移動する。よって、カメラの撮影映像において図の円弧ＳＶ部分が肌色領域ではなくなるため、カメラから出演者２００の顔の肌色領域のうちカメラの光軸より左側部分（図では下側）を見込む角度は、上記のα０から図中θで示す角度に減少する。このときのカメラに撮影された映像における肌色の全体の面積をａ２とすると、角度θに対応する部分の面積は、肌色領域全体の面積ａ２から光軸より右側部分の肌色の面積ａ１／２を除いた面積であり、次式（３）のように表される。但し、比例係数は上記の式（２）の場合と同じである。
【００２８】
【数３】
【００２９】
式（２）と式（３）の比例係数は同じなので、これら２つの式の比をとると次式（４）を得る。この式が、出演者２００がカメラの正面にいる場合に出演者２００の顔の向きαを求める式である。
【００３０】
【数４】
【００３１】
図４は、出演者２００がカメラの正面から角度φだけ水平方向にずれた場合のαの求め方を説明する図であり、図３と同様にスタジオの上から出演者２００とカメラを見下ろした様子を描いている。図４に示されるように、出演者２００が顔の向きを保ったままカメラの光軸に垂直な方向に平行移動（壁Ｗとの距離ｄは変わらない）して、カメラから出演者２００を見た方向がカメラの光軸から角度φとなった場合、出演者２００の顔は角度φだけ横を向くことになる。したがって、出演者２００がカメラの正面から角度φだけ水平方向にずれた場合には、αを求める上記の式（４）は、次式（５）のように補正することができる。
【００３２】
【数５】
【００３３】
ここで、出演者２００の顔が角度φだけ横を向くことに対応して式（４）のαをα−φで置き換えるとともに、カメラから出演者２００までの距離が変わることに対応して式（４）のｄをｄφで置き換えた。ｄφは次式（６）で与えられる。
【００３４】
【数６】
【００３５】
以上により、顔の左右方向算出部１２は、式（５）を用いて出演者２００の顔の向きαを算出することができる。ａ２は顔検出部１１から入力された顔画像Ｆにより求められる出演者２００の顔の肌色領域の面積であり、この値を左辺に代入することによって未知数αが求まる。但し、式（５）は解析的に解くことが難しいので、例えば、左辺の値に対応するαの値を予め数値計算などにより求めてこれら２つの値をテーブルに保持しておき、顔画像Ｆから求まるａ２によって左辺の値を計算し、更にこのテーブルを利用することにより、αの値を求めるようにする。なお、カメラの正面でカメラのレンズ中心を向いた状態において予め顔の肌色領域の面積を求めておき、これをａ１の値とする。
【００３６】
ここで、上述したように１台のカメラの映像では顔が右向きか左向きかを区別できないが、このことに対応して、１つの顔画像Ｆについて式（５）を解くと、２つの異なる解αが得られることになる。したがって、解αを１つに決めるために、顔の左右方向算出部１２は、２つの顔画像Ｆ１とＦ２に対して式（５）を適用し、これらから共通して得られる解を正しい解αとする。
【００３７】
図５は、顔の上下方向の向きβの求め方を説明する図であり、出演者２００の頭部とカメラの位置関係をスタジオの横から見た様子を描いている。この図において、出演者２００の頭部は縦の長さ２ｗの平面であるとしている。この平面のカメラ側（図右側）の面が出演者２００の顔であり、カメラで撮影した映像では肌色領域となる。
【００３８】
図５（ａ）は、出演者２００がカメラに正対している状態である。このときのカメラに撮影された映像における肌色の面積ｂ１は、次式（７）のように表される。但し、比例係数はカメラの焦点距離などの光学系パラメータによって決まる値である。
【００３９】
【数７】
【００４０】
図５（ｂ）は、出演者２００がカメラに対して角度ζだけお辞儀をしたように下を向いた状態である。このときのカメラに撮影された映像における肌色の面積ｂ２は、次式（８）のように表される。但し、比例係数は上記の式（７）の場合と同じである。
【００４１】
【数８】
【００４２】
式（７）と式（８）の比例係数は同じなので、これら２つの式の比をとると次式（９）を得る。
【００４３】
【数９】
【００４４】
顔の上下方向算出部１３は、式（９）を用いてカメラに対するお辞儀の角度ζを算出することができる。ｂ２は顔検出部１１から入力された顔画像Ｆにより求められる出演者２００の顔の肌色領域の面積であり、ｂ１はカメラに正対した状態において予め求めた顔の肌色領域の面積である。これらの値を左辺に代入することによって未知数ζが求まる。但し、式（９）は解析的に解くことが難しいので、例えば、左辺の値に対応するζの値を予め数値計算などにより求めてこれら２つの値をテーブルに保持しておき、顔画像Ｆから求まるｂ２によって左辺の値を計算し、更にこのテーブルを利用することにより、ζの値を求めるようにする。出演者２００の顔の向きβは、このζの値から、次式（１０）により求めることができる（図１参照）。
β＝ζ−（９０°−η） （１０）
【００４５】
なお、カメラに正対した状態の肌色の面積ｂ１は、出演者２００の実際の顔の肌色部分の面積（あるいは人間の実際の顔の肌色部分の平均的な面積）と、カメラの焦点距離と、カメラから出演者２００までの距離Ｄとを用いて、カメラの撮像面上の面積に換算して求めることもできる。
【００４６】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【図面の簡単な説明】
【００４７】
【図１】本発明の一実施形態による台詞表示装置を利用して、放送局等のスタジオで台詞表示を行っている様子を説明した図である。
【図２】台詞表示装置の一部をなす制御装置の構成を示すブロック図である。
【図３】出演者がカメラの正面にいる場合のαの求め方を説明する図である。
【図４】出演者がカメラの正面から角度φだけ水平方向にずれた場合のαの求め方を説明する図である。
【図５】顔の上下方向の向きβの求め方を説明する図である。
【符号の説明】
【００４８】
１…制御装置 ２…プロジェクタ １０…顔の向き検出部 １１…顔検出部 １２…顔の左右方向算出部 １３…顔の上下方向算出部 ２０…顔位置特定部 ３０…視点算出部 ４０…台詞表示制御部 １０１〜１０４…カメラ ２００…出演者
【特許請求の範囲】
【請求項１】
出演者に対し台詞を提示する台詞表示装置であって、
カメラで撮影した出演者の映像から該出演者の顔が向いている方向を検出する顔の向き検出手段と、
前記出演者の顔の位置を特定する顔位置特定手段と、
前記顔位置特定手段と前記顔の向き検出手段によって得られた出演者の顔の位置およびその向いている方向に基づいて、該出演者の視線が壁、床、または天井と交わる視点位置を算出する視点算出手段と、
前記視点算出手段によって算出された視点位置に台詞映像を投射表示する制御を行う台詞表示制御手段と、
を備えたことを特徴とする台詞表示装置。
【請求項２】
前記顔の向き検出手段は、
カメラで撮影した出演者の映像から該出演者の顔を検出する顔検出手段と、
前記顔検出手段によって検出した顔の画像に含まれる肌色領域の大きさから顔の向いている方向を算出する演算手段と、
からなることを特徴とする請求項１に記載の台詞表示装置。
【請求項３】
前記演算手段は、
前記顔検出手段によって検出した顔の画像に含まれる肌色領域の大きさから顔の左右方向の向きを算出する顔の左右方向算出手段と、
前記顔検出手段によって検出した顔の画像に含まれる肌色領域の大きさから顔の上下方向の向きを算出する顔の上下方向算出手段と、
からなることを特徴とする請求項２に記載の台詞表示装置。
【請求項１】
出演者に対し台詞を提示する台詞表示装置であって、
カメラで撮影した出演者の映像から該出演者の顔が向いている方向を検出する顔の向き検出手段と、
前記出演者の顔の位置を特定する顔位置特定手段と、
前記顔位置特定手段と前記顔の向き検出手段によって得られた出演者の顔の位置およびその向いている方向に基づいて、該出演者の視線が壁、床、または天井と交わる視点位置を算出する視点算出手段と、
前記視点算出手段によって算出された視点位置に台詞映像を投射表示する制御を行う台詞表示制御手段と、
を備えたことを特徴とする台詞表示装置。
【請求項２】
前記顔の向き検出手段は、
カメラで撮影した出演者の映像から該出演者の顔を検出する顔検出手段と、
前記顔検出手段によって検出した顔の画像に含まれる肌色領域の大きさから顔の向いている方向を算出する演算手段と、
からなることを特徴とする請求項１に記載の台詞表示装置。
【請求項３】
前記演算手段は、
前記顔検出手段によって検出した顔の画像に含まれる肌色領域の大きさから顔の左右方向の向きを算出する顔の左右方向算出手段と、
前記顔検出手段によって検出した顔の画像に含まれる肌色領域の大きさから顔の上下方向の向きを算出する顔の上下方向算出手段と、
からなることを特徴とする請求項２に記載の台詞表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２００８−３１２１４１（Ｐ２００８−３１２１４１Ａ）
【公開日】平成２０年１２月２５日（２００８．１２．２５）
【国際特許分類】
【出願番号】特願２００７−１６０３６８（Ｐ２００７−１６０３６８）
【出願日】平成１９年６月１８日（２００７．６．１８）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成２０年１２月２５日（２００８．１２．２５）
【国際特許分類】
【出願日】平成１９年６月１８日（２００７．６．１８）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]