テロップ発生装置、テロップ発生プログラム、及びテロップ発生方法
【課題】立体視画像及びそのフレーム内でテロップを付与したい立体視オブジェクトを認識し、全体の立体視を阻害せずに、人的ノウハウに依存することなく、自動的に簡易に立体視向けテロップ発生が行えるようにする。
【解決手段】本発明は、テロップを付与すべき対象となる映像フレームを確定するテロップ対象映像フレーム確定機能５ａと、２枚のステレオ画像により実現される立体映像内のオブジェクトの座標を得るテロップ付与オブジェクト指定機能５ｂと、２枚のステレオ画像の座標値の差をステレオ画像処理にて自動抽出する左右画像視差量自動演算機能５ｃと、この座標値の差を必要なテロップの視差量として画像内に自動的に視差を付与したテロップを表示するテロップ表示機能５ｅを有するテロップ発生部５を具備することを特徴とするテロップ表示装置である。
【解決手段】本発明は、テロップを付与すべき対象となる映像フレームを確定するテロップ対象映像フレーム確定機能５ａと、２枚のステレオ画像により実現される立体映像内のオブジェクトの座標を得るテロップ付与オブジェクト指定機能５ｂと、２枚のステレオ画像の座標値の差をステレオ画像処理にて自動抽出する左右画像視差量自動演算機能５ｃと、この座標値の差を必要なテロップの視差量として画像内に自動的に視差を付与したテロップを表示するテロップ表示機能５ｅを有するテロップ発生部５を具備することを特徴とするテロップ表示装置である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体視映像制作時に映像内説明に利用されるテロップを効果的に自動発生させ、人的なノウハウに依存することなく、所望とされる立体視映像コンテンツを簡易に編集製作可能とする立体映像向けのテロップ発生装置、テロップ発生プログラム、及びテロップ発生方法に関するものである。
【背景技術】
【０００２】
近年、ＣＰＵの処理能力向上、ディスプレイの高精細化、更には立体視テレビや３Ｄ表示を可能とする液晶搭載ノート型パーソナルコンピュータ（以下、ＰＣと略記する）の登場にて、立体視においても、よりリアルで説得力のあるテロップ表現（現物に忠実な形状や色、動き、インタラクティブ性、読み易い文字表示）に適した基盤が整いつつある。
ここで、「テロップ」とは、一般に映像に文字を入れることをいい、キーイングの一種である。今日では、ＰＣから電気的に送出されることが大半になり、マークやキャラクタ等のフルカラーの画像を合成することができるようになっている。しかるに、奥行き方向認識、奥行き距離認識という２Ｄには無い特徴を有する既存の立体視映像コンテンツではテロップを左右映像同位置に配置するのが一般的手法である。
一般に、立体視による表現を行う意図は、その奥行き感、位置関係を正確に伝達することにある。そのような３Ｄ固有の表現が行える奥行き方向認識、奥行き距離認識を補足するためには、テロップについても同様に、その表現に留意すべきである。
【０００３】
ところで、例えば特許文献１では、被写体の位置を自動的に検出し、その動きに合わせてテロップを画面内に表示するテロップ装置が開示されている。特許文献２では、合成指示に基づいて選択された候補データの合成処理を行なうことにより、表示方向と表示速度情報を設定したテロップデータを生成し、当該テロップデータを設定された表示方向と表示速度に従って表示するテロップ表示装置が開示されている。
【特許文献１】特開２００３−７８８１８号公報
【特許文献２】特開平１０−２１０２９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１，２に開示された技術では、視差を考慮せずに立体視画像にテロップを合成していることから、立体感が消失してしまうとの事態を招く。
また、従来技術では、奥行きを持たせたいテロップには、画像視差情報とフレーム内オブジェクトの前後位置に関するスケール情報とを考慮しながら、ノウハウに依存した作業である「手作業」にて、テロップの貼り付けが行われているのが実状である。
本発明の目的とするところは、立体視画像及びそのフレーム内でテロップを付与したい立体視オブジェクトを認識し、全体の立体視を阻害せずに、人的ノウハウに依存することなく、自動的に簡易に立体視向けテロップ発生が行えるようにすることにある。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明の第１の態様によれば、テロップを付与すべき対象となる映像フレームを確定するテロップ対象映像フレーム確定機能と、２枚のステレオ画像により実現される立体映像内のオブジェクトの座標を得るテロップ付与オブジェクト指定機能と、２枚のステレオ画像の座標値の差をステレオ画像処理にて自動抽出する左右画像視差量自動演算機能と、この座標値の差を必要なテロップの視差量として画像内に自動的に視差を付与したテロップを表示するテロップ表示機能を有するテロップ発生手段を具備することを特徴とするテロップ表示装置が提供される。
本発明の第２の態様によれば、上記第１の態様において、上記テロップ発生手段が、動的にテロップサイズ変換を与えることによって目視で観察される箱庭効果の影響を排除する機能を更に備えたことを特徴とするテロップ発生装置が提供される。
本発明の第３の態様によれば、上記第１の態様において、上記テロップ発生手段が、テロップ配置時にテロップに隠されてしまう画像領域にテロップ位置より手前のものがないかを視差量により自動判定する配置位置補正演算機能を更に備えたことを特徴とするテロップ発生装置が提供される。
本発明の第４の態様によれば、テロップ発生装置が、テロップを付与すべき対象となる映像フレームを確定するテロップ対象映像フレーム確定機能と、２枚のステレオ画像により実現される立体映像内のオブジェクトの座標を得るテロップ付与オブジェクト指定機能と、２枚のステレオ画像、即ち左眼用画像−右眼用画像の座標値の差を、ステレオ画像にて２点の対応付けを図るべくステレオ画像処理にて自動抽出する左右画像視差量自動演算機能と、この座標値の差を必要なテロップの視差量として画像内に自動的に視差を付与したテロップを表示するテロップ表示機能と、を実行するためのテロップ表示プログラムが提供される。
本発明の第５の態様によれば、テロップ発生装置が、テロップを付与すべき対象となる映像フレームを確定し、２枚のステレオ画像により実現される立体映像内のオブジェクトの座標を得て、２枚のステレオ画像の座標値の差をステレオ画像処理にて自動抽出し、この座標値の差を必要なテロップの視差量として画像内に自動的に視差を付与したテロップを表示する、ことを特徴とするテロップ発生方法が提供される。
【発明の効果】
【０００６】
本発明によれば、立体視映像編集に今まで配慮無く立体視阻害要因になっていたテロップ付与の立体視配慮によって高品質映像編集の簡易化および、プロのノウハウの自動化による立体視映像向けのテロップ発生装置、テロップ発生プログラム、及びテロップ発生方法を提供することができる。
【発明を実施するための最良の形態】
【０００７】
以下、図面を参照しつつ本発明の実施の形態について詳細に説明する。
【実施例１】
【０００８】
図１は本発明の第１の実施の形態に係る立体視映像向けテロップ発生装置の構成を示す図である。図１に示されるように、この実施の形態に係るテロップ発生装置は、左右のカメラからなる二眼式カメラ１と、右眼用映像入力部２、左眼用映像入力部３、立体映像編集部４、テロップ発生部５、ハードディスク（ＨＤ）等からなる記憶部６を有する。
【０００９】
さらに、テロップ発生部５は、テロップ対象映像フレーム確定機能５ａ、テロップ付与オブジェクト指定機能５ｂ、左右画像視差量自動演算機能５ｃ、文字入力機能５ｄ、テロップ表示機能５ｅを有している。尚、テロップ発生部５内に図示した配置位置補正演算機能５ｆは、後述する本発明の第２の実施の形態に関わるものである。
【００１０】
このような構成において、対象となる被写体の立体映像が二眼式カメラ１により撮影されると、当該二眼式カメラ１からの映像信号が左眼用映像入力部２、右眼要映像入力部３に入力される。この映像信号は、当該左眼用映像入力部２、右眼要映像入力部３にてＡ／Ｄ変換され、デジタルの映像データとして立体映像編集部４に入力される。この立体映像編集部４では、入力された映像データに対して所定の編集処理を施す。
【００１１】
続いて、テロップ発生部５は、この映像データ、即ち二眼式カメラ１により交差法で撮影された立体視映像用の２枚のステレオ画像を対象として、そのコンバージェンスポイントを利用した視差情報利用手法を用いて、テロップ付き映像データを生成し、記憶部６に格納する。尚、テロップ発生装置の二眼式カメラ１を構成する左右のカメラの光軸は輻輳（コンバージェンス）しているが、この光軸の交点の位置をコンバージェンスポイントといい、当該位置までの距離をコンバージェンス距離という。
【００１２】
ところで、二眼式カメラ１により交差法で撮影された立体視映像用の２枚のステレオ画像はカメラパラメータ情報を失っている。従って、この状態では、カメラパラメータが不明であることから、その奥行き情報を把握することができない。また、合成すべきテロップも、合成先のステレオ画像に合わせた奥行き情報を有してはいない。
【００１３】
このような点に鑑みて、本発明の第１の実施の形態に係る立体視映像向けテロップ発生装置では、前述したようなコンバージェンスポイントを利用した特有の視差情報利用手法によりステレオ画像の奥行き情報を把握することとした。
また、視差を有するテロップの挿入については、テロップを実空間画像のどの奥行き位置に表示したいのか、どのオブジェクトに対するテロップ表示としたいのか、ということが重要となる。そこで、詳細には以下の手順によることとした。
【００１４】
以下、図２のフローチャートを参照して、第１の実施の形態に係るテロップ発生装置のテロップ発生部５による当該手順について詳細に説明する。
先ず、テロップ対象映像フレーム確定機能５ａによりテロップを付与すべき対象となる映像フレームを確定する（ステップＳ１）。
【００１５】
続いて、テロップ付与オブジェクト指定機能５ｂにより２枚のステレオ画像により実現される立体映像内のオブジェクトの座標を得る（ステップＳ２）。その為に、例えば、画像内にユーザーインターフェイスとして仮想Ｚ軸を提示することによりテロップ発生箇所の奥行き位置を指定する方法や、立体映像内で指定したオブジェクト内で最大視差発生箇所（一番後方）を自動認識し当該箇所にテロップ発生させる方法を用いる。
【００１６】
そして、左右画像視差量自動演算機能５ｃにより、２枚のステレオ画像、即ち左眼用画像−右眼用画像の座標値の差を、ステレオ画像にて２点の対応付けを図るべくステレオ画像処理にて自動抽出する（ステップＳ３）。
このステレオ画像処理は、三角測量の原理を基本とする。
【００１７】
即ち、複数の異なる視点から同一の対象を画像として取り込み、それぞれの画像上への投影位置の違いから３次元情報を得ようとするものである。ステレオ画像処理の最も重要な問題は、視差、即ち２つの画像における対応（空間中の同一点の２つの画像への投影位置）を精度よく算出するということになる。一方の画像上にある点に対応する他方の画像上の点（対応点）は、その点の３次元空間上の位置によらず、ある直線上のどこかに必ず存在する。この直線をエピポーラ線（ｅｐｉｐｏｌａｒ ｌｉｎｅ）と呼び、ステレオ画像の対応点が満たすべき前述のような条件をエピポーラ拘束（ｅｐｉｐｏｌａｒ ｃｏｎｓｔｒａｉｎｔ）と呼ぶ。コンバージェンスポイントが明確なステレオ画像は、エピポーラ拘束が既知であるため、画像上の投影点同士の対応関係をステレオマッチングにて求めることができる。
【００１８】
この座標値の差を必要なテロップの視差量として画像内に自動的に視差を付与したテロップを挿入する。このとき、文字入力機能５ｄにより指定された書体、色、或いは秒、フレーム数により、テロップ表示機能５ｅがテロップを表示する（ステップＳ４）。
この表示の様子は図３に示される通りである。即ち、図３（ａ）は左眼用画像、図３（ｂ）は右眼用画像、そして図３（ｃ）は左右眼用合成画像を示している。図３（ｃ）からも明らかなように、この実施の形態によれば、合成された画像において、テロップが付与対象となるオブジェクトと同様に奥行き情報と視差情報をふまえて表示される。
【００１９】
尚、テロップに必要な視差量は本発明の上記手法により行うことができるが、これに絵画的手法である遠近法によるスケール情報コントロールを行うことも可能とする。この場合、先ずフレーム内の画像輪郭を抽出することによって消失点を自動的に決定する。そして、この消失点に向かう線分グリッドに沿ってテロップスケールを動的に変化する機能を付加する。この絵画的手法である遠近法によるスケール情報コントロールはコンバージェンスポイントを有していない通常の１眼撮影画像でも有効に機能する。
【００２０】
以上説明したように、本発明の第１の実施の形態によれば、テロップ付与の場合に、対象である映像の奥行き情報と視差情報とを把握することによってテロップに適切な視差を付けることが可能なテロップ発生装置を提供することができる。
【００２１】
尚、立体、奥行きの情報を与える手がかりは、両眼立体視のほかにも数多く存在し、歴史的に絵画の技法として有効に使われてきた。自然画の立体視映像へテロップという奥行き情報を持たない２次元情報を付加する際には、画像的手がかり（ｐｉｃｔｏｒｉａｌ ｃｕｅ）によるアプローチにて全体としての立体視を追求する必要がある。特に、この画像的手がかりの中でも同一図形が近ければ大きく、遠ければ小さく表現される絵画的手法である遠近法を採用することを特徴とするようにしてもよい。この絵画的手法である遠近法による場合にも、立体視ではない通常の２次元画像へのテロップの付与においても奥行き感を損なわない利用方法を特徴とするようにしてもよい。
【実施例２】
【００２２】
この第２の実施の形態に係る立体視映像向けテロップ発生装置は、前述した第１の実施の形態に係るテロップ発生装置に、異なる視差の複数のテロップを同一画面上に表示する場合の違和感を除去する配置位置補正演算機能５ｆを付加したものである。
尚、その他の構成は、第１の実施の形態に係るテロップ発生装置（図１）と同様であるので、ここでは特徴部分のみを説明する。
【００２３】
図４（ａ）乃至（ｃ）に示される例では、テロップは左画像と右座標の視差を左座標−右座標を２５ｐｔ，０ｐｔ，−２５ｐｔとしており、これを順番にＴ１，Ｔ２，Ｔ３とする。Ｔ１，Ｔ２，Ｔ３を画面上で見た場合、Ｔ１はモニタ面より前方に突出して見え、Ｔ２はモニタ面と同一面上に、Ｔ３はモニタ面より後方に見える。
【００２４】
Ｔ１，Ｔ２，Ｔ３は同一サイズの視差テロップであるが、視差量によって大きさが異なって見える。本来は近いものが大きく、遠いものが小さく見えるべきであるが同サイズのテロップを配置すると逆になってしまう現象が発生する。立体視映像に指摘されている箱庭効果がこのテロップ配置にも観察される（Ｔ１＞Ｔ２＞Ｔ３）。これは立体視で有効とされている遠近法とは逆になってしまうため、単純な（遠近法を使用しない）配置時にもサイズに対する工夫が必要である。
【００２５】
立体テロップ表現には視差と遠近法が大変有効であるが、組合せ方で立体視を阻害することもある。ここで、画像中の下部は近くに上部は遠くに存在する傾向があるという特性に対する影響である。本影響が発生する画像の場合は、動的にテロップサイズ変換を与えることによって目視で観察される箱庭効果の影響を排除することができる。
【００２６】
さらに、奥行き配置時に隠蔽関係への配慮が必要な場合がある。奥のオブジェクトへテロップを配置したい場合には、配置したいテロップ位置よりも手前の画像内オブジェクトの上にテロップを配置すると、奥行き感が阻害されてしまう。従って、手前に存在するオブジェクトと奥のオブジェクト用テロップが重なることは避ける必要がある。そこで、テロップ配置時にテロップに隠されてしまう画像領域にテロップ位置より手前のものがないかを視差量により自動判定する配置位置補正演算機能５ｆも付加したのである。
【００２７】
この第２の実施の形態に係るテロップ発生装置による表示の様子は図５に示される通りである。即ち、図５（ａ）は左眼用画像、図５（ｂ）は右眼用画像、そして図５（ｃ）は左右眼用合成画像を示している。図５（ｃ）からも明らかなように、本発明の第２の実施の形態に係るテロップ発生装置によれば、合成された画像において、テロップが付与対象となるオブジェクトと同様に奥行き情報と視差情報、さらには隠蔽関係への配慮をふまえたテロップサイズも考慮されて立体視を損なうことなく表示されることになる。
【００２８】
以上説明したように、第２の実施の形態によれば、複数テロップ貼り付け時に動的にサイズ変換を与えることによって目視で観察される箱庭効果の排除を更に特徴としたテロップ発生装置を提供することができる。さらに、テロップ配置時に、テロップに隠されてしまう画像領域にテロップ位置より手前のものがないかを視差量により自動判定する隠蔽関係への配慮を更に特徴とした立体視映像向けテロップ発生装置を提供できる。
【００２９】
以上、本発明の第１及び第２の実施の形態について詳細に説明したが、本発明はこれに限定されることなくその主旨を逸脱しない範囲で様々な改良・変更が可能であることは勿論である。
【００３０】
即ち、例えば、インターネット放送局、ＣＡＴＶ等によるオンデマンド映像配信、企業内教育用映像配信システム、デジタル放送によるコンテンツ販売等、デジタル家電向けビジネスモデルの供給等、多様な技術応用が可能であり、その場合、顧客への利便性を実現することができる。より具体的には、インターネット等のネットワーク環境下でライセンスコンテンツを配信する仕組みを構築するインターネット放送局、コンテンツ販売サイト、ＣＡＴＶ、などの供給システムの構築を行う為のサーバ、情報処理装置又は情報処理方法、並びにコンピュータプログラムとしての提供も可能である。
【図面の簡単な説明】
【００３１】
【図１】本発明の第１の実施の形態に係る立体視映像向けテロップ発生装置の構成を示すブロック図である。
【図２】本発明の第１の実施の形態に係る立体視映像向けテロップ発生装置による処理手順を説明するためのフローチャートである。
【図３】本発明の第１の実施の形態に係る立体映像向けテロップ発生装置により生成されたテロップの表示の様子を示す図である。
【図４】本発明の第２の実施の形態に係る立体視映像向けテロップ発生装置により異なる視差を有する複数のテロップを同一画面上に表示する場合の違和感を除去する工夫について説明する概念図である。
【図５】本発明の第２の実施の形態に係る立体映像向けテロップ発生装置により生成されたテロップの表示の様子を示す図である。
【符号の説明】
【００３２】
１ 二眼式カメラ
２ 左眼用映像入力部
３ 右眼用映像入力部
４ 立体映像編集部
５ テロップ発生部
５ａ テロップ対象映像フレーム確定機能
５ｂ テロップ付与オブジェクト指定機能
５ｃ 左右画像視差量自動演算機能
５ｄ 文字入力機能
５ｅ テロップ表示機能
６ 記憶部
【技術分野】
【０００１】
本発明は、立体視映像制作時に映像内説明に利用されるテロップを効果的に自動発生させ、人的なノウハウに依存することなく、所望とされる立体視映像コンテンツを簡易に編集製作可能とする立体映像向けのテロップ発生装置、テロップ発生プログラム、及びテロップ発生方法に関するものである。
【背景技術】
【０００２】
近年、ＣＰＵの処理能力向上、ディスプレイの高精細化、更には立体視テレビや３Ｄ表示を可能とする液晶搭載ノート型パーソナルコンピュータ（以下、ＰＣと略記する）の登場にて、立体視においても、よりリアルで説得力のあるテロップ表現（現物に忠実な形状や色、動き、インタラクティブ性、読み易い文字表示）に適した基盤が整いつつある。
ここで、「テロップ」とは、一般に映像に文字を入れることをいい、キーイングの一種である。今日では、ＰＣから電気的に送出されることが大半になり、マークやキャラクタ等のフルカラーの画像を合成することができるようになっている。しかるに、奥行き方向認識、奥行き距離認識という２Ｄには無い特徴を有する既存の立体視映像コンテンツではテロップを左右映像同位置に配置するのが一般的手法である。
一般に、立体視による表現を行う意図は、その奥行き感、位置関係を正確に伝達することにある。そのような３Ｄ固有の表現が行える奥行き方向認識、奥行き距離認識を補足するためには、テロップについても同様に、その表現に留意すべきである。
【０００３】
ところで、例えば特許文献１では、被写体の位置を自動的に検出し、その動きに合わせてテロップを画面内に表示するテロップ装置が開示されている。特許文献２では、合成指示に基づいて選択された候補データの合成処理を行なうことにより、表示方向と表示速度情報を設定したテロップデータを生成し、当該テロップデータを設定された表示方向と表示速度に従って表示するテロップ表示装置が開示されている。
【特許文献１】特開２００３−７８８１８号公報
【特許文献２】特開平１０−２１０２９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１，２に開示された技術では、視差を考慮せずに立体視画像にテロップを合成していることから、立体感が消失してしまうとの事態を招く。
また、従来技術では、奥行きを持たせたいテロップには、画像視差情報とフレーム内オブジェクトの前後位置に関するスケール情報とを考慮しながら、ノウハウに依存した作業である「手作業」にて、テロップの貼り付けが行われているのが実状である。
本発明の目的とするところは、立体視画像及びそのフレーム内でテロップを付与したい立体視オブジェクトを認識し、全体の立体視を阻害せずに、人的ノウハウに依存することなく、自動的に簡易に立体視向けテロップ発生が行えるようにすることにある。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明の第１の態様によれば、テロップを付与すべき対象となる映像フレームを確定するテロップ対象映像フレーム確定機能と、２枚のステレオ画像により実現される立体映像内のオブジェクトの座標を得るテロップ付与オブジェクト指定機能と、２枚のステレオ画像の座標値の差をステレオ画像処理にて自動抽出する左右画像視差量自動演算機能と、この座標値の差を必要なテロップの視差量として画像内に自動的に視差を付与したテロップを表示するテロップ表示機能を有するテロップ発生手段を具備することを特徴とするテロップ表示装置が提供される。
本発明の第２の態様によれば、上記第１の態様において、上記テロップ発生手段が、動的にテロップサイズ変換を与えることによって目視で観察される箱庭効果の影響を排除する機能を更に備えたことを特徴とするテロップ発生装置が提供される。
本発明の第３の態様によれば、上記第１の態様において、上記テロップ発生手段が、テロップ配置時にテロップに隠されてしまう画像領域にテロップ位置より手前のものがないかを視差量により自動判定する配置位置補正演算機能を更に備えたことを特徴とするテロップ発生装置が提供される。
本発明の第４の態様によれば、テロップ発生装置が、テロップを付与すべき対象となる映像フレームを確定するテロップ対象映像フレーム確定機能と、２枚のステレオ画像により実現される立体映像内のオブジェクトの座標を得るテロップ付与オブジェクト指定機能と、２枚のステレオ画像、即ち左眼用画像−右眼用画像の座標値の差を、ステレオ画像にて２点の対応付けを図るべくステレオ画像処理にて自動抽出する左右画像視差量自動演算機能と、この座標値の差を必要なテロップの視差量として画像内に自動的に視差を付与したテロップを表示するテロップ表示機能と、を実行するためのテロップ表示プログラムが提供される。
本発明の第５の態様によれば、テロップ発生装置が、テロップを付与すべき対象となる映像フレームを確定し、２枚のステレオ画像により実現される立体映像内のオブジェクトの座標を得て、２枚のステレオ画像の座標値の差をステレオ画像処理にて自動抽出し、この座標値の差を必要なテロップの視差量として画像内に自動的に視差を付与したテロップを表示する、ことを特徴とするテロップ発生方法が提供される。
【発明の効果】
【０００６】
本発明によれば、立体視映像編集に今まで配慮無く立体視阻害要因になっていたテロップ付与の立体視配慮によって高品質映像編集の簡易化および、プロのノウハウの自動化による立体視映像向けのテロップ発生装置、テロップ発生プログラム、及びテロップ発生方法を提供することができる。
【発明を実施するための最良の形態】
【０００７】
以下、図面を参照しつつ本発明の実施の形態について詳細に説明する。
【実施例１】
【０００８】
図１は本発明の第１の実施の形態に係る立体視映像向けテロップ発生装置の構成を示す図である。図１に示されるように、この実施の形態に係るテロップ発生装置は、左右のカメラからなる二眼式カメラ１と、右眼用映像入力部２、左眼用映像入力部３、立体映像編集部４、テロップ発生部５、ハードディスク（ＨＤ）等からなる記憶部６を有する。
【０００９】
さらに、テロップ発生部５は、テロップ対象映像フレーム確定機能５ａ、テロップ付与オブジェクト指定機能５ｂ、左右画像視差量自動演算機能５ｃ、文字入力機能５ｄ、テロップ表示機能５ｅを有している。尚、テロップ発生部５内に図示した配置位置補正演算機能５ｆは、後述する本発明の第２の実施の形態に関わるものである。
【００１０】
このような構成において、対象となる被写体の立体映像が二眼式カメラ１により撮影されると、当該二眼式カメラ１からの映像信号が左眼用映像入力部２、右眼要映像入力部３に入力される。この映像信号は、当該左眼用映像入力部２、右眼要映像入力部３にてＡ／Ｄ変換され、デジタルの映像データとして立体映像編集部４に入力される。この立体映像編集部４では、入力された映像データに対して所定の編集処理を施す。
【００１１】
続いて、テロップ発生部５は、この映像データ、即ち二眼式カメラ１により交差法で撮影された立体視映像用の２枚のステレオ画像を対象として、そのコンバージェンスポイントを利用した視差情報利用手法を用いて、テロップ付き映像データを生成し、記憶部６に格納する。尚、テロップ発生装置の二眼式カメラ１を構成する左右のカメラの光軸は輻輳（コンバージェンス）しているが、この光軸の交点の位置をコンバージェンスポイントといい、当該位置までの距離をコンバージェンス距離という。
【００１２】
ところで、二眼式カメラ１により交差法で撮影された立体視映像用の２枚のステレオ画像はカメラパラメータ情報を失っている。従って、この状態では、カメラパラメータが不明であることから、その奥行き情報を把握することができない。また、合成すべきテロップも、合成先のステレオ画像に合わせた奥行き情報を有してはいない。
【００１３】
このような点に鑑みて、本発明の第１の実施の形態に係る立体視映像向けテロップ発生装置では、前述したようなコンバージェンスポイントを利用した特有の視差情報利用手法によりステレオ画像の奥行き情報を把握することとした。
また、視差を有するテロップの挿入については、テロップを実空間画像のどの奥行き位置に表示したいのか、どのオブジェクトに対するテロップ表示としたいのか、ということが重要となる。そこで、詳細には以下の手順によることとした。
【００１４】
以下、図２のフローチャートを参照して、第１の実施の形態に係るテロップ発生装置のテロップ発生部５による当該手順について詳細に説明する。
先ず、テロップ対象映像フレーム確定機能５ａによりテロップを付与すべき対象となる映像フレームを確定する（ステップＳ１）。
【００１５】
続いて、テロップ付与オブジェクト指定機能５ｂにより２枚のステレオ画像により実現される立体映像内のオブジェクトの座標を得る（ステップＳ２）。その為に、例えば、画像内にユーザーインターフェイスとして仮想Ｚ軸を提示することによりテロップ発生箇所の奥行き位置を指定する方法や、立体映像内で指定したオブジェクト内で最大視差発生箇所（一番後方）を自動認識し当該箇所にテロップ発生させる方法を用いる。
【００１６】
そして、左右画像視差量自動演算機能５ｃにより、２枚のステレオ画像、即ち左眼用画像−右眼用画像の座標値の差を、ステレオ画像にて２点の対応付けを図るべくステレオ画像処理にて自動抽出する（ステップＳ３）。
このステレオ画像処理は、三角測量の原理を基本とする。
【００１７】
即ち、複数の異なる視点から同一の対象を画像として取り込み、それぞれの画像上への投影位置の違いから３次元情報を得ようとするものである。ステレオ画像処理の最も重要な問題は、視差、即ち２つの画像における対応（空間中の同一点の２つの画像への投影位置）を精度よく算出するということになる。一方の画像上にある点に対応する他方の画像上の点（対応点）は、その点の３次元空間上の位置によらず、ある直線上のどこかに必ず存在する。この直線をエピポーラ線（ｅｐｉｐｏｌａｒ ｌｉｎｅ）と呼び、ステレオ画像の対応点が満たすべき前述のような条件をエピポーラ拘束（ｅｐｉｐｏｌａｒ ｃｏｎｓｔｒａｉｎｔ）と呼ぶ。コンバージェンスポイントが明確なステレオ画像は、エピポーラ拘束が既知であるため、画像上の投影点同士の対応関係をステレオマッチングにて求めることができる。
【００１８】
この座標値の差を必要なテロップの視差量として画像内に自動的に視差を付与したテロップを挿入する。このとき、文字入力機能５ｄにより指定された書体、色、或いは秒、フレーム数により、テロップ表示機能５ｅがテロップを表示する（ステップＳ４）。
この表示の様子は図３に示される通りである。即ち、図３（ａ）は左眼用画像、図３（ｂ）は右眼用画像、そして図３（ｃ）は左右眼用合成画像を示している。図３（ｃ）からも明らかなように、この実施の形態によれば、合成された画像において、テロップが付与対象となるオブジェクトと同様に奥行き情報と視差情報をふまえて表示される。
【００１９】
尚、テロップに必要な視差量は本発明の上記手法により行うことができるが、これに絵画的手法である遠近法によるスケール情報コントロールを行うことも可能とする。この場合、先ずフレーム内の画像輪郭を抽出することによって消失点を自動的に決定する。そして、この消失点に向かう線分グリッドに沿ってテロップスケールを動的に変化する機能を付加する。この絵画的手法である遠近法によるスケール情報コントロールはコンバージェンスポイントを有していない通常の１眼撮影画像でも有効に機能する。
【００２０】
以上説明したように、本発明の第１の実施の形態によれば、テロップ付与の場合に、対象である映像の奥行き情報と視差情報とを把握することによってテロップに適切な視差を付けることが可能なテロップ発生装置を提供することができる。
【００２１】
尚、立体、奥行きの情報を与える手がかりは、両眼立体視のほかにも数多く存在し、歴史的に絵画の技法として有効に使われてきた。自然画の立体視映像へテロップという奥行き情報を持たない２次元情報を付加する際には、画像的手がかり（ｐｉｃｔｏｒｉａｌ ｃｕｅ）によるアプローチにて全体としての立体視を追求する必要がある。特に、この画像的手がかりの中でも同一図形が近ければ大きく、遠ければ小さく表現される絵画的手法である遠近法を採用することを特徴とするようにしてもよい。この絵画的手法である遠近法による場合にも、立体視ではない通常の２次元画像へのテロップの付与においても奥行き感を損なわない利用方法を特徴とするようにしてもよい。
【実施例２】
【００２２】
この第２の実施の形態に係る立体視映像向けテロップ発生装置は、前述した第１の実施の形態に係るテロップ発生装置に、異なる視差の複数のテロップを同一画面上に表示する場合の違和感を除去する配置位置補正演算機能５ｆを付加したものである。
尚、その他の構成は、第１の実施の形態に係るテロップ発生装置（図１）と同様であるので、ここでは特徴部分のみを説明する。
【００２３】
図４（ａ）乃至（ｃ）に示される例では、テロップは左画像と右座標の視差を左座標−右座標を２５ｐｔ，０ｐｔ，−２５ｐｔとしており、これを順番にＴ１，Ｔ２，Ｔ３とする。Ｔ１，Ｔ２，Ｔ３を画面上で見た場合、Ｔ１はモニタ面より前方に突出して見え、Ｔ２はモニタ面と同一面上に、Ｔ３はモニタ面より後方に見える。
【００２４】
Ｔ１，Ｔ２，Ｔ３は同一サイズの視差テロップであるが、視差量によって大きさが異なって見える。本来は近いものが大きく、遠いものが小さく見えるべきであるが同サイズのテロップを配置すると逆になってしまう現象が発生する。立体視映像に指摘されている箱庭効果がこのテロップ配置にも観察される（Ｔ１＞Ｔ２＞Ｔ３）。これは立体視で有効とされている遠近法とは逆になってしまうため、単純な（遠近法を使用しない）配置時にもサイズに対する工夫が必要である。
【００２５】
立体テロップ表現には視差と遠近法が大変有効であるが、組合せ方で立体視を阻害することもある。ここで、画像中の下部は近くに上部は遠くに存在する傾向があるという特性に対する影響である。本影響が発生する画像の場合は、動的にテロップサイズ変換を与えることによって目視で観察される箱庭効果の影響を排除することができる。
【００２６】
さらに、奥行き配置時に隠蔽関係への配慮が必要な場合がある。奥のオブジェクトへテロップを配置したい場合には、配置したいテロップ位置よりも手前の画像内オブジェクトの上にテロップを配置すると、奥行き感が阻害されてしまう。従って、手前に存在するオブジェクトと奥のオブジェクト用テロップが重なることは避ける必要がある。そこで、テロップ配置時にテロップに隠されてしまう画像領域にテロップ位置より手前のものがないかを視差量により自動判定する配置位置補正演算機能５ｆも付加したのである。
【００２７】
この第２の実施の形態に係るテロップ発生装置による表示の様子は図５に示される通りである。即ち、図５（ａ）は左眼用画像、図５（ｂ）は右眼用画像、そして図５（ｃ）は左右眼用合成画像を示している。図５（ｃ）からも明らかなように、本発明の第２の実施の形態に係るテロップ発生装置によれば、合成された画像において、テロップが付与対象となるオブジェクトと同様に奥行き情報と視差情報、さらには隠蔽関係への配慮をふまえたテロップサイズも考慮されて立体視を損なうことなく表示されることになる。
【００２８】
以上説明したように、第２の実施の形態によれば、複数テロップ貼り付け時に動的にサイズ変換を与えることによって目視で観察される箱庭効果の排除を更に特徴としたテロップ発生装置を提供することができる。さらに、テロップ配置時に、テロップに隠されてしまう画像領域にテロップ位置より手前のものがないかを視差量により自動判定する隠蔽関係への配慮を更に特徴とした立体視映像向けテロップ発生装置を提供できる。
【００２９】
以上、本発明の第１及び第２の実施の形態について詳細に説明したが、本発明はこれに限定されることなくその主旨を逸脱しない範囲で様々な改良・変更が可能であることは勿論である。
【００３０】
即ち、例えば、インターネット放送局、ＣＡＴＶ等によるオンデマンド映像配信、企業内教育用映像配信システム、デジタル放送によるコンテンツ販売等、デジタル家電向けビジネスモデルの供給等、多様な技術応用が可能であり、その場合、顧客への利便性を実現することができる。より具体的には、インターネット等のネットワーク環境下でライセンスコンテンツを配信する仕組みを構築するインターネット放送局、コンテンツ販売サイト、ＣＡＴＶ、などの供給システムの構築を行う為のサーバ、情報処理装置又は情報処理方法、並びにコンピュータプログラムとしての提供も可能である。
【図面の簡単な説明】
【００３１】
【図１】本発明の第１の実施の形態に係る立体視映像向けテロップ発生装置の構成を示すブロック図である。
【図２】本発明の第１の実施の形態に係る立体視映像向けテロップ発生装置による処理手順を説明するためのフローチャートである。
【図３】本発明の第１の実施の形態に係る立体映像向けテロップ発生装置により生成されたテロップの表示の様子を示す図である。
【図４】本発明の第２の実施の形態に係る立体視映像向けテロップ発生装置により異なる視差を有する複数のテロップを同一画面上に表示する場合の違和感を除去する工夫について説明する概念図である。
【図５】本発明の第２の実施の形態に係る立体映像向けテロップ発生装置により生成されたテロップの表示の様子を示す図である。
【符号の説明】
【００３２】
１ 二眼式カメラ
２ 左眼用映像入力部
３ 右眼用映像入力部
４ 立体映像編集部
５ テロップ発生部
５ａ テロップ対象映像フレーム確定機能
５ｂ テロップ付与オブジェクト指定機能
５ｃ 左右画像視差量自動演算機能
５ｄ 文字入力機能
５ｅ テロップ表示機能
６ 記憶部
【特許請求の範囲】
【請求項１】
テロップを付与すべき対象となる映像フレームを確定するテロップ対象映像フレーム確定機能と、２枚のステレオ画像により実現される立体映像内のオブジェクトの座標を得るテロップ付与オブジェクト指定機能と、２枚のステレオ画像の座標値の差をステレオ画像処理にて自動抽出する左右画像視差量自動演算機能と、この座標値の差を必要なテロップの視差量として画像内に自動的に視差を付与したテロップを表示するテロップ表示機能を有するテロップ発生手段を具備することを特徴とするテロップ表示装置。
【請求項２】
上記テロップ発生手段が、動的にテロップサイズ変換を与えることによって目視で観察される箱庭効果の影響を排除する機能を更に備えたことを特徴とする請求項１に記載のテロップ発生装置。
【請求項３】
上記テロップ発生手段が、テロップ配置時にテロップに隠されてしまう画像領域にテロップ位置より手前のものがないかを視差量により自動判定する配置位置補正演算機能を更に備えたことを特徴とする請求項１に記載のテロップ発生装置。
【請求項４】
テロップ発生装置が、テロップを付与すべき対象となる映像フレームを確定するテロップ対象映像フレーム確定機能と、２枚のステレオ画像により実現される立体映像内のオブジェクトの座標を得るテロップ付与オブジェクト指定機能と、２枚のステレオ画像、即ち左眼用画像−右眼用画像の座標値の差を、ステレオ画像にて２点の対応付けを図るべくステレオ画像処理にて自動抽出する左右画像視差量自動演算機能と、この座標値の差を必要なテロップの視差量として画像内に自動的に視差を付与したテロップを表示するテロップ表示機能と、を実行するためのテロップ表示プログラム。
【請求項５】
テロップ発生装置が、テロップを付与すべき対象となる映像フレームを確定し、２枚のステレオ画像により実現される立体映像内のオブジェクトの座標を得て、２枚のステレオ画像の座標値の差をステレオ画像処理にて自動抽出し、この座標値の差を必要なテロップの視差量として画像内に自動的に視差を付与したテロップを表示する、ことを特徴とするテロップ発生方法。
【請求項１】
テロップを付与すべき対象となる映像フレームを確定するテロップ対象映像フレーム確定機能と、２枚のステレオ画像により実現される立体映像内のオブジェクトの座標を得るテロップ付与オブジェクト指定機能と、２枚のステレオ画像の座標値の差をステレオ画像処理にて自動抽出する左右画像視差量自動演算機能と、この座標値の差を必要なテロップの視差量として画像内に自動的に視差を付与したテロップを表示するテロップ表示機能を有するテロップ発生手段を具備することを特徴とするテロップ表示装置。
【請求項２】
上記テロップ発生手段が、動的にテロップサイズ変換を与えることによって目視で観察される箱庭効果の影響を排除する機能を更に備えたことを特徴とする請求項１に記載のテロップ発生装置。
【請求項３】
上記テロップ発生手段が、テロップ配置時にテロップに隠されてしまう画像領域にテロップ位置より手前のものがないかを視差量により自動判定する配置位置補正演算機能を更に備えたことを特徴とする請求項１に記載のテロップ発生装置。
【請求項４】
テロップ発生装置が、テロップを付与すべき対象となる映像フレームを確定するテロップ対象映像フレーム確定機能と、２枚のステレオ画像により実現される立体映像内のオブジェクトの座標を得るテロップ付与オブジェクト指定機能と、２枚のステレオ画像、即ち左眼用画像−右眼用画像の座標値の差を、ステレオ画像にて２点の対応付けを図るべくステレオ画像処理にて自動抽出する左右画像視差量自動演算機能と、この座標値の差を必要なテロップの視差量として画像内に自動的に視差を付与したテロップを表示するテロップ表示機能と、を実行するためのテロップ表示プログラム。
【請求項５】
テロップ発生装置が、テロップを付与すべき対象となる映像フレームを確定し、２枚のステレオ画像により実現される立体映像内のオブジェクトの座標を得て、２枚のステレオ画像の座標値の差をステレオ画像処理にて自動抽出し、この座標値の差を必要なテロップの視差量として画像内に自動的に視差を付与したテロップを表示する、ことを特徴とするテロップ発生方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２００６−３２５１６５（Ｐ２００６−３２５１６５Ａ）
【公開日】平成１８年１１月３０日（２００６．１１．３０）
【国際特許分類】
【出願番号】特願２００５−１４８８１２（Ｐ２００５−１４８８１２）
【出願日】平成１７年５月２０日（２００５．５．２０）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り ２００５年３月１０日から１１日 社団法人情報処理学会発行の「情報処理学会研究報告 情処研報Ｖｏｌ．２００５ Ｎｏ．２３」に発表
【出願人】（５０４４０２６４７）有限会社エクセリードテクノロジー (8)
【Ｆターム（参考）】
【公開日】平成１８年１１月３０日（２００６．１１．３０）
【国際特許分類】
【出願日】平成１７年５月２０日（２００５．５．２０）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り ２００５年３月１０日から１１日 社団法人情報処理学会発行の「情報処理学会研究報告 情処研報Ｖｏｌ．２００５ Ｎｏ．２３」に発表
【出願人】（５０４４０２６４７）有限会社エクセリードテクノロジー (8)
【Ｆターム（参考）】
[ Back to top ]