オブジェクトデータ挿入方法およびオブジェクトデータ挿入装置
【課題】録画放送だけでなく生放送の映像にも適しており、かつあまり演算量を要しない方法で３Ｄ画像にクローズドキャプションを組み込む。
【解決手段】
画面に表示するためにオブジェクトデータを立体画像に挿入する方法が提供される。当該方法では、フォアグラウンドコンポーネントを有する第１の画像と、上記第１の画像の上記フォアグラウンドコンポーネントに対して水平方向にずらしたフォアグラウンドコンポーネントを有する第２の画像とを上記画面に表示するために用意し、上記画面に表示するために、第１の不透明部を上記第１の画像に挿入し、かつ、上記第１の画像の上記フォアグラウンドコンポーネントと上記第２の画像の上記フォアグラウンドコンポーネントとの間のずれ量未満のずれ量で上記第１の不透明部に対して水平方向にずらした上記第２の不透明部を上記第２の画像に挿入し、上記オブジェクトデータを上記第１の不透明部上に挿入する。
【解決手段】
画面に表示するためにオブジェクトデータを立体画像に挿入する方法が提供される。当該方法では、フォアグラウンドコンポーネントを有する第１の画像と、上記第１の画像の上記フォアグラウンドコンポーネントに対して水平方向にずらしたフォアグラウンドコンポーネントを有する第２の画像とを上記画面に表示するために用意し、上記画面に表示するために、第１の不透明部を上記第１の画像に挿入し、かつ、上記第１の画像の上記フォアグラウンドコンポーネントと上記第２の画像の上記フォアグラウンドコンポーネントとの間のずれ量未満のずれ量で上記第１の不透明部に対して水平方向にずらした上記第２の不透明部を上記第２の画像に挿入し、上記オブジェクトデータを上記第１の不透明部上に挿入する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オブジェクトデータを立体画像に挿入する方法および装置に関する。
【背景技術】
【０００２】
耳の不自由な人の、映像コンテンツ（生放送または長編映画等）へのアクセス性を改善するためにクローズドキャプションが提供されている。このクローズドキャプションによって、或るコンテンツ内の会話または音に関する情報を画面に書き表すことができる。コンテンツの言語が視聴者のものと異なる場合にも同様のシステムが存在し、この場合、字幕が提供されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許出願公開第２００９／０３２４２０２号明細書
【特許文献２】米国特許出願公開第２０１０／０２２０１７５号明細書
【特許文献３】米国特許出願公開第２０１０／００２１１４１号明細書
【特許文献４】国際公開第２０１０／０９２８２３号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
現在、ユーザが、３Ｄ撮影された映像コンテンツを自宅で視聴することができるようにするための取り組みが進められている。しかし、クローズドキャプションを３Ｄコンテンツに組み込むことは容易ではない。これは、ユーザにはクローズドキャプションの３Ｄでの位置を知覚することが難しいためである。特に、クローズドキャプションが画像に重ねて配置されている場合、クローズドキャプションの位置を画像の手前で知覚しなければならない。しかし、３Ｄ画像がクローズドキャプションの手前の３Ｄ空間内の位置にあることで、ユーザが両眼の焦点をクローズドキャプションの「手前に」合わせると、ユーザは矛盾した視覚手がかり（cue）を受け取る。これは、ユーザに不快感を与える。
【０００５】
３Ｄ空間における対象物の位置に基づいてクローズドキャプションの位置を調整することができる。換言すると、クローズドキャプションの位置を、確実に３Ｄ空間における対象物の手前にすることができる。しかし、この解決策は、２つの明白な不利点を有する。第一に、当該解決策は、生放送には特に適さない。なぜなら、生放送では対象物が突然前方に移動してクローズドキャプションを「突破する（ブレイクスルーする）」可能性があるためである。第二に、クローズドキャプションを確実に正しい位置に配置するには、シーンの深度マップが必要となる。深度マップは、シーンにおける画素毎に、当該シーンの画素のカメラからの正確な距離を算出するものである。深度マップの作成には大きな演算量を要する。
【０００６】
録画放送だけでなく、生放送の映像にも適しており、かつあまり演算量を要しない方法で３Ｄ画像にクローズドキャプションを組み込むことが望まれている。本発明は、係る解決策の提供をサポートすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の第１の態様によると、画面に表示するためにオブジェクトデータを立体画像に挿入する方法であって、フォアグラウンドコンポーネントを有する第１の画像と、上記第１の画像の上記フォアグラウンドコンポーネントに対して水平方向にずらしたフォアグラウンドコンポーネントを有する第２の画像とを上記画面に表示するために用意し、上記画面に表示するために、第１の不透明部を上記第１の画像に挿入し、かつ、上記第１の画像の上記フォアグラウンドコンポーネントと上記第２の画像の上記フォアグラウンドコンポーネントとの間のずれ量未満のずれ量で上記第１の不透明部に対して水平方向にずらした上記第２の不透明部を上記第２の画像に挿入し、上記オブジェクトデータを上記第１の不透明部上に挿入する、オブジェクトデータ挿入方法が提供される。
【０００８】
上記オブジェクトデータ挿入方法は、上記オブジェクトデータが画面平面上に配置されたときに可視であるように、上記オブジェクトデータを、上記第１の画像における前記第１の不透明部に挿入された上記オブジェクトデータと同じ画素位置にある、上記第２の画像における上記第２の不透明部上の位置に挿入するステップをさらに含んでもよい。
【０００９】
上記オブジェクトデータ挿入方法は、連続した複数の画像間にわたる各画像の特定の領域におけるオブジェクトの数および／または動きの量に応じて算出される、上記第１の画像における位置に、上記第１の不透明部を挿入するステップをさらに含んでもよい。
【００１０】
上記第１の不透明部の上記挿入位置は、上記第１の画像における所定の閾値数のオブジェクトおよび／または所定の閾値量の動きに従って算出されてもよい。
【００１１】
上記オブジェクトデータ挿入方法は、上記第１の不透明部の上記挿入位置を示す位置情報を入力データストリームから抽出するステップをさらに含んでもよい。
【００１２】
上記オブジェクトデータ挿入方法は、上記第１の画像を分析し、当該分析結果を基に上記第１の不透明部の上記挿入位置を算出するステップをさらに含んでもよい。
【００１３】
上記不透明部の寸法は、上記オブジェクトデータのサイズおよび／または上記第１の画像における動きの量および／またはオブジェクトの数に従って算出されてもよい。
【００１４】
上記オブジェクトデータは、補足視覚コンテンツを含んでもよい。
【００１５】
上記第１の不透明部と上記第２の不透明部との間の上記ずれ量は、所定距離に固定されてもよい。
【００１６】
上記第１の不透明部と上記第２の不透明部との間の上記ずれ量は、上記画面の幅に対する割合で表されてもよい。
【００１７】
上記画面の幅に対する上記割合は１％であってもよい。
【００１８】
さらに、コンピュータに、上記オブジェクトデータ挿入方法の各ステップを実行させるプログラムが提供されてもよい。
【００１９】
さらに、上記プログラムが記録されたコンピュータ可読記録媒体が提供されてもよい。
【００２０】
本発明の第２の態様では、画面に表示するためにオブジェクトデータを立体画像に挿入する装置であって、フォアグラウンドコンポーネントを有する第１の画像と、上記第１の画像の上記フォアグラウンドコンポーネントに対して水平方向にずらしたフォアグラウンドコンポーネントを有する第２の画像とを上記画面に表示するために用意する表示制御部を具備し、上記表示制御部はさらに、上記画面に表示するために、第１の不透明部を上記第１の画像に挿入し、かつ、上記第１の画像の上記フォアグラウンドコンポーネントと上記第２の画像の上記フォアグラウンドコンポーネントとの間のずれ量未満のずれ量で上記第１の不透明部に対して水平方向にずらした上記第２の不透明部を上記第２の画像に挿入し、上記オブジェクトデータを上記第１の不透明部上に挿入する、オブジェクトデータ挿入装置が提供される。
【００２１】
上記表示制御部はさらに、上記オブジェクトデータが画面平面上に配置されたときに可視であるように、上記オブジェクトデータを、上記第１の画像における前記第１の不透明部に挿入された上記オブジェクトデータと同じ画素位置にある上記第２の画像における上記第２の不透明部上の位置に挿入してもよい。
【００２２】
上記表示制御部はさらに、連続した複数の画像間にわたる各画像の特定の領域におけるオブジェクトの数および／または動きの量に応じて算出される、上記第１の画像における位置に、上記第１の不透明部を挿入してもよい。
【００２３】
上記第１の不透明部の上記挿入位置は、上記第１の画像における所定の閾値数のオブジェクトおよび／または所定の閾値量の動きに従って算出されてもよい。
【００２４】
上記表示制御部はさらに、上記第１の不透明部の上記挿入位置を示す位置情報を入力データストリームから抽出してもよい。
【００２５】
上記表示制御部はさらに、上記第１の画像を分析し、当該分析結果を基に上記第１の不透明部の上記挿入位置を算出してもよい。
【００２６】
上記不透明部の寸法は、上記オブジェクトデータのサイズおよび／または上記第１の画像における動きの量および／またはオブジェクトの数に従って算出されてもよい。
【００２７】
上記オブジェクトデータは、補足視覚コンテンツを含んでもよい。
【００２８】
上記第１の不透明部と上記第２の不透明部との間の上記ずれ量は、所定距離に固定されてもよい。
【００２９】
上記第１の不透明部と上記第２の不透明部との間の上記ずれ量は、上記画面の幅に対する割合で表されてもよい。
【００３０】
上記画面の幅に対する上記割合は１％であってもよい。
【００３１】
本発明の上記目的、特徴、利点は、添付の図面と関連して読まれる例示的な実施形態に関する以下の詳細な説明から明らかになるであろう。
【図面の簡単な説明】
【００３２】
【図１】本発明の実施形態のシステム全体を示す図である。
【図２】図１に示す受信装置のより詳細な図である。
【図３】３Ｄ空間に組み込まれるクローズドキャプションおよびテキストの位置決めを示す概略図である。
【図４】３Ｄシーンにおける各オブジェクトに必要なずれ量を説明する図である。
【発明を実施するための形態】
【００３３】
図１に本発明の実施形態によるシステムを示す。このシステム１００は、３Ｄ表示が可能なディスプレイ１２０を有する。換言すると、ディスプレイ１２０は、立体画像を表示することで、ユーザ１３０のコンテンツの視聴中に３Ｄ効果を体験させることができる。このディスプレイ１２０が立体画像を表示することで３Ｄ効果を享受するには、ユーザ１３０はこのディスプレイ１２０と相互作用するシャッタメガネをかけるか、または、偏光メガネを用いる必要がある。図１では、ユーザ１３０はシャッタメガネ１４０を装着しているが、偏光メガネ等の任意の他のタイプのメガネも想定される。また、３Ｄ技術の進歩により、ユーザ１３０は、メガネを用いずに、３Ｄ効果を有する画像を視認することもできる。例えば、垂直レンチキュラーシート等の技術を採用したディスプレイ１２０の場合、ユーザ１３０はメガネなしで３Ｄ効果を享受することができる。
【００３４】
ディスプレイ１２０には、制御ボックス２００が接続される。本実施形態の制御ボックス２００は、ディスプレイ１２０に有線接続されているが、本発明はこれに限定されない。この接続は、無線であってもよく、無線ネットワークまたは有線ネットワークを介して実現してもよい。或いは、制御ボックス２００をディスプレイ１２０と一体化してもよい。
【００３５】
コンテンツの入力ストリームは、制御ボックス２００に供給される。当該コンテンツは、３Ｄ映像を含んでもよいし、制御ボックス２００によって３Ｄコンテンツに変換される２Ｄ映像を含んでもよい。実施形態によっては、入力ストリームは他のデータを含んでもよい。この他のデータは、コンテンツに関するデータであるメタデータから成り、通常はコンテンツに比べてサイズが小さい。また、他のデータは深度情報を含んでもよい。深度情報は、１つのシーン内の各画素の深度を表す。この深度情報から、制御ボックス２００は、２枚の画像がディスプレイ１２０上に立体画像を形成するのに必要な視差を算出することができる。付加的にまたは代替的に、深度情報は、制御ボックス２００に必要とされる計算量を低減するための視差情報であってもよい。
【００３６】
入力ストリームはオブジェクトデータも含む。オブジェクトデータは、表示される画像に挿入されるオブジェクトを表すデータである。オブジェクトデータの一例として、クローズドキャプション情報がある。クローズドキャプション情報は、音声データを視覚的に表示したものである。例えば、クローズドキャプション情報は、画面に表示されている２人の登場人物や出演者の会話を記述する字幕であり得る。また、このクローズドキャプション情報によって、ドアが「バタン」と閉められることを示す等、コンテンツにおける背景音を表すこともできる。クローズドキャプション情報は主に、耳が不自由なユーザ向けのものである。
【００３７】
オブジェクトデータは、補足視覚コンテンツも含み得る。補足視覚コンテンツは、表示中の画像コンテンツを補足する視覚コンテンツである。これには、サッカーの試合の得点や、周期的に更新される放送中のニュースの見出しが含まれる。補足視覚コンテンツの他の例として、広告、画面に表示されている登場人物や出演者またはスポーツ選手に関する情報、ディスプレイ１２０上に映し出されているイベントに関する解説、または、表示中の画像に与えられた情報を補足する任意の他の種類の視覚データがある。
【００３８】
オブジェクトデータは、電子番組ガイド（ＥＰＧ）情報、またはテレビ表示もしくはセットトップボックスによって作成される任意の種類のデータ（例えば、テレビメニューまたは任意の種類の画面上グラフィック）も含み得る。
【００３９】
図２に、制御ボックス２００をさらに詳細に示す。入力ストリームは、オブジェクトデータ抽出器２１０に供給される。オブジェクトデータ抽出器２１０は典型的には、いくつかの実施形態において、入力ストリームから受信したオブジェクトデータを取り出すデマルチプレクサである。クローズドキャプション情報を含むオブジェクトデータの例では、オブジェクトデータ抽出器２１０は、ＰＥＳ（Packet Elementary Stream）を分析することによってクローズドキャプション情報が存在することを確認する。詳細には、クローズドキャプション情報が入力ストリームに含まれている場合、PES_packet_data_bytesは、欧州電気通信標準化機構（ＥＴＳＩ）によって規定されるPES_data_fieldとして符号化される。オブジェクトデータ抽出器２１０によってクローズドキャプション情報が入力ストリームに含まれていることが特定されると、オブジェクトデータがパケットから抽出される。ＥＴＳＩ規格に関して説明してきたが、当業者であれば、入力ストリームは実際には任意の放送規格とすることができ、また例えば、Ｂｌｕ−Ｒａｙ（商標）ディスク等の、記憶または録画された任意のコンテンツからも再生可能であることを理解するであろう。
【００４０】
さらに、オブジェクトデータ抽出器２１０は、表示装置２３０に対して、左眼用画像と、それに対応する右眼用画像（左眼用画像を水平方向にずらした画像）とを出力する。これら左眼用画像と右眼用画像とが立体画像を形成する。左眼用画像におけるオブジェクトと右眼用画像におけるオブジェクトとの間のずれ量によって、３Ｄ空間におけるオブジェクトの位置が決定される。換言すると、当業者であれば理解されるように、左眼用画像および右眼用画像間の水平方向のずれ量によって、ユーザによって知覚されるオブジェクトの深度が決定される。
【００４１】
抽出したオブジェクトデータはオブジェクトデータ処理装置２２０に供給される。オブジェクトデータ処理装置２２０は、入力ストリームを介して受信されたＰＥＳパケットに含まれている任意のフォント、色またはサイズ情報を用いてオブジェクトデータをフォーマットする。換言すると、オブジェクトデータ処理装置２２０は、フォーマットをオブジェクトデータに適用することで、当該オブジェクトデータが正確に表示されるようにする。オブジェクトデータ処理装置２２０はまた、画面に表示する際にコンテンツに挿入する不透明部を作成する。この不透明部は、特定の一深度で３Ｄ空間内に配置され、背後の画像を遮る。これによって、不透明部に重なるあらゆるものを容易に読めることが保証される。不透明部が配置される深度は、シーンにおいて重要なオブジェクト（以下、フォアグラウンドコンポーネントと称する）の手前の任意の深度であってもよい。左眼用画像における不透明部の画素位置と、右眼用画像における不透明部の画素位置との間のずれ量によって不透明部の深度が決定される。この不透明部は、図３を参照して後述する。
【００４２】
フォーマットされたオブジェクトデータと、左眼用不透明部と、右眼用不透明部とは、表示装置２３０に供給される。表示装置２３０には、オブジェクトデータ抽出器２１０から左眼用画像および右眼用画像も供給される。表示装置２３０は、立体表示用の左眼用画像および右眼用画像を作成する。とりわけ、表示装置２３０は、左眼用不透明部を左眼用画像に重ねることによって、表示用の左眼用画像を作成する。同様に、表示装置２３０は、右眼用不透明部を右眼用画像に重ねることによって、表示用の右眼用画像を作成する。オブジェクトデータもまた、左眼用画像および右眼用画像の両方に挿入される。ここで、オブジェクトデータは、実施形態によっては、左眼用オブジェクトデータと右眼用オブジェクトデータとの間で水平方向のずれが少ししかないか、またはずれが全くないように挿入され得ることに留意されたい。これによって、オブジェクトデータが画面平面上に配置されると、当該オブジェクトデータを立体画像内で知覚することができる。換言すると、ユーザは、オブジェクトデータが画面と同じかまたは同様の深度に配置されていると知覚する。これは、ユーザが視聴時に画面上に焦点を合わせるため有益であり、ゆえに、オブジェクトデータを画面平面上または画面平面の周囲に配置することで、ユーザはオブジェクトデータを容易に視認できる。
【００４３】
図３および図４に、３Ｄ空間における不透明部の位置決め手法を示す。図３では、ユーザ１３０はディスプレイ１２０の手前にいる。本実施形態において、ユーザ１３０はシャッタメガネ１４０を装着しており、このユーザ１３０にはキャラクター３１０がディスプレイ１２０の手前にいるように見えている。キャラクター３１０はフォアグラウンドコンポーネントの一例に過ぎない。フォアグラウンドコンポーネントとは、３Ｄ空間において視聴者の最も近くに位置する任意のオブジェクトである。
【００４４】
さらに、オブジェクトデータ処理装置２２０によって作成された不透明部３３０が表示される。図３では、不透明部３３０はキャラクター３１０の手前に位置する。また、不透明部３３０は最前（foremost）オブジェクトとして３Ｄ空間に位置する。換言すると、不透明部３３０は、フォアグラウンドコンポーネントの手前に位置しているように見える。したがって、不透明部３３０は、画面平面を基準として、キャラクター３１０のＺ方向の値に比べて、Ｚ方向に大きい正の値を有する。
【００４５】
図３には、オブジェクトデータが、言葉「こんにちは」３４０Ｂを表すクローズドキャプションデータとして示されている。オブジェクトデータ３４０Ｂは、不透明部３３０上に当該不透明部３３０とは異なる色で提示されることで可視となっている。不透明部３３０は、ユーザ１３０の相当近くに（すなわち、キャラクター３１０よりもＺ方向に大きい正の値を有する平面上に）見えるが、オブジェクトデータは、本実施形態で、ディスプレイ１２０の画面と同一平面上に配置される。オブジェクトデータが画面と同一平面（以下、画面平面と称する）上に配置されるため、ユーザは、Ｚ方向における任意の他の位置の場合に比べ、より容易にオブジェクトデータに焦点を合わせることができる。
【００４６】
図３では、オブジェクトデータ「こんにちは」３４０Ｂが不透明部３３０上に表示され、ユーザ１３０に可視となっている。しかし、オブジェクトデータ「こんにちは」３４０Ａは、本実施形態では実際には画面平面上に配置される。不透明部３３０が画像において最前オブジェクトであるように見えるため、ユーザ１３０は、不透明部３３０を通じてオブジェクトデータを視認する。換言すると、ユーザ１３０には、不透明部３３０越しに、画面平面上に配置されているオブジェクトデータを見ているように見える。
【００４７】
図４に、図３に示した、ユーザ１３０に対する見かけの画像（appearance）の作成方法を示す。立体画像を作成するために、左眼用画像および右眼用画像が画面に表示される。メガネによって、表示されたときに適切な眼で正確な画像を見ることができる。
【００４８】
左眼用画像１２０Ｌが作成される。この左眼用画像１２０Ｌは、左眼用キャラクター３１０Ｌと、左眼用不透明部３３０Ｌとを含む。これに対応する右眼用画像１２０Ｒが作成される。この右眼用画像１２０Ｒは、右眼用キャラクター３１０Ｒと右眼用不透明部３３０Ｒとを含む。キャラクター３１０がユーザ１３０の近くにいるように見せるために、左眼用キャラクター３１０Ｌと右眼用キャラクター３１０Ｒとを距離ｄだけ水平方向にずらす。この値は、長さまたは画素数で表すことができる。しかし、不透明部３３０がキャラクター３１０よりもユーザ１３０の近くにあるように見せる場合、左眼用不透明部３３０Ｌと右眼用不透明部３３０Ｒとを、距離ｄより長い距離ｅだけ離間させる。この場合、言葉「こんにちは」というオブジェクトデータは、左眼用不透明部３３０Ｌおよび右眼用不透明部３３０Ｒの両方にある。しかし、本実施形態において、オブジェクトデータが画面平面上に配置される場合、ディスプレイ１２０上で左眼用オブジェクトデータと右眼用オブジェクトデータとの間に水平方向のずれはない。換言すると、左眼用オブジェクトデータは、右眼用オブジェクトデータと同じ画素位置に配置される。
【００４９】
左眼用不透明部３３０Ｌと右眼用不透明部３３０Ｒとのずれ量ｅは、放送局が入力ストリームに含めて提供する。代替的に、左眼用キャラクター３１０Ｌと右眼用キャラクター３１０Ｒとの間のずれ量ｄからずれ量ｅを導出してもよい。不透明部３３０を３Ｄ空間においてキャラクター３１０の手前に配置する必要がある場合、ずれ量ｅはずれ量ｄより大きくする必要がある（すなわち、ｅ＞ｄ）。ずれ量ｅがずれ量ｄを上回る分量は、固定してもよく、可変してもよい。しかし、ユーザ１３０に不快感を与えないようにするためには、ずれ量ｅに閾値を定める。この閾値は、不透明部３３０が画面の手前に現れる場合は画面の幅の１％であり、不透明部３３０が画面の背後に現れる場合は画面の幅の２％である。しかし、これらの数値は例示に過ぎず、不透明部３３０が現れるのが画面の手前であるかまたは背後であるかにかかわらず同じ閾値を設定することも可能である。上記閾値は画面の幅に対する割合としたが、閾値は単に、一般的な高解像度（ＨＤ）ディスプレイ上において不透明部３３０が画面の手前に現れる場合には２０画素にする等、所定数の画素としてもよい。
【００５０】
さらに、ずれ量ｅの値を選択し、この値を番組時間にわたって維持してもよい。こうすると、ずれ量ｄを確認する必要がないため有利である。ずれ量ｅは、放送局が提供することができる。ずれ量ｅが放送局によって提供されない場合は、制御ボックス２００で演算する必要がある。しかし、これには多くの演算量を要する（computationally expensive）。したがって、視差メタデータが提供されない場合にはずれ量ｅを閾値距離に設定することができる。例えば、上述したように、不透明部３３０がディスプレイ１２０の手前に配置される場合、ずれ量ｅを、例えば、画面の幅の１％とすることができる。この数値は一般的に、２０画素と同等と見なされる。これは、自宅での視聴の場合、３Ｄ番組（すなわち、ずれ量ｄの値）が通常この値を超えず、通常の環境下では、不透明部３３０を常にキャラクター３１０の手前に位置させることができるためである。
【００５１】
代替的に、ずれ量ｅは、番組の深さ量（depth budget）から計算することができる。深さ量は、番組制作者側によって設定され、キャラクター３１０が有し得る、Ｚ方向の正の最大値および負の最大値を確定する。深さ量を確認することによって、ずれ量ｅの値をこの深さ量の値よりも大きく設定することができ、不透明部３３０が常にフォアグラウンドオブジェクトであることが保証される。
【００５２】
不透明部３３０の画面上の幅、高さおよび位置も変更可能である。例えば、不透明部３３０の幅および高さは、画面上に配置されるオブジェクトデータの量に応じて調整可能である。したがって、言葉「こんにちは」だけが表示される本例の場合、不透明部３３０の幅を狭くする（すなわち、画面上で不透明部３３０が占める水平空間の割合を減らす）か、または不透明部３３０の高さを低くする（すなわち、画面上で不透明部３３０が占める鉛直空間の割合を減らす）ことが適切であり得る。これによって、不透明部３３０が画像を遮る面積が減ることが保証される。
【００５３】
不透明部３３０の画面上の位置も調整可能である。実施形態によっては、不透明部３３０は、画像の下部側に配置される。しかし、多数のオブジェクトまたは大量の動きが画面の下部に映し出される場合、不透明部３３０を当該画面の下部に配置することが適切でない場合がある。この場合、画面の上部寄りにする等、より動きの量またはオブジェクト数が少ない画面の他の位置に不透明部３３０を配置するのがよい。不透明部３３０のための位置決め情報は、放送局が入力ストリームに提供してもよく、制御ボックス２００によって「オンザフライで」計算してもよい。入力された画像は、画像内の他のオブジェクトの数および／または連続したフレーム間での動きの量に関して分析され、この情報に基づいて不透明部３３０をどの位置に配置するかを決定する。換言すると、不透明部３３０の配置位置は、画像内の、動きの量が最小であるかまたはオブジェクト数が最少である位置に決定される。
【００５４】
実施形態によっては、不透明部３３０を画面の特定の領域にのみ移動してもよい。これによって、ユーザ１３０の視聴体験が改善される。不透明部３３０を画面の任意の部分に移動させることは可能であるが、不透明部３３０があまり頻繁に移動しないことを保証するのが有益である。仮に不透明部３３０が定期的に移動する場合、ユーザ１３０は、当該不透明部３３０に気をとられる可能性がある。仮に不透明部３３０が画面上であちこちに移動する場合も同様に、ユーザ１３０が不透明部３３０の移動に気をとられて画像の本来のコンテンツに集中できなくなる可能性がある。これに対処するために、実施形態によっては、不透明部３３０は、割り当てられた画面位置にしか移動しない。この割り当てられた画面位置とは、画像の上部および下部のことである。また、画面の特定の領域におけるオブジェクトの数および／または動きの量が閾値を超える場合にのみ、不透明部３３０の配置位置を変えてもよい。
【００５５】
上述の実施形態では、左眼用画像および右眼用画像の両方に配置されるオブジェクトデータを用いて説明してきたが、本発明はこれに限定されない。オブジェクトデータを左眼用画像および右眼用画像の一方のみに配置してもよい。この場合、ユーザは他方の眼により、オブジェクトデータを有しない不透明部３３０が画像に挿入されているのを見ることになる。
【００５６】
上述の実施形態では、画面平面上に配置されるオブジェクトデータに言及して説明してきたが、本発明はこれに限定されない。詳細には、オブジェクトデータを、不透明部３３０よりも小さいＺ値を有する、Ｚ方向に沿う任意の位置に配置することができる。こうすることで、ユーザ１３０はオブジェクトデータ上に焦点を合わせることができる。
【００５７】
上述の実施形態では、ハードウェアに言及して説明してきたが、本発明はこれに限定されない。実施形態によっては、上記ハードウェアが実行する処理を、コンピュータ可読命令を含むコンピュータソフトウェアによって実行してもよい。これらのコンピュータ可読命令は、マイクロプロセッサ等によって読み出されるコンピュータプログラムを形成する。コンピュータプログラムは、光可読媒体、固体メモリデバイス、またはハードディスク等の記録媒体に記録することができる。コンピュータプログラムは、インターネット等のネットワークを介して信号として転送することができる。
【００５８】
本発明の例示的な実施形態を、添付の図面を参照しながら本明細書において詳述してきたが、本発明は上記実施形態に厳密に限定されないこと、および、添付の特許請求の範囲によって規定される本発明の範囲および精神から逸脱しない限り、当業者によって種々の変更および修正が可能であることを理解されたい。
【技術分野】
【０００１】
本発明は、オブジェクトデータを立体画像に挿入する方法および装置に関する。
【背景技術】
【０００２】
耳の不自由な人の、映像コンテンツ（生放送または長編映画等）へのアクセス性を改善するためにクローズドキャプションが提供されている。このクローズドキャプションによって、或るコンテンツ内の会話または音に関する情報を画面に書き表すことができる。コンテンツの言語が視聴者のものと異なる場合にも同様のシステムが存在し、この場合、字幕が提供されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許出願公開第２００９／０３２４２０２号明細書
【特許文献２】米国特許出願公開第２０１０／０２２０１７５号明細書
【特許文献３】米国特許出願公開第２０１０／００２１１４１号明細書
【特許文献４】国際公開第２０１０／０９２８２３号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
現在、ユーザが、３Ｄ撮影された映像コンテンツを自宅で視聴することができるようにするための取り組みが進められている。しかし、クローズドキャプションを３Ｄコンテンツに組み込むことは容易ではない。これは、ユーザにはクローズドキャプションの３Ｄでの位置を知覚することが難しいためである。特に、クローズドキャプションが画像に重ねて配置されている場合、クローズドキャプションの位置を画像の手前で知覚しなければならない。しかし、３Ｄ画像がクローズドキャプションの手前の３Ｄ空間内の位置にあることで、ユーザが両眼の焦点をクローズドキャプションの「手前に」合わせると、ユーザは矛盾した視覚手がかり（cue）を受け取る。これは、ユーザに不快感を与える。
【０００５】
３Ｄ空間における対象物の位置に基づいてクローズドキャプションの位置を調整することができる。換言すると、クローズドキャプションの位置を、確実に３Ｄ空間における対象物の手前にすることができる。しかし、この解決策は、２つの明白な不利点を有する。第一に、当該解決策は、生放送には特に適さない。なぜなら、生放送では対象物が突然前方に移動してクローズドキャプションを「突破する（ブレイクスルーする）」可能性があるためである。第二に、クローズドキャプションを確実に正しい位置に配置するには、シーンの深度マップが必要となる。深度マップは、シーンにおける画素毎に、当該シーンの画素のカメラからの正確な距離を算出するものである。深度マップの作成には大きな演算量を要する。
【０００６】
録画放送だけでなく、生放送の映像にも適しており、かつあまり演算量を要しない方法で３Ｄ画像にクローズドキャプションを組み込むことが望まれている。本発明は、係る解決策の提供をサポートすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の第１の態様によると、画面に表示するためにオブジェクトデータを立体画像に挿入する方法であって、フォアグラウンドコンポーネントを有する第１の画像と、上記第１の画像の上記フォアグラウンドコンポーネントに対して水平方向にずらしたフォアグラウンドコンポーネントを有する第２の画像とを上記画面に表示するために用意し、上記画面に表示するために、第１の不透明部を上記第１の画像に挿入し、かつ、上記第１の画像の上記フォアグラウンドコンポーネントと上記第２の画像の上記フォアグラウンドコンポーネントとの間のずれ量未満のずれ量で上記第１の不透明部に対して水平方向にずらした上記第２の不透明部を上記第２の画像に挿入し、上記オブジェクトデータを上記第１の不透明部上に挿入する、オブジェクトデータ挿入方法が提供される。
【０００８】
上記オブジェクトデータ挿入方法は、上記オブジェクトデータが画面平面上に配置されたときに可視であるように、上記オブジェクトデータを、上記第１の画像における前記第１の不透明部に挿入された上記オブジェクトデータと同じ画素位置にある、上記第２の画像における上記第２の不透明部上の位置に挿入するステップをさらに含んでもよい。
【０００９】
上記オブジェクトデータ挿入方法は、連続した複数の画像間にわたる各画像の特定の領域におけるオブジェクトの数および／または動きの量に応じて算出される、上記第１の画像における位置に、上記第１の不透明部を挿入するステップをさらに含んでもよい。
【００１０】
上記第１の不透明部の上記挿入位置は、上記第１の画像における所定の閾値数のオブジェクトおよび／または所定の閾値量の動きに従って算出されてもよい。
【００１１】
上記オブジェクトデータ挿入方法は、上記第１の不透明部の上記挿入位置を示す位置情報を入力データストリームから抽出するステップをさらに含んでもよい。
【００１２】
上記オブジェクトデータ挿入方法は、上記第１の画像を分析し、当該分析結果を基に上記第１の不透明部の上記挿入位置を算出するステップをさらに含んでもよい。
【００１３】
上記不透明部の寸法は、上記オブジェクトデータのサイズおよび／または上記第１の画像における動きの量および／またはオブジェクトの数に従って算出されてもよい。
【００１４】
上記オブジェクトデータは、補足視覚コンテンツを含んでもよい。
【００１５】
上記第１の不透明部と上記第２の不透明部との間の上記ずれ量は、所定距離に固定されてもよい。
【００１６】
上記第１の不透明部と上記第２の不透明部との間の上記ずれ量は、上記画面の幅に対する割合で表されてもよい。
【００１７】
上記画面の幅に対する上記割合は１％であってもよい。
【００１８】
さらに、コンピュータに、上記オブジェクトデータ挿入方法の各ステップを実行させるプログラムが提供されてもよい。
【００１９】
さらに、上記プログラムが記録されたコンピュータ可読記録媒体が提供されてもよい。
【００２０】
本発明の第２の態様では、画面に表示するためにオブジェクトデータを立体画像に挿入する装置であって、フォアグラウンドコンポーネントを有する第１の画像と、上記第１の画像の上記フォアグラウンドコンポーネントに対して水平方向にずらしたフォアグラウンドコンポーネントを有する第２の画像とを上記画面に表示するために用意する表示制御部を具備し、上記表示制御部はさらに、上記画面に表示するために、第１の不透明部を上記第１の画像に挿入し、かつ、上記第１の画像の上記フォアグラウンドコンポーネントと上記第２の画像の上記フォアグラウンドコンポーネントとの間のずれ量未満のずれ量で上記第１の不透明部に対して水平方向にずらした上記第２の不透明部を上記第２の画像に挿入し、上記オブジェクトデータを上記第１の不透明部上に挿入する、オブジェクトデータ挿入装置が提供される。
【００２１】
上記表示制御部はさらに、上記オブジェクトデータが画面平面上に配置されたときに可視であるように、上記オブジェクトデータを、上記第１の画像における前記第１の不透明部に挿入された上記オブジェクトデータと同じ画素位置にある上記第２の画像における上記第２の不透明部上の位置に挿入してもよい。
【００２２】
上記表示制御部はさらに、連続した複数の画像間にわたる各画像の特定の領域におけるオブジェクトの数および／または動きの量に応じて算出される、上記第１の画像における位置に、上記第１の不透明部を挿入してもよい。
【００２３】
上記第１の不透明部の上記挿入位置は、上記第１の画像における所定の閾値数のオブジェクトおよび／または所定の閾値量の動きに従って算出されてもよい。
【００２４】
上記表示制御部はさらに、上記第１の不透明部の上記挿入位置を示す位置情報を入力データストリームから抽出してもよい。
【００２５】
上記表示制御部はさらに、上記第１の画像を分析し、当該分析結果を基に上記第１の不透明部の上記挿入位置を算出してもよい。
【００２６】
上記不透明部の寸法は、上記オブジェクトデータのサイズおよび／または上記第１の画像における動きの量および／またはオブジェクトの数に従って算出されてもよい。
【００２７】
上記オブジェクトデータは、補足視覚コンテンツを含んでもよい。
【００２８】
上記第１の不透明部と上記第２の不透明部との間の上記ずれ量は、所定距離に固定されてもよい。
【００２９】
上記第１の不透明部と上記第２の不透明部との間の上記ずれ量は、上記画面の幅に対する割合で表されてもよい。
【００３０】
上記画面の幅に対する上記割合は１％であってもよい。
【００３１】
本発明の上記目的、特徴、利点は、添付の図面と関連して読まれる例示的な実施形態に関する以下の詳細な説明から明らかになるであろう。
【図面の簡単な説明】
【００３２】
【図１】本発明の実施形態のシステム全体を示す図である。
【図２】図１に示す受信装置のより詳細な図である。
【図３】３Ｄ空間に組み込まれるクローズドキャプションおよびテキストの位置決めを示す概略図である。
【図４】３Ｄシーンにおける各オブジェクトに必要なずれ量を説明する図である。
【発明を実施するための形態】
【００３３】
図１に本発明の実施形態によるシステムを示す。このシステム１００は、３Ｄ表示が可能なディスプレイ１２０を有する。換言すると、ディスプレイ１２０は、立体画像を表示することで、ユーザ１３０のコンテンツの視聴中に３Ｄ効果を体験させることができる。このディスプレイ１２０が立体画像を表示することで３Ｄ効果を享受するには、ユーザ１３０はこのディスプレイ１２０と相互作用するシャッタメガネをかけるか、または、偏光メガネを用いる必要がある。図１では、ユーザ１３０はシャッタメガネ１４０を装着しているが、偏光メガネ等の任意の他のタイプのメガネも想定される。また、３Ｄ技術の進歩により、ユーザ１３０は、メガネを用いずに、３Ｄ効果を有する画像を視認することもできる。例えば、垂直レンチキュラーシート等の技術を採用したディスプレイ１２０の場合、ユーザ１３０はメガネなしで３Ｄ効果を享受することができる。
【００３４】
ディスプレイ１２０には、制御ボックス２００が接続される。本実施形態の制御ボックス２００は、ディスプレイ１２０に有線接続されているが、本発明はこれに限定されない。この接続は、無線であってもよく、無線ネットワークまたは有線ネットワークを介して実現してもよい。或いは、制御ボックス２００をディスプレイ１２０と一体化してもよい。
【００３５】
コンテンツの入力ストリームは、制御ボックス２００に供給される。当該コンテンツは、３Ｄ映像を含んでもよいし、制御ボックス２００によって３Ｄコンテンツに変換される２Ｄ映像を含んでもよい。実施形態によっては、入力ストリームは他のデータを含んでもよい。この他のデータは、コンテンツに関するデータであるメタデータから成り、通常はコンテンツに比べてサイズが小さい。また、他のデータは深度情報を含んでもよい。深度情報は、１つのシーン内の各画素の深度を表す。この深度情報から、制御ボックス２００は、２枚の画像がディスプレイ１２０上に立体画像を形成するのに必要な視差を算出することができる。付加的にまたは代替的に、深度情報は、制御ボックス２００に必要とされる計算量を低減するための視差情報であってもよい。
【００３６】
入力ストリームはオブジェクトデータも含む。オブジェクトデータは、表示される画像に挿入されるオブジェクトを表すデータである。オブジェクトデータの一例として、クローズドキャプション情報がある。クローズドキャプション情報は、音声データを視覚的に表示したものである。例えば、クローズドキャプション情報は、画面に表示されている２人の登場人物や出演者の会話を記述する字幕であり得る。また、このクローズドキャプション情報によって、ドアが「バタン」と閉められることを示す等、コンテンツにおける背景音を表すこともできる。クローズドキャプション情報は主に、耳が不自由なユーザ向けのものである。
【００３７】
オブジェクトデータは、補足視覚コンテンツも含み得る。補足視覚コンテンツは、表示中の画像コンテンツを補足する視覚コンテンツである。これには、サッカーの試合の得点や、周期的に更新される放送中のニュースの見出しが含まれる。補足視覚コンテンツの他の例として、広告、画面に表示されている登場人物や出演者またはスポーツ選手に関する情報、ディスプレイ１２０上に映し出されているイベントに関する解説、または、表示中の画像に与えられた情報を補足する任意の他の種類の視覚データがある。
【００３８】
オブジェクトデータは、電子番組ガイド（ＥＰＧ）情報、またはテレビ表示もしくはセットトップボックスによって作成される任意の種類のデータ（例えば、テレビメニューまたは任意の種類の画面上グラフィック）も含み得る。
【００３９】
図２に、制御ボックス２００をさらに詳細に示す。入力ストリームは、オブジェクトデータ抽出器２１０に供給される。オブジェクトデータ抽出器２１０は典型的には、いくつかの実施形態において、入力ストリームから受信したオブジェクトデータを取り出すデマルチプレクサである。クローズドキャプション情報を含むオブジェクトデータの例では、オブジェクトデータ抽出器２１０は、ＰＥＳ（Packet Elementary Stream）を分析することによってクローズドキャプション情報が存在することを確認する。詳細には、クローズドキャプション情報が入力ストリームに含まれている場合、PES_packet_data_bytesは、欧州電気通信標準化機構（ＥＴＳＩ）によって規定されるPES_data_fieldとして符号化される。オブジェクトデータ抽出器２１０によってクローズドキャプション情報が入力ストリームに含まれていることが特定されると、オブジェクトデータがパケットから抽出される。ＥＴＳＩ規格に関して説明してきたが、当業者であれば、入力ストリームは実際には任意の放送規格とすることができ、また例えば、Ｂｌｕ−Ｒａｙ（商標）ディスク等の、記憶または録画された任意のコンテンツからも再生可能であることを理解するであろう。
【００４０】
さらに、オブジェクトデータ抽出器２１０は、表示装置２３０に対して、左眼用画像と、それに対応する右眼用画像（左眼用画像を水平方向にずらした画像）とを出力する。これら左眼用画像と右眼用画像とが立体画像を形成する。左眼用画像におけるオブジェクトと右眼用画像におけるオブジェクトとの間のずれ量によって、３Ｄ空間におけるオブジェクトの位置が決定される。換言すると、当業者であれば理解されるように、左眼用画像および右眼用画像間の水平方向のずれ量によって、ユーザによって知覚されるオブジェクトの深度が決定される。
【００４１】
抽出したオブジェクトデータはオブジェクトデータ処理装置２２０に供給される。オブジェクトデータ処理装置２２０は、入力ストリームを介して受信されたＰＥＳパケットに含まれている任意のフォント、色またはサイズ情報を用いてオブジェクトデータをフォーマットする。換言すると、オブジェクトデータ処理装置２２０は、フォーマットをオブジェクトデータに適用することで、当該オブジェクトデータが正確に表示されるようにする。オブジェクトデータ処理装置２２０はまた、画面に表示する際にコンテンツに挿入する不透明部を作成する。この不透明部は、特定の一深度で３Ｄ空間内に配置され、背後の画像を遮る。これによって、不透明部に重なるあらゆるものを容易に読めることが保証される。不透明部が配置される深度は、シーンにおいて重要なオブジェクト（以下、フォアグラウンドコンポーネントと称する）の手前の任意の深度であってもよい。左眼用画像における不透明部の画素位置と、右眼用画像における不透明部の画素位置との間のずれ量によって不透明部の深度が決定される。この不透明部は、図３を参照して後述する。
【００４２】
フォーマットされたオブジェクトデータと、左眼用不透明部と、右眼用不透明部とは、表示装置２３０に供給される。表示装置２３０には、オブジェクトデータ抽出器２１０から左眼用画像および右眼用画像も供給される。表示装置２３０は、立体表示用の左眼用画像および右眼用画像を作成する。とりわけ、表示装置２３０は、左眼用不透明部を左眼用画像に重ねることによって、表示用の左眼用画像を作成する。同様に、表示装置２３０は、右眼用不透明部を右眼用画像に重ねることによって、表示用の右眼用画像を作成する。オブジェクトデータもまた、左眼用画像および右眼用画像の両方に挿入される。ここで、オブジェクトデータは、実施形態によっては、左眼用オブジェクトデータと右眼用オブジェクトデータとの間で水平方向のずれが少ししかないか、またはずれが全くないように挿入され得ることに留意されたい。これによって、オブジェクトデータが画面平面上に配置されると、当該オブジェクトデータを立体画像内で知覚することができる。換言すると、ユーザは、オブジェクトデータが画面と同じかまたは同様の深度に配置されていると知覚する。これは、ユーザが視聴時に画面上に焦点を合わせるため有益であり、ゆえに、オブジェクトデータを画面平面上または画面平面の周囲に配置することで、ユーザはオブジェクトデータを容易に視認できる。
【００４３】
図３および図４に、３Ｄ空間における不透明部の位置決め手法を示す。図３では、ユーザ１３０はディスプレイ１２０の手前にいる。本実施形態において、ユーザ１３０はシャッタメガネ１４０を装着しており、このユーザ１３０にはキャラクター３１０がディスプレイ１２０の手前にいるように見えている。キャラクター３１０はフォアグラウンドコンポーネントの一例に過ぎない。フォアグラウンドコンポーネントとは、３Ｄ空間において視聴者の最も近くに位置する任意のオブジェクトである。
【００４４】
さらに、オブジェクトデータ処理装置２２０によって作成された不透明部３３０が表示される。図３では、不透明部３３０はキャラクター３１０の手前に位置する。また、不透明部３３０は最前（foremost）オブジェクトとして３Ｄ空間に位置する。換言すると、不透明部３３０は、フォアグラウンドコンポーネントの手前に位置しているように見える。したがって、不透明部３３０は、画面平面を基準として、キャラクター３１０のＺ方向の値に比べて、Ｚ方向に大きい正の値を有する。
【００４５】
図３には、オブジェクトデータが、言葉「こんにちは」３４０Ｂを表すクローズドキャプションデータとして示されている。オブジェクトデータ３４０Ｂは、不透明部３３０上に当該不透明部３３０とは異なる色で提示されることで可視となっている。不透明部３３０は、ユーザ１３０の相当近くに（すなわち、キャラクター３１０よりもＺ方向に大きい正の値を有する平面上に）見えるが、オブジェクトデータは、本実施形態で、ディスプレイ１２０の画面と同一平面上に配置される。オブジェクトデータが画面と同一平面（以下、画面平面と称する）上に配置されるため、ユーザは、Ｚ方向における任意の他の位置の場合に比べ、より容易にオブジェクトデータに焦点を合わせることができる。
【００４６】
図３では、オブジェクトデータ「こんにちは」３４０Ｂが不透明部３３０上に表示され、ユーザ１３０に可視となっている。しかし、オブジェクトデータ「こんにちは」３４０Ａは、本実施形態では実際には画面平面上に配置される。不透明部３３０が画像において最前オブジェクトであるように見えるため、ユーザ１３０は、不透明部３３０を通じてオブジェクトデータを視認する。換言すると、ユーザ１３０には、不透明部３３０越しに、画面平面上に配置されているオブジェクトデータを見ているように見える。
【００４７】
図４に、図３に示した、ユーザ１３０に対する見かけの画像（appearance）の作成方法を示す。立体画像を作成するために、左眼用画像および右眼用画像が画面に表示される。メガネによって、表示されたときに適切な眼で正確な画像を見ることができる。
【００４８】
左眼用画像１２０Ｌが作成される。この左眼用画像１２０Ｌは、左眼用キャラクター３１０Ｌと、左眼用不透明部３３０Ｌとを含む。これに対応する右眼用画像１２０Ｒが作成される。この右眼用画像１２０Ｒは、右眼用キャラクター３１０Ｒと右眼用不透明部３３０Ｒとを含む。キャラクター３１０がユーザ１３０の近くにいるように見せるために、左眼用キャラクター３１０Ｌと右眼用キャラクター３１０Ｒとを距離ｄだけ水平方向にずらす。この値は、長さまたは画素数で表すことができる。しかし、不透明部３３０がキャラクター３１０よりもユーザ１３０の近くにあるように見せる場合、左眼用不透明部３３０Ｌと右眼用不透明部３３０Ｒとを、距離ｄより長い距離ｅだけ離間させる。この場合、言葉「こんにちは」というオブジェクトデータは、左眼用不透明部３３０Ｌおよび右眼用不透明部３３０Ｒの両方にある。しかし、本実施形態において、オブジェクトデータが画面平面上に配置される場合、ディスプレイ１２０上で左眼用オブジェクトデータと右眼用オブジェクトデータとの間に水平方向のずれはない。換言すると、左眼用オブジェクトデータは、右眼用オブジェクトデータと同じ画素位置に配置される。
【００４９】
左眼用不透明部３３０Ｌと右眼用不透明部３３０Ｒとのずれ量ｅは、放送局が入力ストリームに含めて提供する。代替的に、左眼用キャラクター３１０Ｌと右眼用キャラクター３１０Ｒとの間のずれ量ｄからずれ量ｅを導出してもよい。不透明部３３０を３Ｄ空間においてキャラクター３１０の手前に配置する必要がある場合、ずれ量ｅはずれ量ｄより大きくする必要がある（すなわち、ｅ＞ｄ）。ずれ量ｅがずれ量ｄを上回る分量は、固定してもよく、可変してもよい。しかし、ユーザ１３０に不快感を与えないようにするためには、ずれ量ｅに閾値を定める。この閾値は、不透明部３３０が画面の手前に現れる場合は画面の幅の１％であり、不透明部３３０が画面の背後に現れる場合は画面の幅の２％である。しかし、これらの数値は例示に過ぎず、不透明部３３０が現れるのが画面の手前であるかまたは背後であるかにかかわらず同じ閾値を設定することも可能である。上記閾値は画面の幅に対する割合としたが、閾値は単に、一般的な高解像度（ＨＤ）ディスプレイ上において不透明部３３０が画面の手前に現れる場合には２０画素にする等、所定数の画素としてもよい。
【００５０】
さらに、ずれ量ｅの値を選択し、この値を番組時間にわたって維持してもよい。こうすると、ずれ量ｄを確認する必要がないため有利である。ずれ量ｅは、放送局が提供することができる。ずれ量ｅが放送局によって提供されない場合は、制御ボックス２００で演算する必要がある。しかし、これには多くの演算量を要する（computationally expensive）。したがって、視差メタデータが提供されない場合にはずれ量ｅを閾値距離に設定することができる。例えば、上述したように、不透明部３３０がディスプレイ１２０の手前に配置される場合、ずれ量ｅを、例えば、画面の幅の１％とすることができる。この数値は一般的に、２０画素と同等と見なされる。これは、自宅での視聴の場合、３Ｄ番組（すなわち、ずれ量ｄの値）が通常この値を超えず、通常の環境下では、不透明部３３０を常にキャラクター３１０の手前に位置させることができるためである。
【００５１】
代替的に、ずれ量ｅは、番組の深さ量（depth budget）から計算することができる。深さ量は、番組制作者側によって設定され、キャラクター３１０が有し得る、Ｚ方向の正の最大値および負の最大値を確定する。深さ量を確認することによって、ずれ量ｅの値をこの深さ量の値よりも大きく設定することができ、不透明部３３０が常にフォアグラウンドオブジェクトであることが保証される。
【００５２】
不透明部３３０の画面上の幅、高さおよび位置も変更可能である。例えば、不透明部３３０の幅および高さは、画面上に配置されるオブジェクトデータの量に応じて調整可能である。したがって、言葉「こんにちは」だけが表示される本例の場合、不透明部３３０の幅を狭くする（すなわち、画面上で不透明部３３０が占める水平空間の割合を減らす）か、または不透明部３３０の高さを低くする（すなわち、画面上で不透明部３３０が占める鉛直空間の割合を減らす）ことが適切であり得る。これによって、不透明部３３０が画像を遮る面積が減ることが保証される。
【００５３】
不透明部３３０の画面上の位置も調整可能である。実施形態によっては、不透明部３３０は、画像の下部側に配置される。しかし、多数のオブジェクトまたは大量の動きが画面の下部に映し出される場合、不透明部３３０を当該画面の下部に配置することが適切でない場合がある。この場合、画面の上部寄りにする等、より動きの量またはオブジェクト数が少ない画面の他の位置に不透明部３３０を配置するのがよい。不透明部３３０のための位置決め情報は、放送局が入力ストリームに提供してもよく、制御ボックス２００によって「オンザフライで」計算してもよい。入力された画像は、画像内の他のオブジェクトの数および／または連続したフレーム間での動きの量に関して分析され、この情報に基づいて不透明部３３０をどの位置に配置するかを決定する。換言すると、不透明部３３０の配置位置は、画像内の、動きの量が最小であるかまたはオブジェクト数が最少である位置に決定される。
【００５４】
実施形態によっては、不透明部３３０を画面の特定の領域にのみ移動してもよい。これによって、ユーザ１３０の視聴体験が改善される。不透明部３３０を画面の任意の部分に移動させることは可能であるが、不透明部３３０があまり頻繁に移動しないことを保証するのが有益である。仮に不透明部３３０が定期的に移動する場合、ユーザ１３０は、当該不透明部３３０に気をとられる可能性がある。仮に不透明部３３０が画面上であちこちに移動する場合も同様に、ユーザ１３０が不透明部３３０の移動に気をとられて画像の本来のコンテンツに集中できなくなる可能性がある。これに対処するために、実施形態によっては、不透明部３３０は、割り当てられた画面位置にしか移動しない。この割り当てられた画面位置とは、画像の上部および下部のことである。また、画面の特定の領域におけるオブジェクトの数および／または動きの量が閾値を超える場合にのみ、不透明部３３０の配置位置を変えてもよい。
【００５５】
上述の実施形態では、左眼用画像および右眼用画像の両方に配置されるオブジェクトデータを用いて説明してきたが、本発明はこれに限定されない。オブジェクトデータを左眼用画像および右眼用画像の一方のみに配置してもよい。この場合、ユーザは他方の眼により、オブジェクトデータを有しない不透明部３３０が画像に挿入されているのを見ることになる。
【００５６】
上述の実施形態では、画面平面上に配置されるオブジェクトデータに言及して説明してきたが、本発明はこれに限定されない。詳細には、オブジェクトデータを、不透明部３３０よりも小さいＺ値を有する、Ｚ方向に沿う任意の位置に配置することができる。こうすることで、ユーザ１３０はオブジェクトデータ上に焦点を合わせることができる。
【００５７】
上述の実施形態では、ハードウェアに言及して説明してきたが、本発明はこれに限定されない。実施形態によっては、上記ハードウェアが実行する処理を、コンピュータ可読命令を含むコンピュータソフトウェアによって実行してもよい。これらのコンピュータ可読命令は、マイクロプロセッサ等によって読み出されるコンピュータプログラムを形成する。コンピュータプログラムは、光可読媒体、固体メモリデバイス、またはハードディスク等の記録媒体に記録することができる。コンピュータプログラムは、インターネット等のネットワークを介して信号として転送することができる。
【００５８】
本発明の例示的な実施形態を、添付の図面を参照しながら本明細書において詳述してきたが、本発明は上記実施形態に厳密に限定されないこと、および、添付の特許請求の範囲によって規定される本発明の範囲および精神から逸脱しない限り、当業者によって種々の変更および修正が可能であることを理解されたい。
【特許請求の範囲】
【請求項１】
画面に表示するためにオブジェクトデータを立体画像に挿入する方法であって、
フォアグラウンドコンポーネントを有する第１の画像と、前記第１の画像の前記フォアグラウンドコンポーネントに対して水平方向にずらしたフォアグラウンドコンポーネントを有する第２の画像とを前記画面に表示するために用意し、
前記画面に表示するために、第１の不透明部を前記第１の画像に挿入し、かつ、前記第１の画像の前記フォアグラウンドコンポーネントと前記第２の画像の前記フォアグラウンドコンポーネントとの間のずれ量未満のずれ量で前記第１の不透明部に対して水平方向にずらした前記第２の不透明部を前記第２の画像に挿入し、
前記オブジェクトデータを前記第１の不透明部上に挿入し、
前記オブジェクトデータが画面平面上に配置されたときに可視であるように、前記オブジェクトデータを、前記第１の画像における前記第１の不透明部に挿入された前記オブジェクトデータと同じ画素位置にある、前記第２の画像における前記第２の不透明部上の位置に挿入する
オブジェクトデータ挿入方法。
【請求項２】
請求項１に記載のオブジェクトデータ挿入方法であって、
連続した複数の画像間にわたる各画像の特定の領域におけるオブジェクトの数および／または動きの量に応じて算出される、前記第１の画像における位置に、前記第１の不透明部を挿入するステップをさらに含む
オブジェクトデータ挿入方法。
【請求項３】
請求項２に記載のオブジェクトデータ挿入方法であって、
前記第１の不透明部の前記挿入位置は、前記第１の画像における所定の閾値数のオブジェクトおよび／または所定の閾値量の動きに従って算出される
オブジェクトデータ挿入方法。
【請求項４】
請求項１に記載のオブジェクトデータ挿入方法であって、
前記第１の不透明部の前記挿入位置を示す位置情報を入力データストリームから抽出するステップをさらに含む
オブジェクトデータ挿入方法。
【請求項５】
請求項１に記載のオブジェクトデータ挿入方法であって、
前記第１の画像を分析し、当該分析結果を基に前記第１の不透明部の前記挿入位置を算出するステップをさらに含む
オブジェクトデータ挿入方法。
【請求項６】
請求項１に記載のオブジェクトデータ挿入方法であって、
前記不透明部の寸法は、前記オブジェクトデータのサイズおよび／または前記第１の画像における動きの量および／またはオブジェクトの数に従って算出される
オブジェクトデータ挿入方法。
【請求項７】
請求項１に記載のオブジェクトデータ挿入方法であって、
前記オブジェクトデータは、補足視覚コンテンツを含む
オブジェクトデータ挿入方法。
【請求項８】
請求項１に記載のオブジェクトデータ挿入方法であって、
前記第１の不透明部と前記第２の不透明部との間の前記ずれ量は、所定距離に固定される
オブジェクトデータ挿入方法。
【請求項９】
請求項８に記載のオブジェクトデータ挿入方法であって、
前記第１の不透明部と前記第２の不透明部との間の前記ずれ量は、前記画面の幅に対する割合で表される
オブジェクトデータ挿入方法。
【請求項１０】
請求項９に記載のオブジェクトデータ挿入方法であって、
前記画面の幅に対する前記割合は１％である
オブジェクトデータ挿入方法。
【請求項１１】
コンピュータに、請求項１に記載のオブジェクトデータ挿入方法の各ステップを実行させるプログラム。
【請求項１２】
請求項１１に記載のプログラムが記録されたコンピュータ可読記録媒体。
【請求項１３】
画面に表示するためにオブジェクトデータを立体画像に挿入する装置であって、
フォアグラウンドコンポーネントを有する第１の画像と、前記第１の画像の前記フォアグラウンドコンポーネントに対して水平方向にずらしたフォアグラウンドコンポーネントを有する第２の画像とを前記画面に表示するために用意する表示制御部を具備し、
前記表示制御部はさらに、前記画面に表示するために、第１の不透明部を前記第１の画像に挿入し、かつ、前記第１の画像の前記フォアグラウンドコンポーネントと前記第２の画像の前記フォアグラウンドコンポーネントとの間のずれ量未満のずれ量で前記第１の不透明部に対して水平方向にずらした前記第２の不透明部を前記第２の画像に挿入し、前記オブジェクトデータを前記第１の不透明部上に挿入し、前記オブジェクトデータが画面平面上に配置されたときに可視であるように、前記オブジェクトデータを、前記第１の画像における前記第１の不透明部に挿入された前記オブジェクトデータと同じ画素位置にある、前記第２の画像における前記第２の不透明部上の位置に挿入する
オブジェクトデータ挿入装置。
【請求項１４】
請求項１３に記載のオブジェクトデータ挿入装置であって、
前記表示制御部はさらに、連続した複数の画像間にわたる各画像の特定の領域におけるオブジェクトの数および／または動きの量に応じて算出される、前記第１の画像における位置に、前記第１の不透明部を挿入する
オブジェクトデータ挿入装置。
【請求項１５】
請求項１４に記載のオブジェクトデータ挿入装置であって、
前記第１の不透明部の前記挿入位置は、前記第１の画像における所定の閾値数のオブジェクトおよび／または所定の閾値量の動きに従って算出される
オブジェクトデータ挿入装置。
【請求項１６】
請求項１３に記載のオブジェクトデータ挿入装置であって、
前記表示制御部はさらに、前記第１の不透明部の前記挿入位置を示す位置情報を入力データストリームから抽出する
オブジェクトデータ挿入装置。
【請求項１７】
請求項１３に記載のオブジェクトデータ挿入装置であって、
前記表示制御部はさらに、前記第１の画像を分析し、当該分析結果を基に前記第１の不透明部の前記挿入位置を算出する
オブジェクトデータ挿入装置。
【請求項１８】
請求項１３に記載のオブジェクトデータ挿入装置であって、
前記不透明部の寸法は、前記オブジェクトデータのサイズおよび／または前記第１の画像における動きの量および／またはオブジェクトの数に従って算出される
オブジェクトデータ挿入装置。
【請求項１９】
請求項１３に記載のオブジェクトデータ挿入装置であって、
前記オブジェクトデータは、補足視覚コンテンツを含む
オブジェクトデータ挿入装置。
【請求項２０】
請求項１３に記載のオブジェクトデータ挿入装置であって、
前記第１の不透明部と前記第２の不透明部との間の前記ずれ量は、所定距離に固定される
オブジェクトデータ挿入装置。
【請求項２１】
請求項２０に記載のオブジェクトデータ挿入装置であって、
前記第１の不透明部と前記第２の不透明部との間の前記ずれ量は、前記画面の幅に対する割合で表される
オブジェクトデータ挿入装置。
【請求項２２】
請求項２１に記載のオブジェクトデータ挿入装置であって、
前記画面の幅に対する前記割合は１％である
オブジェクトデータ挿入装置。
【請求項１】
画面に表示するためにオブジェクトデータを立体画像に挿入する方法であって、
フォアグラウンドコンポーネントを有する第１の画像と、前記第１の画像の前記フォアグラウンドコンポーネントに対して水平方向にずらしたフォアグラウンドコンポーネントを有する第２の画像とを前記画面に表示するために用意し、
前記画面に表示するために、第１の不透明部を前記第１の画像に挿入し、かつ、前記第１の画像の前記フォアグラウンドコンポーネントと前記第２の画像の前記フォアグラウンドコンポーネントとの間のずれ量未満のずれ量で前記第１の不透明部に対して水平方向にずらした前記第２の不透明部を前記第２の画像に挿入し、
前記オブジェクトデータを前記第１の不透明部上に挿入し、
前記オブジェクトデータが画面平面上に配置されたときに可視であるように、前記オブジェクトデータを、前記第１の画像における前記第１の不透明部に挿入された前記オブジェクトデータと同じ画素位置にある、前記第２の画像における前記第２の不透明部上の位置に挿入する
オブジェクトデータ挿入方法。
【請求項２】
請求項１に記載のオブジェクトデータ挿入方法であって、
連続した複数の画像間にわたる各画像の特定の領域におけるオブジェクトの数および／または動きの量に応じて算出される、前記第１の画像における位置に、前記第１の不透明部を挿入するステップをさらに含む
オブジェクトデータ挿入方法。
【請求項３】
請求項２に記載のオブジェクトデータ挿入方法であって、
前記第１の不透明部の前記挿入位置は、前記第１の画像における所定の閾値数のオブジェクトおよび／または所定の閾値量の動きに従って算出される
オブジェクトデータ挿入方法。
【請求項４】
請求項１に記載のオブジェクトデータ挿入方法であって、
前記第１の不透明部の前記挿入位置を示す位置情報を入力データストリームから抽出するステップをさらに含む
オブジェクトデータ挿入方法。
【請求項５】
請求項１に記載のオブジェクトデータ挿入方法であって、
前記第１の画像を分析し、当該分析結果を基に前記第１の不透明部の前記挿入位置を算出するステップをさらに含む
オブジェクトデータ挿入方法。
【請求項６】
請求項１に記載のオブジェクトデータ挿入方法であって、
前記不透明部の寸法は、前記オブジェクトデータのサイズおよび／または前記第１の画像における動きの量および／またはオブジェクトの数に従って算出される
オブジェクトデータ挿入方法。
【請求項７】
請求項１に記載のオブジェクトデータ挿入方法であって、
前記オブジェクトデータは、補足視覚コンテンツを含む
オブジェクトデータ挿入方法。
【請求項８】
請求項１に記載のオブジェクトデータ挿入方法であって、
前記第１の不透明部と前記第２の不透明部との間の前記ずれ量は、所定距離に固定される
オブジェクトデータ挿入方法。
【請求項９】
請求項８に記載のオブジェクトデータ挿入方法であって、
前記第１の不透明部と前記第２の不透明部との間の前記ずれ量は、前記画面の幅に対する割合で表される
オブジェクトデータ挿入方法。
【請求項１０】
請求項９に記載のオブジェクトデータ挿入方法であって、
前記画面の幅に対する前記割合は１％である
オブジェクトデータ挿入方法。
【請求項１１】
コンピュータに、請求項１に記載のオブジェクトデータ挿入方法の各ステップを実行させるプログラム。
【請求項１２】
請求項１１に記載のプログラムが記録されたコンピュータ可読記録媒体。
【請求項１３】
画面に表示するためにオブジェクトデータを立体画像に挿入する装置であって、
フォアグラウンドコンポーネントを有する第１の画像と、前記第１の画像の前記フォアグラウンドコンポーネントに対して水平方向にずらしたフォアグラウンドコンポーネントを有する第２の画像とを前記画面に表示するために用意する表示制御部を具備し、
前記表示制御部はさらに、前記画面に表示するために、第１の不透明部を前記第１の画像に挿入し、かつ、前記第１の画像の前記フォアグラウンドコンポーネントと前記第２の画像の前記フォアグラウンドコンポーネントとの間のずれ量未満のずれ量で前記第１の不透明部に対して水平方向にずらした前記第２の不透明部を前記第２の画像に挿入し、前記オブジェクトデータを前記第１の不透明部上に挿入し、前記オブジェクトデータが画面平面上に配置されたときに可視であるように、前記オブジェクトデータを、前記第１の画像における前記第１の不透明部に挿入された前記オブジェクトデータと同じ画素位置にある、前記第２の画像における前記第２の不透明部上の位置に挿入する
オブジェクトデータ挿入装置。
【請求項１４】
請求項１３に記載のオブジェクトデータ挿入装置であって、
前記表示制御部はさらに、連続した複数の画像間にわたる各画像の特定の領域におけるオブジェクトの数および／または動きの量に応じて算出される、前記第１の画像における位置に、前記第１の不透明部を挿入する
オブジェクトデータ挿入装置。
【請求項１５】
請求項１４に記載のオブジェクトデータ挿入装置であって、
前記第１の不透明部の前記挿入位置は、前記第１の画像における所定の閾値数のオブジェクトおよび／または所定の閾値量の動きに従って算出される
オブジェクトデータ挿入装置。
【請求項１６】
請求項１３に記載のオブジェクトデータ挿入装置であって、
前記表示制御部はさらに、前記第１の不透明部の前記挿入位置を示す位置情報を入力データストリームから抽出する
オブジェクトデータ挿入装置。
【請求項１７】
請求項１３に記載のオブジェクトデータ挿入装置であって、
前記表示制御部はさらに、前記第１の画像を分析し、当該分析結果を基に前記第１の不透明部の前記挿入位置を算出する
オブジェクトデータ挿入装置。
【請求項１８】
請求項１３に記載のオブジェクトデータ挿入装置であって、
前記不透明部の寸法は、前記オブジェクトデータのサイズおよび／または前記第１の画像における動きの量および／またはオブジェクトの数に従って算出される
オブジェクトデータ挿入装置。
【請求項１９】
請求項１３に記載のオブジェクトデータ挿入装置であって、
前記オブジェクトデータは、補足視覚コンテンツを含む
オブジェクトデータ挿入装置。
【請求項２０】
請求項１３に記載のオブジェクトデータ挿入装置であって、
前記第１の不透明部と前記第２の不透明部との間の前記ずれ量は、所定距離に固定される
オブジェクトデータ挿入装置。
【請求項２１】
請求項２０に記載のオブジェクトデータ挿入装置であって、
前記第１の不透明部と前記第２の不透明部との間の前記ずれ量は、前記画面の幅に対する割合で表される
オブジェクトデータ挿入装置。
【請求項２２】
請求項２１に記載のオブジェクトデータ挿入装置であって、
前記画面の幅に対する前記割合は１％である
オブジェクトデータ挿入装置。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１２−９５２９０（Ｐ２０１２−９５２９０Ａ）
【公開日】平成２４年５月１７日（２０１２．５．１７）
【国際特許分類】
【出願番号】特願２０１１−２２２１７３（Ｐ２０１１−２２２１７３）
【出願日】平成２３年１０月６日（２０１１．１０．６）
【出願人】（５９３０８１４０８）ソニー ヨーロッパ リミテッド (93)
【Ｆターム（参考）】
【公開日】平成２４年５月１７日（２０１２．５．１７）
【国際特許分類】
【出願日】平成２３年１０月６日（２０１１．１０．６）
【出願人】（５９３０８１４０８）ソニー ヨーロッパ リミテッド (93)
【Ｆターム（参考）】
[ Back to top ]