説明

擬似立体画像信号生成装置、擬似立体画像信号生成方法および情報多重化装置

【課題】非立体画像から擬似立体画像を生成することを制限する。
【解決手段】チューナ201は、画像信号および画像信号の擬似立体化に関連する情報を取得する。擬似立体画像生成部204は、チューナ201が取得した画像信号から擬似立体画像信号を生成する。擬似立体化判定部205は、チューナ201が取得した擬似立体化に関連する情報に基づいて、擬似立体画像生成部204が擬似立体画像信号を生成することを制限する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、擬似立体画像信号を生成するための擬似立体画像信号生成方法、擬似立体画像信号生成装置および情報多重化装置に関する。
【背景技術】
【0002】
次世代テレビとして3Dテレビが注目されており、民生用としても販売が開始されている。しかしながら、3D放送についてはまだ充分にコンテンツがそろっているとは言えない状況である。また3Dコンテンツの制作には通常のコンテンツの制作以上にコストがかかることから、全ての番組を3D化することは困難である。
そこで、奥行き情報が明示的に与えられず、またはステレオ画像のように暗示的にも与えられていない2次元の静止画または動画(以下、非立体画像という)から、擬似的な立体画像(以下、擬似立体画像という)を生成する擬似立体画像生成装置が数多く発表され、実用化されている。以下、非立体画像から擬似立体画像を生成することを擬似立体化ともいう。
【0003】
例えば、特許第4214976号公報(特許文献1)には、非立体画像から擬似立体画像を生成する装置が記載されている。また特開2009−44722号公報(特許文献2)には、非立体画像から擬似立体画像を生成する際の最適なパラメータを制作者側が設定し、放送信号に重畳する方法が記載されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第4214976号公報
【特許文献2】特開2009−44722号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、著作権法の同一性保持権または翻案権により、著作権者に無許可で非立体画像で構成された番組から擬似立体画像を生成することは禁止されている。このため、非立体画像から擬似立体画像を生成することを制限することが望まれる。特許文献1および特許文献2には非立体画像から擬似立体画像を生成することを制限する方法は開示されていない。
【課題を解決するための手段】
【0006】
上記した課題を解決するために、本発明は次の(a)〜(f)の擬似立体画像生成装置を提供する。
(a)画像信号および前記画像信号の擬似立体化に関連する情報を取得する取得部(201)と、前記取得部が取得した前記画像信号から擬似立体画像信号を生成する擬似立体画像生成部(204)と、前記取得部が取得した前記擬似立体化に関連する情報に基づいて、前記擬似立体画像生成部が前記擬似立体画像信号を生成することを制限する制限部(205)とを有することを特徴とする擬似立体画像生成装置(200)。
(b)前記取得部が取得した前記擬似立体化に関連する情報に、擬似立体化パラメータ推奨値が含まれている場合、前記擬似立体化パラメータ推奨値を元に擬似立体化パラメータを決定し、前記擬似立体化パラメータ推奨値が含まれていない場合、所定の擬似立体化パラメータを元に前記擬似立体化パラメータを決定する、擬似立体化パラメータ決定部(205)を有し、前記擬似立体画像生成部(204)は、前記擬似立体化パラメータ決定部にて決定した前記擬似立体化パラメータを用いて、前記擬似立体画像信号を生成することを特徴とする(a)記載の擬似立体画像生成装置。
(c)前記擬似立体画像信号に基づいた擬似立体画像を表示する表示部の大きさと、前記表示部と視聴者との距離との、少なくとも一方を示す視聴条件を入力する入力部(209)を有し、前記擬似立体化パラメータ決定部は、前記入力部に入力された前記視聴条件を元に、前記擬似立体化パラメータを決定することを特徴とする(b)記載の擬似立体画像生成装置。
(d)前記擬似立体画像信号に基づいた擬似立体画像を表示する表示部の大きさと、前記表示部と視聴者との距離との、少なくとも一方を示す視聴条件を入力する入力部(209)を有し、前記制限部は、前記入力部に入力された前記視聴条件と、前記擬似立体化に関連する情報とに基づいて、前記擬似立体画像信号の生成を制限することを特徴とする(a)または(b)記載の擬似立体画像生成装置。
(e)前記制限部は、前記入力部に入力された前記視聴条件と、前記擬似立体化に関連する情報とに基づいて、前記擬似立体画像信号の生成を制限することを特徴とする(c)記載の擬似立体画像生成装置。
(f)前記擬似立体化パラメータを調整するための擬似立体化パラメータ調整部(205)を有することを特徴とする(b)〜(e)のいずれか1項に記載の擬似立体画像生成装置。
【0007】
また、上記した課題を解決するために、本発明は次の(g)〜(l)の擬似立体画像生成方法を提供する。
(g)画像信号および前記画像信号の擬似立体化に関連する情報を取得する取得ステップと、前記取得ステップにて取得した前記画像信号から擬似立体画像信号を生成する信号生成ステップと、前記取得ステップにて取得した前記擬似立体化に関連する情報に基づいて、前記信号生成ステップにて前記擬似立体画像信号を生成することを制限する制限ステップとを有することを特徴とする擬似立体画像生成方法。
(h)前記取得ステップにて取得した前記擬似立体化に関連する情報に、擬似立体化パラメータ推奨値が含まれている場合、前記擬似立体化パラメータ推奨値を元に擬似立体化パラメータを決定し、前記擬似立体化パラメータ推奨値が含まれていない場合、所定の擬似立体化パラメータを元に前記擬似立体化パラメータを決定する、擬似立体化パラメータ決定ステップを有し、前記信号生成ステップは、前記擬似立体化パラメータ決定ステップにて決定した前記擬似立体化パラメータを用いて、前記擬似立体画像信号を生成することを特徴とする(g)記載の擬似立体画像生成方法。
(i)前記擬似立体画像信号に基づいた擬似立体画像を表示する表示部の大きさと、前記表示部と視聴者との距離との、少なくとも一方を示す視聴条件を入力する入力ステップを有し、前記擬似立体化パラメータ決定ステップは、前記入力ステップにて入力された前記視聴条件を元に、前記擬似立体化パラメータを決定することを特徴とする(h)記載の擬似立体画像生成方法。
(j)前記擬似立体画像信号に基づいた擬似立体画像を表示する表示部の大きさと、前記表示部と視聴者との距離との、少なくとも一方を示す視聴条件を入力する入力ステップを有し、前記制限ステップは、前記入力ステップに入力された前記視聴条件と、前記擬似立体化に関連する情報とに基づいて、前記擬似立体画像信号の生成を制限することを特徴とする(g)または(h)記載の擬似立体画像生成方法。
(k)前記制限ステップは、前記入力ステップにて入力された前記視聴条件と、前記擬似立体化に関連する情報とに基づいて、前記擬似立体画像信号の生成を制限することを特徴とする(i)記載の擬似立体画像生成方法。
(l)前記擬似立体化パラメータを調整するための擬似立体化パラメータ調整ステップを有することを特徴とする(h)〜(k)のいずれか1項に記載の擬似立体画像生成方法。
【0008】
また、上記した課題を解決するために、本発明は次の(m)〜(p)の情報多重化装置および(q)の擬似立体画像生成プログラムを提供する。
(m)画像信号を入力する画像信号入力部(101)と、前記画像信号の擬似立体化に関連する情報を入力する情報入力部(103)と、前記画像信号に前記情報を多重化する情報多重化部(104)と、前記情報を多重化した前記画像信号を記憶する信号記憶部(105)とを有することを特徴とする情報多重化装置。
(n)前記擬似立体化に関連する情報は擬似立体化許可条件を含むことを特徴とする、(m)記載の情報多重化装置。
(o)前記擬似立体化に関連する情報は擬似立体化パラメータ推奨値を含むことを特徴とする、(m)又は(n)記載の情報多重化装置。
(p)前記画像信号の擬似立体化適合度を判定する、擬似立体化適合度判定部(102)を更に有し、情報多重化部は前記画像信号に擬似立体化適合度に関する情報を多重化することを特徴とする、(m)〜(o)のいずれかに記載の情報多重化装置。
(q)コンピュータに、取得した画像信号から擬似立体画像信号を生成する信号生成ステップと、取得した擬似立体化に関連する情報に基づいて、前記信号生成ステップにて前記擬似立体画像信号を生成することを制限する制限ステップとを実行させることを特徴とする擬似立体画像生成プログラム。
【発明の効果】
【0009】
本発明の擬似立体画像生成装置および番組情報多重化装置によれば、番組の著作権情報や技術情報に基づいて、擬似立体画像の生成を制限することができるので、著作権者や制作者側の望まない状態で擬似立体画像が生成されることを防止でき、著作者人格権や翻案権の保護ができる。
また擬似立体画像を生成することが制限されていない非立体画像でも、擬似立体画像の生成に適しているか否かの情報を付加することにより、視聴者がより番組毎に適した視聴環境で視聴できる。
【図面の簡単な説明】
【0010】
【図1】本発明の実施形態1に係る、番組放送側の装置と番組受信側の装置によるシステム構成を示すブロック図である。
【図2】本発明における擬似立体化許可条件の一実施形態を示す図である。
【図3】擬似立体化パラメータの一実施形態を示す図である。
【図4】基本奥行きモデルの画像の一例を示す図である。
【図5】基本奥行きモデルの画像の他の一例を示す図である。
【図6】基本奥行きモデルの画像の他の一例を示す図である。
【図7】本発明における擬似立体画像生成装置の動作を説明するためのフローチャートである。
【図8】本発明におけるOSD表示の一実施例を示す図である。
【図9】本発明におけるOSD表示の別の実施例を示す図である。
【図10】本発明におけるOSD表示の別の実施例を示す図である。
【図11】本発明の実施形態2に係る、番組制作側の装置と番組再生側の装置によるシステム構成を示すブロック図である。
【発明を実施するための形態】
【0011】
以下、本発明を実施するための最良の形態について、図面を参照して説明する。
【0012】
(実施形態1)
図1は本発明の実施形態1に係る、番組放送側の装置と番組受信側の装置によるシステム構成を示すブロック図である。
番組放送側の装置は番組情報多重化装置100と、番組情報多重化装置100から出力される信号を放送する放送信号送出装置500とから構成される。番組受信側の装置は擬似立体画像生成装置200と、擬似立体画像生成装置200に接続された表示装置300、記録装置400とから構成される。
表示装置300は立体画像を表示し音声を出力することができる装置で、例えば3Dテレビである。記録装置400は擬似立体画像生成装置200から出力される合成信号を記録するための装置で、例えばハードディスクレコーダやDVDレコーダである。
【0013】
番組情報多重化装置100は、番組信号入力部101、擬似立体化適合度判定部102、情報入力部103、番組情報多重化部104、信号記憶部105を備える。番組信号入力部101には、音声信号と画像信号からなる番組信号が入力される。番組信号は少なくとも画像信号を含み、画像信号だけで構成されていても良く、また画像信号と音声信号だけでなく、字幕データ等の付加データが含まれていても良い。また、番組信号に含まれる画像信号は非立体画像信号に限らず、立体画像信号でも良い。番組信号入力部101から入力された画像信号が立体画像信号である場合、後述する擬似立体化許可条件を、(1)許可しない、に設定すればよい。入力された番組信号は、擬似立体化適合度判定部102と番組情報多重化部104に送られる。擬似立体化適合度判定部102では、入力された番組信号の画像が擬似立体化に適している度合いを判定し、擬似立体化適合度として例えば8段階のレベルを付与し、3ビットのデータとして表す。
【0014】
具体的には擬似立体化適合度判定部102では、先ず入力された画像の奥行きデータを推定することにより、どのような画像で構成された番組なのかを分析する。画像の奥行きデータ推定技術としては、動画像の動き情報から画像の奥行き量を推定する技術や、画面内の所定領域における輝度信号の高域成分を分析することにより画像の奥行き量を推定する技術が知られている。分析は番組の一部の画像ではなく番組の全体を通じ、複数の画像を抽出して行うことが望ましい。分析の結果、擬似立体化適合度を判定する。番組が遠景だけの画像で構成されていたり、平面的な絵で構成されたアニメである場合には擬似立体化をすることにより、不自然な画像になることが予想されるので擬似立体化適合度は低い値となり、遠景から近景までの多様な画像で構成された番組の場合、擬似立体化適合度は高い値となる。
【0015】
情報入力部103へは、番組名等の一般的な情報の他、後述する擬似立体化許可条件と擬似立体化パラメータの推奨値が番組制作者によって入力される。
擬似立体化許可条件とは、擬似立体画像生成装置200が擬似立体化を行う際の条件であり、番組制作者が設定する。図2に、本実施形態における擬似立体化許可条件の一実施例を示す。
(1)許可しない、を入力した場合、いかなる条件下でも擬似立体化することが許可されない。
(2)無条件許可、を入力した場合、無条件で擬似立体化することが許可される。
(3)条件付許可、を入力した場合、更に許可条件1から許可条件4の少なくとも一つの許可条件を入力し、入力された許可条件を満たす場合のみ擬似立体化することが許可される。
【0016】
許可条件1は、擬似立体化した画像の、画面からの飛び出し度合いを制限するための条件である。例えば、擬似立体化した画像が画面に対し引っ込む方向にのみ擬似立体化することを許可し、画面から飛び出す方向へは許可しない。この制限を設定することで、番組制作者が好まない過剰な立体感を付与することを制限できる等の効果がある。
許可条件2は、ユーザが視聴する表示装置の画面サイズを制限するための条件である。例えば、通常家庭用に使用する画面サイズに対しては許可するが、大画面では許可しない。この制限を設定することで、商用目的で大画面のプロジェクタに映写すること等を防ぐことができる。
【0017】
許可条件3は、擬似立体画像の解像度を制限するための条件である。例えば非立体画像の解像度がHD解像度であった場合、そのままの解像度では擬似立体化を許可せず、SD解像度に変換する条件で擬似立体化を許可する。これは、後述する課金条件と組み合わせて、課金しない状態では解像度を落とした擬似立体画像とし、課金した場合に元の解像度を保って擬似立体化した画像を許可するという制限をつけることにより、ユーザに課金を促す等の効果がある。
【0018】
許可条件4は、ユーザの視聴距離を制限するための条件である。例えば、表示装置の表示部からユーザまでの距離となる視聴距離が所定の距離以上の場合のみ擬似立体化を許可し、ユーザが所定の距離以下の近距離で擬似立体画像を視聴することを防止する。これにより、ユーザが健康を害することを防止する等の効果がある。
許可条件4の視聴距離を選択する場合、合わせて許可条件2の画面サイズを選択して組み合わせた許可条件を設定しても良い。例えば、画面サイズが30インチの場合は視聴距離3m以上、画面サイズが40インチの場合は視聴距離4m以上、等の許可条件とすることもできる。
【0019】
更に、図示しないが、上記許可条件1〜4の他に以下のような許可条件を設定してもよい。
受信装置や受信した画像を表示する装置を限定する、またはその装置を製造販売する企業を特定して、対象装置のみに許可設定する条件。受信する地域を限定して、その地域に対してのみ許可設定する条件。受信可能な時期(日時や時間帯)を限定して、その時期に対してのみ許可設定する条件。視聴者との間で図示しない方法で認証を行い、視聴者が特定できる場合に対してのみ許可設定する条件。視聴者の年齢等や、そのレベル(例えば年齢のレベル(小学生以下、未成年、成人等)や、体調の状況)によって、許可/非許可を設定する条件。
【0020】
(4)課金条件付許可、を入力すると課金することが条件となり、ユーザが課金条件に同意した場合のみ擬似立体化を許可する。
(5)ダビング制限あり、を入力すると擬似立体化後の画像信号についてダビング制限される。この条件が設定されると擬似立体化後の画像の視聴はできるがダビングはできないので、擬似立体化した番組信号が二次的に流出することを防ぐことができる。ダビング制限なし、を入力すると、擬似立体化後の画像信号を自由にダビングすることができる。
番組制作者は(3)条件付許可〜(5)ダビング制限を組み合わせて設定することができる。また、擬似立体化許可条件は例えば8ビットのデータとして表される。
【0021】
擬似立体化パラメータとは、非立体画像から擬似立体画像を生成する際のパラメータであり、番組制作者はユーザが標準的な視聴条件で擬似立体画像を視聴することを想定して、番組毎やシーン毎に擬似立体化パラメータの推奨値を設定し、情報入力部103から入力する。図3に擬似立体化パラメータの一例を示す。
【0022】
パラメータ1は、基本奥行きモデルの合成比率を設定するパラメータである。基本奥行きモデルとは、例えば図4〜図6に示す奥行き感を有する画像である。図4に示す基本奥行きモデルAは、画像の上部および下部をそれぞれ凹状の球面としている。図5に示す基本奥行きモデルBは、画像の上部を縦方向に軸線を有する円筒面、画像の下部を凹状の球面としている。図6に示す基本奥行きモデルCは、画像の上部を平面、画像の下部を横方向に軸線を有する円筒面としている。
本実施形態では、図4〜図6に示す3種類の基本奥行きモデルA〜Cを合成する場合を説明するが、基本奥行きモデルの形状は上記に限定されるものではなく、また2種類であっても4種類以上であっても良いものである。
3種類の基本奥行きモデルA〜Cの合成比率は、非立体画像のシーンに合わせてパラメータ1を変えることにより可変とされる。この3種類の基本奥行きモデルA〜Cの合成比率を非立体画像のシーンによって変えることにより、非立体画像のシーンに、より適した擬似立体画像を得ることができるようになる。
【0023】
パラメータ1は、基本奥行きモデルAの合成比率k1を所定の値に換算したパラメータと基本奥行きモデルBの合成比率k2を所定の値に換算したパラメータを含み、各パラメータは例えば8ビットで表される。なお、基本奥行きモデルCの合成比率をk3とするとき、合成比率k1、k2、k3の合計は1である。
パラメータ2は、非立体画像信号のR信号成分に重み付けをするための重み付け係数を示し、例えば8ビットで表される。なお、R信号成分は、非立体画像信号から得られる三原色信号(RGB信号)より抽出される。そして、パラメータ2により、後述する擬似立体画像生成部204(図1)に入力される非立体画像信号の輝度差が強い場合であっても、不自然な擬似立体画像となることを抑制することができる。
パラメータ3は奥行き幅を示すパラメータであり、例えば8ビットで表される。パラメータ3により、擬似立体化された画像の奥行き幅を制御することができる。
パラメータ4は飛び出し量を示すパラメータであり、例えば8ビットで表される。パラメータ4により、擬似立体化された画像の画面からの飛び出し(または引っ込み)量を制御することができる。
【0024】
図1に戻り説明する。番組情報多重化部104は、番組信号入力部101から入力される番組信号に対し、擬似立体化適合度判定部102から入力される擬似立体化適合度を示すデータと、情報入力部103から入力される擬似立体化許可条件と擬似立体化パラメータ推奨値を示すデータを、番組情報として多重化する。
【0025】
多重化の方法は、画像符号化方式がMPEG−2の場合、MPEG−2画像符号化方式で規定されているユーザデータ領域を使用し、H.264/AVC方式の場合、H.264/AVC画像符号化方式で規定されているSEIメッセージを使用することが考えられる。また、擬似立体化許可条件と擬似立体化適合度を示すデータについては、例えば日本のデジタル放送規格であるARIB規格に記載されているTSパケットのパケット識別子に指定されるパレンタルレート記述子を拡張した制御データとして記述することにより多重化しても良い。パレンタルレート記述子は視聴年齢制限の記述をするための記述子であり、8ビットのフィールドの内0x01から0x0Fまでが年齢を定義する領域になっているが0x10から0xFFまでは事業者定義領域になっており、この事業者定義領域の一部を使用することで識別子を設定することができる。
番組情報が多重化された番組信号は信号記憶部105に一時蓄えられた後、放送信号送出装置500の要求によって放送信号送出装置500に送られ、放送信号送出装置500によって、放送波やCATV信号として送出される。
【0026】
擬似立体画像生成装置200は、チューナ201、番組情報抽出部202、音声信号処理部203、擬似立体画像生成部204、擬似立体化判定部205、OSD生成部206、信号合成部207、HDMI送出部208、ユーザ入力部209、ダビング出力部210、アンテナ211を備える。
【0027】
擬似立体画像生成装置200は、放送信号送出装置500から放送波として送出された信号をアンテナ211とチューナ201を介して受信するか、放送信号送出装置500からCATV(ケーブルテレビ)信号として送出された信号をチューナ201によって受信する。このように、チューナは画像信号および画像信号の擬似立体化に関する情報を取得する取得部である。チューナ201は受信した信号を番組情報抽出部202に供給する。
番組情報抽出部202は受け取った信号より、番組信号に多重化されている番組情報を抽出する。番組情報抽出後、音声信号は音声信号処理部203に、画像信号は擬似立体画像生成部204に送られ、擬似立体化パラメータ推奨値、擬似立体化許可条件、擬似立体化適合度を示すデータを含む番組情報信号は、擬似立体化判定部205に送られる。
擬似立体化判定部205は擬似立体画像生成部204に擬似立体画像を生成するか否か指示する。このように、擬似立体化判定部205は擬似立体画像の生成を制限する制限部の機能を持つ。また擬似立体化判定部205は、音声信号処理部203に画像信号の出力タイミングを擬似立体画像生成部204から出力される画像信号と調整する様指示する。音声信号処理部203は、例えば遅延回路を有しても良い。
【0028】
擬似立体化判定部205は、番組情報抽出部202で抽出された番組情報に基づき、オンスクリーンディスプレイ(以下、OSD)生成部206に、OSD信号の作成を指示する。信号合成部207は擬似立体画像生成部204から入力される画像信号にOSD生成部206で生成したOSD信号を合成し、音声信号処理部203から入力される音声信号を付加して、合成信号としてHDMI送出部208とダビング出力部210に供給する。HDMI送出部208から出力された合成信号は、表示装置300に入力され、画像信号およびOSD信号は表示され、音声信号は音声として出力される。OSDの表示はユーザ設定によって任意にオン/オフできるものとする。表示装置300に表示されたOSDに対し、ユーザは対話形式でユーザ入力部209から、視聴条件等を入力する。
ダビング出力部210からはダビング用の合成信号が出力される。出力された合成信号は記録装置400で記録媒体に記録される。ダビング出力部210から合成信号を出力するか否かは、擬似立体化判定部205によって制御される。
【0029】
擬似立体画像生成装置200の動作を、図7のフローチャートと図8〜図10のOSD表示例を用いて説明する。図7は擬似立体化判定部205の判定フローを表す。
ステップs1にて擬似立体化判定部205は、番組情報に基づいて擬似立体化を許可するか否かを判定する。擬似立体化許可条件が、許可しないである場合(s1/no)、ステップs20に進み擬似立体化を行わないことを示す判定信号を生成する。擬似立体化判定部205は擬似立体画像生成部204に対し、擬似立体化しないように指示し、擬似立体画像生成部204は、入力された画像信号を擬似立体化せず、信号合成部207に送る。音声信号処理部203では、擬似立体化しない画像信号とタイミングを合わせた音声信号を信号合成部207に送る。
【0030】
ここで、ステップs1からステップs20へ移行した場合に表示されるOSDの一例を図8に示す。
図8で画像状態とは、表示装置300に現在表示している画像の状態を表し、画像a1は非立体画像であることを示し、画像a2は元から立体画像であった場合を示し、画像a3は擬似立体化された画像であることを示す。擬似立体化許可条件は、画像b1が許可しない、画像b2が無条件許可、画像b3が条件付許可を示す。
図8に示すOSDは、画像状態が非立体画像であり、擬似立体化を許可しない場合に表示されるものである。すなわち、画像状態は非立体画像なので画像a1が選択され、擬似立体化許可条件は画像b1の許可しないが選択されている。
【0031】
再び図7を用いて説明する。ステップs1にて擬似立体化判定部205が許可すると判定した場合(s1/yes)、ステップs2に進み、許可条件の有無を判定する。ステップs2にて、許可条件がない(図2の(2)無条件許可)と判定すると(s2/no)、ステップs3に進み、例えば図9(A)に示すOSDが表示装置300に表示される。
【0032】
図9(A)でダビング制限とは、擬似立体化した画像のダビング制限の有無を表し、画像e1はダビング制限があることを示し、画像e2はダビング制限がないことを示す。画像fは付加されている8段階の擬似立体化適合度を示し、擬似立体化するか否かをユーザが判断する際の基準となる。3D変換ボタン画像hはボタン機能を有し、現画像を擬似立体化する時にユーザによって選択される。ボタン機能を有するとは、ユーザが画像を選択したと判断すると画像に割り当てられた動作を擬似立体化判定部205が行うことを言う。ボタン機能を有する画像は図中太線で囲んで示す。
【0033】
お試し視聴ボタン画像iはボタン機能を有し、簡易的に擬似立体化した画像を試しに視聴することができる。お試し視聴ボタン画像iが選択されると、擬似立体化パラメータ推奨値に基づく擬似立体化パラメータを用いて、擬似立体画像生成部204で擬似立体化された画像が表示装置300に表示される。数十秒後に自動的に擬似立体化は中断されて元の非立体画像が表示される。ユーザはこのお試し視聴で視聴した結果を、擬似立体化するかしないかの判断基準とすることができる。
図9(A)に示すOSD表示は、画像状態が非立体画像であり、擬似立体化許可条件が無条件許可であり、ダビング制限がなく、擬似立体化適合度が8段階中6である場合に表示されるものである。すなわち、画像状態は非立体画像なので画像a1が選択され、擬似立体化許可条件は画像b2の無条件許可が選択され、擬似立体化適合度は画像fで8段階中6が選択されている。
【0034】
再び図7に戻り、擬似立体化判定部205は、ステップs3にて3D変換ボタン画像hが選択されたと判定すると(s3/yes)、ステップs4にて図9(B)に示すOSDを表示装置300に表示させる。ユーザは、このOSDに沿って視聴条件を入力する。
図9(B)で、画面サイズ画像jはユーザが視聴している表示装置の画面サイズを入力するための画像である。視聴距離画像kはユーザと表示装置との距離である、ユーザ視聴距離を入力するための画像である。画像jとkの上下の三角の部分はボタン機能を有し、ユーザが上下いずれかの三角の部分を選択することで、表示されている数値を変更する。ユーザは所望の数値が表示されるまで三角の部分を選択すればよい。変換実行ボタン画像pはボタン機能を有し、視聴条件入力後に立体化を実行するよう制御するための画像である。
【0035】
図7に戻って説明する。ステップs4にて変換実行ボタン画像pが選択されたと判定すると、擬似立体化判定部205は、ステップs5にて、番組制作者が設定した擬似立体化パラメータの推奨値に対し、ユーザが入力した視聴条件を新たなパラメータとして更に演算した結果、擬似立体化パラメータを決定する。これは前述したように、番組制作者はユーザが標準的な視聴条件で擬似立体画像を視聴することを想定して擬似立体化パラメータ推奨値を設定するので、番組制作者の想定した標準的な視聴条件とユーザの入力した視聴条件の差に応じて擬似立体化パラメータの補正を行うものである。例えば、番組制作者が画面サイズ30インチを標準的な視聴条件と想定し、ユーザの視聴する画面サイズが50インチだったとすると、番組制作者の入力したパラメータで擬似立体化した画像は、画面から飛び出す画像は番組制作者の想定よりも飛び出し量が増し、左右画像の水平方向の視差が大きくなりすぎて結像しなくなる画像が出ることも想定される。このように、ユーザの視聴条件は擬似立体画像に大きな影響を与えるので、ユーザの視聴条件によって擬似立体化パラメータを補正する必要がある。
以上のように、擬似立体化判定部205は擬似立体化パラメータ決定部として機能する。
【0036】
続いてステップs6にて擬似立体化判定部205は、ダビング制限があるか否かを判定する。ダビング制限なしと判定すると(s6/no)、ステップs7に進み、擬似立体画像生成部204に擬似立体化パラメータを送り、同時に擬似立体化を指示し、ダビング出力部210に対して合成信号を出力する様に指示する。
【0037】
次に擬似立体化判定部205はステップs8に進み、図9(C)に示すOSDを擬似立体画像に重畳して表示させる。図9(C)に示すOSDで、奥行き調整ボタン画像m1とm2はボタン機能を有し、擬似立体化された画像の奥行き幅調整を行うための画像である。奥行き調整ボタン画像m1が選択される度に、擬似立体画像の奥行き幅は小さくなる方向に変化し、奥行き調整ボタン画像m2が選択される度に奥行き幅が大きくなる方向に変化する。飛び出し量調整ボタン画像n1とn2はボタン機能を有し、擬似立体化された画像の飛び出し量を調整するための画像である。飛び出し量調整ボタン画像n1が選択される度に擬似立体画像の飛び出し量は小さく、或いは画面から引っ込む方向に変化し、飛び出し量調整ボタン画像n2が選択される度に飛び出し量は大きく、或いは画面からの引っ込み量が小さくなる方向に変化する。
【0038】
ステップs8にて奥行き幅調整か飛び出し量調整が行われると、擬似立体化判定部205は調整指示をフィードバックし、ステップs5に再び戻って擬似立体化パラメータを改めて決定する。擬似立体化判定部205がステップs5からステップs8のループを繰り返すことで、ユーザは擬似立体化された画像を見ながら、自分の好みで立体感の調整をすることができる。
図9(C)における変換中止ボタン画像qはボタン機能を有し、擬似立体画像の生成を中止したいときにユーザが選択するための画像である。擬似立体化判定部205はステップs9で変換中止ボタン画像qが選択されたと判定すると、ステップs20に進み、擬似立体化は中断されて元の非立体画像に戻る。
【0039】
図9(C)に示すOSDは、画像状態が擬似立体化された画像であり、擬似立体化許可条件がなく、ダビング制限がない場合に表示されるものである。すなわち、画像状態は擬似立体化された画像を示す画像a3が選択され、擬似立体化許可条件は無条件許可を示す画像b2が選択され、ダビング制限は画像e2のなしが選択されている。
【0040】
図7に戻って説明する。擬似立体化判定部205がステップs6でダビング制限ありと判定すると(s6/yes)、ステップs10に進み擬似立体画像生成部204に擬似立体化パラメータを送り、同時に擬似立体化を指示する。ステップs10の状態のステップs7の状態に対する違いは、擬似立体信号生成部205がダビング出力部210に対し、合成信号を出力しないように指示する点である。信号合成部207からダビング出力部210へ供給された合成信号はダビング出力部から出力されない。以降のステップs11、s12、s20については、ステップs8、s9、s20と同様の流れである。
【0041】
続いて、擬似立体化判定部205がステップs2で擬似立体化許可条件ありと判定した場合(s2/yes)について説明する。擬似立体化判定部205はステップ13に進み、課金条件の有無を判定する。課金条件があると判定した場合、ステップs14に進み、ユーザによる課金設定が行われるとステップs15に進む。
【0042】
擬似立体画像生成装置200が受信した番組信号に疑似立体化許可条件が含まれる場合にステップs13で表示されるOSD例を図10(A)に示す。
図10(A)で画像cは擬似立体化許可条件の概要を示し、画像d1が課金条件あり、画像d2が課金条件なしを示す、課金設定ボタン画像gはボタン機能を有し、ユーザが課金設定ボタン画像gを選択することにより、図示しない課金設定画面に表示が移行する(ステップs14)。ユーザは課金設定画面を見ながら必要事項を入力し、課金設定の手続きを行うことができる。
【0043】
図10(A)に示すOSD表示は画像状態が非立体画像で、擬似立体化許可条件が条件付許可で許可条件1が設定されており、課金条件があり、ダビング制限がなく、擬似立体化適合度が8段階中6である場合に表示されるものである。すなわち、画像状態は非立体画像なので画像a1が選択され、擬似立体化許可条件は画像b3の条件付許可が選択され、画像cは許可条件1であることと許可条件の概要が示され、課金条件は画像d1のありが選択され、ダビング制限は画像e2のなしが選択され、擬似立体化適合度は8段階中6が選択されている。
【0044】
ステップs15ではステップs14の課金設定画面において入力されたデータが、課金条件をクリアしたか否かを判定する。ステップs13で課金条件がないと判定した場合(s13/no)または、ステップs15で課金条件をクリアしたと判定した場合(s15/yes)、ステップs16に進み、例えば図10(B)に示すOSDが表示装置300に表示される。
図10(B)に示すOSDの、図10(A)に示すOSDに対する違いは、図10(A)のOSDでは課金条件ありを示す画像d1が選択され、課金設定ボタン画像gが表示されていたのに対し、図10(B)に示すOSDでは課金条件なしを示す画像d2が選択され、課金設定ボタン画像gの表示がなくなり、3D変換ボタン画像hとお試し視聴ボタン画像iが表示されている点である。
【0045】
ユーザは図10(B)に示すOSD表示を見て、画像b1〜b3の擬似立体化許可条件と画像fの擬似立体化適合度を確認し、またお試し視聴ボタン画像iにより擬似立体化した画像を簡易的に確認することができる。これに基づきユーザは擬似立体化するかしないかを判断する。擬似立体化する場合、ユーザは3D変換ボタン画像hを選択する。
ステップs16にて、3D変換ボタン画像hが選択されたと判断すると(s16/yes)、ステップs17に進み、図10(C)に示すOSDが表示され、ユーザはこのOSDに沿って視聴条件を入力する。視聴条件の入力方法は、図9(B)において説明した内容と同様である。
【0046】
視聴条件入力後、変換実行ボタン画像pが選択されると、擬似立体化判定部205はステップs18にて、擬似立体化許可条件が視聴条件と関連しているか否かを判定する。関連していると判定した場合(s18/yes)、ステップs19に進む。
ステップs19では、ユーザの入力した視聴条件が擬似立体化許可条件に合致しているか否か判定を行う。擬似立体化許可条件が許可条件2の画面サイズであった場合、ユーザが入力した画面サイズの値が擬似立体化許可条件に合致しているか否かが判定される。例えば、擬似立体化許可条件が50インチ未満と設定されている場合、入力した画面サイズが50インチ未満であれば、擬似立体化が許可され、50インチ以上であれば擬似立体化は許可されない。擬似立体化許可条件が許可条件4のユーザ視聴距離であった場合、ユーザが入力した視聴距離の値が擬似立体化許可条件に合致しているか否かが判定される。例えば、擬似立体化許可条件が3m以上に設定されている場合、ユーザが入力した視聴距離が3m以上の場合のみ擬似立体化が許可され、3m未満の場合には擬似立体化は許可されない。
【0047】
ステップs19で、ユーザ視聴条件が擬似立体化許可条件に合致しないと判定した場合、ステップs20に進み、擬似立体化を実行しない。
一方、ステップs18で擬似立体化許可条件が視聴条件と関連していないと判定した場合(s18/no)、およびステップs19で視聴条件が擬似立体化許可条件と合致していると判定した場合(s19/yes)、ステップs5に進む。ステップs5にて、擬似立体化判定部205は、番組制作者が入力した擬似立体化パラメータの推奨値に対し、ユーザが入力した視聴条件を新たなパラメータとして更に演算した結果、擬似立体化パラメータを決定する。
【0048】
続いてステップs6に進む、ステップs6以降の流れは擬似立体化判定部205がステップs2で擬似立体化許可条件がないと判定した場合と基本的に同様であるが、擬似立体化許可条件の内容によっては、擬似立体化後の画像に対しユーザが調整できる調整範囲が制限される場合がある。図10(D)を用いて、ユーザが調整できる調整範囲が制限される場合の一例を説明する。
図10(D)に示すOSDは、画像状態が擬似立体化された画像であり、擬似立体化許可条件が条件付許可で、許可条件が許可条件1で、ダビング制限なしの場合に表示されるものである。すなわち、画像状態は擬似立体化された画像であることを示す画像a3が選択され、擬似立体化許可条件が条件付許可であることを示す画像b3が選択され、画像cは許可条件が許可条件1であることと許可条件の概要を示し、ダビング制限がないことを示す画像e2が選択されている。
【0049】
図9(C)でも説明したように、奥行き幅調整ボタン画像m1とm2は擬似立体化された画像の奥行き幅調整を行うための画像であり、飛び出し量調整ボタン画像n1とn2は擬似立体化された画像の飛び出し量の調整を行うための画像である。図9(C)では奥行き幅調整ボタン画像m1とm2と飛び出し量調整ボタン画像n1とn2が選択可能であったが、図10(C)では飛び出し量が大きくなる方向に調製するための、飛び出し量調整ボタン画像n2だけ選択不可となっている。これは、擬似立体化許可条件が許可条件1の画面引っ込み方向のみ許可であり、画像が飛び出す方向への調整が許可されていないためである。
【0050】
(実施形態2)
図11は本発明の実施形態2に係る、番組制作側の装置と番組再生側の装置によるシステム構成を示すブロック図である。図中、図1と共通する部分には同じ番号を付与する。実施形態1では放送される番組について、擬似立体画像の生成を制限する内容としたが、実施形態2では、DVDやBD等のディスクやSDカード等の記録媒体に記録されて流通するコンテンツについて擬似立体画像の生成を制限する。
【0051】
図1では番組情報多重化装置100から出力された信号を放送信号送出装置500で送出したが、図11では放送信号送出装置500で送出する代わりに、記録媒体生成装置600にて記録媒体の生成を行う。図11の擬似立体画像生成装置700は、図1の擬似立体化装置200を構成するアンテナ211とチューナ201の代わりに信号再生部701を備える。信号再生部701は画像信号および画像信号の擬似立体化に関する情報を取得する取得部である。信号再生部701は、記録媒体生成装置600で生成された記録媒体から記録信号を再生し、番組情報抽出部202へ供給する。
また、実施形態1では放送信号を前提としたため番組情報多重化の方法として、ARIB規格に記載されているTSパケットのパケット識別子に指定されるパレンタルレート記述子を拡張した制御データとして記述する例を示したが、実施形態2ではDVDやBDの記録情報を記述するコンテンツに対応するビデオマネージャー領域に記録するか、または立体化パラメータ推奨値と同様にMPEG−2のユーザ領域に記述する点が異なる。
【0052】
実施形態2に説明したシステムにより、DVDやBD等のディスクやSDカード等の媒体に記録されて流通するコンテンツについても著作権情報や技術情報に基づいて、制作者側が擬似立体画像の生成を制限することができる。
【0053】
なお、本発明は上記した装置の機能をコンピュータに実現させるためのプログラムを含むものである。これらのプログラムは、記録媒体から読み取られてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。ハードウェアとソフトウェア(プログラム)との組合せは任意である。
擬似立体画像生成プログラムは、少なくともコンピュータに取得した画像信号から擬似立体画像信号を生成する信号生成ステップと、取得した擬似立体化に関連する情報に基づいて、前記信号生成ステップにて前記擬似立体画像信号を生成することを制限する制限ステップとを実行させればよい。更にコンピュータに、画像信号および前記画像信号の擬似立体化に関連する情報を取得する取得ステップを実現させてもよい。また更にコンピュータに、擬似立体化に関連する情報に、擬似立体化パラメータ推奨値が含まれている場合、擬似立体化パラメータ推奨値を元に擬似立体化パラメータを決定し、擬似立体化パラメータ推奨値が含まれていない場合、所定の擬似立体化パラメータを元に前記擬似立体化パラメータを決定する擬似立体化パラメータ決定ステップを実現させてもよい。
【符号の説明】
【0054】
100 情報多重化装置
101 番組信号入力部
102 擬似立体化適合度判定部
103 情報入力部
104 番組情報多重化部
105 信号記憶部
200 擬似立体画像生成装置
201 チューナ(取得部)
204 擬似立体画像生成部
205 擬似立体化判定部(制限部、擬似立体化パラメータ決定部)
209 ユーザ入力部
700 擬似立体画像生成装置
701 信号再生部(取得部)



【特許請求の範囲】
【請求項1】
画像信号および前記画像信号の擬似立体化に関連する情報を取得する取得部と、
前記取得部が取得した前記画像信号から擬似立体画像信号を生成する擬似立体画像生成部と、
前記取得部が取得した前記擬似立体化に関連する情報に基づいて、前記擬似立体画像生成部が前記擬似立体画像信号を生成することを制限する制限部と
を有することを特徴とする擬似立体画像生成装置。
【請求項2】
前記取得部が取得した前記擬似立体化に関連する情報に、擬似立体化パラメータ推奨値が含まれている場合、前記擬似立体化パラメータ推奨値を元に擬似立体化パラメータを決定し、前記擬似立体化パラメータ推奨値が含まれていない場合、所定の擬似立体化パラメータを元に前記擬似立体化パラメータを決定する、擬似立体化パラメータ決定部を有し、
前記擬似立体画像生成部は、前記擬似立体化パラメータ決定部にて決定した前記擬似立体化パラメータを用いて、前記擬似立体画像信号を生成することを特徴とする請求項1記載の擬似立体画像生成装置。
【請求項3】
前記擬似立体画像信号に基づいた擬似立体画像を表示する表示部の大きさと、前記表示部と視聴者との距離との、少なくとも一方を示す視聴条件を入力する入力部を有し、
前記擬似立体化パラメータ決定部は、前記入力部に入力された前記視聴条件を元に、前記擬似立体化パラメータを決定することを特徴とする請求項2記載の擬似立体画像生成装置。
【請求項4】
前記擬似立体画像信号に基づいた擬似立体画像を表示する表示部の大きさと、前記表示部と視聴者との距離との、少なくとも一方を示す視聴条件を入力する入力部を有し、
前記制限部は、前記入力部に入力された前記視聴条件と、前記擬似立体化に関連する情報とに基づいて、前記擬似立体画像信号の生成を制限することを特徴とする請求項1または2記載の擬似立体画像生成装置。
【請求項5】
前記制限部は、前記入力部に入力された前記視聴条件と、前記擬似立体化に関連する情報とに基づいて、前記擬似立体画像信号の生成を制限することを特徴とする請求項3記載の擬似立体画像生成装置。
【請求項6】
前記擬似立体化パラメータを調整するための擬似立体化パラメータ調整部を有することを特徴とする請求項2〜5のいずれか1項に記載の擬似立体画像生成装置。
【請求項7】
画像信号および前記画像信号の擬似立体化に関連する情報を取得する取得ステップと、
前記取得ステップにて取得した前記画像信号から擬似立体画像信号を生成する信号生成ステップと、
前記取得ステップにて取得した前記擬似立体化に関連する情報に基づいて、前記信号生成ステップにて前記擬似立体画像信号を生成することを制限する制限ステップと
を有することを特徴とする擬似立体画像生成方法。
【請求項8】
前記取得ステップにて取得した前記擬似立体化に関連する情報に、擬似立体化パラメータ推奨値が含まれている場合、前記擬似立体化パラメータ推奨値を元に擬似立体化パラメータを決定し、前記擬似立体化パラメータ推奨値が含まれていない場合、所定の擬似立体化パラメータを元に前記擬似立体化パラメータを決定する、擬似立体化パラメータ決定ステップを有し、
前記信号生成ステップは、前記擬似立体化パラメータ決定ステップにて決定した前記擬似立体化パラメータを用いて、前記擬似立体画像信号を生成することを特徴とする請求項7記載の擬似立体画像生成方法。
【請求項9】
前記擬似立体画像信号に基づいた擬似立体画像を表示する表示部の大きさと、前記表示部と視聴者との距離との、少なくとも一方を示す視聴条件を入力する入力ステップを有し、
前記擬似立体化パラメータ決定ステップは、前記入力ステップにて入力された前記視聴条件を元に、前記擬似立体化パラメータを決定することを特徴とする請求項8記載の擬似立体画像生成方法。
【請求項10】
前記擬似立体画像信号に基づいた擬似立体画像を表示する表示部の大きさと、前記表示部と視聴者との距離との、少なくとも一方を示す視聴条件を入力する入力ステップを有し、
前記制限ステップは、前記入力ステップに入力された前記視聴条件と、前記擬似立体化に関連する情報とに基づいて、前記擬似立体画像信号の生成を制限することを特徴とする請求項7または8記載の擬似立体画像生成方法。
【請求項11】
前記制限ステップは、前記入力ステップにて入力された前記視聴条件と、前記擬似立体化に関連する情報とに基づいて、前記擬似立体画像信号の生成を制限することを特徴とする請求項9記載の擬似立体画像生成方法。
【請求項12】
前記擬似立体化パラメータを調整するための擬似立体化パラメータ調整ステップを有することを特徴とする請求項8〜11のいずれか1項に記載の擬似立体画像生成方法。
【請求項13】
画像信号を入力する画像信号入力部と、
前記画像信号の擬似立体化に関連する情報を入力する情報入力部と、
前記画像信号に前記情報を多重化する情報多重化部と、
前記情報を多重化した情報多重化済み画像信号を記憶する信号記憶部と
を有することを特徴とする情報多重化装置。
【請求項14】
前記擬似立体化に関連する情報は擬似立体化許可条件を含むことを特徴とする、請求項13記載の情報多重化装置。
【請求項15】
前記擬似立体化に関連する情報は擬似立体化パラメータ推奨値を含むことを特徴とする、請求項13又は請求項14記載の情報多重化装置。
【請求項16】
前記画像信号の擬似立体化適合度を判定する、擬似立体化適合度判定部を更に有し、
情報多重化部は前記画像信号に擬似立体化適合度に関する情報を多重化することを特徴とする、請求項13〜15のいずれか1項に記載の情報多重化装置。
【請求項17】
コンピュータに、
取得した画像信号から擬似立体画像信号を生成する信号生成ステップと、
取得した擬似立体化に関連する情報に基づいて、前記信号生成ステップにて前記擬似立体画像信号を生成することを制限する制限ステップと
を実行させることを特徴とする擬似立体画像生成プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate


【公開番号】特開2011−223543(P2011−223543A)
【公開日】平成23年11月4日(2011.11.4)
【国際特許分類】
【出願番号】特願2010−158986(P2010−158986)
【出願日】平成22年7月13日(2010.7.13)
【出願人】(308036402)株式会社JVCケンウッド (1,152)
【Fターム(参考)】