画像表示装置、画像表示方法
【課題】 音声を発するオブジェクトとその他のオブジェクトとを同画面内で表示する場合、オブジェクトと音声との対応関係を分かり易くすべく、オブジェクトの配置位置を制御する為の技術を提供すること。
【解決手段】 子画像配置部５０３は、データストリームに含まれてるそれぞれの画素ブロックを再生することで、表示画面上に前記親画像を表示させる。表示可能領域特定部５０２は、データストリームを解析し、オブジェクトの領域に含まれていない画素ブロックを、非オブジェクト画素ブロックとして特定する。子画像配置部５０３は、表示画面上に子画像を表示させる。その際、子画像配置部５０３は、非オブジェクト画素ブロックの集合で構成される領域内で子画像が収まる位置に子画像を配置して表示する。
【解決手段】 子画像配置部５０３は、データストリームに含まれてるそれぞれの画素ブロックを再生することで、表示画面上に前記親画像を表示させる。表示可能領域特定部５０２は、データストリームを解析し、オブジェクトの領域に含まれていない画素ブロックを、非オブジェクト画素ブロックとして特定する。子画像配置部５０３は、表示画面上に子画像を表示させる。その際、子画像配置部５０３は、非オブジェクト画素ブロックの集合で構成される領域内で子画像が収まる位置に子画像を配置して表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像情報と音声情報とを再生するための技術に関するものである。
【背景技術】
【０００２】
近年、コンテンツの受信側或いは表示側としてのコンシューマ向け映像表示機器が、複数の画像や映像を合成して１つの画面を構成することが、ごく普通に行われるようになった。それに伴い、単にピクチャーインピクチャーやスーパーインポーズを行うのではなく、視聴者の利便性に合わせて、複数コンテンツの表示を組み合わせるための技術が求められている。
【０００３】
複数コンテンツの表示状態や合成方法を判断する方法として、従来では、親画面の映像の特徴検出を利用する方法と、画面内の特定のオブジェクトから得る座標情報を利用する方法と、がある。
【０００４】
親画面の映像の特徴検出を利用する方法には、オンスクリーン表示情報が表示されている表示情報や映像信号の動きを検出し、動きのある場合には表示画面の状態を変更する方法（特許文献１）がある。
【０００５】
また、画面内の特定のオブジェクトから得る座標情報を利用する方法には、次のような方法がある（特許文献２）。即ち、ゲーム空間の画像を構成する際、特定オブジェクトにおいて発せられた言葉や音等を視聴者に伝える為の文字画像の表示状態をゲームの状況に応じて変化させる方法である。
【特許文献１】特開2005-242204号公報
【特許文献２】特開2005-192878号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した従来技術を用いても、視聴者の望む表示状態を予測しながら、複数画面を自動的に構成することは難しい。
【０００７】
特許文献１のように動き検出を利用する場合、次のような問題が生じうる。即ち、画面全体が動くカメラワークによる映像やシーンチェンジ等のように連続性が乏しい場合、視聴者にとって意味のない周囲の動きに合わせて表示を構成してしまう等、視聴者の注目個所の自動判定に困難が伴う場合がある。これにより、結果として、視聴者の望む表示状態を合成することができず、視聴者にストレスを与えることになる。
【０００８】
また、特許文献２のように、特定のオブジェクトの座標情報を用いる場合、次のような問題が生じうる。即ち、視聴者やゲームのプレイヤが何らかの形で座標取得すべきオブジェクトを指示したり、予め表示コンテンツの予測を行う必要がある。連続性の乏しいコンテンツを視聴する場合、視聴者が注目するオブジェクトの座標を取得、更新しながら、自動的に表示状態を変更することが難しい。
【０００９】
本発明は上記問題に鑑みて成されたものであり、音声を発するオブジェクトとその他のオブジェクトとを同画面内で表示する場合、オブジェクトと音声との対応関係を分かり易くすべく、オブジェクトの配置位置を制御する為の技術を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の目的を達成するために、例えば、本発明の画像表示装置は以下の構成を備える。
【００１１】
即ち、オブジェクトを含む画像を複数の画素ブロックに分割した場合に当該オブジェクトの領域を含む画素ブロックについては前記オブジェクトに関連する音声情報を関連付けることで形成された前記画像のデータストリームを入力し、入力されたデータストリームに基づいて再生する画像を親画像とし、前記データストリーム以外のデータに基づいて再生する画像を子画像とし、前記子画像を前記親画像に重ねて表示する画像表示装置であって、
前記データストリームに含まれているそれぞれの画素ブロックを再生することで、表示画面上に前記親画像を表示させる手段と、
前記データストリームを解析し、前記オブジェクトの領域に含まれていない画素ブロックを、非オブジェクト画素ブロックとして特定する特定手段と、
前記表示画面上に前記子画像を表示させる制御手段と、
前記データストリームに含まれている音声情報に基づく音声信号を出力する手段とを備え、
前記制御手段は、前記非オブジェクト画素ブロックの集合で構成される領域内で前記子画像が収まる位置に前記子画像を配置して表示することを特徴とする。
【００１２】
本発明の目的を達成するために、例えば、本発明の画像表示方法は以下の構成を備える。
【００１３】
即ち、オブジェクトを含む画像を複数の画素ブロックに分割した場合に当該オブジェクトの領域を含む画素ブロックについては前記オブジェクトに関連する音声情報を関連付けることで形成された前記画像のデータストリームを入力し、入力されたデータストリームに基づいて再生する画像を親画像とし、前記データストリーム以外のデータに基づいて再生する画像を子画像とし、前記子画像を前記親画像に重ねて表示する画像表示装置が行う画像表示方法であって、
前記データストリームに含まれているそれぞれの画素ブロックを再生することで、表示画面上に前記親画像を表示させる工程と、
前記データストリームを解析し、前記オブジェクトの領域に含まれていない画素ブロックを、非オブジェクト画素ブロックとして特定する特定工程と、
前記表示画面上に前記子画像を表示させる制御工程と、
前記データストリームに含まれている音声情報に基づく音声信号を出力する工程とを備え、
前記制御工程では、前記非オブジェクト画素ブロックの集合で構成される領域内で前記子画像が収まる位置に前記子画像を配置して表示することを特徴とする。
【発明の効果】
【００１４】
本発明の構成によれば、音声を発するオブジェクトとその他のオブジェクトとを同画面内で表示する場合、オブジェクトと音声との対応関係を分かり易くすべく、オブジェクトの配置位置を制御することができる。
【発明を実施するための最良の形態】
【００１５】
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。
【００１６】
［第１の実施形態］
本実施形態では、１つの画面内に親画像としての画像を表示させると共に、係る親画像上の何れかの箇所に子画像を重畳表示させる。なお、親画像内には複数のオブジェクトが表示されていると共に、それぞれのオブジェクトは音声を発する。従って、子画像を親画像上に重畳表示させる場合には、子画像は親画像上に表示されている何れのオブジェクトとも重ならないように表示する。
【００１７】
以下、本実施形態に係る技術について、より詳細に説明する。
【００１８】
図１は、親画像の表示例を示す図である。図１に示す如く、親画像１０１内にはオブジェクト１０３とオブジェクト１０２とが配置されており、それぞれのオブジェクト１０２，１０３は音声を発しうる。従って、係る親画像１０１を再生する装置は、係る親画像１０１を表示するための表示画面を有すると共に、それぞれのオブジェクト１０２，１０３に対応する音声情報を出力するためのスピーカを有する。
【００１９】
ここで、係る親画像１０１上に子画像を重畳表示する場合を考える。
【００２０】
図２は、親画像１０１上に子画像２０１を重畳表示させた場合の表示例を示す図である。図２では、親画像１０１上に子画像２０１を重畳表示させることによって、オブジェクト１０２が子画像２０１に隠蔽されている（図２では隠蔽されているオブジェクト１０２は点線で示している）。このように、子画像２０１を親画像１０１上の固定位置に表示させてしまうと、オブジェクト１０２，１０３のそれぞれの位置によっては隠蔽されてしまうことになる（図２の場合はオブジェクト１０２が隠蔽されている）。
【００２１】
係る点、本実施形態では、親画像１０１上に表示されているオブジェクトの位置を鑑み、子画像２０１の表示位置を適宜変更する。
【００２２】
図５は、本実施形態に係る画像表示装置５００の機能構成例を示すブロック図である。係る画像表示装置５００は、コンシューマ向けの画像表示装置である。
【００２３】
図５に示す如く、本実施形態に係る画像表示装置５００は入力部５０１、表示可能領域特定部５０２、子画像配置部５０３、音声合成部５０４、により構成されており、更に、係る画像表示装置５００には、表示部５０５と音声出力部５０６とが接続されている。なお、図５では、表示部５０５と音声出力部５０６とは画像表示装置５００とは別個の装置としているが、表示部５０５と音声出力部５０６とを画像表示装置５００と一体化させても良い。
【００２４】
入力部５０１には、親画像に対応するデータストリーム５５０と、子画像に対応するデータストリーム５６０と、が入力される。なお、それぞれのデータストリームは、１枚の静止画像に対するものであっても良いし、動画像を構成するフレーム毎のものであっても良い。
【００２５】
ここで、入力部５０１に入力されるデータストリーム５５０，５６０について説明する。
【００２６】
データストリーム５５０には、タイル群データ５５２と音声情報５５１ａ、５５１ｂが含まれている。
【００２７】
タイル群データ５５２は、親画像を複数の画素ブロック（タイル）に分割し、分割したそれぞれのタイルを一列に並べることで形成されたものである。図５では、タイル群データ５５２は、タイル０〜タイル６３のタイル群で構成されている。即ち、図５では、親画像は６４個のタイルに分割され、分割された６４個のタイルを一列に並べることでタイル群データ５５２を形成している。
【００２８】
また、親画像には、１以上のオブジェクトが含まれており、オブジェクトの領域を含むタイルについては、このオブジェクトに関連する音声情報が関連付けられる。図５では、タイル０〜タイル７には、同じオブジェクト（オブジェクトＸ）が含まれているので、タイル０〜タイル７にはオブジェクトＸが発するものとして予め作成された音声情報５５１ａが関連付けられている。同様に、タイル３１〜タイル５０には、同じオブジェクト（オブジェクトＹ）が含まれているので、タイル３１〜タイル５０にはオブジェクトＹが発するものとして予め作成された音声情報５５１ｂが関連付けられている。もちろん、オブジェクトを含まないタイルについては、音声情報は関連付けない。
【００２９】
このように、データストリーム５５０には、親画像がタイル毎に管理されていると共に、オブジェクトを含むタイルにはこのオブジェクトに関連する音声情報が関連付けられている。
【００３０】
なお、データストリーム５６０についても基本構造はデータストリーム５５０と同じである。もちろん、タイル数や音声情報の関連付け先がデータストリーム５５０とデータストリーム５６０とで異なっていても良い。
【００３１】
また、データストリーム５５０、データストリーム５６０は、周知の技術でもって作成しうるものであり、これらのデータストリーム５５０、５６０についてのこれ以上の説明は省略する。
【００３２】
本実施形態の構成は、２以上のデータストリームを入力することができる構成を有しているが、以下では説明を簡単にするために、データストリーム５５０、５６０の２つのみが入力される場合について説明する。しかし、３以上のデータストリームが入力された場合であったとしても、そのうちの１つを親データストリーム、残りを子データストリームとして扱えば、以下の説明は同様に適用することができる。
【００３３】
また、入力部５０１によるデータストリーム５５０、５６０の取得形態については特に限定するものではない。例えば、無線若しくは有線のネットワークを介して外部の装置から受信しても良いし、画像表示装置５００が有するハードディスクドライブ装置などの外部メモリからロードすることで取得しても良い。
【００３４】
入力部５０１は、データストリーム５５０、５６０を受けると、受けたデータストリーム５５０、５６０を表示可能領域特定部５０２、音声合成部５０４に送出する。
【００３５】
表示可能領域特定部５０２は、データストリーム５５０、５６０のうち、親データストリームとして予め定められているデータストリーム５５０を解析する。より詳しくは、音声情報５５１ａ、５５１ｂが関連付けられていないタイルを特定する。図５の場合、タイル８〜タイル３０、タイル５１〜タイル６３を特定する。音声情報５５１ａ、５５１ｂが関連付けられていないタイルとは、換言すれば、オブジェクトを含まないタイルのことである。従って、換言すれば、表示可能領域特定部５０２は、オブジェクトを含まないタイル（非オブジェクト画素ブロック）を特定する。
【００３６】
図３は、図１に示した画像を親画像とした場合に、係る親画像において特定した非オブジェクト領域を示す図である。図３において、３０１は、オブジェクト１０３を含むタイルの集合で構成されている領域であり、３０３は、オブジェクト１０２を含むタイルの集合で構成されている領域である。従って、図３に示した親画像１０１については、表示可能領域特定部５０２は、領域３０１、３０３以外の領域を構成するタイルで構成されている領域を、非オブジェクト領域として特定する。
【００３７】
そして、表示可能領域特定部５０２は、非オブジェクト画素ブロックを特定する為の情報、例えば、非オブジェクト画素ブロックのブロック番号を、データストリーム５５０、５６０と共に、後段の子画像配置部５０３に送出する。
【００３８】
子画像配置部５０３は先ず、データストリーム５５０に含まれているタイル群データ５５２を構成する各タイルのデータを順次配置（再生）して、親画像を構成する。また、子画像配置部５０３はデータストリーム５６０に含まれているタイル群データを構成する各タイルのデータを順次配置（再生）して、子画像を構成する。次に、子画像配置部５０３は、親画像において、非オブジェクト画素ブロックで構成されている領域（非オブジェクト領域）を特定する。そして特定した非オブジェクト領域内に収まるように、子画像を非オブジェクト領域内に配置する。子画像の縦横のサイズは、子画像を構成した時点で分かるので、後は、非オブジェクト領域内で、このサイズの子画像が収まるような子画像配置領域を求め、求めた領域内に子画像を配置すればよい。図３では、領域３０２が、子画像を配置可能な領域として特定される。
【００３９】
図４は、領域３０２内に子画像２０１を配置した場合の親画像１０１と子画像２０１とを示す図である。
【００４０】
これにより、親画像上に子画像を重畳配置した画面を構成することができる。加えて、子画像を親画像上に重畳配置しても、親画像上のオブジェクトは１つも隠蔽されていない。
【００４１】
そして子画像配置部５０３は、生成した画面のデータを、後段の表示部５０５に送出する。
【００４２】
表示部５０５は、ＣＲＴや液晶画面などの表示装置であり、子画像配置部５０３から受けたデータに基づいた画面を、自身の表示画面上に表示する。もちろん、係る画面は、親画像の上に子画像が重畳表示されている画面であると共に、子画像を親画像上に重畳配置しても、親画像上のオブジェクトは１つも隠蔽されていない。
【００４３】
一方、音声合成部５０４は、入力部５０１からデータストリーム５５０を受けると、データストリーム５５０中の音声情報５５１ａ、５５１ｂを取得する。更に、音声合成部５０４は、入力部５０１からデータストリーム５６０を受けると、データストリーム５６０中の音声情報を取得する。そして音声合成部５０４は、取得したそれぞれの音声情報を合成して合成音声情報を生成し、生成した合成音声情報を音声信号として、後段の音声出力部５０６に対して送出する。
【００４４】
音声出力部５０６は、Ｄ／Ａ変換器とスピーカとで構成されており、合成音声情報をＤ／Ａ変換器によりアナログ信号に変換してから、係るアナログ信号をスピーカに出力する。
【００４５】
図９は、画像表示装置５００が行う処理のフローチャートである。
【００４６】
ステップＳ９０１では、入力部５０１は、親画像に対応するデータストリーム５５０と、子画像に対応するデータストリーム５６０と、を取得すると、これらを後段の表示可能領域特定部５０２、音声合成部５０４に送出する。
【００４７】
次に、ステップＳ９０２では、表示可能領域特定部５０２は、データストリーム５５０、５６０のうち、親データストリームとして予め定められているデータストリーム５５０を解析する。より詳しくは、音声情報５５１ａ、５５１ｂが関連付けられていないタイルを特定することで、オブジェクトを含まないタイル（非オブジェクト画素ブロック）を特定する。そして、表示可能領域特定部５０２は、非オブジェクト画素ブロックを特定する為の情報、例えば、非オブジェクト画素ブロックのブロック番号を、データストリーム５５０、５６０と共に、後段の子画像配置部５０３に送出する。
【００４８】
次に、ステップＳ９０３では、子画像配置部５０３は先ず、データストリーム５５０に含まれているタイル群データ５５２を構成する各タイルのデータを順次配置（再生）して、親画像を構成する。また、子画像配置部５０３はデータストリーム５６０に含まれているタイル群データを構成する各タイルのデータを順次配置（再生）して、子画像を構成する。
【００４９】
次に、ステップＳ９０４では、子画像配置部５０３は、親画像において、非オブジェクト画素ブロックで構成されている領域（非オブジェクト領域）を特定する。
【００５０】
次に、ステップＳ９０５では、子画像配置部５０３は、特定した非オブジェクト領域内に収まるように、子画像を非オブジェクト領域内に配置する。
【００５１】
次に、ステップＳ９０６では、生成した画面のデータを、後段の表示部５０５に送出する。
【００５２】
一方、ステップＳ９０７において、音声合成部５０４は、入力部５０１からデータストリーム５５０を受けると、データストリーム５５０中の音声情報５５１ａ、５５１ｂを取得する。更に、音声合成部５０４は、入力部５０１からデータストリーム５６０を受けると、データストリーム５６０中の音声情報を取得する。そして音声合成部５０４は、取得したそれぞれの音声情報を合成して合成音声情報を生成する。
【００５３】
次に、ステップＳ９０８では、音声出力部５０６は、生成した合成音声情報を、後段の音声出力部５０６に対して送出する。
【００５４】
次に、図６に例示した画像に対応するデータストリームが入力部５０１に親データストリームとして入力されたとする。図６は、図３に示した親画像において、オブジェクト１０２が上方に移動した場合の親画像の一例を示す図である。
【００５５】
図６に示した親画像６９０では、図３に示した親画像１０１と比べて、オブジェクト１０２が上方に移動しており、図６に示す如く、領域３０２の一部に領域３０３がめり込んでいる状態（領域６０１）となる。即ち、親画像６９０上の領域３０２に相当する部分に、子画像２０１をそのまま表示すると、オブジェクト１０２の一部を隠蔽してしまうことになる。
【００５６】
本実施形態ではこのような場合には、オブジェクト１０２の領域を優先して子画像２０１を重畳表示する。
【００５７】
この場合、表示可能領域特定部５０２は、親画像６９０において、領域３０１、３０３以外の領域を構成するタイルで構成されている領域を、非オブジェクト領域として特定する。そして、ここでは、領域６０１が、子画像２０１を描画するための領域として特定される。
【００５８】
次に、子画像配置部５０３は、図７に示す如く、オブジェクト１０２を優先して（手前に描画して）領域６０１内に子画像２０１を重畳表示する。図７は、図６に例示した親画像６９０上に子画像２０１を重畳表示した場合の表示例を示す図である。もちろん、子画像２０１の縦のサイズを適宜縮小して領域６０１内に重畳表示しても良い。なお、重畳表示では、アルファブレンドや色抜きなどの透過処理を行っても良い。
【００５９】
＜変形例＞
第１の実施形態では、親画像上のどこに子画像が表示されるのかについては、画像表示装置５００側で決めることであり、ユーザは事前には知り得なかった。一方で、ユーザは「できれば画面上のこの部分に子画像を表示したい」というニーズを有しうる。そこで、このようなニーズを情報として画像表示装置５００に入力し、画像表示装置５００は係るニーズにできるだけ応じることができるように、子画像の表示位置を決めるようにしても良い。
【００６０】
例えば、できるだけ子画像を親画像の左上隅の位置に表示したいというニーズを、指示情報として画像表示装置５００に入力したとする。この場合、子画像配置部５０３は、左上隅から右方、下方に、子画像表示可能領域を拡大し、拡大した子画像表示可能領域のサイズが子画像と略同じになる、若しくはオブジェクトを含むタイルに重なってしまうまで拡大を続ける。そして、拡大が終了した時点での子画像表示可能領域に、子画像を重畳表示する。もちろん、拡大した領域サイズがあまりに小さい一方で、他の非オブジェクト領域に子画像をそのまま表示しうるサイズの領域があれば、そこに表示しても良い。
【００６１】
もちろん、上記ニーズについてはこれに限定するものではない。
【００６２】
［第２の実施形態］
第１の実施形態では、データストリームに含まれている全てのオブジェクトを表示対象としているが、あまりに小さい音しか発生しないオブジェクトについては表示の優先度を落としても良い。
【００６３】
本実施形態では、オブジェクトＸを含むタイルを表示するか否かを、係るタイルに関連付けられた音声情報に含まれている音量情報に基づいて決定する。即ち、音量情報が示す音量が予め定められた閾値以下であれば、オブジェクトＸを含むタイルは非表示とする。係る処理は、子画像配置部５０３が親画像、子画像について行うことになる。
【００６４】
もちろん、完全に非表示としなくても良く、例えば、親画像において、音量が予め定められた閾値以下であるような音量情報を含む音声情報に関連付けられているタイルについては、表示対象とはするものの、非オブジェクト領域に含めても良いとする。係る処理についても、子画像配置部５０３が行うものとする。
【００６５】
［第３の実施形態］
上記各実施形態では、親画像上に重畳表示するものは、子画像としてのある一枚の画像（動画像を含む）であった。しかし、係る画像以外にも（データストリーム以外にも）、所謂オブジェクトとして扱いうるもの、即ち、文字や吹き出しなどを、子画像の代わりに用いても良い。即ち、画像表示装置５００を、クローズドキャプションやスーパーインポーズに応用しても良い。
【００６６】
［第４の実施形態］
図１に示した、画像表示装置５００を構成する各部は、全てをハードウェアでもって構成しても良いが、その一部若しくは全部をソフトウェアでもって構成しても良い。この場合、係るソフトウェアは周知の如く、メモリに格納され、ＣＰＵが係るソフトウェアを実行することになる。
【００６７】
図８は、画像表示装置５００に適用可能な装置のハードウェア構成例を示すブロック図である。
【００６８】
ＣＰＵ８０１は、ＲＡＭ８０２やＲＯＭ８０３に格納されているコンピュータプログラムやデータを用いて装置全体の制御を行うと共に、画像表示装置５００が行うものとして上述した各処理を実行する。
【００６９】
ＲＡＭ８０２は、後述する各Ｉ／Ｆ（インターフェース）８０５，８０６，８０７を介して外部から受信したデータや、ＲＯＭ８０３からロードしたコンピュータプログラムやデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ８０２は、ＣＰＵ８０１が各種の処理を実行する際に用いるワークエリアも有する。即ち、ＲＡＭ８０２は、各種のエリアを適宜提供することができる。
【００７０】
ＲＯＭ８０３には、本装置の各種の設定データやブートプログラム、そして、画像表示装置５００が行うものとして上述した各処理をＣＰＵ８０１に実行させるためのコンピュータプログラムやデータなどが格納されている。係るコンピュータプログラムには、表示可能領域特定部５０２、音声合成部５０４、子画像配置部５０３のそれぞれの機能をＣＰＵ８０１に実現させるためのコンピュータプログラムが含まれている。
【００７１】
操作部８０４は、ボタン群により構成されており、ユーザは係る操作部８０４を操作することで、各種の指示をＣＰＵ８０１に対して入力することができる。
【００７２】
Ｉ／Ｆ８０５は、図５に示した表示部５０５を本装置に接続する為のもので、本装置が生成した画面のデータに基づいた映像信号は、このＩ／Ｆ８０５を介して表示部５０５に送出される。
【００７３】
Ｉ／Ｆ８０６は、図５に示した音声出力部５０６を本装置に接続する為のもので、本装置が生成した合成音声情報は、このＩ／Ｆ８０６を介して音声出力部５０６に送出される。
【００７４】
Ｉ／Ｆ８０７は、データストリーム５５０、５６０を本装置に入力するためのものであり、Ｉ／Ｆ８０７を介して取得したデータストリーム５５０、５６０は、ＲＡＭ８０２に送出される。もちろん、第３の実施形態で説明したように、データストリーム５６０の代わりに、その他のオブジェクトをこのＩ／Ｆ８０７を介して本装置に入力しても良い。
【００７５】
８０８は上述の各部を繋ぐバスである。
【００７６】
［その他の実施形態］
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【００７７】
また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７８】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７９】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【００８０】
【図１】親画像の表示例を示す図である。
【図２】親画像１０１上に子画像２０１を重畳表示させた場合の表示例を示す図である。
【図３】図１に示した画像を親画像とした場合に、係る親画像において特定した非オブジェクト領域を示す図である。
【図４】領域３０２内に子画像２０１を配置した場合の親画像１０１と子画像２０１とを示す図である。
【図５】本発明の第１の実施形態に係る画像表示装置５００の機能構成例を示すブロック図である。
【図６】図３に示した親画像において、オブジェクト１０２が上方に移動した場合の親画像の一例を示す図である。
【図７】図６に例示した親画像６９０上に子画像２０１を重畳表示した場合の表示例を示す図である。
【図８】画像表示装置５００に適用可能な装置のハードウェア構成例を示すブロック図である。
【図９】画像表示装置５００が行う処理のフローチャートである。
【技術分野】
【０００１】
本発明は、画像情報と音声情報とを再生するための技術に関するものである。
【背景技術】
【０００２】
近年、コンテンツの受信側或いは表示側としてのコンシューマ向け映像表示機器が、複数の画像や映像を合成して１つの画面を構成することが、ごく普通に行われるようになった。それに伴い、単にピクチャーインピクチャーやスーパーインポーズを行うのではなく、視聴者の利便性に合わせて、複数コンテンツの表示を組み合わせるための技術が求められている。
【０００３】
複数コンテンツの表示状態や合成方法を判断する方法として、従来では、親画面の映像の特徴検出を利用する方法と、画面内の特定のオブジェクトから得る座標情報を利用する方法と、がある。
【０００４】
親画面の映像の特徴検出を利用する方法には、オンスクリーン表示情報が表示されている表示情報や映像信号の動きを検出し、動きのある場合には表示画面の状態を変更する方法（特許文献１）がある。
【０００５】
また、画面内の特定のオブジェクトから得る座標情報を利用する方法には、次のような方法がある（特許文献２）。即ち、ゲーム空間の画像を構成する際、特定オブジェクトにおいて発せられた言葉や音等を視聴者に伝える為の文字画像の表示状態をゲームの状況に応じて変化させる方法である。
【特許文献１】特開2005-242204号公報
【特許文献２】特開2005-192878号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した従来技術を用いても、視聴者の望む表示状態を予測しながら、複数画面を自動的に構成することは難しい。
【０００７】
特許文献１のように動き検出を利用する場合、次のような問題が生じうる。即ち、画面全体が動くカメラワークによる映像やシーンチェンジ等のように連続性が乏しい場合、視聴者にとって意味のない周囲の動きに合わせて表示を構成してしまう等、視聴者の注目個所の自動判定に困難が伴う場合がある。これにより、結果として、視聴者の望む表示状態を合成することができず、視聴者にストレスを与えることになる。
【０００８】
また、特許文献２のように、特定のオブジェクトの座標情報を用いる場合、次のような問題が生じうる。即ち、視聴者やゲームのプレイヤが何らかの形で座標取得すべきオブジェクトを指示したり、予め表示コンテンツの予測を行う必要がある。連続性の乏しいコンテンツを視聴する場合、視聴者が注目するオブジェクトの座標を取得、更新しながら、自動的に表示状態を変更することが難しい。
【０００９】
本発明は上記問題に鑑みて成されたものであり、音声を発するオブジェクトとその他のオブジェクトとを同画面内で表示する場合、オブジェクトと音声との対応関係を分かり易くすべく、オブジェクトの配置位置を制御する為の技術を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の目的を達成するために、例えば、本発明の画像表示装置は以下の構成を備える。
【００１１】
即ち、オブジェクトを含む画像を複数の画素ブロックに分割した場合に当該オブジェクトの領域を含む画素ブロックについては前記オブジェクトに関連する音声情報を関連付けることで形成された前記画像のデータストリームを入力し、入力されたデータストリームに基づいて再生する画像を親画像とし、前記データストリーム以外のデータに基づいて再生する画像を子画像とし、前記子画像を前記親画像に重ねて表示する画像表示装置であって、
前記データストリームに含まれているそれぞれの画素ブロックを再生することで、表示画面上に前記親画像を表示させる手段と、
前記データストリームを解析し、前記オブジェクトの領域に含まれていない画素ブロックを、非オブジェクト画素ブロックとして特定する特定手段と、
前記表示画面上に前記子画像を表示させる制御手段と、
前記データストリームに含まれている音声情報に基づく音声信号を出力する手段とを備え、
前記制御手段は、前記非オブジェクト画素ブロックの集合で構成される領域内で前記子画像が収まる位置に前記子画像を配置して表示することを特徴とする。
【００１２】
本発明の目的を達成するために、例えば、本発明の画像表示方法は以下の構成を備える。
【００１３】
即ち、オブジェクトを含む画像を複数の画素ブロックに分割した場合に当該オブジェクトの領域を含む画素ブロックについては前記オブジェクトに関連する音声情報を関連付けることで形成された前記画像のデータストリームを入力し、入力されたデータストリームに基づいて再生する画像を親画像とし、前記データストリーム以外のデータに基づいて再生する画像を子画像とし、前記子画像を前記親画像に重ねて表示する画像表示装置が行う画像表示方法であって、
前記データストリームに含まれているそれぞれの画素ブロックを再生することで、表示画面上に前記親画像を表示させる工程と、
前記データストリームを解析し、前記オブジェクトの領域に含まれていない画素ブロックを、非オブジェクト画素ブロックとして特定する特定工程と、
前記表示画面上に前記子画像を表示させる制御工程と、
前記データストリームに含まれている音声情報に基づく音声信号を出力する工程とを備え、
前記制御工程では、前記非オブジェクト画素ブロックの集合で構成される領域内で前記子画像が収まる位置に前記子画像を配置して表示することを特徴とする。
【発明の効果】
【００１４】
本発明の構成によれば、音声を発するオブジェクトとその他のオブジェクトとを同画面内で表示する場合、オブジェクトと音声との対応関係を分かり易くすべく、オブジェクトの配置位置を制御することができる。
【発明を実施するための最良の形態】
【００１５】
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。
【００１６】
［第１の実施形態］
本実施形態では、１つの画面内に親画像としての画像を表示させると共に、係る親画像上の何れかの箇所に子画像を重畳表示させる。なお、親画像内には複数のオブジェクトが表示されていると共に、それぞれのオブジェクトは音声を発する。従って、子画像を親画像上に重畳表示させる場合には、子画像は親画像上に表示されている何れのオブジェクトとも重ならないように表示する。
【００１７】
以下、本実施形態に係る技術について、より詳細に説明する。
【００１８】
図１は、親画像の表示例を示す図である。図１に示す如く、親画像１０１内にはオブジェクト１０３とオブジェクト１０２とが配置されており、それぞれのオブジェクト１０２，１０３は音声を発しうる。従って、係る親画像１０１を再生する装置は、係る親画像１０１を表示するための表示画面を有すると共に、それぞれのオブジェクト１０２，１０３に対応する音声情報を出力するためのスピーカを有する。
【００１９】
ここで、係る親画像１０１上に子画像を重畳表示する場合を考える。
【００２０】
図２は、親画像１０１上に子画像２０１を重畳表示させた場合の表示例を示す図である。図２では、親画像１０１上に子画像２０１を重畳表示させることによって、オブジェクト１０２が子画像２０１に隠蔽されている（図２では隠蔽されているオブジェクト１０２は点線で示している）。このように、子画像２０１を親画像１０１上の固定位置に表示させてしまうと、オブジェクト１０２，１０３のそれぞれの位置によっては隠蔽されてしまうことになる（図２の場合はオブジェクト１０２が隠蔽されている）。
【００２１】
係る点、本実施形態では、親画像１０１上に表示されているオブジェクトの位置を鑑み、子画像２０１の表示位置を適宜変更する。
【００２２】
図５は、本実施形態に係る画像表示装置５００の機能構成例を示すブロック図である。係る画像表示装置５００は、コンシューマ向けの画像表示装置である。
【００２３】
図５に示す如く、本実施形態に係る画像表示装置５００は入力部５０１、表示可能領域特定部５０２、子画像配置部５０３、音声合成部５０４、により構成されており、更に、係る画像表示装置５００には、表示部５０５と音声出力部５０６とが接続されている。なお、図５では、表示部５０５と音声出力部５０６とは画像表示装置５００とは別個の装置としているが、表示部５０５と音声出力部５０６とを画像表示装置５００と一体化させても良い。
【００２４】
入力部５０１には、親画像に対応するデータストリーム５５０と、子画像に対応するデータストリーム５６０と、が入力される。なお、それぞれのデータストリームは、１枚の静止画像に対するものであっても良いし、動画像を構成するフレーム毎のものであっても良い。
【００２５】
ここで、入力部５０１に入力されるデータストリーム５５０，５６０について説明する。
【００２６】
データストリーム５５０には、タイル群データ５５２と音声情報５５１ａ、５５１ｂが含まれている。
【００２７】
タイル群データ５５２は、親画像を複数の画素ブロック（タイル）に分割し、分割したそれぞれのタイルを一列に並べることで形成されたものである。図５では、タイル群データ５５２は、タイル０〜タイル６３のタイル群で構成されている。即ち、図５では、親画像は６４個のタイルに分割され、分割された６４個のタイルを一列に並べることでタイル群データ５５２を形成している。
【００２８】
また、親画像には、１以上のオブジェクトが含まれており、オブジェクトの領域を含むタイルについては、このオブジェクトに関連する音声情報が関連付けられる。図５では、タイル０〜タイル７には、同じオブジェクト（オブジェクトＸ）が含まれているので、タイル０〜タイル７にはオブジェクトＸが発するものとして予め作成された音声情報５５１ａが関連付けられている。同様に、タイル３１〜タイル５０には、同じオブジェクト（オブジェクトＹ）が含まれているので、タイル３１〜タイル５０にはオブジェクトＹが発するものとして予め作成された音声情報５５１ｂが関連付けられている。もちろん、オブジェクトを含まないタイルについては、音声情報は関連付けない。
【００２９】
このように、データストリーム５５０には、親画像がタイル毎に管理されていると共に、オブジェクトを含むタイルにはこのオブジェクトに関連する音声情報が関連付けられている。
【００３０】
なお、データストリーム５６０についても基本構造はデータストリーム５５０と同じである。もちろん、タイル数や音声情報の関連付け先がデータストリーム５５０とデータストリーム５６０とで異なっていても良い。
【００３１】
また、データストリーム５５０、データストリーム５６０は、周知の技術でもって作成しうるものであり、これらのデータストリーム５５０、５６０についてのこれ以上の説明は省略する。
【００３２】
本実施形態の構成は、２以上のデータストリームを入力することができる構成を有しているが、以下では説明を簡単にするために、データストリーム５５０、５６０の２つのみが入力される場合について説明する。しかし、３以上のデータストリームが入力された場合であったとしても、そのうちの１つを親データストリーム、残りを子データストリームとして扱えば、以下の説明は同様に適用することができる。
【００３３】
また、入力部５０１によるデータストリーム５５０、５６０の取得形態については特に限定するものではない。例えば、無線若しくは有線のネットワークを介して外部の装置から受信しても良いし、画像表示装置５００が有するハードディスクドライブ装置などの外部メモリからロードすることで取得しても良い。
【００３４】
入力部５０１は、データストリーム５５０、５６０を受けると、受けたデータストリーム５５０、５６０を表示可能領域特定部５０２、音声合成部５０４に送出する。
【００３５】
表示可能領域特定部５０２は、データストリーム５５０、５６０のうち、親データストリームとして予め定められているデータストリーム５５０を解析する。より詳しくは、音声情報５５１ａ、５５１ｂが関連付けられていないタイルを特定する。図５の場合、タイル８〜タイル３０、タイル５１〜タイル６３を特定する。音声情報５５１ａ、５５１ｂが関連付けられていないタイルとは、換言すれば、オブジェクトを含まないタイルのことである。従って、換言すれば、表示可能領域特定部５０２は、オブジェクトを含まないタイル（非オブジェクト画素ブロック）を特定する。
【００３６】
図３は、図１に示した画像を親画像とした場合に、係る親画像において特定した非オブジェクト領域を示す図である。図３において、３０１は、オブジェクト１０３を含むタイルの集合で構成されている領域であり、３０３は、オブジェクト１０２を含むタイルの集合で構成されている領域である。従って、図３に示した親画像１０１については、表示可能領域特定部５０２は、領域３０１、３０３以外の領域を構成するタイルで構成されている領域を、非オブジェクト領域として特定する。
【００３７】
そして、表示可能領域特定部５０２は、非オブジェクト画素ブロックを特定する為の情報、例えば、非オブジェクト画素ブロックのブロック番号を、データストリーム５５０、５６０と共に、後段の子画像配置部５０３に送出する。
【００３８】
子画像配置部５０３は先ず、データストリーム５５０に含まれているタイル群データ５５２を構成する各タイルのデータを順次配置（再生）して、親画像を構成する。また、子画像配置部５０３はデータストリーム５６０に含まれているタイル群データを構成する各タイルのデータを順次配置（再生）して、子画像を構成する。次に、子画像配置部５０３は、親画像において、非オブジェクト画素ブロックで構成されている領域（非オブジェクト領域）を特定する。そして特定した非オブジェクト領域内に収まるように、子画像を非オブジェクト領域内に配置する。子画像の縦横のサイズは、子画像を構成した時点で分かるので、後は、非オブジェクト領域内で、このサイズの子画像が収まるような子画像配置領域を求め、求めた領域内に子画像を配置すればよい。図３では、領域３０２が、子画像を配置可能な領域として特定される。
【００３９】
図４は、領域３０２内に子画像２０１を配置した場合の親画像１０１と子画像２０１とを示す図である。
【００４０】
これにより、親画像上に子画像を重畳配置した画面を構成することができる。加えて、子画像を親画像上に重畳配置しても、親画像上のオブジェクトは１つも隠蔽されていない。
【００４１】
そして子画像配置部５０３は、生成した画面のデータを、後段の表示部５０５に送出する。
【００４２】
表示部５０５は、ＣＲＴや液晶画面などの表示装置であり、子画像配置部５０３から受けたデータに基づいた画面を、自身の表示画面上に表示する。もちろん、係る画面は、親画像の上に子画像が重畳表示されている画面であると共に、子画像を親画像上に重畳配置しても、親画像上のオブジェクトは１つも隠蔽されていない。
【００４３】
一方、音声合成部５０４は、入力部５０１からデータストリーム５５０を受けると、データストリーム５５０中の音声情報５５１ａ、５５１ｂを取得する。更に、音声合成部５０４は、入力部５０１からデータストリーム５６０を受けると、データストリーム５６０中の音声情報を取得する。そして音声合成部５０４は、取得したそれぞれの音声情報を合成して合成音声情報を生成し、生成した合成音声情報を音声信号として、後段の音声出力部５０６に対して送出する。
【００４４】
音声出力部５０６は、Ｄ／Ａ変換器とスピーカとで構成されており、合成音声情報をＤ／Ａ変換器によりアナログ信号に変換してから、係るアナログ信号をスピーカに出力する。
【００４５】
図９は、画像表示装置５００が行う処理のフローチャートである。
【００４６】
ステップＳ９０１では、入力部５０１は、親画像に対応するデータストリーム５５０と、子画像に対応するデータストリーム５６０と、を取得すると、これらを後段の表示可能領域特定部５０２、音声合成部５０４に送出する。
【００４７】
次に、ステップＳ９０２では、表示可能領域特定部５０２は、データストリーム５５０、５６０のうち、親データストリームとして予め定められているデータストリーム５５０を解析する。より詳しくは、音声情報５５１ａ、５５１ｂが関連付けられていないタイルを特定することで、オブジェクトを含まないタイル（非オブジェクト画素ブロック）を特定する。そして、表示可能領域特定部５０２は、非オブジェクト画素ブロックを特定する為の情報、例えば、非オブジェクト画素ブロックのブロック番号を、データストリーム５５０、５６０と共に、後段の子画像配置部５０３に送出する。
【００４８】
次に、ステップＳ９０３では、子画像配置部５０３は先ず、データストリーム５５０に含まれているタイル群データ５５２を構成する各タイルのデータを順次配置（再生）して、親画像を構成する。また、子画像配置部５０３はデータストリーム５６０に含まれているタイル群データを構成する各タイルのデータを順次配置（再生）して、子画像を構成する。
【００４９】
次に、ステップＳ９０４では、子画像配置部５０３は、親画像において、非オブジェクト画素ブロックで構成されている領域（非オブジェクト領域）を特定する。
【００５０】
次に、ステップＳ９０５では、子画像配置部５０３は、特定した非オブジェクト領域内に収まるように、子画像を非オブジェクト領域内に配置する。
【００５１】
次に、ステップＳ９０６では、生成した画面のデータを、後段の表示部５０５に送出する。
【００５２】
一方、ステップＳ９０７において、音声合成部５０４は、入力部５０１からデータストリーム５５０を受けると、データストリーム５５０中の音声情報５５１ａ、５５１ｂを取得する。更に、音声合成部５０４は、入力部５０１からデータストリーム５６０を受けると、データストリーム５６０中の音声情報を取得する。そして音声合成部５０４は、取得したそれぞれの音声情報を合成して合成音声情報を生成する。
【００５３】
次に、ステップＳ９０８では、音声出力部５０６は、生成した合成音声情報を、後段の音声出力部５０６に対して送出する。
【００５４】
次に、図６に例示した画像に対応するデータストリームが入力部５０１に親データストリームとして入力されたとする。図６は、図３に示した親画像において、オブジェクト１０２が上方に移動した場合の親画像の一例を示す図である。
【００５５】
図６に示した親画像６９０では、図３に示した親画像１０１と比べて、オブジェクト１０２が上方に移動しており、図６に示す如く、領域３０２の一部に領域３０３がめり込んでいる状態（領域６０１）となる。即ち、親画像６９０上の領域３０２に相当する部分に、子画像２０１をそのまま表示すると、オブジェクト１０２の一部を隠蔽してしまうことになる。
【００５６】
本実施形態ではこのような場合には、オブジェクト１０２の領域を優先して子画像２０１を重畳表示する。
【００５７】
この場合、表示可能領域特定部５０２は、親画像６９０において、領域３０１、３０３以外の領域を構成するタイルで構成されている領域を、非オブジェクト領域として特定する。そして、ここでは、領域６０１が、子画像２０１を描画するための領域として特定される。
【００５８】
次に、子画像配置部５０３は、図７に示す如く、オブジェクト１０２を優先して（手前に描画して）領域６０１内に子画像２０１を重畳表示する。図７は、図６に例示した親画像６９０上に子画像２０１を重畳表示した場合の表示例を示す図である。もちろん、子画像２０１の縦のサイズを適宜縮小して領域６０１内に重畳表示しても良い。なお、重畳表示では、アルファブレンドや色抜きなどの透過処理を行っても良い。
【００５９】
＜変形例＞
第１の実施形態では、親画像上のどこに子画像が表示されるのかについては、画像表示装置５００側で決めることであり、ユーザは事前には知り得なかった。一方で、ユーザは「できれば画面上のこの部分に子画像を表示したい」というニーズを有しうる。そこで、このようなニーズを情報として画像表示装置５００に入力し、画像表示装置５００は係るニーズにできるだけ応じることができるように、子画像の表示位置を決めるようにしても良い。
【００６０】
例えば、できるだけ子画像を親画像の左上隅の位置に表示したいというニーズを、指示情報として画像表示装置５００に入力したとする。この場合、子画像配置部５０３は、左上隅から右方、下方に、子画像表示可能領域を拡大し、拡大した子画像表示可能領域のサイズが子画像と略同じになる、若しくはオブジェクトを含むタイルに重なってしまうまで拡大を続ける。そして、拡大が終了した時点での子画像表示可能領域に、子画像を重畳表示する。もちろん、拡大した領域サイズがあまりに小さい一方で、他の非オブジェクト領域に子画像をそのまま表示しうるサイズの領域があれば、そこに表示しても良い。
【００６１】
もちろん、上記ニーズについてはこれに限定するものではない。
【００６２】
［第２の実施形態］
第１の実施形態では、データストリームに含まれている全てのオブジェクトを表示対象としているが、あまりに小さい音しか発生しないオブジェクトについては表示の優先度を落としても良い。
【００６３】
本実施形態では、オブジェクトＸを含むタイルを表示するか否かを、係るタイルに関連付けられた音声情報に含まれている音量情報に基づいて決定する。即ち、音量情報が示す音量が予め定められた閾値以下であれば、オブジェクトＸを含むタイルは非表示とする。係る処理は、子画像配置部５０３が親画像、子画像について行うことになる。
【００６４】
もちろん、完全に非表示としなくても良く、例えば、親画像において、音量が予め定められた閾値以下であるような音量情報を含む音声情報に関連付けられているタイルについては、表示対象とはするものの、非オブジェクト領域に含めても良いとする。係る処理についても、子画像配置部５０３が行うものとする。
【００６５】
［第３の実施形態］
上記各実施形態では、親画像上に重畳表示するものは、子画像としてのある一枚の画像（動画像を含む）であった。しかし、係る画像以外にも（データストリーム以外にも）、所謂オブジェクトとして扱いうるもの、即ち、文字や吹き出しなどを、子画像の代わりに用いても良い。即ち、画像表示装置５００を、クローズドキャプションやスーパーインポーズに応用しても良い。
【００６６】
［第４の実施形態］
図１に示した、画像表示装置５００を構成する各部は、全てをハードウェアでもって構成しても良いが、その一部若しくは全部をソフトウェアでもって構成しても良い。この場合、係るソフトウェアは周知の如く、メモリに格納され、ＣＰＵが係るソフトウェアを実行することになる。
【００６７】
図８は、画像表示装置５００に適用可能な装置のハードウェア構成例を示すブロック図である。
【００６８】
ＣＰＵ８０１は、ＲＡＭ８０２やＲＯＭ８０３に格納されているコンピュータプログラムやデータを用いて装置全体の制御を行うと共に、画像表示装置５００が行うものとして上述した各処理を実行する。
【００６９】
ＲＡＭ８０２は、後述する各Ｉ／Ｆ（インターフェース）８０５，８０６，８０７を介して外部から受信したデータや、ＲＯＭ８０３からロードしたコンピュータプログラムやデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ８０２は、ＣＰＵ８０１が各種の処理を実行する際に用いるワークエリアも有する。即ち、ＲＡＭ８０２は、各種のエリアを適宜提供することができる。
【００７０】
ＲＯＭ８０３には、本装置の各種の設定データやブートプログラム、そして、画像表示装置５００が行うものとして上述した各処理をＣＰＵ８０１に実行させるためのコンピュータプログラムやデータなどが格納されている。係るコンピュータプログラムには、表示可能領域特定部５０２、音声合成部５０４、子画像配置部５０３のそれぞれの機能をＣＰＵ８０１に実現させるためのコンピュータプログラムが含まれている。
【００７１】
操作部８０４は、ボタン群により構成されており、ユーザは係る操作部８０４を操作することで、各種の指示をＣＰＵ８０１に対して入力することができる。
【００７２】
Ｉ／Ｆ８０５は、図５に示した表示部５０５を本装置に接続する為のもので、本装置が生成した画面のデータに基づいた映像信号は、このＩ／Ｆ８０５を介して表示部５０５に送出される。
【００７３】
Ｉ／Ｆ８０６は、図５に示した音声出力部５０６を本装置に接続する為のもので、本装置が生成した合成音声情報は、このＩ／Ｆ８０６を介して音声出力部５０６に送出される。
【００７４】
Ｉ／Ｆ８０７は、データストリーム５５０、５６０を本装置に入力するためのものであり、Ｉ／Ｆ８０７を介して取得したデータストリーム５５０、５６０は、ＲＡＭ８０２に送出される。もちろん、第３の実施形態で説明したように、データストリーム５６０の代わりに、その他のオブジェクトをこのＩ／Ｆ８０７を介して本装置に入力しても良い。
【００７５】
８０８は上述の各部を繋ぐバスである。
【００７６】
［その他の実施形態］
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【００７７】
また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７８】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７９】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【００８０】
【図１】親画像の表示例を示す図である。
【図２】親画像１０１上に子画像２０１を重畳表示させた場合の表示例を示す図である。
【図３】図１に示した画像を親画像とした場合に、係る親画像において特定した非オブジェクト領域を示す図である。
【図４】領域３０２内に子画像２０１を配置した場合の親画像１０１と子画像２０１とを示す図である。
【図５】本発明の第１の実施形態に係る画像表示装置５００の機能構成例を示すブロック図である。
【図６】図３に示した親画像において、オブジェクト１０２が上方に移動した場合の親画像の一例を示す図である。
【図７】図６に例示した親画像６９０上に子画像２０１を重畳表示した場合の表示例を示す図である。
【図８】画像表示装置５００に適用可能な装置のハードウェア構成例を示すブロック図である。
【図９】画像表示装置５００が行う処理のフローチャートである。
【特許請求の範囲】
【請求項１】
オブジェクトを含む画像を複数の画素ブロックに分割した場合に当該オブジェクトの領域を含む画素ブロックについては前記オブジェクトに関連する音声情報を関連付けることで形成された前記画像のデータストリームを入力し、入力されたデータストリームに基づいて再生する画像を親画像とし、前記データストリーム以外のデータに基づいて再生する画像を子画像とし、前記子画像を前記親画像に重ねて表示する画像表示装置であって、
前記データストリームに含まれているそれぞれの画素ブロックを再生することで、表示画面上に前記親画像を表示させる手段と、
前記データストリームを解析し、前記オブジェクトの領域に含まれていない画素ブロックを、非オブジェクト画素ブロックとして特定する特定手段と、
前記表示画面上に前記子画像を表示させる制御手段と、
前記データストリームに含まれている音声情報に基づく音声信号を出力する手段とを備え、
前記制御手段は、前記非オブジェクト画素ブロックの集合で構成される領域内で前記子画像が収まる位置に前記子画像を配置して表示することを特徴とする画像表示装置。
【請求項２】
前記データストリームは、動画像を構成するフレーム毎に入力されることを特徴とする請求項１に記載の画像表示装置。
【請求項３】
前記特定手段は更に、前記音声情報に含まれている音量情報が示す音量が予め定められた閾値以下であれば、前記オブジェクトの領域に含まれている画素ブロックについても非オブジェクト画素ブロックとして特定することを特徴とする請求項１に記載の画像表示装置。
【請求項４】
前記子画像は、文字、吹き出し、前記データストリームに基づく画像の何れかであることを特徴とする請求項１に記載の画像表示装置。
【請求項５】
オブジェクトを含む画像を複数の画素ブロックに分割した場合に当該オブジェクトの領域を含む画素ブロックについては前記オブジェクトに関連する音声情報を関連付けることで形成された前記画像のデータストリームを入力し、入力されたデータストリームに基づいて再生する画像を親画像とし、前記データストリーム以外のデータに基づいて再生する画像を子画像とし、前記子画像を前記親画像に重ねて表示する画像表示装置が行う画像表示方法であって、
前記データストリームに含まれているそれぞれの画素ブロックを再生することで、表示画面上に前記親画像を表示させる工程と、
前記データストリームを解析し、前記オブジェクトの領域に含まれていない画素ブロックを、非オブジェクト画素ブロックとして特定する特定工程と、
前記表示画面上に前記子画像を表示させる制御工程と、
前記データストリームに含まれている音声情報に基づく音声信号を出力する工程とを備え、
前記制御工程では、前記非オブジェクト画素ブロックの集合で構成される領域内で前記子画像が収まる位置に前記子画像を配置して表示することを特徴とする画像表示方法。
【請求項１】
オブジェクトを含む画像を複数の画素ブロックに分割した場合に当該オブジェクトの領域を含む画素ブロックについては前記オブジェクトに関連する音声情報を関連付けることで形成された前記画像のデータストリームを入力し、入力されたデータストリームに基づいて再生する画像を親画像とし、前記データストリーム以外のデータに基づいて再生する画像を子画像とし、前記子画像を前記親画像に重ねて表示する画像表示装置であって、
前記データストリームに含まれているそれぞれの画素ブロックを再生することで、表示画面上に前記親画像を表示させる手段と、
前記データストリームを解析し、前記オブジェクトの領域に含まれていない画素ブロックを、非オブジェクト画素ブロックとして特定する特定手段と、
前記表示画面上に前記子画像を表示させる制御手段と、
前記データストリームに含まれている音声情報に基づく音声信号を出力する手段とを備え、
前記制御手段は、前記非オブジェクト画素ブロックの集合で構成される領域内で前記子画像が収まる位置に前記子画像を配置して表示することを特徴とする画像表示装置。
【請求項２】
前記データストリームは、動画像を構成するフレーム毎に入力されることを特徴とする請求項１に記載の画像表示装置。
【請求項３】
前記特定手段は更に、前記音声情報に含まれている音量情報が示す音量が予め定められた閾値以下であれば、前記オブジェクトの領域に含まれている画素ブロックについても非オブジェクト画素ブロックとして特定することを特徴とする請求項１に記載の画像表示装置。
【請求項４】
前記子画像は、文字、吹き出し、前記データストリームに基づく画像の何れかであることを特徴とする請求項１に記載の画像表示装置。
【請求項５】
オブジェクトを含む画像を複数の画素ブロックに分割した場合に当該オブジェクトの領域を含む画素ブロックについては前記オブジェクトに関連する音声情報を関連付けることで形成された前記画像のデータストリームを入力し、入力されたデータストリームに基づいて再生する画像を親画像とし、前記データストリーム以外のデータに基づいて再生する画像を子画像とし、前記子画像を前記親画像に重ねて表示する画像表示装置が行う画像表示方法であって、
前記データストリームに含まれているそれぞれの画素ブロックを再生することで、表示画面上に前記親画像を表示させる工程と、
前記データストリームを解析し、前記オブジェクトの領域に含まれていない画素ブロックを、非オブジェクト画素ブロックとして特定する特定工程と、
前記表示画面上に前記子画像を表示させる制御工程と、
前記データストリームに含まれている音声情報に基づく音声信号を出力する工程とを備え、
前記制御工程では、前記非オブジェクト画素ブロックの集合で構成される領域内で前記子画像が収まる位置に前記子画像を配置して表示することを特徴とする画像表示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１０−３３３６６（Ｐ２０１０−３３３６６Ａ）
【公開日】平成２２年２月１２日（２０１０．２．１２）
【国際特許分類】
【出願番号】特願２００８−１９５３１０（Ｐ２００８−１９５３１０）
【出願日】平成２０年７月２９日（２００８．７．２９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２２年２月１２日（２０１０．２．１２）
【国際特許分類】
【出願日】平成２０年７月２９日（２００８．７．２９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]