映像処理装置、映像識別方法、映像表示装置及びコンピュータプログラム
【課題】映像の方式を識別することが可能な、映像処理装置を提供すること。
【解決手段】入力画像の縦方向及び横方向の中心線を基準に該画像を複数の領域に分割し、分割した複数の領域に対して相対的に一致する位置の画素を比較する画素比較部と、前記画素比較部の画素比較の結果に基づいて前記入力画像の表示形式を判定する表示方式判定部と、を備える、映像処理装置が提供される。かかる構成により、1つの画面を分割して画像を伝送する映像の方式を識別することが可能になる。
【解決手段】入力画像の縦方向及び横方向の中心線を基準に該画像を複数の領域に分割し、分割した複数の領域に対して相対的に一致する位置の画素を比較する画素比較部と、前記画素比較部の画素比較の結果に基づいて前記入力画像の表示形式を判定する表示方式判定部と、を備える、映像処理装置が提供される。かかる構成により、1つの画面を分割して画像を伝送する映像の方式を識別することが可能になる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像処理装置、映像識別方法、映像表示装置及びコンピュータプログラムに関する。
【背景技術】
【0002】
三次元(3D)画像を画面に表示させて視聴者に立体的な映像を楽しんでもらうための3D放送サービスが、今後広く普及していくことが考えられる。3D画像の表示方式としては、例えばサイドバイサイド(Side By Side;SBS)方式、オーバーアンダー(Over−Under)方式、フレームシーケンシャル(Frame Sequential;FSQ)方式等がある。
【0003】
サイドバイサイド方式は、画面を左右に分割した状態で映像を伝送する方式であり、サイドバイサイド方式に対応した映像表示装置では左右に分割された画像から立体的な映像を作り出すことができるが、対応していない映像表示装置では右眼用の画像が画面の右側に、左眼用の画像が画面の左側に、それぞれ表示されることになる。オーバーアンダー方式は、画面を上下に分割した状態で映像を伝送する方式であり、サイドバイサイド方式と同様に、オーバーアンダー方式に対応した映像表示装置では上下に分割された画像から立体的な映像を作り出すことができるが、対応していない映像表示装置では同一の画像が上下対称に表示されることになる。
【0004】
フレームシーケンシャル方式は、右眼用の映像ストリームと左眼用の映像ストリームとを時分割的に順次切り換えて出力する方式である。このようなフレームシーケンシャル方式によって表示される映像は、例えば、いわゆるシャッタ眼鏡を用いた時分割立体映像表示システム(例えば、特許文献1〜3参照)によって、視聴者に立体的な映像として知覚させることができる。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開平9−138384号公報
【特許文献2】特開2000−36969号公報
【特許文献3】特開2003−45343号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
テレビやレコーダは、映像に文字や画像を重畳するOSD(On−Screen Display)機能を有しており、映像上に様々な情報を表示させることができる。しかし、サイドバイサイド方式やオーバーアンダー方式のように、画面を上下や左右等の複数の領域に分割して映像を表示する方式では、OSD機能により映像に重畳された文字や画像が分断されてしまう場合がある。特に、レコーダからサイドバイサイド方式やオーバーアンダー方式の映像をテレビに出力する際に、レコーダで重畳した文字や画像がテレビに正常に表示されない問題があった。
【0007】
映像のソースに、その映像がどのような方式であるかを識別する情報が含まれていれば、レコーダからサイドバイサイド方式やオーバーアンダー方式の映像をテレビに出力する際に、映像の方式を認識して、文字や画像の重畳方法を変更することができる。しかし、現状では映像のソースに方式を識別する情報は含まれていない。HDMI(High−Definition Multimedia Interface)ver1.4規格には、3D規格としてサイドバイサイド方式は定義されているが、運用が少ないのが実情であり、放送波に至っては規定自体されていない。またオーバーアンダー方式は、現状の3D規格には定義自体されていない。従って、現状では映像の方式を識別する手段が存在しないという問題がある。
【0008】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、映像の方式を識別することが可能な、新規かつ改良された映像処理装置、映像識別方法、映像表示装置及びコンピュータプログラムを提供することにある。
【課題を解決するための手段】
【0009】
上記課題を解決するために、本発明のある観点によれば、入力画像の縦方向及び横方向の中心線を基準に該画像を複数の領域に分割し、分割した複数の領域に対して相対的に一致する位置の画素を比較する画素比較部と、前記画素比較部の画素比較の結果に基づいて前記入力画像の表示形式を判定する表示方式判定部と、を備える、映像処理装置が提供される。
【0010】
入力画像の特徴点を検出する特徴点検出部をさらに備え、前記画素比較部は、前記特徴点検出部が検出した前記特徴点における画素を比較するようにしてもよい。
【0011】
前記特徴点検出部は、隣接する画素間の変化量が所定量を超える画素を特徴点として検出し、前記画素比較部は、前記特徴点検出部が検出した特徴点に基づいて画素を比較するようにしてもよい。
【0012】
前記特徴点検出部は、所定の色を表示する画素を特徴点として検出し、前記画素比較部は、前記特徴点検出部が検出した特徴点に基づいて画素を比較するようにしてもよい。
【0013】
前記特徴点検出部は、肌色を表示する画素を特徴点として検出し、前記画素比較部は、前記特徴点検出部が検出した特徴点に基づいて画素を比較するようにしてもよい。
【0014】
前記特徴点検出部は、所定の文字情報を表示する画素を特徴点として検出し、前記画素比較部は、前記特徴点検出部が検出した特徴点に基づいて画素を比較するようにしてもよい。
【0015】
前記特徴点検出部が検出した特徴点の情報を時系列で格納する特徴点情報格納部をさらに備えてもよい。
【0016】
前記表示方式判定部は、前記特徴点情報格納部に時系列で格納された特徴点の情報に基づいて前記入力画像の表示形式を判定するようにしてもよい。
【0017】
前記画素比較部は、領域内の全ての画素に対して画素比較するようにしてもよい。
【0018】
前記画素比較部は、領域内の一部の領域に対して画素比較するようにしてもよい。
【0019】
前記画素比較部は、分割後の各領域の周縁部の所定の領域は画素比較の対象から外すようにしてもよい。
【0020】
前記映像処理装置への入力画像は立体的に知覚させる画像であってもよい。
【0021】
また、上記課題を解決するために、本発明の別の観点によれば、入力画像の縦方向及び横方向の中心線を基準に該画像を複数の領域に分割し、分割した複数の領域に対して相対的に一致する位置の画素を比較する画素比較ステップと、前記画素比較ステップの画素比較の結果に基づいて前記入力画像の表示形式を判定する表示方式判定ステップと、を備える、映像識別方法が提供される。
【0022】
また、上記課題を解決するために、本発明の別の観点によれば、入力画像の縦方向及び横方向の中心線を基準に該画像を複数の領域に分割し、分割した複数の領域に対して相対的に一致する位置の画素を比較する画素比較部と、前記画素比較部の画素比較の結果に基づいて前記入力画像の表示形式を判定する表示方式判定部と、前記表示方式判定部が判定した表示方式に基づいて前記入力画像を表示する表示部と、を備える、映像表示装置が提供される。
【0023】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータに、入力画像の縦方向及び横方向の中心線を基準に該画像を複数の領域に分割し、分割した複数の領域に対して相対的に一致する位置の画素を比較する画素比較ステップと、前記画素比較ステップの画素比較の結果に基づいて前記入力画像の表示形式を判定する表示方式判定ステップと、を実行させる、コンピュータプログラムが提供される。
【発明の効果】
【0024】
以上説明したように本発明によれば、映像の方式を識別することが可能な、新規かつ改良された映像処理装置、映像識別方法、映像表示装置及びコンピュータプログラムを提供することができる。
【図面の簡単な説明】
【0025】
【図1】本発明の一実施形態にかかる映像表示システム10について示す説明図である。
【図2】サイドバイサイド方式で記録されている映像ソースから3D映像を表示する場合の概要を示す説明図である。
【図3】レコーダ側で重畳された情報がテレビ側で分断されて表示されてしまう場合の一例について示す説明図である。
【図4】本発明の一実施形態にかかるレコーダ100の機能構成について示す説明図である。
【図5】本発明の一実施形態にかかるレコーダ100の動作について示す流れ図である。
【図6】本発明の一実施形態にかかる映像方式判定部160によるストリームの映像方式の判定手法の一例について示す説明図である。
【図7】判定対象領域の一例を示す説明図である。
【図8】デコードされたストリームに対する判定結果の一例を示す説明図である。
【図9A】映像方式判定部160での映像方式の判定処理による、OSD機能による情報の重畳制御例を示す説明図である。
【図9B】映像方式判定部160での映像方式の判定処理による、OSD機能による情報の重畳制御例を示す説明図である。
【発明を実施するための形態】
【0026】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0027】
なお、説明は以下の順序で行うものとする。
<1.本発明の一実施形態>
[1−1.映像表示システムの構成例]
[1−2.レコーダの構成例]
[1−3.レコーダの動作]
<2.まとめ>
【0028】
<1.本発明の一実施形態>
[1−1.映像表示システムの構成例]
まず、図1を参照して、本発明の一実施形態にかかる映像表示システムの構成例について説明する。図1は、本発明の一実施形態にかかる映像表示システム10について示す説明図である。図1に示したように、本発明の一実施形態にかかる映像表示システム10は、レコーダ100と、テレビ200と、シャッタ眼鏡300と、を含んで構成される。
【0029】
レコーダ100は、本発明の映像出力装置の一例であり、テレビ200に表示する映像のソースが保存されるものである。レコーダ100は、ハードディスク、光ディスク、フラッシュメモリその他の記録媒体に映像ソースを記録し、記録媒体に記録された映像ソースを出力する機能を有する。また、レコーダ100は映像に文字や画像を重畳するOSD機能を有すると共に、記録した映像ソースを出力する際に、その映像ソースの映像方式を識別する機能を有する。
【0030】
テレビ200は、本発明の映像表示装置の一例であり、放送局から送信される映像や、レコーダ100から出力される映像を表示するものである。本実施形態にかかるテレビ200は、シャッタ眼鏡300を通して映像を視聴した視聴者に、立体的な映像として認識可能な3D映像を表示することができる映像表示装置である。本実施形態では、レコーダ100とテレビ200とはHDMIケーブルで接続されている。もちろん、本発明ではレコーダ100とテレビ200との接続形態はかかる例に限定されない。
【0031】
サイドバイサイド方式で記録されている映像ソースを例にして、レコーダ100が出力する映像とテレビ200で表示する映像との関係を説明する。図2は、サイドバイサイド方式で記録されている映像ソースから3D映像を表示する場合の概要を示す説明図である。上述したように、サイドバイサイド方式は、画面を左右に分割した状態で映像をテレビへ伝送するものであり、テレビ側では、一つの画像から右目用の映像と左目用の映像が作り出され、右目用の映像と左目用の映像とはそれぞれ時分割表示される。
【0032】
図2に示した例では、一つの画像P1を左右に分割し、右側に右目用画像R1が、左側に左目用画像L1が、それぞれ表示された画像から、右目用画像R1と左目用画像L1とを交互に表示することで立体的な映像として表示する場合を示したものである。
【0033】
従って、レコーダ側でOSD機能により情報を映像に重畳すると、情報の重畳位置によっては、重畳した情報がテレビ側で分断されて表示されてしまう。具体的には、分割の境界線に跨ってレコーダ側で情報を重畳すると、重畳した情報がテレビ側で分断されて表示されてしまうことになってしまう。
【0034】
図3は、レコーダ側で重畳された情報がテレビ側で分断されて表示されてしまう場合の一例について示す説明図である。図3は、一つの画像P1に、レコーダで「ERROR」という文字を映像に重畳してテレビへ出力した場合を示したものである。図3に示したように、右目用画像R1と左目用画像L1とに分割する境界線に跨って文字を重畳すると、テレビ側で3D映像を作り出す際に、その重畳された文字が分断されてしまい、3D映像をテレビ側で表示する際にレコーダ側で重畳した文字が正確に表示されなくなってしまう。
【0035】
そこで、本実施形態にかかるレコーダ100は、出力する映像がどの方式によるものかを画像処理によって判別する機能を有する。かかる識別機能により、レコーダ100はOSD機能による情報の重畳方法を変更したり、テレビ200に対して一時的に3D映像の表示の停止を指示したりすることができる。
【0036】
以上、本発明の一実施形態にかかる映像表示システム10について説明した。次に、本発明の一実施形態にかかるレコーダ100の機能構成について説明する。
【0037】
[1−2.レコーダの構成例]
図4は、本発明の一実施形態にかかるレコーダ100の機能構成について示す説明図である。以下、図4を用いて本発明の一実施形態にかかるレコーダ100の機能構成について説明する。
【0038】
図4に示したように、本発明の一実施形態にかかるレコーダ100は、記録メディア110と、デコーダ120と、特徴点検出部130と、エンコーダ140と、特徴点データベース150と、映像方式判定部160と、出力信号生成部170と、を含んで構成される。
【0039】
記録メディア110は、映像ソースが記録される記録媒体であり、記録メディア110としては、例えばハードディスクや光ディスク、フラッシュメモリ等の各種記録媒体を用いることができる。記録メディア110には、サイドバイサイド方式やオーバーアンダー方式などのように、一つの画面を分割した状態の映像も記録され、これらの方式による映像をテレビ200に出力することができる。
【0040】
デコーダ120は、記録メディア110に記録されている映像ソースをデコードするものである。映像ソースをデコードしたデコーダ120は、デコード後の映像音声信号を出力信号生成部170へ出力すると共に、映像方式の判定のためにデコード後の映像ストリームを特徴点検出部130にも出力する。
【0041】
特徴点検出部130は、デコーダ120によってデコードされた映像ストリームに対して、後段の映像方式判定部160での映像方式の判定に用いる特徴点を検出する処理を実行するものである。特徴点検出部130で検出した特徴点の情報(特徴点情報)は特徴点データベース150に保存される。また、特徴点検出後の映像ストリームは特徴点検出部130からエンコーダ140に送られる。
【0042】
エンコーダ140は、映像ストリームをエンコードして録画用ストリームを生成するものである。エンコーダ140がエンコードした録画用ストリームも特徴点データベース150に送られる。
【0043】
特徴点データベース150は、特徴点検出部130が検出した特徴点情報を時系列で保存するものである。特徴点データベース150に時系列で格納される特徴点情報は、後段の映像方式判定部160での映像方式の判定処理に用いられる。
【0044】
映像方式判定部160は、特徴点データベース150に時系列で保存された特徴点情報を用いて、レコーダ100から出力しようとしている映像の映像方式を判定するものである。映像方式判定部160が判定した映像方式の情報は出力信号生成部170に送られる。映像方式判定部160での映像方式の判定処理については後に詳述する。
【0045】
図4に示したように、映像方式判定部160は、画素比較部162と、表示方式判定部164と、を含んで構成される。画素比較部162は、特徴点データベース150に時系列で保存された特徴点の画素同士を比較して、その特徴点が一致しているかどうかを見るものである。画素比較部162における比較結果は表示方式判定部164に送られる。表示方式判定部164は、画素比較部162における比較結果を用いて、デコーダ120でデコードされ、レコーダ100から出力しようとしている映像の映像方式を判定するものである。
【0046】
出力信号生成部170は、デコーダ120でデコードされた映像音声信号を用いて、テレビ200に供給するための出力信号を生成するものである。本実施形態では、出力信号生成部170はHDMI(High−Definition Multimedia Interface)規格に則った出力信号を生成する。また、出力信号生成部170は、映像方式判定部160が判定した映像方式の情報も組み込んで出力信号を生成する。
【0047】
また、出力信号生成部170は、デコーダ120でデコードされた映像に情報を重畳するOSD機能を有していても良い。映像に重畳する情報としては、例えば再生中の映像のタイトル、映像の再生時間、映像の再生・一時停止・停止等の情報である。
【0048】
以上、本発明の一実施形態にかかるレコーダ100の機能構成について説明した。なお、図4に示したレコーダ100は、記録メディア110に記録されている映像ソースをデコーダ120でデコードする構成としているが、本発明はかかる例に限定されない。レコーダ100は、放送局からの放送波を受信し、受信した放送波をデコーダ120でデコードする構成としても良い。次に、本発明の一実施形態にかかるレコーダ100の動作について説明する。
【0049】
[1−3.レコーダの動作]
図5は、本発明の一実施形態にかかるレコーダ100の動作について示す流れ図である。図5は、記録メディア110に記録されている映像ソースを再生する際に、再生される映像がどの方式の映像かを映像方式判定部160で判定する際の動作について示したものである。以下、図5を用いて本発明の一実施形態にかかるレコーダ100の動作について説明する。
【0050】
記録メディア110に記録されている映像ソースを再生する際には、まず記録メディア110から再生対象の映像ソースが読み出され、デコーダ120は記録メディア110から読み出された映像ソースをデコードする(ステップS101)。デコーダ120でデコードされたストリームは、特徴点検出部130に送られる(ステップS102)。
【0051】
特徴点検出部130は、デコードされたストリームに対して特徴点を検出する処理を実行する(ステップS103)。特徴点検出部130は、デコードされたストリームの個々の画像に対し特徴点を検出する処理を実行する。なお、特徴点検出部130は、処理能力の観点から、デコードされたストリームに対して数フレーム毎、あるいは数秒毎に特徴点を検出する処理を実行してもよい。
【0052】
特徴点検出部130は、個々の画像に対して、例えば隣接する画素間における画素の変化量、特定の色(例えは肌色)の検出、表示されている字幕の検出等を実行し、これらの変化量や分布率をパラメータとすることで、個々の画像の特徴点とする。
【0053】
特徴点検出部130は、検出した特徴点の情報を時系列で特徴点データベース150に保存する(ステップS104)。映像方式判定部160は、特徴点データベース150に保存された特徴点の情報を逐次監視し(ステップS105)、デコーダ120でデコードされたストリームの映像方式を判定する(ステップS106)。映像方式判定部160がストリームの映像方式を判定すると、映像方式判定部160は、その判定の結果を出力信号生成部170に出力する。
【0054】
図6は、本発明の一実施形態にかかる映像方式判定部160によるストリームの映像方式の判定手法の一例について示す説明図である。本実施形態では、ストリームの映像方式の判定に際し、映像方式判定部160は1つの画面を4つの領域に分割する。図6では、1つの画面P1を縦方向及び横方向にそれぞれ二等分し、4つの領域Q1、Q2、Q3、Q4に分割した場合を示したものである。
【0055】
そして、映像方式判定部160は、このように4つの領域Q1、Q2、Q3、Q4に分割した後に、領域Q1と領域Q2との間で、及び領域Q1と領域Q3との間で、相対的に位置が一致する画素同士を比較することで、デコーダ120でデコードされたストリームの映像方式を判定する。
【0056】
すなわち、領域Q1と領域Q2との間で相対的に位置が一致する画素同士を比較して共通している場合には、映像方式判定部160はデコーダ120でデコードされたストリームの映像方式がサイドバイサイド方式であると判定することができる。一方、領域Q1と領域Q3との間で相対的に位置が一致する画素同士を比較して共通している場合には、映像方式判定部160はデコーダ120でデコードされたストリームの映像方式がオーバーアンダー方式であると判定することができる。
【0057】
映像方式判定部160は、領域間の画素同士を比較する際には、各領域内のすべての画素について比較すれば、判定結果の信頼度を最も高めることができる。しかし、実際には各領域内のすべての画素について比較するのは非常に膨大な処理量となってしまい、判定処理の長時間化を招いてしまう。そこで、上述したように、画像中の特徴点を予め特徴点検出部130で検出し、この特徴点がどの領域に存在しているかを映像方式判定部160で検出することによって、判定処理に要する時間を短縮することができる。なお、映像方式判定部160は、特徴点検出部130が検出し、特徴点データベース150に格納された、各領域における特徴点の時間的遷移についての情報を用いて映像方式の判定を行うようにしても良い。例えば、映像方式判定部160は、特徴点データベース150に格納された特徴点の時間的遷移が領域Q1と領域Q2との間で同じであればサイドバイサイド方式、領域Q1と領域Q3との間で特徴点の時間的遷移が同じであればオーバーアンダー方式であると判断しても良い。
【0058】
なお、本実施形態では、映像方式判定部160は特徴点データベース150に保存された特徴点の情報を用いて映像方式を判定しているが、本発明はかかる例に限定されない。例えば、デコーダ120がデコードしたストリームを映像方式判定部160に直接供給し、映像方式判定部160はデコーダ120から直接供給されたストリームを用いて映像方式の判定処理を実行するようにしても良い。
【0059】
出力信号生成部170は、デコーダ120がデコードしたストリームを出力する際に、映像方式判定部160によるストリームの映像方式の判定結果を付加してテレビ200へ送信する(ステップS107)。レコーダ100からテレビ200へは、例えばHDMIを用いてストリームを伝送することができるが、映像方式判定部160によるストリームの映像方式の判定結果は、HDMIの出力属性としてレコーダ100からテレビ200へ伝送することができる。
【0060】
レコーダ100からストリームとともに映像方式の判定結果を受けたテレビ200は、レコーダ100から伝送されたストリームがどの映像方式であるかを把握することができる。従来においては映像のソースに方式を識別する情報は含まれておらず、映像を表示する側において映像をどのように表示すべきか識別することが出来なかった。しかし、レコーダ100で映像のソースがどの映像方式で記録されているものであるかを判別することで、テレビ200はレコーダ100から伝送されたストリームを用いてどのように映像を表示すべきかを判断することが可能になり、またレコーダ100では、テレビ200へ伝送しようとするストリームがどの映像方式であるかを判別することで、OSD機能により映像に重畳する情報の重畳形式を適切な形式に変更することができる。
【0061】
本実施形態では、映像方式判定部160は、図6に示したように1つの画像P1を4つの領域Q1、Q2、Q3、Q4に分割し、領域Q1と領域Q2との間で、及び領域Q1と領域Q3との間で、相対的に位置が一致する画素同士を比較したり、特徴点の変化を追跡したりすることで、デコーダ120でデコードされたストリームの映像方式を判定している。
【0062】
ここで、映像を立体的に表示させる際には、その立体的に表示させようとする対象物は比較的画面の中心に近い位置に存在することが多い場合がある。また、各画像の周辺部には視差により、左眼画像にはあるけど、右眼画像にはない画素(またはその逆)が存在する。従って、映像方式判定部160で画素同士を比較する際には、各領域の周縁部は比較の対象外として、その他の領域のみを判定対象領域としてもよい。図7は、映像方式判定部160で画素同士を比較する際に、各領域の周縁部を比較の対象外として、その他の領域のみを判定対象領域とした場合の一例を示す説明図である。図7に示したように、各領域の周縁部を比較の対象から外すことで判定処理に要する時間を短縮することができるとともに、映像方式の判定結果の精度を高めることができる。この対象外とする領域は、例えば各辺から数%の範囲とすることができる。
【0063】
図8は、デコーダ120でデコードされたストリームに対する判定結果の一例を示す説明図である。例えば、ある画像P1が左右に分割され、右側に右目用画像R1が、左側に左目用画像L1が、それぞれ表示されている場合に、映像方式判定部160で映像方式の判定処理を実行すると、領域Q1と領域Q2との間では画素の一致性が認められ、領域Q1と領域Q3との間では画素の一致性が認められないので、映像方式判定部160は、このストリームはサイドバイサイド方式であると判定することができる。一方、ある画像P2が上下に分割され、上側に左目用画像L2が、下側に右目用画像R2が、それぞれ表示されている場合に、映像方式判定部160で映像方式の判定処理を実行すると、領域Q1と領域Q2との間では画素の一致性が認められず、領域Q1と領域Q3との間では画素の一致性が認められるので、映像方式判定部160は、このストリームはオーバーアンダー方式であると判定することができる。
【0064】
レコーダ100は、映像方式判定部160での映像方式の判定処理により、OSD機能による映像への情報の重畳を制御することができる。例えば、映像方式判定部160での映像方式の判定処理の結果、デコーダ120でデコードされたストリームがサイドバイサイド方式であると判定された場合には、OSD機能により左右に並べて情報を映像に重畳し、オーバーアンダー方式であると判定された場合には、OSD機能により上下に並べて情報を映像に重畳することができる。
【0065】
図9A及び図9Bは、映像方式判定部160での映像方式の判定処理の結果に応じた、OSD機能による情報の重畳制御例を示す説明図である。図9Aは、画像P1が左右に分割され、右側に右目用画像R1が、左側に左目用画像L1が、それぞれ表示されている場合に、映像方式判定部160によってサイドバイサイド方式の映像であると判定されたことにより、出力信号生成部170が有するOSD機能により、情報T1を画像P1に重畳させた場合を示したものである。図9Bは、画像P2が上下に分割され、上側に左目用画像L2が、下側に右目用画像R2が、それぞれ表示されている場合に、映像方式判定部160によってオーバーアンダー方式の映像であると判定されたことにより、出力信号生成部170が有するOSD機能により、情報T2を画像P2に重畳させた場合を示したものである。
【0066】
このように、映像方式判定部160での映像方式の判定処理の結果に応じて、情報の映像への重畳位置を制御することが出来る。映像方式判定部160での映像方式の判定処理の結果に応じて、情報の映像への重畳位置を適切に決定することで、図3に示したような情報の分断という事態を避け、3D映像をテレビ200で表示する際にレコーダ100で重畳した文字を正確に表示することができる。
【0067】
<2.まとめ>
以上説明したように本発明の一実施形態によれば、レコーダ100から出力しようとするストリームに対し、映像方式判定部160での映像方式の判定処理を実行する。映像方式判定部160による映像方式の判定処理は、画像を上下左右4つの領域に均等に分割し、各領域間で画素の一致性を比較する。具体的には、図6に示したように1つの画像P1を4つの領域Q1、Q2、Q3、Q4に分割し、領域Q1と領域Q2との間で、及び領域Q1と領域Q3との間で、相対的に位置が一致する画素同士を比較する。
【0068】
そして、映像方式判定部160での判定処理の結果は、レコーダ100からテレビ200に伝送される。これにより、レコーダ100はテレビ200で表示させようとする映像に対する情報の重畳を制御することが可能になり、テレビ200はレコーダ100から伝送される判定処理の結果を参照することで、現在表示している映像がどの映像方式に該当するのかを把握することが可能となる。
【0069】
なお、上述した本発明の一実施形態では、図4に示したように、レコーダ100の内部に映像方式を判定する構成が設けられていたが、本発明はかかる例に限定されない。すなわち、テレビ200の内部に図4に示したような映像方式を判定する構成が設けられていても良い。すなわち、テレビ200が放送局から受信したストリームをデコードした後に、またテレビ200に接続されているレコーダ100その他の映像出力装置から映像の伝送を受けた後に、これらの映像に対して、映像方式判定部160が実行するような映像方式の判定処理を実行する手段を、テレビ200の内部に備えることができる。
【0070】
また、上述した本発明の一実施形態では、本発明の映像出力装置の一例としてレコーダ100を挙げて説明したが、本発明はかかる例に限定されないことは言うまでもない。レコーダ100と同様に映像を出力する機能を有するものであれば、映像出力装置として、例えば据え置き型のゲーム機を用いてもよく、パーソナルコンピュータその他の情報処理装置を用いてもよい。
【0071】
また、上述した一連の処理は、ハードウェアによって実行してもよく、ソフトウェアによって実行してもよい。ソフトウェアによって実行する場合には、例えばプログラムが格納された記録媒体をレコーダ100やテレビ200に内蔵してもよい。そして、かかるプログラムを、レコーダ100やテレビ200に内蔵したCPU(Central Processing Unit)、DSP(Digital Signal Processor)その他の制御装置が読み出して順次実行するようにしてもよい。
【0072】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【0073】
例えば、上記実施形態では、立体的な映像を出力する映像表示システム10を例に挙げて説明したが、本発明はかかる例に限定されない。例えば、時分割シャッタ方式を用いて、複数の対象者に異なる映像を表示する、いわゆるマルチビュー表示を実行する表示装置に本発明をしてもよい。マルチビュー表示は、立体視させる場合とは異なり、所定の期間においては特定のシャッタ眼鏡を通してのみ画像を見ることができるようにシャッタを制御することで、1つの表示装置で複数の画像を表示させることができる。
【0074】
また例えば、映像方式判定部160は、時間によって画素を比較する位置を変化させるようにしてもよい。時間によっては画面上部に時刻情報その他の文字情報が表示される場合があり、その文字情報の表示位置を画素比較の対象とすることで、より効果的な映像方式の判定が可能になる。
【0075】
また例えば、映像のソースに三次元映像の奥行きを示す深さ(Depth)の情報が含まれているような場合には、映像方式判定部160は、その深さの差が無いところを判別位置とするようにしてもよい。深さの差が無いところは映像が立体に表示される場所であり、この深さの差が無いところを判別位置とすることで、より効果的な映像方式の判定が可能になる。
【産業上の利用可能性】
【0076】
本発明は、映像処理装置、映像識別方法、映像表示装置及びコンピュータプログラムに適用可能であり、特に複数の画像が時分割で表示される映像を出力する映像出力装置、当該映像の映像識別方法、当該映像を表示する映像表示装置及びコンピュータプログラムに適用可能である。
【符号の説明】
【0077】
10 映像表示システム
100 レコーダ
110 記録メディア
120 デコーダ
130 特徴点検出部
140 エンコーダ
150 特徴点データベース
160 映像方式判定部
162 画素比較部
164 表示方式判定部
170 出力信号生成部
200 テレビ
300 シャッタ眼鏡
【技術分野】
【0001】
本発明は、映像処理装置、映像識別方法、映像表示装置及びコンピュータプログラムに関する。
【背景技術】
【0002】
三次元(3D)画像を画面に表示させて視聴者に立体的な映像を楽しんでもらうための3D放送サービスが、今後広く普及していくことが考えられる。3D画像の表示方式としては、例えばサイドバイサイド(Side By Side;SBS)方式、オーバーアンダー(Over−Under)方式、フレームシーケンシャル(Frame Sequential;FSQ)方式等がある。
【0003】
サイドバイサイド方式は、画面を左右に分割した状態で映像を伝送する方式であり、サイドバイサイド方式に対応した映像表示装置では左右に分割された画像から立体的な映像を作り出すことができるが、対応していない映像表示装置では右眼用の画像が画面の右側に、左眼用の画像が画面の左側に、それぞれ表示されることになる。オーバーアンダー方式は、画面を上下に分割した状態で映像を伝送する方式であり、サイドバイサイド方式と同様に、オーバーアンダー方式に対応した映像表示装置では上下に分割された画像から立体的な映像を作り出すことができるが、対応していない映像表示装置では同一の画像が上下対称に表示されることになる。
【0004】
フレームシーケンシャル方式は、右眼用の映像ストリームと左眼用の映像ストリームとを時分割的に順次切り換えて出力する方式である。このようなフレームシーケンシャル方式によって表示される映像は、例えば、いわゆるシャッタ眼鏡を用いた時分割立体映像表示システム(例えば、特許文献1〜3参照)によって、視聴者に立体的な映像として知覚させることができる。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開平9−138384号公報
【特許文献2】特開2000−36969号公報
【特許文献3】特開2003−45343号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
テレビやレコーダは、映像に文字や画像を重畳するOSD(On−Screen Display)機能を有しており、映像上に様々な情報を表示させることができる。しかし、サイドバイサイド方式やオーバーアンダー方式のように、画面を上下や左右等の複数の領域に分割して映像を表示する方式では、OSD機能により映像に重畳された文字や画像が分断されてしまう場合がある。特に、レコーダからサイドバイサイド方式やオーバーアンダー方式の映像をテレビに出力する際に、レコーダで重畳した文字や画像がテレビに正常に表示されない問題があった。
【0007】
映像のソースに、その映像がどのような方式であるかを識別する情報が含まれていれば、レコーダからサイドバイサイド方式やオーバーアンダー方式の映像をテレビに出力する際に、映像の方式を認識して、文字や画像の重畳方法を変更することができる。しかし、現状では映像のソースに方式を識別する情報は含まれていない。HDMI(High−Definition Multimedia Interface)ver1.4規格には、3D規格としてサイドバイサイド方式は定義されているが、運用が少ないのが実情であり、放送波に至っては規定自体されていない。またオーバーアンダー方式は、現状の3D規格には定義自体されていない。従って、現状では映像の方式を識別する手段が存在しないという問題がある。
【0008】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、映像の方式を識別することが可能な、新規かつ改良された映像処理装置、映像識別方法、映像表示装置及びコンピュータプログラムを提供することにある。
【課題を解決するための手段】
【0009】
上記課題を解決するために、本発明のある観点によれば、入力画像の縦方向及び横方向の中心線を基準に該画像を複数の領域に分割し、分割した複数の領域に対して相対的に一致する位置の画素を比較する画素比較部と、前記画素比較部の画素比較の結果に基づいて前記入力画像の表示形式を判定する表示方式判定部と、を備える、映像処理装置が提供される。
【0010】
入力画像の特徴点を検出する特徴点検出部をさらに備え、前記画素比較部は、前記特徴点検出部が検出した前記特徴点における画素を比較するようにしてもよい。
【0011】
前記特徴点検出部は、隣接する画素間の変化量が所定量を超える画素を特徴点として検出し、前記画素比較部は、前記特徴点検出部が検出した特徴点に基づいて画素を比較するようにしてもよい。
【0012】
前記特徴点検出部は、所定の色を表示する画素を特徴点として検出し、前記画素比較部は、前記特徴点検出部が検出した特徴点に基づいて画素を比較するようにしてもよい。
【0013】
前記特徴点検出部は、肌色を表示する画素を特徴点として検出し、前記画素比較部は、前記特徴点検出部が検出した特徴点に基づいて画素を比較するようにしてもよい。
【0014】
前記特徴点検出部は、所定の文字情報を表示する画素を特徴点として検出し、前記画素比較部は、前記特徴点検出部が検出した特徴点に基づいて画素を比較するようにしてもよい。
【0015】
前記特徴点検出部が検出した特徴点の情報を時系列で格納する特徴点情報格納部をさらに備えてもよい。
【0016】
前記表示方式判定部は、前記特徴点情報格納部に時系列で格納された特徴点の情報に基づいて前記入力画像の表示形式を判定するようにしてもよい。
【0017】
前記画素比較部は、領域内の全ての画素に対して画素比較するようにしてもよい。
【0018】
前記画素比較部は、領域内の一部の領域に対して画素比較するようにしてもよい。
【0019】
前記画素比較部は、分割後の各領域の周縁部の所定の領域は画素比較の対象から外すようにしてもよい。
【0020】
前記映像処理装置への入力画像は立体的に知覚させる画像であってもよい。
【0021】
また、上記課題を解決するために、本発明の別の観点によれば、入力画像の縦方向及び横方向の中心線を基準に該画像を複数の領域に分割し、分割した複数の領域に対して相対的に一致する位置の画素を比較する画素比較ステップと、前記画素比較ステップの画素比較の結果に基づいて前記入力画像の表示形式を判定する表示方式判定ステップと、を備える、映像識別方法が提供される。
【0022】
また、上記課題を解決するために、本発明の別の観点によれば、入力画像の縦方向及び横方向の中心線を基準に該画像を複数の領域に分割し、分割した複数の領域に対して相対的に一致する位置の画素を比較する画素比較部と、前記画素比較部の画素比較の結果に基づいて前記入力画像の表示形式を判定する表示方式判定部と、前記表示方式判定部が判定した表示方式に基づいて前記入力画像を表示する表示部と、を備える、映像表示装置が提供される。
【0023】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータに、入力画像の縦方向及び横方向の中心線を基準に該画像を複数の領域に分割し、分割した複数の領域に対して相対的に一致する位置の画素を比較する画素比較ステップと、前記画素比較ステップの画素比較の結果に基づいて前記入力画像の表示形式を判定する表示方式判定ステップと、を実行させる、コンピュータプログラムが提供される。
【発明の効果】
【0024】
以上説明したように本発明によれば、映像の方式を識別することが可能な、新規かつ改良された映像処理装置、映像識別方法、映像表示装置及びコンピュータプログラムを提供することができる。
【図面の簡単な説明】
【0025】
【図1】本発明の一実施形態にかかる映像表示システム10について示す説明図である。
【図2】サイドバイサイド方式で記録されている映像ソースから3D映像を表示する場合の概要を示す説明図である。
【図3】レコーダ側で重畳された情報がテレビ側で分断されて表示されてしまう場合の一例について示す説明図である。
【図4】本発明の一実施形態にかかるレコーダ100の機能構成について示す説明図である。
【図5】本発明の一実施形態にかかるレコーダ100の動作について示す流れ図である。
【図6】本発明の一実施形態にかかる映像方式判定部160によるストリームの映像方式の判定手法の一例について示す説明図である。
【図7】判定対象領域の一例を示す説明図である。
【図8】デコードされたストリームに対する判定結果の一例を示す説明図である。
【図9A】映像方式判定部160での映像方式の判定処理による、OSD機能による情報の重畳制御例を示す説明図である。
【図9B】映像方式判定部160での映像方式の判定処理による、OSD機能による情報の重畳制御例を示す説明図である。
【発明を実施するための形態】
【0026】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0027】
なお、説明は以下の順序で行うものとする。
<1.本発明の一実施形態>
[1−1.映像表示システムの構成例]
[1−2.レコーダの構成例]
[1−3.レコーダの動作]
<2.まとめ>
【0028】
<1.本発明の一実施形態>
[1−1.映像表示システムの構成例]
まず、図1を参照して、本発明の一実施形態にかかる映像表示システムの構成例について説明する。図1は、本発明の一実施形態にかかる映像表示システム10について示す説明図である。図1に示したように、本発明の一実施形態にかかる映像表示システム10は、レコーダ100と、テレビ200と、シャッタ眼鏡300と、を含んで構成される。
【0029】
レコーダ100は、本発明の映像出力装置の一例であり、テレビ200に表示する映像のソースが保存されるものである。レコーダ100は、ハードディスク、光ディスク、フラッシュメモリその他の記録媒体に映像ソースを記録し、記録媒体に記録された映像ソースを出力する機能を有する。また、レコーダ100は映像に文字や画像を重畳するOSD機能を有すると共に、記録した映像ソースを出力する際に、その映像ソースの映像方式を識別する機能を有する。
【0030】
テレビ200は、本発明の映像表示装置の一例であり、放送局から送信される映像や、レコーダ100から出力される映像を表示するものである。本実施形態にかかるテレビ200は、シャッタ眼鏡300を通して映像を視聴した視聴者に、立体的な映像として認識可能な3D映像を表示することができる映像表示装置である。本実施形態では、レコーダ100とテレビ200とはHDMIケーブルで接続されている。もちろん、本発明ではレコーダ100とテレビ200との接続形態はかかる例に限定されない。
【0031】
サイドバイサイド方式で記録されている映像ソースを例にして、レコーダ100が出力する映像とテレビ200で表示する映像との関係を説明する。図2は、サイドバイサイド方式で記録されている映像ソースから3D映像を表示する場合の概要を示す説明図である。上述したように、サイドバイサイド方式は、画面を左右に分割した状態で映像をテレビへ伝送するものであり、テレビ側では、一つの画像から右目用の映像と左目用の映像が作り出され、右目用の映像と左目用の映像とはそれぞれ時分割表示される。
【0032】
図2に示した例では、一つの画像P1を左右に分割し、右側に右目用画像R1が、左側に左目用画像L1が、それぞれ表示された画像から、右目用画像R1と左目用画像L1とを交互に表示することで立体的な映像として表示する場合を示したものである。
【0033】
従って、レコーダ側でOSD機能により情報を映像に重畳すると、情報の重畳位置によっては、重畳した情報がテレビ側で分断されて表示されてしまう。具体的には、分割の境界線に跨ってレコーダ側で情報を重畳すると、重畳した情報がテレビ側で分断されて表示されてしまうことになってしまう。
【0034】
図3は、レコーダ側で重畳された情報がテレビ側で分断されて表示されてしまう場合の一例について示す説明図である。図3は、一つの画像P1に、レコーダで「ERROR」という文字を映像に重畳してテレビへ出力した場合を示したものである。図3に示したように、右目用画像R1と左目用画像L1とに分割する境界線に跨って文字を重畳すると、テレビ側で3D映像を作り出す際に、その重畳された文字が分断されてしまい、3D映像をテレビ側で表示する際にレコーダ側で重畳した文字が正確に表示されなくなってしまう。
【0035】
そこで、本実施形態にかかるレコーダ100は、出力する映像がどの方式によるものかを画像処理によって判別する機能を有する。かかる識別機能により、レコーダ100はOSD機能による情報の重畳方法を変更したり、テレビ200に対して一時的に3D映像の表示の停止を指示したりすることができる。
【0036】
以上、本発明の一実施形態にかかる映像表示システム10について説明した。次に、本発明の一実施形態にかかるレコーダ100の機能構成について説明する。
【0037】
[1−2.レコーダの構成例]
図4は、本発明の一実施形態にかかるレコーダ100の機能構成について示す説明図である。以下、図4を用いて本発明の一実施形態にかかるレコーダ100の機能構成について説明する。
【0038】
図4に示したように、本発明の一実施形態にかかるレコーダ100は、記録メディア110と、デコーダ120と、特徴点検出部130と、エンコーダ140と、特徴点データベース150と、映像方式判定部160と、出力信号生成部170と、を含んで構成される。
【0039】
記録メディア110は、映像ソースが記録される記録媒体であり、記録メディア110としては、例えばハードディスクや光ディスク、フラッシュメモリ等の各種記録媒体を用いることができる。記録メディア110には、サイドバイサイド方式やオーバーアンダー方式などのように、一つの画面を分割した状態の映像も記録され、これらの方式による映像をテレビ200に出力することができる。
【0040】
デコーダ120は、記録メディア110に記録されている映像ソースをデコードするものである。映像ソースをデコードしたデコーダ120は、デコード後の映像音声信号を出力信号生成部170へ出力すると共に、映像方式の判定のためにデコード後の映像ストリームを特徴点検出部130にも出力する。
【0041】
特徴点検出部130は、デコーダ120によってデコードされた映像ストリームに対して、後段の映像方式判定部160での映像方式の判定に用いる特徴点を検出する処理を実行するものである。特徴点検出部130で検出した特徴点の情報(特徴点情報)は特徴点データベース150に保存される。また、特徴点検出後の映像ストリームは特徴点検出部130からエンコーダ140に送られる。
【0042】
エンコーダ140は、映像ストリームをエンコードして録画用ストリームを生成するものである。エンコーダ140がエンコードした録画用ストリームも特徴点データベース150に送られる。
【0043】
特徴点データベース150は、特徴点検出部130が検出した特徴点情報を時系列で保存するものである。特徴点データベース150に時系列で格納される特徴点情報は、後段の映像方式判定部160での映像方式の判定処理に用いられる。
【0044】
映像方式判定部160は、特徴点データベース150に時系列で保存された特徴点情報を用いて、レコーダ100から出力しようとしている映像の映像方式を判定するものである。映像方式判定部160が判定した映像方式の情報は出力信号生成部170に送られる。映像方式判定部160での映像方式の判定処理については後に詳述する。
【0045】
図4に示したように、映像方式判定部160は、画素比較部162と、表示方式判定部164と、を含んで構成される。画素比較部162は、特徴点データベース150に時系列で保存された特徴点の画素同士を比較して、その特徴点が一致しているかどうかを見るものである。画素比較部162における比較結果は表示方式判定部164に送られる。表示方式判定部164は、画素比較部162における比較結果を用いて、デコーダ120でデコードされ、レコーダ100から出力しようとしている映像の映像方式を判定するものである。
【0046】
出力信号生成部170は、デコーダ120でデコードされた映像音声信号を用いて、テレビ200に供給するための出力信号を生成するものである。本実施形態では、出力信号生成部170はHDMI(High−Definition Multimedia Interface)規格に則った出力信号を生成する。また、出力信号生成部170は、映像方式判定部160が判定した映像方式の情報も組み込んで出力信号を生成する。
【0047】
また、出力信号生成部170は、デコーダ120でデコードされた映像に情報を重畳するOSD機能を有していても良い。映像に重畳する情報としては、例えば再生中の映像のタイトル、映像の再生時間、映像の再生・一時停止・停止等の情報である。
【0048】
以上、本発明の一実施形態にかかるレコーダ100の機能構成について説明した。なお、図4に示したレコーダ100は、記録メディア110に記録されている映像ソースをデコーダ120でデコードする構成としているが、本発明はかかる例に限定されない。レコーダ100は、放送局からの放送波を受信し、受信した放送波をデコーダ120でデコードする構成としても良い。次に、本発明の一実施形態にかかるレコーダ100の動作について説明する。
【0049】
[1−3.レコーダの動作]
図5は、本発明の一実施形態にかかるレコーダ100の動作について示す流れ図である。図5は、記録メディア110に記録されている映像ソースを再生する際に、再生される映像がどの方式の映像かを映像方式判定部160で判定する際の動作について示したものである。以下、図5を用いて本発明の一実施形態にかかるレコーダ100の動作について説明する。
【0050】
記録メディア110に記録されている映像ソースを再生する際には、まず記録メディア110から再生対象の映像ソースが読み出され、デコーダ120は記録メディア110から読み出された映像ソースをデコードする(ステップS101)。デコーダ120でデコードされたストリームは、特徴点検出部130に送られる(ステップS102)。
【0051】
特徴点検出部130は、デコードされたストリームに対して特徴点を検出する処理を実行する(ステップS103)。特徴点検出部130は、デコードされたストリームの個々の画像に対し特徴点を検出する処理を実行する。なお、特徴点検出部130は、処理能力の観点から、デコードされたストリームに対して数フレーム毎、あるいは数秒毎に特徴点を検出する処理を実行してもよい。
【0052】
特徴点検出部130は、個々の画像に対して、例えば隣接する画素間における画素の変化量、特定の色(例えは肌色)の検出、表示されている字幕の検出等を実行し、これらの変化量や分布率をパラメータとすることで、個々の画像の特徴点とする。
【0053】
特徴点検出部130は、検出した特徴点の情報を時系列で特徴点データベース150に保存する(ステップS104)。映像方式判定部160は、特徴点データベース150に保存された特徴点の情報を逐次監視し(ステップS105)、デコーダ120でデコードされたストリームの映像方式を判定する(ステップS106)。映像方式判定部160がストリームの映像方式を判定すると、映像方式判定部160は、その判定の結果を出力信号生成部170に出力する。
【0054】
図6は、本発明の一実施形態にかかる映像方式判定部160によるストリームの映像方式の判定手法の一例について示す説明図である。本実施形態では、ストリームの映像方式の判定に際し、映像方式判定部160は1つの画面を4つの領域に分割する。図6では、1つの画面P1を縦方向及び横方向にそれぞれ二等分し、4つの領域Q1、Q2、Q3、Q4に分割した場合を示したものである。
【0055】
そして、映像方式判定部160は、このように4つの領域Q1、Q2、Q3、Q4に分割した後に、領域Q1と領域Q2との間で、及び領域Q1と領域Q3との間で、相対的に位置が一致する画素同士を比較することで、デコーダ120でデコードされたストリームの映像方式を判定する。
【0056】
すなわち、領域Q1と領域Q2との間で相対的に位置が一致する画素同士を比較して共通している場合には、映像方式判定部160はデコーダ120でデコードされたストリームの映像方式がサイドバイサイド方式であると判定することができる。一方、領域Q1と領域Q3との間で相対的に位置が一致する画素同士を比較して共通している場合には、映像方式判定部160はデコーダ120でデコードされたストリームの映像方式がオーバーアンダー方式であると判定することができる。
【0057】
映像方式判定部160は、領域間の画素同士を比較する際には、各領域内のすべての画素について比較すれば、判定結果の信頼度を最も高めることができる。しかし、実際には各領域内のすべての画素について比較するのは非常に膨大な処理量となってしまい、判定処理の長時間化を招いてしまう。そこで、上述したように、画像中の特徴点を予め特徴点検出部130で検出し、この特徴点がどの領域に存在しているかを映像方式判定部160で検出することによって、判定処理に要する時間を短縮することができる。なお、映像方式判定部160は、特徴点検出部130が検出し、特徴点データベース150に格納された、各領域における特徴点の時間的遷移についての情報を用いて映像方式の判定を行うようにしても良い。例えば、映像方式判定部160は、特徴点データベース150に格納された特徴点の時間的遷移が領域Q1と領域Q2との間で同じであればサイドバイサイド方式、領域Q1と領域Q3との間で特徴点の時間的遷移が同じであればオーバーアンダー方式であると判断しても良い。
【0058】
なお、本実施形態では、映像方式判定部160は特徴点データベース150に保存された特徴点の情報を用いて映像方式を判定しているが、本発明はかかる例に限定されない。例えば、デコーダ120がデコードしたストリームを映像方式判定部160に直接供給し、映像方式判定部160はデコーダ120から直接供給されたストリームを用いて映像方式の判定処理を実行するようにしても良い。
【0059】
出力信号生成部170は、デコーダ120がデコードしたストリームを出力する際に、映像方式判定部160によるストリームの映像方式の判定結果を付加してテレビ200へ送信する(ステップS107)。レコーダ100からテレビ200へは、例えばHDMIを用いてストリームを伝送することができるが、映像方式判定部160によるストリームの映像方式の判定結果は、HDMIの出力属性としてレコーダ100からテレビ200へ伝送することができる。
【0060】
レコーダ100からストリームとともに映像方式の判定結果を受けたテレビ200は、レコーダ100から伝送されたストリームがどの映像方式であるかを把握することができる。従来においては映像のソースに方式を識別する情報は含まれておらず、映像を表示する側において映像をどのように表示すべきか識別することが出来なかった。しかし、レコーダ100で映像のソースがどの映像方式で記録されているものであるかを判別することで、テレビ200はレコーダ100から伝送されたストリームを用いてどのように映像を表示すべきかを判断することが可能になり、またレコーダ100では、テレビ200へ伝送しようとするストリームがどの映像方式であるかを判別することで、OSD機能により映像に重畳する情報の重畳形式を適切な形式に変更することができる。
【0061】
本実施形態では、映像方式判定部160は、図6に示したように1つの画像P1を4つの領域Q1、Q2、Q3、Q4に分割し、領域Q1と領域Q2との間で、及び領域Q1と領域Q3との間で、相対的に位置が一致する画素同士を比較したり、特徴点の変化を追跡したりすることで、デコーダ120でデコードされたストリームの映像方式を判定している。
【0062】
ここで、映像を立体的に表示させる際には、その立体的に表示させようとする対象物は比較的画面の中心に近い位置に存在することが多い場合がある。また、各画像の周辺部には視差により、左眼画像にはあるけど、右眼画像にはない画素(またはその逆)が存在する。従って、映像方式判定部160で画素同士を比較する際には、各領域の周縁部は比較の対象外として、その他の領域のみを判定対象領域としてもよい。図7は、映像方式判定部160で画素同士を比較する際に、各領域の周縁部を比較の対象外として、その他の領域のみを判定対象領域とした場合の一例を示す説明図である。図7に示したように、各領域の周縁部を比較の対象から外すことで判定処理に要する時間を短縮することができるとともに、映像方式の判定結果の精度を高めることができる。この対象外とする領域は、例えば各辺から数%の範囲とすることができる。
【0063】
図8は、デコーダ120でデコードされたストリームに対する判定結果の一例を示す説明図である。例えば、ある画像P1が左右に分割され、右側に右目用画像R1が、左側に左目用画像L1が、それぞれ表示されている場合に、映像方式判定部160で映像方式の判定処理を実行すると、領域Q1と領域Q2との間では画素の一致性が認められ、領域Q1と領域Q3との間では画素の一致性が認められないので、映像方式判定部160は、このストリームはサイドバイサイド方式であると判定することができる。一方、ある画像P2が上下に分割され、上側に左目用画像L2が、下側に右目用画像R2が、それぞれ表示されている場合に、映像方式判定部160で映像方式の判定処理を実行すると、領域Q1と領域Q2との間では画素の一致性が認められず、領域Q1と領域Q3との間では画素の一致性が認められるので、映像方式判定部160は、このストリームはオーバーアンダー方式であると判定することができる。
【0064】
レコーダ100は、映像方式判定部160での映像方式の判定処理により、OSD機能による映像への情報の重畳を制御することができる。例えば、映像方式判定部160での映像方式の判定処理の結果、デコーダ120でデコードされたストリームがサイドバイサイド方式であると判定された場合には、OSD機能により左右に並べて情報を映像に重畳し、オーバーアンダー方式であると判定された場合には、OSD機能により上下に並べて情報を映像に重畳することができる。
【0065】
図9A及び図9Bは、映像方式判定部160での映像方式の判定処理の結果に応じた、OSD機能による情報の重畳制御例を示す説明図である。図9Aは、画像P1が左右に分割され、右側に右目用画像R1が、左側に左目用画像L1が、それぞれ表示されている場合に、映像方式判定部160によってサイドバイサイド方式の映像であると判定されたことにより、出力信号生成部170が有するOSD機能により、情報T1を画像P1に重畳させた場合を示したものである。図9Bは、画像P2が上下に分割され、上側に左目用画像L2が、下側に右目用画像R2が、それぞれ表示されている場合に、映像方式判定部160によってオーバーアンダー方式の映像であると判定されたことにより、出力信号生成部170が有するOSD機能により、情報T2を画像P2に重畳させた場合を示したものである。
【0066】
このように、映像方式判定部160での映像方式の判定処理の結果に応じて、情報の映像への重畳位置を制御することが出来る。映像方式判定部160での映像方式の判定処理の結果に応じて、情報の映像への重畳位置を適切に決定することで、図3に示したような情報の分断という事態を避け、3D映像をテレビ200で表示する際にレコーダ100で重畳した文字を正確に表示することができる。
【0067】
<2.まとめ>
以上説明したように本発明の一実施形態によれば、レコーダ100から出力しようとするストリームに対し、映像方式判定部160での映像方式の判定処理を実行する。映像方式判定部160による映像方式の判定処理は、画像を上下左右4つの領域に均等に分割し、各領域間で画素の一致性を比較する。具体的には、図6に示したように1つの画像P1を4つの領域Q1、Q2、Q3、Q4に分割し、領域Q1と領域Q2との間で、及び領域Q1と領域Q3との間で、相対的に位置が一致する画素同士を比較する。
【0068】
そして、映像方式判定部160での判定処理の結果は、レコーダ100からテレビ200に伝送される。これにより、レコーダ100はテレビ200で表示させようとする映像に対する情報の重畳を制御することが可能になり、テレビ200はレコーダ100から伝送される判定処理の結果を参照することで、現在表示している映像がどの映像方式に該当するのかを把握することが可能となる。
【0069】
なお、上述した本発明の一実施形態では、図4に示したように、レコーダ100の内部に映像方式を判定する構成が設けられていたが、本発明はかかる例に限定されない。すなわち、テレビ200の内部に図4に示したような映像方式を判定する構成が設けられていても良い。すなわち、テレビ200が放送局から受信したストリームをデコードした後に、またテレビ200に接続されているレコーダ100その他の映像出力装置から映像の伝送を受けた後に、これらの映像に対して、映像方式判定部160が実行するような映像方式の判定処理を実行する手段を、テレビ200の内部に備えることができる。
【0070】
また、上述した本発明の一実施形態では、本発明の映像出力装置の一例としてレコーダ100を挙げて説明したが、本発明はかかる例に限定されないことは言うまでもない。レコーダ100と同様に映像を出力する機能を有するものであれば、映像出力装置として、例えば据え置き型のゲーム機を用いてもよく、パーソナルコンピュータその他の情報処理装置を用いてもよい。
【0071】
また、上述した一連の処理は、ハードウェアによって実行してもよく、ソフトウェアによって実行してもよい。ソフトウェアによって実行する場合には、例えばプログラムが格納された記録媒体をレコーダ100やテレビ200に内蔵してもよい。そして、かかるプログラムを、レコーダ100やテレビ200に内蔵したCPU(Central Processing Unit)、DSP(Digital Signal Processor)その他の制御装置が読み出して順次実行するようにしてもよい。
【0072】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【0073】
例えば、上記実施形態では、立体的な映像を出力する映像表示システム10を例に挙げて説明したが、本発明はかかる例に限定されない。例えば、時分割シャッタ方式を用いて、複数の対象者に異なる映像を表示する、いわゆるマルチビュー表示を実行する表示装置に本発明をしてもよい。マルチビュー表示は、立体視させる場合とは異なり、所定の期間においては特定のシャッタ眼鏡を通してのみ画像を見ることができるようにシャッタを制御することで、1つの表示装置で複数の画像を表示させることができる。
【0074】
また例えば、映像方式判定部160は、時間によって画素を比較する位置を変化させるようにしてもよい。時間によっては画面上部に時刻情報その他の文字情報が表示される場合があり、その文字情報の表示位置を画素比較の対象とすることで、より効果的な映像方式の判定が可能になる。
【0075】
また例えば、映像のソースに三次元映像の奥行きを示す深さ(Depth)の情報が含まれているような場合には、映像方式判定部160は、その深さの差が無いところを判別位置とするようにしてもよい。深さの差が無いところは映像が立体に表示される場所であり、この深さの差が無いところを判別位置とすることで、より効果的な映像方式の判定が可能になる。
【産業上の利用可能性】
【0076】
本発明は、映像処理装置、映像識別方法、映像表示装置及びコンピュータプログラムに適用可能であり、特に複数の画像が時分割で表示される映像を出力する映像出力装置、当該映像の映像識別方法、当該映像を表示する映像表示装置及びコンピュータプログラムに適用可能である。
【符号の説明】
【0077】
10 映像表示システム
100 レコーダ
110 記録メディア
120 デコーダ
130 特徴点検出部
140 エンコーダ
150 特徴点データベース
160 映像方式判定部
162 画素比較部
164 表示方式判定部
170 出力信号生成部
200 テレビ
300 シャッタ眼鏡
【特許請求の範囲】
【請求項1】
入力画像の縦方向及び横方向の中心線を基準に該画像を複数の領域に分割し、分割した複数の領域に対して相対的に一致する位置の画素を比較する画素比較部と、
前記画素比較部の画素比較の結果に基づいて前記入力画像の表示形式を判定する表示方式判定部と、
を備える、映像処理装置。
【請求項2】
入力画像の特徴点を検出する特徴点検出部をさらに備え、
前記画素比較部は、前記特徴点検出部が検出した前記特徴点における画素を比較する、請求項1に記載の映像処理装置。
【請求項3】
前記特徴点検出部は、隣接する画素間の変化量が所定量を超える画素を特徴点として検出し、前記画素比較部は、前記特徴点検出部が検出した特徴点に基づいて画素を比較する、請求項2に記載の映像処理装置。
【請求項4】
前記特徴点検出部は、所定の色を表示する画素を特徴点として検出し、前記画素比較部は、前記特徴点検出部が検出した特徴点に基づいて画素を比較する、請求項2に記載の映像処理装置。
【請求項5】
前記特徴点検出部は、肌色を表示する画素を特徴点として検出し、前記画素比較部は、前記特徴点検出部が検出した特徴点に基づいて画素を比較する、請求項4に記載の映像処理装置。
【請求項6】
前記特徴点検出部は、所定の文字情報を表示する画素を特徴点として検出し、前記画素比較部は、前記特徴点検出部が検出した特徴点に基づいて画素を比較する、請求項2に記載の映像処理装置。
【請求項7】
前記特徴点検出部が検出した特徴点の情報を時系列で格納する特徴点情報格納部をさらに備える、請求項2に記載の映像処理装置。
【請求項8】
前記表示方式判定部は、前記特徴点情報格納部に時系列で格納された特徴点の情報に基づいて前記入力画像の表示形式を判定する、請求項7に記載の映像処理装置。
【請求項9】
前記画素比較部は、領域内の全ての画素に対して画素比較する、請求項1に記載の映像処理装置。
【請求項10】
前記画素比較部は、領域内の一部の領域に対して画素比較する、請求項1に記載の映像処理装置。
【請求項11】
前記画素比較部は、分割後の各領域の周縁部の所定の領域は画素比較の対象から外す、請求項10に記載の映像処理装置。
【請求項12】
前記映像処理装置への入力画像は立体的に知覚させる画像である、請求項1に記載の映像処理装置。
【請求項13】
入力画像の縦方向及び横方向の中心線を基準に該画像を複数の領域に分割し、分割した複数の領域に対して所定の特徴点を検出する特徴点検出部と、
前記特徴点検出部が検出した特徴点の情報を時系列で格納する特徴点情報格納部と、
前記特徴点情報格納部に格納された特徴点の検出結果に基づいて前記入力画像の表示形式を判定する表示方式判定部と、
を備える、映像処理装置。
【請求項14】
入力画像の縦方向及び横方向の中心線を基準に該画像を複数の領域に分割し、分割した複数の領域に対して相対的に一致する位置の画素を比較する画素比較ステップと、
前記画素比較ステップの画素比較の結果に基づいて前記入力画像の表示形式を判定する表示方式判定ステップと、
を備える、映像識別方法。
【請求項15】
入力画像の縦方向及び横方向の中心線を基準に該画像を複数の領域に分割し、分割した複数の領域に対して相対的に一致する位置の画素を比較する画素比較部と、
前記画素比較部の画素比較の結果に基づいて前記入力画像の表示形式を判定する表示方式判定部と、
前記表示方式判定部が判定した表示方式に基づいて前記入力画像を表示する表示部と、
を備える、映像表示装置。
【請求項16】
コンピュータに、
入力画像の縦方向及び横方向の中心線を基準に該画像を複数の領域に分割し、分割した複数の領域に対して相対的に一致する位置の画素を比較する画素比較ステップと、
前記画素比較ステップの画素比較の結果に基づいて前記入力画像の表示形式を判定する表示方式判定ステップと、
を実行させる、コンピュータプログラム。
【請求項1】
入力画像の縦方向及び横方向の中心線を基準に該画像を複数の領域に分割し、分割した複数の領域に対して相対的に一致する位置の画素を比較する画素比較部と、
前記画素比較部の画素比較の結果に基づいて前記入力画像の表示形式を判定する表示方式判定部と、
を備える、映像処理装置。
【請求項2】
入力画像の特徴点を検出する特徴点検出部をさらに備え、
前記画素比較部は、前記特徴点検出部が検出した前記特徴点における画素を比較する、請求項1に記載の映像処理装置。
【請求項3】
前記特徴点検出部は、隣接する画素間の変化量が所定量を超える画素を特徴点として検出し、前記画素比較部は、前記特徴点検出部が検出した特徴点に基づいて画素を比較する、請求項2に記載の映像処理装置。
【請求項4】
前記特徴点検出部は、所定の色を表示する画素を特徴点として検出し、前記画素比較部は、前記特徴点検出部が検出した特徴点に基づいて画素を比較する、請求項2に記載の映像処理装置。
【請求項5】
前記特徴点検出部は、肌色を表示する画素を特徴点として検出し、前記画素比較部は、前記特徴点検出部が検出した特徴点に基づいて画素を比較する、請求項4に記載の映像処理装置。
【請求項6】
前記特徴点検出部は、所定の文字情報を表示する画素を特徴点として検出し、前記画素比較部は、前記特徴点検出部が検出した特徴点に基づいて画素を比較する、請求項2に記載の映像処理装置。
【請求項7】
前記特徴点検出部が検出した特徴点の情報を時系列で格納する特徴点情報格納部をさらに備える、請求項2に記載の映像処理装置。
【請求項8】
前記表示方式判定部は、前記特徴点情報格納部に時系列で格納された特徴点の情報に基づいて前記入力画像の表示形式を判定する、請求項7に記載の映像処理装置。
【請求項9】
前記画素比較部は、領域内の全ての画素に対して画素比較する、請求項1に記載の映像処理装置。
【請求項10】
前記画素比較部は、領域内の一部の領域に対して画素比較する、請求項1に記載の映像処理装置。
【請求項11】
前記画素比較部は、分割後の各領域の周縁部の所定の領域は画素比較の対象から外す、請求項10に記載の映像処理装置。
【請求項12】
前記映像処理装置への入力画像は立体的に知覚させる画像である、請求項1に記載の映像処理装置。
【請求項13】
入力画像の縦方向及び横方向の中心線を基準に該画像を複数の領域に分割し、分割した複数の領域に対して所定の特徴点を検出する特徴点検出部と、
前記特徴点検出部が検出した特徴点の情報を時系列で格納する特徴点情報格納部と、
前記特徴点情報格納部に格納された特徴点の検出結果に基づいて前記入力画像の表示形式を判定する表示方式判定部と、
を備える、映像処理装置。
【請求項14】
入力画像の縦方向及び横方向の中心線を基準に該画像を複数の領域に分割し、分割した複数の領域に対して相対的に一致する位置の画素を比較する画素比較ステップと、
前記画素比較ステップの画素比較の結果に基づいて前記入力画像の表示形式を判定する表示方式判定ステップと、
を備える、映像識別方法。
【請求項15】
入力画像の縦方向及び横方向の中心線を基準に該画像を複数の領域に分割し、分割した複数の領域に対して相対的に一致する位置の画素を比較する画素比較部と、
前記画素比較部の画素比較の結果に基づいて前記入力画像の表示形式を判定する表示方式判定部と、
前記表示方式判定部が判定した表示方式に基づいて前記入力画像を表示する表示部と、
を備える、映像表示装置。
【請求項16】
コンピュータに、
入力画像の縦方向及び横方向の中心線を基準に該画像を複数の領域に分割し、分割した複数の領域に対して相対的に一致する位置の画素を比較する画素比較ステップと、
前記画素比較ステップの画素比較の結果に基づいて前記入力画像の表示形式を判定する表示方式判定ステップと、
を実行させる、コンピュータプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9A】
【図9B】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9A】
【図9B】
【公開番号】特開2011−146830(P2011−146830A)
【公開日】平成23年7月28日(2011.7.28)
【国際特許分類】
【出願番号】特願2010−4562(P2010−4562)
【出願日】平成22年1月13日(2010.1.13)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
【公開日】平成23年7月28日(2011.7.28)
【国際特許分類】
【出願日】平成22年1月13日(2010.1.13)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
[ Back to top ]