画像処理装置、画像処理方法およびプログラム
【課題】二次元映像について、フレームレートを向上させるとともに、擬似的な三次元映像に変換する場合の演算負荷を抑制する技術を提供する。
【解決手段】ワンセグ受信モジュール１に、前後する２のフレームデータから動きベクトルを含む特徴量を抽出する特徴抽出部１００と、抽出された動きベクトルに応じて、前後する２のフレームデータのうちの１のフレームデータを構成する複数の画素について三次元化させる対象領域を設定する領域設定部１０１と、抽出された動きベクトルを含む特徴量に基づいて、設定された対象領域ごとの視差量を演算する視差量演算部１０２と、抽出された動きベクトルと設定された対象領域と求められた対象領域の視差量とに基づいて、二次元映像データ１１１から当該二次元映像データ１１１におけるフレームレートを変更した擬似的な三次元映像データ１１２を生成する生成部１０３とを設ける。
【解決手段】ワンセグ受信モジュール１に、前後する２のフレームデータから動きベクトルを含む特徴量を抽出する特徴抽出部１００と、抽出された動きベクトルに応じて、前後する２のフレームデータのうちの１のフレームデータを構成する複数の画素について三次元化させる対象領域を設定する領域設定部１０１と、抽出された動きベクトルを含む特徴量に基づいて、設定された対象領域ごとの視差量を演算する視差量演算部１０２と、抽出された動きベクトルと設定された対象領域と求められた対象領域の視差量とに基づいて、二次元映像データ１１１から当該二次元映像データ１１１におけるフレームレートを変更した擬似的な三次元映像データ１１２を生成する生成部１０３とを設ける。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、二次元映像を三次元映像に変換する技術に関する。より詳しくは、フレームレートの低い二次元映像を補間しつつ三次元映像に変換するときの変換演算に要する負荷を抑制する技術に関する。
【背景技術】
【０００２】
昨今、三次元映像が話題となり、映像を三次元で楽しむのが流行となっている。しかしながら、これまでに撮影され、制作された映像のほとんどが二次元映像である。
【０００３】
これら膨大な二次元映像の資産を三次元映像として楽しむために、従来より、二次元映像を擬似的な三次元映像に変換する技術が提案されている。このような技術が、例えば、特許文献１に記載されている。特許文献１に記載されている技術を用いれば、二次元映像として配信されている映像でも、三次元映像として閲覧することが可能となる。
【０００４】
一方、モバイル端末装置向けに配信される映像は、フレームレートが低く設定されていることが多く、このまま再生した場合には、なめらかな映像を楽しむことができない。したがって、復号化されたフレームから補間フレームを生成することによって、再生される映像のフレームレートを向上させる技術が知られている。このような技術が、例えば、特許文献２に記載されている。
【０００５】
すなわち、フレームレートの低い二次元映像に特許文献２に記載されている技術を適用してなめらかな二次元映像を生成し、この映像を特許文献１に記載されている技術によって擬似的な三次元映像に変換すれば、モバイル端末装置等に配信されるフレームレートの低い二次元映像を、なめらかな擬似的な三次元映像として楽しむことができる。ただし、特許文献１に記載の技術と特許文献２に記載の技術とを組み合わせた技術は従来技術ではなく、従来技術に基づいて発明者が導き出した新規な技術である。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００１−３２０７３１号公報
【特許文献２】特開２０１０−１２４３６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところが、発明者が考えた上記新規な技術により、フレームレートの低い二次元映像からなめらかな擬似的な三次元映像を生成する場合には、画像処理に要する演算負荷が大きくなるという問題があった。フレームレートの低い二次元映像（擬似的な三次元映像に変換するだけでは足りず、補間フレームを生成して補間する必要がある映像）は、比較的演算負荷に弱いモバイル端末装置が対象となることが多く、特に、深刻な問題となる。
【０００８】
本発明は、上記課題に鑑みてなされたものであり、二次元映像について、フレームレートを向上させるとともに、擬似的な三次元映像に変換する場合の演算負荷を抑制する技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記の課題を解決するため、請求項１の発明は、時系列順に作成された複数のフレームデータから構成される二次元映像データを擬似的な三次元映像データに変換する画像処理装置であって、前記複数のフレームデータにおいて前後する２のフレームデータから動きベクトルを含む特徴量を抽出する特徴抽出手段と、前記特徴抽出手段により抽出された動きベクトルに応じて、前記前後する２のフレームデータのうちの１のフレームデータを構成する複数の画素について三次元化させる対象領域を設定する設定手段と、前記特徴抽出手段により抽出された動きベクトルを含む特徴量に基づいて、前記設定手段により設定された対象領域ごとの視差量を演算する視差量演算手段と、前記特徴抽出手段により抽出された動きベクトルと前記設定手段により設定された対象領域と前記視差量演算手段により求められた前記対象領域の視差量とに基づいて、前記二次元映像データから前記二次元映像データにおけるフレームレートを変更した擬似的な三次元映像データを生成する生成手段とを備えることを特徴とする。
【００１０】
また、請求項２の発明は、請求項１の発明に係る画像処理装置であって、前記生成手段は、前記設定手段により設定された対象領域と前記視差量演算手段により求められた前記対象領域の視差量とに基づいて、前記１のフレームデータと対をなす１の他眼用フレームデータを生成するための三次元化パラメータを生成するとともに、前記特徴抽出手段により抽出された動きベクトルと前記設定手段により設定された対象領域とに基づいて、前記前後する２のフレームデータの間を補間する補間フレームデータを生成するための第１補間パラメータを生成することを特徴とする。
【００１１】
また、請求項３の発明は、請求項２の発明に係る画像処理装置であって、前記生成手段は、前記特徴抽出手段により抽出された動きベクトルと前記設定手段により設定された対象領域と前記視差量演算手段により求められた前記対象領域の視差量とに基づいて、前記補間フレームデータと対をなす他眼用補間フレームデータを生成するための第２補間パラメータを生成することを特徴とする。
【００１２】
また、請求項４の発明は、請求項２の発明に係る画像処理装置であって、前記生成手段は、前記視差量演算手段により求められた対象領域の視差量と前記第１補間パラメータとに基づいて、前記補間フレームデータと対をなす他眼用補間フレームデータを生成するための第２補間パラメータを生成することを特徴とする。
【００１３】
また、請求項５の発明は、請求項２の発明に係る画像処理装置であって、前記生成手段は、前記特徴抽出手段により抽出された動きベクトルと前記三次元化パラメータとに基づいて、前記補間フレームデータと対をなす他眼用補間フレームデータを生成するための第２補間パラメータを生成することを特徴とする。
【００１４】
また、請求項６の発明は、請求項１ないし５のいずれかの発明に係る画像処理装置であって、前記設定手段は、前記特徴抽出手段により抽出された動きベクトルを含む特徴量に応じて、対象領域を設定することを特徴とする。
【００１５】
また、請求項７の発明は、請求項１ないし６のいずれかの発明に係る画像処理装置であって、ワンセグ放送により提供される番組を表現した情報を前記二次元映像データとして受信する受信手段をさらに備え、前記受信手段による二次元映像データの受信と前記二次元映像データから生成される前記擬似的な三次元映像データのユーザによる視聴とが実質的にリアルタイムで実行されることを特徴とする。
【００１６】
また、請求項８の発明は、時系列順に作成された複数のフレームデータから構成される二次元映像データを擬似的な三次元映像データに変換する画像処理方法であって、前記複数のフレームデータにおいて前後する２のフレームデータから動きベクトルを含む特徴量を抽出する工程と、前記動きベクトルに応じて、前記前後する２のフレームデータのうちの１のフレームデータを構成する複数の画素について三次元化させる対象領域を設定する工程と、前記動きベクトルを含む特徴量に基づいて、前記対象領域ごとの視差量を演算する工程と、前記動きベクトルと前記対象領域と前記対象領域の視差量とに基づいて、前記二次元映像データから前記二次元映像データにおけるフレームレートを変更した擬似的な三次元映像データを生成する工程とを有することを特徴とする。
【００１７】
また、請求項９の発明は、コンピュータによる読み取り可能なプログラムであって、前記プログラムの前記コンピュータによる実行は、前記コンピュータを、時系列順に作成された複数のフレームデータから構成される二次元映像データを記憶する記憶手段と、前記記憶手段に記憶された二次元映像データにおいて前後する２のフレームデータから動きベクトルを含む特徴量を抽出する特徴抽出手段と、前記特徴抽出手段により抽出された動きベクトルに応じて、前記前後する２のフレームデータのうちの１のフレームデータを構成する複数の画素について三次元化させる対象領域を設定する設定手段と、前記特徴抽出手段により抽出された動きベクトルを含む特徴量に基づいて、前記設定手段により設定された対象領域ごとの視差量を演算する視差量演算手段と、前記特徴抽出手段により抽出された動きベクトルと前記設定手段により設定された対象領域と前記視差量演算手段により求められた前記対象領域の視差量とに基づいて、前記二次元映像データから前記二次元映像データにおけるフレームレートを変更した擬似的な三次元映像データを生成し、生成した前記擬似的な三次元映像データを前記記憶手段に記憶させる生成手段とを備える画像処理装置として機能させることを特徴とする。
【発明の効果】
【００１８】
本発明は、複数のフレームデータにおいて前後する２のフレームデータから動きベクトルを含む特徴量を抽出し、抽出された動きベクトルに応じて、前記前後する２のフレームデータのうちの１のフレームデータを構成する複数の画素について三次元化させる対象領域を設定し、抽出された動きベクトルを含む特徴量に基づいて、設定された対象領域ごとの視差量を演算し、抽出された動きベクトルと設定された対象領域と求められた当該対象領域の視差量とに基づいて、二次元映像データから当該二次元映像データにおけるフレームレートを変更した擬似的な三次元映像データを生成することにより、動きベクトルを抽出する処理を１回実行するだけで、二次元映像データのフレームレートを変更しつつ擬似的な三次元映像データを生成できるので、処理負荷が軽減される。
【図面の簡単な説明】
【００１９】
【図１】本発明に係る画像処理装置であるワンセグ受信モジュールを搭載した状態の携帯端末装置を示す図である。
【図２】ワンセグ受信モジュールおよび携帯端末装置の構成を示すブロック図である。
【図３】ワンセグ受信モジュールの機能ブロックをデータの流れとともに示す図である。
【図４】二次元映像データの映像に係る部分を概念的に示した図である。
【図５】特徴抽出部により作成される特徴量データを例示する図である。
【図６】領域設定部により作成される領域設定データを例示する図である。
【図７】視差量演算部により作成される視差量データを例示する図である。
【図８】本発明に係る画像処理方法を示す図である。
【図９】三次元化パラメータを例示する図である。
【図１０】第１補間パラメータを例示する図である。
【図１１】第２補間パラメータを例示する図である。
【図１２】三次元映像データを概念的に示す図である。
【発明を実施するための形態】
【００２０】
以下、本発明の好適な実施の形態について、添付の図面を参照しつつ、詳細に説明する。
【００２１】
＜１． 実施の形態＞
図１は、本発明に係る画像処理装置であるワンセグ受信モジュール１を搭載した状態の携帯端末装置２を示す図である。携帯端末装置２は、可搬性のコンピュータであり、例えば、携帯型のゲーム機、ＰＤＡ、携帯電話あるいはノートパソコン等が想定される。また、ワンセグ受信モジュール１は、携帯端末装置２の図示しないスロットに着脱自在に装着され、携帯端末装置２においてワンセグ放送を受信し視聴するために使用される装置である。
【００２２】
図２は、ワンセグ受信モジュール１および携帯端末装置２の構成を示すブロック図である。
【００２３】
図２に示すように、ワンセグ受信モジュール１は、各種データの演算を行うとともにワンセグ受信モジュール１の各構成を制御するＣＰＵ１０と、各種データを必要に応じて適宜記憶する記憶装置１１とを備えている。これによりワンセグ受信モジュール１は、記憶装置１１に記憶されたプログラム１１０を読み取りつつ、当該プログラム１１０をＣＰＵ１０により実行するコンピュータとしての構成および機能を有している。
【００２４】
プログラム１１０、二次元映像データ１１１および三次元映像データ１１２を記憶する記憶装置１１は、ＣＰＵ１０の一時的なワーキングエリアとして使用され比較的高速にアクセスすることが可能なＲＡＭや、不揮発性で読み取り専用のＲＯＭ、比較的短時間の間だけ情報を格納するバッファ、あるいは、着脱自在のメモリカード等から構成される。すなわち、図２において記憶装置１１は、１つの構成であるかのように図示されているが、実際には、記憶する情報の種類や用途に応じて選択される、様々な種類の記憶素子を備えた装置の集合体である。
【００２５】
また、ワンセグ受信モジュール１は、チューナ１２、復調回路１３および復号回路１４を備えている。これらの構成は、ワンセグ放送を受信して、当該ワンセグ放送の番組を表現した二次元映像データ１１１を生成するための構成（本発明に係る受信手段に相当する構成）であり、従来の技術を適用することが可能であるため、簡単に説明する。
【００２６】
アンテナを含むチューナ１２は、アンテナにより受信されたＲＦ信号を増幅するとともに、アナログのＩＦ信号に変換して復調回路１３に向けて出力する。
【００２７】
復調回路１３は、例えば、Ａ／Ｄ変換回路とＯＦＤＭ復調回路とを備えた回路であり、当該Ａ／Ｄ変換回路によりチューナ１２からのアナログ信号をデジタル信号に変換するとともに、当該ＯＦＤＭ復調回路によりＴＳ信号を生成して復号回路１４に向けて出力する。
【００２８】
復号回路１４は、例えば、本実施の形態ではＭＰＥＧ復号回路であり、復調回路１３から入力される信号（本実施の形態ではＴＳ信号）を復号して、二次元映像データ１１１を生成し、出力する。復号回路１４から出力された二次元映像データ１１１は、記憶装置１１に一旦格納される。
【００２９】
さらに、ワンセグ受信モジュール１は、インタフェース部１５を備えている。インタフェース部１５は、携帯端末装置２のインタフェース部２５との間で電気的に接続される端子群を構成している。インタフェース部１５がインタフェース部２５に挿入されることにより、ワンセグ受信モジュール１は携帯端末装置２と接続され、携帯端末装置２との間でデータ通信が可能となるとともに、携帯端末装置２から電力の供給を受けることも可能となる。
【００３０】
詳細は後述するが、本実施の形態におけるワンセグ受信モジュール１は、ワンセグ放送により提供される番組を受信して、当該番組を表現した二次元映像データ１１１を生成する受信機としての機能を有しているとともに、二次元映像データ１１１から擬似的な三次元映像データ１１２を作成する画像処理装置としての機能も有している。
【００３１】
図２に示すように、携帯端末装置２は、各種データの演算を行うとともに携帯端末装置２の各構成を制御するＣＰＵ２０を備えている。また、携帯端末装置２は、各種データを必要に応じて適宜記憶する記憶装置２１を備えている。これにより携帯端末装置２は、記憶装置２１に記憶されたプログラム２１０を読み取りつつ、当該プログラム２１０をＣＰＵ２０により実行するコンピュータとしての構成および機能を有している。
【００３２】
プログラム２１０および三次元映像データ１１２を記憶する記憶装置２１は、ＣＰＵ２０の一時的なワーキングエリアとして使用され比較的高速にアクセスすることが可能なＲＡＭや、不揮発性で読み取り専用のＲＯＭ、比較的短時間の間だけ情報を格納するバッファ、あるいは、着脱自在のメモリカード等から構成される。すなわち、図２において記憶装置２１は、１つの構成であるかのように図示されているが、実際には、記憶する情報の種類や用途に応じて選択される、様々な種類の記憶素子を備えた装置の集合体である。
【００３３】
さらに、携帯端末装置２は、操作部２２、表示部２３、スピーカ２４およびインタフェース部２５を備えている。
【００３４】
操作部２２は、ユーザが携帯端末装置２を操作するために必要な情報を入力するために使用される。操作部２２としては、各種ボタン類やテンキー等が該当する。操作部２２が操作されることにより入力された情報は、携帯端末装置２を操作するだけでなく、ワンセグ受信モジュール１を操作するためにも使用される。例えば、どのチャンネルで放送されている番組を視聴するかを選択する情報は、ユーザが操作部２２を操作することによって入力されるが、この情報は、携帯端末装置２のＣＰＵ２０を介して、ワンセグ受信モジュール１に伝達され、ワンセグ受信モジュール１側において、これに応じた処理が実行される（すなわち、視聴するチャンネルの切り替えが行われる。）。
【００３５】
表示部２３は、液晶パネルやディスプレイ、ランプ、ＬＥＤ等から構成される。表示部２３は、ＣＰＵ２０からの制御信号により、画像データに基づいて画面に画像を再生（表示）する機能を有している。本実施の形態における表示部２３は、三次元映像データ１１２に含まれる画像データを再生することにより、ワンセグ放送の画像を再生する。
【００３６】
スピーカ２４は、ＣＰＵ２０からの制御信号により、音声データに基づいて音声を再生する機能を有している。本実施の形態におけるスピーカ２４は、三次元映像データ１１２に含まれる音声データを再生することにより、ワンセグ放送の音声を再生する。
【００３７】
インタフェース部２５は、ワンセグ受信モジュール１のインタフェース部１５との間で電気的に接続される端子群を構成している。インタフェース部２５にインタフェース部１５が挿入されることにより、携帯端末装置２にワンセグ受信モジュール１が装着され、携帯端末装置２においてワンセグ放送の視聴が可能となる。
【００３８】
図３は、ワンセグ受信モジュール１の機能ブロックをデータの流れとともに示す図である。図３に示す特徴抽出部１００、領域設定部１０１、視差量演算部１０２および生成部１０３は、ワンセグ受信モジュール１のＣＰＵ１０がプログラム１１０に従って動作するこにより実現される機能ブロックである。
【００３９】
特徴抽出部１００は、二次元映像データ１１１を構成する複数のフレームデータにおいて前後する２のフレームデータから動きベクトルを含む特徴量を抽出し、特徴量データ１１３を作成する機能を有している。
【００４０】
図４は、二次元映像データ１１１の映像に係る部分を概念的に示した図である。図４に示すように、二次元映像データ１１１は、時系列順に作成された複数のフレームデータから構成される。
【００４１】
図４には、（ｎ−１）番目のフレームデータと、ｎ番目のフレームデータと、（ｎ＋１）番目のフレームデータとを示している（ただし、ｎは整数）。また、本実施の形態では、二次元映像データ１１１のフレームレートは１５［fps］とする。なお、以下、ｎ番目のフレームデータを「フレームデータｎ」と称する。
【００４２】
各フレームデータは、矩形状に配列した複数の画素から構成されている。本実施の形態では、フレームデータを構成する画素の水平方向の位置座標を「ｉ」、垂直方向の位置座標を「ｊ」として説明する。
【００４３】
図５は、特徴抽出部１００により作成される特徴量データ１１３を例示する図である。ここでは、図４に示すフレームデータｎと、フレームデータ（ｎ＋１）とに基づいて作成される、フレームデータｎについての特徴量データ１１３を示すものとして説明する。
【００４４】
本実施の形態における特徴抽出部１００は、前後する２のフレームデータを比較することにより、フレームデータｎを構成する各画素ごとに、動きベクトルと、色と、周波数とを特徴量として抽出する。このような特徴抽出処理は従来の手法を適宜適用できる。ただし、特徴抽出部１００が抽出する特徴量としては、他の種類のものを含めて取捨選択されてもよいが、動きベクトルは必須のものとする。
【００４５】
なお、本実施の形態における特徴抽出部１００は、各画素ごとに特徴量を抽出するが、特徴量を抽出する単位は１画素に限定されるものではない。例えば、４（２×２）個の画素を１つの単位として特徴量を抽出するように構成してもよい。
【００４６】
図３に示す領域設定部１０１は、前後する２のフレームデータのうちの１のフレームデータを構成する複数の画素について三次元化させる対象領域を設定する機能を有している。
【００４７】
図６は、領域設定部１０１により作成される領域設定データ１１４を例示する図である。図６に示す例では、三次元化させる対象領域としてオブジェクト０とオブジェクト１とが設定されており、各対象領域を構成する画素がグループ化されている。
【００４８】
すなわち、オブジェクト０には、画素Ｐ00（座標が(0,0)）、画素Ｐ11（座標が(1,1)）、画素Ｐ22（座標が(2,2)）、画素Ｐ33（座標が(3,3)）・・・が含まれ、オブジェクト１には、画素Ｐ1235（座標が(12,35)）・・・が含まれる。言い換えれば、オブジェクト０は画素Ｐ00（座標が(0,0)）、画素Ｐ11（座標が(1,1)）、画素Ｐ22（座標が(2,2)）、画素Ｐ33（座標が(3,3)）・・・によって構成される領域であり、オブジェクト１は画素Ｐ1235（座標が(12,35)）・・・によって構成される領域である。
【００４９】
このように、特徴量データ１１３に基づいて、フレームデータ（フレームデータｎ）を構成する複数の画素を対象領域（画素グループ）にグループ化する手法としては、従来から提案されている手法を適宜採用することができる。
【００５０】
なお、本実施の形態における領域設定部１０１は、先述のように特徴抽出部１００が抽出した特徴量（特徴量データ１１３）に基づいて、対象領域を設定する。ただし、領域設定部１０１が対象領域を設定するときに参照する情報は、特徴量データ１１３に限定されるものではない。例えば、二次元映像データ１１１の映像種別（例えば風景や、スポーツ、アニメーション等の種別）に関する情報や、ＣＧ合成映像である場合のオブジェクト指定情報等であってもよいし、これらの情報が併用されてもよい。
【００５１】
また、１つのフレームデータにおいて設定される対象領域の数は不定であるが、通常、１のフレームデータを構成するすべての画素がいずれかの対象領域に設定されることはない。対象領域は、先述のように、三次元化させる（人の目によって立体的に見えるように変換する）部分的な領域であり、一般には、背景に対して前方に存在する物体に相当する画像領域である。
【００５２】
図３に示す視差量演算部１０２は、特徴抽出部１００により抽出された動きベクトルを含む特徴量（特徴量データ１１３）に基づいて、領域設定部１０１により設定された対象領域ごとの視差量を演算し、視差量データ１１５を作成する機能を有している。このようにして視差量を求める手法は、従来から提案されている手法を適宜採用することができるため、簡単に説明する。
【００５３】
視差量演算部１０２は、領域設定データ１１４を参照して、当該領域設定データ１１４に設定されている対象領域（例えばオブジェクト０）を構成する画素（オブジェクト０であれば、画素Ｐ00、画素Ｐ11、画素Ｐ22、画素Ｐ33・・・）を特定し、特定した当該画素ごとに特徴量データ１１３に含まれる特徴量（動きベクトル、色および周波数）を取得する。そして、これらの値の平均値（動きベクトルの平均値、色の平均値および周波数の平均値）を求め、これらの平均値に基づいて視差量（オブジェクト０については視差量ｄ０とする。）を求める。なお、本実施の形態における視差量演算部１０２は、対象領域ごとの視差量を、当該対象領域をフレームデータにおいて水平方向にずらす距離（画素数）として求める。
【００５４】
図７は、視差量演算部１０２により作成される視差量データ１１５を例示する図である。図７に示すように、領域設定部１０１により設定されたオブジェクト０およびオブジェクト１について、視差量演算部１０２によりそれぞれ視差量ｄ０および視差量ｄ１が求められ格納されている。
【００５５】
図３に示す生成部１０３は、特徴抽出部１００により抽出された動きベクトル（特徴量データ１１３）と、領域設定部１０１により設定された対象領域（領域設定データ１１４）と、視差量演算部１０２により求められた対象領域ごとの視差量（視差量データ１１５）とに基づいて、二次元映像データ１１１から当該二次元映像データ１１１におけるフレームレートを変更した擬似的な三次元映像データ１１２を生成する機能を有している。
【００５６】
生成部１０３は、領域設定部１０１により設定された対象領域と視差量演算部１０２により求められた対象領域の視差量データ１１５とに基づいて、フレームデータｎ（１のフレームデータ）と対をなす１の他眼用フレームデータを生成するための三次元化パラメータ１１７を生成する。なお、フレームデータｎと対をなす１の他眼用フレームデータを、以下、「他眼用フレームデータｎ」と称する。本実施の形態では、フレームデータｎは人の右目用のフレームデータであり、他眼用フレームデータｎは人の左目用のフレームデータである。ただし、これに限定されるものではなく、逆であってもよい。その場合は視差量演算部１０２により求められる視差量の符号を反転させればよい。
【００５７】
また、生成部１０３は、特徴抽出部１００により抽出された動きベクトルと、領域設定部１０１により設定された対象領域とに基づいて、フレームデータｎとフレームデータ（ｎ＋１）（前後する２のフレームデータ）の間を補間する補間フレームデータを生成するための第１補間パラメータ１１８を生成する。
【００５８】
本実施の形態における生成部１０３は、二次元映像データ１１１のフレームレートを２倍に向上させて、擬似的な三次元映像データ１１２に変換する例で説明する。本実施の形態では二次元映像データ１１１のフレームレートは先述のように１５［fps］であるが、三次元映像データ１１２のフレームレートは３０［fps］となる。したがって、フレームデータｎとフレームデータ（ｎ＋１）との間を補間する補間フレームデータは、本実施の形態では１つのみ生成される。以下、当該補間フレームデータを「フレームデータ（ｎ＋１／２）」と称する。
【００５９】
さらに、生成部１０３は、特徴抽出部１００により抽出された動きベクトル（特徴量データ１１３）と、領域設定部１０１により設定された対象領域（領域設定データ１１４）と、視差量演算部１０２により求められた対象領域ごとの視差量（視差量データ１１５）とに基づいて、フレームデータ（ｎ＋１／２）（補間フレームデータ）と対をなす他眼用補間フレームデータを生成するための第２補間パラメータ１１９を生成する。なお、フレームデータ（ｎ＋１／２）と対をなす他眼用補間フレームデータを、以下、「他眼用フレームデータ（ｎ＋１／２）」と称する。
【００６０】
図３に示すように、生成部１０３によって生成された三次元化パラメータ１１７、第１補間パラメータ１１８および第２補間パラメータ１１９は、パラメータデータ１１６として、一旦、記憶装置１１に記憶される。パラメータデータ１１６は、生成部１０３が二次元映像データ１１１から当該二次元映像データ１１１におけるフレームレートを変更した擬似的な三次元映像データ１１２を生成する際に利用されるが詳細は後述する。
【００６１】
以上が、ワンセグ受信モジュール１および携帯端末装置２の構成および機能の説明である。次に、ワンセグ受信モジュール１による画像処理方法を説明する。
【００６２】
図８は、本発明に係る画像処理方法を示す図である。図８に示す各工程は、主に、ワンセグ受信モジュール１において実行される。
【００６３】
まず、ワンセグ受信モジュール１は、図示しない初期設定を実行した後、ワンセグ放送の受信を開始する。そして、ワンセグ放送を受信することにより、当該ワンセグ放送の１のフレームデータを受信し（ステップＳ１１）、受信した１のフレームデータを二次元映像データ１１１を構成するフレームデータとして記憶装置１１に記憶する。以下では、フレームデータ（ｎ＋１）を受信したときから説明する。
【００６４】
次に、特徴抽出部１００が、以前にステップＳ１１が実行されたときにすでに受信し記憶しているフレームデータｎとステップＳ１１で受信したフレームデータ（ｎ＋１）とに基づいて、動きベクトルを含む特徴量を抽出し（ステップＳ１２）、特徴量データ１１３を生成する。
【００６５】
特徴量データ１１３が生成されると、領域設定部１０１が特徴量データ１１３（動きベクトル、色および周波数）に応じて、フレームデータｎを構成する複数の画素について三次元化させる対象領域を設定し（ステップＳ１３）、領域設定データ１１４を生成する。
【００６６】
領域設定データ１１４が生成されると、視差量演算部１０２が特徴量データ１１３に基づいて、領域設定データ１１４に示されている対象領域ごとに視差量を演算し（ステップＳ１４）、視差量データ１１５を生成する。
【００６７】
次に、生成部１０３が、特徴量データ１１３と、領域設定データ１１４と、視差量データ１１５とに基づいて、二次元映像データ１１１から擬似的な三次元映像データ１１２を生成するために必要なパラメータを演算し（ステップＳ１５）、パラメータデータ１１６を作成する。
【００６８】
図９は、三次元化パラメータ１１７を例示する図である。図９に示す例では、フレームデータｎを構成する複数の画素について、フレームデータｎにおける座標と、フレームデータｎを他眼用フレームデータｎに変換するときの変換後座標とが含まれている。
【００６９】
他眼用フレームデータｎは、例えば、三次元化させるオブジェクト０については、当該オブジェクト０の視差量ｄ０だけ、オブジェクト０を構成する画素の座標が水平方向に移動したものとなる。
【００７０】
したがって、三次元化パラメータ１１７では、三次元化させる対象領域（オブジェクト０）を構成する画素（画素Ｐ00，Ｐ11，Ｐ22，Ｐ33・・・）について、変換後座標が示されており、当該変換後座標の値は、いずれも元の水平座標の値に視差量ｄ０を加えた値となっている。言い換えれば、生成部１０３は、領域設定データ１１４に設定されている各対象領域を構成する画素について、当該画素の水平座標に、当該画素により構成される対象領域の視差量（視差量データ１１５に示される値）を加算して三次元化パラメータ１１７を作成する。
【００７１】
これにより、二次元映像データ１１１を構成するフレームデータｎを、三次元化パラメータ１１７によって変換すると、他眼用フレームデータｎを生成することが可能となる。すなわち、三次元化パラメータ１１７はフレームデータｎを他眼用フレームデータｎに変換するための変換テーブルを構成している。
【００７２】
そして、ユーザの右目にフレームデータｎを見せつつ、左目に他眼用フレームデータｎを見せると、視差量（視差量ｄ０）に応じて対象領域（オブジェクト０）が立体的に見え、当該対象領域が擬似的に三次元化される。なお、三次元化パラメータ１１７には、変換後座標により移動した画素を埋めるための画素に関するデータも含まれているが、従来の技術を適用することが可能であるため、詳細な説明を省略する。以下、第１補間パラメータ１１８および第２補間パラメータ１１９についても同様である。
【００７３】
図１０は、第１補間パラメータ１１８を例示する図である。図１０に示す例では、フレームデータｎを構成する複数の画素について、フレームデータｎにおける座標と、フレームデータｎを補間フレームデータ（ｎ＋１／２）に変換するときの変換後座標とが含まれている。
【００７４】
補間フレームデータ（ｎ＋１／２）は、例えば、移動しているオブジェクト０については、オブジェクト０を構成する画素の座標が当該画素の動きベクトルの方向に移動したものとなる。また、このとき移動する距離は、本実施の形態のように、フレームレート変換率が「２倍」の場合、動きベクトルの大きさの１／２となる。
【００７５】
したがって、第１補間パラメータ１１８では、対象領域（オブジェクト０）を構成する画素（画素Ｐ00，Ｐ11，Ｐ22，Ｐ33・・・）について、変換後座標が示されており、当該変換後座標の値は、いずれも元の座標の値に動きベクトルの大きさの１／２を加えた値となっている。例えば、画素Ｐ00の動きベクトルは図５に示すように（ｖ０，ｖ１）である。したがって、画素Ｐ00の変換後座標は、（０＋ｖ０／２，０＋ｖ１／２）となる。
【００７６】
言い換えれば、生成部１０３は、領域設定データ１１４に設定されている各対象領域を構成する画素について、当該画素の座標に、当該画素の動きベクトル（特徴量データ１１３に示される値）の１／２を加算して第１補間パラメータ１１８を作成する。
【００７７】
これにより、二次元映像データ１１１を構成するフレームデータｎを、第１補間パラメータ１１８によって変換すると、補間フレームデータ（ｎ＋１／２）を生成することが可能となる。すなわち、第１補間パラメータ１１８はフレームデータｎを補間フレームデータ（ｎ＋１／２）に変換するための変換テーブルを構成している。
【００７８】
そして、フレームデータｎとフレームデータ（ｎ＋１）との間に、補間フレームデータ（ｎ＋１／２）を見せることにより、二次元映像データ１１１において１５［fps］であったフレームレートが、三次元映像データ１１２において３０［fps］に変更される。すなわち、三次元映像データ１１２は二次元映像データ１１１よりも高いフレームレートに変換されるため滑らかな映像となる。
【００７９】
なお、画素Ｐ00と同じ対象領域（オブジェクト０）を構成する他の画素Ｐ11，Ｐ22，Ｐ33・・・も通常は同じ動きベクトル（ｖ０，ｖ１）であるため、図１０に示すように、これらの画素の座標にも動きベクトル（ｖ０，ｖ１）の１／２の値が加算されることにより、変換後座標が求められている。
【００８０】
図１１は、第２補間パラメータ１１９を例示する図である。図１１に示す例では、フレームデータｎを構成する複数の画素について、フレームデータｎにおける座標と、フレームデータｎを他眼用補間フレームデータ（ｎ＋１／２）に変換するときの変換後座標とが含まれている。
【００８１】
他眼用補間フレームデータ（ｎ＋１／２）は、例えば、三次元化させるオブジェクト０については、当該オブジェクト０の視差量ｄ０だけ、オブジェクト０を構成する画素の座標が水平方向に移動したものとなる。また、例えば、移動しているオブジェクト０については、オブジェクト０を構成する画素の座標が当該画素の動きベクトルの方向に動きベクトルの大きさの１／２だけ移動したものとなる。
【００８２】
したがって、第２補間パラメータ１１９では、対象領域（オブジェクト０）を構成する画素（画素Ｐ00，Ｐ11，Ｐ22，Ｐ33・・・）について、変換後座標が示されており、当該変換後座標の値は、いずれも元の水平座標の値に視差量ｄ０を加えるとともに、動きベクトルの大きさの１／２を加えた値となっている。例えば、画素Ｐ00の動きベクトルは先述のように（ｖ０，ｖ１）である。したがって、第２補間パラメータ１１９における画素Ｐ00の変換後座標は、（０＋ｄ０＋ｖ０／２，０＋ｖ１／２）となる。
【００８３】
言い換えれば、本実施の形態における生成部１０３は、領域設定データ１１４に設定されている各対象領域を構成する画素について、当該画素の水平座標については視差量ｄ０と当該画素の動きベクトル（特徴量データ１１３に示される値）の１／２とを加算し、垂直座標については当該画素の動きベクトル（特徴量データ１１３に示される値）の１／２を加算して第２補間パラメータ１１９を作成する。
【００８４】
そして、ユーザの右目に補間フレームデータ（ｎ＋１／２）を見せつつ、左目に他眼用補間フレームデータ（ｎ＋１／２）を見せると、フレームデータが補間されている間においても、視差量（視差量ｄ０）に応じて対象領域（オブジェクト０）が立体的に見え、当該対象領域が擬似的に三次元化される。
【００８５】
図８に戻って、パラメータデータ１１６が作成されると、生成部１０３は、二次元映像データ１１１のフレームデータｎと、パラメータデータ１１６とに基づいて、他眼用フレームデータｎと、補間フレーム（ｎ＋１／２）と、他眼用補間フレーム（ｎ＋１／２）とを生成し、元のフレームデータｎとともに三次元映像データ１１２を生成する（ステップＳ１６）。
【００８６】
図１２は、三次元映像データ１１２を概念的に示す図である。図４に示すように、フレームデータ（ｎ−１），ｎ，（ｎ＋１）から構成されていた二次元映像データ１１１が、図１２に示すように、三次元映像データ１１２においては、フレームデータ（ｎ−１），ｎ，（ｎ＋１）が補間フレームデータ（ｎ−１／２），（ｎ＋１／２）によって補間されることにより滑らかな映像となるとともに、これらのフレームデータと対をなす他眼用フレームデータ（ｎ−１），ｎ，（ｎ＋１）および他眼用補間フレームデータ（ｎ−１／２），（ｎ＋１／２）が作成されることにより、擬似的に三次元化されている。
【００８７】
ステップＳ１６において生成された三次元映像データ１１２は、一旦、記憶装置１１に記憶された後、携帯端末装置２の記憶装置２１に転送され、表示部２３に表示される。
【００８８】
以上のように、本実施の形態におけるワンセグ受信モジュール１は、時系列順に作成された複数のフレームデータから構成される二次元映像データ１１１を擬似的な三次元映像データ１１２に変換する画像処理装置として構成されており、複数のフレームデータにおいて前後する２のフレームデータから動きベクトルを含む特徴量を抽出する特徴抽出部１００と、特徴抽出部１００により抽出された動きベクトルに応じて、前後する２のフレームデータのうちの１のフレームデータを構成する複数の画素について三次元化させる対象領域を設定する領域設定部１０１と、特徴抽出部１００により抽出された動きベクトルを含む特徴量に基づいて、領域設定部１０１により設定された対象領域ごとの視差量を演算する視差量演算部１０２と、特徴抽出部１００により抽出された動きベクトルと領域設定部１０１により設定された対象領域と視差量演算部１０２により求められた対象領域の視差量とに基づいて、二次元映像データ１１１から当該二次元映像データ１１１におけるフレームレートを変更した擬似的な三次元映像データ１１２を生成する生成部１０３とを備える。これにより、動きベクトルを抽出する処理を１回実行するだけで、二次元映像データ１１１のフレームレートを変更しつつ擬似的な三次元映像データ１１２を生成できるので、処理負荷が軽減される。
【００８９】
また、領域設定部１０１は、特徴抽出部１００により抽出された動きベクトルを含む特徴量に応じて、対象領域を設定する。すなわち、動きベクトル以外の特徴量についても対象領域の設定に有効に利用することにより、対象領域を設定するための情報を別途取得しなくても、対象領域を効率的かつ正確に設定することができる。
【００９０】
また、本実施の形態では、ワンセグ放送により提供される番組を表現した二次元映像データ１１１の受信と当該二次元映像データ１１１から生成される擬似的な三次元映像データ１１２のユーザによる視聴とが実質的にリアルタイムで実行される。このような用途においては、画像処理に要する時間の短縮要請が高いため、本発明がより効果的となる。
【００９１】
なお、本実施の形態では、特徴量データ１１３、領域設定データ１１４および視差量データ１１５がそれぞれ別個のデータを構成している例で説明したが、これらを互いに関連づけて、データの１つの集合体として扱ってもよい。その場合、例えば、対象領域ごとに求める動きベクトルの平均値や色の平均値、周波数の平均値等も関連づけて格納するようにしてもよい。
【００９２】
＜２． 変形例＞
以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく様々な変形が可能である。
【００９３】
例えば、上記実施の形態では、二次元映像データとして、ワンセグ放送により提供される番組を表現した情報を受信する例を説明した。しかし、本発明が対象とする二次元映像データとは、ワンセグ放送の映像に限定されるものではない。例えば、地上デジタル放送の映像や、遠隔地に配置された撮像カメラ（防犯カメラ）から実質的にリアルタイムで受信される映像、あるいは、インターネット配信動画であってもよいし、ビデオテープやＤＶＤ、ブルーレイディスク等の記録媒体にすでに記録されている映像であってもよい。
【００９４】
また、二次元映像データの受信（取得）と、擬似的な三次元映像データへの変換処理と、ユーザによる視聴とが、上記実施の形態に示したように、実質的にリアルタイムで行われてもよいし、取得した二次元映像データを変換処理してＤＶＤやハードディスク等に記録した後、視聴（再生）されるまでに比較的長い時間が設けられていてもよい。
【００９５】
また、上記実施の形態では、本発明に係る画像処理装置であるワンセグ受信モジュール１が携帯端末装置２に対して着脱自在となるように構成されていたが、もちろん、画像処理装置は携帯端末装置２と一体構造物を構成し、携帯端末装置２に内蔵される構造となっていてもよい。
【００９６】
また、変換によりフレームレートを向上させる率（以下、「フレームレート変換率」と称する。）は「２倍（１５［fps］から３０［fps］）」に限定されるものではない。例えば、フレームレート変換率を「４倍」とし、三次元映像データ１１２におけるフレームレートを６０［fps］とすることも可能である。その場合には、フレームデータｎとフレームデータ（ｎ＋１）との間を補間する３つの補間フレームデータ（フレームデータ（ｎ＋１／４），（ｎ＋１／２），（ｎ＋３／４））を生成すればよい。すなわち、フレームレート変換率を「４倍」にする場合は、第１補間パラメータ１１８は３つの補間フレームデータを生成するために必要なパラメータとなり、第２補間パラメータ１１９は３つの補間フレームデータのそれぞれと対をなす３つの他眼用補間フレームデータを生成するために必要なパラメータとなる。また、本実施の形態と同様に、フレームレート変換率を「２倍」とする場合であっても、例えば、３０［fps］から６０［fps］への変換であってもよい。
【００９７】
また、上記実施の形態における生成部１０３は、特徴抽出部１００により抽出された動きベクトルと領域設定部１０１により設定された対象領域と視差量演算部１０２により求められた対象領域の視差量とに基づいて、補間フレームデータと対をなす他眼用補間フレームデータを生成するための第２補間パラメータ１１９を生成すると説明した。しかし、生成部１０３は、視差量演算部１０２により求められた対象領域の視差量と第１補間パラメータ１１８とに基づいて、補間フレームデータと対をなす他眼用補間フレームデータを生成するための第２補間パラメータ１１９を生成してもよい。すなわち、第１補間パラメータ１１８における変換後座標の水平座標の値に視差量演算部１０２により求められた対象領域の視差量を加算して第２補間パラメータ１１９としてもよい。
【００９８】
また、生成部１０３は、特徴抽出部１００により抽出された動きベクトルと三次元化パラメータ１１７とに基づいて、補間フレームデータと対をなす他眼用補間フレームデータを生成するための第２補間パラメータ１１９を生成してもよい。すなわち、三次元化パラメータ１１７における変換後座標に特徴抽出部１００により抽出された動きベクトルの寄与分（本実施の形態では動きベクトルの１／２）を加算して第２補間パラメータ１１９としてもよい。
【００９９】
また、上記に示した機能ブロックの一部または全部を専用の論理回路で実現してもよい。すなわち、上記実施の形態においてソフトウェアにより実現されると説明されていた機能が、ハードウェアで実現されてもよい。
【０１００】
また、上記に示した各工程はあくまでも例示であって、同様の効果が得られるならば、その内容や順序が、適宜、変更されてもよい。
【符号の説明】
【０１０１】
１ ワンセグ受信モジュール
１０ ＣＰＵ
１００ 特徴抽出部
１０１ 領域設定部
１０２ 視差量演算部
１０３ 生成部
１１ 記憶装置
１１０ プログラム
１１１ 二次元映像データ
１１２ 三次元映像データ
１１３ 特徴量データ
１１４ 領域設定データ
１１５ 視差量データ
１１６ パラメータデータ
１１７ 三次元化パラメータ
１１８ 補間パラメータ
１１９ 補間パラメータ
１２ チューナ
１３ 復調回路
１４ 復号回路
２ 携帯端末装置
【技術分野】
【０００１】
本発明は、二次元映像を三次元映像に変換する技術に関する。より詳しくは、フレームレートの低い二次元映像を補間しつつ三次元映像に変換するときの変換演算に要する負荷を抑制する技術に関する。
【背景技術】
【０００２】
昨今、三次元映像が話題となり、映像を三次元で楽しむのが流行となっている。しかしながら、これまでに撮影され、制作された映像のほとんどが二次元映像である。
【０００３】
これら膨大な二次元映像の資産を三次元映像として楽しむために、従来より、二次元映像を擬似的な三次元映像に変換する技術が提案されている。このような技術が、例えば、特許文献１に記載されている。特許文献１に記載されている技術を用いれば、二次元映像として配信されている映像でも、三次元映像として閲覧することが可能となる。
【０００４】
一方、モバイル端末装置向けに配信される映像は、フレームレートが低く設定されていることが多く、このまま再生した場合には、なめらかな映像を楽しむことができない。したがって、復号化されたフレームから補間フレームを生成することによって、再生される映像のフレームレートを向上させる技術が知られている。このような技術が、例えば、特許文献２に記載されている。
【０００５】
すなわち、フレームレートの低い二次元映像に特許文献２に記載されている技術を適用してなめらかな二次元映像を生成し、この映像を特許文献１に記載されている技術によって擬似的な三次元映像に変換すれば、モバイル端末装置等に配信されるフレームレートの低い二次元映像を、なめらかな擬似的な三次元映像として楽しむことができる。ただし、特許文献１に記載の技術と特許文献２に記載の技術とを組み合わせた技術は従来技術ではなく、従来技術に基づいて発明者が導き出した新規な技術である。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００１−３２０７３１号公報
【特許文献２】特開２０１０−１２４３６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところが、発明者が考えた上記新規な技術により、フレームレートの低い二次元映像からなめらかな擬似的な三次元映像を生成する場合には、画像処理に要する演算負荷が大きくなるという問題があった。フレームレートの低い二次元映像（擬似的な三次元映像に変換するだけでは足りず、補間フレームを生成して補間する必要がある映像）は、比較的演算負荷に弱いモバイル端末装置が対象となることが多く、特に、深刻な問題となる。
【０００８】
本発明は、上記課題に鑑みてなされたものであり、二次元映像について、フレームレートを向上させるとともに、擬似的な三次元映像に変換する場合の演算負荷を抑制する技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記の課題を解決するため、請求項１の発明は、時系列順に作成された複数のフレームデータから構成される二次元映像データを擬似的な三次元映像データに変換する画像処理装置であって、前記複数のフレームデータにおいて前後する２のフレームデータから動きベクトルを含む特徴量を抽出する特徴抽出手段と、前記特徴抽出手段により抽出された動きベクトルに応じて、前記前後する２のフレームデータのうちの１のフレームデータを構成する複数の画素について三次元化させる対象領域を設定する設定手段と、前記特徴抽出手段により抽出された動きベクトルを含む特徴量に基づいて、前記設定手段により設定された対象領域ごとの視差量を演算する視差量演算手段と、前記特徴抽出手段により抽出された動きベクトルと前記設定手段により設定された対象領域と前記視差量演算手段により求められた前記対象領域の視差量とに基づいて、前記二次元映像データから前記二次元映像データにおけるフレームレートを変更した擬似的な三次元映像データを生成する生成手段とを備えることを特徴とする。
【００１０】
また、請求項２の発明は、請求項１の発明に係る画像処理装置であって、前記生成手段は、前記設定手段により設定された対象領域と前記視差量演算手段により求められた前記対象領域の視差量とに基づいて、前記１のフレームデータと対をなす１の他眼用フレームデータを生成するための三次元化パラメータを生成するとともに、前記特徴抽出手段により抽出された動きベクトルと前記設定手段により設定された対象領域とに基づいて、前記前後する２のフレームデータの間を補間する補間フレームデータを生成するための第１補間パラメータを生成することを特徴とする。
【００１１】
また、請求項３の発明は、請求項２の発明に係る画像処理装置であって、前記生成手段は、前記特徴抽出手段により抽出された動きベクトルと前記設定手段により設定された対象領域と前記視差量演算手段により求められた前記対象領域の視差量とに基づいて、前記補間フレームデータと対をなす他眼用補間フレームデータを生成するための第２補間パラメータを生成することを特徴とする。
【００１２】
また、請求項４の発明は、請求項２の発明に係る画像処理装置であって、前記生成手段は、前記視差量演算手段により求められた対象領域の視差量と前記第１補間パラメータとに基づいて、前記補間フレームデータと対をなす他眼用補間フレームデータを生成するための第２補間パラメータを生成することを特徴とする。
【００１３】
また、請求項５の発明は、請求項２の発明に係る画像処理装置であって、前記生成手段は、前記特徴抽出手段により抽出された動きベクトルと前記三次元化パラメータとに基づいて、前記補間フレームデータと対をなす他眼用補間フレームデータを生成するための第２補間パラメータを生成することを特徴とする。
【００１４】
また、請求項６の発明は、請求項１ないし５のいずれかの発明に係る画像処理装置であって、前記設定手段は、前記特徴抽出手段により抽出された動きベクトルを含む特徴量に応じて、対象領域を設定することを特徴とする。
【００１５】
また、請求項７の発明は、請求項１ないし６のいずれかの発明に係る画像処理装置であって、ワンセグ放送により提供される番組を表現した情報を前記二次元映像データとして受信する受信手段をさらに備え、前記受信手段による二次元映像データの受信と前記二次元映像データから生成される前記擬似的な三次元映像データのユーザによる視聴とが実質的にリアルタイムで実行されることを特徴とする。
【００１６】
また、請求項８の発明は、時系列順に作成された複数のフレームデータから構成される二次元映像データを擬似的な三次元映像データに変換する画像処理方法であって、前記複数のフレームデータにおいて前後する２のフレームデータから動きベクトルを含む特徴量を抽出する工程と、前記動きベクトルに応じて、前記前後する２のフレームデータのうちの１のフレームデータを構成する複数の画素について三次元化させる対象領域を設定する工程と、前記動きベクトルを含む特徴量に基づいて、前記対象領域ごとの視差量を演算する工程と、前記動きベクトルと前記対象領域と前記対象領域の視差量とに基づいて、前記二次元映像データから前記二次元映像データにおけるフレームレートを変更した擬似的な三次元映像データを生成する工程とを有することを特徴とする。
【００１７】
また、請求項９の発明は、コンピュータによる読み取り可能なプログラムであって、前記プログラムの前記コンピュータによる実行は、前記コンピュータを、時系列順に作成された複数のフレームデータから構成される二次元映像データを記憶する記憶手段と、前記記憶手段に記憶された二次元映像データにおいて前後する２のフレームデータから動きベクトルを含む特徴量を抽出する特徴抽出手段と、前記特徴抽出手段により抽出された動きベクトルに応じて、前記前後する２のフレームデータのうちの１のフレームデータを構成する複数の画素について三次元化させる対象領域を設定する設定手段と、前記特徴抽出手段により抽出された動きベクトルを含む特徴量に基づいて、前記設定手段により設定された対象領域ごとの視差量を演算する視差量演算手段と、前記特徴抽出手段により抽出された動きベクトルと前記設定手段により設定された対象領域と前記視差量演算手段により求められた前記対象領域の視差量とに基づいて、前記二次元映像データから前記二次元映像データにおけるフレームレートを変更した擬似的な三次元映像データを生成し、生成した前記擬似的な三次元映像データを前記記憶手段に記憶させる生成手段とを備える画像処理装置として機能させることを特徴とする。
【発明の効果】
【００１８】
本発明は、複数のフレームデータにおいて前後する２のフレームデータから動きベクトルを含む特徴量を抽出し、抽出された動きベクトルに応じて、前記前後する２のフレームデータのうちの１のフレームデータを構成する複数の画素について三次元化させる対象領域を設定し、抽出された動きベクトルを含む特徴量に基づいて、設定された対象領域ごとの視差量を演算し、抽出された動きベクトルと設定された対象領域と求められた当該対象領域の視差量とに基づいて、二次元映像データから当該二次元映像データにおけるフレームレートを変更した擬似的な三次元映像データを生成することにより、動きベクトルを抽出する処理を１回実行するだけで、二次元映像データのフレームレートを変更しつつ擬似的な三次元映像データを生成できるので、処理負荷が軽減される。
【図面の簡単な説明】
【００１９】
【図１】本発明に係る画像処理装置であるワンセグ受信モジュールを搭載した状態の携帯端末装置を示す図である。
【図２】ワンセグ受信モジュールおよび携帯端末装置の構成を示すブロック図である。
【図３】ワンセグ受信モジュールの機能ブロックをデータの流れとともに示す図である。
【図４】二次元映像データの映像に係る部分を概念的に示した図である。
【図５】特徴抽出部により作成される特徴量データを例示する図である。
【図６】領域設定部により作成される領域設定データを例示する図である。
【図７】視差量演算部により作成される視差量データを例示する図である。
【図８】本発明に係る画像処理方法を示す図である。
【図９】三次元化パラメータを例示する図である。
【図１０】第１補間パラメータを例示する図である。
【図１１】第２補間パラメータを例示する図である。
【図１２】三次元映像データを概念的に示す図である。
【発明を実施するための形態】
【００２０】
以下、本発明の好適な実施の形態について、添付の図面を参照しつつ、詳細に説明する。
【００２１】
＜１． 実施の形態＞
図１は、本発明に係る画像処理装置であるワンセグ受信モジュール１を搭載した状態の携帯端末装置２を示す図である。携帯端末装置２は、可搬性のコンピュータであり、例えば、携帯型のゲーム機、ＰＤＡ、携帯電話あるいはノートパソコン等が想定される。また、ワンセグ受信モジュール１は、携帯端末装置２の図示しないスロットに着脱自在に装着され、携帯端末装置２においてワンセグ放送を受信し視聴するために使用される装置である。
【００２２】
図２は、ワンセグ受信モジュール１および携帯端末装置２の構成を示すブロック図である。
【００２３】
図２に示すように、ワンセグ受信モジュール１は、各種データの演算を行うとともにワンセグ受信モジュール１の各構成を制御するＣＰＵ１０と、各種データを必要に応じて適宜記憶する記憶装置１１とを備えている。これによりワンセグ受信モジュール１は、記憶装置１１に記憶されたプログラム１１０を読み取りつつ、当該プログラム１１０をＣＰＵ１０により実行するコンピュータとしての構成および機能を有している。
【００２４】
プログラム１１０、二次元映像データ１１１および三次元映像データ１１２を記憶する記憶装置１１は、ＣＰＵ１０の一時的なワーキングエリアとして使用され比較的高速にアクセスすることが可能なＲＡＭや、不揮発性で読み取り専用のＲＯＭ、比較的短時間の間だけ情報を格納するバッファ、あるいは、着脱自在のメモリカード等から構成される。すなわち、図２において記憶装置１１は、１つの構成であるかのように図示されているが、実際には、記憶する情報の種類や用途に応じて選択される、様々な種類の記憶素子を備えた装置の集合体である。
【００２５】
また、ワンセグ受信モジュール１は、チューナ１２、復調回路１３および復号回路１４を備えている。これらの構成は、ワンセグ放送を受信して、当該ワンセグ放送の番組を表現した二次元映像データ１１１を生成するための構成（本発明に係る受信手段に相当する構成）であり、従来の技術を適用することが可能であるため、簡単に説明する。
【００２６】
アンテナを含むチューナ１２は、アンテナにより受信されたＲＦ信号を増幅するとともに、アナログのＩＦ信号に変換して復調回路１３に向けて出力する。
【００２７】
復調回路１３は、例えば、Ａ／Ｄ変換回路とＯＦＤＭ復調回路とを備えた回路であり、当該Ａ／Ｄ変換回路によりチューナ１２からのアナログ信号をデジタル信号に変換するとともに、当該ＯＦＤＭ復調回路によりＴＳ信号を生成して復号回路１４に向けて出力する。
【００２８】
復号回路１４は、例えば、本実施の形態ではＭＰＥＧ復号回路であり、復調回路１３から入力される信号（本実施の形態ではＴＳ信号）を復号して、二次元映像データ１１１を生成し、出力する。復号回路１４から出力された二次元映像データ１１１は、記憶装置１１に一旦格納される。
【００２９】
さらに、ワンセグ受信モジュール１は、インタフェース部１５を備えている。インタフェース部１５は、携帯端末装置２のインタフェース部２５との間で電気的に接続される端子群を構成している。インタフェース部１５がインタフェース部２５に挿入されることにより、ワンセグ受信モジュール１は携帯端末装置２と接続され、携帯端末装置２との間でデータ通信が可能となるとともに、携帯端末装置２から電力の供給を受けることも可能となる。
【００３０】
詳細は後述するが、本実施の形態におけるワンセグ受信モジュール１は、ワンセグ放送により提供される番組を受信して、当該番組を表現した二次元映像データ１１１を生成する受信機としての機能を有しているとともに、二次元映像データ１１１から擬似的な三次元映像データ１１２を作成する画像処理装置としての機能も有している。
【００３１】
図２に示すように、携帯端末装置２は、各種データの演算を行うとともに携帯端末装置２の各構成を制御するＣＰＵ２０を備えている。また、携帯端末装置２は、各種データを必要に応じて適宜記憶する記憶装置２１を備えている。これにより携帯端末装置２は、記憶装置２１に記憶されたプログラム２１０を読み取りつつ、当該プログラム２１０をＣＰＵ２０により実行するコンピュータとしての構成および機能を有している。
【００３２】
プログラム２１０および三次元映像データ１１２を記憶する記憶装置２１は、ＣＰＵ２０の一時的なワーキングエリアとして使用され比較的高速にアクセスすることが可能なＲＡＭや、不揮発性で読み取り専用のＲＯＭ、比較的短時間の間だけ情報を格納するバッファ、あるいは、着脱自在のメモリカード等から構成される。すなわち、図２において記憶装置２１は、１つの構成であるかのように図示されているが、実際には、記憶する情報の種類や用途に応じて選択される、様々な種類の記憶素子を備えた装置の集合体である。
【００３３】
さらに、携帯端末装置２は、操作部２２、表示部２３、スピーカ２４およびインタフェース部２５を備えている。
【００３４】
操作部２２は、ユーザが携帯端末装置２を操作するために必要な情報を入力するために使用される。操作部２２としては、各種ボタン類やテンキー等が該当する。操作部２２が操作されることにより入力された情報は、携帯端末装置２を操作するだけでなく、ワンセグ受信モジュール１を操作するためにも使用される。例えば、どのチャンネルで放送されている番組を視聴するかを選択する情報は、ユーザが操作部２２を操作することによって入力されるが、この情報は、携帯端末装置２のＣＰＵ２０を介して、ワンセグ受信モジュール１に伝達され、ワンセグ受信モジュール１側において、これに応じた処理が実行される（すなわち、視聴するチャンネルの切り替えが行われる。）。
【００３５】
表示部２３は、液晶パネルやディスプレイ、ランプ、ＬＥＤ等から構成される。表示部２３は、ＣＰＵ２０からの制御信号により、画像データに基づいて画面に画像を再生（表示）する機能を有している。本実施の形態における表示部２３は、三次元映像データ１１２に含まれる画像データを再生することにより、ワンセグ放送の画像を再生する。
【００３６】
スピーカ２４は、ＣＰＵ２０からの制御信号により、音声データに基づいて音声を再生する機能を有している。本実施の形態におけるスピーカ２４は、三次元映像データ１１２に含まれる音声データを再生することにより、ワンセグ放送の音声を再生する。
【００３７】
インタフェース部２５は、ワンセグ受信モジュール１のインタフェース部１５との間で電気的に接続される端子群を構成している。インタフェース部２５にインタフェース部１５が挿入されることにより、携帯端末装置２にワンセグ受信モジュール１が装着され、携帯端末装置２においてワンセグ放送の視聴が可能となる。
【００３８】
図３は、ワンセグ受信モジュール１の機能ブロックをデータの流れとともに示す図である。図３に示す特徴抽出部１００、領域設定部１０１、視差量演算部１０２および生成部１０３は、ワンセグ受信モジュール１のＣＰＵ１０がプログラム１１０に従って動作するこにより実現される機能ブロックである。
【００３９】
特徴抽出部１００は、二次元映像データ１１１を構成する複数のフレームデータにおいて前後する２のフレームデータから動きベクトルを含む特徴量を抽出し、特徴量データ１１３を作成する機能を有している。
【００４０】
図４は、二次元映像データ１１１の映像に係る部分を概念的に示した図である。図４に示すように、二次元映像データ１１１は、時系列順に作成された複数のフレームデータから構成される。
【００４１】
図４には、（ｎ−１）番目のフレームデータと、ｎ番目のフレームデータと、（ｎ＋１）番目のフレームデータとを示している（ただし、ｎは整数）。また、本実施の形態では、二次元映像データ１１１のフレームレートは１５［fps］とする。なお、以下、ｎ番目のフレームデータを「フレームデータｎ」と称する。
【００４２】
各フレームデータは、矩形状に配列した複数の画素から構成されている。本実施の形態では、フレームデータを構成する画素の水平方向の位置座標を「ｉ」、垂直方向の位置座標を「ｊ」として説明する。
【００４３】
図５は、特徴抽出部１００により作成される特徴量データ１１３を例示する図である。ここでは、図４に示すフレームデータｎと、フレームデータ（ｎ＋１）とに基づいて作成される、フレームデータｎについての特徴量データ１１３を示すものとして説明する。
【００４４】
本実施の形態における特徴抽出部１００は、前後する２のフレームデータを比較することにより、フレームデータｎを構成する各画素ごとに、動きベクトルと、色と、周波数とを特徴量として抽出する。このような特徴抽出処理は従来の手法を適宜適用できる。ただし、特徴抽出部１００が抽出する特徴量としては、他の種類のものを含めて取捨選択されてもよいが、動きベクトルは必須のものとする。
【００４５】
なお、本実施の形態における特徴抽出部１００は、各画素ごとに特徴量を抽出するが、特徴量を抽出する単位は１画素に限定されるものではない。例えば、４（２×２）個の画素を１つの単位として特徴量を抽出するように構成してもよい。
【００４６】
図３に示す領域設定部１０１は、前後する２のフレームデータのうちの１のフレームデータを構成する複数の画素について三次元化させる対象領域を設定する機能を有している。
【００４７】
図６は、領域設定部１０１により作成される領域設定データ１１４を例示する図である。図６に示す例では、三次元化させる対象領域としてオブジェクト０とオブジェクト１とが設定されており、各対象領域を構成する画素がグループ化されている。
【００４８】
すなわち、オブジェクト０には、画素Ｐ00（座標が(0,0)）、画素Ｐ11（座標が(1,1)）、画素Ｐ22（座標が(2,2)）、画素Ｐ33（座標が(3,3)）・・・が含まれ、オブジェクト１には、画素Ｐ1235（座標が(12,35)）・・・が含まれる。言い換えれば、オブジェクト０は画素Ｐ00（座標が(0,0)）、画素Ｐ11（座標が(1,1)）、画素Ｐ22（座標が(2,2)）、画素Ｐ33（座標が(3,3)）・・・によって構成される領域であり、オブジェクト１は画素Ｐ1235（座標が(12,35)）・・・によって構成される領域である。
【００４９】
このように、特徴量データ１１３に基づいて、フレームデータ（フレームデータｎ）を構成する複数の画素を対象領域（画素グループ）にグループ化する手法としては、従来から提案されている手法を適宜採用することができる。
【００５０】
なお、本実施の形態における領域設定部１０１は、先述のように特徴抽出部１００が抽出した特徴量（特徴量データ１１３）に基づいて、対象領域を設定する。ただし、領域設定部１０１が対象領域を設定するときに参照する情報は、特徴量データ１１３に限定されるものではない。例えば、二次元映像データ１１１の映像種別（例えば風景や、スポーツ、アニメーション等の種別）に関する情報や、ＣＧ合成映像である場合のオブジェクト指定情報等であってもよいし、これらの情報が併用されてもよい。
【００５１】
また、１つのフレームデータにおいて設定される対象領域の数は不定であるが、通常、１のフレームデータを構成するすべての画素がいずれかの対象領域に設定されることはない。対象領域は、先述のように、三次元化させる（人の目によって立体的に見えるように変換する）部分的な領域であり、一般には、背景に対して前方に存在する物体に相当する画像領域である。
【００５２】
図３に示す視差量演算部１０２は、特徴抽出部１００により抽出された動きベクトルを含む特徴量（特徴量データ１１３）に基づいて、領域設定部１０１により設定された対象領域ごとの視差量を演算し、視差量データ１１５を作成する機能を有している。このようにして視差量を求める手法は、従来から提案されている手法を適宜採用することができるため、簡単に説明する。
【００５３】
視差量演算部１０２は、領域設定データ１１４を参照して、当該領域設定データ１１４に設定されている対象領域（例えばオブジェクト０）を構成する画素（オブジェクト０であれば、画素Ｐ00、画素Ｐ11、画素Ｐ22、画素Ｐ33・・・）を特定し、特定した当該画素ごとに特徴量データ１１３に含まれる特徴量（動きベクトル、色および周波数）を取得する。そして、これらの値の平均値（動きベクトルの平均値、色の平均値および周波数の平均値）を求め、これらの平均値に基づいて視差量（オブジェクト０については視差量ｄ０とする。）を求める。なお、本実施の形態における視差量演算部１０２は、対象領域ごとの視差量を、当該対象領域をフレームデータにおいて水平方向にずらす距離（画素数）として求める。
【００５４】
図７は、視差量演算部１０２により作成される視差量データ１１５を例示する図である。図７に示すように、領域設定部１０１により設定されたオブジェクト０およびオブジェクト１について、視差量演算部１０２によりそれぞれ視差量ｄ０および視差量ｄ１が求められ格納されている。
【００５５】
図３に示す生成部１０３は、特徴抽出部１００により抽出された動きベクトル（特徴量データ１１３）と、領域設定部１０１により設定された対象領域（領域設定データ１１４）と、視差量演算部１０２により求められた対象領域ごとの視差量（視差量データ１１５）とに基づいて、二次元映像データ１１１から当該二次元映像データ１１１におけるフレームレートを変更した擬似的な三次元映像データ１１２を生成する機能を有している。
【００５６】
生成部１０３は、領域設定部１０１により設定された対象領域と視差量演算部１０２により求められた対象領域の視差量データ１１５とに基づいて、フレームデータｎ（１のフレームデータ）と対をなす１の他眼用フレームデータを生成するための三次元化パラメータ１１７を生成する。なお、フレームデータｎと対をなす１の他眼用フレームデータを、以下、「他眼用フレームデータｎ」と称する。本実施の形態では、フレームデータｎは人の右目用のフレームデータであり、他眼用フレームデータｎは人の左目用のフレームデータである。ただし、これに限定されるものではなく、逆であってもよい。その場合は視差量演算部１０２により求められる視差量の符号を反転させればよい。
【００５７】
また、生成部１０３は、特徴抽出部１００により抽出された動きベクトルと、領域設定部１０１により設定された対象領域とに基づいて、フレームデータｎとフレームデータ（ｎ＋１）（前後する２のフレームデータ）の間を補間する補間フレームデータを生成するための第１補間パラメータ１１８を生成する。
【００５８】
本実施の形態における生成部１０３は、二次元映像データ１１１のフレームレートを２倍に向上させて、擬似的な三次元映像データ１１２に変換する例で説明する。本実施の形態では二次元映像データ１１１のフレームレートは先述のように１５［fps］であるが、三次元映像データ１１２のフレームレートは３０［fps］となる。したがって、フレームデータｎとフレームデータ（ｎ＋１）との間を補間する補間フレームデータは、本実施の形態では１つのみ生成される。以下、当該補間フレームデータを「フレームデータ（ｎ＋１／２）」と称する。
【００５９】
さらに、生成部１０３は、特徴抽出部１００により抽出された動きベクトル（特徴量データ１１３）と、領域設定部１０１により設定された対象領域（領域設定データ１１４）と、視差量演算部１０２により求められた対象領域ごとの視差量（視差量データ１１５）とに基づいて、フレームデータ（ｎ＋１／２）（補間フレームデータ）と対をなす他眼用補間フレームデータを生成するための第２補間パラメータ１１９を生成する。なお、フレームデータ（ｎ＋１／２）と対をなす他眼用補間フレームデータを、以下、「他眼用フレームデータ（ｎ＋１／２）」と称する。
【００６０】
図３に示すように、生成部１０３によって生成された三次元化パラメータ１１７、第１補間パラメータ１１８および第２補間パラメータ１１９は、パラメータデータ１１６として、一旦、記憶装置１１に記憶される。パラメータデータ１１６は、生成部１０３が二次元映像データ１１１から当該二次元映像データ１１１におけるフレームレートを変更した擬似的な三次元映像データ１１２を生成する際に利用されるが詳細は後述する。
【００６１】
以上が、ワンセグ受信モジュール１および携帯端末装置２の構成および機能の説明である。次に、ワンセグ受信モジュール１による画像処理方法を説明する。
【００６２】
図８は、本発明に係る画像処理方法を示す図である。図８に示す各工程は、主に、ワンセグ受信モジュール１において実行される。
【００６３】
まず、ワンセグ受信モジュール１は、図示しない初期設定を実行した後、ワンセグ放送の受信を開始する。そして、ワンセグ放送を受信することにより、当該ワンセグ放送の１のフレームデータを受信し（ステップＳ１１）、受信した１のフレームデータを二次元映像データ１１１を構成するフレームデータとして記憶装置１１に記憶する。以下では、フレームデータ（ｎ＋１）を受信したときから説明する。
【００６４】
次に、特徴抽出部１００が、以前にステップＳ１１が実行されたときにすでに受信し記憶しているフレームデータｎとステップＳ１１で受信したフレームデータ（ｎ＋１）とに基づいて、動きベクトルを含む特徴量を抽出し（ステップＳ１２）、特徴量データ１１３を生成する。
【００６５】
特徴量データ１１３が生成されると、領域設定部１０１が特徴量データ１１３（動きベクトル、色および周波数）に応じて、フレームデータｎを構成する複数の画素について三次元化させる対象領域を設定し（ステップＳ１３）、領域設定データ１１４を生成する。
【００６６】
領域設定データ１１４が生成されると、視差量演算部１０２が特徴量データ１１３に基づいて、領域設定データ１１４に示されている対象領域ごとに視差量を演算し（ステップＳ１４）、視差量データ１１５を生成する。
【００６７】
次に、生成部１０３が、特徴量データ１１３と、領域設定データ１１４と、視差量データ１１５とに基づいて、二次元映像データ１１１から擬似的な三次元映像データ１１２を生成するために必要なパラメータを演算し（ステップＳ１５）、パラメータデータ１１６を作成する。
【００６８】
図９は、三次元化パラメータ１１７を例示する図である。図９に示す例では、フレームデータｎを構成する複数の画素について、フレームデータｎにおける座標と、フレームデータｎを他眼用フレームデータｎに変換するときの変換後座標とが含まれている。
【００６９】
他眼用フレームデータｎは、例えば、三次元化させるオブジェクト０については、当該オブジェクト０の視差量ｄ０だけ、オブジェクト０を構成する画素の座標が水平方向に移動したものとなる。
【００７０】
したがって、三次元化パラメータ１１７では、三次元化させる対象領域（オブジェクト０）を構成する画素（画素Ｐ00，Ｐ11，Ｐ22，Ｐ33・・・）について、変換後座標が示されており、当該変換後座標の値は、いずれも元の水平座標の値に視差量ｄ０を加えた値となっている。言い換えれば、生成部１０３は、領域設定データ１１４に設定されている各対象領域を構成する画素について、当該画素の水平座標に、当該画素により構成される対象領域の視差量（視差量データ１１５に示される値）を加算して三次元化パラメータ１１７を作成する。
【００７１】
これにより、二次元映像データ１１１を構成するフレームデータｎを、三次元化パラメータ１１７によって変換すると、他眼用フレームデータｎを生成することが可能となる。すなわち、三次元化パラメータ１１７はフレームデータｎを他眼用フレームデータｎに変換するための変換テーブルを構成している。
【００７２】
そして、ユーザの右目にフレームデータｎを見せつつ、左目に他眼用フレームデータｎを見せると、視差量（視差量ｄ０）に応じて対象領域（オブジェクト０）が立体的に見え、当該対象領域が擬似的に三次元化される。なお、三次元化パラメータ１１７には、変換後座標により移動した画素を埋めるための画素に関するデータも含まれているが、従来の技術を適用することが可能であるため、詳細な説明を省略する。以下、第１補間パラメータ１１８および第２補間パラメータ１１９についても同様である。
【００７３】
図１０は、第１補間パラメータ１１８を例示する図である。図１０に示す例では、フレームデータｎを構成する複数の画素について、フレームデータｎにおける座標と、フレームデータｎを補間フレームデータ（ｎ＋１／２）に変換するときの変換後座標とが含まれている。
【００７４】
補間フレームデータ（ｎ＋１／２）は、例えば、移動しているオブジェクト０については、オブジェクト０を構成する画素の座標が当該画素の動きベクトルの方向に移動したものとなる。また、このとき移動する距離は、本実施の形態のように、フレームレート変換率が「２倍」の場合、動きベクトルの大きさの１／２となる。
【００７５】
したがって、第１補間パラメータ１１８では、対象領域（オブジェクト０）を構成する画素（画素Ｐ00，Ｐ11，Ｐ22，Ｐ33・・・）について、変換後座標が示されており、当該変換後座標の値は、いずれも元の座標の値に動きベクトルの大きさの１／２を加えた値となっている。例えば、画素Ｐ00の動きベクトルは図５に示すように（ｖ０，ｖ１）である。したがって、画素Ｐ00の変換後座標は、（０＋ｖ０／２，０＋ｖ１／２）となる。
【００７６】
言い換えれば、生成部１０３は、領域設定データ１１４に設定されている各対象領域を構成する画素について、当該画素の座標に、当該画素の動きベクトル（特徴量データ１１３に示される値）の１／２を加算して第１補間パラメータ１１８を作成する。
【００７７】
これにより、二次元映像データ１１１を構成するフレームデータｎを、第１補間パラメータ１１８によって変換すると、補間フレームデータ（ｎ＋１／２）を生成することが可能となる。すなわち、第１補間パラメータ１１８はフレームデータｎを補間フレームデータ（ｎ＋１／２）に変換するための変換テーブルを構成している。
【００７８】
そして、フレームデータｎとフレームデータ（ｎ＋１）との間に、補間フレームデータ（ｎ＋１／２）を見せることにより、二次元映像データ１１１において１５［fps］であったフレームレートが、三次元映像データ１１２において３０［fps］に変更される。すなわち、三次元映像データ１１２は二次元映像データ１１１よりも高いフレームレートに変換されるため滑らかな映像となる。
【００７９】
なお、画素Ｐ00と同じ対象領域（オブジェクト０）を構成する他の画素Ｐ11，Ｐ22，Ｐ33・・・も通常は同じ動きベクトル（ｖ０，ｖ１）であるため、図１０に示すように、これらの画素の座標にも動きベクトル（ｖ０，ｖ１）の１／２の値が加算されることにより、変換後座標が求められている。
【００８０】
図１１は、第２補間パラメータ１１９を例示する図である。図１１に示す例では、フレームデータｎを構成する複数の画素について、フレームデータｎにおける座標と、フレームデータｎを他眼用補間フレームデータ（ｎ＋１／２）に変換するときの変換後座標とが含まれている。
【００８１】
他眼用補間フレームデータ（ｎ＋１／２）は、例えば、三次元化させるオブジェクト０については、当該オブジェクト０の視差量ｄ０だけ、オブジェクト０を構成する画素の座標が水平方向に移動したものとなる。また、例えば、移動しているオブジェクト０については、オブジェクト０を構成する画素の座標が当該画素の動きベクトルの方向に動きベクトルの大きさの１／２だけ移動したものとなる。
【００８２】
したがって、第２補間パラメータ１１９では、対象領域（オブジェクト０）を構成する画素（画素Ｐ00，Ｐ11，Ｐ22，Ｐ33・・・）について、変換後座標が示されており、当該変換後座標の値は、いずれも元の水平座標の値に視差量ｄ０を加えるとともに、動きベクトルの大きさの１／２を加えた値となっている。例えば、画素Ｐ00の動きベクトルは先述のように（ｖ０，ｖ１）である。したがって、第２補間パラメータ１１９における画素Ｐ00の変換後座標は、（０＋ｄ０＋ｖ０／２，０＋ｖ１／２）となる。
【００８３】
言い換えれば、本実施の形態における生成部１０３は、領域設定データ１１４に設定されている各対象領域を構成する画素について、当該画素の水平座標については視差量ｄ０と当該画素の動きベクトル（特徴量データ１１３に示される値）の１／２とを加算し、垂直座標については当該画素の動きベクトル（特徴量データ１１３に示される値）の１／２を加算して第２補間パラメータ１１９を作成する。
【００８４】
そして、ユーザの右目に補間フレームデータ（ｎ＋１／２）を見せつつ、左目に他眼用補間フレームデータ（ｎ＋１／２）を見せると、フレームデータが補間されている間においても、視差量（視差量ｄ０）に応じて対象領域（オブジェクト０）が立体的に見え、当該対象領域が擬似的に三次元化される。
【００８５】
図８に戻って、パラメータデータ１１６が作成されると、生成部１０３は、二次元映像データ１１１のフレームデータｎと、パラメータデータ１１６とに基づいて、他眼用フレームデータｎと、補間フレーム（ｎ＋１／２）と、他眼用補間フレーム（ｎ＋１／２）とを生成し、元のフレームデータｎとともに三次元映像データ１１２を生成する（ステップＳ１６）。
【００８６】
図１２は、三次元映像データ１１２を概念的に示す図である。図４に示すように、フレームデータ（ｎ−１），ｎ，（ｎ＋１）から構成されていた二次元映像データ１１１が、図１２に示すように、三次元映像データ１１２においては、フレームデータ（ｎ−１），ｎ，（ｎ＋１）が補間フレームデータ（ｎ−１／２），（ｎ＋１／２）によって補間されることにより滑らかな映像となるとともに、これらのフレームデータと対をなす他眼用フレームデータ（ｎ−１），ｎ，（ｎ＋１）および他眼用補間フレームデータ（ｎ−１／２），（ｎ＋１／２）が作成されることにより、擬似的に三次元化されている。
【００８７】
ステップＳ１６において生成された三次元映像データ１１２は、一旦、記憶装置１１に記憶された後、携帯端末装置２の記憶装置２１に転送され、表示部２３に表示される。
【００８８】
以上のように、本実施の形態におけるワンセグ受信モジュール１は、時系列順に作成された複数のフレームデータから構成される二次元映像データ１１１を擬似的な三次元映像データ１１２に変換する画像処理装置として構成されており、複数のフレームデータにおいて前後する２のフレームデータから動きベクトルを含む特徴量を抽出する特徴抽出部１００と、特徴抽出部１００により抽出された動きベクトルに応じて、前後する２のフレームデータのうちの１のフレームデータを構成する複数の画素について三次元化させる対象領域を設定する領域設定部１０１と、特徴抽出部１００により抽出された動きベクトルを含む特徴量に基づいて、領域設定部１０１により設定された対象領域ごとの視差量を演算する視差量演算部１０２と、特徴抽出部１００により抽出された動きベクトルと領域設定部１０１により設定された対象領域と視差量演算部１０２により求められた対象領域の視差量とに基づいて、二次元映像データ１１１から当該二次元映像データ１１１におけるフレームレートを変更した擬似的な三次元映像データ１１２を生成する生成部１０３とを備える。これにより、動きベクトルを抽出する処理を１回実行するだけで、二次元映像データ１１１のフレームレートを変更しつつ擬似的な三次元映像データ１１２を生成できるので、処理負荷が軽減される。
【００８９】
また、領域設定部１０１は、特徴抽出部１００により抽出された動きベクトルを含む特徴量に応じて、対象領域を設定する。すなわち、動きベクトル以外の特徴量についても対象領域の設定に有効に利用することにより、対象領域を設定するための情報を別途取得しなくても、対象領域を効率的かつ正確に設定することができる。
【００９０】
また、本実施の形態では、ワンセグ放送により提供される番組を表現した二次元映像データ１１１の受信と当該二次元映像データ１１１から生成される擬似的な三次元映像データ１１２のユーザによる視聴とが実質的にリアルタイムで実行される。このような用途においては、画像処理に要する時間の短縮要請が高いため、本発明がより効果的となる。
【００９１】
なお、本実施の形態では、特徴量データ１１３、領域設定データ１１４および視差量データ１１５がそれぞれ別個のデータを構成している例で説明したが、これらを互いに関連づけて、データの１つの集合体として扱ってもよい。その場合、例えば、対象領域ごとに求める動きベクトルの平均値や色の平均値、周波数の平均値等も関連づけて格納するようにしてもよい。
【００９２】
＜２． 変形例＞
以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく様々な変形が可能である。
【００９３】
例えば、上記実施の形態では、二次元映像データとして、ワンセグ放送により提供される番組を表現した情報を受信する例を説明した。しかし、本発明が対象とする二次元映像データとは、ワンセグ放送の映像に限定されるものではない。例えば、地上デジタル放送の映像や、遠隔地に配置された撮像カメラ（防犯カメラ）から実質的にリアルタイムで受信される映像、あるいは、インターネット配信動画であってもよいし、ビデオテープやＤＶＤ、ブルーレイディスク等の記録媒体にすでに記録されている映像であってもよい。
【００９４】
また、二次元映像データの受信（取得）と、擬似的な三次元映像データへの変換処理と、ユーザによる視聴とが、上記実施の形態に示したように、実質的にリアルタイムで行われてもよいし、取得した二次元映像データを変換処理してＤＶＤやハードディスク等に記録した後、視聴（再生）されるまでに比較的長い時間が設けられていてもよい。
【００９５】
また、上記実施の形態では、本発明に係る画像処理装置であるワンセグ受信モジュール１が携帯端末装置２に対して着脱自在となるように構成されていたが、もちろん、画像処理装置は携帯端末装置２と一体構造物を構成し、携帯端末装置２に内蔵される構造となっていてもよい。
【００９６】
また、変換によりフレームレートを向上させる率（以下、「フレームレート変換率」と称する。）は「２倍（１５［fps］から３０［fps］）」に限定されるものではない。例えば、フレームレート変換率を「４倍」とし、三次元映像データ１１２におけるフレームレートを６０［fps］とすることも可能である。その場合には、フレームデータｎとフレームデータ（ｎ＋１）との間を補間する３つの補間フレームデータ（フレームデータ（ｎ＋１／４），（ｎ＋１／２），（ｎ＋３／４））を生成すればよい。すなわち、フレームレート変換率を「４倍」にする場合は、第１補間パラメータ１１８は３つの補間フレームデータを生成するために必要なパラメータとなり、第２補間パラメータ１１９は３つの補間フレームデータのそれぞれと対をなす３つの他眼用補間フレームデータを生成するために必要なパラメータとなる。また、本実施の形態と同様に、フレームレート変換率を「２倍」とする場合であっても、例えば、３０［fps］から６０［fps］への変換であってもよい。
【００９７】
また、上記実施の形態における生成部１０３は、特徴抽出部１００により抽出された動きベクトルと領域設定部１０１により設定された対象領域と視差量演算部１０２により求められた対象領域の視差量とに基づいて、補間フレームデータと対をなす他眼用補間フレームデータを生成するための第２補間パラメータ１１９を生成すると説明した。しかし、生成部１０３は、視差量演算部１０２により求められた対象領域の視差量と第１補間パラメータ１１８とに基づいて、補間フレームデータと対をなす他眼用補間フレームデータを生成するための第２補間パラメータ１１９を生成してもよい。すなわち、第１補間パラメータ１１８における変換後座標の水平座標の値に視差量演算部１０２により求められた対象領域の視差量を加算して第２補間パラメータ１１９としてもよい。
【００９８】
また、生成部１０３は、特徴抽出部１００により抽出された動きベクトルと三次元化パラメータ１１７とに基づいて、補間フレームデータと対をなす他眼用補間フレームデータを生成するための第２補間パラメータ１１９を生成してもよい。すなわち、三次元化パラメータ１１７における変換後座標に特徴抽出部１００により抽出された動きベクトルの寄与分（本実施の形態では動きベクトルの１／２）を加算して第２補間パラメータ１１９としてもよい。
【００９９】
また、上記に示した機能ブロックの一部または全部を専用の論理回路で実現してもよい。すなわち、上記実施の形態においてソフトウェアにより実現されると説明されていた機能が、ハードウェアで実現されてもよい。
【０１００】
また、上記に示した各工程はあくまでも例示であって、同様の効果が得られるならば、その内容や順序が、適宜、変更されてもよい。
【符号の説明】
【０１０１】
１ ワンセグ受信モジュール
１０ ＣＰＵ
１００ 特徴抽出部
１０１ 領域設定部
１０２ 視差量演算部
１０３ 生成部
１１ 記憶装置
１１０ プログラム
１１１ 二次元映像データ
１１２ 三次元映像データ
１１３ 特徴量データ
１１４ 領域設定データ
１１５ 視差量データ
１１６ パラメータデータ
１１７ 三次元化パラメータ
１１８ 補間パラメータ
１１９ 補間パラメータ
１２ チューナ
１３ 復調回路
１４ 復号回路
２ 携帯端末装置
【特許請求の範囲】
【請求項１】
時系列順に作成された複数のフレームデータから構成される二次元映像データを擬似的な三次元映像データに変換する画像処理装置であって、
前記複数のフレームデータにおいて前後する２のフレームデータから動きベクトルを含む特徴量を抽出する特徴抽出手段と、
前記特徴抽出手段により抽出された動きベクトルに応じて、前記前後する２のフレームデータのうちの１のフレームデータを構成する複数の画素について三次元化させる対象領域を設定する設定手段と、
前記特徴抽出手段により抽出された動きベクトルを含む特徴量に基づいて、前記設定手段により設定された対象領域ごとの視差量を演算する視差量演算手段と、
前記特徴抽出手段により抽出された動きベクトルと前記設定手段により設定された対象領域と前記視差量演算手段により求められた前記対象領域の視差量とに基づいて、前記二次元映像データから前記二次元映像データにおけるフレームレートを変更した擬似的な三次元映像データを生成する生成手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記生成手段は、前記設定手段により設定された対象領域と前記視差量演算手段により求められた前記対象領域の視差量とに基づいて、前記１のフレームデータと対をなす１の他眼用フレームデータを生成するための三次元化パラメータを生成するとともに、前記特徴抽出手段により抽出された動きベクトルと前記設定手段により設定された対象領域とに基づいて、前記前後する２のフレームデータの間を補間する補間フレームデータを生成するための第１補間パラメータを生成することを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置であって、
前記生成手段は、前記特徴抽出手段により抽出された動きベクトルと前記設定手段により設定された対象領域と前記視差量演算手段により求められた前記対象領域の視差量とに基づいて、前記補間フレームデータと対をなす他眼用補間フレームデータを生成するための第２補間パラメータを生成することを特徴とする画像処理装置。
【請求項４】
請求項２に記載の画像処理装置であって、
前記生成手段は、前記視差量演算手段により求められた対象領域の視差量と前記第１補間パラメータとに基づいて、前記補間フレームデータと対をなす他眼用補間フレームデータを生成するための第２補間パラメータを生成することを特徴とする画像処理装置。
【請求項５】
請求項２に記載の画像処理装置であって、
前記生成手段は、前記特徴抽出手段により抽出された動きベクトルと前記三次元化パラメータとに基づいて、前記補間フレームデータと対をなす他眼用補間フレームデータを生成するための第２補間パラメータを生成することを特徴とする画像処理装置。
【請求項６】
請求項１ないし５のいずれかに記載の画像処理装置であって、
前記設定手段は、前記特徴抽出手段により抽出された動きベクトルを含む特徴量に応じて、対象領域を設定することを特徴とする画像処理装置。
【請求項７】
請求項１ないし６のいずれかに記載の画像処理装置であって、
ワンセグ放送により提供される番組を表現した情報を前記二次元映像データとして受信する受信手段をさらに備え、
前記受信手段による二次元映像データの受信と前記二次元映像データから生成される前記擬似的な三次元映像データのユーザによる視聴とが実質的にリアルタイムで実行されることを特徴とする画像処理装置。
【請求項８】
時系列順に作成された複数のフレームデータから構成される二次元映像データを擬似的な三次元映像データに変換する画像処理方法であって、
前記複数のフレームデータにおいて前後する２のフレームデータから動きベクトルを含む特徴量を抽出する工程と、
前記動きベクトルに応じて、前記前後する２のフレームデータのうちの１のフレームデータを構成する複数の画素について三次元化させる対象領域を設定する工程と、
前記動きベクトルを含む特徴量に基づいて、前記対象領域ごとの視差量を演算する工程と、
前記動きベクトルと前記対象領域と前記対象領域の視差量とに基づいて、前記二次元映像データから前記二次元映像データにおけるフレームレートを変更した擬似的な三次元映像データを生成する工程と、
を有することを特徴とする画像処理方法。
【請求項９】
コンピュータによる読み取り可能なプログラムであって、前記プログラムの前記コンピュータによる実行は、前記コンピュータを、
時系列順に作成された複数のフレームデータから構成される二次元映像データを記憶する記憶手段と、
前記記憶手段に記憶された二次元映像データにおいて前後する２のフレームデータから動きベクトルを含む特徴量を抽出する特徴抽出手段と、
前記特徴抽出手段により抽出された動きベクトルに応じて、前記前後する２のフレームデータのうちの１のフレームデータを構成する複数の画素について三次元化させる対象領域を設定する設定手段と、
前記特徴抽出手段により抽出された動きベクトルを含む特徴量に基づいて、前記設定手段により設定された対象領域ごとの視差量を演算する視差量演算手段と、
前記特徴抽出手段により抽出された動きベクトルと前記設定手段により設定された対象領域と前記視差量演算手段により求められた前記対象領域の視差量とに基づいて、前記二次元映像データから前記二次元映像データにおけるフレームレートを変更した擬似的な三次元映像データを生成し、生成した前記擬似的な三次元映像データを前記記憶手段に記憶させる生成手段と、
を備える画像処理装置として機能させることを特徴とするプログラム。
【請求項１】
時系列順に作成された複数のフレームデータから構成される二次元映像データを擬似的な三次元映像データに変換する画像処理装置であって、
前記複数のフレームデータにおいて前後する２のフレームデータから動きベクトルを含む特徴量を抽出する特徴抽出手段と、
前記特徴抽出手段により抽出された動きベクトルに応じて、前記前後する２のフレームデータのうちの１のフレームデータを構成する複数の画素について三次元化させる対象領域を設定する設定手段と、
前記特徴抽出手段により抽出された動きベクトルを含む特徴量に基づいて、前記設定手段により設定された対象領域ごとの視差量を演算する視差量演算手段と、
前記特徴抽出手段により抽出された動きベクトルと前記設定手段により設定された対象領域と前記視差量演算手段により求められた前記対象領域の視差量とに基づいて、前記二次元映像データから前記二次元映像データにおけるフレームレートを変更した擬似的な三次元映像データを生成する生成手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記生成手段は、前記設定手段により設定された対象領域と前記視差量演算手段により求められた前記対象領域の視差量とに基づいて、前記１のフレームデータと対をなす１の他眼用フレームデータを生成するための三次元化パラメータを生成するとともに、前記特徴抽出手段により抽出された動きベクトルと前記設定手段により設定された対象領域とに基づいて、前記前後する２のフレームデータの間を補間する補間フレームデータを生成するための第１補間パラメータを生成することを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置であって、
前記生成手段は、前記特徴抽出手段により抽出された動きベクトルと前記設定手段により設定された対象領域と前記視差量演算手段により求められた前記対象領域の視差量とに基づいて、前記補間フレームデータと対をなす他眼用補間フレームデータを生成するための第２補間パラメータを生成することを特徴とする画像処理装置。
【請求項４】
請求項２に記載の画像処理装置であって、
前記生成手段は、前記視差量演算手段により求められた対象領域の視差量と前記第１補間パラメータとに基づいて、前記補間フレームデータと対をなす他眼用補間フレームデータを生成するための第２補間パラメータを生成することを特徴とする画像処理装置。
【請求項５】
請求項２に記載の画像処理装置であって、
前記生成手段は、前記特徴抽出手段により抽出された動きベクトルと前記三次元化パラメータとに基づいて、前記補間フレームデータと対をなす他眼用補間フレームデータを生成するための第２補間パラメータを生成することを特徴とする画像処理装置。
【請求項６】
請求項１ないし５のいずれかに記載の画像処理装置であって、
前記設定手段は、前記特徴抽出手段により抽出された動きベクトルを含む特徴量に応じて、対象領域を設定することを特徴とする画像処理装置。
【請求項７】
請求項１ないし６のいずれかに記載の画像処理装置であって、
ワンセグ放送により提供される番組を表現した情報を前記二次元映像データとして受信する受信手段をさらに備え、
前記受信手段による二次元映像データの受信と前記二次元映像データから生成される前記擬似的な三次元映像データのユーザによる視聴とが実質的にリアルタイムで実行されることを特徴とする画像処理装置。
【請求項８】
時系列順に作成された複数のフレームデータから構成される二次元映像データを擬似的な三次元映像データに変換する画像処理方法であって、
前記複数のフレームデータにおいて前後する２のフレームデータから動きベクトルを含む特徴量を抽出する工程と、
前記動きベクトルに応じて、前記前後する２のフレームデータのうちの１のフレームデータを構成する複数の画素について三次元化させる対象領域を設定する工程と、
前記動きベクトルを含む特徴量に基づいて、前記対象領域ごとの視差量を演算する工程と、
前記動きベクトルと前記対象領域と前記対象領域の視差量とに基づいて、前記二次元映像データから前記二次元映像データにおけるフレームレートを変更した擬似的な三次元映像データを生成する工程と、
を有することを特徴とする画像処理方法。
【請求項９】
コンピュータによる読み取り可能なプログラムであって、前記プログラムの前記コンピュータによる実行は、前記コンピュータを、
時系列順に作成された複数のフレームデータから構成される二次元映像データを記憶する記憶手段と、
前記記憶手段に記憶された二次元映像データにおいて前後する２のフレームデータから動きベクトルを含む特徴量を抽出する特徴抽出手段と、
前記特徴抽出手段により抽出された動きベクトルに応じて、前記前後する２のフレームデータのうちの１のフレームデータを構成する複数の画素について三次元化させる対象領域を設定する設定手段と、
前記特徴抽出手段により抽出された動きベクトルを含む特徴量に基づいて、前記設定手段により設定された対象領域ごとの視差量を演算する視差量演算手段と、
前記特徴抽出手段により抽出された動きベクトルと前記設定手段により設定された対象領域と前記視差量演算手段により求められた前記対象領域の視差量とに基づいて、前記二次元映像データから前記二次元映像データにおけるフレームレートを変更した擬似的な三次元映像データを生成し、生成した前記擬似的な三次元映像データを前記記憶手段に記憶させる生成手段と、
を備える画像処理装置として機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−１０４８９８（Ｐ２０１２−１０４８９８Ａ）
【公開日】平成２４年５月３１日（２０１２．５．３１）
【国際特許分類】
【出願番号】特願２０１０−２４９２８２（Ｐ２０１０−２４９２８２）
【出願日】平成２２年１１月８日（２０１０．１１．８）
【出願人】（５９１１２８４５３）株式会社メガチップス (322)
【Ｆターム（参考）】
【公開日】平成２４年５月３１日（２０１２．５．３１）
【国際特許分類】
【出願日】平成２２年１１月８日（２０１０．１１．８）
【出願人】（５９１１２８４５３）株式会社メガチップス (322)
【Ｆターム（参考）】
[ Back to top ]