画像処理装置および画像処理方法
【課題】飛び出し感にインパクトを付与することが可能な２Ｄ−３Ｄ変換手法を採用した画像処理装置および画像処理方法を提供する。
【解決手段】入力される２次元画像から左画像を生成し、当該左画像の目的画素の輝度成分から所定段階の視差値を算出し、当該左画像の目的画素を当該目的画素の前記視差値に応じて右方向にシフトして画素値をコピーするようにして右画像とする。
【解決手段】入力される２次元画像から左画像を生成し、当該左画像の目的画素の輝度成分から所定段階の視差値を算出し、当該左画像の目的画素を当該目的画素の前記視差値に応じて右方向にシフトして画素値をコピーするようにして右画像とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２次元画像を３次元画像に変換して表示する画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
従来の画像処理装置としては、２次元画像を３次元画像に変換して表示する画像処理装置が知られている。
近年、立体視が可能な映像信号を放送する３Ｄ放送が開始されたが、３Ｄ放送で放送される３Ｄ動画のフレームデータは、所謂サイドバイサイド（以下、「ＳＢＳ」という。）と呼ばれる方式により記録されている。これは、左目領域のフレームデータと、右目領域のフレームデータとを水平方向に１／２のサイズに圧縮し、この圧縮した２つのフレームデータを左右に配置して１つのフレームデータに記録する方式である。
【０００３】
そこで、２Ｄ放送を受信して２Ｄ画像をそのままモニタ出力するのではなく、２Ｄ放送を３Ｄ画像に変換してモニタ出力することが要望されている。
このような２Ｄ−３Ｄ変換の手法としては、２Ｄ画像の輝度成分に対して、注目画素の値と１画素前の値とを比較し、その差の符号がプラスなら＋１、マイナスなら−１を注目画素の視差値として算出するという技術が知られている。
【０００４】
特許文献１には、可変遅延回路によって、入力映像信号中のエッジ情報に応じて左右の映像の水平位置を逆方向にずらすように制御することによって、視差情報を有する左右の映像が生成され、同時に、エッジ情報が多い物体の場合には、前景と判断し、視差情報によって融像が前でなされ、一方、エッジ情報が少ない物体の場合には、後景（背景）と判断し、視差情報によって融像が後でなされるように制御されることについて開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−１２７４５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の画像処理装置による２Ｄ−３Ｄ変換手法にあっては、物体画像が飛び出す場合に視差値が＋１ずつ増えるので、なだらかな飛び出し感があるのにとどまっていた。
そこで、飛び出し感にインパクトがある２Ｄ−３Ｄ変換手法の提供が切望されている。
本発明は、飛び出し感にインパクトを付与することが可能な２Ｄ−３Ｄ変換手法を採用した画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するたに、請求項１記載の発明は、入力される２次元画像を３次元画像に変換して表示する画像処理装置であって、前記入力される２次元画像から左画像を生成する左画像生成手段と、当該左画像の目的画素の輝度成分から所定段階の視差値を算出する視差値算出手段と、当該左画像の目的画素を当該目的画素の前記視差値に応じて右方向にシフトして画素値をコピーするようにして右画像とする右画像生成手段と、を備えることを特徴とする画像処理装置である。
【０００８】
請求項５記載の発明は、入力される２次元画像を３次元画像に変換して表示する画像処理方法であって、前記入力される２次元画像から左画像を生成する左画像生成ステップと、当該左画像の目的画素の輝度成分から所定段階の視差値を算出する視差値算出ステップと、当該左画像の目的画素を当該目的画素の前記視差値に応じて右方向にシフトして画素値をコピーするようにして右画像とする右画像生成ステップと、を有することを特徴とする画像処理方法である。
【発明の効果】
【０００９】
本発明によれば、入力される２次元画像から左画像を生成し、当該左画像の目的画素の輝度成分から所定段階の視差値を算出し、当該左画像の目的画素を当該目的画素の視差値に応じて右方向にシフトして画素値をコピーするようにして右画像とすることで、飛び出し感にインパクトを付与することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１実施形態に係る画像処理装置の概略構成を示すブロック図である。
【図２】本発明の第１実施形態に係る画像処理装置により生成された左画像について説明するための図である。
【図３】本発明の第１実施形態に係る画像処理装置により実行されるぼかし処理について説明するための図である。
【図４】本発明の第１実施形態に係る画像処理装置により実行される疑似3D変換処理手順について説明するためのメインフローである。
【図５】本発明の第１実施形態に係る画像処理装置により実行される疑似3D変換処理手順に用いられるバッファを示す図である。
【図６】本発明の第１実施形態に係る画像処理装置により実行される左目画像作成手順について説明するためのメインフローである。
【図７】本発明の第１実施形態に係る画像処理装置により実行される左目画像作成手順について説明するためのサブルーチンのフローチャートである。
【図８】本発明の第１実施形態に係る画像処理装置により実行される左目画像作成手順に用いられるバッファを示す図である。
【図９】本発明の第１実施形態に係る画像処理装置により実行される画像ぼかし手順について説明するためのメインフローである。
【図１０】本発明の第１実施形態に係る画像処理装置により実行される画像ぼかし手順について説明するためのサブルーチンのフローチャートである。
【図１１】本発明の第１実施形態に係る画像処理装置により実行されるＺバッファ作成手順について説明するためのメインフローである。
【図１２】本発明の第１実施形態に係る画像処理装置により実行されるＺバッファ作成手順について説明するためのサブルーチンのフローチャートである。
【図１３】本発明の第１実施形態に係る画像処理装置により実行される画像ぼかし手順およびＺバッファ作成手順に用いられるバッファを示す図である。
【図１４】本発明の第１実施形態に係る画像処理装置により実行されるＺバッファぼかし手順について説明するためのメインフローである。
【図１５】本発明の第１実施形態に係る画像処理装置により実行されるＺバッファぼかし手順について説明するためのサブルーチンのフローチャートである。
【図１６】本発明の第１実施形態に係る画像処理装置により実行される右目画像作成手順について説明するためのメインフローである。
【図１７】本発明の第１実施形態に係る画像処理装置により実行される右目画像作成手順について説明するためのサブルーチンのフローチャートである。
【図１８】本発明の第１実施形態に係る画像処理装置により実行される右目画像作成手順により生成された左画像について説明するための図である。
【図１９】本発明の第２実施形態における情報処理装置の概略構成を示すブロック図である。
【図２０】本発明の実施形態における情報処理装置における信号処理の流れを説明する図である。
【図２１】本発明の実施形態における情報処理装置における情報処理方法を説明するフロー図である。
【図２２】従来の情報処理装置における信号処理の流れを説明する図である。
【図２３】従来の他の情報処理装置における信号処理の流れを説明する図である。
【発明を実施するための形態】
【００１１】
次に、本発明を実施するための形態について図面を参照して詳細に説明する。なお、各図中、同一又は相当する部分には同一の符号を付しており、その重複説明は適宜に簡略化乃至省略する。
＜第１実施形態＞
次に、図１を参照して、本発明の第１実施形態に係る画像処理装置の構成について説明する。
図１において、放送波を介してチューナ部１が画像データを受信すると、チューナ部１は、直接、デコーダ３に当該画像データを出力するか、又は、一旦画像データを記憶装置２に格納する。
デコーダ３は、チューナ部１または記憶装置２から入力される画像データをデコード（復号）してデコード後の画像データをＩＰ変換／画像サイズ変換部５に出力する。
【００１２】
３Ｄ変換処理部４は、ＣＰＵ、ＶＲＡＭ、ＲＯＭ、ＲＡＭを内部に備え、ＣＰＵがＲＯＭに記憶されているプログラムをＲＡＭに読み出して実行する。
ＩＰ変換／画像サイズ変換部５は、インターレースプログレッシブ変換処理と画像サイズ変換処理を行い、３０ｆｐｓの画像データを６０ｆｐｓの画像データに変換する。
レンダラー６は、サイドバイサイド方式の６０ｆｐｓの画像データをラインバイライン方式の６０ｆｐｓの画像データに変換してモニタ７に出力し、モニタ７から３Ｄ画像を表示させる。そして、偏光メガネをかけた視聴者が、モニタ７に表示された３Ｄ画像を視認することができる。
【００１３】
なお、デコーダ３には、ＹＵＶフォーマットからなるグラフィックメモリであるＤＸＶＡ２バッファ３ａが複数枚設けられており、まず、チューナ部１または記憶装置２から入力される画像データをＤＸＶＡ２バッファ３ａにおいてＨＷ（ハードウエア）再生する。
次いで、デコーダ３には、Ｈ２６４処理のために複数枚のＤＸＶＡ２バッファ３ｂが設けられ、Ｈ２６４規格で圧縮された動画をフレーム画像に再生され、３Ｄ変換処理部４との間で動画像のフレーム画像のやりとりを行う。
【００１４】
また、デコーダ３には、ＭＰＥＧ２処理のために複数枚のＤＸＶＡ２バッファ３ｂが設けられ、ＭＰＥＧ２規格で圧縮された動画をフレーム画像に再生され、３Ｄ変換処理部４との間で動画像のフレーム画像のやりとりを行う。
デコーダ３には、表示専用に５枚のＤＸＶＡ２バッファ３ｃが設けられ、再生されたフレーム画像をＩＰ変換／画像サイズ変換部５に出力するとともに、３Ｄ変換処理部４との間でフレーム画像のやりとりを行う。
【００１５】
ここで、図１に示す３Ｄ変換処理部４による処理について概略的に説明する。
３Ｄ変換処理部４では、デコーダ３に設けられた複数のＤＸＶＡ２バッファ３ｂ中、デコードが完了し表示すべきバッファである入力バッファ４ａ上の画像データを左目画像データとしてＲＡＭ上に設けられた中間バッファ４ｂにコピーし、この左目画像データからＺ値をＲＡＭ上に設けられたＺバッファ４ｃに生成し、このＺ値と左目画像データから右
目画像データをＲＡＭ上に設けられた出力バッファ４ｄに生成し、出力バッファ４ｄ上に生成された左目画像データと右目画像データとを、デコーダ３に設けられた複数のＤＸＶＡ２バッファ３ｃ中の1枚であるＶＲＡＭ４ｅにコピーして出力する。
【００１６】
次に、３Ｄ変換処理部４における、ＲＡＭ上に設けられたＺバッファ４ｃにおけるＺ値の生成方法について説明する。
まず、ＣＰＵは、左画像のＹ成分を画素毎に0〜7の範囲で表すように定義し、例えば、白を0、黒を7と定義する。この結果、図２に示すようなる。なお、同図において、「○」の上の数字は処理順を、「○」の中の数字はＺ値をそれぞれ表す。次いで、ＣＰＵは、ノイズを抑えるため、横方向にＺ値および画像についてぼかし処理を行う。
【００１７】
次に、ＲＡＭ上における右目画像の生成方法について説明する。
まず、ＣＰＵは、ライン毎に右画素から左方向に向かって順に計算することと定義する。
次いで、ＣＰＵは、左画像の各画素値をＺバッファ４ｃにあるＺ値分右にシフトする。このとき、元位置からシフト先まで画素値をコピーすることとし、シフト先が過去のシフト先より右になる場合はコピーを禁止する。この結果、図２に示すようなる。
【００１８】
次に、図３を参照して、ぼかし処理について説明する。なお、図３の上方には、ぼかし前の元画像、Ｚバッファ４ｃのＺ値、作成した右画像を示し、図３の下方には、ぼかし後の画像、Ｚバッファ４ｃのＺ値、作成した右画像を示す。
ぼかし処理においては、例えば、目的画素の左右を含む３画素で計算することと定義する。
ぼかし値は、目的画素値、左画素値および右画素値から、
ぼかし値＝目的画素値*0.5＋左画素値*0.25＋右画素値*0.25 （１）
となる。図３に示す例の場合、ぼかし値は、
ぼかし値＝4*0.5+2*0.25+4*0.25＝3.5 → ３
となる。ここで、小数点以下は切り捨てる。
この結果、作成した右画像にあっては、ぼかし処理前にあった斜めノイズが、ぼかし処理後に目立たなくすることができる。
【００１９】
次に、図４に示すメインフロー、図５に示す説明図を参照して、疑似3D変換処理手順について説明する。
まず、ステップＳ１００では、ＣＰＵは、左画像作成処理を行い、入力バッファ４ａから中間バッファ４ｂ、出力バッファ４ｄに左画像を作成するため、サブルーチンＳ１１０をコールする。
次いで、ステップＳ２００では、画像ぼかし処理を行い、中間バッファ４ｂの左画像をぼかすため、サブルーチンＳ２１０をコールする。
【００２０】
次いで、ステップＳ３００では、ＣＰＵは、Ｚバッファ作成処理を行い、出力バッファ４ｄの左画像からＺバッファ４ｃを作成するため、サブルーチンＳ３１０をコールする。
次いで、ステップＳ４００では、ＣＰＵは、Ｚバッファぼかし処理を行うため、サブルーチンＳ４１０をコールする。
次いで、ステップＳ５００では、ＣＰＵは、右画像作成処理を行い、中間バッファ４ｂとＺバッファ４ｃとから出力バッファ４ｄに右画像を作成するため、サブルーチンＳ５１０をコールする。
【００２１】
次に、図６および図７に示すフローチャート、図８に示す説明図を参照して、左目画像作成処理について説明する。
まず、ステップＳ１１０では、ＣＰＵは、1ライン処理を行うため、サブルーチンＳ１
２０をコールする。
ステップＳ１２０では、ＣＰＵは、入力バッファ４ａから２画素のＹ成分を取得（Y1,Y2）する。
次いで、ステップＳ１２５では、ＣＰＵは、平均値（Y1+Y2）/2 を算出し、中間バッファ４ｂ、出力バッファ４ｄに書き込む。
次いで、ステップＳ１３０では、ＣＰＵは、Ｙ成分について全画素処理が終了した場合にはステップＳ１３５に進み、一方、Ｙ成分について全画素処理が終了していない場合にはステップＳ１２０に戻る。
【００２２】
次いで、ステップＳ１３５では、ＣＰＵは、入力バッファ４ｂから2画素のUV成分を取得（UV1,UV2）する。
次いで、ステップＳ１４０では、ＣＰＵは、両画素の平均値（UV1+UV2)/2を算出し、出力バッファ４ｄに書き込む。
次いで、ステップＳ１４５では、ＣＰＵは、UV成分について全画素処理終了した場合にはステップＳ１１５に戻る。一方、ＵＶ成分について全画素処理が終了していない場合にはステップＳ１３５に戻る。
ステップＳ１１５では、ＣＰＵは、全ライン処理終了していない場合にはステップＳ１１０に戻り、一方、全ライン処理終了している場合には処理を終了する。
このように、入力バッファ４ａから２画素のＹ成分を取得し、２画素の平均値を算出し、算出結果を中間バッファ４ｂ、出力バッファ４ｄに順次に書き込むことで、１／２に縮小した左目画像を作成することができる。
【００２３】
次に、図９および図１０に示すフローチャートを参照して、画像ぼかし処理について説明する。
まず、ステップＳ２１０では、ＣＰＵは、1ライン処理を行うため、サブルーチンＳ２２０をコールする。
ステップＳ２２０では、ＣＰＵは、中間バッファ４ｂから連続して配列されている３画素を取得（A1,A2,A3）する。
次いで、ステップＳ２２５では、ＣＰＵは、B=((A1+A3)/2+A2)/2 を算出し、Ｂ値を中間バッファ４ｂに書き込む。
次いで、ステップＳ２３０では、ＣＰＵは、全画素処理が終了した場合にはステップＳ２１５に進み、一方、全画素処理が終了していない場合にはステップＳ２２０に戻る。
【００２４】
ステップＳ２１５では、ＣＰＵは、全ライン処理が終了していない場合にはステップＳ２１０に戻り、一方、全ライン処理が終了している場合には処理を終了する。
このように、中間バッファ４ｂから連続して配列されている３画素を取得し、取得した３画素から上記荷重平均Ｂを算出し、算出されたＢ値を中間バッファ４ｂに順次に書き込むことで、画像をぼかすことができ、この結果、従来あった３Ｄ画像中の縦方向のノイズを低減することができる。
【００２５】
次に、図１１および図１２に示すフローチャート、図１３に示す説明図を参照して、Ｚバッファ作成処理について説明する。
まず、ステップＳ３１０では、ＣＰＵは、1ライン処理を行うため、サブルーチンＳ３２０をコールする。
ステップＳ３２０では、ＣＰＵは、出力バッファ４ｄに記憶されている左画像から１画素のＹ成分を取得（Y）する。
次いで、ステップＳ３２５では、ＣＰＵは、Ｚ=7-Y/32 （Ｚ＝０〜７）を算出し、Ｚ値をＺバッファ４ｃに書き込む。
【００２６】
次いで、ステップＳ３３０では、ＣＰＵは、全画素処理が終了した場合にはステップＳ
３１５に戻り、一方、全画素処理が終了していない場合にはステップＳ３２０に戻る。
ステップＳ３１５では、ＣＰＵは、全ラインの処理が終了していない場合にはステップＳ３１０に戻り、一方、全ライン処理終了している場合には処理を終了する。
このように、出力バッファ４ｄに記憶されている左画像から１画素のＹ成分（輝度成分）を取得し、取得したＹ成分から視差値Ｚ=7-Y/32 （Ｚ＝０〜７）を算出することで、７段階のうちの１段階を示す視差値ＺをＺバッファ４ｃに順次に書き込むことができ、飛び出し感にインパクトがある視差値を生成することができる。
【００２７】
次に、図１４および図１５に示すフローチャートを参照して、画像ぼかし処理について説明する。
まず、ステップＳ４１０では、ＣＰＵは、1ライン処理を行うため、サブルーチンＳ４２０をコールする。
ステップＳ４２０では、ＣＰＵは、Ｚバッファ４ｃから3画素を取得（A1,A2,A3）する。
次いで、ステップＳ４２５では、ＣＰＵは、B=((A1+A3)/2+A2)/2 を算出し、Ｂ値をＺバッファ４ｃに書き込む。
次いで、ステップＳ４３０では、ＣＰＵは、全画素処理が終了した場合にはステップＳ４１５に進み、一方、全画素処理が終了していない場合にはステップＳ４２０に戻る。
【００２８】
ステップＳ４１５では、ＣＰＵは、全ライン処理が終了していない場合にはステップＳ４１０に戻り、一方、全ライン処理が終了している場合には処理を終了する。
このように、Ｚバッファ４ｃから３画素を取得し、取得した３画素から上記荷重平均Ｂを算出し、算出されたＢ値をＺバッファ４ｃに順次に書き込むことで、画像をぼかすことができ、この結果、従来あった３Ｄ画像中の縦方向のノイズを低減することができる。
【００２９】
次に、図１６および図１７に示すフローチャート、図１８に示す説明図を参照して、右目画像作成処理について説明する。
まず、ステップＳ５１０では、ＣＰＵは、1ライン処理を行うため、サブルーチンＳ５２０をコールする。
ステップＳ５２０では、ＣＰＵは、中間バッファ４ｂの画素ポイントを示す入力ポインタを右端-Ｚ最大値の位置に設定し、Ｚバッファ４ｃの画素ポイントを示すＺポインタを右端-Ｚ最大値の位置に設定し、出力バッファ４ｄの画素ポイントを示す出力ポインタを右端-Ｚ最大値の位置に設定し、さらに、出力バッファ４ｄの画素ポイントを示すラストポインタを右端+1の位置に設定する。
【００３０】
次いで、ステップＳ５２５では、ＣＰＵは、画素値を入力ポインタが示す中間バッファ４ｂ上の位置から取得し、Ｚ値をＺポインタが示すＺバッファ４ｃ上の位置から取得する。
次いで、ステップＳ５３０では、ＣＰＵは、Ｚカウンタを0に設定する。
次いで、ステップＳ５３５では、ＣＰＵは、Ｚカウンタのカウント値がＺ値未満か否か判断する。Ｚカウンタのカウント値がＺ値未満の場合にはステップＳ５４０に進み、そうではない場合にはステップＳ５５５に進む。
【００３１】
次いで、ステップＳ５４０では、ＣＰＵは、出力ポインタの値にＺカウンタのカウント値を加算した値がラストポインタの値よりも大きいか否か判断する。この加算した値がラストポインタの値よりも大きい場合にはステップＳ５５５に進み、そうではない場合にはステップＳ５４５に進む。
次いで、ステップＳ５４５では、ＣＰＵは、出力ポインタの値とＺカウンタの値とを加算した値により示される出力バッファ４ｄ上の位置に元画素値をコピーして書き込む。
【００３２】
次いで、ステップＳ５５０では、ＣＰＵは、Ｚカウンタをインクリメントし、ステップＳ５３５に戻る。
次いで、ステップＳ５５５では、ＣＰＵは、ラストポインタの値が、出力ポインタの値とＺ値とを加算した値より大きいか否かを判断する。ラストポインタの値が、出力ポインタの値とＺ値とを加算した値より大きい場合にはステップＳ５６０に進み、そうではない場合にはステップＳ５６５に進む。
【００３３】
次いで、ステップＳ５６０では、ＣＰＵは、ラストポインタを出力ポインタ＋Ｚ値に更新する。
次いで、ステップＳ５６５では、ＣＰＵは、入力ポインタをデクリメントし、Ｚポインタをデクリメントし、さらに、出力ポインタをデクリメントする。
次いで、ステップＳ５７０では、ＣＰＵは、出力ポインタの値が左端まで到達したか否か判断する。出力ポインタの値が左端まで到達していない場合にはステップＳ５２５に戻り、出力ポインタの値が左端まで到達した場合にはこのループ処理を終了し、ステップＳ５１５に戻る。
【００３４】
次いで、ステップＳ５１５では、ＣＰＵは、全ライン処理が終了していない場合にはステップＳ５１０に戻り、一方、全ライン処理が終了している場合には処理を終了する。
この結果、出力バッファ４ｄに右画像データが形成される。
このように、左画像の目的画素を当該目的画素の視差値Ｚに応じて右方向にシフトして画素値をコピーするようにして順次に右画像とすることで、視差値を付与された右画像を生成することができる。
【００３５】
上記ステップＳ５２０〜Ｓ５７０まで１回のループ処理を通過した結果、図１８に示す「１ループ後の右下画像」のように、出力バッファ４ｄ上の出力ポインタの位置とラストポインタの位置との間の位置に画素値が書き込まれる。同様にして、順次に上記ループ処理が１回ずつ進む度に、出力バッファ４ｄ上の出力ポインタの位置とラストポインタの位置との間の位置に画素値が書き込まれる。
【００３６】
次いで、３Ｄ変換処理部４では、出力バッファ４ｄ上に生成された左目画像データと右目画像データとを、デコーダ３に設けられた複数のＤＸＶＡ２バッファ３ｃ中の1枚であるＶＲＡＭ４ｅにコピーして出力する。
次いで、ＤＸＶＡ２バッファ３ｃは左目画像データと右目画像データとをＩＰ変換／画像サイズ変換部５に出力する。
次いで、ＩＰ変換／画像サイズ変換部５では、インターレースプログレッシブ変換処理と画像サイズ変換処理を行い、３０ｆｐｓの画像データを６０ｆｐｓの画像データに変換する。
次いで、レンダラー６は、サイドバイサイド方式の６０ｆｐｓの画像データをラインバイライン方式の６０ｆｐｓの画像データに変換してモニタ７に出力し、モニタ７から３Ｄ画像を表示させる。そして、偏光メガネをかけた視聴者が、モニタ７に表示された３Ｄ画像を視認することができる。
【００３７】
＜第２実施形態＞
図１９は、本発明の第２実施形態における情報処理装置の概略構成を示すブロック図である。
２Ｄ再生方式と本実施形態との相違点は、ＰＣ等の情報処理装置１２の中に３Ｄ変換処理部１１４が組み込まれている点と、モニタが偏光板立体視対応モニタ１３である点である。図１９において、放送波１１からの映像データがチューナー１１１で受信されると、チューナー１１１は、直接、映像処理系１１３に当該映像データを出力するか、又は、一旦映像データを記憶装置１１２に格納した後に、当該映像データを映像処理系１１３に出
力する。
【００３８】
映像処理系１１３は、デコード（復号化）を行うデコーダー１１３１と、表示を行うレンダラー１１３２で構成されている。デコーダー１１３１において映像データがデコード（復号）され、画が生成された後にレンダラーに出力される。レンダラー１１３２において、表示に必要な各処理が画に対して行われる。
３Ｄ変換を行う場合には、当該画を３Ｄ変換処理部１１４に出力し、３Ｄ変換処理部１１４において３Ｄ映像データに変換された後、レンダラー１１３２に出力される。レンダラーでは、表示に必要な偏光方式立体視対応モニタ１３と同期を取りながら、画を表示する。そして、偏光メガネ１４をかけた視聴者１５が、偏光方式立体視対応モニタ１３に表示された画を見ることになる。
【００３９】
次に、図２０及び図２１を用いて、本発明の実施形態における情報処理装置の動作について説明する。図２０は、本発明の実施形態における情報処理装置における信号処理の流れを説明する図であり、図２１は、本発明の実施形態における情報処理装置における情報処理方法を説明するフロー図である。
【００４０】
図２１において、２Ｄ再生方式と本発明との相違点は、３Ｄ変換処理として、奥行き解析処理（ステップ（以下、「Ｓ」という。）３９）と視差生成処理（Ｓ３０）の各工程が追加されることである。
【００４１】
放送波１がＰＣ等の情報処理装置１２に受信されるか（図１９）、又は、放送信号（２Ｄ）が格納された記憶手段２１（図２０）から抽出された放送信号（２Ｄ）（動画データ）は、情報処理系１１３の中のデコーダー１１３１（図１９）においてデコード２２（図２０）され、２Ｄの画像であるフレーム２３（図２０）が生成される（Ｓ３１）。
【００４２】
次に、画（フレーム）２３に対してＩ／Ｐ変換処理２４、すなわち、放送波はインターレース映像信号（１フレームに時間が連続した２フィールドが格納されている方式）であるため、１フレームを２フィールドに分解し、補間（デインターレース）を行うことにより、２Ｄの画（フィールド）である２５ｅ（時刻ｔ）、２５ｌ（時刻ｔ＋１６．７ｍｓ）を作成する処理が行われる（Ｓ３２）。
【００４３】
次に、必要に応じて、ＹＵＶ（輝度、色差）フォーマットという色形式からＲＧＢフォーマットへと色フォーマットを変換する色変換処理（Ｓ３３）を行う。また、ＰＣ等のウィンドウ表示において、ユーザの使用画面に応じて、モニタ１３、２８に表示されるサイズに画（フィールド）サイズを拡大縮小するリサイズ処理２４（図２０）を行う（Ｓ３４）。
【００４４】
次に、２Ｄの画（フィールド）である２フレーム２５ｅ（時刻ｔ）、２５ｌ（時刻ｔ＋１６．７ｍｓ）に対して３Ｄ変換処理を行うか否かについて判断され、３Ｄ変換処理を行うと判断された場合（Ｓ３５：ＹＥＳ）には、Ｓ３９へ移行する。Ｓ３９では、２Ｄの画（フィールド）を解析し、奥行きを推測する処理である奥行き解析処理が行われる。すなわち、２Ｄの映像には奥行き情報が存在しないため、構図や動き、色等の情報から奥行きを推測する。推測方法については様々な方法が存在するが、ここでの説明は省略する。
【００４５】
次に、Ｓ３０では、画（フィールド）の奇数ライン、又は偶数ラインのみに視差を生成する処理である視差生成処理２６（図２０）を行う。具体的には、画（フィールド）を構成する複数のラインのうち、１、３、５、７、・・・、２ｎ＋１（ただし、ｎは０以上の整数）番目のラインといった奇数番号のライン、又は２、４、６、８、・・・、２ｎ（ただし、ｎは１以上の整数）番目のラインといった偶数番号のラインに対して視差を生成す
ることで、モニタ１３、２８に表示された際、左右の目に異なる映像が表示され、立体視が可能となる。Ｓ３９の奥行き解析処理で得られた奥行きを参考に、画素を左右にシフトし、又は加工することで、視差を生成する。
【００４６】
偏光方式立体視の特徴であるＬＢＬ方式（ライン交互に異なる映像が格納されている方式）で表示する必要性を利用し、実際には、左右の目の映像を作ることなく、オリジナル画の一部を加工することにより、ＬＢＬ処理相当の加工された画（フィールド）２７ｅ（時刻ｔ）、２７ｌ（時刻ｔ＋１６．７ｍｓ）（図２０）が作成され、立体視が可能となるである。
【００４７】
図２１に戻り、Ｓ３５において、３Ｄ変換処理を行わないと判断された場合（Ｓ３５：ＮＯ）、又はＳ３０において視差生成処理が終了すると、Ｓ３６においてスケジューリング処理が行われる。すなわち、モニタ１３、２８の周波数に表示のタイミングを合わせることを目的として、必要であればウェイトやコマ落としを行うことにより、モニタ１３、２８と同期を取る。
【００４８】
そして、Ｓ３７において、モニタ１３、２８に画（フィールド）２７ｅ（時刻ｔ）、２７ｌ（時刻ｔ＋１６．７ｍｓ）（図２０）を出力し、実際に画（フィールド）をモニタ１３、２８に表示をさせる表示処理が行われ、Ｓ３８において、動画の再生を継続するか否かが判断され、継続すると判断された場合（Ｓ３８：ＹＥＳ）には、Ｓ３１に戻り、継続しないと判断された場合（Ｓ３８：ＮＯ）には、処理を終了する。
【００４９】
なお、上記実施形態において説明した図２１に示したフローチャートを実行するために、ＰＣ等の情報処理装置に搭載されるＣＰＵ（図示せず）が、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等から構成されるメモリ（図示せず）に格納されたコンピュータにより読み取り可能なプログラムに基づいてＰＣ等の情報処理装置の動作の各処理を制御するよう構成されている。
【００５０】
本発明により、従来の２Ｄ／３Ｄ変換方式といわれる再生方式（図２３）に比べ、図２３における処理工程のうち、ＳＢＳ化７４、右目画像にのみ視差生成処理７６、及びＬＢＬ処理８０の各工程が不要となり、図２３のＩ／Ｐ変換処理７８に対応する図２０のＩ／Ｐ変換処理２４と、奇数ラインのみ視差生成処理２６の工程を経るだけで、偏光方式に対応した立体視が可能な３Ｄ映像を再生可能な情報処理装置を得ることができる。
【００５１】
この処理工程の低減による具体的な画素コピー回数の軽減量を比較すると、ｘを水平方向の解像度、ｙを垂直方向の解像度とした場合、図２３の方式では、ＳＢＳ化７４により、（ｘ／２＊ｙ）＊２＝ｘｙ、右目画像にのみ視差生成処理７６により、（ｘ／２＊ｙ）＝ｘｙ／２、ＬＢＬ処理８０により、（（ｘ／２＊ｙ／２）＊２）＊２＝ｘｙであるから、合計ｘｙ＋ｘｙ／２＋ｘｙ＝（５／２）ｘｙの画素コピー回数であるのに対し、本実施形態による図２０の方式では、奇数ラインのみに視差生成２６による（ｘ＊ｙ／２）＊２＝ｘｙであるから、（５／２）ｘｙ−ｘｙ＝（３／２）ｘｙだけ、本発明による画素コピー回数の低減による改善効果が得られたことになる。
【００５２】
さらに、従来技術の図２２又は図２３の方式では、水平方向の解像度がオリジナル画像の半分であるのに対し、本発明による図２０の方法では、水平方向の解像度の欠損がないため、高画質の３Ｄ映像を再生することができる。
【００５３】
以上説明してきたように、本実施形態によれば、擬似３Ｄ映像を再生するに当たり、フィールドを構成する複数のラインに対して、１ラインおきに視差を生成し、ＬＢＬライン相当の加工された画（フィールド）を得ることにより、３Ｄ映像を再生するための処理工
程を軽減させることができ、その結果として、処理負荷を低減することができると共に、垂直方向の解像度を高画質に維持することができる情報処理装置、情報処理方法、及びプログラムを得ることができる。
【００５４】
以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範囲な趣旨及び範囲から逸脱することなく、これら具体例に様々な修正及び変更が可能である。
【産業上の利用可能性】
【００５５】
本発明は、テレビジョン受信機、ＤＶＤプレーヤ、パーソナルコンピュータ等に利用できる。
【符号の説明】
【００５６】
１ チューナ部
２ 記憶装置
３ デコーダ
４ ３Ｄ変換処理部
５ ＩＰ変換／画像サイズ変換部
６ レンダラー
７ モニタ
１１ 放送波
１１１ チューナー
１１２ 記憶装置
１１３ 映像処理系
１１３１ デコーダー
１１３２ レンダラー
１１４ ３Ｄ変換処理部
１２ 情報処理装置
１３ 偏光方式立体視対応モニタ
１４ 偏光メガネ
１５ 視聴者
【技術分野】
【０００１】
本発明は、２次元画像を３次元画像に変換して表示する画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
従来の画像処理装置としては、２次元画像を３次元画像に変換して表示する画像処理装置が知られている。
近年、立体視が可能な映像信号を放送する３Ｄ放送が開始されたが、３Ｄ放送で放送される３Ｄ動画のフレームデータは、所謂サイドバイサイド（以下、「ＳＢＳ」という。）と呼ばれる方式により記録されている。これは、左目領域のフレームデータと、右目領域のフレームデータとを水平方向に１／２のサイズに圧縮し、この圧縮した２つのフレームデータを左右に配置して１つのフレームデータに記録する方式である。
【０００３】
そこで、２Ｄ放送を受信して２Ｄ画像をそのままモニタ出力するのではなく、２Ｄ放送を３Ｄ画像に変換してモニタ出力することが要望されている。
このような２Ｄ−３Ｄ変換の手法としては、２Ｄ画像の輝度成分に対して、注目画素の値と１画素前の値とを比較し、その差の符号がプラスなら＋１、マイナスなら−１を注目画素の視差値として算出するという技術が知られている。
【０００４】
特許文献１には、可変遅延回路によって、入力映像信号中のエッジ情報に応じて左右の映像の水平位置を逆方向にずらすように制御することによって、視差情報を有する左右の映像が生成され、同時に、エッジ情報が多い物体の場合には、前景と判断し、視差情報によって融像が前でなされ、一方、エッジ情報が少ない物体の場合には、後景（背景）と判断し、視差情報によって融像が後でなされるように制御されることについて開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−１２７４５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の画像処理装置による２Ｄ−３Ｄ変換手法にあっては、物体画像が飛び出す場合に視差値が＋１ずつ増えるので、なだらかな飛び出し感があるのにとどまっていた。
そこで、飛び出し感にインパクトがある２Ｄ−３Ｄ変換手法の提供が切望されている。
本発明は、飛び出し感にインパクトを付与することが可能な２Ｄ−３Ｄ変換手法を採用した画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するたに、請求項１記載の発明は、入力される２次元画像を３次元画像に変換して表示する画像処理装置であって、前記入力される２次元画像から左画像を生成する左画像生成手段と、当該左画像の目的画素の輝度成分から所定段階の視差値を算出する視差値算出手段と、当該左画像の目的画素を当該目的画素の前記視差値に応じて右方向にシフトして画素値をコピーするようにして右画像とする右画像生成手段と、を備えることを特徴とする画像処理装置である。
【０００８】
請求項５記載の発明は、入力される２次元画像を３次元画像に変換して表示する画像処理方法であって、前記入力される２次元画像から左画像を生成する左画像生成ステップと、当該左画像の目的画素の輝度成分から所定段階の視差値を算出する視差値算出ステップと、当該左画像の目的画素を当該目的画素の前記視差値に応じて右方向にシフトして画素値をコピーするようにして右画像とする右画像生成ステップと、を有することを特徴とする画像処理方法である。
【発明の効果】
【０００９】
本発明によれば、入力される２次元画像から左画像を生成し、当該左画像の目的画素の輝度成分から所定段階の視差値を算出し、当該左画像の目的画素を当該目的画素の視差値に応じて右方向にシフトして画素値をコピーするようにして右画像とすることで、飛び出し感にインパクトを付与することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１実施形態に係る画像処理装置の概略構成を示すブロック図である。
【図２】本発明の第１実施形態に係る画像処理装置により生成された左画像について説明するための図である。
【図３】本発明の第１実施形態に係る画像処理装置により実行されるぼかし処理について説明するための図である。
【図４】本発明の第１実施形態に係る画像処理装置により実行される疑似3D変換処理手順について説明するためのメインフローである。
【図５】本発明の第１実施形態に係る画像処理装置により実行される疑似3D変換処理手順に用いられるバッファを示す図である。
【図６】本発明の第１実施形態に係る画像処理装置により実行される左目画像作成手順について説明するためのメインフローである。
【図７】本発明の第１実施形態に係る画像処理装置により実行される左目画像作成手順について説明するためのサブルーチンのフローチャートである。
【図８】本発明の第１実施形態に係る画像処理装置により実行される左目画像作成手順に用いられるバッファを示す図である。
【図９】本発明の第１実施形態に係る画像処理装置により実行される画像ぼかし手順について説明するためのメインフローである。
【図１０】本発明の第１実施形態に係る画像処理装置により実行される画像ぼかし手順について説明するためのサブルーチンのフローチャートである。
【図１１】本発明の第１実施形態に係る画像処理装置により実行されるＺバッファ作成手順について説明するためのメインフローである。
【図１２】本発明の第１実施形態に係る画像処理装置により実行されるＺバッファ作成手順について説明するためのサブルーチンのフローチャートである。
【図１３】本発明の第１実施形態に係る画像処理装置により実行される画像ぼかし手順およびＺバッファ作成手順に用いられるバッファを示す図である。
【図１４】本発明の第１実施形態に係る画像処理装置により実行されるＺバッファぼかし手順について説明するためのメインフローである。
【図１５】本発明の第１実施形態に係る画像処理装置により実行されるＺバッファぼかし手順について説明するためのサブルーチンのフローチャートである。
【図１６】本発明の第１実施形態に係る画像処理装置により実行される右目画像作成手順について説明するためのメインフローである。
【図１７】本発明の第１実施形態に係る画像処理装置により実行される右目画像作成手順について説明するためのサブルーチンのフローチャートである。
【図１８】本発明の第１実施形態に係る画像処理装置により実行される右目画像作成手順により生成された左画像について説明するための図である。
【図１９】本発明の第２実施形態における情報処理装置の概略構成を示すブロック図である。
【図２０】本発明の実施形態における情報処理装置における信号処理の流れを説明する図である。
【図２１】本発明の実施形態における情報処理装置における情報処理方法を説明するフロー図である。
【図２２】従来の情報処理装置における信号処理の流れを説明する図である。
【図２３】従来の他の情報処理装置における信号処理の流れを説明する図である。
【発明を実施するための形態】
【００１１】
次に、本発明を実施するための形態について図面を参照して詳細に説明する。なお、各図中、同一又は相当する部分には同一の符号を付しており、その重複説明は適宜に簡略化乃至省略する。
＜第１実施形態＞
次に、図１を参照して、本発明の第１実施形態に係る画像処理装置の構成について説明する。
図１において、放送波を介してチューナ部１が画像データを受信すると、チューナ部１は、直接、デコーダ３に当該画像データを出力するか、又は、一旦画像データを記憶装置２に格納する。
デコーダ３は、チューナ部１または記憶装置２から入力される画像データをデコード（復号）してデコード後の画像データをＩＰ変換／画像サイズ変換部５に出力する。
【００１２】
３Ｄ変換処理部４は、ＣＰＵ、ＶＲＡＭ、ＲＯＭ、ＲＡＭを内部に備え、ＣＰＵがＲＯＭに記憶されているプログラムをＲＡＭに読み出して実行する。
ＩＰ変換／画像サイズ変換部５は、インターレースプログレッシブ変換処理と画像サイズ変換処理を行い、３０ｆｐｓの画像データを６０ｆｐｓの画像データに変換する。
レンダラー６は、サイドバイサイド方式の６０ｆｐｓの画像データをラインバイライン方式の６０ｆｐｓの画像データに変換してモニタ７に出力し、モニタ７から３Ｄ画像を表示させる。そして、偏光メガネをかけた視聴者が、モニタ７に表示された３Ｄ画像を視認することができる。
【００１３】
なお、デコーダ３には、ＹＵＶフォーマットからなるグラフィックメモリであるＤＸＶＡ２バッファ３ａが複数枚設けられており、まず、チューナ部１または記憶装置２から入力される画像データをＤＸＶＡ２バッファ３ａにおいてＨＷ（ハードウエア）再生する。
次いで、デコーダ３には、Ｈ２６４処理のために複数枚のＤＸＶＡ２バッファ３ｂが設けられ、Ｈ２６４規格で圧縮された動画をフレーム画像に再生され、３Ｄ変換処理部４との間で動画像のフレーム画像のやりとりを行う。
【００１４】
また、デコーダ３には、ＭＰＥＧ２処理のために複数枚のＤＸＶＡ２バッファ３ｂが設けられ、ＭＰＥＧ２規格で圧縮された動画をフレーム画像に再生され、３Ｄ変換処理部４との間で動画像のフレーム画像のやりとりを行う。
デコーダ３には、表示専用に５枚のＤＸＶＡ２バッファ３ｃが設けられ、再生されたフレーム画像をＩＰ変換／画像サイズ変換部５に出力するとともに、３Ｄ変換処理部４との間でフレーム画像のやりとりを行う。
【００１５】
ここで、図１に示す３Ｄ変換処理部４による処理について概略的に説明する。
３Ｄ変換処理部４では、デコーダ３に設けられた複数のＤＸＶＡ２バッファ３ｂ中、デコードが完了し表示すべきバッファである入力バッファ４ａ上の画像データを左目画像データとしてＲＡＭ上に設けられた中間バッファ４ｂにコピーし、この左目画像データからＺ値をＲＡＭ上に設けられたＺバッファ４ｃに生成し、このＺ値と左目画像データから右
目画像データをＲＡＭ上に設けられた出力バッファ４ｄに生成し、出力バッファ４ｄ上に生成された左目画像データと右目画像データとを、デコーダ３に設けられた複数のＤＸＶＡ２バッファ３ｃ中の1枚であるＶＲＡＭ４ｅにコピーして出力する。
【００１６】
次に、３Ｄ変換処理部４における、ＲＡＭ上に設けられたＺバッファ４ｃにおけるＺ値の生成方法について説明する。
まず、ＣＰＵは、左画像のＹ成分を画素毎に0〜7の範囲で表すように定義し、例えば、白を0、黒を7と定義する。この結果、図２に示すようなる。なお、同図において、「○」の上の数字は処理順を、「○」の中の数字はＺ値をそれぞれ表す。次いで、ＣＰＵは、ノイズを抑えるため、横方向にＺ値および画像についてぼかし処理を行う。
【００１７】
次に、ＲＡＭ上における右目画像の生成方法について説明する。
まず、ＣＰＵは、ライン毎に右画素から左方向に向かって順に計算することと定義する。
次いで、ＣＰＵは、左画像の各画素値をＺバッファ４ｃにあるＺ値分右にシフトする。このとき、元位置からシフト先まで画素値をコピーすることとし、シフト先が過去のシフト先より右になる場合はコピーを禁止する。この結果、図２に示すようなる。
【００１８】
次に、図３を参照して、ぼかし処理について説明する。なお、図３の上方には、ぼかし前の元画像、Ｚバッファ４ｃのＺ値、作成した右画像を示し、図３の下方には、ぼかし後の画像、Ｚバッファ４ｃのＺ値、作成した右画像を示す。
ぼかし処理においては、例えば、目的画素の左右を含む３画素で計算することと定義する。
ぼかし値は、目的画素値、左画素値および右画素値から、
ぼかし値＝目的画素値*0.5＋左画素値*0.25＋右画素値*0.25 （１）
となる。図３に示す例の場合、ぼかし値は、
ぼかし値＝4*0.5+2*0.25+4*0.25＝3.5 → ３
となる。ここで、小数点以下は切り捨てる。
この結果、作成した右画像にあっては、ぼかし処理前にあった斜めノイズが、ぼかし処理後に目立たなくすることができる。
【００１９】
次に、図４に示すメインフロー、図５に示す説明図を参照して、疑似3D変換処理手順について説明する。
まず、ステップＳ１００では、ＣＰＵは、左画像作成処理を行い、入力バッファ４ａから中間バッファ４ｂ、出力バッファ４ｄに左画像を作成するため、サブルーチンＳ１１０をコールする。
次いで、ステップＳ２００では、画像ぼかし処理を行い、中間バッファ４ｂの左画像をぼかすため、サブルーチンＳ２１０をコールする。
【００２０】
次いで、ステップＳ３００では、ＣＰＵは、Ｚバッファ作成処理を行い、出力バッファ４ｄの左画像からＺバッファ４ｃを作成するため、サブルーチンＳ３１０をコールする。
次いで、ステップＳ４００では、ＣＰＵは、Ｚバッファぼかし処理を行うため、サブルーチンＳ４１０をコールする。
次いで、ステップＳ５００では、ＣＰＵは、右画像作成処理を行い、中間バッファ４ｂとＺバッファ４ｃとから出力バッファ４ｄに右画像を作成するため、サブルーチンＳ５１０をコールする。
【００２１】
次に、図６および図７に示すフローチャート、図８に示す説明図を参照して、左目画像作成処理について説明する。
まず、ステップＳ１１０では、ＣＰＵは、1ライン処理を行うため、サブルーチンＳ１
２０をコールする。
ステップＳ１２０では、ＣＰＵは、入力バッファ４ａから２画素のＹ成分を取得（Y1,Y2）する。
次いで、ステップＳ１２５では、ＣＰＵは、平均値（Y1+Y2）/2 を算出し、中間バッファ４ｂ、出力バッファ４ｄに書き込む。
次いで、ステップＳ１３０では、ＣＰＵは、Ｙ成分について全画素処理が終了した場合にはステップＳ１３５に進み、一方、Ｙ成分について全画素処理が終了していない場合にはステップＳ１２０に戻る。
【００２２】
次いで、ステップＳ１３５では、ＣＰＵは、入力バッファ４ｂから2画素のUV成分を取得（UV1,UV2）する。
次いで、ステップＳ１４０では、ＣＰＵは、両画素の平均値（UV1+UV2)/2を算出し、出力バッファ４ｄに書き込む。
次いで、ステップＳ１４５では、ＣＰＵは、UV成分について全画素処理終了した場合にはステップＳ１１５に戻る。一方、ＵＶ成分について全画素処理が終了していない場合にはステップＳ１３５に戻る。
ステップＳ１１５では、ＣＰＵは、全ライン処理終了していない場合にはステップＳ１１０に戻り、一方、全ライン処理終了している場合には処理を終了する。
このように、入力バッファ４ａから２画素のＹ成分を取得し、２画素の平均値を算出し、算出結果を中間バッファ４ｂ、出力バッファ４ｄに順次に書き込むことで、１／２に縮小した左目画像を作成することができる。
【００２３】
次に、図９および図１０に示すフローチャートを参照して、画像ぼかし処理について説明する。
まず、ステップＳ２１０では、ＣＰＵは、1ライン処理を行うため、サブルーチンＳ２２０をコールする。
ステップＳ２２０では、ＣＰＵは、中間バッファ４ｂから連続して配列されている３画素を取得（A1,A2,A3）する。
次いで、ステップＳ２２５では、ＣＰＵは、B=((A1+A3)/2+A2)/2 を算出し、Ｂ値を中間バッファ４ｂに書き込む。
次いで、ステップＳ２３０では、ＣＰＵは、全画素処理が終了した場合にはステップＳ２１５に進み、一方、全画素処理が終了していない場合にはステップＳ２２０に戻る。
【００２４】
ステップＳ２１５では、ＣＰＵは、全ライン処理が終了していない場合にはステップＳ２１０に戻り、一方、全ライン処理が終了している場合には処理を終了する。
このように、中間バッファ４ｂから連続して配列されている３画素を取得し、取得した３画素から上記荷重平均Ｂを算出し、算出されたＢ値を中間バッファ４ｂに順次に書き込むことで、画像をぼかすことができ、この結果、従来あった３Ｄ画像中の縦方向のノイズを低減することができる。
【００２５】
次に、図１１および図１２に示すフローチャート、図１３に示す説明図を参照して、Ｚバッファ作成処理について説明する。
まず、ステップＳ３１０では、ＣＰＵは、1ライン処理を行うため、サブルーチンＳ３２０をコールする。
ステップＳ３２０では、ＣＰＵは、出力バッファ４ｄに記憶されている左画像から１画素のＹ成分を取得（Y）する。
次いで、ステップＳ３２５では、ＣＰＵは、Ｚ=7-Y/32 （Ｚ＝０〜７）を算出し、Ｚ値をＺバッファ４ｃに書き込む。
【００２６】
次いで、ステップＳ３３０では、ＣＰＵは、全画素処理が終了した場合にはステップＳ
３１５に戻り、一方、全画素処理が終了していない場合にはステップＳ３２０に戻る。
ステップＳ３１５では、ＣＰＵは、全ラインの処理が終了していない場合にはステップＳ３１０に戻り、一方、全ライン処理終了している場合には処理を終了する。
このように、出力バッファ４ｄに記憶されている左画像から１画素のＹ成分（輝度成分）を取得し、取得したＹ成分から視差値Ｚ=7-Y/32 （Ｚ＝０〜７）を算出することで、７段階のうちの１段階を示す視差値ＺをＺバッファ４ｃに順次に書き込むことができ、飛び出し感にインパクトがある視差値を生成することができる。
【００２７】
次に、図１４および図１５に示すフローチャートを参照して、画像ぼかし処理について説明する。
まず、ステップＳ４１０では、ＣＰＵは、1ライン処理を行うため、サブルーチンＳ４２０をコールする。
ステップＳ４２０では、ＣＰＵは、Ｚバッファ４ｃから3画素を取得（A1,A2,A3）する。
次いで、ステップＳ４２５では、ＣＰＵは、B=((A1+A3)/2+A2)/2 を算出し、Ｂ値をＺバッファ４ｃに書き込む。
次いで、ステップＳ４３０では、ＣＰＵは、全画素処理が終了した場合にはステップＳ４１５に進み、一方、全画素処理が終了していない場合にはステップＳ４２０に戻る。
【００２８】
ステップＳ４１５では、ＣＰＵは、全ライン処理が終了していない場合にはステップＳ４１０に戻り、一方、全ライン処理が終了している場合には処理を終了する。
このように、Ｚバッファ４ｃから３画素を取得し、取得した３画素から上記荷重平均Ｂを算出し、算出されたＢ値をＺバッファ４ｃに順次に書き込むことで、画像をぼかすことができ、この結果、従来あった３Ｄ画像中の縦方向のノイズを低減することができる。
【００２９】
次に、図１６および図１７に示すフローチャート、図１８に示す説明図を参照して、右目画像作成処理について説明する。
まず、ステップＳ５１０では、ＣＰＵは、1ライン処理を行うため、サブルーチンＳ５２０をコールする。
ステップＳ５２０では、ＣＰＵは、中間バッファ４ｂの画素ポイントを示す入力ポインタを右端-Ｚ最大値の位置に設定し、Ｚバッファ４ｃの画素ポイントを示すＺポインタを右端-Ｚ最大値の位置に設定し、出力バッファ４ｄの画素ポイントを示す出力ポインタを右端-Ｚ最大値の位置に設定し、さらに、出力バッファ４ｄの画素ポイントを示すラストポインタを右端+1の位置に設定する。
【００３０】
次いで、ステップＳ５２５では、ＣＰＵは、画素値を入力ポインタが示す中間バッファ４ｂ上の位置から取得し、Ｚ値をＺポインタが示すＺバッファ４ｃ上の位置から取得する。
次いで、ステップＳ５３０では、ＣＰＵは、Ｚカウンタを0に設定する。
次いで、ステップＳ５３５では、ＣＰＵは、Ｚカウンタのカウント値がＺ値未満か否か判断する。Ｚカウンタのカウント値がＺ値未満の場合にはステップＳ５４０に進み、そうではない場合にはステップＳ５５５に進む。
【００３１】
次いで、ステップＳ５４０では、ＣＰＵは、出力ポインタの値にＺカウンタのカウント値を加算した値がラストポインタの値よりも大きいか否か判断する。この加算した値がラストポインタの値よりも大きい場合にはステップＳ５５５に進み、そうではない場合にはステップＳ５４５に進む。
次いで、ステップＳ５４５では、ＣＰＵは、出力ポインタの値とＺカウンタの値とを加算した値により示される出力バッファ４ｄ上の位置に元画素値をコピーして書き込む。
【００３２】
次いで、ステップＳ５５０では、ＣＰＵは、Ｚカウンタをインクリメントし、ステップＳ５３５に戻る。
次いで、ステップＳ５５５では、ＣＰＵは、ラストポインタの値が、出力ポインタの値とＺ値とを加算した値より大きいか否かを判断する。ラストポインタの値が、出力ポインタの値とＺ値とを加算した値より大きい場合にはステップＳ５６０に進み、そうではない場合にはステップＳ５６５に進む。
【００３３】
次いで、ステップＳ５６０では、ＣＰＵは、ラストポインタを出力ポインタ＋Ｚ値に更新する。
次いで、ステップＳ５６５では、ＣＰＵは、入力ポインタをデクリメントし、Ｚポインタをデクリメントし、さらに、出力ポインタをデクリメントする。
次いで、ステップＳ５７０では、ＣＰＵは、出力ポインタの値が左端まで到達したか否か判断する。出力ポインタの値が左端まで到達していない場合にはステップＳ５２５に戻り、出力ポインタの値が左端まで到達した場合にはこのループ処理を終了し、ステップＳ５１５に戻る。
【００３４】
次いで、ステップＳ５１５では、ＣＰＵは、全ライン処理が終了していない場合にはステップＳ５１０に戻り、一方、全ライン処理が終了している場合には処理を終了する。
この結果、出力バッファ４ｄに右画像データが形成される。
このように、左画像の目的画素を当該目的画素の視差値Ｚに応じて右方向にシフトして画素値をコピーするようにして順次に右画像とすることで、視差値を付与された右画像を生成することができる。
【００３５】
上記ステップＳ５２０〜Ｓ５７０まで１回のループ処理を通過した結果、図１８に示す「１ループ後の右下画像」のように、出力バッファ４ｄ上の出力ポインタの位置とラストポインタの位置との間の位置に画素値が書き込まれる。同様にして、順次に上記ループ処理が１回ずつ進む度に、出力バッファ４ｄ上の出力ポインタの位置とラストポインタの位置との間の位置に画素値が書き込まれる。
【００３６】
次いで、３Ｄ変換処理部４では、出力バッファ４ｄ上に生成された左目画像データと右目画像データとを、デコーダ３に設けられた複数のＤＸＶＡ２バッファ３ｃ中の1枚であるＶＲＡＭ４ｅにコピーして出力する。
次いで、ＤＸＶＡ２バッファ３ｃは左目画像データと右目画像データとをＩＰ変換／画像サイズ変換部５に出力する。
次いで、ＩＰ変換／画像サイズ変換部５では、インターレースプログレッシブ変換処理と画像サイズ変換処理を行い、３０ｆｐｓの画像データを６０ｆｐｓの画像データに変換する。
次いで、レンダラー６は、サイドバイサイド方式の６０ｆｐｓの画像データをラインバイライン方式の６０ｆｐｓの画像データに変換してモニタ７に出力し、モニタ７から３Ｄ画像を表示させる。そして、偏光メガネをかけた視聴者が、モニタ７に表示された３Ｄ画像を視認することができる。
【００３７】
＜第２実施形態＞
図１９は、本発明の第２実施形態における情報処理装置の概略構成を示すブロック図である。
２Ｄ再生方式と本実施形態との相違点は、ＰＣ等の情報処理装置１２の中に３Ｄ変換処理部１１４が組み込まれている点と、モニタが偏光板立体視対応モニタ１３である点である。図１９において、放送波１１からの映像データがチューナー１１１で受信されると、チューナー１１１は、直接、映像処理系１１３に当該映像データを出力するか、又は、一旦映像データを記憶装置１１２に格納した後に、当該映像データを映像処理系１１３に出
力する。
【００３８】
映像処理系１１３は、デコード（復号化）を行うデコーダー１１３１と、表示を行うレンダラー１１３２で構成されている。デコーダー１１３１において映像データがデコード（復号）され、画が生成された後にレンダラーに出力される。レンダラー１１３２において、表示に必要な各処理が画に対して行われる。
３Ｄ変換を行う場合には、当該画を３Ｄ変換処理部１１４に出力し、３Ｄ変換処理部１１４において３Ｄ映像データに変換された後、レンダラー１１３２に出力される。レンダラーでは、表示に必要な偏光方式立体視対応モニタ１３と同期を取りながら、画を表示する。そして、偏光メガネ１４をかけた視聴者１５が、偏光方式立体視対応モニタ１３に表示された画を見ることになる。
【００３９】
次に、図２０及び図２１を用いて、本発明の実施形態における情報処理装置の動作について説明する。図２０は、本発明の実施形態における情報処理装置における信号処理の流れを説明する図であり、図２１は、本発明の実施形態における情報処理装置における情報処理方法を説明するフロー図である。
【００４０】
図２１において、２Ｄ再生方式と本発明との相違点は、３Ｄ変換処理として、奥行き解析処理（ステップ（以下、「Ｓ」という。）３９）と視差生成処理（Ｓ３０）の各工程が追加されることである。
【００４１】
放送波１がＰＣ等の情報処理装置１２に受信されるか（図１９）、又は、放送信号（２Ｄ）が格納された記憶手段２１（図２０）から抽出された放送信号（２Ｄ）（動画データ）は、情報処理系１１３の中のデコーダー１１３１（図１９）においてデコード２２（図２０）され、２Ｄの画像であるフレーム２３（図２０）が生成される（Ｓ３１）。
【００４２】
次に、画（フレーム）２３に対してＩ／Ｐ変換処理２４、すなわち、放送波はインターレース映像信号（１フレームに時間が連続した２フィールドが格納されている方式）であるため、１フレームを２フィールドに分解し、補間（デインターレース）を行うことにより、２Ｄの画（フィールド）である２５ｅ（時刻ｔ）、２５ｌ（時刻ｔ＋１６．７ｍｓ）を作成する処理が行われる（Ｓ３２）。
【００４３】
次に、必要に応じて、ＹＵＶ（輝度、色差）フォーマットという色形式からＲＧＢフォーマットへと色フォーマットを変換する色変換処理（Ｓ３３）を行う。また、ＰＣ等のウィンドウ表示において、ユーザの使用画面に応じて、モニタ１３、２８に表示されるサイズに画（フィールド）サイズを拡大縮小するリサイズ処理２４（図２０）を行う（Ｓ３４）。
【００４４】
次に、２Ｄの画（フィールド）である２フレーム２５ｅ（時刻ｔ）、２５ｌ（時刻ｔ＋１６．７ｍｓ）に対して３Ｄ変換処理を行うか否かについて判断され、３Ｄ変換処理を行うと判断された場合（Ｓ３５：ＹＥＳ）には、Ｓ３９へ移行する。Ｓ３９では、２Ｄの画（フィールド）を解析し、奥行きを推測する処理である奥行き解析処理が行われる。すなわち、２Ｄの映像には奥行き情報が存在しないため、構図や動き、色等の情報から奥行きを推測する。推測方法については様々な方法が存在するが、ここでの説明は省略する。
【００４５】
次に、Ｓ３０では、画（フィールド）の奇数ライン、又は偶数ラインのみに視差を生成する処理である視差生成処理２６（図２０）を行う。具体的には、画（フィールド）を構成する複数のラインのうち、１、３、５、７、・・・、２ｎ＋１（ただし、ｎは０以上の整数）番目のラインといった奇数番号のライン、又は２、４、６、８、・・・、２ｎ（ただし、ｎは１以上の整数）番目のラインといった偶数番号のラインに対して視差を生成す
ることで、モニタ１３、２８に表示された際、左右の目に異なる映像が表示され、立体視が可能となる。Ｓ３９の奥行き解析処理で得られた奥行きを参考に、画素を左右にシフトし、又は加工することで、視差を生成する。
【００４６】
偏光方式立体視の特徴であるＬＢＬ方式（ライン交互に異なる映像が格納されている方式）で表示する必要性を利用し、実際には、左右の目の映像を作ることなく、オリジナル画の一部を加工することにより、ＬＢＬ処理相当の加工された画（フィールド）２７ｅ（時刻ｔ）、２７ｌ（時刻ｔ＋１６．７ｍｓ）（図２０）が作成され、立体視が可能となるである。
【００４７】
図２１に戻り、Ｓ３５において、３Ｄ変換処理を行わないと判断された場合（Ｓ３５：ＮＯ）、又はＳ３０において視差生成処理が終了すると、Ｓ３６においてスケジューリング処理が行われる。すなわち、モニタ１３、２８の周波数に表示のタイミングを合わせることを目的として、必要であればウェイトやコマ落としを行うことにより、モニタ１３、２８と同期を取る。
【００４８】
そして、Ｓ３７において、モニタ１３、２８に画（フィールド）２７ｅ（時刻ｔ）、２７ｌ（時刻ｔ＋１６．７ｍｓ）（図２０）を出力し、実際に画（フィールド）をモニタ１３、２８に表示をさせる表示処理が行われ、Ｓ３８において、動画の再生を継続するか否かが判断され、継続すると判断された場合（Ｓ３８：ＹＥＳ）には、Ｓ３１に戻り、継続しないと判断された場合（Ｓ３８：ＮＯ）には、処理を終了する。
【００４９】
なお、上記実施形態において説明した図２１に示したフローチャートを実行するために、ＰＣ等の情報処理装置に搭載されるＣＰＵ（図示せず）が、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等から構成されるメモリ（図示せず）に格納されたコンピュータにより読み取り可能なプログラムに基づいてＰＣ等の情報処理装置の動作の各処理を制御するよう構成されている。
【００５０】
本発明により、従来の２Ｄ／３Ｄ変換方式といわれる再生方式（図２３）に比べ、図２３における処理工程のうち、ＳＢＳ化７４、右目画像にのみ視差生成処理７６、及びＬＢＬ処理８０の各工程が不要となり、図２３のＩ／Ｐ変換処理７８に対応する図２０のＩ／Ｐ変換処理２４と、奇数ラインのみ視差生成処理２６の工程を経るだけで、偏光方式に対応した立体視が可能な３Ｄ映像を再生可能な情報処理装置を得ることができる。
【００５１】
この処理工程の低減による具体的な画素コピー回数の軽減量を比較すると、ｘを水平方向の解像度、ｙを垂直方向の解像度とした場合、図２３の方式では、ＳＢＳ化７４により、（ｘ／２＊ｙ）＊２＝ｘｙ、右目画像にのみ視差生成処理７６により、（ｘ／２＊ｙ）＝ｘｙ／２、ＬＢＬ処理８０により、（（ｘ／２＊ｙ／２）＊２）＊２＝ｘｙであるから、合計ｘｙ＋ｘｙ／２＋ｘｙ＝（５／２）ｘｙの画素コピー回数であるのに対し、本実施形態による図２０の方式では、奇数ラインのみに視差生成２６による（ｘ＊ｙ／２）＊２＝ｘｙであるから、（５／２）ｘｙ−ｘｙ＝（３／２）ｘｙだけ、本発明による画素コピー回数の低減による改善効果が得られたことになる。
【００５２】
さらに、従来技術の図２２又は図２３の方式では、水平方向の解像度がオリジナル画像の半分であるのに対し、本発明による図２０の方法では、水平方向の解像度の欠損がないため、高画質の３Ｄ映像を再生することができる。
【００５３】
以上説明してきたように、本実施形態によれば、擬似３Ｄ映像を再生するに当たり、フィールドを構成する複数のラインに対して、１ラインおきに視差を生成し、ＬＢＬライン相当の加工された画（フィールド）を得ることにより、３Ｄ映像を再生するための処理工
程を軽減させることができ、その結果として、処理負荷を低減することができると共に、垂直方向の解像度を高画質に維持することができる情報処理装置、情報処理方法、及びプログラムを得ることができる。
【００５４】
以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範囲な趣旨及び範囲から逸脱することなく、これら具体例に様々な修正及び変更が可能である。
【産業上の利用可能性】
【００５５】
本発明は、テレビジョン受信機、ＤＶＤプレーヤ、パーソナルコンピュータ等に利用できる。
【符号の説明】
【００５６】
１ チューナ部
２ 記憶装置
３ デコーダ
４ ３Ｄ変換処理部
５ ＩＰ変換／画像サイズ変換部
６ レンダラー
７ モニタ
１１ 放送波
１１１ チューナー
１１２ 記憶装置
１１３ 映像処理系
１１３１ デコーダー
１１３２ レンダラー
１１４ ３Ｄ変換処理部
１２ 情報処理装置
１３ 偏光方式立体視対応モニタ
１４ 偏光メガネ
１５ 視聴者
【特許請求の範囲】
【請求項１】
入力される２次元画像を３次元画像に変換して表示する画像処理装置であって、
前記入力される２次元画像から左画像を生成する左画像生成手段と、
当該左画像の目的画素の輝度成分から所定段階の視差値を算出する視差値算出手段と、
当該左画像の目的画素を当該目的画素の前記視差値に応じて右方向にシフトして画素値をコピーするようにして右画像とする右画像生成手段と、を備えることを特徴とする画像処理装置。
【請求項２】
前記右画像生成手段は、右方向にシフトした位置が、過去のシフト先の位置よりも右位置になる場合には、前記画素値のコピーを禁止することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記視差値算出手段により算出された視差値に対して、目的の視差値とその隣接する２つの隣接値から荷重平均を算出して新たな視差値とする第１算出手段と、
前記左画像生成手段により算出された左画像に対して、目的の画素値とその隣接する２つの隣接値から荷重平均を算出して新たな画素値とする第２算出手段と、を備えることを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記左画像生成手段は、前記入力される２次元画像の目的の２つの隣接する画素値を平均して１つの画素値を算出するようにして左画像を生成することを特徴とする請求項１記載の画像処理装置。
【請求項５】
入力される２次元画像を３次元画像に変換して表示する画像処理方法であって、
前記入力される２次元画像から左画像を生成する左画像生成ステップと、
当該左画像の目的画素の輝度成分から所定段階の視差値を算出する視差値算出ステップと、
当該左画像の目的画素を当該目的画素の前記視差値に応じて右方向にシフトして画素値をコピーするようにして右画像とする右画像生成ステップと、を有することを特徴とする画像処理方法。
【請求項１】
入力される２次元画像を３次元画像に変換して表示する画像処理装置であって、
前記入力される２次元画像から左画像を生成する左画像生成手段と、
当該左画像の目的画素の輝度成分から所定段階の視差値を算出する視差値算出手段と、
当該左画像の目的画素を当該目的画素の前記視差値に応じて右方向にシフトして画素値をコピーするようにして右画像とする右画像生成手段と、を備えることを特徴とする画像処理装置。
【請求項２】
前記右画像生成手段は、右方向にシフトした位置が、過去のシフト先の位置よりも右位置になる場合には、前記画素値のコピーを禁止することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記視差値算出手段により算出された視差値に対して、目的の視差値とその隣接する２つの隣接値から荷重平均を算出して新たな視差値とする第１算出手段と、
前記左画像生成手段により算出された左画像に対して、目的の画素値とその隣接する２つの隣接値から荷重平均を算出して新たな画素値とする第２算出手段と、を備えることを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記左画像生成手段は、前記入力される２次元画像の目的の２つの隣接する画素値を平均して１つの画素値を算出するようにして左画像を生成することを特徴とする請求項１記載の画像処理装置。
【請求項５】
入力される２次元画像を３次元画像に変換して表示する画像処理方法であって、
前記入力される２次元画像から左画像を生成する左画像生成ステップと、
当該左画像の目的画素の輝度成分から所定段階の視差値を算出する視差値算出ステップと、
当該左画像の目的画素を当該目的画素の前記視差値に応じて右方向にシフトして画素値をコピーするようにして右画像とする右画像生成ステップと、を有することを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【公開番号】特開２０１２−２１２９８４（Ｐ２０１２−２１２９８４Ａ）
【公開日】平成２４年１１月１日（２０１２．１１．１）
【国際特許分類】
【出願番号】特願２０１１−７６６３６（Ｐ２０１１−７６６３６）
【出願日】平成２３年３月３０日（２０１１．３．３０）
【出願人】（３１１０１２１６９）ＮＥＣパーソナルコンピュータ株式会社 (116)
【Ｆターム（参考）】
【公開日】平成２４年１１月１日（２０１２．１１．１）
【国際特許分類】
【出願日】平成２３年３月３０日（２０１１．３．３０）
【出願人】（３１１０１２１６９）ＮＥＣパーソナルコンピュータ株式会社 (116)
【Ｆターム（参考）】
[ Back to top ]