画像処理装置、画像処理方法及び画像処理プログラム
【課題】立体映像用の画像データ間を補間する補間画像データを正しく生成することができる画像処理装置、画像処理方法及び画像処理プログラムを提供すること。
【解決手段】本発明にかかる画像処理装置は、立体画像データから立体画像を表示する第１の画像と第２の画像間に１ブロック以上のブランク画像を含めた画像を示す加工画像データを生成するデータ加工部と、複数の加工画像データ間を補間する加工補間画像データが示す画像が含む第１のブロックから所定の範囲内の複数の第２のブロックの動きベクトルを、第１のブロックの動きベクトルの候補ベクトルとして決定する候補ベクトル決定部と、候補ベクトルから第１のブロックの動きベクトルを決定する動きベクトル決定部と、動きベクトルに基づいて加工補間画像データを生成する画像補間部と、加工補間画像データに基づいて複数の立体画像データ間を補間する補間画像データを出力する出力部を備える。
【解決手段】本発明にかかる画像処理装置は、立体画像データから立体画像を表示する第１の画像と第２の画像間に１ブロック以上のブランク画像を含めた画像を示す加工画像データを生成するデータ加工部と、複数の加工画像データ間を補間する加工補間画像データが示す画像が含む第１のブロックから所定の範囲内の複数の第２のブロックの動きベクトルを、第１のブロックの動きベクトルの候補ベクトルとして決定する候補ベクトル決定部と、候補ベクトルから第１のブロックの動きベクトルを決定する動きベクトル決定部と、動きベクトルに基づいて加工補間画像データを生成する画像補間部と、加工補間画像データに基づいて複数の立体画像データ間を補間する補間画像データを出力する出力部を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関し、特に立体映像用画像データを処理する技術に関する。
【背景技術】
【０００２】
近年、テレビは、ディスプレイ部がブラウン管から液晶ディスプレイ、プラズマディスプレイ及び有機ＥＬディスプレイ等のフラットパネルディスプレイに移行してきている。家庭用映像機器分野においては、地上デジタル放送対応テレビに、フラットパネルディスプレイが採用されている。そして、フラットパネルディスプレイの表示特定上、ＩＰ(Interlace/Progressive)変換技術は、必須となってきている。
【０００３】
ここで、図１０〜図１２を参照して、特許文献１に開示のＩＰ変換処理における動きベクトル検出方法について説明する。図１０は、特許文献１にかかる動きベクトル検出の概念図である。図１１は、特許文献１にかかる動き補償型ＩＰ変換処理装置の構成図である。図１２は、特許文献１にかかる候補ベクトルとするブロックの説明図である。
【０００４】
図１０に示すように、特許文献１にかかるＩＰ変換処理は、フィールドｎ画像１００２と、フィールドｎ画像１００２から２フィールド離れたフィールドｎ−２画像１０００との間に、フィールドｎ−１画像１００１を補間する。なお、フィールドｎ画像１００２、フィールドｎ−２画像１０００及びフィールドｎ−１画像１００１は、インタレース画像である。ＩＰ変換処理は、補間フィールド画像１００１を生成するときに、動きベクトルを使用する。
【０００５】
続いて、図１０を参照して、特許文献１にかかるＩＰ変換処理における動きベクトル検出処理について説明する。特許文献１にかかる動きベクトル検出処理は、補間フィールド画像１００１を生成するために、１フィールド画面をＭ×Ｎの画素ブロック１００７に分割する。そして、特許文献１にかかる動きベクトル検出処理は、通常の走査線方式の通りに、画面の左上から右下に向かって、ブロック単位で処理をしていく。
【０００６】
特許文献１にかかる動きベクトル検出処理は、補間フィールド画像(フィールドｎ−１画像)１００１を生成する過程において、現在処理中のブロック１００４に対して、候補ベクトル１００６によって参照される１フィールド前の画像(フィールドｎ−２画像)１０００の参照ブロック１(１００３)と、１フィールド後の画像(フィールドｎ画像)１００２の参照ブロック２(１００５)との差分を計算する。この差分は、参照ブロック１(１００３)と参照ブロック２(１００５)のそれぞれの画素の差分絶対値和(以下、「ＳＡＤ(Sum Of Absolute Difference)」とする)として計算される。特許文献１にかかる動きベクトル検出処理は、全ての候補ベクトルについてＳＡＤを計算して、ＳＡＤが最小値を示す候補ベクトルを現在処理ブロック１００４の動きベクトルとして決定する。
【０００７】
続いて、図１１を参照して、特許文献１にかかる動きベクトル検出処理について説明する。ＳＡＤ演算部９００には、補間フィールド画像の１フィールド前の画像データ９１０と、補間フィールド画像の１フィールド後の画像データ９１１が入力される。ＳＡＤ演算部９００は、候補ベクトル生成部９０２から出力される候補ベクトル９１３が指し示す参照ブロック１と参照ブロック２の間のＳＡＤを計算する。ＳＡＤ演算部９００は、候補ベクトルの全てに対して、同様の演算を行う。ＳＡＤ最小値判定部９０１は、ＳＡＤ演算部９００による演算結果９１２の中から、ＳＡＤの最小値を判定する。動きベクトル決定部９０３は、ＳＡＤ最小値判定部９０１による判定結果９１４に基づいて、候補ベクトル９１３の中から現在処理中のブロックの動きベクトル９１５を決定する。
【０００８】
続いて、図１２を参照して、動きベクトル検出処理について説明する。図１２に示すように、１フィールド画面１１００内において、現在処理ブロック１１０２の周辺には、現在処理ブロック１１０２と相関が高い周辺ブロック１１０３が存在する。図１２は、補間フィールド画像を生成する処理がある程度進んだ状態を示す。図１１において示すように、動きベクトル９１５は、メモリ９０４に保存される。メモリ９０４に保存された既検出ベクトル９１６は、次期処理ブロックにおける処理で候補ベクトルとして使用される。ここで、周辺ブロック１１０３のブロック１１０４、１１０５、１１０６、１１０７は、現在処理ブロック１１０２と相関が高く、動きベクトルを検出済みのブロックである。つまり、ブロック１１０４、１１０５、１１０６、１１０７における検出済み動きベクトルを候補ベクトルして使用する。これによれば、全探索方式に比べて、動きベクトル検出のための演算処理量を低減することができる。
【０００９】
他方、家庭用映像機器分野における立体映像規格が確立したことにより、その規格を満足するテレビの実装が求められている。それに伴い、立体映像用の画像データに対してもＩＰ変換を行うことができるようにする必要がでてきた。しかし、特許文献１に開示されている技術は、立体映像用の画像データに対応したＩＰ変換方法ではない。そのため、立体映像用の画像データに対してＩＰ変換を行うと、誤変換を起こしてしまうという問題がある。
【００１０】
以下、その問題について具体的に説明する。上述したように、特許文献１にかかるＩＰ変換処理は、動き補償型ＩＰ変換処理装置に入力される画像データのそれぞれが、全て同じ種類の画像を表示することを前提として、１フィールド前の画像データ及び１フィールド後の画像データを使用してＩＰ変換を行っている。また、特許文献１にかかるＩＰ変換処理は、動き補償型ＩＰ変換処理装置に入力される画像データによって表示される画像が、同じ種類の画像のみを含んでいることを前提として、現在処理中のブロックと相関が高い周辺ブロックにおける検出済み動きベクトルを候補ベクトルとして使用してＩＰ変換を行っている。
【００１１】
それに対して、図１３に示すように、立体映像のデータ構成方式の１つであるＦｒａｍｅＳｅｑｕｅｎｔｉａｌフォーマットでは、左目用画像(以下、「Ｌ画像」とする)と、右目用画像(以下、「Ｒ画像」とする)が時系列に沿って、交互に存在している。つまり、ＦｒａｍｅＳｅｑｕｅｎｔｉａｌフォーマットは、Ｌ画像とＲ画像が１フィールド毎に交互に入力されるフォーマットである。また、図１４及び図１５に示すように、ＳｉｄｅＢｙＳｉｄｅフォーマット及びＴｏｐＡｎｄＢｏｔｔｏｍフォーマットの画像は、画像内にＬ画像とＲ画像が左右又は上下に並んで配置されている。つまり、ＳｉｄｅＢｙＳｉｄｅフォーマット及びＴｏｐＡｎｄＢｏｔｔｏｍフォーマットは、同一のフィールドにおいて、Ｌ画像とＲ画像が同時に入力されるフォーマットである。
【００１２】
このため、これらの立体映像用の画像データを、特許文献１にかかるＩＰ変換処理によって変換した場合、次に述べるような問題が発生する。
【００１３】
図１６を参照して、特許文献１にかかる動き補償型ＩＰ変換処理装置に対して、ＦｒａｍｅＳｅｑｕｅｎｔｉａｌフォーマットの立体映像用の画像データが入力された場合について説明する。
【００１４】
動き補償型ＩＰ変換処理装置は、補間フィールド画像(フィールドｎ−１画像)１３０１を生成するために、１フィールド画面をＭ×Ｎの画素ブロック１３０７に分割する。そして、動き補償型ＩＰ変換処理装置は、通常の走査線方式の通りに、画面の左上から右下に向かって、ブロック単位で処理をしていく。
【００１５】
動き補償型ＩＰ変換処理装置は、補間フィールド画像(フィールドｎ−１画像)１３０１を生成する過程において、現在処理ブロック１３０４に対して、候補ベクトル１３０６によって参照される１フィールド前の画像(フィールドｎ−２画像)１３００の参照ブロック１(１３０３)と、１フィールド後の画像(フィールドｎ画像)１３０２の参照ブロック２(１３０５)との差分を計算する。ここで、動き補償型ＩＰ変換処理装置に入力された画像データは、ＦｒａｍｅＳｅｑｕｅｎｔｉａｌフォーマットの立体映像用の画像データである。そのため、１フィールド前の画像１３００をＬ画像とした場合、Ｒ画像である補間フィールド画像１３０１の現在処理ブロック１３０４に対する処理において、Ｌ画像である１フィールド前の画像１３００の参照ブロック１(１３０３)、及び、Ｌ画像である１フィールド後の画像１３０２の参照ブロック２(１３０５)が使用されてしまう。その結果、Ｌ画像とＲ画像を混合してＩＰ変換を行ってしまい、誤ったＩＰ変換結果が生成されてしまうという問題がある。
【００１６】
続いて、図１７を参照して、特許文献１にかかる動き補償型ＩＰ変換処理装置に対して、ＳｉｄｅＢｙＳｉｄｅフォーマットの立体映像用画像データが入力された場合について説明する。
【００１７】
図１４に示すように、ＳｙｄｅＢｙＳｉｄｅフォーマットの立体映像用の画像データによって表示される画像は、１フィールド画面の左側にＬ画像、右側にＲ画像が配置されている。図１７において、Ｌ画像とＲ画像の境界を画像境界１４０８として示す。Ｌ画像とＲ画像の画像境界１４０８は、通常、１フィールド画面１４００の中央に存在する。図１７では、現在処理ブロック１４０２と、候補ベクトルとして使用される動きベクトルを検出済みのブロック１４０６とは、画像境界１４０８をはさんで存在する。言い換えると、現在処理ブロック１４０２は、Ｌ画像の右端に存在し、動きベクトルを検出済みのブロック１４０６は、Ｒ画像の左端に存在する。
【００１８】
図１７に示すように、動き補償型ＩＰ変換処理装置は、１フィールド画面１４００をＭ×Ｎのブロック１４０１に分割する。また、現在処理ブロック１４０２の周辺には、現在処理ブロック１４０２と相関が高い周辺ブロック１４０３が存在する。なお、図１７は、補間フィールド画像を生成する処理がある程度進んだ状態を示す。この場合、現在処理ブロック１４０２と相関が高い周辺ブロック１４０３のうち、動きベクトルを検出済みのブロック１４０４、１４０５、１４０６、１４０７の動きベクトルが候補ベクトルとして使用される。つまり、Ｌ画像に含まれる現在処理ブロック１４０２の動きベクトルを検出する処理において、同じＬ画像に含まれるブロック１４０４、１４０５、１４０７のみならず、Ｒ画像に含まれるブロック１４０６まで使用されてしまう。このように、Ｌ画像に存在する現在処理ブロック１４０２の動きベクトルを検出する場合に、候補ベクトルにＲ画像に存在するブロック１４０６の動きベクトルが混入してしまう。
【００１９】
そのため、現在処理ブロック１４０２の動きベクトルとして誤った動きベクトルを検出してしまい、誤ったＩＰ変換結果が生成されてしまうという問題がある。例えば、ブロック１４０６の候補ベクトルの向きが、現在処理ブロック１４０２における本来の動きベクトルと異なる場合であっても、ブロック１４０４〜１４０７のうち、ブロック１４０６の候補ベクトルのＳＡＤが偶然最小値となってしまう場合がある。この場合、現在処理ブロック１４０２の動きベクトルが正しく検出されず、ＩＰ変換において誤変換を起こしてしまう。
【００２０】
また、現在処理ブロックがＲ画像の左端に移った場合にも、候補ベクトルにＬ画像の右端のブロックの動きベクトルが混入してしまう。よって、この場合にも、誤ったＩＰ変換結果が生成されてしまうという問題がある。
【００２１】
このように特許文献１に開示の技術では、ＳｉｄｅＢｙＳｉｄｅフォーマットの立体映像用画像データをＩＰ変換した場合、Ｌ画像とＲ画像の境界部分において、Ｌ画像はＲ画像のデータを参照し、Ｒ画像はＬ画像のデータを参照してＩＰ変換を行ってしまう。そのため、誤ったＩＰ変換結果が生成されてしまうという問題がある。
【００２２】
さらに、図示及び詳細な説明を省略するが、図１５に示すＴｏｐＡｎｄＢｏｔｔｏｍフォーマットの立体映像用画像データをＩＰ変換する場合においても、Ｌ画像下端とＲ画像上端の境界部分において、ＳｉｄｅＢｙＳｉｄｅフォーマットの立体映像用画像データと同様に誤ったＩＰ変換結果を生成してしまうという問題があることは明らかである。
【００２３】
つまり、特許文献１に開示の技術では、Ｌ画像とＲ画像の境界部分において、動きベクトルを正しく検出することができないため、立体映像用の画像データ間を補間する補間画像データを正しく生成することができなくなってしまう問題がある。
【先行技術文献】
【特許文献】
【００２４】
【特許文献１】特開２００６−２１７４８６号公報
【発明の概要】
【発明が解決しようとする課題】
【００２５】
背景技術として説明したように、特許文献１に開示の技術では、立体映像用の画像データ間を補間する補間画像データを正しく生成することができなくなってしまうという問題がある。
【課題を解決するための手段】
【００２６】
本発明の第１の態様にかかる画像処理装置は、立体画像を表示する第１の画像及び第２の画像を含む画像を示す立体画像データから、前記第１の画像と前記第２の画像との間に１ブロック以上のブランク画像を含めた画像を示す加工画像データを生成するデータ加工部と、複数の前記加工画像データ間を補間する加工補間画像データが示す加工補間画像に含まれる第１のブロックから所定の範囲内に含まれ、動きベクトルを検出済みの複数の第２のブロックの動きベクトルを、前記第１のブロックの動きベクトルの候補の候補ベクトルとして決定する候補ベクトル決定部と、前記決定された複数の候補ベクトルから、前記第１のブロックの動きベクトルを決定する動きベクトル決定部と、前記決定された動きベクトルに基づいて、前記第１のブロックにおける画像を補間して、前記加工補間画像データを生成する画像補間部と、前記生成された加工補間画像データに基づいて、前記複数の加工画像データの生成に用いられた複数の立体画像データ間を補間する立体補間画像データを出力する出力部と、を備えたものである。
【００２７】
本発明の第２の態様にかかる画像処理方法は、立体画像を表示する第１の画像及び第２の画像を含む画像を示す立体画像データから、前記第１の画像と前記第２の画像との間に１ブロック以上のブランク画像を含めた画像を示す加工画像データを生成し、複数の前記加工画像データ間を補間する加工補間画像データが示す加工補間画像に含まれる第１のブロックから所定の範囲内に含まれ、動きベクトルを検出済みの複数の第２のブロックの動きベクトルを、前記第１のブロックの動きベクトルの候補の候補ベクトルとして決定し、前記決定された複数の候補ベクトルから、前記第１のブロックの動きベクトルを決定し、前記決定された動きベクトルに基づいて、前記第１のブロックにおける画像を補間して、前記加工補間画像データを生成し、前記生成された加工補間画像データに基づいて、前記複数の加工画像データの生成に用いられた複数の立体画像データ間を補間する立体補間画像データを出力するものである。
【００２８】
本発明の第３の態様にかかる画像処理プログラムは、立体画像を表示する第１の画像及び第２の画像を含む画像を示す立体画像データから、前記第１の画像と前記第２の画像との間に１ブロック以上のブランク画像を含めた画像を示す加工画像データを生成する処理と、複数の前記加工画像データ間を補間する加工補間画像データが示す加工補間画像に含まれる第１のブロックから所定の範囲内に含まれ、動きベクトルを検出済みの複数の第２のブロックの動きベクトルを、前記第１のブロックの動きベクトルの候補の候補ベクトルとして決定する処理と、前記決定された複数の候補ベクトルから、前記第１のブロックの動きベクトルを決定する処理と、前記決定された動きベクトルに基づいて、前記第１のブロックにおける画像を補間して、前記加工補間画像データを生成する処理と、前記生成された加工補間画像データに基づいて、前記複数の加工画像データの生成に用いられた複数の立体画像データ間を補間する立体補間画像データを出力する処理と、をコンピュータに実行させるものである。
【００２９】
上述した本発明の各態様によれば、第１の画像と第２の画像の間にブランク画像を含めるようにしているため、第１の画像と第２の画像の境界付近において、第１のブロックの動きベクトルを決定する場合に、第１の画像及び第２の画像のうち、第１のブロックが含まれていない画像に含まれる第２のブロックが動きベクトルとして決定されることを防ぐことができる。
【発明の効果】
【００３０】
上述した本発明の各態様によれば、立体映像用の画像データ間を補間する補間画像データを正しく生成することができる画像処理装置、画像処理方法及び画像処理プログラムを提供することができる。
【図面の簡単な説明】
【００３１】
【図１】本発明の実施の形態１にかかる立体映像表示システムの構成図である。
【図２】本発明の実施の形態１にかかるデータ加工部の処理を示す動作フロー図である。
【図３】ＳｉｄｅＢｙＳｉｄｅフォーマットの画像データを処理する場合におけるブランクデータ合成処理を示す動作フロー図である。
【図４】ＳｉｄｅＢｙＳｉｄｅフォーマットの画像データに対するブランクデータ合成処理後の画像データによって表示される画像の構成図である。
【図５】ＴｏｐＡｎｄＢｏｔｔｏｍフォーマットの画像データを処理する場合におけるブランクデータ合成処理を示す動作フロー図である。
【図６】ＴｏｐＡｎｄＢｏｔｔｏｍフォーマットの画像データに対するブランクデータ合成処理後の画像データによって表示される画像の構成図である。
【図７】本発明の実施の形態１にかかる動きベクトル検出の概念図である。
【図８】本発明の実施の形態１にかかる候補ベクトルとするブロックの説明図である。
【図９】本発明の実施の形態２にかかる立体映像表示システムの構成図である。
【図１０】特許文献１にかかる動きベクトル検出方法の概念図である。
【図１１】特許文献１にかかる動き補償型ＩＰ変換処理装置の構成図である。
【図１２】特許文献１にかかる候補ベクトルとするブロックの説明図である。
【図１３】ＦｒａｍｅＳｅｑｕｅｎｔｉａｌフォーマットの画像を示す図である。
【図１４】ＳｉｄeＢｙＳｉｄｅフォーマットの画像を示す図である。
【図１５】ＴｏｐＡｎｄＢｏｔｔｏｍフォーマットの画像を示す図である。
【図１６】特許文献１にかかる技術に立体映像用画像データを用いた際の問題点を説明するための図である。
【図１７】特許文献１にかかる技術に立体映像用画像データを用いた際の問題点を説明するための図である。
【発明を実施するための形態】
【００３２】
本発明の実施の形態１．
図１を参照して、本発明の実施の形態１にかかる立体映像表示システムの構成について説明する。図１は、本発明の実施の形態１にかかる立体映像表示システムの構成図である。
【００３３】
立体映像表示システム１０は、画像生成部１０１、データ処理情報記憶部１０２、データ加工部１０３、ＩＰ変換処理部１０４及び画像出力部１０５を有する。
【００３４】
画像生成部１０１は、外部から入力された入力データ１０６から、立体映像を示す立体映像型画像データ(以下、「画像データ」とする)を生成する。画像生成部１０１は、データ処理情報記憶部１０２から取得した情報に基づいて、画像データを生成する。
【００３５】
データ処理情報記憶部１０２は、フォーマット情報、画像サイズ及びブランクデータ情報等が格納される。フォーマット情報は、例えば、画像生成部１０１から出力される画像データのフォーマットを示す情報である。画像サイズは、例えば、画像生成部１０１から出力される画像データによって表示される画像の全体サイズ、Ｌ画像及びＲ画像のそれぞれのサイズ、及び、画像に付加するブランクデータ画像のサイズ等を示す情報である。言い換えると、画像サイズは、画像データの全体サイズと、画像データのうちのＬ画像データ部、Ｒ画像データ部及びブランクデータ部のサイズとを示す情報である。ブランクデータ情報は、画像データに付加するブランクデータを示す情報である。ブランクデータは、ブランクデータ画像の画素値を示す情報である。データ処理情報記憶部１０２に格納される情報は、例えば、ユーザによって入力装置(図示せず)を介して任意の内容で入力される。入力装置は、例えば、リモコンや、マウス及びキーボード等である。データ処理情報記憶部１０２に格納される情報はまた、入力データ１０６を解析して抽出される場合もある。この場合、データ処理情報記憶部１０２に格納される情報は、入力データ解析部(図示せず)や画像生成部１０１などから入力される。
【００３６】
データ加工部１０３は、内部バッファ(図示せず)を利用して、画像生成部１０１が生成した画像データにブランクデータを付加する。内部バッファは、例えば、レジスタ及びメモリ等の記憶装置である。データ加工部１０３は、データ処理情報記憶部１０２から取得した情報に基づいて、画像データにブランクデータを付加する。
【００３７】
ＩＰ変換処理部１０４は、データ加工部１０３によってブランクデータが付加された画像データをＩＰ変換する。ＩＰ変換処理部１０４は、ＩＰ変換処理を行うために必要な複数のフィールド分の画像データが格納される内部メモリ(図示せず)を有する。ＩＰ変換処理部１０４は、ベクトル決定部及び画像補間部として機能する。
【００３８】
画像出力部１０５は、ＩＰ変換処理部１０４によってＩＰ変換された画像データのうち、Ｌ画像データ部及びＲ画像データ部の画像データに基づいて、Ｌ画像及びＲ画像を出力画像１０７として表示装置(図示せず)に出力する。画像出力部１０５は、例えば、出力画像１０７を表示する画像データを表示装置に出力することによって、表示装置に画像データを表示する。表示装置は、例えば、液晶ディスプレイ、プラズマディスプレイ及び有機ＥＬディスプレイ等のフラットパネルディスプレイである。画像出力部１０５は、出力部として機能する。
【００３９】
続いて、図１を参照して、本発明の実施の形態１にかかる立体映像表示システム１０の処理について説明する。
【００４０】
画像生成部１０１は、外部から入力された入力データ１０６から、画像データを生成する。ここで、入力データ１０６は、例えば、地上波デジタル放送信号のデータや、ＨＤＭＩ(High Definition Multimedia Interface)による外部システムからの画像信号のデータ等である。入力データ１０６は、任意のコーディックによってエンコードされた画像データを含む。画像データは、例えば、ＭＰＥＧ(Moving Picture Expert Group)フォーマットによってエンコードされている。画像生成部１０１は、データ処理情報記憶部１０２から取得したエンコード情報に基づいて、入力データ１０６に含まれる画像データをデコードする。エンコード情報は、例えば、エンコードするための計算式等を含む情報である。画像生成部１０１は、デコードによって生成した画像データをデータ加工部１０３に出力する。なお、画像生成部１０１によって生成される画像データは、インタレース画像を表示する画像データである。
【００４１】
データ加工部１０３は、画像生成部１０１から出力された画像データによって表示される画像に含まれるＬ画像とＲ画像との間に、ＩＰ変換処理部１０４において処理する際の処理単位となる１ブロック分の幅のブランクデータ画像を付加した画像を表示する画像データを生成する。ブロックは、後述するように、複数の画像データ間を補間する補間画像データを生成する場合に、動きベクトルを検出する単位のことである。なお、データ加工部１０３は、データ処理情報記憶部１０２から取得したフォーマット情報、画像サイズ及びブランクデータ情報に基づいて、画像データにブランクデータを付加する。なお、データ加工部１０３は、ブランクデータ画像に含まれる全てのブロックの画素値の差分が同一となるように、ブランクデータを付加する。
【００４２】
データ加工部１０３は、ブランクデータを付加した画像データをＩＰ変換処理部１０４に出力する。データ加工部１０３は、ブランクデータ画像を付加した後の画像の全体サイズ、及び、その画像のうちのブランクデータ画像を除いたＬ画像及びＲ画像の位置を特定する画像位置情報を画像情報記憶部(図示せず)に記憶する。言い換えると、画像位置情報は、ブランクデータを付加した画像データの全体サイズ、及び、その画像データのうちのブランクデータ部を除いたＬ画像データ部及びＲ画像データ部の位置を特定する情報である。画像位置情報記憶部は、例えば、レジスタ、メモリ及びハードディスク等の記憶装置である。
【００４３】
ＩＰ変換処理部１０４は、データ加工部１０３から出力された画像データを、内部メモリに記憶する。ＩＰ変換処理部１０４は、画像情報記憶部に記憶された画像サイズに基づいて、フィールド毎の画像データを識別する。ＩＰ変換処理部１０４は、ＩＰ変換に必要なフィールド数分の画像データが内部メモリに記憶されて、ＩＰ変換可能となったフィールドから順にＩＰ変換を行う。ＩＰ変換処理部１０４は、ＩＰ変換後の画像データを画像出力部１０５に出力する。
【００４４】
画像出力部１０５は、ＩＰ変換処理部１０４から出力された画像データのうち、ブランクデータ部を除いたＬ画像データ部及びＲ画像データ部の画像データに基づいて、Ｌ画像及びＲ画像を表示装置に出力する。なお、画像出力部１０５は、データ処理情報記憶部１０２及び画像情報記憶部から取得した画像位置特定情報に基づいて、画像データからブランクデータ部を除いたＬ画像データ部及びＲ画像データ部の位置を特定する。また、画像出力部１０５は、データ処理情報記憶部１０２から取得した画像サイズに基づいて、画像データからブランクデータ部を除いたＬ画像データ部及びＲ画像データ部の位置を特定するようにしてもよい。
【００４５】
続いて、図２を参照して、データ加工部１０３の処理について説明する。図２は、本発明の実施の形態１にかかるデータ加工部１０３の処理を示す動作フロー図である。
【００４６】
データ加工部１０３は、データ処理情報記憶部１０２から、フォーマット情報、画像サイズ及びブランクデータ情報等を取得する(Ｓ００１)。データ加工部１０３は、画像生成部１０１から出力された画像データを取得する(Ｓ００２)。データ加工部１０３は、データ処理情報記憶部１０２から取得したフォーマット情報、画像サイズ及びブランクデータ情報に基づいて、画像データにブランクデータを付加する(Ｓ００３)。データ加工部１０３は、例えば、フォーマット情報に基づいて、入力される画像データのフォーマットを特定する。そして、データ加工部１０３は、特定したフォーマットに応じたブランクデータ合成処理を実行する。
【００４７】
ここで、図３〜６を参照して、ステップＳ００３におけるブランクデータ合成処理について詳細に説明する。まず、図３を参照して、ＳｉｄｅＢｙＳｉｄｅフォーマットの画像データを処理する場合におけるブランクデータ合成処理について説明する。図３は、ＳｉｄｅＢｙＳｉｄｅフォーマットの画像データを処理する場合におけるブランクデータ合成処理を示す動作フロー図である。
【００４８】
ＳｉｄｅＢｙＳｉｄｅフォーマットの画像データを処理する場合、データ加工部１０３は、データ処理情報記憶部１０２から取得した画像サイズに基づいて、画像データのＬ画像データ部のうちの１ライン目のデータをＩＰ変換処理部１０４に出力する(Ｓ２０１)。つまり、データ処理情報記憶部１０２に格納される画像サイズは、１ラインにおけるＬ画像データ部、Ｒ画像データ部及びブランクデータ部の幅を特定可能な情報を含む。次に、データ加工部１０３は、データ処理情報記憶部１０２から取得した画像サイズに基づいて、１ライン目のブランクデータをＩＰ変換処理部１０４に出力する(Ｓ２０２)。ここでは、１ブロック幅のブランクデータが１ライン分出力される。次に、データ加工部１０３は、画像データのＲ画像データ部のうちの１ライン目のデータをＩＰ変換処理部１０４に出力する(Ｓ２０３)。
【００４９】
次に、データ加工部１０３は、画像データの全ラインを出力したか否かを判定する(Ｓ２０４)。ここで、画像データは、３ライン以上あるものとすると、データ加工部１０３は、画像データの全ラインを出力していないと判定する(Ｓ２０４：Ｎｏ)。そのように判定した場合、データ加工部１０３は、ステップＳ２０１〜２０３と同様の処理を、２ライン目、３ライン目の順に、全ラインの画像データを出力するまで繰り返す。ＩＰ変換処理部１０４は、データ加工部１０３から入力された画像データを内部メモリに格納する。
【００５０】
データ加工部１０３は、画像データの全ラインを出力したと判定した場合(Ｓ２０４：Ｙｅｓ)、その画像データに対する処理を終了する。
【００５１】
ここで、図４に、図３に示す処理によって、ＩＰ変換処理部１０４に出力される画像データによって表示される画像を示す。図４に示すように、ＳｉｄｅＢｙＳｉｄｅフォーマットの画像データは、その画像データによって表示される画像が、Ｌ画像３０１とＲ画像３０２の間に１ブロック幅のブランクデータ画像３０３が付加された形となるように加工される。
【００５２】
続いて、図５を参照して、ＴｏｐＡｎｄＢｏｔｔｏｍフォーマットの画像データを処理する場合におけるブランクデータ合成処理について説明する。図５は、ＴｏｐＡｎｄＢｏｔｔｏｍフォーマットの画像データを処理する場合におけるブランクデータ合成処理を示す動作フロー図である。
【００５３】
ＴｏｐＡｎｄＢｏｔｔｏｍフォーマットの画像データを処理する場合、データ加工部１０３は、画像データのうち、Ｌ画像データ部の全ラインをＩＰ変換処理部１０４に出力する(Ｓ４０１)。なお、データ加工部１０３は、データ処理情報記憶部１０２から取得した画像サイズに基づいて、Ｌ画像データ部の全ラインのサイズを認識する。次に、データ加工部１０３は、１ブロック幅分のライン数のブランクデータをＩＰ変換処理部１０４に出力する(Ｓ４０２)。次に、データ加工部１０３は、Ｒ画像データ部の全ラインをＩＰ変換処理部１０４に出力する(Ｓ４０３)。なお、データ加工部１０３は、データ処理情報記憶部１０２から取得した画像サイズに基づいて、Ｒ画像データ部の全ラインを認識する。
【００５４】
ここで、図６に、図５に示す処理によって、ＩＰ変換処理部１０４に入力される画像データによって表示される画像を示す。図６に示すように、ＴｏｐＡｎｄＢｏｔｔｏｍフォーマットの画像データは、その画像データによって表示される画像が、Ｌ画像５０１とＲ画像５０２の間にブランクデータ画像５０３が付加された形となるように加工される。
【００５５】
続いて、ＦｒｅｍｅＳｅｑｕｅｎｔｉａｌフォーマットの画像データを処理する場合におけるブランクデータ合成処理について説明する。
ＦｒｅｍｅＳｅｑｕｅｎｔｉａｌフォーマットの画像データを処理する場合、データ加工部１０３は、Ｌ画像を表示する画像データとＲ画像を表示する画像データとを１つの画像データとして処理すること以外は、図３又は図５を参照して説明した処理と同様の処理をする。つまり、データ加工部１０３は、図４及び図６におけるＬ画像３０１、５０１及びＲ画像３０２、５０２のそれぞれのサイズが１インタレース画像分のサイズとなる１つの画像を表示する画像データ生成する。
【００５６】
具体的には、次のように処理してもよい。データ加工部１０３は、Ｌ画像を表示する画像データが画像生成部１０１から入力された場合、その画像データを内部バッファに格納する。その後、Ｒ画像を表示する画像データの入力が開始された場合に、図３又は図５における処理を開始する。なお、図３又は図５に示す処理のうち、どちらの処理を行うかは、任意に選択可能とする。
【００５７】
続いて、図７及び図８を参照して、ＩＰ変換処理部１０４における処理について説明する。まず、図７を参照して、ＦｒｅａｍＳｅｑｕｅｎｔｉａｌフォーマットの画像データに、図３に示す処理によってブランクデータを付加した場合における動きベクトル検出処理について説明する。図７は、本発明の実施の形態１にかかる動きベクトル検出の概念図である。
【００５８】
ここで、本実施の形態におけるＦｒａｍｅＳｅｑｕｅｎｔｉａｌフォーマットは、時系列に沿って、奇数ラインのインタレース画像と、偶数ラインのインタレース画像と、が２つずつ交互に並んでいるものとする。ここでは、フィールドｍ〜ｍ＋５の順に、奇数ラインのＬ画像、奇数ラインのＲ画像、偶数ラインのＬ画像、偶数ラインのＲ画像、奇数ラインのＬ画像、奇数ラインのＲ画像が並んでいる場合について例示する(ｍは、任意の正整数)。
【００５９】
この場合、図７に示すように、データ加工部１０３によって、Ｌ画像とＲ画像の間にブランクデータ画像が付加された画像データが生成される。つまり、図７では、フィールドｍ及びフィールドｍ＋１の画像データから生成された画像データによって表示される画像６００と、フィールドｍ＋４及びフィールドｍ＋５の画像データから生成された画像データによって表示される画像６０２を示している。なお、図７では、図３に示す処理によって、図４に示すような１つの画像データに変換した場合について例示している。例えば、ＩＰ変換処理部１０４は、フィールドｍ＋２における奇数ラインのＬ画像を表示する画像データと、フィールドｍ＋３における奇数ラインのＲ画像を表示する画像データとを補間する場合、画像６００の画像データ及び画像６０２の画像データに基づいて、補間画像６０１の補間画像データを生成することになる。
【００６０】
ＩＰ変換処理部１０４は、補間画像６０１を表示する画像データを生成する場合、画像データによって表示される画像を、それぞれがＭ×Ｎ画素の複数のブロック６０７に分割する。ここで、Ｍ及びＮのそれぞれは、任意の正整数である。そして、ＩＰ変換処理部１０４は、通常の走査線方式の通りに、画面の左上から右下に向かって、ブロック単位で処理をしていく。
【００６１】
ＩＰ変換処理部１０４は、補間画像６０１を表示する画像データを生成する過程において、現在処理ブロック６０４に対して、候補ベクトル６０６によって参照される画像６００の参照ブロック１(６０３)と、画像６０２の参照ブロック２(６０５)とのＳＡＤを計算する。
【００６２】
このとき、時間軸上、補間画像６０１から、１つ前となる画像６００も、１つ後となる画像６０２も、図４に示すような補間画像６０１と同じ構成の画像となる。つまり、１つ前の画像６００の任意のブロックと、１つ後の画像６０２のその任意のブロックと同じ位置のブロックは、Ｌ画像及びＲ画像のうち、同一の画像に含まれるようになる。よって、１つ前の画像６００の参照ブロック１(６０３)と１つ後の画像６０２の参照ブロック２(６０５)を使用しても、Ｌ画像とＲ画像を混合してＩＰ変換を行ってしまうことがなくなる。その結果、正しくＩＰ変換を行うことができるようになる。
【００６３】
また、ＦｒｅａｍＳｅｑｕｅｎｔｉａｌフォーマットの画像データを、図５に示す処理によってブランクデータを付加した場合も、上述と同様に、１つ前の画像の任意のブロックと、１つ後の画像のその任意のブロックと同じ位置のブロックは、Ｌ画像及びＲ画像のうち、同一の画像に含まれることになることは明白である。そのため、詳細な説明は省略する。つまり、図５に示す処理によって、図６に示すようにブランクデータを付加した画像データを生成した場合であっても、Ｌ画像とＲ画像を混合してＩＰ変換を行ってしまうことがなくなるため、正しくＩＰ変換を行うことができるようになる。
【００６４】
続いて、図８を参照して、ＳｉｄｅＢｙＳｉｄｅフォーマットの画像データに、図３に示す処理によってブランクデータを付加した場合における動きベクトル検出処理について説明する。図８は、本発明の実施の形態１にかかる候補ベクトルとするブロックの説明図である。
【００６５】
なお、ここでは、フィールドｎ−２におけるインタレース画像を表示する画像データと、フィールドｎにおけるインタレース画像を表示する画像データに基づいて、フィールドｎ−１におけるインタレース画像を表示する補間画像データを補間する場合について説明する(ｎは、任意の正整数)。つまり、フィールドｎ−１におけるプログレッシブ画像を生成するために、フィールドｎ−１におけるインタレース画像に合成されるインタレース画像を表示する補間画像データを生成する場合について説明する。例えば、フィールドｎ、ｎ−２におけるインタレース画像が奇数ラインに表示される画像であり、フィールドｎ−１におけるインタレース画像が偶数ラインに表示される画像である。
【００６６】
ＩＰ変換処理部１０４は、補間フィールド画像(フィールドｎ−１画像)７００を表示する補間画像データを生成するために、１フィールドにおける画像７００を、Ｍ×Ｎ画素の複数のブロック７０１に分割する。また、現在処理ブロック７０２の周辺には、現在処理ブロック７０２と相関が高い８個の周辺ブロック７０３が存在する。なお、図８は、補間フィールド画像７００を生成する処理がある程度進んだ状態を示す。この場合、ＩＰ変換処理部１０４は、現在処理ブロック７０２と相関が高い周辺ブロック７０３における動きベクトルを検出済みのブロック７０４、７０５、７０６、７０７の動きベクトルを候補ベクトルにする。
【００６７】
つまり、図８に示すように、Ｒ画像に含まれるブロックの動きベクトルが候補ベクトルとして使用されることはなく、ブランクデータ上に存在するブロック７０６の動きベクトルが候補ベクトルとして使用される。ここで、補間フィールド画像７００においてブランクデータ上に存在するブロック７０６と、１フィールド前の画像(フィールドｎ−２画像)及び１フィールド後の画像(フィールドｎ画像)においてブロック７０６と同位置のブロックとは、それらのブロックに含まれる画素値が常に同一の値となっている。そのため、ブロック７０６において、動きベクトルが検出されることはない。よって、ブロック７０６の候補ベクトルは、現在処理ブロック７０２のＩＰ変換処理に悪影響を及ぼすことはない。
【００６８】
次に、その理由について具体的に説明する。上述したように、ブロック７０６における候補ベクトルは０である。そのため、例えば、現在処理ブロック７０２に本来動きベクトルがある場合には、ブロック７０６の候補ベクトルによって計算したＳＡＤが最小値となることはない。そのため、この場合は、ブロック７０６の候補ベクトルではなく、ブロック７０４、７０５、７０７の候補ベクトルのうちのいずれかが、現在処理ブロック７０２の動きベクトルとして検出されるようになる。
【００６９】
つまり、Ｌ画像に含まれるブロックの候補ベクトルのうちのいずれかが、現在処理ブロック７０２の動きベクトルとして検出されることになる。よって、背景技術として説明したように、Ｒ画像に含まれるブロックの候補ベクトルが動きベクトルとして検出されなくなる。その結果、現在処理ブロック７０２の動きベクトルとして、ＳＡＤが偶然最小値となるが本来と異なる向きの候補ベクトルを動きベクトルとして決定することがなくなる。つまり、Ｌ画像右端とＲ画像左端の境界部分において、誤ったＩＰ変換結果が生成されないようにすることができる。
【００７０】
一方、ブロック７０６の候補ベクトルに基づいて計算したＳＡＤが最小値となることも考えられる。しかし、この場合は、ブロック７０６の候補ベクトルは０である。そのため、ブロック７０６の候補ベクトルは、ＳＡＤが偶然最小値となるが本来と異なる向きの動きベクトルとなることはない。したがって、この場合におけるブロック７０６の候補ベクトルは、妥当な動きベクトルであるため、動きベクトルとして検出されても問題となることはない。つまり、この場合は、現在処理ブロック７０２と相関が高いブロック７０４、７０５、７０７における動きベクトルもほぼ０に近い値になっていると考えられる。
【００７１】
ＩＰ変換処理部１０４は、候補ベクトルの中から、ＳＡＤが最小値となる候補ベクトルを、現在処理ブロック７０２の動きベクトルとして決定する。ＩＰ変換処理部１０４は、決定した動きベクトルに基づいて、現在処理ブロック７０２の画素値を算出して、現在処理ブロック７０２における画像を補間する。このようにして、ＩＰ変換処理部１０４は、補間フィールド画像７００に含まれる全てのブロックにおける画像を補間して、補間フィールド画像７００を表示する補間画像データを生成する。ＩＰ変換処理部１０４は、生成した補間画像データと、その補間画像データと同一フィールドの画像データを合成して、プログレッシブ画像を表示する画像データを生成する。ここで、ＩＰ変換処理部１０４は、例えば、補間画像データによって表示されるインタレース画像によって補間されるインタレース画像を表示する画像データをデータ加工部１０３から取得しておく。そして、ＩＰ変換処理部１０４は、プログレッシブ画像の画像データを画像出力部１０５に出力する。
【００７２】
画像出力部１０５は、ＩＰ変換処理部１０４から出力された画像データによって表示される画像のうち、ブランク画像を除くＲ画像及びＬ画像を１画像として表示装置に出力する。これによって、補間画像データによって表示されるインタレース画像と、このインタレース画像によって補間されるインタレース画像のうち、ブランク画像を除くＲ画像及びＬ画像が１つのプログレッシブ画像として出力される。
【００７３】
なお、上述した本実施の形態によれば、ＴｏｐＡｎｄＢｏｔｔｏｍフォーマットの画像データに、図５に示すブランクデータを付加した場合でも、Ｌ画像下端とＲ画像上端の境界部分において、誤ったＩＰ変換結果が生成されないことは明白である。そのため、詳細な説明は省略する。
【００７４】
以上に説明したように、本実施の形態１では、データ加工部１０３は、複数の立体画像データ間を補間する補間画像データを生成する場合に、立体画像を表示するＬ画像及びＲ画像を含む画像を示す立体画像データから、Ｌ画像とＲ画像との間に１ブロック以上のブランクデータ画像を含めた画像を示す加工画像データを生成するようにしている。ＩＰ変換処理部１０４は、複数の加工画像データ間を補間する加工補間画像データが示す画像に含まれる現在処理ブロックから所定の範囲に含まれ、動きベクトルを検出済みの複数のブロックの動きベクトルを、現在処理ブロックの動きベクトルの候補ベクトルとして決定するようにしている。ＩＰ変換処理部１０４は、決定した動きベクトルに基づいて、現在処理ブロックにおける画像を補間して、加工補間画像データを生成するようにしている。そして、画像出力部１０５は、加工補間画像データに基づいて、複数の加工画像データの生成に用いられた複数の画像データ間を補間する補間画像データを出力するようにしている。
【００７５】
これによれば、Ｌ画像とＲ画像の間にブランクデータ画像を含めるようにしているため、Ｌ画像とＲ画像の境界付近において、現在処理ブロックの動きベクトルを決定する場合に、Ｌ画像及びＲ画像のうち、現在処理ブロックが含まれていない画像に含まれる候補ブロックが動きベクトルとして決定されることを防ぐことができる。そのため、立体映像用の画像データ間を補間する補間画像データを正しく生成することができる。
【００７６】
また、本実施の形態１では、データ加工部１０３は、ＦｒｅａｍＳｅｑｕｅｎｔｉａｌフォーマットのように、第１のフィールドにおけるＬ画像を示す画像データと、第１のフィールドに後続する第２のフィールドにおけるＲ画像を示す画像データとから、１つの画像を示す加工画像データを生成するようにしている。
【００７７】
これによれば、時間軸上で、加工補間画像データから、１つ前の加工画像データが示す画像における任意のブロックと、１つ後の加工画像データが示す画像においてその任意のブロックと同じ位置のブロックは、Ｌ画像及びＲ画像のうち、同一の画像に含まれるようになる。そのため、ＦｒｅａｍＳｅｑｕｅｎｔｉａｌフォーマットのように、時系列にそって、Ｌ画像とＲ画像が交互に存在する場合であっても、Ｌ画像とＲ画像を混合して現在処理ブロックの画像を補間することがなくなる。つまり、補間画像データを正しく生成することができる。
【００７８】
本発明の実施の形態２．
図９を参照して、本発明の実施の形態２にかかる立体映像表示システムの構成について説明する。図９は、本発明の実施の形態２にかかる立体映像表示システムの構成図である。
【００７９】
立体映像表示システム８０は、画像生成部８０１、データ処理情報記憶部８０２、データ加工部８０３、ＩＰ変換処理部８０４、画像出力部８０５及び画像データメモリ８０６を有する。
【００８０】
画像生成部８０１は、生成した画像データを画像データメモリ８０６に格納する点、及び、画像データを生成したときに画像生成完了通知をデータ加工部８０３に出力する点、が、実施の形態１にかかる画像生成部１０１と異なる。
データ処理情報記憶部８０２は、実施の形態１にかかるデータ処理情報記憶部１０２と同様に機能する。
【００８１】
データ加工部８０３は、画像データを画像データメモリ８０６から取得して、取得した画像データにブランクデータを付加する点、ブランクデータを付加した画像データをデータ処理情報記憶部８０２に格納する点、及び、ブランクデータを付加した画像データを生成したときにデータ加工完了通知をＩＰ変換処理部８０４に出力する点が、実施の形態１にかかるデータ加工部１０３と異なる。
【００８２】
ＩＰ変換処理部８０４は、ブランクデータが付加された画像データを画像データメモリ８０６から取得して、取得した画像データをＩＰ変換した画像データを画像データメモリ８０６に格納する点が、実施の形態１にかかるＩＰ変換処理部１０４と異なる。
画像出力部８０５は、ＩＰ変換された画像データを画像データメモリ８０６から取得する点が、実施の形態１にかかる画像出力部１０５と異なる。
【００８３】
画像データメモリ８０６は、画像データが格納される。画像データメモリ８０６は、メモリに限定されない。例えば、画像データメモリ８０６は、メモリ及びハードディスク等の他の記憶装置であってもよい。なお、本実施の形態２では、画像データが画像データメモリ８０６に格納されるため、データ加工部８０３の内部バッファ及びＩＰ変換処理部８０４の内部メモリは不要となる。
【００８４】
続いて、図９を参照して、本発明の実施の形態２にかかる立体映像表示システム８０の処理について説明する。
【００８５】
画像生成部８０１は、外部からの入力された入力データ１０６から、画像データを生成する。画像生成部８０１は、生成した画像データを画像データメモリ８０６に格納する。画像生成部８０１は、画像データメモリ８０６上の画像データを格納したアドレスを画像情報記憶部に格納する。そして、画像生成部８０１は、画像生成完了通知をデータ加工部８０３に出力する。
【００８６】
データ加工部８０３は、画像生成部８０１から出力された画像生成完了通知に応じて、画像生成部８０１が生成した画像データを画像データメモリ８０６から取得する。なお、データ加工部８０３は、画像生成部８０１が画像情報記憶部に格納したアドレスから、画像データを取得する。データ加工部８０３は、取得した画像データにブランクデータを付加する。データ加工部８０３は、ブランクデータを加工した画像データを画像データメモリ８０６に格納する。データ加工部８０３は、画像データメモリ８０６上の画像データを格納したアドレスを画像情報記憶部に格納する。そして、データ加工部８０３は、データ加工完了通知をＩＰ変換処理部８０４に出力する。
【００８７】
ＩＰ変換処理部８０４は、データ加工部８０３から出力されたデータ加工完了通知に応じて、データ加工部８０３が生成した画像データを画像データメモリ８０６から取得する。なお、ＩＰ変換処理部８０４は、データ加工部８０３が画像情報記憶部に格納したアドレスから画像データを取得する。データ加工部８０３は、ＩＰ変換に必要なフィールド数の画像データを取得し、取得した画像データが格納されていた領域とは別の作業用領域に格納しなおす。ＩＰ変換処理部８０４は、ＩＰ変換に必要なフィールド数の画像データが作業用領域に記憶されて、ＩＰ変換可能となったフィールドから順にＩＰ変換を行う。ＩＰ変換処理部８０４は、ＩＰ変換後の画像データを画像データメモリ８０６に格納する。ＩＰ変換処理部８０４は、画像データメモリ８０６上の画像データを格納したアドレスを画像情報記憶部に格納する。
【００８８】
画像出力部８０５は、任意の出力タイミングで、ＩＰ変換処理部８０４が生成した画像データを画像データメモリ８０６から取得する。なお、画像出力部８０５は、ＩＰ変換処理部８０４が画像情報記憶部に格納したアドレスから画像データを取得する。画像出力部８０５は、取得した画像データからブランクデータ部を除いたＬ画像データ部及びＲ画像データ部の画像データに基づいて、Ｌ画像及びＲ画像を出力画像１０７として表示装置に出力する。
【００８９】
ここで、テレビ等の家庭用映像機器では、入力データが入力されてから画像を出力するまでのタイミングが調整されている。このタイミングは、入力データの入力から画像を出力するまでの間に画像データをメモリに一時的に格納することによって、ＩＰ変換後の画像データを任意のタイミングで出力することを可能となるように調整する方法が一般的となっている。
【００９０】
以上に説明したように、本実施の形態２では、ＩＰ変換処理部は、ＩＰ変換後の画像データを画像データメモリに格納するようにしている。そして、画像出力部は、画像データメモリに格納された画像データを取得して、取得した画像データに基づいて、出力画像を出力するようにしている。これによれば、ＩＰ変換後の画像を任意のタイミングで出力することができる。
【００９１】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
本実施の形態では、ＩＰ変換において補間する画像データを生成する場合について例示したが、立体映像用画像データを補間する画像データを生成する場合であれば、これに限られない。例えば、ＩＰ変換をせずに、単純に複数の画像データ間に補間する画像データを追加する場合にも適用することができる。
【００９２】
本実施の形態では、Ｌ画像とＲ画像の間にブランクデータ画像を１ブロック分付加するようにしているが、付加するブランクデータのサイズはこれに限られない。つまり、Ｌ画像とＲ画像の間に１ブロック以上のサイズのブランクデータ画像を付加するようにしてもよい。
【００９３】
本実施の形態では、現在処理ブロックから１ブロック分の範囲内の８つのブロックから、候補ベクトルとするようにしているが、現在処理ブロックと相関が高くなる所定の範囲内であれば、これに限られない。例えば、現在処理ブロックから２ブロック分の範囲内のブロックまで現在処理ブロックと相関が高い場合は、現在処理ブロックから２ブロック分の範囲内の２４つのブロックを候補ベクトルとしてもよい。この場合、例えば、２ブロック以上のサイズのブランクデータ画像を付加することによって、Ｌ画像及びＲ画像のうち、現在処理ブロックが含まれていない画像に含まれる候補ブロックが動きベクトルとして決定されることを防ぐことができる。
【００９４】
本実施の形態では、ＳＡＤを計算することによって、候補ベクトルから動きベクトルを検出するようにしているが、参照ブロック１と参照ブロック２との画素値の差分に基づいて、候補ベクトルを評価する方法であれば、これに限られない。例えば、差分二乗和(以下、「ＳＳＤ(Sum Of Squared Difference)」とする)によって、候補ベクトルを評価するようにしてもよい。
【００９５】
本実施の形態２では、画像生成部８０１、データ加工部８０３、ＩＰ変換処理部８０４及び画像出力部８０５が、画像データメモリ８０６を使用しているが、これらの全てが画像データメモリ８０６を使用しなくてもよい。具体的には、本実施の形態２は、画像生成部８０１が画像データを格納するとともに、データ加工部８０３が画像データを取得する手段Ａと、データ加工部８０３が画像データを格納するとともに、ＩＰ変換処理部８０４が画像データを取得する手段Ｂと、ＩＰ変換処理部８０４が画像データを格納するとともに、画像出力部８０５が画像データを取得する手段Ｃとを有している。これらの手段Ａ〜Ｃのうち、任意の１つ又は２つの手段を実装するようにしてもよい。つまり、手段Ａ〜Ｃのうち、任意の１つ又は２つの手段に対応する処理については、実施の形態１と同様に画像データメモリ８０６を使用しないよういしてもよい。例えば、手段Ａ、Ｃのみを実装した場合、データ加工部８０３は画像データを画像データメモリ８０６に格納せずに、ＩＰ変換処理部８０４に直接出力する。
【００９６】
以上に説明した本発明にかかる立体映像表示システムは、上述の実施の形態の機能を実現するプログラムを、コンピュータ又はシステムが有するＣＰＵ(Central Processing Unit)、ＭＰＵ(Micro Processing Unit)、ＭＣＵ(Micro Control Unit)が実行することによって、構成することが可能である。
【００９７】
また、このプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、ＣＤ−ＲＯＭ(Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ(例えば、マスクＲＯＭ、ＰＲＯＭ(Programmable ROM）、ＥＰＲＯＭ(Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ(Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【００９８】
また、コンピュータが上述の実施の形態の機能を実現するプログラムを実行することにより、上述の実施の形態の機能が実現される場合のみに限定されない。このプログラムが、コンピュータ上で稼動しているＯＳ(Operating System)もしくはアプリケーションソフトウェアと共同して、上述の実施の形態の機能を実現する場合も、本発明の実施の形態に含まれる。さらに、このプログラムの処理の全てもしくは一部がコンピュータに挿入された機能拡張ボードや、コンピュータに接続された機能拡張ユニットによって行われて、上述の実施の形態の機能が実現される場合も、本発明の実施の形態に含まれる。
【符号の説明】
【００９９】
１０、８０ 立体映像表示システム
１０１、８０１ 画像生成部
１０２、８０２ データ処理情報記憶部
１０３、８０３ データ加工部
１０４、８０４ ＩＰ変換処理部
１０５、８０５ 画像出力部
１０６、８０６ 入力データ
１０７、８０７ 出力画像
３０１、５０１ Ｌ画像
３０２、５０２ Ｒ画像
３０３、５０３ ブランクデータ画像
６００、６０２ 画像
６０１ 補間画像
６０３、１００３、１３０３ 参照ブロック１
６０４、７０２ 、１００４、１１０２、１３０４、１４０２ 現在処理ブロック
６０５、１００５、１３０５ 参照ブロック２
６０６、９１３、１００６、１３０６ 候補ベクトル
６０７、７０１、１１０１、１４０１ ブロック
７００ １フィールド画像
８０８ 画像データメモリ
７０３、１１０３、１４０３ 周辺ブロック
７０４、７０５、７０６、７０７、１１０４、１１０５、１１０６、１１０７、１４０４、１４０５、１４０６、１４０７ 候補ベクトルとするブロック
９００ ＳＡＤ演算部
９０１ ＳＡＤ最小値判定部
９０２ 候補ベクトル生成部
９０３ 動きベクトル決定部
９０４ メモリ
９１０ １フィールド前画像データ
９１１ １フィールド後画像データ
９１２ 演算結果
９１４ 判定結果
９１５ 動きベクトル
９１６ 既検出ベクトル
１０００ フィールドｎ−２画像
１００１ フィールドｎ−１画像(補間)
１００２ フィールドｎ画像
１００７、１３０７ 画素ブロック
１１００、１４００ １フィールド画面
１１０８ 処理済みブロック
１３００ １フィールド前の画像(フィールドｎ−２画像)
１３０１ 補間フィールド画像(フィールドｎ−１画像)
１３０２ １フィールド後の画像(フィールドｎ画像)
１４０８ Ｒ画像とＬ画像の画像境界
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関し、特に立体映像用画像データを処理する技術に関する。
【背景技術】
【０００２】
近年、テレビは、ディスプレイ部がブラウン管から液晶ディスプレイ、プラズマディスプレイ及び有機ＥＬディスプレイ等のフラットパネルディスプレイに移行してきている。家庭用映像機器分野においては、地上デジタル放送対応テレビに、フラットパネルディスプレイが採用されている。そして、フラットパネルディスプレイの表示特定上、ＩＰ(Interlace/Progressive)変換技術は、必須となってきている。
【０００３】
ここで、図１０〜図１２を参照して、特許文献１に開示のＩＰ変換処理における動きベクトル検出方法について説明する。図１０は、特許文献１にかかる動きベクトル検出の概念図である。図１１は、特許文献１にかかる動き補償型ＩＰ変換処理装置の構成図である。図１２は、特許文献１にかかる候補ベクトルとするブロックの説明図である。
【０００４】
図１０に示すように、特許文献１にかかるＩＰ変換処理は、フィールドｎ画像１００２と、フィールドｎ画像１００２から２フィールド離れたフィールドｎ−２画像１０００との間に、フィールドｎ−１画像１００１を補間する。なお、フィールドｎ画像１００２、フィールドｎ−２画像１０００及びフィールドｎ−１画像１００１は、インタレース画像である。ＩＰ変換処理は、補間フィールド画像１００１を生成するときに、動きベクトルを使用する。
【０００５】
続いて、図１０を参照して、特許文献１にかかるＩＰ変換処理における動きベクトル検出処理について説明する。特許文献１にかかる動きベクトル検出処理は、補間フィールド画像１００１を生成するために、１フィールド画面をＭ×Ｎの画素ブロック１００７に分割する。そして、特許文献１にかかる動きベクトル検出処理は、通常の走査線方式の通りに、画面の左上から右下に向かって、ブロック単位で処理をしていく。
【０００６】
特許文献１にかかる動きベクトル検出処理は、補間フィールド画像(フィールドｎ−１画像)１００１を生成する過程において、現在処理中のブロック１００４に対して、候補ベクトル１００６によって参照される１フィールド前の画像(フィールドｎ−２画像)１０００の参照ブロック１(１００３)と、１フィールド後の画像(フィールドｎ画像)１００２の参照ブロック２(１００５)との差分を計算する。この差分は、参照ブロック１(１００３)と参照ブロック２(１００５)のそれぞれの画素の差分絶対値和(以下、「ＳＡＤ(Sum Of Absolute Difference)」とする)として計算される。特許文献１にかかる動きベクトル検出処理は、全ての候補ベクトルについてＳＡＤを計算して、ＳＡＤが最小値を示す候補ベクトルを現在処理ブロック１００４の動きベクトルとして決定する。
【０００７】
続いて、図１１を参照して、特許文献１にかかる動きベクトル検出処理について説明する。ＳＡＤ演算部９００には、補間フィールド画像の１フィールド前の画像データ９１０と、補間フィールド画像の１フィールド後の画像データ９１１が入力される。ＳＡＤ演算部９００は、候補ベクトル生成部９０２から出力される候補ベクトル９１３が指し示す参照ブロック１と参照ブロック２の間のＳＡＤを計算する。ＳＡＤ演算部９００は、候補ベクトルの全てに対して、同様の演算を行う。ＳＡＤ最小値判定部９０１は、ＳＡＤ演算部９００による演算結果９１２の中から、ＳＡＤの最小値を判定する。動きベクトル決定部９０３は、ＳＡＤ最小値判定部９０１による判定結果９１４に基づいて、候補ベクトル９１３の中から現在処理中のブロックの動きベクトル９１５を決定する。
【０００８】
続いて、図１２を参照して、動きベクトル検出処理について説明する。図１２に示すように、１フィールド画面１１００内において、現在処理ブロック１１０２の周辺には、現在処理ブロック１１０２と相関が高い周辺ブロック１１０３が存在する。図１２は、補間フィールド画像を生成する処理がある程度進んだ状態を示す。図１１において示すように、動きベクトル９１５は、メモリ９０４に保存される。メモリ９０４に保存された既検出ベクトル９１６は、次期処理ブロックにおける処理で候補ベクトルとして使用される。ここで、周辺ブロック１１０３のブロック１１０４、１１０５、１１０６、１１０７は、現在処理ブロック１１０２と相関が高く、動きベクトルを検出済みのブロックである。つまり、ブロック１１０４、１１０５、１１０６、１１０７における検出済み動きベクトルを候補ベクトルして使用する。これによれば、全探索方式に比べて、動きベクトル検出のための演算処理量を低減することができる。
【０００９】
他方、家庭用映像機器分野における立体映像規格が確立したことにより、その規格を満足するテレビの実装が求められている。それに伴い、立体映像用の画像データに対してもＩＰ変換を行うことができるようにする必要がでてきた。しかし、特許文献１に開示されている技術は、立体映像用の画像データに対応したＩＰ変換方法ではない。そのため、立体映像用の画像データに対してＩＰ変換を行うと、誤変換を起こしてしまうという問題がある。
【００１０】
以下、その問題について具体的に説明する。上述したように、特許文献１にかかるＩＰ変換処理は、動き補償型ＩＰ変換処理装置に入力される画像データのそれぞれが、全て同じ種類の画像を表示することを前提として、１フィールド前の画像データ及び１フィールド後の画像データを使用してＩＰ変換を行っている。また、特許文献１にかかるＩＰ変換処理は、動き補償型ＩＰ変換処理装置に入力される画像データによって表示される画像が、同じ種類の画像のみを含んでいることを前提として、現在処理中のブロックと相関が高い周辺ブロックにおける検出済み動きベクトルを候補ベクトルとして使用してＩＰ変換を行っている。
【００１１】
それに対して、図１３に示すように、立体映像のデータ構成方式の１つであるＦｒａｍｅＳｅｑｕｅｎｔｉａｌフォーマットでは、左目用画像(以下、「Ｌ画像」とする)と、右目用画像(以下、「Ｒ画像」とする)が時系列に沿って、交互に存在している。つまり、ＦｒａｍｅＳｅｑｕｅｎｔｉａｌフォーマットは、Ｌ画像とＲ画像が１フィールド毎に交互に入力されるフォーマットである。また、図１４及び図１５に示すように、ＳｉｄｅＢｙＳｉｄｅフォーマット及びＴｏｐＡｎｄＢｏｔｔｏｍフォーマットの画像は、画像内にＬ画像とＲ画像が左右又は上下に並んで配置されている。つまり、ＳｉｄｅＢｙＳｉｄｅフォーマット及びＴｏｐＡｎｄＢｏｔｔｏｍフォーマットは、同一のフィールドにおいて、Ｌ画像とＲ画像が同時に入力されるフォーマットである。
【００１２】
このため、これらの立体映像用の画像データを、特許文献１にかかるＩＰ変換処理によって変換した場合、次に述べるような問題が発生する。
【００１３】
図１６を参照して、特許文献１にかかる動き補償型ＩＰ変換処理装置に対して、ＦｒａｍｅＳｅｑｕｅｎｔｉａｌフォーマットの立体映像用の画像データが入力された場合について説明する。
【００１４】
動き補償型ＩＰ変換処理装置は、補間フィールド画像(フィールドｎ−１画像)１３０１を生成するために、１フィールド画面をＭ×Ｎの画素ブロック１３０７に分割する。そして、動き補償型ＩＰ変換処理装置は、通常の走査線方式の通りに、画面の左上から右下に向かって、ブロック単位で処理をしていく。
【００１５】
動き補償型ＩＰ変換処理装置は、補間フィールド画像(フィールドｎ−１画像)１３０１を生成する過程において、現在処理ブロック１３０４に対して、候補ベクトル１３０６によって参照される１フィールド前の画像(フィールドｎ−２画像)１３００の参照ブロック１(１３０３)と、１フィールド後の画像(フィールドｎ画像)１３０２の参照ブロック２(１３０５)との差分を計算する。ここで、動き補償型ＩＰ変換処理装置に入力された画像データは、ＦｒａｍｅＳｅｑｕｅｎｔｉａｌフォーマットの立体映像用の画像データである。そのため、１フィールド前の画像１３００をＬ画像とした場合、Ｒ画像である補間フィールド画像１３０１の現在処理ブロック１３０４に対する処理において、Ｌ画像である１フィールド前の画像１３００の参照ブロック１(１３０３)、及び、Ｌ画像である１フィールド後の画像１３０２の参照ブロック２(１３０５)が使用されてしまう。その結果、Ｌ画像とＲ画像を混合してＩＰ変換を行ってしまい、誤ったＩＰ変換結果が生成されてしまうという問題がある。
【００１６】
続いて、図１７を参照して、特許文献１にかかる動き補償型ＩＰ変換処理装置に対して、ＳｉｄｅＢｙＳｉｄｅフォーマットの立体映像用画像データが入力された場合について説明する。
【００１７】
図１４に示すように、ＳｙｄｅＢｙＳｉｄｅフォーマットの立体映像用の画像データによって表示される画像は、１フィールド画面の左側にＬ画像、右側にＲ画像が配置されている。図１７において、Ｌ画像とＲ画像の境界を画像境界１４０８として示す。Ｌ画像とＲ画像の画像境界１４０８は、通常、１フィールド画面１４００の中央に存在する。図１７では、現在処理ブロック１４０２と、候補ベクトルとして使用される動きベクトルを検出済みのブロック１４０６とは、画像境界１４０８をはさんで存在する。言い換えると、現在処理ブロック１４０２は、Ｌ画像の右端に存在し、動きベクトルを検出済みのブロック１４０６は、Ｒ画像の左端に存在する。
【００１８】
図１７に示すように、動き補償型ＩＰ変換処理装置は、１フィールド画面１４００をＭ×Ｎのブロック１４０１に分割する。また、現在処理ブロック１４０２の周辺には、現在処理ブロック１４０２と相関が高い周辺ブロック１４０３が存在する。なお、図１７は、補間フィールド画像を生成する処理がある程度進んだ状態を示す。この場合、現在処理ブロック１４０２と相関が高い周辺ブロック１４０３のうち、動きベクトルを検出済みのブロック１４０４、１４０５、１４０６、１４０７の動きベクトルが候補ベクトルとして使用される。つまり、Ｌ画像に含まれる現在処理ブロック１４０２の動きベクトルを検出する処理において、同じＬ画像に含まれるブロック１４０４、１４０５、１４０７のみならず、Ｒ画像に含まれるブロック１４０６まで使用されてしまう。このように、Ｌ画像に存在する現在処理ブロック１４０２の動きベクトルを検出する場合に、候補ベクトルにＲ画像に存在するブロック１４０６の動きベクトルが混入してしまう。
【００１９】
そのため、現在処理ブロック１４０２の動きベクトルとして誤った動きベクトルを検出してしまい、誤ったＩＰ変換結果が生成されてしまうという問題がある。例えば、ブロック１４０６の候補ベクトルの向きが、現在処理ブロック１４０２における本来の動きベクトルと異なる場合であっても、ブロック１４０４〜１４０７のうち、ブロック１４０６の候補ベクトルのＳＡＤが偶然最小値となってしまう場合がある。この場合、現在処理ブロック１４０２の動きベクトルが正しく検出されず、ＩＰ変換において誤変換を起こしてしまう。
【００２０】
また、現在処理ブロックがＲ画像の左端に移った場合にも、候補ベクトルにＬ画像の右端のブロックの動きベクトルが混入してしまう。よって、この場合にも、誤ったＩＰ変換結果が生成されてしまうという問題がある。
【００２１】
このように特許文献１に開示の技術では、ＳｉｄｅＢｙＳｉｄｅフォーマットの立体映像用画像データをＩＰ変換した場合、Ｌ画像とＲ画像の境界部分において、Ｌ画像はＲ画像のデータを参照し、Ｒ画像はＬ画像のデータを参照してＩＰ変換を行ってしまう。そのため、誤ったＩＰ変換結果が生成されてしまうという問題がある。
【００２２】
さらに、図示及び詳細な説明を省略するが、図１５に示すＴｏｐＡｎｄＢｏｔｔｏｍフォーマットの立体映像用画像データをＩＰ変換する場合においても、Ｌ画像下端とＲ画像上端の境界部分において、ＳｉｄｅＢｙＳｉｄｅフォーマットの立体映像用画像データと同様に誤ったＩＰ変換結果を生成してしまうという問題があることは明らかである。
【００２３】
つまり、特許文献１に開示の技術では、Ｌ画像とＲ画像の境界部分において、動きベクトルを正しく検出することができないため、立体映像用の画像データ間を補間する補間画像データを正しく生成することができなくなってしまう問題がある。
【先行技術文献】
【特許文献】
【００２４】
【特許文献１】特開２００６−２１７４８６号公報
【発明の概要】
【発明が解決しようとする課題】
【００２５】
背景技術として説明したように、特許文献１に開示の技術では、立体映像用の画像データ間を補間する補間画像データを正しく生成することができなくなってしまうという問題がある。
【課題を解決するための手段】
【００２６】
本発明の第１の態様にかかる画像処理装置は、立体画像を表示する第１の画像及び第２の画像を含む画像を示す立体画像データから、前記第１の画像と前記第２の画像との間に１ブロック以上のブランク画像を含めた画像を示す加工画像データを生成するデータ加工部と、複数の前記加工画像データ間を補間する加工補間画像データが示す加工補間画像に含まれる第１のブロックから所定の範囲内に含まれ、動きベクトルを検出済みの複数の第２のブロックの動きベクトルを、前記第１のブロックの動きベクトルの候補の候補ベクトルとして決定する候補ベクトル決定部と、前記決定された複数の候補ベクトルから、前記第１のブロックの動きベクトルを決定する動きベクトル決定部と、前記決定された動きベクトルに基づいて、前記第１のブロックにおける画像を補間して、前記加工補間画像データを生成する画像補間部と、前記生成された加工補間画像データに基づいて、前記複数の加工画像データの生成に用いられた複数の立体画像データ間を補間する立体補間画像データを出力する出力部と、を備えたものである。
【００２７】
本発明の第２の態様にかかる画像処理方法は、立体画像を表示する第１の画像及び第２の画像を含む画像を示す立体画像データから、前記第１の画像と前記第２の画像との間に１ブロック以上のブランク画像を含めた画像を示す加工画像データを生成し、複数の前記加工画像データ間を補間する加工補間画像データが示す加工補間画像に含まれる第１のブロックから所定の範囲内に含まれ、動きベクトルを検出済みの複数の第２のブロックの動きベクトルを、前記第１のブロックの動きベクトルの候補の候補ベクトルとして決定し、前記決定された複数の候補ベクトルから、前記第１のブロックの動きベクトルを決定し、前記決定された動きベクトルに基づいて、前記第１のブロックにおける画像を補間して、前記加工補間画像データを生成し、前記生成された加工補間画像データに基づいて、前記複数の加工画像データの生成に用いられた複数の立体画像データ間を補間する立体補間画像データを出力するものである。
【００２８】
本発明の第３の態様にかかる画像処理プログラムは、立体画像を表示する第１の画像及び第２の画像を含む画像を示す立体画像データから、前記第１の画像と前記第２の画像との間に１ブロック以上のブランク画像を含めた画像を示す加工画像データを生成する処理と、複数の前記加工画像データ間を補間する加工補間画像データが示す加工補間画像に含まれる第１のブロックから所定の範囲内に含まれ、動きベクトルを検出済みの複数の第２のブロックの動きベクトルを、前記第１のブロックの動きベクトルの候補の候補ベクトルとして決定する処理と、前記決定された複数の候補ベクトルから、前記第１のブロックの動きベクトルを決定する処理と、前記決定された動きベクトルに基づいて、前記第１のブロックにおける画像を補間して、前記加工補間画像データを生成する処理と、前記生成された加工補間画像データに基づいて、前記複数の加工画像データの生成に用いられた複数の立体画像データ間を補間する立体補間画像データを出力する処理と、をコンピュータに実行させるものである。
【００２９】
上述した本発明の各態様によれば、第１の画像と第２の画像の間にブランク画像を含めるようにしているため、第１の画像と第２の画像の境界付近において、第１のブロックの動きベクトルを決定する場合に、第１の画像及び第２の画像のうち、第１のブロックが含まれていない画像に含まれる第２のブロックが動きベクトルとして決定されることを防ぐことができる。
【発明の効果】
【００３０】
上述した本発明の各態様によれば、立体映像用の画像データ間を補間する補間画像データを正しく生成することができる画像処理装置、画像処理方法及び画像処理プログラムを提供することができる。
【図面の簡単な説明】
【００３１】
【図１】本発明の実施の形態１にかかる立体映像表示システムの構成図である。
【図２】本発明の実施の形態１にかかるデータ加工部の処理を示す動作フロー図である。
【図３】ＳｉｄｅＢｙＳｉｄｅフォーマットの画像データを処理する場合におけるブランクデータ合成処理を示す動作フロー図である。
【図４】ＳｉｄｅＢｙＳｉｄｅフォーマットの画像データに対するブランクデータ合成処理後の画像データによって表示される画像の構成図である。
【図５】ＴｏｐＡｎｄＢｏｔｔｏｍフォーマットの画像データを処理する場合におけるブランクデータ合成処理を示す動作フロー図である。
【図６】ＴｏｐＡｎｄＢｏｔｔｏｍフォーマットの画像データに対するブランクデータ合成処理後の画像データによって表示される画像の構成図である。
【図７】本発明の実施の形態１にかかる動きベクトル検出の概念図である。
【図８】本発明の実施の形態１にかかる候補ベクトルとするブロックの説明図である。
【図９】本発明の実施の形態２にかかる立体映像表示システムの構成図である。
【図１０】特許文献１にかかる動きベクトル検出方法の概念図である。
【図１１】特許文献１にかかる動き補償型ＩＰ変換処理装置の構成図である。
【図１２】特許文献１にかかる候補ベクトルとするブロックの説明図である。
【図１３】ＦｒａｍｅＳｅｑｕｅｎｔｉａｌフォーマットの画像を示す図である。
【図１４】ＳｉｄeＢｙＳｉｄｅフォーマットの画像を示す図である。
【図１５】ＴｏｐＡｎｄＢｏｔｔｏｍフォーマットの画像を示す図である。
【図１６】特許文献１にかかる技術に立体映像用画像データを用いた際の問題点を説明するための図である。
【図１７】特許文献１にかかる技術に立体映像用画像データを用いた際の問題点を説明するための図である。
【発明を実施するための形態】
【００３２】
本発明の実施の形態１．
図１を参照して、本発明の実施の形態１にかかる立体映像表示システムの構成について説明する。図１は、本発明の実施の形態１にかかる立体映像表示システムの構成図である。
【００３３】
立体映像表示システム１０は、画像生成部１０１、データ処理情報記憶部１０２、データ加工部１０３、ＩＰ変換処理部１０４及び画像出力部１０５を有する。
【００３４】
画像生成部１０１は、外部から入力された入力データ１０６から、立体映像を示す立体映像型画像データ(以下、「画像データ」とする)を生成する。画像生成部１０１は、データ処理情報記憶部１０２から取得した情報に基づいて、画像データを生成する。
【００３５】
データ処理情報記憶部１０２は、フォーマット情報、画像サイズ及びブランクデータ情報等が格納される。フォーマット情報は、例えば、画像生成部１０１から出力される画像データのフォーマットを示す情報である。画像サイズは、例えば、画像生成部１０１から出力される画像データによって表示される画像の全体サイズ、Ｌ画像及びＲ画像のそれぞれのサイズ、及び、画像に付加するブランクデータ画像のサイズ等を示す情報である。言い換えると、画像サイズは、画像データの全体サイズと、画像データのうちのＬ画像データ部、Ｒ画像データ部及びブランクデータ部のサイズとを示す情報である。ブランクデータ情報は、画像データに付加するブランクデータを示す情報である。ブランクデータは、ブランクデータ画像の画素値を示す情報である。データ処理情報記憶部１０２に格納される情報は、例えば、ユーザによって入力装置(図示せず)を介して任意の内容で入力される。入力装置は、例えば、リモコンや、マウス及びキーボード等である。データ処理情報記憶部１０２に格納される情報はまた、入力データ１０６を解析して抽出される場合もある。この場合、データ処理情報記憶部１０２に格納される情報は、入力データ解析部(図示せず)や画像生成部１０１などから入力される。
【００３６】
データ加工部１０３は、内部バッファ(図示せず)を利用して、画像生成部１０１が生成した画像データにブランクデータを付加する。内部バッファは、例えば、レジスタ及びメモリ等の記憶装置である。データ加工部１０３は、データ処理情報記憶部１０２から取得した情報に基づいて、画像データにブランクデータを付加する。
【００３７】
ＩＰ変換処理部１０４は、データ加工部１０３によってブランクデータが付加された画像データをＩＰ変換する。ＩＰ変換処理部１０４は、ＩＰ変換処理を行うために必要な複数のフィールド分の画像データが格納される内部メモリ(図示せず)を有する。ＩＰ変換処理部１０４は、ベクトル決定部及び画像補間部として機能する。
【００３８】
画像出力部１０５は、ＩＰ変換処理部１０４によってＩＰ変換された画像データのうち、Ｌ画像データ部及びＲ画像データ部の画像データに基づいて、Ｌ画像及びＲ画像を出力画像１０７として表示装置(図示せず)に出力する。画像出力部１０５は、例えば、出力画像１０７を表示する画像データを表示装置に出力することによって、表示装置に画像データを表示する。表示装置は、例えば、液晶ディスプレイ、プラズマディスプレイ及び有機ＥＬディスプレイ等のフラットパネルディスプレイである。画像出力部１０５は、出力部として機能する。
【００３９】
続いて、図１を参照して、本発明の実施の形態１にかかる立体映像表示システム１０の処理について説明する。
【００４０】
画像生成部１０１は、外部から入力された入力データ１０６から、画像データを生成する。ここで、入力データ１０６は、例えば、地上波デジタル放送信号のデータや、ＨＤＭＩ(High Definition Multimedia Interface)による外部システムからの画像信号のデータ等である。入力データ１０６は、任意のコーディックによってエンコードされた画像データを含む。画像データは、例えば、ＭＰＥＧ(Moving Picture Expert Group)フォーマットによってエンコードされている。画像生成部１０１は、データ処理情報記憶部１０２から取得したエンコード情報に基づいて、入力データ１０６に含まれる画像データをデコードする。エンコード情報は、例えば、エンコードするための計算式等を含む情報である。画像生成部１０１は、デコードによって生成した画像データをデータ加工部１０３に出力する。なお、画像生成部１０１によって生成される画像データは、インタレース画像を表示する画像データである。
【００４１】
データ加工部１０３は、画像生成部１０１から出力された画像データによって表示される画像に含まれるＬ画像とＲ画像との間に、ＩＰ変換処理部１０４において処理する際の処理単位となる１ブロック分の幅のブランクデータ画像を付加した画像を表示する画像データを生成する。ブロックは、後述するように、複数の画像データ間を補間する補間画像データを生成する場合に、動きベクトルを検出する単位のことである。なお、データ加工部１０３は、データ処理情報記憶部１０２から取得したフォーマット情報、画像サイズ及びブランクデータ情報に基づいて、画像データにブランクデータを付加する。なお、データ加工部１０３は、ブランクデータ画像に含まれる全てのブロックの画素値の差分が同一となるように、ブランクデータを付加する。
【００４２】
データ加工部１０３は、ブランクデータを付加した画像データをＩＰ変換処理部１０４に出力する。データ加工部１０３は、ブランクデータ画像を付加した後の画像の全体サイズ、及び、その画像のうちのブランクデータ画像を除いたＬ画像及びＲ画像の位置を特定する画像位置情報を画像情報記憶部(図示せず)に記憶する。言い換えると、画像位置情報は、ブランクデータを付加した画像データの全体サイズ、及び、その画像データのうちのブランクデータ部を除いたＬ画像データ部及びＲ画像データ部の位置を特定する情報である。画像位置情報記憶部は、例えば、レジスタ、メモリ及びハードディスク等の記憶装置である。
【００４３】
ＩＰ変換処理部１０４は、データ加工部１０３から出力された画像データを、内部メモリに記憶する。ＩＰ変換処理部１０４は、画像情報記憶部に記憶された画像サイズに基づいて、フィールド毎の画像データを識別する。ＩＰ変換処理部１０４は、ＩＰ変換に必要なフィールド数分の画像データが内部メモリに記憶されて、ＩＰ変換可能となったフィールドから順にＩＰ変換を行う。ＩＰ変換処理部１０４は、ＩＰ変換後の画像データを画像出力部１０５に出力する。
【００４４】
画像出力部１０５は、ＩＰ変換処理部１０４から出力された画像データのうち、ブランクデータ部を除いたＬ画像データ部及びＲ画像データ部の画像データに基づいて、Ｌ画像及びＲ画像を表示装置に出力する。なお、画像出力部１０５は、データ処理情報記憶部１０２及び画像情報記憶部から取得した画像位置特定情報に基づいて、画像データからブランクデータ部を除いたＬ画像データ部及びＲ画像データ部の位置を特定する。また、画像出力部１０５は、データ処理情報記憶部１０２から取得した画像サイズに基づいて、画像データからブランクデータ部を除いたＬ画像データ部及びＲ画像データ部の位置を特定するようにしてもよい。
【００４５】
続いて、図２を参照して、データ加工部１０３の処理について説明する。図２は、本発明の実施の形態１にかかるデータ加工部１０３の処理を示す動作フロー図である。
【００４６】
データ加工部１０３は、データ処理情報記憶部１０２から、フォーマット情報、画像サイズ及びブランクデータ情報等を取得する(Ｓ００１)。データ加工部１０３は、画像生成部１０１から出力された画像データを取得する(Ｓ００２)。データ加工部１０３は、データ処理情報記憶部１０２から取得したフォーマット情報、画像サイズ及びブランクデータ情報に基づいて、画像データにブランクデータを付加する(Ｓ００３)。データ加工部１０３は、例えば、フォーマット情報に基づいて、入力される画像データのフォーマットを特定する。そして、データ加工部１０３は、特定したフォーマットに応じたブランクデータ合成処理を実行する。
【００４７】
ここで、図３〜６を参照して、ステップＳ００３におけるブランクデータ合成処理について詳細に説明する。まず、図３を参照して、ＳｉｄｅＢｙＳｉｄｅフォーマットの画像データを処理する場合におけるブランクデータ合成処理について説明する。図３は、ＳｉｄｅＢｙＳｉｄｅフォーマットの画像データを処理する場合におけるブランクデータ合成処理を示す動作フロー図である。
【００４８】
ＳｉｄｅＢｙＳｉｄｅフォーマットの画像データを処理する場合、データ加工部１０３は、データ処理情報記憶部１０２から取得した画像サイズに基づいて、画像データのＬ画像データ部のうちの１ライン目のデータをＩＰ変換処理部１０４に出力する(Ｓ２０１)。つまり、データ処理情報記憶部１０２に格納される画像サイズは、１ラインにおけるＬ画像データ部、Ｒ画像データ部及びブランクデータ部の幅を特定可能な情報を含む。次に、データ加工部１０３は、データ処理情報記憶部１０２から取得した画像サイズに基づいて、１ライン目のブランクデータをＩＰ変換処理部１０４に出力する(Ｓ２０２)。ここでは、１ブロック幅のブランクデータが１ライン分出力される。次に、データ加工部１０３は、画像データのＲ画像データ部のうちの１ライン目のデータをＩＰ変換処理部１０４に出力する(Ｓ２０３)。
【００４９】
次に、データ加工部１０３は、画像データの全ラインを出力したか否かを判定する(Ｓ２０４)。ここで、画像データは、３ライン以上あるものとすると、データ加工部１０３は、画像データの全ラインを出力していないと判定する(Ｓ２０４：Ｎｏ)。そのように判定した場合、データ加工部１０３は、ステップＳ２０１〜２０３と同様の処理を、２ライン目、３ライン目の順に、全ラインの画像データを出力するまで繰り返す。ＩＰ変換処理部１０４は、データ加工部１０３から入力された画像データを内部メモリに格納する。
【００５０】
データ加工部１０３は、画像データの全ラインを出力したと判定した場合(Ｓ２０４：Ｙｅｓ)、その画像データに対する処理を終了する。
【００５１】
ここで、図４に、図３に示す処理によって、ＩＰ変換処理部１０４に出力される画像データによって表示される画像を示す。図４に示すように、ＳｉｄｅＢｙＳｉｄｅフォーマットの画像データは、その画像データによって表示される画像が、Ｌ画像３０１とＲ画像３０２の間に１ブロック幅のブランクデータ画像３０３が付加された形となるように加工される。
【００５２】
続いて、図５を参照して、ＴｏｐＡｎｄＢｏｔｔｏｍフォーマットの画像データを処理する場合におけるブランクデータ合成処理について説明する。図５は、ＴｏｐＡｎｄＢｏｔｔｏｍフォーマットの画像データを処理する場合におけるブランクデータ合成処理を示す動作フロー図である。
【００５３】
ＴｏｐＡｎｄＢｏｔｔｏｍフォーマットの画像データを処理する場合、データ加工部１０３は、画像データのうち、Ｌ画像データ部の全ラインをＩＰ変換処理部１０４に出力する(Ｓ４０１)。なお、データ加工部１０３は、データ処理情報記憶部１０２から取得した画像サイズに基づいて、Ｌ画像データ部の全ラインのサイズを認識する。次に、データ加工部１０３は、１ブロック幅分のライン数のブランクデータをＩＰ変換処理部１０４に出力する(Ｓ４０２)。次に、データ加工部１０３は、Ｒ画像データ部の全ラインをＩＰ変換処理部１０４に出力する(Ｓ４０３)。なお、データ加工部１０３は、データ処理情報記憶部１０２から取得した画像サイズに基づいて、Ｒ画像データ部の全ラインを認識する。
【００５４】
ここで、図６に、図５に示す処理によって、ＩＰ変換処理部１０４に入力される画像データによって表示される画像を示す。図６に示すように、ＴｏｐＡｎｄＢｏｔｔｏｍフォーマットの画像データは、その画像データによって表示される画像が、Ｌ画像５０１とＲ画像５０２の間にブランクデータ画像５０３が付加された形となるように加工される。
【００５５】
続いて、ＦｒｅｍｅＳｅｑｕｅｎｔｉａｌフォーマットの画像データを処理する場合におけるブランクデータ合成処理について説明する。
ＦｒｅｍｅＳｅｑｕｅｎｔｉａｌフォーマットの画像データを処理する場合、データ加工部１０３は、Ｌ画像を表示する画像データとＲ画像を表示する画像データとを１つの画像データとして処理すること以外は、図３又は図５を参照して説明した処理と同様の処理をする。つまり、データ加工部１０３は、図４及び図６におけるＬ画像３０１、５０１及びＲ画像３０２、５０２のそれぞれのサイズが１インタレース画像分のサイズとなる１つの画像を表示する画像データ生成する。
【００５６】
具体的には、次のように処理してもよい。データ加工部１０３は、Ｌ画像を表示する画像データが画像生成部１０１から入力された場合、その画像データを内部バッファに格納する。その後、Ｒ画像を表示する画像データの入力が開始された場合に、図３又は図５における処理を開始する。なお、図３又は図５に示す処理のうち、どちらの処理を行うかは、任意に選択可能とする。
【００５７】
続いて、図７及び図８を参照して、ＩＰ変換処理部１０４における処理について説明する。まず、図７を参照して、ＦｒｅａｍＳｅｑｕｅｎｔｉａｌフォーマットの画像データに、図３に示す処理によってブランクデータを付加した場合における動きベクトル検出処理について説明する。図７は、本発明の実施の形態１にかかる動きベクトル検出の概念図である。
【００５８】
ここで、本実施の形態におけるＦｒａｍｅＳｅｑｕｅｎｔｉａｌフォーマットは、時系列に沿って、奇数ラインのインタレース画像と、偶数ラインのインタレース画像と、が２つずつ交互に並んでいるものとする。ここでは、フィールドｍ〜ｍ＋５の順に、奇数ラインのＬ画像、奇数ラインのＲ画像、偶数ラインのＬ画像、偶数ラインのＲ画像、奇数ラインのＬ画像、奇数ラインのＲ画像が並んでいる場合について例示する(ｍは、任意の正整数)。
【００５９】
この場合、図７に示すように、データ加工部１０３によって、Ｌ画像とＲ画像の間にブランクデータ画像が付加された画像データが生成される。つまり、図７では、フィールドｍ及びフィールドｍ＋１の画像データから生成された画像データによって表示される画像６００と、フィールドｍ＋４及びフィールドｍ＋５の画像データから生成された画像データによって表示される画像６０２を示している。なお、図７では、図３に示す処理によって、図４に示すような１つの画像データに変換した場合について例示している。例えば、ＩＰ変換処理部１０４は、フィールドｍ＋２における奇数ラインのＬ画像を表示する画像データと、フィールドｍ＋３における奇数ラインのＲ画像を表示する画像データとを補間する場合、画像６００の画像データ及び画像６０２の画像データに基づいて、補間画像６０１の補間画像データを生成することになる。
【００６０】
ＩＰ変換処理部１０４は、補間画像６０１を表示する画像データを生成する場合、画像データによって表示される画像を、それぞれがＭ×Ｎ画素の複数のブロック６０７に分割する。ここで、Ｍ及びＮのそれぞれは、任意の正整数である。そして、ＩＰ変換処理部１０４は、通常の走査線方式の通りに、画面の左上から右下に向かって、ブロック単位で処理をしていく。
【００６１】
ＩＰ変換処理部１０４は、補間画像６０１を表示する画像データを生成する過程において、現在処理ブロック６０４に対して、候補ベクトル６０６によって参照される画像６００の参照ブロック１(６０３)と、画像６０２の参照ブロック２(６０５)とのＳＡＤを計算する。
【００６２】
このとき、時間軸上、補間画像６０１から、１つ前となる画像６００も、１つ後となる画像６０２も、図４に示すような補間画像６０１と同じ構成の画像となる。つまり、１つ前の画像６００の任意のブロックと、１つ後の画像６０２のその任意のブロックと同じ位置のブロックは、Ｌ画像及びＲ画像のうち、同一の画像に含まれるようになる。よって、１つ前の画像６００の参照ブロック１(６０３)と１つ後の画像６０２の参照ブロック２(６０５)を使用しても、Ｌ画像とＲ画像を混合してＩＰ変換を行ってしまうことがなくなる。その結果、正しくＩＰ変換を行うことができるようになる。
【００６３】
また、ＦｒｅａｍＳｅｑｕｅｎｔｉａｌフォーマットの画像データを、図５に示す処理によってブランクデータを付加した場合も、上述と同様に、１つ前の画像の任意のブロックと、１つ後の画像のその任意のブロックと同じ位置のブロックは、Ｌ画像及びＲ画像のうち、同一の画像に含まれることになることは明白である。そのため、詳細な説明は省略する。つまり、図５に示す処理によって、図６に示すようにブランクデータを付加した画像データを生成した場合であっても、Ｌ画像とＲ画像を混合してＩＰ変換を行ってしまうことがなくなるため、正しくＩＰ変換を行うことができるようになる。
【００６４】
続いて、図８を参照して、ＳｉｄｅＢｙＳｉｄｅフォーマットの画像データに、図３に示す処理によってブランクデータを付加した場合における動きベクトル検出処理について説明する。図８は、本発明の実施の形態１にかかる候補ベクトルとするブロックの説明図である。
【００６５】
なお、ここでは、フィールドｎ−２におけるインタレース画像を表示する画像データと、フィールドｎにおけるインタレース画像を表示する画像データに基づいて、フィールドｎ−１におけるインタレース画像を表示する補間画像データを補間する場合について説明する(ｎは、任意の正整数)。つまり、フィールドｎ−１におけるプログレッシブ画像を生成するために、フィールドｎ−１におけるインタレース画像に合成されるインタレース画像を表示する補間画像データを生成する場合について説明する。例えば、フィールドｎ、ｎ−２におけるインタレース画像が奇数ラインに表示される画像であり、フィールドｎ−１におけるインタレース画像が偶数ラインに表示される画像である。
【００６６】
ＩＰ変換処理部１０４は、補間フィールド画像(フィールドｎ−１画像)７００を表示する補間画像データを生成するために、１フィールドにおける画像７００を、Ｍ×Ｎ画素の複数のブロック７０１に分割する。また、現在処理ブロック７０２の周辺には、現在処理ブロック７０２と相関が高い８個の周辺ブロック７０３が存在する。なお、図８は、補間フィールド画像７００を生成する処理がある程度進んだ状態を示す。この場合、ＩＰ変換処理部１０４は、現在処理ブロック７０２と相関が高い周辺ブロック７０３における動きベクトルを検出済みのブロック７０４、７０５、７０６、７０７の動きベクトルを候補ベクトルにする。
【００６７】
つまり、図８に示すように、Ｒ画像に含まれるブロックの動きベクトルが候補ベクトルとして使用されることはなく、ブランクデータ上に存在するブロック７０６の動きベクトルが候補ベクトルとして使用される。ここで、補間フィールド画像７００においてブランクデータ上に存在するブロック７０６と、１フィールド前の画像(フィールドｎ−２画像)及び１フィールド後の画像(フィールドｎ画像)においてブロック７０６と同位置のブロックとは、それらのブロックに含まれる画素値が常に同一の値となっている。そのため、ブロック７０６において、動きベクトルが検出されることはない。よって、ブロック７０６の候補ベクトルは、現在処理ブロック７０２のＩＰ変換処理に悪影響を及ぼすことはない。
【００６８】
次に、その理由について具体的に説明する。上述したように、ブロック７０６における候補ベクトルは０である。そのため、例えば、現在処理ブロック７０２に本来動きベクトルがある場合には、ブロック７０６の候補ベクトルによって計算したＳＡＤが最小値となることはない。そのため、この場合は、ブロック７０６の候補ベクトルではなく、ブロック７０４、７０５、７０７の候補ベクトルのうちのいずれかが、現在処理ブロック７０２の動きベクトルとして検出されるようになる。
【００６９】
つまり、Ｌ画像に含まれるブロックの候補ベクトルのうちのいずれかが、現在処理ブロック７０２の動きベクトルとして検出されることになる。よって、背景技術として説明したように、Ｒ画像に含まれるブロックの候補ベクトルが動きベクトルとして検出されなくなる。その結果、現在処理ブロック７０２の動きベクトルとして、ＳＡＤが偶然最小値となるが本来と異なる向きの候補ベクトルを動きベクトルとして決定することがなくなる。つまり、Ｌ画像右端とＲ画像左端の境界部分において、誤ったＩＰ変換結果が生成されないようにすることができる。
【００７０】
一方、ブロック７０６の候補ベクトルに基づいて計算したＳＡＤが最小値となることも考えられる。しかし、この場合は、ブロック７０６の候補ベクトルは０である。そのため、ブロック７０６の候補ベクトルは、ＳＡＤが偶然最小値となるが本来と異なる向きの動きベクトルとなることはない。したがって、この場合におけるブロック７０６の候補ベクトルは、妥当な動きベクトルであるため、動きベクトルとして検出されても問題となることはない。つまり、この場合は、現在処理ブロック７０２と相関が高いブロック７０４、７０５、７０７における動きベクトルもほぼ０に近い値になっていると考えられる。
【００７１】
ＩＰ変換処理部１０４は、候補ベクトルの中から、ＳＡＤが最小値となる候補ベクトルを、現在処理ブロック７０２の動きベクトルとして決定する。ＩＰ変換処理部１０４は、決定した動きベクトルに基づいて、現在処理ブロック７０２の画素値を算出して、現在処理ブロック７０２における画像を補間する。このようにして、ＩＰ変換処理部１０４は、補間フィールド画像７００に含まれる全てのブロックにおける画像を補間して、補間フィールド画像７００を表示する補間画像データを生成する。ＩＰ変換処理部１０４は、生成した補間画像データと、その補間画像データと同一フィールドの画像データを合成して、プログレッシブ画像を表示する画像データを生成する。ここで、ＩＰ変換処理部１０４は、例えば、補間画像データによって表示されるインタレース画像によって補間されるインタレース画像を表示する画像データをデータ加工部１０３から取得しておく。そして、ＩＰ変換処理部１０４は、プログレッシブ画像の画像データを画像出力部１０５に出力する。
【００７２】
画像出力部１０５は、ＩＰ変換処理部１０４から出力された画像データによって表示される画像のうち、ブランク画像を除くＲ画像及びＬ画像を１画像として表示装置に出力する。これによって、補間画像データによって表示されるインタレース画像と、このインタレース画像によって補間されるインタレース画像のうち、ブランク画像を除くＲ画像及びＬ画像が１つのプログレッシブ画像として出力される。
【００７３】
なお、上述した本実施の形態によれば、ＴｏｐＡｎｄＢｏｔｔｏｍフォーマットの画像データに、図５に示すブランクデータを付加した場合でも、Ｌ画像下端とＲ画像上端の境界部分において、誤ったＩＰ変換結果が生成されないことは明白である。そのため、詳細な説明は省略する。
【００７４】
以上に説明したように、本実施の形態１では、データ加工部１０３は、複数の立体画像データ間を補間する補間画像データを生成する場合に、立体画像を表示するＬ画像及びＲ画像を含む画像を示す立体画像データから、Ｌ画像とＲ画像との間に１ブロック以上のブランクデータ画像を含めた画像を示す加工画像データを生成するようにしている。ＩＰ変換処理部１０４は、複数の加工画像データ間を補間する加工補間画像データが示す画像に含まれる現在処理ブロックから所定の範囲に含まれ、動きベクトルを検出済みの複数のブロックの動きベクトルを、現在処理ブロックの動きベクトルの候補ベクトルとして決定するようにしている。ＩＰ変換処理部１０４は、決定した動きベクトルに基づいて、現在処理ブロックにおける画像を補間して、加工補間画像データを生成するようにしている。そして、画像出力部１０５は、加工補間画像データに基づいて、複数の加工画像データの生成に用いられた複数の画像データ間を補間する補間画像データを出力するようにしている。
【００７５】
これによれば、Ｌ画像とＲ画像の間にブランクデータ画像を含めるようにしているため、Ｌ画像とＲ画像の境界付近において、現在処理ブロックの動きベクトルを決定する場合に、Ｌ画像及びＲ画像のうち、現在処理ブロックが含まれていない画像に含まれる候補ブロックが動きベクトルとして決定されることを防ぐことができる。そのため、立体映像用の画像データ間を補間する補間画像データを正しく生成することができる。
【００７６】
また、本実施の形態１では、データ加工部１０３は、ＦｒｅａｍＳｅｑｕｅｎｔｉａｌフォーマットのように、第１のフィールドにおけるＬ画像を示す画像データと、第１のフィールドに後続する第２のフィールドにおけるＲ画像を示す画像データとから、１つの画像を示す加工画像データを生成するようにしている。
【００７７】
これによれば、時間軸上で、加工補間画像データから、１つ前の加工画像データが示す画像における任意のブロックと、１つ後の加工画像データが示す画像においてその任意のブロックと同じ位置のブロックは、Ｌ画像及びＲ画像のうち、同一の画像に含まれるようになる。そのため、ＦｒｅａｍＳｅｑｕｅｎｔｉａｌフォーマットのように、時系列にそって、Ｌ画像とＲ画像が交互に存在する場合であっても、Ｌ画像とＲ画像を混合して現在処理ブロックの画像を補間することがなくなる。つまり、補間画像データを正しく生成することができる。
【００７８】
本発明の実施の形態２．
図９を参照して、本発明の実施の形態２にかかる立体映像表示システムの構成について説明する。図９は、本発明の実施の形態２にかかる立体映像表示システムの構成図である。
【００７９】
立体映像表示システム８０は、画像生成部８０１、データ処理情報記憶部８０２、データ加工部８０３、ＩＰ変換処理部８０４、画像出力部８０５及び画像データメモリ８０６を有する。
【００８０】
画像生成部８０１は、生成した画像データを画像データメモリ８０６に格納する点、及び、画像データを生成したときに画像生成完了通知をデータ加工部８０３に出力する点、が、実施の形態１にかかる画像生成部１０１と異なる。
データ処理情報記憶部８０２は、実施の形態１にかかるデータ処理情報記憶部１０２と同様に機能する。
【００８１】
データ加工部８０３は、画像データを画像データメモリ８０６から取得して、取得した画像データにブランクデータを付加する点、ブランクデータを付加した画像データをデータ処理情報記憶部８０２に格納する点、及び、ブランクデータを付加した画像データを生成したときにデータ加工完了通知をＩＰ変換処理部８０４に出力する点が、実施の形態１にかかるデータ加工部１０３と異なる。
【００８２】
ＩＰ変換処理部８０４は、ブランクデータが付加された画像データを画像データメモリ８０６から取得して、取得した画像データをＩＰ変換した画像データを画像データメモリ８０６に格納する点が、実施の形態１にかかるＩＰ変換処理部１０４と異なる。
画像出力部８０５は、ＩＰ変換された画像データを画像データメモリ８０６から取得する点が、実施の形態１にかかる画像出力部１０５と異なる。
【００８３】
画像データメモリ８０６は、画像データが格納される。画像データメモリ８０６は、メモリに限定されない。例えば、画像データメモリ８０６は、メモリ及びハードディスク等の他の記憶装置であってもよい。なお、本実施の形態２では、画像データが画像データメモリ８０６に格納されるため、データ加工部８０３の内部バッファ及びＩＰ変換処理部８０４の内部メモリは不要となる。
【００８４】
続いて、図９を参照して、本発明の実施の形態２にかかる立体映像表示システム８０の処理について説明する。
【００８５】
画像生成部８０１は、外部からの入力された入力データ１０６から、画像データを生成する。画像生成部８０１は、生成した画像データを画像データメモリ８０６に格納する。画像生成部８０１は、画像データメモリ８０６上の画像データを格納したアドレスを画像情報記憶部に格納する。そして、画像生成部８０１は、画像生成完了通知をデータ加工部８０３に出力する。
【００８６】
データ加工部８０３は、画像生成部８０１から出力された画像生成完了通知に応じて、画像生成部８０１が生成した画像データを画像データメモリ８０６から取得する。なお、データ加工部８０３は、画像生成部８０１が画像情報記憶部に格納したアドレスから、画像データを取得する。データ加工部８０３は、取得した画像データにブランクデータを付加する。データ加工部８０３は、ブランクデータを加工した画像データを画像データメモリ８０６に格納する。データ加工部８０３は、画像データメモリ８０６上の画像データを格納したアドレスを画像情報記憶部に格納する。そして、データ加工部８０３は、データ加工完了通知をＩＰ変換処理部８０４に出力する。
【００８７】
ＩＰ変換処理部８０４は、データ加工部８０３から出力されたデータ加工完了通知に応じて、データ加工部８０３が生成した画像データを画像データメモリ８０６から取得する。なお、ＩＰ変換処理部８０４は、データ加工部８０３が画像情報記憶部に格納したアドレスから画像データを取得する。データ加工部８０３は、ＩＰ変換に必要なフィールド数の画像データを取得し、取得した画像データが格納されていた領域とは別の作業用領域に格納しなおす。ＩＰ変換処理部８０４は、ＩＰ変換に必要なフィールド数の画像データが作業用領域に記憶されて、ＩＰ変換可能となったフィールドから順にＩＰ変換を行う。ＩＰ変換処理部８０４は、ＩＰ変換後の画像データを画像データメモリ８０６に格納する。ＩＰ変換処理部８０４は、画像データメモリ８０６上の画像データを格納したアドレスを画像情報記憶部に格納する。
【００８８】
画像出力部８０５は、任意の出力タイミングで、ＩＰ変換処理部８０４が生成した画像データを画像データメモリ８０６から取得する。なお、画像出力部８０５は、ＩＰ変換処理部８０４が画像情報記憶部に格納したアドレスから画像データを取得する。画像出力部８０５は、取得した画像データからブランクデータ部を除いたＬ画像データ部及びＲ画像データ部の画像データに基づいて、Ｌ画像及びＲ画像を出力画像１０７として表示装置に出力する。
【００８９】
ここで、テレビ等の家庭用映像機器では、入力データが入力されてから画像を出力するまでのタイミングが調整されている。このタイミングは、入力データの入力から画像を出力するまでの間に画像データをメモリに一時的に格納することによって、ＩＰ変換後の画像データを任意のタイミングで出力することを可能となるように調整する方法が一般的となっている。
【００９０】
以上に説明したように、本実施の形態２では、ＩＰ変換処理部は、ＩＰ変換後の画像データを画像データメモリに格納するようにしている。そして、画像出力部は、画像データメモリに格納された画像データを取得して、取得した画像データに基づいて、出力画像を出力するようにしている。これによれば、ＩＰ変換後の画像を任意のタイミングで出力することができる。
【００９１】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
本実施の形態では、ＩＰ変換において補間する画像データを生成する場合について例示したが、立体映像用画像データを補間する画像データを生成する場合であれば、これに限られない。例えば、ＩＰ変換をせずに、単純に複数の画像データ間に補間する画像データを追加する場合にも適用することができる。
【００９２】
本実施の形態では、Ｌ画像とＲ画像の間にブランクデータ画像を１ブロック分付加するようにしているが、付加するブランクデータのサイズはこれに限られない。つまり、Ｌ画像とＲ画像の間に１ブロック以上のサイズのブランクデータ画像を付加するようにしてもよい。
【００９３】
本実施の形態では、現在処理ブロックから１ブロック分の範囲内の８つのブロックから、候補ベクトルとするようにしているが、現在処理ブロックと相関が高くなる所定の範囲内であれば、これに限られない。例えば、現在処理ブロックから２ブロック分の範囲内のブロックまで現在処理ブロックと相関が高い場合は、現在処理ブロックから２ブロック分の範囲内の２４つのブロックを候補ベクトルとしてもよい。この場合、例えば、２ブロック以上のサイズのブランクデータ画像を付加することによって、Ｌ画像及びＲ画像のうち、現在処理ブロックが含まれていない画像に含まれる候補ブロックが動きベクトルとして決定されることを防ぐことができる。
【００９４】
本実施の形態では、ＳＡＤを計算することによって、候補ベクトルから動きベクトルを検出するようにしているが、参照ブロック１と参照ブロック２との画素値の差分に基づいて、候補ベクトルを評価する方法であれば、これに限られない。例えば、差分二乗和(以下、「ＳＳＤ(Sum Of Squared Difference)」とする)によって、候補ベクトルを評価するようにしてもよい。
【００９５】
本実施の形態２では、画像生成部８０１、データ加工部８０３、ＩＰ変換処理部８０４及び画像出力部８０５が、画像データメモリ８０６を使用しているが、これらの全てが画像データメモリ８０６を使用しなくてもよい。具体的には、本実施の形態２は、画像生成部８０１が画像データを格納するとともに、データ加工部８０３が画像データを取得する手段Ａと、データ加工部８０３が画像データを格納するとともに、ＩＰ変換処理部８０４が画像データを取得する手段Ｂと、ＩＰ変換処理部８０４が画像データを格納するとともに、画像出力部８０５が画像データを取得する手段Ｃとを有している。これらの手段Ａ〜Ｃのうち、任意の１つ又は２つの手段を実装するようにしてもよい。つまり、手段Ａ〜Ｃのうち、任意の１つ又は２つの手段に対応する処理については、実施の形態１と同様に画像データメモリ８０６を使用しないよういしてもよい。例えば、手段Ａ、Ｃのみを実装した場合、データ加工部８０３は画像データを画像データメモリ８０６に格納せずに、ＩＰ変換処理部８０４に直接出力する。
【００９６】
以上に説明した本発明にかかる立体映像表示システムは、上述の実施の形態の機能を実現するプログラムを、コンピュータ又はシステムが有するＣＰＵ(Central Processing Unit)、ＭＰＵ(Micro Processing Unit)、ＭＣＵ(Micro Control Unit)が実行することによって、構成することが可能である。
【００９７】
また、このプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、ＣＤ−ＲＯＭ(Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ(例えば、マスクＲＯＭ、ＰＲＯＭ(Programmable ROM）、ＥＰＲＯＭ(Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ(Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【００９８】
また、コンピュータが上述の実施の形態の機能を実現するプログラムを実行することにより、上述の実施の形態の機能が実現される場合のみに限定されない。このプログラムが、コンピュータ上で稼動しているＯＳ(Operating System)もしくはアプリケーションソフトウェアと共同して、上述の実施の形態の機能を実現する場合も、本発明の実施の形態に含まれる。さらに、このプログラムの処理の全てもしくは一部がコンピュータに挿入された機能拡張ボードや、コンピュータに接続された機能拡張ユニットによって行われて、上述の実施の形態の機能が実現される場合も、本発明の実施の形態に含まれる。
【符号の説明】
【００９９】
１０、８０ 立体映像表示システム
１０１、８０１ 画像生成部
１０２、８０２ データ処理情報記憶部
１０３、８０３ データ加工部
１０４、８０４ ＩＰ変換処理部
１０５、８０５ 画像出力部
１０６、８０６ 入力データ
１０７、８０７ 出力画像
３０１、５０１ Ｌ画像
３０２、５０２ Ｒ画像
３０３、５０３ ブランクデータ画像
６００、６０２ 画像
６０１ 補間画像
６０３、１００３、１３０３ 参照ブロック１
６０４、７０２ 、１００４、１１０２、１３０４、１４０２ 現在処理ブロック
６０５、１００５、１３０５ 参照ブロック２
６０６、９１３、１００６、１３０６ 候補ベクトル
６０７、７０１、１１０１、１４０１ ブロック
７００ １フィールド画像
８０８ 画像データメモリ
７０３、１１０３、１４０３ 周辺ブロック
７０４、７０５、７０６、７０７、１１０４、１１０５、１１０６、１１０７、１４０４、１４０５、１４０６、１４０７ 候補ベクトルとするブロック
９００ ＳＡＤ演算部
９０１ ＳＡＤ最小値判定部
９０２ 候補ベクトル生成部
９０３ 動きベクトル決定部
９０４ メモリ
９１０ １フィールド前画像データ
９１１ １フィールド後画像データ
９１２ 演算結果
９１４ 判定結果
９１５ 動きベクトル
９１６ 既検出ベクトル
１０００ フィールドｎ−２画像
１００１ フィールドｎ−１画像(補間)
１００２ フィールドｎ画像
１００７、１３０７ 画素ブロック
１１００、１４００ １フィールド画面
１１０８ 処理済みブロック
１３００ １フィールド前の画像(フィールドｎ−２画像)
１３０１ 補間フィールド画像(フィールドｎ−１画像)
１３０２ １フィールド後の画像(フィールドｎ画像)
１４０８ Ｒ画像とＬ画像の画像境界
【特許請求の範囲】
【請求項１】
立体画像を表示する第１の画像及び第２の画像を示す立体画像データから、前記第１の画像と前記第２の画像との間に１ブロック以上のブランク画像を含めた画像を示す加工画像データを生成するデータ加工部と、
複数の前記加工画像データ間を補間する加工補間画像データが示す加工補間画像に含まれる第１のブロックから所定の範囲内に含まれ、動きベクトルを検出済みの複数の第２のブロックの動きベクトルを、前記第１のブロックの動きベクトルの候補の候補ベクトルとして決定する候補ベクトル決定部と、
前記決定された複数の候補ベクトルから、前記第１のブロックの動きベクトルを決定する動きベクトル決定部と、
前記決定された動きベクトルに基づいて、前記第１のブロックにおける画像を補間して、前記加工補間画像データを生成する画像補間部と、
前記生成された加工補間画像データに基づいて、前記複数の加工画像データの生成に用いられた複数の立体画像データ間を補間する立体補間画像データを出力する出力部と、
を備えた画像処理装置。
【請求項２】
前記立体画像データは、第１のフィールドにおける前記第１の画像を示す第１の画像データと、前記第１のフィールドに後続する第２のフィールドにおける前記第２の画像を示す第２の画像データとを含み、
前記データ加工部は、第１の画像データ及び第２の画像データから、１つの画像を示す加工画像データを生成する請求項１に記載の画像処理装置。
【請求項３】
前記立体画像データは、同一のフィールドにおいて、前記第１の画像及び前記第２の画像を含む画像を示す画像データである請求項１に記載の画像処理装置。
【請求項４】
前記画像処理装置は、前記加工補間画像データを格納する画像データ記憶部をさらに備え、
前記画像補間部は、前記生成した加工補間画像データを前記画像データ記憶部に格納し、
前記出力部は、前記画像データ記憶部に格納された加工補間画像データを取得して、取得した加工補間画像データに基づいて、前記立体補間画像データを出力する請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記画像処理装置は、前記加工補間画像のうち、前記第１の画像と前記第２の画像のそれぞれの位置を特定する位置特定情報が格納される画像情報記憶部をさらに備え、
前記画像補間部は、前記生成した加工補間画像データの位置特定情報を前記画像情報記憶部に格納し、
前記出力部は、前記画像情報記憶部に格納された位置特定情報に基づいて、前記生成された加工補間画像データのうち、前記第１の画像及び前記第２の画像を示す画像データを前記立体補間画像データとして出力する請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項６】
前記動きベクトル決定部は、前記候補ベクトルに基づいて特定され、前記複数の加工画像データが示す画像のそれぞれに含まれるブロック間の画素値の差分に基づいて、前記動きベクトルを決定する請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記第１の画像及び第２の画像は、左目用の画像及び右目用の画像であるか、又は、右目用の画像及び左目用の画像である請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記立体画像データは、インタレース画像を示す画像データであり、
前記立体補間画像データは、ＩＰ(Interlace/Progressive)変換において、立体画像データが示すインタレース画像をプログレッシブ画像にするために補間されるインタレース画像を示す画像データである請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
立体画像を表示する第１の画像及び第２の画像を含む画像を示す立体画像データから、前記第１の画像と前記第２の画像との間に１ブロック以上のブランク画像を含めた画像を示す加工画像データを生成し、
複数の前記加工画像データ間を補間する加工補間画像データが示す加工補間画像に含まれる第１のブロックから所定の範囲内に含まれ、動きベクトルを検出済みの複数の第２のブロックの動きベクトルを、前記第１のブロックの動きベクトルの候補の候補ベクトルとして決定し、
前記決定された複数の候補ベクトルから、前記第１のブロックの動きベクトルを決定し、
前記決定された動きベクトルに基づいて、前記第１のブロックにおける画像を補間して、前記加工補間画像データを生成し、
前記生成された加工補間画像データに基づいて、前記複数の加工画像データの生成に用いられた複数の立体画像データ間を補間する立体補間画像データを出力する画像処理方法。
【請求項１０】
立体画像を表示する第１の画像及び第２の画像を含む画像を示す立体画像データから、前記第１の画像と前記第２の画像との間に１ブロック以上のブランク画像を含めた画像を示す加工画像データを生成する処理と、
複数の前記加工画像データ間を補間する加工補間画像データが示す加工補間画像に含まれる第１のブロックから所定の範囲内に含まれ、動きベクトルを検出済みの複数の第２のブロックの動きベクトルを、前記第１のブロックの動きベクトルの候補の候補ベクトルとして決定する処理と、
前記決定された複数の候補ベクトルから、前記第１のブロックの動きベクトルを決定する処理と、
前記決定された動きベクトルに基づいて、前記第１のブロックにおける画像を補間して、前記加工補間画像データを生成する処理と、
前記生成された加工補間画像データに基づいて、前記複数の加工画像データの生成に用いられた複数の立体画像データ間を補間する立体補間画像データを出力する処理と、
をコンピュータに実行させる画像処理プログラム。
【請求項１】
立体画像を表示する第１の画像及び第２の画像を示す立体画像データから、前記第１の画像と前記第２の画像との間に１ブロック以上のブランク画像を含めた画像を示す加工画像データを生成するデータ加工部と、
複数の前記加工画像データ間を補間する加工補間画像データが示す加工補間画像に含まれる第１のブロックから所定の範囲内に含まれ、動きベクトルを検出済みの複数の第２のブロックの動きベクトルを、前記第１のブロックの動きベクトルの候補の候補ベクトルとして決定する候補ベクトル決定部と、
前記決定された複数の候補ベクトルから、前記第１のブロックの動きベクトルを決定する動きベクトル決定部と、
前記決定された動きベクトルに基づいて、前記第１のブロックにおける画像を補間して、前記加工補間画像データを生成する画像補間部と、
前記生成された加工補間画像データに基づいて、前記複数の加工画像データの生成に用いられた複数の立体画像データ間を補間する立体補間画像データを出力する出力部と、
を備えた画像処理装置。
【請求項２】
前記立体画像データは、第１のフィールドにおける前記第１の画像を示す第１の画像データと、前記第１のフィールドに後続する第２のフィールドにおける前記第２の画像を示す第２の画像データとを含み、
前記データ加工部は、第１の画像データ及び第２の画像データから、１つの画像を示す加工画像データを生成する請求項１に記載の画像処理装置。
【請求項３】
前記立体画像データは、同一のフィールドにおいて、前記第１の画像及び前記第２の画像を含む画像を示す画像データである請求項１に記載の画像処理装置。
【請求項４】
前記画像処理装置は、前記加工補間画像データを格納する画像データ記憶部をさらに備え、
前記画像補間部は、前記生成した加工補間画像データを前記画像データ記憶部に格納し、
前記出力部は、前記画像データ記憶部に格納された加工補間画像データを取得して、取得した加工補間画像データに基づいて、前記立体補間画像データを出力する請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記画像処理装置は、前記加工補間画像のうち、前記第１の画像と前記第２の画像のそれぞれの位置を特定する位置特定情報が格納される画像情報記憶部をさらに備え、
前記画像補間部は、前記生成した加工補間画像データの位置特定情報を前記画像情報記憶部に格納し、
前記出力部は、前記画像情報記憶部に格納された位置特定情報に基づいて、前記生成された加工補間画像データのうち、前記第１の画像及び前記第２の画像を示す画像データを前記立体補間画像データとして出力する請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項６】
前記動きベクトル決定部は、前記候補ベクトルに基づいて特定され、前記複数の加工画像データが示す画像のそれぞれに含まれるブロック間の画素値の差分に基づいて、前記動きベクトルを決定する請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記第１の画像及び第２の画像は、左目用の画像及び右目用の画像であるか、又は、右目用の画像及び左目用の画像である請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記立体画像データは、インタレース画像を示す画像データであり、
前記立体補間画像データは、ＩＰ(Interlace/Progressive)変換において、立体画像データが示すインタレース画像をプログレッシブ画像にするために補間されるインタレース画像を示す画像データである請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
立体画像を表示する第１の画像及び第２の画像を含む画像を示す立体画像データから、前記第１の画像と前記第２の画像との間に１ブロック以上のブランク画像を含めた画像を示す加工画像データを生成し、
複数の前記加工画像データ間を補間する加工補間画像データが示す加工補間画像に含まれる第１のブロックから所定の範囲内に含まれ、動きベクトルを検出済みの複数の第２のブロックの動きベクトルを、前記第１のブロックの動きベクトルの候補の候補ベクトルとして決定し、
前記決定された複数の候補ベクトルから、前記第１のブロックの動きベクトルを決定し、
前記決定された動きベクトルに基づいて、前記第１のブロックにおける画像を補間して、前記加工補間画像データを生成し、
前記生成された加工補間画像データに基づいて、前記複数の加工画像データの生成に用いられた複数の立体画像データ間を補間する立体補間画像データを出力する画像処理方法。
【請求項１０】
立体画像を表示する第１の画像及び第２の画像を含む画像を示す立体画像データから、前記第１の画像と前記第２の画像との間に１ブロック以上のブランク画像を含めた画像を示す加工画像データを生成する処理と、
複数の前記加工画像データ間を補間する加工補間画像データが示す加工補間画像に含まれる第１のブロックから所定の範囲内に含まれ、動きベクトルを検出済みの複数の第２のブロックの動きベクトルを、前記第１のブロックの動きベクトルの候補の候補ベクトルとして決定する処理と、
前記決定された複数の候補ベクトルから、前記第１のブロックの動きベクトルを決定する処理と、
前記決定された動きベクトルに基づいて、前記第１のブロックにおける画像を補間して、前記加工補間画像データを生成する処理と、
前記生成された加工補間画像データに基づいて、前記複数の加工画像データの生成に用いられた複数の立体画像データ間を補間する立体補間画像データを出力する処理と、
をコンピュータに実行させる画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１２−５０００５（Ｐ２０１２−５０００５Ａ）
【公開日】平成２４年３月８日（２０１２．３．８）
【国際特許分類】
【出願番号】特願２０１０−１９２６４９（Ｐ２０１０−１９２６４９）
【出願日】平成２２年８月３０日（２０１０．８．３０）
【出願人】（３０２０６２９３１）ルネサスエレクトロニクス株式会社 (8,021)
【Ｆターム（参考）】
【公開日】平成２４年３月８日（２０１２．３．８）
【国際特許分類】
【出願日】平成２２年８月３０日（２０１０．８．３０）
【出願人】（３０２０６２９３１）ルネサスエレクトロニクス株式会社 (8,021)
【Ｆターム（参考）】
[ Back to top ]