動きベクトルに基づく画像のスケーリング
今日、複数のテレビ規格は異なるアスペクト比を用いている。例えば、ワイドスクリーンのアスペクト比１６：９は、アスペクト比４：３を用いる既存のテレビ放送において一般的である。均一又は非均一のスケーリング比により水平方向に画像をスケーリングする方法は“パノラマスケーリング”と呼ばれる。画像１０２の少なくとも一部の動きベクトル１０１に基づいて生成されるスケーリング関数１２１により画像１０２をスケーリングする装置１００及び方法８００について開示されている。装置１００は、第１アスペクト比を有する第１画像を第２アスペクト比の第２画像に変換する画像処理装置又は画像表示装置において用いられる。開示されている装置１００は、特に、シーンにおいて動いている対象物の場合に、パノラマスケーリングによりもたらされる可視的な歪みの低減において有用である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を処理する方法に関し、特に、画像の映像シーケンスに属す画像をスケーリングする方法に関する。
【背景技術】
【０００２】
画像のアスペクト比は、画像が表示される高さで除算される画像が表示される幅（通常、“Ｘ：Ｙ”で表される）である。今日、種々のテレビの基準で異なるアスペクト比が用いられている。１６：９のワイドスクリーンのアスペクト比は、４：３のアスペクト比を用いる既存のテレビ放送における支持を得ている。その結果、アスペクト比についての要請がもたらされた。アスペクト比変換のための一部の一般的な方法は、両側に黒色のバーを付加すること、水平方向にのみ画像を走査すること及び水平方向及び鉛直方向に画像を走査することである。走査は、映像データの画像フレームの解像度を変えることを有する。非均一なスケーリング機能により水平方向に画像をスケーリングする方法は“パノラマスケーリング”と呼ばれている。非均一スケーリングは、側部における対象物が中央における対象物に比べてより歪むようにする。一般に、パノラマスケーリングは静止画像について許容可能であるが、例えば、カメラパニングによりもたらされる画像における動きの場合、対象物は、異なる空間の場所において異なるスケーリングの影響下に置かれるため、サイズが変わったように現れる。このことは、かなり厄介である対象物の視覚的な歪みをもたらす。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
画像の映像シーケンスに属す画像をスケーリングする改善された方法を有することが要請されている。
【課題を解決するための手段】
【０００４】
従って、ここで開示されている画像の映像シーケンスに属す画像をスケーリングする改善された方法において、その方法は、第１画像における対象物の第１位置と第２画像における対象物の第２位置との間における対象物の位置の変化を表す動きベクトルに基づいて画像をスケーリングする段階であって、前記画像は画像の映像シーケンスに属す、段階を有する。
【０００５】
好適な実施形態において、画像をスケーリングする段階は、動きベクトルに基づいてスケーリング関数を生成する段階と、画像の１つ又はそれ以上の画素にスケーリング関数を適用することによりスケーリングされた画像の１つ又はそれ以上の画素を得る段階とを有する。
【０００６】
また、画像の映像シーケンスに属す画像の改善されたスケーリングのため装置を有することは好ましいことである。
【０００７】
従って、本明細書において開示される画像の改善されたスケーリングのための装置において、その装置は、第１画像における対象物の第１位置と第２画像における対象物の第２位置との間の対象物の位置の変化を表す動きベクトルを受け入れることができる第１受信器であって、前記画像は画像の映像シーケンスに属す、第１受信器と、動きベクトルに基づいてスケーリング関数を生成することができる第１ジェネレータと、画像の１つ又はそれ以上の画素にスケーリング関数を適用することによりスケーリングされた画像の１つ又はそれ以上の画素を得ることができる画像スケーラと、を有する。
【０００８】
画像の改善されたスケーリングのための画像処理装置であって、スケーリングが所定のアスペクト比に基づいている、画像処理装置を有することはまた、好ましいことである。
【０００９】
従って、本明細書に開示されている画像の改善されたスケーリングのための画像処理装置において、画像処理装置は、画像のシーケンスを受け入れる第２受信器と、第１画像における対象物の第１位置と第２画像における対象物の第２位置との間の対象物の位置の変化を表す動きベクトルを予測することができる動き予測ユニットであって、前記画像は画像の映像シーケンスに属す、動き予測ユニットと、画像の映像シーケンスに属す画像をスケーリングすることができる装置であって、そのスケーリングは所定のアスペクト比に基づいている、装置と、を有する。
【００１０】
また、画像の改善されたスケーリング及び画像の表示のための画像表示装置を有することは好ましいことである。
【００１１】
従って、本明細書で開示される画像表示装置において、その画像表示装置は、画像処理装置と、表示装置と、を有する。画像処理装置は、画像の映像シーケンスに属す画像の改善されたスケーリングのために備えられ、表示装置は、スケーリングされた画像を表示するために備えられる。
【００１２】
また、動きベクトルに基づいて画像をスケーリングする方法の複数の段階を実行する
コンピュータプログラム及びコンピュータプログラムプロダクトを有することは好ましいことである。
【００１３】
従って、本明細書に開示されているコンピュータプログラム及びコンピュータプログラムプロダクトにおいて、コンピュータプログラム及びコンピュータプログラムプロダクトは、動きベクトルに基づくスケーリング関数を生成する命令と、画像の映像シーケンスに属す画像の１つ又はそれ以上の画素にスケーリング関数を適用することによりスケーリングされた画像の１つ又はそれ以上の画素を得る命令と、を有する。
【００１４】
上記の及び他の特徴については、例示として、添付図を参照して、以下の実施形態に基づいて詳述する。
【００１５】
複数の図で用いている対応する参照番号は、それらの図における対応する要素を表している。
【発明を実施するための最良の形態】
【００１６】
映像データは、行列状に配列された画素から成る画像のシーケンスを有する。それらの画像はフレームと呼ばれる。例えば、映像データは、１秒当たり３０フレーム又は１秒の映像データから成る３０の個別の画像を有することが可能である。ディジタルテレビ及びストリーミングメディアにより、複数の新しい技術が、複数のメディアフォーマット及び表示フォーマットの互換性及び相互運用性を可能にするように開発されてきた。画像をスケーリングすることによる画像のアスペクト比の変換は重要な技術である。例えば、６４０ｘ４８０画素（ＮＤＴＶ解像度）を有するアスペクト比４：３の画像は、１９２０ｘ１０８０画素（ＨＤＴＶ解像度）を有するアスペクト比１６：９にスケーリングされることができる。画像がスケーリングされるとき、スケーリングされる画像における各々の新しい画素の値はオリジナルの画像における１つ又はそれ以上の画素に基づいている。各々の新しい画素の演算はスケーリング関数により数式化されることができる。最も単純なスケーリング関数は一次式である。一次式を適用することにより、画像は、必要な数の画素を得るように、一定の水平方向のスケーリング比及び垂直方向のスケーリング比に従って水平方向及び垂直方向の両方において均一に伸長される。しばしば、水平方向のスケーリング比は、例えば、ＮＴＳＣ解像度をＨＤＴＶ解像度に変換するとき、垂直方向のスケーリング比に等しくない。等しくない水平方向のスケーリング比及び垂直方向のスケーリング比を有する画像のスケーリングは、スケーリングされた画像における対象物が水平方向か又は垂直方向のどちらかにおいて引き伸ばされたようにみえるため、視覚的な歪みをもたらす可能性がある。不均一なパノラマスケーリングは、一般に、そのような歪みを低減するように用いられる。この技術に従って、画像における行画素は、空間的な場所に依存して変わるスケーリング比に従ってスケーリングされる。例えば、水平方向のスケーリング比は、パノラマ画像の水平方向の中央から両側に次第に増加する、しかしながら、この技術はまた、動いているシーンにおいて特に、視覚的な歪みをもたらす。対象物がシーンを横断して動く又はカメラがシーンを横断してパンするとき、視覚的な歪みは、対象物がその幅が一定に変化するように現れるために、より顕著である。特に、動いているシーンにおける、低減された視覚的な歪みを伴う、パノラマスケーリングを有することは好ましいことである。
【００１７】
図１は、動きベクトル１０１に基づいて画像１０２をスケーリングする方法１００の有効な実施形態を示している。スケーリング関数１２１が段階１２０において生成され、スケーリングされた画像１３１は、画像１０２の１つ又はそれ以上の画素にスケーリング関数１２１を適用することにより、段階１３０において得られる。
【００１８】
動きベクトル１０１は、典型的には、動き予測方法により得られる。動きベクトルは、第１画像における対象物の第１位置と第２画像における対象物の第２位置との間の対象物の位置の変化であって、前記第１画像及び第２画像が画像の映像シーケンスに属す、変化である。第１画像及び第２画像は、時間経過と共に表示され、動いているシーンを描く。
【００１９】
視覚的な歪みを低減するように、非均一なスケーリングが、シーンにおける対象物の動きの速度に依存して行われることが可能である。動きベクトルから、画像における動きに適合される適合スケーリング関数が得られる。換言すれば、非均一なスケーリングは静止シーンに適用され、略均一なスケーリングは、高速で動いているシーンに適用され、中程度の非均一なスケーリングは、動きの大きさに依存して画像に適用される。シーンにおける対象物の速度が所定速度に近づくにつれて、非均一なスケーリングは均一なスケーリングになる傾向にある。
【００２０】
画像のシーケンスの各々の画像について、動きベクトルに基づく新しいスケーリング関数が演算される。異なるスケーリング比が各々の画像に適用されることが可能である。各々の画像において、スケーリング比は、場所に応じて非均一であることが可能である。スケーリング関数の非線形性は、異なるスケーリング比が異なる空間的な場所において得られるように、調整される。例えば、シーンにおける対象物の高速の動きによる、より大きい大きさの動きベクトルについては、実質的に線形のスケーリング関数が、ビューアが強い“ハーモニカ”効果を知覚しないように得られるように、適用される。この結果、実質的に均一なスケーリング比がその画像における画素に適用される。他方、例えば、実質的に静止シーンから得られるより大きさの小さい動きベクトルについては、実質的に非均一なスケーリング比を生成するスケーリング関数が生成される。このことは、例えば、一部の人々が画像の一部に存在し、周囲の領域をスケーリングする必要性があまり重要でないシーンについては、有用である。その結果、実質的に非均一なスケーリング比が、実質的に静止シーンの画像をスケーリングするために用いられる。従って、そのスケーリングは、動きベクトルの大きさに従って適用され、異なる空間的な場所に適用される、そのスケーリングは、空間において及び時間経過につれて配分され、それにより、実質的に視覚的な歪みを低減することができる。
【００２１】
開示されている装置についての有用な動きベクトルの予測は、文献“Ｐｒｏｇｒｅｓｓ ｉｎ Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ ｆｏｒ Ｃｏｎｓｕｍｅｒ Ｖｉｄｅｏ Ｆｏｒｍａｔ Ｃｏｎｖｅｒｓｉｏｎ”，ｂｙ Ｇ．ｄｅ Ｈａａｎ，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎ Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ，ｖｏｌ．４６，ｎｏ．３，ｐｐ．４４９−４５９，（Ａｕｇｕｓｔ ２０００）に開示されているブロックマッチング及びリカーシブ型の動きベクトル予測を含むが、それに限定されるものではない。当業者は、複数の既知の技術により、画像のシーケンスから、少なくとも画像の一部の動きベクトルを得ることができる。更に、本発明の装置についての有用な動き予測は、ブロックばかりでなく、ブロック及び画素を有する何れかの種類の形状の領域において機能することができる。
【００２２】
本発明の方法１００の他の実施形態においては、画像１０２と第２画像との間のグローバル変化を表すグローバル動きベクトル１０１が用いられる。グローバル動きベクトルは、動きベクトルから決定されることが可能である。グローバル動き予測は、完全な画像における動き、即ち、多かれ少なかれ同様の動きを有する大きい対象物又は複数の対象物の平均的な動き又は主要な動きについてのメトリックである。動きモデルは、対象物又はカメラのパニング（即ち、並進）の検出において適用されることが可能である。動きモデルは、ときどき、“パン−ズームモデル”と呼ばれる。スケーリング関数はまた、異なるモデル、例えば、スケーリングの必要性を最適化するように、それにより、視覚的なアーティファクトを最小化するように回転しているシーンについて導き出されることが可能である。グローバル動きベクトルに基づくスケーリング関数は、全体の画像をスケーリングするために有利に用いられることが可能であるスケーリング関数を生成するように有利に用いられることが可能である。
【００２３】
画像のグローバル動きベクトルを予測する技術については、当該技術分野において知られている。例えば、文献“Ａｎ ｅｆｆｉｃｉｅｎｔ ｔｒｕｅ−ｍｏｔｉｏｎ ｅｓｔｉｍａｔｏｒ ｕｓｉｎｇ ｃａｎｄｉｄａｔｅ ｖｅｃｔｏｒｓ ｆｒｏｍ ａ ｐａｎｏｒａｍｉｃ ｍｏｔｉｏｎ ｍｏｄｅｌ”，ｂｙ Ｇ．ｄｅ Ｈａａｎ，ｅｔ ａｌ．，ｉｎ ＩＥＥＥ ｃｉｒｃｕｉｔｓ ａｎｄ ｓｙｓｔｅｍｓ ｆｏｒ ｖｉｄｅｏ ｔｅｃｈｎｏｌｏｇｙ，ｖｏｌ．８，ｎｏ．１．ｐｐ．８５−９１，Ｍａｒｃｈ １９９８において、動きモデルからグローバル動きベクトルを予測するスキームについて記載されている。そのような方法を用いる場合、グローバル動きベクトルは、一般に、装置の実施形態の１つにおいて予測されて、用いられる。
【００２４】
方法１００の他の実施形態においては、スケーリング関数１２０は、動きベクトル１０１の成分の一に基づいて、スケーリング関数１２０の少なくとも１つのパラメータを変化させることにより生成される。スケーリング関数１２０は、画像の複数の空間的な場所において異なるスケーリング比を生成するようにデザインされる。空間的に変化する非線形変換関数がスケーリング関数として選択されることが可能である。例示として、式（１）に示す二次関数について考える。
ｆ（ｘ）＝ａｘ２＋ｂｘ＋ｃ (ａ≠０) （１）
二次関数（１）は放物線の形をしていて、その放物線の頂点はｘ座標ｂ／２ａを有するグラフにおける点にある。二次関数は、中央の画素が均一なスケーリング比により変換され、側部にある画素は次第に大きくなる非均一スケーリング比により変換される。この変換の結果として、中央における対象物は正常に現れ、側部における対象物は、伸長され且つ歪んで現れる。異なる形状の放物線がまた、動きベクトルから導き出される値により制御されるパラメータａの値を変化させることにより得られる。その導き出された値は、動きベクトルの水平方向成分、垂直方向成分又はそれらの成分の二乗平方根平均値であることが可能である。その導き出された値は、増加した安定性のために０乃至１の範囲内で正規化されることが可能である。その変化は、より大きい大きさの動きベクトルについて、放物線があまり深くなく、均一なスケーリング比が得られるように、制御されることが可能である。他方、あまり大きくない大きさの動きベクトルは、比較的大きい深さの放物線をもたらす。異なる形状の放物線により、スケーリング比の非均一性が制御されることが可能である。
【００２５】
方法１００の他の実施形態においては、マルチモーダル関数が、例えば、複数の関数の組み合わせに基づいて、用いられることが可能である。実施例は、異なる場所において重なり合った放物線形状をもたらす二次関数の組み合わせであることが可能である。例えば、ある動作を有効に表す画像の中央領域及びある背景を有する画像の周囲の領域が、異なる二次関数から得られる異なる放物線の形状でスケーリングされることが可能である。
【００２６】
スケーリングされた画像において、対象物は、典型的には、水平方向のスケーリング比が垂直方向のスケーリング比と等しくないとき、形状が歪んでいるように現れる。２つの可能性が存在し、第１の可能性は、水平方向のスケーリング比が垂直方向のスケーリング比より大きく、第２の可能性は、垂直方向のスケーリング比が水平方向のスケーリング比より大きいことである。第１の場合、水平方向のスケーリング関数は、典型的には、動きベクトルの水平方向の成分に基づいて生成されることが可能であり、第２の場合、対直方向のスケーリング関数は、典型的には、動きベクトルの垂直方向の成分に基づいて生成されることが可能である。水平方向のスケーリング関数は画素の行において適用され、垂直方向のスケーリング関数は画素の列において適用される。垂直方向のスケーリング関数は、表示されるピクチャの高さが幅より大きい、例えば、携帯型装置で表示されるときに、適用されることが可能である。それ故、垂直方向のスケーリング関数又は水平方向のスケーリング関数は、アプリケーションに依存して生成される及び選択的に適用されることが可能である。
【００２７】
その方法の一の有効な実施形態に従った水平方向のスケーリング関数を用いる水平方向のスケーリングを実行することについて、以下に詳細に説明する。各々の行に６４０個の画素を、各々の列に４８０個の画素を有するアスペクト比４：３の入力画像について考えることにする。その入力画像は、アスペクト比１６：９に適合する１９２０ｘ１０８０画素の出力画像を得るようにスケーリングされるようになっている。この実施例においては、水平方向のスケーリング比は垂直方向のスケーリング比より大きい。その方法の一実施形態に従って、非均一な水平方向のスケーリング関数及び均一な垂直方向のスケーリング関数が入力画像に適用される。そのような場合、入力画像に属すラインの特定の部分におけるＫ個の画素が、水平方向のスケーリング関数を適用することにより、出力画像に属すラインの対応する部分において、Ｌ個の画素を生成するように用いられ、ここでは、Ｋ≠Ｌである。Ｌ個の出力画素は、既知の補完方法の一つにより生成されることが可能である。非均一性もまた、パラメータが動きベクトルの水平方向の成分により制御される非線形関数から得られる。それ故、動き依存性である非均一スケーリング関数を適用することにより画像をスケーリングすることにより画像のアスペクト比を変換する方法が提供される。
【００２８】
その方法の他の実施形態においては、画像１０２は、典型的には、矩形に、即ち画素のブロックに分割されることが可能である。適切な非線形性を有するスケーリング関数が、連続的な動きを有し、それにより、視覚的な歪みがもたらされない画像の各々の部分に適用されることが可能である。
【００２９】
図２は、基底関数からスケーリング関数を生成するように備えられている方法２００の有効な実施形態について示している。スケーリング関数１２１は段階１２０で生成され、スケーリングされる画像１３１は、画像１０２の１つ又はそれ以上の画素にスケーリング関数１２１を適用することにより段階１３０において得られる。２つの有効な関数２７０及び２８０の群からの関数２６０は段階１２０において選択され、用いられることが可能である。非線形関数２７０の集合及び区分線形関数２８０が提供される。選択された非線形関数の少なくとも１つのパラメータは、動きベクトル１０１からもたらされる値に従って変えられることが可能である。例示として、式（１）に示されている関数について考えることにする。非線形関数の集合は、パラメータａを変えることにより生成されることが可能である、更に、実質的な線形関数ｆ（ｘ）＝ｂｘ＋ｃはまた、ａ＝０を選択することにより得られる。非線形関数の幾つかの実施形態は、二次関数、指数関数及び対数関数である。それらの関数の何れかの一が基底関数として選択されることが可能である。ディジタル演算装置における、より容易な操作及び演算のために区分線形関数として非線形関数で表すことはしばしば、便利である。例えば、ルックアップテーブルの形の入力−出力変換がしばしば、非線形変換を表現するために用いられる。区分線形関数はまた、ある式に適合することが可能でない入力−出力値を表すために有用である。
【００３０】
図３は、少なくとも１つのパラメータ値を制限することによりスケーリング関数を生成する方法３００の実施例である。制限する段階３２５は更に、スケーリング関数を生成する段階３２０に含まれる。動きベクトル１０１のダイナミックレンジは、一般に、スケーリング関数３２１の許容パラメータ範囲に比べてかなり広い。それ故、許容範囲内のスケーリング関数の少なくとも１つのパラメータを制限することは有利である。生成されるスケーリング関数の少なくとも１つのパラメータは、パラメータの所定の範囲内で、段階３２５において実質的に制限され、それにより、装置３００の全体的な安定性を向上することができる。パラメータを制限することは、その構成がスケーリングされた画像を得る段階３３０における飽和状態又は暴走状態を回避することにより信頼性を向上させるために、有利である。スケーリング関数３２１のパラメータの範囲は設計パラメータであることが可能である、又はその範囲はスケーリングされた画像３３１を得る段階３３０における許容入力範囲に従って決定されることが可能である。
【００３１】
図４は、信頼性値４０３に基づいてスケーリング関数を選択する方法の実施例について示している。全ての動きベクトル１０１は任意に、信頼性値４０３に関連付けられることが可能である。その方法４００は、段階１２０により生成されるスケーリング関数１２１か又は信頼性値４０３に基づく所定のスケーリング関数４２６のどちらかを選択するための選択段階４２５を有する。所定のスケーリング関数の実施例は単純な線形関数である。図１についての記載で説明しているパン−ズームモデルにおいて、予測される動きベクトルの信頼性値が利用可能である。その信頼性値は、シーンが異なる方向に動いている複数の対象物を有するとき、例えば、無秩序状態のシーンのときは、小さい。スケーリングに基づく動きベクトルは、信頼性値で示されるため、予測される動きベクトルが高信頼性であるときにのみ、その動きベクトルが適用される。選択されたスケーリング関数４２７は、スケーリングされた画像１３１を得る段階１３０で用いられる。
【００３２】
図５は、シーン変化信号５０３に基づいてスケーリング関数を選択する方法の実施例について示している。シーン変化信号５０３は、動きベクトル１０１を予測するために用いられる方法又は装置により任意に生成されることが可能である。シーン変化信号を得る幾つかの他の方法についてが当該技術分野で知られている。方法５００は、段階１２０により生成されるスケーリング関数１２１を又はシーン変化信号５０３に基づいて所定のスケーリング関数５２６を選択する段階５２５を有する。シーン変化が存在しない限り、生成されるスケーリング関数５２５が、スケーリングされる画像を生成する段階１３０に適用される。シーン変化が存在するとき、先行するシーンのスケーリング関数１２１の連続する適用が視覚的な歪みをもたらす可能性がある。スケーリング関数のパラメータをリセットすることが可能である所定のスケーリング関数５２６が、画像の新しいシーケンスが安定化されるときに、中間期において有利に適用されることが可能である。例えば、所定のパラメータの集合を有する二次関数が新しいシーンについて用いられることが可能である。選択されたスケーリング関数５２７が、スケーリングされた画像１３１を生成するように段階１３０に適用される。この構成のために、シーン変化による可視的なアーティファクトが相対的に低減され、方法５００のロバストネスが向上する。
【００３３】
図６は、タイミング関数を生成する方法６００の実施例を示している。スケーリング関数１２１を生成する段階１２０に加えて、その方法は、動きベクトル１０１からタイミング関数を生成する段階６４０を有する。タイミング関数６４１は、スケーリングされた画像６３１を得るための段階６３０において用いられる。タイミング関数６４１は、スケーリング関数１２１が画像１０２に適用されるべきレートを決定する。スケーリング比を突然変えることは、出力画像３３１におけるジャーク及び可視的なアーティファクトをもたらす可能性がある。スケーリング関数１２１はスケーリング比における変化の品質を制御する一方、タイミング関数６４１は、変化量が画像のシーケンス、即ち、一度に一画像フレームに適用されるべきレートを制御する。それ故、スケーリングは、付加的次元、即ち、時間で制御される。動きベクトルの大きさにおける速く且つ頻繁の変化はスケーリング関数１２１における対応する変化をもたらすことが可能であり、瞬間的に適用されるとき、その変化は、出力画像６３１における好ましくないジャーク及び歪みをもたらす可能性がある。タイミング関数６４１は、スケーリング関数１２１における徐々の変化を達成するのに有用である。例えば、スケーリング関数の遅延適用について線形タイミング関数が選択されることが可能である。その結果、出力画像６３１における対象物はよりスムーズな移行を得るように現れる。スケーリング比における変化は時空間において分散され、より少ない視覚的な歪みをもたらす。
【００３４】
図７は、少なくとも１つのパラメータ値を制限することにより、タイミング関数７５１を生成する方法７００の実施例を示している。制限する段階７５０は、タイミング関数を生成する段階７４０に含まれている。動きベクトル１０１のダイナミックレンジは、一般に、タイミング関数の所定のパラメータの範囲に比べてかなり大きい。それ故、許容範囲内のタイミング関数により生成される値を制限することは有利である。生成されたタイミング関数７５１のパラメータは、実質的に所定の範囲内に制限され、それにより、全体の方法７００の安定性が高められる。タイミング関数のパラメータを制限することは、その構成が段階７００における飽和状態又は暴走状態を回避することにより信頼性を向上させるために、有利である。タイミング関数のパラメータのための所定の範囲は設計特徴であることが可能である。その範囲は、画像１０２をスケーリングする段階６３０における許容入力により決定されることが可能である。
【００３５】
図８は、信頼性値８０３に基づいてタイミング関数を選択する方法８００の実施例を示している。全ての動きベクトル１０１は、信頼性値８０３と共に任意に受け入れられることが可能である。その方法８００は、信頼性値８０３に基づいて、段階６４０により生成されるタイミング関数６４１か又は所定のタイミング関数８６０のどちらかを選択する選択段階８５０を有する。生成されたタイミング関数６４１は、信頼性値８０３が所定の閾値を上回るときのみに、スケーリング画像６３１を生成する段階６３０で用いられる。予測動きベクトル８０３が高信頼性であることが判明したとき、所定のタイミング関数８６０、例えば、一定のタイミング値又は線形タイミング関数が選択され、その選択されたタイミング関数８５１が画像１０２のスケーリングにおいて用いられる。
【００３６】
図９は、シーン変化信号９０３に基づいてタイミング関数を選択する方法９００の実施例を示している。シーン変化信号９０３は、動きベクトル１０１を予測するために用いられる方法又は装置により任意に生成されることが可能である。シーン変化信号を得る幾つかの他の方法が当該技術分野において知られている。方法９００は、段階６４０により生成されるタイミング関数６４１を又はシーン変化信号９０３に基づいて所定のタイミング関数９６０を選択する段階９５０を有する。シーン変化が存在しない限り、生成されたタイミング関数６４１はスケーリング画像６３１を生成する段階６３０で用いられる。上記のように、選択されたタイミング関数９５１は、所望のレートでスケーリング関数１２１を適用することにおいて有用である。シーン変化が存在するとき、先行するシーンのスケーリング関数の連続的適用は視覚的な歪みをもたらす可能性がある。所定のタイミング関数９６０が、画像の新しいシーケンスが安定化されるまで、中間期において適用されることが可能である。この構成のために、シーン変化のための外乱は相対的に低減され、その方法９００のロバスト性は高められる。
【００３７】
図１０は、画素のＭｘＮブロックを有する画像１０２を模式的に示している。その画像にはＭ個の行及びＮ個の列のブロックが存在する。各々のブロックにおいては、ｍ個の行及びｎ個の列の画素が存在する。一般に、ｍ≠ｎ及びＭ≠Ｎであるが、Ｍ＝Ｎ及びｍ＝ｎの特別な場合は提供される装置において排除されない。既知の映像圧縮スキーム、例えば、ＭＰＥＧにおいて、動きベクトルは、各々のブロックについて予測され、ブロックに属す各々の画素に割り当てられる。グローバル動きベクトルが、ＭｘＮブロックを用いる動きモデルから決定されることが可能である。グローバル動きベクトルは、その画像についてのスケーリング関数を生成するために用いられることが可能である。他の実施形態においては、Ｍｘ１ブロック又は１ｘＮブロックに対応するＭ個の動きベクトル又はＮ個の動きベクトルが、Ｍ個又はＮ個のスケーリング関数のそれぞれを生成するために予測されて、用いられることが可能である。Ｍ個のスケーリング関数は、幅ｍの画素の各々のそれぞれのＭ個の水平方向のストリップに属す画素をスケーリングするために適用されることが可能である。同様に、Ｎ個のスケーリング関数が、幅ｎの画素の各々のそれぞれのＮ個のストリップに属す画素をスケーリングするために適用されることが可能である。それ故、その画像の各々のストリップ又はその部分は、異なるスケーリング関数によりスケーリングされ、その画像の各々の部分について独立してスケーリング比を制御されることが可能である。このスキームは、１つ又はそれ以上の水平方向のストリップが連続的な動き、例えば、ティッカーテープを含むことが可能であるアプリケーションにおいて、特に有用である。
【００３８】
図１１は、画像のシーケンスに属す画像１０２をスケーリングする装置１１００を模式的に示している。そのスケーリングは、画像１０２における対象物の一つの変化を表す動きベクトル１０１に基づいている。代替として、動きベクトル１０１は、背景領域の変化を表すことが可能である。装置１１００は、動きベクトル１０１を受信する第１受信器１１１０と、スケーリング関数１２１を生成する第１ジェネレータ１１２０と、画像１０２の１つ又はそれ以上の画素においてスケーリング関数１２１を適用することによりスケーリング画像１３１を得る画像スケーラ１１３０と、を有する。
【００３９】
装置１１００が動作しているとき、第１受信器１１１０は、典型的には、動き予測ユニットから動きベクトル１０１を受信する。動きベクトル１０１は、対象物の動きを表し、又は少なくとも、第１画像の一部及び第２画像の対応する一部の変化を表し、第１画像及び第２画像は、時間経過と共に移動され、動いているシーンを表す画像シーケンスに属している。動きベクトル１０１の好ましい値１１１は第１ジェネレータ１１２０に結合される。好ましい値１１１は、動きベクトルの垂直成分又は水平成分のような成分の一、又は動きベクトルの二乗平方根平均値から得られる結果の大きさであることが可能である。その得られた値１１１は、特定の範囲内の正規化された値、例えば、０乃至１であることが可能である。第１ジェネレータ１１２０は、得られた値１１１に基づいてスケーリング関数１２１を生成する。画像スケーラ１１３０は、画像１０２における１つ又はそれ以上の画素にスケーリング関数１２１を適用する。画像スケーラ１１３０は、画像１０２の少なくとも一部に又は全体の画像１０２に属す１つ又はそれ以上の画素にスケーリング関数１２１を適用することができる。画像スケーラは、例えば、ティッカーテープテキストを有するピクチャの副範囲のみをスケーリングし、画像の残りを影響されないまま保つことができる。画像スケーラは、画像の影響されない部分を、時間的に隣接する画像から得られる黒色のバー又は‘フィラー’で満たすように備えられることが可能である。
【００４０】
図１２は、画像処理装置１２００の実施形態を模式的に示している。装置１２００は、第２受信器１２１０と、動きベクトル予測ユニット１２２０と、画像スケーラ１２３０と、を有する。動作中、第２受信器１２１０は、画像のシーケンスに属す画像１２０１を受信する。動きベクトル予測ユニット１２２０は、画像１２０１の少なくとも一部の動きベクトル１２２１を予測する。動きベクトル予測ユニット１２２０は、少なくとも画像の一部の動きベクトル１２２１を予測するように、当該技術分野で知られている方法の一つを用いる。一実施形態においては、動きベクトル予測ユニット１２２０は、画像１２０１のグローバル動きベクトルを予測するように備えられている。一般に、動きベクトルの予測のために、時間経過に伴って移動され、画像のシーケンスに属す２つの画像が用いられる。一実施形態においては、動きベクトルユニット１２２０は、画像シーケンスに属す３つの連続的な画像を用いることが可能である。動きベクトル予測ユニット１２２０は、ある画像と先行する画像との間の、又はある画像と後続する画像との間のグローバル変化を表すグローバル動きベクトルを予測する付加動きモデルユニットを任意に有することが可能である。適応スケーリング関数及び対応するスケーリング比が、画像のアスペクト比変換のために与えられる。画像処理装置は、例えば、ＰＣ、セットトップボックス、ＶＣＲ／ＶＣＰ（ビデオカセットレコーダ／プレーヤ）、衛星チューナ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）プレーヤ／レコーダ、スタジオにおける職業的映像処理ステーション、又はネットワークオペレータのリンクステーションにおける変換装置であることが可能である。
【００４１】
図１３は、画像表示装置１３００の実施形態を模式的に示している。画像表示装置１３００は、画像処理装置１２００と、表示装置１３２０と、を有する。画像表示装置は、画像の映像シーケンスを受信する及びそれらの画像を表示することができる。表示装置１３２０は、ワイドスクリーンのアスペクト比、例えば、１６：９を有することが可能である。一般に、ワイドスクリーンの表示装置についてのアスペクト比は、開示されている画像処理装置１２００から得られることが可能である。衛星ナビゲートシステム及び携帯電話のような携帯型装置のあるディスプレイにおいては、画像の表示される高さはその幅より大きいことが可能である。表示装置１３００はまた、４：３より小さい又は大きいアスペクト比の画像を表示するために有用である。表示装置１３００は、その表示高さより大きい幅を有する表示を有するワイドスクリーンのテレビ、ワイドスクリーン表示を有するＰＣ、メディアセンタ、幅より大きい表示高さを有する携帯型装置であることが可能である。
【００４２】
図１４は、動きベクトルに基づいて画像をスケーリングする装置１４００の実施形態を模式的に示している。装置１４００は、第１受信器１４１０と、第１ジェネレータ１４２０と、第２ジェネレータ１４４０と、第１信頼性ユニット１４５０と、第２信頼性ユニット１４６０と、画像スケーラ１４３０と、を有する。動作中、第１受信器１４１０は、画像１０２の少なくとも一部の動きベクトル１０１、その動きベクトル１０１に関連付けられた信頼性値１４０３及びシーン変化値１４０５を受信する。信頼性値１４０３及びシーン変化値１４０５は、動きベクトル予測ユニットにより任意に生成されることが可能である。画像のシーケンスから独立して又は動きベクトル予測ユニットからシーン変化値を得る技術は当該技術分野において知られている。入力１０１、１４０３及び１４０５は、第１受信器１４１０により独立して処理されることが可能である。第１受信器１４１０の出力は、動きベクトル１０１の導き出された値１１１と、信頼性値１４０３から導き出された信頼性信号１４１３と、シーン変化値１４０５から導き出されたシーン変化信号１４１５と、を有する。装置１４００の一実施形態においては、信頼性信号及びシーン変化信号を得る所定の閾値が第１受信器に適用されることが可能である。装置１４００の他の実施形態においては、所定の閾値が、それぞれの信頼性ユニット１４５０及び１４６０において適用されることが可能である。
【００４３】
動作中、第１信頼性ユニット１４５０は、２つのスケーリング関数の一、即ち、第１の処置のスケーリング関数１４４５又は生成されたスケーリング関数１２１を選択し、その選択は、信頼性信号１４１３により影響される。動きベクトルの信頼性値１４０３が所定の閾値を上回る場合、生成されるスケーリング関数１２１は画像スケーリングユニット１４３０により用いられる。第１信頼性ユニット１４５０はまた、同様な方法で、生成されたタイミング関数３４１又は第１所定タイミング関数１４４７に切り換えるように備えられる。一実施形態においては、第１所定スケーリング関数１４４５は、信頼性値１４０３が所定の閾値より小さい時点で適用される関数であることが可能である。同様に、第１所定タイミング関数１４４７は、信頼性値１４０３が所定の閾値より小さくなる時点で適用される関数であることが可能である。
【００４４】
シーン変化信号１４１５は、シーン変化値１４０５が所定の閾値を上回るとき、受信器１４１０において生成される。外部のソースから直接、シーン変化検出信号１４１５を受信することが可能である。第２信頼性ユニット１４６０の機能は、第１信頼性ユニット１４５０の出力において利用可能な第２所定スケーリング関数１４５５か又はスケーリング関数１４５１のどちらかを選択することであり、その選択はシーン変化検出信号１４１５により制御される。シーン変化が存在しない限り、第１信頼性ユニット１４５０の出力において利用可能であるスケーリング関数１４５１及びタイミング関数１４５３が画像スケーリングユニット１４３０に結合される。それ故、選択されたスケーリング関数１４６１及び選択されたタイミング関数１４６３は、画像スケーラ１４３０において利用可能になる。シーン変化信号が存在するとき、先行するシーン用のスケーリング関数及びタイミング関数は視覚的な歪みをもたらす可能性がある。従って、第２信頼性ユニットは、第２所定スケーリング関数１４５５及び第２所定タイミング関数１４５７を切り換えるように備えられている。装置１４００の一実施形態においては、第２所定スケーリング関数１４５５及び第２所定タイミング関数１４５７は、最初の設定にリセットされる。この構成のために、シーン変化のための外乱は相対的に低減され、装置１４００のロバスト性は向上する。
【００４５】
画像の１つ又はそれ以上の画素のスケーリングに基づく動きベクトルのための装置１１００、画像処理装置１２００及び画像表示装置１３００は、ディジタル信号プロセッサにより又は汎用目的のコンピュータにより実行されるソフトウェアにより又はディジタルハードウェアにより実行されることが可能である。
【００４６】
グローバルカメラパンのようなグローバル動きのみを特定する単純な実施形態だけでなく、別個の対象物の動き、典型的には、前景の対象物が解析されることが可能であり、スケーリングがそれらの対象物を考慮することができる。例えば、単一のスケーリング関数が、ひとりの人間又は前景の動きを追跡するように微調整されることが可能である。前景の対象物は、動きベクトルのみに基づいて容易にセグメント化されることが可能である。しかしながら、前景の対象物の更なる解析、例えば、テクスチャ解析又は顔検出が、対象物を分類するように及び適切なスケーリング関数を選択するように実行されることが可能である。
【００４７】
ショットにおいて、最適なスケーリング関数が、そのショットにおける全ての関連動きを考慮して、選択及び修正されることが可能である。最適なバランスが、それ故、動いているひとの歪み及び背景の歪みの種々の厳しさの条件を考慮することによりとられることが可能である。例えば、一部の歪みにおいては、人間の視覚の周囲にアーティファクトが現れる場合、好ましくない度合いが小さく、その歪みは、より大きいパニング速度についてより好ましくないことが可能である。周囲のピクチャから適切な外挿データにより部分的に補われる第２二次関数のような適切な背景のスケーリング関数が選択されることが可能である。
【００４８】
動きベクトルは進行中に決定されることが可能であるが、動きベクトルは、画像シーケンスにおいて、又は代替として、画像シーケンスを補完するメタデータとして、有効に予め組み込まれていることが可能である。オフラインシナリオにおけるシーケンスについて一度、動きベクトルを演算することにより、処理の必要性が低減される。更に、結果として得られる動きベクトルの品質を改善するように、高性能のセグメント化技術を用いることが可能である高品質のアルゴリズムを用いることが可能である。
【００４９】
動きベクトル情報はまた、付加係数を有することが可能であり、その付加係数は動きベクトルの生成の品質を改善し、オフラインで決定されたものである。この情報は、例えば、ショットの境界、ショットの種類を有することが可能であり、パン又はズームシーケンスを表すパラメータを有することが可能である。
【００５０】
代替として、メタデータは、スケーリング関数自体を生成するように用いられる実際の係数を有することが可能である。コンテンツ作成における専門のアーティストは、少なくとも１つのスケーリング関数の係数又は他のデータをテレビ信号（例えば、圧縮されたテレビ信号の又はテレテキストラインにおける補完的改善情報としての）の指定データ部分に指定することが可能であり、それ故、そのディスプレイは最適な効果を生成し、そのアーティストは、複数のディスプレイ（例えば、小さい投影乃至大きい投影）についてそのように最適な効果を生成することさえ可能であり、ディスプレイは、どのスケーリングの種類が最も適切であるかを特定することができる。
【００５１】
幾つかのスケーリング関数（例えば、複数の二次関数）、例えば、シーンにおける中央のアクションにおける第１二次関数と、画像の周縁近傍の背景領域についての第２二次関数の組み合わせを用いることがまた、可能である。代替として、そのようなスケーリング関数は、区分線形スケーリング関数として実施されることが可能である。
【００５２】
クロック、ロゴ、コマーシャル情報、スクロールテキスト又は黒色のバー等の影響されない部分における付加ピクチャを伴う、スケーリングされない画像の残りをそのままにして、画像の一部、例えば、サブテキスト領域に幾つかのスケーリング関数を適用することがまた、可能である。
【００５３】
本発明の範囲は、明示的に開示されている上記の実施形態に限定されるものではない。本発明は、各々の新規な特徴及び各々の新規な特徴の組み合わせにおいて実施されることが可能である。用語“を有する”は、請求項において列挙されている要素又は段階以外の要素又は段階の存在を排除するものではない。要素の単数表現は、その要素の複数の存在を排除するものではない。記載されている全ての装置のユニット及び方法の段階は、１つ又は複数のハードウェアのユニット又はソフトウェアの実施形態として組み合わされる及び実現される、及びネットワークにおいて分配される、順序付けられる等が行われることが可能である。
【図面の簡単な説明】
【００５４】
【図１】動きベクトルに基づいて画像をスケーリングする方法の実施例を示す図である。
【図２】基底関数からスケーリング関数を生成する方法の実施例を示す図である。
【図３】少なくとも１つのパラメータ値を制限することによりスケーリング関数を生成する方法の実施例を示す図である。
【図４】信頼性値にスケーリング関数を選択する方法の実施例を示す図である。
【図５】シーン変化信号に基づいてスケーリング関数を選択する方法の実施例を示す図である。
【図６】タイミング関数を生成する方法の実施例を示す図である。
【図７】少なくとも１つのパラメータ値を制限することによりタイミング関数を生成する方法の実施例を示す図である。
【図８】信頼性値に基づいてタイミング関数を選択する方法の実施例を示す図である。
【図９】シーン変化信号に基づいてタイミング関数を選択する方法の実施例を示す図である。
【図１０】画素のＭｘＮブロックを有する画像を模式的に示す図である。
【図１１】画像のスケーリングするための装置の実施形態を模式的に示す図である。
【図１２】画像処理装置の実施形態を模式的に示す図である。
【図１３】画像表示装置の実施形態を模式的に示す図である。
【図１４】画像をスケーリングする信頼性装置の実施形態を模式的に示す図である。
【技術分野】
【０００１】
本発明は、画像を処理する方法に関し、特に、画像の映像シーケンスに属す画像をスケーリングする方法に関する。
【背景技術】
【０００２】
画像のアスペクト比は、画像が表示される高さで除算される画像が表示される幅（通常、“Ｘ：Ｙ”で表される）である。今日、種々のテレビの基準で異なるアスペクト比が用いられている。１６：９のワイドスクリーンのアスペクト比は、４：３のアスペクト比を用いる既存のテレビ放送における支持を得ている。その結果、アスペクト比についての要請がもたらされた。アスペクト比変換のための一部の一般的な方法は、両側に黒色のバーを付加すること、水平方向にのみ画像を走査すること及び水平方向及び鉛直方向に画像を走査することである。走査は、映像データの画像フレームの解像度を変えることを有する。非均一なスケーリング機能により水平方向に画像をスケーリングする方法は“パノラマスケーリング”と呼ばれている。非均一スケーリングは、側部における対象物が中央における対象物に比べてより歪むようにする。一般に、パノラマスケーリングは静止画像について許容可能であるが、例えば、カメラパニングによりもたらされる画像における動きの場合、対象物は、異なる空間の場所において異なるスケーリングの影響下に置かれるため、サイズが変わったように現れる。このことは、かなり厄介である対象物の視覚的な歪みをもたらす。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
画像の映像シーケンスに属す画像をスケーリングする改善された方法を有することが要請されている。
【課題を解決するための手段】
【０００４】
従って、ここで開示されている画像の映像シーケンスに属す画像をスケーリングする改善された方法において、その方法は、第１画像における対象物の第１位置と第２画像における対象物の第２位置との間における対象物の位置の変化を表す動きベクトルに基づいて画像をスケーリングする段階であって、前記画像は画像の映像シーケンスに属す、段階を有する。
【０００５】
好適な実施形態において、画像をスケーリングする段階は、動きベクトルに基づいてスケーリング関数を生成する段階と、画像の１つ又はそれ以上の画素にスケーリング関数を適用することによりスケーリングされた画像の１つ又はそれ以上の画素を得る段階とを有する。
【０００６】
また、画像の映像シーケンスに属す画像の改善されたスケーリングのため装置を有することは好ましいことである。
【０００７】
従って、本明細書において開示される画像の改善されたスケーリングのための装置において、その装置は、第１画像における対象物の第１位置と第２画像における対象物の第２位置との間の対象物の位置の変化を表す動きベクトルを受け入れることができる第１受信器であって、前記画像は画像の映像シーケンスに属す、第１受信器と、動きベクトルに基づいてスケーリング関数を生成することができる第１ジェネレータと、画像の１つ又はそれ以上の画素にスケーリング関数を適用することによりスケーリングされた画像の１つ又はそれ以上の画素を得ることができる画像スケーラと、を有する。
【０００８】
画像の改善されたスケーリングのための画像処理装置であって、スケーリングが所定のアスペクト比に基づいている、画像処理装置を有することはまた、好ましいことである。
【０００９】
従って、本明細書に開示されている画像の改善されたスケーリングのための画像処理装置において、画像処理装置は、画像のシーケンスを受け入れる第２受信器と、第１画像における対象物の第１位置と第２画像における対象物の第２位置との間の対象物の位置の変化を表す動きベクトルを予測することができる動き予測ユニットであって、前記画像は画像の映像シーケンスに属す、動き予測ユニットと、画像の映像シーケンスに属す画像をスケーリングすることができる装置であって、そのスケーリングは所定のアスペクト比に基づいている、装置と、を有する。
【００１０】
また、画像の改善されたスケーリング及び画像の表示のための画像表示装置を有することは好ましいことである。
【００１１】
従って、本明細書で開示される画像表示装置において、その画像表示装置は、画像処理装置と、表示装置と、を有する。画像処理装置は、画像の映像シーケンスに属す画像の改善されたスケーリングのために備えられ、表示装置は、スケーリングされた画像を表示するために備えられる。
【００１２】
また、動きベクトルに基づいて画像をスケーリングする方法の複数の段階を実行する
コンピュータプログラム及びコンピュータプログラムプロダクトを有することは好ましいことである。
【００１３】
従って、本明細書に開示されているコンピュータプログラム及びコンピュータプログラムプロダクトにおいて、コンピュータプログラム及びコンピュータプログラムプロダクトは、動きベクトルに基づくスケーリング関数を生成する命令と、画像の映像シーケンスに属す画像の１つ又はそれ以上の画素にスケーリング関数を適用することによりスケーリングされた画像の１つ又はそれ以上の画素を得る命令と、を有する。
【００１４】
上記の及び他の特徴については、例示として、添付図を参照して、以下の実施形態に基づいて詳述する。
【００１５】
複数の図で用いている対応する参照番号は、それらの図における対応する要素を表している。
【発明を実施するための最良の形態】
【００１６】
映像データは、行列状に配列された画素から成る画像のシーケンスを有する。それらの画像はフレームと呼ばれる。例えば、映像データは、１秒当たり３０フレーム又は１秒の映像データから成る３０の個別の画像を有することが可能である。ディジタルテレビ及びストリーミングメディアにより、複数の新しい技術が、複数のメディアフォーマット及び表示フォーマットの互換性及び相互運用性を可能にするように開発されてきた。画像をスケーリングすることによる画像のアスペクト比の変換は重要な技術である。例えば、６４０ｘ４８０画素（ＮＤＴＶ解像度）を有するアスペクト比４：３の画像は、１９２０ｘ１０８０画素（ＨＤＴＶ解像度）を有するアスペクト比１６：９にスケーリングされることができる。画像がスケーリングされるとき、スケーリングされる画像における各々の新しい画素の値はオリジナルの画像における１つ又はそれ以上の画素に基づいている。各々の新しい画素の演算はスケーリング関数により数式化されることができる。最も単純なスケーリング関数は一次式である。一次式を適用することにより、画像は、必要な数の画素を得るように、一定の水平方向のスケーリング比及び垂直方向のスケーリング比に従って水平方向及び垂直方向の両方において均一に伸長される。しばしば、水平方向のスケーリング比は、例えば、ＮＴＳＣ解像度をＨＤＴＶ解像度に変換するとき、垂直方向のスケーリング比に等しくない。等しくない水平方向のスケーリング比及び垂直方向のスケーリング比を有する画像のスケーリングは、スケーリングされた画像における対象物が水平方向か又は垂直方向のどちらかにおいて引き伸ばされたようにみえるため、視覚的な歪みをもたらす可能性がある。不均一なパノラマスケーリングは、一般に、そのような歪みを低減するように用いられる。この技術に従って、画像における行画素は、空間的な場所に依存して変わるスケーリング比に従ってスケーリングされる。例えば、水平方向のスケーリング比は、パノラマ画像の水平方向の中央から両側に次第に増加する、しかしながら、この技術はまた、動いているシーンにおいて特に、視覚的な歪みをもたらす。対象物がシーンを横断して動く又はカメラがシーンを横断してパンするとき、視覚的な歪みは、対象物がその幅が一定に変化するように現れるために、より顕著である。特に、動いているシーンにおける、低減された視覚的な歪みを伴う、パノラマスケーリングを有することは好ましいことである。
【００１７】
図１は、動きベクトル１０１に基づいて画像１０２をスケーリングする方法１００の有効な実施形態を示している。スケーリング関数１２１が段階１２０において生成され、スケーリングされた画像１３１は、画像１０２の１つ又はそれ以上の画素にスケーリング関数１２１を適用することにより、段階１３０において得られる。
【００１８】
動きベクトル１０１は、典型的には、動き予測方法により得られる。動きベクトルは、第１画像における対象物の第１位置と第２画像における対象物の第２位置との間の対象物の位置の変化であって、前記第１画像及び第２画像が画像の映像シーケンスに属す、変化である。第１画像及び第２画像は、時間経過と共に表示され、動いているシーンを描く。
【００１９】
視覚的な歪みを低減するように、非均一なスケーリングが、シーンにおける対象物の動きの速度に依存して行われることが可能である。動きベクトルから、画像における動きに適合される適合スケーリング関数が得られる。換言すれば、非均一なスケーリングは静止シーンに適用され、略均一なスケーリングは、高速で動いているシーンに適用され、中程度の非均一なスケーリングは、動きの大きさに依存して画像に適用される。シーンにおける対象物の速度が所定速度に近づくにつれて、非均一なスケーリングは均一なスケーリングになる傾向にある。
【００２０】
画像のシーケンスの各々の画像について、動きベクトルに基づく新しいスケーリング関数が演算される。異なるスケーリング比が各々の画像に適用されることが可能である。各々の画像において、スケーリング比は、場所に応じて非均一であることが可能である。スケーリング関数の非線形性は、異なるスケーリング比が異なる空間的な場所において得られるように、調整される。例えば、シーンにおける対象物の高速の動きによる、より大きい大きさの動きベクトルについては、実質的に線形のスケーリング関数が、ビューアが強い“ハーモニカ”効果を知覚しないように得られるように、適用される。この結果、実質的に均一なスケーリング比がその画像における画素に適用される。他方、例えば、実質的に静止シーンから得られるより大きさの小さい動きベクトルについては、実質的に非均一なスケーリング比を生成するスケーリング関数が生成される。このことは、例えば、一部の人々が画像の一部に存在し、周囲の領域をスケーリングする必要性があまり重要でないシーンについては、有用である。その結果、実質的に非均一なスケーリング比が、実質的に静止シーンの画像をスケーリングするために用いられる。従って、そのスケーリングは、動きベクトルの大きさに従って適用され、異なる空間的な場所に適用される、そのスケーリングは、空間において及び時間経過につれて配分され、それにより、実質的に視覚的な歪みを低減することができる。
【００２１】
開示されている装置についての有用な動きベクトルの予測は、文献“Ｐｒｏｇｒｅｓｓ ｉｎ Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ ｆｏｒ Ｃｏｎｓｕｍｅｒ Ｖｉｄｅｏ Ｆｏｒｍａｔ Ｃｏｎｖｅｒｓｉｏｎ”，ｂｙ Ｇ．ｄｅ Ｈａａｎ，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎ Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ，ｖｏｌ．４６，ｎｏ．３，ｐｐ．４４９−４５９，（Ａｕｇｕｓｔ ２０００）に開示されているブロックマッチング及びリカーシブ型の動きベクトル予測を含むが、それに限定されるものではない。当業者は、複数の既知の技術により、画像のシーケンスから、少なくとも画像の一部の動きベクトルを得ることができる。更に、本発明の装置についての有用な動き予測は、ブロックばかりでなく、ブロック及び画素を有する何れかの種類の形状の領域において機能することができる。
【００２２】
本発明の方法１００の他の実施形態においては、画像１０２と第２画像との間のグローバル変化を表すグローバル動きベクトル１０１が用いられる。グローバル動きベクトルは、動きベクトルから決定されることが可能である。グローバル動き予測は、完全な画像における動き、即ち、多かれ少なかれ同様の動きを有する大きい対象物又は複数の対象物の平均的な動き又は主要な動きについてのメトリックである。動きモデルは、対象物又はカメラのパニング（即ち、並進）の検出において適用されることが可能である。動きモデルは、ときどき、“パン−ズームモデル”と呼ばれる。スケーリング関数はまた、異なるモデル、例えば、スケーリングの必要性を最適化するように、それにより、視覚的なアーティファクトを最小化するように回転しているシーンについて導き出されることが可能である。グローバル動きベクトルに基づくスケーリング関数は、全体の画像をスケーリングするために有利に用いられることが可能であるスケーリング関数を生成するように有利に用いられることが可能である。
【００２３】
画像のグローバル動きベクトルを予測する技術については、当該技術分野において知られている。例えば、文献“Ａｎ ｅｆｆｉｃｉｅｎｔ ｔｒｕｅ−ｍｏｔｉｏｎ ｅｓｔｉｍａｔｏｒ ｕｓｉｎｇ ｃａｎｄｉｄａｔｅ ｖｅｃｔｏｒｓ ｆｒｏｍ ａ ｐａｎｏｒａｍｉｃ ｍｏｔｉｏｎ ｍｏｄｅｌ”，ｂｙ Ｇ．ｄｅ Ｈａａｎ，ｅｔ ａｌ．，ｉｎ ＩＥＥＥ ｃｉｒｃｕｉｔｓ ａｎｄ ｓｙｓｔｅｍｓ ｆｏｒ ｖｉｄｅｏ ｔｅｃｈｎｏｌｏｇｙ，ｖｏｌ．８，ｎｏ．１．ｐｐ．８５−９１，Ｍａｒｃｈ １９９８において、動きモデルからグローバル動きベクトルを予測するスキームについて記載されている。そのような方法を用いる場合、グローバル動きベクトルは、一般に、装置の実施形態の１つにおいて予測されて、用いられる。
【００２４】
方法１００の他の実施形態においては、スケーリング関数１２０は、動きベクトル１０１の成分の一に基づいて、スケーリング関数１２０の少なくとも１つのパラメータを変化させることにより生成される。スケーリング関数１２０は、画像の複数の空間的な場所において異なるスケーリング比を生成するようにデザインされる。空間的に変化する非線形変換関数がスケーリング関数として選択されることが可能である。例示として、式（１）に示す二次関数について考える。
ｆ（ｘ）＝ａｘ２＋ｂｘ＋ｃ (ａ≠０) （１）
二次関数（１）は放物線の形をしていて、その放物線の頂点はｘ座標ｂ／２ａを有するグラフにおける点にある。二次関数は、中央の画素が均一なスケーリング比により変換され、側部にある画素は次第に大きくなる非均一スケーリング比により変換される。この変換の結果として、中央における対象物は正常に現れ、側部における対象物は、伸長され且つ歪んで現れる。異なる形状の放物線がまた、動きベクトルから導き出される値により制御されるパラメータａの値を変化させることにより得られる。その導き出された値は、動きベクトルの水平方向成分、垂直方向成分又はそれらの成分の二乗平方根平均値であることが可能である。その導き出された値は、増加した安定性のために０乃至１の範囲内で正規化されることが可能である。その変化は、より大きい大きさの動きベクトルについて、放物線があまり深くなく、均一なスケーリング比が得られるように、制御されることが可能である。他方、あまり大きくない大きさの動きベクトルは、比較的大きい深さの放物線をもたらす。異なる形状の放物線により、スケーリング比の非均一性が制御されることが可能である。
【００２５】
方法１００の他の実施形態においては、マルチモーダル関数が、例えば、複数の関数の組み合わせに基づいて、用いられることが可能である。実施例は、異なる場所において重なり合った放物線形状をもたらす二次関数の組み合わせであることが可能である。例えば、ある動作を有効に表す画像の中央領域及びある背景を有する画像の周囲の領域が、異なる二次関数から得られる異なる放物線の形状でスケーリングされることが可能である。
【００２６】
スケーリングされた画像において、対象物は、典型的には、水平方向のスケーリング比が垂直方向のスケーリング比と等しくないとき、形状が歪んでいるように現れる。２つの可能性が存在し、第１の可能性は、水平方向のスケーリング比が垂直方向のスケーリング比より大きく、第２の可能性は、垂直方向のスケーリング比が水平方向のスケーリング比より大きいことである。第１の場合、水平方向のスケーリング関数は、典型的には、動きベクトルの水平方向の成分に基づいて生成されることが可能であり、第２の場合、対直方向のスケーリング関数は、典型的には、動きベクトルの垂直方向の成分に基づいて生成されることが可能である。水平方向のスケーリング関数は画素の行において適用され、垂直方向のスケーリング関数は画素の列において適用される。垂直方向のスケーリング関数は、表示されるピクチャの高さが幅より大きい、例えば、携帯型装置で表示されるときに、適用されることが可能である。それ故、垂直方向のスケーリング関数又は水平方向のスケーリング関数は、アプリケーションに依存して生成される及び選択的に適用されることが可能である。
【００２７】
その方法の一の有効な実施形態に従った水平方向のスケーリング関数を用いる水平方向のスケーリングを実行することについて、以下に詳細に説明する。各々の行に６４０個の画素を、各々の列に４８０個の画素を有するアスペクト比４：３の入力画像について考えることにする。その入力画像は、アスペクト比１６：９に適合する１９２０ｘ１０８０画素の出力画像を得るようにスケーリングされるようになっている。この実施例においては、水平方向のスケーリング比は垂直方向のスケーリング比より大きい。その方法の一実施形態に従って、非均一な水平方向のスケーリング関数及び均一な垂直方向のスケーリング関数が入力画像に適用される。そのような場合、入力画像に属すラインの特定の部分におけるＫ個の画素が、水平方向のスケーリング関数を適用することにより、出力画像に属すラインの対応する部分において、Ｌ個の画素を生成するように用いられ、ここでは、Ｋ≠Ｌである。Ｌ個の出力画素は、既知の補完方法の一つにより生成されることが可能である。非均一性もまた、パラメータが動きベクトルの水平方向の成分により制御される非線形関数から得られる。それ故、動き依存性である非均一スケーリング関数を適用することにより画像をスケーリングすることにより画像のアスペクト比を変換する方法が提供される。
【００２８】
その方法の他の実施形態においては、画像１０２は、典型的には、矩形に、即ち画素のブロックに分割されることが可能である。適切な非線形性を有するスケーリング関数が、連続的な動きを有し、それにより、視覚的な歪みがもたらされない画像の各々の部分に適用されることが可能である。
【００２９】
図２は、基底関数からスケーリング関数を生成するように備えられている方法２００の有効な実施形態について示している。スケーリング関数１２１は段階１２０で生成され、スケーリングされる画像１３１は、画像１０２の１つ又はそれ以上の画素にスケーリング関数１２１を適用することにより段階１３０において得られる。２つの有効な関数２７０及び２８０の群からの関数２６０は段階１２０において選択され、用いられることが可能である。非線形関数２７０の集合及び区分線形関数２８０が提供される。選択された非線形関数の少なくとも１つのパラメータは、動きベクトル１０１からもたらされる値に従って変えられることが可能である。例示として、式（１）に示されている関数について考えることにする。非線形関数の集合は、パラメータａを変えることにより生成されることが可能である、更に、実質的な線形関数ｆ（ｘ）＝ｂｘ＋ｃはまた、ａ＝０を選択することにより得られる。非線形関数の幾つかの実施形態は、二次関数、指数関数及び対数関数である。それらの関数の何れかの一が基底関数として選択されることが可能である。ディジタル演算装置における、より容易な操作及び演算のために区分線形関数として非線形関数で表すことはしばしば、便利である。例えば、ルックアップテーブルの形の入力−出力変換がしばしば、非線形変換を表現するために用いられる。区分線形関数はまた、ある式に適合することが可能でない入力−出力値を表すために有用である。
【００３０】
図３は、少なくとも１つのパラメータ値を制限することによりスケーリング関数を生成する方法３００の実施例である。制限する段階３２５は更に、スケーリング関数を生成する段階３２０に含まれる。動きベクトル１０１のダイナミックレンジは、一般に、スケーリング関数３２１の許容パラメータ範囲に比べてかなり広い。それ故、許容範囲内のスケーリング関数の少なくとも１つのパラメータを制限することは有利である。生成されるスケーリング関数の少なくとも１つのパラメータは、パラメータの所定の範囲内で、段階３２５において実質的に制限され、それにより、装置３００の全体的な安定性を向上することができる。パラメータを制限することは、その構成がスケーリングされた画像を得る段階３３０における飽和状態又は暴走状態を回避することにより信頼性を向上させるために、有利である。スケーリング関数３２１のパラメータの範囲は設計パラメータであることが可能である、又はその範囲はスケーリングされた画像３３１を得る段階３３０における許容入力範囲に従って決定されることが可能である。
【００３１】
図４は、信頼性値４０３に基づいてスケーリング関数を選択する方法の実施例について示している。全ての動きベクトル１０１は任意に、信頼性値４０３に関連付けられることが可能である。その方法４００は、段階１２０により生成されるスケーリング関数１２１か又は信頼性値４０３に基づく所定のスケーリング関数４２６のどちらかを選択するための選択段階４２５を有する。所定のスケーリング関数の実施例は単純な線形関数である。図１についての記載で説明しているパン−ズームモデルにおいて、予測される動きベクトルの信頼性値が利用可能である。その信頼性値は、シーンが異なる方向に動いている複数の対象物を有するとき、例えば、無秩序状態のシーンのときは、小さい。スケーリングに基づく動きベクトルは、信頼性値で示されるため、予測される動きベクトルが高信頼性であるときにのみ、その動きベクトルが適用される。選択されたスケーリング関数４２７は、スケーリングされた画像１３１を得る段階１３０で用いられる。
【００３２】
図５は、シーン変化信号５０３に基づいてスケーリング関数を選択する方法の実施例について示している。シーン変化信号５０３は、動きベクトル１０１を予測するために用いられる方法又は装置により任意に生成されることが可能である。シーン変化信号を得る幾つかの他の方法についてが当該技術分野で知られている。方法５００は、段階１２０により生成されるスケーリング関数１２１を又はシーン変化信号５０３に基づいて所定のスケーリング関数５２６を選択する段階５２５を有する。シーン変化が存在しない限り、生成されるスケーリング関数５２５が、スケーリングされる画像を生成する段階１３０に適用される。シーン変化が存在するとき、先行するシーンのスケーリング関数１２１の連続する適用が視覚的な歪みをもたらす可能性がある。スケーリング関数のパラメータをリセットすることが可能である所定のスケーリング関数５２６が、画像の新しいシーケンスが安定化されるときに、中間期において有利に適用されることが可能である。例えば、所定のパラメータの集合を有する二次関数が新しいシーンについて用いられることが可能である。選択されたスケーリング関数５２７が、スケーリングされた画像１３１を生成するように段階１３０に適用される。この構成のために、シーン変化による可視的なアーティファクトが相対的に低減され、方法５００のロバストネスが向上する。
【００３３】
図６は、タイミング関数を生成する方法６００の実施例を示している。スケーリング関数１２１を生成する段階１２０に加えて、その方法は、動きベクトル１０１からタイミング関数を生成する段階６４０を有する。タイミング関数６４１は、スケーリングされた画像６３１を得るための段階６３０において用いられる。タイミング関数６４１は、スケーリング関数１２１が画像１０２に適用されるべきレートを決定する。スケーリング比を突然変えることは、出力画像３３１におけるジャーク及び可視的なアーティファクトをもたらす可能性がある。スケーリング関数１２１はスケーリング比における変化の品質を制御する一方、タイミング関数６４１は、変化量が画像のシーケンス、即ち、一度に一画像フレームに適用されるべきレートを制御する。それ故、スケーリングは、付加的次元、即ち、時間で制御される。動きベクトルの大きさにおける速く且つ頻繁の変化はスケーリング関数１２１における対応する変化をもたらすことが可能であり、瞬間的に適用されるとき、その変化は、出力画像６３１における好ましくないジャーク及び歪みをもたらす可能性がある。タイミング関数６４１は、スケーリング関数１２１における徐々の変化を達成するのに有用である。例えば、スケーリング関数の遅延適用について線形タイミング関数が選択されることが可能である。その結果、出力画像６３１における対象物はよりスムーズな移行を得るように現れる。スケーリング比における変化は時空間において分散され、より少ない視覚的な歪みをもたらす。
【００３４】
図７は、少なくとも１つのパラメータ値を制限することにより、タイミング関数７５１を生成する方法７００の実施例を示している。制限する段階７５０は、タイミング関数を生成する段階７４０に含まれている。動きベクトル１０１のダイナミックレンジは、一般に、タイミング関数の所定のパラメータの範囲に比べてかなり大きい。それ故、許容範囲内のタイミング関数により生成される値を制限することは有利である。生成されたタイミング関数７５１のパラメータは、実質的に所定の範囲内に制限され、それにより、全体の方法７００の安定性が高められる。タイミング関数のパラメータを制限することは、その構成が段階７００における飽和状態又は暴走状態を回避することにより信頼性を向上させるために、有利である。タイミング関数のパラメータのための所定の範囲は設計特徴であることが可能である。その範囲は、画像１０２をスケーリングする段階６３０における許容入力により決定されることが可能である。
【００３５】
図８は、信頼性値８０３に基づいてタイミング関数を選択する方法８００の実施例を示している。全ての動きベクトル１０１は、信頼性値８０３と共に任意に受け入れられることが可能である。その方法８００は、信頼性値８０３に基づいて、段階６４０により生成されるタイミング関数６４１か又は所定のタイミング関数８６０のどちらかを選択する選択段階８５０を有する。生成されたタイミング関数６４１は、信頼性値８０３が所定の閾値を上回るときのみに、スケーリング画像６３１を生成する段階６３０で用いられる。予測動きベクトル８０３が高信頼性であることが判明したとき、所定のタイミング関数８６０、例えば、一定のタイミング値又は線形タイミング関数が選択され、その選択されたタイミング関数８５１が画像１０２のスケーリングにおいて用いられる。
【００３６】
図９は、シーン変化信号９０３に基づいてタイミング関数を選択する方法９００の実施例を示している。シーン変化信号９０３は、動きベクトル１０１を予測するために用いられる方法又は装置により任意に生成されることが可能である。シーン変化信号を得る幾つかの他の方法が当該技術分野において知られている。方法９００は、段階６４０により生成されるタイミング関数６４１を又はシーン変化信号９０３に基づいて所定のタイミング関数９６０を選択する段階９５０を有する。シーン変化が存在しない限り、生成されたタイミング関数６４１はスケーリング画像６３１を生成する段階６３０で用いられる。上記のように、選択されたタイミング関数９５１は、所望のレートでスケーリング関数１２１を適用することにおいて有用である。シーン変化が存在するとき、先行するシーンのスケーリング関数の連続的適用は視覚的な歪みをもたらす可能性がある。所定のタイミング関数９６０が、画像の新しいシーケンスが安定化されるまで、中間期において適用されることが可能である。この構成のために、シーン変化のための外乱は相対的に低減され、その方法９００のロバスト性は高められる。
【００３７】
図１０は、画素のＭｘＮブロックを有する画像１０２を模式的に示している。その画像にはＭ個の行及びＮ個の列のブロックが存在する。各々のブロックにおいては、ｍ個の行及びｎ個の列の画素が存在する。一般に、ｍ≠ｎ及びＭ≠Ｎであるが、Ｍ＝Ｎ及びｍ＝ｎの特別な場合は提供される装置において排除されない。既知の映像圧縮スキーム、例えば、ＭＰＥＧにおいて、動きベクトルは、各々のブロックについて予測され、ブロックに属す各々の画素に割り当てられる。グローバル動きベクトルが、ＭｘＮブロックを用いる動きモデルから決定されることが可能である。グローバル動きベクトルは、その画像についてのスケーリング関数を生成するために用いられることが可能である。他の実施形態においては、Ｍｘ１ブロック又は１ｘＮブロックに対応するＭ個の動きベクトル又はＮ個の動きベクトルが、Ｍ個又はＮ個のスケーリング関数のそれぞれを生成するために予測されて、用いられることが可能である。Ｍ個のスケーリング関数は、幅ｍの画素の各々のそれぞれのＭ個の水平方向のストリップに属す画素をスケーリングするために適用されることが可能である。同様に、Ｎ個のスケーリング関数が、幅ｎの画素の各々のそれぞれのＮ個のストリップに属す画素をスケーリングするために適用されることが可能である。それ故、その画像の各々のストリップ又はその部分は、異なるスケーリング関数によりスケーリングされ、その画像の各々の部分について独立してスケーリング比を制御されることが可能である。このスキームは、１つ又はそれ以上の水平方向のストリップが連続的な動き、例えば、ティッカーテープを含むことが可能であるアプリケーションにおいて、特に有用である。
【００３８】
図１１は、画像のシーケンスに属す画像１０２をスケーリングする装置１１００を模式的に示している。そのスケーリングは、画像１０２における対象物の一つの変化を表す動きベクトル１０１に基づいている。代替として、動きベクトル１０１は、背景領域の変化を表すことが可能である。装置１１００は、動きベクトル１０１を受信する第１受信器１１１０と、スケーリング関数１２１を生成する第１ジェネレータ１１２０と、画像１０２の１つ又はそれ以上の画素においてスケーリング関数１２１を適用することによりスケーリング画像１３１を得る画像スケーラ１１３０と、を有する。
【００３９】
装置１１００が動作しているとき、第１受信器１１１０は、典型的には、動き予測ユニットから動きベクトル１０１を受信する。動きベクトル１０１は、対象物の動きを表し、又は少なくとも、第１画像の一部及び第２画像の対応する一部の変化を表し、第１画像及び第２画像は、時間経過と共に移動され、動いているシーンを表す画像シーケンスに属している。動きベクトル１０１の好ましい値１１１は第１ジェネレータ１１２０に結合される。好ましい値１１１は、動きベクトルの垂直成分又は水平成分のような成分の一、又は動きベクトルの二乗平方根平均値から得られる結果の大きさであることが可能である。その得られた値１１１は、特定の範囲内の正規化された値、例えば、０乃至１であることが可能である。第１ジェネレータ１１２０は、得られた値１１１に基づいてスケーリング関数１２１を生成する。画像スケーラ１１３０は、画像１０２における１つ又はそれ以上の画素にスケーリング関数１２１を適用する。画像スケーラ１１３０は、画像１０２の少なくとも一部に又は全体の画像１０２に属す１つ又はそれ以上の画素にスケーリング関数１２１を適用することができる。画像スケーラは、例えば、ティッカーテープテキストを有するピクチャの副範囲のみをスケーリングし、画像の残りを影響されないまま保つことができる。画像スケーラは、画像の影響されない部分を、時間的に隣接する画像から得られる黒色のバー又は‘フィラー’で満たすように備えられることが可能である。
【００４０】
図１２は、画像処理装置１２００の実施形態を模式的に示している。装置１２００は、第２受信器１２１０と、動きベクトル予測ユニット１２２０と、画像スケーラ１２３０と、を有する。動作中、第２受信器１２１０は、画像のシーケンスに属す画像１２０１を受信する。動きベクトル予測ユニット１２２０は、画像１２０１の少なくとも一部の動きベクトル１２２１を予測する。動きベクトル予測ユニット１２２０は、少なくとも画像の一部の動きベクトル１２２１を予測するように、当該技術分野で知られている方法の一つを用いる。一実施形態においては、動きベクトル予測ユニット１２２０は、画像１２０１のグローバル動きベクトルを予測するように備えられている。一般に、動きベクトルの予測のために、時間経過に伴って移動され、画像のシーケンスに属す２つの画像が用いられる。一実施形態においては、動きベクトルユニット１２２０は、画像シーケンスに属す３つの連続的な画像を用いることが可能である。動きベクトル予測ユニット１２２０は、ある画像と先行する画像との間の、又はある画像と後続する画像との間のグローバル変化を表すグローバル動きベクトルを予測する付加動きモデルユニットを任意に有することが可能である。適応スケーリング関数及び対応するスケーリング比が、画像のアスペクト比変換のために与えられる。画像処理装置は、例えば、ＰＣ、セットトップボックス、ＶＣＲ／ＶＣＰ（ビデオカセットレコーダ／プレーヤ）、衛星チューナ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）プレーヤ／レコーダ、スタジオにおける職業的映像処理ステーション、又はネットワークオペレータのリンクステーションにおける変換装置であることが可能である。
【００４１】
図１３は、画像表示装置１３００の実施形態を模式的に示している。画像表示装置１３００は、画像処理装置１２００と、表示装置１３２０と、を有する。画像表示装置は、画像の映像シーケンスを受信する及びそれらの画像を表示することができる。表示装置１３２０は、ワイドスクリーンのアスペクト比、例えば、１６：９を有することが可能である。一般に、ワイドスクリーンの表示装置についてのアスペクト比は、開示されている画像処理装置１２００から得られることが可能である。衛星ナビゲートシステム及び携帯電話のような携帯型装置のあるディスプレイにおいては、画像の表示される高さはその幅より大きいことが可能である。表示装置１３００はまた、４：３より小さい又は大きいアスペクト比の画像を表示するために有用である。表示装置１３００は、その表示高さより大きい幅を有する表示を有するワイドスクリーンのテレビ、ワイドスクリーン表示を有するＰＣ、メディアセンタ、幅より大きい表示高さを有する携帯型装置であることが可能である。
【００４２】
図１４は、動きベクトルに基づいて画像をスケーリングする装置１４００の実施形態を模式的に示している。装置１４００は、第１受信器１４１０と、第１ジェネレータ１４２０と、第２ジェネレータ１４４０と、第１信頼性ユニット１４５０と、第２信頼性ユニット１４６０と、画像スケーラ１４３０と、を有する。動作中、第１受信器１４１０は、画像１０２の少なくとも一部の動きベクトル１０１、その動きベクトル１０１に関連付けられた信頼性値１４０３及びシーン変化値１４０５を受信する。信頼性値１４０３及びシーン変化値１４０５は、動きベクトル予測ユニットにより任意に生成されることが可能である。画像のシーケンスから独立して又は動きベクトル予測ユニットからシーン変化値を得る技術は当該技術分野において知られている。入力１０１、１４０３及び１４０５は、第１受信器１４１０により独立して処理されることが可能である。第１受信器１４１０の出力は、動きベクトル１０１の導き出された値１１１と、信頼性値１４０３から導き出された信頼性信号１４１３と、シーン変化値１４０５から導き出されたシーン変化信号１４１５と、を有する。装置１４００の一実施形態においては、信頼性信号及びシーン変化信号を得る所定の閾値が第１受信器に適用されることが可能である。装置１４００の他の実施形態においては、所定の閾値が、それぞれの信頼性ユニット１４５０及び１４６０において適用されることが可能である。
【００４３】
動作中、第１信頼性ユニット１４５０は、２つのスケーリング関数の一、即ち、第１の処置のスケーリング関数１４４５又は生成されたスケーリング関数１２１を選択し、その選択は、信頼性信号１４１３により影響される。動きベクトルの信頼性値１４０３が所定の閾値を上回る場合、生成されるスケーリング関数１２１は画像スケーリングユニット１４３０により用いられる。第１信頼性ユニット１４５０はまた、同様な方法で、生成されたタイミング関数３４１又は第１所定タイミング関数１４４７に切り換えるように備えられる。一実施形態においては、第１所定スケーリング関数１４４５は、信頼性値１４０３が所定の閾値より小さい時点で適用される関数であることが可能である。同様に、第１所定タイミング関数１４４７は、信頼性値１４０３が所定の閾値より小さくなる時点で適用される関数であることが可能である。
【００４４】
シーン変化信号１４１５は、シーン変化値１４０５が所定の閾値を上回るとき、受信器１４１０において生成される。外部のソースから直接、シーン変化検出信号１４１５を受信することが可能である。第２信頼性ユニット１４６０の機能は、第１信頼性ユニット１４５０の出力において利用可能な第２所定スケーリング関数１４５５か又はスケーリング関数１４５１のどちらかを選択することであり、その選択はシーン変化検出信号１４１５により制御される。シーン変化が存在しない限り、第１信頼性ユニット１４５０の出力において利用可能であるスケーリング関数１４５１及びタイミング関数１４５３が画像スケーリングユニット１４３０に結合される。それ故、選択されたスケーリング関数１４６１及び選択されたタイミング関数１４６３は、画像スケーラ１４３０において利用可能になる。シーン変化信号が存在するとき、先行するシーン用のスケーリング関数及びタイミング関数は視覚的な歪みをもたらす可能性がある。従って、第２信頼性ユニットは、第２所定スケーリング関数１４５５及び第２所定タイミング関数１４５７を切り換えるように備えられている。装置１４００の一実施形態においては、第２所定スケーリング関数１４５５及び第２所定タイミング関数１４５７は、最初の設定にリセットされる。この構成のために、シーン変化のための外乱は相対的に低減され、装置１４００のロバスト性は向上する。
【００４５】
画像の１つ又はそれ以上の画素のスケーリングに基づく動きベクトルのための装置１１００、画像処理装置１２００及び画像表示装置１３００は、ディジタル信号プロセッサにより又は汎用目的のコンピュータにより実行されるソフトウェアにより又はディジタルハードウェアにより実行されることが可能である。
【００４６】
グローバルカメラパンのようなグローバル動きのみを特定する単純な実施形態だけでなく、別個の対象物の動き、典型的には、前景の対象物が解析されることが可能であり、スケーリングがそれらの対象物を考慮することができる。例えば、単一のスケーリング関数が、ひとりの人間又は前景の動きを追跡するように微調整されることが可能である。前景の対象物は、動きベクトルのみに基づいて容易にセグメント化されることが可能である。しかしながら、前景の対象物の更なる解析、例えば、テクスチャ解析又は顔検出が、対象物を分類するように及び適切なスケーリング関数を選択するように実行されることが可能である。
【００４７】
ショットにおいて、最適なスケーリング関数が、そのショットにおける全ての関連動きを考慮して、選択及び修正されることが可能である。最適なバランスが、それ故、動いているひとの歪み及び背景の歪みの種々の厳しさの条件を考慮することによりとられることが可能である。例えば、一部の歪みにおいては、人間の視覚の周囲にアーティファクトが現れる場合、好ましくない度合いが小さく、その歪みは、より大きいパニング速度についてより好ましくないことが可能である。周囲のピクチャから適切な外挿データにより部分的に補われる第２二次関数のような適切な背景のスケーリング関数が選択されることが可能である。
【００４８】
動きベクトルは進行中に決定されることが可能であるが、動きベクトルは、画像シーケンスにおいて、又は代替として、画像シーケンスを補完するメタデータとして、有効に予め組み込まれていることが可能である。オフラインシナリオにおけるシーケンスについて一度、動きベクトルを演算することにより、処理の必要性が低減される。更に、結果として得られる動きベクトルの品質を改善するように、高性能のセグメント化技術を用いることが可能である高品質のアルゴリズムを用いることが可能である。
【００４９】
動きベクトル情報はまた、付加係数を有することが可能であり、その付加係数は動きベクトルの生成の品質を改善し、オフラインで決定されたものである。この情報は、例えば、ショットの境界、ショットの種類を有することが可能であり、パン又はズームシーケンスを表すパラメータを有することが可能である。
【００５０】
代替として、メタデータは、スケーリング関数自体を生成するように用いられる実際の係数を有することが可能である。コンテンツ作成における専門のアーティストは、少なくとも１つのスケーリング関数の係数又は他のデータをテレビ信号（例えば、圧縮されたテレビ信号の又はテレテキストラインにおける補完的改善情報としての）の指定データ部分に指定することが可能であり、それ故、そのディスプレイは最適な効果を生成し、そのアーティストは、複数のディスプレイ（例えば、小さい投影乃至大きい投影）についてそのように最適な効果を生成することさえ可能であり、ディスプレイは、どのスケーリングの種類が最も適切であるかを特定することができる。
【００５１】
幾つかのスケーリング関数（例えば、複数の二次関数）、例えば、シーンにおける中央のアクションにおける第１二次関数と、画像の周縁近傍の背景領域についての第２二次関数の組み合わせを用いることがまた、可能である。代替として、そのようなスケーリング関数は、区分線形スケーリング関数として実施されることが可能である。
【００５２】
クロック、ロゴ、コマーシャル情報、スクロールテキスト又は黒色のバー等の影響されない部分における付加ピクチャを伴う、スケーリングされない画像の残りをそのままにして、画像の一部、例えば、サブテキスト領域に幾つかのスケーリング関数を適用することがまた、可能である。
【００５３】
本発明の範囲は、明示的に開示されている上記の実施形態に限定されるものではない。本発明は、各々の新規な特徴及び各々の新規な特徴の組み合わせにおいて実施されることが可能である。用語“を有する”は、請求項において列挙されている要素又は段階以外の要素又は段階の存在を排除するものではない。要素の単数表現は、その要素の複数の存在を排除するものではない。記載されている全ての装置のユニット及び方法の段階は、１つ又は複数のハードウェアのユニット又はソフトウェアの実施形態として組み合わされる及び実現される、及びネットワークにおいて分配される、順序付けられる等が行われることが可能である。
【図面の簡単な説明】
【００５４】
【図１】動きベクトルに基づいて画像をスケーリングする方法の実施例を示す図である。
【図２】基底関数からスケーリング関数を生成する方法の実施例を示す図である。
【図３】少なくとも１つのパラメータ値を制限することによりスケーリング関数を生成する方法の実施例を示す図である。
【図４】信頼性値にスケーリング関数を選択する方法の実施例を示す図である。
【図５】シーン変化信号に基づいてスケーリング関数を選択する方法の実施例を示す図である。
【図６】タイミング関数を生成する方法の実施例を示す図である。
【図７】少なくとも１つのパラメータ値を制限することによりタイミング関数を生成する方法の実施例を示す図である。
【図８】信頼性値に基づいてタイミング関数を選択する方法の実施例を示す図である。
【図９】シーン変化信号に基づいてタイミング関数を選択する方法の実施例を示す図である。
【図１０】画素のＭｘＮブロックを有する画像を模式的に示す図である。
【図１１】画像のスケーリングするための装置の実施形態を模式的に示す図である。
【図１２】画像処理装置の実施形態を模式的に示す図である。
【図１３】画像表示装置の実施形態を模式的に示す図である。
【図１４】画像をスケーリングする信頼性装置の実施形態を模式的に示す図である。
【特許請求の範囲】
【請求項１】
画像の映像シーケンスに属す画像を処理する方法であって、第１画像における対象物の第１位置と第２画像における前記対象物の第２位置との間の前記対象物の位置の変化を表す動きベクトルに基づいて前記画像をスケーリングする段階であって、前記画像は前記の画像の映像シーケンスに属す、段階を有する方法。
【請求項２】
請求項１に記載の方法であって、前記画像をスケーリングする段階は：
前記動きベクトルに基づいてスケーリング関数を生成する段階；及び
前記画像の１つ又はそれ以上の画素に前記スケーリング関数を適用することにより、スケーリングされた画像の１つ又はそれ以上の画素を得る段階；
を有する、方法。
【請求項３】
請求項２に記載の方法であって、前記画像をスケーリングする段階は、前記第１画像と前記第２画像との間のグローバル変化を表すグローバル動きベクトルに基づいている、方法。
【請求項４】
請求項２に記載の方法であって、前記スケーリング関数を生成する段階は、前記動きベクトルの水平成分に基づいて前記スケーリング関数の少なくとも１つのパラメータ値を変える段階を有し、前記スケーリングされた画像の１つ又はそれ以上の画素を得る段階は、前記画像の画素の対応する行に属す１つ又はそれ以上の画素に前記スケーリング関数を適用することにより、前記スケーリングされた画像の画素の行に属す１つ又はそれ以上の画素を得る段階を有する、方法。
【請求項５】
請求項２に記載の方法であって、前記スケーリング関数を生成する段階は、前記動きベクトルの垂直成分に基づいて前記スケーリング関数の少なくとも１つのパラメータ値を変える段階を有し、前記スケーリングされた画像の１つ又はそれ以上の画素を得る段階は、前記画像の画素の対応する列に属す１つ又はそれ以上の画素に前記スケーリング関数を適用することにより、前記スケーリングされた画像の画素の列に属す１つ又はそれ以上の画素を得る段階を有する、方法。
【請求項６】
請求項２に記載の方法であって、前記スケーリング関数を生成する段階は、非線形関数及び区分線形関数を有する群から基底関数を選択する段階と、前記基底関数を用いて前記スケーリング関数を生成する段階と、を有する、方法。
【請求項７】
請求項２に記載の方法であって、前記スケーリング関数を生成する段階は、二次関数を選択する段階と、前記動きベクトルから演算された大きさの値に基づいて前記二次関数のパラメータを変える段階と、を有する、方法。
【請求項８】
請求項４又は５に記載の方法であって、前記スケーリング関数を生成する段階は、パラメータの値の実質的に所定の範囲内に前記スケーリング関数の前記少なくとも１つのパラメータ値を制限する段階を更に有する、方法。
【請求項９】
請求項２に記載の方法であって、前記画像の前記１つ又はそれ以上の画素に前記スケーリング関数を適用することに先行して、第１所定スケーリング関数又は前記動きベクトルに関連する信頼性値に基づいて前記生成されたスケーリング関数を選択する段階を更に有する、方法。
【請求項１０】
請求項２に記載の方法であって、前記画像の前記１つ又はそれ以上の画素に前記スケーリング関数を適用することに先行して、第２所定スケーリング関数又はシーン変化信号に基づいて前記生成されたスケーリング関数を選択する段階を更に有する、方法。
【請求項１１】
請求項２に記載の方法であって、前記動きベクトルに基づいて、異なる時刻についてスケーリングを制御するようにタイミング関数を生成する段階を更に有する、方法であり、前記スケーリングされた画像の１つ又はそれ以上の画素を得る段階は、前記前記タイミング関数に従って前記画像の１つ又はそれ以上の画素に前記スケーリング関数を適用する段階を有する、方法。
【請求項１２】
請求項１１に記載の方法であって、前記タイミング関数を生成する段階は、前記動きベクトルから演算された大きさの値に基づいて前記タイミング関数の少なくとも１つのパラメータ値を制御する段階を有する、方法。
【請求項１３】
請求項１２に記載の方法であって、前記タイミング関数を生成する段階は、パラメータ値の実質的に所定の範囲内に前記タイミング関数の前記少なくとも１つのパラメータ値を制限する段階を更に有する、方法。
【請求項１４】
請求項１１に記載の方法であって、前記選択されたタイミング関数に従って前記画像の前記１つ又はそれ以上の画素に前記スケーリング関数を適用する段階に先行して、前記動きベクトルに関連する信頼性値に基づいて第１所定タイミング関数又は前記生成されたタイミング関数を選択する段階を更に有する、方法。
【請求項１５】
請求項１１に記載の方法であって、前記選択されたタイミング関数に従って前記画像の前記１つ又はそれ以上の画素に前記スケーリング関数を適用する段階に先行して、シーン変化信号に基づいて第２所定タイミング関数又は前記生成されたタイミング関数を選択する段階を更に有する、方法。
【請求項１６】
請求項１に記載の方法であって、前記画像は画素のＭｘＮブロックを有し、前記画像の１つ又はそれ以上の画素をスケーリングする段階は：
前記ＭｘＮブロックに関連するそれぞれの前記１つ又はそれ以上の動きベクトルに基づいて１つ又はそれ以上のスケーリング関数を生成する段階；及び
前記画像のそれぞれのＭｘＮブロックの１つ又はそれ以上の画素に前記１つ又はそれ以上のスケーリング関数を適用することにより前記スケーリングされた画像の１つ又はそれ以上の画素を得る段階；
を有する、方法。
【請求項１７】
請求項１乃至１６の何れか一項に記載の方法であって、少なくとも１つの前景の対象物は、該対象物のコヒーレントな動き又は他の画像特徴により検出され、前記スケーリングは、少なくとも１つの前景の対象物の空間−時間位置を考慮する、方法。
【請求項１８】
画像の映像シーケンスに属す画像をスケーリングする装置であって：
第１画像における対象物の第１位置と第２画像における前記対象物の第２位置との間の前記対象物の位置の変化を表す動きベクトルを受信することができる第１受信器であって、前記画像は前記の画像の映像シーケンスに属す、第１受信器；
前記動きベクトルに基づいてスケーリング関数を生成することができる第１ジェネレータ；及び
前記画像の１つ又はそれ以上の画素に前記スケーリング関数を適用することによりスケーリングされた画像の１つ又はそれ以上の画素を得ることができる画像スケーラ；
を有する装置。
【請求項１９】
画像の映像シーケンスを受信することができる第２受信器；
第１画像における対象物の第１位置と第２画像における対象物の第２位置との間の前記対象物の位置の変化を表す動きベクトルを予測することができる動き予測ユニットであって、前記画像は前記の画像の画像シーケンスに属す、動き予測ユニット；及び
前記の画像の画像シーケンスに属す画像をスケーリングすることができる、請求項１８に記載の装置であって、前記スケーリングは所定のアスペクト比に基づく、装置；
を有する画像処理装置。
【請求項２０】
所定のアスペクト比に基づいて選択された画像を得ることができる、請求項１９に記載の画像処理装置；及び
スケーリングされた画像を表示することができる表示装置；
を有する画像表示装置。
【請求項２１】
請求項２０に記載の画像表示装置であって、ワイドスクリーンテレビ、携帯型装置、携帯電話、ナビゲーション受信器、ピクチャインピクチャテレビ（ｐｉｃｔｕｒｅ−ｉｎ−ｐｉｃｔｕｒｅ ｔｅｌｅｖｉｓｉｏｎ）、複数のスクリーンを有するコンピュータディスプレイ及びマルチメディアセンタを有する群から選択された装置が前記画像表示装置を有する、画像表示装置。
【請求項２２】
画像の映像シーケンスに属す画像を処理するコンピュータプログラムであって：
第１画像における対象物の第１位置と第２画像における対象物の第２位置との間の前記対象物の位置の変化を表す動きベクトルに基づいてスケーリング関数を生成するための命令であって、前記画像は前記の画像の画像シーケンスに属す、命令；及び
前記の画像の画像シーケンスに属す前記画像の１つ又はそれ以上の画素に前記スケーリング関数を適用することによりスケーリングされた画像の１つ又はそれ以上の画素を得るための命令；
を有するコンピュータプログラム。
【請求項２３】
画像の映像シーケンスに属す画像を処理するコンピュータプログラムを有する媒体であって：
第１画像における対象物の第１位置と第２画像における対象物の第２位置との間の前記対象物の位置の変化を表す動きベクトルに基づいてスケーリング関数を生成するための命令であって、前記画像は前記の画像の画像シーケンスに属す、命令；及び
前記の画像の画像シーケンスに属す前記画像の１つ又はそれ以上の画素に前記スケーリング関数を適用することによりスケーリングされた画像の１つ又はそれ以上の画素を得るための命令；
を有する媒体。
【請求項１】
画像の映像シーケンスに属す画像を処理する方法であって、第１画像における対象物の第１位置と第２画像における前記対象物の第２位置との間の前記対象物の位置の変化を表す動きベクトルに基づいて前記画像をスケーリングする段階であって、前記画像は前記の画像の映像シーケンスに属す、段階を有する方法。
【請求項２】
請求項１に記載の方法であって、前記画像をスケーリングする段階は：
前記動きベクトルに基づいてスケーリング関数を生成する段階；及び
前記画像の１つ又はそれ以上の画素に前記スケーリング関数を適用することにより、スケーリングされた画像の１つ又はそれ以上の画素を得る段階；
を有する、方法。
【請求項３】
請求項２に記載の方法であって、前記画像をスケーリングする段階は、前記第１画像と前記第２画像との間のグローバル変化を表すグローバル動きベクトルに基づいている、方法。
【請求項４】
請求項２に記載の方法であって、前記スケーリング関数を生成する段階は、前記動きベクトルの水平成分に基づいて前記スケーリング関数の少なくとも１つのパラメータ値を変える段階を有し、前記スケーリングされた画像の１つ又はそれ以上の画素を得る段階は、前記画像の画素の対応する行に属す１つ又はそれ以上の画素に前記スケーリング関数を適用することにより、前記スケーリングされた画像の画素の行に属す１つ又はそれ以上の画素を得る段階を有する、方法。
【請求項５】
請求項２に記載の方法であって、前記スケーリング関数を生成する段階は、前記動きベクトルの垂直成分に基づいて前記スケーリング関数の少なくとも１つのパラメータ値を変える段階を有し、前記スケーリングされた画像の１つ又はそれ以上の画素を得る段階は、前記画像の画素の対応する列に属す１つ又はそれ以上の画素に前記スケーリング関数を適用することにより、前記スケーリングされた画像の画素の列に属す１つ又はそれ以上の画素を得る段階を有する、方法。
【請求項６】
請求項２に記載の方法であって、前記スケーリング関数を生成する段階は、非線形関数及び区分線形関数を有する群から基底関数を選択する段階と、前記基底関数を用いて前記スケーリング関数を生成する段階と、を有する、方法。
【請求項７】
請求項２に記載の方法であって、前記スケーリング関数を生成する段階は、二次関数を選択する段階と、前記動きベクトルから演算された大きさの値に基づいて前記二次関数のパラメータを変える段階と、を有する、方法。
【請求項８】
請求項４又は５に記載の方法であって、前記スケーリング関数を生成する段階は、パラメータの値の実質的に所定の範囲内に前記スケーリング関数の前記少なくとも１つのパラメータ値を制限する段階を更に有する、方法。
【請求項９】
請求項２に記載の方法であって、前記画像の前記１つ又はそれ以上の画素に前記スケーリング関数を適用することに先行して、第１所定スケーリング関数又は前記動きベクトルに関連する信頼性値に基づいて前記生成されたスケーリング関数を選択する段階を更に有する、方法。
【請求項１０】
請求項２に記載の方法であって、前記画像の前記１つ又はそれ以上の画素に前記スケーリング関数を適用することに先行して、第２所定スケーリング関数又はシーン変化信号に基づいて前記生成されたスケーリング関数を選択する段階を更に有する、方法。
【請求項１１】
請求項２に記載の方法であって、前記動きベクトルに基づいて、異なる時刻についてスケーリングを制御するようにタイミング関数を生成する段階を更に有する、方法であり、前記スケーリングされた画像の１つ又はそれ以上の画素を得る段階は、前記前記タイミング関数に従って前記画像の１つ又はそれ以上の画素に前記スケーリング関数を適用する段階を有する、方法。
【請求項１２】
請求項１１に記載の方法であって、前記タイミング関数を生成する段階は、前記動きベクトルから演算された大きさの値に基づいて前記タイミング関数の少なくとも１つのパラメータ値を制御する段階を有する、方法。
【請求項１３】
請求項１２に記載の方法であって、前記タイミング関数を生成する段階は、パラメータ値の実質的に所定の範囲内に前記タイミング関数の前記少なくとも１つのパラメータ値を制限する段階を更に有する、方法。
【請求項１４】
請求項１１に記載の方法であって、前記選択されたタイミング関数に従って前記画像の前記１つ又はそれ以上の画素に前記スケーリング関数を適用する段階に先行して、前記動きベクトルに関連する信頼性値に基づいて第１所定タイミング関数又は前記生成されたタイミング関数を選択する段階を更に有する、方法。
【請求項１５】
請求項１１に記載の方法であって、前記選択されたタイミング関数に従って前記画像の前記１つ又はそれ以上の画素に前記スケーリング関数を適用する段階に先行して、シーン変化信号に基づいて第２所定タイミング関数又は前記生成されたタイミング関数を選択する段階を更に有する、方法。
【請求項１６】
請求項１に記載の方法であって、前記画像は画素のＭｘＮブロックを有し、前記画像の１つ又はそれ以上の画素をスケーリングする段階は：
前記ＭｘＮブロックに関連するそれぞれの前記１つ又はそれ以上の動きベクトルに基づいて１つ又はそれ以上のスケーリング関数を生成する段階；及び
前記画像のそれぞれのＭｘＮブロックの１つ又はそれ以上の画素に前記１つ又はそれ以上のスケーリング関数を適用することにより前記スケーリングされた画像の１つ又はそれ以上の画素を得る段階；
を有する、方法。
【請求項１７】
請求項１乃至１６の何れか一項に記載の方法であって、少なくとも１つの前景の対象物は、該対象物のコヒーレントな動き又は他の画像特徴により検出され、前記スケーリングは、少なくとも１つの前景の対象物の空間−時間位置を考慮する、方法。
【請求項１８】
画像の映像シーケンスに属す画像をスケーリングする装置であって：
第１画像における対象物の第１位置と第２画像における前記対象物の第２位置との間の前記対象物の位置の変化を表す動きベクトルを受信することができる第１受信器であって、前記画像は前記の画像の映像シーケンスに属す、第１受信器；
前記動きベクトルに基づいてスケーリング関数を生成することができる第１ジェネレータ；及び
前記画像の１つ又はそれ以上の画素に前記スケーリング関数を適用することによりスケーリングされた画像の１つ又はそれ以上の画素を得ることができる画像スケーラ；
を有する装置。
【請求項１９】
画像の映像シーケンスを受信することができる第２受信器；
第１画像における対象物の第１位置と第２画像における対象物の第２位置との間の前記対象物の位置の変化を表す動きベクトルを予測することができる動き予測ユニットであって、前記画像は前記の画像の画像シーケンスに属す、動き予測ユニット；及び
前記の画像の画像シーケンスに属す画像をスケーリングすることができる、請求項１８に記載の装置であって、前記スケーリングは所定のアスペクト比に基づく、装置；
を有する画像処理装置。
【請求項２０】
所定のアスペクト比に基づいて選択された画像を得ることができる、請求項１９に記載の画像処理装置；及び
スケーリングされた画像を表示することができる表示装置；
を有する画像表示装置。
【請求項２１】
請求項２０に記載の画像表示装置であって、ワイドスクリーンテレビ、携帯型装置、携帯電話、ナビゲーション受信器、ピクチャインピクチャテレビ（ｐｉｃｔｕｒｅ−ｉｎ−ｐｉｃｔｕｒｅ ｔｅｌｅｖｉｓｉｏｎ）、複数のスクリーンを有するコンピュータディスプレイ及びマルチメディアセンタを有する群から選択された装置が前記画像表示装置を有する、画像表示装置。
【請求項２２】
画像の映像シーケンスに属す画像を処理するコンピュータプログラムであって：
第１画像における対象物の第１位置と第２画像における対象物の第２位置との間の前記対象物の位置の変化を表す動きベクトルに基づいてスケーリング関数を生成するための命令であって、前記画像は前記の画像の画像シーケンスに属す、命令；及び
前記の画像の画像シーケンスに属す前記画像の１つ又はそれ以上の画素に前記スケーリング関数を適用することによりスケーリングされた画像の１つ又はそれ以上の画素を得るための命令；
を有するコンピュータプログラム。
【請求項２３】
画像の映像シーケンスに属す画像を処理するコンピュータプログラムを有する媒体であって：
第１画像における対象物の第１位置と第２画像における対象物の第２位置との間の前記対象物の位置の変化を表す動きベクトルに基づいてスケーリング関数を生成するための命令であって、前記画像は前記の画像の画像シーケンスに属す、命令；及び
前記の画像の画像シーケンスに属す前記画像の１つ又はそれ以上の画素に前記スケーリング関数を適用することによりスケーリングされた画像の１つ又はそれ以上の画素を得るための命令；
を有する媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公表番号】特表２００９−５４０６５２（Ｐ２００９−５４０６５２Ａ）
【公表日】平成２１年１１月１９日（２００９．１１．１９）
【国際特許分類】
【出願番号】特願２００９−５１３８１１（Ｐ２００９−５１３８１１）
【出願日】平成１９年５月２３日（２００７．５．２３）
【国際出願番号】ＰＣＴ／ＩＢ２００７／０５１９４０
【国際公開番号】ＷＯ２００７／１４１６９３
【国際公開日】平成１９年１２月１３日（２００７．１２．１３）
【出願人】（５９００００２４８）コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【Ｆターム（参考）】
【公表日】平成２１年１１月１９日（２００９．１１．１９）
【国際特許分類】
【出願日】平成１９年５月２３日（２００７．５．２３）
【国際出願番号】ＰＣＴ／ＩＢ２００７／０５１９４０
【国際公開番号】ＷＯ２００７／１４１６９３
【国際公開日】平成１９年１２月１３日（２００７．１２．１３）
【出願人】（５９００００２４８）コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【Ｆターム（参考）】
[ Back to top ]