携帯装置における画像処理方法及び装置
本発明は、符号化映像フレームデータの複数部分を有する符号化映像フレームを含む映像入力信号を受信する第１のメモリ装置を含む携帯装置のグラフィックプロセッサを用いた画像処理方法及び装置を提供するものである。第１のメモリ装置は、符号化映像フレームデータの複数部分の全てには満たない記憶容量を有する。本方法及び装置はさらに第１のメモリ装置に結合したグラフィックプロセッサを含み、ここでグラフィックプロセッサは符号化映像フレームデータの第１の部分を受信して第１のグラフィック部分を生成する。第２のメモリ装置が第１のグラフィック部分を受信し、この第１のグラフィック部分をその中に記憶する。かくして、符号化映像フレームはグラフィックプロセッサに連動して第１のメモリ装置と第２のメモリ装置を用いて部分ごとに処理する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は携帯装置に関し、特に、携帯装置におけるグラフィック変換に関する。
【背景技術】
【０００２】
最新の演算処理トレンドの成熟とともに携帯装置の携帯性や改善機能性における要求が増大しているが、ここでの携帯装置は限定はしないが当業者に認知される如く、携帯電話や個人携帯情報機器（ＰＤＡ）やポケットベルやスマートフォンやグラフィック対話機能を提供可能な他の任意の適当な携帯式電子装置でもある。さらに、携帯装置或いはデスクトップ型やラップトップ型コンピュータ等の独立型コンピュータ処理システムを集約させることで、複数携帯装置の間ならびに携帯装置と独立型コンピュータ処理システムとの間の改善された機能性と対話品質に対するより大きな要求が存在する。
【０００３】
携帯装置の新興領域は、グラフィック及び／又は映像を取得し、描画し、伝送する能力である。複数技術の一つの集約例は、携帯装置上のカメラの設置である。これらのグラフィック集約応用分野には、グラフィック出力生成用のグラフィック構造に関する先行技術の限界が存在する。携帯装置における一つの共通課題は、利用可能なメモリ資源である。三次元グラフィック描画技術を含む現行のグラフィック描画技術は、画像処理パイプライン中の各種描画ステップの実行に広範なメモリ量が必要である。
【０００４】
さらにまた、グラフィック画像は圧縮動作を完了するのに全記憶画像を必要とする圧縮技術が故にメモリ集約的ともなり得る。既存の携帯装置では、サイズ要件が故にメモリ資源の限界が存在していた。
【０００５】
現行の携帯装置の中に見出される別の他の特定の限界は、画像描画エンジンを配置する制限された物理的実装空間とメモリを配置する制限された実装空間である。携帯装置がよりコンパクトになるにつれて、画像描画に必要とされる付加メモリを挿入するための実装空間はより少なくなっている。それ故、携帯装置内に既存のグラフィックプロセッサを活用する企てに問題が生ずる。
【０００６】
図１は、カメラ１０２と固定サイズのバッファ１０４とＪＰＥＧプロセッサ１０６と最大デコードサイズのバッファ１０８とを有する先行技術携帯装置１００を示す。カメラ１０２は、固定サイズのバッファ１０４に供給されるビデオ画像１１０を捕捉できる任意の適当なサイズのカメラとすることができる。携帯装置１００では、固定サイズのバッファ１０４は画像１１０の単一フレームを捕捉するのに十分なサイズとしなけばならず、カメラが取得する画像１１０のサイズに応じており、例えばカメラ１０２が６４本の１６ビット走査線解像度の画像１１０を取得する場合、バッファ１０４は単一画像１１０を記憶するのに十分な記憶場所を含むことになる筈である。当業者に認知されている如く、ストリーミング映像や複数画像を取得する能力を提供するのに大きなメモリ１０４を用いることがある。
【０００７】
典型的な携帯装置１００では、圧縮エンジンに画像１１０のサムネイルの構築を要求することで、画像１１０は次いでサムネイル様式でユーザに表示される。一実施例では、ＪＰＥＧプロセッサ１０６は記憶画像１１２を検索し、記憶画像１１２は周知のＪＰＥＧ処理技術に従ってＪＰＥＧプロセッサ１０６により処理される。
【０００８】
ＪＰＥＧプロセッサ１０６は、次いで、デコードされた画像、即ち復号化画像１１４を生成し、この復号化画像１１４はバッファ１０８に記憶させられる。バッファ１０８のサイズは、復号化画像１１４のサイズにより決まる。従って、携帯装置１００は２個のメモリバッファ１０４，１０８を持たねばならず、ここでメモリバッファ１０４，１０８のサイズはカメラ１０２と画像１１４の最大復号化サイズによって決まる。携帯装置１００は、大きなメモリバッファ１０４，１０８或いはカメラ１０２の品質／解像度の低減のいずれかを必要とする。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
かくして、携帯装置内でのメモリ資源要件を克服し、高品位画像処理を可能にし、その一方で画像捕捉技術と画像処理技術を保全する方法及び装置に対する必要性が存在する。
【課題を解決するための手段】
【００１０】
本発明は映像入力信号を受信する第１のメモリ装置を含む携帯装置内での画像処理方法及び装置を提供するものである。一実施例では、第１のメモリ装置はデュアルバッファメモリであり、映像入力信号はカメラ等の画像取得装置を用いて取得した画像の符号化（エンコードされた）表現である。映像入力信号には、複数の符号化映像フレームデータからなる符号化映像フレームが含まれる。第１のメモリ装置は符号化映像フレームに関する符号化映像フレームデータの複数部分の全てには満たない記憶容量を有し、かくして第１のメモリ装置は符号化映像フレームデータの第１の部分を受信する。
【００１１】
本方法及び装置は、さらに、第１のメモリ装置に結合したグラフィックプロセッサを含み、ここでグラフィックプロセッサは符号化映像フレームの第１の部分を受信し、第１のグラフィック部分を生成する。第１のグラフィック部分は、符号化映像フレームデータのデコードされた（復号化）部分を含む。本方法及び装置は、第１のグラフィック部分を受信し、第１のグラフィック部分を内部記憶させる第２のメモリ装置を含む。かくして、符号化映像フレームはグラフィックプロセッサと連動して第１のメモリ装置と第２のメモリ装置を用いて部分ごとに処理され、かくして制限されたメモリ資源を用いて映像フレームを生成できるようにしてある。
【発明を実施するための最良の形態】
【００１２】
より具体的には、図２は携帯装置２０２の画像処理装置２００の一実施例形態を示す。装置２００は、第１のメモリ２０４とグラフィックプロセッサ２０６と第２のメモリ２０８とを含む。一実施例では、第１のメモリ２０４と第２のメモリ２０８は映像データの符号化フレームを記憶させることのできるデュアルバッファメモリである。
【００１３】
第１のメモリ装置２０４と第２のメモリ装置２０８は、これらに限定はされないが、単一メモリや複数の記憶場所や共有メモリやＣＤやＤＶＤやＲＯＭやＲＡＭやＥＥＰＲＯＭや光記憶装置或いはディジタルデータを記憶可能な他の任意の不揮発性記憶媒体とすることができる。さらに、プロセッサ２０６は、これらに限定はされないが、単一プロセッサや複数プロセッサやＤＳＰやマイクロプロセッサやＡＳＩＣやステートマシン、又はソフトウェアやディスクリート論理回路或いはハードウェアとソフトウェア及び／又はファームウェアの任意の適当な組み合わせを処理し実行できる他の任意の実装品とすることができる。プロセッサはソフトウェアを実行可能なハードウェアだけを指すと解釈してはならず、ＤＳＰハードウェアやソフトウェア記憶用ＲＯＭや他の任意の揮発性或いは不揮発性記憶媒体を暗に含ませることができる。
【００１４】
第１のメモリ２０４は、カメラ２１２から映像入力信号２１０を受信する。映像入力信号２１０は、符号化映像フレームデータの複数部分を有する符号化映像フレームを含む。例えば、符号化映像フレームは１６個の部分に分割でき、それ故に映像入力信号２１０はカメラ２１２から１６個の符号化映像フレームデータとして供給される。一実施例では、これらの部分は所定数の水平走査線或いは他の任意の適当な被描写画素フィールドを表わす。
【００１５】
第１のメモリ装置２０４は、前記した例示実施例におけるデュアルバッファメモリの如く、符号化映像フレームに関する符号化映像フレーム２１０の複数部分の全てには満たない容量を有する。符号化映像フレームデータ２１０の複数部分の第１の部分２１４は、グラフィックプロセッサ２０６へ供給される。一実施例では、グラフィックプロセッサ２０６は周知の画像処理技術に従って動作して第１のグラフィック部分２１６ａを生成するが、ここでは第１のグラフィック部分２１６ａは符号化映像フレームデータ２１４の復号化した第１の部分である。
【００１６】
第１のグラフィック部分２１６ａはそこで、第２のメモリ装置２０８へ供給される。第２のメモリ装置２０８はそこで、装置２００外部の図示しない記憶場所に第１のグラフィック部分２１６ｂを供給する。一実施例では、図示していない記憶場所はフレームバッファとすることができ、ここでは複数の符号化映像フレームのグラフィック部分が一旦全てグラフィックプロセッサ２０６により生成されると、全復号化映像フレームを図示しないフレームバッファから図示しないディスプレイへ供給することができる。
【００１７】
図３は、本発明の一実施例になる携帯装置２００の一実施例を示す。携帯装置２００は、キーパッド２３０とスピーカ２３２とマイクロフォン２３４とディスプレイ２３６とカメラ２３８とナビゲーション釦２４０とを含む。当業者には認知される如く、携帯装置２００は例示目的にのみ合わせたものであり、本発明には図２に示す処理要素を備えるディスプレイ２３６及びカメラ２３８を有する他の任意の適当な携帯装置を含ませることができる。図３の携帯装置２００では、カメラ２３８は当業者には認知される如く映像取得をもたらすが、カメラ２３８を他の任意の適当な場所に配置しかつ／又はより多数のカメラを携帯装置２００上に配置することができる。
【００１８】
図４は、そこを通過する無線通信のためのアンテナ２５２に結合したベースバンド方式受信器２５０を含む携帯装置２００のブロック線図である。ベースバンド方式受信器２５０は、そこを通過する通信情報２５６を通信する中央処理装置（ＣＰＵ）２５４に作動的に結合してある。当業者には認知される如く、ＣＰＵ２５４は既存の携帯装置内に目下実装し活用されている周知の中央処理装置に従わせることができる。
【００１９】
一実施例では、ＣＰＵ２５４をＳＤＲＡＭ／ＤＤＲ２５８に結合し、処理情報２６０をその上に記憶させ、メモリ２５８とＣＰＵ２５４の間で転送すことができる。ＣＰＵ２５４はさらに、可撓ケーブル２６２を介して画像処理用装置２０２に結合してある。
【００２０】
一実施例では、装置２０２は固定ディジタルメモリカード等のメモリ２６４に作動的に結合してあり、データ２６５が両者間で転送されるようにしてある。携帯装置２００はさらに装置２０２に映像入力信号２１０を供給するカメラ２３８を含み、装置２０２はさらにＬＣＤコントローラ２６６に結合してある。一実施例では、ＬＣＤコントローラ２６６はそこに第１のグラフィック部分２１６ｂが供給されるようその中に配置したフレームバッファ（図示せず）を含む。周知のＬＣＤコントローラ動作に従い、ＬＣＤコントローラ２６６はそこで可視出力信号２６８をＬＣＤ２３６か又は当業者には認知される他の任意の適当な表示装置へ供給する。
【００２１】
図５は、本発明の一実施例になる携帯装置２００の別の概略ブロック線図を示す。装置２０２には、映像入力プロセッサ３００とバッファ３０２と実時間直接メモリアクセス装置（ＲＴＤＭＡ）３０４とメモリ３０６とＪＰＥＧ／ＭＰＥＧプロセッサ３０８とが含まれる。当業者には認知される如く、装置２０２内での処理をもたらす多くの要素をただ明瞭さに配慮して省略してある。
【００２２】
カメラ２３８は、符号化映像フレームを含む映像入力信号２１０を映像入力プロセッサ３００へ供給する。映像入力プロセッサ３００は映像部分３１０をバッファ３０２へ供給するが、そこでバッファ３０２はそのバッファ映像部分３１２をＲＴＤＭＡ３０４へ供給する。
【００２３】
ＲＴＤＭＡ３０４はバス３１８を介してプロセッサ３０８と共にデータ要求３１４と映像情報３１６に連動して動作し、プロセッサ３０８はバス３０２から供給されるグラフィック情報３１２を描画する。一実施例では、ＲＴＤＭＡ３０４は当業者には認知される如く任意種のメモリとし得るメモリ３０６を用いており、ここでメモリ３０６内では実時間でアクセスがなされ、アドレス３２０に応答してデータ３２２が検索される。
【００２４】
プロセッサ３０８を、図６に関してさらに以下に説明する。入来映像フレームデータの処理に応答し、プロセッサは符号化フレームデータの複数部分を復号化してＬＣＤコントローラ２６６へ供給する映像信号２１６ｂを生成する。一実施例では、一旦ＬＣＤコントローラ２６６がフレーム全体を取得すると、全フレーム２６８がＬＣＤ２３６へ供給される。別の実施例では、ＬＣＤ２３６が順次走査液晶ディスプレイである場合、フレーム部分は図示しないフレームバッファを充填するのではなく部分ごとに供給することができる。
【００２５】
図６は、図５に示した復号器３０８の実施例と同じ要素の機能的ブロック線図を表わす。この要素は、より具体的には符号化映像入力信号向けである。プロセッサ３０８は、フォーマット変換器３３０とスケーリングモジュール３３２と回転モジュール３３４とを含む。別のデータ処理分岐では、プロセッサ３０８は離散コサイン変換（ＤＣＴ）３４０と量子化モジュール３４２とランレングス符号化器３４４とを含む。プロセッサ３０８内の機能ブロック要素は、ハードウェアとソフトウェアとそれらの組み合わせとすることができる。一実施例では、ブロックはそれに関連する特定動作を行なう実行可能な命令を実行するプロセッサにより表わされる。
【００２６】
一実施例では、プロセッサ３０８内のブロックは分岐プロセスを表わし、ここでは選択された分岐処理に対し特定の処理が行なわれる。例えば、ブロック３４０，３４２，３４４は中央処理装置分岐処理内に置くことができ、ここでブロック３３０，３３２，３３４はグラフィック処理分岐内にある。さらに、スケーリング処理３３２はフォーマット仕様に基づくフォーマット変換器３３０を用いたフォーマット変換の有無に拘わらず実行することができる。
【００２７】
一実施例では、入力信号３５０はフォーマット変換信号３５２を生成するフォーマットコンバータ３３０へ供給される。フォーマット変換された信号３５２はスケーリングブロック３３２に供給され、これによりスケーリングされたデータ信号３５４が回転ブロック３３４へ供給される。回転値に基づき、信号３５４により表される画像方位はそこで回転させられて被回転出力信号３５６を生成する。
【００２８】
別の実施例では、入力信号３６０をＤＣＴ機能ブロック３４０へ供給し、これにより被変換信号３６２が量子化ブロック３４２に供給されるようにできる。一実施例では、図示はしていないが量子化テーブを用いることで、信号３６２を量子化調整し、被調整出力信号３６４を生成することができる。調整された出力信号３６４はランレングス符号化器３４４に供給され、信号３６４のランレングス終了コードを補い、そこで出力信号３６６を生成する。
【００２９】
特定分岐の選択に基づき、出力信号３５６や出力信号３６６は符号化映像データの復号化部分を含み、かくして部分ごとに映像データの全フレームを生成でき、ここで全フレームには被スケーリング及び／又は被回転画像データを含ませることができる。
【００３０】
一実施例では、量子化テーブルを用いてバッファサイズに相応した出力を生成することができ、ここではハードウェアは量子化テーブルを動的に調整する。
【００３１】
図８は、カメラ２３８からのストリーミング映像入力２１０を受信するグラフィックプロセッサ３０８のＭＰＥＧ処理部分を示しており、すなわちストリーミング映像入力２１０内にはフレームごとの入力が含まれる。第１のメモリ３７０内に受信するのは、フレーム１と指定される第１のフレーム３７１である。ＭＰＥＧ符号化技術に基づき、基準フレーム３７３をメモリ場所３７２から検索する。差分計算３７４に基づき、異なるフレーム３７６がＰ−フレームマクロブロックメモリ３７８に書き込まれる。
【００３２】
フレームデータ３７１はさらに、グラフィックプロセッサ３８０へ供給される。グラフィックプロセッサはまたＰ−フレームデータ３８２を受信してグラフィック出力を生成するが、一実施例ではＩ−フレームが一時バッファ３８４に書き込まれ、そこでＩ−フレームマクロブロックメモリ３８６に書き込まれる。さらにまた、Ｐ−フレームデータ３８２がＰ−フレームバッファ３８８に書き込まれ、そこでＰｎマクロブロック３９０に書き込まれる。
【００３３】
周知のＭＰＥＧ復号化技術を用いることで、グラフィックプロセッサ３８０は一実施例、すなわち図５に示したシステム内で出力表示を生成する関連フレームデータを生成する。さらに、当業者には認知される如く、ＭＰＥＧ以外の動き補償或いは動き予測を用いた他の任意の類似の符号化を用いることができる。
【００３４】
図８は、携帯装置内画像処理方法を示す。本方法はステップ５００に始まり、ステップ５０２にて符号化フレームデータの複数部分を含む映像入力フレームを受信する。次ステップは、符号化映像入力フレームの第１の部分を映像入力フレームに満たない記憶容量を有する第１のメモリ装置へ供給するステップ５０４である。前記した如く、一実施例では第１のメモリ２０４は符号化映像フレームデータの複数部分を受信し、映像入力フレームに満たない記憶容量を有する。
【００３５】
本方法内の次ステップは、第１のメモリ装置から入力映像フレームデータの第１の部分を読み取るステップ５０６を含む。次ステップであるステップ５０８は、符号化映像フレームデータの第１の部分をグラフィックプロセッサへ供給する。そこで、ステップ５１０にて符号化映像フレームの第１の部分をグラフィック処理し、第１のグラフィック部分を生成する。そこで、本方法は第１のグラフィック部分を第２のメモリ装置へ書き込むステップ５１２を含む。ここでもまた、図２に関し、プロセッサ２０６によりグラフィック処理した後、第１のグラフィック部分２１６ａが第２のメモリ２０８へ書き込まれる。そこで、本方法はステップ５１４にて完了する。
【００３６】
図９ａ〜図９ｅは、携帯装置の画像処理方法の複数の実施例を示す。これらの実施例は類似の初期ステップを提供するが、図９ａのステップについて図示した各種代替ステップが図９ｂ〜図９ｅに対しもたらされる。
【００３７】
図９ａに示す如く、本方法はステップ５２０にて始まり、カメラ内の映像入力フレームをステップ５２２にて受信するが、この映像フレームデータには複数の符号化映像フレームデーの複数部分が含まれる。一実施例では、カメラ２３８は、図３と図４に示した如く、ビデオ画像を必要とし、このビデオ画像を符号化映像フレームデータの複数部分を含む入力フレームへ変換する。次ステップ、すなわちステップ５２４では、符号化映像フレームデータの複数部分を映像入力フレームに満たない記憶容量を有する第１のメモリ装置へ部分ごとに書き込む。そこで、次ステップ５２６では第１のメモリ装置からの符号化映像フレームデータの複数部分を部分ごとに読み取る。
【００３８】
本方法はさらに、符号化映像フレームデータの複数部分を部分ごとにグラフィックプロセッサへ供給するステップ５２８を含む。図２を参照して前記した如く、グラフィックプロセッサ２０６は第１のメモリ２０４から符号化映像フレームデータ２１４の複数部分を受信することができる。次ステップ、すなわちステップ５３０では、符号化映像フレームデータの複数部分を処理し、部分ごとに複数のグラフィック部分を生成する。一実施例ではグラフィックプロセッサ２０６が、別の実施例ではプロセッサ３０８がこの動作を実行する。複数のグラフィック部分を部分ごとに第２のメモリ装置へ書き込むのは、次ステップ、すなわちステップ５３２である。そこで、本方法は外部メモリ装置へ複数のグラフィック部分を部分ごとに書き込むステップ５３４を含む。
【００３９】
そこで、参照指標を指標Ａへ移し、ステップ５３６にてステップ５２２〜５３４に対する代替実施例を実行することができる。代替する一実施例において、図９ｂは携帯装置上の液晶ディスプレイへの複数のグラフィック部分の供給ステップ、すなわちステップ５３８を示す。そこで、本実施例はステップ５４０の下で完了する。上記した例示液晶ディスプレイは、図３と図５に図示したディスプレイ装置２３６である。
【００４０】
標識Ａ５３６と対し続く代替実施例において、図９ｃはステップ５４２を含む方法を示すものであり、入力映像フレームが画像であるときに、グラフィックプロセッサはフォーマット変換やスケーリングや回転をステップ５４２にて実行することができる。上記の如く、本実施例はプロセッサ３０８内で実行することができる。そこで、本方法のこの実施例はステップ５４４にて完了する。
【００４１】
標識Ａ５５６に対し示す別の実施例では、図９ｄが次ステップを示しており、このステップ５４６には、入力映像フレームの受信時にこれが動画の単一フレームであるときにグラフィックプロセッサが離散コサイン変換や量子化やベクトル・ランレングス符号化を実行できることが含まれる。これらの処理は図６に説明される、機能ブロック３４０，３４２，３４４を用いて前記したものである。本方法にはさらに、第２のメモリ部分の記憶容量に対応する複数のグラフィック部分の調整に用いることのできる量子化テーブルが含まれる。そこで、本方法はステップ５５０にて完了する。
【００４２】
図９ｅに関して示した他の代替実施例は、標識Ａ５３６に関連する図９ａの方法ステップを含む。次ステップは、内蔵メモリ内に配置された第１のメモリ部分と第２のメモリ部分を含むステップ５５２である。そこで、リングバッファ手法ステップ５５４を用いた実時間直接メモリアクセス装置による書き込みの読み取りが実行される。
【００４３】
本発明の投入は、描画技術による部分ごとの映像データの有効活用ならびに処理を提供することで携帯装置内に改善されたグラフィック処理をもたらす。制限されたメモリ部分の使用と符号化映像フレームに基づく映像入力信号の処理とを通じ、メモリサイズ低減要件を活用し、そこで携帯処理装置内の有用な実装空間を節約することができる。
【００４４】
様々な態様での本発明の他の変形例や改変例の実装が当業者には明白であり、本発明が本願明細書に記載した具体的実施例に限定されないことは、理解されたい。例えば、画像処理は映像データ用に開示されたＭＰＥＧやＭＰＥＧ符号化技術を超えて先を行く任意の符号化技術を用いて実行することができる。それ故、底流にある基本原理の趣旨範囲内に包含されるあらゆる公知の改変例や変形例や等価物を本願明細書に開示し特許請求することは、本発明により熟考し網羅されるものである。
【図面の簡単な説明】
【００４５】
【図１】従来の携帯装置の概略ブロック図である。
【図２】本発明の一実施例による携帯装置の概略ブロック図である。
【図３】本発明の別実施例による携帯装置のグラフィック表現の説明図である。
【図４】本発明の一実施例による携帯装置の概略ブロック図である。
【図５】本発明の一実施例による携帯装置の別の概略ブロック図である。
【図６】本発明の一実施例によるグラフィック描画パイプラインの部分概略ブロック図である。
【図７】本発明の一実施例によるグラフィック描画パイプラインの部分概略ブロック図である。
【図８】携帯装置内画像処理方法のフローチャート図である。
【図９ａ−９ｅ】携帯装置内画像処理方法の代替実施例の説明図である。
【技術分野】
【０００１】
本発明は携帯装置に関し、特に、携帯装置におけるグラフィック変換に関する。
【背景技術】
【０００２】
最新の演算処理トレンドの成熟とともに携帯装置の携帯性や改善機能性における要求が増大しているが、ここでの携帯装置は限定はしないが当業者に認知される如く、携帯電話や個人携帯情報機器（ＰＤＡ）やポケットベルやスマートフォンやグラフィック対話機能を提供可能な他の任意の適当な携帯式電子装置でもある。さらに、携帯装置或いはデスクトップ型やラップトップ型コンピュータ等の独立型コンピュータ処理システムを集約させることで、複数携帯装置の間ならびに携帯装置と独立型コンピュータ処理システムとの間の改善された機能性と対話品質に対するより大きな要求が存在する。
【０００３】
携帯装置の新興領域は、グラフィック及び／又は映像を取得し、描画し、伝送する能力である。複数技術の一つの集約例は、携帯装置上のカメラの設置である。これらのグラフィック集約応用分野には、グラフィック出力生成用のグラフィック構造に関する先行技術の限界が存在する。携帯装置における一つの共通課題は、利用可能なメモリ資源である。三次元グラフィック描画技術を含む現行のグラフィック描画技術は、画像処理パイプライン中の各種描画ステップの実行に広範なメモリ量が必要である。
【０００４】
さらにまた、グラフィック画像は圧縮動作を完了するのに全記憶画像を必要とする圧縮技術が故にメモリ集約的ともなり得る。既存の携帯装置では、サイズ要件が故にメモリ資源の限界が存在していた。
【０００５】
現行の携帯装置の中に見出される別の他の特定の限界は、画像描画エンジンを配置する制限された物理的実装空間とメモリを配置する制限された実装空間である。携帯装置がよりコンパクトになるにつれて、画像描画に必要とされる付加メモリを挿入するための実装空間はより少なくなっている。それ故、携帯装置内に既存のグラフィックプロセッサを活用する企てに問題が生ずる。
【０００６】
図１は、カメラ１０２と固定サイズのバッファ１０４とＪＰＥＧプロセッサ１０６と最大デコードサイズのバッファ１０８とを有する先行技術携帯装置１００を示す。カメラ１０２は、固定サイズのバッファ１０４に供給されるビデオ画像１１０を捕捉できる任意の適当なサイズのカメラとすることができる。携帯装置１００では、固定サイズのバッファ１０４は画像１１０の単一フレームを捕捉するのに十分なサイズとしなけばならず、カメラが取得する画像１１０のサイズに応じており、例えばカメラ１０２が６４本の１６ビット走査線解像度の画像１１０を取得する場合、バッファ１０４は単一画像１１０を記憶するのに十分な記憶場所を含むことになる筈である。当業者に認知されている如く、ストリーミング映像や複数画像を取得する能力を提供するのに大きなメモリ１０４を用いることがある。
【０００７】
典型的な携帯装置１００では、圧縮エンジンに画像１１０のサムネイルの構築を要求することで、画像１１０は次いでサムネイル様式でユーザに表示される。一実施例では、ＪＰＥＧプロセッサ１０６は記憶画像１１２を検索し、記憶画像１１２は周知のＪＰＥＧ処理技術に従ってＪＰＥＧプロセッサ１０６により処理される。
【０００８】
ＪＰＥＧプロセッサ１０６は、次いで、デコードされた画像、即ち復号化画像１１４を生成し、この復号化画像１１４はバッファ１０８に記憶させられる。バッファ１０８のサイズは、復号化画像１１４のサイズにより決まる。従って、携帯装置１００は２個のメモリバッファ１０４，１０８を持たねばならず、ここでメモリバッファ１０４，１０８のサイズはカメラ１０２と画像１１４の最大復号化サイズによって決まる。携帯装置１００は、大きなメモリバッファ１０４，１０８或いはカメラ１０２の品質／解像度の低減のいずれかを必要とする。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
かくして、携帯装置内でのメモリ資源要件を克服し、高品位画像処理を可能にし、その一方で画像捕捉技術と画像処理技術を保全する方法及び装置に対する必要性が存在する。
【課題を解決するための手段】
【００１０】
本発明は映像入力信号を受信する第１のメモリ装置を含む携帯装置内での画像処理方法及び装置を提供するものである。一実施例では、第１のメモリ装置はデュアルバッファメモリであり、映像入力信号はカメラ等の画像取得装置を用いて取得した画像の符号化（エンコードされた）表現である。映像入力信号には、複数の符号化映像フレームデータからなる符号化映像フレームが含まれる。第１のメモリ装置は符号化映像フレームに関する符号化映像フレームデータの複数部分の全てには満たない記憶容量を有し、かくして第１のメモリ装置は符号化映像フレームデータの第１の部分を受信する。
【００１１】
本方法及び装置は、さらに、第１のメモリ装置に結合したグラフィックプロセッサを含み、ここでグラフィックプロセッサは符号化映像フレームの第１の部分を受信し、第１のグラフィック部分を生成する。第１のグラフィック部分は、符号化映像フレームデータのデコードされた（復号化）部分を含む。本方法及び装置は、第１のグラフィック部分を受信し、第１のグラフィック部分を内部記憶させる第２のメモリ装置を含む。かくして、符号化映像フレームはグラフィックプロセッサと連動して第１のメモリ装置と第２のメモリ装置を用いて部分ごとに処理され、かくして制限されたメモリ資源を用いて映像フレームを生成できるようにしてある。
【発明を実施するための最良の形態】
【００１２】
より具体的には、図２は携帯装置２０２の画像処理装置２００の一実施例形態を示す。装置２００は、第１のメモリ２０４とグラフィックプロセッサ２０６と第２のメモリ２０８とを含む。一実施例では、第１のメモリ２０４と第２のメモリ２０８は映像データの符号化フレームを記憶させることのできるデュアルバッファメモリである。
【００１３】
第１のメモリ装置２０４と第２のメモリ装置２０８は、これらに限定はされないが、単一メモリや複数の記憶場所や共有メモリやＣＤやＤＶＤやＲＯＭやＲＡＭやＥＥＰＲＯＭや光記憶装置或いはディジタルデータを記憶可能な他の任意の不揮発性記憶媒体とすることができる。さらに、プロセッサ２０６は、これらに限定はされないが、単一プロセッサや複数プロセッサやＤＳＰやマイクロプロセッサやＡＳＩＣやステートマシン、又はソフトウェアやディスクリート論理回路或いはハードウェアとソフトウェア及び／又はファームウェアの任意の適当な組み合わせを処理し実行できる他の任意の実装品とすることができる。プロセッサはソフトウェアを実行可能なハードウェアだけを指すと解釈してはならず、ＤＳＰハードウェアやソフトウェア記憶用ＲＯＭや他の任意の揮発性或いは不揮発性記憶媒体を暗に含ませることができる。
【００１４】
第１のメモリ２０４は、カメラ２１２から映像入力信号２１０を受信する。映像入力信号２１０は、符号化映像フレームデータの複数部分を有する符号化映像フレームを含む。例えば、符号化映像フレームは１６個の部分に分割でき、それ故に映像入力信号２１０はカメラ２１２から１６個の符号化映像フレームデータとして供給される。一実施例では、これらの部分は所定数の水平走査線或いは他の任意の適当な被描写画素フィールドを表わす。
【００１５】
第１のメモリ装置２０４は、前記した例示実施例におけるデュアルバッファメモリの如く、符号化映像フレームに関する符号化映像フレーム２１０の複数部分の全てには満たない容量を有する。符号化映像フレームデータ２１０の複数部分の第１の部分２１４は、グラフィックプロセッサ２０６へ供給される。一実施例では、グラフィックプロセッサ２０６は周知の画像処理技術に従って動作して第１のグラフィック部分２１６ａを生成するが、ここでは第１のグラフィック部分２１６ａは符号化映像フレームデータ２１４の復号化した第１の部分である。
【００１６】
第１のグラフィック部分２１６ａはそこで、第２のメモリ装置２０８へ供給される。第２のメモリ装置２０８はそこで、装置２００外部の図示しない記憶場所に第１のグラフィック部分２１６ｂを供給する。一実施例では、図示していない記憶場所はフレームバッファとすることができ、ここでは複数の符号化映像フレームのグラフィック部分が一旦全てグラフィックプロセッサ２０６により生成されると、全復号化映像フレームを図示しないフレームバッファから図示しないディスプレイへ供給することができる。
【００１７】
図３は、本発明の一実施例になる携帯装置２００の一実施例を示す。携帯装置２００は、キーパッド２３０とスピーカ２３２とマイクロフォン２３４とディスプレイ２３６とカメラ２３８とナビゲーション釦２４０とを含む。当業者には認知される如く、携帯装置２００は例示目的にのみ合わせたものであり、本発明には図２に示す処理要素を備えるディスプレイ２３６及びカメラ２３８を有する他の任意の適当な携帯装置を含ませることができる。図３の携帯装置２００では、カメラ２３８は当業者には認知される如く映像取得をもたらすが、カメラ２３８を他の任意の適当な場所に配置しかつ／又はより多数のカメラを携帯装置２００上に配置することができる。
【００１８】
図４は、そこを通過する無線通信のためのアンテナ２５２に結合したベースバンド方式受信器２５０を含む携帯装置２００のブロック線図である。ベースバンド方式受信器２５０は、そこを通過する通信情報２５６を通信する中央処理装置（ＣＰＵ）２５４に作動的に結合してある。当業者には認知される如く、ＣＰＵ２５４は既存の携帯装置内に目下実装し活用されている周知の中央処理装置に従わせることができる。
【００１９】
一実施例では、ＣＰＵ２５４をＳＤＲＡＭ／ＤＤＲ２５８に結合し、処理情報２６０をその上に記憶させ、メモリ２５８とＣＰＵ２５４の間で転送すことができる。ＣＰＵ２５４はさらに、可撓ケーブル２６２を介して画像処理用装置２０２に結合してある。
【００２０】
一実施例では、装置２０２は固定ディジタルメモリカード等のメモリ２６４に作動的に結合してあり、データ２６５が両者間で転送されるようにしてある。携帯装置２００はさらに装置２０２に映像入力信号２１０を供給するカメラ２３８を含み、装置２０２はさらにＬＣＤコントローラ２６６に結合してある。一実施例では、ＬＣＤコントローラ２６６はそこに第１のグラフィック部分２１６ｂが供給されるようその中に配置したフレームバッファ（図示せず）を含む。周知のＬＣＤコントローラ動作に従い、ＬＣＤコントローラ２６６はそこで可視出力信号２６８をＬＣＤ２３６か又は当業者には認知される他の任意の適当な表示装置へ供給する。
【００２１】
図５は、本発明の一実施例になる携帯装置２００の別の概略ブロック線図を示す。装置２０２には、映像入力プロセッサ３００とバッファ３０２と実時間直接メモリアクセス装置（ＲＴＤＭＡ）３０４とメモリ３０６とＪＰＥＧ／ＭＰＥＧプロセッサ３０８とが含まれる。当業者には認知される如く、装置２０２内での処理をもたらす多くの要素をただ明瞭さに配慮して省略してある。
【００２２】
カメラ２３８は、符号化映像フレームを含む映像入力信号２１０を映像入力プロセッサ３００へ供給する。映像入力プロセッサ３００は映像部分３１０をバッファ３０２へ供給するが、そこでバッファ３０２はそのバッファ映像部分３１２をＲＴＤＭＡ３０４へ供給する。
【００２３】
ＲＴＤＭＡ３０４はバス３１８を介してプロセッサ３０８と共にデータ要求３１４と映像情報３１６に連動して動作し、プロセッサ３０８はバス３０２から供給されるグラフィック情報３１２を描画する。一実施例では、ＲＴＤＭＡ３０４は当業者には認知される如く任意種のメモリとし得るメモリ３０６を用いており、ここでメモリ３０６内では実時間でアクセスがなされ、アドレス３２０に応答してデータ３２２が検索される。
【００２４】
プロセッサ３０８を、図６に関してさらに以下に説明する。入来映像フレームデータの処理に応答し、プロセッサは符号化フレームデータの複数部分を復号化してＬＣＤコントローラ２６６へ供給する映像信号２１６ｂを生成する。一実施例では、一旦ＬＣＤコントローラ２６６がフレーム全体を取得すると、全フレーム２６８がＬＣＤ２３６へ供給される。別の実施例では、ＬＣＤ２３６が順次走査液晶ディスプレイである場合、フレーム部分は図示しないフレームバッファを充填するのではなく部分ごとに供給することができる。
【００２５】
図６は、図５に示した復号器３０８の実施例と同じ要素の機能的ブロック線図を表わす。この要素は、より具体的には符号化映像入力信号向けである。プロセッサ３０８は、フォーマット変換器３３０とスケーリングモジュール３３２と回転モジュール３３４とを含む。別のデータ処理分岐では、プロセッサ３０８は離散コサイン変換（ＤＣＴ）３４０と量子化モジュール３４２とランレングス符号化器３４４とを含む。プロセッサ３０８内の機能ブロック要素は、ハードウェアとソフトウェアとそれらの組み合わせとすることができる。一実施例では、ブロックはそれに関連する特定動作を行なう実行可能な命令を実行するプロセッサにより表わされる。
【００２６】
一実施例では、プロセッサ３０８内のブロックは分岐プロセスを表わし、ここでは選択された分岐処理に対し特定の処理が行なわれる。例えば、ブロック３４０，３４２，３４４は中央処理装置分岐処理内に置くことができ、ここでブロック３３０，３３２，３３４はグラフィック処理分岐内にある。さらに、スケーリング処理３３２はフォーマット仕様に基づくフォーマット変換器３３０を用いたフォーマット変換の有無に拘わらず実行することができる。
【００２７】
一実施例では、入力信号３５０はフォーマット変換信号３５２を生成するフォーマットコンバータ３３０へ供給される。フォーマット変換された信号３５２はスケーリングブロック３３２に供給され、これによりスケーリングされたデータ信号３５４が回転ブロック３３４へ供給される。回転値に基づき、信号３５４により表される画像方位はそこで回転させられて被回転出力信号３５６を生成する。
【００２８】
別の実施例では、入力信号３６０をＤＣＴ機能ブロック３４０へ供給し、これにより被変換信号３６２が量子化ブロック３４２に供給されるようにできる。一実施例では、図示はしていないが量子化テーブを用いることで、信号３６２を量子化調整し、被調整出力信号３６４を生成することができる。調整された出力信号３６４はランレングス符号化器３４４に供給され、信号３６４のランレングス終了コードを補い、そこで出力信号３６６を生成する。
【００２９】
特定分岐の選択に基づき、出力信号３５６や出力信号３６６は符号化映像データの復号化部分を含み、かくして部分ごとに映像データの全フレームを生成でき、ここで全フレームには被スケーリング及び／又は被回転画像データを含ませることができる。
【００３０】
一実施例では、量子化テーブルを用いてバッファサイズに相応した出力を生成することができ、ここではハードウェアは量子化テーブルを動的に調整する。
【００３１】
図８は、カメラ２３８からのストリーミング映像入力２１０を受信するグラフィックプロセッサ３０８のＭＰＥＧ処理部分を示しており、すなわちストリーミング映像入力２１０内にはフレームごとの入力が含まれる。第１のメモリ３７０内に受信するのは、フレーム１と指定される第１のフレーム３７１である。ＭＰＥＧ符号化技術に基づき、基準フレーム３７３をメモリ場所３７２から検索する。差分計算３７４に基づき、異なるフレーム３７６がＰ−フレームマクロブロックメモリ３７８に書き込まれる。
【００３２】
フレームデータ３７１はさらに、グラフィックプロセッサ３８０へ供給される。グラフィックプロセッサはまたＰ−フレームデータ３８２を受信してグラフィック出力を生成するが、一実施例ではＩ−フレームが一時バッファ３８４に書き込まれ、そこでＩ−フレームマクロブロックメモリ３８６に書き込まれる。さらにまた、Ｐ−フレームデータ３８２がＰ−フレームバッファ３８８に書き込まれ、そこでＰｎマクロブロック３９０に書き込まれる。
【００３３】
周知のＭＰＥＧ復号化技術を用いることで、グラフィックプロセッサ３８０は一実施例、すなわち図５に示したシステム内で出力表示を生成する関連フレームデータを生成する。さらに、当業者には認知される如く、ＭＰＥＧ以外の動き補償或いは動き予測を用いた他の任意の類似の符号化を用いることができる。
【００３４】
図８は、携帯装置内画像処理方法を示す。本方法はステップ５００に始まり、ステップ５０２にて符号化フレームデータの複数部分を含む映像入力フレームを受信する。次ステップは、符号化映像入力フレームの第１の部分を映像入力フレームに満たない記憶容量を有する第１のメモリ装置へ供給するステップ５０４である。前記した如く、一実施例では第１のメモリ２０４は符号化映像フレームデータの複数部分を受信し、映像入力フレームに満たない記憶容量を有する。
【００３５】
本方法内の次ステップは、第１のメモリ装置から入力映像フレームデータの第１の部分を読み取るステップ５０６を含む。次ステップであるステップ５０８は、符号化映像フレームデータの第１の部分をグラフィックプロセッサへ供給する。そこで、ステップ５１０にて符号化映像フレームの第１の部分をグラフィック処理し、第１のグラフィック部分を生成する。そこで、本方法は第１のグラフィック部分を第２のメモリ装置へ書き込むステップ５１２を含む。ここでもまた、図２に関し、プロセッサ２０６によりグラフィック処理した後、第１のグラフィック部分２１６ａが第２のメモリ２０８へ書き込まれる。そこで、本方法はステップ５１４にて完了する。
【００３６】
図９ａ〜図９ｅは、携帯装置の画像処理方法の複数の実施例を示す。これらの実施例は類似の初期ステップを提供するが、図９ａのステップについて図示した各種代替ステップが図９ｂ〜図９ｅに対しもたらされる。
【００３７】
図９ａに示す如く、本方法はステップ５２０にて始まり、カメラ内の映像入力フレームをステップ５２２にて受信するが、この映像フレームデータには複数の符号化映像フレームデーの複数部分が含まれる。一実施例では、カメラ２３８は、図３と図４に示した如く、ビデオ画像を必要とし、このビデオ画像を符号化映像フレームデータの複数部分を含む入力フレームへ変換する。次ステップ、すなわちステップ５２４では、符号化映像フレームデータの複数部分を映像入力フレームに満たない記憶容量を有する第１のメモリ装置へ部分ごとに書き込む。そこで、次ステップ５２６では第１のメモリ装置からの符号化映像フレームデータの複数部分を部分ごとに読み取る。
【００３８】
本方法はさらに、符号化映像フレームデータの複数部分を部分ごとにグラフィックプロセッサへ供給するステップ５２８を含む。図２を参照して前記した如く、グラフィックプロセッサ２０６は第１のメモリ２０４から符号化映像フレームデータ２１４の複数部分を受信することができる。次ステップ、すなわちステップ５３０では、符号化映像フレームデータの複数部分を処理し、部分ごとに複数のグラフィック部分を生成する。一実施例ではグラフィックプロセッサ２０６が、別の実施例ではプロセッサ３０８がこの動作を実行する。複数のグラフィック部分を部分ごとに第２のメモリ装置へ書き込むのは、次ステップ、すなわちステップ５３２である。そこで、本方法は外部メモリ装置へ複数のグラフィック部分を部分ごとに書き込むステップ５３４を含む。
【００３９】
そこで、参照指標を指標Ａへ移し、ステップ５３６にてステップ５２２〜５３４に対する代替実施例を実行することができる。代替する一実施例において、図９ｂは携帯装置上の液晶ディスプレイへの複数のグラフィック部分の供給ステップ、すなわちステップ５３８を示す。そこで、本実施例はステップ５４０の下で完了する。上記した例示液晶ディスプレイは、図３と図５に図示したディスプレイ装置２３６である。
【００４０】
標識Ａ５３６と対し続く代替実施例において、図９ｃはステップ５４２を含む方法を示すものであり、入力映像フレームが画像であるときに、グラフィックプロセッサはフォーマット変換やスケーリングや回転をステップ５４２にて実行することができる。上記の如く、本実施例はプロセッサ３０８内で実行することができる。そこで、本方法のこの実施例はステップ５４４にて完了する。
【００４１】
標識Ａ５５６に対し示す別の実施例では、図９ｄが次ステップを示しており、このステップ５４６には、入力映像フレームの受信時にこれが動画の単一フレームであるときにグラフィックプロセッサが離散コサイン変換や量子化やベクトル・ランレングス符号化を実行できることが含まれる。これらの処理は図６に説明される、機能ブロック３４０，３４２，３４４を用いて前記したものである。本方法にはさらに、第２のメモリ部分の記憶容量に対応する複数のグラフィック部分の調整に用いることのできる量子化テーブルが含まれる。そこで、本方法はステップ５５０にて完了する。
【００４２】
図９ｅに関して示した他の代替実施例は、標識Ａ５３６に関連する図９ａの方法ステップを含む。次ステップは、内蔵メモリ内に配置された第１のメモリ部分と第２のメモリ部分を含むステップ５５２である。そこで、リングバッファ手法ステップ５５４を用いた実時間直接メモリアクセス装置による書き込みの読み取りが実行される。
【００４３】
本発明の投入は、描画技術による部分ごとの映像データの有効活用ならびに処理を提供することで携帯装置内に改善されたグラフィック処理をもたらす。制限されたメモリ部分の使用と符号化映像フレームに基づく映像入力信号の処理とを通じ、メモリサイズ低減要件を活用し、そこで携帯処理装置内の有用な実装空間を節約することができる。
【００４４】
様々な態様での本発明の他の変形例や改変例の実装が当業者には明白であり、本発明が本願明細書に記載した具体的実施例に限定されないことは、理解されたい。例えば、画像処理は映像データ用に開示されたＭＰＥＧやＭＰＥＧ符号化技術を超えて先を行く任意の符号化技術を用いて実行することができる。それ故、底流にある基本原理の趣旨範囲内に包含されるあらゆる公知の改変例や変形例や等価物を本願明細書に開示し特許請求することは、本発明により熟考し網羅されるものである。
【図面の簡単な説明】
【００４５】
【図１】従来の携帯装置の概略ブロック図である。
【図２】本発明の一実施例による携帯装置の概略ブロック図である。
【図３】本発明の別実施例による携帯装置のグラフィック表現の説明図である。
【図４】本発明の一実施例による携帯装置の概略ブロック図である。
【図５】本発明の一実施例による携帯装置の別の概略ブロック図である。
【図６】本発明の一実施例によるグラフィック描画パイプラインの部分概略ブロック図である。
【図７】本発明の一実施例によるグラフィック描画パイプラインの部分概略ブロック図である。
【図８】携帯装置内画像処理方法のフローチャート図である。
【図９ａ−９ｅ】携帯装置内画像処理方法の代替実施例の説明図である。
【特許請求の範囲】
【請求項１】
携帯装置における画像処理装置であって、
第１のメモリ装置と、グラフィックプロセッサと、第２のメモリ装置と、から成り、
前記第１メモリ装置は、符号化映像フレームデータの複数部分からなる符号化映像フレームを含む映像入力信号を受信し、前記符号化映像フレームに関する符号化フレームデータの複数部分の全てには満たない記憶容量を有し、前記符号化フレームデータの第１の部分を受信し、
前記グラフィックプロセッサは、前記符号化映像フレームデータの前記第１の部分を受信して第１のグラフィック部分を生成するように前記第１のメモリ装置に結合され、
前記第２メモリ装置は、前記第１のグラフィック部分を受信する、ことを特徴とする装置。
【請求項２】
前記第１のグラフィック部分をその中に記憶できるよう前記第２のメモリ装置に結合した外部メモリ装置をさらに備える、請求項１記載の装置。
【請求項３】
前記第１のメモリ装置は前記符号化フレームデータの全部分を受信し、該符号化フレームデータの前記各部分を部分ごとに前記グラフィックプロセッサへ供給する、請求項２記載の装置。
【請求項４】
前記グラフィックプロセッサは複数のグラフィック部分を生成し、該複数のグラフィック部分を部分ごとに前記第２のメモリ装置へ供給する、請求項３記載の装置。
【請求項５】
前記第２のメモリ装置は前記複数のグラフィック部分を部分ごとに前記外部メモリへ供給する、請求項４記載の装置。
【請求項６】
前記外部メモリから出力表示が供給できるよう前記外部メモリに作動的に結合した少なくとも一つのディスプレイをさらに備え、前記出力表示が複数の前記グラフィック部分を含む、請求項５記載の装置。
【請求項７】
前記グラフィックプロセッサは被調整データ集合を有するグラフィック部分を生成する量子化テーブルをさらに含み、前記出力表示は前記複数のグラフィック部分のサムネイルとした、請求項６記載の装置。
【請求項８】
前記第１のメモリ装置と前記第２のメモリ装置と前記グラフィックプロセッサとに結合され、前記第１のメモリ装置と前記第２のメモリ装置へ直接アクセスをもたらす実時間直接メモリアクセス装置をさらに備える、請求項１記載の装置。
【請求項９】
前記第１のメモリ装置は内蔵メモリ装置の第１の部分であり、前記第２のメモリ装置は前記内蔵メモリ装置の第２の部分である、請求項８記載の装置。
【請求項１０】
携帯装置内画像処理方法であって、
符号化映像フレームデータの複数部分を含む映像入力フレームを受信するステップと、
符号化映像フレームデータの第１の部分を該映像入力フレームに満たない記憶容量を有する第１のメモリ装置に書き込むステップと、
前記第１のメモリ装置から前記符号化映像フレームデータの前記第１の部分を読み取るステップと、
前記符号化映像フレームの前記第１の部分をグラフィックプロセッサに供給するステップと、
前記符号化映像フレームの前記第１の部分をグラフィック処理して第１のグラフィック部分を生成するステップと、
前記第１のグラフィック部分を第２のメモリ装置に書き込むステップとを含む、ことを特徴とする方法。
【請求項１１】
前記符号化映像フレームデータの複数部分を部分ごとに前記第１のメモリ装置に書き込むステップと、
前記符号化映像フレームデータの前記複数部分を部分ごとに前記第１のメモリ装置から読み取るステップと、
前記符号化映像フレームデータの前記複数部分を部分ごとに前記グラフィックプロセッサに供給するステップと、
前記符号化映像フレームデータの前記複数部分を部分ごとに処理して複数のグラフィック部分を生成するステップと、
前記複数部分を部分ごとに前記第２のメモリ装置へ書き込むステップとをさらに含む、請求項１０記載の方法。
【請求項１２】
前記第１のグラフィック部分と前記複数のグラフィック部分を外部メモリ装置へ書き込むステップをさらに含む、請求項１１記載の方法。
【請求項１３】
前記第１のグラフィック部分と前記複数のグラフィック部分を前記携帯装置上の液晶ディスプレイへ供給するステップをさらに含む、請求項１２記載の方法。
【請求項１４】
前記符号化映像フレームデータの前記複数部分のグラフィック処理ステップは、量子化テーブルとフォーマットとランレングス符号化を用いた前記符号化フレームデータの前記複数部分を調整するフォーマット変換とスケーリングと離散コサイン変換のうちの少なくとも一つを含む、請求項１１記載の方法。
【請求項１５】
前記第１のメモリ部分と前記第２のメモリ部分は前記符号化映像フレームデータの前記複数部分のうち二つを記憶するおおよその記憶容量を有するデュアルバッファである、請求項１０記載の方法。
【請求項１６】
前記第１のメモリ部分と前記第２のメモリ部分は内蔵メモリ内に配置した、請求項１０記載の方法。
【請求項１７】
前記携帯装置内に配置したカメラから前記映像入力フレームを受信するステップをさらに含む、請求項１０記載の方法。
【請求項１８】
前記読み取りステップと書き込みステップはリングバッファ手法を用いた実時間直接メモリアクセス装置により実行する、請求項１０記載の方法。
【請求項１９】
携帯装置であって、
符号化映像フレームデータの複数部分からなる映像フレームを取得し、該符号化映像フレームデータの前記複数部分を含む映像入力信号を生成することのできるカメラと、
前記符号化映像フレームに関する前記符号化映像フレームデータの前記複数部分の全てには満たない記憶容量を有する第１のメモリ装置で、前記符号化映像フレームデータの第１の部分を受信する前記第１のメモリ装置と、
前記第１のメモリ装置に結合され、前記符号化映像フレームデータの前記第１の部分を前記第１のメモリ装置へ書き込む実時間直接メモリアクセス装置と、
前記第１のメモリ装置に作動的に結合され、前記実時間直接メモリアクセス装置を介して前記符号化映像フレームデータの前記第１の部分を受信し、第１のグラフィック部分を生成するグラフィックプロセッサと、
前記実時間直接メモリアクセス装置に結合した第２のメモリ装置で、前記実時間直接メモリアクセス装置を介して前記第１のグラフィックプロセッサから前記第１のグラフィック部分を受信する前記第２のメモリ装置とを備える、ことを特徴とする携帯装置。
【請求項２０】
前記グラフィックプロセッサは前記第２のメモリ装置の記憶容量に関連させて前記第１のグラフィック部分を生成することのできる量子化テーブルを含む、請求項１９記載の携帯装置。
【請求項２１】
前記第１のメモリ装置は前記符号化フレームデータの全部分を受信し、該符号化フレームデータの前記各部分を部分ごとに前記グラフィックプロセッサに供給し、前記グラフィックプロセッサは複数のグラフィック部分を生成し、該複数のグラフィック部分を部分ごとに前記第２のメモリ装置へ供給し、該第２のメモリ装置は前記複数のグラフィック部分を部分ごとに外部メモリ装置へ供給する、請求項１９記載の携帯装置。
【請求項２２】
前記外部メモリから出力表示が供給できるよう前記外部メモリに作動的に結合した少なくとも一つのディスプレイで、前記出力表示が前記複数のグラフィック部分をさらに備える、請求項２１記載の携帯装置。
【請求項２３】
前記グラフィックプロセッサはさらに画像復号器と動画復号器とを含む、請求項２１記載の携帯装置。
【請求項２４】
前記カメラが画像を捕捉すると、前記画像復号器はフォーマット変換とスケーリングと回転のうちの少なくとも一つを実行することができる、請求項２１記載の携帯装置。
【請求項２５】
前記画像はＪＰＥＧ符号化画像である、請求項２４記載の携帯装置。
【請求項２６】
スケーリング処理に際し、前記複数のグラフィック部は部分的映像フレームを表わす、請求項２４記載の携帯装置。
【請求項２７】
前記カメラが動画を捕捉すると、動画復号器は離散コサイン変換と量子化とベクトル・ランレングス符号化のうちの少なくとも一つを実行することができる、請求項２１記載の携帯装置。
【請求項２８】
前記動画復号器は前記符号化映像表示の前記部分を基準バッファ内に記憶させた基準フレームの一部と比較して差分フレームを生成する、請求項２７記載の携帯装置。
【請求項２９】
前記動き復号器はＭＰＥＧ復号器である、請求項２７記載の携帯装置。
【請求項３０】
前記実時間直接メモリアクセス装置はリングバッファ手法を用いる、請求項１９記載の携帯装置。
【請求項３１】
携帯装置内画像処理方法であって、
カメラから映像入力フレームを受信するステップで、該映像入力フレームが符号化映像フレームデータの複数部分を含む前記ステップと、
符号化映像フレームデータの前記複数部分を前記映像入力フレームに満たない記憶容量を有する第１のメモリ装置に部分ごとに書き込むステップと、
前記第１のメモリ装置から前記符号化フレームデータの前記複数部分を部分ごとに読み取るステップと、
前記符号化け映像フレームデータの前記複数部分を部分ごとにグラフィックプロセッサへ供給するステップと、
前記符号化映像フレームデータの前記複数部分を部分ごとにグラフィック処理して複数のグラフィック部分を生成するステップと、
前記複数のグラフィック部分を部分ごとに第２のメモリ装置へ書き込むステップとを含む、ことを特徴とする方法。
【請求項３２】
前記複数のグラフィック部分を部分ごとに外部メモリ装置に書き込むステップをさらに含む、請求項３１記載の方法。
【請求項３３】
前記複数のグラフィック部分を前記携帯装置上の液晶ディスプレイに供給するステップをさらに含む、請求項３２記載の方法。
【請求項３４】
前記入力映像フレームが画像であるときに、前記グラフィックプロセッサにフォーマット変換とスケーリングと回転のうちの少なくとも一つを実行可能とするステップをさらに含む、請求項３２記載の方法。
【請求項３５】
受信する前記入力映像フレームが単一フレームの動画であるときに、前記グラフィックプロセッサに離散コサイン変換と量子化とベクトル・ランレングス符号化のうちの少なくとも一つを実行可能とするステップをさらに含む、請求項３２記載の方法。
【請求項３６】
量子化テーブルを用いて複数のグラフィック部分を調整して前記第２のメモリ部の記憶容量に対応させる、請求項３５記載の方法。
【請求項３７】
前記第１のメモリ部分と前記第２のメモリ部分は内蔵メモリ内に配置した、請求項３２記載の方法。
【請求項３８】
前記書き込みステップと前記読み取りステップはリングバッファ手法を用いる実時間直接メモリアクセス装置により実行する、請求項３７記載の方法。
【請求項１】
携帯装置における画像処理装置であって、
第１のメモリ装置と、グラフィックプロセッサと、第２のメモリ装置と、から成り、
前記第１メモリ装置は、符号化映像フレームデータの複数部分からなる符号化映像フレームを含む映像入力信号を受信し、前記符号化映像フレームに関する符号化フレームデータの複数部分の全てには満たない記憶容量を有し、前記符号化フレームデータの第１の部分を受信し、
前記グラフィックプロセッサは、前記符号化映像フレームデータの前記第１の部分を受信して第１のグラフィック部分を生成するように前記第１のメモリ装置に結合され、
前記第２メモリ装置は、前記第１のグラフィック部分を受信する、ことを特徴とする装置。
【請求項２】
前記第１のグラフィック部分をその中に記憶できるよう前記第２のメモリ装置に結合した外部メモリ装置をさらに備える、請求項１記載の装置。
【請求項３】
前記第１のメモリ装置は前記符号化フレームデータの全部分を受信し、該符号化フレームデータの前記各部分を部分ごとに前記グラフィックプロセッサへ供給する、請求項２記載の装置。
【請求項４】
前記グラフィックプロセッサは複数のグラフィック部分を生成し、該複数のグラフィック部分を部分ごとに前記第２のメモリ装置へ供給する、請求項３記載の装置。
【請求項５】
前記第２のメモリ装置は前記複数のグラフィック部分を部分ごとに前記外部メモリへ供給する、請求項４記載の装置。
【請求項６】
前記外部メモリから出力表示が供給できるよう前記外部メモリに作動的に結合した少なくとも一つのディスプレイをさらに備え、前記出力表示が複数の前記グラフィック部分を含む、請求項５記載の装置。
【請求項７】
前記グラフィックプロセッサは被調整データ集合を有するグラフィック部分を生成する量子化テーブルをさらに含み、前記出力表示は前記複数のグラフィック部分のサムネイルとした、請求項６記載の装置。
【請求項８】
前記第１のメモリ装置と前記第２のメモリ装置と前記グラフィックプロセッサとに結合され、前記第１のメモリ装置と前記第２のメモリ装置へ直接アクセスをもたらす実時間直接メモリアクセス装置をさらに備える、請求項１記載の装置。
【請求項９】
前記第１のメモリ装置は内蔵メモリ装置の第１の部分であり、前記第２のメモリ装置は前記内蔵メモリ装置の第２の部分である、請求項８記載の装置。
【請求項１０】
携帯装置内画像処理方法であって、
符号化映像フレームデータの複数部分を含む映像入力フレームを受信するステップと、
符号化映像フレームデータの第１の部分を該映像入力フレームに満たない記憶容量を有する第１のメモリ装置に書き込むステップと、
前記第１のメモリ装置から前記符号化映像フレームデータの前記第１の部分を読み取るステップと、
前記符号化映像フレームの前記第１の部分をグラフィックプロセッサに供給するステップと、
前記符号化映像フレームの前記第１の部分をグラフィック処理して第１のグラフィック部分を生成するステップと、
前記第１のグラフィック部分を第２のメモリ装置に書き込むステップとを含む、ことを特徴とする方法。
【請求項１１】
前記符号化映像フレームデータの複数部分を部分ごとに前記第１のメモリ装置に書き込むステップと、
前記符号化映像フレームデータの前記複数部分を部分ごとに前記第１のメモリ装置から読み取るステップと、
前記符号化映像フレームデータの前記複数部分を部分ごとに前記グラフィックプロセッサに供給するステップと、
前記符号化映像フレームデータの前記複数部分を部分ごとに処理して複数のグラフィック部分を生成するステップと、
前記複数部分を部分ごとに前記第２のメモリ装置へ書き込むステップとをさらに含む、請求項１０記載の方法。
【請求項１２】
前記第１のグラフィック部分と前記複数のグラフィック部分を外部メモリ装置へ書き込むステップをさらに含む、請求項１１記載の方法。
【請求項１３】
前記第１のグラフィック部分と前記複数のグラフィック部分を前記携帯装置上の液晶ディスプレイへ供給するステップをさらに含む、請求項１２記載の方法。
【請求項１４】
前記符号化映像フレームデータの前記複数部分のグラフィック処理ステップは、量子化テーブルとフォーマットとランレングス符号化を用いた前記符号化フレームデータの前記複数部分を調整するフォーマット変換とスケーリングと離散コサイン変換のうちの少なくとも一つを含む、請求項１１記載の方法。
【請求項１５】
前記第１のメモリ部分と前記第２のメモリ部分は前記符号化映像フレームデータの前記複数部分のうち二つを記憶するおおよその記憶容量を有するデュアルバッファである、請求項１０記載の方法。
【請求項１６】
前記第１のメモリ部分と前記第２のメモリ部分は内蔵メモリ内に配置した、請求項１０記載の方法。
【請求項１７】
前記携帯装置内に配置したカメラから前記映像入力フレームを受信するステップをさらに含む、請求項１０記載の方法。
【請求項１８】
前記読み取りステップと書き込みステップはリングバッファ手法を用いた実時間直接メモリアクセス装置により実行する、請求項１０記載の方法。
【請求項１９】
携帯装置であって、
符号化映像フレームデータの複数部分からなる映像フレームを取得し、該符号化映像フレームデータの前記複数部分を含む映像入力信号を生成することのできるカメラと、
前記符号化映像フレームに関する前記符号化映像フレームデータの前記複数部分の全てには満たない記憶容量を有する第１のメモリ装置で、前記符号化映像フレームデータの第１の部分を受信する前記第１のメモリ装置と、
前記第１のメモリ装置に結合され、前記符号化映像フレームデータの前記第１の部分を前記第１のメモリ装置へ書き込む実時間直接メモリアクセス装置と、
前記第１のメモリ装置に作動的に結合され、前記実時間直接メモリアクセス装置を介して前記符号化映像フレームデータの前記第１の部分を受信し、第１のグラフィック部分を生成するグラフィックプロセッサと、
前記実時間直接メモリアクセス装置に結合した第２のメモリ装置で、前記実時間直接メモリアクセス装置を介して前記第１のグラフィックプロセッサから前記第１のグラフィック部分を受信する前記第２のメモリ装置とを備える、ことを特徴とする携帯装置。
【請求項２０】
前記グラフィックプロセッサは前記第２のメモリ装置の記憶容量に関連させて前記第１のグラフィック部分を生成することのできる量子化テーブルを含む、請求項１９記載の携帯装置。
【請求項２１】
前記第１のメモリ装置は前記符号化フレームデータの全部分を受信し、該符号化フレームデータの前記各部分を部分ごとに前記グラフィックプロセッサに供給し、前記グラフィックプロセッサは複数のグラフィック部分を生成し、該複数のグラフィック部分を部分ごとに前記第２のメモリ装置へ供給し、該第２のメモリ装置は前記複数のグラフィック部分を部分ごとに外部メモリ装置へ供給する、請求項１９記載の携帯装置。
【請求項２２】
前記外部メモリから出力表示が供給できるよう前記外部メモリに作動的に結合した少なくとも一つのディスプレイで、前記出力表示が前記複数のグラフィック部分をさらに備える、請求項２１記載の携帯装置。
【請求項２３】
前記グラフィックプロセッサはさらに画像復号器と動画復号器とを含む、請求項２１記載の携帯装置。
【請求項２４】
前記カメラが画像を捕捉すると、前記画像復号器はフォーマット変換とスケーリングと回転のうちの少なくとも一つを実行することができる、請求項２１記載の携帯装置。
【請求項２５】
前記画像はＪＰＥＧ符号化画像である、請求項２４記載の携帯装置。
【請求項２６】
スケーリング処理に際し、前記複数のグラフィック部は部分的映像フレームを表わす、請求項２４記載の携帯装置。
【請求項２７】
前記カメラが動画を捕捉すると、動画復号器は離散コサイン変換と量子化とベクトル・ランレングス符号化のうちの少なくとも一つを実行することができる、請求項２１記載の携帯装置。
【請求項２８】
前記動画復号器は前記符号化映像表示の前記部分を基準バッファ内に記憶させた基準フレームの一部と比較して差分フレームを生成する、請求項２７記載の携帯装置。
【請求項２９】
前記動き復号器はＭＰＥＧ復号器である、請求項２７記載の携帯装置。
【請求項３０】
前記実時間直接メモリアクセス装置はリングバッファ手法を用いる、請求項１９記載の携帯装置。
【請求項３１】
携帯装置内画像処理方法であって、
カメラから映像入力フレームを受信するステップで、該映像入力フレームが符号化映像フレームデータの複数部分を含む前記ステップと、
符号化映像フレームデータの前記複数部分を前記映像入力フレームに満たない記憶容量を有する第１のメモリ装置に部分ごとに書き込むステップと、
前記第１のメモリ装置から前記符号化フレームデータの前記複数部分を部分ごとに読み取るステップと、
前記符号化け映像フレームデータの前記複数部分を部分ごとにグラフィックプロセッサへ供給するステップと、
前記符号化映像フレームデータの前記複数部分を部分ごとにグラフィック処理して複数のグラフィック部分を生成するステップと、
前記複数のグラフィック部分を部分ごとに第２のメモリ装置へ書き込むステップとを含む、ことを特徴とする方法。
【請求項３２】
前記複数のグラフィック部分を部分ごとに外部メモリ装置に書き込むステップをさらに含む、請求項３１記載の方法。
【請求項３３】
前記複数のグラフィック部分を前記携帯装置上の液晶ディスプレイに供給するステップをさらに含む、請求項３２記載の方法。
【請求項３４】
前記入力映像フレームが画像であるときに、前記グラフィックプロセッサにフォーマット変換とスケーリングと回転のうちの少なくとも一つを実行可能とするステップをさらに含む、請求項３２記載の方法。
【請求項３５】
受信する前記入力映像フレームが単一フレームの動画であるときに、前記グラフィックプロセッサに離散コサイン変換と量子化とベクトル・ランレングス符号化のうちの少なくとも一つを実行可能とするステップをさらに含む、請求項３２記載の方法。
【請求項３６】
量子化テーブルを用いて複数のグラフィック部分を調整して前記第２のメモリ部の記憶容量に対応させる、請求項３５記載の方法。
【請求項３７】
前記第１のメモリ部分と前記第２のメモリ部分は内蔵メモリ内に配置した、請求項３２記載の方法。
【請求項３８】
前記書き込みステップと前記読み取りステップはリングバッファ手法を用いる実時間直接メモリアクセス装置により実行する、請求項３７記載の方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９ａ】
【図９ｂ】
【図９ｃ】
【図９ｄ】
【図９ｅ】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９ａ】
【図９ｂ】
【図９ｃ】
【図９ｄ】
【図９ｅ】
【公表番号】特表２００７−５０６３２７（Ｐ２００７−５０６３２７Ａ）
【公表日】平成１９年３月１５日（２００７．３．１５）
【国際特許分類】
【出願番号】特願２００６−５２６７３３（Ｐ２００６−５２６７３３）
【出願日】平成１６年９月２０日（２００４．９．２０）
【国際出願番号】ＰＣＴ／ＩＢ２００４／００３０６４
【国際公開番号】ＷＯ２００５／０２９４０７
【国際公開日】平成１７年３月３１日（２００５．３．３１）
【出願人】（５０６０９０５８７）エーティーアイ・テクノロジーズ・インコーポレーテッド (3)
【氏名又は名称原語表記】ＡＴＩ ＴＥＣＨＮＯＬＯＧＩＥＳ，ＩＮＣ．
【住所又は居所原語表記】１ Ｃｏｍｍｅｒｃｅ Ｖａｌｌｅｙ Ｄｒｉｖｅ Ｅａｓｔ，Ｍａｒｋｈａｍ，Ｏｎｔａｒｉｏ Ｌ３Ｔ ７Ｘ６ （ＣＡ）
【出願人】（５０１２９８６１６）エーティーアイ インターナショナル エスアールエル (2)
【氏名又は名称原語表記】ＡＴＩ ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＳＲＬ
【住所又は居所原語表記】Ｂｅａｕｍｏｎｔ Ｈｏｕｓｅ，Ｈａｓｔｉｎｇｓ，Ｃｈｒｉｓｔ Ｃｈｕｒｃｈ，Ｂａｒｂａｄｏｓ
【Ｆターム（参考）】
【公表日】平成１９年３月１５日（２００７．３．１５）
【国際特許分類】
【出願日】平成１６年９月２０日（２００４．９．２０）
【国際出願番号】ＰＣＴ／ＩＢ２００４／００３０６４
【国際公開番号】ＷＯ２００５／０２９４０７
【国際公開日】平成１７年３月３１日（２００５．３．３１）
【出願人】（５０６０９０５８７）エーティーアイ・テクノロジーズ・インコーポレーテッド (3)
【氏名又は名称原語表記】ＡＴＩ ＴＥＣＨＮＯＬＯＧＩＥＳ，ＩＮＣ．
【住所又は居所原語表記】１ Ｃｏｍｍｅｒｃｅ Ｖａｌｌｅｙ Ｄｒｉｖｅ Ｅａｓｔ，Ｍａｒｋｈａｍ，Ｏｎｔａｒｉｏ Ｌ３Ｔ ７Ｘ６ （ＣＡ）
【出願人】（５０１２９８６１６）エーティーアイ インターナショナル エスアールエル (2)
【氏名又は名称原語表記】ＡＴＩ ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＳＲＬ
【住所又は居所原語表記】Ｂｅａｕｍｏｎｔ Ｈｏｕｓｅ，Ｈａｓｔｉｎｇｓ，Ｃｈｒｉｓｔ Ｃｈｕｒｃｈ，Ｂａｒｂａｄｏｓ
【Ｆターム（参考）】
[ Back to top ]