イメージを見てエンハンスする方法及びシステム
本発明は、ディスプレイ(14)と、メモリと、ビットイメージのための処理手段と、ビットイメージを受け取る入力装置とを備えた移動装置(12)のディスプレイ(14)においてイメージを見てエンハンスする方法及びシステムに係る。ビットイメージを受け取り、予め選択されたスケーリングアルゴリズムを使用して２つの段階(31,20)でより小さなスケールへと処理し、第１のスケーリングは、中間サイズのビットイメージ(33)を発生し、第２のスケーリングは、表示されるべきサイズの第２ビットイメージ(21)を発生する。この表示されるべきビットイメージ(21)をエンハンスする。少なくとも２つのエンハンシングアルゴリズムを含むエンハンシングチェーン(29)を使用して第２ビットイメージ(21)をエンハンスする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディスプレイと、メモリと、ビットイメージのための処理手段と、ビットイメージを受け取る入力装置とを備えた移動装置のディスプレイでイメージを見てエンハンスする方法及びシステムであって、ビットイメージを受け取り、予め選択されたスケーリングアルゴリズムを使用してより小さなスケールへと処理し、更に、エンハンシングアルゴリズムを使用してエンハンスさせ、そして処理のためにオープンし、このエンハンシングが、１つ又は多数の次の手順、即ちカラー及びコントラストエンハンスメント、シャープ化、カラーマネージメント、及びディザ処理を含むような方法及びシステムに係る。
【背景技術】
【０００２】
イメージ機能をもつ移動装置は、種々のサイズのイメージを捕獲し、受信することができる。これらのイメージを装置のディスプレイで見られることが要求される。通常、ディスプレイは、物理的にも、ピクセル数でも、比較的小型である。それ故、ディスプレイのサイズは、イメージのサイズに比して相対的に小さいことがしばしばある。イメージがディスプレイに適合するようにイメージのサイズを減少しなければならない。これは、ダウンスケーリング又はデシメーションアルゴリズムを必要とする。時々、イメージの一部分しか、関心のある情報を含んでいない。関心のあるエリアを詳細に示すために、パンサポートを伴う可変レベルのズーミングが要求される。ズーミングは、アップスケーリング又は補間アルゴリズムを使用して実施することができる。ダウンスケーリング及びアップスケーリングアルゴリズムは、充分なクオリティでなければならない。さもなければ、エイリアシング作用、ギザギザの縁、過剰な平滑化又はピクセル化のような人為的欠陥がイメージに導入されてしまう。
【０００３】
移動プラットホームは、イメージ処理及びエンハンスメントアルゴリズムに使用できるメモリの量及び処理能力に厳密な制限を設定する。大きなイメージは、大量のメモリ及び処理能力を消費する。この量は、イメージのピクセル数に正比例するか又は指数関数的に比例する。それ故、大きなイメージを移動装置で見ることは不可能である。
【０００４】
現在世代の移動ディスプレイに伴う別の問題は、イメージの質が不充分なことである。特に、イメージが、良質なイメージを発生する特性に欠けるときには、ディスプレイモジュールも同じ特性に欠けると、最適と認知し得ないイメージの質が生じることになる。通常、これらの特性は、イメージのシャープネス、コントラスト、カラーコントラスト、及び飽和である。ディスプレイのビット深さが不充分であることから、量子化欠陥が見えることもある。これらの特徴は、イメージ処理手段でエンハンスできるが、得られる処理能力及びメモリの量は、これら方法の利用を制限し又は妨げることがある。
【０００５】
低メモリ問題に対するありふれた解決策は、装置で見ることのできるイメージサイズを制限することである。この場合、利用できるメモリが不充分であれば、あるイメージは見えない。この解決策は、多数の現在の製品に利用されている。この解決策は、非常に簡単であるが、明らかに非常に制約がある。
【０００６】
イメージは、オープニング中にダウンスケールすることができる。イメージのリサイジング及びスケーリングに関する多くの出版物を記事や特許データベースで見ることができる。デコード中及びオープニング中にイメージのサイズを減少することで、より大きなイメージをオープンすることが許される。このような解決策は、例えば、現在のＮｏｋｉａ（登録商標）シリーズ６０イメージビューアに使用されている。イメージは、表示されるイメージサイズにできるだけ厳密に一致するように、デコード中にダウンスケールされる。エンコードされるイメージフォーマットに基づき、スケーリングは、時々、非常に有効に行うことができる［ＵＳ６０６７３８４］。しかしながら、この種の解決策は、使用可能なリサイジングファクタを若干の所定の値に制限する。あるフォーマットは、標準的なリサイジング手順を必要とし、これら手順は、処理の複雑さを低減するためのエンコード特性を利用できないが、イメージソースからイメージピクセルが読み取られるのと同時に適用することができる。この同じ解決策を、ストリーミング形式の入力にも適するように変更することができる。この解決策の欠点は、種々のレベルのリサイジング、即ちダウンスケーリング、ズーミング、及びパンをサポートする融通性がないことである。例えば、初期のオープニングズーム比より大きなズーム比が望まれるときには、イメージを再オープンしなければならない。これは、一連の再オープンであるために時間を要し、ある時点で、システムがメモリを使い果たすことがある。
【０００７】
イメージが不充分であるか又は見難いことは、イメージを手動で調整することによりエンハンスすることができる。例えば、ユーザは、イメージのコントラスト及び飽和を変更することができる。しかしながら、これは、極めて不便である。というのは、各イメージに対して個々に調整を行わねばならないからである。更に、ユーザは、イメージ処理についてある程度の経験をもつことが要求される。イメージの見掛けをエンハンスするための更に進歩した解決策は、自動的なイメージ適応及び表示特有のエンハンスメントを使用することである［ＷＯ０３０８３７７５］。例えば、ヒストグラム分析をベースとするコントラスト及びカラーコントラストアルゴリズムを適用することができる［ＵＳ６１４８１０３］。適切なシャープ化アルゴリズム［ＷＯ２００４／０３６４４９Ａ１］も、イメージの質についてより満足な印象を生じさせることができる。最終的に、特定のディスプレイにおけるイメージの見掛けは、カラーマネージメント及びディザ処理のようなディスプレイ特有の補償及び処理により最適化することができる［ＵＳ２００３１７９３９３］。又、エンハンスメントチェーンにおけるアルゴリズムを、有効に且つ健全に協働するように変更又は結合することもでき、例えば、シャープ化とコントラストエンハンスメントとを結合することができる［ＥＰ１２４２９７５］。個々のエンハンスメントアルゴリズムに関係した多数の参照文献を出版物及び特許データベースにおいてみることができる。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
従来の解決策に関係した主たる問題は、次の通りである。
− メモリ不足：見るべきイメージが、使用可能なメモリに適合させるのに大き過ぎる。デコード中にダウンスケーリングを使用しない場合には、システムがオープン中に直ちにメモリを使い切ってしまう。たとえダウンスケーリングがデコード中に含まれても、メモリの量は、ズーミング中に再オープンするのに不充分なことがある。
【０００９】
− 不完全なダウンスケールアルゴリズムによる欠陥：スケーリングアルゴリズムは、アルゴリズムに対する入力イメージが考えられる最良のものであることを要求する。互換性のないプロセスを使用して既にスケーリングされているイメージは、スケーリングアルゴリズムにとって最適な入力とはならない。又、適切なダウンスケーリングは、ある空間的フィルタリングをスケーリングプロセスに含ませることを要求する。「最も近い隣人(nearest neighbor)」と称される最低レベルの方法は、フィルタリングを含まない。これは、処理能力を非常に有効に感じさせるが、フィルタリングの欠如は、イメージの高周波数内容に関係した煩いエイリアシング欠陥を生じさせる。デコード中にフィルタリングダウンスケーリングアルゴリズムを使用するにも関わらず、スケーリングアルゴリズムがディスプレイサイズに対して正確なスケーリング比をサポートしない場合には、欠陥が生じ得る。又、ズーミング及び再オープン後のディスプレイサイズへのダウンスケーリングも、ダウンスケーリングを伴う別の再オープンを行わない場合には、エイリアシング欠陥を招くことがある。スケーリングに関係した別の欠陥は、著しくパワフルなフィルタリングが使用される場合に生じるぼけである。シャープ化アルゴリズムでイメージをエンハンスしようとする場合には、エイリアシング及びぼけの両方が特に有害となる。これらの欠陥は、シャープ化の質を下げるか、又はその使用を完全に妨げることがある。
【００１０】
− 不完全なズーミングアルゴリズムによる欠陥：最も簡単で頻繁に使用されるズーミングアルゴリズムは、ピクセルコピーと称される。このアルゴリズムでは、入力ピクセルを繰り返して、より大きなイメージを形成する。得られるイメージのピクセルは、個々のピクセルとしてではなく、大きな方形として見える。又、最初滑らかな縁がギザギザになる。それ故、ある空間的フィルタリング方法を伴う良好なアルゴリズムが必要とされる。
【００１１】
− 応答時間の変化：オープン中のイメージダウンスケーリングは、ダウンスケーリング又はズーミング比が変化される場合に一連の再オープンを生じさせる。イメージオープン、ファイルシステムからのイメージの読み取り、及びイメージのデコーディングは、非常に時間のかかるプロセスであるから、再オープンが行われるときにはシステムの応答時間が急激に増加する。
【００１２】
− エンハンスメントの欠如又は不充分なエンハンスメントの質：完全な処理チェーンの非最適構造は、低質のエンハンスメントを生じさせたり、エンハンスメントの使用を妨げたりすることがある。例えば、適切なスケーリングアルゴリズムを使用しない場合には、イメージスケーリング欠陥でシャープ化動作が駄目にあることがある。加えて、処理能力リソースが、複雑なエンハンスメントアルゴリズムの使用を妨げることもある。
【００１３】
− 低速なエンハンスメント動作：エンハンスメントが最適に実施されない場合には、処理能力が、受け容れられる処理時間に対して不充分になることがある。
【００１４】
− 全処理チェーンの低速動作又は不充分な質：イメージ処理チェーン全体が移動用途及び移動環境に対して非最適に構築されることがある。これらの問題は、本発明の方法で解決することができる。
【課題を解決するための手段】
【００１５】
本発明は、従来技術のレベルに対する改良を達成すると共に、既知の方法の欠点を回避することが意図される。本発明による方法の特徴が請求項１に述べられており、それに対応するシステムの特徴が請求項１０に述べられており、そしてそれに対応するソフトウェア手段の特徴が請求項１５に述べられている。
【００１６】
本発明を利用すると、次の効果が達成される。
− メモリの消費：本発明のシステムでは、イメージが、オリジナルソースのイメージサイズか、又は使用可能なメモリの量で許されるがそれを越えない最大に可能なサイズで、常に、オープンされる。このために、メモリ不足が起こらない。最大に可能なサイズへの制限が、オープン中にダウンスケーリングを使用して行われる。ディスプレイサイズへのダウンスケーリングは、充分な質のダウンスケーリングアルゴリズムを使用して別々に行われる。より大きなズーミング比が要求されるときには、再オープンが行われず、充分な質のズーミングアルゴリズムでイメージがリサイズされる。従って、メモリを使い切ることなく大きなズーミング比を得ることができる。別の構成では、イメージを、最初に、最大に可能なサイズではなく、あるサイズにオープンすることもできる。しかしながら、第２のダウンスケーリングアルゴリズムを使用するために、オープニングサイズは、ダウンスケーリング又はズーミング比によって決定されない。それ故、再オープンの回数及びそれらの発生を制御することができる。
【００１７】
− リサイズの質：考えられる最良のダウンスケーリング及びズーミングアルゴリズムを使用することができる。というのは、オープンされるイメージのサイズがダウンスケーリング又はズーミングファクタにより決定されないからである。オープンされるイメージは、使用可能なメモリリソースの範囲内で考えられる最良のものとなる。最適にオープンされるイメージは、表示サイズでイメージを見るために高質の第２のスケーリングアルゴリズムの使用を許す。オープンされるイメージのサイズが使用可能なメモリの量により制限される場合には、より良質のイメージがイメージソースにおいて得られるにも関わらず、イメージの質はリサイジングアルゴリズムにより制限される。しかしながら、制限なしには、イメージを全く示すことができない。
【００１８】
− 処理速度：リサイジングアルゴリズムの複雑さは、動的に変化し得る。例えば、ズーム及びパン操作を行うときには、正しいズーム比及びパン位置がユーザに分かるまで、低質で高速なアルゴリズムが使用される。その後、より良質のアルゴリズムを使用してリサイジングが実行されるが、これは、若干長時間を要する。イメージのオープニング中に同じ解決策を適用して、イメージの高速ブラウジングを許すことができる。オープニングの直後に、イメージが低質形態で示される。ユーザが正しいイメージを見つけてブラウジングを停止する場合には、質が改善される。
【００１９】
− 処理速度：イメージが最大サイズでオープンされるので、ズーム及びパン操作は、再オープンを必要としない。このために、処理時間の急激な変化に気付かない。しかしながら、それとは別に、例えば、高速の初期オープニングが要求される場合には、再オープニングサイズを依然としてシステムにおいて定義することができる。
【００２０】
− イメージの質：適当なスケーリングアルゴリズムの助けにより、１組のエンハンスメントを使用して、表示イメージの質をエンハンスすることができる。これは、見られるイメージの質に基づいて、不充分なディスプレイ特性を補償することを許す。
【００２１】
− 処理速度：ディスプレイサイズのイメージにおいてエンハンスメントを行うことができる。この場合に、処理の複雑さ、即ち処理されるピクセルの数を、低く保つことができる。又、エンハンスメントのための分析段階を小サイズのイメージから行うこともでき、例えば、ズーム及びパン操作中に不必要な再分析を回避することができる。
【００２２】
本発明は、イメージのオープニング又はデコード中のイメージダウンスケーリング及び第２のリサイジングのための構成体であって、これらを、ディスプレイ特有のエンハンスメントと協働するために結合し最適化した構成体を提供する。この構成体では、イメージが、最初、オープニング中に、使用可能なメモリに依存するサイズにダウンスケールされる。オープンされたイメージに、第２のダウンスケーリング又はズーム及びパン操作が適用される。この第２のリサイズされたイメージに、１組の自動エンハンスメント及びディスプレイ特有の処理が適用される。この２段階スケーリングは、複雑且つ良好なエンハンスメントアルゴリズムを、リソース限界を越えるおそれなく、使用するのを許す。本発明は、イメージ適応コントラスト及びカラーコントラストエンハンスメント、シャープ化、カラーマネージメント、及びディザ処理を含むエンハンスメントチェーンで提供される。又、他のアルゴリズムを含んでもよい。一実施形態では、２組のアルゴリズムが使用され、第１組は、イメージの高速ブラウジング用であり（高速アルゴリズム）、そして第２組は、最終的に見るためのより正確なスケーリング用である。高速アルゴリズムという語は、ここで、良質アルゴリズムと称されるものにより要求される処理時間の１０−２０％（一般的に５−３０％）を必要とするアルゴリズムを指す。
【発明を実施するための最良の形態】
【００２３】
以下、添付図面を参照して、本発明を詳細に説明する。
図１を参照すれば、カメラ電話１２で実施される従来技術によるディスプレイイメージ形成システムについて説明する。この実施例では、イメージが記憶装置１０にある。この従来の実施例は、整数比を伴う第１スケーリング１１と、中間イメージをオープンすること（１３）と、必要に応じて、ターゲットディスプレイ１４への最終的な低質のスケーリング１５とを備えている。主としてこの低質のスケーリングのために、イメージの質は悪いと思われる。イメージエンハンスメントは、低質のイメージでは助けとならないので、使用されない。第１のスケーリングにも関わらず、中間イメージに対して使用可能なメモリがチェックされない場合には、メモリの問題が存在し得る。ディスプレイチェーンの考え方は、イメージをエンハンスする（向上させる）ための自動的なツールを提供することである。見るべき全てのイメージに対して同じ自動的エンハンスメントが行われる。ディスプレイチェーンは、ディスプレイに依存するが、イメージ適応でもあり、全てのイメージにおいて機能する。
【００２４】
図２から明らかなように、実施される自動チェーンが、オリジナルのイメージスケーリングチェーンのズーム及びビュー部分に置き換わっている。メモリ１０、移動電話１２及びそのディスプレイ１４のような同様の要素は、前記と同じ参照番号を使用して示されている。本発明は、イメージオープニング即ちデコード中のダウンスケーリング３１を、第２のスケーリングアルゴリズム２０及びイメージエンハンスメントチェーン２９と結合する。メモリ１０のイメージは、スケーリングされ（３１）、そしてソースビットマップ３３（例えば、６４０ｘ４８０のサイズ）としてオープンされ、これは、次いで、ディスプレイ１４上で見るためにターゲットビットマップ２１へとスケーリングされる（２０）。第１のスケーリング３１は、オープンされるイメージのサイズを使用可能なメモリに基づいて制限するのに使用され、一般的に、１：２のスケーリング比を使用する。パワーｎは、イメージがメモリに適合する限り、できるだけ低くセットされる。使用可能なメモリの量は、ロード動作の前にチェックされる。第２のスケーリング２０は、イメージを、表示されるイメージのサイズにリサイズするのに使用される。第２のスケーリングアルゴリズムは、ディスプレイサイズ又はそれより小さいイメージへのダウンスケーリング、及び領域がパンされそして見るために切り取られるところのディスプレイサイズより大きなイメージへのスケーリング、並びに領域がパンされそして見るために切り取られるところのオープンしたイメージより大きなイメージサイズへのズーミングをサポートする。これは、以下で詳細に説明する。
【００２５】
この構成の効果は、割り当てられるメモリリソースの量を制御できることである。メモリは、限定されたサイズをもつオープンされるイメージと、サイズがディスプレイサイズに依存する表示されるイメージとに対して要求される。又、表示されるイメージのメモリは、ディスプレイハードウェアに直接割り当てることもできる。
【００２６】
別の効果は、メモリを使い果たすことなく、非常に大きなイメージを含む種々のサイズのイメージをオープンして見ることができる能力である。
【００２７】
イメージ処理チェーン３２は、第２のスケーリング２０（ズーミング）及びエンハンスメントチェーン２９より成る。第２のスケーリングにより、スケーリングされたイメージ２１が得られる。この実施例では、エンハンスメントチェーン２９は、４つのアルゴリズム、即ちカラー及びコントラストエンハンスメント２２、シャープ化２４、カラーマネージメント２６、及びディザ処理２８を含む。ズーミングの後に、自動チェーンを使用して、ぼけ、コントラスト及びカラーのロス、等を補償するように意図された１組のアルゴリズムでイメージをエンハンスする。補償は、あるディスプレイに対して最適化されると共に、ディスプレイにより生じる欠陥、又はこのディスプレイに適していないイメージ特徴により生じる欠陥に対して最適化される。これら欠陥は、例えば、カメラセンサ及び光学系、並びにトランスフレクティブ(trans-flective)ディスプレイにより生じることがある。補償は、ディスプレイに基づいて次のように適用することができる。
【００２８】
Ａ 低コントラストディスプレイ（低カラー領域） ⇒ 強力コントラストエンハンスメントを適用する。
Ｂ 低飽和のディスプレイ ⇒ 強力飽和エンハンスメントを適用する。
Ｃ 低コントラストの小ピクセルディスプレイ ⇒ 強力シャープネスエンハンスメントを適用する。
Ｄ イメージ及びディスプレイのカラー空間に基づくカラーマネージメント。
Ｅ ディスプレイのイメージ深さに基づくディザ処理。
【００２９】
特に、環境Ａ、Ｂ及びＣは、イメージ適応である。従って、イメージがディスプレイと同じ特徴に欠ける場合には、これらのエンハンスメントが、より強力になる。
【００３０】
シャープ化を使用して、縁がエンハンスされる。小さなピクセルサイズ及び低いコントラストは、強力なシャープ化を可能にする。カラー及びコントラストエンハンスメントは、カラーコントラスト及び飽和を自動的にエンハンスすることにより、カラーがより主観的に美しく見えるようにする。カラーマネージメントは、イメージカラー空間がディスプレイカラー空間に等しくないときに、使用するディスプレイにおけるカラーの表現を改善する。ディザ処理は、ディスプレイの量子化により生じる輪郭作用を減少させる。これは、低深さ（８−１２ビット）ディスプレイにおいて極めて必要である。
【００３１】
第２のスケーリング２０は、別々に実行され、そしてディスプレイメモリ（バッファ）又は別のメモリエリアのいずれかであるターゲットビットマップ２１（図２）に対して他の全てのエンハンスメントが行われる。第１に、メモリ１０のイメージがオープンされて、空きメモリの量により制限された最大の使用可能なサイズ（一般的に最大量の２５−１００％）へダウンスケーリングされ（３１）、そしてソースビットマップ３３が得られる。ダウンスケーリングは、あるイメージフォーマットに特有の高速アルゴリズムを使用することができる。又、イメージは、充分なメモリリソースが使用できる場合には、ダウンスケーリングを伴わずに、オープンすることもできる。従って、オープンされたイメージは、常に、最大の使用可能なサイズと、考えられる最良の質とを有する。第２のスケーリングアルゴリズム２０は、イメージをディスプレイサイズにスケーリングし、ターゲットビットイメージ２１が得られる。極めて頻繁に、全イメージを見る必要があり、第２のスケーリングアルゴリズムは、表示されるイメージサイズと、オープンされるイメージサイズとにより定義されたダウンスケーリング比を使用する。しかしながら、イメージのある細部を見たくなることも、又、極めて一般的である。第２のスケーリングアルゴリズムは、より大きなスケーリング比も使用し、そして表示されるイメージより大きなダウンスケールイメージから当該領域を切り取ることができる。当該領域は、ダウンスケールイメージの内側でパンすることができる。スケーリングアルゴリズムは、イメージの表示される部分についてのみメモリを割り当てるだけでよいように、パン及び切り取りを実施できることに注意されたい。この場合にも、このメモリは、ディスプレイハードウェア内にあってもよく、これは、いずれのケースでも、イメージを示すためのメモリリソースを必要とする。スケーリングアルゴリズムは、ダウンスケーリングのみに限定されず、ズーミングもサポートする。これは、オリジナルのイメージサイズ及びそれより大きなサイズも得ることができるようにする。イメージは、ユーザがダウンスケーリング又はズーミング比を変更した場合には、再オープンされる必要がない。これは、応答時に急激な変化のない高速動作を保証する。しかしながら、切り取られたイメージが、中間イメージにより許された以上にズームされる場合には、オリジナルイメージを部分的にオープンすることができる。又、システムは、使用可能なメモリリソースにより指定されるものより小さい限界を最初に使用することも許す。これは、イメージを最初に高速でオープンするのに使用できる。このケースでも、再オープンの回数を制御することができる。
【００３２】
図３を参照し、イメージスケーリングプロセスの一実施例を詳細に説明する。ソースイメージ１０が最初にダウンスケーリングされ、中間イメージ３３としてオープンされる。これは、表示されるイメージ２１’へと再び単純にダウンスケーリングすることができる（図２のようなエンハンスメントチェーンを付加的に使用して）。或いは又、中間イメージ３３を別の中間（仮想）イメージ４６へとアップスケーリングし、これをパンし（パン操作ウインドウ４８）、次いで、エンハンスメントで切り取って、ディスプレイのための最終イメージ２１を形成することができる。
【００３３】
使用するダウンスケーリング及びズーミングアルゴリズムは、本発明の構成により制限されない。しかしながら、アルゴリズムの質は、指定の要求を満足しなければならない。又、アルゴリズムは、動的に切り換えることもできる。例えば、非常に高速であるが、それほど高質ではないスケーリング方法を、メモリ１０におけるイメージの高速ブラウジングに使用することができる。一実施形態では、高速アルゴリズムを使用し、ユーザがイメージを選択するまでエンハンスメントを省略することができ、次いで、イメージを、より良好なアルゴリズムでダウンスケーリングし、そして全てのエンハンスメントが実行される。次いで、別のモードにおいて、ユーザは、選択されたパンウインドウでイメージのパン操作を開始する。再び、別の高速アルゴリズムを使用し、そしてユーザが見たいターゲットをより正確に選択するまでエンハンスメントを省略することができる。ユーザが当該イメージ又は領域を見つけると、イメージを、より良好なスケーリングアルゴリズムで再処理し、そしてエンハンスメントチェーンを使用することにより、質を高めることができる。
【００３４】
本発明の構成は、表示されたイメージにエンハンスメントを適用したときに更に効果的なものとなる。図４は、リサイジングアルゴリズムと、イメージ分析を伴うエンハンスメントとを含む完全な構成体の一実施例を示す。機能的に同様の部分には、前記と同じ参照番号が使用されている。エンハンスメントでは、表示されるイメージの主観的な質を著しく改善することができる。このケースでは、ソースイメージ１０がオープニング中にスケーリングされ（３１）、中間イメージ３３が得られる。これは、次いで、表示イメージへとスケーリングされる（２０）。ここで、図２を参照すれば、ディスプレイ特有の処理チェーンに対する１組の適当なエンハンスメント２９は、例えば、次の通りである。
− カラー及びコントラストエンハンスメント（２２）
− シャープ化（２４）
− カラーマネージメント（２６）
− ディザ処理（２８）
【００３５】
カラーマネージメント及びディザ処理は、極めてディスプレイ特有の動作である。処理のパラメータは、ディスプレイの特徴に大きく依存する。シャープ化と、カラー及びコントラストエンハンスメントも、イメージに依存する。イメージ適応アルゴリズムは、最良の結果を生じさせる。しかしながら、これらのアルゴリズムも、ディスプレイの特性に基づいて制御することができる。従って、完全なチェーンは、ディスプレイ特有である。
【００３６】
シャープ化及びディザ処理は、空間的動作の例である。空間的動作は、表示されるサイズのイメージにおいて実行されねばならず、即ち全てのスケーリング動作の後に位置されねばならない。さもなければ、リサイジングでイメージの空間的情報が変化するので、これらアルゴリズムの動作を破壊することになり、過酷な欠陥が発生することがある。又、シャープ化は、特定の質のリサイジングアルゴリズムを、たとえそれらがシャープ化の前に適用される場合にも、必要とするアルゴリズムの良好な例でもある。実際には、最低レベルのリサイジング、即ちピクセルコピー又は最も近い隣人アルゴリズムは、シャープ化の使用を防止する。コントラスト及びカラーエンハンスメント、並びにカラーマネージメントは、リサイジングのような他のアルゴリズムでイメージの空間的見掛けを変化させることにあまり敏感ではないピクセルベースの動作の例である。これらアルゴリズムの最適な順序は、実施形態の詳細に依存する。
【００３７】
ここに示す構成体は、エンハンスメントチェーンの有効な実施を許す。全てのエンハンスメントは、小さなディスプレイサイズのイメージに適用することができる。これは、処理されるピクセルの数を減少し、その結果、処理能力の需要を最小にする。イメージ適応エンハンスメントのための分析４２も、小さなイメージから行うことができる。分析データ４３がメモリに保持される場合には、イメージに変化があったときだけ分析を行うだけでよい。例えば、イメージは、最初のオープニングの後に分析することができ、ズーミング又はパン操作の後の再分析は必要とされない。これは、処理時間を著しく短縮する。
【００３８】
ピクセル動作、このケースでは、コントラスト及びカラーエンハンスメント２２’、並びにカラーマネージメント２６’も、図５に示すように、第２のスケーリングの前に位置することができる。同様の機能及び目的を表わす参照番号は、前記と同じである。第１のスケーリング３１の間に、イメージデータが分析され（５２）、そして上述したエンハンスメントのために分析データ５３が得られる。これは、処理されるピクセルの数、ひいては、イメージオープニング時間を増加させるが、エンハンスメントの数が減少するために、ズーム及びパン操作がより迅速になる。機能的に、中間イメージ３３は、ここで、以前の例より多くの情報を有する。分析４２は、これにより分析データ４３が空間的エンハンスメント及びエンハンスメント２４、２８のために得られるものであるが、それ自体、第２のスケーリング２０の後に維持される。
【００３９】
或いは又、第１のスケーリング内に収集された分析データは、第２のスケーリング（図示せず）の後に使用することもできる。
【００４０】
当業者であれば、本発明による（解決策）／方法を、特許請求の範囲から逸脱せずに、その広い範囲内で変更できることが明らかであろう。
【００４１】
本発明は、移動プラットホーム及びディスプレイにおいてイメージを見てエンハンスするための方法及びアルゴリズムの構成に関する。本発明は、イメージのサイズをエンハンスし及び従来の移動プラットホームで見るのを許す有効に実施可能なシステムについて説明した。このようなプラットホームは、例えば、イメージ形成能力を伴う移動電話をターゲットとしたＮｏｋｉａ（登録商標）シリーズ３０、６０、４０、８０及び９０プラットホームである。
【００４２】
移動装置１２においてイメージを見てエンハンスするためのシステムは、ディスプレイ１４と、メモリと、ビットイメージのための処理手段と、ビットイメージを受信する入力装置とを備えている。又、このシステムは、エンハンシングチェーン２９を使用して、中間イメージ３３をエンハンスするための手段も備えている。一実施形態では、処理手段は、２組のアルゴリズムを実行するためのプログラム可能な手段を備え、その第１組は、イメージを高速ブラウジングするためのものであり、そして第２の、より正確なスケーリングの組は、最終的に見るためのものである。
【００４３】
本発明による方法は、コンピュータ読み取り可能なプログラムコードコンポーネントが記憶されるコンピュータ読み取り可能なメモリ媒体より成るプログラム製品を使用して実行することができる。これらコンポーネントは、次のものより成る。
− ビット流を受け取りそしてそれを選択されたサイズへ直接的にスケーリングして第１メモリエリアにビットイメージを形成するためのプログラム式に実施される第１コンポーネント；
− 前記ビットイメージを第２メモリエリアにおいてディスプレイサイズにスケーリングするためのプログラム式に実施される第２コンポーネント；
− 少なくとも２つの異なる特性に関連したイメージエンハンスメントアルゴリズムを使用して前記第２メモリエリアにおいてビットイメージの一部分を処理するためのプログラム式に実施される第３コンポーネント。
【００４４】
これらのケースでは、コンピュータという語は、当然、移動ステーションのマイクロプロセッサ、固定及び／又は交換可能なメモリ媒体、及びＩ／Ｏ手段、例えば、ディスプレイ及びキーボードを指す。
【図面の簡単な説明】
【００４５】
【図１】移動電話にイメージをロードして見るための従来のプロセスを示す図である。
【図２】移動電話のための本発明によるイメージ処理チェーンの一実施例を示す図である。
【図３】イメージの２段階スケーリング及び処理の原理を示す図である。
【図４】後処理イメージエンハンスメントを伴う完全なイメージ処理チェーンを示す図である。
【図５】図４に示す処理チェーンの変形例を示す図である。
【技術分野】
【０００１】
本発明は、ディスプレイと、メモリと、ビットイメージのための処理手段と、ビットイメージを受け取る入力装置とを備えた移動装置のディスプレイでイメージを見てエンハンスする方法及びシステムであって、ビットイメージを受け取り、予め選択されたスケーリングアルゴリズムを使用してより小さなスケールへと処理し、更に、エンハンシングアルゴリズムを使用してエンハンスさせ、そして処理のためにオープンし、このエンハンシングが、１つ又は多数の次の手順、即ちカラー及びコントラストエンハンスメント、シャープ化、カラーマネージメント、及びディザ処理を含むような方法及びシステムに係る。
【背景技術】
【０００２】
イメージ機能をもつ移動装置は、種々のサイズのイメージを捕獲し、受信することができる。これらのイメージを装置のディスプレイで見られることが要求される。通常、ディスプレイは、物理的にも、ピクセル数でも、比較的小型である。それ故、ディスプレイのサイズは、イメージのサイズに比して相対的に小さいことがしばしばある。イメージがディスプレイに適合するようにイメージのサイズを減少しなければならない。これは、ダウンスケーリング又はデシメーションアルゴリズムを必要とする。時々、イメージの一部分しか、関心のある情報を含んでいない。関心のあるエリアを詳細に示すために、パンサポートを伴う可変レベルのズーミングが要求される。ズーミングは、アップスケーリング又は補間アルゴリズムを使用して実施することができる。ダウンスケーリング及びアップスケーリングアルゴリズムは、充分なクオリティでなければならない。さもなければ、エイリアシング作用、ギザギザの縁、過剰な平滑化又はピクセル化のような人為的欠陥がイメージに導入されてしまう。
【０００３】
移動プラットホームは、イメージ処理及びエンハンスメントアルゴリズムに使用できるメモリの量及び処理能力に厳密な制限を設定する。大きなイメージは、大量のメモリ及び処理能力を消費する。この量は、イメージのピクセル数に正比例するか又は指数関数的に比例する。それ故、大きなイメージを移動装置で見ることは不可能である。
【０００４】
現在世代の移動ディスプレイに伴う別の問題は、イメージの質が不充分なことである。特に、イメージが、良質なイメージを発生する特性に欠けるときには、ディスプレイモジュールも同じ特性に欠けると、最適と認知し得ないイメージの質が生じることになる。通常、これらの特性は、イメージのシャープネス、コントラスト、カラーコントラスト、及び飽和である。ディスプレイのビット深さが不充分であることから、量子化欠陥が見えることもある。これらの特徴は、イメージ処理手段でエンハンスできるが、得られる処理能力及びメモリの量は、これら方法の利用を制限し又は妨げることがある。
【０００５】
低メモリ問題に対するありふれた解決策は、装置で見ることのできるイメージサイズを制限することである。この場合、利用できるメモリが不充分であれば、あるイメージは見えない。この解決策は、多数の現在の製品に利用されている。この解決策は、非常に簡単であるが、明らかに非常に制約がある。
【０００６】
イメージは、オープニング中にダウンスケールすることができる。イメージのリサイジング及びスケーリングに関する多くの出版物を記事や特許データベースで見ることができる。デコード中及びオープニング中にイメージのサイズを減少することで、より大きなイメージをオープンすることが許される。このような解決策は、例えば、現在のＮｏｋｉａ（登録商標）シリーズ６０イメージビューアに使用されている。イメージは、表示されるイメージサイズにできるだけ厳密に一致するように、デコード中にダウンスケールされる。エンコードされるイメージフォーマットに基づき、スケーリングは、時々、非常に有効に行うことができる［ＵＳ６０６７３８４］。しかしながら、この種の解決策は、使用可能なリサイジングファクタを若干の所定の値に制限する。あるフォーマットは、標準的なリサイジング手順を必要とし、これら手順は、処理の複雑さを低減するためのエンコード特性を利用できないが、イメージソースからイメージピクセルが読み取られるのと同時に適用することができる。この同じ解決策を、ストリーミング形式の入力にも適するように変更することができる。この解決策の欠点は、種々のレベルのリサイジング、即ちダウンスケーリング、ズーミング、及びパンをサポートする融通性がないことである。例えば、初期のオープニングズーム比より大きなズーム比が望まれるときには、イメージを再オープンしなければならない。これは、一連の再オープンであるために時間を要し、ある時点で、システムがメモリを使い果たすことがある。
【０００７】
イメージが不充分であるか又は見難いことは、イメージを手動で調整することによりエンハンスすることができる。例えば、ユーザは、イメージのコントラスト及び飽和を変更することができる。しかしながら、これは、極めて不便である。というのは、各イメージに対して個々に調整を行わねばならないからである。更に、ユーザは、イメージ処理についてある程度の経験をもつことが要求される。イメージの見掛けをエンハンスするための更に進歩した解決策は、自動的なイメージ適応及び表示特有のエンハンスメントを使用することである［ＷＯ０３０８３７７５］。例えば、ヒストグラム分析をベースとするコントラスト及びカラーコントラストアルゴリズムを適用することができる［ＵＳ６１４８１０３］。適切なシャープ化アルゴリズム［ＷＯ２００４／０３６４４９Ａ１］も、イメージの質についてより満足な印象を生じさせることができる。最終的に、特定のディスプレイにおけるイメージの見掛けは、カラーマネージメント及びディザ処理のようなディスプレイ特有の補償及び処理により最適化することができる［ＵＳ２００３１７９３９３］。又、エンハンスメントチェーンにおけるアルゴリズムを、有効に且つ健全に協働するように変更又は結合することもでき、例えば、シャープ化とコントラストエンハンスメントとを結合することができる［ＥＰ１２４２９７５］。個々のエンハンスメントアルゴリズムに関係した多数の参照文献を出版物及び特許データベースにおいてみることができる。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
従来の解決策に関係した主たる問題は、次の通りである。
− メモリ不足：見るべきイメージが、使用可能なメモリに適合させるのに大き過ぎる。デコード中にダウンスケーリングを使用しない場合には、システムがオープン中に直ちにメモリを使い切ってしまう。たとえダウンスケーリングがデコード中に含まれても、メモリの量は、ズーミング中に再オープンするのに不充分なことがある。
【０００９】
− 不完全なダウンスケールアルゴリズムによる欠陥：スケーリングアルゴリズムは、アルゴリズムに対する入力イメージが考えられる最良のものであることを要求する。互換性のないプロセスを使用して既にスケーリングされているイメージは、スケーリングアルゴリズムにとって最適な入力とはならない。又、適切なダウンスケーリングは、ある空間的フィルタリングをスケーリングプロセスに含ませることを要求する。「最も近い隣人(nearest neighbor)」と称される最低レベルの方法は、フィルタリングを含まない。これは、処理能力を非常に有効に感じさせるが、フィルタリングの欠如は、イメージの高周波数内容に関係した煩いエイリアシング欠陥を生じさせる。デコード中にフィルタリングダウンスケーリングアルゴリズムを使用するにも関わらず、スケーリングアルゴリズムがディスプレイサイズに対して正確なスケーリング比をサポートしない場合には、欠陥が生じ得る。又、ズーミング及び再オープン後のディスプレイサイズへのダウンスケーリングも、ダウンスケーリングを伴う別の再オープンを行わない場合には、エイリアシング欠陥を招くことがある。スケーリングに関係した別の欠陥は、著しくパワフルなフィルタリングが使用される場合に生じるぼけである。シャープ化アルゴリズムでイメージをエンハンスしようとする場合には、エイリアシング及びぼけの両方が特に有害となる。これらの欠陥は、シャープ化の質を下げるか、又はその使用を完全に妨げることがある。
【００１０】
− 不完全なズーミングアルゴリズムによる欠陥：最も簡単で頻繁に使用されるズーミングアルゴリズムは、ピクセルコピーと称される。このアルゴリズムでは、入力ピクセルを繰り返して、より大きなイメージを形成する。得られるイメージのピクセルは、個々のピクセルとしてではなく、大きな方形として見える。又、最初滑らかな縁がギザギザになる。それ故、ある空間的フィルタリング方法を伴う良好なアルゴリズムが必要とされる。
【００１１】
− 応答時間の変化：オープン中のイメージダウンスケーリングは、ダウンスケーリング又はズーミング比が変化される場合に一連の再オープンを生じさせる。イメージオープン、ファイルシステムからのイメージの読み取り、及びイメージのデコーディングは、非常に時間のかかるプロセスであるから、再オープンが行われるときにはシステムの応答時間が急激に増加する。
【００１２】
− エンハンスメントの欠如又は不充分なエンハンスメントの質：完全な処理チェーンの非最適構造は、低質のエンハンスメントを生じさせたり、エンハンスメントの使用を妨げたりすることがある。例えば、適切なスケーリングアルゴリズムを使用しない場合には、イメージスケーリング欠陥でシャープ化動作が駄目にあることがある。加えて、処理能力リソースが、複雑なエンハンスメントアルゴリズムの使用を妨げることもある。
【００１３】
− 低速なエンハンスメント動作：エンハンスメントが最適に実施されない場合には、処理能力が、受け容れられる処理時間に対して不充分になることがある。
【００１４】
− 全処理チェーンの低速動作又は不充分な質：イメージ処理チェーン全体が移動用途及び移動環境に対して非最適に構築されることがある。これらの問題は、本発明の方法で解決することができる。
【課題を解決するための手段】
【００１５】
本発明は、従来技術のレベルに対する改良を達成すると共に、既知の方法の欠点を回避することが意図される。本発明による方法の特徴が請求項１に述べられており、それに対応するシステムの特徴が請求項１０に述べられており、そしてそれに対応するソフトウェア手段の特徴が請求項１５に述べられている。
【００１６】
本発明を利用すると、次の効果が達成される。
− メモリの消費：本発明のシステムでは、イメージが、オリジナルソースのイメージサイズか、又は使用可能なメモリの量で許されるがそれを越えない最大に可能なサイズで、常に、オープンされる。このために、メモリ不足が起こらない。最大に可能なサイズへの制限が、オープン中にダウンスケーリングを使用して行われる。ディスプレイサイズへのダウンスケーリングは、充分な質のダウンスケーリングアルゴリズムを使用して別々に行われる。より大きなズーミング比が要求されるときには、再オープンが行われず、充分な質のズーミングアルゴリズムでイメージがリサイズされる。従って、メモリを使い切ることなく大きなズーミング比を得ることができる。別の構成では、イメージを、最初に、最大に可能なサイズではなく、あるサイズにオープンすることもできる。しかしながら、第２のダウンスケーリングアルゴリズムを使用するために、オープニングサイズは、ダウンスケーリング又はズーミング比によって決定されない。それ故、再オープンの回数及びそれらの発生を制御することができる。
【００１７】
− リサイズの質：考えられる最良のダウンスケーリング及びズーミングアルゴリズムを使用することができる。というのは、オープンされるイメージのサイズがダウンスケーリング又はズーミングファクタにより決定されないからである。オープンされるイメージは、使用可能なメモリリソースの範囲内で考えられる最良のものとなる。最適にオープンされるイメージは、表示サイズでイメージを見るために高質の第２のスケーリングアルゴリズムの使用を許す。オープンされるイメージのサイズが使用可能なメモリの量により制限される場合には、より良質のイメージがイメージソースにおいて得られるにも関わらず、イメージの質はリサイジングアルゴリズムにより制限される。しかしながら、制限なしには、イメージを全く示すことができない。
【００１８】
− 処理速度：リサイジングアルゴリズムの複雑さは、動的に変化し得る。例えば、ズーム及びパン操作を行うときには、正しいズーム比及びパン位置がユーザに分かるまで、低質で高速なアルゴリズムが使用される。その後、より良質のアルゴリズムを使用してリサイジングが実行されるが、これは、若干長時間を要する。イメージのオープニング中に同じ解決策を適用して、イメージの高速ブラウジングを許すことができる。オープニングの直後に、イメージが低質形態で示される。ユーザが正しいイメージを見つけてブラウジングを停止する場合には、質が改善される。
【００１９】
− 処理速度：イメージが最大サイズでオープンされるので、ズーム及びパン操作は、再オープンを必要としない。このために、処理時間の急激な変化に気付かない。しかしながら、それとは別に、例えば、高速の初期オープニングが要求される場合には、再オープニングサイズを依然としてシステムにおいて定義することができる。
【００２０】
− イメージの質：適当なスケーリングアルゴリズムの助けにより、１組のエンハンスメントを使用して、表示イメージの質をエンハンスすることができる。これは、見られるイメージの質に基づいて、不充分なディスプレイ特性を補償することを許す。
【００２１】
− 処理速度：ディスプレイサイズのイメージにおいてエンハンスメントを行うことができる。この場合に、処理の複雑さ、即ち処理されるピクセルの数を、低く保つことができる。又、エンハンスメントのための分析段階を小サイズのイメージから行うこともでき、例えば、ズーム及びパン操作中に不必要な再分析を回避することができる。
【００２２】
本発明は、イメージのオープニング又はデコード中のイメージダウンスケーリング及び第２のリサイジングのための構成体であって、これらを、ディスプレイ特有のエンハンスメントと協働するために結合し最適化した構成体を提供する。この構成体では、イメージが、最初、オープニング中に、使用可能なメモリに依存するサイズにダウンスケールされる。オープンされたイメージに、第２のダウンスケーリング又はズーム及びパン操作が適用される。この第２のリサイズされたイメージに、１組の自動エンハンスメント及びディスプレイ特有の処理が適用される。この２段階スケーリングは、複雑且つ良好なエンハンスメントアルゴリズムを、リソース限界を越えるおそれなく、使用するのを許す。本発明は、イメージ適応コントラスト及びカラーコントラストエンハンスメント、シャープ化、カラーマネージメント、及びディザ処理を含むエンハンスメントチェーンで提供される。又、他のアルゴリズムを含んでもよい。一実施形態では、２組のアルゴリズムが使用され、第１組は、イメージの高速ブラウジング用であり（高速アルゴリズム）、そして第２組は、最終的に見るためのより正確なスケーリング用である。高速アルゴリズムという語は、ここで、良質アルゴリズムと称されるものにより要求される処理時間の１０−２０％（一般的に５−３０％）を必要とするアルゴリズムを指す。
【発明を実施するための最良の形態】
【００２３】
以下、添付図面を参照して、本発明を詳細に説明する。
図１を参照すれば、カメラ電話１２で実施される従来技術によるディスプレイイメージ形成システムについて説明する。この実施例では、イメージが記憶装置１０にある。この従来の実施例は、整数比を伴う第１スケーリング１１と、中間イメージをオープンすること（１３）と、必要に応じて、ターゲットディスプレイ１４への最終的な低質のスケーリング１５とを備えている。主としてこの低質のスケーリングのために、イメージの質は悪いと思われる。イメージエンハンスメントは、低質のイメージでは助けとならないので、使用されない。第１のスケーリングにも関わらず、中間イメージに対して使用可能なメモリがチェックされない場合には、メモリの問題が存在し得る。ディスプレイチェーンの考え方は、イメージをエンハンスする（向上させる）ための自動的なツールを提供することである。見るべき全てのイメージに対して同じ自動的エンハンスメントが行われる。ディスプレイチェーンは、ディスプレイに依存するが、イメージ適応でもあり、全てのイメージにおいて機能する。
【００２４】
図２から明らかなように、実施される自動チェーンが、オリジナルのイメージスケーリングチェーンのズーム及びビュー部分に置き換わっている。メモリ１０、移動電話１２及びそのディスプレイ１４のような同様の要素は、前記と同じ参照番号を使用して示されている。本発明は、イメージオープニング即ちデコード中のダウンスケーリング３１を、第２のスケーリングアルゴリズム２０及びイメージエンハンスメントチェーン２９と結合する。メモリ１０のイメージは、スケーリングされ（３１）、そしてソースビットマップ３３（例えば、６４０ｘ４８０のサイズ）としてオープンされ、これは、次いで、ディスプレイ１４上で見るためにターゲットビットマップ２１へとスケーリングされる（２０）。第１のスケーリング３１は、オープンされるイメージのサイズを使用可能なメモリに基づいて制限するのに使用され、一般的に、１：２のスケーリング比を使用する。パワーｎは、イメージがメモリに適合する限り、できるだけ低くセットされる。使用可能なメモリの量は、ロード動作の前にチェックされる。第２のスケーリング２０は、イメージを、表示されるイメージのサイズにリサイズするのに使用される。第２のスケーリングアルゴリズムは、ディスプレイサイズ又はそれより小さいイメージへのダウンスケーリング、及び領域がパンされそして見るために切り取られるところのディスプレイサイズより大きなイメージへのスケーリング、並びに領域がパンされそして見るために切り取られるところのオープンしたイメージより大きなイメージサイズへのズーミングをサポートする。これは、以下で詳細に説明する。
【００２５】
この構成の効果は、割り当てられるメモリリソースの量を制御できることである。メモリは、限定されたサイズをもつオープンされるイメージと、サイズがディスプレイサイズに依存する表示されるイメージとに対して要求される。又、表示されるイメージのメモリは、ディスプレイハードウェアに直接割り当てることもできる。
【００２６】
別の効果は、メモリを使い果たすことなく、非常に大きなイメージを含む種々のサイズのイメージをオープンして見ることができる能力である。
【００２７】
イメージ処理チェーン３２は、第２のスケーリング２０（ズーミング）及びエンハンスメントチェーン２９より成る。第２のスケーリングにより、スケーリングされたイメージ２１が得られる。この実施例では、エンハンスメントチェーン２９は、４つのアルゴリズム、即ちカラー及びコントラストエンハンスメント２２、シャープ化２４、カラーマネージメント２６、及びディザ処理２８を含む。ズーミングの後に、自動チェーンを使用して、ぼけ、コントラスト及びカラーのロス、等を補償するように意図された１組のアルゴリズムでイメージをエンハンスする。補償は、あるディスプレイに対して最適化されると共に、ディスプレイにより生じる欠陥、又はこのディスプレイに適していないイメージ特徴により生じる欠陥に対して最適化される。これら欠陥は、例えば、カメラセンサ及び光学系、並びにトランスフレクティブ(trans-flective)ディスプレイにより生じることがある。補償は、ディスプレイに基づいて次のように適用することができる。
【００２８】
Ａ 低コントラストディスプレイ（低カラー領域） ⇒ 強力コントラストエンハンスメントを適用する。
Ｂ 低飽和のディスプレイ ⇒ 強力飽和エンハンスメントを適用する。
Ｃ 低コントラストの小ピクセルディスプレイ ⇒ 強力シャープネスエンハンスメントを適用する。
Ｄ イメージ及びディスプレイのカラー空間に基づくカラーマネージメント。
Ｅ ディスプレイのイメージ深さに基づくディザ処理。
【００２９】
特に、環境Ａ、Ｂ及びＣは、イメージ適応である。従って、イメージがディスプレイと同じ特徴に欠ける場合には、これらのエンハンスメントが、より強力になる。
【００３０】
シャープ化を使用して、縁がエンハンスされる。小さなピクセルサイズ及び低いコントラストは、強力なシャープ化を可能にする。カラー及びコントラストエンハンスメントは、カラーコントラスト及び飽和を自動的にエンハンスすることにより、カラーがより主観的に美しく見えるようにする。カラーマネージメントは、イメージカラー空間がディスプレイカラー空間に等しくないときに、使用するディスプレイにおけるカラーの表現を改善する。ディザ処理は、ディスプレイの量子化により生じる輪郭作用を減少させる。これは、低深さ（８−１２ビット）ディスプレイにおいて極めて必要である。
【００３１】
第２のスケーリング２０は、別々に実行され、そしてディスプレイメモリ（バッファ）又は別のメモリエリアのいずれかであるターゲットビットマップ２１（図２）に対して他の全てのエンハンスメントが行われる。第１に、メモリ１０のイメージがオープンされて、空きメモリの量により制限された最大の使用可能なサイズ（一般的に最大量の２５−１００％）へダウンスケーリングされ（３１）、そしてソースビットマップ３３が得られる。ダウンスケーリングは、あるイメージフォーマットに特有の高速アルゴリズムを使用することができる。又、イメージは、充分なメモリリソースが使用できる場合には、ダウンスケーリングを伴わずに、オープンすることもできる。従って、オープンされたイメージは、常に、最大の使用可能なサイズと、考えられる最良の質とを有する。第２のスケーリングアルゴリズム２０は、イメージをディスプレイサイズにスケーリングし、ターゲットビットイメージ２１が得られる。極めて頻繁に、全イメージを見る必要があり、第２のスケーリングアルゴリズムは、表示されるイメージサイズと、オープンされるイメージサイズとにより定義されたダウンスケーリング比を使用する。しかしながら、イメージのある細部を見たくなることも、又、極めて一般的である。第２のスケーリングアルゴリズムは、より大きなスケーリング比も使用し、そして表示されるイメージより大きなダウンスケールイメージから当該領域を切り取ることができる。当該領域は、ダウンスケールイメージの内側でパンすることができる。スケーリングアルゴリズムは、イメージの表示される部分についてのみメモリを割り当てるだけでよいように、パン及び切り取りを実施できることに注意されたい。この場合にも、このメモリは、ディスプレイハードウェア内にあってもよく、これは、いずれのケースでも、イメージを示すためのメモリリソースを必要とする。スケーリングアルゴリズムは、ダウンスケーリングのみに限定されず、ズーミングもサポートする。これは、オリジナルのイメージサイズ及びそれより大きなサイズも得ることができるようにする。イメージは、ユーザがダウンスケーリング又はズーミング比を変更した場合には、再オープンされる必要がない。これは、応答時に急激な変化のない高速動作を保証する。しかしながら、切り取られたイメージが、中間イメージにより許された以上にズームされる場合には、オリジナルイメージを部分的にオープンすることができる。又、システムは、使用可能なメモリリソースにより指定されるものより小さい限界を最初に使用することも許す。これは、イメージを最初に高速でオープンするのに使用できる。このケースでも、再オープンの回数を制御することができる。
【００３２】
図３を参照し、イメージスケーリングプロセスの一実施例を詳細に説明する。ソースイメージ１０が最初にダウンスケーリングされ、中間イメージ３３としてオープンされる。これは、表示されるイメージ２１’へと再び単純にダウンスケーリングすることができる（図２のようなエンハンスメントチェーンを付加的に使用して）。或いは又、中間イメージ３３を別の中間（仮想）イメージ４６へとアップスケーリングし、これをパンし（パン操作ウインドウ４８）、次いで、エンハンスメントで切り取って、ディスプレイのための最終イメージ２１を形成することができる。
【００３３】
使用するダウンスケーリング及びズーミングアルゴリズムは、本発明の構成により制限されない。しかしながら、アルゴリズムの質は、指定の要求を満足しなければならない。又、アルゴリズムは、動的に切り換えることもできる。例えば、非常に高速であるが、それほど高質ではないスケーリング方法を、メモリ１０におけるイメージの高速ブラウジングに使用することができる。一実施形態では、高速アルゴリズムを使用し、ユーザがイメージを選択するまでエンハンスメントを省略することができ、次いで、イメージを、より良好なアルゴリズムでダウンスケーリングし、そして全てのエンハンスメントが実行される。次いで、別のモードにおいて、ユーザは、選択されたパンウインドウでイメージのパン操作を開始する。再び、別の高速アルゴリズムを使用し、そしてユーザが見たいターゲットをより正確に選択するまでエンハンスメントを省略することができる。ユーザが当該イメージ又は領域を見つけると、イメージを、より良好なスケーリングアルゴリズムで再処理し、そしてエンハンスメントチェーンを使用することにより、質を高めることができる。
【００３４】
本発明の構成は、表示されたイメージにエンハンスメントを適用したときに更に効果的なものとなる。図４は、リサイジングアルゴリズムと、イメージ分析を伴うエンハンスメントとを含む完全な構成体の一実施例を示す。機能的に同様の部分には、前記と同じ参照番号が使用されている。エンハンスメントでは、表示されるイメージの主観的な質を著しく改善することができる。このケースでは、ソースイメージ１０がオープニング中にスケーリングされ（３１）、中間イメージ３３が得られる。これは、次いで、表示イメージへとスケーリングされる（２０）。ここで、図２を参照すれば、ディスプレイ特有の処理チェーンに対する１組の適当なエンハンスメント２９は、例えば、次の通りである。
− カラー及びコントラストエンハンスメント（２２）
− シャープ化（２４）
− カラーマネージメント（２６）
− ディザ処理（２８）
【００３５】
カラーマネージメント及びディザ処理は、極めてディスプレイ特有の動作である。処理のパラメータは、ディスプレイの特徴に大きく依存する。シャープ化と、カラー及びコントラストエンハンスメントも、イメージに依存する。イメージ適応アルゴリズムは、最良の結果を生じさせる。しかしながら、これらのアルゴリズムも、ディスプレイの特性に基づいて制御することができる。従って、完全なチェーンは、ディスプレイ特有である。
【００３６】
シャープ化及びディザ処理は、空間的動作の例である。空間的動作は、表示されるサイズのイメージにおいて実行されねばならず、即ち全てのスケーリング動作の後に位置されねばならない。さもなければ、リサイジングでイメージの空間的情報が変化するので、これらアルゴリズムの動作を破壊することになり、過酷な欠陥が発生することがある。又、シャープ化は、特定の質のリサイジングアルゴリズムを、たとえそれらがシャープ化の前に適用される場合にも、必要とするアルゴリズムの良好な例でもある。実際には、最低レベルのリサイジング、即ちピクセルコピー又は最も近い隣人アルゴリズムは、シャープ化の使用を防止する。コントラスト及びカラーエンハンスメント、並びにカラーマネージメントは、リサイジングのような他のアルゴリズムでイメージの空間的見掛けを変化させることにあまり敏感ではないピクセルベースの動作の例である。これらアルゴリズムの最適な順序は、実施形態の詳細に依存する。
【００３７】
ここに示す構成体は、エンハンスメントチェーンの有効な実施を許す。全てのエンハンスメントは、小さなディスプレイサイズのイメージに適用することができる。これは、処理されるピクセルの数を減少し、その結果、処理能力の需要を最小にする。イメージ適応エンハンスメントのための分析４２も、小さなイメージから行うことができる。分析データ４３がメモリに保持される場合には、イメージに変化があったときだけ分析を行うだけでよい。例えば、イメージは、最初のオープニングの後に分析することができ、ズーミング又はパン操作の後の再分析は必要とされない。これは、処理時間を著しく短縮する。
【００３８】
ピクセル動作、このケースでは、コントラスト及びカラーエンハンスメント２２’、並びにカラーマネージメント２６’も、図５に示すように、第２のスケーリングの前に位置することができる。同様の機能及び目的を表わす参照番号は、前記と同じである。第１のスケーリング３１の間に、イメージデータが分析され（５２）、そして上述したエンハンスメントのために分析データ５３が得られる。これは、処理されるピクセルの数、ひいては、イメージオープニング時間を増加させるが、エンハンスメントの数が減少するために、ズーム及びパン操作がより迅速になる。機能的に、中間イメージ３３は、ここで、以前の例より多くの情報を有する。分析４２は、これにより分析データ４３が空間的エンハンスメント及びエンハンスメント２４、２８のために得られるものであるが、それ自体、第２のスケーリング２０の後に維持される。
【００３９】
或いは又、第１のスケーリング内に収集された分析データは、第２のスケーリング（図示せず）の後に使用することもできる。
【００４０】
当業者であれば、本発明による（解決策）／方法を、特許請求の範囲から逸脱せずに、その広い範囲内で変更できることが明らかであろう。
【００４１】
本発明は、移動プラットホーム及びディスプレイにおいてイメージを見てエンハンスするための方法及びアルゴリズムの構成に関する。本発明は、イメージのサイズをエンハンスし及び従来の移動プラットホームで見るのを許す有効に実施可能なシステムについて説明した。このようなプラットホームは、例えば、イメージ形成能力を伴う移動電話をターゲットとしたＮｏｋｉａ（登録商標）シリーズ３０、６０、４０、８０及び９０プラットホームである。
【００４２】
移動装置１２においてイメージを見てエンハンスするためのシステムは、ディスプレイ１４と、メモリと、ビットイメージのための処理手段と、ビットイメージを受信する入力装置とを備えている。又、このシステムは、エンハンシングチェーン２９を使用して、中間イメージ３３をエンハンスするための手段も備えている。一実施形態では、処理手段は、２組のアルゴリズムを実行するためのプログラム可能な手段を備え、その第１組は、イメージを高速ブラウジングするためのものであり、そして第２の、より正確なスケーリングの組は、最終的に見るためのものである。
【００４３】
本発明による方法は、コンピュータ読み取り可能なプログラムコードコンポーネントが記憶されるコンピュータ読み取り可能なメモリ媒体より成るプログラム製品を使用して実行することができる。これらコンポーネントは、次のものより成る。
− ビット流を受け取りそしてそれを選択されたサイズへ直接的にスケーリングして第１メモリエリアにビットイメージを形成するためのプログラム式に実施される第１コンポーネント；
− 前記ビットイメージを第２メモリエリアにおいてディスプレイサイズにスケーリングするためのプログラム式に実施される第２コンポーネント；
− 少なくとも２つの異なる特性に関連したイメージエンハンスメントアルゴリズムを使用して前記第２メモリエリアにおいてビットイメージの一部分を処理するためのプログラム式に実施される第３コンポーネント。
【００４４】
これらのケースでは、コンピュータという語は、当然、移動ステーションのマイクロプロセッサ、固定及び／又は交換可能なメモリ媒体、及びＩ／Ｏ手段、例えば、ディスプレイ及びキーボードを指す。
【図面の簡単な説明】
【００４５】
【図１】移動電話にイメージをロードして見るための従来のプロセスを示す図である。
【図２】移動電話のための本発明によるイメージ処理チェーンの一実施例を示す図である。
【図３】イメージの２段階スケーリング及び処理の原理を示す図である。
【図４】後処理イメージエンハンスメントを伴う完全なイメージ処理チェーンを示す図である。
【図５】図４に示す処理チェーンの変形例を示す図である。
【特許請求の範囲】
【請求項１】
イメージを示すためのディスプレイ(14)と、メモリと、ビットイメージのための処理手段と、ビットイメージを受け取る入力装置とを備えた移動装置(12)においてイメージを見てエンハンスする方法であって、ビットイメージを受け取り、予め選択されたスケーリングアルゴリズムを使用して２つの段階(31,32)でより小さなスケールへと処理し、第１のスケーリングは、中間サイズのビットイメージ(33)を発生し、第２のスケーリングは、表示されるべきサイズの第２ビットイメージ(21)を発生し、更に、この表示されるべきビットイメージ(21)をエンハンスするような方法において、イメージの異なる特性に関連した少なくとも２つのエンハンシングアルゴリズムを含むエンハンシングチェーン(29)を使用して前記第２ビットイメージ(21)をエンハンスすることを特徴とする方法。
【請求項２】
前記エンハンシングチェーンは、次のステップ、即ちカラー及びコントラストエンハンスメント、シャープ化、イメージをディスプレイのカラー空間に適合させるカラーマネージメント、及びディザ処理、のうちの少なくとも１つを含む、請求項１に記載の方法。
【請求項３】
前記中間イメージを、第２サイズの仮想イメージへスケーリングし、表示される部分だけをディスプレイに対して処理してカットする、請求項１又は２に記載の方法。
【請求項４】
前記仮想イメージをパンして、最終的にカットされたイメージを選択する、請求項３に記載の方法。
【請求項５】
ビットイメージをオープンする前にメモリの最大使用可能量を検出し、そして装置の使用可能なメモリに基づいて前記中間イメージ(33)のサイズを前記最大サイズの２５−１００％にセットする、請求項１から４のいずれかに記載の方法。
【請求項６】
前記中間イメージ及び／又は最終的なイメージは、ユーザが当該領域を選択すると、より良好なアルゴリズムで再処理する、請求項１から５のいずれかに記載の方法。
【請求項７】
前記イメージデータを第１スケーリング中に分析して、分析データを得、これを、第２スケーリングの後に、表示されるべきイメージのピクセルベースのエンハンシングに使用する、請求項１から６のいずれかに記載の方法。
【請求項８】
ユーザが１つのオリジナルイメージからカットされたイメージをブラウジングするものにおいて、前記中間イメージを一度だけオープンし、前記カットされたイメージを、同じ中間イメージから処理する、請求項１から７のいずれかに記載の方法。
【請求項９】
多数のイメージを受け取ってブラウズし、最終的に見るための１つを選択するものにおいて、イメージを高速ブラウジングするための第１組と、最終的に見るための第２の、より正確なスケーリングの組との２組のアルゴリズムを使用する、請求項１から８のいずれかに記載の方法。
【請求項１０】
ディスプレイ(14)と、メモリと、ビットイメージのための処理手段と、ビットイメージを受け取る入力装置とを備えた移動ステーション(12)のディスプレイ(14)に表示されるイメージを見てエンハンスするシステムであって、ビットイメージを受け取り、２段階スケーリングを使用してより小さなスケールへと処理し、該２段階スケーリングは、中間イメージ(33)を得るための第１スケーリング(31)と、表示されるべきビットイメージ(21)を得るための第２スケーリング(20)とを含むものであるシステムにおいて、イメージの異なる特性に関連した少なくとも２つのエンハンスメントアルゴリズムが存在するエンハンシングチェーン(29)を使用して前記中間イメージ(33)をエンハンスする手段も備えたことを特徴とするシステム。
【請求項１１】
前記エンハンスする手段は、カラー及びコントラストのエンハンス手段(22)、シャープ化手段(24)、イメージをディスプレイのカラー空間に適合させるカラーマネージメント手段(26)、又はディザ処理手段(28)、のうちの少なくとも１つを含む、請求項１０に記載のシステム。
【請求項１２】
前記処理手段は、イメージをパンし(48)及びカットする要素を含む、請求項１０又は１１に記載のシステム。
【請求項１３】
前記処理手段は、イメージを高速ブラウジングするための第１組と、最終的に見るためのより正確なスケーリングを行う第２組との２組のアルゴリズムを実行するプログラム可能な手段を備えた、請求項１０から１２のいずれかに記載のシステム。
【請求項１４】
前記システムは移動電話を備えた、請求項１０から１３のいずれかに記載のシステム。
【請求項１５】
ビットイメージを示すためのディスプレイ(14)と、ビットイメージを受け取るための入力装置と、メモリと、ビットイメージの処理手段とを備えた移動ステーション(12)においてイメージを見てプログラム式に改善するための方法であって、
− 受け取ったビットイメージを、選択されたアルゴリズムを使用して、到着するビット流から、メモリの第１エリアにおいて中間サイズ(33)へ直接的にスケーリングするステップと、
− 前記中間ビットイメージを、選択されたアルゴリズムを使用して、第２メモリエリア、又は前記ディスプレイのメモリにおいて、表示されるべき最終的なサイズ(21)へスケーリングするステップと、
を備えた方法において、更に、
− 前記表示されるべきビットイメージ(21)を、前記第２メモリエリア又はディスプレイのメモリにおいて、イメージの異なる特性に関係した少なくとも２つのアルゴリズム(22,24,26,28)を使用して、処理するステップ、
を備えた方法。
【請求項１６】
請求項１に記載の方法を実施するためのプログラム製品であって、コンピュータ読み取り可能なプログラムコードコンポーネントが記憶されるコンピュータ読み取り可能なメモリ媒体を備え、前記コンポーネントが、
− ビット流を受け取りそしてそれを第１メモリエリアにおいて選択されたサイズのビットイメージとして直接的にスケーリングするためのプログラム式に実施される第１コンポーネントと、
− 前記ビットイメージを第２メモリエリアに対してディスプレイサイズへとスケーリングするためのプログラム式に実施される第２コンポーネントと、
− 異なる特性に関連した少なくとも２つのイメージエンハンスメントアルゴリズムを使用して前記第２メモリエリアにおいてビットイメージを処理するためのプログラム式に実施される第３コンポーネントと、
を含むものであるプログラム製品。
【請求項１】
イメージを示すためのディスプレイ(14)と、メモリと、ビットイメージのための処理手段と、ビットイメージを受け取る入力装置とを備えた移動装置(12)においてイメージを見てエンハンスする方法であって、ビットイメージを受け取り、予め選択されたスケーリングアルゴリズムを使用して２つの段階(31,32)でより小さなスケールへと処理し、第１のスケーリングは、中間サイズのビットイメージ(33)を発生し、第２のスケーリングは、表示されるべきサイズの第２ビットイメージ(21)を発生し、更に、この表示されるべきビットイメージ(21)をエンハンスするような方法において、イメージの異なる特性に関連した少なくとも２つのエンハンシングアルゴリズムを含むエンハンシングチェーン(29)を使用して前記第２ビットイメージ(21)をエンハンスすることを特徴とする方法。
【請求項２】
前記エンハンシングチェーンは、次のステップ、即ちカラー及びコントラストエンハンスメント、シャープ化、イメージをディスプレイのカラー空間に適合させるカラーマネージメント、及びディザ処理、のうちの少なくとも１つを含む、請求項１に記載の方法。
【請求項３】
前記中間イメージを、第２サイズの仮想イメージへスケーリングし、表示される部分だけをディスプレイに対して処理してカットする、請求項１又は２に記載の方法。
【請求項４】
前記仮想イメージをパンして、最終的にカットされたイメージを選択する、請求項３に記載の方法。
【請求項５】
ビットイメージをオープンする前にメモリの最大使用可能量を検出し、そして装置の使用可能なメモリに基づいて前記中間イメージ(33)のサイズを前記最大サイズの２５−１００％にセットする、請求項１から４のいずれかに記載の方法。
【請求項６】
前記中間イメージ及び／又は最終的なイメージは、ユーザが当該領域を選択すると、より良好なアルゴリズムで再処理する、請求項１から５のいずれかに記載の方法。
【請求項７】
前記イメージデータを第１スケーリング中に分析して、分析データを得、これを、第２スケーリングの後に、表示されるべきイメージのピクセルベースのエンハンシングに使用する、請求項１から６のいずれかに記載の方法。
【請求項８】
ユーザが１つのオリジナルイメージからカットされたイメージをブラウジングするものにおいて、前記中間イメージを一度だけオープンし、前記カットされたイメージを、同じ中間イメージから処理する、請求項１から７のいずれかに記載の方法。
【請求項９】
多数のイメージを受け取ってブラウズし、最終的に見るための１つを選択するものにおいて、イメージを高速ブラウジングするための第１組と、最終的に見るための第２の、より正確なスケーリングの組との２組のアルゴリズムを使用する、請求項１から８のいずれかに記載の方法。
【請求項１０】
ディスプレイ(14)と、メモリと、ビットイメージのための処理手段と、ビットイメージを受け取る入力装置とを備えた移動ステーション(12)のディスプレイ(14)に表示されるイメージを見てエンハンスするシステムであって、ビットイメージを受け取り、２段階スケーリングを使用してより小さなスケールへと処理し、該２段階スケーリングは、中間イメージ(33)を得るための第１スケーリング(31)と、表示されるべきビットイメージ(21)を得るための第２スケーリング(20)とを含むものであるシステムにおいて、イメージの異なる特性に関連した少なくとも２つのエンハンスメントアルゴリズムが存在するエンハンシングチェーン(29)を使用して前記中間イメージ(33)をエンハンスする手段も備えたことを特徴とするシステム。
【請求項１１】
前記エンハンスする手段は、カラー及びコントラストのエンハンス手段(22)、シャープ化手段(24)、イメージをディスプレイのカラー空間に適合させるカラーマネージメント手段(26)、又はディザ処理手段(28)、のうちの少なくとも１つを含む、請求項１０に記載のシステム。
【請求項１２】
前記処理手段は、イメージをパンし(48)及びカットする要素を含む、請求項１０又は１１に記載のシステム。
【請求項１３】
前記処理手段は、イメージを高速ブラウジングするための第１組と、最終的に見るためのより正確なスケーリングを行う第２組との２組のアルゴリズムを実行するプログラム可能な手段を備えた、請求項１０から１２のいずれかに記載のシステム。
【請求項１４】
前記システムは移動電話を備えた、請求項１０から１３のいずれかに記載のシステム。
【請求項１５】
ビットイメージを示すためのディスプレイ(14)と、ビットイメージを受け取るための入力装置と、メモリと、ビットイメージの処理手段とを備えた移動ステーション(12)においてイメージを見てプログラム式に改善するための方法であって、
− 受け取ったビットイメージを、選択されたアルゴリズムを使用して、到着するビット流から、メモリの第１エリアにおいて中間サイズ(33)へ直接的にスケーリングするステップと、
− 前記中間ビットイメージを、選択されたアルゴリズムを使用して、第２メモリエリア、又は前記ディスプレイのメモリにおいて、表示されるべき最終的なサイズ(21)へスケーリングするステップと、
を備えた方法において、更に、
− 前記表示されるべきビットイメージ(21)を、前記第２メモリエリア又はディスプレイのメモリにおいて、イメージの異なる特性に関係した少なくとも２つのアルゴリズム(22,24,26,28)を使用して、処理するステップ、
を備えた方法。
【請求項１６】
請求項１に記載の方法を実施するためのプログラム製品であって、コンピュータ読み取り可能なプログラムコードコンポーネントが記憶されるコンピュータ読み取り可能なメモリ媒体を備え、前記コンポーネントが、
− ビット流を受け取りそしてそれを第１メモリエリアにおいて選択されたサイズのビットイメージとして直接的にスケーリングするためのプログラム式に実施される第１コンポーネントと、
− 前記ビットイメージを第２メモリエリアに対してディスプレイサイズへとスケーリングするためのプログラム式に実施される第２コンポーネントと、
− 異なる特性に関連した少なくとも２つのイメージエンハンスメントアルゴリズムを使用して前記第２メモリエリアにおいてビットイメージを処理するためのプログラム式に実施される第３コンポーネントと、
を含むものであるプログラム製品。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公表番号】特表２００８−５０１１７０（Ｐ２００８−５０１１７０Ａ）
【公表日】平成２０年１月１７日（２００８．１．１７）
【国際特許分類】
【出願番号】特願２００７−５１３９８７（Ｐ２００７−５１３９８７）
【出願日】平成１７年５月３０日（２００５．５．３０）
【国際出願番号】ＰＣＴ／ＦＩ２００５／０５０１８０
【国際公開番号】ＷＯ２００５／１１６９２２
【国際公開日】平成１７年１２月８日（２００５．１２．８）
【出願人】（３９８０１２６１６）ノキア コーポレイション (1,359)
【Ｆターム（参考）】
【公表日】平成２０年１月１７日（２００８．１．１７）
【国際特許分類】
【出願日】平成１７年５月３０日（２００５．５．３０）
【国際出願番号】ＰＣＴ／ＦＩ２００５／０５０１８０
【国際公開番号】ＷＯ２００５／１１６９２２
【国際公開日】平成１７年１２月８日（２００５．１２．８）
【出願人】（３９８０１２６１６）ノキア コーポレイション (1,359)
【Ｆターム（参考）】
[ Back to top ]