低減された画像バッファメモリおよびサービスセンターを通した再利用のための最小限の処理を有するデジタルカメラ
取り込み機能、処理機能および保存機能が既存システムとは異なって分割されたデジタルカメラシステムを提供する。手持ち式デジタルカメラは、商業用画像処理サービスセンターに存在し得るワークステーションと共に使用される。最小限の量の画像データ処理がデジタルカメラにおいて実行され、その結果、より低いメモリ要件、より低い処理要件およびより低いパワー要件に起因して、デジタルカメラの原価のかなりの低減が可能になる。生または最小限処理された画像データの迅速な収集および保存を可能にするため、リアルタイムシングルパス画像圧縮手法がこのデジタルカメラ内部で使用される。画像データが転送されるワークステーションは、既存のカメラ内部で通常行われる画像処理を実行する。この処理は、小型カメラと比較して、このようなワークステーションにおいて持つことが可能な増大された計算パワーおよびこのような処理を実行し得る増大された時間を利用する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に手持ち式デジタルカメラおよびその使用方法に関し、より詳細には、簡略化された電子システムおよびカメラにより取り込まれた画像のデータが転送されるワークステーションによって代わりに実行される最小限の画像処理を有するこのようなカメラに関する。
【背景技術】
【０００２】
電子カメラは、電荷結合素子（ＣＣＤ）、相補型メタルオンシリコン（ＣＭＯＳ）素子または他のタイプの光センサのような２次元センサ上に場面を結像する。これらの素子は、要素に当たる（可視光波長に隣接するスペクトルの赤外および紫外領域を含む）光または他の光学放射の強度に比例する信号を個別に生成する小さい２次元表面全体にわたって配置された多数（典型的には、２００万、３００万、４００万個以上）の光検出器を含んでいる。画像の画素を形成するこれらの要素は典型的には、ラスタパターンで走査され、それらが走査される際に、センサ要素に次々に当たる放射の強度データの連続した流れを発生する。色データは、センサ全体にわたって交互に分布された（赤、緑および青のような）別個の色成分の各々に敏感な光検出器を用いて得られるのが最も一般的である。
【０００３】
このような電子カメラの普及形状は、スチール写真「スナップショット」あるいは動画を形成する一連のフレームのいずれかとして多数の写真フレームのデータを記録する小型の手持ち式デジタルカメラである。磁気テープカートリッジまたはフラッシュメモリカードのような取り外し可能な不揮発性メモリに保存する前に、各フレームのデータに対してかなりの量の画像処理がカメラ内で実行されるのが典型的である。処理されたデータは、カメラ外面の液晶表示（ＬＣＤ）機器上で表示されるのが典型的である。各写真フレームについてのデータにより占められる保存容量を低減するために、処理されたデータが、不揮発性メモリへの保存の前に圧縮されるのも典型的である。
【０００４】
画像センサにより取得されたデータは、カメラの欠陥を補償し、データから得ることができる画質を一般に改善するために処理されるのが典型的である。センサのいずれかの不良画素光検出器要素の補正は、１つの処理機能である。別の機能は、原色の種々の画素の相対的な大きさが白色を表すように設定されるホワイトバランス補正である。この処理は、画像データ中の重ね合わせられた多色画素を低減するためにセンサの空間的に離れた単色画素検出器からのデータを重ね合わせるように個別の画素データをデモザイキングすることも含む。次に、このデモザイキングは、画像のエッジを強調および平滑化するようにデータを処理することを望ましくする。画像全体にわたるカメラ光学系のノイズと変動およびセンサ光検出器間の変動についての画像データの補償も、カメラ内で実行されるのが典型的である。他の処理としては、ガンマ補正、コントラスト伸張処理、クロミナンスフィルタリングなどのうちの１つ以上が含まれるのが典型的である。これらの画像処理機能のいくつかおよびその他の機能が、ロバート・クレメンスの概論「カメラ画像処理の基礎」（２００１年５月，ロチェスター技術研究所（Ｒ．Ｉ．Ｔ．），イメージング・サイエンス・センター，デジタル・イメージング・アンド・リモート・センシング・グループおよびピクセルフィジクス インコーポレイテッドによりインターネット上で利用可能にされた）（非特許文献１）の中に記載されている。カメラのＬＣＤスクリーン上に表示されるのは処理されたデータであり、これにより表示される画像は、保存されたデータが後に表示または印刷される場合に見えるのと同じようにユーザに見える。
【０００５】
処理されたデータも、カメラに含まれるフルフレームバッファメモリに保存されるのが典型的である。次に、データは、データ圧縮アルゴリズムによる圧縮のためにこのバッファメモリから読み取られる。単一のフレームは、圧縮データファイルが何らかの設定限界より小さい全体サイズのような何らかの所定の基準に適合するまで、種々の圧縮アルゴリズムパラメータを使用して何回も圧縮し得る。従って、フルフレームの非圧縮データは、この圧縮処理が行われるのに必要な期間、バッファメモリ内に保存される。このようなバッファは、カメラ内のプロセッサチップとは別の集積回路チップ上の揮発性メモリにより実装されるのが典型的であり、非常に高速なアクセスタイムを有するように選ばれる。
【０００６】
スチール写真を撮るための再利用可能な使い捨て手持ち式デジタルカメラも利用可能である。このようなカメラは、通常のデジタルカメラの価格よりもずっと低価格でエンドユーザにより購入される。このようなカメラは、その内部の不揮発性メモリが一杯になる枚数の写真が撮られるまで、通常のデジタルカメラと同じようにエンドユーザにより使用される。この時点で、エンドユーザは、保存された写真を処理するためにその再利用可能なカメラをサービスセンターに返却する。その後、写真は、ハードコピープリントとして、またはディスクもしくはコンパクトディスク（ＣＤ）のような標準保存媒体でエンドユーザに返される。次に、カメラは、サービスセンターまたはカメラ製造業者によりその内部メモリの消去を含む改装を施され、カメラ店、ドラッグストアなどの小売販売箇所へ戻されて再販売され、それゆえに用語「再利用可能」が用いられる。再利用可能なデジタルカメラは、写真保存用の内部電子メモリのみを有する。このカメラは、どのような取り外し可能な保存メモリも、取り込まれた画像をユーザが表示するためのどのような手段も、保存された写真をパーソナルコンピュータに転送してそれらをエンドユーザが回収するためのどのような手段も有していない。保存された写真は、サービスセンターに利用可能な手段を用いてサービスセンターにより回収され得るのみである。再利用可能なデジタルカメラは、その製造モデル、用法、処理および販売箇所へのリサイクルにおいて、使い捨て写真フィルムカメラと似ている。このビジネスモデルが成り立つために、再利用可能なデジタルカメラは、製造が安価となるように設計されると、同時に、サービスセンターによりエンドユーザに渡される写真の質が高くなるようにされる。現在、再利用可能なデジタルカメラは、前述した通常のデジタルカメラにおいて用いられる方法と同一または非常に類似した写真データの取り込みおよび保存の方法を用いている。
【０００７】
再利用可能なカメラにおいて写真データ圧縮が利用されるので、カメラに保存され得る写真の枚数は、このカメラを大きい内部不揮発性メモリの費用なしでエンドユーザにとり魅力的なものにするのに十分である。圧縮は、結果として生じる圧縮された写真が大多数のデジタルカメラにより使用される標準形式、すなわちＪＰＥＧ標準形式であるような方法を用いて実行される。サービスセンターは、顧客の要求に応じて、これらのＪＰＥＧ形式画像ファイルからのハードコピープリントまたはＪＰＥＧ形式の写真が入ったコンピュータ可読媒体あるいはその両方を作製する。
【非特許文献１】ロバート・クレメンスの概論「カメラ画像処理の基礎」（２００１年５月，ロチェスター技術研究所（Ｒ．Ｉ．Ｔ．），イメージング・サイエンス・センター，デジタル・イメージング・アンド・リモート・センシング・グループおよびピクセルフィジクス インコーポレイテッドによりインターネット上で利用可能にされた）
【非特許文献２】「サイエンス・ニュース」，第１６３巻，第１３号，２００３年３月２９日，２００ページ
【発明の開示】
【０００８】
本発明の１つの主要な態様によれば、カメラ内のセンサからのデジタル画像を最終的にエンドユーザに引き渡される形式に変換するプロセスは、カメラプロセッサと商業サービスセンターにおけるワークステーションのようなデータ処理ワークステーションとの間で、カメラにおいてなされる処理の量および複雑度を最小限にするように分割される。本発明は、デジタルカメラ内で従来実行されていた画像処理の全部または大半をワークステーションに移管することによりこれを行う。画像センサの信号出力の生またはほぼ生のデジタルデータあるいはそれの圧縮されたバージョンが取得され、カメラ内に保存され、次にワークステーションに転送される。この画像データに加えて、データが転送されるワークステーションによる処理を容易にするために、各種サポートデータを画像データと共にカメラ内に保存し得る。このようなサポートデータは、事前のカメラ較正から、カメラ内の付加的センサから、異なる条件下で撮られた第２の画像から導き出したり、あるいはカメラ内での画像データ自体の分析から得ることができる。カメラの複雑度およびコストをこのようにして低減することに加えて、ワークステーションも、デジタルカメラに含めるには高価すぎたり、物理的に大きすぎたり、時間がかかりすぎたり、電力を消費しすぎるたりすると考えられていたより強力な処理を提供できる。これにより、質がかなり改善された写真が、複雑度およびコストが低減されたデジタルカメラを用いてエンドユーザによって得られるという結果になる。
【０００９】
本発明の別の主要な態様によれば、画像デジタルデータは、カメラ内でリアルタイムでかつ取得されたセンサデータを通るシングルパスで、やはりデジタルカメラの複雑度およびコストを低減するやり方で圧縮される。カメラのプロセッサに実装される圧縮方法は、Joint Photographic Experts Group（ＪＰＥＧ）標準などの標準への準拠の規定に制約されない。というのは、ワークステーションは、このようなカメラからの圧縮データを受け取るように補完的に構成できるが、ＪＰＥＧ圧縮の利点はそれでもなお実現できるからである。センサから受け取られたデジタル画像フレーム全体は、ほとんどのデジタルカメラにおいて一般に行われているように、圧縮に先立って、画像フレームバッファメモリ内に保存される必要がない。代わりに、画像フレームのデジタル化データの小さい部分のみが圧縮に先立って保存される必要がある。このようにして、圧縮に先立つ画像の保存に通常用いられる別個のデジタルメモリ集積回路チップをカメラから普通に取り除くことができ、従って、その複雑度が低減され、別個のメモリによって課される操作上の制約が排除され、製造コストが低減される。画像フレーム全体の一時的保存が仮にも必要とされるのであれば、それは、画像フレームの圧縮に先立つ画像フレームのずっと大量のデータではなく、低減されたサイズの圧縮写真フレームの保存にすぎない。従って、一時的画像データ保存の全必要量はかなり低減することができる。サービスセンターのワークステーションにおいてまたは別の方法で、取り込まれた画像作業製品を保存するために使用されるデジタルカメラ内の不揮発性メモリから圧縮写真が回収され、復元される。復元後、ワークステーションは、画質を最適化し、カメラにおける欠点を補正するための画像データの処理、すなわち前に概説したような市販のデジタルカメラが現在行っているすべての処理およびそれ以上の処理を完了する。次に、復元および処理された画像データは、カラープリンタによる利用、ＣＤまたはＤＶＤへの書き込み、あるいは何か他の最終用途のための形にされる。データをＣＤ書き込み用標準形式ファイルにする場合、ワークステーションは、データをＪＰＥＧ形式標準などの規格に圧縮することにより写真を処理する。
【００１０】
本発明のさらなる態様によれば、デジタルカメラは、同じ場面の少なくとも２つの写真を高速連写し、次に２つの画像のデータを処理して、取得された画像のいずれかの品質よりも優れた品質を有する共通の対象場面の単一画像を生成するように構成することができ、これにより取得された画像における欠点の補正および／またはカメラの制限が補償される。例えば、手持ち式カメラによる２つの連続した露出間で確実に生じる極めて小さいシフトである２つの露出間の少なくとも１つの画素だけカメラセンサ上の画像がシフトされる場合、画像センサの不良画素の画像への影響が除去され得る。不良センサ画素の影響を含む一方の画像の部分のデータは、他方の画像により取得された対象場面の同じ部分のデータにより置き換えられ、この他方の画像は、ピクチャ間のカメラの動きのために、異なるセンサ画素により取得される。センサ、カメラ光学部品類および電子システムの固定パターンノイズの影響は同じ方法で補正し得る。このようにしてこれらの補正を行う利点は、これらの補正が動的であることである。すなわち、センサまたは光学部品類における経時的変化は、それらを別個に測定する必要なく自動的に補正される。別の例は、異なる露出条件下で同じ対象場面の２つ以上の画像を取得し、次にそれらを結合することにより、カメラセンサの光感応ダイナミックレンジを増大させることである。これにより、飽和されているセンサ画素のために、大部分が暗いかまたは明るい取得された画像の部分の細部の復元が可能になる。さらに、露出の間に動くカメラによってぼやけた画像細部は、２つのこのような露出を急速に連続して行い、次に両方の画像のデータを逆スミアリングアルゴリズムで処理することにより鮮明にし得る。
【００１１】
前述した本発明の態様および特徴は、用途に応じて個別にまたは様々に組み合わせて一緒に実装し得る。さらに、本発明の付加的な態様、利点および特徴は、添付図面と共に解釈されるべきである以下の代表的な実施例の説明に含まれる。本願明細書中で参照されるすべての特許、特許出願、記事およびその他の刊行物は、この参照によりすべての目的について本願明細書においてその全体が援用されている。
【発明を実施するための最良の形態】
【００１２】
手持ち式カメラの形の代表的なビデオ取得データ機器が図１の概略図に示されている。このカメラは、ケース１１、撮像光学系１３およびライン１９を介してプロセッサ１７と通信するユーザインターフェイス１５を含むことが概略的に示されている。インターフェイス１５は、カメラの操作および状態インジケータだけでなく、ユーザ操作スイッチおよび制御装置を含んでいる。ライン２２を介してプロセッサ１７により制御されるオプションの光フラッシュユニット２１も含まれ得る。このような手持ち式デジタルカメラは小さくすることができ、カメラ本体は、長さ１４ｃｍ×高さ５ｃｍ×厚さ５ｃｍ未満の寸法を有し、８×４×２ｃｍ未満といっそう小さくすることができ、通常本体から突出するレンズを備える。
【００１３】
光学系１３は、図に示されているように単一レンズとすることができるが、通常は一組のレンズである。場面２５の画像２３は、調節可能な開口２７およびシャッター２９を介して可視光学放射として画像センサ３１の２次元表面上に形成される。センサ３１の電気的出力３３は、画像２３が投射されるセンサ３１の表面の個別の光検出器を走査した結果得られるアナログ信号を伝える。センサ３１は典型的には、画像２３の個別の画素を検出するために行および列の２次元配列で配置された多数の個別の光検出器を含んでいる。個別の光検出器に当たる光の強度に比例する信号は、典型的には光検出器をラスタパターンで走査することにより、時系列的に出力３３中で得られ、その場合、光検出器の行は、最上行から始めて、左から右へ一度に１個走査されてビデオデータのフレームを生成し、このフレームから画像２３を再構成することができる。アナログ信号３３は、画像２３の回路内のデジタルデータ３７を生成するアナログ・デジタル変換回路チップ３５に印加される。典型的には、回路内の信号３７は、センサ３１の個別の光検出器に当たる光の強度を表すデジタルデータの一連の個別のブロックである。
【００１４】
図１の代表的なカメラにおいて、プロセッサ１７は、システムクロックを含み、クロック信号がプロセッサによりセンサ３１およびアナログ・デジタル変換器３５にライン３９を介して供給される。センサ３１およびプロセッサ１７の動作を同期させるための付加的なタイミング信号もプロセッサ１７において発生され、ライン４１を介してセンサ３１に供給される。また、別個のシステムクロックを使用してもよく、かつ／または同期タイミング信号をセンサ３１において発生してプロセッサ１７に代わりに供給してもよい。プロセッサチップ１７は、可変開口２７、シャッター２９およびカメラのその他の構成要素を制御するため、制御および状態ライン４３を介してそれらに接続される。
【００１５】
カメラにより取り込まれた画像のデータは、カメラ内に装備された不揮発性メモリ４５に保存し得る。メモリ４５は、商業的に利用可能な半導体フラッシュ式の電気的に消去可能でプログラム可能なリード・オンリー・メモリ（ＥＥＰＲＯＭ）、小形の取り外し可能な回転磁気もしくは光ディスク、磁気テープ、バッテリーバックアップを有する揮発性半導体メモリまたはセンサ３１により取得された画像フレームのビデオデータを保存することができる他の不揮発性メモリとすることができる。データの多数の個別のフレームのデータは、センサ３１がこれらのデータを取得する際に、プロセッサ１７からライン４７を介してメモリ４５にプログラムされる。制御ライン４９は、プロセッサ１７がメモリ４５の動作を制御できるようにする。画像データのその後の処理に有用または必要な付加的な画像サポートデータも、それらがサポートする画像フレームデータと共にライン５１を介してメモリ４５にプログラムされる。他のところで説明されたように、カメラのコストを最小限にするために、メモリ容量が消尽される前に十分な数の画像フレームをカメラが取り込みおよび保存するができるようにするため、合理的なサイズのメモリ４５への保存の前にデータを圧縮することが望ましいことを除けば、図１のカメラにおいて画像データの処理はほとんどまたは全く実行されない。
【００１６】
メモリ４５は、フラッシュメモリカードまたは取り外し可能な小型ハードディスクシステムを使用することによりカメラから物理的に取り外し可能にすることができるが、この例におけるメモリ４５は、カメラケース１１内に恒久的に設置されている。ユーザがカメラから画像フレームデータを転送したい場合、転送は、メモリ４５から読み出されたデータをライン５５を通して受け取る通信機器５３を介して行われる。通信機器５３は、画像処理ワークステーションへのケーブルが接続可能なソケット、赤外デジタルデータ送信機器、無線周波数信号送信機、またはその他のタイプのワイヤレスデータ通信リンクなどのいくつかの異なる形態を取ることができる。
【００１７】
図２に関連して、カメラのメモリ４５から読み取られた画像データを処理するためのワークステーションが一般的に示される。カメラの通信機器５３と補完関係にある通信機器５７がカメラからデータを受け取る。これは、ケーブル、赤外送信、無線周波数送信などによることができる。プロセッサ５９が、受け取られた画像データを処理する。このプロセッサは、パーソナルコンピュータ、ネットワークサーバーなどとすることができる。次に、処理された画像データは、このデータを利用する何らかの機器６１に掛けられる。機器６１は、画像データのプリントを提供するカラープリンタあるいはＣＤもしくはＤＶＤバーナー、磁気ディスク駆動装置、フラッシュメモリカードまたは磁気テープ駆動装置などの画像データを保存する何か他の不揮発性メモリ機器とすることができる。カメラのメモリ４５内に保存された画像データが圧縮されていれば、プロセッサ５９はデータを復元する。しかし、プロセッサ５９の主要な機能は、通常デジタルカメラにおいては実行されるが図１の低コストのカメラにおいては実行されない画像処理を実行することである。カメラ外部のコンピュータで利用可能な付加的な処理パワーおよび時間により、このような画像処理をより適切に実行することが可能になり、手持ち式デジタルカメラにおいては現在実行されない他のタイプの処理をすることも可能になる。プロセッサ５９によりなされる処理は、利用機器６１ともインターフェイスし、例えば、機器６１がプリンタを含む場合にはソフトウェアプリンタドライバを含み、機器６１がＣＤまたはＤＶＤ保存ユニットを含む場合には通常のＪＰＥＧ圧縮を含むなどである。
【００１８】
図３は、再利用可能なカメラとしての図１の簡略化されたデジタルカメラの１つの使用を示す。このようなカメラ６３は当初個人ユーザにより小売店から購入される。その内部不揮発性メモリ４５が、ユーザが撮った写真のデータにより容量が満たされた後、ユーザはカメラ６３を、図２に関して前述されたワークステーションを備える商業的処理センターに持って行き、引き渡す。次に、カメラ６３の不揮発性メモリ内に保存された画像データがメモリから読み出され、ワークステーションのメモリに読み込まれる。次に、これらのデータは、手持ち式デジタルカメラ内で現在行われている方法で画像を補正および強調するため、以下で説明されるやり方で処理される。というのは、この処理は、図１のカメラ６３から省略された設計によるものだからであり、さらにそれ以上の処理がなされる。次に、ユーザが注文した通りの写真プリント、画像データがＪＰＥＧ圧縮フォームで保存されたＣＤなどがデータから作製される。次に、カメラ６３のメモリ４５は処理センターにより消去され、カメラは、別のユーザによる購入のために小売店に送られる。
【００１９】
図３に示される処理センターは商業施設であり、本発明のデジタルカメラのユーザは、自分のカメラをそこに持ち込んでデータを画像処理ワークステーションにダウンロードし、画像処理サイクルを完了し、ハードコピープリントおよび／またはリンクされたサポートデータにより増強されたデジタル画像データから得られた標準デジタル画像ファイルが保存されたディスク、ＣＤもしくはＤＶＤなどの保存媒体を入手する。デジタルカメラは、再利用可能なカメラであり、写真保存用の内部電子メモリのみを有し、取り外し可能な保存メモリを全く有さず、保存された写真をパーソナルコンピュータまたは何らかの他の機器に転送することによりカメラユーザが回収するための手段を全く有さず、サービスセンターまたはカメラ製造業者により改装されて、販売箇所へ返送されて再販売されるように設計されているのであれば、このような一連のステップがたどられる。
【００２０】
しかし、この使用モデルは必ずしもそうである必要はない。エンドユーザにより使用される図１のデジタルカメラが、リンクされたサポートデータにより増強されたデジタル画像データを、別の機器または取り外し可能な不揮発性メモリにダウンロードするためのＵＳＢ２．０またはＩＥＥＥ１３９４インターフェイスなどの標準手段を含んでいれば、本発明の画像処理ワークステーションは、商業施設に設置される必要はない。代わりに、ワークステーションは、エンドユーザの家庭に置くことができ、ＣＤ、ＤＶＤ−ＲまたはＲＷ記録能力を有する適切な画像処理ソフトウェアが搭載されたＵＳＢ互換パーソナルコンピュータの形態を取ることができる。ワークステーションは、本願明細書中で説明された原理に基づく画像処理ソフトウェアを搭載するＵＳＢインターフェイスまたは取り外し可能なメモリンターフェイスコネクタを備えるＤＶＤレコーダの形態も取ることができる。このようなＤＶＤレコーダは、エンドユーザが処理サイクルを完了し、ユーザの画像データを１つ以上の標準画像形式に方式変換できるようにするユーザインターフェイスを付加的に含み、これらの形式の少なくとも１つは、どのＤＶＤプレーヤーでも再生可能である。このようなＤＶＤレコーダ上でのＵＳＢまたはＩＥＥＥ１３９４インターフェイスの存在により、現在消費者に利用可能な多くのカラープリンタの１つにおいてエンドユーザが自分の処理された画像データのハードコピープリントを作成することがさらに可能になる。
【００２１】
図１のカメラの構造および動作のさらなる詳細を説明する。センサ３１は、電荷結合素子（ＣＣＤ）、相補型メタルオンシリコン（ＣＭＯＳ）素子または他の同様なタイプの光センサとすることができる。多数の光検出器要素（典型的には、２００万、３００万および４００万個以上）が、小さい２次元表面全体にわたって配置され、要素に当たる光または他の光学放射（可視光線波長に隣接するスペクトルの赤外および紫外領域を含む）の強度に比例する信号を個別に発生する。画像の画素を検出するこれらの要素は典型的には、ラスタパターンで走査されて、それらが走査される際に、光検出器要素に次々に当たる放射の強度を与える出力３３中の連続したアナログ信号を発生する。色データは通常、光検出器の前にあり、赤、緑および青のような別個の色成分の１つに対する光検出器の感度を制限する濾光器を使用して提供される。
【００２２】
図４は、１つの広く使用される基準に従って、センサ３１内で利用し得る色モザイク中の画像２３の個別の画素の感光検出器の２次元配列の一部分を例示する。一つおきの行６５は各々、緑（ＧR ）および赤（Ｒ）を交互に感知する光検出器を含んでいるのに対して、その間の行の光検出器は、青（Ｂ）および緑（ＧB ）を感知する。目は緑に対してより敏感なので、緑を感知する光検出器は、赤または青を感知する光検出器の２倍ある。緑を感知する光検出器は配列全体にわたって同じであるが、赤の行中のものを青の行中のものからそれぞれ区別するために、行６５中のものはＧR と表記され、行６７中のものはＧB と表記される。本願明細書中で説明される例において、赤の行中の緑感知光検出器からのデータは、青の行中のものとは別個に扱われる。
【００２３】
カメラの複雑度とコストを最小限にするために、画像処理は図１のカメラから完全またはほぼ完全に省かれるが、画像データを不揮発性メモリ４５に保存する前に、その画像データを圧縮することが目下のところ望ましい。これにより、非常に大容量のメモリのコストを招く必要なくカメラを商業的に望ましいものにするメモリ４５に十分な数の画像のデータを保存することが可能になる。メモリのコストが低下し続けると、これは変わることが考えられ、その場合には、センサ３１からの原色データは、デジタル化された後、わずかな付加的処理と共にまたは付加的処理なしでメモリ４５に直接保存される。しかし、本願明細書中の例は、図１のカメラ内での画像データ圧縮に備えるものである。
【００２４】
カメラにおける使用について本願明細書中に記載されている圧縮アルゴリズムは、ＪＰＥＧ圧縮アルゴリズムの修正形である。図５を参照すると、センサ配列の光検出器からのデータは、設定数の光検出器の行および列をそれぞれ含むセンサ３１の配列のブロックから得られるデータにグループ化される。示される例において、各ブロックは、８つの行と８つの列とを含むが、代わりに、他の数の行または列がブロック中にあるように定義することができる。この例において、各ユニット内のＲ、ＧR、ＢおよびＧB画素からのデータは、別個に圧縮されてメモリ４５内に保存される。
【００２５】
この画像データ圧縮は、図６により概念的に例示される。好ましくはすべて単一の集積回路チップ上にあるプロセッサ１７の一部である小さい揮発性バッファメモリは、アナログ・デジタル変換器３５からの画像画素データのストリームを受け取る。このデータは、センサ３１の配列を横切る順序で画像フレームのラインについて、Ｒ／ＧR 画素およびＢ／ＧB 画素のラインについて交互に、受け取られた通りに書き込まれる。図６のこの例において、ディスプレイのすべての列を横切って、処理ユニットの数の画像ラインについて十分なデータがバッファ７１にひとたび取り込まれると、書き込みとは異なる順番でのバッファ７１からのデータの読み取りが、圧縮処理のために開始され、すでに取り込まれたライン以下の他のラインからのデータがバッファに書き込まれるにつれて継続される。図６に示されているように、データ圧縮機能７７〜８０が、バッファの第１のセクション７３に保存される画像フレームデータの８つのラインから読み取られるデータに対して実行される一方で、次の８つのラインのデータが第２のセクション７５に書き込まれる。その後、データは圧縮のために第２のセクション７５から読まれる一方で、画像の次の８つのラインについての新しいデータが第１のセクション７３に書き込まれ、画像フレーム全体のデータがバッファメモリ７１に書き込まれてそこから読み取られるまで以下同様である。プロセスのスピードを維持するために、メモリ７１からのデータの読み取りおよびその圧縮は、メモリ７１にデータが書き込めるのと同じ速さで行われるのが好ましい。
【００２６】
バッファメモリ７１のセクション７３または７５の一方が８つの画像データラインでひとたび満たされると、このデータは、それらすべてのラインから、一度に１ユニットずつ、この例では１ユニットあたり８つの画素列が異なる順番で読み取られる。第１のユニットのすべての赤（Ｒ）画素からのデータを、読み取り、圧縮し、かつカメラのメモリ４５の領域８３に保存することができ、続いて読み取られた行中の緑（ＧR ）画素について同じことが行われ、圧縮されたデータは、メモリ４５の領域８５に保存される。同様に、青（Ｂ）および緑（ＧB ）のデータが同じユニットから連続して読み取られ、それらの圧縮されたバージョンは、メモリ４５のそれぞれの領域８７および８９に保存される。これにより、バッファ７１の１つのセクション内に保存された画像フレームデータの第１のユニットの圧縮および保存が完了する。次に、このプロセスは、一方のセクション内に保存されたデータの８つのラインを横切るデータのすべてのユニットが読み取られ、圧縮され、かつ圧縮されたデータがメモリ４５に書き込まれるまで、同じバッファセクション内に保存されたデータの第２のユニットについて繰り返される。次に、これは、バッファ７１の他方のセクション内に保存されたデータについて完了するまで繰り返され、それから第１のセクションへ戻り、画像フレームのすべてのデータが圧縮されて不揮発性メモリ４５内に保存されるまで以下同様である。ひとたびこれが生じると、別の画像のデータがセンサ３１により取得され、このプロセスが画像データの新しい組について繰り返される。
【００２７】
この処理手法には、バッファメモリ７１が、このようなバッファが少なくとも１つの画像フレームのすべてのデータを保存する通常のデジタルカメラのバッファメモリよりもかなり小さくなることを要求するという大きな利点がある。非圧縮データを保存するためのこのようなフルフレームバッファは典型的には、カメラ内にあってプロセッサと接続された別個の集積回路メモリチップを用いて実装される。しかし、これは高価であり、２つのチップ間での必要な高速データ転送が、回避される必要があるノイズの多い環境を生成する傾向にある。ここで、バッファ７１は、プロセッサ集積回路チップに含まれ得るのに十分小さい。バッファ７１は、１つのフレーム内および１つの処理ユニット（図５）内のラインの相対的な数に応じて、フルフレームバッファのサイズの１５％未満または１０％未満、さらには５％未満とすることができる。バッファ７１は、フル画像フレームバッファのサイズの２％未満とすることが可能である。
【００２８】
図６に一般的に例示されているデータ圧縮は、画像データがセンサ３１から取得される際に、そのデータのシングルパスでリアルタイムに実行される。図６に例示されている圧縮ステップは、ＪＰＥＧ標準処理の代表的なものである。ステップ７７において、単一の表示ユニットについて一度に１色のデータの離散コサイン変換が取られる。次に、この変換係数は、ステップ７８において量子化され、ステップ７９においてハフマン符号化される。次に、符号化されたデータは、バッファメモリ８０に書き込まれ、このバッファメモリは、データがステップ７９により符号化されるレートとこの符号化されたデータが不揮発性メモリ４５に書き込み得るレートの同期をとる役割を果たす。不揮発性メモリ４５としてフラッシュメモリが使用されれば、バッファ８０は、高いレートでデータを保存するのに十分に大きい必要がある一方で、このデータはより遅いレートでメモリ４５に書き込まれる。というのは、現在利用可能なフラッシュメモリのプログラミングは比較的遅いからである。いずれにしても、画像フレームデータはこの時点で圧縮されるので、バッファ８０は、カメラ内に別個のメモリチップを必要とするほど大きい必要はない。ステップ７７〜８０により例示される圧縮は、ソフトウェアあるいはハードウェアのいずれかにより実装でき、最初にハードウェア実装について以下説明する。
【００２９】
圧縮の結果生じるデータの量は、図６の破線で示されているように、符号器７９のデータ出力を監視し、応答してステップ７８の量子化レベルを調節することにより制御される。画素の８つのラインの画像フレームを横切る１つのストリップの結果生じる圧縮データの量が高すぎれば、量子化レベルは、データの次のストリップの圧縮について調節することができる。しかし、単一のこのような調節は小さくされるので、ストリップ−ストリップから結果として生じる復元画像に対する目に見える影響はまったくない。フルフレームバッファを有する他のカメラ設計において、所望のサイズの圧縮データファイルが得られるまで、画像フレームデータは、異なる量子化レベルで何回も圧縮し得る。しかし、本願明細書中に記載されているカメラシステムにおいて、圧縮を行う機会は１回だけであり、圧縮に先立ってフルフレームバッファを必要とせず、連続画像の取得の間の時間遅延の低減の結果として生じる圧縮処理を高速化するという重要な利点を有する。
【００３０】
カメラプロセッサ１７（図１）は、画像圧縮のプロセスを開始する前に、センサ３１からの画像データの前処理を最小限の量だけ実行する。１つの実施形態において、カメラプロセッサは前処理をまったく実行せず、従って、前処理機能のコストをゼロに低減し、ワークステーションにおいてカメラ外で行われる処理において用いる生のセンサ画像データに関する最大限の情報量を保持する。現行のデジタルカメラにより従来実行されてきたというよりむしろワークステーションにより実行される前処理機能は、例えば、不良画素補正、ホワイトバランス補償、ブラックレベル補正、コントラスト伸張処理、デモザイキング、ガンマ補正、画素形式変換、エッジ強調、クロミナンスフィルタリングおよびレンズシェーディング補償である。このデータ処理は、処理されたデータから最終的に形成されるオリジナルの場面の画質を補正、強調または別の方法で改善する目的で実行される。これらのデータ操作は、付加的に行われることがあるデータのどのような圧縮からも独立しているのが典型的である。取り込まれた画像を表すより小量のデータへの画像データの圧縮および復元による圧縮からの画像データの再構成は、圧縮プロセスにおいて通常固有の損失を除き、結果として生じる画像に影響を及ぼさない。データ圧縮は、画質を補正、強調または別の方法で改善する目的または効果を持たない。
【００３１】
しかし、未補正画素によりある種の圧縮手法が圧縮アーチファクトを導入してしまうことがあるので、カメラにおける単純な不良画素補正前処理を維持することが望ましいことがある。しかし、単純な不良画素補正を除いて、これらの前処理機能のすべては、好ましくはカメラではなくてワークステーションにおいて実行され、従って、カメラが簡略化され、いずれにしてもカメラには実際的に含めることができないタスクにより多くの処理パワーをもたらす。
【００３２】
ワークステーションによるこれらの処理機能を容易にするために、図１のデジタルカメラは、圧縮された取り込み画像データと結び付けられたサポートデータを写真ごとに不揮発性メモリ４５に保存することができる。サポートデータは、関心のある場面の画像が取得される前または後に１つ以上の所定の時間間隔で、異なる撮像条件のもとで取得された１つ以上の付加的な完全または部分画像の形を取ることができる。本発明の圧縮操作はリアルタイムでシングルパスで実行され、画像データがセンサから読み出される際に、圧縮時間、圧縮された出力データレートおよび圧縮されたデータサイズに関して決定論的かつ予測可能なので、これらのあらかじめ定義された時間間隔は、反復可能であり、かなり短かくできる。従って、これらの付加的な画像は、関心のある場面と良好な相関関係にある。サポートデータは、これらのデータを保存するために必要とされるメモリ４５の量を低減するために、好ましくは取得された画像データと同じやり方で圧縮される。また、サポートデータは、サポートデータ保存要件を低減するために、メモリ４５への保存の前に、カメラプロセッサ１７によりサブサンプリングまたは平均化されてもよい。メモリ使用をさらに低減するため、あらかじめ定義された画像領域またはあらかじめ定義された基準に応じる画像領域のみを、サポートデータとしてメモリ４５に保存することもできる。関心のあるこれらのあらかじめ定義された領域を定義するデータも、このメモリに保存される。加えて、サポートデータは、工場較正の間に測定されてカメラの適切なメモリに保存されるか、あるいはカメラの使用の間に動的に決定または調節される特定のカメラのパラメータとすることができる。画像の取り込まれたデータと関連付けられたサポートデータは、カメラから受け取られた画像データのワークステーション操作による一定の補正、強調および／またはその他の画質の改良を可能にする。最終的な写真の質を大きく改善するために使用することができるサポートデータをワークステーションに提供するために、サポートデータは、以下の状況下で取り込まれ得る。
１） センサの固定パターンノイズの補正を考慮するため、機械シャッター２９を使用して画像センサからブロックされた光を用いて取り込む。
２） センサグレースケール特性についての補正を可能にし、写真ダイナミックレンジを改善するデータを提供するため、同じ対象場面であるが、関心のある画像と比較して異なる１つ以上の露出レベルでの対象場面のデータで取り込む。
３） 関心のある画像の取り込みと、関心のある対象場面画像のデータ取得の間に生じたカメラの動きの決定および補正を可能にするサポートデータの取り込みとの間の異なる１つ以上の時間遅延間隔で取り込む。
４） 不良画素の検出および補正を容易にするため、取り込まれている関心のある場面に関して異なる１つ以上のセンサ位置で取り込む。高速で連続して取り込まれた画像間に小さい位置オフセットが当然生じることに留意されたい。センサ上でのこの画像オフセットのため、不良画素により１回目に読まれた画像データは、隣接する作動画素により２回目に読まれる。従って、関心のある場面の取り込みとサポートデータの取り込みとの間の短い時間遅延は、画像データ処理ワークステーションが不良画素からの誤ったデータを正しい画像データで置き換えるのに必要な情報を提供する。
５） デジタルカメラの工場較正の時点で取り込む。
【００３３】
固定パターン画像センサノイズ補正である前述した第１の例は、サポートデータ概念のよい例示を提供する。このタイプのノイズは、センサ配列の個別の光検出器要素の若干異なる特性に起因する。ノイズのレベルは温度依存性、従って、動的であり、時間の経過につれて変化することを意味するので、ノイズパターンは、写真が撮られる時に近い時点で測定される必要がある。１つの例において、これは、関心のある場面の取り込みの直後に画像センサからサポートデータを読み出すことによってなされる。この場合、サポートデータとして用いられる画像は、“黒画像”である必要があり、これは画像センサに当たる光が全くなしで取り込まれた画像である。機械シャッター２９をデジタルカメラに組み込むことにより、すべての光は画像センサから適時ブロックされ得る。このサポートデータは、ノイズのダイナミックレンジが主要画像のダイナミックレンジよりもずっと小さいので、圧縮された符号の目標ボリュームをずっと小さくすることができる以外は、関心のある場面を表す画像データと同じやり方で圧縮および保存される。従って、サポートデータの圧縮されたデータサイズは、関心のある場面のデータの圧縮されたデータサイズよりもずっと小さい。処理サービスセンターにおいて、サポートデータおよび関心のある場面のデータが復元され、画素ごとに、サポートデータ値が、対応する関心のある場面の画素データ値から引かれる。サポートデータ値は、関心のある場面の画像データが取り込まれたほんの短時間後に取られた黒画像からのものなので、そのサポートデータ値は、関心のある画像が取得された時点における各センサ要素の黒レベルノイズ値を表す。このように、画像センサ固定パターンノイズについての補正は、ワークステーションによってカメラの外部で行われる。
【００３４】
図１のカメラが、画像エリア周辺の外側に付加的な要素を有する画像センサ３１を用い、これらの要素が、これらの要素に光が当たることを防ぐ材料で覆われていれば、これらの暗要素からのデータサンプルはサポートデータとして働くことができる。ワークステーションにおいて、このサポートデータは、画像エリアにおける黒レベルノイズを推定するために用いられる。１つのタイプの画像センサ中の付加的要素は、画像エリアの左または右の縁部上の要素の単一の列で構成することができる。センサの各列が読み出されると、その関連付けられた暗要素も読み出される。行は逐次的に読み出されるので、時間の経過につれて一般に累積するノイズは、行から行にかけて変化し、暗要素からのデータは、黒レベルノイズの測定値を提供する。画像がその後、カメラの外部でワークステーションにより処理される場合、暗要素の出力は、その行中の他の要素すべての値から引かれ、従って、画像から時間変化ノイズを除去する。
【００３５】
画像センサダイナミックレンジの改善である前述した第２の例は、サポートデータ概念の別の使用例を提供する。関心のある場面が特定の露出レベルで取り込まれると、細部が最小輝度しきい値以下または最大輝度しきい値以上にあるためにそれらの細部が認識できない画像の領域があるのが典型的である。この手法は、連続してはいるが異なる露出レベルで同じ画像を１回以上付加的に取り込むものである。これらの付加的な画像取り込みからのデータは、ワークステーション用のサポートデータとして働く。これは、リアルタイムのシングルパス画像圧縮および前述した保存方法により、取り込まれた画像間の測定可能な動きを招くことなく、図１のデジタルカメラにおいて可能である。ワークステーションにおいて、個別の写真のいずれよりも多くの目に見えるグレースケール細部を有し、従って、画像ダイナミックレンジを強調した合成画像が作り出される。
【００３６】
この形のダイナミックレンジ強調が効果的であるためには、付加的画像中に存在するすべての取り込まれたデータは、画像データと共に保存され、かつワークステーション用サポートデータとして利用可能である必要はないことに留意されたい。例えば、サポートデータダイナミックレンジ情報は、付加的画像の低解像度バージョン、画像内容に応答するダイナミックレンジ情報を含む付加的画像の処理されたバージョンまたは付加的画像の圧縮されたバージョンの形で保存され得る。加えて、画像処理ワークステーションは、関心のある画像のダイナミックレンジを強調するためにサポートデータを利用するために、サポートデータが取得された条件を認識しているべきである。例えば、これらの条件は、最初の画像においては見えなかった場面のシャドー領域における細部を明らかにするために、付加的画像は関心のある場面よりも長い露出時間で取り込まれることおよび／または関心のある場面において見えなかった場面の光輝部における細部を明らかにするために、付加的画像は関心のある場面よりも短い露出時間で取り込まれることとすることができる。ワークステーションにおいて、２つの画像間にわずかな量の動きがあれば、それを補正するために既知の画像登録方法が用いられる。等しい要素の各々について、第１の画像からのデータは、そのレンジを増大させるために左シフトすることもでき、そうであれば、ダイナミックレンジが拡張された合成画像を作り出すためにサポートデータがそれに付加される。
【００３７】
レンズシェーディングなどのレンズ１３およびカメラ光学部品類の他の部分の欠陥も、光学部品類と関連する動的サポートデータを取得された画像と共に保存することによりワークステーションにおいて補正され得る。１つの例において、レンズは、カメラが製造される時点で工場によって各ズームおよび焦点設定において較正され、測定された較正データは静的情報として不揮発性メモリに保存される。画像が取り込まれる場合、ズームおよび焦点設定は、関心のある画像からの圧縮されたデータと共にサポートデータとして一緒に保存され、それらの設定のための光学部品類補正データは、ワークステーションによって読み出され、レンズシェーディング補正を実行するためにそこで使用される。
【００３８】
サポートデータおよびワークステーション画像処理の使用のさらに別の例は、画像取り込みの時点で、図１のデジタルカメラ内で見える画像のデータが生成されない場合である。この例のデジタルカメラは、コンピュータ最適化されたレンズを使うこともできる。このレンズは、センサに当たる画像を故意に歪ませる。作り出された歪みは、ワークステーションにおけるその後の処理によって除去される。この場合、レンズ歪み特性は、画像データと共にデジタルカメラの不揮発性メモリ４５に保存される。このレンズ歪みデータは、カメラ製造の時点で、カメラの不揮発性メモリに保存される。このようなカメラ構成の１つの特定の例において、このようなレンズの使用は、「サイエンス・ニュース」，第１６３巻，第１３号，２００３年３月２９日，２００ページ（非特許文献２）に記載されているように、最終処理された写真の被写界深度を高める。このようなレンズにより生成される生の画像の重要な特性は、その画像がぼやけていること、すなわちセンサ３１上へ投げられた画像２３（図１）は、目に見えるシャープなエッジを含んでおらず、その結果として、その画像は、従来のレンズにより生成された画像よりも効率的に圧縮することができる。実際、画像は、画像データ圧縮の前に、カメラプロセッサにおいて歪み除去処理が行われた場合よりも効率的にカメラプロセッサ１７により圧縮され得る。結果として、圧縮は、それほど厳密でない量子化を用いて行うことができ、従って、従来のカメラレンズまたは圧縮前に歪み除去処理が行われるカメラを用いて可能になるよりも高品質の最終写真を生成する。
【００３９】
図１のカメラに戻り、プロセッサ１７の構造および動作を説明する。プロセッサ１７は、１つの実施形態において、以下の機能を実行する。
１） センサを操作するために必要とされるタイミングを有する信号の任意の発生を含む画像センサ３１の制御。
２） センサにより発生されたタイミング信号、または随意にプロセッサ１７により発生されたタイミング信号のモニタリングを含む関心のある画像のデータおよびサポートデータ双方についてのセンサ３１からのデータの読み出し。
３） 必要とされるセンサ露出時間の計算。
４） デジタル化されたセンサデータの圧縮。
５） 圧縮されたデータの不揮発性メモリ４５への保存。
６） 圧縮プロセスを適応的に制御することによる利用可能な保存スペースの管理。
７） カメラのユーザインターフェイス１５の管理。
【００４０】
プロセッサ１７の１つの実施形態のブロック図が図７に示してある。プロセッサは、前述されたやり方で、センサ３１と接続する画像インターフェイス９３およびアナログ・デジタル変換器３５を含む。メモリインターフェイス９５は、関連するメモリコントローラ９７と共に、前述したライン４７、４９および５１を介して不揮発性メモリ４５と接続する。汎用インターフェイス９９が、プロセッサ１７をユーザインターフェイス１５、カメラ内の他の電子部品およびフラッシュユニット２１と接続する。プロセッサ１７は、中央処理装置（ＣＰＵ）１０１、露出制御コプロセッサ１０３、圧縮ユニット１０５およびクロック発生器１０７も含む。
【００４１】
画像センサインターフェイス９３は、画像センサインターフェイス９３によりライン３９上に提供されるクロック信号およびライン４１中の関連するタイミング信号に同期してデータをサンプリングすることにより、ライン３７上に出現するセンサ３１からのデジタル化画像データを読む。カメラ用に選ばれた特定タイプのセンサに応じて、タイミング信号は、センサ３１によってまたはセンサと関連付けられたタイミング発生器によって発生され得る。センサインターフェイス９３により取得された画像データは、２つの宛先、すなわち露出制御コプロセッサ１０３および圧縮ユニット１０５に送られる。
【００４２】
露出コプロセッサ１０３は、センサの照度測定値を累積する。このユニットは、ＣＰＵ１０１のためのコプロセッサとして働き、ＣＰＵは、必要とされるシャッター２９のタイミングを決定し、露出をいつ終了させるかをセンサ３１に知らせるためにこれらの照度測定値を用いる。露出制御のこの方法は、従来のデジタルカメラにおいて用いられる方法と同じである。
【００４３】
圧縮ユニット１０５は、ストリップメモリ７１（図６）用のランダムアクセスメモリ１０９を含む。圧縮のパラメータは、圧縮画像用に不揮発性メモリ４５（図１）内に割り当てられたスペースに圧縮画像が確実に収まることを保証するために、ストリップごとに適応的に調節される。適合のための計算は、全面的にＣＰＵ１０１により、または圧縮ユニット１０５中のコプロセッサからの支援を受けるＣＰＵにより、あるいは全面的に圧縮ユニットにおいて行える。ＣＰＵ１０１は、リード・オンリー・メモリ内に保存された命令を実行し、計算において使用するための少量の読み書きメモリを有する。
【００４４】
図７のメモリコントローラ９７は、圧縮ユニット１０５により生成された圧縮画像データを先入れ先出し（ＦＩＦＯ）メモリとして構成されたメモリ１１１内にバッファし、次にこれらのデータをメモリインターフェイス９５を介して不揮発性メモリ４５（図１）に書き込む。ＦＩＦＯメモリ１１１は、前述したバッファ８０（図６）の機能を実装する。ＣＰＵ１０１は、メモリインターフェイス９５を介して不揮発性メモリ４５（図１）にもアクセスすることができる。
【００４５】
従来のデジタルカメラにおいて、前処理はデモザイキングを含む。このプロセスは、ＹＣｂＣｒとして知られる表現をもたらし、ここで、輝度Ｙ値が、センサ配列の各要素について割り当てられる。１つのＣｂＣｒペアが２つまたは４つのＹ要素と関連付けられる色成分ＣｂおよびＣｒは、より低い解像度で表される。従って、結果として生じ、その後圧縮されるＹＣｂＣｒ値の総数は、配列中の要素数の２または１．５倍である。ＹＣｂＣｒ表現が用いられる。というのは、この表現は、デジタル写真を表示するコンピュータソフトウェアにより使用される標準表現であり、またこの表現は、配列の各要素についての値のＲＧＢトリプレットがある表現、すなわち別の標準表現の圧縮の結果として生じるであろうよりも効率的な圧縮を考慮しているからである。画像センサは通常、デジタル化されたセンサ要素値を１０ビットデータとして提供するが、Ｙ、ＣｂおよびＣｒ値の各々について８ビットが用いられることに留意されたい。従って、１０ビットデータは、従来のデジタルカメラ内で生じる通常のデモザイク前処理操作中のどの時点かで８ビットに変換されねばならない。
【００４６】
図１のカメラにおいて、デモザイキングはまったく実行されない。デモザイキングは、写真がワークステーションにより処理されるまで延期される。圧縮は、画像データがセンサのアナログ・デジタル変換器３５から受け取られる際に、その画像データに対してカメラ内で実行される。圧縮前に、図６に関して前述されたように、各色に対応する要素値は個別の配列に分別され、各色配列は、その他から独立して圧縮される。ワークステーションによってカメラの外部で実行されるデモザイキングの質を高めるため、前述したように、赤要素と同じ図４の行中の緑要素（ＧR ）を青要素と同じ行中の緑要素（ＧB ）とは別個に扱うのが有利である。従って、圧縮は、色要素値、Ｒ、ＧR 、ＧB 、Ｂの４つの成分配列に対して行われる。各配列中の要素数は、全センサ要素の４分の１である。
【００４７】
有用な情報を場合によっては除去しかねないステップを回避するため、および後にサービスセンターのデモザイキング計算により使用されるために極力多くを保全するため、圧縮は、１０ビットデータ値の配列に対して行われる。これには、カメラプロセッサ機器により実行される露出制御におけるエラーを補正するためにワークステーションが用いることができるセンサデータの全ダイナミックレンジを保全するにあたり付加的な利点がある。画像圧縮の間に実行される量子化の影響の１つがダイナミックレンジの減少であり得ることが知られているが、この減少は局所的影響であり、ワークステーション処理において画像のより大きい領域を平均することにより、露出補正目的のためのダイナミックレンジ情報は保全され得る。
【００４８】
プロセッサ１７の画像圧縮ユニット１０５（図７）のブロック図を図８に示す。圧縮は図６に関して概括的に前述されているので、すでに説明されているブロックと同じ機能を実行する図８のブロックには同じ参照番号が付与されている。圧縮方法は、従来のカメラにおいて用いられるＪＰＥＧ圧縮と概して同様であるが、本発明の実施形態におけるシングルパス操作についてその特性を改善するいくつかの修正点を有する。
【００４９】
第１のステップは、デジタル化センサデータを一時的なストリップバッファメモリ７１に保存することである。データは、前に説明されたように、ライン３７上を行ごとにバッファへの入力に到来する。バッファ７１は、画像の１６行の１つのストリップを保持し、従って、ストリップバッファと呼ばれる。このバッファは、１つが各色成分についての画像要素の８つの行のストリップを保持する４つの別個のバッファとして想定することができる。ラスタ・ブロックアドレス発生器１１５は、メモリ７１をアドレス指定するので、バッファの内容が読み出される場合に、要素の順序が変更される。ＪＰＥＧ標準において詳細に説明されているように、８×８ブロックとして知られている１つの色成分の８行および８列の隣接した要素から成るブロックが、単色成分がインタリーブされて、一回に１つ、ただし用途に最も適したやり方で、読み出される。例えば、ＪＰＥＧ標準に文字通りに従えば、インタリービングは、［Ｒ］，［ＧR ］，［ＧB ］，［Ｂ］である。しかし、この用途において、より適切なインタリービングは、［Ｒ］，［ＧR ］，［Ｒ］，［ＧR ］，・・・，［ＧB ］，［Ｂ］，［ＧB ］，［Ｂ］，・・・，［Ｒ］，［ＧR ］，［Ｒ］，［ＧR ］，・・・，［ＧB ］，［Ｂ］，［ＧB ］，［Ｂ］，・・・，である。ここで、括弧内の記号は、それぞれの要素の８×８ブロックを表す。これは、センサのラインごとのモザイク配置（図４）において、ＲおよびＧR 要素の第１の８行ストリップが完全であり、ＧB およびＢ要素の第１の８ラインストリップのかなり前に読み出される準備ができているであろうからである。［ＧB ］および［Ｂ］ブロックの読み出し開始前に読み出される［Ｒ］および［ＧR ］ブロックの数は、センサの幅、すなわち、１つの行中の光検出要素の数に依存する。
【００５０】
画像要素の１つのブロックがバッファ３２から読まれると、それらの要素により占められていたスペースは、次のストリップの取得に使えるようになる。メモリ占有を管理する１つの単純な方法は、２つの完全なストリップのための十分なバッファメモリを準備し、ストリップバッファ間で交番して、他方が書き込まれている間に一方から読み出すことである。アドレス発生器１１５は、この場合に直截的である。より複雑なアドレス発生器を実装することにより、１つのストリップのみに必要とされるメモリ量を低減することも可能であるので、ブロックが読み出された時に開放されたメモリ空間が次のストリップからの新しい要素により上書きされる。
【００５１】
画像データの各色ブロックがストリップバッファ７１から読み出される際に、各色ブロックは、一般にＪＰＥＧ標準により詳細に規定される離散コサイン変換を計算する離散コサイン変換（ＤＣＴ）ユニット７７に適用される。この用途の実装と従来のデジタルカメラにおいて用いられる実装との１つの違いは、結果のより高い精度が保持されることである。というのは、ユニットへの入力の精度が８ビットではなくて１０ビットだからである。具体的には、１１ビットではなくて１３ビットの精度が保持される。ＤＣＴユニットにより出力される結果のＤＣＴ係数と呼ばれる８×８配列は、ブロックメモリ１１７に一時的に保存される。というのは、その配列は、プロセスの次のステップの前に、異なる順序で読み出されねばならないからである。ＤＣＴユニット７７を停止させないようにするため、メモリ１１７は、２つのメモリブロックを含み、これによって、結果の次のブロックが他方のメモリブロックに書き込まれている間に、結果の一方のブロックを一方のメモリブロックから読み出すことが可能になる。
【００５２】
ＤＣＴ係数は、平均して、０値係数のランの長さを最大にする順序でブロックメモリ１１７からアドレス発生器１１９により読み出される。ＪＰＥＧ標準において、順序はジグザグ順序であり、その場合に係数は対角線に沿って逐次読み出される。ＪＰＥＧ標準に準拠することは必要とされないので、ジグザグ順序を改良する読み出し順序が用いられる。例えば、一番左上の要素から２次元の８×８ブロック中で読まれる要素までの距離が単調増加する読み取り順序を用いることができる。これは図９に示され、読み取り順序を逐次番号付与により示している。この交互読み出し順序の選択は、ＤＣＴ係数の大きさが、平均して、ブロックの左上隅からの距離と共に減少し、従って、０値係数のランの長さが増大する機会を向上するという観察に基づく。以下の段落で論じられるように、標準ジグザグ順序ではなく、この読み出し順序を用いることにより、画像圧縮プロセスにおいてより低い量子化レベルを用いることができ、その結果、圧縮の結果としての画像劣化がより少なくなる。
【００５３】
ＤＣＴ係数は、図８の量子化器７８において、量子化値のテーブル１２１を使用する既存の技術のうちの１つを用いて量子化される。次に、量子化器７８の出力における量子化されたＤＣＴ係数は、標準ハフマン符号化手法を用いてハフマン符号器７９によりハフマン符号化される。ハフマン符号化は、発生された圧縮データ量をさらに低減するために使用される。ハフマン符号化が実行されている間、出力のビットまたは他のユニットの数も計数されて、プロセッサのＣＰＵ１０１（図７）にとり利用可能にされる。
【００５４】
ハフマン符号器７９の出力はバイトにパックされ、ＦＩＦＯとして構成されたコードメモリ８０内に一時的に保存され、後にメモリコントローラ９７（図７）により、フラッシュメモリ形状の不揮発性メモリ４５（図１）内に永続的に保存される。必要とされるコードメモリ８０のサイズは、フラッシュメモリの特性に依存する。フラッシュメモリが十分短いバイトあたりのプログラミング時間を有するのであれば、コードメモリ８０は、コードがコードメモリ内で生成されフラッシュメモリにオンザフライで書き込まれるように、圧縮された画像コードの一部分を保存するだけでよい。フラッシュメモリがこの動作モードに対して遅すぎれば、コードメモリ８０は、画像全体の圧縮されたコードを含むように十分に大きくし得る。
【００５５】
シングルパス圧縮方法が用いられ、これにより多重パスの場合に必要とされるであろうフレームバッファへ非圧縮生画像を保存する必要が回避される。これにより、システム内の大きいランダムアクセスメモリの必要性が排除される。多重パスは、保存の目的で提供された不揮発性記憶域内に保存される写真の最小保証枚数を考慮するように計算される設定限界を圧縮コードサイズが越えないことを保証するために、従来のデジタルカメラにおいて一般的に用いられている。これに加えて、従来のカメラにおいて完全な非圧縮画像を保存するために十分なメモリを提供することについては他の理由がある。１つの理由は、デジタルカメラのプロセッサが、画像を圧縮する前に自動ホワイトバランスを実行することができるようにするためである。本願明細書中に記載されているシステムにおいて、ホワイトバランス処理は、カメラ内のプロセッサによってではなく、ワークステーションによって実行される。別の理由は、保存された写真を再生し、テレビモニタ上でそれらを直接表示する能力をサポートすることである。この再生機能は、本願明細書中に記載されているカメラシステムには含まれない。
【００５６】
シングルパス圧縮は、メモリ１２１内の量子化テーブル（図８）が画像フレームのストリップからストリップにかけて変更され得るようにすることによって図１のカメラ内で達成される。ＪＰＥＧ標準は、単一の画像フレーム内での量子化テーブルのこのような適応を認めていない。メモリ１２１内の量子化テーブルの適応はＣＰＵ１０１により実行される。
【００５７】
一般に、図８に例示されている圧縮プロセスは、基本量子化テーブルまたは一組の基本量子化テーブルを各色成分または同様な成分のグループについて１つ使用する。最適性能のために、適切な基本量子化テーブルが、代表的な画像セットおよびカメラにおいて使用されるセンサを用いて実験を行うことにより前もって一番うまく選択されるが、これに不合格であれば、多くの同様の用途について有用であることが経験から知られている基本テーブルを、文献中に、例えばＪＰＥＧ標準におけるサンプルとして提供されたテーブル中に見出すことができる。画像ストリップを圧縮する際に用いられる実際の量子化テーブルを決定するため、各基本テーブルに倍率が掛けられる。この変倍操作は、テーブルの全体的形状を保存するが、テーブル中の各量子化因子のレベルを変更する。同じ基本テーブルは、カメラから受け取られた画像データを復元するワークステーションにより使用され得るので、ワークステーションが、圧縮の間に用いられた実際の量子化テーブルを再構成するために、各ストリップについての倍率のみが、画像を表す圧縮コードと共にカメラの不揮発性メモリ４５に保存される必要がある。
【００５８】
シングルパス圧縮プロセスのこの態様を図１０に示す。データは、１回に１つの画像フレームストリップが圧縮される。各ストリップのデータの圧縮後、圧縮されたコードの量が測定され、次のストリップの圧縮の結果生じるコードの量を調節するために、次のストリップのための量子化レベル倍率を調節するように測定された量が用いられる。ステップ１３１において、圧縮されているストリップが、圧縮されている現在の画像フレームの中で第１のストリップであるかどうかが決定される。そうであれば、ステップ１３３において、基本量子化テーブル値に初期倍率が掛けられ、第１のストリップの圧縮が始まる前に、量子化テーブルメモリ１２１（図８）にロードされる。初期倍率は、代表的な画像セットを用いて事前に実験を行うことにより選択し得る。ステップ１３１により示されるように、画像フレームの初期ストリップであろうとなかろうと、処理の例示される部分は、画像データの所与のストリップのデータが、決定された倍率により調節された量子化テーブルで圧縮されるまで待機する。図１０に示されている残りのステップにより、倍率が、次の画像フレームストリップを順に圧縮する際に使用するために決定される。
【００５９】
ストリップのデータがひとたび圧縮されると、ストリップの圧縮されたコードの量は、ステップ１３７（図１０）において、ＣＰＵ１０１（図７）によって読み取られる。次に、ＣＰＵ１０１は、ステップ１３９において、次のストリップのために使用されるべき倍率を計算する。要望よりも多くの圧縮コードが存在することが見出されれば、倍率は、次のストリップについて、結果として生じるコードの量を低減するように設定される。逆に言えば、許容できるよりも圧縮コードが少なければ、次のストリップのための倍率は、コードの量を増大させるように選ばれる。次に、次のストリップ圧縮に用いられる量子化テーブルは、次のストリップの圧縮が始まる前に、それに応じて調節され（ステップ１４１）、量子化メモリ１２１に保存される（ステップ１４３）。ステップ１４５により、図１０によって例示されている処理の部分は、次のストリップに移り、次の画像ストリップのデータから得られた圧縮コードの量を参照してこのシーケンスを繰り返す。
【００６０】
倍率の調節は、目標累積コードボリュームのテーブルを１ストリップあたり１つ利用し、このテーブルは、画像圧縮を開始する前にＣＰＵ１０１により準備される。目標ストリップコードボリュームは、各ストリップに割り当てられる圧縮コードの量であり、目標累積コードボリュームは、現在のストリップまでを含むすべてのストリップの目標ストリップコードボリュームの合計である。各ストリップについて同じ目標ストリップコードボリュームを用いることができ、または好ましくはテーブルは、画像の中央部分を含むストリップに向けてバイアスをかけることができ、全画像圧縮データのより多くを典型的に最も関心の高い領域に割り当てることができ、その場合、量子化により引き起こされる画像細部における劣化を最小限にすることが最も重要である。例として、全画像圧縮データの７０％を画像高さの中央５０％に割り当て、１５％を上下の残り２５％の各々に割り当てることができる。
【００６１】
画像ストリップを圧縮した後、そのストリップまでを含むストリップコードボリュームの合計がストリップの目標累積コードボリュームを超えれば、量子化の量、従って圧縮の量を増大させるため、次のストリップについての倍率が増大される。急な倍率調節によるストリップ境界における目に見える影響を回避するために、ストリップあたりの倍率を小量だけ増大させることが望ましい。ストリップを圧縮した後、そのストリップまでを含むストリップコードボリュームの合計がストリップの目標累積コードボリュームより少なければ、倍率は少しだけ低減されるが、初期倍率の所定の小部分より小さくなることは許されない。この小部分についての最適値は、代表的な画像セットを用いて試験することにより経験的に決定され得る。
【００６２】
説明したばかりの倍率調節と共にシングルパス圧縮方法を用いることにより、画像全体の累積コードボリュームが目標量を超えないという制約条件を厳密に満たすことが可能である。その結果、所与の量の保存メモリに保存することができる圧縮画像の数が予測可能である。これにより、同程度の予測性のために倍率調節を使用しないＪＰＥＧ標準圧縮のシングルパス実装と比較して、ずっと高レベルの画質を達成することが可能になる。
【００６３】
前述したリアルタイム圧縮方法を用いると、完全な圧縮画像の一部分のみのデータを保存するために一時的なメモリ８０（図８）の量が最小限にされる１つの実施形態において、圧縮速度および不揮発性メモリ４５（図１）のプログラミング速度は一致させられなければならない。フラッシュメモリのような特定タイプの不揮発性メモリのプログラミング速度は典型的にはＳＲＡＭまたはＤＲＡＭのプログラミング速度よりも遅いので、メモリ速度は、用い得る最小圧縮率をともすれば制限する。これに対処するため、センサデータが読み出されるレートを落とすことができ、従って、圧縮データが生成されるレートを低下させる。センサが常用の電子シャッターモードで操作される場合、読み出しレートの低下は、カメラと場面との間に相対的な動きがあった場合に、遅すぎる読み出しに起因し得る画像スキューイングにより制限される。機械シャッターが用いられれば、読み出しレートはさらに低下され得る。というのは、センサのすべての部分の露出が同時に停止するからである。各感光要素と関連付けられた保存要素を有するタイプの画像センサを用いることにより、より遅い読み出しレートも機械シャッターなしで達成することができる。このセンサ形態において、センサの露出が完全な場合、すべてのセンサ要素の出力は、それらそれぞれの保存要素に同時に保存され、次に、保存要素は、保存要素が存在しない場合よりも低いレートで読み出される。
【００６４】
前述した処理に加え、プロセッサ１７（図１）は、カメラのユーザインターフェイス１５を構成しているボタン、例えばシャッターボタンおよびモード選択ボタンを監視し、さらに、やはりユーザインターフェイス１５の一部である、例えば、不揮発性メモリに取り込まれた写真の枚数を表示するオプションの状態表示を制御することもできる。プロセッサの他の機能は、シャッタートリガーとセンサからの画像の読み出しとの間の時間遅延を制御することによる画像の露出の制御およびオプションのフラッシュストロボを起動する制御信号の提供とすることができる。これらの後者の機能は、別個のコントローラにより実行できるが、コスト面の理由から、これらの付加機能も実行するために同じプロセッサ１７が好ましくは使用される。
【００６５】
本願明細書に記載されているカメラ処理の改善により、プロセッサ１７を非常に小さい集積回路として実現することができる。実際、ＣＭＯＳセンサは、プロセッサについて必要とされるＣＭＯＳ技術と同じ集積回路製造技術を使用するので、（部分フレーム画像データバッファを含む）プロセッサ１７、アナログ・デジタル変換器３５およびセンサ３１は、単一の集積回路チップ上に形成することができる。これは、前述したリアルタイム圧縮技術手法により実用的にされる。というのは、圧縮に先がけてデータを保存するために、フル画像フレームバッファの小部分のみが必要とされるからである。フルフレームバッファの排除により、プロセッサ１７との通常の高速メモリインターフェイスを持つことが不要になる。このような高速メモリインターフェイスは、受け入れがたいノイズを敏感な画像センサに導入することがある。
【００６６】
図２のワークステーションのプロセッサ５９により実行される処理の１つの例を図１１に例示する。複数の画像についてのデータが、カメラの不揮発性メモリからワークステーション内のいずれかの適切なメモリ１５１に転送される。各画像についてのファイルは、画像の圧縮データに加えて、前述したタイプのサポートデータおよび画像データ圧縮のためにカメラにより用いられる画像の各ストリップについての少なくとも量子化倍率を含む。記載されている特定の例において、これらのデータは、Ｒ、ＧR 、ＢおよびＧB 色成分の各々について別個に、画像データの圧縮されたユニットの形をしている。第１の処理ステップ１５３において、これらのデータは復元されて、非圧縮形状のＲ、ＧR 、ＢおよびＧB 色データを与える。復元アルゴリズムは当然、画像データを圧縮するためにカメラにおいて用いられる圧縮アルゴリズムと相補的であり、同じ基本量子化テーブルを用いる。次に、カメラにおいてそのデータを圧縮するために画像の各ストリップと共に用いられる倍率は、ワークステーションにおいてデータの各ストリップの復元に用いられる同じ量子化テーブル値を導き出すために用いられる。
【００６７】
図１１のブロック１５５は、前述したように、デジタルカメラにおいて通常実行されるタイプの復元された画像データの処理を示す。次の処理ステップ１５７は、画像データをＲＧＢ色空間から、ＹＵＶ、ＹＣｒＣｂまたはＹＩＱなどの輝度およびクロミナンス色空間に任意に変換する。１つの理由は、今はワークステーションにおいて実行されているデジタルカメラにおいて通常実行される処理のいくつかが、輝度／クロミナンス形式にある時にデータに対して最も良好に実行されるからである。ステップ１５９は、このような処理を示し、その１つの例がホワイトバランス補正である。変換１５７を実行する別の理由は、標準テレビモニタ上での表示などの図１１に示されている処理の出力のいくつかの用途が、輝度／クロミナンス形式のデータを必要とするかまたはこのようなデータが好ましいからである。
【００６８】
さらに、図１１には示されていないが、いくつかの応用例には、図２の写真利用機器６１による最適化使用のために、ＪＰＥＧ標準によるなどの一般に認知されている標準に従う出力画像データのワークステーションプロセッサ５９（図２）による圧縮が含まれる。例えば、ＣＤまたはＤＶＤバーナーなどの写真利用機器により画像データがＣＤまたはＤＶＤ光ディスクに保存されるのであれば、このような圧縮が必要とされる。ＣＤまたはＤＶＤプレーヤーなどの消費者所有の再生機器が、表示用標準に従って画像データを復元する。
【００６９】
ワークステーションによる最適化画像処理およびカメラではなくてワークステーションにおいてほとんどまたはすべての画像データ前処理を実行するという特徴を可能にするために、サポートデータをデジタルカメラの不揮発性メモリに保存された画像データと一体にする手法のような前述した独特な手法のいくつかは、効果的であるために画像圧縮に依存しないことが認識される。適切な不揮発性メモリのコストが低下すると、図１のカメラは、どのようなタイプの圧縮もなしで実施できるかもしれないが、それでも前述した特徴の利点を実現することができる。さらに、本発明の様々な態様をその代表的な実施形態に関して説明してきたが、本発明が、添付の特許請求の範囲の全範囲においてその権利が保護をされるべきであることが理解されよう。
【図面の簡単な説明】
【００７０】
【図１】手持ち式デジタルカメラの概略図である。
【図２】図１のデジタルカメラにより取得された画像データ用のワークステーションのブロック図である。
【図３】再利用可能なデジタルカメラおよびサービス処理センターを使用するビジネス方法を例示する。
【図４】図１のカメラの画像センサの画素の代表的な配置を示す。
【図５】画像フレームの一部分を概略的に例示する。
【図６】図１のカメラ内のプロセッサにより実行される画像データ処理の１つの態様を概念的に示す。
【図７】図１のカメラの代表的なプロセッサのブロック図である。
【図８】図７のプロセッサの代表的な圧縮ユニットのブロック図である。
【図９】データ圧縮器による画像フレームデータのユニットからの画素の読み取りの好ましい代表的な順序を例示する。
【図１０】図８の圧縮ユニットの操作の１つの態様を示すフローチャートである。
【図１１】図１のカメラから受け取られた画像データを復元し、さらに処理する図２のワークステーションのための代表的な手法を提供する。
【技術分野】
【０００１】
本発明は、一般に手持ち式デジタルカメラおよびその使用方法に関し、より詳細には、簡略化された電子システムおよびカメラにより取り込まれた画像のデータが転送されるワークステーションによって代わりに実行される最小限の画像処理を有するこのようなカメラに関する。
【背景技術】
【０００２】
電子カメラは、電荷結合素子（ＣＣＤ）、相補型メタルオンシリコン（ＣＭＯＳ）素子または他のタイプの光センサのような２次元センサ上に場面を結像する。これらの素子は、要素に当たる（可視光波長に隣接するスペクトルの赤外および紫外領域を含む）光または他の光学放射の強度に比例する信号を個別に生成する小さい２次元表面全体にわたって配置された多数（典型的には、２００万、３００万、４００万個以上）の光検出器を含んでいる。画像の画素を形成するこれらの要素は典型的には、ラスタパターンで走査され、それらが走査される際に、センサ要素に次々に当たる放射の強度データの連続した流れを発生する。色データは、センサ全体にわたって交互に分布された（赤、緑および青のような）別個の色成分の各々に敏感な光検出器を用いて得られるのが最も一般的である。
【０００３】
このような電子カメラの普及形状は、スチール写真「スナップショット」あるいは動画を形成する一連のフレームのいずれかとして多数の写真フレームのデータを記録する小型の手持ち式デジタルカメラである。磁気テープカートリッジまたはフラッシュメモリカードのような取り外し可能な不揮発性メモリに保存する前に、各フレームのデータに対してかなりの量の画像処理がカメラ内で実行されるのが典型的である。処理されたデータは、カメラ外面の液晶表示（ＬＣＤ）機器上で表示されるのが典型的である。各写真フレームについてのデータにより占められる保存容量を低減するために、処理されたデータが、不揮発性メモリへの保存の前に圧縮されるのも典型的である。
【０００４】
画像センサにより取得されたデータは、カメラの欠陥を補償し、データから得ることができる画質を一般に改善するために処理されるのが典型的である。センサのいずれかの不良画素光検出器要素の補正は、１つの処理機能である。別の機能は、原色の種々の画素の相対的な大きさが白色を表すように設定されるホワイトバランス補正である。この処理は、画像データ中の重ね合わせられた多色画素を低減するためにセンサの空間的に離れた単色画素検出器からのデータを重ね合わせるように個別の画素データをデモザイキングすることも含む。次に、このデモザイキングは、画像のエッジを強調および平滑化するようにデータを処理することを望ましくする。画像全体にわたるカメラ光学系のノイズと変動およびセンサ光検出器間の変動についての画像データの補償も、カメラ内で実行されるのが典型的である。他の処理としては、ガンマ補正、コントラスト伸張処理、クロミナンスフィルタリングなどのうちの１つ以上が含まれるのが典型的である。これらの画像処理機能のいくつかおよびその他の機能が、ロバート・クレメンスの概論「カメラ画像処理の基礎」（２００１年５月，ロチェスター技術研究所（Ｒ．Ｉ．Ｔ．），イメージング・サイエンス・センター，デジタル・イメージング・アンド・リモート・センシング・グループおよびピクセルフィジクス インコーポレイテッドによりインターネット上で利用可能にされた）（非特許文献１）の中に記載されている。カメラのＬＣＤスクリーン上に表示されるのは処理されたデータであり、これにより表示される画像は、保存されたデータが後に表示または印刷される場合に見えるのと同じようにユーザに見える。
【０００５】
処理されたデータも、カメラに含まれるフルフレームバッファメモリに保存されるのが典型的である。次に、データは、データ圧縮アルゴリズムによる圧縮のためにこのバッファメモリから読み取られる。単一のフレームは、圧縮データファイルが何らかの設定限界より小さい全体サイズのような何らかの所定の基準に適合するまで、種々の圧縮アルゴリズムパラメータを使用して何回も圧縮し得る。従って、フルフレームの非圧縮データは、この圧縮処理が行われるのに必要な期間、バッファメモリ内に保存される。このようなバッファは、カメラ内のプロセッサチップとは別の集積回路チップ上の揮発性メモリにより実装されるのが典型的であり、非常に高速なアクセスタイムを有するように選ばれる。
【０００６】
スチール写真を撮るための再利用可能な使い捨て手持ち式デジタルカメラも利用可能である。このようなカメラは、通常のデジタルカメラの価格よりもずっと低価格でエンドユーザにより購入される。このようなカメラは、その内部の不揮発性メモリが一杯になる枚数の写真が撮られるまで、通常のデジタルカメラと同じようにエンドユーザにより使用される。この時点で、エンドユーザは、保存された写真を処理するためにその再利用可能なカメラをサービスセンターに返却する。その後、写真は、ハードコピープリントとして、またはディスクもしくはコンパクトディスク（ＣＤ）のような標準保存媒体でエンドユーザに返される。次に、カメラは、サービスセンターまたはカメラ製造業者によりその内部メモリの消去を含む改装を施され、カメラ店、ドラッグストアなどの小売販売箇所へ戻されて再販売され、それゆえに用語「再利用可能」が用いられる。再利用可能なデジタルカメラは、写真保存用の内部電子メモリのみを有する。このカメラは、どのような取り外し可能な保存メモリも、取り込まれた画像をユーザが表示するためのどのような手段も、保存された写真をパーソナルコンピュータに転送してそれらをエンドユーザが回収するためのどのような手段も有していない。保存された写真は、サービスセンターに利用可能な手段を用いてサービスセンターにより回収され得るのみである。再利用可能なデジタルカメラは、その製造モデル、用法、処理および販売箇所へのリサイクルにおいて、使い捨て写真フィルムカメラと似ている。このビジネスモデルが成り立つために、再利用可能なデジタルカメラは、製造が安価となるように設計されると、同時に、サービスセンターによりエンドユーザに渡される写真の質が高くなるようにされる。現在、再利用可能なデジタルカメラは、前述した通常のデジタルカメラにおいて用いられる方法と同一または非常に類似した写真データの取り込みおよび保存の方法を用いている。
【０００７】
再利用可能なカメラにおいて写真データ圧縮が利用されるので、カメラに保存され得る写真の枚数は、このカメラを大きい内部不揮発性メモリの費用なしでエンドユーザにとり魅力的なものにするのに十分である。圧縮は、結果として生じる圧縮された写真が大多数のデジタルカメラにより使用される標準形式、すなわちＪＰＥＧ標準形式であるような方法を用いて実行される。サービスセンターは、顧客の要求に応じて、これらのＪＰＥＧ形式画像ファイルからのハードコピープリントまたはＪＰＥＧ形式の写真が入ったコンピュータ可読媒体あるいはその両方を作製する。
【非特許文献１】ロバート・クレメンスの概論「カメラ画像処理の基礎」（２００１年５月，ロチェスター技術研究所（Ｒ．Ｉ．Ｔ．），イメージング・サイエンス・センター，デジタル・イメージング・アンド・リモート・センシング・グループおよびピクセルフィジクス インコーポレイテッドによりインターネット上で利用可能にされた）
【非特許文献２】「サイエンス・ニュース」，第１６３巻，第１３号，２００３年３月２９日，２００ページ
【発明の開示】
【０００８】
本発明の１つの主要な態様によれば、カメラ内のセンサからのデジタル画像を最終的にエンドユーザに引き渡される形式に変換するプロセスは、カメラプロセッサと商業サービスセンターにおけるワークステーションのようなデータ処理ワークステーションとの間で、カメラにおいてなされる処理の量および複雑度を最小限にするように分割される。本発明は、デジタルカメラ内で従来実行されていた画像処理の全部または大半をワークステーションに移管することによりこれを行う。画像センサの信号出力の生またはほぼ生のデジタルデータあるいはそれの圧縮されたバージョンが取得され、カメラ内に保存され、次にワークステーションに転送される。この画像データに加えて、データが転送されるワークステーションによる処理を容易にするために、各種サポートデータを画像データと共にカメラ内に保存し得る。このようなサポートデータは、事前のカメラ較正から、カメラ内の付加的センサから、異なる条件下で撮られた第２の画像から導き出したり、あるいはカメラ内での画像データ自体の分析から得ることができる。カメラの複雑度およびコストをこのようにして低減することに加えて、ワークステーションも、デジタルカメラに含めるには高価すぎたり、物理的に大きすぎたり、時間がかかりすぎたり、電力を消費しすぎるたりすると考えられていたより強力な処理を提供できる。これにより、質がかなり改善された写真が、複雑度およびコストが低減されたデジタルカメラを用いてエンドユーザによって得られるという結果になる。
【０００９】
本発明の別の主要な態様によれば、画像デジタルデータは、カメラ内でリアルタイムでかつ取得されたセンサデータを通るシングルパスで、やはりデジタルカメラの複雑度およびコストを低減するやり方で圧縮される。カメラのプロセッサに実装される圧縮方法は、Joint Photographic Experts Group（ＪＰＥＧ）標準などの標準への準拠の規定に制約されない。というのは、ワークステーションは、このようなカメラからの圧縮データを受け取るように補完的に構成できるが、ＪＰＥＧ圧縮の利点はそれでもなお実現できるからである。センサから受け取られたデジタル画像フレーム全体は、ほとんどのデジタルカメラにおいて一般に行われているように、圧縮に先立って、画像フレームバッファメモリ内に保存される必要がない。代わりに、画像フレームのデジタル化データの小さい部分のみが圧縮に先立って保存される必要がある。このようにして、圧縮に先立つ画像の保存に通常用いられる別個のデジタルメモリ集積回路チップをカメラから普通に取り除くことができ、従って、その複雑度が低減され、別個のメモリによって課される操作上の制約が排除され、製造コストが低減される。画像フレーム全体の一時的保存が仮にも必要とされるのであれば、それは、画像フレームの圧縮に先立つ画像フレームのずっと大量のデータではなく、低減されたサイズの圧縮写真フレームの保存にすぎない。従って、一時的画像データ保存の全必要量はかなり低減することができる。サービスセンターのワークステーションにおいてまたは別の方法で、取り込まれた画像作業製品を保存するために使用されるデジタルカメラ内の不揮発性メモリから圧縮写真が回収され、復元される。復元後、ワークステーションは、画質を最適化し、カメラにおける欠点を補正するための画像データの処理、すなわち前に概説したような市販のデジタルカメラが現在行っているすべての処理およびそれ以上の処理を完了する。次に、復元および処理された画像データは、カラープリンタによる利用、ＣＤまたはＤＶＤへの書き込み、あるいは何か他の最終用途のための形にされる。データをＣＤ書き込み用標準形式ファイルにする場合、ワークステーションは、データをＪＰＥＧ形式標準などの規格に圧縮することにより写真を処理する。
【００１０】
本発明のさらなる態様によれば、デジタルカメラは、同じ場面の少なくとも２つの写真を高速連写し、次に２つの画像のデータを処理して、取得された画像のいずれかの品質よりも優れた品質を有する共通の対象場面の単一画像を生成するように構成することができ、これにより取得された画像における欠点の補正および／またはカメラの制限が補償される。例えば、手持ち式カメラによる２つの連続した露出間で確実に生じる極めて小さいシフトである２つの露出間の少なくとも１つの画素だけカメラセンサ上の画像がシフトされる場合、画像センサの不良画素の画像への影響が除去され得る。不良センサ画素の影響を含む一方の画像の部分のデータは、他方の画像により取得された対象場面の同じ部分のデータにより置き換えられ、この他方の画像は、ピクチャ間のカメラの動きのために、異なるセンサ画素により取得される。センサ、カメラ光学部品類および電子システムの固定パターンノイズの影響は同じ方法で補正し得る。このようにしてこれらの補正を行う利点は、これらの補正が動的であることである。すなわち、センサまたは光学部品類における経時的変化は、それらを別個に測定する必要なく自動的に補正される。別の例は、異なる露出条件下で同じ対象場面の２つ以上の画像を取得し、次にそれらを結合することにより、カメラセンサの光感応ダイナミックレンジを増大させることである。これにより、飽和されているセンサ画素のために、大部分が暗いかまたは明るい取得された画像の部分の細部の復元が可能になる。さらに、露出の間に動くカメラによってぼやけた画像細部は、２つのこのような露出を急速に連続して行い、次に両方の画像のデータを逆スミアリングアルゴリズムで処理することにより鮮明にし得る。
【００１１】
前述した本発明の態様および特徴は、用途に応じて個別にまたは様々に組み合わせて一緒に実装し得る。さらに、本発明の付加的な態様、利点および特徴は、添付図面と共に解釈されるべきである以下の代表的な実施例の説明に含まれる。本願明細書中で参照されるすべての特許、特許出願、記事およびその他の刊行物は、この参照によりすべての目的について本願明細書においてその全体が援用されている。
【発明を実施するための最良の形態】
【００１２】
手持ち式カメラの形の代表的なビデオ取得データ機器が図１の概略図に示されている。このカメラは、ケース１１、撮像光学系１３およびライン１９を介してプロセッサ１７と通信するユーザインターフェイス１５を含むことが概略的に示されている。インターフェイス１５は、カメラの操作および状態インジケータだけでなく、ユーザ操作スイッチおよび制御装置を含んでいる。ライン２２を介してプロセッサ１７により制御されるオプションの光フラッシュユニット２１も含まれ得る。このような手持ち式デジタルカメラは小さくすることができ、カメラ本体は、長さ１４ｃｍ×高さ５ｃｍ×厚さ５ｃｍ未満の寸法を有し、８×４×２ｃｍ未満といっそう小さくすることができ、通常本体から突出するレンズを備える。
【００１３】
光学系１３は、図に示されているように単一レンズとすることができるが、通常は一組のレンズである。場面２５の画像２３は、調節可能な開口２７およびシャッター２９を介して可視光学放射として画像センサ３１の２次元表面上に形成される。センサ３１の電気的出力３３は、画像２３が投射されるセンサ３１の表面の個別の光検出器を走査した結果得られるアナログ信号を伝える。センサ３１は典型的には、画像２３の個別の画素を検出するために行および列の２次元配列で配置された多数の個別の光検出器を含んでいる。個別の光検出器に当たる光の強度に比例する信号は、典型的には光検出器をラスタパターンで走査することにより、時系列的に出力３３中で得られ、その場合、光検出器の行は、最上行から始めて、左から右へ一度に１個走査されてビデオデータのフレームを生成し、このフレームから画像２３を再構成することができる。アナログ信号３３は、画像２３の回路内のデジタルデータ３７を生成するアナログ・デジタル変換回路チップ３５に印加される。典型的には、回路内の信号３７は、センサ３１の個別の光検出器に当たる光の強度を表すデジタルデータの一連の個別のブロックである。
【００１４】
図１の代表的なカメラにおいて、プロセッサ１７は、システムクロックを含み、クロック信号がプロセッサによりセンサ３１およびアナログ・デジタル変換器３５にライン３９を介して供給される。センサ３１およびプロセッサ１７の動作を同期させるための付加的なタイミング信号もプロセッサ１７において発生され、ライン４１を介してセンサ３１に供給される。また、別個のシステムクロックを使用してもよく、かつ／または同期タイミング信号をセンサ３１において発生してプロセッサ１７に代わりに供給してもよい。プロセッサチップ１７は、可変開口２７、シャッター２９およびカメラのその他の構成要素を制御するため、制御および状態ライン４３を介してそれらに接続される。
【００１５】
カメラにより取り込まれた画像のデータは、カメラ内に装備された不揮発性メモリ４５に保存し得る。メモリ４５は、商業的に利用可能な半導体フラッシュ式の電気的に消去可能でプログラム可能なリード・オンリー・メモリ（ＥＥＰＲＯＭ）、小形の取り外し可能な回転磁気もしくは光ディスク、磁気テープ、バッテリーバックアップを有する揮発性半導体メモリまたはセンサ３１により取得された画像フレームのビデオデータを保存することができる他の不揮発性メモリとすることができる。データの多数の個別のフレームのデータは、センサ３１がこれらのデータを取得する際に、プロセッサ１７からライン４７を介してメモリ４５にプログラムされる。制御ライン４９は、プロセッサ１７がメモリ４５の動作を制御できるようにする。画像データのその後の処理に有用または必要な付加的な画像サポートデータも、それらがサポートする画像フレームデータと共にライン５１を介してメモリ４５にプログラムされる。他のところで説明されたように、カメラのコストを最小限にするために、メモリ容量が消尽される前に十分な数の画像フレームをカメラが取り込みおよび保存するができるようにするため、合理的なサイズのメモリ４５への保存の前にデータを圧縮することが望ましいことを除けば、図１のカメラにおいて画像データの処理はほとんどまたは全く実行されない。
【００１６】
メモリ４５は、フラッシュメモリカードまたは取り外し可能な小型ハードディスクシステムを使用することによりカメラから物理的に取り外し可能にすることができるが、この例におけるメモリ４５は、カメラケース１１内に恒久的に設置されている。ユーザがカメラから画像フレームデータを転送したい場合、転送は、メモリ４５から読み出されたデータをライン５５を通して受け取る通信機器５３を介して行われる。通信機器５３は、画像処理ワークステーションへのケーブルが接続可能なソケット、赤外デジタルデータ送信機器、無線周波数信号送信機、またはその他のタイプのワイヤレスデータ通信リンクなどのいくつかの異なる形態を取ることができる。
【００１７】
図２に関連して、カメラのメモリ４５から読み取られた画像データを処理するためのワークステーションが一般的に示される。カメラの通信機器５３と補完関係にある通信機器５７がカメラからデータを受け取る。これは、ケーブル、赤外送信、無線周波数送信などによることができる。プロセッサ５９が、受け取られた画像データを処理する。このプロセッサは、パーソナルコンピュータ、ネットワークサーバーなどとすることができる。次に、処理された画像データは、このデータを利用する何らかの機器６１に掛けられる。機器６１は、画像データのプリントを提供するカラープリンタあるいはＣＤもしくはＤＶＤバーナー、磁気ディスク駆動装置、フラッシュメモリカードまたは磁気テープ駆動装置などの画像データを保存する何か他の不揮発性メモリ機器とすることができる。カメラのメモリ４５内に保存された画像データが圧縮されていれば、プロセッサ５９はデータを復元する。しかし、プロセッサ５９の主要な機能は、通常デジタルカメラにおいては実行されるが図１の低コストのカメラにおいては実行されない画像処理を実行することである。カメラ外部のコンピュータで利用可能な付加的な処理パワーおよび時間により、このような画像処理をより適切に実行することが可能になり、手持ち式デジタルカメラにおいては現在実行されない他のタイプの処理をすることも可能になる。プロセッサ５９によりなされる処理は、利用機器６１ともインターフェイスし、例えば、機器６１がプリンタを含む場合にはソフトウェアプリンタドライバを含み、機器６１がＣＤまたはＤＶＤ保存ユニットを含む場合には通常のＪＰＥＧ圧縮を含むなどである。
【００１８】
図３は、再利用可能なカメラとしての図１の簡略化されたデジタルカメラの１つの使用を示す。このようなカメラ６３は当初個人ユーザにより小売店から購入される。その内部不揮発性メモリ４５が、ユーザが撮った写真のデータにより容量が満たされた後、ユーザはカメラ６３を、図２に関して前述されたワークステーションを備える商業的処理センターに持って行き、引き渡す。次に、カメラ６３の不揮発性メモリ内に保存された画像データがメモリから読み出され、ワークステーションのメモリに読み込まれる。次に、これらのデータは、手持ち式デジタルカメラ内で現在行われている方法で画像を補正および強調するため、以下で説明されるやり方で処理される。というのは、この処理は、図１のカメラ６３から省略された設計によるものだからであり、さらにそれ以上の処理がなされる。次に、ユーザが注文した通りの写真プリント、画像データがＪＰＥＧ圧縮フォームで保存されたＣＤなどがデータから作製される。次に、カメラ６３のメモリ４５は処理センターにより消去され、カメラは、別のユーザによる購入のために小売店に送られる。
【００１９】
図３に示される処理センターは商業施設であり、本発明のデジタルカメラのユーザは、自分のカメラをそこに持ち込んでデータを画像処理ワークステーションにダウンロードし、画像処理サイクルを完了し、ハードコピープリントおよび／またはリンクされたサポートデータにより増強されたデジタル画像データから得られた標準デジタル画像ファイルが保存されたディスク、ＣＤもしくはＤＶＤなどの保存媒体を入手する。デジタルカメラは、再利用可能なカメラであり、写真保存用の内部電子メモリのみを有し、取り外し可能な保存メモリを全く有さず、保存された写真をパーソナルコンピュータまたは何らかの他の機器に転送することによりカメラユーザが回収するための手段を全く有さず、サービスセンターまたはカメラ製造業者により改装されて、販売箇所へ返送されて再販売されるように設計されているのであれば、このような一連のステップがたどられる。
【００２０】
しかし、この使用モデルは必ずしもそうである必要はない。エンドユーザにより使用される図１のデジタルカメラが、リンクされたサポートデータにより増強されたデジタル画像データを、別の機器または取り外し可能な不揮発性メモリにダウンロードするためのＵＳＢ２．０またはＩＥＥＥ１３９４インターフェイスなどの標準手段を含んでいれば、本発明の画像処理ワークステーションは、商業施設に設置される必要はない。代わりに、ワークステーションは、エンドユーザの家庭に置くことができ、ＣＤ、ＤＶＤ−ＲまたはＲＷ記録能力を有する適切な画像処理ソフトウェアが搭載されたＵＳＢ互換パーソナルコンピュータの形態を取ることができる。ワークステーションは、本願明細書中で説明された原理に基づく画像処理ソフトウェアを搭載するＵＳＢインターフェイスまたは取り外し可能なメモリンターフェイスコネクタを備えるＤＶＤレコーダの形態も取ることができる。このようなＤＶＤレコーダは、エンドユーザが処理サイクルを完了し、ユーザの画像データを１つ以上の標準画像形式に方式変換できるようにするユーザインターフェイスを付加的に含み、これらの形式の少なくとも１つは、どのＤＶＤプレーヤーでも再生可能である。このようなＤＶＤレコーダ上でのＵＳＢまたはＩＥＥＥ１３９４インターフェイスの存在により、現在消費者に利用可能な多くのカラープリンタの１つにおいてエンドユーザが自分の処理された画像データのハードコピープリントを作成することがさらに可能になる。
【００２１】
図１のカメラの構造および動作のさらなる詳細を説明する。センサ３１は、電荷結合素子（ＣＣＤ）、相補型メタルオンシリコン（ＣＭＯＳ）素子または他の同様なタイプの光センサとすることができる。多数の光検出器要素（典型的には、２００万、３００万および４００万個以上）が、小さい２次元表面全体にわたって配置され、要素に当たる光または他の光学放射（可視光線波長に隣接するスペクトルの赤外および紫外領域を含む）の強度に比例する信号を個別に発生する。画像の画素を検出するこれらの要素は典型的には、ラスタパターンで走査されて、それらが走査される際に、光検出器要素に次々に当たる放射の強度を与える出力３３中の連続したアナログ信号を発生する。色データは通常、光検出器の前にあり、赤、緑および青のような別個の色成分の１つに対する光検出器の感度を制限する濾光器を使用して提供される。
【００２２】
図４は、１つの広く使用される基準に従って、センサ３１内で利用し得る色モザイク中の画像２３の個別の画素の感光検出器の２次元配列の一部分を例示する。一つおきの行６５は各々、緑（ＧR ）および赤（Ｒ）を交互に感知する光検出器を含んでいるのに対して、その間の行の光検出器は、青（Ｂ）および緑（ＧB ）を感知する。目は緑に対してより敏感なので、緑を感知する光検出器は、赤または青を感知する光検出器の２倍ある。緑を感知する光検出器は配列全体にわたって同じであるが、赤の行中のものを青の行中のものからそれぞれ区別するために、行６５中のものはＧR と表記され、行６７中のものはＧB と表記される。本願明細書中で説明される例において、赤の行中の緑感知光検出器からのデータは、青の行中のものとは別個に扱われる。
【００２３】
カメラの複雑度とコストを最小限にするために、画像処理は図１のカメラから完全またはほぼ完全に省かれるが、画像データを不揮発性メモリ４５に保存する前に、その画像データを圧縮することが目下のところ望ましい。これにより、非常に大容量のメモリのコストを招く必要なくカメラを商業的に望ましいものにするメモリ４５に十分な数の画像のデータを保存することが可能になる。メモリのコストが低下し続けると、これは変わることが考えられ、その場合には、センサ３１からの原色データは、デジタル化された後、わずかな付加的処理と共にまたは付加的処理なしでメモリ４５に直接保存される。しかし、本願明細書中の例は、図１のカメラ内での画像データ圧縮に備えるものである。
【００２４】
カメラにおける使用について本願明細書中に記載されている圧縮アルゴリズムは、ＪＰＥＧ圧縮アルゴリズムの修正形である。図５を参照すると、センサ配列の光検出器からのデータは、設定数の光検出器の行および列をそれぞれ含むセンサ３１の配列のブロックから得られるデータにグループ化される。示される例において、各ブロックは、８つの行と８つの列とを含むが、代わりに、他の数の行または列がブロック中にあるように定義することができる。この例において、各ユニット内のＲ、ＧR、ＢおよびＧB画素からのデータは、別個に圧縮されてメモリ４５内に保存される。
【００２５】
この画像データ圧縮は、図６により概念的に例示される。好ましくはすべて単一の集積回路チップ上にあるプロセッサ１７の一部である小さい揮発性バッファメモリは、アナログ・デジタル変換器３５からの画像画素データのストリームを受け取る。このデータは、センサ３１の配列を横切る順序で画像フレームのラインについて、Ｒ／ＧR 画素およびＢ／ＧB 画素のラインについて交互に、受け取られた通りに書き込まれる。図６のこの例において、ディスプレイのすべての列を横切って、処理ユニットの数の画像ラインについて十分なデータがバッファ７１にひとたび取り込まれると、書き込みとは異なる順番でのバッファ７１からのデータの読み取りが、圧縮処理のために開始され、すでに取り込まれたライン以下の他のラインからのデータがバッファに書き込まれるにつれて継続される。図６に示されているように、データ圧縮機能７７〜８０が、バッファの第１のセクション７３に保存される画像フレームデータの８つのラインから読み取られるデータに対して実行される一方で、次の８つのラインのデータが第２のセクション７５に書き込まれる。その後、データは圧縮のために第２のセクション７５から読まれる一方で、画像の次の８つのラインについての新しいデータが第１のセクション７３に書き込まれ、画像フレーム全体のデータがバッファメモリ７１に書き込まれてそこから読み取られるまで以下同様である。プロセスのスピードを維持するために、メモリ７１からのデータの読み取りおよびその圧縮は、メモリ７１にデータが書き込めるのと同じ速さで行われるのが好ましい。
【００２６】
バッファメモリ７１のセクション７３または７５の一方が８つの画像データラインでひとたび満たされると、このデータは、それらすべてのラインから、一度に１ユニットずつ、この例では１ユニットあたり８つの画素列が異なる順番で読み取られる。第１のユニットのすべての赤（Ｒ）画素からのデータを、読み取り、圧縮し、かつカメラのメモリ４５の領域８３に保存することができ、続いて読み取られた行中の緑（ＧR ）画素について同じことが行われ、圧縮されたデータは、メモリ４５の領域８５に保存される。同様に、青（Ｂ）および緑（ＧB ）のデータが同じユニットから連続して読み取られ、それらの圧縮されたバージョンは、メモリ４５のそれぞれの領域８７および８９に保存される。これにより、バッファ７１の１つのセクション内に保存された画像フレームデータの第１のユニットの圧縮および保存が完了する。次に、このプロセスは、一方のセクション内に保存されたデータの８つのラインを横切るデータのすべてのユニットが読み取られ、圧縮され、かつ圧縮されたデータがメモリ４５に書き込まれるまで、同じバッファセクション内に保存されたデータの第２のユニットについて繰り返される。次に、これは、バッファ７１の他方のセクション内に保存されたデータについて完了するまで繰り返され、それから第１のセクションへ戻り、画像フレームのすべてのデータが圧縮されて不揮発性メモリ４５内に保存されるまで以下同様である。ひとたびこれが生じると、別の画像のデータがセンサ３１により取得され、このプロセスが画像データの新しい組について繰り返される。
【００２７】
この処理手法には、バッファメモリ７１が、このようなバッファが少なくとも１つの画像フレームのすべてのデータを保存する通常のデジタルカメラのバッファメモリよりもかなり小さくなることを要求するという大きな利点がある。非圧縮データを保存するためのこのようなフルフレームバッファは典型的には、カメラ内にあってプロセッサと接続された別個の集積回路メモリチップを用いて実装される。しかし、これは高価であり、２つのチップ間での必要な高速データ転送が、回避される必要があるノイズの多い環境を生成する傾向にある。ここで、バッファ７１は、プロセッサ集積回路チップに含まれ得るのに十分小さい。バッファ７１は、１つのフレーム内および１つの処理ユニット（図５）内のラインの相対的な数に応じて、フルフレームバッファのサイズの１５％未満または１０％未満、さらには５％未満とすることができる。バッファ７１は、フル画像フレームバッファのサイズの２％未満とすることが可能である。
【００２８】
図６に一般的に例示されているデータ圧縮は、画像データがセンサ３１から取得される際に、そのデータのシングルパスでリアルタイムに実行される。図６に例示されている圧縮ステップは、ＪＰＥＧ標準処理の代表的なものである。ステップ７７において、単一の表示ユニットについて一度に１色のデータの離散コサイン変換が取られる。次に、この変換係数は、ステップ７８において量子化され、ステップ７９においてハフマン符号化される。次に、符号化されたデータは、バッファメモリ８０に書き込まれ、このバッファメモリは、データがステップ７９により符号化されるレートとこの符号化されたデータが不揮発性メモリ４５に書き込み得るレートの同期をとる役割を果たす。不揮発性メモリ４５としてフラッシュメモリが使用されれば、バッファ８０は、高いレートでデータを保存するのに十分に大きい必要がある一方で、このデータはより遅いレートでメモリ４５に書き込まれる。というのは、現在利用可能なフラッシュメモリのプログラミングは比較的遅いからである。いずれにしても、画像フレームデータはこの時点で圧縮されるので、バッファ８０は、カメラ内に別個のメモリチップを必要とするほど大きい必要はない。ステップ７７〜８０により例示される圧縮は、ソフトウェアあるいはハードウェアのいずれかにより実装でき、最初にハードウェア実装について以下説明する。
【００２９】
圧縮の結果生じるデータの量は、図６の破線で示されているように、符号器７９のデータ出力を監視し、応答してステップ７８の量子化レベルを調節することにより制御される。画素の８つのラインの画像フレームを横切る１つのストリップの結果生じる圧縮データの量が高すぎれば、量子化レベルは、データの次のストリップの圧縮について調節することができる。しかし、単一のこのような調節は小さくされるので、ストリップ−ストリップから結果として生じる復元画像に対する目に見える影響はまったくない。フルフレームバッファを有する他のカメラ設計において、所望のサイズの圧縮データファイルが得られるまで、画像フレームデータは、異なる量子化レベルで何回も圧縮し得る。しかし、本願明細書中に記載されているカメラシステムにおいて、圧縮を行う機会は１回だけであり、圧縮に先立ってフルフレームバッファを必要とせず、連続画像の取得の間の時間遅延の低減の結果として生じる圧縮処理を高速化するという重要な利点を有する。
【００３０】
カメラプロセッサ１７（図１）は、画像圧縮のプロセスを開始する前に、センサ３１からの画像データの前処理を最小限の量だけ実行する。１つの実施形態において、カメラプロセッサは前処理をまったく実行せず、従って、前処理機能のコストをゼロに低減し、ワークステーションにおいてカメラ外で行われる処理において用いる生のセンサ画像データに関する最大限の情報量を保持する。現行のデジタルカメラにより従来実行されてきたというよりむしろワークステーションにより実行される前処理機能は、例えば、不良画素補正、ホワイトバランス補償、ブラックレベル補正、コントラスト伸張処理、デモザイキング、ガンマ補正、画素形式変換、エッジ強調、クロミナンスフィルタリングおよびレンズシェーディング補償である。このデータ処理は、処理されたデータから最終的に形成されるオリジナルの場面の画質を補正、強調または別の方法で改善する目的で実行される。これらのデータ操作は、付加的に行われることがあるデータのどのような圧縮からも独立しているのが典型的である。取り込まれた画像を表すより小量のデータへの画像データの圧縮および復元による圧縮からの画像データの再構成は、圧縮プロセスにおいて通常固有の損失を除き、結果として生じる画像に影響を及ぼさない。データ圧縮は、画質を補正、強調または別の方法で改善する目的または効果を持たない。
【００３１】
しかし、未補正画素によりある種の圧縮手法が圧縮アーチファクトを導入してしまうことがあるので、カメラにおける単純な不良画素補正前処理を維持することが望ましいことがある。しかし、単純な不良画素補正を除いて、これらの前処理機能のすべては、好ましくはカメラではなくてワークステーションにおいて実行され、従って、カメラが簡略化され、いずれにしてもカメラには実際的に含めることができないタスクにより多くの処理パワーをもたらす。
【００３２】
ワークステーションによるこれらの処理機能を容易にするために、図１のデジタルカメラは、圧縮された取り込み画像データと結び付けられたサポートデータを写真ごとに不揮発性メモリ４５に保存することができる。サポートデータは、関心のある場面の画像が取得される前または後に１つ以上の所定の時間間隔で、異なる撮像条件のもとで取得された１つ以上の付加的な完全または部分画像の形を取ることができる。本発明の圧縮操作はリアルタイムでシングルパスで実行され、画像データがセンサから読み出される際に、圧縮時間、圧縮された出力データレートおよび圧縮されたデータサイズに関して決定論的かつ予測可能なので、これらのあらかじめ定義された時間間隔は、反復可能であり、かなり短かくできる。従って、これらの付加的な画像は、関心のある場面と良好な相関関係にある。サポートデータは、これらのデータを保存するために必要とされるメモリ４５の量を低減するために、好ましくは取得された画像データと同じやり方で圧縮される。また、サポートデータは、サポートデータ保存要件を低減するために、メモリ４５への保存の前に、カメラプロセッサ１７によりサブサンプリングまたは平均化されてもよい。メモリ使用をさらに低減するため、あらかじめ定義された画像領域またはあらかじめ定義された基準に応じる画像領域のみを、サポートデータとしてメモリ４５に保存することもできる。関心のあるこれらのあらかじめ定義された領域を定義するデータも、このメモリに保存される。加えて、サポートデータは、工場較正の間に測定されてカメラの適切なメモリに保存されるか、あるいはカメラの使用の間に動的に決定または調節される特定のカメラのパラメータとすることができる。画像の取り込まれたデータと関連付けられたサポートデータは、カメラから受け取られた画像データのワークステーション操作による一定の補正、強調および／またはその他の画質の改良を可能にする。最終的な写真の質を大きく改善するために使用することができるサポートデータをワークステーションに提供するために、サポートデータは、以下の状況下で取り込まれ得る。
１） センサの固定パターンノイズの補正を考慮するため、機械シャッター２９を使用して画像センサからブロックされた光を用いて取り込む。
２） センサグレースケール特性についての補正を可能にし、写真ダイナミックレンジを改善するデータを提供するため、同じ対象場面であるが、関心のある画像と比較して異なる１つ以上の露出レベルでの対象場面のデータで取り込む。
３） 関心のある画像の取り込みと、関心のある対象場面画像のデータ取得の間に生じたカメラの動きの決定および補正を可能にするサポートデータの取り込みとの間の異なる１つ以上の時間遅延間隔で取り込む。
４） 不良画素の検出および補正を容易にするため、取り込まれている関心のある場面に関して異なる１つ以上のセンサ位置で取り込む。高速で連続して取り込まれた画像間に小さい位置オフセットが当然生じることに留意されたい。センサ上でのこの画像オフセットのため、不良画素により１回目に読まれた画像データは、隣接する作動画素により２回目に読まれる。従って、関心のある場面の取り込みとサポートデータの取り込みとの間の短い時間遅延は、画像データ処理ワークステーションが不良画素からの誤ったデータを正しい画像データで置き換えるのに必要な情報を提供する。
５） デジタルカメラの工場較正の時点で取り込む。
【００３３】
固定パターン画像センサノイズ補正である前述した第１の例は、サポートデータ概念のよい例示を提供する。このタイプのノイズは、センサ配列の個別の光検出器要素の若干異なる特性に起因する。ノイズのレベルは温度依存性、従って、動的であり、時間の経過につれて変化することを意味するので、ノイズパターンは、写真が撮られる時に近い時点で測定される必要がある。１つの例において、これは、関心のある場面の取り込みの直後に画像センサからサポートデータを読み出すことによってなされる。この場合、サポートデータとして用いられる画像は、“黒画像”である必要があり、これは画像センサに当たる光が全くなしで取り込まれた画像である。機械シャッター２９をデジタルカメラに組み込むことにより、すべての光は画像センサから適時ブロックされ得る。このサポートデータは、ノイズのダイナミックレンジが主要画像のダイナミックレンジよりもずっと小さいので、圧縮された符号の目標ボリュームをずっと小さくすることができる以外は、関心のある場面を表す画像データと同じやり方で圧縮および保存される。従って、サポートデータの圧縮されたデータサイズは、関心のある場面のデータの圧縮されたデータサイズよりもずっと小さい。処理サービスセンターにおいて、サポートデータおよび関心のある場面のデータが復元され、画素ごとに、サポートデータ値が、対応する関心のある場面の画素データ値から引かれる。サポートデータ値は、関心のある場面の画像データが取り込まれたほんの短時間後に取られた黒画像からのものなので、そのサポートデータ値は、関心のある画像が取得された時点における各センサ要素の黒レベルノイズ値を表す。このように、画像センサ固定パターンノイズについての補正は、ワークステーションによってカメラの外部で行われる。
【００３４】
図１のカメラが、画像エリア周辺の外側に付加的な要素を有する画像センサ３１を用い、これらの要素が、これらの要素に光が当たることを防ぐ材料で覆われていれば、これらの暗要素からのデータサンプルはサポートデータとして働くことができる。ワークステーションにおいて、このサポートデータは、画像エリアにおける黒レベルノイズを推定するために用いられる。１つのタイプの画像センサ中の付加的要素は、画像エリアの左または右の縁部上の要素の単一の列で構成することができる。センサの各列が読み出されると、その関連付けられた暗要素も読み出される。行は逐次的に読み出されるので、時間の経過につれて一般に累積するノイズは、行から行にかけて変化し、暗要素からのデータは、黒レベルノイズの測定値を提供する。画像がその後、カメラの外部でワークステーションにより処理される場合、暗要素の出力は、その行中の他の要素すべての値から引かれ、従って、画像から時間変化ノイズを除去する。
【００３５】
画像センサダイナミックレンジの改善である前述した第２の例は、サポートデータ概念の別の使用例を提供する。関心のある場面が特定の露出レベルで取り込まれると、細部が最小輝度しきい値以下または最大輝度しきい値以上にあるためにそれらの細部が認識できない画像の領域があるのが典型的である。この手法は、連続してはいるが異なる露出レベルで同じ画像を１回以上付加的に取り込むものである。これらの付加的な画像取り込みからのデータは、ワークステーション用のサポートデータとして働く。これは、リアルタイムのシングルパス画像圧縮および前述した保存方法により、取り込まれた画像間の測定可能な動きを招くことなく、図１のデジタルカメラにおいて可能である。ワークステーションにおいて、個別の写真のいずれよりも多くの目に見えるグレースケール細部を有し、従って、画像ダイナミックレンジを強調した合成画像が作り出される。
【００３６】
この形のダイナミックレンジ強調が効果的であるためには、付加的画像中に存在するすべての取り込まれたデータは、画像データと共に保存され、かつワークステーション用サポートデータとして利用可能である必要はないことに留意されたい。例えば、サポートデータダイナミックレンジ情報は、付加的画像の低解像度バージョン、画像内容に応答するダイナミックレンジ情報を含む付加的画像の処理されたバージョンまたは付加的画像の圧縮されたバージョンの形で保存され得る。加えて、画像処理ワークステーションは、関心のある画像のダイナミックレンジを強調するためにサポートデータを利用するために、サポートデータが取得された条件を認識しているべきである。例えば、これらの条件は、最初の画像においては見えなかった場面のシャドー領域における細部を明らかにするために、付加的画像は関心のある場面よりも長い露出時間で取り込まれることおよび／または関心のある場面において見えなかった場面の光輝部における細部を明らかにするために、付加的画像は関心のある場面よりも短い露出時間で取り込まれることとすることができる。ワークステーションにおいて、２つの画像間にわずかな量の動きがあれば、それを補正するために既知の画像登録方法が用いられる。等しい要素の各々について、第１の画像からのデータは、そのレンジを増大させるために左シフトすることもでき、そうであれば、ダイナミックレンジが拡張された合成画像を作り出すためにサポートデータがそれに付加される。
【００３７】
レンズシェーディングなどのレンズ１３およびカメラ光学部品類の他の部分の欠陥も、光学部品類と関連する動的サポートデータを取得された画像と共に保存することによりワークステーションにおいて補正され得る。１つの例において、レンズは、カメラが製造される時点で工場によって各ズームおよび焦点設定において較正され、測定された較正データは静的情報として不揮発性メモリに保存される。画像が取り込まれる場合、ズームおよび焦点設定は、関心のある画像からの圧縮されたデータと共にサポートデータとして一緒に保存され、それらの設定のための光学部品類補正データは、ワークステーションによって読み出され、レンズシェーディング補正を実行するためにそこで使用される。
【００３８】
サポートデータおよびワークステーション画像処理の使用のさらに別の例は、画像取り込みの時点で、図１のデジタルカメラ内で見える画像のデータが生成されない場合である。この例のデジタルカメラは、コンピュータ最適化されたレンズを使うこともできる。このレンズは、センサに当たる画像を故意に歪ませる。作り出された歪みは、ワークステーションにおけるその後の処理によって除去される。この場合、レンズ歪み特性は、画像データと共にデジタルカメラの不揮発性メモリ４５に保存される。このレンズ歪みデータは、カメラ製造の時点で、カメラの不揮発性メモリに保存される。このようなカメラ構成の１つの特定の例において、このようなレンズの使用は、「サイエンス・ニュース」，第１６３巻，第１３号，２００３年３月２９日，２００ページ（非特許文献２）に記載されているように、最終処理された写真の被写界深度を高める。このようなレンズにより生成される生の画像の重要な特性は、その画像がぼやけていること、すなわちセンサ３１上へ投げられた画像２３（図１）は、目に見えるシャープなエッジを含んでおらず、その結果として、その画像は、従来のレンズにより生成された画像よりも効率的に圧縮することができる。実際、画像は、画像データ圧縮の前に、カメラプロセッサにおいて歪み除去処理が行われた場合よりも効率的にカメラプロセッサ１７により圧縮され得る。結果として、圧縮は、それほど厳密でない量子化を用いて行うことができ、従って、従来のカメラレンズまたは圧縮前に歪み除去処理が行われるカメラを用いて可能になるよりも高品質の最終写真を生成する。
【００３９】
図１のカメラに戻り、プロセッサ１７の構造および動作を説明する。プロセッサ１７は、１つの実施形態において、以下の機能を実行する。
１） センサを操作するために必要とされるタイミングを有する信号の任意の発生を含む画像センサ３１の制御。
２） センサにより発生されたタイミング信号、または随意にプロセッサ１７により発生されたタイミング信号のモニタリングを含む関心のある画像のデータおよびサポートデータ双方についてのセンサ３１からのデータの読み出し。
３） 必要とされるセンサ露出時間の計算。
４） デジタル化されたセンサデータの圧縮。
５） 圧縮されたデータの不揮発性メモリ４５への保存。
６） 圧縮プロセスを適応的に制御することによる利用可能な保存スペースの管理。
７） カメラのユーザインターフェイス１５の管理。
【００４０】
プロセッサ１７の１つの実施形態のブロック図が図７に示してある。プロセッサは、前述されたやり方で、センサ３１と接続する画像インターフェイス９３およびアナログ・デジタル変換器３５を含む。メモリインターフェイス９５は、関連するメモリコントローラ９７と共に、前述したライン４７、４９および５１を介して不揮発性メモリ４５と接続する。汎用インターフェイス９９が、プロセッサ１７をユーザインターフェイス１５、カメラ内の他の電子部品およびフラッシュユニット２１と接続する。プロセッサ１７は、中央処理装置（ＣＰＵ）１０１、露出制御コプロセッサ１０３、圧縮ユニット１０５およびクロック発生器１０７も含む。
【００４１】
画像センサインターフェイス９３は、画像センサインターフェイス９３によりライン３９上に提供されるクロック信号およびライン４１中の関連するタイミング信号に同期してデータをサンプリングすることにより、ライン３７上に出現するセンサ３１からのデジタル化画像データを読む。カメラ用に選ばれた特定タイプのセンサに応じて、タイミング信号は、センサ３１によってまたはセンサと関連付けられたタイミング発生器によって発生され得る。センサインターフェイス９３により取得された画像データは、２つの宛先、すなわち露出制御コプロセッサ１０３および圧縮ユニット１０５に送られる。
【００４２】
露出コプロセッサ１０３は、センサの照度測定値を累積する。このユニットは、ＣＰＵ１０１のためのコプロセッサとして働き、ＣＰＵは、必要とされるシャッター２９のタイミングを決定し、露出をいつ終了させるかをセンサ３１に知らせるためにこれらの照度測定値を用いる。露出制御のこの方法は、従来のデジタルカメラにおいて用いられる方法と同じである。
【００４３】
圧縮ユニット１０５は、ストリップメモリ７１（図６）用のランダムアクセスメモリ１０９を含む。圧縮のパラメータは、圧縮画像用に不揮発性メモリ４５（図１）内に割り当てられたスペースに圧縮画像が確実に収まることを保証するために、ストリップごとに適応的に調節される。適合のための計算は、全面的にＣＰＵ１０１により、または圧縮ユニット１０５中のコプロセッサからの支援を受けるＣＰＵにより、あるいは全面的に圧縮ユニットにおいて行える。ＣＰＵ１０１は、リード・オンリー・メモリ内に保存された命令を実行し、計算において使用するための少量の読み書きメモリを有する。
【００４４】
図７のメモリコントローラ９７は、圧縮ユニット１０５により生成された圧縮画像データを先入れ先出し（ＦＩＦＯ）メモリとして構成されたメモリ１１１内にバッファし、次にこれらのデータをメモリインターフェイス９５を介して不揮発性メモリ４５（図１）に書き込む。ＦＩＦＯメモリ１１１は、前述したバッファ８０（図６）の機能を実装する。ＣＰＵ１０１は、メモリインターフェイス９５を介して不揮発性メモリ４５（図１）にもアクセスすることができる。
【００４５】
従来のデジタルカメラにおいて、前処理はデモザイキングを含む。このプロセスは、ＹＣｂＣｒとして知られる表現をもたらし、ここで、輝度Ｙ値が、センサ配列の各要素について割り当てられる。１つのＣｂＣｒペアが２つまたは４つのＹ要素と関連付けられる色成分ＣｂおよびＣｒは、より低い解像度で表される。従って、結果として生じ、その後圧縮されるＹＣｂＣｒ値の総数は、配列中の要素数の２または１．５倍である。ＹＣｂＣｒ表現が用いられる。というのは、この表現は、デジタル写真を表示するコンピュータソフトウェアにより使用される標準表現であり、またこの表現は、配列の各要素についての値のＲＧＢトリプレットがある表現、すなわち別の標準表現の圧縮の結果として生じるであろうよりも効率的な圧縮を考慮しているからである。画像センサは通常、デジタル化されたセンサ要素値を１０ビットデータとして提供するが、Ｙ、ＣｂおよびＣｒ値の各々について８ビットが用いられることに留意されたい。従って、１０ビットデータは、従来のデジタルカメラ内で生じる通常のデモザイク前処理操作中のどの時点かで８ビットに変換されねばならない。
【００４６】
図１のカメラにおいて、デモザイキングはまったく実行されない。デモザイキングは、写真がワークステーションにより処理されるまで延期される。圧縮は、画像データがセンサのアナログ・デジタル変換器３５から受け取られる際に、その画像データに対してカメラ内で実行される。圧縮前に、図６に関して前述されたように、各色に対応する要素値は個別の配列に分別され、各色配列は、その他から独立して圧縮される。ワークステーションによってカメラの外部で実行されるデモザイキングの質を高めるため、前述したように、赤要素と同じ図４の行中の緑要素（ＧR ）を青要素と同じ行中の緑要素（ＧB ）とは別個に扱うのが有利である。従って、圧縮は、色要素値、Ｒ、ＧR 、ＧB 、Ｂの４つの成分配列に対して行われる。各配列中の要素数は、全センサ要素の４分の１である。
【００４７】
有用な情報を場合によっては除去しかねないステップを回避するため、および後にサービスセンターのデモザイキング計算により使用されるために極力多くを保全するため、圧縮は、１０ビットデータ値の配列に対して行われる。これには、カメラプロセッサ機器により実行される露出制御におけるエラーを補正するためにワークステーションが用いることができるセンサデータの全ダイナミックレンジを保全するにあたり付加的な利点がある。画像圧縮の間に実行される量子化の影響の１つがダイナミックレンジの減少であり得ることが知られているが、この減少は局所的影響であり、ワークステーション処理において画像のより大きい領域を平均することにより、露出補正目的のためのダイナミックレンジ情報は保全され得る。
【００４８】
プロセッサ１７の画像圧縮ユニット１０５（図７）のブロック図を図８に示す。圧縮は図６に関して概括的に前述されているので、すでに説明されているブロックと同じ機能を実行する図８のブロックには同じ参照番号が付与されている。圧縮方法は、従来のカメラにおいて用いられるＪＰＥＧ圧縮と概して同様であるが、本発明の実施形態におけるシングルパス操作についてその特性を改善するいくつかの修正点を有する。
【００４９】
第１のステップは、デジタル化センサデータを一時的なストリップバッファメモリ７１に保存することである。データは、前に説明されたように、ライン３７上を行ごとにバッファへの入力に到来する。バッファ７１は、画像の１６行の１つのストリップを保持し、従って、ストリップバッファと呼ばれる。このバッファは、１つが各色成分についての画像要素の８つの行のストリップを保持する４つの別個のバッファとして想定することができる。ラスタ・ブロックアドレス発生器１１５は、メモリ７１をアドレス指定するので、バッファの内容が読み出される場合に、要素の順序が変更される。ＪＰＥＧ標準において詳細に説明されているように、８×８ブロックとして知られている１つの色成分の８行および８列の隣接した要素から成るブロックが、単色成分がインタリーブされて、一回に１つ、ただし用途に最も適したやり方で、読み出される。例えば、ＪＰＥＧ標準に文字通りに従えば、インタリービングは、［Ｒ］，［ＧR ］，［ＧB ］，［Ｂ］である。しかし、この用途において、より適切なインタリービングは、［Ｒ］，［ＧR ］，［Ｒ］，［ＧR ］，・・・，［ＧB ］，［Ｂ］，［ＧB ］，［Ｂ］，・・・，［Ｒ］，［ＧR ］，［Ｒ］，［ＧR ］，・・・，［ＧB ］，［Ｂ］，［ＧB ］，［Ｂ］，・・・，である。ここで、括弧内の記号は、それぞれの要素の８×８ブロックを表す。これは、センサのラインごとのモザイク配置（図４）において、ＲおよびＧR 要素の第１の８行ストリップが完全であり、ＧB およびＢ要素の第１の８ラインストリップのかなり前に読み出される準備ができているであろうからである。［ＧB ］および［Ｂ］ブロックの読み出し開始前に読み出される［Ｒ］および［ＧR ］ブロックの数は、センサの幅、すなわち、１つの行中の光検出要素の数に依存する。
【００５０】
画像要素の１つのブロックがバッファ３２から読まれると、それらの要素により占められていたスペースは、次のストリップの取得に使えるようになる。メモリ占有を管理する１つの単純な方法は、２つの完全なストリップのための十分なバッファメモリを準備し、ストリップバッファ間で交番して、他方が書き込まれている間に一方から読み出すことである。アドレス発生器１１５は、この場合に直截的である。より複雑なアドレス発生器を実装することにより、１つのストリップのみに必要とされるメモリ量を低減することも可能であるので、ブロックが読み出された時に開放されたメモリ空間が次のストリップからの新しい要素により上書きされる。
【００５１】
画像データの各色ブロックがストリップバッファ７１から読み出される際に、各色ブロックは、一般にＪＰＥＧ標準により詳細に規定される離散コサイン変換を計算する離散コサイン変換（ＤＣＴ）ユニット７７に適用される。この用途の実装と従来のデジタルカメラにおいて用いられる実装との１つの違いは、結果のより高い精度が保持されることである。というのは、ユニットへの入力の精度が８ビットではなくて１０ビットだからである。具体的には、１１ビットではなくて１３ビットの精度が保持される。ＤＣＴユニットにより出力される結果のＤＣＴ係数と呼ばれる８×８配列は、ブロックメモリ１１７に一時的に保存される。というのは、その配列は、プロセスの次のステップの前に、異なる順序で読み出されねばならないからである。ＤＣＴユニット７７を停止させないようにするため、メモリ１１７は、２つのメモリブロックを含み、これによって、結果の次のブロックが他方のメモリブロックに書き込まれている間に、結果の一方のブロックを一方のメモリブロックから読み出すことが可能になる。
【００５２】
ＤＣＴ係数は、平均して、０値係数のランの長さを最大にする順序でブロックメモリ１１７からアドレス発生器１１９により読み出される。ＪＰＥＧ標準において、順序はジグザグ順序であり、その場合に係数は対角線に沿って逐次読み出される。ＪＰＥＧ標準に準拠することは必要とされないので、ジグザグ順序を改良する読み出し順序が用いられる。例えば、一番左上の要素から２次元の８×８ブロック中で読まれる要素までの距離が単調増加する読み取り順序を用いることができる。これは図９に示され、読み取り順序を逐次番号付与により示している。この交互読み出し順序の選択は、ＤＣＴ係数の大きさが、平均して、ブロックの左上隅からの距離と共に減少し、従って、０値係数のランの長さが増大する機会を向上するという観察に基づく。以下の段落で論じられるように、標準ジグザグ順序ではなく、この読み出し順序を用いることにより、画像圧縮プロセスにおいてより低い量子化レベルを用いることができ、その結果、圧縮の結果としての画像劣化がより少なくなる。
【００５３】
ＤＣＴ係数は、図８の量子化器７８において、量子化値のテーブル１２１を使用する既存の技術のうちの１つを用いて量子化される。次に、量子化器７８の出力における量子化されたＤＣＴ係数は、標準ハフマン符号化手法を用いてハフマン符号器７９によりハフマン符号化される。ハフマン符号化は、発生された圧縮データ量をさらに低減するために使用される。ハフマン符号化が実行されている間、出力のビットまたは他のユニットの数も計数されて、プロセッサのＣＰＵ１０１（図７）にとり利用可能にされる。
【００５４】
ハフマン符号器７９の出力はバイトにパックされ、ＦＩＦＯとして構成されたコードメモリ８０内に一時的に保存され、後にメモリコントローラ９７（図７）により、フラッシュメモリ形状の不揮発性メモリ４５（図１）内に永続的に保存される。必要とされるコードメモリ８０のサイズは、フラッシュメモリの特性に依存する。フラッシュメモリが十分短いバイトあたりのプログラミング時間を有するのであれば、コードメモリ８０は、コードがコードメモリ内で生成されフラッシュメモリにオンザフライで書き込まれるように、圧縮された画像コードの一部分を保存するだけでよい。フラッシュメモリがこの動作モードに対して遅すぎれば、コードメモリ８０は、画像全体の圧縮されたコードを含むように十分に大きくし得る。
【００５５】
シングルパス圧縮方法が用いられ、これにより多重パスの場合に必要とされるであろうフレームバッファへ非圧縮生画像を保存する必要が回避される。これにより、システム内の大きいランダムアクセスメモリの必要性が排除される。多重パスは、保存の目的で提供された不揮発性記憶域内に保存される写真の最小保証枚数を考慮するように計算される設定限界を圧縮コードサイズが越えないことを保証するために、従来のデジタルカメラにおいて一般的に用いられている。これに加えて、従来のカメラにおいて完全な非圧縮画像を保存するために十分なメモリを提供することについては他の理由がある。１つの理由は、デジタルカメラのプロセッサが、画像を圧縮する前に自動ホワイトバランスを実行することができるようにするためである。本願明細書中に記載されているシステムにおいて、ホワイトバランス処理は、カメラ内のプロセッサによってではなく、ワークステーションによって実行される。別の理由は、保存された写真を再生し、テレビモニタ上でそれらを直接表示する能力をサポートすることである。この再生機能は、本願明細書中に記載されているカメラシステムには含まれない。
【００５６】
シングルパス圧縮は、メモリ１２１内の量子化テーブル（図８）が画像フレームのストリップからストリップにかけて変更され得るようにすることによって図１のカメラ内で達成される。ＪＰＥＧ標準は、単一の画像フレーム内での量子化テーブルのこのような適応を認めていない。メモリ１２１内の量子化テーブルの適応はＣＰＵ１０１により実行される。
【００５７】
一般に、図８に例示されている圧縮プロセスは、基本量子化テーブルまたは一組の基本量子化テーブルを各色成分または同様な成分のグループについて１つ使用する。最適性能のために、適切な基本量子化テーブルが、代表的な画像セットおよびカメラにおいて使用されるセンサを用いて実験を行うことにより前もって一番うまく選択されるが、これに不合格であれば、多くの同様の用途について有用であることが経験から知られている基本テーブルを、文献中に、例えばＪＰＥＧ標準におけるサンプルとして提供されたテーブル中に見出すことができる。画像ストリップを圧縮する際に用いられる実際の量子化テーブルを決定するため、各基本テーブルに倍率が掛けられる。この変倍操作は、テーブルの全体的形状を保存するが、テーブル中の各量子化因子のレベルを変更する。同じ基本テーブルは、カメラから受け取られた画像データを復元するワークステーションにより使用され得るので、ワークステーションが、圧縮の間に用いられた実際の量子化テーブルを再構成するために、各ストリップについての倍率のみが、画像を表す圧縮コードと共にカメラの不揮発性メモリ４５に保存される必要がある。
【００５８】
シングルパス圧縮プロセスのこの態様を図１０に示す。データは、１回に１つの画像フレームストリップが圧縮される。各ストリップのデータの圧縮後、圧縮されたコードの量が測定され、次のストリップの圧縮の結果生じるコードの量を調節するために、次のストリップのための量子化レベル倍率を調節するように測定された量が用いられる。ステップ１３１において、圧縮されているストリップが、圧縮されている現在の画像フレームの中で第１のストリップであるかどうかが決定される。そうであれば、ステップ１３３において、基本量子化テーブル値に初期倍率が掛けられ、第１のストリップの圧縮が始まる前に、量子化テーブルメモリ１２１（図８）にロードされる。初期倍率は、代表的な画像セットを用いて事前に実験を行うことにより選択し得る。ステップ１３１により示されるように、画像フレームの初期ストリップであろうとなかろうと、処理の例示される部分は、画像データの所与のストリップのデータが、決定された倍率により調節された量子化テーブルで圧縮されるまで待機する。図１０に示されている残りのステップにより、倍率が、次の画像フレームストリップを順に圧縮する際に使用するために決定される。
【００５９】
ストリップのデータがひとたび圧縮されると、ストリップの圧縮されたコードの量は、ステップ１３７（図１０）において、ＣＰＵ１０１（図７）によって読み取られる。次に、ＣＰＵ１０１は、ステップ１３９において、次のストリップのために使用されるべき倍率を計算する。要望よりも多くの圧縮コードが存在することが見出されれば、倍率は、次のストリップについて、結果として生じるコードの量を低減するように設定される。逆に言えば、許容できるよりも圧縮コードが少なければ、次のストリップのための倍率は、コードの量を増大させるように選ばれる。次に、次のストリップ圧縮に用いられる量子化テーブルは、次のストリップの圧縮が始まる前に、それに応じて調節され（ステップ１４１）、量子化メモリ１２１に保存される（ステップ１４３）。ステップ１４５により、図１０によって例示されている処理の部分は、次のストリップに移り、次の画像ストリップのデータから得られた圧縮コードの量を参照してこのシーケンスを繰り返す。
【００６０】
倍率の調節は、目標累積コードボリュームのテーブルを１ストリップあたり１つ利用し、このテーブルは、画像圧縮を開始する前にＣＰＵ１０１により準備される。目標ストリップコードボリュームは、各ストリップに割り当てられる圧縮コードの量であり、目標累積コードボリュームは、現在のストリップまでを含むすべてのストリップの目標ストリップコードボリュームの合計である。各ストリップについて同じ目標ストリップコードボリュームを用いることができ、または好ましくはテーブルは、画像の中央部分を含むストリップに向けてバイアスをかけることができ、全画像圧縮データのより多くを典型的に最も関心の高い領域に割り当てることができ、その場合、量子化により引き起こされる画像細部における劣化を最小限にすることが最も重要である。例として、全画像圧縮データの７０％を画像高さの中央５０％に割り当て、１５％を上下の残り２５％の各々に割り当てることができる。
【００６１】
画像ストリップを圧縮した後、そのストリップまでを含むストリップコードボリュームの合計がストリップの目標累積コードボリュームを超えれば、量子化の量、従って圧縮の量を増大させるため、次のストリップについての倍率が増大される。急な倍率調節によるストリップ境界における目に見える影響を回避するために、ストリップあたりの倍率を小量だけ増大させることが望ましい。ストリップを圧縮した後、そのストリップまでを含むストリップコードボリュームの合計がストリップの目標累積コードボリュームより少なければ、倍率は少しだけ低減されるが、初期倍率の所定の小部分より小さくなることは許されない。この小部分についての最適値は、代表的な画像セットを用いて試験することにより経験的に決定され得る。
【００６２】
説明したばかりの倍率調節と共にシングルパス圧縮方法を用いることにより、画像全体の累積コードボリュームが目標量を超えないという制約条件を厳密に満たすことが可能である。その結果、所与の量の保存メモリに保存することができる圧縮画像の数が予測可能である。これにより、同程度の予測性のために倍率調節を使用しないＪＰＥＧ標準圧縮のシングルパス実装と比較して、ずっと高レベルの画質を達成することが可能になる。
【００６３】
前述したリアルタイム圧縮方法を用いると、完全な圧縮画像の一部分のみのデータを保存するために一時的なメモリ８０（図８）の量が最小限にされる１つの実施形態において、圧縮速度および不揮発性メモリ４５（図１）のプログラミング速度は一致させられなければならない。フラッシュメモリのような特定タイプの不揮発性メモリのプログラミング速度は典型的にはＳＲＡＭまたはＤＲＡＭのプログラミング速度よりも遅いので、メモリ速度は、用い得る最小圧縮率をともすれば制限する。これに対処するため、センサデータが読み出されるレートを落とすことができ、従って、圧縮データが生成されるレートを低下させる。センサが常用の電子シャッターモードで操作される場合、読み出しレートの低下は、カメラと場面との間に相対的な動きがあった場合に、遅すぎる読み出しに起因し得る画像スキューイングにより制限される。機械シャッターが用いられれば、読み出しレートはさらに低下され得る。というのは、センサのすべての部分の露出が同時に停止するからである。各感光要素と関連付けられた保存要素を有するタイプの画像センサを用いることにより、より遅い読み出しレートも機械シャッターなしで達成することができる。このセンサ形態において、センサの露出が完全な場合、すべてのセンサ要素の出力は、それらそれぞれの保存要素に同時に保存され、次に、保存要素は、保存要素が存在しない場合よりも低いレートで読み出される。
【００６４】
前述した処理に加え、プロセッサ１７（図１）は、カメラのユーザインターフェイス１５を構成しているボタン、例えばシャッターボタンおよびモード選択ボタンを監視し、さらに、やはりユーザインターフェイス１５の一部である、例えば、不揮発性メモリに取り込まれた写真の枚数を表示するオプションの状態表示を制御することもできる。プロセッサの他の機能は、シャッタートリガーとセンサからの画像の読み出しとの間の時間遅延を制御することによる画像の露出の制御およびオプションのフラッシュストロボを起動する制御信号の提供とすることができる。これらの後者の機能は、別個のコントローラにより実行できるが、コスト面の理由から、これらの付加機能も実行するために同じプロセッサ１７が好ましくは使用される。
【００６５】
本願明細書に記載されているカメラ処理の改善により、プロセッサ１７を非常に小さい集積回路として実現することができる。実際、ＣＭＯＳセンサは、プロセッサについて必要とされるＣＭＯＳ技術と同じ集積回路製造技術を使用するので、（部分フレーム画像データバッファを含む）プロセッサ１７、アナログ・デジタル変換器３５およびセンサ３１は、単一の集積回路チップ上に形成することができる。これは、前述したリアルタイム圧縮技術手法により実用的にされる。というのは、圧縮に先がけてデータを保存するために、フル画像フレームバッファの小部分のみが必要とされるからである。フルフレームバッファの排除により、プロセッサ１７との通常の高速メモリインターフェイスを持つことが不要になる。このような高速メモリインターフェイスは、受け入れがたいノイズを敏感な画像センサに導入することがある。
【００６６】
図２のワークステーションのプロセッサ５９により実行される処理の１つの例を図１１に例示する。複数の画像についてのデータが、カメラの不揮発性メモリからワークステーション内のいずれかの適切なメモリ１５１に転送される。各画像についてのファイルは、画像の圧縮データに加えて、前述したタイプのサポートデータおよび画像データ圧縮のためにカメラにより用いられる画像の各ストリップについての少なくとも量子化倍率を含む。記載されている特定の例において、これらのデータは、Ｒ、ＧR 、ＢおよびＧB 色成分の各々について別個に、画像データの圧縮されたユニットの形をしている。第１の処理ステップ１５３において、これらのデータは復元されて、非圧縮形状のＲ、ＧR 、ＢおよびＧB 色データを与える。復元アルゴリズムは当然、画像データを圧縮するためにカメラにおいて用いられる圧縮アルゴリズムと相補的であり、同じ基本量子化テーブルを用いる。次に、カメラにおいてそのデータを圧縮するために画像の各ストリップと共に用いられる倍率は、ワークステーションにおいてデータの各ストリップの復元に用いられる同じ量子化テーブル値を導き出すために用いられる。
【００６７】
図１１のブロック１５５は、前述したように、デジタルカメラにおいて通常実行されるタイプの復元された画像データの処理を示す。次の処理ステップ１５７は、画像データをＲＧＢ色空間から、ＹＵＶ、ＹＣｒＣｂまたはＹＩＱなどの輝度およびクロミナンス色空間に任意に変換する。１つの理由は、今はワークステーションにおいて実行されているデジタルカメラにおいて通常実行される処理のいくつかが、輝度／クロミナンス形式にある時にデータに対して最も良好に実行されるからである。ステップ１５９は、このような処理を示し、その１つの例がホワイトバランス補正である。変換１５７を実行する別の理由は、標準テレビモニタ上での表示などの図１１に示されている処理の出力のいくつかの用途が、輝度／クロミナンス形式のデータを必要とするかまたはこのようなデータが好ましいからである。
【００６８】
さらに、図１１には示されていないが、いくつかの応用例には、図２の写真利用機器６１による最適化使用のために、ＪＰＥＧ標準によるなどの一般に認知されている標準に従う出力画像データのワークステーションプロセッサ５９（図２）による圧縮が含まれる。例えば、ＣＤまたはＤＶＤバーナーなどの写真利用機器により画像データがＣＤまたはＤＶＤ光ディスクに保存されるのであれば、このような圧縮が必要とされる。ＣＤまたはＤＶＤプレーヤーなどの消費者所有の再生機器が、表示用標準に従って画像データを復元する。
【００６９】
ワークステーションによる最適化画像処理およびカメラではなくてワークステーションにおいてほとんどまたはすべての画像データ前処理を実行するという特徴を可能にするために、サポートデータをデジタルカメラの不揮発性メモリに保存された画像データと一体にする手法のような前述した独特な手法のいくつかは、効果的であるために画像圧縮に依存しないことが認識される。適切な不揮発性メモリのコストが低下すると、図１のカメラは、どのようなタイプの圧縮もなしで実施できるかもしれないが、それでも前述した特徴の利点を実現することができる。さらに、本発明の様々な態様をその代表的な実施形態に関して説明してきたが、本発明が、添付の特許請求の範囲の全範囲においてその権利が保護をされるべきであることが理解されよう。
【図面の簡単な説明】
【００７０】
【図１】手持ち式デジタルカメラの概略図である。
【図２】図１のデジタルカメラにより取得された画像データ用のワークステーションのブロック図である。
【図３】再利用可能なデジタルカメラおよびサービス処理センターを使用するビジネス方法を例示する。
【図４】図１のカメラの画像センサの画素の代表的な配置を示す。
【図５】画像フレームの一部分を概略的に例示する。
【図６】図１のカメラ内のプロセッサにより実行される画像データ処理の１つの態様を概念的に示す。
【図７】図１のカメラの代表的なプロセッサのブロック図である。
【図８】図７のプロセッサの代表的な圧縮ユニットのブロック図である。
【図９】データ圧縮器による画像フレームデータのユニットからの画素の読み取りの好ましい代表的な順序を例示する。
【図１０】図８の圧縮ユニットの操作の１つの態様を示すフローチャートである。
【図１１】図１のカメラから受け取られた画像データを復元し、さらに処理する図２のワークステーションのための代表的な手法を提供する。
【特許請求の範囲】
【請求項１】
光学放射データを取り込んで処理する方法において、
手持ち式カメラ内部で、光学放射のパターンが入射する感光性画素の配列を有するセンサからの光学放射のパターンの少なくとも１つのフレームのデジタルデータを発生するステップと、
発生されたデータおよびそこから形成される結果として生じる光学放射パターン表示フレームの質を改善するための発生されたデータの少なくとも第１の処理を実行するために必要なサポートデータをカメラ内部の不揮発性メモリ内に保存するステップと、
その後、発生されたデータおよびサポートデータをカメラの不揮発性メモリからワークステーションに転送するステップと、
結果として生じる光学放射パターン表示フレームがそれから改善された質を有する処理されたデータを生成するために、サポートデータを使用して、生成されたデータの第１の処理をワークステーション内部で実行するステップと、
を含む方法。
【請求項２】
前記サポートデータは、光学放射が入射しない感光性画素の少なくともいくつかの応答データを含み、
前記第１の処理は、感光性画素の配列において発生されたノイズを補正するために前記応答データを発生されたデータと組み合わせるステップを含む請求項１記載の方法。
【請求項３】
前記サポートデータは、光学放射のパターンをセンサ上に導くカメラ内部の光学系の特性データを含み、
前記第１の処理は、光学系の少なくとも不完全な光学特性を補正するために、光学系特性の前記データを発生されたデータと組み合わせるステップを含む請求項１記載の方法。
【請求項４】
前記補正される不完全な光学特性は、センサに入射する光学放射のパターン中に光学系によって作り出される歪みである請求項３記載の方法。
【請求項５】
前記サポートデータは、配列の感光性画素のうちの不良感光性画素のデータを含み、
前記第１の処理は、不良感光性画素の影響を補正するために、不良感光性画素の前記データを発生されたデータと組み合わせるステップを含む請求項１記載の方法。
【請求項６】
前記サポートデータは、前記少なくとも１つのフレームの２分の１内のセンサにより発生された光学放射のパターンの第２のフレームのデジタルデータを含み、
前記第１の処理は、前記少なくとも１つのフレームをデジタルデータの第２のフレームと組み合わせるステップを含む請求項１記載の方法。
【請求項７】
前記少なくとも１つのフレームおよびデジタルデータの第２のフレームを組み合わせるステップは、配列の感光性画素のうちの不良感光性画素を補正する請求項６記載の方法。
【請求項８】
前記少なくとも１つのフレームおよびデジタルデータの第２のフレームを組み合わせるステップは、センサを基準とした第１または第２のフレームの一方の光学放射の入射パターンの少なくとも一部分の動きの影響を補正する請求項６記載の方法。
【請求項９】
前記少なくとも１つのフレームとデジタルデータの第２のフレームを組み合わせるステップは、感光性画素の有効ダイナミックレンジを拡張する請求項６記載の方法。
【請求項１０】
生成されたデータおよびサポートデータをカメラ内部に保存する前にそれらを圧縮するステップをさらに含む請求項１記載の方法。
【請求項１１】
画像フレームのデータを取り込んで処理する方法において、
複数の画像フレームの画素を表すデジタルデータを感光性要素の配列を含む手持ち式カメラ内部の画像センサからの複数の原色で連続して生成するステップと、
発生されたデジタルデータを表すデータをカメラ内部の
（ａ）前記複数の画像フレームの画像を表示することができるのに十分な発生されたデジタルデータを処理するステップと、
（ｂ）発生されたデジタルデータを輝度／クロミナンス形式に処理するステップと、
（ｃ）発生されたデジタルデータを表すデータの少なくとも１つのフルフレームをフレームバッファに１度に保存するステップと、
のいずれかによって保存されたデータに影響を与えることなく、カメラ内の不揮発性メモリに保存するステップと、
保存されたデジタルデータをカメラの不揮発性メモリからワークステーションにその後転送するステップと、
転送されたデジタルデータをＹＵＶ形式に処理するステップを含む前記複数の画像フレームの画像を表示することができるのに十分なやり方で、保存されたデジタルデータをワークステーション内部で処理するステップと、
を含む方法。
【請求項１２】
前記サポートデータをカメラからワークステーションに転送するステップおよび取得された画像フレームデータをワークステーション内部で処理するステップの時にサポートデータを使用することをさらに含む請求項１１記載の方法。
【請求項１３】
前記ワークステーション内部で処理するステップは、カメラ内部でデモザイキング処理を実行する代わりに、画像フレームデータのデモザイキングを含む請求項１１記載の方法。
【請求項１４】
前記ワークステーション内部で処理するステップは、カメラ内部でエッジ強調処理を実行する代わりに、画像フレームデータのエッジ強調をさらに含む請求項１３記載の方法。
【請求項１５】
前記ワークステーション内部で処理するステップは、カメラ内部でホワイト補正処理を実行する代わりに、画像フレームデータのホワイト補正を含む請求項１１記載の方法。
【請求項１６】
前記ワークステーション内部で処理するステップは、カメラ内部でガンマ補正処理を実行する代わりに、画像フレームデータのガンマ補正を含む請求項１１記載の方法。
【請求項１７】
前記カメラからワークステーションに転送されるサポートデータは、センサに当たる光なしで取得された画像フレームのデータを含み、前記ワークステーション内部で処理するステップは、カメラ内部で黒レベルノイズの補正処理を実行する代わりに、サポートデータを使用した黒レベルノイズについての画像フレームデータの補正を含む請求項１２記載の方法。
【請求項１８】
前記カメラからワークステーションに転送されるサポートデータは、カメラ内部の光学系による画像センサ上への結像の不均一さのデータを含み、前記ワークステーション内部で処理するステップは、光学系による結像の不均一さについての処理のための補正処理をカメラ内部で実行する代わりに、サポートデータを使用したカメラ光学系による結像の不均一さについての画像フレームデータの補正を含む請求項１２記載の方法。
【請求項１９】
前記カメラからワークステーションに転送されるサポートデータは、画像センサの不良画素のデータを含み、前記ワークステーション内部で処理するステップは、不良画素についての補正処理をカメラ内部で実行する代わりに、サポートデータを使用した不良画素についての画像フレームデータの補正を含む請求項１２記載の方法。
【請求項２０】
取得された画像データを圧縮し、次に圧縮されたデータをカメラ内に保存するステップをさらに含む請求項１１記載の方法。
【請求項２１】
取得された画像フレームデータは、圧縮に先立って、画像フレームを保存するのに必要な容量の１５パーセント未満の容量を有するバッファメモリに保存される請求項２０記載の方法。
【請求項２２】
少なくとも１つの画像フレームのデジタルデータを取得するステップは、互いの２分の１内の画像センサから第１および第２の画像フレームのデジタルデータを取得するステップを含み、取得された画像フレームデータをワークステーション内部で処理するステップは、第１の画像のデータを補正、強調または修正するために第２の画像データの使用を含む請求項１１記載の方法。
【請求項２３】
前記処理は、不良画素による第１の画像の欠損データを供給するために第２の画像データの使用を含む請求項２２記載の方法。
【請求項２４】
前記処理は、第１の画像の固定パターンノイズを補正するために第２の画像データの使用を含む請求項２２記載の方法。
【請求項２５】
前記処理は、第１の画像の動きを補正するために第２の画像の使用を含む請求項２２記載の方法。
【請求項２６】
センサにより提供されるダイナミックレンジを超えて第１の画像のダイナミックレンジを拡張するために第２の画像が使用される請求項２２記載の方法。
【請求項２７】
前記取得されたデジタルデータを保存するステップは、取得されたデジタルデータをカメラ内部の取り外しできない不揮発性メモリに保存するステップを含み、前記取得された画像データをカメラからその後転送するステップは、データをカメラの不揮発性メモリからワークステーションに転送するステップを含む請求項１１記載の方法。
【請求項２８】
前記カメラの不揮発性メモリからワークステーションへデータを転送するステップは、ワイヤレス的に実行される請求項２７記載の方法。
【請求項２９】
センサからのセンサ上の画像のデータのフレームを複数の原色でデータを生成する光検出要素の２次元配列を有する手持ち式カメラ内部で処理する方法において、前記カメラ内部に、
光検出要素からの画像データを原色のうちの異なる原色で時系列で読み取るステップと、
原色のうちの異なる原色の画像データを画像を横切る一連のストリップ中の光検出器から読み取られた順番で第１のメモリに書き込むステップと、
複数の原色のうちの異なる原色の画像データのグループ中の第１のメモリから個別の画像ストリップの画像データを読み取るステップと、
前記書き込むステップおよび読み取るステップは、画像データのフレームの１５％未満が第１のメモリに一度に保存されるレートで行われ、
第１のメモリから読み取られた画像を横切る個別のストリップ内の複数の原色のうちの異なる原色の画像データのグループを圧縮するステップと、
圧縮された画像データのグループを不揮発性であるカメラ内部の第２のメモリに保存するステップと、
を含む方法。
【請求項３０】
前記圧縮された画像データのグループを第２のメモリに保存するステップは、第２のメモリとしてカメラ内部に永続的に接続されたメモリを利用するステップを含む請求項２９記載の方法。
【請求項３１】
画像データを表示するためのどのような処理もカメラにおいて行わない請求項２９記載の方法。
【請求項３２】
デモザイキング、ホワイトバランス補正、ガンマ補正およびレンズ補償のうちのいずれについてのどのような処理もカメラにおいて行わない請求項２９記載の方法。
【請求項３３】
カメラ内部での画像データの複数のフレームの圧縮されたグループを読み取るステップおよび第２のメモリへ保存するステップをさらに含み、その後保存された画像データのフレームの圧縮された複数のグループを第２のメモリからカメラ外部のワークステーションに転送するステップをさらに含む請求項２９記載の方法。
【請求項３４】
ワークステーション内部に、
画像データの圧縮されたグループを復元するステップと、
画像がそれから再生できる形で複数のフレームについてのデータファイルを形成するために、画像データの復元されたグループを処理するステップと、
をさらに含む請求項３３記載の方法。
【請求項３５】
前記ワークステーション内部で処理するステップは、デモザイキング、エッジ強調、ホワイトバランス補正およびガンマ補正のすべてを含む補正請求項３４記載の方法。
【請求項３６】
デモザイキング、エッジ強調、ホワイトバランス補正およびガンマ補正のうちのいずれについてのどのような処理もカメラにおいて行わない請求項３５記載の方法。
【請求項３７】
カメラ内部で、センサ上に画像を形成するために用いられるカメラ光学部品類の特性を第２のメモリに保存するステップをさらに含む請求項３４記載の方法。
【請求項３８】
前記カメラ光学部品類の特性がカメラの第２のメモリからワークステーションに転送され、前記ワークステーション内部で処理するステップは、カメラ光学部品類の特性について画像データを補償するステップを含む請求項３７記載の方法。
【請求項３９】
カメラ内部で、カメラ光学部品類の特性について補償するどのような処理も実行されない請求項３８記載の方法。
【請求項４０】
手持ち式カメラにおいて、筐体内に、
複数の原色でセンサに導かれる光学放射に関連する信号を発生する光学放射の個別の光検出器の配列を有する２次元センサと、
光学放射のフィールドをカメラ外部からセンサ上まで導くために筐体を通して配置される光学系と、
センサの個別の検出器上に導かれる光学放射の値のデータを時系列で受け取って一次的に保存する第１のメモリであって、センサ上に導かれる光学放射の１つのフィールドを表すためにセンサの個別の検出器により発生されるデータの量の１５％未満のデータの量の保存容量を有する第１のメモリと、
第１のメモリ内のデータを読み出し、前記データを複数の原色の各々について圧縮するプロセッサと、
光学放射の複数のフィールドの圧縮されたデータを不揮発的なやり方で保存する第２のメモリと、
圧縮されたデータファイルを筐体外部に通信するために第２のメモリに接続される通信機器と、
を備えるカメラ。
【請求項４１】
少なくともセンサ、第１のメモリおよびプロセッサは、単一の集積回路チップ上に形成される請求項４０記載のカメラ。
【請求項４２】
センサから信号を受け取り、プロセッサおよび第１のメモリにデジタル信号を提供するために接続されるアナログ・デジタル変換器をさらに備え、前記アナログ・デジタル変換器も前記単一の集積回路チップ上に形成される請求項４１記載のカメラ。
【請求項１】
光学放射データを取り込んで処理する方法において、
手持ち式カメラ内部で、光学放射のパターンが入射する感光性画素の配列を有するセンサからの光学放射のパターンの少なくとも１つのフレームのデジタルデータを発生するステップと、
発生されたデータおよびそこから形成される結果として生じる光学放射パターン表示フレームの質を改善するための発生されたデータの少なくとも第１の処理を実行するために必要なサポートデータをカメラ内部の不揮発性メモリ内に保存するステップと、
その後、発生されたデータおよびサポートデータをカメラの不揮発性メモリからワークステーションに転送するステップと、
結果として生じる光学放射パターン表示フレームがそれから改善された質を有する処理されたデータを生成するために、サポートデータを使用して、生成されたデータの第１の処理をワークステーション内部で実行するステップと、
を含む方法。
【請求項２】
前記サポートデータは、光学放射が入射しない感光性画素の少なくともいくつかの応答データを含み、
前記第１の処理は、感光性画素の配列において発生されたノイズを補正するために前記応答データを発生されたデータと組み合わせるステップを含む請求項１記載の方法。
【請求項３】
前記サポートデータは、光学放射のパターンをセンサ上に導くカメラ内部の光学系の特性データを含み、
前記第１の処理は、光学系の少なくとも不完全な光学特性を補正するために、光学系特性の前記データを発生されたデータと組み合わせるステップを含む請求項１記載の方法。
【請求項４】
前記補正される不完全な光学特性は、センサに入射する光学放射のパターン中に光学系によって作り出される歪みである請求項３記載の方法。
【請求項５】
前記サポートデータは、配列の感光性画素のうちの不良感光性画素のデータを含み、
前記第１の処理は、不良感光性画素の影響を補正するために、不良感光性画素の前記データを発生されたデータと組み合わせるステップを含む請求項１記載の方法。
【請求項６】
前記サポートデータは、前記少なくとも１つのフレームの２分の１内のセンサにより発生された光学放射のパターンの第２のフレームのデジタルデータを含み、
前記第１の処理は、前記少なくとも１つのフレームをデジタルデータの第２のフレームと組み合わせるステップを含む請求項１記載の方法。
【請求項７】
前記少なくとも１つのフレームおよびデジタルデータの第２のフレームを組み合わせるステップは、配列の感光性画素のうちの不良感光性画素を補正する請求項６記載の方法。
【請求項８】
前記少なくとも１つのフレームおよびデジタルデータの第２のフレームを組み合わせるステップは、センサを基準とした第１または第２のフレームの一方の光学放射の入射パターンの少なくとも一部分の動きの影響を補正する請求項６記載の方法。
【請求項９】
前記少なくとも１つのフレームとデジタルデータの第２のフレームを組み合わせるステップは、感光性画素の有効ダイナミックレンジを拡張する請求項６記載の方法。
【請求項１０】
生成されたデータおよびサポートデータをカメラ内部に保存する前にそれらを圧縮するステップをさらに含む請求項１記載の方法。
【請求項１１】
画像フレームのデータを取り込んで処理する方法において、
複数の画像フレームの画素を表すデジタルデータを感光性要素の配列を含む手持ち式カメラ内部の画像センサからの複数の原色で連続して生成するステップと、
発生されたデジタルデータを表すデータをカメラ内部の
（ａ）前記複数の画像フレームの画像を表示することができるのに十分な発生されたデジタルデータを処理するステップと、
（ｂ）発生されたデジタルデータを輝度／クロミナンス形式に処理するステップと、
（ｃ）発生されたデジタルデータを表すデータの少なくとも１つのフルフレームをフレームバッファに１度に保存するステップと、
のいずれかによって保存されたデータに影響を与えることなく、カメラ内の不揮発性メモリに保存するステップと、
保存されたデジタルデータをカメラの不揮発性メモリからワークステーションにその後転送するステップと、
転送されたデジタルデータをＹＵＶ形式に処理するステップを含む前記複数の画像フレームの画像を表示することができるのに十分なやり方で、保存されたデジタルデータをワークステーション内部で処理するステップと、
を含む方法。
【請求項１２】
前記サポートデータをカメラからワークステーションに転送するステップおよび取得された画像フレームデータをワークステーション内部で処理するステップの時にサポートデータを使用することをさらに含む請求項１１記載の方法。
【請求項１３】
前記ワークステーション内部で処理するステップは、カメラ内部でデモザイキング処理を実行する代わりに、画像フレームデータのデモザイキングを含む請求項１１記載の方法。
【請求項１４】
前記ワークステーション内部で処理するステップは、カメラ内部でエッジ強調処理を実行する代わりに、画像フレームデータのエッジ強調をさらに含む請求項１３記載の方法。
【請求項１５】
前記ワークステーション内部で処理するステップは、カメラ内部でホワイト補正処理を実行する代わりに、画像フレームデータのホワイト補正を含む請求項１１記載の方法。
【請求項１６】
前記ワークステーション内部で処理するステップは、カメラ内部でガンマ補正処理を実行する代わりに、画像フレームデータのガンマ補正を含む請求項１１記載の方法。
【請求項１７】
前記カメラからワークステーションに転送されるサポートデータは、センサに当たる光なしで取得された画像フレームのデータを含み、前記ワークステーション内部で処理するステップは、カメラ内部で黒レベルノイズの補正処理を実行する代わりに、サポートデータを使用した黒レベルノイズについての画像フレームデータの補正を含む請求項１２記載の方法。
【請求項１８】
前記カメラからワークステーションに転送されるサポートデータは、カメラ内部の光学系による画像センサ上への結像の不均一さのデータを含み、前記ワークステーション内部で処理するステップは、光学系による結像の不均一さについての処理のための補正処理をカメラ内部で実行する代わりに、サポートデータを使用したカメラ光学系による結像の不均一さについての画像フレームデータの補正を含む請求項１２記載の方法。
【請求項１９】
前記カメラからワークステーションに転送されるサポートデータは、画像センサの不良画素のデータを含み、前記ワークステーション内部で処理するステップは、不良画素についての補正処理をカメラ内部で実行する代わりに、サポートデータを使用した不良画素についての画像フレームデータの補正を含む請求項１２記載の方法。
【請求項２０】
取得された画像データを圧縮し、次に圧縮されたデータをカメラ内に保存するステップをさらに含む請求項１１記載の方法。
【請求項２１】
取得された画像フレームデータは、圧縮に先立って、画像フレームを保存するのに必要な容量の１５パーセント未満の容量を有するバッファメモリに保存される請求項２０記載の方法。
【請求項２２】
少なくとも１つの画像フレームのデジタルデータを取得するステップは、互いの２分の１内の画像センサから第１および第２の画像フレームのデジタルデータを取得するステップを含み、取得された画像フレームデータをワークステーション内部で処理するステップは、第１の画像のデータを補正、強調または修正するために第２の画像データの使用を含む請求項１１記載の方法。
【請求項２３】
前記処理は、不良画素による第１の画像の欠損データを供給するために第２の画像データの使用を含む請求項２２記載の方法。
【請求項２４】
前記処理は、第１の画像の固定パターンノイズを補正するために第２の画像データの使用を含む請求項２２記載の方法。
【請求項２５】
前記処理は、第１の画像の動きを補正するために第２の画像の使用を含む請求項２２記載の方法。
【請求項２６】
センサにより提供されるダイナミックレンジを超えて第１の画像のダイナミックレンジを拡張するために第２の画像が使用される請求項２２記載の方法。
【請求項２７】
前記取得されたデジタルデータを保存するステップは、取得されたデジタルデータをカメラ内部の取り外しできない不揮発性メモリに保存するステップを含み、前記取得された画像データをカメラからその後転送するステップは、データをカメラの不揮発性メモリからワークステーションに転送するステップを含む請求項１１記載の方法。
【請求項２８】
前記カメラの不揮発性メモリからワークステーションへデータを転送するステップは、ワイヤレス的に実行される請求項２７記載の方法。
【請求項２９】
センサからのセンサ上の画像のデータのフレームを複数の原色でデータを生成する光検出要素の２次元配列を有する手持ち式カメラ内部で処理する方法において、前記カメラ内部に、
光検出要素からの画像データを原色のうちの異なる原色で時系列で読み取るステップと、
原色のうちの異なる原色の画像データを画像を横切る一連のストリップ中の光検出器から読み取られた順番で第１のメモリに書き込むステップと、
複数の原色のうちの異なる原色の画像データのグループ中の第１のメモリから個別の画像ストリップの画像データを読み取るステップと、
前記書き込むステップおよび読み取るステップは、画像データのフレームの１５％未満が第１のメモリに一度に保存されるレートで行われ、
第１のメモリから読み取られた画像を横切る個別のストリップ内の複数の原色のうちの異なる原色の画像データのグループを圧縮するステップと、
圧縮された画像データのグループを不揮発性であるカメラ内部の第２のメモリに保存するステップと、
を含む方法。
【請求項３０】
前記圧縮された画像データのグループを第２のメモリに保存するステップは、第２のメモリとしてカメラ内部に永続的に接続されたメモリを利用するステップを含む請求項２９記載の方法。
【請求項３１】
画像データを表示するためのどのような処理もカメラにおいて行わない請求項２９記載の方法。
【請求項３２】
デモザイキング、ホワイトバランス補正、ガンマ補正およびレンズ補償のうちのいずれについてのどのような処理もカメラにおいて行わない請求項２９記載の方法。
【請求項３３】
カメラ内部での画像データの複数のフレームの圧縮されたグループを読み取るステップおよび第２のメモリへ保存するステップをさらに含み、その後保存された画像データのフレームの圧縮された複数のグループを第２のメモリからカメラ外部のワークステーションに転送するステップをさらに含む請求項２９記載の方法。
【請求項３４】
ワークステーション内部に、
画像データの圧縮されたグループを復元するステップと、
画像がそれから再生できる形で複数のフレームについてのデータファイルを形成するために、画像データの復元されたグループを処理するステップと、
をさらに含む請求項３３記載の方法。
【請求項３５】
前記ワークステーション内部で処理するステップは、デモザイキング、エッジ強調、ホワイトバランス補正およびガンマ補正のすべてを含む補正請求項３４記載の方法。
【請求項３６】
デモザイキング、エッジ強調、ホワイトバランス補正およびガンマ補正のうちのいずれについてのどのような処理もカメラにおいて行わない請求項３５記載の方法。
【請求項３７】
カメラ内部で、センサ上に画像を形成するために用いられるカメラ光学部品類の特性を第２のメモリに保存するステップをさらに含む請求項３４記載の方法。
【請求項３８】
前記カメラ光学部品類の特性がカメラの第２のメモリからワークステーションに転送され、前記ワークステーション内部で処理するステップは、カメラ光学部品類の特性について画像データを補償するステップを含む請求項３７記載の方法。
【請求項３９】
カメラ内部で、カメラ光学部品類の特性について補償するどのような処理も実行されない請求項３８記載の方法。
【請求項４０】
手持ち式カメラにおいて、筐体内に、
複数の原色でセンサに導かれる光学放射に関連する信号を発生する光学放射の個別の光検出器の配列を有する２次元センサと、
光学放射のフィールドをカメラ外部からセンサ上まで導くために筐体を通して配置される光学系と、
センサの個別の検出器上に導かれる光学放射の値のデータを時系列で受け取って一次的に保存する第１のメモリであって、センサ上に導かれる光学放射の１つのフィールドを表すためにセンサの個別の検出器により発生されるデータの量の１５％未満のデータの量の保存容量を有する第１のメモリと、
第１のメモリ内のデータを読み出し、前記データを複数の原色の各々について圧縮するプロセッサと、
光学放射の複数のフィールドの圧縮されたデータを不揮発的なやり方で保存する第２のメモリと、
圧縮されたデータファイルを筐体外部に通信するために第２のメモリに接続される通信機器と、
を備えるカメラ。
【請求項４１】
少なくともセンサ、第１のメモリおよびプロセッサは、単一の集積回路チップ上に形成される請求項４０記載のカメラ。
【請求項４２】
センサから信号を受け取り、プロセッサおよび第１のメモリにデジタル信号を提供するために接続されるアナログ・デジタル変換器をさらに備え、前記アナログ・デジタル変換器も前記単一の集積回路チップ上に形成される請求項４１記載のカメラ。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公表番号】特表２００７−５１６６４７（Ｐ２００７−５１６６４７Ａ）
【公表日】平成１９年６月２１日（２００７．６．２１）
【国際特許分類】
【出願番号】特願２００６−５３３２５２（Ｐ２００６−５３３２５２）
【出願日】平成１６年５月１９日（２００４．５．１９）
【国際出願番号】ＰＣＴ／ＵＳ２００４／０１５８５４
【国際公開番号】ＷＯ２００４／１１４６３８
【国際公開日】平成１６年１２月２９日（２００４．１２．２９）
【出願人】（５０３４６８０４２）ゾラン コーポレイション (18)
【Ｆターム（参考）】
【公表日】平成１９年６月２１日（２００７．６．２１）
【国際特許分類】
【出願日】平成１６年５月１９日（２００４．５．１９）
【国際出願番号】ＰＣＴ／ＵＳ２００４／０１５８５４
【国際公開番号】ＷＯ２００４／１１４６３８
【国際公開日】平成１６年１２月２９日（２００４．１２．２９）
【出願人】（５０３４６８０４２）ゾラン コーポレイション (18)
【Ｆターム（参考）】
[ Back to top ]