説明

ビデオカメラ

ビデオカメラは、視覚的に劣化のない方法で、ビデオデータを高く圧縮するように構成されることが可能である。このカメラを、データの圧縮率を高める方法で青色および赤色の画像データを変換するように、構成することが可能である。そして、このデータを圧縮し、この形態で保存することが可能である。これにより、ユーザは、モザイク復元されたときに視覚的に劣化のない、オリジナルの生データにおける修正されたバージョンに関するオリジナルの生データを得るために、赤色および青色のデータを再構築することが可能となる。さらに、「緑色画像素子が最初にモザイク復元され、その後に、モザイク復元された緑色画像素子の値に基づいて、赤色および青色の素子が再構築される」という方法で、データを処理することが可能である。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、デジタルカメラ(たとえば、静止画あるいは動画をキャプチャするためのもの)に関し、より具体的には、画像データを圧縮するデジタルカメラに関する。
【背景技術】
【0002】
デジタルビデオカメラの有用性にも関わらず、映画(major motion picture)および一部のテレビ放送の製作者は、フィルムカメラを信頼し続けている。これらにおいて使用されているフィルムは、ビデオの編集者に対し、従来の手段によって編集することの可能な、非常に高い解像度の画像を提供する。しかしながら、最近では、多くの場合、このようなフィルムは、スキャンされ、デジタル化されて、デジタル的に編集される。
【発明の概要】
【発明が解決しようとする課題】
【0003】
現在の市販されているデジタルビデオカメラは、高解像度の画像センサを有しており、したがって、高解像度のビデオを出力するが、このようなカメラに搭載され使用されている画像の処理および圧縮の技術は、劣化が大きすぎるとともに、あまりにも多くの生(未加工)画像データを削除しているので、上述した市場のハイエンド部門においては受け入れられないものである。ここに開示されている少なくとも1つの実施形態における態様は、上述した市場におけるよりハイエンドの部門(たとえば映画市場)に受け入れられるビデオ品質を、1秒ごとに少なくとも約23フレームのフレームレートで、少なくとも約2kの解像度を有する生の(あるいは実質的に生の)ビデオデータをキャプチャして保存するカメラによって、満足することが可能である、という事実の実現を含んでいる。
【課題を解決するための手段】
【0004】
したがって、実施形態にしたがうと、ビデオカメラは、携帯可能な筐体と、この筐体によって保持されているとともに、光の焦点を合わせるように構成されているレンズアセンブリと、を備えることが可能である。感光デバイスについては、焦点光を、1秒ごとに少なくとも約23フレームのフレームレートで、少なくとも2kの解像度を有する生画像データに変換するように、構成することが可能である。このカメラは、また、メモリ素子、および画像処理システムを含むことが可能である。この画像処理システムは、少なくとも6対1の圧縮比で、かつ、視覚的にほぼ劣化のない状態を保ちながら、1秒ごとに少なくとも約23フレームのレートで、生画像データを圧縮してメモリ素子に保存するように構成されている。
【0005】
他の実施形態にしたがうと、カメラによって動画ビデオを記録する方法は、感光デバイスに光を案内するステップを含むことが可能である。この方法は、さらに、感光デバイスによって受光された光を、1秒ごとに少なくとも23フレームよりも大きいレートで、生のデジタル画像データに変換するステップと、この生のデジタル画像データを圧縮するステップと、この生画像データを、1秒ごとに少なくとも約23フレームのレートで、保存デバイスに記録するステップと、を含むことも可能である。
【0006】
さらに他の実施形態にしたがうと、ビデオカメラは、筐体によって保持されているとともに、光の焦点を合わせるように構成されているレンズアセンブリと、焦点光を、この焦点光を示す生画像データの信号に変換するように構成されている感光デバイスと、を備えることが可能である。このカメラは、さらに、メモリ素子と、1秒ごとに少なくとも約23フレームのフレームレートで、生画像データを圧縮して記録するための手段と、を備えることも可能である。
【0007】
さらに他の実施形態にしたがうと、ビデオカメラは、このカメラのビデオ記録動作の際における、筐体の動きにおける少なくとも1度に関する方向を、ユーザが操作することを可能とするように構成された、少なくとも1つのハンドルを有する、携帯可能な筐体を備えることが可能である。レンズアセンブリは、この筐体によって保持されているとともに、この筐体の内部に配置された平面において光の焦点を合わせるように構成されている、少なくとも1つのレンズを備えることが可能である。感光デバイスは、1秒ごとに少なくとも約23フレームのフレームレートで、焦点光を、少なくとも2kの水平解像度を有する生画像データに変換するように、構成されることが可能である。メモリ素子は、ビデオ画像データを保存するように、構成されることが可能である。画像処理システムは、少なくとも6対1の圧縮比で、かつ、視覚的にほぼ劣化のない状態を保ちながら、1秒ごとに少なくとも約23フレームのレートで、生画像データを圧縮してメモリ素子に保存するように、構成されることが可能である。
【0008】
ここに開示されている本発明における少なくとも1つの他の態様は、以下の事実の実現を含んでいる。すなわち、人間の目は、他のいずれの色に比べても、緑色の波長に対してより敏感であり、そのため、画像センサから出力された画像データに対する、緑色画像データに基づいた修正を、データの圧縮率を高めるため、なおかつ、より高い品質のビデオ画像を与えるために、使用することが可能である。という事実である。このような技術の1つは、データを圧縮する前に、検出された赤色および/または青色の光の大きさから、検出された緑色光の大きさを差し引くステップを含むことが可能である。これにより、赤色および/または青色画像データを、より圧縮しやすい形態に変換することができる。たとえば、ガンマ補正されたRGBデータを、Y’CbCrに変換するための既知の処理においては、画像は「相関性を失う(decorrelated)」。この場合、Y’(「luma」としても知られている)の画像データのほとんどが放置され、さらに、残りの彩度成分は、より圧縮しやすくなっている。しかしながら、Y’CbCrフォーマットに変換するための、この既知の技術については、ベイヤ(Bayer)パターンデータに対して直接的に適用することはできない。なぜならば、個々の色データが、空間的な相関性を有していないとともに、ベイヤパターンデータが、青色あるいは赤色の画像データに比べて、2倍の数の緑色画像データを含んでいるからである。ここに開示されている実施形態のいくつかにしたがう、緑色画像データを差し引く処理については、緑色画像データにおけるほとんどの画像データを放置し、残りのデータをより圧縮しやすい形態のままとするという点において、上述したY’CbCr変換に類似したものとすることが可能である。
【0009】
さらに、緑色画像データを差し引く処理を逆進することが可能であり、したがって、全てのオリジナルの生データが維持されている。このため、上記のような技術を組み込んでいる、得られたシステムおよび方法は、上述のようなビデオ画像データにおける、劣化のない(あるいは視覚的に劣化のない)状態、および、強化された圧縮率を与えることが可能である。
【0010】
したがって、実施形態にしたがうと、ビデオカメラは、筐体によって保持されているとともに、光の焦点を合わせるように構成されているレンズアセンブリと、焦点光を、この焦点光における少なくとも第1、第2および第3の色を示す画像データの生信号に変換するように構成されている感光デバイスと、を有することが可能である。画像処理モジュールは、第3の色の画像データに基づいて、第1および第2の色における少なくとも1つの画像データを修正するように構成されることが可能である。さらに、ビデオカメラは、メモリ素子と、第1、第2および第3の色の画像データを圧縮するように構成されているとともに、圧縮された画像データをメモリ素子に保存するように構成されている圧縮デバイスと、を備えることが可能である。
【0011】
他の実施形態にしたがうと、画像を処理する方法を与えることが可能である。この方法は、画像を、第1の色を示す第1の画像データ、第2の色を示す第2の画像データ、および、第3の色を示す第3の画像データに変換するステップと、少なくとも第1の画像データおよび第2の画像データを、第3の画像データに基づいて修正するステップと、第3の画像データ、および、修正された第1および第2の画像データを圧縮するステップと、圧縮されたデータを保存するステップと、を含むことが可能である。
【0012】
さらに他の実施形態にしたがうと、ビデオカメラは、筐体によって保持されているとともに、光の焦点を合わせるように構成されているレンズアセンブリを備えることが可能である。感光デバイスは、焦点光を、この焦点光における少なくとも第1、第2および第3の色を示す画像データの生信号に変換するように構成されることが可能である。このカメラは、さらに、第3の色の画像データに基づいて、第1および第2の色における少なくとも1つの画像データを修正するための手段、メモリ素子、および、圧縮デバイスを備えることも可能である。この圧縮デバイスは、第1、第2および第3の色の画像データを圧縮するように構成されているとともに、圧縮された画像データをメモリ素子に保存するように構成されている。
【図面の簡単な説明】
【0013】
【図1】実施形態にしたがうビデオ画像データを処理するためのハードウェアを備えることの可能な、および/または、この処理のための方法を実行するように構成されることの可能な、システムを示すブロック図である。
【0014】
【図2】図1において概略的に示されているカメラのための筐体における、任意的な実施形態を示す図である。
【0015】
【図3】図1に示されているシステムによって用いられることの可能なベイヤパターンフィルタを有する、画像センサの配置図である。
【0016】
【図4】図1に示されているシステムによって用いられることの可能な画像処理モジュールにおける、概略的なブロック図である。
【0017】
【図5】図3に示した画像センサにおける緑色センサセルからの、緑色画像データの配置図である。
【0018】
【図6】オリジナルの緑色画像データの一部を消去するという任意的な処理を経た後の、残存している緑色画像データ(図5)の配置図である。
【0019】
【図7】図1に示した画像処理モジュールにおける処理のために整理された、赤色、青色および緑色の画像データ(図5)の配置図である。
【0020】
【図8】図1に示したシステムによって使用することの可能な画像データ変換技術を示す、フローチャートである。
【0021】
【図8A】同様に図1に示したシステムによって使用することの可能な、図8の画像データ変換技術の修正形を示すフローチャートである。
【0022】
【図9】図8の画像変換処理から得られる、青色画像データの配置図である。
【0023】
【図10】図8の画像変換処理から得られる、赤色画像データの配置図である。
【0024】
【図11】ガンマ補正のために画像データに適用することの可能な、任意的な変換の典型例を示す図である。
【0025】
【図12】画像データを解凍およびモザイク復元するために、図1のシステムによって使用することの可能な、制御ルーチンのフローチャートである。
【0026】
【図12A】同様に図1に示したシステムによって使用することの可能な、図12の制御ルーチンの修正形を示すフローチャートである。
【0027】
【図13】図12のフローチャートにしたがって解凍されモザイク復元された、緑色画像データの配置図である。
【0028】
【図14】図12のフローチャートにしたがって解凍されモザイク復元された、図13からのオリジナルの緑色画像データにおける半分の配置図である。
【0029】
【図15】図12のフローチャートにしたがって解凍された、青色画像データの配置図である。
【0030】
【図16】図12のフローチャートにしたがってモザイク復元された、図15の青色画像データの配置図である。
【発明を実施するための形態】
【0031】
〔実施形態の詳細な説明〕
図1は、画像を検知、処理および圧縮するモジュールを有するカメラの概略図であり、これは、動画用のビデオカメラを前提として示されている。ここに開示されている実施形態は、ベイヤパターンフィルタを備えた単一のセンサデバイスを有するビデオカメラを前提として、示されている。これは、これらの実施形態が、この場合に格別の有用性を有するからである。しかしながら、ここに示されている実施形態および発明については、他のタイプの画像センサ(例えば、CMYベイヤ、および、他の非ベイヤパターン)、他の数の画像センサを有するカメラ、異なる画像フォーマットタイプに作用するカメラ、および、静止画および/または動画用に構成されているカメラにも、適用することが可能である。したがって、ここに開示されている実施形態は、典型例であるが非限定的な実施形態であり、また、ここに開示されている本発明は、開示されている典型的な実施形態に限定されるものではない、ということが理解されるべきである。
【0032】
引き続き図1を参照すると、カメラ10は、システム14を保持するように構成された、本体すなわち筐体12を備えることが可能である。システム14は、ビデオ画像データを検出、処理、および、選択的に、保存および/または再生するように構成されている。例えば、システム14は、光学ハードウェア16、画像センサ18、画像処理モジュール20、圧縮モジュール22、および保存デバイス24を備えることが可能である。任意的に、カメラ10は、さらに、モニタモジュール26、再生モジュール28、およびディスプレイ30を備えることも可能である。
【0033】
図2は、カメラ10における、非限定的で典型的な実施形態を示している。図2に示されているように、光学ハードウェア16は、その外表面をむき出しにしたままの状態で、筐体12によって保持されることが可能である。実施形態によっては、システム14は、筐体12内に保持されている。たとえば、画像センサ18、画像処理モジュール20および圧縮モジュール22を、筐体12内に収納することが可能である。保存デバイス24については、筐体12内に取り付けることが可能である。さらに、実施形態によっては、保存デバイス24を、筐体12の外面に取り付けて、さらに、システム14における残存部分に対して、任意のタイプのコネクタあるいはケーブルによって接続することが可能である。さらに、フレキシブルケーブルによって、保存デバイス24を筐体12に接続することが可能である。このため、保存デバイス24を、筐体12から独立した状態で、いくらか動かすことが可能である。たとえば、このようなフレキシブルケーブルによる接続によって、保存デバイス24を、ユーザのベルトに装着することが可能である。これにより、筐体12の全体的な重量を減少することが可能となる。また、実施形態によっては、筐体は、内蔵される、および外面に取り付けられる、1つあるいは複数の保存デバイス24を備えることが可能である。さらに、筐体12は、モニタモジュール26およびモジュール28を保持することも可能である。さらに、実施形態によっては、ディスプレイ30を、筐体12の外面に取り付けられるように構成することも可能である。
【0034】
光学ハードウェア16については、入射してくる画像の焦点を画像センサ18に合わせるように構成された少なくとも1つのレンズを有する、レンズシステムの形状とすることが可能である。任意的に、光学ハードウェア16を、可変のズーム、開口および焦点を与えるマルチレンズシステムの形状とすることが可能である。さらに、光学ハードウェア16を、筐体12によって保持され、複数の異なるタイプのレンズシステムを受け入れるように構成された、レンズソケットの形状とすることも可能である。たとえば、光学ハードウェア16は、さまざまなサイズのレンズシステムを受け入れるように構成されており、その例としては(これらに限定されるわけではないが)、50−100ミリメートル(F2.8)ズームレンズ、18−50ミリメートル(F2.8)ズームレンズ、300ミリメートル(F2.8)レンズ、15ミリメートル(F2.8)レンズ、25ミリメートル(F1.9)レンズ、35ミリメートル(F1.9)レンズ、50ミリメートル(F1.9)レンズ、85ミリメートル(F1.9)レンズ、および/または他の任意のレンズ、を挙げられる。上述したように、光学ハードウェア16を、それに取り付けられるレンズがどれであるかに関わらず、画像センサ18の感光面上に画像の焦点を合わせるように、構成することが可能である。
【0035】
画像センサ18については、任意のタイプのビデオ検知デバイスとすることが可能であり、その例としては、たとえば(これらに限定されるわけではないが)、フェビオン(Foveon;登録商標)センサなどの垂直積層型のCMOS、CCD、CMOS、あるいは、センサ間で光を分割するためのプリズムを使用しているマルチセンサアレイ、を挙げられる。実施形態によっては、画像センサ18は、約1200万個の光電セルを有するCMOSを備えることが可能である。しかしながら、他のサイズのセンサを使用することも可能である。構成によっては、カメラ10を、「2k(たとえば、2048×1152画素)」、「4k(たとえば、4096×2540画素)」、「4.5k」の水平解像度(すなわち大きい方の解像度)によってビデオを出力するように構成することも可能である。ここで使用されている、xk(たとえば、上述した2kおよび4kなど)というフォーマットにおいて表現されている用語における、数値「x」は、概算の水平解像度に言及している。したがって、解像度「4k」は、約4000以上の水平画素に対応している一方、「2k」は、約2000以上の画素に対応している。現在において市販されているハードウェアを用いることによって、このセンサを、約0.5インチ(8mm)ほどに小さくすることが可能であるが、それを、約1.0インチあるいはそれ以上の大きさとすることも可能である。さらに、画像センサ18を、このセンサ18における所定の部分だけを選択的に出力することによって、変更可能な解像度を与えるように構成することも可能である。たとえば、画像データ出力の解像度をユーザによって特定することが可能となるように、センサ18および/または画像処理モジュールを構成することも可能である。
【0036】
カメラ10については、2K、1080p、720p、あるいは他の任意の解像度でビデオ出力を生成するために、センサ18の出力をダウンサンプルし、その後に処理するように構成することも可能である。たとえば、センサ18からの画像データを、「ウィンドウ表示(windowed)」とすることが可能であり、これにより、出力画像のサイズを減少することが可能となるとともに、より高い読み出し速度が可能となる。しかしながら、他のサイズのセンサを使用することも可能である。さらに、より高い解像度でビデオ出力を生成するために、カメラ10を、センサ18の出力をアップサンプルするように構成することも可能である。
【0037】
図1および図3を参照すると、実施形態によっては、センサ18は、ベイヤパターンフィルタを備えることが可能である。この場合、センサ18は、そのチップセット(図示せず)を介して、画像センサ18における個別の光電セルによって検出された赤色光、緑色光あるいは青色光の大きさを示すデータを出力する。図3は、センサ18のベイヤパターンを概略的に示している。実施形態によっては、たとえば、図3に示されているように、ベイヤパターンフィルタは、赤色素子の数および青色素子の数における2倍の数の緑色素子を有している。画像センサ18のチップセットについては、画像センサの各素子における電荷を読み取り、そして、よく知られているRGBフォーマットの出力における一連の値を出力するために、使用することが可能である。
【0038】
引き続き図4を参照すると、画像処理モジュール20については、画像センサ18からのデータ流を、任意の既知の方法によってフォーマットするように、任意的に構成することが可能である。実施形態によっては、緑色、赤色および青色の画像データを、3つあるいは4つに分離されたデータ編集に分離するように、画像処理モジュール20を構成することが可能である。たとえば、画像処理モジュール20を、赤色データを1つのデータ素子に、青色データを1つの青色データ素子に、さらに、緑色データを1つの緑色データ素子に分離するように、構成することも可能である。たとえば、図4を参照すると、画像処理モジュール20は、赤色データ処理モジュール32、青色データ画像処理モジュール34、および、第1緑色画像データ処理モジュール36を備えることが可能である。
【0039】
しかしながら、上述したように、図3に示したベイヤパターンデータは、他の2色に比して2倍の数の緑色画素を有している。図5は、青色および赤色データを除去し、オリジナルの緑色画像データだけを残したデータ成分を示している。
【0040】
実施形態によっては、カメラ10を、緑色画像データの一部を消去あるいは省略するように構成することが可能である。たとえば、実施形態によっては、画像処理モジュール20を、緑色画像データの全体量が青色および赤色の画像データの量と同様となるように、緑色画像データの1/2を消去するように構成することが可能である。たとえば、図6は、画像処理モジュール20が緑色画像データの1/2を消去した後における、残存しているデータを示している。図6の実施形態に示されているように、行n−3、n−1、n+1、およびn+3が消去されている。これは、消去することの可能な緑色画像データのパターンにおける、単なる一例にすぎない。緑色画像データにおける他のパターンおよび他の量を、消去することも可能である。
【0041】
代替的な構成によっては、赤色および青色の画像データが緑色画像データに基づいて変換された後に、緑色画像データの1/2を消去するように、カメラ10を構成することも可能である。この任意的な技術については、他の色の画像データから緑色画像データの値を差し引くことに関する記述の後に、説明される。
【0042】
任意的に、画像処理モジュール20を、緑色画像データを選択的に消去するように、構成することも可能である。たとえば、画像処理モジュール20は、消去すべき緑色画像データを選択的に決定するように構成された、消去分析(deletion analysis)モジュール(図示せず)を備えることが可能である。たとえば、このような消去モジュールを、緑色画像データから行パターンを消去することが、エイリアシングアーチファクト(たとえば、モアレ線、あるいは他の視覚的に認識できるアーチファクト)を招来することになるか否か、を判断するように、構成することが可能である。さらに、この消去モジュールを、消去すべき緑色画像データのパターン(上述のようなアーチファクトを形成するリスクを、より小さくすることになるパターン)を選択するように、構成することも可能である。たとえば、この消去モジュールを、画像センサ18によってキャプチャされた画像が、複数の平行な水平ラインによって特徴づけられている画像形状(image feature)を有している、と判断した場合に、1つおきの縦列からなる緑色画像データ消去パターンを選択するように構成することも可能である。この消去パターンは、モアレ線などのアーチファクト(画像において検出される水平ラインと平行な画像データのラインを1つおきに消去するパターンによって、招来される可能性があるもの)を減少あるいは除去することが可能である。
【0043】
しかしながら、これは、消去モジュールによって使用することの可能な消去パターンおよび画像形状のタイプにおける、1つの典型的で非限定的な例にすぎない。消去モジュールについては、他の画像形状を検出するように、および、他の画像データ消去パターンを使用するように、構成することも可能である。他の画像データ消去パターンとしては、たとえば(これらに限定されるわけではないが)、1つおきの列、1つおきの対角線、あるいは他のパターンの消去を挙げられる。さらに、消去モジュールを、他の画像データ(たとえば、赤色および青色の画像データ、あるいは、使用されているセンサのタイプに応じた他の画像データ)の一部を消去するように、構成することも可能である。
【0044】
さらに、カメラ10を、どの画像データが消去されたのかを示すデータフィールドを画像データに挿入するように、構成することも可能である。たとえば(これに限定されるわけではないが)、カメラ10を、保存デバイス24に保存されている任意のビデオクリップの冒頭にデータフィールド(ビデオクリップにおける「フレーム」のそれぞれにおいて、どのデータが消去されたのか、を示すもの)を挿入するように、構成することが可能である。実施形態によっては、画像センサ18によってキャプチャされた各フレームに、どの画像データが消去されたのかを示すデータフィールドを挿入するように、カメラを構成することも可能である。たとえば、実施形態によっては、画像処理モジュール20が、ある消去パターンにおいて緑色画像データの1/2を消去するように構成されている場合、データフィールドを、シングルビットのデータフィールドと同程度に小さくすることが可能である。この場合、データフィールドは、画像データが消去されたか否かを示す。画像処理モジュール20が、1つだけのパターンにおいてデータを消去するように構成されているため、シングルビットは、どのデータが消去されたのかを示すのに十分である。
【0045】
実施形態によっては、上述したように、画像処理モジュール20を、1つより多いパターンによって、画像データを選択的に消去するように構成することが可能である。このため、画像データ消去フィールドを、より大きくすることが可能であり、これは、複数の異なる画像データ消去パターンのどれが使用されたのかについての表示を与えるために十分な数の値を含んでいる。このデータフィールドについては、あるいは、残存している画像データに対応するのは、どの空間位置であるのかを判断するための下流の部材およびまたはプロセスによって、使用することが可能である。
【0046】
実施形態によっては、画像処理モジュールを、全ての生の緑色画像データ(たとえば、図5に示されているデータ)を保持するように構成することが可能である。このような実施形態では、画像処理モジュールは、1つあるいは複数の緑色画像データ処理モジュールを備えることが可能である。
【0047】
上述したように、既知のベイヤパターンフィルタには、赤色素子の数および青色素子の数における2倍の数の緑色素子が存在する。すなわち、赤色素子は、全ベイヤパターンアレイにおける25%を含んでおり、青色素子は、ベイヤパターンアレイにおける25%に対応しており、さらに、緑色素子は、ベイヤパターンアレイの素子における50%を含んでいる。したがって、実施形態によっては、全ての緑色画像データが保持されている場合に、画像処理モジュール20は、第2の緑色データ画像処理モジュール38を備えることが可能である。したがって、第1の緑色データ画像処理モジュール36は、緑色素子の半分を処理することが可能であり、第2の緑色データ画像処理モジュール38は、残りの緑色素子を処理することが可能である。しかしながら、本発明を、他のタイプのパターン(たとえば(これに限定されるわけではないが)、CMYおよびRGBW)とともに使用することも可能である。
【0048】
図7は、モジュール32、34、36および38(図4)によって処理される、赤色データ成分、青色データ成分および2つの緑色データ成分の概略図を含んでいる。これは、さらなる利点を与えることが可能である。なぜならば、これらのモジュールがほぼ同じ量のデータを取り扱っているために、それぞれのモジュールのサイズおよび構成を、ほぼ同様にすることが可能であるからである。さらに、画像処理モジュール20を、(モジュール36および38の双方を利用することによって、)全ての緑色画像データを処理するモードと、緑色画像データの1/2が消去されるモード(このモードでは、モジュール36および38の一方のみを利用する)との間において、選択的に切り替えることが可能である。しかしながら、他の構成を使用することも可能である。
【0049】
さらに、実施形態によっては、画像処理モジュール20は、他のモジュールを備えることが可能であり、および/または、他の処理(たとえば(これらに限定されるわけではないが)、ガンマ補正処理やノイズ除去処理など)を実行するように構成されることが可能である。
【0050】
さらに、実施形態によっては、画像処理モジュール20を、青色素子および/または赤色素子の値から緑色素子の値を差し引くように構成することが可能である。この場合、実施形態によっては、画像センサ18によって特定の色が消去されたときに、対応する赤色あるいは青色素子をゼロに減らすことが可能である。たとえば、多くの写真においては、黒色、白色あるいは灰色、あるいは、灰色から赤色あるいは青色にシフトした色からなる、大きなエリアが存在する可能性がある。このため、画像センサ18における対応する画素が灰色のエリアを検知した場合には、緑色、赤色および青色の大きさは、ほぼ等しいはずである。したがって、赤色値および青色値から緑色値が差し引かれた場合には、赤色値および青色値は、ゼロあるいはゼロに近い値にまで落ち込むことになる。このため、その後の圧縮処理において、黒色、白色あるいは灰色のエリアを検知した複数の画素には、複数のゼロが生成されることになり、したがって、得られたデータは、より圧縮しやすくなるはずである。さらに、他の色の一方あるいは双方から緑色を差し引くことにより、得られた画像データを、他の理由によってより圧縮しやすくすることが可能である。
【0051】
上述したような技術は、より高い有効圧縮比を獲得すること、なおかつ、視覚的に劣化のない状態を保つことを助けることが可能であり、これは、オリジナルの画像データにおけるエントロピーとの関係に起因する。たとえば、画像のエントロピーは、画像における乱雑さの量に関連している。ある色の画像データを、たとえば他の色の画像データから差し引くことは、乱雑さを減少し、したがって、それらの色の画像データにおけるエントロピーを減少する。これにより、劣化の少ない状態で、より高い圧縮比によってデータを圧縮することが可能となる。一般的に、画像は、ランダムな色値の集合ではない。むしろ、多くの場合、周囲の画像素子の間には、ある程度の相互関係がある。このため、上述したような差し引き技術は、よりよい圧縮を得るために、画像素子の相互関係を利用することが可能である。圧縮の量は、少なくとも部分的には、画像におけるオリジナルの情報のエントロピーに依存するはずである。
【0052】
実施形態によっては、赤色あるいは青色の画素から差し引かれる大きさを、これらの赤色あるいは青色の画素に隣接する緑色画素から出力される値の大きさとすることが可能である。さらに、実施形態によっては、赤色あるいは青色の素子から差し引かれる緑色の大きさを、周囲の緑色素子の平均値から得ることも可能である。このような技術は、以下により詳細に説明されている。しかしながら、他の技術を利用することも可能である。
【0053】
任意的に、画像処理モジュール20を、緑色画像データを他の色から選択的に差し引くように構成することも可能である。たとえば、画像処理モジュール20を、緑色画像データを、他の一方の色における画像データの一部から差し引くことが、よりよい圧縮率を与えることになるか否か、を判断するように構成することが可能である。このモードでは、画像処理モジュール20を、画像データにフラグを挿入するように構成することが可能である。このフラグは、(たとえば、緑色画像データを差し引くことによって、)画像データにおけるどの部分が修正されているのか、およびどの部分があまり修正されていないのかを示すものである。このようなフラグを用いることによって、下流のモザイク復元(demosaicing)/再構築部材が、選択的に、このデータフラグのステータスに基づいて、緑色画像の値を他の色の画像データに戻すことが可能となる。
【0054】
任意的に、画像処理モジュール20は、赤色および青色のデータの値を丸めるように構成された、追加的なデータ整理モジュール(図示せず)を備えることが可能である。たとえば、緑色の大きさを差し引いた後、赤色あるいは青色のデータがゼロに近くなった場合(たとえば、8ビットスケール(0〜255の範囲)における、1あるいは2以内、あるいは、より高い解像度のシステムであれば、より大きい値)である。たとえば、センサ18を、0〜4095のスケールの赤色、青色および緑色のデータを出力する、12ビットのセンサとすることが可能である。データに対するいずれかの丸め処理(rounding)あるいはフィルタリングが実行される場合、丸め処理モジュールを、望ましい効果を得られるように調整することが可能である。たとえば、劣化のない出力を得ることが望まれる場合には、より狭い範囲に対して、また、ある程度の劣化のある出力(あるいは劣化の多い出力)を許容できる場合には、より広い範囲に対して、丸め処理を実行することが可能である。丸め処理には、実行されることが可能であって、かつ、依然として視覚的に劣化のない出力を得ることの可能なものもある。たとえば、8ビットスケールにおいて、2あるいは3以下の絶対値を有する赤色あるいは青色のデータは、0に丸められることが可能であって、かつ、依然として視覚的に劣化のない出力を与えることが可能である。さらに、12ビットスケールにおいては、10〜20以下の絶対値を有する赤色あるいは青色のデータは、0に丸められることが可能であって、かつ、依然として視覚的に劣化のない出力を与えることが可能である。
【0055】
さらに、ゼロに丸める(あるいは他の値に丸める)ことが可能であって、依然として視覚的に劣化のない出力を与えることの可能な値の大きさは、システムの構成に依存しており、これは、光学ハードウェア16、画像センサ18、画像センサの解像度、画像センサ18の色解像度(ビット)、フィルタリングのタイプ、画像処理モジュール20によって実行されるアンチエイリアシング技術あるいは他の技術、圧縮モジュール22によって実行される圧縮技術、および/または、カメラ10における他のパラメータあるいは特性を含んでいる。
【0056】
上述したように、実施形態によっては、カメラ10を、緑色画像データに基づいて赤色および青色の画像データを変換した後に、緑色画像データの1/2を消去するように、構成することが可能である。たとえば(これに限定されるわけではないが)、周囲の緑色データ値の大きさの平均値が赤色および青色のデータ値から差し引かれた後に、緑色画像データの1/2を消去するように、処理モジュール20を構成することが可能である。この緑色データにおける減少は、関連するハードウェアに対するスループット要求を減らすことが可能である。さらに、残存している緑色画像データを、赤色および青色の画像データを再構築するために使用することが可能である(これについては、図14および図16を参照して、後により詳細に説明する)。
【0057】
上述したように、カメラ10は、圧縮モジュール22を備えることも可能である。圧縮モジュール22は、別体のチップの形状にされることが可能であり、あるいは、ソフトウェアおよび他のプロセッサによって実施されることも可能である。たとえば、圧縮モジュール22を、JPEG2000標準あるいは他の圧縮技術にしたがう圧縮技術を実行する、市販の圧縮チップの形状とすることが可能である。
【0058】
この圧縮モジュールについては、画像処理モジュール20からのデータに対して、任意のタイプの圧縮処理を実行するように構成することが可能である。実施形態によっては、圧縮モジュール22は、画像処理モジュール20によって実行される技術をうまく活用した圧縮技術を実行する。たとえば、上述したように、緑色画像データの大きさを差し引くことによって、赤色および青色のデータの値の大きさを減少するように、画像処理モジュール20を構成することが可能であり、これにより、他の効果とともに、非常に多くのゼロ値が得られる。さらに、画像処理モジュール20は、画像データのエントロピーを利用した、生データの操作を実行することが可能である。したがって、圧縮モジュール22によって実行される圧縮技術を、そこから出力される圧縮データのサイズを減少するために、より多くの一連のゼロの存在によって利益を得るタイプのものとすることが可能である。
【0059】
さらに、圧縮モジュール22を、視覚的に劣化のない出力が得られるように、画像処理モジュール20からの画像データを圧縮するように構成することが可能である。たとえば、第1に、圧縮モジュールを、任意の既知の圧縮技術を利用するように構成することが可能である。この圧縮技術としては、たとえば(これらに限定されるわけではないが)、JPEG2000、MotionJPEG、DCTに基づいた任意のコーデック、RGB画像データを圧縮するように設計された任意のコーデック、H.264、MPEG4、ハフマン、あるいは他の技術、を挙げられる。
【0060】
使用されている圧縮技術のタイプに応じて、視覚的に劣化のない出力を与えるために、圧縮技術におけるさまざまなパラメータを設定することが可能である。たとえば、上述した多くの圧縮技術を、異なる圧縮率に調整することが可能である。ここで、解凍時においては、得られる画像は、より低い圧縮率の場合にはより高品質になる一方、より高い圧縮率の場合にはより低品質になる。したがって、圧縮モジュールを、視覚的に劣化のない出力を与える方法によって、画像データを圧縮するように構成することが可能であり、あるいは、視覚的に劣化のない出力を得るためのさまざまなパラメータをユーザが調整することができるように、構成することが可能である。たとえば、圧縮モジュール22を、約6:1、7:1、8:1、あるいはより大きい圧縮率で画像データを圧縮するように構成することが可能である。実施形態によっては、圧縮モジュール22を、12:1、あるいはより高い比率に画像データを圧縮するように構成することが可能である。
【0061】
さらに、圧縮モジュール22を、この圧縮モジュール22によって得られる圧縮比をユーザが調整することができるように、構成することが可能である。たとえば、カメラ10は、圧縮モジュール22に圧縮比を変更させるコマンドをユーザが入力することを可能とする、ユーザインターフェイスを備えることが可能である。したがって、実施形態によっては、カメラ10は、可変圧縮を提供することが可能である。
【0062】
ここで使用されている「視覚的に劣化のない」という用語は、同じディスプレイ装置においてオリジナルの(圧縮されていない)画像データと並べて比較したときに、目視による画像の検査のみに基づく場合には、当業者が、どちらの画像がオリジナルであるのかを、妥当なレベルの正確性をもって判断することができないような出力を含むことを意図されている。
【0063】
引き続き図1を参照すると、カメラ10は、さらに、保存デバイス24を備えることが可能である。この保存デバイスについては、任意のタイプのデジタル保存装置(たとえば(これらに限定されるわけではないが)、ハードディスク、フラッシュメモリ、あるいは他の任意のタイプのメモリ素子)の形状とすることが可能である。実施形態によっては、保存デバイス24のサイズを、少なくとも約30分のビデオ(12メガの画素解像度、12ビットの色解像度、および、1秒ごとに60フレーム)に対応する、圧縮モジュール22からの画像データを保存するために十分なほどの大きさとすることが可能である。しかしながら、保存デバイス24は、任意のサイズを有することが可能である。
【0064】
実施形態によっては、保存デバイス24を、筐体12の外面に取り付けることが可能である。さらに、実施形態によっては、保存デバイス24を、標準的な通信ポートを介して、システム14における他の部材に接続することが可能である。この通信ポートとしては、たとえば(これに限定されるわけではないが)、IEEE1394、USB2.0、IDE、SATAなどを挙げられる。さらに、実施形態によっては、保存デバイス24は、RAIDプロトコルの下で動作する、複数のハードドライブを備えることが可能である。しかしながら、任意のタイプの保存デバイスを使用することが可能である。
【0065】
引き続き図1を参照すると、上述したように、実施形態によっては、システムは、モニタモジュール26およびディスプレイ装置30を備えることが可能である。これらは、ユーザが、動作中に画像センサ18によってキャプチャされたビデオ画像を観ることを可能とするように構成されている。実施形態によっては、画像処理モジュール20は、モニタモジュール26に対して解像度の減少された画像データを出力するように構成された、サブサンプリングシステムを備えることが可能である。たとえば、このようなサブサンプリングシステムを、2K、1080p、720p、あるいは他の任意の解像度をサポートするビデオ画像データを出力するように、構成することが可能である。実施形態によっては、モザイク復元のために使用されるフィルタを、ダウンサンプリングフィルタリングをも実行するように適合させることも可能である。これにより、ダウンサンプリングおよびフィルタリングを、同時に実行することが可能となる。モニタモジュール26については、画像処理モジュール20からのデータに対する任意のタイプのモザイク復元処理を実行するように、構成することが可能である。これにより、モニタモジュール26は、モザイクの復元された画像データを、ディスプレイ30に出力することが可能である。
【0066】
ディスプレイ30については、任意のタイプのモニタリング装置とすることが可能である。たとえば(これに限定されるわけではないが)、ディスプレイ30を、筐体12によって保持された、4インチのLCDパネルとすることが可能である。たとえば、実施形態によっては、ディスプレイ30を、大幅に調整することの可能なマウントに接続することが可能である。これにより、ディスプレイ30を、筐体12に対して任意の位置に調整することが可能となる。その結果、ユーザは、筐体12に対して任意の角度から、ディスプレイ30を観ることが可能となる。実施形態によっては、ディスプレイ30を、任意のタイプのビデオケーブル(たとえば、RGBあるいはYCCフォーマットのビデオケーブルなど)を介して、モニタモジュールに接続することが可能である。
【0067】
任意的に、再生モジュール28を、保存デバイス24からのデータを受信し、画像データを解凍してモザイクを復元し、さらに、画像データをディスプレイ30に出力するように構成することも可能である。実施形態によっては、モニタモジュール26および再生モジュール28を、中間的なディスプレイコントローラ(図示せず)を介して、ディスプレイに接続することが可能である。この場合、ディスプレイ30を、ディスプレイコントローラに対して、1つのコネクタによって接続することが可能である。このディスプレイコントローラを、モニタモジュール26あるいは再生モジュール28のいずれか一方からディスプレイ30に対して、データを転送するように構成することが可能である。
【0068】
図8は、カメラ10による画像データの処理を示す、フローチャート50を含んでいる。実施形態によっては、フローチャート50は、カメラ10内の保存デバイス24あるいは他の保存デバイス(図示せず)などのメモリ素子内に保存されている、制御ルーチンを示すことが可能である。さらに、中央処理装置(CPU;図示せず)を、この制御ルーチンを実行するように構成することが可能である。以下に示すフローチャート50に対応する方法の説明は、ビデオ画像データにおける単一のフレームに対する処理を前提として記述されている。したがって、この技術を、単一の静止画像に対する処理に応用することが可能である。これらの処理については、また、連続的なビデオに対する処理にも応用することが可能である。このようなビデオとしては、たとえば、12よりも大きいフレームレート、および、20、23.976、24、30、60および120のフレームレート、あるいは、これらのフレームレートの間にある(あるいは、これらよりも大きい)他のフレームレートのものを挙げられる。
【0069】
引き続き図8を参照すると、制御ルーチンは、動作ブロック52においてスタートすることが可能である。この動作ブロック52では、カメラ10は、センサデータを得ることが可能である。たとえば、図1を参照すると、ベイヤセンサおよびチップセットを備えることの可能な画像センサ18が、画像データを出力することが可能である。
【0070】
たとえば(これに限定されるわけではないが)、図3を参照すると、画像センサは、ベイヤパターンフィルタをその受光面に有する、CMOSを備えることが可能である。したがって、光学ハードウェア16からの焦点画像は、画像センサ18におけるCMOS上のベイヤパターンフィルタ上に、焦点を合わせられる。図3は、CMOS上のベイヤパターンフィルタの配列によって生成される、ベイヤパターンの例を示している。
【0071】
図3では、列mが、ベイヤパターンの左端から4番目の列であり、また、行nが、このパターンの上端から4番目の行である。残りの列および行は、行mおよび列nに関連するラベルが付されている。しかしながら、この配置は、例示の目的のために適宜に選択されているにすぎず、ここに記載されている実施形態あるいは発明を何ら限定するものではない。
【0072】
上述したように、既知のベイヤパターンフィルタは、多くの場合、青色および赤色の素子に比べて2倍の数の緑色素子を備えている。図5に示したパターンでは、青色素子は、行n−3、n−1、n+1、およびn+3だけに出現している。赤色素子は、行n−2、n、n+2、およびn+4だけに出現している。しかしながら、緑色素子は、全ての行および列に出現しており、そこに赤色および青色の素子が組み入れられている。
【0073】
したがって、動作ブロック52では、画像センサ18から出力された赤色、青色および緑色の画像データを、画像処理モジュール20によって受信することが可能であるとともに、図7に示されているように、個別の色データ成分に整理することが可能である。図7に示されているように、および、図4に関連して上述したように、画像処理モジュール20は、赤色、青色および緑色の画像データを、4つの個別の成分に分離することが可能である。図7は、2つの緑色成分(緑色1および緑色2)、1つの青色成分、および、1つの赤色成分を示している。しかしながら、これは、画像センサ18からの画像データの処理における、1つの典型的な方法にすぎない。さらに、上述したように、任意的に、画像処理モジュール20は、緑色画像データの1/2を、適宜的あるいは選択的に消去することが可能である。
【0074】
動作ブロック52の後、フローチャート50は、動作ブロック54に進むことが可能となる。動作ブロック56では、画像データを、さらに処理することが可能である。たとえば、任意的に、得られたデータのいずれか1つあるいは全て(たとえば、緑色1、緑色2、図9からの青色画像データ、および、図10からの赤色画像データ)を、さらに処理することが可能である。
【0075】
たとえば、画像データを、プリエンファシス(予め強調処理)する、あるいは他の方法で処理することが可能である。実施形態によっては、画像データを、より(数学的に)非線形となるように処理することが可能である。圧縮アルゴリズムのなかには、圧縮の前に、画像素子に対するこのような線形近似を実行することが有益となるものもある。しかしながら、他の技術を使用することも可能である。たとえば、本質的に強調を与えない線形曲線によって、画像データを処理することも可能である。
【0076】
実施形態によっては、動作ブロック54は、y=x^0.5という関数によって規定される曲線を利用して、画像データを処理することも可能である。実施形態によっては、画像データが、たとえば(これに限定されるわけではないが)、規格化された0〜1の範囲にある浮動小数点データであった場合に、上記の曲線を使用することが可能である。他の実施形態では、たとえば、画像データが12ビットのデータである場合、y=(x/4095)^0.5という曲線を用いて、画像を処理することが可能である。さらに、たとえばy=(x+c)^gなどの他の曲線を用いて、画像データを処理することが可能である。なお、上記の式において、0.01<g<1であり、また、cは、オフセットであって、実施形態によっては0とすることが可能である。さらに、対数曲線を使用することも可能である。たとえば、y=Alog(Bx+C)という形の曲線などであり、A、BおよびCは、所望の結果を与えるために選ばれた定数である。さらに、上述した曲線および処理を、より線形のエリアを黒色の近くに与えるように修正することが可能であり、これは、よく知られているRec709ガンマ曲線において利用されている技術と同様のものである。これらの処理を画像データに適用する際には、全ての画像データに同じ処理を適用することも可能であり、また、画像データにおける異なる色に対して異なる処理を適用することも可能である。しかしながら、これらは、画像データを処理するために使用することの可能な典型的な曲線にすぎず、あるいは、曲線あるいは変換を使用することも可能である。さらに、これらの処理技術を、上述したような数学的な関数、あるいは、ルックアップテーブル(LUT)を利用することによって、適用することも可能である。さらに、異なるタイプの画像データ、画像データの記録中に使用される異なるISO設定、温度(ノイズレベルに影響する可能性がある)などに関して、異なる処理、技術あるいは変換を使用することも可能である。
【0077】
動作ブロック54の後、フローチャート50は、動作ブロック56に移動することが可能となる。この動作ブロック56では、赤色および青色の画像素子を変換することが可能である。たとえば、上述したように、青色および赤色の画像データ成分のそれぞれから、緑色画像データを差し引くことが可能である。実施形態によっては、赤色あるいは青色の画像素子に隣接する少なくとも1つの緑色画像素子における緑色画像データ値を差し引くことによって、赤色あるいは青色の画像データ値を変換することが可能である。実施形態によっては、赤色あるいは青色の画像データ値から、複数の隣接する緑色画像素子のデータ値における平均値を差し引くことが可能である。たとえば(これらに限定されるわけではないが)、2個、3個、4個、あるいはそれより多くの緑色画像データ値の平均値を算出し、その緑色画像素子の近傍にある赤色あるいは青色の画像素子から差し引くことが可能である。
【0078】
たとえば(これに限定されるわけではないが)、図3を参照すると、赤色素子Rm−2,n−2に関する生出力は、4つの緑色画像素子Gm−2,n−3、Gm−1,n−2、Gm−3,n−2、および、Gm−2,n−1に囲まれている。したがって、この赤色素子Rm−2,n−2については、それを取り囲んでいる緑色素子の値の平均値を差し引くことによって、以下のように変換することが可能である。
(1)Rm,n=Rm,n−(Gm,n−1+Gm+1,n+Gm,n+1+Gm−1,n)/4
【0079】
同様に、青色素子についても、それを取り囲んでいる緑色素子の平均値を差し引くことによって、同様の方法で以下のように変換することが可能である。
(2)Bm+1,n+1=Bm+1,n+1−(Gm+1,n+Gm+2,n+1+Gm+1,n+2+Gm,n+1)/4
【0080】
図9は、得られた青色データ成分を示している。この図では、オリジナルの青色生データBm−1,n−1が変換されており、新しい値にB’m−1,n−1がラベリングされている(成分における1つの値だけが書き込まれており、全ての青色素子に関して、同じ技術を使用することが可能である)。同様に、図10は、変換された赤色データ成分を示している。この図では、変換された赤色素子Rm−2,n−2が、R’m−2,n−2として特定されている。この状態では、画像データを、まだ「生」データであると考えることが可能である。たとえば、このデータに対して実行される数学的な処理は、完全に可逆的であり、このため、これらの処理を逆進することによって、オリジナルの値の全てを得ることが可能である。
【0081】
引き続き図8を参照すると、動作ブロック56の後、フローチャート50は、動作ブロック58に進むことが可能である。動作ブロック58では、得られたデータ(生データ、あるいは実質的に生といえるデータ)を、任意の既知の圧縮アルゴリズムを使用することによって、さらに圧縮することが可能である。たとえば、圧縮モジュール22(図1)を、このような圧縮アルゴリズムを実行するように構成することが可能である。圧縮の後、圧縮された生データを、保存デバイス24(図1)に保存することが可能である。
【0082】
図8Aは、フローチャート50の修正形(参照番号50’によって特定されている)を示している。フローチャート50に関連して上述したステップのいくつかは、フローチャート50’における対応するステップと類似あるいは同一であり、このため、これらは、同じ参照番号によって特定されている。
【0083】
図8Aに示すように、フローチャート50’は、実施形態によっては、任意的に、動作ブロック54を省略することが可能である。実施形態によっては、フローチャート50’は、また、動作ブロック57を含むことが可能である。このブロックでは、画像データにルックアップテーブルを適用することが可能である。たとえば、任意的なルックアップテーブル(図11の曲線によって示されている)を、圧縮をさらに強化するために使用することが可能である。実施形態によっては、図11のルックアップテーブルは、緑色画像素子のためだけに使用される。他の実施形態では、ルックアップテーブルを、赤色および青色の画像素子のために使用することが可能である。3つの異なる色のために、同一のルックアップテーブルを使用することも可能であるし、また、各色が、それ自身のルックアップテーブルを有することも可能である。さらに、図11の曲線によって示されているもの以外の処理を、適用することも可能である。
【0084】
図8および図8Aを参照しながら上述した方法を用いて画像データを処理することによって、画像センサ18からの画像データを、6対1あるいはそれより大きい圧縮比によって圧縮し、かつ、視覚的に劣化の状態に保つことが可能である、ということがわかっている。さらに、画像データが(たとえば、緑色画像データを差し引くことによって)変換されていても、全ての生の画像データは、エンドユーザにとって利用可能なままとなっている。たとえば、一定の処理を逆進することによって、全ての(あるいは、ほぼ全ての)オリジナルの生データを抽出し、さらに処理し、フィルタリングし、および/または、ユーザの望む任意の処理を利用することによって、モザイクを復元することが可能である。
【0085】
たとえば、図12を参照すると、保存デバイス24に保存されているデータを解凍し、そのモザイクを復元することが可能である。任意的に、カメラ10を、フローチャート60によって示されている方法を実行するように構成することが可能である。たとえば(これに限定されるわけではないが)、再生モジュール28を、フローチャート60によって示されている方法を実行するように構成することが可能である。しかしながら、ユーザは、また、保存デバイス24から別体のワークステーションにデータを転送し、フローチャート60における任意の(あるいは全ての)ステップおよび/または動作を適用することも可能である。
【0086】
引き続き図12を参照すると、フローチャート60は、動作ブロック62においてスタートする。この動作ブロックでは、保存デバイス24からのデータが解凍される。たとえば、動作ブロック62におけるデータの解凍を、動作ブロック58(図8)において実行されている圧縮アルゴリズムの逆進とすることが可能である。動作ブロック62の後、フローチャート60は、動作ブロック64に進むことが可能である。
【0087】
動作ブロック64では、動作ブロック56(図8)において実行される処理を逆進することが可能である。たとえば、図11の曲線の逆のもの、あるいは、図8および図8Aの動作ブロック56に関連して上述した他の任意の関数の逆のものを、画像データに適用することが可能である。動作ブロック64の後、フローチャート60は、ステップ66に進むことが可能である。
【0088】
動作ブロック66では、緑色画像素子のモザイクを復元することが可能である。たとえば、上述したように、緑色1および/または緑色2(図7)のデータ成分からの全ての値を、保存デバイス24に保存することが可能である。たとえば、図5に関連して、緑色1、緑色2のデータ成分からの緑色画像データを、画像センサ18によって適用されるオリジナルのベイヤパターンにしたがって、配置することが可能である。そして、既知の任意の技術(たとえば、線形補間、双曲線など)を用いて、緑色データのモザイクをさらに復元することが可能である。
【0089】
図13は、全ての生の緑色画像データからモザイク復元された緑色画像データにおける、典型的な配置を示している。文字Gによって特定されている緑色画像素子は、オリジナルの生の(解凍された)画像データを示しており、「DG」によって特定されている素子は、モザイク復元処理を経たオリジナルデータから得られた素子を示している。この用語は、以下に示す他の色に関するモザイク復元処理の説明に関して使用される。図14は、オリジナルの緑色画像データの1/2からモザイク復元された緑色画像データにおける、典型的な画像データの配置を示している。
【0090】
引き続き図12を参照すると、動作ブロック66の後、フローチャート60は、動作ブロック68に進むことが可能である。この動作ブロック68では、モザイクを復元された緑色画像データを、さらに処理することが可能である。たとえば(これに限定されるわけではないが)、緑色画像データに対し、ノイズ低減技術を適用することが可能である。しかしながら、他の任意の画像処理技術(たとえば、アンチエイリアシング技術など)を、緑色画像データに適用することも可能である。動作ブロック68の後、フローチャート60は、動作ブロック70に進むことが可能である。
【0091】
動作ブロック70では、赤色および青色画像データのモザイクを復元することが可能である。たとえば、第1に、図9の青色画像データを、ベイヤパターン(図15)にしたがって再配列することが可能である。図16に示すように、周囲の素子を、任意の既知のモザイク復元技術(線形補間、双曲線などを含む)を利用して、それらの青色画像データからモザイク復元することが可能である。モザイク復元ステップの結果、図16に示すように、全ての画素に関する青色画像データが現れることになる。しかしながら、この青色画像データは、修正された図9の青色画像データ(すなわち、緑色画像データ値を差し引かれた青色画像データ値)に基づいて、モザイク復元された。
【0092】
動作ブロック70は、また、赤色画像データに対するモザイク復元ステップを含むことが可能である。たとえば、図10からの赤色画像データを、オリジナルのベイヤパターンにしたがって再配列することが可能であり、さらに、任意の既知のモザイク復元処理(たとえば、線形補間、双曲線など)を用いて、モザイク復元することが可能である。
【0093】
動作ブロック70の後、フローチャートは、動作ブロック72に進むことが可能である。この動作ブロック72では、モザイクを復元された赤色および青色画像データを、モザイクを復元された緑色画像データから、再構築することが可能である。
【0094】
実施形態によっては、赤色および青色画像データ素子のそれぞれを、同じ場所にある緑色画像素子(同じ列「m」および行「n」の位置にある緑色画像素子)の緑色値に加えることによって、再構築することが可能である。たとえば、モザイクの復元後では、青色画像データは、青色素子値DBm−2,n−2を含んでいる。図3に示したオリジナルのベイヤパターンが、この位置において青色素子を含んでいないため、この青色値DBm−2,n−2は、たとえば、DBm−3,n−3、DBm−1,n−3、DBm−3,n−1、DBm−1,n−1のいずれか1つから得られた青色値に基づいて、上述したモザイク復元処理を経て(あるいは、他の任意の技術あるいは他の青色画像素子によって)、得られたものである。上述したように、これらの値は、動作ブロック54(図8)において修正されており、したがって、画像センサ18によって検出されたオリジナルの青色画像データとは一致しない。むしろ、平均の緑色値が、これらの値のそれぞれから差し引かれている。したがって、得られた青色画像データDBm−2,n−2も、緑色画像データの差し引かれた青色データを示している。このため、一実施形態では、素子DGm−2,n−2に関するモザイクの復元された緑色画像データを、青色画像値DBm−2,n−2に加えることが可能であり、これにより、再構築された青色画像データ値を得ることが可能となる。
【0095】
実施形態によっては、任意的に、青色および/または赤色の画像データを、モザイク復元の前に、先に再構築することが可能である。たとえば、変換された青色画像データB’m−1,n−1を、周囲の緑色素子における平均値を加えることによって、先に再構築することが可能である。これは、オリジナルの青色画像データBm−1,n−1の取得および再計算をもたらすことになる。この処理を、全ての青色画像データに対して実行することが可能である。その後、さらに、青色画像データを、任意の既知のモザイク復元技術によって、モザイク復元することが可能である。赤色画像データについても、同じあるいは類似の方法によって処理することが可能である。
【0096】
図12Aは、フローチャート60の修正形(参照番号60’によって特定されている)を示している。フローチャート60に関連して上述したステップのいくつかは、フローチャート60’における対応するステップと類似あるいは同一であり、このため、これらは、同じ参照番号によって特定されている。
【0097】
図12Aに示すように、フローチャート60’は、動作ブロック62の後に、動作ブロック68’を含むことが可能である。この動作ブロック68’では、画像データに対し、ノイズ低減技術を実行することが可能である。たとえば(これに限定されるわけではないが)、ノイズ低減技術を、緑色画像データに適用することが可能である。しかしながら、他の任意の画像処理技術(たとえば、アンチエイリアシング技術など)を、緑色画像データに適用することも可能である。動作ブロック68’の後、フローチャートは、動作ブロック70’に進むことが可能である。
【0098】
動作ブロック70’では、画像データのモザイクを復元することが可能である。動作ブロック66および70に関連して上述した説明においては、緑色、赤色および青色の画像データを、2つのステップにおいてモザイク復元することが可能である。しかしながら、このフローチャート60’においては、ここでのモザイク復元処理に関しても、上述したものと同じモザイク復元技術を利用することが可能であるが、全3色の画像データに対するモザイク復元を、1つのステップにおいて表現している。動作ブロック70’の後、フローチャートは、赤色および青色画像データを再構築することの可能な動作ブロック72、および、逆ルックアップテーブルを適用することの可能な動作ブロック64に進むことが可能である。
【0099】
画像データが、フローチャート70あるいは70’のいずれか一方(あるいは他の任意の好適な処理)にしたがって解凍され、処理された後、この画像データを、モザイク復元された画像データとして、さらに処理することが可能である。
【0100】
赤色および青色の画像データを再構築する前に、緑色画像データをモザイク復元することによって、一定の追加的な利点を得ることが可能である。たとえば、上述したように、人間の目は、緑色光に対してより敏感である。緑色画像データの解凍および処理は、人間の目がより敏感になる緑色画像値を最適化する。したがって、それに続く赤色および青色画像データの再構築は、緑色画像データの処理によって影響されるはずである。
【0101】
さらに、ベイヤパターンは、赤色および青色の素子に比べて、2倍の数の緑色素子を有している。したがって、全ての緑色データが保持されている実施形態では、赤色あるいは青色の画像データ素子のいずれか一方に比べて、緑色素子に関する画像データが2倍ある。したがって、モザイク復元技術、フィルタおよび他の画像処理技術は、よりよくモザイク復元され、シャープ化され、あるいはフィルタリングされた画像をもたらす。赤色および青色の画像データに対する再構築およびモザイク復元のために、これらのモザイク処理された値を利用することは、オリジナルの緑色データにおけるより高い解像度に関連する利点を、赤色および青色の素子における処理、再構築およびモザイク復元に遷移する。したがって、得られる画像は、さらにエンハンスされる。

【特許請求の範囲】
【請求項1】
携帯可能な筐体と、
この筐体によって保持されているとともに、光の焦点を合わせるように構成されているレンズアセンブリと、
焦点光を、1秒ごとに少なくとも約23フレームのフレームレートで、少なくとも2kの解像度を有する生画像データに変換するように構成されている感光デバイスと、
メモリ素子と、
少なくとも6対1の圧縮比で、かつ、視覚的にほぼ劣化のない状態を保ちながら、1秒ごとに少なくとも約23フレームのレートで、前記生画像データを圧縮して前記メモリ素子に保存するように構成されている画像処理システムと、
を有しているビデオカメラ。
【請求項2】
前記画像処理システムが、第3の色の画像データに基づいて、第1および第2の色における少なくとも1つを示す画像データを修正するように構成されている画像処理モジュールをさらに備えている、請求項1に記載のビデオカメラ。
【請求項3】
前記第3の色が緑色である、請求項2に記載のビデオカメラ。
【請求項4】
前記画像処理モジュールが、第1および第2の色の画像データの値から、第3の色の画像データの値を差し引くように構成されている、請求項2に記載のビデオカメラ。
【請求項5】
前記画像処理システムが、前記画像処理モジュールが第1および第2の色における少なくとも1つを示す画像データを修正した後に、第1、第2および第3の色の画像データを圧縮するように構成されている、請求項2に記載のビデオカメラ。
【請求項6】
前記画像処理システムが、第3の色を示す画像データの約半分を消去するように構成されている、請求項2に記載のビデオカメラ。
【請求項7】
前記感光デバイスが、第1の色を検出するように構成されているセンサセルからなる第1のグループ、第2の色を検出するように構成されているセンサセルからなる第2のグループ、および、第3の色を検出するように構成されているセンサセルからなる第3のグループを備えており、センサセルからなる第3のグループが、センサセルからなる第2のグループに比して、2倍の数のセンサセルを有している、請求項6に記載のビデオカメラ。
【請求項8】
前記メモリ素子が、前記筐体の内部に配置されている、請求項1に記載のビデオカメラ。
【請求項9】
前記メモリ素子が、前記筐体の外面に保持されている、請求項1に記載のビデオカメラ。
【請求項10】
前記メモリ素子が、フレキシブルケーブルによって前記筐体に接続されている、請求項1に記載のビデオカメラ。
【請求項11】
前記画像処理システムが、圧縮の前に前記生画像データのエントロピーを低減するために、この生画像データを操作するように構成されている、請求項1に記載のビデオカメラ。
【請求項12】
前記画像処理システムが、圧縮の前に前記生画像データのエントロピーを低減するように構成されている、請求項1に記載のビデオカメラ。
【請求項13】
筐体によって保持されているとともに、光の焦点を合わせるように構成されているレンズアセンブリと、
焦点光を、この焦点光における少なくとも第1、第2および第3の色を示す画像データの生信号に変換するように構成されている感光デバイスと、
第3の色の画像データに基づいて、第1および第2の色における少なくとも1つの画像データを修正するように構成されている画像処理モジュールと、
メモリ素子と、
第1、第2および第3の色の画像データを圧縮するように構成されているとともに、1秒ごとに少なくとも約23フレームのフレームレートで、圧縮された画像データを前記メモリ素子に保存するように構成されている、圧縮デバイスと、
を有しているビデオカメラ。
【請求項14】
前記第3の色が緑色である、請求項13に記載のビデオカメラ。
【請求項15】
前記画像処理モジュールが、第1および第2の色における少なくとも1つの画像データの値から、第3の色の画像データの値を差し引くように構成されている、請求項13に記載のビデオカメラ。
【請求項16】
前記第3の色の画像データの値が、第3の色における選択された画像データの値の平均値からなる、請求項15に記載のビデオカメラ。
【請求項17】
前記画像処理モジュールが、第1の色のセンサセルに隣接する少なくとも2つのセンサセルから得られる、第3の色における画像データの値の平均値を算出するとともに、この平均値を、第1の色のセンサセルからの画像データの値から差し引くように構成されている、請求項13に記載のビデオカメラ。
【請求項18】
前記平均値が、第1の色のセンサセルに隣接する少なくとも4つのセンサセルから得られる、第3の色の画像データの値の平均値からなる、請求項17に記載のビデオカメラ。
【請求項19】
前記感光デバイスがベイヤセンサを有している、請求項13に記載のビデオカメラ。
【請求項20】
カメラによって動画ビデオを記録する方法であって、
感光デバイスに光を案内するステップと、
前記感光デバイスによって受光された光を、1秒ごとに少なくとも23フレームよりも大きいレートで、生のデジタル画像データに変換するステップと、
この生のデジタル画像データを圧縮するステップと、
この生画像データを、1秒ごとに少なくとも約23フレームのレートで、保存デバイスに記録するステップと、
を含んでいる方法。
【請求項21】
生のデジタル画像データを圧縮する前記ステップが、この生のデジタル画像データを、少なくとも6対1の有効圧縮比に圧縮するステップを含んでいる、請求項20に記載の方法。
【請求項22】
生のデジタル画像データを圧縮する前記ステップが、この生のデジタル画像データを、少なくとも約12:1の有効圧縮比で圧縮するステップを含んでいる、請求項20に記載の方法。
【請求項23】
生のデジタル画像データを圧縮する前記ステップが、この生のデジタル画像データを、このデータが視覚的に劣化のない状態を保つように、圧縮するステップを含んでいる、請求項20に記載の方法。
【請求項24】
前記記録ステップが、圧縮された生のデジタル画像データを保存するステップを含んでいる、請求項20に記載の方法。
【請求項25】
前記記録ステップが、1秒ごとに少なくとも約23.976フレームのレートで、生画像データを前記保存デバイスに記録するステップを含んでいる、請求項20に記載の方法。
【請求項26】
前記記録ステップの前に、生画像データのエントロピーを低減するように生画像データを操作するステップをさらに含んでいる、請求項20に記載の方法。
【請求項27】
前記記録ステップの前に、生画像データのエントロピーを低減するステップをさらに含んでいる、請求項20に記載の方法。
【請求項28】
エントロピーを減少する前記ステップの後に、視覚的に劣化のない方法によって、前記生画像データを圧縮するステップをさらに含んでいる、請求項27に記載の方法。
【請求項29】
画像を処理するための方法であって、
画像を、第1の色を示す生の第1の画像データ、第2の色を示す生の第2の画像データ、および、第3の色を示す生の第3の画像データに変換するステップと、
少なくとも生の第1の画像データおよび生の第2の画像データを、生の第3の画像データに基づいて修正するステップと、
生の第3の画像データ、および、修正された生の第1および第2の画像データを圧縮するステップと、
圧縮されたデータを、1秒ごとに少なくとも約23フレームのフレームレートで保存するステップと、
を含んでいる方法。
【請求項30】
前記保存ステップが、圧縮されたデータを、前記変換ステップのために使用される画像検知デバイスを備えたカメラに保存するステップを含んでいる、請求項29に記載の方法。
【請求項31】
前記第3の画像データの半分を消去するステップをさらに含んでいる、請求項29に記載の方法。
【請求項32】
前記修正ステップが、第3の画像データにおける少なくとも2つの画素の平均値を算出するステップを含んでおり、この平均値を、第3の画像データにおける前記少なくとも2つの画素の双方に隣接する第1の画像データの画素から差し引くようになっている、請求項29に記載の方法。
【請求項33】
前記算出ステップが、第3の画像データにおける少なくとも4つの画素の平均値を算出するステップを含んでいる、請求項32に記載の方法。
【請求項34】
前記第3の画像データが緑色画像データを示している、請求項29に記載の方法。
【請求項35】
前記第3の画像データおよび修正された第1および第2の画像データを解凍するステップをさらに含んでいる、請求項29に記載の方法。
【請求項36】
前記第3の画像データをモザイク復元するステップをさらに含んでいる、請求項35に記載の方法。
【請求項37】
モザイク復元された前記第3の画像データに基づいて、第1の画像データをモザイク復元するステップをさらに含んでいる、請求項36に記載の方法。
【請求項38】
前記第1の画像データをモザイク復元し、その後、モザイク復元された前記第3の画像データに基づいて、モザイク復元された第1の画像データを修正するステップをさらに含んでいる、請求項36に記載の方法。
【請求項39】
前記修正ステップが、第3の画像データに基づいて値を算出するステップ、この値を第1の画像データの値から差し引くステップを含んでおり、
この方法が、第3の画像データおよび修正された第1および第2の画像データを解凍するステップ、第3の画像データをモザイク復元するステップ、その後に、第1の画像データをモザイク復元するステップ、その後に、モザイク復元された第3の画像データの値に基づいて、モザイク復元された第1の画像データを修正するステップ、をさらに含んでいる、請求項29に記載の方法。
【請求項40】
筐体によって保持されているとともに、光の焦点を合わせるように構成されているレンズアセンブリと、
焦点光を、この焦点光を示す生画像データの信号に変換するように構成されている感光デバイスと、
メモリ素子と、
1秒ごとに少なくとも約23フレームのフレームレートで前記生画像データを圧縮して記録するための手段と、
を有しているビデオカメラ。
【請求項41】
前記生画像データを圧縮するための手段の前段に、この生画像データのエントロピーを低減するための手段をさらに備えている、請求項40に記載のビデオカメラ。
【請求項42】
ビデオカメラにおいて、
このカメラのビデオ記録動作の際における、筐体の動きにおける少なくとも1度に関する方向を、ユーザが操作することを可能とするように構成された、少なくとも1つのハンドルを有する、携帯可能な筐体と、
前記筐体によって保持されているとともに、この筐体の内部に配置された平面において光の焦点を合わせるように構成されている少なくとも1つのレンズを備えた、レンズアセンブリと、
1秒ごとに少なくとも約23フレームのフレームレートで、焦点光を、少なくとも2kの水平解像度を有する生画像データに変換するように構成されている感光デバイスと、
ビデオ画像データを保存するように構成されているメモリ素子と、
少なくとも6対1の圧縮比で、かつ、視覚的にほぼ劣化のない状態を保ちながら、1秒ごとに少なくとも約23フレームのレートで、前記生画像データを圧縮して前記メモリ素子に保存するように構成されている画像処理システムと、
を有しているビデオカメラ。
【請求項43】
前記画像処理システムが、前記生画像データを圧縮する前に、この生画像データのエントロピーを低減するように構成されている、請求項42に記載のビデオカメラ。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図8A】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図12A】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate


【公表番号】特表2010−524408(P2010−524408A)
【公表日】平成22年7月15日(2010.7.15)
【国際特許分類】
【出願番号】特願2010−503253(P2010−503253)
【出願日】平成20年4月11日(2008.4.11)
【国際出願番号】PCT/US2008/060126
【国際公開番号】WO2008/128112
【国際公開日】平成20年10月23日(2008.10.23)
【出願人】(509139391)レッド.コム,インコーポレイテッド (5)
【Fターム(参考)】