画像処理装置
【課題】回路の変更を最小限に抑えつつ、ハニカム配列の撮像素子によって取得されたＲＡＷデータに対応可能な画像処理装置を得る。
【解決手段】色変換部２１の処理対象である画素には、画素内における各色のセルの配置が、第１の配置パターンである第１の画素と、第２の配置パターンである第２の画素とが含まれる。演算式においては、各セルの信号値をパラメータとして設定可能である。色変換部２１は、第１の画素を処理する場合には、第１のパラメータを設定し、第２の画素を処理する場合には、演算式内における各色のセルの信号値の位置が、第１の画素に関するそれと等しくなるような、第２のパラメータを設定する。
【解決手段】色変換部２１の処理対象である画素には、画素内における各色のセルの配置が、第１の配置パターンである第１の画素と、第２の配置パターンである第２の画素とが含まれる。演算式においては、各セルの信号値をパラメータとして設定可能である。色変換部２１は、第１の画素を処理する場合には、第１のパラメータを設定し、第２の画素を処理する場合には、演算式内における各色のセルの信号値の位置が、第１の画素に関するそれと等しくなるような、第２のパラメータを設定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関し、特に、ＨＤ Ｐｈｏｔｏにおけるエンコーダ及びデコーダに関する。
【背景技術】
【０００２】
近年、ＪＰＥＧよりも高画質で、ＪＰＥＧ２０００よりも回路構成及び演算処理が簡素化された静止画ファイルフォーマットとして、マイクロソフト社よりＨＤ Ｐｈｏｔｏが提案されている。
【０００３】
ＨＤ Ｐｈｏｔｏにおけるエンコーダは、所定の周波数変換処理（ＰＣＴ）を実行する周波数変換部と、ブロック歪みを軽減するための所定のプレフィルタ処理を実行するプレフィルタとを備えて構成されている。周波数変換部は、縦４画素×横４画素の画素ブロックを処理単位領域として、周波数変換処理を実行する。プレフィルタは、周波数変換部による複数の処理単位領域にオーバーラップする領域を処理単位領域として、周波数変換処理が実行される前にプレフィルタ処理を実行する。但し、プレフィルタ処理を実行するか否かは、Ｏｖｅｒｌａｐ係数の設定によって、任意に選択することができる。
【０００４】
また、ＨＤ Ｐｈｏｔｏにおけるデコーダは、上記の周波数変換処理に対応する周波数逆変換処理を実行する周波数逆変換部と、上記のプレフィルタ処理に対応するポストフィルタ処理を実行するポストフィルタとを備えて構成されている。周波数逆変換部は、縦４画素×横４画素の画素ブロックを処理単位領域として、周波数逆変換処理を実行する。ポストフィルタは、周波数逆変換部による複数の処理単位領域にオーバーラップする領域を処理単位領域として、周波数逆変換処理が実行された後にポストフィルタ処理を実行する。但し、上記と同様に、ポストフィルタ処理を実行するか否かは、Ｏｖｅｒｌａｐ係数の設定によって、任意に選択することができる。
【０００５】
なお、ＨＤ Ｐｈｏｔｏの詳細については、例えば下記非特許文献１に開示されている。また、ＨＤ Ｐｈｏｔｏに関連するＪＰＥＧ ＸＲの詳細については、例えば下記非特許文献２に開示されている。
【０００６】
【特許文献１】特開２００５−３３３２５１号公報
【非特許文献１】"HD Photo -Photographic Still Image File Format", [online], ２００６年１１月７日, Microsoft Corporation, [２００７年１０月１０日検索], インターネット＜URL: http://www.microsoft.com/whdc/xps/hdphotodpk.mspx＞
【非特許文献２】"Coding of Still Pictures -JBIG JPEG", [online], 19 December 2007, ISO/IEC JTC 1/SC 29/WG1 N 4392, [２００８年３月４日検索], インターネット＜URL: http://www.itscj.ipsj.or.jp/sc29/open/29view/29n9026t.doc＞
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ＨＤ Ｐｈｏｔｏにおけるエンコーダは、Ｂａｙｅｒ配列の撮像素子によって取得されたＲＡＷデータには対応しているが、スーパーＣＣＤハニカム（登録商標）のような、ハニカム配列の撮像素子によって取得されたＲＡＷデータには対応していない。
【０００８】
本発明はかかる事情に鑑みて成されたものであり、回路の変更を最小限に抑えつつ、ハニカム配列の撮像素子によって取得されたＲＡＷデータに対応可能な画像処理装置を得ることを目的とする。
【課題を解決するための手段】
【０００９】
本発明の第１の態様に係る画像処理装置は、ハニカム配列の撮像素子によって取得された第１の色空間の信号を、所定の演算式に基づいて第２の色空間の信号に変換する色変換部を備え、前記色変換部は、ハニカム配列における複数色のセルを含む画素を規定して、画素単位で色変換処理を実行し、前記色変換部の処理対象である画素には、画素内における各色のセルの配置が、第１の配置パターンである第１の画素と、第２の配置パターンである第２の画素とが含まれ、前記演算式においては、各セルの信号値をパラメータとして設定可能であり、前記色変換部は、前記第１の画素を処理する場合には、第１のパラメータを設定し、前記第２の画素を処理する場合には、前記演算式内における各色のセルの信号値の位置が、前記第１の画素に関するそれと等しくなるような、第２のパラメータを設定することを特徴とするものである。
【００１０】
第１の態様に係る画像処理装置によれば、演算式におけるパラメータの設定を変更するという簡易な手法によって、第１及び第２の画素の双方に関して、画素内における各色のセルの配置パターンの相違を考慮した適切な色変換処理を実行することができる。
【００１１】
本発明の第２の態様に係る画像処理装置は、ハニカム配列の撮像素子によって取得された第１の色空間の信号を第２の色空間の信号に変換する色変換部と、前記第１の色空間の信号が前記色変換部に入力される前に、前記第１の色空間の信号を並び替える、並び替え処理部とを備え、前記色変換部は、ハニカム配列における複数色のセルを含む画素を規定して、画素単位で色変換処理を実行し、前記色変換部の処理対象である画素には、画素内における各色のセルの配置が、第１の配置パターンである第１の画素と、第２の配置パターンである第２の画素とが含まれ、前記並び替え処理部は、前記色変換部の処理対象が前記第１の画素である場合には、並び替え処理を実行せず、前記色変換部の処理対象が前記第２の画素である場合には、画素内における各色のセルの信号値の位置が前記第１の画素に関するそれと等しくなるように、並び替え処理を実行することを特徴とするものである。
【００１２】
第２の態様に係る画像処理装置によれば、画素内における各色のセルの信号値の位置を並び替えるという簡易な手法によって、第１及び第２の画素の双方に関して、画素内における各色のセルの配置パターンの相違を考慮した適切な色変換処理を実行することができる。
【００１３】
本発明の第３の態様に係る画像処理装置は、ハニカム配列の撮像素子によって取得された第１の色空間の信号を第２の色空間の信号に変換する色変換部と、前記色変換部の前段に配置された選択部とを備え、前記色変換部は、ハニカム配列における複数色のセルを含む画素を規定して、画素単位で色変換処理を実行し、前記色変換部の処理対象である画素には、画素内における各色のセルの配置が、第１の配置パターンである第１の画素と、第２の配置パターンである第２の画素とが含まれ、前記色変換部は、第１の演算式に基づいて色変換処理を実行する第１の変換処理部と、各色のセルの信号値の位置が、等価的に前記第１の演算式におけるそれと等しくなるような、第２の演算式に基づいて、色変換処理を実行する第２の変換処理部とを有し、前記選択部は、前記色変換部の処理対象が前記第１の画素である場合には、前記第１の変換処理部を選択し、前記色変換部の処理対象が前記第２の画素である場合には、前記第２の変換処理部を選択することを特徴とするものである。
【００１４】
第３の態様に係る画像処理装置によれば、色変換部内に第１の変換処理部及び第２の変換処理部を設け、処理対象に応じて一方を選択するという簡易な手法によって、第１及び第２の画素の双方に関して、画素内における各色のセルの配置パターンの相違を考慮した適切な色変換処理を実行することができる。
【００１５】
本発明の第４の態様に係る画像処理装置は、ハニカム配列の撮像素子によって取得された第１の色空間の信号を第２の色空間の信号に変換する色変換部を備え、前記色変換部は、ハニカム配列における複数色のセルを含む画素を規定して、画素単位で色変換処理を実行し、前記色変換部は、画素内における各色のセルの配置が単一の配置パターンとなるように画素を規定することを特徴とするものである。
【００１６】
第４の態様に係る画像処理装置によれば、画素内における各色のセルの配置が単一の配置パターンとなるように画素を規定することにより、全ての画素において、各色のセルの配置パターンが同一となる。従って、パラメータの設定変更や、信号値の位置の並び替え等の処理を行うことなく、全ての画素に関して適切な色変換処理を実行することができる。
【００１７】
本発明の第５の態様に係る画像処理装置は、第４の態様に係る画像処理装置において特に、画素平面の周縁部において一画素内のセル数が不足する画素を対象として、不足のセルに関する信号値を補完する補完処理部をさらに備え、前記補完処理部は、前記不足のセルの近傍に位置するセルに関する信号値を用いた演算によって、前記不足のセルに関する信号値を補完することを特徴とするものである。
【００１８】
第５の態様に係る画像処理装置によれば、演算によって高精度の補完を行うことにより、圧縮効率を上げることができる。
【００１９】
本発明の第６の態様に係る画像処理装置は、第４の態様に係る画像処理装置において特に、画素平面の周縁部において一画素内のセル数が不足する画素を対象として、不足のセルに関する信号値を補完する補完処理部をさらに備え、前記補完処理部は、所定値を用いて、前記不足のセルに関する信号値を補完することを特徴とするものである。
【００２０】
第６の態様に係る画像処理装置によれば、演算を行わず、所定値を用いて補完を行うことにより、処理負荷の軽減を図ることができる。
【００２１】
本発明の第７の態様に係る画像処理装置は、第１〜第６のいずれか一つの態様に係る画像処理装置において特に、前記色変換部からは、画素の規定に関する情報と、画素内における各色のセルの位置に関する情報とがヘッダ部に含まれた、第２の色空間の信号が出力されることを特徴とするものである。
【００２２】
第７の態様に係る画像処理装置によれば、画素の規定に関する情報と、画素内における各色のセルの位置に関する情報とが、第２の色空間の信号のヘッダ部に含まれている。従って、第２の色空間の信号を第１の色空間の信号に逆変換する色逆変換部が、これらの情報を参照することによって、原画像を適切に再現することが可能となる。
【発明の効果】
【００２３】
本発明によれば、回路の変更を最小限に抑えつつ、ハニカム配列の撮像素子によって取得されたＲＡＷデータに対応可能な画像処理装置を得ることができる。
【発明を実施するための最良の形態】
【００２４】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、異なる図面において同一の符号を付した要素は、同一又は相応する要素を示すものとする。以下では、本発明に係る画像処理装置をＨＤ Ｐｈｏｔｏにおけるエンコーダ及びデコーダに適用する例について説明する。
【００２５】
＜第１の実施の形態＞
図１は、本発明の第１の実施の形態に係る画像処理装置１の構成を示すブロック図である。画像処理装置１は、エンコーダ２とデコーダ３とを備えて構成されている。エンコーダ２は、色変換部２１、プレフィルタ２２、周波数変換部２３、量子化部２４、予測部２５、及び符号化部２６を有している。デコーダ３は、色逆変換部３１、ポストフィルタ３２、周波数逆変換部３３、逆量子化部３４、逆予測部３５、及び復号化部３６を有している。
【００２６】
符号化部２６及び復号化部３６は、メモリ４に接続されている。色変換部２１はバッファメモリ１１に接続されており、バッファメモリ１１は撮像素子１０に接続されている。但し、バッファメモリ１１とメモリ４とを兼用しても良い。撮像素子１０は、スーパーＣＣＤハニカム（登録商標）等の、ハニカム配列のカラーフィルタが配置された撮像素子である。撮像素子１０によって取得されたＲＡＷ画像の信号Ｓ１は、バッファメモリ１１に入力され、一時的に保存される。
【００２７】
図２は、ハニカム配列の撮像素子１０によって取得されたＲＡＷ画像を示す図である。図２には、ＲＡＷ画像の左上隅のみを抜き出して示している。図２に示した例では、偶数ラインにおいては、赤色（Ｒ）のカラーフィルタが配置された赤色セルと、青色（Ｂ）のカラーフィルタが配置された青色セルとが、交互に配列されている。また、奇数ラインにおいては、緑色（Ｇ）のカラーフィルタが配置された緑色セルが配列されている。奇数ラインは、偶数ラインに対して、セルピッチの１／２だけずれて配置されている。
【００２８】
本実施の形態に係る画像処理装置１では、ハニカム配列における各緑色セル（Ｇ）を、Ｂａｙｅｒ配列における、赤色セルに隣接する緑色セル（Ｇｒ）と、青色セルに隣接する緑色セル（Ｇｂ）との一方に対応付ける。
【００２９】
図３は、図２と同様のＲＡＷ画像を示す図である。左上の赤色セル（Ｒ）と右下の赤色セル（Ｒ）とによって挟まれる緑色セル（Ｇ）は、Ｂａｙｅｒ配列における緑色セル（Ｇｒ）に対応付けられており、左上の青色セル（Ｂ）と右下の青色セル（Ｂ）とによって挟まれる緑色セル（Ｇ）は、Ｂａｙｅｒ配列における緑色セル（Ｇｂ）に対応付けられている。これにより、ＲＧｒＧｂＢ色空間で表されたＲＡＷ画像が得られる。なお、上記とは逆に、右上の赤色セル（Ｒ）と左下の赤色セル（Ｒ）とによって挟まれる緑色セル（Ｇ）を緑色セル（Ｇｒ）に対応付け、右上の青色セル（Ｂ）と左下の青色セル（Ｂ）とによって挟まれる緑色セル（Ｇ）を緑色セル（Ｇｂ）に対応付けても良い。
【００３０】
図１を参照して、色変換部２１には、バッファメモリ１１から読み出された信号Ｓ１が入力される。色変換部２１は、ＲＧｒＧｂＢ色空間の信号Ｓ１を、ＹＵＶＫ色空間の画素信号Ｓ２に変換して出力する。色変換部２１における色変換処理の詳細については後述する。
【００３１】
プレフィルタ２２には、色変換部２１から画素信号Ｓ２が入力される。プレフィルタ２２は、画素信号Ｓ２に対して所定のプレフィルタ処理を選択的に実行し、画素信号Ｓ３を出力する。
【００３２】
周波数変換部２３には、プレフィルタ２２から画素信号Ｓ３が入力される。周波数変換部２３は、画素信号Ｓ３に対して所定の周波数変換処理（ＰＣＴ：HD Photo Core Transform）を実行し、周波数変換処理後の周波数データＳ４を出力する。ＨＤ Ｐｈｏｔｏでは、周波数データＳ４に、ハイパス成分、ローパス成分、及び直流成分が含まれる。
【００３３】
量子化部２４には、周波数変換部２３から周波数データＳ４が入力される。量子化部２４は、周波数データＳ４を量子化し、量子化後の周波数データＳ５を出力する。
【００３４】
予測部２５には、量子化部２４から周波数データＳ５が入力される。予測部２５は、量子化部２４から入力された周波数データＳ５の値と、過去に処理した特定の周波数データの値（予測値）との差分値を求め、周波数差分データＳ６として出力する。
【００３５】
符号化部２６には、予測部２５から周波数差分データＳ６が入力される。符号化部２６は、周波数差分データＳ６に対してエントロピー符号化を実行し、符号化データＳ７を出力する。符号化部２６から出力された符号化データＳ７は、メモリ４に記憶される。なお、厳密には、ＨＤ Ｐｈｏｔｏにおいては、周波数差分データＳ６のうち、上位ビットに相当するＮｏｒｍａｌ Ｂｉｔに対してのみエントロピー符号化が実行され、下位ビットに相当するＦｌｅｘ Ｂｉｔに関しては、エントロピー符号化が実行されることなく、メモリ４に記憶される。
【００３６】
復号化部３６には、メモリ４から符号化データＳ７が入力される。復号化部３６は、符号化データＳ７に対してエントロピー復号化を実行し、上記の周波数差分データＳ６に相当する周波数差分データＳ８を出力する。
【００３７】
逆予測部３５には、復号化部３６から周波数差分データＳ８が入力される。逆予測部３５は、周波数差分データＳ８に予測値を加算することにより、上記の周波数データＳ５に相当する周波数データＳ９を出力する。
【００３８】
逆量子化部３４には、逆予測部３５から周波数データＳ９が入力される。逆量子化部３４は、周波数データＳ９を逆量子化し、上記の周波数データＳ４に相当する周波数データＳ１０を出力する。
【００３９】
周波数逆変換部３３には、逆量子化部３４から周波数データＳ１０が入力される。周波数逆変換部３３は、周波数データＳ１０に対して、上記の周波数変換処理に対応する周波数逆変換処理を実行し、上記の画素信号Ｓ３に相当する画素信号Ｓ１１を出力する。
【００４０】
ポストフィルタ３２には、周波数逆変換部３３から、画素信号Ｓ１１が入力される。ポストフィルタ３２は、画素信号Ｓ１１に対して、上記のプレフィルタ処理に対応するポストフィルタ処理を選択的に実行し、上記の画素信号Ｓ２に相当する画素信号Ｓ１２を出力する。
【００４１】
色逆変換部３１には、ポストフィルタ３２から画素信号Ｓ１２が入力される。色逆変換部３１は、ＹＵＶＫ色空間の画素信号Ｓ１２を、ＲＧｒＧｂＢ色空間の画素信号Ｓ１３に変換し、外部の表示装置等に向けて出力する。
【００４２】
以下、色変換部２１における色変換処理について説明する。
【００４３】
まず、色変換部２１は、図３に示したＲＡＷ画像内に、色変換処理の処理単位となる画素を規定する。一つの画素内には、赤色セル（Ｒ）、青色セル（Ｂ）、緑色セル（Ｇｒ）、及び緑色セル（Ｇｂ）を、それぞれ一つずつ含める。
【００４４】
図４は、画素の規定の第１の例を示す図である。各画素には、同一のセル行に属する赤色セル（Ｒ）及び青色セル（Ｂ）と、その下のセル行に属する緑色セル（Ｇｒ）及び緑色セル（Ｇｂ）とが含まれている。その結果、偶数の画素行Ｙ０，Ｙ２に属する画素Ｇ００〜Ｇ０２，Ｇ２０〜Ｇ２２においては、左上が赤色セル（Ｒ）、右上が青色セル（Ｂ）、左下が緑色セル（Ｇｒ）、右下が緑色セル（Ｇｂ）となり、奇数の画素行Ｙ１，Ｙ３に属する画素Ｇ１０〜Ｇ１２，Ｇ３０〜Ｇ３２においては、左上が青色セル（Ｂ）、右上が赤色セル（Ｒ）、左下が緑色セル（Ｇｂ）、右下が緑色セル（Ｇｒ）となる。
【００４５】
色変換部２１は、左上の画素から順に、画素単位で色変換処理を実行する。つまり、画素Ｇ００→Ｇ０１→Ｇ０２→・・・→Ｇ１０→Ｇ１１→Ｇ１２→・・・→Ｇ２０→Ｇ２１→Ｇ２２→・・・→Ｇ３０→Ｇ３１→Ｇ３２→・・・の順に、色変換処理を実行する。
【００４６】
図５は、色変換部２１の構成を概略的に示す図である。色変換部２１は、４個のレジスタＦ１〜Ｆ４と、これらのレジスタＦ１〜Ｆ４に接続された演算部１３とを有している。４個のレジスタは、左上がレジスタＦ１、右上がレジスタＦ２、左下がレジスタＦ３、右下がレジスタＦ４である。
【００４７】
左上のレジスタＦ１には、画素内の左上のセルに関する信号値が入力され、右上のレジスタＦ２には、画素内の右上のセルに関する信号値が入力され、左下のレジスタＦ３には、画素内の左下のセルに関する信号値が入力され、右下のレジスタＦ４には、画素内の右下のセルに関する信号値が入力される。
【００４８】
従って、偶数の画素行Ｙ０，Ｙ２に属する画素Ｇ００〜Ｇ０２，Ｇ２０〜Ｇ２２を処理する場合には、レジスタＦ１には赤色セル（Ｒ）の信号値が入力され、レジスタＦ２には青色セル（Ｂ）の信号値が入力され、レジスタＦ３には緑色セル（Ｇｒ）の信号値が入力され、レジスタＦ４には緑色セル（Ｇｂ）の信号値が入力される。また、奇数の画素行Ｙ１，Ｙ３に属する画素Ｇ１０〜Ｇ１２，Ｇ３０〜Ｇ３２を処理する場合には、レジスタＦ１には青色セル（Ｂ）の信号値が入力され、レジスタＦ２には赤色セル（Ｒ）の信号値が入力され、レジスタＦ３には緑色セル（Ｇｂ）の信号値が入力され、レジスタＦ４には緑色セル（Ｇｒ）の信号値が入力される。
【００４９】
図６は、演算部１３が演算によって色変換処理を実行するための演算式を示す図である。図６に示すように、演算式は、パラメータＰ１〜Ｐ４を用いて記述されている。パラメータＰ１〜Ｐ４は、図５に示したレジスタＦ１〜Ｆ４に設定される。色変換部２１は、図６に示した演算式に基づいて、Ｋ信号、Ｖ信号、Ｕ信号、及びＹ信号の各画素値を算出する。なお、図６に示した変換式において、“floor（ｘ）”は、ｘ以下の最大の整数を意味し、“ceiling（ｘ）”は、ｘ以上の最小の整数を意味する。また、“α”は、画素値の階調数の１／２を意味する。例えば、画素値が８ｂｉｔで表される場合は、２５６階調であるため、“α”は１２８となる。
【００５０】
図７は、レジスタＦ１〜Ｆ４へのパラメータＰ１〜Ｐ４の設定例を示す図である。色変換部２１は、偶数の画素行Ｙ０，Ｙ２に属する画素Ｇ００〜Ｇ０２，Ｇ２０〜Ｇ２２を処理する場合には、図７の（Ａ）に示すように、レジスタＦ１，Ｆ２，Ｆ３，Ｆ４に、それぞれパラメータＰ４，Ｐ３，Ｐ１，Ｐ２を設定する。また、色変換部２１は、奇数の画素行Ｙ１，Ｙ３に属する画素Ｇ１０〜Ｇ１２，Ｇ３０〜Ｇ３２を処理する場合には、図７の（Ｂ）に示すように、レジスタＦ１，Ｆ２，Ｆ３，Ｆ４に、それぞれパラメータＰ３，Ｐ４，Ｐ２，Ｐ１を設定する。
【００５１】
図８は、ＨＤ Ｐｈｏｔｏにおける、ＲＧｒＧｂＢ色空間からＹＵＶＫ色空間への変換式を示す図である。レジスタＦ１〜Ｆ４へのパラメータＰ１〜Ｐ４の設定を図７の（Ａ）及び（Ｂ）のように規定することにより、全ての画素Ｇ００〜Ｇ０２，Ｇ１０〜Ｇ１２，Ｇ２０〜Ｇ２２，Ｇ３０〜Ｇ３２に関して、図８に示した変換式が実現される。
【００５２】
図９は、画素の規定の第２の例を示す図である。各画素には、同一のセル列に属する赤色セル（Ｒ）及び青色セル（Ｂ）と、その隣のセル列に属する緑色セル（Ｇｒ）及び緑色セル（Ｇｂ）とが含まれている。その結果、偶数の画素列Ｘ０，Ｘ２，Ｘ４に属する画素Ｇ００，Ｇ１０，Ｇ０２，Ｇ１２，Ｇ０４，Ｇ１４においては、左上が赤色セル（Ｒ）、右上が緑色セル（Ｇｒ）、左下が青色セル（Ｂ）、右下が緑色セル（Ｇｂ）となり、奇数の画素列Ｘ１，Ｘ３，Ｘ５に属する画素Ｇ０１，Ｇ１１，Ｇ０３，Ｇ１３，Ｇ０５，Ｇ１５においては、左上が青色セル（Ｂ）、右上が緑色セル（Ｇｂ）、左下が赤色セル（Ｒ）、右下が緑色セル（Ｇｒ）となる。
【００５３】
色変換部２１は、左上の画素から順に、画素単位で色変換処理を実行する。つまり、画素Ｇ００→Ｇ０１→Ｇ０２→Ｇ０３→Ｇ０４→Ｇ０５→・・・→Ｇ１０→Ｇ１１→Ｇ１２→Ｇ１３→Ｇ１４→Ｇ１５→・・・の順に、色変換処理を実行する。
【００５４】
図１０は、レジスタＦ１〜Ｆ４へのパラメータＰ１〜Ｐ４の設定例を示す図である。色変換部２１は、偶数の画素列Ｘ０，Ｘ２，Ｘ４に属する画素Ｇ００，Ｇ１０，Ｇ０２，Ｇ１２，Ｇ０４，Ｇ１４を処理する場合には、図１０の（Ａ）に示すように、レジスタＦ１，Ｆ２，Ｆ３，Ｆ４に、それぞれパラメータＰ４，Ｐ１，Ｐ３，Ｐ２を設定する。また、色変換部２１は、奇数の画素列Ｘ１，Ｘ３，Ｘ５に属する画素Ｇ０１，Ｇ１１，Ｇ０３，Ｇ１３，Ｇ０５，Ｇ１５を処理する場合には、図１０の（Ｂ）に示すように、レジスタＦ１，Ｆ２，Ｆ３，Ｆ４に、それぞれパラメータＰ３，Ｐ２，Ｐ４，Ｐ１を設定する。レジスタＦ１〜Ｆ４へのパラメータＰ１〜Ｐ４の設定を図１０の（Ａ）及び（Ｂ）のように規定することにより、全ての画素Ｇ００〜Ｇ０５，Ｇ１０〜Ｇ１５に関して、図８に示した変換式が実現される。
【００５５】
本実施の形態において、色変換部２１は、ハニカム配列における複数色のセルを含む画素を、ＲＡＷ画像内に規定して、画素単位で色変換処理を実行する。ここで、色変換部２１の処理対象である画素には、画素内における各色のセルの配置が、第１の配置パターンである第１の画素（例えば図４の画素Ｇ００）と、第１の配置パターンとは異なる第２の配置パターンである第２の画素（例えば図４の画素Ｇ１０）とが含まれる。また、図６に示したように、演算式においては、各セルの信号値をパラメータＰ１〜Ｐ４として設定可能である。そして、色変換部２１は、第１の画素を処理する場合には、第１のパラメータ（例えば図７の（Ａ））を設定する。一方、第２の画素を処理する場合には、演算式内における各色のセルの信号値の位置が、第１の画素に関するそれと等しくなるような、第２のパラメータ（例えば図７の（Ｂ））を設定する。
【００５６】
従って、本実施の形態によれば、演算式におけるパラメータＰ１〜Ｐ４の設定を変更するという簡易な手法によって、第１及び第２の画素の双方に関して、画素内における各色のセルの配置パターンの相違を考慮した適切な色変換処理を実行することができる。その結果、符号化効率の劣化が生じる可能性を回避することができる。
【００５７】
＜第２の実施の形態＞
図１１は、本発明の第２の実施の形態に係る画像処理装置１の構成の一部を示すブロック図である。バッファメモリ１１と色変換部２１との間に、並び替え処理部１５が接続されている。並び替え処理部１５は、バッファメモリ１１から読み出した信号Ｓ１を選択的に並び替えて、信号Ｓ１ａとして色変換部２１に入力する。
【００５８】
図１２は、色変換部２１が有するレジスタＦ１〜Ｆ４の第１の例を示す図である。この例では、レジスタＦ１には赤色セル（Ｒ）の信号値が入力され、レジスタＦ２には青色セル（Ｂ）の信号値が入力され、レジスタＦ３には緑色セル（Ｇｒ）の信号値が入力され、レジスタＦ４には緑色セル（Ｇｂ）の信号値が入力される。色変換部２１が有する演算部１３（図１２には示さない）は、図８に示した演算式に基づいて、ＲＧｒＧｂＢ色空間からＹＵＶＫ色空間への色変換処理を実行する。
【００５９】
図４に示した例では、偶数の画素行Ｙ０，Ｙ２に属する画素Ｇ００〜Ｇ０２，Ｇ２０〜Ｇ２２においては、左上が赤色セル（Ｒ）、右上が青色セル（Ｂ）、左下が緑色セル（Ｇｒ）、右下が緑色セル（Ｇｂ）となる。従って、画素内における各色の配置パターンと、図１２に示したレジスタＦ１〜Ｆ４における各色の配置パターンとが一致するため、並び替え処理部１５は、並び替え処理を実行することなく、各色のセルの信号値を、対応するレジスタＦ１〜Ｆ４に入力する。
【００６０】
一方、奇数の画素行Ｙ１，Ｙ３に属する画素Ｇ１０〜Ｇ１２，Ｇ３０〜Ｇ３２においては、左上が青色セル（Ｂ）、右上が赤色セル（Ｒ）、左下が緑色セル（Ｇｂ）、右下が緑色セル（Ｇｒ）となる。従って、図１２に示したレジスタＦ１〜Ｆ４における各色の配置パターンは、画素内における各色の配置パターンに対して左右が逆転している。そのため、並び替え処理部１５は、画素内における各色のセルの信号値を左右反転した後に、各色のセルの信号値を、対応するレジスタＦ１〜Ｆ４に入力する。
【００６１】
図１３は、色変換部２１が有するレジスタＦ１〜Ｆ４の第２の例を示す図である。この例では、レジスタＦ１には赤色セル（Ｒ）の信号値が入力され、レジスタＦ２には緑色セル（Ｇｒ）の信号値が入力され、レジスタＦ３には青色セル（Ｂ）の信号値が入力され、レジスタＦ４には緑色セル（Ｇｂ）の信号値が入力される。色変換部２１が有する演算部１３（図１２には示さない）は、図８に示した演算式に基づいて、ＲＧｒＧｂＢ色空間からＹＵＶＫ色空間への色変換処理を実行する。
【００６２】
図９に示した例では、偶数の画素列Ｘ０，Ｘ２，Ｘ４に属する画素Ｇ００，Ｇ１０，Ｇ０２，Ｇ１２，Ｇ０４，Ｇ１４においては、左上が赤色セル（Ｒ）、右上が緑色セル（Ｇｒ）、左下が青色セル（Ｂ）、右下が緑色セル（Ｇｂ）となる。従って、画素内における各色の配置パターンと、図１３に示したレジスタＦ１〜Ｆ４における各色の配置パターンとが一致するため、並び替え処理部１５は、並び替え処理を実行することなく、各色のセルの信号値を、対応するレジスタＦ１〜Ｆ４に入力する。
【００６３】
一方、奇数の画素列Ｘ１，Ｘ３，Ｘ５に属する画素Ｇ０１，Ｇ１１，Ｇ０３，Ｇ１３，Ｇ０５，Ｇ１５においては、左上が青色セル（Ｂ）、右上が緑色セル（Ｇｂ）、左下が赤色セル（Ｒ）、右下が緑色セル（Ｇｒ）となる。従って、図１３に示したレジスタＦ１〜Ｆ４における各色の配置パターンは、画素内における各色の配置パターンに対して上下が逆転している。そのため、並び替え処理部１５は、画素内における各色のセルの信号値を上下反転した後に、各色のセルの信号値を、対応するレジスタＦ１〜Ｆ４に入力する。
【００６４】
図１４は、第２の実施の形態の変形例を示す図である。図１４に示すように、並び替え処理部１５は、撮像素子１０とバッファメモリ１１との間に接続されていても良い。
【００６５】
本実施の形態に係る画像処理装置１は、色変換部２１よりも前段に配置された並び替え処理部１５を備える。また、色変換部２１は、ハニカム配列における複数色のセルを含む画素を、ＲＡＷ画像内に規定して、画素単位で色変換処理を実行する。ここで、色変換部２１の処理対象である画素には、画素内における各色のセルの配置が、第１の配置パターンである第１の画素（例えば図４の画素Ｇ００）と、第１の配置パターンとは異なる第２の配置パターンである第２の画素（例えば図４の画素Ｇ１０）とが含まる。そして、並び替え処理部１５は、色変換部２１の処理対象が第１の画素である場合には、並び替え処理を実行せず、色変換部２１の処理対象が第２の画素である場合には、画素内における各色のセルの信号値の位置が第１の画素に関するそれと等しくなるように、並び替え処理を実行する。
【００６６】
従って、本実施の形態によれば、画素内における各色のセルの信号値の位置を並び替えるという簡易な手法によって、第１及び第２の画素の双方に関して、画素内における各色のセルの配置パターンの相違を考慮した適切な色変換処理を実行することができる。その結果、符号化効率の劣化が生じる可能性を回避することができる。
【００６７】
＜第３の実施の形態＞
図１５は、本発明の第３の実施の形態に係る画像処理装置１の構成の一部を示すブロック図である。色変換部２１の前段に、選択部４０が接続されている。また、色変換部２１は、変換処理部４１Ａ，４１Ｂを有している。選択部４０は、変換処理部４１Ａ，４１Ｂの一方を選択して、信号Ｓ１を入力する。
【００６８】
図１６は、変換処理部４１Ａの構成の第１の例を概略的に示す図である。図１６の（Ａ）に示すように、変換処理部４１Ａは、４個のレジスタＦ１〜Ｆ４と、これらのレジスタＦ１〜Ｆ４に接続された演算部１３Ａとを有している。図１６の（Ｂ）には、演算部１３Ａが演算によって色変換処理を実行するための演算式を示している。例えば、Ｋ信号の値は、レジスタＦ３の値Ｑ３からレジスタＦ４の値Ｑ４を減算することによって求まり、Ｖ信号の値は、レジスタＦ２の値Ｑ２からレジスタＦ１の値Ｑ１を減算することによって求まる。
【００６９】
図１７は、変換処理部４１Ｂの構成の第１の例を概略的に示す図である。図１７の（Ａ）に示すように、変換処理部４１Ｂは、４個のレジスタＦ１〜Ｆ４と、これらのレジスタＦ１〜Ｆ４に接続された演算部１３Ｂとを有している。図１７の（Ｂ）には、演算部１３Ｂが演算によって色変換処理を実行するための演算式を示している。例えば、Ｋ信号の値は、レジスタＦ４の値Ｑ４からレジスタＦ３の値Ｑ３を減算することによって求まり、Ｖ信号の値は、レジスタＦ１の値Ｑ１からレジスタＦ２の値Ｑ２を減算することによって求まる。
【００７０】
図４に示した例において、偶数の画素行Ｙ０，Ｙ２に属する画素Ｇ００〜Ｇ０２，Ｇ２０〜Ｇ２２を処理する場合には、選択部４０は変換処理部４１Ａを選択する。これにより、レジスタＦ１の値Ｑ１は赤色セル（Ｒ）の信号値となり、レジスタＦ２の値Ｑ２は青色セル（Ｂ）の信号値となり、レジスタＦ３の値Ｑ３は緑色セル（Ｇｒ）の信号値となり、レジスタＦ４の値Ｑ４は緑色セル（Ｇｂ）の信号値となる。その結果、図１６の（Ｂ）に示した演算式は、図８に示した演算式に等価的に等しくなる。
【００７１】
一方、奇数の画素行Ｙ１，Ｙ３に属する画素Ｇ１０〜Ｇ１２，Ｇ３０〜Ｇ３２を処理する場合には、選択部４０は変換処理部４１Ｂを選択する。これにより、レジスタＦ１の値Ｑ１は青色セル（Ｂ）の信号値となり、レジスタＦ２の値Ｑ２は赤色セル（Ｒ）の信号値となり、レジスタＦ３の値Ｑ３は緑色セル（Ｇｂ）の信号値となり、レジスタＦ４の値Ｑ４は緑色セル（Ｇｒ）の信号値となる。その結果、図１７の（Ｂ）に示した演算式は、図８に示した演算式に等価的に等しくなる。
【００７２】
図１８は、変換処理部４１Ａの構成の第２の例を概略的に示す図である。図１８の（Ａ）に示すように、変換処理部４１Ａは、４個のレジスタＦ１〜Ｆ４と、これらのレジスタＦ１〜Ｆ４に接続された演算部１３Ａとを有している。図１８の（Ｂ）には、演算部１３Ａが演算によって色変換処理を実行するための演算式を示している。例えば、Ｋ信号の値は、レジスタＦ２の値Ｑ２からレジスタＦ４の値Ｑ４を減算することによって求まり、Ｖ信号の値は、レジスタＦ３の値Ｑ３からレジスタＦ１の値Ｑ１を減算することによって求まる。
【００７３】
図１９は、変換処理部４１Ｂの構成の第２の例を概略的に示す図である。図１９の（Ａ）に示すように、変換処理部４１Ｂは、４個のレジスタＦ１〜Ｆ４と、これらのレジスタＦ１〜Ｆ４に接続された演算部１３Ｂとを有している。図１９の（Ｂ）には、演算部１３Ｂが演算によって色変換処理を実行するための演算式を示している。例えば、Ｋ信号の値は、レジスタＦ４の値Ｑ４からレジスタＦ２の値Ｑ２を減算することによって求まり、Ｖ信号の値は、レジスタＦ１の値Ｑ１からレジスタＦ３の値Ｑ３を減算することによって求まる。
【００７４】
図９に示した例において、偶数の画素列Ｘ０，Ｘ２，Ｘ４に属する画素Ｇ００，Ｇ１０，Ｇ０２，Ｇ１２，Ｇ０４，Ｇ１４を処理する場合には、選択部４０は変換処理部４１Ａを選択する。これにより、レジスタＦ１の値Ｑ１は赤色セル（Ｒ）の信号値となり、レジスタＦ２の値Ｑ２は緑色セル（Ｇｒ）の信号値となり、レジスタＦ３の値Ｑ３は青色セル（Ｂ）の信号値となり、レジスタＦ４の値Ｑ４は緑色セル（Ｇｂ）の信号値となる。その結果、図１８の（Ｂ）に示した演算式は、図８に示した演算式に等価的に等しくなる。
【００７５】
一方、奇数の画素列Ｘ１，Ｘ３，Ｘ５に属する画素Ｇ０１，Ｇ１１，Ｇ０３，Ｇ１３，Ｇ０５，Ｇ１５を処理する場合には、選択部４０は変換処理部４１Ｂを選択する。これにより、レジスタＦ１の値Ｑ１は青色セル（Ｂ）の信号値となり、レジスタＦ２の値Ｑ２は緑色セル（Ｇｂ）の信号値となり、レジスタＦ３の値Ｑ３は赤色セル（Ｒ）の信号値となり、レジスタＦ４の値Ｑ４は緑色セル（Ｇｒ）の信号値となる。その結果、図１９の（Ｂ）に示した演算式は、図８に示した演算式に等価的に等しくなる。
【００７６】
本実施の形態に係る画像処理装置１は、色変換部２１の前段に配置された選択部４０を備える。また、色変換部２１は、ハニカム配列における複数色のセルを含む画素を、ＲＡＷ画像内に規定して、画素単位で色変換処理を実行する。ここで、色変換部２１の処理対象である画素には、画素内における各色のセルの配置が、第１の配置パターンである第１の画素（例えば図４の画素Ｇ００）と、第１の配置パターンとは異なる第２の配置パターンである第２の画素（例えば図４の画素Ｇ１０）とが含まれる。また、色変換部２１は、第１の演算式（例えば図１６の（Ｂ））に基づいて色変換処理を実行する変換処理部４１Ａと、第２の演算式（例えば図１７の（Ｂ））に基づいて色変換処理を実行する変換処理部４１Ｂとを有している。ここで、第２の演算式は、各色のセルの信号値の位置が、等価的に第１の演算式におけるそれと等しくなるような演算式である。そして、選択部４０は、色変換部２１の処理対象が第１の画素である場合には、変換処理部４１Ａを選択し、色変換部２１の処理対象が第２の画素である場合には、変換処理部４１Ｂを選択する。
【００７７】
従って、本実施の形態によれば、色変換部２１内に変換処理部４１Ａ及び変換処理部４１Ｂを設け、処理対象に応じて一方を選択するという簡易な手法によって、第１及び第２の画素の双方に関して、画素内における各色のセルの配置パターンの相違を考慮した適切な色変換処理を実行することができる。その結果、符号化効率の劣化が生じる可能性を回避することができる。
【００７８】
なお、変換処理部４１Ａと変換処理部４１Ｂとは、一部の要素（例えば演算部１３Ａ，１３Ｂ）を共有する構成とすることもできる。
【００７９】
＜第４の実施の形態＞
図２０は、画素の規定の第１の例を示す図である。各画素には、あるセル行に属する青色セル（Ｂ）と、その下のセル行に属する緑色セル（Ｇｒ）及び緑色セル（Ｇｂ）と、その下のセル行に属する赤色セル（Ｒ）とが含まれている。その結果、各画素において、上が青色セル（Ｂ）、左が緑色セル（Ｇｒ）、右が緑色セル（Ｇｂ）、下が赤色セル（Ｒ）となる。
【００８０】
図２１は、本発明の第４の実施の形態に係る画像処理装置１の構成の一部を示すブロック図である。バッファメモリ１１と色変換部２１との間に、補完処理部５０が接続されている。補完処理部５０は、画素平面の周縁部において一画素内のセル数が不足する画素を対象として、不足のセルに関する信号値を補完して、補完後の信号Ｓ１ｂを色変換部２１に入力する。
【００８１】
補完処理の第１の例として、補完処理部５０は、不足のセルの近傍に位置するセルに関する信号値を用いた演算によって、不足のセルに関する信号値を補完する。
【００８２】
図２０を参照して、例えば、画素Ｇ２０に関しては、緑色セル（Ｇｒ）に関する信号値が不足している。そこで、補完処理部５０は、画素Ｇ２０内の緑色セル（Ｇｂ）に関する信号値を、画素Ｇ２０内の緑色セル（Ｇｒ）に関する信号値として補完する。
【００８３】
また、例えば、画素Ｇ０１に関しては、青色セル（Ｂ）に関する信号値、緑色セル（Ｇｒ）に関する信号値、及び緑色セル（Ｇｂ）に関する信号値が不足している。そこで、補完処理部５０は、画素Ｇ１０内の青色セル（Ｂ）に関する信号値と、画素Ｇ１１内の青色セル（Ｂ）に関する信号値との平均値を算出し、その値を、画素Ｇ０１内の青色セル（Ｂ）に関する信号値として補完する。また、補完処理部５０は、画素Ｇ１０内の緑色セル（Ｇｂ）に関する信号値を、画素Ｇ０１内の緑色セル（Ｇｒ）に関する信号値として補完し、画素Ｇ１１内の緑色セル（Ｇｒ）に関する信号値を、画素Ｇ０１内の緑色セル（Ｇｂ）に関する信号値として補完する。
【００８４】
また、例えば、画素Ｇ００に関しては、青色セル（Ｂ）に関する信号値、緑色セル（Ｇｒ）に関する信号値、及び緑色セル（Ｇｂ）に関する信号値が不足している。そこで、補完処理部５０は、画素Ｇ１０内の青色セル（Ｂ）に関する信号値を、画素Ｇ００内の青色セル（Ｂ）に関する信号値として補完する。また、補完処理部５０は、画素Ｇ１０内の緑色セル（Ｇｒ）に関する信号値を、画素Ｇ００内の緑色セル（Ｇｒ）及び緑色セル（Ｇｂ）に関する各信号値として補完する。
【００８５】
補完処理の第２の例として、補完処理部５０は、所定値を用いて、不足のセルに関する信号値を補完する。
【００８６】
例えば、信号値が２５６階調で表される場合には、中間の第１２８階調の値を、全ての不足セルの信号値として補完する。
【００８７】
また、例えば、各画素内の赤色セル（Ｒ）の信号値を、その画素内の全ての不足セルの信号値として補完する。
【００８８】
図２２は、画素の規定の第２の例を示す図である。各画素には、あるセル行に属する赤色セル（Ｒ）及び青色セル（Ｂ）と、その下のセル行に属する緑色セル（Ｇｒ）及び緑色セル（Ｇｂ）とが含まれている。その結果、各画素において、左上が赤色セル（Ｒ）、右上が青色セル（Ｂ）、左下が緑色セル（Ｇｒ）、右下が緑色セル（Ｇｂ）となる。不足セルの補完については、上記と同様である。
【００８９】
図２３は、画素の規定の第３の例を示す図である。各画素には、あるセル行に属する赤色セル（Ｒ）と、その下のセル行に属する緑色セル（Ｇｒ）と、その下のセル行に属する青色セル（Ｂ）と、その下のセル行に属する緑色セル（Ｇｂ）とが含まれている。その結果、各画素において、左上が赤色セル（Ｒ）、右上が緑色セル（Ｇｒ）、左下が青色セル（Ｂ）、右下が緑色セル（Ｇｂ）となる。不足セルの補完については、上記と同様である。
【００９０】
本実施の形態に係る色変換部２１は、画素内における各色のセルの配置が単一の配置パターンとなるように、ＲＡＷ画像内に画素を規定する。従って、ＲＡＷ画像内の全ての画素において、各色のセルの配置パターンが同一となる。従って、第１の実施の形態のようなパラメータの設定変更や、第２の実施の形態のような並び替え処理や、第３の実施の形態のような変換処理部４１Ａ，４１Ｂの切り換え処理を行うことなく、画素内における各色のセルの配置パターンの相違を考慮した適切な色変換処理を、全ての画素に関して実行することができる。その結果、符号化効率の劣化が生じる可能性を回避することができる。
【００９１】
また、補完処理の第１の例によれば、演算によって高精度の補完を行うことにより、圧縮効率を上げることができる。
【００９２】
また、補完処理の第２の例によれば、演算を行わず、所定値を用いて補完を行うことにより、処理負荷の軽減を図ることができる。
【００９３】
＜デコーダ３への情報の受け渡しについて＞
図２４は、色変換部２１から出力される画素信号Ｓ２を示す図である。画素信号Ｓ２は、ヘッダ部Ｈとペイロード部Ｐとを有している。ヘッダ部Ｈには、色変換部２１によるＲＡＷ画像内における画素の規定に関する情報、つまり、ＲＡＷ画像内にどのようなパターン（切り出し方）で画素を規定したのかについての情報が、データＤ１として記述されている。また、ヘッダ部Ｈには、画素内における各色のセルの位置に関する情報、つまり、画素内のどの信号値がどの色に対応するのかについての情報が、データＤ２として記述されている。図１を参照して、色変換部２１によって信号Ｓ２のヘッダ部Ｈに付加されたデータＤ１，Ｄ２は、信号Ｓ３〜Ｓ１２に付随して、色逆変換部３１に受け渡される。
【００９４】
図２５は、色逆変換部３１が色逆変換処理を実行するための演算式を示す図である。色逆変換部３１は、ポストフィルタ３２から入力されたＹＵＶＫ色空間の画素信号Ｓ１２を、図２５に示した演算式に基づいて、ＲＧｒＧｂＢ色空間の画素信号Ｓ１３に変換する。また、色逆変換部３１は、データＤ１，Ｄ２に基づいて、画素平面の適切な位置に適切な色を当てはめることにより、ハニカム配列のＲＡＷ画像を再現する。これにより、原画像を適切に再現することが可能となる。
【図面の簡単な説明】
【００９５】
【図１】本発明の第１の実施の形態に係る画像処理装置の構成を示すブロック図である。
【図２】ハニカム配列の撮像素子によって取得されたＲＡＷ画像を示す図である。
【図３】図２と同様のＲＡＷ画像を示す図である。
【図４】画素の規定の第１の例を示す図である。
【図５】色変換部の構成を概略的に示す図である。
【図６】演算部が演算によって色変換処理を実行するための演算式を示す図である。
【図７】レジスタへのパラメータの設定例を示す図である。
【図８】ＨＤ Ｐｈｏｔｏにおける、ＲＧｒＧｂＢ色空間からＹＵＶＫ色空間への変換式を示す図である。
【図９】画素の規定の第２の例を示す図である。
【図１０】レジスタへのパラメータの設定例を示す図である。
【図１１】本発明の第２の実施の形態に係る画像処理装置の構成の一部を示すブロック図である。
【図１２】色変換部が有するレジスタの第１の例を示す図である。
【図１３】色変換部が有するレジスタの第２の例を示す図である。
【図１４】第２の実施の形態の変形例を示す図である。
【図１５】本発明の第３の実施の形態に係る画像処理装置の構成の一部を示すブロック図である。
【図１６】変換処理部の構成の第１の例を概略的に示す図である。
【図１７】変換処理部の構成の第１の例を概略的に示す図である。
【図１８】変換処理部の構成の第２の例を概略的に示す図である。
【図１９】変換処理部の構成の第２の例を概略的に示す図である。
【図２０】画素の規定の第１の例を示す図である。
【図２１】本発明の第４の実施の形態に係る画像処理装置の構成の一部を示すブロック図である。
【図２２】画素の規定の第２の例を示す図である。
【図２３】画素の規定の第３の例を示す図である。
【図２４】色変換部から出力される画素信号を示す図である。
【図２５】色逆変換部が色逆変換処理を実行するための演算式を示す図である。
【符号の説明】
【００９６】
１ 画像処理装置
２ エンコーダ
３ デコーダ
１０ 撮像素子
１３，１３Ａ，１３Ｂ 演算部
１５ 並び替え処理部
２１ 色変換部
３１ 色逆変換部
４０ 選択部
４１Ａ，４１Ｂ 変換処理部
５０ 補完処理部
【技術分野】
【０００１】
本発明は、画像処理装置に関し、特に、ＨＤ Ｐｈｏｔｏにおけるエンコーダ及びデコーダに関する。
【背景技術】
【０００２】
近年、ＪＰＥＧよりも高画質で、ＪＰＥＧ２０００よりも回路構成及び演算処理が簡素化された静止画ファイルフォーマットとして、マイクロソフト社よりＨＤ Ｐｈｏｔｏが提案されている。
【０００３】
ＨＤ Ｐｈｏｔｏにおけるエンコーダは、所定の周波数変換処理（ＰＣＴ）を実行する周波数変換部と、ブロック歪みを軽減するための所定のプレフィルタ処理を実行するプレフィルタとを備えて構成されている。周波数変換部は、縦４画素×横４画素の画素ブロックを処理単位領域として、周波数変換処理を実行する。プレフィルタは、周波数変換部による複数の処理単位領域にオーバーラップする領域を処理単位領域として、周波数変換処理が実行される前にプレフィルタ処理を実行する。但し、プレフィルタ処理を実行するか否かは、Ｏｖｅｒｌａｐ係数の設定によって、任意に選択することができる。
【０００４】
また、ＨＤ Ｐｈｏｔｏにおけるデコーダは、上記の周波数変換処理に対応する周波数逆変換処理を実行する周波数逆変換部と、上記のプレフィルタ処理に対応するポストフィルタ処理を実行するポストフィルタとを備えて構成されている。周波数逆変換部は、縦４画素×横４画素の画素ブロックを処理単位領域として、周波数逆変換処理を実行する。ポストフィルタは、周波数逆変換部による複数の処理単位領域にオーバーラップする領域を処理単位領域として、周波数逆変換処理が実行された後にポストフィルタ処理を実行する。但し、上記と同様に、ポストフィルタ処理を実行するか否かは、Ｏｖｅｒｌａｐ係数の設定によって、任意に選択することができる。
【０００５】
なお、ＨＤ Ｐｈｏｔｏの詳細については、例えば下記非特許文献１に開示されている。また、ＨＤ Ｐｈｏｔｏに関連するＪＰＥＧ ＸＲの詳細については、例えば下記非特許文献２に開示されている。
【０００６】
【特許文献１】特開２００５−３３３２５１号公報
【非特許文献１】"HD Photo -Photographic Still Image File Format", [online], ２００６年１１月７日, Microsoft Corporation, [２００７年１０月１０日検索], インターネット＜URL: http://www.microsoft.com/whdc/xps/hdphotodpk.mspx＞
【非特許文献２】"Coding of Still Pictures -JBIG JPEG", [online], 19 December 2007, ISO/IEC JTC 1/SC 29/WG1 N 4392, [２００８年３月４日検索], インターネット＜URL: http://www.itscj.ipsj.or.jp/sc29/open/29view/29n9026t.doc＞
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ＨＤ Ｐｈｏｔｏにおけるエンコーダは、Ｂａｙｅｒ配列の撮像素子によって取得されたＲＡＷデータには対応しているが、スーパーＣＣＤハニカム（登録商標）のような、ハニカム配列の撮像素子によって取得されたＲＡＷデータには対応していない。
【０００８】
本発明はかかる事情に鑑みて成されたものであり、回路の変更を最小限に抑えつつ、ハニカム配列の撮像素子によって取得されたＲＡＷデータに対応可能な画像処理装置を得ることを目的とする。
【課題を解決するための手段】
【０００９】
本発明の第１の態様に係る画像処理装置は、ハニカム配列の撮像素子によって取得された第１の色空間の信号を、所定の演算式に基づいて第２の色空間の信号に変換する色変換部を備え、前記色変換部は、ハニカム配列における複数色のセルを含む画素を規定して、画素単位で色変換処理を実行し、前記色変換部の処理対象である画素には、画素内における各色のセルの配置が、第１の配置パターンである第１の画素と、第２の配置パターンである第２の画素とが含まれ、前記演算式においては、各セルの信号値をパラメータとして設定可能であり、前記色変換部は、前記第１の画素を処理する場合には、第１のパラメータを設定し、前記第２の画素を処理する場合には、前記演算式内における各色のセルの信号値の位置が、前記第１の画素に関するそれと等しくなるような、第２のパラメータを設定することを特徴とするものである。
【００１０】
第１の態様に係る画像処理装置によれば、演算式におけるパラメータの設定を変更するという簡易な手法によって、第１及び第２の画素の双方に関して、画素内における各色のセルの配置パターンの相違を考慮した適切な色変換処理を実行することができる。
【００１１】
本発明の第２の態様に係る画像処理装置は、ハニカム配列の撮像素子によって取得された第１の色空間の信号を第２の色空間の信号に変換する色変換部と、前記第１の色空間の信号が前記色変換部に入力される前に、前記第１の色空間の信号を並び替える、並び替え処理部とを備え、前記色変換部は、ハニカム配列における複数色のセルを含む画素を規定して、画素単位で色変換処理を実行し、前記色変換部の処理対象である画素には、画素内における各色のセルの配置が、第１の配置パターンである第１の画素と、第２の配置パターンである第２の画素とが含まれ、前記並び替え処理部は、前記色変換部の処理対象が前記第１の画素である場合には、並び替え処理を実行せず、前記色変換部の処理対象が前記第２の画素である場合には、画素内における各色のセルの信号値の位置が前記第１の画素に関するそれと等しくなるように、並び替え処理を実行することを特徴とするものである。
【００１２】
第２の態様に係る画像処理装置によれば、画素内における各色のセルの信号値の位置を並び替えるという簡易な手法によって、第１及び第２の画素の双方に関して、画素内における各色のセルの配置パターンの相違を考慮した適切な色変換処理を実行することができる。
【００１３】
本発明の第３の態様に係る画像処理装置は、ハニカム配列の撮像素子によって取得された第１の色空間の信号を第２の色空間の信号に変換する色変換部と、前記色変換部の前段に配置された選択部とを備え、前記色変換部は、ハニカム配列における複数色のセルを含む画素を規定して、画素単位で色変換処理を実行し、前記色変換部の処理対象である画素には、画素内における各色のセルの配置が、第１の配置パターンである第１の画素と、第２の配置パターンである第２の画素とが含まれ、前記色変換部は、第１の演算式に基づいて色変換処理を実行する第１の変換処理部と、各色のセルの信号値の位置が、等価的に前記第１の演算式におけるそれと等しくなるような、第２の演算式に基づいて、色変換処理を実行する第２の変換処理部とを有し、前記選択部は、前記色変換部の処理対象が前記第１の画素である場合には、前記第１の変換処理部を選択し、前記色変換部の処理対象が前記第２の画素である場合には、前記第２の変換処理部を選択することを特徴とするものである。
【００１４】
第３の態様に係る画像処理装置によれば、色変換部内に第１の変換処理部及び第２の変換処理部を設け、処理対象に応じて一方を選択するという簡易な手法によって、第１及び第２の画素の双方に関して、画素内における各色のセルの配置パターンの相違を考慮した適切な色変換処理を実行することができる。
【００１５】
本発明の第４の態様に係る画像処理装置は、ハニカム配列の撮像素子によって取得された第１の色空間の信号を第２の色空間の信号に変換する色変換部を備え、前記色変換部は、ハニカム配列における複数色のセルを含む画素を規定して、画素単位で色変換処理を実行し、前記色変換部は、画素内における各色のセルの配置が単一の配置パターンとなるように画素を規定することを特徴とするものである。
【００１６】
第４の態様に係る画像処理装置によれば、画素内における各色のセルの配置が単一の配置パターンとなるように画素を規定することにより、全ての画素において、各色のセルの配置パターンが同一となる。従って、パラメータの設定変更や、信号値の位置の並び替え等の処理を行うことなく、全ての画素に関して適切な色変換処理を実行することができる。
【００１７】
本発明の第５の態様に係る画像処理装置は、第４の態様に係る画像処理装置において特に、画素平面の周縁部において一画素内のセル数が不足する画素を対象として、不足のセルに関する信号値を補完する補完処理部をさらに備え、前記補完処理部は、前記不足のセルの近傍に位置するセルに関する信号値を用いた演算によって、前記不足のセルに関する信号値を補完することを特徴とするものである。
【００１８】
第５の態様に係る画像処理装置によれば、演算によって高精度の補完を行うことにより、圧縮効率を上げることができる。
【００１９】
本発明の第６の態様に係る画像処理装置は、第４の態様に係る画像処理装置において特に、画素平面の周縁部において一画素内のセル数が不足する画素を対象として、不足のセルに関する信号値を補完する補完処理部をさらに備え、前記補完処理部は、所定値を用いて、前記不足のセルに関する信号値を補完することを特徴とするものである。
【００２０】
第６の態様に係る画像処理装置によれば、演算を行わず、所定値を用いて補完を行うことにより、処理負荷の軽減を図ることができる。
【００２１】
本発明の第７の態様に係る画像処理装置は、第１〜第６のいずれか一つの態様に係る画像処理装置において特に、前記色変換部からは、画素の規定に関する情報と、画素内における各色のセルの位置に関する情報とがヘッダ部に含まれた、第２の色空間の信号が出力されることを特徴とするものである。
【００２２】
第７の態様に係る画像処理装置によれば、画素の規定に関する情報と、画素内における各色のセルの位置に関する情報とが、第２の色空間の信号のヘッダ部に含まれている。従って、第２の色空間の信号を第１の色空間の信号に逆変換する色逆変換部が、これらの情報を参照することによって、原画像を適切に再現することが可能となる。
【発明の効果】
【００２３】
本発明によれば、回路の変更を最小限に抑えつつ、ハニカム配列の撮像素子によって取得されたＲＡＷデータに対応可能な画像処理装置を得ることができる。
【発明を実施するための最良の形態】
【００２４】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、異なる図面において同一の符号を付した要素は、同一又は相応する要素を示すものとする。以下では、本発明に係る画像処理装置をＨＤ Ｐｈｏｔｏにおけるエンコーダ及びデコーダに適用する例について説明する。
【００２５】
＜第１の実施の形態＞
図１は、本発明の第１の実施の形態に係る画像処理装置１の構成を示すブロック図である。画像処理装置１は、エンコーダ２とデコーダ３とを備えて構成されている。エンコーダ２は、色変換部２１、プレフィルタ２２、周波数変換部２３、量子化部２４、予測部２５、及び符号化部２６を有している。デコーダ３は、色逆変換部３１、ポストフィルタ３２、周波数逆変換部３３、逆量子化部３４、逆予測部３５、及び復号化部３６を有している。
【００２６】
符号化部２６及び復号化部３６は、メモリ４に接続されている。色変換部２１はバッファメモリ１１に接続されており、バッファメモリ１１は撮像素子１０に接続されている。但し、バッファメモリ１１とメモリ４とを兼用しても良い。撮像素子１０は、スーパーＣＣＤハニカム（登録商標）等の、ハニカム配列のカラーフィルタが配置された撮像素子である。撮像素子１０によって取得されたＲＡＷ画像の信号Ｓ１は、バッファメモリ１１に入力され、一時的に保存される。
【００２７】
図２は、ハニカム配列の撮像素子１０によって取得されたＲＡＷ画像を示す図である。図２には、ＲＡＷ画像の左上隅のみを抜き出して示している。図２に示した例では、偶数ラインにおいては、赤色（Ｒ）のカラーフィルタが配置された赤色セルと、青色（Ｂ）のカラーフィルタが配置された青色セルとが、交互に配列されている。また、奇数ラインにおいては、緑色（Ｇ）のカラーフィルタが配置された緑色セルが配列されている。奇数ラインは、偶数ラインに対して、セルピッチの１／２だけずれて配置されている。
【００２８】
本実施の形態に係る画像処理装置１では、ハニカム配列における各緑色セル（Ｇ）を、Ｂａｙｅｒ配列における、赤色セルに隣接する緑色セル（Ｇｒ）と、青色セルに隣接する緑色セル（Ｇｂ）との一方に対応付ける。
【００２９】
図３は、図２と同様のＲＡＷ画像を示す図である。左上の赤色セル（Ｒ）と右下の赤色セル（Ｒ）とによって挟まれる緑色セル（Ｇ）は、Ｂａｙｅｒ配列における緑色セル（Ｇｒ）に対応付けられており、左上の青色セル（Ｂ）と右下の青色セル（Ｂ）とによって挟まれる緑色セル（Ｇ）は、Ｂａｙｅｒ配列における緑色セル（Ｇｂ）に対応付けられている。これにより、ＲＧｒＧｂＢ色空間で表されたＲＡＷ画像が得られる。なお、上記とは逆に、右上の赤色セル（Ｒ）と左下の赤色セル（Ｒ）とによって挟まれる緑色セル（Ｇ）を緑色セル（Ｇｒ）に対応付け、右上の青色セル（Ｂ）と左下の青色セル（Ｂ）とによって挟まれる緑色セル（Ｇ）を緑色セル（Ｇｂ）に対応付けても良い。
【００３０】
図１を参照して、色変換部２１には、バッファメモリ１１から読み出された信号Ｓ１が入力される。色変換部２１は、ＲＧｒＧｂＢ色空間の信号Ｓ１を、ＹＵＶＫ色空間の画素信号Ｓ２に変換して出力する。色変換部２１における色変換処理の詳細については後述する。
【００３１】
プレフィルタ２２には、色変換部２１から画素信号Ｓ２が入力される。プレフィルタ２２は、画素信号Ｓ２に対して所定のプレフィルタ処理を選択的に実行し、画素信号Ｓ３を出力する。
【００３２】
周波数変換部２３には、プレフィルタ２２から画素信号Ｓ３が入力される。周波数変換部２３は、画素信号Ｓ３に対して所定の周波数変換処理（ＰＣＴ：HD Photo Core Transform）を実行し、周波数変換処理後の周波数データＳ４を出力する。ＨＤ Ｐｈｏｔｏでは、周波数データＳ４に、ハイパス成分、ローパス成分、及び直流成分が含まれる。
【００３３】
量子化部２４には、周波数変換部２３から周波数データＳ４が入力される。量子化部２４は、周波数データＳ４を量子化し、量子化後の周波数データＳ５を出力する。
【００３４】
予測部２５には、量子化部２４から周波数データＳ５が入力される。予測部２５は、量子化部２４から入力された周波数データＳ５の値と、過去に処理した特定の周波数データの値（予測値）との差分値を求め、周波数差分データＳ６として出力する。
【００３５】
符号化部２６には、予測部２５から周波数差分データＳ６が入力される。符号化部２６は、周波数差分データＳ６に対してエントロピー符号化を実行し、符号化データＳ７を出力する。符号化部２６から出力された符号化データＳ７は、メモリ４に記憶される。なお、厳密には、ＨＤ Ｐｈｏｔｏにおいては、周波数差分データＳ６のうち、上位ビットに相当するＮｏｒｍａｌ Ｂｉｔに対してのみエントロピー符号化が実行され、下位ビットに相当するＦｌｅｘ Ｂｉｔに関しては、エントロピー符号化が実行されることなく、メモリ４に記憶される。
【００３６】
復号化部３６には、メモリ４から符号化データＳ７が入力される。復号化部３６は、符号化データＳ７に対してエントロピー復号化を実行し、上記の周波数差分データＳ６に相当する周波数差分データＳ８を出力する。
【００３７】
逆予測部３５には、復号化部３６から周波数差分データＳ８が入力される。逆予測部３５は、周波数差分データＳ８に予測値を加算することにより、上記の周波数データＳ５に相当する周波数データＳ９を出力する。
【００３８】
逆量子化部３４には、逆予測部３５から周波数データＳ９が入力される。逆量子化部３４は、周波数データＳ９を逆量子化し、上記の周波数データＳ４に相当する周波数データＳ１０を出力する。
【００３９】
周波数逆変換部３３には、逆量子化部３４から周波数データＳ１０が入力される。周波数逆変換部３３は、周波数データＳ１０に対して、上記の周波数変換処理に対応する周波数逆変換処理を実行し、上記の画素信号Ｓ３に相当する画素信号Ｓ１１を出力する。
【００４０】
ポストフィルタ３２には、周波数逆変換部３３から、画素信号Ｓ１１が入力される。ポストフィルタ３２は、画素信号Ｓ１１に対して、上記のプレフィルタ処理に対応するポストフィルタ処理を選択的に実行し、上記の画素信号Ｓ２に相当する画素信号Ｓ１２を出力する。
【００４１】
色逆変換部３１には、ポストフィルタ３２から画素信号Ｓ１２が入力される。色逆変換部３１は、ＹＵＶＫ色空間の画素信号Ｓ１２を、ＲＧｒＧｂＢ色空間の画素信号Ｓ１３に変換し、外部の表示装置等に向けて出力する。
【００４２】
以下、色変換部２１における色変換処理について説明する。
【００４３】
まず、色変換部２１は、図３に示したＲＡＷ画像内に、色変換処理の処理単位となる画素を規定する。一つの画素内には、赤色セル（Ｒ）、青色セル（Ｂ）、緑色セル（Ｇｒ）、及び緑色セル（Ｇｂ）を、それぞれ一つずつ含める。
【００４４】
図４は、画素の規定の第１の例を示す図である。各画素には、同一のセル行に属する赤色セル（Ｒ）及び青色セル（Ｂ）と、その下のセル行に属する緑色セル（Ｇｒ）及び緑色セル（Ｇｂ）とが含まれている。その結果、偶数の画素行Ｙ０，Ｙ２に属する画素Ｇ００〜Ｇ０２，Ｇ２０〜Ｇ２２においては、左上が赤色セル（Ｒ）、右上が青色セル（Ｂ）、左下が緑色セル（Ｇｒ）、右下が緑色セル（Ｇｂ）となり、奇数の画素行Ｙ１，Ｙ３に属する画素Ｇ１０〜Ｇ１２，Ｇ３０〜Ｇ３２においては、左上が青色セル（Ｂ）、右上が赤色セル（Ｒ）、左下が緑色セル（Ｇｂ）、右下が緑色セル（Ｇｒ）となる。
【００４５】
色変換部２１は、左上の画素から順に、画素単位で色変換処理を実行する。つまり、画素Ｇ００→Ｇ０１→Ｇ０２→・・・→Ｇ１０→Ｇ１１→Ｇ１２→・・・→Ｇ２０→Ｇ２１→Ｇ２２→・・・→Ｇ３０→Ｇ３１→Ｇ３２→・・・の順に、色変換処理を実行する。
【００４６】
図５は、色変換部２１の構成を概略的に示す図である。色変換部２１は、４個のレジスタＦ１〜Ｆ４と、これらのレジスタＦ１〜Ｆ４に接続された演算部１３とを有している。４個のレジスタは、左上がレジスタＦ１、右上がレジスタＦ２、左下がレジスタＦ３、右下がレジスタＦ４である。
【００４７】
左上のレジスタＦ１には、画素内の左上のセルに関する信号値が入力され、右上のレジスタＦ２には、画素内の右上のセルに関する信号値が入力され、左下のレジスタＦ３には、画素内の左下のセルに関する信号値が入力され、右下のレジスタＦ４には、画素内の右下のセルに関する信号値が入力される。
【００４８】
従って、偶数の画素行Ｙ０，Ｙ２に属する画素Ｇ００〜Ｇ０２，Ｇ２０〜Ｇ２２を処理する場合には、レジスタＦ１には赤色セル（Ｒ）の信号値が入力され、レジスタＦ２には青色セル（Ｂ）の信号値が入力され、レジスタＦ３には緑色セル（Ｇｒ）の信号値が入力され、レジスタＦ４には緑色セル（Ｇｂ）の信号値が入力される。また、奇数の画素行Ｙ１，Ｙ３に属する画素Ｇ１０〜Ｇ１２，Ｇ３０〜Ｇ３２を処理する場合には、レジスタＦ１には青色セル（Ｂ）の信号値が入力され、レジスタＦ２には赤色セル（Ｒ）の信号値が入力され、レジスタＦ３には緑色セル（Ｇｂ）の信号値が入力され、レジスタＦ４には緑色セル（Ｇｒ）の信号値が入力される。
【００４９】
図６は、演算部１３が演算によって色変換処理を実行するための演算式を示す図である。図６に示すように、演算式は、パラメータＰ１〜Ｐ４を用いて記述されている。パラメータＰ１〜Ｐ４は、図５に示したレジスタＦ１〜Ｆ４に設定される。色変換部２１は、図６に示した演算式に基づいて、Ｋ信号、Ｖ信号、Ｕ信号、及びＹ信号の各画素値を算出する。なお、図６に示した変換式において、“floor（ｘ）”は、ｘ以下の最大の整数を意味し、“ceiling（ｘ）”は、ｘ以上の最小の整数を意味する。また、“α”は、画素値の階調数の１／２を意味する。例えば、画素値が８ｂｉｔで表される場合は、２５６階調であるため、“α”は１２８となる。
【００５０】
図７は、レジスタＦ１〜Ｆ４へのパラメータＰ１〜Ｐ４の設定例を示す図である。色変換部２１は、偶数の画素行Ｙ０，Ｙ２に属する画素Ｇ００〜Ｇ０２，Ｇ２０〜Ｇ２２を処理する場合には、図７の（Ａ）に示すように、レジスタＦ１，Ｆ２，Ｆ３，Ｆ４に、それぞれパラメータＰ４，Ｐ３，Ｐ１，Ｐ２を設定する。また、色変換部２１は、奇数の画素行Ｙ１，Ｙ３に属する画素Ｇ１０〜Ｇ１２，Ｇ３０〜Ｇ３２を処理する場合には、図７の（Ｂ）に示すように、レジスタＦ１，Ｆ２，Ｆ３，Ｆ４に、それぞれパラメータＰ３，Ｐ４，Ｐ２，Ｐ１を設定する。
【００５１】
図８は、ＨＤ Ｐｈｏｔｏにおける、ＲＧｒＧｂＢ色空間からＹＵＶＫ色空間への変換式を示す図である。レジスタＦ１〜Ｆ４へのパラメータＰ１〜Ｐ４の設定を図７の（Ａ）及び（Ｂ）のように規定することにより、全ての画素Ｇ００〜Ｇ０２，Ｇ１０〜Ｇ１２，Ｇ２０〜Ｇ２２，Ｇ３０〜Ｇ３２に関して、図８に示した変換式が実現される。
【００５２】
図９は、画素の規定の第２の例を示す図である。各画素には、同一のセル列に属する赤色セル（Ｒ）及び青色セル（Ｂ）と、その隣のセル列に属する緑色セル（Ｇｒ）及び緑色セル（Ｇｂ）とが含まれている。その結果、偶数の画素列Ｘ０，Ｘ２，Ｘ４に属する画素Ｇ００，Ｇ１０，Ｇ０２，Ｇ１２，Ｇ０４，Ｇ１４においては、左上が赤色セル（Ｒ）、右上が緑色セル（Ｇｒ）、左下が青色セル（Ｂ）、右下が緑色セル（Ｇｂ）となり、奇数の画素列Ｘ１，Ｘ３，Ｘ５に属する画素Ｇ０１，Ｇ１１，Ｇ０３，Ｇ１３，Ｇ０５，Ｇ１５においては、左上が青色セル（Ｂ）、右上が緑色セル（Ｇｂ）、左下が赤色セル（Ｒ）、右下が緑色セル（Ｇｒ）となる。
【００５３】
色変換部２１は、左上の画素から順に、画素単位で色変換処理を実行する。つまり、画素Ｇ００→Ｇ０１→Ｇ０２→Ｇ０３→Ｇ０４→Ｇ０５→・・・→Ｇ１０→Ｇ１１→Ｇ１２→Ｇ１３→Ｇ１４→Ｇ１５→・・・の順に、色変換処理を実行する。
【００５４】
図１０は、レジスタＦ１〜Ｆ４へのパラメータＰ１〜Ｐ４の設定例を示す図である。色変換部２１は、偶数の画素列Ｘ０，Ｘ２，Ｘ４に属する画素Ｇ００，Ｇ１０，Ｇ０２，Ｇ１２，Ｇ０４，Ｇ１４を処理する場合には、図１０の（Ａ）に示すように、レジスタＦ１，Ｆ２，Ｆ３，Ｆ４に、それぞれパラメータＰ４，Ｐ１，Ｐ３，Ｐ２を設定する。また、色変換部２１は、奇数の画素列Ｘ１，Ｘ３，Ｘ５に属する画素Ｇ０１，Ｇ１１，Ｇ０３，Ｇ１３，Ｇ０５，Ｇ１５を処理する場合には、図１０の（Ｂ）に示すように、レジスタＦ１，Ｆ２，Ｆ３，Ｆ４に、それぞれパラメータＰ３，Ｐ２，Ｐ４，Ｐ１を設定する。レジスタＦ１〜Ｆ４へのパラメータＰ１〜Ｐ４の設定を図１０の（Ａ）及び（Ｂ）のように規定することにより、全ての画素Ｇ００〜Ｇ０５，Ｇ１０〜Ｇ１５に関して、図８に示した変換式が実現される。
【００５５】
本実施の形態において、色変換部２１は、ハニカム配列における複数色のセルを含む画素を、ＲＡＷ画像内に規定して、画素単位で色変換処理を実行する。ここで、色変換部２１の処理対象である画素には、画素内における各色のセルの配置が、第１の配置パターンである第１の画素（例えば図４の画素Ｇ００）と、第１の配置パターンとは異なる第２の配置パターンである第２の画素（例えば図４の画素Ｇ１０）とが含まれる。また、図６に示したように、演算式においては、各セルの信号値をパラメータＰ１〜Ｐ４として設定可能である。そして、色変換部２１は、第１の画素を処理する場合には、第１のパラメータ（例えば図７の（Ａ））を設定する。一方、第２の画素を処理する場合には、演算式内における各色のセルの信号値の位置が、第１の画素に関するそれと等しくなるような、第２のパラメータ（例えば図７の（Ｂ））を設定する。
【００５６】
従って、本実施の形態によれば、演算式におけるパラメータＰ１〜Ｐ４の設定を変更するという簡易な手法によって、第１及び第２の画素の双方に関して、画素内における各色のセルの配置パターンの相違を考慮した適切な色変換処理を実行することができる。その結果、符号化効率の劣化が生じる可能性を回避することができる。
【００５７】
＜第２の実施の形態＞
図１１は、本発明の第２の実施の形態に係る画像処理装置１の構成の一部を示すブロック図である。バッファメモリ１１と色変換部２１との間に、並び替え処理部１５が接続されている。並び替え処理部１５は、バッファメモリ１１から読み出した信号Ｓ１を選択的に並び替えて、信号Ｓ１ａとして色変換部２１に入力する。
【００５８】
図１２は、色変換部２１が有するレジスタＦ１〜Ｆ４の第１の例を示す図である。この例では、レジスタＦ１には赤色セル（Ｒ）の信号値が入力され、レジスタＦ２には青色セル（Ｂ）の信号値が入力され、レジスタＦ３には緑色セル（Ｇｒ）の信号値が入力され、レジスタＦ４には緑色セル（Ｇｂ）の信号値が入力される。色変換部２１が有する演算部１３（図１２には示さない）は、図８に示した演算式に基づいて、ＲＧｒＧｂＢ色空間からＹＵＶＫ色空間への色変換処理を実行する。
【００５９】
図４に示した例では、偶数の画素行Ｙ０，Ｙ２に属する画素Ｇ００〜Ｇ０２，Ｇ２０〜Ｇ２２においては、左上が赤色セル（Ｒ）、右上が青色セル（Ｂ）、左下が緑色セル（Ｇｒ）、右下が緑色セル（Ｇｂ）となる。従って、画素内における各色の配置パターンと、図１２に示したレジスタＦ１〜Ｆ４における各色の配置パターンとが一致するため、並び替え処理部１５は、並び替え処理を実行することなく、各色のセルの信号値を、対応するレジスタＦ１〜Ｆ４に入力する。
【００６０】
一方、奇数の画素行Ｙ１，Ｙ３に属する画素Ｇ１０〜Ｇ１２，Ｇ３０〜Ｇ３２においては、左上が青色セル（Ｂ）、右上が赤色セル（Ｒ）、左下が緑色セル（Ｇｂ）、右下が緑色セル（Ｇｒ）となる。従って、図１２に示したレジスタＦ１〜Ｆ４における各色の配置パターンは、画素内における各色の配置パターンに対して左右が逆転している。そのため、並び替え処理部１５は、画素内における各色のセルの信号値を左右反転した後に、各色のセルの信号値を、対応するレジスタＦ１〜Ｆ４に入力する。
【００６１】
図１３は、色変換部２１が有するレジスタＦ１〜Ｆ４の第２の例を示す図である。この例では、レジスタＦ１には赤色セル（Ｒ）の信号値が入力され、レジスタＦ２には緑色セル（Ｇｒ）の信号値が入力され、レジスタＦ３には青色セル（Ｂ）の信号値が入力され、レジスタＦ４には緑色セル（Ｇｂ）の信号値が入力される。色変換部２１が有する演算部１３（図１２には示さない）は、図８に示した演算式に基づいて、ＲＧｒＧｂＢ色空間からＹＵＶＫ色空間への色変換処理を実行する。
【００６２】
図９に示した例では、偶数の画素列Ｘ０，Ｘ２，Ｘ４に属する画素Ｇ００，Ｇ１０，Ｇ０２，Ｇ１２，Ｇ０４，Ｇ１４においては、左上が赤色セル（Ｒ）、右上が緑色セル（Ｇｒ）、左下が青色セル（Ｂ）、右下が緑色セル（Ｇｂ）となる。従って、画素内における各色の配置パターンと、図１３に示したレジスタＦ１〜Ｆ４における各色の配置パターンとが一致するため、並び替え処理部１５は、並び替え処理を実行することなく、各色のセルの信号値を、対応するレジスタＦ１〜Ｆ４に入力する。
【００６３】
一方、奇数の画素列Ｘ１，Ｘ３，Ｘ５に属する画素Ｇ０１，Ｇ１１，Ｇ０３，Ｇ１３，Ｇ０５，Ｇ１５においては、左上が青色セル（Ｂ）、右上が緑色セル（Ｇｂ）、左下が赤色セル（Ｒ）、右下が緑色セル（Ｇｒ）となる。従って、図１３に示したレジスタＦ１〜Ｆ４における各色の配置パターンは、画素内における各色の配置パターンに対して上下が逆転している。そのため、並び替え処理部１５は、画素内における各色のセルの信号値を上下反転した後に、各色のセルの信号値を、対応するレジスタＦ１〜Ｆ４に入力する。
【００６４】
図１４は、第２の実施の形態の変形例を示す図である。図１４に示すように、並び替え処理部１５は、撮像素子１０とバッファメモリ１１との間に接続されていても良い。
【００６５】
本実施の形態に係る画像処理装置１は、色変換部２１よりも前段に配置された並び替え処理部１５を備える。また、色変換部２１は、ハニカム配列における複数色のセルを含む画素を、ＲＡＷ画像内に規定して、画素単位で色変換処理を実行する。ここで、色変換部２１の処理対象である画素には、画素内における各色のセルの配置が、第１の配置パターンである第１の画素（例えば図４の画素Ｇ００）と、第１の配置パターンとは異なる第２の配置パターンである第２の画素（例えば図４の画素Ｇ１０）とが含まる。そして、並び替え処理部１５は、色変換部２１の処理対象が第１の画素である場合には、並び替え処理を実行せず、色変換部２１の処理対象が第２の画素である場合には、画素内における各色のセルの信号値の位置が第１の画素に関するそれと等しくなるように、並び替え処理を実行する。
【００６６】
従って、本実施の形態によれば、画素内における各色のセルの信号値の位置を並び替えるという簡易な手法によって、第１及び第２の画素の双方に関して、画素内における各色のセルの配置パターンの相違を考慮した適切な色変換処理を実行することができる。その結果、符号化効率の劣化が生じる可能性を回避することができる。
【００６７】
＜第３の実施の形態＞
図１５は、本発明の第３の実施の形態に係る画像処理装置１の構成の一部を示すブロック図である。色変換部２１の前段に、選択部４０が接続されている。また、色変換部２１は、変換処理部４１Ａ，４１Ｂを有している。選択部４０は、変換処理部４１Ａ，４１Ｂの一方を選択して、信号Ｓ１を入力する。
【００６８】
図１６は、変換処理部４１Ａの構成の第１の例を概略的に示す図である。図１６の（Ａ）に示すように、変換処理部４１Ａは、４個のレジスタＦ１〜Ｆ４と、これらのレジスタＦ１〜Ｆ４に接続された演算部１３Ａとを有している。図１６の（Ｂ）には、演算部１３Ａが演算によって色変換処理を実行するための演算式を示している。例えば、Ｋ信号の値は、レジスタＦ３の値Ｑ３からレジスタＦ４の値Ｑ４を減算することによって求まり、Ｖ信号の値は、レジスタＦ２の値Ｑ２からレジスタＦ１の値Ｑ１を減算することによって求まる。
【００６９】
図１７は、変換処理部４１Ｂの構成の第１の例を概略的に示す図である。図１７の（Ａ）に示すように、変換処理部４１Ｂは、４個のレジスタＦ１〜Ｆ４と、これらのレジスタＦ１〜Ｆ４に接続された演算部１３Ｂとを有している。図１７の（Ｂ）には、演算部１３Ｂが演算によって色変換処理を実行するための演算式を示している。例えば、Ｋ信号の値は、レジスタＦ４の値Ｑ４からレジスタＦ３の値Ｑ３を減算することによって求まり、Ｖ信号の値は、レジスタＦ１の値Ｑ１からレジスタＦ２の値Ｑ２を減算することによって求まる。
【００７０】
図４に示した例において、偶数の画素行Ｙ０，Ｙ２に属する画素Ｇ００〜Ｇ０２，Ｇ２０〜Ｇ２２を処理する場合には、選択部４０は変換処理部４１Ａを選択する。これにより、レジスタＦ１の値Ｑ１は赤色セル（Ｒ）の信号値となり、レジスタＦ２の値Ｑ２は青色セル（Ｂ）の信号値となり、レジスタＦ３の値Ｑ３は緑色セル（Ｇｒ）の信号値となり、レジスタＦ４の値Ｑ４は緑色セル（Ｇｂ）の信号値となる。その結果、図１６の（Ｂ）に示した演算式は、図８に示した演算式に等価的に等しくなる。
【００７１】
一方、奇数の画素行Ｙ１，Ｙ３に属する画素Ｇ１０〜Ｇ１２，Ｇ３０〜Ｇ３２を処理する場合には、選択部４０は変換処理部４１Ｂを選択する。これにより、レジスタＦ１の値Ｑ１は青色セル（Ｂ）の信号値となり、レジスタＦ２の値Ｑ２は赤色セル（Ｒ）の信号値となり、レジスタＦ３の値Ｑ３は緑色セル（Ｇｂ）の信号値となり、レジスタＦ４の値Ｑ４は緑色セル（Ｇｒ）の信号値となる。その結果、図１７の（Ｂ）に示した演算式は、図８に示した演算式に等価的に等しくなる。
【００７２】
図１８は、変換処理部４１Ａの構成の第２の例を概略的に示す図である。図１８の（Ａ）に示すように、変換処理部４１Ａは、４個のレジスタＦ１〜Ｆ４と、これらのレジスタＦ１〜Ｆ４に接続された演算部１３Ａとを有している。図１８の（Ｂ）には、演算部１３Ａが演算によって色変換処理を実行するための演算式を示している。例えば、Ｋ信号の値は、レジスタＦ２の値Ｑ２からレジスタＦ４の値Ｑ４を減算することによって求まり、Ｖ信号の値は、レジスタＦ３の値Ｑ３からレジスタＦ１の値Ｑ１を減算することによって求まる。
【００７３】
図１９は、変換処理部４１Ｂの構成の第２の例を概略的に示す図である。図１９の（Ａ）に示すように、変換処理部４１Ｂは、４個のレジスタＦ１〜Ｆ４と、これらのレジスタＦ１〜Ｆ４に接続された演算部１３Ｂとを有している。図１９の（Ｂ）には、演算部１３Ｂが演算によって色変換処理を実行するための演算式を示している。例えば、Ｋ信号の値は、レジスタＦ４の値Ｑ４からレジスタＦ２の値Ｑ２を減算することによって求まり、Ｖ信号の値は、レジスタＦ１の値Ｑ１からレジスタＦ３の値Ｑ３を減算することによって求まる。
【００７４】
図９に示した例において、偶数の画素列Ｘ０，Ｘ２，Ｘ４に属する画素Ｇ００，Ｇ１０，Ｇ０２，Ｇ１２，Ｇ０４，Ｇ１４を処理する場合には、選択部４０は変換処理部４１Ａを選択する。これにより、レジスタＦ１の値Ｑ１は赤色セル（Ｒ）の信号値となり、レジスタＦ２の値Ｑ２は緑色セル（Ｇｒ）の信号値となり、レジスタＦ３の値Ｑ３は青色セル（Ｂ）の信号値となり、レジスタＦ４の値Ｑ４は緑色セル（Ｇｂ）の信号値となる。その結果、図１８の（Ｂ）に示した演算式は、図８に示した演算式に等価的に等しくなる。
【００７５】
一方、奇数の画素列Ｘ１，Ｘ３，Ｘ５に属する画素Ｇ０１，Ｇ１１，Ｇ０３，Ｇ１３，Ｇ０５，Ｇ１５を処理する場合には、選択部４０は変換処理部４１Ｂを選択する。これにより、レジスタＦ１の値Ｑ１は青色セル（Ｂ）の信号値となり、レジスタＦ２の値Ｑ２は緑色セル（Ｇｂ）の信号値となり、レジスタＦ３の値Ｑ３は赤色セル（Ｒ）の信号値となり、レジスタＦ４の値Ｑ４は緑色セル（Ｇｒ）の信号値となる。その結果、図１９の（Ｂ）に示した演算式は、図８に示した演算式に等価的に等しくなる。
【００７６】
本実施の形態に係る画像処理装置１は、色変換部２１の前段に配置された選択部４０を備える。また、色変換部２１は、ハニカム配列における複数色のセルを含む画素を、ＲＡＷ画像内に規定して、画素単位で色変換処理を実行する。ここで、色変換部２１の処理対象である画素には、画素内における各色のセルの配置が、第１の配置パターンである第１の画素（例えば図４の画素Ｇ００）と、第１の配置パターンとは異なる第２の配置パターンである第２の画素（例えば図４の画素Ｇ１０）とが含まれる。また、色変換部２１は、第１の演算式（例えば図１６の（Ｂ））に基づいて色変換処理を実行する変換処理部４１Ａと、第２の演算式（例えば図１７の（Ｂ））に基づいて色変換処理を実行する変換処理部４１Ｂとを有している。ここで、第２の演算式は、各色のセルの信号値の位置が、等価的に第１の演算式におけるそれと等しくなるような演算式である。そして、選択部４０は、色変換部２１の処理対象が第１の画素である場合には、変換処理部４１Ａを選択し、色変換部２１の処理対象が第２の画素である場合には、変換処理部４１Ｂを選択する。
【００７７】
従って、本実施の形態によれば、色変換部２１内に変換処理部４１Ａ及び変換処理部４１Ｂを設け、処理対象に応じて一方を選択するという簡易な手法によって、第１及び第２の画素の双方に関して、画素内における各色のセルの配置パターンの相違を考慮した適切な色変換処理を実行することができる。その結果、符号化効率の劣化が生じる可能性を回避することができる。
【００７８】
なお、変換処理部４１Ａと変換処理部４１Ｂとは、一部の要素（例えば演算部１３Ａ，１３Ｂ）を共有する構成とすることもできる。
【００７９】
＜第４の実施の形態＞
図２０は、画素の規定の第１の例を示す図である。各画素には、あるセル行に属する青色セル（Ｂ）と、その下のセル行に属する緑色セル（Ｇｒ）及び緑色セル（Ｇｂ）と、その下のセル行に属する赤色セル（Ｒ）とが含まれている。その結果、各画素において、上が青色セル（Ｂ）、左が緑色セル（Ｇｒ）、右が緑色セル（Ｇｂ）、下が赤色セル（Ｒ）となる。
【００８０】
図２１は、本発明の第４の実施の形態に係る画像処理装置１の構成の一部を示すブロック図である。バッファメモリ１１と色変換部２１との間に、補完処理部５０が接続されている。補完処理部５０は、画素平面の周縁部において一画素内のセル数が不足する画素を対象として、不足のセルに関する信号値を補完して、補完後の信号Ｓ１ｂを色変換部２１に入力する。
【００８１】
補完処理の第１の例として、補完処理部５０は、不足のセルの近傍に位置するセルに関する信号値を用いた演算によって、不足のセルに関する信号値を補完する。
【００８２】
図２０を参照して、例えば、画素Ｇ２０に関しては、緑色セル（Ｇｒ）に関する信号値が不足している。そこで、補完処理部５０は、画素Ｇ２０内の緑色セル（Ｇｂ）に関する信号値を、画素Ｇ２０内の緑色セル（Ｇｒ）に関する信号値として補完する。
【００８３】
また、例えば、画素Ｇ０１に関しては、青色セル（Ｂ）に関する信号値、緑色セル（Ｇｒ）に関する信号値、及び緑色セル（Ｇｂ）に関する信号値が不足している。そこで、補完処理部５０は、画素Ｇ１０内の青色セル（Ｂ）に関する信号値と、画素Ｇ１１内の青色セル（Ｂ）に関する信号値との平均値を算出し、その値を、画素Ｇ０１内の青色セル（Ｂ）に関する信号値として補完する。また、補完処理部５０は、画素Ｇ１０内の緑色セル（Ｇｂ）に関する信号値を、画素Ｇ０１内の緑色セル（Ｇｒ）に関する信号値として補完し、画素Ｇ１１内の緑色セル（Ｇｒ）に関する信号値を、画素Ｇ０１内の緑色セル（Ｇｂ）に関する信号値として補完する。
【００８４】
また、例えば、画素Ｇ００に関しては、青色セル（Ｂ）に関する信号値、緑色セル（Ｇｒ）に関する信号値、及び緑色セル（Ｇｂ）に関する信号値が不足している。そこで、補完処理部５０は、画素Ｇ１０内の青色セル（Ｂ）に関する信号値を、画素Ｇ００内の青色セル（Ｂ）に関する信号値として補完する。また、補完処理部５０は、画素Ｇ１０内の緑色セル（Ｇｒ）に関する信号値を、画素Ｇ００内の緑色セル（Ｇｒ）及び緑色セル（Ｇｂ）に関する各信号値として補完する。
【００８５】
補完処理の第２の例として、補完処理部５０は、所定値を用いて、不足のセルに関する信号値を補完する。
【００８６】
例えば、信号値が２５６階調で表される場合には、中間の第１２８階調の値を、全ての不足セルの信号値として補完する。
【００８７】
また、例えば、各画素内の赤色セル（Ｒ）の信号値を、その画素内の全ての不足セルの信号値として補完する。
【００８８】
図２２は、画素の規定の第２の例を示す図である。各画素には、あるセル行に属する赤色セル（Ｒ）及び青色セル（Ｂ）と、その下のセル行に属する緑色セル（Ｇｒ）及び緑色セル（Ｇｂ）とが含まれている。その結果、各画素において、左上が赤色セル（Ｒ）、右上が青色セル（Ｂ）、左下が緑色セル（Ｇｒ）、右下が緑色セル（Ｇｂ）となる。不足セルの補完については、上記と同様である。
【００８９】
図２３は、画素の規定の第３の例を示す図である。各画素には、あるセル行に属する赤色セル（Ｒ）と、その下のセル行に属する緑色セル（Ｇｒ）と、その下のセル行に属する青色セル（Ｂ）と、その下のセル行に属する緑色セル（Ｇｂ）とが含まれている。その結果、各画素において、左上が赤色セル（Ｒ）、右上が緑色セル（Ｇｒ）、左下が青色セル（Ｂ）、右下が緑色セル（Ｇｂ）となる。不足セルの補完については、上記と同様である。
【００９０】
本実施の形態に係る色変換部２１は、画素内における各色のセルの配置が単一の配置パターンとなるように、ＲＡＷ画像内に画素を規定する。従って、ＲＡＷ画像内の全ての画素において、各色のセルの配置パターンが同一となる。従って、第１の実施の形態のようなパラメータの設定変更や、第２の実施の形態のような並び替え処理や、第３の実施の形態のような変換処理部４１Ａ，４１Ｂの切り換え処理を行うことなく、画素内における各色のセルの配置パターンの相違を考慮した適切な色変換処理を、全ての画素に関して実行することができる。その結果、符号化効率の劣化が生じる可能性を回避することができる。
【００９１】
また、補完処理の第１の例によれば、演算によって高精度の補完を行うことにより、圧縮効率を上げることができる。
【００９２】
また、補完処理の第２の例によれば、演算を行わず、所定値を用いて補完を行うことにより、処理負荷の軽減を図ることができる。
【００９３】
＜デコーダ３への情報の受け渡しについて＞
図２４は、色変換部２１から出力される画素信号Ｓ２を示す図である。画素信号Ｓ２は、ヘッダ部Ｈとペイロード部Ｐとを有している。ヘッダ部Ｈには、色変換部２１によるＲＡＷ画像内における画素の規定に関する情報、つまり、ＲＡＷ画像内にどのようなパターン（切り出し方）で画素を規定したのかについての情報が、データＤ１として記述されている。また、ヘッダ部Ｈには、画素内における各色のセルの位置に関する情報、つまり、画素内のどの信号値がどの色に対応するのかについての情報が、データＤ２として記述されている。図１を参照して、色変換部２１によって信号Ｓ２のヘッダ部Ｈに付加されたデータＤ１，Ｄ２は、信号Ｓ３〜Ｓ１２に付随して、色逆変換部３１に受け渡される。
【００９４】
図２５は、色逆変換部３１が色逆変換処理を実行するための演算式を示す図である。色逆変換部３１は、ポストフィルタ３２から入力されたＹＵＶＫ色空間の画素信号Ｓ１２を、図２５に示した演算式に基づいて、ＲＧｒＧｂＢ色空間の画素信号Ｓ１３に変換する。また、色逆変換部３１は、データＤ１，Ｄ２に基づいて、画素平面の適切な位置に適切な色を当てはめることにより、ハニカム配列のＲＡＷ画像を再現する。これにより、原画像を適切に再現することが可能となる。
【図面の簡単な説明】
【００９５】
【図１】本発明の第１の実施の形態に係る画像処理装置の構成を示すブロック図である。
【図２】ハニカム配列の撮像素子によって取得されたＲＡＷ画像を示す図である。
【図３】図２と同様のＲＡＷ画像を示す図である。
【図４】画素の規定の第１の例を示す図である。
【図５】色変換部の構成を概略的に示す図である。
【図６】演算部が演算によって色変換処理を実行するための演算式を示す図である。
【図７】レジスタへのパラメータの設定例を示す図である。
【図８】ＨＤ Ｐｈｏｔｏにおける、ＲＧｒＧｂＢ色空間からＹＵＶＫ色空間への変換式を示す図である。
【図９】画素の規定の第２の例を示す図である。
【図１０】レジスタへのパラメータの設定例を示す図である。
【図１１】本発明の第２の実施の形態に係る画像処理装置の構成の一部を示すブロック図である。
【図１２】色変換部が有するレジスタの第１の例を示す図である。
【図１３】色変換部が有するレジスタの第２の例を示す図である。
【図１４】第２の実施の形態の変形例を示す図である。
【図１５】本発明の第３の実施の形態に係る画像処理装置の構成の一部を示すブロック図である。
【図１６】変換処理部の構成の第１の例を概略的に示す図である。
【図１７】変換処理部の構成の第１の例を概略的に示す図である。
【図１８】変換処理部の構成の第２の例を概略的に示す図である。
【図１９】変換処理部の構成の第２の例を概略的に示す図である。
【図２０】画素の規定の第１の例を示す図である。
【図２１】本発明の第４の実施の形態に係る画像処理装置の構成の一部を示すブロック図である。
【図２２】画素の規定の第２の例を示す図である。
【図２３】画素の規定の第３の例を示す図である。
【図２４】色変換部から出力される画素信号を示す図である。
【図２５】色逆変換部が色逆変換処理を実行するための演算式を示す図である。
【符号の説明】
【００９６】
１ 画像処理装置
２ エンコーダ
３ デコーダ
１０ 撮像素子
１３，１３Ａ，１３Ｂ 演算部
１５ 並び替え処理部
２１ 色変換部
３１ 色逆変換部
４０ 選択部
４１Ａ，４１Ｂ 変換処理部
５０ 補完処理部
【特許請求の範囲】
【請求項１】
ハニカム配列の撮像素子によって取得された第１の色空間の信号を、所定の演算式に基づいて第２の色空間の信号に変換する色変換部を備え、
前記色変換部は、ハニカム配列における複数色のセルを含む画素を規定して、画素単位で色変換処理を実行し、
前記色変換部の処理対象である画素には、画素内における各色のセルの配置が、第１の配置パターンである第１の画素と、第２の配置パターンである第２の画素とが含まれ、
前記演算式においては、各セルの信号値をパラメータとして設定可能であり、
前記色変換部は、前記第１の画素を処理する場合には、第１のパラメータを設定し、前記第２の画素を処理する場合には、前記演算式内における各色のセルの信号値の位置が、前記第１の画素に関するそれと等しくなるような、第２のパラメータを設定する、画像処理装置。
【請求項２】
ハニカム配列の撮像素子によって取得された第１の色空間の信号を第２の色空間の信号に変換する色変換部と、
前記第１の色空間の信号が前記色変換部に入力される前に、前記第１の色空間の信号を並び替える、並び替え処理部と
を備え、
前記色変換部は、ハニカム配列における複数色のセルを含む画素を規定して、画素単位で色変換処理を実行し、
前記色変換部の処理対象である画素には、画素内における各色のセルの配置が、第１の配置パターンである第１の画素と、第２の配置パターンである第２の画素とが含まれ、
前記並び替え処理部は、前記色変換部の処理対象が前記第１の画素である場合には、並び替え処理を実行せず、前記色変換部の処理対象が前記第２の画素である場合には、画素内における各色のセルの信号値の位置が前記第１の画素に関するそれと等しくなるように、並び替え処理を実行する、画像処理装置。
【請求項３】
ハニカム配列の撮像素子によって取得された第１の色空間の信号を第２の色空間の信号に変換する色変換部と、
前記色変換部の前段に配置された選択部と
を備え、
前記色変換部は、ハニカム配列における複数色のセルを含む画素を規定して、画素単位で色変換処理を実行し、
前記色変換部の処理対象である画素には、画素内における各色のセルの配置が、第１の配置パターンである第１の画素と、第２の配置パターンである第２の画素とが含まれ、
前記色変換部は、
第１の演算式に基づいて色変換処理を実行する第１の変換処理部と、
各色のセルの信号値の位置が、等価的に前記第１の演算式におけるそれと等しくなるような、第２の演算式に基づいて、色変換処理を実行する第２の変換処理部と
を有し、
前記選択部は、前記色変換部の処理対象が前記第１の画素である場合には、前記第１の変換処理部を選択し、前記色変換部の処理対象が前記第２の画素である場合には、前記第２の変換処理部を選択する、画像処理装置。
【請求項４】
ハニカム配列の撮像素子によって取得された第１の色空間の信号を第２の色空間の信号に変換する色変換部を備え、
前記色変換部は、ハニカム配列における複数色のセルを含む画素を規定して、画素単位で色変換処理を実行し、
前記色変換部は、画素内における各色のセルの配置が単一の配置パターンとなるように画素を規定する、画像処理装置。
【請求項５】
画素平面の周縁部において一画素内のセル数が不足する画素を対象として、不足のセルに関する信号値を補完する補完処理部をさらに備え、
前記補完処理部は、前記不足のセルの近傍に位置するセルに関する信号値を用いた演算によって、前記不足のセルに関する信号値を補完する、請求項４に記載の画像処理装置。
【請求項６】
画素平面の周縁部において一画素内のセル数が不足する画素を対象として、不足のセルに関する信号値を補完する補完処理部をさらに備え、
前記補完処理部は、所定値を用いて、前記不足のセルに関する信号値を補完する、請求項４に記載の画像処理装置。
【請求項７】
前記色変換部からは、画素の規定に関する情報と、画素内における各色のセルの位置に関する情報とがヘッダ部に含まれた、第２の色空間の信号が出力される、請求項１〜６のいずれか一つに記載の画像処理装置。
【請求項１】
ハニカム配列の撮像素子によって取得された第１の色空間の信号を、所定の演算式に基づいて第２の色空間の信号に変換する色変換部を備え、
前記色変換部は、ハニカム配列における複数色のセルを含む画素を規定して、画素単位で色変換処理を実行し、
前記色変換部の処理対象である画素には、画素内における各色のセルの配置が、第１の配置パターンである第１の画素と、第２の配置パターンである第２の画素とが含まれ、
前記演算式においては、各セルの信号値をパラメータとして設定可能であり、
前記色変換部は、前記第１の画素を処理する場合には、第１のパラメータを設定し、前記第２の画素を処理する場合には、前記演算式内における各色のセルの信号値の位置が、前記第１の画素に関するそれと等しくなるような、第２のパラメータを設定する、画像処理装置。
【請求項２】
ハニカム配列の撮像素子によって取得された第１の色空間の信号を第２の色空間の信号に変換する色変換部と、
前記第１の色空間の信号が前記色変換部に入力される前に、前記第１の色空間の信号を並び替える、並び替え処理部と
を備え、
前記色変換部は、ハニカム配列における複数色のセルを含む画素を規定して、画素単位で色変換処理を実行し、
前記色変換部の処理対象である画素には、画素内における各色のセルの配置が、第１の配置パターンである第１の画素と、第２の配置パターンである第２の画素とが含まれ、
前記並び替え処理部は、前記色変換部の処理対象が前記第１の画素である場合には、並び替え処理を実行せず、前記色変換部の処理対象が前記第２の画素である場合には、画素内における各色のセルの信号値の位置が前記第１の画素に関するそれと等しくなるように、並び替え処理を実行する、画像処理装置。
【請求項３】
ハニカム配列の撮像素子によって取得された第１の色空間の信号を第２の色空間の信号に変換する色変換部と、
前記色変換部の前段に配置された選択部と
を備え、
前記色変換部は、ハニカム配列における複数色のセルを含む画素を規定して、画素単位で色変換処理を実行し、
前記色変換部の処理対象である画素には、画素内における各色のセルの配置が、第１の配置パターンである第１の画素と、第２の配置パターンである第２の画素とが含まれ、
前記色変換部は、
第１の演算式に基づいて色変換処理を実行する第１の変換処理部と、
各色のセルの信号値の位置が、等価的に前記第１の演算式におけるそれと等しくなるような、第２の演算式に基づいて、色変換処理を実行する第２の変換処理部と
を有し、
前記選択部は、前記色変換部の処理対象が前記第１の画素である場合には、前記第１の変換処理部を選択し、前記色変換部の処理対象が前記第２の画素である場合には、前記第２の変換処理部を選択する、画像処理装置。
【請求項４】
ハニカム配列の撮像素子によって取得された第１の色空間の信号を第２の色空間の信号に変換する色変換部を備え、
前記色変換部は、ハニカム配列における複数色のセルを含む画素を規定して、画素単位で色変換処理を実行し、
前記色変換部は、画素内における各色のセルの配置が単一の配置パターンとなるように画素を規定する、画像処理装置。
【請求項５】
画素平面の周縁部において一画素内のセル数が不足する画素を対象として、不足のセルに関する信号値を補完する補完処理部をさらに備え、
前記補完処理部は、前記不足のセルの近傍に位置するセルに関する信号値を用いた演算によって、前記不足のセルに関する信号値を補完する、請求項４に記載の画像処理装置。
【請求項６】
画素平面の周縁部において一画素内のセル数が不足する画素を対象として、不足のセルに関する信号値を補完する補完処理部をさらに備え、
前記補完処理部は、所定値を用いて、前記不足のセルに関する信号値を補完する、請求項４に記載の画像処理装置。
【請求項７】
前記色変換部からは、画素の規定に関する情報と、画素内における各色のセルの位置に関する情報とがヘッダ部に含まれた、第２の色空間の信号が出力される、請求項１〜６のいずれか一つに記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【公開番号】特開２０１０−４１６１２（Ｐ２０１０−４１６１２Ａ）
【公開日】平成２２年２月１８日（２０１０．２．１８）
【国際特許分類】
【出願番号】特願２００８−２０４７３９（Ｐ２００８−２０４７３９）
【出願日】平成２０年８月７日（２００８．８．７）
【出願人】（５９１１２８４５３）株式会社メガチップス (322)
【Ｆターム（参考）】
【公開日】平成２２年２月１８日（２０１０．２．１８）
【国際特許分類】
【出願日】平成２０年８月７日（２００８．８．７）
【出願人】（５９１１２８４５３）株式会社メガチップス (322)
【Ｆターム（参考）】
[ Back to top ]