画像処理装置、画像処理方法およびコンピューター読み取り可能な媒体
【課題】モザイク解除、サイズ変更、雑音除去、および鮮明化などの画像処理操作で使用
する効率的かつ正確なエッジ検出手法を提供すること。
【解決手段】受信したモザイク画像データにおける垂直および水平方向の各ピクセル列に
関し各々垂直方向色差成分および水平方向色差成分を計算する。次に、モザイク画像デー
タからピクセルを選択し、目標ピクセルの垂直色差成分の記号を目標ピクセルの上と下に
あるピクセルの垂直色差成分の記号と比較し、１つ以上の比較における記号が等しくない
場合対応するエッジマップ値を１に設定し、すべての記号が等しい場合は対応するエッジ
マップ値を０に設定する。
する効率的かつ正確なエッジ検出手法を提供すること。
【解決手段】受信したモザイク画像データにおける垂直および水平方向の各ピクセル列に
関し各々垂直方向色差成分および水平方向色差成分を計算する。次に、モザイク画像デー
タからピクセルを選択し、目標ピクセルの垂直色差成分の記号を目標ピクセルの上と下に
あるピクセルの垂直色差成分の記号と比較し、１つ以上の比較における記号が等しくない
場合対応するエッジマップ値を１に設定し、すべての記号が等しい場合は対応するエッジ
マップ値を０に設定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態はデジタルカメラなどの撮像装置で画像データを生成する手法に関す
る。より具体的に、発明の実施形態は光の３原色に対応するＲ（赤）、Ｇ（緑）、および
Ｂ（青）の微細カラーフィルターのモザイク配置を有するカラーフィルターアレイの画像
におけるエッジを検出する手法に関する。
【背景技術】
【０００２】
デジタル手法の進歩につれ、画像は一般的にデジタルデータ（画像データ）として処理
される。デジタルカメラなどの撮像装置は取り込まれた画像を画像データの形で直ちに出
力することを可能にする。撮像装置は通常光強度を電気信号に転換する小さい要素からな
る電子画像センサーを備えている。撮像装置は光学系により被写体の取り込み画像を画像
センサーに焦点合わせし、個々の要素における光強度を電気信号として検出し画像データ
を生成する。光学系に入射する光は光の３原色に対応する３つの色成分Ｒ、Ｇ、およびＢ
に分割することができる。３つの色成分Ｒ，Ｇ，Ｂ各々の色光は画像センサーに向けられ
、センサーにより得られた各々の色成分の光強度を表す電気信号が出力され、色画像デー
タを生成する。
【０００３】
光学系に入射する光の分割として得られる３つの色成分Ｒ，Ｇ，Ｂの各々の色光を画像
センサーにより取得する最も簡単な方法は分光プリズムを用いて入射光を３つの色成分Ｒ
，Ｇ，Ｂの色光に分割し、各々の色光を画像センサーに焦点合わせして各々の色成分Ｒ，
Ｇ，Ｂに冠する画像データを生成する。この方法は３つの画像センサーを必要とするので
望ましくない。広く用いられる手法の１つは１つの画像センサーにより色成分Ｒ，Ｇ，Ｂ
の各々を検出をするために色成分Ｒ，Ｇ，Ｂの１つを画像センサーを構成する要素の各々
に割り当てる。この手法の典型的な構成は色成分Ｒの検出に割り当てられた要素の前にあ
る色成分Ｒのみの伝送を許す小さいカラーフィルター、色成分Ｇの検出に割り当てられた
要素の前にある色成分Ｇのみの伝送を許す小さいカラーフィルター、および色成分Ｂの検
出に割り当てられた要素の前にある色成分Ｂのみの伝送を許す小さいカラーフィルターを
備える。この構成は１つの画像センサーにより３つの色成分Ｒ，Ｇ，Ｂの画像データを同
時に検出することを可能にする。１つの画像センサーにより各々の色成分Ｒ，Ｇ，Ｂを検
出する手法において、所定の色成分（例、色成分Ｒ）の検出に割り当てられた各要素は他
の色成分（例、色成分Ｇおよび色成分Ｂ）を検出することができない。従って得られた画
像データは色成分Ｒのピクセル、色成分Ｇのピクセル、および色成分Ｂのピクセルのモザ
イク配置を有する。各ピクセルにおいて欠けている色成分を隣接ピクセルの色成分で補間
することにより、すべてのピクセルにおいてすべての色成分Ｒ，Ｇ，Ｂの設定を備えたカ
ラー画像データの生成が可能になる。
【０００４】
３つの色成分Ｒ，Ｇ，Ｂの分割色光を電気信号に転換し各々の色成分Ｒ，Ｇ，Ｂの画像
データを生成するのに３つの画像センサーに頼る撮像装置は時に「３画像センサー」装置
と呼ばれる。１つの画像センサーのみを用いてモザイク配置の画像データを生成し補間に
より欠けている色成分を演算する撮像装置は時に「単一画像センサー」装置と呼ばれる。
モザイク配置の画像データにおいてかけている色成分を補間してすべての色成分Ｒ，Ｇ，
Ｂの設定を備えたカラー画像データを生成するプロセスは時に「モザイク解除プロセス」
と呼ばれる。
【０００５】
モザイク解除、空間的補間、および画像の雑音除去や向上など画像処理操作のいくつか
は取り込まれた画像データに存在するエッジに沿って処理操作を導き、それにより処理エ
ラーを避けるためにエッジ検出に頼る。エッジは画像内の物体の形を示すのでデジタル画
像の重要な特徴である（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】米国特許第７２４５３２６号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００７】
典型的なエッジ検出プロセスは所定または適応閾値を有する２つ以上のピクセル間の勾
配、二乗差、または他の何らかの距離もしくは類似（相違）尺度を比較することが関わる
。このような比較により真のエッジと画像に存在するデータの変動および雑音による信号
の不連続とを区別することができる。しかし、典型的なエッジ検出プロセスにおいて適応
閾値の使用は計算上要求が多い一方、固定閾値は変化する統計データを有する複雑なシナ
リオの画像における正確なエッジ検出ができないかもしれない。
【０００８】
消費者が撮像装置からより優れた画質をさらに求めるにつれ、モザイク解除、サイズ変
更、雑音除去、および鮮明化などの画像処理操作で使用する効率的かつ正確なエッジ検出
手法の開発がおおいに要求されている。
【課題を解決するための手段】
【０００９】
本発明の画像処理装置は、各ピクセルにおいて光の３原色に対応するＲ成分、Ｇ成分お
よびＢ成分の３つの色成分の内１つの色成分のみの設定を有するモザイク画像データを受
信し、前記受信されたモザイク画像データに一連の画像処理を施し、前記モザイク画像デ
ータにおいてエッジが通るピクセルを特定するエッジマップを生成する画像処理装置であ
って、前記モザイク画像データは、前記Ｇ成分のピクセルおよび別の色成分として前記Ｒ
成分のピクセルが垂直方向に交互配置のピクセル列と、前記Ｇ成分のピクセルおよび別の
色成分として前記Ｂ成分のピクセルが前記垂直方向に交互配置のピクセル列と、前記Ｇ成
分のピクセルおよび別の色成分として前記Ｒ成分のピクセルが水平方向に交互配置のピク
セル行と、前記Ｇ成分のピクセルおよび別の色成分として前記Ｂ成分のピクセルが前記水
平方向に交互配置のピクセル行と、の組み合わせで表され、前記画像処理装置は、垂直の
周辺の利用可能な成分を用いて別の色成分のピクセル位置における前記Ｇ成分を取得し、
または前記Ｇ成分のピクセル位置における別の色成分を取得して、前記モザイク画像のピ
クセル列の各々に含まれる各ピクセルにおいて前記Ｇ成分および別の色成分間で垂直方向
色差成分を演算するよう構成される垂直方向色差成分演算モジュールと、水平の周辺の利
用可能な色成分を用いて別の色成分のピクセル位置における前記Ｇ成分を取得し、または
前記Ｇ成分のピクセル位置における別の色成分を取得して、前記モザイク画像のピクセル
行の各々に含まれる各ピクセルにおいて前記Ｇ成分および別の色成分間で水平方向色差成
分を演算するよう構成される水平方向色差成分演算モジュールと、前記モザイク画像から
ピクセルを選択し、そのようなピクセル位置各々において目標ピクセルの前記垂直方向色
差成分の記号を前記目標ピクセルの上と下にあるピクセルの前記垂直方向色差成分の記号
と比較するとともに、前記目標ピクセルの水平方向色差成分の記号を前記目標ピクセルの
左と右にあるピクセルの前記水平方向色差成分の記号と比較し、１つ以上の比較における
前記記号が等しくない場合前記エッジマップの対応するエッジマップ値を１に設定し、す
べての比較における前記記号が等しい場合は前記エッジマップの対応するエッジマップ値
を０に設定するよう構成されるエッジ検出モジュールとを有することを特徴とする。
【００１０】
また、本発明の画像処理装置において、さらにモザイク解除、サイズ変更、雑音除去、
または鮮明化操作の１つで前記エッジマップを用いるよう構成されることを特徴とする。
【００１１】
また、本発明の画像処理装置において、前記エッジ検出モジュールは、前記モザイク画
像データに含まれる前記Ｒ成分のピクセルおよび前記Ｂ成分のピクセルのみ、または前記
Ｇ成分のピクセルのみを選択するよう構成されることを特徴とする。
【００１２】
また、本発明の画像処理装置において、前記エッジマップの値を選択し、かかる目標値
の位置各々において前記目標値が１に等しいか判定し、前記目標値が１に等しい場合前記
目標値の各角における値を合計し、前記合計が０に等しいか判定し、前記合計が０に等し
い場合前記目標値を０に変更するよう構成されるエッジマップ増強モジュールをさらに有
することを特徴とする。
【００１３】
また、本発明の画像処理装置において、前記エッジマップの値を選択し、かかる目標値
の位置各々において前記目標値が０に等しいか判定し、前記目標値が０に等しい場合前記
目標値の各角における値を合計し、前記合計が２を超えるか判定し、前記合計が２を超え
る場合前記目標値を１に変更するよう構成されるエッジマップ増強モジュールをさらに有
することを特徴とする。
【００１４】
また、本発明の画像処理装置において、前記エッジマップ増強モジュールはさらに、前
記エッジマップの値を選択し、かかる目標値の位置各々において前記目標値が０に等しい
か判定し、前記目標値が０に等しい場合前記目標値の上、下、左側、および右側にあるピ
クセルの４つの値を合計し、前記合計が２を超えるか判定し、前記合計が２を超える場合
前記目標値を１に変更するよう構成されることを特徴とする。
【００１５】
また、本発明の画像処理装置において、さらに反復的エッジマップ増強プロセスを実施
するよう構成される反復的エッジマップ増強モジュールを有し、前記反復的エッジマップ
増強モジュールは、ａ）前記エッジマップの値を選択し、かかる目標値の位置各々におい
て前記目標値が０に等しいか判定するステップと、ｂ）前記目標値が０に等しい場合前記
目標値の各角における値を合計し、前記合計が２を超えるか判定し、前記合計が２を超え
る場合前記目標値を１に変更するステップと、ｃ）前記目標値が０に等しい場合前記目標
値の上、下、左側、および右側にあるピクセルの４つの値を合計し、前記合計が２を超え
るか判定し、前記合計が２を超える場合前記目標値を１に変更するステップと、ｄ）前記
ステップａ）、前記ステップｂ）および前記ステップｃ）を少なくとも１回繰り返すステ
ップと、を有することを特徴とする。
【００１６】
一方、本発明の画像処理方法は、各ピクセルにおいて光の３原色に対応するＲ成分、Ｇ
成分およびＢ成分の３つの色成分の内１つの色成分のみの設定を有するモザイク画像デー
タを受信し、前記受信されたモザイク画像データに一連の画像処理を施し、前記モザイク
画像データにおいてエッジが通るピクセルを特定するエッジマップを生成する画像処理方
法であって、前記Ｇ成分のピクセルおよび別の色成分として前記Ｒ成分のピクセルが垂直
方向に交互配置のピクセル列と、前記Ｇ成分のピクセルおよび別の色成分として前記Ｂ成
分のピクセルが前記垂直方向に交互配置のピクセル列と、前記Ｇ成分のピクセルおよび別
の色成分として前記Ｒ成分のピクセルが水平方向に交互配置のピクセル行と、前記Ｇ成分
のピクセルおよび別の色成分として前記Ｂ成分のピクセルが前記水平方向に交互配置のピ
クセル行と、の組み合わせで表される画像データをモザイク画像データとして受信するス
テップと、前記モザイク画像データの各ピクセル列に含まれる各ピクセルにおける前記Ｇ
成分および別の色成分を取得し、前記垂直方向における各ピクセル列に含まれる各ピクセ
ルにおける前記Ｇ成分と前記別の色成分との間の垂直方向色差成分を演算するステップと
、前記モザイク画像データの各ピクセル行に含まれる各ピクセルにおける前記Ｇ成分およ
び前記別の色成分を取得し、前記水平方向における各ピクセル行に含まれる各ピクセルに
おける前記Ｇ成分と前記別の色成分との間の水平方向色差成分を演算するステップと、前
記モザイク画像からピクセルを選択し、そのようなピクセル位置各々において目標ピクセ
ルの前記垂直方向色差成分の記号を前記目標ピクセルの上と下にあるピクセルの前記垂直
方向色差成分の記号と比較し、前記目標ピクセルの前記水平方向色差成分の記号を目標ピ
クセルの左と右にあるピクセルの前記水平方向色差成分の記号と比較し、１つ以上の比較
における前記記号が等しくない場合前記エッジマップの対応するエッジマップ値を１に設
定し、すべての比較における前記記号が等しい場合は前記エッジマップの対応する前記エ
ッジマップ値を０に設定するステップとを有することを特徴とする。
【００１７】
また、本発明の画像処理方法において、モザイク解除、サイズ変更、雑音除去、または
鮮明化操作の１つで前記エッジマップを用いるステップをさらに有することを特徴とする
。
【００１８】
また、本発明の画像処理方法において、前記モザイク画像データからピクセルを選択す
るステップは、前記モザイク画像データに含まれる前記Ｒ成分のピクセルおよび前記Ｂ成
分のピクセルのみ、または前記Ｇ成分のピクセルのみを選択するステップを有することを
特徴とする。
【００１９】
また、本発明の画像処理方法において、前記エッジマップの値を選択し、かかる目標値
の位置各々において前記目標値が１に等しいか判定し、前記目標値が１に等しい場合前記
目標値の各角における値を合計し、前記合計が０に等しいか判定し、前記合計が０に等し
い場合目標値を０に変更するステップをさらに有することを特徴とする。
【００２０】
また、本発明の画像処理方法において、前記エッジマップの値を選択し、かかる目標値
の位置各々において前記目標値が０に等しいか判定し、前記目標値が０に等しい場合前記
目標値の各角における値を合計し、前記合計が２を超えるか判定し、前記合計が２を超え
る場合目標値を１に変更するステップをさらに有することを特徴とする。
【００２１】
また、本発明の画像処理方法において、前記エッジマップの値を選択し、かかる目標値
の位置各々において前記目標値が０に等しいか判定し、前記目標値が０に等しい場合前記
目標値の上、下、左側、および右側にあるピクセルの４つの値を合計し、前記合計が２を
超えるか判定し、前記合計が２を超える場合前記目標値を１に変更するステップをさらに
有することを特徴とする。
【００２２】
また、本発明の画像処理方法において、ａ）前記エッジマップの値を選択し、かかる目
標値の位置各々において前記目標値が０に等しいか判定するステップと、ｂ）前記目標値
が０に等しい場合前記目標値の各角における値を合計し、前記合計が２を超えるか判定し
、前記合計が２を超える場合前記目標値を１に変更するステップと、ｃ）前記目標値が０
に等しい場合前記目標値の上、下、左側、および右側にあるピクセルの４つの値を合計し
、前記合計が２を超えるか判定し、前記合計が２を超える場合前記目標値を１に変更する
ステップと、ｄ）前記ステップａ）、前記ステップｂ）および前記ステップｃ）を少なく
とも１回繰り返すステップとをさらに有することを特徴とする。
【００２３】
ここで、本発明のコンピューター読み取り可能な媒体は、各ピクセルにおいて光の３原
色に対応するＲ成分、Ｇ成分およびＢ成分の３つの色成分の内１つの色成分のみの設定を
有するモザイク画像データを受信し、前記受信されたモザイク画像データに一連の画像処
理を施し、前記モザイク画像データにおいてエッジが通るピクセルを特定するエッジマッ
プを生成する方法をコンピューターに実現させるプログラムを有するコンピューター読み
取り可能な媒体であって、前記プログラムは、前記Ｇ成分のピクセルおよび別の色成分と
して前記Ｒ成分のピクセルが垂直方向に交互配置のピクセル列と、前記Ｇ成分のピクセル
および別の色成分として前記Ｂ成分のピクセルが前記垂直方向に交互配置のピクセル列と
、前記Ｇ成分のピクセルおよび別の色成分として前記Ｒ成分のピクセルが水平方向に交互
配置のピクセル行と、前記Ｇ成分のピクセルおよび別の色成分として前記Ｂ成分のピクセ
ルが前記水平方向に交互配置のピクセル行と、の組み合わせで表される画像データをモザ
イク画像データとして受信するステップと、前記モザイク画像データの各ピクセル列に含
まれる各ピクセルにおける前記Ｇ成分および別の色成分を取得し、前記垂直方向における
各ピクセル列に含まれる各ピクセルにおける前記Ｇ成分と別の色成分との間の垂直方向色
差成分を演算するステップと、前記モザイク画像データの各ピクセル行に含まれる各ピク
セルにおける前記Ｇ成分および別の色成分を取得し、水平方向における各ピクセル行に含
まれる各ピクセルにおける前記Ｇ成分と別の色成分との間の水平方向色差成分を演算する
ステップと、前記モザイク画像からピクセルを選択し、そのようなピクセル位置各々にお
いて目標ピクセルの前記垂直方向色差成分の記号を前記目標ピクセルの上と下にあるピク
セルの前記垂直方向色差成分の記号と比較し、前記目標ピクセルの前記水平方向色差成分
の記号を前記目標ピクセルの左と右にあるピクセルの前記水平方向色差成分の記号と比較
し、１つ以上の比較における前記記号が等しくない場合前記エッジマップの対応するエッ
ジマップ値を１に設定し、すべての比較における前記記号が等しい場合は前記エッジマッ
プの対応するエッジマップ値を０に設定するステップと、の機能をコンピューターに達成
させることを特徴とする。
【００２４】
また、本発明のコンピューター読み取り可能な媒体において、前記プログラムは、モザ
イク解除、サイズ変更、雑音除去、または鮮明化操作の１つで前記エッジマップを用いる
ステップをさらにコンピューターに達成させることを特徴とする。
【００２５】
また、本発明のコンピューター読み取り可能な媒体において、前記モザイク画像データ
からピクセルを選択するステップは、前記モザイク画像データに含まれる前記Ｒ成分のピ
クセルおよび前記Ｂ成分のピクセルのみ、または前記Ｇ成分のピクセルのみを選択するス
テップをさらに有することを特徴とする。
【００２６】
また、本発明のコンピューター読み取り可能な媒体において、前記プログラムは、前記
エッジマップの値を選択し、かかる目標値の位置各々において前記目標値が１に等しいか
判定し、前記目標値が１に等しい場合前記目標値の各角における値を合計し、前記合計が
０に等しいか判定し、前記合計が０に等しい場合前記目標値を０に変更するステップをさ
らにコンピューターに達成させることを特徴とする。
【００２７】
また、本発明のコンピューター読み取り可能な媒体において、前記プログラムは、前記
エッジマップの値を選択し、かかる目標値の位置各々において前記目標値が０に等しいか
判定し、前記目標値が０に等しい場合前記目標値の各角における値を合計し、前記合計が
２を超えるか判定し、前記合計が２を超える場合前記目標値を１に変更するステップをさ
らにコンピューターに達成させることを特徴とする。
【００２８】
また、本発明のコンピューター読み取り可能な媒体において、前記プログラムは、前記
エッジマップの値を選択し、かかる目標値の位置各々において前記目標値が０に等しいか
判定し、前記目標値が０に等しい場合前記目標値の上、下、左側、および右側にあるピク
セルの４つの値を合計し、前記合計が２を超えるか判定し、前記合計が２を超える場合前
記目標値を１に変更するステップをさらにコンピューターに達成させることを特徴とする
。
【００２９】
また、本発明のコンピューター読み取り可能な媒体において、前記プログラムは、ａ）
前記エッジマップの値を選択し、かかる目標値の位置各々において前記目標値が０に等し
いか判定するステップと、ｂ）前記目標値が０に等しい場合前記目標値の各角における値
を合計し、前記合計が２を超えるか判定し、前記合計が２を超える場合前記目標値を１に
変更するステップと、ｃ）前記目標値が０に等しい場合前記目標値の上、下、左側、およ
び右側にあるピクセルの４つの値を合計し、前記合計が２を超えるか判定し、前記合計が
２を超える場合前記目標値を１に変更するステップと、ｄ）前記ステップａ）、前記ステ
ップｂ）および前記ステップｃ）を少なくとも１回繰り返すステップとをさらにコンピュ
ーターに達成させることを特徴とする。
【図面の簡単な説明】
【００３０】
【図１】本発明の一実施形態において画像処理装置を備えたデジタルカメラの構成の概略図である。
【図２】図１における画像処理装置に含まれるカラーフィルターアレイおよび画像センサーの構造を示す概念図である。
【図３】実施形態の画像処理装置により実行され、生の画像データからエッジマップを生成し増強させるエッジ検出プロセスを示すフローチャートである。
【図４】生の画像データを色差成分のデータに変換するプロセスを概念的に示す図である。
【図５】生の画像データから色差成分を計算する計算式を示す。
【図６】図３のエッジ検出プロセスにおいて実施形態の画像処理装置により実行されるエッジマップ作成プロセスの詳細を示すフローチャートである。
【図７】色差成分のデータからのエッジマップの作成を示す図である。
【図８】図３のエッジ検出プロセスにおいて実施形態の画像処理装置により実行されるエッジマップ増強プロセスの詳細を示すフローチャートである。
【図９】エッジマップの増強を示す。
【図１０】図３のエッジ検出プロセスにおいて実施形態の画像処理装置により実行される反復的エッジマップ増強プロセスの詳細を示すフローチャートである。
【図１１】エッジマップの反復的増強を示す。
【発明を実施するための形態】
【００３１】
はじめに本発明の各態様を記載する。
【００３２】
前述の要求の少なくとも一部を達成するために、発明の一態様は各ピクセルにおいて光
の３原色に対応する３つの色成分Ｒ，Ｇ，Ｂの内１つの色成分のみの設定を有するモザイ
ク画像データを受信し、受信されたモザイク画像データに一連の画像処理を施し、モザイ
ク画像データにおいてエッジが通るピクセルを特定するエッジマップを生成する画像処理
装置に向けられる。モザイク画像データはＧ成分のピクセルおよび別の色成分としてＲ成
分のピクセルが垂直方向に交互配置のピクセル列、Ｇ成分のピクセルおよび別の色成分と
してＢ成分のピクセルが垂直方向に交互配置のピクセル列、Ｇ成分のピクセルおよび別の
色成分としてＲ成分のピクセルが水平方向に交互配置のピクセル行、およびＧ成分のピク
セルおよび別の色成分としてＢ成分のピクセルが水平方向に交互配置のピクセル行の組み
合わせで表される。
【００３３】
画像処理装置は２方向の色差演算モジュールおよびエッジ検出モジュールを含む。垂直
方向の色差成分演算モジュールは垂直の周辺の利用可能な成分を用いて別の色成分のピク
セル位置におけるＧ成分を取得し、またはＧ成分のピクセル位置における別の色成分を取
得して、モザイク画像のピクセル列の各々に含まれる各ピクセルにおいてＧ成分および別
の色成分間で垂直方向の色差成分を演算するよう構成される。水平方向の色差成分演算モ
ジュールは水平の周辺の利用可能な色成分を用いて別の色成分のピクセル位置におけるＧ
成分を取得し、またはＧ成分のピクセル位置における別の色成分を取得して、モザイク画
像のピクセル行の各々に含まれる各ピクセルにおいてＧ成分および別の色成分間で垂直方
向の色差成分を演算するよう構成される。
【００３４】
エッジ検出モジュールはモザイク画像からピクセルを選択し、そのようなピクセル位置
各々において目標ピクセルの垂直色差成分の記号を目標ピクセルの上と下にあるピクセル
の垂直色差成分の記号と比較するよう構成される。エッジ検出モジュールはさらに目標ピ
クセルの水平色差成分の記号を目標ピクセルの左と右にあるピクセルの水平色差成分の記
号と比較するよう構成される。エッジ検出モジュールは次に１つ以上の比較における記号
が等しくない場合エッジマップの対応するエッジマップ値を１に設定し、すべての比較に
おける記号が等しい場合はエッジマップの対応するエッジマップ値を０に設定するよう構
成される。
【００３５】
本発明の別の態様は上記構成の画像処理装置に対応する画像処理方法である。画像処理
方法は各ピクセルにおいて光の３原色に対応する３つの色成分Ｒ，Ｇ，Ｂの内１つの色成
分のみの設定を有するモザイク画像データを受信し、受信されたモザイク画像データに一
連の画像処理を施し、モザイク画像データにおいてエッジが通るピクセルを特定するエッ
ジマップを生成する。
【００３６】
画像処理方法はモザイク画像データとして、Ｇ成分のピクセルおよび別の色成分として
Ｒ成分のピクセルが垂直方向に交互配置のピクセル列、Ｇ成分のピクセルおよび別の色成
分としてＢ成分のピクセルが垂直方向に交互配置のピクセル列、Ｇ成分のピクセルおよび
別の色成分としてＲ成分のピクセルが水平方向に交互配置のピクセル行、およびＧ成分の
ピクセルおよび別の色成分としてＢ成分のピクセルが水平方向に交互配置のピクセル行の
組み合わせで表される画像データを受信する。画像処理方法はその後モザイク画像データ
の各ピクセル列に含まれる各ピクセルにおけるＧ成分および別の色成分を補間により取得
し、垂直方向における各ピクセル列に含まれる各ピクセルにおけるＧ成分および別の色成
分間の垂直方向色差成分を演算する。同様に画像処理方法はモザイク画像データの各ピク
セル行に含まれる各ピクセルにおけるＧ成分および別の色成分を補間により取得し、水平
方向における各ピクセル行に含まれる各ピクセルにおけるＧ成分および別の色成分間の水
平方向色差成分を演算する。
【００３７】
画像処理方法は次にモザイク画像からピクセルを選択し、そのようなピクセル位置各々
において目標ピクセルの垂直色差成分の記号を目標ピクセルの上と下にあるピクセルの垂
直色差成分の記号と比較する。画像処理方法はさらに目標ピクセルの水平色差成分の記号
を目標ピクセルの左と右にあるピクセルの水平色差成分の記号と比較する。画像処理方法
は次に１つ以上の比較における記号が等しくない場合エッジマップの対応するエッジマッ
プ値を１に設定し、すべての比較における記号が等しい場合はエッジマップの対応するエ
ッジマップ値を０に設定する。
【００３８】
本発明は添付図面に基づき以下の順序で下記に説明する好ましい実施形態を参照してよ
り良く理解できる。
【００３９】
Ａ．システム構成
Ｂ．エッジ検出プロセスの概要
Ｃ．エッジマップ作成プロセス
Ｄ．エッジマップ増強プロセス
Ｅ．反復的エッジマップ増強プロセス
【００４０】
Ａ．システム構成
図１は発明の一実施形態における画像処理装置を備えるデジタルカメラ１００の構成を
概略的に図示する。図示されるように、デジタルカメラ１００は複数レンズのグループを
有する光学系１０、光学系１０により形成される被写体の画像を電気信号に変換する撮像
アッセンブリ２０、および撮像アッセンブリ２０から電気信号を受信し受信電気信号に一
連の所定の画像処理を施して色画像データを生成する画像処理装置３０を含む。
【００４１】
撮像アッセンブリ２０は光強度を電気信号に変換する複数の微細撮像要素の二次元配置
を備えた画像センサー２４を有する。画像センサー２４の前にカラーフィルターアレイ２
２が備えられ、Ｒ（赤）、Ｇ（緑）、およびＢ（青）の微細カラーフィルターのモザイク
配置を有する。カラーフィルターアレイ２２を構成する色成分Ｒ，Ｇ，Ｂのカラーフィル
ターの配置は詳細に後述される。Ｒカラーフィルター、Ｇカラーフィルター、およびＢカ
ラーフィルターは各々Ｒ色光の透過、Ｇ色光の透過、およびＢ色光の透過を可能にするよ
う構成される。画像センサー２４はカラーフィルターアレイ２２における色成分Ｒ，Ｇ，
Ｂのカラーフィルターのモザイク配置に従いＲ光強度に感応する画像部分、Ｇ光強度に感
応する画像部分、およびＢ光強度に感応する画像部分のモザイク配置を有する画像データ
を取り込む。
【００４２】
デジタルカメラ１００に搭載される画像処理装置３０はモザイク配置の画像データを撮
像アッセンブリ２０から受信しＲ成分、Ｇ成分、およびＢ成分の設定を各々のピクセルに
有する色画像データを生成する。実施形態の画像処理装置３０において、ＣＰＵ、ＲＯＭ
、ＲＡＭ、およびデータ入出力インターフェイス（Ｉ／Ｆ）は互いのデータ伝送を可能に
するためにバスで相互接続されている。ＣＰＵはＲＯＭに記憶されるプログラムに従い一
連の処理操作を行ない色画像データを生成する。このように生成された結果の色画像デー
タは外部出力端子４０経由で外付け装置に出力されることができ、または外付けの記録媒
体５０に出力されることができる。
【００４３】
画像センサー２４により取り込まれたＲ成分、Ｇ成分、およびＢ成分のモザイク配置を
有する画像データはソースデータとして使用され、Ｒ成分、Ｇ成分、およびＢ成分の設定
を各々のピクセルに有する色画像データを生成するために画像処理装置３０により参照さ
れる。画像センサー２４により取り込まれたモザイク配置の画像データは従って以後「生
の画像データ」と呼ぶことができる。
【００４４】
図２はカラーフィルターアレイ２２および画像センサー２４の構造を示す概念図である
。上述のように、画像センサー２４は光強度に対応する電気信号を出力する微細な撮像要
素の二次元配置を有する。図２に示される例において、微細な撮像要素は格子パターンに
配置される。画像センサー２４の格子パターンにおける小さな長方形各々は１個の撮像要
素を表す。
【００４５】
カラーフィルターアレイ２２は画像センサー２４を構成する複数の撮像要素各々の位置
に対応するＲ色成分、Ｇ色成分、およびＢ色成分の１つを有する。図２において、まばら
な斜線の長方形、密な斜線の長方形、および斜線のない無地の長方形は各々Ｒからフィル
ター、Ｂカラーフィルター、およびＧカラーフィルターを示す。Ｒカラーフィルター、Ｇ
カラーフィルター、およびＢカラーフィルターの配置において、Ｇカラーフィルターが最
初に互いに斜めになり市松模様のパターンを形成するよう位置付けされる。つまりＧカラ
ーフィルターはカラーフィルターアレイ２２の面積の半分を占める。次に同じ数のＲカラ
ーフィルターとＢカラーフィルターがカラーフィルターアレイ２２の面積の残る半分に均
等に配置される。もたらされた図２に示されるこの配置のカラーフィルターアレイ２２は
ベイヤーカラーフィルターアレイと呼ばれる。
【００４６】
上述のように、Ｇカラーフィルター、Ｒカラーフィルター、およびＢカラーフィルター
は各々Ｇ色光のみの透過、Ｒ色光のみの透過、およびＢ色光のみの透過を可能にするよう
設計されている。従って画像センサー２４は図２に示されるように画像センサー２４の前
に位置するカラーフィルターアレイ２２の機能によりモザイク配置の画像データを取り込
む。モザイク配置の画像データは通常の画像データと同じ方法処理することはできず、直
接画像を表現することはできない。画像処理装置３０はモザイク配置の画像データ（生の
画像データ）を受信し、各々のピクセルにＲ成分、Ｇ成分、およびＢ成分の設定を有する
通常の色画像データを生成する。
【００４７】
Ｂ．エッジ検出プロセスの概要
図３は実施形態の画像処理装置３０が生の画像データからエッジマップを生成し増強す
るために実行するエッジ検出プロセスを示すフローチャートである。本実施形態の構造に
おいて、画像処理装置３０に含まれるＣＰＵがコンピューター読み取り可能な媒体に記憶
されたプログラムとして具現され得るソフトウェア構成によりこのエッジマップ生成およ
び増強を実行する。しかしこれは不可欠ではなく、例えば信号プロセッサーなどの特定ハ
ードウェア要素を同じ目的に使用することができる。
【００４８】
詳細に後述されるように、提案されるエッジ検出はモザイクの生の画像データから生成
される色差信号で機能する。色差は単一センサーカメラの画像処理の不可欠なステップで
あるモザイク解除に広く使用されるので、この特徴は本明細書で開示されるエッジ検出プ
ロセスがモザイク解除と比べ演算リソースの追加を最小限にして効率的に実施されること
を可能にする。このように、本明細書で開示されるエッジ検出プロセスは比較的簡単で、
高速で実行できる。さらに、色差を用いたモザイク解除は通常異なる極性の色差信号が存
在する部分において相当なエラーをもたらすので、本明細書で開示されるエッジ検出を行
なうことによりモザイク解除プロセスの処理精度が非常に向上し得る。これは本明細書で
開示されるエッジ検出プロセスを通常のエッジ検出ソリューションから区別する点である
。
【００４９】
エッジ検出プロセスの開始において、ＣＰＵはまず画像センサー２４から生の画像デー
タをソースデータとして受信し（ステップＳ１００）、詳細に後述するように受信された
生の画像データを色差成分のデータに変換する（ステップＳ１０２）。
【００５０】
図４は生の画像データを色差成分のデータに変換するプロセスを概念的に示す。図４の
上部は画像センサー２４から読み取られた生の画像データの概念図を示す。カラーフィル
ターアレイ２２で得られた生の画像データはＲ成分、Ｇ成分、およびＢ成分のモザイク配
置を有する。生の画像データにおいて水平方向はＧピクセル（Ｇ成分を有するピクセル）
とＲピクセル（Ｒ成分を有するピクセル）を交互に配置したピクセル行と、Ｇピクセルと
Ｂピクセル（Ｂ成分を有するピクセル）を交互に配置したピクセル行の２種類のみのピク
セル行がある。生の画像データにおいて垂直方向も同様にＧピクセルとＲピクセルを交互
に配置したピクセル行と、ＧピクセルとＢピクセルを交互に配置したピクセル行の２種類
のみのピクセル行がある。図４の中央は生の画像データが水平方向にはＧピクセルとＲピ
クセルを交互にしたピクセル行およびＧピクセルとＢピクセルを交互にしたピクセル行の
みからなる一方、垂直方向にはＧピクセルとＲピクセルを交互にしたピクセル行およびＧ
ピクセルとＢピクセルを交互にしたピクセル行のみからなることを概念的に示す。
【００５１】
この観察結果に基づき、本実施形態のエッジ検出プロセスはＲ成分、Ｇ成分、およびＢ
成分の生の画像データを水平方向の色成分の差（水平方向色差成分）を表すデータおよび
垂直方向の色成分の差（垂直方向色差成分）を表すデータに変換する。例えば、生の画像
データはＧピクセルとＲピクセルを交互にしたピクセル行またはピクセル列に関しＧ成分
とＲ成分との色差成分のデータに変換される。同様に生の画像データはＧピクセルとＢピ
クセルを交互にしたピクセル行またはピクセル列に関しＧ成分とＢ成分との色差成分のデ
ータに変換される。色差成分を計算するための計算式は詳細に後述される。
【００５２】
図４の下部はこのようにして得られた水平方向および垂直方向における色差成分を示す
。下部の左側の図は垂直方向の生の画像データを処理することにより得られた色差成分Δ
ν(r,s)を示す。中央に示すように、斜線のあるピクセル列の各々はＧピクセルとＢピク
セルを交互にしたピクセル列である。従ってこのピクセル列の各色差成分Δν(r,s)はＧ
成分とＢ成分との間の色差成分を表す。残る斜線のないピクセル列の各々はＧピクセルと
Ｒピクセルを交互にしたピクセル列である。従ってこのピクセル列の各色差成分Δν(r,s
)はＧ成分とＲ成分との間の色差成分を表す。水平方向の生の画像データも同様に処理で
きる。斜線のあるピクセル行の各々はＧピクセルとＢピクセルとの間の色差成分Δh(r,s)
を与える。残る斜線のないピクセル行の各々はＧピクセルとＲピクセルとの間の色差成分
Δh(r,s)を与える。
【００５３】
図５は生の画像データから色差成分を計算する計算式を示す。図５（ａ）は垂直方向の
色差成分Δν(r,s)を計算する計算式を示し、図５（ｂ）は水平方向の色差成分Δh(r,s)
を計算する計算式を示す。これらの計算式において、「ｚ」は画像センサー２４により得
られた生の画像データの値をしめし、ｚ(r,s)は画像に配置された元の位置から下方向に
ｒ番目のピクセル位置と元の位置から右方向にｓ番目のピクセル位置で定義される特定位
置における値を示す（図４の上部を参照）。
【００５４】
図５（ａ）を参照すると、垂直方向の色差成分Δν(r,s)を計算する計算式に関する。
色差成分Δν(r,s)の計算対象として目標ピクセルがＧ成分を有するピクセル（Ｇピクセ
ル）である場合、図５（ａ）の上の方の計算式が採用される。プロセスはまず目標ピクセ
ルの上および下のピクセル値の平均を計算し（すなわち点を含む鎖線で囲まれた第２項）
、計算された平均を目標ピクセルのＧ成分（すなわち破線で囲まれた第１項）から引いて
目標ピクセルの垂直方向の色差成分Δν(r,s)を計算する。色差成分Δν(r,s)の計算にお
ける目標ピクセルはＧピクセルであるので、目標ピクセルの色調値ｚ(r,s)は当然Ｇ成分
である。第２項における要素ｚ(r-1,s)は目標ピクセルの上にある上側ピクセルにおける
生の画像データの色調値を示す一方、第２項における要素ｚ(r-1,s)は目標ピクセルの下
にある下側ピクセルにおける生の画像データの色調値を示す。図４に関し上述のように、
目標のＧピクセルの上と下にある上側および下側ピクセルはＲピクセルまたはＢピクセル
であり得るが、常に同一色成分のピクセルである。図５（ａ）の上側の計算式において点
を含む鎖線で囲まれた第２項は従って上側および下側ピクセル（すなわちＲピクセルまた
はＢピクセルのいずれか）の値から計算されたＲ成分またはＢ成分を表す。図５（ａ）の
上側の計算式を適用することはＲピクセルまたはＢピクセルとしての上側および下側ピク
セルに拘らずＧ成分を有するピクセル（Ｇピクセル）に関し垂直方向の色差成分Δν(r,s
)を決定する。
【００５５】
上側および下側ピクセルとしてのＲピクセルおよびＢピクセルに同一の計算式を適用す
ると２つの異なる色差成分Δν(r,s)が与えられることが特記される。上側および下側ピ
クセルがＲピクセルの場合、もたらされる垂直方向の色差成分Δν(r,s)はＧ成分とＲ成
分との色差成分を表す。逆に上側および下側ピクセルがＢピクセルの場合、もたらされる
垂直方向の色差成分Δν(r,s)はＧ成分とＢ成分との色差成分を表す。垂直方向における
色差成分Δν(r,s)はＧピクセル以外のピクセル（すなわちＲピクセルおよびＢピクセル
）に関して同様に計算できる。例えば、色差成分Δν(r,s)の計算対象としての目標ピク
セルがＲピクセルである場合、目標ピクセルの上と下にあるピクセルは図４に関し上述の
ようにＧピクセルである。上側および下側ピクセルの値の平均は目標ピクセルにおけるＧ
成分を色差成分Δν(r,s)の計算の対象として指定すると考えられる。指定されたＧ成分
から目標ピクセルの色調値（この場合はＲ成分）を引くと色差成分Δν(r,s)が決定され
る。目標ピクセルとして各Ｂピクセルのセットに同じ一連の処理が施される。図５（ａ）
の下側の計算式に示されるように、Ｇピクセル以外のピクセルに関しては、右側の点を含
む鎖線で囲まれた第２項（非Ｇ成分のピクセル）を破線で囲まれた第１項（推定Ｇ成分の
ピクセル）から引くと垂直方向における色差成分Δν(r,s)が与えられる。
【００５６】
Ｇピクセルではなく、目標ピクセルとして設定されたＲピクセルおよびＢピクセル双方
に関して同一の計算式が垂直方向における色差成分Δν(r,s)の計算に適用できる。しか
し目標ピクセルとして処理されるＲピクセルおよびＢピクセルは２つの異なる種類の色差
成分Δν(r,s)をもたらすことが特記される。目標ピクセルがＲピクセルの場合、もたら
される色差成分Δν(r,s)はＧ成分とＲ成分との色差成分を表す。目標ピクセルがＢピク
セルの場合、もたらされる色差成分Δν(r,s)はＧ成分とＢ成分との色差成分を表す。
【００５７】
実施形態のエッジ検出プロセスは２つの異なる種類の色差成分Δν(r,s)に対する高度
処理について全く同一の計算式を適用する。同一計算式の適用は２つの異なる種類の色差
成分Δν(r,s)に対する高度処理について従来の単純な処理に匹敵する簡単さと高速を望
ましく達成する。しかし従来の単純な処理とは異なり、実施形態のこの高度処理は擬似色
を防ぎながら充分なモザイク解除を可能にする。
【００５８】
水平方向における色差成分Δh(r,s)は上述の垂直方向における色差成分Δν(r,s)と同
じように計算できる。図５（ｂ）を参照して色差成分Δh(r,s)の計算を簡単に説明する。
図５（ｂ）の上側の計算式で示されるように、右側の点を含む鎖線で囲まれた第２項を破
線に囲まれた第１項から引くと水平方向におけるＧピクセルの色差成分Δh(r,s)が与えら
れる。計算式において、要素ｚ(r,s)は色差成分計算の対象である目標ピクセルにおける
生の画像データの色調値（すなわちＧ成分）を表す。要素ｚ(r,s-1)は目標ピクセルの左
側にあるピクセルにおける生の画像データの色調値を示す一方、要素ｚ(r,s+1)は目標ピ
クセルの右側にあるピクセルにおける生の画像データの色調値を示す。目標Ｇピクセルの
左側および右側にあるこれらのピクセルはＲピクセルまたはＢピクセルであり得るが、常
に同一の色成分のピクセルである。
【００５９】
Ｇピクセル以外の目標ピクセルに関し（すなわちＲ目標ピクセルまたはＢ目標ピクセル
のいずれかに関し）水平方向の色差成分Δh(r,s)の計算において、ＲまたはＢ目標ピクセ
ルの左側および右側にあるピクセルはＧピクセルである。図５（ｂ）の下側の計算式に示
されるように、点を含む鎖線で囲まれた第２項（目標ピクセルの色調値）を破線で囲まれ
た第１項（左側および右側ピクセルの値の平均）から引くと水平方向の色差成分Δh(r,s)
が与えられる。
【００６０】
左側および右側にＲピクセルまたはＢピクセルを有する目標Ｇピクセルに関し、またＧ
ピクセル以外のＲピクセルおよびＢピクセル双方が目標ピクセルとして設定された場合に
関し、水平方向の色差成分Δh(r,s)の計算に同一計算式が適用できる。しかし計算は２つ
の異なる種類の色差成分Δh(r,s)、すなわちＧ成分とＲ成分との間の色差成分およびＧ成
分とＢ成分との間の色差成分、を与える。全く同一の計算式の適用は２つの異なる種類の
色差成分Δh(r,s)に対する高度処理について従来の単純な処理に匹敵する簡単さと高速を
望ましく達成する。
【００６１】
図５（ａ）と図５（ｂ）との比較からはっきりと理解されるように、垂直方向の色差成
分Δν(r,s)の計算に使用される計算式は水平方向の色差成分Δh(r,s)の計算に使用され
る計算式に極めて類似している。つまり、処理の流れは２つの異なる方向における色差成
分Δν(r,s)およびΔh(r,s)双方の計算に対し標準化することができる。これは処理全体
の簡単さと高速をさらに向上させる。
【００６２】
図３のフローチャートのステップＳ１０２において、画像センサー２４により取り込ま
れた生の画像データは垂直方向の色差成分Δν(r,s)および水平方向の色差成分Δh(r,s)
に変換される。
【００６３】
図３のフローチャートに戻ると、上述のように垂直方向の色差成分Δν(r,s)および水
平方向の色差成分Δh(r,s)の計算後、実施形態のエッジ検出プロセスは色差成分のこれら
のデータでエッジマップを作成する（エッジマップ作成プロセス）（ステップＳ１０４）
。エッジマップは画像において検出された各エッジを示し、値ｃ(r,s)＝１は（ｒ，ｓ）
ピクセル位置にエッジが存在することを示し、値ｃ(r,s)＝０は（ｒ，ｓ）ピクセル位置
にエッジが存在しないことを示す。モザイク解除またはサイズ変更、雑音除去、または鮮
明化など生のデータに対する他の画像処理の目的で、エッジマップは必ずしもすべてのピ
クセルについて設定されないかもしれないが、少なくとも非Ｇピクセル（すなわちＲピク
セルおよびＢピクセル）またはＧピクセルについて設定される必要がある。実施形態のエ
ッジ検出プロセスは後述のように垂直方向の色差成分Δν(r,s)および水平方向の色差成
分Δh(r,s)に基づきエッジを検出する。これにより正確で比較的高速のエッジ検出が保証
される。エッジマップ作成プロセスは以下に説明される。
【００６４】
エッジ配向マップの作成後、ＣＰＵは次にエッジマップを増強する（エッジマップ増強
プロセス）（ステップＳ１０６）。ＣＰＵは次にエッジマップを反復的に増強する（反復
的エッジマップ増強プロセス）（ステップＳ１０８）。随意的なエッジマップ増強プロセ
スおよび随意的な反復的エッジマップ増強プロセスは以下に説明される。
【００６５】
エッジマップ作成プロセス（ステップＳ１０４）ならびに随意的にエッジマップ増強プ
ロセスおよび反復的エッジマップ増強プロセス（ステップＳ１０６およびステップＳ１０
８）の完了後、ＣＰＵは次にエッジマップを出力し（ステップＳ１１０）図３のエッジ検
出プロセスを終了する。
【００６６】
上述のように、本実施形態のエッジ検出プロセスは垂直方向の色差成分Δν(r,s)およ
び水平方向の色差成分Δh(r,s)に基づきエッジを検出し、エッジマップを作成する。より
具体的に、エッジは垂直方向の色差成分Δν(r,s)および水平方向の色差成分Δh(r,s)に
おける２つの異なる種類（Ｇ成分とＲ成分との間の色差成分およびＧ成分とＢ成分との間
の色差成分）により検出される。色差は単一センサーカメラの画像処理の不可欠なステッ
プであるモザイク解除に広く使用されるので、この特徴はエッジマップの作成がモザイク
解除と比べ演算リソースの追加を最小限にして効率的に実施されることを可能にする。こ
のように、エッジマップ作成プロセスは比較的簡単で、高速で実行できる。加えて、色差
を用いたモザイク解除は通常異なる極性の色差信号が存在する部分において相当なエラー
をもたらすので、本明細書で説明されるエッジ検出を行なうことによりモザイク解除プロ
セスの処理精度が非常に向上し得る。これは説明された方法を通常のエッジ検出ソリュー
ションから区別する点である。以下の説明はエッジマップ作成プロセス、エッジマップ増
強プロセス、および反復的エッジマップ増強プロセスの詳細を順に見る。
【００６７】
Ｃ．エッジマップ作成プロセス
図６は実施形態の画像処理装置３０により図３の色画像データ生成プロセスのステップ
Ｓ１０４で実行されるエッジマップ作成プロセスの詳細を示すフローチャートである。
【００６８】
Δν(r,s)およびΔh(r,s)は正および負双方の値を有し得ることが明らかであろう。広
範囲にわたる実験により色差成分Δν(r,s)およびΔh(r,s)の双方の極性は通常エッジ領
域で変化することが示されている。従って、色差成分Δν(r,s)およびΔh(r,s)について
さまざまな距離を計算しこれらの距離を閾値と比較する代わりに、エッジマップ作成プロ
セスは色差成分Δν(r,s)およびΔh(r,s)の極性の不整合を局限することによりエッジを
検出する。
【００６９】
エッジマップ作成プロセスはまずエッジ検出の対象として１つの目標ピクセルを選択す
る（ステップＳ２００）。１つの目標ピクセルを選択後、エッジマップ作成プロセスは次
に目標ピクセルの垂直色差成分が目標ピクセルの上にあるピクセルの垂直色差成分と異な
る記号を有するか判定する（ステップＳ２０２）。目標ピクセルの垂直色差成分が目標ピ
クセルの上にあるピクセルの垂直色差成分と異なる記号を有する場合（ステップＳ２０２
：はい）、エッジが目標ピクセルを通ると判定される。目標ピクセルのエッジ特性を表す
値が次に「１」に等しく設定される（ステップＳ２０４）。
【００７０】
目標ピクセルの垂直色差成分が目標ピクセルの上にあるピクセルの垂直色差成分と異な
る記号を有しない場合（ステップＳ２０２：いいえ）、エッジマップ作成プロセスは次に
目標ピクセルの垂直色差成分が目標ピクセルの下にあるピクセルの垂直色差成分と異なる
記号を有するか判定する（ステップＳ２０６）。目標ピクセルの垂直色差成分が目標ピク
セルの下にあるピクセルの垂直色差成分と異なる記号を有する場合（ステップＳ２０６：
はい）、エッジが目標ピクセルを通ると判定され、目標ピクセルのエッジ特性を表す値が
次に「１」に等しく設定される（ステップＳ２０４）。
【００７１】
目標ピクセルの垂直色差成分が目標ピクセルの下にあるピクセルの垂直色差成分と異な
る記号を有しない場合（ステップＳ２０６：いいえ）、エッジマップ作成プロセスは次に
目標ピクセルの水平色差成分が目標ピクセルの左側にあるピクセルの水平色差成分と異な
る記号を有するか判定する（ステップＳ２０８）。目標ピクセルの水平色差成分が目標ピ
クセルの左側にあるピクセルの水平色差成分と異なる記号を有する場合（ステップＳ２０
８：はい）、エッジが目標ピクセルを通ると判定され、目標ピクセルのエッジ特性を表す
値が次に「１」に等しく設定される（ステップＳ２０４）。
【００７２】
目標ピクセルの水平色差成分が目標ピクセルの左側にあるピクセルの水平色差成分と異
なる記号を有しない場合（ステップＳ２０８：いいえ）、エッジマップ作成プロセスは次
に目標ピクセルの水平色差成分が目標ピクセルの右側にあるピクセルの水平色差成分と異
なる記号を有するか判定する（ステップＳ２１０）。目標ピクセルの水平色差成分が目標
ピクセルの右側にあるピクセルの水平色差成分と異なる記号を有する場合（ステップＳ２
１０：はい）、エッジが目標ピクセルを通ると判定され、目標ピクセルのエッジ特性を表
す値が次に「１」に等しく設定される（ステップＳ２０４）。
【００７３】
目標ピクセルの水平色差成分が目標ピクセルの右側にあるピクセルの水平色差成分と異
なる記号を有しない場合（ステップＳ２１０：いいえ）、エッジが目標ピクセルを通らな
いと判定され、目標ピクセルのエッジ特性を表す値が次に「０」に等しく設定される（ス
テップＳ２１２）。
【００７４】
目標ピクセルのエッジ特性を表す値がステップＳ２０４において「１」またはステップ
Ｓ２１２において「０」のいずれかに等しく設定された後、ＣＰＵはすべてのピクセルに
ついてエッジが検出されたか判定する（ステップＳ２１４）。未処理のピクセルがある場
合（ステップＳ２１４：いいえ）、エッジマップ作成プロセスはステップＳ２００に戻り
未処理のピクセルの中から別の目標ピクセルを選択し、続く一連の処理を実行する。すべ
てのピクセルについてエッジ配向の検出が完了すると（ステップＳ２１４：はい）、図６
のエッジマップ作成プロセスは終了する。
【００７５】
図７は色差成分のデータからエッジマップを作成することを示す。特に、図７（ａ）は
計算式を示し、図７（ｂ）は図７（ａ）の計算式に従いエッジマップを作成することを概
念的に示す。図７（ｂ）における斜線の長方形は目標ピクセルｚ(r,s)の位置を表す。エ
ッジマップ作成プロセスはまず目標ピクセルｚ(r,s)の垂直色差成分Δν(r,s)の記号を目
標ピクセルの上および下にあるピクセルｚ(r-1,s)およびｚ(r+1,s)の垂直色差成分Δν(r
,s)およびΔν(r+1,s)の記号と比較する。同様に計算プロセスは目標ピクセルｚ(r,s)の
水平色差成分Δh(r,s)の記号を目標ピクセルの左側および右側にあるピクセルｚ(r,s-1)
およびｚ(r,s+1)の水平色差成分Δh(r,s-1)およびΔh(r,s+1)の記号と比較する。表示記
号（Δ）は入力Δの記号または極性を示す。項ｃ(r,s)は生の画像と同じ空間解像度（寸
法）のバイナリーエッジマップｃにおける値で、値ｃ(r,s)＝１は（ｒ，ｓ）ピクセル位
置においてエッジが存在することを示し、値ｃ(r,s)＝０は（ｒ，ｓ）ピクセル位置にお
いてエッジが存在しないことを示す。
【００７６】
Ｄ．エッジマップ増強プロセス
図８は実施形態の画像処理装置３０により図３におけるエッジ検出プロセスのステップ
Ｓ１０６で実行されるエッジマップ増強プロセスの詳細を示すフローチャートである。
【００７７】
エッジマップ増強プロセスはまず増強の対象としてエッジマップの１つの目標バイナリ
ー値を選択する（ステップＳ３００）。１つの目標バイナリー値の選択後、エッジマップ
増強プロセスは次に目標値が０、１に等しいかまたは不確定であるか判定する（ステップ
Ｓ３０２）。
【００７８】
目標バイナリー値が０に等しい場合（ステップＳ３０２：０）、次に目標バイナリー値
の各角における４つのバイナリー値（すなわちｃ(r-1,s-1)、ｃ(r-1,s+1)、ｃ(r+1,s-1)
、およびｃ(r+1,s+1)）の合計が２を超えるか判定される（ステップＳ３０４）。目標バ
イナリー値の各角における４つのバイナリー値が２を超える場合（ステップＳ３０４：は
い）、目標バイナリー値は１に設定される（ステップＳ３０６）。
【００７９】
目標バイナリー値の各角における４つのバイナリー値が２を超えない場合（ステップＳ
３０４：いいえ）、次に目標バイナリー値の上、下、左側、および右側にあるピクセルに
おける４つのバイナリー値の合計が２を超えるか判定される（ステップＳ３０８）。これ
らの４ピクセルにおけるバイナリー値の合計が２を超える場合（ステップＳ３０８：はい
）、目標バイナリー値は１に設定される（ステップＳ３０６）。そうでない場合（ステッ
プＳ３０８：いいえ）、目標バイナリー値はそのままにされる（ステップＳ３１０）。こ
のようなエッジマップの増強の性能を向上させるために、本実施形態で使用される４つの
水平および垂直に位置するピクセルはｃ(r-4,s)、ｃ(r,s-4)、ｃ(r,s+4)、およびｃ(r+4,
s)であることができるが、他の水平および垂直に位置するピクセルも代わりに使用するこ
とができる。
【００８０】
目標バイナリー値が１に等しい場合（ステップＳ３０２：１）、次に目標バイナリー値
の各角にある４つのバイナリー値の合計が０に等しいか判定される（ステップＳ３１２）
。これら４つのバイナリー値の合計が０に等しい場合（ステップＳ３１２：はい）、目標
バイナリー値は０に設定される（ステップＳ３１４）。目標バイナリー値の各角にある４
つのバイナリー値の合計が０に等しくない場合（ステップＳ３１２：いいえ）、目標バイ
ナリー値はそのままにされる（ステップＳ３１０）。
【００８１】
目標バイナリー値が未確定の場合（ステップＳ３０２：未確定）、目標バイナリー値は
そのままにされる（ステップＳ３１０）。
【００８２】
目標値のエッジ特性を表す値がステップＳ３０６で１に等しく設定され、ステップＳ３
１４で０に等しく設定され、またはＳ３１０でそのままにされた後、ＣＰＵはマップのす
べてのピクセル位置に関し増強されたか判定する（ステップＳ３１６）。未処理の値が存
在する場合（ステップＳ３１６：いいえ）、エッジマップ増強プロセスはステップＳ３０
０に戻り未処理の値の中から別の目標値を選択し、続く一連の処理を実行する。すべての
値に監視エッジマップの増強が完了すると（ステップＳ３１６：はい）、図８のエッジマ
ップ増強プロセスは終了する。
【００８３】
図９はエッジマップの増強を示す。特に図９（ａ）は計算式を示し図９（ｂ）は図９（
ａ）の計算式に従いエッジマップを増強することを概念的に示す。
【００８４】
図９（ａ）において、（ｃ(r-1,s-1)＋ｃ(r-1,s+1)＋ｃ(r+1,s-1)＋ｃ(r+1,s+1)）＞２
または（ｃ(r-4,s)、ｃ(r,s-4)、ｃ(r,s+4)、およびｃ(r+4,s)）＞２でｃ(r,s)＝０はバ
イナリーの中央値の演算を示す一方、（ｃ(r-1,s-1)＋ｃ(r-1,s+1)＋ｃ(r+1,s-1)＋ｃ(r+
1,s+1)）＝０でｃ(r,s)＝１は最小フィルターのような形態的演算をなす。これら２つの
フィルタリングモード間で切り替えると、手順により有意な構造内容を意味しない孤立し
たエッジピクセルが除去され真のエッジ位置に新しいエッジピクセルが加えられるのでエ
ッジマップを増強する。のこりのすべての場合、ｃ(r,s)値はそのままにされ、増強が不
必要であることを意味する。
【００８５】
図９（ｂ）における斜線の長方形は目標バイナリー値ｃ(r,s)の位置を表す。エッジマ
ップ増強プロセスはまず目標バイナリー値ｃ(r,s)が０もしくは１に等しいか、または未
確定であるか判定する。目標バイナリー値ｃ(r,s)が０に等しい場合、次に目標バイナリ
ー値ｃ(r,s)の各角にあるバイナリー値（すなわちｃ(r-1,s-1)、ｃ(r-1,s+1)、ｃ(r+1,s-
1)、およびｃ(r+1,s+1)）の合計が２を超えるか、および／または目標バイナリー値ｃ(r,
s)の上、下、左側、および右側にあるピクセルの４つのバイナリー値（すなわちｃ(r-4,s
)、ｃ(r,s-4)、ｃ(r,s+4)、およびｃ(r+4,s)）の合計が２を超えるか判定される。これら
の条件のいずれか／双方が真である場合、エッジが目標ピクセルｚ(r,s)を通ると判定さ
れ、目標バイナリー値ｃ(r,s)は０から１に変更される。図９（ｂ）における縦縞の長方
形は目標バイナリー値ｃ(r,s)の各角にあるバイナリー値（すなわちｃ(r-1,s-1)、ｃ(r-1
,s+1)、ｃ(r+1,s-1)、およびｃ(r+1,s+1)）の位置を表し、図９（ｂ）における横縞の長
方形は目標バイナリー値ｃ(r,s)の上、下、左側、および右側にあるピクセルの４つのバ
イナリー値（すなわちｃ(r-4,s)、ｃ(r,s-4)、ｃ(r,s+4)、およびｃ(r+4,s)）の位置を表
す。
【００８６】
目標バイナリー値ｃ(r,s)が１に等しい場合、次に目標バイナリー値ｃ(r,s)の各角にあ
るバイナリー値（すなわちｃ(r-1,s-1)、ｃ(r-1,s+1)、ｃ(r+1,s-1)、およびｃ(r+1,s+1)
）の合計が０に等しいか判定される。この条件が真の場合、エッジが目標ピクセルｚ(r,s
)を通らないの判定され、目標バイナリー値ｃ(r,s)は１から０に変更される。目標バイナ
リー値が未確定の場合、目標バイナリー値ｃ(r,s)はそのままにされ、増強が不必要であ
ることを意味する。
【００８７】
Ｅ．反復的エッジマップ増強プロセス
図１０は実施形態の画像処理装置３０により図３におけるエッジ検出プロセスのステッ
プＳ１０８で実行される反復的エッジマップ増強プロセスの詳細を示すフローチャートで
ある。
【００８８】
反復的エッジマップ増強プロセスはまず増強の対象としてエッジマップの１つの目標バ
イナリー値を選択する（ステップＳ４００）。１つの目標バイナリー値の選択後、反復的
エッジマップ増強プロセスは次に目標値が０に等しいか判定する（ステップＳ４０２）。
【００８９】
目標バイナリー値が０に等しい場合（ステップＳ４０２：はい）、次に目標バイナリー
値の各角における４つのバイナリー値（すなわちｃ(r-1,s-1)、ｃ(r-1,s+1)、ｃ(r+1,s-1
)、およびｃ(r+1,s+1)）の合計が２を超えるか判定される（ステップＳ４０４）。目標バ
イナリー値の各角における４つのバイナリー値が２を超える場合（ステップＳ４０４：は
い）、目標バイナリー値は１に設定される（ステップＳ４０６）。
【００９０】
目標バイナリー値の各角における４つのバイナリー値が２を超えない場合（ステップＳ
４０４：いいえ）、次に目標バイナリー値の上、下、左側、および右側にあるピクセルに
おける４つのバイナリー値（すなわち本実施形態においてｃ(r-4,s)、ｃ(r,s-4)、ｃ(r,s
+4)、およびｃ(r+4,s)）の合計が２を超えるか判定される（ステップＳ４０８）。これら
４つのバイナリー値の合計が２を超える場合（ステップＳ４０８：はい）、目標バイナリ
ー値は１に設定される（ステップＳ４０６）。これら４つのバイナリー値の合計が２を超
えない場合（ステップＳ４０８：いいえ）、目標バイナリー値はそのままにされる（ステ
ップＳ４１０）。
【００９１】
目標バイナリー値が０に等しくない場合（ステップＳ４０２：いいえ）、目標バイナリ
ー値はそのままにされ、増強が不必要であることを意味する（ステップＳ４１０）。
【００９２】
目標値のエッジ特性を表す値がステップＳ４０８で１に等しく設定されるか、またはＳ
４１０でそのままにされた後、ＣＰＵはすべての値に関し増強されたか判定する（ステッ
プＳ４１２）。未処理の値が存在する場合（ステップＳ４１２：いいえ）、反復的エッジ
マップ増強プロセスはステップＳ４００に戻り未処理の値の中から別の目標値を選択し、
続く一連の処理を実行する。
【００９３】
すべての値に関しエッジマップの増強が完了すると（ステップＳ４１２：はい）、反復
的エッジマップ増強プロセスは次に反復的エッジマップ増強プロセスが所定数の反復を完
了したか判定する（ステップＳ４１４）。反復的エッジマップ増強プロセスが所定数の反
復を完了していない場合（ステップＳ４１４：いいえ）、反復的エッジマップ増強プロセ
スはステップＳ４００に戻り先頭の目標値を選択し、続く一連の処理を実行する。反復的
エッジマップ増強プロセスの所定数の反復各々を完了すると（ステップＳ４１４：はい）
、図１０の反復的エッジマップ増強プロセスは終了する。
【００９４】
図１１はエッジマップを反復的に増強することを示す。特に図１１（ａ）は計算式を示
し、図１１（ｂ）は図１１（ａ）の計算式に従いエッジマップを反復的に増強することを
概念的に示す。図１１（ｂ）における斜線の長方形は目標バイナリー値ｃ(r,s)の位置を
表す。反復的エッジマップ増強プロセスはまず目標バイナリー値ｃ(r,s)が０に等しいか
判定する。目標バイナリー値ｃ(r,s)が０に等しい場合、次に目標バイナリー値ｃ(r,s)の
各角にあるバイナリー値（すなわちｃ(r-1,s-1)、ｃ(r-1,s+1)、ｃ(r+1,s-1)、およびｃ(
r+1,s+1)）の合計が２を超えるか、および／または目標バイナリー値ｃ(r,s)の上、下、
左側、および右側にあるピクセルの４つのバイナリー値（すなわち本実施形態においてｃ
(r-4,s)、ｃ(r,s-4)、ｃ(r,s+4)、およびｃ(r+4,s)）の合計が２を超えるか判定される。
これらの条件のいずれか／双方が真である場合、エッジが目標ピクセルｚ(r,s)を通ると
判定され、目標バイナリー値ｃ(r,s)は０から１に変更される。図１１（ｂ）における縦
縞の長方形は目標バイナリー値ｃ(r,s)の各角にあるバイナリー値（すなわちｃ(r-1,s-1)
、ｃ(r-1,s+1)、ｃ(r+1,s-1)、およびｃ(r+1,s+1)）の位置を表し、図１１（ｂ）におけ
る横縞の長方形は目標バイナリー値ｃ(r,s)の上、下、左側、および右側にあるピクセル
の４つのバイナリー値（すなわち本実施形態の例においてｃ(r-4,s)、ｃ(r,s-4)、ｃ(r,s
+4)、およびｃ(r+4,s)）の位置を表す。
【００９５】
目標バイナリー値ｃ(r,s)が０に等しくない場合（目標バイナリー値ｃ(r,s)が１に等し
いか、または未確定の場合）、目標バイナリー値ｃ(r,s)はそのままにされ、増強が不必
要であることを意味する。
【００９６】
本明細書で開示される実施形態の例は他の具体的な形で具現され得る。本明細書で開示
される実施形態の例はすべての点で単に例示的とみなされ限定的とはみなされない。
【符号の説明】
【００９７】
１０…光学系、２０…撮像アッセンブリ、２２…カラーフィルターアレイ、２４…画像
センサー、３０…画像処理装置、１００…デジタルカメラ。
【技術分野】
【０００１】
本発明の実施形態はデジタルカメラなどの撮像装置で画像データを生成する手法に関す
る。より具体的に、発明の実施形態は光の３原色に対応するＲ（赤）、Ｇ（緑）、および
Ｂ（青）の微細カラーフィルターのモザイク配置を有するカラーフィルターアレイの画像
におけるエッジを検出する手法に関する。
【背景技術】
【０００２】
デジタル手法の進歩につれ、画像は一般的にデジタルデータ（画像データ）として処理
される。デジタルカメラなどの撮像装置は取り込まれた画像を画像データの形で直ちに出
力することを可能にする。撮像装置は通常光強度を電気信号に転換する小さい要素からな
る電子画像センサーを備えている。撮像装置は光学系により被写体の取り込み画像を画像
センサーに焦点合わせし、個々の要素における光強度を電気信号として検出し画像データ
を生成する。光学系に入射する光は光の３原色に対応する３つの色成分Ｒ、Ｇ、およびＢ
に分割することができる。３つの色成分Ｒ，Ｇ，Ｂ各々の色光は画像センサーに向けられ
、センサーにより得られた各々の色成分の光強度を表す電気信号が出力され、色画像デー
タを生成する。
【０００３】
光学系に入射する光の分割として得られる３つの色成分Ｒ，Ｇ，Ｂの各々の色光を画像
センサーにより取得する最も簡単な方法は分光プリズムを用いて入射光を３つの色成分Ｒ
，Ｇ，Ｂの色光に分割し、各々の色光を画像センサーに焦点合わせして各々の色成分Ｒ，
Ｇ，Ｂに冠する画像データを生成する。この方法は３つの画像センサーを必要とするので
望ましくない。広く用いられる手法の１つは１つの画像センサーにより色成分Ｒ，Ｇ，Ｂ
の各々を検出をするために色成分Ｒ，Ｇ，Ｂの１つを画像センサーを構成する要素の各々
に割り当てる。この手法の典型的な構成は色成分Ｒの検出に割り当てられた要素の前にあ
る色成分Ｒのみの伝送を許す小さいカラーフィルター、色成分Ｇの検出に割り当てられた
要素の前にある色成分Ｇのみの伝送を許す小さいカラーフィルター、および色成分Ｂの検
出に割り当てられた要素の前にある色成分Ｂのみの伝送を許す小さいカラーフィルターを
備える。この構成は１つの画像センサーにより３つの色成分Ｒ，Ｇ，Ｂの画像データを同
時に検出することを可能にする。１つの画像センサーにより各々の色成分Ｒ，Ｇ，Ｂを検
出する手法において、所定の色成分（例、色成分Ｒ）の検出に割り当てられた各要素は他
の色成分（例、色成分Ｇおよび色成分Ｂ）を検出することができない。従って得られた画
像データは色成分Ｒのピクセル、色成分Ｇのピクセル、および色成分Ｂのピクセルのモザ
イク配置を有する。各ピクセルにおいて欠けている色成分を隣接ピクセルの色成分で補間
することにより、すべてのピクセルにおいてすべての色成分Ｒ，Ｇ，Ｂの設定を備えたカ
ラー画像データの生成が可能になる。
【０００４】
３つの色成分Ｒ，Ｇ，Ｂの分割色光を電気信号に転換し各々の色成分Ｒ，Ｇ，Ｂの画像
データを生成するのに３つの画像センサーに頼る撮像装置は時に「３画像センサー」装置
と呼ばれる。１つの画像センサーのみを用いてモザイク配置の画像データを生成し補間に
より欠けている色成分を演算する撮像装置は時に「単一画像センサー」装置と呼ばれる。
モザイク配置の画像データにおいてかけている色成分を補間してすべての色成分Ｒ，Ｇ，
Ｂの設定を備えたカラー画像データを生成するプロセスは時に「モザイク解除プロセス」
と呼ばれる。
【０００５】
モザイク解除、空間的補間、および画像の雑音除去や向上など画像処理操作のいくつか
は取り込まれた画像データに存在するエッジに沿って処理操作を導き、それにより処理エ
ラーを避けるためにエッジ検出に頼る。エッジは画像内の物体の形を示すのでデジタル画
像の重要な特徴である（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】米国特許第７２４５３２６号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００７】
典型的なエッジ検出プロセスは所定または適応閾値を有する２つ以上のピクセル間の勾
配、二乗差、または他の何らかの距離もしくは類似（相違）尺度を比較することが関わる
。このような比較により真のエッジと画像に存在するデータの変動および雑音による信号
の不連続とを区別することができる。しかし、典型的なエッジ検出プロセスにおいて適応
閾値の使用は計算上要求が多い一方、固定閾値は変化する統計データを有する複雑なシナ
リオの画像における正確なエッジ検出ができないかもしれない。
【０００８】
消費者が撮像装置からより優れた画質をさらに求めるにつれ、モザイク解除、サイズ変
更、雑音除去、および鮮明化などの画像処理操作で使用する効率的かつ正確なエッジ検出
手法の開発がおおいに要求されている。
【課題を解決するための手段】
【０００９】
本発明の画像処理装置は、各ピクセルにおいて光の３原色に対応するＲ成分、Ｇ成分お
よびＢ成分の３つの色成分の内１つの色成分のみの設定を有するモザイク画像データを受
信し、前記受信されたモザイク画像データに一連の画像処理を施し、前記モザイク画像デ
ータにおいてエッジが通るピクセルを特定するエッジマップを生成する画像処理装置であ
って、前記モザイク画像データは、前記Ｇ成分のピクセルおよび別の色成分として前記Ｒ
成分のピクセルが垂直方向に交互配置のピクセル列と、前記Ｇ成分のピクセルおよび別の
色成分として前記Ｂ成分のピクセルが前記垂直方向に交互配置のピクセル列と、前記Ｇ成
分のピクセルおよび別の色成分として前記Ｒ成分のピクセルが水平方向に交互配置のピク
セル行と、前記Ｇ成分のピクセルおよび別の色成分として前記Ｂ成分のピクセルが前記水
平方向に交互配置のピクセル行と、の組み合わせで表され、前記画像処理装置は、垂直の
周辺の利用可能な成分を用いて別の色成分のピクセル位置における前記Ｇ成分を取得し、
または前記Ｇ成分のピクセル位置における別の色成分を取得して、前記モザイク画像のピ
クセル列の各々に含まれる各ピクセルにおいて前記Ｇ成分および別の色成分間で垂直方向
色差成分を演算するよう構成される垂直方向色差成分演算モジュールと、水平の周辺の利
用可能な色成分を用いて別の色成分のピクセル位置における前記Ｇ成分を取得し、または
前記Ｇ成分のピクセル位置における別の色成分を取得して、前記モザイク画像のピクセル
行の各々に含まれる各ピクセルにおいて前記Ｇ成分および別の色成分間で水平方向色差成
分を演算するよう構成される水平方向色差成分演算モジュールと、前記モザイク画像から
ピクセルを選択し、そのようなピクセル位置各々において目標ピクセルの前記垂直方向色
差成分の記号を前記目標ピクセルの上と下にあるピクセルの前記垂直方向色差成分の記号
と比較するとともに、前記目標ピクセルの水平方向色差成分の記号を前記目標ピクセルの
左と右にあるピクセルの前記水平方向色差成分の記号と比較し、１つ以上の比較における
前記記号が等しくない場合前記エッジマップの対応するエッジマップ値を１に設定し、す
べての比較における前記記号が等しい場合は前記エッジマップの対応するエッジマップ値
を０に設定するよう構成されるエッジ検出モジュールとを有することを特徴とする。
【００１０】
また、本発明の画像処理装置において、さらにモザイク解除、サイズ変更、雑音除去、
または鮮明化操作の１つで前記エッジマップを用いるよう構成されることを特徴とする。
【００１１】
また、本発明の画像処理装置において、前記エッジ検出モジュールは、前記モザイク画
像データに含まれる前記Ｒ成分のピクセルおよび前記Ｂ成分のピクセルのみ、または前記
Ｇ成分のピクセルのみを選択するよう構成されることを特徴とする。
【００１２】
また、本発明の画像処理装置において、前記エッジマップの値を選択し、かかる目標値
の位置各々において前記目標値が１に等しいか判定し、前記目標値が１に等しい場合前記
目標値の各角における値を合計し、前記合計が０に等しいか判定し、前記合計が０に等し
い場合前記目標値を０に変更するよう構成されるエッジマップ増強モジュールをさらに有
することを特徴とする。
【００１３】
また、本発明の画像処理装置において、前記エッジマップの値を選択し、かかる目標値
の位置各々において前記目標値が０に等しいか判定し、前記目標値が０に等しい場合前記
目標値の各角における値を合計し、前記合計が２を超えるか判定し、前記合計が２を超え
る場合前記目標値を１に変更するよう構成されるエッジマップ増強モジュールをさらに有
することを特徴とする。
【００１４】
また、本発明の画像処理装置において、前記エッジマップ増強モジュールはさらに、前
記エッジマップの値を選択し、かかる目標値の位置各々において前記目標値が０に等しい
か判定し、前記目標値が０に等しい場合前記目標値の上、下、左側、および右側にあるピ
クセルの４つの値を合計し、前記合計が２を超えるか判定し、前記合計が２を超える場合
前記目標値を１に変更するよう構成されることを特徴とする。
【００１５】
また、本発明の画像処理装置において、さらに反復的エッジマップ増強プロセスを実施
するよう構成される反復的エッジマップ増強モジュールを有し、前記反復的エッジマップ
増強モジュールは、ａ）前記エッジマップの値を選択し、かかる目標値の位置各々におい
て前記目標値が０に等しいか判定するステップと、ｂ）前記目標値が０に等しい場合前記
目標値の各角における値を合計し、前記合計が２を超えるか判定し、前記合計が２を超え
る場合前記目標値を１に変更するステップと、ｃ）前記目標値が０に等しい場合前記目標
値の上、下、左側、および右側にあるピクセルの４つの値を合計し、前記合計が２を超え
るか判定し、前記合計が２を超える場合前記目標値を１に変更するステップと、ｄ）前記
ステップａ）、前記ステップｂ）および前記ステップｃ）を少なくとも１回繰り返すステ
ップと、を有することを特徴とする。
【００１６】
一方、本発明の画像処理方法は、各ピクセルにおいて光の３原色に対応するＲ成分、Ｇ
成分およびＢ成分の３つの色成分の内１つの色成分のみの設定を有するモザイク画像デー
タを受信し、前記受信されたモザイク画像データに一連の画像処理を施し、前記モザイク
画像データにおいてエッジが通るピクセルを特定するエッジマップを生成する画像処理方
法であって、前記Ｇ成分のピクセルおよび別の色成分として前記Ｒ成分のピクセルが垂直
方向に交互配置のピクセル列と、前記Ｇ成分のピクセルおよび別の色成分として前記Ｂ成
分のピクセルが前記垂直方向に交互配置のピクセル列と、前記Ｇ成分のピクセルおよび別
の色成分として前記Ｒ成分のピクセルが水平方向に交互配置のピクセル行と、前記Ｇ成分
のピクセルおよび別の色成分として前記Ｂ成分のピクセルが前記水平方向に交互配置のピ
クセル行と、の組み合わせで表される画像データをモザイク画像データとして受信するス
テップと、前記モザイク画像データの各ピクセル列に含まれる各ピクセルにおける前記Ｇ
成分および別の色成分を取得し、前記垂直方向における各ピクセル列に含まれる各ピクセ
ルにおける前記Ｇ成分と前記別の色成分との間の垂直方向色差成分を演算するステップと
、前記モザイク画像データの各ピクセル行に含まれる各ピクセルにおける前記Ｇ成分およ
び前記別の色成分を取得し、前記水平方向における各ピクセル行に含まれる各ピクセルに
おける前記Ｇ成分と前記別の色成分との間の水平方向色差成分を演算するステップと、前
記モザイク画像からピクセルを選択し、そのようなピクセル位置各々において目標ピクセ
ルの前記垂直方向色差成分の記号を前記目標ピクセルの上と下にあるピクセルの前記垂直
方向色差成分の記号と比較し、前記目標ピクセルの前記水平方向色差成分の記号を目標ピ
クセルの左と右にあるピクセルの前記水平方向色差成分の記号と比較し、１つ以上の比較
における前記記号が等しくない場合前記エッジマップの対応するエッジマップ値を１に設
定し、すべての比較における前記記号が等しい場合は前記エッジマップの対応する前記エ
ッジマップ値を０に設定するステップとを有することを特徴とする。
【００１７】
また、本発明の画像処理方法において、モザイク解除、サイズ変更、雑音除去、または
鮮明化操作の１つで前記エッジマップを用いるステップをさらに有することを特徴とする
。
【００１８】
また、本発明の画像処理方法において、前記モザイク画像データからピクセルを選択す
るステップは、前記モザイク画像データに含まれる前記Ｒ成分のピクセルおよび前記Ｂ成
分のピクセルのみ、または前記Ｇ成分のピクセルのみを選択するステップを有することを
特徴とする。
【００１９】
また、本発明の画像処理方法において、前記エッジマップの値を選択し、かかる目標値
の位置各々において前記目標値が１に等しいか判定し、前記目標値が１に等しい場合前記
目標値の各角における値を合計し、前記合計が０に等しいか判定し、前記合計が０に等し
い場合目標値を０に変更するステップをさらに有することを特徴とする。
【００２０】
また、本発明の画像処理方法において、前記エッジマップの値を選択し、かかる目標値
の位置各々において前記目標値が０に等しいか判定し、前記目標値が０に等しい場合前記
目標値の各角における値を合計し、前記合計が２を超えるか判定し、前記合計が２を超え
る場合目標値を１に変更するステップをさらに有することを特徴とする。
【００２１】
また、本発明の画像処理方法において、前記エッジマップの値を選択し、かかる目標値
の位置各々において前記目標値が０に等しいか判定し、前記目標値が０に等しい場合前記
目標値の上、下、左側、および右側にあるピクセルの４つの値を合計し、前記合計が２を
超えるか判定し、前記合計が２を超える場合前記目標値を１に変更するステップをさらに
有することを特徴とする。
【００２２】
また、本発明の画像処理方法において、ａ）前記エッジマップの値を選択し、かかる目
標値の位置各々において前記目標値が０に等しいか判定するステップと、ｂ）前記目標値
が０に等しい場合前記目標値の各角における値を合計し、前記合計が２を超えるか判定し
、前記合計が２を超える場合前記目標値を１に変更するステップと、ｃ）前記目標値が０
に等しい場合前記目標値の上、下、左側、および右側にあるピクセルの４つの値を合計し
、前記合計が２を超えるか判定し、前記合計が２を超える場合前記目標値を１に変更する
ステップと、ｄ）前記ステップａ）、前記ステップｂ）および前記ステップｃ）を少なく
とも１回繰り返すステップとをさらに有することを特徴とする。
【００２３】
ここで、本発明のコンピューター読み取り可能な媒体は、各ピクセルにおいて光の３原
色に対応するＲ成分、Ｇ成分およびＢ成分の３つの色成分の内１つの色成分のみの設定を
有するモザイク画像データを受信し、前記受信されたモザイク画像データに一連の画像処
理を施し、前記モザイク画像データにおいてエッジが通るピクセルを特定するエッジマッ
プを生成する方法をコンピューターに実現させるプログラムを有するコンピューター読み
取り可能な媒体であって、前記プログラムは、前記Ｇ成分のピクセルおよび別の色成分と
して前記Ｒ成分のピクセルが垂直方向に交互配置のピクセル列と、前記Ｇ成分のピクセル
および別の色成分として前記Ｂ成分のピクセルが前記垂直方向に交互配置のピクセル列と
、前記Ｇ成分のピクセルおよび別の色成分として前記Ｒ成分のピクセルが水平方向に交互
配置のピクセル行と、前記Ｇ成分のピクセルおよび別の色成分として前記Ｂ成分のピクセ
ルが前記水平方向に交互配置のピクセル行と、の組み合わせで表される画像データをモザ
イク画像データとして受信するステップと、前記モザイク画像データの各ピクセル列に含
まれる各ピクセルにおける前記Ｇ成分および別の色成分を取得し、前記垂直方向における
各ピクセル列に含まれる各ピクセルにおける前記Ｇ成分と別の色成分との間の垂直方向色
差成分を演算するステップと、前記モザイク画像データの各ピクセル行に含まれる各ピク
セルにおける前記Ｇ成分および別の色成分を取得し、水平方向における各ピクセル行に含
まれる各ピクセルにおける前記Ｇ成分と別の色成分との間の水平方向色差成分を演算する
ステップと、前記モザイク画像からピクセルを選択し、そのようなピクセル位置各々にお
いて目標ピクセルの前記垂直方向色差成分の記号を前記目標ピクセルの上と下にあるピク
セルの前記垂直方向色差成分の記号と比較し、前記目標ピクセルの前記水平方向色差成分
の記号を前記目標ピクセルの左と右にあるピクセルの前記水平方向色差成分の記号と比較
し、１つ以上の比較における前記記号が等しくない場合前記エッジマップの対応するエッ
ジマップ値を１に設定し、すべての比較における前記記号が等しい場合は前記エッジマッ
プの対応するエッジマップ値を０に設定するステップと、の機能をコンピューターに達成
させることを特徴とする。
【００２４】
また、本発明のコンピューター読み取り可能な媒体において、前記プログラムは、モザ
イク解除、サイズ変更、雑音除去、または鮮明化操作の１つで前記エッジマップを用いる
ステップをさらにコンピューターに達成させることを特徴とする。
【００２５】
また、本発明のコンピューター読み取り可能な媒体において、前記モザイク画像データ
からピクセルを選択するステップは、前記モザイク画像データに含まれる前記Ｒ成分のピ
クセルおよび前記Ｂ成分のピクセルのみ、または前記Ｇ成分のピクセルのみを選択するス
テップをさらに有することを特徴とする。
【００２６】
また、本発明のコンピューター読み取り可能な媒体において、前記プログラムは、前記
エッジマップの値を選択し、かかる目標値の位置各々において前記目標値が１に等しいか
判定し、前記目標値が１に等しい場合前記目標値の各角における値を合計し、前記合計が
０に等しいか判定し、前記合計が０に等しい場合前記目標値を０に変更するステップをさ
らにコンピューターに達成させることを特徴とする。
【００２７】
また、本発明のコンピューター読み取り可能な媒体において、前記プログラムは、前記
エッジマップの値を選択し、かかる目標値の位置各々において前記目標値が０に等しいか
判定し、前記目標値が０に等しい場合前記目標値の各角における値を合計し、前記合計が
２を超えるか判定し、前記合計が２を超える場合前記目標値を１に変更するステップをさ
らにコンピューターに達成させることを特徴とする。
【００２８】
また、本発明のコンピューター読み取り可能な媒体において、前記プログラムは、前記
エッジマップの値を選択し、かかる目標値の位置各々において前記目標値が０に等しいか
判定し、前記目標値が０に等しい場合前記目標値の上、下、左側、および右側にあるピク
セルの４つの値を合計し、前記合計が２を超えるか判定し、前記合計が２を超える場合前
記目標値を１に変更するステップをさらにコンピューターに達成させることを特徴とする
。
【００２９】
また、本発明のコンピューター読み取り可能な媒体において、前記プログラムは、ａ）
前記エッジマップの値を選択し、かかる目標値の位置各々において前記目標値が０に等し
いか判定するステップと、ｂ）前記目標値が０に等しい場合前記目標値の各角における値
を合計し、前記合計が２を超えるか判定し、前記合計が２を超える場合前記目標値を１に
変更するステップと、ｃ）前記目標値が０に等しい場合前記目標値の上、下、左側、およ
び右側にあるピクセルの４つの値を合計し、前記合計が２を超えるか判定し、前記合計が
２を超える場合前記目標値を１に変更するステップと、ｄ）前記ステップａ）、前記ステ
ップｂ）および前記ステップｃ）を少なくとも１回繰り返すステップとをさらにコンピュ
ーターに達成させることを特徴とする。
【図面の簡単な説明】
【００３０】
【図１】本発明の一実施形態において画像処理装置を備えたデジタルカメラの構成の概略図である。
【図２】図１における画像処理装置に含まれるカラーフィルターアレイおよび画像センサーの構造を示す概念図である。
【図３】実施形態の画像処理装置により実行され、生の画像データからエッジマップを生成し増強させるエッジ検出プロセスを示すフローチャートである。
【図４】生の画像データを色差成分のデータに変換するプロセスを概念的に示す図である。
【図５】生の画像データから色差成分を計算する計算式を示す。
【図６】図３のエッジ検出プロセスにおいて実施形態の画像処理装置により実行されるエッジマップ作成プロセスの詳細を示すフローチャートである。
【図７】色差成分のデータからのエッジマップの作成を示す図である。
【図８】図３のエッジ検出プロセスにおいて実施形態の画像処理装置により実行されるエッジマップ増強プロセスの詳細を示すフローチャートである。
【図９】エッジマップの増強を示す。
【図１０】図３のエッジ検出プロセスにおいて実施形態の画像処理装置により実行される反復的エッジマップ増強プロセスの詳細を示すフローチャートである。
【図１１】エッジマップの反復的増強を示す。
【発明を実施するための形態】
【００３１】
はじめに本発明の各態様を記載する。
【００３２】
前述の要求の少なくとも一部を達成するために、発明の一態様は各ピクセルにおいて光
の３原色に対応する３つの色成分Ｒ，Ｇ，Ｂの内１つの色成分のみの設定を有するモザイ
ク画像データを受信し、受信されたモザイク画像データに一連の画像処理を施し、モザイ
ク画像データにおいてエッジが通るピクセルを特定するエッジマップを生成する画像処理
装置に向けられる。モザイク画像データはＧ成分のピクセルおよび別の色成分としてＲ成
分のピクセルが垂直方向に交互配置のピクセル列、Ｇ成分のピクセルおよび別の色成分と
してＢ成分のピクセルが垂直方向に交互配置のピクセル列、Ｇ成分のピクセルおよび別の
色成分としてＲ成分のピクセルが水平方向に交互配置のピクセル行、およびＧ成分のピク
セルおよび別の色成分としてＢ成分のピクセルが水平方向に交互配置のピクセル行の組み
合わせで表される。
【００３３】
画像処理装置は２方向の色差演算モジュールおよびエッジ検出モジュールを含む。垂直
方向の色差成分演算モジュールは垂直の周辺の利用可能な成分を用いて別の色成分のピク
セル位置におけるＧ成分を取得し、またはＧ成分のピクセル位置における別の色成分を取
得して、モザイク画像のピクセル列の各々に含まれる各ピクセルにおいてＧ成分および別
の色成分間で垂直方向の色差成分を演算するよう構成される。水平方向の色差成分演算モ
ジュールは水平の周辺の利用可能な色成分を用いて別の色成分のピクセル位置におけるＧ
成分を取得し、またはＧ成分のピクセル位置における別の色成分を取得して、モザイク画
像のピクセル行の各々に含まれる各ピクセルにおいてＧ成分および別の色成分間で垂直方
向の色差成分を演算するよう構成される。
【００３４】
エッジ検出モジュールはモザイク画像からピクセルを選択し、そのようなピクセル位置
各々において目標ピクセルの垂直色差成分の記号を目標ピクセルの上と下にあるピクセル
の垂直色差成分の記号と比較するよう構成される。エッジ検出モジュールはさらに目標ピ
クセルの水平色差成分の記号を目標ピクセルの左と右にあるピクセルの水平色差成分の記
号と比較するよう構成される。エッジ検出モジュールは次に１つ以上の比較における記号
が等しくない場合エッジマップの対応するエッジマップ値を１に設定し、すべての比較に
おける記号が等しい場合はエッジマップの対応するエッジマップ値を０に設定するよう構
成される。
【００３５】
本発明の別の態様は上記構成の画像処理装置に対応する画像処理方法である。画像処理
方法は各ピクセルにおいて光の３原色に対応する３つの色成分Ｒ，Ｇ，Ｂの内１つの色成
分のみの設定を有するモザイク画像データを受信し、受信されたモザイク画像データに一
連の画像処理を施し、モザイク画像データにおいてエッジが通るピクセルを特定するエッ
ジマップを生成する。
【００３６】
画像処理方法はモザイク画像データとして、Ｇ成分のピクセルおよび別の色成分として
Ｒ成分のピクセルが垂直方向に交互配置のピクセル列、Ｇ成分のピクセルおよび別の色成
分としてＢ成分のピクセルが垂直方向に交互配置のピクセル列、Ｇ成分のピクセルおよび
別の色成分としてＲ成分のピクセルが水平方向に交互配置のピクセル行、およびＧ成分の
ピクセルおよび別の色成分としてＢ成分のピクセルが水平方向に交互配置のピクセル行の
組み合わせで表される画像データを受信する。画像処理方法はその後モザイク画像データ
の各ピクセル列に含まれる各ピクセルにおけるＧ成分および別の色成分を補間により取得
し、垂直方向における各ピクセル列に含まれる各ピクセルにおけるＧ成分および別の色成
分間の垂直方向色差成分を演算する。同様に画像処理方法はモザイク画像データの各ピク
セル行に含まれる各ピクセルにおけるＧ成分および別の色成分を補間により取得し、水平
方向における各ピクセル行に含まれる各ピクセルにおけるＧ成分および別の色成分間の水
平方向色差成分を演算する。
【００３７】
画像処理方法は次にモザイク画像からピクセルを選択し、そのようなピクセル位置各々
において目標ピクセルの垂直色差成分の記号を目標ピクセルの上と下にあるピクセルの垂
直色差成分の記号と比較する。画像処理方法はさらに目標ピクセルの水平色差成分の記号
を目標ピクセルの左と右にあるピクセルの水平色差成分の記号と比較する。画像処理方法
は次に１つ以上の比較における記号が等しくない場合エッジマップの対応するエッジマッ
プ値を１に設定し、すべての比較における記号が等しい場合はエッジマップの対応するエ
ッジマップ値を０に設定する。
【００３８】
本発明は添付図面に基づき以下の順序で下記に説明する好ましい実施形態を参照してよ
り良く理解できる。
【００３９】
Ａ．システム構成
Ｂ．エッジ検出プロセスの概要
Ｃ．エッジマップ作成プロセス
Ｄ．エッジマップ増強プロセス
Ｅ．反復的エッジマップ増強プロセス
【００４０】
Ａ．システム構成
図１は発明の一実施形態における画像処理装置を備えるデジタルカメラ１００の構成を
概略的に図示する。図示されるように、デジタルカメラ１００は複数レンズのグループを
有する光学系１０、光学系１０により形成される被写体の画像を電気信号に変換する撮像
アッセンブリ２０、および撮像アッセンブリ２０から電気信号を受信し受信電気信号に一
連の所定の画像処理を施して色画像データを生成する画像処理装置３０を含む。
【００４１】
撮像アッセンブリ２０は光強度を電気信号に変換する複数の微細撮像要素の二次元配置
を備えた画像センサー２４を有する。画像センサー２４の前にカラーフィルターアレイ２
２が備えられ、Ｒ（赤）、Ｇ（緑）、およびＢ（青）の微細カラーフィルターのモザイク
配置を有する。カラーフィルターアレイ２２を構成する色成分Ｒ，Ｇ，Ｂのカラーフィル
ターの配置は詳細に後述される。Ｒカラーフィルター、Ｇカラーフィルター、およびＢカ
ラーフィルターは各々Ｒ色光の透過、Ｇ色光の透過、およびＢ色光の透過を可能にするよ
う構成される。画像センサー２４はカラーフィルターアレイ２２における色成分Ｒ，Ｇ，
Ｂのカラーフィルターのモザイク配置に従いＲ光強度に感応する画像部分、Ｇ光強度に感
応する画像部分、およびＢ光強度に感応する画像部分のモザイク配置を有する画像データ
を取り込む。
【００４２】
デジタルカメラ１００に搭載される画像処理装置３０はモザイク配置の画像データを撮
像アッセンブリ２０から受信しＲ成分、Ｇ成分、およびＢ成分の設定を各々のピクセルに
有する色画像データを生成する。実施形態の画像処理装置３０において、ＣＰＵ、ＲＯＭ
、ＲＡＭ、およびデータ入出力インターフェイス（Ｉ／Ｆ）は互いのデータ伝送を可能に
するためにバスで相互接続されている。ＣＰＵはＲＯＭに記憶されるプログラムに従い一
連の処理操作を行ない色画像データを生成する。このように生成された結果の色画像デー
タは外部出力端子４０経由で外付け装置に出力されることができ、または外付けの記録媒
体５０に出力されることができる。
【００４３】
画像センサー２４により取り込まれたＲ成分、Ｇ成分、およびＢ成分のモザイク配置を
有する画像データはソースデータとして使用され、Ｒ成分、Ｇ成分、およびＢ成分の設定
を各々のピクセルに有する色画像データを生成するために画像処理装置３０により参照さ
れる。画像センサー２４により取り込まれたモザイク配置の画像データは従って以後「生
の画像データ」と呼ぶことができる。
【００４４】
図２はカラーフィルターアレイ２２および画像センサー２４の構造を示す概念図である
。上述のように、画像センサー２４は光強度に対応する電気信号を出力する微細な撮像要
素の二次元配置を有する。図２に示される例において、微細な撮像要素は格子パターンに
配置される。画像センサー２４の格子パターンにおける小さな長方形各々は１個の撮像要
素を表す。
【００４５】
カラーフィルターアレイ２２は画像センサー２４を構成する複数の撮像要素各々の位置
に対応するＲ色成分、Ｇ色成分、およびＢ色成分の１つを有する。図２において、まばら
な斜線の長方形、密な斜線の長方形、および斜線のない無地の長方形は各々Ｒからフィル
ター、Ｂカラーフィルター、およびＧカラーフィルターを示す。Ｒカラーフィルター、Ｇ
カラーフィルター、およびＢカラーフィルターの配置において、Ｇカラーフィルターが最
初に互いに斜めになり市松模様のパターンを形成するよう位置付けされる。つまりＧカラ
ーフィルターはカラーフィルターアレイ２２の面積の半分を占める。次に同じ数のＲカラ
ーフィルターとＢカラーフィルターがカラーフィルターアレイ２２の面積の残る半分に均
等に配置される。もたらされた図２に示されるこの配置のカラーフィルターアレイ２２は
ベイヤーカラーフィルターアレイと呼ばれる。
【００４６】
上述のように、Ｇカラーフィルター、Ｒカラーフィルター、およびＢカラーフィルター
は各々Ｇ色光のみの透過、Ｒ色光のみの透過、およびＢ色光のみの透過を可能にするよう
設計されている。従って画像センサー２４は図２に示されるように画像センサー２４の前
に位置するカラーフィルターアレイ２２の機能によりモザイク配置の画像データを取り込
む。モザイク配置の画像データは通常の画像データと同じ方法処理することはできず、直
接画像を表現することはできない。画像処理装置３０はモザイク配置の画像データ（生の
画像データ）を受信し、各々のピクセルにＲ成分、Ｇ成分、およびＢ成分の設定を有する
通常の色画像データを生成する。
【００４７】
Ｂ．エッジ検出プロセスの概要
図３は実施形態の画像処理装置３０が生の画像データからエッジマップを生成し増強す
るために実行するエッジ検出プロセスを示すフローチャートである。本実施形態の構造に
おいて、画像処理装置３０に含まれるＣＰＵがコンピューター読み取り可能な媒体に記憶
されたプログラムとして具現され得るソフトウェア構成によりこのエッジマップ生成およ
び増強を実行する。しかしこれは不可欠ではなく、例えば信号プロセッサーなどの特定ハ
ードウェア要素を同じ目的に使用することができる。
【００４８】
詳細に後述されるように、提案されるエッジ検出はモザイクの生の画像データから生成
される色差信号で機能する。色差は単一センサーカメラの画像処理の不可欠なステップで
あるモザイク解除に広く使用されるので、この特徴は本明細書で開示されるエッジ検出プ
ロセスがモザイク解除と比べ演算リソースの追加を最小限にして効率的に実施されること
を可能にする。このように、本明細書で開示されるエッジ検出プロセスは比較的簡単で、
高速で実行できる。さらに、色差を用いたモザイク解除は通常異なる極性の色差信号が存
在する部分において相当なエラーをもたらすので、本明細書で開示されるエッジ検出を行
なうことによりモザイク解除プロセスの処理精度が非常に向上し得る。これは本明細書で
開示されるエッジ検出プロセスを通常のエッジ検出ソリューションから区別する点である
。
【００４９】
エッジ検出プロセスの開始において、ＣＰＵはまず画像センサー２４から生の画像デー
タをソースデータとして受信し（ステップＳ１００）、詳細に後述するように受信された
生の画像データを色差成分のデータに変換する（ステップＳ１０２）。
【００５０】
図４は生の画像データを色差成分のデータに変換するプロセスを概念的に示す。図４の
上部は画像センサー２４から読み取られた生の画像データの概念図を示す。カラーフィル
ターアレイ２２で得られた生の画像データはＲ成分、Ｇ成分、およびＢ成分のモザイク配
置を有する。生の画像データにおいて水平方向はＧピクセル（Ｇ成分を有するピクセル）
とＲピクセル（Ｒ成分を有するピクセル）を交互に配置したピクセル行と、Ｇピクセルと
Ｂピクセル（Ｂ成分を有するピクセル）を交互に配置したピクセル行の２種類のみのピク
セル行がある。生の画像データにおいて垂直方向も同様にＧピクセルとＲピクセルを交互
に配置したピクセル行と、ＧピクセルとＢピクセルを交互に配置したピクセル行の２種類
のみのピクセル行がある。図４の中央は生の画像データが水平方向にはＧピクセルとＲピ
クセルを交互にしたピクセル行およびＧピクセルとＢピクセルを交互にしたピクセル行の
みからなる一方、垂直方向にはＧピクセルとＲピクセルを交互にしたピクセル行およびＧ
ピクセルとＢピクセルを交互にしたピクセル行のみからなることを概念的に示す。
【００５１】
この観察結果に基づき、本実施形態のエッジ検出プロセスはＲ成分、Ｇ成分、およびＢ
成分の生の画像データを水平方向の色成分の差（水平方向色差成分）を表すデータおよび
垂直方向の色成分の差（垂直方向色差成分）を表すデータに変換する。例えば、生の画像
データはＧピクセルとＲピクセルを交互にしたピクセル行またはピクセル列に関しＧ成分
とＲ成分との色差成分のデータに変換される。同様に生の画像データはＧピクセルとＢピ
クセルを交互にしたピクセル行またはピクセル列に関しＧ成分とＢ成分との色差成分のデ
ータに変換される。色差成分を計算するための計算式は詳細に後述される。
【００５２】
図４の下部はこのようにして得られた水平方向および垂直方向における色差成分を示す
。下部の左側の図は垂直方向の生の画像データを処理することにより得られた色差成分Δ
ν(r,s)を示す。中央に示すように、斜線のあるピクセル列の各々はＧピクセルとＢピク
セルを交互にしたピクセル列である。従ってこのピクセル列の各色差成分Δν(r,s)はＧ
成分とＢ成分との間の色差成分を表す。残る斜線のないピクセル列の各々はＧピクセルと
Ｒピクセルを交互にしたピクセル列である。従ってこのピクセル列の各色差成分Δν(r,s
)はＧ成分とＲ成分との間の色差成分を表す。水平方向の生の画像データも同様に処理で
きる。斜線のあるピクセル行の各々はＧピクセルとＢピクセルとの間の色差成分Δh(r,s)
を与える。残る斜線のないピクセル行の各々はＧピクセルとＲピクセルとの間の色差成分
Δh(r,s)を与える。
【００５３】
図５は生の画像データから色差成分を計算する計算式を示す。図５（ａ）は垂直方向の
色差成分Δν(r,s)を計算する計算式を示し、図５（ｂ）は水平方向の色差成分Δh(r,s)
を計算する計算式を示す。これらの計算式において、「ｚ」は画像センサー２４により得
られた生の画像データの値をしめし、ｚ(r,s)は画像に配置された元の位置から下方向に
ｒ番目のピクセル位置と元の位置から右方向にｓ番目のピクセル位置で定義される特定位
置における値を示す（図４の上部を参照）。
【００５４】
図５（ａ）を参照すると、垂直方向の色差成分Δν(r,s)を計算する計算式に関する。
色差成分Δν(r,s)の計算対象として目標ピクセルがＧ成分を有するピクセル（Ｇピクセ
ル）である場合、図５（ａ）の上の方の計算式が採用される。プロセスはまず目標ピクセ
ルの上および下のピクセル値の平均を計算し（すなわち点を含む鎖線で囲まれた第２項）
、計算された平均を目標ピクセルのＧ成分（すなわち破線で囲まれた第１項）から引いて
目標ピクセルの垂直方向の色差成分Δν(r,s)を計算する。色差成分Δν(r,s)の計算にお
ける目標ピクセルはＧピクセルであるので、目標ピクセルの色調値ｚ(r,s)は当然Ｇ成分
である。第２項における要素ｚ(r-1,s)は目標ピクセルの上にある上側ピクセルにおける
生の画像データの色調値を示す一方、第２項における要素ｚ(r-1,s)は目標ピクセルの下
にある下側ピクセルにおける生の画像データの色調値を示す。図４に関し上述のように、
目標のＧピクセルの上と下にある上側および下側ピクセルはＲピクセルまたはＢピクセル
であり得るが、常に同一色成分のピクセルである。図５（ａ）の上側の計算式において点
を含む鎖線で囲まれた第２項は従って上側および下側ピクセル（すなわちＲピクセルまた
はＢピクセルのいずれか）の値から計算されたＲ成分またはＢ成分を表す。図５（ａ）の
上側の計算式を適用することはＲピクセルまたはＢピクセルとしての上側および下側ピク
セルに拘らずＧ成分を有するピクセル（Ｇピクセル）に関し垂直方向の色差成分Δν(r,s
)を決定する。
【００５５】
上側および下側ピクセルとしてのＲピクセルおよびＢピクセルに同一の計算式を適用す
ると２つの異なる色差成分Δν(r,s)が与えられることが特記される。上側および下側ピ
クセルがＲピクセルの場合、もたらされる垂直方向の色差成分Δν(r,s)はＧ成分とＲ成
分との色差成分を表す。逆に上側および下側ピクセルがＢピクセルの場合、もたらされる
垂直方向の色差成分Δν(r,s)はＧ成分とＢ成分との色差成分を表す。垂直方向における
色差成分Δν(r,s)はＧピクセル以外のピクセル（すなわちＲピクセルおよびＢピクセル
）に関して同様に計算できる。例えば、色差成分Δν(r,s)の計算対象としての目標ピク
セルがＲピクセルである場合、目標ピクセルの上と下にあるピクセルは図４に関し上述の
ようにＧピクセルである。上側および下側ピクセルの値の平均は目標ピクセルにおけるＧ
成分を色差成分Δν(r,s)の計算の対象として指定すると考えられる。指定されたＧ成分
から目標ピクセルの色調値（この場合はＲ成分）を引くと色差成分Δν(r,s)が決定され
る。目標ピクセルとして各Ｂピクセルのセットに同じ一連の処理が施される。図５（ａ）
の下側の計算式に示されるように、Ｇピクセル以外のピクセルに関しては、右側の点を含
む鎖線で囲まれた第２項（非Ｇ成分のピクセル）を破線で囲まれた第１項（推定Ｇ成分の
ピクセル）から引くと垂直方向における色差成分Δν(r,s)が与えられる。
【００５６】
Ｇピクセルではなく、目標ピクセルとして設定されたＲピクセルおよびＢピクセル双方
に関して同一の計算式が垂直方向における色差成分Δν(r,s)の計算に適用できる。しか
し目標ピクセルとして処理されるＲピクセルおよびＢピクセルは２つの異なる種類の色差
成分Δν(r,s)をもたらすことが特記される。目標ピクセルがＲピクセルの場合、もたら
される色差成分Δν(r,s)はＧ成分とＲ成分との色差成分を表す。目標ピクセルがＢピク
セルの場合、もたらされる色差成分Δν(r,s)はＧ成分とＢ成分との色差成分を表す。
【００５７】
実施形態のエッジ検出プロセスは２つの異なる種類の色差成分Δν(r,s)に対する高度
処理について全く同一の計算式を適用する。同一計算式の適用は２つの異なる種類の色差
成分Δν(r,s)に対する高度処理について従来の単純な処理に匹敵する簡単さと高速を望
ましく達成する。しかし従来の単純な処理とは異なり、実施形態のこの高度処理は擬似色
を防ぎながら充分なモザイク解除を可能にする。
【００５８】
水平方向における色差成分Δh(r,s)は上述の垂直方向における色差成分Δν(r,s)と同
じように計算できる。図５（ｂ）を参照して色差成分Δh(r,s)の計算を簡単に説明する。
図５（ｂ）の上側の計算式で示されるように、右側の点を含む鎖線で囲まれた第２項を破
線に囲まれた第１項から引くと水平方向におけるＧピクセルの色差成分Δh(r,s)が与えら
れる。計算式において、要素ｚ(r,s)は色差成分計算の対象である目標ピクセルにおける
生の画像データの色調値（すなわちＧ成分）を表す。要素ｚ(r,s-1)は目標ピクセルの左
側にあるピクセルにおける生の画像データの色調値を示す一方、要素ｚ(r,s+1)は目標ピ
クセルの右側にあるピクセルにおける生の画像データの色調値を示す。目標Ｇピクセルの
左側および右側にあるこれらのピクセルはＲピクセルまたはＢピクセルであり得るが、常
に同一の色成分のピクセルである。
【００５９】
Ｇピクセル以外の目標ピクセルに関し（すなわちＲ目標ピクセルまたはＢ目標ピクセル
のいずれかに関し）水平方向の色差成分Δh(r,s)の計算において、ＲまたはＢ目標ピクセ
ルの左側および右側にあるピクセルはＧピクセルである。図５（ｂ）の下側の計算式に示
されるように、点を含む鎖線で囲まれた第２項（目標ピクセルの色調値）を破線で囲まれ
た第１項（左側および右側ピクセルの値の平均）から引くと水平方向の色差成分Δh(r,s)
が与えられる。
【００６０】
左側および右側にＲピクセルまたはＢピクセルを有する目標Ｇピクセルに関し、またＧ
ピクセル以外のＲピクセルおよびＢピクセル双方が目標ピクセルとして設定された場合に
関し、水平方向の色差成分Δh(r,s)の計算に同一計算式が適用できる。しかし計算は２つ
の異なる種類の色差成分Δh(r,s)、すなわちＧ成分とＲ成分との間の色差成分およびＧ成
分とＢ成分との間の色差成分、を与える。全く同一の計算式の適用は２つの異なる種類の
色差成分Δh(r,s)に対する高度処理について従来の単純な処理に匹敵する簡単さと高速を
望ましく達成する。
【００６１】
図５（ａ）と図５（ｂ）との比較からはっきりと理解されるように、垂直方向の色差成
分Δν(r,s)の計算に使用される計算式は水平方向の色差成分Δh(r,s)の計算に使用され
る計算式に極めて類似している。つまり、処理の流れは２つの異なる方向における色差成
分Δν(r,s)およびΔh(r,s)双方の計算に対し標準化することができる。これは処理全体
の簡単さと高速をさらに向上させる。
【００６２】
図３のフローチャートのステップＳ１０２において、画像センサー２４により取り込ま
れた生の画像データは垂直方向の色差成分Δν(r,s)および水平方向の色差成分Δh(r,s)
に変換される。
【００６３】
図３のフローチャートに戻ると、上述のように垂直方向の色差成分Δν(r,s)および水
平方向の色差成分Δh(r,s)の計算後、実施形態のエッジ検出プロセスは色差成分のこれら
のデータでエッジマップを作成する（エッジマップ作成プロセス）（ステップＳ１０４）
。エッジマップは画像において検出された各エッジを示し、値ｃ(r,s)＝１は（ｒ，ｓ）
ピクセル位置にエッジが存在することを示し、値ｃ(r,s)＝０は（ｒ，ｓ）ピクセル位置
にエッジが存在しないことを示す。モザイク解除またはサイズ変更、雑音除去、または鮮
明化など生のデータに対する他の画像処理の目的で、エッジマップは必ずしもすべてのピ
クセルについて設定されないかもしれないが、少なくとも非Ｇピクセル（すなわちＲピク
セルおよびＢピクセル）またはＧピクセルについて設定される必要がある。実施形態のエ
ッジ検出プロセスは後述のように垂直方向の色差成分Δν(r,s)および水平方向の色差成
分Δh(r,s)に基づきエッジを検出する。これにより正確で比較的高速のエッジ検出が保証
される。エッジマップ作成プロセスは以下に説明される。
【００６４】
エッジ配向マップの作成後、ＣＰＵは次にエッジマップを増強する（エッジマップ増強
プロセス）（ステップＳ１０６）。ＣＰＵは次にエッジマップを反復的に増強する（反復
的エッジマップ増強プロセス）（ステップＳ１０８）。随意的なエッジマップ増強プロセ
スおよび随意的な反復的エッジマップ増強プロセスは以下に説明される。
【００６５】
エッジマップ作成プロセス（ステップＳ１０４）ならびに随意的にエッジマップ増強プ
ロセスおよび反復的エッジマップ増強プロセス（ステップＳ１０６およびステップＳ１０
８）の完了後、ＣＰＵは次にエッジマップを出力し（ステップＳ１１０）図３のエッジ検
出プロセスを終了する。
【００６６】
上述のように、本実施形態のエッジ検出プロセスは垂直方向の色差成分Δν(r,s)およ
び水平方向の色差成分Δh(r,s)に基づきエッジを検出し、エッジマップを作成する。より
具体的に、エッジは垂直方向の色差成分Δν(r,s)および水平方向の色差成分Δh(r,s)に
おける２つの異なる種類（Ｇ成分とＲ成分との間の色差成分およびＧ成分とＢ成分との間
の色差成分）により検出される。色差は単一センサーカメラの画像処理の不可欠なステッ
プであるモザイク解除に広く使用されるので、この特徴はエッジマップの作成がモザイク
解除と比べ演算リソースの追加を最小限にして効率的に実施されることを可能にする。こ
のように、エッジマップ作成プロセスは比較的簡単で、高速で実行できる。加えて、色差
を用いたモザイク解除は通常異なる極性の色差信号が存在する部分において相当なエラー
をもたらすので、本明細書で説明されるエッジ検出を行なうことによりモザイク解除プロ
セスの処理精度が非常に向上し得る。これは説明された方法を通常のエッジ検出ソリュー
ションから区別する点である。以下の説明はエッジマップ作成プロセス、エッジマップ増
強プロセス、および反復的エッジマップ増強プロセスの詳細を順に見る。
【００６７】
Ｃ．エッジマップ作成プロセス
図６は実施形態の画像処理装置３０により図３の色画像データ生成プロセスのステップ
Ｓ１０４で実行されるエッジマップ作成プロセスの詳細を示すフローチャートである。
【００６８】
Δν(r,s)およびΔh(r,s)は正および負双方の値を有し得ることが明らかであろう。広
範囲にわたる実験により色差成分Δν(r,s)およびΔh(r,s)の双方の極性は通常エッジ領
域で変化することが示されている。従って、色差成分Δν(r,s)およびΔh(r,s)について
さまざまな距離を計算しこれらの距離を閾値と比較する代わりに、エッジマップ作成プロ
セスは色差成分Δν(r,s)およびΔh(r,s)の極性の不整合を局限することによりエッジを
検出する。
【００６９】
エッジマップ作成プロセスはまずエッジ検出の対象として１つの目標ピクセルを選択す
る（ステップＳ２００）。１つの目標ピクセルを選択後、エッジマップ作成プロセスは次
に目標ピクセルの垂直色差成分が目標ピクセルの上にあるピクセルの垂直色差成分と異な
る記号を有するか判定する（ステップＳ２０２）。目標ピクセルの垂直色差成分が目標ピ
クセルの上にあるピクセルの垂直色差成分と異なる記号を有する場合（ステップＳ２０２
：はい）、エッジが目標ピクセルを通ると判定される。目標ピクセルのエッジ特性を表す
値が次に「１」に等しく設定される（ステップＳ２０４）。
【００７０】
目標ピクセルの垂直色差成分が目標ピクセルの上にあるピクセルの垂直色差成分と異な
る記号を有しない場合（ステップＳ２０２：いいえ）、エッジマップ作成プロセスは次に
目標ピクセルの垂直色差成分が目標ピクセルの下にあるピクセルの垂直色差成分と異なる
記号を有するか判定する（ステップＳ２０６）。目標ピクセルの垂直色差成分が目標ピク
セルの下にあるピクセルの垂直色差成分と異なる記号を有する場合（ステップＳ２０６：
はい）、エッジが目標ピクセルを通ると判定され、目標ピクセルのエッジ特性を表す値が
次に「１」に等しく設定される（ステップＳ２０４）。
【００７１】
目標ピクセルの垂直色差成分が目標ピクセルの下にあるピクセルの垂直色差成分と異な
る記号を有しない場合（ステップＳ２０６：いいえ）、エッジマップ作成プロセスは次に
目標ピクセルの水平色差成分が目標ピクセルの左側にあるピクセルの水平色差成分と異な
る記号を有するか判定する（ステップＳ２０８）。目標ピクセルの水平色差成分が目標ピ
クセルの左側にあるピクセルの水平色差成分と異なる記号を有する場合（ステップＳ２０
８：はい）、エッジが目標ピクセルを通ると判定され、目標ピクセルのエッジ特性を表す
値が次に「１」に等しく設定される（ステップＳ２０４）。
【００７２】
目標ピクセルの水平色差成分が目標ピクセルの左側にあるピクセルの水平色差成分と異
なる記号を有しない場合（ステップＳ２０８：いいえ）、エッジマップ作成プロセスは次
に目標ピクセルの水平色差成分が目標ピクセルの右側にあるピクセルの水平色差成分と異
なる記号を有するか判定する（ステップＳ２１０）。目標ピクセルの水平色差成分が目標
ピクセルの右側にあるピクセルの水平色差成分と異なる記号を有する場合（ステップＳ２
１０：はい）、エッジが目標ピクセルを通ると判定され、目標ピクセルのエッジ特性を表
す値が次に「１」に等しく設定される（ステップＳ２０４）。
【００７３】
目標ピクセルの水平色差成分が目標ピクセルの右側にあるピクセルの水平色差成分と異
なる記号を有しない場合（ステップＳ２１０：いいえ）、エッジが目標ピクセルを通らな
いと判定され、目標ピクセルのエッジ特性を表す値が次に「０」に等しく設定される（ス
テップＳ２１２）。
【００７４】
目標ピクセルのエッジ特性を表す値がステップＳ２０４において「１」またはステップ
Ｓ２１２において「０」のいずれかに等しく設定された後、ＣＰＵはすべてのピクセルに
ついてエッジが検出されたか判定する（ステップＳ２１４）。未処理のピクセルがある場
合（ステップＳ２１４：いいえ）、エッジマップ作成プロセスはステップＳ２００に戻り
未処理のピクセルの中から別の目標ピクセルを選択し、続く一連の処理を実行する。すべ
てのピクセルについてエッジ配向の検出が完了すると（ステップＳ２１４：はい）、図６
のエッジマップ作成プロセスは終了する。
【００７５】
図７は色差成分のデータからエッジマップを作成することを示す。特に、図７（ａ）は
計算式を示し、図７（ｂ）は図７（ａ）の計算式に従いエッジマップを作成することを概
念的に示す。図７（ｂ）における斜線の長方形は目標ピクセルｚ(r,s)の位置を表す。エ
ッジマップ作成プロセスはまず目標ピクセルｚ(r,s)の垂直色差成分Δν(r,s)の記号を目
標ピクセルの上および下にあるピクセルｚ(r-1,s)およびｚ(r+1,s)の垂直色差成分Δν(r
,s)およびΔν(r+1,s)の記号と比較する。同様に計算プロセスは目標ピクセルｚ(r,s)の
水平色差成分Δh(r,s)の記号を目標ピクセルの左側および右側にあるピクセルｚ(r,s-1)
およびｚ(r,s+1)の水平色差成分Δh(r,s-1)およびΔh(r,s+1)の記号と比較する。表示記
号（Δ）は入力Δの記号または極性を示す。項ｃ(r,s)は生の画像と同じ空間解像度（寸
法）のバイナリーエッジマップｃにおける値で、値ｃ(r,s)＝１は（ｒ，ｓ）ピクセル位
置においてエッジが存在することを示し、値ｃ(r,s)＝０は（ｒ，ｓ）ピクセル位置にお
いてエッジが存在しないことを示す。
【００７６】
Ｄ．エッジマップ増強プロセス
図８は実施形態の画像処理装置３０により図３におけるエッジ検出プロセスのステップ
Ｓ１０６で実行されるエッジマップ増強プロセスの詳細を示すフローチャートである。
【００７７】
エッジマップ増強プロセスはまず増強の対象としてエッジマップの１つの目標バイナリ
ー値を選択する（ステップＳ３００）。１つの目標バイナリー値の選択後、エッジマップ
増強プロセスは次に目標値が０、１に等しいかまたは不確定であるか判定する（ステップ
Ｓ３０２）。
【００７８】
目標バイナリー値が０に等しい場合（ステップＳ３０２：０）、次に目標バイナリー値
の各角における４つのバイナリー値（すなわちｃ(r-1,s-1)、ｃ(r-1,s+1)、ｃ(r+1,s-1)
、およびｃ(r+1,s+1)）の合計が２を超えるか判定される（ステップＳ３０４）。目標バ
イナリー値の各角における４つのバイナリー値が２を超える場合（ステップＳ３０４：は
い）、目標バイナリー値は１に設定される（ステップＳ３０６）。
【００７９】
目標バイナリー値の各角における４つのバイナリー値が２を超えない場合（ステップＳ
３０４：いいえ）、次に目標バイナリー値の上、下、左側、および右側にあるピクセルに
おける４つのバイナリー値の合計が２を超えるか判定される（ステップＳ３０８）。これ
らの４ピクセルにおけるバイナリー値の合計が２を超える場合（ステップＳ３０８：はい
）、目標バイナリー値は１に設定される（ステップＳ３０６）。そうでない場合（ステッ
プＳ３０８：いいえ）、目標バイナリー値はそのままにされる（ステップＳ３１０）。こ
のようなエッジマップの増強の性能を向上させるために、本実施形態で使用される４つの
水平および垂直に位置するピクセルはｃ(r-4,s)、ｃ(r,s-4)、ｃ(r,s+4)、およびｃ(r+4,
s)であることができるが、他の水平および垂直に位置するピクセルも代わりに使用するこ
とができる。
【００８０】
目標バイナリー値が１に等しい場合（ステップＳ３０２：１）、次に目標バイナリー値
の各角にある４つのバイナリー値の合計が０に等しいか判定される（ステップＳ３１２）
。これら４つのバイナリー値の合計が０に等しい場合（ステップＳ３１２：はい）、目標
バイナリー値は０に設定される（ステップＳ３１４）。目標バイナリー値の各角にある４
つのバイナリー値の合計が０に等しくない場合（ステップＳ３１２：いいえ）、目標バイ
ナリー値はそのままにされる（ステップＳ３１０）。
【００８１】
目標バイナリー値が未確定の場合（ステップＳ３０２：未確定）、目標バイナリー値は
そのままにされる（ステップＳ３１０）。
【００８２】
目標値のエッジ特性を表す値がステップＳ３０６で１に等しく設定され、ステップＳ３
１４で０に等しく設定され、またはＳ３１０でそのままにされた後、ＣＰＵはマップのす
べてのピクセル位置に関し増強されたか判定する（ステップＳ３１６）。未処理の値が存
在する場合（ステップＳ３１６：いいえ）、エッジマップ増強プロセスはステップＳ３０
０に戻り未処理の値の中から別の目標値を選択し、続く一連の処理を実行する。すべての
値に監視エッジマップの増強が完了すると（ステップＳ３１６：はい）、図８のエッジマ
ップ増強プロセスは終了する。
【００８３】
図９はエッジマップの増強を示す。特に図９（ａ）は計算式を示し図９（ｂ）は図９（
ａ）の計算式に従いエッジマップを増強することを概念的に示す。
【００８４】
図９（ａ）において、（ｃ(r-1,s-1)＋ｃ(r-1,s+1)＋ｃ(r+1,s-1)＋ｃ(r+1,s+1)）＞２
または（ｃ(r-4,s)、ｃ(r,s-4)、ｃ(r,s+4)、およびｃ(r+4,s)）＞２でｃ(r,s)＝０はバ
イナリーの中央値の演算を示す一方、（ｃ(r-1,s-1)＋ｃ(r-1,s+1)＋ｃ(r+1,s-1)＋ｃ(r+
1,s+1)）＝０でｃ(r,s)＝１は最小フィルターのような形態的演算をなす。これら２つの
フィルタリングモード間で切り替えると、手順により有意な構造内容を意味しない孤立し
たエッジピクセルが除去され真のエッジ位置に新しいエッジピクセルが加えられるのでエ
ッジマップを増強する。のこりのすべての場合、ｃ(r,s)値はそのままにされ、増強が不
必要であることを意味する。
【００８５】
図９（ｂ）における斜線の長方形は目標バイナリー値ｃ(r,s)の位置を表す。エッジマ
ップ増強プロセスはまず目標バイナリー値ｃ(r,s)が０もしくは１に等しいか、または未
確定であるか判定する。目標バイナリー値ｃ(r,s)が０に等しい場合、次に目標バイナリ
ー値ｃ(r,s)の各角にあるバイナリー値（すなわちｃ(r-1,s-1)、ｃ(r-1,s+1)、ｃ(r+1,s-
1)、およびｃ(r+1,s+1)）の合計が２を超えるか、および／または目標バイナリー値ｃ(r,
s)の上、下、左側、および右側にあるピクセルの４つのバイナリー値（すなわちｃ(r-4,s
)、ｃ(r,s-4)、ｃ(r,s+4)、およびｃ(r+4,s)）の合計が２を超えるか判定される。これら
の条件のいずれか／双方が真である場合、エッジが目標ピクセルｚ(r,s)を通ると判定さ
れ、目標バイナリー値ｃ(r,s)は０から１に変更される。図９（ｂ）における縦縞の長方
形は目標バイナリー値ｃ(r,s)の各角にあるバイナリー値（すなわちｃ(r-1,s-1)、ｃ(r-1
,s+1)、ｃ(r+1,s-1)、およびｃ(r+1,s+1)）の位置を表し、図９（ｂ）における横縞の長
方形は目標バイナリー値ｃ(r,s)の上、下、左側、および右側にあるピクセルの４つのバ
イナリー値（すなわちｃ(r-4,s)、ｃ(r,s-4)、ｃ(r,s+4)、およびｃ(r+4,s)）の位置を表
す。
【００８６】
目標バイナリー値ｃ(r,s)が１に等しい場合、次に目標バイナリー値ｃ(r,s)の各角にあ
るバイナリー値（すなわちｃ(r-1,s-1)、ｃ(r-1,s+1)、ｃ(r+1,s-1)、およびｃ(r+1,s+1)
）の合計が０に等しいか判定される。この条件が真の場合、エッジが目標ピクセルｚ(r,s
)を通らないの判定され、目標バイナリー値ｃ(r,s)は１から０に変更される。目標バイナ
リー値が未確定の場合、目標バイナリー値ｃ(r,s)はそのままにされ、増強が不必要であ
ることを意味する。
【００８７】
Ｅ．反復的エッジマップ増強プロセス
図１０は実施形態の画像処理装置３０により図３におけるエッジ検出プロセスのステッ
プＳ１０８で実行される反復的エッジマップ増強プロセスの詳細を示すフローチャートで
ある。
【００８８】
反復的エッジマップ増強プロセスはまず増強の対象としてエッジマップの１つの目標バ
イナリー値を選択する（ステップＳ４００）。１つの目標バイナリー値の選択後、反復的
エッジマップ増強プロセスは次に目標値が０に等しいか判定する（ステップＳ４０２）。
【００８９】
目標バイナリー値が０に等しい場合（ステップＳ４０２：はい）、次に目標バイナリー
値の各角における４つのバイナリー値（すなわちｃ(r-1,s-1)、ｃ(r-1,s+1)、ｃ(r+1,s-1
)、およびｃ(r+1,s+1)）の合計が２を超えるか判定される（ステップＳ４０４）。目標バ
イナリー値の各角における４つのバイナリー値が２を超える場合（ステップＳ４０４：は
い）、目標バイナリー値は１に設定される（ステップＳ４０６）。
【００９０】
目標バイナリー値の各角における４つのバイナリー値が２を超えない場合（ステップＳ
４０４：いいえ）、次に目標バイナリー値の上、下、左側、および右側にあるピクセルに
おける４つのバイナリー値（すなわち本実施形態においてｃ(r-4,s)、ｃ(r,s-4)、ｃ(r,s
+4)、およびｃ(r+4,s)）の合計が２を超えるか判定される（ステップＳ４０８）。これら
４つのバイナリー値の合計が２を超える場合（ステップＳ４０８：はい）、目標バイナリ
ー値は１に設定される（ステップＳ４０６）。これら４つのバイナリー値の合計が２を超
えない場合（ステップＳ４０８：いいえ）、目標バイナリー値はそのままにされる（ステ
ップＳ４１０）。
【００９１】
目標バイナリー値が０に等しくない場合（ステップＳ４０２：いいえ）、目標バイナリ
ー値はそのままにされ、増強が不必要であることを意味する（ステップＳ４１０）。
【００９２】
目標値のエッジ特性を表す値がステップＳ４０８で１に等しく設定されるか、またはＳ
４１０でそのままにされた後、ＣＰＵはすべての値に関し増強されたか判定する（ステッ
プＳ４１２）。未処理の値が存在する場合（ステップＳ４１２：いいえ）、反復的エッジ
マップ増強プロセスはステップＳ４００に戻り未処理の値の中から別の目標値を選択し、
続く一連の処理を実行する。
【００９３】
すべての値に関しエッジマップの増強が完了すると（ステップＳ４１２：はい）、反復
的エッジマップ増強プロセスは次に反復的エッジマップ増強プロセスが所定数の反復を完
了したか判定する（ステップＳ４１４）。反復的エッジマップ増強プロセスが所定数の反
復を完了していない場合（ステップＳ４１４：いいえ）、反復的エッジマップ増強プロセ
スはステップＳ４００に戻り先頭の目標値を選択し、続く一連の処理を実行する。反復的
エッジマップ増強プロセスの所定数の反復各々を完了すると（ステップＳ４１４：はい）
、図１０の反復的エッジマップ増強プロセスは終了する。
【００９４】
図１１はエッジマップを反復的に増強することを示す。特に図１１（ａ）は計算式を示
し、図１１（ｂ）は図１１（ａ）の計算式に従いエッジマップを反復的に増強することを
概念的に示す。図１１（ｂ）における斜線の長方形は目標バイナリー値ｃ(r,s)の位置を
表す。反復的エッジマップ増強プロセスはまず目標バイナリー値ｃ(r,s)が０に等しいか
判定する。目標バイナリー値ｃ(r,s)が０に等しい場合、次に目標バイナリー値ｃ(r,s)の
各角にあるバイナリー値（すなわちｃ(r-1,s-1)、ｃ(r-1,s+1)、ｃ(r+1,s-1)、およびｃ(
r+1,s+1)）の合計が２を超えるか、および／または目標バイナリー値ｃ(r,s)の上、下、
左側、および右側にあるピクセルの４つのバイナリー値（すなわち本実施形態においてｃ
(r-4,s)、ｃ(r,s-4)、ｃ(r,s+4)、およびｃ(r+4,s)）の合計が２を超えるか判定される。
これらの条件のいずれか／双方が真である場合、エッジが目標ピクセルｚ(r,s)を通ると
判定され、目標バイナリー値ｃ(r,s)は０から１に変更される。図１１（ｂ）における縦
縞の長方形は目標バイナリー値ｃ(r,s)の各角にあるバイナリー値（すなわちｃ(r-1,s-1)
、ｃ(r-1,s+1)、ｃ(r+1,s-1)、およびｃ(r+1,s+1)）の位置を表し、図１１（ｂ）におけ
る横縞の長方形は目標バイナリー値ｃ(r,s)の上、下、左側、および右側にあるピクセル
の４つのバイナリー値（すなわち本実施形態の例においてｃ(r-4,s)、ｃ(r,s-4)、ｃ(r,s
+4)、およびｃ(r+4,s)）の位置を表す。
【００９５】
目標バイナリー値ｃ(r,s)が０に等しくない場合（目標バイナリー値ｃ(r,s)が１に等し
いか、または未確定の場合）、目標バイナリー値ｃ(r,s)はそのままにされ、増強が不必
要であることを意味する。
【００９６】
本明細書で開示される実施形態の例は他の具体的な形で具現され得る。本明細書で開示
される実施形態の例はすべての点で単に例示的とみなされ限定的とはみなされない。
【符号の説明】
【００９７】
１０…光学系、２０…撮像アッセンブリ、２２…カラーフィルターアレイ、２４…画像
センサー、３０…画像処理装置、１００…デジタルカメラ。
【特許請求の範囲】
【請求項１】
各ピクセルにおいて光の３原色に対応するＲ成分、Ｇ成分およびＢ成分の３つの色成分
の内１つの色成分のみの設定を有するモザイク画像データを受信し、前記受信されたモザ
イク画像データに一連の画像処理を施し、前記モザイク画像データにおいてエッジが通る
ピクセルを特定するエッジマップを生成する画像処理装置であって、
前記モザイク画像データは、前記Ｇ成分のピクセルおよび別の色成分として前記Ｒ成分
のピクセルが垂直方向に交互配置のピクセル列と、前記Ｇ成分のピクセルおよび別の色成
分として前記Ｂ成分のピクセルが前記垂直方向に交互配置のピクセル列と、前記Ｇ成分の
ピクセルおよび別の色成分として前記Ｒ成分のピクセルが水平方向に交互配置のピクセル
行と、前記Ｇ成分のピクセルおよび別の色成分として前記Ｂ成分のピクセルが前記水平方
向に交互配置のピクセル行と、の組み合わせで表され、
前記画像処理装置は、
垂直の周辺の利用可能な成分を用いて別の色成分のピクセル位置における前記Ｇ成分を
取得し、または前記Ｇ成分のピクセル位置における別の色成分を取得して、前記モザイク
画像のピクセル列の各々に含まれる各ピクセルにおいて前記Ｇ成分および別の色成分間で
垂直方向色差成分を演算するよう構成される垂直方向色差成分演算モジュールと、
水平の周辺の利用可能な色成分を用いて別の色成分のピクセル位置における前記Ｇ成分
を取得し、または前記Ｇ成分のピクセル位置における別の色成分を取得して、前記モザイ
ク画像のピクセル行の各々に含まれる各ピクセルにおいて前記Ｇ成分および別の色成分間
で水平方向色差成分を演算するよう構成される水平方向色差成分演算モジュールと、
前記モザイク画像からピクセルを選択し、そのようなピクセル位置各々において目標ピ
クセルの前記垂直方向色差成分の記号を前記目標ピクセルの上と下にあるピクセルの前記
垂直方向色差成分の記号と比較するとともに、前記目標ピクセルの水平方向色差成分の記
号を前記目標ピクセルの左と右にあるピクセルの前記水平方向色差成分の記号と比較し、
１つ以上の比較における前記記号が等しくない場合前記エッジマップの対応するエッジマ
ップ値を１に設定し、すべての比較における前記記号が等しい場合は前記エッジマップの
対応するエッジマップ値を０に設定するよう構成されるエッジ検出モジュールとを有する
画像処理装置。
【請求項２】
さらにモザイク解除、サイズ変更、雑音除去、または鮮明化操作の１つで前記エッジマ
ップを用いるよう構成される請求項１に記載の画像処理装置。
【請求項３】
前記エッジ検出モジュールは、前記モザイク画像データに含まれる前記Ｒ成分のピクセ
ルおよび前記Ｂ成分のピクセルのみ、または前記Ｇ成分のピクセルのみを選択するよう構
成される請求項１に記載の画像処理装置。
【請求項４】
前記エッジマップの値を選択し、かかる目標値の位置各々において前記目標値が１に等
しいか判定し、前記目標値が１に等しい場合前記目標値の各角における値を合計し、前記
合計が０に等しいか判定し、前記合計が０に等しい場合前記目標値を０に変更するよう構
成されるエッジマップ増強モジュールをさらに有する請求項３に記載の画像処理装置。
【請求項５】
前記エッジマップの値を選択し、かかる目標値の位置各々において前記目標値が０に等
しいか判定し、前記目標値が０に等しい場合前記目標値の各角における値を合計し、前記
合計が２を超えるか判定し、前記合計が２を超える場合前記目標値を１に変更するよう構
成されるエッジマップ増強モジュールをさらに有する請求項３に記載の画像処理装置。
【請求項６】
前記エッジマップ増強モジュールはさらに、前記エッジマップの値を選択し、かかる目
標値の位置各々において前記目標値が０に等しいか判定し、前記目標値が０に等しい場合
前記目標値の上、下、左側、および右側にあるピクセルの４つの値を合計し、前記合計が
２を超えるか判定し、前記合計が２を超える場合前記目標値を１に変更するよう構成され
る請求項５に記載の画像処理装置。
【請求項７】
さらに反復的エッジマップ増強プロセスを実施するよう構成される反復的エッジマップ
増強モジュールを有し、前記反復的エッジマップ増強モジュールは、
ａ）前記エッジマップの値を選択し、かかる目標値の位置各々において前記目標値が０
に等しいか判定するステップと、
ｂ）前記目標値が０に等しい場合前記目標値の各角における値を合計し、前記合計が２
を超えるか判定し、前記合計が２を超える場合前記目標値を１に変更するステップと、
ｃ）前記目標値が０に等しい場合前記目標値の上、下、左側、および右側にあるピクセ
ルの４つの値を合計し、前記合計が２を超えるか判定し、前記合計が２を超える場合前記
目標値を１に変更するステップと、
ｄ）前記ステップａ）、前記ステップｂ）および前記ステップｃ）を少なくとも１回繰
り返すステップと、を有する請求項６に記載の画像処理装置。
【請求項８】
各ピクセルにおいて光の３原色に対応するＲ成分、Ｇ成分およびＢ成分の３つの色成分
の内１つの色成分のみの設定を有するモザイク画像データを受信し、前記受信されたモザ
イク画像データに一連の画像処理を施し、前記モザイク画像データにおいてエッジが通る
ピクセルを特定するエッジマップを生成する画像処理方法であって、
前記Ｇ成分のピクセルおよび別の色成分として前記Ｒ成分のピクセルが垂直方向に交互
配置のピクセル列と、前記Ｇ成分のピクセルおよび別の色成分として前記Ｂ成分のピクセ
ルが前記垂直方向に交互配置のピクセル列と、前記Ｇ成分のピクセルおよび別の色成分と
して前記Ｒ成分のピクセルが水平方向に交互配置のピクセル行と、前記Ｇ成分のピクセル
および別の色成分として前記Ｂ成分のピクセルが前記水平方向に交互配置のピクセル行と
、の組み合わせで表される画像データをモザイク画像データとして受信するステップと、
前記モザイク画像データの各ピクセル列に含まれる各ピクセルにおける前記Ｇ成分およ
び別の色成分を取得し、前記垂直方向における各ピクセル列に含まれる各ピクセルにおけ
る前記Ｇ成分と前記別の色成分との間の垂直方向色差成分を演算するステップと、
前記モザイク画像データの各ピクセル行に含まれる各ピクセルにおける前記Ｇ成分およ
び前記別の色成分を取得し、前記水平方向における各ピクセル行に含まれる各ピクセルに
おける前記Ｇ成分と前記別の色成分との間の水平方向色差成分を演算するステップと、
前記モザイク画像からピクセルを選択し、そのようなピクセル位置各々において目標ピ
クセルの前記垂直方向色差成分の記号を前記目標ピクセルの上と下にあるピクセルの前記
垂直方向色差成分の記号と比較し、前記目標ピクセルの前記水平方向色差成分の記号を目
標ピクセルの左と右にあるピクセルの前記水平方向色差成分の記号と比較し、１つ以上の
比較における前記記号が等しくない場合前記エッジマップの対応するエッジマップ値を１
に設定し、すべての比較における前記記号が等しい場合は前記エッジマップの対応する前
記エッジマップ値を０に設定するステップとを有する画像処理方法。
【請求項９】
モザイク解除、サイズ変更、雑音除去、または鮮明化操作の１つで前記エッジマップを
用いるステップをさらに有する請求項８に記載される画像処理方法。
【請求項１０】
前記モザイク画像データからピクセルを選択するステップは、前記モザイク画像データ
に含まれる前記Ｒ成分のピクセルおよび前記Ｂ成分のピクセルのみ、または前記Ｇ成分の
ピクセルのみを選択するステップを有する請求項８に記載の画像処理方法。
【請求項１１】
前記エッジマップの値を選択し、かかる目標値の位置各々において前記目標値が１に等
しいか判定し、前記目標値が１に等しい場合前記目標値の各角における値を合計し、前記
合計が０に等しいか判定し、前記合計が０に等しい場合目標値を０に変更するステップを
さらに有する請求項１０に記載の画像処理方法。
【請求項１２】
前記エッジマップの値を選択し、かかる目標値の位置各々において前記目標値が０に等
しいか判定し、前記目標値が０に等しい場合前記目標値の各角における値を合計し、前記
合計が２を超えるか判定し、前記合計が２を超える場合目標値を１に変更するステップを
さらに有する請求項１０に記載の画像処理方法。
【請求項１３】
前記エッジマップの値を選択し、かかる目標値の位置各々において前記目標値が０に等
しいか判定し、前記目標値が０に等しい場合前記目標値の上、下、左側、および右側にあ
るピクセルの４つの値を合計し、前記合計が２を超えるか判定し、前記合計が２を超える
場合前記目標値を１に変更するステップをさらに有する請求項１２に記載の画像処理方法
。
【請求項１４】
ａ）前記エッジマップの値を選択し、かかる目標値の位置各々において前記目標値が０
に等しいか判定するステップと、
ｂ）前記目標値が０に等しい場合前記目標値の各角における値を合計し、前記合計が２
を超えるか判定し、前記合計が２を超える場合前記目標値を１に変更するステップと、
ｃ）前記目標値が０に等しい場合前記目標値の上、下、左側、および右側にあるピクセ
ルの４つの値を合計し、前記合計が２を超えるか判定し、前記合計が２を超える場合前記
目標値を１に変更するステップと、
ｄ）前記ステップａ）、前記ステップｂ）および前記ステップｃ）を少なくとも１回繰
り返すステップとをさらに有する請求項１３に記載の画像処理方法。
【請求項１５】
各ピクセルにおいて光の３原色に対応するＲ成分、Ｇ成分およびＢ成分の３つの色成分
の内１つの色成分のみの設定を有するモザイク画像データを受信し、前記受信されたモザ
イク画像データに一連の画像処理を施し、前記モザイク画像データにおいてエッジが通る
ピクセルを特定するエッジマップを生成する方法をコンピューターに実現させるプログラ
ムを有するコンピューター読み取り可能な媒体であって、
前記プログラムは、
前記Ｇ成分のピクセルおよび別の色成分として前記Ｒ成分のピクセルが垂直方向に交互
配置のピクセル列と、前記Ｇ成分のピクセルおよび別の色成分として前記Ｂ成分のピクセ
ルが前記垂直方向に交互配置のピクセル列と、前記Ｇ成分のピクセルおよび別の色成分と
して前記Ｒ成分のピクセルが水平方向に交互配置のピクセル行と、前記Ｇ成分のピクセル
および別の色成分として前記Ｂ成分のピクセルが前記水平方向に交互配置のピクセル行と
、の組み合わせで表される画像データをモザイク画像データとして受信するステップと、
前記モザイク画像データの各ピクセル列に含まれる各ピクセルにおける前記Ｇ成分およ
び別の色成分を取得し、前記垂直方向における各ピクセル列に含まれる各ピクセルにおけ
る前記Ｇ成分と別の色成分との間の垂直方向色差成分を演算するステップと、
前記モザイク画像データの各ピクセル行に含まれる各ピクセルにおける前記Ｇ成分およ
び別の色成分を取得し、水平方向における各ピクセル行に含まれる各ピクセルにおける前
記Ｇ成分と別の色成分との間の水平方向色差成分を演算するステップと、
前記モザイク画像からピクセルを選択し、そのようなピクセル位置各々において目標ピ
クセルの前記垂直方向色差成分の記号を前記目標ピクセルの上と下にあるピクセルの前記
垂直方向色差成分の記号と比較し、前記目標ピクセルの前記水平方向色差成分の記号を前
記目標ピクセルの左と右にあるピクセルの前記水平方向色差成分の記号と比較し、１つ以
上の比較における前記記号が等しくない場合前記エッジマップの対応するエッジマップ値
を１に設定し、すべての比較における前記記号が等しい場合は前記エッジマップの対応す
るエッジマップ値を０に設定するステップと、の機能をコンピューターに達成させるコン
ピューター読み取り可能な媒体。
【請求項１６】
前記プログラムは、モザイク解除、サイズ変更、雑音除去、または鮮明化操作の１つで
前記エッジマップを用いるステップをさらにコンピューターに達成させる請求項１５に記
載のコンピューター読み取り可能な媒体。
【請求項１７】
前記モザイク画像データからピクセルを選択するステップは、前記モザイク画像データ
に含まれる前記Ｒ成分のピクセルおよび前記Ｂ成分のピクセルのみ、または前記Ｇ成分の
ピクセルのみを選択するステップをさらに有する請求項１５に記載のコンピューター読み
取り可能な媒体。
【請求項１８】
前記プログラムは、前記エッジマップの値を選択し、かかる目標値の位置各々において
前記目標値が１に等しいか判定し、前記目標値が１に等しい場合前記目標値の各角におけ
る値を合計し、前記合計が０に等しいか判定し、前記合計が０に等しい場合前記目標値を
０に変更するステップをさらにコンピューターに達成させる請求項１７に記載のコンピュ
ーター読み取り可能な媒体。
【請求項１９】
前記プログラムは、前記エッジマップの値を選択し、かかる目標値の位置各々において
前記目標値が０に等しいか判定し、前記目標値が０に等しい場合前記目標値の各角におけ
る値を合計し、前記合計が２を超えるか判定し、前記合計が２を超える場合前記目標値を
１に変更するステップをさらにコンピューターに達成させる請求項１７に記載のコンピュ
ーター読み取り可能な媒体。
【請求項２０】
前記プログラムは、前記エッジマップの値を選択し、かかる目標値の位置各々において
前記目標値が０に等しいか判定し、前記目標値が０に等しい場合前記目標値の上、下、左
側、および右側にあるピクセルの４つの値を合計し、前記合計が２を超えるか判定し、前
記合計が２を超える場合前記目標値を１に変更するステップをさらにコンピューターに達
成させる請求項１９に記載のコンピューター読み取り可能な媒体。
【請求項２１】
前記プログラムは、
ａ）前記エッジマップの値を選択し、かかる目標値の位置各々において前記目標値が０
に等しいか判定するステップと、
ｂ）前記目標値が０に等しい場合前記目標値の各角における値を合計し、前記合計が２
を超えるか判定し、前記合計が２を超える場合前記目標値を１に変更するステップと、
ｃ）前記目標値が０に等しい場合前記目標値の上、下、左側、および右側にあるピクセ
ルの４つの値を合計し、前記合計が２を超えるか判定し、前記合計が２を超える場合前記
目標値を１に変更するステップと、
ｄ）前記ステップａ）、前記ステップｂ）および前記ステップｃ）を少なくとも１回繰
り返すステップとをさらにコンピューターに達成させる請求項２０に記載のコンピュータ
ー読み取り可能な媒体。
【請求項１】
各ピクセルにおいて光の３原色に対応するＲ成分、Ｇ成分およびＢ成分の３つの色成分
の内１つの色成分のみの設定を有するモザイク画像データを受信し、前記受信されたモザ
イク画像データに一連の画像処理を施し、前記モザイク画像データにおいてエッジが通る
ピクセルを特定するエッジマップを生成する画像処理装置であって、
前記モザイク画像データは、前記Ｇ成分のピクセルおよび別の色成分として前記Ｒ成分
のピクセルが垂直方向に交互配置のピクセル列と、前記Ｇ成分のピクセルおよび別の色成
分として前記Ｂ成分のピクセルが前記垂直方向に交互配置のピクセル列と、前記Ｇ成分の
ピクセルおよび別の色成分として前記Ｒ成分のピクセルが水平方向に交互配置のピクセル
行と、前記Ｇ成分のピクセルおよび別の色成分として前記Ｂ成分のピクセルが前記水平方
向に交互配置のピクセル行と、の組み合わせで表され、
前記画像処理装置は、
垂直の周辺の利用可能な成分を用いて別の色成分のピクセル位置における前記Ｇ成分を
取得し、または前記Ｇ成分のピクセル位置における別の色成分を取得して、前記モザイク
画像のピクセル列の各々に含まれる各ピクセルにおいて前記Ｇ成分および別の色成分間で
垂直方向色差成分を演算するよう構成される垂直方向色差成分演算モジュールと、
水平の周辺の利用可能な色成分を用いて別の色成分のピクセル位置における前記Ｇ成分
を取得し、または前記Ｇ成分のピクセル位置における別の色成分を取得して、前記モザイ
ク画像のピクセル行の各々に含まれる各ピクセルにおいて前記Ｇ成分および別の色成分間
で水平方向色差成分を演算するよう構成される水平方向色差成分演算モジュールと、
前記モザイク画像からピクセルを選択し、そのようなピクセル位置各々において目標ピ
クセルの前記垂直方向色差成分の記号を前記目標ピクセルの上と下にあるピクセルの前記
垂直方向色差成分の記号と比較するとともに、前記目標ピクセルの水平方向色差成分の記
号を前記目標ピクセルの左と右にあるピクセルの前記水平方向色差成分の記号と比較し、
１つ以上の比較における前記記号が等しくない場合前記エッジマップの対応するエッジマ
ップ値を１に設定し、すべての比較における前記記号が等しい場合は前記エッジマップの
対応するエッジマップ値を０に設定するよう構成されるエッジ検出モジュールとを有する
画像処理装置。
【請求項２】
さらにモザイク解除、サイズ変更、雑音除去、または鮮明化操作の１つで前記エッジマ
ップを用いるよう構成される請求項１に記載の画像処理装置。
【請求項３】
前記エッジ検出モジュールは、前記モザイク画像データに含まれる前記Ｒ成分のピクセ
ルおよび前記Ｂ成分のピクセルのみ、または前記Ｇ成分のピクセルのみを選択するよう構
成される請求項１に記載の画像処理装置。
【請求項４】
前記エッジマップの値を選択し、かかる目標値の位置各々において前記目標値が１に等
しいか判定し、前記目標値が１に等しい場合前記目標値の各角における値を合計し、前記
合計が０に等しいか判定し、前記合計が０に等しい場合前記目標値を０に変更するよう構
成されるエッジマップ増強モジュールをさらに有する請求項３に記載の画像処理装置。
【請求項５】
前記エッジマップの値を選択し、かかる目標値の位置各々において前記目標値が０に等
しいか判定し、前記目標値が０に等しい場合前記目標値の各角における値を合計し、前記
合計が２を超えるか判定し、前記合計が２を超える場合前記目標値を１に変更するよう構
成されるエッジマップ増強モジュールをさらに有する請求項３に記載の画像処理装置。
【請求項６】
前記エッジマップ増強モジュールはさらに、前記エッジマップの値を選択し、かかる目
標値の位置各々において前記目標値が０に等しいか判定し、前記目標値が０に等しい場合
前記目標値の上、下、左側、および右側にあるピクセルの４つの値を合計し、前記合計が
２を超えるか判定し、前記合計が２を超える場合前記目標値を１に変更するよう構成され
る請求項５に記載の画像処理装置。
【請求項７】
さらに反復的エッジマップ増強プロセスを実施するよう構成される反復的エッジマップ
増強モジュールを有し、前記反復的エッジマップ増強モジュールは、
ａ）前記エッジマップの値を選択し、かかる目標値の位置各々において前記目標値が０
に等しいか判定するステップと、
ｂ）前記目標値が０に等しい場合前記目標値の各角における値を合計し、前記合計が２
を超えるか判定し、前記合計が２を超える場合前記目標値を１に変更するステップと、
ｃ）前記目標値が０に等しい場合前記目標値の上、下、左側、および右側にあるピクセ
ルの４つの値を合計し、前記合計が２を超えるか判定し、前記合計が２を超える場合前記
目標値を１に変更するステップと、
ｄ）前記ステップａ）、前記ステップｂ）および前記ステップｃ）を少なくとも１回繰
り返すステップと、を有する請求項６に記載の画像処理装置。
【請求項８】
各ピクセルにおいて光の３原色に対応するＲ成分、Ｇ成分およびＢ成分の３つの色成分
の内１つの色成分のみの設定を有するモザイク画像データを受信し、前記受信されたモザ
イク画像データに一連の画像処理を施し、前記モザイク画像データにおいてエッジが通る
ピクセルを特定するエッジマップを生成する画像処理方法であって、
前記Ｇ成分のピクセルおよび別の色成分として前記Ｒ成分のピクセルが垂直方向に交互
配置のピクセル列と、前記Ｇ成分のピクセルおよび別の色成分として前記Ｂ成分のピクセ
ルが前記垂直方向に交互配置のピクセル列と、前記Ｇ成分のピクセルおよび別の色成分と
して前記Ｒ成分のピクセルが水平方向に交互配置のピクセル行と、前記Ｇ成分のピクセル
および別の色成分として前記Ｂ成分のピクセルが前記水平方向に交互配置のピクセル行と
、の組み合わせで表される画像データをモザイク画像データとして受信するステップと、
前記モザイク画像データの各ピクセル列に含まれる各ピクセルにおける前記Ｇ成分およ
び別の色成分を取得し、前記垂直方向における各ピクセル列に含まれる各ピクセルにおけ
る前記Ｇ成分と前記別の色成分との間の垂直方向色差成分を演算するステップと、
前記モザイク画像データの各ピクセル行に含まれる各ピクセルにおける前記Ｇ成分およ
び前記別の色成分を取得し、前記水平方向における各ピクセル行に含まれる各ピクセルに
おける前記Ｇ成分と前記別の色成分との間の水平方向色差成分を演算するステップと、
前記モザイク画像からピクセルを選択し、そのようなピクセル位置各々において目標ピ
クセルの前記垂直方向色差成分の記号を前記目標ピクセルの上と下にあるピクセルの前記
垂直方向色差成分の記号と比較し、前記目標ピクセルの前記水平方向色差成分の記号を目
標ピクセルの左と右にあるピクセルの前記水平方向色差成分の記号と比較し、１つ以上の
比較における前記記号が等しくない場合前記エッジマップの対応するエッジマップ値を１
に設定し、すべての比較における前記記号が等しい場合は前記エッジマップの対応する前
記エッジマップ値を０に設定するステップとを有する画像処理方法。
【請求項９】
モザイク解除、サイズ変更、雑音除去、または鮮明化操作の１つで前記エッジマップを
用いるステップをさらに有する請求項８に記載される画像処理方法。
【請求項１０】
前記モザイク画像データからピクセルを選択するステップは、前記モザイク画像データ
に含まれる前記Ｒ成分のピクセルおよび前記Ｂ成分のピクセルのみ、または前記Ｇ成分の
ピクセルのみを選択するステップを有する請求項８に記載の画像処理方法。
【請求項１１】
前記エッジマップの値を選択し、かかる目標値の位置各々において前記目標値が１に等
しいか判定し、前記目標値が１に等しい場合前記目標値の各角における値を合計し、前記
合計が０に等しいか判定し、前記合計が０に等しい場合目標値を０に変更するステップを
さらに有する請求項１０に記載の画像処理方法。
【請求項１２】
前記エッジマップの値を選択し、かかる目標値の位置各々において前記目標値が０に等
しいか判定し、前記目標値が０に等しい場合前記目標値の各角における値を合計し、前記
合計が２を超えるか判定し、前記合計が２を超える場合目標値を１に変更するステップを
さらに有する請求項１０に記載の画像処理方法。
【請求項１３】
前記エッジマップの値を選択し、かかる目標値の位置各々において前記目標値が０に等
しいか判定し、前記目標値が０に等しい場合前記目標値の上、下、左側、および右側にあ
るピクセルの４つの値を合計し、前記合計が２を超えるか判定し、前記合計が２を超える
場合前記目標値を１に変更するステップをさらに有する請求項１２に記載の画像処理方法
。
【請求項１４】
ａ）前記エッジマップの値を選択し、かかる目標値の位置各々において前記目標値が０
に等しいか判定するステップと、
ｂ）前記目標値が０に等しい場合前記目標値の各角における値を合計し、前記合計が２
を超えるか判定し、前記合計が２を超える場合前記目標値を１に変更するステップと、
ｃ）前記目標値が０に等しい場合前記目標値の上、下、左側、および右側にあるピクセ
ルの４つの値を合計し、前記合計が２を超えるか判定し、前記合計が２を超える場合前記
目標値を１に変更するステップと、
ｄ）前記ステップａ）、前記ステップｂ）および前記ステップｃ）を少なくとも１回繰
り返すステップとをさらに有する請求項１３に記載の画像処理方法。
【請求項１５】
各ピクセルにおいて光の３原色に対応するＲ成分、Ｇ成分およびＢ成分の３つの色成分
の内１つの色成分のみの設定を有するモザイク画像データを受信し、前記受信されたモザ
イク画像データに一連の画像処理を施し、前記モザイク画像データにおいてエッジが通る
ピクセルを特定するエッジマップを生成する方法をコンピューターに実現させるプログラ
ムを有するコンピューター読み取り可能な媒体であって、
前記プログラムは、
前記Ｇ成分のピクセルおよび別の色成分として前記Ｒ成分のピクセルが垂直方向に交互
配置のピクセル列と、前記Ｇ成分のピクセルおよび別の色成分として前記Ｂ成分のピクセ
ルが前記垂直方向に交互配置のピクセル列と、前記Ｇ成分のピクセルおよび別の色成分と
して前記Ｒ成分のピクセルが水平方向に交互配置のピクセル行と、前記Ｇ成分のピクセル
および別の色成分として前記Ｂ成分のピクセルが前記水平方向に交互配置のピクセル行と
、の組み合わせで表される画像データをモザイク画像データとして受信するステップと、
前記モザイク画像データの各ピクセル列に含まれる各ピクセルにおける前記Ｇ成分およ
び別の色成分を取得し、前記垂直方向における各ピクセル列に含まれる各ピクセルにおけ
る前記Ｇ成分と別の色成分との間の垂直方向色差成分を演算するステップと、
前記モザイク画像データの各ピクセル行に含まれる各ピクセルにおける前記Ｇ成分およ
び別の色成分を取得し、水平方向における各ピクセル行に含まれる各ピクセルにおける前
記Ｇ成分と別の色成分との間の水平方向色差成分を演算するステップと、
前記モザイク画像からピクセルを選択し、そのようなピクセル位置各々において目標ピ
クセルの前記垂直方向色差成分の記号を前記目標ピクセルの上と下にあるピクセルの前記
垂直方向色差成分の記号と比較し、前記目標ピクセルの前記水平方向色差成分の記号を前
記目標ピクセルの左と右にあるピクセルの前記水平方向色差成分の記号と比較し、１つ以
上の比較における前記記号が等しくない場合前記エッジマップの対応するエッジマップ値
を１に設定し、すべての比較における前記記号が等しい場合は前記エッジマップの対応す
るエッジマップ値を０に設定するステップと、の機能をコンピューターに達成させるコン
ピューター読み取り可能な媒体。
【請求項１６】
前記プログラムは、モザイク解除、サイズ変更、雑音除去、または鮮明化操作の１つで
前記エッジマップを用いるステップをさらにコンピューターに達成させる請求項１５に記
載のコンピューター読み取り可能な媒体。
【請求項１７】
前記モザイク画像データからピクセルを選択するステップは、前記モザイク画像データ
に含まれる前記Ｒ成分のピクセルおよび前記Ｂ成分のピクセルのみ、または前記Ｇ成分の
ピクセルのみを選択するステップをさらに有する請求項１５に記載のコンピューター読み
取り可能な媒体。
【請求項１８】
前記プログラムは、前記エッジマップの値を選択し、かかる目標値の位置各々において
前記目標値が１に等しいか判定し、前記目標値が１に等しい場合前記目標値の各角におけ
る値を合計し、前記合計が０に等しいか判定し、前記合計が０に等しい場合前記目標値を
０に変更するステップをさらにコンピューターに達成させる請求項１７に記載のコンピュ
ーター読み取り可能な媒体。
【請求項１９】
前記プログラムは、前記エッジマップの値を選択し、かかる目標値の位置各々において
前記目標値が０に等しいか判定し、前記目標値が０に等しい場合前記目標値の各角におけ
る値を合計し、前記合計が２を超えるか判定し、前記合計が２を超える場合前記目標値を
１に変更するステップをさらにコンピューターに達成させる請求項１７に記載のコンピュ
ーター読み取り可能な媒体。
【請求項２０】
前記プログラムは、前記エッジマップの値を選択し、かかる目標値の位置各々において
前記目標値が０に等しいか判定し、前記目標値が０に等しい場合前記目標値の上、下、左
側、および右側にあるピクセルの４つの値を合計し、前記合計が２を超えるか判定し、前
記合計が２を超える場合前記目標値を１に変更するステップをさらにコンピューターに達
成させる請求項１９に記載のコンピューター読み取り可能な媒体。
【請求項２１】
前記プログラムは、
ａ）前記エッジマップの値を選択し、かかる目標値の位置各々において前記目標値が０
に等しいか判定するステップと、
ｂ）前記目標値が０に等しい場合前記目標値の各角における値を合計し、前記合計が２
を超えるか判定し、前記合計が２を超える場合前記目標値を１に変更するステップと、
ｃ）前記目標値が０に等しい場合前記目標値の上、下、左側、および右側にあるピクセ
ルの４つの値を合計し、前記合計が２を超えるか判定し、前記合計が２を超える場合前記
目標値を１に変更するステップと、
ｄ）前記ステップａ）、前記ステップｂ）および前記ステップｃ）を少なくとも１回繰
り返すステップとをさらにコンピューターに達成させる請求項２０に記載のコンピュータ
ー読み取り可能な媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１０−１６８１２（Ｐ２０１０−１６８１２Ａ）
【公開日】平成２２年１月２１日（２０１０．１．２１）
【国際特許分類】
【出願番号】特願２００９−１４７３３２（Ｐ２００９−１４７３３２）
【出願日】平成２１年６月２２日（２００９．６．２２）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２２年１月２１日（２０１０．１．２１）
【国際特許分類】
【出願日】平成２１年６月２２日（２００９．６．２２）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]