画像処理装置、携帯情報端末装置、画像処理方法、及びプログラム
【課題】撮像素子の特性に合わせた画質補正と電子ズーム機能とを提供することができ、撮影画像の画質向上と消費電力の低減を両立する。
【解決手段】ライン遅延処理部３０２は、ＲＧＢ形式の画像データをライン単位で遅延した画像データを出力する。水平遅延処理部３０３は、ＲＧＢ形式の画像データをサンプリング周波数単位で遅延した画像データを出力する。水平フィルタ３０４〜３０７は、水平方向に４画素単位で演算処理を行い、垂直フィルタ３０８〜３１１は、垂直方向に４画素単位で演算処理を行う。演算処理部３１３は、水平フィルタ３０４〜３０７、及び垂直フィルタ３０８〜３１１からの画素を用いて、選択的に、位相補正、または拡大処理を行う。
【解決手段】ライン遅延処理部３０２は、ＲＧＢ形式の画像データをライン単位で遅延した画像データを出力する。水平遅延処理部３０３は、ＲＧＢ形式の画像データをサンプリング周波数単位で遅延した画像データを出力する。水平フィルタ３０４〜３０７は、水平方向に４画素単位で演算処理を行い、垂直フィルタ３０８〜３１１は、垂直方向に４画素単位で演算処理を行う。演算処理部３１３は、水平フィルタ３０４〜３０７、及び垂直フィルタ３０８〜３１１からの画素を用いて、選択的に、位相補正、または拡大処理を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、位相補正を必要とする撮像素子などからの画像データを処理する画像処理装置、携帯情報端末装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、デジタルカメラ等の撮像装置における電子ズームでは、ＣＣＤ等の撮像素子により撮像した画像の一部を切り出し、切り出した画像を拡大、または縮小することによってズーム倍率に応じた大きさの被写体画像を得ることが行われていた。この場合、切り出し処理や、拡大、または縮小処理が不可欠であり、撮像時における信号の処理負担が大きくなる。
【０００３】
そこで、例えば、撮像素子から撮像信号を読み出すとき、同一のフィルタ色の複数画素の信号電荷を加算して読み出す「画素加算読出し」や、撮像素子から画素間引きをして信号電荷を読み出す「間引き読み出し」を行うことで、撮像信号として読み出す画像の画素数を削減することにより、撮像時における切り出し処理等に要する信号の処理負担を低減している。
【０００４】
しかしながら、これら画素加算読出しや、間引き読み出しを行ったとしても、画像の画素数を削減することはできるものの、電子ズーム倍率に応じた所定領域の切り出し処理が不可欠であり、また、撮像素子から読み出す撮像信号には、切り出し処理に際して切り出される所定領域以外の画素の信号が含まれることとなり、撮像装置における信号処理負担低減は不十分であった。
【０００５】
そこで、従来、電子ズームを行う場合における信号処理負担を大幅に削減するための技術が提案されている（例えば、特許文献１参照）。該特許文献１では、電子ズーム処理に際して、撮像素子を、撮像領域のうちの所定の選択領域における垂直方向及び／又は水平方向の所定の画素数分の信号電荷を加算した撮像信号を出力する選択領域加算モードで駆動する。
【０００６】
このとき、撮像領域のサイズ、及び電子ズーム倍率に応じて選択領域の画像サイズを設定する。同時に、垂直・水平方向の信号電荷の画素加算数を、加算後の画像サイズが、スルー画像のサイズ等の必要な画像サイズ以上となるように制御するとともに、電子ズーム倍率が低倍率になるほど大きくし、かつ高倍率になるほど小さくするよう段階的に切り替える。
【０００７】
これにより、低倍率で表示画角が広い時には、加算処理によって撮像信号のデータ量を、小さくするとともに、画素加算効果によって、撮像感度を上げ画質の劣化を補う。また、高倍率で画角が狭い時には、加算数を減らすことにより、高精細の解像度を優先させるとともに、画角（＝選択領域）を狭くすることでデータ量を所定以下に抑えている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００８−１７０９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ところで、近年の携帯電話端末等のような携帯情報端末装置には、被写体像を電子的な画像データとして記録媒体に記録するデジタルスチルカメラ、及びデジタルカムコーダ（以降、双方をデジタルカメラとして説明する）機能を搭載した機種が普及している。該デジタルカメラで撮像する撮像素子の数は、年々増加しており、画像処理の負担が大きくなってきている。
【００１０】
図６は、撮像素子からの読出し方式の１つの画素加算読出しの一例を示す概念図である。画素加算読出しは、図中（ａ）のベイヤ配列の撮像素子から、図中（ｂ）に示すように垂直方向１画素おきに同色の色フィルタが配置された２画素の加算を行うと、画素加算読出しした信号の重心は、加算される２画素の中間に位置することとなる。
【００１１】
したがって、重心位置に着目すると、各画素は垂直方向に均等ではなく、２ラインずつ接近した配置となってしまう。この信号を図中（ｃ）に示すように均等な間隔で出力するため、画素加算読み出しした信号から、色差・輝度信号を生成すると、信号配置の偏りによって偽信号が生じ、エッジのがたつきや、画像のひずみといった悪影響が出てしまうという問題がある。
【００１２】
領域選択読出しは、撮像素子から必要な領域の画素のみを切り出した後に、所望な表示領域に拡大縮小するため、画素加算読出しで生じる画像のひずみはないので、画質はよくなる利点がある。しかしながら、領域選択読出しは、撮像素子から読み出す画素数が増加するために、撮像素子の読出し速度を上げる必要があり、消費電力が増加する。また、ズーム倍率が高い撮影では、全撮像素子中の必要な領域の画素のみ読み出すため、広角な撮影はできない。また、撮像素子１つ当たりの受光量が１画素になるため、感度が低下し、暗所での撮影が厳しく困難になるといった課題もある。
【００１３】
携帯機器に搭載される機能には、小型な筐体に収まること、かつ、低消費電力であることが望まれる。携帯機器は、バッテリ駆動になるため、長時間連続使用をできるように、大容量バッテリを使用することも考えられるが、小型な筐体に収めることができず、さらに筐体内が発熱するため、低消費電力で実現することが要求される。
【００１４】
しかしながら、特許文献１に示す、ズーム倍率に応じて撮像素子の読出し方式を変換する場合、画素加算読出し時の重心ずれ（位相ずれ）によるエッジのがたつきや、画像のひずみの影響を補正する手段について記載が無いため、画質への影響がでてしまうという問題がある。
【００１５】
本発明は、このような事情を考慮してなされたものであり、その目的は、撮像素子の特性に合わせた画質補正と、電子ズーム機能とを提供することができ、撮影画像の画質向上と消費電力の低減を両立することができる画像処理装置、携帯情報端末装置、画像処理方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【００１６】
上述した課題を解決するために、本発明は、位相情報にずれがある第１の画像データと、位相情報にずれがない第２の画像データのどちらか一方を入力し、画像処理を施す画像処理装置であって、前記第１の画像データ、または前記第２の画像データを保持し、それぞれの画像データの画素を、所定の順番で出力するバッファ手段と、入力データが前記第１の画像データであれば、前記バッファ手段から所定の順番で出力される前記第１の画像データの画素を用いて位相補正を行い、入力データが前記第２の画像データであれば、前記バッファ手段から所定の順番で出力される前記第２の画像データの画素を用いて拡大処理を行う演算処理手段とを備えることを特徴とした画像処理装置である。
【００１７】
また、上述した課題を解決するために、本発明は、撮像素子を備えた携帯情報端末装置であって、被写体の光学像を光電変換し電荷信号として出力する複数の撮像素子からなる撮像手段と、前記撮像手段からの読み出し方法を、前記撮像手段から垂直方向、及び／または水平方向に所定間隔で選択した複数の撮像素子から電荷信号を加算した撮像信号を出力する画素加算読み出し方式と、前記撮像手段の全撮像領域から垂直方向、及び／または水平方向の所定領域を選択し、画素数分の電荷信号を撮像信号として出力する領域選択読出し方式とを選択的に切り替え、前記画素加算読み出し方式、または前記領域選択読出し方式のいずれかで前記撮像手段から画像データを出力する撮像素子駆動制御手段と、前記撮像素子駆動制御手段から前記画素加算読み出し方式、または前記領域選択読出し方式のいずれかで出力される画像データを保持し、それぞれの画像データの画素を、所定の順番で出力するバッファ手段と、前記画素加算読み出し方式が選択された場合には、前記バッファ手段から所定の順番で出力される前記画像データの画素を用いて位相補正を行い、前記領域選択読出し方式が選択された場合には、前記バッファ手段から所定の順番で出力される前記画像データの画素を用いて拡大処理を行う演算処理手段とを備えることを特徴とした携帯情報端末装置である。
【００１８】
また、上述した課題を解決するために、本発明は、位相情報にずれがある第１の画像データと、位相情報にずれがない第２の画像データのどちらか一方を入力し、画像処理を施す画像処理方法であって、前記第１の画像データ、または前記第２の画像データを保持し、それぞれの画像データの画素を、所定の順番で出力するステップと、入力データが前記第１の画像データであれば、前記所定の順番で出力される前記第１の画像データの画素を用いて位相補正を行い、入力データが前記第２の画像データであれば、前記所定の順番で出力される前記第２の画像データの画素を用いて拡大処理を行う演算処理ステップとを含むことを特徴とした画像処理方法である。
【００１９】
また、上述した課題を解決するために、本発明は、位相情報にずれがある第１の画像データと、位相情報にずれがない第２の画像データのどちらか一方を入力し、画像処理を施す画像処理装置のコンピュータに、前記第１の画像データ、または前記第２の画像データを保持し、それぞれの画像データの画素を、所定の順番で出力するバッファ機能、入力データが前記第１の画像データであれば、前記所定の順番で出力される前記第１の画像データの画素を用いて位相補正を行い、入力データが前記第２の画像データであれば、前記所定の順番で出力される前記第２の画像データの画素を用いて拡大処理を行う演算処理機能を実行させることを特徴としたプログラムである。
【発明の効果】
【００２０】
この発明によれば、撮像素子の特性に合わせた画質補正と電子ズーム機能とを提供することができ、撮影画像の画質向上と消費電力の低減を両立することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施形態による画像処理装置の構成を示すブロック図である。
【図２】本第１実施形態の画像処理装置３による画像データの位相ひずみ補正の動作を示す概念図である。
【図３】本第１実施形態による画像処理装置３を用いた画像データの拡大処理の動作を説明するための概念図である。
【図４】本第２実施形態による画像処理装置の構成を示すブロック図である。
【図５】本第３実施形態による撮像素子付き携帯情報端末の構成を示すブロック図である。
【図６】撮像素子からの読出し方式の１つの画素加算読出しの一例を示す概念図である。
【発明を実施するための形態】
【００２２】
以下、本発明の一実施形態を、図面を参照して説明する。
Ａ．第１実施形態
まず、本発明の第１実施形態について説明する。
図１は、本発明の実施形態による画像処理装置の構成を示すブロック図である。図において、入力端子３０１には、ＲＧＢ形式の画像データが入力される。このとき、ＲＧＢ形式の画像データとしては、画素加算読み出し方式（撮像部から垂直方向、及び／または水平方向に所定間隔で選択した複数の撮像素子から電荷信号を加算した撮像信号を出力する）、あるいは、領域選択読出し方式（撮像部の全撮像領域から垂直方向、及び／または水平方向の所定領域を選択し、画素数分の電荷信号を撮像信号として出力する）のいずれかの方式で読み出された画像データがある。ライン遅延処理部３０２は、例えば、メモリにより構成され、ＲＧＢ形式の画像データをライン単位で遅延した画像データを出力する。水平遅延処理部３０３は、例えば、フリップフロップなどにより構成され、ＲＧＢ形式の画像データをサンプリング周波数単位で遅延した画像データを出力する。
【００２３】
水平フィルタ３０４、３０５、３０６、３０７は、例えば、水平方向に４画素単位で演算処理を行う構成とする。また、水平フィルタ３０４、３０５、３０６、３０７には、上記ライン遅延処理部３０２からライン単位で遅延された画素データが入力される。具体的な例として、水平フィルタ３０４には１ライン目、水平フィルタ３０５には２ライン目、水平フィルタ３０６には３ライン目、水平フィルタ３０７には４ライン目の画像データがサンプリング周波数単位で入力される。
【００２４】
垂直フィルタ３０８、３０９、３１０、３１１は、例えば、垂直方向に４画素単位で演算処理を行う構成とする。また、垂直フィルタ３０８、３０９、３１０、３１１には、上記水平遅延処理部３０３から垂直方向に連続した４画素がサンプリング周波数単位で遅延され入力される。演算処理部３１３は、水平方向、及び垂直方向に処理された画像データの演算を行う。演算処理部３１３の演算方式（画素加算読み出し方式、または領域選択読出し方式）は、入力端子３１２からの入力に従って切替可能な構成とする。演算処理部３１３の演算結果は、出力端子３１４から出力される。
【００２５】
図２（ａ）〜（ｃ）は、本第１実施形態の画像処理装置３による画像データの位相ひずみ補正の動作を示す概念図である。図中（ａ）は、入力端子３０１に入力される画素加算したＢａｙｅｒ（ベイヤ）形式の画像データの一例を示す図である。図中（ａ）の画素Ｇ１２と画素Ｒ１５との間の水平方向には、画素加算前には２画素のデータがあり、間引かれた状態となっている。また、画素Ｇ２１と画素Ｒ５１との間の垂直方向には、２ライン分の画素データがあったが、こちらも間引かれた状態となっている。この画素データが、Ｒ１１→Ｇ１２→Ｒ１５→Ｇ１６．．．．，Ｇ２１→Ｂ２２→Ｇ２５→Ｂ２６．．．．と入力される。
【００２６】
ライン遅延処理部３０２は、ライン毎に画素データを格納し、
水平フィルタ３０４には、Ｒ１１→Ｇ１２→Ｒ１５→Ｇ１６．．．．，
水平フィルタ３０５には、Ｇ２１→Ｂ２２→Ｇ２５→Ｂ２６．．．．，
水平フィルタ３０６には、Ｒ５１→Ｇ５２→Ｒ５５→Ｇ５６．．．．，
水平フィルタ３０７には、Ｇ６１→Ｂ６２→Ｇ６５→Ｂ６６．．．．，
が供給される。
【００２７】
また、ライン遅延処理部３０２の出力は、水平遅延処理部３０３に供給され、
垂直フィルタ３０８には、Ｒ１１，Ｇ２１，Ｒ５１，Ｇ６１、
垂直フィルタ３０９には、Ｇ１２，Ｂ２２，Ｇ５２，Ｂ６２、
垂直フィルタ３１０には、Ｒ１５，Ｇ２５，Ｒ５５，Ｇ６５、
垂直フィルタ３１１には、Ｇ１６，Ｂ２６，Ｇ５６，Ｂ６６、
が供給される。
【００２８】
このフィルタ処理により、図中（ｂ）に示すように、ライン間、及び画素間演算を可能としている。例えば、垂直フィルタ３０８でＧ０１，Ｂ３１，Ｇ４１，Ｂ７１を生成し、垂直フィルタ３０９でＲ０２，Ｇ３２，Ｒ４２，Ｇ７２を生成し、垂直フィルタ３１０でＧ０５，Ｂ３５，Ｇ４５，Ｂ７５を生成し、垂直フィルタ３０９でＲ０６，Ｇ３６，Ｒ４６，Ｇ７６を生成する。
【００２９】
また、水平方向には、水平フィルタ３０４でＧ１０，Ｂ１３，Ｇ１４，Ｂ１７を生成し、水平フィルタ３０５でＲ２０，Ｇ２３，Ｒ２４，Ｇ２７を生成し、水平フィルタ３０６でＧ５０，Ｂ５３，Ｇ５４，Ｂ５７を生成し、水平フィルタ３０７でＲ６０，Ｇ６３，Ｒ６４，Ｇ６７を生成する。
【００３０】
演算処理部３１３では、各フィルタの出力からＲ００，Ｇ０３，Ｒ０４，Ｇ０７，Ｇ３０，Ｂ３３，Ｇ３４，Ｂ３７，Ｒ４０，Ｇ４３，Ｒ４４，Ｇ４７，Ｇ７０，Ｂ７３，Ｇ７４，Ｂ７７を演算する。このときの演算は、画素間の内挿補正としているが、外挿補正としてもよい。また、ＲＧＢそれぞれについて、例えば、輝度成分に置き換えた後に処理してもよい。
【００３１】
図中（ｃ）には、演算の結果求められた周辺画素データを下に、位相補正処理を施した例を示している。周辺画素から位相間隔を保つことが可能な組み合わせから（Ｒ’の場合には、Ｒ００，Ｒ０２，Ｒ２０，Ｒ２２、Ｇ’の場合には、Ｇ０３，Ｇ１２，Ｇ１４，Ｇ２３）から新たに、Ｒ’、Ｇ’、Ｂ’を求めることにより、正しい位相に補正することができる。
【００３２】
図３（ａ）、（ｂ）は、本第１実施形態による画像処理装置３を用いた画像データの拡大処理の動作を説明するための概念図である。図中（ａ）には、入力端子３０１に入力されるＲＧＢ形式の画像データの一例として、Ｒ成分のみを示しており、Ｇ成分、及びＢ成分についても同様となるため説明を省略している。
【００３３】
画素データは、水平方向、及び垂直方向にも間引かれておらず、
Ｒ００→Ｒ０１→Ｒ０２→Ｒ０３．．．．，
Ｒ１０→Ｒ１１→Ｒ１２→Ｒ１３．．．．，
の順番で入力端子３０１に入力される。
【００３４】
ライン遅延処理部３０２は、ライン毎に画素データを格納する。ライン遅延処理部３０２は、ライン毎に画素データを格納し、
水平フィルタ３０４には、Ｒ００→Ｒ０１→Ｒ０２→Ｒ０３．．．．，
水平フィルタ３０５には、Ｒ１０→Ｒ１１→Ｒ１２→Ｒ１３．．．．，
が供給される。
【００３５】
また、ライン遅延処理部３０２の出力は、水平遅延処理部３０３に供給され、垂直フィルタ３０８には、Ｒ００，Ｒ１０、垂直フィルタ３０９には、Ｒ０１，Ｒ１１が供給される。この画素データをフィルタ処理により、図中（ｂ）に示すように、ライン間、及び画素間演算を行う。例えば、垂直フィルタ３０８でＲ０．５＿０を生成し、垂直フィルタ３０９でＲ０．５＿１を生成する。また、水平方向には、水平フィルタ３０４でＲ０＿０．５を生成し、水平フィルタ３０５でＲ１＿０．５を生成する。演算処理部３１３では、各フィルタの出力であるＲ０．５＿０，Ｒ０．５＿１，Ｒ０＿０．５，Ｒ１＿０．５からＲ０．５＿０．５を演算する。
【００３６】
この結果、拡大処理により水平方向と垂直方向とに２倍の画素データが生成される。このときの演算は、画素間の内挿補正としているが、外挿補正としてもよい。また、ＲＧＢそれぞれについて、例えば、輝度成分に置き換えた後に処理してもよい。
【００３７】
このように、画像処理部３は、位相補正処理と拡大処理とを、ほぼ同じ回路構成で行うことができるため、小規模で、かつ、消費電力を抑えた構成とすることができる。
【００３８】
また、用途に合わせて、使い分けすることができるため、例えば、ＬＳＩや、ＦＰＧＡに組み込む場合に使い勝手がよい構成となる。
【００３９】
Ｂ．第２実施形態
次に、本発明の第２実施形態について説明する。
図４は、本第２実施形態による画像処理装置の構成を示すブロック図である。図４において、入力端子２０１には、ＲＧＢ形式の画像データが入力される。ライン遅延処理部２０２は、例えば、メモリにより構成され、ＲＧＢ形式の画像データをライン単位で遅延した画像データを出力する。
【００４０】
位相補正部２０３は、ＲＧＢ形式の画像データの位相補正を行う。また、拡大処理部２０４は、ＲＧＢ形式の画像データに対して、水平方向に２倍、垂直方向に２倍に拡大処理を行う。選択部２０５は、入力端子２０６の信号により、拡大処理部２０４、もしくは、位相補正処理部２０３のどちらか一方のＲＧＢ信号を選択し、出力端子２０７から出力する。
【００４１】
本第２実施形態の構成によれば、前述した第１実施形態で説明した画像処理装置からライン遅延処理部２０２のみを共通化しており、同じく回路の小規模化を図ることができる。
【００４２】
Ｃ．第３実施形態
次に、本発明の第３実施形態について説明する。
図５は、本第３実施形態による撮像素子付き携帯情報端末の構成を示すブロック図である。本第３実施形態では、撮像素子付き携帯情報端末１００に前述した第１実施形態による画像処理装置３を適用する。図５において、撮像素子付き携帯情報端末１００は、光学レンズ部１から画像データをメモリカード９へ記録、もしくは、前記メモリカード９に記録した画像データを再生し、表示部７に表示することができる。
【００４３】
光学レンズ部１は、被写体の焦点距離や、レンズを通過する光の量を調整するための絞りの調整を行う。撮像素子２は、例えば、ＣＭＯＳや、ＣＣＤなどのセンサから構成され、光学レンズ部１からの被写体の光学像を電気信号に変換し、Ｂａｙｅｒ形式の画像データをＲＧＢ形式の画像データに変換して出力する。
【００４４】
画像処理部３は、撮像素子２からの画素データに対して、位相補正処理、または、拡大処理を施す。ＤＳＰ４は、画像処理部３からの画素データに対し、例えば、ＲＧＢからＹＵＶにフォーマット変換、もしくは、ノイズ除去などの画像処理を行う。ＤＳＰ４からの出力は、例えば、同期信号付の１０ｂｉｔの輝度信号、１０ｂｉｔの色差信号、１ｂｉｔの伝送クロックで構成され、バックエンド処理部５に供給される。
【００４５】
バックエンド処理部５は、ＤＳＰ４から画像データを、表示部７の画素数に一致させるためのリサイズ処理を施して、ＬＣＤコントローラ６に出力する。ＬＣＤコントローラ６は、１画面、ないし２画面程度の画像を蓄えるメモリを内蔵しており、ＣＰＵ１３、または、バックエンド処理部５から、間欠的、または、部分的に送られてきた画像データのどちらか一方、または双方を合成してフレーム画像を生成し、６０Ｈｚ程度の周波数で連続的に読み出して表示部７へ出力する。
【００４６】
表示部７は、ＲＧＢの３ピクセルで１画素を構成するストライプ形式のものが使用可能であり、ＱＶＧＡ（３２０ｘ２４０ｘＲＧＢ）、ＶＧＡ（６４０ｘ４８０ｘＲＧＢ）、（ワイドＶＧＡ（８００ｘ４８０ｘＲＧＢ）、フルワイドＶＧＡ（８５４ｘ４８０ｘＲＧＢ）などの画素数を有する、多様な画素数のデバイスが使用可能である。
【００４７】
また、ここでは、液晶ディスプレイで構成した場合の例について説明するが、自発光型の有機ＥＬディスプレイで構成してもよい。また、バックエンド処理部１５、メモリカード９にＤＳＰ４からの画像データに、例えば、画像データを動画像の符号化技術である、ＭＰＥＧ２（ＩＳＯ／ＩＥＣ １３８１３−２， Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｔａｎｄａｒｄ）や、Ｈ．２６４（ＩＴＥ／ＩＳＯ １４４９６−１０／Ｈ．２６４ＡＶＣ）／ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）などの高圧縮処理を施し、メモリカード９へ記録する。また、画像データを、ＪＰＥＧ（Joint Photographic Experts Group）などの圧縮処理を施した静止画データとして記録する。
【００４８】
バックエンド処理部５は、メモリカード９に記録した圧縮データを読出し、デコード処理した後の画像データを、ＬＣＤコントローラ６に出力する。また、音声は、デコードした後、ＤＡＣ１０を介してスピーカ１１から出力する。さらに、バックエンド処理部５は、メモリカード９から取得した映像／音声ストリームについても同様の処理を行う。
【００４９】
メモリカード９には、上述した映像と音声とが多重化された動画ストリームの他、静止画や、アニメーションの画像ファイル、音声のみのファイルなどが保持可能である。また、バックエンド処理部５とＣＰＵ１３とは、バックエンド処理部５側に接続されたデバイスの制御コマンドや、映像／音声データのやり取りが可能である。
【００５０】
メモリ１８は、ＣＰＵバス８を介してＣＰＵ１３と接続され、各種制御用のプログラム、データベース、電話帳、アドレス帳、着信メロディ、楽曲データ、動画や、静止画などの画像データなどを格納する。ＤＡＣ１０は、ＣＰＵ１３から出力される着信音や、通話音声等のデジタル音声信号をアナログ信号に変換し、スピーカ１１へ供給する。スピーカ１１は、ＤＡＣ１０から供給されたアナログ信号に基づいて、着信音や、通話音声等を出力する。
【００５１】
ＣＰＵ１３は、キー１２の操作内容の検出処理、音声通話処理、音楽や、画像の再生処理、そして、撮像素子付き携帯情報端末１００全般に関する制御を行う。例えば、ＣＰＵ１３は、ＣＰＵバス８を介してメモリ１８からプログラムを取得し、符号／復号処理回路２１、無線回路２０を制御して、着信待ちに係る処理を行う。一方、着信時には、ＣＰＵ１３は、メモリ１８の電話帳から発信者の名前や、着信メロディ、着信画像などを読み出す。そして、ＣＰＵ１３は、音声データについては、ＤＡＣ１０へ出力する一方、相手の電話番号や、名前、画像データについては、バックエンド処理部５を介して、ＬＣＤコントローラ６へ出力する。
【００５２】
電源制御部１５は、充電用の入力端子に接続される電源１４から供給される充電電流を電源制御部１５に接続された図示されていないバッテリへ供給することにより、バッテリの充電を行う。また、電源制御部１５は、バッテリから出力される電力を撮像素子付き携帯情報端末１００の各部へ供給する。
【００５３】
通信アンテナ１９は、空中を伝送されてきた電波を受信し、高周波電気信号に変換し、無線回路２０に入力する。また、通信アンテナ１９は、無線回路２０から出力された高周波電気信号を電波に変換して発信する。無線回路２０は、ＣＰＵ１３の指示に基づき、通信アンテナ１９で受信した高周波電気信号を復調し、符号／復号処理回路２１に入力する。また、無線回路２０は、符号／復号処理回路２１の出力信号に変調処理を施し、高周波電気信号に変換して通信アンテナ１９へ出力する。
【００５４】
符号／復号処理回路２１は、ＣＰＵ１３の制御に従って、無線回路２０の出力信号に復号処理を施し、通話用音声信号をレシーバ２３に出力し、文字データや、画像データ等をＣＰＵ１３へ出力する。また、符号／復号処理回路２１は、マイク２２を介して入力されたユーザ等の音声、または、ユーザがキー１２を操作して編集した文字や、メモリ１８から読み取った画像データ等に符号化処理を施し、その結果得られた信号を無線回路２０へ出力する。
【００５５】
この構成により、広角撮影時であれば、撮像素子２を画素加算した信号を出力するように設定する。同時に、ＣＰＵ１３は、画像処理部３の選択部２０５を、位相補正処理部２０３からの信号を選択するように、入力端子２０６を制御する。これにより、画素加算時に発生する画素データの位相ずれを補正でき、画素加算による画像の歪みの影響をなくすことができる。
【００５６】
また、高倍率での撮影時には、画素加算することなく、撮像素子２の一部を切り出して、切り出した範囲の全ての画素を読み出す設定とする。同時に、ＣＰＵ１３は、画像処理部３の選択部２０５を、拡大処理部２０４からの信号を選択するように、入力端子２０６を制御する。この場合、撮像素子２は、画素加算されていないため、位相補正をする必要がないので、ライン処理部２０２を拡大処理２０４用として使用することができる。
【００５７】
したがって、拡大処理部２０４により、水平、及び垂直方向の拡大処理が可能となる。また、撮像素子２からの画素データが画素加算されていないため、画質のよい、拡大処理を行うことができる。
【００５８】
また、画像処理部３の入力端子２０６の制御を、撮像素子付き携帯情報端末１００の使用用途により、切り替えてもよい。例えば、低照度撮影時には、撮像素子２の読み出しを画素加算した信号とし、画像処理部３を位相補正処理とすることにより、画素加算の利点である、複数画素を加算することによる感度があがりノイズを低減することができる。
本発明は、ビデオカメラ機能、及び電子ズーム機能付の携帯電話などに利用可能である。
【符号の説明】
【００５９】
１ 光学レンズ部
２ 撮像素子部
３ 画像処理部
４ ＤＳＰ
５ バックエンド処理部
６ ＬＳＤコントローラ部
７ 表示部
８ ＣＰＵバス
９ メモリカード
１０、１６ ＤＡＣ
１１、１７、２３ スピーカ
１２ キー入力部
１３ ＣＰＵ
１４ 電源部
１５ 電源制御部
１８ メモリ
１９ 通信アンテナ
２０ 無線回路
２１ 符号／復号処理回路
２２ マイク
１００ 撮像素子付き携帯情報端末
２０１、２０６、３０１、３１２ 入力端子
２０２、３０２ ライン遅延処理部
２０３ 位相処理部
２０４ 拡大処理部
２０５ 選択部
２０７、３１４ 出力端子
２０６ 選択部
３０３ 水平遅延処理部
３０４、３０５、３０６、３０７ 水平フィルタ
３０８、３０９、３１０、３１１ 垂直フィルタ
３１３ 演算処理部
【技術分野】
【０００１】
本発明は、位相補正を必要とする撮像素子などからの画像データを処理する画像処理装置、携帯情報端末装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、デジタルカメラ等の撮像装置における電子ズームでは、ＣＣＤ等の撮像素子により撮像した画像の一部を切り出し、切り出した画像を拡大、または縮小することによってズーム倍率に応じた大きさの被写体画像を得ることが行われていた。この場合、切り出し処理や、拡大、または縮小処理が不可欠であり、撮像時における信号の処理負担が大きくなる。
【０００３】
そこで、例えば、撮像素子から撮像信号を読み出すとき、同一のフィルタ色の複数画素の信号電荷を加算して読み出す「画素加算読出し」や、撮像素子から画素間引きをして信号電荷を読み出す「間引き読み出し」を行うことで、撮像信号として読み出す画像の画素数を削減することにより、撮像時における切り出し処理等に要する信号の処理負担を低減している。
【０００４】
しかしながら、これら画素加算読出しや、間引き読み出しを行ったとしても、画像の画素数を削減することはできるものの、電子ズーム倍率に応じた所定領域の切り出し処理が不可欠であり、また、撮像素子から読み出す撮像信号には、切り出し処理に際して切り出される所定領域以外の画素の信号が含まれることとなり、撮像装置における信号処理負担低減は不十分であった。
【０００５】
そこで、従来、電子ズームを行う場合における信号処理負担を大幅に削減するための技術が提案されている（例えば、特許文献１参照）。該特許文献１では、電子ズーム処理に際して、撮像素子を、撮像領域のうちの所定の選択領域における垂直方向及び／又は水平方向の所定の画素数分の信号電荷を加算した撮像信号を出力する選択領域加算モードで駆動する。
【０００６】
このとき、撮像領域のサイズ、及び電子ズーム倍率に応じて選択領域の画像サイズを設定する。同時に、垂直・水平方向の信号電荷の画素加算数を、加算後の画像サイズが、スルー画像のサイズ等の必要な画像サイズ以上となるように制御するとともに、電子ズーム倍率が低倍率になるほど大きくし、かつ高倍率になるほど小さくするよう段階的に切り替える。
【０００７】
これにより、低倍率で表示画角が広い時には、加算処理によって撮像信号のデータ量を、小さくするとともに、画素加算効果によって、撮像感度を上げ画質の劣化を補う。また、高倍率で画角が狭い時には、加算数を減らすことにより、高精細の解像度を優先させるとともに、画角（＝選択領域）を狭くすることでデータ量を所定以下に抑えている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００８−１７０９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ところで、近年の携帯電話端末等のような携帯情報端末装置には、被写体像を電子的な画像データとして記録媒体に記録するデジタルスチルカメラ、及びデジタルカムコーダ（以降、双方をデジタルカメラとして説明する）機能を搭載した機種が普及している。該デジタルカメラで撮像する撮像素子の数は、年々増加しており、画像処理の負担が大きくなってきている。
【００１０】
図６は、撮像素子からの読出し方式の１つの画素加算読出しの一例を示す概念図である。画素加算読出しは、図中（ａ）のベイヤ配列の撮像素子から、図中（ｂ）に示すように垂直方向１画素おきに同色の色フィルタが配置された２画素の加算を行うと、画素加算読出しした信号の重心は、加算される２画素の中間に位置することとなる。
【００１１】
したがって、重心位置に着目すると、各画素は垂直方向に均等ではなく、２ラインずつ接近した配置となってしまう。この信号を図中（ｃ）に示すように均等な間隔で出力するため、画素加算読み出しした信号から、色差・輝度信号を生成すると、信号配置の偏りによって偽信号が生じ、エッジのがたつきや、画像のひずみといった悪影響が出てしまうという問題がある。
【００１２】
領域選択読出しは、撮像素子から必要な領域の画素のみを切り出した後に、所望な表示領域に拡大縮小するため、画素加算読出しで生じる画像のひずみはないので、画質はよくなる利点がある。しかしながら、領域選択読出しは、撮像素子から読み出す画素数が増加するために、撮像素子の読出し速度を上げる必要があり、消費電力が増加する。また、ズーム倍率が高い撮影では、全撮像素子中の必要な領域の画素のみ読み出すため、広角な撮影はできない。また、撮像素子１つ当たりの受光量が１画素になるため、感度が低下し、暗所での撮影が厳しく困難になるといった課題もある。
【００１３】
携帯機器に搭載される機能には、小型な筐体に収まること、かつ、低消費電力であることが望まれる。携帯機器は、バッテリ駆動になるため、長時間連続使用をできるように、大容量バッテリを使用することも考えられるが、小型な筐体に収めることができず、さらに筐体内が発熱するため、低消費電力で実現することが要求される。
【００１４】
しかしながら、特許文献１に示す、ズーム倍率に応じて撮像素子の読出し方式を変換する場合、画素加算読出し時の重心ずれ（位相ずれ）によるエッジのがたつきや、画像のひずみの影響を補正する手段について記載が無いため、画質への影響がでてしまうという問題がある。
【００１５】
本発明は、このような事情を考慮してなされたものであり、その目的は、撮像素子の特性に合わせた画質補正と、電子ズーム機能とを提供することができ、撮影画像の画質向上と消費電力の低減を両立することができる画像処理装置、携帯情報端末装置、画像処理方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【００１６】
上述した課題を解決するために、本発明は、位相情報にずれがある第１の画像データと、位相情報にずれがない第２の画像データのどちらか一方を入力し、画像処理を施す画像処理装置であって、前記第１の画像データ、または前記第２の画像データを保持し、それぞれの画像データの画素を、所定の順番で出力するバッファ手段と、入力データが前記第１の画像データであれば、前記バッファ手段から所定の順番で出力される前記第１の画像データの画素を用いて位相補正を行い、入力データが前記第２の画像データであれば、前記バッファ手段から所定の順番で出力される前記第２の画像データの画素を用いて拡大処理を行う演算処理手段とを備えることを特徴とした画像処理装置である。
【００１７】
また、上述した課題を解決するために、本発明は、撮像素子を備えた携帯情報端末装置であって、被写体の光学像を光電変換し電荷信号として出力する複数の撮像素子からなる撮像手段と、前記撮像手段からの読み出し方法を、前記撮像手段から垂直方向、及び／または水平方向に所定間隔で選択した複数の撮像素子から電荷信号を加算した撮像信号を出力する画素加算読み出し方式と、前記撮像手段の全撮像領域から垂直方向、及び／または水平方向の所定領域を選択し、画素数分の電荷信号を撮像信号として出力する領域選択読出し方式とを選択的に切り替え、前記画素加算読み出し方式、または前記領域選択読出し方式のいずれかで前記撮像手段から画像データを出力する撮像素子駆動制御手段と、前記撮像素子駆動制御手段から前記画素加算読み出し方式、または前記領域選択読出し方式のいずれかで出力される画像データを保持し、それぞれの画像データの画素を、所定の順番で出力するバッファ手段と、前記画素加算読み出し方式が選択された場合には、前記バッファ手段から所定の順番で出力される前記画像データの画素を用いて位相補正を行い、前記領域選択読出し方式が選択された場合には、前記バッファ手段から所定の順番で出力される前記画像データの画素を用いて拡大処理を行う演算処理手段とを備えることを特徴とした携帯情報端末装置である。
【００１８】
また、上述した課題を解決するために、本発明は、位相情報にずれがある第１の画像データと、位相情報にずれがない第２の画像データのどちらか一方を入力し、画像処理を施す画像処理方法であって、前記第１の画像データ、または前記第２の画像データを保持し、それぞれの画像データの画素を、所定の順番で出力するステップと、入力データが前記第１の画像データであれば、前記所定の順番で出力される前記第１の画像データの画素を用いて位相補正を行い、入力データが前記第２の画像データであれば、前記所定の順番で出力される前記第２の画像データの画素を用いて拡大処理を行う演算処理ステップとを含むことを特徴とした画像処理方法である。
【００１９】
また、上述した課題を解決するために、本発明は、位相情報にずれがある第１の画像データと、位相情報にずれがない第２の画像データのどちらか一方を入力し、画像処理を施す画像処理装置のコンピュータに、前記第１の画像データ、または前記第２の画像データを保持し、それぞれの画像データの画素を、所定の順番で出力するバッファ機能、入力データが前記第１の画像データであれば、前記所定の順番で出力される前記第１の画像データの画素を用いて位相補正を行い、入力データが前記第２の画像データであれば、前記所定の順番で出力される前記第２の画像データの画素を用いて拡大処理を行う演算処理機能を実行させることを特徴としたプログラムである。
【発明の効果】
【００２０】
この発明によれば、撮像素子の特性に合わせた画質補正と電子ズーム機能とを提供することができ、撮影画像の画質向上と消費電力の低減を両立することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施形態による画像処理装置の構成を示すブロック図である。
【図２】本第１実施形態の画像処理装置３による画像データの位相ひずみ補正の動作を示す概念図である。
【図３】本第１実施形態による画像処理装置３を用いた画像データの拡大処理の動作を説明するための概念図である。
【図４】本第２実施形態による画像処理装置の構成を示すブロック図である。
【図５】本第３実施形態による撮像素子付き携帯情報端末の構成を示すブロック図である。
【図６】撮像素子からの読出し方式の１つの画素加算読出しの一例を示す概念図である。
【発明を実施するための形態】
【００２２】
以下、本発明の一実施形態を、図面を参照して説明する。
Ａ．第１実施形態
まず、本発明の第１実施形態について説明する。
図１は、本発明の実施形態による画像処理装置の構成を示すブロック図である。図において、入力端子３０１には、ＲＧＢ形式の画像データが入力される。このとき、ＲＧＢ形式の画像データとしては、画素加算読み出し方式（撮像部から垂直方向、及び／または水平方向に所定間隔で選択した複数の撮像素子から電荷信号を加算した撮像信号を出力する）、あるいは、領域選択読出し方式（撮像部の全撮像領域から垂直方向、及び／または水平方向の所定領域を選択し、画素数分の電荷信号を撮像信号として出力する）のいずれかの方式で読み出された画像データがある。ライン遅延処理部３０２は、例えば、メモリにより構成され、ＲＧＢ形式の画像データをライン単位で遅延した画像データを出力する。水平遅延処理部３０３は、例えば、フリップフロップなどにより構成され、ＲＧＢ形式の画像データをサンプリング周波数単位で遅延した画像データを出力する。
【００２３】
水平フィルタ３０４、３０５、３０６、３０７は、例えば、水平方向に４画素単位で演算処理を行う構成とする。また、水平フィルタ３０４、３０５、３０６、３０７には、上記ライン遅延処理部３０２からライン単位で遅延された画素データが入力される。具体的な例として、水平フィルタ３０４には１ライン目、水平フィルタ３０５には２ライン目、水平フィルタ３０６には３ライン目、水平フィルタ３０７には４ライン目の画像データがサンプリング周波数単位で入力される。
【００２４】
垂直フィルタ３０８、３０９、３１０、３１１は、例えば、垂直方向に４画素単位で演算処理を行う構成とする。また、垂直フィルタ３０８、３０９、３１０、３１１には、上記水平遅延処理部３０３から垂直方向に連続した４画素がサンプリング周波数単位で遅延され入力される。演算処理部３１３は、水平方向、及び垂直方向に処理された画像データの演算を行う。演算処理部３１３の演算方式（画素加算読み出し方式、または領域選択読出し方式）は、入力端子３１２からの入力に従って切替可能な構成とする。演算処理部３１３の演算結果は、出力端子３１４から出力される。
【００２５】
図２（ａ）〜（ｃ）は、本第１実施形態の画像処理装置３による画像データの位相ひずみ補正の動作を示す概念図である。図中（ａ）は、入力端子３０１に入力される画素加算したＢａｙｅｒ（ベイヤ）形式の画像データの一例を示す図である。図中（ａ）の画素Ｇ１２と画素Ｒ１５との間の水平方向には、画素加算前には２画素のデータがあり、間引かれた状態となっている。また、画素Ｇ２１と画素Ｒ５１との間の垂直方向には、２ライン分の画素データがあったが、こちらも間引かれた状態となっている。この画素データが、Ｒ１１→Ｇ１２→Ｒ１５→Ｇ１６．．．．，Ｇ２１→Ｂ２２→Ｇ２５→Ｂ２６．．．．と入力される。
【００２６】
ライン遅延処理部３０２は、ライン毎に画素データを格納し、
水平フィルタ３０４には、Ｒ１１→Ｇ１２→Ｒ１５→Ｇ１６．．．．，
水平フィルタ３０５には、Ｇ２１→Ｂ２２→Ｇ２５→Ｂ２６．．．．，
水平フィルタ３０６には、Ｒ５１→Ｇ５２→Ｒ５５→Ｇ５６．．．．，
水平フィルタ３０７には、Ｇ６１→Ｂ６２→Ｇ６５→Ｂ６６．．．．，
が供給される。
【００２７】
また、ライン遅延処理部３０２の出力は、水平遅延処理部３０３に供給され、
垂直フィルタ３０８には、Ｒ１１，Ｇ２１，Ｒ５１，Ｇ６１、
垂直フィルタ３０９には、Ｇ１２，Ｂ２２，Ｇ５２，Ｂ６２、
垂直フィルタ３１０には、Ｒ１５，Ｇ２５，Ｒ５５，Ｇ６５、
垂直フィルタ３１１には、Ｇ１６，Ｂ２６，Ｇ５６，Ｂ６６、
が供給される。
【００２８】
このフィルタ処理により、図中（ｂ）に示すように、ライン間、及び画素間演算を可能としている。例えば、垂直フィルタ３０８でＧ０１，Ｂ３１，Ｇ４１，Ｂ７１を生成し、垂直フィルタ３０９でＲ０２，Ｇ３２，Ｒ４２，Ｇ７２を生成し、垂直フィルタ３１０でＧ０５，Ｂ３５，Ｇ４５，Ｂ７５を生成し、垂直フィルタ３０９でＲ０６，Ｇ３６，Ｒ４６，Ｇ７６を生成する。
【００２９】
また、水平方向には、水平フィルタ３０４でＧ１０，Ｂ１３，Ｇ１４，Ｂ１７を生成し、水平フィルタ３０５でＲ２０，Ｇ２３，Ｒ２４，Ｇ２７を生成し、水平フィルタ３０６でＧ５０，Ｂ５３，Ｇ５４，Ｂ５７を生成し、水平フィルタ３０７でＲ６０，Ｇ６３，Ｒ６４，Ｇ６７を生成する。
【００３０】
演算処理部３１３では、各フィルタの出力からＲ００，Ｇ０３，Ｒ０４，Ｇ０７，Ｇ３０，Ｂ３３，Ｇ３４，Ｂ３７，Ｒ４０，Ｇ４３，Ｒ４４，Ｇ４７，Ｇ７０，Ｂ７３，Ｇ７４，Ｂ７７を演算する。このときの演算は、画素間の内挿補正としているが、外挿補正としてもよい。また、ＲＧＢそれぞれについて、例えば、輝度成分に置き換えた後に処理してもよい。
【００３１】
図中（ｃ）には、演算の結果求められた周辺画素データを下に、位相補正処理を施した例を示している。周辺画素から位相間隔を保つことが可能な組み合わせから（Ｒ’の場合には、Ｒ００，Ｒ０２，Ｒ２０，Ｒ２２、Ｇ’の場合には、Ｇ０３，Ｇ１２，Ｇ１４，Ｇ２３）から新たに、Ｒ’、Ｇ’、Ｂ’を求めることにより、正しい位相に補正することができる。
【００３２】
図３（ａ）、（ｂ）は、本第１実施形態による画像処理装置３を用いた画像データの拡大処理の動作を説明するための概念図である。図中（ａ）には、入力端子３０１に入力されるＲＧＢ形式の画像データの一例として、Ｒ成分のみを示しており、Ｇ成分、及びＢ成分についても同様となるため説明を省略している。
【００３３】
画素データは、水平方向、及び垂直方向にも間引かれておらず、
Ｒ００→Ｒ０１→Ｒ０２→Ｒ０３．．．．，
Ｒ１０→Ｒ１１→Ｒ１２→Ｒ１３．．．．，
の順番で入力端子３０１に入力される。
【００３４】
ライン遅延処理部３０２は、ライン毎に画素データを格納する。ライン遅延処理部３０２は、ライン毎に画素データを格納し、
水平フィルタ３０４には、Ｒ００→Ｒ０１→Ｒ０２→Ｒ０３．．．．，
水平フィルタ３０５には、Ｒ１０→Ｒ１１→Ｒ１２→Ｒ１３．．．．，
が供給される。
【００３５】
また、ライン遅延処理部３０２の出力は、水平遅延処理部３０３に供給され、垂直フィルタ３０８には、Ｒ００，Ｒ１０、垂直フィルタ３０９には、Ｒ０１，Ｒ１１が供給される。この画素データをフィルタ処理により、図中（ｂ）に示すように、ライン間、及び画素間演算を行う。例えば、垂直フィルタ３０８でＲ０．５＿０を生成し、垂直フィルタ３０９でＲ０．５＿１を生成する。また、水平方向には、水平フィルタ３０４でＲ０＿０．５を生成し、水平フィルタ３０５でＲ１＿０．５を生成する。演算処理部３１３では、各フィルタの出力であるＲ０．５＿０，Ｒ０．５＿１，Ｒ０＿０．５，Ｒ１＿０．５からＲ０．５＿０．５を演算する。
【００３６】
この結果、拡大処理により水平方向と垂直方向とに２倍の画素データが生成される。このときの演算は、画素間の内挿補正としているが、外挿補正としてもよい。また、ＲＧＢそれぞれについて、例えば、輝度成分に置き換えた後に処理してもよい。
【００３７】
このように、画像処理部３は、位相補正処理と拡大処理とを、ほぼ同じ回路構成で行うことができるため、小規模で、かつ、消費電力を抑えた構成とすることができる。
【００３８】
また、用途に合わせて、使い分けすることができるため、例えば、ＬＳＩや、ＦＰＧＡに組み込む場合に使い勝手がよい構成となる。
【００３９】
Ｂ．第２実施形態
次に、本発明の第２実施形態について説明する。
図４は、本第２実施形態による画像処理装置の構成を示すブロック図である。図４において、入力端子２０１には、ＲＧＢ形式の画像データが入力される。ライン遅延処理部２０２は、例えば、メモリにより構成され、ＲＧＢ形式の画像データをライン単位で遅延した画像データを出力する。
【００４０】
位相補正部２０３は、ＲＧＢ形式の画像データの位相補正を行う。また、拡大処理部２０４は、ＲＧＢ形式の画像データに対して、水平方向に２倍、垂直方向に２倍に拡大処理を行う。選択部２０５は、入力端子２０６の信号により、拡大処理部２０４、もしくは、位相補正処理部２０３のどちらか一方のＲＧＢ信号を選択し、出力端子２０７から出力する。
【００４１】
本第２実施形態の構成によれば、前述した第１実施形態で説明した画像処理装置からライン遅延処理部２０２のみを共通化しており、同じく回路の小規模化を図ることができる。
【００４２】
Ｃ．第３実施形態
次に、本発明の第３実施形態について説明する。
図５は、本第３実施形態による撮像素子付き携帯情報端末の構成を示すブロック図である。本第３実施形態では、撮像素子付き携帯情報端末１００に前述した第１実施形態による画像処理装置３を適用する。図５において、撮像素子付き携帯情報端末１００は、光学レンズ部１から画像データをメモリカード９へ記録、もしくは、前記メモリカード９に記録した画像データを再生し、表示部７に表示することができる。
【００４３】
光学レンズ部１は、被写体の焦点距離や、レンズを通過する光の量を調整するための絞りの調整を行う。撮像素子２は、例えば、ＣＭＯＳや、ＣＣＤなどのセンサから構成され、光学レンズ部１からの被写体の光学像を電気信号に変換し、Ｂａｙｅｒ形式の画像データをＲＧＢ形式の画像データに変換して出力する。
【００４４】
画像処理部３は、撮像素子２からの画素データに対して、位相補正処理、または、拡大処理を施す。ＤＳＰ４は、画像処理部３からの画素データに対し、例えば、ＲＧＢからＹＵＶにフォーマット変換、もしくは、ノイズ除去などの画像処理を行う。ＤＳＰ４からの出力は、例えば、同期信号付の１０ｂｉｔの輝度信号、１０ｂｉｔの色差信号、１ｂｉｔの伝送クロックで構成され、バックエンド処理部５に供給される。
【００４５】
バックエンド処理部５は、ＤＳＰ４から画像データを、表示部７の画素数に一致させるためのリサイズ処理を施して、ＬＣＤコントローラ６に出力する。ＬＣＤコントローラ６は、１画面、ないし２画面程度の画像を蓄えるメモリを内蔵しており、ＣＰＵ１３、または、バックエンド処理部５から、間欠的、または、部分的に送られてきた画像データのどちらか一方、または双方を合成してフレーム画像を生成し、６０Ｈｚ程度の周波数で連続的に読み出して表示部７へ出力する。
【００４６】
表示部７は、ＲＧＢの３ピクセルで１画素を構成するストライプ形式のものが使用可能であり、ＱＶＧＡ（３２０ｘ２４０ｘＲＧＢ）、ＶＧＡ（６４０ｘ４８０ｘＲＧＢ）、（ワイドＶＧＡ（８００ｘ４８０ｘＲＧＢ）、フルワイドＶＧＡ（８５４ｘ４８０ｘＲＧＢ）などの画素数を有する、多様な画素数のデバイスが使用可能である。
【００４７】
また、ここでは、液晶ディスプレイで構成した場合の例について説明するが、自発光型の有機ＥＬディスプレイで構成してもよい。また、バックエンド処理部１５、メモリカード９にＤＳＰ４からの画像データに、例えば、画像データを動画像の符号化技術である、ＭＰＥＧ２（ＩＳＯ／ＩＥＣ １３８１３−２， Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｔａｎｄａｒｄ）や、Ｈ．２６４（ＩＴＥ／ＩＳＯ １４４９６−１０／Ｈ．２６４ＡＶＣ）／ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）などの高圧縮処理を施し、メモリカード９へ記録する。また、画像データを、ＪＰＥＧ（Joint Photographic Experts Group）などの圧縮処理を施した静止画データとして記録する。
【００４８】
バックエンド処理部５は、メモリカード９に記録した圧縮データを読出し、デコード処理した後の画像データを、ＬＣＤコントローラ６に出力する。また、音声は、デコードした後、ＤＡＣ１０を介してスピーカ１１から出力する。さらに、バックエンド処理部５は、メモリカード９から取得した映像／音声ストリームについても同様の処理を行う。
【００４９】
メモリカード９には、上述した映像と音声とが多重化された動画ストリームの他、静止画や、アニメーションの画像ファイル、音声のみのファイルなどが保持可能である。また、バックエンド処理部５とＣＰＵ１３とは、バックエンド処理部５側に接続されたデバイスの制御コマンドや、映像／音声データのやり取りが可能である。
【００５０】
メモリ１８は、ＣＰＵバス８を介してＣＰＵ１３と接続され、各種制御用のプログラム、データベース、電話帳、アドレス帳、着信メロディ、楽曲データ、動画や、静止画などの画像データなどを格納する。ＤＡＣ１０は、ＣＰＵ１３から出力される着信音や、通話音声等のデジタル音声信号をアナログ信号に変換し、スピーカ１１へ供給する。スピーカ１１は、ＤＡＣ１０から供給されたアナログ信号に基づいて、着信音や、通話音声等を出力する。
【００５１】
ＣＰＵ１３は、キー１２の操作内容の検出処理、音声通話処理、音楽や、画像の再生処理、そして、撮像素子付き携帯情報端末１００全般に関する制御を行う。例えば、ＣＰＵ１３は、ＣＰＵバス８を介してメモリ１８からプログラムを取得し、符号／復号処理回路２１、無線回路２０を制御して、着信待ちに係る処理を行う。一方、着信時には、ＣＰＵ１３は、メモリ１８の電話帳から発信者の名前や、着信メロディ、着信画像などを読み出す。そして、ＣＰＵ１３は、音声データについては、ＤＡＣ１０へ出力する一方、相手の電話番号や、名前、画像データについては、バックエンド処理部５を介して、ＬＣＤコントローラ６へ出力する。
【００５２】
電源制御部１５は、充電用の入力端子に接続される電源１４から供給される充電電流を電源制御部１５に接続された図示されていないバッテリへ供給することにより、バッテリの充電を行う。また、電源制御部１５は、バッテリから出力される電力を撮像素子付き携帯情報端末１００の各部へ供給する。
【００５３】
通信アンテナ１９は、空中を伝送されてきた電波を受信し、高周波電気信号に変換し、無線回路２０に入力する。また、通信アンテナ１９は、無線回路２０から出力された高周波電気信号を電波に変換して発信する。無線回路２０は、ＣＰＵ１３の指示に基づき、通信アンテナ１９で受信した高周波電気信号を復調し、符号／復号処理回路２１に入力する。また、無線回路２０は、符号／復号処理回路２１の出力信号に変調処理を施し、高周波電気信号に変換して通信アンテナ１９へ出力する。
【００５４】
符号／復号処理回路２１は、ＣＰＵ１３の制御に従って、無線回路２０の出力信号に復号処理を施し、通話用音声信号をレシーバ２３に出力し、文字データや、画像データ等をＣＰＵ１３へ出力する。また、符号／復号処理回路２１は、マイク２２を介して入力されたユーザ等の音声、または、ユーザがキー１２を操作して編集した文字や、メモリ１８から読み取った画像データ等に符号化処理を施し、その結果得られた信号を無線回路２０へ出力する。
【００５５】
この構成により、広角撮影時であれば、撮像素子２を画素加算した信号を出力するように設定する。同時に、ＣＰＵ１３は、画像処理部３の選択部２０５を、位相補正処理部２０３からの信号を選択するように、入力端子２０６を制御する。これにより、画素加算時に発生する画素データの位相ずれを補正でき、画素加算による画像の歪みの影響をなくすことができる。
【００５６】
また、高倍率での撮影時には、画素加算することなく、撮像素子２の一部を切り出して、切り出した範囲の全ての画素を読み出す設定とする。同時に、ＣＰＵ１３は、画像処理部３の選択部２０５を、拡大処理部２０４からの信号を選択するように、入力端子２０６を制御する。この場合、撮像素子２は、画素加算されていないため、位相補正をする必要がないので、ライン処理部２０２を拡大処理２０４用として使用することができる。
【００５７】
したがって、拡大処理部２０４により、水平、及び垂直方向の拡大処理が可能となる。また、撮像素子２からの画素データが画素加算されていないため、画質のよい、拡大処理を行うことができる。
【００５８】
また、画像処理部３の入力端子２０６の制御を、撮像素子付き携帯情報端末１００の使用用途により、切り替えてもよい。例えば、低照度撮影時には、撮像素子２の読み出しを画素加算した信号とし、画像処理部３を位相補正処理とすることにより、画素加算の利点である、複数画素を加算することによる感度があがりノイズを低減することができる。
本発明は、ビデオカメラ機能、及び電子ズーム機能付の携帯電話などに利用可能である。
【符号の説明】
【００５９】
１ 光学レンズ部
２ 撮像素子部
３ 画像処理部
４ ＤＳＰ
５ バックエンド処理部
６ ＬＳＤコントローラ部
７ 表示部
８ ＣＰＵバス
９ メモリカード
１０、１６ ＤＡＣ
１１、１７、２３ スピーカ
１２ キー入力部
１３ ＣＰＵ
１４ 電源部
１５ 電源制御部
１８ メモリ
１９ 通信アンテナ
２０ 無線回路
２１ 符号／復号処理回路
２２ マイク
１００ 撮像素子付き携帯情報端末
２０１、２０６、３０１、３１２ 入力端子
２０２、３０２ ライン遅延処理部
２０３ 位相処理部
２０４ 拡大処理部
２０５ 選択部
２０７、３１４ 出力端子
２０６ 選択部
３０３ 水平遅延処理部
３０４、３０５、３０６、３０７ 水平フィルタ
３０８、３０９、３１０、３１１ 垂直フィルタ
３１３ 演算処理部
【特許請求の範囲】
【請求項１】
位相情報にずれがある第１の画像データと、位相情報にずれがない第２の画像データのどちらか一方を入力し、画像処理を施す画像処理装置であって、
前記第１の画像データ、または前記第２の画像データを保持し、それぞれの画像データの画素を、所定の順番で出力するバッファ手段と、
入力データが前記第１の画像データであれば、前記バッファ手段から所定の順番で出力される前記第１の画像データの画素を用いて位相補正を行い、入力データが前記第２の画像データであれば、前記バッファ手段から所定の順番で出力される前記第２の画像データの画素を用いて拡大処理を行う演算処理手段と
を備えることを特徴とした画像処理装置。
【請求項２】
前記バッファ手段は、
前記第１の画像データ、または前記第２の画像データを、ライン単位で遅延して出力するライン遅延処理手段と、
前記ライン遅延処理手段からのライン単位で遅延された画像データを、サンプリング周波数単位で遅延して出力する水平遅延処理手段と
を備え、
前記演算処理手段は、
前記ライン遅延処理手段からのライン単位で遅延された画像データの画素と前記水平遅延処理手段からのサンプリング周波数単位で遅延された画像データの画素とを用いて、ライン間、及び画素間演算を行うフィルタ手段と、
前記フィルタ手段によりライン間、及び画素間演算が行われた画像データの画素に対して、入力データが前記第１の画像データであれば、位相補正を行い、入力データが前記第２の画像データであれば、拡大処理を行う演算手段と
を備える、
ことを特徴とした請求項１に記載の画像処理装置。
【請求項３】
前記バッファ手段は、
前記第１の画像データ、または前記第２の画像データを、ライン単位で遅延して出力するライン遅延処理手段を備え、
前記演算処理手段は、
入力データが前記第１の画像データであれば、前記ライン遅延処理手段からのライン単位で遅延された画像データの画素を用いて位相補正を行う位相補正手段と、
入力データが前記第２の画像データであれば、前記ライン遅延処理手段からのライン単位で遅延された画像データの画素を用いて拡大処理を行う拡大処理手段と
を備える、
ことを特徴とした請求項１に記載の画像処理装置。
【請求項４】
撮像素子を備えた携帯情報端末装置であって、
被写体の光学像を光電変換し電荷信号として出力する複数の撮像素子からなる撮像手段と、
前記撮像手段からの読み出し方法を、前記撮像手段から垂直方向、及び／または水平方向に所定間隔で選択した複数の撮像素子から電荷信号を加算した撮像信号を出力する画素加算読み出し方式と、前記撮像手段の全撮像領域から垂直方向、及び／または水平方向の所定領域を選択し、画素数分の電荷信号を撮像信号として出力する領域選択読出し方式とを選択的に切り替え、前記画素加算読み出し方式、または前記領域選択読出し方式のいずれかで前記撮像手段から画像データを出力する撮像素子駆動制御手段と、
前記撮像素子駆動制御手段から前記画素加算読み出し方式、または前記領域選択読出し方式のいずれかで出力される画像データを保持し、それぞれの画像データの画素を、所定の順番で出力するバッファ手段と、
前記画素加算読み出し方式が選択された場合には、前記バッファ手段から所定の順番で出力される前記画像データの画素を用いて位相補正を行い、前記領域選択読出し方式が選択された場合には、前記バッファ手段から所定の順番で出力される前記画像データの画素を用いて拡大処理を行う演算処理手段と
を備えることを特徴とした携帯情報端末装置。
【請求項５】
前記バッファ手段は、
前記撮像素子駆動制御手段から前記画素加算読み出し方式、または前記領域選択読出し方式のいずれかで出力される画像データを、ライン単位で遅延して出力するライン遅延処理手段と、
前記ライン遅延処理手段からのライン単位で遅延された画像データを、サンプリング周波数単位で遅延して出力する水平遅延処理手段と
を備え、
前記演算処理手段は、
前記ライン遅延処理手段からのライン単位で遅延された画像データの画素と前記水平遅延処理手段からのサンプリング周波数単位で遅延された画像データの画素とを用いて、ライン間、及び画素間演算を行うフィルタ手段と、
前記フィルタ手段によりライン間、及び画素間演算が行われた画像データの画素に対して、前記画素加算読み出し方式が選択された場合には、位相補正を行い、前記領域選択読出し方式が選択された場合には、拡大処理を行う演算手段と
を備える、
ことを特徴とした請求項４に記載の携帯情報端末装置。
【請求項６】
前記バッファ手段は、
前記撮像素子駆動制御手段から前記画素加算読み出し方式、または前記領域選択読出し方式のいずれかで出力される画像データを、ライン単位で遅延して出力するライン遅延処理手段を備え、
前記演算処理手段は、
前記画素加算読み出し方式が選択された場合には、前記ライン遅延処理手段からのライン単位で遅延された画像データの画素を用いて位相補正を行う位相補正手段と、
前記領域選択読出し方式が選択された場合には、前記ライン遅延処理手段からのライン単位で遅延された画像データの画素を用いて拡大処理を行う拡大処理手段と
を備える、
ことを特徴とした請求項４に記載の携帯情報端末装置。
【請求項７】
位相情報にずれがある第１の画像データと、位相情報にずれがない第２の画像データのどちらか一方を入力し、画像処理を施す画像処理方法であって、
前記第１の画像データ、または前記第２の画像データを保持し、それぞれの画像データの画素を、所定の順番で出力するステップと、
入力データが前記第１の画像データであれば、前記所定の順番で出力される前記第１の画像データの画素を用いて位相補正を行い、入力データが前記第２の画像データであれば、前記所定の順番で出力される前記第２の画像データの画素を用いて拡大処理を行う演算処理ステップと
を含むことを特徴とした画像処理方法。
【請求項８】
位相情報にずれがある第１の画像データと、位相情報にずれがない第２の画像データのどちらか一方を入力し、画像処理を施す画像処理装置のコンピュータに、
前記第１の画像データ、または前記第２の画像データを保持し、それぞれの画像データの画素を、所定の順番で出力するバッファ機能、
入力データが前記第１の画像データであれば、前記所定の順番で出力される前記第１の画像データの画素を用いて位相補正を行い、入力データが前記第２の画像データであれば、前記所定の順番で出力される前記第２の画像データの画素を用いて拡大処理を行う演算処理機能
を実行させることを特徴としたプログラム。
【請求項１】
位相情報にずれがある第１の画像データと、位相情報にずれがない第２の画像データのどちらか一方を入力し、画像処理を施す画像処理装置であって、
前記第１の画像データ、または前記第２の画像データを保持し、それぞれの画像データの画素を、所定の順番で出力するバッファ手段と、
入力データが前記第１の画像データであれば、前記バッファ手段から所定の順番で出力される前記第１の画像データの画素を用いて位相補正を行い、入力データが前記第２の画像データであれば、前記バッファ手段から所定の順番で出力される前記第２の画像データの画素を用いて拡大処理を行う演算処理手段と
を備えることを特徴とした画像処理装置。
【請求項２】
前記バッファ手段は、
前記第１の画像データ、または前記第２の画像データを、ライン単位で遅延して出力するライン遅延処理手段と、
前記ライン遅延処理手段からのライン単位で遅延された画像データを、サンプリング周波数単位で遅延して出力する水平遅延処理手段と
を備え、
前記演算処理手段は、
前記ライン遅延処理手段からのライン単位で遅延された画像データの画素と前記水平遅延処理手段からのサンプリング周波数単位で遅延された画像データの画素とを用いて、ライン間、及び画素間演算を行うフィルタ手段と、
前記フィルタ手段によりライン間、及び画素間演算が行われた画像データの画素に対して、入力データが前記第１の画像データであれば、位相補正を行い、入力データが前記第２の画像データであれば、拡大処理を行う演算手段と
を備える、
ことを特徴とした請求項１に記載の画像処理装置。
【請求項３】
前記バッファ手段は、
前記第１の画像データ、または前記第２の画像データを、ライン単位で遅延して出力するライン遅延処理手段を備え、
前記演算処理手段は、
入力データが前記第１の画像データであれば、前記ライン遅延処理手段からのライン単位で遅延された画像データの画素を用いて位相補正を行う位相補正手段と、
入力データが前記第２の画像データであれば、前記ライン遅延処理手段からのライン単位で遅延された画像データの画素を用いて拡大処理を行う拡大処理手段と
を備える、
ことを特徴とした請求項１に記載の画像処理装置。
【請求項４】
撮像素子を備えた携帯情報端末装置であって、
被写体の光学像を光電変換し電荷信号として出力する複数の撮像素子からなる撮像手段と、
前記撮像手段からの読み出し方法を、前記撮像手段から垂直方向、及び／または水平方向に所定間隔で選択した複数の撮像素子から電荷信号を加算した撮像信号を出力する画素加算読み出し方式と、前記撮像手段の全撮像領域から垂直方向、及び／または水平方向の所定領域を選択し、画素数分の電荷信号を撮像信号として出力する領域選択読出し方式とを選択的に切り替え、前記画素加算読み出し方式、または前記領域選択読出し方式のいずれかで前記撮像手段から画像データを出力する撮像素子駆動制御手段と、
前記撮像素子駆動制御手段から前記画素加算読み出し方式、または前記領域選択読出し方式のいずれかで出力される画像データを保持し、それぞれの画像データの画素を、所定の順番で出力するバッファ手段と、
前記画素加算読み出し方式が選択された場合には、前記バッファ手段から所定の順番で出力される前記画像データの画素を用いて位相補正を行い、前記領域選択読出し方式が選択された場合には、前記バッファ手段から所定の順番で出力される前記画像データの画素を用いて拡大処理を行う演算処理手段と
を備えることを特徴とした携帯情報端末装置。
【請求項５】
前記バッファ手段は、
前記撮像素子駆動制御手段から前記画素加算読み出し方式、または前記領域選択読出し方式のいずれかで出力される画像データを、ライン単位で遅延して出力するライン遅延処理手段と、
前記ライン遅延処理手段からのライン単位で遅延された画像データを、サンプリング周波数単位で遅延して出力する水平遅延処理手段と
を備え、
前記演算処理手段は、
前記ライン遅延処理手段からのライン単位で遅延された画像データの画素と前記水平遅延処理手段からのサンプリング周波数単位で遅延された画像データの画素とを用いて、ライン間、及び画素間演算を行うフィルタ手段と、
前記フィルタ手段によりライン間、及び画素間演算が行われた画像データの画素に対して、前記画素加算読み出し方式が選択された場合には、位相補正を行い、前記領域選択読出し方式が選択された場合には、拡大処理を行う演算手段と
を備える、
ことを特徴とした請求項４に記載の携帯情報端末装置。
【請求項６】
前記バッファ手段は、
前記撮像素子駆動制御手段から前記画素加算読み出し方式、または前記領域選択読出し方式のいずれかで出力される画像データを、ライン単位で遅延して出力するライン遅延処理手段を備え、
前記演算処理手段は、
前記画素加算読み出し方式が選択された場合には、前記ライン遅延処理手段からのライン単位で遅延された画像データの画素を用いて位相補正を行う位相補正手段と、
前記領域選択読出し方式が選択された場合には、前記ライン遅延処理手段からのライン単位で遅延された画像データの画素を用いて拡大処理を行う拡大処理手段と
を備える、
ことを特徴とした請求項４に記載の携帯情報端末装置。
【請求項７】
位相情報にずれがある第１の画像データと、位相情報にずれがない第２の画像データのどちらか一方を入力し、画像処理を施す画像処理方法であって、
前記第１の画像データ、または前記第２の画像データを保持し、それぞれの画像データの画素を、所定の順番で出力するステップと、
入力データが前記第１の画像データであれば、前記所定の順番で出力される前記第１の画像データの画素を用いて位相補正を行い、入力データが前記第２の画像データであれば、前記所定の順番で出力される前記第２の画像データの画素を用いて拡大処理を行う演算処理ステップと
を含むことを特徴とした画像処理方法。
【請求項８】
位相情報にずれがある第１の画像データと、位相情報にずれがない第２の画像データのどちらか一方を入力し、画像処理を施す画像処理装置のコンピュータに、
前記第１の画像データ、または前記第２の画像データを保持し、それぞれの画像データの画素を、所定の順番で出力するバッファ機能、
入力データが前記第１の画像データであれば、前記所定の順番で出力される前記第１の画像データの画素を用いて位相補正を行い、入力データが前記第２の画像データであれば、前記所定の順番で出力される前記第２の画像データの画素を用いて拡大処理を行う演算処理機能
を実行させることを特徴としたプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−９０２１２（Ｐ２０１２−９０２１２Ａ）
【公開日】平成２４年５月１０日（２０１２．５．１０）
【国際特許分類】
【出願番号】特願２０１０−２３７２４４（Ｐ２０１０−２３７２４４）
【出願日】平成２２年１０月２２日（２０１０．１０．２２）
【出願人】（３１０００６８５５）ＮＥＣカシオモバイルコミュニケーションズ株式会社 (1,081)
【Ｆターム（参考）】
【公開日】平成２４年５月１０日（２０１２．５．１０）
【国際特許分類】
【出願日】平成２２年１０月２２日（２０１０．１０．２２）
【出願人】（３１０００６８５５）ＮＥＣカシオモバイルコミュニケーションズ株式会社 (1,081)
【Ｆターム（参考）】
[ Back to top ]