画像処理装置、画像処理方法、及びプログラム
【課題】画像処理部内のラインメモリのサイズを小型化することが可能な、新規かつ改良された画像処理装置、及び画像処理方法を提供する。
【解決手段】被写体を撮像して画像データを取得する撮像部と、前記撮像部から出力される前記画像データの第１部分と第２部分のうち前記第１部分が入力される画像メモリと、前記画像メモリから入力される前記第１部分を画像処理し、前記画像メモリを介さずに入力される前記第２部分を画像処理し、処理後の前記第１部分及び前記第２部分を合成して前記画像データに対応する処理画像を生成する画像処理部とを備える。
【解決手段】被写体を撮像して画像データを取得する撮像部と、前記撮像部から出力される前記画像データの第１部分と第２部分のうち前記第１部分が入力される画像メモリと、前記画像メモリから入力される前記第１部分を画像処理し、前記画像メモリを介さずに入力される前記第２部分を画像処理し、処理後の前記第１部分及び前記第２部分を合成して前記画像データに対応する処理画像を生成する画像処理部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
デジタルカメラ等の技術分野においては、ＣＣＤ等の撮像素子から入力される画像データに対して画像処理部が補間処理や各種の画像処理を行う。例えば、画像データがＢａｙｅｒ構造を持つ場合には、画像処理部はＲＧＢ情報への色変換（現像処理）を行う。この処理の際に、上下左右の画素情報を用いて画像処理を行うため、画像処理部は数ライン分のラインメモリを必要とする。
【０００３】
ところで、撮像素子の高画素化によりラインメモリの大きさが大きくなり、画像処理の高度化により必要なラインメモリのライン数も増える傾向にある。しかし、集積回路を製造する上でラインメモリの大型化はコストアップの要因となるため、ラインメモリの大きさを小さくすることが望ましい。
【０００４】
かかる問題に対して、撮像素子から出力される画像データの全画像を、画像処理部外のフレームメモリ上に一旦書き出し、これを縦長の画像に分割したものを画像処理部に入力して、複数回に分けて画像処理を行う手法がある。かかる手法の場合には、画像データを横方向において小さな画像のように処理できるため、ラインメモリの大きさを小さくすることが可能である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−２４３８１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、全画像を一旦フレームメモリに書き出して処理する方法では、フレームメモリの全画像を順番にすべて読み出す必要があるため、フレームメモリへのアクセス回数が多くなるという問題がある。さらに、フレームメモリへのアクセスの増加により、消費電力が増加すると共に、処理時間が長くなるという問題も生じる。
【０００７】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、画像データの画像処理を行う際の外部メモリのアクセス回数を抑えつつ、画像処理部内のラインメモリのサイズを小型化することが可能な、新規かつ改良された画像処理装置、及び画像処理方法を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明のある観点によれば、被写体を撮像して画像データを取得する撮像部と、前記撮像部から出力される前記画像データの第１部分と第２部分のうち前記第１部分が入力される画像メモリと、前記画像メモリから入力される前記第１部分を画像処理し、前記画像メモリを介さずに入力される前記第２部分を画像処理し、処理後の前記第１部分及び前記第２部分を合成して前記画像データに対応する処理画像を生成する画像処理部とを備える、画像処理装置が提供される。
【０００９】
かかる画像処理装置の場合には、画像処理部は、撮像素子から出力された画像データの一部（第１部分）を画像メモリに一旦書き出して処理し、第２部分を画像メモリを介さずに直接処理するので、画像データの画像メモリへの書き出し及び画像メモリからの読み出しの一部を省略できる。すなわち、画像メモリへのアクセス回数を抑えることができる。また、画像処理部は、第１部分と第２部分を分けて処理するので、ラインメモリのサイズを小型化できる。更に、第１部分のみが画像メモリに入力されるので、画像メモリのサイズも小型化できる。
【００１０】
また、画像処理装置は、前記第１部分の前記画像メモリへの入力と、前記第２部分の前記画像処理部への入力とを切り換える切換部を更に備える。
かかる場合には、切換部によって、第１部分の画像メモリへの入力と第２部分の画像処理部への入力とを、容易に制御できる。
【００１１】
また、前記画像データは、それぞれ前記第１部分及び前記第２部分を有する複数のラインデータで構成され、各ラインデータの前記第１部分と前記第２部分は、ライン方向における同一位置にて分けられており、前記切換部は、前記第１部分の前記画像メモリへの入力と、前記第２部分の前記画像処理部への入力とを、ラインデータ毎に選択的に切り換える。
かかる場合には、画像データのライン方向において分割された第１部分と第２部分のうち、ライン方向の片側に位置する第１部分（例えば、画像データの左半分）が画像メモリに記憶されるので、画像処理部も、画像データの左半分と右半分に分けて処理できる。このため、画像処理部のラインメモリのライン方向の幅を小さくできる。同様に画像メモリのライン方向の幅を小さくできる。
【００１２】
また、前記第１部分及び前記第２部分は、前記ライン方向において前記同一位置の前後の領域が含まれる重複部分を有する。
かかる場合には、第１部分と第２部分を処理する際に、それぞれ重複部分のデータを利用することで、周囲の画素を用いた補間処理を適切に行える。
【００１３】
また、前記画像メモリに入力される各ラインデータの前記第１部分は、まとめて前記画像処理部に入力される。
かかる場合には、第１部分がまとめて画像メモリから画像処理部に入力されるので、画像メモリへのアクセス回数を低減できる。
【００１４】
また、前記画像処理部による前記第２部分の処理後に、前記画像メモリから前記画像処理部に前記第１部分が入力される。
かかる場合には、第１部分と第２部分の処理を分けて行うので、画像処理に必要なラインメモリの大きさを、第１部分と第２部分を独立に処理するのに必要なサイズに小型化できる。
【００１５】
また、上記課題を解決するために、本発明の別の観点によれば、撮像部から出力される画像データの第１部分と第２部分のうち前記第１部分を画像メモリに入力するステップと、前記画像メモリを介さずに前記第２部分を画像処理部に入力して、画像処理するステップと、前記画像メモリの前記第１部分を画像処理部に入力して、画像処理するステップと、処理後の前記第１部分及び前記第２部分を合成して前記画像データに対応する処理画像を生成するステップとを有する画像処理方法が提供される。
【００１６】
また、上記課題を解決するために、本発明の別の観点によれば、撮像部から出力される画像データの第１部分と第２部分のうち前記第１部分を画像メモリに入力するステップと、前記画像メモリを介さずに前記第２部分を画像処理部に入力して、画像処理するステップと、前記画像メモリの前記第１部分を画像処理部に入力して、画像処理するステップと、処理後の前記第１部分及び前記第２部分を合成して前記画像データに対応する処理画像を生成するステップとをコンピュータに実行させるためのプログラムが提供される。
【発明の効果】
【００１７】
以上説明したように本発明によれば、画像データの画像処理を行う際の外部メモリのアクセス回数を抑えつつ、画像処理部内のラインメモリのサイズを小型化できる。
【図面の簡単な説明】
【００１８】
【図１】撮像装置１００の構成を示すブロック図である。
【図２】撮像素子１１２から出力される画像データの画像処理の流れの概略を示す図である。
【図３】画像データの第１部分Ａ１と第２部分Ａ２の入力経路を示す図である。
【図４】画像データの第１部分Ａ１と第２部分Ａ２の分割状態を示す模式図である。
【図５Ａ】切換部１１６の第１切換状態を示す図である。
【図５Ｂ】切換部１１６の第２切換状態を示す図である。
【図５Ｃ】切換部１１６の第３切換状態を示す図である。
【図６】スイッチＳＷ１、ＳＷ２、ＳＷ３の切換タイミングを示すタイムチャートである。
【図７】撮像素子１１２から出力された画像データが画像処理部１１８に入力されるまでの撮像装置１００の動作例を示すフローチャートである。
【図８】比較例１を示す図である。
【図９】比較例２を示す図である。
【発明を実施するための形態】
【００１９】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２０】
＜撮像装置の構成＞
本実施形態では、画像処理装置として撮像装置１００を例に挙げて、撮像装置１００の構成について図１を参照しながら説明する。図１は、撮像装置１００の構成を示すブロック図である。
【００２１】
撮像装置１００は、例えば静止画像を撮影できるデジタルカメラ、又は動画像を撮影できるビデオカメラである。もちろん、デジタルカメラが、静止画像と動画像を両方撮影することとしても良い。
【００２２】
撮像装置１００は、図１に示すように、撮像部の一例である撮像素子１１２と、前処理部１１４と、切換部１１６と、画像処理部１１８と、圧縮処理部１２０と、カード制御部１２２と、メモリカード１２４と、バス１２６と、画像メモリの一例であるフレームメモリ１２８等を有する。
【００２３】
撮像素子１１２は、光電変換素子の一例であり、レンズを透過して入射した光情報を電気信号に変換する光電変換が可能な複数の素子から構成される。各素子は受光した光量に応じた電気信号を生成する。撮像素子１１２として、ＣＣＤ（Charge Coupled Device）イメージセンサー、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサー等を適用することができる。
【００２４】
撮像素子１１２は、更にＣＤＳ／ＡＭＰ部、Ａ／Ｄ変換部を有する。ＣＤＳ／ＡＭＰ部（相関二重サンプリング回路（Correlated Double Sampling）／増幅器（Amplifier））は、撮像素子１１２から出力された電気信号に含まれるリセットノイズとアンプノイズを除去すると共に、電気信号を任意のレベルまで増幅する。Ａ／Ｄ変換部は、ＣＤＳ／ＡＭＰ部から出力された電気信号をデジタル変換してデジタル信号を生成する。Ａ／Ｄ変換部は、生成したデジタル信号（画像データ）を前処理部１１４に出力する。
【００２５】
前処理部１１４は、Ａ／Ｄ変換部から出力されたデジタル信号に対して処理を施し、画像処理が可能となる画像信号を生成する。前処理部１１４は、例えば、撮像素子１０４の画素欠陥補正、黒レベル補正、シェーディング補正などの処理を行う。前処理部１１４は、生成した画像信号（画像データ）を切換部１１６に出力する。
【００２６】
切換部１１６は、前処理部１１４から出力された画像データ（ラインデータ）の第１部分Ａ１（図２参照）と第２部分Ａ２のうち、第１部分Ａ１のフレームメモリ１２８への入力と、第２部分Ａ２の画像処理部１１８への入力とを切り換える機能を有する。切換部１１６の詳細については、後述する。
【００２７】
フレームメモリ１２８は、例えばＳＤＲＡＭであり、切換部１１６によってバス１２６を介して入力された第１部分Ａ１を一時保存する。なお、一時保存された第１部分Ａ１は、後にバス１２６を介して画像処理部１１８に入力される。フレームメモリ１２８は、画像データ以外のデータ（プログラムデータ等）も記憶する。
【００２８】
画像処理部１１８は、フレームメモリ１２８から入力される画像データ第１部分Ａ１と、フレームメモリ１２８を介さずに入力される第２部分Ａ２を受け、それぞれに輝度信号とＲＧＢ色信号に変換処理する。具体的には、画像処理部１１８は、第２部分Ａ２を画像処理した後に、第１部分Ａ１を画像処理して、処理後の第１部分と第２部分を合成して画像データに対応する処理画像（画像信号）を生成する。また、画像処理部１１８は、ＷＢ制御値、γ値、エッジ（輪郭）強調制御値などに基づいて、画像処理された画像信号を生成する。画像処理部１１８は、生成した画像信号を圧縮処理部１２０に送る。
【００２９】
圧縮処理部１２０は、画像処理部１１６で光量のゲイン補正やホワイトバランスの調整が行われた画像を、適切な形式の画像データに圧縮する。圧縮処理部１２０は、例えばＪＰＥＧ（Joint Photographic Experts Group）規格などの静止画像の符号化方式で圧縮符号化処理を行う。
【００３０】
カード制御部１２２は、圧縮された画像データを記録メディアであるメモリカード１２４に記憶させる。なお、メモリカード１２４に代えて、光ディスク（ＣＤ、ＤＶＤ、ブルーレイディスク等）、光磁気ディスク等の他の記録メディアを使用してもよい。
【００３１】
＜撮像素子１１２から出力される画像データの画像処理の流れ＞
撮像素子１１２から出力される画像データの画像処理の流れ（画像処理方法）について、図２と図３を参照しながら説明する。図２は、撮像素子１１２から出力される画像データの画像処理の流れの概略を示す図である。図３は、画像データの第１部分Ａ１と第２部分Ａ２の入力経路を示す図である。
【００３２】
本実施形態では、撮像素子１１２から出力される画像データ（原画像）を全てフレームメモリ１２８に書き込んだ後に画像処理部１１８を入力するのでは無く、図２に示すように、原画像の半分（左半分）の第２部分Ａ２をフレームメモリ１２８を介さずに画像処理部１１８に入力する。一方で、原画像の残りの半分（右半分）の第１部分Ａ１をフレームメモリ１２８に入力する。第１部分Ａ１と第２部分Ａ２の入力の分岐は、図３に示すように、切換部１１６によって行われる。
【００３３】
フレームメモリ１２８に入力されて一時保存された第１部分Ａ１は、画像処理部１１８が入力された第２部分Ａ２を画像処理した後に、画像処理部１１８に入力される。画像処理部１１８は、入力された第２部分Ａ２を画像処理した後に、処理後の第１部分Ａ１と第２部分Ａ２を合成して、撮像素子１１２から出力された原画像に対応する処理画像を生成する。
【００３４】
このように、本実施形態に画像処理方法においては、撮像素子１１２から出力される原画像を第１部分Ａ１と第２部分Ａ２に分けて処理する。このため、原画像がまとめて画像処理部１１８に入力される場合に比べて、小さいラインメモリで画像処理を行うことができる。また、原画像のうち第１部分Ａ１がフレームメモリ１２８に入力されるので、フレームメモリ１２８のライン方向のサイズも小さくできる。
【００３５】
次に、画像データを第１部分Ａ１と第２部分Ａ２にどうように分割しているかについて、図４を参照しながら説明する。図４は、画像データの第１部分Ａ１と第２部分Ａ２の分割状態を示す模式図である。画像データは、それぞれ第１部分Ａ１及び第２部分Ａ２を有する複数のラインデータで構成される。そして、各ラインデータの第１部分Ａ１と第２部分Ａ２は、ライン方向において同一位置にて分けられている。また、画像データの第１部分Ａ１と第２部分Ａ２は、ライン方向において前記同一位置の前後の画素が含まれる重複部分（αピクセル）を有する。
【００３６】
ここで、原画像のライン方向の幅をＷとすると、第１部分Ａ１のライン方向の幅はライン方向の先頭側の（Ｗ／２＋α）ピクセルであり、第２部分Ａ２のライン方向の幅はライン方向の後側の（Ｗ／２＋α）ピクセルである。
【００３７】
このように、第１部分Ａ１と第２部分Ａ２に重複部分を含ませる理由は、画像処理をする際に処理対象の画素の周囲の画素情報を必要とするので、重複部分を利用することで先頭側のＷ／２ピクセルや、後側のＷ／２ピクセルの画像処理を適切に行える。なお、第１部分Ａ１と第２部分Ａ２が重複部分を含むこととしたが、重複部分を含まないこととしても良い。
【００３８】
以上説明したように、本実施形態に係る撮像装置１００によれば、画像処理部１１８は、撮像素子１１２から出力された画像データの一部である第１部分Ａ１をフレームメモリ１２８に一旦書き出して処理し、第２部分Ａ２をフレームメモリ１２８を介さずに直接処理するので、画像データのフレームメモリ１２８への書き出し及びフレームメモリ１２８からの読み出しの一部を省略できる。すなわち、フレームメモリ１２８へのアクセス回数を抑えることができる。また、画像処理部１１８は、第１部分Ａ１と第２部分Ａ２を分けて処理するので、ラインメモリのサイズを小型化できる。更に、第１部分Ａ１のみがフレームメモリ１２８に入力されるので、フレームメモリ１２８のサイズも小型化できる。
【００３９】
＜切換部１１６の詳細構成＞
切換部１１６の詳細構成について、図５Ａ〜図５Ｃを参照しながら説明する。図５Ａは、切換部１１６の第１切換状態を示す図である。図５Ｂは、切換部１１６の第２切換状態を示す図である。図５Ｃは、切換部１１６の第３切換状態を示す図である。
【００４０】
切換部１１６は、図５Ａ〜図５Ｃに示すように、３つのスイッチＳＷ１、ＳＷ２、ＳＷ３を有する。切換部１１６は、３つのスイッチＳＷ１、ＳＷ２、ＳＷ３のオン・オフを制御することにより、画像データの第２部分Ａ２の画像処理部１１８への入力と、第１部分Ａ１のフレームメモリ１２８への入力と、第１部分Ａ１のフレームメモリ１２８から画像処理部１１８への入力とを切り換える。
【００４１】
ここでは、切換部１１６の切換状態として、画像データの第２部分Ａ２を画像処理部１１８へ入力させる第１切換状態と、第１部分Ａ１をフレームメモリ１２８へ入力させる第２切換状態と、第１部分Ａ１をフレームメモリ１２８から画像処理部１１８へ入力させる第３切換状態について説明する。
【００４２】
切換部１１６の第１切換状態は、図５Ａに示すように、スイッチＳＷ１がオンしている状態で、スイッチＳＷ２が接点Ｐ１に接触したオンしている状態で、スイッチＳＷ３がオフしている状態である。かかる場合には、前処理部１１４から出力されたデータが画像処理部１１８に入力されるのに対して、フレームメモリ１２８には入力されない。このため、画像データの第２部分Ａ２が前処理部１１４から出力される際に切換部１１６が第１切換状態を保持することで、第２部分Ａ２は画像処理部１１８に入力される。
【００４３】
切換部１１６の第２切換状態は、図５Ｂに示すように、スイッチＳＷ１がオフしている状態で、スイッチＳＷ２が接点Ｐ１に接触したオンしている状態で、スイッチＳＷ３がオン状態しているである。つまり、第２切換状態は、第１切換状態と比べて、スイッチＳＷ１、ＳＷ３のオン・オフ状態が逆転している。かかる場合には、前処理部１１４から出力されたデータがバス１２６を介してフレームメモリ１２８に入力されるのに対して、画像処理部１１８には入力されない。このため、画像データの第１部分Ａ１が前処理部１１４から出力される際に切換部１１６が第２切換状態を保持することで、第１部分Ａ１はフレームメモリ１２８に入力される。
【００４４】
ところで、前処理部１１４の画像データは、ラインデータ毎に出力される。各ラインデータは第１部分Ａ１と第２部分Ａ２を有するので、切換部１１６は、第１切換状態と第２切換状態をラインデータ毎に切り換える。これにより、各ラインデータの第１部分Ａ１はフレームメモリ１２８に、第２部分Ａ２は画像処理部１１８に、それぞれ入力される。
【００４５】
ここで、第１切換状態と第２切換状態の間の切換部１１６の切換について、図６を参照しながら説明する。図６は、スイッチＳＷ１、ＳＷ２、ＳＷ３の切換タイミングを示すタイムチャートである。図６には、説明の便宜上、１番目のラインデータ（１ライン）と２番目のラインデータ（２ライン）が出力される際のスイッチＳＷ１、ＳＷ２、ＳＷ３の切換状態が示されているが、他のラインデータについても同様である。各ラインデータが出力される際には、スイッチＳＷ２がオンした状態で、スイッチＳＷ１とスイッチＳＷ３が交互に切り替わる。なお、前述したように、第１部分Ａ１と第２部分Ａ２は重複した部分を含むので、その重複した部分を出力する際にはスイッチＳＷ１、ＳＷ３ともオン状態となっている。
【００４６】
切換部１１６の第３切換状態は、図５Ｃに示すように、スイッチＳＷ１がオフしている状態で、スイッチＳＷ２が接点Ｐ２に接触したオンしている状態で、スイッチＳＷ３がオフしている状態である。かかる場合には、フレームメモリ１２８に保存されたデータがバス１２６介して画像処理部１１８に入力される。このため、切換部１１６が、画像処理部１１８による第２部分Ａ２の画像処理が終了した後に画像データの第１部分Ａ１が前処理部１１４から出力される際に第３切換状態を保持することで、フレームメモリ１２８に一時保存された第１部分Ａ１が画像処理部１１８に入力される。本実施形態では、フレームメモリ１２８に入力された各ラインデータの第１部分Ａ１が、まとめて画像処理部１１８に入力される。なお、スイッチＳＷ２は、全てのラインデータの入力が完了すると、接点Ｐ１、Ｐ２のいずれにも接触しないオフ状態となる。
【００４７】
＜撮像装置１００の動作例＞
撮像素子１１２から出力された画像データが画像処理部１１８に入力されるまでの撮像装置１００の動作について、図７を参照しながら説明する。図７は、撮像素子１１２から出力された画像データが画像処理部１１８に入力されるまでの撮像装置１００の動作例を示すフローチャートである。
【００４８】
本動作例は、フレームメモリ１１８等のメモリに記憶された所定のプログラムを実行することにより、実現される。図７に示すフローチャートは、撮像素子１１２による撮像が実行された後から開始される。
【００４９】
切換部１１６は、オフ状態のスイッチＳＷ２を接点Ｐ１に接触したオン状態とする（ステップＳ２）。次に、切換部１１６は、スイッチＳＷ１をオン状態とする（ステップＳ４）。これにより、図５Ａに示すように、前処理部から出力されるデータが画像処理部１１８に入力可能な状態となる。そして、撮像装置１００は、撮像素子１１２から画像データのライン入力を開始する（ステップＳ６）。
【００５０】
まず、１ライン目のラインデータの撮像素子１１２からの出力が開始される。すると、ラインデータの先頭側のピクセル（画素）のデータが、画像処理部１１８に入力される。１ライン目のラインデータのうち（Ｗ／２−α）ピクセルのデータが画像処理部１１８に入力されると（ステップＳ１０）、切換部１１６はスイッチＳＷ３をオン状態とする（ステップＳ１２）。
【００５１】
スイッチＳＷ１及びスイッチＳＷ３がオン状態であるので、その後のピクセルのデータは、画像処理部１１８とフレームメモリ１２８の両方に入力される。そして、２αピクセルのデータが画像処理部１１８とフレームメモリ１２８に入力されると（ステップＳ１４）、切換部１１６は、スイッチＳＷ１をオフ状態とする（ステップＳ１６）。
【００５２】
図５Ｂに示すようにスイッチＳＷ３がオン状態であるので、１ライン目のラインデータの残りのピクセルのデータは、フレームメモリ１２８に入力される（ステップＳ１８）。そして、残りのピクセル（Ｗ／２−α）の入力が完了したら、切換部１１６はスイッチＳＷ３をオフ状態とする（ステップＳ２０）。
【００５３】
その後、全てのラインのラインデータの入力が完了するまで（ステップＳ２２：Ｎｏ）、上述した処理（ステップＳ４〜Ｓ２０）を繰り返す。これにより、各ラインデータの先頭側の（Ｗ／２＋α）ピクセルのデータは画像処理部１１８に入力され、各ラインデータの後側の（Ｗ／２＋α）ピクセルのデータはフレームメモリ１２８に入力される。
【００５４】
なお、全てのラインデータについて上述した処理（ステップＳ４〜Ｓ２０）が行われている際に、画像処理部１１８に入力された先頭側の（Ｗ／２＋α）ピクセルのデータは、画像処理部１１８によって画像処理が行われる。このように、先頭側の（Ｗ／２＋α）ピクセルのデータを先に処理することで、画像処理の処理時間を短縮できる。
【００５５】
全てのラインデータの入力が完了し、先頭側の（Ｗ／２＋α）ピクセルのデータの画像処理が完了すると、切換部１１６は、図５Ｃに示すようにスイッチＳＷ２を接点Ｐ２に接触したオン状態とする（ステップＳ２４）。すると、フレームメモリ１２８に一時保存された各ラインデータの後側の（Ｗ／２＋α）ピクセルのデータが、画像処理部１１８に入力される。これにより、撮像素子１１２から出力された画像データの画像処理部１１８への入力が、完了する。
【００５６】
画像処理部１１８に入力された各ラインデータの後側の（Ｗ／２＋α）ピクセルのデータ（第２部分Ａ２）は、画像処理部１１８によって画像処理された後に、既に処理済みの先頭側の（Ｗ／２＋α）ピクセルのデータ（第１部分Ａ１）と合成される。具体的には、画像処理部１１８は、処理後の第２部分Ａ２からライン方向の先頭側の（Ｗ／２）ピクセルのデータを抜き出し、処理後の第１部分Ａ２からライン方向の後側の（Ｗ／２）ピクセルのデータを抜き出して、合成する。これにより、撮像素子１１２から出力された画像データに対応する処理画像が生成される。
【００５７】
＜本実施形態に係る撮像装置１００の有効性＞
本実施形態に係る撮像装置１００の有効性について、図８と図９に示す比較例と対比しつつ説明する。図８は、比較例１を示す図である。図９は、比較例２を示す図である。
【００５８】
まず、本実施形態に係る撮像装置１００においては、画像処理部１１８は、撮像素子１１２から出力された画像データの一部（第１部分Ａ１）をフレームメモリ１２８を書き出して処理し、第２部分Ａ２をフレームメモリ１２８を介さずに直接処理する。このため、画像データのフレームメモリ１２８への書き出し及びフレームメモリ１２８からの読み出しの一部を省略できる。すなわち、フレームメモリ１２８へのアクセス回数を抑えることができる。また、画像処理部１１８は、第１部分Ａ１と第２部分Ａ２を分けて処理するので、画像処理部１１８内のラインメモリのサイズを小型化できる。更に、第１部分Ａ１のみがフレームメモリ１２８に入力されるので、フレームメモリ１２８のサイズも小型化できる。
【００５９】
次に、図８に示す比較例１について説明する。比較例１においては、撮像素子１１２から出力され前処理部１１４で処理された画像データＡが、フレームメモリ１２８に入力されずに、全て画像処理部１１８に入力される。このため、画像処理部１１８が前処理部１１４から出力された画像データ（ラインデータ）全体を一度に処理するため、ラインメモリが大型化してしまう。
【００６０】
次に、図９に示す比較例２について説明する。比較例２においては、撮像素子１１２から出力され前処理部１１４で処理された画像データＡが、一旦フレームメモリ１１８に書き込まれる。その後、フレームメモリ１２８から画像処理部１１８に原画像を複数のサイズに分けて入力される。かかる場合には、フレームメモリ１２８へのアクセス回数が増大することになり、消費電力が増加すると共に、処理時間が長くなる。
【００６１】
これに対して、本実施形態に係る撮像装置１００によれば、比較例１と比較例２の問題点を解決できる。すなわち、画像データの画像処理を行う際のフレームメモリ１２８のアクセス回数を抑えつつ、画像処理部１１８内のラインメモリのサイズを小型化することが可能となる。
【００６２】
＜その他の実施形態＞
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００６３】
また、上記の実施形態で撮像装置としてデジタルカメラを例に挙げて説明したが、これに限定されない。例えば、撮像装置は、撮像素子を有する携帯電話機、ＰＤＡ、ゲーム機、電子辞書、ノートパソコン等であっても良い。
【００６４】
また、上記の実施形態で説明した一連の処理は、専用のハードウエアにより実行させてもよいが、ソフトウエア（アプリケーション）により実行させてもよい。一連の処理をソフトウエアにより行う場合、汎用又は専用のコンピュータにプログラムを実行させることにより、上記の一連の処理を実現することができる。
【００６５】
また、上記の実施形態のフローチャートに示されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。
【符号の説明】
【００６６】
１００ 撮像装置
１１２ 撮像素子
１１４ 前処理部
１１６ 切換部
１１８ 画像処理部
１２０ 圧縮処理部
１２２ カード制御部
１２４ メモリカード
１２６ バス
１２８ フレームメモリ
Ａ１ 第１部分
Ａ２ 第２部分
ＳＷ１、ＳＷ２、ＳＷ３ スイッチ
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
デジタルカメラ等の技術分野においては、ＣＣＤ等の撮像素子から入力される画像データに対して画像処理部が補間処理や各種の画像処理を行う。例えば、画像データがＢａｙｅｒ構造を持つ場合には、画像処理部はＲＧＢ情報への色変換（現像処理）を行う。この処理の際に、上下左右の画素情報を用いて画像処理を行うため、画像処理部は数ライン分のラインメモリを必要とする。
【０００３】
ところで、撮像素子の高画素化によりラインメモリの大きさが大きくなり、画像処理の高度化により必要なラインメモリのライン数も増える傾向にある。しかし、集積回路を製造する上でラインメモリの大型化はコストアップの要因となるため、ラインメモリの大きさを小さくすることが望ましい。
【０００４】
かかる問題に対して、撮像素子から出力される画像データの全画像を、画像処理部外のフレームメモリ上に一旦書き出し、これを縦長の画像に分割したものを画像処理部に入力して、複数回に分けて画像処理を行う手法がある。かかる手法の場合には、画像データを横方向において小さな画像のように処理できるため、ラインメモリの大きさを小さくすることが可能である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−２４３８１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、全画像を一旦フレームメモリに書き出して処理する方法では、フレームメモリの全画像を順番にすべて読み出す必要があるため、フレームメモリへのアクセス回数が多くなるという問題がある。さらに、フレームメモリへのアクセスの増加により、消費電力が増加すると共に、処理時間が長くなるという問題も生じる。
【０００７】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、画像データの画像処理を行う際の外部メモリのアクセス回数を抑えつつ、画像処理部内のラインメモリのサイズを小型化することが可能な、新規かつ改良された画像処理装置、及び画像処理方法を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明のある観点によれば、被写体を撮像して画像データを取得する撮像部と、前記撮像部から出力される前記画像データの第１部分と第２部分のうち前記第１部分が入力される画像メモリと、前記画像メモリから入力される前記第１部分を画像処理し、前記画像メモリを介さずに入力される前記第２部分を画像処理し、処理後の前記第１部分及び前記第２部分を合成して前記画像データに対応する処理画像を生成する画像処理部とを備える、画像処理装置が提供される。
【０００９】
かかる画像処理装置の場合には、画像処理部は、撮像素子から出力された画像データの一部（第１部分）を画像メモリに一旦書き出して処理し、第２部分を画像メモリを介さずに直接処理するので、画像データの画像メモリへの書き出し及び画像メモリからの読み出しの一部を省略できる。すなわち、画像メモリへのアクセス回数を抑えることができる。また、画像処理部は、第１部分と第２部分を分けて処理するので、ラインメモリのサイズを小型化できる。更に、第１部分のみが画像メモリに入力されるので、画像メモリのサイズも小型化できる。
【００１０】
また、画像処理装置は、前記第１部分の前記画像メモリへの入力と、前記第２部分の前記画像処理部への入力とを切り換える切換部を更に備える。
かかる場合には、切換部によって、第１部分の画像メモリへの入力と第２部分の画像処理部への入力とを、容易に制御できる。
【００１１】
また、前記画像データは、それぞれ前記第１部分及び前記第２部分を有する複数のラインデータで構成され、各ラインデータの前記第１部分と前記第２部分は、ライン方向における同一位置にて分けられており、前記切換部は、前記第１部分の前記画像メモリへの入力と、前記第２部分の前記画像処理部への入力とを、ラインデータ毎に選択的に切り換える。
かかる場合には、画像データのライン方向において分割された第１部分と第２部分のうち、ライン方向の片側に位置する第１部分（例えば、画像データの左半分）が画像メモリに記憶されるので、画像処理部も、画像データの左半分と右半分に分けて処理できる。このため、画像処理部のラインメモリのライン方向の幅を小さくできる。同様に画像メモリのライン方向の幅を小さくできる。
【００１２】
また、前記第１部分及び前記第２部分は、前記ライン方向において前記同一位置の前後の領域が含まれる重複部分を有する。
かかる場合には、第１部分と第２部分を処理する際に、それぞれ重複部分のデータを利用することで、周囲の画素を用いた補間処理を適切に行える。
【００１３】
また、前記画像メモリに入力される各ラインデータの前記第１部分は、まとめて前記画像処理部に入力される。
かかる場合には、第１部分がまとめて画像メモリから画像処理部に入力されるので、画像メモリへのアクセス回数を低減できる。
【００１４】
また、前記画像処理部による前記第２部分の処理後に、前記画像メモリから前記画像処理部に前記第１部分が入力される。
かかる場合には、第１部分と第２部分の処理を分けて行うので、画像処理に必要なラインメモリの大きさを、第１部分と第２部分を独立に処理するのに必要なサイズに小型化できる。
【００１５】
また、上記課題を解決するために、本発明の別の観点によれば、撮像部から出力される画像データの第１部分と第２部分のうち前記第１部分を画像メモリに入力するステップと、前記画像メモリを介さずに前記第２部分を画像処理部に入力して、画像処理するステップと、前記画像メモリの前記第１部分を画像処理部に入力して、画像処理するステップと、処理後の前記第１部分及び前記第２部分を合成して前記画像データに対応する処理画像を生成するステップとを有する画像処理方法が提供される。
【００１６】
また、上記課題を解決するために、本発明の別の観点によれば、撮像部から出力される画像データの第１部分と第２部分のうち前記第１部分を画像メモリに入力するステップと、前記画像メモリを介さずに前記第２部分を画像処理部に入力して、画像処理するステップと、前記画像メモリの前記第１部分を画像処理部に入力して、画像処理するステップと、処理後の前記第１部分及び前記第２部分を合成して前記画像データに対応する処理画像を生成するステップとをコンピュータに実行させるためのプログラムが提供される。
【発明の効果】
【００１７】
以上説明したように本発明によれば、画像データの画像処理を行う際の外部メモリのアクセス回数を抑えつつ、画像処理部内のラインメモリのサイズを小型化できる。
【図面の簡単な説明】
【００１８】
【図１】撮像装置１００の構成を示すブロック図である。
【図２】撮像素子１１２から出力される画像データの画像処理の流れの概略を示す図である。
【図３】画像データの第１部分Ａ１と第２部分Ａ２の入力経路を示す図である。
【図４】画像データの第１部分Ａ１と第２部分Ａ２の分割状態を示す模式図である。
【図５Ａ】切換部１１６の第１切換状態を示す図である。
【図５Ｂ】切換部１１６の第２切換状態を示す図である。
【図５Ｃ】切換部１１６の第３切換状態を示す図である。
【図６】スイッチＳＷ１、ＳＷ２、ＳＷ３の切換タイミングを示すタイムチャートである。
【図７】撮像素子１１２から出力された画像データが画像処理部１１８に入力されるまでの撮像装置１００の動作例を示すフローチャートである。
【図８】比較例１を示す図である。
【図９】比較例２を示す図である。
【発明を実施するための形態】
【００１９】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２０】
＜撮像装置の構成＞
本実施形態では、画像処理装置として撮像装置１００を例に挙げて、撮像装置１００の構成について図１を参照しながら説明する。図１は、撮像装置１００の構成を示すブロック図である。
【００２１】
撮像装置１００は、例えば静止画像を撮影できるデジタルカメラ、又は動画像を撮影できるビデオカメラである。もちろん、デジタルカメラが、静止画像と動画像を両方撮影することとしても良い。
【００２２】
撮像装置１００は、図１に示すように、撮像部の一例である撮像素子１１２と、前処理部１１４と、切換部１１６と、画像処理部１１８と、圧縮処理部１２０と、カード制御部１２２と、メモリカード１２４と、バス１２６と、画像メモリの一例であるフレームメモリ１２８等を有する。
【００２３】
撮像素子１１２は、光電変換素子の一例であり、レンズを透過して入射した光情報を電気信号に変換する光電変換が可能な複数の素子から構成される。各素子は受光した光量に応じた電気信号を生成する。撮像素子１１２として、ＣＣＤ（Charge Coupled Device）イメージセンサー、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサー等を適用することができる。
【００２４】
撮像素子１１２は、更にＣＤＳ／ＡＭＰ部、Ａ／Ｄ変換部を有する。ＣＤＳ／ＡＭＰ部（相関二重サンプリング回路（Correlated Double Sampling）／増幅器（Amplifier））は、撮像素子１１２から出力された電気信号に含まれるリセットノイズとアンプノイズを除去すると共に、電気信号を任意のレベルまで増幅する。Ａ／Ｄ変換部は、ＣＤＳ／ＡＭＰ部から出力された電気信号をデジタル変換してデジタル信号を生成する。Ａ／Ｄ変換部は、生成したデジタル信号（画像データ）を前処理部１１４に出力する。
【００２５】
前処理部１１４は、Ａ／Ｄ変換部から出力されたデジタル信号に対して処理を施し、画像処理が可能となる画像信号を生成する。前処理部１１４は、例えば、撮像素子１０４の画素欠陥補正、黒レベル補正、シェーディング補正などの処理を行う。前処理部１１４は、生成した画像信号（画像データ）を切換部１１６に出力する。
【００２６】
切換部１１６は、前処理部１１４から出力された画像データ（ラインデータ）の第１部分Ａ１（図２参照）と第２部分Ａ２のうち、第１部分Ａ１のフレームメモリ１２８への入力と、第２部分Ａ２の画像処理部１１８への入力とを切り換える機能を有する。切換部１１６の詳細については、後述する。
【００２７】
フレームメモリ１２８は、例えばＳＤＲＡＭであり、切換部１１６によってバス１２６を介して入力された第１部分Ａ１を一時保存する。なお、一時保存された第１部分Ａ１は、後にバス１２６を介して画像処理部１１８に入力される。フレームメモリ１２８は、画像データ以外のデータ（プログラムデータ等）も記憶する。
【００２８】
画像処理部１１８は、フレームメモリ１２８から入力される画像データ第１部分Ａ１と、フレームメモリ１２８を介さずに入力される第２部分Ａ２を受け、それぞれに輝度信号とＲＧＢ色信号に変換処理する。具体的には、画像処理部１１８は、第２部分Ａ２を画像処理した後に、第１部分Ａ１を画像処理して、処理後の第１部分と第２部分を合成して画像データに対応する処理画像（画像信号）を生成する。また、画像処理部１１８は、ＷＢ制御値、γ値、エッジ（輪郭）強調制御値などに基づいて、画像処理された画像信号を生成する。画像処理部１１８は、生成した画像信号を圧縮処理部１２０に送る。
【００２９】
圧縮処理部１２０は、画像処理部１１６で光量のゲイン補正やホワイトバランスの調整が行われた画像を、適切な形式の画像データに圧縮する。圧縮処理部１２０は、例えばＪＰＥＧ（Joint Photographic Experts Group）規格などの静止画像の符号化方式で圧縮符号化処理を行う。
【００３０】
カード制御部１２２は、圧縮された画像データを記録メディアであるメモリカード１２４に記憶させる。なお、メモリカード１２４に代えて、光ディスク（ＣＤ、ＤＶＤ、ブルーレイディスク等）、光磁気ディスク等の他の記録メディアを使用してもよい。
【００３１】
＜撮像素子１１２から出力される画像データの画像処理の流れ＞
撮像素子１１２から出力される画像データの画像処理の流れ（画像処理方法）について、図２と図３を参照しながら説明する。図２は、撮像素子１１２から出力される画像データの画像処理の流れの概略を示す図である。図３は、画像データの第１部分Ａ１と第２部分Ａ２の入力経路を示す図である。
【００３２】
本実施形態では、撮像素子１１２から出力される画像データ（原画像）を全てフレームメモリ１２８に書き込んだ後に画像処理部１１８を入力するのでは無く、図２に示すように、原画像の半分（左半分）の第２部分Ａ２をフレームメモリ１２８を介さずに画像処理部１１８に入力する。一方で、原画像の残りの半分（右半分）の第１部分Ａ１をフレームメモリ１２８に入力する。第１部分Ａ１と第２部分Ａ２の入力の分岐は、図３に示すように、切換部１１６によって行われる。
【００３３】
フレームメモリ１２８に入力されて一時保存された第１部分Ａ１は、画像処理部１１８が入力された第２部分Ａ２を画像処理した後に、画像処理部１１８に入力される。画像処理部１１８は、入力された第２部分Ａ２を画像処理した後に、処理後の第１部分Ａ１と第２部分Ａ２を合成して、撮像素子１１２から出力された原画像に対応する処理画像を生成する。
【００３４】
このように、本実施形態に画像処理方法においては、撮像素子１１２から出力される原画像を第１部分Ａ１と第２部分Ａ２に分けて処理する。このため、原画像がまとめて画像処理部１１８に入力される場合に比べて、小さいラインメモリで画像処理を行うことができる。また、原画像のうち第１部分Ａ１がフレームメモリ１２８に入力されるので、フレームメモリ１２８のライン方向のサイズも小さくできる。
【００３５】
次に、画像データを第１部分Ａ１と第２部分Ａ２にどうように分割しているかについて、図４を参照しながら説明する。図４は、画像データの第１部分Ａ１と第２部分Ａ２の分割状態を示す模式図である。画像データは、それぞれ第１部分Ａ１及び第２部分Ａ２を有する複数のラインデータで構成される。そして、各ラインデータの第１部分Ａ１と第２部分Ａ２は、ライン方向において同一位置にて分けられている。また、画像データの第１部分Ａ１と第２部分Ａ２は、ライン方向において前記同一位置の前後の画素が含まれる重複部分（αピクセル）を有する。
【００３６】
ここで、原画像のライン方向の幅をＷとすると、第１部分Ａ１のライン方向の幅はライン方向の先頭側の（Ｗ／２＋α）ピクセルであり、第２部分Ａ２のライン方向の幅はライン方向の後側の（Ｗ／２＋α）ピクセルである。
【００３７】
このように、第１部分Ａ１と第２部分Ａ２に重複部分を含ませる理由は、画像処理をする際に処理対象の画素の周囲の画素情報を必要とするので、重複部分を利用することで先頭側のＷ／２ピクセルや、後側のＷ／２ピクセルの画像処理を適切に行える。なお、第１部分Ａ１と第２部分Ａ２が重複部分を含むこととしたが、重複部分を含まないこととしても良い。
【００３８】
以上説明したように、本実施形態に係る撮像装置１００によれば、画像処理部１１８は、撮像素子１１２から出力された画像データの一部である第１部分Ａ１をフレームメモリ１２８に一旦書き出して処理し、第２部分Ａ２をフレームメモリ１２８を介さずに直接処理するので、画像データのフレームメモリ１２８への書き出し及びフレームメモリ１２８からの読み出しの一部を省略できる。すなわち、フレームメモリ１２８へのアクセス回数を抑えることができる。また、画像処理部１１８は、第１部分Ａ１と第２部分Ａ２を分けて処理するので、ラインメモリのサイズを小型化できる。更に、第１部分Ａ１のみがフレームメモリ１２８に入力されるので、フレームメモリ１２８のサイズも小型化できる。
【００３９】
＜切換部１１６の詳細構成＞
切換部１１６の詳細構成について、図５Ａ〜図５Ｃを参照しながら説明する。図５Ａは、切換部１１６の第１切換状態を示す図である。図５Ｂは、切換部１１６の第２切換状態を示す図である。図５Ｃは、切換部１１６の第３切換状態を示す図である。
【００４０】
切換部１１６は、図５Ａ〜図５Ｃに示すように、３つのスイッチＳＷ１、ＳＷ２、ＳＷ３を有する。切換部１１６は、３つのスイッチＳＷ１、ＳＷ２、ＳＷ３のオン・オフを制御することにより、画像データの第２部分Ａ２の画像処理部１１８への入力と、第１部分Ａ１のフレームメモリ１２８への入力と、第１部分Ａ１のフレームメモリ１２８から画像処理部１１８への入力とを切り換える。
【００４１】
ここでは、切換部１１６の切換状態として、画像データの第２部分Ａ２を画像処理部１１８へ入力させる第１切換状態と、第１部分Ａ１をフレームメモリ１２８へ入力させる第２切換状態と、第１部分Ａ１をフレームメモリ１２８から画像処理部１１８へ入力させる第３切換状態について説明する。
【００４２】
切換部１１６の第１切換状態は、図５Ａに示すように、スイッチＳＷ１がオンしている状態で、スイッチＳＷ２が接点Ｐ１に接触したオンしている状態で、スイッチＳＷ３がオフしている状態である。かかる場合には、前処理部１１４から出力されたデータが画像処理部１１８に入力されるのに対して、フレームメモリ１２８には入力されない。このため、画像データの第２部分Ａ２が前処理部１１４から出力される際に切換部１１６が第１切換状態を保持することで、第２部分Ａ２は画像処理部１１８に入力される。
【００４３】
切換部１１６の第２切換状態は、図５Ｂに示すように、スイッチＳＷ１がオフしている状態で、スイッチＳＷ２が接点Ｐ１に接触したオンしている状態で、スイッチＳＷ３がオン状態しているである。つまり、第２切換状態は、第１切換状態と比べて、スイッチＳＷ１、ＳＷ３のオン・オフ状態が逆転している。かかる場合には、前処理部１１４から出力されたデータがバス１２６を介してフレームメモリ１２８に入力されるのに対して、画像処理部１１８には入力されない。このため、画像データの第１部分Ａ１が前処理部１１４から出力される際に切換部１１６が第２切換状態を保持することで、第１部分Ａ１はフレームメモリ１２８に入力される。
【００４４】
ところで、前処理部１１４の画像データは、ラインデータ毎に出力される。各ラインデータは第１部分Ａ１と第２部分Ａ２を有するので、切換部１１６は、第１切換状態と第２切換状態をラインデータ毎に切り換える。これにより、各ラインデータの第１部分Ａ１はフレームメモリ１２８に、第２部分Ａ２は画像処理部１１８に、それぞれ入力される。
【００４５】
ここで、第１切換状態と第２切換状態の間の切換部１１６の切換について、図６を参照しながら説明する。図６は、スイッチＳＷ１、ＳＷ２、ＳＷ３の切換タイミングを示すタイムチャートである。図６には、説明の便宜上、１番目のラインデータ（１ライン）と２番目のラインデータ（２ライン）が出力される際のスイッチＳＷ１、ＳＷ２、ＳＷ３の切換状態が示されているが、他のラインデータについても同様である。各ラインデータが出力される際には、スイッチＳＷ２がオンした状態で、スイッチＳＷ１とスイッチＳＷ３が交互に切り替わる。なお、前述したように、第１部分Ａ１と第２部分Ａ２は重複した部分を含むので、その重複した部分を出力する際にはスイッチＳＷ１、ＳＷ３ともオン状態となっている。
【００４６】
切換部１１６の第３切換状態は、図５Ｃに示すように、スイッチＳＷ１がオフしている状態で、スイッチＳＷ２が接点Ｐ２に接触したオンしている状態で、スイッチＳＷ３がオフしている状態である。かかる場合には、フレームメモリ１２８に保存されたデータがバス１２６介して画像処理部１１８に入力される。このため、切換部１１６が、画像処理部１１８による第２部分Ａ２の画像処理が終了した後に画像データの第１部分Ａ１が前処理部１１４から出力される際に第３切換状態を保持することで、フレームメモリ１２８に一時保存された第１部分Ａ１が画像処理部１１８に入力される。本実施形態では、フレームメモリ１２８に入力された各ラインデータの第１部分Ａ１が、まとめて画像処理部１１８に入力される。なお、スイッチＳＷ２は、全てのラインデータの入力が完了すると、接点Ｐ１、Ｐ２のいずれにも接触しないオフ状態となる。
【００４７】
＜撮像装置１００の動作例＞
撮像素子１１２から出力された画像データが画像処理部１１８に入力されるまでの撮像装置１００の動作について、図７を参照しながら説明する。図７は、撮像素子１１２から出力された画像データが画像処理部１１８に入力されるまでの撮像装置１００の動作例を示すフローチャートである。
【００４８】
本動作例は、フレームメモリ１１８等のメモリに記憶された所定のプログラムを実行することにより、実現される。図７に示すフローチャートは、撮像素子１１２による撮像が実行された後から開始される。
【００４９】
切換部１１６は、オフ状態のスイッチＳＷ２を接点Ｐ１に接触したオン状態とする（ステップＳ２）。次に、切換部１１６は、スイッチＳＷ１をオン状態とする（ステップＳ４）。これにより、図５Ａに示すように、前処理部から出力されるデータが画像処理部１１８に入力可能な状態となる。そして、撮像装置１００は、撮像素子１１２から画像データのライン入力を開始する（ステップＳ６）。
【００５０】
まず、１ライン目のラインデータの撮像素子１１２からの出力が開始される。すると、ラインデータの先頭側のピクセル（画素）のデータが、画像処理部１１８に入力される。１ライン目のラインデータのうち（Ｗ／２−α）ピクセルのデータが画像処理部１１８に入力されると（ステップＳ１０）、切換部１１６はスイッチＳＷ３をオン状態とする（ステップＳ１２）。
【００５１】
スイッチＳＷ１及びスイッチＳＷ３がオン状態であるので、その後のピクセルのデータは、画像処理部１１８とフレームメモリ１２８の両方に入力される。そして、２αピクセルのデータが画像処理部１１８とフレームメモリ１２８に入力されると（ステップＳ１４）、切換部１１６は、スイッチＳＷ１をオフ状態とする（ステップＳ１６）。
【００５２】
図５Ｂに示すようにスイッチＳＷ３がオン状態であるので、１ライン目のラインデータの残りのピクセルのデータは、フレームメモリ１２８に入力される（ステップＳ１８）。そして、残りのピクセル（Ｗ／２−α）の入力が完了したら、切換部１１６はスイッチＳＷ３をオフ状態とする（ステップＳ２０）。
【００５３】
その後、全てのラインのラインデータの入力が完了するまで（ステップＳ２２：Ｎｏ）、上述した処理（ステップＳ４〜Ｓ２０）を繰り返す。これにより、各ラインデータの先頭側の（Ｗ／２＋α）ピクセルのデータは画像処理部１１８に入力され、各ラインデータの後側の（Ｗ／２＋α）ピクセルのデータはフレームメモリ１２８に入力される。
【００５４】
なお、全てのラインデータについて上述した処理（ステップＳ４〜Ｓ２０）が行われている際に、画像処理部１１８に入力された先頭側の（Ｗ／２＋α）ピクセルのデータは、画像処理部１１８によって画像処理が行われる。このように、先頭側の（Ｗ／２＋α）ピクセルのデータを先に処理することで、画像処理の処理時間を短縮できる。
【００５５】
全てのラインデータの入力が完了し、先頭側の（Ｗ／２＋α）ピクセルのデータの画像処理が完了すると、切換部１１６は、図５Ｃに示すようにスイッチＳＷ２を接点Ｐ２に接触したオン状態とする（ステップＳ２４）。すると、フレームメモリ１２８に一時保存された各ラインデータの後側の（Ｗ／２＋α）ピクセルのデータが、画像処理部１１８に入力される。これにより、撮像素子１１２から出力された画像データの画像処理部１１８への入力が、完了する。
【００５６】
画像処理部１１８に入力された各ラインデータの後側の（Ｗ／２＋α）ピクセルのデータ（第２部分Ａ２）は、画像処理部１１８によって画像処理された後に、既に処理済みの先頭側の（Ｗ／２＋α）ピクセルのデータ（第１部分Ａ１）と合成される。具体的には、画像処理部１１８は、処理後の第２部分Ａ２からライン方向の先頭側の（Ｗ／２）ピクセルのデータを抜き出し、処理後の第１部分Ａ２からライン方向の後側の（Ｗ／２）ピクセルのデータを抜き出して、合成する。これにより、撮像素子１１２から出力された画像データに対応する処理画像が生成される。
【００５７】
＜本実施形態に係る撮像装置１００の有効性＞
本実施形態に係る撮像装置１００の有効性について、図８と図９に示す比較例と対比しつつ説明する。図８は、比較例１を示す図である。図９は、比較例２を示す図である。
【００５８】
まず、本実施形態に係る撮像装置１００においては、画像処理部１１８は、撮像素子１１２から出力された画像データの一部（第１部分Ａ１）をフレームメモリ１２８を書き出して処理し、第２部分Ａ２をフレームメモリ１２８を介さずに直接処理する。このため、画像データのフレームメモリ１２８への書き出し及びフレームメモリ１２８からの読み出しの一部を省略できる。すなわち、フレームメモリ１２８へのアクセス回数を抑えることができる。また、画像処理部１１８は、第１部分Ａ１と第２部分Ａ２を分けて処理するので、画像処理部１１８内のラインメモリのサイズを小型化できる。更に、第１部分Ａ１のみがフレームメモリ１２８に入力されるので、フレームメモリ１２８のサイズも小型化できる。
【００５９】
次に、図８に示す比較例１について説明する。比較例１においては、撮像素子１１２から出力され前処理部１１４で処理された画像データＡが、フレームメモリ１２８に入力されずに、全て画像処理部１１８に入力される。このため、画像処理部１１８が前処理部１１４から出力された画像データ（ラインデータ）全体を一度に処理するため、ラインメモリが大型化してしまう。
【００６０】
次に、図９に示す比較例２について説明する。比較例２においては、撮像素子１１２から出力され前処理部１１４で処理された画像データＡが、一旦フレームメモリ１１８に書き込まれる。その後、フレームメモリ１２８から画像処理部１１８に原画像を複数のサイズに分けて入力される。かかる場合には、フレームメモリ１２８へのアクセス回数が増大することになり、消費電力が増加すると共に、処理時間が長くなる。
【００６１】
これに対して、本実施形態に係る撮像装置１００によれば、比較例１と比較例２の問題点を解決できる。すなわち、画像データの画像処理を行う際のフレームメモリ１２８のアクセス回数を抑えつつ、画像処理部１１８内のラインメモリのサイズを小型化することが可能となる。
【００６２】
＜その他の実施形態＞
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００６３】
また、上記の実施形態で撮像装置としてデジタルカメラを例に挙げて説明したが、これに限定されない。例えば、撮像装置は、撮像素子を有する携帯電話機、ＰＤＡ、ゲーム機、電子辞書、ノートパソコン等であっても良い。
【００６４】
また、上記の実施形態で説明した一連の処理は、専用のハードウエアにより実行させてもよいが、ソフトウエア（アプリケーション）により実行させてもよい。一連の処理をソフトウエアにより行う場合、汎用又は専用のコンピュータにプログラムを実行させることにより、上記の一連の処理を実現することができる。
【００６５】
また、上記の実施形態のフローチャートに示されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。
【符号の説明】
【００６６】
１００ 撮像装置
１１２ 撮像素子
１１４ 前処理部
１１６ 切換部
１１８ 画像処理部
１２０ 圧縮処理部
１２２ カード制御部
１２４ メモリカード
１２６ バス
１２８ フレームメモリ
Ａ１ 第１部分
Ａ２ 第２部分
ＳＷ１、ＳＷ２、ＳＷ３ スイッチ
【特許請求の範囲】
【請求項１】
被写体を撮像して画像データを取得する撮像部と、
前記撮像部から出力される前記画像データの第１部分と第２部分のうち前記第１部分が入力される画像メモリと、
前記画像メモリから入力される前記第１部分を画像処理し、前記画像メモリを介さずに入力される前記第２部分を画像処理し、処理後の前記第１部分及び前記第２部分を合成して前記画像データに対応する処理画像を生成する画像処理部と
を備える、画像処理装置。
【請求項２】
前記第１部分の前記画像メモリへの入力と、前記第２部分の前記画像処理部への入力とを切り換える切換部を更に備える、請求項１に記載の画像処理装置。
【請求項３】
前記画像データは、それぞれ前記第１部分及び前記第２部分を有する複数のラインデータで構成され、
各ラインデータの前記第１部分と前記第２部分は、ライン方向における同一位置にて分けられており、
前記切換部は、前記第１部分の前記画像メモリへの入力と、前記第２部分の前記画像処理部への入力とを、ラインデータ毎に選択的に切り換える、請求項２に記載の画像処理装置。
【請求項４】
前記第１部分及び前記第２部分は、前記ライン方向において前記同一位置の前後の領域が含まれる重複部分を有する、請求項３に記載の画像処理装置。
【請求項５】
前記画像メモリに入力される各ラインデータの前記第１部分は、まとめて前記画像処理部に入力される、請求項３又は請求項４に記載の画像処理装置。
【請求項６】
前記画像処理部による前記第２部分の処理後に、前記画像メモリから前記画像処理部に前記第１部分が入力される、請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項７】
撮像部から出力される画像データの第１部分と第２部分のうち前記第１部分を画像メモリに入力するステップと、
前記画像メモリを介さずに前記第２部分を画像処理部に入力して、画像処理するステップと、
前記画像メモリの前記第１部分を画像処理部に入力して、画像処理するステップと、
処理後の前記第１部分及び前記第２部分を合成して前記画像データに対応する処理画像を生成するステップと
を有する、画像処理方法。
【請求項８】
撮像部から出力される画像データの第１部分と第２部分のうち前記第１部分を画像メモリに入力するステップと、
前記画像メモリを介さずに前記第２部分を画像処理部に入力して、画像処理するステップと、
前記画像メモリの前記第１部分を画像処理部に入力して、画像処理するステップと、
処理後の前記第１部分及び前記第２部分を合成して前記画像データに対応する処理画像を生成するステップと
をコンピュータに実行させるためのプログラム。
【請求項１】
被写体を撮像して画像データを取得する撮像部と、
前記撮像部から出力される前記画像データの第１部分と第２部分のうち前記第１部分が入力される画像メモリと、
前記画像メモリから入力される前記第１部分を画像処理し、前記画像メモリを介さずに入力される前記第２部分を画像処理し、処理後の前記第１部分及び前記第２部分を合成して前記画像データに対応する処理画像を生成する画像処理部と
を備える、画像処理装置。
【請求項２】
前記第１部分の前記画像メモリへの入力と、前記第２部分の前記画像処理部への入力とを切り換える切換部を更に備える、請求項１に記載の画像処理装置。
【請求項３】
前記画像データは、それぞれ前記第１部分及び前記第２部分を有する複数のラインデータで構成され、
各ラインデータの前記第１部分と前記第２部分は、ライン方向における同一位置にて分けられており、
前記切換部は、前記第１部分の前記画像メモリへの入力と、前記第２部分の前記画像処理部への入力とを、ラインデータ毎に選択的に切り換える、請求項２に記載の画像処理装置。
【請求項４】
前記第１部分及び前記第２部分は、前記ライン方向において前記同一位置の前後の領域が含まれる重複部分を有する、請求項３に記載の画像処理装置。
【請求項５】
前記画像メモリに入力される各ラインデータの前記第１部分は、まとめて前記画像処理部に入力される、請求項３又は請求項４に記載の画像処理装置。
【請求項６】
前記画像処理部による前記第２部分の処理後に、前記画像メモリから前記画像処理部に前記第１部分が入力される、請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項７】
撮像部から出力される画像データの第１部分と第２部分のうち前記第１部分を画像メモリに入力するステップと、
前記画像メモリを介さずに前記第２部分を画像処理部に入力して、画像処理するステップと、
前記画像メモリの前記第１部分を画像処理部に入力して、画像処理するステップと、
処理後の前記第１部分及び前記第２部分を合成して前記画像データに対応する処理画像を生成するステップと
を有する、画像処理方法。
【請求項８】
撮像部から出力される画像データの第１部分と第２部分のうち前記第１部分を画像メモリに入力するステップと、
前記画像メモリを介さずに前記第２部分を画像処理部に入力して、画像処理するステップと、
前記画像メモリの前記第１部分を画像処理部に入力して、画像処理するステップと、
処理後の前記第１部分及び前記第２部分を合成して前記画像データに対応する処理画像を生成するステップと
をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−１２９９０６（Ｐ２０１２−１２９９０６Ａ）
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願番号】特願２０１０−２８１３７８（Ｐ２０１０−２８１３７８）
【出願日】平成２２年１２月１７日（２０１０．１２．１７）
【出願人】（３９００１９８３９）三星電子株式会社 (8,520)
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【住所又は居所原語表記】４１６，Ｍａｅｔａｎ−ｄｏｎｇ，Ｙｅｏｎｇｔｏｎｇ−ｇｕ，Ｓｕｗｏｎ−ｓｉ，Ｇｙｅｏｎｇｇｉ−ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
【Ｆターム（参考）】
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願日】平成２２年１２月１７日（２０１０．１２．１７）
【出願人】（３９００１９８３９）三星電子株式会社 (8,520)
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【住所又は居所原語表記】４１６，Ｍａｅｔａｎ−ｄｏｎｇ，Ｙｅｏｎｇｔｏｎｇ−ｇｕ，Ｓｕｗｏｎ−ｓｉ，Ｇｙｅｏｎｇｇｉ−ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
【Ｆターム（参考）】
[ Back to top ]