画像処理装置、方法及びプログラム
【課題】追加の回路等を必要とせず高速に画素加算の処理を行う。
【解決手段】通常撮影モードが設定された場合に画像データをパッキング処理してメモリに書き込む（ステップＳ３１２）。画素加算撮影モードが設定された場合に画像データをパッキング処理しないようにしてメモリに書き込む（ステップＳ３１０）。そして、メモリに書き込まれたパッキング処理をせずに書き込んだ画像データにおいて、画素加算処理を行う（ステップＳ３１１）。これにより、メモリ境界をまたいで画素加算に必要なデータを読み出すことがないため、高速に画素加算処理を行うことができる。
【解決手段】通常撮影モードが設定された場合に画像データをパッキング処理してメモリに書き込む（ステップＳ３１２）。画素加算撮影モードが設定された場合に画像データをパッキング処理しないようにしてメモリに書き込む（ステップＳ３１０）。そして、メモリに書き込まれたパッキング処理をせずに書き込んだ画像データにおいて、画素加算処理を行う（ステップＳ３１１）。これにより、メモリ境界をまたいで画素加算に必要なデータを読み出すことがないため、高速に画素加算処理を行うことができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影により得られた静止画や動画像のデータを記録する画像処理装置、方法、撮像装置及びプログラムに関する。
【背景技術】
【０００２】
近年、家庭用ビデオカメラやデジタルスチルカメラ等の撮像機器が一般に普及しており、静止画・動画を記録・再生する機能を有している。これらのカメラは、撮影時に感度設定を行う機能を有しており、撮影シーンに応じて感度設定を行うことで、ユーザの望むような画像を撮影することができる。
【０００３】
この感度設定は撮像手段のゲイン設定を調整することで実現していることが多いが、ゲインを必要以上に上げてしまうと画像にランダムノイズが発生してしまい、画像の品質が劣化してしまうことがある。それに対して、ゲインを上げずに感度を高める方法としては、撮影後に画素の加算を行って感度を高める方法が特許文献１に開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−３０８０７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載された方法では、専用の画像処理回路を用意しなくてはならず、コストアップを招いてしまう。またソフトウェアにより画素加算を実行する方式もあるが、通常画像データはパッキング回路によってパッキングして画像バッファに書き込まれるため、画素加算を実行する際にパッキングの解除を行ってやる必要があり、処理速度の大幅な低下を招いてしまう。
【０００６】
そこで本発明では、追加の回路等を必要とせず高速に画素加算処理を行うことができるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、撮影により得られた画像データを記録媒体に記録する画像処理装置であって、撮影モードとして通常撮影モードが設定された場合に画像データをパッキング処理してメモリに書き込み、画素加算撮影モードが設定された場合に画像データをパッキング処理せずにメモリに書き込むパッキング手段と、前記パッキング処理せずにメモリに書き込んだ画像データに対して画素加算処理を行う画素加算手段とを有することを特徴とする。
また、本発明の撮像装置は、上記に記載の画像処理装置と、光学像を電気信号に変換する撮像手段と、撮影モードとして前記通常撮影モード又は前記画素加算撮影モードを設定する撮影モード設定手段とを備えたことを特徴とする。
また、本発明の画像処理方法は、撮影により得られた画像データを記録媒体に記録する画像処理方法であって、撮影モードとして通常撮影モードが設定された場合に画像データをパッキング処理してメモリに書き込み、画素加算撮影モードが設定された場合に画像データをパッキング処理せずにメモリに書き込むステップと、前記パッキング処理せずにメモリに書き込まれた画像データに対して画素加算処理を行うステップとを有することを特徴とする。
また、本発明のプログラムは、撮影により得られた画像データを記録媒体に記録する画像処理をコンピュータに実行させるためのプログラムであって、撮影モードとして通常撮影モードが設定された場合に画像データをパッキング処理してメモリに書き込み、画素加算撮影モードが設定された場合に画像データをパッキング処理せずにメモリに書き込むステップと、前記パッキング処理せずにメモリに書き込まれた画像データに対して画素加算処理を行うステップとをコンピュータに実行させるためのプログラムである。
また、本発明の他の画像処理装置は、撮影により得られた画像データを記録媒体に記録する画像処理装置であって、画像データをパッキング処理してメモリに書き込むパッキング手段を有し、撮影モードとして画素加算撮影モードが選択された場合、まず前記撮影により得られた前記画像データを前記パッキング手段にてパッキング処理してメモリに書き込み、次に前記メモリに書き込まれた画像データについての画素を、画像の水平方向に沿ったライン単位で読み出し、垂直方向の同色画素を加算して、その結果を前記パッキング手段を使用せずに前記メモリに書き込み、次に前記メモリからパッキング処理されていない前記垂直方向において同色画素が加算された画像データの画素を画素ごとに読み出し、水平方向の同色画素を加算して、その結果を前記メモリに書き込むことを特徴とする。
また、本発明の他の画像処理方法は、撮影により得られた画像データを記録媒体に記録する画像処理方法であって、撮影モードとして画素加算撮影モードが選択された場合、前記撮影により得られた前記画像データをパッキング処理してメモリに書き込むステップと、前記メモリに書き込まれた画像データについての画素を、画像の水平方向に沿ったライン単位で読み出し、垂直方向の同色画素を加算して、その結果をパッキング処理せずに前記メモリに書き込むステップと、前記メモリからパッキング処理されていない前記垂直方向において同色画素が加算された画像データの画素を画素ごとに読み出し、水平方向の同色画素を加算して、その結果を前記メモリに書き込むステップとを有することを特徴とする。
また、本発明の他のプログラムは、撮影により得られた画像データを記録媒体に記録する画像処理をコンピュータに実行させるためのプログラムであって、撮影モードとして画素加算撮影モードが選択された場合、前記撮影により得られた前記画像データをパッキング処理してメモリに書き込むステップと、前記メモリに書き込まれた画像データについての画素を、画像の水平方向に沿ったライン単位で読み出し、垂直方向の同色画素を加算して、その結果をパッキング処理せずに前記メモリに書き込むステップと、前記メモリからパッキング処理されていない前記垂直方向において同色画素が加算された画像データの画素を画素ごとに読み出し、水平方向の同色画素を加算して、その結果を前記メモリに書き込むステップとをコンピュータに実行させるためのプログラムである。
【発明の効果】
【０００８】
本発明によれば、追加の回路等を必要とせずに高速に画素加算処理を行うことが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施の形態に係る画像処理装置の構成を示すブロック図である。
【図２】本発明の実施の形態に係る画像処理装置の主ルーチンを説明するフローチャートである。
【図３】本発明の実施の形態に係る画像処理装置の主ルーチンを説明するフローチャートである。
【図４】本発明の実施の形態に係る画像処理装置の測距・測光処理を説明するフローチャートである。
【図５】本発明の実施の形態に係る画像処理装置の撮影処理を説明するフローチャートである。
【図６】本発明の実施の形態に係る画像処理装置の記録処理を説明するフローチャートである。
【図７】本発明の実施の形態に係る画像処理装置において表示するバッファ残容量表示の一例を示す図である。
【図８】画像データをパッキングした場合のメモリ配置をパッキングしない場合のメモリ配置を説明する図である。
【図９】パッキングした場合としない場合とでメモリ配置を変えた場合のバッファの状況を示す図である。
【図１０】本発明の第１の実施の形態に係る画像処理装置において行う画素加算処理を説明する図である。
【図１１】本発明の第１の実施の形態に係る画像処理装置において行う画素加算処理を説明する図である。
【図１２】本発明の第２の実施の形態に係る画像処理装置において行う画素加算処理を説明する図である。
【図１３】本発明の第２の実施の形態に係る画像処理装置において行う画素加算処理を説明する図である。
【図１４】本発明の第２の実施の形態に係る画像処理装置において行う画素加算処理時のメモリ配置を示した図である。
【発明を実施するための形態】
【００１０】
（第１の実施の形態）
以下、図面を参照して本発明の第１の実施の形態を説明する。図１は、本発明の実施の形態に係る画像処理装置、典型的には撮像装置の構成を示す図である。
【００１１】
＜画像処理装置の構成＞
図１において、１００は画像処理装置である。１０は撮影レンズ、１２は絞り機能を備えるシャッター、１４は光学像を電気信号に変換する撮像素子、１６は撮像素子１４のアナログ信号出力をディジタル信号に変換するＡ／Ｄ変換器である。
【００１２】
１８はタイミング発生回路であり、撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にクロック信号や制御信号を供給する。タイミング発生回路１８はメモリ制御回路２２及びシステム制御回路５０により制御される。
【００１３】
２０は画像処理回路であり、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。画像処理回路２０はまた、撮像した画像データを用いて所定の演算処理を行っており、得られた演算結果に基づいてシステム制御回路５０が露光制御手段４０、測距制御手段４２に対して制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。更に、画像処理回路２０は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。
【００１４】
２２はメモリ制御回路であり、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６のデータは、画像処理回路２０、メモリ制御回路２２を介して、或いは直接メモリ制御回路２２を介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。
【００１５】
２４は画像表示メモリ、２６はＤ／Ａ変換器、２８はＴＦＴ ＬＣＤ等から成る画像表示部であり、画像表示メモリ２４に書き込まれた表示用の画像データは、Ｄ／Ａ変換器２６を介して画像表示部２８により表示される。画像表示部２８を用いて撮像した画像データを逐次表示すれば、電子ファインダー機能を実現することが可能である。画像表示部２８はまた、システム制御回路５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には画像処理装置１００の電力消費を大幅に低減することができる。
【００１６】
３０は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連射撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０はシステム制御回路５０の作業領域としても使用することが可能である。
【００１７】
３２は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長回路であり、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。
【００１８】
４０は絞り機能を備えるシャッター１２を制御する露光制御手段であり、フラッシュ４８と連携することによりフラッシュ調光機能も有するものである。４２は撮影レンズ１０のフォーカシングを制御する測距制御手段であり、４４は撮影レンズ１０のズーミングを制御するズーム制御手段である。４６はバリアである保護手段１０２の動作を制御するバリア制御手段である。４８はフラッシュであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。露光制御手段４０、測距制御手段４２はＴＴＬ方式を用いて制御されており、撮像した画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０によって制御される。
【００１９】
５０は画像処理装置１００全体を制御するシステム制御回路であり、５２はシステム制御回路５０の動作用の定数、変数、プログラム等を記憶するメモリである。
【００２０】
５４は表示部であり、システム制御回路５０のプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示したりスピーカー等で音声を発音したりする。表示部５４は、画像処理装置１００の操作部近辺の視認し易い位置に単数或いは複数個所設置され、例えばＬＣＤやＬＥＤ、発音素子等の組み合わせにより構成されている。以下、表示部５４の詳細説明をする。
【００２１】
表示部５４は、その一部の機能が光学ファインダー１０４内に設置されている。表示部５４の表示内容のうち、ＬＣＤ等に表示するものとしては、シングルショット／連写撮影表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタースピード表示等がある。また、絞り値表示、露出補正表示、フラッシュ表示、赤目緩和表示、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示等がある。更には、記録媒体２００及び２１０の着脱状態表示、通信Ｉ／Ｆ動作表示、日付・時刻表示等がある。
【００２２】
また、表示部５４の表示内容のうち、光学ファインダー１０４内に表示するものとしては、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示等がある。
【００２３】
５６は電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。
【００２４】
６０、６２、６４、６６及び７０は、システム制御回路５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。ここで、これらの操作手段の具体的な説明を行う。
【００２５】
６０はモードダイアルスイッチであり、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを切り替え設定することができる。
【００２６】
６２はシャッタースイッチＳＷ１であり、不図示のシャッターボタンの操作途中でＯＮとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作開始を指示する。６４はシャッタースイッチＳＷ２であり、不図示のシャッターボタンの操作完了でＯＮとなり、撮影に係る一連の処理の動作開始を指示する。即ち、まず撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に画像データを書き込む露光処理を指示する。次に、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理を指示する。そして、メモリ３０から画像データを読み出し、圧縮・伸長回路３２で圧縮を行い、記録媒体２００或いは２１０に画像データを書き込む記録処理を指示する。
【００２７】
６６は撮影モード（記録モード）設定スイッチであり、本発明の主眼となる処理（画素加算撮影モード）はこれを切り替えることにより実行される。なお、撮影モード設定スイッチ６６は、本発明でいう撮影モード設定手段の一構成例に対応する。
【００２８】
７０は各種ボタンやタッチパネル等からなる操作部である。操作部７０には、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン等が含まれる。また、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等も含まれる。
【００２９】
８０は電源制御手段であり、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成される。電源制御手段８０は、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。
【００３０】
８２、８４はコネクタであり、８６はアルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる電源である。
【００３１】
９０、９４はメモリカードやハードディスク等の記録媒体とのインタフェースであり、９２、９６はメモリカードやハードディスク等の記録媒体と接続を行うコネクタである。９８は記録媒体着脱検知手段であり、コネクタ９２及び／又は９６に記録媒体２００及び／又は２１０が装着されているか否かを検知する。
【００３２】
２００はメモリカードやハードディスク等の記録媒体である。記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、画像処理装置１００とのインタフェース２０４、及び画像処理装置１００と接続を行うコネクタ２０６を備えている。２１０はメモリカードやハードディスク等の記録媒体である。記録媒体２１０は、半導体メモリや磁気ディスク等から構成される記録部２１２、画像処理装置１００とのインタフェース２１４、及び画像処理装置１００と接続を行うコネクタ２１６を備えている。
【００３３】
なお、本実施の形態では記録媒体２００等を取り付けるインタフェース及びコネクタを２系統持つものとして説明しているが、記録媒体を取り付けるインタフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインタフェース及びコネクタを組み合わせて備える構成としても構わない。インタフェース及びコネクタとしては、例えばＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カードの規格に準拠したものを用いて構成して構わない。
【００３４】
インタフェース９０及び９４、そしてコネクタ９２及び９６をＰＣＭＣＩＡカードやＣＦカード等の規格に準拠したものを用いて構成した場合、ＬＡＮカードやモデムカードを接続可能で、他のコンピュータ等とのデータの転送が可能となる。なお、ＬＡＮカードやモデムカードの他に、ＵＳＢカード、ＩＥＥＥ１３９４カード、Ｐ１２８４カード、ＳＣＳＩカード、ＰＨＳの通信カード等の各種通信カードも接続する可能である。この場合も、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。
【００３５】
１０２は保護手段であり、画像処理装置１００の撮影レンズ１０を含む撮像部を覆うことにより、撮像部の汚れや破損を防止するバリアである。１０４は光学ファインダーであり、画像表示部２８による電子ファインダー機能を使用すること無しに、光学ファインダー１０４のみを用いて撮影を行うことを可能とする。なお、光学ファインダー１０４内には、表示部５４の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示等が設置されている。
【００３６】
１１０は通信手段であり、ＲＳ２３２Ｃ、ＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信等の各種通信機能を有する。１１２は通信手段１１０により画像処理装置１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。
【００３７】
＜画像処理装置の動作＞
次に画像処理装置１００の動作を説明する。図２及び図３は画像処理装置１００の主ルーチンを説明するフローチャートである。以下、図２及び図３を用いて、画像処理装置１００の動作を説明する。
【００３８】
（主ルーチン）
電池交換等の電源投入により処理は開始され、まずステップＳ１０１においてシステム制御回路５０は、フラグや制御変数等を初期化し、続いてステップＳ１０２において画像表示部２８の画像表示をＯＦＦ状態に初期設定する。
【００３９】
次にステップＳ１０３において、システム制御回路５０は、モードダイアル６０の設定位置を判断する。
【００４０】
ステップＳ１０３でモードダイアル６０が電源ＯＦＦに設定されていたならば、システム制御回路５０はステップＳ１０５に進み終了処理を行う。終了処理には、次のような処理が含まれる。各表示部の表示を終了状態に変更する。保護手段１０２のバリアを閉じて撮像部を保護する。フラグや制御変数等を含む必要なパラメータや設定値、設定モードを不揮発性メモリ５６に記録する。電源制御手段８０により画像表示部２８を含む画像処理装置１００各部の不要な電源を遮断する。このような所定の終了処理を行った後は、システム制御回路５０は、ステップＳ１０３に戻る。
【００４１】
ステップＳ１０３でモードダイアル６０が撮影モードに設定されていたならば、システム制御回路５０はステップＳ１０６に進む。また、モードダイアル６０がその他のモードに設定されていたならば、システム制御回路５０はステップＳ１０４に進み、選択されたモードに応じた処理を実行し、処理を終えたならばステップＳ１０３に戻る。
【００４２】
ステップＳ１０３で撮影モードが設定されていた場合のステップＳ１０６において、システム制御回路５０は、電源制御手段８０により電池等により構成される電源８６の残容量や動作情況が画像処理装置１００の動作に問題があるか否かを判断する。ここで問題があるならば、システム制御回路５０はステップＳ１０８に進み、表示部５４を用いて画像や音声により所定の警告表示を行った後、ステップＳ１０３に戻る。また、電源８６に問題が無いならば、システム制御回路５０はステップＳ１０７に進む。
【００４３】
ステップＳ１０７においてシステム制御回路５０は、記録媒体２００或いは２１０の動作状態が画像処理装置１００の動作、特に記録媒体に対する画像データの記録再生動作に問題があるか否かを判断する。ここで問題があるならば、システム制御回路５０はステップＳ１０８に進み、表示部５４を用いて画像や音声により所定の警告表示を行った後、ステップＳ１０３に戻る。また、記録媒体２００或いは２１０の動作状態に問題が無いならば、システム制御回路５０はステップＳ１０９に進む。
【００４４】
ステップＳ１０９においてシステム制御回路５０は、表示部５４を用いて画像や音声により画像処理装置１００の各種設定状態の表示を行う。なお、画像表示部２８の画像表示がＯＮであったならば、画像表示部２８も用いて画像や音声により画像処理装置１００の各種設定状態の表示を行う。ステップＳ１０９の処理後システム制御回路５０は、ステップＳ１１６に進む。
【００４５】
ステップＳ１１６において、システム制御回路５０は、撮像した画像データを逐次表示するスルー表示状態に設定する。スルー表示状態においては、撮像素子１４、Ａ／Ｄ変換器１６、画像処理回路２０、メモリ制御回路２２を介して、画像表示メモリ２４に逐次書き込まれたデータを、メモリ制御回路２２、Ｄ／Ａ変換器２６を介して画像表示部２８により逐次表示する。これにより、電子ファインダー機能を実現する。ステップＳ１１６の処理後、システム制御回路５０はステップＳ１１９（図３を参照のこと）に進む。
【００４６】
次に図３に示すステップＳ１１９においてシステム制御回路５０は、シャッタースイッチＳＷ１（６２）が押されたか否かを判定する。該スイッチが押されていない場合はステップＳ１０３に戻る。また、該スイッチが押されたならば、ステップＳ１２２に進む。
【００４７】
ステップＳ１２２において、システム制御回路５０は、測距処理を行って撮影レンズ１０の焦点を被写体に合わせ、測光処理を行って絞り値及びシャッター時間を決定する。測光処理においては、必要であればフラッシュの設定も行う。この測距・測光処理（ステップＳ１２２）の詳細は図４を用いて後述する。
【００４８】
測距・測光処理（ステップＳ１２２）を終えたならば、システム制御回路５０は、一旦、画像表示部２８をステップＳ１１６と同様のスルー表示状態とし、ステップＳ１２５に進む。
【００４９】
ステップＳ１２５においてシステム制御回路５０は、シャッタースイッチＳＷ２（６４）が押されたか否かを判定する。該スイッチが押されていない場合は、ステップＳ１２６に進み、シャッタースイッチＳＷ１（６２）が押されているか否かを判定する。ステップＳ１２６で押されていない場合は、システム制御回路５０はステップＳ１０３に戻る。一方、ステップＳ１２５でシャッタースイッチＳＷ２（６４）が押されたならば、システム制御回路５０は、ステップＳ１２７に進む。
【００５０】
ステップＳ１２７においてシステム制御回路５０は、撮影モード（通常撮影モード又は画素加算撮影モード）の設定状態を確認して、メモリ配置・量子化ビット数を決定する。ここで決定するメモリ配置・量子化ビット数についての詳細は図８、９等を用いて後述する。メモリ配置切り替え処理を終えたならば、システム制御回路５０はステップＳ１２９に進む。
【００５１】
ステップＳ１２９においてシステム制御回路５０は、撮影処理を行う。具体的には、次のような処理を行う。撮像素子１４、Ａ／Ｄ変換器１６、画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器から直接メモリ制御回路２２を介して、撮影した画像データをメモリ３０に書き込む露光処理を行う。メモリ制御回路２２、必要に応じて画像処理回路２０を用いて、メモリ３０に書き込まれた画像データを読み出して各種処理を行う現像処理を行う。このような撮影処理（ステップＳ１２９）の詳細は図５を用いて後述する。撮影処理（ステップＳ１２９）を終えたならば、システム制御回路５０はステップＳ１３４に進む。
【００５２】
ステップＳ１３４においてシステム制御回路５０は、記録処理を行う。具体的には、次のような処理を行う。メモリ３０に書き込まれた撮影画像データを読み出す。メモリ制御回路２２そして必要に応じて画像処理回路２０を用いて各種画像処理を、また圧縮・伸長回路３２を用いて、設定したモードに応じた画像圧縮処理を行う。そして記録媒体２００或いは２１０へ画像データの書き込みを行う。この記録処理（ステップＳ１３４）の詳細は図６を用いて後述する。記録処理（ステップＳ１３４）を終えたならば、システム制御回路５０はステップＳ１３５に進む。
【００５３】
ステップＳ１３５においてシステム制御回路５０は、シャッタースイッチＳＷ２（６４）が押されているか否かを判定する。押されていない場合はステップＳ１０３に進む。一方、押されていたならばステップＳ１３６に進み、システム制御回路５０は連写フラグが設定されているか否かを判定する。ここで連写フラグが設定されていた場合はステップＳ１２９に進み、設定されていない場合はステップＳ１３５に進む。
【００５４】
（測距・測光処理）
図４は、図３のステップＳ１２２における測距・測光処理の詳細を説明するフローチャートである。以下、当該処理について説明する。
【００５５】
ステップＳ２０１においてシステム制御回路５０は、撮像素子１４から電荷信号を読み出し、Ａ／Ｄ変換器１６を介して画像処理回路２０に撮影画像データを逐次読み込む。この逐次読み込まれた画像データを用いて、画像処理回路２０はＴＴＬ方式のＡＥ処理、ＥＦ処理、ＡＦ処理に用いる所定の演算を行う。なお、ここでの各処理は、撮影した全画素数のうちの必要に応じた特定の部分を必要個所分切り取って抽出し、演算に用いている。これにより、ＴＴＬ方式のＡＥ、ＥＦ、ＡＷＢ、ＡＦの各処理において、中央重点モード、平均モード、評価モードの各モード等の異なるモード毎に最適な演算を行うことが可能となる。
【００５６】
次にステップＳ２０２においてシステム制御回路５０は、画像処理回路２０での演算結果を用いて、露出（ＡＥ）が適正かどうかを判断する。適正でないと判断した場合は、システム制御回路５０はステップＳ２０３に進み、露光制御手段４０を用いてＡＥ制御を行う。
【００５７】
次にステップＳ２０４においてシステム制御回路５０は、ＡＥ制御で得られた測定データを用いて、フラッシュが必要か否かを判断する。フラッシュが必要ならば、システム制御回路５０はステップＳ２０５に進み、フラッシュフラグをセットし、フラッシュ４８を充電し、ステップＳ２０１に戻る。また、ステップＳ２０４でフラッシュを不要と判断した場合は、ステップＳ２０１に戻る。
【００５８】
また、ステップＳ２０２で露出（ＡＥ）が適正と判断したならば、システム制御回路５０は、ステップＳ２０６に進む。この際、測定データ及び／又は設定パラメータをシステム制御回路５０の内部メモリ或いはメモリ５２に記憶する。
【００５９】
ステップＳ２０６においてシステム制御回路５０は、画像処理回路２０での演算結果及びＡＥ制御で得られた測定データを用いて、ホワイトバランス（ＡＷＢ）が適正がどうかを判断する。ここで適正でないと判断した場合、システム制御回路５０はステップＳ２０７に進み、画像処理回路２０を用いて色処理のパラメータを調節してＡＷＢ制御を行って、その後ステップＳ２０１に戻る。ホワイトバランス（ＡＷＢ）を適正と判断した場合、システム制御回路５０はステップＳ２０８に進み、測定データ及び／又は設定パラメータをシステム制御回路５０の内部メモリ或いはメモリ５２に記憶しステップＳ２０８に進む。
【００６０】
ステップＳ２０８においてシステム制御回路５０は、ＡＥ制御及びＡＷＢ制御で得られた測定データを用いて、測距（ＡＦ）が合焦となったかどうかを判断する。測距が合焦と判断できない場合、システム制御回路５０はステップＳ２０９に進み、測距制御手段４２を用いてＡＦ制御を行って、その後ステップＳ２０１に戻る。一方、測距が合焦と判断した場合、システム制御回路５０は、測定データ及び／又は設定パラメータをシステム制御回路５０の内部メモリ或いはメモリ５２に記憶し、測距・測光処理を終了する。
【００６１】
（撮影処理）
図５は、図３のステップＳ１２９における撮影処理の詳細を説明するフローチャートを示す。以下、当該処理について説明する。
【００６２】
ステップＳ３０１においてシステム制御回路５０は、システム制御回路５０の内部メモリ或いはメモリ５２に記憶される測光データに従い、露光制御手段４０によって、絞り機能を有するシャッター１２を絞り値に応じて開放する。続いてステップＳ３０２において、システム制御回路５０は、撮像素子１４に対する露光を開始する。
【００６３】
次にステップＳ３０３においてシステム制御回路５０は、フラッシュフラグによりフラッシュ４８が必要か否かを判断する。ここでフラッシュ４８が必要な場合はステップＳ３０４においてシステム制御回路５０は、フラッシュを発光させ、その後ステップＳ３０５に進む。また、フラッシュ４８が不要な場合、システム制御回路５０は、そのままステップＳ３０５に進む。
【００６４】
ステップＳ３０５においてシステム制御回路５０は、測光データに従って撮像素子１４の露光終了を判断する。ここで終了と判断した場合、システム制御回路５０はステップＳ３０６に進み、シャッター１２を閉じて、撮像素子１４から電荷信号を読み出し、ステップＳ３０７に進む。
【００６５】
ステップＳ３０７において、システム制御回路５０は、撮影モードの設定状態を調べ、撮影モードが画素加算撮影モード又は通常撮影モードのいずれかに設定されているかを確認する。画素加算撮影モードが設定されていることを確認したならばステップＳ３１０に進み、設定されていない場合（通常撮影モードの設定の場合）はステップＳ３１２に進む。
【００６６】
ステップＳ３１０においてシステム制御回路５０は、上記ステップＳ１２７で決定したメモリ配置及び量子化ビット数に従い、詳細は後述するが通常撮影モードよりも多い量子化ビット数で、画像データをパッキング（パッキング処理）せずにメモリに書き込む。続いてステップＳ３１１においてシステム制御回路５０は、画素加算処理を行う。ステップＳ３１１の画素加算処理については、図１０を用いて後述する。なお、ステップＳ３１０の処理は、本発明でいうパッキング手段の一処理例に対応する。
【００６７】
またステップＳ３１２においてシステム制御回路５０は、上記ステップＳ１２７で決定したメモリ配置及び量子化ビット数に従い、通常どおりの量子化ビット数で、画像データをパッキング（パッキング処理）してメモリに書き込む。
【００６８】
ステップＳ３１１又はステップＳ３１２の処理を終えたならば、ステップＳ３１３においてシステム制御回路５０は、設定された撮影モードに応じて、色処理を順次行った後、メモリ３０に処理を終えた画像データを書き込む。一連の処理を終えたならば、撮影処理を終了する。
【００６９】
（記録処理）
図６は、図３のステップＳ１３４における記録処理の詳細を説明するフローチャートである。以下、当該処理について説明する。
【００７０】
ステップＳ４０１においてシステム制御回路５０は、メモリ制御回路２２を用いて、メモリ３０に書き込まれた画像データを読み出して、設定したモード（圧縮撮影モード又は非圧縮撮影モード）に応じて画像圧縮処理を圧縮・伸長回路３２により行う。
【００７１】
次にステップＳ４０２においてシステム制御回路５０は、前記ステップＳ３１０やＳ３１２で処理した際の画像データの量子化ビット数を画像ファイルのヘッダに追加して、記録しておく。
【００７２】
次にステップＳ４０３においてシステム制御回路５０は、画像ファイル（圧縮後のデータや圧縮しない場合は非圧縮データ、本発明でいう記録用画像データに対応する）をメモリ３０におけるファイルバッファにコピーする。
【００７３】
次にステップＳ４０４においてシステム制御回路５０は、インタフェース９０或いは９４、コネクタ９２或いは９６を介して、メモリカードやコンパクトフラッシュカード等の記録媒体２００或いは２１０へ画像データの書き込みを行う。記録媒体２００等への書き込みが終わったならば、記録処理を終了する。
【００７４】
なお、以上の処理においては、画像ファイルに量子化ビット数を書き込み記録するようにしている。これにより、非圧縮撮影モードで撮影した場合に、その後に画像処理を行うシステムが画像を読み出す際の量子化ビット数を画像ファイルから確認して、画像処理を行うことが可能となる。
【００７５】
また、以上の処理においては、バッファ中には撮影毎に画像ファイルをメモリ３０におけるファイルバッファに順次コピーしていくので、記録媒体２００の記録速度が遅い場合にはメモリ３０における画像バッファが空くまで時間がかかることがある。そのためステップＳ４０３で画像データをファイルバッファにコピーした際には、画像バッファの残容量をシステム制御回路５０が確認して、表示部５４に残容量がどの程度残っているかを図７のように表示（バッファ残容量表示７０１）するようにする。なお、この処理は本発明でいう表示制御手段の一処理例に対応する。
【００７６】
＜パッキングの有無によるメモリ配置＞
次に図８はステップＳ１２７で決定するメモリ配置・量子化ビット数を説明する図あり、画像データをパッキングする場合（ステップＳ３１２）とパッキングしない場合（ステップＳ３１１）とで変更するメモリ配置・量子化ビット数の一例を説明する図である。
【００７７】
図８（ａ）は、パッキングする場合のメモリ配置を示しており、メモリ境界が１６ビット(１ワード)で示され、１画素あたりの量子化ビット数は１０ビットになっている。ここでは、０画素目のｐ０はアドレス「０ｘ００」の上位１０ビットに配置して、１画素目のｐ１はアドレス「０ｘ００」の下位６ビットと、アドレス「０ｘ０２」の上位４ビットに配置している。２画素目のｐ２はアドレス「０ｘ０２」のビット２〜１２の１０ビットに配置して、３画素目のｐ３はアドレス「０ｘ００」の下位２ビットとアドレス「０ｘ０４」の上位８ビットに配置している。４画素目ｐ４から７画素目のｐ７も図のようにパッキングされ、図中で示すように無駄のないメモリ配置を行っている。
【００７８】
図８（ｂ）は、パッキングしない場合のメモリ配置を示しており、１ワードに画像データの１画素あたりのデータを書き込むようにし、更に１画素あたりの量子化ビット数を１０ビットから１４ビットとし、パッキングする場合（通常撮影）よりも増やしている。このようにすることで、画素加算時に１画素あたりのレベルが小さくなり階調低下を招くことなく、加算による感度アップを実現することができる。また下位２ビットには「０」を入れてある。これは、図１０で後述する画素加算が４画素加算なので、４画素加算したときにオーバーフローしないよう、下位２ビットに「０」を埋めるようにしている。
【００７９】
図９は、図８のパッキングする場合としない場合とでメモリ配置を変えた場合のメモリ３０のバッファの状況を示す図である。本実施の形態において、メモリ３０は、システム制御回路５０の作業領域、画像データを一時書き込みする書き込み領域（画像バッファ）、記録媒体２００等にデータを記録する際に一時書き込みする領域（ファイルバッファ）として用いられる。そして、メモリ３０は、通常撮影モードでは、本図に参照されるように画像バッファ９０１をファイルバッファ９０２よりも小さくとるようにする。一方、画素加算撮影モードには、画像バッファ９０３を通常撮影時より大きく取り、それに伴いファイルバッファ９０４を小さくするようにしている。これは画素加算撮影モードはパッキングを行わないためであるが、画素加算時には記録画素数が少なくなるので、画像ファイルのファイルサイズも小さくなり、ファイルバッファが小さくなっても問題はない。
【００８０】
＜画素加算処理＞
次に図１０は、図５のステップＳ３１１の画素加算処理の加算方法を説明するための図である。画素加算は図１０に参照されるように近傍の同色画素同士で加算を行うことでなされ、本図では４画素加算の様子を説明する。なお、この例において撮像素子１４は、ベイヤー型の原色フィルタを用いている。
【００８１】
本図において左角に位置する緑フィルタに対応する「Ｇａ００」の画素を例にとると、「Ｇａ００」に書き込まれる値は、「Ｇａ００」の出力に、「Ｇａ０１」の出力と、「Ｇａ０２」の出力と、「Ｇａ０３」の出力とを加算した値となる。即ち、Ｇａ００＝Ｇａ００＋Ｇａ０１＋Ｇａ０２＋Ｇａ０３である。
また、「Ｇａ００」の隣に位置する赤フィルタに対応する「Ｒ００」の画素を例にとると、「Ｒ００」に書き込まれる値は、「Ｒ００」の出力に、「Ｒ０１」の出力と、「Ｒ１１」の出力と、「Ｒ１０」の出力とを加算した値となる。即ち、Ｒ００＝Ｒ００＋Ｒ０１＋Ｒ１１＋Ｒ１０である。
また、「Ｇａ００」の下に位置する青フィルタに対応する「Ｂ００」の画素を例にとると、「Ｂ００」に書き込まれる値は、「Ｂ００」の出力に、「Ｂ０１」の出力と、「Ｂ１１」の出力と、「Ｂ１０」の出力とを加算した値となる。即ち、Ｂ００＝Ｂ００＋Ｂ０１＋Ｂ１１＋Ｂ１０である。
また、「Ｇａ００」の斜方に位置するもう一つの緑フィルタに対応する「Ｇｂ００」の画素を例にとると、「Ｇｂ００」に書き込まれる値は、「Ｇｂ００」の出力に、「Ｇｂ０１」の出力と、「Ｇｂ１１」の出力と、「Ｇｂ１０」の出力とを加算した値となる。即ち、Ｇｂ００＝Ｇｂ００＋Ｇｂ０１＋Ｇｂ１１＋Ｇｂ１０である。
【００８２】
このように、各画素において近傍の他の画素の加算を行うことで、本実施の形態に係る画素加算処理は行われる。このような画素加算処理をハードウェア上で行う場合の流れを上記画素「Ｇａ００」を例にとり、図１１を参照して説明する。
【００８３】
まず図１１（ａ）では、「Ｇａ００」と「Ｇａ０１」をＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｒｍｏｒｙ Ａｃｃｅｓｓ)転送で読み出し、加算回路を通した加算結果を、ＤＭＡで「Ｇａ００」に書き戻す。この時点では２画素加算になる。
次に図１１（ｂ）では、上記で書き戻した「Ｇａ００」と「Ｇａ１０」をＤＭＡ転送で読み出し、加算回路を通した加算結果を、ＤＭＡで「Ｇａ００」に書き戻す。この時点では３画素加算になる。
次に図１１（ｃ）では、上記で更に書き戻した「Ｇａ００」と「Ｇａ１１」をＤＭＡ転送で読み出し、加算回路を通した加算結果を、ＤＭＡで「Ｇａ００」に書き戻す。そして最終的に４画素加算の画素を生成できる。
【００８４】
即ち、本実施の形態では、画像データをパッキングしないことで、上記のような画素加算処理をハードウェア上で高速に行うことができる。つまり画像データがパッキングされた画像データでは、画素加算しようとするデータをメモリ境界をまたいで読み出さなければならないため、所望のデータを高速に読み出すことができない場合がある。一方、本実施の形態では、パッキングせずに各画素ごとに１ワードを割り当てているため、メモリ境界をまたいで読み出すことはない。そのため、高速で所望のデータを読み出すことができ、画素の加算及び画像の生成を高速にできる。なお、本実施の形態では、画素加算を、画素加算の対象となる画素に対して３つの所定の位置にある画素を加算するようにして行っているが、加算する画像及びその位置は、上記説明に限定されない。また、画素加算を行った後の画像データについてはパッキング処理して書き込むようにしてもよい。
【００８５】
以上、本実施の形態では、通常撮影モードでは画像データをパッキングしてメモリに書き込み、画素加算撮影モードでは画像データをパッキングせずに、即ちメモリ境界をまたがらないようにメモリに書き込むようにした。これにより、画素加算において、メモリ境界をまたいで画素加算に必要なデータを読み出すことがないため、高速に画素加算処理を行うことができる。また、画素加算時には、画像データの１画素あたりの量子化ビット数を通常撮影時の量子化ビット数よりも増やしている。このようにすることで、画素加算時に１画素あたりのレベルが小さくなり階調低下を招くことなく、加算による感度アップ（画質向上）を実現することができる。また、また量子化ビット数における下位ビットには空領域、即ち「０」を入れておくことで画素加算したときにオーバーフローしないようにすることができる。また、画素加算撮影モードには画像データをパッキングせずに、即ちメモリ境界をまたがらないようにメモリに書き込む場合、ファイルバッファが小さくことになるが、画素加算時には記録画素数が少なくなる。そのため、画像ファイルのファイルサイズも小さくなり、ファイルバッファが小さくなっても問題はない。
【００８６】
また本実施の形態では、画像ファイルに量子化ビット数を書き込むようにしている。これにより、非圧縮撮影モードで撮影した場合に、その後に画像処理を行うシステムが画像データを読み出す際の量子化ビット数を画像ファイルから確認して、画像処理を行うことが可能となる。
【００８７】
また本実施の形態では、画像データをファイルバッファにコピーした際に、画像バッファの残容量をシステム制御回路５０が確認して、表示部５４に、残容量がどの程度残っているかを表示するようにしている。これにより、ユーザは撮影モードによりファイルバッファ量が異なることを常に確認できる。
【００８８】
（第２の実施の形態）
次に、本発明の第２の実施の形態について説明する。本実施の形態では、画素加算処理を第１の実施の形態とは異なるものとする。第１の実施の形態では、画素加算モードを選択した場合にパッキングせずに画像データをメモリに書き込んでいたが、本実施の形態では、パッキングしてメモリに書き込む。故に、画像を置くバッファメモリのサイズが変わらない或いは抑制できるため、ファイルバッファのサイズを変更或いは大きく変更する必要はない。なお、画像処理装置の構成等は第１の実施の形態と同様であるため、画素加算処理以外については説明を省略する。
【００８９】
図１２〜図１４を用いて、本実施の形態に係る画素加算処理について説明する。
【００９０】
図１２は、パッキングしてメモリに置かれた画像データを示しており、１画素あたり１０ｂｉｔで量子化された画像データを示している。図１２に示す画像データでは、各画素データが撮像素子上のベイヤー型の原色フィルタに対応して連続的にメモリにアライメントされている。また、図１２の紙面左端に配置される画素データは、画像の一端側に並ぶ（つまり、画像を正面視した場合に左端に並ぶ）画素に対応している。また、図１２に示す画像データでは、少なくとも紙面左端に配置される画素データがメモリの１ワードの読み出し開始位置（アドレスで指定される始めのビット）から配置されるようになっている。
【００９１】
以下、図１２に示した画像データのＲ画素（「Ｒ００」，「Ｒ０１」，「Ｒ１０」，「Ｒ１１」）に着目して、画素加算処理の説明を行う。なお、「Ｒ００」，「Ｒ０１」，「Ｒ１０」，「Ｒ１１」の配置関係は、「Ｒ００」と「Ｒ０１」及び「Ｒ１０」と「Ｒ１１」が画像の水平方向において隣り合う関係である。また、「Ｒ００」と「Ｒ１０」及び「Ｒ０１」と「Ｒ１１」が画像の垂直方向において隣り合う関係である。また、「Ｒ００」と「Ｒ１０」は、メモリの１ワードの読み出し開始位置から配置されるようになっており、メモリアドレスを選択して特定できるようになっている。
【００９２】
まず垂直方向の画素加算処理を行うため、メモリから「Ｒ００」の画素を先頭にして水平方向に沿う画素データをライン単位で読み出し、それと同時に加算する画素である「Ｒ１０」の画素を先頭にして水平方向に沿う画素データをライン単位で読み出す。ここで本実施の形態では、「Ｒ００」及び「Ｒ１０」の画素データのメモリの配置位置が、１ワードの開始位置から配置されるようになっており、ビット位置が一致する関係になっている。また、「Ｒ００」に続く「Ｇａ００」及び「Ｇａ１０」等は同じ態様でパッキングされているため、ビット位置が一致する関係になっている。
【００９３】
そして、「Ｒ００」と「Ｒ１０」とで、垂直方向における２画素加算処理を行い、加算結果を、図１２の「垂直加算↓」と書かれた下に書かれているようにパッキングせずに、「Ｒ００＋Ｒ１０」の画素データとしてメモリに書き込む。すなわち、１６ビット(１ワード)の中に量子化ビット数１０ビットの画素データを書き込む。そして、このような垂直方向２画素の加算を、読み出したライン上に並ぶ画素単位で順次行っていく。ここで順次読み出された画素データはビット位置が対応しており、同一のビット長を有しているため、容易に２画素加算がなされる。
【００９４】
この垂直加算が画像データの画素の水平方向に伸びる全ラインに対して行われた後に、今度は水平方向の画素加算を行う。ここでは、同色の画素を加算するために、「Ｒ００＋Ｒ１０」と「Ｒ０１＋Ｒ１１」の画素データを同時に読み出して、図１０の「水平加算↓」と書かれた下に書かれているように、加算した結果をメモリにパッキングして書き戻す。これも先ほどのように全画素に対して行うことで、水平方向において隣り合う２画素の加算を行うことができ、結果として４画素加算がなされる。また。この際は、画素データはパッキングされていないため、メモリ境界のメモリアドレス（読み出し開始位置）を基に所望の画素データを画素ごとに容易に読み出すことができる。
【００９５】
このようにして本実施の形態では、水平・垂直方向に合計で４画素の加算が行われることになる。最後にメモリに書き込むときにパッキングしているのは、メモリの読み出し効率を上げるためで、後の現像処理を高速に行うことができるからである。なお、図１２において示した矢印は、画素ごとの垂直加算、水平加算の流れを示している。
【００９６】
図１３は、図１２で説明した画素加算処理のデータフローを示した図である。最初に垂直方向の加算のため、パッキングされた「Ｒ００」と「Ｒ１０」を含むライン単位の画素データをＤＭＡ転送で読み出して加算し、加算後パッキングせずにメモリに書き込む（「Ｒ００＋Ｒ１０」；２画素加算）。同様にパッキングされた「Ｒ１０」と「Ｒ１１」も加算して、パッキングせずにメモリに書き込む（「Ｒ０１＋Ｒ１１」；２画素加算）。
【００９７】
次に水平方向の加算のため、パッキングされていない「Ｒ００＋Ｒ１０」と「Ｒ０１＋Ｒ１１」をメモリからＤＭＡ転送で読み出して、加算した結果「Ｒ００＋Ｒ１０＋Ｒ０１＋Ｒ１１」をパッキングしてメモリに書き込む。このようにして、画像の水平方向において順次読み出された画素データを加算して、加算した後はパッキングしてメモリに書き込む。
【００９８】
図１４は、画像バッファのメモリ配置を示した図である。ここでは、１０ｂｉｔで量子化された画像データを例としている。撮影された画像データはパッキングされてメモリに書き込まれ、まず垂直２画素加算をしたのでサイズが１／２になるが、パッキングせずに画像を置くので１６／１０のサイズになり、合わせて、（１／２）×（１６／１０）＝０．８倍の画像サイズとなる。これは、元々の画像サイズより小さくなるため、画像バッファを通常より多く取る必要はない。
【００９９】
さらに水平２画素加算を行うことで１／２とされ、今回はパッキングするので１０／１６とされるので、さらに、（１／２）×（１０／１６）＝０．３１２５倍の画像サイズとなる。そのため、水平・垂直合わせると、０．８×０．３１２５＝０．２５倍の画像サイズとなる。
【０１００】
以上のように本実施の形態では、画素加算モードを選択された場合に、撮影した画像の画像データをパッキングしてメモリに書き込むが、パッキングされた画像データを所定の手順で読み出して、画素の加算を行うようにしている。すなわち、まず、垂直方向の画素の加算を行うために、加算を行う垂直方向に並ぶ同色画素を画像の水平方向に沿ったライン単位で順次読み出して加算を行い、加算した結果を画素ごとにパッキングせずにメモリに書き込む。次に水平方向の画素の加算を行うために、パッキングせずにメモリに書き込まれた加算された同色画素を順次読み出して加算を行い、加算した結果をパッキングしてメモリに書き込む。
このような構成により、本実施の形態では、撮影された画像データは当初パッキングされてバッファメモリに置かれるため、バッファメモリのサイズが変わらない或いは抑制でき、ファイルバッファのサイズを変更或いは大きく変更する必要がない。そしてパッキングされた画像データにおいて画像の水平方向に沿ったライン単位で画素を読み出し、垂直方向に並ぶ同色画素を順次加算するため、パッキングされた状態であっても容易に画素加算を行うことができる。この処理は、ＤＭＡ転送で行うことができるため回路等の追加の必要がない。
【０１０１】
なお、本発明を実現するために、上述した実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記憶媒体を用いても良い。この場合には記憶媒体をシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによって本発明の目的が達成される。
【０１０２】
この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１０３】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【０１０４】
また、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（基本システム或いはオペレーティングシステム）等が実際の処理の一部又は全部を行う場合も含まれることは言うまでもない。
【０１０５】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれてもよい。この場合には、書き込まれたプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行ってもよい。
【符号の説明】
【０１０６】
１４ 撮像素子
２２ メモリ制御回路
２４ 画像表示メモリ
２８ 画像表示部
３０ メモリ
５２ メモリ
６６ 撮影モード設定スイッチ
７０ 操作部
１００ 画像処理装置
２００ 記録媒体
２１０ 記録媒体部
【技術分野】
【０００１】
本発明は、撮影により得られた静止画や動画像のデータを記録する画像処理装置、方法、撮像装置及びプログラムに関する。
【背景技術】
【０００２】
近年、家庭用ビデオカメラやデジタルスチルカメラ等の撮像機器が一般に普及しており、静止画・動画を記録・再生する機能を有している。これらのカメラは、撮影時に感度設定を行う機能を有しており、撮影シーンに応じて感度設定を行うことで、ユーザの望むような画像を撮影することができる。
【０００３】
この感度設定は撮像手段のゲイン設定を調整することで実現していることが多いが、ゲインを必要以上に上げてしまうと画像にランダムノイズが発生してしまい、画像の品質が劣化してしまうことがある。それに対して、ゲインを上げずに感度を高める方法としては、撮影後に画素の加算を行って感度を高める方法が特許文献１に開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−３０８０７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載された方法では、専用の画像処理回路を用意しなくてはならず、コストアップを招いてしまう。またソフトウェアにより画素加算を実行する方式もあるが、通常画像データはパッキング回路によってパッキングして画像バッファに書き込まれるため、画素加算を実行する際にパッキングの解除を行ってやる必要があり、処理速度の大幅な低下を招いてしまう。
【０００６】
そこで本発明では、追加の回路等を必要とせず高速に画素加算処理を行うことができるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、撮影により得られた画像データを記録媒体に記録する画像処理装置であって、撮影モードとして通常撮影モードが設定された場合に画像データをパッキング処理してメモリに書き込み、画素加算撮影モードが設定された場合に画像データをパッキング処理せずにメモリに書き込むパッキング手段と、前記パッキング処理せずにメモリに書き込んだ画像データに対して画素加算処理を行う画素加算手段とを有することを特徴とする。
また、本発明の撮像装置は、上記に記載の画像処理装置と、光学像を電気信号に変換する撮像手段と、撮影モードとして前記通常撮影モード又は前記画素加算撮影モードを設定する撮影モード設定手段とを備えたことを特徴とする。
また、本発明の画像処理方法は、撮影により得られた画像データを記録媒体に記録する画像処理方法であって、撮影モードとして通常撮影モードが設定された場合に画像データをパッキング処理してメモリに書き込み、画素加算撮影モードが設定された場合に画像データをパッキング処理せずにメモリに書き込むステップと、前記パッキング処理せずにメモリに書き込まれた画像データに対して画素加算処理を行うステップとを有することを特徴とする。
また、本発明のプログラムは、撮影により得られた画像データを記録媒体に記録する画像処理をコンピュータに実行させるためのプログラムであって、撮影モードとして通常撮影モードが設定された場合に画像データをパッキング処理してメモリに書き込み、画素加算撮影モードが設定された場合に画像データをパッキング処理せずにメモリに書き込むステップと、前記パッキング処理せずにメモリに書き込まれた画像データに対して画素加算処理を行うステップとをコンピュータに実行させるためのプログラムである。
また、本発明の他の画像処理装置は、撮影により得られた画像データを記録媒体に記録する画像処理装置であって、画像データをパッキング処理してメモリに書き込むパッキング手段を有し、撮影モードとして画素加算撮影モードが選択された場合、まず前記撮影により得られた前記画像データを前記パッキング手段にてパッキング処理してメモリに書き込み、次に前記メモリに書き込まれた画像データについての画素を、画像の水平方向に沿ったライン単位で読み出し、垂直方向の同色画素を加算して、その結果を前記パッキング手段を使用せずに前記メモリに書き込み、次に前記メモリからパッキング処理されていない前記垂直方向において同色画素が加算された画像データの画素を画素ごとに読み出し、水平方向の同色画素を加算して、その結果を前記メモリに書き込むことを特徴とする。
また、本発明の他の画像処理方法は、撮影により得られた画像データを記録媒体に記録する画像処理方法であって、撮影モードとして画素加算撮影モードが選択された場合、前記撮影により得られた前記画像データをパッキング処理してメモリに書き込むステップと、前記メモリに書き込まれた画像データについての画素を、画像の水平方向に沿ったライン単位で読み出し、垂直方向の同色画素を加算して、その結果をパッキング処理せずに前記メモリに書き込むステップと、前記メモリからパッキング処理されていない前記垂直方向において同色画素が加算された画像データの画素を画素ごとに読み出し、水平方向の同色画素を加算して、その結果を前記メモリに書き込むステップとを有することを特徴とする。
また、本発明の他のプログラムは、撮影により得られた画像データを記録媒体に記録する画像処理をコンピュータに実行させるためのプログラムであって、撮影モードとして画素加算撮影モードが選択された場合、前記撮影により得られた前記画像データをパッキング処理してメモリに書き込むステップと、前記メモリに書き込まれた画像データについての画素を、画像の水平方向に沿ったライン単位で読み出し、垂直方向の同色画素を加算して、その結果をパッキング処理せずに前記メモリに書き込むステップと、前記メモリからパッキング処理されていない前記垂直方向において同色画素が加算された画像データの画素を画素ごとに読み出し、水平方向の同色画素を加算して、その結果を前記メモリに書き込むステップとをコンピュータに実行させるためのプログラムである。
【発明の効果】
【０００８】
本発明によれば、追加の回路等を必要とせずに高速に画素加算処理を行うことが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施の形態に係る画像処理装置の構成を示すブロック図である。
【図２】本発明の実施の形態に係る画像処理装置の主ルーチンを説明するフローチャートである。
【図３】本発明の実施の形態に係る画像処理装置の主ルーチンを説明するフローチャートである。
【図４】本発明の実施の形態に係る画像処理装置の測距・測光処理を説明するフローチャートである。
【図５】本発明の実施の形態に係る画像処理装置の撮影処理を説明するフローチャートである。
【図６】本発明の実施の形態に係る画像処理装置の記録処理を説明するフローチャートである。
【図７】本発明の実施の形態に係る画像処理装置において表示するバッファ残容量表示の一例を示す図である。
【図８】画像データをパッキングした場合のメモリ配置をパッキングしない場合のメモリ配置を説明する図である。
【図９】パッキングした場合としない場合とでメモリ配置を変えた場合のバッファの状況を示す図である。
【図１０】本発明の第１の実施の形態に係る画像処理装置において行う画素加算処理を説明する図である。
【図１１】本発明の第１の実施の形態に係る画像処理装置において行う画素加算処理を説明する図である。
【図１２】本発明の第２の実施の形態に係る画像処理装置において行う画素加算処理を説明する図である。
【図１３】本発明の第２の実施の形態に係る画像処理装置において行う画素加算処理を説明する図である。
【図１４】本発明の第２の実施の形態に係る画像処理装置において行う画素加算処理時のメモリ配置を示した図である。
【発明を実施するための形態】
【００１０】
（第１の実施の形態）
以下、図面を参照して本発明の第１の実施の形態を説明する。図１は、本発明の実施の形態に係る画像処理装置、典型的には撮像装置の構成を示す図である。
【００１１】
＜画像処理装置の構成＞
図１において、１００は画像処理装置である。１０は撮影レンズ、１２は絞り機能を備えるシャッター、１４は光学像を電気信号に変換する撮像素子、１６は撮像素子１４のアナログ信号出力をディジタル信号に変換するＡ／Ｄ変換器である。
【００１２】
１８はタイミング発生回路であり、撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にクロック信号や制御信号を供給する。タイミング発生回路１８はメモリ制御回路２２及びシステム制御回路５０により制御される。
【００１３】
２０は画像処理回路であり、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。画像処理回路２０はまた、撮像した画像データを用いて所定の演算処理を行っており、得られた演算結果に基づいてシステム制御回路５０が露光制御手段４０、測距制御手段４２に対して制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。更に、画像処理回路２０は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。
【００１４】
２２はメモリ制御回路であり、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６のデータは、画像処理回路２０、メモリ制御回路２２を介して、或いは直接メモリ制御回路２２を介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。
【００１５】
２４は画像表示メモリ、２６はＤ／Ａ変換器、２８はＴＦＴ ＬＣＤ等から成る画像表示部であり、画像表示メモリ２４に書き込まれた表示用の画像データは、Ｄ／Ａ変換器２６を介して画像表示部２８により表示される。画像表示部２８を用いて撮像した画像データを逐次表示すれば、電子ファインダー機能を実現することが可能である。画像表示部２８はまた、システム制御回路５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には画像処理装置１００の電力消費を大幅に低減することができる。
【００１６】
３０は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連射撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０はシステム制御回路５０の作業領域としても使用することが可能である。
【００１７】
３２は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長回路であり、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。
【００１８】
４０は絞り機能を備えるシャッター１２を制御する露光制御手段であり、フラッシュ４８と連携することによりフラッシュ調光機能も有するものである。４２は撮影レンズ１０のフォーカシングを制御する測距制御手段であり、４４は撮影レンズ１０のズーミングを制御するズーム制御手段である。４６はバリアである保護手段１０２の動作を制御するバリア制御手段である。４８はフラッシュであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。露光制御手段４０、測距制御手段４２はＴＴＬ方式を用いて制御されており、撮像した画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０によって制御される。
【００１９】
５０は画像処理装置１００全体を制御するシステム制御回路であり、５２はシステム制御回路５０の動作用の定数、変数、プログラム等を記憶するメモリである。
【００２０】
５４は表示部であり、システム制御回路５０のプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示したりスピーカー等で音声を発音したりする。表示部５４は、画像処理装置１００の操作部近辺の視認し易い位置に単数或いは複数個所設置され、例えばＬＣＤやＬＥＤ、発音素子等の組み合わせにより構成されている。以下、表示部５４の詳細説明をする。
【００２１】
表示部５４は、その一部の機能が光学ファインダー１０４内に設置されている。表示部５４の表示内容のうち、ＬＣＤ等に表示するものとしては、シングルショット／連写撮影表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタースピード表示等がある。また、絞り値表示、露出補正表示、フラッシュ表示、赤目緩和表示、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示等がある。更には、記録媒体２００及び２１０の着脱状態表示、通信Ｉ／Ｆ動作表示、日付・時刻表示等がある。
【００２２】
また、表示部５４の表示内容のうち、光学ファインダー１０４内に表示するものとしては、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示等がある。
【００２３】
５６は電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。
【００２４】
６０、６２、６４、６６及び７０は、システム制御回路５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。ここで、これらの操作手段の具体的な説明を行う。
【００２５】
６０はモードダイアルスイッチであり、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを切り替え設定することができる。
【００２６】
６２はシャッタースイッチＳＷ１であり、不図示のシャッターボタンの操作途中でＯＮとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作開始を指示する。６４はシャッタースイッチＳＷ２であり、不図示のシャッターボタンの操作完了でＯＮとなり、撮影に係る一連の処理の動作開始を指示する。即ち、まず撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に画像データを書き込む露光処理を指示する。次に、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理を指示する。そして、メモリ３０から画像データを読み出し、圧縮・伸長回路３２で圧縮を行い、記録媒体２００或いは２１０に画像データを書き込む記録処理を指示する。
【００２７】
６６は撮影モード（記録モード）設定スイッチであり、本発明の主眼となる処理（画素加算撮影モード）はこれを切り替えることにより実行される。なお、撮影モード設定スイッチ６６は、本発明でいう撮影モード設定手段の一構成例に対応する。
【００２８】
７０は各種ボタンやタッチパネル等からなる操作部である。操作部７０には、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン等が含まれる。また、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等も含まれる。
【００２９】
８０は電源制御手段であり、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成される。電源制御手段８０は、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。
【００３０】
８２、８４はコネクタであり、８６はアルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる電源である。
【００３１】
９０、９４はメモリカードやハードディスク等の記録媒体とのインタフェースであり、９２、９６はメモリカードやハードディスク等の記録媒体と接続を行うコネクタである。９８は記録媒体着脱検知手段であり、コネクタ９２及び／又は９６に記録媒体２００及び／又は２１０が装着されているか否かを検知する。
【００３２】
２００はメモリカードやハードディスク等の記録媒体である。記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、画像処理装置１００とのインタフェース２０４、及び画像処理装置１００と接続を行うコネクタ２０６を備えている。２１０はメモリカードやハードディスク等の記録媒体である。記録媒体２１０は、半導体メモリや磁気ディスク等から構成される記録部２１２、画像処理装置１００とのインタフェース２１４、及び画像処理装置１００と接続を行うコネクタ２１６を備えている。
【００３３】
なお、本実施の形態では記録媒体２００等を取り付けるインタフェース及びコネクタを２系統持つものとして説明しているが、記録媒体を取り付けるインタフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインタフェース及びコネクタを組み合わせて備える構成としても構わない。インタフェース及びコネクタとしては、例えばＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カードの規格に準拠したものを用いて構成して構わない。
【００３４】
インタフェース９０及び９４、そしてコネクタ９２及び９６をＰＣＭＣＩＡカードやＣＦカード等の規格に準拠したものを用いて構成した場合、ＬＡＮカードやモデムカードを接続可能で、他のコンピュータ等とのデータの転送が可能となる。なお、ＬＡＮカードやモデムカードの他に、ＵＳＢカード、ＩＥＥＥ１３９４カード、Ｐ１２８４カード、ＳＣＳＩカード、ＰＨＳの通信カード等の各種通信カードも接続する可能である。この場合も、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。
【００３５】
１０２は保護手段であり、画像処理装置１００の撮影レンズ１０を含む撮像部を覆うことにより、撮像部の汚れや破損を防止するバリアである。１０４は光学ファインダーであり、画像表示部２８による電子ファインダー機能を使用すること無しに、光学ファインダー１０４のみを用いて撮影を行うことを可能とする。なお、光学ファインダー１０４内には、表示部５４の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示等が設置されている。
【００３６】
１１０は通信手段であり、ＲＳ２３２Ｃ、ＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信等の各種通信機能を有する。１１２は通信手段１１０により画像処理装置１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。
【００３７】
＜画像処理装置の動作＞
次に画像処理装置１００の動作を説明する。図２及び図３は画像処理装置１００の主ルーチンを説明するフローチャートである。以下、図２及び図３を用いて、画像処理装置１００の動作を説明する。
【００３８】
（主ルーチン）
電池交換等の電源投入により処理は開始され、まずステップＳ１０１においてシステム制御回路５０は、フラグや制御変数等を初期化し、続いてステップＳ１０２において画像表示部２８の画像表示をＯＦＦ状態に初期設定する。
【００３９】
次にステップＳ１０３において、システム制御回路５０は、モードダイアル６０の設定位置を判断する。
【００４０】
ステップＳ１０３でモードダイアル６０が電源ＯＦＦに設定されていたならば、システム制御回路５０はステップＳ１０５に進み終了処理を行う。終了処理には、次のような処理が含まれる。各表示部の表示を終了状態に変更する。保護手段１０２のバリアを閉じて撮像部を保護する。フラグや制御変数等を含む必要なパラメータや設定値、設定モードを不揮発性メモリ５６に記録する。電源制御手段８０により画像表示部２８を含む画像処理装置１００各部の不要な電源を遮断する。このような所定の終了処理を行った後は、システム制御回路５０は、ステップＳ１０３に戻る。
【００４１】
ステップＳ１０３でモードダイアル６０が撮影モードに設定されていたならば、システム制御回路５０はステップＳ１０６に進む。また、モードダイアル６０がその他のモードに設定されていたならば、システム制御回路５０はステップＳ１０４に進み、選択されたモードに応じた処理を実行し、処理を終えたならばステップＳ１０３に戻る。
【００４２】
ステップＳ１０３で撮影モードが設定されていた場合のステップＳ１０６において、システム制御回路５０は、電源制御手段８０により電池等により構成される電源８６の残容量や動作情況が画像処理装置１００の動作に問題があるか否かを判断する。ここで問題があるならば、システム制御回路５０はステップＳ１０８に進み、表示部５４を用いて画像や音声により所定の警告表示を行った後、ステップＳ１０３に戻る。また、電源８６に問題が無いならば、システム制御回路５０はステップＳ１０７に進む。
【００４３】
ステップＳ１０７においてシステム制御回路５０は、記録媒体２００或いは２１０の動作状態が画像処理装置１００の動作、特に記録媒体に対する画像データの記録再生動作に問題があるか否かを判断する。ここで問題があるならば、システム制御回路５０はステップＳ１０８に進み、表示部５４を用いて画像や音声により所定の警告表示を行った後、ステップＳ１０３に戻る。また、記録媒体２００或いは２１０の動作状態に問題が無いならば、システム制御回路５０はステップＳ１０９に進む。
【００４４】
ステップＳ１０９においてシステム制御回路５０は、表示部５４を用いて画像や音声により画像処理装置１００の各種設定状態の表示を行う。なお、画像表示部２８の画像表示がＯＮであったならば、画像表示部２８も用いて画像や音声により画像処理装置１００の各種設定状態の表示を行う。ステップＳ１０９の処理後システム制御回路５０は、ステップＳ１１６に進む。
【００４５】
ステップＳ１１６において、システム制御回路５０は、撮像した画像データを逐次表示するスルー表示状態に設定する。スルー表示状態においては、撮像素子１４、Ａ／Ｄ変換器１６、画像処理回路２０、メモリ制御回路２２を介して、画像表示メモリ２４に逐次書き込まれたデータを、メモリ制御回路２２、Ｄ／Ａ変換器２６を介して画像表示部２８により逐次表示する。これにより、電子ファインダー機能を実現する。ステップＳ１１６の処理後、システム制御回路５０はステップＳ１１９（図３を参照のこと）に進む。
【００４６】
次に図３に示すステップＳ１１９においてシステム制御回路５０は、シャッタースイッチＳＷ１（６２）が押されたか否かを判定する。該スイッチが押されていない場合はステップＳ１０３に戻る。また、該スイッチが押されたならば、ステップＳ１２２に進む。
【００４７】
ステップＳ１２２において、システム制御回路５０は、測距処理を行って撮影レンズ１０の焦点を被写体に合わせ、測光処理を行って絞り値及びシャッター時間を決定する。測光処理においては、必要であればフラッシュの設定も行う。この測距・測光処理（ステップＳ１２２）の詳細は図４を用いて後述する。
【００４８】
測距・測光処理（ステップＳ１２２）を終えたならば、システム制御回路５０は、一旦、画像表示部２８をステップＳ１１６と同様のスルー表示状態とし、ステップＳ１２５に進む。
【００４９】
ステップＳ１２５においてシステム制御回路５０は、シャッタースイッチＳＷ２（６４）が押されたか否かを判定する。該スイッチが押されていない場合は、ステップＳ１２６に進み、シャッタースイッチＳＷ１（６２）が押されているか否かを判定する。ステップＳ１２６で押されていない場合は、システム制御回路５０はステップＳ１０３に戻る。一方、ステップＳ１２５でシャッタースイッチＳＷ２（６４）が押されたならば、システム制御回路５０は、ステップＳ１２７に進む。
【００５０】
ステップＳ１２７においてシステム制御回路５０は、撮影モード（通常撮影モード又は画素加算撮影モード）の設定状態を確認して、メモリ配置・量子化ビット数を決定する。ここで決定するメモリ配置・量子化ビット数についての詳細は図８、９等を用いて後述する。メモリ配置切り替え処理を終えたならば、システム制御回路５０はステップＳ１２９に進む。
【００５１】
ステップＳ１２９においてシステム制御回路５０は、撮影処理を行う。具体的には、次のような処理を行う。撮像素子１４、Ａ／Ｄ変換器１６、画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器から直接メモリ制御回路２２を介して、撮影した画像データをメモリ３０に書き込む露光処理を行う。メモリ制御回路２２、必要に応じて画像処理回路２０を用いて、メモリ３０に書き込まれた画像データを読み出して各種処理を行う現像処理を行う。このような撮影処理（ステップＳ１２９）の詳細は図５を用いて後述する。撮影処理（ステップＳ１２９）を終えたならば、システム制御回路５０はステップＳ１３４に進む。
【００５２】
ステップＳ１３４においてシステム制御回路５０は、記録処理を行う。具体的には、次のような処理を行う。メモリ３０に書き込まれた撮影画像データを読み出す。メモリ制御回路２２そして必要に応じて画像処理回路２０を用いて各種画像処理を、また圧縮・伸長回路３２を用いて、設定したモードに応じた画像圧縮処理を行う。そして記録媒体２００或いは２１０へ画像データの書き込みを行う。この記録処理（ステップＳ１３４）の詳細は図６を用いて後述する。記録処理（ステップＳ１３４）を終えたならば、システム制御回路５０はステップＳ１３５に進む。
【００５３】
ステップＳ１３５においてシステム制御回路５０は、シャッタースイッチＳＷ２（６４）が押されているか否かを判定する。押されていない場合はステップＳ１０３に進む。一方、押されていたならばステップＳ１３６に進み、システム制御回路５０は連写フラグが設定されているか否かを判定する。ここで連写フラグが設定されていた場合はステップＳ１２９に進み、設定されていない場合はステップＳ１３５に進む。
【００５４】
（測距・測光処理）
図４は、図３のステップＳ１２２における測距・測光処理の詳細を説明するフローチャートである。以下、当該処理について説明する。
【００５５】
ステップＳ２０１においてシステム制御回路５０は、撮像素子１４から電荷信号を読み出し、Ａ／Ｄ変換器１６を介して画像処理回路２０に撮影画像データを逐次読み込む。この逐次読み込まれた画像データを用いて、画像処理回路２０はＴＴＬ方式のＡＥ処理、ＥＦ処理、ＡＦ処理に用いる所定の演算を行う。なお、ここでの各処理は、撮影した全画素数のうちの必要に応じた特定の部分を必要個所分切り取って抽出し、演算に用いている。これにより、ＴＴＬ方式のＡＥ、ＥＦ、ＡＷＢ、ＡＦの各処理において、中央重点モード、平均モード、評価モードの各モード等の異なるモード毎に最適な演算を行うことが可能となる。
【００５６】
次にステップＳ２０２においてシステム制御回路５０は、画像処理回路２０での演算結果を用いて、露出（ＡＥ）が適正かどうかを判断する。適正でないと判断した場合は、システム制御回路５０はステップＳ２０３に進み、露光制御手段４０を用いてＡＥ制御を行う。
【００５７】
次にステップＳ２０４においてシステム制御回路５０は、ＡＥ制御で得られた測定データを用いて、フラッシュが必要か否かを判断する。フラッシュが必要ならば、システム制御回路５０はステップＳ２０５に進み、フラッシュフラグをセットし、フラッシュ４８を充電し、ステップＳ２０１に戻る。また、ステップＳ２０４でフラッシュを不要と判断した場合は、ステップＳ２０１に戻る。
【００５８】
また、ステップＳ２０２で露出（ＡＥ）が適正と判断したならば、システム制御回路５０は、ステップＳ２０６に進む。この際、測定データ及び／又は設定パラメータをシステム制御回路５０の内部メモリ或いはメモリ５２に記憶する。
【００５９】
ステップＳ２０６においてシステム制御回路５０は、画像処理回路２０での演算結果及びＡＥ制御で得られた測定データを用いて、ホワイトバランス（ＡＷＢ）が適正がどうかを判断する。ここで適正でないと判断した場合、システム制御回路５０はステップＳ２０７に進み、画像処理回路２０を用いて色処理のパラメータを調節してＡＷＢ制御を行って、その後ステップＳ２０１に戻る。ホワイトバランス（ＡＷＢ）を適正と判断した場合、システム制御回路５０はステップＳ２０８に進み、測定データ及び／又は設定パラメータをシステム制御回路５０の内部メモリ或いはメモリ５２に記憶しステップＳ２０８に進む。
【００６０】
ステップＳ２０８においてシステム制御回路５０は、ＡＥ制御及びＡＷＢ制御で得られた測定データを用いて、測距（ＡＦ）が合焦となったかどうかを判断する。測距が合焦と判断できない場合、システム制御回路５０はステップＳ２０９に進み、測距制御手段４２を用いてＡＦ制御を行って、その後ステップＳ２０１に戻る。一方、測距が合焦と判断した場合、システム制御回路５０は、測定データ及び／又は設定パラメータをシステム制御回路５０の内部メモリ或いはメモリ５２に記憶し、測距・測光処理を終了する。
【００６１】
（撮影処理）
図５は、図３のステップＳ１２９における撮影処理の詳細を説明するフローチャートを示す。以下、当該処理について説明する。
【００６２】
ステップＳ３０１においてシステム制御回路５０は、システム制御回路５０の内部メモリ或いはメモリ５２に記憶される測光データに従い、露光制御手段４０によって、絞り機能を有するシャッター１２を絞り値に応じて開放する。続いてステップＳ３０２において、システム制御回路５０は、撮像素子１４に対する露光を開始する。
【００６３】
次にステップＳ３０３においてシステム制御回路５０は、フラッシュフラグによりフラッシュ４８が必要か否かを判断する。ここでフラッシュ４８が必要な場合はステップＳ３０４においてシステム制御回路５０は、フラッシュを発光させ、その後ステップＳ３０５に進む。また、フラッシュ４８が不要な場合、システム制御回路５０は、そのままステップＳ３０５に進む。
【００６４】
ステップＳ３０５においてシステム制御回路５０は、測光データに従って撮像素子１４の露光終了を判断する。ここで終了と判断した場合、システム制御回路５０はステップＳ３０６に進み、シャッター１２を閉じて、撮像素子１４から電荷信号を読み出し、ステップＳ３０７に進む。
【００６５】
ステップＳ３０７において、システム制御回路５０は、撮影モードの設定状態を調べ、撮影モードが画素加算撮影モード又は通常撮影モードのいずれかに設定されているかを確認する。画素加算撮影モードが設定されていることを確認したならばステップＳ３１０に進み、設定されていない場合（通常撮影モードの設定の場合）はステップＳ３１２に進む。
【００６６】
ステップＳ３１０においてシステム制御回路５０は、上記ステップＳ１２７で決定したメモリ配置及び量子化ビット数に従い、詳細は後述するが通常撮影モードよりも多い量子化ビット数で、画像データをパッキング（パッキング処理）せずにメモリに書き込む。続いてステップＳ３１１においてシステム制御回路５０は、画素加算処理を行う。ステップＳ３１１の画素加算処理については、図１０を用いて後述する。なお、ステップＳ３１０の処理は、本発明でいうパッキング手段の一処理例に対応する。
【００６７】
またステップＳ３１２においてシステム制御回路５０は、上記ステップＳ１２７で決定したメモリ配置及び量子化ビット数に従い、通常どおりの量子化ビット数で、画像データをパッキング（パッキング処理）してメモリに書き込む。
【００６８】
ステップＳ３１１又はステップＳ３１２の処理を終えたならば、ステップＳ３１３においてシステム制御回路５０は、設定された撮影モードに応じて、色処理を順次行った後、メモリ３０に処理を終えた画像データを書き込む。一連の処理を終えたならば、撮影処理を終了する。
【００６９】
（記録処理）
図６は、図３のステップＳ１３４における記録処理の詳細を説明するフローチャートである。以下、当該処理について説明する。
【００７０】
ステップＳ４０１においてシステム制御回路５０は、メモリ制御回路２２を用いて、メモリ３０に書き込まれた画像データを読み出して、設定したモード（圧縮撮影モード又は非圧縮撮影モード）に応じて画像圧縮処理を圧縮・伸長回路３２により行う。
【００７１】
次にステップＳ４０２においてシステム制御回路５０は、前記ステップＳ３１０やＳ３１２で処理した際の画像データの量子化ビット数を画像ファイルのヘッダに追加して、記録しておく。
【００７２】
次にステップＳ４０３においてシステム制御回路５０は、画像ファイル（圧縮後のデータや圧縮しない場合は非圧縮データ、本発明でいう記録用画像データに対応する）をメモリ３０におけるファイルバッファにコピーする。
【００７３】
次にステップＳ４０４においてシステム制御回路５０は、インタフェース９０或いは９４、コネクタ９２或いは９６を介して、メモリカードやコンパクトフラッシュカード等の記録媒体２００或いは２１０へ画像データの書き込みを行う。記録媒体２００等への書き込みが終わったならば、記録処理を終了する。
【００７４】
なお、以上の処理においては、画像ファイルに量子化ビット数を書き込み記録するようにしている。これにより、非圧縮撮影モードで撮影した場合に、その後に画像処理を行うシステムが画像を読み出す際の量子化ビット数を画像ファイルから確認して、画像処理を行うことが可能となる。
【００７５】
また、以上の処理においては、バッファ中には撮影毎に画像ファイルをメモリ３０におけるファイルバッファに順次コピーしていくので、記録媒体２００の記録速度が遅い場合にはメモリ３０における画像バッファが空くまで時間がかかることがある。そのためステップＳ４０３で画像データをファイルバッファにコピーした際には、画像バッファの残容量をシステム制御回路５０が確認して、表示部５４に残容量がどの程度残っているかを図７のように表示（バッファ残容量表示７０１）するようにする。なお、この処理は本発明でいう表示制御手段の一処理例に対応する。
【００７６】
＜パッキングの有無によるメモリ配置＞
次に図８はステップＳ１２７で決定するメモリ配置・量子化ビット数を説明する図あり、画像データをパッキングする場合（ステップＳ３１２）とパッキングしない場合（ステップＳ３１１）とで変更するメモリ配置・量子化ビット数の一例を説明する図である。
【００７７】
図８（ａ）は、パッキングする場合のメモリ配置を示しており、メモリ境界が１６ビット(１ワード)で示され、１画素あたりの量子化ビット数は１０ビットになっている。ここでは、０画素目のｐ０はアドレス「０ｘ００」の上位１０ビットに配置して、１画素目のｐ１はアドレス「０ｘ００」の下位６ビットと、アドレス「０ｘ０２」の上位４ビットに配置している。２画素目のｐ２はアドレス「０ｘ０２」のビット２〜１２の１０ビットに配置して、３画素目のｐ３はアドレス「０ｘ００」の下位２ビットとアドレス「０ｘ０４」の上位８ビットに配置している。４画素目ｐ４から７画素目のｐ７も図のようにパッキングされ、図中で示すように無駄のないメモリ配置を行っている。
【００７８】
図８（ｂ）は、パッキングしない場合のメモリ配置を示しており、１ワードに画像データの１画素あたりのデータを書き込むようにし、更に１画素あたりの量子化ビット数を１０ビットから１４ビットとし、パッキングする場合（通常撮影）よりも増やしている。このようにすることで、画素加算時に１画素あたりのレベルが小さくなり階調低下を招くことなく、加算による感度アップを実現することができる。また下位２ビットには「０」を入れてある。これは、図１０で後述する画素加算が４画素加算なので、４画素加算したときにオーバーフローしないよう、下位２ビットに「０」を埋めるようにしている。
【００７９】
図９は、図８のパッキングする場合としない場合とでメモリ配置を変えた場合のメモリ３０のバッファの状況を示す図である。本実施の形態において、メモリ３０は、システム制御回路５０の作業領域、画像データを一時書き込みする書き込み領域（画像バッファ）、記録媒体２００等にデータを記録する際に一時書き込みする領域（ファイルバッファ）として用いられる。そして、メモリ３０は、通常撮影モードでは、本図に参照されるように画像バッファ９０１をファイルバッファ９０２よりも小さくとるようにする。一方、画素加算撮影モードには、画像バッファ９０３を通常撮影時より大きく取り、それに伴いファイルバッファ９０４を小さくするようにしている。これは画素加算撮影モードはパッキングを行わないためであるが、画素加算時には記録画素数が少なくなるので、画像ファイルのファイルサイズも小さくなり、ファイルバッファが小さくなっても問題はない。
【００８０】
＜画素加算処理＞
次に図１０は、図５のステップＳ３１１の画素加算処理の加算方法を説明するための図である。画素加算は図１０に参照されるように近傍の同色画素同士で加算を行うことでなされ、本図では４画素加算の様子を説明する。なお、この例において撮像素子１４は、ベイヤー型の原色フィルタを用いている。
【００８１】
本図において左角に位置する緑フィルタに対応する「Ｇａ００」の画素を例にとると、「Ｇａ００」に書き込まれる値は、「Ｇａ００」の出力に、「Ｇａ０１」の出力と、「Ｇａ０２」の出力と、「Ｇａ０３」の出力とを加算した値となる。即ち、Ｇａ００＝Ｇａ００＋Ｇａ０１＋Ｇａ０２＋Ｇａ０３である。
また、「Ｇａ００」の隣に位置する赤フィルタに対応する「Ｒ００」の画素を例にとると、「Ｒ００」に書き込まれる値は、「Ｒ００」の出力に、「Ｒ０１」の出力と、「Ｒ１１」の出力と、「Ｒ１０」の出力とを加算した値となる。即ち、Ｒ００＝Ｒ００＋Ｒ０１＋Ｒ１１＋Ｒ１０である。
また、「Ｇａ００」の下に位置する青フィルタに対応する「Ｂ００」の画素を例にとると、「Ｂ００」に書き込まれる値は、「Ｂ００」の出力に、「Ｂ０１」の出力と、「Ｂ１１」の出力と、「Ｂ１０」の出力とを加算した値となる。即ち、Ｂ００＝Ｂ００＋Ｂ０１＋Ｂ１１＋Ｂ１０である。
また、「Ｇａ００」の斜方に位置するもう一つの緑フィルタに対応する「Ｇｂ００」の画素を例にとると、「Ｇｂ００」に書き込まれる値は、「Ｇｂ００」の出力に、「Ｇｂ０１」の出力と、「Ｇｂ１１」の出力と、「Ｇｂ１０」の出力とを加算した値となる。即ち、Ｇｂ００＝Ｇｂ００＋Ｇｂ０１＋Ｇｂ１１＋Ｇｂ１０である。
【００８２】
このように、各画素において近傍の他の画素の加算を行うことで、本実施の形態に係る画素加算処理は行われる。このような画素加算処理をハードウェア上で行う場合の流れを上記画素「Ｇａ００」を例にとり、図１１を参照して説明する。
【００８３】
まず図１１（ａ）では、「Ｇａ００」と「Ｇａ０１」をＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｒｍｏｒｙ Ａｃｃｅｓｓ)転送で読み出し、加算回路を通した加算結果を、ＤＭＡで「Ｇａ００」に書き戻す。この時点では２画素加算になる。
次に図１１（ｂ）では、上記で書き戻した「Ｇａ００」と「Ｇａ１０」をＤＭＡ転送で読み出し、加算回路を通した加算結果を、ＤＭＡで「Ｇａ００」に書き戻す。この時点では３画素加算になる。
次に図１１（ｃ）では、上記で更に書き戻した「Ｇａ００」と「Ｇａ１１」をＤＭＡ転送で読み出し、加算回路を通した加算結果を、ＤＭＡで「Ｇａ００」に書き戻す。そして最終的に４画素加算の画素を生成できる。
【００８４】
即ち、本実施の形態では、画像データをパッキングしないことで、上記のような画素加算処理をハードウェア上で高速に行うことができる。つまり画像データがパッキングされた画像データでは、画素加算しようとするデータをメモリ境界をまたいで読み出さなければならないため、所望のデータを高速に読み出すことができない場合がある。一方、本実施の形態では、パッキングせずに各画素ごとに１ワードを割り当てているため、メモリ境界をまたいで読み出すことはない。そのため、高速で所望のデータを読み出すことができ、画素の加算及び画像の生成を高速にできる。なお、本実施の形態では、画素加算を、画素加算の対象となる画素に対して３つの所定の位置にある画素を加算するようにして行っているが、加算する画像及びその位置は、上記説明に限定されない。また、画素加算を行った後の画像データについてはパッキング処理して書き込むようにしてもよい。
【００８５】
以上、本実施の形態では、通常撮影モードでは画像データをパッキングしてメモリに書き込み、画素加算撮影モードでは画像データをパッキングせずに、即ちメモリ境界をまたがらないようにメモリに書き込むようにした。これにより、画素加算において、メモリ境界をまたいで画素加算に必要なデータを読み出すことがないため、高速に画素加算処理を行うことができる。また、画素加算時には、画像データの１画素あたりの量子化ビット数を通常撮影時の量子化ビット数よりも増やしている。このようにすることで、画素加算時に１画素あたりのレベルが小さくなり階調低下を招くことなく、加算による感度アップ（画質向上）を実現することができる。また、また量子化ビット数における下位ビットには空領域、即ち「０」を入れておくことで画素加算したときにオーバーフローしないようにすることができる。また、画素加算撮影モードには画像データをパッキングせずに、即ちメモリ境界をまたがらないようにメモリに書き込む場合、ファイルバッファが小さくことになるが、画素加算時には記録画素数が少なくなる。そのため、画像ファイルのファイルサイズも小さくなり、ファイルバッファが小さくなっても問題はない。
【００８６】
また本実施の形態では、画像ファイルに量子化ビット数を書き込むようにしている。これにより、非圧縮撮影モードで撮影した場合に、その後に画像処理を行うシステムが画像データを読み出す際の量子化ビット数を画像ファイルから確認して、画像処理を行うことが可能となる。
【００８７】
また本実施の形態では、画像データをファイルバッファにコピーした際に、画像バッファの残容量をシステム制御回路５０が確認して、表示部５４に、残容量がどの程度残っているかを表示するようにしている。これにより、ユーザは撮影モードによりファイルバッファ量が異なることを常に確認できる。
【００８８】
（第２の実施の形態）
次に、本発明の第２の実施の形態について説明する。本実施の形態では、画素加算処理を第１の実施の形態とは異なるものとする。第１の実施の形態では、画素加算モードを選択した場合にパッキングせずに画像データをメモリに書き込んでいたが、本実施の形態では、パッキングしてメモリに書き込む。故に、画像を置くバッファメモリのサイズが変わらない或いは抑制できるため、ファイルバッファのサイズを変更或いは大きく変更する必要はない。なお、画像処理装置の構成等は第１の実施の形態と同様であるため、画素加算処理以外については説明を省略する。
【００８９】
図１２〜図１４を用いて、本実施の形態に係る画素加算処理について説明する。
【００９０】
図１２は、パッキングしてメモリに置かれた画像データを示しており、１画素あたり１０ｂｉｔで量子化された画像データを示している。図１２に示す画像データでは、各画素データが撮像素子上のベイヤー型の原色フィルタに対応して連続的にメモリにアライメントされている。また、図１２の紙面左端に配置される画素データは、画像の一端側に並ぶ（つまり、画像を正面視した場合に左端に並ぶ）画素に対応している。また、図１２に示す画像データでは、少なくとも紙面左端に配置される画素データがメモリの１ワードの読み出し開始位置（アドレスで指定される始めのビット）から配置されるようになっている。
【００９１】
以下、図１２に示した画像データのＲ画素（「Ｒ００」，「Ｒ０１」，「Ｒ１０」，「Ｒ１１」）に着目して、画素加算処理の説明を行う。なお、「Ｒ００」，「Ｒ０１」，「Ｒ１０」，「Ｒ１１」の配置関係は、「Ｒ００」と「Ｒ０１」及び「Ｒ１０」と「Ｒ１１」が画像の水平方向において隣り合う関係である。また、「Ｒ００」と「Ｒ１０」及び「Ｒ０１」と「Ｒ１１」が画像の垂直方向において隣り合う関係である。また、「Ｒ００」と「Ｒ１０」は、メモリの１ワードの読み出し開始位置から配置されるようになっており、メモリアドレスを選択して特定できるようになっている。
【００９２】
まず垂直方向の画素加算処理を行うため、メモリから「Ｒ００」の画素を先頭にして水平方向に沿う画素データをライン単位で読み出し、それと同時に加算する画素である「Ｒ１０」の画素を先頭にして水平方向に沿う画素データをライン単位で読み出す。ここで本実施の形態では、「Ｒ００」及び「Ｒ１０」の画素データのメモリの配置位置が、１ワードの開始位置から配置されるようになっており、ビット位置が一致する関係になっている。また、「Ｒ００」に続く「Ｇａ００」及び「Ｇａ１０」等は同じ態様でパッキングされているため、ビット位置が一致する関係になっている。
【００９３】
そして、「Ｒ００」と「Ｒ１０」とで、垂直方向における２画素加算処理を行い、加算結果を、図１２の「垂直加算↓」と書かれた下に書かれているようにパッキングせずに、「Ｒ００＋Ｒ１０」の画素データとしてメモリに書き込む。すなわち、１６ビット(１ワード)の中に量子化ビット数１０ビットの画素データを書き込む。そして、このような垂直方向２画素の加算を、読み出したライン上に並ぶ画素単位で順次行っていく。ここで順次読み出された画素データはビット位置が対応しており、同一のビット長を有しているため、容易に２画素加算がなされる。
【００９４】
この垂直加算が画像データの画素の水平方向に伸びる全ラインに対して行われた後に、今度は水平方向の画素加算を行う。ここでは、同色の画素を加算するために、「Ｒ００＋Ｒ１０」と「Ｒ０１＋Ｒ１１」の画素データを同時に読み出して、図１０の「水平加算↓」と書かれた下に書かれているように、加算した結果をメモリにパッキングして書き戻す。これも先ほどのように全画素に対して行うことで、水平方向において隣り合う２画素の加算を行うことができ、結果として４画素加算がなされる。また。この際は、画素データはパッキングされていないため、メモリ境界のメモリアドレス（読み出し開始位置）を基に所望の画素データを画素ごとに容易に読み出すことができる。
【００９５】
このようにして本実施の形態では、水平・垂直方向に合計で４画素の加算が行われることになる。最後にメモリに書き込むときにパッキングしているのは、メモリの読み出し効率を上げるためで、後の現像処理を高速に行うことができるからである。なお、図１２において示した矢印は、画素ごとの垂直加算、水平加算の流れを示している。
【００９６】
図１３は、図１２で説明した画素加算処理のデータフローを示した図である。最初に垂直方向の加算のため、パッキングされた「Ｒ００」と「Ｒ１０」を含むライン単位の画素データをＤＭＡ転送で読み出して加算し、加算後パッキングせずにメモリに書き込む（「Ｒ００＋Ｒ１０」；２画素加算）。同様にパッキングされた「Ｒ１０」と「Ｒ１１」も加算して、パッキングせずにメモリに書き込む（「Ｒ０１＋Ｒ１１」；２画素加算）。
【００９７】
次に水平方向の加算のため、パッキングされていない「Ｒ００＋Ｒ１０」と「Ｒ０１＋Ｒ１１」をメモリからＤＭＡ転送で読み出して、加算した結果「Ｒ００＋Ｒ１０＋Ｒ０１＋Ｒ１１」をパッキングしてメモリに書き込む。このようにして、画像の水平方向において順次読み出された画素データを加算して、加算した後はパッキングしてメモリに書き込む。
【００９８】
図１４は、画像バッファのメモリ配置を示した図である。ここでは、１０ｂｉｔで量子化された画像データを例としている。撮影された画像データはパッキングされてメモリに書き込まれ、まず垂直２画素加算をしたのでサイズが１／２になるが、パッキングせずに画像を置くので１６／１０のサイズになり、合わせて、（１／２）×（１６／１０）＝０．８倍の画像サイズとなる。これは、元々の画像サイズより小さくなるため、画像バッファを通常より多く取る必要はない。
【００９９】
さらに水平２画素加算を行うことで１／２とされ、今回はパッキングするので１０／１６とされるので、さらに、（１／２）×（１０／１６）＝０．３１２５倍の画像サイズとなる。そのため、水平・垂直合わせると、０．８×０．３１２５＝０．２５倍の画像サイズとなる。
【０１００】
以上のように本実施の形態では、画素加算モードを選択された場合に、撮影した画像の画像データをパッキングしてメモリに書き込むが、パッキングされた画像データを所定の手順で読み出して、画素の加算を行うようにしている。すなわち、まず、垂直方向の画素の加算を行うために、加算を行う垂直方向に並ぶ同色画素を画像の水平方向に沿ったライン単位で順次読み出して加算を行い、加算した結果を画素ごとにパッキングせずにメモリに書き込む。次に水平方向の画素の加算を行うために、パッキングせずにメモリに書き込まれた加算された同色画素を順次読み出して加算を行い、加算した結果をパッキングしてメモリに書き込む。
このような構成により、本実施の形態では、撮影された画像データは当初パッキングされてバッファメモリに置かれるため、バッファメモリのサイズが変わらない或いは抑制でき、ファイルバッファのサイズを変更或いは大きく変更する必要がない。そしてパッキングされた画像データにおいて画像の水平方向に沿ったライン単位で画素を読み出し、垂直方向に並ぶ同色画素を順次加算するため、パッキングされた状態であっても容易に画素加算を行うことができる。この処理は、ＤＭＡ転送で行うことができるため回路等の追加の必要がない。
【０１０１】
なお、本発明を実現するために、上述した実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記憶媒体を用いても良い。この場合には記憶媒体をシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによって本発明の目的が達成される。
【０１０２】
この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１０３】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【０１０４】
また、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（基本システム或いはオペレーティングシステム）等が実際の処理の一部又は全部を行う場合も含まれることは言うまでもない。
【０１０５】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれてもよい。この場合には、書き込まれたプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行ってもよい。
【符号の説明】
【０１０６】
１４ 撮像素子
２２ メモリ制御回路
２４ 画像表示メモリ
２８ 画像表示部
３０ メモリ
５２ メモリ
６６ 撮影モード設定スイッチ
７０ 操作部
１００ 画像処理装置
２００ 記録媒体
２１０ 記録媒体部
【特許請求の範囲】
【請求項１】
撮影により得られた画像データを記録媒体に記録する画像処理装置であって、
撮影モードとして通常撮影モードが設定された場合に画像データをパッキング処理してメモリに書き込み、画素加算撮影モードが設定された場合に画像データをパッキング処理せずにメモリに書き込むパッキング手段と、
前記パッキング処理せずにメモリに書き込んだ画像データに対して画素加算処理を行う画素加算手段とを有することを特徴とする画像処理装置。
【請求項２】
前記画素加算撮影モードが設定された場合、画像データの１画素ごとの量子化ビット数を、前記通常撮影モードのときよりも増やすことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記パッキング手段は、前記パッキング処理した画像データ又は前記パッキング処理しない画像データを前記メモリの一時書き込み領域に書き込み、
前記画素加算撮影モードが設定された場合、前記通常撮影モードのときよりも、前記メモリにおいて前記一時書き込み領域を大きくし、前記記録媒体に記録用画像データを記録する際に用いる領域を小さくするようにしたことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記パッキング手段は、前記パッキング処理した画像データ又は前記パッキング処理しない画像データを前記メモリの一時書き込み領域に書き込み、
前記一時書き込み領域の容量を表示部に表示する表示制御手段を有することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記通常撮影モードと前記画素加算撮影モードとで画像データの１画素ごとの量子化ビット数を異なるようにし、該量子化ビット数を前記記録媒体への記録用画像データと共に記録するようにしたことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
請求項１〜５のいずれか１項に記載の画像処理装置と、
光学像を電気信号に変換する撮像手段と、
撮影モードとして前記通常撮影モード又は前記画素加算撮影モードを設定する撮影モード設定手段とを備えたことを特徴とする撮像装置。
【請求項７】
撮影により得られた画像データを記録媒体に記録する画像処理方法であって、
撮影モードとして通常撮影モードが設定された場合に画像データをパッキング処理してメモリに書き込み、画素加算撮影モードが設定された場合に画像データをパッキング処理せずにメモリに書き込むステップと、
前記パッキング処理せずにメモリに書き込まれた画像データに対して画素加算処理を行うステップとを有することを特徴とする画像処理方法。
【請求項８】
撮影により得られた画像データを記録媒体に記録する画像処理をコンピュータに実行させるためのプログラムであって、
撮影モードとして通常撮影モードが設定された場合に画像データをパッキング処理してメモリに書き込み、画素加算撮影モードが設定された場合に画像データをパッキング処理せずにメモリに書き込むステップと、
前記パッキング処理せずにメモリに書き込まれた画像データに対して画素加算処理を行うステップとをコンピュータに実行させるためのプログラム。
【請求項９】
撮影により得られた画像データを記録媒体に記録する画像処理装置であって、
画像データをパッキング処理してメモリに書き込むパッキング手段を有し、
撮影モードとして画素加算撮影モードが選択された場合、まず前記撮影により得られた前記画像データを前記パッキング手段にてパッキング処理してメモリに書き込み、
次に前記メモリに書き込まれた画像データについての画素を、画像の水平方向に沿ったライン単位で読み出し、垂直方向の同色画素を加算して、その結果を前記パッキング手段を使用せずに前記メモリに書き込み、
次に前記メモリからパッキング処理されていない前記垂直方向において同色画素が加算された画像データの画素を画素ごとに読み出し、水平方向の同色画素を加算して、その結果を前記メモリに書き込むことを特徴とする画像処理装置。
【請求項１０】
前記垂直方向および前記水平方向の同色画素を加算した後の画像データを前記メモリに書き込む際は、前記パッキング手段にてパッキング処理して前記メモリに書き込むことを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記画素加算撮影モードが選択され、前記撮影により得られた前記画像データをパッキング手段にてパッキング処理して前記メモリに書き込む際、
前記パッキング手段は、少なくとも画像において一端側に並ぶ画素について、前記メモリの読み出し開始位置から配置して書き込むことを特徴とする請求項９又は１０に記載の画像処理装置。
【請求項１２】
撮影により得られた画像データを記録媒体に記録する画像処理方法であって、
撮影モードとして画素加算撮影モードが選択された場合、前記撮影により得られた前記画像データをパッキング処理してメモリに書き込むステップと、
前記メモリに書き込まれた画像データについての画素を、画像の水平方向に沿ったライン単位で読み出し、垂直方向の同色画素を加算して、その結果をパッキング処理せずに前記メモリに書き込むステップと、
前記メモリからパッキング処理されていない前記垂直方向において同色画素が加算された画像データの画素を画素ごとに読み出し、水平方向の同色画素を加算して、その結果を前記メモリに書き込むステップとを有することを特徴とする画像処理方法。
【請求項１３】
撮影により得られた画像データを記録媒体に記録する画像処理をコンピュータに実行させるためのプログラムであって、
撮影モードとして画素加算撮影モードが選択された場合、前記撮影により得られた前記画像データをパッキング処理してメモリに書き込むステップと、
前記メモリに書き込まれた画像データについての画素を、画像の水平方向に沿ったライン単位で読み出し、垂直方向の同色画素を加算して、その結果をパッキング処理せずに前記メモリに書き込むステップと、
前記メモリからパッキング処理されていない前記垂直方向において同色画素が加算された画像データの画素を画素ごとに読み出し、水平方向の同色画素を加算して、その結果を前記メモリに書き込むステップとをコンピュータに実行させるためのプログラム。
【請求項１】
撮影により得られた画像データを記録媒体に記録する画像処理装置であって、
撮影モードとして通常撮影モードが設定された場合に画像データをパッキング処理してメモリに書き込み、画素加算撮影モードが設定された場合に画像データをパッキング処理せずにメモリに書き込むパッキング手段と、
前記パッキング処理せずにメモリに書き込んだ画像データに対して画素加算処理を行う画素加算手段とを有することを特徴とする画像処理装置。
【請求項２】
前記画素加算撮影モードが設定された場合、画像データの１画素ごとの量子化ビット数を、前記通常撮影モードのときよりも増やすことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記パッキング手段は、前記パッキング処理した画像データ又は前記パッキング処理しない画像データを前記メモリの一時書き込み領域に書き込み、
前記画素加算撮影モードが設定された場合、前記通常撮影モードのときよりも、前記メモリにおいて前記一時書き込み領域を大きくし、前記記録媒体に記録用画像データを記録する際に用いる領域を小さくするようにしたことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記パッキング手段は、前記パッキング処理した画像データ又は前記パッキング処理しない画像データを前記メモリの一時書き込み領域に書き込み、
前記一時書き込み領域の容量を表示部に表示する表示制御手段を有することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記通常撮影モードと前記画素加算撮影モードとで画像データの１画素ごとの量子化ビット数を異なるようにし、該量子化ビット数を前記記録媒体への記録用画像データと共に記録するようにしたことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
請求項１〜５のいずれか１項に記載の画像処理装置と、
光学像を電気信号に変換する撮像手段と、
撮影モードとして前記通常撮影モード又は前記画素加算撮影モードを設定する撮影モード設定手段とを備えたことを特徴とする撮像装置。
【請求項７】
撮影により得られた画像データを記録媒体に記録する画像処理方法であって、
撮影モードとして通常撮影モードが設定された場合に画像データをパッキング処理してメモリに書き込み、画素加算撮影モードが設定された場合に画像データをパッキング処理せずにメモリに書き込むステップと、
前記パッキング処理せずにメモリに書き込まれた画像データに対して画素加算処理を行うステップとを有することを特徴とする画像処理方法。
【請求項８】
撮影により得られた画像データを記録媒体に記録する画像処理をコンピュータに実行させるためのプログラムであって、
撮影モードとして通常撮影モードが設定された場合に画像データをパッキング処理してメモリに書き込み、画素加算撮影モードが設定された場合に画像データをパッキング処理せずにメモリに書き込むステップと、
前記パッキング処理せずにメモリに書き込まれた画像データに対して画素加算処理を行うステップとをコンピュータに実行させるためのプログラム。
【請求項９】
撮影により得られた画像データを記録媒体に記録する画像処理装置であって、
画像データをパッキング処理してメモリに書き込むパッキング手段を有し、
撮影モードとして画素加算撮影モードが選択された場合、まず前記撮影により得られた前記画像データを前記パッキング手段にてパッキング処理してメモリに書き込み、
次に前記メモリに書き込まれた画像データについての画素を、画像の水平方向に沿ったライン単位で読み出し、垂直方向の同色画素を加算して、その結果を前記パッキング手段を使用せずに前記メモリに書き込み、
次に前記メモリからパッキング処理されていない前記垂直方向において同色画素が加算された画像データの画素を画素ごとに読み出し、水平方向の同色画素を加算して、その結果を前記メモリに書き込むことを特徴とする画像処理装置。
【請求項１０】
前記垂直方向および前記水平方向の同色画素を加算した後の画像データを前記メモリに書き込む際は、前記パッキング手段にてパッキング処理して前記メモリに書き込むことを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記画素加算撮影モードが選択され、前記撮影により得られた前記画像データをパッキング手段にてパッキング処理して前記メモリに書き込む際、
前記パッキング手段は、少なくとも画像において一端側に並ぶ画素について、前記メモリの読み出し開始位置から配置して書き込むことを特徴とする請求項９又は１０に記載の画像処理装置。
【請求項１２】
撮影により得られた画像データを記録媒体に記録する画像処理方法であって、
撮影モードとして画素加算撮影モードが選択された場合、前記撮影により得られた前記画像データをパッキング処理してメモリに書き込むステップと、
前記メモリに書き込まれた画像データについての画素を、画像の水平方向に沿ったライン単位で読み出し、垂直方向の同色画素を加算して、その結果をパッキング処理せずに前記メモリに書き込むステップと、
前記メモリからパッキング処理されていない前記垂直方向において同色画素が加算された画像データの画素を画素ごとに読み出し、水平方向の同色画素を加算して、その結果を前記メモリに書き込むステップとを有することを特徴とする画像処理方法。
【請求項１３】
撮影により得られた画像データを記録媒体に記録する画像処理をコンピュータに実行させるためのプログラムであって、
撮影モードとして画素加算撮影モードが選択された場合、前記撮影により得られた前記画像データをパッキング処理してメモリに書き込むステップと、
前記メモリに書き込まれた画像データについての画素を、画像の水平方向に沿ったライン単位で読み出し、垂直方向の同色画素を加算して、その結果をパッキング処理せずに前記メモリに書き込むステップと、
前記メモリからパッキング処理されていない前記垂直方向において同色画素が加算された画像データの画素を画素ごとに読み出し、水平方向の同色画素を加算して、その結果を前記メモリに書き込むステップとをコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２００９−２３９９０４（Ｐ２００９−２３９９０４Ａ）
【公開日】平成２１年１０月１５日（２００９．１０．１５）
【国際特許分類】
【出願番号】特願２００９−４８３５８（Ｐ２００９−４８３５８）
【出願日】平成２１年３月２日（２００９．３．２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２１年１０月１５日（２００９．１０．１５）
【国際特許分類】
【出願日】平成２１年３月２日（２００９．３．２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]