画像処理装置
【課題】 画像データの解像度が高くなっても回路規模を縮小しかつ生産コストを抑制することができる。
【解決手段】 メモリコントローラは、イメージメモリに記憶されている１画面分の画像データを、各ライン毎にＮピクセルずつ垂直方向に読み出して解像度変換回路に供給する。
【解決手段】 メモリコントローラは、イメージメモリに記憶されている１画面分の画像データを、各ライン毎にＮピクセルずつ垂直方向に読み出して解像度変換回路に供給する。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、静止画撮像装置に用いて好適な画像処理装置に関し、特に回路規模を削減した画像処理装置に関する。
【０００２】
【従来の技術】ディジタル・スチル・カメラは、ＣＣＤイメージセンサで得られた画像データをメモリや記録媒体に取り込み、その後画像データをいわゆるパーソナル・コンピュータ等に転送している。このようなディジタル・スチル・カメラは、今までは、ＶＧＡ(Video Graphics Array)システム対応型のものがほとんどであった。
【０００３】例えば図１６に示すように、かかるディジタル・スチル・カメラ２００は、画像信号を生成するＣＣＤイメージセンサ２０１と、入力処理／画像処理回路２０２と、画像データの読み出し又は書き込みの処理を行うメモリコントローラ２０３と、所定の方式の出力画像に変換する出力処理回路２０４と、撮影時の被写体の状況を表示するファインダ２０５と、ＣＰＵバス２０６を介して、圧縮された画像データを記録する記録部２０７と、画像データの圧縮又は伸張処理を行う圧縮／伸張回路２０８と、画像データを記憶すべく例えばＤＲＡＭ等からなるメモリ２０９と、装置全体を制御するＣＰＵ２１０とを備える。
【０００４】被写体の撮影開始前においては、ユーザは、ファインダ２０５に表示される被写体像を確認する必要がある（ファインダモード）。このとき、ＣＣＤイメージセンサ２０１は、被写体からの撮像光によって光電変換して得られた画像信号を入力処理／画像処理回路２０２に供給する。入力処理／画像処理回路２０２は、例えば上記画像信号に相関二重サンプリング処理を行ってディジタル化し、さらにガンマ補正，ニー処理，カメラ処理等の所定の信号処理を行って、メモリコントローラ２０３に供給する。メモリコントローラ２０３は、ＣＰＵ２１０の制御に応じて、入力処理／画像処理回路２０２からの画像データを出力処理回路２０４に供給する。出力処理回路２０４は、画像データを例えばＮＴＳＣ(NationalTelevision System Committee)方式にエンコードし、さらにアナログ化してファインダ２０５に供給する。これにより、ファインダ２０５には、撮影の対象たる被写体が表示される。
【０００５】一方、ユーザが図示しないシャッタボタンを押して記録モードに移行すると、メモリコントローラ２０３は、入力処理／画像処理回路２０２から供給される画像データをメモリ２０９に書き込む。ＣＰＵ２１０は、メモリ２０９から画像データを読み出し、当該画像データを圧縮／伸張回路２０８において例えばＪＰＥＧ(Joint Photographic Experts Group)圧縮処理を行って、記録部２０７に記録する。
【０００６】また、ユーザの所定の操作によって再生モードに移行すると、ＣＰＵ２１０は、記録部２０７から画像データを読み出し、当該画像データを圧縮／伸張回路２０８においてＪＰＥＧ伸張処理を行った後、メモリコントローラ２０３，出力処理回路２０４を介してファインダ２０５に供給する。かくして、ファインダ２０５には、撮影された画像が表示されることになる。
【０００７】
【発明が解決しようとする課題】入力処理／画像処理回路２０２は、水平方向及び垂直方向における画像処理機能を有し、ＣＣＤイメージセンサ２０１から供給される画像データの信号をＹ，Ｃｂ，Ｃｒの信号に変換する。入力処理／画像処理回路２０２は、水平方向バッファと、水平方向画像処理回路と、垂直方向バッファと、垂直方向画像処理回路とを備える。
【０００８】水平方向バッファは、画像データをバッファリングして、例えば１画素，２画素，３画素分遅延した画像データをそれぞれ上記水平方向画像処理回路に供給する。水平方向画像処理回路は、上記各画像データに所定の係数を乗じて合成することによって水平方向の画像処理を行う。垂直方向バッファは、１ライン，２ライン，３ライン分遅延した画像データを、それぞれ上記垂直方向画像処理回路に供給する。垂直方向画像処理回路は、垂直方向バッファからの各画像データに所定の係数を乗じて合成することによって垂直方向の画像処理を行う。
【０００９】ここで、例えば図１７に示すように、上記垂直方向バッファ２０２ａは、垂直タップ数に対応した数のラインバッファを備え、これらのラインバッファを直列に接続して構成される。これらのラインバッファには、入力される画像データの水平サイズに対応した分の画像データが記憶される。
【００１０】入力処理／画像処理回路２０２に供給される画像データが例えば図１８に示す画像Ａのサイズの場合、図１７に示すように、画像Ａの画像データはラインバッファの約１／２を占有する。同様に、画像Ｂの画像データはラインバッファの約２／３を占有し、画像Ｃの画像データはラインバッファの全部を占有する。
【００１１】このように、ラインバッファは、少なくとも画像データの１ライン分を記憶することができる容量を備えていなければならない。したがって、画像データのサイズが大きくなればなるほど垂直方向バッファの回路規模が大きくなって、生産コストが高くなるという問題が生じる。本発明は、このような実情を鑑みて提案されたものであり、画像データのサイズ大きくなっても回路規模を縮小しかつ生産コストを抑制することができる画像処理装置を提供することを目的とする。
【００１２】
【課題を解決するための手段】上述の課題を解決するために、本発明に係る画像処理装置は、少なくとも１枚の画像データを記憶する記憶手段と、上記記憶手段から、水平方向又は垂直方向にＮ画素分の画像データを１行毎又は１列毎に繰り返し読み出すことによって水平方向又は垂直方向におけるＮ画素分の画像データを垂直方向又は水平方向に全て読み出すことを、上記１枚分の画像データ全体に対して行う読出し手段と、Ｎ画素分の画像データを記憶するバッファメモリが直列に接続され、上記読出し手段によって読み出された画像データが上記直列に接続されたバッファメモリの一方に入力されて、各バッファメモリから遅延した画像データを出力する遅延手段と、上記遅延手段の各バッファメモリが出力する画像データに重み付けを行って合成することによって水平方向又は垂直方向の画像データの画像処理を行う信号処理手段とを備える。
【００１３】上記画像処理装置では、遅延手段を構成する各バッファメモリの記憶容量を少なくし、記憶手段から、水平方向又は垂直方向にＮ画素分の画像データを１行毎又は１列毎に繰り返し読み出すことによって水平方向又は垂直方向におけるＮ画素分の画像データを垂直方向又は水平方向に全て読み出すことを１枚分の画像データ全体に対して行って上記遅延手段に供給することによって、上記画像処理手段において上記各バッファメモリからの画像データに基づいて画像処理を行う。
【００１４】
【発明の実施の形態】以下、本発明の実施の形態について、図面を参照しながら説明する。
【００１５】本発明は、例えば図１に示す構成のディジタル・スチル・カメラ１に適用される。ディジタル・スチル・カメラ１は、画像信号を生成する画像生成部１０と、画像データに所定の信号処理を行う信号処理部２０と、ＳＤＲＡＭからなるイメージメモリ３２と、信号処理部２０の制御を行う制御部４０とを備える。
【００１６】画像生成部１０は、画像信号を生成する個体撮像素子、例えばＣＣＤイメージセンサ１１と、上記画像信号にサンプルホールド処理及びディジタル化処理を行って画像データを出力するサンプル／ホールド−アナログ／ディジタル回路（以下、「Ｓ／Ｈ−Ａ／Ｄ回路」という。）１２と、タイミング信号を発生するタイミングジェネレータ１３とを備える。このタイミングジェネレータ１３は、信号処理部２０から供給される同期信号に基づいて、画像生成部１０の各回路を制御する水平同期信号及び垂直同期信号を発生するものである。
【００１７】ＣＣＤイメージセンサ１１は、例えば８０万画素からなるＸＧＡ（eXtendedGraphics Array：１０２４×７６８）相当の画像データを生成する。ＣＣＤイメージセンサ１１は、タイミングジェネレータ１３からの同期信号に基づいて駆動され、毎秒３０フレームの画像信号を出力する。なお、ＣＣＤイメージセンサ１１は、画像信号の間引き機能を有し、制御部４０の制御に従って、画像信号の垂直方向成分を１／２，１／３，１／４・・・に間引いて出力することができる。
【００１８】Ｓ／Ｈ−Ａ／Ｄ回路１２も、上記タイミングジェネレータ１３からの同期信号に基づき、所定のサンプリング間隔でサンプルホールド及びＡ／Ｄ変換処理を行い、この画像データを信号処理部２０に供給する。
【００１９】信号処理回路２０は、１個のＬＳＩ(Large Scale Integrated circuit)によって構成される。信号処理部２０は、画像生成部１０からの画像データに入力処理とカメラ処理を行う入力処理回路２１と、イメージメモリ３２に対する画像データの読み出し／書き込みを制御するメモリコントローラ２２と、ＮＴＳＣ／ＰＡＬ(Phase Alternation by Line) エンコーダ２３と、画像データをアナログ化して外部に出力するＤ／Ａコンバータ２４と、同期信号を発生してタイミングジェネレータ１３に供給するシンク・ジェネレータ２６とを備える。
【００２０】また、信号処理部２０は、イメージメモリ３２のインターフェースであるメモリインターフェース２７と、画像データの解像度変換処理を行う解像度変換回路２８と、画像データの圧縮／伸張処理を行うＪＰＥＧ(Joint Photographic Experts Group)エンコーダ／デコーダ２９と、ＪＰＥＧエンコーダ／デコーダ２９のインターフェースであるＪＰＥＧインターフェース３０と、制御部４０の後述するＣＰＵとデータの送受信を行うためのインターフェースであるホスト・インターフェース３１とを備える。
【００２１】入力処理回路２１は、Ｓ／Ｈ−Ａ／Ｄ回路１２からの画像データにディジタルクランプ，シェーディング補正，アパーチャ補正、ガンマ補正，色処理等を行って、メモリコントローラ２２に供給する。入力処理回路２１は、入力データを信号処理してＹ，Ｃｂ，Ｃｒに変換する機能を持つ。入力処理回路２１は、画像データの解像度が例えばＶＧＡ(Video Graphics Array)フォーマットよりも大きいときは、その解像度を低くする処理も行うことができる。また、入力処理回路２１は、オート・フォーカス，オート・アイリスの検波処理を行って、そのデータを制御部４０に送り、フォーカス機構，アイリス機構の自動調整を行う。さらに、入力処理回路２１は、画像データを構成する３原色信号の信号レベルを検出してオートホワイトバランス調整も行う。メモリコントローラ２２は、入力処理回路２１や他の回路から供給される画像データをメモリインターフェース２７を介してイメージメモリ３２に書き込み、また、イメージメモリ３２の画像データをメモリインターフェース２７を介して読み出す制御を行う。このとき、メモリコントローラ２２は、イメージメモリ３２に記憶された画像データに基づいて、ＣＣＤイメージセンサ１１に欠陥画素があるかを検出することも行う。
【００２２】メモリコントローラ２２は、イメージメモリ３２から読み出した画像データを例えばＮＴＳＣ／ＰＡＬエンコーダ２３に供給する。ＮＴＳＣ／ＰＡＬエンコーダ２３は、メモリコントローラ２２から画像データ供給されると、この画像データにＮＴＳＣ方式又はＰＡＬ方式のエンコードを行ってＤ／Ａコンバータ２４に供給する。Ｄ／Ａコンバータ２４は、かかる画像データをアナログ化して外部端子２５を介して出力する。
【００２３】メモリコントローラ２２は、メモリコントローラ２２から読み出した画像データを解像度変換回路２８に供給して解像度変換処理を行わせ、また、解像度変換回路２８が出力する解像度変換済みの画像データをイメージメモリ３２に書き込む。
【００２４】メモリコントローラ２２は、ＪＰＥＧインターフェース３０を介して画像データをＪＰＥＧエンコーダ／デコーダ２９に供給して静止画の圧縮処理を行わせ、さらに、ＪＰＥＧエンコーダ／デコーダ２９で伸張処理された画像データをイメージメモリ３２に書き込むことも行う。
【００２５】イメージメモリ３２は、上述のように画像データを記憶するだけでなく、いわゆるキャラクタジェネレータのデータであるＯＳＤ(On Screen Display) データも記憶する。ここにいうＯＳＤデータは、ビットマップデータからなる。メモリコントローラ２２は、上記ＯＳＤデータの読み出し／書き込みも制御している。なお、画像データとＯＳＤデータとの合成は、ＮＴＳＣ／ＰＡＬエンコーダ２３において行われる。
【００２６】上記制御部４０は、信号処理部２０の各回路を制御するＣＰＵ(Central Processing Unit) ４１と、画像データやその他の制御データを一時格納するＤＲＡＭ(Dynamic Random Access Memory)４２と、ＣＰＵ４１の制御プログラムが記憶されているＲＯＭ(Read Only Memory)４３と、例えばフラッシュメモリからなる記録装置５１と画像データをやりとりするためのインターフェースであるフラッシュメモリ・インターフェース４４と、例えばIrLED からなる通信回路５２のインターフェースであるIrDAインターフェース４５とを備える。
【００２７】例えば、ＣＰＵ４１は、ＪＰＥＧエンコーダ／デコーダ２９で圧縮された画像データを、フラッシュメモリ・インターフェース４４を介してフラッシュメモリからなる記録装置５１に書き込み、また、この記録装置５１から画像データを読み出してＪＰＥＧエンコーダ／デコーダ２９に供給する。また、ＣＰＵ４１は、ＪＰＥＧエンコーダ／デコーダ２９からの画像データや記録装置５１から読み出した画像データを、IrDAインターフェース４５，通信回路５２を介して赤外光として外部に出力する。
【００２８】ここで、上記ディジタル・スチル・カメラ１の簡略的な構成を図２に示す。
【００２９】入力処理回路２１は、ＣＣＤイメージセンサ１１からの画像データを画像データバス３３を介してイメージメモリ３２に供給する。ＮＴＳＣ／ＰＡＬエンコーダ２３は、イメージメモリ３２からの画像データを所定のエンコード処理を行ってファインダ３６に供給する。これにより、ファインダ３６には、被写体の映像が表示される。なお、上記ファインダ３６は、ＶＧＡフォーマットまでの画像データに対応して画像を表示するものである。
【００３０】また、メモリコントローラ２２は、イメージメモリ３２と画像データバス３３につながる各信号処理回路の間のデータ転送を行う。解像度変換回路２８は、イメージメモリ３２からの画像データの解像度変換処理を行い、結果をイメージメモリ３２に供給する。ＪＰＥＧエンコーダ／デコーダ２９は、イメージメモリ３２からの画像データをＪＰＥＧ方式で圧縮し、ＣＰＵバス３４を介してＣＰＵ４１に供給する。ＣＰＵ４１は、かかる圧縮処理済みの画像データをＣＰＵバス３４を介して記録装置５１に書き込む。また、ＣＰＵ４１は、圧縮処理済みの画像データを、ＣＰＵバス３４，通信回路５２を介して、外部に出力することもできる。
【００３１】このように、図２によると、信号処理部２０では、各回路は画像データバス３３を介して接続されている。上記画像データバス３３は、仮想的なバスであり、上記各回路でやりとりする画像データの転送帯域に限界があることを示すものである。
【００３２】信号処理部２０において、ＮＴＳＣ／ＰＡＬエンコーダ２３や解像度変換回路２８等その他各回路は、画像データを処理を開始する前に、画像データを要求することを示すリクエスト信号(request)をメモリコントローラ２２に送信する。また、これらの各回路は、画像データの処理が終了した後、上記画像データを出力するときもリクエスト信号をメモリコントローラ２２に送信する。
【００３３】一方、メモリコントローラ２２は、各回路からのリクエスト信号を受信すると、各回路の中から優先順位の高いものを選択し、選択した回路に対してアクノリッジ(acknowledge) 信号を送信する。ここで、アクノリッジ信号とは、当該信号を受信する回路に対して画像データを供給すること又は当該信号を受信した回路が出力する画像データを受け取る準備ができたことを示す信号をいう。そして、メモリコントローラ２２は、イメージメモリ３２から画像データを読み出し、上記アクノリッジ信号の送信先の回路に対して画像データバス３３を介して供給する。また、メモリコントローラ２２は、上記アクノリッジ信号の送信先の回路が出力した画像データを受け取って、この画像データをイメージメモリ３２に書き込む処理を行う。
【００３４】なお、メモリコントローラ２２は、各回路から同時にリクエスト信号を受信したときは、リアルタイムで処理することが必要な回路を優先的に選択することができる。例えば、メモリコントローラ２２は、ファインダ３６に被写体の映像を表示させるときは、入力処理回路２１，ＮＴＳＣ／ＰＡＬエンコーダ２３を優先して選択する。また、メモリコントローラ２２は、画像データバス３３における画像データのバス占有使用率を判断して、当該占有率に応じて各回路の優先順位を決定してもよい。
【００３５】なお、メモリコントローラ２２は、画像データバス３３の転送帯域制限内で各回路に画像データを供給することができるのであれば、時分割で各回路にアクノリッジ信号を送信して、各回路がそれぞれ所定の処理を行うように制御してもよい。これにより、メモリコントローラ２２は、事実上、各回路に対してリアルタイムでデータアクセスして、各回路からの画像データをイメージメモリ３２に書き込んだり、イメージメモリ３２の画像データを読み出して各回路に供給することができる。
【００３６】さらに、メモリコントローラ２２は、画像データバス３３を介して図示しない外部回路とアクセスする場合であっても、当該外部回路が上述したリクエスト信号を送信したりアクノリッジ信号を受信することができるものであれば、画像データバス３３の転送帯域制限範囲内で、信号処理部２０内の各回路と同様に時分割で同時にアクセスすることができる。すなわち、メモリコントローラ２２は、画像データバス３３の帯域の範囲内であれば、信号処理部２０内の回路や外部回路の数を問わず、これらの各回路に対して時分割で同時にアクセスすることができる。
【００３７】以上のように、メモリコントローラ２２は、画像データバス３３の調停やイメージメモリ３２と各回路間における画像データの書き込み／読み出しの制御、さらに、ＣＰＵバス３４に対してデータ転送を行っている。
【００３８】次に、上記信号処理部２０における画像データの具体的な流れについて、図３を用いて説明する。
【００３９】入力処理回路２１は、画像生成部１０からの画像データに所定の信号処理を行うＣＣＤインターフェース２１ａと、ＣＣＤインターフェース２１ａの処理を行うために検波処理を行う検波回路２１ｂと、画像データの変換処理を行うカメラ・ディジタル・シグナル・プロセッサ（以下、「カメラＤＳＰ」という。）２１ｃとを備える。
【００４０】ＣＣＤインターフェース２１ａは、図１に示すＳ／Ｈ−Ａ／Ｄ回路１２からの赤信号，緑信号，青信号（Ｒ，Ｇ，Ｂ）で構成される画像データに対してディジタルクランプ，ホワイトバランス調整，ガンマ補正等の処理を行ったり、必要に応じて画像データの水平方向成分の間引き処理も行う。ＣＣＤインターフェース２１ａは、かかる処理を行った後、画像データをカメラＤＳＰ２１ｃに供給したり、画像データバス３３を介してメモリコントローラ２２に供給する。
【００４１】検波回路２１ｂは、ＣＣＤインターフェース２１ａの画像データからオートフォーカス，オートアイリス，ホワイトバランス調整のための検波処理を行う。
【００４２】カメラＤＳＰ２１ｃは、ＣＣＤインターフェース２１ａからのＲＧＢからなる画像データを、輝度信号Ｙ及びクロマ信号（色差信号）Ｃｂ，Ｃｒからなる画像データに変換する。また、カメラＤＳＰ２１ｃは、かかる処理を行うとともに、画像データの解像度を簡易的に変換する簡易解像度変換回路２１ｄを有する。
【００４３】簡易解像度変換回路２１ｄは、ＣＣＤイメージセンサ１１が生成する画像データの解像度が例えばＶＧＡフォーマットより大きい場合に、画像データの解像度を低く変換するものである。
【００４４】簡易解像度変換回路２１ｄは、具体的には図４に示すように、色差信号の分離を行うＢ−Ｙ／Ｒ−Ｙ分離回路６１と、水平方向の補間処理を行う水平方向線形補間回路６２と、色差信号の合成を行うＢ−Ｙ／Ｒ−Ｙ合成回路６３と、各信号に１水平走査期間（１Ｈ期間）の遅延を与える１Ｈ遅延回路６４と、垂直方向線形補間回路６５とを備える。
【００４５】Ｂ−Ｙ／Ｒ−Ｙ分離回路６１は、カメラＤＳＰ２１ｃからの画像データからクロマ信号Ｃｂ，Ｃｒである色差信号Ｂ−Ｙ，Ｒ−Ｙをそれぞれ分離して水平方向線形補間回路６２に供給する。水平方向線形補間回路６２は、輝度信号Ｙ，色差信号Ｂ−Ｙ，Ｒ−Ｙにそれぞれ水平方向の補間処理を行って水平方向の解像度を低くして、補間処理済みの輝度信号Ｙ及び色差信号Ｂ−Ｙ，Ｒ−ＹをＢ−Ｙ／Ｒ−Ｙ合成回路６３に供給する。
【００４６】Ｂ−Ｙ／Ｒ−Ｙ合成回路６３は、色差信号Ｂ−Ｙ，Ｒ−Ｙを合成し、水平方向線形補間回路６２からの輝度信号Ｙ及び合成された色差信号Ｂ−Ｙ，Ｒ−Ｙを１Ｈ遅延回路６４及び垂直方向線形補間回路６５に供給する。１Ｈ遅延回路６４は、輝度信号Ｙ及び色差信号Ｂ−Ｙ，Ｒ−Ｙにそれぞれ１Ｈ期間の遅延を与えて垂直方向線形補間回路６５に供給する。垂直方向線形補間回路６５は、Ｂ−Ｙ／Ｒ−Ｙ合成回路６３及び１Ｈ遅延回路６４からの輝度信号Ｙ及び色差信号Ｂ−Ｙ，Ｒ−Ｙに基づいて垂直方向の線形補間処理を行い、この結果、水平方向及び垂直方向の解像度が低くなった輝度信号Ｙ’及び色差信号（Ｂ−Ｙ）’，（Ｒ−Ｙ）’からなる画像データを出力する。
【００４７】また、解像度変換回路２８は、例えば［ｐ×ｑ］の画像データを［ｍ×ｎ］の画像データに変換する解像度変換処理を行うものである。解像度変換回路２８は、主に、ＣＣＤイメージセンサ１１で生成された画像データが高解像度のときに所定の解像度に抑えるために行う処理であるが、低解像度の画像データを高解像度になるように処理してもよい。
【００４８】解像度変換回路２８は、具体的には図５に示すように、画像データバス３３から入力される画像データを記憶する入力バッファ７１と、入力バッファ７１からの画像データを水平方向にバッファリングする水平方向バッファ７２と、水平方向バッファ７２からの画像データに水平方向の解像度変換処理を行う水平方向変換処理回路７３と、水平方向変換処理回路７３からの画像データを垂直方向にバッファリングする垂直方向バッファ７４と、垂直方向の解像度変換処理を行う垂直方向変換処理回路７５と、出力の際にバッファリングをする出力バッファ７６とを備える。
【００４９】なお、解像度変換回路２８は、画像データの解像度変換を行う準備ができたときは、イメージメモリ３２から画像データを読み出すようにメモリコントローラ２２に要求する（リード）リクエスト信号を出力し、さらに、画像データの変換処理後に当該画像データをイメージメモリ３２に書き込むようにメモリコントローラ２２に要求する（ライト）リクエスト信号を出力する。また、解像度変換回路２８は、メモリコントローラ２２が上記リクエスト信号に応答したことを示すアクノリッジ信号を受信する。
【００５０】一方、上記水平方向バッファ７２は、図６に示すように、１画素分の遅延を与える第１の遅延回路８１，第２の遅延回路８２，第３の遅延回路８３を直列に接続して構成される。したがって、第１の遅延回路８１は１画素分遅延した画像データを出力し、第２の遅延回路８２は２画素分遅延した画像データを出力し、第３の遅延回路８３は３画素分遅延した画像データを出力する。
【００５１】水平方向変換処理回路７３は、図６に示すように、第１から第４の乗算器８４，８５，８６，８７と、第１から第３の加算器８８，８９，９０とを備える。場合によっては、加算器９０の後にデータを正規化するための回路が付加される。
【００５２】第１の乗算器８４は、入力バッファ７１から供給される画像データに所定の係数を乗じて加算器８８に供給する。第２の乗算器８５は、第１の遅延回路８１から供給される画像データに所定の係数を乗じて加算器８８に供給する。第３の乗算器８６は、第２の遅延回路８２から供給される画像データに所定の係数を乗じて加算器８９に供給する。第４の乗算器８７は、第３の遅延回路８３から供給される画像データに所定の係数を乗じて加算器９０に供給する。第１の加算器８８は、各画像データを合成して第２の加算器８９に供給する。第２の加算器８９は、各画像データを合成して第３の加算器９０に供給する。第３の加算器９０は、各画像データを合成し、これを水平方向の解像度変換処理済みの画像データとして垂直方向バッファ７４に供給する。
【００５３】以上のように水平方向変換処理回路７３は、１画素分ずつ遅延のある画像データにそれぞれ所定の重み付けを行って合成することによって、水平方向の画素間を補ったり又は間引く処理を行ったりして、水平方向の解像度を変換する。
【００５４】垂直方向バッファ７４は、例えば図６に示すように、１ライン分の遅延を与える第１から第３のバッファメモリ９１，９２，９３を直列に接続して構成される。したがって、第１のバッファメモリ９１は１ライン分遅延した画像データを出力し、第２のバッファメモリ９２は２ライン分遅延した画像データを出力し、第３のバッファメモリ９３は３ライン分遅延した画像データを出力する。
【００５５】垂直方向変換処理回路７５は、図６に示すように、第５から第８の乗算器９４，９５，９６，９７と、第４から第６の加算器９８，９９，１００とを備える。場合によっては、加算器９０の後にデータを正規化するための回路が付加される。
【００５６】第５の乗算器９４は、水平方向変換回路７３から供給される画像データに所定の係数を乗じて第４の加算器９８に供給する。第６の乗算器９５は、第１のラインメモリ９１から供給される画像データに所定の係数を乗じて第４の加算器９８に供給する。第７の乗算器９６は、第２のラインメモリ９２から供給される画像データに所定の係数を乗じて第５の加算器９９に供給する。第８の乗算器９７は、第３のラインメモリ９３から供給される画像データに所定の係数を乗じて第６の加算器１００に供給する。第４の加算器９８は、各画像データを合成して第５の加算器９９に供給する。第５の加算器９９は、各画像データを合成して第６の加算器１００に供給する。第６の加算器１００は、各画像データを合成し、これを垂直方向の解像度変換処理済みの画像データとして出力する。
【００５７】以上のように垂直方向変換処理回路７５は、１ライン分ずつ遅延のある画像データにそれぞれ所定の重み付けを行って合成することによって、垂直方向の画素間を補う処理を行ったり又は間引く処理を行ったりして、垂直方向の解像度を変換する。
【００５８】なお、解像度変換回路２８は、図６において、水平方向の解像度変換処理を行ってから垂直方向の解像度変換処理を行っているが、図７に示すように、垂直方向の解像度変換処理を行ってから水平方向の解像度変換処理を行ってもよい。すなわち、解像度変換回路２８は、入力バッファ７１からの画像データを垂直方向バッファ７４に供給し、垂直方向バッファ７４，垂直方向変換処理回路７５，水平方向バッファ７２，水平方向変換処理回路７３の順に各処理を行うような構成にしてもよい。
【００５９】また、垂直方向バッファ７４における第１から第３のバッファメモリ９１，９２，９３は、１ライン（１Ｈ）分の画像データを記憶することができるとしたが、図８に示すように、１ラインより少ない例えばＮピクセル（ピクセル長Ｎ）の画像データを記憶することができるものであってもよい。このとき、メモリコントローラ２２は、図９に示すように、イメージメモリ３２に記憶されている画像データをＮピクセル毎に読み出す必要がある。
【００６０】具体的には、メモリコントローラ２２は、イメージメモリ３２に記憶されている１画面分の画像データを、各ライン毎にＮピクセルずつ垂直方向に読み出す。ここで、図１０に示すように、１画面はｐ×ｑ［ピクセル］からなり、左上のピクセルの座標を（１，１）、右上のピクセルの座標を（ｐ，１）、左下のピクセルの座標を（１，ｑ）、右下のピクセルの座標を（ｐ，ｑ）とする。
【００６１】メモリコントローラ２２は、図１１に示すように、最初に、水平方向にＮピクセル分の画像データを、１行目，２行目，・・・ｑ行目の順にライン毎に読み出す。これにより、メモリコントローラ２２は、左端からＮピクセル分の画像データ、すなわち（１，１）（１，ｑ）（Ｎ，ｑ）（Ｎ，１）で囲まれる範囲（Ｎ×ｑピクセル分）の画像データ（以下、「画像データ群（１）」という。）を読み出す。
【００６２】メモリコントローラ２２は、次に、（Ｎ−１，１）（Ｎ−１，ｑ）（Ｎ−２，ｑ）（Ｎ−２，１）で囲まれる範囲の画像データ（以下、「画像データ群（２）」という。以下同様。）を読み出す。ここで、メモリコントローラ２２は、列（１）及び画像データ群（２）を読み出すと、（Ｎ−１）列目及びＮ列目の画像データを２度読み出すことになる。
【００６３】この理由は、垂直方向変換処理回路７５は、周辺のピクセルから補間処理を行うため、第１から第３のバッファメモリ９１，９２，９３の最初と最後に記憶されているピクセルについては処理結果の対象としないからである。例えば、（Ｎ，１）のピクセルは、画像データ群（１）が読み出されたときは、垂直方向の補間処理結果の対象とならない。しかし、この（Ｎ，１）のピクセルは、画像データ群（２）が読み出されるときにも読み出され、このときに補間処理結果の対象となる。
【００６４】同様にして、メモリコントローラ２２は、直前の画像データ群のうち最後の２列目分の画像データを含むようにして水平方向にＮピクセル分の画像データを各ライン毎に読み出し、これにより、画像データ群を解像度変換回路２８に供給する。
【００６５】解像度変換回路２８の垂直方向バッファ７４には、第１から第３のバッファメモリ９１，９２，９３の容量に合致した画像データが各ライン毎に供給される。したがって、第１から第３のバッファメモリ９１，９２，９３には、それぞれ１ラインずつずれた画像データが記憶されることになる。垂直方向変換処理回路７５は、垂直方向バッファ７４の第１から第３のバッファメモリ９１，９２，９３からの各画像データに基づいて、垂直方向の解像度変換処理を行うことができる。
【００６６】以上のように、メモリコントローラ２２は、垂直方向画像度変換に必要なバッファメモリの容量が１ライン分に満たなくても、バッファメモリの容量に合わせて読み出しを行うことによって、解像度変換回路２８に垂直方向の解像度変換を行わせることができる。
【００６７】なお、ここでは、画像データ群の間の読み出し重複は２列となっているが重複が２列より大きい場合や、重複がない場合も考えられる。また、解像度変換に限らず、カメラ信号処理等の画像信号処理にも適用される。
【００６８】また、ここでは、バッファメモリが垂直方向の補間処理に用いられている場合を例に挙げて説明したが、バッファメモリが水平方向の補間処理に用いられている場合であっても同様である。
【００６９】すなわち、例えば図１２に示すように、解像度変換回路２８がＮピクセル分の容量のバッファメモリからなる水平方向バッファ７２ａを用いて水平方向の解像度変換を行う場合であってもよい。メモリコントローラ２２は、図１３に示すように、垂直方向にＮピクセル分の画像データを、１列目，２列目，・・・ｐ行目の順に各列毎に読み出せばよい。なお、メモリコントローラ２２は、上述した垂直補間処理の場合と同様に、バッファメモリの最初と最後に記憶される画像データに対しては、水平補間処理の対象になるように２度読み出す必要がある。
【００７０】このように、メモリコントローラ２２は、Ｎピクセル分のデータ容量からなる第１から第３のバッファメモリ９１，９２，９３に対しても、水平方向及び垂直方向の解像度変換処理が行われるように、イメージメモリ３２から画像データを読み出すことができる。これにより、水平方向バッファ７２及び垂直方向バッファ７４の回路規模を小さくして生産コストを削減することができる。
【００７１】ＮＴＳＣ／ＰＡＬエンコーダ２３は、上述したエンコードを行うだけでなく、エンコード処理を行う前に必要に応じて画像データの解像度を高くする簡易解像度変換回路２３ａを有する。
【００７２】簡易解像度変換回路２３ａは、イメージメモリ３２上の画像データが表示に必要な解像度より低い場合に、ファインダ３６の表示規格に合うような解像度変換を行う。
【００７３】簡易解像度変換回路２３ａは、具体的には図１４に示すように、画像データバス３３からの画像データを記憶するラインメモリ１０１と、垂直方向に画像データの補間処理を行う垂直方向線形補間回路（以下、「Ｖ方向線形補間回路」という。）１０２と、水平方向補間回路１０３とを備える。
【００７４】ラインメモリ８１は、入力端子inからの画像データを１ライン分記憶し、かかる画像データを記憶した順に垂直方向線形補間回路８２に供給する。垂直方向線形補間回路８２は、上記入力端子inからの画像データと垂直方向線形補間回路８２からの画像データに所定の重み付けをすることにより垂直方向の線形補間をする。次に水平方向の補間として、Ｙは７次のフィルタ、Ｃｂ，Ｃｒは３次のフィルタによる補間を行っており、これは解像度を２倍に上げる補間のみである。そして、画像データを出力端子outを介して出力する。
【００７５】例えば、上記入力端子inから入力される画像データをａ、ラインメモリ１０１から読み出される画像データをｂ、重み付けを行うための係数をｇ（０≦ｇ≦１）、Ｖ方向線形補間回路１０２が出力する画像データをｃとすると、Ｖ方向線形補間回路１０２は以下の演算を行う。
【００７６】ｃ＝ｇ＊ａ＋（１−ｇ）＊ｂなお、出力端子out から出力された画像データは、上述したように、エンコード処理される。
【００７７】以上のように、ディジタル・スチル・カメラ１は、信号処理系においては信号処理部２０とＣＰＵ４１とのいわゆる２チップで構成されている。したがって、各信号処理回路がそれぞれチップ構成となっている複数チップの場合に比べて、基板面積を縮小することができ、さらに消費電力を削減することができる。
【００７８】また、信号処理部２０は、ＣＰＵを含めたチップ構成となっていないので、ＣＰＵ４１に関わるアプリケーションの変更が生じた場合でもそれに対応して信号処理を行うことができる。すなわち、ＣＰＵを含めたチップ構成の場合、当該ＣＰＵのアプリケーションの変更が生じたときにはそれに対応してチップの再構成をすることは不可能である。しかし、上記信号処理部２０は、アプリケーション毎に最適な構成のＣＰＵを用いて、所定の信号処理を行うことができる。
【００７９】かかる構成のディジタル・スチル・カメラ１は、撮影前に被写体の状態や位置等を確認するためのファインダモード、確認した被写体の映像を撮影する記録モード、撮影された被写体像の写りを確認するための再生モードを有し、各モードに応じて処理を行う。
【００８０】ファインダモードでは、ユーザは、図示しないシャッタボタンを押圧して被写体を撮影する前に、ファインダ３６に表示される被写体の様子を観察する必要がある。このファインダモードでは、ＣＰＵ４１は、メモリコントローラ２２やその他各回路を以下のように制御する。なお、各モードの説明については主に図３を用い、適宜図１５を参照するものとする。
【００８１】上記ファインダモードにおいて、ＣＣＤイメージセンサ１１は、垂直方向成分を１／３に間引いた画像信号を生成し、Ｓ／Ｈ−Ａ／Ｄ回路１２を介してディジタル化された画像データをＣＣＤインターフェース２１ａに供給する。
【００８２】ＣＣＤインターフェース２１ａは、図１５（Ａ）に示すクロックに同期して、信号処理を行う。具体的には、ＣＣＤインターフェース２１ａは、図１５（Ｂ）に示すように、画像生成部１０から供給される画像データの水平方向成分を１／３に間引く処理をし、さらに、ガンマ補正等を行ってカメラＤＳＰ２１ｃに供給する。ＣＣＤインターフェース２１ａは、１／３間引きの結果、３４０×２５６に変換した画像データをカメラＤＳＰ２１ｃに供給する。
【００８３】カメラＤＳＰ２１ｃは、図１５（Ｃ）に示すように、間引き処理後の画像データにデータ変換処理を行って、ＹＣｒＣｂの画像データに変換する。カメラＤＳＰ２１ｃは、さらに簡易解像度変換回路２１ｄにおいて画像データの解像度を低くすべく解像度変換をして（３４０×２５６→３２０×２４０）、かかる変換処理後の画像データを画像データバス３３を介してメモリコントローラ２２に供給する。
【００８４】ここで、簡易解像度変換回路２１ｄは、後の処理に必要な程度に簡易的に解像度を低くしている。これにより、ＣＣＤイメージセンサ１１で生成される画像データが高解像度であっても、画像データバス３３において上記画像データが占める転送帯域を小さくすることにより画像データバス３３の渋滞を回避し、ファインダモードのリアルタイム性を維持することができる。
【００８５】メモリコントローラ２２は、上記画像データをイメージメモリ３２に書き込み、さらに、図１５（Ｄ）に示すように、イメージメモリ３２から画像データを読み出し、画像データバス３３を介してＮＴＳＣ／ＰＡＬエンコーダ２３に供給する。メモリコントローラ２２は、同時に、図１５（Ｅ）に示すように、イメージメモリ３２に記憶されているＯＳＤデータも読み出し、画像データバス３３を介してＮＴＳＣ／ＰＡＬエンコーダ２３に供給する。図１５（Ｆ）は上記のリアルタイム処理を可能とする画像データバス３３上の転送の様子を示す。
【００８６】ＮＴＳＣ／ＰＡＬエンコーダ２３は、画像データバス３３から供給される画像データにＮＴＳＣ方式の場合は３２０×２４０→６４０×２４０、ＰＡＬ方式の場合は３２０×２４０→６４０×２８８の解像度変換処理を行って、変換処理後の画像データをＮＴＳＣ／ＰＡＬエンコーダ２３に供給する。ＮＴＳＣ／ＰＡＬエンコーダ２３は、さらに、画像データをＮＴＳＣ方式あるいはＰＡＬ方式に変換してＯＳＤデータを合成し、これを図２に示すファインダ３６に供給する。これにより、ファインダ３６には、被写体の画像及び字幕情報等がリアルタイムで表示される。
【００８７】なお、ＮＴＳＣ／ＰＡＬエンコーダ２３は、解像度が小さいものに対してはそれが大きくなるように解像度変換を行い、例えば３２０×２００の画像データが供給された場合にも、ＮＴＳＣ方式の場合６４０×２４０、ＰＡＬ方式の場合６４０×２８８の画像データに変換して出力する。
【００８８】以上のように、ディジタル・スチル・カメラ１は、ファインダモードにおいては、図１５（Ｆ）に示すタイミングで、ＣＣＤイメージセンサ１１で生成された画像データの解像度を簡易的に低くしてデータ量を減らし、画像データが画像データバス３３の帯域制限内に収まるようにして、さらに表示に必要なだけ出力段階で解像度を高くしてファインダ３６に表示している。
【００８９】これにより、ディジタル・スチル・カメラ１は、画像データが高解像度であっても、比較的処理時間を要する大がかりな間引き処理を行うことなく画像データバス３３の帯域制限内に抑えることによって、リアルタイムで被写体の画像をファインダ３６に表示させることができる。
【００９０】なお、ＣＰＵ４１は、予め優先して処理を行う回路（ＣＣＤインターフェース２１ａ，カメラＤＳＰ２１ｃ，ＮＴＳＣ／ＰＡＬエンコーダ２３）を設定しておき、時分割で、これらの回路の他に他の回路でも信号処理をしている場合には、画像データのデータ量に応じて優先度の高い上記各回路の処理を優先して行うようにしてもよい。
【００９１】また、簡易解像度変換部２１ｄは、ＣＰＵ４１の制御に基づいて、画像データのデータ量が大きいときは、リアルタイムで処理することを優先すべく、画質を多少落として高速にデータ処理を行うようにすることもできる。これにより、ファインダモードでは、画像生成部１０で生成される画像データのデータ量が多くても、よりリアルタイムで処理を行うことができる。
【００９２】また、電子ズーム機能を備えるディジタル・スチル・カメラ１の場合には、ＣＰＵ４１は、以下のようにして各回路を制御してもよい。
【００９３】メモリコントローラ２２は、ＣＣＤインターフェース２１ａ，カメラＤＳＰ２１ｃを介して供給される画像データをイメージメモリ３２に書き込み、そして、イメージメモリ３２から当該画像データを読み出して解像度変換回路２８に供給する。解像度変換回路２８は、電子ズーム機能によって入力した画像の一部分を拡大した画像データを作成し、イメージメモリ３２へ出力する。この画像データをイメージメモリ３２から読み出し、ＮＴＳＣ／ＰＡＬエンコーダ２３を介してファインダ３６に出力する。これにより、電子的にズーム処理された画像データを生成することができる。
【００９４】上述したように、ファインダモードでは、ＣＰＵ４１は、リアルタイム性を最優先するため、比較的時間のかかる処理を各回路に行わせていない。しかしながら、ＣＰＵ４１は、画像データバス３３の転送帯域の許す範囲内であれば、メモリコントローラ２２やその他の回路に様々な処理を行わせてもよい。
【００９５】例えば、メモリコントローラ２２は、ＣＣＤインターフェース２１ａ等から供給された画像データを記憶するイメージメモリ３２から、当該画像データを読み出し、画像データバス３３を介してＮＴＳＣ／ＰＡＬエンコーダ２３に供給するとともにＪＰＥＧエンコーダ／デコーダ２９にも供給してもよい。このとき、ファインダ３６はリアルタイムで被写体の映像を表示する一方、ＪＰＥＧエンコーダ／デコーダ２９は画像データのＪＰＥＧ圧縮処理を行う。
【００９６】ＪＰＥＧエンコーダ／デコーダ２９は、静止画像の圧縮／伸張処理を行うものであり、高画素の画像をリアルタイムで処理をすることはできない。そこで、ＪＰＥＧエンコーダ／デコーダ２９は、画像データバス３３から供給される画像データのコマ数（フレーム数又はフィールド数）を所定数ずつ間引いて圧縮処理を行ったり、また、画像の一部を切り取って解像度を低くして圧縮処理を行ってもよい。これにより、コマ落としの静止画像を連続して撮影したり、解像度の低い静止画像を連続して撮影することができる。
【００９７】ユーザは、上述したファインダモードにおいてファインダ３６に表示される被写体の様子を観察し、被写体を撮影すると決定すると、次に図示しないシャッタボタンを押圧する。
【００９８】ディジタル・スチル・カメラ１は、上記シャッタボタンが押圧されると、記録モードに移行する。記録モードになると、ＣＰＵ４１は、ファインダモードの制御を行いながら、撮影された被写体の画像を記録装置５１に記録すべく、メモリコントローラ２２やその他各回路を以下のように制御する。
【００９９】ＣＣＤイメージセンサ１１は、シャッタボタンの押圧に同期して間引き処理を停止して、ＸＧＡフォーマットの画像信号を生成し、Ｓ／Ｈ−Ａ／Ｄ回路１２を介してディジタル化された画像データをＣＣＤインターフェース２１ａに供給する。
【０１００】ＣＣＤインターフェース２１ａは、Ｓ／Ｈ−Ａ／Ｄ回路１２から供給される画像データを、カメラＤＳＰ２１ｃでなく、画像データバス３３を介してメモリコントローラ２２に供給する。メモリコントローラ２２は、画像データをイメージメモリ３２に書き込んだ後、当該画像データを読み出し、画像データバス３３を介してカメラＤＳＰ２１ｃに供給する。カメラＤＳＰ２１ｃは、ＲＧＢからなる画像データをＹ，Ｃｂ，Ｃｒからなる画像データに変換する。
【０１０１】ここで、カメラＤＳＰ２１ｃには、イメージメモリ３２に一度書き込まれた画像データが供給される。すなわち、カメラＤＳＰ２１ｃは、ＣＣＤインターフェース２１ａから直接供給される画像データではなく、イメージメモリ３２からの画像データに対してデータ変換処理を行う。したがって、カメラＤＳＰ２１ｃは、高速にデータ変換処理を行う必要はなく、画像データバス３３が空いているときにかかる処理を実行してもよい。換言すると、記録モードでは、カメラＤＳＰ２１ｃは、リアルタイムで処理する必要がないので、画像データに対して処理速度より画質の向上を優先してデータ変換処理を行い、かかる変換処理済みの画像データを画像データバス３３を介してメモリコントローラ２２に供給する。メモリコントローラ２２は、この画像データをイメージメモリ３２に書き込む。
【０１０２】メモリコントローラ２２は、イメージメモリ３２から上記画像データを読み出してＪＰＥＧエンコーダ／デコーダ２９に供給する。ＪＰＥＧエンコーダ／デコーダ２９は、画像データをＪＰＥＧ圧縮して、ＣＰＵバス３４を介して、図２に示す記録装置５１に書き込む。
【０１０３】以上のように、ＣＰＵ４１は、記録モードの時のように、リアルタイムで処理を行う必要のない場合には、一度画像データをイメージメモリ３２に書き込んでから所定の処理を行うことによって、回路規模の増大を防ぎつつ画像データバス３３の転送帯域を有効に利用して高画素の画像を処理することができる。
【０１０４】なお、ＣＰＵ４１は、上記記録モードにおいて、ＸＧＡフォーマットの画像データをそのまま記録装置５１に記録していたが、解像度変換回路２８で画像データの解像度変換を行ってから記録装置５１に記録してもよい。具体的には、ＣＰＵ４１は、メモリコントローラ２２を介してイメージメモリ３２から読み出した画像データを、解像度変換回路２８にＶＧＡに対応するように解像度変換を行わせて（１０２４×７６８→６４０×４８０）、かかる画像データをＪＰＥＧエンコーダ／デコーダ２９に圧縮させてから記録装置５１に記録してもよい。
【０１０５】ユーザは、被写体の撮影後、撮影した画像を確認したいときには、撮影した画像を再生すべく、図示しない再生ボタンを押圧する。
【０１０６】ディジタル・スチル・カメラ１は、上記再生ボタンが押圧されると、再生モードに移行する。そして、再生モードになると、ＣＰＵ４１は、撮影された被写体の画像データを記録装置５１から読み出すべく、各回路を以下のように制御する。
【０１０７】ＣＰＵ４１は、上記再生ボタンの押圧を検出すると、記録装置５１から画像データを読み出して一時ＤＲＡＭ４２に格納した後、ＣＰＵバス３４を介してＪＰＥＧエンコーダ／デコーダ２９に供給する。ＪＰＥＧエンコーダ／デコーダ２９は、記録装置５１から読み出された画像データにＪＰＥＧ伸張処理を行ってＸＧＡフォーマットの画像データを得て、画像データバス３３を介してメモリコントローラ２２に供給する。
【０１０８】メモリコントローラ２２は、上記画像データをイメージメモリ３２に書き込み、さらに、当該画像データをイメージメモリ３２から読み出して、画像データバス３３を介して解像度変換回路２８に供給する。
【０１０９】解像度変換回路２８は、画像データがＶＧＡフォーマットに対応するように解像度変換を行い（ＮＴＳＣ方式では１０２４×７６８→６４０×４８０、ＰＡＬ方式では１０２４×７６８→６４０×５７６）、画像データバス３３を介してメモリコントローラ２２に供給する。メモリコントローラ２２は、解像度変換処理済みの画像データをイメージメモリ３２に書き込み、そして、当該画像データをイメージメモリ３２から読み出して、ＮＴＳＣ／ＰＡＬエンコーダ２３を介してファインダ３６に供給する。これにより、ファインダ３６には、記録装置５１に記録されていた画像データに基づく画像が表示される。
【０１１０】すなわち、ＣＰＵ４１は、記録装置５１に記録されいる画像データの解像度が高いので、この解像度を低くしてから画像データをファインダ３６に供給している。
【０１１１】また、ＣＰＵ４１は、ファインダモード，記録モード，再生モードの各モードについてそれぞれ優先して処理する回路の優先順位を決定しておき、いずれかのモードに移行した場合に上記優先順位に従って各回路に処理を実行させてもよい。これにより、各モードの処理内容に応じて画像データの信号処理を効率的に行うことができる。
【０１１２】上述した実施の形態では、ＸＧＡ相当の画像データを処理する場合を例に挙げて説明したが、本発明は、これに限定されず、例えば１００万画素以上からなる画像データを処理する場合についても適用することができるのは勿論である。
【０１１３】
【発明の効果】以上詳細に説明したように、本発明に係る画像処理装置によれば、遅延手段を構成する各バッファメモリの記憶容量を少なくし、記憶手段から、水平方向又は垂直方向にＮ画素分の画像データを１行毎又は１列毎に繰り返し読み出すことによって水平方向又は垂直方向におけるＮ画素分の画像データを垂直方向又は水平方向に全て読み出すことを１枚分の画像データ全体に対して行って上記遅延手段に供給することによって、上記画像処理手段において上記各バッファメモリからの画像データに基づいて画像処理を行うことができる。すなわち、バッファメモリの記憶容量を少なくしても任意のサイズの画像データの信号処理を行うことができるので、上記遅延手段の回路規模を縮小してコストを削減することができる。
【図面の簡単な説明】
【図１】本発明を適用したディジタル・スチル・カメラの構成を示すブロック図である。
【図２】上記ディジタル・スチル・カメラの概略構成を示すブロック図である。
【図３】上記ディジタル・スチル・カメラの信号処理部における画像データの流れを説明するためのブロック図である。
【図４】上記信号処理部の入力処理回路における簡易解像度変換回路の構成を示すブロック図である。
【図５】上記信号処理部の解像度変換回路の構成を示すブロック図である。
【図６】上記解像度変換回路の水平方向バッファ，水平方向変換処理回路，垂直方向バッファ，垂直方向変換処理回路の具体的な構成を示すブロック図である。
【図７】上記解像度変換回路の他の構成を示すブロック図である。
【図８】上記解像度変換回路の垂直方向バッファの構成を示すブロック図である。
【図９】メモリコントローラがイメージメモリから画像データ読み出すときの手法について説明する図である。
【図１０】１画面を構成するピクセルの座標位置を説明する図である。
【図１１】メモリコントローラがイメージメモリから画像データ読み出すときの手法について説明する図である。
【図１２】上記解像度変換回路の水平方向バッファがラインバッファから構成されているときの構成を示すブロック図である。
【図１３】メモリコントローラがイメージメモリから画像データ読み出すときの手法について説明する図である。
【図１４】上記信号処理部のＮＴＳＣ／ＰＡＬエンコーダにおける簡易解像度変換回路の構成を示すブロック図である。
【図１５】ファインダモードにおける各回路の信号処理の内容を説明するタイミングチャートである。
【図１６】従来のディジタル・スチル・カメラの構成について説明するブロック図である。
【図１７】上記ディジタル・スチル・カメラの解像度変換回路における垂直方向バッファの構成を示すブロック図である。
【図１８】画像データの大きさを示す図である。
【符号の説明】
１ ディジタル・スチル・カメラ、２０ 信号処理部、２１ 入力処理回路、２２ メモリコントローラ、２３ ＮＴＳＣ／ＰＡＬエンコーダ、２８ 解像度変換回路、３２ イメージメモリ、３３ 画像データバス、３４ ＣＰＵバス、４０ 制御部、４１ ＣＰＵ
【０００１】
【発明の属する技術分野】本発明は、静止画撮像装置に用いて好適な画像処理装置に関し、特に回路規模を削減した画像処理装置に関する。
【０００２】
【従来の技術】ディジタル・スチル・カメラは、ＣＣＤイメージセンサで得られた画像データをメモリや記録媒体に取り込み、その後画像データをいわゆるパーソナル・コンピュータ等に転送している。このようなディジタル・スチル・カメラは、今までは、ＶＧＡ(Video Graphics Array)システム対応型のものがほとんどであった。
【０００３】例えば図１６に示すように、かかるディジタル・スチル・カメラ２００は、画像信号を生成するＣＣＤイメージセンサ２０１と、入力処理／画像処理回路２０２と、画像データの読み出し又は書き込みの処理を行うメモリコントローラ２０３と、所定の方式の出力画像に変換する出力処理回路２０４と、撮影時の被写体の状況を表示するファインダ２０５と、ＣＰＵバス２０６を介して、圧縮された画像データを記録する記録部２０７と、画像データの圧縮又は伸張処理を行う圧縮／伸張回路２０８と、画像データを記憶すべく例えばＤＲＡＭ等からなるメモリ２０９と、装置全体を制御するＣＰＵ２１０とを備える。
【０００４】被写体の撮影開始前においては、ユーザは、ファインダ２０５に表示される被写体像を確認する必要がある（ファインダモード）。このとき、ＣＣＤイメージセンサ２０１は、被写体からの撮像光によって光電変換して得られた画像信号を入力処理／画像処理回路２０２に供給する。入力処理／画像処理回路２０２は、例えば上記画像信号に相関二重サンプリング処理を行ってディジタル化し、さらにガンマ補正，ニー処理，カメラ処理等の所定の信号処理を行って、メモリコントローラ２０３に供給する。メモリコントローラ２０３は、ＣＰＵ２１０の制御に応じて、入力処理／画像処理回路２０２からの画像データを出力処理回路２０４に供給する。出力処理回路２０４は、画像データを例えばＮＴＳＣ(NationalTelevision System Committee)方式にエンコードし、さらにアナログ化してファインダ２０５に供給する。これにより、ファインダ２０５には、撮影の対象たる被写体が表示される。
【０００５】一方、ユーザが図示しないシャッタボタンを押して記録モードに移行すると、メモリコントローラ２０３は、入力処理／画像処理回路２０２から供給される画像データをメモリ２０９に書き込む。ＣＰＵ２１０は、メモリ２０９から画像データを読み出し、当該画像データを圧縮／伸張回路２０８において例えばＪＰＥＧ(Joint Photographic Experts Group)圧縮処理を行って、記録部２０７に記録する。
【０００６】また、ユーザの所定の操作によって再生モードに移行すると、ＣＰＵ２１０は、記録部２０７から画像データを読み出し、当該画像データを圧縮／伸張回路２０８においてＪＰＥＧ伸張処理を行った後、メモリコントローラ２０３，出力処理回路２０４を介してファインダ２０５に供給する。かくして、ファインダ２０５には、撮影された画像が表示されることになる。
【０００７】
【発明が解決しようとする課題】入力処理／画像処理回路２０２は、水平方向及び垂直方向における画像処理機能を有し、ＣＣＤイメージセンサ２０１から供給される画像データの信号をＹ，Ｃｂ，Ｃｒの信号に変換する。入力処理／画像処理回路２０２は、水平方向バッファと、水平方向画像処理回路と、垂直方向バッファと、垂直方向画像処理回路とを備える。
【０００８】水平方向バッファは、画像データをバッファリングして、例えば１画素，２画素，３画素分遅延した画像データをそれぞれ上記水平方向画像処理回路に供給する。水平方向画像処理回路は、上記各画像データに所定の係数を乗じて合成することによって水平方向の画像処理を行う。垂直方向バッファは、１ライン，２ライン，３ライン分遅延した画像データを、それぞれ上記垂直方向画像処理回路に供給する。垂直方向画像処理回路は、垂直方向バッファからの各画像データに所定の係数を乗じて合成することによって垂直方向の画像処理を行う。
【０００９】ここで、例えば図１７に示すように、上記垂直方向バッファ２０２ａは、垂直タップ数に対応した数のラインバッファを備え、これらのラインバッファを直列に接続して構成される。これらのラインバッファには、入力される画像データの水平サイズに対応した分の画像データが記憶される。
【００１０】入力処理／画像処理回路２０２に供給される画像データが例えば図１８に示す画像Ａのサイズの場合、図１７に示すように、画像Ａの画像データはラインバッファの約１／２を占有する。同様に、画像Ｂの画像データはラインバッファの約２／３を占有し、画像Ｃの画像データはラインバッファの全部を占有する。
【００１１】このように、ラインバッファは、少なくとも画像データの１ライン分を記憶することができる容量を備えていなければならない。したがって、画像データのサイズが大きくなればなるほど垂直方向バッファの回路規模が大きくなって、生産コストが高くなるという問題が生じる。本発明は、このような実情を鑑みて提案されたものであり、画像データのサイズ大きくなっても回路規模を縮小しかつ生産コストを抑制することができる画像処理装置を提供することを目的とする。
【００１２】
【課題を解決するための手段】上述の課題を解決するために、本発明に係る画像処理装置は、少なくとも１枚の画像データを記憶する記憶手段と、上記記憶手段から、水平方向又は垂直方向にＮ画素分の画像データを１行毎又は１列毎に繰り返し読み出すことによって水平方向又は垂直方向におけるＮ画素分の画像データを垂直方向又は水平方向に全て読み出すことを、上記１枚分の画像データ全体に対して行う読出し手段と、Ｎ画素分の画像データを記憶するバッファメモリが直列に接続され、上記読出し手段によって読み出された画像データが上記直列に接続されたバッファメモリの一方に入力されて、各バッファメモリから遅延した画像データを出力する遅延手段と、上記遅延手段の各バッファメモリが出力する画像データに重み付けを行って合成することによって水平方向又は垂直方向の画像データの画像処理を行う信号処理手段とを備える。
【００１３】上記画像処理装置では、遅延手段を構成する各バッファメモリの記憶容量を少なくし、記憶手段から、水平方向又は垂直方向にＮ画素分の画像データを１行毎又は１列毎に繰り返し読み出すことによって水平方向又は垂直方向におけるＮ画素分の画像データを垂直方向又は水平方向に全て読み出すことを１枚分の画像データ全体に対して行って上記遅延手段に供給することによって、上記画像処理手段において上記各バッファメモリからの画像データに基づいて画像処理を行う。
【００１４】
【発明の実施の形態】以下、本発明の実施の形態について、図面を参照しながら説明する。
【００１５】本発明は、例えば図１に示す構成のディジタル・スチル・カメラ１に適用される。ディジタル・スチル・カメラ１は、画像信号を生成する画像生成部１０と、画像データに所定の信号処理を行う信号処理部２０と、ＳＤＲＡＭからなるイメージメモリ３２と、信号処理部２０の制御を行う制御部４０とを備える。
【００１６】画像生成部１０は、画像信号を生成する個体撮像素子、例えばＣＣＤイメージセンサ１１と、上記画像信号にサンプルホールド処理及びディジタル化処理を行って画像データを出力するサンプル／ホールド−アナログ／ディジタル回路（以下、「Ｓ／Ｈ−Ａ／Ｄ回路」という。）１２と、タイミング信号を発生するタイミングジェネレータ１３とを備える。このタイミングジェネレータ１３は、信号処理部２０から供給される同期信号に基づいて、画像生成部１０の各回路を制御する水平同期信号及び垂直同期信号を発生するものである。
【００１７】ＣＣＤイメージセンサ１１は、例えば８０万画素からなるＸＧＡ（eXtendedGraphics Array：１０２４×７６８）相当の画像データを生成する。ＣＣＤイメージセンサ１１は、タイミングジェネレータ１３からの同期信号に基づいて駆動され、毎秒３０フレームの画像信号を出力する。なお、ＣＣＤイメージセンサ１１は、画像信号の間引き機能を有し、制御部４０の制御に従って、画像信号の垂直方向成分を１／２，１／３，１／４・・・に間引いて出力することができる。
【００１８】Ｓ／Ｈ−Ａ／Ｄ回路１２も、上記タイミングジェネレータ１３からの同期信号に基づき、所定のサンプリング間隔でサンプルホールド及びＡ／Ｄ変換処理を行い、この画像データを信号処理部２０に供給する。
【００１９】信号処理回路２０は、１個のＬＳＩ(Large Scale Integrated circuit)によって構成される。信号処理部２０は、画像生成部１０からの画像データに入力処理とカメラ処理を行う入力処理回路２１と、イメージメモリ３２に対する画像データの読み出し／書き込みを制御するメモリコントローラ２２と、ＮＴＳＣ／ＰＡＬ(Phase Alternation by Line) エンコーダ２３と、画像データをアナログ化して外部に出力するＤ／Ａコンバータ２４と、同期信号を発生してタイミングジェネレータ１３に供給するシンク・ジェネレータ２６とを備える。
【００２０】また、信号処理部２０は、イメージメモリ３２のインターフェースであるメモリインターフェース２７と、画像データの解像度変換処理を行う解像度変換回路２８と、画像データの圧縮／伸張処理を行うＪＰＥＧ(Joint Photographic Experts Group)エンコーダ／デコーダ２９と、ＪＰＥＧエンコーダ／デコーダ２９のインターフェースであるＪＰＥＧインターフェース３０と、制御部４０の後述するＣＰＵとデータの送受信を行うためのインターフェースであるホスト・インターフェース３１とを備える。
【００２１】入力処理回路２１は、Ｓ／Ｈ−Ａ／Ｄ回路１２からの画像データにディジタルクランプ，シェーディング補正，アパーチャ補正、ガンマ補正，色処理等を行って、メモリコントローラ２２に供給する。入力処理回路２１は、入力データを信号処理してＹ，Ｃｂ，Ｃｒに変換する機能を持つ。入力処理回路２１は、画像データの解像度が例えばＶＧＡ(Video Graphics Array)フォーマットよりも大きいときは、その解像度を低くする処理も行うことができる。また、入力処理回路２１は、オート・フォーカス，オート・アイリスの検波処理を行って、そのデータを制御部４０に送り、フォーカス機構，アイリス機構の自動調整を行う。さらに、入力処理回路２１は、画像データを構成する３原色信号の信号レベルを検出してオートホワイトバランス調整も行う。メモリコントローラ２２は、入力処理回路２１や他の回路から供給される画像データをメモリインターフェース２７を介してイメージメモリ３２に書き込み、また、イメージメモリ３２の画像データをメモリインターフェース２７を介して読み出す制御を行う。このとき、メモリコントローラ２２は、イメージメモリ３２に記憶された画像データに基づいて、ＣＣＤイメージセンサ１１に欠陥画素があるかを検出することも行う。
【００２２】メモリコントローラ２２は、イメージメモリ３２から読み出した画像データを例えばＮＴＳＣ／ＰＡＬエンコーダ２３に供給する。ＮＴＳＣ／ＰＡＬエンコーダ２３は、メモリコントローラ２２から画像データ供給されると、この画像データにＮＴＳＣ方式又はＰＡＬ方式のエンコードを行ってＤ／Ａコンバータ２４に供給する。Ｄ／Ａコンバータ２４は、かかる画像データをアナログ化して外部端子２５を介して出力する。
【００２３】メモリコントローラ２２は、メモリコントローラ２２から読み出した画像データを解像度変換回路２８に供給して解像度変換処理を行わせ、また、解像度変換回路２８が出力する解像度変換済みの画像データをイメージメモリ３２に書き込む。
【００２４】メモリコントローラ２２は、ＪＰＥＧインターフェース３０を介して画像データをＪＰＥＧエンコーダ／デコーダ２９に供給して静止画の圧縮処理を行わせ、さらに、ＪＰＥＧエンコーダ／デコーダ２９で伸張処理された画像データをイメージメモリ３２に書き込むことも行う。
【００２５】イメージメモリ３２は、上述のように画像データを記憶するだけでなく、いわゆるキャラクタジェネレータのデータであるＯＳＤ(On Screen Display) データも記憶する。ここにいうＯＳＤデータは、ビットマップデータからなる。メモリコントローラ２２は、上記ＯＳＤデータの読み出し／書き込みも制御している。なお、画像データとＯＳＤデータとの合成は、ＮＴＳＣ／ＰＡＬエンコーダ２３において行われる。
【００２６】上記制御部４０は、信号処理部２０の各回路を制御するＣＰＵ(Central Processing Unit) ４１と、画像データやその他の制御データを一時格納するＤＲＡＭ(Dynamic Random Access Memory)４２と、ＣＰＵ４１の制御プログラムが記憶されているＲＯＭ(Read Only Memory)４３と、例えばフラッシュメモリからなる記録装置５１と画像データをやりとりするためのインターフェースであるフラッシュメモリ・インターフェース４４と、例えばIrLED からなる通信回路５２のインターフェースであるIrDAインターフェース４５とを備える。
【００２７】例えば、ＣＰＵ４１は、ＪＰＥＧエンコーダ／デコーダ２９で圧縮された画像データを、フラッシュメモリ・インターフェース４４を介してフラッシュメモリからなる記録装置５１に書き込み、また、この記録装置５１から画像データを読み出してＪＰＥＧエンコーダ／デコーダ２９に供給する。また、ＣＰＵ４１は、ＪＰＥＧエンコーダ／デコーダ２９からの画像データや記録装置５１から読み出した画像データを、IrDAインターフェース４５，通信回路５２を介して赤外光として外部に出力する。
【００２８】ここで、上記ディジタル・スチル・カメラ１の簡略的な構成を図２に示す。
【００２９】入力処理回路２１は、ＣＣＤイメージセンサ１１からの画像データを画像データバス３３を介してイメージメモリ３２に供給する。ＮＴＳＣ／ＰＡＬエンコーダ２３は、イメージメモリ３２からの画像データを所定のエンコード処理を行ってファインダ３６に供給する。これにより、ファインダ３６には、被写体の映像が表示される。なお、上記ファインダ３６は、ＶＧＡフォーマットまでの画像データに対応して画像を表示するものである。
【００３０】また、メモリコントローラ２２は、イメージメモリ３２と画像データバス３３につながる各信号処理回路の間のデータ転送を行う。解像度変換回路２８は、イメージメモリ３２からの画像データの解像度変換処理を行い、結果をイメージメモリ３２に供給する。ＪＰＥＧエンコーダ／デコーダ２９は、イメージメモリ３２からの画像データをＪＰＥＧ方式で圧縮し、ＣＰＵバス３４を介してＣＰＵ４１に供給する。ＣＰＵ４１は、かかる圧縮処理済みの画像データをＣＰＵバス３４を介して記録装置５１に書き込む。また、ＣＰＵ４１は、圧縮処理済みの画像データを、ＣＰＵバス３４，通信回路５２を介して、外部に出力することもできる。
【００３１】このように、図２によると、信号処理部２０では、各回路は画像データバス３３を介して接続されている。上記画像データバス３３は、仮想的なバスであり、上記各回路でやりとりする画像データの転送帯域に限界があることを示すものである。
【００３２】信号処理部２０において、ＮＴＳＣ／ＰＡＬエンコーダ２３や解像度変換回路２８等その他各回路は、画像データを処理を開始する前に、画像データを要求することを示すリクエスト信号(request)をメモリコントローラ２２に送信する。また、これらの各回路は、画像データの処理が終了した後、上記画像データを出力するときもリクエスト信号をメモリコントローラ２２に送信する。
【００３３】一方、メモリコントローラ２２は、各回路からのリクエスト信号を受信すると、各回路の中から優先順位の高いものを選択し、選択した回路に対してアクノリッジ(acknowledge) 信号を送信する。ここで、アクノリッジ信号とは、当該信号を受信する回路に対して画像データを供給すること又は当該信号を受信した回路が出力する画像データを受け取る準備ができたことを示す信号をいう。そして、メモリコントローラ２２は、イメージメモリ３２から画像データを読み出し、上記アクノリッジ信号の送信先の回路に対して画像データバス３３を介して供給する。また、メモリコントローラ２２は、上記アクノリッジ信号の送信先の回路が出力した画像データを受け取って、この画像データをイメージメモリ３２に書き込む処理を行う。
【００３４】なお、メモリコントローラ２２は、各回路から同時にリクエスト信号を受信したときは、リアルタイムで処理することが必要な回路を優先的に選択することができる。例えば、メモリコントローラ２２は、ファインダ３６に被写体の映像を表示させるときは、入力処理回路２１，ＮＴＳＣ／ＰＡＬエンコーダ２３を優先して選択する。また、メモリコントローラ２２は、画像データバス３３における画像データのバス占有使用率を判断して、当該占有率に応じて各回路の優先順位を決定してもよい。
【００３５】なお、メモリコントローラ２２は、画像データバス３３の転送帯域制限内で各回路に画像データを供給することができるのであれば、時分割で各回路にアクノリッジ信号を送信して、各回路がそれぞれ所定の処理を行うように制御してもよい。これにより、メモリコントローラ２２は、事実上、各回路に対してリアルタイムでデータアクセスして、各回路からの画像データをイメージメモリ３２に書き込んだり、イメージメモリ３２の画像データを読み出して各回路に供給することができる。
【００３６】さらに、メモリコントローラ２２は、画像データバス３３を介して図示しない外部回路とアクセスする場合であっても、当該外部回路が上述したリクエスト信号を送信したりアクノリッジ信号を受信することができるものであれば、画像データバス３３の転送帯域制限範囲内で、信号処理部２０内の各回路と同様に時分割で同時にアクセスすることができる。すなわち、メモリコントローラ２２は、画像データバス３３の帯域の範囲内であれば、信号処理部２０内の回路や外部回路の数を問わず、これらの各回路に対して時分割で同時にアクセスすることができる。
【００３７】以上のように、メモリコントローラ２２は、画像データバス３３の調停やイメージメモリ３２と各回路間における画像データの書き込み／読み出しの制御、さらに、ＣＰＵバス３４に対してデータ転送を行っている。
【００３８】次に、上記信号処理部２０における画像データの具体的な流れについて、図３を用いて説明する。
【００３９】入力処理回路２１は、画像生成部１０からの画像データに所定の信号処理を行うＣＣＤインターフェース２１ａと、ＣＣＤインターフェース２１ａの処理を行うために検波処理を行う検波回路２１ｂと、画像データの変換処理を行うカメラ・ディジタル・シグナル・プロセッサ（以下、「カメラＤＳＰ」という。）２１ｃとを備える。
【００４０】ＣＣＤインターフェース２１ａは、図１に示すＳ／Ｈ−Ａ／Ｄ回路１２からの赤信号，緑信号，青信号（Ｒ，Ｇ，Ｂ）で構成される画像データに対してディジタルクランプ，ホワイトバランス調整，ガンマ補正等の処理を行ったり、必要に応じて画像データの水平方向成分の間引き処理も行う。ＣＣＤインターフェース２１ａは、かかる処理を行った後、画像データをカメラＤＳＰ２１ｃに供給したり、画像データバス３３を介してメモリコントローラ２２に供給する。
【００４１】検波回路２１ｂは、ＣＣＤインターフェース２１ａの画像データからオートフォーカス，オートアイリス，ホワイトバランス調整のための検波処理を行う。
【００４２】カメラＤＳＰ２１ｃは、ＣＣＤインターフェース２１ａからのＲＧＢからなる画像データを、輝度信号Ｙ及びクロマ信号（色差信号）Ｃｂ，Ｃｒからなる画像データに変換する。また、カメラＤＳＰ２１ｃは、かかる処理を行うとともに、画像データの解像度を簡易的に変換する簡易解像度変換回路２１ｄを有する。
【００４３】簡易解像度変換回路２１ｄは、ＣＣＤイメージセンサ１１が生成する画像データの解像度が例えばＶＧＡフォーマットより大きい場合に、画像データの解像度を低く変換するものである。
【００４４】簡易解像度変換回路２１ｄは、具体的には図４に示すように、色差信号の分離を行うＢ−Ｙ／Ｒ−Ｙ分離回路６１と、水平方向の補間処理を行う水平方向線形補間回路６２と、色差信号の合成を行うＢ−Ｙ／Ｒ−Ｙ合成回路６３と、各信号に１水平走査期間（１Ｈ期間）の遅延を与える１Ｈ遅延回路６４と、垂直方向線形補間回路６５とを備える。
【００４５】Ｂ−Ｙ／Ｒ−Ｙ分離回路６１は、カメラＤＳＰ２１ｃからの画像データからクロマ信号Ｃｂ，Ｃｒである色差信号Ｂ−Ｙ，Ｒ−Ｙをそれぞれ分離して水平方向線形補間回路６２に供給する。水平方向線形補間回路６２は、輝度信号Ｙ，色差信号Ｂ−Ｙ，Ｒ−Ｙにそれぞれ水平方向の補間処理を行って水平方向の解像度を低くして、補間処理済みの輝度信号Ｙ及び色差信号Ｂ−Ｙ，Ｒ−ＹをＢ−Ｙ／Ｒ−Ｙ合成回路６３に供給する。
【００４６】Ｂ−Ｙ／Ｒ−Ｙ合成回路６３は、色差信号Ｂ−Ｙ，Ｒ−Ｙを合成し、水平方向線形補間回路６２からの輝度信号Ｙ及び合成された色差信号Ｂ−Ｙ，Ｒ−Ｙを１Ｈ遅延回路６４及び垂直方向線形補間回路６５に供給する。１Ｈ遅延回路６４は、輝度信号Ｙ及び色差信号Ｂ−Ｙ，Ｒ−Ｙにそれぞれ１Ｈ期間の遅延を与えて垂直方向線形補間回路６５に供給する。垂直方向線形補間回路６５は、Ｂ−Ｙ／Ｒ−Ｙ合成回路６３及び１Ｈ遅延回路６４からの輝度信号Ｙ及び色差信号Ｂ−Ｙ，Ｒ−Ｙに基づいて垂直方向の線形補間処理を行い、この結果、水平方向及び垂直方向の解像度が低くなった輝度信号Ｙ’及び色差信号（Ｂ−Ｙ）’，（Ｒ−Ｙ）’からなる画像データを出力する。
【００４７】また、解像度変換回路２８は、例えば［ｐ×ｑ］の画像データを［ｍ×ｎ］の画像データに変換する解像度変換処理を行うものである。解像度変換回路２８は、主に、ＣＣＤイメージセンサ１１で生成された画像データが高解像度のときに所定の解像度に抑えるために行う処理であるが、低解像度の画像データを高解像度になるように処理してもよい。
【００４８】解像度変換回路２８は、具体的には図５に示すように、画像データバス３３から入力される画像データを記憶する入力バッファ７１と、入力バッファ７１からの画像データを水平方向にバッファリングする水平方向バッファ７２と、水平方向バッファ７２からの画像データに水平方向の解像度変換処理を行う水平方向変換処理回路７３と、水平方向変換処理回路７３からの画像データを垂直方向にバッファリングする垂直方向バッファ７４と、垂直方向の解像度変換処理を行う垂直方向変換処理回路７５と、出力の際にバッファリングをする出力バッファ７６とを備える。
【００４９】なお、解像度変換回路２８は、画像データの解像度変換を行う準備ができたときは、イメージメモリ３２から画像データを読み出すようにメモリコントローラ２２に要求する（リード）リクエスト信号を出力し、さらに、画像データの変換処理後に当該画像データをイメージメモリ３２に書き込むようにメモリコントローラ２２に要求する（ライト）リクエスト信号を出力する。また、解像度変換回路２８は、メモリコントローラ２２が上記リクエスト信号に応答したことを示すアクノリッジ信号を受信する。
【００５０】一方、上記水平方向バッファ７２は、図６に示すように、１画素分の遅延を与える第１の遅延回路８１，第２の遅延回路８２，第３の遅延回路８３を直列に接続して構成される。したがって、第１の遅延回路８１は１画素分遅延した画像データを出力し、第２の遅延回路８２は２画素分遅延した画像データを出力し、第３の遅延回路８３は３画素分遅延した画像データを出力する。
【００５１】水平方向変換処理回路７３は、図６に示すように、第１から第４の乗算器８４，８５，８６，８７と、第１から第３の加算器８８，８９，９０とを備える。場合によっては、加算器９０の後にデータを正規化するための回路が付加される。
【００５２】第１の乗算器８４は、入力バッファ７１から供給される画像データに所定の係数を乗じて加算器８８に供給する。第２の乗算器８５は、第１の遅延回路８１から供給される画像データに所定の係数を乗じて加算器８８に供給する。第３の乗算器８６は、第２の遅延回路８２から供給される画像データに所定の係数を乗じて加算器８９に供給する。第４の乗算器８７は、第３の遅延回路８３から供給される画像データに所定の係数を乗じて加算器９０に供給する。第１の加算器８８は、各画像データを合成して第２の加算器８９に供給する。第２の加算器８９は、各画像データを合成して第３の加算器９０に供給する。第３の加算器９０は、各画像データを合成し、これを水平方向の解像度変換処理済みの画像データとして垂直方向バッファ７４に供給する。
【００５３】以上のように水平方向変換処理回路７３は、１画素分ずつ遅延のある画像データにそれぞれ所定の重み付けを行って合成することによって、水平方向の画素間を補ったり又は間引く処理を行ったりして、水平方向の解像度を変換する。
【００５４】垂直方向バッファ７４は、例えば図６に示すように、１ライン分の遅延を与える第１から第３のバッファメモリ９１，９２，９３を直列に接続して構成される。したがって、第１のバッファメモリ９１は１ライン分遅延した画像データを出力し、第２のバッファメモリ９２は２ライン分遅延した画像データを出力し、第３のバッファメモリ９３は３ライン分遅延した画像データを出力する。
【００５５】垂直方向変換処理回路７５は、図６に示すように、第５から第８の乗算器９４，９５，９６，９７と、第４から第６の加算器９８，９９，１００とを備える。場合によっては、加算器９０の後にデータを正規化するための回路が付加される。
【００５６】第５の乗算器９４は、水平方向変換回路７３から供給される画像データに所定の係数を乗じて第４の加算器９８に供給する。第６の乗算器９５は、第１のラインメモリ９１から供給される画像データに所定の係数を乗じて第４の加算器９８に供給する。第７の乗算器９６は、第２のラインメモリ９２から供給される画像データに所定の係数を乗じて第５の加算器９９に供給する。第８の乗算器９７は、第３のラインメモリ９３から供給される画像データに所定の係数を乗じて第６の加算器１００に供給する。第４の加算器９８は、各画像データを合成して第５の加算器９９に供給する。第５の加算器９９は、各画像データを合成して第６の加算器１００に供給する。第６の加算器１００は、各画像データを合成し、これを垂直方向の解像度変換処理済みの画像データとして出力する。
【００５７】以上のように垂直方向変換処理回路７５は、１ライン分ずつ遅延のある画像データにそれぞれ所定の重み付けを行って合成することによって、垂直方向の画素間を補う処理を行ったり又は間引く処理を行ったりして、垂直方向の解像度を変換する。
【００５８】なお、解像度変換回路２８は、図６において、水平方向の解像度変換処理を行ってから垂直方向の解像度変換処理を行っているが、図７に示すように、垂直方向の解像度変換処理を行ってから水平方向の解像度変換処理を行ってもよい。すなわち、解像度変換回路２８は、入力バッファ７１からの画像データを垂直方向バッファ７４に供給し、垂直方向バッファ７４，垂直方向変換処理回路７５，水平方向バッファ７２，水平方向変換処理回路７３の順に各処理を行うような構成にしてもよい。
【００５９】また、垂直方向バッファ７４における第１から第３のバッファメモリ９１，９２，９３は、１ライン（１Ｈ）分の画像データを記憶することができるとしたが、図８に示すように、１ラインより少ない例えばＮピクセル（ピクセル長Ｎ）の画像データを記憶することができるものであってもよい。このとき、メモリコントローラ２２は、図９に示すように、イメージメモリ３２に記憶されている画像データをＮピクセル毎に読み出す必要がある。
【００６０】具体的には、メモリコントローラ２２は、イメージメモリ３２に記憶されている１画面分の画像データを、各ライン毎にＮピクセルずつ垂直方向に読み出す。ここで、図１０に示すように、１画面はｐ×ｑ［ピクセル］からなり、左上のピクセルの座標を（１，１）、右上のピクセルの座標を（ｐ，１）、左下のピクセルの座標を（１，ｑ）、右下のピクセルの座標を（ｐ，ｑ）とする。
【００６１】メモリコントローラ２２は、図１１に示すように、最初に、水平方向にＮピクセル分の画像データを、１行目，２行目，・・・ｑ行目の順にライン毎に読み出す。これにより、メモリコントローラ２２は、左端からＮピクセル分の画像データ、すなわち（１，１）（１，ｑ）（Ｎ，ｑ）（Ｎ，１）で囲まれる範囲（Ｎ×ｑピクセル分）の画像データ（以下、「画像データ群（１）」という。）を読み出す。
【００６２】メモリコントローラ２２は、次に、（Ｎ−１，１）（Ｎ−１，ｑ）（Ｎ−２，ｑ）（Ｎ−２，１）で囲まれる範囲の画像データ（以下、「画像データ群（２）」という。以下同様。）を読み出す。ここで、メモリコントローラ２２は、列（１）及び画像データ群（２）を読み出すと、（Ｎ−１）列目及びＮ列目の画像データを２度読み出すことになる。
【００６３】この理由は、垂直方向変換処理回路７５は、周辺のピクセルから補間処理を行うため、第１から第３のバッファメモリ９１，９２，９３の最初と最後に記憶されているピクセルについては処理結果の対象としないからである。例えば、（Ｎ，１）のピクセルは、画像データ群（１）が読み出されたときは、垂直方向の補間処理結果の対象とならない。しかし、この（Ｎ，１）のピクセルは、画像データ群（２）が読み出されるときにも読み出され、このときに補間処理結果の対象となる。
【００６４】同様にして、メモリコントローラ２２は、直前の画像データ群のうち最後の２列目分の画像データを含むようにして水平方向にＮピクセル分の画像データを各ライン毎に読み出し、これにより、画像データ群を解像度変換回路２８に供給する。
【００６５】解像度変換回路２８の垂直方向バッファ７４には、第１から第３のバッファメモリ９１，９２，９３の容量に合致した画像データが各ライン毎に供給される。したがって、第１から第３のバッファメモリ９１，９２，９３には、それぞれ１ラインずつずれた画像データが記憶されることになる。垂直方向変換処理回路７５は、垂直方向バッファ７４の第１から第３のバッファメモリ９１，９２，９３からの各画像データに基づいて、垂直方向の解像度変換処理を行うことができる。
【００６６】以上のように、メモリコントローラ２２は、垂直方向画像度変換に必要なバッファメモリの容量が１ライン分に満たなくても、バッファメモリの容量に合わせて読み出しを行うことによって、解像度変換回路２８に垂直方向の解像度変換を行わせることができる。
【００６７】なお、ここでは、画像データ群の間の読み出し重複は２列となっているが重複が２列より大きい場合や、重複がない場合も考えられる。また、解像度変換に限らず、カメラ信号処理等の画像信号処理にも適用される。
【００６８】また、ここでは、バッファメモリが垂直方向の補間処理に用いられている場合を例に挙げて説明したが、バッファメモリが水平方向の補間処理に用いられている場合であっても同様である。
【００６９】すなわち、例えば図１２に示すように、解像度変換回路２８がＮピクセル分の容量のバッファメモリからなる水平方向バッファ７２ａを用いて水平方向の解像度変換を行う場合であってもよい。メモリコントローラ２２は、図１３に示すように、垂直方向にＮピクセル分の画像データを、１列目，２列目，・・・ｐ行目の順に各列毎に読み出せばよい。なお、メモリコントローラ２２は、上述した垂直補間処理の場合と同様に、バッファメモリの最初と最後に記憶される画像データに対しては、水平補間処理の対象になるように２度読み出す必要がある。
【００７０】このように、メモリコントローラ２２は、Ｎピクセル分のデータ容量からなる第１から第３のバッファメモリ９１，９２，９３に対しても、水平方向及び垂直方向の解像度変換処理が行われるように、イメージメモリ３２から画像データを読み出すことができる。これにより、水平方向バッファ７２及び垂直方向バッファ７４の回路規模を小さくして生産コストを削減することができる。
【００７１】ＮＴＳＣ／ＰＡＬエンコーダ２３は、上述したエンコードを行うだけでなく、エンコード処理を行う前に必要に応じて画像データの解像度を高くする簡易解像度変換回路２３ａを有する。
【００７２】簡易解像度変換回路２３ａは、イメージメモリ３２上の画像データが表示に必要な解像度より低い場合に、ファインダ３６の表示規格に合うような解像度変換を行う。
【００７３】簡易解像度変換回路２３ａは、具体的には図１４に示すように、画像データバス３３からの画像データを記憶するラインメモリ１０１と、垂直方向に画像データの補間処理を行う垂直方向線形補間回路（以下、「Ｖ方向線形補間回路」という。）１０２と、水平方向補間回路１０３とを備える。
【００７４】ラインメモリ８１は、入力端子inからの画像データを１ライン分記憶し、かかる画像データを記憶した順に垂直方向線形補間回路８２に供給する。垂直方向線形補間回路８２は、上記入力端子inからの画像データと垂直方向線形補間回路８２からの画像データに所定の重み付けをすることにより垂直方向の線形補間をする。次に水平方向の補間として、Ｙは７次のフィルタ、Ｃｂ，Ｃｒは３次のフィルタによる補間を行っており、これは解像度を２倍に上げる補間のみである。そして、画像データを出力端子outを介して出力する。
【００７５】例えば、上記入力端子inから入力される画像データをａ、ラインメモリ１０１から読み出される画像データをｂ、重み付けを行うための係数をｇ（０≦ｇ≦１）、Ｖ方向線形補間回路１０２が出力する画像データをｃとすると、Ｖ方向線形補間回路１０２は以下の演算を行う。
【００７６】ｃ＝ｇ＊ａ＋（１−ｇ）＊ｂなお、出力端子out から出力された画像データは、上述したように、エンコード処理される。
【００７７】以上のように、ディジタル・スチル・カメラ１は、信号処理系においては信号処理部２０とＣＰＵ４１とのいわゆる２チップで構成されている。したがって、各信号処理回路がそれぞれチップ構成となっている複数チップの場合に比べて、基板面積を縮小することができ、さらに消費電力を削減することができる。
【００７８】また、信号処理部２０は、ＣＰＵを含めたチップ構成となっていないので、ＣＰＵ４１に関わるアプリケーションの変更が生じた場合でもそれに対応して信号処理を行うことができる。すなわち、ＣＰＵを含めたチップ構成の場合、当該ＣＰＵのアプリケーションの変更が生じたときにはそれに対応してチップの再構成をすることは不可能である。しかし、上記信号処理部２０は、アプリケーション毎に最適な構成のＣＰＵを用いて、所定の信号処理を行うことができる。
【００７９】かかる構成のディジタル・スチル・カメラ１は、撮影前に被写体の状態や位置等を確認するためのファインダモード、確認した被写体の映像を撮影する記録モード、撮影された被写体像の写りを確認するための再生モードを有し、各モードに応じて処理を行う。
【００８０】ファインダモードでは、ユーザは、図示しないシャッタボタンを押圧して被写体を撮影する前に、ファインダ３６に表示される被写体の様子を観察する必要がある。このファインダモードでは、ＣＰＵ４１は、メモリコントローラ２２やその他各回路を以下のように制御する。なお、各モードの説明については主に図３を用い、適宜図１５を参照するものとする。
【００８１】上記ファインダモードにおいて、ＣＣＤイメージセンサ１１は、垂直方向成分を１／３に間引いた画像信号を生成し、Ｓ／Ｈ−Ａ／Ｄ回路１２を介してディジタル化された画像データをＣＣＤインターフェース２１ａに供給する。
【００８２】ＣＣＤインターフェース２１ａは、図１５（Ａ）に示すクロックに同期して、信号処理を行う。具体的には、ＣＣＤインターフェース２１ａは、図１５（Ｂ）に示すように、画像生成部１０から供給される画像データの水平方向成分を１／３に間引く処理をし、さらに、ガンマ補正等を行ってカメラＤＳＰ２１ｃに供給する。ＣＣＤインターフェース２１ａは、１／３間引きの結果、３４０×２５６に変換した画像データをカメラＤＳＰ２１ｃに供給する。
【００８３】カメラＤＳＰ２１ｃは、図１５（Ｃ）に示すように、間引き処理後の画像データにデータ変換処理を行って、ＹＣｒＣｂの画像データに変換する。カメラＤＳＰ２１ｃは、さらに簡易解像度変換回路２１ｄにおいて画像データの解像度を低くすべく解像度変換をして（３４０×２５６→３２０×２４０）、かかる変換処理後の画像データを画像データバス３３を介してメモリコントローラ２２に供給する。
【００８４】ここで、簡易解像度変換回路２１ｄは、後の処理に必要な程度に簡易的に解像度を低くしている。これにより、ＣＣＤイメージセンサ１１で生成される画像データが高解像度であっても、画像データバス３３において上記画像データが占める転送帯域を小さくすることにより画像データバス３３の渋滞を回避し、ファインダモードのリアルタイム性を維持することができる。
【００８５】メモリコントローラ２２は、上記画像データをイメージメモリ３２に書き込み、さらに、図１５（Ｄ）に示すように、イメージメモリ３２から画像データを読み出し、画像データバス３３を介してＮＴＳＣ／ＰＡＬエンコーダ２３に供給する。メモリコントローラ２２は、同時に、図１５（Ｅ）に示すように、イメージメモリ３２に記憶されているＯＳＤデータも読み出し、画像データバス３３を介してＮＴＳＣ／ＰＡＬエンコーダ２３に供給する。図１５（Ｆ）は上記のリアルタイム処理を可能とする画像データバス３３上の転送の様子を示す。
【００８６】ＮＴＳＣ／ＰＡＬエンコーダ２３は、画像データバス３３から供給される画像データにＮＴＳＣ方式の場合は３２０×２４０→６４０×２４０、ＰＡＬ方式の場合は３２０×２４０→６４０×２８８の解像度変換処理を行って、変換処理後の画像データをＮＴＳＣ／ＰＡＬエンコーダ２３に供給する。ＮＴＳＣ／ＰＡＬエンコーダ２３は、さらに、画像データをＮＴＳＣ方式あるいはＰＡＬ方式に変換してＯＳＤデータを合成し、これを図２に示すファインダ３６に供給する。これにより、ファインダ３６には、被写体の画像及び字幕情報等がリアルタイムで表示される。
【００８７】なお、ＮＴＳＣ／ＰＡＬエンコーダ２３は、解像度が小さいものに対してはそれが大きくなるように解像度変換を行い、例えば３２０×２００の画像データが供給された場合にも、ＮＴＳＣ方式の場合６４０×２４０、ＰＡＬ方式の場合６４０×２８８の画像データに変換して出力する。
【００８８】以上のように、ディジタル・スチル・カメラ１は、ファインダモードにおいては、図１５（Ｆ）に示すタイミングで、ＣＣＤイメージセンサ１１で生成された画像データの解像度を簡易的に低くしてデータ量を減らし、画像データが画像データバス３３の帯域制限内に収まるようにして、さらに表示に必要なだけ出力段階で解像度を高くしてファインダ３６に表示している。
【００８９】これにより、ディジタル・スチル・カメラ１は、画像データが高解像度であっても、比較的処理時間を要する大がかりな間引き処理を行うことなく画像データバス３３の帯域制限内に抑えることによって、リアルタイムで被写体の画像をファインダ３６に表示させることができる。
【００９０】なお、ＣＰＵ４１は、予め優先して処理を行う回路（ＣＣＤインターフェース２１ａ，カメラＤＳＰ２１ｃ，ＮＴＳＣ／ＰＡＬエンコーダ２３）を設定しておき、時分割で、これらの回路の他に他の回路でも信号処理をしている場合には、画像データのデータ量に応じて優先度の高い上記各回路の処理を優先して行うようにしてもよい。
【００９１】また、簡易解像度変換部２１ｄは、ＣＰＵ４１の制御に基づいて、画像データのデータ量が大きいときは、リアルタイムで処理することを優先すべく、画質を多少落として高速にデータ処理を行うようにすることもできる。これにより、ファインダモードでは、画像生成部１０で生成される画像データのデータ量が多くても、よりリアルタイムで処理を行うことができる。
【００９２】また、電子ズーム機能を備えるディジタル・スチル・カメラ１の場合には、ＣＰＵ４１は、以下のようにして各回路を制御してもよい。
【００９３】メモリコントローラ２２は、ＣＣＤインターフェース２１ａ，カメラＤＳＰ２１ｃを介して供給される画像データをイメージメモリ３２に書き込み、そして、イメージメモリ３２から当該画像データを読み出して解像度変換回路２８に供給する。解像度変換回路２８は、電子ズーム機能によって入力した画像の一部分を拡大した画像データを作成し、イメージメモリ３２へ出力する。この画像データをイメージメモリ３２から読み出し、ＮＴＳＣ／ＰＡＬエンコーダ２３を介してファインダ３６に出力する。これにより、電子的にズーム処理された画像データを生成することができる。
【００９４】上述したように、ファインダモードでは、ＣＰＵ４１は、リアルタイム性を最優先するため、比較的時間のかかる処理を各回路に行わせていない。しかしながら、ＣＰＵ４１は、画像データバス３３の転送帯域の許す範囲内であれば、メモリコントローラ２２やその他の回路に様々な処理を行わせてもよい。
【００９５】例えば、メモリコントローラ２２は、ＣＣＤインターフェース２１ａ等から供給された画像データを記憶するイメージメモリ３２から、当該画像データを読み出し、画像データバス３３を介してＮＴＳＣ／ＰＡＬエンコーダ２３に供給するとともにＪＰＥＧエンコーダ／デコーダ２９にも供給してもよい。このとき、ファインダ３６はリアルタイムで被写体の映像を表示する一方、ＪＰＥＧエンコーダ／デコーダ２９は画像データのＪＰＥＧ圧縮処理を行う。
【００９６】ＪＰＥＧエンコーダ／デコーダ２９は、静止画像の圧縮／伸張処理を行うものであり、高画素の画像をリアルタイムで処理をすることはできない。そこで、ＪＰＥＧエンコーダ／デコーダ２９は、画像データバス３３から供給される画像データのコマ数（フレーム数又はフィールド数）を所定数ずつ間引いて圧縮処理を行ったり、また、画像の一部を切り取って解像度を低くして圧縮処理を行ってもよい。これにより、コマ落としの静止画像を連続して撮影したり、解像度の低い静止画像を連続して撮影することができる。
【００９７】ユーザは、上述したファインダモードにおいてファインダ３６に表示される被写体の様子を観察し、被写体を撮影すると決定すると、次に図示しないシャッタボタンを押圧する。
【００９８】ディジタル・スチル・カメラ１は、上記シャッタボタンが押圧されると、記録モードに移行する。記録モードになると、ＣＰＵ４１は、ファインダモードの制御を行いながら、撮影された被写体の画像を記録装置５１に記録すべく、メモリコントローラ２２やその他各回路を以下のように制御する。
【００９９】ＣＣＤイメージセンサ１１は、シャッタボタンの押圧に同期して間引き処理を停止して、ＸＧＡフォーマットの画像信号を生成し、Ｓ／Ｈ−Ａ／Ｄ回路１２を介してディジタル化された画像データをＣＣＤインターフェース２１ａに供給する。
【０１００】ＣＣＤインターフェース２１ａは、Ｓ／Ｈ−Ａ／Ｄ回路１２から供給される画像データを、カメラＤＳＰ２１ｃでなく、画像データバス３３を介してメモリコントローラ２２に供給する。メモリコントローラ２２は、画像データをイメージメモリ３２に書き込んだ後、当該画像データを読み出し、画像データバス３３を介してカメラＤＳＰ２１ｃに供給する。カメラＤＳＰ２１ｃは、ＲＧＢからなる画像データをＹ，Ｃｂ，Ｃｒからなる画像データに変換する。
【０１０１】ここで、カメラＤＳＰ２１ｃには、イメージメモリ３２に一度書き込まれた画像データが供給される。すなわち、カメラＤＳＰ２１ｃは、ＣＣＤインターフェース２１ａから直接供給される画像データではなく、イメージメモリ３２からの画像データに対してデータ変換処理を行う。したがって、カメラＤＳＰ２１ｃは、高速にデータ変換処理を行う必要はなく、画像データバス３３が空いているときにかかる処理を実行してもよい。換言すると、記録モードでは、カメラＤＳＰ２１ｃは、リアルタイムで処理する必要がないので、画像データに対して処理速度より画質の向上を優先してデータ変換処理を行い、かかる変換処理済みの画像データを画像データバス３３を介してメモリコントローラ２２に供給する。メモリコントローラ２２は、この画像データをイメージメモリ３２に書き込む。
【０１０２】メモリコントローラ２２は、イメージメモリ３２から上記画像データを読み出してＪＰＥＧエンコーダ／デコーダ２９に供給する。ＪＰＥＧエンコーダ／デコーダ２９は、画像データをＪＰＥＧ圧縮して、ＣＰＵバス３４を介して、図２に示す記録装置５１に書き込む。
【０１０３】以上のように、ＣＰＵ４１は、記録モードの時のように、リアルタイムで処理を行う必要のない場合には、一度画像データをイメージメモリ３２に書き込んでから所定の処理を行うことによって、回路規模の増大を防ぎつつ画像データバス３３の転送帯域を有効に利用して高画素の画像を処理することができる。
【０１０４】なお、ＣＰＵ４１は、上記記録モードにおいて、ＸＧＡフォーマットの画像データをそのまま記録装置５１に記録していたが、解像度変換回路２８で画像データの解像度変換を行ってから記録装置５１に記録してもよい。具体的には、ＣＰＵ４１は、メモリコントローラ２２を介してイメージメモリ３２から読み出した画像データを、解像度変換回路２８にＶＧＡに対応するように解像度変換を行わせて（１０２４×７６８→６４０×４８０）、かかる画像データをＪＰＥＧエンコーダ／デコーダ２９に圧縮させてから記録装置５１に記録してもよい。
【０１０５】ユーザは、被写体の撮影後、撮影した画像を確認したいときには、撮影した画像を再生すべく、図示しない再生ボタンを押圧する。
【０１０６】ディジタル・スチル・カメラ１は、上記再生ボタンが押圧されると、再生モードに移行する。そして、再生モードになると、ＣＰＵ４１は、撮影された被写体の画像データを記録装置５１から読み出すべく、各回路を以下のように制御する。
【０１０７】ＣＰＵ４１は、上記再生ボタンの押圧を検出すると、記録装置５１から画像データを読み出して一時ＤＲＡＭ４２に格納した後、ＣＰＵバス３４を介してＪＰＥＧエンコーダ／デコーダ２９に供給する。ＪＰＥＧエンコーダ／デコーダ２９は、記録装置５１から読み出された画像データにＪＰＥＧ伸張処理を行ってＸＧＡフォーマットの画像データを得て、画像データバス３３を介してメモリコントローラ２２に供給する。
【０１０８】メモリコントローラ２２は、上記画像データをイメージメモリ３２に書き込み、さらに、当該画像データをイメージメモリ３２から読み出して、画像データバス３３を介して解像度変換回路２８に供給する。
【０１０９】解像度変換回路２８は、画像データがＶＧＡフォーマットに対応するように解像度変換を行い（ＮＴＳＣ方式では１０２４×７６８→６４０×４８０、ＰＡＬ方式では１０２４×７６８→６４０×５７６）、画像データバス３３を介してメモリコントローラ２２に供給する。メモリコントローラ２２は、解像度変換処理済みの画像データをイメージメモリ３２に書き込み、そして、当該画像データをイメージメモリ３２から読み出して、ＮＴＳＣ／ＰＡＬエンコーダ２３を介してファインダ３６に供給する。これにより、ファインダ３６には、記録装置５１に記録されていた画像データに基づく画像が表示される。
【０１１０】すなわち、ＣＰＵ４１は、記録装置５１に記録されいる画像データの解像度が高いので、この解像度を低くしてから画像データをファインダ３６に供給している。
【０１１１】また、ＣＰＵ４１は、ファインダモード，記録モード，再生モードの各モードについてそれぞれ優先して処理する回路の優先順位を決定しておき、いずれかのモードに移行した場合に上記優先順位に従って各回路に処理を実行させてもよい。これにより、各モードの処理内容に応じて画像データの信号処理を効率的に行うことができる。
【０１１２】上述した実施の形態では、ＸＧＡ相当の画像データを処理する場合を例に挙げて説明したが、本発明は、これに限定されず、例えば１００万画素以上からなる画像データを処理する場合についても適用することができるのは勿論である。
【０１１３】
【発明の効果】以上詳細に説明したように、本発明に係る画像処理装置によれば、遅延手段を構成する各バッファメモリの記憶容量を少なくし、記憶手段から、水平方向又は垂直方向にＮ画素分の画像データを１行毎又は１列毎に繰り返し読み出すことによって水平方向又は垂直方向におけるＮ画素分の画像データを垂直方向又は水平方向に全て読み出すことを１枚分の画像データ全体に対して行って上記遅延手段に供給することによって、上記画像処理手段において上記各バッファメモリからの画像データに基づいて画像処理を行うことができる。すなわち、バッファメモリの記憶容量を少なくしても任意のサイズの画像データの信号処理を行うことができるので、上記遅延手段の回路規模を縮小してコストを削減することができる。
【図面の簡単な説明】
【図１】本発明を適用したディジタル・スチル・カメラの構成を示すブロック図である。
【図２】上記ディジタル・スチル・カメラの概略構成を示すブロック図である。
【図３】上記ディジタル・スチル・カメラの信号処理部における画像データの流れを説明するためのブロック図である。
【図４】上記信号処理部の入力処理回路における簡易解像度変換回路の構成を示すブロック図である。
【図５】上記信号処理部の解像度変換回路の構成を示すブロック図である。
【図６】上記解像度変換回路の水平方向バッファ，水平方向変換処理回路，垂直方向バッファ，垂直方向変換処理回路の具体的な構成を示すブロック図である。
【図７】上記解像度変換回路の他の構成を示すブロック図である。
【図８】上記解像度変換回路の垂直方向バッファの構成を示すブロック図である。
【図９】メモリコントローラがイメージメモリから画像データ読み出すときの手法について説明する図である。
【図１０】１画面を構成するピクセルの座標位置を説明する図である。
【図１１】メモリコントローラがイメージメモリから画像データ読み出すときの手法について説明する図である。
【図１２】上記解像度変換回路の水平方向バッファがラインバッファから構成されているときの構成を示すブロック図である。
【図１３】メモリコントローラがイメージメモリから画像データ読み出すときの手法について説明する図である。
【図１４】上記信号処理部のＮＴＳＣ／ＰＡＬエンコーダにおける簡易解像度変換回路の構成を示すブロック図である。
【図１５】ファインダモードにおける各回路の信号処理の内容を説明するタイミングチャートである。
【図１６】従来のディジタル・スチル・カメラの構成について説明するブロック図である。
【図１７】上記ディジタル・スチル・カメラの解像度変換回路における垂直方向バッファの構成を示すブロック図である。
【図１８】画像データの大きさを示す図である。
【符号の説明】
１ ディジタル・スチル・カメラ、２０ 信号処理部、２１ 入力処理回路、２２ メモリコントローラ、２３ ＮＴＳＣ／ＰＡＬエンコーダ、２８ 解像度変換回路、３２ イメージメモリ、３３ 画像データバス、３４ ＣＰＵバス、４０ 制御部、４１ ＣＰＵ
【特許請求の範囲】
【請求項１】 少なくとも１枚の画像データを記憶する記憶手段と、上記記憶手段から、水平方向又は垂直方向にＮ画素分の画像データを１行毎又は１列毎に繰り返し読み出すことによって水平方向又は垂直方向におけるＮ画素分の画像データを垂直方向又は水平方向に全て読み出すことを、上記１枚分の画像データ全体に対して行う読出し手段と、Ｎ画素分の画像データを記憶するバッファメモリが直列に接続され、上記読出し手段によって読み出された画像データが上記直列に接続されたバッファメモリの一方に入力されて、各バッファメモリから遅延した画像データを出力する遅延手段と、上記遅延手段の各バッファメモリが出力する画像データに重み付けを行って合成することによって水平方向又は垂直方向の画像データの信号処理を行う手段とを備える画像処理装置。
【請求項２】 上記遅延手段の各バッファメモリは、上記記憶手段に記憶される１枚の画像データの水平ラインのデータ量よりも少ない記憶容量からなることを特徴とする請求項１記載の画像処理装置。
【請求項３】 上記読出し手段は、上記水平方向又は垂直方向におけるＮ画素分の画像データを垂直方向又は水平方向に全て読み出すことを、少なくとも水平方向２画素分又は少なくとも垂直方向２画素分の画像データを重複して読み出しながら上記１枚分の画像データ全体に対して行うことを特徴とする請求項１記載の画像処理装置。
【請求項１】 少なくとも１枚の画像データを記憶する記憶手段と、上記記憶手段から、水平方向又は垂直方向にＮ画素分の画像データを１行毎又は１列毎に繰り返し読み出すことによって水平方向又は垂直方向におけるＮ画素分の画像データを垂直方向又は水平方向に全て読み出すことを、上記１枚分の画像データ全体に対して行う読出し手段と、Ｎ画素分の画像データを記憶するバッファメモリが直列に接続され、上記読出し手段によって読み出された画像データが上記直列に接続されたバッファメモリの一方に入力されて、各バッファメモリから遅延した画像データを出力する遅延手段と、上記遅延手段の各バッファメモリが出力する画像データに重み付けを行って合成することによって水平方向又は垂直方向の画像データの信号処理を行う手段とを備える画像処理装置。
【請求項２】 上記遅延手段の各バッファメモリは、上記記憶手段に記憶される１枚の画像データの水平ラインのデータ量よりも少ない記憶容量からなることを特徴とする請求項１記載の画像処理装置。
【請求項３】 上記読出し手段は、上記水平方向又は垂直方向におけるＮ画素分の画像データを垂直方向又は水平方向に全て読み出すことを、少なくとも水平方向２画素分又は少なくとも垂直方向２画素分の画像データを重複して読み出しながら上記１枚分の画像データ全体に対して行うことを特徴とする請求項１記載の画像処理装置。
【図４】
【図８】
【図１】
【図２】
【図１１】
【図１２】
【図１４】
【図３】
【図５】
【図１３】
【図６】
【図７】
【図９】
【図１０】
【図１５】
【図１６】
【図１７】
【図１８】
【図８】
【図１】
【図２】
【図１１】
【図１２】
【図１４】
【図３】
【図５】
【図１３】
【図６】
【図７】
【図９】
【図１０】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０００−９２３４９（Ｐ２０００−９２３４９Ａ）
【公開日】平成１２年３月３１日（２０００．３．３１）
【国際特許分類】
【出願番号】特願平１０−３３１６１２
【出願日】平成１０年１１月２０日（１９９８．１１．２０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【公開日】平成１２年３月３１日（２０００．３．３１）
【国際特許分類】
【出願日】平成１０年１１月２０日（１９９８．１１．２０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
[ Back to top ]