画像処理装置
【課題】同一画像から複数の画像領域を切出し、合成して表示する際に、全体画像では適正露出（輝度と色が適正）でも、切出して合成表示した際にそれぞれの画像が適正露出（輝度と色、幾何等が適正）となる画像処理装置を提供すること。
【解決手段】同一画像から複数の画像領域を分割し切り出す分割領域設定手段と、前記分割領域設定手段により分割し切り出された複数の画像領域を、一つの画像に合成する合成手段と、を備えて構成される。一台のカメラの同一画像出力から任意の複数の画像領域を切出し、切出し部分を合成して出力することにより、複数のカメラを使用した場合におけるカメラ間のバラツキは発生しない。さらに、前記の分割し切り出された複数の画像領域を個々に画像処理を行う画像処理手段を設け、個々に画像処理された画像を前記合成手段により一つの画像に合成してもよい。
【解決手段】同一画像から複数の画像領域を分割し切り出す分割領域設定手段と、前記分割領域設定手段により分割し切り出された複数の画像領域を、一つの画像に合成する合成手段と、を備えて構成される。一台のカメラの同一画像出力から任意の複数の画像領域を切出し、切出し部分を合成して出力することにより、複数のカメラを使用した場合におけるカメラ間のバラツキは発生しない。さらに、前記の分割し切り出された複数の画像領域を個々に画像処理を行う画像処理手段を設け、個々に画像処理された画像を前記合成手段により一つの画像に合成してもよい。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像画像の中から希望する任意の画像をリアルタイムで切り出し合成することが可能な画像処理装置に関するものである。
【背景技術】
【０００２】
近年、ＣＣＤ等の撮像素子が高精細化されるに従い、撮像エリアの一部を切出しても高精細な表示あるいは記録が得られるようになってきた。例えば特許2557865号明細書では、撮像素子の中央部領域から撮像画情報を適切に読み出す装置を提案している。
【０００３】
しかし、ピント調整等のために中央部のみ読み出すことは必要なことであるが、本来のビデオカメラ撮影では、撮影エリア全体と任意の切出し画像の両方を表示あるいは記録できることが望ましい。例えばオーケストラの場面を撮影する時、全体を撮影しつつ、注目しているプレイヤーＡ,プレイヤーＢをアップで撮影し、全体の画像とアップの画像を合成して一枚の画像として出力したい要求がある。
【０００４】
複数のカメラで撮影し、それぞれを合成出力するシステムは特許3234851号明細書やテレビジョン学会誌Vol.48.No.11p1418-1419等が従来からあるが、複数台カメラを使用すると、カメラ間の輝度や色、幾何調整等が必要になり、時間と費用がかかるという課題があった。
【０００５】
その点、一台のカメラの出力から任意に領域を切出し、合成して出力することにより上記課題を解決することができる。しかし、１台のカメラの画像から複数の画像を切出しても一般的には撮像エリア全体に対し中央重点測光が行われるため、全体画像では適正露出（輝度と色が適正）でも、一部を切出した画像は光源の位置関係等により必ずしも適正露出にならない、という課題があった。
【特許文献１】特許２５５７８６５号明細書
【特許文献２】特許３２３４８５１号明細書
【非特許文献１】テレビジョン学会誌Vol.48.No.11 p1418-1419
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、上記課題に鑑みて考案されたもので、同一画像から複数の画像領域を切出し、合成して表示する際に、全体画像では適正露出（輝度と色が適正）でも、切出して合成表示した際にそれぞれの画像が適正露出（輝度と色、幾何等が適正）となる画像処理装置を提供することを目的としている。
【課題を解決するための手段】
【０００７】
請求項１記載の発明による画像処理装置は、同一画像から複数の画像領域を分割し切り出す分割領域設定手段と、前記分割領域設定手段により分割し切り出された複数の画像領域を、一つの画像に合成する合成手段とを有するものである。
【０００８】
請求項１記載の発明によれば、一台のカメラの同一画像出力から任意の複数の画像領域を切出し、切出し部分を合成して出力することにより、複数のカメラを使用するために発生する上記課題、つまり、色、輝度、幾何調整等の補正を解決することができる。何故なら、切出し画像は同じ撮像素子を使って取得しているので、カメラ間のバラツキは発生しない。また、複数カメラを使った場合に比べコスト的に有利になる利点もある。
【０００９】
請求項２記載の発明は、請求項１に記載の画像処理装置において、前記分割領域設定手段により分割し切り出された複数の画像領域を個々に画像処理を行う画像処理手段をさらに有し、個々に画像処理された画像を前記合成手段により、一つの画像に合成することを特徴とするものである。
【００１０】
請求項２記載の発明によれば、切出した画像が適正になるように、切出し画像を個々に画像処理することを提案している。複数カメラを使用した場合、各カメラで輝度、色等を調整することができるが、1台のカメラから複数の画像を切出す場合、全体画像に対し適正になるよう輝度、色等が決定されるため、切出し画像の輝度、色等が必ずしも適正とは限らない。そのため、全体画像に対し処理した後、各切出し画像を個々に調整することで切出し画像は適正になる。
【００１１】
請求項３記載の発明は、請求項２に記載の画像処理装置において、前記合成手段により合成された画像を表示する表示装置をさらに有し、前記分割し切り出された複数の画像領域の個々の画像処理が、切り出された画像の解像度を前記表示装置の表示用の解像度に変換する解像度変換であることを特徴とするものである。
【００１２】
請求項３記載の発明によれば、切出し画像を表示装置に合成表示するに際し、切出し画像の解像度を、該切出し画像を表示装置に表示する際のサイズに適合した解像度に変換する。つまり、切出し画像を個々に解像度変換して、個々の切出し画像が適正な表示用解像度になるようにしている。切出された画像を表示装置の画面に合成して表示する際には、各切出し画像は表示装置の画面上における、例えば、予め決められた領域に所定のサイズに拡大されたり縮小されたりして表示されることになるので、切出し画像とその表示用画像の解像度を比較し、その比に従い解像度変換することで画像の拡大、又は縮小を行い、更にスムージング処理を行うなどして、切出し画像が荒くなることを防止することができる。
【００１３】
請求項４記載の発明は、請求項２に記載の画像処理装置において、前記画像処理手段による個々の画像処理が、輝度補正であることを特徴とするものである。
【００１４】
請求項４記載の発明によれば、切出した画像の輝度が適正になるように、全体画像に対し露出補正（ＡＥ）した後、各切出し画像を個々にレベル調整することにより、合成画面上の各切出し画像の輝度が適正になる。この露出補正（ＡＥ）及びレベル調整は既知の方法、例えば「平均測光」方式では、ＡＥについては、画面全体の輝度値を積分して、一定値になるようにアイリス調整、あるいは撮像素子の電子シャッター速度調整を行ない、レベル調整については、画面全体の輝度値を積分して、一定値になるようにアンプのゲイン調整を行なえば良い。また、「中央重点測光」方式では、周辺部に対し中央部のデータに重きをおいて輝度値を積分し、その積分値に基づいてＡＥやレベル調整を行なえば良い。従って、個々の切出し画像輝度補正については、アイリス調整、撮像素子の電子シャッター速度調整、およびアンプのゲイン調整等を組み合せて行ったり、あるいはアンプゲイン調整を単独で行なっても良い。
【００１５】
請求項５記載の発明は、請求項２に記載の画像処理装置において、前記画像処理手段による個々の画像処理が、色補正であることを特徴とするものである。
【００１６】
請求項５記載の発明によれば、切出した画像の色が適正になるように、全体画像に対し色補正（例えば、ホワイトバランス調整）した後、各切出し画像を個々に色補正することにより、合成画面上の各切出し画像の色が適正になる。色補正の方法は既知の方法、つまり、画面全体（切出し画像の場合は切出し画像の画面全体）を積分してＲＧＢが一定になるようにする。あるいは、画面の中で色付きの大きな部分は除外して飽和度の低い部分を積分してＲＧＢが一定になるようにする（例えば、画面の大部分が葉で周辺に地面がある被写体の場合、葉の部分を削除し、地面の色データのみで色バランスを計算する）、等の処理を行えば良い。
【００１７】
請求項６記載の発明は、請求項３に記載の画像処理装置において、前記画像処理手段による個々の画像処理が、前記分割し切り出された複数の画像領域の解像度に対する前記表示装置の表示画像の解像度の拡大率に比例して輪郭補正量を変化させる処理であることを特徴とするものである。
【００１８】
請求項６記載の発明によれば、ある切出し画像の切出しサイズとその切出し画像のサイズについて合成画面での出力サイズとの比は個々の切出した画像によって違うので適宜適当な輪郭補正を行うことによって、合成画像の画質劣化を減らすことが可能になる。すなわち、ある切出し画像のサイズについて合成画面における出力サイズが拡大される場合は、撮像画素に拡大に必要な画素がないときは画素補間で画素数を増やすことになるため、それだけ表示画像の輪郭がボケやすいので、輪郭補正量を増やしてやる。また、拡大率が下がったり合成画面における画像を縮小する場合は、輪郭補正量を減少、若しくは輪郭補正を行なわないようにする。
【００１９】
請求項７記載の発明は、請求項２に記載の画像処理装置において、前記画像処理手段による個々の画像処理が、撮像素子の電子シャッターによる補正であることを特徴とするものである。
【００２０】
請求項７記載の発明によれば、任意の領域を複数出力可能な撮像素子を使用した場合の輝度補正に関するもので、各切出し処理領域毎に輝度レベルを検出し、適当になるように、シャッター速度（又は蓄積時間）を指定することにより、合成画面上の各切出し画像の輝度が適正になる。例えば８００万画素の撮像素子を２００万画素ずつ４つの領域に分けてシャッター速度（又は蓄積時間）を制御可能とし、４つの領域からそれぞれ切出し画像を取り出すように構成した場合に、各切出し処理領域毎に輝度レベルを検出し、適当になるように、シャッター速度（又は蓄積時間）を指定することにより、合成画面上の各切出し画像の輝度を適正にする。
【００２１】
請求項８記載の発明は、請求項６に記載の画像処理装置において、前記分割し切り出された複数の画像を、個々の切出し画像のサイズに応じた速度で出力するフレームバッファ手段を設けたことを特徴とするものである。
【００２２】
請求項８記載の発明によれば、撮像素子の切出し画像のサイズにより、一枚あたりの撮像素子の読出し速度が違うことに着目し、フレームバッファメモリ手段を設けたことにより、全画素を読出すのに動画レート(毎秒３０フレーム読出し)以下の読出しレートの処理能力の低い撮像素子を使用した場合でも、比較的領域の狭い切出し画像（即ちサイズの小さい画像）については、読出しレートを速くできて、動画で表示することが可能になる。
【００２３】
請求項９記載の発明による画像処理装置は、同一画像から複数の画像領域を分割し切り出す分割領域設定手段と、前記分割領域設定手段により分割し切り出された複数の画像領域の内の一つを基本領域として設定する基本領域設定手段と、前記分割領域設定手段により分割し切り出された複数の画像に対して処理を行うパラメータを、前記基本領域に対する処理に用いるパラメータに対して、前記基本領域と基本領域以外の分割し切り出された複数の画像領域との差分（相対的なレベルの大きさ）により補正して求めるパラメータ設定手段と、前記基本領域と前記基本領域以外の分割し切り出された複数の画像領域に前記パラメータ設定手段により設定されたパラメータによる処理を行ない、各領域の画像を一つの画像に合成する合成手段と、この合成手段により合成された画像を表示する表示装置とを有することを特徴とするものである。
【００２４】
請求項９記載の発明によれば、基本となる切出し画像と他の切出し画像を選択し、その基本画像と他の切出し画像を相対比較し、その差分に基づき基本画像と他の切出し画像に補正をかけることで、観察者に違和感のない合成画像を提供することが可能となる。
【００２５】
請求項１０記載の発明は、請求項９に記載の画像処理装置において、前記パラメータによる処理は、前記分割し切り出された複数の画像領域に対する輝度補正処理であり、前記基本領域の輝度レベルから相対的に基本領域以外の分割し切り出された画像領域の輝度レベルを補正することを特徴とするものである。
【００２６】
請求項１０記載の発明によれば、複数の切出し画像の中から、基本となる画像を選択し、その基本領域の画像の平均輝度や中央重点測光あるいはスポット測光データから輝度のレベル（露出）を決定し、そのデータを全ての切出し画像に適応する手段を備えており、一番注目したい切出し画像に輝度を合せることが可能になる。
【００２７】
基本領域以外の切出し画像の輝度は、基本領域の輝度レベルと全く同じにする以外に、例えば、全体画像の輝度レベルと基本領域の輝度レベルの加算平均値で決定しても、それぞれの切出し画像の輝度レベルと基本領域の輝度レベルの加算平均値、あるいは、
(基本領域の平均輝度レベル＋全体画像の平均輝度レベル＋それぞれの切出し画像の輝度レベル)÷３
等で決定しても良い。
【００２８】
輝度の合せ方は既知の方法、例えば「平均測光」方式は、画面全体（切出し画像の場合は切出し画像の画面全体）の輝度値を積分して、一定値になるようにアイリス調整、撮像素子の電子シャッター速度調整、あるいはアンプのゲイン調整等を単独あるいは組み合わせて行えば良い。また、「中央重点測光」方式は、画面全体における周辺部に対し中央部のデータに重きをおいて輝度値を積分し、これに基づいて調整を行えば良い。
【００２９】
請求項１１記載の発明は、請求項１に記載の画像処理装置において、前記複数の分割し切り出された画像の解像度を所定の解像度に変換する第１の解像度変換部と、この第１の解像度変換部により解像度が変換された前記複数の分割し切り出された画像のいずれかを選択する選択手段と、この選択手段により選択された前記複数の分割し切り出された画像を伝送する伝送手段と、この伝送手段により伝送された前記複数の分割し切り出された画像を所定の解像度に変換する第２の解像度変換部と、この第２の解像度変換部により解像度が変換された前記複数の分割し切り出された画像を、合成された画像を表示する表示装置のフレームレートに変換するバッファメモリ手段とをさらに有し、前記複数の分割し切り出された画像の基本領域の画像をそれ以外の他の画像よりも多く伝送することを特徴とするものである。
【００３０】
請求項１１記載の発明によれば、通信速度(データレート)が律速された画像伝送を想定した発明であり、各切出し画像を、まず、毎秒３０フレーム（あるいは６０フレーム）で伝送できるサイズに解像度変換を行い、３０フレームの画像サイズ（例えばＶＧＡサイズ）にした場合、複数の切出し画像のうち基本切出し画像を他の切出し画像より相対的に多いフレーム数伝送することにより、通信のデータレートが比較的遅くても、合成画像全体がコマ落ちせず、基本画像は準動画、他の画像はコマ落ちした画像を表示することが可能になる。
【００３１】
請求項１２記載の発明は、請求項１に記載の画像処理装置において、前記合成手段により合成された画像のレベルを所定のパラメータにより補正する補正手段を有することを特徴とするものである。
【００３２】
請求項１２記載の発明によれば、切出し画像を一枚の画像に合成した後、画面全体の平均値が適正になるように補正を行う。切出し画像を個々に調整しないのでレベル差が小さければ請求項１の発明と同様の効果が低コストにできるメリットがある。また、比較的大きく切出した画面の適正値に近い補正が可能になるので、出力領域を大きく取った、注目したい画像をほぼ適正なレベルできる。
【００３３】
請求項１３記載の発明は、請求項１２に記載の画像処理装置において、前記補正手段は、前記合成された画像の輝度レベルを補正することを特徴とするものである。
【００３４】
請求項１３記載の発明によれば、切出し画像を一枚の画像に合成した後、画面全体の平均輝度の補正を行うので、各切出し画像の輝度調整を無くすことができ、低コストな構成が可能である。
【００３５】
請求項１４記載の発明は、請求項１２に記載の画像処理装置において、前記補正手段は、前記合成された画像の色バランスを補正することを特徴とするものである。
【００３６】
請求項１４記載の発明によれば、切出し画像を一枚の画像に合成した後、画面全体で色補正を行うので、各切出し画像の色調整を無くすことができ、低コストな構成が可能である。また、比較的大きく切出した画面の適正値に近い補正が可能になる。
【００３７】
請求項１５記載の発明は、請求項１に記載の画像処理装置において、前記分割領域設定手段は、分割する前の元の画像全体を表示する全体画像表示手段と、この全体画像表示手段上で画像を分割し切り出す領域を指定する分割切出し位置指定手段とを備えており、この分割切出し位置指定手段は前記全体画像表示手段上に表示された画像の部分を指定することにより、分割し切り出す画像の位置を決定することを特徴とするものである。
【００３８】
請求項１５記載の発明によれば、ユーザーが全体画像表示手段への切出し画像を設定する手段を提案している。切出し画像抽出には、開始点でマウスのボタンを押し、終了点でボタンを離すことで完了する。
【００３９】
請求項１６記載の発明は、請求項１に記載の画像処理装置において、前記合成手段により合成された合成画像を表示する合成画像表示手段と、この合成画像表示手段の画像サイズに対応するように前記複数の切出し画像を合成表示する際の各画像のサイズを指定する画像サイズ指定手段とをさらに備えていることを特徴とするものである。
【００４０】
請求項１６記載の発明によれば、ユーザーが合成画像表示手段への表示領域を設定する手段を提案している。表示領域は切出し領域抽出と同様に開始点でマウスのボタンを押し、終了点でボタンを離すことで完了する。なお、表示領域は切出し画像の一部又は全部が重なっても、重ならないようにしても良い。重ならないようにするために、先に表示領域を決めた領域は、次以降同領域を指定できないように、同領域でマウスボタンが押されても無視するようにすればよい。
【００４１】
請求項１７記載の発明は、請求項１に記載の画像処理装置において、前記合成手段により合成された合成画像を表示する合成画像表示手段と、この合成画像表示手段の画像アスペクト比に合わせて、前記複数の切出し画像を合成表示する際に各画像を並べると隙間なく一枚の合成画像が得られるように各画像のサイズを決定する手段とをさらに備えていることを特徴とするものである。
【００４２】
請求項１７記載の発明によれば、ユーザーが合成画像表示手段への表示領域を設定する手段を提案している。合成画像表示手段へ設定される表示領域を隙間なく並べて一枚の合成画像が得られるように各表示画像のサイズを予め決めておくことで、簡易に隙間のない表示を設定することが可能になる。
【００４３】
請求項１８記載の発明は、請求項１に記載の画像処理装置において、前記合成手段により合成された合成画像を表示する合成画像表示手段と、この合成画像表示手段上に分割表示する各画像のアスペクト比の組み合わせを指定するアスペクト比指定手段とをさらに備えていることを特徴とするものである。
【００４４】
請求項１８記載の発明によれば、合成画像表示手段への表示パターンをユーザーに選択させる手段を有することにより、更にユーザーが簡易に切出し画像および、表示手段の表示領域を設定する手段を提案している。表示パターンを図３(a)〜(c)のように複数用意し、まず、ユーザーが表示パターンを選択する。そして、選択した表示パターンを構成する各表示領域で、表示設定したアスペクト比と同じアスペクト比で切出し領域を設定するように切出し方を制限することにより、合成画像表示手段の表示画面に隙間を持たせない表示が可能になる。
【発明の効果】
【００４５】
本発明によれば、同一画像から複数の画像領域を切出し、合成して表示する際に、全体画像では適正露出（輝度と色が適正）でも、切出して合成表示した際にそれぞれの画像の輝度、色、幾何調整等が適正となる画像処理装置を実現することができる。
【発明を実施するための最良の形態】
【００４６】
本発明の各実施例について図１〜図１６を参照して説明する。本発明の各実施例では、デジタルカメラ，デジタルビデオカメラなどの撮像装置における画像処理装置について説明する。
【実施例１】
【００４７】
図１は本発明の実施例１に係る画像処理装置のブロック図である。
図１において、画像処理装置は、再生装置から入力された画像信号をデジタル化するアナログ／デジタル変換部（以下、Ａ／Ｄ部という、但し再生装置がデジタル画像出力対応の場合Ａ／Ｄ部は不要である）１１と、デジタル画像信号を入力し、デジタル画像からユーザーが指定した複数（図では３つ）の切出し画像Ａ，Ｂ，Ｃを生成する画像切出し処理部１２と、各切出し画像を個々に画像処理する画像処理部１３Ａ，１３Ｂ，１３Ｃと、個々に画像処理された切出し画像を一枚の画像に合成する合成部１４と、全体画像とユーザ操作によって選択された切出しエリア表示（マーク）とを加算する加算器１５と、全体画像データをアナログデータに変換するデジタル／アナログ変換部（以下、Ｄ／Ａ部という）１６と、撮像した画像全体を表示する全体画像表示装置１８と、複数の切出し画像を合成した合成画像を表示する合成画像表示装置１９と、全体画像表示装置１８の画面上で切出し画像の位置を指定する切出し位置選択部２０と、この切出し位置選択部２０からの画像位置切出し情報や、水平同期信号（ＨＤ）及び垂直同期信号（ＶＤ）や、クロック信号を用いて画像切出し処理部１２を制御し切出し画像を生成させるシステム制御部２１と、を備えている。
【００４８】
なお、切出しエリアを示す全体画像表示装置１８と合成画像を表示する合成画像表示装置１９はそれぞれ別の表示装置であっても良いし、図示していないが切替え装置を用いてユーザーが１台の表示装置を切替えて全体画像表示用と合成画像表示用として併用するようにしても良い。
【００４９】
上記の構成においては、一台の再生装置の同一画像出力から画像切出し処理部１２にて任意の複数の画像領域を切出した後、複数の切出し画像Ａ，Ｂ，Ｃに対して個々に画像処理部１３Ａ，１３Ｂ，１３Ｃにて必要な画像処理（例えば輝度補正など）を施し、合成部１４で合成して出力する。画像切出し処理部１２は複数の画像領域を分割し切り出す分割領域設定手段を構成し、合成部１４は分割し切り出された複数の画像領域を１つの画像に合成する合成手段を構成している。
【００５０】
これにより、複数のカメラを使用するために発生する上記課題、つまりカメラ間の色、輝度、幾何調整等のバラツキはなく、しかも切り出された複数の画像領域個々に必要な補正を行なうことによって、より好適な合成画像を生成することが可能となる。また、複数カメラを使った場合に比べコスト的に有利であることは勿論である。
【００５１】
切出し位置選択部２０は、ユーザーがマウスなどの図示しないポインティング手段で任意に選んだ画像領域の切出し位置情報を生成するもので、一枚の画像の中の切出し開始位置（H：ｘ１pix,V：y1pix)と終了位置（H：ｘ2pix,V：y2pix)を指定する。
【００５２】
システム制御部２１は、クロック，ＨＤ，ＶＤ信号により画像切出し処理部１２内のバッファメモリの出力(読出し)タイミングを制御し、切出し位置選択部２０からの切出し位置情報によりバッファメモリ内の画像データを切り出す（即ち読み出す）。なお、システム制御部２１のクロック，ＨＤ，ＶＤ信号は所謂スキャンコンバータとして働くので、入出力のタイミングが同じであれば、入力信号のクロック，ＨＤ，ＶＤ信号を使用すればよいのでシステム制御部２１からのタイミング制御は必要ない。
【００５３】
ユーザーが切出し画像を指定するには、全体画像表示装置１８にマウス等で切出したい部分の開始点にポインタを移動してマウスのボタンを押し、終了点でボタンを離すことで、箱型の枠が表示され、その箱型の枠の中の領域が選択される。図１における枠表示によって、例えば切出し画像Ａが抽出される。切出し画像Ｂ，Ｃについても同様にして抽出される。
【００５４】
そして、これらの切出し画像Ａ，Ｂ，Ｃは、合成部１４などで予め決めてある表示配置に従って、合成画像表示装置１９の画面上に表示される。そして、表示装置１９上でマウス等を使って画像Ａの角にポインタを移動させ、マウスの左ボタンを押し、その状態で画像の内外にマウスのポインタを移動（ドラッグ）すると、画像Ａの表示サイズが同時に変化し、マウスの左ボタンを離すと画像サイズが決定する。次にマウスを画像Ａ内に移動させ、マウスの左ボタンを押し、その状態でマウスのポインタを移動（ドラッグ）すると、画像Ａの位置も同時に動く。マウスの左ボタンを離すと画像位置が決定する。切出し画像Ｂ，Ｃ，…は順次同様の操作を行う。但し、切出し画像Ｂの表示装置１９上での表示領域は切出し画像Ａの表示領域以外の領域、切出し画像Cは切出し画像Ａ，Ｂの領域以外の領域…とする。つまり、先に表示領域を決めた方が領域的に優先されるにする。
【００５５】
次の画像処理部１３Ａ，１３Ｂ，１３Ｃは、切出し画像Ａ，Ｂ，Ｃ毎の画像処理を行なうもので、例えば、切出し画像毎に信号レベル検出を行い、信号レベルが適正になるように切出し画像のレベル補正を行う。その後、それぞれの切出し画像を合成部１４で合成し１枚の画像として、Ｄ／Ａ部１７でＤ／Ａ変換を行い、合成画像表示装置１９に表示する。
【００５６】
図２は図１における画像切出し処理部１２の構成の一例を示している。切出し画像が３つの場合について示している。
【００５７】
図２の画像切出し処理部１２は、Ａ／Ｄ部１１からの画像データを記憶する複数（図では３つ）の画像切出し用のフレームバッファメモリ１２１，１２２，１２３と、このフレームバッファメモリ１２１，１２２，１２３からの各切出し画像を所定の表示サイズに拡大又は縮小して出力する解像度変換部１２４，１２５，１２６とを備えている。
【００５８】
フレームバッファメモリ１２１，１２２，１２３の各々は、切出し画像１枚に付き２フレーム分の記憶領域を与える２つのフレームメモリ１２１ｂ，１２１ｃと、これら2つのフレームメモリ１２１ｂ，１２１ｃの入出力側にそれぞれ設けられて、フレーム周期で交互にスイッチングし、2つのフレームメモリ１２１ｂ，１２１ｃに対する書込み，読出しを交互に行なうためのスイッチ１２１ａ，１２１ｂとを備えて構成されている。
【００５９】
解像度変換部１２４，１２５，１２６は、前段のバッファメモリから切出し位置情報（指定）に基づいて切り出された選択領域の切出しサイズを表示装置１９の表示領域サイズに拡大あるいは縮小する処理部であり、サイズの変換率は、切出しサイズと表示サイズの比で決定される。切出し画像を縮小する場合は画素間引きで処理し、拡大する場合は、単純補間や線形補間等で行えば良い。拡大の詳細は特開平10-336494号公報等に記載されている。
【００６０】
次に、図２の動作を簡単に説明する。画像データの流れは、Ａ／Ｄ部１１でデジタル化された後、画像切出し処理部１２の３つの画像切出し用のバッファメモリ１２１，１２２，１２３に記憶される。
【００６１】
このバッファメモリ１２１の動作は、図２のように一方のフレームメモリ１２１ｂに１フレーム分の画像データを記憶した後、次のフレームを他方のフレームメモリ１２１ｃに記憶する構成となっており、フレームメモリ１２１ｃに記憶すると同時にフレームメモリ１２１ｂに記憶済みの１フレーム目の画像データから任意の部分（切出し指定された部分）を切出し位置情報に基づいて切り出し、切出し画像として解像度変換部１２４へ出力する。
【００６２】
スイッチ１２１ａ，１２１ｄはフレーム周期のタイミングで交互に切り替えられる。すなわち、スイッチ１２１ａの端子ａ1が選択されてメモリ１２１ｂへフレームデータ書込みが行なわれている間は、スイッチ１２１ｄは端子ｄ2が選択されてメモリ１２１ｃの記憶画像データが読み出され、またスイッチ１２１ａの端子ａ2が選択されてメモリ１２１ｃへフレームデータ書込みが行なわれている間は、スイッチ１２１ｄは端子ｄ1が選択されてメモリ１２１ｂの記憶画像データが読み出される。
【００６３】
解像度変換部１２４，１２５，１２６では、切り出された画像の解像度を合成画像表示装置１９の表示用の解像度に変換する解像度変換を行なうものである。解像度変換処理によれば、切出し画像を合成画像表示装置１９に合成表示するに際し、切出し画像の解像度を、該切出し画像を合成画像表示装置１９に表示する際のサイズに適合した解像度に変換する。つまり、切出し画像Ａ，Ｂ，Ｃを個々に解像度変換して、個々の切出し画像が適正な表示用解像度になるようにしている。切出された画像を合成画像表示装置１９の画面に合成して表示する際には、各切出し画像は合成画像表示装置１９の画面上における、例えば、予め決められた領域に所定のサイズに拡大されたり縮小されたりして表示されることになるので、切出し画像とその表示用画像の解像度を比較し、その比に従い解像度変換することで画像の拡大または縮小を行い、更にスムージング処理を行うなどして、切出し画像が荒くなるのを防止する。
【００６４】
なお、５００万画素，８００万画素といった高解像度のカメラであれば、拡大するときに、拡大前に表示装置で実際の表示に使っていない画素（この画素はバッファメモリ１２１，１２２，１２３に記憶されている）を使用することにより、画素補間などしなくても済む。すなわち、カメラの合成画像表示装置１９は未使用画素を用いて表示することが可能な場合がある。この場合は、拡大に際して画素補間は不要である。
【００６５】
ところで、画素単位で任意に全体画像表示装置１８上の切出しエリアを決めると、合成画像表示装置１９の表示画面に隙間が出来る可能性が多く、また、切出し画像から合成画面上の表示画像への解像度変換を行なう際に拡大・縮小処理が複雑になってしまう。そこで、合成画像表示装置１９の画面アスペクト比に合わせて表示画面を所定の縦横比で隙間なく複数の表示エリアに分割しその各分割サイズの縦横比を維持した状態で切出しサイズを決めるようにする。
【００６６】
例えば、画面アスペクト比が１６：９の場合、所定の横縦比で分割し、最小単位を例えば４：２．２５とし、各切出し画像を決めていく。
【００６７】
図３(a)は切出し画像Ａ＝８：９、切出し画像Ｂ＝８：４．５、切出し画像Ｃ＝８：４．５にした場合、図３(b)は切出し画像Ａ、Ｂ、Ｃ、Ｄ＝８：４．５にした場合、図３(c)は切出し画像Ａ＝１２：６．７５、切出し画像Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ｈ＝４：２．２５にした場合、をそれぞれ示している。
【００６８】
作用を図３(a) について説明する。
まず、図３(a)の表示パターンの切出し画像Ａ、Ｂ、Ｃの各縦横比を有し、任意の表示サイズの切出し画像Ａ、Ｂ、Ｃを全体画像表示装置１８上で指定する。
【００６９】
次に、切出し画像Ａの切出し画像領域を決めるため、ユーザーが切出し開始点でマウスボタンを押し、終了点までマウスを移動するが、この時横縦のアスペクト比が８：９の関係を維持しながら切出し領域が設定される。
【００７０】
次に、切出し画像Ｂ，Ｃの各切出し画像領域を決めていくが、横縦のアスペクト比が８：４．５の関係を維持しながら各切出し領域が設定される。
【００７１】
以上の全体画像表示装置１８における切出し設定方式により、合成画像表示装置１９には、図３(a)の表示パターンに合致した合成表示が可能になる。図３(b)，(c)の切出し設定についても同様である。
【実施例２】
【００７２】
図４は本発明の実施例２に係る画像処理装置のブロック図である。本実施例では、輝度（露出）のレベル補正を目的としている。
【００７３】
信号の流れに沿って構成を説明すると、カメラ用光学レンズ３１と、モーター３３で露光量が制御されるアイリス（絞り）３２と、ベイヤー配列フィルタが積層され、光を電気信号に変換する撮像素子であるＣＣＤ３４と、ＣＣＤ信号をサンプル・ホールド（以下、Ｓ／Ｈ）処理しかつ信号レベルをＡＧＣ調整するＳ／Ｈ，ＡＧＣ部３５と、デジタル信号に変換するＡ／Ｄ部１１と、色調整その他の信号処理をするカメラ信号処理部３６と、ＡＥ制御系（３７，３８，３９，４１，４２）と、を備えている。画像切出し処理部１２以降は図１と同様である。
【００７４】
ＡＥ制御系は、輝度レベルを検出する輝度レベル検出部３７と、輝度レベルによるＡＥ処理の方法プログラムが内蔵されているＡＥ制御マイコン３８と、ＡＥ制御マイコン３８からのデジタル輝度信号をＡＧＣ制御信号用にアナログ変換するＤ／Ａ部３９と、ＡＥ制御マイコン３８の指示により電子シャッター速度等のＣＣＤ動作を制御するＣＣＤ駆動回路４１と、ＡＥ制御マイコン３８の指示によりアイリス制御用モーター３３を駆動するアイリス駆動回路４２と、を有している。
【００７５】
次に、動作を説明する。
画像全体の信号処理を行い、輝度レベルを検出し輝度調整を行なう。それは既知の方法、つまり画面全体の輝度値を積分して、一定値になるようにアイリス３２を調整、撮像素子３４の電子シャッター速度調整、あるいはＳ／Ｈ，ＡＧＣ部３５内のアンプのゲイン調整等を単独あるいは組み合わせて行うことで、画面全体の適正な輝度レベル（露出）が得られる。
【００７６】
また、画面全体を平均して輝度を決める以外に、中央重点方式として例えば図５(a)のように、画面全体における周辺部に対し中央部のデータ（図５(b)参照）に重きをおいて平均して輝度値を決定してもよい。
【００７７】
次に実施例１と同様に画像切出し処理部１２にて切出し処理を行った後、各切出し画像毎に画像処理部１３Ａ，１３Ｂ，１３Ｃで画像処理（例えば輝度値を積分）して、各画像処理毎に一定値になるように各画像処理部１３Ａ，１３Ｂ，１３Ｃ内のアンプのゲイン調整を行う。その後、それぞれの切出し画像を合成部１４にて合成し１枚の画像として、Ｄ／Ａ部１７にてＤ／Ａ変換を行い、合成画像表示装置１９に表示する。
【実施例３】
【００７８】
図６は、本発明の実施例３に係る画像処理装置のブロック図である。本実施例では、色バランスの補正を目的としている。
【００７９】
画像処理装置は、カメラ用光学レンズ３１と、モーター３３で露光量が制御されるアイリス（絞り）３２と、ＡＥ制御系（図４と同様、３７，３８，３９，４１，４２）と、ベイヤー配列フィルタを有した撮像素子であるＣＣＤ３４と、Ｓ／Ｈ，ＡＧＣ部３５と、Ａ／Ｄ部１１と、ベイヤー配列された画像をＲＧＢ信号に変換する色分離部５１と、ＲＧＢ信号の比を検出する色温度検出部５２と、検出結果からＲ，Ｂのゲインを制御する色温度制御部５３と、Ｒ，Ｂ信号のゲインを調整する利得調整部５４，５５と、色、輝度、タイミング等のその他の信号処理をするカメラ信号処理部３６と、画像切出し処理部１２と、画像切出し処理部１２による画像切出し後、各切出し画像Ａ，Ｂ，Ｃ毎に各色調整を行う処理回路(５６〜５９、６１〜６４、６５〜６８)と、システム制御部２１と、切出し位置選択部２０と、加算器１５と、Ｄ／Ａ部１６，１７と、全体画像表示装置１８と、合成画像表示装置１９と、を備えている。上記の色温度検出部５２と色温度制御部５３と利得調整部５４，５５とは、画像全体の色調整を行なうものである。
【００８０】
ＣＣＤ３４で撮像された撮像信号は、Ａ／Ｄ変換後、色分離部５１にてＲＧＢ信号に変換され、上記の色温度検出部５２と色温度制御部５３と利得調整部５４，５５によって画像全体の色調整（ＡＷＢ、即ちオートホワイトバランスと呼ばれる）が行なわれる。次にカメラ信号処理部３６で、その他の輝度、タイミング等のカメラ信号処理を行い、画像切出し処理部１２による画像切出し後、前記画像全体の色調整と同様の各色調整（ＡＷＢ、即ちオートホワイトバランス）を各切出し画像Ａ，Ｂ，Ｃで行う処理回路(５６〜５９、６１〜６４、６５〜６８)を経て画像合成し、Ｄ／Ａ変換等、図１と同様の処理を行う。
【００８１】
処理回路(５６〜５９、６１〜６４、６５〜６８)は、画像全体の色調整を行なう構成と同様であり、切出し画像Ａの処理回路は、ＲＧＢ信号の比を検出する色温度検出部５６と、検出結果からＲ，Ｂのゲインを制御する色温度制御部５７と、Ｒ，Ｂ信号のゲインを調整する利得調整部５８，５９とで構成され、切出し画像Ｂの処理回路は、ＲＧＢ信号の比を検出する色温度検出部６1と、検出結果からＲ，Ｂのゲインを制御する色温度制御部６２と、Ｒ，Ｂ信号のゲインを調整する利得調整部６３，６４とで構成され、切出し画像Ｃの処理回路は、ＲＧＢ信号の比を検出する色温度検出部６５と、検出結果からＲ，Ｂのゲインを制御する色温度制御部６６と、Ｒ，Ｂ信号のゲインを調整する利得調整部６７，６８とで構成され、それぞれの処理回路により切出し画像Ａ，Ｂ，Ｃ毎の色調整が行なわれる。
【００８２】
上記の構成においては、まず、ＣＣＤ３４から来た撮像信号は全体画像に対して色補正されるが、その色補正された画像に対して画像切出し処理を行なって切り出した複数（図では３つ）の画像に対して更にそれぞれ色補正する。色補正は、全体画像に対しても、また各切出し画像に対しても同様に行なわれ、Ｒ，Ｇ，Ｂのデータを検出してそれらがバランス（例えばホワイトバランス）がとれるようにＢとＲを色調整することによって行なわれる。
【００８３】
色補正の方法は既知の方法、つまり、画面全体（切出し画像の場合は切出し画像の画面全体）を積分してＲＧＢが一定になるようにする、画面の中で色付きの大きな部分は除外して飽和度の低い部分（例えば、画面の大部分が葉で周辺に地面がある被写体の場合、葉の部分を削除し、地面の色データのみで色バランスを計算する）を積分してＲＧＢが一定になるようにする、等の処理を行う。なお、本発明の図４，図６の実施例２，３を組み合わせて、各切出し画像について輝度、色共に補正することも可能である。
【実施例４】
【００８４】
図７は、本発明の実施例４に係る切出し画像処理部のブロック図である。本実施例では、輪郭の補正を目的としている。切出し画像が３つの場合について示している。
【００８５】
図７に示す切出し画像処理部１２Ａは、Ａ／Ｄ部１１からの画像データを記憶する複数（図では３つ）の画像切出し用のフレームバッファメモリ１２１，１２２，１２３と、このフレームバッファメモリ１２１，１２２，１２３からの各切出し画像を所定の表示サイズに拡大又は縮小して出力する解像度変換部１２４，１２５，１２６と、この解像度変換部１２４，１２５，１２６からの解像度変換された切出し画像Ａ，Ｂ，Ｃをそれぞれ、切り出された３つの画像の解像度に対する前記合成画像表示装置１９の表示画像の解像度の拡大率に比例して輪郭補正量を変化させる輪郭補正部１２７，１２８，１２９と、輪郭補正部１２７，１２８，１２９でそれぞれ輪郭補正された切出し画像Ａ，Ｂ，Ｃから不要な周辺画素を削除する周辺画素削除部１３１，１３２，１３３と、を備えている。
【００８６】
次に動作を説明する。
切出し画像は、拡大率が大きくなるに従いボケた画像になるので、拡大率に比例して輪郭補正の強調する量を上げる。特開平９−５１４４４号公報では、フィルムの濃度情報等により輪郭補正値をルックアップテーブルを用いて変更する提案がなされているが、本願では、バッファメモリ１２１，１２２，１２３の各フレーム画像より切出し位置情報に基づいて切出した切出し画像を合成画像表示装置１９での表示サイズに拡大するための拡大率をパラメータとして拡大率に応じて輪郭補正値を変更する処理を行えばよい。なお、輪郭補正部１２７，１２８，１２９では、切り出された画像の解像度に対して表示画像の解像度を拡大しない或いは縮小するのであれば、輪郭補正をかけない処理を行なう。
【００８７】
この輪郭補正を行なうのに際し、2次元デジタルフィルタ処理を切出し画像の端の画素にも行えるよう、バッファメモリ１２１，１２２，１２３の各フレーム画像より切出す画像は周辺画素を数画素余計に切出す。そして、輪郭補正処理後、不要の周辺画素は削除する。
【実施例５】
【００８８】
図８は本発明の実施例５に係る画像処理装置のブロック図である。本実施例は、撮像素子から複数の切出し画像を読み出す場合の実施例であり、撮像素子内で蓄積時間を制御することによりレベル調整を行なうものである。
【００８９】
図８に示す画像処理装置は、同一画像から複数（図では４つ）の切出し画像を出力可能で、かつ各切出し画像毎に蓄積時間が設定可能な撮像素子７１と、この撮像素子７１の各切出し領域と蓄積時間を設定するシステム制御マイコン９８と、撮像素子７１からの各切出し画像を処理するカメラ信号処理系（７２〜７９，８１〜８９，９１）と、複数の切出し画像を合成して表示する合成画像表示装置９２と、このカメラ信号処理系（７２〜７９，８１〜８９，９１）から切出し画像毎の輝度値を検出するレベル検出部９３〜９６と、画像切出し位置を選択するための処理を行なう切出し位置選択部９７と、を備えて構成されている。
【００９０】
撮像素子７１は、例えば８００万画素の撮像素子であって、田型の4画素を1単位にして4線出力する撮像素子で、４つの切出し画像を得ることが可能である。すなわち、撮像素子７１は、８００万画素を有し、田型の4画素Ａ，Ｂ，Ｃ，Ｄを1単位にした２００万個のブロックで構成された素子部７１１と、素子部７１１の縦横に１画素おきに存在する画素Ａのみを集めて構成される２００万画素分の露光蓄積データを水平１ラインずつ読み出し、シリアルに出力するＡ読出し走査線レジスタ７１２と、素子部７１１の縦横に１画素おきに存在する画素Ｂのみを集めて構成される２００万画素分の露光蓄積データを水平１ラインずつ読み出し、シリアルに出力するＢ読出し走査線レジスタ７１３と、素子部７１１の縦横に１画素おきに存在する画素Ｃのみを集めて構成される２００万画素分の露光蓄積データを水平１ラインずつ読み出し、シリアルに出力するＣ読出し走査線レジスタ７１４と、素子部７１１の縦横に１画素おきに存在する画素Ｄのみを集めて構成される２００万画素分の露光蓄積データを水平１ラインずつ読み出し、シリアルに出力するＤ読出し走査線レジスタ７１５と、素子部７１１の縦横に１画素おきに存在する画素Ａのみを集めて構成される２００万画素領域の蓄積時間を制御可能で、かつ該２００万画素領域から所望の切出し領域を指定する蓄積時間制御＆切出し領域指定部７１６と、素子部７１１の縦横に１画素おきに存在する画素Ｂのみを集めて構成される２００万画素領域の蓄積時間を制御可能で、かつ該２００万画素領域から所望の切出し領域を指定する蓄積時間制御＆切出し領域指定部７１７と、素子部７１１の縦横に１画素おきに存在する画素Ｃのみを集めて構成される２００万画素の蓄積時間を制御可能で、かつ該２００万画素領域から所望の切出し領域を指定する蓄積時間制御＆切出し領域指定部７１８と、素子部７１１の縦横に１画素おきに存在する画素Ｄのみを集めて構成される２００万画素の蓄積時間を制御可能で、かつ該２００万画素領域から所望の切出し領域を指定する蓄積時間制御＆切出し領域指定部７１９と、を備えている。
【００９１】
カメラ信号処理系（７２〜７９，８１〜８９，９１）は、Ａ，Ｂ，Ｃ，Ｄ読出し走査線レジスタ７１２，７１３，７１４，７１５から蓄積時間制御及び切出し領域指定して読み出された切出し画像Ａ，Ｂ，Ｃ，Ｄの信号（これは、Ａ，Ｂ，Ｃ，Ｄ４つの２００万画素領域それぞれから切出し指定によって適宜のサイズに切り出された切出し画像の撮像信号である）をそれぞれバッファアンプ７２，７３，７４，７５を介してＳ／Ｈ，ＡＧＣ部７６，７７，７８，７９で画素信号として取り出しかつＡＧＣレベル調整し、更にＡ／Ｄ部８１，８２，８３，８４にてそれぞれデジタル信号に変換した後、カメラ信号処理部８５，８６，８７，８８で色調整などの信号処理を行ない、４つの画像Ａ，Ｂ，Ｃ，Ｄの適宜のサイズの切出し画像信号として合成処理部８９に供給して合成し、更にＤ／Ａ部９１にてアナログ信号に変換して合成画像表示装置９２に合成画面表示する。
【００９２】
レベル検出部９３，９４，９５，９６はそれぞれ、カメラ信号処理部８５，８６，８７，８８から４つの画像Ａ，Ｂ，Ｃ，Ｄの各切出し画像の輝度レベルを検出し、システム制御マイコン９８に供給する。
【００９３】
システム制御マイコン９８は、ユーザー操作に基づく切出し位置選択部９７の処理により各切出し領域を指定する一方、レベル検出部９３，９４，９５，９６からの輝度データにより各切出し画像の電荷蓄積時間（電子シャッターとも呼ばれる）を決定し、切出し画像の輝度が所定の明るさになるように制御（調整）している。
【００９４】
本実施例によれば、任意の領域を複数出力可能な撮像素子を使用した場合に、各切出し処理領域毎に輝度レベルを検出し、蓄積時間（又はシャッター速度）を制御（決定）することにより、合成画面上の各切出し画像の輝度を適正にすることができる。例えば８００万画素の撮像素子を２００万画素ずつ４つの領域に分けて蓄積時間（又はシャッター速度）を制御可能とし、４つの領域からそれぞれ切出し画像を取り出すように構成した場合に、各切出し処理領域毎に輝度レベルを検出し、蓄積時間（又はシャッター速度）を適宜に指定することで、合成画面上の各切出し画像の輝度を適正化できる。明る過ぎれば撮像素子７１の蓄積時間（又はシャッター速度）を短くし、暗ければ蓄積時間（又はシャッター速度）を長くするように制御して、各切出し画像の輝度の適正化を図る。
【実施例６】
【００９５】
図９は本発明の実施例６に係る画像処理装置のブロック図である。本実施例では、フレームレートが遅い撮像素子の速度改善を目的としている。
【００９６】
図９は、図８における撮像素子内でのレベル調整を行なう画像処理装置について、フレームレートの遅い撮像素子（例えば、毎秒１０フレームの速度）を使用した場合に有効なものである。
【００９７】
動画で出力するには、一般に毎秒３０フレーム以上の速度で１枚の画像を処理する必要がある。しかし、撮像素子７１の画素数が増加すると同じ速度（毎秒３０フレーム以上の速度）で１枚の画像を処理するには必然的に１画素当りの処理が高速になり、撮像素子７１およびカメラ信号処理系（７２〜７９，８１〜８９，９１）の構成が複雑でかつコスト高になる。
【００９８】
その点に関しては、デジタルカメラ用の撮像素子は動画レベルの高速処理はできないが、高解像度のものがある。例えば、全画素を毎秒１０フレームの速度で処理する撮像素子の場合、切出し画像が全画素の１／３以下であれば伝送時間は１／３で済むので伝送速度は３倍とすることができ、切出し画像を毎秒３０枚送ることができ、動画処理が可能になる。
【００９９】
本実施例６の構成は、図８の実施例５の構成における、カメラ信号処理部８５，８６，８７，８８と合成処理部８９との間に、時間的なバッファ機能（時間的調整機能）を果たすものとして切出し画像毎に複数（図では４つの切出し画像に対応して４個）のバッファメモリ１０１，１０２，１０３，１０４を設けた構成としたものである。そして、１つのバッファメモリにおいて、１つの切出し画像の入出力に対し３つのフレームメモリ１０１ｂ，１０１ｃ，１０１ｄによるメモリバッファ機能が構成されており、入力側及び出力側にそれぞれスイッチ１０１ａ，１０１ｅが配置され、入力側スイッチ１０１ａは入力データが３つのフレームメモリ１０１ｂ，１０１ｃ，１０１ｄのうちの１つのフレームメモリへの書込みを終了したら次のフレームメモリに切り替えるように切替え端子ａ1，ａ2，ａ3の切替えが行われるようにし、出力側スイッチ１０１ｅは３つのフレームメモリ１０１ｂ，１０１ｃ，１０１ｄのうちの書込みが終わったフレームメモリに対して且つ前のフレームメモリからの読出しが終了したら、書込みが終わっている次のフレームメモリに切り替えるように切替え端子ｅ1，ｅ2，ｅ3の切替えが行われ、しかも表示装置９２の画像表示レート（毎秒３０フレーム、即ち1/30秒）で読出しが行なわれる。なお、画像表示レートは毎秒６０フレーム（即ち1/60秒）であってもよい。その他の構成は、図８と同様である。
【０１００】
次に、図９の動作を説明する。
撮像素子７１から読み出される（切り出される）切出し画像サイズのフレームレートが例えばＡが毎秒１５フレーム、Ｂが毎秒２０フレーム、Ｃが毎秒３０フレーム、Ｄが毎秒３０フレームであったとする。このようなフレームレートになるのは、表示装置９２の画面上に示しているように、Ａの切出し画像が一番大きく画面の略半分であり、Ｂの切出し画像がＡの切出し画像の略半分、Ｃ，Ｄの切出し画像がＢの略半分であるために、撮像素子７１からは、切出し領域が最も狭く指定されているＣ，Ｄの切出し画像が毎秒３０フレームでの読み出し（即ち、動画）が可能となっている。
【０１０１】
図８と同様なカメラ画像処理を行った後、４つの切出し画像に対応した４つのバッファメモリ１０１〜１０４のうち、例えばバッファメモリ１０１のメモリ入力（書き込み）側について説明すると、フレームメモリ１０１ｂ→フレームメモリ１０１ｃ→フレームメモリ１０１ｄ→フレームメモリ１０１ｂ… と順に１枚の切出し画像を書き込む毎に入力スイッチを切替えて書き込んでいく。
【０１０２】
メモリ出力(読出し）側は、最新の書き込みが終了したメモリから順次読み出していく。例えば現在フレームメモリ１０１ｂを読み出している状態で、次のフレームメモリ(例えばフレームメモリ１０１ｃ)が書き込み終了するまでは、フレームメモリ１０１ｂから同じタイミングで読出し続け(例えば1/30秒毎)、フレームメモリ１０１ｃが書き込み終了すると、フレームメモリ１０１ｂの全データを読み出し終わったタイミングで出力スイッチが切り替わりフレームメモリ１０１ｃの読出しを開始する。
【０１０３】
他のバッファメモリ１０２，１０３，１０４の動作についても同様であるが、Ａ，Ｂ，C，Ｄの各切出し画像がそれぞれバッファメモリ１０１，１０２，１０３，１０４に対して、１５フレーム／秒、２０フレーム／秒、３０フレーム／秒、３０フレーム／秒で入力されるので、バッファメモリ１０１を構成する３つのフレームメモリの入力側スイッチ（１０１ａを指す）はほぼ毎秒１５フレームの速度で切り替えられて３つのフレームメモリ（１０１ｂ，１０１ｃ，１０１ｄを指す）に順次にサイクリックに１フレームずつ画像データが書き込まれ、読み出しは３つのフレームメモリから表示装置９２に必要な読み出しレート（毎秒３０フレーム）で読み出される。
【０１０４】
また、バッファメモリ１０２を構成する３つのフレームメモリの入力側スイッチ（図示せず）はほぼ毎秒２０フレームの速度で切り替えられて３つのフレームメモリ（図示せず）に順次にサイクリックに１フレームずつ画像データが書き込まれ、読み出しは３つのフレームメモリから表示装置９２に必要な読み出しレート（毎秒３０フレーム）で読み出される。
【０１０５】
同様に、バッファメモリ１０３，１０４それぞれを構成する３つのフレームメモリの入力側スイッチ（図示せず）はほぼ毎秒３０フレームの速度で切り替えられて３つのフレームメモリ（図示せず）に順次にサイクリックに１フレームずつ画像データが書き込まれ、読み出しは３つのフレームメモリから表示装置９２に必要な読み出しレート（毎秒３０フレーム）で読み出される。
【０１０６】
このように、フレームレートが遅い撮像素子（例えば、毎秒１０フレーム）では全画像を読み出そうとすると動画にはならないが、切出し領域が指定された切出し画像のサイズさえ小さくしてやれば、撮像素子から読み出すのは狭い領域だけでよいので速く読み出すことができ、動画（毎秒３０フレーム）で出力可能となる。つまり、比較的領域の狭い切出し画像は、動画レート(例えば1/30秒毎)で表示することが可能になる。
【実施例７】
【０１０７】
図１０は本発明の実施例７に係る画像処理装置のブロック図である。本実施例では、同一画像データから切り出した複数の切出し画像のうち、基本画面というものを１つ決めておいて（例えば切出し画像Ａ）、切出し画像Ａのレベルを検出して、その検出レベルに基づいて基本画像Ａだけでなく他の切出し画像Ｂ，Ｃ…のレベルも調整するものである。
【０１０８】
図１０の画像処理装置は、再生装置から入力された画像をデジタル化するＡ／Ｄ部１１（再生装置がメモリ等からのデジタル画像データの場合Ａ／Ｄ部は不要）と、ユーザーが指定した複数（図ではＡ，Ｂ，Ｃの３つ）の切出し画像を生成する分割領域設定手段としての画像切出し処理部１２と、複数の切出し画像の内の一つを基本領域として設定する基本領域設定手段と、基本領域の信号レベルを検出するパラメータ設定手段としてのレベル検出部２２と、レベル検出部２２の基本領域検出レベルに基づいて各切出し画像Ａ，Ｂ，Ｃのレベル補正を行うレベル補正部１３Ａ-1，１３Ｂ-1，１３Ｃ-1と、複数の切出し画像Ａ，Ｂ，Ｃを一枚の画像にする合成部１４と、全体画像とユーザ操作によって選択された切出しエリア表示（マーク）とを加算する加算器１５と、全体画像データをアナログデータに変換するＤ／Ａ部１６と、撮像した画像全体を表示する全体画像表示装置１８と、複数の切出し画像を合成した合成画像を表示する合成画像表示装置１９と、全体画像表示装置１８の画面上で切出し画像の位置を指定する切出し位置選択部２０と、この切出し位置選択部２０からの画像位置切出し情報や、水平同期信号（ＨＤ）及び垂直同期信号（ＶＤ）や、クロック信号を用いて画像切出し処理部１２を制御し切出し画像を生成させるシステム制御部２１と、を備えている。レベル補正とは、輝度や色などについての調整パラメータのレベルを調整することを言う。
【０１０９】
また、ここでは基本領域は切出し画像Ａとする。基本領域の指定は、最初に切出した画像を基本領域にしたり、一番切出し領域が小さい画像を基本領域にしたり、複数の切出し領域の一つをクリックすることにより決定したり、ある時間で自動的に切替えても良い。指定された基本領域は他の切出し領域と違いがわかるように、箱の外枠線を比較的太くしたり、色を付けるなどをして、全体画像表示装置１８に表示する。
【０１１０】
以上の構成で、図１の構成と異なる点は、複数の切出し画像の内の一つを基本領域として設定する基本領域設定手段と、基本領域の信号レベルを検出するレベル検出部２２とを設けて、レベル検出部２２の基本領域検出レベルに基づいて、即ち同じ補正量（制御量）を用いて各切出し画像Ａ，Ｂ，Ｃのレベル補正を行うことである。従って、基本領域に対するレベル補正量が例えば２倍であれば、他の切出し領域個々のレベル補正量も２倍とされる。これに対して、図１の構成では、複数の切出し画像Ａ，Ｂ，Ｃそれぞれに異なった補正量（制御量）を設定してレベル補正を行なうことが可能なものである。
【０１１１】
次に、図１０の動作を説明する。
画像切出し処理部１２までの作用は図１と同様である。次にレベル検出部２２は基本領域の画像データのレベル検出を行い、基本領域の信号レベルが適正になるように他の切出し画像のレベル補正を行う。基本領域の画像の信号レベルに合った補正が他の切出し領域の画像に対しても行なわれることになり、合成画像全体としては観察者に違和感のない画像を提供することができる。
【０１１２】
なお、図示していないが、各切出し領域毎にレベル検出を行い、基本領域以外の切出し領域は、基本領域で検出されたレベルと各切出し領域で検出したレベルを加算平均あるいは、切出しサイズにより重み付けを行ってレベル補正量を決定しても良い。
【実施例８】
【０１１３】
図１１は本発明の実施例８に係る画像処理装置のブロック図である。本実施例は、図７の実施例７のレベル検出部２２を輝度検出部２２Ａに置き換え、図７の実施例７のレベル補正部１３Ａ-1，１３Ｂ-1，１３Ｃ-1を輝度補正部１３Ａ-2，１３Ｂ-2，１３Ｃ-2に置き換えた構成とするもので、輝度（露出）のレベル補正を目的としている。
【０１１４】
さらに、本実施例では、図４における画面全体に対するＡＥ制御系（３７，３８，３９，４１，４２）を採用した構成としてある。ＡＥ制御系は、実施例２で説明したように、輝度レベルを検出する輝度レベル検出部３７と、輝度レベルによるＡＥ処理の方法プログラムが内蔵されているＡＥ制御マイコン３８と、ＡＥ制御マイコン３８からのデジタル輝度信号をＡＧＣ制御信号用にアナログ変換するＤ／Ａ部３９と、ＡＥ制御マイコン３８の指示により電子シャッター速度等のＣＣＤ動作を制御するＣＣＤ駆動回路４１と、ＡＥ制御マイコン３８の指示によりアイリス制御用モーター３３を駆動するアイリス駆動回路４２と、を備えている。
【０１１５】
実施例８の動作を説明すると、ＡＥ制御系（３７，３８，３９，４１，４２）によって撮影画像全体のＡＥ制御が行なわれ、その後基本領域の切出し画像(例えば切出し画像Ａ)の輝度値を輝度検出部２２Ａにて検出し、その基本領域輝度値に基づいた補正量（制御量）によって輝度補正部１３Ａ-2で切出し画像Ａの輝度補正を行なうと同時に、同じ基本領域輝度値に基づいた補正量（制御量）によって輝度補正部１３Ｂ-2，１３Ｃ-2にて他の切出し画像Ｂ，Ｃの各輝度補正も行なう。すなわち、切出し画像(例えば切出し画像Ａ)の輝度値が一定値になるように切出し画像Ａのゲインを調整し、その調整値を他の切出し画像Ｂ，Ｃにも適応する。
【０１１６】
なお、輝度検出部２２Ａによる輝度検出は、基本領域の画像の平均輝度や中央重点測光あるいはスポット測光データから輝度のレベルを決定すれば良い。
【０１１７】
実施例８によれば、複数の切出し画像の中から、基本となる画像を選択し、その基本領域の画像から輝度（露出）のレベルを決定し、その輝度値データに基づいた補正量（制御量）を全ての切出し画像に適応する手段を設けており、一番注目したい切出し画像に輝度を合せることが可能になる。
【実施例９】
【０１１８】
図１２は本発明の実施例９に係る画像処理装置のブロック図である。本実施例では、通信速度(データレート)が律速された状態で、注目している基本領域を他の領域より動画レベルで表示することを目的としている。ここでは、複数の切出し画像を２つの切出し画像Ａ，Ｂとし、切出し画像Ａを基本画像とする。２つの切出し画像Ａ，Ｂを得て、伝送し、切出し画像Ａについては動画或いは動画に近いレベル（準動画）で見て、切出し画像Ｂについてはコマ落ちで見れても良い、というような鑑賞形態（シチュエーション）を考える。また、伝送系はＶＧＡ（640×480ドット、Video Graphic Array の略）ならば毎秒３０フレーム伝送できるものとし、画像Ａを２５フレーム伝送し、画像Ｂを５フレーム伝送するものとして考える。
【０１１９】
図１２に示す画像処理装置は、再生装置から入力された画像信号をデジタル化するＡ／Ｄ部（但し再生装置がデジタル画像出力対応の場合Ａ／Ｄ部は不要である）１１と、デジタル画像信号を入力し、デジタル画像からユーザーが指定した複数（図では３つ）の切出し画像Ａ，Ｂを生成する画像切出し処理部１２と、全体画像とユーザ操作によって選択された切出しエリア表示（マーク）とを加算する加算器１５と、全体画像データをアナログデータに変換するＤ／Ａ部１６と、撮像した画像全体を表示する全体画像表示装置１８と、全体画像表示装置１８の画面上で切出し画像の位置を指定する切出し位置選択部２０と、この切出し位置選択部２０からの画像位置切出し情報や、水平同期信号（ＨＤ）及び垂直同期信号（ＶＤ）や、クロック信号を用いて画像切出し処理部１２を制御し切出し画像を生成させるシステム制御部２１と、切出し画像Ａ，Ｂをそれぞれ伝送サイズに解像度変換する（例えばＶＧＡサイズにする、切出し画像ＡはＶＧＡサイズに拡大し、切出し画像ＢはＶＧＡサイズに縮小したりする）第１の解像度変換部２３，２４と、第１の解像度変換部２３，２４で同じ伝送サイズ（例えばＶＧＡサイズ）に変換された基本切出し画像Ａと他の切出し画像Ｂを選択するもので、基本切出し画像Ａを他の切出し画像Ｂより多く選択する（例えば画像Ａは５回、画像Ｂは１回の割合で、即ち毎秒では画像Ａは２５フレーム、画像Ｂは５フレーム選択して送る）出力セレクタ２５と、出力セレクタ２５で選択されたＶＧＡサイズのシリアルフレーム伝送される画像Ａ，Ｂを実際に合成画像表示装置１９にて表示する解像度（例えばＳＸＧＡ）に合わせた変換をする第２の解像度変換部２６と、この第２の解像度変換部２６により解像度が変換された前記切出し画像Ａ，Ｂを、合成画像表示装置１９のフレームレートに変換するバッファメモリ手段２７と、フレームレート変換された切出し画像Ａ，Ｂを一枚の画像に合成する合成部１４と、合成画像をアナログ信号に変換するＤ／Ａ部１７と、合成画像を表示する合成画像表示装置１９と、を備えている。
【０１２０】
上記出力セレクタ２５は、例えばＶＧＡサイズに解像度変換された切出し画像Ａ，Ｂを各解像度変換部２３，２４内のメモリから読み出して、１秒間にAAAAABAAAAABAAAAABAAAAABAAAAABのようにシリアル出力する。
【０１２１】
上記バッファメモリ手段２７は、時間的なバッファ機能（時間的調整機能）を果たすものとして切出し画像毎に複数（図では２つの切出し画像に対応して２個）のバッファメモリ２７２，２７３と、この２つのバッファメモリ２７２，２７３の入力側に設けられて、解像度変換部２６からの解像度変換された画像Ａ，Ｂを選択的に切り替えて、バッファメモリ２７２，２７３に入力するための入力切替スイッチ２７１と、を設けた構成となっている。
【０１２２】
入力切替スイッチ２７１は、第２の解像度変換部２６で解像度変換された上記AAAAABAAAAABAAAAABAAAAABAAAAAB／秒のシリアルデータを選択的に出力端Ａ，Ｂに切り替えて出力するが、入力端に画像Ａが来たら出力端Ａに切替え接続して、画像Ａが５回バッファメモリ２７２に連続的に入力した後、次に画像Ｂが来たら出力端Ｂに切替え接続して、画像Ｂが１回だけバッファメモリ２７３に入力した後、再び画像Ａが来たら出力端Ａに切替え接続して、…というように切替え動作を繰り返し行なう。
【０１２３】
そして、１つのバッファメモリ（例えばバッファメモリ２７２）において、１つの切出し画像Ａの入出力に対し３つのフレームメモリ２７２ｂ，２７２ｃ，２７２ｄによるメモリバッファ機能が構成されており、入力側及び出力側にそれぞれスイッチ２７２ａ，２７２ｅが配置され、入力側スイッチ２７２ａは入力データが３つのフレームメモリ２７２ｂ，２７２ｃ，２７２ｄのうちの１つのフレームメモリへの書込みを終了したら次のフレームメモリに切り替えるように切替え端子ａ1，ａ2，ａ3の切替えが行われるようにし、出力側スイッチ２７２ｅは３つのフレームメモリ２７２ｂ，２７２ｃ，２７２ｄのうちの書込みが終わったフレームメモリに対して且つ前のフレームメモリからの１フレーム分の読出しが完了したら、書込みが終わっている次のフレームメモリに切り替えるように切替え端子ｅ1，ｅ2，ｅ3の切替えが行われ、しかも合成画像表示装置１９の画像表示レート（毎秒３０フレーム、即ち1/30秒）で読出しが行なわれる。なお、画像表示レートは毎秒６０フレーム（即ち1/60秒）であってもよい。バッファメモリ２７３についても同様に動作し、表示装置１９の画像表示レート（毎秒３０フレーム、即ち1/30秒）で読出しが行なわれる。
【０１２４】
そして、合成部１４で合成後、Ｄ／Ａ部１７にてアナログ変換されて、合成画像表示装置１９の画面上に例えば２画像並べて合行表示される。切出し画像Ａは毎秒２５フレームの準動画で表示され、切出し画像Ｂは毎秒５フレームのコマ落ちで表示される。
【０１２５】
図１３は図１２におけるバッファメモリ手段のスキャンコンバータ動作を説明する図を示している。バッファメモリ２７２について説明すると、図１３で(a)はフレームメモリ２７２ｂ，２７２ｃ，２７２ｄへの書込み状態（毎秒２５フレーム）を示し、(b)はフレームメモリ２７２ｂ，２７２ｃ，２７２ｄからの読出し状態（毎秒３０フレーム）を示している。入力側スイッチ２７２ａは毎秒２５回切り替わってフレームメモリ２７２ｂ，２７２ｃ，２７２ｄに毎秒２５フレームが順に書き込まれ、出力側スイッチ２７２ｅは毎秒３０フレーム出力されるが、フレームメモリ２７２ｂ，２７２ｃ，２７２ｄへの書込みが終わり且つ前のフレームメモリからの１フレーム分の読出しが完了したら、書込みが終わっている次のフレームメモリに切り替わるので、フレームメモリ２７２ｃへの読出し時刻ｔ1（図１３(b)参照）が来ても、時刻ｔ1でフレームメモリ２７２ｄへの書込み（図１３(a)参照）が完了していない時点では前のフレームメモリ２７２ｃからの読出しをもう一度行ない、そして点線矢印に示すタイミングｔ2でフレームメモリ２７２ｄへの書込みが終了していても、フレームメモリ２７２ｃからの２回目のフレームメモリ読出しが完了していない期間Ｔはその読出しを続行し、２回目のフレーム読出しが完了（時刻ｔ3）した後にフレームメモリ２７２ｄの書込み済みデータを読み出すことになる。
【０１２６】
次に、第１の解像度変換部２３，２４の解像度変換が画素間引きによる場合とＪＰＥＧ圧縮による場合とに分けて、動作をそれぞれ説明する。
【０１２７】
(1)解像度変換方法１（画素間引き）
各切出し画像Ａ，Ｂを第１の解像度変換部２３，２４にて、毎秒３０フレーム（或いは毎秒６０フレーム）で伝送できるサイズに解像度変換を行なう。
【０１２８】
例えば、伝送速度が２２２Mbit/secの場合、毎秒３０フレーム伝送するために各切出し画像をＶＧＡ(640×480ドット）程度のサイズに縮小あるいは拡大する。
【０１２９】
(640pix×480pix×30fps×3(RGB）×8bit=221.2Mbps)
出力セレクタ２５で基本切出し画像Ａを他の切出し画像Ｂより多く選択し、伝送することにより、通信のデータレートが比較的遅くても、合成画像全体がコマ落ちせず、基本画像Ａは準動画、他の画像Ｂはコマ落ちした画像を表示することが可能になる。
【０１３０】
受信した画像は第２の解像度変換部２６の解像度変換により表示装置１９に表示されるサイズに変換される。
【０１３１】
次に図９と同様の３フレームメモリ構成によるバッファメモリ手段２７により、出力タイミングを合成画像表示装置１９に合うように補正される。つまり、切出し画像Ａは３つのフレームメモリ（２７２ｂ，２７２ｃ，２７２ｄ）に毎秒２５フレーム、切出し画像Ｂは３つのフレームメモリ（図示せず）に毎秒５フレームが書き込まれるが、共に毎秒３０フレームで読み出され、画像合成後、合成画像表示装置１９に出力される。
【０１３２】
(2)解像度変換方法２（ＪＰＥＧ圧縮）
各切出し画像Ａ，Ｂの１枚のサイズを第１の解像度変換部２３，２４にて所定のデータ量より小さくなるようにＪＰＥＧ等の圧縮を行い、伝送後に伸張する。
【０１３３】
例えば、伝送速度が２２２Mbit/secの場合、毎秒３０フレーム伝送するために１枚の画像を９２５ｋバイト以下にする圧縮処理を行えば良い。
【０１３４】
(925ｋ×30fps×8bit=222Mbps）
出力セレクタ２５で受信した後の画像の処理は上記「解像度変換方法１」と同様である。
【０１３５】
なお、伝送する画像は、切出し画像だけでなく、全体画像、あるいは全体画像に切出し画像を合成した画像を解像度変換し、適当な割合で、切出し画像と時系列に伝送してもよい。
【実施例１０】
【０１３６】
図１４は本発明の実施例１０に係る画像処理装置のブロック図である。本実施例では、複数（図では３つ）の切出し画像を一枚の画像に合成した後、画面全体の平均値が適正になるように補正を行う。各々のブロックの動作は、実施例１と同様である。
【０１３７】
実施例１では、画像切出し処理部１２で切り出した３つの切出し画像Ａ，Ｂ，Ｃごとに画像処理部１３Ａ，１３Ｂ，１３Ｃで画像処理即ちレベル補正を行なった後に、３つの画像Ａ，Ｂ，Ｃを合成部１４にて合成するものであった。これに対して、実施例１０では、画像切出し処理部１２で切り出した３つの切出し画像Ａ，Ｂ，Ｃを合成部１４で合成した後に、その合成画像をレベル補正部２８でレベル補正する点で、実施例１とは構成が異なっている。レベル補正とは、輝度や色などについての調整パラメータのレベルを調整することを言う。レベル補正部２８はマニュアル調整可能としてもよいし、或いは切出し画像合成後のレベル検出を行ない、その検出結果に基づいてレベル補正部のレベル補正量を所定値となるように自動調整可能としてもよい。
【０１３８】
上記の実施例１０の構成においては、実施例１のように個々にレベル調整しないので、切出し画像間のレベル差が比較的小さければ、実施例１と同様の効果が低コストで得られるメリットがある。また、比較的大きく切出した画面の適正値に近い補正が可能になるので、出力領域を大きく取った注目したい画像はほぼ適正なレベルになる。
【０１３９】
なお、表示領域毎に重み付けを行い、小さい表示領域ほどウエイトをかけることで、表示領域のサイズによらないレベル補正をかけても良い。
【実施例１１】
【０１４０】
図１５は本発明の実施例１１に係る画像処理装置のブロック図である。本実施例は、複数（図では３つ）の切出し画像を一枚の画像に合成した後、画面全体の平均値が適正になるようにＡＥ（自動露出）制御を行う。各々のブロックの動作は、実施例２と同様である。
【０１４１】
図４の実施例２では、撮影画像全体の平均値を輝度レベル検出部３７で輝度レベルとして検出し、ＡＥ制御系（３７，３８，３９，４１，４２）によってＡＥ制御を行なう一方、画像切出し処理部１２で切り出した３つの切出し画像Ａ，Ｂ，Ｃごとに画像処理部１３Ａ，１３Ｂ，１３Ｃで画像処理即ちレベル補正を行なった後に、３つの画像Ａ，Ｂ，Ｃを合成部１４にて合成するものであった。これに対して、実施例１１では、画像切出し処理部１２で切り出した３つの切出し画像Ａ，Ｂ，Ｃを合成部１４で合成した後に、その合成画像の平均値を輝度レベルとして検出し、ＡＥ制御系（３７，３８，３９，４１，４２）を用いてＡＥ制御を行なう点で、実施例２とは構成が異なっている。
【０１４２】
上記の実施例１１の構成においては、複数の切出し画像を合成した後の平均値を輝度レベルとしてＡＥ制御を行うことで、各切出し画像の輝度調整をなくすことができ、低コストな構成が可能である。
【実施例１２】
【０１４３】
図１６は本発明の実施例１２に係る画像処理装置のブロック図である。本実施例は、複数（図では３つ）の切出し画像を一枚の画像に合成した後、画面全体の色バランスが適正になるように色補正を行う。各々のブロックの動作は、実施例３と同様である。
【０１４４】
図６の実施例３では、回路部（５１〜５５）で画像全体で色調整をした後、さらに画像切出し処理部１２で切り出した各切出し画像毎に回路部（５６〜５９、６１〜６４、６５〜６８）で色調整を行なうものであった。これに対して、実施例１２では、画像切出し処理部１２で切り出した３つの切出し画像Ａ，Ｂ，Ｃを合成部１４で合成した後に、その合成画像のＲＧＢ信号の比を検出して、回路部（５１〜５５）で色調整（ＡＷＢ、即ちオートホワイトバランス）を行なう点で、実施例３とは構成が異なっている。
【０１４５】
上記の実施例１２の構成においては、複数の切出し画像を合成した後の、ＲＧＢ信号の比を検出して画像全体で色調整を行うことにより、切出し画像毎に調整する必要がなくなり、低コストな構成が可能である。
【産業上の利用可能性】
【０１４６】
本発明は、デジタルカメラやデジタルビデオカメラなどの個体撮像素子を用いた撮像装置における画像処理装置のほか、医療用の撮像装置、例えば電子内視鏡装置などにおける画像処理装置に応用することもできる。
【図面の簡単な説明】
【０１４７】
【図１】本発明の実施例１に係る画像処理装置のブロック図。
【図２】図１における画像切出し処理部の構成の一例を示すブロック図。
【図３】合成画像表示装置上における、複数の切出し画像の表示パターン例を示す図。
【図４】図４は本発明の実施例２に係る画像処理装置のブロック図。
【図５】中央重点方式を説明する説明図。
【図６】本発明の実施例３に係る画像処理装置のブロック図。
【図７】本発明の実施例４に係る切出し画像処理部のブロック図。
【図８】本発明の実施例５に係る画像処理装置のブロック図。
【図９】本発明の実施例６に係る画像処理装置のブロック図。
【図１０】本発明の実施例７に係る画像処理装置のブロック図。
【図１１】本発明の実施例８に係る画像処理装置のブロック図。
【図１２】本発明の実施例９に係る画像処理装置のブロック図。
【図１３】図１２におけるバッファメモリ手段のスキャンコンバータ動作を説明する説明図。
【図１４】本発明の実施例１０に係る画像処理装置のブロック図。
【図１５】本発明の実施例１１に係る画像処理装置のブロック図。
【図１６】本発明の実施例１２に係る画像処理装置のブロック図。
【符号の説明】
【０１４８】
１２…画像切出し処理部（分割領域設定手段）
１３Ａ，１３Ｂ，１３Ｃ…画像処理部
１３Ａ-1，１３Ｂ-1，１３Ｃ-1…レベル補正部
１３Ａ-2，１３Ｂ-2，１３Ｃ-2…輝度補正部
１４…合成部（合成手段）
１５…加算器
１８…全体画像表示装置
１９…合成画像表示装置
２０…切出し位置選択部
２１…システム制御部
２２…レベル検出部
２２Ａ…輝度検出部
代理人 弁理士 伊 藤 進
【技術分野】
【０００１】
本発明は、撮像画像の中から希望する任意の画像をリアルタイムで切り出し合成することが可能な画像処理装置に関するものである。
【背景技術】
【０００２】
近年、ＣＣＤ等の撮像素子が高精細化されるに従い、撮像エリアの一部を切出しても高精細な表示あるいは記録が得られるようになってきた。例えば特許2557865号明細書では、撮像素子の中央部領域から撮像画情報を適切に読み出す装置を提案している。
【０００３】
しかし、ピント調整等のために中央部のみ読み出すことは必要なことであるが、本来のビデオカメラ撮影では、撮影エリア全体と任意の切出し画像の両方を表示あるいは記録できることが望ましい。例えばオーケストラの場面を撮影する時、全体を撮影しつつ、注目しているプレイヤーＡ,プレイヤーＢをアップで撮影し、全体の画像とアップの画像を合成して一枚の画像として出力したい要求がある。
【０００４】
複数のカメラで撮影し、それぞれを合成出力するシステムは特許3234851号明細書やテレビジョン学会誌Vol.48.No.11p1418-1419等が従来からあるが、複数台カメラを使用すると、カメラ間の輝度や色、幾何調整等が必要になり、時間と費用がかかるという課題があった。
【０００５】
その点、一台のカメラの出力から任意に領域を切出し、合成して出力することにより上記課題を解決することができる。しかし、１台のカメラの画像から複数の画像を切出しても一般的には撮像エリア全体に対し中央重点測光が行われるため、全体画像では適正露出（輝度と色が適正）でも、一部を切出した画像は光源の位置関係等により必ずしも適正露出にならない、という課題があった。
【特許文献１】特許２５５７８６５号明細書
【特許文献２】特許３２３４８５１号明細書
【非特許文献１】テレビジョン学会誌Vol.48.No.11 p1418-1419
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、上記課題に鑑みて考案されたもので、同一画像から複数の画像領域を切出し、合成して表示する際に、全体画像では適正露出（輝度と色が適正）でも、切出して合成表示した際にそれぞれの画像が適正露出（輝度と色、幾何等が適正）となる画像処理装置を提供することを目的としている。
【課題を解決するための手段】
【０００７】
請求項１記載の発明による画像処理装置は、同一画像から複数の画像領域を分割し切り出す分割領域設定手段と、前記分割領域設定手段により分割し切り出された複数の画像領域を、一つの画像に合成する合成手段とを有するものである。
【０００８】
請求項１記載の発明によれば、一台のカメラの同一画像出力から任意の複数の画像領域を切出し、切出し部分を合成して出力することにより、複数のカメラを使用するために発生する上記課題、つまり、色、輝度、幾何調整等の補正を解決することができる。何故なら、切出し画像は同じ撮像素子を使って取得しているので、カメラ間のバラツキは発生しない。また、複数カメラを使った場合に比べコスト的に有利になる利点もある。
【０００９】
請求項２記載の発明は、請求項１に記載の画像処理装置において、前記分割領域設定手段により分割し切り出された複数の画像領域を個々に画像処理を行う画像処理手段をさらに有し、個々に画像処理された画像を前記合成手段により、一つの画像に合成することを特徴とするものである。
【００１０】
請求項２記載の発明によれば、切出した画像が適正になるように、切出し画像を個々に画像処理することを提案している。複数カメラを使用した場合、各カメラで輝度、色等を調整することができるが、1台のカメラから複数の画像を切出す場合、全体画像に対し適正になるよう輝度、色等が決定されるため、切出し画像の輝度、色等が必ずしも適正とは限らない。そのため、全体画像に対し処理した後、各切出し画像を個々に調整することで切出し画像は適正になる。
【００１１】
請求項３記載の発明は、請求項２に記載の画像処理装置において、前記合成手段により合成された画像を表示する表示装置をさらに有し、前記分割し切り出された複数の画像領域の個々の画像処理が、切り出された画像の解像度を前記表示装置の表示用の解像度に変換する解像度変換であることを特徴とするものである。
【００１２】
請求項３記載の発明によれば、切出し画像を表示装置に合成表示するに際し、切出し画像の解像度を、該切出し画像を表示装置に表示する際のサイズに適合した解像度に変換する。つまり、切出し画像を個々に解像度変換して、個々の切出し画像が適正な表示用解像度になるようにしている。切出された画像を表示装置の画面に合成して表示する際には、各切出し画像は表示装置の画面上における、例えば、予め決められた領域に所定のサイズに拡大されたり縮小されたりして表示されることになるので、切出し画像とその表示用画像の解像度を比較し、その比に従い解像度変換することで画像の拡大、又は縮小を行い、更にスムージング処理を行うなどして、切出し画像が荒くなることを防止することができる。
【００１３】
請求項４記載の発明は、請求項２に記載の画像処理装置において、前記画像処理手段による個々の画像処理が、輝度補正であることを特徴とするものである。
【００１４】
請求項４記載の発明によれば、切出した画像の輝度が適正になるように、全体画像に対し露出補正（ＡＥ）した後、各切出し画像を個々にレベル調整することにより、合成画面上の各切出し画像の輝度が適正になる。この露出補正（ＡＥ）及びレベル調整は既知の方法、例えば「平均測光」方式では、ＡＥについては、画面全体の輝度値を積分して、一定値になるようにアイリス調整、あるいは撮像素子の電子シャッター速度調整を行ない、レベル調整については、画面全体の輝度値を積分して、一定値になるようにアンプのゲイン調整を行なえば良い。また、「中央重点測光」方式では、周辺部に対し中央部のデータに重きをおいて輝度値を積分し、その積分値に基づいてＡＥやレベル調整を行なえば良い。従って、個々の切出し画像輝度補正については、アイリス調整、撮像素子の電子シャッター速度調整、およびアンプのゲイン調整等を組み合せて行ったり、あるいはアンプゲイン調整を単独で行なっても良い。
【００１５】
請求項５記載の発明は、請求項２に記載の画像処理装置において、前記画像処理手段による個々の画像処理が、色補正であることを特徴とするものである。
【００１６】
請求項５記載の発明によれば、切出した画像の色が適正になるように、全体画像に対し色補正（例えば、ホワイトバランス調整）した後、各切出し画像を個々に色補正することにより、合成画面上の各切出し画像の色が適正になる。色補正の方法は既知の方法、つまり、画面全体（切出し画像の場合は切出し画像の画面全体）を積分してＲＧＢが一定になるようにする。あるいは、画面の中で色付きの大きな部分は除外して飽和度の低い部分を積分してＲＧＢが一定になるようにする（例えば、画面の大部分が葉で周辺に地面がある被写体の場合、葉の部分を削除し、地面の色データのみで色バランスを計算する）、等の処理を行えば良い。
【００１７】
請求項６記載の発明は、請求項３に記載の画像処理装置において、前記画像処理手段による個々の画像処理が、前記分割し切り出された複数の画像領域の解像度に対する前記表示装置の表示画像の解像度の拡大率に比例して輪郭補正量を変化させる処理であることを特徴とするものである。
【００１８】
請求項６記載の発明によれば、ある切出し画像の切出しサイズとその切出し画像のサイズについて合成画面での出力サイズとの比は個々の切出した画像によって違うので適宜適当な輪郭補正を行うことによって、合成画像の画質劣化を減らすことが可能になる。すなわち、ある切出し画像のサイズについて合成画面における出力サイズが拡大される場合は、撮像画素に拡大に必要な画素がないときは画素補間で画素数を増やすことになるため、それだけ表示画像の輪郭がボケやすいので、輪郭補正量を増やしてやる。また、拡大率が下がったり合成画面における画像を縮小する場合は、輪郭補正量を減少、若しくは輪郭補正を行なわないようにする。
【００１９】
請求項７記載の発明は、請求項２に記載の画像処理装置において、前記画像処理手段による個々の画像処理が、撮像素子の電子シャッターによる補正であることを特徴とするものである。
【００２０】
請求項７記載の発明によれば、任意の領域を複数出力可能な撮像素子を使用した場合の輝度補正に関するもので、各切出し処理領域毎に輝度レベルを検出し、適当になるように、シャッター速度（又は蓄積時間）を指定することにより、合成画面上の各切出し画像の輝度が適正になる。例えば８００万画素の撮像素子を２００万画素ずつ４つの領域に分けてシャッター速度（又は蓄積時間）を制御可能とし、４つの領域からそれぞれ切出し画像を取り出すように構成した場合に、各切出し処理領域毎に輝度レベルを検出し、適当になるように、シャッター速度（又は蓄積時間）を指定することにより、合成画面上の各切出し画像の輝度を適正にする。
【００２１】
請求項８記載の発明は、請求項６に記載の画像処理装置において、前記分割し切り出された複数の画像を、個々の切出し画像のサイズに応じた速度で出力するフレームバッファ手段を設けたことを特徴とするものである。
【００２２】
請求項８記載の発明によれば、撮像素子の切出し画像のサイズにより、一枚あたりの撮像素子の読出し速度が違うことに着目し、フレームバッファメモリ手段を設けたことにより、全画素を読出すのに動画レート(毎秒３０フレーム読出し)以下の読出しレートの処理能力の低い撮像素子を使用した場合でも、比較的領域の狭い切出し画像（即ちサイズの小さい画像）については、読出しレートを速くできて、動画で表示することが可能になる。
【００２３】
請求項９記載の発明による画像処理装置は、同一画像から複数の画像領域を分割し切り出す分割領域設定手段と、前記分割領域設定手段により分割し切り出された複数の画像領域の内の一つを基本領域として設定する基本領域設定手段と、前記分割領域設定手段により分割し切り出された複数の画像に対して処理を行うパラメータを、前記基本領域に対する処理に用いるパラメータに対して、前記基本領域と基本領域以外の分割し切り出された複数の画像領域との差分（相対的なレベルの大きさ）により補正して求めるパラメータ設定手段と、前記基本領域と前記基本領域以外の分割し切り出された複数の画像領域に前記パラメータ設定手段により設定されたパラメータによる処理を行ない、各領域の画像を一つの画像に合成する合成手段と、この合成手段により合成された画像を表示する表示装置とを有することを特徴とするものである。
【００２４】
請求項９記載の発明によれば、基本となる切出し画像と他の切出し画像を選択し、その基本画像と他の切出し画像を相対比較し、その差分に基づき基本画像と他の切出し画像に補正をかけることで、観察者に違和感のない合成画像を提供することが可能となる。
【００２５】
請求項１０記載の発明は、請求項９に記載の画像処理装置において、前記パラメータによる処理は、前記分割し切り出された複数の画像領域に対する輝度補正処理であり、前記基本領域の輝度レベルから相対的に基本領域以外の分割し切り出された画像領域の輝度レベルを補正することを特徴とするものである。
【００２６】
請求項１０記載の発明によれば、複数の切出し画像の中から、基本となる画像を選択し、その基本領域の画像の平均輝度や中央重点測光あるいはスポット測光データから輝度のレベル（露出）を決定し、そのデータを全ての切出し画像に適応する手段を備えており、一番注目したい切出し画像に輝度を合せることが可能になる。
【００２７】
基本領域以外の切出し画像の輝度は、基本領域の輝度レベルと全く同じにする以外に、例えば、全体画像の輝度レベルと基本領域の輝度レベルの加算平均値で決定しても、それぞれの切出し画像の輝度レベルと基本領域の輝度レベルの加算平均値、あるいは、
(基本領域の平均輝度レベル＋全体画像の平均輝度レベル＋それぞれの切出し画像の輝度レベル)÷３
等で決定しても良い。
【００２８】
輝度の合せ方は既知の方法、例えば「平均測光」方式は、画面全体（切出し画像の場合は切出し画像の画面全体）の輝度値を積分して、一定値になるようにアイリス調整、撮像素子の電子シャッター速度調整、あるいはアンプのゲイン調整等を単独あるいは組み合わせて行えば良い。また、「中央重点測光」方式は、画面全体における周辺部に対し中央部のデータに重きをおいて輝度値を積分し、これに基づいて調整を行えば良い。
【００２９】
請求項１１記載の発明は、請求項１に記載の画像処理装置において、前記複数の分割し切り出された画像の解像度を所定の解像度に変換する第１の解像度変換部と、この第１の解像度変換部により解像度が変換された前記複数の分割し切り出された画像のいずれかを選択する選択手段と、この選択手段により選択された前記複数の分割し切り出された画像を伝送する伝送手段と、この伝送手段により伝送された前記複数の分割し切り出された画像を所定の解像度に変換する第２の解像度変換部と、この第２の解像度変換部により解像度が変換された前記複数の分割し切り出された画像を、合成された画像を表示する表示装置のフレームレートに変換するバッファメモリ手段とをさらに有し、前記複数の分割し切り出された画像の基本領域の画像をそれ以外の他の画像よりも多く伝送することを特徴とするものである。
【００３０】
請求項１１記載の発明によれば、通信速度(データレート)が律速された画像伝送を想定した発明であり、各切出し画像を、まず、毎秒３０フレーム（あるいは６０フレーム）で伝送できるサイズに解像度変換を行い、３０フレームの画像サイズ（例えばＶＧＡサイズ）にした場合、複数の切出し画像のうち基本切出し画像を他の切出し画像より相対的に多いフレーム数伝送することにより、通信のデータレートが比較的遅くても、合成画像全体がコマ落ちせず、基本画像は準動画、他の画像はコマ落ちした画像を表示することが可能になる。
【００３１】
請求項１２記載の発明は、請求項１に記載の画像処理装置において、前記合成手段により合成された画像のレベルを所定のパラメータにより補正する補正手段を有することを特徴とするものである。
【００３２】
請求項１２記載の発明によれば、切出し画像を一枚の画像に合成した後、画面全体の平均値が適正になるように補正を行う。切出し画像を個々に調整しないのでレベル差が小さければ請求項１の発明と同様の効果が低コストにできるメリットがある。また、比較的大きく切出した画面の適正値に近い補正が可能になるので、出力領域を大きく取った、注目したい画像をほぼ適正なレベルできる。
【００３３】
請求項１３記載の発明は、請求項１２に記載の画像処理装置において、前記補正手段は、前記合成された画像の輝度レベルを補正することを特徴とするものである。
【００３４】
請求項１３記載の発明によれば、切出し画像を一枚の画像に合成した後、画面全体の平均輝度の補正を行うので、各切出し画像の輝度調整を無くすことができ、低コストな構成が可能である。
【００３５】
請求項１４記載の発明は、請求項１２に記載の画像処理装置において、前記補正手段は、前記合成された画像の色バランスを補正することを特徴とするものである。
【００３６】
請求項１４記載の発明によれば、切出し画像を一枚の画像に合成した後、画面全体で色補正を行うので、各切出し画像の色調整を無くすことができ、低コストな構成が可能である。また、比較的大きく切出した画面の適正値に近い補正が可能になる。
【００３７】
請求項１５記載の発明は、請求項１に記載の画像処理装置において、前記分割領域設定手段は、分割する前の元の画像全体を表示する全体画像表示手段と、この全体画像表示手段上で画像を分割し切り出す領域を指定する分割切出し位置指定手段とを備えており、この分割切出し位置指定手段は前記全体画像表示手段上に表示された画像の部分を指定することにより、分割し切り出す画像の位置を決定することを特徴とするものである。
【００３８】
請求項１５記載の発明によれば、ユーザーが全体画像表示手段への切出し画像を設定する手段を提案している。切出し画像抽出には、開始点でマウスのボタンを押し、終了点でボタンを離すことで完了する。
【００３９】
請求項１６記載の発明は、請求項１に記載の画像処理装置において、前記合成手段により合成された合成画像を表示する合成画像表示手段と、この合成画像表示手段の画像サイズに対応するように前記複数の切出し画像を合成表示する際の各画像のサイズを指定する画像サイズ指定手段とをさらに備えていることを特徴とするものである。
【００４０】
請求項１６記載の発明によれば、ユーザーが合成画像表示手段への表示領域を設定する手段を提案している。表示領域は切出し領域抽出と同様に開始点でマウスのボタンを押し、終了点でボタンを離すことで完了する。なお、表示領域は切出し画像の一部又は全部が重なっても、重ならないようにしても良い。重ならないようにするために、先に表示領域を決めた領域は、次以降同領域を指定できないように、同領域でマウスボタンが押されても無視するようにすればよい。
【００４１】
請求項１７記載の発明は、請求項１に記載の画像処理装置において、前記合成手段により合成された合成画像を表示する合成画像表示手段と、この合成画像表示手段の画像アスペクト比に合わせて、前記複数の切出し画像を合成表示する際に各画像を並べると隙間なく一枚の合成画像が得られるように各画像のサイズを決定する手段とをさらに備えていることを特徴とするものである。
【００４２】
請求項１７記載の発明によれば、ユーザーが合成画像表示手段への表示領域を設定する手段を提案している。合成画像表示手段へ設定される表示領域を隙間なく並べて一枚の合成画像が得られるように各表示画像のサイズを予め決めておくことで、簡易に隙間のない表示を設定することが可能になる。
【００４３】
請求項１８記載の発明は、請求項１に記載の画像処理装置において、前記合成手段により合成された合成画像を表示する合成画像表示手段と、この合成画像表示手段上に分割表示する各画像のアスペクト比の組み合わせを指定するアスペクト比指定手段とをさらに備えていることを特徴とするものである。
【００４４】
請求項１８記載の発明によれば、合成画像表示手段への表示パターンをユーザーに選択させる手段を有することにより、更にユーザーが簡易に切出し画像および、表示手段の表示領域を設定する手段を提案している。表示パターンを図３(a)〜(c)のように複数用意し、まず、ユーザーが表示パターンを選択する。そして、選択した表示パターンを構成する各表示領域で、表示設定したアスペクト比と同じアスペクト比で切出し領域を設定するように切出し方を制限することにより、合成画像表示手段の表示画面に隙間を持たせない表示が可能になる。
【発明の効果】
【００４５】
本発明によれば、同一画像から複数の画像領域を切出し、合成して表示する際に、全体画像では適正露出（輝度と色が適正）でも、切出して合成表示した際にそれぞれの画像の輝度、色、幾何調整等が適正となる画像処理装置を実現することができる。
【発明を実施するための最良の形態】
【００４６】
本発明の各実施例について図１〜図１６を参照して説明する。本発明の各実施例では、デジタルカメラ，デジタルビデオカメラなどの撮像装置における画像処理装置について説明する。
【実施例１】
【００４７】
図１は本発明の実施例１に係る画像処理装置のブロック図である。
図１において、画像処理装置は、再生装置から入力された画像信号をデジタル化するアナログ／デジタル変換部（以下、Ａ／Ｄ部という、但し再生装置がデジタル画像出力対応の場合Ａ／Ｄ部は不要である）１１と、デジタル画像信号を入力し、デジタル画像からユーザーが指定した複数（図では３つ）の切出し画像Ａ，Ｂ，Ｃを生成する画像切出し処理部１２と、各切出し画像を個々に画像処理する画像処理部１３Ａ，１３Ｂ，１３Ｃと、個々に画像処理された切出し画像を一枚の画像に合成する合成部１４と、全体画像とユーザ操作によって選択された切出しエリア表示（マーク）とを加算する加算器１５と、全体画像データをアナログデータに変換するデジタル／アナログ変換部（以下、Ｄ／Ａ部という）１６と、撮像した画像全体を表示する全体画像表示装置１８と、複数の切出し画像を合成した合成画像を表示する合成画像表示装置１９と、全体画像表示装置１８の画面上で切出し画像の位置を指定する切出し位置選択部２０と、この切出し位置選択部２０からの画像位置切出し情報や、水平同期信号（ＨＤ）及び垂直同期信号（ＶＤ）や、クロック信号を用いて画像切出し処理部１２を制御し切出し画像を生成させるシステム制御部２１と、を備えている。
【００４８】
なお、切出しエリアを示す全体画像表示装置１８と合成画像を表示する合成画像表示装置１９はそれぞれ別の表示装置であっても良いし、図示していないが切替え装置を用いてユーザーが１台の表示装置を切替えて全体画像表示用と合成画像表示用として併用するようにしても良い。
【００４９】
上記の構成においては、一台の再生装置の同一画像出力から画像切出し処理部１２にて任意の複数の画像領域を切出した後、複数の切出し画像Ａ，Ｂ，Ｃに対して個々に画像処理部１３Ａ，１３Ｂ，１３Ｃにて必要な画像処理（例えば輝度補正など）を施し、合成部１４で合成して出力する。画像切出し処理部１２は複数の画像領域を分割し切り出す分割領域設定手段を構成し、合成部１４は分割し切り出された複数の画像領域を１つの画像に合成する合成手段を構成している。
【００５０】
これにより、複数のカメラを使用するために発生する上記課題、つまりカメラ間の色、輝度、幾何調整等のバラツキはなく、しかも切り出された複数の画像領域個々に必要な補正を行なうことによって、より好適な合成画像を生成することが可能となる。また、複数カメラを使った場合に比べコスト的に有利であることは勿論である。
【００５１】
切出し位置選択部２０は、ユーザーがマウスなどの図示しないポインティング手段で任意に選んだ画像領域の切出し位置情報を生成するもので、一枚の画像の中の切出し開始位置（H：ｘ１pix,V：y1pix)と終了位置（H：ｘ2pix,V：y2pix)を指定する。
【００５２】
システム制御部２１は、クロック，ＨＤ，ＶＤ信号により画像切出し処理部１２内のバッファメモリの出力(読出し)タイミングを制御し、切出し位置選択部２０からの切出し位置情報によりバッファメモリ内の画像データを切り出す（即ち読み出す）。なお、システム制御部２１のクロック，ＨＤ，ＶＤ信号は所謂スキャンコンバータとして働くので、入出力のタイミングが同じであれば、入力信号のクロック，ＨＤ，ＶＤ信号を使用すればよいのでシステム制御部２１からのタイミング制御は必要ない。
【００５３】
ユーザーが切出し画像を指定するには、全体画像表示装置１８にマウス等で切出したい部分の開始点にポインタを移動してマウスのボタンを押し、終了点でボタンを離すことで、箱型の枠が表示され、その箱型の枠の中の領域が選択される。図１における枠表示によって、例えば切出し画像Ａが抽出される。切出し画像Ｂ，Ｃについても同様にして抽出される。
【００５４】
そして、これらの切出し画像Ａ，Ｂ，Ｃは、合成部１４などで予め決めてある表示配置に従って、合成画像表示装置１９の画面上に表示される。そして、表示装置１９上でマウス等を使って画像Ａの角にポインタを移動させ、マウスの左ボタンを押し、その状態で画像の内外にマウスのポインタを移動（ドラッグ）すると、画像Ａの表示サイズが同時に変化し、マウスの左ボタンを離すと画像サイズが決定する。次にマウスを画像Ａ内に移動させ、マウスの左ボタンを押し、その状態でマウスのポインタを移動（ドラッグ）すると、画像Ａの位置も同時に動く。マウスの左ボタンを離すと画像位置が決定する。切出し画像Ｂ，Ｃ，…は順次同様の操作を行う。但し、切出し画像Ｂの表示装置１９上での表示領域は切出し画像Ａの表示領域以外の領域、切出し画像Cは切出し画像Ａ，Ｂの領域以外の領域…とする。つまり、先に表示領域を決めた方が領域的に優先されるにする。
【００５５】
次の画像処理部１３Ａ，１３Ｂ，１３Ｃは、切出し画像Ａ，Ｂ，Ｃ毎の画像処理を行なうもので、例えば、切出し画像毎に信号レベル検出を行い、信号レベルが適正になるように切出し画像のレベル補正を行う。その後、それぞれの切出し画像を合成部１４で合成し１枚の画像として、Ｄ／Ａ部１７でＤ／Ａ変換を行い、合成画像表示装置１９に表示する。
【００５６】
図２は図１における画像切出し処理部１２の構成の一例を示している。切出し画像が３つの場合について示している。
【００５７】
図２の画像切出し処理部１２は、Ａ／Ｄ部１１からの画像データを記憶する複数（図では３つ）の画像切出し用のフレームバッファメモリ１２１，１２２，１２３と、このフレームバッファメモリ１２１，１２２，１２３からの各切出し画像を所定の表示サイズに拡大又は縮小して出力する解像度変換部１２４，１２５，１２６とを備えている。
【００５８】
フレームバッファメモリ１２１，１２２，１２３の各々は、切出し画像１枚に付き２フレーム分の記憶領域を与える２つのフレームメモリ１２１ｂ，１２１ｃと、これら2つのフレームメモリ１２１ｂ，１２１ｃの入出力側にそれぞれ設けられて、フレーム周期で交互にスイッチングし、2つのフレームメモリ１２１ｂ，１２１ｃに対する書込み，読出しを交互に行なうためのスイッチ１２１ａ，１２１ｂとを備えて構成されている。
【００５９】
解像度変換部１２４，１２５，１２６は、前段のバッファメモリから切出し位置情報（指定）に基づいて切り出された選択領域の切出しサイズを表示装置１９の表示領域サイズに拡大あるいは縮小する処理部であり、サイズの変換率は、切出しサイズと表示サイズの比で決定される。切出し画像を縮小する場合は画素間引きで処理し、拡大する場合は、単純補間や線形補間等で行えば良い。拡大の詳細は特開平10-336494号公報等に記載されている。
【００６０】
次に、図２の動作を簡単に説明する。画像データの流れは、Ａ／Ｄ部１１でデジタル化された後、画像切出し処理部１２の３つの画像切出し用のバッファメモリ１２１，１２２，１２３に記憶される。
【００６１】
このバッファメモリ１２１の動作は、図２のように一方のフレームメモリ１２１ｂに１フレーム分の画像データを記憶した後、次のフレームを他方のフレームメモリ１２１ｃに記憶する構成となっており、フレームメモリ１２１ｃに記憶すると同時にフレームメモリ１２１ｂに記憶済みの１フレーム目の画像データから任意の部分（切出し指定された部分）を切出し位置情報に基づいて切り出し、切出し画像として解像度変換部１２４へ出力する。
【００６２】
スイッチ１２１ａ，１２１ｄはフレーム周期のタイミングで交互に切り替えられる。すなわち、スイッチ１２１ａの端子ａ1が選択されてメモリ１２１ｂへフレームデータ書込みが行なわれている間は、スイッチ１２１ｄは端子ｄ2が選択されてメモリ１２１ｃの記憶画像データが読み出され、またスイッチ１２１ａの端子ａ2が選択されてメモリ１２１ｃへフレームデータ書込みが行なわれている間は、スイッチ１２１ｄは端子ｄ1が選択されてメモリ１２１ｂの記憶画像データが読み出される。
【００６３】
解像度変換部１２４，１２５，１２６では、切り出された画像の解像度を合成画像表示装置１９の表示用の解像度に変換する解像度変換を行なうものである。解像度変換処理によれば、切出し画像を合成画像表示装置１９に合成表示するに際し、切出し画像の解像度を、該切出し画像を合成画像表示装置１９に表示する際のサイズに適合した解像度に変換する。つまり、切出し画像Ａ，Ｂ，Ｃを個々に解像度変換して、個々の切出し画像が適正な表示用解像度になるようにしている。切出された画像を合成画像表示装置１９の画面に合成して表示する際には、各切出し画像は合成画像表示装置１９の画面上における、例えば、予め決められた領域に所定のサイズに拡大されたり縮小されたりして表示されることになるので、切出し画像とその表示用画像の解像度を比較し、その比に従い解像度変換することで画像の拡大または縮小を行い、更にスムージング処理を行うなどして、切出し画像が荒くなるのを防止する。
【００６４】
なお、５００万画素，８００万画素といった高解像度のカメラであれば、拡大するときに、拡大前に表示装置で実際の表示に使っていない画素（この画素はバッファメモリ１２１，１２２，１２３に記憶されている）を使用することにより、画素補間などしなくても済む。すなわち、カメラの合成画像表示装置１９は未使用画素を用いて表示することが可能な場合がある。この場合は、拡大に際して画素補間は不要である。
【００６５】
ところで、画素単位で任意に全体画像表示装置１８上の切出しエリアを決めると、合成画像表示装置１９の表示画面に隙間が出来る可能性が多く、また、切出し画像から合成画面上の表示画像への解像度変換を行なう際に拡大・縮小処理が複雑になってしまう。そこで、合成画像表示装置１９の画面アスペクト比に合わせて表示画面を所定の縦横比で隙間なく複数の表示エリアに分割しその各分割サイズの縦横比を維持した状態で切出しサイズを決めるようにする。
【００６６】
例えば、画面アスペクト比が１６：９の場合、所定の横縦比で分割し、最小単位を例えば４：２．２５とし、各切出し画像を決めていく。
【００６７】
図３(a)は切出し画像Ａ＝８：９、切出し画像Ｂ＝８：４．５、切出し画像Ｃ＝８：４．５にした場合、図３(b)は切出し画像Ａ、Ｂ、Ｃ、Ｄ＝８：４．５にした場合、図３(c)は切出し画像Ａ＝１２：６．７５、切出し画像Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ｈ＝４：２．２５にした場合、をそれぞれ示している。
【００６８】
作用を図３(a) について説明する。
まず、図３(a)の表示パターンの切出し画像Ａ、Ｂ、Ｃの各縦横比を有し、任意の表示サイズの切出し画像Ａ、Ｂ、Ｃを全体画像表示装置１８上で指定する。
【００６９】
次に、切出し画像Ａの切出し画像領域を決めるため、ユーザーが切出し開始点でマウスボタンを押し、終了点までマウスを移動するが、この時横縦のアスペクト比が８：９の関係を維持しながら切出し領域が設定される。
【００７０】
次に、切出し画像Ｂ，Ｃの各切出し画像領域を決めていくが、横縦のアスペクト比が８：４．５の関係を維持しながら各切出し領域が設定される。
【００７１】
以上の全体画像表示装置１８における切出し設定方式により、合成画像表示装置１９には、図３(a)の表示パターンに合致した合成表示が可能になる。図３(b)，(c)の切出し設定についても同様である。
【実施例２】
【００７２】
図４は本発明の実施例２に係る画像処理装置のブロック図である。本実施例では、輝度（露出）のレベル補正を目的としている。
【００７３】
信号の流れに沿って構成を説明すると、カメラ用光学レンズ３１と、モーター３３で露光量が制御されるアイリス（絞り）３２と、ベイヤー配列フィルタが積層され、光を電気信号に変換する撮像素子であるＣＣＤ３４と、ＣＣＤ信号をサンプル・ホールド（以下、Ｓ／Ｈ）処理しかつ信号レベルをＡＧＣ調整するＳ／Ｈ，ＡＧＣ部３５と、デジタル信号に変換するＡ／Ｄ部１１と、色調整その他の信号処理をするカメラ信号処理部３６と、ＡＥ制御系（３７，３８，３９，４１，４２）と、を備えている。画像切出し処理部１２以降は図１と同様である。
【００７４】
ＡＥ制御系は、輝度レベルを検出する輝度レベル検出部３７と、輝度レベルによるＡＥ処理の方法プログラムが内蔵されているＡＥ制御マイコン３８と、ＡＥ制御マイコン３８からのデジタル輝度信号をＡＧＣ制御信号用にアナログ変換するＤ／Ａ部３９と、ＡＥ制御マイコン３８の指示により電子シャッター速度等のＣＣＤ動作を制御するＣＣＤ駆動回路４１と、ＡＥ制御マイコン３８の指示によりアイリス制御用モーター３３を駆動するアイリス駆動回路４２と、を有している。
【００７５】
次に、動作を説明する。
画像全体の信号処理を行い、輝度レベルを検出し輝度調整を行なう。それは既知の方法、つまり画面全体の輝度値を積分して、一定値になるようにアイリス３２を調整、撮像素子３４の電子シャッター速度調整、あるいはＳ／Ｈ，ＡＧＣ部３５内のアンプのゲイン調整等を単独あるいは組み合わせて行うことで、画面全体の適正な輝度レベル（露出）が得られる。
【００７６】
また、画面全体を平均して輝度を決める以外に、中央重点方式として例えば図５(a)のように、画面全体における周辺部に対し中央部のデータ（図５(b)参照）に重きをおいて平均して輝度値を決定してもよい。
【００７７】
次に実施例１と同様に画像切出し処理部１２にて切出し処理を行った後、各切出し画像毎に画像処理部１３Ａ，１３Ｂ，１３Ｃで画像処理（例えば輝度値を積分）して、各画像処理毎に一定値になるように各画像処理部１３Ａ，１３Ｂ，１３Ｃ内のアンプのゲイン調整を行う。その後、それぞれの切出し画像を合成部１４にて合成し１枚の画像として、Ｄ／Ａ部１７にてＤ／Ａ変換を行い、合成画像表示装置１９に表示する。
【実施例３】
【００７８】
図６は、本発明の実施例３に係る画像処理装置のブロック図である。本実施例では、色バランスの補正を目的としている。
【００７９】
画像処理装置は、カメラ用光学レンズ３１と、モーター３３で露光量が制御されるアイリス（絞り）３２と、ＡＥ制御系（図４と同様、３７，３８，３９，４１，４２）と、ベイヤー配列フィルタを有した撮像素子であるＣＣＤ３４と、Ｓ／Ｈ，ＡＧＣ部３５と、Ａ／Ｄ部１１と、ベイヤー配列された画像をＲＧＢ信号に変換する色分離部５１と、ＲＧＢ信号の比を検出する色温度検出部５２と、検出結果からＲ，Ｂのゲインを制御する色温度制御部５３と、Ｒ，Ｂ信号のゲインを調整する利得調整部５４，５５と、色、輝度、タイミング等のその他の信号処理をするカメラ信号処理部３６と、画像切出し処理部１２と、画像切出し処理部１２による画像切出し後、各切出し画像Ａ，Ｂ，Ｃ毎に各色調整を行う処理回路(５６〜５９、６１〜６４、６５〜６８)と、システム制御部２１と、切出し位置選択部２０と、加算器１５と、Ｄ／Ａ部１６，１７と、全体画像表示装置１８と、合成画像表示装置１９と、を備えている。上記の色温度検出部５２と色温度制御部５３と利得調整部５４，５５とは、画像全体の色調整を行なうものである。
【００８０】
ＣＣＤ３４で撮像された撮像信号は、Ａ／Ｄ変換後、色分離部５１にてＲＧＢ信号に変換され、上記の色温度検出部５２と色温度制御部５３と利得調整部５４，５５によって画像全体の色調整（ＡＷＢ、即ちオートホワイトバランスと呼ばれる）が行なわれる。次にカメラ信号処理部３６で、その他の輝度、タイミング等のカメラ信号処理を行い、画像切出し処理部１２による画像切出し後、前記画像全体の色調整と同様の各色調整（ＡＷＢ、即ちオートホワイトバランス）を各切出し画像Ａ，Ｂ，Ｃで行う処理回路(５６〜５９、６１〜６４、６５〜６８)を経て画像合成し、Ｄ／Ａ変換等、図１と同様の処理を行う。
【００８１】
処理回路(５６〜５９、６１〜６４、６５〜６８)は、画像全体の色調整を行なう構成と同様であり、切出し画像Ａの処理回路は、ＲＧＢ信号の比を検出する色温度検出部５６と、検出結果からＲ，Ｂのゲインを制御する色温度制御部５７と、Ｒ，Ｂ信号のゲインを調整する利得調整部５８，５９とで構成され、切出し画像Ｂの処理回路は、ＲＧＢ信号の比を検出する色温度検出部６1と、検出結果からＲ，Ｂのゲインを制御する色温度制御部６２と、Ｒ，Ｂ信号のゲインを調整する利得調整部６３，６４とで構成され、切出し画像Ｃの処理回路は、ＲＧＢ信号の比を検出する色温度検出部６５と、検出結果からＲ，Ｂのゲインを制御する色温度制御部６６と、Ｒ，Ｂ信号のゲインを調整する利得調整部６７，６８とで構成され、それぞれの処理回路により切出し画像Ａ，Ｂ，Ｃ毎の色調整が行なわれる。
【００８２】
上記の構成においては、まず、ＣＣＤ３４から来た撮像信号は全体画像に対して色補正されるが、その色補正された画像に対して画像切出し処理を行なって切り出した複数（図では３つ）の画像に対して更にそれぞれ色補正する。色補正は、全体画像に対しても、また各切出し画像に対しても同様に行なわれ、Ｒ，Ｇ，Ｂのデータを検出してそれらがバランス（例えばホワイトバランス）がとれるようにＢとＲを色調整することによって行なわれる。
【００８３】
色補正の方法は既知の方法、つまり、画面全体（切出し画像の場合は切出し画像の画面全体）を積分してＲＧＢが一定になるようにする、画面の中で色付きの大きな部分は除外して飽和度の低い部分（例えば、画面の大部分が葉で周辺に地面がある被写体の場合、葉の部分を削除し、地面の色データのみで色バランスを計算する）を積分してＲＧＢが一定になるようにする、等の処理を行う。なお、本発明の図４，図６の実施例２，３を組み合わせて、各切出し画像について輝度、色共に補正することも可能である。
【実施例４】
【００８４】
図７は、本発明の実施例４に係る切出し画像処理部のブロック図である。本実施例では、輪郭の補正を目的としている。切出し画像が３つの場合について示している。
【００８５】
図７に示す切出し画像処理部１２Ａは、Ａ／Ｄ部１１からの画像データを記憶する複数（図では３つ）の画像切出し用のフレームバッファメモリ１２１，１２２，１２３と、このフレームバッファメモリ１２１，１２２，１２３からの各切出し画像を所定の表示サイズに拡大又は縮小して出力する解像度変換部１２４，１２５，１２６と、この解像度変換部１２４，１２５，１２６からの解像度変換された切出し画像Ａ，Ｂ，Ｃをそれぞれ、切り出された３つの画像の解像度に対する前記合成画像表示装置１９の表示画像の解像度の拡大率に比例して輪郭補正量を変化させる輪郭補正部１２７，１２８，１２９と、輪郭補正部１２７，１２８，１２９でそれぞれ輪郭補正された切出し画像Ａ，Ｂ，Ｃから不要な周辺画素を削除する周辺画素削除部１３１，１３２，１３３と、を備えている。
【００８６】
次に動作を説明する。
切出し画像は、拡大率が大きくなるに従いボケた画像になるので、拡大率に比例して輪郭補正の強調する量を上げる。特開平９−５１４４４号公報では、フィルムの濃度情報等により輪郭補正値をルックアップテーブルを用いて変更する提案がなされているが、本願では、バッファメモリ１２１，１２２，１２３の各フレーム画像より切出し位置情報に基づいて切出した切出し画像を合成画像表示装置１９での表示サイズに拡大するための拡大率をパラメータとして拡大率に応じて輪郭補正値を変更する処理を行えばよい。なお、輪郭補正部１２７，１２８，１２９では、切り出された画像の解像度に対して表示画像の解像度を拡大しない或いは縮小するのであれば、輪郭補正をかけない処理を行なう。
【００８７】
この輪郭補正を行なうのに際し、2次元デジタルフィルタ処理を切出し画像の端の画素にも行えるよう、バッファメモリ１２１，１２２，１２３の各フレーム画像より切出す画像は周辺画素を数画素余計に切出す。そして、輪郭補正処理後、不要の周辺画素は削除する。
【実施例５】
【００８８】
図８は本発明の実施例５に係る画像処理装置のブロック図である。本実施例は、撮像素子から複数の切出し画像を読み出す場合の実施例であり、撮像素子内で蓄積時間を制御することによりレベル調整を行なうものである。
【００８９】
図８に示す画像処理装置は、同一画像から複数（図では４つ）の切出し画像を出力可能で、かつ各切出し画像毎に蓄積時間が設定可能な撮像素子７１と、この撮像素子７１の各切出し領域と蓄積時間を設定するシステム制御マイコン９８と、撮像素子７１からの各切出し画像を処理するカメラ信号処理系（７２〜７９，８１〜８９，９１）と、複数の切出し画像を合成して表示する合成画像表示装置９２と、このカメラ信号処理系（７２〜７９，８１〜８９，９１）から切出し画像毎の輝度値を検出するレベル検出部９３〜９６と、画像切出し位置を選択するための処理を行なう切出し位置選択部９７と、を備えて構成されている。
【００９０】
撮像素子７１は、例えば８００万画素の撮像素子であって、田型の4画素を1単位にして4線出力する撮像素子で、４つの切出し画像を得ることが可能である。すなわち、撮像素子７１は、８００万画素を有し、田型の4画素Ａ，Ｂ，Ｃ，Ｄを1単位にした２００万個のブロックで構成された素子部７１１と、素子部７１１の縦横に１画素おきに存在する画素Ａのみを集めて構成される２００万画素分の露光蓄積データを水平１ラインずつ読み出し、シリアルに出力するＡ読出し走査線レジスタ７１２と、素子部７１１の縦横に１画素おきに存在する画素Ｂのみを集めて構成される２００万画素分の露光蓄積データを水平１ラインずつ読み出し、シリアルに出力するＢ読出し走査線レジスタ７１３と、素子部７１１の縦横に１画素おきに存在する画素Ｃのみを集めて構成される２００万画素分の露光蓄積データを水平１ラインずつ読み出し、シリアルに出力するＣ読出し走査線レジスタ７１４と、素子部７１１の縦横に１画素おきに存在する画素Ｄのみを集めて構成される２００万画素分の露光蓄積データを水平１ラインずつ読み出し、シリアルに出力するＤ読出し走査線レジスタ７１５と、素子部７１１の縦横に１画素おきに存在する画素Ａのみを集めて構成される２００万画素領域の蓄積時間を制御可能で、かつ該２００万画素領域から所望の切出し領域を指定する蓄積時間制御＆切出し領域指定部７１６と、素子部７１１の縦横に１画素おきに存在する画素Ｂのみを集めて構成される２００万画素領域の蓄積時間を制御可能で、かつ該２００万画素領域から所望の切出し領域を指定する蓄積時間制御＆切出し領域指定部７１７と、素子部７１１の縦横に１画素おきに存在する画素Ｃのみを集めて構成される２００万画素の蓄積時間を制御可能で、かつ該２００万画素領域から所望の切出し領域を指定する蓄積時間制御＆切出し領域指定部７１８と、素子部７１１の縦横に１画素おきに存在する画素Ｄのみを集めて構成される２００万画素の蓄積時間を制御可能で、かつ該２００万画素領域から所望の切出し領域を指定する蓄積時間制御＆切出し領域指定部７１９と、を備えている。
【００９１】
カメラ信号処理系（７２〜７９，８１〜８９，９１）は、Ａ，Ｂ，Ｃ，Ｄ読出し走査線レジスタ７１２，７１３，７１４，７１５から蓄積時間制御及び切出し領域指定して読み出された切出し画像Ａ，Ｂ，Ｃ，Ｄの信号（これは、Ａ，Ｂ，Ｃ，Ｄ４つの２００万画素領域それぞれから切出し指定によって適宜のサイズに切り出された切出し画像の撮像信号である）をそれぞれバッファアンプ７２，７３，７４，７５を介してＳ／Ｈ，ＡＧＣ部７６，７７，７８，７９で画素信号として取り出しかつＡＧＣレベル調整し、更にＡ／Ｄ部８１，８２，８３，８４にてそれぞれデジタル信号に変換した後、カメラ信号処理部８５，８６，８７，８８で色調整などの信号処理を行ない、４つの画像Ａ，Ｂ，Ｃ，Ｄの適宜のサイズの切出し画像信号として合成処理部８９に供給して合成し、更にＤ／Ａ部９１にてアナログ信号に変換して合成画像表示装置９２に合成画面表示する。
【００９２】
レベル検出部９３，９４，９５，９６はそれぞれ、カメラ信号処理部８５，８６，８７，８８から４つの画像Ａ，Ｂ，Ｃ，Ｄの各切出し画像の輝度レベルを検出し、システム制御マイコン９８に供給する。
【００９３】
システム制御マイコン９８は、ユーザー操作に基づく切出し位置選択部９７の処理により各切出し領域を指定する一方、レベル検出部９３，９４，９５，９６からの輝度データにより各切出し画像の電荷蓄積時間（電子シャッターとも呼ばれる）を決定し、切出し画像の輝度が所定の明るさになるように制御（調整）している。
【００９４】
本実施例によれば、任意の領域を複数出力可能な撮像素子を使用した場合に、各切出し処理領域毎に輝度レベルを検出し、蓄積時間（又はシャッター速度）を制御（決定）することにより、合成画面上の各切出し画像の輝度を適正にすることができる。例えば８００万画素の撮像素子を２００万画素ずつ４つの領域に分けて蓄積時間（又はシャッター速度）を制御可能とし、４つの領域からそれぞれ切出し画像を取り出すように構成した場合に、各切出し処理領域毎に輝度レベルを検出し、蓄積時間（又はシャッター速度）を適宜に指定することで、合成画面上の各切出し画像の輝度を適正化できる。明る過ぎれば撮像素子７１の蓄積時間（又はシャッター速度）を短くし、暗ければ蓄積時間（又はシャッター速度）を長くするように制御して、各切出し画像の輝度の適正化を図る。
【実施例６】
【００９５】
図９は本発明の実施例６に係る画像処理装置のブロック図である。本実施例では、フレームレートが遅い撮像素子の速度改善を目的としている。
【００９６】
図９は、図８における撮像素子内でのレベル調整を行なう画像処理装置について、フレームレートの遅い撮像素子（例えば、毎秒１０フレームの速度）を使用した場合に有効なものである。
【００９７】
動画で出力するには、一般に毎秒３０フレーム以上の速度で１枚の画像を処理する必要がある。しかし、撮像素子７１の画素数が増加すると同じ速度（毎秒３０フレーム以上の速度）で１枚の画像を処理するには必然的に１画素当りの処理が高速になり、撮像素子７１およびカメラ信号処理系（７２〜７９，８１〜８９，９１）の構成が複雑でかつコスト高になる。
【００９８】
その点に関しては、デジタルカメラ用の撮像素子は動画レベルの高速処理はできないが、高解像度のものがある。例えば、全画素を毎秒１０フレームの速度で処理する撮像素子の場合、切出し画像が全画素の１／３以下であれば伝送時間は１／３で済むので伝送速度は３倍とすることができ、切出し画像を毎秒３０枚送ることができ、動画処理が可能になる。
【００９９】
本実施例６の構成は、図８の実施例５の構成における、カメラ信号処理部８５，８６，８７，８８と合成処理部８９との間に、時間的なバッファ機能（時間的調整機能）を果たすものとして切出し画像毎に複数（図では４つの切出し画像に対応して４個）のバッファメモリ１０１，１０２，１０３，１０４を設けた構成としたものである。そして、１つのバッファメモリにおいて、１つの切出し画像の入出力に対し３つのフレームメモリ１０１ｂ，１０１ｃ，１０１ｄによるメモリバッファ機能が構成されており、入力側及び出力側にそれぞれスイッチ１０１ａ，１０１ｅが配置され、入力側スイッチ１０１ａは入力データが３つのフレームメモリ１０１ｂ，１０１ｃ，１０１ｄのうちの１つのフレームメモリへの書込みを終了したら次のフレームメモリに切り替えるように切替え端子ａ1，ａ2，ａ3の切替えが行われるようにし、出力側スイッチ１０１ｅは３つのフレームメモリ１０１ｂ，１０１ｃ，１０１ｄのうちの書込みが終わったフレームメモリに対して且つ前のフレームメモリからの読出しが終了したら、書込みが終わっている次のフレームメモリに切り替えるように切替え端子ｅ1，ｅ2，ｅ3の切替えが行われ、しかも表示装置９２の画像表示レート（毎秒３０フレーム、即ち1/30秒）で読出しが行なわれる。なお、画像表示レートは毎秒６０フレーム（即ち1/60秒）であってもよい。その他の構成は、図８と同様である。
【０１００】
次に、図９の動作を説明する。
撮像素子７１から読み出される（切り出される）切出し画像サイズのフレームレートが例えばＡが毎秒１５フレーム、Ｂが毎秒２０フレーム、Ｃが毎秒３０フレーム、Ｄが毎秒３０フレームであったとする。このようなフレームレートになるのは、表示装置９２の画面上に示しているように、Ａの切出し画像が一番大きく画面の略半分であり、Ｂの切出し画像がＡの切出し画像の略半分、Ｃ，Ｄの切出し画像がＢの略半分であるために、撮像素子７１からは、切出し領域が最も狭く指定されているＣ，Ｄの切出し画像が毎秒３０フレームでの読み出し（即ち、動画）が可能となっている。
【０１０１】
図８と同様なカメラ画像処理を行った後、４つの切出し画像に対応した４つのバッファメモリ１０１〜１０４のうち、例えばバッファメモリ１０１のメモリ入力（書き込み）側について説明すると、フレームメモリ１０１ｂ→フレームメモリ１０１ｃ→フレームメモリ１０１ｄ→フレームメモリ１０１ｂ… と順に１枚の切出し画像を書き込む毎に入力スイッチを切替えて書き込んでいく。
【０１０２】
メモリ出力(読出し）側は、最新の書き込みが終了したメモリから順次読み出していく。例えば現在フレームメモリ１０１ｂを読み出している状態で、次のフレームメモリ(例えばフレームメモリ１０１ｃ)が書き込み終了するまでは、フレームメモリ１０１ｂから同じタイミングで読出し続け(例えば1/30秒毎)、フレームメモリ１０１ｃが書き込み終了すると、フレームメモリ１０１ｂの全データを読み出し終わったタイミングで出力スイッチが切り替わりフレームメモリ１０１ｃの読出しを開始する。
【０１０３】
他のバッファメモリ１０２，１０３，１０４の動作についても同様であるが、Ａ，Ｂ，C，Ｄの各切出し画像がそれぞれバッファメモリ１０１，１０２，１０３，１０４に対して、１５フレーム／秒、２０フレーム／秒、３０フレーム／秒、３０フレーム／秒で入力されるので、バッファメモリ１０１を構成する３つのフレームメモリの入力側スイッチ（１０１ａを指す）はほぼ毎秒１５フレームの速度で切り替えられて３つのフレームメモリ（１０１ｂ，１０１ｃ，１０１ｄを指す）に順次にサイクリックに１フレームずつ画像データが書き込まれ、読み出しは３つのフレームメモリから表示装置９２に必要な読み出しレート（毎秒３０フレーム）で読み出される。
【０１０４】
また、バッファメモリ１０２を構成する３つのフレームメモリの入力側スイッチ（図示せず）はほぼ毎秒２０フレームの速度で切り替えられて３つのフレームメモリ（図示せず）に順次にサイクリックに１フレームずつ画像データが書き込まれ、読み出しは３つのフレームメモリから表示装置９２に必要な読み出しレート（毎秒３０フレーム）で読み出される。
【０１０５】
同様に、バッファメモリ１０３，１０４それぞれを構成する３つのフレームメモリの入力側スイッチ（図示せず）はほぼ毎秒３０フレームの速度で切り替えられて３つのフレームメモリ（図示せず）に順次にサイクリックに１フレームずつ画像データが書き込まれ、読み出しは３つのフレームメモリから表示装置９２に必要な読み出しレート（毎秒３０フレーム）で読み出される。
【０１０６】
このように、フレームレートが遅い撮像素子（例えば、毎秒１０フレーム）では全画像を読み出そうとすると動画にはならないが、切出し領域が指定された切出し画像のサイズさえ小さくしてやれば、撮像素子から読み出すのは狭い領域だけでよいので速く読み出すことができ、動画（毎秒３０フレーム）で出力可能となる。つまり、比較的領域の狭い切出し画像は、動画レート(例えば1/30秒毎)で表示することが可能になる。
【実施例７】
【０１０７】
図１０は本発明の実施例７に係る画像処理装置のブロック図である。本実施例では、同一画像データから切り出した複数の切出し画像のうち、基本画面というものを１つ決めておいて（例えば切出し画像Ａ）、切出し画像Ａのレベルを検出して、その検出レベルに基づいて基本画像Ａだけでなく他の切出し画像Ｂ，Ｃ…のレベルも調整するものである。
【０１０８】
図１０の画像処理装置は、再生装置から入力された画像をデジタル化するＡ／Ｄ部１１（再生装置がメモリ等からのデジタル画像データの場合Ａ／Ｄ部は不要）と、ユーザーが指定した複数（図ではＡ，Ｂ，Ｃの３つ）の切出し画像を生成する分割領域設定手段としての画像切出し処理部１２と、複数の切出し画像の内の一つを基本領域として設定する基本領域設定手段と、基本領域の信号レベルを検出するパラメータ設定手段としてのレベル検出部２２と、レベル検出部２２の基本領域検出レベルに基づいて各切出し画像Ａ，Ｂ，Ｃのレベル補正を行うレベル補正部１３Ａ-1，１３Ｂ-1，１３Ｃ-1と、複数の切出し画像Ａ，Ｂ，Ｃを一枚の画像にする合成部１４と、全体画像とユーザ操作によって選択された切出しエリア表示（マーク）とを加算する加算器１５と、全体画像データをアナログデータに変換するＤ／Ａ部１６と、撮像した画像全体を表示する全体画像表示装置１８と、複数の切出し画像を合成した合成画像を表示する合成画像表示装置１９と、全体画像表示装置１８の画面上で切出し画像の位置を指定する切出し位置選択部２０と、この切出し位置選択部２０からの画像位置切出し情報や、水平同期信号（ＨＤ）及び垂直同期信号（ＶＤ）や、クロック信号を用いて画像切出し処理部１２を制御し切出し画像を生成させるシステム制御部２１と、を備えている。レベル補正とは、輝度や色などについての調整パラメータのレベルを調整することを言う。
【０１０９】
また、ここでは基本領域は切出し画像Ａとする。基本領域の指定は、最初に切出した画像を基本領域にしたり、一番切出し領域が小さい画像を基本領域にしたり、複数の切出し領域の一つをクリックすることにより決定したり、ある時間で自動的に切替えても良い。指定された基本領域は他の切出し領域と違いがわかるように、箱の外枠線を比較的太くしたり、色を付けるなどをして、全体画像表示装置１８に表示する。
【０１１０】
以上の構成で、図１の構成と異なる点は、複数の切出し画像の内の一つを基本領域として設定する基本領域設定手段と、基本領域の信号レベルを検出するレベル検出部２２とを設けて、レベル検出部２２の基本領域検出レベルに基づいて、即ち同じ補正量（制御量）を用いて各切出し画像Ａ，Ｂ，Ｃのレベル補正を行うことである。従って、基本領域に対するレベル補正量が例えば２倍であれば、他の切出し領域個々のレベル補正量も２倍とされる。これに対して、図１の構成では、複数の切出し画像Ａ，Ｂ，Ｃそれぞれに異なった補正量（制御量）を設定してレベル補正を行なうことが可能なものである。
【０１１１】
次に、図１０の動作を説明する。
画像切出し処理部１２までの作用は図１と同様である。次にレベル検出部２２は基本領域の画像データのレベル検出を行い、基本領域の信号レベルが適正になるように他の切出し画像のレベル補正を行う。基本領域の画像の信号レベルに合った補正が他の切出し領域の画像に対しても行なわれることになり、合成画像全体としては観察者に違和感のない画像を提供することができる。
【０１１２】
なお、図示していないが、各切出し領域毎にレベル検出を行い、基本領域以外の切出し領域は、基本領域で検出されたレベルと各切出し領域で検出したレベルを加算平均あるいは、切出しサイズにより重み付けを行ってレベル補正量を決定しても良い。
【実施例８】
【０１１３】
図１１は本発明の実施例８に係る画像処理装置のブロック図である。本実施例は、図７の実施例７のレベル検出部２２を輝度検出部２２Ａに置き換え、図７の実施例７のレベル補正部１３Ａ-1，１３Ｂ-1，１３Ｃ-1を輝度補正部１３Ａ-2，１３Ｂ-2，１３Ｃ-2に置き換えた構成とするもので、輝度（露出）のレベル補正を目的としている。
【０１１４】
さらに、本実施例では、図４における画面全体に対するＡＥ制御系（３７，３８，３９，４１，４２）を採用した構成としてある。ＡＥ制御系は、実施例２で説明したように、輝度レベルを検出する輝度レベル検出部３７と、輝度レベルによるＡＥ処理の方法プログラムが内蔵されているＡＥ制御マイコン３８と、ＡＥ制御マイコン３８からのデジタル輝度信号をＡＧＣ制御信号用にアナログ変換するＤ／Ａ部３９と、ＡＥ制御マイコン３８の指示により電子シャッター速度等のＣＣＤ動作を制御するＣＣＤ駆動回路４１と、ＡＥ制御マイコン３８の指示によりアイリス制御用モーター３３を駆動するアイリス駆動回路４２と、を備えている。
【０１１５】
実施例８の動作を説明すると、ＡＥ制御系（３７，３８，３９，４１，４２）によって撮影画像全体のＡＥ制御が行なわれ、その後基本領域の切出し画像(例えば切出し画像Ａ)の輝度値を輝度検出部２２Ａにて検出し、その基本領域輝度値に基づいた補正量（制御量）によって輝度補正部１３Ａ-2で切出し画像Ａの輝度補正を行なうと同時に、同じ基本領域輝度値に基づいた補正量（制御量）によって輝度補正部１３Ｂ-2，１３Ｃ-2にて他の切出し画像Ｂ，Ｃの各輝度補正も行なう。すなわち、切出し画像(例えば切出し画像Ａ)の輝度値が一定値になるように切出し画像Ａのゲインを調整し、その調整値を他の切出し画像Ｂ，Ｃにも適応する。
【０１１６】
なお、輝度検出部２２Ａによる輝度検出は、基本領域の画像の平均輝度や中央重点測光あるいはスポット測光データから輝度のレベルを決定すれば良い。
【０１１７】
実施例８によれば、複数の切出し画像の中から、基本となる画像を選択し、その基本領域の画像から輝度（露出）のレベルを決定し、その輝度値データに基づいた補正量（制御量）を全ての切出し画像に適応する手段を設けており、一番注目したい切出し画像に輝度を合せることが可能になる。
【実施例９】
【０１１８】
図１２は本発明の実施例９に係る画像処理装置のブロック図である。本実施例では、通信速度(データレート)が律速された状態で、注目している基本領域を他の領域より動画レベルで表示することを目的としている。ここでは、複数の切出し画像を２つの切出し画像Ａ，Ｂとし、切出し画像Ａを基本画像とする。２つの切出し画像Ａ，Ｂを得て、伝送し、切出し画像Ａについては動画或いは動画に近いレベル（準動画）で見て、切出し画像Ｂについてはコマ落ちで見れても良い、というような鑑賞形態（シチュエーション）を考える。また、伝送系はＶＧＡ（640×480ドット、Video Graphic Array の略）ならば毎秒３０フレーム伝送できるものとし、画像Ａを２５フレーム伝送し、画像Ｂを５フレーム伝送するものとして考える。
【０１１９】
図１２に示す画像処理装置は、再生装置から入力された画像信号をデジタル化するＡ／Ｄ部（但し再生装置がデジタル画像出力対応の場合Ａ／Ｄ部は不要である）１１と、デジタル画像信号を入力し、デジタル画像からユーザーが指定した複数（図では３つ）の切出し画像Ａ，Ｂを生成する画像切出し処理部１２と、全体画像とユーザ操作によって選択された切出しエリア表示（マーク）とを加算する加算器１５と、全体画像データをアナログデータに変換するＤ／Ａ部１６と、撮像した画像全体を表示する全体画像表示装置１８と、全体画像表示装置１８の画面上で切出し画像の位置を指定する切出し位置選択部２０と、この切出し位置選択部２０からの画像位置切出し情報や、水平同期信号（ＨＤ）及び垂直同期信号（ＶＤ）や、クロック信号を用いて画像切出し処理部１２を制御し切出し画像を生成させるシステム制御部２１と、切出し画像Ａ，Ｂをそれぞれ伝送サイズに解像度変換する（例えばＶＧＡサイズにする、切出し画像ＡはＶＧＡサイズに拡大し、切出し画像ＢはＶＧＡサイズに縮小したりする）第１の解像度変換部２３，２４と、第１の解像度変換部２３，２４で同じ伝送サイズ（例えばＶＧＡサイズ）に変換された基本切出し画像Ａと他の切出し画像Ｂを選択するもので、基本切出し画像Ａを他の切出し画像Ｂより多く選択する（例えば画像Ａは５回、画像Ｂは１回の割合で、即ち毎秒では画像Ａは２５フレーム、画像Ｂは５フレーム選択して送る）出力セレクタ２５と、出力セレクタ２５で選択されたＶＧＡサイズのシリアルフレーム伝送される画像Ａ，Ｂを実際に合成画像表示装置１９にて表示する解像度（例えばＳＸＧＡ）に合わせた変換をする第２の解像度変換部２６と、この第２の解像度変換部２６により解像度が変換された前記切出し画像Ａ，Ｂを、合成画像表示装置１９のフレームレートに変換するバッファメモリ手段２７と、フレームレート変換された切出し画像Ａ，Ｂを一枚の画像に合成する合成部１４と、合成画像をアナログ信号に変換するＤ／Ａ部１７と、合成画像を表示する合成画像表示装置１９と、を備えている。
【０１２０】
上記出力セレクタ２５は、例えばＶＧＡサイズに解像度変換された切出し画像Ａ，Ｂを各解像度変換部２３，２４内のメモリから読み出して、１秒間にAAAAABAAAAABAAAAABAAAAABAAAAABのようにシリアル出力する。
【０１２１】
上記バッファメモリ手段２７は、時間的なバッファ機能（時間的調整機能）を果たすものとして切出し画像毎に複数（図では２つの切出し画像に対応して２個）のバッファメモリ２７２，２７３と、この２つのバッファメモリ２７２，２７３の入力側に設けられて、解像度変換部２６からの解像度変換された画像Ａ，Ｂを選択的に切り替えて、バッファメモリ２７２，２７３に入力するための入力切替スイッチ２７１と、を設けた構成となっている。
【０１２２】
入力切替スイッチ２７１は、第２の解像度変換部２６で解像度変換された上記AAAAABAAAAABAAAAABAAAAABAAAAAB／秒のシリアルデータを選択的に出力端Ａ，Ｂに切り替えて出力するが、入力端に画像Ａが来たら出力端Ａに切替え接続して、画像Ａが５回バッファメモリ２７２に連続的に入力した後、次に画像Ｂが来たら出力端Ｂに切替え接続して、画像Ｂが１回だけバッファメモリ２７３に入力した後、再び画像Ａが来たら出力端Ａに切替え接続して、…というように切替え動作を繰り返し行なう。
【０１２３】
そして、１つのバッファメモリ（例えばバッファメモリ２７２）において、１つの切出し画像Ａの入出力に対し３つのフレームメモリ２７２ｂ，２７２ｃ，２７２ｄによるメモリバッファ機能が構成されており、入力側及び出力側にそれぞれスイッチ２７２ａ，２７２ｅが配置され、入力側スイッチ２７２ａは入力データが３つのフレームメモリ２７２ｂ，２７２ｃ，２７２ｄのうちの１つのフレームメモリへの書込みを終了したら次のフレームメモリに切り替えるように切替え端子ａ1，ａ2，ａ3の切替えが行われるようにし、出力側スイッチ２７２ｅは３つのフレームメモリ２７２ｂ，２７２ｃ，２７２ｄのうちの書込みが終わったフレームメモリに対して且つ前のフレームメモリからの１フレーム分の読出しが完了したら、書込みが終わっている次のフレームメモリに切り替えるように切替え端子ｅ1，ｅ2，ｅ3の切替えが行われ、しかも合成画像表示装置１９の画像表示レート（毎秒３０フレーム、即ち1/30秒）で読出しが行なわれる。なお、画像表示レートは毎秒６０フレーム（即ち1/60秒）であってもよい。バッファメモリ２７３についても同様に動作し、表示装置１９の画像表示レート（毎秒３０フレーム、即ち1/30秒）で読出しが行なわれる。
【０１２４】
そして、合成部１４で合成後、Ｄ／Ａ部１７にてアナログ変換されて、合成画像表示装置１９の画面上に例えば２画像並べて合行表示される。切出し画像Ａは毎秒２５フレームの準動画で表示され、切出し画像Ｂは毎秒５フレームのコマ落ちで表示される。
【０１２５】
図１３は図１２におけるバッファメモリ手段のスキャンコンバータ動作を説明する図を示している。バッファメモリ２７２について説明すると、図１３で(a)はフレームメモリ２７２ｂ，２７２ｃ，２７２ｄへの書込み状態（毎秒２５フレーム）を示し、(b)はフレームメモリ２７２ｂ，２７２ｃ，２７２ｄからの読出し状態（毎秒３０フレーム）を示している。入力側スイッチ２７２ａは毎秒２５回切り替わってフレームメモリ２７２ｂ，２７２ｃ，２７２ｄに毎秒２５フレームが順に書き込まれ、出力側スイッチ２７２ｅは毎秒３０フレーム出力されるが、フレームメモリ２７２ｂ，２７２ｃ，２７２ｄへの書込みが終わり且つ前のフレームメモリからの１フレーム分の読出しが完了したら、書込みが終わっている次のフレームメモリに切り替わるので、フレームメモリ２７２ｃへの読出し時刻ｔ1（図１３(b)参照）が来ても、時刻ｔ1でフレームメモリ２７２ｄへの書込み（図１３(a)参照）が完了していない時点では前のフレームメモリ２７２ｃからの読出しをもう一度行ない、そして点線矢印に示すタイミングｔ2でフレームメモリ２７２ｄへの書込みが終了していても、フレームメモリ２７２ｃからの２回目のフレームメモリ読出しが完了していない期間Ｔはその読出しを続行し、２回目のフレーム読出しが完了（時刻ｔ3）した後にフレームメモリ２７２ｄの書込み済みデータを読み出すことになる。
【０１２６】
次に、第１の解像度変換部２３，２４の解像度変換が画素間引きによる場合とＪＰＥＧ圧縮による場合とに分けて、動作をそれぞれ説明する。
【０１２７】
(1)解像度変換方法１（画素間引き）
各切出し画像Ａ，Ｂを第１の解像度変換部２３，２４にて、毎秒３０フレーム（或いは毎秒６０フレーム）で伝送できるサイズに解像度変換を行なう。
【０１２８】
例えば、伝送速度が２２２Mbit/secの場合、毎秒３０フレーム伝送するために各切出し画像をＶＧＡ(640×480ドット）程度のサイズに縮小あるいは拡大する。
【０１２９】
(640pix×480pix×30fps×3(RGB）×8bit=221.2Mbps)
出力セレクタ２５で基本切出し画像Ａを他の切出し画像Ｂより多く選択し、伝送することにより、通信のデータレートが比較的遅くても、合成画像全体がコマ落ちせず、基本画像Ａは準動画、他の画像Ｂはコマ落ちした画像を表示することが可能になる。
【０１３０】
受信した画像は第２の解像度変換部２６の解像度変換により表示装置１９に表示されるサイズに変換される。
【０１３１】
次に図９と同様の３フレームメモリ構成によるバッファメモリ手段２７により、出力タイミングを合成画像表示装置１９に合うように補正される。つまり、切出し画像Ａは３つのフレームメモリ（２７２ｂ，２７２ｃ，２７２ｄ）に毎秒２５フレーム、切出し画像Ｂは３つのフレームメモリ（図示せず）に毎秒５フレームが書き込まれるが、共に毎秒３０フレームで読み出され、画像合成後、合成画像表示装置１９に出力される。
【０１３２】
(2)解像度変換方法２（ＪＰＥＧ圧縮）
各切出し画像Ａ，Ｂの１枚のサイズを第１の解像度変換部２３，２４にて所定のデータ量より小さくなるようにＪＰＥＧ等の圧縮を行い、伝送後に伸張する。
【０１３３】
例えば、伝送速度が２２２Mbit/secの場合、毎秒３０フレーム伝送するために１枚の画像を９２５ｋバイト以下にする圧縮処理を行えば良い。
【０１３４】
(925ｋ×30fps×8bit=222Mbps）
出力セレクタ２５で受信した後の画像の処理は上記「解像度変換方法１」と同様である。
【０１３５】
なお、伝送する画像は、切出し画像だけでなく、全体画像、あるいは全体画像に切出し画像を合成した画像を解像度変換し、適当な割合で、切出し画像と時系列に伝送してもよい。
【実施例１０】
【０１３６】
図１４は本発明の実施例１０に係る画像処理装置のブロック図である。本実施例では、複数（図では３つ）の切出し画像を一枚の画像に合成した後、画面全体の平均値が適正になるように補正を行う。各々のブロックの動作は、実施例１と同様である。
【０１３７】
実施例１では、画像切出し処理部１２で切り出した３つの切出し画像Ａ，Ｂ，Ｃごとに画像処理部１３Ａ，１３Ｂ，１３Ｃで画像処理即ちレベル補正を行なった後に、３つの画像Ａ，Ｂ，Ｃを合成部１４にて合成するものであった。これに対して、実施例１０では、画像切出し処理部１２で切り出した３つの切出し画像Ａ，Ｂ，Ｃを合成部１４で合成した後に、その合成画像をレベル補正部２８でレベル補正する点で、実施例１とは構成が異なっている。レベル補正とは、輝度や色などについての調整パラメータのレベルを調整することを言う。レベル補正部２８はマニュアル調整可能としてもよいし、或いは切出し画像合成後のレベル検出を行ない、その検出結果に基づいてレベル補正部のレベル補正量を所定値となるように自動調整可能としてもよい。
【０１３８】
上記の実施例１０の構成においては、実施例１のように個々にレベル調整しないので、切出し画像間のレベル差が比較的小さければ、実施例１と同様の効果が低コストで得られるメリットがある。また、比較的大きく切出した画面の適正値に近い補正が可能になるので、出力領域を大きく取った注目したい画像はほぼ適正なレベルになる。
【０１３９】
なお、表示領域毎に重み付けを行い、小さい表示領域ほどウエイトをかけることで、表示領域のサイズによらないレベル補正をかけても良い。
【実施例１１】
【０１４０】
図１５は本発明の実施例１１に係る画像処理装置のブロック図である。本実施例は、複数（図では３つ）の切出し画像を一枚の画像に合成した後、画面全体の平均値が適正になるようにＡＥ（自動露出）制御を行う。各々のブロックの動作は、実施例２と同様である。
【０１４１】
図４の実施例２では、撮影画像全体の平均値を輝度レベル検出部３７で輝度レベルとして検出し、ＡＥ制御系（３７，３８，３９，４１，４２）によってＡＥ制御を行なう一方、画像切出し処理部１２で切り出した３つの切出し画像Ａ，Ｂ，Ｃごとに画像処理部１３Ａ，１３Ｂ，１３Ｃで画像処理即ちレベル補正を行なった後に、３つの画像Ａ，Ｂ，Ｃを合成部１４にて合成するものであった。これに対して、実施例１１では、画像切出し処理部１２で切り出した３つの切出し画像Ａ，Ｂ，Ｃを合成部１４で合成した後に、その合成画像の平均値を輝度レベルとして検出し、ＡＥ制御系（３７，３８，３９，４１，４２）を用いてＡＥ制御を行なう点で、実施例２とは構成が異なっている。
【０１４２】
上記の実施例１１の構成においては、複数の切出し画像を合成した後の平均値を輝度レベルとしてＡＥ制御を行うことで、各切出し画像の輝度調整をなくすことができ、低コストな構成が可能である。
【実施例１２】
【０１４３】
図１６は本発明の実施例１２に係る画像処理装置のブロック図である。本実施例は、複数（図では３つ）の切出し画像を一枚の画像に合成した後、画面全体の色バランスが適正になるように色補正を行う。各々のブロックの動作は、実施例３と同様である。
【０１４４】
図６の実施例３では、回路部（５１〜５５）で画像全体で色調整をした後、さらに画像切出し処理部１２で切り出した各切出し画像毎に回路部（５６〜５９、６１〜６４、６５〜６８）で色調整を行なうものであった。これに対して、実施例１２では、画像切出し処理部１２で切り出した３つの切出し画像Ａ，Ｂ，Ｃを合成部１４で合成した後に、その合成画像のＲＧＢ信号の比を検出して、回路部（５１〜５５）で色調整（ＡＷＢ、即ちオートホワイトバランス）を行なう点で、実施例３とは構成が異なっている。
【０１４５】
上記の実施例１２の構成においては、複数の切出し画像を合成した後の、ＲＧＢ信号の比を検出して画像全体で色調整を行うことにより、切出し画像毎に調整する必要がなくなり、低コストな構成が可能である。
【産業上の利用可能性】
【０１４６】
本発明は、デジタルカメラやデジタルビデオカメラなどの個体撮像素子を用いた撮像装置における画像処理装置のほか、医療用の撮像装置、例えば電子内視鏡装置などにおける画像処理装置に応用することもできる。
【図面の簡単な説明】
【０１４７】
【図１】本発明の実施例１に係る画像処理装置のブロック図。
【図２】図１における画像切出し処理部の構成の一例を示すブロック図。
【図３】合成画像表示装置上における、複数の切出し画像の表示パターン例を示す図。
【図４】図４は本発明の実施例２に係る画像処理装置のブロック図。
【図５】中央重点方式を説明する説明図。
【図６】本発明の実施例３に係る画像処理装置のブロック図。
【図７】本発明の実施例４に係る切出し画像処理部のブロック図。
【図８】本発明の実施例５に係る画像処理装置のブロック図。
【図９】本発明の実施例６に係る画像処理装置のブロック図。
【図１０】本発明の実施例７に係る画像処理装置のブロック図。
【図１１】本発明の実施例８に係る画像処理装置のブロック図。
【図１２】本発明の実施例９に係る画像処理装置のブロック図。
【図１３】図１２におけるバッファメモリ手段のスキャンコンバータ動作を説明する説明図。
【図１４】本発明の実施例１０に係る画像処理装置のブロック図。
【図１５】本発明の実施例１１に係る画像処理装置のブロック図。
【図１６】本発明の実施例１２に係る画像処理装置のブロック図。
【符号の説明】
【０１４８】
１２…画像切出し処理部（分割領域設定手段）
１３Ａ，１３Ｂ，１３Ｃ…画像処理部
１３Ａ-1，１３Ｂ-1，１３Ｃ-1…レベル補正部
１３Ａ-2，１３Ｂ-2，１３Ｃ-2…輝度補正部
１４…合成部（合成手段）
１５…加算器
１８…全体画像表示装置
１９…合成画像表示装置
２０…切出し位置選択部
２１…システム制御部
２２…レベル検出部
２２Ａ…輝度検出部
代理人 弁理士 伊 藤 進
【特許請求の範囲】
【請求項１】
同一画像から複数の画像領域を分割し切り出す分割領域設定手段と、
前記分割領域設定手段により分割し切り出された複数の画像領域を、一つの画像に合成する合成手段とを有することを特徴とする画像処理装置。
【請求項２】
前記分割領域設定手段により分割し切り出された複数の画像領域を個々に画像処理を行う画像処理手段をさらに有し、個々に画像処理された画像を前記合成手段により、一つの画像に合成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記合成手段により合成された画像を表示する表示装置をさらに有し、前記分割し切り出された複数の画像領域の個々の画像処理が、切り出された画像の解像度を前記表示装置の表示用の解像度に変換する解像度変換であることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記画像処理手段による個々の画像処理が、輝度補正であることを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記画像処理手段による個々の画像処理が、色補正であることを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記画像処理手段による個々の画像処理が、前記分割し切り出された複数の画像領域の解像度に対する前記表示装置の表示画像の解像度の拡大率に比例して輪郭補正量を変化させる処理であることを特徴とする請求項３に記載の画像処理装置。
【請求項７】
前記画像処理手段による個々の画像処理が、撮像素子の電子シャッターによる補正であることを特徴とする請求項２に記載の画像処理装置。
【請求項８】
前記分割し切り出された複数の画像を、個々の切出し画像のサイズに応じた速度で出力するフレームバッファ手段を設けたことを特徴とする請求項６に記載の画像処理装置。
【請求項９】
同一画像から複数の画像領域を分割し切り出す分割領域設定手段と、
前記分割領域設定手段により分割し切り出された複数の画像領域の内の一つを基本領域として設定する基本領域設定手段と、
前記分割領域設定手段により分割し切り出された複数の画像に対して処理を行うパラメータを、前記基本領域に対する処理に用いるパラメータに対して、前記基本領域と基本領域以外の分割し切り出された複数の画像領域との差分により補正して求めるパラメータ設定手段と、
前記基本領域と前記基本領域以外の分割し切り出された複数の画像領域に前記パラメータ設定手段により設定されたパラメータによる処理を行ない、各領域の画像を一つの画像に合成する合成手段と、
この合成手段により合成された画像を表示する表示装置とを有することを特徴とする画像処理装置。
【請求項１０】
前記パラメータによる処理は、前記分割し切り出された複数の画像領域に対する輝度補正処理であり、前記基本領域の輝度レベルから相対的に基本領域以外の分割し切り出された画像領域の輝度レベルを補正することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記複数の分割し切り出された画像の解像度を所定の解像度に変換する第１の解像度変換部と、
この第１の解像度変換部により解像度が変換された前記複数の分割し切り出された画像のいずれかを選択する選択手段と、
この選択手段により選択された前記複数の分割し切り出された画像を伝送する伝送手段と、
この伝送手段により伝送された前記複数の分割し切り出された画像を所定の解像度に変換する第２の解像度変換部と、
この第２の解像度変換部により解像度が変換された前記複数の分割し切り出された画像を、合成された画像を表示する表示装置のフレームレートに変換するバッファメモリ手段とをさらに有し、
前記複数の分割し切り出された画像の基本領域の画像をそれ以外の他の画像よりも多く伝送することを特徴とする請求項１に記載の画像処理装置。
【請求項１２】
前記合成手段により合成された画像のレベルを所定のパラメータにより補正する補正手段を有することを特徴とする請求項１に記載の画像処理装置。
【請求項１３】
前記補正手段は、前記合成された画像の輝度レベルを補正することを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記補正手段は、前記合成された画像の色バランスを補正することを特徴とする請求項１２に記載の画像処理装置。
【請求項１５】
前記分割領域設定手段は、分割する前の元の画像全体を表示する全体画像表示手段と、この全体画像表示手段上で画像を分割し切り出す領域を指定する分割切出し位置指定手段とを備えており、この分割切出し位置指定手段は前記全体画像表示手段上に表示された画像の部分を指定することにより、分割し切り出す画像の位置を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項１６】
前記合成手段により合成された合成画像を表示する合成画像表示手段と、この合成画像表示手段の画像サイズに対応するように前記複数の切出し画像を合成表示する際の各画像のサイズを指定する画像サイズ指定手段とをさらに備えていることを特徴とする請求項１に記載の画像処理装置。
【請求項１７】
前記合成手段により合成された合成画像を表示する合成画像表示手段と、この合成画像表示手段の画像アスペクト比に合わせて、前記複数の切出し画像を合成表示する際に各画像を並べると隙間なく一枚の合成画像が得られるように各画像のサイズを決定する手段とをさらに備えていることを特徴とする請求項１に記載の画像処理装置。
【請求項１８】
前記合成手段により合成された合成画像を表示する合成画像表示手段と、この合成画像表示手段上に分割表示する各画像のアスペクト比の組み合わせを指定するアスペクト比指定手段とをさらに備えていることを特徴とする請求項１に記載の画像処理装置。
【請求項１】
同一画像から複数の画像領域を分割し切り出す分割領域設定手段と、
前記分割領域設定手段により分割し切り出された複数の画像領域を、一つの画像に合成する合成手段とを有することを特徴とする画像処理装置。
【請求項２】
前記分割領域設定手段により分割し切り出された複数の画像領域を個々に画像処理を行う画像処理手段をさらに有し、個々に画像処理された画像を前記合成手段により、一つの画像に合成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記合成手段により合成された画像を表示する表示装置をさらに有し、前記分割し切り出された複数の画像領域の個々の画像処理が、切り出された画像の解像度を前記表示装置の表示用の解像度に変換する解像度変換であることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記画像処理手段による個々の画像処理が、輝度補正であることを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記画像処理手段による個々の画像処理が、色補正であることを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記画像処理手段による個々の画像処理が、前記分割し切り出された複数の画像領域の解像度に対する前記表示装置の表示画像の解像度の拡大率に比例して輪郭補正量を変化させる処理であることを特徴とする請求項３に記載の画像処理装置。
【請求項７】
前記画像処理手段による個々の画像処理が、撮像素子の電子シャッターによる補正であることを特徴とする請求項２に記載の画像処理装置。
【請求項８】
前記分割し切り出された複数の画像を、個々の切出し画像のサイズに応じた速度で出力するフレームバッファ手段を設けたことを特徴とする請求項６に記載の画像処理装置。
【請求項９】
同一画像から複数の画像領域を分割し切り出す分割領域設定手段と、
前記分割領域設定手段により分割し切り出された複数の画像領域の内の一つを基本領域として設定する基本領域設定手段と、
前記分割領域設定手段により分割し切り出された複数の画像に対して処理を行うパラメータを、前記基本領域に対する処理に用いるパラメータに対して、前記基本領域と基本領域以外の分割し切り出された複数の画像領域との差分により補正して求めるパラメータ設定手段と、
前記基本領域と前記基本領域以外の分割し切り出された複数の画像領域に前記パラメータ設定手段により設定されたパラメータによる処理を行ない、各領域の画像を一つの画像に合成する合成手段と、
この合成手段により合成された画像を表示する表示装置とを有することを特徴とする画像処理装置。
【請求項１０】
前記パラメータによる処理は、前記分割し切り出された複数の画像領域に対する輝度補正処理であり、前記基本領域の輝度レベルから相対的に基本領域以外の分割し切り出された画像領域の輝度レベルを補正することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記複数の分割し切り出された画像の解像度を所定の解像度に変換する第１の解像度変換部と、
この第１の解像度変換部により解像度が変換された前記複数の分割し切り出された画像のいずれかを選択する選択手段と、
この選択手段により選択された前記複数の分割し切り出された画像を伝送する伝送手段と、
この伝送手段により伝送された前記複数の分割し切り出された画像を所定の解像度に変換する第２の解像度変換部と、
この第２の解像度変換部により解像度が変換された前記複数の分割し切り出された画像を、合成された画像を表示する表示装置のフレームレートに変換するバッファメモリ手段とをさらに有し、
前記複数の分割し切り出された画像の基本領域の画像をそれ以外の他の画像よりも多く伝送することを特徴とする請求項１に記載の画像処理装置。
【請求項１２】
前記合成手段により合成された画像のレベルを所定のパラメータにより補正する補正手段を有することを特徴とする請求項１に記載の画像処理装置。
【請求項１３】
前記補正手段は、前記合成された画像の輝度レベルを補正することを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記補正手段は、前記合成された画像の色バランスを補正することを特徴とする請求項１２に記載の画像処理装置。
【請求項１５】
前記分割領域設定手段は、分割する前の元の画像全体を表示する全体画像表示手段と、この全体画像表示手段上で画像を分割し切り出す領域を指定する分割切出し位置指定手段とを備えており、この分割切出し位置指定手段は前記全体画像表示手段上に表示された画像の部分を指定することにより、分割し切り出す画像の位置を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項１６】
前記合成手段により合成された合成画像を表示する合成画像表示手段と、この合成画像表示手段の画像サイズに対応するように前記複数の切出し画像を合成表示する際の各画像のサイズを指定する画像サイズ指定手段とをさらに備えていることを特徴とする請求項１に記載の画像処理装置。
【請求項１７】
前記合成手段により合成された合成画像を表示する合成画像表示手段と、この合成画像表示手段の画像アスペクト比に合わせて、前記複数の切出し画像を合成表示する際に各画像を並べると隙間なく一枚の合成画像が得られるように各画像のサイズを決定する手段とをさらに備えていることを特徴とする請求項１に記載の画像処理装置。
【請求項１８】
前記合成手段により合成された合成画像を表示する合成画像表示手段と、この合成画像表示手段上に分割表示する各画像のアスペクト比の組み合わせを指定するアスペクト比指定手段とをさらに備えていることを特徴とする請求項１に記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２００５−１４２６８０（Ｐ２００５−１４２６８０Ａ）
【公開日】平成１７年６月２日（２００５．６．２）
【国際特許分類】
【出願番号】特願２００３−３７４９２８（Ｐ２００３−３７４９２８）
【出願日】平成１５年１１月４日（２００３．１１．４）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成１７年６月２日（２００５．６．２）
【国際特許分類】
【出願日】平成１５年１１月４日（２００３．１１．４）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]