信号処理装置
【課題】画像を撮影した後に撮影状態を示す情報を画像と関連つけて記録し、その情報を信号処理に用いる。
【解決手段】レンズと、光電変換部と、光電変換部の出力に信号処理を施す信号処理部と、信号処理部の出力を記録する記録部を有する撮像装置において、撮影を行っているときの状態を示すデータを抽出する状態抽出部と、信号処理部の出力を記録する記録部は、前記状態抽出部の結果を信号処理部の出力と関連付けて記録し、さらに、記録した画像の中から距離の基準となる被写体を選択する選択部と、選択した被写体から撮像装置までの距離と他の被写体から撮像装置までの距離の差分を算出する算出部と、それぞれの被写体までの距離の差分を用いて信号処理を施す信号処理部を有する。
【解決手段】レンズと、光電変換部と、光電変換部の出力に信号処理を施す信号処理部と、信号処理部の出力を記録する記録部を有する撮像装置において、撮影を行っているときの状態を示すデータを抽出する状態抽出部と、信号処理部の出力を記録する記録部は、前記状態抽出部の結果を信号処理部の出力と関連付けて記録し、さらに、記録した画像の中から距離の基準となる被写体を選択する選択部と、選択した被写体から撮像装置までの距離と他の被写体から撮像装置までの距離の差分を算出する算出部と、それぞれの被写体までの距離の差分を用いて信号処理を施す信号処理部を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は信号処理装置に係り、特に画像を撮像して処理する信号処理装置に関するものである。
【背景技術】
【０００２】
静止画を撮影する方法のひとつとして、デジタルカメラを使用する機会が飛躍的に増え、それに伴ってデジタルカメラの小型化、軽量化、高機能化が進み、高画質な画像を手軽に得ることができるようになった。
特に高機能化に対する需要は高くなる一方であり、最近では高級なレンズを搭載するカメラに対して高度な機能を期待している傾向がある。例えば、被写界深度を浅くする、あるいは、深くするといった高度の撮影テクニックに対応する機能や、合焦としている範囲の画像がより鮮明に撮影できる機能などである。そのためには、絞り機構を備えたレンズユニット、また、空間周波数特性が良いレンズを採用することとなり、それに伴いレンズが大型化し上記で述べたデジタルカメラの小型化を進める際の足かせになっている。
現在では、特許文献１に記載の信号処理のように画像の鮮明度を算出しその結果の数値からレンズの焦点が合っている範囲を選定し、その範囲以外の領域にソフトフォーカス処理を施すことで、被写界深度を浅くした画像と同様の効果を得る技術が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２７９０５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記特許文献１の課題のひとつに、撮影した映像信号から得られる情報には限りがあり、例えば撮影者と被写体までの距離が分らないことがある。そのため、被写界深度を変えるような処理を行う際に、例えば画像の中央部に固定された焦点を中心として、周辺のピントがぼける程度の処理をすることとなる。そのため現状では、焦点を中央部以外に置いて被写界深度を変えるといった処理は不可能である。
本発明の目的は上記した課題に鑑み、画像処理を高度化した信号処理装置を提供することにある。
【課題を解決するための手段】
【０００５】
前記目的を達成するため本発明は、被写体を撮像して記録するための信号処理装置であって、
前記被写体からの光を集光するレンズと、該レンズが集光した光が照射され該光を変換して映像信号を生成する光電変換部と、該光電変換部が生成した前記映像信号に対し所定の信号処理を行って出力する第１の信号処理部と、前記被写体が撮像された際の前記レンズの視野角に係るデータを抽出する視野角抽出部と、該視野角抽出部が抽出したデータ及び前記第１の信号処理部が出力した映像信号を記録する画像記録部と、前記第１の信号処理部が出力した映像信号又は前記画像記録部から読み出された前記映像信号に基づき、前記映像信号が含む画像より距離の基準とする被写体を決定する基準決定部と、該基準決定部で決定された被写体と前記信号処理装置の間の距離及び前記画像が含む他の被写体と前記信号処理装置の間の距離を前記視野角抽出部が抽出したデータ又は前記画像記録部から読み出された視野角に係るデータに基づいて算出し、双方の前記距離の差を算出する差分算出部と、該差分算出部が算出した前記距離の差に基づき前記第１の信号処理部が出力した映像信号又は前記画像記録部から読み出された前記映像信号に対して所定の信号処理を行って出力する第２の信号処理部を有し、
該第２の信号処理部は、前記差分算出部が算出した前記距離の差に基づき、前記基準決定部で決定された被写体と前記画像が含む他の被写体に対して互いに異なる倍率で拡大処理した映像信号を出力することを特徴としている。
【０００６】
または、前記第２の信号処理部は、前記差分算出部が算出した前記距離の差に基づき、前記基準決定部で決定された被写体と前記画像が含む他の被写体に対して互いに異なる明度で明度調整処理した映像信号を出力することを特徴としている。
または、前記第２の信号処理部は、前記該差分算出部が算出した前記距離の差に基づき、前記基準決定部で決定された被写体に対して前記画像が含む他の被写体よりも高い鮮明度を与えるよう鮮明度調整処理した映像信号を出力することを特徴としている。
【発明の効果】
【０００７】
本発明によれば、画像処理を高度化した信号処理装置を提供することができ、例えば撮像装置の高機能化に寄与することができる。
【図面の簡単な説明】
【０００８】
【図１】第一の実施例における撮像装置のブロック図である。
【図２】第一の実施例における画像ファイル生成部１１１のブロック図である。
【図３】第二の実施例における撮像装置のブロック図である。
【図４】第二の実施例における第三信号処理部３０３のブロック図である。
【図５】第二の実施例における距離算出部４０５の距離算出方法を説明する図である。
【図６】第三の実施例における撮像装置のブロック図である。
【図７】第四の実施例における信号処理部４０７のブロック図である。
【図８】第五の実施例における信号処理部４０７のブロック図である。
【図９】第六の実施例における信号処理部４０７のブロック図である。
【図１０】第六の実施例における制御を説明する図である。
【図１１】第四の実施例における制御を説明する図である。
【発明を実施するための形態】
【０００９】
図１、図２を用いて第一の実施例を説明する。
図１は、本実施例の撮像装置のブロック図である。
図２は、図１における画像ファイル生成部１１１のブロック図を示す。
１０１はレンズ、１０２は光電変換するセンサ、１０３はセンサ１０２の出力に第一の信号処理を施す第一信号処理部、１０４は撮像装置全体の制御を行うシステムコントロール部、１０５はシステムコントロール部１０４の命令を受けてレンズ１０１の焦点位置を変える制御をするレンズ制御部、１０６は被写体から反射してきた赤外線を受光する受光部、１０７は測距用の赤外線を発光する発光部、１０８は受光部１０６と発光部１０７を具備する赤外線受発光部、１０９は画像ファイル生成部１１１の出力を記録する画像記録部、１１１は第一信号処理部１０３の出力に第二の信号処理を施し画像ファイルを生成する画像ファイル生成部（第二信号処理部に相当する）、１１２は第一信号処理部１０３の出力である。１１３はセンサ１０２の受光面に当たる光の量を調節する絞り、１１４は絞り１１３の開け閉めをシステムコントロール部１０４の制御に従い行う絞り制御部である。
【００１０】
接続について説明する。レンズ１０１はセンサ１０２の受光面に絞り１１３を通して被写体の光学画像を結像する。センサ１０２の出力は第一信号処理部１０３の入力に接続され、第一信号処理部１０３の出力は画像ファイル生成部１１１の入力に接続され、画像ファイル生成部１１１の出力は画像記録部１０９の入力に接続され、システムコントロール部１０４のそれぞれの出力はセンサ１０２、レンズ制御部１０５、絞り制御部１１４、第一信号処理部１０３、画像記録部１０９、画像ファイル生成部１１１、発光部１０７に接続され、システムコントロール部１０４の入力には受光部１０６の出力、レンズ制御部１０５の出力、第一信号処理部１０３のカメラ自動制御用出力が接続されている。
【００１１】
動作について説明する。システムコントロール部１０４は、発光部１０７に発光を行う命令を出し、さらに発光された光の反射光の受光結果を受光部１０６から受け取り、発光部１０７に信号を送ってから、受光部１０６より受光結果が届くまでの時間差から距離を求める。次にシステムコントロール部１０４は、レンズ制御部１０５に命令を出して測距した距離に合焦するようにレンズの位置を変える等の制御を行い、また、絞り制御部１１４に命令を出して、絞り１１３を開ける、あるいは閉める制御を行って被写界深度を調節する。レンズ制御部１０５は、レンズ１０１の視野角の情報をシステムコントロール部１０４に送る。そのためレンズ制御部１０５は視野角抽出部を兼ねている。周知のとおり、視野角はレンズ１０１の焦点距離に応じて定まる。センサ１０２は、このように調節された光学系がセンサ１０２の受光面に作った像に対応した電気信号を出力する。
【００１２】
第一信号処理部１０３は、この電気信号にシステムコントロール部１０４の制御を受けてカメラ用の信号処理を施す。この際、明るさを一定にする、または、ホワイトバランスを一定に保つといったカメラ自動制御を行うための情報を第一信号処理部１０３からシステムコントロール部１０４に送り、この情報をもとにシステムコントロール部１０４は新たに第一信号処理部１０３の各処理を制御する。このようにして自動制御ループを形成している。画像ファイル生成部１１１は、生成した映像信号に画像圧縮等の信号処理を施し、その際にレンズ制御部１０５から送られたレンズの視野角などの撮影状態を示すデータを取込む動作も行う。画像ファイル生成部１１１の出力は画像記録部１０９にて記録される。
ここで画像ファイル生成部１１１に入力される撮影状態を示すデータについて説明する。記録するデータは、撮影した画像からでは分析することが困難な情報を含んでいる。たとえば前記のようにレンズ１０１の視野角を示すデータである。よってシステムコントロール部１０４は、視野角を示すデータを画像ファイル生成部１１１に出力する。
【００１３】
次に図２を用いて画像ファイル生成部１１１の動作について説明する。
図２は、ＪＰＥＧ画像圧縮を行う場合の画像ファイル生成部１１１のブロック図である。
２０１は映像データ１１２をＪＰＥＧ基本処理単位である縦８ライン横８画素のブロックに分割するブロック分割部、２０２は分割された縦８ライン横８画素のブロックのデータをＪＰＥＧデータフォーマットであるＹＣｒＣｂに変換するＹＣｒＣｂ変換部、２０３は２次元離散コサイン変換により画像信号を空間周波数へ変換するＤＣＴ部、２０４は量子化テーブルを用いてＤＣＴ係数に対し１次元一様量子化を行う一様量子化部、２０５は１次元ＤＣ予測値を計算する１次元ＤＣ予測部、２０６は１次元ＤＣ予測値および量子化ＡＣ係数を可変長符号を用いてエントロピー符号化を行うエントロピー符号化部、２０７はシステムコントロール部１０４が出力した例えば視野角を示すデータである。
【００１４】
動作を説明する。ＪＰＥＧ画像圧縮の動作は、本発明の本質的な動作ではないため詳細説明は割愛し、本質的であるデータの挿入について説明する。エントロピー符号化部２０６は、撮影状態を示すデータをＪＰＥＧ画像ファイルのヘッダー部分に挿入する。例えば一般的なＪＰＥＧファイルのフォーマット規格であるExif規格を例に説明する。Exif規格にはユーザーがコメントを書き込むことができるタグがあり２バイト分の情報を書き込むことができる。このタグに視野角を示すデータ２０７の情報を書き込むことでエントロピー符号化部２０６はファイル内保存部を兼ねることとなる。これにより撮影した画像からでは分析することが困難な情報を画像ファイル内に記録することができる。また、２バイトの各ビットに識別子などの意味を持たせることでどのような状態データであるかを認識できる。
以上の動作により撮影した画像からでは分析することが困難な撮影状態の情報を画像ファイル内に納めることができる。これにより画像を撮影した後に撮影を行った瞬間の状態を確認することができる。ここではレンズを合焦位置に移動させるための情報を発光と受光の差分から得たが、一般的に知られているビデオフォーカス方式でも同様の効果があることは周知の通りである。
【００１５】
次に、図３、図４を用いて第二の実施例を説明する。
図３は、本実施例の撮像装置のブロック図である。
図４は、図３における第三信号処理部３０３のブロック図である。
３０１は図１の画像ファイル生成部１１１を含み、かつ、画像ファイル生成部１１１の出力画像を記録する画像記録部、３０２はシステムコントロール部１０４が出力する撮影状態を示すデータを記録する状態データ記録部、３０３は画像記録部３０１と状態データ記録部３０２の出力をもとに新たな効果をもたらす信号処理を施す第三信号処理部、３０４は第一信号処理部１０３の出力と第三信号処理部３０３の出力を選択して出力する画像出力部である。画像記録部３０１と状態データ記録部３０２は、例えば記録媒体としてハードディスクを用いた記録ユニットである。双方が個別に記録媒体を備えても良く、同じ記録媒体上の異なる記録領域を使用しても良い。
【００１６】
接続について説明する。第一信号処理部１０３の出力とシステムコントロール部１０４の出力は画像記録部３０１のそれぞれ対応する入力に接続され、システムコントロール部１０４の別の出力は状態データ記録部３０２の入力に接続され、画像記録部３０１の出力と状態データ記録部３０２の出力とシステムコントロール部１０４の別の出力は第三信号処理部３０３のそれぞれ対応する入力に接続され、第一信号処理部１０３の出力と第三信号処理部３０３の出力とシステムコントロール部１０４の別の出力は画像出力部３０４のそれぞれの入力に接続される。ほかの接続と各部の働きは図１の実施例と同様である。
【００１７】
動作を説明する。図１の実施例と同様の動作は割愛する。第一信号処理部１０３で生成された映像信号は、画像記録部３０１で記録され、また、撮影状態を示すデータは、状態データ記録部３０２にて記録される。この際撮影状態を示すデータは、映像信号の同期信号と同じタイミングで記録されるため、映像信号と撮影状態を示すデータは時間的なずれを持つことなく記録できる。
【００１８】
このようにして記録された映像信号と撮影状態を示すデータは、システムコントロール部１０４によって時間的なずれのない関係を維持したまま読み出され、第三信号処理部３０３にて所定の信号処理を施される。この信号処理は撮影状態を示すデータがあることで初めて実施でき、遠近表現の効果を向上させる信号処理である。第一信号処理部１０３と第三信号処理部３０３のそれぞれの出力は、システムコントロール部１０４の制御に従い画像出力部３０４を通して、ユーザーの指示に応じてどちらか一方が選択されて出力される。
以上の動作により撮影した画像からでは分析することが困難な情報を映像信号と関連つけて記録することができるようになる。また、その関係を保持したまま読み出すことで新たな効果を期待できる信号処理を施すことが可能となる。
【００１９】
次に図４を用いて、第三信号処理部３０３の処理の一例を挙げて説明する。
４０１は信号記録部３０１が出力する映像信号、４０９は状態データ記録部３０２が出力する状態データ、４１０はシステムコントロール部１０４が出力する制御信号である。４０２は映像信号４０１に二値化処理を施す二値化部、４０３は人の顔と認識するための条件をデータ化したデータベース、４０４はデータベース４０３のデータと二値化部４０２の結果とが一致する項目数から人の顔であるか否かを判定する顔判定部、４０５は状態データ４０９を参照しながら顔判定部４０４が顔と判定した被写体までの距離を演算により算出する距離算出部、４０６は顔判定部４０４が顔と判定した被写体を囲む最小の領域を算出する顔領域算出部、４０７は入力された映像信号のうち顔領域算出部４０６が出力した領域内だけに所定の信号処理を施す信号処理部、４１１は映像信号４０１を遅延させる遅延部である。
【００２０】
接続について説明する。映像信号４０１は二値化部４０２と遅延部４１１と距離算出部４０５と顔領域算出部４０６のそれぞれの入力に接続し、二値化部４０２の出力とデータベース４０３の出力は、顔判定部４０４のそれぞれの入力に接続され、顔判定部４０４の出力は距離算出部４０５の別の入力と顔領域算出部４０６に接続され、距離算出部４０５の出力と顔領域算出部４０６の出力と遅延部４１１の出力は信号処理部４０７のそれぞれの入力に接続され、状態データ４０９は距離算出部４０５の別の入力に接続され、制御信号４１０は信号処理部４０７と顔領域算出部４０６の入力に接続される。
【００２１】
動作について説明する。二値化部４０２は、映像信号４０１の輝度レベルを参照し、所定の値を閾値として閾値以上の輝度レベルである場合と閾値未満である場合の二値に分別する。これにより映像信号４０１に撮影されている物体の特徴が強調される。顔判定部４０４は、データベース４０３から人の顔として認識するためのいくつかの二値化パターンを読み出し二値化部４０２の出力と比較して一致するパターンが所定数より多い場合に人の顔であると判定する。この結果を受けて距離算出部４０５と顔領域算出部４０６は動作状態になる。
【００２２】
距離算出部４０５は、状態データ４０９を参照しながら映像信号４０１から人の顔と判定された被写体までの距離を算出する。また、顔領域算出部４０６は、人の顔と判定された被写体の輪郭を背景との信号量の違い等から算出して信号処理部４０７に出力する。ここまでの動作は映像信号４０１を画像記録部３０１から読み込んだときに開始される。次に信号処理部４０７は、遅延部４１１から読み出された映像信号に距離算出部４０５の出力結果を用い、また信号処理を施す際の有効範囲として顔領域算出部４０６の算出結果を用いることで、人の顔と判定された被写体のみに重点を置いた信号処理を施すことができる。このように人の顔と判定された被写体別に撮像装置までの距離を算出して距離に応じた信号処理を施すことができる。なお、遅延部４１１は、映像信号４０１を読み込んだ後、距離算出部４０５や顔領域算出部４０６での算出が完了するまでの時間遅延を補償している。
【００２３】
次に、図５を用いて距離算出部４０５の動作について、状態データ４０９として与えられた情報がレンズの視野角θであった場合について説明する。
図５は、図４における距離算出部４０５の距離算出方法を説明する図である。
５０１は撮影に用いる撮像装置、５０２は撮影した被写体、５０３は状態データ４０９として与えられた視野角θ、５０４は撮像装置５０１が撮影した静止画である。
動作について説明する。被写体５０２は、顔判定部４０４で想定している“（例えば人の）顔”と判定されている被写体である。そのため顔の実際の横幅サイズ（図中のＷ）はデータベース４０３を見れば予想することが容易な数値であり、ここでは一般的な人の顔の横幅平均値とする。この際、Ｗの値が推測できると静止画５０４の全幅の１／２に相当する実際のシーン中の撮影されている横幅（図中のＷＡ）が下記数式（１）より推測できる。人の顔の横幅を構成する画素数をＰピクセル、静止画５０４の全幅の１／２の長さを構成する画素数をＱピクセルと表すと、
ＷＡ ＝ Ｗ × Ｑ ／ Ｐ ・・・・・・数式（１）
で表すことができる。
【００２４】
よって視野角θとＷＡの幅にて、撮像装置５０１と被写体５０２間の距離（図中のＬ）が下記数式で表すことができる。
【００２５】
Ｌ ＝ ＷＡ／tanθ ・・・・・・数式（２）
このようにして被写体５０２までの距離を算出する。静止画５０４内に人の顔と判定された被写体が複数個あったとしても同様に視野角θとＷＡの幅が分れば上記式によって被写体別に距離を求めることができる。
【００２６】
以上の動作により、撮影した画像からでは分析することが困難な撮影状態の情報を画像ファイル内に納めることができ、またこの情報を読み出すことで撮影した後に撮影を行った瞬間の状態を確認し、撮影状態の情報を用いて新たな効果を期待できる信号処理システムを構築することができる。具体的には静止画上に存在する各被写体と撮影装置までのそれぞれの距離が分ることから被写界深度を浅くする、または、深くするといったぼかしの演出を行うことができる。
【００２７】
例えば前記した距離が短い場合、被写界深度を浅くすれば目的とした被写体を明確にする効果がある。また、被写体ごとの距離を参照してぼかし具合を決定することで画面一様の処理とは異なり演出の幅を広げることができる。例えば目的とした被写体が複数あって前記した距離が互いに異なる場合、被写界深度を深くすれば複数の被写体の多くを明確にする効果がある。
処理を行う以前の原画像は画像記録部３０１に保存されている。このためユーザーはこれらの処理を、異なる演出効果のもとで被写体を撮像した後に繰返し行うことができる。
また、第三信号処理部３０３は、図１における画像記録部１０９の後段につけても、静止画再生時に同様の効果が得られることは言うまでも無い。
【００２８】
次に、図６を用いて第三の実施例を説明する。
図６は、第三の実施例における撮像装置のブロック図であって、図４のブロック図に基準としたい被写体を決定する基準決定部６０１を新たに追加したものである。基準決定部６０１の出力はシステムコントロール部１０４の入力に接続されている。なお、基準決定部６０１は例えば、撮像装置のタッチパネル式の表示部（図示せず）に表示されたモニター画面上で、ユーザーが基準としたい被写体に触れることにより基準を決定すると良い。
【００２９】
第三信号処理部３０３内の顔領域算出部４０６に与えるシステムコントロール部１０４の出力４１０には、基準決定部６０１が出力した縦軸、横軸の座標を示す情報も与えられる。この情報は、映像信号４０１内に複数個存在する被写体の中で基準としたい被写体を選ぶために、映像信号中の該被写体の位置を示した情報である。顔領域算出部４０６は、算出した領域の中から基準決定部６０１が出力した縦軸、横軸の座標が含まれる領域を検索して、該当した算出領域には識別信号を印加して信号処理部４０７に出力する。信号処理部４０７は識別信号が印加された領域に対応して距離算出部４０５が出力する距離情報を基準として、被写体ごとに基準とした被写体との差分距離を算出する。この差分を用いて信号処理を施す。
【００３０】
以上の動作により撮影した装置から基準とした被写体までの距離と、他の被写体までの距離との差分を用いて差分値が大きくなるに従いソフトフォーカス効果を強くする信号処理を第三信号処理部３０３が施すことができ、たとえば選択した被写体を中心に被写界深度を浅くするといった効果のある信号処理を行うことができる。第三信号処理部３０３は、図１における画像記録部１０９の後段につけても同様の効果が得られることは言うまでも無い。
また、上記ではＪＰＥＧのＥxifファイルに記録する例を示したが、動画像の圧縮方式であるＭＰＥＧフォーマットを用いた動画ファイル等にも、状態情報を記録し、動画再生時に上記第三信号処理３０３にてリアルタイムで画像演出を施してもよい。このように前記した実施例に対して変更を加えた実施例を考えることができるが、いずれも本発明の範疇にある。
【００３１】
図７を用いて第四の実施例を説明する。
図７は、第四の実施例における信号処理部４０７のブロック図であり、図６における第三信号処理部３０３中の信号処理部４０７の一例を示したものである。
７０１は遅延部４１１の画像出力結果、７０２は距離算出部４０５の出力結果、７０３は顔領域算出部４０６の出力結果である。前記したように７０３には、顔または被写体の領域を示す出力と、その被写体が距離の基準とした被写体であるかを示す信号の２種類が含まれている。７０４は制御信号４１０にて設定された条件を距離算出部出力結果７０２が満たしているかを判定する距離判定部、７０５は制御信号４１０にて設定された拡大率を出力する拡大率選択部、７０６は例えばフィールドメモリのように画像出力結果７０１を保持する画像保持部である。７０７は、拡大率選択部７０５と、距離の基準とした被写体であるかを示す顔領域算出部出力結果７０３を用いて、画像保持部７０６から画像データを読み出す制御を行う第１の画像Ｗ／Ｒ制御部であり、拡大処理が希望の拡大率で、且つ、拡大中心が基準決定部６０１で決めた被写体になるように画像切り出し位置の変更や画像データの間欠読み出しを行う制御をする。
【００３２】
７０８は画像保持部７０６からの読み出しデータに拡大率選択部７０５から出力された拡大率にて拡大処理を行う画像拡大部、７０９は入力画像をフィールドメモリに上書きする画像合成保持部、７１０は画像合成保持部７０９のデータ書き込み、データ読み出しを制御する第２の画像Ｗ／Ｒ制御部である。７１１は画像合成保持部７０９への入力データを、顔または被写体の領域を示す顔領域算出部出力結果７０３に従って、画像拡大部７０８の出力画像と、画像合成保持部７０９の出力画像から選択する選択部である。７１２は撮像装置から距離の基準とした被写体までの距離と、撮像装置からその他の被写体との差分を算出する差分算出部、７１３はスイッチ部である。
【００３３】
接続について説明する。距離算出部出力結果７０２と、距離の基準とした被写体であるかを示す顔領域算出部出力結果７０３は、差分算出部７１２の入力に接続し、差分算出部７１２の出力と制御信号４１０は距離判定部７０４の入力に接続し、制御信号４１０は拡大率選択部７０５の入力に接続し、拡大率選択部７０５の出力と距離の基準とした被写体であるかを示す顔領域算出部出力結果７０３は第１の画像Ｗ／Ｒ制御部７０７の入力に接続し、第１の画像Ｗ／Ｒ制御部７０７の出力と遅延部画像出力結果７０１と顔または被写体の領域を示す顔領域算出部出力結果７０３は画像保持部７０６の入力に接続し、画像保持部７０６の画像出力と拡大率選択部７０５の出力は画像拡大部７０８の入力に接続し、画像保持部７０６から出力された顔または被写体の領域を示す出力は、スイッチ部７１３にて距離判定部７０４の出力にて接続、非接続を制御されて選択部７１１の一方の入力に接続し、また、画像合成保持部７０９の出力は選択部７１１の別の入力に接続し、選択部７１１の出力と第２の画像Ｗ／Ｒ制御部７１０の出力は画像合成保持部７０９の入力に接続し、第２の画像Ｗ／Ｒ制御部７１０の入力に制御信号４１０を接続している。
【００３４】
動作について説明する。本実施例は図６に示した実施例の第三信号処理部３０３中の信号処理部４０７（図４）の一例を示したものであり、それ以外の動作は先記実施例と同じであるためここでは割愛する。
まず、差分算出部７１２に距離の基準とした被写体までの距離を記憶させるため、図６のシステムコントロール部１０４は、画像記録部３０１で記録している映像信号と、状態データ記録部３０２で記録している視野角などの撮影環境データを読み出させ、さらに、基準決定部６０１にて決められた距離の基準とした被写体の位置情報信号を出力する。図４の距離算出部４０５は顔判定部４０４が顔と判定した被写体のすべてについて撮像装置から被写体までの距離を算出する。差分算出部７１２は、この算出結果の中から距離の基準とした被写体であるかを示す顔領域算出部出力結果７０３に基づき、距離の基準とした被写体までの距離を記憶する。
【００３５】
システムコントロール部１０４は、再び画像記録部３０１が記録している映像信号と、状態データ記録部３０２が記録している視野角などの撮影環境データを読み出させ、距離算出部４０５にて撮像装置からすべての被写体までの距離を算出させる。差分算出部７１２は、先ほど記憶した撮像装置から基準とした被写体までの距離と、撮像装置からすべての被写体までの距離の差分を個々に算出する。距離判定部７０４は、この差分量が制御信号４１０にて設定された条件を満たす場合にスイッチ部７１３をＯＮし、満たさない場合ＯＦＦするための信号を出力する。制御信号４１０にて設定された条件で３つ以上の場合分けを行うときは、場合分けの識別信号を出力する。
【００３６】
画像保持部７０６は、拡大率選択部７０５が出力する拡大率と距離の基準とした被写体であるかを示す顔領域算出部出力結果７０３に従い、第１の画像Ｗ／Ｒ制御部７０７によって読み出し制御を受け、拡大中心が基準決定部６０１で決めた被写体になるように画像切り出し位置の変更や画像データの間欠読み出しを行い、顔または被写体の領域を示す出力と保持した画像を出力する。読み出した画像は、画像拡大部７０８にて拡大処理を施される。この拡大画像は、画像拡大部７０８から選択部７１１を介して画像合成保持部７０９に供給される。この際、まず画像保持部７０６からの顔または被写体の領域を示す出力を、スイッチ部７１３において距離判定部７０４の出力でＯＮ／ＯＦＦ切換する。次いでスイッチ部７１３の出力で選択部７１１の接続を切換る。これにより、距離判定部７０４の出力が示す条件を満たす被写体の領域だけを選択して、前記拡大画像は画像拡大部７０８から画像合成保持部７０９に入力される。
【００３７】
この動作にて、特定の条件を満たす被写体のみに特定の拡大処理を施すことができる。例えば基準とした被写体より遠い被写体は拡大率１倍、基準とした被写体付近の被写体は拡大率１．５倍、基準とした被写体より近い被写体は２倍とするときは距離判定部７０４と拡大率選択部７０５への設定を変えながら、３回上記動作を繰り返す。なお、前記した特定の条件を満たさない被写体に対しては、画像合成保持部７０９の出力が選択部７１１を介して、再び画像合成保持部７０９に入力されるため、拡大処理を受けることはない。
【００３８】
図１１は、第四の実施例における制御を説明する図である。ここで、図１１を用いて画像切り出し位置の変更制御や画像データの間欠読み出し制御について説明する。
１１０１は有効画像枠、１１０２は拡大率２倍のときの拡大範囲、１１０３は距離の基準とした被写体の中心位置、１１０４は有効画像枠１１０１を画素単位で表した有効画像枠、１１０５は有効画像枠１１０４上での拡大率２倍のときの拡大範囲、１１０６は有効画像枠１１０４を構成する画素、１１０７は有効画像枠１１０４の１行を読み出すときの垂直同期信号、１１０８は拡大範囲１１０５からの読み出し信号、１１０９は読み出し信号１１０８を１行分遅延させた遅延信号、１１１０は読み出し信号１１０８と遅延信号１１０９から垂直２倍の拡大処理を施した拡大信号である。
【００３９】
説明の簡素化のため水平、垂直それぞれ２倍処理を行った場合を例にして説明する。拡大率選択部７０５は水平、垂直それぞれ２倍処理を行うデータを出力する。第１の画像Ｗ／Ｒ制御部７０７は、このデータと距離の基準とした被写体であるかを示す顔領域算出部出力結果７０３に基づき拡大範囲１１０２を生成する。拡大範囲１１０２は、距離の基準とした被写体の中心位置１１０３に左右、上下に拡大率に従った領域を持たせたものである。例えば、有効画像枠１１０１の幅をＷ＿Ａ、高さをＨ＿Ａ、拡大範囲１１０２の幅の１／２をＷ＿Ｂ、拡大範囲１１０２の高さの１／２をＨ＿ＢとするとＷ＿Ｂ、Ｈ＿Ｂは下記式で表すことができる。
【００４０】
Ｗ＿Ｂ ＝ Ｗ＿Ａ／２＊（１／拡大率）・・・ 数式（３）
Ｈ＿Ｂ ＝ Ｈ＿Ａ／２＊（１／拡大率）・・・ 数式（４）
このように中心位置と拡大率が決まれば拡大範囲も明確になる。次にこの拡大範囲からの信号読み出しについて説明する。第１の画像Ｗ／Ｒ制御部７０７は、上記した数式（３）と（４）で決まった拡大範囲１１０５から、読み出し信号１１０８に示すように垂直２倍に合わせて１行分のデータを２回読み出す制御を行う。読み出し信号１１０８は、画像拡大部７０８内に具備している例えばラインメモリに代表される遅延手段によって１ライン分遅延処理され、遅延信号１１０９となる。
画像拡大部７０８は、遅延信号１１０９と読み出し信号１１０８から２倍の拡大処理を下記の式に従い行い、拡大信号１１１０を生成する。
【００４１】
２倍の拡大信号 ＝（遅延信号１１０９＋読み出し信号１１０８）／２
・・・ 数式（５）
ここでは垂直の２倍処理について説明したが、水平の２倍処理も同様の考え方で実現できる。１画素のデータを２回読み出す制御を行うこととなり、上記数式（５）を画素の考え方に変えることで対応できるため、説明は割愛する。
上記の動作により撮像装置から被写体までの距離に従い、拡大率を変える制御を行うことができ、しかも、基準となる被写体を中心から遠くなるほど拡大率を小さく、近くなるほど拡大率を大きくすることで、画面全体を同一の拡大率で拡大処理した画像とは異なり、あたかも基準となる被写体に近づいているような臨場感のある連続写真を作成する機能を実現することができる。本機能は撮像装置から被写体までの距離が明確になったことで初めて可能となるものである。
【００４２】
図８を用いて第五の実施例を説明する。
図８は、第五の実施例における信号処理部４０７のブロック図であり、図６における第三信号処理部３０３中の信号処理部４０７の一例を示し、図７とは異なる実施例である。
８０１は距離判定部７０４の出力に従い制御信号４１０にて予め設定されている複数の明度ゲインデータの中からひとつを選択する明度選択部、８０２は明度選択部８０１と顔または被写体の領域を示す顔領域算出部出力結果７０３の出力にて画像出力結果７０１に乗じる係数を生成する係数生成部、８０３は係数生成部８０２が出力した係数を画像出力結果７０１に乗じる乗算部である。
【００４３】
接続について説明する。距離算出部出力結果７０２と距離の基準とした被写体であるかを示す顔領域算出部出力結果７０３の信号は差分算出部７１２の入力に接続し、差分算出部７１２の出力と制御信号４１０は距離判定部７０４の入力に接続し、距離判定部７０４の出力と制御信号４１０は明度選択部８０１の入力に接続し、明度選択部８０１の出力と顔または被写体の領域を示す顔領域算出部出力結果７０３の出力は係数生成部８０２の入力に接続し、係数生成部８０２の出力と画像出力結果７０１は乗算部８０３の入力に接続している。
【００４４】
動作について説明する。本実施例は図６における実施例の第三信号処理部３０３中の信号処理部４０７（図４）の一例を示したものであるため、それ以外の動作は先記実施例と同じであるためここでは割愛する。
まず、差分算出部７１２に距離の基準とした被写体までの距離を記憶させるため、図６のシステムコントロール部１０４は、画像記録部３０１から記録している映像信号と、状態データ記録部３０２から記録している視野角などの撮影環境データを読み出させ、基準決定部６０１にて決められた基準とした被写体の位置情報信号を出力する。図４の距離算出部４０５は顔判定部４０４が顔と判定した被写体のすべてについて撮像装置から被写体までの距離を算出する。差分算出部７１２は、この算出結果の中から距離の基準とした被写体であるかを示す顔領域算出部出力結果７０３の信号に基づき、距離の基準とした被写体までの距離を記憶する。
【００４５】
再び画像記録部３０１から記録している映像信号と、状態データ記録部３０２から記録している視野角などの撮影環境データを読み出し、撮像装置からすべての被写体までの距離を算出する。差分算出部７１２は、先ほど記憶した撮像装置から基準とした被写体までの距離と、撮像装置からすべての被写体までの距離の差分を算出する。距離判定部７０４は、この差分量が制御信号４１０にて設定された条件を満たすか否かを示す識別信号を出力する。制御信号４１０にて設定された条件で３つ以上の場合分けを行うときは、場合分けの識別信号を出力する。
【００４６】
明度選択部８０１は、距離判定部７０４の出力に従い予め制御信号４１０にて設定された明度ゲインデータの中からひとつを選択する。係数生成部８０２は、明度選択部８０１と顔または被写体の領域を示す顔領域算出部出力結果７０３に基づき、特定の被写体の領域だけ輝度、あるいは色信号に乗じる特定のゲインを出力し、その他の領域のゲインは１倍を示す値を出力する。乗算部８０３は画像出力結果７０１の輝度、あるいは色信号に係数生成部８０２の出力する係数を乗じる。
上記の動作により撮像装置から被写体までの距離に従い、明度を変える制御を行うことができ、しかも、基準となる被写体を中心に遠くなるほど明度ゲインデータを小さく、近くなるほど明度ゲインデータを大きくすることで、画面全体を同一の明度ゲインデータで信号処理した画像とは異なり、新しい方法にて遠近感を表現する連続写真を作成する機能を実現することができる。本機能は撮像装置から被写体までの距離が明確になったことで初めて可能となったものである。
【００４７】
また、基準とした被写体の明度を予め検出し、その結果を元に基準とした被写体よりも遠方の被写体や、近方の被写体の明度ゲインデータを数式に則り算出する方法であっても同様の効果が得られる。
図９を用いて第六の実施例を説明する。
図９は、第六の実施例における信号処理部４０７のブロック図であり、図６における第三信号処理部３０３中の信号処理部４０７の一例を示し、図７、図８とは異なる実施例である。
【００４８】
９０１は顔または被写体の領域を示す顔領域算出部出力結果７０３の出力を用いて、画像出力結果７０１の中から各被写体ごとの鮮明度を高周波成分の信号量にて計測する鮮明度抽出部、９０２は距離算出部４０５の出力７０２と鮮明度抽出部９０１の出力から鮮明度の一番高い被写体の鮮明度、一番遠方の被写体の鮮明度、一番近方の被写体の鮮明度、距離の基準とした被写体の鮮明度、それぞれの被写体と撮像装置までの距離を記憶する鮮明度記憶部、９０３は鮮明度記憶部９０２が記憶した情報から、各被写体の鮮明度を補正するデータを算出する鮮明度補正データ算出部、９０４は鮮明度補正データ算出部９０３と距離判定部７０４の出力と顔または被写体の領域を示す顔領域算出部出力結果７０３の出力から各被写体に対応した鮮明度補正データを選択する鮮明度補正データ選択部、９０５は鮮明度補正データ選択部９０４の出力に基づき、画像出力結果７０１の被写体に鮮明度を上げる、または下げる処理を行う鮮明度調整部である。
【００４９】
接続について説明する。距離算出部出力結果７０２と距離の基準とした被写体であるかを示す顔領域算出部出力結果７０３は差分算出部７１２の入力に接続し、差分算出部７１２の出力と制御信号４１０は距離判定部７０４の入力に接続し、画像出力結果７０１と顔または被写体の領域を示す顔領域算出部出力結果７０３は鮮明度抽出部９０１の入力に接続し、鮮明度抽出部９０１の出力と距離算出部出力結果７０２は鮮明度記憶部９０２の入力に接続し、鮮明度記憶部９０２の出力は鮮明度補正データ算出部９０３の入力に接続し、距離判定部７０４の出力と制御信号４１０と距離の基準とした被写体であるかを示す顔領域算出部出力結果７０３と鮮明度補正データ算出部９０３の出力は鮮明度補正データ選択部９０４の入力に接続し、鮮明度補正データ選択部９０４の出力と画像出力結果７０１は鮮明度調整部９０５の入力に接続している。
【００５０】
動作について説明する。本実施例は図６における実施例の第三信号処理部３０３中の信号処理部４０７（図４）の一例を示したものであるため、それ以外の動作は先記実施例と同じであるためここでは割愛する。
まず、差分算出部７１２に距離の基準とした被写体までの距離を記憶させるため、図６のシステムコントロール部１０４は、画像記録部３０１から記録している映像信号と、状態データ記録部３０２から記録している視野角などの撮影環境データを読み出させ、基準決定部６０１にて決められた基準とした被写体の位置情報信号を出力する。図４の距離算出部４０５は顔判定部４０４が顔と判定した被写体のすべてについて撮像装置から被写体までの距離を算出する。差分算出部７１２は、この算出結果の中から顔領域算出部出力結果７０３の距離の基準とした被写体であるかを判別する信号に基づき、距離の基準とした被写体までの距離を記憶する。
【００５１】
それと同時に鮮明度抽出部９０１は、顔または被写体の領域を示す顔領域算出部出力結果７０３を用いて、すべての顔または被写体の鮮明度を抽出する。鮮明度は例えばサンプリング周波数の１／２の周波数を通過させるバンド・パス・フィルタ（以下ＢＰＦとする）の出力を積分した結果で表すことができる。その結果、鮮明度の一番高い被写体の鮮明度と距離算出部４０５が算出した距離７０２、一番遠方の被写体の鮮明度と距離算出部４０５が算出した距離７０２、一番近方の被写体の鮮明度と距離算出部４０５が算出した距離７０２、距離の基準とした被写体の鮮明度と距離算出部４０５が算出した距離７０２という４種類の被写体の情報が抽出できる。鮮明度記憶部９０２はこの４種類の被写体の情報を記憶する。
【００５２】
再び画像記録部３０１で記録している映像信号と、状態データ記録部３０２で記録している視野角などの撮影環境データを読み出し、撮像装置からすべての被写体までの距離を算出する。差分算出部７１２は、先ほど記憶した撮像装置から距離の基準とした被写体までの距離と、撮像装置からすべての被写体までの距離の差分を算出する。距離判定部７０４は、この差分量が制御信号４１０にて設定された条件を満たすか否かを示す識別信号を出力する。制御信号４１０にて設定された条件で３つ以上の場合分けを行うときは、場合分けの識別信号を出力する。鮮明度補正データ算出部９０３は、鮮明度記憶部９０２が記憶した４種類の被写体の情報から、距離の基準とした被写体の鮮明度が一番高くなるように鮮明度を上げる補正を行うデータを算出する。他の被写体は差分算出部７１２の出力にしたがって鮮明度を下げる補正を行うデータを算出する。
【００５３】
この際、距離判定部７０４は差分算出部７１２の出力を複数のグループに区切り、算出された差分がどこのグループに属するかを判定し、識別信号を出力する。鮮明度補正データ選択部９０４は、識別信号を用いて鮮明度補正データ算出部９０３が出力した複数の補正データからひとつを選択し、鮮明度調整部９０５に入力する。鮮明度調整部９０５は、鮮明度補正データ選択部９０４の出力に従い、画像出力結果７０１に鮮明度調整処理を施す。鮮明度補正データが鮮明度を上げるものであった場合、例えば画像出力結果７０１にエッジ強調処理を十分に施した画像ともとの画像出力結果７０１との混合比を変えることで鮮明度を上げ、逆に鮮明度補正データが鮮明度を下げるものであった場合、例えば画像出力結果７０１にロー・パス・フィルタ（以下ＬＰＦとする）を施した画像ともとの画像出力結果７０１との混合比を変えることで鮮明度を下げる。
【００５４】
図１０は、第六の実施例における制御を説明する図である。ここで図１０を用いて鮮明度補正データ算出部９０３、差分算出部７１２、距離判定部７０４の動作を詳しく説明する。
図１０において、１００１は撮像装置、１００２は最も近い被写体、１００３は最も鮮明度の高い被写体、１００４は距離の基準とした被写体、１００５は最も遠くの被写体であり、横軸は撮像装置１００１からの距離を示す。１００６は画像出力結果７０１の鮮明度抽出部９０１の結果を縦軸とって示した鮮明度曲線、１００７は距離の基準とした被写体１００４を一番鮮明度が高くなるようにしたときの鮮明度直線、１００８は距離判定部７０４が出力する距離の基準とした被写体１００４から等間隔で区切った領域、１００９は鮮明度補正データ選択部の出力であり、鮮明度を上げるデータを＋鮮明度データ、鮮明度を下げるデータを−鮮明度データ、それぞれの強度を大、中、小、補正なしで表している。
【００５５】
画像出力結果７０１の鮮明度抽出部９０１の結果は鮮明度曲線１００６に示す通りとする。このとき、距離の基準とした被写体１００４よりも被写体１００３の鮮明度が高く、距離の基準とした被写体１００４はピントがぼけている状態である。ここで鮮明度補正データ算出部９０３は、最も近い被写体１００２と最も鮮明度の高い被写体１００３と最も遠くの被写体１００５のそれぞれの鮮明度と、距離の基準とした被写体１００４の位置から、鮮明度直線１００７に示すように距離の基準とした被写体１００４の鮮明度を一番高くする特性を算出する。その算出結果を距離判定部７０４が出力する領域１０８内で平均をとり、鮮明度補正データ選択部９０４の出力とする。
【００５６】
上記の動作により撮像装置から被写体までの距離に基づき、鮮明度を変える制御を行うことができ、しかも、基準となる被写体を中心に遠くなるほど鮮明度下げ、近くなるほど鮮明度を上げることができるため、画面全体を同一の鮮明度向上処理で信号処理した画像とは異なり、新たにフォーカスを取り直したような連続写真を作成する機能を実現することができる。本機能は撮像装置から被写体までの距離が明確になったことで初めて可能となるものである。
【符号の説明】
【００５７】
１０１：レンズ、１０２：センサ、１０３：第一信号処理部、１０４：システムコントロール部、１０５：レンズ制御部、１０６：受光部、１０７：発光部、１０８：赤外線受発光部、１０９：画像記憶部、１１１：画像ファイル生成部、１１２：第一信号処理部１０３の出力、１１３：絞り、１１４：絞り制御部、２０１：ブロック分割部、２０２：ＹＣｒＣＢ変換部、２０３：ＤＣＴ部、２０４：一様量子化部、２０５：１次元ＤＣ予測部、２０６：エントロピー符号化部、２０７：撮影状態を示すデータ、３０１：画像記録部、３０２：状態データ記録部、３０３：第三信号処理、３０４：画像出力部、４０１：映像信号、４０２：二値化部、４０３：データベース、４０４：顔判定部、４０５：距離算出部、４０６：顔領域算出部、４０７：信号処理部、４０９：状態データ、４１０：制御信号、４１１：遅延部、５０１：撮像装置、５０２：被写体、５０３：視野角θ、５０４：撮影した静止画、６０１：基準決定部、７０１：画像出力結果、７０２：距離算出部４０５の出力結果、７０３：顔領域算出部４０６の出力結果、７０４：距離判定部、７０５：拡大率選択部、７０６：画像保持部、７０７：第１の画像Ｗ／Ｒ制御部、７０８：画像拡大部、７０９：画像合成保持部、７１０：第２の画像Ｗ／Ｒ制御部、７１１：選択部、７１２：差分演算部、７１３：スイッチ部、８０１：明度選択部、８０２：係数生成部、８０３：乗算部、９０１：鮮明度抽出部、９０２：鮮明度記憶部、９０３：鮮明度補正データ算出部、９０４：鮮明度補正データ選択部、９０５：鮮明度調整部、１００１：撮像装置、１００２：最も近い被写体、１００３：最も鮮明度の高い被写体、１００４：距離の基準とした被写体、１００５：最も遠くの被写体、１００６：鮮明度曲線、１００７：鮮明度直線、１００８：等間隔で区切った領域、１００９：鮮明度補正データ選択部の出力、１１０１：有効画像枠、１１０２：拡大率２倍のときの拡大範囲、１１０３：距離の基準とした被写体の中心位置、１１０４：画素単位で表した有効画像枠、１１０５：有効画像枠１１０４上での拡大率２倍のときの拡大範囲、１１０６：有効画像枠１１０４を構成する画素、１１０７：垂直同期信号、１１０８：読み出し信号、１１０９：遅延信号、１１１０：拡大信号。
【技術分野】
【０００１】
本発明は信号処理装置に係り、特に画像を撮像して処理する信号処理装置に関するものである。
【背景技術】
【０００２】
静止画を撮影する方法のひとつとして、デジタルカメラを使用する機会が飛躍的に増え、それに伴ってデジタルカメラの小型化、軽量化、高機能化が進み、高画質な画像を手軽に得ることができるようになった。
特に高機能化に対する需要は高くなる一方であり、最近では高級なレンズを搭載するカメラに対して高度な機能を期待している傾向がある。例えば、被写界深度を浅くする、あるいは、深くするといった高度の撮影テクニックに対応する機能や、合焦としている範囲の画像がより鮮明に撮影できる機能などである。そのためには、絞り機構を備えたレンズユニット、また、空間周波数特性が良いレンズを採用することとなり、それに伴いレンズが大型化し上記で述べたデジタルカメラの小型化を進める際の足かせになっている。
現在では、特許文献１に記載の信号処理のように画像の鮮明度を算出しその結果の数値からレンズの焦点が合っている範囲を選定し、その範囲以外の領域にソフトフォーカス処理を施すことで、被写界深度を浅くした画像と同様の効果を得る技術が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２７９０５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記特許文献１の課題のひとつに、撮影した映像信号から得られる情報には限りがあり、例えば撮影者と被写体までの距離が分らないことがある。そのため、被写界深度を変えるような処理を行う際に、例えば画像の中央部に固定された焦点を中心として、周辺のピントがぼける程度の処理をすることとなる。そのため現状では、焦点を中央部以外に置いて被写界深度を変えるといった処理は不可能である。
本発明の目的は上記した課題に鑑み、画像処理を高度化した信号処理装置を提供することにある。
【課題を解決するための手段】
【０００５】
前記目的を達成するため本発明は、被写体を撮像して記録するための信号処理装置であって、
前記被写体からの光を集光するレンズと、該レンズが集光した光が照射され該光を変換して映像信号を生成する光電変換部と、該光電変換部が生成した前記映像信号に対し所定の信号処理を行って出力する第１の信号処理部と、前記被写体が撮像された際の前記レンズの視野角に係るデータを抽出する視野角抽出部と、該視野角抽出部が抽出したデータ及び前記第１の信号処理部が出力した映像信号を記録する画像記録部と、前記第１の信号処理部が出力した映像信号又は前記画像記録部から読み出された前記映像信号に基づき、前記映像信号が含む画像より距離の基準とする被写体を決定する基準決定部と、該基準決定部で決定された被写体と前記信号処理装置の間の距離及び前記画像が含む他の被写体と前記信号処理装置の間の距離を前記視野角抽出部が抽出したデータ又は前記画像記録部から読み出された視野角に係るデータに基づいて算出し、双方の前記距離の差を算出する差分算出部と、該差分算出部が算出した前記距離の差に基づき前記第１の信号処理部が出力した映像信号又は前記画像記録部から読み出された前記映像信号に対して所定の信号処理を行って出力する第２の信号処理部を有し、
該第２の信号処理部は、前記差分算出部が算出した前記距離の差に基づき、前記基準決定部で決定された被写体と前記画像が含む他の被写体に対して互いに異なる倍率で拡大処理した映像信号を出力することを特徴としている。
【０００６】
または、前記第２の信号処理部は、前記差分算出部が算出した前記距離の差に基づき、前記基準決定部で決定された被写体と前記画像が含む他の被写体に対して互いに異なる明度で明度調整処理した映像信号を出力することを特徴としている。
または、前記第２の信号処理部は、前記該差分算出部が算出した前記距離の差に基づき、前記基準決定部で決定された被写体に対して前記画像が含む他の被写体よりも高い鮮明度を与えるよう鮮明度調整処理した映像信号を出力することを特徴としている。
【発明の効果】
【０００７】
本発明によれば、画像処理を高度化した信号処理装置を提供することができ、例えば撮像装置の高機能化に寄与することができる。
【図面の簡単な説明】
【０００８】
【図１】第一の実施例における撮像装置のブロック図である。
【図２】第一の実施例における画像ファイル生成部１１１のブロック図である。
【図３】第二の実施例における撮像装置のブロック図である。
【図４】第二の実施例における第三信号処理部３０３のブロック図である。
【図５】第二の実施例における距離算出部４０５の距離算出方法を説明する図である。
【図６】第三の実施例における撮像装置のブロック図である。
【図７】第四の実施例における信号処理部４０７のブロック図である。
【図８】第五の実施例における信号処理部４０７のブロック図である。
【図９】第六の実施例における信号処理部４０７のブロック図である。
【図１０】第六の実施例における制御を説明する図である。
【図１１】第四の実施例における制御を説明する図である。
【発明を実施するための形態】
【０００９】
図１、図２を用いて第一の実施例を説明する。
図１は、本実施例の撮像装置のブロック図である。
図２は、図１における画像ファイル生成部１１１のブロック図を示す。
１０１はレンズ、１０２は光電変換するセンサ、１０３はセンサ１０２の出力に第一の信号処理を施す第一信号処理部、１０４は撮像装置全体の制御を行うシステムコントロール部、１０５はシステムコントロール部１０４の命令を受けてレンズ１０１の焦点位置を変える制御をするレンズ制御部、１０６は被写体から反射してきた赤外線を受光する受光部、１０７は測距用の赤外線を発光する発光部、１０８は受光部１０６と発光部１０７を具備する赤外線受発光部、１０９は画像ファイル生成部１１１の出力を記録する画像記録部、１１１は第一信号処理部１０３の出力に第二の信号処理を施し画像ファイルを生成する画像ファイル生成部（第二信号処理部に相当する）、１１２は第一信号処理部１０３の出力である。１１３はセンサ１０２の受光面に当たる光の量を調節する絞り、１１４は絞り１１３の開け閉めをシステムコントロール部１０４の制御に従い行う絞り制御部である。
【００１０】
接続について説明する。レンズ１０１はセンサ１０２の受光面に絞り１１３を通して被写体の光学画像を結像する。センサ１０２の出力は第一信号処理部１０３の入力に接続され、第一信号処理部１０３の出力は画像ファイル生成部１１１の入力に接続され、画像ファイル生成部１１１の出力は画像記録部１０９の入力に接続され、システムコントロール部１０４のそれぞれの出力はセンサ１０２、レンズ制御部１０５、絞り制御部１１４、第一信号処理部１０３、画像記録部１０９、画像ファイル生成部１１１、発光部１０７に接続され、システムコントロール部１０４の入力には受光部１０６の出力、レンズ制御部１０５の出力、第一信号処理部１０３のカメラ自動制御用出力が接続されている。
【００１１】
動作について説明する。システムコントロール部１０４は、発光部１０７に発光を行う命令を出し、さらに発光された光の反射光の受光結果を受光部１０６から受け取り、発光部１０７に信号を送ってから、受光部１０６より受光結果が届くまでの時間差から距離を求める。次にシステムコントロール部１０４は、レンズ制御部１０５に命令を出して測距した距離に合焦するようにレンズの位置を変える等の制御を行い、また、絞り制御部１１４に命令を出して、絞り１１３を開ける、あるいは閉める制御を行って被写界深度を調節する。レンズ制御部１０５は、レンズ１０１の視野角の情報をシステムコントロール部１０４に送る。そのためレンズ制御部１０５は視野角抽出部を兼ねている。周知のとおり、視野角はレンズ１０１の焦点距離に応じて定まる。センサ１０２は、このように調節された光学系がセンサ１０２の受光面に作った像に対応した電気信号を出力する。
【００１２】
第一信号処理部１０３は、この電気信号にシステムコントロール部１０４の制御を受けてカメラ用の信号処理を施す。この際、明るさを一定にする、または、ホワイトバランスを一定に保つといったカメラ自動制御を行うための情報を第一信号処理部１０３からシステムコントロール部１０４に送り、この情報をもとにシステムコントロール部１０４は新たに第一信号処理部１０３の各処理を制御する。このようにして自動制御ループを形成している。画像ファイル生成部１１１は、生成した映像信号に画像圧縮等の信号処理を施し、その際にレンズ制御部１０５から送られたレンズの視野角などの撮影状態を示すデータを取込む動作も行う。画像ファイル生成部１１１の出力は画像記録部１０９にて記録される。
ここで画像ファイル生成部１１１に入力される撮影状態を示すデータについて説明する。記録するデータは、撮影した画像からでは分析することが困難な情報を含んでいる。たとえば前記のようにレンズ１０１の視野角を示すデータである。よってシステムコントロール部１０４は、視野角を示すデータを画像ファイル生成部１１１に出力する。
【００１３】
次に図２を用いて画像ファイル生成部１１１の動作について説明する。
図２は、ＪＰＥＧ画像圧縮を行う場合の画像ファイル生成部１１１のブロック図である。
２０１は映像データ１１２をＪＰＥＧ基本処理単位である縦８ライン横８画素のブロックに分割するブロック分割部、２０２は分割された縦８ライン横８画素のブロックのデータをＪＰＥＧデータフォーマットであるＹＣｒＣｂに変換するＹＣｒＣｂ変換部、２０３は２次元離散コサイン変換により画像信号を空間周波数へ変換するＤＣＴ部、２０４は量子化テーブルを用いてＤＣＴ係数に対し１次元一様量子化を行う一様量子化部、２０５は１次元ＤＣ予測値を計算する１次元ＤＣ予測部、２０６は１次元ＤＣ予測値および量子化ＡＣ係数を可変長符号を用いてエントロピー符号化を行うエントロピー符号化部、２０７はシステムコントロール部１０４が出力した例えば視野角を示すデータである。
【００１４】
動作を説明する。ＪＰＥＧ画像圧縮の動作は、本発明の本質的な動作ではないため詳細説明は割愛し、本質的であるデータの挿入について説明する。エントロピー符号化部２０６は、撮影状態を示すデータをＪＰＥＧ画像ファイルのヘッダー部分に挿入する。例えば一般的なＪＰＥＧファイルのフォーマット規格であるExif規格を例に説明する。Exif規格にはユーザーがコメントを書き込むことができるタグがあり２バイト分の情報を書き込むことができる。このタグに視野角を示すデータ２０７の情報を書き込むことでエントロピー符号化部２０６はファイル内保存部を兼ねることとなる。これにより撮影した画像からでは分析することが困難な情報を画像ファイル内に記録することができる。また、２バイトの各ビットに識別子などの意味を持たせることでどのような状態データであるかを認識できる。
以上の動作により撮影した画像からでは分析することが困難な撮影状態の情報を画像ファイル内に納めることができる。これにより画像を撮影した後に撮影を行った瞬間の状態を確認することができる。ここではレンズを合焦位置に移動させるための情報を発光と受光の差分から得たが、一般的に知られているビデオフォーカス方式でも同様の効果があることは周知の通りである。
【００１５】
次に、図３、図４を用いて第二の実施例を説明する。
図３は、本実施例の撮像装置のブロック図である。
図４は、図３における第三信号処理部３０３のブロック図である。
３０１は図１の画像ファイル生成部１１１を含み、かつ、画像ファイル生成部１１１の出力画像を記録する画像記録部、３０２はシステムコントロール部１０４が出力する撮影状態を示すデータを記録する状態データ記録部、３０３は画像記録部３０１と状態データ記録部３０２の出力をもとに新たな効果をもたらす信号処理を施す第三信号処理部、３０４は第一信号処理部１０３の出力と第三信号処理部３０３の出力を選択して出力する画像出力部である。画像記録部３０１と状態データ記録部３０２は、例えば記録媒体としてハードディスクを用いた記録ユニットである。双方が個別に記録媒体を備えても良く、同じ記録媒体上の異なる記録領域を使用しても良い。
【００１６】
接続について説明する。第一信号処理部１０３の出力とシステムコントロール部１０４の出力は画像記録部３０１のそれぞれ対応する入力に接続され、システムコントロール部１０４の別の出力は状態データ記録部３０２の入力に接続され、画像記録部３０１の出力と状態データ記録部３０２の出力とシステムコントロール部１０４の別の出力は第三信号処理部３０３のそれぞれ対応する入力に接続され、第一信号処理部１０３の出力と第三信号処理部３０３の出力とシステムコントロール部１０４の別の出力は画像出力部３０４のそれぞれの入力に接続される。ほかの接続と各部の働きは図１の実施例と同様である。
【００１７】
動作を説明する。図１の実施例と同様の動作は割愛する。第一信号処理部１０３で生成された映像信号は、画像記録部３０１で記録され、また、撮影状態を示すデータは、状態データ記録部３０２にて記録される。この際撮影状態を示すデータは、映像信号の同期信号と同じタイミングで記録されるため、映像信号と撮影状態を示すデータは時間的なずれを持つことなく記録できる。
【００１８】
このようにして記録された映像信号と撮影状態を示すデータは、システムコントロール部１０４によって時間的なずれのない関係を維持したまま読み出され、第三信号処理部３０３にて所定の信号処理を施される。この信号処理は撮影状態を示すデータがあることで初めて実施でき、遠近表現の効果を向上させる信号処理である。第一信号処理部１０３と第三信号処理部３０３のそれぞれの出力は、システムコントロール部１０４の制御に従い画像出力部３０４を通して、ユーザーの指示に応じてどちらか一方が選択されて出力される。
以上の動作により撮影した画像からでは分析することが困難な情報を映像信号と関連つけて記録することができるようになる。また、その関係を保持したまま読み出すことで新たな効果を期待できる信号処理を施すことが可能となる。
【００１９】
次に図４を用いて、第三信号処理部３０３の処理の一例を挙げて説明する。
４０１は信号記録部３０１が出力する映像信号、４０９は状態データ記録部３０２が出力する状態データ、４１０はシステムコントロール部１０４が出力する制御信号である。４０２は映像信号４０１に二値化処理を施す二値化部、４０３は人の顔と認識するための条件をデータ化したデータベース、４０４はデータベース４０３のデータと二値化部４０２の結果とが一致する項目数から人の顔であるか否かを判定する顔判定部、４０５は状態データ４０９を参照しながら顔判定部４０４が顔と判定した被写体までの距離を演算により算出する距離算出部、４０６は顔判定部４０４が顔と判定した被写体を囲む最小の領域を算出する顔領域算出部、４０７は入力された映像信号のうち顔領域算出部４０６が出力した領域内だけに所定の信号処理を施す信号処理部、４１１は映像信号４０１を遅延させる遅延部である。
【００２０】
接続について説明する。映像信号４０１は二値化部４０２と遅延部４１１と距離算出部４０５と顔領域算出部４０６のそれぞれの入力に接続し、二値化部４０２の出力とデータベース４０３の出力は、顔判定部４０４のそれぞれの入力に接続され、顔判定部４０４の出力は距離算出部４０５の別の入力と顔領域算出部４０６に接続され、距離算出部４０５の出力と顔領域算出部４０６の出力と遅延部４１１の出力は信号処理部４０７のそれぞれの入力に接続され、状態データ４０９は距離算出部４０５の別の入力に接続され、制御信号４１０は信号処理部４０７と顔領域算出部４０６の入力に接続される。
【００２１】
動作について説明する。二値化部４０２は、映像信号４０１の輝度レベルを参照し、所定の値を閾値として閾値以上の輝度レベルである場合と閾値未満である場合の二値に分別する。これにより映像信号４０１に撮影されている物体の特徴が強調される。顔判定部４０４は、データベース４０３から人の顔として認識するためのいくつかの二値化パターンを読み出し二値化部４０２の出力と比較して一致するパターンが所定数より多い場合に人の顔であると判定する。この結果を受けて距離算出部４０５と顔領域算出部４０６は動作状態になる。
【００２２】
距離算出部４０５は、状態データ４０９を参照しながら映像信号４０１から人の顔と判定された被写体までの距離を算出する。また、顔領域算出部４０６は、人の顔と判定された被写体の輪郭を背景との信号量の違い等から算出して信号処理部４０７に出力する。ここまでの動作は映像信号４０１を画像記録部３０１から読み込んだときに開始される。次に信号処理部４０７は、遅延部４１１から読み出された映像信号に距離算出部４０５の出力結果を用い、また信号処理を施す際の有効範囲として顔領域算出部４０６の算出結果を用いることで、人の顔と判定された被写体のみに重点を置いた信号処理を施すことができる。このように人の顔と判定された被写体別に撮像装置までの距離を算出して距離に応じた信号処理を施すことができる。なお、遅延部４１１は、映像信号４０１を読み込んだ後、距離算出部４０５や顔領域算出部４０６での算出が完了するまでの時間遅延を補償している。
【００２３】
次に、図５を用いて距離算出部４０５の動作について、状態データ４０９として与えられた情報がレンズの視野角θであった場合について説明する。
図５は、図４における距離算出部４０５の距離算出方法を説明する図である。
５０１は撮影に用いる撮像装置、５０２は撮影した被写体、５０３は状態データ４０９として与えられた視野角θ、５０４は撮像装置５０１が撮影した静止画である。
動作について説明する。被写体５０２は、顔判定部４０４で想定している“（例えば人の）顔”と判定されている被写体である。そのため顔の実際の横幅サイズ（図中のＷ）はデータベース４０３を見れば予想することが容易な数値であり、ここでは一般的な人の顔の横幅平均値とする。この際、Ｗの値が推測できると静止画５０４の全幅の１／２に相当する実際のシーン中の撮影されている横幅（図中のＷＡ）が下記数式（１）より推測できる。人の顔の横幅を構成する画素数をＰピクセル、静止画５０４の全幅の１／２の長さを構成する画素数をＱピクセルと表すと、
ＷＡ ＝ Ｗ × Ｑ ／ Ｐ ・・・・・・数式（１）
で表すことができる。
【００２４】
よって視野角θとＷＡの幅にて、撮像装置５０１と被写体５０２間の距離（図中のＬ）が下記数式で表すことができる。
【００２５】
Ｌ ＝ ＷＡ／tanθ ・・・・・・数式（２）
このようにして被写体５０２までの距離を算出する。静止画５０４内に人の顔と判定された被写体が複数個あったとしても同様に視野角θとＷＡの幅が分れば上記式によって被写体別に距離を求めることができる。
【００２６】
以上の動作により、撮影した画像からでは分析することが困難な撮影状態の情報を画像ファイル内に納めることができ、またこの情報を読み出すことで撮影した後に撮影を行った瞬間の状態を確認し、撮影状態の情報を用いて新たな効果を期待できる信号処理システムを構築することができる。具体的には静止画上に存在する各被写体と撮影装置までのそれぞれの距離が分ることから被写界深度を浅くする、または、深くするといったぼかしの演出を行うことができる。
【００２７】
例えば前記した距離が短い場合、被写界深度を浅くすれば目的とした被写体を明確にする効果がある。また、被写体ごとの距離を参照してぼかし具合を決定することで画面一様の処理とは異なり演出の幅を広げることができる。例えば目的とした被写体が複数あって前記した距離が互いに異なる場合、被写界深度を深くすれば複数の被写体の多くを明確にする効果がある。
処理を行う以前の原画像は画像記録部３０１に保存されている。このためユーザーはこれらの処理を、異なる演出効果のもとで被写体を撮像した後に繰返し行うことができる。
また、第三信号処理部３０３は、図１における画像記録部１０９の後段につけても、静止画再生時に同様の効果が得られることは言うまでも無い。
【００２８】
次に、図６を用いて第三の実施例を説明する。
図６は、第三の実施例における撮像装置のブロック図であって、図４のブロック図に基準としたい被写体を決定する基準決定部６０１を新たに追加したものである。基準決定部６０１の出力はシステムコントロール部１０４の入力に接続されている。なお、基準決定部６０１は例えば、撮像装置のタッチパネル式の表示部（図示せず）に表示されたモニター画面上で、ユーザーが基準としたい被写体に触れることにより基準を決定すると良い。
【００２９】
第三信号処理部３０３内の顔領域算出部４０６に与えるシステムコントロール部１０４の出力４１０には、基準決定部６０１が出力した縦軸、横軸の座標を示す情報も与えられる。この情報は、映像信号４０１内に複数個存在する被写体の中で基準としたい被写体を選ぶために、映像信号中の該被写体の位置を示した情報である。顔領域算出部４０６は、算出した領域の中から基準決定部６０１が出力した縦軸、横軸の座標が含まれる領域を検索して、該当した算出領域には識別信号を印加して信号処理部４０７に出力する。信号処理部４０７は識別信号が印加された領域に対応して距離算出部４０５が出力する距離情報を基準として、被写体ごとに基準とした被写体との差分距離を算出する。この差分を用いて信号処理を施す。
【００３０】
以上の動作により撮影した装置から基準とした被写体までの距離と、他の被写体までの距離との差分を用いて差分値が大きくなるに従いソフトフォーカス効果を強くする信号処理を第三信号処理部３０３が施すことができ、たとえば選択した被写体を中心に被写界深度を浅くするといった効果のある信号処理を行うことができる。第三信号処理部３０３は、図１における画像記録部１０９の後段につけても同様の効果が得られることは言うまでも無い。
また、上記ではＪＰＥＧのＥxifファイルに記録する例を示したが、動画像の圧縮方式であるＭＰＥＧフォーマットを用いた動画ファイル等にも、状態情報を記録し、動画再生時に上記第三信号処理３０３にてリアルタイムで画像演出を施してもよい。このように前記した実施例に対して変更を加えた実施例を考えることができるが、いずれも本発明の範疇にある。
【００３１】
図７を用いて第四の実施例を説明する。
図７は、第四の実施例における信号処理部４０７のブロック図であり、図６における第三信号処理部３０３中の信号処理部４０７の一例を示したものである。
７０１は遅延部４１１の画像出力結果、７０２は距離算出部４０５の出力結果、７０３は顔領域算出部４０６の出力結果である。前記したように７０３には、顔または被写体の領域を示す出力と、その被写体が距離の基準とした被写体であるかを示す信号の２種類が含まれている。７０４は制御信号４１０にて設定された条件を距離算出部出力結果７０２が満たしているかを判定する距離判定部、７０５は制御信号４１０にて設定された拡大率を出力する拡大率選択部、７０６は例えばフィールドメモリのように画像出力結果７０１を保持する画像保持部である。７０７は、拡大率選択部７０５と、距離の基準とした被写体であるかを示す顔領域算出部出力結果７０３を用いて、画像保持部７０６から画像データを読み出す制御を行う第１の画像Ｗ／Ｒ制御部であり、拡大処理が希望の拡大率で、且つ、拡大中心が基準決定部６０１で決めた被写体になるように画像切り出し位置の変更や画像データの間欠読み出しを行う制御をする。
【００３２】
７０８は画像保持部７０６からの読み出しデータに拡大率選択部７０５から出力された拡大率にて拡大処理を行う画像拡大部、７０９は入力画像をフィールドメモリに上書きする画像合成保持部、７１０は画像合成保持部７０９のデータ書き込み、データ読み出しを制御する第２の画像Ｗ／Ｒ制御部である。７１１は画像合成保持部７０９への入力データを、顔または被写体の領域を示す顔領域算出部出力結果７０３に従って、画像拡大部７０８の出力画像と、画像合成保持部７０９の出力画像から選択する選択部である。７１２は撮像装置から距離の基準とした被写体までの距離と、撮像装置からその他の被写体との差分を算出する差分算出部、７１３はスイッチ部である。
【００３３】
接続について説明する。距離算出部出力結果７０２と、距離の基準とした被写体であるかを示す顔領域算出部出力結果７０３は、差分算出部７１２の入力に接続し、差分算出部７１２の出力と制御信号４１０は距離判定部７０４の入力に接続し、制御信号４１０は拡大率選択部７０５の入力に接続し、拡大率選択部７０５の出力と距離の基準とした被写体であるかを示す顔領域算出部出力結果７０３は第１の画像Ｗ／Ｒ制御部７０７の入力に接続し、第１の画像Ｗ／Ｒ制御部７０７の出力と遅延部画像出力結果７０１と顔または被写体の領域を示す顔領域算出部出力結果７０３は画像保持部７０６の入力に接続し、画像保持部７０６の画像出力と拡大率選択部７０５の出力は画像拡大部７０８の入力に接続し、画像保持部７０６から出力された顔または被写体の領域を示す出力は、スイッチ部７１３にて距離判定部７０４の出力にて接続、非接続を制御されて選択部７１１の一方の入力に接続し、また、画像合成保持部７０９の出力は選択部７１１の別の入力に接続し、選択部７１１の出力と第２の画像Ｗ／Ｒ制御部７１０の出力は画像合成保持部７０９の入力に接続し、第２の画像Ｗ／Ｒ制御部７１０の入力に制御信号４１０を接続している。
【００３４】
動作について説明する。本実施例は図６に示した実施例の第三信号処理部３０３中の信号処理部４０７（図４）の一例を示したものであり、それ以外の動作は先記実施例と同じであるためここでは割愛する。
まず、差分算出部７１２に距離の基準とした被写体までの距離を記憶させるため、図６のシステムコントロール部１０４は、画像記録部３０１で記録している映像信号と、状態データ記録部３０２で記録している視野角などの撮影環境データを読み出させ、さらに、基準決定部６０１にて決められた距離の基準とした被写体の位置情報信号を出力する。図４の距離算出部４０５は顔判定部４０４が顔と判定した被写体のすべてについて撮像装置から被写体までの距離を算出する。差分算出部７１２は、この算出結果の中から距離の基準とした被写体であるかを示す顔領域算出部出力結果７０３に基づき、距離の基準とした被写体までの距離を記憶する。
【００３５】
システムコントロール部１０４は、再び画像記録部３０１が記録している映像信号と、状態データ記録部３０２が記録している視野角などの撮影環境データを読み出させ、距離算出部４０５にて撮像装置からすべての被写体までの距離を算出させる。差分算出部７１２は、先ほど記憶した撮像装置から基準とした被写体までの距離と、撮像装置からすべての被写体までの距離の差分を個々に算出する。距離判定部７０４は、この差分量が制御信号４１０にて設定された条件を満たす場合にスイッチ部７１３をＯＮし、満たさない場合ＯＦＦするための信号を出力する。制御信号４１０にて設定された条件で３つ以上の場合分けを行うときは、場合分けの識別信号を出力する。
【００３６】
画像保持部７０６は、拡大率選択部７０５が出力する拡大率と距離の基準とした被写体であるかを示す顔領域算出部出力結果７０３に従い、第１の画像Ｗ／Ｒ制御部７０７によって読み出し制御を受け、拡大中心が基準決定部６０１で決めた被写体になるように画像切り出し位置の変更や画像データの間欠読み出しを行い、顔または被写体の領域を示す出力と保持した画像を出力する。読み出した画像は、画像拡大部７０８にて拡大処理を施される。この拡大画像は、画像拡大部７０８から選択部７１１を介して画像合成保持部７０９に供給される。この際、まず画像保持部７０６からの顔または被写体の領域を示す出力を、スイッチ部７１３において距離判定部７０４の出力でＯＮ／ＯＦＦ切換する。次いでスイッチ部７１３の出力で選択部７１１の接続を切換る。これにより、距離判定部７０４の出力が示す条件を満たす被写体の領域だけを選択して、前記拡大画像は画像拡大部７０８から画像合成保持部７０９に入力される。
【００３７】
この動作にて、特定の条件を満たす被写体のみに特定の拡大処理を施すことができる。例えば基準とした被写体より遠い被写体は拡大率１倍、基準とした被写体付近の被写体は拡大率１．５倍、基準とした被写体より近い被写体は２倍とするときは距離判定部７０４と拡大率選択部７０５への設定を変えながら、３回上記動作を繰り返す。なお、前記した特定の条件を満たさない被写体に対しては、画像合成保持部７０９の出力が選択部７１１を介して、再び画像合成保持部７０９に入力されるため、拡大処理を受けることはない。
【００３８】
図１１は、第四の実施例における制御を説明する図である。ここで、図１１を用いて画像切り出し位置の変更制御や画像データの間欠読み出し制御について説明する。
１１０１は有効画像枠、１１０２は拡大率２倍のときの拡大範囲、１１０３は距離の基準とした被写体の中心位置、１１０４は有効画像枠１１０１を画素単位で表した有効画像枠、１１０５は有効画像枠１１０４上での拡大率２倍のときの拡大範囲、１１０６は有効画像枠１１０４を構成する画素、１１０７は有効画像枠１１０４の１行を読み出すときの垂直同期信号、１１０８は拡大範囲１１０５からの読み出し信号、１１０９は読み出し信号１１０８を１行分遅延させた遅延信号、１１１０は読み出し信号１１０８と遅延信号１１０９から垂直２倍の拡大処理を施した拡大信号である。
【００３９】
説明の簡素化のため水平、垂直それぞれ２倍処理を行った場合を例にして説明する。拡大率選択部７０５は水平、垂直それぞれ２倍処理を行うデータを出力する。第１の画像Ｗ／Ｒ制御部７０７は、このデータと距離の基準とした被写体であるかを示す顔領域算出部出力結果７０３に基づき拡大範囲１１０２を生成する。拡大範囲１１０２は、距離の基準とした被写体の中心位置１１０３に左右、上下に拡大率に従った領域を持たせたものである。例えば、有効画像枠１１０１の幅をＷ＿Ａ、高さをＨ＿Ａ、拡大範囲１１０２の幅の１／２をＷ＿Ｂ、拡大範囲１１０２の高さの１／２をＨ＿ＢとするとＷ＿Ｂ、Ｈ＿Ｂは下記式で表すことができる。
【００４０】
Ｗ＿Ｂ ＝ Ｗ＿Ａ／２＊（１／拡大率）・・・ 数式（３）
Ｈ＿Ｂ ＝ Ｈ＿Ａ／２＊（１／拡大率）・・・ 数式（４）
このように中心位置と拡大率が決まれば拡大範囲も明確になる。次にこの拡大範囲からの信号読み出しについて説明する。第１の画像Ｗ／Ｒ制御部７０７は、上記した数式（３）と（４）で決まった拡大範囲１１０５から、読み出し信号１１０８に示すように垂直２倍に合わせて１行分のデータを２回読み出す制御を行う。読み出し信号１１０８は、画像拡大部７０８内に具備している例えばラインメモリに代表される遅延手段によって１ライン分遅延処理され、遅延信号１１０９となる。
画像拡大部７０８は、遅延信号１１０９と読み出し信号１１０８から２倍の拡大処理を下記の式に従い行い、拡大信号１１１０を生成する。
【００４１】
２倍の拡大信号 ＝（遅延信号１１０９＋読み出し信号１１０８）／２
・・・ 数式（５）
ここでは垂直の２倍処理について説明したが、水平の２倍処理も同様の考え方で実現できる。１画素のデータを２回読み出す制御を行うこととなり、上記数式（５）を画素の考え方に変えることで対応できるため、説明は割愛する。
上記の動作により撮像装置から被写体までの距離に従い、拡大率を変える制御を行うことができ、しかも、基準となる被写体を中心から遠くなるほど拡大率を小さく、近くなるほど拡大率を大きくすることで、画面全体を同一の拡大率で拡大処理した画像とは異なり、あたかも基準となる被写体に近づいているような臨場感のある連続写真を作成する機能を実現することができる。本機能は撮像装置から被写体までの距離が明確になったことで初めて可能となるものである。
【００４２】
図８を用いて第五の実施例を説明する。
図８は、第五の実施例における信号処理部４０７のブロック図であり、図６における第三信号処理部３０３中の信号処理部４０７の一例を示し、図７とは異なる実施例である。
８０１は距離判定部７０４の出力に従い制御信号４１０にて予め設定されている複数の明度ゲインデータの中からひとつを選択する明度選択部、８０２は明度選択部８０１と顔または被写体の領域を示す顔領域算出部出力結果７０３の出力にて画像出力結果７０１に乗じる係数を生成する係数生成部、８０３は係数生成部８０２が出力した係数を画像出力結果７０１に乗じる乗算部である。
【００４３】
接続について説明する。距離算出部出力結果７０２と距離の基準とした被写体であるかを示す顔領域算出部出力結果７０３の信号は差分算出部７１２の入力に接続し、差分算出部７１２の出力と制御信号４１０は距離判定部７０４の入力に接続し、距離判定部７０４の出力と制御信号４１０は明度選択部８０１の入力に接続し、明度選択部８０１の出力と顔または被写体の領域を示す顔領域算出部出力結果７０３の出力は係数生成部８０２の入力に接続し、係数生成部８０２の出力と画像出力結果７０１は乗算部８０３の入力に接続している。
【００４４】
動作について説明する。本実施例は図６における実施例の第三信号処理部３０３中の信号処理部４０７（図４）の一例を示したものであるため、それ以外の動作は先記実施例と同じであるためここでは割愛する。
まず、差分算出部７１２に距離の基準とした被写体までの距離を記憶させるため、図６のシステムコントロール部１０４は、画像記録部３０１から記録している映像信号と、状態データ記録部３０２から記録している視野角などの撮影環境データを読み出させ、基準決定部６０１にて決められた基準とした被写体の位置情報信号を出力する。図４の距離算出部４０５は顔判定部４０４が顔と判定した被写体のすべてについて撮像装置から被写体までの距離を算出する。差分算出部７１２は、この算出結果の中から距離の基準とした被写体であるかを示す顔領域算出部出力結果７０３の信号に基づき、距離の基準とした被写体までの距離を記憶する。
【００４５】
再び画像記録部３０１から記録している映像信号と、状態データ記録部３０２から記録している視野角などの撮影環境データを読み出し、撮像装置からすべての被写体までの距離を算出する。差分算出部７１２は、先ほど記憶した撮像装置から基準とした被写体までの距離と、撮像装置からすべての被写体までの距離の差分を算出する。距離判定部７０４は、この差分量が制御信号４１０にて設定された条件を満たすか否かを示す識別信号を出力する。制御信号４１０にて設定された条件で３つ以上の場合分けを行うときは、場合分けの識別信号を出力する。
【００４６】
明度選択部８０１は、距離判定部７０４の出力に従い予め制御信号４１０にて設定された明度ゲインデータの中からひとつを選択する。係数生成部８０２は、明度選択部８０１と顔または被写体の領域を示す顔領域算出部出力結果７０３に基づき、特定の被写体の領域だけ輝度、あるいは色信号に乗じる特定のゲインを出力し、その他の領域のゲインは１倍を示す値を出力する。乗算部８０３は画像出力結果７０１の輝度、あるいは色信号に係数生成部８０２の出力する係数を乗じる。
上記の動作により撮像装置から被写体までの距離に従い、明度を変える制御を行うことができ、しかも、基準となる被写体を中心に遠くなるほど明度ゲインデータを小さく、近くなるほど明度ゲインデータを大きくすることで、画面全体を同一の明度ゲインデータで信号処理した画像とは異なり、新しい方法にて遠近感を表現する連続写真を作成する機能を実現することができる。本機能は撮像装置から被写体までの距離が明確になったことで初めて可能となったものである。
【００４７】
また、基準とした被写体の明度を予め検出し、その結果を元に基準とした被写体よりも遠方の被写体や、近方の被写体の明度ゲインデータを数式に則り算出する方法であっても同様の効果が得られる。
図９を用いて第六の実施例を説明する。
図９は、第六の実施例における信号処理部４０７のブロック図であり、図６における第三信号処理部３０３中の信号処理部４０７の一例を示し、図７、図８とは異なる実施例である。
【００４８】
９０１は顔または被写体の領域を示す顔領域算出部出力結果７０３の出力を用いて、画像出力結果７０１の中から各被写体ごとの鮮明度を高周波成分の信号量にて計測する鮮明度抽出部、９０２は距離算出部４０５の出力７０２と鮮明度抽出部９０１の出力から鮮明度の一番高い被写体の鮮明度、一番遠方の被写体の鮮明度、一番近方の被写体の鮮明度、距離の基準とした被写体の鮮明度、それぞれの被写体と撮像装置までの距離を記憶する鮮明度記憶部、９０３は鮮明度記憶部９０２が記憶した情報から、各被写体の鮮明度を補正するデータを算出する鮮明度補正データ算出部、９０４は鮮明度補正データ算出部９０３と距離判定部７０４の出力と顔または被写体の領域を示す顔領域算出部出力結果７０３の出力から各被写体に対応した鮮明度補正データを選択する鮮明度補正データ選択部、９０５は鮮明度補正データ選択部９０４の出力に基づき、画像出力結果７０１の被写体に鮮明度を上げる、または下げる処理を行う鮮明度調整部である。
【００４９】
接続について説明する。距離算出部出力結果７０２と距離の基準とした被写体であるかを示す顔領域算出部出力結果７０３は差分算出部７１２の入力に接続し、差分算出部７１２の出力と制御信号４１０は距離判定部７０４の入力に接続し、画像出力結果７０１と顔または被写体の領域を示す顔領域算出部出力結果７０３は鮮明度抽出部９０１の入力に接続し、鮮明度抽出部９０１の出力と距離算出部出力結果７０２は鮮明度記憶部９０２の入力に接続し、鮮明度記憶部９０２の出力は鮮明度補正データ算出部９０３の入力に接続し、距離判定部７０４の出力と制御信号４１０と距離の基準とした被写体であるかを示す顔領域算出部出力結果７０３と鮮明度補正データ算出部９０３の出力は鮮明度補正データ選択部９０４の入力に接続し、鮮明度補正データ選択部９０４の出力と画像出力結果７０１は鮮明度調整部９０５の入力に接続している。
【００５０】
動作について説明する。本実施例は図６における実施例の第三信号処理部３０３中の信号処理部４０７（図４）の一例を示したものであるため、それ以外の動作は先記実施例と同じであるためここでは割愛する。
まず、差分算出部７１２に距離の基準とした被写体までの距離を記憶させるため、図６のシステムコントロール部１０４は、画像記録部３０１から記録している映像信号と、状態データ記録部３０２から記録している視野角などの撮影環境データを読み出させ、基準決定部６０１にて決められた基準とした被写体の位置情報信号を出力する。図４の距離算出部４０５は顔判定部４０４が顔と判定した被写体のすべてについて撮像装置から被写体までの距離を算出する。差分算出部７１２は、この算出結果の中から顔領域算出部出力結果７０３の距離の基準とした被写体であるかを判別する信号に基づき、距離の基準とした被写体までの距離を記憶する。
【００５１】
それと同時に鮮明度抽出部９０１は、顔または被写体の領域を示す顔領域算出部出力結果７０３を用いて、すべての顔または被写体の鮮明度を抽出する。鮮明度は例えばサンプリング周波数の１／２の周波数を通過させるバンド・パス・フィルタ（以下ＢＰＦとする）の出力を積分した結果で表すことができる。その結果、鮮明度の一番高い被写体の鮮明度と距離算出部４０５が算出した距離７０２、一番遠方の被写体の鮮明度と距離算出部４０５が算出した距離７０２、一番近方の被写体の鮮明度と距離算出部４０５が算出した距離７０２、距離の基準とした被写体の鮮明度と距離算出部４０５が算出した距離７０２という４種類の被写体の情報が抽出できる。鮮明度記憶部９０２はこの４種類の被写体の情報を記憶する。
【００５２】
再び画像記録部３０１で記録している映像信号と、状態データ記録部３０２で記録している視野角などの撮影環境データを読み出し、撮像装置からすべての被写体までの距離を算出する。差分算出部７１２は、先ほど記憶した撮像装置から距離の基準とした被写体までの距離と、撮像装置からすべての被写体までの距離の差分を算出する。距離判定部７０４は、この差分量が制御信号４１０にて設定された条件を満たすか否かを示す識別信号を出力する。制御信号４１０にて設定された条件で３つ以上の場合分けを行うときは、場合分けの識別信号を出力する。鮮明度補正データ算出部９０３は、鮮明度記憶部９０２が記憶した４種類の被写体の情報から、距離の基準とした被写体の鮮明度が一番高くなるように鮮明度を上げる補正を行うデータを算出する。他の被写体は差分算出部７１２の出力にしたがって鮮明度を下げる補正を行うデータを算出する。
【００５３】
この際、距離判定部７０４は差分算出部７１２の出力を複数のグループに区切り、算出された差分がどこのグループに属するかを判定し、識別信号を出力する。鮮明度補正データ選択部９０４は、識別信号を用いて鮮明度補正データ算出部９０３が出力した複数の補正データからひとつを選択し、鮮明度調整部９０５に入力する。鮮明度調整部９０５は、鮮明度補正データ選択部９０４の出力に従い、画像出力結果７０１に鮮明度調整処理を施す。鮮明度補正データが鮮明度を上げるものであった場合、例えば画像出力結果７０１にエッジ強調処理を十分に施した画像ともとの画像出力結果７０１との混合比を変えることで鮮明度を上げ、逆に鮮明度補正データが鮮明度を下げるものであった場合、例えば画像出力結果７０１にロー・パス・フィルタ（以下ＬＰＦとする）を施した画像ともとの画像出力結果７０１との混合比を変えることで鮮明度を下げる。
【００５４】
図１０は、第六の実施例における制御を説明する図である。ここで図１０を用いて鮮明度補正データ算出部９０３、差分算出部７１２、距離判定部７０４の動作を詳しく説明する。
図１０において、１００１は撮像装置、１００２は最も近い被写体、１００３は最も鮮明度の高い被写体、１００４は距離の基準とした被写体、１００５は最も遠くの被写体であり、横軸は撮像装置１００１からの距離を示す。１００６は画像出力結果７０１の鮮明度抽出部９０１の結果を縦軸とって示した鮮明度曲線、１００７は距離の基準とした被写体１００４を一番鮮明度が高くなるようにしたときの鮮明度直線、１００８は距離判定部７０４が出力する距離の基準とした被写体１００４から等間隔で区切った領域、１００９は鮮明度補正データ選択部の出力であり、鮮明度を上げるデータを＋鮮明度データ、鮮明度を下げるデータを−鮮明度データ、それぞれの強度を大、中、小、補正なしで表している。
【００５５】
画像出力結果７０１の鮮明度抽出部９０１の結果は鮮明度曲線１００６に示す通りとする。このとき、距離の基準とした被写体１００４よりも被写体１００３の鮮明度が高く、距離の基準とした被写体１００４はピントがぼけている状態である。ここで鮮明度補正データ算出部９０３は、最も近い被写体１００２と最も鮮明度の高い被写体１００３と最も遠くの被写体１００５のそれぞれの鮮明度と、距離の基準とした被写体１００４の位置から、鮮明度直線１００７に示すように距離の基準とした被写体１００４の鮮明度を一番高くする特性を算出する。その算出結果を距離判定部７０４が出力する領域１０８内で平均をとり、鮮明度補正データ選択部９０４の出力とする。
【００５６】
上記の動作により撮像装置から被写体までの距離に基づき、鮮明度を変える制御を行うことができ、しかも、基準となる被写体を中心に遠くなるほど鮮明度下げ、近くなるほど鮮明度を上げることができるため、画面全体を同一の鮮明度向上処理で信号処理した画像とは異なり、新たにフォーカスを取り直したような連続写真を作成する機能を実現することができる。本機能は撮像装置から被写体までの距離が明確になったことで初めて可能となるものである。
【符号の説明】
【００５７】
１０１：レンズ、１０２：センサ、１０３：第一信号処理部、１０４：システムコントロール部、１０５：レンズ制御部、１０６：受光部、１０７：発光部、１０８：赤外線受発光部、１０９：画像記憶部、１１１：画像ファイル生成部、１１２：第一信号処理部１０３の出力、１１３：絞り、１１４：絞り制御部、２０１：ブロック分割部、２０２：ＹＣｒＣＢ変換部、２０３：ＤＣＴ部、２０４：一様量子化部、２０５：１次元ＤＣ予測部、２０６：エントロピー符号化部、２０７：撮影状態を示すデータ、３０１：画像記録部、３０２：状態データ記録部、３０３：第三信号処理、３０４：画像出力部、４０１：映像信号、４０２：二値化部、４０３：データベース、４０４：顔判定部、４０５：距離算出部、４０６：顔領域算出部、４０７：信号処理部、４０９：状態データ、４１０：制御信号、４１１：遅延部、５０１：撮像装置、５０２：被写体、５０３：視野角θ、５０４：撮影した静止画、６０１：基準決定部、７０１：画像出力結果、７０２：距離算出部４０５の出力結果、７０３：顔領域算出部４０６の出力結果、７０４：距離判定部、７０５：拡大率選択部、７０６：画像保持部、７０７：第１の画像Ｗ／Ｒ制御部、７０８：画像拡大部、７０９：画像合成保持部、７１０：第２の画像Ｗ／Ｒ制御部、７１１：選択部、７１２：差分演算部、７１３：スイッチ部、８０１：明度選択部、８０２：係数生成部、８０３：乗算部、９０１：鮮明度抽出部、９０２：鮮明度記憶部、９０３：鮮明度補正データ算出部、９０４：鮮明度補正データ選択部、９０５：鮮明度調整部、１００１：撮像装置、１００２：最も近い被写体、１００３：最も鮮明度の高い被写体、１００４：距離の基準とした被写体、１００５：最も遠くの被写体、１００６：鮮明度曲線、１００７：鮮明度直線、１００８：等間隔で区切った領域、１００９：鮮明度補正データ選択部の出力、１１０１：有効画像枠、１１０２：拡大率２倍のときの拡大範囲、１１０３：距離の基準とした被写体の中心位置、１１０４：画素単位で表した有効画像枠、１１０５：有効画像枠１１０４上での拡大率２倍のときの拡大範囲、１１０６：有効画像枠１１０４を構成する画素、１１０７：垂直同期信号、１１０８：読み出し信号、１１０９：遅延信号、１１１０：拡大信号。
【特許請求の範囲】
【請求項１】
被写体を撮像して記録するための信号処理装置であって、
前記被写体からの光を集光するレンズと、
該レンズが集光した光が照射され該光を変換して映像信号を生成する光電変換部と、
該光電変換部が生成した前記映像信号に対し所定の信号処理を行って出力する第１の信号処理部と、
前記被写体が撮像された際の前記レンズの視野角に係るデータを抽出する視野角抽出部と、
該視野角抽出部が抽出したデータ及び前記第１の信号処理部が出力した映像信号を記録する画像記録部と、
前記第１の信号処理部が出力した映像信号又は前記画像記録部から読み出された前記映像信号に基づき、前記映像信号が含む画像より距離の基準とする被写体を決定する基準決定部と、
該基準決定部で決定された被写体と前記信号処理装置の間の距離及び前記画像が含む他の被写体と前記信号処理装置の間の距離を前記視野角抽出部が抽出したデータ又は前記画像記録部から読み出された視野角に係るデータに基づいて算出し、双方の前記距離の差を算出する差分算出部と、
該差分算出部が算出した前記距離の差に基づき前記第１の信号処理部が出力した映像信号又は前記画像記録部から読み出された前記映像信号に対して所定の信号処理を行って出力する第２の信号処理部を有し、
該第２の信号処理部は、
前記差分算出部が算出した前記距離の差に基づき、前記基準決定部で決定された被写体と前記画像が含む他の被写体に対して互いに異なる倍率で拡大処理した映像信号を出力することを特徴とする信号処理装置。
【請求項２】
被写体を撮像して記録するための信号処理装置であって、
前記被写体からの光を集光するレンズと、
該レンズが集光した光が照射され該光を変換して映像信号を生成する光電変換部と、
該光電変換部が生成した前記映像信号に対し所定の信号処理を行って出力する第１の信号処理部と、
前記被写体が撮像された際の前記レンズの視野角に係るデータを抽出する視野角抽出部と、
該視野角抽出部が抽出したデータ及び前記第１の信号処理部が出力した映像信号を記録する画像記録部と、
前記第１の信号処理部が出力した映像信号又は前記画像記録部から読み出された前記映像信号に基づき、前記映像信号が含む画像より距離の基準とする被写体を決定する基準決定部と、
該基準決定部で決定された被写体と前記信号処理装置の間の距離及び前記画像が含む他の被写体と前記信号処理装置の間の距離を前記視野角抽出部が抽出したデータ又は前記画像記録部から読み出された視野角に係るデータに基づいて算出し、双方の前記距離の差を算出する差分算出部と、
該差分算出部が算出した前記距離の差に基づき前記第１の信号処理部が出力した映像信号又は前記画像記録部から読み出された前記映像信号に対して所定の信号処理を行って出力する第２の信号処理部を有し、
該第２の信号処理部は、
前記差分算出部が算出した前記距離の差に基づき、前記基準決定部で決定された被写体と前記画像が含む他の被写体に対して互いに異なる明度で明度調整処理した映像信号を出力することを特徴とする信号処理装置。
【請求項３】
被写体を撮像して記録するための信号処理装置であって、
前記被写体からの光を集光するレンズと、
該レンズが集光した光が照射され該光を変換して映像信号を生成する光電変換部と、
該光電変換部が生成した前記映像信号に対し所定の信号処理を行って出力する第１の信号処理部と、
前記被写体が撮像された際の前記レンズの視野角に係るデータを抽出する視野角抽出部と、
該視野角抽出部が抽出したデータ及び前記第１の信号処理部が出力した映像信号を記録する画像記録部と、
前記第１の信号処理部が出力した映像信号又は前記画像記録部から読み出された前記映像信号に基づき、前記映像信号が含む画像より距離の基準とする被写体を決定する基準決定部と、
該基準決定部で決定された被写体と前記信号処理装置の間の距離及び前記画像が含む他の被写体と前記信号処理装置の間の距離を前記視野角抽出部が抽出したデータ又は前記画像記録部から読み出された視野角に係るデータに基づいて算出し、双方の前記距離の差を算出する差分算出部と、
該差分算出部が算出した前記距離の差に基づき前記第１の信号処理部が出力した映像信号又は前記画像記録部から読み出された前記映像信号に対して所定の信号処理を行って出力する第２の信号処理部を有し、
該第２の信号処理部は、
前記該差分算出部が算出した前記距離の差に基づき、前記基準決定部で決定された被写体に対して前記画像が含む他の被写体よりも高い鮮明度を与えるよう鮮明度調整処理した映像信号を出力することを特徴とする信号処理装置。
【請求項１】
被写体を撮像して記録するための信号処理装置であって、
前記被写体からの光を集光するレンズと、
該レンズが集光した光が照射され該光を変換して映像信号を生成する光電変換部と、
該光電変換部が生成した前記映像信号に対し所定の信号処理を行って出力する第１の信号処理部と、
前記被写体が撮像された際の前記レンズの視野角に係るデータを抽出する視野角抽出部と、
該視野角抽出部が抽出したデータ及び前記第１の信号処理部が出力した映像信号を記録する画像記録部と、
前記第１の信号処理部が出力した映像信号又は前記画像記録部から読み出された前記映像信号に基づき、前記映像信号が含む画像より距離の基準とする被写体を決定する基準決定部と、
該基準決定部で決定された被写体と前記信号処理装置の間の距離及び前記画像が含む他の被写体と前記信号処理装置の間の距離を前記視野角抽出部が抽出したデータ又は前記画像記録部から読み出された視野角に係るデータに基づいて算出し、双方の前記距離の差を算出する差分算出部と、
該差分算出部が算出した前記距離の差に基づき前記第１の信号処理部が出力した映像信号又は前記画像記録部から読み出された前記映像信号に対して所定の信号処理を行って出力する第２の信号処理部を有し、
該第２の信号処理部は、
前記差分算出部が算出した前記距離の差に基づき、前記基準決定部で決定された被写体と前記画像が含む他の被写体に対して互いに異なる倍率で拡大処理した映像信号を出力することを特徴とする信号処理装置。
【請求項２】
被写体を撮像して記録するための信号処理装置であって、
前記被写体からの光を集光するレンズと、
該レンズが集光した光が照射され該光を変換して映像信号を生成する光電変換部と、
該光電変換部が生成した前記映像信号に対し所定の信号処理を行って出力する第１の信号処理部と、
前記被写体が撮像された際の前記レンズの視野角に係るデータを抽出する視野角抽出部と、
該視野角抽出部が抽出したデータ及び前記第１の信号処理部が出力した映像信号を記録する画像記録部と、
前記第１の信号処理部が出力した映像信号又は前記画像記録部から読み出された前記映像信号に基づき、前記映像信号が含む画像より距離の基準とする被写体を決定する基準決定部と、
該基準決定部で決定された被写体と前記信号処理装置の間の距離及び前記画像が含む他の被写体と前記信号処理装置の間の距離を前記視野角抽出部が抽出したデータ又は前記画像記録部から読み出された視野角に係るデータに基づいて算出し、双方の前記距離の差を算出する差分算出部と、
該差分算出部が算出した前記距離の差に基づき前記第１の信号処理部が出力した映像信号又は前記画像記録部から読み出された前記映像信号に対して所定の信号処理を行って出力する第２の信号処理部を有し、
該第２の信号処理部は、
前記差分算出部が算出した前記距離の差に基づき、前記基準決定部で決定された被写体と前記画像が含む他の被写体に対して互いに異なる明度で明度調整処理した映像信号を出力することを特徴とする信号処理装置。
【請求項３】
被写体を撮像して記録するための信号処理装置であって、
前記被写体からの光を集光するレンズと、
該レンズが集光した光が照射され該光を変換して映像信号を生成する光電変換部と、
該光電変換部が生成した前記映像信号に対し所定の信号処理を行って出力する第１の信号処理部と、
前記被写体が撮像された際の前記レンズの視野角に係るデータを抽出する視野角抽出部と、
該視野角抽出部が抽出したデータ及び前記第１の信号処理部が出力した映像信号を記録する画像記録部と、
前記第１の信号処理部が出力した映像信号又は前記画像記録部から読み出された前記映像信号に基づき、前記映像信号が含む画像より距離の基準とする被写体を決定する基準決定部と、
該基準決定部で決定された被写体と前記信号処理装置の間の距離及び前記画像が含む他の被写体と前記信号処理装置の間の距離を前記視野角抽出部が抽出したデータ又は前記画像記録部から読み出された視野角に係るデータに基づいて算出し、双方の前記距離の差を算出する差分算出部と、
該差分算出部が算出した前記距離の差に基づき前記第１の信号処理部が出力した映像信号又は前記画像記録部から読み出された前記映像信号に対して所定の信号処理を行って出力する第２の信号処理部を有し、
該第２の信号処理部は、
前記該差分算出部が算出した前記距離の差に基づき、前記基準決定部で決定された被写体に対して前記画像が含む他の被写体よりも高い鮮明度を与えるよう鮮明度調整処理した映像信号を出力することを特徴とする信号処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１３−９８８２７（Ｐ２０１３−９８８２７Ａ）
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願番号】特願２０１１−２４１０６９（Ｐ２０１１−２４１０６９）
【出願日】平成２３年１１月２日（２０１１．１１．２）
【出願人】（５０９１８９４４４）日立コンシューマエレクトロニクス株式会社 (998)
【Ｆターム（参考）】
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願日】平成２３年１１月２日（２０１１．１１．２）
【出願人】（５０９１８９４４４）日立コンシューマエレクトロニクス株式会社 (998)
【Ｆターム（参考）】
[ Back to top ]