画像処理装置、画像処理方法及びプログラム
【課題】難しい調整を行うことなく、１台のカメラや光源を用いて撮像された画像データから、その奥行き情報を取得して利用できる画像処理装置を提供する。
【解決手段】少なくとも可視光領域の波長成分を含む対象画像データに含まれる波長成分のうち、第１波長成分と、第１波長成分とは異なる第２波長成分の特徴量をそれぞれ算出し、算出された前記特徴量の差分を算出する差分算出部１０６と、差分の絶対値が大きいほど、強いぼかし加工を対象画像データに施す画像加工部１０８とを備える画像処理装置２００。
【解決手段】少なくとも可視光領域の波長成分を含む対象画像データに含まれる波長成分のうち、第１波長成分と、第１波長成分とは異なる第２波長成分の特徴量をそれぞれ算出し、算出された前記特徴量の差分を算出する差分算出部１０６と、差分の絶対値が大きいほど、強いぼかし加工を対象画像データに施す画像加工部１０８とを備える画像処理装置２００。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体の奥行き情報を取得して画像処理を行う画像処理装置に関する。
【背景技術】
【０００２】
従来、カメラを用いた撮影画像の３次元情報（すなわち、撮影画像の奥行き情報）を取得する方法としては、複数のカメラを用いて異なる視点より撮影された画像を用いて３次元情報を取得するものが知られている。
【０００３】
例えば２台のカメラを人間の目の視差に相当する視点の画像が得られるように横に並べ、この２台のカメラで同時に撮影した２枚の画像から３次元情報（奥行き情報）を取得する方法が知られている。
【０００４】
また、被写体撮影用とは別に距離を計測するための可視光領域外の光を照射し、被写体からの反射光を可視光領域外の光と可視光領域の光とに分離し、可視光領域外の光の強度によって距離を取得するものも知られている（例えば、特許文献１参照）。
【０００５】
図１２は、特許文献１に記載された３次元情報検出装置のブロック図である。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−４５２６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来から知られてきた２台のカメラを用いる方法では、装置が大型化するという課題があった。
【０００８】
また、図１２に示されるような３次元情報を取得する方法でも、照射可能な波長の種類が異なる複数の光源が必要であるため、装置が比較的大型になることに加え、その調整が難しいという課題を有していた。
【０００９】
その結果、画像処理装置の消費電力も多くならざるを得なかった。
【００１０】
本発明は、こうした従来の課題を解決するもので、難しい調整を行うことなく、１台のカメラや光源を用いて撮像された画像データから、その奥行き情報を取得して画像処理に利用できる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記の課題を解決するために、本発明のある局面に係る画像処理装置は、少なくとも可視光領域の波長成分を含む対象画像データに対して、遠近感を強調する処理を施す画像処理装置であって、前記対象画像データは複数の領域を有しており、前記画像処理装置は、前記複数の領域に含まれる第１の領域に含まれる波長成分のうち、第１波長成分と、前記第１波長成分とは異なる第２波長成分の特徴量をそれぞれ算出し、算出された前記特徴量の差分を算出する差分算出部と、前記差分の絶対値が大きいほど、強いぼかし加工を前記第１の領域に施す画像加工部とを備える。
【００１２】
この構成によると、１台のカメラや光源を用いて、異なる波長成分からなる複数の画像データを撮像し、これらの画像データから、差分算出部がその波長の差に起因して画像の奥行き情報に対応付けられる特徴量の差を算出することで、画像の奥行き情報を取得することができる。
【００１３】
その結果、カメラや光源等、構成要素が従来と比較して少ないために、小型であり、電力消費量を抑え、操作が簡易な画像処理装置を実現することができる。
【００１４】
具体的には、前記第１波長成分は、Ｒ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）のうちのいずれかの可視光領域に対応する波長成分であり、前記第２波長成分は、紫外線領域に対応する波長成分としてもよい。
【００１５】
より具体的には、前記特徴量は、前記第１波長成分及び前記第２波長成分の各々の画像の高周波数成分の量としてもよい。
【００１６】
また、前記画像加工部は、前記対象画像データを離散コサイン変換することにより得られる変換係数を、前記差分の絶対値が大きいほど大きな量子化幅で量子化することにより、前記対象画像データにぼかし加工を施してもよい。
【００１７】
なお、前記画像加工部は、前記対象画像データに対して、前記差分の絶対値が大きいほど、対象ブロック内の画素値の分散が大きくなるように作用する平滑化フィルタを施すことにより、前記対象画像データにぼかし加工を施してもよい。
【００１８】
また、さらに、前記特徴量の差分に前記対象画像データが撮像された際の焦点距離に応じて定まる変換係数を乗ずることにより、前記特徴量の差分から対象画像の奥行き情報に対応する距離情報を算出する距離情報算出部を備えており、前記画像加工部は、前記距離情報で示される距離が長いほど、強いぼかし加工を前記対象画像データに施してもよい。
【００１９】
また、さらに、前記対象画像データの色収差を補正する画像補正部と、前記補正後の対象画像データを記憶する画像データ記憶部とを備えており、前記差分算出部は、前記画像データ記憶部に記憶されている補正後の前記対象画像データを用いて、前記特徴量の差分を算出してもよい。
【００２０】
また、さらに、前記第１波長成分のみを透過させるフィルタと、前記第２波長成分のみを透過させるフィルタとを備えた撮像部を有する取得部を備えており、前記取得部は、前記撮像部により撮像された前記対象画像データの前記第１波長成分及び前記第２波長成分を取得し、前記差分算出部は、前記取得部によって取得された前記第１波長成分及び前記第２波長成分の前記特徴量及びその差分を算出してもよい。
【００２１】
本発明の他の局面に係る画像処理装置は、さらに、前記第１波長成分及び前記第２波長成分を含む画像データを前記対象画像データとして取得する画像入力部と、前記対象画像データから、前記第１波長成分及び前記第２波長成分をそれぞれ分離する分離部とを有する取得部を備えており、前記差分算出部は、前記分離部から取得した前記第１波長成分及び前記第２波長成分の前記特徴量及びその差分を算出する。
【００２２】
この構成によれば、撮像装置から直接画像データを取得する場合以外にも、ＨＤＤ（Hard Disk Drive）内の画像ファイル等、外部の画像データを取得し、奥行き情報を取得し、奥行き感を強調した画像を生成することができる。その結果、撮像部により撮像するタイミングに依存することなく、必要に応じて画像加工部で奥行き感のある画像を生成することが可能となる。また、撮像装置を省き、例えばＰＣ（Personal Computer）上で動作するコンピュータソフトウェアとして画像処理装置を実装することにより、画像処理装置を小型化・省コスト化することが可能となる。さらに、差分算出部や距離情報算出部のように計算コストが高い処理の実行タイミングを、取得部のようにリアルタイム性が要求される処置とずらすことで、画像処理装置に要求される計算処理能力を抑えつつ、快適な操作を実現することができる。
【００２３】
本発明の他の局面に係る画像処理装置は、さらに、符号化部を備えており、前記画像加工部は、前記対象画像データを離散コサイン変換した後に、前記差分の絶対値が大きいほど、大きな量子化幅を用いて前記離散コサイン変換で得られた変換係数を量子化し、前記符号化部は、前記量子化された変換係数を符号化する。
【００２４】
この構成によれば、量子化ブロックに含まれる特徴量ブロックごとの、距離情報算出部により算出された距離情報の割合から、量子化幅の大きさを決定することで、取得した奥行き情報を用いて、最終的な画像データに割り当てられる符号量を削減し、かつ、奥行き感を強調した画像データを得ることができる。その結果、対象画像データの保存や伝達コストを抑えるメリットが生じる。
【００２５】
また、複数のカメラ（撮像装置）や距離を計測する専用の装置を付加することなく距離情報を取得するため、コスト増加を最小限に抑えながら奥行き感のある画像を生成することができる。また、画像処理装置の小型化・省エネ化も可能となる。
【発明の効果】
【００２６】
難しい調整を行うことなく、１台のカメラや光源を用いて撮像された画像データから、その奥行き情報を取得して利用できる画像処理装置を提供することができる。
【図面の簡単な説明】
【００２７】
【図１】図１は、本発明の実施の形態１〜３にかかる画像処理装置を用いて対象画像データの遠近感を強調する処理のイメージ図である。
【図２】図２は、本発明の実施の形態１における画像処理装置のブロック図である。
【図３】図３は、異なる波長の画像イメージを示す図である。
【図４】図４は、本発明の実施の形態１における画像処理装置の処理の流れを示すフローチャートである。
【図５】図５は、本発明の実施の形態１の変形例における画像処理装置のブロック図である。
【図６】図６は、本発明の実施の形態２における画像処理装置のブロック図である。
【図７】図７は、本発明の実施の形態３における画像処理装置のブロック図である。
【図８】図８は、本実施の形態において、距離の異なる特徴量ブロックを含む量子化ブロックの量子化幅を決定する処理を説明する図である。
【図９】図９は、本発明の実施の形態３の変形例における画像処理装置のブロック図である。
【図１０】図１０は、本発明の実施の形態１〜３における画像処理装置を実現するコンピュータシステムの一例を示す外観図である。
【図１１】図１１は、本発明の実施の形態１〜３における画像処理装置のハードウェア構成の一例を示す図である。
【図１２】図１２は、従来技術による３次元情報検出装置のブロック図である。
【発明を実施するための形態】
【００２８】
以下本発明の実施の形態について、図面を参照しながら説明する。
【００２９】
（実施の形態１）
図１は、本発明のある局面にかかる画像処理装置２００を用いて対象画像データの遠近感を強調する処理のイメージ図である。
【００３０】
図１（ａ）に示される対象画像データに対して、画像処理装置２００による画像処理を施すと、図１（ｂ）に示されるように遠近感がより強調された画像データが得られる。
【００３１】
典型的には、画像処理装置２００はデジタルカメラの内部に組み込まれたＣＰＵ（Central Processing Unit）で実行されるプログラムとして、又は、ＰＣ（Personal Computer）上の画像処理ソフトウェア等として実現される。
【００３２】
図２は、本発明の実施の形態１における画像処理装置２００の構成を示すブロック図である。
【００３３】
図２に示されるように、画像処理装置２００は、取得部２０２と、画像補正部２０１と、差分算出部１０６と、距離情報算出部１０７と、画像加工部１０８と、出力部１０９と、フォーカス処理部１１０と、制御部１１１とを備える。
【００３４】
取得部２０２は、遠近感を付与する対象画像データを取得する処理部である。
【００３５】
より詳しくは、取得部２０２は、撮像部１０１と、可視画像処理部１０４と、紫外画像処理部１０２とを備える。
【００３６】
撮像部１０１は可視光領域を含む複数の異なる波長の光を受光し、各波長の光による画像データを出力する。
【００３７】
本実施の形態における撮像部１０１は、可視光領域に加え、可視光領域外（例えば、紫外線領域）の波長の光を受光し、これらの波長成分に対応する電気信号を出力する。
【００３８】
より具体的には、撮像部１０１は、１画素に対応する撮像素子の受光部の前面に、（１）可視光領域の赤色光のみを透過させるフィルタと、（２）可視光領域の青色光のみを透過させるフィルタと、（３）可視光領域の緑色光のみを透過させるフィルタと、（４）紫外線領域の光のみを透過させるフィルタとを備えている。
【００３９】
よって、撮像部１０１は、同一画素につき（１）〜（４）の４つの波長成分ごとの電気信号を出力することができる。
【００４０】
撮像部１０１から出力される各波長成分に対応した電気信号の内、可視光領域に対応する電気信号は、可視画像処理部１０４によって１画素Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３つの波長成分をそれぞれ含む画像データへ変換される。
【００４１】
一方、紫外線領域に対応する電気信号は、紫外画像処理部１０２によって、同様に、紫外線領域の波長成分を含む画像データへ変換される。
【００４２】
すなわち、取得部２０２は、同一の画素について、赤、青、緑、紫外の４つの波長成分の各々に属する光を受光して得られた画像データを出力する。
【００４３】
画像補正部２０１は、取得部２０２から取得した画像データの色収差を補正する。
【００４４】
より詳細には、画像補正部２０１は、可視画像補正部１０５と、紫外画像補正部１０３とを備える。
【００４５】
可視画像補正部１０５は、可視画像の色収差を補正する。Ｒ、Ｇ、Ｂ各々の画像データは、波長が異なる光によって生成されたものであるから、色収差等による影響があり、色ずれや色にじみが発生する。よって、色収差等による影響が少なくなるようにＲ、Ｇ、Ｂ各々の画像データを補正する。
【００４６】
紫外画像補正部１０３は、可視光領域外（紫外線領域）の波長を含む画像データの色収差を補正する。紫外画像補正部１０３は、可視画像補正部１０５で補正された可視光画像データを基準として紫外画像の色収差を補正する。
【００４７】
可視光の領域内では、色収差は最小限になるように、撮像の段階においてもレンズで調整されているが、可視光の領域外については調整の対象外であることが多く、そのための補正を行うのが紫外画像補正部１０３である。
【００４８】
具体的には、紫外画像は可視画像よりも大きくなる傾向がある（倍率色収差）ため、紫外画像の大きさが可視画像の対応する部分と一致するように、紫外画像の大きさを小さくする。
【００４９】
差分算出部１０６は、可視画像補正部１０５から出力される画像データに含まれる赤色の波長成分の画像データと、紫外画像補正部１０３から出力される画像データとを比較し、波長の異なる画像データ間での特徴量の差分を抽出する。この差分は、対象画像データの奥行き情報の大きさに対応している。なお、特徴量の差分を抽出する方法については、後述する。
【００５０】
距離情報算出部１０７は、差分算出部１０６の出力と、後述するフォーカス処理部１１０から取得した合焦情報（焦点距離）から、距離情報を算出する。その方法については、後述する。
【００５１】
画像加工部１０８は、可視画像補正部１０５から出力される画像データに対し、距離情報算出部１０７から取得した距離情報に基づいて、画像の遠近感を強調するように画像を加工し、奥行き感のある画像を生成する。なお、画像の加工方法については後述する。
【００５２】
出力部１０９は、画像加工部１０８により加工された画像データを、出力する処理部である。例えば、ＲＡＭ（Random Access Memory）上の出力用バッファへの書き込みや、ＨＤＤ（Hard Disk Drive）上へのファイル書き出し等が考えられるが、これらに限られず、画像処理装置２００の後段に加工画像を使用させるために必要な形式で出力を行う。
【００５３】
フォーカス処理部１１０は、撮像部１０１による撮像時の合焦処理を行う。
【００５４】
また、フォーカス処理部１１０は、距離情報算出部１０７へ撮像時の焦点距離を通知する。通知された焦点距離は、前述の通り、距離情報算出部１０７による距離情報の算出に用いられる。
【００５５】
かかる構成によれば、複数のカメラ（撮像装置）や、撮像対象との距離を計測するための専用の装置を付加することなく、１台のカメラで取得した対象画像データから距離情報を取得できる。したがって、コストの増加を抑えながら奥行き感のある画像を生成することができる。また、装置の小型化も可能である。また、光学系の調整等、難しい操作を撮影者が行う必要もない。
【００５６】
すなわち、本実施の形態にかかる画像処理装置２００は、少なくとも可視光領域の波長成分を含む対象画像データに対して、遠近感を強調する処理を施す画像処理装置であって、対象画像データに含まれる波長成分のうち、第１波長成分と、第１波長成分とは異なる第２波長成分の特徴量をそれぞれ算出し、算出された特徴量の差分を算出する差分算出部１０６と、差分の絶対値が大きいほど、強いぼかし加工を対象画像データに施す画像加工部１０８とを備えている。
【００５７】
ここで、第１波長成分とは、対象画像データに含まれる波長成分のうち、第２波長成分よりも波長が長い波長成分である。また、第２波長成分とは、対象画像データに含まれる波長成分のうち、第１波長成分よりも波長が短い波長成分である。
【００５８】
より好ましくは、第１波長成分を、Ｒ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）のうちのいずれかの可視光領域に対応する波長成分とし、第２波長成分を、紫外線領域に対応する波長成分とすることが考えられる。
【００５９】
また、より具体的には、特徴量には、第１波長成分及び第２波長成分の各々の画像の高周波数成分の量を用いることが考えられる。
【００６０】
また、画像処理装置２００は、特徴量の差分に対象画像データが撮像された際の焦点距離に応じて定まる変換係数を乗ずることにより、特徴量の差分から対象画像の奥行き情報に対応する距離情報を算出する距離情報算出部を備えていてもよい。
【００６１】
この場合、画像加工部１０８は、距離情報で示される距離が長いほど、強いぼかし加工を対象画像データに施すことになる。
【００６２】
また、画像処理装置２００は、第１波長成分のみを透過させるフィルタと、第２波長成分のみを透過させるフィルタとを備えた撮像部を有する取得部を備えていてもよい。
【００６３】
取得部２０２は、撮像部１０１により撮像された対象画像データの第１波長成分及び第２波長成分を取得し、差分算出部１０６は、取得部２０２によって取得された第１波長成分及び第２波長成分の特徴量及びその差分を算出する。
【００６４】
以下、本実施の形態に係る画像処理装置２００について詳しく説明する。
【００６５】
撮像部１０１は可視光領域を含む複数の異なる波長の光を受光し、各波長の光による画像データを出力するものである。本実施の形態では、可視光領域に加え、可視光領域外の波長の光として、紫外線（より具体的には、近紫外線）による画像データを出力する場合を例として説明する。
【００６６】
撮像部１０１の出力の内、可視光領域のデータは可視画像処理部１０４によって１画素Ｒ（赤）、Ｇ（緑）、Ｂ（青）のデータとなり、可視画像補正部１０５で色収差等の影響が少なくなるように補正される。撮像部１０１の出力の内、可視光領域外の波長のデータとして近紫外線による画像データが紫外画像処理部１０２によって処理され、紫外画像補正部１０３では可視画像補正部１０５で補正された可視光画像データを基準にして補正される。
【００６７】
すなわち、可視画像補正部１０５で実行される補正量と、近紫外線の波長とレンズの特性とから紫外画像補正部１０３での補正量を算出して補正を実行する。この補正により、差分算出部１０６において画素単位での比較が可能となる。
【００６８】
差分算出部１０６では、紫外画像補正部１０３から出力される近紫外線領域の波長成分からなる画像データと、可視画像補正部１０５から出力される画像データの中で（波長の短い）近紫外線に対して最も波長の差が有るＲ（赤）領域の波長成分からなる画像データとを比較する。
【００６９】
光には、波長が短くなると、大気中での散乱を受けやすく、遠景はかすむという特性がある。従って、近紫外線領域の波長成分からなる画像は可視光領域の波長成分からなる画像と比較し、より遠景が霞んだ（ボケた）画像となる。
【００７０】
また、可視光領域内でも、波長の長いＲ（赤）領域の波長成分からなる画像データは、遠景まではっきりと写るが、波長の短いＢ（青）領域の波長成分からなる画像データでは遠景は霞んだ画像となる。
【００７１】
図３は、各波長による画像のイメージを図示したものである。
【００７２】
図３（ａ）は、可視光のＲ（赤）領域の波長成分からなる画像のイメージ図であり、遠景もくっきりした画像である。
【００７３】
図３（ｂ）は可視光のＧ（緑）領域の波長成分からなる画像のイメージ図であり、図３（ｃ）は可視光のＢ（青）領域の波長成分からなる画像のイメージ図である。
【００７４】
図３（ｃ）に示されるように、可視光のＢ（青）領域の波長成分からなる画像では遠景がやや霞んだ状態になる。
【００７５】
図３（ｄ）は近紫外線領域の波長成分からなる画像のイメージ図である。
【００７６】
図３（ｄ）に示されるように、近紫外線領域の波長成分からなる画像では、遠景は霞み、全体的に輝度の小さな暗めの画像となる。
【００７７】
図３に示されるように、最も画像の差があるのは波長が最も離れている図３（ａ）の可視光のＲ（赤）領域の波長成分からなる画像データと、図３（ｄ）の近紫外線領域の波長成分からなる画像データである。
【００７８】
すなわち、差分算出部１０６で比較する画像としては、紫外画像補正部１０３から出力される近紫外線領域の波長成分からなる画像データに対しては、可視画像補正部１０５から出力される可視光領域の画像データでＲ（赤）領域の波長成分からなる画像データが適している。
【００７９】
差分算出部１０６では、近紫外線領域の波長成分からなる画像データと可視光領域のＲ（赤）領域の波長成分からなる画像データとを比較し、画像毎の霞み（ボケ）の相違の度合いを抽出する。
【００８０】
ここで、霞み具合の相違を算出する方法として、例えば画像の高周波数成分を特徴量として、その差を算出することが考えられる。
【００８１】
具体的には、例えば縦横が８画素のブロックを設定し、そのブロック単位で比較対象とする２つの画像に離散コサイン変換を施すことで、各画像に含まれる各空間周波数成分の量を算出する。
【００８２】
一般に、高周波数成分がより少ない画像はより霞んだ（ボケた）画像となる。したがって、異なる波長成分からなる画像のブロック単位の比較による高周波成分の量の差は、画像の霞み具合の差に対応することとなる。
【００８３】
また、差分算出部１０６が霞み具合の相違を算出する別な方法として、画素値の微分係数を特徴量として、その差を算出することが考えられる。
【００８４】
具体的には、差分算出部１０６は、例えば、比較対象とする２つの画像データ各々に共通のある画素の画素値と、その画素の前後左右に隣接する４画素の画素値との、微分係数をそれぞれ算出する。さらに、画像データごとに、それぞれ４つの微分係数の平均値を差分算出部１０６は算出する。
【００８５】
一般に、画素値の微分係数が小さい画像はより霞んだ画像となる。したがって、異なる波長成分からなる画像における画素値の微分係数（の平均値）の差は、画像の霞み具合の差に対応することとなる。
【００８６】
距離情報算出部１０７は、差分算出部１０６で抽出された画素毎の相違を、フォーカス処理部１１０からの合焦情報を加味しながら距離情報に置き換え、特徴量の算出に用いたブロックごと又は画素毎の距離情報として取得する。
【００８７】
すなわち、撮像部から得られる画像データは、その焦点距離によって、ボケ具合が異なる。例えば、焦点距離が近い場合、撮像部からの距離に応じて遠いほど、ボケが強くなるが、焦点距離が遠い場合、合焦地点以外が、ボケる傾向にある。
【００８８】
よって、画像加工部１０８は、差分算出部１０６が算出した特徴量の差分に、焦点距離ごとに別途定められる定数を乗ずることで、距離情報を算出する。
【００８９】
次に、画像加工部１０８では、可視画像補正部１０５から出力される可視光領域の画像データに対し、距離情報算出部１０７で算出した距離情報に基づいて、遠距離になる程、霞み（ボケ）の度合いを強調するように画像を加工することで、奥行き感のある画像を生成することが可能となる。
【００９０】
具体的には、例えば平滑化フィルタを対象画像のブロック又は画素に対して適用することが考えられる。
【００９１】
より具体的には、差分算出部１０６で算出される特徴量としてブロック単位での高周波成分の量を使用した場合、特徴量の算出に用いたブロックと同じ大きさのブロックについて、画像加工部１０８がガウシアンフィルタを適用することが考えられる。
【００９２】
この場合、ガウシアンフィルタに用いるガウス分布の分散が大きいほど、平滑化の効果が強まる（すなわち、ボケた画像となる）。よって、高周波成分の量の差の絶対値が大きいほど、画像加工部１０８は、分散を大きくしたガウシアンフィルタを適用することになる。
【００９３】
他の例として、差分算出部１０６で算出される特徴量として画素単位での画素値の微分係数を使用した場合、画像加工部１０８は、特徴量の算出に用いた画素及びその画素の周囲数画素（例えば１画素や２画素）からなるブロックを設定し、そのブロックについて、前述のようにガウシアンフィルタを適用することが考えられる。
【００９４】
さらに他の例として、次のように、離散フーリエ変換及び逆変換を用いることも考えられる。
【００９５】
画像加工部１０８は、まず、差分算出部１０６で算出される特徴量の算出に用いたブロックと同じ大きさのブロック単位で、対象画像データに離散コサイン変換を施す。
【００９６】
次に、差分算出部１０６で得られた特徴量の差の絶対値又は、距離情報算出部１０７で得られた距離情報が大きいほど、大きな量子化幅を用いて、離散コサイン変換で得られた変換係数を量子化する。
【００９７】
次に量子化後の対象画像データに対し、逆離散コサイン変換を施すことで、距離情報に対応して、ぼかしを強調した画像を生成することができる。
【００９８】
なお、上記の各ぼかし処理を適用する際には、可視光領域に含まれるＲ、Ｇ、Ｂの波長成分ごとに、及び、各ブロック又は画素ごとに、処理を適用する。
【００９９】
図４は、本実施の形態における画像処理装置２００の処理の流れを示すフローチャートである。
【０１００】
まず、取得部２０２は、可視光領域及び可視外（近赤外、近紫外等）領域の波長成分からなる画像データを取得する（Ｓ２１０）。
【０１０１】
次に、画像補正部２０１は、前述のように２つの波長領域ごとに画像データの色収差を補正し画像のサイズを一致させることで、異なる波長領域間で同一の空間位置（座標位置）の画素あるいはブロックごとに特徴量を比較できるように処理する（Ｓ２１２）。
【０１０２】
次に、差分算出部１０６は、２つの波長領域の画像データに含まれる画素又はブロックごとに、前述のような特徴量を算出する。さらに、特徴量の波長領域間での差分を算出する（Ｓ２１４）。
【０１０３】
次に、距離情報算出部１０７は、フォーカス処理部１１０から対象画像の撮像時の焦点距離を取得し、その距離に応じた定数を乗じることで、対象画像の奥行き情報に対応する距離情報を算出する（Ｓ２１６）。
【０１０４】
次に、画像加工部１０８は、差分算出部１０６から得られた特徴量の差の絶対値の大きさ、又は、画像加工部１０８の距離が大きいブロック又は画素ほど、より強く、ボケるように前述の画像処理を施すことにより、対象画像の遠近感を強調する（Ｓ２１８）。
【０１０５】
最後に、出力部１０９が、加工後の対象画像データを出力する。
【０１０６】
以上述べた本実施の形態にかかる画像処理装置２００によると、光学系等の特殊な調整を行うことなく、１台のカメラを用いた撮像により、異なる波長成分からなる２以上の画像データを取得し、その画像データ間のボケ具合の差から対象画像の奥行き情報に対応する情報を算出することができる。
【０１０７】
その結果、奥行き情報に対応して立体感を強調する画像処理を対象画像データに施すことができる。
【０１０８】
（変形例）
次に、実施の形態１に画像データ記憶部３１２を追加した変形例について説明する。
【０１０９】
図５は、画像データと距離情報を画像データ記憶部３１２に格納できるようにした本変形例における画像処理装置２００の構成を示すブロック図である。
【０１１０】
図５に示されるように、本変形例に係る画像処理装置２００では、実施の形態１で示した画像処理装置２００の構成に、さらに、画像データ記憶部３１２を設けている。
【０１１１】
画像処理装置２００は、取得部２０２で取得した画像データを、画像補正部２０１で補正後、出力部１０９から出力する前に、画像データ記憶部３１２に格納する。その後、例えばユーザからの要求により出力部１０９から遠近感を強調した画像を出力する必要が生じた際には、画像データを画像データ記憶部３１２から読み出し、以後、前述と同様に、差分算出部１０６、距離情報算出部１０７及び画像加工部１０８で処理を行う。
【０１１２】
なお、画像データ記憶部３１２は、取得部２０２から取得した補正前の画像データを記憶してもよい。その場合、画像処理装置２００は、画像データ記憶部３１２から画像データを読み出した後、まず、画像補正部２０１で色収差等の補正をした後、前述の処理を行う。
【０１１３】
すなわち、本実施の形態に係る画像処理装置２００は、実施の形態１で述べた画像処理装置２００の構成に加え、さらに、色収差等の補正後の対象画像データを記憶する画像データ記憶部３１２を備えている。
【０１１４】
差分算出部１０６は、画像データ記憶部３１２に記憶されている補正後の対象画像データを用いて、特徴量の差分を算出する。
【０１１５】
この構成により、撮像部１０１により撮像するタイミングに依存することなく、必要に応じて画像加工部１０８で奥行き感のある画像を生成することが可能となる。
【０１１６】
また、差分算出部１０６や距離情報算出部１０７のように計算コストが高い処理の実行タイミングを、取得部２０２のようにリアルタイム性が要求される処置とずらすことで、画像処理装置２００に要求される計算処理能力を抑えつつ、快適な操作を実現することができる。
【０１１７】
なお、実施の形態１に係る画像処理装置２００は、必ずしも図２に記載した全ての構成要素を備える必要はなく、差分算出部１０６と画像加工部１０８のみを備えることで、画像処理装置２００を実施することが可能である。
【０１１８】
すなわち、後述する実施の形態２のように、既に撮像された外部の画像データを例えば画像ファイルとして読み込むことで、撮像部１０１、可視画像処理部１０４、紫外画像処理部１０２及びフォーカス処理部１１０を備えずとも同様の効果が得られる。
【０１１９】
また、可視画像補正部１０５及び紫外画像補正部１０３を備えずとも、一般に同一画像データの近接する画素値は値が近いため、色収差により多少の画像サイズの違いがある２つの画像の特徴量を比較することで、適切な奥行き情報を取得できる。その結果、可視画像補正部１０５及び紫外画像補正部１０３を備える場合と同様の効果が得られる。
【０１２０】
また、距離情報算出部１０７を備えずとも、前述のように、差分算出部１０６から得られる特徴量の差の絶対値を用いて、対象画像の奥行き情報に対応する情報を得ることができる。その結果、距離情報算出部１０７を備える場合と同様の効果が得られる。
【０１２１】
また、出力部１０９を備えずとも、例えば加工済みの画像データを使用する後段の処理部が、画像加工部１０８が使用するＲＡＭ（Random Access Memory）領域から遠近感を付与した後の画像データを直接読み出すことにより、出力部１０９を備える場合と同様の効果が得られる。
【０１２２】
（実施の形態２）
次に、撮像部を備えない画像処理装置２００の実施の形態を実施の形態２として説明する。
【０１２３】
図６は、本発明の実施の形態２における画像処理装置の構成を示すブロック図である。
【０１２４】
なお、図６において、図２と同様の機能を果たす構成要素については同じ符号を用い、説明を省略する。
【０１２５】
図６に示されるように、本実施の形態における取得部２０３は、画像入力部４１３及び分離部４１４を備える。
【０１２６】
画像入力部４１３は、可視光領域を含む複数の波長の異なる光を撮像素子が受光することで生成された画像データを画像処理装置２００の外部から取得する入力インタフェースである。
【０１２７】
本実施の形態では、実施の形態１と同様に、可視領域及び可視領域外（近紫外線領域）の波長成分を含む画像データを取得する場合を例として説明する。
【０１２８】
画像入力部４１３から取得された対象画像データは、分離部４１４によって波長毎の画像データに分離される。
【０１２９】
本実施の形態では、分離部４１４において、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各可視光領域の波長成分からなる３つの画像データと、近紫外線領域の波長成分からなる画像データに分離される。
【０１３０】
画像補正部２０１は、色収差等による影響が少なくなるようにＲ、Ｇ、Ｂ各々の波長成分からなる画像データを補正する。
【０１３１】
差分算出部１０６は、可視画像補正部１０５から出力される画像データの中で、一つの波長成分からなる画像データと紫外画像補正部１０３から出力される画像データを比較し、波長成分の異なる画像データ間での特徴量の差分を算出する。
【０１３２】
距離情報算出部１０７は、差分算出部１０６の出力と合焦情報（焦点距離）とから、対象画像の奥行き情報に対応する距離情報を取得する。
【０１３３】
ここで、本実施の形態においては、画像入力部４１３から取得した画像データに含まれるメタデータから焦点距離を取得することが考えられる。
【０１３４】
より具体的には、デジタルカメラ等で撮像された画像データに付加されるＥｘｉｆ（Exchangeable Image File Format）形式のメタデータから、焦点距離を取得することが考えられる。
【０１３５】
画像加工部１０８は、可視画像補正部１０５から出力される画像データに対し、距離情報算出部１０７により算出された距離情報が大きいほど、より遠近感を強調するより強いボケ加工を対象画像に施すことで、奥行き感を強調した画像を生成する。
【０１３６】
出力部１０９は、画像加工部１０８により生成された画像を出力する。
【０１３７】
すなわち、本実施の形態における画像処理装置２００が備える取得部２０３は、第１波長成分及び第２波長成分を含む画像データを対象画像データとして取得する画像入力部４１３と、対象画像データから、第１波長成分及び第２波長成分をそれぞれ分離する分離部４１４とを有する。
【０１３８】
このとき、差分算出部１０６は、分離部４１４から取得した第１波長成分及び第２波長成分の特徴量及びその差分を算出することとなる。
【０１３９】
以下、本形態の画像処理装置の処理の流れについて詳しく説明する。
【０１４０】
まず、画像入力部４１３は、可視領域を含む複数の波長成分からなる対象画像データを取得する。
【０１４１】
次に、分離部４１４は、取得された対象画像データを、可視領域のＲ（赤）、Ｇ（緑）、Ｂ（青）の各々の波長成分からなる３つの画像データと、可視領域外の近紫外線による画像データに分離する。
【０１４２】
次に、可視画像補正部１０５は、可視領域の波長成分からなる３つの画像データに含まれる色収差を補正する。また、紫外画像補正部１０３は、近紫外線領域の波長成分からなる画像データに含まれる色収差を補正する。
【０１４３】
その際、紫外画像補正部１０３は、可視画像補正部１０５で補正された可視光領域の波長成分からなる画像データの大きさを基準にして、それに大きさが一致するように補正される。
【０１４４】
次に、差分算出部１０６は、紫外画像補正部１０３から出力される近紫外線領域の波長成分からなる画像データと、可視画像補正部１０５から出力される可視領域の波長成分からな画像データの中で、最も波長の短い近紫外線と、最も波長の差があるＲ（赤）領域の波長成分からなる画像データとを比較する。
【０１４５】
具体的には、差分算出部１０６は、近紫外線領域の波長成分からなる画像データの特徴量と可視光領域のＲ（赤）領域の波長成分からなる画像データの特徴量とを比較し、特徴量の算出に用いたブロック又は画素毎の霞み（ボケ）の相違の度合い（差分）を算出する。
【０１４６】
次に、距離情報算出部１０７は、差分算出部１０６で抽出された特徴量の差分から距離情報を算出し、ブロック又は画素ごとの距離情報として取得する。
【０１４７】
画像加工部１０８では、可視画像補正部１０５から出力される可視領域の画像データに対し、距離情報算出部１０７で取得した距離情報に基づいて、遠距離になる程、霞み（ボケ）の度合いを強調するように画像を加工することで、奥行き感の強調された画像を生成する。
【０１４８】
なお、差分算出部１０６が算出する特徴量は、実施の形態１で説明したものと同様のものを使用する。
【０１４９】
また、本実施の形態において、可視領域外として近紫外線領域、可視領域内としてＲ（赤）領域の波長成分からなる画像データを選択し、特徴量の値を比較することで対象画像の奥行き情報（又は距離情報）を取得する例を説明した。しかし、可視領域外として近赤外線領域、可視領域内としてＢ（青）領域の波長成分からなる画像データを選択し、特徴量の値を比較することで対象画像の奥行き情報（又は距離情報）を取得しても良い。
【０１５０】
さらにまた、可視領域内のＲ（赤）領域による画像データと、Ｂ（青）領域による画像データとを比較して対象画像の奥行き情報（又は距離情報）を取得することにより、紫外画像補正部１０３を省略してもよいのは、実施の形態１と同様である。
【０１５１】
以上、本実施の形態で述べた構成によれば、撮像装置から直接画像データを取得する場合以外にも、ＨＤＤ（Hard Disk Drive）内の画像ファイル等、外部の画像データを取得し、奥行き情報を取得し、奥行き感を強調した画像を生成することができる。
【０１５２】
また、撮像装置を省き、例えばＰＣ（Personal Computer）上で動作するコンピュータソフトウェアとして画像処理装置２００を実装することにより、画像処理装置２００を小型化・省コスト化することが可能となる。
【０１５３】
（実施の形態３）
次に、実施の形態１で説明した画像処理装置２００に、さらに、符号化部５１６を備えた実施の形態３に係る画像処理装置２００について説明する。
【０１５４】
図７は、本発明の実施の形態３における画像処理装置の構成を示すブロック図である。
【０１５５】
なお、図７において、図２と同様の機能を果たす構成要素については同じ符号を用い、説明を省略する。また、本実施の形態では、実施の形態１と同様に、可視光領域に加え、可視光領域外（近紫外線領域）の波長成分からなる画像データを出力する場合を例として説明する。
【０１５６】
実施の形態３が実施の形態１と異なる点は、さらに、画像データ変換部５１５及び符号化部５１６を備えている点である。
【０１５７】
画像データ変換部５１５は、可視画像補正部１０５から出力される画像データに対し、必要に応じて画像データの変換を行う。例としては、ＲＧＢデータからＹＵＶデータへの変換が考えられる。これにより、画像データのデータサイズを小さくすることができる。
【０１５８】
画像加工部１０８及び符号化部５１６は、距離情報算出部１０７で取得された距離情報に基づいて符号化する際の符号量割り当て制御を行う。
【０１５９】
以下、本実施の形態に係る画像処理装置２００において、画像加工部１０８及び符号化部５１６が行う処理について詳しく説明する。
【０１６０】
まず、画像加工部１０８は、前述の通り、画像データ変換部５１５から取得した対象画像データに対してブロック（量子化ブロック）単位で離散コサイン変換を施す。
【０１６１】
ここで、量子化ブロックは、差分算出部１０６が特徴量を算出する際に使用したブロック又は画素（以後、特徴量ブロックという）のうち、隣接する１以上のものをまとめて生成することが考えられる。すなわち、１つの量子化ブロックには、距離情報算出部１０７によって距離が異なると判断される複数の特徴量ブロックが含まれてもよい。
【０１６２】
次に、画像加工部１０８は、得られた変換係数を、対象の量子化ブロックの距離が遠いほど、大きな量子化幅を用いて量子化する。
【０１６３】
実施の形態１における画像加工部１０８と異なる点は、画像加工部１０８は量子化後のデータに対して逆変換を施さず、符号化部５１６へ出力することである。
【０１６４】
次に、符号化部５１６は、量子化された対象画像データを符号化する。
【０１６５】
具体的には、ハフマン符号等を用いたエントロピー符号化等、符号量（対象画像データのデータサイズ）を削減できる符号化手法を用いることが好ましい。
【０１６６】
最後に、出力部１０９は、符号化部５１６により符号化された対象画像データを出力する。
【０１６７】
すなわち、本実施の形態における画像処理装置２００は、さらに、符号化部を備えており、画像加工部１０８は、対象画像データを離散コサイン変換する。
【０１６８】
また、画像加工部１０８は、差分算出部１０６で算出された特徴量の差分の絶対値が大きいほど、大きな量子化幅を用いて離散コサイン変換で得られた変換係数を量子化する。
【０１６９】
また、符号化部５１６は、量子化された変換係数を符号化する。
【０１７０】
以下詳細に説明する。
【０１７１】
図８は、本実施の形態において、距離の異なる特徴量ブロックを含む量子化ブロックの量子化幅を決定する処理を説明する図である。
【０１７２】
図８（ａ）に示されている画像は、取得部２０２によって取得された対象画像である。
【０１７３】
先に述べたように、符号化部５１６は対象画像を所定の量子化ブロック単位で符号化する。
【０１７４】
図８（ｂ）〜図８（ｄ）は、対象画像データから量子化ブロックを抜き出したものである。各量子化ブロックは、それぞれ複数の特徴量ブロックを含む。
【０１７５】
図８（ｂ）〜図８（ｄ）は、また、特徴量ブロックごとに、距離情報算出部１０７から取得した距離情報の区分（近距離、中距離、遠距離）を示す。
【０１７６】
図８（ｂ）に示されるブロックは、遠距離領域のみを含むブロックであるため、符号化時の符号量割り当てを少なく（例えば、画像加工部１０８における量子化時の量子化幅を３２に）する。
【０１７７】
図８（ｃ）に示されるブロックは、遠距離及び中距離領域を含むブロックであるため、図８（ｂ）に示されるブロックよりも符号量割り当てを多く（例えば、画像加工部１０８による量子化幅を、図８（ｂ）に示されるブロックの３倍に設定）する。
【０１７８】
図８（ｄ）に示されるブロックは、近距離及び中距離領域を含むブロックであるため、図８（ｃ）に示されるブロックよりも符号量割り当てを多く（例えば、画像加工部１０８による量子化幅を、１６に）する。
【０１７９】
以上述べたように、本実施の形態に係る画像処理装置２００によると、量子化ブロックに含まれる特徴量ブロックごとの、距離情報算出部１０７により算出された距離情報の割合から、量子化幅の大きさを決定することで、最終的な画像データに割り当てられる符号量を削減しながら奥行き感を強調した画像データを得ることができる。その結果、対象画像データの保存や伝達コストを抑えるメリットが生じる。
【０１８０】
また、複数のカメラ（撮像装置）や距離を計測する専用の装置を付加することなく距離情報を取得するため、コスト増加を最小限に抑えながら奥行き感のある画像を生成することができる。また、装置の小型化も可能である。
【０１８１】
（変形例）
次に、図９を用いて実施の形態３の変形例について説明する。
【０１８２】
図９に示される本変形例に係る画像処理装置２００は、図７に示される画像処理装置２００と異なり、取得部２０３が撮像部１０１を備えずに、画像入力部４１３によって画像処理装置２００の外部から画像データを取得する。
【０１８３】
なお、取得部２０３が備える画像入力部４１３及び分離部４１４は、実施の形態２と同様の機能を有するため、説明を省略する。
【０１８４】
以上述べた変形例によると、撮像装置から直接画像データを取得する場合以外にも、ＨＤＤ（Hard Disk Drive）内の画像ファイル等、外部の画像データを取得し、奥行き感を強調した画像データを符号化することができる。
【０１８５】
また、撮像装置を省き、例えばＰＣ（Personal Computer）上で動作するコンピュータソフトウェアとして画像処理装置２００を実装することにより、画像処理装置２００を小型化・省コスト化することが可能となる。
【０１８６】
なお、実施の形態１〜３及びその変形例において、可視光領域外として近紫外線領域の波長成分からなる画像データを使用し、可視光領域内としてＲ（赤）領域の波長成分からなる画像データを使用する例を説明したが、可視光領域外の波長成分として近赤外線を、可視光領域内の波長成分としてＢ（青）領域の波長成分を、それぞれ使用し、各波長成分からなる画像データを比較して距離情報を取得しても良い。また、可視光領域内のＲ（赤）波長成分からなる画像データと、Ｂ（青）波長成分からなる画像データとを比較して距離情報を取得するようにし、紫外画像処理部１０２と、紫外画像補正部１０３を省略しても良い。
【０１８７】
例えば、実施の形態１及び３の撮像部１０１において、青色光のみを透過させるフィルタに代わり、青色光に加えて紫外線領域の光まで透過させるものを使用することで、赤、青、緑の３色のフィルタを受光部の前面に備えた撮像素子を用いることもできる。
【０１８８】
また、撮像部１０１において、可視光領域に含まれる赤、青、緑の３色のフィルタのみを備えた撮像素子を用いることもできる。ただし、紫外線領域を用いる場合と比較し、取得できる奥行き情報の精度が落ちるため、上述のように紫外線領域に含まれる光の透過フィルタを備えることが望ましい。
【０１８９】
また、実施の形態１〜３及びその変形例において、画像処理装置２００が可視光領域外の波長成分として紫外線領域以外（例えば、赤外領域）に含まれる波長成分を使用する場合には、紫外画像処理部１０２は、使用する波長領域に応じて、可視画像と同じ大きさの画像となるように補正を行うこととなる。
【０１９０】
また、実施の形態１〜３及びその変形例において、差分算出部１０６は、可視画像補正部１０５から出力される他の色（緑色又は青色）の波長成分の画像データと、紫外画像補正部１０３から出力される画像データとを比較してもよい。または、差分算出部１０６は、可視画像補正部１０５から出力されるある１色の波長成分の画像データと、可視画像補正部１０５から出力される別の１色の波長成分の画像データとを比較してもよい。
【０１９１】
なお、実施の形態１〜３及びその変形例において、差分算出部１０６が対象画像データに離散コサイン変換を施す単位は、縦横が８画素のブロックに限定されず、１６画素や６４画素等の正方形のブロックや、長方形その他の形状のブロックであってもよい。
【０１９２】
なお、実施の形態１〜３及びその変形例において、画像加工部１０８が用いる平滑化フィルタは、ガウシアンフィルタに限られず、移動平均を用いたもの等であってもよい。また、画像加工部１０８は、視覚的に画像をぼかす、その他の任意の画像処理を施してもよい。
【０１９３】
なお、実施の形態１〜３及びその変形例において、画像加工部１０８は、距離情報算出部１０７による距離情報に代わり、差分算出部１０６による特徴量の差分の絶対値を距離情報に対応する情報として使用してもよい。すなわち、特徴量の差の絶対値が大きいほど、遠方にあるとして、画像加工部１０８がボケ度合いを強調することで、遠近感を強調した画像を生成することが可能である。
【０１９４】
なお、実施の形態１及び３では、撮像部１０１は１つであるが、複数の撮像部を設け、異なる視点からの画像を用いて取得した３次元情報もしくは距離情報を併用しても良い。
【０１９５】
なお、実施の形態３及び変形例において、実施の形態１の変形例で示したような画像データ記憶部３１２をさらに設けてもよい。画像データ記憶部３１２に記憶されているデータに対して、画像データ変換部５１５、符号化部５１６及び画像加工部１０８が処理を行うことで、画像処理装置２００が行う計算処理の負荷を異なる時間に分散させることができる。
【０１９６】
なお、実施の形態１〜３において、画像加工部１０８は離散コサイン変換に代わり、離散フーリエ変換、離散サイン変換、カルーネン・レーブ変換、ウェーブレット変換、ウォルシュ・アダマール変換等、一般にデータ圧縮において使用される任意のデータ変換処理を使用してもよい。
【０１９７】
なお、実施の形態１〜３で説明した画像処理装置は、コンピュータにより実現することが可能である。図１０を参照して、画像処理装置は、コンピュータ３４と、コンピュータ３４に指示を与えるためのキーボード３６及びマウス３８と、コンピュータ３４の演算結果等の情報を提示するためのディスプレイ３２と、コンピュータ３４で実行されるプログラムを読み取るためのＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）装置４０及び通信モデム（図示せず）とを含む。
【０１９８】
画像処理装置が行う処理であるプログラムは、コンピュータで読取可能な媒体であるＣＤ−ＲＯＭ４２に記憶され、ＣＤ−ＲＯＭ装置４０で読み取られる。又は、コンピュータネットワークを通じて通信モデムで読み取られる。
【０１９９】
図１１は、画像処理装置を実現するコンピュータシステムのハードウェア構成を示すブロック図である。コンピュータ３４は、ＣＰＵ（Central Processing Unit）４４と、ＲＯＭ（Read Only Memory）４６と、ＲＡＭ（Random Access Memory）４８と、ハードディスク５０と、通信モデム５２と、バス５４とを含む。
【０２００】
ＣＰＵ４４は、ＣＤ−ＲＯＭ装置４０又は通信モデム５２を介して読み取られたプログラムを実行する。ＲＯＭ４６は、コンピュータ３４の動作に必要なプログラムやデータを記憶する。ＲＡＭ４８は、プログラム実行時のパラメタなどのデータを記憶する。ハードディスク５０は、プログラムやデータなどを記憶する。通信モデム５２は、コンピュータネットワークを介して他のコンピュータとの通信を行う。バス５４は、ＣＰＵ４４、ＲＯＭ４６、ＲＡＭ４８、ハードディスク５０、通信モデム５２、ディスプレイ３２、キーボード３６、マウス３８及びＣＤ−ＲＯＭ装置４０を相互に接続する。
【０２０１】
さらに、上記の各装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Large Scale Integration：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
【０２０２】
さらにまた、上記の各装置を構成する構成要素の一部又は全部は、各装置に脱着可能なＩＣカード又は単体のモジュールから構成されているとしてもよい。ＩＣカード又はモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカード又はモジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ＩＣカード又はモジュールは、その機能を達成する。このＩＣカード又はこのモジュールは、耐タンパ性を有するとしてもよい。
【０２０３】
また、本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
【０２０４】
さらに、本発明は、上記コンピュータプログラム又は上記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Blu-ray Disc（登録商標））、ＵＳＢメモリ、ＳＤカードなどのメモリカード、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている上記デジタル信号であるとしてもよい。
【０２０５】
また、本発明は、上記コンピュータプログラム又は上記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
【０２０６】
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムに従って動作するとしてもよい。
【０２０７】
また、上記プログラム又は上記デジタル信号を上記記録媒体に記録して移送することにより、又は上記プログラム又は上記デジタル信号を上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
【０２０８】
さらに、上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
【０２０９】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【産業上の利用可能性】
【０２１０】
本発明にかかる画像処理装置は、波長の異なる光による画像から距離情報を取得する機能を有し、距離情報に基づく奥行き感のある画像生成することができるビデオカメラ、デジタルスチルカメラ等として有用である。また、転送レートの低いネットワークにおいても画像の送信が必要となる監視カメラ、ネットワークカメラの符号量を削減する等の用途にも応用できる。
【符号の説明】
【０２１１】
３２ ディスプレイ
３４ コンピュータ
３６ キーボード
３８ マウス
４０ ＣＤ−ＲＯＭ装置
４２ ＣＤ−ＲＯＭ
４４ ＣＰＵ
４６ ＲＯＭ
４８ ＲＡＭ
５０ ハードディスク
５２ 通信モデム
５４ バス
１０１ 撮像部
１０２ 紫外画像処理部
１０３ 紫外画像補正部
１０４ 可視画像処理部
１０５ 可視画像補正部
１０６ 差分算出部
１０７ 距離情報算出部
１０８ 画像加工部
１０９ 出力部
１１０ フォーカス処理部
２００ 画像処理装置
２０１ 画像補正部
２０２、２０３ 取得部
３１２ 画像データ記憶部
４１３ 画像入力部
４１４ 分離部
５１５ 画像データ変換部
５１６ 符号化部
【技術分野】
【０００１】
本発明は、被写体の奥行き情報を取得して画像処理を行う画像処理装置に関する。
【背景技術】
【０００２】
従来、カメラを用いた撮影画像の３次元情報（すなわち、撮影画像の奥行き情報）を取得する方法としては、複数のカメラを用いて異なる視点より撮影された画像を用いて３次元情報を取得するものが知られている。
【０００３】
例えば２台のカメラを人間の目の視差に相当する視点の画像が得られるように横に並べ、この２台のカメラで同時に撮影した２枚の画像から３次元情報（奥行き情報）を取得する方法が知られている。
【０００４】
また、被写体撮影用とは別に距離を計測するための可視光領域外の光を照射し、被写体からの反射光を可視光領域外の光と可視光領域の光とに分離し、可視光領域外の光の強度によって距離を取得するものも知られている（例えば、特許文献１参照）。
【０００５】
図１２は、特許文献１に記載された３次元情報検出装置のブロック図である。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−４５２６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来から知られてきた２台のカメラを用いる方法では、装置が大型化するという課題があった。
【０００８】
また、図１２に示されるような３次元情報を取得する方法でも、照射可能な波長の種類が異なる複数の光源が必要であるため、装置が比較的大型になることに加え、その調整が難しいという課題を有していた。
【０００９】
その結果、画像処理装置の消費電力も多くならざるを得なかった。
【００１０】
本発明は、こうした従来の課題を解決するもので、難しい調整を行うことなく、１台のカメラや光源を用いて撮像された画像データから、その奥行き情報を取得して画像処理に利用できる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記の課題を解決するために、本発明のある局面に係る画像処理装置は、少なくとも可視光領域の波長成分を含む対象画像データに対して、遠近感を強調する処理を施す画像処理装置であって、前記対象画像データは複数の領域を有しており、前記画像処理装置は、前記複数の領域に含まれる第１の領域に含まれる波長成分のうち、第１波長成分と、前記第１波長成分とは異なる第２波長成分の特徴量をそれぞれ算出し、算出された前記特徴量の差分を算出する差分算出部と、前記差分の絶対値が大きいほど、強いぼかし加工を前記第１の領域に施す画像加工部とを備える。
【００１２】
この構成によると、１台のカメラや光源を用いて、異なる波長成分からなる複数の画像データを撮像し、これらの画像データから、差分算出部がその波長の差に起因して画像の奥行き情報に対応付けられる特徴量の差を算出することで、画像の奥行き情報を取得することができる。
【００１３】
その結果、カメラや光源等、構成要素が従来と比較して少ないために、小型であり、電力消費量を抑え、操作が簡易な画像処理装置を実現することができる。
【００１４】
具体的には、前記第１波長成分は、Ｒ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）のうちのいずれかの可視光領域に対応する波長成分であり、前記第２波長成分は、紫外線領域に対応する波長成分としてもよい。
【００１５】
より具体的には、前記特徴量は、前記第１波長成分及び前記第２波長成分の各々の画像の高周波数成分の量としてもよい。
【００１６】
また、前記画像加工部は、前記対象画像データを離散コサイン変換することにより得られる変換係数を、前記差分の絶対値が大きいほど大きな量子化幅で量子化することにより、前記対象画像データにぼかし加工を施してもよい。
【００１７】
なお、前記画像加工部は、前記対象画像データに対して、前記差分の絶対値が大きいほど、対象ブロック内の画素値の分散が大きくなるように作用する平滑化フィルタを施すことにより、前記対象画像データにぼかし加工を施してもよい。
【００１８】
また、さらに、前記特徴量の差分に前記対象画像データが撮像された際の焦点距離に応じて定まる変換係数を乗ずることにより、前記特徴量の差分から対象画像の奥行き情報に対応する距離情報を算出する距離情報算出部を備えており、前記画像加工部は、前記距離情報で示される距離が長いほど、強いぼかし加工を前記対象画像データに施してもよい。
【００１９】
また、さらに、前記対象画像データの色収差を補正する画像補正部と、前記補正後の対象画像データを記憶する画像データ記憶部とを備えており、前記差分算出部は、前記画像データ記憶部に記憶されている補正後の前記対象画像データを用いて、前記特徴量の差分を算出してもよい。
【００２０】
また、さらに、前記第１波長成分のみを透過させるフィルタと、前記第２波長成分のみを透過させるフィルタとを備えた撮像部を有する取得部を備えており、前記取得部は、前記撮像部により撮像された前記対象画像データの前記第１波長成分及び前記第２波長成分を取得し、前記差分算出部は、前記取得部によって取得された前記第１波長成分及び前記第２波長成分の前記特徴量及びその差分を算出してもよい。
【００２１】
本発明の他の局面に係る画像処理装置は、さらに、前記第１波長成分及び前記第２波長成分を含む画像データを前記対象画像データとして取得する画像入力部と、前記対象画像データから、前記第１波長成分及び前記第２波長成分をそれぞれ分離する分離部とを有する取得部を備えており、前記差分算出部は、前記分離部から取得した前記第１波長成分及び前記第２波長成分の前記特徴量及びその差分を算出する。
【００２２】
この構成によれば、撮像装置から直接画像データを取得する場合以外にも、ＨＤＤ（Hard Disk Drive）内の画像ファイル等、外部の画像データを取得し、奥行き情報を取得し、奥行き感を強調した画像を生成することができる。その結果、撮像部により撮像するタイミングに依存することなく、必要に応じて画像加工部で奥行き感のある画像を生成することが可能となる。また、撮像装置を省き、例えばＰＣ（Personal Computer）上で動作するコンピュータソフトウェアとして画像処理装置を実装することにより、画像処理装置を小型化・省コスト化することが可能となる。さらに、差分算出部や距離情報算出部のように計算コストが高い処理の実行タイミングを、取得部のようにリアルタイム性が要求される処置とずらすことで、画像処理装置に要求される計算処理能力を抑えつつ、快適な操作を実現することができる。
【００２３】
本発明の他の局面に係る画像処理装置は、さらに、符号化部を備えており、前記画像加工部は、前記対象画像データを離散コサイン変換した後に、前記差分の絶対値が大きいほど、大きな量子化幅を用いて前記離散コサイン変換で得られた変換係数を量子化し、前記符号化部は、前記量子化された変換係数を符号化する。
【００２４】
この構成によれば、量子化ブロックに含まれる特徴量ブロックごとの、距離情報算出部により算出された距離情報の割合から、量子化幅の大きさを決定することで、取得した奥行き情報を用いて、最終的な画像データに割り当てられる符号量を削減し、かつ、奥行き感を強調した画像データを得ることができる。その結果、対象画像データの保存や伝達コストを抑えるメリットが生じる。
【００２５】
また、複数のカメラ（撮像装置）や距離を計測する専用の装置を付加することなく距離情報を取得するため、コスト増加を最小限に抑えながら奥行き感のある画像を生成することができる。また、画像処理装置の小型化・省エネ化も可能となる。
【発明の効果】
【００２６】
難しい調整を行うことなく、１台のカメラや光源を用いて撮像された画像データから、その奥行き情報を取得して利用できる画像処理装置を提供することができる。
【図面の簡単な説明】
【００２７】
【図１】図１は、本発明の実施の形態１〜３にかかる画像処理装置を用いて対象画像データの遠近感を強調する処理のイメージ図である。
【図２】図２は、本発明の実施の形態１における画像処理装置のブロック図である。
【図３】図３は、異なる波長の画像イメージを示す図である。
【図４】図４は、本発明の実施の形態１における画像処理装置の処理の流れを示すフローチャートである。
【図５】図５は、本発明の実施の形態１の変形例における画像処理装置のブロック図である。
【図６】図６は、本発明の実施の形態２における画像処理装置のブロック図である。
【図７】図７は、本発明の実施の形態３における画像処理装置のブロック図である。
【図８】図８は、本実施の形態において、距離の異なる特徴量ブロックを含む量子化ブロックの量子化幅を決定する処理を説明する図である。
【図９】図９は、本発明の実施の形態３の変形例における画像処理装置のブロック図である。
【図１０】図１０は、本発明の実施の形態１〜３における画像処理装置を実現するコンピュータシステムの一例を示す外観図である。
【図１１】図１１は、本発明の実施の形態１〜３における画像処理装置のハードウェア構成の一例を示す図である。
【図１２】図１２は、従来技術による３次元情報検出装置のブロック図である。
【発明を実施するための形態】
【００２８】
以下本発明の実施の形態について、図面を参照しながら説明する。
【００２９】
（実施の形態１）
図１は、本発明のある局面にかかる画像処理装置２００を用いて対象画像データの遠近感を強調する処理のイメージ図である。
【００３０】
図１（ａ）に示される対象画像データに対して、画像処理装置２００による画像処理を施すと、図１（ｂ）に示されるように遠近感がより強調された画像データが得られる。
【００３１】
典型的には、画像処理装置２００はデジタルカメラの内部に組み込まれたＣＰＵ（Central Processing Unit）で実行されるプログラムとして、又は、ＰＣ（Personal Computer）上の画像処理ソフトウェア等として実現される。
【００３２】
図２は、本発明の実施の形態１における画像処理装置２００の構成を示すブロック図である。
【００３３】
図２に示されるように、画像処理装置２００は、取得部２０２と、画像補正部２０１と、差分算出部１０６と、距離情報算出部１０７と、画像加工部１０８と、出力部１０９と、フォーカス処理部１１０と、制御部１１１とを備える。
【００３４】
取得部２０２は、遠近感を付与する対象画像データを取得する処理部である。
【００３５】
より詳しくは、取得部２０２は、撮像部１０１と、可視画像処理部１０４と、紫外画像処理部１０２とを備える。
【００３６】
撮像部１０１は可視光領域を含む複数の異なる波長の光を受光し、各波長の光による画像データを出力する。
【００３７】
本実施の形態における撮像部１０１は、可視光領域に加え、可視光領域外（例えば、紫外線領域）の波長の光を受光し、これらの波長成分に対応する電気信号を出力する。
【００３８】
より具体的には、撮像部１０１は、１画素に対応する撮像素子の受光部の前面に、（１）可視光領域の赤色光のみを透過させるフィルタと、（２）可視光領域の青色光のみを透過させるフィルタと、（３）可視光領域の緑色光のみを透過させるフィルタと、（４）紫外線領域の光のみを透過させるフィルタとを備えている。
【００３９】
よって、撮像部１０１は、同一画素につき（１）〜（４）の４つの波長成分ごとの電気信号を出力することができる。
【００４０】
撮像部１０１から出力される各波長成分に対応した電気信号の内、可視光領域に対応する電気信号は、可視画像処理部１０４によって１画素Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３つの波長成分をそれぞれ含む画像データへ変換される。
【００４１】
一方、紫外線領域に対応する電気信号は、紫外画像処理部１０２によって、同様に、紫外線領域の波長成分を含む画像データへ変換される。
【００４２】
すなわち、取得部２０２は、同一の画素について、赤、青、緑、紫外の４つの波長成分の各々に属する光を受光して得られた画像データを出力する。
【００４３】
画像補正部２０１は、取得部２０２から取得した画像データの色収差を補正する。
【００４４】
より詳細には、画像補正部２０１は、可視画像補正部１０５と、紫外画像補正部１０３とを備える。
【００４５】
可視画像補正部１０５は、可視画像の色収差を補正する。Ｒ、Ｇ、Ｂ各々の画像データは、波長が異なる光によって生成されたものであるから、色収差等による影響があり、色ずれや色にじみが発生する。よって、色収差等による影響が少なくなるようにＲ、Ｇ、Ｂ各々の画像データを補正する。
【００４６】
紫外画像補正部１０３は、可視光領域外（紫外線領域）の波長を含む画像データの色収差を補正する。紫外画像補正部１０３は、可視画像補正部１０５で補正された可視光画像データを基準として紫外画像の色収差を補正する。
【００４７】
可視光の領域内では、色収差は最小限になるように、撮像の段階においてもレンズで調整されているが、可視光の領域外については調整の対象外であることが多く、そのための補正を行うのが紫外画像補正部１０３である。
【００４８】
具体的には、紫外画像は可視画像よりも大きくなる傾向がある（倍率色収差）ため、紫外画像の大きさが可視画像の対応する部分と一致するように、紫外画像の大きさを小さくする。
【００４９】
差分算出部１０６は、可視画像補正部１０５から出力される画像データに含まれる赤色の波長成分の画像データと、紫外画像補正部１０３から出力される画像データとを比較し、波長の異なる画像データ間での特徴量の差分を抽出する。この差分は、対象画像データの奥行き情報の大きさに対応している。なお、特徴量の差分を抽出する方法については、後述する。
【００５０】
距離情報算出部１０７は、差分算出部１０６の出力と、後述するフォーカス処理部１１０から取得した合焦情報（焦点距離）から、距離情報を算出する。その方法については、後述する。
【００５１】
画像加工部１０８は、可視画像補正部１０５から出力される画像データに対し、距離情報算出部１０７から取得した距離情報に基づいて、画像の遠近感を強調するように画像を加工し、奥行き感のある画像を生成する。なお、画像の加工方法については後述する。
【００５２】
出力部１０９は、画像加工部１０８により加工された画像データを、出力する処理部である。例えば、ＲＡＭ（Random Access Memory）上の出力用バッファへの書き込みや、ＨＤＤ（Hard Disk Drive）上へのファイル書き出し等が考えられるが、これらに限られず、画像処理装置２００の後段に加工画像を使用させるために必要な形式で出力を行う。
【００５３】
フォーカス処理部１１０は、撮像部１０１による撮像時の合焦処理を行う。
【００５４】
また、フォーカス処理部１１０は、距離情報算出部１０７へ撮像時の焦点距離を通知する。通知された焦点距離は、前述の通り、距離情報算出部１０７による距離情報の算出に用いられる。
【００５５】
かかる構成によれば、複数のカメラ（撮像装置）や、撮像対象との距離を計測するための専用の装置を付加することなく、１台のカメラで取得した対象画像データから距離情報を取得できる。したがって、コストの増加を抑えながら奥行き感のある画像を生成することができる。また、装置の小型化も可能である。また、光学系の調整等、難しい操作を撮影者が行う必要もない。
【００５６】
すなわち、本実施の形態にかかる画像処理装置２００は、少なくとも可視光領域の波長成分を含む対象画像データに対して、遠近感を強調する処理を施す画像処理装置であって、対象画像データに含まれる波長成分のうち、第１波長成分と、第１波長成分とは異なる第２波長成分の特徴量をそれぞれ算出し、算出された特徴量の差分を算出する差分算出部１０６と、差分の絶対値が大きいほど、強いぼかし加工を対象画像データに施す画像加工部１０８とを備えている。
【００５７】
ここで、第１波長成分とは、対象画像データに含まれる波長成分のうち、第２波長成分よりも波長が長い波長成分である。また、第２波長成分とは、対象画像データに含まれる波長成分のうち、第１波長成分よりも波長が短い波長成分である。
【００５８】
より好ましくは、第１波長成分を、Ｒ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）のうちのいずれかの可視光領域に対応する波長成分とし、第２波長成分を、紫外線領域に対応する波長成分とすることが考えられる。
【００５９】
また、より具体的には、特徴量には、第１波長成分及び第２波長成分の各々の画像の高周波数成分の量を用いることが考えられる。
【００６０】
また、画像処理装置２００は、特徴量の差分に対象画像データが撮像された際の焦点距離に応じて定まる変換係数を乗ずることにより、特徴量の差分から対象画像の奥行き情報に対応する距離情報を算出する距離情報算出部を備えていてもよい。
【００６１】
この場合、画像加工部１０８は、距離情報で示される距離が長いほど、強いぼかし加工を対象画像データに施すことになる。
【００６２】
また、画像処理装置２００は、第１波長成分のみを透過させるフィルタと、第２波長成分のみを透過させるフィルタとを備えた撮像部を有する取得部を備えていてもよい。
【００６３】
取得部２０２は、撮像部１０１により撮像された対象画像データの第１波長成分及び第２波長成分を取得し、差分算出部１０６は、取得部２０２によって取得された第１波長成分及び第２波長成分の特徴量及びその差分を算出する。
【００６４】
以下、本実施の形態に係る画像処理装置２００について詳しく説明する。
【００６５】
撮像部１０１は可視光領域を含む複数の異なる波長の光を受光し、各波長の光による画像データを出力するものである。本実施の形態では、可視光領域に加え、可視光領域外の波長の光として、紫外線（より具体的には、近紫外線）による画像データを出力する場合を例として説明する。
【００６６】
撮像部１０１の出力の内、可視光領域のデータは可視画像処理部１０４によって１画素Ｒ（赤）、Ｇ（緑）、Ｂ（青）のデータとなり、可視画像補正部１０５で色収差等の影響が少なくなるように補正される。撮像部１０１の出力の内、可視光領域外の波長のデータとして近紫外線による画像データが紫外画像処理部１０２によって処理され、紫外画像補正部１０３では可視画像補正部１０５で補正された可視光画像データを基準にして補正される。
【００６７】
すなわち、可視画像補正部１０５で実行される補正量と、近紫外線の波長とレンズの特性とから紫外画像補正部１０３での補正量を算出して補正を実行する。この補正により、差分算出部１０６において画素単位での比較が可能となる。
【００６８】
差分算出部１０６では、紫外画像補正部１０３から出力される近紫外線領域の波長成分からなる画像データと、可視画像補正部１０５から出力される画像データの中で（波長の短い）近紫外線に対して最も波長の差が有るＲ（赤）領域の波長成分からなる画像データとを比較する。
【００６９】
光には、波長が短くなると、大気中での散乱を受けやすく、遠景はかすむという特性がある。従って、近紫外線領域の波長成分からなる画像は可視光領域の波長成分からなる画像と比較し、より遠景が霞んだ（ボケた）画像となる。
【００７０】
また、可視光領域内でも、波長の長いＲ（赤）領域の波長成分からなる画像データは、遠景まではっきりと写るが、波長の短いＢ（青）領域の波長成分からなる画像データでは遠景は霞んだ画像となる。
【００７１】
図３は、各波長による画像のイメージを図示したものである。
【００７２】
図３（ａ）は、可視光のＲ（赤）領域の波長成分からなる画像のイメージ図であり、遠景もくっきりした画像である。
【００７３】
図３（ｂ）は可視光のＧ（緑）領域の波長成分からなる画像のイメージ図であり、図３（ｃ）は可視光のＢ（青）領域の波長成分からなる画像のイメージ図である。
【００７４】
図３（ｃ）に示されるように、可視光のＢ（青）領域の波長成分からなる画像では遠景がやや霞んだ状態になる。
【００７５】
図３（ｄ）は近紫外線領域の波長成分からなる画像のイメージ図である。
【００７６】
図３（ｄ）に示されるように、近紫外線領域の波長成分からなる画像では、遠景は霞み、全体的に輝度の小さな暗めの画像となる。
【００７７】
図３に示されるように、最も画像の差があるのは波長が最も離れている図３（ａ）の可視光のＲ（赤）領域の波長成分からなる画像データと、図３（ｄ）の近紫外線領域の波長成分からなる画像データである。
【００７８】
すなわち、差分算出部１０６で比較する画像としては、紫外画像補正部１０３から出力される近紫外線領域の波長成分からなる画像データに対しては、可視画像補正部１０５から出力される可視光領域の画像データでＲ（赤）領域の波長成分からなる画像データが適している。
【００７９】
差分算出部１０６では、近紫外線領域の波長成分からなる画像データと可視光領域のＲ（赤）領域の波長成分からなる画像データとを比較し、画像毎の霞み（ボケ）の相違の度合いを抽出する。
【００８０】
ここで、霞み具合の相違を算出する方法として、例えば画像の高周波数成分を特徴量として、その差を算出することが考えられる。
【００８１】
具体的には、例えば縦横が８画素のブロックを設定し、そのブロック単位で比較対象とする２つの画像に離散コサイン変換を施すことで、各画像に含まれる各空間周波数成分の量を算出する。
【００８２】
一般に、高周波数成分がより少ない画像はより霞んだ（ボケた）画像となる。したがって、異なる波長成分からなる画像のブロック単位の比較による高周波成分の量の差は、画像の霞み具合の差に対応することとなる。
【００８３】
また、差分算出部１０６が霞み具合の相違を算出する別な方法として、画素値の微分係数を特徴量として、その差を算出することが考えられる。
【００８４】
具体的には、差分算出部１０６は、例えば、比較対象とする２つの画像データ各々に共通のある画素の画素値と、その画素の前後左右に隣接する４画素の画素値との、微分係数をそれぞれ算出する。さらに、画像データごとに、それぞれ４つの微分係数の平均値を差分算出部１０６は算出する。
【００８５】
一般に、画素値の微分係数が小さい画像はより霞んだ画像となる。したがって、異なる波長成分からなる画像における画素値の微分係数（の平均値）の差は、画像の霞み具合の差に対応することとなる。
【００８６】
距離情報算出部１０７は、差分算出部１０６で抽出された画素毎の相違を、フォーカス処理部１１０からの合焦情報を加味しながら距離情報に置き換え、特徴量の算出に用いたブロックごと又は画素毎の距離情報として取得する。
【００８７】
すなわち、撮像部から得られる画像データは、その焦点距離によって、ボケ具合が異なる。例えば、焦点距離が近い場合、撮像部からの距離に応じて遠いほど、ボケが強くなるが、焦点距離が遠い場合、合焦地点以外が、ボケる傾向にある。
【００８８】
よって、画像加工部１０８は、差分算出部１０６が算出した特徴量の差分に、焦点距離ごとに別途定められる定数を乗ずることで、距離情報を算出する。
【００８９】
次に、画像加工部１０８では、可視画像補正部１０５から出力される可視光領域の画像データに対し、距離情報算出部１０７で算出した距離情報に基づいて、遠距離になる程、霞み（ボケ）の度合いを強調するように画像を加工することで、奥行き感のある画像を生成することが可能となる。
【００９０】
具体的には、例えば平滑化フィルタを対象画像のブロック又は画素に対して適用することが考えられる。
【００９１】
より具体的には、差分算出部１０６で算出される特徴量としてブロック単位での高周波成分の量を使用した場合、特徴量の算出に用いたブロックと同じ大きさのブロックについて、画像加工部１０８がガウシアンフィルタを適用することが考えられる。
【００９２】
この場合、ガウシアンフィルタに用いるガウス分布の分散が大きいほど、平滑化の効果が強まる（すなわち、ボケた画像となる）。よって、高周波成分の量の差の絶対値が大きいほど、画像加工部１０８は、分散を大きくしたガウシアンフィルタを適用することになる。
【００９３】
他の例として、差分算出部１０６で算出される特徴量として画素単位での画素値の微分係数を使用した場合、画像加工部１０８は、特徴量の算出に用いた画素及びその画素の周囲数画素（例えば１画素や２画素）からなるブロックを設定し、そのブロックについて、前述のようにガウシアンフィルタを適用することが考えられる。
【００９４】
さらに他の例として、次のように、離散フーリエ変換及び逆変換を用いることも考えられる。
【００９５】
画像加工部１０８は、まず、差分算出部１０６で算出される特徴量の算出に用いたブロックと同じ大きさのブロック単位で、対象画像データに離散コサイン変換を施す。
【００９６】
次に、差分算出部１０６で得られた特徴量の差の絶対値又は、距離情報算出部１０７で得られた距離情報が大きいほど、大きな量子化幅を用いて、離散コサイン変換で得られた変換係数を量子化する。
【００９７】
次に量子化後の対象画像データに対し、逆離散コサイン変換を施すことで、距離情報に対応して、ぼかしを強調した画像を生成することができる。
【００９８】
なお、上記の各ぼかし処理を適用する際には、可視光領域に含まれるＲ、Ｇ、Ｂの波長成分ごとに、及び、各ブロック又は画素ごとに、処理を適用する。
【００９９】
図４は、本実施の形態における画像処理装置２００の処理の流れを示すフローチャートである。
【０１００】
まず、取得部２０２は、可視光領域及び可視外（近赤外、近紫外等）領域の波長成分からなる画像データを取得する（Ｓ２１０）。
【０１０１】
次に、画像補正部２０１は、前述のように２つの波長領域ごとに画像データの色収差を補正し画像のサイズを一致させることで、異なる波長領域間で同一の空間位置（座標位置）の画素あるいはブロックごとに特徴量を比較できるように処理する（Ｓ２１２）。
【０１０２】
次に、差分算出部１０６は、２つの波長領域の画像データに含まれる画素又はブロックごとに、前述のような特徴量を算出する。さらに、特徴量の波長領域間での差分を算出する（Ｓ２１４）。
【０１０３】
次に、距離情報算出部１０７は、フォーカス処理部１１０から対象画像の撮像時の焦点距離を取得し、その距離に応じた定数を乗じることで、対象画像の奥行き情報に対応する距離情報を算出する（Ｓ２１６）。
【０１０４】
次に、画像加工部１０８は、差分算出部１０６から得られた特徴量の差の絶対値の大きさ、又は、画像加工部１０８の距離が大きいブロック又は画素ほど、より強く、ボケるように前述の画像処理を施すことにより、対象画像の遠近感を強調する（Ｓ２１８）。
【０１０５】
最後に、出力部１０９が、加工後の対象画像データを出力する。
【０１０６】
以上述べた本実施の形態にかかる画像処理装置２００によると、光学系等の特殊な調整を行うことなく、１台のカメラを用いた撮像により、異なる波長成分からなる２以上の画像データを取得し、その画像データ間のボケ具合の差から対象画像の奥行き情報に対応する情報を算出することができる。
【０１０７】
その結果、奥行き情報に対応して立体感を強調する画像処理を対象画像データに施すことができる。
【０１０８】
（変形例）
次に、実施の形態１に画像データ記憶部３１２を追加した変形例について説明する。
【０１０９】
図５は、画像データと距離情報を画像データ記憶部３１２に格納できるようにした本変形例における画像処理装置２００の構成を示すブロック図である。
【０１１０】
図５に示されるように、本変形例に係る画像処理装置２００では、実施の形態１で示した画像処理装置２００の構成に、さらに、画像データ記憶部３１２を設けている。
【０１１１】
画像処理装置２００は、取得部２０２で取得した画像データを、画像補正部２０１で補正後、出力部１０９から出力する前に、画像データ記憶部３１２に格納する。その後、例えばユーザからの要求により出力部１０９から遠近感を強調した画像を出力する必要が生じた際には、画像データを画像データ記憶部３１２から読み出し、以後、前述と同様に、差分算出部１０６、距離情報算出部１０７及び画像加工部１０８で処理を行う。
【０１１２】
なお、画像データ記憶部３１２は、取得部２０２から取得した補正前の画像データを記憶してもよい。その場合、画像処理装置２００は、画像データ記憶部３１２から画像データを読み出した後、まず、画像補正部２０１で色収差等の補正をした後、前述の処理を行う。
【０１１３】
すなわち、本実施の形態に係る画像処理装置２００は、実施の形態１で述べた画像処理装置２００の構成に加え、さらに、色収差等の補正後の対象画像データを記憶する画像データ記憶部３１２を備えている。
【０１１４】
差分算出部１０６は、画像データ記憶部３１２に記憶されている補正後の対象画像データを用いて、特徴量の差分を算出する。
【０１１５】
この構成により、撮像部１０１により撮像するタイミングに依存することなく、必要に応じて画像加工部１０８で奥行き感のある画像を生成することが可能となる。
【０１１６】
また、差分算出部１０６や距離情報算出部１０７のように計算コストが高い処理の実行タイミングを、取得部２０２のようにリアルタイム性が要求される処置とずらすことで、画像処理装置２００に要求される計算処理能力を抑えつつ、快適な操作を実現することができる。
【０１１７】
なお、実施の形態１に係る画像処理装置２００は、必ずしも図２に記載した全ての構成要素を備える必要はなく、差分算出部１０６と画像加工部１０８のみを備えることで、画像処理装置２００を実施することが可能である。
【０１１８】
すなわち、後述する実施の形態２のように、既に撮像された外部の画像データを例えば画像ファイルとして読み込むことで、撮像部１０１、可視画像処理部１０４、紫外画像処理部１０２及びフォーカス処理部１１０を備えずとも同様の効果が得られる。
【０１１９】
また、可視画像補正部１０５及び紫外画像補正部１０３を備えずとも、一般に同一画像データの近接する画素値は値が近いため、色収差により多少の画像サイズの違いがある２つの画像の特徴量を比較することで、適切な奥行き情報を取得できる。その結果、可視画像補正部１０５及び紫外画像補正部１０３を備える場合と同様の効果が得られる。
【０１２０】
また、距離情報算出部１０７を備えずとも、前述のように、差分算出部１０６から得られる特徴量の差の絶対値を用いて、対象画像の奥行き情報に対応する情報を得ることができる。その結果、距離情報算出部１０７を備える場合と同様の効果が得られる。
【０１２１】
また、出力部１０９を備えずとも、例えば加工済みの画像データを使用する後段の処理部が、画像加工部１０８が使用するＲＡＭ（Random Access Memory）領域から遠近感を付与した後の画像データを直接読み出すことにより、出力部１０９を備える場合と同様の効果が得られる。
【０１２２】
（実施の形態２）
次に、撮像部を備えない画像処理装置２００の実施の形態を実施の形態２として説明する。
【０１２３】
図６は、本発明の実施の形態２における画像処理装置の構成を示すブロック図である。
【０１２４】
なお、図６において、図２と同様の機能を果たす構成要素については同じ符号を用い、説明を省略する。
【０１２５】
図６に示されるように、本実施の形態における取得部２０３は、画像入力部４１３及び分離部４１４を備える。
【０１２６】
画像入力部４１３は、可視光領域を含む複数の波長の異なる光を撮像素子が受光することで生成された画像データを画像処理装置２００の外部から取得する入力インタフェースである。
【０１２７】
本実施の形態では、実施の形態１と同様に、可視領域及び可視領域外（近紫外線領域）の波長成分を含む画像データを取得する場合を例として説明する。
【０１２８】
画像入力部４１３から取得された対象画像データは、分離部４１４によって波長毎の画像データに分離される。
【０１２９】
本実施の形態では、分離部４１４において、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各可視光領域の波長成分からなる３つの画像データと、近紫外線領域の波長成分からなる画像データに分離される。
【０１３０】
画像補正部２０１は、色収差等による影響が少なくなるようにＲ、Ｇ、Ｂ各々の波長成分からなる画像データを補正する。
【０１３１】
差分算出部１０６は、可視画像補正部１０５から出力される画像データの中で、一つの波長成分からなる画像データと紫外画像補正部１０３から出力される画像データを比較し、波長成分の異なる画像データ間での特徴量の差分を算出する。
【０１３２】
距離情報算出部１０７は、差分算出部１０６の出力と合焦情報（焦点距離）とから、対象画像の奥行き情報に対応する距離情報を取得する。
【０１３３】
ここで、本実施の形態においては、画像入力部４１３から取得した画像データに含まれるメタデータから焦点距離を取得することが考えられる。
【０１３４】
より具体的には、デジタルカメラ等で撮像された画像データに付加されるＥｘｉｆ（Exchangeable Image File Format）形式のメタデータから、焦点距離を取得することが考えられる。
【０１３５】
画像加工部１０８は、可視画像補正部１０５から出力される画像データに対し、距離情報算出部１０７により算出された距離情報が大きいほど、より遠近感を強調するより強いボケ加工を対象画像に施すことで、奥行き感を強調した画像を生成する。
【０１３６】
出力部１０９は、画像加工部１０８により生成された画像を出力する。
【０１３７】
すなわち、本実施の形態における画像処理装置２００が備える取得部２０３は、第１波長成分及び第２波長成分を含む画像データを対象画像データとして取得する画像入力部４１３と、対象画像データから、第１波長成分及び第２波長成分をそれぞれ分離する分離部４１４とを有する。
【０１３８】
このとき、差分算出部１０６は、分離部４１４から取得した第１波長成分及び第２波長成分の特徴量及びその差分を算出することとなる。
【０１３９】
以下、本形態の画像処理装置の処理の流れについて詳しく説明する。
【０１４０】
まず、画像入力部４１３は、可視領域を含む複数の波長成分からなる対象画像データを取得する。
【０１４１】
次に、分離部４１４は、取得された対象画像データを、可視領域のＲ（赤）、Ｇ（緑）、Ｂ（青）の各々の波長成分からなる３つの画像データと、可視領域外の近紫外線による画像データに分離する。
【０１４２】
次に、可視画像補正部１０５は、可視領域の波長成分からなる３つの画像データに含まれる色収差を補正する。また、紫外画像補正部１０３は、近紫外線領域の波長成分からなる画像データに含まれる色収差を補正する。
【０１４３】
その際、紫外画像補正部１０３は、可視画像補正部１０５で補正された可視光領域の波長成分からなる画像データの大きさを基準にして、それに大きさが一致するように補正される。
【０１４４】
次に、差分算出部１０６は、紫外画像補正部１０３から出力される近紫外線領域の波長成分からなる画像データと、可視画像補正部１０５から出力される可視領域の波長成分からな画像データの中で、最も波長の短い近紫外線と、最も波長の差があるＲ（赤）領域の波長成分からなる画像データとを比較する。
【０１４５】
具体的には、差分算出部１０６は、近紫外線領域の波長成分からなる画像データの特徴量と可視光領域のＲ（赤）領域の波長成分からなる画像データの特徴量とを比較し、特徴量の算出に用いたブロック又は画素毎の霞み（ボケ）の相違の度合い（差分）を算出する。
【０１４６】
次に、距離情報算出部１０７は、差分算出部１０６で抽出された特徴量の差分から距離情報を算出し、ブロック又は画素ごとの距離情報として取得する。
【０１４７】
画像加工部１０８では、可視画像補正部１０５から出力される可視領域の画像データに対し、距離情報算出部１０７で取得した距離情報に基づいて、遠距離になる程、霞み（ボケ）の度合いを強調するように画像を加工することで、奥行き感の強調された画像を生成する。
【０１４８】
なお、差分算出部１０６が算出する特徴量は、実施の形態１で説明したものと同様のものを使用する。
【０１４９】
また、本実施の形態において、可視領域外として近紫外線領域、可視領域内としてＲ（赤）領域の波長成分からなる画像データを選択し、特徴量の値を比較することで対象画像の奥行き情報（又は距離情報）を取得する例を説明した。しかし、可視領域外として近赤外線領域、可視領域内としてＢ（青）領域の波長成分からなる画像データを選択し、特徴量の値を比較することで対象画像の奥行き情報（又は距離情報）を取得しても良い。
【０１５０】
さらにまた、可視領域内のＲ（赤）領域による画像データと、Ｂ（青）領域による画像データとを比較して対象画像の奥行き情報（又は距離情報）を取得することにより、紫外画像補正部１０３を省略してもよいのは、実施の形態１と同様である。
【０１５１】
以上、本実施の形態で述べた構成によれば、撮像装置から直接画像データを取得する場合以外にも、ＨＤＤ（Hard Disk Drive）内の画像ファイル等、外部の画像データを取得し、奥行き情報を取得し、奥行き感を強調した画像を生成することができる。
【０１５２】
また、撮像装置を省き、例えばＰＣ（Personal Computer）上で動作するコンピュータソフトウェアとして画像処理装置２００を実装することにより、画像処理装置２００を小型化・省コスト化することが可能となる。
【０１５３】
（実施の形態３）
次に、実施の形態１で説明した画像処理装置２００に、さらに、符号化部５１６を備えた実施の形態３に係る画像処理装置２００について説明する。
【０１５４】
図７は、本発明の実施の形態３における画像処理装置の構成を示すブロック図である。
【０１５５】
なお、図７において、図２と同様の機能を果たす構成要素については同じ符号を用い、説明を省略する。また、本実施の形態では、実施の形態１と同様に、可視光領域に加え、可視光領域外（近紫外線領域）の波長成分からなる画像データを出力する場合を例として説明する。
【０１５６】
実施の形態３が実施の形態１と異なる点は、さらに、画像データ変換部５１５及び符号化部５１６を備えている点である。
【０１５７】
画像データ変換部５１５は、可視画像補正部１０５から出力される画像データに対し、必要に応じて画像データの変換を行う。例としては、ＲＧＢデータからＹＵＶデータへの変換が考えられる。これにより、画像データのデータサイズを小さくすることができる。
【０１５８】
画像加工部１０８及び符号化部５１６は、距離情報算出部１０７で取得された距離情報に基づいて符号化する際の符号量割り当て制御を行う。
【０１５９】
以下、本実施の形態に係る画像処理装置２００において、画像加工部１０８及び符号化部５１６が行う処理について詳しく説明する。
【０１６０】
まず、画像加工部１０８は、前述の通り、画像データ変換部５１５から取得した対象画像データに対してブロック（量子化ブロック）単位で離散コサイン変換を施す。
【０１６１】
ここで、量子化ブロックは、差分算出部１０６が特徴量を算出する際に使用したブロック又は画素（以後、特徴量ブロックという）のうち、隣接する１以上のものをまとめて生成することが考えられる。すなわち、１つの量子化ブロックには、距離情報算出部１０７によって距離が異なると判断される複数の特徴量ブロックが含まれてもよい。
【０１６２】
次に、画像加工部１０８は、得られた変換係数を、対象の量子化ブロックの距離が遠いほど、大きな量子化幅を用いて量子化する。
【０１６３】
実施の形態１における画像加工部１０８と異なる点は、画像加工部１０８は量子化後のデータに対して逆変換を施さず、符号化部５１６へ出力することである。
【０１６４】
次に、符号化部５１６は、量子化された対象画像データを符号化する。
【０１６５】
具体的には、ハフマン符号等を用いたエントロピー符号化等、符号量（対象画像データのデータサイズ）を削減できる符号化手法を用いることが好ましい。
【０１６６】
最後に、出力部１０９は、符号化部５１６により符号化された対象画像データを出力する。
【０１６７】
すなわち、本実施の形態における画像処理装置２００は、さらに、符号化部を備えており、画像加工部１０８は、対象画像データを離散コサイン変換する。
【０１６８】
また、画像加工部１０８は、差分算出部１０６で算出された特徴量の差分の絶対値が大きいほど、大きな量子化幅を用いて離散コサイン変換で得られた変換係数を量子化する。
【０１６９】
また、符号化部５１６は、量子化された変換係数を符号化する。
【０１７０】
以下詳細に説明する。
【０１７１】
図８は、本実施の形態において、距離の異なる特徴量ブロックを含む量子化ブロックの量子化幅を決定する処理を説明する図である。
【０１７２】
図８（ａ）に示されている画像は、取得部２０２によって取得された対象画像である。
【０１７３】
先に述べたように、符号化部５１６は対象画像を所定の量子化ブロック単位で符号化する。
【０１７４】
図８（ｂ）〜図８（ｄ）は、対象画像データから量子化ブロックを抜き出したものである。各量子化ブロックは、それぞれ複数の特徴量ブロックを含む。
【０１７５】
図８（ｂ）〜図８（ｄ）は、また、特徴量ブロックごとに、距離情報算出部１０７から取得した距離情報の区分（近距離、中距離、遠距離）を示す。
【０１７６】
図８（ｂ）に示されるブロックは、遠距離領域のみを含むブロックであるため、符号化時の符号量割り当てを少なく（例えば、画像加工部１０８における量子化時の量子化幅を３２に）する。
【０１７７】
図８（ｃ）に示されるブロックは、遠距離及び中距離領域を含むブロックであるため、図８（ｂ）に示されるブロックよりも符号量割り当てを多く（例えば、画像加工部１０８による量子化幅を、図８（ｂ）に示されるブロックの３倍に設定）する。
【０１７８】
図８（ｄ）に示されるブロックは、近距離及び中距離領域を含むブロックであるため、図８（ｃ）に示されるブロックよりも符号量割り当てを多く（例えば、画像加工部１０８による量子化幅を、１６に）する。
【０１７９】
以上述べたように、本実施の形態に係る画像処理装置２００によると、量子化ブロックに含まれる特徴量ブロックごとの、距離情報算出部１０７により算出された距離情報の割合から、量子化幅の大きさを決定することで、最終的な画像データに割り当てられる符号量を削減しながら奥行き感を強調した画像データを得ることができる。その結果、対象画像データの保存や伝達コストを抑えるメリットが生じる。
【０１８０】
また、複数のカメラ（撮像装置）や距離を計測する専用の装置を付加することなく距離情報を取得するため、コスト増加を最小限に抑えながら奥行き感のある画像を生成することができる。また、装置の小型化も可能である。
【０１８１】
（変形例）
次に、図９を用いて実施の形態３の変形例について説明する。
【０１８２】
図９に示される本変形例に係る画像処理装置２００は、図７に示される画像処理装置２００と異なり、取得部２０３が撮像部１０１を備えずに、画像入力部４１３によって画像処理装置２００の外部から画像データを取得する。
【０１８３】
なお、取得部２０３が備える画像入力部４１３及び分離部４１４は、実施の形態２と同様の機能を有するため、説明を省略する。
【０１８４】
以上述べた変形例によると、撮像装置から直接画像データを取得する場合以外にも、ＨＤＤ（Hard Disk Drive）内の画像ファイル等、外部の画像データを取得し、奥行き感を強調した画像データを符号化することができる。
【０１８５】
また、撮像装置を省き、例えばＰＣ（Personal Computer）上で動作するコンピュータソフトウェアとして画像処理装置２００を実装することにより、画像処理装置２００を小型化・省コスト化することが可能となる。
【０１８６】
なお、実施の形態１〜３及びその変形例において、可視光領域外として近紫外線領域の波長成分からなる画像データを使用し、可視光領域内としてＲ（赤）領域の波長成分からなる画像データを使用する例を説明したが、可視光領域外の波長成分として近赤外線を、可視光領域内の波長成分としてＢ（青）領域の波長成分を、それぞれ使用し、各波長成分からなる画像データを比較して距離情報を取得しても良い。また、可視光領域内のＲ（赤）波長成分からなる画像データと、Ｂ（青）波長成分からなる画像データとを比較して距離情報を取得するようにし、紫外画像処理部１０２と、紫外画像補正部１０３を省略しても良い。
【０１８７】
例えば、実施の形態１及び３の撮像部１０１において、青色光のみを透過させるフィルタに代わり、青色光に加えて紫外線領域の光まで透過させるものを使用することで、赤、青、緑の３色のフィルタを受光部の前面に備えた撮像素子を用いることもできる。
【０１８８】
また、撮像部１０１において、可視光領域に含まれる赤、青、緑の３色のフィルタのみを備えた撮像素子を用いることもできる。ただし、紫外線領域を用いる場合と比較し、取得できる奥行き情報の精度が落ちるため、上述のように紫外線領域に含まれる光の透過フィルタを備えることが望ましい。
【０１８９】
また、実施の形態１〜３及びその変形例において、画像処理装置２００が可視光領域外の波長成分として紫外線領域以外（例えば、赤外領域）に含まれる波長成分を使用する場合には、紫外画像処理部１０２は、使用する波長領域に応じて、可視画像と同じ大きさの画像となるように補正を行うこととなる。
【０１９０】
また、実施の形態１〜３及びその変形例において、差分算出部１０６は、可視画像補正部１０５から出力される他の色（緑色又は青色）の波長成分の画像データと、紫外画像補正部１０３から出力される画像データとを比較してもよい。または、差分算出部１０６は、可視画像補正部１０５から出力されるある１色の波長成分の画像データと、可視画像補正部１０５から出力される別の１色の波長成分の画像データとを比較してもよい。
【０１９１】
なお、実施の形態１〜３及びその変形例において、差分算出部１０６が対象画像データに離散コサイン変換を施す単位は、縦横が８画素のブロックに限定されず、１６画素や６４画素等の正方形のブロックや、長方形その他の形状のブロックであってもよい。
【０１９２】
なお、実施の形態１〜３及びその変形例において、画像加工部１０８が用いる平滑化フィルタは、ガウシアンフィルタに限られず、移動平均を用いたもの等であってもよい。また、画像加工部１０８は、視覚的に画像をぼかす、その他の任意の画像処理を施してもよい。
【０１９３】
なお、実施の形態１〜３及びその変形例において、画像加工部１０８は、距離情報算出部１０７による距離情報に代わり、差分算出部１０６による特徴量の差分の絶対値を距離情報に対応する情報として使用してもよい。すなわち、特徴量の差の絶対値が大きいほど、遠方にあるとして、画像加工部１０８がボケ度合いを強調することで、遠近感を強調した画像を生成することが可能である。
【０１９４】
なお、実施の形態１及び３では、撮像部１０１は１つであるが、複数の撮像部を設け、異なる視点からの画像を用いて取得した３次元情報もしくは距離情報を併用しても良い。
【０１９５】
なお、実施の形態３及び変形例において、実施の形態１の変形例で示したような画像データ記憶部３１２をさらに設けてもよい。画像データ記憶部３１２に記憶されているデータに対して、画像データ変換部５１５、符号化部５１６及び画像加工部１０８が処理を行うことで、画像処理装置２００が行う計算処理の負荷を異なる時間に分散させることができる。
【０１９６】
なお、実施の形態１〜３において、画像加工部１０８は離散コサイン変換に代わり、離散フーリエ変換、離散サイン変換、カルーネン・レーブ変換、ウェーブレット変換、ウォルシュ・アダマール変換等、一般にデータ圧縮において使用される任意のデータ変換処理を使用してもよい。
【０１９７】
なお、実施の形態１〜３で説明した画像処理装置は、コンピュータにより実現することが可能である。図１０を参照して、画像処理装置は、コンピュータ３４と、コンピュータ３４に指示を与えるためのキーボード３６及びマウス３８と、コンピュータ３４の演算結果等の情報を提示するためのディスプレイ３２と、コンピュータ３４で実行されるプログラムを読み取るためのＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）装置４０及び通信モデム（図示せず）とを含む。
【０１９８】
画像処理装置が行う処理であるプログラムは、コンピュータで読取可能な媒体であるＣＤ−ＲＯＭ４２に記憶され、ＣＤ−ＲＯＭ装置４０で読み取られる。又は、コンピュータネットワークを通じて通信モデムで読み取られる。
【０１９９】
図１１は、画像処理装置を実現するコンピュータシステムのハードウェア構成を示すブロック図である。コンピュータ３４は、ＣＰＵ（Central Processing Unit）４４と、ＲＯＭ（Read Only Memory）４６と、ＲＡＭ（Random Access Memory）４８と、ハードディスク５０と、通信モデム５２と、バス５４とを含む。
【０２００】
ＣＰＵ４４は、ＣＤ−ＲＯＭ装置４０又は通信モデム５２を介して読み取られたプログラムを実行する。ＲＯＭ４６は、コンピュータ３４の動作に必要なプログラムやデータを記憶する。ＲＡＭ４８は、プログラム実行時のパラメタなどのデータを記憶する。ハードディスク５０は、プログラムやデータなどを記憶する。通信モデム５２は、コンピュータネットワークを介して他のコンピュータとの通信を行う。バス５４は、ＣＰＵ４４、ＲＯＭ４６、ＲＡＭ４８、ハードディスク５０、通信モデム５２、ディスプレイ３２、キーボード３６、マウス３８及びＣＤ−ＲＯＭ装置４０を相互に接続する。
【０２０１】
さらに、上記の各装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Large Scale Integration：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
【０２０２】
さらにまた、上記の各装置を構成する構成要素の一部又は全部は、各装置に脱着可能なＩＣカード又は単体のモジュールから構成されているとしてもよい。ＩＣカード又はモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカード又はモジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ＩＣカード又はモジュールは、その機能を達成する。このＩＣカード又はこのモジュールは、耐タンパ性を有するとしてもよい。
【０２０３】
また、本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
【０２０４】
さらに、本発明は、上記コンピュータプログラム又は上記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Blu-ray Disc（登録商標））、ＵＳＢメモリ、ＳＤカードなどのメモリカード、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている上記デジタル信号であるとしてもよい。
【０２０５】
また、本発明は、上記コンピュータプログラム又は上記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
【０２０６】
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムに従って動作するとしてもよい。
【０２０７】
また、上記プログラム又は上記デジタル信号を上記記録媒体に記録して移送することにより、又は上記プログラム又は上記デジタル信号を上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
【０２０８】
さらに、上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
【０２０９】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【産業上の利用可能性】
【０２１０】
本発明にかかる画像処理装置は、波長の異なる光による画像から距離情報を取得する機能を有し、距離情報に基づく奥行き感のある画像生成することができるビデオカメラ、デジタルスチルカメラ等として有用である。また、転送レートの低いネットワークにおいても画像の送信が必要となる監視カメラ、ネットワークカメラの符号量を削減する等の用途にも応用できる。
【符号の説明】
【０２１１】
３２ ディスプレイ
３４ コンピュータ
３６ キーボード
３８ マウス
４０ ＣＤ−ＲＯＭ装置
４２ ＣＤ−ＲＯＭ
４４ ＣＰＵ
４６ ＲＯＭ
４８ ＲＡＭ
５０ ハードディスク
５２ 通信モデム
５４ バス
１０１ 撮像部
１０２ 紫外画像処理部
１０３ 紫外画像補正部
１０４ 可視画像処理部
１０５ 可視画像補正部
１０６ 差分算出部
１０７ 距離情報算出部
１０８ 画像加工部
１０９ 出力部
１１０ フォーカス処理部
２００ 画像処理装置
２０１ 画像補正部
２０２、２０３ 取得部
３１２ 画像データ記憶部
４１３ 画像入力部
４１４ 分離部
５１５ 画像データ変換部
５１６ 符号化部
【特許請求の範囲】
【請求項１】
少なくとも可視光領域の波長成分を含む対象画像データに対して、遠近感を強調する処理を施す画像処理装置であって、
前記対象画像データは複数の領域を有しており、
前記画像処理装置は、前記複数の領域に含まれる第１の領域に含まれる波長成分のうち、第１波長成分と、前記第１波長成分とは異なる第２波長成分の特徴量をそれぞれ算出し、算出された前記特徴量の差分を算出する差分算出部と、
前記差分の絶対値が大きいほど、強いぼかし加工を前記第１の領域に施す画像加工部とを備える
画像処理装置。
【請求項２】
前記第１波長成分は、Ｒ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）のうちのいずれかの可視光領域に対応する波長成分であり、
前記第２波長成分は、紫外線領域に対応する波長成分である
請求項１に記載の画像処理装置。
【請求項３】
前記特徴量は、前記第１波長成分及び前記第２波長成分の各々の画像の高周波数成分の量である
請求項１又は２に記載の画像処理装置。
【請求項４】
前記画像加工部は、前記対象画像データを離散コサイン変換することにより得られる変換係数を、前記差分の絶対値が大きいほど大きな量子化幅で量子化することにより、前記対象画像データにぼかし加工を施す
請求項１に記載の画像処理装置。
【請求項５】
前記画像加工部は、前記対象画像データに対して、前記差分の絶対値が大きいほど、対象ブロック内の画素値の分散が大きくなるように作用する平滑化フィルタを施すことにより、前記対象画像データにぼかし加工を施す
請求項１に記載の画像処理装置。
【請求項６】
さらに、前記特徴量の差分に前記対象画像データが撮像された際の焦点距離に応じて定まる変換係数を乗ずることにより、前記特徴量の差分から対象画像の奥行き情報に対応する距離情報を算出する距離情報算出部を備えており、
前記画像加工部は、前記距離情報で示される距離が長いほど、強いぼかし加工を前記対象画像データに施す
請求項１に記載の画像処理装置。
【請求項７】
さらに、前記対象画像データの色収差を補正する画像補正部と、
前記補正後の対象画像データを記憶する画像データ記憶部とを備えており、
前記差分算出部は、前記画像データ記憶部に記憶されている補正後の前記対象画像データを用いて、前記特徴量の差分を算出する
請求項１に記載の画像処理装置。
【請求項８】
さらに、前記第１波長成分のみを透過させるフィルタと、前記第２波長成分のみを透過させるフィルタとを備えた撮像部を有する取得部を備えており、
前記取得部は、前記撮像部により撮像された前記対象画像データの前記第１波長成分及び前記第２波長成分を取得し、
前記差分算出部は、前記取得部によって取得された前記第１波長成分及び前記第２波長成分の前記特徴量及びその差分を算出する
請求項１に記載の画像処理装置。
【請求項９】
さらに、前記第１波長成分及び前記第２波長成分を含む画像データを前記対象画像データとして取得する画像入力部と、前記対象画像データから、前記第１波長成分及び前記第２波長成分をそれぞれ分離する分離部とを有する取得部を備えており、
前記差分算出部は、前記分離部から取得した前記第１波長成分及び前記第２波長成分の前記特徴量及びその差分を算出する
請求項１に記載の画像処理装置。
【請求項１０】
さらに、符号化部を備えており、
前記画像加工部は、前記対象画像データを離散コサイン変換した後に、前記差分の絶対値が大きいほど、大きな量子化幅を用いて前記離散コサイン変換で得られた変換係数を量子化し、
前記符号化部は、前記量子化された変換係数を符号化する
請求項１に記載の画像処理装置。
【請求項１１】
少なくとも可視光領域の波長成分を含む対象画像データに対して、遠近感を強調する処理を施す画像処理方法であって、
前記対象画像データは複数の領域を有しており、
前記画像処理方法は、前記複数の領域に含まれる第１の領域に含まれる波長成分のうち、第１波長成分と、前記第１波長成分とは異なる第２波長成分の特徴量をそれぞれ算出し、算出された前記特徴量の差分を算出する差分算出ステップと、
前記差分の絶対値が大きいほど、強いぼかし加工を前記第１の領域に施す画像加工ステップとを含む
画像処理方法。
【請求項１２】
請求項１１に記載の画像処理方法をコンピュータに実行させる
プログラム。
【請求項１３】
請求項１２に記載のプログラムを記録した
コンピュータ読み取り可能な記録媒体。
【請求項１４】
少なくとも可視光領域の波長成分を含む対象画像データに対して、遠近感を強調する処理を施す集積回路であって、
前記対象画像データは複数の領域を有しており、
前記集積回路は、前記複数の領域に含まれる第１の領域に含まれる波長成分のうち、第１波長成分と、前記第１波長成分とは異なる第２波長成分の特徴量をそれぞれ算出し、算出された前記特徴量の差分を算出する差分算出部と、
前記差分の絶対値が大きいほど、強いぼかし加工を前記第１の領域に施す画像加工部とを備える
集積回路。
【請求項１】
少なくとも可視光領域の波長成分を含む対象画像データに対して、遠近感を強調する処理を施す画像処理装置であって、
前記対象画像データは複数の領域を有しており、
前記画像処理装置は、前記複数の領域に含まれる第１の領域に含まれる波長成分のうち、第１波長成分と、前記第１波長成分とは異なる第２波長成分の特徴量をそれぞれ算出し、算出された前記特徴量の差分を算出する差分算出部と、
前記差分の絶対値が大きいほど、強いぼかし加工を前記第１の領域に施す画像加工部とを備える
画像処理装置。
【請求項２】
前記第１波長成分は、Ｒ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）のうちのいずれかの可視光領域に対応する波長成分であり、
前記第２波長成分は、紫外線領域に対応する波長成分である
請求項１に記載の画像処理装置。
【請求項３】
前記特徴量は、前記第１波長成分及び前記第２波長成分の各々の画像の高周波数成分の量である
請求項１又は２に記載の画像処理装置。
【請求項４】
前記画像加工部は、前記対象画像データを離散コサイン変換することにより得られる変換係数を、前記差分の絶対値が大きいほど大きな量子化幅で量子化することにより、前記対象画像データにぼかし加工を施す
請求項１に記載の画像処理装置。
【請求項５】
前記画像加工部は、前記対象画像データに対して、前記差分の絶対値が大きいほど、対象ブロック内の画素値の分散が大きくなるように作用する平滑化フィルタを施すことにより、前記対象画像データにぼかし加工を施す
請求項１に記載の画像処理装置。
【請求項６】
さらに、前記特徴量の差分に前記対象画像データが撮像された際の焦点距離に応じて定まる変換係数を乗ずることにより、前記特徴量の差分から対象画像の奥行き情報に対応する距離情報を算出する距離情報算出部を備えており、
前記画像加工部は、前記距離情報で示される距離が長いほど、強いぼかし加工を前記対象画像データに施す
請求項１に記載の画像処理装置。
【請求項７】
さらに、前記対象画像データの色収差を補正する画像補正部と、
前記補正後の対象画像データを記憶する画像データ記憶部とを備えており、
前記差分算出部は、前記画像データ記憶部に記憶されている補正後の前記対象画像データを用いて、前記特徴量の差分を算出する
請求項１に記載の画像処理装置。
【請求項８】
さらに、前記第１波長成分のみを透過させるフィルタと、前記第２波長成分のみを透過させるフィルタとを備えた撮像部を有する取得部を備えており、
前記取得部は、前記撮像部により撮像された前記対象画像データの前記第１波長成分及び前記第２波長成分を取得し、
前記差分算出部は、前記取得部によって取得された前記第１波長成分及び前記第２波長成分の前記特徴量及びその差分を算出する
請求項１に記載の画像処理装置。
【請求項９】
さらに、前記第１波長成分及び前記第２波長成分を含む画像データを前記対象画像データとして取得する画像入力部と、前記対象画像データから、前記第１波長成分及び前記第２波長成分をそれぞれ分離する分離部とを有する取得部を備えており、
前記差分算出部は、前記分離部から取得した前記第１波長成分及び前記第２波長成分の前記特徴量及びその差分を算出する
請求項１に記載の画像処理装置。
【請求項１０】
さらに、符号化部を備えており、
前記画像加工部は、前記対象画像データを離散コサイン変換した後に、前記差分の絶対値が大きいほど、大きな量子化幅を用いて前記離散コサイン変換で得られた変換係数を量子化し、
前記符号化部は、前記量子化された変換係数を符号化する
請求項１に記載の画像処理装置。
【請求項１１】
少なくとも可視光領域の波長成分を含む対象画像データに対して、遠近感を強調する処理を施す画像処理方法であって、
前記対象画像データは複数の領域を有しており、
前記画像処理方法は、前記複数の領域に含まれる第１の領域に含まれる波長成分のうち、第１波長成分と、前記第１波長成分とは異なる第２波長成分の特徴量をそれぞれ算出し、算出された前記特徴量の差分を算出する差分算出ステップと、
前記差分の絶対値が大きいほど、強いぼかし加工を前記第１の領域に施す画像加工ステップとを含む
画像処理方法。
【請求項１２】
請求項１１に記載の画像処理方法をコンピュータに実行させる
プログラム。
【請求項１３】
請求項１２に記載のプログラムを記録した
コンピュータ読み取り可能な記録媒体。
【請求項１４】
少なくとも可視光領域の波長成分を含む対象画像データに対して、遠近感を強調する処理を施す集積回路であって、
前記対象画像データは複数の領域を有しており、
前記集積回路は、前記複数の領域に含まれる第１の領域に含まれる波長成分のうち、第１波長成分と、前記第１波長成分とは異なる第２波長成分の特徴量をそれぞれ算出し、算出された前記特徴量の差分を算出する差分算出部と、
前記差分の絶対値が大きいほど、強いぼかし加工を前記第１の領域に施す画像加工部とを備える
集積回路。
【図２】
【図４】
【図５】
【図６】
【図７】
【図９】
【図１０】
【図１１】
【図１２】
【図１】
【図３】
【図８】
【図４】
【図５】
【図６】
【図７】
【図９】
【図１０】
【図１１】
【図１２】
【図１】
【図３】
【図８】
【公開番号】特開２０１２−１８６２１（Ｐ２０１２−１８６２１Ａ）
【公開日】平成２４年１月２６日（２０１２．１．２６）
【国際特許分類】
【出願番号】特願２０１０−１５６９４４（Ｐ２０１０−１５６９４４）
【出願日】平成２２年７月９日（２０１０．７．９）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年１月２６日（２０１２．１．２６）
【国際特許分類】
【出願日】平成２２年７月９日（２０１０．７．９）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]