画像処理装置及び画像処理方法
【課題】ＲＡＷデータの傷補正を行うとともに、焦点検出用画素の距離情報を確保すること。
【解決手段】画像処理装置は、撮像用画素Ｒ、Ｇ、Ｂと焦点検出用画素ａ、ｂとが配列された撮像素子１０１と、撮像用画素Ｒ、Ｇ、Ｂの画素信号と焦点検出用画素ａ、ｂの画素信号とを分離する分離手段と、前記分離手段により分離された撮像用画素Ｒ、Ｇ、Ｂの画素信号に基づいて、前記焦点検出用画素ａ、ｂの画素信号を補間しＲＡＷデータを生成する生成手段と、前記分離手段により分離された焦点検出用画素ａ、ｂの画素信号と焦点検出用画素ａ、ｂの位置情報とを関連付けた測距情報をメモリ１０７に記憶させる記憶制御手段と、を備える。
【解決手段】画像処理装置は、撮像用画素Ｒ、Ｇ、Ｂと焦点検出用画素ａ、ｂとが配列された撮像素子１０１と、撮像用画素Ｒ、Ｇ、Ｂの画素信号と焦点検出用画素ａ、ｂの画素信号とを分離する分離手段と、前記分離手段により分離された撮像用画素Ｒ、Ｇ、Ｂの画素信号に基づいて、前記焦点検出用画素ａ、ｂの画素信号を補間しＲＡＷデータを生成する生成手段と、前記分離手段により分離された焦点検出用画素ａ、ｂの画素信号と焦点検出用画素ａ、ｂの位置情報とを関連付けた測距情報をメモリ１０７に記憶させる記憶制御手段と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
従来、メモリ素子を有するメモリカードを記録媒体として、ＣＣＤ、ＣＭＯＳ等の撮像素子で撮像した静止画像や動画像を記録及び再生する電子カメラ等の画像処理装置が市販されている。
【０００３】
これらの電子カメラには、撮像素子から出力されたままの画素データで構成される未加工の画像データ（以下「ＲＡＷデータ」という。）を撮影画像として記録媒体に記録するものがある。
【０００４】
このＲＡＷデータは、そのままではパーソナルコンピュータ等の情報処理装置の表示部に表示できず、その表示には画素の補間処理などの画像処理が必要となる。そのため、ＲＡＷデータに撮影時の情報を画像パラメータとして付加し（特許文献１を参照）、情報処理装置にインストールされた画像処理プログラムによって表示可能となる。
【０００５】
また、電子カメラ等の画像処理装置では、ＡＥ（オートエクスポージャ：自動露出）、ＡＦ（オートフォーカス：自動焦点）等の自動化及び多機能化が図られ、良好な撮影が容易に行えるようになっている。焦点検出方式にはいくつかの方法があり、例えば、特許文献２や特許文献３に開示されている。
【０００６】
特許文献２に記載の撮像装置は、光電変換部群の一部が撮影レンズの瞳の特定領域を透過する光束を受光するように構成されている。そして、これらの特定の光電変換部の出力から得られた第一の像信号と第二の像信号の位相差に基づいて、撮影レンズの焦点状態を検出している。ここで、位相差とは２つの像信号の相対的な位置関係のことである。また、通常の画像を撮像する場合は、撮影レンズの特定領域を透過する光束を受光する光電変換部を除いた光電変換部群で画像を生成している。そして、撮像素子の測距用の画素を周辺の色画素から補間した後、信号処理及び画像圧縮処理を行い、ＪＰＥＧ形式やＴＩＦＦ形式のデータを生成し記録している。
【０００７】
特許文献３にも、瞳分割方式の焦点検出を行う撮像装置が開示されている。この撮像装置では、隣接して１列に並んだ同色の色フィルタを有する画素のマイクロレンズ中心を通る直線上に並び、隣接画素同士でマイクロレンズ中心に対して逆向きにずれた画素で、撮影レンズの瞳の特定領域を透過する光束を受光する。そして、これら特定の光電変換部の出力から得られる第一の像信号と第二の像信号の位相差に基づいて撮影レンズの焦点状態を検出している。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００３−３２４７４５号公報
【特許文献２】特開２０００−１５６８２３号公報
【特許文献３】特開２００５−３０３４０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献２では、焦点検出用画素をＧ色のフィルタに相当する画素で形成し、画像信号を形成する場合には、焦点検出用画素のＧ色のフィルタ部分の映像信号を周辺画素を用いて補間している。
【００１０】
また、特許文献３では、焦点検出用画素をＧ色のフィルタ部分で形成し、画像信号を形成する場合には、焦点検出用画素のＧ色のフィルタで受光した映像信号として、画像信号を形成している。そのため、合焦近傍にあるときには、焦点検出用画素に光束を受光するが、合焦近傍にないときには焦点検出用画素に光束を受光しないという問題がある。そのため、合焦近傍にない焦点検出用画素のＧ色のフィルタ部分の映像信号を周辺画素を用いて補間を行っている。
【００１１】
このように、ＲＡＷデータ記録時には、焦点検出画素はユーザーにとって傷であるため、補間後のＲＡＷデータを記録することが望ましい。しかしながら、従来の技術では、傷補正後のＲＡＷデータを記録するとＲＡＷデータの記録時に測距の情報は残らないことになる。
【００１２】
本発明は、上記の問題に鑑みてなされたものであり、ＲＡＷデータの傷補正を行うとともに、焦点検出用画素の距離情報を確保することを目的とする。
【課題を解決するための手段】
【００１３】
本発明の第１の側面は、画像処理装置に係り、撮像用画素と焦点検出用画素とが配列された撮像素子と、前記焦点検出用画素の位置情報を用いて前記撮像素子の出力信号から前記焦点検出用画素の画素信号を分離する分離手段と、前記焦点検出用画素の位置情報に基づいて、前記撮像素子の出力信号のうち、前記焦点検出用画素の画素信号を補間しＲＡＷデータを生成する生成手段と、前記分離手段により分離された前記焦点検出用画素の画素信号と前記焦点検出用画素の位置情報とを関連付けた測距情報を作成する測距情報作成手段と、を備えることを特徴とする。
【００１４】
本発明の第２の側面は、画像処理装置に係り、撮像用画素と焦点検出用画素とが配列された撮像素子と、前記焦点検出用画素の位置情報を用いて前記撮像素子の出力信号から前記焦点検出用画素の画素信号を分離する分離手段と、前記焦点検出用画素の位置情報に基づいて、前記撮像素子の出力信号のうち前記焦点検出用画素の画素信号を補間しＲＡＷデータを生成する生成手段と、前記分離手段により分離された前記焦点検出用画素の画素信号を複数領域毎に分け焦点距離を演算し、演算した焦点距離と前記複数領域毎の位置情報とを関連付けた距離情報を作成する距離情報作成手段と、を備えることを特徴とする。
【００１５】
本発明の第３の側面は、画像処理プログラムに係り、上記の測距情報又は距離情報を処理し、その処理結果を表示部に表示させる工程をコンピュータに実行させることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、ＲＡＷデータの傷補正を行うとともに、焦点検出用画素の測距情報又は距離情報を確保することできる。
【図面の簡単な説明】
【００１７】
【図１】本発明の好適な第１の実施形態に係る画像処理装置のブロック図である。
【図２】本発明の好適な第１の実施形態に係る画像処理装置の起動から撮影までのフローチャートである。
【図３】本発明の好適な第１の実施形態に係る撮像素子の画素配列を示す図である。
【図４】本発明の好適な第１の実施形態に係る相関演算処理の説明図である。
【図５】本発明の好適な第１の実施形態に係る撮影処理のフローチャートである。
【図６】本発明の好適な第１の実施形態に係る撮像素子信号の画像データ概念図である。
【図７】本発明の好適な第１の実施形態に係る傷補正後の画像データ概念図である。
【図８】本発明の好適な第１の実施形態に係るＲＡＷファイルフォーマットを示す図である。
【図９】本発明の好適な第１の実施形態に係る焦点検出用画素分離処理のフローチャートである。
【図１０】本発明の好適な第１の実施形態に係る測距情報ファイルフォーマットを示す図である。
【図１１】本発明の好適な第２の実施形態に係る焦点検出用分離処理（マップ情報）のフローチャートである。
【図１２】本発明の好適な第２の実施形態に係る測距情報（マップ情報）ファイルフォーマットを示す図である。
【図１３】本発明の好適な第３の実施形態に係る画像処理プログラムのフローチャートである。
【図１４】本発明の好適な第３の実施形態に係る被写体距離表示の概念図である。
【図１５】本発明の好適な第３の実施形態に係るフォーカス枠表示の概念図である。
【発明を実施するための形態】
【００１８】
以下、図面を参照して本発明の好適な実施形態を詳細に説明する。
【００１９】
（第１の実施形態）
図１は、本発明の好適な第１の実施形態に係る画像処理装置のブロック図である。レンズ１００を通って入射した被写体像は、撮像素子１０１で電気信号に光電変換される。ここで、撮像素子１０１には、図３に示すように画像データを形成するための撮像用画素（Ｒ、Ｇ、Ｂ）と位相差ＡＦを行うための焦点検出用画素（ａ、ｂ）とが配置されている。
【００２０】
Ａ／Ｄ変換部１０３は、撮像素子１０１から出力された電気信号（出力信号）をデジタル信号に変換する。デジタル信号処理部１０４は、Ａ／Ｄ変換部１０３から出力されたデジタル信号を、ＹＵＶデータ形式の画像データに変換する。Ａ／Ｄ変換部１０３は、ＷＢ回路、γ補正回路及びマトリクス変換回路などで構成されうる。
【００２１】
ＣＰＵ１０８は、画像処理装置の各部を制御する。例えば、ＣＰＵ１０８は、ＣＰＵ１０８内のＲＯＭに記録された焦点検出用画素の位置情報に基づいて、Ａ／Ｄ変換部１０３から出力されたデジタル信号から焦点検出用画素（ａ、ｂ）の画素信号を分離する分離手段として機能しうる。また、ＣＰＵ１０８は、焦点検出用画素の位置情報に基づいてＡ／Ｄ変換部１０３から出力されたデジタル信号のうち焦点検出用画素の画素信号を補間しＲＡＷデータを生成する生成手段としても機能しうる。このような補間処理は、焦点検出用画素の位置情報に基づいて、焦点検出用画素の位置を判断し、この部分の画素信号を周辺の画素より補間することにより行われる。例えば、図３のａを補間する場合には、周辺のＲ画素の画素信号を用いて、公知のバイキュービック法などを用いればよい。また、ＣＰＵ１０８は、分離した焦点検出用画素の画素信号と焦点検出用画素の位置情報とを関連付けた測距情報を作成する測距情報作成手段としても機能しうる。さらに、ＣＰＵ１０８は、分離された焦点検出用画素の画素信号を複数領域毎に分け焦点距離を演算し、演算した焦点距離と前記複数領域毎の位置情報とを関連付けた距離情報を作成する距離情報作成手段としても機能しうる。さらに、ＣＰＵ１０８は、ＲＡＷデータと測距情報からＲＡＷファイルを生成したりするファイル生成手段や、メモリＩ／Ｆ１０６を介して記録媒体などのメモリ１０７に測距情報、ＲＡＷファイルを記録する記録手段としても機能しうる。
【００２２】
なお、ＣＰＵ１０８で機能する焦点検出用画素（ａ、ｂ）の画素信号とを分離する分離手段をデジタル信号処理部１０４に持たせてもよい。また、焦点検出用画素の画素信号を補間しＲＡＷデータを生成する生成手段、測距情報を作成する測距情報作成手段、距離情報を作成する距離情報作成手段などの機能をデジタル信号処理部１０４に持たせてもよい。
【００２３】
位相差検出部１０５は、デジタル信号処理部１０４あるいはＣＰＵ１０８で分離した焦点検出用画素（ａ、ｂ）の画素信号に基づいて周知の方法により位相差検出を行う。位相差検出部１０５で得られた位相差検出結果は、ＣＰＵ１０８に送られる。ＣＰＵ１０８は、位相差検出部１０５から送られた検出結果に基づいて、鏡筒制御部１１１に制御信号を出力する。
【００２４】
操作部１１２は、撮影モードを静止画撮影と動画撮影に切り替えるボタンやシャッタースイッチ等の設定スイッチなどを含む。ＣＰＵ１０８は、操作部１１２で設定される撮影モードに応じて、タイミング制御部１０９に制御信号を送る。タイミングジェネレータ１１０は、タイミング制御部１０９からの制御信号に基づいて、画像データの読み出し駆動信号を生成する。
【００２５】
デジタル信号処理部１０４から出力されるＹＵＶデータ形式の画像データは、ＥＶＦ表示用としてメモリＩ／Ｆ１０６を介して、メモリ１０７に一時的に記憶される。ＬＣＤＩ／Ｆ１１３は、メモリ１０７に保存されたＹＵＶデータ形式の画像データを、メモリＩ／Ｆ１０６を介して表示部としてのＬＣＤ１１４の表示フォーマットに変換する。ＬＣＤ１１４は、ＬＣＤＩ／Ｆ１１３から出力される画像データに基づいてＥＶＦ表示を行う。
【００２６】
また、画像記録時はデジタル信号処理部１０４から出力されるＹＵＶデータ形式の画像データを、メモリＩ／Ｆ１０６を介して圧縮記録部１１５においてＪＰＥＧなどの規格に従って圧縮処理し、メモリ１１６に記憶する。
【００２７】
図２は、本発明の好適な第１の実施形態に係る画像処理装置の起動から撮影までのフローチャートである。
【００２８】
Ｓ１００では、操作部１１２により電源がＯＮされる。
【００２９】
Ｓ１０１では、ＣＰＵ１０８は、操作部１１２のシャッターＳＷ１の半押しの判定を行う。Ｓ１０１でシャッターＳＷ１が押されたと判定されると（Ｓ１０１で「ＹＥＳ」）、Ｓ１０２に進む。
【００３０】
Ｓ１０２では、ＣＰＵ１０８は、ＡＦ処理を行うよう位相差検出部１０５を制御する。ＡＦ処理としては、例えば、特許文献２に記載された技術を用いることが好ましい。特許文献２に記載のＡＦ処理を図３及び図４を用いて説明する。図３は、ＣＣＤやＣＭＯＳ等の撮像素子の画素配列である。この画素配列を構成する基本画素配列は、緑画素、赤画素、青画素のベイヤ配列で構成されている。各画素は、開口部を有し、この開口部を通過した光束が光電変換部で受光される。
【００３１】
図３では、緑画素をＧ、赤画素をＲ、青画素をＢとしている。緑画素Ｇには緑色光束を通過させる色フィルターが、赤画素Ｒには赤色光束を通過させる色フィルターが、そして青画素Ｂには青色光束を通過させる色フィルターがそれぞれ配置されている。各画素の開口部の下方には光電変換部が配置されている。このように１つの画素は、１つの光電変換部と、その上に配置された色フィルターと、更にその上に配置されたマイクロレンズとで構成されている。また、斜めに一列に並ぶ緑画素のうち、少なくとも一列は焦点検出用画素列となっており、その他の画素は撮像用画素となっている。なお、焦点検出用画素列には色フィルターが配置されていない。隣接して一列に並ぶ焦点検出用画素の開口部の一部に遮光層を設けることで、光電変換部の射出瞳が撮影レンズの光軸に対して偏りを持つように構成されている。偏りの向きは隣り合う焦点検出用画素同士で逆向きとなっている。また、ａ、ｂは焦点検出用画素であり、ａ、ｂを通過した光束を受光して得られる信号がＡ像信号とＢ像信号となる。
【００３２】
このＡ像信号−Ｂ像信号を受光する焦点検出用画素は、図３に示すように同一ラインに並んでいる。Ａ像信号−Ｂ像信号は、被写体の同一ラインから発せられた光による像信号である。そのため、焦点検出状態を検出する際に、Ａ像信号−Ｂ像信号はほぼ一致した形状が得らる。焦点検出を行うには、このＡ像信号−Ｂ像信号に対して相関演算を行い、２つの像信号のずれ量から撮影レンズのデフォーカス量が算出される。デフォーカス量算出で算出されたデフォーカス量に基づいて、撮影レンズを駆動しピント合わせを行う。
【００３３】
ここで、デフォーカス量算出における相関演算処理について説明する。図４に示すようなＡ像信号、Ｂ像信号が得られたとすると、生成した２つの像信号の位相差は撮影レンズの結像状態（合焦状態、前ピン状態、後ピン状態）により変化する。撮影レンズが合焦状態において２つの像信号の位相差は無くなり、前ピン状態と後ピン状態では異なる方向の位相差が生じる。更にこの２つの像信号の位相差は撮影レンズのデフォーカス量と一定の関係がある。ここでデフォーカス量とは撮影レンズにより被写体像が結像している位置とマイクロレンズ上面との距離である。この２つの像信号の位相差から撮影レンズのデフォーカス量を求め、撮影レンズが合焦状態になるようなレンズ駆動量を算出することで焦点検出を行う。
【００３４】
２つの像信号の位相差は、２つの像信号の相関を取ることで求められる。相関の取り方は“ＭＩＮアルゴリズム”と呼ばれるもので、Ａ像信号の出力データをＡ［１］〜Ａ［ｎ］とし、Ｂ像信号の出力データをＢ［１］〜Ｂ［ｎ］とすると、相関量Ｕ０は数式１のように表される。
【００３５】
【数１】
【００３６】
…（数式１）
ここでｍｉｎ（ａ、ｂ）はａ、ｂの小さい方の値のことである。まずこのＵ０を計算する。次に図４に示すように、Ａ像信号を信号電圧の１ビットシフトしたデータとＢ像信号のデータの相関量Ｕ１を計算する。このＵ１は数式２のように表される。
【００３７】
【数２】
【００３８】
…（数式２）
このように１ビットずつシフトした相関量を次々に計算する。２つの像信号が一致していればこの相関量は最大値をとるので、その最大値をとるシフト量を求め、その前後のデータから相関量の真の最大値を補間して求め、そのシフト量を２つの像信号の位相差とする。この２つの像信号の位相差から撮影レンズのデフォーカス量を求め、撮影レンズが合焦状態になるようなレンズ駆動量を算出することで焦点検出を行う。ＡＦ処理後、被写体にピントが合った状態となる。
【００３９】
Ｓ１０３では、ＣＰＵ１０８は、操作部１１２のシャッターＳＷ２が半押し状態から全押し状態になったと判定すると、Ｓ１０４に進む。Ｓ１０３でシャッターＳＷ１及びシャッターＳＷ２がＯＦＦとなると、Ｓ１０１へ戻り、ＣＰＵ１０８は、再びシャッターＳＷ１がＯＮになるのを待つ。Ｓ１０４では、ＣＰＵ１０８は、図５を参照して後述する撮影処理を行う。
【００４０】
図５は、図２のステップ１０４に示す撮影処理を示すフローチャートである。
【００４１】
Ｓ４０１では、ＣＰＵ１０８は、タイミング制御部１０９及びタイミングジェネレータ１１０を制御し、焦点検出用画素のあるＣＣＤやＣＭＯＳ等の撮像素子からの画素信号を出力させる。
【００４２】
Ｓ４０２では、Ａ／Ｄ変換器１０３は、画素信号をＡ／Ｄ変換し、焦点検出用画素データを含んだ画像データを生成する。焦点検出用画素データを含んだ画像データを図６に示す。
【００４３】
図６は、通常のベイヤ配列Ｇ、Ｒ、Ｂとの焦点検出用画素を複数もつラインで構成された画像データである。Ｇは緑画素、Ｒは赤画素、Ｂは青画素であり、これらでベイヤ配列が構成される。ａ１、ａ２、ａ３、ａ４、ｂ１、ｂ２、ｂ３、ｂ４は焦点検出用画素である。
【００４４】
Ｓ４０３では、ＣＰＵ１０８は、ＲＡＷデータ撮影であるか否かを判断する。ＲＡＷデータ撮影以外であれば（Ｓ４０３で「ＮＯ」）、Ｓ４０７に進む。Ｓ４０３でＲＡＷデータ撮影であると判断された場合は（Ｓ４０３で「ＹＥＳ」）、Ｓ４０４に進む。
【００４５】
Ｓ４０４では、ＣＰＵ１０８は、焦点検出用画素の分離処理（以下「焦点検出用画素分離処理」という。）を行う。焦点検出用画素分離処理については後述する。
【００４６】
Ｓ４０５では、ＣＰＵ１０８は、焦点検出用画素を含めて傷補正処理を行う。傷補正処理時には、ＥＥＰＲＯＭ（電気的消去可能プログラマブルＲＯＭ）に調整工程等によって予め格納された焦点検出領域の位置情報や、撮像素子の不良画素の位置情報に基づいて近傍の緑画素から傷補正を行う。傷補正後の画像データを図７に示す。図７においてＧａ１、Ｇａ２、Ｇａ３、Ｇａ４、Ｇｂ１、Ｇｂ２、Ｇｂ３、Ｇｂ４は、その近傍の画素から傷補正した緑画素である。
【００４７】
Ｓ４０６では、ＣＰＵ１０８は、ファイル処理を行う。ファイル処理では、画像パラメータとして撮影時の情報を付加する。撮影時の情報には、ホワイトバランス、シャープネス、コントラストなどのデータが含まれる。画像処理プログラムは、ＲＡＷファイルを表示部に表示する時に必要な情報を全て含むものとする。
【００４８】
Ｓ４０７では、ＣＰＵ１０８は、焦点検出用画素を傷として補正する。
【００４９】
Ｓ４０８では、デジタル信号処理部１０４は、画像の信号処理（ホワイトバランスやシャープネス等）を行い、例えばＪＰＥＧ形式やＴＩＦＦ形式等で圧縮処理を行う。
【００５０】
Ｓ４０９では、ＣＰＵ１０８は、記録処理を行う。Ｓ４０９では、ＲＡＷデータと測距情報を図８に示すように、現状のＲＡＷフォーマットの互換を保ち、次の２つのどちらかの形式で記録する。まず、最初のファイルフォーマットを７０１に示すように、ＲＡＷファイルとは別に測距情報を別ファイルとして記録する。次のファイルフォーマットを７００に示すように、ＲＡＷデータの後に測距情報を付加する。どちらのファイル形式で記録するかはユーザーにより任意に設定されうる。また、７００では、ＲＡＷファイルのヘッダに、測距情報の有無を示す情報が付加されうる。また、７０１では、ＲＡＷファイルのヘッダに、対となる測距情報ファイルがあることを示す情報（例えば、測距情報ファイル名など）が付加されうる。ファイルフォーマット７００は同一ファイル内にＲＡＷデータと測距情報があるため、ユーザーにとってファイル管理がしやすいといった利点がある。ファイルフォーマット７０１は、パーソナルコンピュータ内に保存する時に、ユーザーが測距情報を使用しないと判断した場合、パーソナルコンピュータ内の記録媒体の使用量を抑えることが出来る。
【００５１】
次に、図５のＳ４０４に示した焦点検出用画素分離処理について説明する。図９は焦点検出用画素分離処理のフローチャートである。
【００５２】
Ｓ８０１では、ＣＰＵ１０８は、ＥＥＰＲＯＭに調整工程等によって予め格納された焦点検出領域の位置情報（センサ情報）を読み込む。
【００５３】
Ｓ８０２では、ＣＰＵ１０８は、Ｓ８０１で読み込んだ位置情報から焦点検出用画素を読み出す。
【００５４】
Ｓ８０３では、ＣＰＵ１０８は、メモリ１０７へ焦点検出用画素の画素情報とその位置情報とを格納する。
【００５５】
Ｓ８０４では、ＣＰＵ１０８は、画像データの最終行（位置情報の最終行）まで読み込みが終了したか運否かを判定する。読み込みが未終了であれば（Ｓ８０４で「ＮＯ」）、Ｓ８０１に戻る。焦点検出用画素を全て読み終えたら（Ｓ８０４で「ＹＥＳ」）、焦点検出用画素分離処理を終了する。
【００５６】
焦点検出用画素分離処理が終了すると、図１０に示す測距情報が生成される。図１０に示すように、この測距情報は、図６の焦点検出用画素の画素信号とその位置情報（センサ情報）とを関連付けたものである。本実施形態では、行番号が同じ焦点検出用画素毎に測距情報を生成しているが、焦点検出用画素の画素信号と位置情報とが関連付けられていれば、これに限定されない。
【００５７】
（第２の実施形態）
次に、本発明の好適な第２の実施形態を図１１及び図１２を用いて説明する。第２の実施形態は、焦点検出用画素分離処理が第１の実施形態と相違する。その他については第１の実施形態と同様であるため、それらの説明を省略する。
【００５８】
Ｓ１００１では、ＣＰＵ１０８は、ＥＥＰＲＯＭに調整工程等によって予め格納された焦点検出領域の位置情報（センサ情報）を読み込む。
【００５９】
Ｓ１００２では、ＣＰＵ１０８は、Ｓ１００１で読み込んだ位置情報からＳ１００３の距離演算で使用する焦点検出用画素の画素情報（画素信号）を読み出す。
【００６０】
Ｓ１００３では、ＣＰＵ１０８は、焦点検出用画素情報を複数画素（例えば、Ｘ（行）方向に８画素、Ｙ（列）方向に６画素）の小ブロックに分ける。そして、第１の実施形態のＡＦ処理のように、デフォーカス量と方向とを算出し、撮影レンズのレンズ繰り出し量を決定する。この小ブロックにおける被写体距離をＤ、撮影レンズの繰り出し量、焦点距離をそれぞれＰ、ｆとすると、近似的にＤ≒ｆ２／Ｐの関係より、小ブロックに対応する撮影画像の被写体距離を求めることができる。なお、被写体距離の算出方法は別の算出方法を用いてもよい。
【００６１】
Ｓ１００４では、ＣＰＵ１０８は、小ブロックの演算結果と小ブロックのマップ上のアドレスをメモリ１０７へ格納する。
【００６２】
Ｓ１００５では、ＣＰＵ１０８は、画像データの最終行（位置情報の最終行）まで読み込みが終了したか否かを判定する。読み込みが未終了であれば（Ｓ１００５で「ＮＯ」）、Ｓ１００１に戻る。焦点検出用画素を全て読み終えたら（Ｓ１００５で「ＹＥＳ」）、焦点検出用画素分離処理を終了する。
【００６３】
焦点検出用画素分離処理が終了すると、図１２に示す測距情報が生成される。図１２に示すように、この測距情報（マップ情報）は、撮像素子を複数画素で構成されるブロックに分割し、ブロック毎に被写体までの距離とブロックの位置情報（マップアドレス）とを関連付けたものである。図１２は、図６の焦点検出用画素列からの測距情報により生成されている。本実施形態では、小ブロックを８×６画素としているが、更に小さいブロックや処理負荷軽減のために大きいブロックを単位としてもよい。
【００６４】
（第３の実施形態）
本発明の好適な第３の実施形態は、第１の実施形態で生成されたＲＡＷファイル又はＲＡＷファイルと測距情報ファイルとを合わせたファイルを用いた画像処理プログラムであり、図１３を用いて説明する。なお、本プログラムの各ステップＳ１２０１〜１２１４は、ＣＰＵ（コンピュータ）１０８あるいはパーソナルコンピュータ等の情報処理装置により実行される。
【００６５】
Ｓ１２０１では、画像ファイルが選択される。
【００６６】
Ｓ１２０２では、ＲＡＷデータを画像パラメータにより画像処理して表示する。
【００６７】
Ｓ１２０３では、画像編集が行われる否かを判定する。画像編集が行われる場合（Ｓ１２０３で「ＹＥＳ」）、Ｓ１２０４に進む。画像編集が行われない場合（Ｓ１２０３で「ＮＯ」）、Ｓ１２１２に進む。
【００６８】
Ｓ１２０４では、編集内容判定を行う。画像編集の編集内容がマップ表示であればＳ１２０５に進み、画像編集の編集内容がフォーカス枠表示であればＳ１２０９に進む。
【００６９】
Ｓ１２０５では、マップ表示のＯＮ／ＯＦＦを判定する。ＯＮの場合は（Ｓ１２０５で「ＯＮ」）、Ｓ１２０６に進み、ＯＦＦの場合は（Ｓ１２０５で「ＯＦＦ」）、Ｓ１２０８に進む。
【００７０】
Ｓ１２０６では、マップ情報作成処理を行う。マップ情報は、第２の実施形態の焦点検出用画素分離処理における被写体距離の算出方法と同様にして行われる。この場合、被写体距離の算出で使用される電子カメラ等の画像処理装置に固有の情報は、画像プログラムに含んでおくか、又は、ＲＡＷファイルの機種情報に保持しておいてもよい。
【００７１】
また、第２の実施形態で生成されたＲＡＷファイル又はＲＡＷファイル＋測距情報ファイルを用いる場合は、Ｓ１２０６のマップ情報作成処理を行わない。
【００７２】
Ｓ１２０７では、マップ情報を表示部としてのＬＣＤ１１４に表示する。表示されるマップ情報を図１４に示す。１３０１はＳ１２０６で算出した小ブロックのマップ情報の例を示す。各小ブロックに表示された値は、便宜上簡略化した被写体までの距離（単位はメートル）である。ただし、値が表示されていない小ブロックは距離無限大を意味するものとする。
【００７３】
Ｓ１２０５でマップ表示がＯＦＦと判断された場合には、Ｓ１２０８でマップ情報の表示をクリアする。この場合、画像表示は残したままにする。
【００７４】
Ｓ１２０９では、フォーカス枠表示のＯＮ／ＯＦＦ判定を行う。フォーカス枠表示がＯＮであれば、Ｓ１２１０に進む。フォーカス枠表示がＯＦＦであれば、Ｓ１２１１に進む。
【００７５】
Ｓ１２１０では、フォーカス枠表示を行う。フォーカス枠表示は、測距情報により、第２の実施形態の焦点検出用画素分離処理における被写体距離の算出方法と同様に位相差を算出し、位相差のないブロック枠を画面に表示する。
【００７６】
フォーカス枠表示の例を図１５に示す。１４０１がフォーカス枠であり、撮影時にピントが合っている。本例では、１枠しか表示されていないが、複数の枠が表示されてもよい。
【００７７】
Ｓ１２１１では、Ｓ１２０９でフォーカス枠表示がＯＦＦと判定された場合に、フォーカス枠表示クリアを行う。この場合、画像表示は残したままにする。また、Ｓ１２０４の編集内容判定には、不図示ではあるが、Ｓ１２０５のマップ表示判定やＳ１２０９のフォーカス枠表示判定以外に画像編集機能全般が含まれる。このような画像編集機能としては、例えば、拡大／縮小、ホワイトバランス／シャープネス／コントラスト調整、印刷、画像データを記録メディア（ハードディスク、ＳＤカードなど）に記録する機能などがある。また、距離マップやフォーカス枠を表示することで、シャープネスやコントラスト、ホワイトバランスなどの調整が行いやすく、細かい調整が可能となる。
【００７８】
Ｓ１２１２では、画像編集終了判定を行う。未終了であれば（Ｓ１２１２で「ＮＯ」）、Ｓ１２０３の画像編集判定へ戻り、処理を繰り返し行う。Ｓ１２１２で画像編集が終了したと判定された場合には（Ｓ１２１２で「ＹＥＳ」）、Ｓ１２１３に進む。
【００７９】
Ｓ１２１３では、表示されている画像データをクリアする。
【００８０】
Ｓ１２１４では、画像処理プログラムの終了判定を行う。終了していれば（Ｓ１２１４で「ＹＥＳ」）、画像処理プログラムを終了する。未終了であれば（Ｓ１２１４で「ＮＯ」）、Ｓ１２０１の画像選択へ戻り繰り返し処理を行う。
【００８１】
以上、本発明を実施形態１から実施形態３に基づいて具体的に説明したが、本発明は、上記の実施形態に限定されるものではなく、その要旨を逸脱しない範囲内において、種々の変更が可能である。
【符号の説明】
【００８２】
１０１ 撮像素子
１０７ メモリ
Ｒ、Ｇ、Ｂ 撮像用画素
ａ、ｂ 焦点検出用画素
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
従来、メモリ素子を有するメモリカードを記録媒体として、ＣＣＤ、ＣＭＯＳ等の撮像素子で撮像した静止画像や動画像を記録及び再生する電子カメラ等の画像処理装置が市販されている。
【０００３】
これらの電子カメラには、撮像素子から出力されたままの画素データで構成される未加工の画像データ（以下「ＲＡＷデータ」という。）を撮影画像として記録媒体に記録するものがある。
【０００４】
このＲＡＷデータは、そのままではパーソナルコンピュータ等の情報処理装置の表示部に表示できず、その表示には画素の補間処理などの画像処理が必要となる。そのため、ＲＡＷデータに撮影時の情報を画像パラメータとして付加し（特許文献１を参照）、情報処理装置にインストールされた画像処理プログラムによって表示可能となる。
【０００５】
また、電子カメラ等の画像処理装置では、ＡＥ（オートエクスポージャ：自動露出）、ＡＦ（オートフォーカス：自動焦点）等の自動化及び多機能化が図られ、良好な撮影が容易に行えるようになっている。焦点検出方式にはいくつかの方法があり、例えば、特許文献２や特許文献３に開示されている。
【０００６】
特許文献２に記載の撮像装置は、光電変換部群の一部が撮影レンズの瞳の特定領域を透過する光束を受光するように構成されている。そして、これらの特定の光電変換部の出力から得られた第一の像信号と第二の像信号の位相差に基づいて、撮影レンズの焦点状態を検出している。ここで、位相差とは２つの像信号の相対的な位置関係のことである。また、通常の画像を撮像する場合は、撮影レンズの特定領域を透過する光束を受光する光電変換部を除いた光電変換部群で画像を生成している。そして、撮像素子の測距用の画素を周辺の色画素から補間した後、信号処理及び画像圧縮処理を行い、ＪＰＥＧ形式やＴＩＦＦ形式のデータを生成し記録している。
【０００７】
特許文献３にも、瞳分割方式の焦点検出を行う撮像装置が開示されている。この撮像装置では、隣接して１列に並んだ同色の色フィルタを有する画素のマイクロレンズ中心を通る直線上に並び、隣接画素同士でマイクロレンズ中心に対して逆向きにずれた画素で、撮影レンズの瞳の特定領域を透過する光束を受光する。そして、これら特定の光電変換部の出力から得られる第一の像信号と第二の像信号の位相差に基づいて撮影レンズの焦点状態を検出している。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００３−３２４７４５号公報
【特許文献２】特開２０００−１５６８２３号公報
【特許文献３】特開２００５−３０３４０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献２では、焦点検出用画素をＧ色のフィルタに相当する画素で形成し、画像信号を形成する場合には、焦点検出用画素のＧ色のフィルタ部分の映像信号を周辺画素を用いて補間している。
【００１０】
また、特許文献３では、焦点検出用画素をＧ色のフィルタ部分で形成し、画像信号を形成する場合には、焦点検出用画素のＧ色のフィルタで受光した映像信号として、画像信号を形成している。そのため、合焦近傍にあるときには、焦点検出用画素に光束を受光するが、合焦近傍にないときには焦点検出用画素に光束を受光しないという問題がある。そのため、合焦近傍にない焦点検出用画素のＧ色のフィルタ部分の映像信号を周辺画素を用いて補間を行っている。
【００１１】
このように、ＲＡＷデータ記録時には、焦点検出画素はユーザーにとって傷であるため、補間後のＲＡＷデータを記録することが望ましい。しかしながら、従来の技術では、傷補正後のＲＡＷデータを記録するとＲＡＷデータの記録時に測距の情報は残らないことになる。
【００１２】
本発明は、上記の問題に鑑みてなされたものであり、ＲＡＷデータの傷補正を行うとともに、焦点検出用画素の距離情報を確保することを目的とする。
【課題を解決するための手段】
【００１３】
本発明の第１の側面は、画像処理装置に係り、撮像用画素と焦点検出用画素とが配列された撮像素子と、前記焦点検出用画素の位置情報を用いて前記撮像素子の出力信号から前記焦点検出用画素の画素信号を分離する分離手段と、前記焦点検出用画素の位置情報に基づいて、前記撮像素子の出力信号のうち、前記焦点検出用画素の画素信号を補間しＲＡＷデータを生成する生成手段と、前記分離手段により分離された前記焦点検出用画素の画素信号と前記焦点検出用画素の位置情報とを関連付けた測距情報を作成する測距情報作成手段と、を備えることを特徴とする。
【００１４】
本発明の第２の側面は、画像処理装置に係り、撮像用画素と焦点検出用画素とが配列された撮像素子と、前記焦点検出用画素の位置情報を用いて前記撮像素子の出力信号から前記焦点検出用画素の画素信号を分離する分離手段と、前記焦点検出用画素の位置情報に基づいて、前記撮像素子の出力信号のうち前記焦点検出用画素の画素信号を補間しＲＡＷデータを生成する生成手段と、前記分離手段により分離された前記焦点検出用画素の画素信号を複数領域毎に分け焦点距離を演算し、演算した焦点距離と前記複数領域毎の位置情報とを関連付けた距離情報を作成する距離情報作成手段と、を備えることを特徴とする。
【００１５】
本発明の第３の側面は、画像処理プログラムに係り、上記の測距情報又は距離情報を処理し、その処理結果を表示部に表示させる工程をコンピュータに実行させることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、ＲＡＷデータの傷補正を行うとともに、焦点検出用画素の測距情報又は距離情報を確保することできる。
【図面の簡単な説明】
【００１７】
【図１】本発明の好適な第１の実施形態に係る画像処理装置のブロック図である。
【図２】本発明の好適な第１の実施形態に係る画像処理装置の起動から撮影までのフローチャートである。
【図３】本発明の好適な第１の実施形態に係る撮像素子の画素配列を示す図である。
【図４】本発明の好適な第１の実施形態に係る相関演算処理の説明図である。
【図５】本発明の好適な第１の実施形態に係る撮影処理のフローチャートである。
【図６】本発明の好適な第１の実施形態に係る撮像素子信号の画像データ概念図である。
【図７】本発明の好適な第１の実施形態に係る傷補正後の画像データ概念図である。
【図８】本発明の好適な第１の実施形態に係るＲＡＷファイルフォーマットを示す図である。
【図９】本発明の好適な第１の実施形態に係る焦点検出用画素分離処理のフローチャートである。
【図１０】本発明の好適な第１の実施形態に係る測距情報ファイルフォーマットを示す図である。
【図１１】本発明の好適な第２の実施形態に係る焦点検出用分離処理（マップ情報）のフローチャートである。
【図１２】本発明の好適な第２の実施形態に係る測距情報（マップ情報）ファイルフォーマットを示す図である。
【図１３】本発明の好適な第３の実施形態に係る画像処理プログラムのフローチャートである。
【図１４】本発明の好適な第３の実施形態に係る被写体距離表示の概念図である。
【図１５】本発明の好適な第３の実施形態に係るフォーカス枠表示の概念図である。
【発明を実施するための形態】
【００１８】
以下、図面を参照して本発明の好適な実施形態を詳細に説明する。
【００１９】
（第１の実施形態）
図１は、本発明の好適な第１の実施形態に係る画像処理装置のブロック図である。レンズ１００を通って入射した被写体像は、撮像素子１０１で電気信号に光電変換される。ここで、撮像素子１０１には、図３に示すように画像データを形成するための撮像用画素（Ｒ、Ｇ、Ｂ）と位相差ＡＦを行うための焦点検出用画素（ａ、ｂ）とが配置されている。
【００２０】
Ａ／Ｄ変換部１０３は、撮像素子１０１から出力された電気信号（出力信号）をデジタル信号に変換する。デジタル信号処理部１０４は、Ａ／Ｄ変換部１０３から出力されたデジタル信号を、ＹＵＶデータ形式の画像データに変換する。Ａ／Ｄ変換部１０３は、ＷＢ回路、γ補正回路及びマトリクス変換回路などで構成されうる。
【００２１】
ＣＰＵ１０８は、画像処理装置の各部を制御する。例えば、ＣＰＵ１０８は、ＣＰＵ１０８内のＲＯＭに記録された焦点検出用画素の位置情報に基づいて、Ａ／Ｄ変換部１０３から出力されたデジタル信号から焦点検出用画素（ａ、ｂ）の画素信号を分離する分離手段として機能しうる。また、ＣＰＵ１０８は、焦点検出用画素の位置情報に基づいてＡ／Ｄ変換部１０３から出力されたデジタル信号のうち焦点検出用画素の画素信号を補間しＲＡＷデータを生成する生成手段としても機能しうる。このような補間処理は、焦点検出用画素の位置情報に基づいて、焦点検出用画素の位置を判断し、この部分の画素信号を周辺の画素より補間することにより行われる。例えば、図３のａを補間する場合には、周辺のＲ画素の画素信号を用いて、公知のバイキュービック法などを用いればよい。また、ＣＰＵ１０８は、分離した焦点検出用画素の画素信号と焦点検出用画素の位置情報とを関連付けた測距情報を作成する測距情報作成手段としても機能しうる。さらに、ＣＰＵ１０８は、分離された焦点検出用画素の画素信号を複数領域毎に分け焦点距離を演算し、演算した焦点距離と前記複数領域毎の位置情報とを関連付けた距離情報を作成する距離情報作成手段としても機能しうる。さらに、ＣＰＵ１０８は、ＲＡＷデータと測距情報からＲＡＷファイルを生成したりするファイル生成手段や、メモリＩ／Ｆ１０６を介して記録媒体などのメモリ１０７に測距情報、ＲＡＷファイルを記録する記録手段としても機能しうる。
【００２２】
なお、ＣＰＵ１０８で機能する焦点検出用画素（ａ、ｂ）の画素信号とを分離する分離手段をデジタル信号処理部１０４に持たせてもよい。また、焦点検出用画素の画素信号を補間しＲＡＷデータを生成する生成手段、測距情報を作成する測距情報作成手段、距離情報を作成する距離情報作成手段などの機能をデジタル信号処理部１０４に持たせてもよい。
【００２３】
位相差検出部１０５は、デジタル信号処理部１０４あるいはＣＰＵ１０８で分離した焦点検出用画素（ａ、ｂ）の画素信号に基づいて周知の方法により位相差検出を行う。位相差検出部１０５で得られた位相差検出結果は、ＣＰＵ１０８に送られる。ＣＰＵ１０８は、位相差検出部１０５から送られた検出結果に基づいて、鏡筒制御部１１１に制御信号を出力する。
【００２４】
操作部１１２は、撮影モードを静止画撮影と動画撮影に切り替えるボタンやシャッタースイッチ等の設定スイッチなどを含む。ＣＰＵ１０８は、操作部１１２で設定される撮影モードに応じて、タイミング制御部１０９に制御信号を送る。タイミングジェネレータ１１０は、タイミング制御部１０９からの制御信号に基づいて、画像データの読み出し駆動信号を生成する。
【００２５】
デジタル信号処理部１０４から出力されるＹＵＶデータ形式の画像データは、ＥＶＦ表示用としてメモリＩ／Ｆ１０６を介して、メモリ１０７に一時的に記憶される。ＬＣＤＩ／Ｆ１１３は、メモリ１０７に保存されたＹＵＶデータ形式の画像データを、メモリＩ／Ｆ１０６を介して表示部としてのＬＣＤ１１４の表示フォーマットに変換する。ＬＣＤ１１４は、ＬＣＤＩ／Ｆ１１３から出力される画像データに基づいてＥＶＦ表示を行う。
【００２６】
また、画像記録時はデジタル信号処理部１０４から出力されるＹＵＶデータ形式の画像データを、メモリＩ／Ｆ１０６を介して圧縮記録部１１５においてＪＰＥＧなどの規格に従って圧縮処理し、メモリ１１６に記憶する。
【００２７】
図２は、本発明の好適な第１の実施形態に係る画像処理装置の起動から撮影までのフローチャートである。
【００２８】
Ｓ１００では、操作部１１２により電源がＯＮされる。
【００２９】
Ｓ１０１では、ＣＰＵ１０８は、操作部１１２のシャッターＳＷ１の半押しの判定を行う。Ｓ１０１でシャッターＳＷ１が押されたと判定されると（Ｓ１０１で「ＹＥＳ」）、Ｓ１０２に進む。
【００３０】
Ｓ１０２では、ＣＰＵ１０８は、ＡＦ処理を行うよう位相差検出部１０５を制御する。ＡＦ処理としては、例えば、特許文献２に記載された技術を用いることが好ましい。特許文献２に記載のＡＦ処理を図３及び図４を用いて説明する。図３は、ＣＣＤやＣＭＯＳ等の撮像素子の画素配列である。この画素配列を構成する基本画素配列は、緑画素、赤画素、青画素のベイヤ配列で構成されている。各画素は、開口部を有し、この開口部を通過した光束が光電変換部で受光される。
【００３１】
図３では、緑画素をＧ、赤画素をＲ、青画素をＢとしている。緑画素Ｇには緑色光束を通過させる色フィルターが、赤画素Ｒには赤色光束を通過させる色フィルターが、そして青画素Ｂには青色光束を通過させる色フィルターがそれぞれ配置されている。各画素の開口部の下方には光電変換部が配置されている。このように１つの画素は、１つの光電変換部と、その上に配置された色フィルターと、更にその上に配置されたマイクロレンズとで構成されている。また、斜めに一列に並ぶ緑画素のうち、少なくとも一列は焦点検出用画素列となっており、その他の画素は撮像用画素となっている。なお、焦点検出用画素列には色フィルターが配置されていない。隣接して一列に並ぶ焦点検出用画素の開口部の一部に遮光層を設けることで、光電変換部の射出瞳が撮影レンズの光軸に対して偏りを持つように構成されている。偏りの向きは隣り合う焦点検出用画素同士で逆向きとなっている。また、ａ、ｂは焦点検出用画素であり、ａ、ｂを通過した光束を受光して得られる信号がＡ像信号とＢ像信号となる。
【００３２】
このＡ像信号−Ｂ像信号を受光する焦点検出用画素は、図３に示すように同一ラインに並んでいる。Ａ像信号−Ｂ像信号は、被写体の同一ラインから発せられた光による像信号である。そのため、焦点検出状態を検出する際に、Ａ像信号−Ｂ像信号はほぼ一致した形状が得らる。焦点検出を行うには、このＡ像信号−Ｂ像信号に対して相関演算を行い、２つの像信号のずれ量から撮影レンズのデフォーカス量が算出される。デフォーカス量算出で算出されたデフォーカス量に基づいて、撮影レンズを駆動しピント合わせを行う。
【００３３】
ここで、デフォーカス量算出における相関演算処理について説明する。図４に示すようなＡ像信号、Ｂ像信号が得られたとすると、生成した２つの像信号の位相差は撮影レンズの結像状態（合焦状態、前ピン状態、後ピン状態）により変化する。撮影レンズが合焦状態において２つの像信号の位相差は無くなり、前ピン状態と後ピン状態では異なる方向の位相差が生じる。更にこの２つの像信号の位相差は撮影レンズのデフォーカス量と一定の関係がある。ここでデフォーカス量とは撮影レンズにより被写体像が結像している位置とマイクロレンズ上面との距離である。この２つの像信号の位相差から撮影レンズのデフォーカス量を求め、撮影レンズが合焦状態になるようなレンズ駆動量を算出することで焦点検出を行う。
【００３４】
２つの像信号の位相差は、２つの像信号の相関を取ることで求められる。相関の取り方は“ＭＩＮアルゴリズム”と呼ばれるもので、Ａ像信号の出力データをＡ［１］〜Ａ［ｎ］とし、Ｂ像信号の出力データをＢ［１］〜Ｂ［ｎ］とすると、相関量Ｕ０は数式１のように表される。
【００３５】
【数１】
【００３６】
…（数式１）
ここでｍｉｎ（ａ、ｂ）はａ、ｂの小さい方の値のことである。まずこのＵ０を計算する。次に図４に示すように、Ａ像信号を信号電圧の１ビットシフトしたデータとＢ像信号のデータの相関量Ｕ１を計算する。このＵ１は数式２のように表される。
【００３７】
【数２】
【００３８】
…（数式２）
このように１ビットずつシフトした相関量を次々に計算する。２つの像信号が一致していればこの相関量は最大値をとるので、その最大値をとるシフト量を求め、その前後のデータから相関量の真の最大値を補間して求め、そのシフト量を２つの像信号の位相差とする。この２つの像信号の位相差から撮影レンズのデフォーカス量を求め、撮影レンズが合焦状態になるようなレンズ駆動量を算出することで焦点検出を行う。ＡＦ処理後、被写体にピントが合った状態となる。
【００３９】
Ｓ１０３では、ＣＰＵ１０８は、操作部１１２のシャッターＳＷ２が半押し状態から全押し状態になったと判定すると、Ｓ１０４に進む。Ｓ１０３でシャッターＳＷ１及びシャッターＳＷ２がＯＦＦとなると、Ｓ１０１へ戻り、ＣＰＵ１０８は、再びシャッターＳＷ１がＯＮになるのを待つ。Ｓ１０４では、ＣＰＵ１０８は、図５を参照して後述する撮影処理を行う。
【００４０】
図５は、図２のステップ１０４に示す撮影処理を示すフローチャートである。
【００４１】
Ｓ４０１では、ＣＰＵ１０８は、タイミング制御部１０９及びタイミングジェネレータ１１０を制御し、焦点検出用画素のあるＣＣＤやＣＭＯＳ等の撮像素子からの画素信号を出力させる。
【００４２】
Ｓ４０２では、Ａ／Ｄ変換器１０３は、画素信号をＡ／Ｄ変換し、焦点検出用画素データを含んだ画像データを生成する。焦点検出用画素データを含んだ画像データを図６に示す。
【００４３】
図６は、通常のベイヤ配列Ｇ、Ｒ、Ｂとの焦点検出用画素を複数もつラインで構成された画像データである。Ｇは緑画素、Ｒは赤画素、Ｂは青画素であり、これらでベイヤ配列が構成される。ａ１、ａ２、ａ３、ａ４、ｂ１、ｂ２、ｂ３、ｂ４は焦点検出用画素である。
【００４４】
Ｓ４０３では、ＣＰＵ１０８は、ＲＡＷデータ撮影であるか否かを判断する。ＲＡＷデータ撮影以外であれば（Ｓ４０３で「ＮＯ」）、Ｓ４０７に進む。Ｓ４０３でＲＡＷデータ撮影であると判断された場合は（Ｓ４０３で「ＹＥＳ」）、Ｓ４０４に進む。
【００４５】
Ｓ４０４では、ＣＰＵ１０８は、焦点検出用画素の分離処理（以下「焦点検出用画素分離処理」という。）を行う。焦点検出用画素分離処理については後述する。
【００４６】
Ｓ４０５では、ＣＰＵ１０８は、焦点検出用画素を含めて傷補正処理を行う。傷補正処理時には、ＥＥＰＲＯＭ（電気的消去可能プログラマブルＲＯＭ）に調整工程等によって予め格納された焦点検出領域の位置情報や、撮像素子の不良画素の位置情報に基づいて近傍の緑画素から傷補正を行う。傷補正後の画像データを図７に示す。図７においてＧａ１、Ｇａ２、Ｇａ３、Ｇａ４、Ｇｂ１、Ｇｂ２、Ｇｂ３、Ｇｂ４は、その近傍の画素から傷補正した緑画素である。
【００４７】
Ｓ４０６では、ＣＰＵ１０８は、ファイル処理を行う。ファイル処理では、画像パラメータとして撮影時の情報を付加する。撮影時の情報には、ホワイトバランス、シャープネス、コントラストなどのデータが含まれる。画像処理プログラムは、ＲＡＷファイルを表示部に表示する時に必要な情報を全て含むものとする。
【００４８】
Ｓ４０７では、ＣＰＵ１０８は、焦点検出用画素を傷として補正する。
【００４９】
Ｓ４０８では、デジタル信号処理部１０４は、画像の信号処理（ホワイトバランスやシャープネス等）を行い、例えばＪＰＥＧ形式やＴＩＦＦ形式等で圧縮処理を行う。
【００５０】
Ｓ４０９では、ＣＰＵ１０８は、記録処理を行う。Ｓ４０９では、ＲＡＷデータと測距情報を図８に示すように、現状のＲＡＷフォーマットの互換を保ち、次の２つのどちらかの形式で記録する。まず、最初のファイルフォーマットを７０１に示すように、ＲＡＷファイルとは別に測距情報を別ファイルとして記録する。次のファイルフォーマットを７００に示すように、ＲＡＷデータの後に測距情報を付加する。どちらのファイル形式で記録するかはユーザーにより任意に設定されうる。また、７００では、ＲＡＷファイルのヘッダに、測距情報の有無を示す情報が付加されうる。また、７０１では、ＲＡＷファイルのヘッダに、対となる測距情報ファイルがあることを示す情報（例えば、測距情報ファイル名など）が付加されうる。ファイルフォーマット７００は同一ファイル内にＲＡＷデータと測距情報があるため、ユーザーにとってファイル管理がしやすいといった利点がある。ファイルフォーマット７０１は、パーソナルコンピュータ内に保存する時に、ユーザーが測距情報を使用しないと判断した場合、パーソナルコンピュータ内の記録媒体の使用量を抑えることが出来る。
【００５１】
次に、図５のＳ４０４に示した焦点検出用画素分離処理について説明する。図９は焦点検出用画素分離処理のフローチャートである。
【００５２】
Ｓ８０１では、ＣＰＵ１０８は、ＥＥＰＲＯＭに調整工程等によって予め格納された焦点検出領域の位置情報（センサ情報）を読み込む。
【００５３】
Ｓ８０２では、ＣＰＵ１０８は、Ｓ８０１で読み込んだ位置情報から焦点検出用画素を読み出す。
【００５４】
Ｓ８０３では、ＣＰＵ１０８は、メモリ１０７へ焦点検出用画素の画素情報とその位置情報とを格納する。
【００５５】
Ｓ８０４では、ＣＰＵ１０８は、画像データの最終行（位置情報の最終行）まで読み込みが終了したか運否かを判定する。読み込みが未終了であれば（Ｓ８０４で「ＮＯ」）、Ｓ８０１に戻る。焦点検出用画素を全て読み終えたら（Ｓ８０４で「ＹＥＳ」）、焦点検出用画素分離処理を終了する。
【００５６】
焦点検出用画素分離処理が終了すると、図１０に示す測距情報が生成される。図１０に示すように、この測距情報は、図６の焦点検出用画素の画素信号とその位置情報（センサ情報）とを関連付けたものである。本実施形態では、行番号が同じ焦点検出用画素毎に測距情報を生成しているが、焦点検出用画素の画素信号と位置情報とが関連付けられていれば、これに限定されない。
【００５７】
（第２の実施形態）
次に、本発明の好適な第２の実施形態を図１１及び図１２を用いて説明する。第２の実施形態は、焦点検出用画素分離処理が第１の実施形態と相違する。その他については第１の実施形態と同様であるため、それらの説明を省略する。
【００５８】
Ｓ１００１では、ＣＰＵ１０８は、ＥＥＰＲＯＭに調整工程等によって予め格納された焦点検出領域の位置情報（センサ情報）を読み込む。
【００５９】
Ｓ１００２では、ＣＰＵ１０８は、Ｓ１００１で読み込んだ位置情報からＳ１００３の距離演算で使用する焦点検出用画素の画素情報（画素信号）を読み出す。
【００６０】
Ｓ１００３では、ＣＰＵ１０８は、焦点検出用画素情報を複数画素（例えば、Ｘ（行）方向に８画素、Ｙ（列）方向に６画素）の小ブロックに分ける。そして、第１の実施形態のＡＦ処理のように、デフォーカス量と方向とを算出し、撮影レンズのレンズ繰り出し量を決定する。この小ブロックにおける被写体距離をＤ、撮影レンズの繰り出し量、焦点距離をそれぞれＰ、ｆとすると、近似的にＤ≒ｆ２／Ｐの関係より、小ブロックに対応する撮影画像の被写体距離を求めることができる。なお、被写体距離の算出方法は別の算出方法を用いてもよい。
【００６１】
Ｓ１００４では、ＣＰＵ１０８は、小ブロックの演算結果と小ブロックのマップ上のアドレスをメモリ１０７へ格納する。
【００６２】
Ｓ１００５では、ＣＰＵ１０８は、画像データの最終行（位置情報の最終行）まで読み込みが終了したか否かを判定する。読み込みが未終了であれば（Ｓ１００５で「ＮＯ」）、Ｓ１００１に戻る。焦点検出用画素を全て読み終えたら（Ｓ１００５で「ＹＥＳ」）、焦点検出用画素分離処理を終了する。
【００６３】
焦点検出用画素分離処理が終了すると、図１２に示す測距情報が生成される。図１２に示すように、この測距情報（マップ情報）は、撮像素子を複数画素で構成されるブロックに分割し、ブロック毎に被写体までの距離とブロックの位置情報（マップアドレス）とを関連付けたものである。図１２は、図６の焦点検出用画素列からの測距情報により生成されている。本実施形態では、小ブロックを８×６画素としているが、更に小さいブロックや処理負荷軽減のために大きいブロックを単位としてもよい。
【００６４】
（第３の実施形態）
本発明の好適な第３の実施形態は、第１の実施形態で生成されたＲＡＷファイル又はＲＡＷファイルと測距情報ファイルとを合わせたファイルを用いた画像処理プログラムであり、図１３を用いて説明する。なお、本プログラムの各ステップＳ１２０１〜１２１４は、ＣＰＵ（コンピュータ）１０８あるいはパーソナルコンピュータ等の情報処理装置により実行される。
【００６５】
Ｓ１２０１では、画像ファイルが選択される。
【００６６】
Ｓ１２０２では、ＲＡＷデータを画像パラメータにより画像処理して表示する。
【００６７】
Ｓ１２０３では、画像編集が行われる否かを判定する。画像編集が行われる場合（Ｓ１２０３で「ＹＥＳ」）、Ｓ１２０４に進む。画像編集が行われない場合（Ｓ１２０３で「ＮＯ」）、Ｓ１２１２に進む。
【００６８】
Ｓ１２０４では、編集内容判定を行う。画像編集の編集内容がマップ表示であればＳ１２０５に進み、画像編集の編集内容がフォーカス枠表示であればＳ１２０９に進む。
【００６９】
Ｓ１２０５では、マップ表示のＯＮ／ＯＦＦを判定する。ＯＮの場合は（Ｓ１２０５で「ＯＮ」）、Ｓ１２０６に進み、ＯＦＦの場合は（Ｓ１２０５で「ＯＦＦ」）、Ｓ１２０８に進む。
【００７０】
Ｓ１２０６では、マップ情報作成処理を行う。マップ情報は、第２の実施形態の焦点検出用画素分離処理における被写体距離の算出方法と同様にして行われる。この場合、被写体距離の算出で使用される電子カメラ等の画像処理装置に固有の情報は、画像プログラムに含んでおくか、又は、ＲＡＷファイルの機種情報に保持しておいてもよい。
【００７１】
また、第２の実施形態で生成されたＲＡＷファイル又はＲＡＷファイル＋測距情報ファイルを用いる場合は、Ｓ１２０６のマップ情報作成処理を行わない。
【００７２】
Ｓ１２０７では、マップ情報を表示部としてのＬＣＤ１１４に表示する。表示されるマップ情報を図１４に示す。１３０１はＳ１２０６で算出した小ブロックのマップ情報の例を示す。各小ブロックに表示された値は、便宜上簡略化した被写体までの距離（単位はメートル）である。ただし、値が表示されていない小ブロックは距離無限大を意味するものとする。
【００７３】
Ｓ１２０５でマップ表示がＯＦＦと判断された場合には、Ｓ１２０８でマップ情報の表示をクリアする。この場合、画像表示は残したままにする。
【００７４】
Ｓ１２０９では、フォーカス枠表示のＯＮ／ＯＦＦ判定を行う。フォーカス枠表示がＯＮであれば、Ｓ１２１０に進む。フォーカス枠表示がＯＦＦであれば、Ｓ１２１１に進む。
【００７５】
Ｓ１２１０では、フォーカス枠表示を行う。フォーカス枠表示は、測距情報により、第２の実施形態の焦点検出用画素分離処理における被写体距離の算出方法と同様に位相差を算出し、位相差のないブロック枠を画面に表示する。
【００７６】
フォーカス枠表示の例を図１５に示す。１４０１がフォーカス枠であり、撮影時にピントが合っている。本例では、１枠しか表示されていないが、複数の枠が表示されてもよい。
【００７７】
Ｓ１２１１では、Ｓ１２０９でフォーカス枠表示がＯＦＦと判定された場合に、フォーカス枠表示クリアを行う。この場合、画像表示は残したままにする。また、Ｓ１２０４の編集内容判定には、不図示ではあるが、Ｓ１２０５のマップ表示判定やＳ１２０９のフォーカス枠表示判定以外に画像編集機能全般が含まれる。このような画像編集機能としては、例えば、拡大／縮小、ホワイトバランス／シャープネス／コントラスト調整、印刷、画像データを記録メディア（ハードディスク、ＳＤカードなど）に記録する機能などがある。また、距離マップやフォーカス枠を表示することで、シャープネスやコントラスト、ホワイトバランスなどの調整が行いやすく、細かい調整が可能となる。
【００７８】
Ｓ１２１２では、画像編集終了判定を行う。未終了であれば（Ｓ１２１２で「ＮＯ」）、Ｓ１２０３の画像編集判定へ戻り、処理を繰り返し行う。Ｓ１２１２で画像編集が終了したと判定された場合には（Ｓ１２１２で「ＹＥＳ」）、Ｓ１２１３に進む。
【００７９】
Ｓ１２１３では、表示されている画像データをクリアする。
【００８０】
Ｓ１２１４では、画像処理プログラムの終了判定を行う。終了していれば（Ｓ１２１４で「ＹＥＳ」）、画像処理プログラムを終了する。未終了であれば（Ｓ１２１４で「ＮＯ」）、Ｓ１２０１の画像選択へ戻り繰り返し処理を行う。
【００８１】
以上、本発明を実施形態１から実施形態３に基づいて具体的に説明したが、本発明は、上記の実施形態に限定されるものではなく、その要旨を逸脱しない範囲内において、種々の変更が可能である。
【符号の説明】
【００８２】
１０１ 撮像素子
１０７ メモリ
Ｒ、Ｇ、Ｂ 撮像用画素
ａ、ｂ 焦点検出用画素
【特許請求の範囲】
【請求項１】
撮像用画素と焦点検出用画素とが配列された撮像素子と、
前記焦点検出用画素の位置情報を用いて前記撮像素子の出力信号から前記焦点検出用画素の画素信号を分離する分離手段と、
前記焦点検出用画素の位置情報に基づいて、前記撮像素子の出力信号のうち前記焦点検出用画素の画素信号を補間しＲＡＷデータを生成する生成手段と、
前記分離手段により分離された前記焦点検出用画素の画素信号と前記焦点検出用画素の位置情報とを関連付けた測距情報を作成する測距情報作成手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
撮像用画素と焦点検出用画素とが配列された撮像素子と、
前記焦点検出用画素の位置情報を用いて前記撮像素子の出力信号から前記焦点検出用画素の画素信号を分離する分離手段と、
前記焦点検出用画素の位置情報に基づいて、前記撮像素子の出力信号のうち前記焦点検出用画素の画素信号を補間しＲＡＷデータを生成する生成手段と、
前記分離手段により分離された前記焦点検出用画素の画素信号を複数領域毎に分け焦点距離を演算し、演算した焦点距離と前記複数領域毎の位置情報とを関連付けた距離情報を作成する距離情報作成手段と、
を備えることを特徴とする画像処理装置。
【請求項３】
請求項１又は請求項２に記載の測距情報又は距離情報と前記ＲＡＷデータを記録媒体へ記録する記録手段を更に備えることを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項４】
請求項１又は請求項２に記載の測距情報又は距離情報を前記ＲＡＷデータに付加したＲＡＷファイルを生成するファイル生成手段と、
前記ファイル生成手段により生成したＲＡＷファイルを記録媒体へ記録する記録手段と、
を更に備えることを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項５】
請求項１又は請求項２に記載の測距情報又は距離情報を処理し、その結果を表示部に表示させる工程をコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項１】
撮像用画素と焦点検出用画素とが配列された撮像素子と、
前記焦点検出用画素の位置情報を用いて前記撮像素子の出力信号から前記焦点検出用画素の画素信号を分離する分離手段と、
前記焦点検出用画素の位置情報に基づいて、前記撮像素子の出力信号のうち前記焦点検出用画素の画素信号を補間しＲＡＷデータを生成する生成手段と、
前記分離手段により分離された前記焦点検出用画素の画素信号と前記焦点検出用画素の位置情報とを関連付けた測距情報を作成する測距情報作成手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
撮像用画素と焦点検出用画素とが配列された撮像素子と、
前記焦点検出用画素の位置情報を用いて前記撮像素子の出力信号から前記焦点検出用画素の画素信号を分離する分離手段と、
前記焦点検出用画素の位置情報に基づいて、前記撮像素子の出力信号のうち前記焦点検出用画素の画素信号を補間しＲＡＷデータを生成する生成手段と、
前記分離手段により分離された前記焦点検出用画素の画素信号を複数領域毎に分け焦点距離を演算し、演算した焦点距離と前記複数領域毎の位置情報とを関連付けた距離情報を作成する距離情報作成手段と、
を備えることを特徴とする画像処理装置。
【請求項３】
請求項１又は請求項２に記載の測距情報又は距離情報と前記ＲＡＷデータを記録媒体へ記録する記録手段を更に備えることを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項４】
請求項１又は請求項２に記載の測距情報又は距離情報を前記ＲＡＷデータに付加したＲＡＷファイルを生成するファイル生成手段と、
前記ファイル生成手段により生成したＲＡＷファイルを記録媒体へ記録する記録手段と、
を更に備えることを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項５】
請求項１又は請求項２に記載の測距情報又は距離情報を処理し、その結果を表示部に表示させる工程をコンピュータに実行させることを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１３−８１２２０（Ｐ２０１３−８１２２０Ａ）
【公開日】平成２５年５月２日（２０１３．５．２）
【国際特許分類】
【出願番号】特願２０１２−２６６７３６（Ｐ２０１２−２６６７３６）
【出願日】平成２４年１２月５日（２０１２．１２．５）
【分割の表示】特願２００７−２７５６７２（Ｐ２００７−２７５６７２）の分割
【原出願日】平成１９年１０月２３日（２００７．１０．２３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年５月２日（２０１３．５．２）
【国際特許分類】
【出願日】平成２４年１２月５日（２０１２．１２．５）
【分割の表示】特願２００７−２７５６７２（Ｐ２００７−２７５６７２）の分割
【原出願日】平成１９年１０月２３日（２００７．１０．２３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]