画像処理装置、画像処理方法及び画像処理プログラム
【課題】被写体面が設定され、該被写体面の設定に応じて好適な画像処理が行われる。
【解決手段】画像処理装置は、撮像画像に対応する画像データと、前記撮像画像内で指定された点までの距離に関する距離情報を受け、この指定された前記点を含む被写体面１００を設定し、前記距離情報を前記被写体面からの距離情報に変換し、この変換された距離情報に応じた所定の画像処理を行なう制御部７を有する。
【解決手段】画像処理装置は、撮像画像に対応する画像データと、前記撮像画像内で指定された点までの距離に関する距離情報を受け、この指定された前記点を含む被写体面１００を設定し、前記距離情報を前記被写体面からの距離情報に変換し、この変換された距離情報に応じた所定の画像処理を行なう制御部７を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置等に係り、特に設定された被写体面に応じて例えばボカシ処理等の画像処理を行う画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
従来、フィルム式カメラやディジタルカメラ等の撮像装置においては、撮像レンズにアオリ操作を行って撮像を行うことがある。ここで、「アオリ操作」（camera movement）とは、撮像レンズの光軸を撮像画面の中心（部）でフィルム面（或いは撮像素子面）と直交させるといった撮像装置とレンズとの基本的な関係を崩すことで、結像効果を変えるレンズ操作（或いはカメラ操作）である。このような操作は、「カメラムーブメント」と総称される。アオリ操作によれば、建物等の遠近感歪み（パースペクティブ・ディフォルメーション）を補正し、被写界深度をコントロールし、或いは鏡等へのカメラの映り込みを避けることができる。
【０００３】
ここで、このカメラムーブメントは、図３５に示されるように大別される。
【０００４】
即ち、カメラムーブメントには、「ディスプレースメント（「シフト」、「ライズフォール」）」と「スイング」、「ティルト」という、２通りの操作がある。前者では、撮像レンズの光軸とフィルム面（或いは撮像素子面）との直交関係を崩すことなくレンズ面（又はフィルム面／撮像素子面）を互いに平行移動させる。つまり、光軸が交差する位置を画面の中心（部）からずらす。後者では、撮像レンズの光軸とフィルム面（或いは撮像素子面）の直交関係を崩す。つまり、光軸とフィルム面（或いは撮像素子面）の交差角を垂直（９０度）以外に変える。
【０００５】
厳密に解すれば、前者の「ディスプレースメント」のみが「アオリ」(camera movement)に相当するが、一般的には両者を混同して「アオリ」と総称されていることが多い。そこで、以下では便宜上、「シフト」、「ライズフォール」、「ティルト」、「スイング」を、それぞれシフトアオリ、ライズフォールアオリ、ティルトアオリ、スイングアオリと称する。
【０００６】
これらを更に詳細に説明すると、「シフトアオリ」とは、レンズ光軸（又はフイルム面／撮像素子面）を左右に移動させるもので、構図の修正、歪みの矯正に使用される。この操作をすればカメラを動かすことなく左右方向へ構図を変更することができる。このシフトアオリを用いれば、例えば鏡の中心より左右どちらかにずれた位置から撮像しているにも関わらず鏡の中央で撮ったような写真が得られる。「ライズフォールアオリ」とは、上下にレンズ面（又はフィルム面／撮像素子面）を移動させるもので、シフトアオリと同様に構図の修正、歪みの矯正に使用される。このライズフォールアオリを使用することで、三脚のエレベーター、脚等を伸ばさなくても、上下に構図を修正できる。また、通常カメラで高いビルなどを見上げた場合、遠い部分が小さく先細るように写るが、これを垂直に写すためのパースペクティブ・コントロールに用いられることもある。
【０００７】
一方、「ティルトアオリ」とは、レンズ光軸に対して、前後方向にレンズ面（又はフィルム面／撮像素子面）を傾けるものであり、主にピント面位置の変更や、歪みの矯正に使用される。このティルトアオリを使用すれば、絞りが開放であっても、遠くから近くまで広範に亘りピントを合わせることができる。「スイングアオリ」とは、撮像レンズの光軸に対して垂直な線を軸にしてレンズ面（又はフィルム面／撮像素子面）を回転させるものであり、その効果は、前述したティルトアオリと同様である。
【０００８】
例えば、ティルトアオリで被写体面を操作することによって被写界深度を深く見せる原理としては所謂「シャインプルフの法則」が知られているが、以下、図３６を参照して、該シャインプルフの法則を用いた撮像手法について、その概略を説明する。シャインプルフの法則とは、一般的には被写体面、レンズ面および結像面を延長した面が一本の直線上で交わることをいう。つまり、撮像素子面４００と撮像レンズ４０１の主平面とを傾けて配置したとき撮像素子面４００と撮像レンズ４０１の主平面と一つの稜線で交わるように傾いた被写体面４０２にピントが合うということをいう。この撮像レンズ４０１の光軸に対する傾斜角を調整することで、被写体面を変更するといった撮像技法も今日では見受けられる。
【０００９】
そして、例えば、同技法によるアオリ効果を用いて、被写体面を操作することによって被写界深度を深く見せるだけでなく被写体面を調整して都市や建物をミニチュアのように撮る撮像技法が知られている。
【００１０】
以上の撮像技法は、光学系の操作によりアオリ効果を得るものであるが、ディジタル処理によってアオリ効果を得るものとしては、例えば、特殊なレンズを用いることなく画像処理によってアオリ補正（シフトアオリ、ライズ／フォールアオリ）を行う撮像装置（例えば特許文献１参照）、元々アオリ効果がもたらされた画像（例えば、ホワイトボードを斜め下から撮像した画像）を、マニュアル指定された傾斜角と被写体までの測距データに基づき疑似正面画像に変換するディジタルカメラ（特許文献２参照）がある。
【００１１】
【特許文献１】特開平８−１６３４２８号公報
【特許文献２】特開平９−２８９６１０号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
しかしながら、特許文献１に開示された技術は、アオリ効果と同様の図形補正を、ディジタル技術を用いて電子的に行うものではあるが、スイングアオリ、ティルトアオリに相当する撮像技法を画像処理により実現することはなされていない。
【００１３】
一方、特許文献２に開示された技術では、斜め画像を疑似正面画像に補正して撮像するものであるが、これも特許文献１と同様に、スイングアオリ、ティルトアオリに相当する撮像技法を画像処理により実現することはなされていない。
【００１４】
そして、特に、前述したようなアオリ効果を用いて、実際の撮像素子／焦点距離では撮像できないような浅い被写界深度及び傾いた被写体面での撮像と同等の効果を付与した画像を画像処理により得るための従来技術は存在しない。
【００１５】
そこで、本発明は、設定された被写体面に応じて例えばボカシ処理等の画像処理を行うことを課題とする。
【課題を解決するための手段】
【００１６】
本発明の第１の観点による画像処理装置では、画像データに基づく表示画像のうちのユーザにより指定された点に対応する距離情報に基づいて、被写体面を設定する被写体面設定部と、この被写体面に応じて前記画像データの距離情報を変換する距離情報変換部と、この距離情報変換部で変換された距離情報に基づいて画像データに対して画像処理を行う画像処理部とを有する。
【００１７】
そして、本発明の第２の観点による画像処理方法は、画像データに基づく表示画像のうちのユーザにより指定された点に対応する距離情報に基づいて被写体面を設定し、この被写体面に応じて前記画像データの距離情報を変換し、この変換された距離情報に基づいて前記画像データに対して画像処理を行う。
【００１８】
更に、本発明の第３の観点による画像処理プログラムは、画像データに基づく表示画像のうちのユーザにより指定された点に対応する距離情報に基づいて、被写体面を設定するステップと、前記被写体面に応じて前記画像データの距離情報を変換するステップと、変換された距離情報に基づいて前記画像データに対して画像処理を行うステップとからなる画像処理方法をコンピュータに実行させる。
【００１９】
従って、以上の第１乃至第３の観点によれば、被写体面が設定され、該被写体面の設定に応じて好適な画像処理が行われる。
【発明の効果】
【００２０】
本発明によれば、設定された被写体面に応じて例えばボカシ処理等の画像処理を行う画像処理装置、画像処理方法及び画像処理プログラムを提供することができる。
【発明を実施するための最良の形態】
【００２１】
以下、図面を参照して、本発明を実施するための最良の形態（以下、単に実施の形態と称する）について詳細に説明する。
【００２２】
（第１の実施の形態）
先ず、図１の概念図を参照して、本発明の第１の実施の形態に係る画像処理装置の基本原理について説明する。ここでは、第１の実施の形態に係る画像処理装置を撮像装置としてのディジタルカメラに適用した例を挙げているが、これに限定されるものではない。
【００２３】
図１に示されるように、撮像装置１により撮像が行われると、所定の画像処理が施された後に、画像データと距離情報（距離データ）が内蔵メモリ２に記憶される。この画像データは適宜読み出されて撮像画像がＬＣＤ(Liquid Crystal Display)等の表示部３に表示される。
【００２４】
ユーザは、表示部３に表示された撮像画像を確認しつつ、タッチパネル５を操作して所望の点である指定点を１点以上指定し、十字キー４（例えば、上下左右ボタンで構成される）を操作して、被写体面の傾き方向及び角度を任意に設定する。
【００２５】
尚、内蔵メモリ２は例えば記憶機能を実現するものである。タッチパネル５は例えば指定機能を実現するものである。十字キー４は例えば設定機能を実現するものである。
以上の構成により、制御部７は、画像データに基づく表示画像の領域毎に対応した距離情報に基づいて、表示画像内のユーザ指定による指定点の距離情報に基づいて被写体面を設定する。そして、制御部７は、この被写体面に応じて画像データに係る各点の距離情報を変換する。画像処理部６は、この変換された距離情報に基づいて画像データに対して画像処理を行う。従って、この場合、制御部７は被写体面設定機能、距離情報変換機能を実現し、画像処理部６は画像処理機能を実現することになる。
【００２６】
つまり、図２（ａ）に示されるように、ユーザによりタッチパネル５上で１点が指定されると、この指定された点である指定点を含み撮像レンズの光軸（イメージャへの入射光の光軸）に直交する平面が被写体面１００として仮設定され、以降、指定点を中心とするＸ軸周り及びＹ軸周りの被写体面１００の傾き方向及び角度の設定が可能となる。指定されるのは、当該対象の一部である点である。
【００２７】
例えば、十字キー４の左右のボタンが操作されると、Ｙ軸周りに被写体面１００が回転し、その回転に応じて傾き方向及び角度が設定される。また、例えば十字キー４の上下のボタンが操作されると、Ｘ軸周りに被写体面１００が回転し、その回転に応じて傾き方向及び角度が設定される。尚、図２（ｂ）では、一例として、十字キー４の操作によりＹ軸周りの回転により傾き方向がＹ軸周りに設定され、傾き角度が図中符号θに設定された被写体面１０１を図示している。尚、回転は必須ではなく、回転させなくても１点の指定により被写体面１００は設定される。
【００２８】
こうして、タッチパネル５及び十字キー４の操作により、所望とする被写体面１００（１０１）の設定が完了すると、撮像装置に内蔵された画像処理部６により所定の画像処理としての、例えばボカシ処理が施された画像が表示部３（若しくは不図示の外部ディスプレイ）に表示される。
【００２９】
即ち、この例では、指定された点の座標に基づいて画像データの各点に係る距離情報を変換し、この変換後の距離情報に基づいて画像データに対して例えばボカシ処理等の画像処理を行う。そして、ユーザ指定に従って被写体面が指定点を回転中心として回転させ被写体面を変更した場合には、指定点の座標と、前記回転の角度に基づいて、前記画像データの各点に係る距離情報を変換する。そして、この変換後の距離情報に基づいて画像データに対して例えばボカシ処理等の画像処理を施される。尚、画像処理部６は、例えば、この画像処理機能を実現するものである。
【００３０】
本実施の形態で用いる距離情報は所謂デプス・マップ(Depth Map)データであり、撮像画像の内の１点以上に対する個々の距離データである。尚、複数の領域を最も細かくした場合が画素に相当する。この場合には、デプス・マップデータとは、例えば複数画素の各画素毎の距離データであるとも言える。
【００３１】
この距離情報を得る方法としては、例えばＴＯＦ（Time of flight）方式やボケ量解析（Depth from Defocus）等を採用することができる。ここで、ＴＯＦ法とは、光源から出射された光が対象物で反射し、センサに到達するまでの光の遅れ時間と光の速度とから被写体までの距離を得る手法である。これらの詳細については、後に詳述する。
【００３２】
以上のように、第１の実施の形態に係る画像処理装置では、撮像画像内の１点が指示されたときには当該点を含み光軸と直交している面を被写体面とする。より詳細には、当該点並びにその点と同じ距離情報を有する点を含む面が被写体面として設定される。
【００３３】
更に、例えばタッチパネル５の操作により撮像画像内の少なくとも２点以上が指定されると、制御部７の制御の下、これら２以上の点に対応する距離情報を内蔵メモリ２から読み出し、被写体面のレンズ光軸に対する傾き方向と傾き角度を各々算出し、該傾き方向と傾き角度に基づいて被写体面を設定する。この傾き方向と傾き角度の算出方法については後に詳述する。
【００３４】
従って、撮像レンズの光軸と直交する被写体面、即ち、ボケを付加しない点を、例えばタッチパネル５の操作により一つに指定し、被写体面からの距離に基づいて所定の画像処理、即ち例えばボカシ処理を施す。これにより、光学的なアオリ効果（ティルトアオリ又はスイングアオリ）を用いることなく、実際の撮像素子の性能、レンズ位置等を調整することによる焦点距離の調整では撮像できない「浅い被写界深度及び傾いた被写体面での撮像」と同等の効果を付与した画像が得られる。従って、撮像装置に適用した場合には、コンパクトディジタルカメラで、ディジタル一眼レフカメラや大判カメラで高度な技法を用いて得た画像と同等の画像が簡易に得られる。
【００３５】
次に、図３のブロック図を参照して、上記基本原理を採用した本発明の第１の実施の形態に係る画像処理装置について詳細に説明する。ここでは、該画像処理装置をディジタルカメラ等の撮像装置に適用した例を示しているが、これには限定されない。
【００３６】
図３に示されるように、撮像光学系１１の光軸上には撮像素子１２が配置され、当該撮像素子１２は映像出力部１３に接続されている。この映像出力部１３はアナログ／ディジタル（以下、Ａ／Ｄと略記する）コンバータ１４に接続されており、当該Ａ／Ｄコンバータ１４はメモリ制御部１５及び画像処理部２４に接続されている。このメモリ制御部１５は、表示メモリ１６と通信自在に接続されている。更に、メモリ制御部１５は、表示処理部１７、ディジタル／アナログ（以下、Ｄ／Ａと略記する）コンバータ１８を介してＬＣＤモニタ１９に接続されている。画像処理部２４はＤＲＡＭ（Dynamic Random Access Memory）等からなるフレームバッファ（フレームメモリ）２５と接続されている。
【００３７】
一方、装置全体の制御を司るためのＣＰＵ（Central Processing Unit）２１は、ＲＯＭ(Read Only Memory)２２、ＲＡＭ(Random Access Memory)２３、画像処理部２４、ＯＳＤ(On Screen Display)処理部２６、撮像条件検出部２７、カメラ駆動制御２８、測距部２９、タッチパネル３４と制御バス３５を介して通信自在に接続されている。
【００３８】
さらに、ＣＰＵ２１は、制御バス３５、メモリインタフェース（以下、Ｉ／Ｆと略記する）３０を介してメモリカード３１と接続されており、制御バス３５、入力Ｉ／Ｆ３２を介して操作入力部３３と接続されている。そして、これらの構成のうち、ＣＰＵ２１とＲＯＭ２２、ＲＡＭ２３により制御部２０を構成している。
【００３９】
尚、ＲＡＭ２３、メモリカード３１は、例えば記憶機能を実現する。操作入力部３３は、例えば指定機能や設定機能を実現する。そして、画像処理部２４は、例えば画像処理機能を実現する。さらに、制御部２０、特にＣＰＵ２１は、例えば制御機能を実現する。
【００４０】
このような構成において、ＣＰＵ２１は、装置の各部を制御するとともに、ＲＯＭ２２に格納された画像処理プログラムを読み出し、該プログラムに従った処理を行う。このＲＯＭ２２には、画像処理プログラムのほか、各種の固定データが格納されている。この処理の過程で、ＲＡＭ２３は、ワークエリアとして機能することになる。
【００４１】
被写体光が入射すると、撮像光学系１１を介して撮像素子１２に結像される。カメラ駆動制御部２８は、露出制御、絞り制御、焦点制御、ズーム制御、シャッター制御等の駆動制御を行う。撮像素子１２は光電変換を行い、アナログ画像信号を映像出力部１３に供給する。映像出力部１３は、アナログ画像信号を撮像条件検出部２７に供給し、撮像条件検出部２７は当該アナログ画像信号についてホワイトバランスなどの撮像条件を検出する。
【００４２】
さらに、映像出力部１３は、この輝度信号と色差信号からなるアナログ画像信号をＡ／Ｄコンバータ１４に送出し、Ａ／Ｄコンバータ１４は当該アナログ画像信号をディジタルの画像データに変換しメモリ制御部１５に送出する。メモリ制御部１５は、この画像データを表示メモリ１６に一時的に記憶する。この画像データは、メモリ制御部１５により読み出され、表示処理部１７に供給される。該表示処理部１７では、画像データが、ＲＧＢの画像データに変換される。このＲＧＢの画像データは、Ｄ／Ａコンバータ１８で液晶駆動用のＲＧＢのアナログ画像信号に変換された後、ＬＣＤモニタ１９に供給される。そして、該ＬＣＤモニタ１９上にて実写画像が表示される。なお、実写画像はいわゆるスルー画像といわれるものである。
【００４３】
このように実写画像がＬＣＤモニタ１９上に表示された状態で、操作入力部３３の一要素であるシャッターボタンが押下されると、撮像動作が行われる。
【００４４】
即ち、制御部２０の制御によって、実写画像の１画面分の画像データが画像処理部２４を通じてフレームバッファ２５に取り込まれ、画像処理部２４で圧縮され、所定フォーマットの画像ファイルに変換されて、メモリＩ／Ｆ３０を介してメモリカード３１に記録される。このとき、撮像素子を含む測距部２９により測定された被写体距離の情報（以下、距離情報と略記する）も、任意のフォーマットでメモリカード３１に記録される。
【００４５】
制御部２０によって、メモリカード３１から、画像データ及び距離情報が読み出されると、圧縮された画像データが、画像処理部２４にて伸長されて、フレームバッファ２５に記憶されると共に、メモリ制御部１５によって表示メモリ１６に書き込まれ、該表示メモリ１６から読み出されて、ＬＣＤモニタ１９上に画像が表示される。
【００４６】
この状態下で、ユーザにより、タッチパネル３４上で所望とする点が指定されると、ＣＰＵ２１は撮像画像の内の点を指定点として仮設定を行う。このとき、この設定された点に基づいて被写体面を仮設定する。その後、更に操作入力部３３の一要素である十字キーが操作されると、ＣＰＵ２１は、その操作に基づいて被写体面の傾き方向と傾き角度を設定する。こうして、制御部２０のＣＰＵ２１は、フレームメモリ２５に記憶された画像データに対して画像処理部２４にて画像処理を施す。
【００４７】
より具体的には、ＣＰＵ２１の制御の下、画像処理部２４は、浅い被写界深度でピントが合っていて他がボケている写真を銀塩カメラで撮影したのと同様となるよう、画像処理により、該被写体面に載っていない画素に対してボカシ処理を施す。このボカシ処理が施された画像データは、メモリ制御部１５を通じて表示処理部１７に供給され、ＬＣＤモニタ１９上に処理後の画像が表示される。この処理の画像データは、メモリＩ／Ｆ３０を介してメモリカード３１に記録される。
【００４８】
尚、ボカシ処理に際しては、前記画像処理部２４は、前記被写体面からの距離に応じてボケ量を制御することもできる。この場合、被写体面と画素との距離に応じてボケ具合が段階的に変わるようにすることができる。例えば、被写体面と他の画素との距離が離れていくのに従ってボケ量を増していくことによって、撮像光学系同様のボカシ効果を得ることができる。即ち、こうすることによって、被写体面にピントが合っていて、この被写体面から離れていくのに従ってピントが合わなくなってきて、画像がぼけていく様子を表現することができる。尚、以上の説明では、被写体面と他の画素との距離情報との関係に基づいてボケ量を制御する例を示したが、画素に限定されることなく、所定の領域（複数画素からなる）単位で、同様の制御をしてもよい。
【００４９】
以下、図４乃至図６のフローチャートを参照して、本発明の第１の実施の形態に係る画像処理装置によるアオリ効果と同等の補正を行う特徴的な処理について詳細に説明する。
【００５０】
尚、以下の処理は、第１の実施の形態に係る画像処理方法にも相当する。
【００５１】
この図４の処理を開始すると、制御部２０のＣＰＵ２１は、撮像動作を行い（ステップＳ１）、距離情報を生成すると（ステップＳ２）、画像データと距離情報をメモリカード３１に記録する（ステップＳ３）。尚、撮像動作と距離情報の生成の処理手順は、いずれが先であっても同時であってもよいことは勿論である。また、記録先はメモリカード３１に限定されるものではない。
【００５２】
すなわち、以上の処理により、制御部２０のＣＰＵ２１の制御の下、画像データが画像処理部２４を通じてフレームメモリ２５に取り込まれ、画像処理部２４で圧縮され、所定フォーマットの画像ファイルに変換され、メモリＩ／Ｆ３０を介してメモリカード３１に記録される。このとき、測距部２９により測定された距離情報も所定のフォーマットでメモリカード３１に記録されることになる。
【００５３】
尚、この例では、撮像動作と距離情報の生成を１つの撮像素子１２と測距部２９の構成要素としての不図示の撮像素子とで行う例を挙げたが、これに限定されることなく、１つの撮像素子１２を撮像動作と距離情報生成のために兼用してもよい。また、撮像動作と距離情報の生成は並列処理であっても順次処理であってもよいことは勿論である。
【００５４】
また、距離情報を得るための方法としては、例えばＴＯＦ方式やボケ量解析等を採用することができる。即ち、「ＴＯＦ」方式とは、測距部２９を構成する発光素子から照射され被写体で反射されて戻ってくる反射光の到達時間を計測し、被写体距離を求めるものである。一方、「ボケ量解析」とは、画像中のボケ量の解析結果から距離を算出するもので、２つの撮像素子を用いる場合には、それらの特性、サイズ、絞り条件等の少なくともいずれかを変えることで撮像用のボケ量、測距用のボケ量を最適化することができる。１つの撮像素子１２を用いる場合には、異なる方式の下、例えば絞り条件等を該方式に従って変えることで、撮像用のボケ量、測距用のボケ量を最適化することができる。但し、これら手段には限定されない。
【００５５】
こうして記録された撮像画像は、ＬＣＤモニタ１９に表示される（ステップＳ４）。
【００５６】
即ち、この表示の一例は、図７（ａ）に示される通りであり、この例では、被写体Ｏ１乃至Ｏ４が表示されている。また、同撮像画像の距離情報は、図７（ｂ）に示される通りであって、黒色に近いほど近距離にあることを表し、白色に近いほど遠距離にあることを表すものである。この例では、距離情報は、所謂デプス・マップ(Depth Map)データであり、撮像画像の内の１点以上に対する個々の距離データである。最大で、画素ごとに距離データを取得することができるようになっている。
【００５７】
続いて、撮像画像の内の指定点の仮設定を行う（ステップＳ５）。このサブルーチンの処理の詳細は、例えば図５のフローチャートに示される通りである。
【００５８】
即ち、ユーザによりタッチパネル３４が操作されて、撮像画像の内の所望とする指定点が指定されると（ステップＳ２１）、ＣＰＵ２１は、１つ目の指定点であるか否かを判断する（ステップＳ２２）。ここで、ＣＰＵ２１は、１つ目指定点の指定であると判断した場合には（ステップＳ２２をＹｅｓに分岐）、指定された第１の指定点を含む光軸に直交する平面を第１の被写体面として仮設定し（ステップＳ２３）、第１の被写体面に係る情報（第１の指定点の座標）をＲＡＭ２３に記憶して（ステップＳ２７）、ＬＣＤモニタ１９の撮像画像上に指定された第１の指定点を表示する（ステップＳ２８）。
【００５９】
そして、ＣＰＵ２１は、ユーザにより指定点の指定を終了する旨が操作入力部３３等の操作により指示されたか否かを判断して（ステップＳ２９）、終了せずに更なる指定点の指定を行うと判断した場合には（ステップＳ２９をＹｅｓに分岐）、上記ステップＳ２１に戻り上記した処理を繰り返す。一方、指定点の指定を終了すべきと判断した場合には（ステップＳ２９をＮｏに分岐）、処理を終了し、リターンする。
【００６０】
一方、上記ステップＳ２２にて、ＣＰＵ２１は、１つ目の指定点の指定でないと判断した場合には（ステップＳ２２をＮｏに分岐）、２つ目の指定点の指定であるか否かを判断することになる（ステップＳ２４）。
【００６１】
ここで、ＣＰＵ２１は２つ目の指定点の指定であると判断した場合には（ステップＳ２４をＹｅｓに分岐）、第１の被写体面をＸ軸周り及びＹ軸周りに回転させて被写体面の変換を行い、更に第２の指定点を含む平面を第２の被写体面として仮設定する（ステップＳ２５）。そして、第２の被写体面に係る情報（第１及び第２の指定点の座標、傾き角度、傾き方向）をＲＡＭ２３に記憶し（ステップＳ２７）、ＬＣＤモニタ１９の撮像画像上に指定された第１及び第２の指定点を表示する（ステップＳ２８）。２点では該２点を結ぶ直線を含む複数の面が想定され、被写体面仮設定の情報として不足している。そこで、仮に第１の被写体面をＹ軸周り（又はＸ軸周り）に回転させて第２の指定点を含む平面を第２の被写体面として仮設定してもよい。
【００６２】
そして、再び、ＣＰＵ２１は、ユーザによるタッチパネル３４等の操作入力により更なる指定点の指定が指示されたか否かを判断し（ステップＳ２９）、更なる指定点の指定を行うと判断した場合には（ステップＳ２９をＹｅｓに分岐）、上記ステップＳ２１に戻り上記した処理を繰り返す。更なる指定点の指定を行わないと判断した場合（ステップＳ２９をＮｏに分岐）、処理を終了し、リターンする。
【００６３】
一方、上記ステップＳ２４にて、２つ目の指定点の指定でないと判断した場合には（ステップＳ２４をＮｏに分岐）、ＣＰＵ２１は、３つ目の指定点の指定であるものと判断する。そして、第２の被写体面をＸ，Ｙ軸周りに回転させて第１乃至第３の指定点を含む平面を第３の被写体面として仮設定する（ステップＳ２６）。さらに、ＣＰＵ２１は、この第３の被写体面に係る情報（第１乃至第３の指定点の座標、傾き角度、傾き方向）をＲＡＭ２３に記憶して（ステップＳ２７）、ＬＣＤモニタ１９の撮像画像上に上述のようにして指定された第１乃至第３の指定点を表示する（ステップＳ２８）。
【００６４】
そして、再び、ＣＰＵ２１は、ユーザによるタッチパネル３４等の操作入力により更なる指定点の指定が指示されたか否かを判断する（ステップＳ２９）。この例では、指定点の指定が３つまでに制約されていることを想定しているので、更なる指定点の指定はできないものとして（ステップＳ２９をＮｏに分岐）、メインルーチン（図４のステップＳ６以降）にリターンすることになる。尚、ここでは、説明の便宜上、指定点を３つまで指定できる例を挙げたが、これに限定されず、更に多くの指定点を指定できるように拡張できることは勿論である。
【００６５】
以上の処理により第１乃至第３の指定点が指定された場合、指定点により定まる被写体面の距離情報が変換される。例えば、３つの指定点が指定された場合、図７（ｃ）に示されるように、その３つの指定点の距離情報に係るデプス・マップデータに変換される。
【００６６】
図４の説明に戻り、続いてＣＰＵ２１は、設定された被写体面（第１乃至第３の被写体面のいずれか）の情報（例えば座標情報、傾き角度、傾き方向等）に基づいて画像データの各点の距離データを変換し、この変換後の距離データに基づいて画像処理部２４による画像処理を行う（ステップＳ６）。すなわち、例えば、被写体面に載っている点に対して実際の撮像素子１２、焦点距離では撮像できないような「浅い被写界深度及び傾いた被写体面での撮像」と同等の効果を付与した画像となるように、ボカシ処理を行う。そして、ＣＰＵ２１は、このボカシ処理が施された画像をＬＣＤモニタ１９に表示する（ステップＳ７）。
【００６７】
ここで、図８を参照して、被写体面の設定に基づく距離データの変換について述べる。
図８において、光軸に垂直な方向をＸ軸方向とする。いま、第１の指定点Ｐ１が指定されると、この第１の指定点Ｐ１を含み、光軸に垂直な平面を第１の被写体面として設定する。この設定により、第１の指定点Ｐ１は新たな座標系の中心となり、その座標は（Ｘ１，Ｙ１，Ｚ１）から（０，０，０）に設定される。この座標系の変換に伴って、例えば第１被写体面上の点Ｐｎの座標は、（Ｘｎ，Ｙｎ，Ｚｎ）から（Ｘｎ−Ｘ１、Ｙｎ−Ｙ１，Ｚｎ−Ｚ１）に変換される。この変換後の座標を（Ｘｎ’、Ｙｎ’、Ｚｎ’）とする。
【００６８】
また、第２の指定点Ｐ２が更に指定されると、第１の指定点Ｐ１、第２の指定点Ｐ２を含む第２の被写体面が設定される。この場合も第１の指定点Ｐ１は新たな座標系の中心であり、その座標は（０，０，０）である。この第２の被写体面の第１の被写体面に対する傾き角がθであり、傾き方向が図に示すようにＺ軸（正）方向であるものとすると、例えば第１の被写体面上の点Ｐｎは、第２の被写体面上からの距離情報に射影変換され、そのＺ座標はＺｎ’−Ｘｎ’・ｔａｎθとなる。これは、変換後の点Ｐｎの距離情報となる。ここでは、説明の便宜上、第１の被写体面上の点Ｐｎについて、その変換を説明したが、同様にして、全ての点（例えば画素単位）について、距離情報を変換する。以上の考え方は、第１の被写体面がＹ軸周りに回転（傾き角θ）された場合も同様である。
【００６９】
また、図８では不図示であるが、第３の指定点が更に指定され、第３の被写体面が設定された場合には、更にその傾き角度、傾き方向に基づいて距離情報を変換する。いま、第３の被写体面が、第１の被写体面に対して、Ｘ軸周りに傾き角度αで傾いたものとすると、前述した点ＰｎのＺ座標は、Ｚｎ’−Ｘｎ’・ｔａｎθ−Ｙｎ’・ｔａｎαとなる。これは、第３の被写体面を基準とした点Ｐｎの距離情報となる。以上は、第１の被写体面がＹ軸周りに回転（傾き角θ）された後、更にＸ軸周りに回転（傾き角α）された場合も同様である。
【００７０】
つまり、例えば第１乃至第３の指定点が被写体Ｏ１乃至Ｏ３上に指定され、或いは第１の指定点が指定された後、被写体面のＸ軸及び／又はＹ軸周りの回転により被写体Ｏ１乃至Ｏ３が該被写体面に載るように設定された場合、図７（ｄ）に示されるように、被写体面からの距離に応じてボカシ処理が施される。即ち、変換された距離情報に応じたボケ量で画像データにボケを付加する。より詳細には、被写体面からの距離が大きいほどボケ量が大きくなるように画像データにボケを付加する。従って、図７（ｄ）の例では、被写体面からの距離が最も大きい被写体Ｏ４はボケ量が大きくなる。尚、被写体面からの距離が所定範囲内である点については、同じボケ量となるように画像データにボケを付加してもよい。これは、被写界深度をボケの付加に際して加味するものである。
【００７１】
続いて、ＣＰＵ２１は、ユーザによりタッチパネル３４等の操作入力により被写体面の調整が指示されたか否かを判断し（ステップＳ８）、該調整を行わないと判断した場合には（ステップＳ８をＮｏに分岐）、上記ボカシ処理が施された画像の画像データをメモリカード３１に記録し（ステップＳ１２）、一連の処理を終了する。尚、ステップＳ１２では、ボカシ処理を施す前の画像データもメモリカード３１に記録してもよい。この場合には、末尾送りして異なる番号を付する等して管理するとよい。一方、ＣＰＵ２１は、該調整を行うと判断した場合には（ステップＳ８をＹｅｓに分岐）、被写体面のレンズ光軸に対する傾き方向と傾き角度を設定する。
【００７２】
この設定の詳細は、図６のフローチャートに示される通りである。
【００７３】
即ち、図６の処理に移行すると、先ず、ＣＰＵ２１は、操作入力部３３の一要素である十字キーが操作されたか否かを判断し（ステップＳ４１）、該操作がなされていないと判断した場合には（ステップＳ４１をＮｏに分岐）、本処理を終了しリターンする。
【００７４】
一方、ＣＰＵ２１は、該操作がなされていると判断した場合には、それが上キーであるか否かを判断する（ステップＳ４２）。ここで、操作されたのが上キーであると判断した場合には（ステップＳ４２をＹｅｓに分岐）、ＣＰＵ２１は、被写体面をＸ軸周りで上側を奥行方向に回転し、ステップＳ５０に移行する（ステップＳ４３）。
【００７５】
一方、操作されたのが上キーでない場合には（ステップＳ４２をＮｏに分岐）、それが下キーであるか否かを判断する（ステップＳ４４）。ここで、操作されたのが下キーであると判断した場合には（ステップＳ４４をＹｅｓに分岐）、ＣＰＵ２１は、被写体面をＸ軸周りで下側を奥行方向に回転し、ステップＳ５０に移行する（ステップＳ４５）。
【００７６】
また、操作されたのが下キーでない場合には（ステップＳ４４をＮｏに分岐）、それが右キーであるか否かを判断する（ステップＳ４６）。ここで、操作されたのが右キーであると判断した場合には（ステップＳ４６をＹｅｓに分岐）、ＣＰＵ２１は、被写体面をＹ軸周りで右側を奥行方向に回転し、ステップＳ５０に移行する（ステップＳ４７）。
【００７７】
一方、操作されたのが右キーでない場合には（ステップＳ４６をＮｏに分岐）、それが左キーであるか否かを判断する（ステップＳ４８）。ここで、操作されたのが左キーであると判断した場合には（ステップＳ４８をＹｅｓに分岐）、ＣＰＵ２１は、被写体面をＸ軸周りで左側を奥行方向に回転し、ステップＳ５０に移行する（ステップＳ４９）。
【００７８】
そして、操作されたのが左キーでない場合には（ステップＳ４８をＮｏに分岐）、ＣＰＵ２１は、誤操作であるものと判断し、ステップＳ５０に移行することになる。
【００７９】
こうして、ＣＰＵ２１は、操作入力部３３の一要素である決定キーなどに操作入力に従い設定を終了するか否かを判断し（ステップＳ５０）、設定を終了しないと判断した場合にはステップＳ４１に戻り、上記処理を繰り返す。一方、設定を終了するものと判断した場合には、設定された被写体面の設定情報をＲＡＭ２３に記憶し（ステップＳ５１）、メインルーチン（図４のステップＳ１０以降）にリターンする。
【００８０】
以上の一連の処理（図６）によれば、十字キー（上下左右キー）の操作に基づいて、被写体面をＸ軸或いはＹ軸周りに所望とする傾き方向、傾き角度となるように調整することができる。たとえば、十字キーの操作をする度に所定角度だけ、傾き角度が変わるように段階的な調整をすることもできる。ゆえに、所望とする点が該被写体面に載るように、つまり、所望とする点に対してアオリ効果と同等の浅い被写界深度での撮像と同等の効果が施された画像を得るように、微調整を行うことができる。
【００８１】
図４の説明に戻り、続いて、設定された被写体面と距離情報とに基づいて画像処理を行い（ステップＳ１０）、画像処理が施された画像をＬＣＤモニタ１９に表示する（ステップＳ１１）。このステップＳ１０，Ｓ１１の処理の詳細は、前述したステップＳ６，Ｓ７の処理と同様であるので、ここでは重複した説明は省略する。
【００８２】
こうして、ステップＳ８に戻り、更に被写体面の調整を行うか否かを判断し、更に該調整を行う場合にはステップＳ９以降の処理を繰り返し、更に該調整を行わないと判断した場合には（ステップＳ８をＮｏに分岐）、上記ボカシ処理が施された画像の画像データをメモリカード３１に記録し（ステップＳ１２）、一連の処理を終了する。
【００８３】
ここで、図９の概念図を参照して、距離情報を取得する手法である、ＴＯＦ方式について更に詳細に説明する。測距部２９は、図９に示されるように、発光素子２９ａと結像レンズ２９ｂ、撮像素子２９ｃからなる。そして、このような構成の下、発光素子２９ａから照射された特定波長を変調した光の被写体２００での反射光を結像レンズ２９ｂを介して撮像素子２０ｃで受光し、出射光と反射光との位相差から、撮像素子２０ｃの各画素における「遅れ時間」を計測し、当該遅れ時間に基づいて被写体までの距離ｄ、つまり距離情報を得るものである。尚、この距離情報は、例えば、光速と遅れ時間とを乗算し１／２を乗ずることで算出すればよい。以上の処理により本実施の形態では、最大で１画素ごとに距離情報を得ることができる。また、距離情報を取得する手法としては、この他に位相差解析等を採用することも可能である。
【００８４】
以上説明したように、本発明の第１の実施の形態によれば、撮像光学系により結像される画像に対応する距離情報を得て、撮像画像の中で点を指定することで被写体面を設定し、前記距離情報と該被写体面の情報を基に画像処理を行うことにより「アオリ（スイング、ティルト）」相当の画像を簡易な操作で得ることができる。
【００８５】
また、このような機能を、安価且つ小型なディジタルスチルカメラ等の撮像装置において実現することも可能となることは勿論である。
【００８６】
つまり、本発明の一実施の形態によれば、「アオリ（スイング、ティルト）」相当の画像をより簡易に得ることができるので、例えば光学的なアオリ（スイング、ティルト）を可能にするための複雑な機構（所謂「シャインプルフの法則」に沿ったメカ設計）も不要であり、「アオリ（スイング、ティルト）」を意図した特別な光学設計を行う必要もなくなるため、安価且つ小型の画像処理装置、画像処理方法を提供することができる。
【００８７】
尚、生成される被写体面は、平面のみならず任意の湾曲面（e.g. Variable Field Curvature(可変像面湾曲)）でもよい。即ち、例えば図１０（ａ）に示されるように光軸に直交する平面が被写体面として設定された後、図１０（ｂ）に示されるように被写体面の左右が画像合成装置側に所定の曲率で湾曲した湾曲面を被写体面として設定したり、図１０（ｃ）に示されるように、被写体面の左右が画像合成装置とは反対側に所定の曲率で湾曲した湾曲面を被写体面として設定したり、することもできる。なお、不図示ではあるが、被写体面の上下を画像合成装置側あるいはその反対側に所定の曲率で湾曲した湾曲面を被写体面として設定してもよいことは勿論であるし、像面をすり鉢状に設定することも可能である。これについては、第９の実施の形態で詳述する。
【００８８】
また、図１１に示されるように、操作入力部３３の一要素である十字キーの操作による被写体面の調整にあたっては、その調整の過程をＬＣＤモニタ１９の画面３５０の右下のウィンドウ３５１で表示するようにしてもよい。これについては、第８の実施の形態で詳述する。
【００８９】
（第２の実施の形態）
次に本発明の第２の実施の形態について説明する。
本発明の第２の実施の形態は、前述した画像処理装置による被写体面の設定やボカシ処理をコンピュータやアクセサリ装置等の情報処理装置により実現するものである。
【００９０】
図１２には、第２の実施の形態に係る情報処理装置の構成例を示し説明する。
この図１２に示されるように、情報処理装置５０は、入力部５１、制御プログラム５３に基づいて全体を制御する制御部５２、表示部５４、操作入力部５５、記憶部５６からなる。そして、制御部５２は、制御プログラム５３に基づいて、例えば、被写体面設定機能５３ａ、傾き設定機能５３ｂ、画像処理機能５３ｃを奏することになる。尚、この制御プログラムは、例えば画像処理プログラムに相当するものである。
【００９１】
このような構成において、画像データ及び距離情報が入力部５１より入力されると、制御部５２は、記憶部５６に記憶されている制御プログラム５３を読み出し、当該制御プログラム５３に基づいて処理を実行する。即ち、表示部５４に画像データに基づく画像の表示を行ない、操作入力部５５の操作による被写体面の設定を促す。
【００９２】
ユーザにより、操作入力部５５が操作されて、表示画像の中で所望とされる点（領域でもよい）が選択されると、制御部５２は、被写体面設定機能５３ａに基づいて被写体面を設定する。そして、更なる操作入力部５５の操作に基づいて、被写体面の傾き方向及び傾き角の設定を行う。そして、最終的に設定された被写体面の情報と距離情報とに基づいて、ボケ処理などの画像処理を行い、該処理後の画像を表示部５４に表示する。以上の一例の設定の詳細は、第１の実施の形態（先に図４乃至図６のフローチャート参照）と同様であるので、ここでは重複した説明は省略する。
【００９３】
以上説明したように、本発明の第２の実施の形態によれば、入力された画像データと距離情報に基づいて被写体面の設定を促し、当該被写体面の情報と距離情報とに基づいて画像処理を行うことにより「アオリ（スイング、ティルト）」相当の画像を簡易な操作で得ることができる。
【００９４】
つまり、本発明の第２の実施の形態によれば、「アオリ（スイング、ティルト）」相当の画像をより簡易に得るための画像処理プログラムを提供することができる。また、この画像処理プログラムを実装すれば、コンピュータ等の情報処理装置により、上記効果が施された画像を簡易且つ安価に得ることが可能となる。
【００９５】
以上、本発明の第１及び第２の実施の形態について説明したが、本発明はこれに限定されることなくその趣旨を逸脱しない範囲で種々の改良・変更が可能であることは勿論である。
【００９６】
例えば、前述した第１及び第２の実施の形態では、画面を見ながらタッチパネルで所望とするポイントを最大３点指定し、該ポイントに基づいて被写体面を設定する例を挙げたが、これには限定されない。ユーザが３点を指定すると共にボカシ処理の変化の度合いを調整するために被写界深度（絞り）を指定してもよい（絞り優先で実際の撮像素子／焦点距離では撮像できないような浅い被写界深度及び傾いた被写体面での撮像と同等の効果を付与）し、被写界深度（絞り）は自動で決定してもよい。更に、ユーザが４点以上を指定して、これらの点全体にピントが合うように被写界深度を演算してもよいし、各点に何らかの重み付けをしてもよい。尚、被写界深度とはピントを合わせた被写体の前後でピントが合うとみなされる距離の範囲のことをいう。
【００９７】
また、ユーザが３５ｍｍ判換算（35mm size conversion）の焦点距離及び絞り値を指定してもよい。３５ｍｍ判換算とは、３５ｍｍ判における標準レンズの画角を基準にして、それぞれの撮像サイズで該画角のレンズを標準レンズと見なすことをいう。若しくは４点以上のポイントを指定したときの被写体面は、一般的な立体解析幾何学で得ることができる。これは、被写体面情報に基づく距離情報の変換についても同様である。更に、ボカシ処理のアルゴリズムは前述した例に限定されないことは勿論である。
【００９８】
また、画像処理は、前述したボカシ処理に限定されることなく、例えば、粒状化、モザイク化、テクスチャの変更、ノイズの付加、明度や彩度の変更、段階的にグラデーションを与えるなど、各種の処理を含む。更に、被写体面は、曲面（球面や円筒面、円錐面、高次の近似曲面）であってもよいことは勿論である。
【００９９】
（第３の実施の形態）
次に第３の実施の形態について説明する。
図１３には本発明の第３の実施の形態に係る画像処理装置の構成を示し説明する。
ここでは、第３の実施の形態に係る画像処理装置をディジタルカメラ等の撮像装置に適用した例を示し説明する。
【０１００】
この図１３に示されるように、画像処理装置は、カメラ部６０と、カメラＤＳＰ（Digital Signal Processor）６１と、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）６３と、媒体インターフェース（以下、媒体Ｉ／Ｆという）６４と、制御部６２と、操作部６６と、ＬＣＤ（Liquid Crystal Display）コントローラ６７及びＬＣＤ６８と、外部インターフェース（以下、外部Ｉ／Ｆという）６９を備えるとともに、記録媒体６５が着脱可能とされている。
【０１０１】
記録媒体６５は、半導体メモリを用いた所謂メモリカード、記録可能なＤＶＤ（Digital Versatile Disk）や記録可能なＣＤ（Compact Disc）等の光記録媒体、磁気ディスク等の種々のものを用いることができる。
【０１０２】
カメラ部６０は、光学ブロック６０ａ、絞り６０ｂ、ＣＣＤ（Charge Coupled Device）等の撮像素子６０ｃ、Ａ／Ｄ変換回路６０ｄ、光学ブロック用ドライバ６０ｅ、絞り用ドライバ６０ｆ、撮像素子用ドライバ６０ｇ、タイミング生成回路６０ｈ、駆動部６０ｉ、検出部６０ｊ、ブレ検出部６０ｋ等を備える。ここで、光学ブロック６０ａは、レンズ、フォーカス機構、シャッター機構、絞り（アイリス）機構、手振れ駆動部等を備えている。そして、光学ブロック６０ａ中のレンズには、ズームレンズが使用される。
【０１０３】
制御部６２は、ＣＰＵ（Central Processing Unit）６２ａ、ＲＡＭ（Random Access Memory）６２ｂ、フラッシュＲＯＭ（Read Only Memory）６２ｃ、時計回路６２ｄ等がシステムバス６２ｅを通じて接続されて構成されたマイクロコンピュータであり、この実施の形態の撮像装置の各部の制御を司るものである。
【０１０４】
ＲＡＭ６２ｂは、処理の途中結果を一時記憶する等、主に作業領域として用いられるものである。フラッシュＲＯＭ６２ｃは、ＣＰＵ６２ａにおいて実行する種々のプログラムや、処理に必要になるデータ等が記憶されたものである。画像処理プログラムもフラッシュＲＯＭ６２ｃに記憶してよい。時計回路６２ｄは、現在年月日や現在曜日、現在時刻を提供することができるとともに、撮影日時等を提供する等のことができる。
【０１０５】
画像の撮像時においては、光学ブロック用ドライバ６０ｅは、制御部６２からの制御に応じて、光学ブロック６０ａを動作させるようにする駆動信号を形成し、これを光学ブロック６０ａに供給して、光学ブロック６０ａを動作させるようにする。光学ブロック６０ａは、光学ブロック用ドライバ６０ｅからの駆動信号に応じて、被写体の画像を取り込んで、これを撮像素子６０ｃに対して提供する。
【０１０６】
撮像素子６０ｃは、光学ブロック６０ａからの画像を光電変換して出力するものであり、撮像素子用ドライバ６０ｇからの駆動信号に応じて動作し、光学ブロック６０ａからの被写体の画像を取り込む。更に、制御部６２によって制御されるタイミング生成回路６０ｈからのタイミング信号に基づいて、取り込んだ被写体のアナログ画像データをＡ／Ｄ変換回路６０ｄに供給する。Ａ／Ｄ変換回路６０ｄは、Ａ／Ｄ変換を行って、ディジタル信号とされた画像データを形成する。
【０１０７】
このディジタル信号とされた画像データは、カメラＤＳＰ６１に供給される。カメラＤＳＰ６１は、これに供給された画像データに対して、ＡＦ（Auto Focus）、ＡＥ（Auto Exposure）、ＡＷＢ（Auto White Balance）等のカメラ信号処理を施す。このようにして種々の調整がされた画像データは、所定の圧縮方式でデータ圧縮され、システムバス６２ｅ、媒体Ｉ／Ｆ６４を通じて、記録媒体６５に供給され、記録される。
【０１０８】
この記録媒体６５に記録された画像データは、タッチパネルやコントロールキー等からなる操作部６６を通じて受け付けたユーザからの操作入力に応じて、目的とする画像データが媒体Ｉ／Ｆ６４を通じて記録媒体６５から読み出され、これがカメラＤＳＰ６１に供給される。
【０１０９】
カメラＤＳＰ６１は、記録媒体６５から読み出され、媒体Ｉ／Ｆ６４を通じて供給されたデータ圧縮されている画像データについて、そのデータ圧縮の解凍処理（伸張処理）を行い、解凍後の画像データをシステムバス６２ｅを通じて、ＬＣＤコントローラ６７に供給する。ＬＣＤコントローラ６７は、供給された画像データからＬＣＤ６８に供給する画像信号を形成し、これをＬＣＤ６８に供給する。これにより、記録媒体６５に記録されている画像データに応じた画像が、ＬＣＤ６８の表示画面に表示される。
【０１１０】
外部Ｉ／Ｆ６９を通じて、例えば、外部のパーソナルコンピュータと接続して、パーソナルコンピュータから画像データの供給を受けて、これを記録媒体６５に記録することもできる。また、外部Ｉ／Ｆ６９を通じて、記録媒体６５に記録されている画像データを外部のパーソナルコンピュータ等に供給することもできる。
【０１１１】
また、外部Ｉ／Ｆ６９に通信モジュールを接続することにより、例えば、インターネット等のネットワークに接続して、ネットワークを通じて種々の画像データやその他の情報を取得し、記録媒体６５に記録することもできる。あるいは、記録媒体６５に記録されているデータを、ネットワークを通じて目的とする相手先に送信することもできる。
【０１１２】
なお、この外部Ｉ／Ｆ６９は、例えば、ＩＥＥＥ（Institute of Electrical and Electronics Engineers）１３９４、ＵＳＢ（Universal Serial Bus）等の有線用インターフェースとして設けることもできる。或いは、この外部Ｉ／Ｆ６９は、光や電波による無線インターフェースとして設けることもできる。即ち、外部Ｉ／Ｆ６９は、有線、無線のいずれのインターフェースでもよい。
【０１１３】
そして、この第３の実施の形態に係る画像処理装置では、特に「アオリ（スイング、ティルト）」に相当する撮影技法をより簡易なものとすることを目的として、ＣＰＵ６２ａの制御の下、画像処理、画像補正によってこれらを実現し、且つ直感的な操作ができるようにしている点を特徴の一つとしている。
【０１１４】
図１４には画像処理装置を撮像装置としてのディジタルカメラに適用した場合の該ディジタルカメラの外観構成図を示し説明する。図１４（ａ）はディジタルカメラを前面から見た斜視図、図１４（ｂ）はディジタルカメラを後面から見た斜視図である。これらの図に示されるように、ディジタルカメラ７０には、レンズ７１、シャッターボタン７２、メニューボタン７３、決定ボタン７４、露出補正ボタン７５、タッチパネル７６、十字キー７７が設けられている。後述する点の指定は、タッチパネル７６等の操作により行う。
【０１１５】
以下、図１５のフローチャートを参照して、本発明の第３の実施の形態に係る画像処理装置による特徴的な処理手順を詳述する。以下の処理手順の一部または全部は本発明の第３の実施の形態に係る画像処理方法にも相当する。
【０１１６】
この処理を開始すると、制御部６２のＣＰＵ６２ａは、撮像素子６０ｃにより被写体像を撮像し、Ａ／Ｄ変換回路６０ｄにてディジタルの画像データを生成する（ステップＳ１０１）。続いて、ＣＰＵ６２ａは、この生成した画像データに対応した距離情報（Depth Map）を生成する（ステップＳ１０２）。距離情報（Depth Map）は、画像における物体までの距離を画素単位で対応付けて取得したものであって、ＴＯＦ（Time of flight）方式やボケ量解析（Depth from Defocus）などで得ることが可能である。
【０１１７】
続いて、ＣＰＵ６２ａは、画像データと距離情報を記録媒体６５に記録する（ステップＳ１０３）。即ち、画像データと距離情報は、互いに関連付けられた状態で媒体Ｉ／Ｆ６４を介して記録媒体６５に記録される。距離情報はメタデータとして保持する。ファイル番号などによって関連付けて画像と距離情報を別々に保存すれば、画像ファイル自体のサイズを小さくすることもできる。この場合には、互いの関連付けを画像と距離情報を利用するときに判断しなくてはならない。
【０１１８】
次に、ＣＰＵ６２ａは、ＬＣＤコントローラ６７を制御して、ＬＣＤ６８に画像を表示する（ステップＳ１０４）。そして、ＣＰＵ６２ａは、「アオリ（スイング、ティルト）」に相当する被写体面の操作に基づく処理を行う（ステップＳ１０５）。このステップＳ１０５の処理の詳細は図１６を参照して後述する。
【０１１９】
ここで、被写体面とは、所謂シャインプルフの法則（Scheimpflug principle）に従い撮像素子６０ｃの受光面の延長及び光学系主面の延長と交わるピントが合う面である。この実施の形態に係る画像処理装置では、撮像素子６０ｃと光学系ブロック６０ａの光学系とは、所謂アオリ（スイング、ティルト）操作ができないよう、レンズ光軸と撮像素子面は（ほぼ）直交の位置関係のままで撮像を行うこととしている。「アオリ（スイング、ティルト）」に相当する被写体面の操作は、画像処理によって行う。
【０１２０】
続いて、ＣＰＵ６２ａは、ステップＳ１０３で記録された画像データを読み出し、ステップＳ１０５で設定された被写体面を用いて、画像処理（被写体面からの距離に応じたボカシ処理）を施す（ステップＳ１０６）。このステップＳ１０６の処理の詳細は図１８及び図１９を参照して後述する。こうして、ＣＰＵ６２ａは、画像処理を行った画像データを媒体Ｉ／Ｆ６４を介して記録媒体６５に記録する（ステップＳ１０７）。
【０１２１】
このとき、ＣＰＵ６２ａは、表示画像に係る画像データを撮像時に元の画像データとは別のファイルとして記録媒体６５に保存していたときには、画像処理を施した表示画像に係る画像データを同時に記録する。以上で、処理を終了する。
【０１２２】
次に、図１６のフローチャートを参照して、図１５のステップＳ１０５の処理の詳細を説明する。ここでは、被写体面の操作にタッチパネル７６を用いた方法を説明する。
【０１２３】
この処理に入ると、ＣＰＵ６２ａは、タッチパネル７６をタッチすることによる被写体面の中心に係る指示を受け付ける（ステップＳ２０１）。即ち、ＣＰＵ６２ａは、タッチされた位置の座標を検出し、位置の指定として受け付ける。この被写体面の中心は、被写体面の回転中心であり、Ｘ，Ｙ，Ｚ軸からなる新たな座標系で該被写体面を回転させる際に中心となる立体的且つ空間的な中心位置である。
【０１２４】
続いて、ＣＰＵ６２ａは、こうして設定された被写体面の回転中心をユーザが認識できるように、ＬＣＤ６８の表示画面中に被写体面の回転中心を示す点を表示する（ステップＳ２０２）。そして、ＣＰＵ６２ａは、被写体面の回転の中心が立体座標中心となるように、距離情報（Depth Map）を座標変換する。（ステップＳ２０３）。
【０１２５】
ここで、距離情報（Depth Map）は、画像の平面座標（Ｘ，Ｙ）と奥行き座標（Ｚ）で定義される座標（Ｘ，Ｙ，Ｚ）のうちの奥行き座標（Ｚ）に関連するものである。ＣＰＵ６２ａは、先ず被写体面の中心に設定された画素の座標（Ｘ，Ｙ，Ｚ）を立体座標の原点（０，０，０）になるように変換する。その他の点（画素）の座標は、この被写体面中心の座標を座標中心とする新たな座標系の座標値に変換される。これにより、距離情報は、被写体面からの距離に変換されることになる。尚、この距離情報の変換の詳細は、先に図８を参照しつつ説明したとおりであるので、重複した説明は省略する。
【０１２６】
この実施の形態では、被写体面の形状は、単純な平面として話を進める。このとき、表示された被写体面の中心がユーザの意図した位置からズレてしまっている場合には、表示点をドラッグすることによって修正する。たとえば、図１４（ｂ）の十字キー７７を用いて、該十字キー７７を操作した方向に中心点を動かすこともできる。
【０１２７】
こうして、ＣＰＵ６２ａは、ユーザによりタッチパネル７６が操作され、例えば決定ボタンがタップされる等して、被写体面の中心が決定されたか否かを判断する（ステップＳ２０４）。被写体面の中心をユーザ操作に従って修正した場合には、その中心座標が変わってしまうので、修正された被写体面中心が立体座標中心になるように、ステップＳ２０３に戻り、再度距離情報（Depth Map）の座標を変換する。一方、例えば、ＬＣＤ６８に表示されている被写体面中心が再度タップされるなどして、中心が決定された場合にはステップＳ２０５に進む。
【０１２８】
ユーザ操作によって被写体面中心が決定されたらと判断した場合、ＣＰＵ６２ａは被写体面の操作を行ったときに効果が分かるように、表示画像を画像処理して表示する（ステップＳ２０５）。この表示画像は、撮像された画像データそのものではなく、画像自体の確認や被写体面操作の効果を確認するために表示画面（ＬＣＤ６８）に表示するためにＲＡＭ６２ｂ（もしくはＳＤＲＡＭ６３）に書き込まれる画像のことである。画像自体の確認等のためのものであることから、画像処理も簡易処理であってよい。
【０１２９】
この表示画像は、撮像された画像データから表示画面（ＬＣＤ６８）の解像度に合った画像へとサイズダウンすることで、一時的にＲＡＭ６２ｂ（もしくはＳＤＲＡＭ６３）に保持しても良い。或いは、撮像時に元の画像データとは別のファイルとして媒体Ｉ／Ｆ６４を介して記録媒体６５に保存しても良い。
【０１３０】
ステップＳ２０５では、具体的には、被写体面からの距離に応じて、表示画像に対してボカシ処理を行う。表示画像は実際に記録されている画像よりもサイズの小さな画像で構わない。表示画面のサイズや画素数に応じて、最低限必要な大きさの画像を表示することによって処理負荷を軽減して、スムーズなユーザ操作を実現することが望ましい。
【０１３１】
なお、この実施の形態では、簡易的なユーザ操作を意図して、被写界深度は一定で（但し、実際の撮像よりも被写界深度が浅いように）被写体面だけを操作するものとして以下の説明を進める。
【０１３２】
続いて、ＣＰＵ６２ａは、ユーザ操作に従い、被写体面を回転する（ステップＳ２０６）。この被写体面の回転は、被写体面の中心以外の座標をタップすることによって、被写体面をＸ軸またはＹ軸周りに回転（傾ける）させることによる。
【０１３３】
より具体的には、図１７（ａ）に示されるように、表示画面５００におけるタップ（タッチ）位置５００ａによって被写体面を倒す（傾ける）方向を指示して、タップした強さによって被写体面をティルトさせる（傾ける）量を指示する。表示画面５００内におけるタップ位置５００ａの座標（Ｘ，Ｙ）と被写体面の先に指定さえた指定点に係る回転中心５００ｂとを結ぶ直線に直交し、被写体面の回転中心５００ｂを通る回転軸５００ｃ回りで被写体面が回転する。タップによって、面を突っつくような直感的操作を実現する。
【０１３４】
被写体面の回転は立体解析幾何学における座標変換によって行う。例えば、各画素について被写体面からの距離を算出する。すなわち、被写体面の回転中心を指示して、被写体面の回転操作を行うユーザ操作に従い、ＣＰＵ６２ａは、距離情報を被写体面からの距離情報へと座標変換する処理を行う。
【０１３５】
こうして被写体面をその回転中心５００ｂを支点に回転させた（要は、被写体面をティルト操作した）効果が分かるように、表示画像を画像処理してＬＣＤ６８に表示する（ステップＳ２０７）。すなわち、ＣＰＵ６２ａは、回転（ティルト）操作された被写体面からの距離に応じて、ボカシ処理を施す。その結果は、図１７（ｂ）に示される。
【０１３６】
このステップＳ２０７の画像処理は、前述したステップＳ２０５における画像処理と同様、ユーザ操作がスムーズに行えて且つ操作の効果を把握できるだけの画像サイズであれば良い。また、被写体面を傾ける操作を行ってからも、被写体面の回転中心をドラッグすることによって修正することができる。そのときには、前述したステップＳ２０３と同様に座標を変換すれば良い。
【０１３７】
次いで、ＣＰＵ６２ａは、ユーザによりタッチパネル７６の被写体面中心がもう一度タップされる等して、被写体面の回転の終了が指示されたか否かを判断する（ステップＳ２０８）。ここで、ＣＰＵ６２ａは終了が指示されていないと判断した場合にはステップＳ２０６に戻り、上記処理を繰り返す。一方、ＣＰＵ６２ａは、終了が指示されたと判断した場合には、本処理を終了し、図１５の処理にリターンする。
【０１３８】
次に、図１８のフローチャートを参照して、図１５のステップＳ１０６の処理の詳細を説明する。なお、前提として、画像処理装置は、図１９に示されるような関係に基づくテーブルをフラッシュＲＯＭ６２ｃ等にて保持しているものとする。この図１９では、縦軸はボケ付加パラメータの値を示し、横軸は距離情報を示す。被写界深度となる距離まではボケ付加パラメータはゼロとなる。被写界深度となる距離からは例えば１次関数の関係となり、距離が大きくなるに従い、ボケ付加パラメータの値も大きくなる。ボケ付加パラメータは被写体までの距離に応じて、いくつか保持していることが好ましく、ボケ付加パラメータは１次関数に限らず、光学的な計算結果に基づいたパラメータを付加することも可能である。
【０１３９】
処理を開始すると、ＣＰＵ６２ａは、画像処理を施す画素を設定する（ステップＳ３０１）。続いて、ＣＰＵ６２ａは、被写体面からの距離に座標変換された距離情報を取得する（ステップＳ３０２）。そして、図１９の関係に基づくテーブルを参照し、該距離情報に対応するボケ付加パラメータを取得する（ステップＳ３０３）。そして、該ボケ付加パラメータを画素に付加する（ステップＳ３０４）。たとえば、周辺画素を用いたローパスフィルタ（ＬＰＦ）処理を行うことでボケを付加することができるが、その際に用いる周辺画素の数を変える事でボケ量を変えることができる。利用する全ての画素の平均値を対象画素の画素値とする場合に画素数を増やせばボケ量が増えることになる。
【０１４０】
こうして、ＣＰＵ６２ａは、全ての画素について処理を完了したかを判断する（ステップＳ３０５）。全ての画素について処理を完了していないと判断した場合にはステップＳ３０１に戻り上記処理を繰り返す。一方、全ての画素について処理を完了したと判断した場合には、この処理を終了し、図１５の処理にリターンする。
【０１４１】
以上が、基本的な撮像〜被写体面中心の設定〜被写体面の操作〜画像処理までの説明である。いずれのステップにおいても、操作をやり直したいときには「キャンセル」や「戻る」などの操作を行うことによって、やり直すことができる。
【０１４２】
即ち、図２０（ａ）に示されるように、「キャンセル」や「戻る」は、表示画面５０２に重ねて操作ボタン５０２ａを表示する。そのとき、表示位置は被写体面中心を示す点に重ならないように配置する。また、被写体面の回転中心をドラッグすることによって修正する際に邪魔にならないよう配置することが好ましい。
【０１４３】
また、図２０（ｂ）に示されるように、「キャンセル」や「戻る」などの操作ボタン５０３ａは、表示画面５０３上でドラッグすることによって位置を動かすことができる。これによって、被写体面の回転中心点の修正の邪魔にならないようになり、被写体面を傾けた効果を確認する際にボタン位置をズラして画面内を隅々まで見ることもできる。
【０１４４】
さらに、「アオリ（スイング、ティルト）」に相当する効果を確認するためには、被写体面中心付近だけでなく、画面の隅々を一度に見渡したい場合もあるので、図２０（ｃ）に示されるように表示画面５０４上に「表示を消去」などの操作ボタン５０４ａを配置するようにしてもよい。この「表示を消去」の操作ボタン５０４ａについても、図２０（ｂ）に示したようなドラッグ操作によって移動させることができる。
【０１４５】
この「表示を消去」の操作ボタン５０４ａをタップすると、表示画面５０４以外の表示を非表示状態にすることができ、画面内を一度に見渡して被写体面の操作の効果を確認することができる。もう一度、表示画面５０４の任意の位置をタップすることによって、再度の表示を元に戻すことができる。一方、メニュー操作によって、「表示を消去」の操作ボタン５０４ａを操作したときにも表示を消さずに残したいものを選択し、表示することができる。例えば、被写体面の回転中心だけを表示して他を消去することもできる。
【０１４６】
（第４の実施の形態）
次に第４の実施の形態について説明する。
尚、第４の実施の形態に係る画像処理装置の構成は、第３の実施の形態（図１３，１４）と同様であるので、これらの図を適宜参照し、説明を進める。また、図１５，１６のフローチャートを参照する場合、同図のステップを引用しつつ特徴点を説明する。
【０１４７】
「アオリ（スイング、ティルト）」に相当する効果を得るためには、被写体面を傾ける操作を可能にするだけでなく、被写体面からの被写界深度をも操作できる機能を実現することが望ましい。そこで、第４の実施の形態に係る画像処理装置、画像処理方法では、被写体面の回転中心を決定する際（図１６のステップＳ２０４に相当）に、表示されている被写体面の回転中心を２回タップすることで、被写体面中心の決定と被写界深度の決定を行うことを可能とするものである。
【０１４８】
被写界深度は通常、
・明るい絞りで撮像すると被写界深度は浅い（シャッタースピードは速い）
・暗い絞りで撮像すると被写界深度は深い （シャッタースピードは遅い）
という関係があるので、２回タップするときのタップ間の時間によって被写界深度を決定する。タップ間の時間が短ければ浅い被写界深度を設定し、長ければ深い被写界深度を設定する。これは、シャッタースピードが速い、遅いという関係に合致しているので、カメラを操作しているユーザにとって直感的に分かりやすいと言える。
【０１４９】
一方、被写界深度は、被写体面の回転中心を決定した後や、被写体面を傾けた後でも変更できる機能を実現することが望ましい。そこで、第４の実施の形態に係る画像処理装置、画像処理方法では、被写体面の回転を終了指示（図１６のステップＳ２０８に相当）するまでは、何度でも被写体面の回転中心を２回タップすることによって被写界深度を再設定することを可能とし、設定された被写界深度に応じた画像処理（図１６のステップＳ２０７に相当）を行うことを可能とする。
【０１５０】
具体的には、図２１（ａ）に示されるように、表示画面５０５の中で、ユーザ操作に基づいて被写界深度を設定する際（即ち、この例では、被写体面の回転中心を２回タップするとき）には、被写界深度の目安をグラフ表示部５０５ａにより表示画面５０５上に重ねて表示する。これにより、ユーザがより意図に沿った操作をできるようにする。
【０１５１】
即ち、図２１（ａ）において、ユーザ操作により被写体面の回転中心が１回目にタップされたとき、表示画面５０５内（被写体面の回転中心とは重ならない位置）にタップ間の時間によって変化するグラフ表示部５０５ａを表示する。この例では、表示は帯状のもので、一度目のタップ操作が行われてからの時間に応じて「浅い」→「深い」に表示を切り替え、ユーザによる被写界深度の設定を支援する。
【０１５２】
表示は、被写界深度が「浅い」「深い」ということには限定されず、図２１（ｂ）に示される表示画面５０６のように、被写体面の「手前」と「奥」にどれだけピントの合う範囲があるのかをグラフ表示部５０６ａにより表示しても良い。また、直感的なグラフ表示だけでなく数字を表示しても良い。この表示する数字としては、例えば“35mm判換算85mm相当の画角でF2.8相当の被写界深度”などが例として挙げられる。画像データの撮影情報から３５mm判換算の画角を自動的に算出し、その画角におけるＦ値を表示することも考えられる。
【０１５３】
また、被写体面中心を２回タップすることによって被写界深度を設定する場合には、被写体面中心を一度タップすることによって被写体面の回転を終了指示する操作と混同してしまう。そこで、図２１（ｃ）に示されるように、表示画面５０７に別途「終了」ボタン５０７ａを重ねて表示する。この「終了」ボタン５０７ａも、表示画面５０７上の所望位置にドラッグすることによって位置を動かすことができる。これによって、被写体面の回転中心の修正の邪魔にならないようになる。さらに、被写体面を傾けた効果を確認する際にボタン位置をズラして画面内を隅々まで見ることもできる。
【０１５４】
（第５の実施の形態）
次に第５の実施の形態について説明する。
尚、第５の実施の形態に係る画像処理装置の構成は、第３の実施の形態（図１３，１４）と同様であるので、これらの図を適宜参照し、説明を進める。また、図１５，１６のフローチャートを参照する場合、同図のステップを引用しつつ特徴点を説明する。
【０１５５】
この第５の実施の形態に係る画像処理装置、画像処理方法では、表示画像に重ねて「終了」ボタンを表示するのではなく、２回タップする操作と被写体面の回転を終了指示する操作を同一のユーザインタフェース（ＵＩ）で行うことを特徴とする。
【０１５６】
即ち、図２２（ａ）に示されるように、表示画面５０８上に、タッチパネル７６での１回目のタップによって「浅い」〜「深い」までの被写界深度設定を支援する表示をグラフ表示部５０８ａにより行い、該グラフ表示部５０８ａの上部に「終了」、即ち被写体面の回転を終了指示する位置を表示する。
【０１５７】
その後、図２２（ｂ）に示されるように、表示画面５０９にて、タッチパネル７６での１回目のタップを行ってからの時間に応じてグラフ表示部５０９ａの表示を「浅い」から「深い」まで切り替えていき、「深い」という状態を所定時間だけ維持する。ここまでの間にタッチパネル７６にて２回目のタップが行われたら、被写界深度が設定されたことをＣＰＵ６２ａが検出して、画像処理（図１６のステップＳ２０７に相当）を行う。
【０１５８】
タッチパネル７６にて２回目のタップが行われないまま所定時間（例えば１秒。「深い」という被写界深度をユーザが設定するために必要な時間）経過したら、図２２（ｃ）に示されるように、表示画面５１０のグラフ表示部５１０ａの表示を「終了」に至るまで切り替えていく。この間にタッチパネル７６にて２回目のタップが行われたら、「深い」被写界深度を設定する。
【０１５９】
そして、タッチパネル７６にて２回目のタップが行われないまま表示が「終了」に至った場合には、被写体面の回転を終了するという指示であるとＣＰＵ６２ａは判断する（図１６のステップＳ２０８に相当）。
【０１６０】
従って、第５の実施の形態に係る画像処理装置等では、被写体面の回転を終了指示（図１６のステップＳ２０８に相当）する際に表示が切り替わるまでの時間を設けるため、「終了」ボタンを表示する必要がないため、画面表示を煩雑にすることがなくなる。尚、被写界深度の設定は、ユーザのメニュー操作によって35ミリ換算の焦点距離、絞り値を指定してもよいことは勿論である。
【０１６１】
被写界深度の設定は２回タップする時間で設定する方法には限定されない。例えば、１回目のタップで図２２（ｄ）に示される表示画面５１１を表示し、タッチパネル７６への２回目のタップは「浅い」〜「深い」という被写界深度の設定と、「終了」とを表示している箇所、即ちグラフ表示部５１１ａで入力することもできる。この手法によれば、１つのＵＩで被写体面の回転を終了指示する際に表示が切り替わるまでの時間を要することなく、被写界深度の設定と被写体面の回転終了とを指示することができる。
【０１６２】
また、被写体面の回転中心をタップするとき（図１６のステップＳ２０４における被写体面の決定や、被写界深度の設定、被写体面の回転終了指示）に、「被写体面の回転中心」と判定されるタップ範囲を表示してもよい。
【０１６３】
即ち、図２３（ａ）には、「被写体面の中心」と判定されるタップ範囲を表示画面５１２内に丸印５１２ａで表示した例を示している。図２３（ｂ）には「被写体面の回転中心」と判定されるタップ範囲を表示画面５１３内に矩形印５１３ａで表示した例である。
【０１６４】
タッチパネル７６上でこの範囲の内側をタップされたときには、ＣＰＵ６２ａは「被写体面の中心」をタップされたものと判定して処理して、この外側をタップしたときにはそれ以外の処理（例えば被写体面の回転、傾け操作）を行う。
【０１６５】
この場合においても、「キャンセル」「戻る」「表示を消去」「終了」（ボタン）や被写界深度の目安などの画面表示は、「被写体面の中心」と判定される範囲の外側に配置することが望ましいことは勿論である。
【０１６６】
（第６の実施の形態）
次に第６の実施の形態について説明する。
尚、第６の実施の形態に係る画像処理装置の構成は、第３の実施の形態（図１３，１４）と同様であるので、これらの図を適宜参照し、説明を進める。また、図１５，１６のフローチャートを参照する場合、同図のステップを引用しつつ特徴点を説明する。
【０１６７】
この第６の実施の形態に係る画像処理装置、画像処理方法では、図１６のステップＳ２０６での被写体面の回転（傾け）操作において、タッチパネル７６をタップ（タッチ）した強さによって回転角度（被写体面をティルトさせる量）を指示する以外に、図２４に示すように、タップする位置によって被写体面のティルト量を指示する。
【０１６８】
即ち、第６の実施の形態では、図２４に示されるように、表示画面５１４に被写体面を傾ける角度を段階的に表示して、ユーザ操作を支援する。
【０１６９】
被写体面中心近傍は「被写体面の回転中心」と判定されるタップ範囲で、そこから離れるほどティルト量（被写体面を回転／傾ける角度）を大きくする。即ち、被写体面中心座標からタップ位置座標（Ｘ，Ｙ）までの距離に応じたティルト量を設定する。被写体面の回転中心に近いところは１度、遠いところは２度、さらに離れると３度等の如くである。
【０１７０】
回転角度、即ち立体解析幾何学における座標変換の角度は、被写体面の回転中心から段階的に変化するように設定しても良いが、被写体面の回転中心からタップ位置までの距離に応じて微小に角度を調整できるようにすることが、より好ましい。また、表示が段階的であっても、実際の処理においては表示よりも細かい角度設定を行っても良い。
【０１７１】
従って、この第６の実施の形態によれば、被写体面の回転中心からタップ位置までの距離に比例してティルト角度を変化させることで、ユーザの直感的操作を可能にする。
【０１７２】
なお、撮影画像の画角（図１５のステップＳ１０１でメタデータとして記録）に応じて被写体面の回転角度を変えることもできる。例えば、実際のレンズにおいては、24mm／45mm／90mmではレンズをティルト操作したときの被写体面の傾きが異なる。レンズと撮像素子の傾き角度が同一（例えば10度）であれば、より広角なレンズのほうが被写体面の傾きが大きい。
【０１７３】
（第７の実施の形態）
次に第７の実施の形態について説明する。
尚、第７の実施の形態に係る画像処理装置の構成は、第３の実施の形態（図１３，１４）と同様であるので、これらの図を適宜参照し、説明を進める。また、図１５，１６のフローチャートを参照する場合、同図のステップを引用しつつ特徴点を説明する。
【０１７４】
写真撮影においては、水平、垂直を厳密に決めて撮像することもあり、実際の「アオリ（スイング、ティルト）」レンズを用いた被写体面の操作においてもより厳密に水平、垂直を決めることがある。そこで、この第７の実施の形態に係る画像処理装置、画像処理方法では、図１６のステップＳ２０５において、図２５（ａ）に示されるように、水平ライン５１５ａ、垂直ライン５１５ｂを表示画面５１５上に表示することを特徴とする。
【０１７５】
水平ライン５１５ａ、垂直ライン５１５ｂは、撮像（図１５のステップＳ１０１）するときに、例えばジャイロセンサなどの出力からメタデータとしてカメラの撮影姿勢、角度を記録しておいて表示しても良い。より簡易的には、単純に被写体面の回転中心を通る画像情報の水平ライン、垂直ラインを表示するとよい。表示されている水平ライン５１５ａ又は５１５ｂがタッチパネル７６にてタップされると、ＣＰＵ６２ａは、被写体面の回転角度を固定する。
【０１７６】
例えば、図２５（ｂ）に示されるように、表示画面５１６の水平ライン５１６ａをタッチパネル７６にてタップすると、ＣＰＵ６２ａは、被写体面の回転が水平ライン５１６ａの軸周りに行われるように回転の方向を限定し、水平ライン５１６ａに固定されていることを示すマーク５１６ｃ（この例では三角印）を表示する。
【０１７７】
この状態では、被写体面の回転は固定されたライン軸周りにしか行われないため、ライン座標（この場合Ｙ）からタップ位置（この場合Ｙ）までの距離によって、回転角度を判定する。尚、タッチパネル７６にて、固定したラインが再度タップされた場合、ＣＰＵ６２ａは、ラインの固定を解除する。
【０１７８】
ラインは水平ライン、垂直ラインに限らず、図２５（ｃ）に示される表示画面５１７のように、メニュー操作によって様々なラインを表示することができる。例えば、実際の「アオリ（スイング、ティルト）」レンズには、所定角度毎に角度を決めることができるものもあるので、こういった用途はユーザに馴染みがあるといえよう。
【０１７９】
（第８の実施の形態）
次に第８の実施の形態について説明する。
尚、第８の実施の形態に係る画像処理装置の構成は、第３の実施の形態（図１３，１４）と同様であるので、これらの図を適宜参照し、説明を進める。また、図１５，１６のフローチャートを参照する場合、同図のステップを引用しつつ特徴点を説明する。
【０１８０】
この第８の実施の形態に係る画像処理装置、画像処理方法では、図１６のステップＳ２０６にける、被写体面の回転（傾け）操作において、被写体面がどのような状態、角度にあるのかを表示することを特徴とする。
【０１８１】
実際の「アオリ（スイング、ティルト）」レンズにおいては、被写体面がどのような角度で傾いているのかはファインダや撮像画像によって確認しなくてはならなかった。これに対して、画像処理によって同様の効果を得るこの実施の形態では、被写体面を回転（図う１５のステップＳ２０６に相当）させるときの角度、即ち座標変換に用いる角度をＲＡＭ６２ｂに記録しておく。これにより、画像の距離情報を被写体面からの距離情報へと変換する処理を行うときに、被写体面を初期値（つまりカメラのレンズ光軸と直交状態）からどれだけ傾けたのかという情報を得ることができる。
【０１８２】
実際の表示例は、図２６（ａ）乃至（ｈ）に示される通りである。即ち、各表示画面５１８〜５２５には、被写体面の状態、角度を示す状態表示部５１８ａ、５１９ａ、５２０ａ、５２１ａ、５２２ａ、５２３ａ、５２４ａ，５２５ａが表示される。これら状態表示部５１８ａ、５１９ａ、５２０ａ、５２１ａ、５２２ａ、５２３ａ、５２４ａ、５２５ａによる被写体面の状態表示は、立体的に提示されるので、直感的であり、ユーザにとって分かり易いものであるといえる。
【０１８３】
（第９の実施の形態）
次に第９の実施の形態について説明する。
尚、第９の実施の形態に係る画像処理装置の構成は、第３の実施の形態（図１３，１４）と同様であるので、これらの図を適宜参照し、説明を進める。また、図１５，１６のフローチャートを参照する場合、同図のステップを引用しつつ特徴点を説明する。
【０１８４】
前述した第３乃至第８の実施の形態では、被写体面の形状は、単純な平面として話を進めてきたが、第９の実施の形態の画像処理装置、画像処理方法はこれに限定されることはない。通常の光学系（レンズ）においては像面湾曲があるため、通常は平面である撮像素子に対する被写体面の形状は、平面にはならない。
【０１８５】
図２７（ａ）、（ｂ）は、このような像面湾曲を概念的に示す図である。即ち、図２７（ａ）はメリディオナル（meridional）像面を示し、図２７（ｂ）はサジタル(sajittal)像面を示している。メリディオナル像面は、タンジェンシャル(tangential)像面とも称される場合がある。サジタルはラジアル（radial）像面と称される場合もある。
【０１８６】
メリディオナル面とは光軸と主光線を含む平面であり、該メリディオナル面内を走るメリディオナル光線が最も集光する像面がメリディオナル像面である。サジタル面とはメリディオナル面に垂直な平面であり、該サジタル面内を走るサジタル光線が最もよく集光する像面がサジタル像面である。
【０１８７】
この第９の実施の形態では、被写体面の形状を平面としてではなく、実際のレンズと同じように湾曲しているように扱う。そのために、図１６のステップＳ２０３において被写体面の回転中心が立体座標中心となるように距離情報（Depth Map）を座標変換（即ち撮影画像における各画素の距離情報を被写体面からの距離情報へと変換）するときに、被写体面の形状を用いて演算する。
【０１８８】
被写体面の形状は、像高（画像中心からの距離）と被写体面形状との関係を表すデータとして保持する。画像内の位置（Ｘ，Ｙ）と被写体面形状（Ｚ）との関係を表すよう、距離情報（Depth Map）と同じように保持する。
【０１８９】
ここで、図２８はデプス・マップ（Depth Map）同様に表現された被写体面形状を示している。同図において、黒が手前、白が奥を示している。被写体面の形状は、図２９に示されるように、像高と被写体面の形状との関係が表されていれば良いので、必ずしも距離情報と同じようなデータ保持をする必要はない。
【０１９０】
画像内を水平、垂直に分割した領域についてデータ保持しても良いし、像高〜被写体面形状だけを保持しても良い。また、被写体面形状は、ＲＡＭ６２ｂに保持、記録されていてもよく、外部Ｉ／Ｆ６９を介して外部より入手しても良い。
【０１９１】
具体的には、ＣＰＵ６２ａは、以下の演算を行う。
（１）まず、被写体面中心に設定された画素の座標（Ｘ，Ｙ，Ｚ）を立体座標の原点（０，０，０）になるように（Ｘ，Ｙ，Ｚ）の座標値をすべての画素における座標情報から減算する。これによって、カメラからの距離情報を、被写体面中心座標を通って撮影時のレンズ光軸と直交している平面からの距離情報へと変換する。
【０１９２】
（２）続いて、画像内の各画素位置における座標情報（Ｘ，Ｙ，Ｚ）と被写体面形状とを加算もしくは減算（被写体面形状データの持ち方によっては逆になる）する。これによって、被写体面中心座標を通って撮影時のレンズ光軸と直交している平面からの距離情報を、被写体面からの距離情報へと変換する。
【０１９３】
被写体面形状の演算処理を含めるのは処理負荷がかかってしまうが、ユーザに画像処理の効果を確認せしめ、快適な操作を支援するためにはこの段階で被写体面形状を演算することが好ましい。なお、この（１）と（２）の演算は、同時に行っても構わない。
【０１９４】
また、（２）における演算では、２通りの演算が考えられる。
・図１６のステップＳ２０１において指示された（もしくはステップＳ２０４で修正された）被写体面の回転中心と被写体面形状の中心とを一致させて処理を行う。
・あくまでも画像中心と被写体面形状の中心とを一致させて処理を行う。
【０１９５】
実際の光学系においては後者のように画像中心と被写体面形状中心が一致しているのでユーザにとってはこちらの効果を得るほうが好ましい。そこで、以下では、後者の考え方に沿って説明する。但し、実際のレンズとは異なった効果を得たいユーザのために、メニュー操作などで指定することによって、被写体面の回転中心と被写体面形状中心とを一致させることができるようにしても良い。
【０１９６】
実際の「アオリ（スイング、ティルト）」レンズにおいては、アオリ操作を行ったときに被写体面の回転中心が焦点距離および被写体面の傾け角度、撮像距離すなわち被写体までの距離に応じて、画像中心から動いていく。画像処理によって「アオリ（スイング、ティルト）」効果を得る本実施の形態においても、こうした挙動を再現可能とする手段を提供することが好ましい。
【０１９７】
そこで、図１６のステップＳ２０６において被写体面を回転操作したときには、画像の画角（図１５のステップＳ１０１でメタデータとして記録）と被写体面の回転角度に応じて、被写体面の回転中心を画像中心から移動させる。
【０１９８】
図１６のステップＳ２０６において被写体面の回転操作が行われたら、画像内の各画素位置における座標情報（Ｘ，Ｙ，Ｚ）から被写体面形状を減算もしくは加算（被写体面形状データの持ち方によっては逆になる）する。これで、被写体面からの距離情報を、被写体面中心座標を通って撮像時のレンズ光軸と直交している平面からの距離情報へと変換する。つまり、被写体面の形状を一旦元の平面形状に戻す。
【０１９９】
続いて、立体解析幾何学による座標変換を行って、各画素について被写体面中心座標を通って、ユーザに指示／操作された角度回転した平面からの距離情報へと変換する。つまり、平面の状態で回転のための座標変換を行う。
【０２００】
被写体面の回転角度と、被写体面の回転中心が画像中心から移動する量との関係は、ＲＯＭ６２ｂに予め保持・記録されていてもよく、外部Ｉ／Ｆ６９を介して外部より入手するようにしても良い。このとき、ＣＰＵ６２ａは、被写体面の回転角度に応じて、画像中心からの移動座標（Ｘ，Ｙ）が分かるように保持する。
【０２０１】
画像内の各画素位置における座標情報（Ｘ，Ｙ，Ｚ）に、被写体面の回転角度に応じて画像中心から移動（Ｘ，Ｙ）した被写体面形状を加算もしくは減算（被写体面形状データの持ち方によっては逆になる）する。これによって、被写体面中心座標を通って、ユーザに指示、操作された角度回転した平面からの距離情報を、被写体面からの距離情報へと変換する。つまり、最後にまた被写体面の形状に戻す。
【０２０２】
一方、被写体面の形状を操作したいというユーザも少なからず存在することから、被写体面の形状を変更する機能を実現すると更に好ましい。そこで、この実施の形態に係る画像処理装置、画像処理方法では、図１６のステップＳ２０４もしくはステップＳ２０６において、被写体面の中心が長押し（タップしてドラッグせずに押し続ける）操作された場合、図３０（ａ）に示されるように、ＣＰＵ６２ａが現在の被写体面形状の表示枠５２６ａをＬＣＤ６８の表示画面５２６上に表示するよう制御する。
【０２０３】
図３０（ａ）の表示画面５２６において、被写体面形状の表示枠５２６ａは、例えばその表示枠をドラッグ操作することによって移動可能である。この表示枠５２６ａに表示された被写体面形状をタップもしくはドラッグされた場合、ＣＰＵ６２ａは、被写体面形状を変更する。被写体面の形状を変更した効果は、図１６のステップＳ２０５もしくはステップＳ２０７で画像処理することによってユーザが即座に確認可能とする。
【０２０４】
被写体面の形状を表示する操作は、被写体面中心の長押しには限定されない。表示画面５２６に「被写体面形状」ボタンを表示しても構わない。この場合、「被写体面形状」ボタンを「被写体面の中心」と判定される範囲の外側に配置することが望ましい。
【０２０５】
また、被写体面中心に対する１回目のタップにより図３０（ｂ）に示されるような画面５２７を表示し、２回目のタップにより「浅い」〜「深い」という被写界深度設定及び「終了」と「被写体面形状」を表示しているグラフ表示部５２７ａで被写界深度に関わる入力を可能とすることもできる。こうすれば、１つのＵＩによって被写界深度設定、被写体面回転終了、被写体面形状表示を指示することができる。
【０２０６】
さらに、１回目のタップによる画面表示に「キャンセル」や「表示を消去」などのボタンも更に表示すれば、１つのＵＩで被写体面の操作を行うことができる。
【０２０７】
（第１０の実施の形態）
次に第１０の実施の形態について説明する。
尚、第１０の実施の形態に係る画像処理装置の構成は、第３の実施の形態（図１３，１４）と同様であるので、これらの図を適宜参照し、説明を進める。また、図１５，１６のフローチャートを参照する場合、同図のステップを引用しつつ特徴点を説明する。
【０２０８】
被写体面の回転中心などを指示するときには、ユーザによる指示以外で指定しても構わない。例えば「顔認識」などの検出系技術を用いて検出された特定点（特徴点）に基づいて、被写体面の中心や被写体面を回転する角度を決めることもできる。
【０２０９】
そこで、第１０の実施の形態に係る画像処理装置、画像処理方法では、ＣＰＵ６２ａが画像内の輝度やコントラストに基づいて特定点を抽出し、特定点の配置（位置関係）等をＲＡＭ６２ｂに記録されているパターンと照合することで被写体を認識する。
【０２１０】
図３１（ａ）は、両目／鼻／口の位置関係によって顔を認識し、その中心位置を被写体面中心として設定した例である。この画面５２８では、顔の認識領域は矩形枠５２８ａで示される。
【０２１１】
また、図３１（ｂ）に示されるように、画面５２９内の複数の被写体を認識することによって、検出された被写体の特定点（例えば、目／鼻／口）もしくは被写体範囲（例えば顔）を含むように被写体面および被写界深度を設定することも可能である。この画面５２９では、複数の顔の認識領域が矩形枠５２９ａ〜５２９ｄで示される。
【０２１２】
さらに、図３２（ａ）に示されるように、例えば、検出された被写体範囲（例えば顔）が２箇所であれば、ＣＰＵ６２ａは、表示画面５３０に立体解析幾何学における座標変換によって２点を結ぶ線上に被写体面の回転軸を配置して回転軸５３０ａを表示し、ユーザによる回転操作を可能にする。そして、被写体面の回転に合わせて、図３２（ｂ）に示されるようなボカシ処理を施した画像を表示画面５３１にて表示する。
【０２１３】
また、図３３（ａ）に示されるように、例えば、検出された被写体範囲（例えば顔）が３箇所であれば、ＣＰＵ６２ａは、表示画面５３２に複数の顔の認識領域を矩形枠５３２ａ〜５３２ｃで示すと共に、立体解析幾何学における座標変換によって３点で規定される面上に被写体面を配置する。
【０２１４】
このとき、ＣＰＵ６２ａは、被写体面の回転中心を、画面５３２内において被写体の占める割合の大きいものを主要な被写体であると判断し、主要被写体の検出範囲の中心を被写体面の回転中心としてもよい。ここから、ユーザによる被写体面操作並びに被写界深度設定を更にすることができる。また、検出された範囲が指定された場合、ＣＰＵ６２ａは該範囲に従って主要被写体（被写体の検出範囲の中心座標など）を選ぶこともできる。
【０２１５】
たとえば、図３３（ｂ）に示されるように、表示画面５３３において、被写体の占める割合の大きい被写体Ｏ１ではなく、ユーザ操作により奥に位置する被写体Ｏ２が指定された場合には、ＣＰＵ６２ａは、該被写体Ｏ２（被写体Ｏ２の検出範囲の中心座標など）を主要被写体として選択し、被写体面の回転中心に設定する。
【０２１６】
また、図３３（ｃ）に示されるように、例えば、表示画面５３４にて、検出された被写体範囲（例えば顔）が４箇所表示されているのであれば、ＣＰＵ６２ａは、立体解析幾何学における座標変換によって検出範囲の中心座標をすべて含むような被写体面／被写界深度を設定する。ＣＰＵ６２ａは、検出範囲の中心座標が、被写体面から等距離となるように被写体面を設定する（但し、検出範囲の中心座標が必ずしも被写体面上にはないことになる）。被写体面から各検出範囲の中心座標までの距離と等しくなるように、被写界深度を設定する。
【０２１７】
このとき、被写体面の回転中心（符号５３４ａ）は各検出範囲のいずれかの中心座標ではなく、図３３（ｃ）に示されるように設定された被写体面からの距離が最小となる位置に設定される。この場合であっても、検出された範囲の更なる指定に従って、ＣＰＵ６２ａが主要被写体を選び、被写体面の回転中心を再設定することもできる。
【０２１８】
さらに、図３４（ａ）に示されるように、表示画面５３５において、検出された被写体範囲（例えば顔）が矩形枠５３５ａ〜５３５ｄで示されている。この被写体範囲をふまえて、ユーザ操作による新たな被写体の選択や既に認識されている被写体の選択解除がなされた場合、ＣＰＵ６２ａが被写体面の設定に用いる被写体を再設定する。図３４（ｂ）の例では、表示画面５３６に表示されている被写体のうち、被写体Ｏ３，Ｏ４の検出範囲（矩形枠５３６ｃ，５３６ｄ）が選択解除された例を示している。
【０２１９】
そして、ＣＰＵ６２ａは、再設定された被写体の中から主要被写体（被写体の検出範囲の中心座標）を特定し、図３４（ｃ）に示されるようなボカシ処理を施した画像を表示画面５３７にて表示する。
【０２２０】
以上説明した第４乃至第１０の実施の形態の画像処理装置、画像処理方法は、任意の組み合わせによっても実施可能であることは勿論である。また、タッチパネル７６を使用することを前提として説明したが、操作入力を行うポインティングデバイスはこれに限定されることはなく、例えば十字キー７７によってカーソルを移動させて決定キー７４で指示を行ったとしても、同じような利便性をユーザに提供することができる。
【０２２１】
以上、本発明の第１乃至第１０の実施の形態について説明したが、これら実施の形態によれば以下のような効果が奏される。
【０２２２】
即ち、画像処理によって「アオリ（スイング、ティルト）」相当の画像を得ることができるようにしたことで、特殊な光学設計、鏡筒設計を行う必要がなくなる。
【０２２３】
複雑な機構（所謂シャインプルフの法則に沿ったメカ設計）を用意することが不要となるので、「アオリ（スイング、ティルト）」を意図した特別な光学設計を行う必要がなくなる。さらに、小型かつ安価な装置で撮像した画像を用いて、「アオリ（スイング、ティルト）」相当の画像を得ることができる画像処理装置を提供することができる。
【０２２４】
画像処理によって「アオリ（スイング、ティルト）」相当の画像を得ることができるようにしたことで、撮影前の煩雑な操作が必要なくなる。これによって、シャッタチャンスを逸してしまう可能性を減らすことができる。
【０２２５】
画像処理装置において、従来技術による特殊な光学設計、鏡筒設計を用いた「アオリ（スイング、ティルト）」操作に相当する被写体面の操作について、自在な操作が可能である方法を提供することができる。
【０２２６】
画像処理装置における被写体面の操作方法によれば、ユーザに直感的で容易な操作環境を提供することができる。たとえば、タッチパネルを用いる場合には、より直感的な操作が可能となる。
【０２２７】
ユーザが設定した仮想的な被写体面の回転中心を表示画面に表示することによって、ユーザによる被写体面の操作、状態把握をより簡単なものにすることができる。
【０２２８】
ユーザによる仮想的被写体面の操作状態を表示画面に表示することによって、ユーザによる被写体面の操作、状態把握をより簡単なものにすることができる。
【０２２９】
仮想的被写界深度を設定することを可能とすることによって、小さな撮像素子と短い焦点距離のレンズとを組み合わせた小型撮像装置によって撮影された被写界深度の深い画像であっても、仮想的に被写界深度を浅くする画像処理を行うことができる。
【０２３０】
仮想的な被写体面の形状を設定することを可能とすることによって、ユーザにより幅広い作画機能を提供することができる。
【０２３１】
なお、本発明は前述した第１乃至第１０の実施の形態に限定されるものではなく、その趣旨を逸脱しない範囲で種々の改良や変更が可能である。たとえば、前述した画像処理装置の処理に係るプログラム、該プログラムを記録した記録媒体、前述した画像処理方法を実現するプログラム、該プログラムを記録した記録媒体としての実施も可能である。
【図面の簡単な説明】
【０２３２】
【図１】本発明の第１の実施の形態に係る画像処理装置の基本原理の概念図。
【図２】（ａ）及び（ｂ）は被写体面の設定について説明する概念図。
【図３】本発明の第１の実施の形態に係る画像処理装置の構成図。
【図４】本発明の第１の実施の形態に係る画像処理装置によるアオリ効果と同等の補正を行う特徴的な処理について詳細に説明するフローチャート。
【図５】被写体面の仮設定について説明するフローチャート。
【図６】被写体面の調整について説明するフローチャート。
【図７】（ａ）は撮像画像の表示例を示す図、（ｂ）は距離情報であるデプス・マップの表示例を示す図、（ｃ）は被写体面からの距離情報としてデプス・マップを変換した例を示す図、（ｄ）はボカシ処理を施した画像の表示例を示す図。
【図８】被写体面の変更に伴う距離情報の変換を説明する概念図。
【図９】距離情報の取得の基本原理を説明するための概念図。
【図１０】（ａ）乃至（ｃ）は被写体面を任意の湾曲面とする例を説明する概念図。
【図１１】被写体面を表示するウィンドウを採用した表示例を示す図。
【図１２】本発明の第２の実施の形態に係る情報処理装置の構成図。
【図１３】本発明の第３の実施の形態に係る画像処理装置の構成図。
【図１４】（ａ）及び（ｂ）は第３の実施の形態に係る画像処理装置の斜視図。
【図１５】本発明の第３の実施の形態に係る画像処理装置による特徴的な処理手順を詳述するフローチャート。
【図１６】被写体面操作に関わる処理を詳細に示すフローチャート。
【図１７】（ａ）及び（ｂ）は被写体面操作を説明する表示例を示す図。
【図１８】画像処理に関わる処理を詳細に示すフローチャート。
【図１９】ボケ付加パラメータと距離情報の関係を示す図。
【図２０】（ａ）乃至（ｃ）は操作やり直しに関わる画面の表示例を示す図。
【図２１】（ａ）乃至（ｃ）は第４の実施の形態における被写界深度の設定に関わる画面の表示例を示す図。
【図２２】（ａ）乃至（ｄ）は第５の実施の形態における被写界深度の設定並びに設定終了に関わる画面の表示例を示す図。
【図２３】（ａ）及び（ｂ）は第５の実施の形態における被写体面の設定に関わる画面の表示例を示す図。
【図２４】第６の実施の形態における被写体面のティルト量の表示例を示す図。
【図２５】（ａ）乃至（ｃ）は第７の実施の形態における被写体面を定める水平、垂直ライン等の表示例を示す図。
【図２６】（ａ）乃至（ｈ）は第８の実施の形態における被写体面の表示例を示す図。
【図２７】（ａ）はメリディオナル像面を示す概念図、（ｂ）はサジタル像面を示す概念図。
【図２８】デプス・マップ同様に表現された被写体面形状を示す図。
【図２９】被写体面の形状を概念的に示す図。
【図３０】（ａ）及び（ｂ）は第９の実施の形態における被写体面形状の変更に関わる画面の表示例を示す図。
【図３１】（ａ）及び（ｂ）は第１０の実施の形態における被写体面の設定に関わる画面の表示例を示す図。
【図３２】（ａ）及び（ｂ）は第１０の実施の形態における被写体面の設定に関わる他の画面の表示例を示す図。
【図３３】（ａ）乃至（ｃ）は第１０の実施の形態における被写体面の設定に関わる更に他の画面の表示例を示す図。
【図３４】（ａ）及び（ｃ）は第１０の実施の形態における被写体面の設定解除に関わる画面の表示例を示す図。
【図３５】カメラムーブメントの類別を示す図。
【図３６】シャインプルフの法則について説明する概念図。
【符号の説明】
【０２３３】
１…撮像装置、２…内蔵メモリ、３…表示部、４…十字キー、５…タッチパネル、１１
…撮像光学系、１２…撮像素子、１３…映像出力部、１４…Ａ／Ｄコンバータ、１５…メ
モリ制御部、１６…表示メモリ、１７…表示処理部、１８…Ｄ／Ａコンバータ、１９…
ＬＣＤモニタ、２０…制御部、２１…ＣＰＵ、２２…ＲＯＭ、２３…ＲＡＭ、２４…画像
処理部、２５…フレームメモリ、２６…ＯＳＤ処理部、２７…撮像条件検出部、２８…カ
メラ駆動制御部、２９…測距部、３０…メモリＩ／Ｆ、３１…メモリカード、３２…入力Ｉ／Ｆ、３３…操作入力部、３４…タッチパネル、３５…制御バス
【技術分野】
【０００１】
本発明は、画像処理装置等に係り、特に設定された被写体面に応じて例えばボカシ処理等の画像処理を行う画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
従来、フィルム式カメラやディジタルカメラ等の撮像装置においては、撮像レンズにアオリ操作を行って撮像を行うことがある。ここで、「アオリ操作」（camera movement）とは、撮像レンズの光軸を撮像画面の中心（部）でフィルム面（或いは撮像素子面）と直交させるといった撮像装置とレンズとの基本的な関係を崩すことで、結像効果を変えるレンズ操作（或いはカメラ操作）である。このような操作は、「カメラムーブメント」と総称される。アオリ操作によれば、建物等の遠近感歪み（パースペクティブ・ディフォルメーション）を補正し、被写界深度をコントロールし、或いは鏡等へのカメラの映り込みを避けることができる。
【０００３】
ここで、このカメラムーブメントは、図３５に示されるように大別される。
【０００４】
即ち、カメラムーブメントには、「ディスプレースメント（「シフト」、「ライズフォール」）」と「スイング」、「ティルト」という、２通りの操作がある。前者では、撮像レンズの光軸とフィルム面（或いは撮像素子面）との直交関係を崩すことなくレンズ面（又はフィルム面／撮像素子面）を互いに平行移動させる。つまり、光軸が交差する位置を画面の中心（部）からずらす。後者では、撮像レンズの光軸とフィルム面（或いは撮像素子面）の直交関係を崩す。つまり、光軸とフィルム面（或いは撮像素子面）の交差角を垂直（９０度）以外に変える。
【０００５】
厳密に解すれば、前者の「ディスプレースメント」のみが「アオリ」(camera movement)に相当するが、一般的には両者を混同して「アオリ」と総称されていることが多い。そこで、以下では便宜上、「シフト」、「ライズフォール」、「ティルト」、「スイング」を、それぞれシフトアオリ、ライズフォールアオリ、ティルトアオリ、スイングアオリと称する。
【０００６】
これらを更に詳細に説明すると、「シフトアオリ」とは、レンズ光軸（又はフイルム面／撮像素子面）を左右に移動させるもので、構図の修正、歪みの矯正に使用される。この操作をすればカメラを動かすことなく左右方向へ構図を変更することができる。このシフトアオリを用いれば、例えば鏡の中心より左右どちらかにずれた位置から撮像しているにも関わらず鏡の中央で撮ったような写真が得られる。「ライズフォールアオリ」とは、上下にレンズ面（又はフィルム面／撮像素子面）を移動させるもので、シフトアオリと同様に構図の修正、歪みの矯正に使用される。このライズフォールアオリを使用することで、三脚のエレベーター、脚等を伸ばさなくても、上下に構図を修正できる。また、通常カメラで高いビルなどを見上げた場合、遠い部分が小さく先細るように写るが、これを垂直に写すためのパースペクティブ・コントロールに用いられることもある。
【０００７】
一方、「ティルトアオリ」とは、レンズ光軸に対して、前後方向にレンズ面（又はフィルム面／撮像素子面）を傾けるものであり、主にピント面位置の変更や、歪みの矯正に使用される。このティルトアオリを使用すれば、絞りが開放であっても、遠くから近くまで広範に亘りピントを合わせることができる。「スイングアオリ」とは、撮像レンズの光軸に対して垂直な線を軸にしてレンズ面（又はフィルム面／撮像素子面）を回転させるものであり、その効果は、前述したティルトアオリと同様である。
【０００８】
例えば、ティルトアオリで被写体面を操作することによって被写界深度を深く見せる原理としては所謂「シャインプルフの法則」が知られているが、以下、図３６を参照して、該シャインプルフの法則を用いた撮像手法について、その概略を説明する。シャインプルフの法則とは、一般的には被写体面、レンズ面および結像面を延長した面が一本の直線上で交わることをいう。つまり、撮像素子面４００と撮像レンズ４０１の主平面とを傾けて配置したとき撮像素子面４００と撮像レンズ４０１の主平面と一つの稜線で交わるように傾いた被写体面４０２にピントが合うということをいう。この撮像レンズ４０１の光軸に対する傾斜角を調整することで、被写体面を変更するといった撮像技法も今日では見受けられる。
【０００９】
そして、例えば、同技法によるアオリ効果を用いて、被写体面を操作することによって被写界深度を深く見せるだけでなく被写体面を調整して都市や建物をミニチュアのように撮る撮像技法が知られている。
【００１０】
以上の撮像技法は、光学系の操作によりアオリ効果を得るものであるが、ディジタル処理によってアオリ効果を得るものとしては、例えば、特殊なレンズを用いることなく画像処理によってアオリ補正（シフトアオリ、ライズ／フォールアオリ）を行う撮像装置（例えば特許文献１参照）、元々アオリ効果がもたらされた画像（例えば、ホワイトボードを斜め下から撮像した画像）を、マニュアル指定された傾斜角と被写体までの測距データに基づき疑似正面画像に変換するディジタルカメラ（特許文献２参照）がある。
【００１１】
【特許文献１】特開平８−１６３４２８号公報
【特許文献２】特開平９−２８９６１０号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
しかしながら、特許文献１に開示された技術は、アオリ効果と同様の図形補正を、ディジタル技術を用いて電子的に行うものではあるが、スイングアオリ、ティルトアオリに相当する撮像技法を画像処理により実現することはなされていない。
【００１３】
一方、特許文献２に開示された技術では、斜め画像を疑似正面画像に補正して撮像するものであるが、これも特許文献１と同様に、スイングアオリ、ティルトアオリに相当する撮像技法を画像処理により実現することはなされていない。
【００１４】
そして、特に、前述したようなアオリ効果を用いて、実際の撮像素子／焦点距離では撮像できないような浅い被写界深度及び傾いた被写体面での撮像と同等の効果を付与した画像を画像処理により得るための従来技術は存在しない。
【００１５】
そこで、本発明は、設定された被写体面に応じて例えばボカシ処理等の画像処理を行うことを課題とする。
【課題を解決するための手段】
【００１６】
本発明の第１の観点による画像処理装置では、画像データに基づく表示画像のうちのユーザにより指定された点に対応する距離情報に基づいて、被写体面を設定する被写体面設定部と、この被写体面に応じて前記画像データの距離情報を変換する距離情報変換部と、この距離情報変換部で変換された距離情報に基づいて画像データに対して画像処理を行う画像処理部とを有する。
【００１７】
そして、本発明の第２の観点による画像処理方法は、画像データに基づく表示画像のうちのユーザにより指定された点に対応する距離情報に基づいて被写体面を設定し、この被写体面に応じて前記画像データの距離情報を変換し、この変換された距離情報に基づいて前記画像データに対して画像処理を行う。
【００１８】
更に、本発明の第３の観点による画像処理プログラムは、画像データに基づく表示画像のうちのユーザにより指定された点に対応する距離情報に基づいて、被写体面を設定するステップと、前記被写体面に応じて前記画像データの距離情報を変換するステップと、変換された距離情報に基づいて前記画像データに対して画像処理を行うステップとからなる画像処理方法をコンピュータに実行させる。
【００１９】
従って、以上の第１乃至第３の観点によれば、被写体面が設定され、該被写体面の設定に応じて好適な画像処理が行われる。
【発明の効果】
【００２０】
本発明によれば、設定された被写体面に応じて例えばボカシ処理等の画像処理を行う画像処理装置、画像処理方法及び画像処理プログラムを提供することができる。
【発明を実施するための最良の形態】
【００２１】
以下、図面を参照して、本発明を実施するための最良の形態（以下、単に実施の形態と称する）について詳細に説明する。
【００２２】
（第１の実施の形態）
先ず、図１の概念図を参照して、本発明の第１の実施の形態に係る画像処理装置の基本原理について説明する。ここでは、第１の実施の形態に係る画像処理装置を撮像装置としてのディジタルカメラに適用した例を挙げているが、これに限定されるものではない。
【００２３】
図１に示されるように、撮像装置１により撮像が行われると、所定の画像処理が施された後に、画像データと距離情報（距離データ）が内蔵メモリ２に記憶される。この画像データは適宜読み出されて撮像画像がＬＣＤ(Liquid Crystal Display)等の表示部３に表示される。
【００２４】
ユーザは、表示部３に表示された撮像画像を確認しつつ、タッチパネル５を操作して所望の点である指定点を１点以上指定し、十字キー４（例えば、上下左右ボタンで構成される）を操作して、被写体面の傾き方向及び角度を任意に設定する。
【００２５】
尚、内蔵メモリ２は例えば記憶機能を実現するものである。タッチパネル５は例えば指定機能を実現するものである。十字キー４は例えば設定機能を実現するものである。
以上の構成により、制御部７は、画像データに基づく表示画像の領域毎に対応した距離情報に基づいて、表示画像内のユーザ指定による指定点の距離情報に基づいて被写体面を設定する。そして、制御部７は、この被写体面に応じて画像データに係る各点の距離情報を変換する。画像処理部６は、この変換された距離情報に基づいて画像データに対して画像処理を行う。従って、この場合、制御部７は被写体面設定機能、距離情報変換機能を実現し、画像処理部６は画像処理機能を実現することになる。
【００２６】
つまり、図２（ａ）に示されるように、ユーザによりタッチパネル５上で１点が指定されると、この指定された点である指定点を含み撮像レンズの光軸（イメージャへの入射光の光軸）に直交する平面が被写体面１００として仮設定され、以降、指定点を中心とするＸ軸周り及びＹ軸周りの被写体面１００の傾き方向及び角度の設定が可能となる。指定されるのは、当該対象の一部である点である。
【００２７】
例えば、十字キー４の左右のボタンが操作されると、Ｙ軸周りに被写体面１００が回転し、その回転に応じて傾き方向及び角度が設定される。また、例えば十字キー４の上下のボタンが操作されると、Ｘ軸周りに被写体面１００が回転し、その回転に応じて傾き方向及び角度が設定される。尚、図２（ｂ）では、一例として、十字キー４の操作によりＹ軸周りの回転により傾き方向がＹ軸周りに設定され、傾き角度が図中符号θに設定された被写体面１０１を図示している。尚、回転は必須ではなく、回転させなくても１点の指定により被写体面１００は設定される。
【００２８】
こうして、タッチパネル５及び十字キー４の操作により、所望とする被写体面１００（１０１）の設定が完了すると、撮像装置に内蔵された画像処理部６により所定の画像処理としての、例えばボカシ処理が施された画像が表示部３（若しくは不図示の外部ディスプレイ）に表示される。
【００２９】
即ち、この例では、指定された点の座標に基づいて画像データの各点に係る距離情報を変換し、この変換後の距離情報に基づいて画像データに対して例えばボカシ処理等の画像処理を行う。そして、ユーザ指定に従って被写体面が指定点を回転中心として回転させ被写体面を変更した場合には、指定点の座標と、前記回転の角度に基づいて、前記画像データの各点に係る距離情報を変換する。そして、この変換後の距離情報に基づいて画像データに対して例えばボカシ処理等の画像処理を施される。尚、画像処理部６は、例えば、この画像処理機能を実現するものである。
【００３０】
本実施の形態で用いる距離情報は所謂デプス・マップ(Depth Map)データであり、撮像画像の内の１点以上に対する個々の距離データである。尚、複数の領域を最も細かくした場合が画素に相当する。この場合には、デプス・マップデータとは、例えば複数画素の各画素毎の距離データであるとも言える。
【００３１】
この距離情報を得る方法としては、例えばＴＯＦ（Time of flight）方式やボケ量解析（Depth from Defocus）等を採用することができる。ここで、ＴＯＦ法とは、光源から出射された光が対象物で反射し、センサに到達するまでの光の遅れ時間と光の速度とから被写体までの距離を得る手法である。これらの詳細については、後に詳述する。
【００３２】
以上のように、第１の実施の形態に係る画像処理装置では、撮像画像内の１点が指示されたときには当該点を含み光軸と直交している面を被写体面とする。より詳細には、当該点並びにその点と同じ距離情報を有する点を含む面が被写体面として設定される。
【００３３】
更に、例えばタッチパネル５の操作により撮像画像内の少なくとも２点以上が指定されると、制御部７の制御の下、これら２以上の点に対応する距離情報を内蔵メモリ２から読み出し、被写体面のレンズ光軸に対する傾き方向と傾き角度を各々算出し、該傾き方向と傾き角度に基づいて被写体面を設定する。この傾き方向と傾き角度の算出方法については後に詳述する。
【００３４】
従って、撮像レンズの光軸と直交する被写体面、即ち、ボケを付加しない点を、例えばタッチパネル５の操作により一つに指定し、被写体面からの距離に基づいて所定の画像処理、即ち例えばボカシ処理を施す。これにより、光学的なアオリ効果（ティルトアオリ又はスイングアオリ）を用いることなく、実際の撮像素子の性能、レンズ位置等を調整することによる焦点距離の調整では撮像できない「浅い被写界深度及び傾いた被写体面での撮像」と同等の効果を付与した画像が得られる。従って、撮像装置に適用した場合には、コンパクトディジタルカメラで、ディジタル一眼レフカメラや大判カメラで高度な技法を用いて得た画像と同等の画像が簡易に得られる。
【００３５】
次に、図３のブロック図を参照して、上記基本原理を採用した本発明の第１の実施の形態に係る画像処理装置について詳細に説明する。ここでは、該画像処理装置をディジタルカメラ等の撮像装置に適用した例を示しているが、これには限定されない。
【００３６】
図３に示されるように、撮像光学系１１の光軸上には撮像素子１２が配置され、当該撮像素子１２は映像出力部１３に接続されている。この映像出力部１３はアナログ／ディジタル（以下、Ａ／Ｄと略記する）コンバータ１４に接続されており、当該Ａ／Ｄコンバータ１４はメモリ制御部１５及び画像処理部２４に接続されている。このメモリ制御部１５は、表示メモリ１６と通信自在に接続されている。更に、メモリ制御部１５は、表示処理部１７、ディジタル／アナログ（以下、Ｄ／Ａと略記する）コンバータ１８を介してＬＣＤモニタ１９に接続されている。画像処理部２４はＤＲＡＭ（Dynamic Random Access Memory）等からなるフレームバッファ（フレームメモリ）２５と接続されている。
【００３７】
一方、装置全体の制御を司るためのＣＰＵ（Central Processing Unit）２１は、ＲＯＭ(Read Only Memory)２２、ＲＡＭ(Random Access Memory)２３、画像処理部２４、ＯＳＤ(On Screen Display)処理部２６、撮像条件検出部２７、カメラ駆動制御２８、測距部２９、タッチパネル３４と制御バス３５を介して通信自在に接続されている。
【００３８】
さらに、ＣＰＵ２１は、制御バス３５、メモリインタフェース（以下、Ｉ／Ｆと略記する）３０を介してメモリカード３１と接続されており、制御バス３５、入力Ｉ／Ｆ３２を介して操作入力部３３と接続されている。そして、これらの構成のうち、ＣＰＵ２１とＲＯＭ２２、ＲＡＭ２３により制御部２０を構成している。
【００３９】
尚、ＲＡＭ２３、メモリカード３１は、例えば記憶機能を実現する。操作入力部３３は、例えば指定機能や設定機能を実現する。そして、画像処理部２４は、例えば画像処理機能を実現する。さらに、制御部２０、特にＣＰＵ２１は、例えば制御機能を実現する。
【００４０】
このような構成において、ＣＰＵ２１は、装置の各部を制御するとともに、ＲＯＭ２２に格納された画像処理プログラムを読み出し、該プログラムに従った処理を行う。このＲＯＭ２２には、画像処理プログラムのほか、各種の固定データが格納されている。この処理の過程で、ＲＡＭ２３は、ワークエリアとして機能することになる。
【００４１】
被写体光が入射すると、撮像光学系１１を介して撮像素子１２に結像される。カメラ駆動制御部２８は、露出制御、絞り制御、焦点制御、ズーム制御、シャッター制御等の駆動制御を行う。撮像素子１２は光電変換を行い、アナログ画像信号を映像出力部１３に供給する。映像出力部１３は、アナログ画像信号を撮像条件検出部２７に供給し、撮像条件検出部２７は当該アナログ画像信号についてホワイトバランスなどの撮像条件を検出する。
【００４２】
さらに、映像出力部１３は、この輝度信号と色差信号からなるアナログ画像信号をＡ／Ｄコンバータ１４に送出し、Ａ／Ｄコンバータ１４は当該アナログ画像信号をディジタルの画像データに変換しメモリ制御部１５に送出する。メモリ制御部１５は、この画像データを表示メモリ１６に一時的に記憶する。この画像データは、メモリ制御部１５により読み出され、表示処理部１７に供給される。該表示処理部１７では、画像データが、ＲＧＢの画像データに変換される。このＲＧＢの画像データは、Ｄ／Ａコンバータ１８で液晶駆動用のＲＧＢのアナログ画像信号に変換された後、ＬＣＤモニタ１９に供給される。そして、該ＬＣＤモニタ１９上にて実写画像が表示される。なお、実写画像はいわゆるスルー画像といわれるものである。
【００４３】
このように実写画像がＬＣＤモニタ１９上に表示された状態で、操作入力部３３の一要素であるシャッターボタンが押下されると、撮像動作が行われる。
【００４４】
即ち、制御部２０の制御によって、実写画像の１画面分の画像データが画像処理部２４を通じてフレームバッファ２５に取り込まれ、画像処理部２４で圧縮され、所定フォーマットの画像ファイルに変換されて、メモリＩ／Ｆ３０を介してメモリカード３１に記録される。このとき、撮像素子を含む測距部２９により測定された被写体距離の情報（以下、距離情報と略記する）も、任意のフォーマットでメモリカード３１に記録される。
【００４５】
制御部２０によって、メモリカード３１から、画像データ及び距離情報が読み出されると、圧縮された画像データが、画像処理部２４にて伸長されて、フレームバッファ２５に記憶されると共に、メモリ制御部１５によって表示メモリ１６に書き込まれ、該表示メモリ１６から読み出されて、ＬＣＤモニタ１９上に画像が表示される。
【００４６】
この状態下で、ユーザにより、タッチパネル３４上で所望とする点が指定されると、ＣＰＵ２１は撮像画像の内の点を指定点として仮設定を行う。このとき、この設定された点に基づいて被写体面を仮設定する。その後、更に操作入力部３３の一要素である十字キーが操作されると、ＣＰＵ２１は、その操作に基づいて被写体面の傾き方向と傾き角度を設定する。こうして、制御部２０のＣＰＵ２１は、フレームメモリ２５に記憶された画像データに対して画像処理部２４にて画像処理を施す。
【００４７】
より具体的には、ＣＰＵ２１の制御の下、画像処理部２４は、浅い被写界深度でピントが合っていて他がボケている写真を銀塩カメラで撮影したのと同様となるよう、画像処理により、該被写体面に載っていない画素に対してボカシ処理を施す。このボカシ処理が施された画像データは、メモリ制御部１５を通じて表示処理部１７に供給され、ＬＣＤモニタ１９上に処理後の画像が表示される。この処理の画像データは、メモリＩ／Ｆ３０を介してメモリカード３１に記録される。
【００４８】
尚、ボカシ処理に際しては、前記画像処理部２４は、前記被写体面からの距離に応じてボケ量を制御することもできる。この場合、被写体面と画素との距離に応じてボケ具合が段階的に変わるようにすることができる。例えば、被写体面と他の画素との距離が離れていくのに従ってボケ量を増していくことによって、撮像光学系同様のボカシ効果を得ることができる。即ち、こうすることによって、被写体面にピントが合っていて、この被写体面から離れていくのに従ってピントが合わなくなってきて、画像がぼけていく様子を表現することができる。尚、以上の説明では、被写体面と他の画素との距離情報との関係に基づいてボケ量を制御する例を示したが、画素に限定されることなく、所定の領域（複数画素からなる）単位で、同様の制御をしてもよい。
【００４９】
以下、図４乃至図６のフローチャートを参照して、本発明の第１の実施の形態に係る画像処理装置によるアオリ効果と同等の補正を行う特徴的な処理について詳細に説明する。
【００５０】
尚、以下の処理は、第１の実施の形態に係る画像処理方法にも相当する。
【００５１】
この図４の処理を開始すると、制御部２０のＣＰＵ２１は、撮像動作を行い（ステップＳ１）、距離情報を生成すると（ステップＳ２）、画像データと距離情報をメモリカード３１に記録する（ステップＳ３）。尚、撮像動作と距離情報の生成の処理手順は、いずれが先であっても同時であってもよいことは勿論である。また、記録先はメモリカード３１に限定されるものではない。
【００５２】
すなわち、以上の処理により、制御部２０のＣＰＵ２１の制御の下、画像データが画像処理部２４を通じてフレームメモリ２５に取り込まれ、画像処理部２４で圧縮され、所定フォーマットの画像ファイルに変換され、メモリＩ／Ｆ３０を介してメモリカード３１に記録される。このとき、測距部２９により測定された距離情報も所定のフォーマットでメモリカード３１に記録されることになる。
【００５３】
尚、この例では、撮像動作と距離情報の生成を１つの撮像素子１２と測距部２９の構成要素としての不図示の撮像素子とで行う例を挙げたが、これに限定されることなく、１つの撮像素子１２を撮像動作と距離情報生成のために兼用してもよい。また、撮像動作と距離情報の生成は並列処理であっても順次処理であってもよいことは勿論である。
【００５４】
また、距離情報を得るための方法としては、例えばＴＯＦ方式やボケ量解析等を採用することができる。即ち、「ＴＯＦ」方式とは、測距部２９を構成する発光素子から照射され被写体で反射されて戻ってくる反射光の到達時間を計測し、被写体距離を求めるものである。一方、「ボケ量解析」とは、画像中のボケ量の解析結果から距離を算出するもので、２つの撮像素子を用いる場合には、それらの特性、サイズ、絞り条件等の少なくともいずれかを変えることで撮像用のボケ量、測距用のボケ量を最適化することができる。１つの撮像素子１２を用いる場合には、異なる方式の下、例えば絞り条件等を該方式に従って変えることで、撮像用のボケ量、測距用のボケ量を最適化することができる。但し、これら手段には限定されない。
【００５５】
こうして記録された撮像画像は、ＬＣＤモニタ１９に表示される（ステップＳ４）。
【００５６】
即ち、この表示の一例は、図７（ａ）に示される通りであり、この例では、被写体Ｏ１乃至Ｏ４が表示されている。また、同撮像画像の距離情報は、図７（ｂ）に示される通りであって、黒色に近いほど近距離にあることを表し、白色に近いほど遠距離にあることを表すものである。この例では、距離情報は、所謂デプス・マップ(Depth Map)データであり、撮像画像の内の１点以上に対する個々の距離データである。最大で、画素ごとに距離データを取得することができるようになっている。
【００５７】
続いて、撮像画像の内の指定点の仮設定を行う（ステップＳ５）。このサブルーチンの処理の詳細は、例えば図５のフローチャートに示される通りである。
【００５８】
即ち、ユーザによりタッチパネル３４が操作されて、撮像画像の内の所望とする指定点が指定されると（ステップＳ２１）、ＣＰＵ２１は、１つ目の指定点であるか否かを判断する（ステップＳ２２）。ここで、ＣＰＵ２１は、１つ目指定点の指定であると判断した場合には（ステップＳ２２をＹｅｓに分岐）、指定された第１の指定点を含む光軸に直交する平面を第１の被写体面として仮設定し（ステップＳ２３）、第１の被写体面に係る情報（第１の指定点の座標）をＲＡＭ２３に記憶して（ステップＳ２７）、ＬＣＤモニタ１９の撮像画像上に指定された第１の指定点を表示する（ステップＳ２８）。
【００５９】
そして、ＣＰＵ２１は、ユーザにより指定点の指定を終了する旨が操作入力部３３等の操作により指示されたか否かを判断して（ステップＳ２９）、終了せずに更なる指定点の指定を行うと判断した場合には（ステップＳ２９をＹｅｓに分岐）、上記ステップＳ２１に戻り上記した処理を繰り返す。一方、指定点の指定を終了すべきと判断した場合には（ステップＳ２９をＮｏに分岐）、処理を終了し、リターンする。
【００６０】
一方、上記ステップＳ２２にて、ＣＰＵ２１は、１つ目の指定点の指定でないと判断した場合には（ステップＳ２２をＮｏに分岐）、２つ目の指定点の指定であるか否かを判断することになる（ステップＳ２４）。
【００６１】
ここで、ＣＰＵ２１は２つ目の指定点の指定であると判断した場合には（ステップＳ２４をＹｅｓに分岐）、第１の被写体面をＸ軸周り及びＹ軸周りに回転させて被写体面の変換を行い、更に第２の指定点を含む平面を第２の被写体面として仮設定する（ステップＳ２５）。そして、第２の被写体面に係る情報（第１及び第２の指定点の座標、傾き角度、傾き方向）をＲＡＭ２３に記憶し（ステップＳ２７）、ＬＣＤモニタ１９の撮像画像上に指定された第１及び第２の指定点を表示する（ステップＳ２８）。２点では該２点を結ぶ直線を含む複数の面が想定され、被写体面仮設定の情報として不足している。そこで、仮に第１の被写体面をＹ軸周り（又はＸ軸周り）に回転させて第２の指定点を含む平面を第２の被写体面として仮設定してもよい。
【００６２】
そして、再び、ＣＰＵ２１は、ユーザによるタッチパネル３４等の操作入力により更なる指定点の指定が指示されたか否かを判断し（ステップＳ２９）、更なる指定点の指定を行うと判断した場合には（ステップＳ２９をＹｅｓに分岐）、上記ステップＳ２１に戻り上記した処理を繰り返す。更なる指定点の指定を行わないと判断した場合（ステップＳ２９をＮｏに分岐）、処理を終了し、リターンする。
【００６３】
一方、上記ステップＳ２４にて、２つ目の指定点の指定でないと判断した場合には（ステップＳ２４をＮｏに分岐）、ＣＰＵ２１は、３つ目の指定点の指定であるものと判断する。そして、第２の被写体面をＸ，Ｙ軸周りに回転させて第１乃至第３の指定点を含む平面を第３の被写体面として仮設定する（ステップＳ２６）。さらに、ＣＰＵ２１は、この第３の被写体面に係る情報（第１乃至第３の指定点の座標、傾き角度、傾き方向）をＲＡＭ２３に記憶して（ステップＳ２７）、ＬＣＤモニタ１９の撮像画像上に上述のようにして指定された第１乃至第３の指定点を表示する（ステップＳ２８）。
【００６４】
そして、再び、ＣＰＵ２１は、ユーザによるタッチパネル３４等の操作入力により更なる指定点の指定が指示されたか否かを判断する（ステップＳ２９）。この例では、指定点の指定が３つまでに制約されていることを想定しているので、更なる指定点の指定はできないものとして（ステップＳ２９をＮｏに分岐）、メインルーチン（図４のステップＳ６以降）にリターンすることになる。尚、ここでは、説明の便宜上、指定点を３つまで指定できる例を挙げたが、これに限定されず、更に多くの指定点を指定できるように拡張できることは勿論である。
【００６５】
以上の処理により第１乃至第３の指定点が指定された場合、指定点により定まる被写体面の距離情報が変換される。例えば、３つの指定点が指定された場合、図７（ｃ）に示されるように、その３つの指定点の距離情報に係るデプス・マップデータに変換される。
【００６６】
図４の説明に戻り、続いてＣＰＵ２１は、設定された被写体面（第１乃至第３の被写体面のいずれか）の情報（例えば座標情報、傾き角度、傾き方向等）に基づいて画像データの各点の距離データを変換し、この変換後の距離データに基づいて画像処理部２４による画像処理を行う（ステップＳ６）。すなわち、例えば、被写体面に載っている点に対して実際の撮像素子１２、焦点距離では撮像できないような「浅い被写界深度及び傾いた被写体面での撮像」と同等の効果を付与した画像となるように、ボカシ処理を行う。そして、ＣＰＵ２１は、このボカシ処理が施された画像をＬＣＤモニタ１９に表示する（ステップＳ７）。
【００６７】
ここで、図８を参照して、被写体面の設定に基づく距離データの変換について述べる。
図８において、光軸に垂直な方向をＸ軸方向とする。いま、第１の指定点Ｐ１が指定されると、この第１の指定点Ｐ１を含み、光軸に垂直な平面を第１の被写体面として設定する。この設定により、第１の指定点Ｐ１は新たな座標系の中心となり、その座標は（Ｘ１，Ｙ１，Ｚ１）から（０，０，０）に設定される。この座標系の変換に伴って、例えば第１被写体面上の点Ｐｎの座標は、（Ｘｎ，Ｙｎ，Ｚｎ）から（Ｘｎ−Ｘ１、Ｙｎ−Ｙ１，Ｚｎ−Ｚ１）に変換される。この変換後の座標を（Ｘｎ’、Ｙｎ’、Ｚｎ’）とする。
【００６８】
また、第２の指定点Ｐ２が更に指定されると、第１の指定点Ｐ１、第２の指定点Ｐ２を含む第２の被写体面が設定される。この場合も第１の指定点Ｐ１は新たな座標系の中心であり、その座標は（０，０，０）である。この第２の被写体面の第１の被写体面に対する傾き角がθであり、傾き方向が図に示すようにＺ軸（正）方向であるものとすると、例えば第１の被写体面上の点Ｐｎは、第２の被写体面上からの距離情報に射影変換され、そのＺ座標はＺｎ’−Ｘｎ’・ｔａｎθとなる。これは、変換後の点Ｐｎの距離情報となる。ここでは、説明の便宜上、第１の被写体面上の点Ｐｎについて、その変換を説明したが、同様にして、全ての点（例えば画素単位）について、距離情報を変換する。以上の考え方は、第１の被写体面がＹ軸周りに回転（傾き角θ）された場合も同様である。
【００６９】
また、図８では不図示であるが、第３の指定点が更に指定され、第３の被写体面が設定された場合には、更にその傾き角度、傾き方向に基づいて距離情報を変換する。いま、第３の被写体面が、第１の被写体面に対して、Ｘ軸周りに傾き角度αで傾いたものとすると、前述した点ＰｎのＺ座標は、Ｚｎ’−Ｘｎ’・ｔａｎθ−Ｙｎ’・ｔａｎαとなる。これは、第３の被写体面を基準とした点Ｐｎの距離情報となる。以上は、第１の被写体面がＹ軸周りに回転（傾き角θ）された後、更にＸ軸周りに回転（傾き角α）された場合も同様である。
【００７０】
つまり、例えば第１乃至第３の指定点が被写体Ｏ１乃至Ｏ３上に指定され、或いは第１の指定点が指定された後、被写体面のＸ軸及び／又はＹ軸周りの回転により被写体Ｏ１乃至Ｏ３が該被写体面に載るように設定された場合、図７（ｄ）に示されるように、被写体面からの距離に応じてボカシ処理が施される。即ち、変換された距離情報に応じたボケ量で画像データにボケを付加する。より詳細には、被写体面からの距離が大きいほどボケ量が大きくなるように画像データにボケを付加する。従って、図７（ｄ）の例では、被写体面からの距離が最も大きい被写体Ｏ４はボケ量が大きくなる。尚、被写体面からの距離が所定範囲内である点については、同じボケ量となるように画像データにボケを付加してもよい。これは、被写界深度をボケの付加に際して加味するものである。
【００７１】
続いて、ＣＰＵ２１は、ユーザによりタッチパネル３４等の操作入力により被写体面の調整が指示されたか否かを判断し（ステップＳ８）、該調整を行わないと判断した場合には（ステップＳ８をＮｏに分岐）、上記ボカシ処理が施された画像の画像データをメモリカード３１に記録し（ステップＳ１２）、一連の処理を終了する。尚、ステップＳ１２では、ボカシ処理を施す前の画像データもメモリカード３１に記録してもよい。この場合には、末尾送りして異なる番号を付する等して管理するとよい。一方、ＣＰＵ２１は、該調整を行うと判断した場合には（ステップＳ８をＹｅｓに分岐）、被写体面のレンズ光軸に対する傾き方向と傾き角度を設定する。
【００７２】
この設定の詳細は、図６のフローチャートに示される通りである。
【００７３】
即ち、図６の処理に移行すると、先ず、ＣＰＵ２１は、操作入力部３３の一要素である十字キーが操作されたか否かを判断し（ステップＳ４１）、該操作がなされていないと判断した場合には（ステップＳ４１をＮｏに分岐）、本処理を終了しリターンする。
【００７４】
一方、ＣＰＵ２１は、該操作がなされていると判断した場合には、それが上キーであるか否かを判断する（ステップＳ４２）。ここで、操作されたのが上キーであると判断した場合には（ステップＳ４２をＹｅｓに分岐）、ＣＰＵ２１は、被写体面をＸ軸周りで上側を奥行方向に回転し、ステップＳ５０に移行する（ステップＳ４３）。
【００７５】
一方、操作されたのが上キーでない場合には（ステップＳ４２をＮｏに分岐）、それが下キーであるか否かを判断する（ステップＳ４４）。ここで、操作されたのが下キーであると判断した場合には（ステップＳ４４をＹｅｓに分岐）、ＣＰＵ２１は、被写体面をＸ軸周りで下側を奥行方向に回転し、ステップＳ５０に移行する（ステップＳ４５）。
【００７６】
また、操作されたのが下キーでない場合には（ステップＳ４４をＮｏに分岐）、それが右キーであるか否かを判断する（ステップＳ４６）。ここで、操作されたのが右キーであると判断した場合には（ステップＳ４６をＹｅｓに分岐）、ＣＰＵ２１は、被写体面をＹ軸周りで右側を奥行方向に回転し、ステップＳ５０に移行する（ステップＳ４７）。
【００７７】
一方、操作されたのが右キーでない場合には（ステップＳ４６をＮｏに分岐）、それが左キーであるか否かを判断する（ステップＳ４８）。ここで、操作されたのが左キーであると判断した場合には（ステップＳ４８をＹｅｓに分岐）、ＣＰＵ２１は、被写体面をＸ軸周りで左側を奥行方向に回転し、ステップＳ５０に移行する（ステップＳ４９）。
【００７８】
そして、操作されたのが左キーでない場合には（ステップＳ４８をＮｏに分岐）、ＣＰＵ２１は、誤操作であるものと判断し、ステップＳ５０に移行することになる。
【００７９】
こうして、ＣＰＵ２１は、操作入力部３３の一要素である決定キーなどに操作入力に従い設定を終了するか否かを判断し（ステップＳ５０）、設定を終了しないと判断した場合にはステップＳ４１に戻り、上記処理を繰り返す。一方、設定を終了するものと判断した場合には、設定された被写体面の設定情報をＲＡＭ２３に記憶し（ステップＳ５１）、メインルーチン（図４のステップＳ１０以降）にリターンする。
【００８０】
以上の一連の処理（図６）によれば、十字キー（上下左右キー）の操作に基づいて、被写体面をＸ軸或いはＹ軸周りに所望とする傾き方向、傾き角度となるように調整することができる。たとえば、十字キーの操作をする度に所定角度だけ、傾き角度が変わるように段階的な調整をすることもできる。ゆえに、所望とする点が該被写体面に載るように、つまり、所望とする点に対してアオリ効果と同等の浅い被写界深度での撮像と同等の効果が施された画像を得るように、微調整を行うことができる。
【００８１】
図４の説明に戻り、続いて、設定された被写体面と距離情報とに基づいて画像処理を行い（ステップＳ１０）、画像処理が施された画像をＬＣＤモニタ１９に表示する（ステップＳ１１）。このステップＳ１０，Ｓ１１の処理の詳細は、前述したステップＳ６，Ｓ７の処理と同様であるので、ここでは重複した説明は省略する。
【００８２】
こうして、ステップＳ８に戻り、更に被写体面の調整を行うか否かを判断し、更に該調整を行う場合にはステップＳ９以降の処理を繰り返し、更に該調整を行わないと判断した場合には（ステップＳ８をＮｏに分岐）、上記ボカシ処理が施された画像の画像データをメモリカード３１に記録し（ステップＳ１２）、一連の処理を終了する。
【００８３】
ここで、図９の概念図を参照して、距離情報を取得する手法である、ＴＯＦ方式について更に詳細に説明する。測距部２９は、図９に示されるように、発光素子２９ａと結像レンズ２９ｂ、撮像素子２９ｃからなる。そして、このような構成の下、発光素子２９ａから照射された特定波長を変調した光の被写体２００での反射光を結像レンズ２９ｂを介して撮像素子２０ｃで受光し、出射光と反射光との位相差から、撮像素子２０ｃの各画素における「遅れ時間」を計測し、当該遅れ時間に基づいて被写体までの距離ｄ、つまり距離情報を得るものである。尚、この距離情報は、例えば、光速と遅れ時間とを乗算し１／２を乗ずることで算出すればよい。以上の処理により本実施の形態では、最大で１画素ごとに距離情報を得ることができる。また、距離情報を取得する手法としては、この他に位相差解析等を採用することも可能である。
【００８４】
以上説明したように、本発明の第１の実施の形態によれば、撮像光学系により結像される画像に対応する距離情報を得て、撮像画像の中で点を指定することで被写体面を設定し、前記距離情報と該被写体面の情報を基に画像処理を行うことにより「アオリ（スイング、ティルト）」相当の画像を簡易な操作で得ることができる。
【００８５】
また、このような機能を、安価且つ小型なディジタルスチルカメラ等の撮像装置において実現することも可能となることは勿論である。
【００８６】
つまり、本発明の一実施の形態によれば、「アオリ（スイング、ティルト）」相当の画像をより簡易に得ることができるので、例えば光学的なアオリ（スイング、ティルト）を可能にするための複雑な機構（所謂「シャインプルフの法則」に沿ったメカ設計）も不要であり、「アオリ（スイング、ティルト）」を意図した特別な光学設計を行う必要もなくなるため、安価且つ小型の画像処理装置、画像処理方法を提供することができる。
【００８７】
尚、生成される被写体面は、平面のみならず任意の湾曲面（e.g. Variable Field Curvature(可変像面湾曲)）でもよい。即ち、例えば図１０（ａ）に示されるように光軸に直交する平面が被写体面として設定された後、図１０（ｂ）に示されるように被写体面の左右が画像合成装置側に所定の曲率で湾曲した湾曲面を被写体面として設定したり、図１０（ｃ）に示されるように、被写体面の左右が画像合成装置とは反対側に所定の曲率で湾曲した湾曲面を被写体面として設定したり、することもできる。なお、不図示ではあるが、被写体面の上下を画像合成装置側あるいはその反対側に所定の曲率で湾曲した湾曲面を被写体面として設定してもよいことは勿論であるし、像面をすり鉢状に設定することも可能である。これについては、第９の実施の形態で詳述する。
【００８８】
また、図１１に示されるように、操作入力部３３の一要素である十字キーの操作による被写体面の調整にあたっては、その調整の過程をＬＣＤモニタ１９の画面３５０の右下のウィンドウ３５１で表示するようにしてもよい。これについては、第８の実施の形態で詳述する。
【００８９】
（第２の実施の形態）
次に本発明の第２の実施の形態について説明する。
本発明の第２の実施の形態は、前述した画像処理装置による被写体面の設定やボカシ処理をコンピュータやアクセサリ装置等の情報処理装置により実現するものである。
【００９０】
図１２には、第２の実施の形態に係る情報処理装置の構成例を示し説明する。
この図１２に示されるように、情報処理装置５０は、入力部５１、制御プログラム５３に基づいて全体を制御する制御部５２、表示部５４、操作入力部５５、記憶部５６からなる。そして、制御部５２は、制御プログラム５３に基づいて、例えば、被写体面設定機能５３ａ、傾き設定機能５３ｂ、画像処理機能５３ｃを奏することになる。尚、この制御プログラムは、例えば画像処理プログラムに相当するものである。
【００９１】
このような構成において、画像データ及び距離情報が入力部５１より入力されると、制御部５２は、記憶部５６に記憶されている制御プログラム５３を読み出し、当該制御プログラム５３に基づいて処理を実行する。即ち、表示部５４に画像データに基づく画像の表示を行ない、操作入力部５５の操作による被写体面の設定を促す。
【００９２】
ユーザにより、操作入力部５５が操作されて、表示画像の中で所望とされる点（領域でもよい）が選択されると、制御部５２は、被写体面設定機能５３ａに基づいて被写体面を設定する。そして、更なる操作入力部５５の操作に基づいて、被写体面の傾き方向及び傾き角の設定を行う。そして、最終的に設定された被写体面の情報と距離情報とに基づいて、ボケ処理などの画像処理を行い、該処理後の画像を表示部５４に表示する。以上の一例の設定の詳細は、第１の実施の形態（先に図４乃至図６のフローチャート参照）と同様であるので、ここでは重複した説明は省略する。
【００９３】
以上説明したように、本発明の第２の実施の形態によれば、入力された画像データと距離情報に基づいて被写体面の設定を促し、当該被写体面の情報と距離情報とに基づいて画像処理を行うことにより「アオリ（スイング、ティルト）」相当の画像を簡易な操作で得ることができる。
【００９４】
つまり、本発明の第２の実施の形態によれば、「アオリ（スイング、ティルト）」相当の画像をより簡易に得るための画像処理プログラムを提供することができる。また、この画像処理プログラムを実装すれば、コンピュータ等の情報処理装置により、上記効果が施された画像を簡易且つ安価に得ることが可能となる。
【００９５】
以上、本発明の第１及び第２の実施の形態について説明したが、本発明はこれに限定されることなくその趣旨を逸脱しない範囲で種々の改良・変更が可能であることは勿論である。
【００９６】
例えば、前述した第１及び第２の実施の形態では、画面を見ながらタッチパネルで所望とするポイントを最大３点指定し、該ポイントに基づいて被写体面を設定する例を挙げたが、これには限定されない。ユーザが３点を指定すると共にボカシ処理の変化の度合いを調整するために被写界深度（絞り）を指定してもよい（絞り優先で実際の撮像素子／焦点距離では撮像できないような浅い被写界深度及び傾いた被写体面での撮像と同等の効果を付与）し、被写界深度（絞り）は自動で決定してもよい。更に、ユーザが４点以上を指定して、これらの点全体にピントが合うように被写界深度を演算してもよいし、各点に何らかの重み付けをしてもよい。尚、被写界深度とはピントを合わせた被写体の前後でピントが合うとみなされる距離の範囲のことをいう。
【００９７】
また、ユーザが３５ｍｍ判換算（35mm size conversion）の焦点距離及び絞り値を指定してもよい。３５ｍｍ判換算とは、３５ｍｍ判における標準レンズの画角を基準にして、それぞれの撮像サイズで該画角のレンズを標準レンズと見なすことをいう。若しくは４点以上のポイントを指定したときの被写体面は、一般的な立体解析幾何学で得ることができる。これは、被写体面情報に基づく距離情報の変換についても同様である。更に、ボカシ処理のアルゴリズムは前述した例に限定されないことは勿論である。
【００９８】
また、画像処理は、前述したボカシ処理に限定されることなく、例えば、粒状化、モザイク化、テクスチャの変更、ノイズの付加、明度や彩度の変更、段階的にグラデーションを与えるなど、各種の処理を含む。更に、被写体面は、曲面（球面や円筒面、円錐面、高次の近似曲面）であってもよいことは勿論である。
【００９９】
（第３の実施の形態）
次に第３の実施の形態について説明する。
図１３には本発明の第３の実施の形態に係る画像処理装置の構成を示し説明する。
ここでは、第３の実施の形態に係る画像処理装置をディジタルカメラ等の撮像装置に適用した例を示し説明する。
【０１００】
この図１３に示されるように、画像処理装置は、カメラ部６０と、カメラＤＳＰ（Digital Signal Processor）６１と、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）６３と、媒体インターフェース（以下、媒体Ｉ／Ｆという）６４と、制御部６２と、操作部６６と、ＬＣＤ（Liquid Crystal Display）コントローラ６７及びＬＣＤ６８と、外部インターフェース（以下、外部Ｉ／Ｆという）６９を備えるとともに、記録媒体６５が着脱可能とされている。
【０１０１】
記録媒体６５は、半導体メモリを用いた所謂メモリカード、記録可能なＤＶＤ（Digital Versatile Disk）や記録可能なＣＤ（Compact Disc）等の光記録媒体、磁気ディスク等の種々のものを用いることができる。
【０１０２】
カメラ部６０は、光学ブロック６０ａ、絞り６０ｂ、ＣＣＤ（Charge Coupled Device）等の撮像素子６０ｃ、Ａ／Ｄ変換回路６０ｄ、光学ブロック用ドライバ６０ｅ、絞り用ドライバ６０ｆ、撮像素子用ドライバ６０ｇ、タイミング生成回路６０ｈ、駆動部６０ｉ、検出部６０ｊ、ブレ検出部６０ｋ等を備える。ここで、光学ブロック６０ａは、レンズ、フォーカス機構、シャッター機構、絞り（アイリス）機構、手振れ駆動部等を備えている。そして、光学ブロック６０ａ中のレンズには、ズームレンズが使用される。
【０１０３】
制御部６２は、ＣＰＵ（Central Processing Unit）６２ａ、ＲＡＭ（Random Access Memory）６２ｂ、フラッシュＲＯＭ（Read Only Memory）６２ｃ、時計回路６２ｄ等がシステムバス６２ｅを通じて接続されて構成されたマイクロコンピュータであり、この実施の形態の撮像装置の各部の制御を司るものである。
【０１０４】
ＲＡＭ６２ｂは、処理の途中結果を一時記憶する等、主に作業領域として用いられるものである。フラッシュＲＯＭ６２ｃは、ＣＰＵ６２ａにおいて実行する種々のプログラムや、処理に必要になるデータ等が記憶されたものである。画像処理プログラムもフラッシュＲＯＭ６２ｃに記憶してよい。時計回路６２ｄは、現在年月日や現在曜日、現在時刻を提供することができるとともに、撮影日時等を提供する等のことができる。
【０１０５】
画像の撮像時においては、光学ブロック用ドライバ６０ｅは、制御部６２からの制御に応じて、光学ブロック６０ａを動作させるようにする駆動信号を形成し、これを光学ブロック６０ａに供給して、光学ブロック６０ａを動作させるようにする。光学ブロック６０ａは、光学ブロック用ドライバ６０ｅからの駆動信号に応じて、被写体の画像を取り込んで、これを撮像素子６０ｃに対して提供する。
【０１０６】
撮像素子６０ｃは、光学ブロック６０ａからの画像を光電変換して出力するものであり、撮像素子用ドライバ６０ｇからの駆動信号に応じて動作し、光学ブロック６０ａからの被写体の画像を取り込む。更に、制御部６２によって制御されるタイミング生成回路６０ｈからのタイミング信号に基づいて、取り込んだ被写体のアナログ画像データをＡ／Ｄ変換回路６０ｄに供給する。Ａ／Ｄ変換回路６０ｄは、Ａ／Ｄ変換を行って、ディジタル信号とされた画像データを形成する。
【０１０７】
このディジタル信号とされた画像データは、カメラＤＳＰ６１に供給される。カメラＤＳＰ６１は、これに供給された画像データに対して、ＡＦ（Auto Focus）、ＡＥ（Auto Exposure）、ＡＷＢ（Auto White Balance）等のカメラ信号処理を施す。このようにして種々の調整がされた画像データは、所定の圧縮方式でデータ圧縮され、システムバス６２ｅ、媒体Ｉ／Ｆ６４を通じて、記録媒体６５に供給され、記録される。
【０１０８】
この記録媒体６５に記録された画像データは、タッチパネルやコントロールキー等からなる操作部６６を通じて受け付けたユーザからの操作入力に応じて、目的とする画像データが媒体Ｉ／Ｆ６４を通じて記録媒体６５から読み出され、これがカメラＤＳＰ６１に供給される。
【０１０９】
カメラＤＳＰ６１は、記録媒体６５から読み出され、媒体Ｉ／Ｆ６４を通じて供給されたデータ圧縮されている画像データについて、そのデータ圧縮の解凍処理（伸張処理）を行い、解凍後の画像データをシステムバス６２ｅを通じて、ＬＣＤコントローラ６７に供給する。ＬＣＤコントローラ６７は、供給された画像データからＬＣＤ６８に供給する画像信号を形成し、これをＬＣＤ６８に供給する。これにより、記録媒体６５に記録されている画像データに応じた画像が、ＬＣＤ６８の表示画面に表示される。
【０１１０】
外部Ｉ／Ｆ６９を通じて、例えば、外部のパーソナルコンピュータと接続して、パーソナルコンピュータから画像データの供給を受けて、これを記録媒体６５に記録することもできる。また、外部Ｉ／Ｆ６９を通じて、記録媒体６５に記録されている画像データを外部のパーソナルコンピュータ等に供給することもできる。
【０１１１】
また、外部Ｉ／Ｆ６９に通信モジュールを接続することにより、例えば、インターネット等のネットワークに接続して、ネットワークを通じて種々の画像データやその他の情報を取得し、記録媒体６５に記録することもできる。あるいは、記録媒体６５に記録されているデータを、ネットワークを通じて目的とする相手先に送信することもできる。
【０１１２】
なお、この外部Ｉ／Ｆ６９は、例えば、ＩＥＥＥ（Institute of Electrical and Electronics Engineers）１３９４、ＵＳＢ（Universal Serial Bus）等の有線用インターフェースとして設けることもできる。或いは、この外部Ｉ／Ｆ６９は、光や電波による無線インターフェースとして設けることもできる。即ち、外部Ｉ／Ｆ６９は、有線、無線のいずれのインターフェースでもよい。
【０１１３】
そして、この第３の実施の形態に係る画像処理装置では、特に「アオリ（スイング、ティルト）」に相当する撮影技法をより簡易なものとすることを目的として、ＣＰＵ６２ａの制御の下、画像処理、画像補正によってこれらを実現し、且つ直感的な操作ができるようにしている点を特徴の一つとしている。
【０１１４】
図１４には画像処理装置を撮像装置としてのディジタルカメラに適用した場合の該ディジタルカメラの外観構成図を示し説明する。図１４（ａ）はディジタルカメラを前面から見た斜視図、図１４（ｂ）はディジタルカメラを後面から見た斜視図である。これらの図に示されるように、ディジタルカメラ７０には、レンズ７１、シャッターボタン７２、メニューボタン７３、決定ボタン７４、露出補正ボタン７５、タッチパネル７６、十字キー７７が設けられている。後述する点の指定は、タッチパネル７６等の操作により行う。
【０１１５】
以下、図１５のフローチャートを参照して、本発明の第３の実施の形態に係る画像処理装置による特徴的な処理手順を詳述する。以下の処理手順の一部または全部は本発明の第３の実施の形態に係る画像処理方法にも相当する。
【０１１６】
この処理を開始すると、制御部６２のＣＰＵ６２ａは、撮像素子６０ｃにより被写体像を撮像し、Ａ／Ｄ変換回路６０ｄにてディジタルの画像データを生成する（ステップＳ１０１）。続いて、ＣＰＵ６２ａは、この生成した画像データに対応した距離情報（Depth Map）を生成する（ステップＳ１０２）。距離情報（Depth Map）は、画像における物体までの距離を画素単位で対応付けて取得したものであって、ＴＯＦ（Time of flight）方式やボケ量解析（Depth from Defocus）などで得ることが可能である。
【０１１７】
続いて、ＣＰＵ６２ａは、画像データと距離情報を記録媒体６５に記録する（ステップＳ１０３）。即ち、画像データと距離情報は、互いに関連付けられた状態で媒体Ｉ／Ｆ６４を介して記録媒体６５に記録される。距離情報はメタデータとして保持する。ファイル番号などによって関連付けて画像と距離情報を別々に保存すれば、画像ファイル自体のサイズを小さくすることもできる。この場合には、互いの関連付けを画像と距離情報を利用するときに判断しなくてはならない。
【０１１８】
次に、ＣＰＵ６２ａは、ＬＣＤコントローラ６７を制御して、ＬＣＤ６８に画像を表示する（ステップＳ１０４）。そして、ＣＰＵ６２ａは、「アオリ（スイング、ティルト）」に相当する被写体面の操作に基づく処理を行う（ステップＳ１０５）。このステップＳ１０５の処理の詳細は図１６を参照して後述する。
【０１１９】
ここで、被写体面とは、所謂シャインプルフの法則（Scheimpflug principle）に従い撮像素子６０ｃの受光面の延長及び光学系主面の延長と交わるピントが合う面である。この実施の形態に係る画像処理装置では、撮像素子６０ｃと光学系ブロック６０ａの光学系とは、所謂アオリ（スイング、ティルト）操作ができないよう、レンズ光軸と撮像素子面は（ほぼ）直交の位置関係のままで撮像を行うこととしている。「アオリ（スイング、ティルト）」に相当する被写体面の操作は、画像処理によって行う。
【０１２０】
続いて、ＣＰＵ６２ａは、ステップＳ１０３で記録された画像データを読み出し、ステップＳ１０５で設定された被写体面を用いて、画像処理（被写体面からの距離に応じたボカシ処理）を施す（ステップＳ１０６）。このステップＳ１０６の処理の詳細は図１８及び図１９を参照して後述する。こうして、ＣＰＵ６２ａは、画像処理を行った画像データを媒体Ｉ／Ｆ６４を介して記録媒体６５に記録する（ステップＳ１０７）。
【０１２１】
このとき、ＣＰＵ６２ａは、表示画像に係る画像データを撮像時に元の画像データとは別のファイルとして記録媒体６５に保存していたときには、画像処理を施した表示画像に係る画像データを同時に記録する。以上で、処理を終了する。
【０１２２】
次に、図１６のフローチャートを参照して、図１５のステップＳ１０５の処理の詳細を説明する。ここでは、被写体面の操作にタッチパネル７６を用いた方法を説明する。
【０１２３】
この処理に入ると、ＣＰＵ６２ａは、タッチパネル７６をタッチすることによる被写体面の中心に係る指示を受け付ける（ステップＳ２０１）。即ち、ＣＰＵ６２ａは、タッチされた位置の座標を検出し、位置の指定として受け付ける。この被写体面の中心は、被写体面の回転中心であり、Ｘ，Ｙ，Ｚ軸からなる新たな座標系で該被写体面を回転させる際に中心となる立体的且つ空間的な中心位置である。
【０１２４】
続いて、ＣＰＵ６２ａは、こうして設定された被写体面の回転中心をユーザが認識できるように、ＬＣＤ６８の表示画面中に被写体面の回転中心を示す点を表示する（ステップＳ２０２）。そして、ＣＰＵ６２ａは、被写体面の回転の中心が立体座標中心となるように、距離情報（Depth Map）を座標変換する。（ステップＳ２０３）。
【０１２５】
ここで、距離情報（Depth Map）は、画像の平面座標（Ｘ，Ｙ）と奥行き座標（Ｚ）で定義される座標（Ｘ，Ｙ，Ｚ）のうちの奥行き座標（Ｚ）に関連するものである。ＣＰＵ６２ａは、先ず被写体面の中心に設定された画素の座標（Ｘ，Ｙ，Ｚ）を立体座標の原点（０，０，０）になるように変換する。その他の点（画素）の座標は、この被写体面中心の座標を座標中心とする新たな座標系の座標値に変換される。これにより、距離情報は、被写体面からの距離に変換されることになる。尚、この距離情報の変換の詳細は、先に図８を参照しつつ説明したとおりであるので、重複した説明は省略する。
【０１２６】
この実施の形態では、被写体面の形状は、単純な平面として話を進める。このとき、表示された被写体面の中心がユーザの意図した位置からズレてしまっている場合には、表示点をドラッグすることによって修正する。たとえば、図１４（ｂ）の十字キー７７を用いて、該十字キー７７を操作した方向に中心点を動かすこともできる。
【０１２７】
こうして、ＣＰＵ６２ａは、ユーザによりタッチパネル７６が操作され、例えば決定ボタンがタップされる等して、被写体面の中心が決定されたか否かを判断する（ステップＳ２０４）。被写体面の中心をユーザ操作に従って修正した場合には、その中心座標が変わってしまうので、修正された被写体面中心が立体座標中心になるように、ステップＳ２０３に戻り、再度距離情報（Depth Map）の座標を変換する。一方、例えば、ＬＣＤ６８に表示されている被写体面中心が再度タップされるなどして、中心が決定された場合にはステップＳ２０５に進む。
【０１２８】
ユーザ操作によって被写体面中心が決定されたらと判断した場合、ＣＰＵ６２ａは被写体面の操作を行ったときに効果が分かるように、表示画像を画像処理して表示する（ステップＳ２０５）。この表示画像は、撮像された画像データそのものではなく、画像自体の確認や被写体面操作の効果を確認するために表示画面（ＬＣＤ６８）に表示するためにＲＡＭ６２ｂ（もしくはＳＤＲＡＭ６３）に書き込まれる画像のことである。画像自体の確認等のためのものであることから、画像処理も簡易処理であってよい。
【０１２９】
この表示画像は、撮像された画像データから表示画面（ＬＣＤ６８）の解像度に合った画像へとサイズダウンすることで、一時的にＲＡＭ６２ｂ（もしくはＳＤＲＡＭ６３）に保持しても良い。或いは、撮像時に元の画像データとは別のファイルとして媒体Ｉ／Ｆ６４を介して記録媒体６５に保存しても良い。
【０１３０】
ステップＳ２０５では、具体的には、被写体面からの距離に応じて、表示画像に対してボカシ処理を行う。表示画像は実際に記録されている画像よりもサイズの小さな画像で構わない。表示画面のサイズや画素数に応じて、最低限必要な大きさの画像を表示することによって処理負荷を軽減して、スムーズなユーザ操作を実現することが望ましい。
【０１３１】
なお、この実施の形態では、簡易的なユーザ操作を意図して、被写界深度は一定で（但し、実際の撮像よりも被写界深度が浅いように）被写体面だけを操作するものとして以下の説明を進める。
【０１３２】
続いて、ＣＰＵ６２ａは、ユーザ操作に従い、被写体面を回転する（ステップＳ２０６）。この被写体面の回転は、被写体面の中心以外の座標をタップすることによって、被写体面をＸ軸またはＹ軸周りに回転（傾ける）させることによる。
【０１３３】
より具体的には、図１７（ａ）に示されるように、表示画面５００におけるタップ（タッチ）位置５００ａによって被写体面を倒す（傾ける）方向を指示して、タップした強さによって被写体面をティルトさせる（傾ける）量を指示する。表示画面５００内におけるタップ位置５００ａの座標（Ｘ，Ｙ）と被写体面の先に指定さえた指定点に係る回転中心５００ｂとを結ぶ直線に直交し、被写体面の回転中心５００ｂを通る回転軸５００ｃ回りで被写体面が回転する。タップによって、面を突っつくような直感的操作を実現する。
【０１３４】
被写体面の回転は立体解析幾何学における座標変換によって行う。例えば、各画素について被写体面からの距離を算出する。すなわち、被写体面の回転中心を指示して、被写体面の回転操作を行うユーザ操作に従い、ＣＰＵ６２ａは、距離情報を被写体面からの距離情報へと座標変換する処理を行う。
【０１３５】
こうして被写体面をその回転中心５００ｂを支点に回転させた（要は、被写体面をティルト操作した）効果が分かるように、表示画像を画像処理してＬＣＤ６８に表示する（ステップＳ２０７）。すなわち、ＣＰＵ６２ａは、回転（ティルト）操作された被写体面からの距離に応じて、ボカシ処理を施す。その結果は、図１７（ｂ）に示される。
【０１３６】
このステップＳ２０７の画像処理は、前述したステップＳ２０５における画像処理と同様、ユーザ操作がスムーズに行えて且つ操作の効果を把握できるだけの画像サイズであれば良い。また、被写体面を傾ける操作を行ってからも、被写体面の回転中心をドラッグすることによって修正することができる。そのときには、前述したステップＳ２０３と同様に座標を変換すれば良い。
【０１３７】
次いで、ＣＰＵ６２ａは、ユーザによりタッチパネル７６の被写体面中心がもう一度タップされる等して、被写体面の回転の終了が指示されたか否かを判断する（ステップＳ２０８）。ここで、ＣＰＵ６２ａは終了が指示されていないと判断した場合にはステップＳ２０６に戻り、上記処理を繰り返す。一方、ＣＰＵ６２ａは、終了が指示されたと判断した場合には、本処理を終了し、図１５の処理にリターンする。
【０１３８】
次に、図１８のフローチャートを参照して、図１５のステップＳ１０６の処理の詳細を説明する。なお、前提として、画像処理装置は、図１９に示されるような関係に基づくテーブルをフラッシュＲＯＭ６２ｃ等にて保持しているものとする。この図１９では、縦軸はボケ付加パラメータの値を示し、横軸は距離情報を示す。被写界深度となる距離まではボケ付加パラメータはゼロとなる。被写界深度となる距離からは例えば１次関数の関係となり、距離が大きくなるに従い、ボケ付加パラメータの値も大きくなる。ボケ付加パラメータは被写体までの距離に応じて、いくつか保持していることが好ましく、ボケ付加パラメータは１次関数に限らず、光学的な計算結果に基づいたパラメータを付加することも可能である。
【０１３９】
処理を開始すると、ＣＰＵ６２ａは、画像処理を施す画素を設定する（ステップＳ３０１）。続いて、ＣＰＵ６２ａは、被写体面からの距離に座標変換された距離情報を取得する（ステップＳ３０２）。そして、図１９の関係に基づくテーブルを参照し、該距離情報に対応するボケ付加パラメータを取得する（ステップＳ３０３）。そして、該ボケ付加パラメータを画素に付加する（ステップＳ３０４）。たとえば、周辺画素を用いたローパスフィルタ（ＬＰＦ）処理を行うことでボケを付加することができるが、その際に用いる周辺画素の数を変える事でボケ量を変えることができる。利用する全ての画素の平均値を対象画素の画素値とする場合に画素数を増やせばボケ量が増えることになる。
【０１４０】
こうして、ＣＰＵ６２ａは、全ての画素について処理を完了したかを判断する（ステップＳ３０５）。全ての画素について処理を完了していないと判断した場合にはステップＳ３０１に戻り上記処理を繰り返す。一方、全ての画素について処理を完了したと判断した場合には、この処理を終了し、図１５の処理にリターンする。
【０１４１】
以上が、基本的な撮像〜被写体面中心の設定〜被写体面の操作〜画像処理までの説明である。いずれのステップにおいても、操作をやり直したいときには「キャンセル」や「戻る」などの操作を行うことによって、やり直すことができる。
【０１４２】
即ち、図２０（ａ）に示されるように、「キャンセル」や「戻る」は、表示画面５０２に重ねて操作ボタン５０２ａを表示する。そのとき、表示位置は被写体面中心を示す点に重ならないように配置する。また、被写体面の回転中心をドラッグすることによって修正する際に邪魔にならないよう配置することが好ましい。
【０１４３】
また、図２０（ｂ）に示されるように、「キャンセル」や「戻る」などの操作ボタン５０３ａは、表示画面５０３上でドラッグすることによって位置を動かすことができる。これによって、被写体面の回転中心点の修正の邪魔にならないようになり、被写体面を傾けた効果を確認する際にボタン位置をズラして画面内を隅々まで見ることもできる。
【０１４４】
さらに、「アオリ（スイング、ティルト）」に相当する効果を確認するためには、被写体面中心付近だけでなく、画面の隅々を一度に見渡したい場合もあるので、図２０（ｃ）に示されるように表示画面５０４上に「表示を消去」などの操作ボタン５０４ａを配置するようにしてもよい。この「表示を消去」の操作ボタン５０４ａについても、図２０（ｂ）に示したようなドラッグ操作によって移動させることができる。
【０１４５】
この「表示を消去」の操作ボタン５０４ａをタップすると、表示画面５０４以外の表示を非表示状態にすることができ、画面内を一度に見渡して被写体面の操作の効果を確認することができる。もう一度、表示画面５０４の任意の位置をタップすることによって、再度の表示を元に戻すことができる。一方、メニュー操作によって、「表示を消去」の操作ボタン５０４ａを操作したときにも表示を消さずに残したいものを選択し、表示することができる。例えば、被写体面の回転中心だけを表示して他を消去することもできる。
【０１４６】
（第４の実施の形態）
次に第４の実施の形態について説明する。
尚、第４の実施の形態に係る画像処理装置の構成は、第３の実施の形態（図１３，１４）と同様であるので、これらの図を適宜参照し、説明を進める。また、図１５，１６のフローチャートを参照する場合、同図のステップを引用しつつ特徴点を説明する。
【０１４７】
「アオリ（スイング、ティルト）」に相当する効果を得るためには、被写体面を傾ける操作を可能にするだけでなく、被写体面からの被写界深度をも操作できる機能を実現することが望ましい。そこで、第４の実施の形態に係る画像処理装置、画像処理方法では、被写体面の回転中心を決定する際（図１６のステップＳ２０４に相当）に、表示されている被写体面の回転中心を２回タップすることで、被写体面中心の決定と被写界深度の決定を行うことを可能とするものである。
【０１４８】
被写界深度は通常、
・明るい絞りで撮像すると被写界深度は浅い（シャッタースピードは速い）
・暗い絞りで撮像すると被写界深度は深い （シャッタースピードは遅い）
という関係があるので、２回タップするときのタップ間の時間によって被写界深度を決定する。タップ間の時間が短ければ浅い被写界深度を設定し、長ければ深い被写界深度を設定する。これは、シャッタースピードが速い、遅いという関係に合致しているので、カメラを操作しているユーザにとって直感的に分かりやすいと言える。
【０１４９】
一方、被写界深度は、被写体面の回転中心を決定した後や、被写体面を傾けた後でも変更できる機能を実現することが望ましい。そこで、第４の実施の形態に係る画像処理装置、画像処理方法では、被写体面の回転を終了指示（図１６のステップＳ２０８に相当）するまでは、何度でも被写体面の回転中心を２回タップすることによって被写界深度を再設定することを可能とし、設定された被写界深度に応じた画像処理（図１６のステップＳ２０７に相当）を行うことを可能とする。
【０１５０】
具体的には、図２１（ａ）に示されるように、表示画面５０５の中で、ユーザ操作に基づいて被写界深度を設定する際（即ち、この例では、被写体面の回転中心を２回タップするとき）には、被写界深度の目安をグラフ表示部５０５ａにより表示画面５０５上に重ねて表示する。これにより、ユーザがより意図に沿った操作をできるようにする。
【０１５１】
即ち、図２１（ａ）において、ユーザ操作により被写体面の回転中心が１回目にタップされたとき、表示画面５０５内（被写体面の回転中心とは重ならない位置）にタップ間の時間によって変化するグラフ表示部５０５ａを表示する。この例では、表示は帯状のもので、一度目のタップ操作が行われてからの時間に応じて「浅い」→「深い」に表示を切り替え、ユーザによる被写界深度の設定を支援する。
【０１５２】
表示は、被写界深度が「浅い」「深い」ということには限定されず、図２１（ｂ）に示される表示画面５０６のように、被写体面の「手前」と「奥」にどれだけピントの合う範囲があるのかをグラフ表示部５０６ａにより表示しても良い。また、直感的なグラフ表示だけでなく数字を表示しても良い。この表示する数字としては、例えば“35mm判換算85mm相当の画角でF2.8相当の被写界深度”などが例として挙げられる。画像データの撮影情報から３５mm判換算の画角を自動的に算出し、その画角におけるＦ値を表示することも考えられる。
【０１５３】
また、被写体面中心を２回タップすることによって被写界深度を設定する場合には、被写体面中心を一度タップすることによって被写体面の回転を終了指示する操作と混同してしまう。そこで、図２１（ｃ）に示されるように、表示画面５０７に別途「終了」ボタン５０７ａを重ねて表示する。この「終了」ボタン５０７ａも、表示画面５０７上の所望位置にドラッグすることによって位置を動かすことができる。これによって、被写体面の回転中心の修正の邪魔にならないようになる。さらに、被写体面を傾けた効果を確認する際にボタン位置をズラして画面内を隅々まで見ることもできる。
【０１５４】
（第５の実施の形態）
次に第５の実施の形態について説明する。
尚、第５の実施の形態に係る画像処理装置の構成は、第３の実施の形態（図１３，１４）と同様であるので、これらの図を適宜参照し、説明を進める。また、図１５，１６のフローチャートを参照する場合、同図のステップを引用しつつ特徴点を説明する。
【０１５５】
この第５の実施の形態に係る画像処理装置、画像処理方法では、表示画像に重ねて「終了」ボタンを表示するのではなく、２回タップする操作と被写体面の回転を終了指示する操作を同一のユーザインタフェース（ＵＩ）で行うことを特徴とする。
【０１５６】
即ち、図２２（ａ）に示されるように、表示画面５０８上に、タッチパネル７６での１回目のタップによって「浅い」〜「深い」までの被写界深度設定を支援する表示をグラフ表示部５０８ａにより行い、該グラフ表示部５０８ａの上部に「終了」、即ち被写体面の回転を終了指示する位置を表示する。
【０１５７】
その後、図２２（ｂ）に示されるように、表示画面５０９にて、タッチパネル７６での１回目のタップを行ってからの時間に応じてグラフ表示部５０９ａの表示を「浅い」から「深い」まで切り替えていき、「深い」という状態を所定時間だけ維持する。ここまでの間にタッチパネル７６にて２回目のタップが行われたら、被写界深度が設定されたことをＣＰＵ６２ａが検出して、画像処理（図１６のステップＳ２０７に相当）を行う。
【０１５８】
タッチパネル７６にて２回目のタップが行われないまま所定時間（例えば１秒。「深い」という被写界深度をユーザが設定するために必要な時間）経過したら、図２２（ｃ）に示されるように、表示画面５１０のグラフ表示部５１０ａの表示を「終了」に至るまで切り替えていく。この間にタッチパネル７６にて２回目のタップが行われたら、「深い」被写界深度を設定する。
【０１５９】
そして、タッチパネル７６にて２回目のタップが行われないまま表示が「終了」に至った場合には、被写体面の回転を終了するという指示であるとＣＰＵ６２ａは判断する（図１６のステップＳ２０８に相当）。
【０１６０】
従って、第５の実施の形態に係る画像処理装置等では、被写体面の回転を終了指示（図１６のステップＳ２０８に相当）する際に表示が切り替わるまでの時間を設けるため、「終了」ボタンを表示する必要がないため、画面表示を煩雑にすることがなくなる。尚、被写界深度の設定は、ユーザのメニュー操作によって35ミリ換算の焦点距離、絞り値を指定してもよいことは勿論である。
【０１６１】
被写界深度の設定は２回タップする時間で設定する方法には限定されない。例えば、１回目のタップで図２２（ｄ）に示される表示画面５１１を表示し、タッチパネル７６への２回目のタップは「浅い」〜「深い」という被写界深度の設定と、「終了」とを表示している箇所、即ちグラフ表示部５１１ａで入力することもできる。この手法によれば、１つのＵＩで被写体面の回転を終了指示する際に表示が切り替わるまでの時間を要することなく、被写界深度の設定と被写体面の回転終了とを指示することができる。
【０１６２】
また、被写体面の回転中心をタップするとき（図１６のステップＳ２０４における被写体面の決定や、被写界深度の設定、被写体面の回転終了指示）に、「被写体面の回転中心」と判定されるタップ範囲を表示してもよい。
【０１６３】
即ち、図２３（ａ）には、「被写体面の中心」と判定されるタップ範囲を表示画面５１２内に丸印５１２ａで表示した例を示している。図２３（ｂ）には「被写体面の回転中心」と判定されるタップ範囲を表示画面５１３内に矩形印５１３ａで表示した例である。
【０１６４】
タッチパネル７６上でこの範囲の内側をタップされたときには、ＣＰＵ６２ａは「被写体面の中心」をタップされたものと判定して処理して、この外側をタップしたときにはそれ以外の処理（例えば被写体面の回転、傾け操作）を行う。
【０１６５】
この場合においても、「キャンセル」「戻る」「表示を消去」「終了」（ボタン）や被写界深度の目安などの画面表示は、「被写体面の中心」と判定される範囲の外側に配置することが望ましいことは勿論である。
【０１６６】
（第６の実施の形態）
次に第６の実施の形態について説明する。
尚、第６の実施の形態に係る画像処理装置の構成は、第３の実施の形態（図１３，１４）と同様であるので、これらの図を適宜参照し、説明を進める。また、図１５，１６のフローチャートを参照する場合、同図のステップを引用しつつ特徴点を説明する。
【０１６７】
この第６の実施の形態に係る画像処理装置、画像処理方法では、図１６のステップＳ２０６での被写体面の回転（傾け）操作において、タッチパネル７６をタップ（タッチ）した強さによって回転角度（被写体面をティルトさせる量）を指示する以外に、図２４に示すように、タップする位置によって被写体面のティルト量を指示する。
【０１６８】
即ち、第６の実施の形態では、図２４に示されるように、表示画面５１４に被写体面を傾ける角度を段階的に表示して、ユーザ操作を支援する。
【０１６９】
被写体面中心近傍は「被写体面の回転中心」と判定されるタップ範囲で、そこから離れるほどティルト量（被写体面を回転／傾ける角度）を大きくする。即ち、被写体面中心座標からタップ位置座標（Ｘ，Ｙ）までの距離に応じたティルト量を設定する。被写体面の回転中心に近いところは１度、遠いところは２度、さらに離れると３度等の如くである。
【０１７０】
回転角度、即ち立体解析幾何学における座標変換の角度は、被写体面の回転中心から段階的に変化するように設定しても良いが、被写体面の回転中心からタップ位置までの距離に応じて微小に角度を調整できるようにすることが、より好ましい。また、表示が段階的であっても、実際の処理においては表示よりも細かい角度設定を行っても良い。
【０１７１】
従って、この第６の実施の形態によれば、被写体面の回転中心からタップ位置までの距離に比例してティルト角度を変化させることで、ユーザの直感的操作を可能にする。
【０１７２】
なお、撮影画像の画角（図１５のステップＳ１０１でメタデータとして記録）に応じて被写体面の回転角度を変えることもできる。例えば、実際のレンズにおいては、24mm／45mm／90mmではレンズをティルト操作したときの被写体面の傾きが異なる。レンズと撮像素子の傾き角度が同一（例えば10度）であれば、より広角なレンズのほうが被写体面の傾きが大きい。
【０１７３】
（第７の実施の形態）
次に第７の実施の形態について説明する。
尚、第７の実施の形態に係る画像処理装置の構成は、第３の実施の形態（図１３，１４）と同様であるので、これらの図を適宜参照し、説明を進める。また、図１５，１６のフローチャートを参照する場合、同図のステップを引用しつつ特徴点を説明する。
【０１７４】
写真撮影においては、水平、垂直を厳密に決めて撮像することもあり、実際の「アオリ（スイング、ティルト）」レンズを用いた被写体面の操作においてもより厳密に水平、垂直を決めることがある。そこで、この第７の実施の形態に係る画像処理装置、画像処理方法では、図１６のステップＳ２０５において、図２５（ａ）に示されるように、水平ライン５１５ａ、垂直ライン５１５ｂを表示画面５１５上に表示することを特徴とする。
【０１７５】
水平ライン５１５ａ、垂直ライン５１５ｂは、撮像（図１５のステップＳ１０１）するときに、例えばジャイロセンサなどの出力からメタデータとしてカメラの撮影姿勢、角度を記録しておいて表示しても良い。より簡易的には、単純に被写体面の回転中心を通る画像情報の水平ライン、垂直ラインを表示するとよい。表示されている水平ライン５１５ａ又は５１５ｂがタッチパネル７６にてタップされると、ＣＰＵ６２ａは、被写体面の回転角度を固定する。
【０１７６】
例えば、図２５（ｂ）に示されるように、表示画面５１６の水平ライン５１６ａをタッチパネル７６にてタップすると、ＣＰＵ６２ａは、被写体面の回転が水平ライン５１６ａの軸周りに行われるように回転の方向を限定し、水平ライン５１６ａに固定されていることを示すマーク５１６ｃ（この例では三角印）を表示する。
【０１７７】
この状態では、被写体面の回転は固定されたライン軸周りにしか行われないため、ライン座標（この場合Ｙ）からタップ位置（この場合Ｙ）までの距離によって、回転角度を判定する。尚、タッチパネル７６にて、固定したラインが再度タップされた場合、ＣＰＵ６２ａは、ラインの固定を解除する。
【０１７８】
ラインは水平ライン、垂直ラインに限らず、図２５（ｃ）に示される表示画面５１７のように、メニュー操作によって様々なラインを表示することができる。例えば、実際の「アオリ（スイング、ティルト）」レンズには、所定角度毎に角度を決めることができるものもあるので、こういった用途はユーザに馴染みがあるといえよう。
【０１７９】
（第８の実施の形態）
次に第８の実施の形態について説明する。
尚、第８の実施の形態に係る画像処理装置の構成は、第３の実施の形態（図１３，１４）と同様であるので、これらの図を適宜参照し、説明を進める。また、図１５，１６のフローチャートを参照する場合、同図のステップを引用しつつ特徴点を説明する。
【０１８０】
この第８の実施の形態に係る画像処理装置、画像処理方法では、図１６のステップＳ２０６にける、被写体面の回転（傾け）操作において、被写体面がどのような状態、角度にあるのかを表示することを特徴とする。
【０１８１】
実際の「アオリ（スイング、ティルト）」レンズにおいては、被写体面がどのような角度で傾いているのかはファインダや撮像画像によって確認しなくてはならなかった。これに対して、画像処理によって同様の効果を得るこの実施の形態では、被写体面を回転（図う１５のステップＳ２０６に相当）させるときの角度、即ち座標変換に用いる角度をＲＡＭ６２ｂに記録しておく。これにより、画像の距離情報を被写体面からの距離情報へと変換する処理を行うときに、被写体面を初期値（つまりカメラのレンズ光軸と直交状態）からどれだけ傾けたのかという情報を得ることができる。
【０１８２】
実際の表示例は、図２６（ａ）乃至（ｈ）に示される通りである。即ち、各表示画面５１８〜５２５には、被写体面の状態、角度を示す状態表示部５１８ａ、５１９ａ、５２０ａ、５２１ａ、５２２ａ、５２３ａ、５２４ａ，５２５ａが表示される。これら状態表示部５１８ａ、５１９ａ、５２０ａ、５２１ａ、５２２ａ、５２３ａ、５２４ａ、５２５ａによる被写体面の状態表示は、立体的に提示されるので、直感的であり、ユーザにとって分かり易いものであるといえる。
【０１８３】
（第９の実施の形態）
次に第９の実施の形態について説明する。
尚、第９の実施の形態に係る画像処理装置の構成は、第３の実施の形態（図１３，１４）と同様であるので、これらの図を適宜参照し、説明を進める。また、図１５，１６のフローチャートを参照する場合、同図のステップを引用しつつ特徴点を説明する。
【０１８４】
前述した第３乃至第８の実施の形態では、被写体面の形状は、単純な平面として話を進めてきたが、第９の実施の形態の画像処理装置、画像処理方法はこれに限定されることはない。通常の光学系（レンズ）においては像面湾曲があるため、通常は平面である撮像素子に対する被写体面の形状は、平面にはならない。
【０１８５】
図２７（ａ）、（ｂ）は、このような像面湾曲を概念的に示す図である。即ち、図２７（ａ）はメリディオナル（meridional）像面を示し、図２７（ｂ）はサジタル(sajittal)像面を示している。メリディオナル像面は、タンジェンシャル(tangential)像面とも称される場合がある。サジタルはラジアル（radial）像面と称される場合もある。
【０１８６】
メリディオナル面とは光軸と主光線を含む平面であり、該メリディオナル面内を走るメリディオナル光線が最も集光する像面がメリディオナル像面である。サジタル面とはメリディオナル面に垂直な平面であり、該サジタル面内を走るサジタル光線が最もよく集光する像面がサジタル像面である。
【０１８７】
この第９の実施の形態では、被写体面の形状を平面としてではなく、実際のレンズと同じように湾曲しているように扱う。そのために、図１６のステップＳ２０３において被写体面の回転中心が立体座標中心となるように距離情報（Depth Map）を座標変換（即ち撮影画像における各画素の距離情報を被写体面からの距離情報へと変換）するときに、被写体面の形状を用いて演算する。
【０１８８】
被写体面の形状は、像高（画像中心からの距離）と被写体面形状との関係を表すデータとして保持する。画像内の位置（Ｘ，Ｙ）と被写体面形状（Ｚ）との関係を表すよう、距離情報（Depth Map）と同じように保持する。
【０１８９】
ここで、図２８はデプス・マップ（Depth Map）同様に表現された被写体面形状を示している。同図において、黒が手前、白が奥を示している。被写体面の形状は、図２９に示されるように、像高と被写体面の形状との関係が表されていれば良いので、必ずしも距離情報と同じようなデータ保持をする必要はない。
【０１９０】
画像内を水平、垂直に分割した領域についてデータ保持しても良いし、像高〜被写体面形状だけを保持しても良い。また、被写体面形状は、ＲＡＭ６２ｂに保持、記録されていてもよく、外部Ｉ／Ｆ６９を介して外部より入手しても良い。
【０１９１】
具体的には、ＣＰＵ６２ａは、以下の演算を行う。
（１）まず、被写体面中心に設定された画素の座標（Ｘ，Ｙ，Ｚ）を立体座標の原点（０，０，０）になるように（Ｘ，Ｙ，Ｚ）の座標値をすべての画素における座標情報から減算する。これによって、カメラからの距離情報を、被写体面中心座標を通って撮影時のレンズ光軸と直交している平面からの距離情報へと変換する。
【０１９２】
（２）続いて、画像内の各画素位置における座標情報（Ｘ，Ｙ，Ｚ）と被写体面形状とを加算もしくは減算（被写体面形状データの持ち方によっては逆になる）する。これによって、被写体面中心座標を通って撮影時のレンズ光軸と直交している平面からの距離情報を、被写体面からの距離情報へと変換する。
【０１９３】
被写体面形状の演算処理を含めるのは処理負荷がかかってしまうが、ユーザに画像処理の効果を確認せしめ、快適な操作を支援するためにはこの段階で被写体面形状を演算することが好ましい。なお、この（１）と（２）の演算は、同時に行っても構わない。
【０１９４】
また、（２）における演算では、２通りの演算が考えられる。
・図１６のステップＳ２０１において指示された（もしくはステップＳ２０４で修正された）被写体面の回転中心と被写体面形状の中心とを一致させて処理を行う。
・あくまでも画像中心と被写体面形状の中心とを一致させて処理を行う。
【０１９５】
実際の光学系においては後者のように画像中心と被写体面形状中心が一致しているのでユーザにとってはこちらの効果を得るほうが好ましい。そこで、以下では、後者の考え方に沿って説明する。但し、実際のレンズとは異なった効果を得たいユーザのために、メニュー操作などで指定することによって、被写体面の回転中心と被写体面形状中心とを一致させることができるようにしても良い。
【０１９６】
実際の「アオリ（スイング、ティルト）」レンズにおいては、アオリ操作を行ったときに被写体面の回転中心が焦点距離および被写体面の傾け角度、撮像距離すなわち被写体までの距離に応じて、画像中心から動いていく。画像処理によって「アオリ（スイング、ティルト）」効果を得る本実施の形態においても、こうした挙動を再現可能とする手段を提供することが好ましい。
【０１９７】
そこで、図１６のステップＳ２０６において被写体面を回転操作したときには、画像の画角（図１５のステップＳ１０１でメタデータとして記録）と被写体面の回転角度に応じて、被写体面の回転中心を画像中心から移動させる。
【０１９８】
図１６のステップＳ２０６において被写体面の回転操作が行われたら、画像内の各画素位置における座標情報（Ｘ，Ｙ，Ｚ）から被写体面形状を減算もしくは加算（被写体面形状データの持ち方によっては逆になる）する。これで、被写体面からの距離情報を、被写体面中心座標を通って撮像時のレンズ光軸と直交している平面からの距離情報へと変換する。つまり、被写体面の形状を一旦元の平面形状に戻す。
【０１９９】
続いて、立体解析幾何学による座標変換を行って、各画素について被写体面中心座標を通って、ユーザに指示／操作された角度回転した平面からの距離情報へと変換する。つまり、平面の状態で回転のための座標変換を行う。
【０２００】
被写体面の回転角度と、被写体面の回転中心が画像中心から移動する量との関係は、ＲＯＭ６２ｂに予め保持・記録されていてもよく、外部Ｉ／Ｆ６９を介して外部より入手するようにしても良い。このとき、ＣＰＵ６２ａは、被写体面の回転角度に応じて、画像中心からの移動座標（Ｘ，Ｙ）が分かるように保持する。
【０２０１】
画像内の各画素位置における座標情報（Ｘ，Ｙ，Ｚ）に、被写体面の回転角度に応じて画像中心から移動（Ｘ，Ｙ）した被写体面形状を加算もしくは減算（被写体面形状データの持ち方によっては逆になる）する。これによって、被写体面中心座標を通って、ユーザに指示、操作された角度回転した平面からの距離情報を、被写体面からの距離情報へと変換する。つまり、最後にまた被写体面の形状に戻す。
【０２０２】
一方、被写体面の形状を操作したいというユーザも少なからず存在することから、被写体面の形状を変更する機能を実現すると更に好ましい。そこで、この実施の形態に係る画像処理装置、画像処理方法では、図１６のステップＳ２０４もしくはステップＳ２０６において、被写体面の中心が長押し（タップしてドラッグせずに押し続ける）操作された場合、図３０（ａ）に示されるように、ＣＰＵ６２ａが現在の被写体面形状の表示枠５２６ａをＬＣＤ６８の表示画面５２６上に表示するよう制御する。
【０２０３】
図３０（ａ）の表示画面５２６において、被写体面形状の表示枠５２６ａは、例えばその表示枠をドラッグ操作することによって移動可能である。この表示枠５２６ａに表示された被写体面形状をタップもしくはドラッグされた場合、ＣＰＵ６２ａは、被写体面形状を変更する。被写体面の形状を変更した効果は、図１６のステップＳ２０５もしくはステップＳ２０７で画像処理することによってユーザが即座に確認可能とする。
【０２０４】
被写体面の形状を表示する操作は、被写体面中心の長押しには限定されない。表示画面５２６に「被写体面形状」ボタンを表示しても構わない。この場合、「被写体面形状」ボタンを「被写体面の中心」と判定される範囲の外側に配置することが望ましい。
【０２０５】
また、被写体面中心に対する１回目のタップにより図３０（ｂ）に示されるような画面５２７を表示し、２回目のタップにより「浅い」〜「深い」という被写界深度設定及び「終了」と「被写体面形状」を表示しているグラフ表示部５２７ａで被写界深度に関わる入力を可能とすることもできる。こうすれば、１つのＵＩによって被写界深度設定、被写体面回転終了、被写体面形状表示を指示することができる。
【０２０６】
さらに、１回目のタップによる画面表示に「キャンセル」や「表示を消去」などのボタンも更に表示すれば、１つのＵＩで被写体面の操作を行うことができる。
【０２０７】
（第１０の実施の形態）
次に第１０の実施の形態について説明する。
尚、第１０の実施の形態に係る画像処理装置の構成は、第３の実施の形態（図１３，１４）と同様であるので、これらの図を適宜参照し、説明を進める。また、図１５，１６のフローチャートを参照する場合、同図のステップを引用しつつ特徴点を説明する。
【０２０８】
被写体面の回転中心などを指示するときには、ユーザによる指示以外で指定しても構わない。例えば「顔認識」などの検出系技術を用いて検出された特定点（特徴点）に基づいて、被写体面の中心や被写体面を回転する角度を決めることもできる。
【０２０９】
そこで、第１０の実施の形態に係る画像処理装置、画像処理方法では、ＣＰＵ６２ａが画像内の輝度やコントラストに基づいて特定点を抽出し、特定点の配置（位置関係）等をＲＡＭ６２ｂに記録されているパターンと照合することで被写体を認識する。
【０２１０】
図３１（ａ）は、両目／鼻／口の位置関係によって顔を認識し、その中心位置を被写体面中心として設定した例である。この画面５２８では、顔の認識領域は矩形枠５２８ａで示される。
【０２１１】
また、図３１（ｂ）に示されるように、画面５２９内の複数の被写体を認識することによって、検出された被写体の特定点（例えば、目／鼻／口）もしくは被写体範囲（例えば顔）を含むように被写体面および被写界深度を設定することも可能である。この画面５２９では、複数の顔の認識領域が矩形枠５２９ａ〜５２９ｄで示される。
【０２１２】
さらに、図３２（ａ）に示されるように、例えば、検出された被写体範囲（例えば顔）が２箇所であれば、ＣＰＵ６２ａは、表示画面５３０に立体解析幾何学における座標変換によって２点を結ぶ線上に被写体面の回転軸を配置して回転軸５３０ａを表示し、ユーザによる回転操作を可能にする。そして、被写体面の回転に合わせて、図３２（ｂ）に示されるようなボカシ処理を施した画像を表示画面５３１にて表示する。
【０２１３】
また、図３３（ａ）に示されるように、例えば、検出された被写体範囲（例えば顔）が３箇所であれば、ＣＰＵ６２ａは、表示画面５３２に複数の顔の認識領域を矩形枠５３２ａ〜５３２ｃで示すと共に、立体解析幾何学における座標変換によって３点で規定される面上に被写体面を配置する。
【０２１４】
このとき、ＣＰＵ６２ａは、被写体面の回転中心を、画面５３２内において被写体の占める割合の大きいものを主要な被写体であると判断し、主要被写体の検出範囲の中心を被写体面の回転中心としてもよい。ここから、ユーザによる被写体面操作並びに被写界深度設定を更にすることができる。また、検出された範囲が指定された場合、ＣＰＵ６２ａは該範囲に従って主要被写体（被写体の検出範囲の中心座標など）を選ぶこともできる。
【０２１５】
たとえば、図３３（ｂ）に示されるように、表示画面５３３において、被写体の占める割合の大きい被写体Ｏ１ではなく、ユーザ操作により奥に位置する被写体Ｏ２が指定された場合には、ＣＰＵ６２ａは、該被写体Ｏ２（被写体Ｏ２の検出範囲の中心座標など）を主要被写体として選択し、被写体面の回転中心に設定する。
【０２１６】
また、図３３（ｃ）に示されるように、例えば、表示画面５３４にて、検出された被写体範囲（例えば顔）が４箇所表示されているのであれば、ＣＰＵ６２ａは、立体解析幾何学における座標変換によって検出範囲の中心座標をすべて含むような被写体面／被写界深度を設定する。ＣＰＵ６２ａは、検出範囲の中心座標が、被写体面から等距離となるように被写体面を設定する（但し、検出範囲の中心座標が必ずしも被写体面上にはないことになる）。被写体面から各検出範囲の中心座標までの距離と等しくなるように、被写界深度を設定する。
【０２１７】
このとき、被写体面の回転中心（符号５３４ａ）は各検出範囲のいずれかの中心座標ではなく、図３３（ｃ）に示されるように設定された被写体面からの距離が最小となる位置に設定される。この場合であっても、検出された範囲の更なる指定に従って、ＣＰＵ６２ａが主要被写体を選び、被写体面の回転中心を再設定することもできる。
【０２１８】
さらに、図３４（ａ）に示されるように、表示画面５３５において、検出された被写体範囲（例えば顔）が矩形枠５３５ａ〜５３５ｄで示されている。この被写体範囲をふまえて、ユーザ操作による新たな被写体の選択や既に認識されている被写体の選択解除がなされた場合、ＣＰＵ６２ａが被写体面の設定に用いる被写体を再設定する。図３４（ｂ）の例では、表示画面５３６に表示されている被写体のうち、被写体Ｏ３，Ｏ４の検出範囲（矩形枠５３６ｃ，５３６ｄ）が選択解除された例を示している。
【０２１９】
そして、ＣＰＵ６２ａは、再設定された被写体の中から主要被写体（被写体の検出範囲の中心座標）を特定し、図３４（ｃ）に示されるようなボカシ処理を施した画像を表示画面５３７にて表示する。
【０２２０】
以上説明した第４乃至第１０の実施の形態の画像処理装置、画像処理方法は、任意の組み合わせによっても実施可能であることは勿論である。また、タッチパネル７６を使用することを前提として説明したが、操作入力を行うポインティングデバイスはこれに限定されることはなく、例えば十字キー７７によってカーソルを移動させて決定キー７４で指示を行ったとしても、同じような利便性をユーザに提供することができる。
【０２２１】
以上、本発明の第１乃至第１０の実施の形態について説明したが、これら実施の形態によれば以下のような効果が奏される。
【０２２２】
即ち、画像処理によって「アオリ（スイング、ティルト）」相当の画像を得ることができるようにしたことで、特殊な光学設計、鏡筒設計を行う必要がなくなる。
【０２２３】
複雑な機構（所謂シャインプルフの法則に沿ったメカ設計）を用意することが不要となるので、「アオリ（スイング、ティルト）」を意図した特別な光学設計を行う必要がなくなる。さらに、小型かつ安価な装置で撮像した画像を用いて、「アオリ（スイング、ティルト）」相当の画像を得ることができる画像処理装置を提供することができる。
【０２２４】
画像処理によって「アオリ（スイング、ティルト）」相当の画像を得ることができるようにしたことで、撮影前の煩雑な操作が必要なくなる。これによって、シャッタチャンスを逸してしまう可能性を減らすことができる。
【０２２５】
画像処理装置において、従来技術による特殊な光学設計、鏡筒設計を用いた「アオリ（スイング、ティルト）」操作に相当する被写体面の操作について、自在な操作が可能である方法を提供することができる。
【０２２６】
画像処理装置における被写体面の操作方法によれば、ユーザに直感的で容易な操作環境を提供することができる。たとえば、タッチパネルを用いる場合には、より直感的な操作が可能となる。
【０２２７】
ユーザが設定した仮想的な被写体面の回転中心を表示画面に表示することによって、ユーザによる被写体面の操作、状態把握をより簡単なものにすることができる。
【０２２８】
ユーザによる仮想的被写体面の操作状態を表示画面に表示することによって、ユーザによる被写体面の操作、状態把握をより簡単なものにすることができる。
【０２２９】
仮想的被写界深度を設定することを可能とすることによって、小さな撮像素子と短い焦点距離のレンズとを組み合わせた小型撮像装置によって撮影された被写界深度の深い画像であっても、仮想的に被写界深度を浅くする画像処理を行うことができる。
【０２３０】
仮想的な被写体面の形状を設定することを可能とすることによって、ユーザにより幅広い作画機能を提供することができる。
【０２３１】
なお、本発明は前述した第１乃至第１０の実施の形態に限定されるものではなく、その趣旨を逸脱しない範囲で種々の改良や変更が可能である。たとえば、前述した画像処理装置の処理に係るプログラム、該プログラムを記録した記録媒体、前述した画像処理方法を実現するプログラム、該プログラムを記録した記録媒体としての実施も可能である。
【図面の簡単な説明】
【０２３２】
【図１】本発明の第１の実施の形態に係る画像処理装置の基本原理の概念図。
【図２】（ａ）及び（ｂ）は被写体面の設定について説明する概念図。
【図３】本発明の第１の実施の形態に係る画像処理装置の構成図。
【図４】本発明の第１の実施の形態に係る画像処理装置によるアオリ効果と同等の補正を行う特徴的な処理について詳細に説明するフローチャート。
【図５】被写体面の仮設定について説明するフローチャート。
【図６】被写体面の調整について説明するフローチャート。
【図７】（ａ）は撮像画像の表示例を示す図、（ｂ）は距離情報であるデプス・マップの表示例を示す図、（ｃ）は被写体面からの距離情報としてデプス・マップを変換した例を示す図、（ｄ）はボカシ処理を施した画像の表示例を示す図。
【図８】被写体面の変更に伴う距離情報の変換を説明する概念図。
【図９】距離情報の取得の基本原理を説明するための概念図。
【図１０】（ａ）乃至（ｃ）は被写体面を任意の湾曲面とする例を説明する概念図。
【図１１】被写体面を表示するウィンドウを採用した表示例を示す図。
【図１２】本発明の第２の実施の形態に係る情報処理装置の構成図。
【図１３】本発明の第３の実施の形態に係る画像処理装置の構成図。
【図１４】（ａ）及び（ｂ）は第３の実施の形態に係る画像処理装置の斜視図。
【図１５】本発明の第３の実施の形態に係る画像処理装置による特徴的な処理手順を詳述するフローチャート。
【図１６】被写体面操作に関わる処理を詳細に示すフローチャート。
【図１７】（ａ）及び（ｂ）は被写体面操作を説明する表示例を示す図。
【図１８】画像処理に関わる処理を詳細に示すフローチャート。
【図１９】ボケ付加パラメータと距離情報の関係を示す図。
【図２０】（ａ）乃至（ｃ）は操作やり直しに関わる画面の表示例を示す図。
【図２１】（ａ）乃至（ｃ）は第４の実施の形態における被写界深度の設定に関わる画面の表示例を示す図。
【図２２】（ａ）乃至（ｄ）は第５の実施の形態における被写界深度の設定並びに設定終了に関わる画面の表示例を示す図。
【図２３】（ａ）及び（ｂ）は第５の実施の形態における被写体面の設定に関わる画面の表示例を示す図。
【図２４】第６の実施の形態における被写体面のティルト量の表示例を示す図。
【図２５】（ａ）乃至（ｃ）は第７の実施の形態における被写体面を定める水平、垂直ライン等の表示例を示す図。
【図２６】（ａ）乃至（ｈ）は第８の実施の形態における被写体面の表示例を示す図。
【図２７】（ａ）はメリディオナル像面を示す概念図、（ｂ）はサジタル像面を示す概念図。
【図２８】デプス・マップ同様に表現された被写体面形状を示す図。
【図２９】被写体面の形状を概念的に示す図。
【図３０】（ａ）及び（ｂ）は第９の実施の形態における被写体面形状の変更に関わる画面の表示例を示す図。
【図３１】（ａ）及び（ｂ）は第１０の実施の形態における被写体面の設定に関わる画面の表示例を示す図。
【図３２】（ａ）及び（ｂ）は第１０の実施の形態における被写体面の設定に関わる他の画面の表示例を示す図。
【図３３】（ａ）乃至（ｃ）は第１０の実施の形態における被写体面の設定に関わる更に他の画面の表示例を示す図。
【図３４】（ａ）及び（ｃ）は第１０の実施の形態における被写体面の設定解除に関わる画面の表示例を示す図。
【図３５】カメラムーブメントの類別を示す図。
【図３６】シャインプルフの法則について説明する概念図。
【符号の説明】
【０２３３】
１…撮像装置、２…内蔵メモリ、３…表示部、４…十字キー、５…タッチパネル、１１
…撮像光学系、１２…撮像素子、１３…映像出力部、１４…Ａ／Ｄコンバータ、１５…メ
モリ制御部、１６…表示メモリ、１７…表示処理部、１８…Ｄ／Ａコンバータ、１９…
ＬＣＤモニタ、２０…制御部、２１…ＣＰＵ、２２…ＲＯＭ、２３…ＲＡＭ、２４…画像
処理部、２５…フレームメモリ、２６…ＯＳＤ処理部、２７…撮像条件検出部、２８…カ
メラ駆動制御部、２９…測距部、３０…メモリＩ／Ｆ、３１…メモリカード、３２…入力Ｉ／Ｆ、３３…操作入力部、３４…タッチパネル、３５…制御バス
【特許請求の範囲】
【請求項１】
画像データに基づく表示画像のうちのユーザにより指定された点に対応する距離情報に基づいて、被写体面を設定する被写体面設定手段と、
前記被写体面に応じて前記画像データの距離情報を変換する距離情報変換手段と、
前記距離情報変換手段で変換された距離情報に基づいて前記画像データに対して画像処理を行う画像処理手段とを有する
画像処理装置。
【請求項２】
前記距離情報変換手段は、前記指定された点の座標に基づいて前記画像データの各点に係る距離情報を変換する
請求項１に記載の画像処理装置。
【請求項３】
ユーザ指定に従って、前記点を前記被写体面内に維持した状態で前記被写体面を変更する被写体面変更手段を更に備え、
前記距離情報変換手段は、前記被写体面変更手段で変更された被写体面に応じて前記距離情報を変換する
請求項１に記載の画像処理装置。
【請求項４】
前記被写体面変更手段は、前記被写体面を、前記指定された点を回転中心として回転させることで、前記被写体面を変更する
請求項３に記載の画像処理装置。
【請求項５】
前記被写体面変更手段により、前記被写体面が変更された場合には、前記距離情報変換手段は、前記指定された点の座標と、前記回転の角度及び方向に基づいて、前記画像データの各点に係る距離情報を変換する
請求項４に記載の画像処理装置。
【請求項６】
前記画像処理手段は、前記画像処理として、前記距離情報変換手段により変換された距離情報に応じたボケ量で前記画像データにボケを付加する
請求項１に記載の画像処理装置。
【請求項７】
前記画像処理手段は、前記被写体面からの距離が大きいほどボケ量が大きくなるように前記画像データにボケを付加する
請求項６に記載の画像処理装置。
【請求項８】
前記画像処理手段は、前記被写体面からの距離が所定範囲内である点については、同じボケ量となるように前記画像データにボケを付加する
請求項６に記載の画像処理装置。
【請求項９】
前記画像処理手段は、被写界深度を示す被写界深度情報に基づいて、前記ボケ量を調整する
請求項６に記載の画像処理装置。
【請求項１０】
前記被写体面の状態を表示部に表示させる表示制御手段をさらに有する
請求項１に記載の画像処理装置。
【請求項１１】
前記画像データと前記距離情報とを関連付けて記憶する記憶手段と、
前記点を指定する指定手段と、
前記点を含む被写体面のレンズ光軸に対する傾き角度と傾き方向を設定する設定手段とをさらに有する
請求項１に記載の画像処理装置。
【請求項１２】
前記指定手段により前記点が指定され、前記設定手段により前記被写体面の前記レンズ光軸に対する傾き方向と傾き角度が設定されると、前記被写体面設定手段は、該傾き方向と傾き角度に基づいて前記被写体面を設定する
請求項１１に記載の画像処理装置。
【請求項１３】
距離を測距する測距手段をさらに備え、該測距手段により得られた距離情報を画像データと関連付けて前記記憶手段に記憶する
請求項１１に記載の画像処理装置。
【請求項１４】
前記指定手段はタッチパネルであり、前記タッチパネルは、前記撮像画像内の点の指定がなされた場合には座標を検出することによって位置の指定として受け付ける
請求項１１に記載の画像処理装置。
【請求項１５】
前記指定手段による位置の指定では、前記タッチパネルを所定回数タッチすることで指定する
請求項１４に記載の画像処理装置。
【請求項１６】
前記指定手段により指定された位置を撮像画像と合わせて表示部に表示させる表示制御手段をさらに有し、前記指定手段は指定した点のドラッグに基づき該位置の変更を受け付ける
請求項１１に記載の画像処理装置。
【請求項１７】
前記指定手段及び設定手段はタッチパネルであり、前記撮像画像の内の少なくとも１点の指定、指定位置の変更、並びに指定された前記点を含む被写体面のレンズ光軸に対する傾き方向と傾き角度の設定は、該タッチパネルが所定回数タッチされることに応じて行なわれる
請求項１１に記載の画像処理装置。
【請求項１８】
前記距離情報変換手段は、前記被写体面に応じて、前記画像データのうちの複数の画素からなる所定単位の領域毎に、距離情報を変換する
請求項１に記載の画像処理装置。
【請求項１９】
画像データに基づく表示画像のうちのユーザにより指定された点に対応する距離情報に基づいて、被写体面を設定するステップと、
前記被写体面に応じて前記画像データの距離情報を変換するステップと、
変換された距離情報に基づいて前記画像データに対して画像処理を行うステップとを有する
画像処理方法。
【請求項２０】
画像データに基づく表示画像のうちのユーザにより指定された点に対応する距離情報に基づいて、被写体面を設定するステップと、
前記被写体面に応じて前記画像データの距離情報を変換するステップと、
変換された距離情報に基づいて前記画像データに対して画像処理を行うステップとからなる画像処理方法をコンピュータに実行させる
画像処理プログラム。
【請求項１】
画像データに基づく表示画像のうちのユーザにより指定された点に対応する距離情報に基づいて、被写体面を設定する被写体面設定手段と、
前記被写体面に応じて前記画像データの距離情報を変換する距離情報変換手段と、
前記距離情報変換手段で変換された距離情報に基づいて前記画像データに対して画像処理を行う画像処理手段とを有する
画像処理装置。
【請求項２】
前記距離情報変換手段は、前記指定された点の座標に基づいて前記画像データの各点に係る距離情報を変換する
請求項１に記載の画像処理装置。
【請求項３】
ユーザ指定に従って、前記点を前記被写体面内に維持した状態で前記被写体面を変更する被写体面変更手段を更に備え、
前記距離情報変換手段は、前記被写体面変更手段で変更された被写体面に応じて前記距離情報を変換する
請求項１に記載の画像処理装置。
【請求項４】
前記被写体面変更手段は、前記被写体面を、前記指定された点を回転中心として回転させることで、前記被写体面を変更する
請求項３に記載の画像処理装置。
【請求項５】
前記被写体面変更手段により、前記被写体面が変更された場合には、前記距離情報変換手段は、前記指定された点の座標と、前記回転の角度及び方向に基づいて、前記画像データの各点に係る距離情報を変換する
請求項４に記載の画像処理装置。
【請求項６】
前記画像処理手段は、前記画像処理として、前記距離情報変換手段により変換された距離情報に応じたボケ量で前記画像データにボケを付加する
請求項１に記載の画像処理装置。
【請求項７】
前記画像処理手段は、前記被写体面からの距離が大きいほどボケ量が大きくなるように前記画像データにボケを付加する
請求項６に記載の画像処理装置。
【請求項８】
前記画像処理手段は、前記被写体面からの距離が所定範囲内である点については、同じボケ量となるように前記画像データにボケを付加する
請求項６に記載の画像処理装置。
【請求項９】
前記画像処理手段は、被写界深度を示す被写界深度情報に基づいて、前記ボケ量を調整する
請求項６に記載の画像処理装置。
【請求項１０】
前記被写体面の状態を表示部に表示させる表示制御手段をさらに有する
請求項１に記載の画像処理装置。
【請求項１１】
前記画像データと前記距離情報とを関連付けて記憶する記憶手段と、
前記点を指定する指定手段と、
前記点を含む被写体面のレンズ光軸に対する傾き角度と傾き方向を設定する設定手段とをさらに有する
請求項１に記載の画像処理装置。
【請求項１２】
前記指定手段により前記点が指定され、前記設定手段により前記被写体面の前記レンズ光軸に対する傾き方向と傾き角度が設定されると、前記被写体面設定手段は、該傾き方向と傾き角度に基づいて前記被写体面を設定する
請求項１１に記載の画像処理装置。
【請求項１３】
距離を測距する測距手段をさらに備え、該測距手段により得られた距離情報を画像データと関連付けて前記記憶手段に記憶する
請求項１１に記載の画像処理装置。
【請求項１４】
前記指定手段はタッチパネルであり、前記タッチパネルは、前記撮像画像内の点の指定がなされた場合には座標を検出することによって位置の指定として受け付ける
請求項１１に記載の画像処理装置。
【請求項１５】
前記指定手段による位置の指定では、前記タッチパネルを所定回数タッチすることで指定する
請求項１４に記載の画像処理装置。
【請求項１６】
前記指定手段により指定された位置を撮像画像と合わせて表示部に表示させる表示制御手段をさらに有し、前記指定手段は指定した点のドラッグに基づき該位置の変更を受け付ける
請求項１１に記載の画像処理装置。
【請求項１７】
前記指定手段及び設定手段はタッチパネルであり、前記撮像画像の内の少なくとも１点の指定、指定位置の変更、並びに指定された前記点を含む被写体面のレンズ光軸に対する傾き方向と傾き角度の設定は、該タッチパネルが所定回数タッチされることに応じて行なわれる
請求項１１に記載の画像処理装置。
【請求項１８】
前記距離情報変換手段は、前記被写体面に応じて、前記画像データのうちの複数の画素からなる所定単位の領域毎に、距離情報を変換する
請求項１に記載の画像処理装置。
【請求項１９】
画像データに基づく表示画像のうちのユーザにより指定された点に対応する距離情報に基づいて、被写体面を設定するステップと、
前記被写体面に応じて前記画像データの距離情報を変換するステップと、
変換された距離情報に基づいて前記画像データに対して画像処理を行うステップとを有する
画像処理方法。
【請求項２０】
画像データに基づく表示画像のうちのユーザにより指定された点に対応する距離情報に基づいて、被写体面を設定するステップと、
前記被写体面に応じて前記画像データの距離情報を変換するステップと、
変換された距離情報に基づいて前記画像データに対して画像処理を行うステップとからなる画像処理方法をコンピュータに実行させる
画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【公開番号】特開２００９−１５８２８（Ｐ２００９−１５８２８Ａ）
【公開日】平成２１年１月２２日（２００９．１．２２）
【国際特許分類】
【出願番号】特願２００８−１３３４９８（Ｐ２００８−１３３４９８）
【出願日】平成２０年５月２１日（２００８．５．２１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２１年１月２２日（２００９．１．２２）
【国際特許分類】
【出願日】平成２０年５月２１日（２００８．５．２１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]