画像処理装置、画像処理方法及びプログラム
【課題】アオリ撮影のために光学系又は撮像手段を移動させるときに、被写体の近似平面と撮像手段の光軸との角度に応じた光学系又は撮像手段の移動量を求めることにある。
【解決手段】距離導出部２０１は、光学系を介して入射した被写体像を撮像する撮像手段から被写体までの距離を算出する。平面近似部２０２は、距離導出部２０１により算出された距離に基づいて、撮像手段により撮像された画像データ内の被写体領域について被写体を近似する平面を算出する。移動量導出部２０４は、平面近似部２０２により算出された平面と撮像手段の光軸との角度に基づいて、光学系又は撮像手段の移動量を算出する。
【解決手段】距離導出部２０１は、光学系を介して入射した被写体像を撮像する撮像手段から被写体までの距離を算出する。平面近似部２０２は、距離導出部２０１により算出された距離に基づいて、撮像手段により撮像された画像データ内の被写体領域について被写体を近似する平面を算出する。移動量導出部２０４は、平面近似部２０２により算出された平面と撮像手段の光軸との角度に基づいて、光学系又は撮像手段の移動量を算出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、アオリ撮影のために光学系又は撮像手段を移動させる技術に関するものである。
【背景技術】
【０００２】
アオリ撮影は、被写体を正面から撮影する事が出来ない場合に、不自然さを解消した撮影画像を取得する為に用いられる。アオリ撮影は一般に撮像面もしくは光学系のシフト及びチルトにより実現される。特許文献１に、被写界深度を疑似的に狭めボケを得る効果を目的として、撮像面のチルト量を求める手法が開示されている。具体的には、画像内の部分領域ごとに至近被写体が存在するか否かを求め、その存在の有無の分布の広がり方向及び広がり量に基づいてチルト量を求めている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２０５５６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
レンズシフト式・ＣＣＤシフト式によるアオリ撮影では、レンズやＣＣＤの適切なシフト量の設定が困難である。なお、特許文献１に開示される手法では、被写体を正面から撮影することを暗黙に前提としている為、被写体の法線と撮像面の光軸とが一致しない場合には被写体の存在の分布は正しく得られず、結果として撮影に適切な撮像面のチルト量は得られない。
【０００５】
そこで、本発明の目的は、アオリ撮影のために光学系又は撮像手段を移動させるときに、被写体の近似平面と撮像手段の光軸との角度に応じた光学系又は撮像手段の移動量を求めることにある。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、光学系を介して入射した被写体像を撮像する撮像手段と、前記撮像手段から被写体までの距離を算出する距離算出手段と、前記距離算出手段により算出された距離に基づいて、前記撮像手段により撮像された画像データ内の被写体領域について被写体を近似する平面を算出する近似平面算出手段と、前記近似平面算出手段により算出された平面と前記撮像手段の光軸との角度に基づいて、前記光学系又は前記撮像手段の移動量を算出する移動量算出手段とを有することを特徴とする。
【発明の効果】
【０００７】
本発明においては、アオリ撮影のために光学系又は撮像手段を移動させるときに、被写体の近似平面と撮像手段の光軸との角度に応じた光学系又は撮像手段の移動量を求めることができる。
【図面の簡単な説明】
【０００８】
【図１】実施形態に係る画像処理装置の構成を示す図である。
【図２】実施形態に係る画像処理装置の機能構成を示すとともに、当該画像処理装置による画像生成処理の流れを説明するための図である。
【図３】実施形態に係る画像処理装置の処理を示すフローチャートである。
【図４】実施形態において想定する入力画像の例を示す図である。
【図５】カメラの光軸とレンズの回転・シフト・チルト可能な方向と被写体近似平面の法線との関係を示す図である。
【図６】レンズの回転及びシフト・チルトによる効果を提示する例を示す図である。
【図７】実施形態に係る画像処理装置の処理によって得られる画像の例を示す図である。
【図８】図４に示す入力画像を線画で示す図である。
【図９】図７に示す画像を線画で示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
【００１０】
図１は、本実施形態に係る画像処理装置の構成を示す図である。図１において、１０１は、被写体像を被写体像撮像面上に結像（入射）させるための光学系である。１０２は、ＣＣＤ、ＭＯＳ等で構成され、光学系１０１によって得られた被写体像を光から電気信号に変換するための撮像素子（撮像手段）である。１０３は、撮像素子１０２から得られた被写体像に関する時系列信号を処理し、デジタル信号に変換する信号処理回路である。
【００１１】
１０４は、ＣＰＵであり、ＲＯＭ１０５に格納されている制御プログラムを実行することにより、本画像処理装置全体の制御を行う。１０５はＲＯＭであり、ＣＰＵ１０４が実行する制御プログラムや各種パラメータデータを格納する。制御プログラムは、ＣＰＵ１０４で実行されることにより、後述するフローチャートに示す各処理を実行するための各種手段として、当該画像処理装置を機能させる。なお、本実施形態では、後述するフローチャートの各ステップに対応する処理を、ＣＰＵ１０４を用いてソフトウェアで実現することとするが、その処理の一部又は全部を電子回路等のハードウェアで実現するようにしても構わない。また、本発明は、汎用パソコンを用いて実現してもよいし、画像処理専用装置として実現するようにしても構わない。１０６はＲＡＭであり、画像や各種情報を記憶する。また、ＲＡＭ１０６は、ＣＰＵ１０４のワークエリアやデータの一時待避領域として機能する。１０７はディスプレイであり、例えばＬＣＤやＣＲＴで構成される。１０８は光学系もしくは撮像素子を駆動する装置である。
【００１２】
図２は、本実施形態に係る画像処理装置の機能構成を示すとともに、当該画像処理装置による画像生成処理の流れを説明するための図である。
【００１３】
ブロック２０１は、入力画像上の複数個所において撮像面から被写体までの距離を求める距離導出部である。ブロック２０２は、距離導出部２０１で求めた距離群から平面を近似する平面近似部である。ブロック２０３は、平面近似部２０２で求めた近似平面と撮像面光軸の関係をユーザに提示するユーザ提示部である。ブロック２０４は、平面近似部２０２で求めた近似平面と撮像面光軸のなす角度から撮像手段又は光学系の移動量を求める移動量導出部である。ブロック２０５は、移動量導出部２０４で求めた撮像手段又は光学系の移動量に基づき実際に撮像手段又は光学系を移動させる駆動部である。なお、距離導出部２０１は、距離算出手段の適用例となる構成であり、平面近似部２０２は、近似平面算出手段の適用例となる構成である。また、ユーザ提示部２０３は、提示手段の適用例となる構成であり、移動量導出部２０４は、移動量算出手段の適用例となる構成であり、駆動部２０５は、移動手段の適用例となる構成である。
【００１４】
図３は、本実施形態に係る画像処理装置の処理を示すフローチャートである。以下、図３を参照しながら画像処理装置の処理について説明する。本実施形態では、レンズが回転・シフト・チルト可能だとして記載するが、ＣＭＯＳやＣＣＤに代表される撮像装置が回転・シフト、チルト可能であった場合には、レンズを撮像装置として読みかえても構わない。
【００１５】
まず、ステップ３０１において、距離導出部２０１は、レンズの回転・シフト・チルトのない状態で入力画像を得る。このとき、ユーザーは事前に撮像したい被写体をレンズのシフト・チルトのない状態で入力画像内に捉えているものとする。さらにユーザーによるシャッターボタンの半押し等、入力画像内に被写体が含まれている事を明示的に示す手段を設けることで、この入力画像をより適切に取得する事ができる。本実施形態において想定する入力画像の例を図４、その線画を図８に示す。図４において、地表から高い建物を撮影しているため、被写体を正面から撮影する事が出来ず、建物上部の幅が下部よりも狭くなるアオリ歪みが発生している。
【００１６】
ステップ３０２において、距離導出部２０１は、画像中のピクセルについて撮像面（撮像素子）から被写体までの距離を求める。撮像面から被写体までの距離の求め方としては、例えば特開２００８−１９１６６１号公報に開示されている方法を用いることができる。
【００１７】
ステップ３０３において、平面近似部２０２は、光軸の方向、及び画像中の被写体領域について被写体を近似する平面を求める。光軸の方向として、加速度センサを用いて重力方向に対する光軸の仰角および電子コンパスを用いて地球の地軸に対する回転角度を取得する。画像中の被写体領域は、ステップ３０２で測定した被写体までの距離についてヒストグラムを取得し、ヒストグラムを閾値で前景・被写体・背景に分割し、ヒストグラム上で被写体に分類されるピクセルの集合を被写体領域とする。ヒストグラム上の閾値は、前景・被写体領域・背景のそれぞれのクラス間分散が最大となるように求められる。被写体を近似する平面は、次のように求める。まず、入力画像上の被写体領域中の全てのピクセルについて、ステップ３０２で測定した被写体までの距離の点から被写体近似平面への垂線を求める。そして、その垂線の長さの総和が最小になるように平面を設定する。これらの被写体近似平面及びその法線は、取得した光軸方向により、重力方向及び地軸に対する回転角度を基準とする世界座標に変換しておき、以後の演算は全てこの世界座標上でなされるものとする。
【００１８】
カメラの光軸と被写体近似平面及びその法線との世界座標における関係を図５に示す。図５において、ステップ３０３で得たカメラの光軸を５０１であるとする。被写体を５０２とすると、ステップ３０３で求めた被写体近似平面は５０３、被写体近似平面の法線は５０４である。
【００１９】
ステップ３０４において、移動量導出部２０４は、撮影時光軸の方向を求める。ステップ３０３と同様の方法を用いる。
【００２０】
図５において、ステップ３０４で取得した光軸を５０５とする。レンズは光軸に対し５０６の方向に回転する。レンズのシフト・チルト可能な方向はそれぞれ５０７及び５０８であり、レンズの回転５０６に伴い、レンズのシフト方向５０７及びチルト方向５０８も５０６と同様に回転する。光軸における被写体近似平面までの距離を５０９とする。
【００２１】
ステップ３０５において、移動量導出部２０４は、被写体近似平面５０３の法線５０４から、レンズの回転量５０６を求める。具体的には、カメラの光軸５０５はカメラの撮像面と垂直であるから、被写体近似平面５０３の法線５０４をカメラの撮像面へ投射した線の傾きと、レンズの回転角度５０６とを等しくする。
【００２２】
ステップ３０６において、移動量導出部２０４は、レンズシフト量５０７及びレンズチルト量５０８を導出する。一般には、レンズのシフト量は、被写体近似平面の法線５０４と撮影時光軸５０５とのなす角のタンジェントと被写体までの距離５０９の積、即ち距離５１０を求め、被写体までの距離５０９とレンズの焦点距離との比を求め、上記距離５１０と上記比の積で求められる。またレンズのチルト量は、撮像面と被写体近似平面５０３との交線を求め、レンズ面を含む平面がその交線を含む様にレンズ面をチルトさせる量となる。但し、レンズのシフト量・チルト量はレンズの光学的特性に強く依存する為、実測に基づくルックアップテーブルを保持する、あるいは上記ルックアップテーブルにおけるキーと値の関係を近似した関数を事前に求めておき、その関数にカメラの光軸と被写体近似平面の法線とがなす角度と被写体までの距離とを代入する、とする。
【００２３】
ステップ３０７において、移動量導出部２０４は、撮影可能か否かを判断する。撮影可能と判断しうる場合、ステップ３０９に進む。そうでなければステップ３０８に進む。ここで、撮影可能と判断しうる条件は、例えば、ステップ３０５及びステップ３０６で求めたレンズの回転量５０６、レンズシフト量５０７、レンズチルト量５０８について、駆動部２０５が受け入れ可能な範囲であること、とする。あるいは、ユーザによるシャッターボタンの全押下や、シャッターボタン全押下後指定時間の経過などが挙げられる。
【００２４】
ステップ３０７において撮影がなされなかった場合、ユーザ提示部２０３は、ステップ３０８においてレンズの回転及びシフト・チルトによる効果を提示する。これにより、ユーザに光軸の傾斜および回転を促す。この例を図６に示す。図６において、図形６０１が被写体とする。線分６０２は撮像面における被写体近似平面５０３の法線５０４の傾きの撮像面への投射を示し、すなわちその方向はレンズの回転量５０６を示す。ヒストグラム６０３はステップ３０３で得られた画面上の各ピクセルにおける被写体までの距離の分布を示し、ヒストグラム上の線分６０４は被写体までの距離５０９、すなわちステップ３０６においてレンズのシフト量５０７・チルト量５０８の算出に用いられた距離を示す。ヒストグラム上の範囲６０５はステップ３０３において被写体領域と判断された距離の範囲、領域６０６はステップ３０３において被写体領域と判断されたピクセル領域を示す。６０７はレンズシフト量５０２により撮像範囲が変化した後の撮影領域を示す。これらの情報をユーザに提示したのち、ステップ３０４に戻る。
【００２５】
ステップ３０９では、移動量導出部２０４は、撮影状況に基づき絞り量とシャッタ速度とを得る。ここで、絞り量・シャッタ速度の取得方法はユーザによる手設定でもよいし、レンズの焦点距離や被写体近似平面の近似誤差の分散に基づく自動設定でもよい。
【００２６】
ステップ３１０では、移動量導出部２０４は、ステップ３０５及びステップ３０６で得られたレンズの回転量５０６、レンズシフト量５０７、レンズチルト量５０８に基づき駆動部２０５にレンズの移動を設定する。また、ステップ３０９で得られた絞り量に基づき駆動部２０５に絞り量を設定する。
【００２７】
ステップ３１１では、駆動部２０５は、ステップ３１０により設定されたパラメータに基づきレンズを駆動し、本画像処理装置は撮影を行う。
【００２８】
以上の処理により取得される画像の例を図７に、その線画を図９に示す。図７において、レンズシフトにより建物のアオリ歪みが補正されている。本実施形態では建築物の撮影においてレンズシフト・チルト量を求めたが、本発明はアオリ歪み撮影が使用されるその他の環境、例えば人物の全身像や皿上の料理等の静物の撮影においても適用可能である。
【００２９】
以上のように本実施形態においては、アオリ撮影のために光学系１０１又は撮像素子１０２を移動させるときに、被写体の近似平面と撮像素子１０２の光軸との角度に応じた光学系１０１又は撮像素子１０２の移動量を求めることができる。
【００３０】
本発明の各工程は、ネットワーク又は各種記憶媒体を介して取得したソフトウエア（プログラム）をパーソナルコンピュータ等の処理装置（ＣＰＵ、プロセッサ）にて実行することでも実現できる。
【技術分野】
【０００１】
本発明は、アオリ撮影のために光学系又は撮像手段を移動させる技術に関するものである。
【背景技術】
【０００２】
アオリ撮影は、被写体を正面から撮影する事が出来ない場合に、不自然さを解消した撮影画像を取得する為に用いられる。アオリ撮影は一般に撮像面もしくは光学系のシフト及びチルトにより実現される。特許文献１に、被写界深度を疑似的に狭めボケを得る効果を目的として、撮像面のチルト量を求める手法が開示されている。具体的には、画像内の部分領域ごとに至近被写体が存在するか否かを求め、その存在の有無の分布の広がり方向及び広がり量に基づいてチルト量を求めている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２０５５６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
レンズシフト式・ＣＣＤシフト式によるアオリ撮影では、レンズやＣＣＤの適切なシフト量の設定が困難である。なお、特許文献１に開示される手法では、被写体を正面から撮影することを暗黙に前提としている為、被写体の法線と撮像面の光軸とが一致しない場合には被写体の存在の分布は正しく得られず、結果として撮影に適切な撮像面のチルト量は得られない。
【０００５】
そこで、本発明の目的は、アオリ撮影のために光学系又は撮像手段を移動させるときに、被写体の近似平面と撮像手段の光軸との角度に応じた光学系又は撮像手段の移動量を求めることにある。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、光学系を介して入射した被写体像を撮像する撮像手段と、前記撮像手段から被写体までの距離を算出する距離算出手段と、前記距離算出手段により算出された距離に基づいて、前記撮像手段により撮像された画像データ内の被写体領域について被写体を近似する平面を算出する近似平面算出手段と、前記近似平面算出手段により算出された平面と前記撮像手段の光軸との角度に基づいて、前記光学系又は前記撮像手段の移動量を算出する移動量算出手段とを有することを特徴とする。
【発明の効果】
【０００７】
本発明においては、アオリ撮影のために光学系又は撮像手段を移動させるときに、被写体の近似平面と撮像手段の光軸との角度に応じた光学系又は撮像手段の移動量を求めることができる。
【図面の簡単な説明】
【０００８】
【図１】実施形態に係る画像処理装置の構成を示す図である。
【図２】実施形態に係る画像処理装置の機能構成を示すとともに、当該画像処理装置による画像生成処理の流れを説明するための図である。
【図３】実施形態に係る画像処理装置の処理を示すフローチャートである。
【図４】実施形態において想定する入力画像の例を示す図である。
【図５】カメラの光軸とレンズの回転・シフト・チルト可能な方向と被写体近似平面の法線との関係を示す図である。
【図６】レンズの回転及びシフト・チルトによる効果を提示する例を示す図である。
【図７】実施形態に係る画像処理装置の処理によって得られる画像の例を示す図である。
【図８】図４に示す入力画像を線画で示す図である。
【図９】図７に示す画像を線画で示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
【００１０】
図１は、本実施形態に係る画像処理装置の構成を示す図である。図１において、１０１は、被写体像を被写体像撮像面上に結像（入射）させるための光学系である。１０２は、ＣＣＤ、ＭＯＳ等で構成され、光学系１０１によって得られた被写体像を光から電気信号に変換するための撮像素子（撮像手段）である。１０３は、撮像素子１０２から得られた被写体像に関する時系列信号を処理し、デジタル信号に変換する信号処理回路である。
【００１１】
１０４は、ＣＰＵであり、ＲＯＭ１０５に格納されている制御プログラムを実行することにより、本画像処理装置全体の制御を行う。１０５はＲＯＭであり、ＣＰＵ１０４が実行する制御プログラムや各種パラメータデータを格納する。制御プログラムは、ＣＰＵ１０４で実行されることにより、後述するフローチャートに示す各処理を実行するための各種手段として、当該画像処理装置を機能させる。なお、本実施形態では、後述するフローチャートの各ステップに対応する処理を、ＣＰＵ１０４を用いてソフトウェアで実現することとするが、その処理の一部又は全部を電子回路等のハードウェアで実現するようにしても構わない。また、本発明は、汎用パソコンを用いて実現してもよいし、画像処理専用装置として実現するようにしても構わない。１０６はＲＡＭであり、画像や各種情報を記憶する。また、ＲＡＭ１０６は、ＣＰＵ１０４のワークエリアやデータの一時待避領域として機能する。１０７はディスプレイであり、例えばＬＣＤやＣＲＴで構成される。１０８は光学系もしくは撮像素子を駆動する装置である。
【００１２】
図２は、本実施形態に係る画像処理装置の機能構成を示すとともに、当該画像処理装置による画像生成処理の流れを説明するための図である。
【００１３】
ブロック２０１は、入力画像上の複数個所において撮像面から被写体までの距離を求める距離導出部である。ブロック２０２は、距離導出部２０１で求めた距離群から平面を近似する平面近似部である。ブロック２０３は、平面近似部２０２で求めた近似平面と撮像面光軸の関係をユーザに提示するユーザ提示部である。ブロック２０４は、平面近似部２０２で求めた近似平面と撮像面光軸のなす角度から撮像手段又は光学系の移動量を求める移動量導出部である。ブロック２０５は、移動量導出部２０４で求めた撮像手段又は光学系の移動量に基づき実際に撮像手段又は光学系を移動させる駆動部である。なお、距離導出部２０１は、距離算出手段の適用例となる構成であり、平面近似部２０２は、近似平面算出手段の適用例となる構成である。また、ユーザ提示部２０３は、提示手段の適用例となる構成であり、移動量導出部２０４は、移動量算出手段の適用例となる構成であり、駆動部２０５は、移動手段の適用例となる構成である。
【００１４】
図３は、本実施形態に係る画像処理装置の処理を示すフローチャートである。以下、図３を参照しながら画像処理装置の処理について説明する。本実施形態では、レンズが回転・シフト・チルト可能だとして記載するが、ＣＭＯＳやＣＣＤに代表される撮像装置が回転・シフト、チルト可能であった場合には、レンズを撮像装置として読みかえても構わない。
【００１５】
まず、ステップ３０１において、距離導出部２０１は、レンズの回転・シフト・チルトのない状態で入力画像を得る。このとき、ユーザーは事前に撮像したい被写体をレンズのシフト・チルトのない状態で入力画像内に捉えているものとする。さらにユーザーによるシャッターボタンの半押し等、入力画像内に被写体が含まれている事を明示的に示す手段を設けることで、この入力画像をより適切に取得する事ができる。本実施形態において想定する入力画像の例を図４、その線画を図８に示す。図４において、地表から高い建物を撮影しているため、被写体を正面から撮影する事が出来ず、建物上部の幅が下部よりも狭くなるアオリ歪みが発生している。
【００１６】
ステップ３０２において、距離導出部２０１は、画像中のピクセルについて撮像面（撮像素子）から被写体までの距離を求める。撮像面から被写体までの距離の求め方としては、例えば特開２００８−１９１６６１号公報に開示されている方法を用いることができる。
【００１７】
ステップ３０３において、平面近似部２０２は、光軸の方向、及び画像中の被写体領域について被写体を近似する平面を求める。光軸の方向として、加速度センサを用いて重力方向に対する光軸の仰角および電子コンパスを用いて地球の地軸に対する回転角度を取得する。画像中の被写体領域は、ステップ３０２で測定した被写体までの距離についてヒストグラムを取得し、ヒストグラムを閾値で前景・被写体・背景に分割し、ヒストグラム上で被写体に分類されるピクセルの集合を被写体領域とする。ヒストグラム上の閾値は、前景・被写体領域・背景のそれぞれのクラス間分散が最大となるように求められる。被写体を近似する平面は、次のように求める。まず、入力画像上の被写体領域中の全てのピクセルについて、ステップ３０２で測定した被写体までの距離の点から被写体近似平面への垂線を求める。そして、その垂線の長さの総和が最小になるように平面を設定する。これらの被写体近似平面及びその法線は、取得した光軸方向により、重力方向及び地軸に対する回転角度を基準とする世界座標に変換しておき、以後の演算は全てこの世界座標上でなされるものとする。
【００１８】
カメラの光軸と被写体近似平面及びその法線との世界座標における関係を図５に示す。図５において、ステップ３０３で得たカメラの光軸を５０１であるとする。被写体を５０２とすると、ステップ３０３で求めた被写体近似平面は５０３、被写体近似平面の法線は５０４である。
【００１９】
ステップ３０４において、移動量導出部２０４は、撮影時光軸の方向を求める。ステップ３０３と同様の方法を用いる。
【００２０】
図５において、ステップ３０４で取得した光軸を５０５とする。レンズは光軸に対し５０６の方向に回転する。レンズのシフト・チルト可能な方向はそれぞれ５０７及び５０８であり、レンズの回転５０６に伴い、レンズのシフト方向５０７及びチルト方向５０８も５０６と同様に回転する。光軸における被写体近似平面までの距離を５０９とする。
【００２１】
ステップ３０５において、移動量導出部２０４は、被写体近似平面５０３の法線５０４から、レンズの回転量５０６を求める。具体的には、カメラの光軸５０５はカメラの撮像面と垂直であるから、被写体近似平面５０３の法線５０４をカメラの撮像面へ投射した線の傾きと、レンズの回転角度５０６とを等しくする。
【００２２】
ステップ３０６において、移動量導出部２０４は、レンズシフト量５０７及びレンズチルト量５０８を導出する。一般には、レンズのシフト量は、被写体近似平面の法線５０４と撮影時光軸５０５とのなす角のタンジェントと被写体までの距離５０９の積、即ち距離５１０を求め、被写体までの距離５０９とレンズの焦点距離との比を求め、上記距離５１０と上記比の積で求められる。またレンズのチルト量は、撮像面と被写体近似平面５０３との交線を求め、レンズ面を含む平面がその交線を含む様にレンズ面をチルトさせる量となる。但し、レンズのシフト量・チルト量はレンズの光学的特性に強く依存する為、実測に基づくルックアップテーブルを保持する、あるいは上記ルックアップテーブルにおけるキーと値の関係を近似した関数を事前に求めておき、その関数にカメラの光軸と被写体近似平面の法線とがなす角度と被写体までの距離とを代入する、とする。
【００２３】
ステップ３０７において、移動量導出部２０４は、撮影可能か否かを判断する。撮影可能と判断しうる場合、ステップ３０９に進む。そうでなければステップ３０８に進む。ここで、撮影可能と判断しうる条件は、例えば、ステップ３０５及びステップ３０６で求めたレンズの回転量５０６、レンズシフト量５０７、レンズチルト量５０８について、駆動部２０５が受け入れ可能な範囲であること、とする。あるいは、ユーザによるシャッターボタンの全押下や、シャッターボタン全押下後指定時間の経過などが挙げられる。
【００２４】
ステップ３０７において撮影がなされなかった場合、ユーザ提示部２０３は、ステップ３０８においてレンズの回転及びシフト・チルトによる効果を提示する。これにより、ユーザに光軸の傾斜および回転を促す。この例を図６に示す。図６において、図形６０１が被写体とする。線分６０２は撮像面における被写体近似平面５０３の法線５０４の傾きの撮像面への投射を示し、すなわちその方向はレンズの回転量５０６を示す。ヒストグラム６０３はステップ３０３で得られた画面上の各ピクセルにおける被写体までの距離の分布を示し、ヒストグラム上の線分６０４は被写体までの距離５０９、すなわちステップ３０６においてレンズのシフト量５０７・チルト量５０８の算出に用いられた距離を示す。ヒストグラム上の範囲６０５はステップ３０３において被写体領域と判断された距離の範囲、領域６０６はステップ３０３において被写体領域と判断されたピクセル領域を示す。６０７はレンズシフト量５０２により撮像範囲が変化した後の撮影領域を示す。これらの情報をユーザに提示したのち、ステップ３０４に戻る。
【００２５】
ステップ３０９では、移動量導出部２０４は、撮影状況に基づき絞り量とシャッタ速度とを得る。ここで、絞り量・シャッタ速度の取得方法はユーザによる手設定でもよいし、レンズの焦点距離や被写体近似平面の近似誤差の分散に基づく自動設定でもよい。
【００２６】
ステップ３１０では、移動量導出部２０４は、ステップ３０５及びステップ３０６で得られたレンズの回転量５０６、レンズシフト量５０７、レンズチルト量５０８に基づき駆動部２０５にレンズの移動を設定する。また、ステップ３０９で得られた絞り量に基づき駆動部２０５に絞り量を設定する。
【００２７】
ステップ３１１では、駆動部２０５は、ステップ３１０により設定されたパラメータに基づきレンズを駆動し、本画像処理装置は撮影を行う。
【００２８】
以上の処理により取得される画像の例を図７に、その線画を図９に示す。図７において、レンズシフトにより建物のアオリ歪みが補正されている。本実施形態では建築物の撮影においてレンズシフト・チルト量を求めたが、本発明はアオリ歪み撮影が使用されるその他の環境、例えば人物の全身像や皿上の料理等の静物の撮影においても適用可能である。
【００２９】
以上のように本実施形態においては、アオリ撮影のために光学系１０１又は撮像素子１０２を移動させるときに、被写体の近似平面と撮像素子１０２の光軸との角度に応じた光学系１０１又は撮像素子１０２の移動量を求めることができる。
【００３０】
本発明の各工程は、ネットワーク又は各種記憶媒体を介して取得したソフトウエア（プログラム）をパーソナルコンピュータ等の処理装置（ＣＰＵ、プロセッサ）にて実行することでも実現できる。
【特許請求の範囲】
【請求項１】
光学系を介して入射した被写体像を撮像する撮像手段と、
前記撮像手段から被写体までの距離を算出する距離算出手段と、
前記距離算出手段により算出された距離に基づいて、前記撮像手段により撮像された画像データ内の被写体領域について被写体を近似する平面を算出する近似平面算出手段と、
前記近似平面算出手段により算出された平面と前記撮像手段の光軸との角度に基づいて、前記光学系又は前記撮像手段の移動量を算出する移動量算出手段とを有することを特徴とする画像処理装置。
【請求項２】
前記移動量算出手段により算出された移動量に従って、前記光学系又は前記撮像手段を移動させる移動手段を更に有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記近似平面算出手段により算出された平面とともに、前記光学系又は前記撮像手段の移動量もしくは移動による効果を提示する提示手段を更に有することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
光学系を介して入射した被写体像を撮像する撮像手段から被写体までの距離を算出する距離算出ステップと、
前記距離算出ステップにより算出された距離に基づいて、前記撮像手段により撮像された画像データ内の被写体領域について被写体を近似する平面を算出する近似平面算出ステップと、
前記近似平面算出ステップにより算出された平面と前記撮像手段の光軸との角度に基づいて、前記光学系又は前記撮像手段の移動量を算出する移動量算出ステップとを含むことを特徴とする画像処理方法。
【請求項５】
光学系を介して入射した被写体像を撮像する撮像手段から被写体までの距離を算出する距離算出ステップと、
前記距離算出ステップにより算出された距離に基づいて、前記撮像手段により撮像された画像データ内の被写体領域について被写体を近似する平面を算出する近似平面算出ステップと、
前記近似平面算出ステップにより算出された平面と前記撮像手段の光軸との角度に基づいて、前記光学系又は前記撮像手段の移動量を算出する移動量算出ステップとをコンピュータに実行させるためのプログラム。
【請求項１】
光学系を介して入射した被写体像を撮像する撮像手段と、
前記撮像手段から被写体までの距離を算出する距離算出手段と、
前記距離算出手段により算出された距離に基づいて、前記撮像手段により撮像された画像データ内の被写体領域について被写体を近似する平面を算出する近似平面算出手段と、
前記近似平面算出手段により算出された平面と前記撮像手段の光軸との角度に基づいて、前記光学系又は前記撮像手段の移動量を算出する移動量算出手段とを有することを特徴とする画像処理装置。
【請求項２】
前記移動量算出手段により算出された移動量に従って、前記光学系又は前記撮像手段を移動させる移動手段を更に有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記近似平面算出手段により算出された平面とともに、前記光学系又は前記撮像手段の移動量もしくは移動による効果を提示する提示手段を更に有することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
光学系を介して入射した被写体像を撮像する撮像手段から被写体までの距離を算出する距離算出ステップと、
前記距離算出ステップにより算出された距離に基づいて、前記撮像手段により撮像された画像データ内の被写体領域について被写体を近似する平面を算出する近似平面算出ステップと、
前記近似平面算出ステップにより算出された平面と前記撮像手段の光軸との角度に基づいて、前記光学系又は前記撮像手段の移動量を算出する移動量算出ステップとを含むことを特徴とする画像処理方法。
【請求項５】
光学系を介して入射した被写体像を撮像する撮像手段から被写体までの距離を算出する距離算出ステップと、
前記距離算出ステップにより算出された距離に基づいて、前記撮像手段により撮像された画像データ内の被写体領域について被写体を近似する平面を算出する近似平面算出ステップと、
前記近似平面算出ステップにより算出された平面と前記撮像手段の光軸との角度に基づいて、前記光学系又は前記撮像手段の移動量を算出する移動量算出ステップとをコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１１−１３９３７９（Ｐ２０１１−１３９３７９Ａ）
【公開日】平成２３年７月１４日（２０１１．７．１４）
【国際特許分類】
【出願番号】特願２００９−２９８９７０（Ｐ２００９−２９８９７０）
【出願日】平成２１年１２月２８日（２００９．１２．２８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年７月１４日（２０１１．７．１４）
【国際特許分類】
【出願日】平成２１年１２月２８日（２００９．１２．２８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]