光学素子を用いた異焦点画像の撮影方法、及びその装置
【課題】本発明の課題は、従来のレンズ・カメラをそのまま用いて、非常に簡単な方法で、１つの画像の中に、フォーカスの異なる部分を作り出す技術を提示し、そのような装置を提供することにある。
【解決手段】本発明のフォーカスが異なる画像の撮影方法は、フォーカスを変化させるように透明な光学素子をカメラの光学系と撮像面の間に配置するようにした。そして、本発明のフォーカスが異なる画像の撮影方法の第１の形態はその透明な光学素子として透明な平行平板を採用し、該平行平板を撮像面の前方位置に部分的に配置し、当該部分のフォーカスをシフトさせるようにした。
【解決手段】本発明のフォーカスが異なる画像の撮影方法は、フォーカスを変化させるように透明な光学素子をカメラの光学系と撮像面の間に配置するようにした。そして、本発明のフォーカスが異なる画像の撮影方法の第１の形態はその透明な光学素子として透明な平行平板を採用し、該平行平板を撮像面の前方位置に部分的に配置し、当該部分のフォーカスをシフトさせるようにした。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光学系に工夫を加えた画像の特殊撮影方法、及びその装置に関する。
【背景技術】
【０００２】
いうまでもなく画像の撮影技術は画像を記録として残すことに限られず、広く自動制御機器等のセンサやモニターとしても用いられ重要な技術となっている。撮像面(フィルム、ＣＣＤ表面など)に、レンズにより集光された光が投影され画像は撮影できる。レンズには、光の屈折を利用して、レンズの外側の光を、レンズの内側の一点(焦点)に集約する機能がある。焦点位置では、多くの光が集光され、より強い光を撮像面に投影できる効果がある。焦点距離位置は、レンズ外側の被写体からの光が平行光となる場合であり、被写体が、無限遠方に位置する場合である。被写体が近い場合には、被写体からの光が平行でなくなり、焦点の位置が後方にずれることになる。この場合、撮像面の位置が焦点位置のままだと、被写体からの光が一点に集光せず、ある大きさになる。この大きさを錯乱円という。錯乱円が、撮像素子(例えば、ＣＣＤのセル単位)より大きいと像がぼけることとなる。これをフォーカスぼけ(ピンぼけ)という。なお、錯乱円が撮像素子より小さい場合は、画像ではフォーカスぼけの影響を確認できない。フォーカスぼけの影響がでない錯乱円を許容錯乱円とよぶ。被写体の位置によっては、フォーカスぼけが確認できない。フォーカスぼけの起こらない範囲を被写界深度という。また同様にして、フォーカスぼけの起こらない撮像面の位置の範囲を焦点深度という。
被写体が遠い場合は被写界深度は深く、近い場合は浅い。つまり、遠くにある位置の異なる複数の被写体全てにはフォーカスを合わせやすいが、近くにある位置の異なる複数の被写体全てに、フォーカスを合わせることが難しい。また、近くから遠くまで、フォーカスの合った画像を撮影することも難しい。
【０００３】
通常、風景などのシーンを撮影した場合、遠くから近くまでの全ての物体にフォーカスを合わせることは出来ないので、物体の奥行きにより、フォーカスぼけが生じることになる。フォーカスぼけのない画像は、鮮明で被写体の詳細が区別しやすく産業的な利用価値が高い。しかし、近くから遠くまで焦点のあう被写界深度の極端に広いレンズの実現は難しく、また、画像中異なる位置の被写体全てにフォーカスがあった画像(全合焦画像)を撮影するのは難しい。物体の位置が異なることで、全ての物体にフォーカス（ピント）が合わない問題は、画像撮影の本質的な課題であり、その対策は考えられてきた。従来法としては、各物体にフォーカス（ピント）を合わせて撮影した画像を複数枚撮影する方法「多重フォーカス画像」などがある。特許文献１の「複数画像同時撮像型カメラ装置」は、異なる焦点合わせの複数画像を同時撮像し得るカメラ装置と、異なる焦点合わせの複数画像から所望の画像を生成する画像処理方法とを提供することを目的としたもので、撮像用レンズ機構から出射した光を入射される１つの入射面と、入射された光を複数ｎ（ｎ＝２，３，‥‥）等分した分配光をそれぞれ出射するｎ個の出射面とを有するプリズム手段と、プリズム手段のｎ個の出射面から出射した分配光をそれぞれ撮像するｎ個の撮像部と、ｎ個の出射面および対応する撮像部間の位置関係をそれぞれ調整する焦点合わせ調整機構と、ｎ個の撮像部による撮像のタイミングを同期させる同期手段とを具え、異なる焦点合わせの複数画像を同時に撮像し得るように構成されており、この異なる焦点合わせの複数画像を重ね合わせモデルに基づく恒等式に代入すると所望の画像が生成されるというものである。
しかし、この発明で得ることのできる多重フォーカス画像から画像解析技術により生成できる「全合焦画像」は、ソフトウェアによる実現は考えられるものの、複雑な光学系とｎ個の撮像部による撮像のタイミングを同期させる同期手段更にソフトウェアに基づく演算処理手段とを必要とし、単純な機構で得られる画像ではない。また、プリズム分光により光量が減衰するという問題もある。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
フォーカスは、物体の位置に依存する。写したい対象が同じ位置にある場合には問題にならないが、写したい物体が、手前から奥まで広く分布している場合には、１つのレンズ系で全ての物体に同時にフォーカスを合わせることが出来ない。画像全域でフォーカスぼけのない画像を撮影するためには、先に示した多重フォーカス撮影などの技術が必要となる。多重フォーカス撮影には、特殊なレンズ・カメラや特殊な処理を用いる必要や、一瞬の撮影が難しいということが問題になる。画像のフォーカスを変えるためには、フォーカスの調整や、撮像面の移動などによるフォーカスの調整を行なえばよいのであるが、この手法では全てのフォーカスが変化してしまうこととなる。
本発明の課題は、従来のレンズ・カメラをそのまま用いて、非常に簡単な方法で、１つの画像の中に、フォーカスの異なる部分を作り出す技術を提示し、そのような装置を提供することにある。
【課題を解決するための手段】
【０００５】
本発明のフォーカスが異なる画像の撮影方法は、フォーカスを変化させるように透明な光学素子をカメラの光学系と撮像面の間に配置するようにした。そして、本発明のフォーカスが異なる画像の撮影方法の第１の形態はその透明な光学素子として透明な平行平板を採用し、該平行平板を撮像面の前方位置に部分的に配置し、当該部分のフォーカスをシフトさせるようにした。更に、この第１の形態においてフォーカスが異なる画像領域分だけカメラをシフトし、隣接する３枚以上の画像から合焦画像を抽出し、同一領域内にある遠近距離の被写体を合成するフォーカスが異なる画像の撮影方法を提示する。
また、本発明のフォーカスが異なる画像の撮影方法の第２の形態は透明な光学素子として楔形の透明平面板を撮像面の前方位置に配置して、画像のフォーカスを撮像面内で連続的に変化させるようにした。
【０００６】
本発明のフォーカスが異なる画像を結像させるカメラは、レンズ系と撮像面の間であって該撮像面の前方位置に部分的に透明な平行平面板を配置し、当該部分のフォーカスをシフトさせるようにしたことによりフォーカスが異なる画像を結像させる構成を採用した。
更に、透明な平行平面板は回転スライド機構と直動スライド機構とを備え、撮像面に対して位置調整が可能であるようにした。
フォーカスが異なる画像を結像させる異なる形態の本発明のカメラは、レンズ系と撮像面の間であって該撮像面の前方位置に断面が楔状の平面板を配置して、画像のフォーカスを撮像面内で連続的に変化させることによりフォーカスが異なる画像を結像させる構成を採用した。
【発明の効果】
【０００７】
本発明のフォーカスが異なる画像の撮影方法は、カメラの撮像面の前方位置にフォーカスを変化させる透明な光学素子を配置しているので、撮像面に結像される被写体位置は撮像面位置に応じて変化することとなる。従来の通常カメラに透明な光学素子を配置するという単純な追加構成によって、１回の撮影でフォーカスが異なる画像の撮影が実現できる。
透明な光学素子として透明な平行平板を採用し、該平行平板を撮像面の前方位置に部分的に配置し、当該部分のフォーカスをシフトさせるようにしたことにより、遠近異なる距離にある被写体を１つの画像に合焦画像として得ることができる。更に、この第１の形態においてフォーカスが異なる画像領域分だけカメラをシフトして撮影すれば、隣接する３枚以上の画像の中央領域では遠近それぞれに焦点のあった２種類が得られるので、同一領域内にある遠近距離の被写体から合焦画像を抽出合成してフォーカスが異なる１枚の画像が得られる。
【０００８】
また、本発明のフォーカスが異なる画像の撮影方法の第２の形態は透明な光学素子として楔形の透明平面板を撮像面の前方位置に配置して、画像のフォーカスを撮像面内で連続的に変化させることにより、近傍から遠方に広がる被写体について一度の撮影によって合焦画像として得ることができる。
本発明のフォーカスが異なる画像を結像させるカメラにおいて、透明な平行平面板が回転スライド機構と直動スライド機構と取付けられた構成を採用すれば、被写体の距離分布に応じて撮像面に対して位置調整が可能となる。
【図面の簡単な説明】
【０００９】
【図１】透明な平行平面板によるフォーカスシフトの原理を説明する図である。
【図２】近傍及び遠方にある被写体の結像面の位置関係を説明する図である。
【図３】平行平面板を撮像面の前方位置に配置した場合のフォーカスシフトが生じる領域の位置関係を示した図である。
【図４】ＣＣＤカメラの撮像面の前方に平行平面板を配置して画像を撮影した実際例を示した図である。
【図５】移行部の発生原理と、該移行部の対策法を説明する図である。
【図６】光学素子の位置調整を行う直動スライド部と回転スライド部から構成されたスライドステージを説明する図である。
【図７】近くと遠くにある物体を平行平面板を設置することで、両方の物体にピントを合わすことができる使用例を説明する図である。
【図８】近傍にあるカメラの変位を示す目盛と遠方の被写体とを共に画像として取り込みたい場合における本発明の利用法を説明する図である。
【図９】上記の利用法により得られる画像例を従来方法の画像と対比させて示した図である。
【図１０】本発明のカメラを自動車に搭載し、車載カメラとして用いた例で、得られる画像例を従来方法の画像と対比させて示した図である。
【図１１】透過型校正器具を用いるカメラキャリブレーションに本発明を利用する例を説明する図である。
【図１２】回転カメラステージを用い、近焦点画像と遠焦点画像の多重フォーカス画像の合成に利用する方法を説明する図である。
【図１３】透明の光学素子として断面が楔形状の平面板を撮像面前方に介在させ、焦点位置が連続的に変化するアオリ撮影の手法を説明する図である。
【図１４】アオリ撮影における光路解析(レンズ設計ＣＡＤの結果)の例を示す図である。
【図１５】断面が楔形状の平面板を用いて撮影した本発明の画像を従来方法の画像と対比させて示した図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施の形態について、詳細に説明する前に本発明の基本原理について予備説明する。画像の特定の部分のフォーカスを変化させるには、ガラス等の透明素材からなる平行平面板を撮像素子の撮像面上に配置するだけで実現できる。この平行平面板は屈折率が空気と異なる(空気の屈折率１より大きい)ために、平行平面板の後方の被写体結像位置が移動する(結像面が本来のレンズ系の結像面より後方にシフトする)。本発明はこの透明な光学素子（例えば平行平面板）が介在することでフォーカスシフトが発生する現象を利用するものである。平行平面板の設置位置や、その形状（厚み：光路長）、屈折率を変化させることで、フォーカスシフトを任意の位置に調整できる。
【００１１】
図１は、透明な平行平面板による撮像面のフォーカスシフトを説明したものである。被写体からの光路は、光路Ｌ１（点Ｒ、点Ｑ、点Ｏを結ぶ直線）のようになり、撮像面ｄ上の点Ｏで集光する。これは、被写体にフォーカスが合っている状態である。さて、レンズ系３と撮像面ｄの間に、平行平面板１を挿入した場合を考える。このとき、被写体からの光路は、平行平面板により２回屈折し、光路Ｌ２（点Ｒ、点Ｑ、点Ｐ、点Ｏ’を結ぶ直線）のようになり、撮像面ｄより、後ろの点Ｏ’に集光することになる。平行平面板の効果により、点Ｏから点Ｏ’に、フォーカスがシフトしたことになる。なお、平行平面板１を挿入した場合、撮像面ｄ上の点Ｏは、被写体の光路が集光していないので、フォーカスぼけ（ピンぼけ）の状態となる。そして、点Ｏでは、より遠方の位置にフォーカスがあうように変化している。これは、図２に示すように、同じレンズ系であれば距離の遠い被写体８１はレンズに近い位置に結像し、距離の近い被写体８２はレンズに遠い位置に結像するものであるから、上記のように集光位置がより後方に移動するということは平行平面板をカメラの撮像面の前方位置に配置することによって撮像面にはより遠くの被写体が結像されることとなる。
なお、平行平面板と撮像面が平行するように配置された図１の場合、点Ｏと点Ｏ’の変化距離は、平行平面板の屈折率ｎと、厚みＴのみにより決定し、Ｔ×（１−１／ｎ）となる。（非特許文献１）
図３は、被写体像が平行平面板１を撮像面の前方位置に配置した場合のフォーカスシフトが生じる領域の位置関係を示したものである。この例は、屈折率が１より大きく、撮像面の半分の大きさの平行平面板１を撮像面ｄの右側に配置した場合である。撮像面ｄには、シーン中の像が倒立して投影されるので、平行平面板１によるフォーカスシフトの影響は、シーン中の左側(灰色の部分)に表れることになる。この場合は、シーン中の左側の焦点がより遠くになるので、撮像面には遠くの被写体に対してフォーカスが合うこととなる。
【００１２】
図４は、実際にＣＣＤカメラの撮像面の前方に平行平面板を配置して画像を撮影した例である。画像は、ドットパターンのある２枚の板を撮影したもので、１枚は近くに、もう一枚は遠くに設置している。図４(Ａ)はレンズ系を取り外したカメラ６であって、ＣＣＤ素子４の半分を覆うように、平行平面板１を配置している。このカメラで上記のドットパターンのある２枚の板を撮影して得られた画像が図４(Ｂ)である、画像において左側は、遠方の板（パターンが細かく見える）にピントが合っており、右側は、近くの板（パターンが大きく見える）にピントがあっている。
なお、平行平面板１の端の部分では、光路が複雑に入れ込むことになり、像がぶれるといった現象が発生する。このような部分を移行部ｔと呼ぶことにする。その位置は遠方画像領域と近傍画像領域の間に生じ(図５参照)、移行部ｔの大きさは、平行平面板１の厚さと、平行平面板１と撮像素子４の位置関係に依存する。
【００１３】
移行部ｔの影響を少なくするための１つの対策としては、高い屈折率の平行板を用いると共に、撮像素子に密着するように配置することで、画像における移行部の範囲を小さくすることが可能である。
別の対策としては、平行平面板１の側面を黒く着色することで、この部分を通過する光を遮断し、光路の混乱を避けることが可能となる。ただし、移行部分は、光量が減るため暗くなることは避けられない。
【００１４】
この平行平面板を用いた異焦点画像の撮影方法は、平行平面板を、レンズ系と撮像素子の間に配置する簡単な加工で実現できる。そのため、レンズや撮像素子などは、従来の通常のカメラをそのまま利用できるので拡張性が高い。なお、平行平面板を配置する領域は空間的に狭いが、平行平面板の厚み程度を収容することは可能である。また、ＣＣＤ等の撮像素子は、撮像素子を傷や埃から保護するために保護ガラスがカバーされている。この保護ガラスの厚み、屈折率、形状等を変えることでも、この方法を実現できる。ただし、保護ガラスは通常は取り外せない構造のものであるから、この場合には撮像素子製造時の設計とする必要がある。
【００１５】
次に、平行平面板の位置や、種類を変えることの出来る機構を合わせて提案する。この機構は、図６に示すようなものであって、直動スライド部ＳＬと回転スライド部ＳＲという２つのスライドステージから構成させている。ステージには平行平面板１が取り付けられており。直動スライド部ＳＬにより、撮像面の上にせり出す仕組みである。平行平面板１が被さった撮像面４の領域は、遠方に焦点があうようになる。また、この直動スライド部ＳＬは回転スライド部ＳＲ上に取付けられ、上下左右の任意の方向から平行平面板１をせり出させることが可能である。なお、この機構は、レンズ系３と撮像面４(ＣＣＤ等)の間の狭い空間に配置する。
【００１６】
この機構を利用し、平行平面板の位置を変えることで次のような効果がある。平行平面板の位置を変えることが可能で、シーンに応じて任意の部分を近焦点部分と遠焦点部分を切り替えることが可能である。また、全領域を覆うように平行平面板を差し入れることができるので、画像全域の焦点を変えることが可能となる。これを応用すれば、多重フォーカス画像を撮影することも可能となる。
位置を変えることで得られる効果に加えて、この器具を拡張して、異なる厚みの平行平面板が利用できるようにスライド部を増設することや、多層に重なるように、平行平面板を出せるようなスライド部に拡張することで、他段階に焦点をあわせることが可能となる。
【実施例】
【００１７】
上述したような異焦点の特殊な画像が、どのように利用でき効果があるかについて、以下に具体的な例を示して説明を行う。
シーン中の物体位置が予め分かっており、至近位置から遠方に分布しているケースでの利用を示す。例えば、対象となる被写体は不動で遠方から至近位置に分布しており、その被写体近傍に起こる現象をカメラを固定して撮影する定点監視などがある。このケースの利用では、シーン中の対象物(建造物や地面等)の位置は固定されたままである。この際に、対象物が遠方から至近位置まで広く分布している場合には、通常のカメラでは全ての対象物にピントを合わせることができない。この様なシーンを撮影する場合に、本発明の次の方法が利用できる。図７に示すように物体ａが近くにあり、物体ｂが遠くにある状況である。図の様に平行平面板を設置することで、両方の物体にピントを合わすことができる。物体が移動する場合や、カメラが方向を変える場合には、物体やカメラの変位量を把握した上で、平行平面板を設置することで、図６に示したような位置を調整する機構を利用すれば対応が可能となる。
【００１８】
次に示す利用例は、カメラの変位を示す目盛を撮像した被写体画面と共に画像として取り込みたい場合における本発明の利用法を示す。その１つは例えば、図８に示すようにカメラ方向が１軸方向の変位をしつつ複数の画像を撮影するケースであって、その変位量を目盛から読み取るステージをカメラ近傍に配置し、遠方の被写体と近傍の目盛とを一画像中に取り込みたい場合に本発明の撮影方法を適用するものである。また、この手法の延長線上に多軸方向の変位については、カメラと目盛をより複雑なステージに取付けることで実現させることが可能となる。動く物体を追跡する場合や、周囲全体を撮影する場合には、カメラの方向を移動させて(複数枚の)画像を撮影する。この際のカメラの変位量は、物体の移動量推定や、画像のつなぎ合せ(パノラマ画像化、モザイク処理)のために必要なカメラの位置・姿勢の情報である。なお、従来は、変位量のわかる精密ステージの利用や、撮影された画像中の複数の特徴点から幾何学的に解析する方法が用いられている。
【００１９】
図８に直動ステージ５上に配置したカメラ６と、その手前に配置された目盛り板７からなるカメラシステムの例を、図９にそれにより得られる画像例を示す。直動ステージ５上の特定位置にあるカメラ６で被写体のリンゴ８を撮像する。従来のカメラであれば被写体のリンゴ８にピントを合わせた場合には図９(a)の画像が、目盛り板７にピントを合わせた場合には図９(b)の画像となり、一方がピンぼけ画像となる。本発明の方法、すなわち目盛り板７にピントを合わせたカメラの撮像面における被写体のリンゴ８が投影される領域に平行平板を前置することにより、被写体のリンゴ８の結像位置を後方にシフトさせることにより、被写体のリンゴ８と目盛り板７の双方を同一撮像面に結像させ、合焦画像として得ることができる。従って、その目盛りの値を読み取ることで、カメラの移動量を得ることができる。
この形態の延長線上には直動ステージを回転ステージに置き換え、また、メモリ板を円状にすることによって、市街地監視用カメラや、室内監視用カメラなどへの適用も可能となる。
【００２０】
更なる利用例として、例えば、自動車の運転支援システム(ドライブレコーダ)に適用される場合を示す。図１０で、カメラを自動車に搭載し、車載カメラとして用いた例である。ドライブレコーダのようなシステムに本発明を応用すれば、車に記された指標の情報から、路面上の物体との位置関係が推測できることになる。すなわち、図に示されるように車のボンネット上に指標９を記しておき、カメラのレンズ系の焦点は近距離の指標９にあわされており、透明な平行平板が介在する撮像面に物体１０が捉えられるようにカメラが設置される。この設定を通常のカメラで行えば図１０(b)のような画像となって、対象物１０の像がぼける。対象物１０にピントを合わせると今度は図１０(a)のように指標９の像がぼける。本発明の特殊カメラを用いれば図１０(c)のように対象物１０も指標９の像もピントのあった画像として得ることができる。したがって、この指標から対象物１０までの距離を推定することができる。
動画像をもちいることで、車の速度情報も得られる。勿論、車には速度メータが搭載されており、直接の利用メリットは低いが、動画像の記録データは速度メータの記録の検証データとして有効となる。交通事故が発生した場合、位置関係を定量的に知ることが出来るようになり、原因究明に貢献できる可能性がある。
【００２１】
透過型校正器具を用いるカメラキャリブレーションに本発明を利用する場合を提示する。特許文献２に示された透過型カメラ校正器具は、本発明者が以前提案した技術である。極端に近い位置に網状の指標21を空間的に配置して、その空間位置から、カメラの特性(フォーカス値、変位量)をキャリブレーションするものである。指標21は細いワイヤから形成されているので、フォーカスを(遠くにある)物体に合わせると、図１１(a)に示されるようにフォーカスぼけの影響でほぼ完全に消えてしまう。また、指標21にフォーカスをあわせると、図１１(b)に示されるように物体がぼやけてワイヤを抽出しやすくなる特徴がある。従来の方法では、フォーカスを変えてそれぞれの画像を撮影する必要があった。しかし、本発明が提案する方法を用いると、左右の画像領域で異なるフォーカス画像を得ることが可能となり、図１１(c)に示されるような画像が得られる。透過型校正器具を用いるカメラキャリブレーションに必要な２つのフォーカス画像を同時に得ることが可能となる。
【００２２】
次に、回転カメラステージを用い、パノラマ画像の要領で画像を撮影し、近焦点画像と遠焦点画像の多重フォーカス画像の合成に利用する方法を提示する。本発明の撮像方法は被写体がシーンの中で図７に示したように近焦点の被写体ａと遠焦点の被写体ｂが画像領域として区分されている場合にはよいのであるが、透明な平行平板が介在する領域にも、介在しない領域にも近焦点の被写体ａと遠焦点の被写体ｂが混在しているようなシーンを撮影する場合もあり、提案するように、左右２面の遠方と近傍にフォーカスを合わせる方法では、被写体全てにフォーカスを合わせることができない場合がある。しかし、このような場合においても提案するカメラを回転ステージに搭載し、回転(パン)させて画像を撮影することにより、視野全域にわたる近焦点画像と遠焦点面像を得ることができる。すなわち、この２枚の面像は同じ位置からの画像であるので、多重フォーカス画像が撮影できることになる。
回転カメラステージは図１２で示すように、垂直面の回転ステージＶＳと水平面の回転ステージＨＳが組まれたものである。例えば、使用するカメラの撮像画面の左側が遠焦点画像で、右側が近焦点画像とする。このカメラ６を水平面の回転ステージＨＳ上に据え置き、この水平面の回転ステージＨＳを回転させつつ水平方向パノラマ形態で撮影する。画像撮影として、最初はＡａ画像が得られ、２回目にはａＢ画像、３回目にはＢｂ画像が撮影される。この３回撮影を行うと、Ａ，ａ，Ｂの領域についての遠焦点画像と、ａ，Ｂ，ｂについての近焦点画像が得られる。結果的に、ａ，Ｂの部分については、遠焦点画像と近焦点画像が得られることになる。この得られた画像からピントのあった画像を抽出して合成すれば、ａ，Ｂそれぞれの領域にある近距離と遠距離にある被写体をぼけない遠近焦点画像として得ることができる。上下方向に焦点を変えたカメラ６を使用する場合には垂直面の回転ステージＶＳを回転させて回転させつつ撮影する使用法となる。
【００２３】
つぎに本発明の第２の形態、透明の光学素子として平行平面板でなく、断面が楔形状の平面板であるウェッジ板２を撮像面前方に介在させることにより、焦点位置が連続的に変化する現象を利用したアオリ撮影(チルトアオリ撮影)の手法を提示する。この手法の概念図を図１３に示す。レンズ系３と撮像素子４との間に断面が楔形状の平面板２を配置する。図１で示したように撮像素子４の前方に空気より屈折率が高い（＞１）透明物質が存在すれば被写体の結像位置は後方にシフトする。そのシフトする値は透明物質を通過する光路が長いほど大きくなる。したがって、図１３に示したような場合、撮像面において下方に行くほど被写体の遠方にシフトすることとなる。ということは撮像面の上方位置には近傍の被写体が結像され、下方に行くほど遠方の被写体が結像されることとなる。一面に咲いている花畑の手前にある花から奥に咲く花までぼけない画像をこのカメラを用いて俯瞰して撮影し、フォーカスぼけ（ピンぼけ）のない全合焦画像を撮影することができる。
手前から奥までフォーカスを合わせる従来のアオリ撮影は、特殊なカメラ(蛇腹カメラ)、あるいは特殊なレンズ(ティルト機能付レンズ)を用いて、レンズの光軸と撮像面の位置関係を変える方法である。この方法により、被写界深度が変化して、画像上部は奥に、画像下部は近くにフォーカスがあうようにするものである。本発明の第２の形態はこれと同等の効果を、メカニカルな調整機構を用いることなく単純な構成で実現させる方法である。
【００２４】
上記のような断面が楔形状の平面板２をカメラの撮像面前方に介在させることにより、焦点位置が連続的に変化する現象を利用したアオリ撮影における光路解析(レンズ設計ＣＡＤの結果)の例を図１４に示す。これは物体の距離100ｍｍ、レンズ焦点距離10ｍｍ、撮像倍率0.10倍、物体面の傾き30°、ウェッジプリズム頂角8.3°を設定条件として光路解析を行った結果である。図中のOBJECTIVEは、フォーカスの合焦面を表している。この解析図より、断面が楔形状の平面板の介在は被写界深度を斜めにする効果があることがわかる。
【００２５】
実際の実験結果を図１５に示す。実際のカメラにウェッジ板２を設置して画像の撮影を行った。奥行約60ｃｍのテストパターン(紙に、直線と点を印刷したもの)を、斜め上から撮影した。図１５(a)は、通常の状態で撮影したものである。フォーカスは、中間距離にある被写体が写っている画像の中央にしかあっておらず、手前と奥はボケが強い。図１５(b)は、ウェッジ板２を用い、アオリ撮影を行った結果である。全体に白っぽくなっており、若干のボケもみられるが、通常撮影に比べると、手前から奥までフォーカスがあっている。この実験結果から、ある程度の効果が確認できた。より効果を上げるためには、レンズ特性や撮影条件により、ウェッジ板の角度や材質を選定する必要があるといえる。
【産業上の利用可能性】
【００２６】
産業上、遠くの物体と近くの物体にフォーカスのあった画像を得ることは意義深い。本提案は、非常に簡単な工夫で、既存のカメラ・レンズシステムや処理系に簡単な構成を付加するだけで適用できるので利用価値が高い。上記した例に限られず、透明な平行平板を用いるものは距離方向に間欠的に分布する観察対象物を連続的にモニターする場合などに最適である。従来はそれぞれに得たモニター画像を時間的同期を取りながら状況を把握する必要があったが、本発明では１つの画像中に各観察対象物が合焦画像として得られるため、特別の後処理を要せず一度に全体の状況を把握することができる。また、断面が楔形状の平面板をカメラの撮像面前方に介在させることにより、焦点位置が連続的に変化する現象を利用したアオリ撮影手法は、上記した例に限られず、距離方向に観察対象物が広く連続的に分布したシーンの撮影に最適である。入学式や卒業式等大勢が居並ぶ会場を舞台から撮影する場合など広く利用できる。
【符号の説明】
【００２７】
１ 透明な平行平面板 ２ 断面が楔形の透明平面板
３ レンズ系 ４ 撮像素子（ＣＣＤ等）
５ 直動ステージ ６ カメラ
７ 目盛板 ８,８１,８２ 被写体
９ 指標 １０ 対象物
２１ 透過型カメラ校正器の指標
Ｌ１ 通常の光路 Ｌ２ 平行平面版により屈折した光路
ｄ 結像面 ｔ 移行部
ＳＬ 直動スライド部 ＳＲ 回転スライド部
ＨＳ 水平面の回転ステージ ＶＳ 垂直面の回転ステージ
【先行技術文献】
【特許文献】
【００２８】
【特許文献１】特開平１１−２９５８２６号公報 「複数画像を用いる画像処理方法およびそれに用いる複数画像同時撮像型カメラ装置」平成１１年１０月２９日公開
【特許文献２】特開２００６−３０１５７号公報 「カメラ校正のための透過型校正器具とその校正法」平成１８年２月２日公開
【非特許文献】
【００２９】
【非特許文献１】http://doug.kerr.home.att.net/pumpkin/Glass_Plate.pdf 「The Effect of Inserting a Flat Glass Plate into the Optical Path Downstream from a Lens」
【技術分野】
【０００１】
本発明は、光学系に工夫を加えた画像の特殊撮影方法、及びその装置に関する。
【背景技術】
【０００２】
いうまでもなく画像の撮影技術は画像を記録として残すことに限られず、広く自動制御機器等のセンサやモニターとしても用いられ重要な技術となっている。撮像面(フィルム、ＣＣＤ表面など)に、レンズにより集光された光が投影され画像は撮影できる。レンズには、光の屈折を利用して、レンズの外側の光を、レンズの内側の一点(焦点)に集約する機能がある。焦点位置では、多くの光が集光され、より強い光を撮像面に投影できる効果がある。焦点距離位置は、レンズ外側の被写体からの光が平行光となる場合であり、被写体が、無限遠方に位置する場合である。被写体が近い場合には、被写体からの光が平行でなくなり、焦点の位置が後方にずれることになる。この場合、撮像面の位置が焦点位置のままだと、被写体からの光が一点に集光せず、ある大きさになる。この大きさを錯乱円という。錯乱円が、撮像素子(例えば、ＣＣＤのセル単位)より大きいと像がぼけることとなる。これをフォーカスぼけ(ピンぼけ)という。なお、錯乱円が撮像素子より小さい場合は、画像ではフォーカスぼけの影響を確認できない。フォーカスぼけの影響がでない錯乱円を許容錯乱円とよぶ。被写体の位置によっては、フォーカスぼけが確認できない。フォーカスぼけの起こらない範囲を被写界深度という。また同様にして、フォーカスぼけの起こらない撮像面の位置の範囲を焦点深度という。
被写体が遠い場合は被写界深度は深く、近い場合は浅い。つまり、遠くにある位置の異なる複数の被写体全てにはフォーカスを合わせやすいが、近くにある位置の異なる複数の被写体全てに、フォーカスを合わせることが難しい。また、近くから遠くまで、フォーカスの合った画像を撮影することも難しい。
【０００３】
通常、風景などのシーンを撮影した場合、遠くから近くまでの全ての物体にフォーカスを合わせることは出来ないので、物体の奥行きにより、フォーカスぼけが生じることになる。フォーカスぼけのない画像は、鮮明で被写体の詳細が区別しやすく産業的な利用価値が高い。しかし、近くから遠くまで焦点のあう被写界深度の極端に広いレンズの実現は難しく、また、画像中異なる位置の被写体全てにフォーカスがあった画像(全合焦画像)を撮影するのは難しい。物体の位置が異なることで、全ての物体にフォーカス（ピント）が合わない問題は、画像撮影の本質的な課題であり、その対策は考えられてきた。従来法としては、各物体にフォーカス（ピント）を合わせて撮影した画像を複数枚撮影する方法「多重フォーカス画像」などがある。特許文献１の「複数画像同時撮像型カメラ装置」は、異なる焦点合わせの複数画像を同時撮像し得るカメラ装置と、異なる焦点合わせの複数画像から所望の画像を生成する画像処理方法とを提供することを目的としたもので、撮像用レンズ機構から出射した光を入射される１つの入射面と、入射された光を複数ｎ（ｎ＝２，３，‥‥）等分した分配光をそれぞれ出射するｎ個の出射面とを有するプリズム手段と、プリズム手段のｎ個の出射面から出射した分配光をそれぞれ撮像するｎ個の撮像部と、ｎ個の出射面および対応する撮像部間の位置関係をそれぞれ調整する焦点合わせ調整機構と、ｎ個の撮像部による撮像のタイミングを同期させる同期手段とを具え、異なる焦点合わせの複数画像を同時に撮像し得るように構成されており、この異なる焦点合わせの複数画像を重ね合わせモデルに基づく恒等式に代入すると所望の画像が生成されるというものである。
しかし、この発明で得ることのできる多重フォーカス画像から画像解析技術により生成できる「全合焦画像」は、ソフトウェアによる実現は考えられるものの、複雑な光学系とｎ個の撮像部による撮像のタイミングを同期させる同期手段更にソフトウェアに基づく演算処理手段とを必要とし、単純な機構で得られる画像ではない。また、プリズム分光により光量が減衰するという問題もある。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
フォーカスは、物体の位置に依存する。写したい対象が同じ位置にある場合には問題にならないが、写したい物体が、手前から奥まで広く分布している場合には、１つのレンズ系で全ての物体に同時にフォーカスを合わせることが出来ない。画像全域でフォーカスぼけのない画像を撮影するためには、先に示した多重フォーカス撮影などの技術が必要となる。多重フォーカス撮影には、特殊なレンズ・カメラや特殊な処理を用いる必要や、一瞬の撮影が難しいということが問題になる。画像のフォーカスを変えるためには、フォーカスの調整や、撮像面の移動などによるフォーカスの調整を行なえばよいのであるが、この手法では全てのフォーカスが変化してしまうこととなる。
本発明の課題は、従来のレンズ・カメラをそのまま用いて、非常に簡単な方法で、１つの画像の中に、フォーカスの異なる部分を作り出す技術を提示し、そのような装置を提供することにある。
【課題を解決するための手段】
【０００５】
本発明のフォーカスが異なる画像の撮影方法は、フォーカスを変化させるように透明な光学素子をカメラの光学系と撮像面の間に配置するようにした。そして、本発明のフォーカスが異なる画像の撮影方法の第１の形態はその透明な光学素子として透明な平行平板を採用し、該平行平板を撮像面の前方位置に部分的に配置し、当該部分のフォーカスをシフトさせるようにした。更に、この第１の形態においてフォーカスが異なる画像領域分だけカメラをシフトし、隣接する３枚以上の画像から合焦画像を抽出し、同一領域内にある遠近距離の被写体を合成するフォーカスが異なる画像の撮影方法を提示する。
また、本発明のフォーカスが異なる画像の撮影方法の第２の形態は透明な光学素子として楔形の透明平面板を撮像面の前方位置に配置して、画像のフォーカスを撮像面内で連続的に変化させるようにした。
【０００６】
本発明のフォーカスが異なる画像を結像させるカメラは、レンズ系と撮像面の間であって該撮像面の前方位置に部分的に透明な平行平面板を配置し、当該部分のフォーカスをシフトさせるようにしたことによりフォーカスが異なる画像を結像させる構成を採用した。
更に、透明な平行平面板は回転スライド機構と直動スライド機構とを備え、撮像面に対して位置調整が可能であるようにした。
フォーカスが異なる画像を結像させる異なる形態の本発明のカメラは、レンズ系と撮像面の間であって該撮像面の前方位置に断面が楔状の平面板を配置して、画像のフォーカスを撮像面内で連続的に変化させることによりフォーカスが異なる画像を結像させる構成を採用した。
【発明の効果】
【０００７】
本発明のフォーカスが異なる画像の撮影方法は、カメラの撮像面の前方位置にフォーカスを変化させる透明な光学素子を配置しているので、撮像面に結像される被写体位置は撮像面位置に応じて変化することとなる。従来の通常カメラに透明な光学素子を配置するという単純な追加構成によって、１回の撮影でフォーカスが異なる画像の撮影が実現できる。
透明な光学素子として透明な平行平板を採用し、該平行平板を撮像面の前方位置に部分的に配置し、当該部分のフォーカスをシフトさせるようにしたことにより、遠近異なる距離にある被写体を１つの画像に合焦画像として得ることができる。更に、この第１の形態においてフォーカスが異なる画像領域分だけカメラをシフトして撮影すれば、隣接する３枚以上の画像の中央領域では遠近それぞれに焦点のあった２種類が得られるので、同一領域内にある遠近距離の被写体から合焦画像を抽出合成してフォーカスが異なる１枚の画像が得られる。
【０００８】
また、本発明のフォーカスが異なる画像の撮影方法の第２の形態は透明な光学素子として楔形の透明平面板を撮像面の前方位置に配置して、画像のフォーカスを撮像面内で連続的に変化させることにより、近傍から遠方に広がる被写体について一度の撮影によって合焦画像として得ることができる。
本発明のフォーカスが異なる画像を結像させるカメラにおいて、透明な平行平面板が回転スライド機構と直動スライド機構と取付けられた構成を採用すれば、被写体の距離分布に応じて撮像面に対して位置調整が可能となる。
【図面の簡単な説明】
【０００９】
【図１】透明な平行平面板によるフォーカスシフトの原理を説明する図である。
【図２】近傍及び遠方にある被写体の結像面の位置関係を説明する図である。
【図３】平行平面板を撮像面の前方位置に配置した場合のフォーカスシフトが生じる領域の位置関係を示した図である。
【図４】ＣＣＤカメラの撮像面の前方に平行平面板を配置して画像を撮影した実際例を示した図である。
【図５】移行部の発生原理と、該移行部の対策法を説明する図である。
【図６】光学素子の位置調整を行う直動スライド部と回転スライド部から構成されたスライドステージを説明する図である。
【図７】近くと遠くにある物体を平行平面板を設置することで、両方の物体にピントを合わすことができる使用例を説明する図である。
【図８】近傍にあるカメラの変位を示す目盛と遠方の被写体とを共に画像として取り込みたい場合における本発明の利用法を説明する図である。
【図９】上記の利用法により得られる画像例を従来方法の画像と対比させて示した図である。
【図１０】本発明のカメラを自動車に搭載し、車載カメラとして用いた例で、得られる画像例を従来方法の画像と対比させて示した図である。
【図１１】透過型校正器具を用いるカメラキャリブレーションに本発明を利用する例を説明する図である。
【図１２】回転カメラステージを用い、近焦点画像と遠焦点画像の多重フォーカス画像の合成に利用する方法を説明する図である。
【図１３】透明の光学素子として断面が楔形状の平面板を撮像面前方に介在させ、焦点位置が連続的に変化するアオリ撮影の手法を説明する図である。
【図１４】アオリ撮影における光路解析(レンズ設計ＣＡＤの結果)の例を示す図である。
【図１５】断面が楔形状の平面板を用いて撮影した本発明の画像を従来方法の画像と対比させて示した図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施の形態について、詳細に説明する前に本発明の基本原理について予備説明する。画像の特定の部分のフォーカスを変化させるには、ガラス等の透明素材からなる平行平面板を撮像素子の撮像面上に配置するだけで実現できる。この平行平面板は屈折率が空気と異なる(空気の屈折率１より大きい)ために、平行平面板の後方の被写体結像位置が移動する(結像面が本来のレンズ系の結像面より後方にシフトする)。本発明はこの透明な光学素子（例えば平行平面板）が介在することでフォーカスシフトが発生する現象を利用するものである。平行平面板の設置位置や、その形状（厚み：光路長）、屈折率を変化させることで、フォーカスシフトを任意の位置に調整できる。
【００１１】
図１は、透明な平行平面板による撮像面のフォーカスシフトを説明したものである。被写体からの光路は、光路Ｌ１（点Ｒ、点Ｑ、点Ｏを結ぶ直線）のようになり、撮像面ｄ上の点Ｏで集光する。これは、被写体にフォーカスが合っている状態である。さて、レンズ系３と撮像面ｄの間に、平行平面板１を挿入した場合を考える。このとき、被写体からの光路は、平行平面板により２回屈折し、光路Ｌ２（点Ｒ、点Ｑ、点Ｐ、点Ｏ’を結ぶ直線）のようになり、撮像面ｄより、後ろの点Ｏ’に集光することになる。平行平面板の効果により、点Ｏから点Ｏ’に、フォーカスがシフトしたことになる。なお、平行平面板１を挿入した場合、撮像面ｄ上の点Ｏは、被写体の光路が集光していないので、フォーカスぼけ（ピンぼけ）の状態となる。そして、点Ｏでは、より遠方の位置にフォーカスがあうように変化している。これは、図２に示すように、同じレンズ系であれば距離の遠い被写体８１はレンズに近い位置に結像し、距離の近い被写体８２はレンズに遠い位置に結像するものであるから、上記のように集光位置がより後方に移動するということは平行平面板をカメラの撮像面の前方位置に配置することによって撮像面にはより遠くの被写体が結像されることとなる。
なお、平行平面板と撮像面が平行するように配置された図１の場合、点Ｏと点Ｏ’の変化距離は、平行平面板の屈折率ｎと、厚みＴのみにより決定し、Ｔ×（１−１／ｎ）となる。（非特許文献１）
図３は、被写体像が平行平面板１を撮像面の前方位置に配置した場合のフォーカスシフトが生じる領域の位置関係を示したものである。この例は、屈折率が１より大きく、撮像面の半分の大きさの平行平面板１を撮像面ｄの右側に配置した場合である。撮像面ｄには、シーン中の像が倒立して投影されるので、平行平面板１によるフォーカスシフトの影響は、シーン中の左側(灰色の部分)に表れることになる。この場合は、シーン中の左側の焦点がより遠くになるので、撮像面には遠くの被写体に対してフォーカスが合うこととなる。
【００１２】
図４は、実際にＣＣＤカメラの撮像面の前方に平行平面板を配置して画像を撮影した例である。画像は、ドットパターンのある２枚の板を撮影したもので、１枚は近くに、もう一枚は遠くに設置している。図４(Ａ)はレンズ系を取り外したカメラ６であって、ＣＣＤ素子４の半分を覆うように、平行平面板１を配置している。このカメラで上記のドットパターンのある２枚の板を撮影して得られた画像が図４(Ｂ)である、画像において左側は、遠方の板（パターンが細かく見える）にピントが合っており、右側は、近くの板（パターンが大きく見える）にピントがあっている。
なお、平行平面板１の端の部分では、光路が複雑に入れ込むことになり、像がぶれるといった現象が発生する。このような部分を移行部ｔと呼ぶことにする。その位置は遠方画像領域と近傍画像領域の間に生じ(図５参照)、移行部ｔの大きさは、平行平面板１の厚さと、平行平面板１と撮像素子４の位置関係に依存する。
【００１３】
移行部ｔの影響を少なくするための１つの対策としては、高い屈折率の平行板を用いると共に、撮像素子に密着するように配置することで、画像における移行部の範囲を小さくすることが可能である。
別の対策としては、平行平面板１の側面を黒く着色することで、この部分を通過する光を遮断し、光路の混乱を避けることが可能となる。ただし、移行部分は、光量が減るため暗くなることは避けられない。
【００１４】
この平行平面板を用いた異焦点画像の撮影方法は、平行平面板を、レンズ系と撮像素子の間に配置する簡単な加工で実現できる。そのため、レンズや撮像素子などは、従来の通常のカメラをそのまま利用できるので拡張性が高い。なお、平行平面板を配置する領域は空間的に狭いが、平行平面板の厚み程度を収容することは可能である。また、ＣＣＤ等の撮像素子は、撮像素子を傷や埃から保護するために保護ガラスがカバーされている。この保護ガラスの厚み、屈折率、形状等を変えることでも、この方法を実現できる。ただし、保護ガラスは通常は取り外せない構造のものであるから、この場合には撮像素子製造時の設計とする必要がある。
【００１５】
次に、平行平面板の位置や、種類を変えることの出来る機構を合わせて提案する。この機構は、図６に示すようなものであって、直動スライド部ＳＬと回転スライド部ＳＲという２つのスライドステージから構成させている。ステージには平行平面板１が取り付けられており。直動スライド部ＳＬにより、撮像面の上にせり出す仕組みである。平行平面板１が被さった撮像面４の領域は、遠方に焦点があうようになる。また、この直動スライド部ＳＬは回転スライド部ＳＲ上に取付けられ、上下左右の任意の方向から平行平面板１をせり出させることが可能である。なお、この機構は、レンズ系３と撮像面４(ＣＣＤ等)の間の狭い空間に配置する。
【００１６】
この機構を利用し、平行平面板の位置を変えることで次のような効果がある。平行平面板の位置を変えることが可能で、シーンに応じて任意の部分を近焦点部分と遠焦点部分を切り替えることが可能である。また、全領域を覆うように平行平面板を差し入れることができるので、画像全域の焦点を変えることが可能となる。これを応用すれば、多重フォーカス画像を撮影することも可能となる。
位置を変えることで得られる効果に加えて、この器具を拡張して、異なる厚みの平行平面板が利用できるようにスライド部を増設することや、多層に重なるように、平行平面板を出せるようなスライド部に拡張することで、他段階に焦点をあわせることが可能となる。
【実施例】
【００１７】
上述したような異焦点の特殊な画像が、どのように利用でき効果があるかについて、以下に具体的な例を示して説明を行う。
シーン中の物体位置が予め分かっており、至近位置から遠方に分布しているケースでの利用を示す。例えば、対象となる被写体は不動で遠方から至近位置に分布しており、その被写体近傍に起こる現象をカメラを固定して撮影する定点監視などがある。このケースの利用では、シーン中の対象物(建造物や地面等)の位置は固定されたままである。この際に、対象物が遠方から至近位置まで広く分布している場合には、通常のカメラでは全ての対象物にピントを合わせることができない。この様なシーンを撮影する場合に、本発明の次の方法が利用できる。図７に示すように物体ａが近くにあり、物体ｂが遠くにある状況である。図の様に平行平面板を設置することで、両方の物体にピントを合わすことができる。物体が移動する場合や、カメラが方向を変える場合には、物体やカメラの変位量を把握した上で、平行平面板を設置することで、図６に示したような位置を調整する機構を利用すれば対応が可能となる。
【００１８】
次に示す利用例は、カメラの変位を示す目盛を撮像した被写体画面と共に画像として取り込みたい場合における本発明の利用法を示す。その１つは例えば、図８に示すようにカメラ方向が１軸方向の変位をしつつ複数の画像を撮影するケースであって、その変位量を目盛から読み取るステージをカメラ近傍に配置し、遠方の被写体と近傍の目盛とを一画像中に取り込みたい場合に本発明の撮影方法を適用するものである。また、この手法の延長線上に多軸方向の変位については、カメラと目盛をより複雑なステージに取付けることで実現させることが可能となる。動く物体を追跡する場合や、周囲全体を撮影する場合には、カメラの方向を移動させて(複数枚の)画像を撮影する。この際のカメラの変位量は、物体の移動量推定や、画像のつなぎ合せ(パノラマ画像化、モザイク処理)のために必要なカメラの位置・姿勢の情報である。なお、従来は、変位量のわかる精密ステージの利用や、撮影された画像中の複数の特徴点から幾何学的に解析する方法が用いられている。
【００１９】
図８に直動ステージ５上に配置したカメラ６と、その手前に配置された目盛り板７からなるカメラシステムの例を、図９にそれにより得られる画像例を示す。直動ステージ５上の特定位置にあるカメラ６で被写体のリンゴ８を撮像する。従来のカメラであれば被写体のリンゴ８にピントを合わせた場合には図９(a)の画像が、目盛り板７にピントを合わせた場合には図９(b)の画像となり、一方がピンぼけ画像となる。本発明の方法、すなわち目盛り板７にピントを合わせたカメラの撮像面における被写体のリンゴ８が投影される領域に平行平板を前置することにより、被写体のリンゴ８の結像位置を後方にシフトさせることにより、被写体のリンゴ８と目盛り板７の双方を同一撮像面に結像させ、合焦画像として得ることができる。従って、その目盛りの値を読み取ることで、カメラの移動量を得ることができる。
この形態の延長線上には直動ステージを回転ステージに置き換え、また、メモリ板を円状にすることによって、市街地監視用カメラや、室内監視用カメラなどへの適用も可能となる。
【００２０】
更なる利用例として、例えば、自動車の運転支援システム(ドライブレコーダ)に適用される場合を示す。図１０で、カメラを自動車に搭載し、車載カメラとして用いた例である。ドライブレコーダのようなシステムに本発明を応用すれば、車に記された指標の情報から、路面上の物体との位置関係が推測できることになる。すなわち、図に示されるように車のボンネット上に指標９を記しておき、カメラのレンズ系の焦点は近距離の指標９にあわされており、透明な平行平板が介在する撮像面に物体１０が捉えられるようにカメラが設置される。この設定を通常のカメラで行えば図１０(b)のような画像となって、対象物１０の像がぼける。対象物１０にピントを合わせると今度は図１０(a)のように指標９の像がぼける。本発明の特殊カメラを用いれば図１０(c)のように対象物１０も指標９の像もピントのあった画像として得ることができる。したがって、この指標から対象物１０までの距離を推定することができる。
動画像をもちいることで、車の速度情報も得られる。勿論、車には速度メータが搭載されており、直接の利用メリットは低いが、動画像の記録データは速度メータの記録の検証データとして有効となる。交通事故が発生した場合、位置関係を定量的に知ることが出来るようになり、原因究明に貢献できる可能性がある。
【００２１】
透過型校正器具を用いるカメラキャリブレーションに本発明を利用する場合を提示する。特許文献２に示された透過型カメラ校正器具は、本発明者が以前提案した技術である。極端に近い位置に網状の指標21を空間的に配置して、その空間位置から、カメラの特性(フォーカス値、変位量)をキャリブレーションするものである。指標21は細いワイヤから形成されているので、フォーカスを(遠くにある)物体に合わせると、図１１(a)に示されるようにフォーカスぼけの影響でほぼ完全に消えてしまう。また、指標21にフォーカスをあわせると、図１１(b)に示されるように物体がぼやけてワイヤを抽出しやすくなる特徴がある。従来の方法では、フォーカスを変えてそれぞれの画像を撮影する必要があった。しかし、本発明が提案する方法を用いると、左右の画像領域で異なるフォーカス画像を得ることが可能となり、図１１(c)に示されるような画像が得られる。透過型校正器具を用いるカメラキャリブレーションに必要な２つのフォーカス画像を同時に得ることが可能となる。
【００２２】
次に、回転カメラステージを用い、パノラマ画像の要領で画像を撮影し、近焦点画像と遠焦点画像の多重フォーカス画像の合成に利用する方法を提示する。本発明の撮像方法は被写体がシーンの中で図７に示したように近焦点の被写体ａと遠焦点の被写体ｂが画像領域として区分されている場合にはよいのであるが、透明な平行平板が介在する領域にも、介在しない領域にも近焦点の被写体ａと遠焦点の被写体ｂが混在しているようなシーンを撮影する場合もあり、提案するように、左右２面の遠方と近傍にフォーカスを合わせる方法では、被写体全てにフォーカスを合わせることができない場合がある。しかし、このような場合においても提案するカメラを回転ステージに搭載し、回転(パン)させて画像を撮影することにより、視野全域にわたる近焦点画像と遠焦点面像を得ることができる。すなわち、この２枚の面像は同じ位置からの画像であるので、多重フォーカス画像が撮影できることになる。
回転カメラステージは図１２で示すように、垂直面の回転ステージＶＳと水平面の回転ステージＨＳが組まれたものである。例えば、使用するカメラの撮像画面の左側が遠焦点画像で、右側が近焦点画像とする。このカメラ６を水平面の回転ステージＨＳ上に据え置き、この水平面の回転ステージＨＳを回転させつつ水平方向パノラマ形態で撮影する。画像撮影として、最初はＡａ画像が得られ、２回目にはａＢ画像、３回目にはＢｂ画像が撮影される。この３回撮影を行うと、Ａ，ａ，Ｂの領域についての遠焦点画像と、ａ，Ｂ，ｂについての近焦点画像が得られる。結果的に、ａ，Ｂの部分については、遠焦点画像と近焦点画像が得られることになる。この得られた画像からピントのあった画像を抽出して合成すれば、ａ，Ｂそれぞれの領域にある近距離と遠距離にある被写体をぼけない遠近焦点画像として得ることができる。上下方向に焦点を変えたカメラ６を使用する場合には垂直面の回転ステージＶＳを回転させて回転させつつ撮影する使用法となる。
【００２３】
つぎに本発明の第２の形態、透明の光学素子として平行平面板でなく、断面が楔形状の平面板であるウェッジ板２を撮像面前方に介在させることにより、焦点位置が連続的に変化する現象を利用したアオリ撮影(チルトアオリ撮影)の手法を提示する。この手法の概念図を図１３に示す。レンズ系３と撮像素子４との間に断面が楔形状の平面板２を配置する。図１で示したように撮像素子４の前方に空気より屈折率が高い（＞１）透明物質が存在すれば被写体の結像位置は後方にシフトする。そのシフトする値は透明物質を通過する光路が長いほど大きくなる。したがって、図１３に示したような場合、撮像面において下方に行くほど被写体の遠方にシフトすることとなる。ということは撮像面の上方位置には近傍の被写体が結像され、下方に行くほど遠方の被写体が結像されることとなる。一面に咲いている花畑の手前にある花から奥に咲く花までぼけない画像をこのカメラを用いて俯瞰して撮影し、フォーカスぼけ（ピンぼけ）のない全合焦画像を撮影することができる。
手前から奥までフォーカスを合わせる従来のアオリ撮影は、特殊なカメラ(蛇腹カメラ)、あるいは特殊なレンズ(ティルト機能付レンズ)を用いて、レンズの光軸と撮像面の位置関係を変える方法である。この方法により、被写界深度が変化して、画像上部は奥に、画像下部は近くにフォーカスがあうようにするものである。本発明の第２の形態はこれと同等の効果を、メカニカルな調整機構を用いることなく単純な構成で実現させる方法である。
【００２４】
上記のような断面が楔形状の平面板２をカメラの撮像面前方に介在させることにより、焦点位置が連続的に変化する現象を利用したアオリ撮影における光路解析(レンズ設計ＣＡＤの結果)の例を図１４に示す。これは物体の距離100ｍｍ、レンズ焦点距離10ｍｍ、撮像倍率0.10倍、物体面の傾き30°、ウェッジプリズム頂角8.3°を設定条件として光路解析を行った結果である。図中のOBJECTIVEは、フォーカスの合焦面を表している。この解析図より、断面が楔形状の平面板の介在は被写界深度を斜めにする効果があることがわかる。
【００２５】
実際の実験結果を図１５に示す。実際のカメラにウェッジ板２を設置して画像の撮影を行った。奥行約60ｃｍのテストパターン(紙に、直線と点を印刷したもの)を、斜め上から撮影した。図１５(a)は、通常の状態で撮影したものである。フォーカスは、中間距離にある被写体が写っている画像の中央にしかあっておらず、手前と奥はボケが強い。図１５(b)は、ウェッジ板２を用い、アオリ撮影を行った結果である。全体に白っぽくなっており、若干のボケもみられるが、通常撮影に比べると、手前から奥までフォーカスがあっている。この実験結果から、ある程度の効果が確認できた。より効果を上げるためには、レンズ特性や撮影条件により、ウェッジ板の角度や材質を選定する必要があるといえる。
【産業上の利用可能性】
【００２６】
産業上、遠くの物体と近くの物体にフォーカスのあった画像を得ることは意義深い。本提案は、非常に簡単な工夫で、既存のカメラ・レンズシステムや処理系に簡単な構成を付加するだけで適用できるので利用価値が高い。上記した例に限られず、透明な平行平板を用いるものは距離方向に間欠的に分布する観察対象物を連続的にモニターする場合などに最適である。従来はそれぞれに得たモニター画像を時間的同期を取りながら状況を把握する必要があったが、本発明では１つの画像中に各観察対象物が合焦画像として得られるため、特別の後処理を要せず一度に全体の状況を把握することができる。また、断面が楔形状の平面板をカメラの撮像面前方に介在させることにより、焦点位置が連続的に変化する現象を利用したアオリ撮影手法は、上記した例に限られず、距離方向に観察対象物が広く連続的に分布したシーンの撮影に最適である。入学式や卒業式等大勢が居並ぶ会場を舞台から撮影する場合など広く利用できる。
【符号の説明】
【００２７】
１ 透明な平行平面板 ２ 断面が楔形の透明平面板
３ レンズ系 ４ 撮像素子（ＣＣＤ等）
５ 直動ステージ ６ カメラ
７ 目盛板 ８,８１,８２ 被写体
９ 指標 １０ 対象物
２１ 透過型カメラ校正器の指標
Ｌ１ 通常の光路 Ｌ２ 平行平面版により屈折した光路
ｄ 結像面 ｔ 移行部
ＳＬ 直動スライド部 ＳＲ 回転スライド部
ＨＳ 水平面の回転ステージ ＶＳ 垂直面の回転ステージ
【先行技術文献】
【特許文献】
【００２８】
【特許文献１】特開平１１−２９５８２６号公報 「複数画像を用いる画像処理方法およびそれに用いる複数画像同時撮像型カメラ装置」平成１１年１０月２９日公開
【特許文献２】特開２００６−３０１５７号公報 「カメラ校正のための透過型校正器具とその校正法」平成１８年２月２日公開
【非特許文献】
【００２９】
【非特許文献１】http://doug.kerr.home.att.net/pumpkin/Glass_Plate.pdf 「The Effect of Inserting a Flat Glass Plate into the Optical Path Downstream from a Lens」
【特許請求の範囲】
【請求項１】
フォーカスを変化させるための透明な光学素子をカメラのレンズ系と撮像面の間に配置し、被写体を撮影するようにしたフォーカスが異なる画像の撮影方法。
【請求項２】
透明な光学素子として平行平板を用いると共に、該平行平板を撮像面の前方位置に部分的に配置し、当該部分のフォーカスをシフトさせるようにした請求項１に記載のフォーカスが異なる画像の撮影方法。
【請求項３】
フォーカスが異なる画像領域分だけカメラをシフトし、隣接する三つの画像から合焦画像を抽出し、同一領域内にある遠近距離の被写体を合成する請求項２に記載のフォーカスが異なる画像の撮影方法。
【請求項４】
透明な光学素子として断面が楔状の平面板を撮像面の前方位置に配置して、画像のフォーカスを連続的に変化させるようにした請求項１に記載のフォーカスが異なる画像の撮影方法。
【請求項５】
レンズ系と撮像面の間であって該撮像面の前方位置に部分的に透明な平行平面板を配置し、当該部分のフォーカスをシフトさせるようにしたことによりフォーカスが異なる画像を結像させるカメラ。
【請求項６】
透明な平行平面板は回転スライド機構と直動スライド機構とを備え、撮像面に対して位置調整が可能であることを特徴とする請求項５に記載のフォーカスが異なる画像を結像させるカメラ。
【請求項７】
レンズ系と撮像面の間であって該撮像面の前方位置に断面が楔状の平面板を配置して、画像のフォーカスを撮像面内で連続的に変化させることによりフォーカスが異なる画像を結像させるカメラ。
【請求項１】
フォーカスを変化させるための透明な光学素子をカメラのレンズ系と撮像面の間に配置し、被写体を撮影するようにしたフォーカスが異なる画像の撮影方法。
【請求項２】
透明な光学素子として平行平板を用いると共に、該平行平板を撮像面の前方位置に部分的に配置し、当該部分のフォーカスをシフトさせるようにした請求項１に記載のフォーカスが異なる画像の撮影方法。
【請求項３】
フォーカスが異なる画像領域分だけカメラをシフトし、隣接する三つの画像から合焦画像を抽出し、同一領域内にある遠近距離の被写体を合成する請求項２に記載のフォーカスが異なる画像の撮影方法。
【請求項４】
透明な光学素子として断面が楔状の平面板を撮像面の前方位置に配置して、画像のフォーカスを連続的に変化させるようにした請求項１に記載のフォーカスが異なる画像の撮影方法。
【請求項５】
レンズ系と撮像面の間であって該撮像面の前方位置に部分的に透明な平行平面板を配置し、当該部分のフォーカスをシフトさせるようにしたことによりフォーカスが異なる画像を結像させるカメラ。
【請求項６】
透明な平行平面板は回転スライド機構と直動スライド機構とを備え、撮像面に対して位置調整が可能であることを特徴とする請求項５に記載のフォーカスが異なる画像を結像させるカメラ。
【請求項７】
レンズ系と撮像面の間であって該撮像面の前方位置に断面が楔状の平面板を配置して、画像のフォーカスを撮像面内で連続的に変化させることによりフォーカスが異なる画像を結像させるカメラ。
【図１】
【図２】
【図３】
【図５】
【図６】
【図７】
【図１２】
【図１３】
【図１４】
【図４】
【図８】
【図９】
【図１０】
【図１１】
【図１５】
【図２】
【図３】
【図５】
【図６】
【図７】
【図１２】
【図１３】
【図１４】
【図４】
【図８】
【図９】
【図１０】
【図１１】
【図１５】
【公開番号】特開２０１０−２４９９６５（Ｐ２０１０−２４９９６５Ａ）
【公開日】平成２２年１１月４日（２０１０．１１．４）
【国際特許分類】
【出願番号】特願２００９−９７５６５（Ｐ２００９−９７５６５）
【出願日】平成２１年４月１４日（２００９．４．１４）
【出願人】（５０３３６１４００）独立行政法人 宇宙航空研究開発機構 (453)
【Ｆターム（参考）】
【公開日】平成２２年１１月４日（２０１０．１１．４）
【国際特許分類】
【出願日】平成２１年４月１４日（２００９．４．１４）
【出願人】（５０３３６１４００）独立行政法人 宇宙航空研究開発機構 (453)
【Ｆターム（参考）】
[ Back to top ]