画像補正装置及び画像補正方法
【課題】撮影対象に対して傾斜されて撮影されて元の画像から歪んで得られた画像を補正する際に、元の画像と撮影された画像との、撮影前の既知の基準線や対応点を必要とせず、撮影された画像の傾き及び歪みを品位良く補正できる文字画像補正装置を提供する。
【解決手段】ステレオ撮影で得られた一対の画像間の対応点を抽出する対応点抽出部４、対応点の３次元空間座標に基づいて射影変換係数を算出して、撮影された画像座標毎の３次元座標を算出する空間座標算出部５、空間座標算出部５の座標平面に対する撮像装置の傾斜角を算出して、傾斜角を打ち消すように３次元座標を補正する空間座標補正部６、空間座標補正部６で補正された３次座標に対応付けて画像を補正する正面画像生成部７、等を備える。
【解決手段】ステレオ撮影で得られた一対の画像間の対応点を抽出する対応点抽出部４、対応点の３次元空間座標に基づいて射影変換係数を算出して、撮影された画像座標毎の３次元座標を算出する空間座標算出部５、空間座標算出部５の座標平面に対する撮像装置の傾斜角を算出して、傾斜角を打ち消すように３次元座標を補正する空間座標補正部６、空間座標補正部６で補正された３次座標に対応付けて画像を補正する正面画像生成部７、等を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影された文字や図形の歪補正に係る画像補正装置及び画像補正方法に関する。
【背景技術】
【０００２】
従来、デジタルカメラは、広く普及し、風景や人物に限らず時刻表やポスターなどの文字を含む画像を撮影する際にも用いられるようになってきた。さらには、手書き文字や印刷された文字を、デジタルカメラを用いて光学的に読み取り、前もって記憶されたパターンとのマッチングにより文字を特定する光学式文字読み取り装置（ＯＣＲ：Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｄｅｒ）にも用いられている。しかしながら、撮影された文字画像は、撮影する位置により撮影対象に対する「アオリ」や「回転ズレ」が生じて歪むので、その文字の特定が困難であって読みづらく、そのまま使用するには最適なものではなかった。
【０００３】
例えば、書画カメラによる手書き文字や印刷物の撮影、デジタルカメラによるホワイトボードに記述された図形や文字の撮影等において、認識度を向上させるためには、カメラと撮影対象との水平線を合わせ、且つ、カメラの視点を対象物の中心位置の垂直方向から見えるように撮影条件を設定する必要がある。
【０００４】
書画カメラを用いる際には、撮影位置や被写体の位置を調整することによって、前述の「カメラと撮影対象との水平線を合わせ、且つ、カメラの視点を対象物の中心位置の垂直方向から見えるように設置する」という撮影条件を比較的容易に設定できるが、撮影したい原稿が大きくて書画カメラに載置できない場合には、この撮影条件を設定することが困難であった。また、ホワイトボードに記述された図形や文字を撮影する際には、手持ちカメラを用いることが多く、前述の撮影条件を設定することが困難であった。
【０００５】
「アオリ」は、例えば被写体が矩形であるのに対し、撮影される画像が撮影する位置によって台形に歪む現象である。そこで、文字画像をデジタルカメラで撮影する際には、あたかも被写体に正対した位置から撮影したように、「アオリ」を補正する（所謂、画像変換を行う）技術が知られている。
【０００６】
例えば、ホワイドボードの外形が長方形であるという前提に立ち、ホワイトボードの各辺を撮影し、撮影されたホワイドボードの長方形の変形度合いから、撮影の視点のズレを検出し、このズレを打ち消すように歪みを補正する。
【０００７】
図５（ａ）が横書きの文字列が印刷された元画像、図５（ｂ）が図５（ａ）の文字列が撮影方向からみて仰角方向及び回転方向に傾いて撮影された画像である。この際、図５（ｂ）の撮影状態でＯＣＲに入力すると、文字が傾いて歪んでおり、文字の回転補正やパターンマッチングによる文字の特定が有効に働かず、文字を認識することができない。即ち、一般に、ＯＣＲは、文字列の回転補正の機能を備え、回転補正された水平及び垂直方向、上下反転（天地反転）の文字列を認識することが出来るが、回転補正しても歪んでいる（例えば、台形に歪んでいる）文字を認識することが困難であった。
【０００８】
そこで、このような「アオリ」を伴う画像を補正する際に、射影変換が用いられている。射影変換は、視点（ビューポイント）を変えて、既知の対応点（例えば、長方形領域だった部分）を抽出し、変形された対応点の座標を決定することにより変換行列を求め、この変換行列を用いて文字列等の撮影対象の画像を補正する（例えば、特許文献１参照）。
【０００９】
そして、平面に配置されている物体（例えば、文字が印刷された用紙である）をデジタルカメラで撮影した際には、２次元射影変換が用いられる。２次元射影変換は、撮影された画像における座標を（ｕ，ｖ）、撮影された実空間における座標を（ｘ，ｙ）、変換行列における係数をａ１〜ａ８とすると、式１で表すことができる。
【数１】
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００７−０５８６３４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、従来の画像補正の技術によれば、予め既知の対応点や基準線（例えばホワイドボード外形線である）を備える必要があって、さらに改善の余地があった。
【００１２】
例えば、ホワイトボードの外形に基づいて補正する際には、ホワイトボードが大きすぎて所望の文字や図形と一体に撮影することが困難になったり、ホワイトボードの外形が撮影範囲からはみ出して補正が困難になったりする虞があった。
【００１３】
また、被写体内の既知の対応点に基づいて補正する際には、撮影前にこの対応点の座標を取得又は計測する必要があると共にこの座標取得の精度も要求されるので、操作性を損なう虞があった。
【００１４】
そこで、本発明は、撮影対象（特には、撮影対象が文字や図形が形成された平面体である）に対して傾斜されて撮影されて元の画像から歪んで得られた画像を補正する際に、元の画像と撮影された画像との撮影前の既知の基準線や対応点を必要とせず、撮影された画像の傾き及び歪みを品位良く補正できる画像補正装置及び画像補正方法を提供することを目的とする。
【課題を解決するための手段】
【００１５】
かかる目的を達成するためになされた請求項１に記載の発明は、画像補正装置において、被写体に対向して配置され、該被写体をステレオ撮影する第１、第２の一対の撮像装置と、前記ステレオ撮影によって得られた一対の画像間の対応点を抽出する対応点抽出手段と、前記対応点の画像座標に基づいて、前記被写体の該対応点に対応する３次元座標を算出する３次元座標算出手段と、前記３次元座標算出手段で算出された３次元座標に基づいて、前記被写体の３次元座標を２次元座標に射影変換する際の、変換係数を算出する射影変換係数算出手段と、前記変換係数に基づいて、前記撮影された画像の座標毎に、前記３次元座標を算出する第２の３次元座標算出手段と、前記第２の３次元座標算出手段で算出された３次元座標に基づいて、前記３次元座標が同一の平面上に構成される３次元空間上の平面に対して、前記撮像装置の傾斜角を算出する傾斜角算出手段と、前記傾斜角算出手段で算出された傾斜角に基づいて、該傾斜角を打ち消すように、前記３次元座標を補正する３次元座標補正手段と、前記３次元座標補正手段で補正された３次座標に対応付けて前記画像を補正して、前記被写体を正面から撮影した画像を生成する画像傾き補正手段と、を備えたことを特徴とする。
【００１６】
請求項１に記載の画像補正装置によれば、ステレオ撮影で得られた一対の画像に基づいて、撮像された画像の座標と被写体の３次元座標とを対応付けて、被写体に対する撮像装置の傾斜角を算出し、この傾斜角を打ち消すように撮影された画像を補正できる。これにより、請求項１に記載の画像補正装置は、撮影対象（特には、撮影対象が文字や図形が形成された平面体である）に対して傾斜されて撮影されて元の画像から歪んで得られた画像を補正する際に、撮影前に元の画像と撮影された画像との、撮影前の既知の対応点や基準線を必要とせず、撮影された画像の傾き及び歪みを品位良く補正できる。
【００１７】
次に、請求項２に記載の発明は、画像補正方法において、被写体に対向して配置され、該被写体をステレオ撮影する第１、第２の一対の撮像装置を用い、前記ステレオ撮影によって得られた一対の画像間の対応点を抽出する対応点抽出ステップと、前記対応点の画像座標に基づいて、前記被写体の該対応点に対応する３次元座標を算出する３次元座標算出ステップと、前記３次元座標算出ステップで算出された３次元座標に基づいて、前記被写体の３次元座標を２次元座標に射影変換する際の、変換係数を算出する射影変換係数算出ステップと、前記変換係数に基づいて、前記撮影された画像の座標毎に、前記３次元座標を算出する第２の３次元座標算出ステップと、前記第２の３次元座標算出ステップで算出された３次元座標に基づいて、前記３次元座標が同一の平面上に構成される３次元空間上の平面に対して、前記撮像装置の傾斜角を算出する傾斜角算出ステップと、前記傾斜角算出ステップで算出された傾斜角に基づいて、該傾斜角を打ち消すように、前記３次元座標を補正する３次元座標補正ステップと、前記３次元座標補正ステップで補正された３次座標に対応付けて前記画像を補正して、前記被写体を正面から撮影した画像を生成する画像傾き補正ステップと、を備えたことを特徴とする。
【００１８】
請求項２に記載の画像補正方法によれば、請求項１に記載の発明と同様に、ステレオ撮影で得られた一対の画像に基づいて、撮像された画像の座標と被写体の３次元座標とを対応付けて被写体に対する撮像装置の傾斜角を算出し、この傾斜角を打ち消すように撮影された画像を補正できる。これにより、請求項２に記載の画像補正方法は、撮影対象（特には、撮影対象が文字や図形が形成された平面体である）に対して傾斜されて撮影されて元の画像から歪んで得られた画像を補正する際に、元の画像と撮影された画像との撮影前の既知の対応点や基準線を必要とせず、撮影された画像の傾き及び歪みを品位良く補正できる。
【発明の効果】
【００１９】
本発明の画像補正装置及び画像補正方法は、撮影対象（特には、撮影対象が文字や図形が形成された平面体である）に対して傾斜されて撮影されて元の画像から歪んで得られた画像を補正する際に、元の画像と撮影された画像との撮影前の既知の対応点や基準線を必要とせず、撮影された画像の傾き及び歪みを品位良く補正できる。
【図面の簡単な説明】
【００２０】
【図１】本発明の一実施例の、画像補正装置の構成を表したブロック図である。
【図２】同実施例の画像補正装置における、ステレオ撮影の説明図である。
【図３】同実施例の画像補正装置における、傾いた元画像の傾きを補正して撮像装置に直交する平面座標に変換する際の説明図である。
【図４】本発明の一実施例の、画像補正方法の手順を表したフローチャートである。
【図５】同実施例の画像補正装置における、撮影される元画像と撮影された補正前の画像を表した図である。
【発明を実施するための形態】
【００２１】
次に、本発明の画像補正装置及び画像補正方法の一実施例を図面に基づいて説明する。
図１に表したように、本実施例の画像補正装置１００は、被写体Ｐに対向して配置されて被写体Ｐをステレオ撮影する第１撮像装置１及び第２撮像装置２、第１撮像装置１及び第２撮像装置２で撮影された夫々の画像を所定領域毎に走査して相関度を検出するパターンマッチング処理部３、パターンマッチング処理部３で得られた相関度に基づいての一対の画像間の対応点を抽出する対応点抽出部４、対応点抽出部４で抽出された対応点に対応する被写体Ｐの３次元座標を算出する空間座標算出部５、空間座標算出部５の座標平面に対する撮像装置１、２の傾斜角を算出して、傾斜角を打ち消すように３次元座標を補正する空間座標補正部６、空間座標補正部６で補正された３次座標に対応付けて撮像装置１、２で撮影された画像を補正する正面画像生成部７、図示しないＣＰＵ、ＲＯＭ等を備え、ＣＰＵがＲＯＭと協働して当該画像補正装置１００の動作を制御する。
【００２２】
撮像装置１、２は、被写体Ｐの光学像をイメージセンサ２ｂ、２ｂに導く撮像光学系１ａ、２ａ、撮像光学系１ａ、２ａを介して結像した光学像を受光量に対応付けて電気信号に変換するイメージセンサ１ｂ、２ｂ、イメージセンサ１ｂ、２ｂから出力した電気信号を記憶する画像メモリ１ｃ、２ｃ等によって構成されている。
【００２３】
また、イメージセンサ１ｂ及び２ｂは、複数の光電変換素子がマトリクス状に配置されて、個々の光電変換素子毎に被写体光を光電変換してアナログ電気信号に変換すると共に、このアナログ電気信号をデジタル値に変換し、画像メモリ１ｃ、２ｃに出力する。
【００２４】
また、画像メモリ１ｃ、２ｃは、イメージセンサ１ｂ、２ｂから出力されたデジタル信号を、光電変換素子の配置に対応付けて記憶する。
【００２５】
次に、対応点抽出部４は、パターンマッチング処理部３で検出された相関度に基づいて画素分布が最も近似している少なくも４組の領域を抽出し、この領域の中央点を一対の画像間の対応点とする。この際、抽出する対応点の組数は、少なくとも４組であって更に多数であることが好ましい。また、複数の対応点は、撮影画面の大きさに応じて適度に離間していることが好ましい。
【００２６】
次に、空間座標算出部５は、対応点抽出部４で抽出された複数の対応点の、実空間における３次元座標を算出する対応点空間座標算出部５ａ、対応点空間座標算出部５ａで算出された３次元座標に基づいて、被写体Ｐの３次元座標を２次元座標に射影変換する際の変換係数を算出する射影変換係数算出部５ｂ、撮像装置１、２の画像座標毎に空間座標（実空間における３次元座標）を算出する画素毎空間座標算出部５ｃ等によって構成されている。
【００２７】
本実施例の画像補正装置１００では、前述のように４組以上の対応点を得るためにステレオ撮影し、撮影された画像における座標（ｕ，ｖ）と空間座標（ｘ，ｙ，ｚ）の組を求める。
【００２８】
ステレオ撮影による画像計測は、図２に表したように、被写体Ｐの実空間座標をＰ（ｘ，ｙ，ｚ）、第１撮像装置１で撮影された被写体Ｐの画像座標をＰ１（ｘ１，ｙ１）、第２撮像装置２で撮像された被写体Ｐの画像座標をＰ２（ｘ２，ｙ２）、撮像装置１における結像位置をＯ１、撮像装置２における結像位置をＯ２、撮像装置１及び撮像装置２の焦点距離をｃ、基線長（撮像装置１と撮像装置２との光軸間距離である）をＢとすると、（式２）〜（式４）の関係がある。
ｘ１＝ｃ・ｘ／ｚ…（式２）
ｙ１＝ｙ２＝ｃ・ｙ／ｚ …（式３）
ｘ２−ｘ１＝ｃ・Ｂ／ｚ …（式４）
そこで、（式４）によりｚを求め、この求めたｚを（式２）、（式３）に代入することにより、ｘ、ｙを求め、被写体Ｐの三次元座標Ｐ（ｘ，ｙ，ｚ）を得ることができる。
【００２９】
この際、平面方向（撮像装置１、２から計測対象に向かう光軸方向に直交する平面）の分解能をΔＸＹ、奥行方向（撮像装置１、２から計測対象に向かう光軸方向）の分解能をΔＺ、撮像装置１及び撮像装置２の画像分解能（１ピクセルの大きさ）をΔｐ、撮影距離をＬとすると、（式５）、（式６）を用いて、夫々の分解能を求めることができる。
ΔＸＹ＝（Ｌ／Ｃ）×Δｐ … （式５）
ΔＺ＝（Ｌ／Ｂ）×ΔＸＹ … （式６）
【００３０】
例えば、焦点距離ｃを１０ｍｍ、撮影距離Ｌを１ｍ、基線長Ｂを１０ｃｍ、画像分解能Δｐを５μｍとしたとき、これらの数値を（式５）、（式６）に代入することにより、平面分解能が０．５ｍｍ、奥行分解能が５ｍｍになる。
【００３１】
また、対応点空間座標算出部５ａは、対応点抽出部４を介してえられた４組の対応点に対となる画像座標毎に、（式２）〜（式４）を用いて、４組の対応点に対応する実空間座標（ｘ，ｙ，ｚ）を算出する。
【００３２】
次に、射影変換係数算出部５ｂは、（式１）に４組の対応点に対応する実空間座標（ｘ，ｙ，ｚ）と画像座標（ｕ，ｖ）を代入して、（式１）の条件を満足する変換係数（ａ１〜ａ８）を算出する。
【００３３】
次に画素毎空間座標算出部５ｃは、（式１）から画像座標ｘｙを求める算式（式７）に変換し、（式７）を用いて、撮影された全ての画像座標に対応する空間座標（ｘ，ｙ,ｚ）を算出する。また、この際、（式２）を用いてｚ座標を算出する。
【数２】
【００３４】
次に、空間座標補正部６は、認識したい文字や図形が含まれた被写体Ｐの空間的配置が判明したので、図３（ａ）、図３（ｂ）に表したように、この画像データを正面からみた画像データに変換する。
【００３５】
空間座標補正部６は、空間座標算出部５で算出された３次元座標に基づいて、３次元座標が同一の平面上に構成される３次元空間上の平面に対する法線ベクトルを算出する法線ベクトル算出部６ａ、法線ベクトル算出部６ａで算出された法線ベクトルに基づいて、３次元空間上の平面に対する撮像装置１、２の傾斜角（Φ、θ）を算出する傾斜角算出部６ｂ、傾斜角算出部６ｂで算出された傾斜角（Φ、θ）に基づいて、傾斜角（Φ、θ）を打ち消すように３次元座標（ｘ，ｙ，ｚ）を補正する空間座標回転補正部６ｃ、等によって構成されている。
【００３６】
詳しくは、法線ベクトル算出部６ａは、画素毎空間座標算出部５ｃで算出された３点以上の空間座標（ｘ、ｙ、ｚ）を夫々（式８）に代入し、（式８）を満足するベクトル（ａ，ｂ，ｃ）を求める。
ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０ … （式８）
【００３７】
次に、傾斜角算出部６ｂは、図３（ｂ）に表したように、法線ベクトルを極座標に表示して、ｘ軸、ｚ軸となす角度を夫々Φ、θとすると（式９）の関係式があるので、この関係式におけるｘ、ｙ、ｚにａ、ｂ、ｃを代入して、傾斜角Φ、θを算出する。
【数３】
【００３８】
次に、空間座標回転補正部６ｃは、三次元空間座標に対してΦ、θの傾斜角分を補正して正面から視た座標に変換する。この際、正面から視た座標を（Ｘｆ，Ｙｆ，Ｚｆ）と表し傾斜した平面座標を（Ｘｓ，Ｙｓ，Ｚｓ）と表すと、（式１０）を用いて、正面から視た座標（Ｘｆ，Ｙｆ，Ｚｆ）を得ることができる。
【数４】
【００３９】
次に、正面画像生成部７は、空間座標回転補正部６ｃで得られた正面画像の画素座標（Ｘｆ，Ｙｆ，Ｚｆ）に対応付けて、撮影された画像を補正する。この際、空間座標（Ｘｆ，Ｙｆ，Ｚｆ）は、必ずしも撮像装置１、２の画像座標に一致するとは限らないので、その際には、共１次内挿法を用いて、空間座標の画素に対応付けて画像座標の画素を補間生成する。
【００４０】
以上のように、本実施例に記載の画像補正装置１００は、被写体Ｐをステレオ撮影する一対の撮像装置１、２、ステレオ撮影によって得られた一対の画像間の対応点を抽出する対応点抽出部４、対応点の画像座標に基づいて、対応点に対応する被写体Ｐの３次元座標を算出する対応点空間座標算出部５ａ、対応点空間座標算出部５ａで算出された３次元座標に基づいて、被写体Ｐの３次元座標を２次元座標に射影変換する際の変換係数（ａ１〜ａ８）を算出する射影変換係数算出部５ｂ、変換係数に基づいて、撮影された画像の座標毎に３次元座標を算出する画素毎空間座標算部５ｃ、画素毎空間座標算部５ｃで算出された３次元座標に基づいて、３次元座標が構成される３次元空間上の平面に対する撮像装置１、２の傾斜角（Φ、θ）を算出する傾斜角算出部６ｂ、傾斜角算出部６ｂで算出された傾斜角（Φ、θ）に基づいて、傾斜角（Φ、θ）を打ち消すように３次元座標を補正する空間座標回転補正部６ｃ、空間座標回転補正部６ｃで補正された３次座標に対応付けて、撮影された画像を補正して被写体Ｐを正面から撮影した画像を生成する正面画像生成部７、等を備えている。
【００４１】
これにより、本実施例の画像補正装置１００は、撮影対象（特には、撮影対象が文字や図形が形成された平面体である）に対して傾斜されて撮影されて元の画像から歪んで得られた画像を補正する際に、元の画像と撮影された画像との、撮影前の既知の対応点や基準線を必要とせず、撮影された画像の傾き及び歪みを品位良く補正できる。
【００４２】
次に、図３を用いて、本発明の一実施例の画像補正方法の手順を説明する。この手順は、図示されないＣＰＵが図示されないＲＯＭに格納されたプログラムにもとづいて、各機能部に指令信号を与えて実行する。また、図３におけるＳは、ステップを表している。
【００４３】
先ず、この手順は、オペレータによって画像補正装置１００に起動信号が入力された際にスタートする。
【００４４】
次いで、Ｓ１００において、以前の画像処理で算出されたデータを初期化し、その後、Ｓ１１０に移る。
【００４５】
次いで、Ｓ１１０において、撮像装置１、２を用いて被写体Ｐをステレオ撮影して画像データを取得し、その後、Ｓ１２０に移る。
【００４６】
次いで、Ｓ１２０において、パターンマッチング処理部３を用いて、第１撮像装置１及び第２撮像装置２で撮影された夫々の画像データを所定領域毎に走査して相関度を検出し、その後、Ｓ１３０に移る。
【００４７】
次いで、Ｓ１３０において、対応点抽出部４を用いて、Ｓ１２０で検出された相関度に基づいて画素分布が最も近似している（所謂、相関度が高い）少なくも４組の領域を抽出し、この領域の中央点を一対の画像間の対応点として検出し、その後、Ｓ１４０に移る。
【００４８】
次いで、Ｓ１４０において、対応点空間座標算出部５ａを用いて、Ｓ１３０で算出された対応点毎に空間座標（ｘ，ｙ，ｚ）を算出し、その後、Ｓ１５０に移る。
【００４９】
次いで、Ｓ１５０において、射影変換係数算出部５ｂを用いて、被写体Ｐの３次元座標を２次元座標に射影変換する際の変換係数（ａ１〜ａ８）を算出し、その後、Ｓ１６０に移る。
【００５０】
次いで、Ｓ１６０において、画素毎空間座標算出部５ｃを用いて、撮影された画像の画素毎の空間座標を算出し、その後、Ｓ１７０に移る。
【００５１】
次いで、Ｓ１７０において、法線ベクトル算出部６ａを用いて、３次元座標が同一の平面上に構成される３次元空間上の平面に対する法線ベクトルを算出し、その後、Ｓ１８０に移る。
【００５２】
次いで、Ｓ１８０において、傾斜角算出部６ｂを用いて、Ｓ１７０で算出された法線ベクトルに基づいて、３次元空間上の平面に対する撮像装置１、２の傾斜角（Φ、θ）を算出し、その後、Ｓ１９０に移る。
【００５３】
次いで、Ｓ１９０において、空間座標回転補正部６ｃを用いて、Ｓ１８０で算出された傾斜角（Φ、θ）に基づいて、傾斜角（Φ、θ）を打ち消すように３次元座標（ｘ，ｙ，ｚ）を補正し、その後、Ｓ２００に移る。
【００５４】
次いで、Ｓ２００において、正面画像生成部７を用いて、Ｓ１９０で補正された３次元座標に対応付けて、撮影された画像を補正して正面から視た画像を生成し、本画像補正方法の処理を終了する。
【００５５】
以上のように、本実施例に記載の画像補正方法は、被写体Ｐをステレオ撮影する一対の撮像装置１、２、ステレオ撮影によって得られた一対の画像間の対応点を抽出する対応点抽出ステップ（Ｓ１３０）、対応点の画像座標に基づいて、対応点に対応する被写体Ｐの３次元座標を算出する３次元座標算出ステップ（Ｓ１４０）、対応点算出ステップ（Ｓ１４０）で算出された３次元座標に基づいて、被写体Ｐの３次元座標を２次元座標に射影変換する際の変換係数を算出する射影変換係数算出ステップ（Ｓ１５０）、変換係数に基づいて。撮影された画像の座標毎に３次元座標を算出する第２の３次元座標算出ステップ（Ｓ１６０）、第２の３次元座標算出ステップ（Ｓ１６０）で算出された３次元座標に基づいて、３次元座標が同一の平面上に構成される３次元空間上の平面に対する撮像装置１、２の傾斜角（Φ、θ）を算出する傾斜角算出ステップ（Ｓ１８０）、傾斜角算出ステップ（Ｓ１８０）で算出された傾斜角（Φ、θ）に基づいて、傾斜角（Φ、θ）を打ち消すように、３次元座標を補正する３次元座標補正ステップ（Ｓ１９０）、３次元座標補正ステップ（Ｓ１９０）で補正された３次座標に対応付けて、撮影された画像を補正して被写体Ｐを正面から撮影した画像を生成する画像傾き補正ステップ（Ｓ２００）、等を備えている。
【００５６】
これにより、本実施例の画像補正方法は、撮影対象（特には、撮影対象が文字や図形が形成された平面体である）に対して傾斜されて撮影されて元の画像から歪んで得られた画像を補正する際に、元の画像と撮影された画像との、撮影前の既知の対応点や基準線を必要とせず、撮影された画像の傾き及び歪みを品位良く補正できる。
【００５７】
以上、本発明の一実施例について説明したが、本発明は前記実施例に限定されるものでなく、各種の態様をとることができる。
【産業上の利用可能性】
【００５８】
本発明に係る画像補正装置及び画像補正方法は、書画カメラによる手書き文字や印刷物の撮影やデジタルカメラによるホワイトボードに記述された図形や文字の撮影等において、カメラの視点を対象物の中心位置の垂直方向から見えるように撮影条件を設定する際に適用できる。
【符号の説明】
【００５９】
１…第１撮像装置、１ａ…第１撮像光学系、１ｂ…第１イメージセンサ、１ｃ…第１画像メモリ、２…第２撮像装置、２ａ…第２撮像光学系、２ｂ…第２イメージセンサ、２ｃ…第２画像メモリ、３…パターンマッチング処理部、４…対応点抽出部、５…空間座標算出部、５ａ…対応点空間座標算出部、５ｂ…射影変換係数算出部、５ｃ…画素毎空間座標算出部、６…空間座標補正部、６ａ…法線ベクトル算出部、６ｂ…傾斜角算出部、６ｃ…空間座標回転補正部、７…正面画像生成部、１００…画像補正装置。
【技術分野】
【０００１】
本発明は、撮影された文字や図形の歪補正に係る画像補正装置及び画像補正方法に関する。
【背景技術】
【０００２】
従来、デジタルカメラは、広く普及し、風景や人物に限らず時刻表やポスターなどの文字を含む画像を撮影する際にも用いられるようになってきた。さらには、手書き文字や印刷された文字を、デジタルカメラを用いて光学的に読み取り、前もって記憶されたパターンとのマッチングにより文字を特定する光学式文字読み取り装置（ＯＣＲ：Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｄｅｒ）にも用いられている。しかしながら、撮影された文字画像は、撮影する位置により撮影対象に対する「アオリ」や「回転ズレ」が生じて歪むので、その文字の特定が困難であって読みづらく、そのまま使用するには最適なものではなかった。
【０００３】
例えば、書画カメラによる手書き文字や印刷物の撮影、デジタルカメラによるホワイトボードに記述された図形や文字の撮影等において、認識度を向上させるためには、カメラと撮影対象との水平線を合わせ、且つ、カメラの視点を対象物の中心位置の垂直方向から見えるように撮影条件を設定する必要がある。
【０００４】
書画カメラを用いる際には、撮影位置や被写体の位置を調整することによって、前述の「カメラと撮影対象との水平線を合わせ、且つ、カメラの視点を対象物の中心位置の垂直方向から見えるように設置する」という撮影条件を比較的容易に設定できるが、撮影したい原稿が大きくて書画カメラに載置できない場合には、この撮影条件を設定することが困難であった。また、ホワイトボードに記述された図形や文字を撮影する際には、手持ちカメラを用いることが多く、前述の撮影条件を設定することが困難であった。
【０００５】
「アオリ」は、例えば被写体が矩形であるのに対し、撮影される画像が撮影する位置によって台形に歪む現象である。そこで、文字画像をデジタルカメラで撮影する際には、あたかも被写体に正対した位置から撮影したように、「アオリ」を補正する（所謂、画像変換を行う）技術が知られている。
【０００６】
例えば、ホワイドボードの外形が長方形であるという前提に立ち、ホワイトボードの各辺を撮影し、撮影されたホワイドボードの長方形の変形度合いから、撮影の視点のズレを検出し、このズレを打ち消すように歪みを補正する。
【０００７】
図５（ａ）が横書きの文字列が印刷された元画像、図５（ｂ）が図５（ａ）の文字列が撮影方向からみて仰角方向及び回転方向に傾いて撮影された画像である。この際、図５（ｂ）の撮影状態でＯＣＲに入力すると、文字が傾いて歪んでおり、文字の回転補正やパターンマッチングによる文字の特定が有効に働かず、文字を認識することができない。即ち、一般に、ＯＣＲは、文字列の回転補正の機能を備え、回転補正された水平及び垂直方向、上下反転（天地反転）の文字列を認識することが出来るが、回転補正しても歪んでいる（例えば、台形に歪んでいる）文字を認識することが困難であった。
【０００８】
そこで、このような「アオリ」を伴う画像を補正する際に、射影変換が用いられている。射影変換は、視点（ビューポイント）を変えて、既知の対応点（例えば、長方形領域だった部分）を抽出し、変形された対応点の座標を決定することにより変換行列を求め、この変換行列を用いて文字列等の撮影対象の画像を補正する（例えば、特許文献１参照）。
【０００９】
そして、平面に配置されている物体（例えば、文字が印刷された用紙である）をデジタルカメラで撮影した際には、２次元射影変換が用いられる。２次元射影変換は、撮影された画像における座標を（ｕ，ｖ）、撮影された実空間における座標を（ｘ，ｙ）、変換行列における係数をａ１〜ａ８とすると、式１で表すことができる。
【数１】
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００７−０５８６３４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、従来の画像補正の技術によれば、予め既知の対応点や基準線（例えばホワイドボード外形線である）を備える必要があって、さらに改善の余地があった。
【００１２】
例えば、ホワイトボードの外形に基づいて補正する際には、ホワイトボードが大きすぎて所望の文字や図形と一体に撮影することが困難になったり、ホワイトボードの外形が撮影範囲からはみ出して補正が困難になったりする虞があった。
【００１３】
また、被写体内の既知の対応点に基づいて補正する際には、撮影前にこの対応点の座標を取得又は計測する必要があると共にこの座標取得の精度も要求されるので、操作性を損なう虞があった。
【００１４】
そこで、本発明は、撮影対象（特には、撮影対象が文字や図形が形成された平面体である）に対して傾斜されて撮影されて元の画像から歪んで得られた画像を補正する際に、元の画像と撮影された画像との撮影前の既知の基準線や対応点を必要とせず、撮影された画像の傾き及び歪みを品位良く補正できる画像補正装置及び画像補正方法を提供することを目的とする。
【課題を解決するための手段】
【００１５】
かかる目的を達成するためになされた請求項１に記載の発明は、画像補正装置において、被写体に対向して配置され、該被写体をステレオ撮影する第１、第２の一対の撮像装置と、前記ステレオ撮影によって得られた一対の画像間の対応点を抽出する対応点抽出手段と、前記対応点の画像座標に基づいて、前記被写体の該対応点に対応する３次元座標を算出する３次元座標算出手段と、前記３次元座標算出手段で算出された３次元座標に基づいて、前記被写体の３次元座標を２次元座標に射影変換する際の、変換係数を算出する射影変換係数算出手段と、前記変換係数に基づいて、前記撮影された画像の座標毎に、前記３次元座標を算出する第２の３次元座標算出手段と、前記第２の３次元座標算出手段で算出された３次元座標に基づいて、前記３次元座標が同一の平面上に構成される３次元空間上の平面に対して、前記撮像装置の傾斜角を算出する傾斜角算出手段と、前記傾斜角算出手段で算出された傾斜角に基づいて、該傾斜角を打ち消すように、前記３次元座標を補正する３次元座標補正手段と、前記３次元座標補正手段で補正された３次座標に対応付けて前記画像を補正して、前記被写体を正面から撮影した画像を生成する画像傾き補正手段と、を備えたことを特徴とする。
【００１６】
請求項１に記載の画像補正装置によれば、ステレオ撮影で得られた一対の画像に基づいて、撮像された画像の座標と被写体の３次元座標とを対応付けて、被写体に対する撮像装置の傾斜角を算出し、この傾斜角を打ち消すように撮影された画像を補正できる。これにより、請求項１に記載の画像補正装置は、撮影対象（特には、撮影対象が文字や図形が形成された平面体である）に対して傾斜されて撮影されて元の画像から歪んで得られた画像を補正する際に、撮影前に元の画像と撮影された画像との、撮影前の既知の対応点や基準線を必要とせず、撮影された画像の傾き及び歪みを品位良く補正できる。
【００１７】
次に、請求項２に記載の発明は、画像補正方法において、被写体に対向して配置され、該被写体をステレオ撮影する第１、第２の一対の撮像装置を用い、前記ステレオ撮影によって得られた一対の画像間の対応点を抽出する対応点抽出ステップと、前記対応点の画像座標に基づいて、前記被写体の該対応点に対応する３次元座標を算出する３次元座標算出ステップと、前記３次元座標算出ステップで算出された３次元座標に基づいて、前記被写体の３次元座標を２次元座標に射影変換する際の、変換係数を算出する射影変換係数算出ステップと、前記変換係数に基づいて、前記撮影された画像の座標毎に、前記３次元座標を算出する第２の３次元座標算出ステップと、前記第２の３次元座標算出ステップで算出された３次元座標に基づいて、前記３次元座標が同一の平面上に構成される３次元空間上の平面に対して、前記撮像装置の傾斜角を算出する傾斜角算出ステップと、前記傾斜角算出ステップで算出された傾斜角に基づいて、該傾斜角を打ち消すように、前記３次元座標を補正する３次元座標補正ステップと、前記３次元座標補正ステップで補正された３次座標に対応付けて前記画像を補正して、前記被写体を正面から撮影した画像を生成する画像傾き補正ステップと、を備えたことを特徴とする。
【００１８】
請求項２に記載の画像補正方法によれば、請求項１に記載の発明と同様に、ステレオ撮影で得られた一対の画像に基づいて、撮像された画像の座標と被写体の３次元座標とを対応付けて被写体に対する撮像装置の傾斜角を算出し、この傾斜角を打ち消すように撮影された画像を補正できる。これにより、請求項２に記載の画像補正方法は、撮影対象（特には、撮影対象が文字や図形が形成された平面体である）に対して傾斜されて撮影されて元の画像から歪んで得られた画像を補正する際に、元の画像と撮影された画像との撮影前の既知の対応点や基準線を必要とせず、撮影された画像の傾き及び歪みを品位良く補正できる。
【発明の効果】
【００１９】
本発明の画像補正装置及び画像補正方法は、撮影対象（特には、撮影対象が文字や図形が形成された平面体である）に対して傾斜されて撮影されて元の画像から歪んで得られた画像を補正する際に、元の画像と撮影された画像との撮影前の既知の対応点や基準線を必要とせず、撮影された画像の傾き及び歪みを品位良く補正できる。
【図面の簡単な説明】
【００２０】
【図１】本発明の一実施例の、画像補正装置の構成を表したブロック図である。
【図２】同実施例の画像補正装置における、ステレオ撮影の説明図である。
【図３】同実施例の画像補正装置における、傾いた元画像の傾きを補正して撮像装置に直交する平面座標に変換する際の説明図である。
【図４】本発明の一実施例の、画像補正方法の手順を表したフローチャートである。
【図５】同実施例の画像補正装置における、撮影される元画像と撮影された補正前の画像を表した図である。
【発明を実施するための形態】
【００２１】
次に、本発明の画像補正装置及び画像補正方法の一実施例を図面に基づいて説明する。
図１に表したように、本実施例の画像補正装置１００は、被写体Ｐに対向して配置されて被写体Ｐをステレオ撮影する第１撮像装置１及び第２撮像装置２、第１撮像装置１及び第２撮像装置２で撮影された夫々の画像を所定領域毎に走査して相関度を検出するパターンマッチング処理部３、パターンマッチング処理部３で得られた相関度に基づいての一対の画像間の対応点を抽出する対応点抽出部４、対応点抽出部４で抽出された対応点に対応する被写体Ｐの３次元座標を算出する空間座標算出部５、空間座標算出部５の座標平面に対する撮像装置１、２の傾斜角を算出して、傾斜角を打ち消すように３次元座標を補正する空間座標補正部６、空間座標補正部６で補正された３次座標に対応付けて撮像装置１、２で撮影された画像を補正する正面画像生成部７、図示しないＣＰＵ、ＲＯＭ等を備え、ＣＰＵがＲＯＭと協働して当該画像補正装置１００の動作を制御する。
【００２２】
撮像装置１、２は、被写体Ｐの光学像をイメージセンサ２ｂ、２ｂに導く撮像光学系１ａ、２ａ、撮像光学系１ａ、２ａを介して結像した光学像を受光量に対応付けて電気信号に変換するイメージセンサ１ｂ、２ｂ、イメージセンサ１ｂ、２ｂから出力した電気信号を記憶する画像メモリ１ｃ、２ｃ等によって構成されている。
【００２３】
また、イメージセンサ１ｂ及び２ｂは、複数の光電変換素子がマトリクス状に配置されて、個々の光電変換素子毎に被写体光を光電変換してアナログ電気信号に変換すると共に、このアナログ電気信号をデジタル値に変換し、画像メモリ１ｃ、２ｃに出力する。
【００２４】
また、画像メモリ１ｃ、２ｃは、イメージセンサ１ｂ、２ｂから出力されたデジタル信号を、光電変換素子の配置に対応付けて記憶する。
【００２５】
次に、対応点抽出部４は、パターンマッチング処理部３で検出された相関度に基づいて画素分布が最も近似している少なくも４組の領域を抽出し、この領域の中央点を一対の画像間の対応点とする。この際、抽出する対応点の組数は、少なくとも４組であって更に多数であることが好ましい。また、複数の対応点は、撮影画面の大きさに応じて適度に離間していることが好ましい。
【００２６】
次に、空間座標算出部５は、対応点抽出部４で抽出された複数の対応点の、実空間における３次元座標を算出する対応点空間座標算出部５ａ、対応点空間座標算出部５ａで算出された３次元座標に基づいて、被写体Ｐの３次元座標を２次元座標に射影変換する際の変換係数を算出する射影変換係数算出部５ｂ、撮像装置１、２の画像座標毎に空間座標（実空間における３次元座標）を算出する画素毎空間座標算出部５ｃ等によって構成されている。
【００２７】
本実施例の画像補正装置１００では、前述のように４組以上の対応点を得るためにステレオ撮影し、撮影された画像における座標（ｕ，ｖ）と空間座標（ｘ，ｙ，ｚ）の組を求める。
【００２８】
ステレオ撮影による画像計測は、図２に表したように、被写体Ｐの実空間座標をＰ（ｘ，ｙ，ｚ）、第１撮像装置１で撮影された被写体Ｐの画像座標をＰ１（ｘ１，ｙ１）、第２撮像装置２で撮像された被写体Ｐの画像座標をＰ２（ｘ２，ｙ２）、撮像装置１における結像位置をＯ１、撮像装置２における結像位置をＯ２、撮像装置１及び撮像装置２の焦点距離をｃ、基線長（撮像装置１と撮像装置２との光軸間距離である）をＢとすると、（式２）〜（式４）の関係がある。
ｘ１＝ｃ・ｘ／ｚ…（式２）
ｙ１＝ｙ２＝ｃ・ｙ／ｚ …（式３）
ｘ２−ｘ１＝ｃ・Ｂ／ｚ …（式４）
そこで、（式４）によりｚを求め、この求めたｚを（式２）、（式３）に代入することにより、ｘ、ｙを求め、被写体Ｐの三次元座標Ｐ（ｘ，ｙ，ｚ）を得ることができる。
【００２９】
この際、平面方向（撮像装置１、２から計測対象に向かう光軸方向に直交する平面）の分解能をΔＸＹ、奥行方向（撮像装置１、２から計測対象に向かう光軸方向）の分解能をΔＺ、撮像装置１及び撮像装置２の画像分解能（１ピクセルの大きさ）をΔｐ、撮影距離をＬとすると、（式５）、（式６）を用いて、夫々の分解能を求めることができる。
ΔＸＹ＝（Ｌ／Ｃ）×Δｐ … （式５）
ΔＺ＝（Ｌ／Ｂ）×ΔＸＹ … （式６）
【００３０】
例えば、焦点距離ｃを１０ｍｍ、撮影距離Ｌを１ｍ、基線長Ｂを１０ｃｍ、画像分解能Δｐを５μｍとしたとき、これらの数値を（式５）、（式６）に代入することにより、平面分解能が０．５ｍｍ、奥行分解能が５ｍｍになる。
【００３１】
また、対応点空間座標算出部５ａは、対応点抽出部４を介してえられた４組の対応点に対となる画像座標毎に、（式２）〜（式４）を用いて、４組の対応点に対応する実空間座標（ｘ，ｙ，ｚ）を算出する。
【００３２】
次に、射影変換係数算出部５ｂは、（式１）に４組の対応点に対応する実空間座標（ｘ，ｙ，ｚ）と画像座標（ｕ，ｖ）を代入して、（式１）の条件を満足する変換係数（ａ１〜ａ８）を算出する。
【００３３】
次に画素毎空間座標算出部５ｃは、（式１）から画像座標ｘｙを求める算式（式７）に変換し、（式７）を用いて、撮影された全ての画像座標に対応する空間座標（ｘ，ｙ,ｚ）を算出する。また、この際、（式２）を用いてｚ座標を算出する。
【数２】
【００３４】
次に、空間座標補正部６は、認識したい文字や図形が含まれた被写体Ｐの空間的配置が判明したので、図３（ａ）、図３（ｂ）に表したように、この画像データを正面からみた画像データに変換する。
【００３５】
空間座標補正部６は、空間座標算出部５で算出された３次元座標に基づいて、３次元座標が同一の平面上に構成される３次元空間上の平面に対する法線ベクトルを算出する法線ベクトル算出部６ａ、法線ベクトル算出部６ａで算出された法線ベクトルに基づいて、３次元空間上の平面に対する撮像装置１、２の傾斜角（Φ、θ）を算出する傾斜角算出部６ｂ、傾斜角算出部６ｂで算出された傾斜角（Φ、θ）に基づいて、傾斜角（Φ、θ）を打ち消すように３次元座標（ｘ，ｙ，ｚ）を補正する空間座標回転補正部６ｃ、等によって構成されている。
【００３６】
詳しくは、法線ベクトル算出部６ａは、画素毎空間座標算出部５ｃで算出された３点以上の空間座標（ｘ、ｙ、ｚ）を夫々（式８）に代入し、（式８）を満足するベクトル（ａ，ｂ，ｃ）を求める。
ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０ … （式８）
【００３７】
次に、傾斜角算出部６ｂは、図３（ｂ）に表したように、法線ベクトルを極座標に表示して、ｘ軸、ｚ軸となす角度を夫々Φ、θとすると（式９）の関係式があるので、この関係式におけるｘ、ｙ、ｚにａ、ｂ、ｃを代入して、傾斜角Φ、θを算出する。
【数３】
【００３８】
次に、空間座標回転補正部６ｃは、三次元空間座標に対してΦ、θの傾斜角分を補正して正面から視た座標に変換する。この際、正面から視た座標を（Ｘｆ，Ｙｆ，Ｚｆ）と表し傾斜した平面座標を（Ｘｓ，Ｙｓ，Ｚｓ）と表すと、（式１０）を用いて、正面から視た座標（Ｘｆ，Ｙｆ，Ｚｆ）を得ることができる。
【数４】
【００３９】
次に、正面画像生成部７は、空間座標回転補正部６ｃで得られた正面画像の画素座標（Ｘｆ，Ｙｆ，Ｚｆ）に対応付けて、撮影された画像を補正する。この際、空間座標（Ｘｆ，Ｙｆ，Ｚｆ）は、必ずしも撮像装置１、２の画像座標に一致するとは限らないので、その際には、共１次内挿法を用いて、空間座標の画素に対応付けて画像座標の画素を補間生成する。
【００４０】
以上のように、本実施例に記載の画像補正装置１００は、被写体Ｐをステレオ撮影する一対の撮像装置１、２、ステレオ撮影によって得られた一対の画像間の対応点を抽出する対応点抽出部４、対応点の画像座標に基づいて、対応点に対応する被写体Ｐの３次元座標を算出する対応点空間座標算出部５ａ、対応点空間座標算出部５ａで算出された３次元座標に基づいて、被写体Ｐの３次元座標を２次元座標に射影変換する際の変換係数（ａ１〜ａ８）を算出する射影変換係数算出部５ｂ、変換係数に基づいて、撮影された画像の座標毎に３次元座標を算出する画素毎空間座標算部５ｃ、画素毎空間座標算部５ｃで算出された３次元座標に基づいて、３次元座標が構成される３次元空間上の平面に対する撮像装置１、２の傾斜角（Φ、θ）を算出する傾斜角算出部６ｂ、傾斜角算出部６ｂで算出された傾斜角（Φ、θ）に基づいて、傾斜角（Φ、θ）を打ち消すように３次元座標を補正する空間座標回転補正部６ｃ、空間座標回転補正部６ｃで補正された３次座標に対応付けて、撮影された画像を補正して被写体Ｐを正面から撮影した画像を生成する正面画像生成部７、等を備えている。
【００４１】
これにより、本実施例の画像補正装置１００は、撮影対象（特には、撮影対象が文字や図形が形成された平面体である）に対して傾斜されて撮影されて元の画像から歪んで得られた画像を補正する際に、元の画像と撮影された画像との、撮影前の既知の対応点や基準線を必要とせず、撮影された画像の傾き及び歪みを品位良く補正できる。
【００４２】
次に、図３を用いて、本発明の一実施例の画像補正方法の手順を説明する。この手順は、図示されないＣＰＵが図示されないＲＯＭに格納されたプログラムにもとづいて、各機能部に指令信号を与えて実行する。また、図３におけるＳは、ステップを表している。
【００４３】
先ず、この手順は、オペレータによって画像補正装置１００に起動信号が入力された際にスタートする。
【００４４】
次いで、Ｓ１００において、以前の画像処理で算出されたデータを初期化し、その後、Ｓ１１０に移る。
【００４５】
次いで、Ｓ１１０において、撮像装置１、２を用いて被写体Ｐをステレオ撮影して画像データを取得し、その後、Ｓ１２０に移る。
【００４６】
次いで、Ｓ１２０において、パターンマッチング処理部３を用いて、第１撮像装置１及び第２撮像装置２で撮影された夫々の画像データを所定領域毎に走査して相関度を検出し、その後、Ｓ１３０に移る。
【００４７】
次いで、Ｓ１３０において、対応点抽出部４を用いて、Ｓ１２０で検出された相関度に基づいて画素分布が最も近似している（所謂、相関度が高い）少なくも４組の領域を抽出し、この領域の中央点を一対の画像間の対応点として検出し、その後、Ｓ１４０に移る。
【００４８】
次いで、Ｓ１４０において、対応点空間座標算出部５ａを用いて、Ｓ１３０で算出された対応点毎に空間座標（ｘ，ｙ，ｚ）を算出し、その後、Ｓ１５０に移る。
【００４９】
次いで、Ｓ１５０において、射影変換係数算出部５ｂを用いて、被写体Ｐの３次元座標を２次元座標に射影変換する際の変換係数（ａ１〜ａ８）を算出し、その後、Ｓ１６０に移る。
【００５０】
次いで、Ｓ１６０において、画素毎空間座標算出部５ｃを用いて、撮影された画像の画素毎の空間座標を算出し、その後、Ｓ１７０に移る。
【００５１】
次いで、Ｓ１７０において、法線ベクトル算出部６ａを用いて、３次元座標が同一の平面上に構成される３次元空間上の平面に対する法線ベクトルを算出し、その後、Ｓ１８０に移る。
【００５２】
次いで、Ｓ１８０において、傾斜角算出部６ｂを用いて、Ｓ１７０で算出された法線ベクトルに基づいて、３次元空間上の平面に対する撮像装置１、２の傾斜角（Φ、θ）を算出し、その後、Ｓ１９０に移る。
【００５３】
次いで、Ｓ１９０において、空間座標回転補正部６ｃを用いて、Ｓ１８０で算出された傾斜角（Φ、θ）に基づいて、傾斜角（Φ、θ）を打ち消すように３次元座標（ｘ，ｙ，ｚ）を補正し、その後、Ｓ２００に移る。
【００５４】
次いで、Ｓ２００において、正面画像生成部７を用いて、Ｓ１９０で補正された３次元座標に対応付けて、撮影された画像を補正して正面から視た画像を生成し、本画像補正方法の処理を終了する。
【００５５】
以上のように、本実施例に記載の画像補正方法は、被写体Ｐをステレオ撮影する一対の撮像装置１、２、ステレオ撮影によって得られた一対の画像間の対応点を抽出する対応点抽出ステップ（Ｓ１３０）、対応点の画像座標に基づいて、対応点に対応する被写体Ｐの３次元座標を算出する３次元座標算出ステップ（Ｓ１４０）、対応点算出ステップ（Ｓ１４０）で算出された３次元座標に基づいて、被写体Ｐの３次元座標を２次元座標に射影変換する際の変換係数を算出する射影変換係数算出ステップ（Ｓ１５０）、変換係数に基づいて。撮影された画像の座標毎に３次元座標を算出する第２の３次元座標算出ステップ（Ｓ１６０）、第２の３次元座標算出ステップ（Ｓ１６０）で算出された３次元座標に基づいて、３次元座標が同一の平面上に構成される３次元空間上の平面に対する撮像装置１、２の傾斜角（Φ、θ）を算出する傾斜角算出ステップ（Ｓ１８０）、傾斜角算出ステップ（Ｓ１８０）で算出された傾斜角（Φ、θ）に基づいて、傾斜角（Φ、θ）を打ち消すように、３次元座標を補正する３次元座標補正ステップ（Ｓ１９０）、３次元座標補正ステップ（Ｓ１９０）で補正された３次座標に対応付けて、撮影された画像を補正して被写体Ｐを正面から撮影した画像を生成する画像傾き補正ステップ（Ｓ２００）、等を備えている。
【００５６】
これにより、本実施例の画像補正方法は、撮影対象（特には、撮影対象が文字や図形が形成された平面体である）に対して傾斜されて撮影されて元の画像から歪んで得られた画像を補正する際に、元の画像と撮影された画像との、撮影前の既知の対応点や基準線を必要とせず、撮影された画像の傾き及び歪みを品位良く補正できる。
【００５７】
以上、本発明の一実施例について説明したが、本発明は前記実施例に限定されるものでなく、各種の態様をとることができる。
【産業上の利用可能性】
【００５８】
本発明に係る画像補正装置及び画像補正方法は、書画カメラによる手書き文字や印刷物の撮影やデジタルカメラによるホワイトボードに記述された図形や文字の撮影等において、カメラの視点を対象物の中心位置の垂直方向から見えるように撮影条件を設定する際に適用できる。
【符号の説明】
【００５９】
１…第１撮像装置、１ａ…第１撮像光学系、１ｂ…第１イメージセンサ、１ｃ…第１画像メモリ、２…第２撮像装置、２ａ…第２撮像光学系、２ｂ…第２イメージセンサ、２ｃ…第２画像メモリ、３…パターンマッチング処理部、４…対応点抽出部、５…空間座標算出部、５ａ…対応点空間座標算出部、５ｂ…射影変換係数算出部、５ｃ…画素毎空間座標算出部、６…空間座標補正部、６ａ…法線ベクトル算出部、６ｂ…傾斜角算出部、６ｃ…空間座標回転補正部、７…正面画像生成部、１００…画像補正装置。
【特許請求の範囲】
【請求項１】
被写体に対向して配置され、該被写体をステレオ撮影する第１、第２の一対の撮像装置と、
前記ステレオ撮影によって得られた一対の画像間の対応点を抽出する対応点抽出手段と、
前記対応点の画像座標に基づいて、前記被写体の該対応点に対応する３次元座標を算出する３次元座標算出手段と、
前記３次元座標算出手段で算出された３次元座標に基づいて、前記被写体の３次元座標を２次元座標に射影変換する際の、変換係数を算出する射影変換係数算出手段と、
前記変換係数に基づいて、前記撮影された画像の座標毎に、前記３次元座標を算出する第２の３次元座標算出手段と、
前記第２の３次元座標算出手段で算出された３次元座標に基づいて、前記３次元座標が同一の平面上に構成される３次元空間上の平面に対して、前記撮像装置の傾斜角を算出する傾斜角算出手段と、
前記傾斜角算出手段で算出された傾斜角に基づいて、該傾斜角を打ち消すように、前記３次元座標を補正する３次元座標補正手段と、
前記３次元座標補正手段で補正された３次座標に対応付けて前記画像を補正して、前記被写体を正面から撮影した画像を生成する画像傾き補正手段と、
を備えた画像補正装置。
【請求項２】
被写体に対向して配置され、該被写体をステレオ撮影する第１、第２の一対の撮像装置を用い、
前記ステレオ撮影によって得られた一対の画像間の対応点を抽出する対応点抽出ステップと、
前記対応点の画像座標に基づいて、前記被写体の該対応点に対応する３次元座標を算出する３次元座標算出ステップと、
前記３次元座標算出ステップで算出された３次元座標に基づいて、前記被写体の３次元座標を２次元座標に射影変換する際の、変換係数を算出する射影変換係数算出ステップと、
前記変換係数に基づいて、前記撮影された画像の座標毎に、前記３次元座標を算出する第２の３次元座標算出ステップと、
前記第２の３次元座標算出ステップで算出された３次元座標に基づいて、前記３次元座標が同一の平面上に構成される３次元空間上の平面に対して、前記撮像装置の傾斜角を算出する傾斜角算出ステップと、
前記傾斜角算出ステップで算出された傾斜角に基づいて、該傾斜角を打ち消すように、前記３次元座標を補正する３次元座標補正ステップと、
前記３次元座標補正ステップで補正された３次座標に対応付けて前記画像を補正して、前記被写体を正面から撮影した画像を生成する画像傾き補正ステップと、
を備えた画像補正方法。
【請求項１】
被写体に対向して配置され、該被写体をステレオ撮影する第１、第２の一対の撮像装置と、
前記ステレオ撮影によって得られた一対の画像間の対応点を抽出する対応点抽出手段と、
前記対応点の画像座標に基づいて、前記被写体の該対応点に対応する３次元座標を算出する３次元座標算出手段と、
前記３次元座標算出手段で算出された３次元座標に基づいて、前記被写体の３次元座標を２次元座標に射影変換する際の、変換係数を算出する射影変換係数算出手段と、
前記変換係数に基づいて、前記撮影された画像の座標毎に、前記３次元座標を算出する第２の３次元座標算出手段と、
前記第２の３次元座標算出手段で算出された３次元座標に基づいて、前記３次元座標が同一の平面上に構成される３次元空間上の平面に対して、前記撮像装置の傾斜角を算出する傾斜角算出手段と、
前記傾斜角算出手段で算出された傾斜角に基づいて、該傾斜角を打ち消すように、前記３次元座標を補正する３次元座標補正手段と、
前記３次元座標補正手段で補正された３次座標に対応付けて前記画像を補正して、前記被写体を正面から撮影した画像を生成する画像傾き補正手段と、
を備えた画像補正装置。
【請求項２】
被写体に対向して配置され、該被写体をステレオ撮影する第１、第２の一対の撮像装置を用い、
前記ステレオ撮影によって得られた一対の画像間の対応点を抽出する対応点抽出ステップと、
前記対応点の画像座標に基づいて、前記被写体の該対応点に対応する３次元座標を算出する３次元座標算出ステップと、
前記３次元座標算出ステップで算出された３次元座標に基づいて、前記被写体の３次元座標を２次元座標に射影変換する際の、変換係数を算出する射影変換係数算出ステップと、
前記変換係数に基づいて、前記撮影された画像の座標毎に、前記３次元座標を算出する第２の３次元座標算出ステップと、
前記第２の３次元座標算出ステップで算出された３次元座標に基づいて、前記３次元座標が同一の平面上に構成される３次元空間上の平面に対して、前記撮像装置の傾斜角を算出する傾斜角算出ステップと、
前記傾斜角算出ステップで算出された傾斜角に基づいて、該傾斜角を打ち消すように、前記３次元座標を補正する３次元座標補正ステップと、
前記３次元座標補正ステップで補正された３次座標に対応付けて前記画像を補正して、前記被写体を正面から撮影した画像を生成する画像傾き補正ステップと、
を備えた画像補正方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１０−１９８５５４（Ｐ２０１０−１９８５５４Ａ）
【公開日】平成２２年９月９日（２０１０．９．９）
【国際特許分類】
【出願番号】特願２００９−４５６８４（Ｐ２００９−４５６８４）
【出願日】平成２１年２月２７日（２００９．２．２７）
【出願人】（５０１３２４５２４）アキュートロジック株式会社 (53)
【Ｆターム（参考）】
【公開日】平成２２年９月９日（２０１０．９．９）
【国際特許分類】
【出願日】平成２１年２月２７日（２００９．２．２７）
【出願人】（５０１３２４５２４）アキュートロジック株式会社 (53)
【Ｆターム（参考）】
[ Back to top ]